CN101278251A - 交互式大规模触摸面系统 - Google Patents

交互式大规模触摸面系统 Download PDF

Info

Publication number
CN101278251A
CN101278251A CNA2006800234173A CN200680023417A CN101278251A CN 101278251 A CN101278251 A CN 101278251A CN A2006800234173 A CNA2006800234173 A CN A2006800234173A CN 200680023417 A CN200680023417 A CN 200680023417A CN 101278251 A CN101278251 A CN 101278251A
Authority
CN
China
Prior art keywords
touch face
user
touch
mouse
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800234173A
Other languages
English (en)
Other versions
CN101278251B (zh
Inventor
道格拉斯·希尔
尼尔·柏克凯
塔科·万艾依皮润
塞尔格维·维都文
罗伯托·西罗蒂克
马克·弗莱彻
斯格特·塔尔曼
马里林·威廉
谢恩·爱德华·比尔
香农·帕特里夏·古德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of CN101278251A publication Critical patent/CN101278251A/zh
Application granted granted Critical
Publication of CN101278251B publication Critical patent/CN101278251B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种触摸系统(100)，包括其上呈现图像的大规模触摸面(102)和至少两个成像装置(C0到C″3)，所述成像装置(C0到C″3)扫视触摸面并具有重叠的视图区域。处理结构(108、110)与成像装置进行通讯并处理由成像装置获得的图像数据，从而利用三角测量法来确定在触摸面上的指针接触。处理结构进一步执行至少一个应用程序，以便于用户与触摸面进行交互。还披露了与触摸面进行交互的方法。

Description

交互式大规模触摸面系统
技术领域
本发明一般涉及交互式输入系统，特别涉及大规模触摸系统以及与其交互的方法。
背景技术
在本领域中已知多种触摸系统，它们一般包括具有触摸面的触摸屏，在触摸面上形成有触点，利用指针来产生用户输入。检测关于触摸面的指针接触，并且基于形成这些触点的触摸面区域，将其用于产生相应的输出。通常的触摸系统利用模拟电阻的、电磁的、电容的、声学的或机器视觉来识别与触摸面的指针交互。
例如，转让给本发明的受让人SMART Technologies有限公司、于2001年7月5日提交并且于2002年1月10日以No.WO02/03316公布的国际PCT申请No.PCT/CA01/00980，其披露了一种基于摄像机的触摸系统，具有包括无源触摸面的触摸屏，在无源触摸面上呈现计算机产生的图像。矩形窗口或框架围绕该触摸面，并且在其角落上支撑多个数字摄像机。数字摄像机具有重叠的包围和扫视触摸面的视图区域。数字摄像机从不同的位置获取图像并且产生图像数据。由数字信号处理器处理数字摄像机获取的图像数据，从而确定在所捕获的图像数据中是否存在指针。当确定在所捕获的图像数据中存在指针时，数字信号处理器将指针特征数据传送到主控制器，其依次处理指针特征数据，从而利用三角测量在关于触摸面的(x，y)坐标系中确定指针的位置。将指针坐标数据传送到运行一个或多个应用程序的计算机。该计算机使用指针坐标数据来更新在触摸面上显示的计算机产生的图像。因此，能够将触摸面上的指针触点记录为写或画，或者将其用于控制由计算机执行的应用程序的运行。
虽然上述触摸系统工作得非常好，但是因为每个摄像机的视图区域设置为包括整个触摸面，所以摄像机分辨率对于所能形成的触摸系统的尺寸具有极限。
在多种环境下，例如在教学设施中，期望大规模教学系统，从而能够为大群体进行可视显示。已经考虑由一系列并排安装的触摸面板制造大规模触摸系统。虽然这种触摸系统提供了较大的触摸面，但是由于包围触摸面的多个单独框架，所以这种触摸面不是连续的。同样，从一个触摸面到另一触摸面跟踪指针运动是难以处理的和用户不友好的。
在Hill等的并被转让给本发明的受让人SMART Technologies有限公司的序列号为No.10/750,219的美国专利申请中，披露了一种大规模触摸系统，克服了上述提到的问题。这种大规模触摸系统包括分成多个坐标输入子区域的触摸面。这些输入子区域交错来限定一个通常的连续输入面。每个坐标输入子区域响应于其上的指针接触产生指针坐标数据。处理指针坐标数据以更新再输入面上呈现的图像数据。当在不与相邻坐标输入子区域重叠的坐标输入子区域上进行指针接触时，该坐标输入子区域处理所获取的图像以获得指针数据并且利用所获得的指针数据来三角测量指针的位置，因而相对于触摸面确定指针接触的位置。当在与相邻坐标输入子区域重叠的坐标输入子区域上进行指针接触时，每个重叠的坐标输入子区域处理所获取的图像以获得指针数据并且利用所获得的指针数据来三角测量指针的位置。此后，根据定义的逻辑，处理由重叠的坐标输入子区域产生的三角测量位置，从而相对于触摸面确定指针接触的位置。
上述Hill等的大规模触摸系统提供了连续的触摸面，使其在由较大的群体观看触摸面的情况中非常有效。然而增大触摸面的尺寸出现了问题。可能出现用户不能容易的与触摸面物理交互的多种情况。例如，根据触摸面的尺寸和用户的实际尺寸和/或条件，用户可能不能达到触摸面的上部区域。同样，可能出现多种情况，其中用户站到触摸面的一侧，但需要与临近于触摸面的相对侧显示的图像内容交互。不得不走到触摸面的相对侧而与触摸面交互是不方便的，并且可以导致显示在触摸面上的图像中断或遮盖。此外，触摸面的尺寸可能使用户难于识别可视显示的对象，例如模型框(modal boxes)。如将理解地，期望与这种大规模触摸系统交互的方法，使用户容易交互。
因此，本方面的目的是提供一种新的大规模触摸系统以及与其交互的方法。
发明内容
因此，在一个方面中，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在用户可达到的位置处，在所述触摸面上显示至少部分所述显示图像的按比例缩放型式；和
将按比例缩放型式映射到所述显示图像的相应部分，使得与按比例缩放型式的用户交互转变为与所述显示图像的交互。
在一个实施例中，在显示期间，在窗口内呈现整个显示图像的按比例缩放型式。邻近于所述触摸面的下部放置所述窗口。窗口的位置是用户可调整的。
根据另一个方面，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在邻近用户可达到位置处，在所述触摸面上限定文本输入区域；
检测被输入到所述文本输入区域中的文本；和
在与所述文本输入区域间隔开的文本显示区域内，显示所检测的输入文本。
在一个实施例中，邻近于所述触摸面的上部放置所述文本显示区域，并且邻近于所述触摸面的下部放置所述文本输入区域。文本输入区域和文本显示区域的位置是用户可调整的。
根据又一个方面，在具有触摸面的大规模触摸系统中，提供了一种对出现在所述触摸面上的显示对象进行定位的方法，包括：
追踪相对于所述触摸面的用户的移动；和
紧邻所述用户来放置一个或多个显示对象。
在一个实施例中，通过监控最后的触摸输入位置来追踪用户的位置。紧邻于该最后触摸输入位置呈现显示对象。
在可替换的实施例中，追踪包括：捕获围绕触摸面的区域的图像，并且处理所捕获的图像，从而确定相对于所述触摸面的所述用户的位置。还可以检测投射到触摸面上的阴影，使得显示对象呈现在邻近所述用户以及在所检测阴影外部的所述触摸面上。
根据再一个方面，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
高亮显示至少一个需要用户交互的显示对象，以提供关于所述至少一个显示对象的存在的强烈视觉反馈。
在一个实施例中，至少一个显示对象是模型框，并且高亮显示包括应用覆盖层到显示图像。覆盖层在其中具有一般对应于模型框尺寸的开口，并且覆盖层被着色以与模型框对比清晰，从而高亮显示模型框。在一个可选择的实施例中，高亮显示包括显示围绕模型框的多个同心环。
根据再一个方面，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在用户可达到的位置处，在所述触摸面上再现至少一个所述显示图像区域；和
将再现区域映射到所述显示图像的相应部分，使得与再现区域的用户交互转变为与所述显示图像的相应部分的交互。
在一个实施例中，至少一个区域是显示图像的上部区域。邻近显示图像的底部，再现显示图像的所述上部区域。邻近触摸面的每侧，还再现显示图像的相对侧部分。
根据再一个方面，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在所述触摸面上显示鼠标对象；
检测在所述鼠标对象内的所述触摸面上的指针交互；和
以避免输入焦点被移动到所述鼠标对象的方式，来处理对应于所述指针交互的鼠标事件。
在处理期间，将鼠标事件注入到触摸系统操作系统的鼠标事件队列。鼠标对象可以包括一个或多个按钮。在一个实施例中，鼠标对象是固定的并且与鼠标垫类似。在另一个实施例中，响应于与触摸面的指针交互，鼠标对象在触摸面上是可移动的。
根据再一个方面，提供一种触摸系统，包括：
其上呈现图像的大规模触摸面；
至少两个成像设备，扫视所述触摸面并具有重叠的视图区域；和
处理结构，与所述成像设备通讯并处理由所述成像设备获取的图像数据，以使用三角测量确定在所述触摸面上的指针接触，所述处理结构进一步执行至少一个应用程序以使用户易于与所述触摸面进行用户交互。
这些交互方法提供的优点在于，虽然大部分触摸面可能在用户物理达到的范围之外，但是用户也能够与触摸面的整个显示区域进行交互。通过不用使用户移动到不方便的位置与触摸面进行交互，这些方法还便于进行用户交互，并且确保需要用户立即注意的显示对象被清楚可视的显示在触摸面上。
附图说明
现在将参照附图更全面的描述实施例，其中：
图1是大规模触摸系统的前平面图，该大规模触摸系统包括伸长矩形的、一般连续的触摸面，该触摸面分为一系列坐标输入子区域；
图2是图1的触摸系统的示意框图；
图3是图1的大规模触摸系统的另一个前平面视图；
图4是图1的大规模触摸系统的前平面图，示出了在按比例缩放桌面应用程序的执行期间显示的按比例缩放的桌面窗口；
图5a到5e是部分触摸面的前平面视图，示出了在文本输入应用程序执行期间显示的文本输入窗口和上部文本显示区域；
图6是触摸面的前平面视图，示出了一个高亮显示的模型框；
图7是触摸面的前平面视图，示出了屏上鼠标应用程序执行期间显示的鼠标对象；
图8a到8c是触摸面的附加前平面视图，示出了鼠标对象；
图9a和9b是流程图，示出了屏上鼠标应用程序执行期间处理鼠标事件时的步骤；
图10是触摸面的前平面视图，示出了在相关鼠标垫应用程序执行期间显示的相关鼠标垫；
图11a和11b是该相关鼠标垫的附加前平面视图。
具体实施方式
现在转向图1和2，示出了并一般由附图标记100标识了在Hill等2004年1月2日提交的、被转让给本发明的受让人SMARTTechnologies有限公司的美国专利申请No.10/750,219中所述的大规模触摸系统，该美国专利申请No.10/750,219的内容通过引入被并入于此。触摸系统100包括由照明窗口(bezel)104围绕的、伸长的并且通常为矩形的和连续的触摸面102。照明窗口104提供红外背光穿过触摸面102。
多个摄像机组106与触摸面102相关联，在这个实施例中是三个摄像机组106。这些摄像机组沿着触摸面102的长度放置。每个摄像机组106包括布置成限定矩形的角的四个摄像机。每组106的摄像机具有被定位为扫视部分触摸面102的重叠的视图区域，从而限定触摸或坐标输入子区域。因此，在本实施例中，摄像机组106分别限定了一系列的三个并排的坐标输入子区域CIR1、CIR2和CIR3。还定位这些摄像机的视图区域，使得由相邻摄像机组限定的坐标输入子区域重叠，来分别限定两个过渡带TZ1/2和TZ2/3。
每个摄像机组106与主控制器108通信。每个主控制器108处理从其相关的摄像机组106中接收的指针特征数据，从而利用三角测量在(x，y)坐标系中来确定出现在由摄像机捕获的图像上的指针位置。主控制器108将指针坐标数据传送到计算机110，允许计算机110将指针坐标数据记录为写或画，或者将指针坐标数据用作鼠标事件，以控制由计算机110执行的应用程序的运行。计算机110提供图像数据给一系列投影仪P1到P3，投影仪P1到P3依次将图像投射到触摸面102。计算机110响应于接收到的指针坐标数据，更新图像数据，使得投射到触摸面102上的图像反映了指针的活动。
每个投影仪与不同的坐标输入子区域相关联，并且在其上投射图像。如可看到的，投影仪P1投射图像I1到坐标输入子区域CIR1上，投影仪P2投射图像I2到坐标输入子区域CIR2上，以及投影仪P3投射图像I3到坐标输入子区域CIR3上。对齐投影图像I1、I2和I3，并且将它们沿着一般在过渡带TZ1/2和TZ2/3的中点处的垂直线无缝连接，从而提供平滑且连续的图像横跨触摸面102。在本实施例中，计算机110执行桌面应用程序。每个坐标输入子区域相关于且绑定到特定的桌面部分。因此，计算机110将图像数据提供到投影仪P1到P3，从而在这些坐标输入子区域上显示适当的桌面部分。
工具盘112还与每个坐标输入子区域相关联。每个工具盘112保持多个具有不同指定属性的指针或工具(未示出)。在这个例子中，每个工具盘保持多个着色笔或一个橡皮擦。当从工具盘中提取工具时，工具盘112提供信号给相关的主控制器108，主控制器108又将该信号传送到计算机110以识别所选工具。这样，当使用着色笔与触摸面102接触时，将追踪笔运动的以适当颜色的笔迹投射到触摸面。当使用橡皮擦与触摸面102接触时，擦除投射到在其上移动橡皮擦的触摸面上的笔迹。如已知地，可以调节桌面应用程序来为用于接触每个坐标输入子区域的指针指定特性。
使用在坐标输入子区域的对角处的摄像机之间延伸的对角线，将每个坐标输入子区域分为四个象限。在每个象限内允许指针追踪的图像捕获是响应于在组中的不同摄像机对。顶部象限QT是组中的底部左侧和底部右侧摄像机的响应，底部象限QB是组中的顶部左侧和顶部右侧摄像机的响应，左侧象限QL是组中的顶部左侧和底部左侧摄像机的响应，以及右侧象限QR是组中的顶部右侧和底部右侧摄像机的响应。
当指针接触于在过度带外的一个坐标输入子区域内的象限时，在Morrison等的、被转让给本发明的受让人SMART Technologies有限公司的美国专利No.US6,954,197所述的方法中，通过摄像机和相关的主控制器108来处理由指定给那个象限的摄像机对所捕获的图像，美国专利No.US6,954,197的内容通过引入并入于此。这样，确定围绕指针触点的边界框，允许计算关于坐标输入子区域在(x，y)坐标系中的指针的位置。因此，在这种情况下，仅有一个主控制器108将指针坐标数据报告给计算机110。如果指针接触是一个写事件，那么计算机110依次将指针坐标数据记录为写或画，或者如果指针接触是一个鼠标事件，那么计算机110把指针坐标数据注入到正在由计算机110运行的有效应用程序。
通常为确定指针接触是写入还是鼠标事件，检查工具类型和第一接触点。如果使用画工具进行接触并且该接触在投射的桌面部分内的指定写区域中，那么将该指针接触视为写事件；否则将该指针接触视为鼠标事件。
当指针在过渡带内接触触摸面102时，与观察该过渡带的两个摄像机组相关的主控制器108以上面涉及的相同方式产生指针坐标，并且将所产生的指针坐标传送到计算机110。一旦接收到两个报告的指针坐标，计算机110就使用定义的逻辑，在这种情况下是加权平均技术，来产生表示指针接触位置的单独的(x，y)坐标对。如果指针接触是一个写事件，计算机110依次将指针坐标数据记录为写或画，或者如果指针接触是一个鼠标事件，那么计算机110把指针坐标数据注入到正在由计算机110运行的有效应用程序。
当用户与触摸面交互时，由于触摸面的尺寸，所以用户需要与其交互的显示对象可能在用户达到的范围之外，要求用户移动通过触摸面的前方，到达接近于显示对象的位置。由于可能中断所投射的图像或者遮盖触摸面的视图，所以这必然是有问题的。由于触摸面102的尺寸，所以也可能难于看到显示对象。
为了克服这个问题，可以借助多种不同的交互方法来使用户容易的与大规模触摸面102交互。现在将说明由大规模触摸系统102支持的交互方法。
按比例缩放的桌面
如上所述，在很多情况下，用户必须与其交互的显示图像部分在用户达到的范围之外。为了解决这个问题，可以响应于相关的输入动作(gesture)，调用存储在计算机110中的按比例缩放桌面应用程序。例如，输入动作可以要求用户使用两根并在一起的手指接触触摸面102并且随后通常在相反方向上水平的移动分开手指。可选择地，输入动作可以要求用户使用一根手指接触触摸面102并且随后通常在短时限内水平的前后移动手指。
当调用按比例缩放桌面应用程序时，在临近于输入动作的位置处或者如图4所示的触摸面的适当的下部处的小窗口200内，显示被投射到触摸面102上的整个图像的按比例缩放型式。在这个例子中，窗口200大约是一平方英尺，并且临近于用户容易接近的位置处的触摸面102的底部边缘进行显示。当用户希望与呈现在触摸面102上的显示图像交互时，用户仅需要与在窗口200中的显示图像的按比例缩放型式进行交互。将与窗口200中的缩小图像的接触和交互映射到被投射于触摸面102上的较大图像中。这样，为了与触摸面的整个区域交互，仅要求用户与窗口200内的小区域进行交互。通过直角坐标变换，获得从窗口200到触摸面的映射。假定触摸面102具有尺寸SW和SH，而在TX和TY处的窗口200具有尺寸TW和TH，能够将窗口200中的坐标X、Y如下映射到触摸面坐标：
SX＝(TX-X)/TW×SW
SY＝(TY-Y)/TH×SH
如将理解地，按比例缩放桌面应用程序使用户容易与整个触摸面102交互，所述整个触摸面102包括一般在用户所达到范围之外的多个触摸面102的区域。
文本输入
当用户在投射图像内与指定写区域进行交互时，用户可以调用存储在计算机110中的文本输入应用程序，从而使得用户将文本放入在难于达到的位置处的指定写区域内。响应于用户输入命令来调用文本输入应用程序，文本框窗口250打开并出现在触摸面102的下部底角附近。文本框250链接到触摸面102上边缘附近的上部文本显示区域252。当将字符写入到文本框窗口250中并通过鼠标命令键入时，计算机110识别写入的字符，将其注入到文本显示区域252并且呈现在显示在触摸面102上的图像内。图5a到5e利用注入到上部文本显示区域250的字符“h”、“e”、“l”、“l”和“o”示出了文本框窗口250。用户能够操纵文本框窗口250的位置，允许将文本框窗口250放置在触摸面102上的基本任何期望的位置处。同样的，用户能够操纵被链接到文本框窗口250的文本显示区域252，从而允许将其放置在触摸面102上的基本任何期望的位置处。
智能显示对象的确定
由于不是所有的触摸面区域对用户来说是立即可达到的，所以例如工具栏、弹出窗口等在触摸面102上的显示对象的位置是重要的。为了有助于确保显示对象显示在方便的位置处，触摸系统100可以使用多种用于智能显示对象的方法。
用于智能显示对象的多种方法是基于相对于触摸面102的用户位置的。这样，随着用户相对于触摸面102移动，那么显示对象的位置也移动，有助于确保显示对象仍在触摸面102上的便于达到的位置处。
在一个实施例中，当一个显示对象呈现在触摸面102上时，考虑到触摸面边缘的位置和例如窗口和工具栏的其它显示对象，该显示对象出现在接近于通过触摸面102输入的最后鼠标事件的位置处。在这种情况下，假定用户一般在与触摸面102的鼠标交互之间不移动很大的距离。
在另一个实施例中，利用摄像机C的扩展视图区域。对于被处理以检测与触摸面102的指针交互的、由摄像机捕获的图像还被处理，从而定位相对于触摸面102的用户位置。由摄像机查看的用户位置随后用于确定显示对象的位置，使得显示对象出现在接近用户的位置处。然而，由于要求用户停留在摄像机的视图区域内，所以使用摄像机的扩展视图区域是受限制的。
在又一个实施例中，使用辅助独立摄像机(未示出)或位于触摸面102的前面或后面的具有内置辅助摄像机的投影仪，来捕获图像，计算机110处理该图像以检测相对于触摸面102的用户位置。辅助摄像机可以是一个用于视频会议或安全目的的摄像机。由辅助摄像机查看的用户位置用于确定显示对象的位置，使得显示对象出现在接近于用户的位置处。这允许显示对象追踪用户的移动。如果期望，可以进一步处理由辅助摄像机捕获的图像，以检测投射在触摸面102上的阴影，以及在接近于用户且在投射阴影外侧的位置处，在触摸面102上呈现显示图像。
模型框显示
由于触摸面102是大的，所以可能难于视觉检测在触摸面102上呈现的一些显示对象。根据显示对象的种类，不能看到这些显示对象可能造成用户失败感(frustration)。例如，当显示一个模型框时，禁止用户与在计算机110上运行的应用程序进行交互，直到答复了该模型框。如果用户没有意识到该模型框的存在，随着用户与已不期望的变为失效的应用程序进行交涉，可能导致失败感。为了帮助用户视觉识别模型框等，当在触摸面102上出现模型框300时，触摸面102上还出现暗部覆盖层(dark overlay)302，触摸面102具有在其上剪切的在尺寸和形状上对应于模型框的孔，如图6所示。覆盖层302还可以包括多个孔，用于子对话框、工具提示和其它图形信息，这些孔可能需要对用户来说是看见的，使用户能够答复模型框300。覆盖层302提供强烈的视觉反馈给用户，从而确保在触摸面102上容易识别模型框300。
由在计算机110上运行的监听应用程序来检测在触摸面102上的模型框300的出现。当用户利用模型框答复时，立刻消除覆盖层302。如果期望，当一个模型框出现在触摸面102上时，使用上述一个智能显示对象的方法，可以在触摸面上邻近用户位置的区域处显示该模型框。
可选择的，可以使用不同的视觉反馈来高亮显示模型框。例如，可以通过出现类似于雷达“脉冲信号(ping)”的围绕模型框的收缩直径的同心圆，来高亮显示所显示的模型框的出现。
语音识别
如果期望，触摸系统100可以使用语音识别来允许用户使用语音命令与触摸面102进行交互。在此，计算机110执行XP语音识别软件。还提供连接到计算机110的扩音器(未示出)来拾取用户输入语音命令。为了简化菜单选择，提供能够下拉的语音命令菜单，允许用户读出要输入的适当的语音命令。这样，通过语音输入，可以打开、关闭和操作文件，避免了对用户与整个触摸面102进行物理交互的需要。还能够输入语音命令以控制投影仪P1到P3或改变用于输入触摸指令的工具种类(即，笔或橡皮擦)。
在这个实施例中，通过特定的触摸指令，动态地使得语音识别有效和失效，从而允许运行在触摸系统100附件的讨论，而不会因疏忽而启动语音命令。
智能鼠标
当在个人计算机等上使用鼠标时，鼠标具有悬浮模式，其允许用户确定何时在目标显示对象上放置鼠标。这使用户易于与显示对象交互。通常在触摸系统中并且特别是在大规模触摸系统100中不幸的是，丢失了鼠标的位置反馈，使用户难于确定何时在目标显示对象上放置鼠标。
为了应对这种反馈的丢失，可以为支配计算机110执行智能鼠标应用程序。当接收到鼠标向下事件时，检查鼠标向下事件的位置以确定鼠标向下事件是否最接近于可行目标显示对象。在这个例子中，最接近的可行目标显示对象是被定位在鼠标向下事件的5个像素内的对象。如果鼠标向下事件接近一个可行目标显示对象，那么鼠标向下事件自动移动到该可行目标显示对象的位置，并且显示光标移动到该目标显示对象的位置。根据显示对象的种类，能够或不能将光标锁定到显示对象。例如，如果鼠标事件邻接于窗口边界，那么由于假定鼠标向下事件将调整窗口大小，所以不将光标锁定到窗口边界。当鼠标的位置从目标显示对象移动到超出阈值距离时，解除鼠标向下事件和光标。
屏上(on screen)控制
也能够调整大规模触摸系统100来调用大量屏上控制应用程序中的一个或多个，以使用户易于与难于达到的触摸面102的区域进行交互。这些屏上控制应用程序包括绝对镜像模式应用程序、相关鼠标垫应用程序、屏上鼠标应用程序和相关鼠标应用程序。
当调用屏上鼠标应用程序时，鼠标对象350出现在接近于触摸面102的底部，如图7所示。鼠标对象350类似于标准鼠标，并且分别具有右、左和中间按钮352到356。当指针在鼠标对象350的主体358上接触时，通过在触摸面102上拖拽指针能够移动鼠标对象，导致在触摸面上光标的相应移动。这允许用户在触摸面102上的任何期望位置处放置光标。当在右、左或中间按钮上进行指针接触时，产生基于与触摸面102相关的光标位置的右击、左击和中击鼠标事件。
如果用户将鼠标对象350拖拽到显示图像的边界并且丢失指针与鼠标对象间的接触，那么鼠标对象350模仿常规鼠标垫的重回中心的行为，自动回到中心位置。如果作为左击操作的结果执行拖拽操作并发生自动重回中心，那么当鼠标对象350重回中心时左击操作保持锁定，以允许拖拽操作继续。如果用户使用指针执行点击操作并拖拽鼠标对象，那么鼠标对象350保持固定，并且光标在追踪指针的移动的鼠标对象的边界内移动。
为了避免与显示的鼠标对象350接触而影响计算机操作系统的鼠标和妨碍操作系统窗口输入焦点，将由与鼠标对象的指针交互导致的鼠标事件注入到操作系统鼠标队列，从而禁止输入焦点移动到鼠标对象。这通过与在美国专利No.6,741,267中所述的类似方式来完成，vanleperen的、转让给本发明的受让人SMART Technologies有限公司的美国专利No.6,741,267的内容通过引用被并入于此。
例如，图8a示出了鼠标对象350，其中在鼠标对象的主体358上进行指针接触并且将指针拖拽到左侧，导致鼠标对象350在触摸面102上移动到左侧。图8b示出了鼠标对象350，其中在鼠标对象的主体358上进行指针接触并且将指针拖拽到右上侧，导致鼠标对象350在触摸面102上移动到右上侧。图8c示出了鼠标对象350，其中在左按钮352上进行指针接触并且向上拖拽指针到左侧，导致到左上侧的拖拽操作。
图9a和9b是示出了处理鼠标对象事件的方法的流程图。当在触摸面102上进行指针接触时，检查确定在鼠标对象内是否发生指针接触(步骤500)。如果是，就检查鼠标对象以确定其是否在鼠标下降条件中(步骤502)。如果是，就设定鼠标标记(步骤504)并且将该接触事件发送到屏上鼠标应用程序，使得能够如将说明的那样处理鼠标接触(步骤506)。如果鼠标对象不在鼠标下降条件中，那么清除鼠标标记(步骤508)并且将该鼠标事件发送到操作系统鼠标队列(步骤510)。
在步骤500，如果接触事件发生在鼠标对象的外部，进行检查确定是否设定了鼠标标记(步骤512)。如果不是，就将该鼠标事件发送到操作系统鼠标阵列(步骤510)。如果设定了鼠标标记，就将该鼠标事件发送到用于处理的屏上鼠标应用程序(步骤514)。
当将鼠标事件发送到屏上鼠标应用程序时，检查该接触事件以确定其类型(步骤520)。如果接触事件是向上接触(contact up)事件，那么测量向上接触事件的x、y坐标(步骤522)，并且将该向上接触事件发送到操作系统鼠标队列(步骤528)。
如果接触事件是鼠标移动事件，那么测量鼠标移动的x、y坐标(步骤526)，并且将该鼠标移动事件发送到操作系统鼠标阵列(步骤528)。
如果接触事件是鼠标向下事件，那么保存指针接触的位置(步骤530)，并且检查在其上进行鼠标接触的鼠标对象的区域(步骤532)。如果接触左按钮，那么产生左按钮向下和左按钮向上事件(步骤534和536)。随后测量指针接触的x、y坐标(步骤538)，并且将该左击鼠标事件发送到操作系统鼠标阵列(步骤540)。如果接触右按钮，那么产生右按钮向下和右按钮向上事件(步骤542和544)。随后测量指针接触的x、y坐标(步骤538)，并且将该右击鼠标事件发送到操作系统鼠标阵列(步骤540)。如果接触中间按钮，那么产生中间按钮向下和中间按钮向上事件(步骤550和552)。随后测量指针接触的x、y坐标(步骤538)，并且将该中击鼠标事件发送到操作系统鼠标阵列(步骤540)。如果接触鼠标主体，那么产生鼠标移动事件(步骤560和562)。随后测量指针接触的x、y坐标(步骤538)，并且将该鼠标移动事件发送到操作系统鼠标阵列(步骤540)。
当调用相关鼠标垫应用程序时，鼠标垫对象600出现在邻近于触摸面102的底部，如图10中所示。鼠标垫对象600与膝上型计算机上的鼠标垫相似，并且包括左按钮602、右按钮604和中间按钮606以及敲击输入区域608。当用户利用指针来敲击输入区域608时，利用指针移动来在触摸面102上移动光标。当在左、右或中间按钮上进行指针接触时，产生基于与触摸面相关的光标位置的右击、左击和中击鼠标事件。以与上述参照屏上鼠标应用程序类似的方式处理鼠标事件。例如，图11a示出了鼠标垫对象600，其中在输入区域608上进行指针接触，并且在输入区域上拖拽指针。这导致光标在触摸面102上的指针运动方向上移动。指针拖拽越远，光标移动越快。图11b示出了鼠标垫对象600，其中在右按钮604上进行指针接触。
响应于显示在触摸面102底角处的触发按钮的启动，调用绝对镜像模式应用程序。当启动触发按钮并调用绝对镜像模式时，邻近于触摸面102顶部边缘的显示图像部分被再现和镜像到邻近于触摸面102的底部边缘。使用三角坐标变换，将再现显示图像部分映射到其相应的显示图形部分。当用户在再现显示图像部分内接触触摸面时，将该接触映射到其相应的触摸面102部分，允许用户容易的与触摸面顶部进行交互。如果响应于用户接触而更新显示图像，那么在邻近于触摸面底部出现的再现显示图像部分中，重新刷新发生在显示图像顶部的更新。如果触摸面102的相对侧显示不同的用户可交互对象，那么可以镜像触摸面的这些侧。
当调用相关鼠标应用程序时，当在触摸面上进行接触时，将初始接触视为光标的参考点。每个与触摸面的后续接触导致光标在接触方向上从先前的光标位置移动设定的距离。通过进行连续稳定的接触产生鼠标点击。
以上说明了多种工具使用户易于与大规模触摸系统进行交互。本领域技术人员将理解，大规模交互触摸系统可以包括上述交互工具的任一种或不同的组合。
虽然已经参照附图说明了实施例，但是本领域技术人员也将理解，可以进行变化和修改，而不脱离如所附权利要求书所限定的精神和范围。

Claims (33)

1.一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在用户可达到的位置处，在所述触摸面上显示至少部分所述显示图像的按比例缩放型式；以及
将该按比例缩放型式映射到所述显示图像的相应部分，使得与该按比例缩放型式的用户交互转变为与所述显示图像的交互。
2.根据权利要求1的方法，其中在显示期间，在窗口内呈现整个显示图像的按比例缩放型式。
3.根据权利要求2的方法，其中邻近于所述触摸面的下部放置所述窗口。
4.根据权利要求3的方法，其中所述窗口的位置是用户可调整的。
5.一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在邻近用户可达到位置处，在所述触摸面上限定文本输入区域；
检测被输入到所述文本输入区域中的文本；以及
在与所述文本输入区域间隔的文本显示区域内，显示所检测的输入文本。
6.根据权利要求5的方法，其中邻近于所述触摸面的上部放置所述文本显示区域。
7.根据权利要求6的方法，其中邻近于所述触摸面的下部放置所述文本输入区域。
8.根据权利要求7的方法，其中所述文本输入区域和文本显示区域中的至少一个的位置是用户可调整的。
9.根据权利要求8的方法，其中所述文本输入区域和文本显示区域中的每个的位置是用户可调整的。
10.一种在具有触摸面的大规模触摸系统中对呈现在所述触摸面上的显示对象进行定位的方法，该方法包括：
追踪用户相对于所述触摸面的移动；以及
紧邻所述用户放置一个或多个显示对象。
11.根据权利要求10的方法，其中通过监控最后的触摸输入位置来追踪用户的位置，紧邻该最后触摸输入位置来呈现显示对象。
12.根据权利要求10的方法，其中所述追踪包括：捕获围绕所述触摸面的区域的图像，并且处理所捕获的图像，从而相对于所述触摸面来确定所述用户的位置。
13.根据权利要求12的方法，其中所述处理进一步包括：检测投射到所述触摸面上的阴影，邻近所述用户且在所检测的阴影外部，显示对象呈现在所述触摸面上。
14.一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
高亮显示需要用户交互的至少一个显示对象，以提供关于所述至少一个显示对象的存在的强烈视觉反馈。
15.根据权利要求14的方法，其中所述至少一个显示对象是模型框。
16.根据权利要求15的方法，其中所述高亮显示包括：应用覆盖层到所述显示图像，所述覆盖层在其中具有通常对应于所述模型框尺寸的开口，并且所述覆盖层被着色以与所述模型框对比清晰，从而高亮显示所述模型框。
17.根据权利要求15的方法，其中所述高亮显示包括：显示围绕所述模型框的多个同心环。
18.一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在用户可达到的位置处，在所述触摸面上再现所述显示图像的至少一个区域；以及
将该再现区域映射到所述显示图像的相应部分，使得与该再现区域的用户交互转变为与所述显示图像的相应部分的交互。
19.根据权利要求18的方法，其中所述至少一个区域是所述显示图像的上部区域。
20.根据权利要求19的方法，其中邻近所述显示图像的底部，再现所述显示图像的所述上部区域。
21.根据权利要求20的方法，其中邻近所述触摸面的每侧，再现所述显示图像的相对侧部分。
22.一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：
在所述触摸面上显示鼠标对象；
检测在所述鼠标对象内的所述触摸面上的指针交互；以及
以避免输入焦点被移动到所述鼠标对象的方式，来处理对应于所述指针交互的鼠标事件。
23.根据权利要求22的方法，其中所述处理包括将鼠标事件注入到触摸系统操作系统的鼠标事件队列。
24.根据权利要求23的方法，其中所述鼠标对象包括至少一个按钮。
25.根据权利要求24的方法，其中所述鼠标对象是固定的并且与鼠标垫类似。
26.根据权利要求24的方法，其中响应于与所述触摸面的指针交互，所述鼠标对象在所述触摸面上是可移动的。
27.一种触摸系统，包括：
其上呈现图像的大规模触摸面；
至少两个成像设备，扫视所述触摸面并具有重叠的视图区域；以及
处理结构，与所述成像设备进行通讯并处理由所述成像设备获取的图像数据，以利用三角测量来确定在所述触摸面上的指针接触，所述处理结构进一步执行至少一个应用程序以便于用户与所述触摸面进行用户交互。
28.根据权利要求27的触摸系统，其中所述至少一个应用程序是按比例缩放桌面应用程序，在所述桌面应用程序运行期间，所述处理结构使所述图像的按比例缩放型式呈现在较小窗口中，将所述较小窗口映射到所述触摸面，以使用户能够通过所述较小窗口内的指针接触来与所述触摸面进行交互。
29.根据权利要求27的触摸系统，其中所述至少一个应用程序是文本输入应用程序，在所述文本输入应用程序运行期间，所述处理结构使文本输入区域呈现在所述触摸面上，所述文本输入区域链接到与所述文本输入区域间隔开的、所述触摸面的文本显示区域，在其中通过指针接触而被输入到所述文本输入区域的文本被注入并显示在所述文本显示区域内。
30.根据权利要求27的触摸系统，其中所述至少一个应用程序是用户追踪应用程序，在所述用户追踪应用程序运行期间，所述处理结构追踪所述用户的移动，并且使所述图像内的对象在紧邻所述用户的位置处显示。
31.根据权利要求27的触摸系统，其中所述至少一个应用程序是对象高亮显示应用程序，在所述高亮显示应用程序运行期间，所述处理结构以可视的方式来高亮显示所选择的显示对象，使得所述被选择的显示对象是视觉上明晰的。
32.根据权利要求27的触摸系统，其中所述至少一个应用程序是显示图像镜像应用程序，在所述显示图像镜像应用程序运行期间，在用户可达到的位置处，所述处理结构再现所述显示图像的至少一部分，所述再现部分被映射到所述显示图像的相应部分。
33.根据权利要求27的触摸系统，其中所述至少一个应用程序是鼠标对象应用程序，在所述鼠标对象应用程序运行期间，所述处理结构在所述触摸面上显示鼠标对象以及检测在所述鼠标对象上的指针交互，并且在避免输入焦点移动到所述鼠标对象的同时处理所产生的鼠标事件。
CN2006800234173A 2005-05-02 2006-05-02 交互式大规模触摸面系统 Expired - Fee Related CN101278251B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/118,626 US8487910B2 (en) 2005-05-02 2005-05-02 Large scale touch system and methods for interacting with same
US11/118,626 2005-05-02
PCT/CA2006/000706 WO2006116869A1 (en) 2005-05-02 2006-05-02 Interactive large scale touch surface system

Publications (2)

Publication Number Publication Date
CN101278251A true CN101278251A (zh) 2008-10-01
CN101278251B CN101278251B (zh) 2011-10-05

Family

ID=37233994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800234173A Expired - Fee Related CN101278251B (zh) 2005-05-02 2006-05-02 交互式大规模触摸面系统

Country Status (8)

Country Link
US (1) US8487910B2 (zh)
EP (1) EP1877893A4 (zh)
JP (1) JP5103380B2 (zh)
CN (1) CN101278251B (zh)
AU (1) AU2006243730B2 (zh)
CA (1) CA2606863A1 (zh)
NZ (1) NZ563073A (zh)
WO (1) WO2006116869A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825974A (zh) * 2010-04-16 2010-09-08 清华大学 一种大幅面交互式桌面同步信号采集系统
CN102460355A (zh) * 2009-04-05 2012-05-16 放射粒子工程有限公司 一体化输入和显示系统及方法
CN111880676A (zh) * 2020-06-22 2020-11-03 深圳市鸿合创新信息技术有限责任公司 一种分区触控方法、装置、电子设备及存储介质

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US7612786B2 (en) * 2006-02-10 2009-11-03 Microsoft Corporation Variable orientation input mode
US8930834B2 (en) * 2006-03-20 2015-01-06 Microsoft Corporation Variable orientation user interface
US8139059B2 (en) 2006-03-31 2012-03-20 Microsoft Corporation Object illumination in a virtual environment
US20070284429A1 (en) * 2006-06-13 2007-12-13 Microsoft Corporation Computer component recognition and setup
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
US8001613B2 (en) 2006-06-23 2011-08-16 Microsoft Corporation Security using physical objects
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
EP2135155B1 (en) 2007-04-11 2013-09-18 Next Holdings, Inc. Touch screen system with hover and click input methods
US8400407B2 (en) * 2007-07-18 2013-03-19 Smart Technologies Ulc Touch panel and interactive input system incorporating the same
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
TW200923760A (en) * 2007-08-06 2009-06-01 Koninkl Philips Electronics Nv Method of providing a graphical user interface
EP2195726A1 (en) 2007-08-30 2010-06-16 Next Holdings, Inc. Low profile touch panel systems
KR20100055516A (ko) 2007-08-30 2010-05-26 넥스트 홀딩스 인코포레이티드 개선된 조광을 가진 광학 터치 스크린
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
JP4915367B2 (ja) * 2008-02-27 2012-04-11 ソニー株式会社 表示撮像装置および物体の検出方法
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
TWI427504B (zh) * 2008-06-02 2014-02-21 Asustek Comp Inc 組態式指向操作裝置與電腦系統
US8754855B2 (en) * 2008-06-27 2014-06-17 Microsoft Corporation Virtual touchpad
US8327294B2 (en) * 2008-07-17 2012-12-04 International Business Machines Corporation Method and system to reduce workload and skills required in usage of mouse or other pointing devices
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
KR20110112831A (ko) * 2009-01-05 2011-10-13 스마트 테크놀러지스 유엘씨 제스처 인식 방법 및 이 방법을 이용하는 대화형 입력 시스템
US8928578B2 (en) * 2009-04-29 2015-01-06 Microsoft Corporation Cursor adjustment in ambient light
CA2707950A1 (en) 2009-06-15 2010-12-15 Smart Technologies Ulc Interactive input system and components therefor
US8441515B2 (en) * 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
JP5165661B2 (ja) * 2009-10-09 2013-03-21 シャープ株式会社 制御装置、制御方法、制御プログラム、及び記録媒体
EP2513763A4 (en) 2009-12-18 2016-10-05 Synaptics Inc TRANS-CAPACITIVE SENSOR DEVICE WITH CONDUCTIVE SEAMS
US20120011460A1 (en) * 2010-07-12 2012-01-12 Action Star Enterprise Co., Ltd. System capable of simulating variety of output/input devices
DE102010043584A1 (de) * 2010-11-08 2012-05-10 Kuka Laboratories Gmbh Medizinscher Arbeitsplatz
US9864612B2 (en) * 2010-12-23 2018-01-09 Microsoft Technology Licensing, Llc Techniques to customize a user interface for different displays
US9600090B2 (en) 2011-01-05 2017-03-21 Autodesk, Inc. Multi-touch integrated desktop environment
US9262005B2 (en) 2011-01-05 2016-02-16 Autodesk, Inc. Multi-touch integrated desktop environment
US9612743B2 (en) 2011-01-05 2017-04-04 Autodesk, Inc. Multi-touch integrated desktop environment
US8988366B2 (en) * 2011-01-05 2015-03-24 Autodesk, Inc Multi-touch integrated desktop environment
JP2012173911A (ja) * 2011-02-21 2012-09-10 Seiko Epson Corp 画像生成装置、プロジェクターおよび画像生成方法
JP5397707B2 (ja) * 2011-03-29 2014-01-22 カシオ計算機株式会社 タッチ表示装置及びプログラム
CN103150204B (zh) 2011-12-23 2016-06-29 腾讯科技（深圳）有限公司 操作系统桌面管理方法和装置
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
JP2015099526A (ja) 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
CN106303325A (zh) * 2015-06-08 2017-01-04 中强光电股份有限公司 交互式投影系统及其投影方法
JP6887392B2 (ja) 2015-06-23 2021-06-16 コヴィディエン リミテッド パートナーシップ ロボット外科手術アセンブリ
US10088942B2 (en) 2016-03-31 2018-10-02 Synaptics Incorporated Per-finger force detection using segmented sensor electrodes
KR20220115002A (ko) * 2021-02-09 2022-08-17 현대모비스 주식회사 프로젝션 영상 디스플레이 제어 장치 및 그 방법

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
JPH0827700B2 (ja) * 1990-12-31 1996-03-21 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ表示制御システム
US6141000A (en) * 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
JP2585922B2 (ja) * 1992-05-29 1997-02-26 日立ソフトウエアエンジニアリング株式会社 電子黒板装置
US5583543A (en) * 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
US5568604A (en) * 1992-12-31 1996-10-22 U S West Technologies, Inc. Method and system for generating a working window in a computer system
US5677710A (en) * 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
JPH0798769A (ja) * 1993-06-18 1995-04-11 Hitachi Ltd 情報処理装置及びその画面編集方法
US5982302A (en) * 1994-03-07 1999-11-09 Ure; Michael J. Touch-sensitive keyboard/mouse
US5613137A (en) * 1994-03-18 1997-03-18 International Business Machines Corporation Computer system with touchpad support in operating system
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
EP0725331A1 (en) * 1995-02-04 1996-08-07 L G Electronics Inc. Information imput/output device using touch panel
US6831646B1 (en) * 1995-08-01 2004-12-14 Microsoft Corporation Method and system for indicating the existence of a control object
JPH09190284A (ja) * 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
JP4244075B2 (ja) * 1998-03-12 2009-03-25 株式会社リコー 画像表示装置
US6374272B2 (en) * 1998-03-16 2002-04-16 International Business Machines Corporation Selecting overlapping hypertext links with different mouse buttons from the same position on the screen
US6278443B1 (en) * 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
US6232962B1 (en) * 1998-05-14 2001-05-15 Virtual Ink Corporation Detector assembly for use in a transcription system
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2000043484A (ja) * 1998-07-30 2000-02-15 Ricoh Co Ltd 電子黒板システム
US6518983B1 (en) * 1999-07-21 2003-02-11 International Business Machines Corporation Display of messages from a plurality of processes running in parallel
US6992702B1 (en) 1999-09-07 2006-01-31 Fuji Xerox Co., Ltd System for controlling video and motion picture cameras
KR100648231B1 (ko) * 1999-10-19 2006-11-24 삼성전자주식회사 터치 스크린을 갖는 보조 액정디스플레이 패널을 이용한 포인팅 장치를 구비하는 휴대용 컴퓨터 및 그 방법
JP2001306210A (ja) * 2000-04-27 2001-11-02 Ricoh Co Ltd 表示システム、情報入力／表示システム、画面表示方法及び記憶媒体
JP2001350585A (ja) * 2000-06-07 2001-12-21 Canon Inc 座標入力機能付き画像表示装置
US6690363B2 (en) * 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US6775014B2 (en) * 2001-01-17 2004-08-10 Fujixerox Co., Ltd. System and method for determining the location of a target in a room or small area
US6989801B2 (en) * 2001-03-22 2006-01-24 Koninklijke Philips Electronics N.V. Two-way presentation display system
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
JP4551018B2 (ja) * 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US20040201698A1 (en) * 2001-06-08 2004-10-14 Keenan Vaughn E. Camera-based system for capturing images of a target area
US6661409B2 (en) * 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
JP3872322B2 (ja) * 2001-09-17 2007-01-24 インターナショナル・ビジネス・マシーンズ・コーポレーション タッチパネルに対応した入力方法、入力システムおよびプログラム
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6819304B2 (en) * 2001-10-11 2004-11-16 International Business Machines Corporation Adjustable display device with display adjustment function and method therefor
US20030193481A1 (en) * 2002-04-12 2003-10-16 Alexander Sokolsky Touch-sensitive input overlay for graphical user interface
US20040070616A1 (en) 2002-06-02 2004-04-15 Hildebrandt Peter W. Electronic whiteboard
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
US7242387B2 (en) * 2002-10-18 2007-07-10 Autodesk, Inc. Pen-mouse system
US7081887B2 (en) * 2002-12-19 2006-07-25 Intel Corporation Method and apparatus for positioning a software keyboard
US20050114785A1 (en) * 2003-01-07 2005-05-26 Microsoft Corporation Active content wizard execution with improved conspicuity
JP3811128B2 (ja) * 2003-01-31 2006-08-16 株式会社東芝 情報処理装置およびポインタの操作方法
US6947032B2 (en) * 2003-03-11 2005-09-20 Smart Technologies Inc. Touch system and method for determining pointer contacts on a touch surface
JP4215549B2 (ja) * 2003-04-02 2009-01-28 富士通株式会社 タッチパネル・モードとポインティング・デバイス・モードで動作する情報処理装置
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7490295B2 (en) * 2004-06-25 2009-02-10 Apple Inc. Layer for accessing user interface elements

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102460355A (zh) * 2009-04-05 2012-05-16 放射粒子工程有限公司 一体化输入和显示系统及方法
CN102460355B (zh) * 2009-04-05 2016-03-16 放射粒子工程有限公司 一体化输入和显示系统及方法
CN101825974A (zh) * 2010-04-16 2010-09-08 清华大学 一种大幅面交互式桌面同步信号采集系统
CN101825974B (zh) * 2010-04-16 2011-09-28 清华大学 一种大幅面交互式桌面同步信号采集系统
CN111880676A (zh) * 2020-06-22 2020-11-03 深圳市鸿合创新信息技术有限责任公司 一种分区触控方法、装置、电子设备及存储介质
CN111880676B (zh) * 2020-06-22 2022-03-15 深圳市鸿合创新信息技术有限责任公司 一种分区触控方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US8487910B2 (en) 2013-07-16
AU2006243730B2 (en) 2012-07-12
US20060244734A1 (en) 2006-11-02
EP1877893A1 (en) 2008-01-16
WO2006116869A1 (en) 2006-11-09
JP2008541210A (ja) 2008-11-20
CA2606863A1 (en) 2006-11-09
CN101278251B (zh) 2011-10-05
EP1877893A4 (en) 2011-02-16
AU2006243730A1 (en) 2006-11-09
JP5103380B2 (ja) 2012-12-19
NZ563073A (en) 2011-02-25

Similar Documents

Publication Publication Date Title
CN101278251B (zh) 交互式大规模触摸面系统
US5528263A (en) Interactive projected video image display system
Malik et al. Visual touchpad: a two-handed gestural input device
JP3501821B2 (ja) オブジェクトを動的に選択及び操作する方法
US7355593B2 (en) Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
CN111475097B (zh) 一种笔迹选择方法、装置、计算机设备和存储介质
US20120249422A1 (en) Interactive input system and method
US20070205994A1 (en) Touch system and method for interacting with the same
CN102934057A (zh) 交互式输入系统和方法
US20230057020A1 (en) Meeting interaction system
CN103150020A (zh) 一种三维指控操作方法及系统
US20150346825A1 (en) Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems
Geer Will gesture recognition technology point the way?
JP2014081800A (ja) 手書き入力装置及び機能制御プログラム
JP6834197B2 (ja) 情報処理装置、表示システム、プログラム
CN106325726A (zh) 触控互动方法
JP2009116727A (ja) 画像入力表示装置
Malik An exploration of multi-finger interaction on multi-touch surfaces
CN110007748B (zh) 终端的控制方法、处理装置、存储介质及终端
WO2023273462A1 (zh) 一种显示设备及填色方法
Kudale et al. Human computer interaction model based virtual whiteboard: A review
CN113485590A (zh) 触控操作方法及装置
WO2023065939A1 (zh) 一种触控响应方法、装置、交互平板及存储介质
Zhenying et al. Research on human-computer interaction with laser-pen in projection display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111005

Termination date: 20210502