CN102165405A - 利用基于交叉的小部件操纵的触摸输入 - Google Patents

利用基于交叉的小部件操纵的触摸输入 Download PDF

Info

Publication number
CN102165405A
CN102165405A CN2009801384487A CN200980138448A CN102165405A CN 102165405 A CN102165405 A CN 102165405A CN 2009801384487 A CN2009801384487 A CN 2009801384487A CN 200980138448 A CN200980138448 A CN 200980138448A CN 102165405 A CN102165405 A CN 102165405A
Authority
CN
China
Prior art keywords
widget
touch points
touch
user
input system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801384487A
Other languages
English (en)
Inventor
爱德华·策
凯瑟琳·朗丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of CN102165405A publication Critical patent/CN102165405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种交互输入系统和一种用于选择在交互输入系统的背景上显示的图形小部件的方法。该方法包括：跟踪与背景相关联的一个或多个触摸点；并且，在一个或多个触摸点与图形小部件的位置叠合的情况下，将叠合的触摸点与图形小部件相关联。

Description

利用基于交叉的小部件操纵的触摸输入
技术领域
本发明总体上涉及交互输入相同的，并且具体地说涉及一种用于选择和操纵在交互输入系统中的图形对象的方法和执行该方法的交互输入系统。
背景技术
已知允许用户使用有源指针(例如，发出光、声音或其他信号的指针)、无源指针(例如，手指、圆柱或其他适当的物体)或诸如鼠标或跟踪球的其他适当的输入装置来向应用程序内注入输入(即，数字墨、鼠标事件等)的交互输入系统。这些交互输入系统包括但是不限于：触摸系统，其包括触摸板，该触摸板使用模拟电阻或机器视觉技术来登记指针输入，诸如在向本申请的受让方Canada，Alberta，Calgary的SMART Technologies ULC转让的美国专利No.5,448,263、6,141,000、6,337,681、6,747,636、6,803,906、7,232,986、7,236,162和7,274,356中公开的那些，它们的内容通过引用被包含在此；触摸系统，其包括触摸板，该触摸板使用电磁、电容、声音或其他技术来登记指针输入；写字板个人计算机(PC)；膝上型PC；个人数字助理(PDA)；以及，其他类似装置。
也已知使用机器视觉接收和处理来自多个指针的输入的多触摸交互输入系统。一种这样的类型的多触摸交互输入系统使用衰减全内反射(FTIR)的公知光学现象。根据FTIR的一般原理，当诸如指针的物体触摸波导表面时，由于在波导的折射率上的改变，传播通过光波导的光的全内反射(TIR)被衰减，使得一些光从触摸点脱离。在多触摸交互输入系统中，机器视觉系统捕获包括脱离的光的点的图像，并且处理图像以基于脱离光的点来识别在波导表面上的指针的位置，以用作对于应用程序的输入。在Han的美国专利申请公报No.2008/0029691中公开了FTIR多触摸交互输入系统的一个示例。
在多或单触摸交互输入系统中，在显示表面上显示图形对象，诸如“画布(canvas)”的背景和覆盖画布的“小部件(widget)”，该“小部件”包括窗口、图标、菜单、图片、文本、线、曲线、形状和输入框。取决于应用，可以有在画布上的不同位置显示的多个图形小部件，其中的一个或多个可以彼此重叠。
在现有技术的交互输入系统中，操纵图形小部件通常包括两个步骤。首先，用户通过在精确地与其中显示图形小部件的位置对应的位置使用指针来接触触摸表面来选择图形小部件。在已经选择了小部件的情况下，用户然后例如通过在显示表面上移动指针由此移动所选择的图形小部件，使用指针来操纵所选择的图形小部件。在用户方需要这样的触摸精度的系统的一个缺点是用户发现难以选择小的小部件。如果指针挡住了小的小部件，如果视角在最大限度，或当系统的校准使得触摸点在一定程度上偏离显示器时，则可能出现这一点。而且，这种特性的交互输入系统通常不采用利用例如触觉的有用反馈子系统。
已经先前研究了这种所谓的“目标获取”问题。所建议的对于目标获取问题的解决方案通常落在两类输入技术之一内：(1)通过优化费兹定律参数来改善目标获取的那些；以及(2)通过对交叉目标进行杠杆作用来改善目标获取的那些。
费兹定律通常用于建模目标获取，如MacKenzie在题目为″A note on the information theoretic basis for Fitts′Law″；Journal of Motor Behavior，21：323-330的1989年的公报中所示，其内容通过引用被整体包含在此。
MacKenzie在″Movement time prediction in human-computer interfaces″in Readings in Human-Computer Interaction；Kaufmann；second edition；R.M.Baecker，W.A.S.Buxton，J.Grudin，and S.Greenberg，editors中示出了费兹定律的香农公式，其内容被整体包含在此，香农公式描述了根据下面的等式1来预测用于获取宽度W和距离(或幅度)D的目标所需要的移动时间(MT)：
MT＝a+b log2(D/W+1)           (1)
其中：
a和b是经验上确定的常数；并且，
对数项是难度指数(ID)。
等式1预测较小的目标宽度和较大的距离(相对于当前位置)将增加选择时间。因此，可以通过下述方式来改善目标选择：减小目标距离D，提高目标宽度W或因此修改两个参数。
在其内容被整体包含在此的、题目为″Drag-and-Pop and drag-and-pick：Techniques for accessing remote screen control on touch and pen operated systems″；Proc.Interact，57-64的公报中，Baudisch等提出通过将远处的目标更接近用户来减小目标距离。这种拖动和弹出(Drag-Pop)方法分析光标的定向移动，然后，将可能目标的虚拟代理向光标(例如，文件夹或应用)移动。拖动和弹出的研究示出了对于大的目标距离选择较快。然而，该方法不能确定用户是否意欲选择远处目标相对近处目标。因此，远处对象的存在可以使得选择对于近处目标较困难。
在其内容被整体包含在此的、题目为″The Vacuum：Facilitating the manipulation of distant objects″；Proc.CHI 2005，ACM Press，361-370的公报中，Bezerianos等提出了与Baudisch等的拖动和弹出方法类似的真空方法，但是，真空方法另外允许用户控制它们所感兴趣的远处目标的接近角度。也支持多个对象选择。发现选择时间对于单个目标类似，但是对于多个目标选择快得多。
通过提倡诸如大按钮这样的很大的目标区域来直接地提高目标宽度W降低了难度指数。然而，这要求大量的屏幕真实状态，并且限制可以被布置在较小显示器上的内容的数量。
在其内容被整体包含在此的、题目为″The′Prince′technique：Fitts′law and selection using area cursors″；Proc.ACM CHI′95，273-279的公报中，Kabbash等提出了通过提高光标大小来有效地提高目标宽度W。取代具有在标准光标中看到的单个像素热点，区域光标具有用于选择的较大活动区域。通过将目标宽度W设置为区域光标的宽度，示出可以使用费兹定律来精确地建模单个像素目标的选择。因此，很小的目标更容易获取。然而，区域光标在其中可以在单个区域光标中包含多个目标的密集的目标空间中有问题。
在其内容被整体包含在此的、题目为″Fitts′law and expanding targets：Experimental studies and designs for user interfaces″；ACM TOCHI，12(4)，ACM Press，388-422的公报中，McGuffin等提出了当光标接近时动态地提高目标大小。发现，用户不能受益于较大的目标宽度，即使当在行进到目标的距离的90％后出现扩展时。也示出，可以通过将目标宽度设置为扩展目标的大小来使用费兹定律测量整体性能。
动态地修改目标宽度W和距离D的不同手段调整控制显示增益(C:D)。通过当接近目标时提高增益(光标速度)和当在目标内时降低增益，减少和提高马达空间距离和目标宽度。在其内容被整体包含在此的、题目为″Semantic pointing：improving target acquisition with control-display ratio adaptation″；Proc.ACM CHI′04，519-525的公报中，Blanch等示出了基于在马达空间中的结果产生的较大目标W和较小的距离D，可以使用费兹定律来建模性能。然而，当存在多个目标时，会产生问题，因为当光标接近时，每一个目标将使得光标变慢。
在其内容被整体包含在此的、题目为″The Bubble Cursor：Enhancing target acquisition by dynamic resizing of the cursor′s activation area″；Proc.CHI′05，281-290的公报中，Grossman等公开了泡沫光标的在稀疏的显示中使得目标获取容易的发展。泡沫光标被动态地改变大小的泡沫包围，使得仅最近的目标被泡沫围绕。围着光标的泡沫扩展，直到它刚好接触最近的目标。虽然这有效地增大了目标宽度(因为泡沫变大)，并且减小了目标距离(因为达到目标需要行进较小的距离)，但是如果其他目标或干扰项在近处，并且在所选择的目标的很近的距离内，则泡沫的大小受限，并且小得多。换句话说，目标的宽度取决于与其相邻的最近干扰项的距离，因为它扩展使得在任何时间仅选择最近的目标。这个新的目标大小被称为有效宽度(EW)。他们的研究显示，通过设置W＝EW，可以使用费兹定律来建模泡沫光标的性能。
其内容被整体包含在此的、授予Agulnick等的美国专利No.5,347,295公开了一种方法：当指示笔移动到图形小部件的近距离内时，触发显示事件来向用户提供以什么图形小部件为目标的预览。例如，可以在期待按钮的选择时扩展或改变按钮的外观。
如上所述，对于目标获取问题的另一种建议的解决方案类别包含对交叉目标进行杠杆作用。在用于简化在写字板计算机上的指示任务的、被称为“交叉Y”的基于交叉的绘图应用中包含一种这样的技术，该技术被Apitz等开发，并且在其内容被整体包含在此的、题目为″CrossY：a crossing-based drawing application″，Proceedings of the 17th Annual ACM Symposium on User interface Software and Technology (Santa Fe，NM，USA，October 24-27，2004)；UIST′04；ACM，New York，NY，3-12；http://doi.acm.org/10.1145/1029632.1029635的公报中被描述。
CrossY应用使得用户能够交叉目标区域以从菜单或列表进行选择。图1是由Apitz等示出的示例性图，其图示使用CrossY技术的一些示例。在每一个示例中，点4表示指示笔触摸触摸屏的位置，并且箭头2表示指示笔然后移动的方向。例如，在从列表选择无线电项目“黑”的示例8中，用户在无线电项目“黑”上触摸指示笔，然后移动指示笔交叉跨过无线电项目6。
虽然CrossY技术对于诸如点击按钮并且选择菜单选项这样的对象选择是有效的，所以要求用于移动、旋转或以其他方式操纵图形小部件的独立操作。
可以明白，虽然上述技术改善了选择和操纵图形小部件的用户体验，但是还没有充分地开发与交互输入系统的用户交互的可能。因此，下面内容的一个方面的目的是提供一种用于在交互输入系统中选择和操纵图形对象的新颖的方法，以及一种用于执行该方法的新颖交互输入系统。
发明内容
根据一个方面，提供了一种用于选择在交互输入系统的背景上显示的图形小部件的方法，包括：跟踪与背景相关联的一个或多个触摸点；并且，在一个或多个触摸点与所述图形小部件的位置叠合的情况下，将叠合的一个或多个触摸点与所述图形小部件相关联。
根据另一个方面，提供了一种交互输入系统，包括：触摸板；以及，处理结构，用于跟踪与显示的背景相关联的一个或多个触摸点，并且在一个或多个触摸点与所述图形小部件的位置叠合的情况下，将叠合的一个或多个触摸点与所述图形小部件相关联。
根据另一个方面，提供了一种计算机可读介质，其包含计算机程序，所述计算机程序用于选择在交互输入系统的背景上显示的图形小部件，所述计算机程序包括：用于跟踪与背景相关联的一个或多个触摸点的程序代码；以及，用于在一个或多个触摸点与所述图形小部件的位置叠合的情况下将叠合的一个或多个触摸点与所述图形小部件相关联的程序代码。
附图说明
现在，将参考附图来更全面地描述实施例，其中：
图1是示出用于使用交叉来选择图形对象的现有技术的示例性图；
图2a是交互输入系统的透视图；
图2b是图2a的交互输入系统的侧截面图；
图2c是形成图2a的交互输入系统的一部分的桌面和触摸板的截面图；
图2d是已经被指针接触的图2b的触摸板的截面图；
图3是图示在图2a的交互输入系统上运行的主应用的软件结构的框图；
图4图示与形成图2a的交互输入系统的一部分的触摸屏接触的手指；
图5a至5c是图示由接触事件监控器和图形对象执行来处理接触事件的步骤的流程图；
图6是图示由接触事件监控器执行的小部件击中测试的步骤的流程图；
图7是图示点击中测试功能的步骤的流程图；
图8a至8c图示使用单个指针来移动小部件；
图9a至9d图示使用多个指针来移动小部件；
图10a至图10e图示移动和旋转图形小部件；
图11a至11g图示使用多个指针来改变图片的大小；
图12a至12c图示使用多个指针来旋转图形小部件；
图13a至13b图示选择用于用户输入的输入提示；
图14a至14c图示使用交叉方法来操纵图13的输入提示；
图15a至15b图示使用交叉方法的替代应用；以及
图16图示使用交叉方法的另一种替代应用。
具体实施方式
在下面，描述了一种用于在交互输入系统中选择和操纵图形对象的方法和执行该方法的交互输入系统。该方法涉及通过使得用户能够以要求较少的物理协调的方式来选择和操纵图形对象来改善交互输入系统的可用性。
现在转向图2a和2b，示出具有触摸桌形式的交互输入系统的透视图，并且一般以附图标记10来标识。触摸桌10包括在机柜16上安装的桌面12。在这个实施例中，机柜16位于轮子、角轮等18上，轮子或角轮等18使得触摸桌10能够容易地根据要求各处移动。在桌面12中集成了坐标输入装置，该坐标输入装置具有基于衰减全内反射(FTIR)的触摸板14的形式，该触摸板14使得能够检测和跟踪向其施加的一个或多个指针11，诸如手指、笔、手、圆柱物或其他物体。
机柜16支持桌面12和触摸板14，并且容纳执行主应用和一个或多个应用程序的处理结构20(参考图2b)。由处理结构20产生的图像数据被显示在触摸板14上，以允许用户经由在触摸板14的显示表面15上的指针接触来与所显示的图像交互。处理结构20将指针接触解释为对于运行的应用程序的输入，并且因此更新图像数据，使得在显示表面15上显示的图像反映指针行为。以这种方式，触摸板14和处理结构20允许与触摸板14的指针交互被记录为手写或图形或用于控制应用程序的执行。
在这个实施例中的处理结构20是具有计算机形式的通用计算装置。计算机包括例如处理单元、系统存储器(易失性和/或非易失性存储器)、其他不可拆卸或可拆卸存储器(硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、快闪存储器等)和将各种计算机部件耦合到处理单元的系统总线。
在由处理结构20运行的主软件应用/操作系统的执行期间，在触摸板14的显示表面上显示图形用户界面，该图形用户界面包括画布页面或调色板(即，背景)，其上显示了图形小部件。在这个实施例中，该图形用户界面使得能够经由与触摸板14的显示表面15的指针交互来输入和操纵自由形态或手写的墨对象以及其他对象。
机架16也容纳水平定位的投影仪22、红外线(IR)滤波器24和反射镜26、28和30。具有红外线检测照像机形式的成像装置32被安装在与反射镜28相邻的托架33上。反射镜26、28和30的系统用于沿着光路“折叠”由在机柜16内的投影仪22投影的图像，而没有不当地牺牲图像大小。由此可以使得整体触摸桌10尺寸紧凑。
成像装置32对准反射镜30，因此看到显示表面15的反射，以便减轻在系统中通常必须处理的在捕获图像中的热点噪声的出现，所述系统具有直接地对准显示表面15的成像装置。成像装置32通过托架33位于机柜16内，使得它不干扰所投影的图像的光路。
在触摸桌10的操作期间，处理结构20向投影仪22输出视频数据，投影仪22继而通过IR滤波器24将图像投影在第一反射镜26上。现在已经基本上滤除了IR光的投影图像被第一反射镜26反射在第二反射镜28上。第二反射镜28继而将图像反射在第三反射镜30。第三反射镜30将所投影的视频图像反射在触摸板14的显示(底)表面上。能够从上面通过触摸板14观看在触摸板14的底表面上投影的视频图像。如所示配置的三个反射镜26、28、30的系统提供了紧凑的路径，沿着该路径，可以将投影的图像引导到显示表面。投影仪22被水平定位，以便保存投影仪灯泡使用期限，因为通常可获得的投影仪通常被设计为用于水平放置。
外部数据端口/开关34-在这个实施例中为通用串行总线(USB)端口/开关—从机柜16的内部通过机柜壁向触摸桌10的外部延伸，以提供用于插入和移除USB键36的访问以及功能的转换。
USB端口/开关34、投影仪22和成像装置32每一个连接到处理结构20并且被其管理。电源(未示出)向触摸桌10的电子部件供电，电源可以是外部单元或例如用于改善触摸桌10的便携性的在机柜16内的通用电源。机柜16完全地包围其内容，以便限制进入机柜16的环境可见光和红外光的水平，由此实现满意的信噪性能。如此进行可以与用于管理在机柜16内的热量的各种技术竞争。触摸板14、投影仪22和处理结构都是热源，并且这样的热量如果被包含在机柜16内达到延长的时间段则会减少部件的使用期限，影响部件的性能，并且产生可以使得触摸桌10的光学部件变形的热波。因此，机柜16容纳热管理设备(未示出)以在从机柜排出热空气的同时向机柜内引入较冷的环境空气。例如，该热管理设备可以是在下文内公开的类型：在2008年9月29日提交的Sirotich等的美国专利申请No.12/240,953，其题目为″TOUCH PANEL FOR INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EMPLOYING THE TOUCH PANEL″并且被转让给本申请的受让方Canada，Alberta，Calgary的SMART Technologies ULC，其内容通过引用被包含在此。
如上所述，触摸桌10的触摸板14基于衰减全内反射(FTIR)的原理而运行，如在上述的Sirotich等的美国专利申请No.12/240,953和上述的Han参考文献中所进一步描述。
图2c是桌面12和触摸板14的截面图。桌面12包括由塑料构成的框架12，用于支撑触摸板14。
触摸板14包括光学波导144，光学波导144根据这个实施例是丙烯酸片材。弹性扩散层146或其他适当的材料靠着光学波导144，弹性扩散层146在这个实施例中是Vintex Inc.of Mount Forest，Ontario，Canada 制造的V-CARE
Figure BPA00001335107100101
V-LITE阻挡织物的一层。
扩散层146当被按下以接触光学波导144时基本上反射脱离光学波导144的红外线，使得脱离的红外线向下进入机柜16内。扩散层146也扩散被投影到其上的可见光，以便显示投影图像。
在光学波导144的相反侧，具有平滑的触摸表面的清楚的保护层148覆盖弹性扩散层146上。在这个实施例中，保护层148是聚碳酸酯材质的薄片，其上施加了由Tekra Corporation of New Berlin，Wisconsin，U.S.A制造的Marnot
Figure BPA00001335107100111
材料的硬盖。虽然触摸板14可以在没有保护层148的情况下作用，但是保护层148允许使用触摸板14，而没有下面的扩散层146的不适当的变色、荒磨(snagging)或变皱，并且没有用户手指的不适当磨损。而且，保护层148向整个触摸板14提供耐磨损、耐刮伤和耐化学性，这有益于板的使用期限。
保护层148、扩散层146和光学波导144一起作为一个单元在其边缘夹着，并且被安装在桌面12内。随着时间，长时间的使用可能磨损一个或多个层。根据需要，层的边缘可以是不被夹着的，以便便宜地提供磨损层的替换。可以明白，可以以其他方式来将层保持在一起，例如通过使用一个或多个粘合剂、摩擦适配剂、螺钉、钉子或其他紧固方法。
包括一组IR发光二极管(LED)142的红外光源沿着光学波导144的至少一个侧面(进入在图2b中的页面内)定位。每一个LED 142向光学波导144内发出红外光。在这个实施例中，沿着其定位IR LED 142的侧表面被火焰抛光，以便利从IR LED 142接收光。在IR LED 142和光学波导144的侧面之间保持1-2毫米(mm)的气隙，以便减少从IR LED 142向光学波导144的热传送，由此减轻在丙烯酸光学波导144中的热变形。反射带143结合到光学波导144的其他侧表面，以将光反射回光学波导144内，由此使用红外线照射来将光学波导144饱和。
在运行中，在与其大的上下表面平行的方向上，经由光学波导144的火焰抛光的侧表面来引入红外光，红外光由于全内反射(TIR)而不脱离通过光学波导144的上或下表面，因为它在上和下表面处的入射角不足以允许其脱离。到达其他侧表面的红外光一般被反射带143在其他侧表面处整体反射回光学波导144内。
如在图2d中所示，当用户使用指针11来接触触摸板14的显示表面时，指针11相对于保护层148的挤压将弹性扩散层146压靠着光学波导144，使得在光学波导144上在指针11的接触点或“触摸点”的折射率改变。这个改变“衰减”了在触摸点的TIR，使得红外光以下述角度反射：该角度在触摸点沿着大致与光学波导144的平面垂直的方向上允许红外光从光学波导144脱离。脱离的红外光从点11反射离开，并且本地向下散射通过光学波导144，并且通过光学波导144的底表面射出光学波导144。对于每一个指针11这都发生，因为它在相应的触摸点接触触摸板114的显示表面。
当沿着触摸板14的显示表面15移动每一个触摸点时，弹性扩散层146压缩靠着光学波导144，因此，红外光的脱离跟踪触摸点移动。在触摸点移动期间或在触摸点退出时，其中由于扩散层146的弹性导致已经有触摸点的扩散层146的解压使得红外光从光学波导144的脱离再一次停止。因此，红外光仅在(一个或多个)触摸点位置从光学波导144脱离，允许在由成像装置获取的图像帧中捕获红外光。
成像装置32捕获第三反射镜30的二维IR视频图像。已经从被投影仪22投影的图像过滤的IR光与机柜16基本上排出环境光相结合地保证由成像装置32捕获的图像的背景是基本上黑色的。当触摸板14的显示表面15如上所述被一个或多个指针接触时，由红外线照像机32捕获的图像包括与相应的触摸点对应的一个或多个亮点。处理结构20接收所捕获的图像，并且执行图像处理，以基于在所捕获的图像中的一个或多个亮点来检测一个或多个触摸点的坐标和特性。然后，处理结构20将所检测的坐标映射到显示坐标，并且将其解释为墨或鼠标事件，以操纵所显示的图像。
主应用基于所接收的触摸点数据来跟踪每一个触摸点，并且处理在图像帧之间的连续性处理。更具体地，主应用从帧接收触摸点数据，并且基于触摸点数据来确定是否登记新的触摸点、修改现有的触摸点、或消除/删除现有的触摸点。因此，主应用当它接收到与现有触摸点无关的触摸点数据时登记用于表示新的触摸点的接触下(Contact Dowm)事件，并且向新的触摸点给出唯一标识符。如果触摸点数据表征例如与现有的触摸点相距阈值距离的触摸点，则可以将该触摸点数据当做与现有的触摸点无关。主应用当接收到与现有的指针相关的触摸点数据时，登记用于表示触摸点的移动的接触移动(Contact Move)事件，其中，通过例如在现有触摸点的阈值距离内或与现有的触摸点重叠但是具有不同的焦点而与现有的指针相关。当停止从随后的图像接收与现有触摸点相关联的触摸点数据时，主应用登记接触上(Contact Up)事件，该事件表示从触摸板14的显示表面15去除触摸点。基于触摸点当前所关联的元件和/或触摸点的当前位置，接触下、接触移动和接触上事件被传送到用户界面的相应元件，诸如图形小部件或背景/画布。
图3是图示在处理结构20上运行的主应用的软件结构的框图。接触事件监控器304直接地或经由操作系统从触摸板14接收和跟踪触摸数据。触摸数据包括用于至少一个触摸点的每一个的位置数据和唯一的接触ID，如在下文中描述：在2008年9月29日提交的Holmgren等的美国专利申请No.12/240,963，题目为″ METHOD FOR CALIBRATING AN INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EXECUTING THE METH
如上所述，所产生的接触事件是三种类型之一：接触下、接触移动和接触上。当触摸点首先出现时产生接触下事件。如图4中所示，在这个实施例中的每一个触摸点被表征为具有中心位置(X，Y)、宽度Y和高度H的矩形触摸区域404，使得触摸区域404接近与触摸板14接触的指针的位置和大小。当触摸点移动时，产生接触移动事件。当产生接触移动事件时，更新触摸点的中心位置(X，Y)。当触摸点消失时，产生接触上事件。这些事件被传送到图形小部件308或背景306之一，并且被实时处理，以使得用户能够平滑地选择和操纵在触摸板14上显示的背景306和图形小部件308。
背景306和图形小部件308封装其输入自变量包括接触事件数据的功能。如果接触下事件被传送到背景306或图形小部件308，则背景306或图形小部件308将其本身与对应的触摸点相关联，并且将它所关联的触摸点的总数增加一(1)。
如果接触移动事件被传送到图形小部件308，则根据用于表示姿势的接触移动事件的属性来移动、缩放和/或旋转小部件308，如在此将进一步所述。在这个实施例中，如果接触移动事件被传送到背景306，则背景306不执行任何动作。
如果接触上事件被传送到背景306或图形小部件308，则背景306或图形小部件308将其本身与对应的触摸点脱离关联，并且将它所关联的触摸点的总数减少一(1)。可以执行另外的处理，以引起或去除上述的音频和/或视频效果的任何一个。
图5a至5c是图示由接触事件监控器304和诸如背景306和图形小部件308这样的图形对象执行的步骤，以使用交叉来操纵图形对象和处理接触事件的流程图。当接触下事件发生时(步骤502)，接触事件监控器304执行小部件击中测试(步骤504)，以便通过确定新的触摸点是否对应于由图形小部件占用的位置来确定新的触摸点是否“击中”(即，接通)小部件(步骤506)。如果未击中图形小部件，即，触摸点被确定击中背景306，则接触事件监控器将接触下事件传送到背景306(步骤508)。如果触摸点击中图形小部件308，则接触事件监控器304向图形小部件308传送接触下事件(步骤510)。
当出现接触移动事件时(步骤522)，接触事件监控器304通过确定触摸点是否与小部件308相关联来查看是否触摸点已经在图形小部件308上(步骤524)。如果触摸点当前不与图形小部件308相关联，则接触事件监控器304执行小部件击中测试(步骤526)以查看是否触摸点击中小部件(步骤528)。如果未击中图形小部件，即，触摸点击中背景306，则接触事件监控器304将接触移动事件传送到背景306(步骤530)以进一步处理。如果触摸点与小部件308叠合，诸如触摸点与小部件308的边缘交叉，则登记肯定小部件击中测试。在该情况下，接触事件监控器304自动地在与接触移动事件相同的位置模拟接触上事件，并且将其传送到背景306，并且在与接触移动事件相同的位置模拟接触下事件，并且将其传送到小部件308(步骤532)。结果，接触事件监控器304实现小部件308的简单和直观的选择。
在步骤524，如果触摸点与小部件308相关联，则接触事件监控器304向小部件308传送接触移动事件(步骤536)。然后查看与小部件相关联的触摸点的总数(步骤538)。如果小部件仅与一个触摸点相关联，则旋转和平移(RNT)算法用于操纵小部件308(步骤540)。适当的RNT算法的细节在Russell Kruger等的″Fluid Orientation on a Tabletop Display：Integrating Rotation and Translation″中给出，并且在Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI 2005，Portland，Oregon)，ACM Press，pages 601-610，2005中被公布，其内容通过引用被整体包含在此。
如果在步骤538小部件308与两个触摸点相关联，则基于两个触摸点的位置来操纵小部件308(步骤542)。在这个实施例中，计算在两个触摸点的中心之间的中点，并且，也计算在沿着两个触摸点的中心的线和任意基线(例如，x轴)之间的角度。当移动中点时，小部件308也在相同的方向上移动相同的距离。如果改变该角度，则根据角度改变来旋转小部件308。小部件旋转的角度可以是角度改变的倍数。如果在两个触摸点之间的距离减小，则缩小小部件308。如果在两个触摸点之间的距离增大，则放大小部件308。
如果在步骤538小部件308与超过两个触摸点相关联，则通过相关联的触摸点来操纵小部件308(步骤544)。在这个实施例中，使用平均技术，由此，计算与小部件308相关联的触摸点的质心(例如，与相关联的触摸点的平均中心点相同的在屏幕表面上的点)。当移动质心时，小部件308在相同的方向上移动相同的距离。相对于质心的相关联的触摸点的移动被平均，以确定旋转或缩放小部件308的量。
当接触上事件出现时(步骤562)，接触事件监控器通过确定触摸点是否与小部件308相关联来查看触摸点是否在小部件308上(步骤564)。如果触摸点与背景306相关联，则接触事件监控器304将接触上事件向背景306传送(步骤566)。如果触摸点与小部件308相关联，则接触事件监控器向小部件308传送接触上事件(步骤568)。
图6是图示由接触事件监控器304在步骤504和526执行的小部件击中测试的步骤的流程图。在步骤602，接触事件监控器304使用触摸点的参数(X，Y，W，H)来产生测试点的列表。每一个触摸点的测试点的列表包括使用参数W(宽度)和H(高度)而计算的其四个角和其中心点(X，Y)。在步骤604，接触事件监控器304查看是否已经测试了在列表中的所有测试点。如果否，则接触事件监控器304从测试点的列表检索下一个测试点(步骤606)，并且调用点击中测试函数以查看检索的测试点是否在小部件308上(即，与小部件308共享位置)(步骤610)。如果点在小部件308上，则小部件击中测试返回那个小部件308(步骤612)，这意味着触摸点击中小部件308。否则，接触事件监控器304循环回步骤604。如果已经测试了在测试点列表中的所有测试点，则认为触摸点已经击中了背景306，并且小部件击中测试返回背景306(步骤608)。
图7是图示在在步骤610的点击中测试期间执行的步骤的流程图。点击中测试对触摸点是否在沿着z轴以从上向下的顺序堆叠(即，重叠)的小部件308的小部件分级中的小部件308上进行测试。点击中测试函数接收给定的测试点的中心坐标(X，Y)(步骤702)。在步骤704，如果已经测试了所有小部件308，则认为测试点已经击中了背景306，并且点击中测试函数返回背景306(步骤708)。否则，点击中测试函数检索在小部件分级中的下一个小部件308(步骤706)。在步骤710，执行测试以查看触摸点的测试点是否在小部件308上。如果测试点在小部件308上，则点击中测试函数返回小部件308(步骤712)；否则，它循环回步骤704，以测试在小部件分级中的下一个小部件308。
如上所述的选择和操纵的交叉技术通过对围绕小部件308的不活动空间杠杆作用来大大地简化操纵在交互输入系统上的大量小部件308的任务。因此，去除了通过直接地触摸小部件308来选择小部件308的要求。如上所述的方法也模拟在物理领域中的表面上的物理块的操纵，并且允许用户选择在触摸板14上的小目标并执行诸如移动、聚集、旋转和缩放这样的对象操纵，而不要求在初始接触时精确地选择目标。
图8a至8c图示使用单个指针来移动小部件802，在该情况下单个指针是手指804。在图8a中，用户接触在背景306上的手指804，并且将手指804在由箭头808所示的方向上向小部件802移动。在图8b中，当与手指804对应的触摸点与小部件802的边缘相交时，接触上事件被传送到背景306，并且接触下事件被传送到小部件802，使得小部件802被选择用于操纵。视觉效果806可以被加到触摸点以强调其已经接触了小部件802。在图8c中，当手指804继续在箭头808的方向上或在任何其他方向上向前移动时，小部件802被连续地传送接触移动事件，使得它递增地向新位置移动。
图9a至9c图示使用四个指针来移动四个小部件902，在该情况下，该四个指针是手指904。在图9a中，用户接触在背景306上的四个手指904，并且在由箭头906所示的方向上向四个小部件902移动手指904。在图9b中，左面三个手指904已经分别与左面三个小部件902相交，使得三个对应的触摸点的每一个的接触上事件被传送到背景306，并且接触下事件被传送到三个小部件902的相应的一些。当手指904在由箭头906所示的方向上继续时，三个最左触摸点的每一个的接触移动事件被连续地传送到三个被接触的小部件902，使得它们移动，同时最右触摸点的接触移动事件被传送到背景306。在图9c中，所有四个触摸点已经与相应的四个小部件902的边缘相交，并且触摸点的连续移动分别移动所有四个小部件902。
图9d示出了由10个指针操纵的图形小部件908，图形小部件908在该情况下是数字图像，并且10个指针在该情况下是手指，其中每一个手指具有相应的触摸点910。如在步骤544在图5中所述，当超过两个触摸点910与图形小部件908相关联时，使用平均技术来确定操纵的特性。计算与图形小部件908相关联的触摸点910的质心912，质心912是与所有的相关联的触摸点910的平均中心点相同的在显示表面上的点。当移动触摸点910时，接触移动事件被传送到小部件908，并且根据质心912移动的距离和方向来操纵小部件908。例如，当用户试图使用超过2个触摸点910来缩放图形小部件时，则确定每一个触摸点相对于质心912的平均距离。如果平均距离提高，则小部件908被放大。如果平均距离降低，则小部件908在大小上减少。用于放大或缩小小部件908的在尺度上的改变与平均距离值直接成比例。
图10a至10c图示了使用单个指针并且通过使用RNT算法来移动和旋转小部件1002，单个指针在该情况下是手指1004。在图10a中，用户使用手指1004来接触背景306，并且在由箭头1008所示的方向上向小部件1002移动手指1004。在图10b中，当对应于手指1004的触摸点与小部件1002的边缘相交时，接触上事件被传送到背景306，并且接触下事件被传送到小部件1002，使得选择小部件1002以用于操纵。在这个实施例中，视觉效果1006被加到触摸点以强调它与小部件1002的接触。在图10c中，手指1004在触摸板上向前移动。因为在小部件1002上的对应的移动触摸点偏离接触边缘的中心点，所以小部件1002因此被移动并且同时被旋转，如同物理对象与手指1004接触。
在图10d中，用户旋转与和在用户的手上的手指对应的10个触摸点1012相关联的小部件1010。在这个实施例中，确定在图形小部件1010的边缘上或边缘处的触摸点1012的数量。计算在小部件1010的边缘上或边缘处的所有触摸点1012的平均位置或质心1014。然后确定相对于质心1014的所有接触区域1012的最外的最后触摸点1016。如图10e中所示，计算自质心1014在最后的触摸点1016和水平线1018(由触摸表面的最长边限定)之间的角度1020。替代地，也可以计算自质心1014在最后触摸点1016和已知取向(向质心平移)的向量之间的角度1020。当在用户的手旋转时这个角度1020从先前保存的角度围绕质心1014改变度数时，因此旋转小部件1010。在这个实施例中，角度被测量为在-180度和180度之间。在角度改变在这个范围之外的情况下，在任何进一步的处理之前，将角度改变覆盖到这个范围内。例如，如果角度改变小于-180度，则将360度加到该角度上，由此覆盖它。类似地，如果角度大于180度，则通过减去360度来覆盖它。所覆盖的角度差然后用于旋转图形小部件1010。
图11a至11c图示改变小部件的大小，在该情况下小部件是使用两个指针的图片1102，在该情况下指针是用户的手指。在图11a中，用户将两个手指1104触摸在接近图片1102的背景306上，并且在分别由两个箭头1106和1108所示的方向上向图片1102移动手指1104。在图11b中，当对应于手指1104的触摸点部分与图片1102的两边相交时，使用视觉效果来强调两个触摸点。图片1102然后被选择以用于操纵。在图11c中，在手指1104移动得更接近的情况下，图片1102被操纵以便缩小为更小的尺寸。
在图11d到11g中，示出其他多个手指缩放应用。在触摸板1110上，用户通过在图11d中的多个触摸点1114来接触图形小部件1112。在图11e中，用户通过通过在小部件1112上或在小部件1112的边缘处扩展触摸点1114之间的距离来放大图形小部件1112。在图11f中，按照预定最大缩放值1116，实现最大缩放，并且小部件1112被自动地动画化和放大，如图11g中所示。优选的是，最大缩放尺寸1116在大小上很接近触摸板的显示表面的大小，以便防止当缩放小部件时自动最大缩放被偶然地初始化。在缩放期间，小部件保持在触摸板上居中，并且向外部扩展，以覆盖显示区域，以便有助于可用性。这特别有益于呈现，其中，放大小部件112以用于最大缩放并且居中和整直放大的小部件1112，而不将小部件推离显示表面，或使得在小部件上的其他不需要的平移具有挑战性。
可以建立其他多个接触姿势以对于最大缩放的小部件1112执行任务。如在图11c中图示一样，缩放姿势导致小部件1112缩小所确定的量或返回到其原始大小。替代地，击打姿势可以平移到在诸如幻灯片这样的应用中的一组小部件1112中的下一个小部件1112。
可以通过在处理结构20上运行的软件应用来施加在小部件1112的尺寸和/或位置上的限制，以便防止在合作环境中用户的行为不当地干扰另一个用户的行为。例如，使得一个用户能够放大图形小部件以覆盖显示表面的大部分将挡住其他用户的显示表面空间和/或小部件。因此，合作软件应用可以限制放大特定小部件的程度，如在下文中所述：在2008年9月29日提交的Tse等的美国专利申请No.12/241,030，题目为″METHOD FOR HANDLING INTERACTIONS WITH MULTIPLE USERS OF AN INTERACTIVE INPUT SYSTEM，AND INTERACTIVE INPUT SYSTEM EXECUTING THE METHOD″，该申请被转让给本申请的受让方Canada，Alberta，Calgary的SMART Technologies ULC，其内容通过引用被包含在在此。
图12a至12c图示使用两个指针来旋转三角小部件1202，该两个指针在该情况下是拇指1204和食指1206。在图12a中，用户将拇指1204和食指1206触摸在接近小部件1202的背景306上，并且分别在由箭头1028和1210所示的方向上向小部件1202移动拇指1204和食指1206。在图12b中，当拇指1204和食指1206与小部件1202的相应边缘相交时，使用视觉效果来强调两个触摸点，并且小部件1202被自动地选择以用于拇指1204和食指1206的操纵，如上所述。在图12c中，在拇指1204向右移动并且食指1206向左移动时，旋转小部件1202，如上所述。
如果期望，则直接地击中小部件的新触摸点可以导致与当现有的触摸点与小部件相交时出现的动作不同的动作，如图13a至13b和图14a至14c中所示。在图13a中，示出包含提示1302和文本输入框1304的文本输入小部件。在图13b中，用户直接地使用指针来触摸文本输入框1304，指针在该情况下为手指1306。接触事件监控器将接触下事件传送到文本输入小部件。文本输入小部件将此解释为用户输入文本的期望。结果，在文本输入框1304中示出文本输入光标1308，并且用户可以使用键盘来输入文本。将注意到，经由在触摸板14上的接触接收输入的键盘图形小部件可以被例示以用于这个目的，或用户可以使用连接到处理结构20的物理键盘来输入文本。
在图14a中，示出包含提示1402和文本输入框1404的文本输入小部件。用户首先将指针，在该情况下为手指1406，触摸在背景306上，并且将手指1406在由箭头1408所示的方向上向文本输入小部件移动。在图14b中，当与手指1406对应的触摸点与文本输入小部件的边缘相交时，接触事件监控器向背景306传送接触上事件，并且向文本输入小部件传送修改的向下连续事件。在下述意义上，修改向文本输入小部件传送的接触下事件：使得小部件知道来自这个现有的触摸点的接触下事件与来自新的触摸点的接触下事件不同。作为响应，选择文本输入小部件以用于操纵，诸如移动、旋转等，这与文本输入相反。在图14c中，手指1406在显示表面上向前移动，使得文本输入小部件1402向新的位置移动。除了文本输入小部件之外，可以以类似的方式来操作其他的用户输入小部件，用于使得用户能够输入墨或其他类型的输入。
图15a和15b图示使用交叉姿势的呈现应用，该交叉姿势采用在图5a和5b中所述的交叉方法。在这个实施例中，用户通过对应于指针的触摸点1502来接触图形小部件1500的内部，其中，之前的用户输入1504已经被输入，并且用户执行在小部件1500上的扫动姿势1506。当用户在小部件1500的内部1510上移动触摸点1502，并且在大致水平方向上跨过小部件1500的边缘以达到小部件的外部或背景1512时，小部件的内部被清除，并且在小部件1500内的之前的用户输入被擦除。这样的使用交叉姿势的应用特别有益于呈现应用，其中，期望保留尽可能多的显示表面真实状态。交叉姿势应用减少或消除了用于提示用户输入的另外的用户界面框的必要，和确认什么可能阻挡观众对于关键信息和图形的视线的必要。
图16图示使用在图5a和5b中描述的交叉方法的另一个应用。在这个示例中，基于交叉的交互用于在呈现期间实时地动态地开发、操纵和动画化呈现内容。呈现者可以通过使用多个手指旋转和平移字符而实时地动画化字符的位置。如上所述，在上述的对于Tse等的美国专利申请No.12/241,030中描述了关于使用交叉姿势的协作软件应用的进一步细节。
如上所述的用于在交互输入系统中选择和操纵图形对象的方法可以被体现在软件应用中，该软件应用包括由处理结构20执行的计算机可执行指令。软件应用可以包括包含例程、程序、对象部件、数据结构等的程序模块，并且可以被体现为在计算机可读介质上存储的计算机可读程序代码。计算机可读介质是可以存储数据的任何数据存储装置，该数据可以其后被处理结构20读取。计算机可读介质的示例例如包括只读存储器、随机存取存储器、CD-ROM、磁带和光学数据存储装置。计算机可读程序代码也可以被分布在包括连接的计算机系统的网络上，使得以分布方式存储和执行计算机可读程序代码。
交互输入系统可以包括程序模块，该程序模块包括但是不限于例程、程序、对象部件、数据结构等，并且交互输入系统可以被体现为在计算机可读介质上存储的计算机可读程序代码。计算机可读介质是可以存储数据的任何数据存储装置，该数据可以其后被计算机系统读取。计算机可读介质的示例包括例如只读存储器、随机存取存储器、快闪存储器、CD-ROM、磁带、光学数据存储装置和其他存储介质。计算机可读程序代码也可以被分布在包括连接的计算机系统的网络上，使得以分布方式存储和执行计算机可读程序代码或通过网络来复制计算机可读程序代码以用于本地执行。
虽然如上所述的实施例基于FTIR多接触交互输入系统，但是本领域技术人员可以明白，也可以向包括非FTIR系统和/或单个触摸系统的其他接触系统应用许多相同的技术，允许用户通过使用单个指针来平滑地选择和操纵图形小部件。
虽然如上所述的实施例基于触摸表面，但是本领域技术人员可以明白，可以向传统鼠标和键盘输入系统或诸如游戏棒、跟踪球或其组合这样的其他输入系统应用边缘接触技术。
也可以使用诸如以位置(X，Y)为中心并且具有半径R的圆形区域这样的其他形状来限定触摸区域。本领域技术人员可以明白，接触区域的不同形状是不偏离本发明的精神和范围的算法的最小修改。
然而，本领域技术人员可以明白，根据替代实施例，也可以建立背景306，以在一些实施例中执行响应于所接收的接触事件的一些动作。
虽然已经描述了实施例，但是本领域技术人员可以明白，在不偏离由所附的权利要求限定的其精神和范围的情况下，可以进行改变和修改。

Claims (27)

1.一种用于选择在交互输入系统的背景上显示的图形小部件的方法，包括：
跟踪与所述背景相关联的一个或多个触摸点；以及
在一个或多个触摸点与所述图形小部件的位置叠合的情况下，将叠合的一个或多个触摸点与所述图形小部件相关联。
2.根据权利要求1所述的方法，进一步包括将叠合的一个或多个触摸点与所述背景脱离关联。
3.根据权利要求1至2之一所述的方法，进一步包括：
跟踪与所述图形小部件相关联的所述一个或多个触摸点；以及
基于所述跟踪，操纵所述图形小部件。
4.根据权利要求3所述的方法，其中，所述操纵进一步包括：在所述一个或多个相关联的触摸点的每一个在基本上相同的方向上被平移的情况下，平移所述图形小部件。
5.根据权利要求3至4之一所述的方法，其中，操纵进一步包括：
限定所述一个或多个相关联的触摸点的质心；以及
在所述一个或多个相关联的触摸点和所述质心之间的距离改变的情况下，缩放所述图形小部件。
6.根据权利要求3至5之一所述的方法，其中，操纵进一步包括：
限定所述一个或多个相关联的触摸点的质心；
从所述一个或多个触摸点确定最后的触摸点；
确定在所述质心处已知取向的向量和所述最后的触摸点之间的角度；以及
在所述角度与所述最后的触摸点围绕所述质心旋转相关联地改变的情况下，旋转所述图形小部件。
7.根据权利要求5至6之一所述的方法，其中，所述缩放进一步包括：
监控所述图形小部件的尺寸；
将所述尺寸与预定最大缩放阈值相比较；以及
在所述尺寸大于或等于所述预定最大缩放阈值的情况下，执行所述图形小部件的自动缩放。
8.根据权利要求7所述的方法，其中，所述自动缩放放大所述图形小部件以覆盖所述背景。
9.根据权利要求1至2之一所述的方法，其中，所述图形小部件是用户输入小部件。
10.根据权利要求9所述的方法，进一步包括：
跟踪与所述用户输入小部件相关联的所述一个或多个触摸点；以及
基于所述跟踪，操纵所述用户输入小部件。
11.根据权利要求10所述的方法，其中，所述操纵进一步包括：在所述一个或多个相关联的触摸点移动到在所述用户输入小部件之外的位置的情况下，擦除在所述用户输入小部件中的用户输入。
12.根据权利要求9至11之一所述的方法，其中，所述用户输入小部件是文本输入小部件。
13.根据权利要求9至11之一所述的方法，其中，所述用户输入小部件是墨输入小部件。
14.一种计算机可读介质，包含计算机程序，所述计算机程序用于选择在交互输入系统的背景上显示的图形小部件，所述计算机程序包括：
用于跟踪与所述背景相关联的一个或多个触摸点的程序代码；以及
用于在一个或多个触摸点与所述图形小部件的位置叠合的情况下将叠合的一个或多个触摸点与所述图形小部件相关联的程序代码。
15.一种交互输入系统，包括：
触摸板；以及
处理结构，用于跟踪在所述触摸板上的与显示的背景相关联的一个或多个触摸点，并且在所述触摸点的一个或多个与图形小部件的位置叠合的情况下，将叠合的一个或多个触摸点与所述图形小部件相关联。
16.根据权利要求15所述的交互输入系统，其中，所述处理结构跟踪与所述图形小部件相关联的所述一个或多个触摸点，并且基于所述跟踪来操纵所述图形小部件。
17.根据权利要求16所述的交互输入系统，其中，在所述操纵期间，在所述一个或多个相关联的触摸点的每一个在基本上相同的方向上被平移的情况下，所述处理结构平移所述图形小部件。
18.根据权利要求16至17之一所述的交互输入系统，其中，在所述操纵期间，所述处理结构限定所述一个或多个相关联的触摸点的质心；并且，在所述一个或多个相关联的触摸点和所述质心之间的距离改变的情况下，缩放所述图形小部件。
19.根据权利要求16至17之一的交互输入系统，其中，在所述操纵期间，所述处理结构限定所述一个或多个相关联的触摸点的质心；从所述一个或多个触摸点确定最后的触摸点；确定在所述质心处已知取向的向量和所述最后的触摸点之间的角度；并且，在所述角度与所述最后的触摸点围绕所述质心旋转相关联地改变的情况下，旋转所述图形小部件。
20.根据权利要求18所述的交互输入系统，其中，在所述缩放期间，处理器监控所述图形小部件的尺寸；将所述尺寸与预定最大缩放阈值相比较；并且，在所述尺寸大于或等于所述预定最大缩放阈值的情况下，执行所述图形小部件的自动缩放。
21.根据权利要求20所述的交互输入系统，其中，在所述自动缩放期间，所述处理器放大所述图形小部件以覆盖所述背景。
22.根据权利要求15所述的交互输入系统，其中，所述图形小部件是用户输入小部件。
23.根据权利要求22所述的交互输入系统，其中，处理器跟踪与所述用户输入小部件相关联的所述一个或多个触摸点；以及，基于所述跟踪，操纵所述用户输入小部件。
24.根据权利要求23所述的交互输入系统，其中，在所述操纵期间，在所述一个或多个相关联的触摸点移动到在所述用户输入小部件之外的位置的情况下，所述处理器擦除在所述用户输入小部件中的用户输入。
25.根据权利要求22至24之一所述的交互输入系统，其中，所述用户输入小部件是文本输入小部件。
26.根据权利要求22至24之一所述的交互输入系统，其中，所述用户输入小部件是墨输入小部件。
27.根据权利要求23至25之一所述的交互输入系统，其中，所述用户输入小部件是墨输入小部件。
CN2009801384487A 2008-09-29 2009-09-28 利用基于交叉的小部件操纵的触摸输入 Pending CN102165405A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US24091908A 2008-09-29 2008-09-29
US12/240,919 2008-09-29
US12/423,726 US8810522B2 (en) 2008-09-29 2009-04-14 Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US12/423,726 2009-04-14
PCT/CA2009/001359 WO2010034122A1 (en) 2008-09-29 2009-09-28 Touch-input with crossing-based widget manipulation

Publications (1)

Publication Number Publication Date
CN102165405A true CN102165405A (zh) 2011-08-24

Family

ID=42056947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801384487A Pending CN102165405A (zh) 2008-09-29 2009-09-28 利用基于交叉的小部件操纵的触摸输入

Country Status (6)

Country Link
US (1) US8810522B2 (zh)
EP (1) EP2332031A4 (zh)
CN (1) CN102165405A (zh)
AU (1) AU2009295320A1 (zh)
CA (1) CA2738185C (zh)
WO (1) WO2010034122A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164155A (zh) * 2011-12-12 2013-06-19 索尼爱立信移动通信日本株式会社 显示处理装置
WO2014075612A1 (zh) * 2012-11-14 2014-05-22 Han Dingnan 人机交互方法及界面
CN111338468A (zh) * 2020-02-05 2020-06-26 吉林大学 一种基于交叉范式的移动终端触觉目标操作系统和方法

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
EP2342622B1 (de) * 2008-07-15 2018-02-21 Isiqiri Interface Technologies GmbH Steuerfläche für eine datenverarbeitungsanlage
US20100079409A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Touch panel for an interactive input system, and interactive input system incorporating the touch panel
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US8477103B2 (en) * 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
KR101553629B1 (ko) * 2009-05-06 2015-09-17 삼성전자주식회사 인터페이스 제공 방법
KR101567785B1 (ko) * 2009-05-28 2015-11-11 삼성전자주식회사 휴대단말에서 줌 기능 제어 방법 및 장치
US8416206B2 (en) * 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
US8902195B2 (en) * 2009-09-01 2014-12-02 Smart Technologies Ulc Interactive input system with improved signal-to-noise ratio (SNR) and image capture method
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
US9665258B2 (en) 2010-02-05 2017-05-30 Smart Technologies Ulc Interactive input system displaying an e-book graphic object and method of manipulating a e-book graphic object
US8994646B2 (en) 2010-12-17 2015-03-31 Microsoft Corporation Detecting gestures involving intentional movement of a computing device
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US20120154295A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Cooperative use of plural input mechanisms to convey gestures
US8988398B2 (en) 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US8982045B2 (en) 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
US9405433B1 (en) 2011-01-07 2016-08-02 Trimble Navigation Limited Editing element attributes of a design within the user interface view, and applications thereof
US9261987B2 (en) * 2011-01-12 2016-02-16 Smart Technologies Ulc Method of supporting multiple selections and interactive input system employing same
US9201520B2 (en) 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US8581901B2 (en) * 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures
US9146660B2 (en) 2011-08-22 2015-09-29 Trimble Navigation Limited Multi-function affine tool for computer-aided design
US10318146B2 (en) * 2011-09-12 2019-06-11 Microsoft Technology Licensing, Llc Control area for a touch screen
US9658715B2 (en) 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US9274642B2 (en) * 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US8933896B2 (en) 2011-10-25 2015-01-13 Microsoft Corporation Pressure-based interaction for indirect touch input devices
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
US8902181B2 (en) 2012-02-07 2014-12-02 Microsoft Corporation Multi-touch-movement gestures for tablet computing devices
JP5924035B2 (ja) * 2012-03-08 2016-05-25 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US9324188B1 (en) 2012-04-30 2016-04-26 Dr Systems, Inc. Manipulation of 3D medical objects
WO2013169301A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Variable feedback based on drag input
WO2013170099A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
JP6219100B2 (ja) * 2013-08-29 2017-10-25 シャープ株式会社 ソフトウェアキーボードを表示可能な画像表示装置及びその制御方法
US10684740B2 (en) * 2013-11-04 2020-06-16 Facebook, Inc. Intervention conditions
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
US20170131824A1 (en) * 2014-03-20 2017-05-11 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP5957026B2 (ja) * 2014-03-31 2016-07-27 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 入力領域の生成方法、生成装置、および生成プログラム
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US9870083B2 (en) 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
KR101650269B1 (ko) * 2015-03-12 2016-08-22 라인 가부시키가이샤 화면 제어를 위한 효율적인 인터페이스를 제공하는 시스템 및 방법
US10817172B2 (en) 2015-03-27 2020-10-27 Intel Corporation Technologies for graphical user interface manipulations using multi-finger touch interactions
US20170277337A1 (en) * 2016-03-25 2017-09-28 Le Holdings (Beijing) Co., Ltd. Method and Electronic Device for Controlling Terminal
KR20200078932A (ko) * 2018-12-24 2020-07-02 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007121557A1 (en) * 2006-04-21 2007-11-01 Anand Agarawala System for organizing and visualizing display objects
US20080034320A1 (en) * 2002-05-22 2008-02-07 Microsoft Corporation Application sharing viewer presentation
CN101198925A (zh) * 2004-07-30 2008-06-11 苹果公司 用于触敏输入设备的手势

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3364881A (en) * 1966-04-12 1968-01-23 Keuffel & Esser Co Drafting table with single pedal control of both vertical movement and tilting
USD270788S (en) 1981-06-10 1983-10-04 Hon Industries Inc. Support table for electronic equipment
US4372631A (en) * 1981-10-05 1983-02-08 Leon Harry I Foldable drafting table with drawers
USD286831S (en) 1984-03-05 1986-11-25 Lectrum Pty. Ltd. Lectern
USD290199S (en) 1985-02-20 1987-06-09 Rubbermaid Commercial Products, Inc. Video display terminal stand
US4710760A (en) * 1985-03-07 1987-12-01 American Telephone And Telegraph Company, At&T Information Systems Inc. Photoelastic touch-sensitive screen
USD312928S (en) 1987-02-19 1990-12-18 Assenburg B.V. Adjustable table
USD306105S (en) 1987-06-02 1990-02-20 Herman Miller, Inc. Desk
USD318660S (en) 1988-06-23 1991-07-30 Contel Ipc, Inc. Multi-line telephone module for a telephone control panel
CA2058219C (en) * 1991-10-21 2002-04-02 Smart Technologies Inc. Interactive display system
US6141000A (en) * 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
US6608636B1 (en) 1992-05-13 2003-08-19 Ncr Corporation Server based virtual conferencing
USD353368S (en) * 1992-11-06 1994-12-13 Poulos Myrsine S Top and side portions of a computer workstation
US5568604A (en) * 1992-12-31 1996-10-22 U S West Technologies, Inc. Method and system for generating a working window in a computer system
JPH08205113A (ja) 1995-01-20 1996-08-09 Ricoh Co Ltd テレビ会議通信端末装置およびその制御方法
USD372601S (en) * 1995-04-19 1996-08-13 Roberts Fay D Computer desk module
US5732228A (en) * 1995-11-14 1998-03-24 International Business Machines Corporation Method and system for per widget graphical pointer control within a data processing system graphical user interface
US6061177A (en) * 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
DE19711932A1 (de) * 1997-03-21 1998-09-24 Anne Katrin Dr Werenskiold In vitro-Verfahren zum Prognostizieren des Krankheitsverlaufs von Patienten mit Mammakarzinom und/oder zum Diagnostizieren eines Mammakarzinoms
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
JP3794180B2 (ja) 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
DE19856007A1 (de) * 1998-12-04 2000-06-21 Bayer Ag Anzeigevorrichtung mit Berührungssensor
US7469381B2 (en) * 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US6545670B1 (en) * 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
DE19946358A1 (de) * 1999-09-28 2001-03-29 Heidelberger Druckmasch Ag Vorrichtung zur Vorlagenbetrachtung
WO2003007049A1 (en) * 1999-10-05 2003-01-23 Iridigm Display Corporation Photonic mems and structures
US6820111B1 (en) * 1999-12-07 2004-11-16 Microsoft Corporation Computer user interface architecture that saves a user's non-linear navigation history and intelligently maintains that history
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US7859519B2 (en) * 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
DE60122708D1 (de) * 2000-05-11 2006-10-12 Nes Stewart Irvine Zeroklick
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7327376B2 (en) * 2000-08-29 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Multi-user collaborative graphical user interfaces
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
US6738051B2 (en) 2001-04-06 2004-05-18 3M Innovative Properties Company Frontlit illuminated touch panel
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
AT412176B (de) * 2001-06-26 2004-10-25 Keba Ag Tragbare vorrichtung zumindest zur visualisierung von prozessdaten einer maschine, eines roboters oder eines technischen prozesses
USD462346S1 (en) * 2001-07-17 2002-09-03 Joseph Abboud Round computer table
USD462678S1 (en) * 2001-07-17 2002-09-10 Joseph Abboud Rectangular computer table
EP1315071A1 (en) 2001-11-27 2003-05-28 BRITISH TELECOMMUNICATIONS public limited company User interface
US7855716B2 (en) * 2002-03-27 2010-12-21 Nellcor Puritan Bennett Llc Infrared touchframe system
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
JP2004078613A (ja) * 2002-08-19 2004-03-11 Fujitsu Ltd タッチパネル装置
US6972401B2 (en) * 2003-01-30 2005-12-06 Smart Technologies Inc. Illuminated bezel and touch system incorporating the same
US7256772B2 (en) 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
GB0316122D0 (en) 2003-07-10 2003-08-13 Symbian Ltd Control area selection in a computing device with a graphical user interface
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7092002B2 (en) * 2003-09-19 2006-08-15 Applied Minds, Inc. Systems and method for enhancing teleconferencing collaboration
EP1668482A2 (en) * 2003-09-22 2006-06-14 Koninklijke Philips Electronics N.V. Touch input screen using a light guide
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US20050183035A1 (en) * 2003-11-20 2005-08-18 Ringel Meredith J. Conflict resolution for graphic multi-user interface
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7460110B2 (en) * 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7372456B2 (en) * 2004-07-07 2008-05-13 Smart Technologies Inc. Method and apparatus for calibrating an interactive touch system
US20060044282A1 (en) * 2004-08-27 2006-03-02 International Business Machines Corporation User input apparatus, system, method and computer program for use with a screen having a translucent surface
US20060059437A1 (en) * 2004-09-14 2006-03-16 Conklin Kenneth E Iii Interactive pointing guide
US8130210B2 (en) * 2004-11-30 2012-03-06 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch input system using light guides
US7559664B1 (en) * 2004-12-27 2009-07-14 John V. Walleman Low profile backlighting using LEDs
US7593024B2 (en) * 2005-01-15 2009-09-22 International Business Machines Corporation Screen calibration for display devices
US20090135162A1 (en) 2005-03-10 2009-05-28 Koninklijke Philips Electronics, N.V. System and Method For Detecting the Location, Size and Shape of Multiple Objects That Interact With a Touch Screen Display
US7630002B2 (en) * 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
US7515143B2 (en) * 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US7984995B2 (en) * 2006-05-24 2011-07-26 Smart Technologies Ulc Method and apparatus for inhibiting a subject's eyes from being exposed to projected light
CN101101509B (zh) 2006-07-03 2010-05-12 微光科技股份有限公司 指针输入系统的输入及校正方法
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US20080084539A1 (en) * 2006-10-06 2008-04-10 Daniel Tyler J Human-machine interface device and method
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
WO2008116125A1 (en) * 2007-03-20 2008-09-25 Cyberview Technology, Inc. 3d wagering for 3d video reel slot machines
CA2688214A1 (en) * 2007-05-11 2008-11-20 Rpo Pty Limited A transmissive body
USD571365S1 (en) * 2007-05-30 2008-06-17 Microsoft Corporation Portion of a housing for an electronic device
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8094137B2 (en) * 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8125458B2 (en) * 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
US20090103853A1 (en) * 2007-10-22 2009-04-23 Tyler Jon Daniel Interactive Surface Optical System
US8719920B2 (en) * 2007-10-25 2014-05-06 International Business Machines Corporation Arrangements for identifying users in a multi-touch surface environment
US8581852B2 (en) * 2007-11-15 2013-11-12 Microsoft Corporation Fingertip detection for camera based multi-touch systems
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
EP2225628B1 (en) * 2007-12-20 2018-05-30 Myriad France Method and system for moving a cursor and selecting objects on a touchscreen using a finger pointer
WO2009146544A1 (en) 2008-06-05 2009-12-10 Smart Technologies Ulc Multiple pointer ambiguity and occlusion resolution
US8842076B2 (en) * 2008-07-07 2014-09-23 Rockstar Consortium Us Lp Multi-touch touchscreen incorporating pen tracking
US8390577B2 (en) * 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8018442B2 (en) * 2008-09-22 2011-09-13 Microsoft Corporation Calibration of an optical touch-sensitive display device
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US20100079409A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Touch panel for an interactive input system, and interactive input system incorporating the touch panel
US20100083109A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US8446376B2 (en) * 2009-01-13 2013-05-21 Microsoft Corporation Visual response to touch inputs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080034320A1 (en) * 2002-05-22 2008-02-07 Microsoft Corporation Application sharing viewer presentation
CN101198925A (zh) * 2004-07-30 2008-06-11 苹果公司 用于触敏输入设备的手势
WO2007121557A1 (en) * 2006-04-21 2007-11-01 Anand Agarawala System for organizing and visualizing display objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOHNNY ACCOT ET AL: "More than dotting the i’s — Foundations for crossing-based interfaces", 《PROC. OF CHI"2002》 *
RUSSELL KRUGER ET AL: "Fluid Integration of Rotation and Translation", 《CHI 2005》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164155A (zh) * 2011-12-12 2013-06-19 索尼爱立信移动通信日本株式会社 显示处理装置
CN103164155B (zh) * 2011-12-12 2018-09-07 索尼移动通信株式会社 显示处理装置
US10296205B2 (en) 2011-12-12 2019-05-21 Sony Corporation User interface for controlling a display scale of an image
WO2014075612A1 (zh) * 2012-11-14 2014-05-22 Han Dingnan 人机交互方法及界面
CN111338468A (zh) * 2020-02-05 2020-06-26 吉林大学 一种基于交叉范式的移动终端触觉目标操作系统和方法

Also Published As

Publication number Publication date
AU2009295320A1 (en) 2010-04-01
CA2738185A1 (en) 2010-04-01
EP2332031A4 (en) 2013-05-01
US20100079493A1 (en) 2010-04-01
EP2332031A1 (en) 2011-06-15
CA2738185C (en) 2017-07-11
WO2010034122A1 (en) 2010-04-01
US8810522B2 (en) 2014-08-19

Similar Documents

Publication Publication Date Title
CN102165405A (zh) 利用基于交叉的小部件操纵的触摸输入
US8416206B2 (en) Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
Walker A review of technologies for sensing contact location on the surface of a display
CN103649900B (zh) 边缘手势
US7612786B2 (en) Variable orientation input mode
CN105493023B (zh) 对表面上的内容的操纵
Forlines et al. Direct-touch vs. mouse input for tabletop displays
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
CA2741956C (en) Handling interactions in multi-user interactive input system
CN103529942B (zh) 基于免接触的手势的输入
US8842076B2 (en) Multi-touch touchscreen incorporating pen tracking
US8514251B2 (en) Enhanced character input using recognized gestures
Sambrooks et al. Comparison of gestural, touch, and mouse interaction with Fitts' law
CN102341814A (zh) 姿势识别方法和采用姿势识别方法的交互式输入系统
US20110175920A1 (en) Method for handling and transferring data in an interactive input system, and interactive input system executing the method
US8775958B2 (en) Assigning Z-order to user interface elements
CN105579929A (zh) 基于手势的人机交互
JP2006179006A (ja) カーソルを用いて入力を制御する入力制御方法
Christou et al. 3D touch surface for interactive pseudo‐holographic displays
CN107943348A (zh) 一种智能平板的控制方法、装置、设备及存储介质
TWI490757B (zh) 以光學方法驅動之高解析度與高敏感度游標控制器
Lubos et al. HoverSpace: Analyses of the perceived spatial affordances of hover interaction above tabletop surfaces
Fukuchi Concurrent Manipulation of Multiple Components on Graphical User Interface
Huot Touch Interfaces
Radhakrishnan Investigating a multi-touch user interface for three-dimensional CAD operations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110824