CN102057348A - 多指针模糊和阻挡分辨 - Google Patents

多指针模糊和阻挡分辨 Download PDF

Info

Publication number
CN102057348A
CN102057348A CN2009801210945A CN200980121094A CN102057348A CN 102057348 A CN102057348 A CN 102057348A CN 2009801210945 A CN2009801210945 A CN 2009801210945A CN 200980121094 A CN200980121094 A CN 200980121094A CN 102057348 A CN102057348 A CN 102057348A
Authority
CN
China
Prior art keywords
pointer
target
error function
pointers
illusory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801210945A
Other languages
English (en)
Inventor
周叶
丹尼尔·P·麦克雷诺德斯
布莱恩·L·W·豪斯
布林达·普拉萨德
格兰特·H·麦克吉布尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of CN102057348A publication Critical patent/CN102057348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种用于在交互输入系统中分辨至少两个指针之间的模糊的方法，包括：拍摄感兴趣区域的图像；处理图像数据，以确定在所述感兴趣区域内的所述至少两个指针的多个可能目标和每一个可能目标的当前目标位置，所述多个可能目标包括真实和虚幻目标；在所述感兴趣区域内跟踪每一个可能目标，并且计算每一个可能目标的预测目标位置；以及，确定至少与每一个真实目标相关联的指针路径。

Description

多指针模糊和阻挡分辨
技术领域
本发明涉及输入系统，并且具体地说，涉及交互输入系统和指针模糊和阻挡分辨方法，该交互输入系统使用减少的成像装置硬件，能够分辨指针模糊和阻挡。
背景技术
如下的交互输入系统都是公知的：允许用户使用有源指针(例如，发出光、声音或其他信号的指针)、无源指针(例如，手指、圆柱体或其他物体)或诸如鼠标或跟踪球这样的其他适当输入装置来向应用程序内注入诸如数字墨水、鼠标事件等的输入的交互输入系统。这些交互输入系统包括但是不限于：触摸系统，该触摸系统包括触摸面板，该触摸面板使用模拟电阻或机器视觉技术来记录指针输入，例如在美国专利No.5,448,263、6,141,000、6,337,681、6,747,636、6,803,906、7,232,986、7,236,162和7,274,356以及美国专利申请公布No.2004/0179001中公开的那些，美国专利申请公布No.2004/0179001被转让给本申请的受让人加拿大的Alberta的Calgary的SMART Technologies ULC，它们的内容通过引用被并入本文；触摸系统，包括触摸面板，该触摸面板使用电磁、电容、声音或其他技术来记录指针输入；平板个人计算机(PC)；膝上型PC；个人数字助理(PDA)；以及，其他类似装置。
上面并入的、向Morrison等授予的美国专利No.6,803,906公开了一种触摸系统，其使用机器视觉来检测指针与触摸表面的交互，在该触摸表面上，呈现了计算机产生的图像。矩形边框或框围绕触摸表面，并且在其四个角支撑数字照相机。数字照相机具有重叠的视场，该视场包含并大致注视整个触摸表面。数字照相机获取从不同的位置注视整个触摸表面的图像，并且产生图像数据。由数字照相机获取的图像数据被机载数字信号处理器处理，以确定在所拍摄的图像数据中是否存在指针。当确定在所拍摄的图像数据中存在指针时，数字信号处理器将指针特性数据传送到主控制器，该主控制器继而处理指针特性数据以使用三角测量确定指针在(x，y)坐标上相对于触摸表面的位置。指针坐标然后被传送到执行一个或多个应用程序的计算机。计算机使用指针坐标来更新在触摸表面上呈现的计算机产生的图像。因此，在触摸表面上的指针接触能够被记录为文字或图，或用于控制由计算机执行的应用程序的执行。
在触摸表面小的情形下，更经常的是，用户通常使用单个指针与触摸表面一次一个人地交互。在触摸表面大的情况下，如在向Hill等授予的美国专利申请No.10/750,219中所述，多个用户可以同时与触摸表面交互，该美国专利申请No.10/750,219被转让给SMART Technologies ULC，其内容通过引用被并入本文。
可以明白，在机器视觉触摸系统中，当单个指针在多个成像装置的视场中时，通常可以使用三角测量来容易地计算指针在(x，y)坐标上相对于触摸表面的位置。然而，当多个指针在多个成像装置的视场中时，作为指针模糊和阻挡的结果，遇到困难。当不能区分在由成像装置拍摄的图像中的多个指针时，产生模糊。在该情况下，在三角测量期间，可以计算指针的多个可能位置，但是，不存在使得可以选择正确的指针位置的信息。当一个指针在成像装置的视场中阻挡另一个指针时，出现阻挡。在该情况下，由成像装置拍摄的图像仅包括一个指针。结果，不能使用三角测量计算指针相对于触摸表面的正确位置。增加成像装置的数量使得可以分辨指针模糊和阻挡，但是这当然导致提高了触摸系统成本和复杂度。
因此，本发明的目的是提供一种新颖的交互输入系统和新颖的指针模糊和阻挡分辨方法。
发明内容
因此，在一个方面，提供了一种用于在交互输入系统中分辨在至少两个指针之间的模糊的方法，包括：
拍摄感兴趣区域的图像；
处理图像数据，以确定在所述感兴趣区域内的所述至少两个指针的多个可能目标和每一个可能目标的当前目标位置，所述多个可能目标包括真实和虚幻目标；
在所述感兴趣区域内跟踪每一个可能目标，并且计算每一个可能目标的预测目标位置；以及
确定至少与每一个真实目标相关联的指针路径。
根据另一个方面，提供了一种用于当将至少一个指针带入其中已经存在至少一个指针的感兴趣区域内时在交互输入系统中分辨在指针之间的模糊的方法，所述方法包括：
确定与每一个指针相关联的真实和虚幻目标；
设置与所述真实目标相关联的真实误差函数；
设置与所述虚幻目标相关联的虚幻误差函数，其中，将所述虚幻误差函数设置为与所述真实误差函数不同的值；以及
基于它们的相关联的误差函数来跟踪和分辨所述每一个指针。
根据另一个方面，提供了一种用于当将至少两个指针同时带入感兴趣区域内时在交互输入系统中分辨在指针之间的模糊的方法，所述方法包括：
确定与每一个指针接触相关联的真实和虚幻目标；
设置与每一个目标相关联的误差函数；
通过它们的相关联的误差函数来跟踪和分辨每一个指针接触。
因此，在一个方面，提供了一种交互输入系统，包括：
至少两个成像装置，其具有至少部分重叠的视场，所述视场包含感兴趣区域；以及
处理结构，用于处理由所述成像装置获取的图像数据，以在所述感兴趣区域内跟踪至少两个指针的位置，并且分辨在所述指针之间的模糊。
附图说明
现在参考附图更全面地描述实施例，其中：
图1是交互输入系统的前平面图；
图2是图1的交互输入系统的示意图；
图3是图1和2的交互输入系统的触摸面板的角部的放大前平面图；
图4A是触摸面板的前平面图，用于示出与触摸面板接触的两个指针以及两个虚幻指针，由此强调指针模糊；
图4B示出由大致注视整个图4A的触摸面板的交互输入系统的数字照相机获取的图像帧；
图5A是触摸面板的前平面图，用于示出与触摸面板接触的两个指针，由此强调指针阻挡；
图5B示出由大致注视整个图5A的触摸面板的交互输入系统的数字照相机获取的图像帧；
图6示出在所拍摄的图像帧中的指针的可能状态；
图7A和7B是示出在多个指针的跟踪期间执行的步骤的流程图；
图8A和8B是示出在多个指针的跟踪期间执行的步骤的流程图；以及
图9A至9I示出移动跨过触摸面板的触摸表面的多个指针的跟踪。
具体实施方式
现在参见图1至3，示出交互输入系统，并且通过附图标记50来总体上标识交互输入系统。交互输入系统50类似于在上面包含的美国专利No.6,803,906中公开的交互输入系统，该美国专利No.6,803,906被转让给本申请的受让者Alberta的Calgary的SMART Technologies ULC。
可以看出，交互输入系统50包括触摸面板52，触摸面板52耦合到基于数字信号处理器(DSP)的主控制器54。主控制器54也耦合到计算机56。计算机56执行一个或多个应用程序，并且提供输出到图像产生装置58的计算机产生的图像。图像产生装置58继而产生在触摸面板52的触摸表面60上呈现的计算机产生的图像。触摸面板52、主控制器54、计算机56和图像产生装置58允许将在触摸表面60上的指针接触记录为文字或图形，或用于控制由计算机56执行的应用程序的执行。
触摸表面60被边框或框62限界，类似于在2005年12月6日向Akitt等授予的美国专利No.6,972,401中公开的，该美国专利No.6,972,401被转让给本申请的受让者SMART Technologies ULC，其内容通过引用被并入本文。从图2和3中最佳地看到的具有机载处理能力的、基于DSP的数字照相机70位于触摸表面60的每一个上角部附近，并且被边框62容纳。在这个实施例中，每一个数字照相机70包括：图像传感器，该图像传感器大致注视整个触摸表面60；以及，处理单元(未示出)，用于与图像传感器进行通信。每一个图像传感器的光轴大体指向触摸表面的相对角部，并且在这个示例中与触摸表面60的对角线成一直线。因此，每一个图像传感器的光轴平分触摸表面60的对角地相对的角部。
在触摸系统50的操作期间，每一个数字照相机70的图像传感器注视整个触摸表面60，并且获取图像帧。对于每一个数字照相机70，由其图像传感器获取的图像数据被数字照相机的处理单元处理，以确定是否相信在每一个拍摄的图像帧中存在一个或多个指针。当确定在拍摄的图像帧中存在一个或多个指针时，从那个拍摄的图像帧导出用于识别在该拍摄的图像帧中的(一个或多个)指针位置的指针特性数据。
由每一个数字照相机70导出的指针特性数据然后被传送到主控制器54，主控制器54继而以使得可以计算(一个或多个)指针在(x，y)坐标上相对于触摸表面60的位置的方式来处理指针特性数据。
指针坐标数据然后被报告到计算机56，计算机56继而如果指针接触是写入事件则将指针坐标数据记录为文字或图形，或如果指针接触是鼠标事件则将指针坐标数据注入到由计算机56运行的动态应用程序内。如上所述，计算机56也更新向图像产生装置58传送的图像数据，以便在触摸表面60上呈现的图像反映指针行为。
当在由数字照相机70拍摄的图像帧中存在单个指针时，利用三角测量就能够容易地计算指针在(x，y)坐标上相对于触摸表面60的位置。当在由数字照相机70拍摄的图像帧中存在多个指针时，作为如上所述的指针模糊和阻挡问题的结果，计算指针在(x，y)坐标上相对于触摸表面60的位置更复杂。
图4A、4B和5A和5B图示作为仅使用两个数字照相机70的结果在交互输入系统50中产生的指针模糊和阻挡问题。具体地说，图4A图示指针模糊。可以看出，在这个示例中，两个指针P1和P2在不同的位置与触摸表面60接触，并且在数字照相机70的视场内。图4B示出由左上数字照相机70拍摄的图像帧IF1和由右上数字照相机70拍摄的图像帧IF2。每一个图像帧包含指针P1的图像IP1和指针P2的图像IP2。除非指针P1和P2具有使得可以区分它们的显著标记，否则，在每一个图像帧IF1和IF2中的指针的图像可能混淆，可能导致由虚线PP1和PP2标识的不正确的三角测量结果(即，虚幻指针)。
图5A和5B图示指针阻挡。在这个示例中，在左上数字照相机70的视场中，指针P1阻挡指针P2。结果，由左上数字照相机70拍摄的图像帧IF1包括仅指针P1的图像IP1。
当两个指针P1和P2在数字照相机70的视场中时，指针可以采取在图6中所示的图像帧中的五种状态之一。在状态0和4中，指针在图像帧中的图像是分立和有区别的。在状态1和3中，指针在图像帧中的图像合并。在状态2中，由于阻挡，仅一个指针的图像出现在图像帧中。为了处理指针模糊和阻挡问题，交互输入系统50使用指针模糊和阻挡分辨方法来使得能够即使仅使用两个数字照相机70，也能有效地跟踪多个指针，如下所述。
为了跟踪在数字照相机70的视场中的多个指针，主控制器54执行指针模糊和阻挡分辨例程，包括多个模块(在该情况下为四个)，即，目标产生模块、目标跟踪模块、状态估计模块和盲跟踪模块。当指针首先出现在图像帧中时，使用目标产生模块。目标产生模块基于在数字照相机图像帧中的信息来建立作为在触摸表面60上的位置的目标，该位置可能表示指针的真实位置。目标可以是与实际指针位置对应的“真实”目标或不与实际指针位置对应的“虚幻”目标。目标产生模块的输出成熟了(seed)跟踪和状态估计模块。目标跟踪模块使用数学模型，该数学模型跟踪在触摸表面60上的指针，并且预测下一个图像帧中指针将在什么位置。状态估计模块获得来自目标产生和目标跟踪模块的输出和来自数字照相机图像帧的指针特性信息，并且试图在每一个图像帧上确定指针位置和与指针位置对应的数字照相机状态。状态估计模块也负责基于全部当前可用的指针数据来检测和校正误差以保证指针位置估计是最佳的可能估计。当一个指针长时间被另一个指针遮盖时，启动盲跟踪模块。
在指针模糊和阻挡分辨例程的执行期间，根据指针情况来遵循两个过程之一。具体地说，当将单个指针P1与触摸表面60接触并且随后在第一指针P1保持与触摸表面60接触的同时将第二指针P2与触摸表面60接触时，遵循第一过程。当大致将两个指针P1和P2同时与触摸表面60接触时，遵循第二过程。
图7A、7B、8A和8B是示出在两个指针的情况下在第一和第二过程期间执行的步骤的流程图。图7A和7B考虑单个指针P1首先接触触摸表面60，并且随后在第一指针P1保持与触摸表面60接触的同时第二指针P2接触触摸表面60的情况。图8A和8B考虑两个指针P1和P2大致同时接触触摸表面60的情况。
对于第一种情况，当第一指针P1接触触摸表面60时，过程在图7A中开始(步骤100)。因为仅一个指针接触触摸表面60，并且存在两个照相机图像帧，所以主控制器54可以无模糊地使用三角测量，以确定指针在(x，y)坐标上相对于触摸表面60的位置(步骤102)。与指针P1在触摸表面60上的位置对应的目标T1也使用目标产生模块来“产生”。在目标T1“产生”后，使用目标跟踪模块来跟踪目标T1的位置(步骤104)。在这个实施例中的目标跟踪模块基于预测滤波器。预测滤波器可以是简单线性预测滤波器、任何类型的卡尔曼滤波器或任何其他类型的预测滤波器或系统估计器。本领域技术人员已知的卡尔曼滤波器具有下述属性：它不仅监控其正在跟踪对象的状态(位置、速度等)，而且它也估计其正在工作的基础模型是否良好。如果用户正在使用指针来绘制可预测的对象(例如直线)，则所述模型确定它的适配是良好的，并且抵抗由微小改变(噪声)引起的误差。如果用户然后转换到不太可预测的类型(例如，小文本)，则卡尔曼滤波器将自动地调整它的响应以更响应于突然的改变。使用预测滤波器来在没有其他目标的情况下跟踪目标T1是选用的，当多个指针与触摸表面60交互时，预测滤波器的结果是有益的。
如图7A中所示，当在第一指针P1保持与触摸表面60接触的同时第二指针P2接触触摸表面60时(步骤106)，另外的目标T2、T3和T4使用目标产生模块而“产生”(步骤108)。目标T2与使用本领域中公知的三角测量技术和使用在指针P2接触触摸表面60时的目标T1的预测值而计算的指针P2的初始位置对应。因为可以不模糊地确定目标T1的位置直到刚好在指针P2接触触摸表面60之前的时间，所以目标T1的预测位置使得可以再一次使用三角测量来确定目标T2的位置。目标T3和T4在指针P2接触触摸表面60时也“产生”。目标T3和T4是虚幻目标，该虚幻目标表示替代的指针位置，该替代的指针位置可以表示基于当前的图像帧数据的实际指针位置，但是初始被假定为基于目标T1的预测位置的“虚幻”位置。在指针P2接触触摸表面60时，对于目标T1和T2，误差函数被初始化为0，并且对于目标T3和T4，误差函数被初始化为大于0的阈值。对于目标T3和T4，误差函数被设置得较高，因为可以从在指针P2刚好接触触摸表面60之前的目标T1的已知位置以合理的精度确定目标T3和T4是虚幻目标。在下面的段落中进一步描述误差函数。
如图7B中所示，在指针P2接触触摸表面60后，使用如上所述的预测滤波器的目标T2、T3、T4的跟踪开始(步骤110)，并且目标T1的跟踪使用目标跟踪模块继续。
如图7B中所示，在指针P2接触触摸表面60并且已经初始化了所有目标的误差函数后，每一个目标的误差函数计算开始(步骤112)。在每一个数字照相机图像帧中的每一目标的三角测量的位置和每一个目标的宽度用于计算在每一个数字照相机图像帧中的每一个指针的物理大小。替代地，可以使用指针的其他属性，诸如指针形状、强度水平、颜色等。每一个目标的误差函数是对于每一个数字照相机图像帧计算的目标的物理大小的差。误差函数值随着时间累积(积分)，并且使用目标产生模块的目标产生测试部件来对于每一个目标计算误差函数值。每当两个指针在一个照相机视图中合并时，误差函数被重置为零。通过将一个误差函数值设置得极高，误差函数也可以被强制到其中误差校正从未发生的状态。这在参考照相机改变(下述)期间发生，以锁定在分辨方案中，直到下一个指针合并。
如图7B中所示，来自目标跟踪模块的预测目标位置、来自目标跟踪模块的当前目标位置和来自目标产生模块的所有目标的累积的误差函数值然后用于确定指针P1和P2的位置，由此将“真实”目标与“虚幻”目标相区别(步骤114)。所计算的指针P1和P2的当前位置用于确定每一个数字照相机70的状态。数字照相机状态可以用于帮助计算指针P1和P2的当前位置。如上所述，图6示出数字照相机状态0至4。照相机状态0和4是更普通的(特别是在大的触摸表面60上)，并且两个指针清楚地分立。状态编号标识哪个指针首先到来(消除模糊)。在状态1和3中，两个指针已经合并到一个对象内，但是仍然可以从每一个指针看到一个清晰的边。从数字照相机70报告仅一个指针。在该情况下的状态编号标识哪个边属于哪个指针(解开缠结)。状态2是特殊情况，其中，一个指针完全挡住另一个指针。可以明白，如果总是已知状态，则可以跟踪该两个指针。例外是状态2，其中，一个指针挡住另一个指针；然而，预测过滤器的结果可以用于预测被阻挡的指针的位置。状态估计模块将“真实”目标与“虚幻”目标相区别，并且确定数字照相机状态。
如图7B中所示，通过比较“真实”目标的累积误差函数的当前和过去值来核查指针P1和P2的过去计算的位置。如果“真实”的目标的累积误差函数超过“虚幻”目标的累积误差函数某一阈值，则校正真实目标的指针路径，使得它对应于具有较低累积误差函数的“虚幻”目标的路径，并且更新每一个数字照相机70的状态(步骤116)。
数字照相机状态和预测滤波器的结果也可以用于误差校正。例如，从状态0到状态1到状态2到状态3到状态4的转变比从状态0到状态4到状态2到状态3的转变更可能，并且这种可能性可以用于误差校正。这是最大似然问题，其中，向每一个合理状态路径组合应用误差度量，并且将具有最小误差的状态路径组合指定为最可能的。当指针保持合并的时间增加时，最大似然的直接实现以指数方式变得更难。为了克服这个问题，可以使用公知的维特比优化算法来跟踪仅5条路径，而与指针保持合并多长时间无关。误差校正将返回到当重置误差函数时的点。
当小指针与更大的指针交叉时，对于大量图像帧(可能许多)，可能丢失在一个数字照相机视图中的那个指针。如果仅有小数量的图像帧(例如1至3)，则这不是问题，因为预测的指针位置可以用于丢失的数据。如果指针在两个视图中合并在一起，则这表示它们在触摸表面60上很接近(几乎接触)，并且它们被当做单个指针。另一个数字照相机视图将仍然给出有效的指针数据，并且将不必被预测。
在数字照相机70处于状态2中达到较长时间的极少情况下，目标跟踪模块除了预测过滤器的结果之外可以进一步要求内插。在该情况下，调用盲跟踪模块。在一种模式下，只要能够在另一个数字照相机视图中看到被挡住的目标，则报告它。对于丢失的数据，可以使用已知的较大指针的中部。这种技术对于姿态控制最佳。例如，如果姿态被输入并且两个指针都沿着一个数字照相机70的视线运动，则丢失的数据不重要。所要求的所有信息来自未被阻挡的数字照相机视图。在替代模式中，禁止报告关于被挡住目标的信息，直到所述指针重新与较大指针分开地重现。然后可以平滑地内插丢失的数据。虽然这可能导致显著的等待时间缺陷。但是这种技术对于墨水情况较好。指针的当前功能(加上墨迹、擦除或指示)也可以用于误差校正或消除模糊。
如图7B中所示，跟踪目标、计算误差函数以及计算和校正“真实”和“虚幻”目标位置的处理持续，直到不再有与触摸表面60接触的多个指针(步骤118)。当单个指针与触摸表面60接触时，三角测量恢复，并且不再需要多个目标跟踪、误差函数计算、“真实”目标计算和校正、以及数字照相机状态跟踪。通过减少计算量，交互输入系统50变得在单个指针状态期间更加反应迅速。
图8A和8B示出当两个指针P1和P2大致同时接触触摸表面60时后随的过程。当第一指针P1和第二指针P2同时接触触摸表面60时(步骤200和202)，目标T1、T2、T3和T4使用目标产生模块“产生”(步骤204)。在该情况下，用于目标T1、T2、T3和T4的误差函数都被初始化为0，因为没有先前的用于目标的跟踪数据来指示哪些目标可能是“虚幻”目标。在目标产生后，如上所述的使用预测滤波器的目标跟踪使用目标跟踪模块开始(步骤206)。
如图8A中所示，在目标跟踪开始后，如上所述的误差函数计算对于所有的目标开始(步骤208)。在图8B中，来自预测过滤器的指针P1和P2的预测位置、目标T1、T2、T3和T4的跟踪结果以及目标T1、T2、T3和T4的累积的误差函数用于计算指针P1和P2的当前位置(例如，以将“真实”目标与“虚幻”目标相区别)(步骤210)。指针P1和P2的所计算的当前位置用于确定每一个数字照相机70的当前状态。使用状态估计模块来执行指针位置计算和数字照相机状态估计。
如图8B中所示，将指针P1和P2的过去计算的位置与所计算的指针位置相对应的“真实”目标的误差函数的当前和过去的值作比较(步骤212)。如果一个或多个“真实”目标的累积的误差函数超过一个或多个“虚幻”目标的累积的误差函数某一阈值，则校正相关的指针路径，并且更新每一个数字照相机70的当前状态。如上所述，也可以使用过去的数字照相机状态来执行误差校正。只要两个指针保持在数字照相机70的视场内，则执行上面的过程(步骤214)。
图9A至9I示出在触摸表面60上的多个指针跟踪的示例。图9A示出在初始接触后6个帧的系统的状态。在先前5个帧中，指针1(P1)已经与触摸表面60接触，并且被跟踪。指针2(P2)刚刚接触了触摸表面60。计算四个可能的指针接触解T1-T4，并且启动跟踪。因为指针P1已经被跟踪，所以正确的解是显然的。在该情况下，将左数字照相机指定为参考照相机，以跟踪哪个指针是哪个，因为它具有更大的角展度。如果发生误差校正，则参考照相机的关联从不改变。来自非参考照相机的关联总是被转换以校正解。这防止指针识别被转换。
在图9B中，指针开始在右照相机视图中合并。当这发生时，来自虚幻目标的路径与来自真实目标的路径在一起。在图9C中的观察分立后，误差函数被重置，并且跟踪确定哪个观察属于哪个指针。在该情况下，状态估计失败，并且虚幻目标被报告为真实指针。因为正在跟踪错误的路径，所以误差函数迅速地显示出现错误。在图9D中，误差函数已经确定需要校正。在非参考右照相机中的关联被转换，并且擦除错误的路径(在图9D中被示出为+符号)，并且绘制校正路径。在图9E中，指针开始在右参考照相机视图中合并。此时，左照相机不再被用作参考，因为它不可靠，并且参考移到右照相机。现在假定在右照相机上的当前的解是正确的指针关联，并且将在左照相机上实现任何误差校正。误差函数被重置到不进行误差校正的状态，直到在非参考照相机中出现另一合并。这有效地在判定上锁定。
在图9F中，指针已经合并，然后在左照相机中分开，并且误差函数被重置为0。在该情况下，状态估计进行正确关联，并且不需要误差校正。在图9G中，在左照相机中指针再次合并。在该情况下，在照相机视图中指针P2完全被指针P1挡住，并且其位置必须被内插。在图9H中，从触摸表面去除指针P1。在图9I中，通过指针P2跟踪在单指针模式中继续。没有替代的解被跟踪到。
如上所述的接触系统50包括接近触摸表面60的上角部的一对数字照相机70。本领域技术人员可以明白，可以围着触摸表面60的周边布置另外的照相机70，特别是当触摸表面很大时，如在上面包含的、向Hill等授予的美国专利No.10/750,219中所述。本领域技术人员可以明白，在此对于具有两个指针的情况描述的过程可以被扩展到具有超过两个指针的情况，并且，超过两个图像传感器的使用将提供另外的数据用于指针消除模糊。本领域技术人员可以明白，如上所述的指针模糊和阻挡分辨技术几乎可以用于任何机器视觉触摸系统中。例如，指针模糊和阻挡分辨技术可以用在使用反射的、回射的和/或吸收的边框的交互输入系统中，诸如下面的专利申请中所述的那些：向Jeremy Hansen等授予的美国专利申请No.(不可获得)，题目为“Interactive Input System and Bezel Therefor”，在2008年5月9日提交，被转让给SMART Technologies ULC，其内容通过引用被包含在此。
本领域技术人员可以明白，指针可以是手指、无源或有源触针或其他物体、光点或其他辐射的点或可以被照相机看到的其他指示器。虽然将触摸系统描述为包括数字照相机，但是可以使用其他成像装置，诸如能够产生图像的线性光学传感器。
图像产生装置58可以是显示单元，诸如等离子体电视机、液晶显示(LCD)装置、平板显示装置、阴极射线管(CRT)等。在该情况下，边框62接合显示单元。触摸表面60可以被显示单元的显示表面或由边框62围绕的嵌板构成，所述嵌板覆盖在显示单元的显示表面上。替代地，图像产生装置58可以是前或后投射装置，其在触摸表面60上投射计算机产生的图像。
虽然上面已经描述了实施例，但是本领域技术人员也可以明白，在不偏离由所附的权利要求限定的精神和范围的情况下，可以进行改变和修改。

Claims (12)

1.一种用于在交互输入系统中分辨至少两个指针之间的模糊的方法，包括：
拍摄感兴趣区域的图像；
处理图像数据，以确定在所述感兴趣区域内的所述至少两个指针的多个可能目标和每一个可能目标的当前目标位置，所述多个可能目标包括真实和虚幻目标；
在所述感兴趣区域内跟踪每一个可能目标，并且计算每一个可能目标的预测目标位置；以及
确定至少与每一个真实目标相关联的指针路径。
2.根据权利要求1所述的方法，其中，使用预测滤波器来执行所述跟踪。
3.根据权利要求2所述的方法，其中，所述预测滤波器用于确定和校正每一个指针路径。
4.一种用于当将至少一个指针带入其中已经存在至少一个指针的感兴趣区域内时在交互输入系统中分辨指针之间的模糊的方法，所述方法包括：
确定与每一个指针相关联的真实和虚幻目标；
设置与所述真实目标相关联的真实误差函数；
设置与所述虚幻目标相关联的虚幻误差函数，其中，所述虚幻误差函数被设置为与所述真实误差函数不同的值；以及
基于它们的相关联的误差函数来跟踪和分辨所述每一个指针。
5.根据权利要求4所述的方法，进一步包括：将所述真实误差函数与所述虚幻误差函数作比较，以确定每一个目标的指针路径。
6.根据权利要求5所述的方法，其中，如果所述真实误差函数超过所述虚幻误差函数，则校正所述指针路径，以对应于与所述虚幻目标相关联的指针路径。
7.一种用于当将至少两个指针同时带入感兴趣区域内时在交互输入系统中分辨指针之间的模糊的方法，所述方法包括：
确定与每一个指针接触相关联的真实和虚幻目标；
设置与每一个目标相关联的误差函数；以及
通过它们的相关联的误差函数来跟踪和分辨每一个指针接触。
8.一种交互输入系统，包括：
至少两个成像装置，具有至少部分重叠的视场，所述视场包含感兴趣区域；以及
处理结构，用于处理由所述成像装置获取的图像数据，以在所述感兴趣区域内跟踪至少两个指针的位置、并且分辨在所述指针之间的模糊。
9.根据权利要求8所述的交互输入系统，其中，所述处理结构包括目标产生模块，所述目标产生模块用于确定所述至少两个指针的目标。
10.根据权利要求9所述的交互输入系统，其中，所述处理结构进一步包括目标跟踪模块，所述目标跟踪模块用于在所述感兴趣区域中跟踪所述目标。
11.根据权利要求10所述的交互输入系统，其中，所述处理结构进一步包括状态估计模块，所述状态估计模块用于基于来自所述目标产生模块、所述目标跟踪模块的信息和来自所述至少两个成像装置的图像数据来确定所述至少两个指针的位置。
12.根据权利要求11所述的交互输入系统，其中，所述处理结构进一步包括盲跟踪模块，所述盲跟踪模块用于当所述至少两个指针变得被长时间阻挡时，确定所述至少两个指针的所述被阻挡的一个的位置。
CN2009801210945A 2008-06-05 2009-06-05 多指针模糊和阻挡分辨 Pending CN102057348A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US5918308P 2008-06-05 2008-06-05
US61/059,183 2008-06-05
PCT/CA2009/000773 WO2009146544A1 (en) 2008-06-05 2009-06-05 Multiple pointer ambiguity and occlusion resolution

Publications (1)

Publication Number Publication Date
CN102057348A true CN102057348A (zh) 2011-05-11

Family

ID=41397675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801210945A Pending CN102057348A (zh) 2008-06-05 2009-06-05 多指针模糊和阻挡分辨

Country Status (10)

Country Link
US (1) US20110193777A1 (zh)
EP (1) EP2286322A4 (zh)
JP (1) JP2011522332A (zh)
KR (1) KR20110015461A (zh)
CN (1) CN102057348A (zh)
AU (1) AU2009253801A1 (zh)
BR (1) BRPI0913372A2 (zh)
CA (1) CA2726877A1 (zh)
RU (1) RU2010149173A (zh)
WO (1) WO2009146544A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI470510B (zh) * 2012-04-19 2015-01-21 Wistron Corp 光學觸控裝置及觸控感測方法
CN107850977A (zh) * 2015-09-29 2018-03-27 微晶片科技德国公司 使用移动模型的位置测量到对象的映射

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
KR20100075460A (ko) 2007-08-30 2010-07-02 넥스트 홀딩스 인코포레이티드 저 프로파일 터치 패널 시스템
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US8810522B2 (en) 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8416206B2 (en) 2009-07-08 2013-04-09 Smart Technologies Ulc Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system
US8692768B2 (en) * 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
KR20120058594A (ko) 2009-09-01 2012-06-07 스마트 테크놀러지스 유엘씨 향상된 신호 대 노이즈비（ｓｎｒ）를 갖는 인터랙티브 입력 시스템 및 이미지 캡처 방법
US8502789B2 (en) 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
US20110241988A1 (en) * 2010-04-01 2011-10-06 Smart Technologies Ulc Interactive input system and information input method therefor
US9557837B2 (en) 2010-06-15 2017-01-31 Pixart Imaging Inc. Touch input apparatus and operation method thereof
US20130271429A1 (en) * 2010-10-06 2013-10-17 Pixart Imaging Inc. Touch-control system
US9019239B2 (en) * 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
CN102890576B (zh) * 2011-07-22 2016-03-02 宸鸿科技(厦门)有限公司 触控屏触摸轨迹检测方法及检测装置
US8510427B1 (en) * 2011-09-09 2013-08-13 Adobe Systems Incorporated Method and apparatus for identifying referenced content within an online presentation environment
CN102662532B (zh) * 2012-03-29 2016-03-30 广东威创视讯科技股份有限公司 多点触摸坐标定位方法及其装置
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP2015079485A (ja) 2013-09-11 2015-04-23 株式会社リコー 座標入力システム、座標入力装置、座標入力方法及びプログラム
JP2016110492A (ja) 2014-12-09 2016-06-20 株式会社リコー 光学式位置情報検出装置、プログラム、対象の紐付け方法
JP6417939B2 (ja) * 2014-12-26 2018-11-07 株式会社リコー 手書きシステム及びプログラム
JP2017010317A (ja) 2015-06-23 2017-01-12 株式会社リコー 画像形成装置、画像形成装置の制御プログラム及び画像形成システム
WO2018020497A1 (en) * 2016-07-25 2018-02-01 Muv Interactive Ltd. Hybrid tracking system for hand-mobilized device
EP3860837A1 (de) 2018-10-02 2021-08-11 Covestro Intellectual Property GmbH & Co. KG Infusionsvorrichtung und verfahren zur herstellung von faserverstärkten verbundbauteilen

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5712658A (en) * 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
ES2340945T3 (es) * 2000-07-05 2010-06-11 Smart Technologies Ulc Procedimiento para un sistema tactil basado en camaras.
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US8209620B2 (en) * 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI470510B (zh) * 2012-04-19 2015-01-21 Wistron Corp 光學觸控裝置及觸控感測方法
US9235293B2 (en) 2012-04-19 2016-01-12 Wistron Corporation Optical touch device and touch sensing method
CN107850977A (zh) * 2015-09-29 2018-03-27 微晶片科技德国公司 使用移动模型的位置测量到对象的映射
CN107850977B (zh) * 2015-09-29 2021-08-10 微晶片科技德国公司 使用移动模型的位置测量到对象的映射

Also Published As

Publication number Publication date
CA2726877A1 (en) 2009-12-10
JP2011522332A (ja) 2011-07-28
AU2009253801A1 (en) 2009-12-10
BRPI0913372A2 (pt) 2015-11-24
RU2010149173A (ru) 2012-07-20
KR20110015461A (ko) 2011-02-15
EP2286322A4 (en) 2012-09-05
US20110193777A1 (en) 2011-08-11
EP2286322A1 (en) 2011-02-23
WO2009146544A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
CN102057348A (zh) 多指针模糊和阻挡分辨
US9782069B2 (en) Correcting systematic calibration errors in eye tracking data
KR102407504B1 (ko) 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
EP2492785B1 (en) Creative design system and method
CN102405483B (zh) 对象物追踪装置以及对象物追踪方法
CN106981074B (zh) 用于估计相机相对于表面的取向的方法和装置
CN101627356B (zh) 交互式输入系统和方法
JP6744747B2 (ja) 情報処理装置およびその制御方法
CN102591533B (zh) 基于计算机视觉技术的多点触摸屏系统实现方法
CN110738183A (zh) 障碍物检测方法及装置
KR101051389B1 (ko) 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
CN110986968A (zh) 三维重建中实时全局优化和错误回环判断的方法及装置
JP2015064724A (ja) 情報処理装置
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
US10599225B2 (en) Projection-based user interface
CN111596086B (zh) 一种自动驾驶中障碍物的速度估计方法、装置和电子设备
CN114565777A (zh) 数据处理方法和装置
CN114090144B (zh) 内容显示方法和装置
JP2011204111A (ja) 車両周辺監視装置
Ababsa et al. 3D Camera Tracking for Mixed Reality using Multi-Sensors Technology
Zendjebil et al. LARGE SCALE LOCALIZATION

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110511