CN103477311B - 基于相机的多点触摸交互设备、系统和方法 - Google Patents

基于相机的多点触摸交互设备、系统和方法 Download PDF

Info

Publication number
CN103477311B
CN103477311B CN201180065580.7A CN201180065580A CN103477311B CN 103477311 B CN103477311 B CN 103477311B CN 201180065580 A CN201180065580 A CN 201180065580A CN 103477311 B CN103477311 B CN 103477311B
Authority
CN
China
Prior art keywords
camera
mirror
equipment
posture
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180065580.7A
Other languages
English (en)
Other versions
CN103477311A (zh
Inventor
托尔莫德·恩乔尔斯塔德
哈尔瓦兹·内斯
厄于斯泰因·达姆豪格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Epson Norway Research and Development AS
Original Assignee
Epson Norway Research and Development AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Epson Norway Research and Development AS filed Critical Epson Norway Research and Development AS
Publication of CN103477311A publication Critical patent/CN103477311A/zh
Application granted granted Critical
Publication of CN103477311B publication Critical patent/CN103477311B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种设备、系统和方法，该设备、系统和方法用于在计算机的坐标平面（12）比如计算机屏幕、交互式白板、水平交互表面、视频/网络会议系统、文档相机、背投影屏幕、数字标牌表面、电视屏幕或游戏装置之上的高度内的交互体积（1）内进行控制和交互，以使用一个或多个交互对象（2）例如手指、手、脚和其他对象例如笔、刷子、海绵和甚至更专门化的工具来提供指点、盘旋、选择、轻敲、做手势、缩放、绘图、书写和擦除。该设备和方法可以在系统中与所有类型的数据投影仪（3）及其固定器/支架（4）一起使用，或甚至集成到所有类型的数据投影仪（3）及其固定器/支架（4）中，并且与平的屏幕（12）（如LCD、等离子、OLED、背投影屏幕等）一起使用以使得这样的显示系统是交互式的。该设备包括单个相机（5），相机（5）从很短的距离或从更大的距离覆盖交互体积（1）以确定横向位置（X，Y）以及甚至捕捉交互对象（2）的姿态。

Description

基于相机的多点触摸交互设备、系统和方法
技术领域
本发明涉及基于相机的多点触摸交互系统，其例如利用基于相机的输入装置和可见照明和/或红外照明来跟踪区域/空间内的对象，例如跟踪用于人与计算机交互的一个或多个手指或笔；该系统使得能够确定区域以及该区域的表面之上的高度内的二维位置，用于提供实际的二维输入坐标并且在实际的交互状态例如“不活动”（没有跟踪）、“盘旋”（跟踪却没有触摸，有时也称作“在范围内”）和“触摸”之间进行精确区分。本发明还涉及多模输入装置和接口，其例如允许笔和手指触摸输入并且还可操作用以同时处理几个对象，例如多点触摸计算机输入装置。此外，本发明涉及使用基于三维的输入装置来输入手势并且由此捕捉例如手或手指的人体姿势的方法，并且可以将一系列手势识别为用于三维控制的手势命令和/或位置和方向输入。
背景技术
基于相机对人与计算机交互的对象的跟踪特别是跟踪手和手指，在过去几十年已经获得科学的、工业的和商业的兴趣。由Pavlovic等，IEEE Trans.模式分析与机器智能，第19卷，第7号，第677至695页，1997年和由Zhou等，IEEE Int.研讨会关于混合的和增强的真实性，第193至202页，2008年给出了在该计算密集型领域中的成就的回顾。在所报告的技术中的很多技术中，为了降低遮挡的敏感度并且为了具鲁棒性的跟踪和手势解释，由一个或多个相机从几个不同的视点观察对象。
对于基于单个相机对手指触摸和手指姿势或手势的跟踪，类似遮蔽、轮廓、纹理、剪影的特征和这些对象的图像梯度，以及甚至从光滑的显示表面反射回来的他们的面镜被提取，并且用于对不同的基于模式的跟踪系统进行更新以计算手指姿势或手势以及检测例如实时手指触摸。
作为巧妙的特征提取的示例，US2010/0066675A1描述了基于如下的观察的单个相机触摸屏幕系统和特征提取：当触摸屏幕时来自由侧光源照明的手指的遮蔽基本上被手指模糊，使得当不触摸屏幕时遮蔽类似手指，然而当手指正在触摸屏幕时遮蔽被大幅变窄使得可以确定触摸。然而，独立权利要求被来自2005年的由发明人Andrew D.Wilson所撰写的公共科学文章（ACM Proc.UIST 2005,第83至92页）预料。
WO9940562（A1）、US006100538A和US2010188370（A1）主要描述了用于手指触摸或笔的对象跟踪系统，其中在坐标平面的周界处布置至少两个相机视点以通过三角测量来确定对象的坐标。
WO9940562（A1）描述了如下系统：使用单个相机和由一个或几个平面镜构成的类似潜望镜的光学系统用于检测计算机监视器屏幕前的笔和手指触摸，将从侧面看的屏幕的两幅图像记录在就在屏幕前的体积中，以确定笔或手指的坐标以及到屏幕的距离。
US006100538A描述了用于确定投影光的指点对象的位置并且被布置在坐标平面上的光学数字化器，以及被布置在坐标平面的周界上的检测器，优选地，一对线性图像传感器，具有覆盖坐标平面的视场，并且布置准直器以限制检测器的视场的高度而且检测器仅可以接收从基本上平行于坐标平面的指点对象投影的光的平行分量，并且布置屏蔽以阻止除了投影光以外的噪声光进入检测器的有限的视场内，以及提供处理器用于计算表示指点对象的位置的坐标。
US 2010188370（A1）描述了如下基于相机的触摸系统：包括沿着周界放置并且通常位于触摸表面的角中的具有重叠的场的至少两个相机，以通过三角测量来确定指点器的位置以及确定触摸表面上的指点器触摸和指点器盘旋。
JP63292222和US2008152192（A1）主要使用远离对象的相机以及在相机的视场内使用一个或多个平面镜从不同的视点以及基本上与相机轴垂直的方向来观察对象以简化对象的位置的检测。
JP63292222使用远离书写表面的单个相机以及沿着所述书写表面的周界的、在朝向所述表面倾斜的两个方向X和Y中的每个方向中的两个平面窄镜来获得指点装置的可替选视点，这使得可以通过捕捉和分析沿着书写表面区域的两个面镜区域来分别获得X坐标和Y坐标。
US2008152192（A1）描述了用于3D监视和分析测试对象（即，鱼和动物）的运动相关的行为的系统。该系统包括实际的相机和至少一个虚拟的相机，虚拟的相机通过在实际的相机的视场内使用至少一个平面镜来实现，表示可以在所捕捉的相机图像的一个或多个区域中被分析的至少一个可替选视点，以能够对测试对象的运动行为进行分析。
在公开的国际PCT专利申请第WO2005/034027（A1）号（智能技术股份有限公司）中，描述了用于对感兴趣区域内的指点器进行检测的设备。该设备包括沿着感兴趣区域的第一边延伸并且可操作用以使光朝向感兴趣区域反射的第一反射元件。此外，该设备包括沿着感兴趣区域的第二边延伸、也可操作用以使光朝向感兴趣区域反射的第二反射元件。第二边连接至第一边以限定该设备的第一角。通常在第一反射元件和第二反射元件中的至少一个反射元件的平面中的非反射区域邻近于第一角。至少一个成像装置可操作用以捕捉包括形成第一反射元件和第二反射元件的反射的感兴趣第一区域的图像，用于确定指点器在感兴趣区域内的位置。
在公开的日本专利申请第JP63292222（A）号（三菱电机集团）中，描述了可操作用以检测点指示器的坐标位置的光学系统。该光学系统通过相对于相应的原始对象在上部平面的邻域中形成图像来发挥功能。该光学系统还包括用于对从被布置在上部平面的邻域中的图像传感装置中所获得的图片信号进行处理的处理装置。更具体地，图像传感装置对包括读取源的图像获得区域进行传感。该光学系统还包括X方向反射镜和Y方向反射镜。点指示器（例如，书写笔）通过图像传感装置直接被传感以及还经由来自所述反射镜的反射被传感，使得图片信号用于确定点指示器在光学系统内的空间位置。
此外，在公开的日本专利第JP4484796（B2）号（佳能株式会社）中，描述了用于对被输入至此的坐标进行精确检测的坐标输入设备。该设备包括围绕坐标输入区域布置的多个传感器单元，其中传感器单元中的每个包括对辐射到坐标输入区域的光进行投射的投射部件和用于在传感器单元处接收入射光的光接收部分。该设备还包括设置在坐标输入区域的周界上的提供递归反射的入射光的多个递归反射部分。该设备可操作用以基于从多个传感器单元获得的包括光屏蔽区域的光量分布来计算指点器的指点位置的坐标。关于多个传感器单元的三维光屏蔽检测区域具有与坐标输入区域相对应的共同的三维形状。此外，三维光屏蔽检测区域被定义为其中通过多个传感器单元所检测的光密度的变化率对指点器的高度方向位置中的变化进行检测的三维区域。
在日本专利第JP4033802（B2）号（先进电信研究所）中，描述了允许信息的触摸输入的大屏幕触摸平板系统。该系统包括由红外源照射的从屏幕的正面操作的塑料材料屏幕。在操作过程中，人使用他们的手手动触摸屏幕。此外，系统的相机通过面镜（mirror）拍摄屏幕的背侧以生成提供给计算机的摄影数据。基于摄影数据，通过由计算机处理摄影数据对由人的手拦截红外辐射造成的遮蔽区域进行检测。例如，当遮蔽区域具有与手的大小相对应的空间范围时，确定遮蔽区域的坐标用于得到人的手相对于屏幕的空间位置的测量结果。
通常，重要的是在人机交互系统中正确识别用户的意图和命令。坐标平面中的X和Y的精确度可以重要或也可以不重要。这取决于应用。因此，其中对于例如移动或选择图形对象或访问菜单要求适度的精确度的手指触摸系统是有吸引力的，然而，当对于例如精美的书写或绘画或在CAD程序中处理所有的细节和对象要求最高的精确度时，优选的为触摸笔或笔。因此，在基于手指的系统中，基于来自单个相机的二维图像，特征提取和具鲁棒性的启发式方法对于手指的坐标的确定将是足够的。
然而，对于所有类型的应用，与手指或笔触摸的检测有关的高精度是最为重要的，并且绝不能出故障，因为用户可能会失去对应用的控制。因此，在坐标平面的每个位置中要求触摸情况的高且恒定的检测质量。此外，检测方法应当对手指大小、皮肤颜色、环境光线条件、显示器光线等的变化不敏感，而且检测应该快速。因此，设计良好的用户交互以即使坐标分辨率精确度适中也确保手指/笔触摸检测的高质量、高鲁棒性和高速度，并且最好的系统将能够为对象的物理高度提供整个坐标平面之上的恒定缩放，从而在坐标平面上均一地确定触摸和盘旋条件两者，而且没有任何依赖于用户的行为或延时损失。
对于姿势的确定，缩放并不那么重要。例如，在单个图像内观察的不同的特征之间的距离的比可以足以确定实际的对象为手，该手例如带有直的拇指和直的食指，而其他手指隐藏。不重要的是不管是大人的大手还是儿童的小手，或不管由于靠近相机镜头所以大还是由于较远所以小。通过跟踪相对运动以及从图像到图像确定姿势的伴随类型，可以将这样的序列解释为手势命令，在一定程度上手势命令被合并入计算机、移动装置和嵌入式系统用的用户界面。
对使用笔、触摸或两者（双模式系统）用于教育、协作和会议的交互系统有很大的兴趣。为双模式多点触摸和多点笔输入准备的操作系统和图形用户界面在触摸、笔和鼠标输入之间进行区分，因此双模式输入装置必须同时向计算机报告多点触摸、多点笔和鼠标信息的信息。几个新的交互平台还允许简单的笔或手指姿势控制，和/或甚至基于手势的交互。
具体地，对普通教室和大型报告厅中的教育系统内使用的交互式平板和白板有很大的全球兴趣。这样的白板也进入会议室、视频会议室和协作室。交互式白板的坐标平面上的图像根据短焦或长焦数据投影仪或通过作为LCD显示、等离子显示、OLED显示或背投影系统的平的屏幕生成为投影图像，重要的是，关于触摸和/或笔的输入装置可以与所有类型的显示技术一起使用，而不需要降低图片质量或磨损设备。此外，重要的是，输入装置技术可以以较低的成本和精力易于适用于不同的屏幕、投影仪和显示单元。
新的交互式白板配通常备有短焦投影仪，即，具有在屏幕上方短的距离处放置的超广角镜头的投影仪。通过这一解决方案，用户将更少地被进入他/她的眼睛的光惹怒，以及倾向于在屏幕上投下更少的遮蔽，并且投影仪可以与板一起直接被安置在墙壁上。因此，对于这样的短焦系统，用于笔和触摸的理想的输入装置应当并入墙壁投影仪或附接在墙壁投影仪旁边，或附接至投影仪墙壁安置件以使得安装简单和具鲁棒性。
在报告厅中，需要很长的交互式白板和交互空间，并且这些交互表面应当提供触摸、笔和手势控制。在大格式屏幕上，通常需要指点棒和激光指点器以引起公众的注意。优选的输入技术应当适用于所有这些不同的要求，即，也接收指点棒和激光作为用户输入工具，并且容许和可适用于不同的显示格式。
此外，平的屏幕技术会需要触摸和/或笔操作、简单的笔和/或触摸手势交互和最终的手势控制。涂抹在平的屏幕的顶部的触摸敏感膜不能检测盘旋或在空中的手势。平的屏幕后面的纯电磁接收系统无法检测手指触摸或手势，只有电磁笔操作是可以的。然而，一些类型的平面显示器技术，尤其OLED显示器，可以是透明的，从而基于相机的技术可以通过屏幕用于手势控制。如果包括盘旋和手势的双模式输入系统继续变得越来越重要和标准化以供提供高效且自然的用户界面，则基于光学的输入系统将有可能优选的还用于平面交互式屏幕而不是电容式或电阻式膜或基于电磁的解决方案。因此，优选的输入装置技术应当是基于光学的和应当适于应用于传统的平的屏幕（LCD、等离子、LED）和透明的平的屏幕，诸如OLED屏幕和背投影屏幕。
输入设备不应当对光源（例如，日光、室内照明、来自投影仪或显示屏幕的光等）敏感。此外，输入设备不应当对来自太阳光、人工光或来自使用近红外光发光二极管用于通信的遥控单元和类似单元的近红外辐射敏感。
输入装置还应当表现高的坐标更新率，并且提供低延迟以供最好的用户体验。
输入装置应当优选地适于嵌入现有基础设施中，例如，将现有已安装的基于笔的交互式白板模式升级以也允许手指触摸和手势控制，或将已经配备有已安装的投影仪或平的屏幕的会议室或教育室升级以通过输入装置本身的简单的安装成为交互式的。
在某些情形下，输入技术甚至可以在书写表面本身上没有交互式反馈的情况下是可使用的，例如，通过精确捕捉来自粉笔和海绵在传统的黑板上的笔划并且识别用于计算机控制的手势；或通过捕捉笔和纸的正常使用（包括交叉）和用于计算机控制的简单的手势；或通过由以纸质形式或问卷填写来捕捉包括他/她的签名的用户信息，而将结果存储在计算机中，以及由正常的计算机屏幕或由用于用户和观众的参照的连接的显示器或投影仪显示输入或输入的一些解释。这表示在这种基础设施不可得或不需要的情况下，输入装置应当可以根据昂贵的显示技术独立或单独使用。
以与在教育中交互式白板取代了传统的粉笔和黑板相同的方式，在其他领域中出现新颖的交互空间。在协作室和控制室、博物馆和展览中引入多用户交互式垂直表面和水平表面。
在酒吧、娱乐场、咖啡馆和商店中建立包括交互式客人桌子的交互式空间使客人可以从菜单、订单和支付中进行选择，以及通过例如玩电脑游戏，浏览互联网或阅读新闻获得娱乐。交互式空间将在使用具有可以动态改变的数字内容的平面显示器或投影屏幕的数字标牌内使用，不仅以来自提供商的预定的顺序，而是由于来自触摸和手势控制的用户输入被改变，从而使标牌更灵活、内容丰富和用户友好。用于在交互式标牌中使用的触摸和手势控制的输入设备应当通过防暴厚窗口工作良好以及在安装简单的各种表面和平的屏幕上工作良好，以适合在室内、室外公共区和商业地区中安装和使用。
发明内容
本发明涉及一种用于人机通信中的输入装置的设备、系统和方法，用于跟踪坐标平面内的对象的位置；用于检测给定的高度范围内位于坐标平面处的体积内的盘旋和/或触摸情况；和/或用于识别对象的姿势，输入装置包括用于使用可见光和/或近似红外光捕捉图像的相机、布置在坐标平面处的面镜装置、和计算单元，其中相机的视场包括坐标平面和坐标平面上的体积以及面镜装置，其中面镜装置包括至少一个离轴的凹的基本上为抛物型的元件，其轴平行于坐标平面并且其焦点在相机的入射光瞳处，以提供沿着其轴的、对体积的高度维度的恒定放大，使得可以基于单个图像由计算单元计算对象的坐标和/或对象的盘旋和/或触摸状况和/或姿势特征，并且/或者基于一系列图像由计算单元计算对象的运动和/或对象的手势。
相机包括CCD或CMOS成像芯片或类似，以及具有足够大的视场以包括坐标平面、体积和面镜装置，并且具有适于实际的成像芯片分辨率的用于实际的波长范围的足够的光学成像质量的镜头或类似。
本发明具有至少一个面镜装置，该面镜装置包括分布在坐标平面的周界之外的表面处的一个或多个离轴的基本上为抛物型的元件。每个这种离轴的基本上为抛物型的元件在相机的入射光瞳处具有焦点并且它的轴平行于表面。每个离轴的基本上为抛物型的元件的属性为当对象在体积之内或部分地在体积之内时对从对象放射的平行于表面的一组平行的光线进行校正。该属性保证实际的高度的测量，即，对象与表面之间的距离对于该元件具有恒定的放大/缩放，并且可以通过对覆盖该面镜元件的图像区域进行局部分析来容易地被确定。面镜装置还必须适于确保来自每个抛物型元件的不同组的平行的光线一起覆盖坐标平面上的整个体积且不具有死点，使得总是存在这样的至少一个面镜元件：当对象在体积内部时覆盖对象，并且从相机的视点以足够数量的像素而可被观察到，使得计算单元可以确定对象的实际的高度，从而可以确定对象的触摸状况和/或盘旋状况。相机还可以配备有一些标准的和/或适配的双焦镜头或类似来以其环境为代价放大面镜装置，从而将相机传感器像素阵列中的面镜装置的成像的分辨率增加到用于精确高度确定的足够的分辨率水平。
虽然离轴的基本上为抛物型的面镜元件分布在适于拾取平面之上的对象高度的坐标平面的表面处，但是还可以在离轴的基本上为抛物型的面镜元件之外放置额外的弯曲的或平的面镜元件，用于当这些较后提到的面镜被从相机的视点观察时提供场景的空间信息。
在对于相机的入射光瞳与表面之间的直接视线而言存在障碍，例如，由于投影仪的机械形状、墙壁安置件的大小等的情况下，对于不同的离轴的基本上为抛物型的面镜元件的放置和方向可以存在额外的限制。在优选的实施方式中，注册在这些障碍之外的离轴的基本上为抛物型的元件一组可能的放置区域，然后每个元件的放置选自该组并且沿着表面被分配轴方向以均匀地在坐标平面之上足够地分布光线束而没有死点或遮蔽，同时面镜装置的所得形状应当平滑和/或适用于例如墙壁安置件机制和/或关于易于制造、易于安置和良好的美学外观的投影仪形状。
在优选的实施方式中，面镜装置是围绕输入装置的墙壁或桌子安置件以半圆分布的离轴的基本上为抛物型的元件的集合。该半圆的半径越小，产生的光的角度将越宽，使得对象的宽度的图像越依赖于对象与面镜表面之间的距离。如果该半径太小，则由于尽管高度维度无论对象至面镜的距离如何而具有恒定的放大缩放，但图像在宽度方向被缩小得太多，因此在离面镜较大的距离处将难以测量对象的高度。可以对于给定的图像和镜头分辨率、面镜表面质量和传感器光预算以及安置和坐标平面几何图形找到半径的适当的选择。
在可替选的优选实施方式中，离轴的基本上为抛物型的面镜元件以沿着坐标平面的周界边缘中的至少一个的至少一个直模（straight moulding）来布置。这是用以确保从对象放射的光线的良好的可观察性和分布的有益放置，可以易于制造和安置，并且可以产生良好的美学外观。
在一些可替选的实施方式中，可以将面镜装置定形为小的离轴的基本上为抛物型的段的马赛克，每个布置成以不同的位置和高度采集从对象放射的光线，但是其中段的方向、放置和高度的结构被最优化为以最高效的方式关于空间有限的或形状受限的面镜装置覆盖坐标平面之上的体积，或对于给定的最小对象尺寸检测范围找到最高效的面镜装置形状。通过利用马赛克结构，可以以更多的设计优化努力和图像解码复杂度的代价找到给出最佳的观察、更小的遮蔽和良好的面镜到像素映射的布置。
可以由金属通过不同的制造技术例如铣削、车削、冲压、3D激光雕刻、打磨和/或EDM直接制造面镜装置。然而，为了使其适用于高的体积和低成本的生产，可以优选地使用塑料材料注射模塑和金属涂层沉积在塑料上，并且也可以减小面镜装置的重量。对于较高的质量和精度的表面，可以使用不同类型的金属化玻璃基板。对于较低的体积和较低的质量的面镜，当曲率半径大时粘合到基底的面镜状的金属化的塑料材料的膜的热模塑和真空模塑可以是可行的。预抛光金属片的冲压和成形也可以用于制作具有对本发明的一些优选实施方式来说足够的质量的面镜。
也可以用例如塑料材料或玻璃等材料利用全内反射来制造面镜装置。
也可以通过与用于保护和扩展面镜功能（小于发生全内反射的临界角的角度）的金属涂层相结合，由塑料或玻璃材料利用全部反射来制造面镜装置。
在一些优选的实施方式中，基于全内反射的面镜可以由类菲涅耳段形成。在一些优选的实施方式中面镜装置也可以通过给定角度的平面镜段和塑料材料透镜或塑料材料菲涅耳透镜的组合来制造，以提供离轴的基本上为抛物型函数所需要的合成曲率。
在一些优选的实施方式中，离轴的基本上为抛物型函数可以由透镜或菲涅耳透镜（如为太阳能应用制造的那些透镜）来实现。
在一些优选的实施方式中，面镜装置可以由选择性地阻止或通过给定波长范围内的光的、由塑料和/或特殊涂层构成的层覆盖。于是，当由用户和观众在可见光下观察时，模子或壳体可以看起来为均匀的具有例如恒定的深褐色，而涂层之后的面镜在来自成像相机的给定波长范围内的近红外光下完全发挥功能。
在一些实施方式中，环境光和/或来自显示器的光（即，分别来自投影仪或平的屏幕的光）可以用于对对象进行照明。
在一些优选的实施方式中，可见和/或近红外光下的照明器装置被包括以供由面镜装置直接和/或对对象进行间接照明。
在一些优选的实施方式中，照明器装置可被控制开关的开/关控制为针对不同的图像选择性地接通和关断照明。
在一些优选的实施方式中，照明装置中的照明源装置在相机的主动曝光时段内闪光，以冻结与移动的物体相关的运动。
在一些优选的实施方式中，照明器装置位于相机的入射光瞳附近，即，靠近抛物型元件的焦点，以通过面镜装置对对象进行照明，由此扩展给定高度内的位于坐标平面处的体积中的光，其中光线主要平行于平面。
在一些优选的实施方式中，照明装置位于靠近相机的入射光瞳以对对象进行直接照明。
在一些优选的实施方式中，存在用于通过面镜装置对对象进行照明和用于对对象进行直接照明的共同的照明器装置。
在一些实施方式中，存在用于通过面镜装置对对象进行照明和用于对对象进行直接照明的单独的照明器装置。
在一些实施方式中，存在用于照明和观察的单独的面镜元件布置，使得用于观察坐标平面之上的对象高度的装置中的面镜更少地暴露于照明装置本身，从而减少不希望的光学界面的反射并且由此增大测量的信噪比。
在一些实施方式中，用于通过面镜对对象进行照明的照明装置的开/关控制和用于对对象进行直接照明的照明装置的开/关控制是分开的，使得可以对于不同的图像选择性地接通和关断来自照明装置的对象照明，以提供对对象的更好检测，例如，通过侧照明提供对象周围的轮廓。
在一些实施方式中，照明装置还可以包括可见光，例如具有开/关控制的多色发光二极管，使得对象（例如手指）可以通过面镜装置使用有颜色的光（例如，绿色）照亮，由此向演示者传递的信号是例如所选墨水颜色为绿色。以同样的方式，闪烁的红色，可以向演示者传递的信号是他的手指作为一种警报，不需要被观众观察到等。
在一些优选的实施方式中，相机包括光学滤波器以阻挡不希望的光，即，来自平面显示器或投影仪屏幕的光和/或环境光，同时允许与照明具有相同的波长范围的光通过。
在一些优选的实施方式中，相机包括选择性地阻挡或发射不同波长范围的光的一个或多个可选的光学滤波器，从而，例如，对于一些图像允许与照明具有相同的波长范围的光通过，同时对于其他图像例如仅允许可见光通过，那么能够捕捉到来自投影仪或平的屏幕的图像。
在一些优选的实施方式中，本发明也可以结合配备有可以直接或通过离轴的基本上为抛物型的元件、或两者而可被观察到的、在其表面上和/或内部主体和/或投影在屏幕上的给定的波长范围内的图案的对象而与发明WO2001 NO00369/US7083100B2和/或WO2006135241A1/US2009040195A1相结合，作为更精确的跟踪和/或识别对象和/或检测不同的用户交互控制（诸如，按钮等）的状态的手段，它根据上述的发明的方法可以改变可观察到的图案。而且，通过将本发明与如WO2005050130/US7339684B2中所描述的光学靠近监测器结合可以观察到对象到表面的靠近或在对象的不同内部部件之间的靠近。在这样的优选实施方式中，可以通过本发明的面镜装置具体地完成这样的图案和/或靠近信息的观察，从而提供光学信息在整个坐标平面上的恒定放大。
在一些另外的优选实施方式中，通过至少对给定的波长范围应用众所周知的回归反射原理对于对象完成上面提到的图案，以利用照明装置被放置在靠近相机的入射光瞳这一事实，使得对象的回归反射属性可以确保直接观察和/或通过面镜装置观察的高强度。
在本发明的一些优选的实施方式中，简单的基于计算机的校准程序可以用于找到坐标平面到显示器坐标的精确的映射。常见的方式是通过在显示器上显示几个点的交叉使校准程序成为用户辅助的，同时需要手动笔或手指触摸以找到映射，即，变换矩阵。
在本发明的一些优选实施方式中，计算机程序可以将图像在显示器生成有，例如，在WO2001 NO00369/US7083100B2和/或WO2006135241A1/US2009040195A1中用于识别和跟踪的对象的图案，这可以由相机自动识别以找到变换矩阵来将坐标平面映射到显示器坐标。由于本发明将位于坐标平面上的体积中的对象的两个不同的视图成像，本发明的一些优选实施方式可以包括也用于高度维度的校准和控制程序，即，通过包括可以分别直接和通过面镜观察到的测试对象以正确控制和/或调整精确触摸和盘旋的阈值。作为校准程序的一部分，半透明的三维图案对象可以被显示器照亮。作为说明性示例，例如，沿着其表面具有一些不透明带的半透明的圆柱形测试对象和/或其体积内的不透明的物体被放置在显示器上的由校准程序以圆形区域一个接一个地高亮显示的一些位置中。根据本发明，显示器将照亮当被放置在这些小的圆形区域之上时的半透明的测试对象，使得其可以由相机直接看到并且可通过面镜装置从侧面看到。测试对象可以具有被标出在根据本发明的相机的两个视图中可观察到的尺寸的不透明和透明的细节以识别和区分不同的测试对象；校准和建立从坐标平面的坐标到显示器坐标的映射；和/或校准或控制高度测量，包括对于给定安装而言的触摸和盘旋条件的阈值的和/或确定。
在一些优选的实施方式中，面镜装置和/或投影仪安置件和/或屏幕安置件和/或书写表面可以具有如WO2001 NO00369/US7083100B2中所描述的用于场景中的精确对象定位的光学图案。这可以基本上简化安置和校准程序，并且校准可以由输入装置的计算单元在内部完成，无需手动校准步骤或外部的计算机程序。
本发明的目的是提供X和Y方向中的位置信息，以及来自人机接口中的用户的触摸和盘旋的信息（Z方向，表示用户的动作信息），该信息通常但不必须也包括合作的显示。
本发明的另外的目的是被用于先进的多点触摸交互，多点触摸交互被用于计算机和其他电子装备的人机接口装置中。用户的交互（包括精确的触摸控制、手势和用户手势）中的细节可以通过直接观察与通过离轴的基本上为抛物型的面镜装置的组合被捕捉。通过直接或通过面镜装置使用闪光照明，可以冻结所有的运动以避免相机图像的模糊。在本发明的一些优选实施方式中，照明也可以设置有单独的光学元件，从而除去当通过相同的光学元件同时地完成观察和照明时所涉及的反射，从而提高信噪比。
在本发明的一些另外的实施方式中，使用近红外光照明源。此外，相机可以具有阻挡可见光等并且仅允许近红外光通过的滤光器。在这样的实施方式中，本发明将对其他光源例如日光、室内照明、来自投影仪的光、显示器光等不太敏感。
本发明的优点是交互对象的放大对于给定面镜段的所有距离而言是恒定的。这暗示大的表面上的简单的图像处理和很精确的系统。本发明的目的是制造很具鲁棒性和精确的触摸和盘旋检测系统。
本发明的另外的优点是可以将其包含在墙壁和桌子上的正投影和背投影系统中，并且本发明可以被集成到新装备中或改装到现有的装备中用于使得这种系统交互式的。
本发明的另外的优点是本发明可以安置在或集成到投影仪墙壁安置件或屏幕安置件（LCD、OLED等）中。
在本发明的一些可替选实施方式中，对于很先进的交互空间，双焦相机透镜的使用可以通过围绕面镜装置放大图像来增强分辨率，以获取更精确的触摸和高度信息。可替选地，透镜光学器件可以针对直接视图和通过离轴的基本上为抛物型的面镜元件的视图而被分离以使装备小型化、降低成本并且简化安装。这可以通过利用可得的低成本CMOS图像传感器技术来实现，传感器技术提供由互连的高速串行链路来自两个独立的传感器的图像对的全面曝光同步和流化，然后使用最适合于两个单独的视图的光学透镜，然后由计算单元对图像对执行相同的计算。关于本发明所描述的加速方案也将适用于这样的双传感器/透镜配置。
本发明可以利用低成本的CCD或CMOS相机技术和低成本的近红外LED和易于且廉价制造的光学元件，以及关于实际的应用易于编程的可用的信号处理集成电路。因此，本发明易于在高生产体积中实现。
在一些场景中，本发明还可以将例如手姿势确定为在相机的视场内但不一定在定义的交互体积内的第二交互对象，其中，该至少一个第一对象的姿势被确定，使得第二对象的姿势可以提供人与计算机交互中的额外信息。
基于由离轴的基本上为抛物型的面镜装置观察对象的方法清楚地提供与盘旋水平信息同义的交互表面之上的高度Z。仅通过执行表示不同的离轴的抛物型面镜元件的相机像素上的简单的边缘检测，可以确定交互对象的存在和高度。可以使用不同的图像处理方法来检测面镜元件的图像区域中的实际变化，例如，参考图像的减法，发现图像中的绝对差异，以及规格化，阈值（即，与一个或多个阈值比较）用于发现例如易于进一步被处理成用于由BLOB检测算法或模板匹配技术发现候选对象的二进制表。候选对象可以位于沿着交互表面看的面镜视图和直接视图（即，交互表面本身的视图）两者中。所谓的对应问题，即，其中来自两个不同视点的相应的图像信息都将被识别，通常是很复杂的问题，并且是立体图形和人工3D视觉系统的关键问题。通过利用离轴的基本上为抛物型的面镜，高度（Z）信息在无需任何透视失真作为交互体积中的对象的（X，Y）位置的函数的情况下被清楚和线性地表示。因此本发明的对应问题相比通常的情况降低了复杂度，但通过下面描述的方法可以进一步被简化。
如已经讨论的，基于由离轴的基本上为抛物型的面镜装置观察对象的方法清楚地提供盘旋水平信息。该方法还使得可以通过利用通过离轴的基本上为抛物型的面镜元件的视图是特定方向沿着交互体积的外表的这一特性更快地找到交互对象，这意味着几个对象位置被映射到一个单一的面镜元件或这样的元件集合，并且可以由具有低的像素数的相机观察到。对于对象位于哪里的初始研究，与面镜装置有关的有限的相机像素区域的图像处理将很容易地找到对象的高度和对象位于的方向。在其中离轴的基本上为抛物型的元件以半圆分布的上述面镜布置中，那么可以直接发现高度（Z）和表示到对象的方向的方位（AZ）角并且可以确定交互体积中的候选对象位置的轨迹。该轨迹可以通过例如查找表被变换成图像传感器阵列中的轨迹，然后可以通过例如沿着这条轨迹运行的边缘检测算法搜索对象的存在。这种方法对于整个交互表面、与图像传感器阵列中的完整的二维搜索相比，代表以高运算速度发现图像中的对象的高效的搜索程序。
此外，即使当通过利用两个或更多个面镜将对象的直接图像封闭在直接相机视图中时，本发明也可以利用的冗余方案来找到对象的位置、盘旋水平和触摸。当从直接相机视点观察时，用户在交互会话期间可能由例如他/她的另一只手或他/她的头部偶尔地且无意地隐藏笔、他/她的手指或他/她的手，而沿着交互表面的两个面镜可以跟随对象，确定对象的高度，发现他们的触摸和盘旋状态，并且通过以给定的基本长度从面镜中观察到的对象的方位的三角测量来计算出它们的位置。
通过跟踪相对运动以及可以根据从图像到图像来确定的姿势的伴随类型，这样的序列可以被解释为手势命令，这在一定程度上被并入计算机、移动装置和嵌入式系统的用户界面。
本发明提供适用于教育、协作和会议的使用笔、触摸或两者（双模式系统）的交互系统。现在操作系统和图形用户界面为双模多点触摸和多笔输入作准备，并且他们可以区分触摸、笔和鼠标输入。通过将交互对象和笔与光学图案和诸如手指和手的其它对象组合，图像识别和模式匹配可以用于在这些输入模式之间进行区分，并且提供从不同的交互对象到计算机的双模式信息作为同时对于计算机的多点触摸、多笔和鼠标信息。几个新的交互平台也允许简单的笔或手指手势控制，和/或甚至基于手势的交互。
本发明可以用在教室、演讲厅、会议室、视频会议室和协作室中的交互式平板和白板中。本发明可以与短焦或长焦数据投影仪，或与平的屏幕例如液晶显示器、等离子显示器、OLED（有机发光二极管）显示器或背投影系统一起使用，而不降低图片质量或磨损设备。基于本发明的技术可以很容易地被应用于具有较低的成本和精力不同的屏幕、投影仪和显示器单元。
本发明对通常安置在墙壁上的短焦投影仪是理想的，这是因为它可以集成到墙上投影仪中或附接在墙上投影仪的旁边，或附接至投影仪墙壁安置件，使得安装简单而鲁棒。
本发明还可以用于报告厅中，在报告厅处需要很长的交互式白板和交互空间以提供触摸、笔和手势控制并且还可以与指点棒和激光指针交互，以及也可以容忍和适应不同的显示格式。
本发明还可以与平的屏幕技术一起用于使它们交互式的，包括姿势和手势控制。由于本发明基于使用CMOS图像传感器和信号处理，因此该系统可以表现出高的坐标更新速率，并且提供低的等待时间从而给出最佳的用户体验。
根据本发明的交互系统可以很容易地可适应与融入现有的基础设施中，以例如升级现有已安装的基于笔的交互式白板模式以也允许手指触摸和手势控制，或通过输入设备本身的简单安装将已经配备有已安装的投影仪或平的屏幕的会议或教育室升级为变成交互式的。
根据本发明的交互系统也可以用于协作室和控制室、博物馆和展览中的多用户交互式水平和垂直表面，用于餐馆内的交互式客户桌子中和室内和室外公共和商业区域中的数字标牌内。
本发明还可以将高级用户多点触摸交互提供到教育和商业标记中。本发明将适合中小型显示器，以及大而宽的学校和报告厅白板。
本发明在教育、交互式标牌、以及博物馆和展览会中也可以与或不与显示器一起被使用。
附图说明
在本文中参照附图，仅借助于示例对本发明进行描述。在附图中：
图1是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置围绕短焦投影仪安置件以半圆方式被组织；
图2是图1中所提供的配置在侧视图中的表示；
图1B是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置以半圆形状在平的屏幕上被组织；
图2B是如图1B中所提供的配置在侧视图中的图示；
图3是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置刚好在投影仪显示区域上方沿着直模被组织；
图4是如图3中所提供的配置在侧视图中的表示；
图3B是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置刚好在平面显示区域上方沿着直模被组织；
图4B是如图3B中所提供的配置在侧视图中的表示；
图5是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置被组织以避免障碍例如短焦投影仪底盘或安置件，以将面镜元件布置在从布置在显示区域之外的相机出发的直接视线的区域中；
图6是如图5中所提供的配置在侧视图中的表示；
图7是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置以半圆形状在靠近投影仪和相机安置件的桌子上被组织；
图8是如图7中所提供的配置在侧视图中的表示；
图7B是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置在靠近相机安置件和平的屏幕的桌子上被组织；
图8B是如图7B中所提供的配置在侧视图中的表示；
图9是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置刚好在背投影系统的投影仪显示区域上方沿着直模被组织；
图10是如图9中所提供的配置在侧视图中的表示；
图9B是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置刚好在透明屏幕（例如，OLED）的显示区域上方沿着直模被组织；
图10B是如图9B中所提供的配置在侧视图中的表示；
图11是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置刚好在被安置在桌子中的背投影系统的投影仪显示区域的顶侧上方沿着直模被组织；
图12是如图11中所提供的配置在侧视图中的表示；
图11B是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置刚好在被安置在桌子中的透明屏幕（例如，OLED）的显示区域上方沿着直模被组织；
图12B是如图11B中所提供的配置在侧视图中的表示；
图13是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置沿着圆形状，例如，在被安置在桌子中的背投影系统的投影仪显示区域的顶侧上被组织，或者以从相机出发的直接视线的区域中的元件来组织以避免显示区域之外的障碍；
图14是如图13中所提供的配置在侧视图中的表示；
图13B是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置沿着圆形状，例如，在被安置在桌子中的透明屏幕（例如，OLED）的顶侧上被组织，或者以从相机出发的直接视线的区域中的元件来组织以避免显示区域之外的障碍；
图14B是如图13B中所提供的配置在侧视图中的表示；
图15是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置沿着圆形状，例如，在壁挂式背投影系统的投影仪显示区域的顶侧上被组织，或者以从相机出发的直接视线的区域中的元件来组织以避免显示区域之外的障碍；
图16是如图15中所提供的配置在侧视图中的表示；
图15B是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置沿着圆形状，例如，在被安置在墙上的透明屏幕（例如，OLED）的顶侧上被组织，或者以从相机出发的直接视线的区域中的元件来组织以避免显示区域之外的障碍；
图16B是如图15B中所提供的配置在侧视图中的表示；
图17是根据本发明的优选实施方式的示例性配置的图示，其中离轴的基本上为抛物型的元件的面镜装置刚好在被安置在手持装置中的透明屏幕（例如，OLED）的显示区域上方沿着直模被组织；
图18是关于根据本发明的优选实施方式的一些示例性配置的典型相机图像的图示，其中离轴的基本上为抛物型的元件的面镜装置以各种不同的方式被组织；
图19A是抛物线和离轴段的说明；
图19B至图19F是离轴的凹的基本上为抛物型的元件的示例性配置的图示，以及一些制造限制的图示；
图20是根据本发明的优选实施方式的面镜元件的示例性配置的图示；
图21A是示出便于找到手指到表面的距离，找到手指在体积内的三维坐标，以及手指的触摸和盘旋状态的示例性方法的流程图；
图21B是示出用于寻找对象的加速方法的流程图；
图22是根据本发明的优选实施方式的便于相机到显示屏幕的校准的示例性方法的图示；
图23是具有跟踪图案的笔、具有定位控制图案的面镜以及具有定位控制图案的坐标平面的示例性配置的图示；
图24是通过使用沿着坐标平面一个或多个边缘的较小的模子或列表提供用于成像和用于测量的受控背景的示例性配置的图示；
图25是在坐标平面处的离轴的基本上为抛物型的元件的面镜装置与也在坐标平面之外的额外的弯曲的或平的面镜元件结合用于提供通过使用相机所观察到的空间信息的示例性配置的图示；
图26是用于观察对象相对于坐标平面的高度的在坐标平面处的离轴的基本上为抛物型的元件的面镜装置与用于照明的单独的设备结合的示例性配置的图示；
图27是包括显示器、协同工作计算机和根据本发明的设备的系统的示意性说明；
图28是根据本发明的优选实施方式的示例性配置的图示，其中直接视图和面镜视图被具有光学元件的两个协同工作的单独的图像传感器捕捉以为了低的制造成本、小型化和简单的设置来优化每个视图；以及
图29是由通过相机和位于交互体积中的对象P可以观察到的离轴的基本上为抛物型的面镜元件M1和M2构成的两个部分的面镜装置的示例性配置的示意性图示。
具体实施方式
本发明涉及关于用于人机交互的基于相机的计算机输入装置的设备、系统和方法。此外，本发明还涉及用于实现这样的系统和执行这样的方法的设备。
在对本发明的至少一种实施方式进行详细说明之前，应当理解的是，本发明不将其应用限于在下面的描述中所阐述的或在图中所示出的部件的构造和布置的细节。本发明能够通过其他实施方式被实现或以各种方式被实践或执行。此外，应当理解的是，本文中所使用的词组和术语仅是为了描述的目的而不应当被认为是限制性的。
参照附图和他们的伴随描述可以更好地理解根据本发明的交互输入装置设备、系统和方法的原理和操作。
首先，将对交互装置和交互系统的原理进行描述。之后，将对一些优选实施方式的详细描述连同这些优选实施方式的详细的系统操作原理一起进行描述。
通过参照图1和图2所示出的示例性配置对交互设备和交互系统的原理进行说明，其中如从透视图和侧视图中所看到的，图1和图2示意性地描绘了本发明的优选实施方式的硬件配置。该实施方式的硬件部件为连同相机5一起布置的短焦数据投影仪3和墙壁安置件4上的照明体6。
墙壁安置件4的外观和实际的实现可以显著不同，但墙壁安置件4的主要目的是以到屏幕和到墙壁11上的安置件的适当的距离来布置短焦投影仪3、相机5和照明体6中的一个或多个，安置件优选地在显示图片12上方。显示图片12还表示坐标平面12并且优选地被投影到适合于投影、笔操作和触摸的平滑且白色的表面，然而在使用平面显示器的情况下，交互表面12为显示器本身，可选地使用用于保护的通常是玻璃或塑料材料中的特殊的透明材料来保护交互表面12，使得交互表面12对于笔和触摸操作来说具鲁棒性。投影仪3具有视场9并且可操作用以对由交互体积1内的实线矩形所表示的显示图片12进行投影。
例如为用户的手指和/或手的对象2可以与由坐标平面之上的特定高度所限定的交互体积1内的计算机或类似物交互。在交互体积1之外包括至少一个离轴的基本上为抛物型的元件的面镜装置7，其轴与坐标平面平行并且其抛物型焦点在相机的入射光瞳处，以提供沿着其轴的、对体积的高度维度的恒定放大。
相机5具有包括交互体积1和面镜装置7的视场8，使得可以计算对象的坐标和对象的盘旋高度，和/或可以基于由计算单元所处理的单个图像得到对象的盘旋情况和/或触摸情况和/或姿势特征，和/或还可以基于由计算单元所处理的一系列图像来进一步计算对象的运动和/或对象的手势，其中计算单元通常但并不必须嵌入在相机5中。相机5可以具有光学滤波器以选择性地阻挡不同波长范围的光，例如以降低日光和来自显示器的光的影响。相机5还可以配备有双焦距透镜，以其周围环境为代价来放大面镜装置7，从而在相机5传感器像素阵列中增加面镜装置7的成像的分辨率。
计算单元具有通信器件例如微控制器用于通过例如使用一些串行总线标准和电路（诸如USB）或通过使用无线通信协议和装置来将坐标和其他交互数据传递至计算机。
照明体6可以是定向的以及可切换的，从而直接地或通过面镜装置7对对象2进行照明，使得可以分别关于横向定位和盘旋高度确定选择最合适的照明。对于对象的横向定位，通过面镜装置7的照明将是优选的，这是因为当进入交互体积1时，平行于平面的、将从侧面对对象进行照明的光线的主要恒定高度场的形成，从而当直接从相机5观察时还提供对象2的一些轮廓。相反，对于盘旋高度的确定，直接照明将（比通过面镜装置7的照明）更有吸引力，从而将照明体6和相机5的光路径分开以将信噪比最大化，并且当通过面镜装置7观察时还进一步提供对象2的一些轮廓。在一些示例性配置中，可以通过与适于被优化用于观察的面镜装置7分离的实质上相似的面镜装置来完成侧面照明，以获得关于侧面照明和侧面观察的组合的最优信噪比。
在根据本发明的所有的示例性配置和优选的实施方式中，还可以包括至少一个外屏蔽或底盘，在此为了图的清晰被省略，但外屏蔽或底盘可以包围以下硬件部件中的一个或多个：投影仪3、相机5（包括计算单元和通信器件），照明体6、墙壁安置件4、面镜装置7以及显示和坐标平面12。外屏蔽或底盘的目的是，例如，使得交互系统具鲁棒性、免费维修、防尘、用户友好、更安全、易于制造、安装更简单，并且根据一些给定的设计的原理和元件使系统呈现有专业的外观。
还参照图1和图2，在该示例性配置中，离轴的基本上为抛物型的元件的面镜装置7以主要的半圆曲率布置在坐标平面和显示12之上，优选地被安置在墙壁11上、投影仪安置件4上、或将坐标平面和显示12延伸的表面上。在该优选的实施方式中，面镜装置7可以是墙壁安置件的组成部分或完整的交互式白板的组成部分。面镜装置7还可以被包括在改装套件中用于将现有的白板或短焦投影仪安装升级为触摸敏感的。
参照图1B和图2B，除了由用于显示器12的平的屏幕（LCD、等离子、OLED、背投影等）替代投影仪3和投影仪显示表面12之外，在此示出的配置与上面关于图1和图2所描述的配置相似。
进一步参照图1B和图2B，没有任何显示器12的独立配置可以用于精确地捕捉例如来自在传统的黑板上的粉笔和海绵和手指触摸的敲击，同时将所捕捉的结果存储在计算机中，由其正常的计算机屏幕或用于参照用户或/和听众的连接的显示器或投影仪来显示输入或输入的一些解释。
参照图3和图4，面镜装置7包括沿着显示和坐标平面12的一个边缘（优选地上部边缘）之外的直线布置的离轴的基本上为抛物型的元件。除了关于面镜装置7的物理外观的不同之外，对于图1和图2所描述的相同的属性和功能也适用。
参照图3B和图4B，除了由用于显示器12的平的屏幕（LCD、等离子、OLED、背投影等）替代投影仪3和投影仪显示表面12之外，该配置与上面关于图3和图4所描述的配置相似。
参照图5和图6，面镜装置7包括被布置在从相机5出发的直接视线的区域中的离轴的基本上为抛物型的元件以避免由例如投影仪3底座或墙壁安置件4造成的障碍，同时在显示和坐标平面12之外。除了关于面镜装置7的物理外观的不同之外，对于图1和图2所描述的相同的属性和功能也适用。在一些实施方式中，由用于显示器12的平的屏幕（LCD、等离子、OLED、背投影等）替代投影仪3和投影仪显示器表面12。
参照图7和图8，除了系统没有为墙壁上用于垂直使用而安置而是被安置在桌子表面上用于水平使用之外，对于图1和图2所描述的相同的属性和功能也适用。
参照图7B和图8B，除了由用于显示器12的平的屏幕（LCD、等离子、OLED、背投影等）替代投影仪3和投影仪显示表面12之外，该配置与上面关于图7和图8所描述的配置相似。
参照图9和图10，除了该系统现在适用于半透明的背投影屏幕12之外，对于图3和图4所描述的相同的属性和功能也适用，使得相机5、照明体6、投影仪3和墙壁安置件4在墙壁11的后面，而沿着直模的离轴的基本上为抛物型的元件的面镜装置7被安置在墙壁上的投影屏幕12之上来观察显示和坐标平面12之上的特定的给定高度处的交互体积1。
参照图9B和图10B，除了由用于显示器12的半透明的平的屏幕（OLED等）替代投影仪3和投影仪显示表面12之外，该配置与上面关于图9和图10所描述的配置相似。
参照图11和图12，除了系统没有为墙壁上用于垂直使用而安置而是被安置在桌子表面上用于水平使用之外，对于图9和图10所描述的相同的属性和功能也适用。
参照图11B和图12B，除了由用于显示器12的半透明的平的屏幕（OLED等）替代投影仪3和投影仪显示器表面12之外，该配置与上面关于图11和图12所描述的配置相似。
参照图13和图14，除了沿着圆形状，例如，在被安置在桌子中的背投影系统的投影仪显示区域的顶部侧之上、或者以从相机出发的直接视线的区域中的元件来组织离轴的基本上为抛物型的元件的面镜装置7以避免显示区域之外的障碍之外，对于图11和图12所描述的相同的属性和功能也适用。
参照图13B和图14B，除了由用于显示器12的半透明的平的屏幕（OLED等）替代投影仪3和投影仪显示器表面12之外，该配置与上面关于图13和图14所描述的配置相似。
参照图15和图16，除了沿着圆形状，例如，在投影仪显示区域12的顶部侧之上、或者以从相机5出发的直接视线的区域中的元件来组织离轴的基本上为抛物型的元件的面镜装置7以避免在显示区域12之外的障碍之外，对于图9和图10所描述的相同的属性和功能也适用。
参照图15B和图16B，除了由用于显示器12的半透明的平的屏幕（OLED等）替代投影仪3和投影仪显示器表面12之外，该配置与上面关于图15和图16所描述的配置相似。
参照图17，除了交互式系统适于被安置在手持装置中之外，对于图9B、图10B、图11B和图12B所描述的相同的属性和功能也适用。
参照图18，示出了根据本发明的优选实施方式的一些示例性配置的典型图像，其中离轴的基本上为抛物型的元件的面镜装置7沿着以下被组织：（a）如图1、图2、图1B、图2B、图7、图8、图7B、图8B中那样沿着圆形状；（b）如图3、图4、图3B、图4B中那样沿着与坐标平面12的边缘平行的直模；（c）如图5和图6中那样沿着从相机5出发的直接视线的区域中的元件以避免障碍；（d）沿着与坐标平面12的边缘平行的两个、三个或四个直模，这可以提供对象2的多个视图；（e）沿着与由几个相机5的视点覆盖的很宽的坐标平面12的上部边缘平行的直长模；（f）沿着从相机5出发的直接视线的区域中的一个或多个元件以避免障碍并且一个或多个元件可以提供对象2的多个视图。该配置也可以可应用于交互式标志以及展览和博物馆中的交互式海报，其中可以在具有例如用户可以与之交互的具有信息内容的三维结构的区域之间建立几个交互式区域或岛。
参照图19，示出了由等式描述的具有焦点的抛物线和离轴的基本上为抛物型的元件（在遮蔽区域上方并且在虚线椭圆内部）的示例。
现将为具有位于离显示器12距离x＝510mm的入射光瞳、R＝150mm的外半径、H＝50mm的高度(表示具有高度50mm的交互体积1可以通过面镜装置7被观察到)的相机5的抛物型元件的半圆形面镜装置7提供示例数值。焦点是
p 2 = - R + R 2 + D 2 2 = - 150 + 150 2 + 510 2 2 ≅ 190.8 mm
可以对于一些高度h值得到来自外半径的距离R-r作为抛物型元件表面的实际高度h的函数，其中R是外半径，而r是实际半径，如下：
h 50 40 30 20 10 0
R-r ≈63.55 ≈51.36 ≈38.91 ≈20.20 ≈13.23 ≈0
参照图19B，关于上面的数值示例示出了示例性面镜装置7，其中离轴的凹的抛物型元件被布置在具有150mm的外半径的圆的1760的扇区中。面镜装置7的高度为0mm至50mm，而单元的整体高度为60mm。该部件可以在ABS塑料中模塑以及由铝金属化以及由薄聚合物层保护以避免氧化降解。可替代地，金属化塑料材料制成的片材可以被粘接至该部件，但是形成正确的双曲面是不可行的。
参照图19C，示出了关于图19B中所描述的并且与上述数值示例相关的示例性面镜装置7的金属化塑料材料制成的片材的形状。
参照图19D，示出了图19A、图19B和图19C中描述的示例性面镜装置7的透视图。面镜装置7适于被直接放置在将坐标平面12延伸的表面上，或者在同一水平处被安置在墙壁11或墙壁安置件4上。
参照图19E，示例性面镜装置7可以被设计，由于一些制造局限性，因此在给定的情况下只允许面镜表面是单向弯曲的。图19E是理想的离轴的抛物型函数和该线性化的离轴的抛物型函数的不同形状的示意图。单向弯曲表面的斜率适用于在高度＝0处几乎是正确的，表示在h＝0处的“最后的接触”的读取将是相当正确的。对于具有理想的抛物型函数的面镜装置7，通过面镜读取坐标平面11之上的对象高度可以直接为线性函数并且独立于交互体积1中的实际的(X，Y)位置，而对于使用这样的制造的非理想的抛物型函数的面镜装置7，对象的高度的读取将得到例如，由查找表实现的(X，Y)位置相关的误差项的纠正。
参照图19F，示例性面镜装置7可以被这样设计：由于一些制造局限性，例如被限制为两个单向弯曲的表面（即，两个线性部分）以近似离轴凹的理想的抛物形状。该图示出了理想的离轴的抛物型函数与具有两个线性化的部分的离轴的抛物型函数之间的形状上的差异。由于折射角是不正确的，这些形状伪影将使对象的图像失真。通常，由于例如制造限制，可以利用不同的线性化的、分段的或其他的近似函数来如例如图19A近似理想的离轴的凹的抛物型函数，并且这样获得的离轴凹的基本上为抛物型的元件可以提供足够的图像质量用于观察对象以及以根据给定的系统要求的足够的精确度来确定对象的盘旋高度，这些系统要求很好地适用于传感器的有限的图像分辨率和相机的给定透镜质量。
参照图20，根据本发明的优选实施方式的面镜元件的示例性配置：（a）小的离轴的基本上为抛物型的面镜段的马赛克；（b）粘贴至基底的类似面镜的金属化塑料材料膜；（c）通过利用玻璃或塑料材料中的全内反射的面镜；（d）通过利用玻璃或塑料材料中的全内反射以及使用金属化用于对于比全内反射的临界角更小的角度的面镜函数的保护和扩展的面镜；（e）当相机在屏幕的前面（正投影）时，通过利用平面镜和一个或多个菲涅耳透镜用于提供离轴的基本上为抛物型的功能所需的曲率的面镜;（f）当相机在屏幕后面（背投影或“看透”透明的平板屏幕，例如，OLED）时，利用平面镜和一个或多个菲涅耳透镜用于提供离轴的基本上为抛物型的函数所需的曲率的面镜;（g）通过利用关于与（e）和（f）等同地利用离轴的基本上为抛物型的函数的类菲涅耳段的面镜；
参照图21A，流程图提供了便于得到手指到表面的距离、得到手指在体积内的三维坐标，以及触摸和盘旋状态的示例性方法的图示。离轴的基本上为抛物型的面镜元件表示用于观察对象的可替选视点，并且面镜元件明确地表示盘旋水平或高度或对象在交互体积内的交互表面上的垂直距离Z。方块图21A中所描绘的简单的图像采集和特征提取可以得到在相机图像阵列中的两个感兴趣区域内（即，在直接的或与“正的”同义的视点和面镜视点内）的候选对象位置。对于每个视图，可以得到在相机的入射光瞳处候选对象所对着的立体角。在面镜视图中，明确地得到交互表面（12）之上的高度Z，并且与通过两个观察和两个不同的二维视图的图像处理来匹配三维空间中的一个或多个点相关的对应问题将被大大简化。
图21B是示出了用于寻找对象的加速方法的流程图。在该示例中，面镜装置7是如例如图19B至19D所示出的、并具有如图18A的典型图像的半圆形离轴的基本上为抛物型的面镜部分，其中对象通过面镜和直接被看到。
关于对象（2）的高度Z和角度AZIMUTH可以由相机通过面镜观察到，表示交互体积（1）的坐标系中的直线轨迹的高度。在三维交互体积（1）中这条直线表示对象（2）关于给定的Z和AZIMUTH可以具有的所有可能的（X-Y）位置。该三维轨迹通过透镜的坐标变换映射到例如可以通过查找表找到的相机像素阵列中的二维轨迹，并且该轨迹从最靠近面镜的端部开始被遍历，并且凭借以像素数给出的特定路径宽度，边缘检测器算法可以找到候选对象。可以进行详细的子像素边缘检测或模板匹配来以较高的精确度找到像素位置（x-y），然后通过例如查找表由逆坐标变换被变换，具有高精确度（X-Y）的候选对象在表面体积坐标中的坐标被计算。最后，在这个搜索算法之后，X、Y、Z和姿势信息可以如所描述的被报告。
相比于在二维像素阵列中的具有边缘检测器算法的完全搜索算法（该完全搜索算法的计算复杂度与覆盖交互体积（1）的感兴趣阵列的大小成正比），所描述的算法是不复杂得多，并且基本上与阵列的对角线的长度成比例，使得加速因素可以根据传感器的分辨率和感兴趣区域而基本上在100倍至1000倍的范围内。
参照图22，根据本发明的优选实施方式给出了便于相机到显示屏幕的校准的示例性方法，其中，（a）是在显示屏幕上呈现交叉并且操作者以给定的序列使用笔或手指触摸每个交叉的标准的手动校准方法；（b）是使用与发明和/或WO2006135241A1/US2009040195A1中的模式类似的模式以确定不同的校准点的自动校准方法，这些发明通过引用合并到本文中；（c）是首先使用与（b）中的模式类似的模式来确定不同的校准点，然后在黑色背景上的给定的位置中给出一组白色圆形光盘使得触摸检测限制可以被设置或控制的半自动校准方法，在该给定的位置中，操作者以给定的序列布置具有内部不透明或反射的材料的半透明的圆柱体。
参照图23，示出了示范性配置（a）具有跟踪图案13的笔；（b）具有定位控制图案13的面镜；以及（c）具有定位控制图案13的坐标平面的；与本发明一起使用的示例性配置。图案可以是例如如WO2001 NO00369/US7083100B2和/或WO2006135241 A1/US2009040195A1中的用于对象的识别和跟踪的图案，这里通过引用合并到本文中。进一步参照图23，使用这样的图案和图案识别，笔输入可以区别于其他交互输入装置诸如人的手指，使得通过本发明和实际所引用的发明可以很容易地实现双模输入系统。进一步参照图23，交互表面和面镜也可以配备有这样的图案，使得通过利用本发明与其他所引用的发明可以实现自动的控制、校准和自调节设置。
参照图24，通过使用沿着坐标平面的一个或多个边缘的小的模子或列表15提供用于成像和测量的受控的背景的示例性配置，一般为白色、黑色或具有在实际的近红外波长范围内的回归反射的光学属性14。在该示例中，模子/列表也用作坐标平面下方的笔搁板15。
参照图25，示出了适于检测平面之上的对象高度的坐标平面处的离轴的基本上为抛物型的元件的面镜装置的示例性配置，而也在离轴的基本上为抛物型的元件之外的额外的弯曲的或平的面镜元件16适于当这些面镜被从相机的视点观察时提供场景的空间信息。该示例性配置可以通过观察面镜16中的对象2来增强跟随和确定也在交互体积1的之外的对象2的姿势和手势的能力。而且，在更先进的人机交互场景中，用户的手势和行为可以通过观察直接视图和面镜16中的视图被分析以预测新的交互事件。也可以估计对象2的三维位置和姿势。
参照图26，示出了坐标平面处的离轴的基本上为抛物型的元件的面镜装置的示例性配置用于观察对象相对于坐标平面的高度，与用于提供照明的其他照明设备17结合，使得用于观察坐标平面之上的对象高度的面镜装置7本身更少暴露于直接照明，从而减少不希望的光学界面的反射，并且由此增加了测量的信噪比。
参照图27，示出了系统包括显示器12、协作的计算机18和根据本发明的设备19，以及协作的计算机与显示器12之间的通信装置20和协作的计算机与根据本发明的设备19之间的通信装置21。该通信装置20可选地实现为无线数据链路和/或直接电缆连接的链路和/或可选地调制的链路。
参照图28，示出了根据本发明的优选实施方式示例性配置，其中直接视图和面镜视图分别由具有单独的光学元件的两个协作的、分离的图像传感器23和24所捕捉，以为了降低成本、微缩化和简单的安装而优化每个视图并且通过例如高速串行链路22连接。虚线10表示不同部件中的一个或多个可以由底盘10所包围。如图26中所示的单独的照明单元17也可以被包括在这样的底盘10中。然而，部件也可以被分离和模块化，以便改造现有的投影仪安装以使其成为交互式，或者例如将基于笔的交互式白板升级为触敏式。可选地，使用最适合于该两个单独的视图的透镜光学器件，然后由计算单元对图像对执行相同的计算。在图21中所描述的关于本发明的加速方案在这样的双传感器/透镜配置中也可以凭借相同的加速潜力来应用。
参照图29，在直接相机视图中的遮挡的情况下，用于得到交互对象（2）以及触摸和盘旋状态的冗余方案由图21B中所描述的应用到例如两个面镜装置7：面镜M1和面镜M2上的加速程序激发，其中面镜M1与面镜M2之间的距离为所示的基准线L。对应于图21B中的方法，可以通过观察面镜M1和方位β得到关于对象P的方位和高度Z1，并且可以通过观察面镜M2得到关于对象P的高度Z2，并且通过三角测量得到交互表面12或交互体积1中的对象位置（X-Y）。
两个面镜M1和M2位于分开的距离L，即，基线为L。那么从长度L的基线到目标P的距离d是距离d也可以表示为：由简单的三角函数计算可以简单地推导出X和Y坐标。
通过坐标变换或通过查找表，可以发现相应的传感器图像（x-y）位置，并且可以在（x-y）位置周围的邻域中的图像中局部地完成详细的图像分析以获得更精确的定位，这由坐标变换或查找表可以被变换成交互表面（12）或交互体积（1）坐标系统中的相应的精确的（X-Y）位置。
在不脱离由所附权利要求所限定的本发明的范围的情况下，对前面所描述的本发明的实施方式的修改是可行的。用于描述和要求保护本发明的表达，例如“包括（including）”、“包括（comprising）”、“合并”、“由……组成”、“具有”、“是”意在以非排他的方式被解释，即，还允许没有明确描述的项目、部件或元件存在。单数的引用还应当被解释为涉及复数。所附权利要求中的括号内的附图标记意在为帮助理解权利要求，并且不应当以任何方式被解释为限制由这些权利要求所要求保护的主题。

Claims (42)

1.一种用于确定至少一个对象(2)的位置或姿势或者位置和姿势两者的设备，其中，所述对象(2)整体地或部分地位于由交互表面(12)、并且由所述交互表面(12)之上的高度维度上的特定高度范围所界定的交互体积(1)内，所述设备包括：
-相机(5)；
-包括一个或多个面镜部分的面镜装置(7)；
-计算单元，所述计算单元用于基于来自所述相机(5)的信息来计算至少一个对象(2)的位置或姿势或者位置和姿势两者；
其中，所述相机(5)被布置成将所述体积(1)和所述面镜装置(7)两者包括在所述相机(5)的视场内；
-所述面镜装置(7)，其中所述一个或多个面镜部分包括在所述交互表面(12)的平面处的至少一个离轴的凹的基本上为抛物型的光学面镜元件，并且其中每个离轴的基本上为抛物型的光学面镜元件被布置成使其焦点在所述相机(5)的入射光瞳处并且使其轴平行于所述交互表面(12)，使得以对于每个基本上为抛物型的光学面镜元件而言沿着其轴的、对所述高度维度的恒定放大来产生所述体积(1)的视图；
使得所述对象(2)的位置和/或姿势由所述计算单元基于来自所述相机(5)的单个图片的信息来确定。
2.根据权利要求1所述的设备，包括仅一个相机(5)。
3.根据权利要求1所述的设备，其中，至少一个第二对象在所述相机(5)的视场内但不一定在所述体积(1)内，其中所述至少一个第二对象的姿势被确定，使得所述第二对象的姿势能够提供额外信息。
4.根据权利要求1所述的设备，其中，所述离轴的凹的基本上为抛物型的光学面镜元件包括提供离轴的凹的基本上为抛物型的面镜功能的类菲涅耳面镜元件。
5.根据权利要求1所述的设备，其中，所述离轴的凹的基本上为抛物型的光学面镜元件包括被相组合地布置用于提供所述离轴的基本上为抛物型的面镜功能的面镜元件和透镜元件。
6.根据权利要求5所述的设备，其中，所述面镜元件是线性的。
7.根据权利要求5所述的设备，其中，所述透镜元件是菲涅耳透镜。
8.根据权利要求1所述的设备，其中，所述面镜元件包括反射表面，其中反射由金属化塑料材料膜、金属化塑料材料注射模塑部件来提供、通过全内反射来提供、或者通过与金属化相结合的全内反射来提供。
9.根据权利要求1所述的设备，其中，所述面镜元件包括由塑料材料和/或特殊涂层构成的层，其选择性地阻止或通过给定波长范围内的光，从而允许所述面镜元件以可见光的反射被减少的方式在近红外光下发挥功能。
10.根据权利要求1所述的设备，其中，至少一个面镜部分适于被布置在所述交互表面(12)的周界的外部。
11.根据权利要求1所述的设备，其中，至少一个面镜元件以沿着所述交互表面(12)的边缘的外部的直模来布置。
12.根据权利要求1所述的设备，其中，所述至少一个面镜元件以适于被布置在墙壁或桌子安置件处的半圆形状分布。
13.根据权利要求1所述的设备，其中，所述面镜装置(7)包括多个面镜部分，并且所述面镜部分被布置用于提供所述对象(2)的多个视图。
14.根据权利要求13所述的设备，其中，所述面镜元件以马赛克结构布置以便减小遮蔽以及增强面镜到像素映射特性。
15.根据权利要求1所述的设备，包括多个相机，其中，所述相机被布置成提供所述至少一个对象(2)的多个视图，并且在从所述相机出发的直接视线的区域中以避免遮蔽。
16.根据权利要求1所述的设备，其中，至少一个相机(5)被布置有用于放大所述面镜装置(7)的至少多个部分的视图的双焦透镜。
17.根据权利要求1所述的设备，其中，至少一个相机包括至少一个光学滤波器，所述至少一个光学滤波器用于阻挡或通过所选波长处的光，使得不希望的光被阻止而允许照明的波长范围内的光通过。
18.根据权利要求1所述的设备，其中，至少一个相机包括至少一个可选择的光学滤波器，所述至少一个可选择的光学滤波器用于选择性地阻挡或通过不同波长范围的光，使得与照明或可见光具有相同波长的光被阻挡或通过。
19.根据权利要求1所述的设备，包括第一照明装置(6)，所述第一照明装置(6)被布置成利用可见光和/或近红外光、直接地和/或通过所述面镜装置(7)间接地提供所述交互体积(1)的至少多个部分的照明。
20.根据权利要求19所述的设备，其中，所述第一照明装置(6)被控制为接通和关断照明和/或在所述相机(5)的主动曝光时段内提供闪光以冻结所述一个或多个对象(2)的运动。
21.根据权利要求19所述的设备，其中，所述第一照明装置(6)被布置在所述相机(5)的入射光瞳附近，即，靠近所述离轴的基本上为抛物型的元件的焦点，并且通过所述面镜装置(7)间接地照明，使得照明以光线基本上平行于所述交互表面(12)的方式在所述交互体积(1)中扩展。
22.根据权利要求19所述的设备，进一步包括单独的第二面镜装置，所述单独的第二面镜装置被布置成有助于对所述交互体积(1)进行照明，使得用于观察的所述面镜装置(7)更少地暴露于照明，由此增大使用所述设备执行的测量的信噪比。
23.根据权利要求19所述的设备，进一步包括单独的第二照明装置(17)，所述单独的第二照明装置(17)被布置成有助于对所述交互体积(1)进行照明，由此增大使用所述设备执行的测量的信噪比。
24.根据权利要求19所述的设备，其中，所述第一照明装置(6)可操作用以提供直接照明和通过面镜装置(7)提供间接照明，并且其中，所述直接照明和间接照明被分别控制以改善对所述一个或多个对象(2)的检测。
25.根据权利要求19所述的设备，其中，所述第一照明装置(6)可操作用以改变所述对象(2)的外观。
26.根据权利要求1所述的设备，进一步包括额外的弯曲的或平的面镜元件(16)，所述额外的弯曲的或平的面镜元件(16)适于当被从所述相机(5)观察时提供空间信息。
27.根据权利要求1所述的设备，包括两个面镜部分，所述两个面镜部分被布置在允许通过三角测量得到对象的位置或姿势或者位置和姿势两者的距离处，使得在所述对象的直接相机视图中存在阻塞的情况下也确定所述位置或姿势或者所述位置和姿势两者。
28.根据权利要求1所述的设备，其中，通过利用一个或多个单独的传感器、针对直接视图和通过所述离轴的基本上为抛物型的面镜元件的视图而分离透镜光学器件。
29.根据权利要求25所述的设备，其中，通过投射彩色的和/或闪光的照明作为计算机对用户的交互反馈来改变所述对象(2)的外观。
30.一种用于提供呈现表面附近的对象的交互式使用的交互系统，其中，所述交互系统包括根据权利要求19-25中的任一项所述的用于确定位置和/或姿势的设备，其中，所述交互系统进一步包括被布置成在所述呈现表面处呈现图像的呈现装置。
31.根据权利要求30所述的交互系统，包括投影仪(3)和正投影屏幕，其中，所述相机(5)、所述第一照明装置(6)、所述投影仪(3)被布置在所述正投影屏幕的与所述交互体积(1)相同的一侧。
32.根据权利要求30所述的交互系统，包括投影仪(3)和半透明的背投影屏幕，其中，所述相机(5)、所述第一照明装置(6)、所述投影仪(3)被布置在所述半透明的背投影屏幕的与所述交互体积(1)相对的一侧。
33.根据权利要求30所述的交互系统，包括半透明的平的屏幕，其中，所述相机(5)、所述第一照明装置(6)被布置在所述半透明的平的屏幕的与所述交互体积(1)相对的一侧。
34.根据权利要求30所述的交互系统，其中，所述交互表面(12)被布置在墙壁、桌子或手持装置处。
35.根据权利要求30所述的交互系统，其中，所述交互系统包括投影仪(3)和用于所述投影仪(3)的附接装置(4)，并且其中，至少一个面镜装置(7)被布置成与所述附接装置(4)相连接，使得便利于对所述系统的不同部件的近似最佳定位。
36.根据权利要求33所述的交互系统，其中，所述半透明的平的屏幕是OLED。
37.一种确定至少一个对象(2)的位置或姿势或者位置和姿势两者的方法，其中，所述对象(2)整体地或部分地位于由交互表面(12)、并且由所述交互表面(12)之上的高度维度上的特定高度范围所界定的交互体积(1)内，所述方法包括以下步骤：
-使用包括在所述交互表面(12)的平面处的至少一个离轴的凹的基本上为抛物型的光学面镜元件的面镜装置(7)来反射来自所述交互体积内附近的体积内的对象的辐射，并且其中每个离轴的基本上为抛物型的光学面镜元件被布置成使其焦点在相机(5)的入射光瞳处并且使其轴平行于所述交互表面(12)，使得以对于每个基本上为抛物型的光学面镜元件而言沿着其轴的、对所述高度维度的恒定放大来产生所述体积(1)的视图；
-由所述相机(5)记录被反射的辐射，所述相机(5)被布置成将所述体积(1)和所述面镜装置(7)两者包括在所述相机(5)的视场内；
-从所述相机(5)向计算装置传递信息；以及
-基于来自所述相机(5)的信息来计算所述至少一个对象(2)的位置或姿势或者位置和姿势两者。
38.一种在交互表面之上的高度维度上进行校准和控制以得到精确的触摸和盘旋信息的方法，所述方法包括根据权利要求37所述的确定至少一个对象(2)的位置或姿势或者位置和姿势两者的方法，所述在交互表面之上的高度维度上进行校准和控制以得到精确的触摸和盘旋信息的方法进一步包括：
-在所述交互表面上放置半透明的三维图案测试对象；
-以圆形区域一个接一个地高亮显示所述交互表面；
-由所述相机(5)直接观察以及通过所述面镜装置从侧面观察所述测试对象；
-识别所述测试对象的所述图案；
-从坐标平面的坐标到交互表面坐标进行校准和映射，和/或对所述高度测量进行校准；以及
确定触摸和盘旋的阈值。
39.一种用于得到对象到表面的距离、对象的三维坐标以及对象的触摸和盘旋状态的方法，所述方法包括根据权利要求37所述的确定至少一个对象(2)的位置或姿势或者位置和姿势两者的方法，所述用于得到对象到表面的距离、对象的三维坐标以及对象的触摸和盘旋状态的方法进一步包括：
-执行标准图像采集和特征提取；
-在正视图中和在面镜视点中，得到在所述相机(5)的入射光瞳处所述对象的指尖所对着的立体角；
-如果所述面镜是抛物面或者是抛物型近似模型，则通过使用直接线性模型来得到所述对象到表面的距离；
-基于所述立体角和到所述表面的距离来得到所述对象的三维坐标；以及
-通过将到表面的距离与阈值相比较来得到所述对象的盘旋/触摸状态。
40.根据权利要求39所述的用于得到对象到表面的距离、对象的三维坐标以及对象的触摸和盘旋状态的方法，其中，所述对象是手指。
41.一种加速用于跟踪交互体积(1)中的对象的计算和搜索的方法，所述方法包括根据权利要求37所述的确定至少一个对象(2)的位置或姿势或者位置和姿势两者的方法，所述加速用于跟踪交互体积(1)中的对象的计算和搜索的方法进一步包括：
-执行对图像的标准图像采集并且在包括所述面镜装置的子图像内执行特征提取；
-得到所述对象到表面的距离以及抛物型面镜元件沿着所述交互体积(1)的有效观察角；
-得到表示所述对象(2)的所有可能的X-Y位置的所述交互体积(1)中的直线；
-得到相机像素阵列中的对应的二维轨迹；
-利用边缘检测器以特定路径宽度遍历该轨迹，并且得到阵列X-Y位置中的候选对象；
-执行详细的边缘检测或模板匹配以得到精确的阵列位置；
-当Z已知时，得到对应的X-Y位置；以及
-向计算机报告X、Y、Z以及触摸和盘旋信息中的一个或多个。
42.根据权利要求41所述的加速用于跟踪交互体积(1)中的对象的计算和搜索的方法，其中，通过查找表得到相机像素阵列中的对应的二维轨迹。
CN201180065580.7A 2010-11-22 2011-11-22 基于相机的多点触摸交互设备、系统和方法 Expired - Fee Related CN103477311B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41617810P 2010-11-22 2010-11-22
US61/416,178 2010-11-22
GB1021213.2A GB2486445B (en) 2010-12-14 2010-12-14 Camera-based multi-touch interaction apparatus system and method
GB1021213.2 2010-12-14
PCT/NO2011/000328 WO2012070949A1 (en) 2010-11-22 2011-11-22 Camera-based multi-touch interaction apparatus, system and method

Publications (2)

Publication Number Publication Date
CN103477311A CN103477311A (zh) 2013-12-25
CN103477311B true CN103477311B (zh) 2016-08-10

Family

ID=43567188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180065580.7A Expired - Fee Related CN103477311B (zh) 2010-11-22 2011-11-22 基于相机的多点触摸交互设备、系统和方法

Country Status (5)

Country Link
US (2) US20130147711A1 (zh)
JP (1) JP5950130B2 (zh)
CN (1) CN103477311B (zh)
GB (1) GB2486445B (zh)
WO (1) WO2012070949A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
KR101126516B1 (ko) * 2011-02-25 2012-03-22 팅크웨어(주) 정보를 수신하는 전자기기 및 방법, 정보를 수신하는 방법을 수행하는 프로그램을 기록한 기록매체
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9105211B2 (en) * 2012-03-13 2015-08-11 Samsung Electronics Co., Ltd Portable projector and image projecting method thereof
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
DE102012108956A1 (de) 2012-09-21 2014-03-27 Eads Deutschland Gmbh Interaktive Passagierkabineneinheit und Verfahren zur Steuerung von Darstellungen darauf
JP6233314B2 (ja) * 2012-11-09 2017-11-22 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
CN102945105B (zh) * 2012-12-02 2016-03-02 狒特科技（北京）有限公司 一种多点便携光学触摸屏及其定位方法
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
JP6689559B2 (ja) * 2013-03-05 2020-04-28 株式会社リコー 画像投影装置、システム、画像投影方法およびプログラム
US9625995B2 (en) * 2013-03-15 2017-04-18 Leap Motion, Inc. Identifying an object in a field of view
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置
CN104238730A (zh) * 2013-06-21 2014-12-24 上海复旦上科多媒体有限公司 一种智能电网可视化平台及演示控制方法
JP2015034919A (ja) * 2013-08-09 2015-02-19 株式会社デンソー 情報表示装置
TWI498806B (zh) * 2013-08-14 2015-09-01 Wistron Corp 電子裝置與電子裝置之控制方法
WO2015028993A1 (en) * 2013-09-01 2015-03-05 Varun Akur Venkatesan Hand geometry reader
EP3056975B1 (en) * 2013-10-08 2020-08-12 Maxell, Ltd. Projection type image display device, manipulation detection device and projection type image display method
CN103646313B (zh) * 2013-12-13 2016-06-22 国家电网公司 基于web网站的班组安全活动的信息推送和接收方法
GB2522248A (en) * 2014-01-20 2015-07-22 Promethean Ltd Interactive system
CN106255938B (zh) * 2014-02-28 2019-12-17 惠普发展公司，有限责任合伙企业 传感器和投影仪的校准
US9690478B2 (en) * 2014-03-04 2017-06-27 Texas Instruments Incorporated Method and system for processing gestures to cause computation of measurement of an angle or a segment using a touch system
US9740338B2 (en) * 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US10372269B2 (en) * 2014-07-29 2019-08-06 Sony Corporation Projection display apparatus
US10431145B2 (en) 2014-07-30 2019-10-01 Hewlett-Packard Development Company, L.P. Transparent whiteboard display
JP6372266B2 (ja) * 2014-09-09 2018-08-15 ソニー株式会社 投射型表示装置および機能制御方法
JP2017535215A (ja) * 2014-09-24 2017-11-24 アトキンソン、ドンATKINSON, Don 一様な照明及びデータ取込みを使用する評価装置
JP6405836B2 (ja) * 2014-09-26 2018-10-17 セイコーエプソン株式会社 位置検出装置、プロジェクター、及び、位置検出方法
JP6350175B2 (ja) * 2014-09-26 2018-07-04 セイコーエプソン株式会社 位置検出装置、プロジェクター、及び、位置検出方法
JP6409517B2 (ja) * 2014-11-13 2018-10-24 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN107209848B (zh) * 2014-12-01 2020-10-13 厦门熵基科技有限公司 用于基于多模式生物识别信息的个人识别的系统和方法
CN107004113B (zh) 2014-12-01 2021-01-29 熵基科技股份有限公司 用于获取多模式生物识别信息的系统和方法
CN106030495B (zh) * 2015-01-30 2021-04-13 索尼深度传感解决方案股份有限公司 利用单个感测系统的基于多模式姿势的交互系统及方法
TWI562045B (en) * 2015-01-30 2016-12-11 Coretronic Corp Optical object positioning apparatus and positioning method thereof
JP6477131B2 (ja) * 2015-03-27 2019-03-06 セイコーエプソン株式会社 インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法
KR102233090B1 (ko) * 2015-05-19 2021-03-26 에스케이텔레콤 주식회사 터치입력인식장치 및 터치입력인식장치의 동작 방법
US10025375B2 (en) 2015-10-01 2018-07-17 Disney Enterprises, Inc. Augmented reality controls for user interactions with a virtual world
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
CN106302676B (zh) * 2016-08-05 2019-11-29 南京仁光电子科技有限公司 大屏幕智能交互系统
JP6485655B2 (ja) * 2017-03-27 2019-03-20 日本電気株式会社 顔認証装置、顔認証方法、および顔認証プログラム
CN107454360A (zh) * 2017-09-13 2017-12-08 威创集团股份有限公司 一种屏幕录制装置及录制视频的方法
US10564420B2 (en) * 2017-10-02 2020-02-18 International Business Machines Corporation Midair interaction with electronic pen projection computing system
US10979649B2 (en) 2018-01-29 2021-04-13 Don Atkinson Auxiliary apparatus for a digital imaging device
DE102018203344A1 (de) * 2018-03-07 2019-09-12 BSH Hausgeräte GmbH Interaktionsmodul
CN109558062A (zh) * 2018-03-29 2019-04-02 广州小狗机器人技术有限公司 一种互动位置的确定方法和装置
WO2020036604A1 (en) * 2018-08-17 2020-02-20 Hewlett-Packard Development Company, L.P. Sensing a user's touch
KR102469722B1 (ko) * 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3876083A4 (en) * 2018-11-01 2021-12-29 Sony Group Corporation Information processing device, information processing method, and program
KR102185322B1 (ko) * 2018-11-28 2020-12-01 알바이오텍 주식회사 적외선 스테레오 카메라를 이용한 위치 검출 시스템
KR102156539B1 (ko) * 2019-01-15 2020-09-16 임성민 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템
CN111240530B (zh) * 2020-01-08 2020-11-10 广州市三川田文化科技股份有限公司 一种圆柱式触控显示装置的多点触控方法
CN111831161B (zh) * 2020-07-23 2023-10-03 吕嘉昳 基于触摸方法自动识别显示屏幕中触点位置的方法
US20220360755A1 (en) * 2020-10-23 2022-11-10 Ji Shen Interactive display with integrated camera for capturing audio and visual information
US20230113359A1 (en) * 2020-10-23 2023-04-13 Pathway Innovations And Technologies, Inc. Full color spectrum blending and digital color filtering for transparent display screens
CN113190045A (zh) * 2021-05-10 2021-07-30 北京航空航天大学 一种基于笔画人机交互的无人机集群控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326188A (ja) * 2003-04-21 2004-11-18 Advanced Telecommunication Research Institute International 大画面タッチパネルシステムおよび検索・表示システム
WO2005034027A1 (en) * 2003-10-09 2005-04-14 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN1918532A (zh) * 2003-12-09 2007-02-21 雷阿卡特瑞克斯系统公司 自容交互式视频显示系统
JP2007079744A (ja) * 2005-09-12 2007-03-29 Canon Inc 座標入力装置
CN101365985A (zh) * 2001-04-24 2009-02-11 3M创新有限公司 具有干擦除屏幕的组合前投射系统
WO2010019802A1 (en) * 2008-08-15 2010-02-18 Gesturetek, Inc. Enhanced multi-touch detection

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
JPS63292222A (ja) * 1987-05-25 1988-11-29 Mitsubishi Electric Corp 座標入力装置
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
WO1994008314A1 (en) * 1992-09-28 1994-04-14 Olympus Optical Co., Ltd. Dot code and information recording/reproducing system for recording/reproducing dot code
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP2000148375A (ja) * 1998-11-11 2000-05-26 Seiko Epson Corp 入力システム及び投射型表示システム
JP2000267800A (ja) * 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US6179426B1 (en) * 1999-03-03 2001-01-30 3M Innovative Properties Company Integrated front projection system
JP3934846B2 (ja) * 2000-03-06 2007-06-20 株式会社リコー 座標入力／検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体
JP2002163071A (ja) * 2000-11-27 2002-06-07 Canon Inc 光検出器
JP4037128B2 (ja) * 2001-03-02 2008-01-23 株式会社リコー 投影型表示装置、及びプログラム
US6540366B2 (en) * 2001-03-19 2003-04-01 Smart Technologies, Inc. Overhead projection system
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP2003308167A (ja) * 2002-04-17 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> 情報入出力装置と方法
US7278745B2 (en) * 2004-12-21 2007-10-09 Infocus Corporation Method and apparatus for adjusting relative disposition of projection optics based on operating conditions
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US7515143B2 (en) * 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
CN201044012Y (zh) * 2006-08-23 2008-04-02 浦比俊引特艾克堤夫科技公司 具有塑胶镜的空中显示器系统
US20110050652A1 (en) * 2009-09-01 2011-03-03 Chan David H Flexible and portable multiple passive writing instruments detection system
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101365985A (zh) * 2001-04-24 2009-02-11 3M创新有限公司 具有干擦除屏幕的组合前投射系统
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
JP2004326188A (ja) * 2003-04-21 2004-11-18 Advanced Telecommunication Research Institute International 大画面タッチパネルシステムおよび検索・表示システム
WO2005034027A1 (en) * 2003-10-09 2005-04-14 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
CN1918532A (zh) * 2003-12-09 2007-02-21 雷阿卡特瑞克斯系统公司 自容交互式视频显示系统
JP2007079744A (ja) * 2005-09-12 2007-03-29 Canon Inc 座標入力装置
WO2010019802A1 (en) * 2008-08-15 2010-02-18 Gesturetek, Inc. Enhanced multi-touch detection

Also Published As

Publication number Publication date
JP2014517361A (ja) 2014-07-17
JP5950130B2 (ja) 2016-07-13
GB201021213D0 (en) 2011-01-26
GB2486445A (en) 2012-06-20
US20130147711A1 (en) 2013-06-13
CN103477311A (zh) 2013-12-25
GB2486445B (en) 2013-08-14
WO2012070949A1 (en) 2012-05-31
US20170351324A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
CN103477311B (zh) 基于相机的多点触摸交互设备、系统和方法
CN103329079B (zh) 基于相机的多点触摸交互以及照明系统和方法
CN104145276B (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
CN106030495A (zh) 利用单个感测系统的基于多模式姿势的交互系统及方法
CN102799318B (zh) 一种基于双目立体视觉的人机交互方法及系统
US9536163B2 (en) Object position and orientation detection system
CN101354624B (zh) 一种四路摄像头协同工作的表面计算平台及多触点检测方法
CN102741781A (zh) 用于位置探测的传感器方法和系统
CN101923413A (zh) 交互输入系统及其部件
CN101231450A (zh) 多点及物体触摸屏装置及多点触摸的定位方法
CN101952818A (zh) 基于姿态的用户交互的处理
WO2006129851A1 (en) Image displaying apparatus, image displaying method, and command inputting method
CN103279975A (zh) 指示体绘制图像的光方向的方法和系统
CN103052928A (zh) 能使多显示输入实现的系统和方法
CN101813993A (zh) 一种曲面显示系统以及手势识别和定位方法
US20150193085A1 (en) Object tracking system and method
CN102799344A (zh) 虚拟触摸屏系统以及方法
Hsu et al. HoloTabletop: an anamorphic illusion interactive holographic-like tabletop system
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
CN102981599A (zh) 三维人机界面系统及其方法
KR20120114767A (ko) 사물 투척형 게임 디스플레이 시스템 및 그 방법
NO20130840A1 (no) Kamerabasert, multitouch interaksjons- og belysningssystem samt fremgangsmåte
Yan et al. Reparation of transparency for high-quality three-dimensional reconstruction using a single RGB-D sensor
Yu Large screen interactive touch system based on affine transformation
CN103853387B (zh) 一种显示装置、系统及坐标定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160810

Termination date: 20181122