CN103329079B - 基于相机的多点触摸交互以及照明系统和方法 - Google Patents

基于相机的多点触摸交互以及照明系统和方法 Download PDF

Info

Publication number
CN103329079B
CN103329079B CN201180065701.8A CN201180065701A CN103329079B CN 103329079 B CN103329079 B CN 103329079B CN 201180065701 A CN201180065701 A CN 201180065701A CN 103329079 B CN103329079 B CN 103329079B
Authority
CN
China
Prior art keywords
plane
interaction surface
light beam
light
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180065701.8A
Other languages
English (en)
Other versions
CN103329079A (zh
Inventor
厄于斯泰因·达姆豪格
哈尔瓦兹·内斯
托尔莫德·恩乔尔斯塔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Epson Norway Research and Development AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Epson Norway Research and Development AS filed Critical Epson Norway Research and Development AS
Publication of CN103329079A publication Critical patent/CN103329079A/zh
Application granted granted Critical
Publication of CN103329079B publication Critical patent/CN103329079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Drawing Aids And Blackboards (AREA)

Abstract

提供了一种方法、系统和设备，用于在计算机的交互体积（7）和/或表面（16）例如计算机屏幕、交互式白板、水平交互表面、视频/网络会议系统、背投影屏幕、数字标牌表面或电视屏幕内进行控制和交互，以使用一个或多个对象（25）如手指、手和其他对象例如笔、刷子、海绵和甚至更专门化的工具来提供指点、盘旋、选择、轻敲、做手势、缩放、绘图、书写和擦除。该方法、设备和系统可选地与所有类型的数据投影仪（3）及其固定器/支架（4）一起使用，或甚至集成到所有类型的数据投影仪（3）及其固定器/支架（4）中，并且与平面屏幕（LCD、等离子、OLED、背投影屏幕等）一起使用以使得这样的显示系统是交互式的。该设备包含相机（1），相机（1）从很短的距离或从更大的距离覆盖交互区域（16）以确定横向位置（X，Y）以及甚至捕捉手指、手或其他交互对象的姿态，其可选地包括对“触摸”和“盘旋”的确定。

Description

基于相机的多点触摸交互以及照明系统和方法
技术领域
本发明涉及基于相机的多点触摸交互系统，其例如利用基于相机的输入装置和可见和/或红外照明来跟踪区域/空间内的对象，例如，跟踪用于人与计算机机交互的一个或多个手指或笔；该系统使得能够确定区域内的二维位置和区域的表面之上的高度，用于提供实际的二维输入坐标并且在实际的交互状态例如“不活动”（没有跟踪）、“盘旋”（跟踪却没有触摸，有时也称作“在范围内”）和“触摸”之间进行精确区分。本发明还涉及多模输入装置和接口，例如，多模输入装置和接口允许笔触摸输入和手指触摸输入两者，并且还可操作用以同时处理多个对象，例如，多点触摸计算机输入装置。此外，本发明涉及使用基于三维的输入装置来输入手势并且由此捕捉例如人的手或手指的姿势的方法，并且可以将一系列手势识别为三维控制的手势命令和/或位置和方向输入的方法。
背景技术
基于相机对人与计算机交互的对象的跟踪特别是跟踪手和手指在过去几十年已经获得科学的、工业的和商业的兴趣。由Pavlovic等，IEEETrans.模式分析与机器智能，第19卷，第7号，第677至695页，1997年和由Zhou等，IEEE Int.研讨会关于混合的和增强的真实性，第193至202页，2008年给出了在该计算密集型领域中的成就的回顾。在所报告的技术中的很多技术中，为了降低遮挡的敏感度并且为了具鲁棒性的跟踪和手势解释，由一个或多个相机从多个不同的视点观察对象。
对于基于单个相机对手指触摸和手指姿势或手势的跟踪，类似阴影、轮廓、纹理、剪影的特征和这些对象的图像梯度，以及甚至从光滑的显示表面反射回来的他们的镜像被提取，并且用于对不同的基于模式的跟踪系统进行更新以计算手指姿势或手势以及实时检测，例如，手指触摸。
作为巧妙的特征提取的示例，公开的美国专利申请第US2010/0066675A1号描述了基于如下的观察的单个相机触摸屏幕系统和特征提取：当触摸屏幕时来自由侧光源照明的手指的阴影基本上被手指模糊，使得当不触摸屏幕时阴影类似手指，然而当手指正在触摸屏幕时阴影被大幅变窄使得可以确定触摸。该申请包括独立权利要求，然而，独立权利要求被来自2005年的由发明人Andrew D.Wilson撰写的公共科学文章（ACM Proc.UIST2005,第83至92页）所预料。
更早的公开专利申请第WO9940562（A1）号、第US006100538A号和第US2010188370（A1）号主要描述了利用手指触摸或笔的对象跟踪系统，其中在坐标平面的周界处布置至少两个相机视点以通过三角测量来确定对象，例如，指点手指的坐标。
公开的国际PCT专利申请第WO9940562（A1）号描述了如下系统：其使用单个相机和由一个或多个平面镜构成的类似潜望镜的光学系统用于检测计算机监视器屏幕前的笔和手指触摸，将从侧着看的两幅图像记录在紧接在屏幕前的体积中的屏幕中，以确定笔或手指的坐标以及到屏幕的距离。
公开的美国专利申请第US006100538A号描述了用于确定投影光的指点对象的位置并且被布置在坐标平面上的光学数字化器，以及被布置在坐标平面的周界上的检测器。优选地，一对线性图像传感器具有覆盖坐标平面的视场以用作检测器，并且布置准直器以限制检测器的视场的高度。检测器可操作用以仅可以接收从基本上平行于坐标平面的指点对象投影的光的平行分量，并且布置屏蔽以阻挡除了投影光以外的噪声光进入检测器的有限的视场内。提供处理器用于计算表示指点对象的位置的坐标。
公开的美国专利申请第US2010188370（A1）号描述了如下基于相机的触摸系统：包括沿着周界放置并且通常位于触摸表面的角中的具有重叠的场的至少两个相机以通过三角测量来确定指点器的位置以及确定触摸表面上的指点器触摸和指点器盘旋。
授权的中国专利第CN201331752号描述了用于透明显示器的多点触摸系统。该系统采用来自背部的投影光平面的具有红外光的照明并且通过由来自背部的红外敏感CCD相机观察手指指尖的照明来操作。
授权的欧洲专利第EP1336172号描述了使用虚拟输入装置来检测和定位用户对象的交互的输入装置设备和方法。该设备基于贯穿光平面的对象的检测适于与手持装置一起操作。
在公布的韩国专利申请第KR2010 0109420A号（东西大学技术总部）中，描述了用于自由地执行与内容的交互的基于多点触摸的交互式显示系统。该系统被布置成在屏幕上提供交互式区域，以便于与交互区域处表示的内容的交互功能。此外，该系统采用红外（IR）发光二极管（LED）阵列条以生成由红外辐射照明的交互层。在该系统中采用IR相机以对来自触摸交互层的人体或对象的反射的IR辐射进行成像。采用包括计算硬件的服务器来根据由IR相机生成的信号计算人体或对象的交互位置的坐标值。
在公开的国际PCT专利申请第WO02/054169A1号中，描述了一种数据输入装置和相关联的方法。该装置包括照明器，该照明器可操作用以通过沿着至少一个接合平面直射光来对至少一个接合平面进行照明。此外，该装置包括从至少一个接合平面外部的地点观看至少一个接合平面的二维成像传感器，用于对来自照明器的、由数据输入对象（例如用户的手指）与至少一个结合表面的结合所散射的光进行感测。此外，该装置包括数据输入处理器，用于接收来自二维图像传感器的输出和向利用电路提供数据输入。
在公开的国际PCT专利申请第WO2004/072843A1号中，描述了一种触摸屏，该触摸屏在屏幕的一个或多个边缘使用光源。一个或多个光源跨屏幕的表面直射光。还包括具有电子输出的两个相机，其中两个相机位于屏幕的周界以接收来自光源的光。还包括数据处理器以接收两个相机的输出，并且可操作用以执行一个或多个软件产品用于执行三角测量计算，用于确定接近屏幕的一个或多个对象的一个或多个位置。检测对象的存在包括：在两个相机处检测由于对象造成的直射光的存在或不存在，使用屏幕的表面作为面镜。使用相机来检测由于表面处的对象造成的反射光的存在或不存在。可选地，光源被调制来以两个相机的敏感的辐射频带宽度在两个相机处提供辐射。
通常，重要的是在人机交互系统中正确识别用户的意图和命令。相对于所使用的坐标平面中的坐标X和Y的对象位置检测的精确度可以重要或也可以不重要，这取决于环境，即，这取决于应用。因此，其中例如要求适度的精确度的用于移动或选择图形对象或访问菜单的手指触摸系统是有吸引力的，然而，当对于涉及例如，精美的书写或绘画，或在CAD程序中处理所有的细节和对象的应用要求最高的精确度时，优选的为触摸笔或笔。因此，在基于手指的系统中，基于来自单个相机的二维图像，特征提取和具鲁棒性的启发式方法对于手指的坐标的确定将是足够的。
然而，对于所有类型的应用，与手指或笔触摸的检测有关的高精度是最为重要的，并且绝不能出故障，因为用户可能会失去对应用的控制。因此，在所使用的坐标平面的每个位置中要求触摸情况的高且恒定的检测质量。此外，检测方法应当对手指大小、皮肤颜色、环境光线条件、显示器光等的变化不敏感，而且检测在坐标屏幕上应该快速并且统一，并且没有任何依赖于用户的行为或延时损失发生。
对这样的交互系统中有很大的当前兴趣：使用笔、触摸或两者（双模式系统）用于教育、协作和会议。多个新的交互平台还允许简单的笔或手指姿势控制和/或甚至基于手势的交互。具体地，对普通教室和大型报告厅中的教育系统内使用的交互式平板和白板有很大的全球兴趣。这样的白板也进入当代会议室、视频会议室和协作室。交互式白板的坐标平面上的图像根据短焦或长焦数据投影仪或通过平面屏幕生成为投影图像，屏幕被实施为LCD器件、等离子显示器、OLED器件或背投影系统。重要的是，用于触摸和/或笔的输入装置可以与所有类型的显示技术一起使用，而不需要降低图片质量或磨损相关联的设备。此外，重要的是，输入装置技术可以以更低的成本和精力易于适用于不同的屏幕、投影仪和显示单元。
新的交互式白板配通常备有短焦投影仪，例如，具有在相关联的屏幕上方短的距离处放置的超广角镜头的投影仪。这样的操作模式使得用户将更少地被进入他/她的眼睛的光惹恼，以及倾向于在屏幕上投下更少的阴影，并且投影仪可以与白板一起被直接安置到墙壁上。因此，对于这样的短焦系统，用于笔和触摸的理想的输入装置应当并入墙壁投影仪或附接在墙壁投影仪旁边，或附接至投影仪墙壁安置件以使得安装简单和具鲁棒性。
在报告厅中，需要很长的交互式白板和交互空间，并且这些交互表面应当有利地提供触摸、笔和手势控制。在大格式屏幕上，通常需要指点棒和激光指点器以引起公众的注意。优选的输入技术应当适用于所有这些不同的要求，即，应当也接收指点棒和激光作为用户输入工具，并且容许和可适用于不同的显示格式。
此外，平面屏幕技术会需要触摸和/或笔操作、简单的笔和/或触摸手势交互和最终的手势控制。涂抹在平面屏幕的顶部的触摸敏感膜不能检测盘旋或悬空手势。平面屏幕后面的纯电磁接收系统无法检测手指触摸或手势，只有笔操作是可以的。然而，一些类型的平面显示器技术，尤其OLED显示器，可以是透明的，从而基于相机的技术可以通过屏幕用于手势控制。如果包括盘旋和手势的双模式输入系统继续变得越来越重要和标准化以供提供高效且自然的用户界面，则基于光学的输入系统将有可能优选的还用于平面交互式屏幕而不是电容式或电阻式膜或基于电磁的解决方案。因此，优选的输入装置技术应当是基于光学的和应当适合于适于传统的平面屏幕（LCD、等离子、LED）和透明的平面屏幕如OLED和背投影屏幕。
输入设备不应当对光源（例如，日光、室内照明、来自投影仪或显示屏幕的光等）敏感。此外，输入设备不应当对来自太阳光、人工光或来自使用近红外光发光二极管用于通信的远程控制单元和类似单元的近红外辐射敏感。此外，输入装置还应当呈现高坐标更新率，并且提供低延迟以供最好的用户体验。
输入装置应当优选地适于嵌入现有基础设施中，例如，将现有的已安装的基于笔的交互式白板模式升级以也允许手指触摸和手势控制，或将已经配备有已安装的投影仪或平面屏幕的会议室或教育室升级以通过输入装置本身的简单的安装而成为交互式的。
在某些情形下，输入技术甚至可以在书写表面本身上没有交互式反馈的情况下是可使用的，例如，通过精确捕捉来自粉笔和海绵在传统的黑板上的笔划并且识别用于计算机控制的手势；或通过捕捉笔和纸的正常使用（包括交叉）和用于计算机控制的简单的手势；或通过由以纸质形式或问卷填写来捕捉包括他/她的签名的用户信息，而将结果存储在计算机中，以及由正常的计算机屏幕或由用于用户和观众的参照的连接的显示器或投影仪显示输入或输入的一些解释。这表示在这种基础设施不可得或不需要的情况下，输入装置应当可以根据昂贵的显示技术独立或单独使用。
以与在教育机构中交互式白板取代了传统的粉笔和黑板相同的方式，在其他领域中出现新颖的交互空间。在协作室和控制室、博物馆和展览中引入多用户交互竖直和水平表面。此外，在当代商业场所，例如，酒吧、娱乐场、咖啡馆和商店中，包括交互客人桌面的交互空间被建立以使得客人可以从菜单、订单和支付中选择，以及例如通过玩电脑游戏、浏览互联网或阅读新闻报道获得娱乐。
然而，产生了目前问题在于用于监视交互空间中的触摸和/或盘旋运动的输入装置不足够精确，并且发展成为解决很多信息输入和显示系统的需求。本发明被设计以至少部分地解决这些目前问题。
发明内容
本发明的目的是提供一种包括用于人与计算机交互的交互空间的系统，使得多个并行的用户能够启用双模式模式操作，即，同时多点触摸手指输入和笔输入，以及手指和手势输入，并且捕捉用于高级的多模人机交互的一系列人的姿势和手势命令。
本发明的另一目的是提供双模式多点触摸输入系统，该系统待与墙壁安置件和桌子安置件数据投影仪和平面显示器一起使用或者集成到墙壁安置件和桌子安置件数据投影仪和平面显示器中以使得这样的系统是交互式的，并且还将现有的基于笔的交互式白板升级为包括多点触摸输入。
根据本发明的第一方面，提供了一种如所附权利要求1所定义的系统：提供了一种用于确定交互表面前方的至少一个对象的位置和/或姿势的基于相机的多点触摸交互系统，其中，该系统包括：
照明装置，用于生成可见和/或近红外光辐射的一个或多个平面扇形光束；
相机装置，用于感测所述相机装置的视场内的交互表面以生成对应的信号；
计算单元，用于基于从相机装置提供的所述信号来计算拦截一个或多个平面扇形光束的所述至少一个对象的所述位置和/或所述姿势，
其特征在于，
所述一个或多个扇形光束在操作中形成，使得它们的平面基本上平行于交互表面；并且
所述一个或多个扇形光束在与交互表面的平面基本上垂直的方向上被聚焦，使得一个或多个扇形光束相对于交互表面的平面的正交方向具有基本上恒定的厚度，以便增强光强度并且增大由该系统提供的对至少一个对象的位置确定的精确度。
系统是有利的，在于一个或多个扇形光束使得相对于交互表面的一个或多个对象的位置的更精确的确定能够被实现。
可选地，所述系统被实施为使得一个或多个扇形光束对交互表面进行照明，使得对象与交互表面的接触的确定被增强。
可选地，所述系统被实施为可操作用以检测至少一个对象关于交互表面的盘旋位置。
可选地，所述系统被实施为可操作用以生成多个扇形光束，其中每个扇形光束被布置成对交互表面附近的对应空间区域进行照明，使得扇形光束的对应空间区域提供交互表面附近的完整区域的连续照明。
可选地，所述系统被实施为使得所述一个或多个扇形光束在操作中被布置成对与交互表面相邻的体积而不是交互表面本身进行照明。
可选地，所述系统被实施为使得照明装置包括可操作用以在强度上被选择性地调制，以便增强对一个或多个对象对交互表面的触摸、一个或多个对象相对于交互表面的盘旋和/或盘旋水平的确定。更可选地，该系统被实施为使得所述光源可操作用以被选择地接通和关断。更可选地，该系统被实施为使得所述光源在闪光模式下、在相机装置的主动感测时段内可操作，以便有效地冻结一个或多个对象的运动。
可选地，所述系统被实施为使得所述相机装置包括用于根据待由所述相机装置的传感器接收的辐射的波长来选择性地阻挡或通过该辐射的一个或多个光学滤波器。更可选地，所述一个或多个光学滤波器可操作用以允许由所述一个或多个对象拦截的、与从照明装置发出的光具有相同波长范围的光传送到相机传感器。更可选地，所述一个或多个光学滤波器可操作用以仅允许可见光通过其，以便捕捉来自交互表面处的投影仪或平面屏幕的图像。
可选地，该系统被实施为使得照明装置包括用于生成一个或多个扇形光束以包括近红外波长的辐射的多个光源，其中，所述相机装置包括阻挡可见辐射波长并且透射近红外辐射波长以降低该系统对包括日光、室内照明、来自投影仪的光、显示器光中的一个或多个的其他光源的敏感度的一个或多个光学滤波器。
可选地，该系统被实施为使得该系统易于被集成到新装备中或改装到现有装备中，并且适合于使得这样的装备是交互式的。
可选地，该系统被实施为正投影设备或背投影设备。
可选地，本发明系统适于被可操作地安置到投影仪墙壁安置件或屏幕安置件包括LCD、OLED、LED、CRT中的至少一个上、或者集成到投影仪墙壁安置件或屏幕安置件包括LCD、OLED、LED、CRT中的至少一个中。
可选地，该系统被实施为使得照明装置包括一个或多个罩，用于其相关联照明光学部件的其相应长度具有足够长的长度，以便使得聚焦扇形光束的不同层足够薄以增大该系统对所述一个或多个对象相对于交互表面的触摸和Z方向手势的分辨率和精确度。
可选地，该系统被实施为使得照明装置包括可操作用以发射近红外辐射的一个或多个发光激光二极管，以便进一步减小所述一个或多个扇形光束在与交互平面的平面正交的方向上的厚度。
可选地，所述系统被实施为使得相机装置是使用CCD或CMOS像素传感器来实施的，并且照明装置是使用适于透射和/或反射近红外辐射的近红外LED和相关联的光学部件来实施的。
可选地，该系统被实施为使得照明装置包括：
-凸透镜，用于提供对透射过凸透镜的辐射的聚焦；
-多个照明源，其中，照明源被布置成基本上沿着中心在凸透镜的中心轴上的圆的周界的一部分扩展以确保所述聚焦扇形光束的扇区中的集中的辐射强度并且还帮助扩展相关联的热耗散；
-挡板，该挡板被布置成将来自照明源的照明限制为凸透镜的直径的大约一半；以及
-圆锥面镜，该圆锥面镜用以将对称轴改变为基本上平行于交互表面。
更可选地，该系统被实施为使得圆锥面镜具有反射表面角度，该反射表面角度适于使来自形成扇形光束的照明装置的光束的光学对称轴朝着交互表面倾斜。
更可选地，该系统被实施为使得挡板被布置成阻止来自具有被感知的源大小的照明装置的每个照明源的光线对凸透镜的相对部分进行照明，由此基本上防止了任何光线与透镜和圆锥面镜的公共光学轴交叉。
更可选地，该系统被实施为使得照明装置还包括圆锥面镜，圆锥面镜被布置成使得其反射表面角度适于补偿与凸透镜的中心轴未对准的轴的、用于生成一个或多个扇形光束的光源。
可选地，该系统被实施为使得一个或多个扇形光束具有相关联的前边界，相关联的前边界被布置成足够远离交互表面以对与整个所述交互表面对应的区域进行照明，使得后边界实质上由交互表面界定。
根据本发明的第二方面，提供了一种用于实施根据本发明的第一方面的系统的设备。
根据本发明的第三方面，提供了一种采用基于相机的多点触摸交互系统来确定交互表面前方的至少一个对象的位置和/或姿势的方法，其中，所述系统包括：
照明装置，用于生成可见和/或近红外光辐射的一个或多个平面扇形光束；
相机装置，用于感测所述相机装置的视场内的交互表面以生成对应的信号；
计算单元，用于基于从相机装置提供的所述信号来计算拦截一个或多个平面扇形光束的所述至少一个对象的所述位置和/或所述姿势，
其特征在于，所述方法包括：
在操作中形成一个或多个扇形光束，使得它们的平面基本上平行于交互表面；并且
在与交互表面的平面基本上垂直的方向上聚焦一个或多个扇形光束，使得一个或多个扇形光束相对于交互表面的平面的正交方向具有基本上恒定的厚度，以便增强光强度并且增大由所述系统提供的对至少一个对象的位置确定的精确度。
可选地，该方法适于将高级的用户多点触摸交互提供到教育和商业市场中，提供小和中等显示器，提供大而宽的学校报告厅白板，在教育中、以及在博物馆和展览会中，与显示器或不与显示器一起被使用用于交互式标牌。
根据本发明的第四方面，提供了一种人机通信或同义的人与计算机交互中的包括输入装置的系统，用于跟踪交互表面或同义的坐标平面内的对象的位置，用于检测位于高度范围内的交互表面处的交互体积内的盘旋和/或触摸情况；和/或用于识别对象的姿势，其中，该系统包括：
用于使用可见光和/或近红外光来捕捉图像的相机；
具体与坐标平面对准的至少一个可见和/或近红外扇形光束光平面；以及
计算单元;
其中，相机的视场包括坐标平面和至少一个扇形光束平面；
其中，计算单元适于根据由相机生成的信号来计算对象的坐标，和/或基于由计算单元接收的单个图像来计算对象的盘旋和/或触摸状况和/或姿势特征，和/或
其中，计算单元适于根据由相机生成的信号来计算对象的运动和/或基于一系列图像来计算对象的手势。
在本发明的上下文中，光平面应被理解为由一个或多个聚焦扇形光束提供的照明的连续体积切片（slice），其中，每个扇形光束是可见光或近红外光线的窄的、类似扇子的光束，即，在仰角方面通过聚焦具有窄的波束宽度以及在方位角方面具有宽的波束宽度，其中仰角和方位角与交互表面的平面相关。聚焦扇形光束基本上平行于或汇聚于交互表面，即，具有零度或略微的负角度的仰角。一个或多个聚焦扇形光束有利地形成交互体积中的照明的连续体积切片，其中，在本发明的描述中，为了简单起见，由光平面表示，而更完整的表示是由一个或多个聚焦扇形可见光束和/或近红外光束所作的窄的，连续的体积切片照明。
照相机包括用于二维图像捕捉的CCD或CMOS成像芯片或类似，以及具有足够大以包括坐标平面、体积的视场和具有适用于实际的成像芯片清晰度的用于实际的波长范围的足够的光学成像质量的透镜或类似。可选地，相机可替代地使用包括像素传感器元件的线性阵列的扫描传感器，或甚至在至少两个坐标方向中扫描的单个感测元件来实施。
在本发明的一些优选的实施方式中，可选地，照明器装置由开/关控制开关控制，以对于不同的图像选择性地打开和关闭照明。
在本发明的一些优选实施方式中，照明装置中的照明源装置在相机的有效曝光期间操作于闪光模式下以冻结与移动的对象有关的运动。
在本发明的一些优选的实施方式中，相机包括光学滤波器以阻挡不想要的光，即，来自平面显示器或投影仪屏幕和/或环境光的光，而允许具有与照明相同的波长范围的光通过。
在本发明的一些优选实施方式中，相机包括选择性地阻挡或通过不同波长范围的光的一个或多个可选择的光学滤波器；例如，对于一些图像，具有与照明相同的波长范围的光被允许通过，而对于其他图像，仅可见光波长的光被允许通过，以用于来自投影仪或平面屏幕的图像的后续捕捉。
在一些优选的实施方式中，本发明可以结合在公开的专利申请第WO2002027461和US7083100B2号和/或第WO2006135241A1和US2009040195A1号中所描述的创新，这些申请通过引用合并到本文中。这些创新涉及被配备有图案的对象，图案在其表面和/或体内和/或投影到屏幕上在给定的波长范围内是可观察的，作为这样的装置：用于更精确地跟踪和/或用于更精确地识别对象和/或用于检测根据上面提到的创新可以改变可观察的图案的不同用户交互控制，例如按钮等的状态。此外，通过将本发明与在公开的专利申请第WO2005050130和US7339684B2号中所描述的光学接近监视器结合，对象接近表面或对象的不同的内部部件之间的接近可以被观察到，这些申请通过引用合并到本申请中。
在本发明的一些优选的实施方式，简单的基于计算机的校准程序用于找到坐标平面到显示坐标的精确的映射。可选地，校准程序是用户辅助的，例如通过在显示器上显示多个点的交叉，而需要手动笔或手指触摸以找到映射，即，确定对坐标平面到显示坐标的映射进行描述的适当的变换矩阵。
在本发明的一些优选实施方式中，计算机程序可操作用以在显示器上呈现图像，其中图像例如以在公开的国际PCT专利申请第WO2002027461和US7083100B2号和/或WO2006135241A1和US2009040195A1号中所描述的方式包括用于对象的识别和跟踪的图案，图案由相机自动识别用于计算将坐标平面映射到显示坐标的变换矩阵；这些较早公开的申请通过引用合并到本申请中。
本发明的目的是提供X和Y方向中的位置信息，以及来自人机界面中用户的触摸和盘旋（Z方向，表示用户的动作信息）的信息，其通常但不一定还包括协作的显示器。
本发明的目的是在交互表面上或交互体积中提供至少一个聚焦平面扇形光束，使得通过至少一个对象，例如人的手指的聚焦扇形光束的穿透将由被布置成感测交互表面、交互体积和至少一个穿透对象的相机在其视野内检测到。由于强度通常显著高于背景照明，因而被限定到交互表面上的一定体积的聚焦扇形光束可操作用以明确地对对象进行照明，并且由图像信号处理装置有效地找出至少一个对象，通过搜索高强度区域，通过检测边缘和执行质心计算用于找出至少一个对象，例如，一个或多个手指。
本发明的另一目的是使在人机接口装置中利用的高级的多点触摸交互适应于计算机和其他电子装备。通过在交互体积中包括聚焦扇形光束的多个层，用户的交互中的包括精确的触摸控制、手的姿势和用户手势的精细细节易于被捕捉。在本发明的一种优选实施方式中，生成每个聚焦扇形光束的照明源定期地接通和关断，例如被选通，使得聚焦扇形光束的不同层被选择性地接通和关断以便区分它们相应的信号贡献，从而有效地能够在例如盘旋与触摸状况之间进行区分。通过将交互体积在由平面扇形光束的不同层选择性地照明的多个切片中分离，可以有效地对交互体积进行分析，这与断层成像有些类似。照明也可以闪光，即，以相对于运动本身的时间帧相对更短的照明持续时间被选通，以冻结如在接收的信号中所感测的动作。
在本发明的一些另外的实施方式中，从由近红外光照明源，例如，其输出辐射具有700nm或更大的波长的照明源提供的照明生成平面扇形光束。此外，相机有利地包括光学滤波器用于阻挡可见光和类似，因此仅允许上述的近红外光优先通过。在本发明的这种实施方式中，对例如日光、室内照明、来自所使用的投影仪的光、显示器光等的其他光源不太敏感。
有利地，当实施本发明时，通过将光朝着交互表面/体积的最远端聚焦来生成聚焦扇形光束，以保证最远端的足够的照明。当实施本发明时也有利的是聚焦扇形光束相对于相关联的白板或类似的表面成一定角度朝着交互表面，使得聚焦扇形光束具有到表面的近似恒定和平行的距离。
有利地，当实施本发明时，与使用常规的光平面相反，扇形光束的生成是集中的而不是分布的。在用于在墙壁和桌子上生成图像的正投影系统和背投影系统中，本发明有利地集成到新设备中或改装到现有设备中，使这样的系统为交互式的，而不需要使红外光平面的帧完整，即，仅通过包括本发明作为集中的扇形光束生成单元和相机连同相关联的计算单元。
有利地，本发明的优势在于其易于被安置到例如基于投影仪墙壁安置件或屏幕安置件的LCD、OLED和类似发光装置上、或者集成到例如基于投影仪墙壁安置件或屏幕安置件的LCD、OLED和类似发光装置中。
在本发明的一些可替选实施方式中，对于很高级的交互空间，用于照明光学元件的更长的罩可以被用于使得聚焦扇形光束的不同层更薄以增大触摸和Z方向手势的分辨率和精确度。在一些另外的可替选实施方式中，一个或多个LED光源可以由近红外激光二极管替代，以更多地减小扇形光束的层厚度。
本发明可以利用低成本的CCD或CMOS相机技术部件和低成本近红外发光LED和光学部件。这样的部件在制造上便宜。此外，现代的信号处理集成电路，例如信号处理器、微控制器、微处理器、可编程逻辑器件，易于被用于实施本发明，其中这样的集成电路易于对本发明的实际应用编程。因此，本发明易于实施高产量。
本发明也能够提供高级的用户多点触摸交互到教育和商业市场。本发明潜在适合于中小型显示器，以及大而宽的学校报告厅白板。此外，本发明还易于在教育中、以及在博物馆和展览会中，与显示器或不与显示器一起被使用用于交互式标牌。
本发明也能够使用具有数字内容的平面显示器或投影仪屏幕来提供适于在数字标牌内使用的交互空间，数字内容可以不仅以来自内容提供者预定的顺序动态地被改变，也由于来自触摸和姿势控制的用户输入被改变，从而使标牌更灵活、内容丰富和用户友好。
所提供的本发明也能够提供用于交互式标牌中的触摸和手势控制的输入装置，交互式标牌通过防暴厚窗口工作良好以及在所有类型的具有简单安装的表面和平面屏幕上工作良好，以适合在室内和室外公共和商业区域中安装和使用。
附图说明
在本文中参照附图，仅借助于示例对本发明进行描述。在附图中：
图1是本发明的示例性硬件配置的透视图的示意性描绘，其中示出了一个或多个光平面、聚焦扇形光束生成单元、交互表面和体积、相机、显示器、投影仪和墙壁安置件的典型的位置的示例；
图2是图1的示例配置在侧视图中的示意图；
图3是图2的示例配置在侧视图中的示意图，其中聚焦扇形光束生成单元集成到墙壁安置件中；
图4是图2的示例配置在侧视图中的示意图，其中聚焦扇形光束生成单元竖直地集成到墙壁安置件中或沿着墙壁安置件被竖直地安置；
图5是在本发明的实施方式中使用的源放大和聚焦布置的操作的原理的示意图；
图6是图5的源的示意图，但对于大的交互式白板的典型情形通过插入参数值被例示；
图7是图6中的相关的光学系统的示例的示意图，但其中通过圆锥面镜将射线反射以将相关联的对称轴改变为平行于工作/交互表面；
图8A是图7中的相关的光学系统的示例的示意图，但其中圆锥面镜的角度被调整以将轴改变为某种程度地朝着交互表面倾斜；
图8B是图8A中的相关的光学系统的示例的示意图，其中描绘了扇形光束和放大的源图像的示例，还包括有可能由交互表面反射的射线和源图像成分，以使得光平面用于位置的检测和/或与交互表面接触的检测；
图8C是图8A中的相关的光学系统的示例的示意图，其中描绘了光线和放大的源图像的示例，以创建光平面用于位置的检测和/或交互体积中的盘旋水平的检测；
图9显示聚焦扇形光束生成单元的示例，其中圆锥面镜和凸透镜以及照明源被安置在外壳中；
图10是图8中的制造的圆锥面镜的示例的示意图；
图11是其中如图9中使用多个扇形光束生成单元用于产生沿交互表面的多个光平面的示例配置的示意图；
图12是从上面看的图9中的扇形光束生成单元的示意图，其中该单元被安置在具有光平面光学元件安置件的墙壁上的交互表面上方；
图13是从上面看的图9中的扇形光束生成单元的示意图，其中该单元通过孔被安置在背投影系统中的具有光平面光学元件安置件的交互表面上方的墙壁中；
图14是扇形光束生成单元的示意图，其中主要在功能上与图9的功能类似，但使用凹圆锥面镜；
图15是其中如图7至图14中那样照明源易于被布置为圆锥面镜的方式的示意图；
图16是聚焦扇形光束生成单元在侧视图中的示意图，其中，圆柱透镜、凸透镜和照明源被安置在外壳内;
图17是与如图16中相同但是从上面看到的聚焦扇形光束生成单元的示意图，其中圆柱透镜、凸透镜和照明源被安置在外壳中；
图18是图17的示例的示意图，但通过使用平面镜使轴倾斜；
图19是图17的示例的示意图，但通过使用平面镜使轴偏转90度；
图20是组合图17、图18和图19的示例用于生成更宽的扇形光束平面的示例的示意图；
图21是组合图17、图18和图19的示例用于生成覆盖完整交互表面的更宽的扇形光束平面并且使用提供源的更小放大和扇形光束的更薄层的长罩的示例的示意图；
图22是组合图17、图18和图19的示例用于生成覆盖完整交互表面的更宽的扇形光束平面并且使用给出源的更大放大和扇形光束的更厚层的短罩的示例的示意图；
图23是组合图17、图18和图19的示例的变形并且被竖直地安置用于生成覆盖完整交互表面的宽的扇形光束平面的示例的示意图；
图24是是使用凹圆柱面镜用于生成从角覆盖交互表面的部分的扇形光束平面的示例的示意图；
图25是使用凹圆柱面镜用于生成从两个角覆盖交互表面的两组扇形光束平面的示例的示意图；以及
图26是其中可以对图16至25中那样的基于圆柱透镜和圆柱面镜的示例布置照明源的方式的示意图。
具体实施方式
本发明涉及用于人机交互，或等同地，人与计算机交互的基于相机的计算机输入装置的系统和方法。此外，本发明还涉及用于实施这样的系统和执行这样的方法的设备。
在对本发明的至少一种实施方式进行详细说明之前，应当理解，本发明不将其应用限于在下面的描述中所阐述的或在图中所示出的部件的构造和布置的细节。本发明能够通过以其他实施方式被实施或者以各种方式被实践或执行。此外，应当理解，本文中所使用的词组和术语仅是为了描述的目的而不应当被认为是限制性的。参照附图和他们的伴随描述可以更好地理解根据本发明的交互输入装置设备、系统和方法的原理和操作。
首先，将对交互装置和交互系统的原理进行描述。之后，将对一些优选实施方式的详细描述连同这些优选实施方式的详细的系统操作原理一起进行描述。
通过参照图1和图2中给出的示例性配置对交互系统和其相关联的交互设备的操作原理进行说明。在图1和图2中，如从透视图和侧视图中所看到的，示意性地示出了本发明的优选实施方式的硬件配置。硬件配置包括硬件部件，硬件部件包括：连同相机1一起布置的短焦数据投影仪3和墙壁安置件4上的照明体2。墙壁安置件4具有潜在显著不同的外观和实际的实施，但墙壁安置件4的主要目的是以到屏幕和到墙壁上的安置件的适当的距离来布置投影仪3、相机1和照明体2中的一个或多个，安置件优选地在所显示的图片16上方。所显示的图片16还表示坐标平面16，在本文档中同义地称为坐标平面16。可选地，当使用投影仪3时，坐标平面16为适合于投影、笔操作和触摸的平滑且白色的表面。相反，当使用平面显示器而不是投影仪3时，交互表面16为显示器本身，可选地，通常使用用于保护的玻璃或塑料材料中的特殊的透明材料来保护交互表面16，使得交互表面16对于笔和触摸操作来说具鲁棒性。投影仪3具有相关联的视场6并且可操作用以如由也表示为1的交互体积内的虚线矩形所表示的那样，将所显示的图片投影到交互表面16上。例如为使用者的手指和/或手的对象25当处于由高于坐标平面16的特定高度所限制的交互体积7内时可操作以与计算机或类似交互。
设备还包括用于投影可见或近红外照明的光学部件的装置，其中该装置位于交互表面（即，坐标平面16）的外部，并且相关联的投影的照明有利地具有在交互体积7内部的一个或多个光平面5的形式，并且与交互表面（即，坐标平面16）基本上对准。
相机1具有包括交互体积7的视场8，使得可以计算对象25的坐标和对象25的盘旋水平和/或可以基于由相机1感测的并且由计算单元作为信号传达的单个图像得出对象的盘旋情况和/或触摸情况和/或姿势特征，和/或还可以基于由相机1生成的并且被提供为传达至计算单元的对应的信号的以信号所表示的一系列图像来计算对象的运动和/或对象的手势。可选地，计算单元通常但并不必须嵌入在相机1中。可选地，相机1包括光学滤波器用于选择性地阻挡不同波长范围的光，例如，以降低日光和来自显示器和/或长焦投影仪3的光的影响。
计算单元包括通信器件，通信器件用于例如通过例如使用标准串行总线和相关联的电路（像USB）或通过使用无线通信协议和装置来将坐标和其他交互数据传递至计算机。
在图1中，示出了根据本发明的优选实施方式的示例性配置，其中设备的聚焦扇形光束生成单元2和相机1连同投影仪3一起被安置在墙壁安置件4上。相机1和投影仪3定向为朝着交互表面16，具有如图1中所示的相机视场8和投影仪视场6。至少一个对象25（即，在此示出的作为食指和手）可操作用以穿过交互表面16前方的交互体积7中的至少一个单个聚焦扇形光束平面5和/或26，并且相机1和计算单元可操作用以根据单个图片检测对象25的照明的部分并且找出和报告在横向方向（X方向和Y方向）中的横向位置以及还报告由对对象25进行照明的聚焦扇形光束的层给出的当前位于的盘旋水平（Z方向相关的信息），盘旋水平被表示为，例如和与交互表面16相接触同义的“触摸”，以及例如与一些交互界面词汇中使用的“在范围内”状态同义的“盘旋”，被传送为交互计算机的输入。
图1也可以理解为描绘适于作为交互表面16的平面屏幕的对应的系统，即，没有投影仪3被安置在墙壁安置件4上。
可选地，图1所示的实施方式中采用的照明是可切换的，从而一个或多个光平面5和/或26可选地被接通或关断，由多个光平面5和/或26中的一个或由多个光平面5和/或26的组合对对象25进行照明，使得对于横向位置的确定、盘旋水平确定和与交互表面接触的对象的确定，照明分别被选择。对于对象25的横向位置确定，通过以与由交互体积7所允许的盘旋距离对应的距离而位于远离交互表面16处的一个或多个光平面5和/或26的照明被接通，形成光线的主要恒定的高度场，即扇形光束，当进入交互体积7内的光平面5和/或26时平行于从侧面对对象25的部分进行照明的平面，从而当从相机1直接观察时也提供了对象25的一些轮廓确定。对于盘旋水平或高度的确定，顺序地接通或关断以离交互表面16的不同的距离而位于交互体积7内部的一个或多个光平面26，使得通过顺序地对以离交互表面16不同的距离而位于的交互体积7内的对象25的部分进行照明来确定盘旋水平或高度信息。对于确定对象是否与交互表面16接触，即，触摸，实质上在交互表面16的平面处生成的并且对交互表面16进行照明的光平面5被接通。来自光平面5的交互表面16的直接照明有利地通过创建实质上位于交互表面16的平面处的扇形光束以及朝着交互表面16的平面覆盖的扇形光束的光学对称轴来完成，而同时扇形光束对交互表面16进行照明。
在根据本发明的所有示例性配置和优选实施方式中，还可以存在至少一个外部屏蔽或底盘，在此为了图的清晰被省略，但可选地外部屏蔽或底盘包围以下硬件部件中的一个或多个：投影仪3、相机5（可选地包括计算单元和通信器件），在工作上产生一个或多个光平面5和/或26（即，扇形光束）的照明体2、墙壁安置件4、以及显示和坐标平面16。外部屏蔽或底盘的目的是，例如，将交互系统处理得具鲁棒性、免费维修、防尘、用户友好、更安全、制造更容易、安装更简单，并且根据一些给定的设计的原理和元件使系统呈现有专业的外观。
还参照图1和图2，在这个示例性配置中，用于生成扇形光束的照明体2是生成单元，或同义地，用于生成聚焦扇形光束平面的照明体2是照明装置，有利地位于交互表面16的上方，优选地被安置在墙壁或墙壁安置件4上。可选地，照明体2包括在改装套件中用于将现有的白板或短焦投影仪安装升级为依照本发明的触摸敏感的。
参照图3，在这些示例性配置中，照明体2例如聚焦扇形光束平面照明装置被集成在投影仪安置件中。参照图3，在侧视图中示出了如图2中相同的配置，但在图3中，实施为聚焦扇形光束平面生成单位的照明体2被集成到墙壁安置件4中。
参照图4，在侧视图中示出了如图2中相同的配置，但在图4中，实施为聚焦扇形光束平面生成单位的照明体2被竖直地集成到墙壁安置件4中或沿着墙壁安置件4竖直安置。
在本发明的另外的实施方式中，实施为聚焦扇形光束照明装置的照明体2不仅是墙壁安置件4的组成部分，也是形成交互表面16的平面屏幕显示器的安置件的组成部分或完整交互式白板的组成部分或完整数据投影仪的组成部分，或在上面提到的外部屏蔽或底盘的内部放置其他机械装置，从而为完整交互式系统的组成部分，同时实施为聚焦扇形光束照明装置的照明体2的功能相同。
参照图5，示出了本发明中的源放大和聚焦的原理。通常，在离凸透镜10的距离S2处放置多个LED源11，可替代地，可选地实施为具有焦距f的凹面镜，并且照明源11的图像18通常在高于范围S1处的交互表面16的交互体积7的最远的部分处使用表示体积7上的实际的聚焦扇形光束层的最小厚度的照明源11的S1/S2的放大被聚焦。
参照图6，示出了与图5相同的原理，但具有90’’至100’’的大小（即，大约225cm到250cm）的对角线的大的交互式白板的典型情况的参数值被插入，其中在该示例中源的图像在S1=1900mm处被聚焦。通过使用，例如，焦距f=250mm的透镜，有利地将源放置在离单个凸透镜10的距离S2=288mm处。实现了约6.6的放大，其中照明体2的照明源11的等效的或被感知的源大小27（对于源大小27，参见图8B和图8C）约为3.5mm，照明源的聚焦图像18约S1/S2倍变大，即，约23.1mm。
参照图7，示出了与图6中有关的光学系统，但现在射线由圆锥面镜9反射以将对称轴改变为平行于工作/交互表面16。将源放置在离凸透镜10的中心轴的D=25mm的直径中。引入挡板19以将照明限定到从源到透镜的直径的一半。圆锥面镜的角度为46.43°，以补偿光源的不通过透镜中心轴的轴，因此被偏转。
参照图8A，示出了如图7中的相关的光学系统，但现在圆锥面镜9的角度被调整以将轴改变为某种程度地朝着工作/交互表面16倾斜，以便通过扇形光束平面直接对交互表面进行照明。圆锥面镜9的示例性角度为46.65°，实现朝着交互表面16倾斜0.44°的聚焦扇形光束的光学对称轴。扇形光束平面的前边界足够远离交互表面以对整个交互表面16进行照明，并且扇形光束平面的后边界如下面所述实质上由交互表面16界定。
参照图8B，示出了根据本发明的如图8A中的有关的光学系统的示例性配置，其中描绘了光线和放大的图像的示例，还包括可能由交互表面反射的射线和源图像分量，以生成扇形光束平面用于位置的检测和/或与交互表面16的接触（或触摸）的检测。可选地实施为发光二极管（LED）的照明源11沿直径D=25mm的圆放置。多个照明源11有利地沿周界扩展以确保聚焦扇形光束的不同的扇区中的高强度，并且还帮助扩展相关的热耗散。可选地，仅使用单个中心照明源，然后通过改变圆锥面镜9的角度使光学元件对应地被稍微修改，以使中心挡板19和调整挡板30和29限制光平面的射线，而在典型的这样的照明源11的辐射图中的0°（顶点）处通常观察到的强度最大值不能最佳地被利用，以及功耗太集中并且潜在地产生过多的热量。照明源11的等效大小27（或被感知的大小27）将由成像系统被放大以产生图8A的聚焦图像18，聚焦图像18在幅度上是照明源的等效大小27的S1/S2倍大，此处给定S2是从源11到透镜10的距离，并且S1是从透镜10经由面镜9到图像18的距离，在此图像由箭头38和39象征性地表示。因此，照明源11的等效大小27是用于产生足够薄的扇形光束平面的重要限制因素。用于高功耗和高照明强度的集中的照明源11通常倾向于也具有更大的等效的/被感知的源大小27，这意味着扇形光束平面在这样的配置中倾向于更厚。
此外，参照图8B，挡板19的主要目的是阻止来自具有被感知的源大小27的每个照明源11的光线对凸透镜10的相对部分进行照明，即，防止任何光线与透镜10和圆锥面镜9的公共光学轴28交叉。示出了从具有源大小27的照明源11发射的一些示例光线31、32、33、34、36、37和43以对被布置成用于位置的检测和/或与交互表面16的接触的检测的交互表面16的照明的本发明的工作原理进行描述。具有被感知的源大小27的光源11在距离S1处被聚焦为由两个箭头38和39象征性地表示的在幅度上大S1/S2倍的放大图像。
箭头38的部分表示源11的图像18的部分，图像18可以由交互表面16吸收或反射。如果交互表面16的表面属性是使得存在反射并且反射为镜面反射，则存在由箭头38的该部分的交互表面16反射的镜像图像40。那么，与交互表面16接触的对象25将被来自面镜9的直接射线和同样发射自面镜9但被交互表面16所反射的反射射线的总和所照明。如果交互表面16的表面属性为使得主要是漫反射，那么很靠近照明表面的照明将被来自交互表面16的漫反射光分量所增大。在发射自面镜9并且对交互表面16进行照明的光线在交互表面16中被完全吸收的情况下，对来自交互表面的对象25的照明没有贡献
只要发射自面镜9的扇形光束平面的对称轴35与交互体积7内的交互表面16的平面不交叉，得到的平面的厚度由前射线31给出，前射线31由前射线限定挡板29限定以及由交互表面16本身限定。通过将该轴与交互表面16的平面的交叉点布置在交互表面16外部，即，在图8B中的交互表面16的左侧，由交互表面16镜像的图像的部分不会比由发射自极端角度示例光线37的示例射线33所示出的图像的直接分量更宽，该极端角度示例光线37在没有交互表面16的情况下将会在到聚焦图像38的象征的箭头端的射线32中连续，但由于交互表面16中的类似的镜面反射而被反射为到聚焦镜面反射图像40的象征的箭头端的射线33。
此外，参照图8B，射线34是发射自具有相关联的源大小27的源11的定界的极端角度射线，源大小27离通过源射线限制挡板19的光学轴28最远，并且在透镜10的周界通过透镜10并且在靠近面镜9的端击中其中直径是最大的圆锥面镜9，只是在面镜9中的反射后，射线43被后射线限制挡板30阻挡。极端角度示例光线34，如果未由挡板30和交互表面16阻止，将在聚焦图像38的示意箭头端中的与射线32交叉。射线43发射自具有源大小27的源11的与射线34相同侧，但射线34由挡板30阻止，而射线43通过挡板30并且由交互表面16的侧边缘阻止，或可以对交互平面16进行照明并且如上面所描述的被吸收和反射。如果没有阻止射线的挡板30或交互表面16，则示例射线37更名为射线32并且示例射线34发射自具有源大小27的源11的定界，源大小27离光学轴28最远，并且在聚焦图像38的箭头端处彼此相遇和交叉。
对应地，示例射线36和前边界示例射线31发射自具有源大小27的源11的定界，源11的源大小27最接近于光学轴28并且在聚焦图像39的箭头端彼此相遇和交叉。
由图8B清楚地示出了本发明的优点。第一，通过将与交互表面16的平面基本上平行地对准的扇形光束聚焦，在交互表面16的远端中的照明源的由39和38所描述的图像，即，图8B中的左侧，限定光束的宽度。第二，该聚焦提供在最远端处（即，图8B中的左侧）强度没有下降太多并且在交互表面16上保持尽可能高的强度水平，此时扇形光束的射线以循环的方式从圆锥面镜9被扇形展开和圆形扩展将光束强度降低为超过离面镜9的距离的强度。第三，对交互表面16进行照明的朝着交互表面16的对称轴35的汇聚提供光场的另外的定界，这是由于光场的后端为交互表面16本身。第四，朝着交互表面16的对称轴35的汇聚提供从照明的交互表面16反射回来的镜面反射和漫反射分量将增大靠近表面的强度。第五，朝着交互表面16的对称轴35的汇聚发生不需要在交互表面16内与交互表面16的平面交叉，即，有利地，与平面的交点基本上在图8B中的交互表面16的左侧，并且提供从交互表面16反射回来的镜面反射分量将不增大照明场的宽度，使得宽度由前射线31和交互表面16有效地限定。
根据由本发明提供的上述五个有利的属性，有利地，被聚焦为尽可能窄以保持尽可能高的相关联的强度以及基本上平行于或稍微会聚于交互表面16并且由交互表面16限制的光束5被扇形展开，即，为扇形，并且从与照明体2对应的至少一个扇形光束平面生成单元在交互表面16上被分布并且对交互表面进行照明，从而提供对象25的部分的独特的和限定的照明，对象25与交互表面16接触或同义地触摸交互表面16。
在图8C中，呈现了如图7和图8A中的相关的光学系统的示例，其中描绘了光线和放大的源图像的示例，以创建扇形光束平面用于检测位置和/或用于检测“盘旋状态”和/或在交互表面16上方的交互体积7中的盘旋水平。照明源11，例如发光二极管（LED），沿着直径为D=25mm的圆被布置。可选地，多个照明源11沿周界扩展以确保聚焦扇形光束的不同的扇区中的高强度，并且帮助扩展相关的热耗散。可选地，仅使用单个中心照明源，然后光学元件必须通过改变圆锥面镜9的角度而被稍微修改，以使中心挡板19和调整挡板44和29限制光平面的射线，同时在典型的这样的照明源11的辐射图中的0°（顶点）处通常观察到的最大强度不能最佳地被利用，并且功耗更加集中，并且最终会产生过多的热量。照明源11的等效大小27或被感知的大小27将由成像系统被放大以产生参照图7或图8A的聚焦图像18，聚焦图像18在幅度上是等效的照明源大小27的S1/S2倍大，此处给定S2是从源11到透镜10的距离，并且S1是从透镜10经由面镜9到图像18的距离，在此图像由箭头41和39象征性地表示。因此，照明源11的等效大小27是用于产生足够薄的扇形光束平面的重要限制因素。用于高功耗和高照明强度的集中的照明源11通常倾向于也具有更大的等效的/被感知的源大小27，表示扇形光束平面在这样的配置中倾向于更厚。
此外，参照图8C，挡板19的主要目的是阻止来自具有被感知的源大小27的照明源11的光线对凸透镜10的相对部分进行照明，即，防止任何光线与透镜10和圆锥面镜9的公共光学轴28交叉。示出了发射自具有源大小27的照明源11的一些示例光线31、34、36、42和43以对被布置成用于检测位置和/或检测“盘旋”或确定在交互表面16上方的交互体积内的盘旋水平的表面16上的对象25的照明的本发明的原理进行描述。具有被感知的源大小27的光源11在距离S1处被聚焦为由两个箭头41和39象征性地表示的在幅度上放大S1/S2倍的放大图像。
此外，参照图8C，示例射线43为发射自具有源大小27的源11的定界的最极端角度射线，源大小27离通过源射线限制挡板19的光学轴28最远，并且在透镜10的周界通过透镜10并且在靠近面镜9的端击中其中直径是最大的圆锥面镜9，并且在面镜9中的反射后，射线43只通过后射线限制挡板30，并且在交互表面16上前进，并且将在使用箭头41的箭头来象征的图像点中与发射自源11的相同侧的通过挡板29并且在交互表面16上前进的另一示例极端角度射线42相遇和交叉。对应地，示例射线36和前边界示例射线31发射自具有源大小27的源11的定界，示例射线31最接近于光学轴28，并且将在聚焦图像39的箭头端彼此相遇和交叉。
在图8C中甚至也示出了本发明的这样的配置的优点。第一，通过将与交互表面16的平面基本上平行地对准的光束聚焦，在交互表面16的远端（即，图8C中的左侧）中的照明源的由39和41所描述的图像，限定光束的宽度。第二，该聚焦提供在最远端（即，图8C中的左侧）强度没有衰减太多，并且在交互表面16上保持尽可能高的强度等级，其中扇形光束的射线以圆形的方式从圆锥面镜9被扇形展开并且圆形扩展将光束强度降低为超过离面镜9的距离的强度。第三，通过由选择圆锥面镜9的合适的面镜角度来调整对称轴35的角度，使得前边界或后边界或对称轴平行于交互表面16，以优化盘旋水平的确定。第四并且最后，通过调整限定挡板29的前射线和限定挡板44的后射线，进入交互表面上的靠近面镜9的散焦的光束的宽度被有效地限定。
根据本发明的这些上述优势，被聚焦为尽可能窄以保持尽可能高的强度并且基本上平行于交互表面16的光束26被有利地扇形展开，即，为扇形，并且从与照明体2对应的至少一个扇形光束平面生成单元在交互表面16上分布，从而提供对象25的一部分的不同的且被定界的照明，对象25处在交互表面16上方、处于特定的盘旋水平，即，处于“盘旋模式”下。
参照图9，示出了本发明的与照明体2对应的聚焦扇形光束生成单元的示例性配置，其中圆锥面镜9和凸透镜10以及照明源11被安置在外壳/罩14中，并且可操作用以依照上述原理产生光平面的“前边界”12和“后边界”13内的沿着交互表面16的扇形光束平面5。
在图10中示出了如图8A中的制造的圆锥面镜的示例性配置。圆锥面镜的角度为46.65°，并且其直径为D=50mm。可选地，面镜以各种类型的金属，例如铝，被制造，或面镜通过使用塑料材料来实施，例如，通过使用例如通过使用真空沉积铝与部件的随后的金属化的注射成型工艺以生成成型的部件。
接下来参照图11，使用与照明体2对应的多个扇形光束生成单元示出了本发明的示例性配置，其中，圆锥形面镜9和凸透镜10以及照明源11被安置在外壳/罩14中并且可操作用以通过上面所解释的原理生成沿着对于每个光平面具有“前边界”12和“后边界”13的交互表面16的多个扇形光束平面5、26，并且其中，光平面5如上面所解释的那样被布置用于确定X-Y位置和/或接触（触摸），而其他光平面26如上面所解释的那样被布置用于确定X-Y位置和/或盘旋和/或盘旋水平。
在图12中描绘了如图9中的本发明的从上面看到的作为照明体2的射线生成单元的扇的示例性配置，其中该单元使用光平面光学元件安置件17被安置在墙壁15上的交互表面16上方。以类似的方式，但对于背投影或平面屏幕系统，图13是用于实施如图9中的本发明的从上面看到的照明体2的扇形光束生成单元的示例性配置的图示。在图9中，具有其罩14的单元使用光平面光学元件被安置在交互表面16上方，其中该光平面光学元件被安置在背投影系统中，使得存在穿过墙壁和/或交互表面16的孔7，其中该单元的剩余部分延伸到其中执行交互的墙壁和交互表面16的侧面。
代替使用直的圆锥面镜9和凸透镜10用于执行如上面所解释的聚焦和在交互表面16上的扇形光束中扩展，图14是具有与图9类似功能的照明体2的扇形光束生成单元的示例性配置的示意图，但使用凹圆锥面镜20来在一个光学元件中组合聚焦功能和正交扩展功能。有利地，这样的光学元件通过采用与用于制造图10中所示的圆锥面镜的方法类似的方法被制造。可选地，元件以各种类型的金属，例如铝，被制造，或该元件通过使用注射成型与随后的例如通过使用真空沉积铝和/或通过电镀工艺的塑料部分的金属化一起、由塑料材料被制造。
由于由与照明体2对应的扇形光束生成单元所生成的扇形光束仅需要在扇区中被扇形展开，因此照明源不需要在整个圆中被均匀地分布。图15是其中照明源11可选地被布置用于如图7至图14中的圆锥形面镜实施方式的方式的示例性配置的图示。
在图16中，示出了来自侧视图的利用与照明体2对应的扇形光束生成单元的系统的示例性配置。该系统还包括圆柱透镜21和凸透镜10以及多个照明源11，照明源11有利地被安置在外壳罩14中。照明源11可操作用以发射光，光传播到透镜10以提供更加准直的光束，然后光通过圆柱透镜21传播以生成扇形光束用于对与交互表面16相关联的交互体积7进行照明。
在图17中，示出了用于实施与照明体2对应的扇形光束生成单元的系统的来自上面的视图的示例性配置。该示例性配置还包括圆柱透镜21和凸透镜10连同照明源11，照明源11有利地被安置在外壳单元/罩14中用于生成沿着由边界22给出的角度内的凸透镜10的主轴线的扇形光束平面5、26。在操作中，从源11发出的光传播到透镜10，其中光变得更准直，并且随后前进从而经过圆柱透镜21以生成扇形光束平面5、26。在图18中，示出了图17的可替选的示例性配置，但其中通过使用平面镜23使轴被倾斜。在图19中，示出了与图17类似的示例性配置，但其中通过使用在45°角度处布置的平面镜23来使轴被偏转90°，即，被正交地偏转。
在图20，示出了通过将来自图17、图18和图19的实施方式并置以生成具有更理想的空间特征的更宽的扇形光束平面5、26而得到的示例性配置。在图20的示例性配置中，存在左侧、中心和右侧照明体2，其中中心照明体2的透镜21被布置成使其轴线关于光平面5、26对称，并且左侧和右侧照明体2的相应透镜21处于执行角，例如，在相对于中间照明体2的透镜21的20°至80°的范围内。
在图21中，示出了示例性配置，其包括被并置以生成覆盖完整交互表面16的更宽的扇形光束光平面5、26的来自图17、图18和图19的实施方式。照明体2的罩14被实施为比图20中所示的罩相对更长，并且来自图21的照明体2的射线的场被布置成如图所示那样在操作中重叠。更长的罩导致源11的更小放大和照明的更薄层。作为使得罩在图21中更长的可替选方案，如图22中所示使得罩14更短，以便获得源11的更大放大以及因此照明的更厚层。
在图23中，示出了示例性配置，其中与图17、图18和图19基本上类似的实施方式被并置在一起生成扇形光束5、26用于完整交互表面16的照明。图23中的示例性配置包括右侧、中央和左侧照明体2，其相应的罩14使其中心轴以如图所示的相互平行的方式布置。例如，有利地安置图23中的照明体2使得在使用时罩14的中心轴在竖直取向上。
在图24中，示出了用于通过采用凹圆柱面镜来实施照明体2以生成用于从角覆盖交互表面16的多个部分的扇形光束平面5、26的示例性配置。
在图25中，示出了基于上面提到的照明体2的照明体2的示例性配置，但该照明体2采用凹圆柱面镜以生成从交互表面16的上部角覆盖交互表面16的扇形光束平面5、26。此外，在图26中示出了其中基于图16至图26将照明源布置用于圆柱透镜和圆柱面镜的方式的示例性配置。
在不脱离由所附权利要求所限定的本发明的范围的情况下，对前面所描述的本发明的实施方式的修改是可能的。用于描述和要求保护本发明的表达，例如“包括（including）”、“包括（comprising）”、“合并”、“由……组成”、“具有”、“是”意在以非排他性的方式被解释，即，还允许没有明确描述的项目、部件或元件存在。单数的引用还应当被解释为涉及复数。所附权利要求中的括号内的附图标记意在为帮助理解权利要求，并且不应当以任何方式被解释为限制由这些权利要求所要求保护的主题。

Claims (25)

1.一种用于确定交互表面(16)前方的至少一个对象(25)的位置和/或姿势的基于相机的多点触摸交互系统，其中，所述系统包括：
照明装置(2)，用于生成可见和/或近红外光辐射的多个平面扇形光束(5，26)，
所述多个平面扇形光束(5，26)中的每个平面扇形光束沿着所述交互表面(16)被辐射，并且
所述至少一个对象(25)可操作用以穿过所述交互表面(16)前方的至少一个单个平面扇形光束平面并且由所述至少一个单个平面扇形光束平面进行照明；
相机(1)，用于感测所述相机(1)的视场内的所述交互表面(16)以生成对应的信号；以及
计算单元，用于基于由所述相机(1)生成的所述信号来计算由所述交互表面(16)前方的所述至少一个单个平面扇形光束平面进行照明的所述至少一个对象(25)的所述位置和/或所述姿势，
其特征在于，
所述多个平面扇形光束(5，26)分层并且形成为使得所述多个平面扇形光束(5，26)的平面平行于所述交互表面(16)；并且
所述多个平面扇形光束(5，26)中的每个平面扇形光束在与所述交互表面(16)的平面垂直的方向上被聚焦，使得所述多个平面扇形光束(5，26)在所述方向上具有恒定的厚度。
2.根据权利要求1所述的系统，其中，所述多个平面扇形光束(5)被布置成对所述交互表面(16)进行照明。
3.根据权利要求1所述的系统，其中，所述系统可操作用以检测所述至少一个对象(25)关于所述交互表面(16)的盘旋位置。
4.根据权利要求1所述的系统，其中，所述多个平面扇形光束(5，26)中的每个平面扇形光束(5，26)被布置成对所述交互表面(16)附近的对应空间区域进行照明，使得所述多个平面扇形光束(5，26)的所述对应空间区域提供对所述交互表面(16)附近的完整区域的连续照明。
5.根据权利要求1所述的系统，其中，所述多个平面扇形光束(5，26)被布置成对与所述交互表面(16)相邻的体积而不是所述交互表面(16)本身进行照明。
6.根据权利要求1所述的系统，其中，所述照明装置(2)包括光源(11)，所述光源(11)可操作用以在强度上被选择性地调制，以便增强对所述至少一个对象(25)在所述交互表面(16)上的触摸、所述至少一个对象(25)相对于所述交互表面(16)的盘旋和/或盘旋水平的确定。
7.根据权利要求6所述的系统，其中，所述光源(11)可操作用以被选择性地接通和关断。
8.根据权利要求6所述的系统，其中，所述光源(11)在闪光模式下、在所述相机(1)的主动感测时段内可操作，以便有效地冻结所述至少一个对象(25)的运动。
9.根据权利要求1所述的系统，其中，所述相机(1)包括用于根据将被所述相机(1)的传感器接收的辐射的波长来选择性地阻挡或通过所述辐射的一个或多个光学滤波器。
10.根据权利要求9所述的系统，其中，所述一个或多个光学滤波器可操作用以允许由所述至少一个对象(25)拦截的、与从所述照明装置(2)发出的光具有相同波长范围的光传送到所述相机(1)。
11.根据权利要求9所述的系统，其中，所述一个或多个光学滤波器可操作用以仅允许可见光通过所述一个或多个光学滤波器，以便捕捉来自所述交互表面(16)处的投影仪或平面屏幕的图像。
12.根据权利要求1所述的系统，其中，所述照明装置(2)包括用于生成所述多个平面扇形光束(5，26)以包括近红外波长的辐射的多个光源(11)，并且其中，所述相机(1)包括阻挡可见辐射波长并且透射近红外辐射波长以降低所述系统对包括日光、室内照明、来自投影仪的光、显示器光中的一个或多个的与所述多个光源(11)不同的光源的敏感度的一个或多个光学滤波器。
13.根据权利要求1所述的系统，其中，所述系统被集成到新装备中或者被改装到现有装备中，并且适于使得这样的装备是交互式的。
14.根据权利要求13所述的系统，其中，所述系统被实施为正投影设备或背投影设备。
15.根据权利要求1所述的系统，其中，所述系统适于被可操作地安置到投影仪墙壁安置件或屏幕安置件包括LCD、OLED、LED、CRT中的至少一个上、或者集成到投影仪墙壁安置件或屏幕安置件包括LCD、OLED、LED、CRT中的至少一个中。
16.根据权利要求1所述的系统，其中，所述照明装置(2)包括一个或多个罩(14)，用于其相关联照明光学部件的其相应长度被布置成减小经聚焦的所述多个平面扇形光束(5，26)的不同层的厚度以增大所述系统对所述至少一个对象(25)相对于所述交互表面(16)的触摸和Z方向手势的分辨率和精确度。
17.根据权利要求16所述的系统，其中，所述照明装置(2)包括一个或多个发光激光二极管，所述一个或多个发光激光二极管可操作用以发射近红外辐射，以便进一步减小所述多个平面扇形光束在与所述交互表面(16)的平面正交的方向上的厚度。
18.根据权利要求1所述的系统，其中，所述相机(1)是使用CCD或CMOS像素传感器来实施的，并且所述照明装置(2)是使用适于透射和/或反射近红外辐射的近红外LED和相关联光学部件来实施的。
19.根据权利要求1所述的系统，其中，所述照明装置(2)包括：
-凸透镜(10)，用于提供对透射过所述凸透镜(10)的辐射的聚焦；
-多个照明源(11)，其中，所述照明源被布置成沿着中心在所述凸透镜(10)的中心轴上的圆的周界的一部分扩展，以确保经聚焦的所述多个平面扇形光束(5，26)的扇区中的集中的辐射强度并且还帮助扩展相关联的热耗散；
-挡板(19)，所述挡板(19)被布置成将来自所述照明源的照明限制为所述凸透镜(10)的直径的一半；以及
-圆锥面镜(9)，所述圆锥面镜(9)用以将对称轴改变为平行于所述交互表面(16)。
20.根据权利要求19所述的系统，其中，所述圆锥面镜(9)包括反射表面角度，所述反射表面角度适于使所述平面扇形光束(5，26)的光学对称轴形成朝着所述交互表面(16)倾斜。
21.根据权利要求19所述的系统，其中，所述挡板(19)被布置成阻止来自具有被感知的源大小(27)的所述照明装置(2)的每个照明源(11)的光线对所述凸透镜(10)的相对部分进行照明，由此防止了任何光线与所述透镜(10)和所述圆锥面镜(9)的公共光学轴(28)交叉。
22.根据权利要求19所述的系统，其中，所述照明装置(2)还包括所述圆锥面镜，所述圆锥面镜被布置成使得其反射表面角度适于补偿与所述凸透镜(10)的中心轴未对准的、用于生成所述多个平面扇形光束(5，26)的光源(11)的轴。
23.根据权利要求1所述的系统，其中，所述多个平面扇形光束(5，26)具有相关联的前边界，所述相关联的前边界被布置成与所述交互表面(16)相距一距离以对与整个所述交互表面对应的区域进行照明，使得后边界实质上由所述交互表面(16)界定。
24.一种用于实施根据权利要求1所述的系统的设备。
25.一种采用基于相机的多点触摸交互系统来确定交互表面(16)前方的至少一个对象(25)的位置和/或姿势的方法，其中，所述系统包括：
照明装置(2)，用于生成可见和/或近红外光辐射的多个平面扇形光束(5，26)，
所述多个平面扇形光束(5，26)中的每个平面扇形光束沿着所述交互表面(16)被辐射，并且
所述至少一个对象(25)可操作用以穿过所述交互表面(16)前方的至少一个单个平面扇形光束平面并且由所述至少一个单个平面扇形光束平面进行照明；
相机(1)，用于感测所述相机(1)的视场内的所述交互表面(16)以生成对应的信号；以及
计算单元，用于基于由所述相机(1)生成的所述信号来计算由所述交互表面(16)前方的所述至少一个单个平面扇形光束平面进行照明的所述至少一个对象(25)的所述位置和/或所述姿势，
其特征在于，所述方法包括：
分层并且形成所述多个平面扇形光束(5，26)，使得所述多个平面扇形光束(5，26)的平面平行于所述交互表面(16)；并且
在与所述交互表面(16)的平面垂直的方向上聚焦所述多个平面扇形光束(5，26)中的每个平面扇形光束，使得所述多个平面扇形光束(5，26)相对于所述交互表面(16)的平面的正交方向具有恒定的厚度。
CN201180065701.8A 2010-11-22 2011-11-22 基于相机的多点触摸交互以及照明系统和方法 Active CN103329079B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41611610P 2010-11-22 2010-11-22
US61/416,116 2010-11-22
GB1021212.4A GB2487043B (en) 2010-12-14 2010-12-14 Camera-based multi-touch interaction and illumination system and method
GB1021212.4 2010-12-14
PCT/NO2011/000329 WO2012070950A1 (en) 2010-11-22 2011-11-22 Camera-based multi-touch interaction and illumination system and method

Publications (2)

Publication Number Publication Date
CN103329079A CN103329079A (zh) 2013-09-25
CN103329079B true CN103329079B (zh) 2016-08-24

Family

ID=43567187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180065701.8A Active CN103329079B (zh) 2010-11-22 2011-11-22 基于相机的多点触摸交互以及照明系统和方法

Country Status (10)

Country Link
US (1) US9996197B2 (zh)
JP (1) JP6078884B2 (zh)
KR (1) KR101831350B1 (zh)
CN (1) CN103329079B (zh)
BR (1) BR112013015280A2 (zh)
DE (1) DE112011103849T5 (zh)
GB (1) GB2487043B (zh)
NO (1) NO20130843A1 (zh)
RU (1) RU2579952C2 (zh)
WO (1) WO2012070950A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041689B1 (en) * 2012-08-02 2015-05-26 Amazon Technologies, Inc. Estimating fingertip position using image analysis
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
JP6127465B2 (ja) * 2012-11-20 2017-05-17 株式会社リコー 情報処理装置、情報処理システム及びプログラム
WO2014169225A1 (en) * 2013-04-12 2014-10-16 Iconics, Inc. Virtual touch screen
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
CN103324292B (zh) * 2013-07-12 2016-01-13 荣滋东 一种凸透镜主光轴指向目标实时定位的方法及装置
JP2015060296A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
WO2015047401A1 (en) 2013-09-30 2015-04-02 Hewlett-Packard Development Company, L.P. Projection system manager
CN105723303B (zh) * 2013-10-08 2019-01-22 麦克赛尔株式会社 投影型影像显示装置、操作检测装置及投影型影像显示方法
CN103729096A (zh) * 2013-12-25 2014-04-16 京东方科技集团股份有限公司 交互识别系统以及显示装置
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
GB2522248A (en) * 2014-01-20 2015-07-22 Promethean Ltd Interactive system
JP6387644B2 (ja) * 2014-01-21 2018-09-12 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出方法
TWI509487B (zh) * 2014-04-25 2015-11-21 Coretronic Corp 互動觸控系統及光源裝置
KR101646562B1 (ko) * 2015-03-09 2016-08-08 주식회사 알엔디플러스 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
KR102233090B1 (ko) * 2015-05-19 2021-03-26 에스케이텔레콤 주식회사 터치입력인식장치 및 터치입력인식장치의 동작 방법
JP6544073B2 (ja) * 2015-06-22 2019-07-17 セイコーエプソン株式会社 画像表示システムおよび画像表示方法
CN106325610B (zh) * 2015-06-30 2019-06-11 中强光电股份有限公司 触控显示系统、触控装置与触控显示方法
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
CN108141523B (zh) 2015-10-07 2020-03-03 麦克赛尔株式会社 影像显示装置和用于其的操作检测方法
CN107085493A (zh) 2016-02-16 2017-08-22 中强光电股份有限公司 触控式投影系统及其触控灵敏度的调整方法
US20180059863A1 (en) * 2016-08-26 2018-03-01 Lenovo (Singapore) Pte. Ltd. Calibration of pen location to projected whiteboard
US10275047B2 (en) 2016-08-30 2019-04-30 Lenovo (Singapore) Pte. Ltd. Determining stylus location relative to projected whiteboard using secondary IR emitter on stylus
CN106371594A (zh) * 2016-08-31 2017-02-01 李姣昂 一种双目红外视觉便携式手势操控投影系统和方法
CN106371593B (zh) * 2016-08-31 2019-06-28 李姣昂 一种投影交互式书法练习系统及其实现方法
CN110235447B (zh) * 2017-01-19 2023-03-28 索尼互动娱乐股份有限公司 图像传送装置
CN107390955B (zh) * 2017-07-19 2020-07-28 广东美的制冷设备有限公司 家用电器及其控制系统和方法及红外激光多点触控装置
PL422791A1 (pl) * 2017-09-08 2019-03-11 Sle Spółka Z Ograniczoną Odpowiedzialnością Urządzenie do wyświetlania multimediów
WO2019191517A1 (en) * 2018-03-28 2019-10-03 Ubi interactive inc. Interactive screen devices, systems, and methods
CN109271066A (zh) * 2018-08-30 2019-01-25 苏州腾邦科技有限公司 可同时书写和录播的电子白板
KR102174464B1 (ko) * 2018-10-08 2020-11-05 주식회사 토비스 공간 터치 감지 장치 및 이를 포함하는 표시 장치
US12058479B2 (en) * 2020-10-23 2024-08-06 Pathway Innovations And Technologies, Inc. Full color spectrum blending and digital color filtering for transparent display screens
US20220360755A1 (en) * 2020-10-23 2022-11-10 Ji Shen Interactive display with integrated camera for capturing audio and visual information
KR102571965B1 (ko) * 2020-12-16 2023-08-30 주식회사 이미지마이닝 레이저 및 카메라를 이용한 인터렉티브 시스템 및 인터렉티브 영상 제공 방법
KR102615580B1 (ko) * 2023-02-06 2023-12-21 주식회사 에이치디엠 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004072843A1 (en) * 2003-02-14 2004-08-26 Next Holdings Limited Touch screen signal processing
CN101095098A (zh) * 2004-11-12 2007-12-26 新标志股份有限公司 视觉系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3673327A (en) * 1970-11-02 1972-06-27 Atomic Energy Commission Touch actuable data input panel assembly
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
AU2439399A (en) 1998-02-09 1999-08-23 Haim Azaria Video camera computer touch screen system
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力／検出装置および電子黒板システム
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
JP3670896B2 (ja) * 1999-08-06 2005-07-13 日立ソフトウエアエンジニアリング株式会社 電子ボードシステム
JP3640156B2 (ja) * 2000-02-22 2005-04-20 セイコーエプソン株式会社 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP5042437B2 (ja) * 2000-07-05 2012-10-03 スマート テクノロジーズ ユーエルシー カメラベースのタッチシステム
JP2004513416A (ja) 2000-09-07 2004-04-30 カネスタ　インコーポレイテッド ユーザオブジェクトと仮想転送装置との相互作用を検出しそして位置決めする擬似三次元方法及び装置
NO311740B1 (no) 2000-09-11 2002-01-14 Tormod Njoelstad Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid
US7242388B2 (en) * 2001-01-08 2007-07-10 Vkb Inc. Data input device
JP3535476B2 (ja) * 2001-05-09 2004-06-07 住友ゴム工業株式会社 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8456447B2 (en) * 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
NO320062B1 (no) 2003-11-19 2005-10-17 New Interaction Devices And Te Anordning til a detektere naerhet mellom et forste objekt (malobjekt) og et annet objekt (referanseobjekt), samt tegne-, skrive- og/eller pekeredskap for datapresentasjon etc.
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
EP2011433A1 (en) 2007-07-05 2009-01-07 INTERUNIVERSITAIR MICROELEKTRONICA CENTRUM vzw (IMEC) An autonomous wireless system for evoked potential measurements
RU2362216C1 (ru) * 2008-05-12 2009-07-20 Михаил Герцевич Литманович Устройство для трехмерной манипуляции
CN201331752Y (zh) 2009-01-19 2009-10-21 杭州电子科技大学 一种多点触摸式人机交互装置
KR20090038413A (ko) * 2009-03-31 2009-04-20 동서대학교산학협력단 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법
US20100277576A1 (en) * 2009-04-29 2010-11-04 David Fattal Systems for Capturing Images Through a Display
JP2011043986A (ja) 2009-08-21 2011-03-03 Seiko Epson Corp 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法
US20110248958A1 (en) * 2010-04-08 2011-10-13 Qualcomm Mems Technologies, Inc. Holographic based optical touchscreen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004072843A1 (en) * 2003-02-14 2004-08-26 Next Holdings Limited Touch screen signal processing
CN101095098A (zh) * 2004-11-12 2007-12-26 新标志股份有限公司 视觉系统

Also Published As

Publication number Publication date
KR20140003448A (ko) 2014-01-09
RU2013128536A (ru) 2014-12-27
BR112013015280A2 (pt) 2017-09-26
DE112011103849T5 (de) 2013-10-02
GB2487043B (en) 2013-08-14
JP6078884B2 (ja) 2017-02-15
WO2012070950A1 (en) 2012-05-31
CN103329079A (zh) 2013-09-25
GB2487043A (en) 2012-07-11
RU2579952C2 (ru) 2016-04-10
GB201021212D0 (en) 2011-01-26
US9996197B2 (en) 2018-06-12
KR101831350B1 (ko) 2018-02-22
JP2014517362A (ja) 2014-07-17
NO20130843A1 (no) 2013-08-22
US20130135260A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103329079B (zh) 基于相机的多点触摸交互以及照明系统和方法
CN103477311B (zh) 基于相机的多点触摸交互设备、系统和方法
US9536163B2 (en) Object position and orientation detection system
US9684427B2 (en) Three-dimensional interface
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
CN102141860A (zh) 非接触式指示装置
CN101923413A (zh) 交互输入系统及其部件
CN105593786A (zh) 对象位置确定
CN103052928A (zh) 能使多显示输入实现的系统和方法
Müller et al. Baselase: An interactive focus+ context laser floor
US20110242005A1 (en) Interactive input device with palm reject capabilities
Muller Multi-touch displays: design, applications and performance evaluation
US11340710B2 (en) Virtual mouse
Koutlemanis et al. A steerable multitouch display for surface computing and its evaluation
US11868569B2 (en) Virtual mouse
US20230409148A1 (en) Virtual mouse
KR20120114767A (ko) 사물 투척형 게임 디스플레이 시스템 및 그 방법
NO20130840A1 (no) Kamerabasert, multitouch interaksjons- og belysningssystem samt fremgangsmåte
CN103853387B (zh) 一种显示装置、系统及坐标定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180601

Address after: Tokyo, Japan, Japan

Patentee after: Seiko Epson Corp.

Address before: Trondheim

Patentee before: Epson Norway Res And Dev As