CN103620524A - 无触摸交互显示系统 - Google Patents
无触摸交互显示系统 Download PDFInfo
- Publication number
- CN103620524A CN103620524A CN201280013845.3A CN201280013845A CN103620524A CN 103620524 A CN103620524 A CN 103620524A CN 201280013845 A CN201280013845 A CN 201280013845A CN 103620524 A CN103620524 A CN 103620524A
- Authority
- CN
- China
- Prior art keywords
- viewing area
- display
- visual field
- depth
- reflecting surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/24—Keyboard-Video-Mouse [KVM] switch
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
一种无触摸交互显示系统包括显示器(202),其具有与显示器结合的显示区域(204)。沿着显示器的边缘定位反射表面(300)。一个光学传感器(100)与反射表面相对并且面对,使得光学传感器具有主非反射视场和从反射表面反射回的辅助反射视场。主视场覆盖比整个显示区域小的显示区域的第一部分,并且反射视场覆盖显示区域的第二部分,使得显示区域的第一和第二部分覆盖整个显示区域。光学传感器和处理器(206)可运行来检测位于其第一和第二视场的至少一个内的物体(110),而不用物体接触显示器。
Description
技术领域
本发明总体上涉及显示系统,并且更具体地涉及无触摸交互显示系统。
背景技术
可以利用各种用户接口实现诸如可以在娱乐和零售环境中找到的交互显示装置。这些接口可以最简单地包括键盘和/或鼠标,并且更高级地包括集成触摸屏和三维深度相机系统。键盘和鼠标是容易受到机械损害的装置,并且一旦被损坏,则防止特别是在零售环境中不期望的交互显示器的使用。另外,当多个个人在公共场所与这些装置交互时,键盘和鼠标越来越被看作不卫生的。
触摸屏可以向用户给予对公共数字显示器的交互。然而,传统的触摸屏鼓励屏幕的物理触摸,当多个个人与触摸屏交互时,这也越来越被看作是不卫生的。而且,传统的触摸屏加大显示器或监控器的成本超过一倍,特别是在大于四十英寸的大小上。
三维深度(即,飞行时间(time-of-flight)或结构光)相机系统已经被介绍,其可以检测位于相机的视场内的、诸如用户的手指的物体在空间中的位置。然而,因为所观察的视场的锥形特性和显示屏幕的矩形特性,产生盲点,使得需要使用多个相机来拍摄显示屏幕的整体范围。这向交互显示器增加了增大复杂度和成本的硬件和计算要求。替代地,如果一个相机从显示屏幕远离,则它可以覆盖显示屏幕的整体范围。然而,这大大地降低了相机的定位能力和精度。
所需的是一种鲁棒的、低成本的非接触交互的技术,该技术在使用单个光学传感器的同时接近地模仿和扩展触摸屏用户熟悉的触摸手势同时不要求与屏幕的物理接触。
附图说明
在附图中,相似的附图标号遍及独立的视图指示相同或在功能上类似的元件,附图与下面的详细描述一起被包含在说明书中,并且形成其一部分,并且用于进一步说明包括所要求保护的发明的概念的实施例,并且解释那些实施例的各种原理和优点。
图1是三维深度相机的视场的俯视图和侧视图。
图2是示出单个三维深度相机的视场和盲点的显示器的前视图。
图3是示出根据本发明的第一实施例的、单个三维深度相机的视场的显示器的前视图。
图4是示出根据本发明的第二实施例的单个三维深度相机的显示器的前视图。
图5是示出根据本发明的第三实施例的单个三维深度相机的视场的显示器的前视图。
图6是示出根据本发明的第四实施例的单个三维深度相机的视场的显示器的前视图。
图7是示出根据本发明的第五实施例的单个三维深度相机的视场的显示器的前视图。
图8是示出根据本发明的第六实施例的单个三维深度相机的视场的显示器的侧视图。
图9是示出根据本发明的第七实施例的单个三维深度相机的视场的显示器的侧视图。
图10是示出根据本发明的第八实施例的、具有多个检测深度的视场的显示器的侧视图。
图11是根据本发明的方法的简化框图。
技术人员可以明白,为了简单和清楚而示出了在附图中的元素,并且在附图中的元素不必然是根据比例绘制的。例如,在附图中的元素的一些的尺寸可能相对于其他元素被夸大,以有助于改善本发明的实施例的理解。
已经在适当时通过在附图中的常规符号表示了设备和方法构成部分,附图仅示出了与本发明的实施例的理解相关的那些具体细节,以便不将本公开与对于受益于在此的说明的本领域内的普通技术人员容易显然的细节混淆。
具体实施方式
本发明提供了一种用于鲁棒的、低成本的非接触交互的新颖技术,该技术使用单个光学传感器接近地模仿和扩展触摸屏用户熟悉的触摸手势,同时不要求与屏幕的物理接触。具体地说,本发明使用安装在交互显示器附近的诸如深度感测相机的单个光学传感器来感测在显示器屏幕之前的空间内的手势,以便模仿触摸屏接口。具体地说,相机可以模仿:智能电话的触摸屏接口,包括单触摸、多触摸和单个或多个触摸扫动;以及台式计算机的传统鼠标交互,它们全部不用用户物理地接触显示屏幕。优选的是,传感器附接到显示器以提供紧凑的形式因素。
图1是光学传感器100的视场的俯视图和侧视图。优选的是,光学传感器是三维深度(即,飞行时间或结构光)相机,该相机可以检测位于在显示器屏幕的表面之前的相机之前的空间中的物体的位置。相机的视场通常是锥形或锥体空间,但是可以采用任何形状。替代地,相机可以是二维装置。相机典型地包括本领域中公知的使用像素的电荷耦合器件。电荷耦合器件的一个或多个像素将检测位于相机的视场内的诸如用户手或手指的物体110。检测物体的特定像素限定物体的A和B位置。相机的飞行时间或结构光的功能将确定到物体的距离D。在一个示例中,A、B、D是被引用到相机的光轴的球面坐标,其中,物体相对于光轴的角位置可以使用已知的几何原理被转换为物体110向位于视场下的显示器的表面的矩形X、Y坐标的垂直投影。
在其最基本的实施例中,本发明提供了一种无触摸交互显示系统,包括:显示器,其具有由显示器的边界限定的显示区域;以及一个深度相机,诸如结构光相机。深度相机具有覆盖整个显示区域的视场和具有与显示区域的平面垂直的深度的空间。在这个实施例中,处理器与深度相机和显示器耦合,并且深度相机和处理器可操作地用于检测位于在显示器上的深度内的视场内的物体,而物体不必接触显示器。
图2是图示显示器202的前视图的另一个实施例,该前视图示出了诸如三维深度相机的单个光学传感器100的视场和盲点。传感器耦合到处理器206,该处理器206可以是独立的装置或被合并在相机本身内。处理器可操作地用于处理来自传感器的图像信息以确定物体在传感器的视场内的位置。处理器206(或独立处理器)包括操作系统,用于驱动具有无触摸驱动接口的显示器202,以识别手势和其他用户输入,并且示出不同的被动图像或视频或者根据期望的交互功能的交互图像或视频。一个或多个处理器可以包括基本部件,诸如但是不限于微处理器、数字信号处理器(DSP)、微控制器、计算机、驱动器、存储器装置、专用集成电路和/或逻辑电路。这样的装置通常被适配来实现已经使用高级设计语言或描述表达、使用计算机指令表达、使用消息/信号流程图表达和/或使用逻辑流程图表达的算法和/或协议。因此,在给出算法或逻辑流程的情况下,本领域内的技术人员了解可用于实现执行该给定逻辑的用户设备的许多设计和开发技术。因此,处理器表示已经根据在此的说明被适配来实现本发明的各个实施例的已知设备。
显示器202包括由显示器的表面范围的边界限定的显示器表面区域204。传感器100面向显示器的表面之上。传感器可以直接地与显示器平行地面向,但是优选的是,在给定传感器的视场的扩展的锥形或锥体(或其他)形状的情况下,将传感器从显示器的表面向上具有角度,以更好地覆盖显示器之上的空间。虽然在这个示例中示出的视场扩展到显示区域204的角,但是应当认识到,该视场可以比所示的宽。然而,不期望它更窄,如下详细所述。在许多系统配置(通过美学和物理限制驱动)中,传感器需要接近在上所示的显示器。在这样的情况下,单个三维深度相机的有线视场和最小可解析距离产生盲点,该盲点可以包括在相机的视场之外的那些空间(即,盲点2和3)以及接近相机的出口圆锥体的那些空间(即,盲点1)。因此,位于视场之外的物体110(在此在盲点2中示出)不能被普通地检测到。
参见图3,本发明引入了沿着显示器202的边界的部分定位并且与显示器的表面垂直的基本平坦的反射表面300。优选的是,该反射表面是可操作用于反射来自传感器的红外线的反射镜带。光学传感器100接近沿着与反射表面300相对并且面向反射表面的显示器202的边缘的边界。优选的是,传感器附接到显示器以提供紧凑的形式因素,但是可以被安装在距显示器一定距离处。如在图2中那样,光学传感器具有向右的主非反射视场。然而,根据本发明,反射表面提供了从反射表面向传感器的向左反射回的反射视场。该反射表面具有至少等于在具传感器的反射表面的距离处视场的范围的长度和小于交互系统的期望深度的一半的深度。实际上,根据本发明,该主非反射视场覆盖比整个显示区域小的显示区域的第一部分,并且反射视场覆盖显示区域的第二部分,使得显示区域的第一和第二部分覆盖整个显示区域。
光学传感器和处理器可操作地用于检测位于其第一和第二视场的至少一个内的物体110。因为深度相机可以检测位于显示器的平面上的物体,所以物体不必触摸显示器202。换句话说,可以在与显示区域204的平面垂直的显示器之上的深度处检测物体。在这个示例中,传感器100在等于路径302加304的总长度的距离处将物体110成像。为了处理器知道实际上沿着反射视场折返的物体的位置,需要处理器知道从相机至反射表面的校准距离Dc和传感器的光轴相对于显示表面的垂直角度。如果处理器确定由相机测量的距离(路径302加304)大于Dc,则处理器能够使用已知的几何技术来计算302和304的实际路径,以确定物体在显示区域上的投影的X、Y坐标。
可以通过下述方式来自动地或者手动地确定校准距离Dc:在可以通过处理器在显示器上给出用户指令而实施的校准过程期间将物体置于沿着反射表面的各个点处,并且特别是端点处。如果传感器不位于显示器旁边,则校准也可以包括将物体置于沿着最接近传感器的边缘,特别是边缘的端点处。
物体可以位于直接沿着传感器的光轴。在该情况下,存在反射被物体本身模糊的可能。为了避免该问题,可以有益的是,反射表面300包括两个平坦件400,其中,该两个平坦件的表面相对于彼此倾斜,如图4中所示。这甚至消除了由模糊其本身的物体引起的窄盲点,因为以定位精度的略微花费存在每个物体用来解析任何阴影或模糊的两个反射402、403。
参见图5,传感器100的光轴不必垂直于反射表面300或传感器不必被定位得直接与反射表面相对。所示的配置将检测在可能通常在盲点中的物体110上同样良好地执行。有益的是,该配置可以适应于没有从单个传感器与反射镜的盲点的更大的显示器。当系统配置指示传感器要被容纳得接近显示器本身或集成在该外壳内时,这是优选实施例。
图6示出可以用于通过将传感器100布置在距显示区域的一定距离处来消除一个盲点的本发明的一个实施例。在该情况下,消除了接近相机的出口圆锥体的盲点。
图7示出本发明的一个实施例,其包括第二反射表面700,第二反射表面700与反射表面300相对并且平行,以提供多个反射视场。当显示区域204的大小太大或被使用的相机的视场太窄时可以使用该方案,以仅使用一个反射来拍摄整个显示区域204。以这种方式,两个平行反射表面通过利用多个反射可以覆盖很大显示器。该手段仅被深度相机的最大识别范围限制。再一次,需要处理器知道在两个反射表面之间的距离,以确定物体110的实际位置。如前,可以有益的是,使用相对于彼此倾斜的分段反射表面以防止模糊或具有阴影的物体。
虽然上面的实施例涉及检测在显示区域附近的物体,但是本发明检测在距显示区域的表面的平面的更大垂直深度处的物体的能力可以有益。例如,在示出显示器的侧视图的图8的实施例中,光学传感器100被布置在距显示区域的一定距离处,其中,主视场比反射表面300的深度深,使得光学传感器和处理器206可以检测远离显示区域的移动。在这个示例中,在零售店中的用户可以被在显示器202上的预定义信息(诸如广告)的被动图像吸引,并且传感器可以检测接近的用户800向主视场内的移动。当用户向主视场内更深地接近并且其中用户802在显示器的可达范围内时,处理器可以引导显示器转换到交互模式以在显示器上示出交互信息,该交互信息可以响应于位于光学传感器的主和/或反射视场内的用户手指或手(即,物体)的位置而被改变,而用户不必触摸显示器。
图9提供了用于传感器的更大深度检测的另一种使用。再一次,该实施例示出显示器的侧视图,其中,光学传感器100被布置在具显示区域的一定距离处。在这个实施例中,中间反射镜(900)位于主视场中,以将主视场划分为从传感器向下分出以与显示区域平行的近场部分904和远场部分902。该近场部分覆盖包括第一和第二视场的接近显示区域的深度,以检测具有接近显示区域的深度地定位的物体110,并且远场部分覆盖远离显示区域的深度,以检测在远离显示区域的深度处的移动和手势。光学传感器和处理器206可以检测在远场部分902中的远离显示区域的移动。在与之前相同的示例中,在零售店中的用户可以被在显示器202上的预定义信息(诸如广告)的被动图像吸引,并且传感器可以检测接近的用户800向主视场的远场部分内的移动。当用户802能够通过将手指或手(即,物体)放置在近场部分的主和/或反射视场内而达到显示器并且不用用户接触显示器时,处理器可以引导显示器转换到交互模式,以在显示器上示出交互信息,该交互信息可以响应于位于光学传感器的主和/或反射视场内的用户手指或手(即,物体)的位置而被改变,而用户不必触摸显示器。
在上面的实施例的任何一个中,设想处理器可以被配置为解释与用户与触摸屏交互类似的用户与传感器的交互。这可以包括利用传感器的视场来解释几个物体的位置,以便实现单次触摸、多次触摸和单次或多次触摸扫动以及台式计算机的传统鼠标或键盘交互。
而且,本发明可以提供当今的触摸屏不可获得的功能。例如,参见示出显示器的侧视图的图10,可以将视场划分为多个触摸平面,该多个触摸平面被定义为在与显示器202的平面垂直的分离的深度范围处在显示区域上的不同体积的空间1002、1004。在这个示例中,存在两个触摸平面,与显示器202较为接近的第一区域1002与显示器较远的第二区域1004。这些不同的触摸平面可以用于根据在每一个平面内的物体的放置来向用户提供不同的功能。例如,可以在显示器上示出交互图标,其中,用户将其手(物体110)置于第二平面1004内可以使得处理器高亮在其手的位置下的图标,而不激活那个图像的功能。用户可以在第二平面1004内移动其手,以高亮不同的图标,而不激活它们的功能。仅当用户将其手移动到接近显示器在第一平面1002内的位置1006处以选择那个(先前高亮的)交互图像时,处理器将激活那个选择的图标的功能。在另一个示例中,显示器可以示出键盘,其中,向第二平面1004内移动手指将高亮在键盘上的字母,以当通过将其手指进一步移动到第一平面1002内而激活正确的按键时向用户确认其在选择正确的按键。
图11图示根据本发明的用于与显示器的无触摸交互的方法的流程图。
该方法通过下述开始:提供1100由显示器的边界限定的显示区域、沿着边界的一部分并且垂直于显示器的表面定位的反射表面和与反射表面相对地布置的光学传感器,其中,光学传感器面对反射表面,并且具有朝向反射表面的主视场和从反射表面反射回的辅助视场,其中,主视场覆盖比整个显示区域小的显示区域的第一部分,并且辅助视场覆盖显示区域的第二部分,使得显示区域的第一和第二部分覆盖整个显示区域。可选地,该提供步骤将视场划分为多个触摸平面,该多个触摸平面被定义为在与显示器的平面垂直的分离的深度范围处在显示区域之上的不同体积的空间(1002,1004)。
下一步步骤包括:检测1102位于其第一和第二视场中的至少一个内的物体,而不使得物体接触显示器。该步骤可以包括:检测位于显示区域1108(例如,近场)上的物体的位置。该步骤也可以包括:检测与显示区域的平面垂直的物体的深度。该步骤也可以包括:检测在远离显示区域1106的深度处(例如,远场)的移动。
如果在远离显示区域1006的深度(例如,远场)处检测到移动,则可以在显示器上显示1110预定义信息的被动图像。随后,如果位于接近显示区域的深度(例如,近场)的物体,则在显示器上显示1112交互信息,其中,响应于位于光学传感器的视场内的物体的位置而显示实际信息,而物体不用触摸显示器。
可选步骤包括:将主视场划分1104为近场部分和远场部分,其中,近场部分覆盖接近显示区域的深度,包括第一和第二视场,并且其中,远场部分覆盖远离显示区域的深度。
在另一个选项中,如果已经将视场划分为不同的触摸平面,则检测可以包括:检测在每个平面内的物体,以向显示器的用户提供不同的功能。
优选的是,可以通过将物体放置在沿着反射表面的不同点处而校准1114传感器。如果传感器不挨着显示器,校准也可以包括将物体沿着最接近传感器的边缘放置。
有益的是,本发明提供了一种单个相机系统,该单个相机系统可以在附接到显示器的同时覆盖整个显示区域,以提供紧凑的形式因素。本发明向用户提供熟悉的触摸屏体验,而用户不用物理地接触屏幕。实际触摸空间可以距屏幕相当远,但是接近得足以向体验提供平面的、触摸屏似的感觉。不要求用户触摸屏幕具有更好的卫生、不损坏显示器和显示器所需的更少的清洁的优点。另外,本发明允许用户使用带手套的手,这对于触摸屏是有问题的。
在前述说明书中,已经描述了特定实施例。但是,本领域内的普通技术人员明白,在不偏离在所附的权利要求中提出的本发明的范围的情况下,可以进行各种修改和改变。因此,说明书和附图应被看作是说明性而不是限定性的含义,并且所有这样的修改意欲被包括在本教导的范围中。
益处、优点或者对于问题的解决方案或者可以使得任何益处、优点或者对于问题的解决方案发生或者变得更突出的任何一个或多个元素不应当被理解为任何或者全部权利要求的关键的、所需要的或者必要的特征或者元素。本发明仅由所附权利要求限定,所附权利要求包括在本申请的待审期间进行的任何修改和所发布的那些权利要求的所有等同物。
而且,在本文中,诸如第一和第二与上和下等的关系术语可以仅用于将一个实体或者行为与另一个实体或者行为相区分,而不必要求或者暗示在这样的实体或者行为之间的任何实际的这样的关系或者顺序。术语“包括”、“具有”“包含”或者其任何其他变化形式意欲涵盖非排他的包含,以便包括、具有、包含一系列元素的过程、方法、物品或者设备不仅包含那些元素,而且包含未明确地列出或者这样的过程、方法、物品或者设备固有的其他元素。前有“包括”、“具有”“包含”的元素在没有更多限制的情况下,不排除在包括、具有、包含所述元素的过程、方法、物品或者设备中存在另外的相同的元素。术语“一个”被定义为一个或多个,除非在此另外明确地规定。术语“基本上”、“本质上”、“大致上”“大约”或者其任何其他版本被定义为接近由本领域内的普通技术人员所理解的那样,并且在一个非限定性实施例中,所述术语被限定为在10%内。在另一个实施例中在5%内,在另一个实施例中在1%内。在另一个实施例中在0.5%内。在此使用的术语“耦接”被定义为连接,虽然不必然直接地连接或者不必然机械地连接。以特定方式“配置”的装置或者结构至少以那种方式被配置,但是也可以以未列出的方式被配置。
可以明白,一些实施例可以由一个或多个通用或者专用的处理器(或者“处理装置”)和唯一地存储的控制所述一个或多个处理器结合特定的非处理器电路实现在此所述的方法和/或设备的一些、大多数或者全部功能的程序指令(包括软件和固件)构成,所述由一个或多个通用或者专用的处理器诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)。或者,可以通过没有存储的程序指令的状态机或者在一个或多个专用集成电路(ASIC)中实现一些或者全部功能,在一个或多个专用集成电路(ASIC)中,每个功能或者特定功能的某些组合被实现为定制逻辑。当然,可以使用所述两种手段的组合。
而且,可以将实施例实现为计算机可读存储介质,其上存储有计算机可读代码,用于对计算机(例如包括处理器)进行编程以执行在此所述和所要求保护的方法。这样的计算机可读存储介质的示例包括但是不限于硬盘、CD-ROM、光存储装置、磁存储装置、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电子可擦除可编程只读存储器)和闪速存储器。而且,预期普通技术人员,虽然可能进行了例如由可用时间、当前技术和经济考虑驱动的显著努力和许多设计选择,但当由在此公开的思想或者原理引导时,能够以最少的实验来容易地产生这样的软件指令和程序以及IC。
提供本公开的摘要以允许读者迅速地确定本技术公开的特性。可以明白,其不用于解释或者限制权利要求的范围或者含义。另外,在前述详细说明中,可以看出,在各个实施例中,将各个特征分组在一起,以使得本公开流畅。这种公开方法不被解释为反映下述意图:所要求保护的实施例需要比在每个权利要求中明确地列举的特征更多的特征。而是,如所附的权利要求所反映的那样,本发明的主题在于少于单个所公开的实施例的全部特征。因此,所附的权利要求在此被并入详细说明中,每个权利要求本身作为独立地要求保护的主题。
权利要求书(按照条约第19条的修改)
1.一种无触摸交互显示系统,包括:
显示器(202),所述显示器具有由所述显示器的边界限定的显示区域(204);
沿着所述边界的一部分并且垂直于所述显示器(202)的表面定位的反射表面(300);
一个深度感测相机(100),所述深度感测相机(100)被布置为与所述反射表面相对,其中,所述深度感测相机(100)在所述显示器之上的空间上面对所述反射表面,并且具有朝向所述反射表面的主视场和从所述反射表面反射回的反射视场,其中,所述主视场覆盖比整个显示区域小的所述显示区域的第一部分,并且所述反射视场覆盖所述显示区域的第二部分,使得所述显示区域的所述第一和第二部分覆盖所述整个显示区域;以及
处理器(206),所述处理器(206)与所述深度感测相机(100)和所述显示器(202)耦合,其中,所述深度感测相机和处理器可操作地用于检测位于在所述显示区域的相应的第一和第二部分上的所述主和反射视场中的至少一个内的物体(110),而不用所述物体触摸所述显示器(202)。
2.根据权利要求1所述的系统,其中,所述深度感测相机(100)被布置为接近所述边界。
3.根据权利要求1所述的系统,其中,所述深度感测相机(100)和处理器(206)可操作地用于检测所述物体(110)距所述深度感测相机的距离以及所述物体(110)距所述深度感测相机的光轴的角度位置。
4.根据权利要求1所述的系统,其中,所述反射表面(300)包括两个平坦件(400),其中所述两个平坦件的表面相对于彼此倾斜。
5.根据权利要求1所述的系统,其中,进一步包括第二反射表面(700),所述第二反射表面(700)与所述反射表面(300)相对并且平行,以提供多个反射视场。
6.根据权利要求1所述的系统,其中,所述深度感测相机(100)和处理器(206)可操作地用于检测与所述显示区域(204)的平面垂直的所述物体(110)的深度。
7.根据权利要求6所述的系统,其中,所述深度感测相机(100)被布置在距所述显示区域的一定距离处,其中,所述主视场比所述反射表面(300)的深度深,使得所述深度感测相机和处理器(206)能够检测到远离所述显示区域的移动。
8.根据权利要求7所述的系统,进一步包括布置在所述主视场中的中间反射镜(900),以将所述主视场划分为近场部分和远场部分,其中,所述近场部分覆盖与所述显示区域接近的深度,包括所述主和反射视场,以检测以接近所述显示区域的深度放置的物体(110),并且其中,所述远场部分覆盖远离所述显示区域的深度,以检测在远离所述显示区域的深度处的移动。
9.根据权利要求8所述的系统,其中,当检测到具有远离所述显示区域的深度的移动时,所述处理器(206)引导所述显示器(202)以在所述显示器上示出预定义的信息,并且其中,当检测到以接近所述显示区域(204)的深度放置的物体(110)时,所述处理器引导所述显示器来响应于位于所述深度感测相机的视场内的所述物体的位置而在所述显示器上示出交互信息,而不用所述物体触摸所述显示器。
10.根据权利要求9所述的系统,其中,能够通过将物体放置在沿着所述反射表面的不同点处而校准所述视场。
11.根据权利要求1所述的系统,其中,所述处理器将所述视场划分为多个触摸平面,所述多个触摸平面被定义为在与所述显示器的平面垂直的分离的深度范围处在所述显示区域之上的不同体积的空间(1002,1004),其中,所述不同的触摸平面根据在每个平面内的物体的放置来向所述显示器的用户提供不同的功能。
12.一种用于与显示器的无触摸交互的方法,所述方法包括步骤:
提供由显示器的边界限定的显示区域、沿着所述边界的一部分并且垂直于所述显示器的表面定位的反射表面和与所述反射表面相对布置的一个深度感测相机,其中,所述深度感测相机在所述显示器之上的空间上面对所述反射表面,并且具有朝向所述反射表面的主视场和从所述反射表面反射回的辅助视场,其中,所述主视场覆盖比整个显示区域小的所述显示区域的第一部分,并且所述辅助视场覆盖所述显示区域的第二部分,使得所述显示区域的所述第一和第二部分覆盖所述整个显示区域;以及
检测在所述显示区域的相应的第一和第二部分上的所述主和反射视场中的至少一个内放置的物体,而不用所述物体触摸所述显示器。
13.根据权利要求12所述的方法,进一步包括:将所述主视场划分为近场部分和远场部分,其中,所述近场部分覆盖与所述显示区域接近的深度,包括所述主和反射视场,并且其中,所述远场部分覆盖远离所述显示区域的深度,并且其中,检测包括:检测以接近所述显示区域的深度放置的物体和检测在远离所述显示区域的深度处的移动。
14.根据权利要求13所述的方法,其中,当检测检测到具有远离所述显示区域的深度的移动时,进一步包括:在所述显示器上显示预定义的信息,并且其中,当检测检测到以接近所述显示区域的深度放置的物体时,进一步包括:响应于位于所述深度感测相机的所述视场内的所述物体的位置而在所述显示器上显示交互信息,而不用所述物体触摸所述显示器。
15.根据权利要求12所述的方法,其中,所述提供步骤(1100)将所述视场划分为多个触摸平面,所述多个触摸平面被定义为在与所述显示器的平面垂直的分离的深度范围处在所述显示区域之上的不同体积的空间(1002,1004),并且其中,所述检测步骤能够检测在每个平面内的物体来向所述显示器的用户提供不同的功能。
Claims (20)
1.一种无触摸交互显示系统,包括:
显示器(202),所述显示器具有由所述显示器的边界限定的显示区域(204);
沿着所述边界的一部分并且垂直于所述显示器(202)的表面定位的反射表面(300);
一个光学传感器(100),所述光学传感器(100)被布置为与所述反射表面相对,其中,所述光学传感器面对所述反射表面,并且具有朝向所述反射表面的主视场和从所述反射表面反射回的反射视场,其中,所述主视场覆盖比整个显示区域小的所述显示区域的第一部分,并且所述反射视场覆盖所述显示区域的第二部分,使得所述显示区域的所述第一和第二部分覆盖所述整个显示区域;以及
处理器(206),所述处理器(206)与所述光学传感器(100)和所述显示器(202)耦合,其中,所述光学传感器和处理器可操作地用于检测位于其第一和第二视场中的至少一个内的物体(110),而不用所述物体触摸所述显示器(202)。
2.根据权利要求1所述的系统,其中,所述光学传感器(100)被布置为接近所述边界。
3.根据权利要求1所述的系统,其中,所述光学传感器(100)和处理器(206)可操作地用于检测所述物体(110)距所述光学传感器的距离。
4.根据权利要求1所述的系统,其中,所述光学传感器(100)和处理器(206)可操作地用于检测所述物体(110)距所述光学传感器的光轴的角度位置。
5.根据权利要求1所述的系统,其中,所述反射表面(300)包括两个平坦件(400),其中所述两个平坦件的表面相对于彼此倾斜。
6.根据权利要求1所述的系统,其中,进一步包括第二反射表面(700),所述第二反射表面(700)与所述反射表面(300)相对并且平行,以提供多个反射视场。
7.根据权利要求1所述的系统,其中,所述光学传感器(100)和处理器(206)可操作地用于检测与所述显示区域(204)的平面垂直的所述物体(110)的深度。
8.根据权利要求7所述的系统,其中,所述光学传感器(100)被布置在距所述显示区域的一定距离处,其中,所述主视场比所述反射表面(300)的深度深,使得所述光学传感器和处理器(206)能够检测到远离所述显示区域的移动。
9.根据权利要求8所述的系统,进一步包括布置在所述主视场中的中间反射镜(900),以将所述主视场划分为近场部分和远场部分,其中,所述近场部分覆盖与所述显示区域接近的深度,包括所述第一和第二视场,以检测以接近所述显示区域的深度放置的物体(110),并且其中,所述远场部分覆盖远离所述显示区域的深度,以检测在远离所述显示区域的深度处的移动。
10.根据权利要求9所述的系统,其中,当检测到具有远离所述显示区域的深度的移动时,所述处理器(206)引导所述显示器(202)以在所述显示器上示出预定义的信息,并且其中,当检测到以接近所述显示区域(204)的深度放置的物体(110)时,所述处理器引导所述显示器来响应于位于所述光学传感器的视场内的所述物体的位置而在所述显示器上示出交互信息,而所述物体不用触摸所述显示器。
11.根据权利要求10所述的系统,其中,能够通过将物体放置在沿着所述反射表面的不同点处而校准所述视场。
12.根据权利要求1所述的系统,其中,所述处理器将所述视场划分为多个触摸平面,所述多个触摸平面被定义为在与所述显示器的平面垂直的分离的深度范围处在所述显示区域之上的不同体积的空间(1002,1004),其中,所述不同的触摸平面根据在每个平面内的物体的放置来向所述显示器的用户提供不同的功能。
13.一种用于与显示器的无触摸交互的方法,所述方法包括步骤:
提供由显示器的边界限定的显示区域、沿着所述边界的一部分并且垂直于所述显示器的表面定位的反射表面和与所述反射表面相对布置的一个光学传感器,其中,所述光学传感器面对所述反射表面,并且具有朝向所述反射表面的主视场和从所述反射表面反射回的辅助视场,其中,所述主视场覆盖比整个显示区域小的所述显示区域的第一部分,并且所述辅助视场覆盖所述显示区域的第二部分,使得所述显示区域的所述第一和第二部分覆盖所述整个显示区域;以及
检测位于其第一和第二视场中的至少一个内的物体,而不用所述物体触摸所述显示器。
14.根据权利要求13所述的方法,其中,检测包括:检测在所述显示区域之上的所述物体的位置。
15.根据权利要求13所述的方法,其中,检测包括:检测与所述显示区域的平面垂直的所述物体的深度。
16.根据权利要求15所述的方法,其中,检测包括检测在远离所述显示区域的深度处的移动。
17.根据权利要求16所述的方法,进一步包括:将所述主视场划分为近场部分和远场部分,其中,所述近场部分覆盖与所述显示区域接近的深度,包括所述第一和第二视场,并且其中,所述远场部分覆盖远离所述显示区域的深度,并且其中,检测包括:检测以接近所述显示区域的深度放置的物体和检测在远离所述显示区域的深度处的移动。
18.根据权利要求17所述的方法,其中,当检测检测到具有远离所述显示区域的深度的移动时,进一步包括:在所述显示器上显示预定义的信息,并且其中,当检测检测到以接近所述显示区域的深度放置的物体时,进一步包括:响应于位于所述光学传感器的所述视场内的所述物体的位置而在所述显示器上显示交互信息,而所述物体不用触摸所述显示器。
19.根据权利要求13所述的方法,其中,所述提供步骤(1100)将所述视场划分为多个触摸平面,所述多个触摸平面被定义为在与所述显示器的平面垂直的分离的深度范围处在所述显示区域之上的不同体积的空间(1002,1004),并且其中,所述检测步骤能够检测在每个平面内的物体来向所述显示器的用户提供不同的功能。
20.一种无触摸交互显示系统,包括:
显示器(202),所述显示器(202)具有被所述显示器的边界限定的显示区域(204);
一个深度相机(100),其中,所述深度相机具有覆盖整个显示区域的视场;以及
处理器(206),所述处理器(206)与所述深度相机和所述显示器耦合,其中,所述深度相机和处理器可操作地用于检测位于所述视场内的物体(110),而不用所述物体触摸所述显示器(202)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/050,248 US8963883B2 (en) | 2011-03-17 | 2011-03-17 | Touchless interactive display system |
US13/050,248 | 2011-03-17 | ||
PCT/US2012/026493 WO2012148545A1 (en) | 2011-03-17 | 2012-02-24 | Touchless interactive display system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103620524A true CN103620524A (zh) | 2014-03-05 |
CN103620524B CN103620524B (zh) | 2016-09-07 |
Family
ID=46001715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280013845.3A Active CN103620524B (zh) | 2011-03-17 | 2012-02-24 | 无触摸交互显示系统 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8963883B2 (zh) |
EP (1) | EP2686754B1 (zh) |
JP (1) | JP5856189B2 (zh) |
KR (1) | KR101511465B1 (zh) |
CN (1) | CN103620524B (zh) |
AU (1) | AU2012249146B2 (zh) |
WO (1) | WO2012148545A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106030495A (zh) * | 2015-01-30 | 2016-10-12 | 索弗特凯耐提克软件公司 | 利用单个感测系统的基于多模式姿势的交互系统及方法 |
CN106462244A (zh) * | 2014-06-12 | 2017-02-22 | 谷歌公司 | 使用所辨识的对象校准传感器的方法和系统 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5766479B2 (ja) * | 2011-03-25 | 2015-08-19 | 京セラ株式会社 | 電子機器、制御方法および制御プログラム |
US8886372B2 (en) * | 2012-09-07 | 2014-11-11 | The Boeing Company | Flight deck touch-sensitive hardware controls |
TW201500968A (zh) * | 2013-06-21 | 2015-01-01 | Utechzone Co Ltd | 三維互動系統及其互動感測方法 |
KR102271184B1 (ko) * | 2014-08-28 | 2021-07-01 | 엘지전자 주식회사 | 영상 투사 장치 및 그의 동작 방법 |
EP3153950A1 (en) * | 2015-10-08 | 2017-04-12 | Funai Electric Co., Ltd. | Input device |
US10657552B2 (en) * | 2016-02-17 | 2020-05-19 | Paypal, Inc. | Tap proximity |
US11340710B2 (en) | 2016-06-08 | 2022-05-24 | Architectronics Inc. | Virtual mouse |
US10838504B2 (en) | 2016-06-08 | 2020-11-17 | Stephen H. Lewis | Glass mouse |
WO2019045629A1 (en) | 2017-09-01 | 2019-03-07 | Flatfrog Laboratories Ab | IMPROVED OPTICAL COMPONENT |
JP6626138B2 (ja) * | 2018-02-19 | 2019-12-25 | ファナック株式会社 | センサを用いた物体監視装置 |
US12055969B2 (en) | 2018-10-20 | 2024-08-06 | Flatfrog Laboratories Ab | Frame for a touch-sensitive device and tool therefor |
EP4066089B1 (en) | 2019-11-25 | 2024-09-25 | FlatFrog Laboratories AB | A touch-sensing apparatus |
US11893189B2 (en) | 2020-02-10 | 2024-02-06 | Flatfrog Laboratories Ab | Touch-sensing apparatus |
EP4083757A1 (en) * | 2020-10-19 | 2022-11-02 | ameria AG | Touchless input interface for an electronic display using multiple sensors |
US20240111367A1 (en) * | 2021-02-09 | 2024-04-04 | Flatfrog Laboratories Ab | An interaction system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1577386A (zh) * | 2003-06-30 | 2005-02-09 | 索尼株式会社 | 位置检测装置 |
US20060132432A1 (en) * | 2002-05-28 | 2006-06-22 | Matthew Bell | Interactive video display system |
US20080062257A1 (en) * | 2006-09-07 | 2008-03-13 | Sony Computer Entertainment Inc. | Touch screen-like user interface that does not require actual touching |
US20100110005A1 (en) * | 2008-11-05 | 2010-05-06 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6614422B1 (en) | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
ATE453147T1 (de) | 2000-07-05 | 2010-01-15 | Smart Technologies Ulc | Verfahren für ein kamerabasiertes berührungssystem |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
TWI291122B (en) | 2004-06-11 | 2007-12-11 | Micro Nits Co Ltd | Array type optical sensor pointing system and its method |
US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
CN101952818B (zh) | 2007-09-14 | 2016-05-25 | 智慧投资控股81有限责任公司 | 基于姿态的用户交互的处理 |
CN101546235B (zh) | 2008-03-28 | 2011-07-27 | 旭丽电子(广州)有限公司 | 触控面板模块及决定触控面板上压触点位置的方法 |
US8322621B2 (en) | 2008-12-26 | 2012-12-04 | Datalogic ADC, Inc. | Image-based code reader for acquisition of multiple views of an object and methods for employing same |
US20100201812A1 (en) | 2009-02-11 | 2010-08-12 | Smart Technologies Ulc | Active display feedback in interactive input systems |
US20100245289A1 (en) | 2009-03-31 | 2010-09-30 | Miroslav Svajda | Apparatus and method for optical proximity sensing and touch input control |
-
2011
- 2011-03-17 US US13/050,248 patent/US8963883B2/en active Active
-
2012
- 2012-02-24 CN CN201280013845.3A patent/CN103620524B/zh active Active
- 2012-02-24 WO PCT/US2012/026493 patent/WO2012148545A1/en active Application Filing
- 2012-02-24 KR KR1020137027079A patent/KR101511465B1/ko active IP Right Grant
- 2012-02-24 JP JP2013558023A patent/JP5856189B2/ja active Active
- 2012-02-24 AU AU2012249146A patent/AU2012249146B2/en active Active
- 2012-02-24 EP EP12716760.9A patent/EP2686754B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060132432A1 (en) * | 2002-05-28 | 2006-06-22 | Matthew Bell | Interactive video display system |
CN1577386A (zh) * | 2003-06-30 | 2005-02-09 | 索尼株式会社 | 位置检测装置 |
US20080062257A1 (en) * | 2006-09-07 | 2008-03-13 | Sony Computer Entertainment Inc. | Touch screen-like user interface that does not require actual touching |
US20100110005A1 (en) * | 2008-11-05 | 2010-05-06 | Smart Technologies Ulc | Interactive input system with multi-angle reflector |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106462244A (zh) * | 2014-06-12 | 2017-02-22 | 谷歌公司 | 使用所辨识的对象校准传感器的方法和系统 |
CN106030495A (zh) * | 2015-01-30 | 2016-10-12 | 索弗特凯耐提克软件公司 | 利用单个感测系统的基于多模式姿势的交互系统及方法 |
CN106030495B (zh) * | 2015-01-30 | 2021-04-13 | 索尼深度传感解决方案股份有限公司 | 利用单个感测系统的基于多模式姿势的交互系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5856189B2 (ja) | 2016-02-09 |
KR20130141677A (ko) | 2013-12-26 |
AU2012249146B2 (en) | 2015-07-02 |
JP2014512031A (ja) | 2014-05-19 |
US20120235892A1 (en) | 2012-09-20 |
US8963883B2 (en) | 2015-02-24 |
CN103620524B (zh) | 2016-09-07 |
EP2686754B1 (en) | 2016-02-24 |
WO2012148545A1 (en) | 2012-11-01 |
AU2012249146A1 (en) | 2013-10-10 |
EP2686754A1 (en) | 2014-01-22 |
KR101511465B1 (ko) | 2015-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103620524A (zh) | 无触摸交互显示系统 | |
CA2858418C (en) | Combined radio-frequency identification and touch input for a touch screen | |
US8957864B2 (en) | Coordinate input apparatus and method | |
US10216337B2 (en) | Micro deflectors on touch sensor | |
US20110267264A1 (en) | Display system with multiple optical sensors | |
CN102171636A (zh) | 触摸输入系统校准 | |
KR20070020510A (ko) | 터치 스크린 상에서 두 개의 손가락 입력방법 | |
CN102754047A (zh) | 利用交互式体积进行位置探测的方法和系统 | |
US10402080B2 (en) | Information processing apparatus recognizing instruction by touch input, control method thereof, and storage medium | |
JP2019128722A (ja) | 情報処理装置、情報処理システム及びプログラム | |
US20110193969A1 (en) | Object-detecting system and method by use of non-coincident fields of light | |
JP2022007868A (ja) | 空中像表示入力装置及び空中像表示入力方法 | |
KR20130084389A (ko) | 터치 인터페이스를 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말 | |
WO2021260989A1 (ja) | 空中像表示入力装置及び空中像表示入力方法 | |
TWI424343B (zh) | 光學觸控系統及其感測方法 | |
JP6418585B2 (ja) | ウェアラブルデバイス、及びウェアラブルデバイスの動作方法 | |
KR20180043216A (ko) | 공간터치장치 및 이를 포함하는 디스플레이 장치 | |
Matsubara et al. | Touch detection method for non-display surface using multiple shadows of finger | |
EP4258087A1 (en) | Calibration method for an electronic display screen for touchless gesture control | |
KR100944027B1 (ko) | 테이블 탑 구조의 증강현실 제공 시스템 | |
KR20240099839A (ko) | 에어 터치 시스템 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: American New York Patentee after: SYMBOL TECHNOLOGIES, LLC Address before: American New York Patentee before: Symbol Polytron Technologies Inc. |
|
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20170313 Address after: American New York Patentee after: Symbol Polytron Technologies Inc. Address before: Illinois State Patentee before: MOTOROLA SOLUTIONS, Inc. |