CN102221879B - 用户接口设备以及使用其识别用户交互的方法 - Google Patents

用户接口设备以及使用其识别用户交互的方法 Download PDF

Info

Publication number
CN102221879B
CN102221879B CN201110121334.0A CN201110121334A CN102221879B CN 102221879 B CN102221879 B CN 102221879B CN 201110121334 A CN201110121334 A CN 201110121334A CN 102221879 B CN102221879 B CN 102221879B
Authority
CN
China
Prior art keywords
image
pattern
target
frame
pattern image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110121334.0A
Other languages
English (en)
Other versions
CN102221879A (zh
Inventor
李东雨
孙榕基
金培善
赵日衍
郑铉泰
林廷默
申喜淑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020100132490A external-priority patent/KR20110115508A/ko
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN102221879A publication Critical patent/CN102221879A/zh
Application granted granted Critical
Publication of CN102221879B publication Critical patent/CN102221879B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种用户接口设备包括：帧替换单元，配置为在帧时间处用图案帧替换输入图像信号的帧；投影仪模块，配置为将具有该图案帧的图像信号的图像投射到目标上；图像获取单元，配置为从投射到目标上的图像捕获该图案帧的图案图像；和图像识别单元，配置为使用捕获的图案图像来识别用户交互。

Description

用户接口设备以及使用其识别用户交互的方法
技术领域
本发明涉及一种用户接口，并更具体地，涉及一种用户接口设备以及使用该用户接口设备识别用户交互的方法。
背景技术
与最近的技术发展相符合，因为将小尺寸投影仪和相机安装在移动设备上，所以小尺寸投影仪和相机正变得越来越可应用。
另外，按照用户可在脖子周围或肩膀上佩戴小尺寸投影仪和相机的方式开发用于提供各种服务的原型投影系统，并且也正在开发可便携携带的可佩戴投影系统。
图1A和1B图示了根据现有技术如何使用其中合并了投影仪和相机的可佩戴投影系统来识别用户交互。在投影系统中，感测和识别例如在从投影系统投射的图像中发生的用户事件的用户交互是非常重要的。
同时，对于移动环境中的有效用户交互，需要在手掌上或在平坦桌子上投射图像，并通过使用手指或工具在投射的图像上做出交互。为了在移动嵌入式系统中执行这些处理，必然需要一种低计算识别技术。
为了通过识别用户姿势而实现交互识别的改善性能，可在用户的手上或手指上物理佩戴例如颜色标记的工具。然而，这引起用户携带颜色标记的不方便。
为了克服该不便之处，也正在开发使用徒手交互的技术。然而，该技术涉及通过处理利用相机捕获的彩色图像来识别用户交互。在这种情况下，需要高度计算来标识对彩色图像执行的用户交互，因此需要长时间以识别用户交互，并且嵌入式系统不能提供快速的响应时间。特别是，使用裸指或工具对投射到手掌或桌子表面上的图像的触摸操作的识别是需要大量计算的非常困难的技术。
此外，投影仪投射的图像应该在亮度、颜色、聚焦等方面很好地匹配，并应保持没有失真，以便可实现高质量的用户交互识别。为了这个目的，需要调整亮度、颜色以及聚焦并将投射的图像精确匹配到例如屏幕的特定空间。
发明内容
鉴于此，本发明提供用户接口设备以及使用该用户接口设备识别用户交互的方法，这允许通过低计算量来快速处理用户交互。
另外，本发明提供用户接口设备以及使用该用户接口设备识别用户交互的方法，这允许快速调整用于用户交互而投射的图像的亮度、颜色以及聚焦。
根据本发明的一个方面，提供了一种用户接口设备，包括：帧替换单元，配置为在帧时间处用图案帧替换输入图像信号的帧；投影仪模块，配置为将具有该图案帧的图像信号的图像投射到目标上；图像获取单元，配置为从投射到目标上的图像捕获该图案帧的图案图像；和图像识别单元，配置为使用捕获的图案图像来识别用户交互。
根据本发明的第二方面，提供了一种用于识别用户交互的方法，该方法包括：在帧时间处用图案帧替换输入图像信号的帧；将具有该图案帧的图像信号的图像投射到目标上；从投射到目标上的图像捕获该图案帧的图案图像；和使用捕获的图案图像来识别用户交互。
根据本发明的第三方面，提供了一种用户交互设备，包括：投影仪模块，配置为将图像投射到目标上；图案图象发生器，配置为通过衍射生成具有图案的激光束，以将其图案图像投射到目标上；图像获取单元，配置为与该图案图像的投射同步地捕获在该图像所投射到的目标上投射的图案图像；和图像识别单元，配置为通过使用所捕获的图案图像来识别用户交互。
附图说明
通过结合附图给出的实施例的下述描述，本发明的以上和其他目的和特征将变得显而易见，其中：
图1A和1B图示了根据现有技术如何使用可佩戴投影系统来识别用户交互；
图2示出了根据本发明第一实施例的用户接口设备的框图；
图3A到3C图示了投射到目标上的示范性图案图像；
图4图示了投射到目标上的另一个示范性图案图像；
图5A图示了由图2中示出的帧替换单元在帧时间用图案帧替换输入图像信号的图像帧的示例；
图5B图示了由图2中示出的图像获取单元在帧时间捕获的图案帧的示例；
图6A代表用户在从投射在目标上的感兴趣的图像捕获的图案图像上的诸如手指按压或拖曳的事件；
图6B代表用户在从投射在目标上的感兴趣的图像捕获的图案图像上的诸如手指释放的事件；
图7A和7B分别示出了由图6A和6B的手指移动事件引起的图案图像的栅格图案的改变；
图8A和8B图示了由非平面的或倾斜的目标引起的图案图像的栅格图案的示范性失真；
图9示出了当不调整图2的投影仪模块的聚焦时投射的图案图像的不清楚的栅格图案；
图10A和10B图示了其中合并图2的用户接口设备的移动投影系统；
图11图示了图2中示出的投影仪模块的详细框图；
图12和13图示了图11中示出的投影仪模块的示例；
图14图示了图11中示出的投影仪模块的另一示例；
图15A和15B是图示了根据本发明实施例的使用图2中的用户接口设备识别用户交互的方法的流程图；和
图16示出了根据本发明第二实施例的用户接口设备的框图。
具体实施方式
从结合附图的下述实施例中，本发明的优点和特征将被清楚地理解。在图中，整个说明书中相同或类似的附图标记表示相同或类似的元件。
图2图示了根据本发明第一实施例的用户接口设备的框图。
如所示出的，用户接口设备包括帧替换单元100、图像校正单元110、投影仪模块200、光源控制器300、光学控制器400、图像获取单元500、同步单元600、图像识别单元700和目标900。
帧替换单元100在帧时间处用图案帧替换输入图像信号的帧。将具有图案帧的图像信号提供给投影仪模块200。可用投影仪实现的投影仪模块200将具有包含图案图像的图案帧的图像信号的图像投射到目标900上。
在本发明的实施例中，目标可包括但不限于手掌、纸、书、屏幕等的平坦表面。用户可使用手指或工具触摸在目标900上投射的图像，以生成用于控制机器的用户交互。
可用静态相机等实现的图像获取单元500在帧时间处从投射到目标900上的图像中捕获图案帧的图案图像。将图像获取单元500所捕获的图案图像提供给图像识别单元700。其间，同步单元600执行投影仪模块200和图像获取单元500的帧同步，使得图像获取单元500可以与该帧时间同步地从投射到目标900上的图像获取图案图像。该帧时间可以是固定时间间隔或随机时间间隔。
图像识别单元700从图像获取单元500所捕获的图案图像识别用户交互，例如用户手指或工具的移动事件。另外，图像识别单元700检测图案图像的亮度、颜色和失真。将所检测的图案图像的亮度、颜色和失真提供给图像校正单元110。另外，图像识别单元700检测图案帧的散焦。同样地，将所检测的散焦提供给光学控制器400。
光学控制器400取决于所检测的散焦来控制投影仪模块200的聚焦、摇摄(pan)和/或倾斜，以校正要投射在目标900上的图像的聚焦。一旦感知到所检测的亮度、颜色和失真，图像校正单元110就校正要投射在目标900上的图像的亮度、颜色和失真。光源控制器300控制投影仪模块200的光源的通/断开关。
图3A图示了示范性图案图像。取决于其目的，图案图像可包括单色、彩色或IR(红外线)的结构光以及通用目的图像。如在图3A中所示的，投射在目标900上的图案图像具有栅格图案。图案图像包括分别指示图案图像的开始和结束的开始和结束图案111和113。在彩色图案图像的情况下，其进一步包括用于校正图案图像的颜色的RGB颜色校正像素113。如图3B和3C中所示的，图案图像进一步包括列指数图案114和行指数图案115。
可选的，如图4所示的，图案图像可以是广播信号的颜色校正屏幕的形式。另外，图案图像可包括在增强现实(AR)技术中使用的标记类型图案。
参考图5A和5B，图示了其中帧替换单元100在帧时间处用图案帧替换输入图像信号的图像帧的示例、以及图像获取单元500在帧时间处捕获图案帧的示例。
如上所述，图案图像可以是单色、彩色或IR的结构光以及通用目的图像。单色和彩色图案图像具有它们可用于校正图案图像的亮度和颜色并可被用于各种RGB投影仪的优点。另外，单色和彩色图案图像具有促进调整颜色使其易于与背景区分的优点。
其间，为了防止投射到目标上的图像的质量降级，图案图像应该对于用户的眼睛是不可见的，并且因此可存在对于要替换的图案图像的数目的限制。然而，即使用多个图案帧代替图像帧，如果期望增加投射到目标上的图像的质量和用户交互的识别，则可采用图案帧的高速替换技术和高速图像捕获技术。
在使用IR图案图像的情况下，由于当从投射到目标上的图像捕获图案图像时仅可通过IR相机获得IR图像，所以这使得图像处理更容易，并且由此由于要替换的IR图像对于人眼不可见，因此对于要替换的IR图像的数目几乎没有任何限制。然而，IR图像不可用于颜色和亮度校正，并且仅用在具有IR光源的IR投影仪中。
根据本发明，即使仅在帧时间处捕获图案图像，仍可能识别用户交互，并因此可减少用户交互的识别的计算量。
图6A和6B图示了从投射到目标上的图像所捕获的图案图像。在图6A中，图示了例如在图案图像上用户通过手指按压或拖曳的事件，而在图6B中，图示了例如在图案图像上释放手指的事件。
图7A和7B分别图示了通过图6A和6B中执行的事件而发生的图案图像的栅格图案中的改变。如果用户使用手指触摸投射到目标900上的图像的表面，则如图7A所示，在图案图像的栅格图案中几乎没有失真、亮度、浓度等的改变，因为手指放置在与图像的表面相同的平面上。相反，如果用户从图像的表面释放其手指，则由于在手指和表面之间的距离使得如图7B所示发生了栅格图案的实质改变。
同样，图像识别单元700感知图案图像的栅格图案的改变，获取有关与手指的位置相对应的改变的栅格图案的坐标的信息，并以此标识用户交互。基于该标识，图像识别单元700能够识别手指的触摸、拖曳、释放等。这样识别的用户交互可被用作用户输入，以控制诸如计算系统的机器。
传统地，当从相机所获取的图像中识别出手或手指移动的事件，则取决于皮肤颜色或周围环境而存在识别率的偏差。然而，在本发明中，从投射到目标上的图像中仅捕获图案图像，并且通过检测对皮肤颜色或周围环境的影响较小的捕获的图案图像的栅格图案中的改变，而标识手或手指移动的事件。因此，降低了识别率偏差，并实现稳定的识别结果。
图8A和8B示出了由非平面的或倾斜的目标引起的图案图像的栅格图案的示范性失真。发生失真的图案图像的栅格图案可以由图像识别单元700感知，并且图像校正单元110可校正该图案图像的失真。
图9示出了当投影仪模块200的聚焦没有被很好调整时所捕获的不清楚的图案图像。因此，可能在光学控制器400的控制下校正投影仪模块200的聚焦，直到图案图像中的栅格图案变清楚为止。10A和10B图示了其中合并图2的用户接口设备的移动投影系统的实施例。
在图10A中，附图标记201指示与图2的投影仪模块200对应的投影仪模块，附图标记301指示与图2的图像校正单元110、帧替换单元100和同步单元600对应的控制模块，附图标记401指示与图2的光学控制器400对应的聚焦控制电机，并且附图标记501指示与图2的图像获取单元500对应的静态相机。
在图10B中，附图标记203指示与图2的投影仪模块200对应的投影仪模块，附图标记303a指示与图2的图像校正单元110、帧替换单元100和同步单元600对应的控制模块，附图标记303b指示与图2的光源控制器300对应的RGB/IR光源控制器，附图标记403指示与图2的光学控制器400对应的聚焦控制电机，附图标记503a和503b分别指示与图2的图像获取单元500对应的静态相机和IR相机。
在图10A的移动投影系统中可使用单色图案图像或彩色图案图像，而在图10B的移动投影系统中可使用单色图案图像、彩色图案图像和IR图案图像。
图11图示了图2所示的投影仪模块200的框图。投影仪模块200包括投影仪202和光源204。光源控制器300由来自帧替换单元100的RGB/IR使能信号触发，以驱动光源204。投影仪202然后将具有图案帧的图像投射到目标900上。
图12和13图示了图11中示出的投影仪模块200的示例。在图12中，投影仪202可包括DLP投影仪210，而光源204可包括可集成到DLP投影仪210中的组合RGB/IR光源211。从RGB/IR光源211生成的RGB光穿过嵌入式透镜212和包括蓝色滤光片213a、绿色滤光片213b以及红色滤光片213c的色轮213，反射离开数字微镜器件(DMD)215，并然后通过投影透镜217投射到目标900上。同样的，在光源控制器300的控制下从RGB/IR源204生成的IR穿过嵌入式透镜212和色轮213的红色滤光片213c，反射离开数字微镜器件(DMD)215，并然后通过投影透镜217投射到目标900上。
在图13中，投影仪202可包括DLP投影仪220。光源204可包括可集成在DLP投影仪220中的RGB光源221a和IR光源221b。图13的投影仪202与图12的投影仪基本上一样，除了RGB光源221a和IR光源221b彼此分离并且包括用于折射从光源221a和221b中的每个生成的光的棱镜222之外。在光源控制器300的控制下从RGB光源221a生成的RGB光穿过棱镜222、嵌入式透镜212、以及包括蓝色滤光片223a、绿色滤光片223b、红色滤光片223c以及红外滤光片223d的色轮223，反射离开DMD215，并然后通过投影透镜217投射到目标900上。同样的，在光源控制器300的控制下从IR光源221b生成的IR穿过棱镜222、嵌入式透镜212以及色轮223的红外滤光片223d，反射离开DMD215，并然后通过投影透镜217投射到目标900上。
图14图示了图11中示出的投影仪200的另一示例。在图14中，投影仪200可包括3-LCD投影仪230并且光源204可包括组合RGB/IR光源231。在光源控制器300的控制下从RGB/IR光源231生成的RGB光由用于红色、绿色和蓝色三种颜色的二色镜233a、233b以及233c分离为红色、绿色和蓝色光，穿过棱镜237和投影透镜238，并然后被重组并投射到目标900上。没有解释的附图标记235b以及235c指示反射镜。同样，在光源控制器300的控制下从RGB/IR光源231生成的IR穿过棱镜233a、反射镜235d、235e以及235f、棱镜237和投影透镜238，并被投射到目标900上。
图15A和15B示出了用于解释根据本发明实施例的使用用户接口设备来识别用户交互的方法的流程图。
首先，在步骤S801，初始化用户接口设备，并由同步单元600执行投影仪模块200和图像获取单元500的帧同步。
在步骤S803，图像获取单元500检查是否到达帧时间。作为检查的结果，如果到达帧时间，则方法前进到步骤S811，其中图像获取单元500从投射到目标900上的图像捕获图案图像。
接着，在步骤S813确定该图案图像是否是单色/彩色图案图像。如果确定该图案图像是单色/彩色图案图像，则通过标签“C”方法前进到步骤S831，否则，方法进入步骤S815。
其后，在步骤S831，图案图像经历图像处理，并且图像识别单元700检测图案图像的亮度和颜色。所检测的图案图像的亮度和颜色然后被提供给光源控制器300，并且该方法然后前进到步骤S835。
其间，如果在步骤S815确定该图案图像是IR图案图像，则该方法通过标签“D”前进到步骤S821，其中IR图案图像经受图像处理。
在步骤S835，图像识别单元700通过图案图像识别用户交互。例如，可通过检测诸如用户的手指移动的事件引起的图案图像的栅格图案的改变，来识别用户交互。
另外，在相应步骤S837和S839中也从图案图像检测图案图像的聚焦和失真，并且所检测的聚焦和失真被提供给光学控制器400和图像校正单元110。其后，通过标签“E”方法返回到步骤S803。
在步骤S803，确定现在不是帧时间，方法进入步骤S841。在步骤S841，图像校正单元110校正要投射在目标900上的图像的亮度和颜色。
接下来，在步骤S842，在光学控制器400的控制下，取决于所检测的聚焦来控制投影仪模块200以校正要投射在目标900上的图像的聚焦。另外，在步骤S843，取决于所检测的失真，图像校正单元110校正要投射在目标900上的图像的失真。此后，通过标签“B”方法前进到步骤S845。
随后，在步骤S845，确定是否需要图案图像用于识别用户交互。如果需要，则在步骤S847，在帧时间处用图案帧替换输入图像信号的帧，并将具有图案帧的图像信号提供给投影仪模块200。然后，投影仪模块200与帧替换单元100同步地将该图像信号的图像投射到目标900上。方法返回到步骤S803，用于重复执行上述处理。
图16示出了根据本发明第二实施例的用户接口设备的框图。第二实施例的配置与第一实施例的配置基本上相同，与第一实施例的不同之处在于，使用激光器代替采用光源来将图案图像投射到目标上。所以，为了简明起见，将省略对于与第一实施例中的组件相同的组件的详细描述。
如图16中所示，用户接口设备包括图像校正单元1110、图案图像发生器1120、投影仪模块1200、光学控制器1400、图像获取单元1500、图像识别单元1700和目标1900。
可以用投影仪实现的投影仪模块1200将输入图像信号的图像投射在目标1900上。可包括激光器投影模块和衍射光栅的图案图像发生器1120生成具有穿过衍射光栅的图案的激光束，以在帧时间处在目标900上投射图案图像。图案图像发生器120可生成取决于衍射光栅的各种类型的图案图像以及如第一实施例中的栅格图案的图案图像。
可以用IR相机实现的图像获取单元1500与该帧时间同步地捕获在主体图像所投射到的目标1900上投射的图案图像。图像获取单元1500所捕获的图案图像被提供到图像识别单元1700。
图像识别单元1700从图像获取单元1500所捕获的图案图像识别用户交互，诸如用户手指或工具的移动事件。此外，图像识别单元1700检测该图案图像的亮度、颜色、失真和聚焦。所检测的图案图像的亮度、颜色和失真被提供到图像校正单元110，而所检测的聚焦被提供到光学控制器1400。
图像校正单元1110取决于所检测的亮度、颜色来校正要投射在目标1900上的图像，并且光学控制器1400控制投影仪模块1200中的光学系统，以校正要投射在目标1900上的图像的聚焦。
如上所述，根据本发明的实施例，用户可使用徒手进行交互，并且需要低计算量用于识别交互，由此处理交互消耗短时间，并因此提供快速响应时间。
另外，图案图像的使用使得能够实现对于皮肤颜色和周围亮度的高识别性能。
而且，可快速地校正投影仪的亮度、颜色和聚焦，并且可以没有任何失真地将投射的图像快速精确地匹配到诸如屏幕的特定空间。
如上所描述的本发明可应用于装备有投影仪和相机的移动设备，也可应用于例如投影计算机的投影仪系统。具体地，本发明甚至可更多地应用于经受例如外围光量、照明、晃动等的周围环境剧变的移动设备或可佩戴系统，或者可应用于需要低计算技术的小尺寸嵌入式系统。
虽然已经针对特定实施例示出和描述了本发明，但是本领域技术人员将理解的是，可以进行各种改变和修改，而不脱离以下权利要求所限定的本发明的范围。

Claims (13)

1.一种用户接口设备，包括：
帧替换单元，配置为在帧时间处用图案帧替换输入图像信号的帧；
投影仪模块，配置为将具有该图案帧的图像信号的图像投射到目标上；
图像获取单元，配置为从投射到目标上的图像捕获该图案帧的图案图像；和
图像识别单元，配置为使用捕获的图案图像来识别用户交互，
其中该图案图像具有栅格图案，该图像识别单元检测由该目标上所投射的图像上的移动事件引起的图案图像的栅格图案的改变，以识别用户交互。
2.如权利要求1所述的用户接口设备，其中该图案图像包括单色和彩色的通用目的图像以及单色和彩色的构造光。
3.如权利要求1所述的用户接口设备，其中该图案图像包括红外图像。
4.如权利要求1所述的用户接口设备，其中该图像识别单元进一步被配置为检测该图案图像的聚焦，并且
该用户接口设备进一步包括光学控制器，该光学控制器被配置为控制该投影仪模块，以取决于所检测的聚焦来校正投影仪模块的聚焦。
5.如权利要求1所述的用户接口设备，其中该图像识别单元进一步被配置为检测图案图像的亮度、颜色和失真，并且
该用户接口设备进一步包括图像校正单元，被配置为取决于所检测的亮度、颜色和失真来校正要在目标上投射的图像的亮度、颜色和失真。
6.一种用于识别用户交互的方法，该方法包括：
在帧时间处用图案帧替换输入图像信号的帧；
将具有该图案帧的图像信号的图像投射到目标上；
从投射到目标上的图像捕获该图案帧的图案图像；和
使用捕获的图案图像来识别用户交互，
其中该图案图像具有栅格图案，该识别步骤包括检测由该目标上所投射的图像上的移动事件引起的图案图像的栅格图案的改变，以识别用户交互。
7.如权利要求6所述的方法，其中该图案图像包括单色和彩色的通用目的图像以及单色和彩色的结构光。
8.如权利要求6所述的方法，其中该图案图像包括红外图像。
9.如权利要求6、7和8中的任一个所述的方法，其中该图案图像具有栅格图案。
10.如权利要求9所述的方法，其中所述识别用户交互的步骤包括检测由该目标上所投射的图像上的移动事件引起的图案图像的栅格图案的改变。
11.一种用户交互设备，包括：
投影仪模块，配置为将图像投射到目标上；
图案图象发生器，配置为通过衍射生成具有图案的激光束，以将其图案图像投射到目标上；
图像获取单元，配置为与该图案图像的投射同步地捕获在该图像所投射到的目标上投射的图案图像；和
图像识别单元，配置为通过使用所捕获的图案图像来识别用户交互，
其中该图案图像具有栅格图案，该图像识别单元检测由该目标上所投射的图像上的移动事件引起的图案图像的栅格图案的改变，以识别用户交互。
12.如权利要求11所述的用户交互设备，其中该图案图像发生器包括投射激光束的激光器模块和使得该激光束穿过的衍射光栅。
13.如权利要求11所述的用户交互设备，其中该图像识别单元检测由移动事件引起的图案图像的图案的改变，以识别用户交互。
CN201110121334.0A 2010-04-15 2011-04-15 用户接口设备以及使用其识别用户交互的方法 Expired - Fee Related CN102221879B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20100034644 2010-04-15
KR10-2010-0034644 2010-04-15
KR10-2010-0132490 2010-12-22
KR1020100132490A KR20110115508A (ko) 2010-04-15 2010-12-22 사용자 인터랙션 장치 및 방법

Publications (2)

Publication Number Publication Date
CN102221879A CN102221879A (zh) 2011-10-19
CN102221879B true CN102221879B (zh) 2016-01-20

Family

ID=44246101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110121334.0A Expired - Fee Related CN102221879B (zh) 2010-04-15 2011-04-15 用户接口设备以及使用其识别用户交互的方法

Country Status (3)

Country Link
US (1) US20110254810A1 (zh)
EP (1) EP2378394A3 (zh)
CN (1) CN102221879B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011036618A2 (en) * 2009-09-22 2011-03-31 Pebblestech Ltd. Remote control of computer devices
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US9030445B2 (en) 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
CN102508544A (zh) * 2011-10-24 2012-06-20 四川长虹电器股份有限公司 一种基于投影互动的智能电视交互方法
WO2013138148A1 (en) * 2012-03-13 2013-09-19 Dolby Laboratories Licensing Corporation Lighting system and method for image and object enhancement
JP6065656B2 (ja) * 2012-05-22 2017-01-25 株式会社リコー パターン処理装置、パターン処理方法、パターン処理プログラム
KR20140004335A (ko) * 2012-07-02 2014-01-13 한국전자통신연구원 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
KR101371736B1 (ko) * 2012-08-22 2014-03-07 현대자동차(주) 터치스크린의 터치 인식방법
US8913037B1 (en) * 2012-10-09 2014-12-16 Rawles Llc Gesture recognition from depth and distortion analysis
CN103024324B (zh) * 2012-12-10 2016-06-22 Tcl通力电子（惠州）有限公司 一种短焦投影系统
JP6048189B2 (ja) * 2013-02-08 2016-12-21 株式会社リコー 投影システム、画像生成プログラム、情報処理装置及び画像生成方法
CN105659106B (zh) 2013-10-23 2018-12-28 脸谱公司 使用动态结构光的三维深度映射
CN104618698A (zh) * 2013-11-04 2015-05-13 中国移动通信集团公司 一种终端操控方法及装置
CN103995621B (zh) * 2014-04-28 2017-02-15 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
KR20170124559A (ko) 2015-02-25 2017-11-10 페이스북, 인크. 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
EP3274653B1 (en) 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) * 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
CN109558033A (zh) * 2017-09-27 2019-04-02 上海易视计算机科技有限公司 交互投影装置及其定位方法
JP2021197028A (ja) 2020-06-17 2021-12-27 セイコーエプソン株式会社 位置検出方法、プロジェクターの制御方法、位置検出装置およびプロジェクター

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1164045A (zh) * 1996-04-30 1997-11-05 摩托罗拉公司 可切换的透镜/漫射体
CN101593022A (zh) * 2009-06-30 2009-12-02 华南理工大学 一种基于指端跟踪的快速人机交互方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
JP3868621B2 (ja) * 1998-03-17 2007-01-17 株式会社東芝 画像取得装置、画像取得方法、及び記録媒体
JPH11265249A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
JP2000298544A (ja) * 1999-04-12 2000-10-24 Matsushita Electric Ind Co Ltd 入出力装置と入出力方法
US6433840B1 (en) * 1999-07-22 2002-08-13 Evans & Sutherland Computer Corporation Method and apparatus for multi-level image alignment
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3805231B2 (ja) * 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
DE10260305A1 (de) * 2002-12-20 2004-07-15 Siemens Ag HMI Einrichtung mit einem optischem Touch Screen
JP4535714B2 (ja) * 2003-11-19 2010-09-01 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ
JP3880582B2 (ja) * 2004-02-13 2007-02-14 Ｎｅｃビューテクノロジー株式会社 複数のカメラを備えたプロジェクタ
KR100809351B1 (ko) * 2006-04-03 2008-03-05 삼성전자주식회사 투사 영상을 보정하는 방법 및 장치
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8235534B2 (en) * 2008-05-21 2012-08-07 Panasonic Corporation Projector that projects a correction image between cyclic main image signals
JP5320865B2 (ja) * 2008-07-04 2013-10-23 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1164045A (zh) * 1996-04-30 1997-11-05 摩托罗拉公司 可切换的透镜/漫射体
CN101593022A (zh) * 2009-06-30 2009-12-02 华南理工大学 一种基于指端跟踪的快速人机交互方法

Also Published As

Publication number Publication date
CN102221879A (zh) 2011-10-19
EP2378394A3 (en) 2015-03-25
EP2378394A2 (en) 2011-10-19
US20110254810A1 (en) 2011-10-20

Similar Documents

Publication Publication Date Title
CN102221879B (zh) 用户接口设备以及使用其识别用户交互的方法
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
JP5912059B2 (ja) 情報処理装置、情報処理方法及び情報処理システム
US8957862B2 (en) Operation input system and operation input method
US20170347076A1 (en) Image projection system and image projection method
JP6635045B2 (ja) 投射装置およびインターフェース装置
CN104660842A (zh) 增强现实显示装置、印刷条件设定系统、印刷系统
JP7022323B2 (ja) 画像表示システム、画像表示装置及び画像表示システムの制御方法
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
KR102001950B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
CN102457692A (zh) 投影仪以及投影仪的控制方法
CN102455779A (zh) 信息处理设备和方法
JP6991957B2 (ja) 画像処理装置、撮像装置及び画像処理方法
CN112135120B (zh) 基于抬头显示系统的虚像信息测量方法及系统
US20170235429A1 (en) Optical Steering of Component Wavelengths of a Multi-Wavelength Beam to Enable Interactivity
JP2017208616A (ja) 画像処理装置、画像処理方法、およびプログラム
US10812764B2 (en) Display apparatus, display system, and method for controlling display apparatus
US10928894B2 (en) Eye tracking
CN108848295A (zh) 一种小型化超短焦视觉成像方法
US10798332B1 (en) Dual pass-through imaging system and method
JP2016157458A (ja) 情報処理装置
US10151665B2 (en) Lens meter
WO2020059157A1 (ja) 表示システム、プログラム、表示方法、及び頭部装着装置
JP2007322704A (ja) 画像表示システム及びその制御方法
JP5998591B2 (ja) 情報出力装置および情報検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160120

Termination date: 20160415

CF01 Termination of patent right due to non-payment of annual fee