CN105518576A - 根据手势的控制装置操作 - Google Patents

根据手势的控制装置操作 Download PDF

Info

Publication number
CN105518576A
CN105518576A CN201480047411.4A CN201480047411A CN105518576A CN 105518576 A CN105518576 A CN 105518576A CN 201480047411 A CN201480047411 A CN 201480047411A CN 105518576 A CN105518576 A CN 105518576A
Authority
CN
China
Prior art keywords
sensor
gesture
hot spot
function key
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480047411.4A
Other languages
English (en)
Other versions
CN105518576B (zh
Inventor
陈家铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN105518576A publication Critical patent/CN105518576A/zh
Application granted granted Critical
Publication of CN105518576B publication Critical patent/CN105518576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了一种非接触传感装置，其包含包括多个功能键传感器的传感器。所述多个功能键传感器中的功能键传感器具有视场。所述功能键传感器被构造和设置为检测在所述视场的手势，并且响应于检测在所述视场的所述手势，生成功能键控制信号。处理器处理来自所述功能键传感器的所述功能键控制信号并且响应于处理的控制信号向远程设备输出指令。

Description

根据手势的控制装置操作
相关申请
本申请要求2013年6月28日提交的美国临时专利申请号61/840791的优先权，通过全面引用将其内容并入到此处。本申请与2013年3月14日提交的美国专利申请号13/826177、2012年5月7日提交的美国临时专利申请号61/643535、2012年8月17日提交的美国临时专利申请号61/684336、2013年2月5日提交的美国临时专利申请号61/760966、2013年5月6日提交的PCT专利申请号PCT/US13/39666、2012年9月4日提交的美国临时专利申请号61/696518、2013年7月16日提交的美国临时专利申请号61/846738、2013年10月8日提交的美国专利申请号14/048505、2014年4月29日提交的美国临时专利申请号61/985762有关，通过全面引用将每个的内容并入到此处。
技术领域
本发明构思通常涉及装置控制，并且更具体而言，涉及用于根据手势控制机器、仪器、机器人、车辆或其它装置或物体的装置、系统以及方法。
背景技术
可以将通过人类操作员的机器的操作总结如下。首先，操作员可以观察或检查先前操作的结果。如果没有获得预期结果，操作员可以继续或可以做出对下一步操作的输入的调整。该过程可以接续直到获得预期结果。
传统办法需要操作员通过机械元件与机器、装置和/或仪器通讯的方式，例如操纵杆、方向盘或脚座，来控制机器、装置和/或仪器的操作。
发明内容
一方面，提供一种非接触传感装置，包含包括多个功能键传感器的传感器。所述多个功能键传感器中的功能键传感器具有视场。所述功能键传感器被构造并设置为检测在所述视场的手势，并且响应于检测在所述视场的所述手势，生成功能键控制信号。处理器处理来自所述功能键传感器的所述功能键控制信号并且响应于所述处理的控制信号向远程设备输出指令。
在一些实施例中，所述非接触传感装置包含识别所述手势的一个或多个相机，其中所述指令被响应于所述功能键传感器的功能键和识别的手势的组合而生成。
在一些实施例中，所述传感器为包括探测器阵列的凝视(staring)传感器，所述探测器阵列包括所述功能键传感器和非功能键传感器的组合，所述凝视传感器同时生成所述探测器阵列的所有图像像素。
在一些实施例中，所述传感器为每次扫描视场的一部分的扫描传感器。
在一些实施例中，所述传感器包括扫描镜，其扫描所有功能键传感器和仅在所述扫描的路径中的所述非功能键传感器，以缩短数据获取时间。
在一些实施例中，所述传感器被构造和设置为发射模式传感器，其包括收集从所述手势发出的热辐射的热传感器。
在一些实施例中，所述传感器被构造和设置为反射模式传感器，其包括收集从所述手势反射的彩色光的颜色传感器。
在一些实施例中，所述非接触传感装置进一步包含控制光斑生成器，其生成与所述视场相对准的控制光斑，并且所述功能键传感器检测在所述控制光斑内的目标。
在一些实施例中，所述传感器检测在所述控制光斑处的所述手势。
在一些实施例中，所述非接触传感装置进一步包含位于所述传感器与所述控制光斑生成器之间的分束器，其中在所述分束器处定向的所述控制光斑生成器输出的光与所述视场一致。
在一些实施例中，通过定位在多个控制光斑中的所述控制光斑处诸如手的地面真实目标并通过所述非接触传感装置收集所述地面真实目标的图像，而识别与其它功能键传感器相区别的对应于所述功能键传感器的功能键，其中在具有最高探测器输出的所述传感器的一个像素或一组像素被识别作为所述功能键。
在一些实施例中，所述控制光斑生成器包含白色发光二极管(LED)、具有多个颜色滤光器的控制光斑生成器板以及透镜，其中当所述白色LED照明时，从所述颜色滤光器生成彩色光，并且在其中生成多个控制光斑。
在一些实施例中，每个彩色控制光斑与功能键传感器的视场相对准。
在一些实施例中，所述控制光斑生成器包含多个彩色LED、灯管、灯管安装板以及透镜，其中，所述彩色LED被放置在灯管的输入端处，灯管的输出端被放置在所述透镜的焦平面处，从而，生成每个照明不同功能键传感器的视场的不同颜色的控制光斑，并且其中，所述灯管板在所述透镜的所述焦平面处将所述灯管保持在一起。
在一些实施例中，所述远程装置包含多个装置，并且所述处理器生成用于所述多个装置的一个装置的装置编号，每个装置编号对应于在指定的控制光斑处的手势，从而允许用户选择哪些装置进行操作。
在一些实施例中，当将所述手势放置在所述控制光斑中时，对应于所述功能键像素的功能键变得非激活，而当将所述手势放置在所述光斑中时，所述功能键被重激活。
在一些实施例中，所述传感器为包括在所述传感器的前面的旋转轮上的颜色滤光器的颜色传感器，其中，对于每个颜色滤光器，获得场景的图像，并且其中，将彩色图像的功能键像素被处理以确定是否检测到皮肤颜色光谱。
在一些实施例中，所述传感器为包括彩色相机的颜色传感器，并且其中，彩色图像的功能键像素被处理以确定是否检测到皮肤颜色光谱。
在一些实施例中，在功能键识别定标处理期间，所述处理器由存储在所述处理器中的所述功能键位置而将所述功能键传感器与所述多个传感器的其它传感器区别开来。
在一些实施例中，所述非接触传感装置进一步包含配置有头戴式显示器的所述传感器，所述显示器提供关于所述远程装置的操作的视觉信息。
在一些实施例中，所述远程装置为无人机，所述非接触传感装置被构造和设置为控制所述无人机的所述操作，并且所述头戴式显示器显示飞行信息、机载相机图像以及关于所述无人机的所述操作的其它信息的组合。
在一些实施例中，相机捕获对应于所述手势的图像数据，并且所述处理器将所述捕获的图像数据转换为控制在显示器处的光标的光标指令信号。
在另一面，提供一种手势控制系统，包括：在表面形成控制光斑的控制光斑生成器；感测在所述控制光斑中的手的存在的传感器；提供用于捕获在所述控制光斑处的手势的图像的视场的至少一个手势传感器；将所述手势的所述捕获的图像转换为指令信号的处理器；以及发射机，所述将所述指令信号输出到将所述指令信号译为通过设备执行的动作的所述设备。
在一些实施例中，所述传感器为颜色传感器或热传感器中的至少一种。
在一些实施例中，所述手势控制系统进一步包括：用于操作所述设备的显示器，和从所述显示器显示的多个应用，所述多个应用响应于对应于所述手势的所述指令信号而被激活。
在一些实施例中，所述传感器包含用于识别所述手势的可见光热双波段相机或多个相机。
在一些实施例中，所述处理器将所述手势的所述捕获的图像转换为控制在显示器处的光标的光标指令信号。
在一些实施例中，所述处理器将所述手势的所述捕获的图像转换为控制所述设备而没有与所述显示器交互的操纵杆指令信号。
在一些实施例中，所述手势控制系统被构造和设置为用于安装到天花板、底座或头带。
在另一方面，提供一种用于提供非接触切换并控制装置的方法，包括：感测通过由控制光斑生成器的彩色光照亮的在成像传感器的功能键传感器的视场中的手信号；通过一个或多个相机捕获在控制光斑中的手势图像；通过处理器，基于所述功能键传感器的指定任务、所述手势的指定任务、或二者、来形成图像像素的图像区域的样品，发出控制指令；将所述图像像素转换为功能键像素；以及通过阻碍所述功能键像素的视场来控制装置。
在另一方面，提供基于扩散器的控制系统，包括：扩散器，所述扩散器用于模糊背景细节同时保留在其附近的目标细节；用于捕获手势的成像传感器；从所述成像传感器的选择的像素构造的一个或多个功能键传感器；用于照明所述目标的光源；用于识别功能键传感器的视场的控制光斑；处理器，所述处理器用于处理手势图像、功能键传感器信号的组合并将它们转换为指令；以及收发器，所述收发器用于向所述控制设备发出指令并从所述控制设备接收信息。
附图说明
从优选的实施例的更具体说明，本发明构思的实施例的上述和其它对象、特征和优势将显而易见，如附图所示；其中，贯穿不同视图中的相同参考字符指相同元件。绘图无需按比例，而是将重点放在说明优选实施例的原理。
图1为示出需要手动控制的操作的流程图。
图2为依照一些实施例的示出了装置的操作的流程图。
图2A为依照一些实施例的手势与光标之间的关系的视图和对应的显示器视图。
图3A为依照一些实施例的示出通过提供在手势与可穿戴计算机显示器之间交互作用的手势控制模块来控制的装置的操作的图。
图3B为依照一些实施例的示出可穿戴计算机显示器的视图的图。
图4A到4C示出依照实施例的用于进行光标操作的不同手势和对应的指令。
图5A到5F示出依照实施例的用于进行操纵杆操作的不同手势和对应的指令。
图6为依照一些实施例的示出远程控制发光二极管(LED)灯的手势控制模块的图。
图7为依照一些实施例的示出远程控制电视机的手势控制模块的图。
图8为依照一些实施例的手势控制模块的方框图。
图9为依照一些实施例的耦合到光束调向机制的常平架的电筒相机的图。
图10为依照一些实施例的光束调向机制的双轴俯仰-滚转常平架的图。
图11A为依照一些实施例的可见光热双波段电筒相机的顶视图。
图11B为图11A的可见光热双波段电筒相机的侧视图。
图12为依照一些实施例的手势控制模块的图。
图13为依照一些实施例的控制光斑生成器的图。
图14为依照一些实施例的手势传感器的可见光热双波段相机的视图。
图15A-15B为依照一些实施例的每个包括三维手势控制模块和预定数量的相机的各种耳机的视图。
图15C为依照一些实施例的在定位手势之前和之后的两个不同高度处输出彩色控制光斑的控制模块的视图。
图16为依照一些实施例的示出非接触切换器系统的元件的操作的视图。
图17为依照一些实施例的非接触切换的功能键的视图。
图18为依照一些实施例的从传感器图像的像素构造的多个非接触键的示出。
图19为依照一些实施例的凝视型非接触传感器和扫描型非接触传感器的视图。
图19A为依照一些实施例的热传感器和皮肤颜色传感器的视图。
图20为依照一些实施例的用于对准功能键像素与控制光斑的系统2000的视图。
图21A为依照一些实施例的用于线探测器阵列的平行扫描配置的示出。
图21B为依照一些实施例的用于单个元件非接触传感器的扫描配置的示出。
图21C为依照一些实施例的用于单个元件非接触传感器的快速扫描配置的示出。
图22为依照一些实施例的控制光斑生成器的视图。
图23为依照一些实施例的控制光斑生成器的视图。
图24为依照一些实施例的包括扫描非接触传感器的非接触切换器的视图。
图25为依照一些实施例的包括凝视非接触传感器的非接触切换器的视图。
图26为依照一些实施例的通过非接触切换器控制的设备的视图。
图27为依照一些实施例的包括相机的非接触切换器的视图。
图28为依照一些实施例的通过非接触切换器控制的多个装置的视图。
图29为依照一些实施例的示出在操作中非接触切换器的各元件之间的关系的流程图。
图30为依照一些实施例的用于远程控制车辆的远程控制器的控制光斑功能的视图。
图31为依照一些实施例的用于视频游戏机的游戏控制器的控制光斑功能的视图。
图32为依照一些实施例的用于控制挖掘机的两个非接触控制器的控制光斑功能的视图。
图33为依照一些实施例的用于控制无人机的非接触控制器系统的示出。
图34为依照一些实施例的用于控制无人机的非接触控制器系统的控制光斑功能的另一示出。
图35A为依照一些实施例，当将控制器系统配置为用于手动模式的操作时，在图33的显示装置处的相机所生成的图像。
图35B为依照一些实施例，当将控制器系统配置为用于自动模式的操作时，在图33的显示装置处的相机所生成的图像。
图36为依照一些实施例的控制机载相机的控制器系统的示出。
图37为依照一些实施例的扩散器散射光的示出。
图38为依照一些实施例，当扩散器在相机与物体之间时生成的图像。
图39为依照一些实施例的具有扩散器的切换器的元件的视图。
图40A为依照一些实施例的具有扩散器的切换器的顶视图。
图40B为图40A的切换器的侧视图。
图41为依照一些实施例的使用基于扩散器的控制器的操作员的示出。
图42为依照一些实施例的表示密码锁整数的手势的视图。
图43为依照一些实施例的基于扩散器的手势锁机制的示出。
具体实施方式
本文所使用的术语旨在描述特定实施例，并不旨在限制发明构思。如此处所使用，单数形式“一”、“一个”以及“这个”旨在也包括复数形式，除非上下文清楚说明。进一步将理解，当在此处使用术语“包含”、“包括”、“包括”和/或“包含”时，指定所说明的特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或及其组合的存在或添加。
将应了解，尽管此处可能使用术语“第一”、“第二”、“第三”等来描述各种限制、元件、部件、区域、层和/或段，但不得通过这些术语限制这些限制、元件、部件、区域、层和/或段。这些术语仅用于将一种限制、元件、部件、区域、层或段与另一种限制、元件、部件、区域、层或段区别开来。因此，下文描述的第一限制、元件、部件、区域、层或段可在不脱离本申请的教导下被称为第二限制、元件、部件、区域、层或段。
应进一步了解，当元件被称为“在另一元件上”或“与另一元件连接”或“耦合到另一元件”时，其可直接位于另一元件上或之上、或与其连接或耦合，或可以存在介入元件。于此相反，当元件被称为“直接在另一元件上”或“直接与另一元件连接”或“直接与另一元件耦合”时，不存在介入元件。用于描述各元件之间关系的其它词应以类似的方式加以解释(例如：“在……之间”与“直接在……之间”、“邻近”与“直接邻近”等)。当元件在此处被称为“在另一元件之上”时，其可位于另一元件之上或之下，或直接耦合到另一元件，或可存在介入元件，或元件可通过空隙或间隙分隔开来。
图1为示出需要手动控制装置的操作的流程图。
人类操作员12参与诸如机器、仪器、机器人、车辆或其它装置或物体的装置16的的操作18。手动控制14可以包括设备16的直接手动控制，例如，操作员12坐在汽车内，并在汽车内通过调向方向盘的方式以预期的方向将汽车转向。手动控制14可以备选地包括设备16的非直接控制或远程控制，例如，操作员12通过与计算机操作台通讯的操纵杆的方式来远程控制无人机。当进行操作18时，人类观察20可设定被考虑到设备16的控制需要的调整。例如，人类操作员12可确定，响应于人类观察，操纵杆必须被在不同方向中移动来作为操作18的部分。
在一些应用中，例如，当坐在车辆里时，操作员必须坐在狭小的空间里，并且当进行操作时，重复费力的手和脚运动达数小时，这是人体工程学危险。在一些应用中，操作员可能物理上接近危险操作区域。
可将远程控制用于解决这些难题。虽然，在一些情境中，远程控制具有优势，因为它们廉价且易构造，但是，它们具有广泛的重量并且需要重复的手部运动，例如，当使用操纵杆或计算机鼠标以移动光标(其意味着装置的移动)时。
由于手势运动为用户的手和手指的自然运动，手势控制机制没有额外重量。如在美国专利申请序列号13/826177中所描述，该申请通过引用并入到此处，可以将手势用于控制发光二极管(LED)灯或相关的发光装置。此处，可以通过可见光相机结合热传感器或辐射皮肤检测探测器完成手势识别。光束调向机制可以根据用户的手势控制照明光斑和通过装置生成的控制光斑以及传感器和可见光相机的视场(FOV)。
简而言之，本发明构思的实施例包括用于允许将手势用于远程控制设备的系统和方法，该设备诸如机械装置、仪器、机器、机器人、游戏机和/或能够接收并处理响应于手势的信号输出的其它设备。系统生成并输出控制光斑，以便用户可以确定定位手或相关物体的位置。在这种情况下，用户可以在控制光斑之前或在控制光斑处做出手势以控制装置。因此，手势可以表示指令。在一些实施例中，手势控制模块可以代替控制面板、操纵杆、计算机鼠标或其它传统外围装置，或通常用于与一个或多个机器、机器人、装置、仪器以及游戏机通讯的直接手动操作。在其它实施例中，手势控制模块可以补充控制面板、操纵杆、计算机鼠标或其它传统外围装置，或通常用于与一个或多个机器、机器人、装置、仪器以及游戏机通信的直接手动操作。
图2为依照一些实施例的示出设备16的操作的流程图。设备16可以包括响应于被进行以控制装置的移动或其它动作的手势等的仪器、机器人、诸如在图3中示出的起重机的车辆装置、游戏机和/或可以接收并处理电、光、RF或输出到设备的其它控制信号23的其它机械装置的装置。
如在图2中所示，通过手势控制系统30而非在图1的流程图中示出的传统手动控制14来生成控制信号23。同样，在图2中，可以通过使用或不使用诸如谷歌眼镜计算机的可穿戴计算机的人类观察来进行人类观察决定棱形22。可以添加可穿戴计算机(优选具有光学头戴式显示器(OHMD))，以监视操作并且协助观察操作和增强在从通过设备16进行的操作18反馈期间的手势功能。在一些仅需要少许手势的实施例中，可穿戴计算机不是系统的一部分。
如在图2A中所示，可以实现图2的流程图，从而，在一些实施例中，可以将手势71用于控制光标72的移动，例如，在不同的显示图标、按钮、窗口或对于本领域中的那些普通技术人员已知的其它显示元件之间。在图2A的左下角中的显示器44中，将光标72显示为箭头。图2A的右下角示出在像素网格的图像78中的手势。在图像78中手势的像素位置71a为已知的。将手势71的像素位置转换为在显示器44中的光标72的像素位置。光标72可以从当前位置移动到新的位置。图2A的顶部示出通过手势71移动光标72的过程。捕获对应于手势的图像78a。从图像78a提取手势的位置71a。将位置71a转换为在显示器44中的光标位置72a。光标72从当前位置移动到新的位置。过程持续重复直到手势71停止移动。
图3为依照一些实施例的示出通过提供在手势与可穿戴计算机显示器44之间交互作用的手势控制系统30来控制的设备16的操作的图。在图3中，设备16为起重机。然而，本发明构思不限于此，并且可以被实施用于对于本领域那些普通技术人员已知的另一设备的操作，例如，无人驾驶飞机、机器人、仪器、游戏机以此类推等。在一些实施例中，可以将手势控制系统30安装在诸如天花板、墙面或固定装置的永久平台上。在一些实施例中，可以将手势控制系统30安装在诸如三脚架、杆或用于视场操作的其它固定装置的临时平台上。在一些实施例中，如在图15中所示，可以将手势控制模块安装在操作员的耳机上。
在操作期间，起重机操作员可以将手放置在照明的控制光斑46中并且做出手势。可以通过例如LED灯的光源生成控制光斑46，该光源照明具有控制光斑46的表面。在一些实施例中，采用单一控制光斑46。在其它实施例中，采用多个控制光斑。在一些实施例中，控制光斑46为在可见光谱内的颜色。例如，如此处所描述的那样，可以通过滤光器、灯管、控制光斑LED或及其组合来生成控制光斑46。
在显示器44处，可以将手势表示为光标72等。可以缩放对应于手势的图像尺寸和对应于光标的显示尺寸。例如，如果图像尺寸两倍于显示尺寸，则在i、j(200，400)处的手势位置为在显示器44中的光标位置(100，200)。
当手势移动到通过手势控制系统30生成的控制光斑之上时，光标也在相同方向上移动。优选显示器和相机图像相对准，以便当手势在图像中的水平方向上移动时，光标同样在显示器44的水平方向上移动。在显示器屏幕44A处，操作员可以通过选择(例如双击)对应于例如起重机的设备16的图标51，来选择设备以操作。在一些实施例中，通过拇指击中食指进行点击，即，运动，从而，用户如在图4(B)中所示一起并拢手指。其它手势可以译为不同的光标功能。例如，如在图4(C)中所示，通过食指与拇指接触完成按住光标。
在操作期间，在用户之上或通过用户佩戴的手势控制模块捕获手势的图像。处理器分析手势类型。如果为光标手势，则它的位置为光标位置。当手势移动时，光标同样移动到新的位置。通过将手势移动到图像的左上角，光标同样移动到显示器的左上角。当光标到达图标51时，使用如在图4(B)中示出的点击手势70B，然后，用户可以访问起重机的控制面板58。示出被用于手势控制的一只手。在一些实施例中，可以将两只手放置在控制光斑中用于手势控制，例如，以提高允许附加手势被处理的手势控制能力。
图3A为依照一些实施例的示出可穿戴计算机显示器44的视图的图。
在显示器44，计算机应用屏幕44A显示各种装置、机器人、设备、仪器、车辆、游戏以此类推等的图标。代替使用鼠标等以在图标之上移动光标，用户可以通过进行手势而激活图标(例如图标55)。在这种情况下，可以显示操作屏幕44B。在一些实施例中，操作屏幕44B包括(示出例如装置状态信息的仪器当前信息的)仪器状态子窗口56和(示出环境信息的)环境子窗口57以及用于控制仪器的各种工具的图标，该环境子窗口在起重机操作中同样重要，例如，提供天气信息，以便操作员意识到下雨天，各种工具的图表例如为按钮模式图标58和操纵杆模式图标60。在一些实施例中，可以以在图3B的控制面板的选择菜单显示器中示出的光标模式来操作手势控制。在光标模式中，用户可以在控制面板上点击按钮。在一些实施例中，可以以操纵杆模式进行手势控制。在该模式下，可以使用用于各种运动的手势。在一些实施例中，可以以光标和操纵杆模式进行手势控制。
图4A到4C示出依照一些实施例的用于进行光标操作的不同手势70A-70C和对应的指令。在图4A中，手势70A与指令有关，以便手势70A模拟光标或进行光标的功能。例如，可以通过做出手势70B进行光标点击功能，手势70B包括如在图4B中所示的食指与拇指相击中。可以进行手势70B以“点击”图3B的图标55，并且激活对应于图标55的程序。在另一实例中，通过如在图4C中示出的手势70C所示的接触食指与拇指来完成关于按住光标的功能，例如，在显示器上，以将类似于光标功能的图标、窗口、按钮拖拉和下降。
图5A到5F示出依照实施例的用于进行操纵杆操作的不同手势80A-80F和对应的指令。在图5A中，手势80A与用于模拟操纵杆的向上运动或俯仰运动的指令有关，其译为在计算机屏幕上显示的项目、字符或其它元素的计算机屏幕上的运动，其响应于手势从计算机屏幕的一点移动到另一点。在典型的操纵杆模式操作中，操作员没有看显示器，而是通过看操纵杆将注意力集中在手的操作。在操纵杆模式的人类反应，即，使用手势，比在光标模式中的更快。换言之，在操纵杆模式，在操作员与监视器之间发生最小化交互。操作员记住用于各种运动的手势。操纵杆模式因而比光标模式更快，因为操作员可以将注意力集中在操作上。因此，游戏玩家等更优选在操纵杆模式中的操作。
在图5B中，手势80B与用于模拟操纵杆包括俯仰运动的向下运动的指令有关。在图5C中，手势80C与用于停止包括俯仰运动的向上和向下运动的指令有关。可以通过做出由在图5D中示出的手势80D所示的圆形图样中的旋转手势获得例如用于控制调向轮的旋转运动的圆周运动。可以通过沿如在图5E中示出的手势80E示出的水平面的手势运动获得线性运动。在右下角上的手势80F可以用于触发(例如拉起)在操纵杆、枪或其它装置上的触发器。在如在图4和5中所示的一些实施例中，手势运动70、80为二维手势。
再次参考图3A，应用屏幕44A可以显示大量的图标、窗口、按钮或各种类型的计算机应用的其它可见表示。可以将依照一些实施例的手势控制系统30用于控制使用对应于在应用屏幕44A处显示的图标55的许多不同装置。例如，可以将相同的手势控制系统30用于控制机器人或具有彼此相对移动的一个或多个元件的其它机械装置。同样可以将相同的手势控制系统30用于控制一个或多个其它设备。
图6为依照一些实施例的示出远程控制发光二极管(LED)灯90的手势控制系统30的图。手势控制系统30和/或LED灯90的独立的元件可以相似于或相同于在美国专利申请号13/826177中描述的那些，该专利申请通过引用并入到此处。
如在图6中所示，手势控制系统30和LED灯90物理上分离。手势控制系统30包括信号发射器31。LED灯91包括信号接收器31，该信号接收器31通过例如无线电波、光信号等的无线通信信号与信号发射器31通信。在一些实施例中，可以通过光纤或以太网电缆传输信号。由于手势控制系统30生成控制光斑46，并且由于LED灯90生成照明光斑92，可以将手势放置在控制光斑30下以控制照明光斑92。如果用户或其它人类观察员想要将控制照明光斑92调向到预期位置，他/她可以调整手势位置并且对比当前照明光斑92位置与预期位置。继续该过程可以继续并且重复直到照明光斑92到达它的目的地。
手势控制系统30和LED灯90中的一个或者两者都可以具有光束调向机制(没有示出)，例如，在美国专利申请号13/826177中描述的，通过引用将其并入到此处。在一些实施例中，提供监视器和对应的处理器用于通过相同的手势控制系统30控制多个LED灯。
图7为依照一些实施例的示出远程控制电视机102的手势控制模块130的图。虽然描述了电视机102，相关的视觉显示器可以同样适用，例如，计算机显示器。控制模块130包括与在电视机102处的接收器103互换通信信号的发射器131，该通信信号为例如无线电波、光信号等的无线通信信号。通信信号的实例为类似于或相同于参考图2描述的控制信号23的控制信号。
在通过控制模块130生成的控制光斑46中的手势70、80可以代替远程控制装置等，并且被用于访问在电视机102上的选择菜单等，这可以通过此处描述的光标或操纵杆手势实现。
图8为依照一些实施例的手势控制系统30的方框图。手势控制系统30包含光束调向机制202、计算处理器204、收发器206、手势传感器208、控制光斑生成器210以及可穿戴计算机显示器212，它们中的一些或全部可以共同位于在相同壳体之下作为单一单元。
控制光斑生成器210在手势将被感测的区域处或附近生成控制光斑。在一些实施例中，控制光斑足够大以包围至少一只手，例如12”直径。在其它实施例中，控制光斑较小，例如大约1”直径。控制光斑生成器210可以包括用于生成控制光斑的滤光器、灯管、LED或其组合，这可以相同于或类似于在美国专利序列号13/826177中所描述的，其通过上文引用并入到此处。
在一些实施例中，如在图13中所示，控制光斑生成器210包含一个或多个LED602或其它光源和透镜604。LED602可以包含用于在透镜604生成窄光束的窄光束光学器件，以便其直径等于或小于透镜的孔径。控制光斑生成器210可以进一步包括用于散去由LED602所生成的热量的散热器606。尽管没有示出，但是其它发光光源同样适用。从LED602或其它光源输出的光可以在可见光谱内或其它光谱内。
手势传感器208捕获从生成的控制光斑截取的手势图像，这可以相同于或类似于在美国专利序列号13/826177中所描述的，其通过上文引用并入到此处。
在一些实施例中，手势传感器208包含一个或多个热相机，其捕获热手势图像。在一些实施例中，手势传感器包含一个或多个可见光相机，其仅捕获可见光手势图像。在一些实施例中，手势传感器包含一个或多个可见光热双波段相机，例如，在图14中示出。在一些实施例中，可见光热双波段相机700包含可见光相机710、热相机720以及将可见光反射到可见光相机710中并将热光传输到热相机720的红外窗口702。热相机720可以包括红外焦平面探测器阵列722和诸如红外透镜724等的光学元件。可见光相机710可以包括可见光FPA等和可见光透镜714或相关的光学元件。
在其它实施例中，如在图11A和11B中所示，可见光热双波段电筒相机400包含通过可见光FPA探测器426和热电堆FPA或探测器428共享的红外透镜402和三面镜404。可见光热双波段相机400捕获手势的可见光和热图像。可见光FPA426和热FPA428可以响应不同的波段。尤其是，热FPA428可以响应对应于做出手势的手发出的热光的波段，而可见光FPA426可以响应在照明控制光斑中的手的光的波段。高信噪比热图像可以区分背景和手势，并且因此被用于提取手势。
参考图8，光束调向机制202可以包括用于调向控制光斑和通过手势传感器208提供的视场(FOV)的双轴常平架等。在一些实施例中，光束调向机制202包括在常平架上的调向镜，例如，在美国专利申请号13/826177中描述的，其通过引用并入到此处。优选地，将手势传感器208和控制光斑生成器210放置在光束调向机制202的镜的前面。随手势移动，常平架镜将控制光斑210的光束和手势传感器208的视场调向。
在一些实施例中，光束调向机制202包含微机电系统(MEMS)镜阵列，如在美国专利申请序列号13/826177中所描述，其通过引用并入到此处。随着手势移动，MEMS镜阵列可以将手势传感器208的视场和通过控制光斑生成器210输出的光束调向。
在一些实施例中，光束调向机制202包含两个反向旋转楔形棱镜，如在美国专利申请序列号13/826177中所描述，其通过引用并入到此处。可以将手势传感器208和控制光斑生成器210放置在反向旋转楔形组装的前面。可以通过两个楔形棱镜的反向旋转和共同旋转的组合进行光束调向。
在一些实施例中，光束调向机制202包含双轴常平架302。在一些实施例中，可以将手势传感器208和控制光斑生成器210耦合到在常平架302上的安装板512，如在图12所示。在其它实施例中，如在图9中所示，将电筒相机400耦合到常平架302。电筒相机可以相同于或类似于在图11A和11B中示出的电筒相机400。在一些实施例中，双轴常平架302可以为如通过图10所示的俯仰-滚转型或如在美国专利申请序列号13/826177所描述和所示出的俯仰-偏航型，其通过引用并入到此处。因此，常平架302可以包括外定位环和内定位环，内外定位环通过轴等彼此相对旋转。一个或多个电机(未示出)，并且可以被分别安装在内定位环和外定位环上。平衡锤(未示出)可以被分别安装在外定位环和内定位环上，用于平衡和稳定常平架302，并且移动常平架302，即俯仰、偏航和/或滚转。
手势传感器208和控制光斑生成器单元210被构造并被设置在安装板512上，以便手势传感器208和控制光斑生成器单元210的视线(LOS)平行。因为彼此邻近，通过控制光斑生成器单元210生成的控制束光斑的中心可以与通过手势传感器208提供的图像区域的中心一致或近似一致。
参考图8，计算机处理器204负责手势识别、追踪、光束调向以及控制指令信号生成。在一些实施例中，计算机处理器204可以为这样的计算机，例如，其包括处理器、存储器以及在处理器与存储器之间的连接器和/或手势控制系统30的其它元件。在其它实施例中，计算机处理器204为DSP芯片。计算机处理器204负责手势识别、追踪、光束调向、控制指令信号生成、与例如谷歌眼镜等的可穿戴计算机212的通信和/或照明控制。在一些实施例中，可以将用于控制各种机器、仪器、机器人、装置以及玩游戏的应用的图标显示在可穿戴计算机显示器212或相关的显示器屏幕上。在一些实施例中，与手势传感器208通信的计算机处理器204可以允许手势表现为光标、操纵杆以及在可穿戴计算机显示器212或相关显示器屏幕上的其它符号。例如，可以通过如在图4中所示做出手势在显示器212移动光标，该手势在通过控制光斑生成器210形成的控制光斑中。在另一实例中，如在图5中所示，可以做出模拟操纵杆控制运动的手势运动。被存储在存储器中的其它软件应用同样可以适用，其通过一个或多个处理器而执行。一些或全部应用可以被显示在显示器212，并且被响应于手势等而执行，例如，此处描述的。
手势控制模块的收发器206发出指令信号到根据通过手势控制系统30处理的手势控制的操作仪器。收发器206可以分别类似于或相同于图6和7的收发器31和131。操作仪器的接收器，例如，可以提供关于仪器的状态信息等。可以将信息显示在可穿戴计算机显示器212上，例如，如在图3B中示出的控制板屏幕44B。在一些实施例中，可以通过无线电波或光束来无线发送信号和信息。在一些实施例中，可以通过光纤或以太网电缆传输信号。
在一些实施例中，可以将手势传感器208和控制光斑生成器210组装在一个单元。在一些实施例中，手势控制模块20包含一个或多个这样的单元。在一些实施例中，组装单元被构造并被设置为可见光热双波段电筒相机，例如，在美国专利申请号13/826177中描述的，其通过引用并入到此处，和/或在图11A和11B中示出的双波段电筒相机400，其可以包含红外透镜408、三面角锥棱镜404、可见光焦平面阵列426、热焦平面阵列428以及一个或多个彩色LED或相关的光源402。在电筒相机400中，将手势传感器和控制光斑生成器组装在单个壳体(即电筒壳体)之下。LED402、可见光FPA426以及热探测器或FPA428可以共享相同的透镜402，但是分开孔径，并且照明在相同的目标。因此，彩色LED402的照明区域同样为可见光FPA426的成像区域。热FPA428同样提供如可见光FPA426的相同区域中的成像。然而，光源402为从在控制光斑下的目标发出的实际热发射。在一些实施例中，透镜408为透射类型透镜。在其它实施例中，提供反射的卡塞格林光学器件而非红外透镜。具体而言，如在图12中所示，将控制光斑生成器210邻近手势传感器208而放置。电筒相机用作手势传感器。
图15A-15B分别为依照一些实施例的每个均包括三维手势控制模块和预定数量的相机的各种耳机的视图。
在一些实施例中，在图12中示出，手势传感器和控制光斑生成器位于同一位置，并且安装在平台的前面，特别地，用于2-维手势运动感测。在其它实施例中，如在图15B中所示，将两个侧面相机812A、812B添加到耳机800C用于3-维手势运动感测。在一些实施例中，前面相机806和侧面相机802、812可以为可见光相机。在一些实施例中，它们可以为可见光、热双波段相机。
如上文所描述的，一些实施例提供手势控制模块，其处理三维手势运动。
为了获得3-维手势运动，多个相机被在各种点角度需要。依照一些实施例，图15B包括具有3个相机的手势控制模块的实例，例如，两个侧面相机和前面相机。手势控制模块可以穿戴在操作员的头上。为了检测2-维运动，仅需要直接向下看手势的一个相机。为了检测3-维运动，需要两个侧面相机802A、802B。
在一些实施例中，可以通过使用经由距离分离的两个相机和和控制光斑生成器将手势与背景分离。如在图15C中所示，在插入手势9005之前和之后，彩色控制光斑9004处于两个不同的高度。可以将该彩色控制光斑9004作为参考。由于在相机9001A与9001B之间的分离，控制光斑9004出现在相机图像中的不同位置。对于邻近相机的控制光斑，在两个相机之间的控制光斑的距离增加，而对于进一步远离相机的控制光斑，距离减少。在将手势9005插入到控制光斑9004中之前，控制光斑投影到背景9003上。当将手势9005插入到控制光斑9004中时，控制光斑在比背景更靠近相机的手的位置处。使用该信息和3D立体方法，可以将在控制光斑9004中的手势9005从背景9003分离。通过分离像素为两组完成：一组具有在两个相机图像中的大图像分离，而另一组具有小图像分离。具有大图像分离的组属于手势9005。具有小图像分离的组属于背景9003。通常3D立体成像需要相机系统的定标以提取深度信息。在手势插入之前和之后，控制光斑9004的参考位置使定标不必要。在一些实施例中，两个相机9001A和9001B可以为彩色相机或多光谱相机。可以在与控制光斑匹配的颜色的颜色波段中容易看见控制光斑9004。在图15B中的耳机中的相机802A和802B可以进行该技术的一些或全部以从背景分离手势。
在一些实施例中，提供两个或更多相机，可以将控制光斑用作使用手势的视差大于背景的视差来从背景分离手势的参考光束，其进一步远离相机。在将手插入到控制光斑之前和之后，控制光斑出现在两个不同的距离处。
由于在被动式红外线传感器的视场(FOV)中接近温暖的身体或物体，传统热非接触切换器测量热信号变化。传统非接触切换器可以包含诸如热电探测器和菲涅耳透镜的热探测器。将热探测器定位在透镜的焦平面。热非接触切换器的特征为：随着温暖的身体接近热传感器的FOV，从较冷的背景到较热的身体的信号的变化被检测。作为结果，触发切换器。然而，这样的非接触切换器的功能受限。例如，传统热非接触切换器不具有振幅增加或减少的能力。
依照本发明构思的实施例，来自图像的选择的像素被通过非接触传感器检测，并且被提供为功能键用于非接触切换器或控制器。在成像表面上这些键的投影可以作为非接触按钮。用户可以将手或其它物体定位到选为功能键的图像的投影或视场，从而激活非接触按钮而没有物理上接触它。非接触传感器的图像为小的，因为分配的功能键的数量也为小的。与使用其它手势处理技术相比，这需要非常少的处理时间，从而增加非接触切换器的切换时间。可以提供多个功能键，每个对应于非接触传感器的功能键传感器。因此，可以将除了开/关功能键之外的键用于控制装置的其它功能。因此，依照一些实施例，可以将非接触切换器构造并设置为控制器。在一些实施例中，可以将彩色灯用于照明控制键，以便用户可以容易识别各种按钮。可以提供控制光斑生成器以生成彩色光的锥体。可以将分束器用于对准非接触键和控制光斑。
在其它实施例中，切换器可以包括具有单个元件探测器的扫描非接触传感器。扫描非接触传感器可以产生仅由功能键像素和最少数量的非功能像素组成的局部图像，例如，在图21C中示出，而不是形成整个图像。在这种情况下，可以构造快速非接触切换器，因为，扫描镜仅具有几个位置可以设置。由于使用单个探测器而非探测器阵列，制造成本显著地降低，尤其地相对于热扫描传感器。同样扫描镜为廉价的，尤其地对于大体积的MEMS镜。因此，可以从扫描非接触传感器构造快速和廉价的非接触切换器。同样，在一些实施例中，扫描操作扫描所有功能键传感器和仅在扫描路径中的非功能键传感器以缩短数据采集时间。在相机为系统的部分的配置中，可以将手势定位在相机的视场中，并且因此可以提高切换器的功能，例如，用于识别并区分手势。例如，参照上文光标或操纵杆应用，相机可以捕获对应于手势的图像数据，并且处理器可以将捕获的图像数据转换为控制光标或操纵杆的光标或操纵杆指令信号。功能键变得非激活，以便仅处理手势的相机图像。
同样可以将具有小探测器阵列的低分辨率凝视非接触传感器用于构造快速和廉价的非接触切换器。对于凝视系统，同时生成所有图像像素。诸如4×4或8×8的低分辨率热探测器阵列相对廉价。
非接触传感器可以为热类型或辐射定标颜色类型。热类型传感器使用来自手的热量，而辐射定标颜色传感器使用手的颜色。因此，当定位在非接触传感器的视场中时，可以将手从例如一张纸的另一物体区别开来。
扩散器为已知的装置，其在不同方向散射光。因此，在使用扩散器之后，来自不同场景所含内容的光可以变得混合。最终结果为图像场景的模糊或其它非预期影响。随着场景进一步移动远离扩散器，模糊变得更糟。然而，通过在扩散器增加颜色控制光斑，可以构造基于扩散器的切换器或控制器，例如，此处描述的。在一些实施例中，将成像传感器定位在扩散器的后面，仅当手等接近或接触扩散器时，其可以分解与手势等相关的图像。通过移动手势靠近或接触在扩散器上的选择的控制光斑，基于控制光斑的指令被生成并被发送到受控制的装置。依照一些实施例的非接触切换器最适合远程应用，基于扩散器的切换器或控制器最适合用于近距离应用，并且可以补充或否则共同出现在非接触切换器。
图16为依照一些实施例的示出非接触切换器系统1600的元件的操作的视图。系统1600包括成像光学器件1602和探测器阵列1604。探测器阵列1604包含多个成像传感探测器1606，其在阵列1604处被按行与列而设置，且并入像素的阵列。每个探测器1606，同样被称为功能键传感器，从成像区域1608或地面样品A的小区域收集入射光。在探测器阵列1604处的每个功能键传感器包含用于测量光的光敏光电二极管等，从而记录地面样品的图像。因此，可以根据阵列1604的选择的像素识别或形成功能键传感器。例如通过每次一行读出由像素生成的输出信号，以形成图像。例如，可以将捕获的图像作为输出图像1612输出到显示器。
将从探测器1606和成像光学器件1602延伸的立体角称为瞬时视场(IFOV)。可以将穿过成像光学器件到地面样品A的探测器1606的投影角称为探测器1606的IFOV。探测器1606仅收集在该IFOV内的光。探测器1606的输出或像素A’为地面样品A的图像。在一些实施例中，可以将该IFOV内的体积用作非接触切换器的功能键。在一些实施例中，可以将在该IFOV内的诸如手的目标检测指定为特定意思或功能。当像素A’的信号等级落入在特定范围内时，仅发生目标检测。例如，在环境温度处来自热烙铁或书籍的热信号没有被解释为目标信号，因为它或者太高或者太低。
图17为依照一些实施例的非接触切换器的功能键1708的视图。在描述图17中，将参考图16的非接触切换器系统1600的元件。
在一些实施例中，将在图16中示出的系统1600的像素A’识别为非接触切换器的功能键。在一些实施例中，可以将像素的集用作功能键。探测器1606可以感测携带进入图像的IFOV的信号的诸如手的物体或地面样品，其被选择作为功能键1708。例如，手可以阻碍通过功能键像素传感器1706提供的IFOV以激活功能键1708。因此，手的位置和/或移动激活功能键1708，而没有物理上接触它。在实施例中的成像传感器可以包括多个功能键。在一些实施例中，功能键和成像光学器件形成功能键传感器。因此，成像传感器可以包括多个功能键传感器。
图18为依照一些实施例的从传感器图像1800的像素构造的多个非接触键的示出。
如上文所描述，可以将一些功能键配置为用于切换功能，例如，通过一个或多个图17的功能键像素传感器1706生成的功能键控制信号，而可以将其它功能键配置为允许相关的要被进行的控制功能。在一些实施例中，根据在图20中的定标工序识别功能键。将非接触功能键在图像区域彼此分离，以避免同时无意地激活多个键。依照一些实施例，非接触切换器可以提供足够数量的键1808，以进行切换和控制功能。在一些实施例中，在非接触传感器处捕获的图像具有包括小数量的像素的低分辨率。因此，收集时间和处理时间较短暂并且成本较低。因此，包括非接触传感器的非接触切换器可以为快速的并且廉价的。在一些实施例中，非接触传感器的图像可以为高分辨率的。在一些实施例中，通过将诸如手的地面真实目标插入到控制光斑并收集地面真实目标的图像而识别功能键。将具有最高探测器输出的一个像素或一组像素识别为功能键。以相同方式可以识别其它功能键。可以将功能键的位置存储在处理器中。在控制操作之前，在处理器中可以将受控制的一个或多个装置的控制功能指定为功能键。
图19为依照一些实施例的凝视型非接触传感器1900和扫描型非接触传感器1940的视图。
在一些实施例中，如在图19中所示，凝视非接触传感器1900包含成像光学器件1902和二维探测器阵列1904或焦平面探测器阵列。探测器阵列1904可以相同于或类似于图16的探测器阵列1604。例如，可以通过在二维探测器阵列1904中的所有探测器形成图16的成像区域1608的完整图像。具体而言，通过将从场景接收的光聚焦到二维探测器阵列1904的各探测器上生成图像。
在一些实施例中，扫描非接触传感器1940包含成像光学器件1944、扫描镜1942以及探测器的线或单个元件探测器1943。可以将扫描镜1942配置用于线探测器阵列的单轴和用于单个元件探测器的双轴。在一些实施例中，扫描镜1942为MEMS等类型。在一些实施例中，扫描镜1942为压电型。在一些实施例中，扫描镜1942为机械型。
通过依次扫描并将来自场景的各部分的光到聚焦探测器1943上(即，单个探测器或一维探测器阵列)，扫描非接触传感器1940产生图像。每次生成部分图像时，扫描镜1942扫描传感器1940的视场(FOV)的部分。其继续扫描直到覆盖完整FOV。然后生成完整图像。对于单个元件探测器系统，扫描镜1942每次扫描对应于一个像素的一个IFOV。在不同次数的传感器FOV内的不同方向中看的相同的探测器的输出为完整图像。在图21A中，每次扫描镜扫描一个IFOV用于探测器的列。从左到右继续，直到获得完整图像。在图21B中，扫描镜从FOV以光栅图样从左到右和从右到左来扫描直到获得完整图像。
图19A为依照一些实施例的示出热传感器1950和皮肤颜色传感器1960的视图。
在一些实施例中，非接触传感器的传感模式可以为发射的。通过热传感器1950收集从例如人手的身体对象发出的热辐射，该热传感器1950可以为凝视或扫描类型。在热非接触传感器1950为凝视系统的一部分的实施例中，传感器1950包含热成像光学器件1952和探测器阵列1954。在热非接触传感器1950为扫描系统的一部分的实施例中，传感器1950包含成像光学器件、扫描镜以及探测器线阵列或单个探测器，例如，类似于图19的传感器1940。
在其它实施例中，传感模式可以为反射的。通过皮肤颜色传感器1960收集身体对象的皮肤反射的彩色光，该皮肤颜色传感器1960可以为扫描类型或凝视类型。皮肤颜色非接触传感器1960包含成像光学器件1962、颜色滤光器(未示出)以及用于凝视系统的探测器阵列1964。它包含成像光学器件、颜色滤光器、扫描镜以及在扫描系统中的探测器阵列。皮肤颜色非接触传感器1660可以包括在美国专利申请13/826177中的其他元件和功能，通过引用将整个内容并入到此处。
图20为依照一些实施例的用于对准功能键像素和控制光斑的系统2000的视图。
为了允许用户识别非接触键的位置，可以将处于不同颜色的光发出以照明一个或多个非接触键的IFOV。在一些实施例中，将每个非接触键指定为一种颜色。为了照射用于每个非接触键的IFOV的路径，系统2000包括光斑生成器2004和分束器2002。如在图20中所示，在一些实施例中，将分束器2002设置在看非接触传感器2006的最低点和水平点控制光斑生成器2004之间的角平分线处。在分束器2002处控制光斑生成器2004的反射光与相关功能键的IFOV一致。在一些实施例中，通过将手或其它热发光物体插入到控制光斑区域2012和截取在控制光斑中目标的图像获得控制光斑2012的对准和功能键的识别。具有高输出的一个像素或一组像素为用于该控制光斑2012的一个非接触键像素或一组非接触键像素。采用相同的工序，可以将用于其它控制光斑的其它功能键像素识别。在一些实施例中，一旦将用于所有控制光斑的功能键像素识别，它们可以被指定为各种功能。在一些实施例中，分束器2002可以为涂覆型或非涂敷型。可以将涂敷施加到一个或两个衬底表面。非涂敷型通常由诸如Si的红外材料制成。本文，通过菲涅耳反射管理传输和反射。
图21A为依照一些实施例的用于线探测器阵列2100A的平行扫描配置的示出。每个元素表示像素的IFOV。在图21A中的整个阵列为传感器的视场(FOV)。如在图21A中所示，线阵列2100A的IFOV被定向在垂直位置并被在一个方向上扫描，例如，如在图21A中所示的从左到右，通过扫描镜等，例如在图19中示出，以生成完整图像。阵列2100A可以包括功能键像素和非功能键像素的混合，如此处所描述。
图21B为依照一些实施例的用于单个元件非接触传感器2100B的扫描配置的示出。在图21B中施加的扫描方法为连续的。此处，将单个元件探测器的IFOV在光栅扫描路径中从左到右、从右到左，以此类推地或蛇形流动地扫描以生成完整图像。因为，将完整图像输出的很少像素指定为功能键像素，而在完整图像中的大多数像素没有被使用。在一些实施例中，不是生成完整图像，而是生成由所有功能键像素和最少数量的非功能像素组成的部分图像。
图21C为依照一些实施例的用于单个元件非接触传感器2100C的快速扫描配置的示出。此处，形成生成包括所有功能键像素和最少数量的非功能键像素的部分图像的扫描路径。扫描路径可以为任何路线，只要它包含所有的功能键像素。因为，需要被扫描的像素的数量少，仅需要一个探测器，相比于其它配置，并入该配置的非接触切换器可以为快速的并且廉价的。
图22为依照一些实施例的控制光斑生成器2200的视图。控制光斑生成器2200包含白色LED2202、具有颜色滤光器2205的控制光斑生成器板2204以及透镜2206。通过距离f将透镜2206与滤光器板2204分离。当白色LED光照射时，从颜色滤光器2205生成彩色光。通过透镜生成颜色滤光器的图像。如在图22中所示，控制光斑生成器2200可以将多个良好定义的照明控制光斑投影到投影表面2207。例如，在表面2207上的投影图案可以包含蓝色(B)、绿色(G)、黄色(Y)、红色(R)以及紫色(P)控制光斑。
图23为依照一些实施例的控制光斑生成器2300的视图。在一些实施例中，控制光斑生成器2300包含多个彩色LED2302、灯管2303、灯管安装板2304以及透镜2306。通过距离f将透镜2306与安装板2304分离。灯管2303包括在透镜2306的焦平面的出口。如在图23中所示，LED2302和对应的灯管2303可以生成不同颜色的控制光斑，例如，蓝色(B)、绿色(G)、黄色(Y)、红色(R)和/或紫色(P)控制光斑。将控制光斑光用于照明在图24-28中示出的功能键的IFOV。在一些实施例中，同样可以从相对在图22-23中的LED的彩色激光器构造控制光斑生成器。
图24为依照一些实施例的包括扫描非接触传感器2410的非接触切换器2400的视图。非接触切换器2400可以相同于或类似于此处的其它实施例。因此，由于简洁起见，没有重复及其细节。在一些实施例中，非接触切换器2400包含扫描非接触传感器2410、分束器2420以及控制光斑生成器2224。传感器2410包括探测器或线探测器阵列2414和扫描镜2412。扫描镜2412可以为用于线探测器阵列的单轴镜，或用于单个元件探测器的双轴镜，参考其它实施例如此处所描述。扫描镜2412以图21A或21C示出的图案连续地扫描传感器的FOV。优选地，扫描传感器2410每次扫描视场的一部分，直到将完整视场扫描。探测器或多个探测器连续地向处理器发出从功能键和非功能键像素的IFOV捕获的光信号。通过用于单个元件探测器的相同探测器或用于线探测器阵列的相同多个探测器将来自各种IFOV的光信号捕获。处理器仅处理来自功能键像素的信号。如在图26中所示，如果在功能键中检测到目标，然后生成指令并将其输出到受控制的装置2602。
图25为依照一些实施例的包括凝视非接触传感器2510的非接触切换器2500的视图。除了凝视非接触传感器2510，切换器2500包含分束器2520和控制光斑生成器2524。非接触切换器2500可以相同于或类似于此处的其它实施例。因此，由于简洁起见，没有重复及其细节。该非接触切换器的操作类似于扫描非接触切换器的操作，除了通过不同的探测器捕获来自各种IFOV的光信号，并且同时凝视传感器2510生成所有图像像素。
在图24和25中，分别沿通过分束器2420、2520的IFOV的路径，功能键2408、2508分别与控制光斑2409、2509对准。在图24和25中，示出五个功能键2408、2508，每个与具有例如蓝色(B)、绿色(G)、黄色(Y)、红色(R)以及紫色(P)控制光斑的不同颜色的控制光斑对准。在一些实施例中，功能键2408、2508中的两个可以对应于打开/关闭切换器。例如，当将手势定位在R功能键/控制光斑的IFOV中时，R功能键可以作为关闭切换器，而当将手势定位在G功能键/控制光斑的IFOV中时，G功能键可以作为打开切换器。由于存在多于两个的功能键，可以将额外的功能键用于控制。同样可以将非接触切换器称为非接触控制器。在一些实施例中，可以将两个其它功能键2408、2508指定为振幅增加/减少功能。例如，如果它为光切换器，振幅可以为光等级，或如果它为风扇切换器，振幅可以参考风扇的速度。例如，当将手势定位在B功能键/控制光斑的IFOV中时，可以将B功能键用于增加受控制的装置的振幅，而当将手势定位在Y功能键/控制光斑的IFOV中时，可以将Y功能键用于减少受控制的装置的振幅。在一些实施例中，可以将最后的功能键指定为周围背景测量功能。对于热非接触传感器，这尤其重要，因为热探测器比其它探测器生成更多的噪音。去除周围背景可以减少非预期噪音。在热传感器为具有单个元件探测器的扫描系统的实施例中，去除背景同样去除探测器的暗电流。通过从其它功能键像素减去周围键像素，从而提高信噪比。当使用其它功能键时，用户可以验证IFOV仅拦截周围背景，并且手或其它温暖目标没有放置在IFOV中。
图26为依照一些实施例的通过非接触切换器控制的设备2602的视图。非接触切换器可以相同于或类似于此处的其它实施例。因此，由于简洁起见，没有重复及其细节。
当非接触切换器的非接触传感器2610检测在通过控制光斑生成器2624生成的控制光斑2604中的手时，传感器2610将信息输出到处理器2612，其可以与非接触切换器的其它元件集成或非接触切换器的其它元件物理上分离。尽管没有示出，处理器2612可以包括收发器。在一些情况下，非接触切换器2610和受控制装置2602通过大距离分离，收发器可以无线通信。处理器2612确定哪个功能键在与手势通信。控制光斑的位置对应于功能键的位置。功能键不需要完全地填充控制光斑，但是必须至少局部对准。因此，控制光斑可以作为功能键。作为回应，处理器2612生成输出到受控制装置2602的指令C1-C5。例如，指令C1可以为切换器打开指令，指令C2可以为切换器关闭指令，指令C3可以为振幅增加指令，指令C4可以为振幅减少指令，以及指令C5可以为周围背景指令。
图27为依照一些实施例的包括相机或多个相机2722的非接触切换器2700的视图。在一些实施例中，相机2722为可见光波段相机。在一些实施例中，相机2722为近红外(NIR)波段相机。在一些实施例中，相机2722为短波红外(SWIR)波段相机。其它光谱同样可以适用。在图27中，将相机或多个相机2722紧挨着控制光斑生成器放置。在一些实施例中，可以将相机2722放置在其它位置。
非接触切换器2700可以包括非接触传感器2710等，其可以相同于或类似于此处的其它实施例。例如，非接触切换器2700可以包括成像光学器件2702、扫描镜2712、探测器2714、分束器2720以及控制光斑生成器2724等，其可以相同于或类似于此处的其它实施例描述的那些。
相机2722接收可以被用于提高非接触切换器2700的控制功能的手势信息。因此，对于给定的功能键可以处理多个手势，如通过在图30、31、32、33、35以及36中的实例所示。例如，将在图35中的手势用作控制无人机运动的方向。在一些实施例中，可以通过使用功能键和手势的组合控制多个装置。例如，可以将手指的数量指定以控制多个灯中的每个，例如，一个手指用于第一盏灯，两个手指用于第二盏灯，三个手指用于第三盏灯，以此类推。可以提供多个功能键2709和对应的控制光斑2708。在一些实施例中，为了从当前装置切换到不同的装置，同时需要在两个不同的控制光斑中的两个手势。图28提供更多细节。
图28为通过非接触切换器2800控制的多个装置2802a-c(通常2602)的示出。非接触切换器2800可以包括非接触传感器2810等，其可以相同于或类似于此处的其它实施例。例如非接触切换器2700可以包括非接触传感器2810、相机2814或多个相机、分束器2820以及控制光斑生成器2824和/或相同于或类似于在此处的其它实施例中描述的那些的其它元件。可以将相机2814紧挨着控制光斑生成器2824或其它位置安装。照明源2822可以提供用于相机的光。
可以将手势定位在不同的控制光斑以控制当前装置。为了切换到另一装置，同时需要在两个不同控制光斑中的两只手。例如，当同时将两只手插入到打开和关闭控制光斑C1、C2时，会在处理器2812中触发装置变化信号或选择信息。在C2中的手势包含装置数量。例如，可以将手指的数量用作装置数量。在C2中的两个手指手势标志将当前装置切换到装置2。在处理器2812分析来自相机2814的手势图像之后，获得装置数量。处理器2812与选择的装置2802直接通信。
在一些实施例中，非接触切换器2800可以为追踪模式。这通常用于诸如计算机的非接触鼠标运动的缓慢移动控制。在一些实施例中，可以将一个控制光斑C1用于激活使用特定手势的追踪模式。在追踪期间，控制光斑C2-C5为非激活的。将不处理来自C2-C5的信号。相机2814接管。现在，处理器仅处理相机图像和来自控制光斑C1的信号。例如，在预定控制光斑C1处，可以将停止手势用于结束追踪。
图29为依照一些实施例的示出在操作中非接触切换器的各元件之间的关系的流程图。
非接触传感器2910可以扫描用于手热签名或颜色信息的控制光斑2909。在操作期间，首先将手势插入到控制光斑中。通过非接触传感器2910捕获来自手的热信号。相机2914可以捕获控制光斑2909的区域的图像。更具体地，相机捕获手势、控制光斑以及背景，但是仅提取手势用于处理。如果在一个控制光斑2909中，手势的热签名或颜色被检测，然后，操作将控制当前装置。相机或多个相机2914将捕获手势的图像。通过处理器2912使用来自控制光斑2909的热签名或颜色信号和来自相机2914的手势信息生成指令。如果追踪模式被检测，然后，除了一个以外的所有控制光斑2909变得非激活。处理器简单地停止处理控制光斑信息。手追踪可以继续直到给出停止手势。当追踪停止时，控制光斑2909变得再次激活。将指令发送到受控制装置2902。当在另一控制光斑2909中手势被检测到时，将重复相同的处理。如果在例如打开和关闭控制光斑的两个控制光斑2909中，热签名或颜色信号被同时检测，装置变化模式被在处理器2912中激活。在手势2911的图像中的手指的数量将确定哪个装置2902处于操作中。现在，处理器2912仅与当前装置2902通信。切换或控制仅发生在选择的装置2902。
在一些实施例中，可以将非接触切换器安装在任何表面上，在天花板上、在墙面上或在地面上。在一些实施例中，可以将非接触切换器安装在额前，例如，在图15中示出的耳机头带。因此，在一些实施例中，视频游戏玩家可以使用非接触切换器作为视频游戏控制器。控制光斑可以作为视频游戏控制器的“按钮”。玩家可以通过将他/她手势插入到控制光斑中而玩视频游戏。在赛车视频游戏中非接触游戏控制器可以通过在用户的头上戴着控制器控制远程控制汽车。因为处理简单，处理时间为快速的。这使得快速动作电子游戏或诸如此处描述的远程控制汽车的装置令人享受地玩。在一些实施例中，相对于这样的游戏，可以使用廉价的反射面板提高控制光斑可见度。这有用于初学者游戏玩家。由于玩家更多次的玩，他/她将记住控制光斑的位置。
图30为依照一些实施例的用于远程控制车辆的远程控制器3000的控制光斑功能的视图。远程控制器3000包括在此处的其它实施例中的非接触切换器的元件。因此，为了简洁起见，没有重复及其细节。
在实施例中，通过两个非接触控制器控制远程控制车辆，特别地，用于方向控制的左控制器3010A和用于速度控制的右控制器3010B。
将来自非接触控制器3010A、3010B的控制光斑投影到表面上。通过颜色、尺寸或其它特性可以彼此区分控制光斑。将提供通过左控制器3010A显示的四个控制光斑用于方向控制，而通过右控制器3010B显示的四个控制光斑用于速度控制。在一些实施例中，对应于正常操作指令的手势为拳头，使用大拇指的左手势为快速转弯，取决于右手在哪个控制光斑，使用大拇指的右手势为快速加速或急刹车。可以设定用于关联每个控制光斑与特定手势以及对应的指令的预定键。例如，控制光斑A对应于加速指令，控制光斑B对应于备份指令，控制光斑C对应于巡航指令，控制光斑D对应于减速指令，控制光斑L对应于向左指令，控制光斑P对应于停车指令以及控制光斑R对应于向右指令。因此，如果用户想要远程控制车辆或在视频游戏中显示的车辆，并且渴望车辆在直线中加速，用户可以将左手拳头定位在控制光斑S上并且将伸出大拇指的右手拳头定位在控制光斑A用于快速加速。
图31为依照一些实施例的用于视频游戏机的游戏控制器3100的控制光斑功能的视图。控制器3100包括在此处的其它实施例中的非接触切换器的元件。因此，为了简洁起见，没有重复及其细节。
在一些实施例中，可以将类似于或相同于此处的非接触切换器的一个或多个非接触控制器单元用作视频游戏控制器3110A、3110B(通常，3110)，例如以控制诸如KickstarterTM项目的武术视频游戏，但是不限于此。其它视频游戏或电子装置同样可以适用。
左控制器3110A控制在视频游戏中显示的武术人物的左侧肢体的移动。右控制器3110B控制武术人物的右侧肢体的移动。
将来自非接触控制器3110A、3110B的多个控制光斑投影到表面上。通过颜色、尺寸或其它特性可以彼此区分控制光斑。将提供通过左控制器3110A显示的四个控制光斑用于左侧肢体控制，而通过右控制器3110B显示的四个控制光斑用于右侧肢体控制。
可以设定用于关联每个控制光斑与特定手势以及对应的指令的的预定键。例如，控制光斑P对应于用拳猛击指令，控制光斑K对应于踢指令，控制光斑B对应于阻止指令，以及控制光斑G对应于抓握指令。
在一些实施例中可以将手势用作附加特征。例如，在K控制光斑处具有伸出大拇指的手势生成要被通过视频游戏人物执行的指导搭档的信号。
在一些实施例中，可以将一个或多个非接触切换器/控制器用于控制机械设备。例如，如在图32中所示，可以将控制器系统3200的两个非接触控制器3210A、3210B(笼统地，3210)的控制光斑用于控制挖掘机或相关设备。两个控制器3210A、3210B可以代替传统地位于挖掘机的两个操纵杆。对应于左操纵杆的左控制器3210A用于控制挖掘机的前臂和铲斗。对应于右操纵杆的右控制器3210B用于控制挖掘机的后臂和壳体移动。
将来自非接触控制器3210A、3210B的多个控制光斑投影到表面上。通过颜色、尺寸或其它特性可以彼此区分控制光斑。
可以设定用于关联每个控制光斑与特定手势以及对应的指令的预定键。例如，右控制器2310B的控制光斑A1对应于挖掘机手臂向上移动的指令。控制光斑A2对应于挖掘机手臂向下移动的指令。控制光斑A3对应于挖掘机手臂旋转的指令。当将具有向左伸出大拇指的手势放置在控制光斑A3处时，挖掘机手臂向左旋转。当将具有向右伸出大拇指的手势放置在控制光斑A3处时，挖掘机手臂向右旋转。当将具有以拳头形式的手势放置在控制光斑A3处时，挖掘机手臂停止旋转。控制光斑H对应于挖掘机壳体的旋转。当将具有向左伸出大拇指的手势放置在控制光斑H处时，挖掘机壳体向左旋转。当将具有向右伸出大拇指的手势放置在控制光斑H处时，挖掘机壳体向右旋转。当将具有以拳头形式的手势放置在控制光斑H处时，挖掘机壳体停止旋转。
在其它实施例中，左控制器2010B的控制光斑B1对应于挖掘机铲斗做出铲子运动的指令。左控制器2010B的控制光斑B2对应于挖掘机铲斗做出倾倒运动的指令。左控制器2010B的控制光斑FI对应于伸展挖掘机铲斗前臂的指令。左控制器2010B的控制光斑F2对应于弯曲或伸缩挖掘机前臂的指令。
可以将手势用于提高控制功能。例如，在控制光斑A3上拇指指向左将后臂旋转到左侧，而在控制光斑A3上拇指指向右将后臂旋转到左侧。紧握拳头的手势可以对应于保持当前状态的指令。
图33为依照一些实施例的用于控制无人机3350的非接触控制器系统3300的示出。
在一些实施例中，系统3300包含两个非接触控制器3304A、3304B(笼统地，3304)和诸如谷歌眼镜可穿戴计算机的头戴式显示器3302。收发器3306同样可以被穿戴在头部或用户身体的任何部分。在非接触控制器3300与无人机3350之间的通信是通过控制器3300的收发器3306和无人机3350上的收发器。将非接触控制器3304用于控制无人机3350，而将头戴式显示器3302用于显示飞行信息、机载相机图像和/或相关的无人机3350的操作的其它信息。
在一些实施例中，在显示装置3302之上，将两个非接触控制器3304安装在用户的额前。两个非接触控制器允许用户具有足够的功能键用于控制特定装置。以这种方式，可以将控制光斑光束3305从非接触控制器3304投影在用户的前面。用户可以沿控制光斑光束的路径定位手势。可以在手势上和/或在手势周围形成控制光斑3305用于控制无人机3350。控制光斑3305可以照射表面，可以在表面之上但是在控制光斑处做出手势用于控制无人机3350。
图34为依照一些实施例的用于控制无人机的非接触控制器系统3400的另一示出。远程控制器3400包括诸如图33的控制器3304的此处的其它实施例中的非接触切换器的元件。因此，为了简洁起见，没有重复及其细节。控制器3304A、3304B分别为左和右控制器。仅示出通过在两个控制器中的控制光斑照明的功能键。物理控制器可以类似于参考图27描述的那些。每个控制器3304可以提供关于控制无人机或其它远程装置的不同的控制光斑功能。
在一些实施例中，控制器系统3400进行两个模式的操作：手动控制和自动控制，其可以通过下文描述的手势设立。
将来自非接触控制器3304A、3204B的多个控制光斑投影到表面上。通过颜色、尺寸或其它特性可以彼此区分控制光斑。
可以设定用于关联每个控制光斑与特定手势以及对应的指令的预定键。例如，右控制器3304B的控制光斑Y对应于指导无人机3350在偏航方向中移动的指令。控制光斑AD对应于指导无人机3350上升或下降的指令。控制光斑F对应于指导无人机3350向前移动的指令。控制光斑H对应于指导无人机3350盘旋的指令。当将具有向左伸出大拇指的手势放置在控制光斑Y处时，将无人机3350指导为偏航到左侧。当将具有向右伸出大拇指的手势放置在控制光斑Y处时，将无人机3350指导为偏航到右侧。当将具有向左伸出大拇指的手势放置在控制光斑AD处时，将无人机3350指导为上升。当将具有向右伸出大拇指的手势放置在控制光斑AD处时，将无人机3350指导为下降。
参照控制器3304A，控制光斑P对应于指导无人机3350俯仰的指令。控制光斑LT对应于指导无人机3350着陆或起飞的指令。控制光斑R对应于指导无人机3350滚转的指令。控制光斑T对应于指导无人机3350在自动模式和手动模式之间切换和/或以改变相机配置的指令。当将具有向右伸出大拇指的手势放置在控制光斑P处时，将无人机3350指导为上仰。当将具有向左伸出大拇指的手势放置在控制光斑P处时，将无人机3350指导为向下俯。当将具有向右伸出大拇指的手势放置在控制光斑LT处时，将无人机3350指导为起飞。当将具有向左伸出大拇指的手势放置在控制光斑LT处时，将无人机3350指导为着陆。紧握拳头的手势可以对应于保持当前状态的指令。当将具有向左伸出大拇指的手势放置在控制光斑R处时，将无人机3350指导为在正方向中滚转。当将具有向右伸出大拇指的手势放置在控制光斑R处时，将无人机3350指导为在负方向中滚转。滚转的方向服从右手定则。
在一些实施例中，为了在自动模式与手动模式之间切换，用户可以将他/她的手插入到通过控制器3304A生成的T控制光斑。具有拇指指向右的手势用于手动模式。具有拇指指向左的手势用于自动模式。
图35A为依照一些实施例的用于手动模式操作的显示装置的屏幕。图35B为依照一些实施例的用于自动模式操作的显示装置的屏幕。
如上文所描述，显示装置3302可以为谷歌眼镜屏幕等，并且可以包括机载相机。例如此处描述的，将通过无人机的机载相机捕获的具有无人机信息的图像3500A显示在顶部，无人机信息诸如高度、前进方向、俯仰/偏航的无人机信息和相机全动态范围的百分比的图像均值。同样可以将关于诸如滚转、俯仰/偏航和帧速率的相机的其它信息显示在显示器的底部。
关于图35B的图像3500B，由于处于手动模式，左上角包括具有无人机信息的机载相机图像。同样可以将诸如滚转、俯仰/偏航和帧速率的关于相机的其它信息显示在显示器的底部。其它信息可以包括覆盖飞行区域的地图的无人机的飞行轨道和当前位置。使用GPS坐标来提前计划飞行轨道和高度。无人机3350将根据计划的轨道在规定的高度飞行并且自动返回到地面。
在一些实施例中，在手动模式中，例如，如在图34中所示，用户可以通过放置手势在适当的控制光斑中而控制无人机3350的俯仰、偏航(前进方向)、滚转、向前以及盘旋运动。在一些实施例中，可以采用多个手势，例如，拳头、大拇指指向左的手，以及大拇指指向右的手。可以通过旋转手臂将大拇指向左指向手势改变为向右指向手势，反之亦然。大拇指的方向为操作的方向。例如，如果用户想要无人机3350从当前位置向左转，他/她将放置一只手在控制光斑Y且使用大拇指指向左侧用于向左转动，而将另一只手放置在控制光斑R上且使用大拇指指向右侧用于逆滚转。转动的迹象服从右手定则。为了平滑地滚转，无人机3350必须轻微地滚转。受限制数量的简单手势允许算法缩短处理时间。在一些实施例中，可以采用更复杂的手势。
图36为依照一些实施例的控制机载相机的控制器系统3600的示出。相机可以在关于图33描述的无人机3350上。控制器3600包括在此处的其它实施例中的非接触切换器的元件。因此，为了简洁起见，没有重复及其细节。控制器3604A、3604B(笼统地，3604)可以分别为左和右控制器。每个控制器3604可以提供关于控制机载相机配置的不同的控制光斑功能。
将来自非接触控制器3604A、3604B的多个控制光斑投影到表面上。通过颜色、尺寸或其它特性可以彼此区分控制光斑。
可以设定用于关联每个控制光斑与特定手势以及对应的指令的的预定键。例如，右控制器3604B的控制光斑Y对应于指导机载相机在偏航方向中移动的指令。控制光斑P对应于指导机载相机俯仰的指令。控制光斑R对应于指导机载相机滚转的指令。控制光斑FR对应于改变机载相机的帧速率的指令。当将具有向左伸出大拇指的手势放置在控制光斑Y处时，将相机指导为偏航到左侧。当将具有向右伸出大拇指的手势放置在控制光斑Y处时，将相机指导为偏航到右侧。当将具有向左伸出大拇指的手势放置在控制光斑R处时，将相机指导为在正方向中滚转。当将具有向右伸出大拇指的手势放置在控制光斑R处时，将相机指导为在负方向中滚转。当将具有向左伸出大拇指的手势放置在控制光斑FR处时，帧速率增加。当将具有向右伸出大拇指的手势放置在控制光斑FR处时，帧速率减少。
参照控制器3604A，控制光斑I对应于指导相机为非激活的指令。控制光斑LT对应于指导无人机3350着陆或起飞的指令。控制光斑T对应于在自动模式和手动模式之间切换相机和/或改变相机配置的指令。当将使用大拇指向左指向的手势放置在控制光斑T处时，可以将机载相机设置在手动模式。当将使用大拇指向右指向的手势放置在控制光斑T处时，可以将机载相机设置在自动模式。当将拳头插入到控制光斑T中时，在左控制器3604A上的功能键可以变得非激活。
图37为依照一些实施例的扩散器3700散射光的示出。
通常将依照一些实施例的非接触切换器或控制器实现用于远程控制应用，而将依照其它实施例的基于扩散器的切换器实现用于近距离控制应用。扩散器3700将光散射到不同的方向。散射可以发生在扩散器的容积内或在它的表面上。它可以发生在透射或反射中。散射不仅将光散射出入射光线的原始方向，也可以将光散射入其它光线的原始方向。如在图37中所示，入射光线I0和I1的非散射透射光线分别为I0t和I1t。入射光线I0和I1的散射透射光线分别为I0s和I1s。如在图37中所示，将来自I1的散射光散射到I0t方向。并且将来自I0的散射光散射到I1t方向。最终结果为目标和背景的模糊。随着目标移动远离扩散器3700，模糊变得更糟。
在图38中，将地面玻璃扩散器定位在相机与物体(即，美国地图)之间，以便通过扩散器在地图的部分处指导相机的视场。地图远离扩散器大约2英尺。由于扩散器的模糊，在扩散器后面的地图的区域示出没有细节的单一背景。在通过扩散器未阻碍的区域，如在图像3800A中示出的示出地图细节。在图像3800B中手接触扩散器，从而，虽然有点模糊，但是手的图像为清晰可见。在图像3800C中，手邻近但是没有接触扩散器。此处，手仍然可见但是比在图像3800B中的更变形。在图像3800D中，手进一步移动远离扩散器，从而手失去了细节。扩散器模糊掉细节的速度，同样依赖于扩散器网格的密度。对于较密集的网格，它更快，而对于非密集网格，它更慢。
在一些实施例中，使用扩散器的模糊效果构造切换器。该效果模糊了在背景中的细节，同时保留邻近扩散器的细节。图39示出这样的切换器3900的布局。切换器3900包含扩散器3904、成像传感器3906、光源3902、处理器3912以及受控制装置3905。在一些实施例中，光源3902可以从扩散器3904的任一侧面照明目标。为了侧面照明，通常将光导与扩散器3904结合使用。当手接触或邻近扩散器3904时，图像仅示出手。背景被模糊。处理器3912可以处理手势图像并将指令发到基于手势信息的受控制装置3905，例如，在此处的其它实施例中描述的。在一些实施例中，可以使用两个成像传感器3906。
图40A为依照一些实施例的具有扩散器的切换器4000的顶视图。图40B为图40A的切换器4000的侧视图。
在一些实施例中通过扩散器4004形成多个控制光斑。当将用户的手放置在控制光斑上时，这表示用户想要控制装置与切换器4000的通信。在一些实施例中，将颜色控制光斑放置在扩散器4004上。在一些实施例中，可以通过涂敷或安装在扩散器4004的表面上的颜色滤光器4006生成控制光斑。在其它实施例中，可以通过在控制光斑上照射彩色光生成控制光斑。控制光斑对应于功能键位置，例如，类似于此处的其它实施例。
在一些实施例中，切换器4000可以有用于机器操作和视频游戏。例如，可以通过两个基于扩散器的控制器来代替在图32中的非接触控制器3200：一个被定位在驾驶员座位的左侧，另一个在右侧。除了将控制光斑位于在扩散器4004的表面上，切换器4000的功能键可以相同于此处描述的其它切换器或控制器的那些。可以使用相同的手势，除了将成像传感器4010实施而非相机。在该实例中，可以通过在一些实施例中的基于扩散器的切换器/控制器代替在图32中描述的操纵杆。可以将操纵杆功能指定为控制光斑和手势。图41A为依照一些实施例的使用图40的基于扩散器的控制器4000的操作员的示出。在代替图32的控制器3200中，可以提供两个基于扩散器的控制器4000，每个用于每只手。将手势4012定位在扩散器4004处，在其下提供对应于各种功能键位置的一个或多个控制光斑。
在一些实施例中，可以将控制光斑中的一个保留用于追踪模式。当将用户的手放置在该控制光斑之上时，所有其它控制光斑为非激活的。将传感器提供用于追踪用户的手的运动。当用户将特定手势插入到相同的控制光斑之上时，追踪将停止。在一些实施例中，可以将手追踪用在光束调向控制中。在一些实施例中，同样可以将它采用用作计算机的鼠标。
密码锁使用整数的组合以锁定或解锁。在一些实施例中，可以将手势用于表示如在图42中所示的这些整数。同样将密码锁4200的数字面板示出在图42中。在一些实施例中，可以将手势用于锁定或解锁门或任何装置。
图43为依照一些实施例的基于扩散器的手势锁定机制4300的示出。
在一些实施例中，手势锁定机制4300可以包含光源4302、成像传感器4304、扩散器4306以及处理器4312，其相同于或类似于此处的其它切换器和控制器的那些。为了简洁起见，没有重复描述。同样提供电动机械锁定/解锁机制4308。例如，如果组合为5912，然后，首先将5个手指的手势放置在邻近扩散器或在扩散器上，随后，通过食指手势进行“没有小指”的手势。食指和中指手势为最后手势。处理器4312可以处理图像并生成到电动机械锁定/解锁机制4308的指令以解锁门。在图43中示出的背景没有被成像传感器看见，因为它远离扩散器而被模糊。
已经参考示例性实施例及其上文具体示出和描述了本发明构思，本领域的那些普通技术人员将理解，在没有脱离本发明构思的精神和范围下，可以做出形式和细节的各种修改。

Claims (31)

1.一种非接触传感装置，包含：
包括多个功能键传感器的传感器；
所述多个功能键传感器的功能键传感器具有视场，
所述功能键传感器被构造和设置为检测在所述视场处的手势，并且响应于检测在所述视场处的所述手势，生成功能键控制信号；以及
处理器，所述处理器处理来自所述功能键传感器的所述功能键控制信号，并且响应于处理的控制信号向远程设备输出指令。
2.根据权利要求1所述的非接触传感装置，进一步包括：识别所述手势的一个或多个相机，其中所述指令被从响应于所述功能键传感器的功能键和识别的手势的组合而生成。
3.根据权利要求1所述的非接触传感装置，其中，所述传感器为包括探测器阵列的凝视传感器，所述探测器阵列包括所述功能键传感器和非功能键传感器的组合，所述凝视传感器同时生成所述探测器阵列的所有图像像素。
4.根据权利要求1所述的非接触传感装置，其中，所述传感器为每次扫描视场的一部分的扫描传感器。
5.根据权利要求1所述的非接触传感装置，其中，所述传感器包括扫描镜，其扫描所有功能键传感器和仅在扫描的路径中的所述非功能键传感器，以缩短数据获取时间。
6.根据权利要求1所述的非接触传感装置，其中，所述传感器被构造和设置为发射模式传感器，其包括收集从所述手势发出的热辐射的热传感器。
7.根据权利要求1所述的非接触传感装置，其中，所述传感器被构造和设置为反射模式传感器，其包括收集从所述手势反射的彩色光的颜色传感器。
8.根据权利要求1所述的非接触传感装置，进一步包括控制光斑生成器，所述控制光斑生成器生成与所述视场对准的控制光斑，并且其中所述功能键传感器检测在所述控制光斑内的所述手势。
9.根据权利要求7所述的非接触传感装置，进一步包括位于所述传感器与所述控制光斑生成器之间的分束器，其中在所述分束器处定向的所述控制光斑生成器输出的光与所述视场一致。
10.根据权利要求7所述的非接触传感装置，其中，通过定位在多个控制光斑中的所述控制光斑处的地面真实目标并通过所述非接触传感装置收集所述地面真实目标的图像，而识别与其它功能键传感器相区别的对应于所述功能键传感器的功能键，其中在具有最高探测器输出的所述传感器处的一个像素或一组像素被识别作为所述功能键。
11.根据权利要求7所述的非接触传感装置，其中，所述控制光斑生成器包含白色发光二极管(LED)、具有多个颜色滤光器的控制光斑生成器板以及透镜，其中当所述白色LED照明时，从所述颜色滤光器生成彩色光，并且其中生成多个控制光斑。
12.根据权利要求11所述的非接触传感装置，其中，每个彩色控制光斑与功能键传感器的视场相对准。
13.根据权利要求7所述的非接触传感装置，其中，所述控制光斑生成器包含多个彩色LED、灯管、灯管安装板以及透镜，其中，所述彩色LED被放置在灯管的输入端处，灯管的输出端被放置在所述透镜的焦平面处，从而，生成每个照明不同功能键传感器的视场的不同颜色的控制光斑，并且其中，所述光管板在所述透镜的所述焦平面处将所述灯管保持在一起。
14.根据权利要求7所述的非接触传感装置，其中，所述远程设备包含多个装置，并且其中所述处理器生成用于所述多个装置中的装置的装置编号，每个装置编号对应于在指定的控制光斑处的手势，从而允许用户选择哪些装置进行操作。
15.根据权利要求7所述的非接触传感装置，其中，当将所述手势放置在所述控制光斑中时，对应于所述功能键像素的功能键变得非激活，而当将所述手势放置在所述控制光斑中时，所述功能键被重激活。
16.根据权利要求1所述的非接触传感装置，其中，所述传感器为包括在所述传感器的前面的旋转轮上的颜色滤光器的颜色传感器，其中，对于每个颜色滤光器，获得场景的图像，并且其中，通过所述处理器处理彩色图像的功能键像素，以确定是否检测到皮肤颜色光谱。
17.根据权利要求1所述的非接触传感装置，其中，所述传感器为包括彩色相机的颜色传感器，并且其中，彩色图像的功能键像素被处理以确定是否检测到皮肤颜色光谱。
18.根据权利要求1所述的非接触传感装置，其中，在功能键识别定标处理期间，所述处理器由存储在所述处理器中的所述功能键位置而将所述功能键传感器与所述多个传感器的其它传感器区别开来。
19.根据权利要求1所述的非接触传感装置，进一步包括配有所述传感器的头戴式显示器，所述显示器提供关于所述远程装置的操作的视觉信息。
20.根据权利要求19所述的非接触传感装置，其中，所述远程设备为无人机，并且其中所述非接触传感装置被构造和设置为控制所述无人机的所述操作，并且其中所述头戴式显示器显示飞行信息、机载相机图像以及关于所述无人机的所述操作的其它信息的组合。
21.根据权利要求1所述的非接触传感装置，相机捕获对应于所述手势的图像数据，且所述处理器将捕获的图像数据转换为控制显示器处的光标的光标指令信号。
22.一种手势控制系统，包括：
在表面处形成控制光斑的控制光斑生成器；
感测在所述控制光斑中手的存在的传感器；
提供用于捕获在所述控制光斑处的手势的图像的视场的至少一个手势传感器；
将所述手势的捕获的图像转换为指令信号的处理器；以及
发射机，所述发射机将所述指令信号输出到将所述指令信号译为通过设备执行的动作的所述设备。
23.根据权利要求22所述的手势控制系统，其中，所述传感器为颜色传感器或热传感器中的至少一种。
24.根据权利要求22所述的手势控制系统，进一步包括：用于操作所述设备的显示器，和从所述显示器显示的多个应用，所述多个应用响应于对应于所述手势的所述指令信号而被激活。
25.根据权利要求22所述的手势控制系统，其中，所述传感器包含用于识别所述手势的可见光热双波段相机或多个相机。
26.根据权利要求22所述的手势控制系统，其中，所述处理器将所述手势的所述捕获的图像转换为控制显示器处的光标的光标指令信号。
27.根据权利要求22所述的手势控制系统，其中，所述处理器将所述手势的所述捕获的图像转换为控制所述设备而没有与所述显示器交互的操纵杆指令信号。
28.根据权利要求22所述的手势控制系统，其中所述手势控制系统被构造和设置为用于安装到天花板、底座或头带。
29.根据权利要求22所述的手势控制系统，所述控制光斑被用作参考光束，所述参考光束用于使用所述手势的视差将所述手势与背景区别开来，所述手势的所述视差大于进一步远离所述相机的所述背景的视差，其中在将手插入到所述控制光斑之前和之后，所述控制光斑出现在两个不同的距离处。
30.一种用于提供非接触切换并控制设备的方法，包括：
感测通过由控制光斑生成器的彩色光照亮的在成像传感器的功能键传感器的视场中的手信号；
通过一个或多个相机捕获在控制光斑中的手势图像；
通过处理器，基于所述功能键传感器的指定任务、所述手势的指定任务、或二者、来形成图像像素的图像区域的样品，发出控制指令；
将所述图像像素转换为功能键像素；以及
通过阻碍所述功能键像素的视场来控制装置。
31.一种基于扩散器的控制系统，包括：
扩散器，所述扩散器用于模糊背景细节同时保留用在其附近的目标的细节；
用于捕获手势的成像传感器；
从所述成像传感器的选择的像素构造的一个或多个功能键传感器；
用于照明所述目标的光源；
用于识别功能键传感器的视场的控制光斑；
处理器，所述处理器用于处理手势图像、功能键传感器信号的组合并将它们转换为指令；以及
收发器，所述收发器用于向控制设备发出指令和从所述控制设备接收信息。
CN201480047411.4A 2013-06-28 2014-06-27 根据手势的控制装置操作 Active CN105518576B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361840791P 2013-06-28 2013-06-28
US61/840,791 2013-06-28
PCT/US2014/044643 WO2014210502A1 (en) 2013-06-28 2014-06-27 Controlling device operation according to hand gestures

Publications (2)

Publication Number Publication Date
CN105518576A true CN105518576A (zh) 2016-04-20
CN105518576B CN105518576B (zh) 2019-04-16

Family

ID=52115073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480047411.4A Active CN105518576B (zh) 2013-06-28 2014-06-27 根据手势的控制装置操作

Country Status (4)

Country Link
US (2) US9423879B2 (zh)
EP (1) EP3014407A4 (zh)
CN (1) CN105518576B (zh)
WO (1) WO2014210502A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444843A (zh) * 2016-12-07 2017-02-22 北京奇虎科技有限公司 无人机相对方位控制方法及装置
CN107390713A (zh) * 2016-04-27 2017-11-24 阿特拉斯动力公司 基于手势的无人机控制
CN107894828A (zh) * 2016-10-04 2018-04-10 宏达国际电子股份有限公司 虚拟实境处理方法及用于处理虚拟实境的电子装置
CN107995416A (zh) * 2017-11-14 2018-05-04 维沃移动通信有限公司 一种焦距调节方法及移动终端
CN108214482A (zh) * 2016-12-14 2018-06-29 上银科技股份有限公司 非接触式的手势教导机器人
CN108354587A (zh) * 2016-05-24 2018-08-03 丽宝大数据股份有限公司 个性化皮肤诊断和皮肤护理
CN109074168A (zh) * 2018-01-23 2018-12-21 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
CN109196438A (zh) * 2018-01-23 2019-01-11 深圳市大疆创新科技有限公司 一种飞行控制方法、设备、飞行器、系统及存储介质
CN109844476A (zh) * 2016-09-21 2019-06-04 优泰机电有限公司 运动跟踪用热电堆阵列传感器及其应用
CN109933203A (zh) * 2019-03-21 2019-06-25 福建工程学院 一种基于计算机视觉手势的液压挖掘机控制方法及系统
CN112867907A (zh) * 2018-09-12 2021-05-28 罗伯特·博世有限公司 具有姿势控制功能的激光标线仪
CN113900513A (zh) * 2021-09-26 2022-01-07 上海交通大学 基于可见光信号的隔空手势控制方法

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US10180029B2 (en) * 2013-03-15 2019-01-15 Springs Window Fashions, Llc Window covering motorized lift and control system motor and operation
WO2014210502A1 (en) 2013-06-28 2014-12-31 Chia Ming Chen Controlling device operation according to hand gestures
DE102013010932B4 (de) * 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods
EP3146262A4 (en) 2014-04-29 2018-03-14 Chia Ming Chen Light control systems and methods
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
US10282057B1 (en) * 2014-07-29 2019-05-07 Google Llc Image editing on a wearable device
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
JP6278565B2 (ja) * 2014-08-11 2018-02-14 本田技研工業株式会社 自動運転車両制御装置
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US9315197B1 (en) * 2014-09-30 2016-04-19 Continental Automotive Systems, Inc. Hands accelerating control system
CN113628500A (zh) 2014-09-30 2021-11-09 深圳市大疆创新科技有限公司 用于支持模拟移动的系统和方法
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP6179000B2 (ja) * 2014-10-27 2017-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行情報を提供する方法、プログラム及び端末
US11119565B2 (en) 2015-01-19 2021-09-14 Samsung Electronics Company, Ltd. Optical detection and analysis of bone
CN104808675B (zh) * 2015-03-03 2018-05-04 广州亿航智能技术有限公司 基于智能终端的体感飞行操控系统及终端设备
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US20160317909A1 (en) * 2015-04-30 2016-11-03 Barry Berman Gesture and audio control of a pinball machine
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
CN111522434A (zh) 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
DE102015209900A1 (de) * 2015-05-29 2016-12-01 Kuka Roboter Gmbh Verfahren zum Bestimmen eines Bahnpunktes
US10310617B2 (en) * 2015-06-11 2019-06-04 Intel Corporation Drone controlling device and method
US9616568B1 (en) 2015-08-25 2017-04-11 X Development Llc Generating a grasp affordance for an object based on a thermal image of the object that is captured following human manipulation of the object
US20170068416A1 (en) * 2015-09-08 2017-03-09 Chian Chiu Li Systems And Methods for Gesture Input
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
SE539323C2 (en) * 2015-10-19 2017-07-04 Husqvarna Ab Improved control of remote demolition robot
WO2017079484A1 (en) 2015-11-04 2017-05-11 Google Inc. Connectors for connecting electronics embedded in garments to external devices
US10019072B2 (en) 2016-01-01 2018-07-10 International Business Machines Corporation Imagined grid fingertip input editor on wearable device
US10168700B2 (en) 2016-02-11 2019-01-01 International Business Machines Corporation Control of an aerial drone using recognized gestures
SG11201806770TA (en) * 2016-02-15 2018-09-27 Advanced Mat Engineering Pte Ltd Modular add-on augmented reality head-up display, interfaces and controls
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
CN106210345B (zh) * 2016-07-29 2019-06-07 努比亚技术有限公司 一种移动终端及其控制方法
US11383834B2 (en) * 2016-07-29 2022-07-12 Sony Interactive Entertainment Inc. Unmanned flying object and method of controlling unmanned flying object
US10095315B2 (en) 2016-08-19 2018-10-09 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US11287945B2 (en) 2016-09-08 2022-03-29 Chian Chiu Li Systems and methods for gesture input
WO2018054831A1 (en) * 2016-09-22 2018-03-29 Philips Lighting Holding B.V. Thermal imaging for space usage analysis
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN110603122B (zh) * 2017-04-28 2023-04-18 苏希自主工作股份有限公司 用于交互式学习应用的自动个性化反馈
CN107436684A (zh) * 2017-07-12 2017-12-05 上海创单电子科技有限公司 一种基于红外线的非接触式人机交互方法
US11219837B2 (en) * 2017-09-29 2022-01-11 Sony Interactive Entertainment Inc. Robot utility and interface device
US11402917B2 (en) * 2018-06-20 2022-08-02 Sony Interactive Entertainment Inc. Gesture-based user interface for AR and VR with gaze trigger
CN109116980A (zh) * 2018-06-25 2019-01-01 中山大学新华学院 一种手势识别智能机器人系统
US11190674B2 (en) * 2018-09-07 2021-11-30 John Robert Mortensen Remote camera trigger
CN111221405A (zh) * 2018-11-23 2020-06-02 东莞市易联交互信息科技有限责任公司 一种手势控制方法及设备
US11107236B2 (en) 2019-04-22 2021-08-31 Dag Michael Peter Hansson Projected augmented reality interface with pose tracking for directing manual processes
US11106200B2 (en) * 2019-06-27 2021-08-31 Baidu Usa Llc Safety mechanism for joystick control for controlling an unmanned vehicle
EP4003164A1 (de) 2019-08-30 2022-06-01 MetraLabs GmbH Neue Technologien und Systeme System zur erfassung von bewegungsabläufen und/oder vitalparametern einer person
US20210196152A1 (en) * 2019-12-31 2021-07-01 Align Technology, Inc. Gesture control using an intraoral scanner
US11826908B2 (en) 2020-04-27 2023-11-28 Scalable Robotics Inc. Process agnostic robot teaching using 3D scans
CN111967550B (zh) * 2020-07-30 2022-08-30 内蒙古智诚物联股份有限公司 一种基于人工智能的非接触式温度检测仪及其检测方法
US20220244791A1 (en) * 2021-01-24 2022-08-04 Chian Chiu Li Systems And Methods for Gesture Input
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping
CN117021117B (zh) * 2023-10-08 2023-12-15 电子科技大学 一种基于混合现实的移动机器人人机交互与定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
US20090296991A1 (en) * 2008-05-29 2009-12-03 Anzola Carlos A Human interface electronic device
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110242042A1 (en) * 2010-04-02 2011-10-06 Amlogic Co., Ltd. Touch Panel Having Joystick Capabilities
CN102222431A (zh) * 2010-06-04 2011-10-19 微软公司 基于机器的手语翻译器
CN102981608A (zh) * 2011-05-05 2013-03-20 马克西姆综合产品公司 使用多分段光电二极管和一个或更少的照明源检测手势的方法
US20130142383A1 (en) * 2011-12-01 2013-06-06 Microvision, Inc. Scanned Image Projection System with Gesture Control Input

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843522A (en) 1984-03-06 1989-06-27 Rosenberg Burton A Vehicular lamp with moving light source
US4985651A (en) 1987-10-19 1991-01-15 Anwar Chitayat Linear motor with magnetic bearing preload
US8538636B2 (en) 1995-06-07 2013-09-17 American Vehicular Sciences, LLC System and method for controlling vehicle headlights
AU725643B2 (en) 1996-04-30 2000-10-19 Metrika, Inc. Method and device for measuring reflected optical radiation
GB2329483A (en) 1997-09-20 1999-03-24 Matra Marconi Space Uk Ltd Beam steerer with two lenses with equal and opposite powers
US6513949B1 (en) 1999-12-02 2003-02-04 Koninklijke Philips Electronics N.V. LED/phosphor-LED hybrid lighting systems
WO2003031923A1 (en) 2001-10-01 2003-04-17 Ud Technology Corporation Simultaneous multi-beam planar array ir (pair) sepctroscopy
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7358498B2 (en) 2003-08-04 2008-04-15 Technest Holdings, Inc. System and a method for a smart surveillance system
US20050082480A1 (en) 2003-08-26 2005-04-21 Aegis Semiconductor, Inc. Infrared camera system
US7823783B2 (en) 2003-10-24 2010-11-02 Cognex Technology And Investment Corporation Light pipe illumination system and method
US7618415B2 (en) 2004-04-09 2009-11-17 Technolas Perfect Vision Gmbh Beam steering system for corneal laser surgery
WO2006062895A2 (en) 2004-12-06 2006-06-15 Cambridge Research And Instrumentation, Inc. Systems and methods for in-vivo optical imaging and measurement
US7676061B2 (en) 2006-05-02 2010-03-09 Telesis Technologies, Inc. Laser safety system
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7972266B2 (en) 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
EP2017526A1 (en) 2007-06-13 2009-01-21 Royal College Of Art Directable light
US8363098B2 (en) 2008-09-16 2013-01-29 Plantronics, Inc. Infrared derived user presence and associated remote control
WO2010068499A1 (en) 2008-11-25 2010-06-17 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
US8803055B2 (en) 2009-01-09 2014-08-12 Automated Precision Inc. Volumetric error compensation system with laser tracker and active target
WO2010138741A1 (en) 2009-05-27 2010-12-02 Analog Devices, Inc. Position measurement systems using position sensitive detectors
US8766808B2 (en) * 2010-03-09 2014-07-01 Flir Systems, Inc. Imager with multiple sensor arrays
US8159156B2 (en) 2009-08-10 2012-04-17 Redwood Systems, Inc. Lighting systems and methods of auto-commissioning
EP2475927A1 (en) 2009-09-12 2012-07-18 Robe Lighting, Inc Improved optics for an automated luminaire
US20110102763A1 (en) 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8139935B2 (en) 2010-03-31 2012-03-20 James Cameron 3D camera with foreground object distance sensing
IL206689A (en) 2010-06-29 2015-09-24 Israel Aerospace Ind Ltd Visual line stabilization system
US8638364B2 (en) 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
JP5617581B2 (ja) 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
US8890435B2 (en) 2011-03-11 2014-11-18 Ilumi Solutions, Inc. Wireless lighting control system
US9229581B2 (en) * 2011-05-05 2016-01-05 Maxim Integrated Products, Inc. Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources
KR101423536B1 (ko) * 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US20130101276A1 (en) 2011-10-21 2013-04-25 Raytheon Company Single axis gimbal optical stabilization system
US9642221B2 (en) 2011-11-07 2017-05-02 Philips Lighting Holding B.V. User interface using sounds to control a lighting system
US9301372B2 (en) 2011-11-11 2016-03-29 Osram Sylvania Inc. Light control method and lighting device using the same
US9709829B2 (en) 2011-11-18 2017-07-18 Vuzix Corporation Beam steering device
US9628843B2 (en) 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8553235B1 (en) * 2012-01-18 2013-10-08 Wen-Chieh Geoffrey Lee High resolution and high sensitivity optically activated touch sensing device using multiple color light sources
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US8840273B2 (en) 2012-02-09 2014-09-23 Danny H Sooferian Adjustable focus light
US20150049062A1 (en) * 2012-03-26 2015-02-19 Silicon Communications Technology Co., Ltd Motion gesture sensing module and motion gesture sensing method
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
WO2014210502A1 (en) 2013-06-28 2014-12-31 Chia Ming Chen Controlling device operation according to hand gestures
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
US20090296991A1 (en) * 2008-05-29 2009-12-03 Anzola Carlos A Human interface electronic device
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20110242042A1 (en) * 2010-04-02 2011-10-06 Amlogic Co., Ltd. Touch Panel Having Joystick Capabilities
CN102222431A (zh) * 2010-06-04 2011-10-19 微软公司 基于机器的手语翻译器
CN102981608A (zh) * 2011-05-05 2013-03-20 马克西姆综合产品公司 使用多分段光电二极管和一个或更少的照明源检测手势的方法
US20130142383A1 (en) * 2011-12-01 2013-06-06 Microvision, Inc. Scanned Image Projection System with Gesture Control Input

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390713A (zh) * 2016-04-27 2017-11-24 阿特拉斯动力公司 基于手势的无人机控制
CN108354587A (zh) * 2016-05-24 2018-08-03 丽宝大数据股份有限公司 个性化皮肤诊断和皮肤护理
CN109844476A (zh) * 2016-09-21 2019-06-04 优泰机电有限公司 运动跟踪用热电堆阵列传感器及其应用
CN107894828A (zh) * 2016-10-04 2018-04-10 宏达国际电子股份有限公司 虚拟实境处理方法及用于处理虚拟实境的电子装置
US10659279B2 (en) 2016-10-04 2020-05-19 Htc Corporation Method and device for displaying video corresponding to physical object
WO2018103689A1 (zh) * 2016-12-07 2018-06-14 北京奇虎科技有限公司 无人机相对方位控制方法及装置
CN106444843A (zh) * 2016-12-07 2017-02-22 北京奇虎科技有限公司 无人机相对方位控制方法及装置
CN108214482B (zh) * 2016-12-14 2021-02-02 上银科技股份有限公司 非接触式的手势教导机器人
CN108214482A (zh) * 2016-12-14 2018-06-29 上银科技股份有限公司 非接触式的手势教导机器人
CN107995416A (zh) * 2017-11-14 2018-05-04 维沃移动通信有限公司 一种焦距调节方法及移动终端
CN107995416B (zh) * 2017-11-14 2019-10-18 维沃移动通信有限公司 一种焦距调节方法及移动终端
CN109196438A (zh) * 2018-01-23 2019-01-11 深圳市大疆创新科技有限公司 一种飞行控制方法、设备、飞行器、系统及存储介质
CN109074168A (zh) * 2018-01-23 2018-12-21 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
CN109074168B (zh) * 2018-01-23 2022-06-17 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
CN112867907A (zh) * 2018-09-12 2021-05-28 罗伯特·博世有限公司 具有姿势控制功能的激光标线仪
CN112867907B (zh) * 2018-09-12 2023-07-07 罗伯特·博世有限公司 具有姿势控制功能的激光标线仪
US11885642B2 (en) 2018-09-12 2024-01-30 Robert Bosch Gmbh Laser leveling tool with gesture control
CN109933203A (zh) * 2019-03-21 2019-06-25 福建工程学院 一种基于计算机视觉手势的液压挖掘机控制方法及系统
CN113900513A (zh) * 2021-09-26 2022-01-07 上海交通大学 基于可见光信号的隔空手势控制方法

Also Published As

Publication number Publication date
US20150002391A1 (en) 2015-01-01
EP3014407A1 (en) 2016-05-04
WO2014210502A1 (en) 2014-12-31
US20170083103A1 (en) 2017-03-23
US9423879B2 (en) 2016-08-23
CN105518576B (zh) 2019-04-16
EP3014407A4 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
CN105518576A (zh) 根据手势的控制装置操作
US10191559B2 (en) Computer interface for manipulated objects with an absolute pose detection component
JP6979068B2 (ja) 少なくとも１つの物体を光学的に検出するための検出器
CN108141579B (zh) 3d相机
CN104472018B (zh) 灯光控制系统和方法
US20100001998A1 (en) Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US8237656B2 (en) Multi-axis motion-based remote control
US9235292B2 (en) Interactive projector system and method
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
EP3508812B1 (en) Object position and orientation detection system
US7756297B2 (en) Camera based sensing in handheld, mobile, gaming, or other devices
KR20090034824A (ko) 애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터판독가능 매체
JP2009037620A (ja) 三次元バーチャルインプットとシミュレートの装置
US20100201808A1 (en) Camera based motion sensing system
JP2010522922A (ja) 電子機器を追跡するためのシステム及び方法
CN107803025B (zh) 一种3d高精度实时瞄准及触发模拟方法
CN207886667U (zh) 一种3d高精度实时瞄准及触发仿真系统
JP2000172430A (ja) 情報入力装置、その位置認識装置、その位置認識方法、仮想画像立体合成装置及び記憶媒体
JP2023180053A (ja) 空中像インタラクティブ装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant