CN104981757A - 灵活的房间控制器 - Google Patents

Abstract

本发明公开了一种控制装置(22)，其包括光学子系统(40)，该光学子系统被配置为将第一光朝向包括接近房间的壁的用户(38)的手的场景引导，以及接收从该场景反射的所述第一光，并且将第二光朝向所述壁引导以将控制设备(32,34,36)的图像投影到所述壁上。处理器(42)被配置为控制所述光学子系统以响应于所接收的第一光来生成所述场景的深度图，处理所述深度图以检测在所投影图像的位置中所述手对所述壁的接近度，并响应于所述接近度来控制房间中的电气设备(24,26,28,30)。

Description

灵活的房间控制器

技术领域

本发明整体涉及人机接口，并且尤其涉及房间或建筑物中的用户控制器。

背景技术

房间控制器(诸如电气开关和温度控制恒温器)的位置一般是在建筑物的建筑设计期间被选定，并且然后控制器在建筑施工期间被硬接线到壁内的适当位置。如果居住者后来希望添加控制器或将已有控制器移动到另一位置，则一般将必须在墙中打洞、重新布线、并且然后修复并重新油漆。

扫描投影仪在本领域中是已知的。例如，美国专利8,437,063描述了一种扫描光束的方法，其利用微机电系统(MEMS)设备驱动第一镜和第二镜以沿第一轴线和第二轴线来扫描光束，该美国专利的公开内容以引用方式并入本文。

又如，美国专利申请公开2013/0106692描述了用于3D映射的扫描投影仪和图像捕获模块，该美国专利申请公开的公开内容以引用方式并入本文。该公开描述了用于映射的装置，该装置包括照明模块，该照明模块包括辐射源，该辐射源被配置为发射辐射束。扫描器接收并在选择的角范围上扫描所述辐射束。照明光学器件投影所扫描的辐射束以便产生在感兴趣的区域上延伸的点图案。成像模块捕获被投影到感兴趣的区域中的物体上的图案的图像。处理器处理该图像以便构建所述物体的三维(3D)图，也被称为深度图。

又如，被转让给本专利申请的受让人的美国专利申请公开2013/0106692描述了一种改进的内容投影设备，该设备察觉到在其视场中的物体，从而将这样的物体识别为适于在其上投影内容，该美国专利申请公开的公开内容以引用方式并入本文。该投影设备可通过控制所投影内容的比例、失真、焦点，以及通过改变所投影内容自身来适应物体的几何结构和特性。除此之外或另选地，该投影设备可根据观察者与所投影内容的关系(诸如其凝视向量、与内容被投影到上面的表面之间的距离、以及其他类似参数)来调整所投影内容。用于分析用于投影的几何结构的2D/3D输入设备也可被用于与所投影内容进行交互。

另一类型的扫描深度引擎在被转让给本专利申请的受让人的美国专利申请公开2013/0207970中进行了描述，并且该美国专利申请公开的公开内容以引用方式并入本文。映射装置包括发射包括光脉冲的光束的发射器和被配置为在场景上在预定义的扫描范围内扫描所述光束的扫描器。接收器接收从所述场景反射的光，并生成输出，该输出指示所述脉冲到所述场景中的点并从所述点回来的飞行时间。处理器被耦接来控制扫描器，以使所述光束在所述扫描范围内在选择的窗口上进行扫描，并处理接收器的输出，以生成所述场景在所述选择的窗口内的部分的3D图。

深度感测可被用于提供“虚拟触控板”功能性。例如，转让给本专利申请的受让人的美国专利申请公开2013/0283213描述了一种方法，在该方法中，计算机接收至少包含物理表面的二维图像(2D)并将该物理表面划分为一个或多个物理区域，该美国专利申请公开的公开内容以引用方式并入本文。为这些区域中的每一者分配功能性，每个所述功能性对应于触觉输入设备。至少包含位于所述物理区域中的一个物理区域上的计算机用户的手的一系列三维(3D)图被接收。所述3D图被分析，以检测用户所执行的手势，并且基于该手势，为对应于所述物理区域中的所述一个物理区域的触觉输入设备模拟输入。

深度图可被分析，以找到出现在此类图中的手和手指的姿态。例如，转让给本专利申请的受让人的美国专利申请公开2013/0236089描述了一种方法，在该方法中，基于分布在人手上相应位置中的多个小块中的深度值来从深度图提取描述符，该美国专利申请公开的公开内容以引用方式并入本文。将所提取的描述符与数据库中先前存储的描述符进行匹配，并基于所存储的与所匹配的描述符相关联的信息来估计人手的姿态。

发明内容

下文中描述的本发明的实施例提供了用于有利于在封闭环境中与控制器的用户交互的方法和设备。

因此，根据本发明的实施例提供了控制装置，该控制装置包括光学子系统，该光学子系统被配置为将第一光朝向包括接近房间的壁的用户的手的场景引导，以及接收从该场景反射的所述第一光，并且将第二光朝向所述壁引导以将控制设备的图像投影到所述壁上。处理器被配置为控制所述光学子系统以响应于所接收的第一光来生成所述场景的深度图，处理所述深度图以检测在所投影图像的位置中所述手对所述壁的接近度，并响应于所述接近度来控制所述房间中的电气设备。

在一些实施例中，处理器被配置为通过处理所述深度图来检测所述手与所述壁的接触，并响应于所检测到的接触来控制所述电气设备。除此之外或另选地，处理器可被配置为响应于由所述手在所投影图像的位置中接近所述壁时所做出的手势来修改所述控制设备的图像的外观或者修改所述控制设备的图像被投影的位置。进一步除此之外或另选地，处理器可被配置为响应于用户的输入而在所述壁上的新位置中添加并投影另一控制设备。

在本发明所公开的实施例中，光学子系统包括第一光源和检测器，所述第一光源被配置为将所述第一光作为一系列脉冲而发射，所述检测器被配置为检测从所述场景反射的所述脉冲的飞行时间，并且其中所述处理器被配置为基于从所述光学子系统接收的飞行时间数据来生成所述深度图。

在一些实施例中，光学子系统包括扫描器，所述扫描器被配置为在所述场景上扫描所述第一光和所述第二光，以生成所述深度图并投影所述图像。通常，所述扫描器包括扫描镜，所述扫描镜被配置为在所述场景上同时扫描所述第一光和所述第二光。任选地，所述光学子系统被配置为控制所述第二光，使得在所述镜扫描经过所述手时，所述控制设备的图像不被投影到所述手上。

根据本发明的实施例还提供了一种用于控制电气设备的方法，所述方法包括将第一光朝向包括接近房间的壁的用户的手的场景引导。从所述场景反射的所述第一光被接收，并且响应于所接收的第一光来生成所述场景的深度图。将第二光朝向所述壁引导，以将控制设备的图像投影到所述壁上。所述深度图被处理，以检测在所投影图像的位置中所述手对所述壁的接近度。响应于所述接近度来控制所述房间中的电气设备。

结合附图通过下面对本发明的实施例的详细描述，将更全面地理解本发明，在附图中：

附图说明

图1为根据本发明的实施例的具有基于投影的控制系统的房间的示意性图解；并且

图2是根据本发明的实施例的示意性地示出基于投影的房间控制单元的框图。

具体实施方式

本文以下描述的本发明的实施例为房间控制器放置问题提供了一种替代形式的灵活解决方案。在这些实施例中，如下文详细所述，控制单元将控制设备的图像投影到房间的壁上，并远程地感测用户与所投影设备的接触和对所投影设备的操控(或更准确的说是用户的手和手指在该情形下与图像被投影到的壁的接触及其手势)。所投影设备的范围涵盖了从简单的接通/关断开关到更复杂的控制器，诸如拨号盘、滑动条、和小键盘。

用户可通过与控制系统的交互(诸如通过沿壁将所投影设备按住拖拽到新位置)来随意地修改、添加或移除控制设备。本发明的系统因此模拟常见的控制模式(其中，给定房间中的电气设备由壁上的开关来控制)，同时提供一般只与无线远程控制相关联的灵活性等级。但是，与无线系统相比，用户能与本发明的系统进行交互，而不必携带任何形式的物理无线设备(或可能忘记将任何形式的物理无线设备放在什么地方)。

图1为根据本发明的实施例的具有基于投影的控制系统20的房间的示意性图解。系统20的关键元件是房间控制单元22，房间控制单元控制房间中电气设备的操作，房间中的电气设备例如诸如是灯24,26、空调28、和(可播放音频、视频或其他内容的)媒体系统30。这些设备项通常经过房间的壁和天花板连线到控制单元22，而不是将它们连线到安装在房间的壁上的传统电气控制设备。或者，控制单元22可经由无线链路来操作电气设备项，如现有技术中已知的那样。

可如图1中所示方便地被安装在天花板上或中的房间控制单元22将控制设备32,34,36的图像投影到房间的壁上。用户38通过其手和手指的手势来与这些所投影设备进行交互，就如同它们是实际的电气控制器那样。控制单元22中的传感器检测用户手指与所投影设备之间的接触，并相应地控制房间中的电气设备。因此，例如，用户38可触摸设备36中的接通/关断开关，以使控制单元22将灯26打开或关闭，或者可转动设备32中的拨号盘，以使控制单元将灯24调亮或调暗。又如，用户38可移动设备34中的滑动条，以改变房间温度(并且控制单元22可以也将实际和/或目标温度投影到设备34上，就如同该设备是实际恒温器那样)。包括多个按键和显示元件的更复杂的控制设备可被类似地投影和操控。

如前面所解释的那样，图1中所示的控制设备32,34,36仅仅是平坦壁上的所投影图像。控制单元22通常捕获每个控制设备的区域的深度图(也被称为3D图或3D图像)，并处理该深度图以便确定用户已经在给定设备的位置处接触壁并识别用户关于所投影设备所进行的移动(手势)。可在控制单元22中用来投影设备图像以及利用3D映射检测用户的手与设备的接触和对设备的操控的技术例如在上文在背景技术部分中所引用的参考文献中进行了描述。下面参考图2描述基于这些技术的控制单元22的可能具体实施的细节。

如前所述，系统20的优点之一是用户38能随意地改变控制设备32,34,36的位置和形式。为此目的，控制单元22可实现与功能性的触摸接口与当前触摸屏所提供的类似。例如，当控制单元22感测到用户手指与控制设备中的一个控制设备之间的延长接触时，控制单元选择并视觉地突出该设备。然后用户可通过将其手指沿房间的壁滑动到期望位置来将控制设备拖放到新位置。控制单元22可同时在用户手指旁边投影控制设备沿壁的移动图像，直到用户在其新位置“放下”该设备。

同样地，用户38可使用适当的手势或其他输入来放大或缩小控制设备，以及将出现在壁上的设备复制到另一壁上的位置。这样，例如，用户将能够添加用于灯26的“开关”，使得其将可能从房间门旁边的位置以及灯本身旁边的位置这两个位置打开和关闭这个灯。为此目的并不需要附加的布线或其他修改。对于更复杂的操作诸如生成新控制器，控制单元22可具有与具有用于该目的的适当软件的计算机(未示出)的有线或无线接口。

图2是根据本发明的实施例的示意性地示出房间控制单元22的细节的框图。控制单元22包括光学子系统40，光学子系统在处理器42的控制下工作。通常，处理器42包括具有用于执行本文所述功能的适当软件的微处理器(并且可能添加专用硬件逻辑部件(例如被实现为ASIC芯片))和用于控制和处理来自光学子系统40的信号的适当接口。处理器42的关键功能由图2中所示的功能框来表示，这些功能框在下文中进行描述。

为了深度映射的目的，光学子系统40可按与上面提到的美国专利申请公开2013/0207970中所述的那些类似的原理来工作。扫描控制器44驱动光源46，诸如红外线激光二极管(标记为L1)，以发射一系列短的光脉冲。(术语“光”是指任何或所有可见、红外和紫外辐射)。光脉冲从一对分束器48和50反射，并且然后入射到扫描镜52。如果光源46被偏振，则分束器50可以是取决于偏振的，而分束器48可以是二色性的，以优先反射光源46的波长带。光学子系统40还可包括聚焦光学器件，诸如透镜，用于将激光束准直以及聚集反射光，但这些元件在这里出于简化的原因被省略。

镜52绕两正交的轴线旋转，以便在感兴趣的区域上扫描来自光源46的脉冲。镜可以是例如利用在上面提到的美国专利8,437,063中以及在美国专利申请公开2013/0207970中所述的MEMS技术生成和驱动的微型镜。扫描驱动器54通常对镜进行驱动以按光栅模式绕轴线旋转。扫描控制器44用信号通知驱动器54以根据用户38在房间中的位置(并且具体地，是用户的手的位置)来控制扫描参数。因此，镜52可首先扫描房间的广阔区域，然后一旦处理器42在房间中识别出用户，扫描就可以更高分辨率放大到用户的手的区域，并控制用户正在触摸或将要触摸的控制设备32,34,36。这样，控制单元22能够以更高精度检测用户的手姿态和手势。

被镜52引导到房间中的光脉冲从房间中的物体(包括用户38的身体以及在上面投影控制设备32,34,36的壁)反射。返回到控制单元22的被反射光的部分然后被镜52反射并经由分束器50到达检测器56上。该检测器可包括任何适当形式的敏感的高速光检测器，诸如雪崩光电二极管。检测器56输出与其已经接收到的被反射光的脉冲相对应的电脉冲。光源46所发射的脉冲与检测器56所接收的脉冲之间的时间延迟指示到物体并从物体反射回的光的往返飞行时间，并因此指示控制单元22与物体表面的距离，其中脉冲已经从该物体被反射。处理器42中的深度映射电路58将飞行时间数据转换为深度图，深度图示出了用户的手相对于被投影到壁上的控制设备的位置。

显示发生器60驱动可见光源62，以在壁上生成控制设备32,34,36的图像。光源62(被标记为L2)可包括例如激光二极管或LED、或者在显示发生器60的控制下发射不同颜色的光的一组两个或三个激光二极管或LED。光源62发射的光经过分束器48，并且然后从分束器50和镜52反射到房间的壁上。因此，在所图示配置中，同一扫描镜52被同时用于生成3D图和投影控制设备图像。在另一具体实施中，控制单元22可包括单独的扫描镜(未示出)用于独立于镜52的深度映射扫描来投影控制设备32,34,36的图像。

显示发生器60控制光源62，使得其所发射的光束在镜52的光栅扫描过程中在壁上绘制控制设备。映射电路58为显示发生器60提供的壁的深度图使显示发生器能够调节其投影的控制设备的图像的几何结构，使得图像以适当的(通常是矩形的)形状和形式出现在壁上，从而抵消投影的变化角度和距离。此外，显示发生器可在镜52扫描经过用户的手时控制光源62，使得控制设备的图像不被投影到手上。用于基于表面深度图自适应地投影到各种形式的表面上的技术在上面提到的美国专利申请公开2013/0106692、2013/0127854和2013/0283213中进一步进行了描述。

房间控制器64处理映射电路58所提供的深度图，以便识别接近控制设备32,34,36的用户的手的位置和姿势。控制器64所提取的信息通常包括用户的手指是否正在触摸控制设备中的一个控制设备以及手指相对于其正在触摸的控制设备正在进行的任何移动。可具体用于在深度图中识别手和手指的姿势和移动的技术例如在上面提到的美国专利申请公开2013/0236089中以及在被转让给本专利申请的受让人的提交于2012年10月30日的美国专利申请13/663,518中进行了描述，该美国专利申请的公开内容以引用方式并入本文。基于手指位置和手势，控制器64确定在操作房间中的电气设备时进行的改变(诸如打开或关掉灯24,26、或使其更亮或更暗、或改变空调28的温度设置或音频系统30的音量)，并且然后将这些改变应用到设备的适当的物理控制器。

在实践中，在检测用户的手指何时实际触摸控制设备32,34,36被投影在其上的壁时可能存在某种不明确，特别是当用户的手如图1中所示从后面被映射时。为了减轻就此而言的可能问题，处理器42可学习每个用户的手的几何结构，并且具体地是手指的特征，并且然后可将该几何结构应用于确定手指何时与给定控制设备接触。例如，控制单元22可在没有人在房间中时进入休眠模式，从而偶尔地扫描房间以检测用户是否存在。在检测到用户时，控制单元22唤醒，定位并跟踪用户的手的移动，并因此计算在随后的触摸检测中应用的预定义的几何形手模型的参数。另选地或除此之外，处理器42可检测接近控制设备32,34,36的特定控制手势，而不具体依赖于触摸检测。

虽然上文中所述的实施例涉及系统20(特别是控制单元22)的特定光学和电子配置，但可类似地利用不同的光学和电子布置来应用本发明的原理。具体地，控制单元22例如可实施现有技术中已知的其他深度映射方法，诸如基于点图案或其他形式的结构化光的投影和感测的方法、或者基于立体成像的方法。类似地，控制单元可包含用于投影控制设备32,34,36的其他装置，诸如数字光处理(DLP)投影仪。上文所述的所投影控制设备的类型的其他应用也被认为是在本发明的范围之内。

因此，应当理解，上述实施例是以举例的方式援引的，并且本发明不限于上文特别示出和描述的内容。相反，本发明的范围包括上文所述各种特征的组合和子组合两者、以及本领域的技术人员在阅读以上描述时会想到且在现有技术中未公开的其变型形式和修改形式。

Claims (18)

1.控制装置，包括：

光学子系统，所述光学子系统被配置为将第一光朝向包括接近房间的壁的用户的手的场景引导，以及接收从所述场景反射的所述第一光，并且将第二光朝向所述壁引导以将控制设备的图像投影到所述壁上；和

处理器，所述处理器被配置为控制所述光学子系统以响应于所接收的第一光来生成所述场景的深度图，处理所述深度图以检测在所投影图像的位置所述手接近所述壁，并响应于所述接近来控制所述房间中的电气设备。

2.根据权利要求1所述的装置，其中所述处理器被配置为通过处理所述深度图来检测所述手与所述壁的接触，并响应于所检测到的接触来控制所述电气设备。

3.根据权利要求1所述的装置，其中所述处理器被配置为响应于由所述手在所投影图像的位置接近所述壁的同时所做出的手势来修改所述控制设备的所述图像的外观。

4.根据权利要求1所述的装置，其中所述处理器被配置为响应于由所述手在所投影图像的位置接近所述壁的同时所做出的手势来修改所述控制设备的所述图像被投影的位置。

5.根据权利要求1所述的装置，其中所述处理器被配置为响应于所述用户的输入而在所述壁上的新位置添加并投影另一控制设备。

6.根据权利要求1至5中任一项所述的装置，其中所述光学子系统包括第一光源和检测器，所述第一光源被配置为将所述第一光作为一系列脉冲而发射，所述检测器被配置为检测从所述场景反射的所述脉冲的飞行时间，并且其中所述处理器被配置为基于从所述光学子系统接收的飞行时间数据来生成所述深度图。

7.根据权利要求1至5中任一项所述的装置，其中所述光学子系统包括扫描器，所述扫描器被配置为在所述场景上扫描所述第一光和所述第二光以生成所述深度图并投影所述图像。

8.根据权利要求7所述的装置，其中所述扫描器包括扫描镜，所述扫描镜被配置为在所述场景上同时扫描所述第一光和所述第二光。

9.根据权利要求8所述的装置，其中所述光学子系统被配置为控制所述第二光，使得在所述镜扫描经过所述手时所述控制设备的所述图像不被投影到所述手上。

10.一种用于控制电气设备的方法，包括：

将第一光朝向包括接近房间的壁的用户的手的场景引导；

接收从所述场景反射的所述第一光；

响应于所接收的第一光来生成所述场景的深度图；

将第二光朝向所述壁引导，以将控制设备的图像投影到所述壁上；

处理所述深度图，以检测在所投影图像的位置所述手接近所述壁；以及

响应于所述接近来控制所述房间中的电气设备。

11.根据权利要求10所述的方法，其中处理所述深度图包括检测所述手与所述壁的接触，其中所述电气设备响应于所检测到的接触而被控制。

12.根据权利要求10所述的方法，并且包括响应于由所述手在接近所述壁的同时所做出的手势来修改所述控制设备的所述图像的外观。

13.根据权利要求10所述的方法，并且包括响应于由所述手在接近所述壁的同时所做出的手势来修改所述控制设备的所述图像被投影的位置。

14.根据权利要求10所述的方法，并且包括响应于所述用户的输入而在所述壁上的新位置添加并投影另一控制设备。

15.根据权利要求10至14中任一项所述的方法，其中引导所述第一光包括将一系列脉冲朝向所述场景引导，并且其中接收所述第一光包括检测从所述场景反射的所述脉冲的飞行时间，并且其中生成所述深度图包括处理所述脉冲的所述飞行时间以得出深度数据。

16.根据权利要求10至14中任一项所述的方法，其中引导所述第一光和所述第二光包括在所述场景上扫描所述第一光和所述第二光，以生成所述深度图并投影所述图像。

17.根据权利要求16所述的方法，其中扫描所述第一光和所述第二光包括从扫描镜反射所述第一光和所述第二光，所述扫描镜在所述场景上同时扫描所述第一光和所述第二光。

18.根据权利要求17所述的方法，其中引导所述第二光包括控制所述第二光，使得在所述镜扫描经过所述手时所述控制设备的所述图像不被投影到所述手上。