CN106415460A

CN106415460A - 具有智能用户输入界面的可穿戴设备

Info

Publication number: CN106415460A
Application number: CN201680001353.0A
Authority: CN
Inventors: 张玮
Original assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Current assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date: 2016-07-12
Filing date: 2016-07-22
Publication date: 2017-02-15
Anticipated expiration: 2036-07-22
Also published as: CN106415460B

Abstract

一种可穿戴设备，其有一个相机和一个光源，通过第一方法测量指状物体的指端在基准面上方的高度(如果有基准面的话)、或通过第二方法估计所述指端的3D位置，来接收用户输入。在第一方法里，投射均匀光到物体上，在基准面上产生一个阴影。使用相机看到的阴影长度来计算指端在基准面上方的高度。在第二方法里，根据物体的物理宽度预设下限和上限，估计指端的最近和最远位置。然后，物体被一个结构光图案照亮，使得其在最近和最远位置之间的一个区域接收到一部分图案，其中这部分图案不包含重复的子图案，从而能够唯一确定指端的3D位置。

Description

具有智能用户输入界面的可穿戴设备

【相关申请的交叉引用】

本发明是美国专利申请14/102,506(申请日2013年12月1日)的部分延续申请，14/102,506又是美国专利申请13/474,567(申请日2012年5月17)的部分延续申请。美国专利申请14/102,506和美国专利申请13/474,567在此通过引用结合入本发明。

【技术领域】

本发明涉及一种可穿戴设备，其具有接收用户输入的接口，特别涉及通过确定指状物前端在基准面上方的高度或确定该前端的空间三维(3D)坐标而接收用户输入的可穿戴设备。

【背景技术】

在人机互动娱乐和消费电子里，许多应用都涉及基于计算机的自动探测接触基准面的物体和/或确定该物体的位置信息(如空间坐标)或移动信息(如速度、加速度等)。在其中一种应用里，互动投影系统提供一个与用户互动的显示屏，需要确定用户手指指尖是否触摸到屏幕的一个预设区域，从而互动投影系统能够接收到用户输入。在另一个与计算机娱乐相关的应用里，游戏使用用户手指触碰平面的速度，来预测用户是决定还是犹豫提供一个输入到游戏里。

最近，出现了许多可穿戴互动显示设备，如集成在眼镜里的互动显示，它们是用户如何与虚拟和现实世界进行互动的典型例子。给用户的眼镜配上可穿戴互动显示器，安装在互动显示器里的相机可以看到用户看到的东西。然后，用户可以将他与现实世界的互动和操纵数字对象联系起来。但是，这种可穿戴设备通常戴在用户身体的某个部位上，跟随用户移动。可穿戴设备的显示器通常很小，对用户输入装置有一定限制，操作可穿戴设备非常不便。因此，期望能获得用户手指的位置或运动信息，从而使戴有可穿戴设备的用户能够用手和手指控制数字信息。

US2014/0098224(即美国专利申请14/102,506)披露了一种设备，其能够检测指尖在触摸平面上方的高度，以确定手指是否触摸到屏幕，从而最终确定到设备的用户输入。该设备使用图像传感器(即相机)检测指尖在触摸屏上方的高度。当手指被照射到时，在触摸平面上会有一个阴影。于是相机拍摄该阴影的图像。根据相机拍摄到的阴影长度，计算指尖在触摸平面上方的高度。但是，当该设备的检测方法实施在可穿戴互动显示器上时，非常有可能指尖在触摸平面上方的高度很高，以至于很难检测到手指阴影。因此，该设备希望能有另一种技术来检测指尖的空间3D坐标。

需要一种可穿戴设备，其能够在有触摸平面时检测物体末端在触摸平面上方的高度，并能够在没有触摸平面时估计物体末端的3D坐标。

【发明内容】

本发明提供了一种可穿戴设备，其能通过第一方法测量指状物体指端在基准面上方的高度，或通过第二方法估计指端的3D位置，以接收用户输入。该可穿戴设备包括一个或多个处理器、一个相机和一个光源。该光源被设置以产生均匀光和结构光图案。

在第一种方法里，指尖在基准面上方的高度通过以下步骤被确定。首先，确定一个表平面方程的参数，用以几何表示基准面。根据该表平面方程的参数，确定在基准面上方的相机高度和光源高度。另外，获得基准面的一个表面轮廓，以及一个表面映射图，其被设置以将相机拍摄图像上的任一点映射到基准面上的一个对应物理位置。此外，从一个相机拍摄的ROI确定图像中，确定一个感兴趣区域(ROI)，使得所述ROI包含一个包围并包括指端的区域。然后，将均匀光投射到一个至少覆盖ROI的区域，使得指端物体周围被照亮，而在基准面上形成一个阴影，除非物体足够靠近基准面。然后，使用表面映射图，从一个高亮ROI图像中估计出相机看到的阴影长度，其中高亮ROI图像是在投射均匀光之后被相机拍摄的。相机看到的阴影长度是沿着一个地形平面线在基准面上形成的并被相机看到一部分阴影的长度。通过使用所述表面映射图，从高亮ROI图像中，还能够估计出阴影-光源距离。根据一个包括了表面轮廓、相机看到的阴影长度、阴影-光源距离、在平行于基准面方向上测量到的光源和相机之间的距离、相机在基准面上方的高度、和光源在基准面上方的高度的数据集合，能够估计出指端在基准面上方的高度。

在第二种方法里，指端的3D位置通过以下步骤进行估计。当均匀光照亮物体时，相机拍摄至少包含指端的第一图像。根据第一图像，确定指端在传感器上的位置，以及物体的物理宽度投射在传感器上的长度。分别根据物体的物理宽度的一个预设下限和一个预设上限，并根据指端在传感器上位置、物体的物理宽度投射在传感器上的长度、和焦距，估计出指端的一个最近物理位置和一个最远物理位置。由此，指端被估计物理位于一个介于最近和最远物理位置之间的存在区域内。接着，将结构光图案至少投射到存在区域上，使得指端物体周围的一部分被结构光图案的第一部分照亮。特别地，光源设置结构光图案，使得由存在区域接收的结构光图案的第二部分不包含任何重复的子图案。这样，通过识别照亮所述物体的结构光图案的第一部分，就能够唯一确定指端的3D位置。当结构光图案被投射到存在区域时，拍摄第二图像，第二图像至少包含指端物体的周围部分。从第二图像中识别结构光图案的第一部分，就能确定指端的3D位置。

以下通过实施例，描述本发明的其它方面。

【附图说明】

图1A显示一个应用情景，其中可穿戴设备通过观察手指在基准面上投射的阴影长度，而估计出指尖在基准面上方的高度。

图1B显示另一个应用情景，在没有基准面的情况下，可穿戴设备估计出指尖的3D位置。

图2显示可穿戴设备确定用户输入的一个流程示意图。

图3显示本发明实施例的确定相机视野内是否出现基准面的方法。

图4A显示一个结构，其中指状物体投射一个阴影在基准面上，用于确定物体指端在基准面上方的高度，当相机观测到的阴影长度被采用时，所述结构描述了获得指端唯一高度的解决方案。

图4B是一个类似结构，但在基准面上面及指端下方有一个方块，用以模拟基准面在物体下方的位置被抬高的效果，所述结构描述了即使基准面不是平坦的情况下也能够获得指端唯一高度的解决方案。

图5显示确定指端在基准面上方的高度的一个示例流程步骤。

图6显示确定指端的3D位置的一个示例流程步骤。

图7显示一个用于确定指端的3D位置的结构，其中一个指状物体被光源照亮，并被相机拍摄图像。

图8显示一个结构，用于确定指端在光源的光调制屏上的位置，对应指端的最近和最远物理位置，所述结构被分成三个子图(a)-(c)。

图9显示一个用于结构光图案的静态图案设计的例子。

【具体实施方式】

在此使用的“基准垂直方向”和“基准水平方向”被定义为两个互相正交的方向，但这两个方向并不参照地球重力方向来定义。本发明假设基准面通常是平坦的，在此，基准垂直方向被定义为一个基本垂直于基准面的方向，基准水平方向则是参照基准垂直方向而定义的。例如，基准面可以是一个桌面或桌面上的一个纸平面。如果基准面不是平坦的，那么使用一个最近似的假想平坦表面来代表粗糙表面上的基准面，来设定基准垂直方向，而不是使用原始基准面。也就是说，如果基准面不是平坦的，那么基准垂直方向就是垂直于该假想平坦表面的方向。

在本说明书和权利要求里使用的“某物体在基准面上方的高度”，被定义为沿着基准垂直方向测量的从所述某物体到基准面距离。所述某物体的例子包括指状物末端、相机和光源。

另外，在本说明书和权利要求里还使用以下定义。“出现某物体”是指该物体出现在相机的视野范围(FOV)里，除非另外特别说明。类似地，“没有出现某物体”是指该物体没有出现在上述FOV里，除非另外特别说明。“结构光图案”是指具有一定辐射功率的投影光，当投影光被投射时，辐射功率在照射物体上方发生变化，可以选择一定的辐射功率，以在被照射物体上产生一个预设图案。例如，如果预设图案是格子图案，当结构光图案投影到一个空白表面上时，会在该空白表面上产生格子的图案。另一个例子，预设图案可以有一个符合正弦波的强度分布。“均匀光(Aplain sheet of light)”是指用于照亮物体的投射光。均匀光不同于结构光图案，均匀光不会投影一个预设图案到物体上。举个例子，如果在照射物体上的投射光的辐射功率分布是均匀的，那么该投射光是一种均匀光。用于传输结构光图案或均匀光的光波不限于可见光谱。该光波还可以是不可见光，如红外线。

本发明提供的可穿戴设备，其可以使用第一方法测量指状物体末端在基准面上方的高度，或使用第二方法估计所述末端的3D位置，来接收用户输入。指状物体可以是人的手指，或任何具有尖点的圆柱形物体，该尖点可以和所述圆柱形物体的主体区分开来。该圆柱形物体的一个例子是铅笔。如果指状物体是人的手指，那么末端就是手指的指尖。实践中，可穿戴设备可以是眼镜或头戴式设备。

优选地，可穿戴设备可以实施包括第一和第二两种方法，尽管在一些实际情况下会期望可穿戴设备只包括其中一种方法。第一方法适用于有基准面的情况下，但第二方法不管是否有基准面，都适用。不过，当没有基准面时，使用第二方法的优点是很明显的。

通过将第一和第二方法应用到图1A和1B的两个应用情景里，在可穿戴设备里是可以实现智能用户输入界面的。图1A和1B分别描述有基准面150和没有基准面的情景。可穿戴设备110，在这里是以眼镜方式实现的，通过观察用户手指105来确定用户的一个或多个输入。手指105有一个指尖106。可穿戴设备110包括一个用于照亮手指105的光源124、一个用于拍摄手指105图像的相机122、和一个或多个用于执行计算和控制工作的处理器126(包括控制相机122和光源124)。在有基准面150的情况下(图1A)，光源124投射均匀光130到手指105上，在基准面150上产生一个阴影160。相机122仅“看见”阴影160的一部分161。根据相机所观察到的部分161的长度，可以估计出指尖106在基准面150上方的高度。在没有基准面150的情况下(图1B)，光源124投射一个结构光图案131到手指105上。相机122拍摄到手指105的图像与一部分结构光图案131。可以将结构光图案131设计得使手指105的照亮部分能够协助所述一个或多个处理器126确定所述指尖106的3D位置。

本发明的详细细节将在以下进行描述。

图2是可穿戴设备确定用户输入的一个流程示意图。可穿戴设备包括一个或多个处理器、一个相机和一个光源。光源被设置以产生一种均匀光和一种结构光图案。用户输入是通过观察一个指状物末端来确定的。

在步骤210，确定在相机视野范围(FOV)内出现指状物体。本领域技术人员可以很容易在已知现有技术里找到一个方法通过相机拍摄图像来确定指状物体是否出现在FOV里。

在检测到物体出现之后，在步骤220确定是否有基准面。图3描述本发明实施例的一种方法以确定是否有基准面出现在相机FOV里。在没有光源照射物体(如手指330)的情况下，相机拍摄FOV，提供第一图像310。在用均匀光照射手指330的情况下，相机拍摄到包含手指330的第二图像(没有基准面时是图像320a，否则是320b)。在有基准面的情况下，基准面会反射所述均匀光，使得第二图像320b有一个背景强度，其大幅不同于第一图像310里记录的相应背景强度。在没有基准面的情况下，第一图像310和第二图像320a记录的背景强度不会非常不同。因此，通过从第一图像310和第二图像(320a或320b)确定在手指330边界331的外部周围区域的强度水平，能够确定是否存在基准面。如果从第一图像310确定的强度水平大幅不同于从第二图像320b确定的强度水平，那么确定存在基准面。否则，确定不存在基准面。

参见图2，如果存在基准面，在步骤230确定指尖在基准面上方的高度，然后在步骤250，根据指尖高度确定用户的一个或多个输入。如果不存在基准面，在步骤240确定指尖的3D位置，然后在步骤250根据指尖的3D位置确定用户的一个或多个输入。

在一个实际应用里，步骤250包括：如果指尖在基准面上方的高度小于一个预设阈值，那么确定物体触碰到基准面，由此，根据物体是否触碰到基准面，而确定用户的一个或多个输入。

如上所述，不管是否存在基准面，都可以确定指尖的3D位置。可选地，步骤240可以在步骤210完成之后立刻进行，而无需进行步骤220，如图2里的虚线箭头245所示。

A.在有基准面时确定指尖的高度

根据美国专利申请14/102,506里披露的方法，步骤230确定指尖在基准面上方的高度。

A.1.数学推导

图4A描述一个指状物体投射一个阴影在基准面上。参照基准面430，确定基准垂直方向402和基准水平方向404。一个具有指端425的指状物体420被光源410照亮。光源410的光线被物体420阻挡，因此在基准面430上形成一个阴影441a。特别地，光源410的光线沿着视线路径450行进，碰到指端425，从而形成阴影441a的起始点442a。相机415拍摄FOV内的物体420以及被相机415看到阴影441a的一部分。相机415看到的那部分阴影441a，是连接相机415和指端425的视线路径455沿着地形平面线435(topographical surface line)投影而形成的。相机未看到的那部分441a的阴影被物体420阻挡住了。

阴影441a可由相机415看到的部分其阴影长度为440a，以S表示。设定H_f为指端425在基准面430上方的高度。设定L_f是相机415和指端425之间沿基准水平方向404测量的距离。设定D是阴影-光源距离，即光源410和阴影441a起始点442a之间沿基准水平方向404测量的距离。设定L_p为光源410和相机415之间沿基准水平方向404测量的距离。设定H_p为光源410到基准面430之间沿基准垂直方向402测量的距离。设定H_c为相机415到基准面430之间沿基准垂直方向402测量的距离。由于两个斜边与视线路径450重叠的三角形是相似三角形，所以得到等式(1)如下：

此外，两个斜边与视线路径455重叠的三角形也是相似三角形，得到等式(2)如下:

从等式(1)，将L_f由H_f表示：

将等式(3)代入等式(1)，进行代数运算产生：

接着，根据S(相机可看到的阴影长度440a)和D(阴影-光源距离)，可以确定指端425在基准面430上方的唯一高度，S和D是可以通过相机拍摄的图像和一个表面地图获得的，这将在以下进行解释。如图所示，等式(4)里涉及到的其它参数，L_p、H_p和H_c可以在检测基准面430后的测量步骤里获得。

根据等式(4)，如果S＝0，很明显H_f＝0。接着，如果相机看到的阴影长度440a几乎近似为0，或如果相机415可看到的部分阴影441a不存在，可以确定物体触摸到基准面430。

另外一个结果，利用等式(4)提供的计算值H_f，L_f可以从等式(3)获得，或可以直接通过以下等式计算：

图4A描述了相机415的位置在基准垂直方向402上低于光源410，并在基准水平方向404上离物体420更远，远过光源410。但是，本发明不限于相机415和光源410的这种位置设置。在基准垂直方向402上光源410可以低于相机415，从而光源410不会阻挡视线路径455。类似地，在基准水平方向404上相机415可以更靠近物体420，离光源410更远。这样相机415就不会阻挡视线路径450。

图4B类似于图4A，除了在物体420的指端425下方引入一个高度H₀的矩形方块460。注意到，方块460的引入类似于在指端425下方将基准面430抬高一个H₀的高度。会形成一个变形的阴影441b，其有一个偏移的起始点442b。这会产生一个加长的相机看到的阴影长度440b，即S′，和一个缩短的阴影-光源距离，即D′。可以显示为：

和

S＝S′+D′-D (7)

因此，H_f仍然是唯一确定的。该结果暗示即使基准面430不是平坦的，基准面430上的高度分布(可以看作是基准面430的一个表面轮廓)也能够使指端在基准面430上方的高度被唯一确定。很明显，本领域技术人员可以对等式(4)作出适当修改，以使用表面轮廓来确定指端在非平坦基准面上方的高度。

A.2.步骤230的详细细节

在使用等式(4)来计算指端在基准面上方的高度时，首先注意到，H_p和H_c分别是指光源和相机在基准面上方的高度。同样注意到，L_p是指在平行于基准面的方向上光源和相机之间测量的距离。另外，H_p是从光源的光中心到基准面测量得出的。类似地，H_c是从相机的光中心到基准面测量得出的。距离L_p也是同样测量得出的。

图5描述步骤230确定指端在基准面上方的高度的流程示意图。

需要通过测量来确定L_p、H_p和H_c。如上所述，为图4B获得结果时，仅考虑基准面是平坦的简化模型是合理的。在步骤510，获得基准面上至少4个点的3D坐标。本领域技术人员容易理解，在空间上的平坦面可以通过以下平面等式表示：

ax+by+cz＝d (8)

其中a、b、c和d是该等式的参数。而且，这些参数可以通过所获得的至少4个点的3D坐标来确定。从这些确定的参数，本领域技术人员可以轻易地确定H_p和H_c，分别作为从光源到基准面和从相机到基准面的垂直距离(步骤520)。从这些参数，也可以容易地确定L_p的数值。

如上所述，基准面的表面轮廓表示了基准面上的高度分布。表面映射图被用来将相机拍摄图像上的任一点(或任一像素)映射到基准面上一个相应物理位置。通过使用表面映射图，拍摄图像上感兴趣的点或像素可以映射到基准面上相应位置。如果基准面是平坦的，或者如果确定指端高度的精确度要求不高，那么将表面轮廓设定为一个在基准面上方的恒定高度，就可以获得表面轮廓，而且从表平面方程就可直接获得表面映射图。否则，执行一个可选步骤530来获得表面轮廓和表面映射图。表面映射图和表面轮廓还可以方便地通过美国专利申请13/474,567披露的技术来确定。尽管图5显示步骤530是在步骤520确定H_p和H_c之后进行，但是确定表面轮廓和表面映射图也可以在步骤520之前进行，并入步骤510。

可选地，在步骤540确定基准面上一个感兴趣区域(ROI)。该ROI是从相机拍摄的ROI确定图像中确定的，使得ROI包含一个区域，该区域包含指端及其周围区域。在美国专利申请14/102,506里有一个确定ROI的例子。在可穿戴设备的一些实施里，可以跳过步骤540，为了简单或省电，ROI可以简单设置为光源照亮的整个区域。

在确定ROI之后，光源产生的均匀光照向一个至少覆盖所述ROI的区域，使得指端物体的周围被照亮，以在基准面上形成一个阴影，除非所述物体足够靠近基准面(步骤550)。如上所述，相机看到的那部分阴影是沿着地形平面线投影而形成的，所述地形平面线是连接相机和参考点的直线。

然后，相机拍摄一个高亮ROI图像(步骤560)。

在获得高亮ROI图像之后，估计相机看到的阴影长度(步骤570)。如上所述，相机看到的阴影长度是相机可以看到的那部分阴影的长度。通过使用表面映射图或表平面方程，可以从高亮ROI图像中估计出相机看到的阴影长度。

接着，通过使用表面映射图或表平面方程，从所述高亮ROI图像进行估计阴影-光源距离(步骤580)。如上所述，阴影-光源距离是在一个平行于基准面的方向上测量得到的光源光学中心和相机光学中心之间的距离。

在获得相机看到的阴影长度和阴影-光源距离之后，在步骤590，根据一个包括了表面轮廓或表平面方程、相机看到的阴影长度(S)、阴影-光源距离(D)、在平行于基准面的方向上测量获得的光源和相机之间的距离(L_p)、光源在基准面上方的高度(H_p)、和相机在基准面上方的高度(H_c)的数据集合，可以估计出该指端在基准面上方的高度(H_f)。如果基准面是平坦的，那么就根据等式(4)计算该指端在基准面上方的高度。

B.确定指端的3D位置

B.1.步骤240的详细细节

图6显示步骤240确定指端3D位置的一个示例流程示意图。参照图7有助于理解该流程示意图，图7显示一个指状物体702被光源715照亮并被相机710拍照。

指状物体702有一个指端703。由于物体702被看作是一个如上所述的圆柱形物体，物体702有一个可以测量的物理宽度705。如果物体702是人的手指，那么统计数据显示一个成人手指的物理宽度通常在1.6cm到2cm之间。本发明的发明人发现，在将本发明实施到一个实际应用之前，物体的物理宽度的下限和上限是能够确定的，而且预设的下限和上限在确定指端703的3D位置时是有用的。

相机710有一个图像传感器712，用于拍摄物体702的每幅图像。在图7，使用一个针孔照相机模型用来模拟相机710。通过该模型，相机710有一个光学中心711，其位于图像传感器712的焦距上。本领域技术人员容易理解，关于相机710的FOV、图像传感器712的尺寸、以及针孔照相机模型的焦距，有一个数学关系式。因此，焦距是能够评估的。光源715能够产生均匀光和结构光图案。光源715有一光调制屏717，如液晶显示屏(LCD)，用于在均匀光上产生一种图案，从而产生结构光图案。光源715也有一个光学中心716，其离光调制屏717有一距离。本领域技术人员能够容易找到关于光学中心716的位置、光源715的照亮视野、和光调制屏717的尺寸之间的数学关系式。光调制屏717可以是一种液晶显示屏(LCD)，其能够根据不同情况而产生不同的结构光图案。依照本发明的一个实施例，保持结构光图案不变化也是可能的，这将在以下表示。在这种情况下，可以方便地将一种固定光栅图案或一种固定衍射光学元件作为光调制屏717，而不是通常很昂贵的LCD屏。在均匀光照亮所述物体的情况下，首先拍摄至少包含指端703的第一张图像，来确定指端703的3D位置(步骤610)。

由于所述指端703记录在第一张图像里，其暗示在图像传感器712上有一个位置740，来自所述指端703的光射线就被阻挡在该在传感器位置740上。步骤620从第一张图像，确定指端703在传感器位置740上。另外，步骤620包括：从第一张图像，确定对应所述物体702的物理宽度705投射在传感器上的长度742。本领域技术人员能够使用本领域已知的技术，从第一张图像确定在传感器上的位置740和在传感器上的长度742。

在步骤630，一个方向矢量760，从相机710的光学中心711指向指端703在传感器上位置740。注意到，在所述方向矢量760指向的方向，指端703离相机710的光学中心711有一个距离765。该距离765被称为物体-相机距离。仍需要确定物体-相机距离765。

为了确定物体-相机距离，首先，分别根据物体702物理宽度705的预设下限和预设上限，估计出物体-相机距离765的下限722和上限727(在步骤640)。下限722表示指端703的最近物理位置721，上限727对应最远物理位置726。考虑最近物理位置721，其中物体702应该有预设下限的物理宽度705。图7的简单几何分析揭示物体-相机距离765的下限722可以根据以下确定：(a)物体702的物理宽度705投射在传感器上的长度742；(b)相机710的焦距(即光学中心711和图像传感器712之间的距离)；和(c)物体702的物理宽度705的预设下限。确定物体-相机距离765的上限727可以类似于确定下限722，其中物体702的物理宽度705的预设下限被其预设上限代替。

通过一些代数运算，分别根据物体-相机距离765的下限722和上限727，以及根据方向矢量760，在步骤650计算最近物理位置721和最远物理位置726的3D坐标。由此，估计指端703物理位于最近物理位置721和最远物理位置726之间的存在区域730内。

其后，激活光源715以投射结构光图案(表示为图7里的750)到至少所述存在区域730，使得物体702指端703周围的那部分704被所述结构光图案750的第一部分751照亮(步骤660)。将结构光图案750的第二部分752表示为所述存在区域730接收的一部分结构光图案750。特别地，所述存在区域730接收所述第二部分752，在某种意义上，当所述存在区域730充满一种反射物质时，所述反射物质被结构光图案750的第二部分752照亮。首先注意到，结构光图案750的第一部分751取决于指端703的3D位置。另外，光源715设置结构光图案750，使得所述结构光图案750的第二部分752不包含任何重复的子图案。这样，通过找到照亮物体702的结构光图案750的第一部分751，可以唯一确定指端703的3D位置。

因此，在步骤670，当结构光图案750被投射到所述存在区域730时，相机710拍摄第二张图像，其包含指端703周围物体702的至少一部分704。接着在步骤680，通过从第二张图像找到结构光图案750的第一部分751，确定指端703的3D位置。

B.2.在光调制屏717上找到第二部分752

为了将结构光图案750设置成没有重复图案被投射在任何可能的存在区域730内，仍需要几何定位在光调制屏717上的终点753、754。本领域技术人员能够通过代数和几何分析，确定在光调制屏717上的结构光图案750的终点753、754。为了简洁起见，每个终点753、754被称为一个屏上(on-panel)位置。在下文会分别提供一个例子，确定最近物理位置721和最远物理位置726的屏上位置753、754。

图8显示确定屏上位置753、754，提供了三个子图(a)-(c)。作为一个例子，指尖被用作为指端703。

在子图(a)里，假设C和L分别是相机和光源的光学中心。如果在空间有一个点D，通过转换矩阵P^c和P^l，该点被分别映射到相机图像传感器和光源光调制屏上的点d^c和d^l，其中d^c＝P^cD和d^l＝P^lD，P^c和P^l是3×4矩阵；d^c和d^l是长度-3矢量；D是长度-4矢量。由于相机和光源的位置是预设的，所以能够确定转换矩阵P^c和P^l。

参见子图(b)。通过使用针孔相机，假设在图像传感器上看到的指尖的中间点是而且物体(如手指)的物理宽度在图像传感器上从d^c+Δd延伸到d^c-Δd。在空间里对应d^c、d^c+Δd和d^c-Δd的点分别是D＝[D_x,D_y,D_z,1]^T、D+ΔD＝[D_x+ΔD_x,D_y,D_z,1]^T和D-ΔD＝[D_x-ΔD_x,D_y,D_z,1]^T，因为指尖的垂直部分和深度保持相同。如果相机的焦距f是已知的，就能够获得关系如下：和由于于是其中ΔD_x是手指的物理宽度。由于是已知的，而且手指的物理宽度范围，F_L＜ΔD_x＜F_U也是已知的，所以能够确定D_z的范围为因此，能够确定指尖的存在区域，其中存在区域是子图(b)里沿着D^L和D^U。设定于是其中使用同样的方法来获得D^U。

参见子图(c)。由于转换矩阵P^l是已知的，通过d^lL＝P^lD^L和d^lU＝P^lD^U，就能够分别映射物理位置D^L和D^U到屏上位置d^lL和d^lU。

只要在d^lL和d^lU之间存在唯一图案，就能够确定指尖的唯一物理位置。

B.3.设计结构光图案750

在光调制屏717上的结构光图案750终点753、754之间，设计一个没有任何重复子图案的唯一图案是非常重要的。有两种方法来设计结构光图案750。

在第一种方法里，将结构光图案750设置成可被光源重置的，并可以根据估计的最近物理位置721和最远物理位置726适应性设置。于是需要一种结构光图案750的专门设计，结构光图案750随时间发生改变。

在第二种方法里，结构光图案750是一种静态图案，不会随着时间发生改变。也就是，对于确定指端703的3D位置的任何情况下计算出的最近物理位置721和最远物理位置，该静态图案是不变的。

通常，静态图案设计比专案设计更好，因为能够节省耗费在随时计算专案设计上的电源或电池功率。注意到，可穿戴设备是一种便携式设备，通常只有有限的电量。

为了确定静态图案，首先可以模拟指端703在传感器上的位置740和物体702物理宽度705投射在传感器上的长度742的所有可能组合。对每个组合，计算最近物理位置721和最远物理位置726的一对屏上位置753、754。然后，在所有可能组合中找出两个屏上位置753、754之间的最大距离。接着，设计静态图案，使得在小于上述找出最大距离的任何部分内，没有重复子图案。

图9显示用于结构光图案的静态图案的一个例子。图9所示的静态图案910在强度上是周期性的，其灰度像正弦波一样变化，如波长为L的距离-强度图920所示。特别地，选择的波长L要大于上述两个屏上位置753、754之间的最大距离，使得在假设指端位于预设空间内的情况下能够唯一确定指端的3D位置。

C.备注

为了实现在此披露的可穿戴设备，光源可以使用可见光或不可见光，来产生均匀光和结构光图案。选择哪种光，很大机会取决于可穿戴设备的应用。这不是意在限制本发明使用可见光或不可见光。尽管如此，当用户看他的手指时，可穿戴设备主要是用来获得用户输入，因此优选地使用不可见光的光源，最好是红外光。那么当使用红外光光源时，在拍摄图像时将相机设置成至少感应红外光。

可以使用通用或专用计算装置、计算机处理器、或包括但不限于数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及其它依照有关所述方法的教义而设置或编程的可编程逻辑设备的电子电路，来作为可穿戴设备的一个或多个处理器。

作为备注，美国专利申请US2014/0120319已经提议一种利用3D扫描物体的方法，其通过投射一种结构光图案在所述物体上，并在拍摄被结构光图案照亮的物体图像之后估计物体的位置参数。在此所披露的确定指状物体的3D位置的方法，比US2014/0120319的方法更加先进，因为本发明使用了物体的物理宽度的预设下限和上限来识别一个有限尺寸的存在区域。该有限尺寸的存在区域能够使结构光图案的设计更加容易和简化。

本发明可以以其它特定形式实施，而不会脱离其精神或本质特征。因此，本发明实施例可以看作是描述性的，而不是限制性的。本发明范围受限于所附的权利要求，而非前面的描述，并且在等同本发明权利要求涵义和范围内的所有改变都包括在其中。

Claims

1.一种在可穿戴设备里接收用户输入的方法，所述可穿戴设备包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述方法包括：

当在相机视野FOV里检测到一个具有指端的指状物体时，当在所述FOV里也检测到存在一个基准面时，确定所述指端在所述基准面上方的高度，从而根据所述指端的高度，可确定用户的一个或多个输入；

其中确定所述指端在所述基准面上方的高度，包括：

确定一个表平面方程的参数，用以几何表示所述基准面；

根据所述表平面方程的所述参数，确定在所述基准面上方的相机高度和光源高度；

投射所述均匀光到一个区域，所述区域至少覆盖一个感兴趣区域ROI，所述感兴趣区域ROI包括所述指端及其周围的区域，使得所述指端周围区域被照亮，而在所述基准面上形成一个阴影，除非所述物体足够靠近所述基准面；

从一个高亮ROI图像中，估计出相机看到的阴影长度，其中所述高亮ROI图像是在投射所述均匀光之后由所述相机拍摄的，其中所述相机看到的阴影长度，是沿着一个地形平面线在所述基准面上形成的一部分阴影的长度；从所述高亮ROI图像，估计出阴影-光源距离；和

根据一个包括了所述表平面方程、所述相机看到的阴影长度、所述阴影-光源距离、在平行于所述基准面的方向上测量到的所述光源和所述相机之间的距离、所述相机在所述基准面上方的高度、和所述光源在所述基准面上方的高度的数据集合，估计出所述指端在所述基准面上方的高度。

2.根据权利要求1所述的方法，还包括：

如果所述指端在所述基准面上方的高度小于一个预设阈值，则确定所述物体触碰到所述基准面；和

根据所述物体是否触碰到所述基准面，确定用户的一个或多个输入。

3.根据权利要求1所述的方法，还包括：

当在所述FOV里检测到所述物体时，检测所述基准面是否也出现在所述FOV里；

其中检测所述基准面是否也出现在所述FOV里包括：

当没有光源照亮所述物体时，所述相机拍摄所述FOV以提供第一图像；

当有光源使用所述均匀光照亮所述物体时，所述相机拍摄包含所述物体的第二图像；

从所述第一和第二图像中的每个图像，确定所述物体边界附近和之外区域的强度；和

如果从所述第一图像确定的强度，大幅不同于从所述第二图像确定的强度，那么确定有基准面出现。

4.根据权利要求1所述的方法，其中估计所述指端在所述基准面上方的高度包括计算

H_{f} = \frac{H_{c} H_{p} S}{(S + D + L_{p}) H_{p} - H_{c} D}

如果所述基准面是平坦的，其中H_f是所述指端在所述基准面上方的高度，S是所述相机看到的阴影长度，D是所述阴影-光源距离，L_p是在平行于所述基准面的方向上测量的所述光源和所述相机之间的距离，H_p是所述光源在所述基准面上方的高度，H_c是所述相机在所述基准面上方的高度。

5.根据权利要求1所述的方法，还包括：

获得所述基准面的一个表面轮廓，以及一个表面映射图，所述表面映射图被设置以将所述相机拍摄图像上的任一点映射到所述基准面上的一个相应物理位置；其中：

通过使用所述表面映射图，从所述高亮ROI图像，估计出所述相机看到的阴影长度和所述阴影-光源距离；和

所述数据集合还包括所述表面轮廓。

6.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，其中所述可穿戴设备被设置以根据权利要求1所述的方法通过接收用户的输入而执行相应的过程。

7.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，其中所述可穿戴设备被设置以根据权利要求2所述的方法通过接收用户的输入而执行相应的过程。

8.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，其中所述可穿戴设备被设置以根据权利要求3所述的方法通过接收用户的输入而执行相应的过程。

9.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，其中所述可穿戴设备被设置以根据权利要求4所述的方法通过接收用户的输入而执行相应的过程。

10.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，其中所述可穿戴设备被设置以根据权利要求5所述的方法通过接收用户的输入而执行相应的过程。

11.一种在可穿戴设备里接收用户输入的方法，所述可穿戴设备包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述相机有一个图像传感器，并在离所述图像传感器的焦距上有一个光学中心，所述方法包括：

当在所述相机的视野FOV里检测到一个具有指端的指状物体时，确定所述指端的三维3D位置，从而根据所述指端的3D位置，可确定用户的一个或多个输入；

其中确定所述指端的3D位置包括：

当所述均匀光照亮所述物体时，拍摄包含至少所述指端的第一图像；

从所述第一图像，确定所述指端在传感器上的位置，以及所述物体宽度投射在传感器上的长度；

分别根据所述物体的物理宽度的一个预设下限和一个预设上限，

并根据所述指端在传感器上的位置、所述物体宽度投射在传感器上的长度、和所述焦距，估计所述指端的一个最近物理位置和一个最远物理位置，由此估计所述指端物理上位于在所述最近和最远物理位置之间的一个存在区域内；

投射所述结构光图案到至少所述存在区域，使得所述指端物体周围的一部分被所述结构光图案的第一部分照亮，其中所述光源设置所述结构光图案，使得由所述存在区域接收的所述结构光图案的现有部分不包含任何重复的子图案，从而通过识别照亮所述物体的所述结构光图案的第一部分，能够唯一确定所述指端的3D位置；

当所述结构光图案被投射到所述存在区域时，拍摄包含所述指端周围物体部分的第二图像；和

通过从所述第二图像中识别所述结构光图案的第一部分，确定所述指端的3D位置。

12.根据权利要求11所述的方法，其中估计所述指端的最近和最远物理位置包括：

计算一个方向矢量，所述方向矢量是从所述相机的光学中心指向所述指端在传感器上的位置；

分别根据所述物体的物理宽度的预设下限和预设上限，并根据所述焦距、所述物体的物理宽度投射在传感器上的长度，估计物体-相机距离的下限和上限；和

分别根据所述物体-相机距离的下限和上限，并根据所述方向矢量，估计所述指端的最近物理位置和最远物理位置。

13.根据权利要求11所述的方法，其中仅在所述FOV内没有检测到基准面之后，执行确定所述指端的3D位置。

14.根据权利要求11所述的方法，其中所述结构光图案是可被所述光源重置的，并根据估计的最近和最远物理距离而适应性改变的。

15.根据权利要求11所述的方法，其中所述结构图案是一个静态图案，其对确定所述指端3D位置时计算出的最近和最远物理位置保持不变。

16.根据权利要求15所述的方法，其中所述静态图案在强度上是周期性的，并有一个预设波长，使得能够唯一确定所述指端3D位置，所述指端位于一个预设空间内。

17.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述相机有一个图像传感器，并有一个位于所述图像传感器焦距上的光学中心，其中所述可穿戴设备被设置以根据权利要求11所述的方法通过接收用户的输入而执行相应的过程。

18.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述相机有一个图像传感器，并有一个位于所述图像传感器焦距上的光学中心，其中所述可穿戴设备被设置以根据权利要求12所述的方法通过接收用户的输入而执行相应的过程。

19.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述相机有一个图像传感器，并有一个位于所述图像传感器焦距上的光学中心，其中所述可穿戴设备被设置以执行根据权利要求13所述的方法通过接收用户的输入而执行相应的过程。

20.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述相机有一个图像传感器，并有一个位于所述图像传感器焦距上的光学中心，其中所述可穿戴设备被设置以根据权利要求14所述的方法通过接收用户的输入而执行相应的过程。

21.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述相机有一个图像传感器，并有一个位于所述图像传感器焦距上的光学中心，其中所述可穿戴设备被设置以根据权利要求15所述的方法通过接收用户的输入而执行相应的过程。

22.一种可穿戴设备，其包括一个或多个处理器、一个相机和一个光源，所述光源被设置以产生均匀光和结构光图案，所述相机有一个图像传感器，并有一个位于所述图像传感器焦距上的光学中心，其中所述可穿戴设备被设置以根据权利要求16所述的方法通过接收用户的输入而执行相应的过程。