CN104040464A - 使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备 - Google Patents

Abstract

一种用于使用在三维空间中实施的手势操作车辆功能的方法，该方法具有如下步骤：确定(S100)是否借助基于图像的检测过程检测到在三维空间中实施的第一手势；如果确定检测到第一手势，则确定(S200)第一手势是否是与功能控制激活相关的手势；如果确定检测到的第一手势是与功能控制激活相关的手势，则激活(S300)功能控制；确定(S500)是否借助基于图像的检测过程检测到在三维空间中实施的第二手势；如果确定已检测到第二手势，则确定(S600)所检测的第二手势是否是与功能控制相关的手势；并且如果确定所检测的第一手势为与激活功能控制相关的手势并且如果确定所检测的第二手势为与控制功能相关的手势，则控制(S700)该功能。同样产生相关的设备和相关的计算机程序产品。

Description

使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备

技术领域

本发明涉及一种使用在三维空间中执行的手势以及相关的计算机程序产品控制车辆功能的方法和设备。

背景技术

在US2008/0065291A1中已知一种使用在三维空间中执行的手势控制车辆功能的方法和设备，其中确定是否借助基于图像的检测过程来检测在三维空间中执行的手势；确定所检测的手势是否为分配给功能操作的手势；并且在确定所检测的手势为分配给功能操作的手势的情况下操作该功能。

因为直接确定所检测的手势是否为分配给功能操作的手势，所以在基于图像的手势检测设备的检测区域执行的以及未打算操作功能的(例如用户手指或者手的)移动可能被错误地确定为分配给功能操作的手势。因此，在该情况下会错误或者无意地执行功能。

发明内容

本发明的目标在于产生一种以简单可靠的方式允许车辆功能的基于手势的控制方法、设备和相关计算机程序产品。

该目的采用在独立权利要求中说明的特征来解决。

本发明的其他有利实施方式是从属权利要求的主题。

根据第一方面，使用在三维空间中执行的手势控制车辆功能的方法的特征为：a)确定是否借助基于图像的检测过程来检测在三维空间中执行的第一手势，b)在确定已经检测到第一手势的情况下，确定第一手势是否是被分配给功能操作激活的手势，c)在确定所检测的第一手势是被分配给功能操作激活的手势的情况下，激活功能操作，d)确定是否借助基于图像的检测过程来检测在三维空间中执行的第二手势，e)在确定检测到第二手势的情况下，确定所检测的第二手势是否是被分配给功能操作的手势，以及f)在确定所检测的第一手势是被分配给功能操作激活的手势的情况下以及在确定所检测的第二手势是被分配给功能操作的手势的情况下，操作该功能。

根据一个实施方式，步骤d)至f)在重复执行步骤a)至c)之后直接先后执行。

根据另一实施方式，在所检测的第一手势是预定手势的情况下，在步骤b)中确定所检测的第一手势是被分配给功能操作激活的手势，其中该预定手势在第一预定量时间内在三维空间的互动区域中是静态的。

根据另一实施方式，在步骤c)中，显示描述功能激活的显示元素。

根据另一实施方式，在未检测到手势的第四预定量时间后，描述功能激活的显示元素不再在显示单元上显示。

根据另一实施方式，在所检测的第二手势是第二预定手势的情况下，在步骤e)中确定所检测的第二手势是分配给功能操作的手势，其中该第二预定手势在三维空间的互动区域中是动态的。

根据另一实施方式，互动区域被设定为小于基于图像的检测过程的最大检测区域。

根据另一实施方式，将互动区域设定为没有障碍。

根据另一实施方式，取决于环境来动态调节互动区域。

根据另一实施方式，基于图像的检测过程是基于摄像头的，并且检测在三维空间中执行手势的物体位置。

根据第二方面，使用在三维空间中执行的手势来控制车辆功能的设备具有被设计为执行上述方法或者其实施方式的装置。

根据第三方面，使用在三维空间中执行的手势来控制车辆功能的计算机程序产品被设计为结合计算机或者计算机系统来直接地或在预定程序后间接地执行上述方法或者其实施方式。

根据第一至第三方面及其实施方式，避免了将未打算操作功能的(例如用户手指或者手的)移动确定为被分配为功能操作的手势，因为在被分配给功能操作的手势的检测前必须检测被分配给功能操作激活的手势，借助该手势激活功能操作。

附图说明

借助于参考所附附图的示例性实施方式更详细地阐述本发明。

在附图中示出：

图1：根据本发明的示例性实施方式的显示单元基本结构和检测构思的示意图；

图2：根据本发明的示例性实施方式的显示单元基本结构和检测构思的另一示意图；

图3：根据本发明的示例性实施方式的显示单元基本结构和在车顶控制单元中的检测设备安装位置的示意图；

图4：根据本发明的示例性实施方式的显示单元基本结构和内后视镜的检测设备安装位置的示意图；

图5：根据本发明的示例性实施方式的使用在三维空间中执行的手势来操作车辆功能的方法流程图。

具体实施方式

下面为本发明的一个示例性实施方式的描述。

应注意的是，假设显示单元优选为车辆，尤其是机动车辆的中央显示器，以及执行在车辆中使用在三维空间中执行的手势来控制在显示单元上描述的功能的方法。

此外，下面描述的手势是借助于用户的手或者手指由车辆用户在三维空间中执行而无需接触诸如例如触摸屏的显示器或诸如例如触摸板的控制元件的手势。

下面描述的基于图像的捕捉设备可以是能够检测在三维空间中的手势的任何合适的摄像头，例如深度摄像头、具有结构光的摄像头、立体摄像头、基于飞行时间(Time-of-Flight)技术的摄像头或者组合有单色摄像头红外摄像头。多个这种摄像头的任意组合也是可能的。组合有单色摄像头的红外摄像头改进了检测能力，因为具有高图像分辨率的单色摄像头额外提供亮度信息，其在背景分割期间具有优势，并且单色摄像头不受外部光线影响。

图1示出根据本发明的示例性实施方式的显示单元基本结构和检测构思的示意图。

在图1中，参考标记10指车辆的显示单元，参考标记20指基于图像的检测设备的有效检测区域，参考标记30指车辆的车顶控制单元，参考标记40指车辆的内后视镜，参考标记50指车辆的中控台，而参考标记60指车辆的拱顶(dome)。

基本控制构思为，在基于图像的检测设备在检测区域20内将执行的手势借助检测为预定手势的情况下，在三维空间内执行借助于由用户的手或者手指在有效检测区域20内执行的手势对控制功能的手势操作。

有效的检测区域20通过基于图像的检测设备来确定，该设备能够在三维空间内检测用户的手或者手指的三维位置。基于图像的检测设备优先为整合在车辆内的深度摄像头。

必须整合基于图像的检测设备以使得，通过在车辆的拱顶60和中控台50上面的区域中的任意位置处用户放松的手和/或手臂来允许手势操作。因此，有效检测区域从上面通过显示单元10的上边缘，从下面通过到拱顶60和中控台50的最小距离来限定。

在有效检测区域20中检测到第一手势的情况下，激活手势操作，其中该第一手势为第一预定手势。第一预定手势为静态手势，其通过在有效检测区域20内将用户的手或者手指移动到有效检测区域20内，并随后将有效检测区域20中的用户的手或者手指离开第一预定量时间来执行。

通过将用户的手或者手指从有效检测区域移出来使手势操作失效。在有效检测区域20的下方执行用户的手或者手臂在车辆的中控台20和控制部件上的放置，因而手势操作不会被激活。

在车辆内打手势的情况下或者在将用户的手或者手指移动到控制元件的情况下，不执行静态手势，因而手势操作不会被激活。

图2示出根据本发明的示例性实施方式的显示单元基本结构和检测构思的另一示意图。

在图2中，相同的参考标记指与图1相同的元件，而参考标记70指在中控台50中或在其上作为障碍物体存在的物品，诸如例如杯架中的饮料容器。

关于图1在上文中的描述同样适用于图2。

有效检测区域20的下边界针对物品70进行动态调整。执行将有效检测区域作为互动区域的这种取决于环境的调整，以使得在手势检测的情况下，有效检测区域的深度轮廓借助基于图像的检测设备(诸如例如深度摄像头)的深度信息实时执行。这意味着必须在物品70上执行有效手势。

基于图像的检测设备在车辆的车顶区域中的布置导致以下优点：日光不会照耀到基于图像的检测设备的透镜中。在显示单元10的邻近区域中同样将完整的检测区域覆盖为有效检测区域20。在朝向手势操作的左侧、右侧、前和后的主要互动方向上具有高图像分辨率。基于图像的检测设备由驾驶员或者乘客的标准视野构成。车顶部件可以采用少量设计变量对不同系列容易地进行标准化。对于检测距离需求很少。

关于图3和图4，说明了对于基于图像的检测设备在车辆车顶区域中的两种可能的安装位置。

图3示出根据本发明的示例性实施例的显示单元基本结构和检测设备在车顶控制单元中的安装位置的示意图。

在图3中，相同的参考标记表示与图1和图2中相同的元件，并且参考标记100指整合到车辆的车顶控制单元30中的基于图像的检测设备的最大检测角度。

关于图1和图2在上文中做出的描述也同样适用于图3。

如在图3中可以看到，采用整合到车顶控制单元30中的基于图像的检测设备覆盖完整的有效检测区域20。整合入车顶控制单元30的基于图像的检测设备的另一优点在于，获得距有效检测区域20的最大可能垂直距离。

图4示出根据本发明的示例性实施例的显示单元基本结构和检测设备在内后视镜中的安装位置的示意图。

在图4中，相同的参考标记指与图1和图2相同的元件，并且参考标记110指整合到车辆内后视镜40中的基于图像的检测设备的最大检测角。

关于图1和图2在上文做出的描述也同样适用于图4。

如在图4中所看到的，采用整合到车顶控制单元30中的基于图像的检测设备覆盖完整有效检测区域20。为了补偿由于内后视镜40的调节导致的基于图像的检测设备的变化对准，借助于中控台50的轮廓校正基于图像的检测设备的对准偏移以便执行位置校准。

图5示出根据本发明的示例性实施例使用在三维空间中执行的手势控制车辆功能的方法流程图。

应注意的是，图5中流程图的处理流程在初始化点之后(诸如例如在开启车辆点火之后)开启，并且以重复循环执行直至达到结束点(诸如例如关闭车辆点火)。替代地，初始化点例如可以是车辆启动发动机的时间点，和/或结束点可以是车辆关闭发动机的时间点。根据本申请，其它初始化点和结束点也是可能的。

可以关于由驾驶员还是由乘客执行手势作出区分，这在所谓的分屏显示器中特别有利，其中该显示器能够同时为驾驶员和乘客显示不同的信息。同时，关于由驾驶员或者由乘客执行的手势的区分关于由驾驶员或者由乘客的人体工程学控制是有利的。

下面，假设检测到的手势既可以是由驾驶员执行的手势，也可以是由乘客执行的手势。

另外应注意的是，在驾驶员和乘客的手势的如上所述的区分情况下，在图5中的流程图的方法对于驾驶员侧和乘客侧两者均执行。在图5中所示的处理序列例如可以对于驾驶员侧和乘客侧以并行、串行或连接的方式方便地执行。

在步骤S100中，确定是否检测到第一手势。在未检测到第一手势的情况下，这对应于在步骤S100中的回答“否”，处理序列返回步骤S100。在检测到第一手势的情况下，这对应于在步骤S100中的回答“是”，处理序列前进至步骤S200。

在步骤S200中，确定所检测的第一手势是否是被分配为功能操作激活的手势。在第一手势并非为被分配为功能操作激活的手势的情况下，这对应于在步骤S200中的回答“否”，处理序列返回步骤S100。在第一手势为被分配为功能操作激活的手势的情况下，这对应于在步骤S200中的回答“是”，处理序列前进至步骤S300。

被分配给功能操作激活的手势是第一预定手势，该手势对于第一预定量时间在三维空间的互动区域中是静态的。如关于图1至3已经在上文描述的，检测到第一预定手势。互动区域对应于如上所述的有效检测区域。

在步骤S300中，激活功能操作。在步骤S300后，处理序列前进至步骤S400。

在功能操作激活时，在显示功能激活的显示元素在显示单元10上显示。

在步骤S400中，确定是否满足预定的取消条件。在满足预定的取消条件的情况下，这对应于在步骤S400中的回答“是”，处理序列返回步骤S100。在未满足取消条件的情况下，这对应于在步骤S400中的回答“否”，处理序列前进至步骤S500。

预定取消条件例如可以是对于第四预定量时间未检测到手势。在满足步骤S400中的预定取消条件的情况下，描述功能激活的显示元素不再在显示单元上显示。

在步骤S500中，确定是否检测到第二手势。在未检测到第二手势的情况下，这对应于步骤S500中的回答“否”，处理序列返回到步骤S500。在检测到第二手势的情况下，这对应于步骤S500中的回答“是”，处理序列前进至步骤S600。

在步骤S600中，确定所检测的第二手势是否是被分配给功能操作的手势。在第二手势并非被分配给功能操作的手势的情况下，这对应于在步骤S600中的回答“否”，处理序列返回至步骤S500。在第二手势为分配给功能操作的手势的情况下，这对应于在步骤S600中的回答“是”，处理序列前进至步骤S700。

被分配给功能操作的手势为第二预定手势，该手势在三维空间的互动区域中是动态的。

在步骤S700中操作功能。在步骤S700后，处理序列前进至步骤S800。

在功能操作期间，描述功能操作的显示元素可在显示单元上显示。

在步骤S800中，确定是否满足预定取消条件。在满足预定取消条件的情况下，这对应于在步骤S800中的回答“是”，处理序列返回步骤S100。在不满足取消条件的情况下，这对应于在步骤S800中的回答“否”，处理序列返回至步骤S500。

预定的取消条件例如可以是对于第四预定量时间未检测到手势。在满足在步骤S800中的预定取消条件的情况下，描述功能操作的显示元素不再在显示单元上显示。

上述方法可以借助设备执行，该设备形成控制车辆功能的设备。显示单元优选为车辆，尤其是机动车辆的中央显示器。

上述示例性实施方式的一个应用例如可以是在车辆的中央远程通信单元上借助手势(即用户的手或者手指移动)而不接触显示器(诸如例如触摸屏)或者控制元件(诸如例如触摸板)来控制或者后翻和前翻无线电台或媒体(诸如例如CD)的菜单(诸如例如主菜单)。

用户的学习过程可以通过在手势控制期间的光学和/或者声学反馈提供支持，因而在用户的学习阶段之后由用户实现盲控制。用户可以手动关闭该光学和/或者声学反馈，或者该光学和/或声学反馈在用户的正确手势控制识别之后例如在预定量时间自动关闭。

尽管在图3和4中示出对于相应摄像头的具体安装位置，但是相应摄像头可以布置在其他合适的安装位置。

通过上述基于图像的手势控制实现简单且快速的控制能力，这提高用户的控制舒适度、控制灵活性和控制体验，同时显著提高车辆内部的设计自由度。

上述示例性实施方式能够作为诸如例如存储介质的计算机程序产品来实现，该计算机程序产品被设计为与计算机或者多个计算机(即计算机系统)或者其它处理单元互动来执行根据上述示例性实施方式的方法。计算机程序产品可被设计以使该方法仅在预定程序(诸如例如设置程序)的实现之后才执行。

尽管本发明已经借助示例性实施方式在上文中描述，但应理解可执行不同的实施方式和变化而无需脱离如所附权利要求中所定义的本发明的范围。

附图公开专门涉及关于本发明的进一步特征和优点。

Claims (12)

1.一种方法，其使用在三维空间中执行的手势控制车辆功能，该方法的特征在于：

a)确定是否借助基于图像的检测过程来检测在三维空间中执行的第一手势；

b)在确定已经检测到所述第一手势的情况下，确定所述第一手势是否是被分配给功能操作激活的手势；

c)在确定所检测的第一手势是被分配给所述功能操作激活的手势的情况下，激活所述功能操作；

d)确定是否借助所述基于图像的检测过程检测在三维空间中执行的第二手势；

e)在确定检测到所述第二手势的情况下，确定所检测的第二手势是否是被分配给所述功能操作的手势；

f)在确定所检测的第一手势是被分配给所述功能操作激活的手势并且在确定所检测的第二手势是被分配给所述功能操作的手势的情况下，操作所述功能。

2.根据权利要求1所述的方法，其特征在于，在步骤a)至c)的实施之后直接先后重复实施步骤d)至f)。

3.根据权利要求1或2所述的方法，其特征在于，在所检测的第一手势是第一预定手势的情况下，在步骤b)中确定所检测的第一手势是被分配给所述功能操作激活的手势，其中所述第一预定手势在第一预定量时间内在三维空间的互动区域中是静态的。

4.根据权利要求2或3所述的方法，其特征在于，在步骤c)中显示描述所述功能激活的显示元素。

5.根据权利要求2至4中的一项所述的方法，其特征在于，在没有检测到手势的第四预定量时间之后，不再在所述显示单元上显示描述所述功能激活的所述显示元素。

6.根据权利要求3至5中的一项所述的方法，其特征在于，在所检测的第二手势是第二预定手势的情况下，在步骤e)中确定所检测的第二手势是被分配给所述功能操作的手势，所述第二预定手势在三维空间的所述互动区域中是动态的。

7.根据权利要求3至6中的一项所述的方法，其特征在于，所述互动区域被设定为小于所述基于图像的检测过程的最大检测区域。

8.根据权利要求3至7中的一项所述的方法，其特征在于，将所述互动区域设定为没有障碍。

9.根据权利要求3至8中的一项所述的方法，其特征在于，取决于环境来动态调节所述互动区域。

10.根据权利要求1至9中的一项所述的方法，其特征在于，所述基于图像的检测过程是基于摄像头的，并且在三维空间中检测执行手势的物体的位置。

11.一种设备，其使用在三维空间中执行的手势控制车辆功能，该设备具有被设计为执行根据权利要求1至10中的一项的方法的设备。

12.一种计算机程序产品，其使用在三维空间中执行的手势控制在车辆的显示单元上显示的功能，该产品被设计为结合计算机或计算机系统来直接地或在执行预定程序之后间接地执行根据权利要求1至10中的一项所述的方法。