CN103870802B - 使用指谷操作车辆内的用户界面的系统和方法 - Google Patents

Abstract

使用指谷来操作车辆内的用户界面的方法包括通过控制器接收所采集的图像以及从采集的图像中检测指谷。此外，通过控制器使用指谷来识别手势并且选择与识别的手势相应的车辆设备操作。因此，乘客能够用一只手操作车辆方向盘并向前看，同时用另一只手的简单运动来操作多个车内电子装置，从而提高乘客的便利和驾驶安全性。

Description

使用指谷操作车辆内的用户界面的系统和方法

相关申请的交叉引用

本申请要求2012年12月18日在韩国知识产权局提交的韩国专利申请第10-2012-0148816号的优先权和权益，该申请的全部内容包括在此以供参考。

技术领域

本发明涉及在车辆内通过使用乘客的指谷（finger valleys）识别手势来操作用户界面以便控制车辆内仪器的系统和方法。

背景技术

为了方便乘客，现代车辆内配备有很多电子装置，包括导航系统、免提移动电话系统等，以及常规电子装置（例如收音机和空气调节器）。

常规车内电子装置通过指定按钮提供用户界面，并且近年来触摸屏的使用也已经发展起来。乘客可以通过用手或其他物体（例如，笔，触针（stylus）等）直接触摸用户界面来操作这些装置。由于这样的操作基于乘客的注视以及手部运动，因此会妨碍安全驾驶。因此，当乘客在操作电子装置的同时能够保持宽广视角和良好姿势时，可以确保安全驾驶。所以，需要开发不妨碍安全驾驶的用户界面技术。

因此，已经开发出来一种系统，该系统通过使用3D（三维）相机（例如，成像装置）和摄像头识别乘客的手的图像，来控制车辆功能。该系统不需要使用乘客的视野而控制车辆功能，因此有望促进安全驾驶。具体地，3D相机传送深度信息，由此可获得姿态（poses）和3D运动数据，而不管手部姿势（posture）。

然而，由于摄像头是基于传送2D（二维）信息的原理而工作，因此摄像头难以提取手部姿态（poses）或3D手势。在2D图像系统中，可以只基于颜色和亮度信息来发现特征点，并且由于外部光照，特征点不易辨别。

本部分公开的上述信息仅为增加对本发明背景的理解，因此可以包含不构成本领域普通技术人员已知的现有技术的信息。

发明内容

本发明提供通过从由2D成像装置（例如相机、摄像头、摄像机等）采集的图像信息中提取乘客的指谷（finger valleys）并识别手势，来控制车辆内多个电子装置的系统和方法。本发明的示例性实施方式提供使用指谷来操作车辆内的用户界面的方法。该方法可包括接收采集的乘客的图像；从采集的图像中检测指谷，并且使用指谷来识别手势；以及选择与所识别的手势相应的车辆设备操作。

从采集的图像中检测指谷和使用指谷来识别手势的步骤可包括：从采集的乘客的图像中识别乘客的手的图像；从手部图像中检测指谷；从指谷中提取3D姿势；生成3D姿势的轨迹；以及从3D姿势的轨迹中识别手势。

从3D姿势的轨迹中识别手势的步骤可包括：确定与3D姿势的轨迹匹配的手势是否存储在信息数据库中；响应于确定存储在信息数据库中的匹配手势，将3D姿势的轨迹识别为手势。

此外，该方法还可包括在接收采集的乘客的图像之前，确定是否已提出使用手势识别功能的要求，以及响应于确定使用手势识别功能的要求，接收采集的乘客的图像。

该方法还可包括：确定是否存在终止手势识别功能的要求；以及响应于确定终止手势识别功能的要求，终止手势识别功能。

本发明的另一个实施方式提供使用指谷来操作车辆内的用户界面的系统，该系统包括：配置为采集乘客图像的图像采集单元；配置为存储由图像采集单元所采集的图像的图像存储单元；配置为存储可识别手势的信息数据库；以及电子控制单元，其配置为基于来自图像采集单元的输入信号和存储在图像存储单元中的累积图像信息来操作车辆设备操作，其中电子控制单元可配置为执行用于实施该方法的一系列命令。

该系统还可包括：输入单元，配置为从乘客接收使用手势识别功能的要求信号，并将该要求信号传送至电子控制单元；以及输出单元，配置为显示电子控制单元的车辆设备操作的内容。

根据本发明示例性实施方式的使用乘客的指谷来操作用户界面的方法，可实现成本降低，因为可通过2D相机提取乘客的手势。

而且，根据本发明示例性实施方式的使用乘客的指谷来操作用户界面的方法，可以以提高的可靠性完成手部姿势及运动的识别，因为手部姿势的自由度增加且指谷之间的距离可保持恒定而不管手部姿势。

此外，根据本发明示例性实施方式的使用乘客的指谷来操作用户界面的方法，可准确识别各种手势，因为可以提取手部姿势（例如倾斜手部或翻转手部，以及手部上下和左右运动）。

因此，乘客能够用一只手操作方向盘，同时向前看并用另一只手的简单运动来操作多个车内电子装置，从而提高乘客的便利和驾驶安全性。

附图说明

图1是示意性示出根据本发明示例性实施方式的使用指谷的车内用户界面系统的示例性视图；

图2是根据本发明示例性实施方式的使用指谷操作车辆内的用户界面的方法的示例性流程图；并且

图3是根据本发明示例性实施方式的与指谷运动相应的操作的示例性图示。

附图标记

100：输入单元 110：图像采集单元

120：信息数据库 130：电子控制单元

140：输出单元 150：图像存储单元

160：计时器

具体实施方式

应理解，本文使用的术语“车辆”或“车辆的”或其它类似术语包括通常的机动车，例如，包括多功能运动车（SUV）、公共汽车、卡车、各种商务车的客车，包括各种船只和船舶的水运工具，飞行器等等，并且包括混合动力车、电动车、燃烧、插入式混合电动车、氢动力车和其它代用燃料车（例如，来源于石油以外的资源的燃料）。

尽管示例性实施方式描述为使用多个单元来实施示例性操作，但可以理解的是，也可以通过一个或多个模块来实施示例性操作。此外，可以理解的是术语控制器/控制单元是指包括存储器和处理器的硬件装置。存储器配置成存储模块，并且处理器具体配置成执行所述模块以实施以下进一步描述的一个或多个操作。

而且，本发明的控制逻辑可实施为含有通过处理器、控制器/控制单元等执行的可执行程序指令的非暂时性计算机可读介质。计算机可读介质的例子包括但不限于，ROM、RAM、光盘（CD）-ROM、磁带、软盘、优盘、智能卡和光学数据存储装置。还能够在网络耦合的计算机系统中分布计算机可读记录介质，使得例如通过远程信息处理服务器或控制器局域网（CAN）以分散的方式存储并且执行计算机可读介质。

本文使用的术语仅仅是为了说明具体实施方式的目的而不是意在限制本发明。如本文所使用的，单数形式“一个、一种（a、an）”和“该（the）”也意在包括复数形式，除非上下文中清楚指明。还可以理解的是，在说明书中使用的术语“包括（comprises和/或comprising）”是指存在所述特征、整数、步骤、操作、元件和/或部件，但是不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其群组。如本文所使用的，术语“和/或”包括一个或多个相关所列项目的任何和所有组合。

下文将参考附图详细描述本发明的示例性实施方式。本领域技术人员应该意识到，在不偏离本发明的主旨和范围的情况下，可以以不同方式修改所述实施方式。此外，为理解和便于描述而任意显示附图中每个部件的尺寸和厚度，但不应理解为限制本发明。

图1是示意性示出根据本发明示例性实施方式的使用指谷的用户界面系统的示例性视图。参考图1，使用指谷的用户界面（UI）系统可包括输入单元100、图像采集单元110、信息数据库120、计时器160、图像存储单元150、电子控制单元（ECU）130和输出单元140。

输入单元100可包括多个按钮、触摸屏等。本文所用的输入指的是通过按钮或触摸屏生成输入信号，也可使用其他输入方式（例如声音，手势等）。

图像采集单元110可包括2D成像装置（例如相机）、光学传感器、超声传感器、图像传感器等。图像传感器对于精确识别手部姿势非常有利，并且图像采集单元110可配置为采集彩色图像或黑白图像。图像采集单元110可布置成紧挨方向盘，低于方向盘或高于方向盘，以位于采集手部图像的位置。此外，图像存储单元150可配置为累积存储由图像采集单元110采集的图像帧。计时器160检查时间。

通过ECU执行的信息数据库120，可配置为存储与各种预定3D手部姿势的轨迹相应的手势。此外，在需要时，信息数据库120可配置为存储与手势相应的设备操作信息。例如，如图3所示，可选择用于手势（例如，手掌靠近、手掌移开、手掌旋转、手掌交叉和手掌画圈）的车辆设备操作可包括驾驶时播放音乐、停止音乐、打开/关闭音乐、暂停音乐以及打开/关闭空气调节器。存储的手势可预设用于通常限定的手势。例如，预设手势可采取图3所示的形式，并且可采取很多其他手势形式。

而且，信息数据库120可配置为存储由乘客登记的手势。乘客可选择各种3D手部姿势的轨迹并将轨迹储存为手势。换句话说，当3D手部姿势的轨迹被识别为手势时，每个乘客可输入个性化的手势来防止识别误差。

电子控制单元130可配置为使用来自图像采集单元110的图像输入以及存储在图像存储单元150中的图像来检测手势。为此，可以使用彩色图像或红外图像。当使用彩色图像时，可通过提取肤色或运动来检测手部图像。当使用红外图像时，可通过提取与肤色同样亮或比肤色更亮的图像，或通过检测运动的差分图像，来检测手部图像。

此外，电子控制单元130可配置为从手部图像中提取轮廓，并检测手指和手心。轮廓中高曲率的点可检测为手指，并且手部图像的重心或中心点可限定为手心。可通过检测指尖曲率由反向（backward）曲率检测限定指谷。换句话说，可基于轮廓的拐点来检测指谷。

在指谷被限定时，电子控制单元130可配置为基于指谷间的距离及其二维空间布置确定手掌是否靠近，移开，上下移动或左右移动，旋转等。例如，电子控制单元130可配置为从图像采集单元110采集的图像中提取手部图像，并从手部图像中检测指谷。则电子控制单元130可配置为从指谷中提取3D姿势，并检测3D姿势的轨迹。

可以以各种方式修改该方法，且可以使用其他方法来检测3D姿势的轨迹。例如，电子控制单元130可配置为基于人体图像执行图像处理。换句话说，可从乘客身体的图像中去除外围图像，并且可以对提取图像中的头、躯干、每个手以及每个腿进行单独造模（modeled）。可从手部造模图像中提取指谷，并可使用指谷检测3D姿势的轨迹。

当需要时，电子控制单元130可配置为通过将从图像采集单元110采集的乘客手部图像的当前帧与存储在图像存储单元150中的累积图像帧进行比较来来检测指谷，并且从指谷中获得在预定时间形成的3D姿势的轨迹。此外，电子控制单元130可配置为通过参考信息数据库120的信息来从3D姿势的轨迹中识别手势。预定时间是指形成足以识别手势的3D姿势的轨迹所需的时间，且可以使用计时器160来确定。

而且，电子控制单元130可配置为确定与获得的3D姿势的轨迹匹配的手势是否存储在信息数据库120中。响应于确定匹配手势，电子控制单元130可配置为将存储的3D姿势的轨迹识别为乘客手势。另一方面，当匹配手势没有存储在信息数据库120中时，可使乘客的3D姿势的轨迹无法识别，因此不被识别。

此外，电子控制单元130可配置为根据来自输入单元100的输入信号确定是否使用手势识别功能。换句话说，在接收到开始或终止手势识别功能的输入信号时，电子控制单元130可配置为操作图像采集单元110以开始或终止采集图像。具体地，可操作图像采集单元110采集用户一只手移动的活动区域。

此外，电子控制单元130可配置为选择与所识别的手势相应的车辆设备操作，基于所选择的车辆设备操作生成控制信号，并提供乘客想要执行的操作。乘客可选择的车辆设备操作的实例包括接听电话及挂断电话、播放音乐、停止音乐、使音乐静音、音量调高及调低、空气调节器打开及关闭、加热器打开及关闭、遮阳板操作等。

输出单元140可包括触摸屏、扬声器、待操作的车辆设备（例如移动电话、音乐播放器、空气调节器、加热器及遮阳板）。通过ECU操作的输出单元140，可配置为在屏幕上显示车辆设备操作的内容。

图2是根据本发明示例性实施方式的使用指谷操作用户界面的方法的示例性流程图。参考图2，ECU可配置为经由输入单元100接收使用手势识别功能的要求（S100）。则在从乘客接收到使用手势识别功能的要求时，电子控制单元130可配置为使用图像采集单元110开始采集图像（S110）。所采集的图像可传送到电子控制单元130，并累积和存储在图像存储单元150中（S121）。

此外，电子控制单元130可配置为使用来自图像采集单元110的图像输入和存储在图像存储单元150中的图像来检测手势。这会在下文详细说明。具体地，电子控制单元130可配置为使用彩色图像或红外图像来检测手部图像（S122）。当使用彩色图像时，可通过提取肤色或运动来检测手部图像。当使用红外图像时，可通过提取与肤色同样亮或比肤色更亮的图像，或通过检测运动的差分图像来检测手部图像。

电子控制单元130则可配置为从手部图像中提取轮廓，并检测手指、手心和指谷（S123）。轮廓中高曲率的点可检测为手指，并且手部图像的重心或中心点可限定为手心。可通过检测指尖曲率由反向曲率检测来限定指谷。换句话说，可基于轮廓的拐点来检测指谷。指谷一经限定，电子控制单元130可配置为基于指谷间的距离及其二维空间布置确定手掌是否靠近、移开，上下移动或左右移动、旋转等，并且提取手部的3D姿势。则可检测3D姿势的轨迹（S130）。当需要时，可通过其他方法获得3D姿势的轨迹。

此外，电子控制单元130可配置为确定与检测的3D姿势的轨迹匹配的手势是否存储在信息数据库120中（S140）。响应于确定存储在信息数据库120中的匹配手势，电子控制单元130可配置为将存储的手势识别为乘客手势（S160）。或者，当匹配手势没有存储在信息数据库120中时，可使乘客的3D姿势的轨迹无法识别，因此不被识别。

然后，电子控制单元130可配置为通过参考信息数据库120，选择与识别的手势相应的车辆设备操作。电子控制单元130可配置为基于所选择的车辆设备操作生成控制信号，并提供乘客想要执行的操作（S170）。这样的车辆设备操作可包括设备（例如车内空气调节器及音频系统）的操作，且还可适用于传送、复制、存储、及修改信息（如内容、介质等）的操作。可通过输出单元140显示操作结果，并且使用手势识别的用户界面可基于ECU是否接收到终止手势识别功能的要求来完成（S180）。

由于可通过2D相机提取乘客的手势，本发明的示例性实施方式可实现成本降低。而且，由于手部姿势的自由度增加并且在指谷之间可以保持恒定距离而不管手部姿势，本发明的示例性实施方式可提高手部姿势和运动识别的可靠性。此外，由于可提取手部姿势（例如倾斜手部或翻转手部，以及手部上下/左右运动），本发明示例性实施方式可以在识别各种手势时提供提高的准确性。

尽管本发明结合目前被认为是实用的示例性实施方式进行了描述，但应当理解本发明不限于所公开的实施方式。相反，本发明意在涵盖包括在权利要求的主旨和范围内的各种变更和等同布置。

Claims (14)

1.一种使用指谷操作车辆内的用户界面的方法，所述方法包括：

通过控制器接收采集的图像；

通过所述控制器从所述采集的图像中检测指谷；

通过所述控制器使用所述指谷识别手势；以及

通过所述控制器选择与识别的手势相应的车辆设备操作，

所述方法还包括：

在接收采集的图像之前，通过所述控制器确定是否已接收到使用手势识别功能的要求；以及

响应于确定使用所述手势识别功能的要求，通过所述控制器接收所述采集的图像。

2.根据权利要求1所述的方法，其中从所述采集的图像中检测指谷以及使用所述指谷识别手势的步骤包括：

通过所述控制器从所述采集的图像中识别手部图像；

通过所述控制器从所述手部图像中检测指谷；

通过所述控制器从所述指谷中提取三维3D姿势；

通过所述控制器生成所述3D姿势的轨迹；以及

通过所述控制器从所述3D姿势的轨迹中识别手势。

3.根据权利要求2所述的方法，其中从所述3D姿势的轨迹中识别手势的步骤包括：

通过所述控制器检测与所述3D姿势的轨迹匹配的手势是否存储在信息数据库中；

响应于检测到存储在所述信息数据库中的匹配手势，通过所述控制器将所述3D姿势的轨迹识别为手势。

4.根据权利要求1所述的方法，还包括：

通过所述控制器确定是否已接收到终止所述手势识别功能的要求；以及

响应于确定终止所述手势识别功能的要求，通过所述控制器终止所述手势识别功能。

5.一种使用指谷操作车辆内的用户界面的系统，所述系统包括：

图像采集单元，配置成采集图像；以及

控制器，配置成：

从所述图像采集单元接收采集的图像；

将所述采集的图像存储在图像存储单元中；

从所述采集的图像中检测指谷；

使用所述指谷识别手势；

选择与识别的手势相应的车辆设备操作；并且

基于来自所述图像采集单元的输入信号以及存储在所述图像存储单元中的累积图像信息来操作车辆设备操作，

其中所述控制器还配置成：

在接收采集的图像之前，确定是否已接收到使用手势识别功能的要求；并且

响应于确定使用所述手势识别功能的要求，接收所述采集的图像。

6.根据权利要求5所述的系统，其中所述控制器还配置成：

从所述采集的图像中识别手部图像；

从所述手部图像中检测指谷；

从所述指谷中提取三维3D姿势；

生成所述3D姿势的轨迹；并且

从所述3D姿势的轨迹中识别手势。

7.根据权利要求6所述的系统，其中所述控制器还配置成：

检测与所述3D姿势的轨迹匹配的手势是否存储在信息数据库中；

响应于检测到存储在所述信息数据库中的匹配手势，将所述3D姿势的轨迹识别为手势。

8.根据权利要求5所述的系统，其中所述控制器还配置成：

确定是否已接收到终止所述手势识别功能的要求；并且

响应于确定终止所述手势识别功能的要求，终止所述手势识别功能。

9.根据权利要求5所述的系统，其中所述控制器还配置成：

通过输出单元显示所选择的车辆设备操作的内容。

10.一种包含由控制器执行的程序指令的非暂时性计算机可读介质，所述计算机可读介质包括：

控制图像采集单元采集图像的程序指令；

从所述图像采集单元接收采集的图像的程序指令；

将所述采集的图像存储在图像存储单元中的程序指令；

从所述采集的图像中检测指谷的程序指令；

使用所述指谷识别手势的程序指令；

选择与识别的手势相应的车辆设备操作的程序指令；以及

基于来自所述图像采集单元的输入信号以及存储在所述图像存储单元中的累积图像信息来操作车辆设备操作的程序指令，

所述计算机可读介质还包括：

在接收采集的图像之前，确定是否已接收到使用手势识别功能的要求的程序指令；以及

响应于确定使用所述手势识别功能的要求，接收所述采集的图像的程序指令。

11.根据权利要求10所述的非暂时性计算机可读介质，还包括：

从所述采集的图像中识别手部图像的程序指令；

从所述手部图像中检测指谷的程序指令；

从所述指谷中提取三维3D姿势的程序指令；

生成所述3D姿势的轨迹的程序指令；以及

从所述3D姿势的轨迹中识别手势的程序指令。

12.根据权利要求11所述的非暂时性计算机可读介质，还包括：

检测与所述3D姿势的轨迹匹配的手势是否存储在信息数据库中的程序指令；

响应于检测到存储在所述信息数据库中的匹配手势，将所述3D姿势的轨迹识别为手势的程序指令。

13.根据权利要求10所述的非暂时性计算机可读介质，还包括：

确定是否已接收到终止所述手势识别功能的要求的程序指令；以及

响应于确定终止所述手势识别功能的要求，终止所述手势识别功能的程序指令。

14.根据权利要求10所述的非暂时性计算机可读介质，还包括：

通过输出单元显示所选择的车辆设备操作的内容的程序指令。