CN104750242A - 用于识别用户的手势以执行车辆的操作的设备和方法 - Google Patents

Abstract

本发明公开了用于识别用户的手势以执行车辆的操作的设备和方法。该设备可包括：图像生成器，通过拍摄用户的手生成目标图像；特征点候选检测器，通过消除目标图像的背景生成包含手区域的手图像；手掌检测器，通过在手区域上执行形态学运算检测手掌区域；手指检测器，通过从手区域中消除手掌区域检测手指区域；特征点检测器，将位于手掌区域内的手指谷以及位于手指区域内的手指尖检测为特征点；以及手势识别器，基于手模型识别展开手指的数目，并且通过在多个种类之中选取与展开手指的数目对应的种类来识别用户的手势。

Description

用于识别用户的手势以执行车辆的操作的设备和方法

相关申请的交叉引用

本申请要求于2013年12月31日提交给韩国知识产权局的韩国专利申请第10-2013-0168913号的优先权和权益，通过引用将其全部结合在此。

技术领域

本发明涉及用于识别用户的手势以操作车辆或者车辆组件的设备和方法，并且因此该设备和方法可执行车辆的操作。

背景技术

通常，用于车辆的信息技术装置是为车辆的驾驶提供辅助或者为如驾驶员的用户提供便利和娱乐的装置。例如，信息技术装置包括音频装置、音频视频导航系统、远程信息处理装置等。

一些信息技术装置通过远程控制方法来控制，以便防止驾驶员的眼睛偏离车辆前方的道路。

作为远程控制方法，存在通过使用车辆的方向盘上布置的按钮或者通过识别用户的手势控制信息技术装置的方法。在那些方法之中，用于识别用户手势的方法是通过相机(camera，摄像头)拍摄用户的手并且基于拍摄的图像识别手姿态(hand pose)的方法。

然而，根据用于识别用户手势的常规方法，随着可用手姿态的数目增加手势识别率劣化。

在背景技术部分所公开的上述信息仅用于增强对本发明背景技术的理解，因此，其可能包含并不构成已为该国本领域的技术人员已知的现有技术的信息。

发明内容

本发明提供用于识别用户的手势以执行车辆的操作的装置和方法，其具有基于用户的手的轮廓的曲率检测特征点候选，并且通过筛选特征点候选精确检测特征点的优点。

根据本发明的示例性实施方式的用于识别用户的手势以执行车辆的操作的装置可包括：图像生成器，被配置为通过拍摄用户的手生成目标图像；特征点候选检测器，被配置为通过消除目标图像的背景生成包括手区域的手图像，并且检测手腕的中心点和包括手指尖和手指谷的特征点候选；手掌检测器，被配置为通过对手区域执行形态学运算检测手掌区域，并且检测手掌区域的中心点；手指检测器，被配置为通过从手区域中消除手掌区域检测手指区域；特征点检测器，被配置为将位于手掌区域内的手指谷和位于手指区域内的手指尖检测为特征点，并且通过使用手腕中心点、手掌区域的中心点、以及特征点生成手模型；以及手势识别器，被配置为基于手模型识别展开手指的数目，并且通过在多个种类之中选取与展开手指的数目相对应的种类来识别用户手势。

特征点候选检测器可将手图像转换成二值图像。

特征点候选检测器可在将手图像转换成二值图像或者检测特征点候选之后标准化(normalize)手区域。

特征点候选检测器可检测用户的手的轮廓，并且基于用户的手的轮廓的曲率检测手指尖或手指谷。

特征点候选检测器将曲率大于预定值处的点检测为手指尖或手指谷。

手掌检测器可沿着用户的手的轮廓执行侵蚀运算以消除手指区域，沿着被侵蚀运算部分地消除之后而余留的手掌区域的轮廓执行膨胀运算以使手掌区域膨胀，并且通过使用椭圆匹配法或最小二乘法检测膨胀后的手掌区域的中心点。

手指检测器可通过从手区域中消除膨胀后的手掌区域检测手指区域。

特征点检测器可通过初次筛选(primarily filtering)特征点候选来检测位于手掌区域内或手指区域的特征点候选。

特征点检测器可通过基于手腕的中心点、手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选(secondarily filtering)初次筛选后的特征点候选来检测特征点。

手势识别器在所选择的种类中选择对应于手模型的手姿态。

根据本发明的示例性实施方式的用于识别用户的手势以执行车辆的操作的方法可包括：通过消除目标图像的背景生成手图像；将手图像转换成包括手区域的二值图像；在手区域内检测手腕的中心点和包括手指尖和手指谷的特征点候选；通过对手区域执行形态学运算检测手掌区域和手掌区域的中心点；通过从手区域中消除手掌区域检测手指区域；通过初次筛选特征点候选来检测位于手掌区域或者手指区域内的特征点候选；通过基于手腕的中心点、手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选初次筛选的特征点候选来检测特征点；以及通过使用手腕中心点、手掌区域中心点、和特征点生成手模型。

方法可进一步包括将手图像转换成二值图像之后或者检测手腕的中心点和特征点候选之后标准化手区域。

检测手腕的中心点和特征点候选可包括检测用户的手的轮廓并计算用户的手的轮廓的曲率。

检测手腕的中心点和特征点候选可进一步包括将曲率大于预定值的处的点检测为手指尖或手指谷。

通过对手区域执行形态学运算来检测手掌区域和手掌区域的中心点可包括：沿着用户的手的轮廓执行侵蚀运算以消除手指区域；沿着被侵蚀运算部分消除之后而余留的手掌区域的轮廓执行膨胀运算以使手掌区域膨胀；并且通过使用椭圆匹配法或最小二乘法检测膨胀后的手掌区域的中心点。

检测手指区域可包括从手区域中消除膨胀的手掌区域。

该方法可进一步包括：基于手模型识别展开手指的数目；在多个种类之中选取与展开手指数目相对应的种类；并且通过在所选择的种类中选取对应于手模型的手姿态来识别用户的手势。

根据本发明的示例性实施方式，特征点候选基于用户的手的轮廓的曲率来检测，并且可通过筛选特征点候选精确检测特征点。

此外，用户的手势的识别率可通过根据展开手指的数目分类手姿态的种类来改善。

一种包括被处理器或控制器执行的程序指令的非暂存性计算机可读介质，可包括：通过消除目标图像的背景生成手图像的程序指令；将手图像转换成包括手区域的二值图像的程序指令；在手区域内检测手腕的中心点和包括手指尖和手指谷的特征点候选的程序指令；通过对手区域执行形态学运算检测手掌区域和手掌区域的中心点的程序指令；通过从手区域中消除手掌区域检测手指区域的程序指令；通过初次筛选特征点候选检测位于手掌区域或者手指区域内的特征点候选的程序指令；通过基于手腕的中心点、手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选初次筛选后的特征点候选来检测特征点的程序指令；以及通过使用手腕中心点、手掌区域中心点和特征点生成手模型的程序指令。

附图说明

图1是根据本发明的示例性实施方式的用于识别用户手势的设备的框图。

图2是根据本发明的示例性实施方式的用于描述根据展开手指的数目分类的手姿态的示意图。

图3是根据本发明的示例性实施方式的用于识别用户手势的方法的流程图。

图4至图9是描述根据本发明的示例性实施方式的用于识别用户手势的方法的示意图。

具体实施方式

在以下具体说明中，简单通过图示的方式仅示出并描述了本发明的某些示例性实施方式。本领域技术人员应当认识到，在不脱离本发明的精神或者范围内，可以各种不同方式修改所描述的实施方式。因此，附图和说明从本质上被认为是说明性的而非限制性的。通篇说明书，相同参考标号指代相同的元件。

应当理解，本文中所使用的术语“车辆(vehicle)”或“车辆的(vehicular)”或其他类似术语包括广义的机动车辆，诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客车辆；包括各种小船、海船的船只；航天器等；并且包括混合动力汽车、电动车辆、插入式混合电动车辆、氢动力车辆和其他替代燃料车辆(例如，燃料来源于非汽油能源)，如本文所指，混合动力车辆是具有两种或以上动力源的车辆，例如，汽油动力和电动力车辆。

本文中所使用的术语仅是为了描述具体实施方式的目的而并非旨在限制本发明。除非上下文另有明确说明，否则如本文中所使用的单数形式“一(a)”、“一(an)”及“该”也旨在包括复数形式。还应当理解，当术语“包括”和/或“包含”用于本说明书时，其描述了存在所述特征、整体、步骤、操作、元件及/或组件，但并不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、组件及/或其组合。作为本文中所用的术语“和/或”包括一个或多个相关的所列项的任何及所有组合。此外，当描述元件“耦接”至另一元件时，该元件可能“直接耦接”至另一元件，或者通过第三元件“电耦接”至另一元件。

进一步地，本发明的控制逻辑可体现为非暂存性计算机可读介质，在计算机可读介质上包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的实例包括但并不限于：ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动、智能卡和光学数据存储装置。计算机可读介质也可分布在网络耦合的计算机系统中，从而以分布式方式存储并且例如由远程信息管理服务器(telematics server)或控制器局域网络(CAN)执行该计算机可读介质。

在下文中，将参照其中示出了本发明的示例性实施方式的附图更全面地描述本发明。

图1是根据本发明的示例性实施方式的用于识别用户手势的设备的框图，并且图2是根据本发明的示例性实施方式的用于描述根据展开手指的数目分类的手姿态的示意图。

如图1所示，根据本发明的示例性实施方式的用于识别用户手势的设备可包括图像生成器10、手模型生成器20、和手势识别器30。

图像生成器10通过拍摄用户的手生成目标图像。图像生成器10可以是布置为面对用户的手的2D相机、3D相机、或红外相机。

手模型生成器20可使用通过预定程序执行的一个或多个微处理器实现。预定程序可包括一系列命令，该一系列命令用于执行包括在根据本发明示例性实施方式的识别用户手势的方法中的各个步骤。通过识别用户手势，可以操作车辆的一个或多个组件，或驾驶车辆。

手模型生成器20可包括特征点候选检测器21、手掌检测器22、手指检测器23、和特征点检测器24。

特征点候选检测器21通过消除目标图像的背景生成手图像。特征点候选检测器21从手图像中检测特征点候选。特征点候选可包括手指尖和手指谷(finger valley，手指蹼)。

详细地，特征点候选检测器21将手图像转换成二值图像。特征点候选检测器21检测手腕和手腕的中心点。特征点候选检测器21可将二值图像划分成上部区域和下部区域，并且检测下部区域内的手腕。

特征点候选检测器21检测用户的手的轮廓并且计算用户的手的轮廓的曲率(curvature)。特征点候选检测器21可将曲率大于预定值处的点检测为特征点候选(手指尖或手指谷)。

特征点候选检测器21可标准化包括在手图像内的手区域。因为对于各个用户手的大小是不同的，所以包括在手图像中的手区域在大小上可能彼此不同。标准化可在将手图像转换成二值图像之后或检测特征点候选之后进行。

手掌检测器22从手区域检测手掌区域，并且检测手掌区域的中心点。此处，手掌检测器22可通过在手区域上进行形态学运算检测手掌区域。详细地，手掌检测器22通过执行侵蚀运算消除手指区域。手掌检测器22可沿着用户手的轮廓消除手指区域。因为手指区域小于手掌区域，所以手掌区域可通过从手区域消除手指区域来检测。

手掌检测器22通过在消除手指区域之后残余的手掌区域上进行膨胀运算膨胀手掌区域。手掌检测器22检测膨胀的手掌区域的中心点。

此处，手掌区域的中心点可通过使用椭圆匹配法或最小二乘法来检测。椭圆匹配法将手掌区域和椭圆相匹配，并且将椭圆的中心点检测为手掌区域的中心点。因为最小二乘法是众所周知的并且可由本领域普通技术人员容易地进行，所以将省去其详细说明。手掌检测器22可进行用于使膨胀的手掌区域的轮廓平滑的处理。

手指检测器23通过从手区域消除手掌检测器22检测的手掌区域来检测手指区域。

特征点检测器24初次筛选特征点候选。特征点检测器24将未位于手掌区域或手指区域内的特征点候选从特征点候选中排除。特征点检测器24通过分析手腕中心点、手掌区域中心点和初次筛选的特征点候选之间的相关性，二次筛选初次筛选的特征点候选。

此处，特征点检测器24可通过比较手腕的中心点、手掌区域的中心点、以及初次筛选的特征点候选之间的距离和角度来二次筛选初次筛选的特征点候选。如果手腕中心点、手掌区域中心点、和初次筛选的特征点候选之间的距离和角度在预定范围以外，那么特征点检测器24可将一个或多个对应的特征点候选排除。

特征点检测器24将二次筛选的特征点候选检测为特征点。特征点检测器24通过使用特征点生成手模型。

手势识别器30基于手模型识别展开的手指的数目，并且在多个种类之中选择与展开手指的数目对应的种类。此处，如图2所示，多个种类可根据展开手指的数目分类并且包括关于预定的手姿态的信息。手势识别器30通过选择与所选择的种类的手姿态中的手模型对应的手姿态来识别用户手势。

手势识别器30可根据识别的用户手势控制车辆中的信息技术装置的操作。例如，手势识别器30可根据识别的用户手势控制音频装置的音量或者空调器的温度。

图3是根据本发明的示例性实施方式的用于识别用户手势的方法的流程图，图4至图9是描述根据本发明的示例性实施方式的用于识别用户手势的方法的示意图。

如图3和图4的(a)所示，在步骤S1，图像生成器10生成目标图像A1。目标图像A1被发送到特征点候选检测器21。

在步骤S2，特征点候选检测器21通过消除目标图像A1的背景生成手图像。特征点候选检测器21将手图像转换成二值图像A2。二值图像A2包括手区域HR。

此后，在步骤S3，特征点候选检测器21标准化手区域HR。就是说，手区域HR通过标准化被调整为具有预定大小。

在步骤S4，特征点候选检测器21检测标准化的手区域A3内的手腕的中心点O1。

特征点候选检测器21检测用户的手的轮廓并且计算用户的手的轮廓的曲率。在步骤S4，特征点候选检测器21可基于轮廓的曲率检测一个或多个特征点候选。曲率大于预定值的点可被检测为特征点候选。如图4的(d)所示，手指尖F1至F5和手指谷V1至V4可检测为特征点候选。

在这种情况下，特征点候选检测器21可能将如F11或V11的点错误地检测为特征点候选，如图5所示。就是说，点F11可被错误地检测为手指尖并且点V11可被错误地检测为手指谷。因此，进行后续处理以将错误检测的点排除在外。

如图6所示，在步骤S5，手掌检测器22可通过在手区域A3上进行形态学运算检测手掌区域A4。形态学运算包括侵蚀运算和膨胀运算。

详细地，手掌检测器22通过进行侵蚀运算而沿着用户的手的轮廓消除手指区域，如图6的(a)所示。

此后，手掌检测器22沿着通过侵蚀运算部分地消除之后而残余的手掌区域的轮廓进行膨胀运算，如图6的(b)所示。然后，手掌区域被膨胀为如图6的(c)所示。此后，在步骤S5，手掌检测器22通过使用椭圆匹配法或最小二乘法检测膨胀的手掌区域A4的中心点O2。

如图7所示，在步骤S6中，手指检测器23通过从标准化的手区域A3中消除膨胀的手掌区域A4检测出手指区域A5。

在步骤S7中，特征点检测器24初次筛选特征点候选。就是说，特征点检测器24检测位于手掌区域A4或手指区域A5内的特征点候选。

例如，如图8所示，手区域A3中的点F21、F22、和F23可被检测为特征点候选(手指尖)。在这种情况下，因为点F23不位于手指区域A5’内，所以特征点检测器25把点F23从特征点候选中排除。

在手区域A3’中的点V21和V22可被检测为特征点候选(手指谷)。在这种情况下，因为点V22不位于手掌区域A4’内，所以特征点检测器24将点V22从特征点候选中排除。

此后，如图9所示，在步骤S8中，特征点检测器24通过比较手腕的中心点O1、手掌区域的中心点O2和初次筛选的特征点候选之间的距离和角度二次筛选初次筛选的特征点候选。因此，手指尖F31至F35和手指谷V31至V34被检测为特征点。

特征点检测器24通过使用手腕的中心点O1、手掌区域的中心点O2、和特征点F31至F35以及V31至V34生成手模型。

此后，手势识别器30基于手模型识别展开的手指的数目，并且在多个种类之中选择与展开手指的数目相对应的种类。在步骤S9中，手势识别器30通过在所选择的种类的手姿态中选择与手模型相对应的手姿态来识别用户手势。

如上所述，根据本发明的示例性实施方式，特征点候选是基于用户的手的轮廓的曲率检测的，并且特征点可通过筛选特征点候选来精确检测。

此外，用户的手势的识别率可通过根据展开手指的数目分类手姿态的种类来改善。

尽管已经结合目前被认为是实用的示例性实施方式对本发明进行了描述，但应当理解，本发明不限于所公开的实施方式，而是相反，旨在涵盖包括在所附权利要求书的精神和范围内的各种修改和等同配置。

Claims (18)

1.一种用于识别用户的手势以执行车辆的操作的设备，包括：

图像生成器，被配置为通过拍摄用户的手生成目标图像；

特征点候选检测器，被配置为通过消除所述目标图像的背景生成包含手区域的手图像，并且检测手腕的中心点和包括手指尖和手指谷的特征点候选；

手掌检测器，被配置为通过对所述手区域执行形态学运算来检测手掌区域，并且检测所述手掌区域的中心点；

手指检测器，被配置为通过从所述手区域消除所述手掌区域来检测手指区域；

特征点检测器，被配置为将位于所述手掌区域内的所述手指谷和位于所述手指区域内的所述手指尖检测为特征点，并且通过使用所述手腕的中心点、所述手掌区域的中心点以及所述特征点生成手模型；以及

手势识别器，被配置为基于所述手模型识别展开手指的数目，并且通过在多个种类之中选择与所述展开手指的数目对应的种类来识别所述用户的手势。

2.根据权利要求1所述的设备，其中，所述特征点候选检测器将所述手图像转换成二值图像。

3.根据权利要求2所述的设备，其中，所述特征点候选检测器在将所述手图像转换成所述二值图像之后或者在检测所述特征点候选之后标准化所述手区域。

4.根据权利要求1所述的设备，其中，所述特征点候选检测器检测所述用户的手的轮廓，并且基于所述用户的手的轮廓的曲率检测所述手指尖或所述手指谷。

5.根据权利要求4所述的设备，其中，所述特征点候选检测器将所述曲率大于预定值处的点检测为所述手指尖或所述手指谷。

6.根据权利要求4所述的设备，其中，所述手掌检测器沿着所述用户的手的轮廓执行侵蚀运算以消除所述手指区域，沿着被所述侵蚀运算部分消除之后而余留的所述手掌区域的轮廓执行膨胀运算以使所述手掌区域膨胀，并且通过使用椭圆匹配法或最小二乘法检测膨胀后的手掌区域的中心点。

7.根据权利要求6所述的设备，其中，手指检测器通过从所述手区域消除所述膨胀后的手掌区域来检测所述手指区域。

8.根据权利要求1所述的设备，其中，所述特征点检测器通过初次筛选所述特征点候选来检测位于所述手掌区域或所述手指区域内的所述特征点候选。

9.根据权利要求8所述的设备，其中，所述特征点检测器通过基于所述手腕的中心点、所述手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选所述初次筛选的特征点候选来检测所述特征点。

10.根据权利要求1所述的设备，其中，所述手势识别器在所选择的种类中选择与所述手模型对应的手姿态。

11.一种用于识别用户的手势以执行车辆的操作的方法，包括：

通过消除目标图像的背景生成手图像；

将所述手图像转换成包含手区域的二值图像；

在所述手区域内检测手腕的中心点和包括手指尖和手指谷的特征点候选；

通过对所述手区域执行形态学运算检测手掌区域和所述手掌区域的中心点；

通过从所述手区域消除所述手掌区域来检测手指区域；

通过初次筛选所述特征点候选来检测位于所述手掌区域或者所述手指区域内的所述特征点候选；

通过基于所述手腕的中心点、所述手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选所述初次筛选的特征点候选来检测特征点；并且

通过使用所述手腕中心点、所述手掌区域中心点和所述特征点生成手模型。

12.根据权利要求11所述的方法，进一步包括，在转换所述手图像之后或者在检测所述手腕的中心点和所述特征点候选之后标准化所述手区域。

13.根据权利要求11所述的方法，其中，检测所述手腕的中心点和所述特征点候选包括：

检测用户的手的轮廓；并且

计算所述用户的手的轮廓的曲率。

14.根据权利要求13所述的方法，其中，检测所述手腕的中心点和所述特征点候选进一步包括：将所述曲率大于预定值处的点检测为所述手指尖或所述手指谷。

15.根据权利要求13所述的方法，其中，通过对所述手区域执行所述形态学运算来检测所述手掌区域和所述手掌区域的中心点包括：

沿着所述用户的手的轮廓执行侵蚀运算以消除所述手指区域；

沿着被所述侵蚀运算部分消除之后而余留的所述手掌区域的轮廓执行膨胀运算以使所述手掌区域膨胀；并且

通过使用椭圆匹配法或最小二乘法检测膨胀后的所述手掌区域的中心点。

16.根据权利要求15所述的方法，其中，检测所述手指区域包括：从所述手区域消除所述膨胀后的手掌区域。

17.根据权利要求11所述的方法，进一步包括：

基于所述手模型识别展开手指的数目；

在多个种类之中选择与所述展开手指的数目对应的种类；并且

通过在所选择的种类中选择与所述手模型对应的手姿态来识别所述用户的手势。

18.一种非暂存性计算机可读介质，包括由处理器或控制器执行的程序指令，所述计算机可读介质包括：

通过消除目标图像的背景生成手图像的程序指令；

将所述手图像转换成包含手区域的二值图像的程序指令；

在所述手区域内检测手腕的中心点和包括手指尖和手指谷的特征点候选的程序指令；

通过对所述手区域执行形态学运算检测手掌区域和所述手掌区域的中心点的程序指令；

通过从所述手区域消除所述手掌区域来检测手指区域的程序指令；

通过初次筛选所述特征点候选来检测位于所述手掌区域或者所述手指区域内的所述特征点候选的程序指令；

通过基于所述手腕的中心点、所述手掌区域的中心点与初次筛选的特征点候选之间的距离和角度二次筛选所述初次筛选的特征点候选来检测特征点的程序指令；以及

通过使用所述手腕的中心点、所述手掌区域的中心点和所述特征点生成手模型的程序指令。