CN103869974A - 用于手势有效部分检测的系统和方法 - Google Patents

Abstract

提供了一种用于检测手势的有效部分的系统和方法，包括：获取包括手势和背景的图像；提取包括在手势中的姿势信息和动作信息作为特征；基于姿势信息来确定是否已识别出姿势；当已识别出姿势时，基于姿势的起点和终点来检测有效部分；以及当检测到姿势的有效部分时，基于动作信息来识别手势。

Description

用于手势有效部分检测的系统和方法

技术领域

本发明涉及用于检测手势的有效部分的系统和方法。

背景技术

在基于由成像装置(例如，摄像机)采集的图像识别手势的系统中，由于当系统识别预定手势之外的动作时难以准确地确定手势，因此用户的手势意图很重要。

此外，对于利用通过检测和识别手势的常用系统中的信号处理来识别手势的方法的系统而言，该系统从存在预定动作的位移时起识别手势，因而降低了识别手势的速度。另外，当动作轨迹的大小不同于预定轨迹的大小时，识别手势的速度也会降低。手势是使用学习算法来识别的，并且手势的轨迹可能不符合预定的轨迹，从而归类为不正确的识别。于是，用户可能不得不在手势开始和结束时停止动作，以使系统识别用户执行的手势的类型。

在本部分公开的上述信息仅用于增进对本发明背景的理解，因而可能包含不构成本国内本领域技术人员公知的现有技术的信息。

发明内容

本发明提供了用于检测手势的有效部分的系统和方法，具有提高检测手势意图的准确性的优点。本发明的示例性实施例提供了一种利用检测手势的有效部分的系统来检测手势的有效部分以识别手势的方法。

该方法可包括：获取包括手势和背景的图像；从图像中的手势中，提取手势中所包括的姿势信息和动作信息作为特征；基于姿势信息确定是否已识别出姿势；当已识别出姿势时，基于姿势的起点(例如，首先执行手势时姿势的动作)和终点(例如，手势结束时姿势的动作)检测姿势的有效部分；以及当检测到姿势的有效部分时，基于动作信息识别手势。

确定是否已识别出姿势的处理可包括：确定所提取的姿势信息对应于预先存储的一项或多项特征信息中的哪一项；以及当所提取的姿势信息对应于任一项特征信息时，将所提取的姿势信息识别为姿势。

检测有效部分的处理可包括：确定姿势的起点；确定姿势的终点；确定从起点至终点的部分是否持续了预定的或更多的时间；以及当所述部分持续了预定的或更多的时间时，将起点至终点之间的部分确定为有效部分。

识别手势的处理可包括：确定所提取的动作信息对应于预先存储的一项或多项特征信息中的哪一项；以及当所提取的动作信息对应于任一项特征信息时，输出所提取的动作信息作为手势识别结果。

提取姿势信息和动作信息作为特征的处理可包括：通过使用模板匹配算法或者提取姿势图像的特征然后对其建模来提取姿势作为姿势信息，以及通过利用信号处理或学习算法中的任一种识别动作来提取动作作为动作信息。

本发明的另一示例性实施例提供了一种检测手势的有效部分的系统。

该系统包括由具有处理器和存储单元的控制器执行的多个单元。该多个单元可包括：图像获取单元，获取包括背景以及具有姿势信息和动作信息的手势的图像；特征检测单元，从手势中检测姿势信息和动作信息，并通过确定在之前存储的特征信息中是否存在与动作信息对应的信息来提取姿势信息；手势起点确定单元，当特征检测单元检测到姿势信息时，检测姿势信息的起点；手势终点确定单元，当特征检测单元检测到姿势信息时，检测姿势信息的终点；以及手势识别单元，基于手势起点确定单元检测到的起点和手势终点确定单元检测到的终点，检测姿势的有效部分，并且在检测到有效部分时，通过确定特征检测单元所提取的动作信息包括在之前存储的特征信息中来识别手势。

多个单元还可包括：背景去除单元，从图像获取单元所获取的图像中去除背景，并只将手势提供给特征检测单元；以及特征信息存储单元，存储并提供特征检测单元和手势识别单元用于确定姿势信息和动作信息的特征信息。

根据本发明，由于可提高检测手势开始和结束的准确性，因此可去除系统的非预期手势的不正确识别。此外，由于可设定自然手势，因此可直观地使用该手势识别系统。

附图说明

图1是根据现有技术的识别常见手势的示例性图；

图2是示出根据本发明的示例性实施例的检测手势的有效部分的系统的结构的示例性图；

图3是示出根据本发明的示例性实施例的检测有效部分的方法的示例性流程图；并且

图4是示出根据本发明的示例性实施例的姿势识别和手势动作识别的结合的示例性图。

具体实施方式

应当理解，本文所使用的术语“车辆”或“车辆的”或者其它类似术语包括一般的机动车辆，例如包括运动型多功能车(SUV)、公共汽车、卡车、各种商用车辆在内的载客车辆、包括各种艇和船在内的水运工具、飞行器等，并且包括混合动力车辆、电动车辆、内燃车辆、插电式混合动力电动车辆、氢动力车辆和其它替代燃料车辆(例如，从石油之外的资源获得的燃料)。

尽管示例性实施例被描述为使用多个单元执行示例性处理，然而应当理解示例性处理也可由一个或多个模块执行。此外，应当理解术语控制器指代包括存储器和处理器的硬件装置。存储器配置为存储模块，并且处理器具体配置为执行所述模块从而执行以下进一步说明的一个或更多处理。

此外，本发明的控制逻辑可实现为包含由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的实例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质还可分布在网络连接的计算机系统中，以便例如通过远程信息处理服务器或控制器局域网(CAN)，以分布方式存储并执行计算机可读介质。

本文所使用的术语仅用于说明具体的实施例，而不意在限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”意在也包括复数形式，除非上下文另外明确地指明。还将理解的是，当在本说明书中使用时，词语“包括”和/或“包含”指定所述特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或更多其它特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。如本文所使用的，词语“和/或”包括一个或更多相关列出项目的任何和全部组合。

在以下详细说明中，仅通过举例说明的方式示出和说明了本发明的示例性实施例。如本领域技术人员将会意识到的，可以各种不同方式修改所述的实施例，而均不偏离本发明的精神或范围。因此，附图和说明在本质上应被理解为是说明性的而非限制性的。在整个说明书中，相同的附图标记表示相同的元件。在整个说明书中，除非明确相反地说明，词语“包括”和例如“包含”或“含有”的变型将被理解为意指包括所述的元件，但不排除任何其它元件。

以下，将参照附图说明根据本发明的示例性实施例的用于检测手势的有效部分的系统和方法。图1是识别常见手势的示例性图。

如图1(a)中所示，根据识别手势的常用技术，系统通过信号处理或使用学习算法来识别手部特征的运动轨迹。然而，用于检测和识别手势的常用系统不具有检测用户输入手势的准确时间点的模块。

具体地，当通过信号处理识别手势时，可从有预定动作的位移时开始识别手势，因而降低了可识别手势的速度。此外，当动作轨迹的大小不同于预定轨迹的大小时，识别手势的速度也会降低。

当使用学习算法执行识别，且图1(b)中所示的预定轨迹与图1(c)中所示的用户实际手势的轨迹不符合时，系统可配置为确定用户手势的不正确识别。于是，用户不得不在手势开始和结束时停止动作。换言之，由于不能准确地识别手势动作的开始和结束，因此系统识别动作的不确定性增加。此外，当用户无意间做出类似于预定手势的动作时，系统可将该动作识别为手势，从而导致频繁的不正确识别。因此，根据本发明的示例性实施例，由于提高了检测手势开始和结束的准确性，因此可减少手势的不正确识别。

本发明的示例性实施例使用如图2中所示的检测手势的有效部分的系统来准确地确定手势的开始和结束。在本发明的示例性实施例中，可通过结合姿势识别与动作识别来确定有效部分，从而准确地确定手势的开始和结束。图2是示出根据本发明的示例性实施例的检测有效部分的系统的结构的示例性图。

如图2中所示，检测有效部分的系统100可包括由控制器执行的多个单元。该多个单元可包括图像获取单元110、背景去除单元120、特征检测单元130、特征信息存储单元140、手势起点确定单元150、手势终点确定单元160和手势识别单元170。

图像获取单元110可配置为获取经由能够获取图像的装置例如摄像机(未示出)输入的图像。该图像不仅可包括用户的手势，而且可包括用户手势的背景图像。背景去除单元120可配置为通过从图像获取单元110所获取的图像中去除背景来获取用户的手势。有许多种从图像中去除背景的方法，且本发明的示例性实施例不指定任何一种方法。

特征检测单元130可配置为从背景去除单元120所获取的用户手势中检测用户手势的特征，并将特征信息存储在特征信息存储单元140中。特征检测单元130可配置为从用户的手势识别手部的姿势。特别地，可通过使用例如模板匹配算法比较整个图像，或者通过提取姿势图像上的特征或对其建模，来识别手势，因而在说明书中不指定其中的任何一种。

特征检测单元130可配置为响应于识别手部姿势来识别手部的动作。可通过信号处理或学习算法来识别手部的动作，而识别手部动作的方法是本领域所公知的，因此本文不作详细说明。然而，当无法识别出手部姿势时，特征检测单元130可配置为检测特征直至识别出手部姿势。特征可以是用户手部的姿势和动作，其中姿势可以是手部的形状，动作可以是手部的移动方向或移动类型。

特征信息存储单元140可配置为存储多项预定的特征信息，并将特征信息提供给特征检测单元130和手势识别单元170。特征信息可包括姿势信息和动作信息。姿势信息可包括关于姿势的信息，例如仅拇指或食指伸出的拳头、向上张开的手掌或撅起的手指。动作信息可包括关于各种动作的信息，例如上下左右移动手部、旋转手部和挥动手部。

当特征检测单元130检测到用户手部的特征时，手势起点确定单元150可配置为根据检测到的特征的动作来确定手势的起点。当特征检测单元130检测到用户手部的特征时，手势终点确定单元160可配置为根据检测到的特征的动作来确定手势的终点。

手势识别单元170可配置为接收与手势起点确定单元150所确定的手势起点和手势终点确定单元160所确定的手势终点有关的信息，并确定是否能够把从手势的起点至终点的部分确定为手势的有效部分。当手势持续了预定时间时，手势识别单元170可配置为确定手势的有效部分。

当有效部分被确定时，可根据特征检测单元130所确定的手部姿势来识别用户的手势。此外，控制器可配置为确定与手势识别单元170所检测的动作基本相同的动作是否处于特征信息存储单元140中存储的动作信息中。当相同的信息存储在特征信息存储单元140中时，手势识别单元170可配置为输出手势识别结果以便能够对识别的手势执行预定控制。然而，当未检测到基本相同的动作信息时，控制器可操作特征检测单元130从手势中检测特征。

以下，参照图3说明使用检测有效部分的系统100检测手势的有效部分的方法。图3是示出根据本发明的示例性实施例的检测有效部分的方法的示例性流程图。

如图3中所示，当图像获取单元110获取包括用户的手势和手势的背景的图像(S100)时，背景去除单元120可配置为从图像中去除背景(S110)。控制器操作背景去除单元120从图像中去除背景留下手势的方法是本领域所公知的，因而本文不作详细说明。当背景去除单元120去除了背景时，特征检测单元130可配置为从手势中检测特征。特征可包括作出手势的用户的手部的姿势和动作。

首先，特征检测单元130可配置为确定与关于检测到的特征的姿势的信息对应的信息是否与特征信息存储单元140中存储的多项信息中的任一项信息对应，即是否识别出姿势(S130)。当用户手部的姿势不与特征信息存储单元140中存储的任一项特征信息对应时，特征检测单元130可配置为从下一幅图像中检测特征。

相反，当用户手部的姿势与特征信息存储单元140中存储的任一项特征信息对应时，手势起点确定单元150可配置为检测手部动作的起点，并且手势终点确定单元160可配置为检测动作的终点，然后关于起点和终点的信息可传送至手势识别单元170。手势识别单元170可配置为基于关于手势的起点和终点的信息，确定是否能够将对应的部分确定为用于手势识别的有效部分(S140)。

当由于该部分未持续预定时间，因而手势识别单元170未将该部分确定为有效部分时，可重复S120中的特征检测。然而，当姿势持续了预定时间时，手势识别单元170可配置为将该部分确定为有效部分，且可识别由特征检测单元130检测到的手势的手部动作(S150)。特征检测单元130可使用各种方法来识别手部的动作，例如通过信号处理或使用学习算法，因而在本发明的示例性实施例的说明中不指定任何一种方法。

手势识别单元170可配置为确定在S150中识别的一个或多个手部动作是否包括在特征信息存储单元140中以便识别为手势(S160)。当在特征信息存储单元140中未存储与关于用户动作的信息相同的信息时，可重复S130中的姿势识别。当在特征信息存储单元140中存储有与关于用户动作的信息相同的信息时，手势识别单元170可配置为输出手势识别结果，并请求与手势识别结果相应的装置控制(S170)。

参照图4说明上述方法的示例性实施例。作为实例，可基于姿势和手势来操作车辆的音频系统。图4是示出根据本发明的示例性实施例的姿势识别和手势动作识别的结合的示例性图。

在本发明的示例性实施例中，如图4中所示，在特征信息存储单元140中，五项示例性信息被存储为姿势信息，三项示例性信息被存储为动作信息。另外，作为姿势信息，当两根手指伸出呈V形时可启动车辆的音频系统，当手掌张开挥动时可操作音频系统的频道按钮。

因此，如图4中所示，当用户伸出手指呈V形而进行挥动时，图像获取单元110可配置为获取包括手势和背景的图像。然后，背景去除单元120可配置为从获取的图像中去除背景。由于在本发明的示例性实施例中说明可启动车辆的音频系统，因此作为实例，图像中的背景可以是车辆内的座位或车辆内的其它环境。

当背景去除单元120在去除背景后仅获取手势时，特征检测单元130可配置为检测可以是手势的特征的用户手部的姿势和动作。如图4中所示，特征检测单元130可配置为确定与检测到的姿势相同的姿势的有关信息是否存储在特征信息存储单元140中。

当关于相同姿势的特征信息存储在特征信息存储单元140中时，手势起点确定单元150可配置为检测手部姿势的起点，且手势终点确定单元160可配置为检测手部姿势的终点。在手势起点确定单元150和手势终点确定单元160检测到手部姿势的开始时间点和结束时间点后，手势识别单元170可配置为确定是否能够将对应的部分确定为手势的有效部分。当基本相同的手部姿势持续了预定时间时，可将该有效部分确定为有效部分。

当确定了有效部分时，手势识别单元170可配置为识别用户的动作。可使用各种方法识别动作，例如通过信号处理或学习算法。当手势识别单元170确定用户的动作为挥动时，可将手势识别结果传送给音频系统的控制器，以便以预定方式操作音频系统的频道按钮，从而可操作音频系统。

如上所述，在本发明的示例性实施例中，可通过在手势识别中查找手势的有效部分来减少手势的不正确识别。

尽管已结合目前所认为的示例性实施例说明了本发明，然而应当理解本发明不限于所公开的实施例，而是相反，本发明意在涵盖包括在所附权利要求的精神和范围内的各种改型和等效配置。

Claims (14)

1.一种用于检测手势的有效部分的方法，所述方法包括：

通过控制器获取包括所述手势和背景的图像；

通过所述控制器提取包括在所述手势中的姿势信息和动作信息作为特征；

通过所述控制器基于所述姿势信息确定是否已识别出姿势；

响应于确定已识别出姿势，通过所述控制器基于所述姿势的起点和终点检测所述手势的有效部分；以及

响应于检测到所述手势的有效部分，通过所述控制器基于所述动作信息识别所述手势。

2.如权利要求1所述的方法，其中所述姿势信息包括与拇指或食指伸出的拳头、向上张开的手掌或紧握的手指的姿势有关的信息。

3.如权利要求1所述的方法，其中所述动作信息包括与各种动作有关的信息，所述各种动作包括水平或垂直移动手部、旋转手部和挥动手部。

4.如权利要求1所述的方法，其中所述确定是否已识别出姿势的步骤包括：

通过所述控制器确定与所提取的姿势信息对应的存储的特征信息；以及

响应于确定出对应的存储的特征信息，通过所述控制器将所提取的姿势信息识别为姿势。

5.如权利要求1所述的方法，其中所述检测手势的有效部分的步骤包括：

通过所述控制器检测所述姿势的起点；

通过所述控制器检测所述姿势的终点；

通过所述控制器确定从所述起点至所述终点的部分是否持续了预定的或更多的时间；以及

响应于确定所述部分持续了所述预定的或更多的时间，通过所述控制器将所述起点至所述终点之间的部分确定为有效部分。

6.如权利要求1所述的方法，其中所述识别手势的步骤包括：

通过所述控制器确定与所提取的动作信息对应的存储的特征信息；以及

响应于确定出对应的存储的特征信息，通过所述控制器输出所提取的动作信息作为手势识别结果。

7.如权利要求1所述的方法，其中所述提取姿势信息和动作信息作为特征的步骤包括：

通过所述控制器，使用模板匹配算法，或者提取姿势图像的特征然后对其建模，来提取姿势作为姿势信息，以及

通过所述控制器，通过使用信号处理或学习算法识别动作，来提取所述动作作为动作信息。

8.如权利要求1所述的方法，其中所述获取图像的步骤包括：

通过所述控制器从所获取的图像中去除所述背景。

9.一种检测手势的有效部分的系统，所述系统包括：

控制器，配置为：

获取具有背景以及包括姿势信息和动作信息的所述手势的图像；

从所述手势中检测所述姿势信息和所述动作信息；

通过确定与所述动作信息对应的信息是否处于存储的特征信息中来提取所述姿势信息；

响应于检测到所述姿势信息，检测所述姿势信息的起点；

响应于检测到所述姿势信息，检测所述姿势信息的终点；

基于所述起点和所述终点，检测所述姿势的有效部分；以及

响应于检测到所述有效部分，通过确定所提取的动作信息是否包括在所述存储的特征信息中来识别手势。

10.如权利要求9所述的系统，其中所述控制器还配置为：

从所获取的图像中去除所述背景；以及

存储和提供用于检测所述姿势信息和所述动作信息的特征信息。

11.如权利要求9所述的系统，其中所述姿势信息包括与拇指或食指伸出的拳头、向上张开的手掌或紧握的手指的姿势有关的信息。

12.如权利要求9所述的系统，其中所述动作信息包括与各种动作有关的信息，所述各种动作包括水平或垂直移动手部、旋转手部和挥动手部。

13.一种包含由处理器或控制器执行的程序指令的非暂时性计算机可读介质，所述计算机可读介质包括：

获取具有背景以及包括姿势信息和动作信息的所述手势的图像的程序指令；

从所述手势中检测所述姿势信息和所述动作信息的程序指令；

通过确定与所述动作信息对应的信息是否处于存储的特征信息中来提取所述姿势信息的程序指令；

响应于检测到所述姿势信息检测所述姿势信息的起点的程序指令；

响应于检测到所述姿势信息检测所述姿势信息的终点的程序指令；

基于所述起点和所述终点检测所述姿势的有效部分的程序指令；以及

响应于检测到所述有效部分，通过确定所提取的动作信息是否包括在所述存储的特征信息中来识别手势的程序指令。

14.如权利要求13所述的非暂时性计算机可读介质，还包括：

从所获取的图像中去除所述背景的程序指令；以及

存储和提供用于检测所述姿势信息和所述动作信息的特征信息的程序指令。

Images