CN103870801A

CN103870801A - 用于识别手势的方法和系统

Info

Publication number: CN103870801A
Application number: CN201310322347.3A
Authority: CN
Inventors: 金圣云
Original assignee: Hyundai Motor Co
Current assignee: Hyundai Motor Co
Priority date: 2012-12-18
Filing date: 2013-07-29
Publication date: 2014-06-18
Also published as: DE102013213532A1; US20140168059A1; KR101360063B1

Abstract

本发明提供了一种用于识别手势的方法和系统。所述系统包括：成像装置，其被配置成捕捉手部图像；以及控制器，其被配置成通过产生与最初捕捉的手部图像对称的模板图像、并将每帧捕捉的手部图像与模板图像进行匹配和比较，来识别手势的运动。

Description

用于识别手势的方法和系统

技术领域

本发明涉及一种识别手势的方法和系统。更特别地，本发明涉及一种根据手部运动识别手势的方法和系统。

背景技术

通常，基于图像的手势识别需要进行预处理来从成像装置获得图像并去除背景图像和噪声。手势识别是通过检测待识别的对象、提取对象的特征、并利用已学习的算法或模式比较对象的特征而获得关于对象的信息的处理。特别地，用于处理成像装置的像素数据的图像处理需要处理大量信息的能力。在信息处理过程中，可能会需要较高的系统成本、复杂的系统以及较长的时间来处理信息。

同时，在普通的手势识别中，识别性能可能会由于身体和手势的偏差而恶化。此外，普通的手势识别可能会需要存储与图像和手势有关的大量信息的数据库，并且可能会需要用于模式匹配的处理能力。

本背景技术部分中公开的上述信息只是为了增强对本发明的背景的理解，并且因此可能包含不构成在该国对本领域普通技术人员而言已知的现有技术的信息。

发明内容

本发明提供了一种识别手势的方法和系统，其具有通过将当前手部图像与模板图像进行比较而识别手势的优点。

在经由用于识别手势的系统识别用户的手势的根据本发明示例性实施例的识别手势的方法中，该方法可以包括：捕捉用户的手部图像；产生与捕捉的手部图像中的最初手部图像对称的模板图像；在捕捉手部图像的过程中将每帧捕捉的手部图像与模板图像进行匹配和比较；以及使用匹配信息识别手势的运动。

运动的识别可以包括识别向左手势或向右手势。此外，运动的识别可以包括识别向下手势或向上手势。将手部图像与模板图像进行匹配可以包括：利用基于运动的图像差异，仅获得并产生感兴趣区域（ROI）。

根据本发明示例性实施例的识别手势的系统可以包括：捕捉单元，其配置成捕捉多个手部图像；以及识别单元，其配置成通过产生与捕捉的手部图像中的最初手部图像对称的模板图像、并将每帧捕捉的手部图像与模板图像进行匹配和比较，来识别手势的运动。

识别单元可以包括：提取单元，其配置成产生与最初捕捉的手部图像对称的模板图像；匹配单元，其配置成将每帧捕捉的手部图像与模板图像进行匹配和比较；以及推断单元，其配置成识别手势的运动。

推断单元可以配置成识别向左手势或向右手势。此外，推断单元可以配置成识别向下手势或向上手势。匹配单元可以配置成利用根据运动产生的图像差异，仅获得并产生感兴趣区域（ROI）。

附图说明

图1是根据本发明示例性实施例的识别手势的系统的示意图；

图2示出根据本发明示例性实施例的用于识别向左/向右手势和向上/向下手势的示例性手部图像；

图3示出根据本发明示例性实施例的向左手势的示例性识别；

图4示出根据本发明示例性实施例的向下手势的示例性识别；

图5示出根据本发明示例性实施例的通过手部图像的模式匹配而识别出的示例性向左手势；并且

图6是示出根据本发明示例性实施例的用于识别手势的方法的过程的示例性流程图。

附图标记的说明

110：捕捉单元 120：识别单元

122：提取单元 124：匹配单元

126：推断单元

具体实施方式

尽管示例性实施例被描述为使用多个单元来执行示例性处理，但应理解的是，所述示例性处理也可以由一个或多个模块来执行。另外，应理解的是，术语“控制器”是指包括存储器和处理器的硬件装置。所述存储器被配置成存储各模块，并且所述处理器被具体地配置成执行所述模块以执行下面进一步描述的一个或多个处理。

此外，本发明的控制逻辑可以实施为包含由处理器、控制器等执行的可执行程序指令的非暂时性计算机可读介质。计算机可读介质的实例包括但不限于ROM、RAM、压缩盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在网络连接的计算机系统中，使得计算机可读介质以分布式方式（例如通过远程信息处理服务器或控制器局域网（CAN））被存储和执行。

本文中所用的术语仅用于描述特定实施例的目的，并且并非旨在对本发明进行限制。如本文中所使用的那样，单数形式的“一”旨在也包括复数形式，除非文中清楚地指出。还应理解的是，术语“包括”在本说明书中被使用时，指的是所陈述的特征、整数、步骤、操作、元件和/或组件的存在，而并不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或附加。如本文中使用的那样，术语“和/或”包括一个或多个相关列出条目的任何和全部组合。

在下面的详细说明中，仅通过例证的方式来示出和描述本发明的示例性实施例。如本领域技术人员将认识到的那样，所描述的实施例可以以各种不同的方式进行修正，同时所有修正都不脱离本发明的精神或范围。因此，附图和说明应被视为在本质上是说明性的而不是限制性的。同样的附图标记在整个说明书中始终表示同样的元件。

在整个说明书中，除非有明确的相反描述，否则词语“包括”应被理解为意指包括所陈述的元件，但并不排除任何其它元件。

在下文中，将参考附图1至附图6详细描述本发明的示例性实施例。

图1是根据本发明示例性实施例的识别手势的系统的示意图。如图1所示，识别手势的系统可以包括由控制器执行的多个单元。这多个单元可以包括捕捉单元110和识别单元120。

捕捉单元110（例如成像装置、照相机、视频摄像机等）可以配置成捕捉用户的手部图像。此外，捕捉单元110可以配置成将每帧捕捉的手部图像传送给识别单元120。特别地，根据本发明的示例性实施例，由捕捉单元110捕捉的手部图像可以经由获得图像、去除背景和预处理步骤而被传送给识别单元120，并且执行上述步骤的元件在本领域中是众所周知的，因此将省略其详细说明。

识别单元120可以配置成基于传送的手部图像来产生用于识别手势的模板图像，并通过将捕捉的图像与模板图像进行比较来识别手势。此外，识别单元120可以配置成比较当前手部图像和最初手部图像是否彼此对称，并且在所述图像彼此对称时将转变相关性（transitioncorrelation）识别为手势运动。此外，识别单元120可以包括提取单元122、匹配单元124和推断单元126。

提取单元122可以配置成使用由捕捉单元110捕捉的最初手部图像来产生模板图像。此外，提取单元122可以配置成产生在左右方向（例如水平方向）和上下方向（例如垂直方向）上与最初捕捉的手部图像对称的模板图像。

匹配单元124可以配置成把由捕捉单元110捕捉的每帧手部图像与模板图像进行比较和匹配。此外，匹配单元124可以配置成基于手部图像和模板图像是否匹配，来将变化的手部图像与向左/向右手势或向上/向下手势的模板图像进行比较。

推断单元126可以配置成根据匹配单元124中比较的匹配结果，来识别手势、用户命令。识别单元120的匹配单元124可以配置成利用基于手势运动的图像差异，仅获得并产生感兴趣区域（ROI）。根据本发明的示例性实施例，外部照明条件的噪声可靠性可以通过使用识别单元120而具有改进的结果。

此外，根据本发明的示例性实施例，额外的大容量存储器或数据库（DB）可以得到省略，因为仅使用当前捕捉的手部图像。此外，存在以下优点：当相对于手腕对称地执行手势时，可以预见手部的位置、角度和图像形状以便容易地匹配模板图像。

图2示出用于识别向左/向右手势和向上/向下手势的示例性对称手部图像。

参考图2（a），当捕捉到手部图像X1来识别向左/向右手势时，可以产生与手部图像X1对称的手部图像X2作为模板图像，并且当捕捉到手部图像X2时，可以产生与手部图像X2对称的手部图像X1作为模板图像。

参考图2（b），当捕捉到手部图像Y1来识别向上/向下手势时，可以产生与手部图像Y1对称的手部图像Y2作为模板图像，并且当捕捉到手部图像Y2时，可以产生与手部图像Y2对称的手部图像Y1作为模板图像。

图3示出向左手势的示例性识别。参考图3，当用户执行向左手势时，示出用户的最初手部图像A和最终手部图像B。根据本发明的示例性实施例，可以产生与最初手部图像A对称的最终手部图像B作为模板图像。此外，捕捉单元110可以配置成将每帧当前捕捉的图像与模板图像进行比较以识别向左手势。

图4示出向下手势的示例性识别。参考图4，当用户执行向下手势时，示出用户的最初手部图像C和最终手部图像D。根据本发明的示例性实施例，可以产生与最初手部图像C对称的最终手部图像D作为模板图像。此外，捕捉单元110可以配置成将每帧当前捕捉的图像与模板图像进行比较以识别向下手势。

图5示出通过手部图像的模式匹配而识别出的示例性向左手势。参考图5，与最初手部图像A对称的最终手部图像B可以用作模板图像。根据本发明的示例性实施例，可以作出尝试在帧1至帧5中分别把由捕捉单元110捕捉的最初手部图像A与模板图像B进行匹配。如图5所示，用户可以通过将帧5的最终手部图像与模板图像B匹配，来执行向左手势。

图6是示出根据本发明示例性实施例的用于识别手势的方法的过程的示例性流程图。参考图6，根据本发明示例性实施例的用于识别手势的方法可以包括捕捉、产生、匹配和识别。

在步骤S110，用户的手部图像的捕捉可以由控制器执行的捕捉单元110（例如成像装置、照相机等）执行，其中捕捉单元110被配置成捕捉每帧的手部图像、并提取每帧捕捉的手部图像。此外，捕捉的手部图像可以经由获得图像、去除背景和预处理步骤而被传送给识别单元120，并且执行上述步骤的元件在本领域中是众所周知的，因此将省略其详细说明。

模板图像的产生可以使用由捕捉单元110捕捉的最初手部图像来执行，并且可以在步骤S120产生与最初手部图像对称的模板图像。此外，模板图像可以在左/右方向和上/下方向上与最初手部图像对称。

在步骤S130，匹配可以通过把由捕捉单元110捕捉的每帧手部图像与模板图像进行比较和匹配来执行。在匹配过程中，可以将变化的手部图像与向左/向右手势或者向上/向下手势进行比较以确定它们是否匹配。

手势的识别可以通过根据匹配处理中比较的匹配结果，识别向左/向右和向上/向下手势、用户命令来执行。

根据本发明的示例性实施例，额外的大容量存储器或数据库（DB）可以得到省略，因为仅使用当前捕捉的手部图像来比较当前手部图像与最初手部图像是否彼此对称。此外，存在以下优点：可以基于相对于手腕对称地执行的手势，来预测手部的位置、角度和图像形状以便容易地匹配模板图像。

尽管本发明已经结合当前被认为是示例性实施例的实施例进行了描述，但应理解的是，本发明并不限于所公开的实施例，而是相反，本发明旨在覆盖所附权利要求的精神和范围内所包括的各种改型和等效配置。

Claims

1.一种使用识别手势的系统来识别手势的方法，所述方法包括：

由成像装置捕捉手部图像；

由控制器产生与最初捕捉的手部图像对称的模板图像；

由所述控制器将每帧捕捉的手部图像与所述模板图像进行匹配和比较；以及

由所述控制器使用匹配信息来识别手势的运动。

2.如权利要求1所述的方法，其中所述识别运动的步骤包括：

由所述控制器识别向左手势或向右手势。

3.如权利要求1所述的方法，其中所述识别运动的步骤包括：

由所述控制器识别向下手势或向上手势。

4.如权利要求1所述的方法，其中所述将手部图像与模板图像进行匹配的步骤包括：

由所述控制器利用根据所述运动而产生的图像差异，仅获得并产生感兴趣区域（ROI）。

5.一种用于识别手势的系统，包括：

成像装置，其被配置成捕捉手部图像；以及

控制器，其被配置成通过产生与最初捕捉的手部图像对称的模板图像、并将每帧捕捉的手部图像与所述模板图像进行匹配和比较，来识别手势的运动。

6.如权利要求5所述的系统，其中所述控制器还被配置成：

产生与所述最初捕捉的手部图像对称的所述模板图像；

将每帧捕捉的手部图像与所述模板图像进行匹配和比较；以及

识别手势的运动。

7.如权利要求6所述的系统，其中所述控制器还被配置成识别向左手势或向右手势。

8.如权利要求6所述的系统，其中所述控制器还被配置成识别向下手势或向上手势。

9.如权利要求6所述的系统，其中所述控制器还被配置成利用根据所述运动而产生的图像差异，仅获得并产生感兴趣区域（ROI）。

10.一种包含由处理器或控制器执行的程序指令的非暂时性计算机可读介质，所述计算机可读介质包括：

捕捉手部图像的程序指令；

产生与最初捕捉的手部图像对称的模板图像的程序指令；

将每帧捕捉的手部图像与所述模板图像进行匹配和比较的程序指令；以及

使用匹配信息来识别手势的运动的程序指令。

11.如权利要求10所述的非暂时性计算机可读介质，还包括：

产生与所述最初捕捉的手部图像对称的所述模板图像的程序指令；

识别手势的运动的程序指令。

12.如权利要求11所述的非暂时性计算机可读介质，还包括：

识别向左手势或向右手势的程序指令。

13.如权利要求11所述的非暂时性计算机可读介质，还包括：

识别向下手势或向上手势的程序指令。

14.如权利要求11所述的非暂时性计算机可读介质，还包括：

利用根据所述运动而产生的图像差异，仅获得并产生感兴趣区域（ROI）的程序指令。