CN105528061A - 手势辨识系统 - Google Patents

Abstract

本发明是有关于一种手势辨识系统，包含候选点侦测单元，接收输入影像以产生候选点；静态手势辨识单元，根据候选点以辨识静态手势；多手追踪单元，借由连续输入影像之间的配对以追踪多手；及动态手势辨识单元，根据多手追踪单元的追踪路径以得到动量累积值，借以辨识动态手势。本发明提出的一种强健手势辨识系统，可正确执行于复杂场景且可降低手势分类的复杂度。

Description

手势辨识系统

技术领域

本发明是有关一种手势辨识系统，特别是关于一种可执行于复杂场景的手势辨识系统。

背景技术

自然用户界面(NUI)为一种无形且不需人工控制装置(例如键盘及鼠标)的用户界面。人与机器之间的互动可借由静态或动态手势来达成。微软的体感设备Kinect为一种基于视觉的手势辨识系统，其使用静态手势或动态手势以进行用户与计算机之间的互动。

传统基于视觉的手势辨识系统容易因周围光线与背景物件，在物件辨识时得到错误的判断结果。自辨识物件(此处指的是手)撷取得到特征后，使用训练数据以执行分类，借以辨识出手势。传统分类方法的缺点为庞大的训练数据或者因不明特征而得到错误判断。

鉴于上述，因此急需提出一种新颖的手势辨识系统，用以更准确且快速地辨识出静态手势或/且动态手势。

有鉴于上述现有的手势辨识系统存在的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种新型的手势辨识系统，能够改进一般现有的手势辨识系统，使其更具有实用性。经过不断的研究、设计，并经过反复试作样品及改进后，终于创设出确具实用价值的本发明。

发明内容

本发明的目的在于，克服现有的手势辨识系统存在的缺陷，而提供一种新型的手势辨识系统，所要解决的技术问题是使其可正确执行于复杂场景且可降低手势分类的复杂度，从而更加适于实用。

本发明的目的及解决其技术问题另外再采用以下技术方案来实现。依据本发明提出的一种手势辨识系统，包含：

候选点侦测单元，接收输入影像以产生候选点；

静态手势辨识单元，根据该候选点以辨识静态手势；

多手追踪单元，借由连续输入影像之间的配对以追踪多手；及

动态手势辨识单元，根据该多手追踪单元的追踪路径以得到动量累积值，借以辨识动态手势。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的手势辨识系统，其中所述的候选点侦测单元执行以下步骤：

根据色彩、深度及动量以撷取特征，借以分别产生色彩可靠图、深度可靠图及动量可靠图；

相对于操作状态以决定该色彩、深度及动量的权重；及

使用该些权重，以结合该色彩可靠图、该深度可靠图及该动量可靠图，因而产生混合可靠图，以提供该候选点。

前述的手势辨识系统，其中所述的色彩可靠图是根据该输入影像的肤色所产生的。

前述的手势辨识系统，其中所述的深度可靠图是根据该输入影像的手的深度所产生的。

前述的手势辨识系统，其中所述的深度可靠图中，位于手的深度范围的像素则指定予较高值。

前述的手势辨识系统，其中所述的动量可靠图是根据一系列输入影像的动量所产生的。

前述的手势辨识系统，其中所述的动量可靠图中的动量是使用二输入影像之间的绝对差之和(SAD)来量测。

前述的手势辨识系统，其中所述的操作状态包含初始陈述、动量、手是否接近脸或上述的组合。

前述的手势辨识系统，其中所述的静态手势辨识单元执行以下步骤：

自该候选点相应的手切割出手掌；

借由纪录该手掌的中心与该手掌的边缘之间的距离以产生距离曲线，借以辨识静态手势；及

对多种静态手势进行分类。

前述的手势辨识系统，其中所述的静态手势是根据辨识到的展开手指数目进行分类。

前述的手势辨识系统，其中在该多手追踪单元中，如果因为物件离开而造成追踪手的失配，则将相应追踪路径删除。

前述的手势辨识系统，其中在该多手追踪单元中，如果因为物件遮蔽而造成追踪手的失配，则借由外差技术以产生预期追踪手。

前述的手势辨识系统，其中在该多手追踪单元中，如果因为物件进入而造成追踪手的失配，则产生新的追踪路径。

前述的手势辨识系统，当发现失配的追踪手时，则自该多手追踪单元回授至该候选点侦测单元。

前述的手势辨识系统，其中所述的经辨识的动态手势被馈至自然用户界面以执行预先定义的工作。

前述的手势辨识系统，其中用户根据该自然用户界面，使用经辨识的动态手势以绘制线条。

本发明与现有技术相比具有明显的优点和有益效果。本发明一种手势辨识系统，包含候选点侦测单元、静态手势辨识单元、多手追踪单元及动态手势辨识单元。候选点侦测单元接收输入影像以产生候选点。静态手势辨识单元根据候选点以辨识静态手势。多手追踪单元借由连续输入影像之间的配对以追踪多手。动态手势辨识单元根据多手追踪单元的追踪路径以得到动量累积值，借以辨识动态手势。借由上述技术方案，本发明提出一种强健手势辨识系统，可正确执行于复杂场景且可降低手势分类的复杂度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1显示本发明实施例的手势辨识系统的方框图。

图2显示图1的候选点侦测单元所执行步骤的流程图。

图3显示图1的静态手势辨识单元所执行步骤的流程图。

图4例示距离曲线。

图5例示根据辨识到的展开手指数目所得到的手势分类。

图6例示借由连续图框之间的匹配以追踪多手。

图7A显示自然用户界面，用以在撷取影像上单手绘图。

图7B显示使用图7A的静态手势以构成动态手势。

【符号说明】

100：手势辨识系统

11：候选点侦测单元

111：交互式特征撷取

112：自然用户场景分析

113：混合可靠图产生

12：静态手势辨识单元

121：动态手掌切割

122：高准确度手指侦测

123：阶层式手势辨识

13：多手追踪单元

14：动态手势辨识单元

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的手势辨识系统其具体实施方式、结构、特征及其功效，详细说明如后。

图1显示本发明实施例的手势辨识系统100的方框图。在本实施例中，手势辨识系统100主要包含候选点(candidatenode)侦测单元11、静态手势辨识单元12、多手追踪单元13及动态手势辨识单元14。以下将详细描述这些单元的细节。手势辨识系统100可由处理器(例如数字影像处理器)来执行。

图2显示图1的候选点侦测单元11所执行步骤的流程图。在步骤111(即，交互式特征撷取)，根据色彩、深度及动量以撷取特征，借以产生色彩可靠图、深度可靠图及动量可靠图。

色彩可靠图是根据输入影像的肤色所产生的。在色彩可靠图中，愈接近肤色的像素则指定予较高值。

深度可靠图是根据输入影像的手的深度所产生的。在深度可靠图中，位于手的深度范围的像素则指定予较高值。在实施例中，首先借由脸辨识技术以辨识出脸，接着相对于辨识脸的深度以决定手的深度范围。

动量可靠图是根据一系列输入影像的动量所产生的。在动量可靠图中，具较大动量的像素则指定予较高值，其中的动量可使用二输入影像之间的绝对差之和(SAD)来量测。

在步骤112(即，自然用户场景分析)，相对于操作状态以决定所撷取色彩、深度及动量的权重。操作状态可以为初始陈述(initialstatement)、动量或者手是否接近脸。表1例示一些权重：

表1

最后，在步骤113(即，混合可靠图产生)，使用步骤112所提供的色彩、深度及动量的权重，以结合色彩可靠图、深度可靠图及动量可靠图，因而产生混合可靠图，借此可侦测得到候选点。

图3显示图1的静态手势辨识单元12所执行步骤的流程图。在步骤121(即，动态手掌切割)，(自候选点侦测单元11的)侦测手被切割为手掌与手臂，其中手掌将于后续使用，而手臂则舍弃。

在步骤122(即，高准确度手指侦测)，借由纪录切割手掌的中心与切割手掌的边缘之间的距离，以产生距离曲线(distancecurve)。图4例示距离曲线，其具五峰值，表示辨识到五个展开手指。

在步骤123(即，阶层式手势辨识)，对多种手势进行分类，以利于后续程序的进行。图5例示根据辨识到的展开手指数目所得到的手势分类。当使用阶层式方法以辨识手势时，首先决定展开手指的数目。合并手指的数目可借由计算手指宽度而得知。接着，空洞及其宽度可决定出展开手指之间的弯折手指数目。

在图1的多手追踪单元13，借由连续图框(frame)之间的匹配，以追踪多手，如图6所例示。匹配的追踪二手之间存在有追踪路径。如果因为物件离开而造成追踪手的失配(unmatched)，则将该追踪路径删除。如果因为物件遮蔽而造成追踪手的失配，可借由外差(extrapolation)技术以产生预期追踪手。如果因为物件进入而造成追踪手的失配，则须辨识新的手势并接着追踪新的路径。当发现失配的追踪手时，则回授至候选点侦测单元11(图1)，用以舍弃相应的候选点。

在图1的动态手势辨识单元14，监督追踪路径用以在三维空间的各轴方向得到动量累积值，借以辨识动态手势。经辨识的动态手势则馈至自然用户界面以执行预先定义的工作。

图7A显示自然用户界面，用以在撷取影像上单手绘图。如图7B所例示，在使用1号静态手势(未显示于图7B)之后，用户可连续使用2号静态手势所构成的动态手势以绘制线条，其间使用者可使用3号或4号静态手势以改变颜色。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (16)

1.一种手势辨识系统，其特征在于包含：

候选点侦测单元，接收输入影像以产生候选点；

静态手势辨识单元，根据该候选点以辨识静态手势；

多手追踪单元，借由连续输入影像之间的配对以追踪多手；及

动态手势辨识单元，根据该多手追踪单元的追踪路径以得到动量累积值，借以辨识动态手势。

2.根据权利要求1所述的手势辨识系统，其特征在于其中所述的候选点侦测单元执行以下步骤：

根据色彩、深度及动量以撷取特征，借以分别产生色彩可靠图、深度可靠图及动量可靠图；

相对于操作状态以决定该色彩、深度及动量的权重；及

使用该些权重，以结合该色彩可靠图、该深度可靠图及该动量可靠图，因而产生混合可靠图，以提供该候选点。

3.根据权利要求2所述的手势辨识系统，其特征在于其中所述的色彩可靠图是根据该输入影像的肤色所产生的。

4.根据权利要求2所述的手势辨识系统，其特征在于其中所述的深度可靠图是根据该输入影像的手的深度所产生的。

5.根据权利要求4所述的手势辨识系统，其特征在于其中所述的深度可靠图中，位于手的深度范围的像素则指定予较高值。

6.根据权利要求2所述的手势辨识系统，其特征在于其中所述的动量可靠图是根据一系列输入影像的动量所产生的。

7.根据权利要求6所述的手势辨识系统，其特征在于其中所述的动量可靠图中的动量是使用二输入影像之间的绝对差之和(SAD)来量测。

8.根据权利要求2所述的手势辨识系统，其特征在于其中所述的操作状态包含初始陈述、动量、手是否接近脸或上述的组合。

9.根据权利要求1所述的手势辨识系统，其特征在于其中所述的静态手势辨识单元执行以下步骤：

自该候选点相应的手切割出手掌；

借由纪录该手掌的中心与该手掌的边缘之间的距离以产生距离曲线，借以辨识静态手势；及

对多种静态手势进行分类。

10.根据权利要求9所述的手势辨识系统，其特征在于其中所述的静态手势是根据辨识到的展开手指数目进行分类。

11.根据权利要求1所述的手势辨识系统，其特征在于，在该多手追踪单元中，如果因为物件离开而造成追踪手的失配，则将相应追踪路径删除。

12.根据权利要求1所述的手势辨识系统，其特征在于，在该多手追踪单元中，如果因为物件遮蔽而造成追踪手的失配，则借由外差技术以产生预期追踪手。

13.根据权利要求1所述的手势辨识系统，其特征在于，在该多手追踪单元中，如果因为物件进入而造成追踪手的失配，则产生新的追踪路径。

14.根据权利要求1所述的手势辨识系统，其特征在于当发现失配的追踪手时，则自该多手追踪单元回授至该候选点侦测单元。

15.根据权利要求1所述的手势辨识系统，其特征在于其中所述的经辨识的动态手势被馈至自然用户界面以执行预先定义的工作。

16.根据权利要求15所述的手势辨识系统，其特征在于其中所述的用户根据该自然用户界面，使用经辨识的动态手势以绘制线条。