CN102236409A - 基于影像的动作手势辨识方法及系统 - Google Patents

Abstract

本发明公开一种基于影像的动作手势辨识方法及系统。此方法包含下列步骤：接收多张影像画面；根据多张影像画面执行一手势侦测，以得到一第一手势，如果第一手势符合预设开始手势，则根据多张影像画面中手部位置，执行一移动追踪以取得一移动手势；于执行移动追踪的过程中，根据多张影像画面执行手势侦测，以得到一第二手势，若第二手势符合预设结束手势，停止移动追踪。

Description

基于影像的动作手势辨识方法及系统

技术领域

本发明是有关于一种手部侦测系统，特别是有关于一种不需在使用者手部配置感应器的基于影像的动作手势辨识方法及其系统。

背景技术

对于快速发展的娱乐系统而言，尤其是游戏系统，如何让使用者与计算机之间的互动接口更友善是一项日渐重要的课题。其中，透过计算机分析使用者的动作来执行指令已成为未来最具可能性的互动方法。然而，传统的解决方案往往需要在使用者手指上配置一感应器，此举虽然可以增加手部侦测的准确性，但是亦增加使用者的负担。另一较佳的方式为直接将使用者的手部视为一指令下达器具，以影像处理的方式分析使用者的手部移动方式来输入指令，控制计算机的操作系统或是外围装置。但是，此种传统的影像分析方法过于复杂且不够稳定。

例如，已知一美国专利，其专利号6,002,808，便揭露一种用以快速分析手势以控制计算机的方法，其使用影像向量计算来决定使用者手部的位置，方位以及大小。接着，透过影像处理的方式来决定手势，例如如果确认过的手部影像中有洞，表示使用者的拇指与食指相碰触摆出一OK的手势。此外，此专利亦揭露可利用手势来控制计算机显示的屏幕显示接口(OSD)。此公知技术的运算量过于庞大，且容易在使用者改变动作时产生误判，稳定度不佳。

例如，另一已知美国专利，其专利号7,129,927，揭露一手势辨识系统，其特征在于使用者手上配置多个标记物(marker)，借着此系统透过一感应器侦测此些标记物的位置。其中，多个标记物中分成第一标记物组及一第二标记物组，第一标记物组是作为参考之用，而感应器侦测第二标记物组相对于第一标记物组的移动以进一步辨识出使用者手势。此公知技术要求使用者佩带标记物，无法仅以徒手进行操作。

因此，如何让使用者可以徒手手势或是移动轨迹与操作接口进行互动，是一项及待解决的问题。

发明内容

有鉴于上述公知技艺的问题，本发明的其中一目的就是在提供一种基于影像的动作手势辨识方法，以达到提高使用便利性及降低计算复杂度的目的。

根据本发明的目的，提出一种基于影像的动作手势辨识方法包含下列步骤。接收多张影像画面；根据此多张影像画面执行一手势侦测，以得到一第一手势；判断此第一手势是否符合一预设开始手势；如果此第一手势符合此预设开始手势，则根据此多张影像画面中手部位置，执行一移动追踪以取得一移动手势；于执行此移动追踪的过程中，根据此多张影像画面执行此手势侦测，以得到一第二手势；判断此第二手势是否符合一预设结束手势；如果此第二手势符合此预设结束手势，停止此移动追踪。

其中，如果此第二手势不符合此预设结束手势，持续执行此移动追踪。

其中，执行此手势侦测的步骤更包含侦测此多张影像画面的任一影像画面是否存在有一手部影像；如果此手部影像存在，则根据此手部影像取得一手部轮廓影像；根据此手部轮廓影像判断一手部方向及一手指数目；根据此手部方向及此手指数目辨识出此第一手势或此第二手势。

其中，执行此移动追踪的步骤更包含：取得在每一此多张影像画面中包含有此手部影像的至少一影像区块；估算此复数影像区块之间的多个移动向量。

其中，本发明的基于影像的动作手势辨识方法更包含：纪录此多个移动向量以取得一移动轨迹；辨识此移动轨迹以取得此移动手势。

其中，判断此手部方向的步骤更包含根据此手部轮廓影像所碰触到的此影像画面的一边缘，来判断此手部方向。

其中，判断此手指数目的步骤更包含执行一手掌方位计算以取得此手部轮廓影像的一重心位置；根据此重心位置对此手部轮廓影像执行一手掌切割，以取得一已切割手部影像；根据此已切割手部影像判断手指数目。

根据本发明的目的，再提出一种基于影像的动作手势辨识系统，包含一储存单元、一影像撷取单元、一第一处理单元、一比对单元及一第二处理单元。储存单元是储存一预设开始手势及一预设结束手势。影像撷取单元是撷取多张影像画面。第一处理单元是根据此多张影像画面执行一手势侦测，以得到一第一手势。比对单元是判断此第一手势是否符合此预设开始手势。如果此比对单元判断此第一手势符合此预设开始手势，则此第二处理单元根据此多张影像画面中手部位置，执行一移动追踪以取得一移动手势。于执行此移动追踪的过程中，此第一处理单元是根据此多张影像画面执行此手势侦测，以得到一第二手势，若此比对单元判断此第二手势符合该预设结束手势，则此第二处理单元停止此移动追踪。

其中，当此比对单元判断此第二手势不符合此预设结束手势时，此第二处理单元继续此移动追踪。

其中，此第一处理单元更包含一第一影像处理单元、一第二影像处理单元及一手势辨识单元。第一影像处理单元是侦测此多张影像画面的任一影像画面内的一手部影像。第二影像处理单元是根据此手部影像取得一手部轮廓影像。手势辨识单元是根据此手部轮廓影像判断一手部方向及一手指数目，并根据此手部方向及此手指数目辨识出此第一手势或此第二手势。

其中，此第二处理单元更包含一区块侦测单元及一移动向量单元。区块侦测单元是取得在每一此多张影像画面中包含有此手部影像的至少一影像区块。移动向量单元，是估算此复数影像区块之间的多个移动向量。

其中，此第二处理器更包含一轨迹辨识单元，此轨迹辨识单元是纪录此多个移动向量以取得一移动轨迹，并辨识此移动轨迹以取得此移动手势。

其中，此手势辨识单元是根据此手部轮廓影像所碰触到的此影像画面的一边缘，来判断此手部方向。

其中，此手势辨识单元是执行一手掌方位计算以取得此手部轮廓影像的一重心位置，根据此重心位置对此手部轮廓影像执行一手掌切割，以取得一已切割手部影像，再根据此已切割手部影像判断手指数目。

附图说明

图1为本发明的基于影像的动作手势辨识系统的方块图；

图2为本发明的基于影像的动作手势辨识系统的实施例方块图；

图3为本发明的手部轮廓影像的范例示意图；

图4为本发明的手掌切割的范例示意图；

图5为本发明的判断手指数目的范例示意图；

图6为本发明的用以辨识手势的数据库范例示意图；

图7为本发明的基于影像的动作手势辨识方法的流程图；

图8为本发明的执行手势侦测的实施流程图；以及

图9为本发明的执行移动追踪的实施流程图。

符号说明

11：储存单元                 111：预设开始手势

112：预设结束手势            12：影像撷取单元

121：影像画面                13：第一处理单元

131：手势侦测                132：第一手势

133：第二手势                14：比对单元

15：第二处理单元             151：移动追踪

152：移动手势                21：内存

22：摄影机                   23：第一处理单元

231：第一影像处理单元        232：第二影像处理单元

233：手势辨识单元            236、31：手部影像

237、43：手部轮廓影像        238：手部方向

239：手指数目                25：第二处理单元

251：区块侦测单元            252：移动向量单元

253：轨迹辨识单元            257：影像区块

258：移动向量                259：移动轨迹

32：手部轮廓线               33：影像区域

41：重心位置                 44：已切割手部影像

45：尖端                     61～63：手势

71～77：步骤流程             81～87：步骤流程

91～94：步骤流程

具体实施方式

请参阅图1，其为本发明的基于影像的动作手势辨识系统的方块图。图中，动作手势辨识系统包含一储存单元11、一影像撷取单元12、一第一处理单元13、一比对单元14及一第二处理单元15。储存单元11，例如内存或硬盘，储存一预设开始手势111及一预设结束手势112。影像撷取单元12撷取多张影像画面121。影像撷取单元12较佳为一摄影机，其可输出连续影像画面。第一处理单元13根据此多张影像画面121执行一手势侦测131，以得到一第一手势132。比对单元14判断此第一手势132是否符合预设开始手势111。

如果比对单元14判断此第一手势132符合此预设开始手势111，则此第二处理单元15根据此多张影像画面121中手部位置，执行一移动追踪151以取得一移动手势152。于执行此移动追踪151的过程中，此第一处理单元13根据此多张影像画面121，仍继续或周期性地执行手势侦测131，以得到一第二手势133，若比对单元14判断此第二手势133符合预设结束手势112，则此第二处理单元15停止执行移动追踪151。当比对单元14判断第二手势133不符合预设结束手势112时，此第二处理单元15持续执行移动追踪151。

藉此，系统可先对使用者提示预设开始手势111及预设结束手势112的样态。当欲徒手输入指令或数据，则使用者可先摆出预设开始手势111表示要开始输入指令，待系统辨识成功后，使用者改变手势或移动手部来进行操作。在操作期间，系统仍持续进行手势辨识，一方面确认欲输入的指令，另一方面是确认使用者是否摆出预设结束手势112以结束操作。其中，预设开始手势111及预设结束手势112可设计为特别且十分明确的手势，以确保在使用者进行操作而改变手势时系统不容易误判；此外，由于开始与结束的明确区隔，系统亦可简化指令手势的辨识流程，进一步使徒手操作更为流畅，提高系统实现实时操作的可能性。

请参阅图2，其为本发明的基于影像的动作手势辨识系统的实施例方块图。图中，此实施例包含一内存21、一摄影机22、一第一处理单元23、一比对单元14及一第二处理单元25。第一处理单元23更包含一第一影像处理单元231、一第二影像处理单元232及一手势辨识单元233。第一影像处理单元231是侦测多张影像画面121的任一影像画面121内的一手部影像236(如图3所示的手部影像31)，接着第二影像处理单元232根据手部影像236取得一手部轮廓影像237(如图3所示的影像区域33)。例如，第二影像处理单元232可先对手部影像236进行边缘侦测处理，以取得手部轮廓线32，接着以手部轮廓线32与手部影像236边缘所围的影像区域33作为手部轮廓影像237。

手势辨识单元233根据手部轮廓影像237判断一手部方向238及一手指数目239。进行手部方向238的判断时，例如，可根据手部轮廓影像237所碰触到的影像画面121的一边缘，来判断手部方向238，例如图3所示的影像区域33是接触影像画面121的右边缘，所以其手部方向定义为东方；若接触为影像画面121的下边缘，则手部方向定义为南方；若接触是为影像画面121的上边缘，则手部方向定义为北方；若接触为影像画面121的左边缘，则手部方向定义为西方。

进行手指数目239的判断时，此实施例的手势辨识单元233可执行一手掌方位计算以取得手部轮廓影像237的一重心位置。例如，可根据手掌的常见的二维形状选择一力矩函式I(x，y)，接着根据此I(x，y)计算一阶力矩以及二阶力矩m₀₀、M₁₀、M₀₁、M₁₁、M₂₀及M₀₂，如以下列方程式所示：

$M_{00}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)$

$M_{10}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)$

$M_{01}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)$

$M_{11}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xyI}(x,y)$

$M_{20}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{2}I(x,y)$

$M_{02}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{y}^{2}I(x,y)$

接着，可根据M₀₀、M₁₀及M₀₁计算出重心位置(x_c，y_c)，如下列公式所示：

$x_c=\frac{M_{10}}{M_{00}},$ $y_c=\frac{M_{01}}{M_{00}}$

重心位置(x_c，y_c)如图4所示的位置41。再根据x_c、y_c、M₀₀、M₁₁、M₂₀及M₀₂计算出手部矩型的长L₁及宽L₂，如下列公式所示：

$a=\frac{M_{20}}{M_{00}}-x_c^2,$ $b=2(\frac{M_{11}}{M_{00}}-x_c{y}_c),$ $c=\frac{M_{02}}{M_{00}}-y_c^2$

$L_1=\sqrt{6(a+c+\sqrt{b^2+{(a-c)}^2})}$

$L_2=\sqrt{6(a+c-\sqrt{b^2+{(a-c)}^2})}$

接着，根据重心位置对手部轮廓影像执行一手掌切割。如图4所示，接着以重心位置41为圆心，手部矩型的宽度L2的一半作为半径，于手部轮廓影像43上切割出一圆形区域，以剩余的区域作为一已切割手部影像44。已切割手部影像44可用以来判断手指数目239以及丨手掌方位。若切割手部影像44的区域小于一默认值，表示使用者的手掌方位为握拳；若切割手部影像44的区域分布宽度大于高度，则表示使用者的手掌方位为水平方向；若切割手部影像44的区域分布高度大于宽度，则表示使用者的手掌方位为垂直方向。

请参阅图5，其绘示本发明的判断手指数目的范例示意图。图中，先从已切割手部影像44上辨识出一离边缘最远的尖端45，计算尖端45与重心位置41之间的距离d，再根据d决定一l值(例如l＝d/3)，接着取得一与尖端45距离l的线段PP’，接着再计算已切割手部影像44与线段PP’重迭的次数来决定手指数目239。

接着，手势辨识单元233再根据手部方向238及手指数目239辨识出第一手势131或第二手势132。实施上，手势辨识单元233可与一数据库进行比对。请续参阅图6，其绘示本发明的用以辨识手势的数据库范例示意图。图中，此数据库是纪录手指数目为0的握拳手势、手指数目为1的单指手势以及手指数目为5的张掌手势等三种预设手势的比对数据；此外，此数据库亦将此些比对数据分类成从东(E)、从西(W)、从南(S)及从北(N)延伸的四种手部方向；此外，此数据库亦将此些比对数据分类成水平(H)、垂直(V)以及握拳(S)等三种手掌方位。手势辨识单元233便可根据手部方向238及手指数目239于此数据库查询以取得相对应的手势；例如，手势辨识单元233根据手部方向为从南方延伸、手指数目为5且手掌方向为垂直的三个数据可从此数据库中查询出手势61，其可表示一停止手势；手部方向238为从东方延伸、手指数目为1且手掌方向为水平的三个数据可从此数据库中查询出手势62，其可表示一向左指手势；手部方向238为从西方延伸、手指数目为5且手掌方向为水平的三个数据可从此数据库中查询出手势63。

第二处理单元25视需要可包含一区块侦测单元251、一移动向量单元252及一轨迹辨识单元253。区块侦测单元251取得在每一张影像画面121中包含有手部影像236的至少一影像区块257。接着移动向量单元252估算复数影像区块257之间的多个移动向量258。在此，移动向量258的估算为此技术领域的通常知识者所熟知，固在此不再赘述。轨迹辨识单元253纪录多个移动向量258以取得一移动轨迹259，并辨识移动轨迹259以取得移动手势152。

请参阅图7，其绘示本发明的基于影像的动作手势辨识方法的流程图。图中，动作手势辨识方法包含下列步骤。于步骤71接收多张影像画面。于步骤72根据此多张影像画面执行一手势侦测，以得到一第一手势。于步骤73判断此第一手势是否符合一预设开始手势；如果此第一手势符合此预设开始手势，则于步骤74根据此多张影像画面中手部位置，执行一移动追踪以取得一移动手势；若否，则继续执行步骤72。在步骤75中，于执行此移动追踪的过程中，根据此多张影像画面执行此手势侦测，以得到一第二手势。在步骤76中，判断此第二手势是否符合一预设结束手势。如果此第二手势符合此预设结束手势，于步骤77停止此移动追踪；若否，则继续执行步骤75。藉此，可降低追踪及辨识移动手势的复杂度，以及提高辨识准确度。

请参阅图8，其绘示本发明的执行手势侦测的实施流程图。图中，在步骤81侦测多张影像画面的任一影像画面是否存在有一手部影像。如果手部影像存在，则在步骤82根据手部影像取得一手部轮廓影像，如图3所示的影像区域33。在步骤83根据手部轮廓影像所碰触到的影像画面的一边缘，来判断手部方向。例如影像区域33的手部方向是判断为东方。在步骤84执行一手掌方位计算以取得手部轮廓影像的一重心位置，如图4所示的重心位置41。接着，在步骤85根据重心位置对手部轮廓影像执行一手掌切割，以取得一已切割手部影像。在步骤86根据已切割手部影像判断手指数目。在步骤87根据手部方向及手指数目辨识出手势。此外，视需要亦可再根据手掌方位来判断出手势。

请参阅图9，其绘示本发明的执行移动追踪的实施流程图。图中，在步骤91取得在每一多张影像画面中包含有手部影像的至少一影像区块。在步骤92估算复数影像区块之间的多个移动向量。在步骤93纪录多个移动向量以取得一移动轨迹。在步骤94辨识移动轨迹以取得移动手势。

以上所述仅为举例性，而非为限制。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含本申请权利要求保护的范围中。

Claims (14)

1.一种基于影像的动作手势辨识方法，其特征在于，包含：

接收多张影像画面；

根据该多张影像画面执行一手势侦测，以得到一第一手势；

判断该第一手势是否符合一预设开始手势；

如果该第一手势符合该预设开始手势，则根据该多张影像画面中手部位置，执行一移动追踪以取得一移动手势；

于执行该移动追踪的过程中，根据该多张影像画面执行该手势侦测，以得到一第二手势；

判断该第二手势是否符合一预设结束手势；以及

如果该第二手势符合该预设结束手势，停止该移动追踪。

2.根据权利要求1所述的基于影像的动作手势辨识方法，其特征在于，更包含：

如果该第二手势不符合该预设结束手势，持续执行该移动追踪。

3.根据权利要求1所述的基于影像的动作手势辨识方法，其特征在于，执行该手势侦测的步骤更包含：

侦测该多张影像画面的任一影像画面是否存在有一手部影像；

如果该手部影像存在，则根据该手部影像取得一手部轮廓影像；

根据该手部轮廓影像判断一手部方向及一手指数目；以及

根据该手部方向及该手指数目辨识出该第一手势或该第二手势。

4.根据权利要求3所述的基于影像的动作手势辨识方法，其特征在于，执行该移动追踪的步骤更包含：

取得在每一该多张影像画面中包含有该手部影像的至少一影像区块；以及

估算该复数影像区块之间的多个移动向量。

5.根据权利要求4所述的基于影像的动作手势辨识方法，其特征在于，执行该移动追踪的步骤更包含：

纪录该多个移动向量以取得一移动轨迹；以及

辨识该移动轨迹以取得该移动手势。

6.根据权利要求3所述的基于影像的动作手势辨识方法，其特征在于，判断该手部方向的步骤更包含：

根据该手部轮廓影像所碰触到的该影像画面的一边缘，来判断该手部方向。

7.根据权利要求3所述的基于影像的动作手势辨识方法，其特征在于，判断该手指数目的步骤更包含：

执行一手掌方位计算以取得该手部轮廓影像的一重心位置；

根据该重心位置对该手部轮廓影像执行一手掌切割，以取得一已切割手部影像；以及

根据该已切割手部影像判断该手指数目。

8.一种基于影像的动作手势辨识系统，其特征在于，包含：

一储存单元，储存一预设开始手势及一预设结束手势；

一影像撷取单元，撷取多张影像画面；

一第一处理单元，根据该多张影像画面执行一手势侦测，以得到一第一手势；

一比对单元，判断该第一手势是否符合该预设开始手势；以及

一第二处理单元，如果该比对单元判断该第一手势符合该预发开始手势，则该第二处理单元根据该多张影像画面中手部位置，执行一移动追踪以取得一移动手势；

其中，于执行该移动追踪的过程中，该第一处理单元是根据该多张影像画面执行该手势侦测，以得到一第二手势，若该比对单元判断该第二手势符合该预设结束手势，则该第二处理单元停止该移动追踪。

9.根据权利要求8所述的基于影像的动作手势辨识系统，其特征在于，当该比对单元判断该第二手势不符合该预设结束手势时，该第二处理单元继续该移动追踪。

10.根据权利要求8所述的基于影像的动作手势辨识系统，其中该第一处理单元更包含：

一第一影像处理单元，侦测该多张影像画面的任一影像画面内的一手部影像；

一第二影像处理单元，根据该手部影像取得一手部轮廓影像；以及

一手势辨识单元，根据该手部轮廓影像判断一手部方向及一手指数目，并根据该手部方向及该手指数目辨识出该第一手势或该第二手势。

11.根据权利要求10所述的基于影像的动作手势辨识系统，其特征在于，该第二处理单元更包含：

一区块侦测单元，取得在每一该多张影像画面中包含有该手部影像的至少一影像区块；以及

一移动向量单元，估算该复数影像区块之间的多个移动向量。

12.根据权利要求11所述的基于影像的动作手势辨识系统，其中该第二处理器更包含一轨迹辨识单元，该轨迹辨识单元是纪录该多个移动向量以取得一移动轨迹，并辨识该移动轨迹以取得该移动手势。

13.根据权利要求10所述的基于影像的动作手势辨识系统，其特征在于，该手势辨识单元是根据该手部轮廓影像所碰触到的该影像画面的一边缘，来判断该手部方向。

14.根据权利要求10所述的基于影像的动作手势辨识系统，其特征在于，该手势辨识单元执行一手掌方位计算以取得该手部轮廓影像的一重心位置，根据该重心位置对该手部轮廓影像执行一手掌切割，以取得一已切割手部影像，再根据该已切割手部影像判断该手指数目。

Images