CN115966012A - 三维手势检测装置及三维手势检测方法 - Google Patents

Abstract

三维手势检测装置及三维手势检测方法。三维手势检测装置包括一节点检测单元、一手势辨识模型及一手势轨迹检测单元。节点检测单元依据手部连续影像的各个手部画面，获得数个节点。手势辨识模型获得数个手势类别信心度。手势轨迹检测单元包括一权重分析器、一手势分析器、一关键点归类器及一轨迹分析器。权重分析器依据一使用者界面，获得该多个手势类别的数个权重。手势分析器对该多个手势类别信心度进行加权计算，以分析出各个画面的一手势。关键点归类器从该多个节点归类出数个关键点。轨迹分析器用以依据该多个关键点，获得手势的一惯性轨迹。

Description

三维手势检测装置及三维手势检测方法

【技术领域】

本发明是有关于一种检测装置及检测方法，且特别是有关于一种三维手势检测装置及三维手势检测方法。

【背景技术】

随着影像辨识技术的进步，发展出一种手势检测技术。通过手势检测技术，可以让使用者对电子装置进行更直觉的手势操控。

然而，在目前的技术中，所检测到的手势并不是很稳定，有时候抓错，有时候会抓不到，偶而会断断续续。手势操控的技术仍然存在相当大的瓶颈。研究人员正致力于改善检测不稳定的问题。

【发明内容】

本发明是有关于一种三维手势检测装置及三维手势检测方法，其针对使用者界面进行了适应性的调整，使得手势的分析更为稳定。惯性轨迹的检测不是单纯只利用手势就决定惯性轨迹，而是进一步参考了节点进行分析，使得惯性轨迹能够连续且顺畅。

根据本发明的一方面，提出一种三维手势检测装置。三维手势检测装置包括一节点检测单元、一手势辨识模型及一手势轨迹检测单元。节点检测单元用以接收一手部连续影像。手部连续影像具有数张手部画面。节点检测单元依据各个手部画面，获得数个节点。手势辨识模型用以依据该多个节点，获得数个手势类别的数个手势类别信心度。手势轨迹检测单元包括一权重分析器、一手势分析器、一关键点归类器及一轨迹分析器。权重分析器用以依据一使用者界面，获得该多个手势类别的数个权重。手势分析器用以依据该多个权重，对该多个手势类别信心度进行加权计算，以分析出各个画面的一手势。关键点归类器用以依据手势，从该多个节点归类出数个关键点。轨迹分析器用以依据该多个关键点于该多个手部画面的变化，获得手势的一惯性轨迹。

根据本发明的另一方面，提出一种三维手势检测方法。三维手势检测方法包括以下步骤。获得一手部连续影像。手部连续影像具有数张手部画面。依据各个手部画面，获得数个节点。依据该多个节点，获得数个手势类别的数个手势类别信心度。依据一使用者界面，获得该多个手势类别的数个权重。依据该多个权重，对该多个手势类别信心度进行加权计算，以分析出各个画面的一手势。依据手势，从该多个节点归类出数个关键点。依据该多个关键点于该多个手部画面的变化，获得手势的一惯性轨迹。

为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下：

【附图说明】

图1绘示根据一实施例的三维手势检测装置的示意图。图2示例说明「点击(tap)」的手势所对应的动作。

图3绘示多个时间点的画面。

图4绘示检测到图3的手势的对应操作。

图5绘示根据一实施例的三维手势检测装置的方块图。图6绘示根据一实施例的三维手势检测方法的流程图。

图7示例说明步骤S110。

图8示例说明步骤S120。

图9示意说明步骤S130。

图10示例说明步骤S140。

图11示例说明步骤S150。

图12示例说明步骤S160。

图13示例说明步骤S170。

图14A～14B示例说明另一种关键点的变化。

图15A～15B示例说明另一种关键点的变化。

图16示例说明步骤S160的另一例。

【符号说明】

100:三维手势检测装置

110:节点检测单元

120:手势辨识模型

130:手势轨迹检测单元

131:权重分析器

132:手势分析器

133:关键点归类器

134:轨迹分析器

300:笔记型电脑

800:影像撷取单元

CF,CF*:手势类别信心度

CG:手势类别

CT:重心

FM:画面

GT:手势

ND:节点

ND*:关键点

P1:点

S110,S120,S130,S140,S150,S160,S170:步骤

t2,t3,t4,t5,t6,t7,t8,t9:时间点

TR:惯性轨迹

UI:使用者界面

VD:手部连续影像

VT:最长径向

WT:权重

【具体实施方式】

请参照图1，其绘示根据一实施例的三维手势检测装置100的示意图。三维手势检测装置100例如是一外接式电子装置，其可以通过USB连接至笔记型电脑300。或者，三维手势检测装置亦可内建于笔记型电脑300内。如图1所示，使用者可以在三维手势检测装置100的上方比划手势，让三维手势检测装置100作为笔记型电脑300的直觉式输入装置。

举例来说，请参照图2，其示例说明「点击(tap)」的手势所对应的动作。笔记型电脑300可以定义检测到「点击」的手势时，触发鼠标的左键被按压的动作。并且，笔记型电脑300可以进一步定义当「点击」的手势在空中移动时，触发拖曳的动作。

然而，要使拖曳的动作顺畅，必须在每一画面都检测到「点击」的手势。请参照图3，其绘示时间点t2～t9的画面。在检测手势时，可能因为使用者手掌放松、环境亮度改变等情况而只有在时间点t2～t4、t8、t9的画面检测到「点击」的手势，在时间点t5～t7则是检测到「开掌」的手势。

请参照图4，其绘示检测到图3的手势的对应操作。只有在时间点t2～t4、t8、t9的画面检测到「点击」的手势，故笔记型电脑300的游标轨迹会在点P1停留一段时间(即时间点t5～t7)，让拖曳的动作变得不顺畅。

请参照图5，其绘示根据一实施例的三维手势检测装置100的方块图。三维手势检测装置100包括一节点检测单元110、一手势辨识模型120及一手势轨迹检测单元130。手势轨迹检测单元130包括一权重分析器131、一手势分析器132、一关键点归类器133及一轨迹分析器134。

节点检测单元110用以进行节点ND的检测，手势辨识模型120用以进行手势类别信心度CF的分析，节点ND与手势类别信心度CF都会输出至手势轨迹检测单元130，以进行惯性轨迹TR的分析。节点检测单元110、手势辨识模型120及手势轨迹检测单元130例如是一电路、一芯片、一电路板、一程序码、或储存程序码的储存装置。在本实施例中，手势GT的分析针对使用者界面UI进行了适应性的调整，使得手势GT的分析更为稳定。此外，手势轨迹检测单元130不是单纯只利用手势GT就决定惯性轨迹TR，而是进一步参考了节点ND进行分析，使得惯性轨迹TR能够连续且顺畅。以下更搭配一流程图详细说明上述各项元件的运作。

请参照图5及图6，图6绘示根据一实施例的三维手势检测方法的流程图。三维手势检测方法包括步骤S110～S170。请参照图7，其示例说明步骤S110。在步骤S110中，以一影像撷取单元800获得一手部连续影像VD。手部连续影像VD具有数张手部画面FM(绘示于图7)。在一实施例中，影像撷取单元800可以内建于三维手势检测装置100之内部。影像撷取单元800例如是一彩色摄影机或一红外线摄影机。

接着，请参照图8，其示例说明步骤S120。在步骤S120中，节点检测单元110接收手部连续影像VD，并依据各个手部画面FM，获得数个节点ND。在本实施例中，该多个节点ND会输入至手势辨识模型120及手势轨迹检测单元130。

然后，请参照图9，其示意说明步骤S130。在步骤S130中，手势辨识模型120依据该多个节点ND，获得数个手势类别CG的数个手势类别的数个手势类别信心度CF。每一张画面FM的数个节点ND输入至手势辨识模型120后，针对预设的各种手势，可以输出对应的手势类别信心度CF。举例来说，针对「点击(tap)」、「拿取(pinch,pick)」、「开掌」、「握拳」、「立掌」等手势类别CG，其手势类别信心度CF分别是0.9、0.1、0.7、0.5、0.1。「点击」是具有最高类别信心度CF的手势类别CG。

在本实施例中，手势辨识模型120取得该多个手势类别信心度CF后，不直接以具有最高类别信心度CF者作为手势GT的分析结果，而是将该多个手势类别信心度CF输入至手势轨迹检测单元130。

接着，请参照图10，其示例说明步骤S140。在步骤S140中，权重分析器131依据一使用者界面UI，获得该多个手势类别CG的数个权重WT。举例来说，在图10的使用者界面UI最有可能用到的是「点击」的手势类别CG。「拿取」、「开掌」、「握拳」、「立掌」等手势类别CG几乎不会用到，故针对「点击」、「拿取」、「开掌」、「握拳」、「立掌」等手势类别CG，其权重WT可以是0.9、0.1、0.1、0.1、0.1或0.9、0.0、0.0、0.0、0.0。

然后，请参照图11，其示例说明步骤S150。在步骤S150中，手势分析器132依据该多个权重WT，对该多个手势类别信心度CF进行加权计算，获得手势类别信心度CF*，以分析出各个画面FM的手势GT。如上所述，经由加权计算后，在图10的使用者界面UI之下，「点击」不会再被误判为「开掌」。

接着，请参照图12，其示例说明步骤S160。在步骤S160中，关键点归类器133依据手势GT，从该多个节点ND归类出数个关键点ND*。以「点击」的手势GT为例，使用者有可能会放松中指、无名指与小指，但食指与拇指通常不会放松，故关键点ND*可以设为食指与拇指的节点ND。通过关键点ND*的设定，可以强化惯性轨迹的连续性。

然后，请参照图13，其示例说明步骤S170。在步骤S170中，轨迹分析器134依据该多个关键点ND*于该多个手部画面FM的变化，获得手势GT的一惯性轨迹TR。

在一实施例中，该多个关键点ND*于该多个手部画面FM的变化包括一重心CT的变化。在本实施例中，只要在画面FM中有取得关键点ND*，即可将此画面FM加入惯性轨迹TR的分析。如此一来，惯性轨迹TR可以顺畅地检测出来。

在一实施例中，轨迹分析器134例如是利用平均值、单指数、双指数、卡尔曼滤波器来进行惯性轨迹TR的分析。

请参照图14A～14B，其示例说明另一种关键点ND*的变化。在另一实施例中，关键点ND*于该多个手部画面FM的变化包括一向量长度的变化。如图14A～14B所示，根据关键点ND*的最长径向VT，可以分析出向量长度。轨迹分析器134可以根据向量长度的变化来分析出惯性轨迹TR。举例来说，向量长度变长时，表示使用者向上滑动食指。

请参照图15A～15B，其示例说明另一种关键点ND*的变化。在另一实施例中，关键点ND*于该多个手部画面FM的变化包括一向量角度的变化。如图15A～15B所示，根据关键点ND*的最长径向VT，可以分析出向量角度。轨迹分析器134可以根据向量角度的变化来分析出惯性轨迹TR。举例来说，向量角度从负值变正值时，表示使用者向右滑动食指。

根据上述实施例，手势GT的分析针对使用者界面UI进行了适应性的调整，使得手势GT的分析更为稳定。此外，手势轨迹检测单元130不是单纯只利用手势GT就决定惯性轨迹，而是进一步参考了节点ND进行分析，使得惯性轨迹TR能够连续且顺畅。

此外，请参照图16，其示例说明步骤S160的另一例。在步骤S160中，关键点归类器133依据手势GT，从该多个节点ND归类出数个关键点ND*。以「拿取」的手势GT为例，使用者通常有可能会放松中指、无名指与小指，但食指的指尖与拇指的指尖通常不会放松，故关键点ND*可以设为食指的指尖与拇指的指尖的节点。通过关键点ND*的设定，可以强化惯性轨迹的连续性。

综上所述，虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims (10)

1.一种三维手势检测装置，其特征在于，包括：

一节点检测单元，用以接收一手部连续影像，该手部连续影像具有多个张手部画面，该节点检测单元依据各该手部画面，获得多个节点；

一手势辨识模型，用以依据该多个节点，获得多个手势类别的多个手势类别信心度；以及

一手势轨迹检测单元，包括：

一权重分析器，用以依据一使用者界面，获得该多个手势类别的多个权重；

一手势分析器，用以依据该多个权重，对该多个手势类别信心度进行加权计算，以分析出各该画面的一手势；

一关键点归类器，用以依据该手势，从该多个节点归类出多个关键点；及

一轨迹分析器，用以依据该多个关键点于该多个手部画面的变化，获得该手势的一惯性轨迹。

2.如权利要求1所述的三维手势检测装置，其特征在于，若该手势为点击(tap)，则该多个关键点为食指与拇指的节点。

3.如权利要求1所述的三维手势检测装置，其特征在于，若该手势为拿取(pinch,pick)，则该多个关键点为食指尖与拇指尖的节点。

4.如权利要求1所述的三维手势检测装置，其特征在于，该多个关键点于该多个手部画面的变化包括一重心的变化。

5.如权利要求1所述的三维手势检测装置，其特征在于，该多个关键点于该多个手部画面的变化包括一向量角度的变化及一向量长度的变化。

6.一种三维手势检测方法，其特征在于，包括：

获得一手部连续影像，该手部连续影像具有多个张手部画面；

依据各该手部画面，获得多个节点；

依据该多个节点，获得多个手势类别的多个手势类别信心度；

依据一使用者界面，获得该多个手势类别的多个权重；

依据该多个权重，对该多个手势类别信心度进行加权计算，以分析出各该画面的一手势；

依据该手势，从该多个节点归类出多个关键点；以及

依据该多个关键点于该多个手部画面的变化，获得该手势的一惯性轨迹。

7.如权利要求6所述的三维手势检测方法，其特征在于，若该手势为点击(tap)，则该多个关键点为食指与拇指的节点。

8.如权利要求6所述的三维手势检测方法，其特征在于，若该手势为拿取(pinch,pick)，则该多个关键点为食指尖与拇指尖的节点。

9.如权利要求6所述的三维手势检测方法，其特征在于，该多个关键点于该多个手部画面的变化包括一重心的变化。

10.如权利要求6所述的三维手势检测方法，其特征在于，该多个关键点于该多个手部画面的变化包括一向量角度的变化及一向量长度的变化。

Images