CN103777741A - 基于物件追踪的手势辨识方法及系统 - Google Patents

Abstract

本发明提供一种基于物件追踪的手势辨识方法及系统，包括对操作区域打光，能在接收的影像中产生因物件反光而形成的亮区，从该亮区的重心位置、平均亮度或面积的变化判断手势，据以产生指令。本发明以简单的操作及运算即可检测物件在影像的X轴、Y轴或Z轴的运动，进而辨识出物件移动所表达的手势。

Description

基于物件追踪的手势辨识方法及系统

技术领域

本发明是有关一种手势检测，特别是关于一种动态手势辨识。

背景技术

手势控制系统提供简单且直觉式的操作便利性，但是使用诸如触控面板这类接触式的人机接口的系统限制使用者必须紧贴该接口操作，对于某些应用而言相当不便。相反的，使用非接触式接口的手势控制系统让使用者能在相对较远的距离操作，但是必须通过影像的撷取及辨识来判断手势，所以难度较高。

一种已知的手势辨识方法是输入可见光影像，从影像中辨识肤色范围，再对肤色范围辨识形状找出手的位置，依据连续影像中手的位置的变化追踪手的位移，进而判断出手势。然而肤色分析需要很复杂的演算法，而且与环境光有密切的关系，错误率比较高。手势的形状辨识也需要复杂的演算法，还要求使用者维持固定的手势形状，例如五指张开或手指比着V字形，因此不能检测某些手势，例如翻掌、握拳变张开手指、张开手指变握拳。不同使用者的手结构差异也增加辨识的困难度或错误率。其他的缺点还有暗处无法检测、需要特定的手掌起手式等等。由于依赖形状辨识来追踪手的位移，所以这类方法只能辨识在影像的X轴及Y轴运动的手势，不能辨识在影像的Z轴运动的手势，因此不能检测手向前推或向后拉的手势。在某些应用中，例如手机或笔记本电脑，使用者的背后可能会有人体移动，这也可能造成辨识错误。

另一种依靠连续影像的手势辨识方法，例如微软的体感装置Kinect，除了二维的影像分析以外，还利用影像的深度信息来建立人体的骨架模型，再藉骨架模型来追踪手的位置变化以进行手势辨识。这种方法使用的演算法更复杂，需要更多运算时间，虽然可以检测在影像的Z轴运动的手势，但是只能应用在一个固定的操作距离，而且允许使用者前后移动的空间很小，如果使用者不在预设的操作距离上，或是使用环境不足以提供预设的操作距离，那么这种辨识系统就不能使用。这种操作距离的僵固性对手势辨识系统的制造商造成困扰，制造商只能预设一个合理的操作距离，并以其为基础设定手势辨识系统的参数值，因此这种辨识系统无法适用在不同的场合。

上述两种方法皆需大量的运算，因此软硬件的成本比较高，不适合某些较简单的应用，而且大量的运算还会造成系统的反应较慢。上述两种方法也不适合短距离的应用，例如操作距离在1米以内时，系统的稳定度会变差。此外，上述两种方法都需要依赖手的肤色和轮廓来作辨识，所以载手套、手指卷曲或手指不全也不适用，当然也不适用在其他物件操作，例如笔或纸卷。

发明内容

本发明的目的之一，在于提出一种简单的手势辨识方法及系统。

本发明的目的之一，在于提出一种较低成本的手势辨识方法及系统。

本发明的目的之一，在于提出一种基于物件追踪的手势辨识方法及系统。

本发明的目的之一，在于提出一种可调整操作距离的手势辨识方法及系统。

本发明的目的之一，在于提出一种可检测物件的三维运动的手势辨识方法及系统。

本发明的目的之一，在于提出一种适用广泛的操作物件的手势辨识方法及系统。

根据本发明，一种基于物件追踪的手势辨识方法包括提供光线向操作区域投射，接收来自该操作区域的影像，检测该影像中的亮区，以及从该亮区的重心位置、平均亮度或面积的变化判断手势。

根据本发明，一种基于物件追踪的手势辨识系统包括发光单元提供光线向操作区域投射，影像感测器从该操作区域撷取影像，以及处理器检测该影像中的亮区，利用该亮区提供的信息进行物件追踪，以及将该物件追踪的结果比对手势定义，以判断操作手势。

本发明的手势辨识方法不需要运算复杂的深度信息，也不需要知道使用者的手部形状或肤色等等的信息，在应用上相对便利，软硬件的成本也比较低，而且系统的反应快。此外，因为不需要辨识手部形状或肤色，所以操作物件不限于手，只要能反射投射光的物件皆可适用。由于操作距离可动态切换，因此对使用者的空间限制较松。

附图说明

图1是本发明的手势辨识系统的实施例；

图2是本发明的手势辨识方法的实施例；

图3是利用重心位置的变化判断手势的示意图；

图4是利用重心位置的变化判断手势的示意图；

图5是利用重心位置的变化判断手势的示意图；

图6是利用平均亮度的变化判断手势的示意图；

图7是物件的前后移动造成亮区面积变化的示意图；

图8是利用面积的变化判断手势的示意图；

图9是切换操作距离的示意图；

图10是利用影像处理的技巧切换操作距离的示意图；

图11是使用可移动的透镜调整光的投射角度的实施例；

图12是使用可移动的抛物面反射镜调整光的投射角度的实施例；

图13是自动切换操作距离的实施例；

图14是自动切换操作距离的实施例；以及

图15是缩减取样以缩减影像的示意图。

附图标号：

10  影像感测器

12  发光单元

14  处理器

16  物件

18  发光源

20  发光源

22  输入影像

24  检测亮区

26  物件追踪

28  计算重心位置

30  计算重心位置的变化

32  手势比对

34  产生指令

36  计算平均亮度

38  计算平均亮度的变化

40  计算面积

42  计算面积的变化

44  优化

46  影像

48  影像

50  影像

52  光学感测阵列

54  透镜

56  透镜

58  抛物面反射镜

60  预设操作距离

62  检测移动物件

64  检测手势

66  切换操作距离

68  计算亮区的面积

70  判断亮区占一帧影像的面积比例

具体实施方式

参照图1的实施例，本发明的手势辨识系统包括影像感测器10、发光单元12及处理器14。影像感测器10的视角为θ，由其定义的视锥范围即影像感测器10可撷取影像的区域。物件16的操作距离为D，视锥在此距离的截面为物件16的操作区域A。处理器14分别藉控制信号Si及Sl控制影像感测器10及发光单元12，发光单元12提供可见光或不可见光向操作区域A投射，影像感测器10感测的波长范围包括发光单元12提供的光的波长。物件16反射发光单元12提供的光，在影像感测器10接收到的影像中形成亮区。影像感测器10把接收到的影像以视讯VI传给处理器14，处理器14利用亮区提供的信息来追踪物件16，进而判断手势，据以产生指令Sc。

处理器14可藉切换影像感测器10的视角θ或利用影像处理技巧来切换操作距离D。影像感测器10可使用定焦镜头或变焦镜头。若使用定焦镜头，则影像感测器10的视角θ是固定的。若使用变焦镜头，则影像感测器10的视角θ可动态调整。

较佳者，发光单元12是可调整的，例如，操作距离D越远时，发光单元12提供越高亮度的光。调整发光单元12的方式有很多种，例如，因应操作距离D的改变调整发光单元12的操作电流，以调整发光单元12提供的光亮度；或者在发光单元12中配置不同出光角度的发光源18及20，在较近的操作距离D时使用发光源18，在较远的操作距离D时切换为发光源20，其中发光源18具有较大的出光角度，而发光源20具有相对较小的出光角度；或者使用光学组件来调整发光单元12的出光角度。

参照图2，在一实施例中，步骤22输入影像，步骤24检测影像中的亮区，然后步骤26利用亮区提供的信息进行物件追踪，例如，步骤28计算亮区的重心位置，步骤30计算重心位置的变化，步骤32把重心位置的变化与预设的手势定义比对，如果符合某一定义的手势，则步骤34产生该手势相对应的指令Sc，如果重心位置的变化不符合任何手势定义，则回到步骤22继续输入影像实施辨识。

较佳者，步骤22具有影像缓冲的功能，当处理器14在进行其他步骤时，步骤22即可先读入下一帧(frame)影像，如此可以缩短整体辨识作业的时间，加快辨识系统的反应速率。

在进行步骤24时，使用一个门槛值作为比较基准，只有亮度超过门槛值的像素被列为亮区的元素。例如，影像感测器10的亮度分为32阶，门槛值设为18阶，只有亮度在18阶以上的影像区块会被判定为亮区。回到图1，虽然物件16的背后可能会有其他物件，但是经过门槛值的筛选后被排除了。较佳者，发光单元12提供的是不可见光，以避免可见光的干扰。较佳者，检测亮区所用的门槛值是可调整的。

图3、图4到图5是揭露利用亮区的重心位置的变化来判断物件16的运动(如：使用者的手势)的示意图。在图3中，连续多帧影像的亮区计算出来的重心位置P1到P5显示朝向一特定方向，因此处理器14可判定使用者的手势是朝向该特定方向运动。在图4中，重心位置的移动向量显示其运动方向改变达到角度α，因此可判定手势是转向，依此原理，若使用者的手势是进行旋转手势的动作时，便可透过前述计算重心位置、移动向量和两个移动向量之间的角度的方法，而判定手势是旋转，如图5所示。

回到图2，如前所述，步骤28及30是追踪物件16在影像的X轴及Y轴的运动，要追踪物件16在影像的Z轴的运动，可以利用亮区提供的其他信息，例如平均亮度或面积的变化。例如图2中所示，步骤36计算亮区的平均亮度，步骤38计算平均亮度的变化，步骤32根据平均亮度的变化与预设的手势定义比对的结果，决定到步骤34或22。参照图1，物件16相对于影像感测器10的前后移动会造成反光亮度的变化，进而造成亮区的平均亮度改变，例如参照图6所示，连续多帧影像的亮区平均亮度递减，表示物件16离影像感测器10更远，因此手势为物件16拉回；反之，连续多帧影像的亮区平均亮度递增，表示物件16向影像感测器10靠近，因此手势为推出。计算亮区的平均亮度只需要很简单的运算，例如把亮区的每一个像素的亮度相加后，再除以亮区包括的像素数量，此运算也可以在执行步骤24时一起执行。

参照图1，由于透视的缘故，只要视角θ维持不变，则物件16在影像感测器10取得的影像中，其大小会随着物件16与影像感测器10的距离改变，因此物件16相对于影像感测器10的前后移动会造成亮区面积的变化，例如参照图7所示，在一帧影像46中，物件16距离影像感测器10较近产生的亮区48会比距离影像感测器10较远产生的亮区50更大。回到图2，步骤40计算亮区的面积，步骤42计算面积的变化，步骤32根据面积的变化与预设的手势定义比对的结果，决定到步骤34或22。例如参照图8所示，连续多帧影像的亮区面积递减表示物件16是向后拉回的手势，连续多帧影像的亮区面积递增表示物件16是向前推出的手势。计算亮区的面积只需要计算亮区包括的像素数量即可，因此运算很简单，而且可以在执行步骤24时一起执行。值得一提的是，上述检测物件16于Z轴上运动的方式可以同时结合上述步骤36、38以及步骤40、42的结果而决定，意即：可同时根据平均亮度的变化以及亮区面积的变化而判断物件16于Z轴上的运动。

回到图2，在步骤24后可增加步骤44来优化检测结果，以提高准确度，例如使用已知技术的断开运算(opening operation)，包括侵蚀(erosion)及扩张(dilation)处理，以去除杂讯在影像中产生的杂点；又例如，在检测到一帧影像包括数个分离区块的亮区时，选择最亮的区块，其余的舍弃；又例如，舍弃面积不在某个区间内的亮区。

图9是切换操作距离的示意图。如前所述，切换影像感测器10的视角可切换操作距离，例如，视角从θ1切换到θ2，相当于操作距离从D1切换到D2，但操作区域A1的大小维持不变。在相同的视角θ2下，在较近的操作距离D1的操作区域A2会小于在更远的操作距离D2的操作区域A1，因此物件16在操作区域A2产生的影像会比较大。特别地，此系统可根据操作距离动态切换影像感测器10接收影像的位置(D)或大小(A)。即使不切换影像感测器10的视角，亦可利用影像处理的技巧达到切换操作距离的效果，例如参照图10所示，在影像感测器10中，光学感测阵列52及透镜54的硬体配置为视角60°，如果只撷取光学感测阵列52取得的影像的中央一部分，则其效果相当于撷取较远操作距离的影像，例如，光学感测阵列52取得的影像大小为100×100，如果只撷取该影像的中央大小为50×50的区块，则相当于以视角30°撷取影像。利用此技巧，即使影像感测器10是使用定焦镜头，依然可切换操作距离。较佳者，当切换操作距离时，也控制发光单元12切换其发光亮度或投射角度。变化地，亦可切换影像感测器10的光敏感度，例如电路增益，或切换步骤24用来检测亮区的门槛值，效果如同切换发光单元12的发光亮度或投射角度。

图11及图12是使用光学组件调整发光单元12的实施例，二者分别使用可移动的透镜56及抛物面反射镜58来调整光的投射角度。

亦可由系统自动切换操作距离，例如参照图13的实施例，步骤60预设操作距离，例如系统允许的最短距离，在此操作距离，步骤62检测是否有物件移动，若检测到有物件移动，则步骤64进行手势检测以产生指令Sc，若未检测到有物件移动，则步骤66切换操作距离，例如增加操作距离，再回到步骤62检测是否有物件移动。此实施例可用来搜寻操作物件，并将系统切换到最合适的操作距离。值得一提的是，上述所谓是否检测到有物件移动，是指物件影像是否达到一定品质的要求，而符合物件检测的标准，其中品质的要求例如是亮度是否达到一亮度门槛值、亮度变化程度是否达到一亮度变化门槛值，或亮区面积的变化的程度是否到达到一面积变化门槛值等等。

在另一实施例中，参照图14，步骤68计算亮区的面积R，步骤70判断亮区占一帧影像的面积比例R/A是否在门槛值Tl与Th之间，若是，则步骤64进行手势检测以产生指令Sc，否则步骤66切换操作距离，再回到步骤68。

如果因为动态调整导致要辨识的影像大小不同，例如图10所示的状况，可以在影像感测器10送出影像前先将影像正规化(normalization)，例如使用已知的尺度调整(scaling)或缩减取样(downsampling)等技术，在影像辨识前把所有的影像都调整成大小一致。图15是缩减取样的示意图，将每2×2的像素的亮度平均后当作一个像素的亮度，可将一帧100×100的影像frame1缩减成50×50的影像frame2。

本发明的手势辨识方法不需要运算复杂的深度信息，也不需要知道使用者的手部形状或肤色等等的信息，在应用上相对便利，软硬件的成本也比较低，而且系统的反应快。此外，因为不需要辨识手部形状或肤色，所以操作物件不限于手，只要能反射投射光的物件皆可适用。由于操作距离可动态切换，因此对使用者的空间限制较松。

以上对于本发明的较佳实施例所作的叙述是为阐明的目的，而无意限定本发明精确地为所揭露的形式，基于以上的教导或从本发明的实施例学习而作修改或变化是可能的，实施例是为解说本发明的原理以及让本领域技术人员以各种实施例利用本发明在实际应用上而选择及叙述，本发明的技术思想企图由权利要求及其均等来决定。

Claims (22)

1.一种基于物件追踪的手势辨识方法，其特征在于，所述基于物件追踪的手势辨识方法包括下列步骤：

A)提供光线向操作区域投射；

B)从所述操作区域撷取影像；

C)检测所述影像中的亮区；

D)利用所述亮区提供的信息进行物件追踪；以及

E)将所述物件追踪的结果比对手势定义，以判断操作手势。

2.如权利要求1的手势辨识方法，其特征在于，所述步骤B)包括正规化所述影像的大小。

3.如权利要求1的手势辨识方法，其特征在于，所述步骤C)包括使用门槛值比较所述影像的像素的亮度，以决定所述亮区。

4.如权利要求1的手势辨识方法，其特征在于，所述步骤D)包括下列步骤：

计算所述亮区的平均亮度；以及

计算所述平均亮度的变化。

5.如权利要求1的手势辨识方法，其特征在于，所述步骤D)包括下列步驟：

计算所述亮区的面积；以及

计算所述面积的变化。

6.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括切换向所述操作区域投射光线的亮度。

7.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括切换向所述操作区域投射光线的角度。

8.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括切换操作距离。

9.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括从所述影像撷取一部分，以达到等同于切换操作距离。

10.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括下列步骤：

以第一操作距离检测是否有物件移动；以及

若未检测到有物件移动，则切换到第二操作距离。

11.如权利要求1的手势辨识方法，其特征在于，所述的手势辨识方法更包括下列步骤：

在第一操作距离时计算所述亮区的面积；

判断所述亮区占所述影像的面积比例是否在二门槛值之间；以及

若所述亮区占所述影像的面积比例不在二门槛值之间，则切换到第二操作距离。

12.一种基于物件追踪的手势辨识系统，其特征在于，所述的基于物件追踪的手势辨识系统包括：

受控制的发光单元，提供光线向操作区域投射；

影像感测器，从所述操作区域撷取影像；以及

处理器，连接所述发光单元及所述影像感测器，从所述影像感测器接收所述影像，检测所述影像中的亮区，利用所述亮区提供的信息进行物件追踪，以及将所述物件追踪的结果比对手势定义，以判断操作手势。

13.如权利要求12的手势辨识系统，其特征在于，所述影像感测器正规化所述影像的大小。

14.如权利要求12的手势辨识系统，其特征在于，所述处理器使用门槛值比较所述影像的像素的亮度，以决定所述亮区。

15.如权利要求12的手势辨识系统，其特征在于，所述处理器计算所述亮区的平均亮度，以及计算所述平均亮度的变化。

16.如权利要求12的手势辨识系统，其特征在于，所述处理器计算所述亮区的面积，以及计算所述面积的变化。

17.如权利要求12的手势辨识系统，其特征在于，所述处理器控制所述影像感测器切换视角。

18.如权利要求12的手势辨识系统，其特征在于，所述处理器控制所述影像感测器切换光敏感度。

19.如权利要求12的手势辨识系统，其特征在于，所述处理器控制所述发光单元切换光线的亮度。

20.如权利要求12的手势辨识系统，其特征在于，所述处理器控制所述发光单元切换出光角度。

21.如权利要求20的手势辨识系统，其特征在于，所述处理器控制所述发光单元切换具有不同发光角度的发光源。

22.如权利要求20的手势辨识系统，其特征在于，所述处理器控制所述发光单元中的透镜或反射镜移动，以切换所述出光角度。

Images