CN103679124B - 手势识别系统及方法 - Google Patents

Abstract

一种手势识别系统，包括摄像装置、存储单元及处理单元。所述摄像装置包含变焦镜头并以一焦距获取图像帧。所述存储单元预先储存有与所述变焦镜头的至少一焦距相关的深度与清晰度的对照表。所述处理单元用于计算所述图像帧中至少一物体图像的目前清晰度，并根据所述对照表求得所述物体图像的目前深度。

Description

手势识别系统及方法

技术领域

本发明是关于一种人机介面装置，特别是关于一种应用变焦镜头的手势识别系统及方法。

背景技术

近年来，在多媒体系统引入互动机制以增加操作便利性的方式已成为热门的技术，其中手势识别更成为取代传统鼠标、摇杆或遥控器的重要技术。

手势识别系统通常包含图像传感器及处理单元，其中所述图像传感器用来获取包含操控物体的图像，例如手指的图像；所述处理单元则后处理所述图像并据此控制应用程序。

例如图1所示，图像传感器91用来获取包含其焦距范围FR内的物体O的多个图像，处理单元92则根据所述图像识别所述物体O的位置变化。然而，所述处理单元92并无法根据所述图像判断所述物体O的深度（depth），而且当所述焦距范围FR内包含其他物体时，例如背景物体O′，所述处理单元92并无法区别所述物体O及O′，因而可能导致误控制的情形。

请参照图2所示，为了能够识别物体O的深度，已知可利用红外光源93投射出图案，例如棋盘图案，至所述物体O，如此所述处理单元92则可根据所述图像传感器91所获取的图像中所述图案的尺寸来识别所述物体O的深度。然而，当所述图案受到环境光源干扰时，仍可能出现误控制的情形。

有鉴于此，本发明还提出一种手势识别系统及方法，其可识别物体的三维坐标，并可根据所述三维坐标的坐标变化与图像装置进行互动。

发明内容

本发明的目的在提供一种手势识别系统及方法，其可根据事先建立的物体深度与清晰度的对照表决定至少一物体的目前深度。

本发明另一目的在于提供一种手势识别系统及方法，其可排除预设的操作范围以外的物体，借此消除环境物体的干扰。

本发明另一目的在于提供一种手势识别系统及方法，其可搭配部分采样（subsampling）技术以节省处理单元的运算耗能。

本发明提供一种手势识别系统，该手势识别系统包含变焦镜头、图像传感器、存储单元及处理单元。所述变焦镜头适于接收控制信号而改变所述变焦镜头的焦距。所述图像传感器通过所述变焦镜头获取图像帧。所述存储单元预先储存有与所述控制信号对应的至少一所述焦距相关的深度与清晰度的对照表。所述处理单元用来计算所述图像帧中至少一物体图像的目前清晰度，并根据所述对照表求得所述物体图像的目前深度。

本发明还提供一种手势识别方法，用于包括了变焦镜头的手势识别系统。所述手势识别方法包含：建立并储存与所述变焦镜头的至少一焦距相关的深度与清晰度的对照表；利用摄像装置以目前焦距获取图像帧；利用处理单元计算所述图像帧中至少一物体图像的目前清晰度；以及根据所述目前清晰度及所述对照表求得所述至少一物体图像的目前深度。

本发明还提供一种手势识别系统，包含摄像装置、存储单元及处理单元。所述摄像装置包含变焦镜头并以焦距获取图像帧。所述存储单元预先储存有与所述变焦镜头的至少一所述焦距相关的深度与清晰度的对照表。所述处理单元用来计算所述图像帧中至少一物体图像的目前清晰度，并根据所述对照表求得所述物体图像的目前深度。

一实施例中，可预先设定并储存操作范围以使所述处理单元能够据此排除所述操作范围外的物体图像，借此消除环境物体的影响；其中，所述操作范围可为出厂前预先设定或在实际操作前通过设定阶段所设定的清晰度范围或深度范围。

一实施例中，所述处理单元在求得所述目前清晰度前还可针对所述图像帧执行部分采样处理，以节省所述处理单元的运作耗能；其中，所述部分采样处理的部分采样像素区域至少为4×4像素区域。

本发明的手势识别系统及方法中，所述处理单元可根据所述图像传感器获取的图像帧计算所述物体图像的三维坐标，其包含两横向坐标及深度坐标。所述处理单元还可根据多个图像帧间所述三维坐标的坐标变化控制显示装置，例如控制光标动作或应用程序等。

附图说明

图1显示已知手势识别系统的示意图；

图2显示另一已知手势识别系统的示意图；

图3显示本发明实施例的手势识别系统的示意图；

图4显示本发明实施例的手势识别系统的对照表；

图5显示本发明实施例的手势识别系统的部分采样处理的示意图；

图6显示本发明实施例的手势识别方法的流程图。

附图标记说明

10摄像装置 101变焦镜头

102控制单元 103图像传感器

11存储单元 12处理单元

2显示装置 91图像传感器

92处理单元 93光源

Sc 控制信号 O、O′物体

S₃₁-S₃₉步骤 I_F图像帧

D目前深度 I_F1被部分采样的像素

I_F2未被部分采样的像素 FL焦距。

具体实施方式

为了让本发明的上述和其他目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。在本发明的说明中，相同的构件是以相同的符号表示，在此合先叙明。

请参照图3所示，其显示本发明实施例的手势识别系统的示意图。手势识别系统包含摄像装置10、存储单元11及处理单元12，并可耦接显示装置2来与其互动。所述摄像装置10包含变焦镜头101、控制单元102及图像传感器103。所述控制单元102输出控制信号S_C至所述变焦镜头101以改变所述变焦镜头101的焦距FL，其中所述控制信号S_C例如可为电压信号、脉波宽度调制（PWM）信号、步进马达控制信号或其他用来控制已知变焦镜头的信号。一种实施例中，所述控制单元102例如可为电压控制模组（voltage control module），用来输出不同的电压值至所述变焦镜头101以改变其焦距FL。所述图像传感器103例如可为CCD图像传感器、CMOS图像传感器或其他用来感测光能量的传感器，用来通过所述变焦镜头101获取物体O的图像并输出图像帧I_F。换句话说，本实施例中，所述摄像装置10是以可变的焦距FL进行物体O的图像获取并输出所述图像帧I_F，所述变焦镜头101适于接收控制信号S_C而改变所述变焦镜头101的焦距FL。其他实施例中，所述变焦镜头101与所述控制单元102可组合成变焦镜头模组。

所述存储单元11预先储存有与所述变焦镜头101的至少一焦距FL相关的深度与清晰度的对照表（lookup table），其中所述焦距FL是相对应所述控制信号S_C，例如所述控制单元102输出的每一电压值是对应焦距FL。例如参照图4所示，其显示本发明实施例的手势识别系统的存储单元11中所预先储存的对照表。在出厂前，例如可选择至少一控制信号S_C输入至所述变焦镜头101以决定焦距FL，并计算所述焦距FL下不同物距的清晰度（sharpness）所对应的深度（即相对所述摄像装置10的纵向距离）。例如，当控制所述变焦镜头101对焦于为50公分的物距时，可得到深度为50公分时具有的最高的清晰度数值（例如此处显示为0.8），且所述清晰度数值会随着深度的逐渐增加和逐渐减少而逐渐降低。清晰度的一种实施例可为调制转换函数（Modulation Transfer Function,MTF），但并不以此为限。同理，出厂前可控制所述变焦镜头101对焦于多组物距，并分别建立所述等物距下深度与清晰度的对照表，例如图4还显示有对焦于10公分、30公分以及70公分的物距时深度与清晰度的关系，并将所述对照表预先储存于所述存储单元11中。必须说明的是，图4中所显示的各数值仅为例示性，并非用来限定本发明。

所述手势识别系统在实际运作时，所述处理单元12用来计算所述图像帧IF中至少一物体图像（例如物体O的图像）的目前清晰度，并根据所述对照表求得所述物体图像的目前深度D。例如，当所述摄像装置10对焦于10公分的物距时获取图像帧I_F，当所述处理单元12计算出所述图像帧I_F中物体图像的清晰度为0.8时则表示所述目前深度D为10公分、当所述清晰度为0.7时则表示所述目前深度D为20公分、当所述清晰度为0.6时则表示所述目前深度D为30公分…，依此类推。借此，所述处理单元12可根据所求得的清晰度数值依据所述对照表对照出目前深度D。此外，根据图4所示，一个清晰度数值可能相对有两个目前深度D（例如当所述摄像装置10对焦于50公分的物距时，每个清晰度数值均对应两个深度）。为了确定正确的目前深度D，本发明中还可控制所述摄像装置10改变焦距（例如改变为对焦于30公分或70公分的物距）并另获取一张图像帧I_F来计算所述物体图像的另一目前清晰度，如此可利用两个目前清晰度数值决定正确的目前深度D。

此外，为了排除背景物体的图像，本实施例中所述处理单元12还可排除操作范围外的物体图像。请再参照图3所示，例如可于出厂前预先设定所述操作范围为30-70公分并储存于所述存储单元11中，或者在操作本发明的手势识别系统前通过设定阶段来设定所述操作范围为30-70公分，例如可提供切换模式（例如在开机过程中或者智能选择开关时）选择所述设定阶段来进行设定并储存于所述存储单元11中。所述操作范围例如可为清晰度范围或深度范围，例如当所述处理单元12计算出物体图像的目前清晰度时并不对比所述对照表，直接根据所述清晰度范围则可决定是否保留所述物体图像以进行后处理；或者可将所述物体图像的目前清晰度先根据所述对照表转换为目前深度D后，再根据所述深度范围来决定是否保留所述物体图像以进行后处理。

此外，为了节省所述处理单元12的运算耗能，所述处理单元12可在求得所述目前清晰度D前，先针对所述图像帧I_F执行部分采样处理（subsampling）。本实施例中，由于必须根据不同的清晰度识别物体深度，因此为了避免在部分采样处理时遗失模糊区域的图像信息，所述部分采样处理的部分采样像素区域至少为4×4像素区域。参照图5所示，所述图像传感器103例如获取并输出20×20的图像帧I_F，所述处理单元12在后处理时仅获取部分像素区域，例如图5中的空白区域I_F1（被部分采样的像素）来据此计算物体图像的深度，而填满区域I_F2（未被部分采样的像素）则予以舍弃，这即是本发明所述的部分采样处理。可以了解的是，根据所述图像帧I_F的尺寸，所述部分采样像素区域（即所述空白区域I_F1）的尺寸可为4×4、8×8…，只要大于4×4像素区域即可。此外，所述部分采样处理的部分采样像素区域还可根据所获取图像的图像品质来动态的改变，意即可通过改变图像传感器的时序控制来达成。

当物体图像的目前深度D计算出后，所述处理单元12即可根据所述图像帧I_F计算所述物体图像的三维坐标；例如，根据所述物体图像相对所述采样装置10的横向位置可计算平面坐标（x,y），并配合所述物体图像相对所述采样装置10的目前深度D可求得所述物体图像的三维坐标（x,y，D）。所述处理单元12可根据所述三维坐标的坐标变化（Δx,Δy，ΔD）与所述显示装置2进行互动，例如控制所述显示装置2上所显示光标的光标动作和/或应用程式（例如图示点选）等，但并不以此为限；其中，手势（gesture）可以是单纯的二维横向轨迹（平面移动），或是一维纵向轨迹（相对采样装置10的深浅距离的移动），又或者是结合三维移动的轨迹，此部分可依据使用者的定义而有丰富的变化。特别的是，本实施例是可检测物体的三维移动信息，因此是可用三维信息来定义手势的动作，而具有更复杂且丰富的手势命令。

请参照图6所示，其显示本发明实施例的手势识别方法的流程图，包含下列步骤：建立并储存与变焦镜头的至少一焦距相关的深度与清晰度的对照表（步骤S₃₁）；设定操作范围（步骤S₃₂）；以目前焦距获取图像帧（步骤S₃₃）；针对所述图像帧执行部分采样处理（步骤S₃₄）；计算所述图像帧中至少一物体图像的目前清晰度（步骤S₃₅）；根据所述目前清晰度及所述对照表求得所述至少一物体图像的目前深度（步骤S₃₆）；排除所述操作范围外的所述物体图像（步骤S₃₇）；计算所述物体图像的三维坐标（步骤S₃₈）；以及根据所述三维坐标的坐标变化控制显示装置（步骤S₃₉）。本发明实施例的手势识别方法适用于包含变焦镜头101的手势识别系统。

请再参照图3至图6所示，以下说明本实施例的手势识别方法。

步骤S₃₁：较佳地，在手势识别系统出厂前，先建立与所述变焦镜头101的至少一焦距FL相关的深度与清晰度的对照表（如图4）并储存在所述存储单元11以供实际操作时作为查表的依据。

步骤S₃₂：接着设定操作范围，其可根据手势识别系统的不同应用而决定。一种实施例中，所述操作范围可在手势识别系统出厂前预先设定。另一实施例中，所述操作范围可于实际操作前由使用者通过设定阶段来设定；也即，所述操作范围可根据使用者的需求而设定。如前所述，所述操作范围可为清晰度范围或深度范围。其他实施例中，若手势识别系统的操作环境无须考虑环境物体的干扰，步骤S₃₂也可不予实施。

步骤S₃₃：在实际操作时，所述摄像装置10以目前焦距FL获取图像帧I_F并输出至所述处理单元12。所述图像帧I_F的尺寸则根据不同的传感阵列尺寸而决定。

步骤S₃₄：所述处理单元12接收所述图像帧I_F后并且在计算物体图像的目前清晰度前，可选择针对所述图像帧I_F执行部分采样处理，以节省消耗电能；如前所述，所述部分采样处理的部分采样像素区域至少为4×4像素区域，且所述部分采样像素区域的尺寸可根据所述图像帧I_F的尺寸和/或图像品质来决定。其他实施例中，步骤S₃₄也可不予实施。

步骤S₃₅：所述处理单元12根据所述图像帧I_F或经部分采样处理后的图像帧I_F计算所述图像帧I_F中至少一物体图像的目前清晰度；其中，计算图像中物体图像清晰度的方式已为已知，例如计算图像的MTF值，故在此不再赘述。

步骤S₃₆：所述处理单元12则将所述目前清晰度与所述对照表相对比，以求得所述目前清晰度所对应的所述至少一物体图像的目前深度D，例如物体O的深度。此外，当所述目前清晰度的数值并未包含于所述对照表中时，则可通过内差（interpolation）的方式来得到相对应的目前深度D。

步骤S₃₇：为了排除环境物体对手势识别系统的影响，所述处理单元12在求得每一物体图像的所述目前深度D后，则判定所述目前深度D是否介于所述操作范围内，并排除所述操作范围以外的所述物体图像。可以了解的是，当不实施步骤S₃₂时，步骤S₃₇也不予实施。

步骤S₃₈：接着，所述处理单元12可根据所述图像帧I_F求得所述操作范围内所有物体图像的三维坐标，例如包含两横向坐标及一深度坐标（即步骤S₃₆所求得的目前深度D）；其中，所述处理单元12计算所述横向坐标的方式已为已知，故在此不再赘述。本实施例主要在于如何正确计算所述物体O相对所述摄像装置10的深度。

步骤S₃₉：最后，所述处理单元12可根据多个图像帧I_F间所述三维坐标的坐标变化控制显示装置2，例如控制光标动作和/或应用程式；其中，所述显示装置2例如可为电视、投影幕、电脑屏幕、游戏机屏幕或其他可用来显示/投射图像的显示装置，并无特定限制。

当物体图像的三维坐标计算出后，本实施例的手势识别系统则重新回到步骤S₃₁以重新获取图像帧I_F并判定所述物体O的后续位置。

综上所述，已知手势识别方法存在有无法识别物体深度的问题或具有另外投射光学图案的需求。本发明还提出一种手势识别系统（图3）及手势识别方法（图6），其应用变焦镜头配合事先建立的对照表（图4）以达成识别物体深度的目的。

虽然本发明通过以前述实施例披露，但是其并非用来限定本发明，任何本发明所属技术领域中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围以后附的权利要求范围所界定的范围为准。

Claims (20)

1.一种手势识别系统，该手势识别系统包括：

变焦镜头，适于接收控制信号以改变所述变焦镜头的焦距；

图像传感器，通过所述变焦镜头获取图像帧；

存储单元，预先储存有包括所述控制信号对应的所述变焦镜头的第一焦距相关的深度与清晰度的关系和所述控制信号对应的所述变焦镜头的第二焦距相关的深度与清晰度的关系的对照表；以及

处理单元，用于计算所述图像传感器的所述变焦镜头以所述第一焦距获取的第一图像帧，和改变所述变焦镜头的所述第一焦距为所述第二焦距后另获取的第二图像帧中至少一物体图像的两个目前清晰度，并根据所述对照表与所述两个目前清晰度求得所述物体图像的目前深度。

2.根据权利要求1所述的手势识别系统，其中所述处理单元还排除操作范围之外的物体图像。

3.根据权利要求2所述的手势识别系统，其中所述操作范围为出厂前预先设定或在操作前通过设定阶段所设定的清晰度范围或深度范围。

4.根据权利要求1所述的手势识别系统，其中所述控制信号为电压信号或脉波宽度调制信号。

5.根据权利要求1所述的手势识别系统，其中所述处理单元在求得所述两个目前清晰度之前还针对所述第一和第二图像帧执行部分采样处理。

6.根据权利要求5所述的手势识别系统，其中所述部分采样处理的部分采样像素区域至少为4×4像素区域。

7.根据权利要求1所述的手势识别系统，其中所述处理单元还根据所述图像帧计算所述物体图像的三维坐标。

8.根据权利要求7所述的手势识别系统，其中所述处理单元还根据所述三维坐标的坐标变化控制显示装置。

9.一种手势识别方法，用于包括了变焦镜头的手势识别系统，该手势识别方法包含：

建立并储存包括所述变焦镜头的第一焦距相关的深度与清晰度的关系和所述变焦镜头的第二焦距相关的深度与清晰度的关系的对照表；

利用摄像装置所述变焦镜头的以所述第一焦距获取第一图像帧，和改变所述变焦镜头的所述第一焦距为所述第二焦距后另获取第二图像帧；

利用处理单元计算所述第一和第二图像帧中至少一物体图像的两个目前清晰度；以及

根据所述两个目前清晰度及所述对照表求得所述至少一物体图像的目前深度。

10.根据权利要求9所述的手势识别方法，该手势识别方法还包含：设定操作范围。

11.根据权利要求10所述的手势识别方法，该手势识别方法还包含：排除所述操作范围之外的物体图像。

12.根据权利要求10或11所述的手势识别方法，其中所述操作范围为清晰度范围或深度范围。

13.根据权利要求9所述的手势识别方法，其中在求得所述两个目前清晰度之前，该手势识别方法还包含：利用所述处理单元针对所述第一和第二图像帧执行部分采样处理，且所述部分采样处理的部分采样像素区域至少为4×4像素区域。

14.根据权利要求9所述的手势识别方法，该手势识别方法还包含：利用所述处理单元根据所述图像帧计算所述物体图像的三维坐标。

15.根据权利要求14所述的手势识别方法，该手势识别方法还包含：利用所述处理单元根据所述三维坐标的坐标变化控制显示装置。

16.一种手势识别系统，该手势识别系统包括：

摄像装置，包含变焦镜头，以第一焦距获取第一图像帧，和改变所述第一焦距为第二焦距后另获取第二图像帧；

存储单元，预先储存有包括所述变焦镜头的所述第一焦距相关的深度与清晰度的关系和所述变焦镜头的所述第二焦距相关的深度与清晰度的关系的对照表；以及

处理单元，用于计算所述第一和第二图像帧中至少一物体图像的两个目前清晰度，并根据所述对照表与所述两个目前清晰度求得所述物体图像的目前深度。

17.根据权利要求16所述的手势识别系统，其中所述处理单元还排除操作范围之外的物体图像。

18.根据权利要求17所述的手势识别系统，其中所述操作范围为清晰度范围或深度范围。

19.根据权利要求16所述的手势识别系统，其中所述处理单元在求得所述两个目前清晰度之前还针对所述第一和第二图像帧执行部分采样处理，且所述部分采样处理的部分采样像素区域至少为4×4像素区域。

20.根据权利要求16所述的手势识别系统，其中所述处理单元还根据所述图像帧计算所述物体图像的三维坐标，并据此控制光标动作和/或应用程序。