CN103019389A - 手势辨识系统及手势辨识方法 - Google Patents

Abstract

本发明是有关于一种辨识系统及辨识方法，且特别是有关于一种手势辨识系统及手势辨识方法。手势辨识系统包括一影像感测器及一影像处理器。影像感测器用以提供第一影像。影像处理器耦接影像感测器，以依据第一影像中的手部的手指数输出手势资讯。借此，可提高操作的精确性及降低使用者的疲劳。

Description

手势辨识系统及手势辨识方法

技术领域

本发明是有关于一种辨识系统及辨识方法，且特别是有关于一种手势辨识系统及手势辨识方法。

背景技术

传统的人机互动界面为滑鼠、键盘和摇杆，随着科技发展日新月异，近来触控式屏幕也广为应用于各项电子产品中，作为人机互动界面。为了使人机互动可以更人性化，体感控制提供了一种全新的输入方式，其中之一为手势辨识，由于手势是一种原始且自然的表示方式，因此在日常生活里，手势成为人与人之间常用的沟通方式之一。手势辨识应用于人机界面设计、医疗保健、虚拟实境、数位艺术创作与游戏设计等领域近来渐渐受到消费者的瞩目。

辨识手势的资讯主要为手部移动轨迹，而系统借由分析手势资讯来判断使用者的手势，并且根据不同的手势来达到人机互动的功能。然而，当使用者持续进行手势操控时，使用者会不断移动手臂以使手部不断移动。但不断移动手臂会造成使用者的疲劳，进而影响使用者的使用时间。并且，手部的位置无法准确的维持于定点，以致于无法精确地对系统进行操控。因此，一种不会大幅增加使用者的疲劳且可精确操作的操控方式为手势操控系统的研发方向之一。

发明内容

本发明提供一种手势辨识系统及手势辨识方法，可依据影像中的手指数输出手势资讯，以提高操作的精确性及降低使用者的疲劳。

本发明提出一种手势辨识系统，其特征在于，包括一影像感测器及一影像处理器。影像感测器用以提供第一影像。影像处理器耦接影像感测器，以依据第一影像中的手部的手指数输出手势资讯。

本发明亦提出一种手势辨识方法，其特征在于，包括：接收一影像感测器所提供的一第一影像；透过一影像处理器判断第一影像中的一手部的手指数以输出一手势资讯。

在本发明一实施例中，影像处理器撷取第一影像中的一肤色部分，以判断第一影像中是否出现手部。当第一影像中出现手部时，影像处理器对第一影像中的肤色部分进行边缘侦测，并且计算肤色部分的质心点作为手部的质心点，以依据肤色部分的多个边缘点及手部的质心点判断手部的手指数。

在本发明一实施例中，影像处理器将这些边缘点的位置于垂直位置上大于手部的质心点且与手部的质心点间的距离大于一预设距离的部分的数量作为手部的手指数。

在本发明一实施例中，影像处理器判断这些边缘点是否为对应真实手指，并且将这些边缘点中对应真实手指且与手部的质心点间的距离大于一预设距离的部分的数量作为手部的手指数。

在本发明一实施例中，影像处理器依据这些边缘点的形状判断这些边缘点是否为对应真实手指。

在本发明一实施例中，影像处理器依据这些边缘点的线条的斜率变化判断这些边缘点是否为对应真实手指。

在本发明一实施例中，影像处理器输出手部的质心点的位置资讯。

在本发明一实施例中，影像感测器用以提供第二影像，且影像处理器依据第一影像中的手部的手指数与第二影像中的手部的手指数的差距输出手势资讯，其中第一影像的时间点不同于第二影像的时间点。

在本发明一实施例中，当第一影像中的手部的手指数相同于第二影像中的手部的手指数时，影像处理器依据第一影像中手部的质心点的位置及第二影像中手部的质心点的位置判断手部的质心点的移动方向，并且依据第一影像中的手部的手指数及手部的质心点的移动方向输出手势资讯。

基于上述，本发明实施例的手势辨识系统及手势辨识方法，影像处理器可依据第一影像中的手指数输出手势资讯，借此可提高操作的精确性及降低使用者的疲劳。

附图说明

图1为本发明一实施例的手势辨识系统的系统示意图。

图2为本发明一实施例的多个手势示意图。

图3为本发明一实施例的手势辨识方法的流程图。

图4为图3中本发明一实施例的步骤S320的具体流程图。

图5为本发明另一实施例的手势辨识方法的流程图。

图6为图5中本发明另一实施例的步骤S520的具体流程图。

【主要元件符号说明】

100：手势辨识系统

110：影像感测器

120：影像处理器

210、220、230、240、250、260：影像

A1~A7、B1~B6、C1~C6、D1~D6、E1~E6、F1~F6：边缘点

H1~H6：肤色部分

IGES：手势资讯

IMG1：第一影像

IMG2：第二影像

IPOS：位置资讯

MA~MF：质心点

S310、S320、S410、S420、S430、S440、S450、S510、S520、S610、S620、S630、S640、S650、S660、S670：步骤。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下将通过具体实施例和相关附图，对本发明作进一步详细说明。

图1为本发明一实施例的手势辨识系统的系统示意图。请参照图1，在本实施例中，手势辨识系统100包括影像感测器110及影像处理器120。影像感测器110用以将所接收的光线转换为数字资讯后提供数字化的影像资讯（如第一影像IMG1或第二影像IMG2）。其中，第一影像IMG1的时间点先于第二影像IMG2的时间点，亦即第一影像IMG1的时间点不同于第二影像IMG2的时间点，并且第一影像IMG1的时间点与第二影像IMG2的时间点可间隔一单位时间（例如0.5秒）。

影像处理器120耦接影像感测器110，用以侦测第一影像IMG1及/或第二影像IMG2中是否出现手部的影像，并且侦测在第一影像IMG1及/或第二影像IMG2中出现手部的影像。当第一影像IMG1及/或第二影像IMG2中出现手部的影像，则影像处理器120可依据第一影像IMG1及/或第二影像IMG2中手部的手指数输出手势资讯IGES。或者，影像处理器120可计算第一影像IMG1及第二影像IMG2中手部的质心点的位置，并且影像处理器120可依据第一影像IMG1及/或第二影像IMG2中手部的手指数及第一影像IMG1及第二影像IMG2中手部的质心点的位置输出手势资讯IGES。再者，影像处理器120可对应地输出第一影像IMG1及/或第二影像IMG2中手部的质心点的位置资讯IPOS。

具体的，若影像处理器120依据单一影像（如第一影像IMG1或第二影像IMG2）输出手势资讯IGES时，则影像处理器120可依据第一影像IMG1中手部的手指数输出手势资讯IGES，并且可输出对应第一影像IMG1中手部的质心点的位置资讯IPOS。或者，影像处理器120可依据第二影像IMG2中手部的手指数输出手势资讯IGES，并且可输出对应第二影像IMG2中手部的质心点的位置资讯IPOS。

若影像处理器120依据两相邻影像（如第一影像IMG1及第二影像IMG2）输出手势资讯IGES时，则影像处理器120可依据第一影像IMG1中的手部的手指数与第二影像IMG2中的手部的手指数的差距输出手势资讯IGES。其次，当第一影像IMG1中的手部的手指数相同于第二影像IMG2中的手部的手指数时，影像处理器120可依据第一影像IMG1中手部的质心点的位置及第二影像IMG2中手部的质心点的位置判断手部的质心点的移动方向，并且影像处理器120可依据第一影像IMG1或第二影像IMG2中的手部的手指数及手部的质心点的移动方向输出手势资讯IGES。

在本发明的一实施例中，当手部的质心点的移动量大于一预定量时，则影像处理器120判定手部的质心点为移动，否则影像处理器120判定手部的质心点视为未移动。上述预定量可依据影像（如第一影像IMG1及第二影像IMG2）的大小而定，以水平移动而言，上述预定量可以是影像的水平宽度与特定比例值（例如25%）的乘积，以垂直移动而言，上述预定量可以是影像的垂直宽度与特定比例值（例如25%）的乘积。上述质心点的移动方向及特定比例值可依据本领域一般技术人员自行设定，本发明实施例不以此为限。

图2为本发明一实施例的多个手势示意图。请参照图1及图2，在本实施例中，影像210、220、230、240、250及260为对应不同手势，并且第一影像IMG1及第二影像IMG2可以分别为影像210、220、230、240、250及260的其中之一。

在本实施例中，影像处理器120会对色彩进行过滤，以撷取影像中的肤色部分。若影像中不包含肤色部分或肤色部分过大或过小时，则判断影像中未出现手部；反之，则判断影像中出现手部。接着，当影像中出现手部时，影像处理器120对影像中的肤色部分进行边缘侦测，并且计算肤色部分的质心点作为手部的质心点，以依据肤色部分的多个边缘点及手部的质心点判断手部的手指数。其中，肤色部分过大或过小可依据肤色部分在影像中所占的比例来判定，例如肤色部分在影像中比例为75%以上则视为过大，肤色部分在影像中比例为15%以下则视为过小。上述为用以说明，本发明实施例不以此为限。

以影像210而言，影像处理器120会撷取到影像210中的肤色部分H1，并且由于肤色部分H1不会过大及过小，因此影像处理器120会判断影像210中出现手部（即肤色部分H1）。接着，影像处理器120至少会侦测到边缘点A1~A7，并且计算出肤色部分H1的质心点MA。然后，影像处理器120会依据边缘点A1~A7与质心点MA的相对位置及边缘点A1~A7与质心点MA间的距离判断边缘点A1~A7是否为手部的手指，以决定手部的手指数。

具体的，由于手指一般为向上展开，因此真正的手指于垂直位置上一般会高于质心点MA，并且当手指展开后，手指的指尖会远离质心点MA，亦即手指的指尖与质心点MA间的距离会大于一预设距离（例如影像的垂直宽度的三分之一）。据此，影像处理器120将边缘点A1~A7的位置于垂直位置上大于手部的质心点MA且与手部的质心点MA间的距离大于预设距离的部分的数量作为手部的手指数，亦即影像处理器120会将边缘点A1~A5当作手部的手指而决定手部的手指数为5。

以影像220而言，影像处理器120会撷取到影像220中的肤色部分H2，并且至少会侦测到边缘点B1~B6，以及计算出肤色部分H2的质心点MB。然后，依据影像210的判断方式，影像处理器120会将边缘点B1~B4当作手部的手指而决定手部的手指数为4。以影像230而言，影像处理器120会撷取到影像230中的肤色部分H3，并且至少会侦测到边缘点C1~C6，以及计算出肤色部分H3的质心点MC。然后，依据影像210的判断方式，影像处理器120会将边缘点C2~C4当作手部的手指而决定手部的手指数为3。

以影像240而言，影像处理器120会撷取到影像240中的肤色部分H4，并且至少会侦测到边缘点D1~D6，以及计算出肤色部分H4的质心点MD。然后，依据影像210的判断方式，影像处理器120会将边缘点D3及D4当作手部的手指而决定手部的手指数为2。以影像250而言，影像处理器120会撷取到影像250中的肤色部分H5，并且至少会侦测到边缘点E1~E6，以及计算出肤色部分H5的质心点ME。然后，依据影像210的判断方式，影像处理器120会将边缘点E4当作手部的手指而决定手部的手指数为1。

以影像260而言，影像处理器120会撷取到影像260中的肤色部分H6，并且至少会侦测到边缘点F1~F6，以及计算出肤色部分H6的质心点MF。然后，依据影像210的判断方式，影像处理器120会将判定影像260中未出现手部的手指而决定手部的手指数为0。

依据上述，影像处理器120可依据单一影像（如210、220、230、240、250及260）的手部的手指数输出手势资讯IGES，亦即影像210为对应至一种手势，影像220为对应至另一种手势，其余则以此类推。或者，影像处理器120可依据两相邻影像中（如210、220、230、240、250及260）手部的手指数的变化输出手势资讯IGES，亦即影像210变化至影像220为对应至一种手势，影像210变化至影像230为对应至另一种手势，其余则以此类推。再者，当两相邻影像中（如210、220、230、240、250及260）手部的手指数为相同时，影像处理器120可依据影像中手部的手指数及手部的质心点的移动方向输出手势资讯IGES，亦即两相邻影像皆为影像210且手部的质心点MA未移动为对应至一种手势，两相邻影像皆为影像210且手部的质心点MA分别往上、下、左、右移动为对应至四种手势。

在上述实施例中，影像处理器120是以边缘点的位置于垂直位置上与手部的质心点比较来判断是否为手部的手指。但在本发明的一实施例中，影像处理器120可先判断肤色部分的边缘点是否为对应真实手指，并且将这些边缘点中对应真实手指且与手部的质心点间的距离大于一预设距离的部分的数量作为手部的手指数。

以影像210为例，影像处理器120会侦测到边缘点A1~A7，并且计算出肤色部分H1的质心点MA。依据图形来看，手指的指头形状类似字母“U”，而边缘点A1~A5的形状类似字母“U”，因此边缘点A1~A5应该为对应真实手指，边缘点A6及A7的形状与字母“U”的相似度较低，因此边缘点A6及A7应该为非对应真实手指。或者，依据线条斜率来看，边缘点A1~A5的线条的斜率变化较大，因此边缘点A1~A5应该为对应真实手指，而边缘点A6及A7的线条的斜率变化较小，因此边缘点A6及A7应该为非对应真实手指。并且，由于边缘点A1~A5与质心点MA的距离较远，因此影像210的手部的手指数判定为5。

图3为本发明一实施例的手势辨识方法的流程图。请参照图3，在本实例中，会接收影像感测器所提供的第一影像（步骤S310），并且透过影像处理器判断第一影像中的手部的手指数以输出手势资讯（步骤S320）。

图4为图3中本发明一实施例的步骤S320的具体流程图。请参照图3及图4，在本实施例中，会透过影像处理器撷取第一影像中的肤色部分（步骤S410），并且依据所撷取的肤色部分判断第一影像中是否出现手部（步骤S420）。当第一影像中出现手部时，亦即步骤S420的判断结果为“是”，则透过影像处理器对第一影像中的肤色部分进行边缘侦测，并且计算肤色部分的质心点的位置作为手部的质心点（步骤S430）。接着，会透过影像处理器依据肤色部分的多个边缘点及手部的质心点判断手部的手指数（步骤S440），并且透过影像处理器依据第一影像中的手部的手指数输出手势资讯（步骤S450）。当第一影像中未出现手部时，亦即步骤S420的判断结果为“否”，则回到步骤S310。并且，在步骤S450之后，同样会回到步骤S310。

图5为本发明另一实施例的手势辨识方法的流程图。请参照图5，在本实例中，会接收影像感测器所提供的第一影像及第二影像，其中第一影像的时间点不同于第二影像的时间点（步骤S510）。接着，会透过影像处理器依据第一影像中的手部的手指数与第二影像中的手部的手指数的差距输出手势资讯（步骤S520）。

图6为图5中本发明另一实施例的步骤S520的具体流程图。请参照图5及图6，在本实施例中，会透过影像处理器撷取第一影像及第二影像中的肤色部分（步骤S610），并且依据所撷取的肤色部分判断第一影像及第二影像中是否皆出现手部（步骤S620）。当第一影像及第二影像中皆出现手部时，亦即步骤S620的判断结果为“是”，则透过影像处理器对第一影像及第二影像中的肤色部分进行边缘侦测，并且计算肤色部分的质心点的位置作为手部的质心点（步骤S630）。接着，会透过影像处理器依据肤色部分的多个边缘点及手部的质心点判断第一影像中手部的手指数及第二影像中手部的手指数（步骤S640）。然后，判断第一影像中的手部的手指数是否相同于第二影像中的手部的手指数（步骤S650）。

当第一影像中的手部的手指数相同于第二影像中的手部的手指数时，亦即步骤S650的判断结果为“是”，会透过影像处理器依据第一影像中手部的质心点的位置及第二影像中的手部的质心点的位置判断手部的质心点的移动方向，并且依据第一影像中的手部的手指数及手部的质心点的移动方向输出手势资讯。当第一影像中的手部的手指数不同于第二影像中的手部的手指数时，亦即步骤S650的判断结果为“否”，会透过影像处理器依据第一影像中的手部的手指数与第二影像中的手部的手指数的差距输出手势资讯。当第一影像及第二影像的其中之一未出现手部或第一影像及第二影像中皆未出现手部时，亦即步骤S620的判断结果为“否”，则回到步骤S510。并且，在步骤S660及S670之后，同样会回到步骤S510。

其中，上述步骤的顺序为用以说明，本发明实施例不以此为限。并且，上述步骤的细节可参照图1及图2实施例，在此则不再赘述。

综上所述，本发明实施例的手势辨识系统及手势辨识方法，影像处理器可依据单一影像中的手指数输出手势资讯，或者影像处理器可依据两相邻影像中的手部的手指数的差距输出手势资讯。并且，当两相邻影像中的手部的手指数相同时，影像处理器可依据影像中的手部的手指数与手部的质心点的移动方向输出手势资讯。借此，可提高操作的精确性及降低使用者的疲劳。

上列较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1. 一种手势辨识系统，其特征在于，包括：

一影像感测器，用以提供一第一影像；以及

一影像处理器，耦接该影像感测器，以依据该第一影像中的一手部的手指数输出一手势资讯。

2. 根据权利要求1所述的手势辨识系统，其特征在于：其中该影像处理器撷取该第一影像中的一肤色部分，以判断该第一影像中是否出现该手部，当该第一影像中出现该手部时，该影像处理器对该第一影像中的该肤色部分进行边缘侦测，并且计算该肤色部分的质心点作为该手部的质心点，以依据该肤色部分的多个边缘点及该手部的质心点判断该手部的手指数。

3. 根据权利要求2所述的手势辨识系统，其特征在于：其中该影像处理器将该些边缘点的位置于垂直位置上大于该手部的质心点且与该手部的质心点间的距离大于一预设距离的部分的数量作为该手部的手指数。

4. 根据权利要求2所述的手势辨识系统，其特征在于：其中该影像处理器判断该些边缘点是否为对应真实手指，并且将该些边缘点中对应真实手指且与该手部的质心点间的距离大于一预设距离的部分的数量作为该手部的手指数。

5. 根据权利要求4所述的手势辨识系统，其特征在于：其中该影像处理器依据该些边缘点的形状判断该些边缘点是否为对应真实手指。

6. 根据权利要求4所述的手势辨识系统，其特征在于：其中该影像处理器依据该些边缘点的线条的斜率变化判断该些边缘点是否为对应真实手指。

7. 根据权利要求2所述的手势辨识系统，其特征在于：其中该影像处理器输出该手部的质心点的位置资讯。

8. 根据权利要求1所述的手势辨识系统，其特征在于：其中该影像感测器用以提供一第二影像，该影像处理器依据该第一影像中的该手部的手指数与该第二影像中的该手部的手指数的差距输出该手势资讯，其中该第一影像的时间点不同于该第二影像的时间点。

9. 根据权利要求8所述的手势辨识系统，其特征在于：其中当该第一影像中的该手部的手指数相同于该第二影像中的该手部的手指数时，该影像处理器依据该第一影像中该手部的质心点的位置及该第二影像中该手部的质心点的位置判断该手部的质心点的移动方向，并且依据该第一影像中的该手部的手指数及该手部的质心点的移动方向输出该手势资讯。

10. 一种手势辨识方法，其特征在于，包括：

接收一影像感测器所提供的一第一影像；以及

透过一影像处理器判断该第一影像中的一手部的手指数以输出一手势资讯。

11. 根据权利要求10所述的手势辨识方法，其特征在于：其中判断该第一影像中的该手部的手指数的步骤包括：

透过该影像处理器撷取该第一影像中的一肤色部分，以判断该第一影像中是否出现该手部；

当该第一影像中出现该手部时，透过该影像处理器对该第一影像中的该肤色部分进行边缘侦测，并且计算该肤色部分的质心点的位置作为该手部的质心点；以及

透过该影像处理器依据该肤色部分的多个边缘点及该手部的质心点判断该手部的手指数。

12. 根据权利要求11所述的手势辨识方法，其特征在于：其中依据该些边缘点及该手部的质心点判断该手部的手指数的步骤包括：

透过该影像处理器将该些边缘点的位置于垂直位置上大于该手部的质心点且与该手部的质心点间的距离大于一预设距离的部分的数量作为该手部的手指数。

13. 根据权利要求11所述的手势辨识方法，其特征在于：其中依据该些边缘点及该手部的质心点判断该手部的手指数的步骤包括：

透过该影像处理器判断该些边缘点是否为对应真实手指，并且将该些边缘点中对应真实手指且与该手部的质心点间的距离大于一预设距离的部分的数量作为该手部的手指数。

14. 根据权利要求13所述的手势辨识方法，其特征在于：其中判断该些边缘点是否为对应真实手指的步骤包括：

透过该影像处理器依据该些边缘点的形状判断该些边缘点是否为对应真实手指。

15. 根据权利要求13所述的手势辨识方法，其特征在于：其中判断该些边缘点是否为对应真实手指的步骤包括：

透过该影像处理器依据该些边缘点的线条的斜率变化判断该些边缘点是否为对应真实手指。

16. 根据权利要求11所述的手势辨识方法，其特征在于：更包括：

透过该影像处理器输出该手部的质心点的位置资讯。

17. 根据权利要求10所述的手势辨识方法，其特征在于：更包括：

接收该影像感测器所提供的一第二影像，其中该第一影像的时间点不同于该第二影像的时间点；以及

透过该影像处理器依据该第一影像中的该手部的手指数与该第二影像中的该手部的手指数的差距输出该手势资讯。

18. 根据权利要求17所述的手势辨识方法，其特征在于：其中透过该影像处理器依据该第一影像中的该手部的手指数与该第二影像中的该手部的手指数的差距输出该手势资讯的步骤包括：

当该第一影像中的该手部的手指数相同于该第二影像中的该手部的手指数时，透过该影像处理器依据该第一影像中该手部的质心点的位置及该第二影像中的该手部的质心点的位置判断该手部的质心点的移动方向，并且依据该第一影像中的该手部的手指数及该手部的质心点的移动方向输出该手势资讯。

Images