CN103793683B - 手势辨识方法与电子装置 - Google Patents
手势辨识方法与电子装置 Download PDFInfo
- Publication number
- CN103793683B CN103793683B CN201210471826.7A CN201210471826A CN103793683B CN 103793683 B CN103793683 B CN 103793683B CN 201210471826 A CN201210471826 A CN 201210471826A CN 103793683 B CN103793683 B CN 103793683B
- Authority
- CN
- China
- Prior art keywords
- gesture
- vector
- concentric ring
- hand
- cross point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 144
- 238000009434 installation Methods 0.000 claims description 31
- 239000000203 mixture Substances 0.000 claims description 6
- 230000003993 interaction Effects 0.000 abstract description 9
- 210000004247 hand Anatomy 0.000 description 14
- 230000005484 gravity Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Abstract
本发明提供一种手势辨识方法与电子装置,该方法适用于一电子装置,辨识至少一手的一手势,该方法包括:撷取该手的一手部图像,其中该手部图像包括一手部区域。计算该手部区域的一重心坐标。以该重心坐标为一圆心,于该手部图像上配置共一同心圆圈数的至少一同心圆圈。计算每一该多个同心圆圈交会该手部区域的一交叉点数量,以决定该手势的一特征向量。根据该特征向量,进行一手势辨识,以辨识该手的该手势。通过本发明能够简化数据处理的复杂度,并可提高人机互动的即时性。
Description
技术领域
本发明是有关于一种辨识方法与电子装置,且特别是有关于一种手势辨识方法与电子装置。
背景技术
传统的人机互动界面为滑鼠、键盘和摇杆,随着科技发展日新月异,近来触控式荧幕也广为采用于各项电子产品中,作为人机互动界面。为了使人机互动可以更加人性化,体感控制提供了一种全新的输入方式,其中之一为手势辨识,由于手势是一种相当原始又自然的示意方式,在日常生活里,手势为人与人互动中常用的沟通方式之一。手势辨识应用于人机界面设计、医疗复健、虚拟实境、数字艺术创作与游戏设计等领域近来渐渐受到消费者的瞩目。
辨识手势的资讯主要有两种:一是动态手势,另一则是静态手势。动态手势资讯包括手部移动轨迹、位置资讯与时序关系,静态手势资讯则主要为手形变化,通过分析手势资讯并根据不同的手势,来达到人机互动的功能。手势辨识的方法之一为通过使用摄影镜头与深度感应器将图像输入电脑,每张图像必须做前置处理,如图像二值化和图像中背景的清除等等,再从一连串图像中撷取并分析出使用者手部位置及手势等相关信息。所以一般图像的前置处理需花费较长时间,以及所获得的手势特征噪声也较高,对于要实现即时的人机互动有相当的挑战。
发明内容
本发明提供一种手势辨识方法,可降低数据处理的复杂度。
本发明提供一种电子装置,可提高人机互动的即时性。
本发明提出一种手势辨识方法,适用于一电子装置,辨识至少一手的一手势,该方法包括:撷取该手的一手部图像,其中该手部图像包括一手部区域。计算该手部区域的一重心坐标。以该重心坐标为一圆心,于该手部图像上配置共一同心圆圈数的至少一同心圆圈。计算每一该些同心圆圈交会该手部区域的一交叉点数量,以决定该手势的一特征向量。根据该特征向量,进行一手势辨识,以辨识该手的该手势。
在本发明的一实施例中,上述的手势辨识方法,其中于该手部图像配置该些同心圆圈的步骤包括:以该重心坐标至该手部图像中该手的一腕关节的一距离为一最大半径。以该重心坐标为该圆心以及该最大半径所对应的一范围内,等量配置该些同心圆圈,其中该最大半径除以该同心圆圈数大于等于一。
在本发明的一实施例中,上述的手势辨识方法,其中该特征向量具有多个分量值(component),每一该些分量值分别对应该些同心圆圈其中之一,且每一该些同心圆圈交会该手部区域的该交叉点数量,等于该特征向量中相对应该同心圆圈的该分量值。
在本发明的一实施例中,上述的手势辨识方法,其中该电子装置具有一存储装置,该存储装置记录多个标准手势以及每一该些标准手势所分别对应的一标准向量,而该手势辨识包括:均分该特征向量中的该些分量,以分别组成多个次向量。计算每一该些次向量的一平均分量值。于该些次向量所分别对应的该些平均分量值中,取样至少其中之一,以组成一平均向量。分别计算该平均向量与每一该些标准向量的一误差值。根据该些误差值,确认该手部图像所对应的该手势。此外,均分该特征向量中的该些分量的步骤包括:以该同心圆圈数的百分之二十为一均分基准,以将该特征向量中的该些分量依序分群,以个别组成该次向量。
在本发明的一实施例中,上述的手势辨识方法,其中该电子装置具有一存储装置,该存储装置记录多个标准手势以及每一该些标准手势所分别对应的一交叉点数量范围,而该手势辨识包括:根据该特征向量,确认该些分量值中的一最大分量值。取样该最大分量值所对应的该同心圆圈至一次大半径所对应的该同心圆圈之间的所有该些同心圆圈,其中该次大半径仅小于以该重心坐标至该手部图像中该手的一腕关节的一最大半径。将所取样的该些同心圆圈所对应的该些分量值平均,以获得一平均交叉点数量值。根据该存储装置所记录的该些交叉点数量范围,确认该平均交叉点数量值落于该些交叉点数量范围其中之一内。以所确认的该交叉点数量范围对应的该标准手势为该手部图像所对应的该手势。
本发明另提出一种电子装置,包括:一图像撷取装置、一存储装置与一处理器。图像撷取装置撷取至少一手的一手部图像,其中该手部图像包括一手部区域。存储装置储存一计算机可读写软件。处理器执行该计算机可读写软件的多个指令,其中该些指令包括:计算该手部区域的一重心坐标。以该重心坐标为一圆心,于该手部图像上配置共一同心圆圈数的至少一同心圆圈。计算每一该些同心圆圈交会该手部区域的一交叉点数量,以决定该手势的一特征向量。根据该特征向量,进行一手势辨识,以辨识该手的该手势。
在本发明的一实施例中,上述的电子装置,其中于该手部图像配置该些同心圆圈的指令还包括:以该重心坐标至该手部图像中该手的一腕关节的一距离为一最大半径。以该重心坐标为该圆心以及该最大半径所对应的一范围内,等量配置该些同心圆圈,其中该最大半径除以该同心圆圈数大于等于一。
在本发明的一实施例中,上述的电子装置,其中该特征向量具有多个分量值(component),每一该些分量值分别对应该些同心圆圈其中之一,且每一该些同心圆圈交会该手部区域的该交叉点数量,等于该特征向量中相对应该同心圆圈的该分量值。
在本发明的一实施例中,上述的电子装置,其中该存储装置记录多个标准手势以及每一该些标准手势所分别对应的一标准向量,而该手势辨识的指令还包括:均分该特征向量中的该些分量,以分别组成多个次向量。计算每一该些次向量的一平均分量值。于该些次向量所分别对应的该些平均分量值中,取样至少其中之一,以组成一平均向量。分别计算该平均向量与每一该些标准向量的一误差值。根据该些误差值,确认该手部图像所对应的该手势。此外,均分该特征向量中的该些分量的指令包括:以该同心圆圈数的百分之二十为一均分基准,以将该特征向量中的该些分量依序分群,以个别组成该次向量。
在本发明的一实施例中,上述的电子装置,其中该存储装置记录多个标准手势以及每一该些标准手势所分别对应的一交叉点数量范围,而该手势辨识的指令还包括:根据该特征向量,确认该些分量值中的一最大分量值。于该最大分量值所对应的该同心圆圈至一次大半径所对应的该同心圆圈之间的所有该些同心圆圈,其中该次大半径仅小于以该重心坐标至该手部图像中该手的一腕关节的一最大半径。将所取样的该些同心圆圈所对应的该些分量值平均,以获得一平均交叉点数量值。根据该存储装置所记录的该些交叉点数量范围,确认该平均交叉点数量值落于该些交叉点数量范围其中之一内。以所确认的该交叉点数量范围对应的该标准手势为该手部图像所对应的该手势。
基于上述,本发明以在手势的手部区域上配置同心圆圈,通过同心圆圈与手部区域的交叉点数量,对应出实际手势的特征向量。之后,更通过特征向量辨识出此手势。相较于现有的在手部区域上计算出中心点至手部区域边缘的360个方位上的最远距离,并根据这些数据取得手势的特征,本发明以特征向量代表手势的特征可简化数据处理的复杂度,并可提高人机互动的即时性。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明一实施例的一种手势辨识方法流程简图;
图2为根据本发明一实施例的一种手部特征运算流程简图;
图3A为根据本发明一实施例的于手部图像上配置心圆的流程简图;
图3B为根据本发明一实施例的于手部图像上配置心圆的示意简图;
图4为根据本发明一实施例的一种手势辨识流程简图;
图5为根据本发明又一实施例的一种手势辨识流程简图;
图6为根据本发明又一实施例的交叉点数量与同心圆圈数的关系图;
图7为部份手势简图;
图8为根据本发明一实施例的一种电子装置的示意简图。
附图标记
S101~S111、S201~S211、S301~S305、S405~S425、S501~S521:方法流程步骤
308:手部图像
310a、310b、310c、310d、310e:同心圆圈
c:重心
d:最小同心圆圈半径
800:电子装置
802:图像撷取装置
804:存储装置
806:处理器
具体实施方式
图1绘示为根据本发明一实施例的一种手势辨识方法流程简图。请参照图1,本实施例适用于以一电子装置辨识至少一手的手势。于步骤S101中,撷取手的一手部图像,其中手部图像包括一手部区域。更明确的说,撷取手的手部图像之后,还进行一图像处理(包括读取手部图像的深度图像(depth image),调整深度图像的对比、去除背景以及辨识手部资讯等),以分析出手部图像的手部区域。
之后,于步骤S105中,进行一手部特征运算,以获得手势的一特征向量。继之,于步骤S115中,根据所获得的特征向量,进行一手势辨识,以辨识手的手势。
以下将以一实施例描述上述步骤S105中的手部特征运算。图2绘示为根据本发明一实施例的一种手部特征运算流程简图。请参照图2,于步骤S201中,计算手部区域的一重心坐标。举例而言,在分析出手部区域的一二值图之后,首先计算手部区域的重心坐标c(xc,yc)(如图3B所示的手部区域重心c)。当手部区域的二值图解析度为n×m(如图3B所示),则根据公式一计算手部区域的面积A。
其中公式一的i代表二值图解析度的宽度,j代表二值图解析度的长度,b(i,j)代表二值图中每个像素的值,若是在手部区域上则像素值为1,不在手部区域上则像素值为0。
之后,根据公式二计算手部区域的重心在X轴的坐标xc,且根据公式二计算手部区域的重心在Y轴的坐标yc的计算如公式三。
之后,于步骤S205中,以重心坐标c(xc,yc)为一圆心,于手部图像上配置至少一同心圆圈。换句话说,例如是配置总共为同心圆圈数的同心圆圈于手部图像上。如图3B所示,手部图像308上配置五个同心圆圈(包括310a、310b、310c、310d与310e)。
接着,于步骤S211中,计算每一同心圆圈交会手部区域的交叉点数量,以决定手势的特征向量。值得注意的是,此特征向量具有多个分量值(component),每一分量值分别对应同心圆圈其中之一。更明确的说,每一同心圆圈交会该手部区域的交叉点数量,即是特征向量中相对应此同心圆圈的该分量值。换句话说,沿着远离手部区域重心c的方向,每一同心圆圈交会手部区域的交叉点数量作为分量值,以组成此手势的特征向量。另外,当同心圆圈的数量为k时,则经由计算每一同心圆圈交会手部区域的交叉点数量而决定的手势的特征向量则为一k维度的特征向量。如图3B所示,手部图像308上配置五个同心圆圈,则此手势的特征向量为一五维度特征向量。
再者,每一同心圆圈与手部区域的交叉点数量的方法例如是沿着一固定方向(顺时针方向或逆时针方向)依序分析同心圆圈的像素,并且比对两两相邻的像素,当相邻两像素不同时,则确认此两相邻像素为同心圆圈与手部区域的一交叉点.
以下将以一实施例描述上述步骤S205的于手部图像配置同心圆圈的流程。图3A绘示为根据本发明一实施例的于手部图像上配置心圆的流程简图。图3B绘示为根据本发明一实施例的于手部图像上配置心圆的示意简图。请参照图3A与图3B,于步骤S301中,以重心坐标c(xc,yc)至手部图像中手的一腕关节的一距离为一最大半径。其中,确认手部图像中手的腕关节的位置,例如是以NITE软件分析手部图像中的手的骨架而获得的腕关节位置。于另一实施例中,确认上述最大半径的方法还包括:以手部区域的具有解析度为n×m的二值图中(如图3B所示),重心坐标c(xc,yc)至手部区域n×m二值图的四边的最长距离作为最大半径。
之后,于步骤S305中,以重心坐标c(xc,yc)为圆心以及最大半径所对应的一范围内,等量配置同心圆圈(包括图3B的310a、310b、310c、310d与310e)。值得注意的是,最大半径除以同心圆圈数大于等于一。更明确的说,即是以最大半径除以同心圆圈数,以获得最接近重心坐标c(xc,yc)的一最小同心圆圈的半径(如图3B的半径d),而其他同心圆圈从重心坐标c(xc,yc)向外延伸,相邻两同心圆圈的半径差值即是最小同心圆圈的半径(如图3B的半径d)。
以下将以数个实施例搭配图示,说明前述实施例的图1中的手势辨识流程。
图4绘示为根据本发明一实施例的一种手势辨识流程简图。请参照图4,本实施例的手势辨识方法适用于电子装置,其还配备有一存储装置,用以记录多个标准手势以及每一标准手势所分别对应的一标准向量。请参照图4,于本实施例中,一手部区域上有n(其中n为正整数)个同心圆圈,而从最小半径所对应的同心圆圈至最大半径所对应的同心圆圈之间,每个同心圆圈与手部区域的交叉点数量所组成的特征向量为(X1,X2,…,Xn)。再者,上述特征向量(X1,X2,…,Xn)中,X1为最小半径同心圆圈与手部区域的交叉点数量(以向量的观点,则X1为特征向量中的分量之一),而以此类推,Xn为最大半径同心圆圈与手部区域的交叉点数量(以向量的观点,则Xn为特征向量中的分量之一)。于本实施例的步骤S405中,均分此特征向量中的分量,以分别组成数个次向量。例如以所有同心圆圈数量的百分之二十的数量为均分基准,将特征向量的分量从X1至Xn依序分群成以组成五个次向量。也就是每组次向量中的分量的数量等于同心圆圈数量的百分之二十的数量。
更明确的说,从零圈(亦即同心圆圈圆心)至第20%的同心圆圈数量所分别对应的分量,组成第一次向量(X1,…,Xn/5),若n/5非整数则取小于n/5的最大整数。以此类推,第20%的同心圆圈数量至40%的同心圆圈数量所分别对应的分量,组成第二次向量(Xn/5+1,…,X2n/5)、第40%的同心圆圈数量至60%的的同心圆圈数量所分别对应的分量,组成第三次向量(X2n/5+1,…,X3n/5)、第60%的同心圆圈数量至80%的同心圆圈数量所分别对应的分量,组成第四次向量(X3n/5+1,…,X4n/5)以及第80%的同心圆圈数量至100%的同心圆圈数量所分别对应的分量,组成第五次向量(X4n/5+1,…,Xn)。
于步骤S411,分别计算每组次向量中分量的平均值(亦即平均分量值)。以上述五组次向量为例,分别计算上述五组次向量中分量的个别平均分量值Y1、Y2、Y3、Y4以及Y5。而各个次向量的平均分量值的等式1-5分别如下:
i为正整数(等式1)
i为正整数(等式2)
i为正整数(等式3)
i为正整数(等式4)
i为正整数(等式5)
于步骤S415中,于所有次向量所对应的平均分量值中,取样至少一个平均分量值组成一平均向量。以上述五组次向量为例,例如取样最后三组次向量的平均分量值组合成一三维平均向量(Y3,Y4,Y5)。之后,于步骤S421中,以欧式距离公式,分别计算平均向量与存储装置中所记录的标准手势所分别对应的标准向量的一误差值d。亦即计算平均向量与各个标准向量之间的欧式距离。以点x(x1,…,xn)和点y(y1,…,yn)之间的距离为例,依照欧式距离公式(等式6)计算出空间中点x与点y之间的距离为:
于步骤S425中,根据所计算出的平均向量与每一标准向量的误差值,确认手部图像所对应的手势。于一实施例中,上述确认手部图像所对应的手势的方法,例如是当所计算出的平均向量与标准向量其中之一的误差值/欧式距离小于一预设值(例如是介于正负二的一预设范围内)时,则此标准向量所对应的标准手势,即是此平均向量所对应的手势。于又一实施例中,上述确认手部图像所对应的手势的方法,例如是比较计算出的平均向量与每一标准向量的误差值/欧式距离,当平均向量与标准向量其中之一的误差值/欧式距离为最小时,此标准向量所对应的标准手势,即是此平均向量所对应的手势。
上述实施例所描述的手势辨识方法中的从手部区域上的同心圆圈与手部区域的个别交叉点数量所组成的特征向量,直至计算出平均值向量与每一标准向量的误差值等步骤,以下将以图6的范例实施例作更进一步的说明。图6绘示为根据本发明又一实施例的交叉点数量与同心圆圈数的关系图。以配置同心圆圈总数为八的图6为例,其由最内圈同心圆圈1(亦即最小半径同心圆圈)至最外圈同心圆圈8(亦即最大半径同心圆圈)的手势的特征向量,例如是(0,0,6,10,10,8,6,0)。
之后,图6中最小半径同心圆圈分量值为0所对应的同心圆圈1为例,则在同心圆圈1(亦即最内圈同心圆圈,也就是最小半径所对应的同心圆圈)至同心圆圈8(亦即最外圈同心圆圈,也就是最大半径所对应的同心圆圈)之间分群特征向量中的分量成数等分(图4的步骤S405)。例如是从最小半径所对应的同心圆圈至最大半径所对应的同心圆圈,依序以20%的同心圆圈数分群所有的同心圆圈。更明确的说,请参照图6,8圈同心圆圈数的20%是为1.6圈。因此将特征向量中的分量依序每1.6圈分成一组次向量。
接着,计算每一次向量的平均分量值。以图6所对应的手势的特征向量(0,0,6,10,10,8,6,0)为例,同心圆圈0至1.6的平均分量值为0,同心圆圈1.7至3.2的平均分量值为3,同心圆圈3.3至4.8的平均分量值为10,同心圆圈4.9至6.4的平均分量值为9,同心圆圈6.5至8的平均分量值为3(图4的步骤S411)。于此实施例中,取最后三个次向量的平均分量值组成的平均向量为(10,9,3)(图4的步骤S415)。之后,分别计算平均向量与存储装置中所记录的每一标准向量之间的误差值(亦及欧式距离)(图4的步骤S421)。
图5绘示为根据本发明又一实施例的一种手势辨识流程简图。请参照图5,本实施例的手势辨识方法适用于电子装置,其还配备有一存储装置,用以记录多个标准手势以及每一标准手势所分别对应的一交叉点数量范围。于步骤S501中,根据特征向量,确认特征向量中的分量值中的最大分量值。举例而言,当手部区域上配置有n(n为自然数)个同心圆圈,而同心圆圈分别与手部区域的交叉点数量所组成的特征向量为(X1,X2,…,Xn)。其中,X1为最小半径同心圆圈与手部区域的交叉点数量,而以此类推,Xn为最大半径同心圆圈与手部区域的交叉点数量。因此,于特征向量(X1,X2,…,Xn)中依序从X1至Xn,确认第一个最大分量值。也就是当最大分量值不止一个时,则根据X1至Xn的顺序中,确认排在最靠近X1的最大分量值为最后的最大分量值。换句话说,当特征向量(X1,X2,…,Xn)中的最大分量值有三个,分别是Xi、Xj以及Xk,其中i、j与k分别代表分量Xi、Xj以及Xk在X1至Xn中的顺序,也就是i、j与k均为自然数且大于等于1并小于等于n,而且i小于j,且j小于k。因此则Xi即为特征向量(X1,X2,…,Xn)中的最大分量值。
于步骤S505中,于该最大分量值所对应的该同心圆圈至次大半径所对应的该同心圆圈之间,取样所有同心圆圈。上述的次大半径例如是数值仅次于最大半径的半径大小。亦即次大半径仅小于以重心坐标至手部图像中手的一腕关节的一最大半径。更明确的说,次大半径所对应的同心圆圈所围出的圆形面积,仅次于最大半径所对应的同心圆圈所围出的圆形面积。举例而言,以前述具有最大分量值Xi的特征向量(X1,X2,…,Xn)为例,则取样Xi至Xn-1之间的所有同心圆圈(也就是取样Xi至Xn-1)。
之后,于步骤S511中,将所取样的同心圆圈所分别对应的分量值平均,以获得一平均交叉点数量值。举例而言,以前述具有最大分量值Xi的特征向量(X1,X2,…,Xn)为例,计算Xi至Xn-1之平均值Y的等式7如下所示:
于步骤S515中,根据存储装置所记录的交叉点数量范围,确认平均交叉点数量值落于交叉点数量范围其中之一内。于步骤S521中,以所确认的交叉点数量范围对应的标准手势为手部图像所对应的手势。
以配置同心圆圈总数为八的图6为例,请参照图6,其手势的特征向量为(0,0,6,10,10,8,6,0),而其中最大分量值为同心圆圈4所对应的分量值10(亦即交叉点数量10)(图5的步骤S501)。之后,取样同心圆圈4至同心圆圈7(亦即次大半径所对应的同心圆圈)之间的所有同心圆圈所对应的分量值,其分别为10、10、8、6(图5的步骤S505),而所取样的分量值的平均值(亦即平均交叉点数量值)为8.5(也就是10、10、8、6的总和34除以4所得到的值)(图5的步骤S511)。
再者,于本实施例中,存储装置所记录的交叉点数量范围包括:交叉点数量范围为大于零且小于等于2时,则对应手势a(请参照图7的手势a)、交叉点数量范围为大于2且小于等于4时,则对应手势b(请参照图7的手势b)、交叉点数量范围为大于4且小于等于6时,则对应手势c(请参照图7的手势c)、交叉点数量范围为大于6且小于等于8时,则对应手势d(请参照图7的手势d)、交叉点数量范围为大于8且小于等于10时,则对应手势e(请参照图7的手势e)与交叉点数量范围为大于10且小于等于12时,则对应手势f(请参照图7的手势f)。因此,图6所计算出的平均交叉点数量值为8.5则落于手势e所对应的交叉点数量范围(大于8且小于等于10)(图5的步骤S515)。因此手部区域所对应的手势,即是手势e(请参照图7的手势e)(图5的步骤S521)。
本发明中,通过统计所有同心圆圈与手部区域的交叉点数量来找出不同手势间的特征差异。举例而言,请参照图7的部分常用手势简图(二值图),当手势所使用较多手指数时(如手势f为一般用来表示5的手势),则每一同心圆圈与手部区域的交叉点数量较多。而当手势所使用的手指数较少(如手势a),则在特定同心圆上会产生较少的交叉点数量。此外,手势c与手势g,虽然都使用两根手指头比出手势,但由于手指的长短略有差异,所以在不同距离的圈数上也会产生不同的交叉点数量(以及会具有迥然不同的特征向量),故可藉此判断出两者间的差异。
本发明的手势辨识方法亦可以通过一电子装置具体实行。以下以一实施例搭配图示,描述执行本发明的手势辨识方法的电子装置。
图8绘示为根据本发明一实施例的一种电子装置的示意简图。请参照图8,本实施例的电子装置800包含一图像撷取装置802、一存储装置804以及一处理器806。图像撷取装置802,撷取至少一手的一手部图像。其中手部图像包括一手部区域,而获得此手部区域的方法,已经于前述实施例中描述,因此不在此作赘述。存储装置804储存一计算机可读写软件。此外,存储装置804还记录多个标准手势以及每一标准手势所分别对应的一标准向量或每一标准手势所分别对应的一交叉点数量范围。处理器806执行计算机可读写软件的多个指令。这些指令包括进行手部特征运算(步骤S105、步骤S201~S211、步骤S301~S305)以及进行手势辨识(步骤S111、步骤S405~S425或步骤S501~S521)。处理器806执行的指令已经于前述实施例中详述,因此不在此作赘述。
综上所述,本发明以在手势的手部区域上配置同心圆圈,通过同心圆圈与手部区域的交叉点数量,对应出实际手势的特征向量。之后,更通过特征向量辨识出此手势。相较于现有的在手部区域上计算出中心点至手部区域边缘的360个方位上的最远距离,并根据这些数据取得手势的特征,本发明以特征向量代表手势的特征可简化数据处理的复杂度,并可提高人机互动的即时性。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中普通技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视权利要求书所界定者为准。
Claims (12)
1.一种手势辨识方法,适用于一电子装置,辨识至少一手的一手势,其特征在于,所述手势辨识方法包括:
撷取所述手的一手部图像,其中所述手部图像包括一手部区域;
计算所述手部区域的一重心坐标;
以所述重心坐标为一圆心,于所述手部图像上配置共一同心圆圈数的至少一同心圆圈;
计算每一所述同心圆圈交会所述手部区域的一交叉点数量,以决定所述手势的一特征向量;以及
根据所述特征向量,进行一手势辨识,以辨识所述手的所述手势。
2.根据权利要求1所述的手势辨识方法,其特征在于,于所述手部图像配置所述同心圆圈的步骤包括:
以所述重心坐标至所述手部图像中所述手的一腕关节的一距离为一最大半径;以及
以所述重心坐标为所述圆心以及所述最大半径所对应的一范围内,等量配置所述同心圆圈,其中所述最大半径除以所述同心圆圈数大于等于一。
3.根据权利要求1所述的手势辨识方法,其特征在于,所述特征向量具有多个分量值,每一所述多个分量值分别对应所述同心圆圈其中之一,且每一所述同心圆圈交会所述手部区域的所述交叉点数量,等于所述特征向量中相对应所述同心圆圈的所述分量值。
4.根据权利要求3所述的手势辨识方法,其特征在于,所述电子装置具有一存储装置,所述存储装置记录多个标准手势以及每一所述多个标准手势所分别对应的一标准向量,而所述手势辨识包括:
均分所述特征向量中的所述多个分量值,以分别组成多个次向量;
计算每一所述多个次向量的一平均分量值;
于所述多个次向量所分别对应的所述平均分量值中,取样至少其中之一,以组成一平均向量;
分别计算所述平均向量与每一所述标准向量的一误差值;以及
根据所述误差值,确认所述手部图像所对应的所述手势。
5.根据权利要求4所述的手势辨识方法,其特征在于,所述均分所述特征向量中的所述多个分量值,以分别组成多个次向量的步骤包括:
以所述同心圆圈数的百分之二十为一均分基准,以将所述特征向量中的所述多个分量值依序分群,以分别组成所述多个次向量。
6.根据权利要求3所述的手势辨识方法,其特征在于,所述电子装置具有一存储装置,所述存储装置记录多个标准手势以及每一所述多个标准手势所分别对应的一交叉点数量范围,而所述手势辨识包括:
根据所述特征向量,确认所述多个分量值中的一最大分量值;
取样所述最大分量值所对应的所述同心圆圈至一次大半径所对应的所述同心圆圈之间的所有所述同心圆圈,其中所述次大半径仅小于以所述重心坐标至所述手部图像中所述手的一腕关节的一最大半径;
将所取样的所述同心圆圈所对应的所述多个分量值平均,以获得一平均交叉点数量值;
根据所述存储装置所记录的所述交叉点数量范围,确认所述平均交叉点数量值落于所述交叉点数量范围其中之一内;以及
以所确认的所述交叉点数量范围对应的所述标准手势为所述手部图像所对应的所述手势。
7.一种电子装置,其特征在于,所述电子装置包括:
一图像撷取装置,撷取至少一手的一手部图像,其中所述手部图像包括一手部区域;
一存储装置,储存一计算机可读写软件;
一处理器,执行所述计算机可读写软件的多个指令,其中所述多个指令包括:
计算所述手部区域的一重心坐标;
以所述重心坐标为一圆心,于所述手部图像上配置共一同心圆圈数的至少一同心圆圈;
计算每一所述同心圆圈交会所述手部区域的一交叉点数量,以决定所述手的手势的一特征向量;以及
根据所述特征向量,进行一手势辨识,以辨识所述手的所述手势。
8.根据权利要求7所述的电子装置,其特征在于,于所述手部图像配置所述同心圆圈的指令还包括:
以所述重心坐标至所述手部图像中所述手的一腕关节的一距离为一最大半径;以及
以所述重心坐标为所述圆心以及所述最大半径所对应的一范围内,等量配置所述同心圆圈,其中所述最大半径除以所述同心圆圈数大于等于一。
9.根据权利要求7所述的电子装置,其特征在于,所述特征向量具有多个分量值,每一所述多个分量值分别对应所述同心圆圈其中之一,且每一所述同心圆圈交会所述手部区域的所述交叉点数量,等于所述特征向量中相对应所述同心圆圈的所述分量值。
10.根据权利要求9所述的电子装置,其特征在于,所述存储装置记录多个标准手势以及每一所述多个标准手势所分别对应的一标准向量,而所述手势辨识的指令还包括:
均分所述特征向量中的所述多个分量值,以分别组成多个次向量;
计算每一所述多个次向量的一平均分量值;
于所述多个次向量所分别对应的所述平均分量值中,取样至少其中之一,以组成一平均向量;
分别计算所述平均向量与每一所述标准向量的一误差值;以及
根据所述误差值,确认所述手部图像所对应的所述手势。
11.根据权利要求10所述的电子装置,其特征在于,均分所述特征向量中的所述多个分量值的指令包括:
以所述同心圆圈数的百分之二十为一均分基准,以将所述特征向量中的所述多个分量值依序分群,以个别组成所述次向量。
12.根据权利要求9所述的电子装置,其中所述存储装置记录多个标准手势以及每一所述多个标准手势所分别对应的一交叉点数量范围,而所述手势辨识的指令还包括:
根据所述特征向量,确认所述多个分量值中的一最大分量值;
取样所述最大分量值所对应的所述同心圆圈至一次大半径所对应的所述同心圆圈之间的所有所述同心圆圈,其中所述次大半径仅小于以所述重心坐标至所述手部图像中所述手的一腕关节的一最大半径;
将所取样的所述同心圆圈所对应的所述多个分量值平均,以获得一平均交叉点数量值;
根据所述存储装置所记录的所述交叉点数量范围,确认所述平均交叉点数量值落于所述交叉点数量范围其中之一内;以及
以所确认的所述交叉点数量范围对应的所述标准手势为所述手部图像所对应的所述手势。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101140343 | 2012-10-31 | ||
TW101140343A TWI475422B (zh) | 2012-10-31 | 2012-10-31 | 手勢辨識方法與電子裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103793683A CN103793683A (zh) | 2014-05-14 |
CN103793683B true CN103793683B (zh) | 2016-12-28 |
Family
ID=50547227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210471826.7A Active CN103793683B (zh) | 2012-10-31 | 2012-11-20 | 手势辨识方法与电子装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9256777B2 (zh) |
CN (1) | CN103793683B (zh) |
TW (1) | TWI475422B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI475422B (zh) * | 2012-10-31 | 2015-03-01 | Wistron Corp | 手勢辨識方法與電子裝置 |
US9582737B2 (en) * | 2013-09-13 | 2017-02-28 | Qualcomm Incorporated | Context-sensitive gesture classification |
RU2014108870A (ru) * | 2014-03-06 | 2015-09-20 | ЭлЭсАй Корпорейшн | Процессор изображений, содержащий систему распознавания жестов с распознаванием неподвижной позы кисти на основе первого и второго наборов признаков |
RU2014108820A (ru) * | 2014-03-06 | 2015-09-20 | ЭлЭсАй Корпорейшн | Процессор изображений, содержащий систему распознавания жестов с функциональными возможностями обнаружения и отслеживания пальцев |
DE102014017166A1 (de) * | 2014-11-20 | 2016-05-25 | Audi Ag | Verfahren zum Betreiben einer Objektbewertungsvorrichtung für ein Kraftfahrzeug, Objektbewertungsvorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Objektbewertungsvorrichtung |
TWI618027B (zh) * | 2016-05-04 | 2018-03-11 | 國立高雄應用科技大學 | 基因演算三維手勢影像辨識方法及其系統 |
TWI662439B (zh) * | 2018-01-25 | 2019-06-11 | 財團法人資訊工業策進會 | 虛擬空間定位方法及裝置 |
US10444932B2 (en) | 2018-01-25 | 2019-10-15 | Institute For Information Industry | Virtual space positioning method and apparatus |
KR102280412B1 (ko) * | 2020-05-21 | 2021-07-22 | (주)투비소프트 | 사용자의 손 제스처에 대응되는 제어 명령 실행 및 피드백 출력을 수행하는 전자 단말 장치 및 그 동작 방법 |
KR102280408B1 (ko) * | 2020-05-21 | 2021-07-22 | (주)투비소프트 | 사용자의 손 모양 제스처를 인식하여 제어 명령을 실행하는 전자 단말 장치 및 그 동작 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200911063A (en) * | 2007-08-17 | 2009-03-01 | Hon Hai Prec Ind Co Ltd | Apparatus and method for identifying target object in image |
TW201101197A (en) * | 2009-06-30 | 2011-01-01 | Univ Nat Taiwan Science Tech | Method and system for gesture recognition |
CN102063618A (zh) * | 2011-01-13 | 2011-05-18 | 中科芯集成电路股份有限公司 | 互动系统中的动态手势识别方法 |
US8300946B2 (en) * | 2006-05-15 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7856750B2 (en) * | 1997-12-08 | 2010-12-28 | Horus Vision Llc | Apparatus and method for calculating aiming point information |
JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
EP1477924B1 (en) * | 2003-03-31 | 2007-05-02 | HONDA MOTOR CO., Ltd. | Gesture recognition apparatus, method and program |
US7379563B2 (en) * | 2004-04-15 | 2008-05-27 | Gesturetek, Inc. | Tracking bimanual movements |
FR2899357B1 (fr) * | 2006-03-29 | 2008-06-20 | Sagem Defense Securite | Traitement de donnees biometriques dans un referentiel multi dimensionnel. |
US9042606B2 (en) * | 2006-06-16 | 2015-05-26 | Board Of Regents Of The Nevada System Of Higher Education | Hand-based biometric analysis |
US7701439B2 (en) * | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
CN101110100B (zh) * | 2006-07-17 | 2012-05-02 | 松下电器产业株式会社 | 检测包含任意线段组合的形状的方法及装置 |
US8023726B2 (en) | 2006-11-10 | 2011-09-20 | University Of Maryland | Method and system for markerless motion capture using multiple cameras |
EP2124139A4 (en) * | 2006-12-22 | 2013-01-09 | Panasonic Corp | USER INTERFACE DEVICE |
US7949157B2 (en) * | 2007-08-10 | 2011-05-24 | Nitin Afzulpurkar | Interpreting sign language gestures |
US8194921B2 (en) * | 2008-06-27 | 2012-06-05 | Nokia Corporation | Method, appartaus and computer program product for providing gesture analysis |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US8655084B2 (en) * | 2009-06-23 | 2014-02-18 | Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno | Hand-based gender classification |
CN101661556A (zh) * | 2009-09-25 | 2010-03-03 | 哈尔滨工业大学深圳研究生院 | 基于视觉的静态手势识别方法 |
US9213890B2 (en) * | 2010-09-17 | 2015-12-15 | Sony Corporation | Gesture recognition system for TV control |
GB2491473B (en) * | 2011-05-31 | 2013-08-14 | Pointgrab Ltd | Computer vision based control of a device using machine learning |
KR101302638B1 (ko) * | 2011-07-08 | 2013-09-05 | 더디엔에이 주식회사 | 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 |
US9448636B2 (en) * | 2012-04-18 | 2016-09-20 | Arb Labs Inc. | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices |
CN102661699A (zh) * | 2012-05-15 | 2012-09-12 | 贵州红湖发动机零部件有限公司 | 一种大半径短圆弧零件精密测量方法 |
US8837780B2 (en) * | 2012-06-22 | 2014-09-16 | Hewlett-Packard Development Company, L.P. | Gesture based human interfaces |
TWI475422B (zh) * | 2012-10-31 | 2015-03-01 | Wistron Corp | 手勢辨識方法與電子裝置 |
RU2014108870A (ru) * | 2014-03-06 | 2015-09-20 | ЭлЭсАй Корпорейшн | Процессор изображений, содержащий систему распознавания жестов с распознаванием неподвижной позы кисти на основе первого и второго наборов признаков |
-
2012
- 2012-10-31 TW TW101140343A patent/TWI475422B/zh active
- 2012-11-20 CN CN201210471826.7A patent/CN103793683B/zh active Active
- 2012-11-29 US US13/688,215 patent/US9256777B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8300946B2 (en) * | 2006-05-15 | 2012-10-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program |
TW200911063A (en) * | 2007-08-17 | 2009-03-01 | Hon Hai Prec Ind Co Ltd | Apparatus and method for identifying target object in image |
TW201101197A (en) * | 2009-06-30 | 2011-01-01 | Univ Nat Taiwan Science Tech | Method and system for gesture recognition |
CN102063618A (zh) * | 2011-01-13 | 2011-05-18 | 中科芯集成电路股份有限公司 | 互动系统中的动态手势识别方法 |
Non-Patent Citations (1)
Title |
---|
复杂背景下基于空间分布特征的手势识别算法;杨波等;《计算机辅助设计与图形学学报》;20101031;第1841-1848页 * |
Also Published As
Publication number | Publication date |
---|---|
TWI475422B (zh) | 2015-03-01 |
US9256777B2 (en) | 2016-02-09 |
TW201416911A (zh) | 2014-05-01 |
US20140119596A1 (en) | 2014-05-01 |
CN103793683A (zh) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103793683B (zh) | 手势辨识方法与电子装置 | |
Mayer et al. | Estimating the finger orientation on capacitive touchscreens using convolutional neural networks | |
Kapuscinski et al. | Recognition of hand gestures observed by depth cameras | |
CN106030610B (zh) | 移动设备的实时3d姿势识别和跟踪系统 | |
CN108227912A (zh) | 设备控制方法和装置、电子设备、计算机存储介质 | |
CN106687989A (zh) | 使用标志子集内的线性关系进行面部表情识别的方法和系统 | |
CN102906670A (zh) | 信息处理设备和方法以及程序 | |
CN108596944A (zh) | 一种提取运动目标的方法、装置及终端设备 | |
Santhalingam et al. | Sign language recognition analysis using multimodal data | |
Jain et al. | Gender recognition in smartphones using touchscreen gestures | |
CN107368820B (zh) | 一种精细化手势识别方法、装置及设备 | |
CN110363077A (zh) | 手语识别方法、装置、计算机装置及存储介质 | |
CN107958230A (zh) | 人脸表情识别方法及装置 | |
JP2016014954A (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
CN112132739A (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
CN112541375A (zh) | 一种手部关键点识别方法及装置 | |
Jia et al. | Real‐time hand gestures system based on leap motion | |
KR20140035271A (ko) | 제스쳐 인식 방법 및 시스템 | |
Xie et al. | Gesture recognition benchmark based on mobile phone | |
Li et al. | 3D sketching for 3D object retrieval | |
Younas et al. | Finger air writing-movement reconstruction with low-cost imu sensor | |
Shashidhar et al. | Indian sign language recognition using 2-d convolution neural network and graphical user interface | |
CN107992193A (zh) | 手势确认方法、装置及电子设备 | |
Guo et al. | On multiscale self-similarities description for effective three-dimensional/six-dimensional motion trajectory recognition | |
Lech et al. | Hand gesture recognition supported by fuzzy rules and Kalman filters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |