CN107203742B - 一种基于显著特征点提取的手势识别方法及装置 - Google Patents

一种基于显著特征点提取的手势识别方法及装置 Download PDF

Info

Publication number
CN107203742B
CN107203742B CN201710305721.7A CN201710305721A CN107203742B CN 107203742 B CN107203742 B CN 107203742B CN 201710305721 A CN201710305721 A CN 201710305721A CN 107203742 B CN107203742 B CN 107203742B
Authority
CN
China
Prior art keywords
point
gesture
sequence
contour
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710305721.7A
Other languages
English (en)
Other versions
CN107203742A (zh
Inventor
杨剑宇
何溢文
朱晨
徐浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201710305721.7A priority Critical patent/CN107203742B/zh
Publication of CN107203742A publication Critical patent/CN107203742A/zh
Application granted granted Critical
Publication of CN107203742B publication Critical patent/CN107203742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种基于显著特征点提取的手势识别方法及装置,包括:提取模块,用于获取待识别手势的形状,由所述待识别手势形状边缘提取出一个不闭合的轮廓,获取该轮廓上所有轮廓点的坐标;计算模块,用于计算每个轮廓点的面积参数,并根据面积参数对轮廓点进行筛选,提取出显著特征点,以显著特征点序列的面积参数以及归一化后的点序参数作为该轮廓的特征参数;匹配模块,用于利用显著特征点的特征参数,将所述待识别手势与预设模板库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定所述最佳匹配模板的类别为所述待识别手势的类别。本发明在对手势形状特征的有效提取和表示的同时,还具有平移不变性、旋转不变性、尺度不变性和铰接不变性等优良性能,能有效抑制噪声干扰。

Description

一种基于显著特征点提取的手势识别方法及装置
技术领域
本发明涉及一种基于显著特征点提取的手势识别方法及装置,属于识别技术领域。
背景技术
手势识别是计算机视觉领域的一个重要研究课题,在人机交互领域具有广泛的应用,包括虚拟现实,手语识别,人机博弈等。
过去,手势识别的发展受制于采集设备的落后,获取的手势图像背景杂乱,受光照影响严重,手势提取困难。数据手套的出现解决了光照和背景的问题,但由于其限制了手势的自然表达且设备价格昂贵,仍无法被广泛应用。随着深度相机的发展,以Kinect传感器为主要采集设备的手势识别技术得以迅速发展,对识别精度和效率的提升提供了良好的硬件基础。
现有的手势识别方法主要分为两类。一类是基于统计分析的方法,通过统计样本特征向量来确定分类器。典型算法有PCA, HMMs, 粒子滤波等,但计算复杂,难以达到实时要求。第二类是基于模板匹配的方法,提取待识别手势的特征,与预设模版的特征相匹配,与匹配度最高的模版类别作为待识别手势类别。典型算法有SC, FEMD等,但识别精度不够。
因此,提出一种能同时保证识别精度和效率的手势识别方法,是目前相关技术领域的关键问题。
发明内容
本发明的发明目的是提供一种基于显著特征点提取的手势识别方法及装置。
为达到上述发明目的,本发明采用的技术方案是:一种基于显著特征点提取的手势识别方法,包括如下步骤:
S1、获取待识别手势的轮廓,获取所述轮廓上所有轮廓点的点序列自然编号及其坐标;
S2、计算所述所有轮廓点的面积参数;
S3、对轮廓点的面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点:若当前轮廓点的面积参数值大于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极大值点,若有多个相邻的轮廓点的面积参数值相等且为此处极大值,则取第一个为极大值点;若当前轮廓点的面积参数值小于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极小值点,若有多个相邻的轮廓点的面积参数值相等且为此处极小值,则取第一个为极小值点;对所述所有轮廓点进行上述判断之后,得到待识别手势的极值点序列,保留轮廓点的点序列的起始点和最后一个点作为极值点,预设i=2;
S4、对极值点序列从第i个点开始逐点进行判断,若第i和第i+1个极值点对应的参数值的差异大于或等于预先设定的阈值,则执行S5;否则,执行S6;
S5、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则,令i=i+1,执行步骤S4;
S6、判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,并执行步骤S7;否则,执行步骤S8;
S7、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则令i=2,执行步骤S4;
S8、判断第i+2个极值点是否为极值点序列的最后一个点,若是,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S9;否则,将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S4;
S9、剩余极值点序列为显著特征点序列,将显著特征点的面积参数以及归一化后的点序参数作为特征参数,将所述待识别手势与预设模版库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定最佳匹配模板的类别为最终所需的待识别手势的类别。
优选地,手势的轮廓获取的具体步骤为:
利用Kinect传感器获取手势的RGB图像和深度图像,利用Kinect窗口SDK手势跟踪函数定位手的位置,再根据深度数据从一定的深度中分割出一个粗糙的手势区域;同时,使用者在做手势的手的手腕上戴上黑色的腕带,在手势分割时使用RANSAC匹配一条线来定位黑色腕带,保证手势的形状能更精确地被分割,分割完成后得到一个完整的手势形状图,再将彩色的手势形状图二值化,利用边缘检测算法得到手势的轮廓,其中黑色腕带部分的轮廓为无用轮廓,予以去除,最终得到一个不闭合的手势轮廓。
优选地,所述轮廓点的面积参数获取的具体步骤为:
(1)、将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;
(2)、将所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,作为归一化后的区域面积,用0.5减去归一化后的区域面积再乘以2,得到所述目标轮廓点的面积参数。
进一步技术方案中,采用Canny算子提取所述待识别手势的轮廓,获得一个不闭合的手势轮廓。
进一步技术方案中,所述预设半径的确定步骤包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径。
优选地,所述将所述待识别手势与预设模版库中的模版进行匹配,得到所述待识别手势的最佳匹配模版,包括:
将所述待识别手势的特征参数与模版的特征参数进行距离的计算,并确定距离不大于其他模版的距离的模版为所述最佳匹配模版。
进一步技术方案中,所述将所述待识别手势的特征参数与模版的特征参数进行距离的计算,包括:
将所述待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与所述待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列;
利用动态时间规整算法计算所述目标序列与所述匹配序列之间的距离,作为所述待识别手势与对应模板之间的距离。
进一步技术方案中,所述利用动态时间规整算法计算所述目标特征点序列与所述匹配序列之间的距离,包括:
求取所述目标序列上一点p与所述匹配序列上一点q之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点p与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点p-1与所述匹配序列上从起点到所述匹配序列上一点q对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点p-1与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和;
将得到的所述目标序列上从起点到终点与所述匹配序列上从起点到终点对应点间的欧氏距离之和作为所述目标序列与所述匹配序列之间的距离。
本发明还提供了一种手势识别装置,包括:
提取模块,用于获取待识别手势的形状,由所述待识别手势形状边缘提取出一个不闭合的轮廓,获取该轮廓上所有轮廓点的坐标;
计算模块,用于计算每个轮廓点的面积参数,并根据面积参数对轮廓点进行筛选,提取出显著特征点,以显著特征点序列的面积参数以及归一化后的点序参数作为该轮廓的特征参数;
匹配模块,用于利用显著特征点的特征参数,将所述待识别手势与预设模板库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定所述最佳匹配模板的类别为所述待识别手势的类别;
所述提取模块与计算模块连接,所述计算模块与匹配模块连接。
由于上述技术方案运用,本发明与现有技术相比具有下列优点:
1.本发明基于待识别手势的轮廓形状,计算每个轮廓点的面积参数,并从中提取出显著特征点的面积参数作为特征参数,实现了对待识别手势形状的有效提取和表示,而且本发明所用的特征参数维度低,在将待识别手势与模板进行匹配计算时计算复杂度低,从而本发明能同时保证较高的识别准确率和效率;
2. 本发明在对手势形状特征的有效提取和表示的同时,还具有平移不变性、旋转不变性、尺度不变性和铰接不变性等优良性能,能有效抑制噪声干扰。
附图说明
图1为本发明的流程示意图。
图2为本发明实施例一中提供的手势识别方法中涉及的手势形状的具体例子的示意图。
图3为本发明实施例一中提供的手势识别方法中手势形状的具体示意图。
图4为本发明实施例一中提供的手势识别方法中手势形状被预设圆截取后的示意图。
图5为本发明实施例一中极值点参数的点序分布示意图。
图6为本发明实施例一中显著特征点参数的点序分布示意图。
图7为本发明实施例一中提供的手势识别装置的结构示意图。
图8为本发明中未判断前极值点的原始曲线图。
图9为本发明中判断后极值点的曲线图。
其中:1、提取模块;2、计算模块;3、匹配模块。
具体实施方式
下面结合附图及实施例对本发明作进一步描述:
实施例一:参见图1所示,一种手势识别方法,所述方法包括如下步骤:
S1、获取待识别手势的轮廓,获取所述轮廓上所有轮廓点的点序列自然编号及其坐标;
需要说明的是,轮廓点的数量为轮廓上所有点的个数,其具体取值根据实际情况确定,以完整表示手势形状的轮廓特征为准。
在数字图像中,形状的边缘可以由一系列具有坐标信息的轮廓点表示,被发明 实施例中目标形状的轮库点的集合S 可以表示为:
Figure DEST_PATH_IMAGE001
其中,n表示轮廓的长度,即轮廓点的个数;
Figure 793418DEST_PATH_IMAGE002
表示轮廓点的序列中第i个轮廓点,且有:
Figure DEST_PATH_IMAGE003
,
其中
Figure 380257DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
分别为
Figure 196903DEST_PATH_IMAGE006
的横纵坐标。
S2、计算所有轮廓点的面积参数;
S3、对轮廓点的面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点:若当前轮廓点的面积参数值大于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极大值点,若有多个相邻的轮廓点的面积参数值相等且为此处极大值,则取第一个为极大值点;若当前轮廓点的面积参数值小于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极小值点,若有多个相邻的轮廓点的面积参数值相等且为此处极小值,则取第一个为极小值点;对所述所有轮廓点进行上述判断之后,得到待识别手势的极值点序列,保留轮廓点的点序列的起始点和最后一个点作为极值点,预设i=2;
S4、对极值点序列从第i个点开始逐点进行判断,若第i和第i+1个极值点对应的参数值的差异大于或等于预先设定的阈值,则执行S5;否则,执行S6;
需要说明的是,预先设定的阈值可以根据实际需要进行确定。
S5、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则,令i=i+1,执行步骤S4;
S6、判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,并执行步骤S7;否则,执行步骤S8;
S7、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则令i=2,执行步骤S4;
S8、判断第i+2个极值点是否为极值点序列的最后一个点,若是,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S9;否则,将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S4;
S9、剩余极值点序列为显著特征点序列,将显著特征点的面积参数以及归一化后的点序参数作为特征参数,将所述待识别手势与预设模版库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定最佳匹配模板的类别为最终所需的待识别手势的类别。
上述S6步骤中,极值点i和i+1的删除原理如下:如图8所示,对图8中从第二个点开始,逐点判断相邻两点之间的差值是否小于预设的阈值0.1,前i-1个点的相邻点间的差值都大于0.1。当判断到如图8所示的第i个点时,第i个点与第i+1个点间的差值小于0.1,此时,我们继续判断第i+1与第i+2个极值点之间的差值,可以看出第i+1与第i+2个极值点之间的差值大于0.1,因此认为第i和第i+1个极值点是一对无用极值点,予以删除,得到如图9所示的删除无用极值点后的曲线图,删去无用极值点之后,原来的第i+2个极值点更新为第i个极值点。
需要说明的是,预设模版库为工作人员预先设置的模版库,其中的每一个模版都有相应的特征参数,而每个模版的特征参数的计算方法都与待识别手势的特征参数的计算方法相同。通过将待识别手势的特征参数与预设模版库中的每个模版的特征承诺书进行匹配,得到与待识别手势匹配度最佳的模版,并确定该模版的类别为待识别手势的类别。
其中,手势轮廓获取的具体步骤为:
利用Kinect传感器获取手势的RGB图像和深度图像,利用Kinect窗口SDK手势跟踪函数定位手的位置,再根据深度数据从一定的深度中分割出一个粗糙的手势区域;同时,使用者在做手势的手的手腕上戴上黑色的腕带,在手势分割时使用RANSAC匹配一条线来定位黑色腕带,保证手势的形状能更精确地被分割。分割完成后得到一个完整的手势形状图,再将彩色的手势形状图二值化,利用边缘检测算法得到手势的轮廓,其中黑色腕带部分的轮廓为无用轮廓,予以去除,最终得到一个不闭合的手势轮廓。
其中,面积参数的获取步骤具体包括:
(1)、将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;
(2)、将所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,作为归一化后的区域面积,用0.5减去归一化后的区域面积再乘以2,得到所述目标轮廓点的面积参数。
依据上述步骤得到预设圆
Figure DEST_PATH_IMAGE007
后,手势形状必然有一部分落在该预设圆内,假设图3所示为手势形状,则预设圆与手势形状的示意图如图4所示。如果手势形状落在预设圆内的部分为一单独区域,则该单独区域即为与目标轮廓点具有直接连接关系的区域,记为
Figure 996232DEST_PATH_IMAGE008
;如果手势形状落在预设圆内的部分为若干个互不连通的区域,如图4所示的区域A和区域B,那么确定目标轮廓点在其轮廓上的区域为与目标轮廓点具有直接连接关系的区域,记为
Figure 988459DEST_PATH_IMAGE008
。具体来说,将预设圆
Figure 152724DEST_PATH_IMAGE007
中与目标轮廓点
Figure DEST_PATH_IMAGE009
具有直接连接关系的区域
Figure 722245DEST_PATH_IMAGE008
的面积记为
Figure 590844DEST_PATH_IMAGE010
,则有:
Figure DEST_PATH_IMAGE011
,
其中
Figure 437577DEST_PATH_IMAGE012
为一指示函数,定义为:
Figure 631798DEST_PATH_IMAGE013
,
归一化后的面积
Figure 829562DEST_PATH_IMAGE014
定义为:
Figure 642797DEST_PATH_IMAGE015
,
其中
Figure 734250DEST_PATH_IMAGE016
是预设圆的面积。最终的面积参数
Figure DEST_PATH_IMAGE017
则定义为:
Figure 302634DEST_PATH_IMAGE018
.
本实施例中,选取所述待识别手势轮廓点中的极值点,如图5所示,图中红色小圆表示的点为极值点。
本实施例中,从极值点中筛选出显著特征点,如图6所示,图中红色小圆表示的点为显著特征点。
从而,经过极值点获取和显著特征点的删选之后,得到显著特征点序列作为特征参数,表示为
Figure DEST_PATH_IMAGE019
Figure 315589DEST_PATH_IMAGE020
其中
Figure 791570DEST_PATH_IMAGE021
为显著特征点的面积参数,
Figure 206371DEST_PATH_IMAGE022
为显著特征点的个数。
本实施例中,利用Kinect传感器获取待识别手势的形状。
需要说明的是,获取待识别手势形状是可以采用工作人员预先确定的任何能够有效实现手势形状获取的方法。本发明的实施例中,采用Kinect传感器,以有效地获取待识别手势的形状。
本实施例中,采用Canny算子提取所述待识别手势性转的边缘获得一个不闭合的轮廓。
需要说明的是,参见图2,为提供的手势识别方法中涉及的手势形状的具体例子的示意图,提取手势形状边缘时可以采用工作人员预先设定的任何能够有效实现手势形状边缘提取的方法,具体可以为Canny算子、Laplacian算子等,本发明的实施例中,优选为Canny算子,以快速有效地获取手势形状。
本实施例中,确定预设半径,包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径,
具体可以表示为:
Figure 617761DEST_PATH_IMAGE023
其中
Figure 790116DEST_PATH_IMAGE024
为手势形状的面积。
当然,上述预设半径的具体计算方法也可以由工作人员根据实际需要进行其他设定,均在本发明的保护范围之内。
本实施例中,利用显著特征点的面积参数和点序参数作为特征参数与预设模版库中的模版进行匹配,得到所述待识别手势的最佳匹配模版,包括:
将所述待识别手势的特征参数与模版的特征参数进行距离的计算,并确定距离不大于其他模版的距离的模版为所述最佳匹配模版。
其中,距离越小,说明待识别手势形状与对应模版越相似,因此,距离不大于其他模版的距离的模版为最佳匹配模版。而距离不大于其他模版的距离的模版具体可以为:如果模版中存在距离最小的一个模版,则认为该模版为最佳匹配模版,如果模版中存在距离最小且相等的多个模版,则确定其中一个模版为最佳匹配模版。
上述方案中,将所述待识别手势的特征参数与所述模版的特征参数进行距离的计算,包括:
将所述待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与所述待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列;
利用动态时间规整算法计算所述目标序列与所述匹配序列之间的距离,作为所述待识别手势与对应模版之间的距离。
当然,也可以根据实际需要由工作人员预先设置其他的算法计算上述距离,均在本发明的保护范围之内。
上述方案中,利用动态时间规整算法计算目标序列与所述匹配序列之间的距离,包括:
求取所述目标序列上一点p与所述匹配序列上一点q之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点p与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点p-1与所述匹配序列上从起点到所述匹配序列上一点q对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点p-1与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和;
将得到的所述目标序列上从起点到终点与所述匹配序列上从起点到终点对应点间的欧氏距离之和作为所述目标序列与所述匹配序列之间的距离。
具体来说,目标序列可以表示为
Figure 804209DEST_PATH_IMAGE025
,匹配序列可以表示为
Figure 11199DEST_PATH_IMAGE026
,不失一般性地,假设
Figure 718124DEST_PATH_IMAGE027
,则计算属于不同点序列中的两个显著特征点
Figure 377775DEST_PATH_IMAGE028
,
Figure 461138DEST_PATH_IMAGE029
之间的欧氏距离为:
Figure 257055DEST_PATH_IMAGE030
,
其中
Figure 134882DEST_PATH_IMAGE031
为归一化后的点序参数;
利用动态时间规整算法计算待识别手势上从起点到
Figure 281829DEST_PATH_IMAGE032
点和匹配模版从起点到
Figure 44249DEST_PATH_IMAGE033
点之间的最小匹配代价为:
Figure 819307DEST_PATH_IMAGE034
,
利用动态时间规整算法计算出的待识别目标序列与匹配序列之间的距离
Figure 743400DEST_PATH_IMAGE035
为:
Figure 377644DEST_PATH_IMAGE036
.
需要说明的是,本发明实施例中所提供的一种手势识别方法的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。
如图7所示,本实施例还提供了一种手势识别装置,包括:
提取模块1,用于获取待识别手势的形状,由所述待识别手势形状边缘提取出一个不闭合的轮廓,获取该轮廓上所有轮廓点的坐标;
计算模块2,用于计算每个轮廓点的面积参数,并根据面积参数对轮廓点进行筛选,提取出显著特征点,以显著特征点序列的面积参数以及归一化后的点序参数作为该轮廓点的特征参数;
匹配模块3,用于利用显著特征点的特征参数,将所述待识别手势与预设模板库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定所述最佳匹配模板的类别为所述待识别手势的类别。
所述提取模块1与计算模块2连接,所述计算模块2 与匹配模块3连接。
本发明实施例提供的一种手势识别装置中,提取模块包括:
获取单元,用于利用Kinect传感器获取待识别手势的形状;
提取单元,用于采用Canny算子针对手势形状的边缘提取一个不闭合的轮廓。
本发明实施例提供的一种手势识别装置中,计算模块包括:
(1)、计算每个轮廓点的面积参数;
(2)、根据面积参数提取出轮廓点的极值点;
(3)、根据轮廓点的极值点筛选出显著特征点序列。
本发明实施例提供的一种手势识别装置中,计算模块可以包括:
计算子单元,用于:将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;用0.5减去所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,再乘以2,得到所述目标轮廓点的面积参数。
本发明实施例提供的一种手势识别装置中,计算子单元可以包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径。
本发明实施例中提供的一种手势识别装置中,计算模块可以包括:
计算子单元,用于:对轮廓点面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点,若当前轮廓点的面积参数值不小于或者不大于相邻前后两轮廓点的参数值,则认为该轮廓点为极值点。对所有轮廓点进行上述判断之后,得到待识别手势的极值点序列。保留轮廓点序列的起始点和最后一个点作为极值点。
本发明实施例中提供的一种手势识别装置中,计算模块可以包括:
计算子单元,用于:对极值点序列逐点进行判断,若第i和第i+1个极值点对应的参数值的差异小于预先设定的阈值,则判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列;否则,判断第i+1和第i+2个极值点是否为极值点序列的最后两个点,若是,则将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,并从序列的起始点重新开始判断,直到所有的相邻极值点面积参数的差的绝对值均大于阈值,得到显著特征点序列。
本发明实施例提供的一种手势识别装置中,匹配模块包括:
将待识别手势的显著特征点序列作为目标序列,将待匹配模版的显著特征点序列作为匹配序列,利用动态时间规整算法计算目标序列与匹配序列之间的距离,作为待识别手势与对应模版之间的距离。
本发明实施例提供的一种手势识别装置中,匹配模块可以包括:
匹配单元,用于:将待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列,利用动态时间规整算法计算目标序列与匹配序列之间的距离,作为待识别手势与对应模版之间的距离。
本发明实施例提供的一种手势识别装置中,匹配子单元可以包括:
求取单元,用于:求取所述目标序列上一点与所述匹配序列上一点之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点的前一点的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点与所述匹配序列上从起点到所述匹配序列上一点的前一点对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和。

Claims (7)

1.一种基于显著特征点提取的手势识别方法,其特征在于,包括如下步骤:
S1、获取待识别手势的轮廓,获取所述轮廓上所有轮廓点的点序列自然编号及其坐标;
S2、计算所述所有轮廓点的面积参数;
所述轮廓点的面积参数获取的具体步骤为:
(1)、将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;
(2)、将所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,作为归一化后的区域面积,用0.5减去归一化后的区域面积再乘以2,得到所述目标轮廓点的面积参数;
S3、对轮廓点的面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点:若当前轮廓点的面积参数值大于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极大值点,若有多个相邻的轮廓点的面积参数值相等且为此处极大值,则取第一个为极大值点;若当前轮廓点的面积参数值小于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极小值点,若有多个相邻的轮廓点的面积参数值相等且为此处极小值,则取第一个为极小值点;对所述所有轮廓点进行上述判断之后,得到待识别手势的极值点序列,保留轮廓点的点序列的起始点和最后一个点作为极值点,预设i=2;
S4、对极值点序列从第i个点开始逐点进行判断,若第i和第i+1个极值点对应的参数值的差异大于或等于预先设定的阈值,则执行S5;否则,执行S6;
S5、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则,令i=i+1,执行步骤S4;
S6、判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,并执行步骤S7;否则,执行步骤S8;
S7、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则令i=2,执行步骤S4;
S8、判断第i+2个极值点是否为极值点序列的最后一个点,若是,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S9;否则,将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S4;
S9、剩余极值点序列为显著特征点序列,将显著特征点的面积参数以及归一化后的点序参数作为特征参数,将所述待识别手势与预设模版库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定最佳匹配模板的类别为最终所需的待识别手势的类别。
2.根据权利要求1所述的基于显著特征点提取的手势识别方法,其特征在于:手势的轮廓获取的具体步骤为:
利用Kinect传感器获取手势的RGB图像和深度图像,利用Kinect窗口SDK手势跟踪函数定位手的位置,再根据深度数据从一定的深度中分割出一个粗糙的手势区域;同时,使用者在做手势的手的手腕上戴上黑色的腕带,在手势分割时使用RANSAC匹配一条线来定位黑色腕带,保证手势的形状能更精确地被分割,分割完成后得到一个完整的手势形状图,再将彩色的手势形状图二值化,利用边缘检测算法得到手势的轮廓,其中黑色腕带部分的轮廓为无用轮廓,予以去除,最终得到一个不闭合的手势轮廓。
3.根据权利要求2所述的基于显著特征点提取的手势识别方法,其特征在于:采用Canny算子提取所述待识别手势的轮廓,获得一个不闭合的手势轮廓。
4.根据权利要求1所述的基于显著特征点提取的手势识别方法,其特征在于:所述预设半径的确定步骤包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径。
5.根据权利要求1所述的基于显著特征点提取的手势识别方法,其特征在于:所述将所述待识别手势与预设模版库中的模版进行匹配,得到所述待识别手势的最佳匹配模版,包括:
将所述待识别手势的特征参数与模版的特征参数进行距离的计算,并确定距离不大于其他模版的距离的模版为所述最佳匹配模版。
6.根据权利要求5所述的基于显著特征点提取的手势识别方法,其特征在于:将所述待识别手势的特征参数与模版的特征参数进行距离的计算,包括:
将所述待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与所述待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列;
利用动态时间规整算法计算所述目标序列与所述匹配序列之间的距离,作为所述待识别手势与对应模板之间的距离。
7.根据权利要求6所述的基于显著特征点提取的手势识别方法,其特征在于:所述利用动态时间规整算法计算所述目标特征点序列与所述匹配序列之间的距离,包括:
求取所述目标序列上一点p与所述匹配序列上一点q之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点p与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点p-1与所述匹配序列上从起点到所述匹配序列上一点q对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点p-1与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和;
将得到的所述目标序列上从起点到终点与所述匹配序列上从起点到终点对应点间的欧氏距离之和作为所述目标序列与所述匹配序列之间的距离。
CN201710305721.7A 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置 Active CN107203742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710305721.7A CN107203742B (zh) 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710305721.7A CN107203742B (zh) 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置

Publications (2)

Publication Number Publication Date
CN107203742A CN107203742A (zh) 2017-09-26
CN107203742B true CN107203742B (zh) 2020-05-08

Family

ID=59905529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710305721.7A Active CN107203742B (zh) 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置

Country Status (1)

Country Link
CN (1) CN107203742B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633253B (zh) * 2017-10-23 2020-03-17 江苏鸿信系统集成有限公司 基于含噪图像中矩形包围框的精确提取和定位方法
CN109934155B (zh) * 2019-03-08 2022-12-02 合肥哈工仞极智能科技有限公司 一种基于深度视觉的协作机器人手势识别方法及装置
CN110083300B (zh) * 2019-04-08 2022-01-11 南京航空航天大学 一种基于距离变化的手势数据提取方法
CN110222703B (zh) * 2019-06-12 2023-07-11 江苏通佑视觉科技有限公司 图像轮廓识别方法、装置、设备和介质
CN111898621B (zh) * 2020-08-05 2023-09-05 苏州大学 一种轮廓形状识别方法
CN113970996B (zh) * 2021-12-06 2023-09-12 深圳市爱协生科技股份有限公司 一种字符手势识别方法和系统
CN115981482B (zh) * 2023-03-17 2023-06-02 深圳市魔样科技有限公司 面向智能戒指的手势视觉交互方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN105740882A (zh) * 2016-01-22 2016-07-06 苏州大学 一种基于多尺度不变量描述的目标识别方法及装置
CN106022227A (zh) * 2016-05-11 2016-10-12 苏州大学 一种手势识别方法及装置
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN105740882A (zh) * 2016-01-22 2016-07-06 苏州大学 一种基于多尺度不变量描述的目标识别方法及装置
CN106022227A (zh) * 2016-05-11 2016-10-12 苏州大学 一种手势识别方法及装置
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Invariant multi-scale descriptor for shape representation, matching and retrieval;Jianyu Yang et al;《 Computer Vision and Image Understanding》;20160121;第43-58页 *

Also Published As

Publication number Publication date
CN107203742A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
CN107203742B (zh) 一种基于显著特征点提取的手势识别方法及装置
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
CN107038424B (zh) 一种手势识别方法
US6128003A (en) Hand gesture recognition system and method
TWI395145B (zh) 手勢辨識系統及其方法
Dibeklioglu et al. 3D facial landmarking under expression, pose, and occlusion variations
JPH10214346A6 (ja) ハンドジェスチャ認識システムおよび方法
Mo et al. Deshadowing of urban airborne imagery based on object-oriented automatic shadow detection and regional matching compensation
CN107862698A (zh) 基于k均值聚类的光场前景分割方法及装置
US9672628B2 (en) Method for partitioning area, and inspection device
CN106373128B (zh) 一种嘴唇精确定位的方法和系统
EP3678046B1 (en) Hand detection method and system, image detection method and system, hand segmentation method, storage medium, and device
CN110503682B (zh) 矩形控件识别方法、装置、终端及存储介质
JP6997369B2 (ja) プログラム、測距方法、及び測距装置
Sethi et al. Signpro-An application suite for deaf and dumb
Bui et al. Road area detection based on texture orientations estimation and vanishing point detection
CN104866826A (zh) 一种基于knn和像素比梯度特征的静态手语识别方法
CN114119695A (zh) 一种图像标注方法、装置及电子设备
Dimiccoli et al. Exploiting t-junctions for depth segregation in single images
CN109934152B (zh) 一种针对手语图像的改进小弯臂图像分割方法
Wei et al. Detection of side-view faces in color images
Emambakhsh et al. Self-dependent 3D face rotational alignment using the nose region
CN105814608B (zh) 图像处理装置和特定图形检测方法
Tan et al. Saliency-based unsupervised image matting
CN111079700B (zh) 一种基于多种数据类型融合的三维人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant