CN107203742A - 一种基于显著特征点提取的手势识别方法及装置 - Google Patents

一种基于显著特征点提取的手势识别方法及装置 Download PDF

Info

Publication number
CN107203742A
CN107203742A CN201710305721.7A CN201710305721A CN107203742A CN 107203742 A CN107203742 A CN 107203742A CN 201710305721 A CN201710305721 A CN 201710305721A CN 107203742 A CN107203742 A CN 107203742A
Authority
CN
China
Prior art keywords
point
gesture
sequence
profile
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710305721.7A
Other languages
English (en)
Other versions
CN107203742B (zh
Inventor
杨剑宇
何溢文
朱晨
徐浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201710305721.7A priority Critical patent/CN107203742B/zh
Publication of CN107203742A publication Critical patent/CN107203742A/zh
Application granted granted Critical
Publication of CN107203742B publication Critical patent/CN107203742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著特征点提取的手势识别方法及装置,包括:提取模块,用于获取待识别手势的形状,由所述待识别手势形状边缘提取出一个不闭合的轮廓,获取该轮廓上所有轮廓点的坐标;计算模块,用于计算每个轮廓点的面积参数,并根据面积参数对轮廓点进行筛选,提取出显著特征点,以显著特征点序列的面积参数以及归一化后的点序参数作为该轮廓的特征参数;匹配模块,用于利用显著特征点的特征参数,将所述待识别手势与预设模板库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定所述最佳匹配模板的类别为所述待识别手势的类别。本发明在对手势形状特征的有效提取和表示的同时,还具有平移不变性、旋转不变性、尺度不变性和铰接不变性等优良性能,能有效抑制噪声干扰。

Description

一种基于显著特征点提取的手势识别方法及装置
技术领域
本发明涉及一种基于显著特征点提取的手势识别方法及装置,属于识别技术领域。
背景技术
手势识别是计算机视觉领域的一个重要研究课题,在人机交互领域具有广泛的应用,包括虚拟现实,手语识别,人机博弈等。
过去,手势识别的发展受制于采集设备的落后,获取的手势图像背景杂乱,受光照影响严重,手势提取困难。数据手套的出现解决了光照和背景的问题,但由于其限制了手势的自然表达且设备价格昂贵,仍无法被广泛应用。随着深度相机的发展,以Kinect传感器为主要采集设备的手势识别技术得以迅速发展,对识别精度和效率的提升提供了良好的硬件基础。
现有的手势识别方法主要分为两类。一类是基于统计分析的方法,通过统计样本特征向量来确定分类器。典型算法有PCA, HMMs, 粒子滤波等,但计算复杂,难以达到实时要求。第二类是基于模板匹配的方法,提取待识别手势的特征,与预设模版的特征相匹配,与匹配度最高的模版类别作为待识别手势类别。典型算法有SC, FEMD等,但识别精度不够。
因此,提出一种能同时保证识别精度和效率的手势识别方法,是目前相关技术领域的关键问题。
发明内容
本发明的发明目的是提供一种基于显著特征点提取的手势识别方法及装置。
为达到上述发明目的,本发明采用的技术方案是:一种基于显著特征点提取的手势识别方法,包括如下步骤:
S1、获取待识别手势的轮廓,获取所述轮廓上所有轮廓点的点序列自然编号及其坐标;
S2、计算所述所有轮廓点的面积参数;
S3、对轮廓点的面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点:若当前轮廓点的面积参数值大于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极大值点,若有多个相邻的轮廓点的面积参数值相等且为此处极大值,则取第一个为极大值点;若当前轮廓点的面积参数值小于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极小值点,若有多个相邻的轮廓点的面积参数值相等且为此处极小值,则取第一个为极小值点;对所述所有轮廓点进行上述判断之后,得到待识别手势的极值点序列,保留轮廓点的点序列的起始点和最后一个点作为极值点,预设i=2;
S4、对极值点序列从第i个点开始逐点进行判断,若第i和第i+1个极值点对应的参数值的差异大于或等于预先设定的阈值,则执行S5;否则,执行S6;
S5、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则,令i=i+1,执行步骤S4;
S6、判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,并执行步骤S7;否则,执行步骤S8;
S7、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则令i=2,执行步骤S4;
S8、判断第i+2个极值点是否为极值点序列的最后一个点,若是,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S9;否则,将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S4;
S9、剩余极值点序列为显著特征点序列,将显著特征点的面积参数以及归一化后的点序参数作为特征参数,将所述待识别手势与预设模版库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定最佳匹配模板的类别为最终所需的待识别手势的类别。
优选地,手势的轮廓获取的具体步骤为:
利用Kinect传感器获取手势的RGB图像和深度图像,利用Kinect窗口SDK手势跟踪函数定位手的位置,再根据深度数据从一定的深度中分割出一个粗糙的手势区域;同时,使用者在做手势的手的手腕上戴上黑色的腕带,在手势分割时使用RANSAC匹配一条线来定位黑色腕带,保证手势的形状能更精确地被分割,分割完成后得到一个完整的手势形状图,再将彩色的手势形状图二值化,利用边缘检测算法得到手势的轮廓,其中黑色腕带部分的轮廓为无用轮廓,予以去除,最终得到一个不闭合的手势轮廓。
优选地,所述轮廓点的面积参数获取的具体步骤为:
(1)、将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;
(2)、将所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,作为归一化后的区域面积,用0.5减去归一化后的区域面积再乘以2,得到所述目标轮廓点的面积参数。
进一步技术方案中,采用Canny算子提取所述待识别手势的轮廓,获得一个不闭合的手势轮廓。
进一步技术方案中,所述预设半径的确定步骤包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径。
优选地,所述将所述待识别手势与预设模版库中的模版进行匹配,得到所述待识别手势的最佳匹配模版,包括:
将所述待识别手势的特征参数与模版的特征参数进行距离的计算,并确定距离不大于其他模版的距离的模版为所述最佳匹配模版。
进一步技术方案中,所述将所述待识别手势的特征参数与模版的特征参数进行距离的计算,包括:
将所述待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与所述待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列;
利用动态时间规整算法计算所述目标序列与所述匹配序列之间的距离,作为所述待识别手势与对应模板之间的距离。
进一步技术方案中,所述利用动态时间规整算法计算所述目标特征点序列与所述匹配序列之间的距离,包括:
求取所述目标序列上一点p与所述匹配序列上一点q之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点p与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点p-1与所述匹配序列上从起点到所述匹配序列上一点q对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点p-1与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和;
将得到的所述目标序列上从起点到终点与所述匹配序列上从起点到终点对应点间的欧氏距离之和作为所述目标序列与所述匹配序列之间的距离。
本发明还提供了一种手势识别装置,包括:
提取模块,用于获取待识别手势的形状,由所述待识别手势形状边缘提取出一个不闭合的轮廓,获取该轮廓上所有轮廓点的坐标;
计算模块,用于计算每个轮廓点的面积参数,并根据面积参数对轮廓点进行筛选,提取出显著特征点,以显著特征点序列的面积参数以及归一化后的点序参数作为该轮廓的特征参数;
匹配模块,用于利用显著特征点的特征参数,将所述待识别手势与预设模板库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定所述最佳匹配模板的类别为所述待识别手势的类别;
所述提取模块与计算模块连接,所述计算模块与匹配模块连接。
由于上述技术方案运用,本发明与现有技术相比具有下列优点:
1.本发明基于待识别手势的轮廓形状,计算每个轮廓点的面积参数,并从中提取出显著特征点的面积参数作为特征参数,实现了对待识别手势形状的有效提取和表示,而且本发明所用的特征参数维度低,在将待识别手势与模板进行匹配计算时计算复杂度低,从而本发明能同时保证较高的识别准确率和效率;
2. 本发明在对手势形状特征的有效提取和表示的同时,还具有平移不变性、旋转不变性、尺度不变性和铰接不变性等优良性能,能有效抑制噪声干扰。
附图说明
图1为本发明的流程示意图。
图2为本发明实施例一中提供的手势识别方法中涉及的手势形状的具体例子的示意图。
图3为本发明实施例一中提供的手势识别方法中手势形状的具体示意图。
图4为本发明实施例一中提供的手势识别方法中手势形状被预设圆截取后的示意图。
图5为本发明实施例一中极值点参数的点序分布示意图。
图6为本发明实施例一中显著特征点参数的点序分布示意图。
图7为本发明实施例一中提供的手势识别装置的结构示意图。
图8为本发明中未判断前极值点的原始曲线图。
图9为本发明中判断后极值点的曲线图。
其中:1、提取模块;2、计算模块;3、匹配模块。
具体实施方式
下面结合附图及实施例对本发明作进一步描述:
实施例一:参见图1所示,一种手势识别方法,所述方法包括如下步骤:
S1、获取待识别手势的轮廓,获取所述轮廓上所有轮廓点的点序列自然编号及其坐标;
需要说明的是,轮廓点的数量为轮廓上所有点的个数,其具体取值根据实际情况确定,以完整表示手势形状的轮廓特征为准。
在数字图像中,形状的边缘可以由一系列具有坐标信息的轮廓点表示,被发明 实施例中目标形状的轮库点的集合S 可以表示为:
其中,n表示轮廓的长度,即轮廓点的个数;表示轮廓点的序列中第i个轮廓点,且有:
,
其中分别为的横纵坐标。
S2、计算所有轮廓点的面积参数;
S3、对轮廓点的面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点:若当前轮廓点的面积参数值大于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极大值点,若有多个相邻的轮廓点的面积参数值相等且为此处极大值,则取第一个为极大值点;若当前轮廓点的面积参数值小于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极小值点,若有多个相邻的轮廓点的面积参数值相等且为此处极小值,则取第一个为极小值点;对所述所有轮廓点进行上述判断之后,得到待识别手势的极值点序列,保留轮廓点的点序列的起始点和最后一个点作为极值点,预设i=2;
S4、对极值点序列从第i个点开始逐点进行判断,若第i和第i+1个极值点对应的参数值的差异大于或等于预先设定的阈值,则执行S5;否则,执行S6;
需要说明的是,预先设定的阈值可以根据实际需要进行确定。
S5、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则,令i=i+1,执行步骤S4;
S6、判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,并执行步骤S7;否则,执行步骤S8;
S7、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则令i=2,执行步骤S4;
S8、判断第i+2个极值点是否为极值点序列的最后一个点,若是,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S9;否则,将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S4;
S9、剩余极值点序列为显著特征点序列,将显著特征点的面积参数以及归一化后的点序参数作为特征参数,将所述待识别手势与预设模版库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定最佳匹配模板的类别为最终所需的待识别手势的类别。
上述S6步骤中,极值点i和i+1的删除原理如下:如图8所示,对图8中从第二个点开始,逐点判断相邻两点之间的差值是否小于预设的阈值0.1,前i-1个点的相邻点间的差值都大于0.1。当判断到如图8所示的第i个点时,第i个点与第i+1个点间的差值小于0.1,此时,我们继续判断第i+1与第i+2个极值点之间的差值,可以看出第i+1与第i+2个极值点之间的差值大于0.1,因此认为第i和第i+1个极值点是一对无用极值点,予以删除,得到如图9所示的删除无用极值点后的曲线图,删去无用极值点之后,原来的第i+2个极值点更新为第i个极值点。
需要说明的是,预设模版库为工作人员预先设置的模版库,其中的每一个模版都有相应的特征参数,而每个模版的特征参数的计算方法都与待识别手势的特征参数的计算方法相同。通过将待识别手势的特征参数与预设模版库中的每个模版的特征承诺书进行匹配,得到与待识别手势匹配度最佳的模版,并确定该模版的类别为待识别手势的类别。
其中,手势轮廓获取的具体步骤为:
利用Kinect传感器获取手势的RGB图像和深度图像,利用Kinect窗口SDK手势跟踪函数定位手的位置,再根据深度数据从一定的深度中分割出一个粗糙的手势区域;同时,使用者在做手势的手的手腕上戴上黑色的腕带,在手势分割时使用RANSAC匹配一条线来定位黑色腕带,保证手势的形状能更精确地被分割。分割完成后得到一个完整的手势形状图,再将彩色的手势形状图二值化,利用边缘检测算法得到手势的轮廓,其中黑色腕带部分的轮廓为无用轮廓,予以去除,最终得到一个不闭合的手势轮廓。
其中,面积参数的获取步骤具体包括:
(1)、将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;
(2)、将所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,作为归一化后的区域面积,用0.5减去归一化后的区域面积再乘以2,得到所述目标轮廓点的面积参数。
依据上述步骤得到预设圆后,手势形状必然有一部分落在该预设圆内,假设图3所示为手势形状,则预设圆与手势形状的示意图如图4所示。如果手势形状落在预设圆内的部分为一单独区域,则该单独区域即为与目标轮廓点具有直接连接关系的区域,记为;如果手势形状落在预设圆内的部分为若干个互不连通的区域,如图4所示的区域A和区域B,那么确定目标轮廓点在其轮廓上的区域为与目标轮廓点具有直接连接关系的区域,记为。具体来说,将预设圆中与目标轮廓点具有直接连接关系的区域的面积记为,则有:
,
其中为一指示函数,定义为:
,
归一化后的面积定义为:
,
其中是预设圆的面积。最终的面积参数则定义为:
.
本实施例中,选取所述待识别手势轮廓点中的极值点,如图5所示,图中红色小圆表示的点为极值点。
本实施例中,从极值点中筛选出显著特征点,如图6所示,图中红色小圆表示的点为显著特征点。
从而,经过极值点获取和显著特征点的删选之后,得到显著特征点序列作为特征参数,表示为
其中为显著特征点的面积参数,为显著特征点的个数。
本实施例中,利用Kinect传感器获取待识别手势的形状。
需要说明的是,获取待识别手势形状是可以采用工作人员预先确定的任何能够有效实现手势形状获取的方法。本发明的实施例中,采用Kinect传感器,以有效地获取待识别手势的形状。
本实施例中,采用Canny算子提取所述待识别手势性转的边缘获得一个不闭合的轮廓。
需要说明的是,参见图2,为提供的手势识别方法中涉及的手势形状的具体例子的示意图,提取手势形状边缘时可以采用工作人员预先设定的任何能够有效实现手势形状边缘提取的方法,具体可以为Canny算子、Laplacian算子等,本发明的实施例中,优选为Canny算子,以快速有效地获取手势形状。
本实施例中,确定预设半径,包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径,
具体可以表示为:
其中为手势形状的面积。
当然,上述预设半径的具体计算方法也可以由工作人员根据实际需要进行其他设定,均在本发明的保护范围之内。
本实施例中,利用显著特征点的面积参数和点序参数作为特征参数与预设模版库中的模版进行匹配,得到所述待识别手势的最佳匹配模版,包括:
将所述待识别手势的特征参数与模版的特征参数进行距离的计算,并确定距离不大于其他模版的距离的模版为所述最佳匹配模版。
其中,距离越小,说明待识别手势形状与对应模版越相似,因此,距离不大于其他模版的距离的模版为最佳匹配模版。而距离不大于其他模版的距离的模版具体可以为:如果模版中存在距离最小的一个模版,则认为该模版为最佳匹配模版,如果模版中存在距离最小且相等的多个模版,则确定其中一个模版为最佳匹配模版。
上述方案中,将所述待识别手势的特征参数与所述模版的特征参数进行距离的计算,包括:
将所述待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与所述待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列;
利用动态时间规整算法计算所述目标序列与所述匹配序列之间的距离,作为所述待识别手势与对应模版之间的距离。
当然,也可以根据实际需要由工作人员预先设置其他的算法计算上述距离,均在本发明的保护范围之内。
上述方案中,利用动态时间规整算法计算目标序列与所述匹配序列之间的距离,包括:
求取所述目标序列上一点p与所述匹配序列上一点q之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点p与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点p-1与所述匹配序列上从起点到所述匹配序列上一点q对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点p-1与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和;
将得到的所述目标序列上从起点到终点与所述匹配序列上从起点到终点对应点间的欧氏距离之和作为所述目标序列与所述匹配序列之间的距离。
具体来说,目标序列可以表示为,匹配序列可以表示为,不失一般性地,假设,则计算属于不同点序列中的两个显著特征点,之间的欧氏距离为:
,
其中为归一化后的点序参数;
利用动态时间规整算法计算待识别手势上从起点到点和匹配模版从起点到点之间的最小匹配代价为:
,
利用动态时间规整算法计算出的待识别目标序列与匹配序列之间的距离为:
.
需要说明的是,本发明实施例中所提供的一种手势识别方法的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。
如图7所示,本实施例还提供了一种手势识别装置,包括:
提取模块1,用于获取待识别手势的形状,由所述待识别手势形状边缘提取出一个不闭合的轮廓,获取该轮廓上所有轮廓点的坐标;
计算模块2,用于计算每个轮廓点的面积参数,并根据面积参数对轮廓点进行筛选,提取出显著特征点,以显著特征点序列的面积参数以及归一化后的点序参数作为该轮廓点的特征参数;
匹配模块3,用于利用显著特征点的特征参数,将所述待识别手势与预设模板库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定所述最佳匹配模板的类别为所述待识别手势的类别。
所述提取模块1与计算模块2连接,所述计算模块2 与匹配模块3连接。
本发明实施例提供的一种手势识别装置中,提取模块包括:
获取单元,用于利用Kinect传感器获取待识别手势的形状;
提取单元,用于采用Canny算子针对手势形状的边缘提取一个不闭合的轮廓。
本发明实施例提供的一种手势识别装置中,计算模块包括:
(1)、计算每个轮廓点的面积参数;
(2)、根据面积参数提取出轮廓点的极值点;
(3)、根据轮廓点的极值点筛选出显著特征点序列。
本发明实施例提供的一种手势识别装置中,计算模块可以包括:
计算子单元,用于:将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;用0.5减去所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,再乘以2,得到所述目标轮廓点的面积参数。
本发明实施例提供的一种手势识别装置中,计算子单元可以包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径。
本发明实施例中提供的一种手势识别装置中,计算模块可以包括:
计算子单元,用于:对轮廓点面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点,若当前轮廓点的面积参数值不小于或者不大于相邻前后两轮廓点的参数值,则认为该轮廓点为极值点。对所有轮廓点进行上述判断之后,得到待识别手势的极值点序列。保留轮廓点序列的起始点和最后一个点作为极值点。
本发明实施例中提供的一种手势识别装置中,计算模块可以包括:
计算子单元,用于:对极值点序列逐点进行判断,若第i和第i+1个极值点对应的参数值的差异小于预先设定的阈值,则判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列;否则,判断第i+1和第i+2个极值点是否为极值点序列的最后两个点,若是,则将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,并从序列的起始点重新开始判断,直到所有的相邻极值点面积参数的差的绝对值均大于阈值,得到显著特征点序列。
本发明实施例提供的一种手势识别装置中,匹配模块包括:
将待识别手势的显著特征点序列作为目标序列,将待匹配模版的显著特征点序列作为匹配序列,利用动态时间规整算法计算目标序列与匹配序列之间的距离,作为待识别手势与对应模版之间的距离。
本发明实施例提供的一种手势识别装置中,匹配模块可以包括:
匹配单元,用于:将待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列,利用动态时间规整算法计算目标序列与匹配序列之间的距离,作为待识别手势与对应模版之间的距离。
本发明实施例提供的一种手势识别装置中,匹配子单元可以包括:
求取单元,用于:求取所述目标序列上一点与所述匹配序列上一点之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点的前一点的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点与所述匹配序列上从起点到所述匹配序列上一点的前一点对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和。

Claims (9)

1.一种基于显著特征点提取的手势识别方法,其特征在于,包括如下步骤:
S1、获取待识别手势的轮廓,获取所述轮廓上所有轮廓点的点序列自然编号及其坐标;
S2、计算所述所有轮廓点的面积参数;
S3、对轮廓点的面积参数的分布曲线进行平滑,判断各轮廓点是否为极值点:若当前轮廓点的面积参数值大于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极大值点,若有多个相邻的轮廓点的面积参数值相等且为此处极大值,则取第一个为极大值点;若当前轮廓点的面积参数值小于相邻前后两轮廓点的面积参数值,则认为该轮廓点为极小值点,若有多个相邻的轮廓点的面积参数值相等且为此处极小值,则取第一个为极小值点;对所述所有轮廓点进行上述判断之后,得到待识别手势的极值点序列,保留轮廓点的点序列的起始点和最后一个点作为极值点,预设i=2;
S4、对极值点序列从第i个点开始逐点进行判断,若第i和第i+1个极值点对应的参数值的差异大于或等于预先设定的阈值,则执行S5;否则,执行S6;
S5、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则,令i=i+1,执行步骤S4;
S6、判断第i+1和第i+2个极值点对应参数值的差异,若第i+1和第i+2个极值点的参数的差异大于第i和第i+1个极值点参数的差异,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,并执行步骤S7;否则,执行步骤S8;
S7、判断第i+2个点是否为极值点序列的最后一个点,若是,则执行步骤S9,否则令i=2,执行步骤S4;
S8、判断第i+2个极值点是否为极值点序列的最后一个点,若是,则将第i和第i+1个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S9;否则,将第i+1和第i+2个极值点从极值点序列中删去,得到一个新的极值点序列,执行步骤S4;
S9、剩余极值点序列为显著特征点序列,将显著特征点的面积参数以及归一化后的点序参数作为特征参数,将所述待识别手势与预设模版库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定最佳匹配模板的类别为最终所需的待识别手势的类别。
2.根据权利要求1所述的基于显著特征点提取的手势识别方法,其特征在于:手势的轮廓获取的具体步骤为:
利用Kinect传感器获取手势的RGB图像和深度图像,利用Kinect窗口SDK手势跟踪函数定位手的位置,再根据深度数据从一定的深度中分割出一个粗糙的手势区域;同时,使用者在做手势的手的手腕上戴上黑色的腕带,在手势分割时使用RANSAC匹配一条线来定位黑色腕带,保证手势的形状能更精确地被分割,分割完成后得到一个完整的手势形状图,再将彩色的手势形状图二值化,利用边缘检测算法得到手势的轮廓,其中黑色腕带部分的轮廓为无用轮廓,予以去除,最终得到一个不闭合的手势轮廓。
3.根据权利要求1所述的基于显著特征点提取的手势识别方法,其特征在于:所述轮廓点的面积参数获取的具体步骤为:
(1)、将任一轮廓点作为目标轮廓点,以所述目标轮廓点的坐标为中心,以预设半径作圆,得到预设圆;
(2)、将所述待识别手势形状中被预设圆截取的与目标轮廓点具有直接连接关系的区域的面积与预设圆面积的比值,作为归一化后的区域面积,用0.5减去归一化后的区域面积再乘以2,得到所述目标轮廓点的面积参数。
4.根据权利要求2所述的基于显著特征点提取的手势识别方法,其特征在于:采用Canny算子提取所述待识别手势的轮廓,获得一个不闭合的手势轮廓。
5.根据权利要求3所述的基于显著特征点提取的手势识别方法,其特征在于:所述预设半径的确定步骤包括:
计算所述待识别手势形状的面积,并对所述待识别手势形状的面积进行开平方得到所述待识别手势形状的预设半径。
6.根据权利要求1所述的基于显著特征点提取的手势识别方法,其特征在于:所述将所述待识别手势与预设模版库中的模版进行匹配,得到所述待识别手势的最佳匹配模版,包括:
将所述待识别手势的特征参数与模版的特征参数进行距离的计算,并确定距离不大于其他模版的距离的模版为所述最佳匹配模版。
7.根据权利要求6所述的基于显著特征点提取的手势识别方法,其特征在于:将所述待识别手势的特征参数与模版的特征参数进行距离的计算,包括:
将所述待识别手势的显著特征点序列的面积参数和归一化的点序参数作为目标序列,将需要与所述待识别手势进行匹配的一个模版的显著特征点序列的面积参数和归一化的点序参数作为匹配序列;
利用动态时间规整算法计算所述目标序列与所述匹配序列之间的距离,作为所述待识别手势与对应模板之间的距离。
8.根据权利要求7所述的基于显著特征点提取的手势识别方法,其特征在于:所述利用动态时间规整算法计算所述目标特征点序列与所述匹配序列之间的距离,包括:
求取所述目标序列上一点p与所述匹配序列上一点q之间的欧氏距离,并比较所述目标序列上从起点到所述目标序列上一点p与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1的对应点间的欧氏距离之和,所述目标序列上从起点到所述目标序列上一点的前一点p-1与所述匹配序列上从起点到所述匹配序列上一点q对应点间的欧氏距离之和与所述目标序列上从起点到所述目标序列上一点前一点p-1与所述匹配序列上从起点到所述匹配序列上一点的前一点q-1对应点间的欧氏距离之和,取三者之间的最小值与所述目标序列上一点与所述匹配序列上一点之间的欧氏距离相加,得到所述目标序列上从起点到所述目标序列上一点与所述匹配序列上从起点到所述匹配序列上一点对应点间的欧氏距离之和;
将得到的所述目标序列上从起点到终点与所述匹配序列上从起点到终点对应点间的欧氏距离之和作为所述目标序列与所述匹配序列之间的距离。
9.一种手势识别装置,其特征在于,包括:
提取模块,用于获取待识别手势的形状,由所述待识别手势形状边缘提取出一个不闭合的轮廓,获取该轮廓上所有轮廓点的坐标;
计算模块,用于计算每个轮廓点的面积参数,并根据面积参数对轮廓点进行筛选,提取出显著特征点,以显著特征点序列的面积参数以及归一化后的点序参数作为该轮廓的特征参数;
匹配模块,用于利用显著特征点的特征参数,将所述待识别手势与预设模板库中的模板进行匹配,得到所述待识别手势的最佳匹配模板,并确定所述最佳匹配模板的类别为所述待识别手势的类别;
所述提取模块与计算模块连接,所述计算模块与匹配模块连接。
CN201710305721.7A 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置 Active CN107203742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710305721.7A CN107203742B (zh) 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710305721.7A CN107203742B (zh) 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置

Publications (2)

Publication Number Publication Date
CN107203742A true CN107203742A (zh) 2017-09-26
CN107203742B CN107203742B (zh) 2020-05-08

Family

ID=59905529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710305721.7A Active CN107203742B (zh) 2017-05-03 2017-05-03 一种基于显著特征点提取的手势识别方法及装置

Country Status (1)

Country Link
CN (1) CN107203742B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633253A (zh) * 2017-10-23 2018-01-26 江苏鸿信系统集成有限公司 基于含噪图像中矩形包围框的精确提取和定位方法
CN109934155A (zh) * 2019-03-08 2019-06-25 哈工大机器人(合肥)国际创新研究院 一种基于深度视觉的协作机器人手势识别方法及装置
CN110083300A (zh) * 2019-04-08 2019-08-02 南京航空航天大学 一种基于距离变化的手势数据提取方法
CN110222703A (zh) * 2019-06-12 2019-09-10 江苏通佑视觉科技有限公司 图像轮廓识别方法、装置、设备和介质
CN111898621A (zh) * 2020-08-05 2020-11-06 苏州大学 一种轮廓形状识别方法
CN113970996A (zh) * 2021-12-06 2022-01-25 深圳市爱协生科技有限公司 一种字符手势识别方法和系统
CN115981482A (zh) * 2023-03-17 2023-04-18 深圳市魔样科技有限公司 面向智能戒指的手势视觉交互方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN105740882A (zh) * 2016-01-22 2016-07-06 苏州大学 一种基于多尺度不变量描述的目标识别方法及装置
CN106022227A (zh) * 2016-05-11 2016-10-12 苏州大学 一种手势识别方法及装置
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971102A (zh) * 2014-05-21 2014-08-06 南京大学 基于手指轮廓和决策树的静态手势识别方法
CN105740882A (zh) * 2016-01-22 2016-07-06 苏州大学 一种基于多尺度不变量描述的目标识别方法及装置
CN106022227A (zh) * 2016-05-11 2016-10-12 苏州大学 一种手势识别方法及装置
CN106022297A (zh) * 2016-06-01 2016-10-12 苏州大学 一种手势识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANYU YANG ET AL: "Invariant multi-scale descriptor for shape representation, matching and retrieval", 《 COMPUTER VISION AND IMAGE UNDERSTANDING》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633253B (zh) * 2017-10-23 2020-03-17 江苏鸿信系统集成有限公司 基于含噪图像中矩形包围框的精确提取和定位方法
CN107633253A (zh) * 2017-10-23 2018-01-26 江苏鸿信系统集成有限公司 基于含噪图像中矩形包围框的精确提取和定位方法
CN109934155A (zh) * 2019-03-08 2019-06-25 哈工大机器人(合肥)国际创新研究院 一种基于深度视觉的协作机器人手势识别方法及装置
CN109934155B (zh) * 2019-03-08 2022-12-02 合肥哈工仞极智能科技有限公司 一种基于深度视觉的协作机器人手势识别方法及装置
CN110083300B (zh) * 2019-04-08 2022-01-11 南京航空航天大学 一种基于距离变化的手势数据提取方法
CN110083300A (zh) * 2019-04-08 2019-08-02 南京航空航天大学 一种基于距离变化的手势数据提取方法
CN110222703A (zh) * 2019-06-12 2019-09-10 江苏通佑视觉科技有限公司 图像轮廓识别方法、装置、设备和介质
CN110222703B (zh) * 2019-06-12 2023-07-11 江苏通佑视觉科技有限公司 图像轮廓识别方法、装置、设备和介质
CN111898621A (zh) * 2020-08-05 2020-11-06 苏州大学 一种轮廓形状识别方法
WO2022028031A1 (zh) * 2020-08-05 2022-02-10 苏州大学 一种轮廓形状识别方法
CN111898621B (zh) * 2020-08-05 2023-09-05 苏州大学 一种轮廓形状识别方法
CN113970996A (zh) * 2021-12-06 2022-01-25 深圳市爱协生科技有限公司 一种字符手势识别方法和系统
CN113970996B (zh) * 2021-12-06 2023-09-12 深圳市爱协生科技股份有限公司 一种字符手势识别方法和系统
CN115981482A (zh) * 2023-03-17 2023-04-18 深圳市魔样科技有限公司 面向智能戒指的手势视觉交互方法及系统

Also Published As

Publication number Publication date
CN107203742B (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN107203742A (zh) 一种基于显著特征点提取的手势识别方法及装置
CN107038424B (zh) 一种手势识别方法
CN104517104B (zh) 一种基于监控场景下的人脸识别方法及系统
EP2624224B1 (en) Method and device for distinguishing value documents
CN108549870A (zh) 一种对物品陈列进行鉴别的方法及装置
CN108335331A (zh) 一种钢卷双目视觉定位方法及设备
JPH10214346A (ja) ハンドジェスチャ認識システムおよび方法
CN104951940A (zh) 一种基于掌纹识别的移动支付验证方法
CN107330397A (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
CN106384126A (zh) 基于轮廓曲率特征点和支持向量机的服装款式识别方法
CN104182973A (zh) 基于圆形描述算子csift的图像复制粘贴检测方法
CN107958217A (zh) 一种基于深度学习的指纹分类识别系统及方法
CN103903013A (zh) 一种无标记平面物体识别的优化算法
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
Wang et al. Real-time hand posture recognition based on hand dominant line using kinect
CN107392142A (zh) 一种真伪人脸识别方法及其装置
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
Gandhani et al. Content based image retrieval: survey and comparison of CBIR system based on combined features
CN106529407A (zh) 一种车载指纹识别方法
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
Weerasekera et al. Robust asl fingerspelling recognition using local binary patterns and geometric features
Wu et al. Facial feature extraction and applications: A review
Alghamdi et al. Automated person identification framework based on fingernails and dorsal knuckle patterns
Chang et al. Automatic hand-pose trajectory tracking system using video sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant