CN109344689A - 一种基于Kinect的哑语手势识别方法 - Google Patents

一种基于Kinect的哑语手势识别方法 Download PDF

Info

Publication number
CN109344689A
CN109344689A CN201810892065.XA CN201810892065A CN109344689A CN 109344689 A CN109344689 A CN 109344689A CN 201810892065 A CN201810892065 A CN 201810892065A CN 109344689 A CN109344689 A CN 109344689A
Authority
CN
China
Prior art keywords
sign language
language gesture
pixel
gesture
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810892065.XA
Other languages
English (en)
Inventor
王映辉
刘远胜
陈晨
宁小娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810892065.XA priority Critical patent/CN109344689A/zh
Publication of CN109344689A publication Critical patent/CN109344689A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Kinect的哑语手势识别方法，具体按照以下步骤实施：首先，提取哑语手势区域；其次，提取哑语手势的距离特征和曲率特征；最后，利用哑语手势的距离特征和曲率特征进行哑语手势的识别。该方法是基于Kinect的哑语手势识别方法，结合视觉知识，提出了距离特征和曲率特征；其特征区分度高，提取简单，能够较好的区分被测手势；结合神经网络算法，与其他手势识别方法相比，其识别率高，识别效果好，尤其是针对哑语手势识别，有独特的效果。

Description

一种基于Kinect的哑语手势识别方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于Kinect的哑语手势识别方法。
背景技术
哑语手势识别的目的是通过计算机提供一种有效而准确的机制，将哑语手势翻译成文本或语音，使聋人与正常人之间的交流更加方便、快捷。手语识别已经变成人机交互领域的一项非常重要的研究内容，引起了越来越多专家学者的关注。目前我国有2800多万聋哑人，对哑语手势识别的研究，将直接造福聋哑患者，为他们提供一种更加流畅、更加快捷的与人交流的途径，以便于他们能更好的生活，这也对构建和谐社会、美好生活产生积极影响。目前手势识别研究以初具规模，主要有基于传感器的数据手套法和位置跟踪传感器法，以及基于视觉的识别方法。
发明内容
本发明的目的是提供一种基于Kinect的哑语手势识别方法，以距离特征和曲率特征进行哑语手势的识别，提高了哑语手势的识别率。
本发明所采用的技术方案是，一种基于Kinect的哑语手势识别方法，具体按照以下步骤实施：
步骤1，提取哑语手势区域；
步骤2，经步骤1后，提取哑语手势的距离特征和曲率特征；
步骤3，经步骤2后，利用哑语手势的距离特征和曲率特征进行哑语手势的识别。
本发明的特点还在于，
步骤1中，提取哑语手势区域，具体步骤如下：
步骤1.1，对哑语手势进行粗粒度分割：深度图像f(x,y,z)中手势区域与背景区域属于不同的距离集合，即一个手势区域集合和一个背景区域集合，如式(1)所示，当区域g(x,y,z)＝1时，属于手势区域；当区域g(x,y,z)＝0时，属于背景区域；
式(1)中，T为手腕与传感器的间距；s为距离常数，s＝8；
步骤1.2，将经步骤1.1后得到的手势区域进行细粒度，得到手势图像，具体步骤如下：
步骤1.21，将哑语手势区域的图像的RGB空间转换到YCbCr空间中，如式(2)所示：
式(2)中，Y为亮度；Cb为蓝色色差；Cr为红色色差；R为红色分量；G为绿色分量；B为蓝色分量；
步骤1.22，在YCbCr空间中建立哑语手势区域图像的高斯模型；
步骤1.23，经步骤1.22后，计算哑语手势区域中每个像素点的肤色的概率，当肤色概率大于或者等于0.9时，该像素点为强肤色点，则保留；当肤色概率小于0.9时，该像素点为弱肤色点，则去除。
步骤1.23中，像素点肤色的概率计算公式，如式(3)所示：
P(Cb,Cr)＝exp{-0.5(x-m)TC-1(x-m)} (3)；
式(3)中，x＝(Cb,Cr)T；m为像素点的统计均值，m＝E(x)；C为像素点的统计协方差矩阵，C＝E{(x-m)(x-m)T}。
步骤2中，提取哑语手势的距离特征和曲率特征，具体步骤如下：
步骤2.1，提取哑语手势的质心特征：在经步骤1.2后得到的手势图像中，将多连通区域按像素密度大小排序，选取像素密度最大的连通区域，即为手掌连通域S，计算手掌连通域S的质心坐标(x0·y0)，即为哑语手势质心；若最大手掌连通域有多个时，则先计算每个手掌连通域的质心坐标(x0·y0)，再将每个手掌连通域的质心坐标相连成多边形，之后再计算多边形的中心，即为哑语手势质心；
步骤2.2，将经步骤1后得到的哑语手势图像进行高斯滤波降噪，得到平滑的哑语手势图像；
步骤2.3，将经步骤2.3后得到的哑语手势图像使用Canny算子边缘检测算法，得到哑语手势轮廓线；
步骤2.4，经步骤2.3后，提取哑语手势的距离特征，具体步骤如下：
步骤2.41，计算每两个强边缘像素点之间的欧式距离；
步骤2.42，经步骤2.41后，以哑语手势质心为原点，以欧式距离最大且两个强边缘像素点都在轮廓线上的线段为X轴，将垂直于X轴且两个强边缘像素点都在轮廓线上的线段作为Y轴，建立二维坐标系；
步骤2.43，经步骤2.42后，选取X轴正半轴重合的射线，将该射线逆时针旋转360°，每次旋转5°，计算射线与轮廓线相交的点和原点之间的距离，即得到哑语手势的距离特征；
步骤2.5，经步骤2.4后，提取哑语手势的曲率特征，具体步骤如下：
步骤2.51，分别以每个强边缘像素点为圆心，再以该强边缘像素点沿着哑语手势轮廓线的5个像素点的欧式距离、8个像素点的欧式距离、12个像素点的欧式距离为半径，形成三个同心圆；
步骤2.52，经步骤2.51后，计算三个同心圆的面积Sf和哑语手势区域落在三个同心圆的面积Sb，得到每个强边缘像素点的曲率K，形成哑语手势的曲率特征；
其中，强边缘像素点的曲率K的计算公式，如式(7)所示：
步骤2.53，将经步骤2.52后得到的每个强边缘像素点的曲率K与阈值T1进行比较；
若该强边缘像素点的曲率K小于阈值T1，则该强边缘像素点的哑语手势轮廓线为凸起；
若该强边缘像素点的曲率K大于阈值T1，则该强边缘像素点的哑语手势轮廓线为凹陷；
若该强边缘像素点的曲率K等于阈值T1，则该强边缘像素点的哑语手势轮廓线为平直。
步骤2.1中，手掌连通域S质心坐标(x0·y0)的计算公式，如式(4)及式(5)所示；
式(4)及式(5)中，Ns为像素个数。
步骤2.3具体为：
步骤2.31，计算哑语手势图像中每个像素点的梯度和方向；
步骤2.32，将经步骤2.31后得到的每个像素点的梯度与正负梯度方向上的两个像素点的梯度进行比较，如果该像素点的梯度大于等于任意一个正负梯度方向上的像素点的梯度时，则保留该像素点；否则去除该像素点；
步骤2.33，将经步骤2.32后得到的像素点的梯度与阈值T2进行比较，若大于或者等于阈值T2时，则该像素点是强边缘像素点，否则去除；强边缘像素点形成哑语手势轮廓线；
其中，阈值T2的计算公式，如式(6)所示：
T2＝(P×Row×Col)÷64 (6)；
式(6)中，P为非边缘像素的百分比；Row为图像的高度；Col为图像宽度。
步骤3具体为：使用来自20个不同个体的哑语手势的10幅图像，共12200张样本图像训练多层神经网络，将哑语手势的距离特征与曲率特征作为多层神经网络的输入，在多层神经网络中，输入层和隐藏层，隐藏层和隐藏层，隐藏层和输出之间的权重矩阵用随机值进行初始化；将输出数据与所需标签进行比较并计算误差；再利用外部循环达到可接受的性能，当正确率高于99％时，即误差小于1％，循环停止并保存结果，完成测试；之后使用哑语手势测试图像进行测试，得到哑语手势识别结果。
本发明的有益效果是，
该方法是基于Kinect的哑语手势识别方法，结合视觉知识，提出了距离特征和曲率特征；其特征区分度高，提取简单，能够较好的区分被测手势；结合神经网络算法，与其他手势识别方法相比，其识别率高，识别效果好，尤其是针对哑语手势识别，有独特的效果；为未来聋哑人与机器的交流提供了技术支持，为人机交互增加了新的思路。
附图说明
图1是本发明一种基于Kinect的哑语手势识别方法的流程图；
图2是本实施例中对哑语手势进行粗粒度分割的结果图；
图3是本实施例中对哑语手势进行细粒度分割的结果图；
图4是本实施例中对哑语手势质心提取结果图；
图5是本实施例中提取哑语手势轮廓线的结果图；
图6是本实施例中提取哑语手势距离特征的结果图；
图7是本实施例中提取哑语手势距离特征的曲线图；
图8是本实施例中提取手势曲率特征的示意图一；
图9是本实施例中提取手势曲率特征的示意图二。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于Kinect的哑语手势识别方法，如图1所示，具体按照以下步骤实施：
步骤1，提取哑语手势区域，具体步骤如下：
步骤1.1，对哑语手势进行粗粒度分割：深度图像f(x,y,z)中手势区域与背景区域属于不同的距离集合，即一个手势区域集合和一个背景区域集合，用距离阈值T来分割手势区域和背景区域，如式(1)所示，当区域g(x,y,z)＝1时，属于手势区域；当区域g(x,y,z)＝0时，属于背景区域；
式(1)中，T为手腕与传感器的间距；s为距离常数，s＝8；
步骤1.2，将经步骤1.1后得到的手势区域进行细粒度，得到手势图像，具体步骤如下：
步骤1.21，将哑语手势区域的图像的RGB空间转换到YCbCr空间中，如式(2)所示：
式(2)中，Y为亮度；Cb为蓝色色差；Cr为红色色差；R为红色分量；G为绿色分量；B为蓝色分量；
步骤1.22，在YCbCr空间中建立哑语手势区域图像的高斯模型；
步骤1.23，经步骤1.22后，计算哑语手势区域中每个像素点的肤色的概率，当肤色概率大于或者等于0.9时，该像素点为强肤色点，则保留；当肤色概率小于0.9时，该像素点为弱肤色点，则去除；
其中，像素点肤色的概率计算公式，如式(3)所示：
P(Cb,Cr)＝exp{-0.5(x-m)TC-1(x-m)} (3)；
式(3)中，x＝(Cb,Cr)T；m为像素点的统计均值，m＝E(x)；C为像素点的统计协方差矩阵，C＝E{(x-m)(x-m)T}；
步骤2，经步骤1后，提取哑语手势的距离特征和曲率特征，具体步骤如下：
步骤2.1，提取哑语手势的质心特征：在经步骤1.2后得到的手势图像中，将多连通区域按像素密度大小排序，选取像素密度最大的连通区域，即为手掌连通域S，计算手掌连通域S的质心坐标(x0·y0)，即为哑语手势质心；若最大手掌连通域有多个时，则先计算每个手掌连通域的质心坐标(x0·y0)，再将每个手掌连通域的质心坐标相连成多边形，之后再计算多边形的中心，即为哑语手势质心；
其中，手掌连通域S质心坐标(x0·y0)的计算公式，如式(4)及式(5)所示；
式(4)及式(5)中，Ns为像素个数；
步骤2.2，将经步骤1后得到的哑语手势图像进行高斯滤波降噪，得到平滑的哑语手势图像；
步骤2.3，将经步骤2.3后得到的哑语手势图像使用Canny算子边缘检测算法，得到哑语手势轮廓线；具体步骤如下：
步骤2.31，计算哑语手势图像中每个像素点的梯度和方向；
步骤2.32，将经步骤2.31后得到的每个像素点的梯度与正负梯度方向上的两个像素点的梯度进行比较，如果该像素点的梯度大于等于任意一个正负梯度方向上的像素点的梯度时，则保留该像素点；否则去除该像素点；
步骤2.33，将经步骤2.32后得到的像素点的梯度与阈值T2进行比较，若大于或者等于阈值T2时，则该像素点是强边缘像素点，否则去除；强边缘像素点形成哑语手势轮廓线；
其中，阈值T2的计算公式，如式(6)所示：
T2＝(P×Row×Col)÷64 (6)；
式(6)中，P为非边缘像素的百分比；Row为图像的高度；Col为图像宽度；
步骤2.4，经步骤2.3后，提取哑语手势的距离特征，具体步骤如下：
步骤2.41，计算每两个强边缘像素点之间的欧式距离；
步骤2.42，经步骤2.41后，以哑语手势质心为原点，以欧式距离最大且两个强边缘像素点都在轮廓线上的线段为X轴，将垂直于X轴且两个强边缘像素点都在轮廓线上的线段作为Y轴，建立二维坐标系；
步骤2.43，经步骤2.42后，选取X轴正半轴重合的射线，将该射线逆时针旋转360°，每次旋转5°，计算射线与轮廓线相交的点和原点之间的距离，即得到哑语手势的距离特征；
步骤2.5，经步骤2.4后，提取哑语手势的曲率特征，具体步骤如下：
步骤2.51，分别以每个强边缘像素点为圆心，再以该强边缘像素点沿着哑语手势轮廓线的5个像素点的欧式距离、8个像素点的欧式距离、12个像素点的欧式距离为半径，形成三个同心圆；
步骤2.52，经步骤2.51后，计算三个同心圆的面积Sf和哑语手势区域落在三个同心圆的面积Sb，得到每个强边缘像素点的曲率K，形成哑语手势的曲率特征；
其中，强边缘像素点的曲率K的计算公式，如式(7)所示：
步骤2.53，将经步骤2.52后得到的每个强边缘像素点的曲率K与阈值T1进行比较；
若该强边缘像素点的曲率K小于阈值T1，则该强边缘像素点的哑语手势轮廓线为凸起；
若该强边缘像素点的曲率K大于阈值T1，则该强边缘像素点的哑语手势轮廓线为凹陷；
若该强边缘像素点的曲率K等于阈值T1，则该强边缘像素点的哑语手势轮廓线为平直；
步骤3，经步骤2后，利用哑语手势的距离特征和曲率特征进行哑语手势的识别；
具体为：使用来自20个不同个体的哑语手势的10幅图像，共12200张样本图像训练多层神经网络，将哑语手势的距离特征与曲率特征作为多层神经网络的输入，在多层神经网络中，输入层和隐藏层，隐藏层和隐藏层，隐藏层和输出之间的权重矩阵用随机值进行初始化；将输出数据与所需标签进行比较并计算误差；再利用外部循环达到可接受的性能，当正确率高于99％时，即误差小于1％，循环停止并保存结果，完成测试；之后使用哑语手势测试图像进行测试，得到哑语手势识别结果。
实施例
一种基于Kinect的哑语手势识别方法，具体按照以下步骤实施：
步骤1，提取哑语手势区域，具体步骤如下：
步骤1.1，对哑语手势进行粗粒度分割：深度图像f(x,y,z)中手势区域与背景区域属于不同的距离集合，即一个手势区域集合和一个背景区域集合，如式(1)所示，当区域g(x,y,z)＝1时，属于手势区域；当区域g(x,y,z)＝0时，属于背景区域，其分割结果如图2所示；
式(1)中，T为手腕与传感器的间距；s为距离常数，s＝8；
步骤1.2，将经步骤1.1后得到的手势区域进行细粒度，得到手势图像，如图3所示，具体步骤如下：
步骤1.21，将哑语手势区域的图像的RGB空间转换到YCbCr空间中，如式(2)所示：
式(2)中，Y为亮度；Cb为蓝色色差；Cr为红色色差；R为红色分量；G为绿色分量；B为蓝色分量；
步骤1.22，在YCbCr空间中建立哑语手势区域图像的高斯模型；
步骤1.23，经步骤1.22后，计算哑语手势区域中每个像素点的肤色的概率，当肤色概率大于或者等于0.9时，该像素点为强肤色点，则保留；当肤色概率小于0.9时，该像素点为弱肤色点，则去除；
其中，像素点肤色的概率计算公式，如式(3)所示：
P(Cb,Cr)＝exp{-0.5(x-m)TC-1(x-m)} (3)；
式(3)中，x＝(Cb,Cr)T；m为像素点的统计均值，m＝E(x)；C为像素点的统计协方差矩阵，C＝E{(x-m)(x-m)T}；
步骤2，经步骤1后，提取哑语手势的距离特征和曲率特征，具体步骤如下：
步骤2.1，提取哑语手势的质心特征：在经步骤1.2后得到的手势图像中，将多连通区域按像素密度大小排序，选取像素密度最大的连通区域，即为手掌连通域S，计算手掌连通域S的质心坐标(x0·y0)，即为哑语手势质心；若最大手掌连通域有多个时，则先计算每个手掌连通域的质心坐标(x0·y0)，再将每个手掌连通域的质心坐标相连成多边形，之后再计算多边形的中心，即为哑语手势质心，如图4所示；
其中，手掌连通域S质心坐标(x0·y0)的计算公式，如式(4)及式(5)所示；
式(4)及式(5)中，Ns为像素个数；
步骤2.2，将经步骤1后得到的哑语手势图像进行高斯滤波降噪，得到平滑的哑语手势图像；
步骤2.3，将经步骤2.3后得到的哑语手势图像使用Canny算子边缘检测算法，得到哑语手势轮廓线，如图5所示；具体步骤如下：
步骤2.31，计算哑语手势图像中每个像素点的梯度和方向；
步骤2.32，将经步骤2.31后得到的每个像素点的梯度与正负梯度方向上的两个像素点的梯度进行比较，如果该像素点的梯度大于等于任意一个正负梯度方向上的像素点的梯度时，则保留该像素点；否则去除该像素点；
步骤2.33，将经步骤2.32后得到的像素点的梯度与阈值T2进行比较，若大于或者等于阈值T2时，则该像素点是强边缘像素点，否则去除；强边缘像素点形成哑语手势轮廓线；
其中，阈值T2的计算公式，如式(6)所示：
T2＝(P×Row×Col)÷64 (6)；
式(6)中，P为非边缘像素的百分比；Row为图像的高度；Col为图像宽度；
步骤2.4，经步骤2.3后，提取哑语手势的距离特征，如图6所示，具体步骤如下：
步骤2.41，计算每两个强边缘像素点之间的欧式距离；
步骤2.42，经步骤2.41后，以哑语手势质心为原点，以欧式距离最大且两个强边缘像素点都在轮廓线上的线段为X轴，将垂直于X轴且两个强边缘像素点都在轮廓线上的线段作为Y轴，建立二维坐标系；
步骤2.43，经步骤2.42后，选取X轴正半轴重合的射线，将该射线逆时针旋转360°，每次旋转5°，计算射线与轮廓线相交的点和原点之间的距离，即得到哑语手势的距离特征，进而得到哑语手势距离特征的曲线图，如图7所示；
步骤2.5，经步骤2.4后，提取哑语手势的曲率特征，具体步骤如下：
步骤2.51，分别以每个强边缘像素点为圆心，再以该强边缘像素点沿着哑语手势轮廓线的5个像素点的欧式距离、8个像素点的欧式距离、12个像素点的欧式距离为半径，形成三个同心圆，如图8及图9所示；
步骤2.52，经步骤2.51后，计算三个同心圆的面积Sf和哑语手势区域落在三个同心圆的面积Sb，得到每个强边缘像素点的曲率K，形成哑语手势的曲率特征；
其中，强边缘像素点的曲率K的计算公式，如式(7)所示：
步骤2.53，将经步骤2.52后得到的每个强边缘像素点的曲率K与阈值T1进行比较；
若该强边缘像素点的曲率K小于阈值T1，则该强边缘像素点的哑语手势轮廓线为凸起；
若该强边缘像素点的曲率K大于阈值T1，则该强边缘像素点的哑语手势轮廓线为凹陷；
若该强边缘像素点的曲率K等于阈值T1，则该强边缘像素点的哑语手势轮廓线为平直；
步骤3，经步骤2后，利用哑语手势的距离特征和曲率特征进行哑语手势的识别，该哑语手势表示的含义为“五”。
该方法是基于Kinect的哑语手势识别方法，结合视觉知识，提出了距离特征和曲率特征；其特征区分度高，提取简单，能够较好的区分被测手势；结合神经网络算法，与其他手势识别方法相比，其识别率高，识别效果好，尤其是针对哑语手势识别，有独特的效果；为未来聋哑人与机器的交流提供了技术支持，为人机交互增加了新的思路。

Claims (7)

1.一种基于Kinect的哑语手势识别方法，其特征在于，具体按照以下步骤实施：
步骤1，提取哑语手势区域；
步骤2，经步骤1后，提取哑语手势的距离特征和曲率特征；
步骤3，经步骤2后，利用哑语手势的距离特征和曲率特征进行哑语手势的识别。
2.根据权利要求1所述的一种基于Kinect的哑语手势识别方法，其特征在于，所述步骤1中，提取哑语手势区域，具体步骤如下：
步骤1.1，对哑语手势进行粗粒度分割：深度图像f(x,y,z)中手势区域与背景区域属于不同的距离集合，即一个手势区域集合和一个背景区域集合，如式(1)所示，当区域g(x,y,z)＝1时，属于手势区域；当区域g(x,y,z)＝0时，属于背景区域；
式(1)中，T为手腕与传感器的间距；s为距离常数，s＝8；
步骤1.2，将经步骤1.1后得到的手势区域进行细粒度，得到手势图像，具体步骤如下：
步骤1.21，将哑语手势区域的图像的RGB空间转换到YCbCr空间中，如式(2)所示：
式(2)中，Y为亮度；Cb为蓝色色差；Cr为红色色差；R为红色分量；G为绿色分量；B为蓝色分量；
步骤1.22，在YCbCr空间中建立哑语手势区域图像的高斯模型；
步骤1.23，经步骤1.22后，计算哑语手势区域中每个像素点的肤色的概率，当肤色概率大于或者等于0.9时，该像素点为强肤色点，则保留；当肤色概率小于0.9时，该像素点为弱肤色点，则去除。
3.根据权利要求2所述的一种基于Kinect的哑语手势识别方法，其特征在于，所述步骤1.23中，像素点肤色的概率计算公式，如式(3)所示：
P(Cb,Cr)＝exp{-0.5(x-m)TC-1(x-m)} (3)；
式(3)中，x＝(Cb,Cr)T；m为像素点的统计均值，m＝E(x)；C为像素点的统计协方差矩阵，C＝E{(x-m)(x-m)T}。
4.根据权利要求1所述的一种基于Kinect的哑语手势识别方法，其特征在于，所述步骤2中，提取哑语手势的距离特征和曲率特征，具体步骤如下：
步骤2.1，提取哑语手势的质心特征：在经步骤1.2后得到的手势图像中，将多连通区域按像素密度大小排序，选取像素密度最大的连通区域，即为手掌连通域S，计算手掌连通域S的质心坐标(x0·y0)，即为哑语手势质心；若最大手掌连通域有多个时，则先计算每个手掌连通域的质心坐标(x0·y0)，再将每个手掌连通域的质心坐标相连成多边形，之后再计算多边形的中心，即为哑语手势质心；
步骤2.2，将经步骤1后得到的哑语手势图像进行高斯滤波降噪，得到平滑的哑语手势图像；
步骤2.3，将经步骤2.3后得到的哑语手势图像使用Canny算子边缘检测算法，得到哑语手势轮廓线；
步骤2.4，经步骤2.3后，提取哑语手势的距离特征，具体步骤如下：
步骤2.41，计算每两个强边缘像素点之间的欧式距离；
步骤2.42，经步骤2.41后，以哑语手势质心为原点，以欧式距离最大且两个强边缘像素点都在轮廓线上的线段为X轴，将垂直于X轴且两个强边缘像素点都在轮廓线上的线段作为Y轴，建立二维坐标系；
步骤2.43，经步骤2.42后，选取X轴正半轴重合的射线，将该射线逆时针旋转360°，每次旋转5°，计算射线与轮廓线相交的点和原点之间的距离，即得到哑语手势的距离特征；
步骤2.5，经步骤2.4后，提取哑语手势的曲率特征，具体步骤如下：
步骤2.51，分别以每个强边缘像素点为圆心，再以该强边缘像素点沿着哑语手势轮廓线的5个像素点的欧式距离、8个像素点的欧式距离、12个像素点的欧式距离为半径，形成三个同心圆；
步骤2.52，经步骤2.51后，计算三个同心圆的面积Sf和哑语手势区域落在三个同心圆的面积Sb，得到每个强边缘像素点的曲率K，形成哑语手势的曲率特征；
其中，强边缘像素点的曲率K的计算公式，如式(7)所示：
步骤2.53，将经步骤2.52后得到的每个强边缘像素点的曲率K与阈值T1进行比较；
若该强边缘像素点的曲率K小于阈值T1，则该强边缘像素点的哑语手势轮廓线为凸起；
若该强边缘像素点的曲率K大于阈值T1，则该强边缘像素点的哑语手势轮廓线为凹陷；
若该强边缘像素点的曲率K等于阈值T1，则该强边缘像素点的哑语手势轮廓线为平直。
5.根据权利要求4所述的一种基于Kinect的哑语手势识别方法，其特征在于，所述步骤2.1中，手掌连通域S质心坐标(x0·y0)的计算公式，如式(4)及式(5)所示；
式(4)及式(5)中，Ns为像素个数。
6.根据权利要求4所述的一种基于Kinect的哑语手势识别方法，其特征在于，所述步骤2.3具体为：
步骤2.31，计算哑语手势图像中每个像素点的梯度和方向；
步骤2.32，将经步骤2.31后得到的每个像素点的梯度与正负梯度方向上的两个像素点的梯度进行比较，如果该像素点的梯度大于等于任意一个正负梯度方向上的像素点的梯度时，则保留该像素点；否则去除该像素点；
步骤2.33，将经步骤2.32后得到的像素点的梯度与阈值T2进行比较，若大于或者等于阈值T2时，则该像素点是强边缘像素点，否则去除；强边缘像素点形成哑语手势轮廓线；
其中，阈值T2的计算公式，如式(6)所示：
T2＝(P×Row×CoI)÷64 (6)；
式(6)中，P为非边缘像素的百分比；Row为图像的高度；Col为图像宽度。
7.根据权利要求1所述的一种基于Kinect的哑语手势识别方法，其特征在于，所述步骤3具体为：使用来自20个不同个体的哑语手势的10幅图像，共12200张样本图像训练多层神经网络，将哑语手势的距离特征与曲率特征作为多层神经网络的输入，在多层神经网络中，输入层和隐藏层，隐藏层和隐藏层，隐藏层和输出之间的权重矩阵用随机值进行初始化；将输出数据与所需标签进行比较并计算误差；再利用外部循环达到可接受的性能，当正确率高于99％时，即误差小于1％，循环停止并保存结果，完成测试；之后使用哑语手势测试图像进行测试，得到哑语手势识别结果。
CN201810892065.XA 2018-08-07 2018-08-07 一种基于Kinect的哑语手势识别方法 Pending CN109344689A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810892065.XA CN109344689A (zh) 2018-08-07 2018-08-07 一种基于Kinect的哑语手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810892065.XA CN109344689A (zh) 2018-08-07 2018-08-07 一种基于Kinect的哑语手势识别方法

Publications (1)

Publication Number Publication Date
CN109344689A true CN109344689A (zh) 2019-02-15

Family

ID=65296744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810892065.XA Pending CN109344689A (zh) 2018-08-07 2018-08-07 一种基于Kinect的哑语手势识别方法

Country Status (1)

Country Link
CN (1) CN109344689A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176443A (zh) * 2019-12-12 2020-05-19 青岛小鸟看看科技有限公司 一种车载智能系统及其控制方法
CN114245542A (zh) * 2021-12-17 2022-03-25 深圳市恒佳盛电子有限公司 一种雷达感应灯及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880865A (zh) * 2012-09-28 2013-01-16 东南大学 基于肤色与形态特征的动态手势识别方法
CN103544469A (zh) * 2013-07-24 2014-01-29 Tcl集团股份有限公司 一种基于掌心测距的指尖检测方法和装置
CN104834922A (zh) * 2015-05-27 2015-08-12 电子科技大学 基于混合神经网络的手势识别方法
US9390500B1 (en) * 2013-03-14 2016-07-12 Amazon Technologies, Inc. Pointing finger detection
CN106446911A (zh) * 2016-09-13 2017-02-22 李志刚 一种基于图像边缘线弯曲度和距离特征的人手识别方法
CN106650628A (zh) * 2016-11-21 2017-05-10 南京邮电大学 一种基于三维k曲率的指尖检测方法
CN107330354A (zh) * 2017-03-20 2017-11-07 长沙理工大学 一种自然手势识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880865A (zh) * 2012-09-28 2013-01-16 东南大学 基于肤色与形态特征的动态手势识别方法
US9390500B1 (en) * 2013-03-14 2016-07-12 Amazon Technologies, Inc. Pointing finger detection
CN103544469A (zh) * 2013-07-24 2014-01-29 Tcl集团股份有限公司 一种基于掌心测距的指尖检测方法和装置
CN104834922A (zh) * 2015-05-27 2015-08-12 电子科技大学 基于混合神经网络的手势识别方法
CN106446911A (zh) * 2016-09-13 2017-02-22 李志刚 一种基于图像边缘线弯曲度和距离特征的人手识别方法
CN106650628A (zh) * 2016-11-21 2017-05-10 南京邮电大学 一种基于三维k曲率的指尖检测方法
CN107330354A (zh) * 2017-03-20 2017-11-07 长沙理工大学 一种自然手势识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FABIO DOMINIO ET AL.: "Hand Gesture Recognition with Depth Data", 《ARTEMIS "13: PROCEEDINGS OF THE 4TH ACM/IEEE INTERNATIONAL WORKSHOP ON ANALYSIS AND RETRIEVAL OF TRACKED EVENTS AND MOTION IN IMAGERY STREAM》 *
张生军: "《基于视觉的无标记手势识别》", 30 June 2016, 吉林大学出版社 *
杨帆: "《数字图像处理与分析（第3版）》", 31 May 2015, 北京航空航天大学出版社 *
赵小川: "《MATLAB图像处理 能力提高与应用案例》", 31 January 2014, 北京航空航天大学出版社 *
陈鹏展: "《个体行为的机器识别与决策协同》", 31 July 2018, 知识产权出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176443A (zh) * 2019-12-12 2020-05-19 青岛小鸟看看科技有限公司 一种车载智能系统及其控制方法
CN111176443B (zh) * 2019-12-12 2023-10-13 青岛小鸟看看科技有限公司 一种车载智能系统及其控制方法
CN114245542A (zh) * 2021-12-17 2022-03-25 深圳市恒佳盛电子有限公司 一种雷达感应灯及其控制方法
CN114245542B (zh) * 2021-12-17 2024-03-22 深圳市恒佳盛电子有限公司 一种雷达感应灯及其控制方法

Similar Documents

Publication Publication Date Title
CN103971102B (zh) 基于手指轮廓和决策树的静态手势识别方法
Liu et al. Static hand gesture recognition and its application based on support vector machines
CN103226387A (zh) 基于Kinect的视频人手指尖定位方法
CN104504383B (zh) 一种基于肤色和Adaboost算法的人脸检测方法
CN108764041A (zh) 用于下部遮挡人脸图像的人脸识别方法
Vishwakarma et al. Simple and intelligent system to recognize the expression of speech-disabled person
CN110956099B (zh) 一种动态手势指令识别方法
CN109359566A (zh) 利用手指特征进行层级分类的手势识别方法
CN109558855B (zh) 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法
Meng et al. An extended HOG model: SCHOG for human hand detection
Kakkoth et al. Real time hand gesture recognition & its applications in assistive technologies for disabled
Tung et al. Elliptical density shape model for hand gesture recognition
CN109344689A (zh) 一种基于Kinect的哑语手势识别方法
Nagendraswamy et al. Indian sign language recognition: An approach based on fuzzy-symbolic data
CN103426000B (zh) 一种静态手势指尖检测方法
Dahal et al. Incorporating skin color for improved face detection and tracking system
Wang et al. Biometric recognition by fusing palmprint and hand-geometry based on morphology
De et al. Computer vision based framework for digit recognition by hand gesture analysis
Işikdoğan et al. Automatic recognition of Turkish fingerspelling
Le et al. Smart Elevator Cotrol System Based on Human Hand Gesture Recognition
Wu et al. Face detection based on YCbCr Gaussian model and KL transform
Wan et al. Face detection method based on skin color and adaboost algorithm
Rokade-Shinde et al. Dynamic hand gesture recognition
Nunsong et al. An improved finger-knuckle-print recognition using fractal dimension based on Gabor wavelet
Chen et al. A fingertips detection method based on the combination of centroid and Harris corner algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215