CN110633666A - 一种基于手指颜色贴片的手势轨迹识别方法 - Google Patents

Abstract

本发明公开了一种基于手指颜色贴片的手势轨迹识别方法，属于人机交互技术领域。本发明通过采用颜色贴片进行轨迹识别，将待识别部位从复杂背景中区分出来，尤其应用于手势识别中，由于通常在进行手势识别时，人体脸部区域位于手势后方，而手势识别过程中会基于肤色对手势进行识别，所以或导致手势识别过程中实时、准确获取手势轨迹点存在困难，而本申请通过颜色贴片解决了这一问题，并且在获取轨迹点质心坐标时，采用射线法将背景中的伪质心坐标区分出来，使得能够准确识别出轨迹点；本申请还结合卷积神经网络识，能够对单目摄像头下采集的颜色贴片图像进行轨迹点的实时获取。

Description

一种基于手指颜色贴片的手势轨迹识别方法

技术领域

本发明涉及一种基于手指颜色贴片的手势轨迹识别方法，属于人机交互技术领域。

背景技术

在信息科技快速发展的今天，各种智能设备的出现，正在改变着人们的日常生活。随着新型智能设备的涌现，新型的人机交互方式也在颠覆传统的人机交互模式。利用手势进行人机交互更直观、更方便、更加符合人们的交流习惯。

手势识别技术可以分为两类：一类是基于计算机视觉技术的手势识别，另一类是基于其它技术的手势识别，如基于超声波技术、基于WIFI技术的手势识别。基于计算机视觉技术的手势识别具有成本更低，识别手势的类型更多，可扩展性更好等特点，是目前手势交互技术研究的热门。基于计算机视觉技术的手势识别又分为静态手势识别与动态手势识别，静态手势利用手部的形状以及手部的不同姿态来进行识别，而动态手势则多用手部的轨迹来进行识别、交互。在会议、课堂以及任何需要文字、字符输入的场合都可以使用轨迹识别的方式来进行便利的人机交互。

专利(申请号：CN201610069836；名称：基于深度卷积神经网络的动态手势轨迹识别方法)公开了一种基于深度卷积神经网络的动态手势轨迹识别方法，采用形状识别和方向识别，对手势轨迹点序列提供带有方向的动态手势识别。但是对手势轨迹点的实时提取和对复杂运动下的手势轨迹处理并没有加以说明，而对于手势轨迹点的实时提取也即对于手势的识别是进行手势识别的必要前提条件，尤其对于复杂背景下的识别，比如背景与肤色相近的情形下，因此需要提供一种能够准确、快速的识别出手势轨迹的方法。

发明内容

为了能够准确、快速的识别出手势轨迹，尤其是复杂背景下的手势轨迹，本发明提供了一种基于手指颜色贴片的手势轨迹识别方法。

一种轨迹识别方法，所述方法包括：S1在待识别部位进行颜色贴片，并采集复杂背景下待识别部位的视频轨迹图像，其中颜色贴片被待识别部位完全包围；

S2获取视频轨迹图像中每帧图片中颜色贴片的质心坐标，得到颜色贴片的质心坐标序列，并对质心坐标序列进行预处理，进而得到视频轨迹图像中颜色贴片的质心轨迹图；

S3采用训练好的卷积神经网络模型检测得到的质心轨迹图，得出识别结果。

可选的，所述S2中对质心坐标序列进行预处理的过程中，采用射线法排除伪质心坐标，所述伪质心坐标为类颜色贴片的颜色的背景图中的非颜色贴片的质心坐标。

可选的，所述采用射线法排除伪质心坐标之前，还包括：

获取视频轨迹图像中待识别部位的轮廓坐标并确定采用射线法可能存在的多种非正常情况。

可选的，所述采用射线法排除伪质心坐标，包括：

以质心坐标点开始，向右或向左的水平方向作一条射线，计算该射线与待识别部位的轮廓的交点个数，若交点个数为偶数，则该质心坐标为伪质心坐标。

可选的，所述多种非正常情况包括：

射线与待识别部位轮廓相邻两个轮廓坐标点之间的线段平行；

射线与待识别部位轮廓相邻两个轮廓坐标点之间的线段重叠；

射线在待识别部位轮廓相邻两个轮廓坐标点之间的线段下方；

射线在待识别部位轮廓相邻两个轮廓坐标点之间的线段上方；

待识别部位轮廓相邻两个轮廓坐标点之间的线段的其中一端正好经过射线。

可选的，所述颜色贴片是区别于待识别部位颜色的颜色贴纸。

可选的，所述待识别部位为人体某一部位。

可选的，当所述待识别部位为人体手指部位时，所述获取视频轨迹图像中待识别部位的轮廓坐标，包括：

将视频轨迹图像中每帧图片颜色空间从RGB转换到YCbCr颜色空间提取手指部位的肤色区域，对提取后的肤色区域进行滤波，并对滤波后图像进行二值化处理，使用轮廓检测获得肤色轮廓坐标。

可选的，所述获取视频轨迹图像中每帧图片中颜色贴片的质心坐标，包括：

对视频轨迹图像中每帧图片进行检测，将图片转换到HSV颜色空间，提取颜色贴片区域，对提取了颜色贴片后的照片进行腐蚀膨胀操作，使用轮廓检测获得颜色贴片坐标，并计算轮廓的矩，得到质心坐标。

可选的，所述S3采用训练好的卷积神经网络模型检测得到的质心轨迹图之前，还包括：

训练卷积神经网络模型：收集手写字符样本图片，将收集好的手写字符图集预处理后进行卷积神经网络训练，得到训练好的卷积神经网络模型，卷积神经网络模型由两层卷积层、两层池化层、一层密集连接层和输出层组成；

所述将收集好的手写字符图集预处理指将收集好的手写字符图集中的图片转化成宽度和高度都一致的图片。

本发明的第二个目的在于提供上述轨迹识别方法在人机交互技术领域内的应用。

本发明有益效果是：

通过采用颜色贴片进行轨迹识别，将待识别部位从复杂背景中区分出来，尤其应用于手势识别中，由于通常在进行手势识别时，人体脸部区域位于手势后方，而手势识别过程中会基于肤色对手势进行识别，所以或导致手势识别过程中实时、准确获取手势轨迹点存在困难，而本申请通过颜色贴片解决了这一问题，并且在获取轨迹点质心坐标时，采用射线法将背景中的伪质心坐标区分出来，使得能够准确识别出轨迹点；本申请还结合卷积神经网络，通过采集到的颜色贴片轨迹点对轨迹要表示的具体含义有效识别。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种基于手指颜色贴片的手势轨迹识别方法的流程图。

图2为采用的卷积神经网络的结构图。

图3为两种检测贴片点坐标在手势轮廓内外沿x轴向右做射线的情况。

图4为颜色贴片质心坐标点沿x轴向右做射线与相邻两个肤色轮廓坐标直线之间多种可能存在的几种非正常情况。

图5为颜色贴片质心坐标沿x轴向右做射线需要判断的两种正常情况。

图6为食指上粘贴颜色贴片，对图片进行肤色检测并二值化后的肤色轮廓图。

图7为食指上粘贴带有颜色贴片的手势图(左)和获取颜色贴片区域图(右)。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明为一种轨迹识别方法，但现实中较长采用的为手势轨迹，故下述实施例以手势识别为例进行说明。

实施例一：

本实施例提供一种基于手指颜色贴片的手势轨迹识别方法，所述方法包括：

(1)收集手写字符样本图片，将收集好的手写字符图集预处理后进行卷积神经网络训练，得到训练好的卷积神经网络模型。

所述预处理指的是把收集好的样本图片标准化，转化成宽度和高度都一致的图片，手写字符图集包括训练数据集图片样本和测试数据集图片样本，训练数据图片样本集和测试数据图片样本均是由不同人手写的字符构成，卷积神经网络由两层卷积层、两层池化层、一层密集连接层和输出层组成。

(2)给手指进行颜色贴片，并采集复杂背景下的视频手指轨迹图像，获取手指轨迹视频的每一帧图片，得到复杂背景下的手指轨迹图片。

所述颜色贴片是区别于肤色的单一圆形颜色贴纸，颜色贴片要能被手指完全包围。

(3)对步骤(2)获得的复杂背景下的每一帧手指轨迹图片进行预处理，获得预处理后的肤色轮廓坐标。

将步骤(2)中手指轨迹视频的每一帧图片颜色空间从RGB转换到YCbCr颜色空间提取手的肤色区域，对提取后的肤色区域进行滤波，并对滤波后图像二值化，使用轮廓检测获得肤色轮廓坐标。

(4)对步骤(2)获得的复杂背景下的手指轨迹图片进行预处理，获得颜色贴片的质心坐标。

对步骤(2)中手指轨迹视频的每一帧图片中手指上颜色贴片进行检测，把图片转换到HSV颜色空间，提取颜色贴片区域，对提取了颜色贴片后的照片进行腐蚀膨胀操作，使用轮廓检测获得颜色贴片坐标，并计算轮廓的矩，得到质心坐标。

(5)获取步骤(4)中的质心坐标序列并对质心坐标序列预处理，生成与步骤(1)样本图片格式相同的质心轨迹图。

对质心坐标序列预处理的目的是把在肤色轮廓连通域之外的质心坐标排除，即排除类颜色贴片颜色的背景图，采用射线法来判断质心坐标是否在肤色手势轮廓之内。

射线法就是以质心坐标点开始，向右(或向左)的水平方向作一射线，先排除图(4)中射线与相邻两质心之间的特殊情况，实际要求的是图(5)的两种情况，计算该射线与肤色轮廓每条边的交点个数，如果交点个数为奇数，则点位于肤色内，偶数则在肤色外(如图(3)所示)。

生成与步骤(1)格式相同的质心轨迹图步骤如下：

准备一张和步骤(2)中视频轨迹每帧图片大小一致的白底图片，作为画布；

在画布上顺序对步骤(4)中预处理后的质心坐标进行连线，并以零像素填充连线轨迹；

对填充后的图片进行先膨胀后腐蚀操作，再缩放成和步骤(1)预处理后的样本大小一致的图片，以备用于字符识别；

(6)用步骤(1)得到训练好的卷积神经网络模型检测步骤(4)中的质心轨迹图，并实时输出识别结果。

下述结合具体仿真过程对本发明手势轨迹识别方法进行说明：仿真实验环境包括：CPU采取i5-7200U，采用Python语言编写程序，在Spyder程序调试环境下对卷积神经网络模型训练，系统运行环境采用Window10操作系统。

如图1所示，一种基于手指颜色贴片的手势轨迹识别方法包括如下步骤：

1)利用相机拍摄复杂背景下的手指轨迹，导入Python的cv2模块读取每一帧的视频，截取每一帧视频的图片，对图片进行肤色轮廓提取，方法如下：

对截取的每一帧视频的图片检测手势，采用肤色检测，把图片从RGB颜色空间转换到YCbCr颜色空间，由RGB颜色空间到YCbCr颜色空间转换的公式如下：

Y＝0.299R+0.587G+0.114B

Cb＝-0.169R-0.331G+0.5B

Cr＝0.5R-0.419G-0.081B

提取图片中77<Cb<127,133<Cr<173两个范围内的分量，再对图像二值化(其中一帧获取肤色的二值化图片如图6所示)，并对图像先腐蚀后膨胀进行开运算，对图像进行开运算的目的是消除图像上细小的类肤色噪声，并平滑肤色边界，去除复杂背景之后，再调用cv2模块的findContours()函数获得图像中的肤色轮廓坐标。

与此同时，对截取的每一帧视频的图片检测颜色贴片，先把图片转换到HSV颜色空间，(这里以黄颜色贴片为例)，设定色调H阈值为28°≤H≤34°，设定饱和度S阈值为43≤S≤255，设定明度V阈值为46≤V≤255，对阈值分割后的图像进行开运算，消除噪声(获取颜色贴片区域如图7中右图所示)，再使用轮廓检测函数获得颜色贴片轮廓的坐标，通过轮廓的矩计算轮廓的质心，其中轮廓的矩计算公式为：

其中，f(x,y)是像素的密度函数，m_pq是像素点(p,q)的数学期望。

质心计算公式：

2)对质心坐标进行预处理：

采用射线法来判断质心坐标是否在肤色手势轮廓之内，并排除异常质心点。

以质心坐标点开始，向右的水平方向作一条射线，先排除图(4)中射线与两相邻手势轮廓坐标线段之间的各种情况，包括：射线与两相邻手势轮廓坐标线段平行、射线与两相邻手势轮廓坐标线段重叠、两相邻手势轮廓坐标线段在射线上方、两相邻手势轮廓坐标线段在射线下方、两相邻手势轮廓坐标线段的其中一端在射线上，排除后实际要求的是图(5)的情况，即两相邻手势轮廓坐标线段与射线有交点、两相邻手势轮廓坐标线段与射线无交点，计算该射线与肤色轮廓每条边的交点个数，如果交点个数为奇数，则点位于手势轮廓坐标内，偶数则在手势轮廓坐标外(如图(3)所示)，剔除在手势轮廓坐标之外的点，保存质心坐标。

3)获取待识别的轨迹图片：

准备一张白底图片，作为画布，图片像素宽高和读取视频帧的宽度和高度相同，以初始质心坐标为起始点，最后质心坐标为终点，对质心坐标顺序直线连接，并以像素0填充质心坐标连线轨迹，然后把图片缩放到宽度为28像素，高度为28像素，作为待识别的轨迹图片。

4)收集手写字符轨迹图片，这里采用MNIST数据集，MNIST数据集来自美国国家标准与技术研究所，MNIST数据集包括训练集和测试集，National Institute of Standardsand Technology(NIST)训练集(training set)由来自250个不同人手写的数字构成，其中50％是高中学生，50％来自人口普查局(the Census Bureau)的工作人员。

测试集(test set)也是同样比例的手写数字数据，每张图片仅含有黑色字符和白色背景，每张手写数字轨迹图片均为28×28像素，一共收集70000个样本图片，其中60000个样本用做训练集，10000个样本用作测试集。

5)对收集好的图片数据输入到卷积神经网络中，卷积神经网络结构图如图2所示，卷积使用1步长，0边距的模板，池化用2×2大小的模板做max pooling，在输出层中的softmax层的函数形式如下式所示：

上式中a_j表示全连接层的权值矩阵W与向量化的图片矩阵X的乘积的向量里的第j个值，其中1≤j≤10；当一个样本经过softmax层并输出一个10行一列的向量时，就会取a_j向量中值最大的数作为这个样本的预测标签。

卷积神经网络的Loss函数形式如下式所示：

上式中，y_i是一个2维张量，y_i的每一行为一个10维的one-hot向量，用于代表对应某一样本图片的类别。

6)将步骤3)的测试图片输入到步骤5)的卷积神经网络训练好的模型中，完成整个识别的结果。

本发明实施例通过采用颜色贴片进行轨迹识别，将待识别部位从复杂背景中区分出来，尤其应用于手势识别中，由于通常在进行手势识别时，人体脸部区域位于手势后方，而手势识别过程中会基于肤色对手势进行识别，所以或导致手势识别过程中实时、准确获取手势轨迹点存在困难，而本申请通过颜色贴片解决了这一问题，并且在获取轨迹点质心坐标时，采用射线法将背景中的伪质心坐标区分出来，使得能够准确识别出轨迹点；本申请还结合卷积神经网络识，通过采集到的颜色贴片轨迹点对轨迹要表达的具体含义进行识别。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种轨迹识别方法，其特征在于，所述方法包括：

S1在待识别部位进行颜色贴片，并采集复杂背景下待识别部位的视频轨迹图像，其中颜色贴片被待识别部位完全包围；

S2获取视频轨迹图像中每帧图片中颜色贴片的质心坐标，得到颜色贴片的质心坐标序列，并对质心坐标序列进行预处理，进而得到视频轨迹图像中颜色贴片的质心轨迹图；

S3采用训练好的卷积神经网络模型检测得到的质心轨迹图，得出识别结果。

2.根据权利要求1所述的方法，其特征在于，所述S2中对质心坐标序列进行预处理的过程中，采用射线法排除伪质心坐标，所述伪质心坐标为类颜色贴片的颜色的背景图中的非颜色贴片的质心坐标。

3.根据权利要求2所述的方法，其特征在于，所述采用射线法排除伪质心坐标之前，还包括：

获取视频轨迹图像中待识别部位的轮廓坐标并确定采用射线法可能存在的多种非正常情况。

4.根据权利要求3所述的方法，其特征在于，所述采用射线法排除伪质心坐标，包括：以质心坐标点开始，向右或向左的水平方向作一条射线，计算该射线与待识别部位的轮廓的交点个数，若交点个数为偶数，则该质心坐标为伪质心坐标。

5.根据权利要求3所述的方法，其特征在于，所述多种非正常情况包括：

射线与待识别部位轮廓相邻两个轮廓坐标点之间的线段平行；

射线与待识别部位轮廓相邻两个轮廓坐标点之间的线段重叠；

射线在待识别部位轮廓相邻两个轮廓坐标点之间的线段下方；

射线在待识别部位轮廓相邻两个轮廓坐标点之间的线段上方；

待识别部位轮廓相邻两个轮廓坐标点之间的线段的其中一端正好经过射线。

6.根据权利要求1所述的方法，其特征在于，所述颜色贴片是区别于待识别部位颜色的颜色贴纸。

7.根据权利要求6所述的方法，其特征在于，所述待识别部位为人体某一部位。

8.根据权利要求7所述的方法，其特征在于，当所述待识别部位为人体手指部位时，所述获取视频轨迹图像中待识别部位的轮廓坐标，包括：

将视频轨迹图像中每帧图片颜色空间从RGB转换到YCbCr颜色空间提取手指部位的肤色区域，对提取后的肤色区域进行滤波，并对滤波后图像进行二值化处理，使用轮廓检测获得肤色轮廓坐标。

9.根据权利要求8所述的方法，其特征在于，所述获取视频轨迹图像中每帧图片中颜色贴片的质心坐标，包括：

对视频轨迹图像中每帧图片进行检测，将图片转换到HSV颜色空间，提取颜色贴片区域，对提取了颜色贴片后的照片进行腐蚀膨胀操作，使用轮廓检测获得颜色贴片坐标，并计算轮廓的矩，得到质心坐标。

10.根据权利要求9所述的方法，其特征在于，所述S3采用训练好的卷积神经网络模型检测得到的质心轨迹图之前，还包括：

训练卷积神经网络模型：收集手写字符样本图片，将收集好的手写字符图集预处理后进行卷积神经网络训练，得到训练好的卷积神经网络模型，卷积神经网络模型由两层卷积层、两层池化层、一层密集连接层和输出层组成；

所述将收集好的手写字符图集预处理指将收集好的手写字符图集中的图片转化成宽度和高度都一致的图片。

Images