CN112446321B - 基于帧差法的手部动作实时识别方法 - Google Patents

Abstract

本发明公开了一种基于帧差法的手部动作实时识别方法。主要解决现有技术无法在低功耗设备上实时进行手部动作识别的问题。其实现方案为：1)对读入图像之间使用帧差分法进行处理以提取前景目标图像；2)从读入图像中提取YCrCb格式中的色度分量Cr，以求取肤色概率；3)结合肤色概率，对获得的前景目标图像使用贝叶斯估计得到目标手图像；4)对目标手图像进行降维操作，获得质心并调整；5)对调整后的质心计算质心之间的向量，根据质心向量确定状态值，再由状态值的比较情况判断手部运动状态，实现手部动作的识别。本发明提高了手势识别的准确率，且能部署至低功耗设备运行，可以应用于人机交互、远程控制。

Description

基于帧差法的手部动作实时识别方法

技术领域

本发明属于目标追踪技术领域，特别涉及一种手部动作识别方法，可以应用于人机交互、远程控制。

背景技术

随着计算机技术的发展，人工智能已经影响到人们生活的方方面面，而人工智能中最重要的一个研究方向便是如何使计算机具有视觉能力，即：机器视觉。在机器视觉领域中目标跟踪是其中最为基础也最为重要的一个分支，它包括了图像处理、机器学习、模式识别等多方面的内容，是一个涉及领域非常广泛的研究方向。目标跟踪技术具有广阔的研究前景和应用价值，尽管研究人员们已经深入研究多年，并取得不少研究成果，但是目标跟踪技术在实现层面仍遇到很多技术难点。例如如何实现一款能够实时跟踪，跟踪精度高并且功耗低的目标跟踪设备依然是一个很大的挑战。

在目标跟踪领域中存在着许多子任务，其中手部动作识别是一类具有重要应用价值的任务，手部动作识别的方法在生产生活中具有重大的价值以及较为迫切的需求。然而在实际生产生活中，通常是需要在低功耗设备上应用手部动作识别功能，这对于手部动作识别方法提出了更多的要求。

现有的手部动作识别方法主要分为两类：一类如基于Intel Chainer手部动作识别以及虹软视觉公司手部动作识别，这类手部动作识别方法核心思路基于深度神经网络，要使性能达到可实用标准，不仅需要事先采集大量的手部动作数据集用于模型的训练，这在实际生产生活中需要耗费大量的时间，而且，现有可用于手部识别的特定深度神经网络其模型较为复杂，其推理时间较长难以满足实际生活中实时性要求，且会产生较大的功耗，难以在低功耗设备上进行大规模运用。另一类基于手部几何特征的动作识别，如韩笑等人于2019年发布的文章《基于手势几何分布特征的手势识别》，其利用手部几何特征进行动作识别的方法，这种方法可以满足实际应用的实时性，然而对于低功耗设备部署的性能要求仍然无法满足，功耗较大无法进行低功耗优化，且性能在实际生产生活中无法达到要求。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于帧差法的手部动作实时识别方法，以在低功耗设备上实现手势动作的精确跟踪。

本发明的技术思路是：通过使用帧差分法提取前景目标，通过使用肤色信息进行贝叶斯估计即可得到手的图像，通过对手这个目标的降维后使用状态机滤波和提取手势，以实现动态手势识别。其实现步骤包括如下：

(1)通过摄像头读入相邻五帧图像，记为R₁,R₂,R₃,R₄,R₅，并依次计算读入图像R₁与R₂、R₂与R₃、R₃与R₄、R₄与R₅的差分图，获取四帧前景目标图像，分别记为M₁,M₂,M₃,M₄；

(2)将(1)中读入的第一帧图像R₁转化为YCrCb格式图像，取出Cr分量，并计算Cr分量中每一个像素是肤色的概率P；

(3)对(1)中四帧前景目标图像M₁,M₂,M₃,M₄，结合(2)得到的肤色概率P进行贝叶斯估计，获取四帧目标手图像，分别记为H₁,H₂,H₃,H₄；

(4)对(3)中四帧目标手图像H₁,H₂,H₃,H₄分别进行降维处理，获得四个目标手图像的质心，分别记为C₁，C₂，C₃，C₄；

(5)对四个目标手图像的质心C₁，C₂，C₃，C₄进行调整，获得四个调整后的质心，分别记为C₁′，C₂′，C₃′，C₄′；

(6)对调整后的质心C₁′,C₂′,C₃′,C₄′进行处理，以得到运动状态结果：

(6a)计算调整后的质心C₁′与C₂′、C₂′与C₃′、C₃′与C₄′之间的向量，获得三个质心向量，分别记为

其中，

分别表示调整后质心C₁′的横坐标和纵坐标值，

分别表示调整后质心C₂′的横坐标和纵坐标值，

分别表示调整后质心C₃′的横坐标和纵坐标值，

分别表示调整后质心C₄′的横坐标和纵坐标值；

(6b)根据

获得三个状态值，分别记为s₁,s₂,s₃：

其中，

分别表示横坐标方向和纵坐标方向的单位向量，符号*表示乘号；

(6c)根据三个状态值s₁,s₂,s₃大小的比较结果，确定手部动作识别结果，记为d：

(6d)根据手部动作识别结果d，输出手部动作识别信息：即当d＝4时，输出手部向右运动信息；当d＝3时，输出手部向上运动信息；当d＝2时，输出手部向左运动信息；当d＝1时，输出手部向下运动信息；当d＝0时，输出手部静止状态信息。

本发明与现有技术相比具有以下优点：

第一，本发明借助肤色信息及光流估计实现手势动作识别，降低了实现复杂度，且能更好的在低功耗设备上运行。

第二，本发明通过对手势动作行为进行建模，提出质心的方法判断手势动作，进一步提高了手势识别的准确率。

测试结果表明，本方法相比于其他方法，具有与其他方法相当的识别性能，且能很好用于低功耗设备，可满足手部动作识别在生产生活中的大规模运用需求。

附图说明

图1为本发明的实现流程图；

图2为本发明中读入的图像；

图3为本发明中的帧差分图；

图4为本发明中的Cr分量示意图；

图5为本发明中的肤色概率图；

图6为本发明中的目标手图像；

图7为本发明中的质心示意图。

具体实施方式

以下将结合附图对本发明的实例作进一步详细描述。

参照图1，本实例的实现步骤如下：

步骤一：读入图像并计算读入图像之间的差分图，以获得前景目标图像。

1a)从摄像头中读入连续五帧图像，分别为R₁,R₂,R₃,R₄,R₅，本实例中读入图像如图2所示；

1b)计算读入图像R₁与R₂、R₂与R₃、R₃与R₄、R₄与R₅之间的差分图，以获取四帧前景目标图像，分别为M₁,M₂,M₃,M₄：

其中，th₃表示差分阈值，取值为20，计算差分图的过程实际上相当于滤除背景的过程，背景信息被滤除而前景信息被保留，因此每张前景目标图像M_k表示滤除了背景信息，保留前景信息的图像。本实例中的帧差分图结果如图3所示。

步骤二：从第一帧读入图像中提取肤色概率。

2a)将第一帧读入图像R₁转化为YCrCb格式图像，并取出Cr分量：

YCrCb格式中Y表示为亮度信号，Cr和Cb表示色度信号，其中，Cr反映了RGB图像红色通道信号值与亮度值之间的差异。在RGB空间中，人的肤色图像受亮度影响相当大，所以很难将肤色像素点与非肤色像素点进行分离。而在Cr空间中，肤色图像受亮度的影响特别小，可以很好的区分肤色像素点与非肤色像素点，可以在不同光照条件下保持一定的鲁棒性。Cr分量提取公式如下：

Cr＝0.439R-0.368G-0.071B+128

其中，R，G，B分别表示第一帧读入图像R₁是为RGB格式时提取的红绿蓝通道数据，此处Cr分量是一个矩阵，行数和列数的大小分别为读入图像R₁的宽和高的大小。本实例中提取出的Cr分量结果如图4所示；

2b)计算Cr分量中每一个像素是肤色的概率P：

通过使用Cr分量，可以很稳定的区分图像中每一个像素点是否属于人体肤色，这对于之后获取图像中手部信息是十分重要的。由于Cr分量是一个矩阵，因此此处计算出来的肤色概率P也是一个矩阵，二者矩阵大小相等，肤色概率P计算公式如下：

其中，a₁表示肤色均值，a₂表示肤色方差值，exp()函数表示自然指数，符号*表示乘号，肤色均值a₁及肤色方差值a₂是肤色图像中像素值的两类统计值。通常人体肤色图像的肤色均值为3，肤色方差值为1000。

在本实例中以此值作为肤色均值a₁和肤色方差值a₂默认参数值，其肤色概率P的结果如图5所示。

步骤三：结合肤色概率对前景目标图像进行贝叶斯估计，以获取目标手图像。

(3a)对四帧前景目标图像M₁,M₂,M₃,M₄做归一化处理，以获得四个前景运动目标概率O_k：

由于前景目标图像包含了前景信息而被滤去了背景信息，因此每个像素值蕴含了该像素点是否为前景目标的信息，而前景目标图像每个像素值取值为0至255之间，所以需要进行归一化以获得前景目标概率O_k，计算公式如下：

O_k＝M_k/255,k＝1,2,3,4。

其中O_k是一个矩阵，其行数列数与前景目标图像M_k的高宽大小对应一致，该矩阵O_k中的元素表示对应前景目标图像M_k中像素点为前景运动目标的概率值；

(3b)将每个前景运动目标概率O_k与肤色概率P相乘，得到每个目标手概率G_k：

G_k＝O_k*P，

其中，目标手概率G_k是一个矩阵，其行数列数与前景目标图像M_k的高宽大小对应一致，每个元素大小都为0至1之间，该矩阵G_k中的元素表示对应前景目标图像M_k中像素点为目标手像素的概率值；

(3c)将每个目标手概率G_k与255相乘，得到每帧目标手图像H_k，由于矩阵G_k的每个像素值都在0与1之间，且蕴含了像素点是否为目标手的信息，因此与255相乘之后，可以从这个矩阵G_k中获得目标手图像H_k。计算公式如下：

H_k＝G_k*255，

其中，每帧目标手图像H_k图像高宽大小与前景目标图像M_k的高宽大小一致，其图像内容包含目标手信息；

通过计算可以从四帧前景目标图像M₁,M₂,M₃,M₄中得到四帧目标手图像H₁,H₂,H₃,H₄，如图6所示。

步骤四：对目标手图像进行降维处理，以获得目标手图像的质心。

在获得四帧目标手图像H₁,H₂,H₃,H₄之后，需要对每帧目标手图像H_k进行降维处理，即将每帧目标手图像H_k降维至一点，形成质心C_k，以得到对应四个目标手图像的四个质心，分别为C₁，C₂，C₃，C₄，计算公式如下：

其中，

是质心的横坐标，

是质心的纵坐标，x_k,y_k分别为目标手图像H_k中横坐标和纵坐标值，符号*表示乘号。

每个目标手图像质心C_k表示目标手图像像素值的分布聚集的位置，即表示目标手对象在图像中的位置。

步骤五：根据目标手图像中手部运动状况调整质心，以获得调整后的质心。

5a)将每帧目标手图像H_k处理成每帧像素值为0和1的图像B_k：

其中，th₁表示运动阈值，取值为5；完成处理后，可得到四帧处理后的图像B₁,B₂,B₃,B₄；

5b)计算每帧处理后的图像B_k中像素值为1的像素点个数n_k：

n_k＝∑∑B_k

对每帧处理后的图像B_k中所有的像素值做求和处理后，可以得到该图像B_k中像数值为1的像素点个数；

5c)根据像素点个数n_k判断目标手运动状况，以调整每个质心C_k，获得每个调整后的质心C′_k：

为了使质心的表示更加稳定，因此需要对得到的四个质心C₁，C₂，C₃，C₄进行调整，从而得到四个调整后的质心C′₁，C′₂，C′₃，C′₄，质心调整的公式如下：

其中，当k取1时，C₀表示初始设置的质心，取值为C₁；th₂表示自适应阈值，通常自适应阈值的选取与目标手图像大小相关，取值为目标手图像总像素个数的1/100左右。

在本实例中，自适应阈值th₂取值为3000。实际场景中手部质心示意如图7所示，其中：图7(a)为第一帧目标手图像H₁调整后质心C′₁的结果；图7(b)为第二帧目标手图像H₂调整后质心C′₂的结果；图7(c)为第三帧目标手图像H₃调整后质心C′₃的结果；图7(d)为第四帧目标手图像H₄调整后质心C′₄的结果。

步骤六：对调整后的质心进行处理，输出运动状态。

由于质心构成的运动轨迹并不稳定，因此直接使用质心判断手部动作状态误差较大，而使用质心之间的向量判断更为稳定。虽然由两个质心构成的向量可指明一个方向，但是由于实际存在的误差，仅仅使用两个质心并不能准确判定手部动作状态，同时如果使用过多的质心则会增加实现复杂度，因此需要使用四个质心构成的三个向量用于判断手部动作状态更加合适，本步骤的具体实现如下：

6a)计算四个调整后的质心C′₁与C′₂、C′₂与C′₃、C′₃与C′₄之间的向量，获得三个质心向量，分别记为

其中，

分别表示调整后质心C′₁的横坐标和纵坐标值，

分别表示调整后质心C′₂的横坐标和纵坐标值，

分别表示调整后质心C′₃的横坐标和纵坐标值，

分别表示调整后质心C′₄的横坐标和纵坐标值；

6b)根据

获得三个状态值，分别记为s₁,s₂,s₃：

其中，

分别表示横坐标方向和纵坐标方向的单位向量，符号*表示乘号；

式中，当质心向量

模值等于0时，s_j取值为0；当质心向量

模值大于0，且质心向量

与横坐标单位向量点乘大于0，夹角小于35度时，s_j取值为1；当质心向量

模值大于0，且质心向量

与纵坐标单位向量点乘小于0，夹角大于145度时，s_j取值为2；当质心向量

模值大于0，且质心向量

与横坐标单位向量点乘小于0，夹角大于145度时，s_j取值为3；当质心向量

模值大于0，且质心向量

与纵坐标单位向量点乘大于0，夹角小于35度时，s_j取值为4；当质心向量

不满足上述五种情况时，s_j取值为5；

6c)根据三个状态值s₁,s₂,s₃大小的比较结果，确定手部动作识别结果，记为d：

式中，当状态值s₁,s₂,s₃全等，且状态值s₁等于4时，d取值为4；当状态值s₁,s₂,s₃全等，且状态值s₁等于3时，d取值为3；当状态值s₁,s₂,s₃全等，且状态值s₁等于2时，d取值为2；当状态值s₁,s₂,s₃全等，且状态值s₁等于1时，d取值为1；当状态值s₁,s₂,s₃不满足上述四种情况时，d取值为0；

6d)根据手部动作识别结果d的数值，输出手部动作识别信息：

当d＝4时，输出手部向右运动信息；

当d＝3时，输出手部向上运动信息；

当d＝2时，输出手部向左运动信息；

当d＝1时，输出手部向下运动信息；

当d＝0时，输出手部静止状态信息。

本发明的效果可通过测试实验结果进一步说明。

一、测试环境

包括实验室，树荫下，阴雨天及灯光较弱的环境，也包括阳光直射光线较强的环境。

二、测试内容

实验者在摄像头前朝四个方向挥动手部，一次挥手认为是一个手部动作。

实验共分8组，每组实验过程中，记录实验者挥动手部的方向与本发明识别出的手部动作结果，最后对记录的数据进行统计，计算本发明手部动作识别的正确率。结果如下表1：

表1

从上表的实验结果中可以看出，在不同实验环境下，手部动作的识别准确率都是可接受的，并且已经达到了实际可用的水平，表明本发明可在低功耗设备上运行，能满足最低功耗的要求。

Claims (6)

1.一种基于帧差法的手部动作实时识别方法，其特征在于，包括如下：

(1)通过摄像头读入相邻五帧图像，记为R₁,R₂,R₃,R₄,R₅，并依次计算读入图像R₁与R₂、R₂与R₃、R₃与R₄、R₄与R₅的差分图，获取四帧前景目标图像，分别记为M₁,M₂,M₃,M₄；

(2)将(1)中读入的第一帧图像R₁转化为YCrCb格式图像，取出Cr分量，并计算Cr分量中每一个像素是肤色的概率P；

(3)对(1)中四帧前景目标图像M₁,M₂,M₃,M₄，结合(2)得到的肤色概率P进行贝叶斯估计，获取四帧目标手图像，分别记为H₁,H₂,H₃,H₄；

(4)对(3)中四帧目标手图像H₁,H₂,H₃,H₄分别进行降维处理，获得四个目标手图像的质心，分别记为C₁，C₂，C₃，C₄；

(5)对四个目标手图像的质心C₁，C₂，C₃，C₄进行调整，获得四个调整后的质心，分别记为C′₁，C′₂，C′₃，C′₄；获得每个调整后的质心C′_k，按如下步骤进行：

(5a)将每帧目标手图像H_k处理成每帧像素值为0和1的图像B_k：

其中，th₁表示运动阈值，取值为5；

(5b)计算每帧处理后的图像B_k中像素值为1的像素点个数n_k：

n_k＝∑∑B_k

(5c)根据每个像素点个数n_k判断目标手运动状况，以调整每个质心C_k，获得每个调整后的质心C′_k：

其中，当k取1时，C₀表示初始设置的质心，取值为C₁；th₂表示自适应阈值；

(6)对调整后的质心C′₁,C′₂,C′₃,C′₄进行处理，以得到运动状态结果：

(6a)计算调整后的质心C′₁与C′₂、C′₂与C′₃、C′₃与C′₄之间的向量，获得三个质心向量，分别记为

其中，C′_x ¹,C′_y ¹分别表示调整后质心C′₁的横坐标和纵坐标值，C′_x ²,C′_y ²分别表示调整后质心C′₂的横坐标和纵坐标值，C′_x ³,C′_y ³分别表示调整后质心C′₃的横坐标和纵坐标值，C′_x ⁴,C′_y ⁴分别表示调整后质心C′₄的横坐标和纵坐标值；

(6b)根据

获得三个状态值，分别记为s₁,s₂,s₃：

其中，

分别表示横坐标方向和纵坐标方向的单位向量，符号*表示乘号；

(6c)根据三个状态值s₁,s₂,s₃大小的比较结果，确定手部动作识别结果，记为d：

(6d)根据手部动作识别结果d，输出手部动作识别信息：即当d＝4时，输出手部向右运动信息；当d＝3时，输出手部向上运动信息；当d＝2时，输出手部向左运动信息；当d＝1时，输出手部向下运动信息；当d＝0时，输出手部静止状态信息。

2.根据权利要求1所述的方法，其特征在于，(1)中计算读入图像之间的差分图，按如下公式进行：

其中，th₃表示差分阈值，取值为20；M_k表示第k帧的前景目标图像，k＝1,2,3,4。

3.根据权利要求1所述的方法，其特征在于，(2)中取出的Cr分量，公式表示如下：

Cr＝0.439R-0.368G-0.071B+128

其中R，G，B分别表示RGB格式图像的红绿蓝通道数据。

4.根据权利要求1所述的方法，其特征在于，(2)中计算Cr分量中每一个像素是肤色的概率P，按如下公式进行：

其中，a₁表示肤色均值，a₂表示肤色方差值，exp()函数表示自然指数，符号*表示乘号。

5.根据权利要求1所述的方法，其特征在于，(3)中结合肤色概率P对四帧前景目标图像M₁,M₂,M₃,M₄进行贝叶斯估计，以获得四帧目标手图像H₁,H₂,H₃,H₄，按如下步骤如下：

(3a)对四帧前景目标图像M₁,M₂,M₃,M₄做归一化处理，以获得四个前景运动目标概率O_k：

O_k＝M_k/255,k＝1,2,3,4；

(3b)将每个前景运动目标概率O_k与肤色概率P相乘，得到每个目标手概率G_k：

G_k＝O_k*P；

(3c)将每个目标手概率G_k与255相乘，得到每帧目标手图像H_k：

H_k＝G_k*255。

6.根据权利要求1所述的方法，其特征在于，(4)中从每帧目标手图像H_k中获取每个目标手图像质心C_k，其中横坐标值

纵坐标值

按如下公式进行：

其中，x_k,y_k分别为目标手图像H_k中横坐标和纵坐标值，符号*表示乘号。

Images