CN109902565A - 多特征融合的人体行为识别方法 - Google Patents

Abstract

一种多特征融合的人体行为识别方法，利用摄像头采集人体行为视频，提取每帧图像的前景图并进行空洞填充与干扰滤除，获得人体剪影图像序列；计算图像序列中相邻帧间相似度，获得表征行为姿态的每帧图像权重；根据人体剪影图像序列中每帧图像及其对应权重，通过加权平均获得表征行为过程的动作能量图；提取动作能量图的Zernike矩、灰度直方图和纹理特征，形成包含行为时空特性的多维特征融合向量。构建不同标准行为的特征向量模板库；在行为识别过程中根据待识别视频提取待识别行为的特征向量，将待识别行为特征向量与标准行为模板库特征向量逐一匹配，根据匹配结果确定行为类别，实现人体行为的准确识别。本发明通过构建动作能量图来表征人体行为的时间变化和空间姿态特征，可提高行为识别准确率和实时性，具有一定的实用价值。

Description

多特征融合的人体行为识别方法

技术领域

本发明涉及一种计算机视觉与图像处理方法，具体地说是一种多特征融合的人体行为识别方法。

背景技术

人体行为识别是计算机视觉的一个重要分支，指利用模式识别、机器学习等方法，从一段未知的视频中自动分析识别人体的动作行为，可广泛应用于智能安防、交通管理、智能机器人、智能看护、娱乐休闲等现实生活领域。

目前人体行为识别可分为基于传感器和视觉两种方式，其中基于传感器的行为识别因需在人体关节部位佩戴相应的传感器，存在使用操作繁琐、不够灵活、用户体验性差等问题，故只能应用于一些特定领域；基于视觉的行为识别可分为基于单帧图像和视频的识别，基于单帧图像的行为识别因无法有效获取行为的时间信息，其识别效果较差，而基于视频的行为识别能利用视频中的时空信息，其准确率相对较高，目前主要有利用关节骨架特征、循环神经网络模型、3D卷积网络学习模型等进行视频行为识别，然而当前主流的深度学习方法算法复杂度较高，对硬件要求高，且由于人的行为动作在时间持续和空间姿态方面均具有较强随意性和不可预测性，同一种行为的姿态和动作速度可能不尽相同，不同的人的行为其动作幅度等也具有一定的差异性，现缺乏有效的非监督学习或半监督学习手段，仍极度依赖海量的行为数据。为此，急需对行为视频的时间序列信息和空间姿态信息进行深入挖掘与有效特征提取，提升行为识别的实时性、便捷性并保障准确率，这在实际应用中意义重大。

发明内容

本发明要解决的技术问题是提供一种多特征融合的人体行为识别方法，通过构建动作能量图来表征人体行为的时间变化和空间姿态特征，从而实现人体行为的快速准确识别。

为解决上述的技术问题，本发明采取以下技术方案：一种多特征融合的人体行为识别方法，包括以下步骤：

利用摄像头采集人体行为视频，提取视频中的行为图像序列帧，并进行降噪预处理，增强图像质量；采用ViBe算法提取行为图像序列中每帧图像的前景图，利用形态学和区域生长法对人体局部缺失凹陷区域进行空洞填充与干扰区域滤除，具体过程为：首先对人体前景图进行腐蚀操作，滤除前景图中的独立细小噪声像素块，得到图像A，然后对图像进行外扩一行像素点并填充为0，标记为B；以扩展像素(0,0)为种子点，通过形态学膨胀操作将B的大背景填充，将填充好的图像裁剪为原图像大小，并将其取反并与图像A相加，即获得人体剪影图C_i,i∈[0,K-1]，K为人体剪影图像序列帧数；

采用帧差方法计算行为过程中的人体剪影图像序列C＝{C₀,…,C_i,…,C_K-1}中相邻帧之间的相似度为α_i(α_i∈[0,1])，其计算公式为：

其中，f(C_i-1,C_i)为行为序列相邻两图像帧C_i-1、C_i(i∈(0,K])间的相似度计算函数；假设通过行为序列第i-1帧、第i帧人体剪影图像所计算获得的差分图像为D_i-1,i(x,y)，则C_i-1、C_i两帧相似度函数式具体如下：

其中W为图像的宽，H为图像的高。

进一步地，根据相似度获得表征行为姿态的每帧图像的权重，并对权重进行归一化处理，形成人体剪影图像序列所对应的权重向量a＝{λ₀,…,λ_i,…λ_K-1},i∈[0,K-1]，其权重计算公式如下：

进一步地，根据人体剪影图像序列C及其对应的权重向量a，通过加权平均，获得可表征整个行为过程的动作能量图，其计算公式如下：

进一步的，根据动作能量图提取多维特征融合向量F，其中F由Zernike矩、灰度直方图和纹理共11种特征组成，具体表达式如下：

F＝{f₀,…,f_i,…f₁₀},i∈[0,10]

其中均为Zernike矩特征；f₇＝P，为灰度直方图特征；f₈＝S_E、f₉＝S_Con、f₁₀＝S_Q，分别为纹理特征的能量属性值、对比度属性值和熵值属性值。

假设N种标准行为动作，采用以上步骤方法提取N种标准行为的特征融合向量，构建标准行为的特征模板库

在行为识别过程中，根据待识别视频提取待识别人体行为的特征融合向量F_d；采用距离度量算法，对待识别行为特征融合向量F_d与标准行为特征模板库中的特征融合向量进行依次匹配识别，获得待识别行为与标准行为模板的相似度即通过相似度排序优选出相似度最高值，从而实现人体行为的准确识别。

与现有技术对比，本发明专利的有益效果为：本发明构建动作能量图作为特征提取对象，且在动作能量计算过程中，通过人体行为序列相邻帧的相似度计算，为人体行为的相似帧与关键姿态帧分配其相应权重，强化了关键姿态帧并弱化相似帧作用，有效表征了人体行为在时间序列和空间姿态上的特征信息；同时采用具有旋转不变性的Zernike矩特征，并结合纹理特征与灰度直方图特征，可较好的提取动作能量图中的细节特征和全局特征，最后结合马氏距离度量算法，实现对特征进行快速匹配识别，有效提高行为识别准确率与速度，具有较好的实用性。

附图说明

图1是行为识别流程示意图。

图2是行为识别算法示意图。

图3是动作能量图构建示意图。

具体实施方式

为便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述。

如图1所示，本发明揭示了一种多特征融合的人体行为识别方法，包括以下步骤：利用摄像头采集人体行为视频，提取每帧图像的前景图并进行空洞填充与干扰滤除，获得人体剪影图像序列；计算图像序列中相邻帧间相似度，获得表征行为姿态的每帧图像权重；根据人体剪影图像序列中每帧图像及其对应权重，通过加权平均获得表征行为过程的动作能量图；提取动作能量图的Zernike矩、灰度直方图和纹理特征，形成包含行为时空特性的多维特征融合向量。基于上述步骤方法，构建7种标准行为的特征向量模板库；在行为识别过程中根据待识别视频提取待识别行为的特征融合向量，将待识别行为特征融合向量与标准行为模板库特征融合向量逐一匹配，根据匹配结果确定行为类别，实现人体行为识别。

详细方法流程图见图2，具体实施方法如下，其中滤波降噪、特征匹配算法仅用于举例说明，不局限于所举例方法。

利用摄像头采集人体行为视频，提取视频中的行为图像序列帧，并采用高斯滤波对图像序列行降噪预处理，增强图像质量。其中高斯滤波表达式为：

其中x，y为像素点坐标，k用来计算高斯滤波窗口大小；

采用ViBe算法提取行为图像序列中每帧图像的前景图，利用形态学和区域生长法对人体局部缺失凹陷区域进行空洞填充与干扰区域滤除，具体过程为：首先对人体前景图进行腐蚀操作，滤除前景图中的独立细小噪声像素块，得到图像A，然后对图像进行外扩一行像素点并填充为0，标记为B；以扩展像素(0,0)为种子点，通过形态学膨胀操作将B的大背景填充，将填充好的图像裁剪为原图像大小，并将其取反并与图像A相加，即获得人体剪影图C_i,i∈[0,K-1]，K为人体剪影图像序列帧数。

采用帧差方法计算行为过程中的人体剪影图像序列C＝{C₀,…,C_i,…,C_K-1}中相邻帧间的相似度为α_i(α_i∈[0,1])，其计算公式为：

其中f(C_i-1,C_i)为行为序列相邻两图像帧C_i-1、C_i(i∈(0,K])间的相似度计算函数。假设通过行为序列第i-1帧、第i帧人体剪影图像所计算获得的差分图像为D_i-1,i(x,y)，其计算式如下：

其中D(x,y)为连续两帧图像之间的差分图像，I(i)和I(i-1)分别为t和t-1时刻的图像，T为差分图像相似度阈值，D(x,y)＝1表示两帧相似，D(x,y)＝0表示两帧不同。

则C_i-1、C_i两帧相似度函数式具体如下：

其中W为图像的宽，H为图像的高。

根据相似度获得表征行为姿态的每帧图像的权重并归一化，形成人体剪影图像序列所对应的权重向量a＝{λ₀,…,λ_i,…λ_K-1},i∈[0,K-1]，其权重计算公式如下：

根据人体剪影图像序列C及其对应的权重向量a，通过加权平均，获得可表征整个行为过程的动作能量图，如图3所示，其计算公式如下：

根据动作能量图提取多维特征融合向量F，其中F由Zernike矩、灰度直方图和纹理共11种特征组成，具体表达式如下：

F＝{f₀,…,f_i,…f₁₀},i∈[0,10]

其中均为Zernike矩特征；f₇＝P，为灰度直方图特征；f₈＝S_E、f₉＝S_Con、f₁₀＝S_Q，分别为纹理特征的能量属性值、对比度属性值和熵值属性值。

Zernike矩表达式为：

其中，f(x,y)表示二维图像矩阵，p,q表示p阶q次Zernike矩，V_pq为Zernike多项式。

灰度直方图P表达式为：

其中，r_k是像素的灰度级，P(r_k)是该灰度级像素所占比例，n_k是具有灰度r_k的像素的个数，K是图像中总的像素个数。

纹理特征的三个属性：能量S_E、对比度S_Con和熵S_Q的表达式为：

其中，p(i,j|d,θ)表示在θ方向上，相隔一定的像元距离d，灰度值分别为i和j的像元对出现的频率；

本发明中的11种特征包括：Zernike矩( 共7种)、灰度直方图特征(f₇＝P，1种)和纹理特征(f₈＝S_E、f₉＝S_Con、f₁₀＝S_Q，分别为纹理特征的能量属性值、对比度属性值和熵值属性值，共3种)，加起来11种特征。

本发明以6种行为动作(具体指行走、站立、摔倒、跑步、挥手、弯腰)为例，采用以上步骤方法提取这6种行为动作的特征融合向量，构建标准行为的特征模板库

在行为识别过程中，根据待识别视频提取待识别人体行为的特征融合向量F_d；采用马氏距离度量算法，对待识别行为特征融合向量F_d与标准行为特征模板库中的特征融合向量进行依次匹配识别，获得待识别行为与标准行为模板的相似度即i∈[0,N-1]，其中马氏距离度量算法表达式为：

其中，V为样本的协方差矩阵。

最后，通过相似度排序优选出相似度最高值，从而实现人体行为的准确识别。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种多特征融合的人体行为识别方法，其特征在于包括：

利用摄像头采集人体行为视频，提取视频中的行为图像序列帧，并进行降噪预处理，增强图像质量；

提取行为图像序列中每帧图像的前景图，利用形态学和区域生长法对人体局部缺失凹陷区域进行空洞填充与干扰区域滤除，获得人体剪影图C_i,i∈[0,K-1]，K为人体剪影图像序列帧数；

计算行为过程中的人体剪影图像序列C＝{C₀,…,C_i,…,C_K-1}中相邻帧间的相似度α_i(α_i∈[0,1])，根据相似度获得表征行为姿态的每帧图像的权重并归一化，形成人体剪影图像序列所对应的权重向量a＝{λ₀,…,λ_i,…λ_K-1},i∈[0,K-1]；

根据人体剪影图像序列C及其对应的权重向量a，通过加权平均，获得可表征整个行为过程的动作能量图E；

根据动作能量图提取11种图像特征，包括Zernike矩特征、灰度直方图特征、纹理特征的能量属性、对比度属性和熵值属性，形成表征行为的多维特征融合向量F；

设N种标准行为动作，采用以上步骤方法构建标准行为的特征模板库在行为识别过程中，根据待识别视频提取待识别人体行为的特征向量F_d；

采用距离度量算法，对待识别行为特征融合向量F_d与标准行为特征模板库中的特征融合向量进行依次匹配识别，获得待识别行为与标准行为模板的相似度即通过相似度排序优选出相似度最高值，从而实现人体行为的准确识别。

2.根据权利要求1所述的多特征融合的人体行为识别方法，其特征在于，所述人体剪影图像序列每帧对应的权重由人体剪影图像序列相邻帧间的相似度计算求得，具体计算公式为：

其中相邻帧间的相似度α_i∈[0,1]，是通过帧差方法对人体剪影图像序列C＝{C₀,…,C_i,…,C_K-1}进行计算求得，其表示公式为：

上式中f(C_i-1,C_i)为行为序列相邻两图像帧C_i-1、C_i(i∈(0,K])间的相似度计算函数；假设通过行为序列第i-1帧、第i帧人体剪影图像所计算获得的差分图像为D_i-1,i(x,y)，则C_i-1、C_i两帧相似度函数式具体如下：

其中W为图像的宽，H为图像的高。

3.根据权利要求1所述的多特征融合的人体行为识别方法，其特征在于，所述可表征整个行为过程的动作能量图E是根据人体剪影图像序列C及其对应的权重向量a通过加权平均计算获得，具体计算公式如下：

4.根据权利要求1所述的多特征融合的人体行为识别方法，其特征在于，所述的多维特征融合向量F由Zernike矩、灰度直方图和纹理共11种特征组成，具体表达式为：

F＝{f₀,…,f_i,…f₁₀},i∈[0,10]

其中均为Zernike矩特征；f₇＝P，为灰度直方图特征；f₈＝S_E、f₉＝S_Con、f₁₀＝S_Q，分别为纹理特征的能量属性值、对比度属性值和熵值属性值。