CN103778436A - 一种基于图像处理的行人姿态检测方法 - Google Patents

Abstract

该发明公开了一种基于图像处理的行人姿态检测方法，首先建立行人姿态模板库：用摄像机拍摄行人视频，再对拍摄到的视频进行去噪处理，通过计算去噪视频的帧间和帧内差值提取出行人样本轮廓，再对该样本轮廓进行聚类处理得到各种行人姿态，组成行人姿态模板库；其次提取行人实际轮廓：用摄像机拍摄行人视频，采用上述同样方法提取行人实际轮廓；最后将提取的行人实际轮廓与行人姿态模板库进行匹配，找出与之最匹配的姿态，即为拍摄行人的姿态。从而具有在各种复杂检测环境、目标纹理模糊、目标尺度较小的情况下具有较好的鲁棒性和准确率，并快速检测出行人姿态的效果。

Description

一种基于图像处理的行人姿态检测方法

技术领域

本发明属于视频监控行人检测领域，特别是基于图像处理的行人姿态检测领域。

背景技术

随着智能视频监控技术的发展，行人检测方面的研究成果也越来越多，其应用也越来越广泛。目前的行人检测大多基于统计学习、目标特征检测和图像模板匹配算法实现的，算法的基本原则是：有效性，稳定性以及实时性。

专利201210065810.6公开了一种《基于主梯度方向特征的目标检测及姿态估计方法》，该方法步骤包括模板训练和目标检测两个阶段。在模板训练阶段：首先拍摄被检测物体不同角度的V张图片，对拍摄到的一张图片以一定的步长旋转360度得到若干张模板图片，计算模板图片主梯度方向描述，通过主梯度方向描述对模板进行聚类处理，建立最强梯度模板集合；目标检测阶段：通过计算测试图片的主梯度方向描述，与建立的最强梯度模板集合进行匹配，选取匹配分数最大的模板即为对于测试图片的最优模板。该专利在建库阶段人工选取目标姿态及角度具有较大主观性，导致建库信息与实际情况不符，误差较大；该专利通过主梯度方向描述目标特征，该方法计算量大，特征描述不准确，匹配难度大；当目标尺寸较小时，该专利无对应的处理方法，无法完成匹配。

发明内容

本发明的目的是针对背景技术的不足改进设计一种基于图像处理的行人姿态检测方法，从而达到在各种复杂检测环境、目标纹理模糊、目标尺度较小的情况下具有较好的鲁棒性和准确率，并快速检测出行人姿态的目的。

本发明的技术方案是：首先建立行人姿态模板库：用摄像机拍摄行人视频，再对拍摄到的视频进行去噪处理，通过计算去噪视频的帧间和帧内差值提取出行人样本轮廓，再对该样本轮廓进行聚类处理得到各种行人姿态，组成行人姿态模板库；其次提取行人实际轮廓：用摄像机拍摄行人视频，采用上述同样方法提取行人实际轮廓；最后将提取的行人实际轮廓与行人姿态模板库进行匹配，找出与之最匹配的姿态，即为拍摄行人的姿态，由此达到发明目的。因而本发明方法包括：

步骤一：建立行人姿态模板库，

步骤A1：采用单目摄像机拍摄背景固定的行人视频；

步骤A2：将视频的每一帧进行高斯平滑，再计算其帧间和帧内差值；

步骤A3：根据帧间和帧内差值，计算出样本轮廓矩阵：

其中：F(x,y)为样本轮廓矩阵，Finter是帧间差值，Fintra是帧内差值T_Inter和T_Intra为两个预先设定的阈值；

步骤A4：使用K-MEANS聚类算法对样本轮廓矩阵进行分类，得到各中心轮廓矩阵；

步骤A5：将各中心轮廓矩阵分为若干水平条状区域，计算各区域中行人轮廓与该区域水平中线的夹角，组成角度特征向量，连同中心轮廓矩阵一起导入匹配模板并定义其姿态，由此组成行人姿态模板库；

步骤二：提取行人实际轮廓，

步骤B1：采用单目摄像机拍摄背景固定的行人视频，并对视频的每一帧进行高斯平滑，再计算其帧间和帧内差值；

步骤B2：通过帧间和帧内差值计算出行人实际轮廓矩阵，根据像素统计轮廓大小，当像素点数值小于设定最小阈值时进入步骤B3，否则保存该行人实际轮廓矩阵；

步骤B3：采用标准的双线性插值法向上取样，生成新轮廓矩阵，返回步骤B2；

步骤三：模板匹配

步骤C1：将行人实际轮廓矩阵分为若干水平条状区域，计算各区域中行人轮廓与该区域水平中线的夹角，组成角度特征向量；

步骤C2：计算行人实际轮廓矩阵与模板库中各中心轮廓矩阵的欧几里得距离，通过比较选出最小的距离所对应的中心轮廓矩阵；

步骤C3：输出该中心轮廓矩阵对应的姿态定义。

其中步骤A2包括如下步骤：

A21：对各帧进行高斯平滑；

A22：根据公式计算帧间差值：

F_Intra(x,y,σ)=((L_t(x-1),y,σ)-L_t(x,y,σ))²+(L_t(x,y,σ)-L_t(x,y-1,σ))²)^1/2，

L_t(x,y,σ)=G(x,y,σ)*I_t(x,y)。

其中I_t(x,y)为像素(x,y)的亮度，G(x,y,σ)为高斯函数，σ为平滑因子，L_t为平滑过程的中间变量；

A23：根据公式计算帧内差值：F_{Inter(x,y,σ)}=|L_t(x,y,σ)-L_t-n(x,y,σ)|。

其中步骤A4包括如下步骤：

步骤A41：从所有样本轮廓矩阵中，随机选取若干矩阵作为中心轮廓矩阵；

步骤A42：分别计算剩余样本轮廓矩阵与各中心轮廓矩阵的距离，并将其与之距离最近的中心轮廓矩阵归为一类；

步骤A43：重新确定每个分类中的中心轮廓矩阵；

步骤A44：重复步骤A42、A43直至新确定的中心轮廓矩阵与原中心轮廓矩阵相等或变化小于规定阈值。

其中步骤A5将各中心轮廓矩阵分为64个水平条状区域，计算各区域中行人轮廓与该区域水平中线的夹角，组成64维的角度特征向量(An₀，An₁…An₆₃)。

其中步骤B3包括如下步骤：

根据双性线性插值法，计算像素(x,y)坐标上的幅值f，可以根据f在Q₁₁=(x₁,y₁),Q₁₂=(x₁,y₂),Q₂₁(x₂,y₁)，Q₂₂(x₂,y₂)，在x方向进行插值

$f\left(R_1\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{11}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{12}\right)R_1=(x,y_1),$

$f\left(R_2\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{12}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{22}\right)R_2=(x,y_2).$

然后在y方向进行插值 $f\left(P\right)\≈\frac{y_2-y}{y_2-y_1}f\left(R_1\right)+\frac{y-y_1}{y_2-y_1}f\left(R_2\right),$ 最后计算

$\begin{array}{c}f(x,y)\≈\frac{f\left(Q_{11}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y_2-y)+\frac{f\left(Q_{21}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_1)(y_2-y)+\\ \frac{f\left(Q_{12}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y-y_1)+\frac{f\left(Q_{22}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_1)(y-y_1)\end{array}$

生成新轮廓矩阵。

其中步骤C2使用公式 ${\mathrm{Dist}}_i=\sqrt{{({\mathrm{An}}_0-{\mathrm{An}}_{i0})}^2+{({\mathrm{An}}_1-{\mathrm{An}}_{i1})}^2+...{({\mathrm{An}}_{63}-{\mathrm{An}}_{i63})}^2}$ 计算行人实际轮廓矩阵与模板库中各中心轮廓矩阵的欧几里得距离。

本发明首先对采集到的行人视频进行去噪处理，然后计算其帧间和帧内差值提取出行人样本轮廓，再对该样本轮廓聚类处理得到各种行人姿态，组成行人姿态模板库；再将采集到的实际行人视频采用上述同样方法提取出行人实际轮廓；最后将提取的行人实际轮廓与行人姿态模板库进行匹配，找出与之最匹配的姿态，即为拍摄行人的姿态，从而具有在各种复杂检测环境、目标纹理模糊、目标尺度较小的情况下具有较好的鲁棒性和准确率，并快速检测出行人姿态的效果。

附图说明

图1为提取的行人轮廓图

图2为聚类输出的轮廓特征效果图

图3为轮廓的水平划分

图4为计算水平中线与轮廓夹角的原理图

图5为本方法在特征提取与模板匹配阶段的流程图

图6为多尺度采样的原理图

图7为向上向下采样的效果图

图8为多尺度采样的效果图

具体实施方式

步骤一：模板库建立，

步骤A1：固定单目摄像机与背景间距，选取单一静态背景并拍摄记录N帧行人的不同姿态视频V；

步骤A2：将N帧视频中的每帧进行平滑后，计算帧的帧间和帧内差值；

步骤A21：对视频V中每一帧进行高斯平滑；

步骤A22：根据公式计算帧间差值：

F_Intra(x,y,σ)=((L_t(x-1),y,σ)-L_t(x,y,σ))²+(L_t(x,y,σ)-L_t(x,y-1,σ))²)^1/2，L_t(x,y,σ)=G(x,y,σ)*I_t(x,y)，其中I_t(x,y)为像素(x,y)的亮度，G(x,y,σ)为高斯函数，σ为平滑因子。

步骤A23：根据公式计算帧内差值：F_{Inter(x,y,σ)}=|L_t(x,y,σ)-L_t-n(x,y,σ)|；

步骤A3：根据帧间和帧内差值，计算出轮廓特征矩阵，

根据步骤A2所计算出的帧间与帧内差值，轮廓特征F(x,y)由如下公司计算得出：

T_Inter和T_Intra为两个预先设定的全局阈值，全局阈值设定时要考虑提取轮廓的效果，可以人工进行判断，如果提取的轮廓模糊粗糙，则必须逐渐减少阈值进行微调。由此公式得出行人的轮廓样本矩阵，进而进行下一步的聚类操作。如图1所示，得到行人轮廓矩阵。

步骤A4：使用K-MEANS聚类算法对轮廓矩阵进行聚类，并用轮廓特征矩阵M进行标记；

步骤A41：从N个样本轮廓矩阵中，随机选取k个矩阵作为中心轮廓矩阵记为M₀，M₁…M_k-1；

步骤A42：分别计算剩余样本轮廓矩阵与各中心轮廓矩阵的距离，并将其与之距离最近的中心轮廓矩阵归为一类；

步骤A43：重新确定每个分类中的中心轮廓矩阵；

步骤A44：重复步骤A42、A43直至新确定的中心轮廓矩阵与原中心轮廓矩阵相等或变化小于规定阈值。

步骤A5将各中心轮廓矩阵分为64个水平条状区域，计算各区域中行人轮廓与该区域水平中线的夹角，组成64维的角度特征向量(An₀，An₁…An₆₃)。

步骤A5：将分类数据导入到模板匹配模块中，并进行姿态定义，

如图1是采用聚类算法生成的轮廓特征类，在后续的步骤中进行模板匹配。

步骤二：特征提取，

步骤B1：采用单目摄像机拍摄背景固定的P帧行人视频，对采集的每一帧进行高斯平滑；

步骤B2：通过帧间和帧内差值计算出行人实际轮廓矩阵，根据像素统计轮廓大小，当像素点数值小于设定最小阈值时进入步骤B3，否则输出行人实际轮廓矩阵；

步骤B21:将P帧视频中的每帧进行平滑后，计算帧的帧间和帧内差值。根据帧间和帧内差值，计算出轮廓特征矩阵；

步骤B3：采用标准的双线性插值法向上取样，生成新轮廓矩阵，返回步骤B2。

根据双性线性插值法，计算像素(x,y)坐标上的幅值f，可以根据f在Q₁₁=(x₁,y₁),Q₁₂=(x₁,y₂),Q₂₁(x₂,y₁)，Q₂₂(x₂,y₂)，在x方向进行插值

$f\left(R_1\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{11}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{12}\right)R_1=(x,y_1),$

$f\left(R_2\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{12}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{22}\right)R_2=(x,y_2).$

然后在y方向进行插值 $f\left(P\right)\≈\frac{y_2-y}{y_2-y_1}f\left(R_1\right)+\frac{y-y_1}{y_2-y_1}f\left(R_2\right),$ 最后计算

$\begin{array}{c}f(x,y)\≈\frac{f\left(Q_{11}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y_2-y)+\frac{f\left(Q_{21}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_1)(y_2-y)+\\ \frac{f\left(Q_{12}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y-y_1)+\frac{f\left(Q_{22}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_1)(y-y_1)\end{array}$

生成新轮廓矩阵。双线性插值法的不同K均值对比效果如图7所示，经过对比发现K取值4时效果最好。

步骤三：模板匹配

步骤C1：将行人实际轮廓矩阵分为64各水平条状区域，并计算各区域中行人轮廓与该区域水平中线的角度，组成角度特征向量(An₀，An₁…An₆₃)；

步骤C2：计算行人实际轮廓矩阵与模板库中各中心轮廓矩阵的欧几里得距离 ${\mathrm{Dist}}_i=\sqrt{{({\mathrm{An}}_0-{\mathrm{An}}_{i0})}^2+{({\mathrm{An}}_1-{\mathrm{An}}_{i1})}^2+...{({\mathrm{An}}_{63}-{\mathrm{An}}_{i63})}^2}$ 通过比较Dist_i选出最小的距离所对应的中心轮廓矩阵；

步骤C3：输出该中心轮廓矩阵对应的姿态定义。

Claims (6)

1.一种基于图像处理的行人姿态检测方法，该方法包括：

步骤一：建立行人姿态模板库，

步骤A1：采用单目摄像机拍摄背景固定的行人视频；

步骤A2：将视频的每一帧进行高斯平滑，再计算其帧间和帧内差值；

步骤A3：根据帧间和帧内差值，计算出样本轮廓矩阵：

其中：F(x,y)为样本轮廓矩阵，Finter是帧间差值，Fintra是帧内差值T_Inter和T_Intra为两个预先设定的阈值；

步骤A4：使用K-MEANS聚类算法对样本轮廓矩阵进行分类，得到各中心轮廓矩阵；

步骤A5：将各中心轮廓矩阵分为若干水平条状区域，计算各区域中行人轮廓与该区域水平中线的夹角，组成角度特征向量，连同中心轮廓矩阵一起导入匹配模板并定义其姿态，由此组成行人姿态模板库；

步骤二：提取行人实际轮廓，

步骤B1：采用单目摄像机拍摄背景固定的行人视频，并对视频的每一帧进行高斯平滑，再计算其帧间和帧内差值；

步骤B2：通过帧间和帧内差值计算出行人实际轮廓矩阵，根据像素统计轮廓大小，当像素点数值小于设定最小阈值时进入步骤B3，否则保存该行人实际轮廓矩阵；

步骤B3：采用标准的双线性插值法向上取样，生成新轮廓矩阵，返回步骤B2；

步骤三：模板匹配

步骤C1：将行人实际轮廓矩阵分为若干水平条状区域，计算各区域中行人轮廓与该区域水平中线的夹角，组成角度特征向量；

步骤C2：计算行人实际轮廓矩阵与模板库中各中心轮廓矩阵的欧几里得距离，通过比较选出最小的距离所对应的中心轮廓矩阵；

步骤C3：输出该中心轮廓矩阵对应的姿态定义。

2.如权利要求1所述的一种基于图像处理的行人姿态检测方法，其特征在于步骤A2包括如下步骤：

A21：对各帧进行高斯平滑；

A22：根据公式计算帧间差值：

F_Intra(x,y,σ)=((L_t(x-1),y,σ)-L_t(x,y,σ))²+(L_t(x,y,σ)-L_t(x,y-1,σ))²)^1/2，

L_t(x,y,σ)=G(x,y,σ)*I_t(x,y)。

其中I_t(x,y)为像素(x,y)的亮度，G(x,y,σ)为高斯函数，σ为平滑因子，L_t为平滑过程的中间变量；

A23：根据公式计算帧内差值：F_{Inter(x,y,σ)}=|L_t(x,y,σ)-L_t-n(x,y,σ)|。

3.如权利要求1所述的一种基于图像处理的行人姿态检测方法，其特征在于步骤A4包括如下步骤：

步骤A41：从所有样本轮廓矩阵中，随机选取若干矩阵作为中心轮廓矩阵；

步骤A42：分别计算剩余样本轮廓矩阵与各中心轮廓矩阵的距离，并将其与之距离最近的中心轮廓矩阵归为一类；

步骤A43：重新确定每个分类中的中心轮廓矩阵；

步骤A44：重复步骤A42、A43直至新确定的中心轮廓矩阵与原中心轮廓矩阵相等或变化小于规定阈值。

4.如权利要求1所述的一种基于图像处理的行人姿态检测方法，其特征在于步骤A5将各中心轮廓矩阵分为64个水平条状区域，计算各区域中行人轮廓与该区域水平中线的夹角，组成64维的角度特征向量(An₀，An₁…An₆₃)。

5.如权利要求1所述的一种基于图像处理的行人姿态检测方法，其特征在于步骤B3包括如下步骤：

根据双性线性插值法，计算像素(x,y)坐标上的幅值f，可以根据f在Q₁₁=(x₁,y₁),Q₁₂=(x₁,y₂),Q₂₁(x₂,y₁)，Q₂₂(x₂,y₂)，在x方向进行插值

$f\left(R_1\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{11}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{12}\right)R_1=(x,y_1),$

$f\left(R_2\right)\≈\frac{x_2-x}{x_2-x_1}f\left(Q_{12}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{22}\right)R_2=(x,y_2).$

然后在y方向进行插值 $f\left(P\right)\≈\frac{y_2-y}{y_2-y_1}f\left(R_1\right)+\frac{y-y_1}{y_2-y_1}f\left(R_2\right),$ 最后计算

$\begin{array}{c}f(x,y)\≈\frac{f\left(Q_{11}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y_2-y)+\frac{f\left(Q_{21}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_1)(y_2-y)+\\ \frac{f\left(Q_{12}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y-y_1)+\frac{f\left(Q_{22}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_1)(y-y_1)\end{array}$

生成新轮廓矩阵。

6.如权利要求1所述的一种基于图像处理的行人姿态检测方法，其特征在于步骤C2使用公式 ${\mathrm{Dist}}_i=\sqrt{{({\mathrm{An}}_0-{\mathrm{An}}_{i0})}^2+{({\mathrm{An}}_1-{\mathrm{An}}_{i1})}^2+...{({\mathrm{An}}_{63}-{\mathrm{An}}_{i63})}^2}$ 计算行人实际轮廓矩阵与模板库中各中心轮廓矩阵的欧几里得距离。

Images