CN102915543B - 基于提取函数和三通道分离的人物运动变化检测方法 - Google Patents

Abstract

本发明公开了一种基于提取函数和三通道分离的人物运动变化检测方法。主要解决现有技术对人物运动变化检测方法有限且轮廓不完整的问题。其实现过程为：首先对一段人物运动视频的前100帧图像采用均值法建立其灰度图背景和YUV三通道背景；用提取函数法处理待检测图像的灰度图和灰度图背景，得到提取函数法结果；再将待检测图像进行YUV三通道分离得到三幅单通道图像，分别将它们和其对应通道的背景求绝对差；用大津阈值法对这三个绝对差进行二值化处理得到三幅单通道结果图，通过三选二的机制将三者融合为一幅图，再与提取函数法的结果进行或运算，得到最终结果。本发明算法简单、人物轮廓完整，可用于实际监控系统对人物运动的变化检测中。

Description

基于提取函数和三通道分离的人物运动变化检测方法

技术领域

本发明属于图像处理技术领域，涉及图像变化检测，特别是一种基于提取函数和三通道分离对人物运动变化的智能检测方法，可用于智能监控和智能辅助驾驶等诸多领域。

背景技术

变化检测是通过对不同时期图像的比较分析，根据图像之间的差异来得到所需要的目标变化信息。运动目标的检测与跟踪的目的是通过对视频图像的分析，实现对场景中目标的定位、识别和跟踪，从而做到对目标行为的分析，以便对异常情况做出反应。运动目标检测实时地在被监视的场景中检测场景图像的变化并提取新的目标，为目标的进一步识别和分析做准备。

目前，国内外对运动目标的检测主要集中在对交通车辆的检测上，对人物运动的检测非常有限。然而对交通车辆的变化检测的算法已经趋于成熟，所以可以将这些算法改进以后用于对人物运动的检测上。

根据国内外相关文献，基于视频的人物运动变化检测主要有3种方法：光流法，帧间差分法和减背景法。

一．光流法

这种方法的基本思想是通过计算出来的光流场来模拟运动场。光流场指图像灰度模式的表面运动，而运动场指三维物体的实际运动在图像平面上的投影。理想情况下，光流场和运动场互相吻合，但实际上光流场和运动场并不都是一样的。一般来说，我们希望光流场和运动场差别不大，研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。光流法不需要事先对图像进行处理或者抽取特征，而是直接对图像本身进行计算。

光流法尽管在处理背景运动和遮挡问题上有很大优势，但是还是有很多不足之处：(1)基本的光流约束方程并非严格成立，只有在梯度较大的点或者一些比较特殊的表面结构，如在漫反射和平移占优的运动情况下，基本的光流约束方程才严格有效；(2)光流的计算存在较大的噪声和误差，其原因除了基本的光流约束方程并非严格成立外，微分运动对噪声的敏感性，附加约束条件的不完善等因素，使从有噪声的图像中精确计算光流存在着较大的困难。(3)光流的计算量偏大，一般都需要迭代运算，所以比较耗时，而且精度越高的光流算法计算代价就越大，普通的数字信号处理芯片和硬件系统构架是难以胜任的，因此光流法的造价要比其他算法的造价高。

二．帧间差分法

帧间差分法又称图像序列差分法，该方法利用视频序列中相邻两帧图像灰度差值的绝对值来分析序列的运动特征，确定视频序列中有无人物运动。图像序列逐帧的差分，相当于对图像序列进行了时间域上的高通滤波。

帧间差分法能够较快适应背景的动态变化，尤其对光照变化具有一定的鲁棒性，但是它对于运动速度较慢的目标的检测结果会出现空洞，而对于运动速度较快的目标会检测出虚假目标，检测算法的性能不能够得到保证。

三．减背景法

减背景法是运动检测领域最常用的算法之一，该方法首先计算当前帧和设定的场景背景模型的差，然后通过比较计该差值与设定的阈值的不同来检测运动。

该方法原理简单，可用于实际监控系统中区，但是减背景法对场景的变化比较敏感，在背景变化较大时会造成误检，甚至完全失效。它的难点在于初始模型的建立和运动检测过程中背景模型的及时更新。然而对人物的运动检测一般应用于室内，而室内的光线可认为变化不大，故不需要考虑背景的更新，但是由于人的轮廓是不规则的弧形，故简单的减背景法不能很好的检测出人体的轮廓。

发明内容

本发明的目的在于针对上述减背景法中的不足，结合提取函数法和三通道分离法的初始模型和检测方法，提出一种基于提取函数和三通道分离的人物运动变化检测方法，以很好地保留运动人体的轮廓。

实现本发明目的的技术思路是：通过对一段视频的前100帧图像的灰度图和YUV三通道分离后对应的单通道图像的灰度值分别求和再取平均值得到四幅背景图像；采用提取函数法对待检测帧图像B的灰度图和对应的灰度背景进行处理，得到提取函数法的检测结果图；通过大津阈值法对待检测帧B的YUV三通道分离图像及其对应的背景图像进行处理得到三幅单通道的结果图；通过三选二的选择机制将三者融合为一幅图，并与提取函数法的结果图进行或运算，得到最终结果。其具体步骤如下：

(1)对一段人物运动视频的前100帧彩色红绿蓝RGB图像的每帧图像进行灰度转换，得到对应的灰度图，将该100帧灰度图中对应的像素点的灰度值求和再取平均值，得到灰度图背景A(i，j)，i，j代表像素点坐标；

(2)对该视频的前100帧彩色RGB图像的每帧图像进行YUV三通道分离，其中Y表示图像的亮度，U和V表示色差，U是图像的蓝色分量B和Y的色差，V是图像的红色分量R和Y的色差，将每一通道的100帧图像中对应的像素点的灰度值分别求和再取平均值，得到三通道对应的背景A_Y、A_U和A_V，其中A_Y是Y通道所对应的背景图像，A_U是U通道所对应的背景图像，A_V是V通道所对应的背景图像；

(3)将包含有运动人物的待检测帧图像B的灰度图B₁(i，j)和灰度图背景A(i，j)代入提取函数 $E(i,j)=1-\frac{2\sqrt{A(i,j)\&times;B_1(i,j)}}{A(i,j)+B_1(i,j)}$ 中，根据公式 $M(i,j)=\begin{array}{}\end{array}\left\{\begin{array}{cc}1& E(i,j)\&GreaterEqual;r\\ 0& E(i,j)<r\end{array}\right.$ 对E(i，j)进行二值化处理，得到基于提取函数法的人物运动变化检测结果图M，其中r为阈值，r=0.03；

(4)获取YUV三通道分离法的结果图

4a)将包含有运动人物的待检测帧图像B进行YUV三通道分离，得到对应图像B_Y、B_U和B_V，其中B_Y是B对应的Y通道图像，B_U是B对应的U通道图像，B_V是B对应的V通道图像，将它们与其对应的背景A_Y、A_U和A_V分别求取绝对差Δ_Y、Δ_U和Δ_V；

4b)根据大津阈值法对这三个绝对差进行二值化处理，分别得到三通道所对应的结果图C_Y、C_U和C_V，其中C_Y是Y通道对应的结果图，C_U是U通道对应的结果图，C_V是V通道对应的结果图；

4c)对上述三幅结果图中的对应的每一像素点采用三选二机制，将三幅图融合为一幅图，即为基于三通道分离法的人物运动变化检测结果图C；

(5)对提取函数的结果图M和三通道分离法的结果图C进行或运算，得到基于提取函数和三通道分离的人物运动变化检测的最终结果图Q。

本发明与现有技术相比具有以下优点：

1)提高了图像亮度和对比度，能够很好地检测出快速运动的人物

在对人物运动的变化检测中，有时人会以很快速度跑过，为了获得清晰的图像，就必须提高快门的曝光速度，因此，在同样的光圈下，进光量就会减少，图像普遍偏暗。本发明采用的提取函数法能够很好地克服图像偏暗、对比度变低这一缺陷，使得该方法可以很好地检测出快速运动的人物。

2)很好地保留了检测结果中人物轮廓的完整

本发明采用的三通道分离法可以很好地利用三通道的图像信息，使得其结果中的人物轮廓信息更加丰富，同时它与提取函数法很好地结检测结果中人合在一起，保证了物轮廓的完整。

实验结果表明，本发明在实际的监控系统中可以很好地检测出快速运动的人物的完整轮廓。

附图说明

图1是本发明的实现流程图。

图2是本发明中灰度图背景图像A；

图3是本发明中三通道对应的背景图像A_Y、A_U和A_V；

图4是本发明中待检测帧图像B；

图5是本发明中待检测帧图像对应的灰度图B₁；

图6是本发明中提取函数法的结果图像M；

图7是本发明中待检测帧三通道分离后对应的图像B_Y、B_U和B_V；

图8是本发明中经过大津阈值法处理后得到的三通道结果图像C_Y、C_U和C_V；

图9是三通道分离法的结果图像C；

图10是提取函数法和三通道分离法经过或运算得到的叠加结果图像Q。

具体实施方式

参照图1，本发明的具体实施步骤如下：

步骤1.建立灰度图背景A。

1a)取一段人物运动视频的前100帧图像，设为T(1)～T(100)，分别提取它们的红绿蓝RGB三通道分量，分别记为R(1)～R(100)、G(1)～G(100)和B(1)～B(100)，将每帧图像对应的RGB分量分别按照公式：Y=0.299R+0.587G+0.114B，计算得到此段视频的前100帧图像T(1)～T(100)对应的灰度图Y(1)～Y(100)；

1b)将Y(1)～Y(100)中每个对应像素点的灰度值相加再取平均值，得到灰度图背景A(i，j)，i，j代表像素点坐标，如图2所示。

步骤2.建立YUV三通道分别对应的背景A_Y、A_U和A_V。

2a)按照转换公式 $\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.287& -0.437\\ 0.615& 0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right],$ 对前100帧图像T(1)～T(100)进行YUV转换，得到Y(1)～Y(100)、U(1)～U(100)和V(1)～V(100)，其中Y表示图像的亮度，U是图像的蓝色分量B和Y的色差，V是图像的红色分量R和Y的色差；

2b)将Y(1)～Y(100)中每个对应像素点的灰度值相加再取平均值，得到前100帧图像T(1)～T(100)的Y通道背景A_Y，如图3(a)所示；

2c)将U(1)～U(100)中每个对应像素点的灰度值相加再取平均值，得到前100帧图像T(1)～T(100)的U通道背景A_U，如图3(b)所示；

2d)将V(1)～V(100)中每个对应像素点的灰度值相加再取平均值，得到前100帧图像T(1)～T(100)的V通道背景A_V，如图3(c)所示。

步骤3.用提取函数法处理待检测帧。

3a)设含有运动人物的待检测帧为B，如图4所示，按照步骤1a)中的方法将B转化为对应的灰度图B₁(i，j)，如图5所示；

3b)计算待检测帧对应的灰度图B₁(i，j)和灰度图背景A(i，j)的提取函数：

$E(i,j)=1-\frac{2\sqrt{A(i,j)\&times;B_1(i,j)}}{A(i,j)+B_1(i,j)};$

3c)按照公式 $M(i,j)=\begin{array}{}\end{array}\left\{\begin{array}{cc}1& E(i,j)\&GreaterEqual;r\\ 0& E(i,j)<r\end{array}\right.,$ 对提取函数E(i，j)进行二值化处理，其中r为阈值，r=0.03，M就是基于提取函数法的人物运动变化检测的结果图，如图6所示，可以看出提取函数法可以将图中的快速运动的人物的轮廓检测出来。

步骤4.用三通道分离法处理待检测帧。

4a)按照步骤2a)中的方法将待检测图像B进行YUV三通道分离，得到B对应单通道图像B_Y、B_Y和B_V，其中B_Y是B对应的Y通道图像，如图7(a)所示，B_Y是B对应的U通道图像，如图7(b)所示，B_V是B对应的V通道图像，如图7(c)所示；

4b)计算YUV三通道对应的绝对差Δ_Y、Δ_U和Δ_V：

Δ_Y=|A_Y-B_Y|，

Δ_U=|A_U-B_U|，

Δ_V=|A_V-B_V|；

4c)用大津阈值法分别求取三通道对应的阈值T_Y、T_U和T_V：

由于Δ_Y、Δ_U和Δ_V是同一幅图像的三个通道的绝对差，故三通道的阈值求法相同。

设Δ_Y、Δ_U和Δ_V灰度级为0～255，像素大小为M*N，记f(i，j)为图像点(i，j)处的灰度值。

4c1)计算图像的直方图统计结果，得到灰度值为k的频率PHS(k)：

$\mathrm{PHS}\left(k\right)=\frac{1}{M\&times;N}\underset{f(i,j)=k}{\mathrm{\&Sigma;}}1;$

4c2)计算图像的灰度均值：

${\mathrm{\&mu;}}_T=\underset{k=0}{\overset{255}{\mathrm{\&Sigma;}}}k\&times;\mathrm{PHS}\left(k\right);$

4c3)计算上限为s的灰度类均值μ(s)和类直方图之和ω(s)：

$\mathrm{\&mu;}\left(s\right)=\underset{k=0}{\overset{s}{\mathrm{\&Sigma;}}}k\&times;\mathrm{PHS}\left(k\right)$

$\mathrm{\&omega;}\left(s\right)=\underset{k=0}{\overset{s}{\mathrm{\&Sigma;}}}\mathrm{PHS}\left(k\right);$

4c4)计算类分离指标σ_B：

${\mathrm{\&sigma;}}_B=\frac{{[{\mathrm{\&mu;}}_T\&times;\mathrm{\&omega;}\left(s\right)-\mathrm{\&mu;}\left(s\right)]}^2}{\mathrm{\&omega;}\left(s\right)[1-\mathrm{\&omega;}\left(s\right)]};$

4c5)求出使σ_B达到最大值的s的值，则最佳阈值为T=s；

4d)对Δ_Y、Δ_U和Δ_V进行二值化处理：

$C_Y(i,j)=\left\{\begin{array}{cc}1& {\mathrm{\&Delta;}}_Y(i,j)\&GreaterEqual;T_Y\\ 0& {\mathrm{\&Delta;}}_Y(i,j)<T_Y\end{array}\right.,$

$C_U(i,j)=\left\{\begin{array}{cc}1& {\mathrm{\&Delta;}}_U(i,j)\&GreaterEqual;T_U\\ 0& {\mathrm{\&Delta;}}_U(i,j)<T_U\end{array}\right.,$

$C_V(i,j)=\left\{\begin{array}{cc}1& {\mathrm{\&Delta;}}_V(i,j)\&GreaterEqual;T_V\\ 0& {\mathrm{\&Delta;}}_V(i,j)<T_V\end{array}\right.,$

其中(i，j)代表像素点坐标，C_Y(i，j)为Y通道的结果，如图8(a)所示，C_U(i，j)为U通道的结果，如图8(b)所示，C_V(i，j)为V通道的结果，如图8(c)所示；

4e)对C_Y(i，j)、C_U(i，j)和C_V(i，j)三幅图像中对应的像素点采用三选二的选择机制，即对于三幅图像同一位置的像素点中若有两个或两个以上的像素点的灰度值为1，则该点判为1，否则判为0，得到三通道分离法的结果图像C，如图9所示，图中的人物轮廓信息比较丰富。

步骤5.对提取函数的结果图M和三通道分离法的结果图C进行或运算，得到最终结果图Q，如图10所示，可以看出此检测结果图非常完整的保留了人物的轮廓，验证了本方法的精确性和实用性。

Claims (3)

1.一种基于提取函数和三通道分离的人物运动变化检测方法，包括如下步骤：

(1)对一段人物运动视频的前100帧彩色红绿蓝RGB图像的每帧图像进行灰度转换，得到对应的灰度图，将该100帧灰度图中对应的像素点的灰度值求和再取平均值，得到灰度图背景A(i,j)，i,j代表像素点坐标；

(2)对该视频的前100帧彩色RGB图像的每帧图像进行YUV三通道分离，其中Y表示图像的亮度，U是图像的蓝色分量B和Y的色差，V是图像的红色分量R和Y的色差，将每一通道的100帧图像中对应的像素点的灰度值分别求和再取平均值，得到三通道对应的背景A_Y、A_U和A_V，其中A_Y是Y通道所对应的背景图像，A_U是U通道所对应的背景图像，A_V是V通道所对应的背景图像；

(3)将包含有运动人物的待检测帧图像B的灰度图B₁(i,j)和灰度图背景A(i,j)代入提取函数 $E(i,j)=1-\frac{2\sqrt{A(i,j)\&times;B_1(i,j)}}{A(i,j)+B_1(i,j)}$ 中，根据公式 $M(i,j)=\left\{\begin{array}{cc}1& E(i,j)\&GreaterEqual;r\\ 0& E(i,j)<r\end{array}\right.$ 对M(i,j)进行二值化处理，得到基于提取函数法的人物运动变化检测结果图M，其中r为阈值，r＝0.03；

(4)获取YUV三通道分离法的结果图

4a)将包含有运动人物的待检测帧图像B进行YUV三通道分离，得到对应图像B_Y、B_U和B_V，其中B_Y是待检测帧图像B对应的Y通道图像，B_U是待检测帧图像B对应的U通道图像，B_V是待检测帧图像对应的V通道图像，将它们与其对应的背景A_Y、A_U和A_V分别求取绝对差Δ_Y、Δ_U和Δ_V；

4b)根据大津阈值法对这三个绝对差进行二值化处理，分别得到三通道所对应的结果图C_Y、C_U和C_V，其中C_Y是Y通道对应的结果图，C_U是U通道对应的结果图，C_V是V通道对应的结果图；

4c)对上述三幅结果图中的对应的每一像素点采用三选二机制，将三幅图融合为一幅图，即为基于三通道分离法的人物运动变化检测结果图C；

(5)对基于提取函数法的人物运动变化检测结果图M和三通道分离法的人物运动变化检测结果图C进行或运算，得到基于提取函数和三通道分离的人物运动变化检测的最终结果图Q。

2.根据权利要求1所述的基于提取函数和三通道分离的人物运动变化检测方法，其中所述步骤(1)中对彩色图像进行灰度转换，按如下步骤进行：

1a)提取彩色图像的R通道分量，将该分量记为R；

1b)提取彩色图像的G通道分量，将该分量记为G；

1c)提取彩色图像的B通道分量，将该分量记为B；

1d)根据彩色图像的RGB分量得到彩色图像所对应的灰度图Y＝0.299R+0.587G+0.114B。

3.根据权利要求1所述的基于提取函数和三通道分离的人物运动变化检测方法，其中步骤(2)所述的对RGB彩色图像进行YUV三通道分离，按如下步骤进行：

2a)提取彩色图像的R通道分量，将该分量记为R；

2b)提取彩色图像的G通道分量，将该分量记为G；

2c)提取彩色图像的B通道分量，将该分量记为B；

2d)按照转换公式 $\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.287& -0.437\\ 0.615& 0.515& -0.100\end{array}\right]\&CenterDot;\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$ 对RGB彩色图像进行YUV转换。