CN105809715A

CN105809715A - 一种基于帧间累计变化矩阵的视觉运动目标检测方法

Info

Publication number: CN105809715A
Application number: CN201610128845.8A
Authority: CN
Inventors: 陈曦; 徐贵力; 王彪; 李开宇
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2016-03-07
Filing date: 2016-03-07
Publication date: 2016-07-27
Anticipated expiration: 2036-03-07
Also published as: CN105809715B

Abstract

本发明公开了一种基于帧间累计变化矩阵的视觉运动目标检测方法，将图像中每个像素点的帧间变化情况用0、1二值的帧间变化值表示，0值代表该点帧间未发生改变，1值代表帧间发生改变，并对每个像素点若干次历史帧间变化值进行累加，在当前时刻形成一个与图像同等大小的帧间累计变化矩阵，反映图像中每个像素点在一段历史时间内的帧间累计变化情况；后通过帧间累计变化矩阵对背景图像进行实时更新；再将当前帧图像与更新后的背景图像进行背景差分得到差分图像，并用限制范围的最大类间方差法进行二值化分割获得运动目标前景，最终获取运动目标。本发明的方法能够在背景发生突变时较好的实现背景图像的更新和运动目标的检测。

Description

一种基于帧间累计变化矩阵的视觉运动目标检测方法

技术领域

本发明涉及一种视觉运动目标检测方法，特别是涉及一种基于帧间累计变化矩阵的视觉运动目标检测方法，属于图像处理技术领域。

背景技术

在工程应用中，运动目标检测是实现视觉技术的重要前提，它的作用是找到感兴趣的运动区域为后续分析奠定基础。因此，通常在获取视频图像序列后首先要对运动目标进行有效检测。现有较为主流的工程应用运动目标检测基本方法有背景差分法、帧间差分法、光流法。在三种主流方法中，背景差分法由于鲁棒性好、精度高、实施复杂度低、获取运动目标完整等优点，是当前运用于视觉监管和监控系统的最常用运动目标检测方法，基本背景差分法具有较高的实时性和较好的检测效果，能够在多数情况下对视频序列中的运动目标进行检测。

然而，实际场景中存在较多的不确定因素和随机变化情况，包括背景中有物体发生移动、目标在运动过程中突然停止融入背景、物体在背景中突然运动、目标阴影等干扰。由于以上的干扰因素存在，基本背景差分法在一些较为复杂的环境下检测效果不佳。例如，在使用计算机视觉技术监控路面时，当有车辆车轮上沾有水迹而导致车辙痕迹突然加入背景时，现有的基本背景差分法就难以在较短的延时内将车辙痕迹反应到背景图像中，导致较长时间内将部分车辙痕迹误检为运动目标前景。

发明内容

本发明的主要目的在于，克服现有技术的缺陷，提供一种基于帧间累计变化矩阵的视觉运动目标检测方法，具有准确性高、实时性强、方法复杂度低、鲁棒性好等特点，特别适用于背景发生突变时视觉运动目标检测，为视觉监管和监控系统的实现提供良好基础，极具工程应用价值。

为了达到上述目的，本发明所采用的技术方案是：

一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，包括如下步骤：

A，顺序读取灰度图像序列，若当前帧为前G帧，则进行混合高斯背景建模获取初始背景灰度图像，否则进入步骤B；

B，判断当前帧是否为第G+1至G+N帧，N为历史累计帧数，是则计算帧间累计变化矩阵初值，否则进步骤C；

C，根据步骤A中所得的初始背景灰度图像和步骤B中所得的帧间累计变化矩阵初值，对当前帧进行基于帧间累计变化矩阵的背景灰度图像更新，获取当前帧的背景灰度图像：

对于帧间累计变化矩阵中值为0的点，将当前帧灰度图像的灰度值以背景更新速率a与上一帧所得背景灰度图像的灰度值融合，得到当前帧该点的背景度图像的灰度值；对于帧间累计变化矩阵中值大于0的点，将当前帧该点背景灰度图像的灰度值直接置为上一帧所得背景灰度图像的灰度值，具体计算公式如下：

B (x, y, k) = \{\begin{matrix} a I (x, y, k) + (1 - a) B (x, y, k - 1), & F A C M (x, y, k) = 0 \\ B (x, y, k - 1), & F A C M (x, y, k) > 0 \end{matrix}

其中x和y分别为图像中点的横坐标和纵坐标，B(x,y,k)、B(x,y,k-1))分别为第k帧、第k-1帧背景灰度图像(x,y)点灰度值，I(x,y,k)为第k帧灰度图像在(x,y)点的灰度值，FACM(x,y,k)为第k帧的帧间累计变化矩阵在(x,y)点的值；

D，将步骤C获取的当前帧的背景灰度图像与当前帧的灰度图像做差分运算，得到当前帧的差分灰度图像，并确定差分灰度图像的二值化最佳阈值T；

E，以步骤D所得的二值化最佳阈值T对当前帧的差分灰度图像进行二值化分割，得到当前帧的二值前景图像；

F，对步骤E所得的当前帧的二值前景图像进行滤波去噪；

G，在步骤F处理后的二值前景图像中进行连通区域搜索，搜索具有代表运动目标灰度值的连通区域，并滤除面积小于设定阈值S的连通区域，剩余的连通区域即为图像序列当前帧中的运动目标；

所述帧间累计变化矩阵定义为：将图像中每个像素点的帧间变化情况用0、1二值表示，0值代表该点帧间未发生改变，1值代表帧间发生改变，并对每个像素点若干次历史帧间变化值进行累加，在当前时刻形成一个与图像同等大小的矩阵，即为帧间累计变化矩阵，反映图像中每个像素点在一段历史时间内的帧间累计变化情况，计算方法如下；

假设FACM为历史累计帧数为N的帧间累计变化矩阵，W、H分别为图像帧的宽度、高度，k为当前帧数(k>N)，x、y分别表示矩阵行坐标和列坐标(0≤x<H，0≤y<W)，FACM(x,y,k)表示历史累计帧数为N的第k帧的帧间累计变化矩阵(x,y)点的值，计算公式如下：

F A C M (x, y, k) = Σ_{i = k - N + 1}^{k} C (x, y, i, i - 1)

其中，C(x,y,k₁,k₂)为第k₁、k₂帧在(x,y)点的帧间变化值，计算公式如下：

C (x, y, k_{1}, k_{2}) = \{\begin{matrix} 1, & D_{i} (x, y, k_{1}, k_{2}) &GreaterEqual; T_{c} \\ 0, & D_{i} (x, y, k_{1}, k_{2}) < T_{c} \end{matrix}

其中，Tc为帧间变化阈值，用于判定某点在两帧间是否发生变化的，D_i(x,y,k₁,k₂)为第k₁、k₂帧的帧间差分图像(x,y)点灰度值，计算公式如下：

D_i(x,y,k₁,k₂)＝|I(x,y,k₁)-I(x,y,k₂)|

其中I(x,y,k₁)、I(x,y,k₂)分别为第k₁、k₂帧灰度图像在(x,y)点灰度值。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤A中G的取值根据所应用的图像序列的复杂程度确定，所述G的取值范围为[50，300]。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤B中历史累计帧数N根据图像序列中运动目标的平均行驶速度来设定，原则为运动目标平均行驶速度越快则历史累计帧数N的取值越小。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，历史累计帧数N的范围为[5，25]。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述帧间变化阈值T_c的取值范围为[5，15]。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤C中帧间累计变化矩阵的计算方法为滑动累加法，通过步骤B获得帧间累计变化矩阵值初值之后，只需要将上一帧的帧间累计变化矩阵减去最旧一次帧间变化值，并加上最新一次帧间变化值，即可得到当前帧的帧间累计变化矩阵。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤D中确定二值化最佳阈值T的方法为限制范围的最大类间方差法，具体为将最大类间方差法求二值化阈值的原始方法进行改进，将候选阈值范围由[0，255]限制到更小的范围，所述候选阈值限制为[13，35]。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤E中对当前帧的差分灰度图像进行二值化分割的方法为，如果差分灰度图像中某点灰度值大于T，则二值前景图像中该点的灰度值置为255；否则，该点的灰度值置为0。

前述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤F中滤波去噪具体为中值滤波和形态学处理，所述形态学处理是先进行开运算再进行闭运算的形态学处理。

与现有技术相比，本发明具有以下有益效果：

(1)针对已有视觉运动目标检测方法在背景发生突变时效果不佳的情况，利用图像序列的帧间历史变化信息实时更新背景，在复杂的多态背景中较为准确的获取运动目标，提高了背景突变情况下的视觉运动目标检测的成功率。

(2)获取运动目标区域准确，前期通过混合高斯背景模型获取较为精确的初始背景，然后实时利用帧间历史变化矩阵更新背景，获取较为准确的实时背景，再对获取的图像进行背景差分法，并用限制范围的最大类间方差法自动选取二值化阈值对差分图像进行二值化，以得到清晰的运动目标范围轮廓。

(3)本发明还提供了一种帧间累计变化矩阵的滑动累加法，在通过逐次累加方法得到帧间累计变化矩阵初值后，在后续每一帧当中，只需要在上一帧得到的帧间累计变化矩阵中加上最新一次的帧间变化值，并减去最旧一次帧间累计变化值，实现帧间累计变化矩阵的滑动计算，进一步提高了算法的效率。

附图说明

图1是本发明的基于帧间累计变化矩阵的视觉运动目标检测方法的整体流程图。

图2是本发明的帧间累计变化矩阵的滑动累加法示意图。

图3是大型工地现场出入口视频图像灰度化后的效果图。

图4是对5帧图像计算帧间累计变化矩阵后得到的帧间累计变化图。

图5是使用本发明的基于帧间累计变化矩阵的视觉运动目标检测方法对5帧图像进行运动目标检测的最终结果。

图6是利用滑动平均法更新背景的背景差分法对5帧图像进行运动目标检测的最终结果。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

一种基于帧间累计变化矩阵的视觉运动目标检测方法，流程图如图2所示，包括如下步骤：

A，顺序读取灰度图像序列，若当前帧为前G帧，则进行混合高斯背景建模获取初始背景灰度图像，否则进入步骤B，G的取值根据所应用的图像序列的复杂程度确定，图像序列背景变化越复杂取值越大，反之越小，通常G的取值范围为[50，300]。

B，判断当前帧是否为第G+1至G+N帧，N为历史累计帧数，是则计算帧间累计变化矩阵初值，否则进步骤C，N根据图像序列中运动目标的平均行驶速度来设定，运动目标平均行驶速度越快则历史累计帧数N的取值越小，通常根据经验取为[5，25]中的一个整数。

C，根据步骤A中所得的初始背景灰度图像和步骤B中所得的帧间累计变化矩阵初值，对当前帧进行基于帧间累计变化矩阵的背景灰度图像更新，获取当前帧的背景灰度图像，具体方法为，

对于帧间累计变化矩阵中值为0的点，将当前帧灰度图像的灰度值以背景更新速率a与上一帧所得背景灰度图像的灰度值融合，得到当前帧该点的背景度图像的灰度值；对于帧间累计变化矩阵中值大于0的点，将当前帧该点背景灰度图像的灰度值直接置为上一帧所得背景灰度图像的灰度值；具体计算公式如下：

B (x, y, k) = \{\begin{matrix} a I (x, y, k) + (1 - a) B (x, y, k - 1), & F A C M (x, y, k) = 0 \\ B (x, y, k - 1), & F A C M (x, y, k) > 0 \end{matrix}

其中x和y分别为图像中点的横坐标和纵坐标，B(x,y,k)、B(x,y,k-1))分别为第k帧、第k-1帧背景灰度图像(x,y)点灰度值，I(x,y,k)为第k帧灰度图像在(x,y)点的灰度值，FACM(x,y,k)为第k帧的帧间累计变化矩阵在(x,y)点的值。

D，将步骤C获取的当前帧的背景灰度图像与当前帧的灰度图像做差分运算，得到当前帧的差分灰度图像，并通过限制范围的最大类间方差法确定差分灰度图像的二值化最佳阈值T，具体为将最大类间方差法求二值化阈值的原始方法进行改进，将候选阈值范围由[0，255]限制到更小的可靠范围，以防止现场情况较为复杂时最大类间方差法效果不稳定的情况出现，限制范围的最大类间方差法候选阈值范围通常根据经验取为[13，35]。

E，以步骤D所得的二值化最佳阈值T对当前帧的差分灰度图像进行二值化分割，得到当前帧的二值前景图像，方法如下：

如果差分灰度图像中某点的灰度值大于T，则二值前景图像中该点的灰度值置为255；

如果差分灰度图像中某点灰度值不大于T，则二值化前景图像中该点的灰度值置为0；；

F，对步骤E所得的当前帧的二值前景图像进行中值滤波和形态学处理，所述形态学处理是先进行开运算再进行闭运算的形态学处理，其中开运算用于消除小轮廓并在纤细点处分离物体，闭运算用于填充目标内部细小空洞并且平滑边界。

G，在步骤F处理后的二值前景图像中进行连通区域搜索，搜索灰度值为255的连通区域，并滤除面积小于设定阈值S的连通区域，剩余的连通区域即为图像序列的当前帧中的运动目标。

上述帧间累计变化矩阵定义为：将图像中每个像素点的帧间变化情况用0、1二值表示，0值代表该点帧间未发生改变，1值代表帧间发生改变，并对每个像素点若干次历史帧间变化值进行累加，在当前时刻形成一个与图像同等大小的矩阵，即为帧间累计变化矩阵，反映图像中每个像素点在一段历史时间内的帧间累计变化情况，计算方法如下：

F A C M (x, y, k) = Σ_{i = k - N + 1}^{k} C (x, y, i, i - 1)

C (x, y, k_{1}, k_{2}) = \{\begin{matrix} 1, & D_{i} (x, y, k_{1}, k_{2}) &GreaterEqual; T_{c} \\ 0, & D_{i} (x, y, k_{1}, k_{2}) < T_{c} \end{matrix}

其中，Tc为帧间变化阈值，用于判定某点在两帧间是否发生变化的，该值越小则判定图像中某点灰度值在相邻两帧间是否发生变化的条件越严格，D_i(x,y,k₁,k₂)为第k₁、k₂帧的帧间差分图像(x,y)点灰度值，计算公式如下：

D_i(x,y,k₁,k₂)＝|I(x,y,k₁)-I(x,y,k₂)|

上述步骤C中帧间累计变化矩阵的计算方法可采用滑动累加法，滑动累加法具体操作为，通过步骤B获得帧间累计变化矩阵值初值之后，只需要将上一帧的帧间累计变化矩阵减去最旧一次帧间变化值，并加上最新一次帧间变化值，即可得到当前帧的帧间累计变化矩阵。

上述滑动累加法原理如图2所示，其中，FACM(k)为第k帧的帧间累计变化矩阵中某个像素点的值，FACM(k+1)为第k+1帧的帧间累计变化矩阵中该像素点的值，C(k+1,k)表示第k、k+1帧在改点的帧间变化值，具体操作为，获得帧间累计变化矩阵值初值之后，只需要将上一帧的帧间累计变化矩阵减去最旧一次帧间变化值，并加上最新一次帧间变化值，即可得到当前帧的帧间累计变化矩阵。

第一实施例：

将本发明的运动目标检测方法应用于大型工地现场出入口视频图像，检测的目标为进出车辆，首先通过摄像机获取大型工地出入口图像，作为进行后续图像处理的基础，图3为视频图像的第539帧、第559帧、第579帧、第599帧、第619帧的灰度化图像；为了能够提高运算效率和避免冗余，需要在运动目标检测前对图像进行预处理：对原始图像进行压缩，再划定矩形感兴趣区域，屏蔽其他区域，并将道路边界线外的干扰点去除；预处理完成后对运动目标进行检测，过程如下：

第一步，选取前G帧对其进行高斯背景建模获取初始背景灰度图像；

第二步，求取历史累计帧数为20的帧间累计变化矩阵初值，图像某点的历史帧间累计变化次数是指该像素点灰度值在图像序列的若干历史帧中每相邻两帧间发生变化的累计次数；

第三步，根据初始背景灰度图像和帧间累计变化矩阵初值，对第539帧、第559帧、第579帧、第599帧、第619帧，计算帧间累计变化矩阵，计算方法如之前所述，为方便观察，将帧间累计变化矩阵值域从[0,20]线性映射至[0,255]并转换为灰度图像显示，称该图像为帧间累计变化图，图4为上述5帧图像的帧间累计变化图，图中像素点的灰度值越大说明其在历史20帧中变化次数越多，相反则说明其变化次数较少，灰度值处于较平稳状态，图中可以看出，大部分背景点的历史帧间累计变化次数为零，少量突变背景点历史帧间累计变化次数虽为非零值，但在较短延时后变为零；

利用帧间累计变化矩阵更新背景灰度图像，对于帧间累计变化矩阵中值为0的点，将当前帧灰度图像的灰度值以背景更新速率a与上一帧所得背景灰度图像的灰度值融合，得到当前帧该点的背景度图像的灰度值；对于帧间累计变化矩阵中值大于0的点，将当前帧该点背景灰度图像的灰度值直接置为上一帧所得背景灰度图像的灰度值；具体计算公式如下：

B (x, y, k) = \{\begin{matrix} a I (x, y, k) + (1 - a) B (x, y, k - 1), & F A C M (x, y, k) = 0 \\ B (x, y, k - 1), & F A C M (x, y, k) > 0 \end{matrix}

第四步，将步骤三得到的上述5帧的背景灰度图像与上述5帧灰度图像做差分运算，得到上述5帧图像的差分灰度图像，并确定差分灰度图像的二值化最佳阈值T，进行二值化即可获得上述5帧图像的二值前景，二值图中含有许多椒盐噪声，因此需对其进行中值滤波去噪。为得到更完整的运动目标轮廓，对中值滤波后的二值前景图像进行先开后闭的形态学处理，其中开运算用于消除小轮廓并在纤细点处分离物体，闭运算用于填充目标内部细小空洞并且平滑边界，经过处理后，得到上述5帧图像的运动目标，结果如图5所示。

图6为通过现有技术中利用滑动平均法更新背景的背景差分法检测上述5帧得到的前景效果，滑动平均法为目前广泛使用的且实时性较高的背景更新方法，通过图5与图6对比可以看出，在出现车辙干扰情况时，本发明的基于帧间累计变化矩阵的视觉运动目标检测方法具有更好的适应性。

本发明的基于帧间累计变化矩阵的视觉运动目标检测方法，将每个像素点的帧间变化情况，用0、1二值的帧间变化值表示，并对每个像素点当前时刻之前的若干历史帧间变化值进行累加，在当前时刻形成一个与图像同等大小的帧间累计变化矩阵，反映图像中每个像素点在一段历史时间内的变化情况；然后通过帧间累计变化矩阵对背景进行实时更新；再在每一帧中将当前帧与更新后的背景进行背景差分得到差分图像，并使用限制范围的最大类间方差法进行二值化分割获得运动目标前景。本发明的方法能够避免背景突然变化时进入背景的物体不能够及时反应在背景之中，能够在背景发生改变时较好的实现背景的更新和运动目标的检测。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，包括如下步骤：

B (x, y, k) = \{\begin{matrix} a I (x, y, k) + (1 - a) B (x, y, k - 1), & F A C M (x, y, k) = 0 \\ B (x, y, k - 1), & F A C M (x, y, k) > 0 \end{matrix}

F，对步骤E所得的当前帧的二值前景图像进行滤波去噪；

所述帧间累计变化矩阵定义为：将图像中每个像素点的帧间变化情况用0、1二值表示，0值代表该点帧间未发生改变，1值代表帧间发生改变，并对每个像素点若干次历史帧间变化值进行累加，在当前时刻形成一个与图像同等大小的矩阵，即为帧间累计变化矩阵，反映图像中每个像素点在一段历史时间内的帧间累计变化情况，计算方法如下：

F A C M (x, y, k) = Σ_{i = k - N + 1}^{k} C (x, y, i, i - 1)

C (x, y, k_{1}, k_{2}) = \{\begin{matrix} 1, & D_{i} (x, y, k_{1}, k_{2}) &GreaterEqual; T_{c} \\ 0, & D_{i} (x, y, k_{1}, k_{2}) < T_{c} \end{matrix}

D_i(x,y,k₁,k₂)＝|I(x,y,k₁)-I(x,y,k₂)|

2.根据权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤A中G的取值根据所应用的图像序列的复杂程度确定，所述G的取值范围为[50，300]。

3.根据权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤B中历史累计帧数N根据图像序列中运动目标的平均行驶速度来设定，原则为运动目标平均行驶速度越快则历史累计帧数N的取值越小。

4.根据权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，历史累计帧数N的范围为[5，25]。

5.根据权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述帧间变化阈值T_c的取值范围为[5，15]。

6.根据权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤C中帧间累计变化矩阵的计算方法为滑动累加法，通过步骤B获得帧间累计变化矩阵值初值之后，只需要将上一帧的帧间累计变化矩阵减去最旧一次帧间变化值，并加上最新一次帧间变化值，即可得到当前帧的帧间累计变化矩阵。

7.根据权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤D中确定二值化最佳阈值T的方法为限制范围的最大类间方差法，具体为将最大类间方差法求二值化阈值的原始方法进行改进，将候选阈值范围由[0，255]限制到更小的范围，所述候选阈值限制为[13，35]。

8.根据权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤E中对当前帧的差分灰度图像进行二值化分割的方法为，如果差分灰度图像中某点灰度值大于T，则二值前景图像中该点的灰度值置为255；否则，该点的灰度值置为0。

9.权利要求1所述的一种基于帧间累计变化矩阵的视觉运动目标检测方法，其特征在于，所述步骤F中滤波去噪具体为中值滤波和形态学处理，所述形态学处理是先进行开运算再进行闭运算的形态学处理。