CN105894530A - 一种针对视频中运动目标检测与跟踪的解决方案 - Google Patents

Abstract

本发明公开一种针对视频中运动目标检测与跟踪的解决方案，主要解决了视频中指定感兴趣区域的出现目标或者物体闯入的实时报警问题；视频中多个目标的检测与跟踪问题。该方案将背景减除与GMM方法进行交替结合对背景图像的更新与暂停更新，使得视频中指定ROI区域的运动目标的运动与静止状态都能够得到有效地捕捉，为异常目标检测与持续实时报警提供一种新的解决方案。

Description

一种针对视频中运动目标检测与跟踪的解决方案

技术领域

本发明涉及一种计算机视觉、模式识别与智能系统、图像处理技术。

背景技术

对视频图像的运动分析是目前计算机视觉、模式识别领域的一个重要方向。视频图像的分析也被广泛应用于高级人机交互、智能监控如异常目标检测与跟踪、视频会议、医疗诊断、基于视频内容的检索等等。视频图像的智能化分析主要包括目标检测、跟踪及目标行为识别等。

智能化的视频图像分析目的是将原始视频图像转化为可供监控人员判断的有效信息，辅助监控人员及时并全面地了解视频中所发生的事件，以达到系统智能化的目的，如在什么地方、什么时间、目标具有什么样的行为。

基于视频的目标检测，主要是从视频图像帧中将运动变化的图像区域，将其从背景图像中分割并提取。运动目标的有效分割(前景、背景提取)是视频图像分析的重要基础性工作。也是当今国内外学者研究的热点问题。

按照不同标准，可将视频运动分析的方法进行分类：(1)根据摄 像机的数目，可分为单摄像机与多摄像机。(2)根据摄像机是否运动，可分为摄像机静止与摄像机运动。(3)根据视频图像场景中运动目标的数量，可分为单目标分析与多目标分析。在本专利中，重点关注的是静态相机的单目标或者多目标分析问题，目标主要是关于如行人或者运动物体。

动态视频目标检测技术是智能化视频分析的研究基础，在此，简要分析目前应用非常广发的动态视频目标检测方法：

1、背景减除：该方法是运动目标检测非常常用的一种，利用当前图像与背景图像的差的方式，检测出视频序列中的前景目标。对于动态变化的场景，比如在光照变化较大或其他噪声的干扰情况下，背景减除的方式则比较敏感。背景减除方法的关键技术是背景的建模，较为简单的背景模型是对时序图像的求平均，即对同一个场景在某一时间序列段内的图像帧的灰度平均。基于上述时序平均的背景建模方式，由于背景模型是固定不变的，故视频序列中，场景图像的任何变化如噪声干扰，都易当作前景目标并提取出，因而背景减除的方式会导致前景目标提取的抗噪声能力较差。

2、高斯背景建模：高斯背景建模是一种经典的自适应混合高斯背景提取方法，是一种基于背景建模的方法。建模过程中，背景图像不断地更新，以适应多变的复杂背景。高斯背景建模是根据视频中的每个像素在时域上的分布情况来构建各个像素的颜色分布，以达到背景建模。混合高斯背景模型(GMM)是有限个高斯函数的加权和，它能描述像素的多峰状态，更加适用于多光照渐变、小目标的干扰运动 等，并对复杂背景进行准确建模。经过许多研究人员的不断改进，混合高斯背景建模方法也已经成为非常常用的前景/背景提取。

3、光流法：光流的概念是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧图像之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。其计算方法可以分为三类：

(1)基于区域或者基于特征的匹配方法；

(2)基于频域的方法；

(3)基于梯度的方法；

简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图像序列中近似得到不能直接得到的运动场。此外，光流法的前提假设包含：

(1)相邻视频图像帧之间的亮度恒定；

(2)相邻视频图像帧的取帧时间连续，或者，相邻视频图像帧之间物体的运动比较“微小”；

(3)保持空间一致性；即，同一子图像的像素点具有相同的运动。

在摄像机固定不变时，对拍摄的视频图像的目标检测与跟踪的分 析，共包含2个主要的技术问题：

1.视频中指定感兴趣区域的出现目标或者物体闯入的实时报警问题。

2.视频中多个目标的检测与跟踪问题。

发明内容

为解决上述技术问题，本发明提供了一种针对视频中运动目标检测与跟踪的解决方案。

为达成以上所述的目的，本发明采取如下技术方案：

1.针对摄像机静止时所拍摄的视频图像帧，结合背景减除与GMM的交替方式，分析视频图像在指定ROI区域是否有运动目标出现。当出现运动目标时，算法采用GMM对运动目标进行分割，而当目标在ROI内停止运动时，由于GMM无法切割目标的前景，此时则停止GMM的背景更新，并利用GMM停止背景更新之前所获得的最新背景图像，作为背景减除的背景，用于提取ROI区域的静止目标，当目标从静止状态转为运动状态时，则继续GMM的背景更新过程，如此交替。通过这样的方式，可有效捕捉目标在进入ROI区域后的任何状态(静止或运动)的位置。

2.结合图像形态学的腐蚀、膨胀处理，对采用GMM获取的前景目标图像，利用腐蚀处理，消除小颗粒状的连通区域，进而采用膨胀处理，合并相邻的大连通区域，最终利用大连通区域，估计目标的最大外接矩形，从而切割出多个前景目标。此外，对目标运动轨迹的跟踪，则利用光流法，估计每个前景目标的最大外接矩形内光流点的运动方 向，并统计光流点的方向直方图，最强响应方向即为目标运动方向。目标运动方向的估计，有助于当两个或多个目标的运动过程重叠时，可根据两个或多个目标对应的光流运动方向，使得重叠目标在分离后，根据各个目标运动方向的惯性，使得对各个目标的判断不产生混乱。

采用如上技术方案的本发明，具有如下有益效果：

1.相比单独使用背景减除与GMM方法，将两者进行交替结合对背景图像的更新与暂停更新，使得视频中指定ROI区域的运动目标的运动与静止状态都能够得到有效地捕捉，为异常目标检测与持续实时报警提供一种新的解决方案。

2.利用二值形态学，通过提取前景图像的连通区域，获取视频中出现的多个目标及其最大外接矩形。同时，采用光流法，对各个目标的最大外界矩形内的光流点的方向进行直方图统计，以判断各个目标的运动方向，在目标间的运动出现重叠时，可通过方向信息，使得各个重叠的运动目标在分离后的判断不产生混乱。

附图说明

图1异常目标实时检测报警；

图2目标运动及跟踪。

具体实施方式

为了进一步说明本发明，下面进一步进行说明：

1.异常目标检测与报警方案：预先设定视频图像中需要被监视的感兴趣区域(ROI)。若存在运动目标在某一个时刻进入ROI区域或者 在某一段时间内持续在ROI区域内出现，则系统自动警报。处理过程如下：

(1)系统初始化，初始化过程中需不包含异常目标出现在ROI区域内。初始化过程首先将第一帧图像作为初始的背景帧，然后采用GMM的方式对背景图像进行动态建模。在高斯背景建模过程中，视频场景图像中的每一个像素的值可以由K个高斯成分组成的混合分布来表示，即图像中像素j在t的取值为x_j的概率为：

其中表示t时刻像素j的混合高斯模型中第i个高斯分类的权重，满足：这里和分别表示第i个高斯成分的均值及协方差，η表示高斯概率密度函数：

$\mathrm{\η}(x_j,{\mathrm{\μ}}_{j,t}^i,{\mathrm{\Σ}}_{j,t}^i)=\frac{1}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_{j,t}^i\right|}^{1/2}}\exp [-\frac{1}{2}{(x_j-{\mathrm{\μ}}_{j,t}^i)}^T{\left({\mathrm{\Σ}}_{j,t}^i\right)}^{-1}(x_j-{\mathrm{\μ}}_{j,t}^i)]$

其中d为x_j的维数。对于RGB颜色空间而言，可视为相互独立，则协方差矩阵定义为其中σ表示标准差，I代表单位矩阵。

在初始阶段，如果对混合高斯参数初始化速度要求不高，那么像素点每个颜色通道范围为[0，255]，可以对K个高斯分布直接初始化较大的对每个高斯分布的权重取w_init＝1/K，取第一帧图像的每个像素的值来对混合高斯模型中的K个高斯分布的均值进行初始化。

随着视频场景图像的不断变化，每个像素的混合高斯模型都要不断地被学习更新。将混合高斯模型中的每个高斯分布按照由大到小排序，检验新获取的图像帧的像素与混合高斯模型中的K个高斯分布是否匹配，假如新获取的像素和混合高斯分布的某个成分满足 下式就认为该像素与高斯分布相匹配(δ为匹配阈值)

对于混合高斯模型而言，高斯成分的个数K是一个及其重要的变量，因为它直接影响了算法的性能与计算效率，K的取值需大于等于2，通常在实时性要求较高或者视频图像帧的分辨率较高时，K的取值通常可取为2或者3即可。

(2)ROI区域的异常目标检测：经过上述GMM的方式对ROI区域进行背景建模后，即系统进入目标监测中。倘若ROI区域无异常目标出现，则背景图像(BK)不断地通过GMM实时更新。倘若ROI区域在某一时刻T存在运动目标进入，则转入步骤(3)。

(3)提取ROI区域内的前景图像(FG)，由于前景图像为二值图(白色像素为运动目标)，因此，可统计二值ROI图像中前景目标(白色像素)的面积area，area占图像ROI的总面积(area_image)的比例为ratio＝area/area_image。设定一个阈值threshold，threshold的值需较小，以保证在目标进入ROI区域的瞬间可被捕捉到。当ratio＞threshold，此时系统做持续报警处理，说明有异常目标进入ROI内，并且，GMM停止对背景图像BK的更新。背景图像BK停止更新后，对T时刻之后的前景图像的分割，采用背景减除的方式，如T时刻之后获得的视频图像帧为IM，则将IM与BK进行对应像素点的减法操作，以提取前景目标。利用这样的方式，可有效避免运动目标在ROI区域内出现的GMM无法提取静止状态下的目标。

(4)当目标在ROI内持续运动或者静止时，通过步骤(3)，可 持续监测到目标所处的位置和时间段并做持续报警处理。当目标离开ROI区域时，ratio的值会不断减小，当ratio＜threshold时，说明目标基本离开了ROI区域，此时系统报警消除，并重新采用GMM对背景图像进行实时更新，并进入步骤(2)。

通过上述四个步骤的方式，可有效自动监测视频图像中的ROI区域内出现异常目标的持续实时报警处理。

2.视频中多个目标的检测与跟踪：

(1)对视频中的运动目标，采用GMM的前景分割方式，提取视频图像帧的前景FG，GMM分割出的前景FG包含较多的颗粒连通区域。因此，可以采用二值形态学的方式，利用腐蚀操作，将小颗粒连通区域进行消除，在通过膨胀的方式，将相邻的较大连通区域合并成一个更大的连通区域(相对完整的运动目标区域)，通常，膨胀的结构元素的大小较腐蚀的结构元素要大。上述腐蚀、膨胀以及连通区域的合并处理，依不同视频图像中运动目标情况的不同，需设定不同的最优值。

(2)提取前景图像中的连通区域获得对应目标，对应第i个连通区域面积为area_i。设定一个阈值threshold，当area_i＞threshold时，提取该区域对应的最大外接矩形MaxRect_i，MaxRect_i即为在视频中寻找到的前景运动目标的位置。

(3)对最大外界矩形MaxRect_i，采用光流法，提取运动目标的运动方向。光流法的目的是找到图像中每个像素点的速度向量：速度向量不仅有运动大小信息，还包括了运动的方向信息。 根据光流的微小运动和亮度恒定假设，对t时刻图像位置，可以得到I(x，y，t)＝I(x+dx，y+dy，t+dt)。对该式用一阶泰勒级数展开，可得到：

$I(x+\mathrm{dx},y+\mathrm{dy},t+\mathrm{dt})=I(x,y,t)+\frac{\∂I}{\∂x}\mathrm{dx}+\frac{\∂I}{\∂y}\mathrm{dy}+\frac{\∂I}{\∂t}\mathrm{dt}$

即：I_xdx+I_ydy+I_tdt＝0，令则I_xu+I_yv＝-I_t，即假设(u，v)的一个小的局部领域内的亮度为恒定，则：

$\left[\begin{array}{cc}{I}_{x1}& I_{y1}\\ I_{x2}& I_{y2}\\ .& .\\ .& .\\ .& .\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=-\left[\begin{array}{c}{I}_{t1}\\ I_{t2}\\ .\\ .\\ .\end{array}\right],$ 即：光流计算的目的是使得最小。

$A\stackrel{\→}{u}=b\⇒A^{T}A\stackrel{\→}{u}=A^{T}b\⇒\stackrel{\→}{u}={\left(A^{T}A\right)}^{-1}{A}^{T}b,$

$\left(A^{T}A\right)=\left[\begin{array}{cc}\mathrm{\Σ}{I}_x^2& \mathrm{\Σ}{I}_x{I}_y\\ \mathrm{\Σ}{I}_x{I}_y& \mathrm{\Σ}{I}_y^2\end{array}\right].$

根据对MaxRect_i内的光流点的方向与大小，统计所有光流点在0～360°方向上的直方图分布(将0～360°进行bin的量化)，统计最大的方向，作为目标i的运动方向。

通过上述三个步骤，可有效将视频中每一个运动目标进行分割并赋予对应目标i的运动方向。当多个目标产生运动重叠时，可根据各个运动目标的方向运动惯性，在多个目标分离时，提高对各个目标的判断准确率。

以上是对本发明的具体说明，本方案不仅仅局限在以上实施例中，针对在本方案发明构思下所做的任何改变都将落入本发明保护范围内。

Claims (3)

1.一种针对视频中运动目标检测与跟踪的解决方案，其特征在于：提供了一种针对视频中运动目标检测与跟踪的解决方案。

2.根据权利要求1所述的解决方案，其特征在于：该方案解决了异常目标检测与报警问题。详细方案如下：预先设定视频图像中需要被监视的感兴趣区域(ROI)。若存在运动目标在某一个时刻进入ROI区域或者在某一段时间内持续在ROI区域内出现，则系统自动警报。处理过程如下：(1)系统初始化，初始化过程中需不包含异常目标出现在ROI区域内。初始化过程首先将第一帧图像作为初始的背景帧，然后采用GMM的方式对背景图像进行动态高斯建模。(2)ROI区域的异常目标检测：经过上述GMM的方式对ROI区域进行背景建模后，即系统进入目标监测中。倘若ROI区域无异常目标出现，则背景图像(BK)不断地通过GMM实时更新。倘若ROI区域在某一时刻T存在运动目标进入，则转入步骤(3)。(3)提取ROI区域内的前景图像(FG)，由于前景图像为二值图(白色像素为运动目标)，因此，可统计二值ROI图像中前景目标(白色像素)的面积area，area占图像ROI的总面积(area_image)的比例为ratio＝area/area_image。设定一个阈值threshold，threshold的值需较小，以保证在目标进入ROI区域的瞬间可被捕捉到。当ratio＞threshold，此时系统做持续报警处理，说明有异常目标进入ROI内，并且，GMM停止对背景图像BK的更新。背景图像BK停止更新后，对T时刻之后的前景图像的分割，采用背景减除的方式，如T时刻之后获得的视频图像帧为IM，则将IM与BK进行对应像素点的减法操作，以提取前景目标。利用这样的方式，可有效避免运动目标在ROI区域内出现的GMM无法提取静止状态下的目标。(4)当目标在ROI内持续运动或者静止时，通过步骤(3)，可持续监测到目标所处的位置和时间段并做持续报警处理。当目标离开ROI区域时，ratio的值会不断减小，当ratio＜threshold时，说明目标基本离开了ROI区域，此时系统报警消除，并重新采用GMM对背景图像进行实时更新，并进入步骤(2)。

3.根据权利要求1所述的解决方案，其特征在于：该方案解决了视频中多个目标的检测与跟踪问题。详细方案如下：(1)对视频中的运动目标，采用GMM的前景分割方式，提取视频图像帧的前景FG；采用二值形态学的方式，利用腐蚀操作，对GMM分割出的前景FG连通区域的小颗粒进行消除，然后通过膨胀的方式，将相邻的较大连通区域合并成一个更大的连通区域(相对完整的运动目标区域)。(2)提取前景图像中的连通区域获得对应目标，对应第i个连通区域面积为area_i。设定一个阈值threshold，当area_i＞threshold时，提取该区域对应的最大外接矩形MaxRect_i，MaxRect_i即为在视频中寻找到的前景运动目标的位置。(3)对最大外界矩形MaxRect_i，采用光流法，提取运动目标的运动方向。