CN103514609B - 一种基于反馈的运动物体分割的图像处理方法 - Google Patents

Abstract

一种基于反馈的运动物体分割的图像处理方法，对背景建模，采用两层次的背景更新模型；第一层采用较低的更新率对背景进行更新，以适应背景的缓慢变化；第二层根据高层信息的反馈，对背景进行加速、补偿等操作，以适应场景内物体运动的突变；对前景分割，根据高层信息的反馈，合并预测的运动物体块，在预测的物体区域内，自适应地调整分割阈值，以达到抑制噪声的同时，防止分割的前景物体出现空洞和割裂情况的发生。本发明处理方法中的背景建模时既保持模型的鲁棒性，又保持模型对前景物体异常运动的敏感性；前景分割时，既能很好地抑制噪声，又能防止前景空洞、被割裂的情况。

Description

一种基于反馈的运动物体分割的图像处理方法

技术领域

本发明涉及一种基于反馈的运动物体分割的图像处理方法，属于智能交通模式识别技术领域。

背景技术

运动物体图像处理方法中背景建模和前景分割是智能视频监控系统的基础。背景模型和前景分割的精度将直接影响系统的后续处理，包括运动物体分割、识别和行为理解等。传统的背景建模和前景分割技术存在两个艰难的权衡问题：一个是背景建模时保持模型的鲁棒性与敏感性之间的权衡；另一个是前景分割时抑制噪声和防止前景物体出现空洞和被割裂情况之间的权衡。

智能视频监控系统一般都采用图1的流程。图1中的模块顺序执行，背景建模与前景分割决定后续物体分割、识别和跟踪操作，但是后续的操作并不对背景建模和前景分割产生影响。在众多的背景建模方法中，混合高斯模型（GMM）方法[1]是最普遍使用的方法，在它基础上又提出了很多改进的方法[2-3]。但是这些方法在背景更新时采用固定的更新率，不能同时保证模型的鲁棒性和敏感性。当更新率取得较大时，缓慢运动的物体会被错误的更新到背景中去；当更新率取得较小时，需要很长的时间来更新突来停止或运动的物体的区域，从而引进很多的虚警。

为了使建立的模型兼具鲁棒性和敏感性，文献[4-5]开始采用图1的结构，通过高层反馈对像素进行分类，进而根据像素类别对背景更新率进行调整控制。但是这些方法仍旧存在一些问题：首先就像文献[4][5]所说，当前帧对像素类别错误的划分会损害到后续帧的操作。其次，这些方法对前景分割中存在的权衡问题没有很好的解决。最后，这些方法的计算复杂度比较高，不利于实时应用。

文献[6-7]主要致力于前景分割的研究。文献[6]根据邻居节点是否为前景像素来调节分割阈值。文献[7]通过融合物体的运动，颜色和对比度等信息来提高前景分割的效果。这些方法没有使用高层信息的反馈，在抑制噪声和防止前景物体出现空洞、被割裂情况之间不能取得很好的权衡。

[1]C.Stauffer,andW.Grimson,Adaptivebackgroundmixturemodelsforreal-timetracking,inProc.IEEEConferenceonComputerVisionandPatternRecognition,vol2,pp.246-252,1999.

[2]M.Heikkila,andM.Pietikainen,Atexture-basedmethodformodel-ingthebackgroundanddetectingmovingobjects,IEEETransactiononPatternAnalysisandMachineIntelligence,vol.28,no.4,pp.657-662,2006.

[3]T.Haines,andT.Xiang,”BackgroundSubtractionwithDirichletProcesses,”inProc.2012EuropeanConferenceonComputerVision,pp.97-111,2012.

[4]T.Boult,R.Micheals,andX.Gao,Frame-rateomnidirectionalsurveillanceandtrackingofcamouflagedandoccludedtargets,Sec-ondIEEEWorkshoponVisualSurveillance,pp.48-55,1999.

[5]H.Lin,J.Chuang,andT.Liu,RegularizedBackgroundAdaptation:ANovelLearningRateControlSchemeforGaussianMixtureMod-eling,IEEETrans.onImageProcessing,vol.20,no.3,pp.822-836,2011.

[6]P.Kumar,S.Ranganath,andW.Huang,QueuebasedFastBack-groundModellingandFastHysteresisThresholdingforBetterFore-groundSegmentation,inProc.the2003JointConferenceoftheFourthInternationalConferenceonInformation,CommunicationsandSignalProcessing,vol.2,pp.743-747,2003.

[7]Z.Kuang,H.Zhou,andK.Wong,AccurateForegroundSegmenta-tionwithoutPre-learning,inProc.2011SixthInternationalConfer-enceOnImageandGraphics,pp.331-337,2011.

综上所述，现有技术存在以下几点不足：（1）传统的（图1所示）背景建模方法采用统一的背景更新率，当更新率取得不合适时，将引入很多虚警。（2）以文献[5]为例，很多研究者开始采用图2所示流程图进行处理。这些方法根据高层信息的反馈对图像中各个像素进行分类，之后按照分类结果调整相应的更新速率。这些方法对像素分类要求很高，一旦分类发生错误，这种错误将会进行传播，影响后面连续多帧的更新效果。此外，这些方法在前景分割上没利用运动信息的反馈，在前景分割时，对图中各像素的阈值没进行自适应的调整。（2）以文献[6]为例，在进行前景分割时，阈值大小由其邻居像素是否为前景决定。当其邻居像素越多为前景时，其分割阈值越小，反之越大。这种方法首先会对分割出的物体的边界造成模糊作用；其次这种方法不能很好地解决前景空洞比较大的情况。

发明内容

本发明技术解决问题：克服现有技术的上述不足，提供一种基于反馈的运动物体分割的图像处理方法，背景建模时既保持模型的鲁棒性，又保持模型对前景物体异常运动（突然静止或运动）的敏感性；前景分割时，既能很好地抑制噪声，又能防止前景空洞、被割裂的情况。

本发明技术解决方案：一种基于反馈的运动物体分割的图像处理方法，采用图3的结构，把高层信息反馈回来，以提高背景建模和前景分割的效果，具体实现步骤如下：

（1）对背景建模

采用两层次的背景更新模型，第一层采用相对较小的（0.001）的更新率对背景进行更新，以适应背景的缓慢变化；第二层根据运动物体跟踪信息的反馈，对背景进行加速、补偿操作，以适应场景内物体运动的突变；

（2）对前景分割，根据高层信息的反馈，合并预测的运动物体块，在预测的物体区域内，自适应地调整分割阈值，以达到抑制噪声的同时，防止分割的前景物体出现空洞和割裂情况的发生。

本发明采用自适应阈值的背景差方法进行前景分割，即在某像素点，当前图像的像素值与背景的像素值的差大于给定阈值时，该点被认为是前景点。背景模型建立的越准确越有利于前景的分割，前景分割的越好，在本发明中也越有利于背景模型的更新。

所述步骤（1）背景建模的具体实现方法如下：

（11）输入视频流中任一帧图像，全图进行第一层背景更新，得到背景初步更新结果。

（12）根据运动物体跟踪的结果，对输入的视频图像进行区域分类，包括背景区域、运动物体区域、静止物体区域和醒来物体区域，得到图像区域划分结果。

（13）根据区域划分结果，对步骤（11）所得结果进行第二层更新，背景区域保持第一层更新结果不变；运动物体区域进行更新补偿操作；静止物体区域和醒来物体区域进行加速更新操作。得到这帧背景更新的最终结果。

所述步骤（2）前景分割的具体实现方法如下：

（21）根据上帧自适应调整的阈值，对新输入的图像进行自适应阈值化前景分割。得到前景图。

（22）根据前景图上分割出的前景物体块的位置，合并认为是属于同一物体的前景块的外接矩形，得到各物体大致区域。

（23）在（22）结果上，对各物体区域进行扫描，找出各物体的边界，从而得到各物体的精确区域。

（24）在各物体区域内进行分割阈值的自适应调整，得到整个图像各个地方的分割阈值，以备下一帧使用。

本发明与现有技术相比的优点在于：

（1）本发明建立的背景模型既能保持模型的鲁棒性，又能保持模型对前景物体异常运动（突然静止或运动）的敏感性。且根据高层信息反馈后对物体像素的误分类对本发明方法的性能几乎没什么影响。

（2）本发明在前景分割时既能抑制噪声，同时又能抑制分割的前景物体出现空洞和被割裂情况的发生。

（3）本发明建立的背景模型简单，计算复杂度低，实时性效果好。

附图说明

图1为智能视频监控系统的图像处理最传统的处理流程图

图2为基于反馈的背景建模处理流程图；

图3为本发明采用的处理流程图；

图4为本发明中背景建模实现流程图；

图5为前景块合并实例图，a为合并前的图，b为合并后的图

图6为前景块外接矩形合并示例图，a为示例1，b为示例2

图7为物体边界确定图，a为左右边界点确定示例图，b为获得的物体区域图；

图8为前景分割实现流程图。

具体实施方式

如图3-4所示，本发明具体实现步骤如下：

1.背景建模

本发明采用如图4所示的双层次背景更新模型。在第一层，采用较低的更新率对整个背景进行更新；在第二层，根据运动物体跟踪信息反馈，将图像分为四种不同类型的区域，之后在不同的区域上分别进行相应的第二层操作。

1.1第一层更新

在第一层，采用低通滤波的形式对整个背景进行更新：

B′_n+1(i,j)＝(1-α_min)·B_n(i,j)+α_min·G_n(i,j)

其中n是当前的帧号，(i,j)是像素的坐标，B_n(i,j)是像素(i,j)处当前帧的背景值，G_n(i,j)是像素(i,j)处当前帧的像素值，B′_n+1(i,j)是像素(i,j)处更新后的背景值，α_min是更新率。在这层中α_min设置的比较小（0.001左右）以适应场景的缓慢变化，如光照等。

1.2第二层更新

1.2.1图像中区域分类

通过对运动物体进行跟踪，能很容易得到运动物体的起始位置(x₀,y₀)和运动物体的速度v_i。根据x₀,y₀,v_i，图像可以很容易的划分为四种不同类型的区域，包括背景区域，运动物体区域，睡着物体区域（运动物体突然由运动变为静止的区域）和醒来物体区域（运动物体突然由静止变为运动的区域）。图像中不包含任何运动物体的区域为背景区域，标记为0。根据速度v_i，运动物体通过阈值化的方法能区分成静止和运动两种类型。图像中运动物体覆盖的区域为运动物体区域，标记为1。静止物体覆盖的区域为睡着物体区域，标记为2。根据运动物体的起始位置(x₀,y₀)，可以知道跟踪的运动物体是否是从边界进入场景的。如果运动物体不是从边界进入场景的，就定义该物体为醒来的物体，该物体覆盖的起始区域为醒来物体区域，标记为3。因此，可以得到一个图像类型标记：

1.2.2第二层更新操作

根据T_n(i,j)，不同区域上将施加不同的更新策略。对背景区域来说，第一层的更新足够其跟上光线等场景的缓慢变化，所以不需要再进行第二层的更新；对运动物体区域来说，当大而缓慢运动的物体经过时，将会出现“划痕”问题，所以在第二层更新中应该对第一层的更新操作进行补偿；对睡着物体区域，这部分区域是运动物体由动到静的区域，这时应将该物体尽快地更新到背景中，以抑制虚警的发生；对醒来物体区域，这是运动物体由静而动的起始位置区域，这时该物体要被尽快地剔除出背景，以抑制虚警。因此，第二层更新按照下式进行：

$B_{n+1}(i,j)=\left\{\begin{array}{c}{B}_{n+1}^{\′}(i,j),\mathrm{if}{T}_n(i,j)=0\\ (B_{n+1}^{\′}(i,j)-{\mathrm{\α}}_{\min }\·G_n(i,j))/(1-{\mathrm{\α}}_{\min }),\mathrm{if}{T}_n(i,j)=1\\ (1-{\mathrm{\α}}^{\′})\·B_{n+1}^{\′}(i,j)+{\mathrm{\α}}^{\′}\·G_n(i,j),\mathrm{if}{T}_n(i,j)=\mathrm{2,3}\end{array}\right.$

${\mathrm{\&alpha;}}^{\&prime;}=\left\{\begin{array}{c}{\mathrm{\&alpha;}}_{\min }+k_{\mathrm{\&alpha;}}\&CenterDot;n_{\mathrm{\&alpha;}},\mathrm{if}{\mathrm{\&alpha;}}_{\min }+k_{\mathrm{\&alpha;}}\&CenterDot;n_{\mathrm{\&alpha;}}<{\mathrm{\&alpha;}}_{\max }\\ {\mathrm{\&alpha;}}_{\max },\mathrm{else}\end{array}\right.$

其中α′是加速更新率，k_α是α′的调节强度，n_α是该区域被判为睡着物体区域和静止物体区域的次数。α′按照上式调整，当区域被判为睡着物体区域和静止物体区域时，n_α加1；否则n_α减1。当n_α减为0时，第二层更新结束。n_α越大，越能相信对该区域的分类判断，该区域越应该被快速的更新。这种方式下，随机噪声造成的区域错误分类不会对后序操作产生坏的影响。因为随机噪声不可能在同一个地方维持很长时间，这样n_α增加量很小，会很快减少到0，第二层更新操作将很快结束。k_α是调节强度，其越大，α′增加的越快，背景更新地越快。α′随着n_α的增加而增加，但是其最大不会超过α_max，这样能防止背景的过快更新。

区域分类操作是在物体层次进行分类的，而不是像素层次的分类，这样能很大程度的减少误分类。实验发现，主要的误分类发生在物体匹配失败的时候，而物体匹配失败主要是由光线等突变使其外形发生剧变造成的。这种情况下，运动物体被当成是一个新的物体，其起始位置不在场景边缘，这样起始区域会被误分为醒来物体区域。幸运的是这种误判不会对模型性能造成影响。因为当物体离开其起始位置后，根据区域分类规则，该区域将不再被分类为醒来物体区域，第二层更新将很快结束，由于n_α很快的降为0。

2.前景分割

本发明利用物体跟踪的结果，合并预测为同一物体的前景块，并在合并后的物体块区域自适应的调整分割阈值，进而进行前景的分割。

2.1区域合并

如图5中的（a）所示，前景分割时经常出现物体被割裂的情况。检测到的不同的物体块可能属于同一个运动物体。本发明通过下面两步来合并预测为同一个物体的前景块，如图5中的（b）所示。

2.1.1预测物体区域合并

在空间上，两个独立的运动物体不可能靠的太近。如图6所示，当检测到的两个前景块的外接矩形很接近的时候，可以假设它们属于同一个运动物体，并将它们的外接矩形合并。如图6中的（a）所示，B的外接矩形包含在A中，C的外接矩形与A相交。合并A、B和C的外接矩形，期望合并后的矩形中包含那些被误分为背景的前景，这些前景块是从一个物体割裂出来的。图6中的（b）中，A的外接矩形向前后左右伸展一小距离与B相交，也假设A和B属于同一个物体，并将它们的外接矩形合并。通过上述合并操作，图7中的（a）中前景块的外接矩形被合并为如图7中的（b）所示，合并后的外接矩形明显比合并前的矩形在标记物体区域上更有意义。

2.1.2确定物体区域的精确边界

防止对物体的边界产生模糊，不能直接在上述合并后的外接矩形内直接降低分割阈值。使用下述方法来确定物体的边界。

如图8所示，本发明一行一行在合并后的外接矩形内进行扫描，以确定物体的边界点。物体的左边界点定义为最左边的一个前景点，它右边有连续的Q个前景点。同理能定出物体的右边界点。通过扫描，可以得出一系列的左、右边界点，这些边界点之间的区域为合理的物体区域。本发明将在这里得到的物体区域上自适应地调节分割的阈值。其中图7（b）的白色区域就是本发明得到的真正的物体区域。

3.自适应阈值前景分割方法

通过上述操作，得到了预测的带有确定边界的物体区域。记n时刻这类物体区域的集合为R_n。毫无疑问，R_n是个随n时变的量。但是，视频中相邻两帧之间的时间很短，相邻两帧之间的物体有几乎一致的物体区域。所以可以预测R_n+1和R_n几乎是相等的。所以在前景分割时，为了减少前景物体出现空洞和被割裂的情形，在R_n中设置一个较小的分割阈值T′是合理的。T′是个自适应的阈值，其调整将在下面给出。在区域R_n外，选择较大值T_max进行前景分割，以抑制噪声等的影响，减少虚警。本发明总结如下：

$T_{n+1}(i,j)=\left\{\begin{array}{c}{T}^{\&prime;},\mathrm{if}(i,j)\&Element;R_n\\ T_{\max },\mathrm{if}(i,j)\&NotElement;R_n\end{array}\right.$

$T^{\&prime;}=\left\{\begin{array}{c}{T}_{\max }-k_T\&CenterDot;n_T,\mathrm{if}{T}_{\max }-k_T\&CenterDot;n_T>T_{\min }\\ T_{\min },\mathrm{else}\end{array}\right.$

其中F_n+1(i,j)是第n+1帧时，在像素(i,j)处前景的标识。G_n+1(i,j)和B_n+1(i,j)分别是第n+1帧时，在像素(i,j)处的像素值和背景值。T_n+1(i,j)是自适应的前景分割阈值，它按上式自动进行调整。对每个获得的物体区域，n_T表示该物体区域被检测到的次数。该区域每被检测到一次，n_T增加1，否则减去1。n_T越大，确定的物体区域越可信，该区域的分割阈值越要小。但是最小不能小过T_min，以防止引起大量虚警,k_T是T′的调整强度。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于反馈的运动物体分割的图像处理方法，其特征在于实现步骤如下：

(1)对背景建模

采用两层次的背景更新模型，第一层采用相对较小的即0.001的更新率对背景进行更新，以适应背景的缓慢变化；第二层根据运动物体跟踪信息的反馈，对背景进行加速、补偿操作，以适应场景内物体运动的突变；

(2)对前景分割，根据高层信息的反馈，合并预测的运动物体块，在预测的物体区域内，自适应地调整分割阈值，以达到抑制噪声的同时，防止分割的前景物体出现空洞和割裂情况的发生；

所述步骤(1)背景建模的具体实现方法如下：

(11)输入视频流中任一帧图像，全图进行第一层背景更新，得到背景初步更新结果；

(12)根据运动物体跟踪的结果，对输入的视频图像进行区域分类，包括背景区域、运动物体区域、静止物体区域和醒来物体区域，得到图像区域划分结果；

(13)根据区域划分结果，对步骤(11)所得结果进行第二层更新，背景区域保持第一层更新结果不变；运动物体区域进行更新补偿操作；静止物体区域和醒来物体区域进行加速更新操作，得到这帧背景更新的最终结果。

2.根据权利要求1所述的基于反馈的运动物体分割的图像处理方法，其特征在于：所述步骤(2)前景分割的具体实现方法如下：

(21)根据上帧自适应调整的阈值，对新输入的图像进行自适应阈值化前景分割，得到前景图；

(22)根据前景图上分割出的前景物体块的位置，合并认为是属于同一物体的前景块的外接矩形，得到各物体大致区域；

(23)在步骤(22)结果上，对各物体区域进行扫描，找出各物体的边界，从而得到各物体的精确区域；

(24)在各物体区域内进行分割阈值的自适应调整，得到整个图像各个地方的分割阈值，以备下一帧使用。