CN105654508A - 基于自适应背景分割的监控视频移动目标跟踪方法及系统 - Google Patents

Abstract

本发明公开一种基于自适应背景分割的监控视移动目标跟踪方法及系统,用于提取监控视频中的背景信息，实现视频中移动目标的跟踪与跨线检测，主要包括依据时间顺序取前N帧的视频图像作为背景模型进行背景建模，N帧以后的每一帧图像将随机更新背景模型，从而使得背景模型能够根据场景的变化自适应的改变；根据背景模型分离出前景与背景后，对分离出的前景目标进行连通区的标记，并进行连通区的筛选以适应视频的多尺度变化。根据标记即可对该连通区进行跟踪。本发明除了能对监控视频中的移动目标进行跟踪的同时，还能进行跨线检测，记录跨线的目标数目，实用性高。

Description

基于自适应背景分割的监控视频移动目标跟踪方法及系统

技术领域

本发明属于视频图像分析技术领域，涉及一种分离出监控视频中移动目标并进行标记和追踪的方法及系统。

背景技术

随着经济的发展和社会的进步，金融设施、电力设施、交通、安全检查以及军事设施等领域对安全防范和现场记录预警报警系统的需求日益增加，同时也有着极高的要求，视频监控在生产生活各方面得到了十分广泛的应用。虽然监控摄像头已经广泛存在于银行、商场、车站和交通路口等公共场所，但实际的监控任务往往是人工完成的，而且现有的视频监控系统一般情况下只是录制视频，提供的信息是没有经过解译的视频图像，只能等需要的时候去调用查看或者人工监视，没有充分发挥监控的实时性和主动性。为了能实时分析、跟踪、判别监控对象，对监控对象的行动进行分析，并在异常事件发生时提示，为相关管理部门的及时决策、正确行动提供支持，视频监控的智能化就显得尤为重要。

智能化的视频监控区别于传统意义上的视频监控在于变被动监控为主动监控(自动检测移动目标、识别可疑行为等等)。简单而言，不仅用摄像机代替人眼，而且用计算机代替人、协助人，来完成监视或控制的任务，从而减轻人的负担。

近年来提取监控视频中移动目标的方法成为研究的热点。然而，大部分方法仍需依靠人工操作与计算机辅助提取相结合才能跟踪监控视频中的移动目标，发挥不了监控的实时性和主动性。而能实现自动化移动目标跟踪的技术往往无法适应外在环境的变化(例如光照变化，树叶摇摆等)或视频尺度的变化(例如监控摄像头远、近的调整)使得提取效果欠佳。

发明内容

针对智能化的监控系统需要实现的功能，本发明提供了一种监控视频移动目标跟踪的技术方案，并能进行跨线检测，记录移动目标的跨线行为。

为实现上述目的，本发明的技术方案提供一种基于自适应背景分割的监控视频移动目标跟踪方法，包括以下步骤，

步骤1，初始化，令当前帧的标号r为1；

步骤2，输入当前帧，

若r＝1，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，进入步骤7；

若r＝2,3,…N，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，进入步骤3；

若r>N，直接进入步骤3；

步骤3，根据当前背景模型B(x_i)，对当前帧进行前景与背景的判别，包括对当前帧的每个像素x_i，采用以下方式进行判别，

$F\left(x_i\right)=\left\{\begin{array}{cc}1& \{dist\left(I\right(x_i),B_k(x_i\left)\right)<R\left(x_i\right)\}<min\\ 0& else\end{array}\right.$

其中，B_k(x_i)表示第k个背景特征模型，当r≥N时，k＝1,2,…N，当r<N时，k＝1,2,…r；R(x_i)表示像素x_i的判断阈值，I(x_i)表示像素x_i的特征，dist(I(x_i),B_k(x_i))为特征距离，min为最小阈值；

F(x_i)为1，则像素x_i为前景；

F(x_i)为0，则像素x_i为后景；

步骤4，若r>N，对背景模型和判断阈值、学习率进行自适应地更新，然后进入步骤5，否则直接进入步骤5；

对背景模型的更新，包括对当前帧的像素逐一作为当前像素处理如下，首先，对当前像素x_i进行更新，设像素x_i的学习率记为T(x_i)，按照ρ＝1/T(x_i)的概率进行更新，包括对当前像素x_i的第k个背景特征模型B_k(x_i)进行更新，k在1,2,…N中随机取值；然后，再对当前像素x_i随机取一个邻居像素x_j进行更新，仍然以ρ＝1/T(x_i)的概率进行更新，包括对邻居像素的第k个背景特征模型B_k(x_j)进行更新，k在1,2,…N中随机取值；

对判断阈值的更新，包括通过以下公式来计算，

$R\left(x_i\right)=\left\{\begin{array}{ccc}R\left(x_i\right)\&CenterDot;(1-R_{inc/dec}),& if& R\left(x_i\right)>{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)\&CenterDot;R_{scale}\\ R\left(x_i\right)\&CenterDot;(1+R_{inc/dec}),& & else\end{array}\right.$

其中，R_inc/dec表示判断阈值R(x_i)的变化比例，R_lower表示R(x_i)阈值的最低值，代表了特征的平均最小距离，R(x_i)的初始值为R_lower；

对学习率的更新，包括通过以下公式来计算，

$T\left(x_i\right)=\left\{\begin{array}{ccc}T\left(x_i\right)+\frac{T_{inc}}{{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)},& if& F\left(x_i\right)=1\\ T\left(x_i\right)-\frac{T_{dec}}{{\stackrel{\&OverBar;}{d}}_{\min }\left(x_i\right)},& if& F\left(x_i\right)=0\end{array}\right.$

步骤5，依据本次执行步骤3所得当前帧的前景，为其中的连通区进行标记和筛选，获得移动目标；

步骤6，根据步骤5所得当前帧的连通区，进行连通区的跟踪及跨线检测；

步骤7，对当前帧处理完毕后，令r＝r+1，将下一帧作为新的当前帧返回步骤2，实现实时持续跟踪。

而且，特征距离计算如下，

$dist\left(I\right(x_i),B_k(x_i\left)\right)=\mathrm{\&alpha;}\&times;\frac{|I^m\left(x_i\right)-B_k^m\left(x_i\right)|}{\stackrel{\&OverBar;}{I_m}}+\mathrm{\&beta;}\&times;|I^v\left(x_i\right)-B_k^v\left(x_i\right)|$

其中，I^v(x_i)、I^m(x_i)是当前帧当前像素x_i的像素值以及梯度幅值；是上一帧的平均梯度幅值，α与β为预设参数，表示背景特征模型即为B_k(x_i)中像素x_i本身的像素值，表示像素x_i的梯度幅值。

而且，当连通区全部被标记后，统计连通区像素分布情况和平均像素数目，相应地调整连通区大小筛选阈值，获得筛选后的连通区。

而且，进行跨线检测时，利用连通区当前所在位置以及上一帧所在位置进行判断，若两个时刻所处的位置分布在警戒线两侧，判断追踪的目标有跨线行为，对跨线行为进行计数。

一种基于自适应背景分割的监控视频移动目标跟踪系统，包括以下模块，

初始化模块，用于令当前帧的标号r为1；

背景模型构建模块，用于输入当前帧，

若r＝1，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，命令迭代模块工作；

若r＝2,3,…N，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，命令前景判别模块工作；

若r>N，命令前景判别模块工作；

前景判别模块，用于根据当前背景模型B(x_i)，对当前帧进行前景与背景的判别，包括对当前帧的每个像素x_i，采用以下方式进行判别，

$F\left(x_i\right)=\left\{\begin{array}{cc}1& \{dist\left(I\right(x_i),B_k(x_i\left)\right)<R\left(x_i\right)\}<min\\ 0& else\end{array}\right.$

其中，B_k(x_i)表示第k个背景特征模型，当r≥N时，k＝1,2,…N，当r<N时，k＝1,2,…r；R(x_i)表示像素x_i的判断阈值，I(x_i)表示像素x_i的特征，dist(I(x_i),B_k(x_i))为特征距离，min为最小阈值；

F(x_i)为1，则像素x_i为前景；

F(x_i)为0，则像素x_i为后景；

自适应更新模块，用于若r>N，对背景模型和判断阈值、学习率进行自适应地更新，然后命令连通区提取模块工作，否则直接命令连通区提取模块工作；

对背景模型的更新，包括对当前帧的像素逐一作为当前像素处理如下，首先，对当前像素x_i进行更新，设像素x_i的学习率记为T(x_i)，按照ρ＝1/T(x_i)的概率进行更新，包括对当前像素x_i的第k个背景特征模型B_k(x_i)进行更新，k在1,2,…N中随机取值；然后，再对当前像素x_i随机取一个邻居像素x_j进行更新，仍然以ρ＝1/T(x_i)的概率进行更新，包括对邻居像素的第k个背景特征模型B_k(x_j)进行更新，k在1,2,…N中随机取值；

对判断阈值的更新，包括通过以下公式来计算，

$R\left(x_i\right)=\left\{\begin{array}{ccc}R\left(x_i\right)\&CenterDot;(1-R_{inc/dec}),& if& R\left(x_i\right)>{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)\&CenterDot;R_{scale}\\ R\left(x_i\right)\&CenterDot;(1+R_{inc/dec}),& & else\end{array}\right.$

其中，R_inc/dec表示判断阈值R(x_i)的变化比例，R_lower表示R(x_i)阈值的最低值，代表了特征的平均最小距离，R(x_i)的初始值为R_lower；

对学习率的更新，包括通过以下公式来计算，

$T\left(x_i\right)=\left\{\begin{array}{ccc}T\left(x_i\right)+\frac{T_{inc}}{{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)},& if& F\left(x_i\right)=1\\ T\left(x_i\right)-\frac{T_{dec}}{{\stackrel{\&OverBar;}{d}}_{\min }\left(x_i\right)},& if& F\left(x_i\right)=0\end{array}\right.$

连通区提取模块，用于依据本次前景判别模块所得当前帧的前景，为其中的连通区进行标记和筛选，获得移动目标；

跟踪模块，用于根据连通区提取模块所得当前帧的连通区，进行连通区的跟踪及跨线检测；

迭代模块，用于对当前帧处理完毕后，令r＝r+1，将下一帧作为新的当前帧返回命令背景模型构建模块工作，实现实时持续跟踪。

而且，特征距离计算如下，

$dist\left(I\right(x_i),B_k(x_i\left)\right)=\mathrm{\&alpha;}\&times;\frac{|I^m\left(x_i\right)-B_k^m\left(x_i\right)|}{\stackrel{\&OverBar;}{I_m}}+\mathrm{\&beta;}\&times;|I^v\left(x_i\right)-B_k^v\left(x_i\right)|$

其中，I^v(x_i)、I^m(x_i)是当前帧当前像素x_i的像素值以及梯度幅值；是上一帧的平均梯度幅值，α与β为预设参数，表示背景特征模型即为B_k(x_i)中像素x_i本身的像素值，表示像素x_i的梯度幅值。

而且，当连通区全部被标记后，统计连通区像素分布情况和平均像素数目，相应地调整连通区大小筛选阈值，获得筛选后的连通区。

而且，进行跨线检测时，利用连通区当前所在位置以及上一帧所在位置进行判断，若两个时刻所处的位置分布在警戒线两侧，判断追踪的目标有跨线行为，对跨线行为进行计数。

相比于现有的方法，本发明的优势和积极效果：能够主动适应视频的外在环境变化(例如光照变化，树叶摇摆等)，有效解决了因视频尺度带来的跟踪对象不确定性问题，对车辆、行人等移动目标都有很好的追踪效果。本发明能够将被动监控变为主动监控，实现从人工研判到自动预警的转变。而且，基于本发明实现的跨线检测功能，可以为特定场合(如银行、看守所等)提供实时预警。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。

本发明公开一种基于自适应背景分割的监控视频移动目标跟踪方法，用于提取监控视频中的背景信息，实现视频中移动目标的跟踪与跨线检测，主要包括：依据时间顺序取N帧的视频图像作为背景模型进行背景建模，并且N帧以后的每一帧图像用于随机更新背景模型，从而使得背景模型能够根据场景的变化自适应的改变。根据背景模型分离出前景与背景后，对分离出的前景目标进行连通区的标记，并进行连通区的筛选以适应视频的多尺度变化。根据标记即可对该连通区进行跟踪。

本发明结合自适应背景分割技术，前景目标标记技术以及标记目标跟踪技术，能够主动适应视频的外在环境变化，有效解决了因视频尺度带来的跟踪对象不确定性问题，对车辆、行人等移动目标都有很好的追踪效果。同时，本发明能够进行跨线检测，记录跨线的目标数目。

如图1，本发明优选实施例的监控视频的数据处理方法包括以下四个部分的具体实现：

a，对输入的监控视频的各帧进行前景与背景的判别。

监控的视频数据由一帧一帧的图像数据组成，由于后续的操作一次仅能处理一幅图像，因此在需要实现视频帧的分离。

随着视频的播放需要一帧一帧地处理视频图像，将提取出的每一帧图像首先进行前景与背景的判决，即当前处理的帧的像素需与背景模型比较，判断是归于前景还是背景。

对于每一个像素x_i，都设立一个背景模型B(x_i)，该背景模型是判断像素归属的重要参考标准。由于随着时间的增长，视频会逐步的变化，因此在后续处理中，该模型也应该随着视频的变化而自适应的调整，以符合判断的需要。

B(x_i)＝{B₁(x_i),B₂(x_i),…,B_N(x_i)}(11)

N表示特征模型的个数，一般按照实际的需要设立固定的个数。在一开始执行时，提取前N帧的像素值与梯度幅值作为背景模型，随后根据实际情况利用后续的帧的特征进行替换。

具体来说，对于第一帧，不需要判断前景与背景，并将前N帧的像素值与计算出的梯度幅值直接作为模型；对第一帧以后的新加入进行处理的帧的像素，将其与当前的背景模型进行，判断该像素是属于前景还是属于背景。

$F\left(x_i\right)=\left\{\begin{array}{cc}1& \{dist\left(I\right(x_i),B_k(x_i\left)\right)<R\left(x_i\right)\}<min\\ 0& else\end{array}\right.$

其中B_k(x_i)表示第k个背景特征模型，R(x_i)表示像素x_i的判断阈值，I(x_i)表示新加入的当前帧中像素x_i的特征，dist(I(x_i),B_k(x_i))为特征距离。

最小阈值min表示：如果新像素在背景模型中至少与min个特征的距离小于R(x_i)，该像素会被当作背景，否则为前景。F(x_i)为1，则当前像素为前景。

之后即可逐像素地进行循环，将当前帧的所有像素分离为前景与背景两类。这样便能提取出前景移动目标。

b，依据第N帧以后新加入的帧，对背景模型和参数(判断阈值R及学习率T)进行自适应地更新。第一次执行自适应更新时，参数可采用预设的初始值，后续执行时进行更新。

将新加入的帧作为当前帧，对当前帧的像素逐一作为当前像素处理如下：

首先，要对当前像素x_i进行更新，像素x_i的学习率T记为T(x_i)，按照ρ＝1/T(x_i)的概率进行更新，即利用概率判断是否更新。被更新的模型特征则是随机挑选的第k个特征，即根据概率判断要更新时，按照新加入的帧中像素x_i处像素值与梯度幅值，对当前像素x_i的第k个背景特征模型B_k(x_i)进行更新，k在1,2,…N中随机取值。

然后再对当前像素x_i的某一邻居像素(记为邻居像素x_j，一般为当前像素x_i的周围8个像素中随机取一个)的更新，仍然以ρ＝1/T(x_i)的概率进行更新，被更新的模型特征是随机挑选的第k个特征，更新的像素为邻居像素x_j，即对邻居像素x_j以ρ＝1/T(x_i)的概率，在1,2,…N中随机取值k，对第k个背景特征模型B_k(x_j)进行更新。

对当前像素处理完后，从当前帧取下一像素作为新的当前像素，同样进行以上处理，直到对当前帧处理完毕。本领域技术人员可以自行设定处理顺序，一般可默认从左到右从上到下进行遍历。

值得注意的是，像素x_i如果作为背景更新后，那么在更新邻居像素时其邻居即使是前景也可能被更新。这意味着前景的边缘部分将渐渐地被包含进背景模型，从而逐步的消失。这样做的优点是错误的前景将很快的消失，但是慢速移动的物体也会进入到背景中去。因此采用T(x_i)来自适应地控制更新的速度，若目标较大，则只会损失一部分边缘，而目标较小时，则可以彻底的消失。

其次要计算特征距离d以用来更新判断阈值R。

首先需要定义背景特征模型，定义如下：

当前像素的特征可以表示为I_k(x_i)：

$I_k\left(x_i\right)=\{I_k^v\left(x_i\right),I_k^m\left(x_i\right)\}---\left(13\right)$

其中：表示当前像素本身的像素值，表示当前像素的梯度幅值。

这样，背景特征模型即为B_k(x_i)

$B_k\left(x_i\right)=\{B_k^v\left(x_i\right),B_k^m\left(x_i\right)\}---\left(14\right)$

其中：表示背景特征模型即为B_k(x_i)中像素x_i本身的像素值，表示像素x_i的梯度幅值。

有了背景特征模型的定义，即可计算特征距离。由于特征模型中既有像素值也有梯度值，所以采用不同影响因子定义特征距离：

$dist\left(I\right(x_i),B_k(x_i\left)\right)=\mathrm{\&alpha;}\&times;\frac{|I^m\left(x_i\right)-B_k^m\left(x_i\right)|}{\stackrel{\&OverBar;}{I_m}}+\mathrm{\&beta;}\&times;|I^v\left(x_i\right)-B_k^v\left(x_i\right)|---\left(15\right)$

其中，I^v(x_i)、I^m(x_i)是当前帧当前像素x_i的像素值以及梯度幅值；是上一帧的平均梯度幅值，α与β为固定的预设参数，具体实施时，本领域技术人员可以自行预设取值。需要注意的是，引入梯度特征的原因是能够提高F1-Measure(在信息检索和自然语言处理中使用的评价指标)以及PBC(前景与背景分类错误概率)。

当前像素的特征与特征模型库B(x_i)中的每个特征都可以获得一个距离，那么总共会得到N个距离，每次更新背景特征模型的时候，还需要获取这N个距离的最小值，即

$D_k\left(x_i\right)=\underset{j=1,\mathrm{...},N}{min}dist\left(I\right(x_i),B_j(x_i\left)\right)---\left(16\right)$

k表示是本次随机被更新的那个特征模型。

根据最小距离数组，另外还需要求取平均最小距离，即

${\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)=\frac{1}{N}{\mathrm{\&Sigma;}}_{j=1}^N{D}_j\left(x_i\right)---\left(17\right)$

对每一帧进行计算的时候，每个像素与背景模型库中的所有N个模型特征的距离的最小值d_min(x_i)，如果进行N平均就得到如果背景是一直静止的，那么会一直为0。

跟传统的全局阈值不一样，在本发明中，每个像素的阈值都是像素相关的，不同位置的判断阈值可能不一样。通过计算前N帧的前N个距离的最小值的平均值来决定各个像素的阈值R(x_i)。

最后，进行判断阈值R以及学习率T的更新，具体实施时，本领域技术人员可以自行预设R、T的初始值。第一次执行更新时，T采用初始值，后续采用上一轮迭代更新的值。而R的初始值是在第2,3,…N,N+1帧时用，第N+1帧开始根据(18)用更新R的初始值给第N+2帧用，依次类推。

判断阈值R(x_i)则通过以下公式来计算：

$R\left(x_i\right)=\left\{\begin{array}{ccc}R\left(x_i\right)\&CenterDot;(1-R_{inc/dec}),& if& R\left(x_i\right)>{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)\&CenterDot;R_{scale}\\ R\left(x_i\right)\&CenterDot;(1+R_{inc/dec}),& & else\end{array}\right.---\left(18\right)$

其中，R_inc/dec表示判断阈值R(x_i)的变化比例。该比例决定了R(x_i)的调整步长。R_lower表示R(x_i)阈值的最低值。代表了特征的平均最小距离，通过来控制R(x_i)。而R(x_i)的初始值为R_lower。具体实施时，本领域技术人员可以自行预设R_scale、R_lower、R_inc/dec取值。

学习率T的更新算法分为两个部分。首先，对于当前像素，如果判断为前景，则不停地增加T(x_i)，那么ρ＝1/T(x_i)就会越小，从而前景更新变慢；反之如果判断为背景的话，则不停减少T(x_i)，那么ρ＝1/T(x_i)就会越大，背景快速更新。

$T\left(x_i\right)=\left\{\begin{array}{ccc}T\left(x_i\right)+\frac{T_{inc}}{{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)},& if& F\left(x_i\right)=1\\ T\left(x_i\right)-\frac{T_{dec}}{{\stackrel{\&OverBar;}{d}}_{\min }\left(x_i\right)},& if& F\left(x_i\right)=0\end{array}\right.---\left(19\right)$

其中，T_dec代表该参数用来控制背景的更新速率，即T(x_i)增大ρ减少。当图像中变化消失后，以这样的速度将快速的建立背景模型，以便于检测下一次的前景出现。T_inc用来控制前景的更新速率，即T(x_i)减少ρ增大。当图像中出现变化区域的时候，由于算法本身就是为了检测移动或者变化的对象，那么要尽量拖延背景的修改，使得算法可以持续跟踪移动或者变化的目标对象。T_lower用来控制最大的学习率，T_upper用来控制最小的学习率，当采用(19)的计算结果超过限值时就取相应限值。具体实施时，本领域技术人员可以自行预设T_dec、T_inc、T_lower、T_upper取值。

c，除第一帧外，依据a部分中分离出的前景为其中的连通区进行标记。分离出的图像为一幅二值图像，前景为白色，背景为黑色。

首先需要对分离出的前景进行形态学运算中的开运算。在结构元素B下的开运算定义为：

$X_B=(X\&CircleTimes;B)\&CirclePlus;B---\left(20\right)$

X_B表示经过开运算后的前景图像，X表示原始前景图像，B表示结构元素。

连通区的标记采用轮廓追踪的方法，并按照从左到右，从上到下的顺序寻找白色区域。

若找到白色区域则先沿外轮廓进行标记，外轮廓标记完成后则以扫描线的方式标记内部像素。具体标记方式为现有技术，本发明不予赘述。标记的同时需记录当前连通区的像素数目以及相应的位置。若连通区内部有空洞，当扫描线遇见非前景像素时，沿内轮廓跟踪边缘像素。

整个连通区的像素都被标记完成后即可获得该连通区的像素数目以及像素外接矩形的左上及右下角点。

对于监控视频来说，由于监测目标的不同(如车辆、行人)以及视频尺度的变化(例如监控摄像头远、近的调整)，有必要自适应地改正连通区监测的阈值，最大限度得使目标检测出来并进行跟踪。因此，在本发明中，当连通区全部被标记后，即可统计连通区像素分布情况(如连通区个数)和平均像素数目。由于随着监控视频的变化，出现在视频中的目标也会不断变化，因此可以根据这些信息来确定合适的筛选连通区的上限与下限阈值，比如只取总连通区个数的90％，并落在平均像素数目5％-200％之间的连通区，随着视频不断自适应地调整使得筛选后的连通区能囊括所有移动目标并消除噪声带来的干扰，实现多尺度的移动目标跟踪。

d，跟踪筛选后的连通区，若有连通区有跨线行为，则进行计数：跟踪标记好的连通区，以连通区的中心为标准，记录连通区在每一帧中的中心所在位置，为每一个连通区新建一条轨迹。可以综合新加入的帧连通区信息和之前帧的连通区历史信息进行判断。随着帧数的变化，若连通区之间的距离小于设置的距离阈值，则对它们的轨迹进行合并；若大于阈值，则对它们的轨迹进行分离；若有新目标进入场景，则新建该目标的轨迹；若有目标离开场景，则删除该目标的轨迹。具体实施时，本领域技术人员可以自行预设距离阈值。

进行跨线检测时，需按照连通区的移动轨迹，利用连通区当前所在位置以及上一帧所在位置进行判断。若两个时刻所处的位置分布在警戒线两侧，则说明追踪的目标有跨线行为，即可进行计数。

具体实施时，可以设计为采用以下步骤实现：

步骤1，初始化，令当前帧的标号r为1；

步骤2，输入当前帧，

若r＝1，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，即B(x_i)＝{B₁(x_i)}，进入步骤7；

若r＝2,3,…N，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，进入步骤3；

即

r＝2时，B(x_i)＝{B₁(x_i)，B₂(x_i)}，

r＝3时，B(x_i)＝{B₁(x_i),B₂(x_i),B₃(x_i)}，

…

r＝N-1时，B(x_i)＝{B₁(x_i),B₂(x_i),B₃(x_i),…,B_N-1(x_i)}，

r＝N时，B(x_i)＝{B₁(x_i),B₂(x_i),B₃(x_i),…,B_N-1(x_i),B_N(x_i)}；

若r>N，直接进入步骤3；

这样，当r＝N时，得到初始的N个背景特征模型所构成背景模型B(x_i)如下，后续将进行更新，

B(x_i)＝{B₁(x_i),B₂(x_i),…,B_N(x_i)}

其中，B_k(x_i)表示第k个背景模型，k＝1,2,…N；

步骤3，根据当前背景模型B(x_i)，对当前帧进行前景与背景的判别，

具体实现如a部分设计，包括对当前帧的每个像素x_i，采用以下方式进行判别，

$F\left(x_i\right)=\left\{\begin{array}{cc}1& \{dist\left(I\right(x_i),B_k(x_i\left)\right)<R\left(x_i\right)\}<min\\ 0& else\end{array}\right.$

其中，B_k(x_i)表示第k个背景特征模型，当r≥N时，k＝1,2,…N，当r<N时，k＝1,2,…r；R(x_i)表示像素x_i的判断阈值，I(x_i)表示像素x_i的特征，dist(I(x_i),B_k(x_i))为特征距离，min为最小阈值；

F(x_i)为1，则像素x_i为前景；

F(x_i)为0，则像素x_i为后景；

步骤4，若r>N，对背景模型和参数(判断阈值R及学习率T)进行自适应地更新，然后进入步骤5，否则此时r＝2,3,…N，无需进行更新，直接进入步骤5；

具体实现如b部分设计；

步骤5，依据本次执行步骤3中分离出的前景为其中的连通区进行标记和筛选，获得移动目标；

具体实现如c部分设计；

步骤6，根据步骤5所得当前帧的连通区，进行连通区的跟踪及跨线检测；

具体实现如d部分设计；

步骤7，对当前帧处理完毕后，令r＝r+1，将视频图像下一帧作为新的当前帧返回步骤2重复执行，即可实现实时持续跟踪。

对于本发明中涉及的参数，可以依据以下建议设置：

N＝20，R_lower＝18，R_scale＝5，R_inc/dec＝0.05，T_inc＝1，T_dec＝0.05，T_lower＝2，T_upper＝200，α＝7，β＝1

最小阈值min＝2，T的初始值为18，R的初始值为18(即R_lower)。

根据此设置，可以有效地提取出监控视频中的移动目标，并对噪声的干扰有一定消除的能力。具体实施时，本领域技术人员也可以根据需要自行设定。

具体实施时，以上流程可采用计算机软件方式实现，也可以采用模块化方式提供相应系统。本发明实施例提供一种基于自适应背景分割的监控视频移动目标跟踪系统，包括以下模块，

初始化模块，用于令当前帧的标号r为1；

背景模型构建模块，用于输入当前帧，

若r＝1，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，命令迭代模块工作；

若r＝2,3,…N，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，命令前景判别模块工作；

若r>N，命令前景判别模块工作；

前景判别模块，用于根据当前背景模型B(x_i)，对当前帧进行前景与背景的判别，包括对当前帧的每个像素x_i，采用以下方式进行判别，

$F\left(x_i\right)=\left\{\begin{array}{cc}1& \{dist\left(I\right(x_i),B_k(x_i\left)\right)<R\left(x_i\right)\}<min\\ 0& else\end{array}\right.$

其中，B_k(x_i)表示第k个背景特征模型，当r≥N时，k＝1,2,…N，当r<N时，k＝1,2,…r；R(x_i)表示像素x_i的判断阈值，I(x_i)表示像素x_i的特征，dist(I(x_i),B_k(x_i))为特征距离，min为最小阈值；

F(x_i)为1，则像素x_i为前景；

F(x_i)为0，则像素x_i为后景；

自适应更新模块，用于若r>N，对背景模型和判断阈值、学习率进行自适应地更新，然后命令连通区提取模块工作，否则直接命令连通区提取模块工作；

对背景模型的更新，包括对当前帧的像素逐一作为当前像素处理如下，首先，对当前像素x_i进行更新，设像素x_i的学习率记为T(x_i)，按照ρ＝1/T(x_i)的概率进行更新，包括对当前像素x_i的第k个背景特征模型B_k(x_i)进行更新，k在1,2,…N中随机取值；然后，再对当前像素x_i随机取一个邻居像素x_j进行更新，仍然以ρ＝1/T(x_i)的概率进行更新，包括对邻居像素的第k个背景特征模型B_k(x_j)进行更新，k在1,2,…N中随机取值；

对判断阈值的更新，包括通过以下公式来计算，

$R\left(x_i\right)=\left\{\begin{array}{ccc}R\left(x_i\right)\&CenterDot;(1-R_{inc/dec}),& if& R\left(x_i\right)>{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)\&CenterDot;R_{scale}\\ R\left(x_i\right)\&CenterDot;(1+R_{inc/dec}),& & else\end{array}\right.$

其中，R_inc/dec表示判断阈值R(x_i)的变化比例，R_lower表示R(x_i)阈值的最低值，代表了特征的平均最小距离，R(x_i)的初始值为R_lower；

对学习率的更新，包括通过以下公式来计算，

$T\left(x_i\right)=\left\{\begin{array}{ccc}T\left(x_i\right)+\frac{T_{inc}}{{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)},& if& F\left(x_i\right)=1\\ T\left(x_i\right)-\frac{T_{dec}}{{\stackrel{\&OverBar;}{d}}_{\min }\left(x_i\right)},& if& F\left(x_i\right)=0\end{array}\right.$

连通区提取模块，用于依据本次前景判别模块所得当前帧的前景，为其中的连通区进行标记和筛选，获得移动目标；

跟踪模块，用于根据连通区提取模块所得当前帧的连通区，进行连通区的跟踪及跨线检测；

迭代模块，用于对当前帧处理完毕后，令r＝r+1，将下一帧作为新的当前帧返回命令背景模型构建模块工作，实现实时持续跟踪。

综上所述，本发明提出的基于自适应背景分割的监控视频移动目标跟踪技术方案，首先通过建立的背景模型分离出当前帧的前景和背景，然后根据当前帧的特征来自适应地调整背景模型和参数。对当前帧分离出的前景各个目标(连通区)进行标记，最后跟踪标记好的连通区，判断是否有跨越警戒线的行为。

Claims (8)

1.一种基于自适应背景分割的监控视频移动目标跟踪方法，其特征在于：包括以下步骤，

步骤1，初始化，令当前帧的标号r为1；

步骤2，输入当前帧，

若r＝1，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，进入步骤7；

若r＝2,3,…N，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，进入步骤3；

若r>N，直接进入步骤3；

步骤3，根据当前背景模型B(x_i)，对当前帧进行前景与背景的判别，

包括对当前帧的每个像素x_i，采用以下方式进行判别，

$F\left(x_i\right)=\left\{\begin{array}{cc}1& \{dist\left(I\right(x_i),B_k(x_i\left)\right)<R\left(x_i\right)\}<\min \\ 0& else\end{array}\right.$

其中，B_k(x_i)表示第k个背景特征模型，当r≥N时，k＝1,2,…N，当r<N时，k＝1,2,…r；R(x_i)表示像素x_i的判断阈值，I(x_i)表示像素x_i的特征，dist(I(x_i),B_k(x_i))为特征距离，min为最小阈值；

F(x_i)为1，则像素x_i为前景；

F(x_i)为0，则像素x_i为后景；

步骤4，若r>N，对背景模型和判断阈值、学习率进行自适应地更新，然后进入步骤5，否则直接进入步骤5；

对背景模型的更新，包括对当前帧的像素逐一作为当前像素处理如下，

首先，对当前像素x_i进行更新，设像素x_i的学习率记为T(x_i)，按照ρ＝1/T(x_i)的概率进行更新，包括对当前像素x_i的第k个背景特征模型B_k(x_i)进行更新，k在1,2,…N中随机取值；

然后，再对当前像素x_i随机取一个邻居像素x_j进行更新，仍然以ρ＝1/T(x_i)的概率进行更新，包括对邻居像素的第k个背景特征模型B_k(x_j)进行更新，k在1,2,…N中随机取值；

对判断阈值的更新，包括通过以下公式来计算，

$R\left(x_i\right)=\left\{\begin{array}{ccc}R\left(x_i\right)\&CenterDot;(1-R_{inc/dec}),& if& R\left(x_i\right)>{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)\&CenterDot;R_{scale}\\ R\left(x_i\right)\&CenterDot;(1+R_{inc/dec}),& & else\end{array}\right.$

其中，R_inc/dec表示判断阈值R(x_i)的变化比例，R_lower表示R(x_i)阈值的最低值，代表了特征的平均最小距离，R(x_i)的初始值为R_lower；

对学习率的更新，包括通过以下公式来计算，

$T\left(x_i\right)=\left\{\begin{array}{ccc}T\left(x_i\right)+\frac{T_{inc}}{{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)},& if& F\left(x_i\right)=1\\ T\left(x_i\right)-\frac{T_{dec}}{{\stackrel{\&OverBar;}{d}}_{\min }\left(x_i\right)},& if& F\left(x_i\right)=0\end{array}\right.$

步骤5，依据本次执行步骤3所得当前帧的前景，为其中的连通区进行标记和筛选，获得移动目标；

步骤6，根据步骤5所得当前帧的连通区，进行连通区的跟踪及跨线检测；

步骤7，对当前帧处理完毕后，令r＝r+1，将下一帧作为新的当前帧返回步骤2，实现实时持续跟踪。

2.根据权利要求1所述基于自适应背景分割的监控视频移动目标跟踪方法，其特征在于：特征距离计算如下，

$dist\left(I\right(x_i),B_k(x_i\left)\right)=\mathrm{\&alpha;}\&times;\frac{|I^m\left(x_i\right)-B_k^m\left(x_i\right)|}{\stackrel{\&OverBar;}{I_m}}+\mathrm{\&beta;}\&times;|I^v\left(x_i\right)-B_k^v\left(x_i\right)|$

其中，I^v(x_i)、I^m(x_i)是当前帧当前像素x_i的像素值以及梯度幅值；是上一帧的平均梯度幅值，α与β为预设参数，表示背景特征模型即为B_k(x_i)中像素x_i本身的像素值，表示像素x_i的梯度幅值。

3.根据权利要求1所述基于自适应背景分割的监控视频移动目标跟踪方法，其特征在于：当连通区全部被标记后，统计连通区像素分布情况和平均像素数目，相应地调整连通区大小筛选阈值，获得筛选后的连通区。

4.根据权利要求1所述基于自适应背景分割的监控视频移动目标跟踪方法，其特征在于：进行跨线检测时，利用连通区当前所在位置以及上一帧所在位置进行判断，若两个时刻所处的位置分布在警戒线两侧，判断追踪的目标有跨线行为，对跨线行为进行计数。

5.一种基于自适应背景分割的监控视频移动目标跟踪系统，其特征在于：包括以下模块，

初始化模块，用于令当前帧的标号r为1；

背景模型构建模块，用于输入当前帧，

若r＝1，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，命令迭代模块工作；

若r＝2,3,…N，对当前帧的每个像素x_i，将当前帧中的像素值与梯度幅值作为第r个背景特征模型加入相应当前背景模型B(x_i)，命令前景判别模块工作；

若r>N，命令前景判别模块工作；

前景判别模块，用于根据当前背景模型B(x_i)，对当前帧进行前景与背景的判别，包括对当前帧的每个像素x_i，采用以下方式进行判别，

$F\left(x_i\right)=\left\{\begin{array}{cc}1& \{dist\left(I\right(x_i),B_k(x_i\left)\right)<R\left(x_i\right)\}<\min \\ 0& else\end{array}\right.$

其中，B_k(x_i)表示第k个背景特征模型，当r≥N时，k＝1,2,…N，当r<N时，k＝1,2,…r；R(x_i)表示像素x_i的判断阈值，I(x_i)表示像素x_i的特征，dist(I(x_i),B_k(x_i))为特征距离，min为最小阈值；

F(x_i)为1，则像素x_i为前景；

F(x_i)为0，则像素x_i为后景；

自适应更新模块，用于若r>N，对背景模型和判断阈值、学习率进行自适应地更新，然后命令连通区提取模块工作，否则直接命令连通区提取模块工作；

对背景模型的更新，包括对当前帧的像素逐一作为当前像素处理如下，

首先，对当前像素x_i进行更新，设像素x_i的学习率记为T(x_i)，按照ρ＝1/T(x_i)的概率进行更新，包括对当前像素x_i的第k个背景特征模型B_k(x_i)进行更新，k在1,2,…N中随机取值；然后，再对当前像素x_i随机取一个邻居像素x_j进行更新，仍然以ρ＝1/T(x_i)的概率进行更新，包括对邻居像素的第k个背景特征模型B_k(x_j)进行更新，k在1,2,…N中随机取值；

对判断阈值的更新，包括通过以下公式来计算，

$R\left(x_i\right)=\left\{\begin{array}{ccc}R\left(x_i\right)\&CenterDot;(1-R_{inc/dec}),& if& R\left(x_i\right)>{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)\&CenterDot;R_{scale}\\ R\left(x_i\right)\&CenterDot;(1+R_{inc/dec}),& & else\end{array}\right.$

其中，R_inc/dec表示判断阈值R(x_i)的变化比例，R_lower表示R(x_i)阈值的最低值，代表了特征的平均最小距离，R(x_i)的初始值为R_lower；

对学习率的更新，包括通过以下公式来计算，

$T\left(x_i\right)=\left\{\begin{array}{ccc}T\left(x_i\right)+\frac{T_{inc}}{{\stackrel{\&OverBar;}{d}}_{min}\left(x_i\right)},& if& F\left(x_i\right)=1\\ T\left(x_i\right)-\frac{T_{dec}}{{\stackrel{\&OverBar;}{d}}_{\min }\left(x_i\right)},& if& F\left(x_i\right)=0\end{array}\right.$

连通区提取模块，用于依据本次前景判别模块所得当前帧的前景，为其中的连通区进行标记和筛选，获得移动目标；

跟踪模块，用于根据连通区提取模块所得当前帧的连通区，进行连通区的跟踪及跨线检测；

迭代模块，用于对当前帧处理完毕后，令r＝r+1，将下一帧作为新的当前帧返回命令背景模型构建模块工作，实现实时持续跟踪。

6.根据权利要求5所述基于自适应背景分割的监控视频移动目标跟踪系统，其特征在于：特征距离计算如下，

$dist\left(I\right(x_i),B_k(x_i\left)\right)=\mathrm{\&alpha;}\&times;\frac{|I^m\left(x_i\right)-B_k^m\left(x_i\right)|}{\stackrel{\&OverBar;}{I_m}}+\mathrm{\&beta;}\&times;|I^v\left(x_i\right)-B_k^v\left(x_i\right)|$

其中，I^v(x_i)、I^m(x_i)是当前帧当前像素x_i的像素值以及梯度幅值；是上一帧的平均梯度幅值，α与β为预设参数，表示背景特征模型即为B_k(x_i)中像素x_i本身的像素值，表示像素x_i的梯度幅值。

7.根据权利要求5所述基于自适应背景分割的监控视频移动目标跟踪系统，其特征在于：当连通区全部被标记后，统计连通区像素分布情况和平均像素数目，相应地调整连通区大小筛选阈值，获得筛选后的连通区。

8.根据权利要求5所述基于自适应背景分割的监控视频移动目标跟踪系统，其特征在于：进行跨线检测时，利用连通区当前所在位置以及上一帧所在位置进行判断，若两个时刻所处的位置分布在警戒线两侧，判断追踪的目标有跨线行为，对跨线行为进行计数。