CN104537693A - 基于切比雪夫像素估计的多目标检测算法 - Google Patents

Abstract

本发明提出一种基于切比雪夫像素估计的多目标检测算法。该算法根据相邻像素点拥有相近像素值的空间分布特性，对于初始帧的每个像素，选取该像素点的八连通区域的像素值作为背景模板，利用这些像素值模板构建初始化背景模型。对于前N帧的视频，通过计算当前帧的像素点与背景模型对应像素点模板的相似度来确定背景点和前景点；对于N帧以后的视频，利用切比雪夫不等式对当前帧快速判别，区分出前景点，背景点和可疑像素点，对于可疑点，根据其与背景模型的相似度去更新当前背景模型。通过对六大类别场景进行实验，结果显示，该算法精确率为0.9115，召回率为0.9278，以及调和均值为0.9263，都接近于1，表明该算法具有较高的精确度和良好的实时性。

Description

基于切比雪夫像素估计的多目标检测算法

技术领域

本发明涉及图像处理与多目标跟踪领域，具体涉及基于切比雪夫像素估计的多目标检测算法。

背景技术

在多目标检测中，对于运动目标而言，场景的变化会导致目标的位置、大小发生改变，从而影响目标检测的效果。其因素包括光照变化、摄像机抖动、复杂背景干扰、目标类型多样化、目标运动速度较快等问题。此外，当背景光源发生变化时，视频序列中的目标物体的颜色分布会产生变化，这导致提取的底层颜色特征也随之发生变化，从而影响目标检测的准确率。目前，存在三种经典的多运动目标检测与分割技术：帧差分法、光流法和背景差分法。

帧差分法是运动物体检测方法中实现最简单的一种算法，计算量小，对背景的变化有一定的抑制作用，但该方法由于思想简单，没有考虑到监控视频序列中的光照变化等多变的外部环境。Kameda和Minoh提出了“双差分法”，其主要是将t和t-1时刻的差分与t-1和t-2时刻的差分进行逻辑与运算，但其目标位置不能实时检测(参考文件1：Y.Kameda and M.Minoh.A human motion estimation method using 3-successive viedo frames.In ICVSM,pages135--140,1996.)。用光流法进行检测时，可以不用提前知道环境场景中的先验信息，就能够较为准确的检测出运动物体，但光流场的分布对于光照变化等噪声非常敏感，而且光流法计算复杂，很难实现系统的实时处理。Kui liu等人用主成分分析光流的方法对运动进行检测(参考文件2：K.Liu,H.Yang,B.Ma,et al.A joint optical flow and principal component analysisapproach for motion detection.Acoustics Speech and Signal Processing,2010,1178-1181.)，T.Huang等人已经将光流成功应用在车辆跟踪上取得了很好的效果，但对光流计算复杂，而且抗干扰能力差(参考文件3：T.Huang,D.Koller,J.Malik,et al.,Automatic symbolic trafficscene analysis using belief networks.AAAI-94Proceedings,1995:966-966)。Brox，T Kanade等人提出一种光流密度与SIFT特征点匹配相结合的区域跟踪算法,其光流点矢量计算精确，但在实际运用中，难以准确的是识别运动目标，且只有当图像捕获的间隔很短时才适合(参考文件4：Y.Sheikh,O.Javed and T.Kanade,Background subtraction for freely moving cameras.Computer Vision,2009:1219-1225)。背景差分法可以得到比较完整的前景图像，但在实际中背景差分法对场景中光照的变化、树叶的摆动、摄像机的抖动等外部条件的变化比较敏感，因此容易造成目标物体的误判现象，从而大大降低检测的精度。

发明内容

本发明的目的是为了解决上述在多目标密集度、光照强度、目标运动状态、背景复杂等场景下，多目标检测不具有实时性、缺乏精度、稳定性不高的缺点。本发明提出一种切比雪夫像素估计的多目标检测算法，旨在提高保证多目标检测的实时性，提高多目标检测的精度，增加多目标检测的鲁棒性。

本发明提出的一种基于切比雪夫像素估计的多目标检测算法，具体包括如下步骤：

步骤一：背景模型的初始化。以视频的第一帧作为初始帧，根据相邻像素点拥有相近像素值的空间分布特性，对于初始帧的每个像素，选取该像素点的八连通区域的像素值作为该像素值的模板，利用这些像素值模板构建初始化背景模型。

步骤二：对于前N帧的视频帧cur，通过计算当前帧cur的像素点与背景模型对应像素点模板的相似度，如果相似度大于等于阈值threshold，则认为该像素点与背景模型对应像素点相似，故用视频帧cur当前的像素点更新背景模型对应像素点的模板；否则如果相似度小于阈值threshold，则认为像素点与背景模型像素点不相似，即当前像素点是前景模型。

步骤三：对于N帧以后的视频帧cur(cur>N)，由于有了第cur-N帧到第cur-1帧前N帧视频的数据，则可以利用切比雪夫不等式对cur帧快速判别背景或前景特征显著的像素点，区分出前景点和背景点，对于那些特征不显著的像素点则认为是可疑点。对于切比雪夫不等式估计获得的可疑像素点，则计算可疑像素点与背景模型对应像素点模板的相似度，根据前N帧的背景模型的更新算法去更新当前背景模型。对于切比雪夫不等式估计获得的背景像素点，则当前的像素点更新背景模型对应像素点。

本发明方法的优点和积极效果在于：本发明在动态背景、摄像头抖动、目标间歇性运动、阴影和热气的场景下都具有较好的检测精度，同时具有较快的检测速度，能保证检测的实时性。本发明算法与传统的目标检测算法相比，精确率precision、召回率recall以及F1值都有明显提升，而同时能保证较低的错误分类比PWC。

附图说明

图1是本发明的切比雪夫像素估计的多目标检测算法结构框图；；

图2是本发明的切比雪夫像素估计的多目标检测算法初始化背景模型的流程图；

图3是本发明的切比雪夫像素估计的多目标检测算法更新背景模型的流程图；

图4是本发明中复杂场景下使用该算法的实验室效果图；

具体实施方式

下面将结合附图和实施例对本发明的技术方案作进一步的详细说明。

本发明提出一种基于切比雪夫像素估计的多目标检测算法，以视频的第一帧作为初始帧，对于初始帧的每个像素，选取该像素点的八连通区域的像素值作为该像素值的模板，利用这些像素值模板构建初始化背景模型，这样相比传统方法不需要前N帧的训练数据。该方法利用了相邻像素点拥有相近像素值的空间分布特性。本发明还通过比较当前像素点与背景模型对应像素点模板的相似度，来确定该像素点是否是背景点。对于N帧以后视频，由于积累了前N帧视频数据，可以根据前N帧像素点的期望和方差，利用切比雪夫不等式快速判别当前像素点是背景点，还是前景点，或者可疑点。对于可疑点，则计算可疑点与背景模型对应像素点模板的相似度，根据前N帧的背景模型的更新算法去更新当前背景模型。对于背景点，直接更新当前背景模型。实验结果显示，该方法与传统的目标检测算法相比，精确率precision、召回率recall以及F1值都有明显提升，而同时能保证较低的错误分类比PWC。

本发明提出了一种基于切比雪夫像素估计的多目标检测算法，整体步骤如图1所示，下面对各步骤进行具体说明。

步骤一：利用第一帧视频序列，对于图像的每一个像素点，结合相邻像素点拥有相近像素值的空间分布特性，随机的选择它的八领域点的N个像素值作为它模型样本。定义v(x)为RGB颜色空间位于x处的像素，v_i为选取的样本，这样像素v(x)对应的模板为：

M(x)＝{v₁,v₂,…,v_N}   (1)

其中，v_i是从像素v(x)的八邻域中随机选取的一个像素。

通过上述方法对初始帧的所有像素点x_i构建上述模板M(x_i)，所有模板M(x_i)构成初始背景模型，其中i的最大值为当前像素点个数。

步骤二：当当前帧数小于N时，计算当前像素点cur(x)和当前背景模型模型M(x)的相似度sim_cur(x)即计算cur(x)和模型M(x)中的样本像素的距离。若sim_cur(x)大于等于阀值threshold，则认为当前像素点cur(x)与对应的像素点模板M(x)很相似，即认为当前像素点cur(x)是背景像素点，故用当前像素点cur(x)更新像素点模板M(x)中的样本值。若sim_cur(x)小于阀值threshold，则认为当前像素点cur(x)与对应的像素点模板M(x)不相似，即当前像素点cur(x)是前景点。

步骤三：当当前帧数大于等于N时，由于积累了前N帧视频数据，可以根据前N帧像素点的期望和方差，利用切比雪夫不等式快速判别当前像素点是背景点，还是前景点，或者可疑点。切比雪夫不等式是由随机变量的分布确定的，能描述随机变量某一方面的特征，其中重要的数字特征是数学期望E(X)和方程D(X)。它给出了在随机变量分布未知、只知道E(X)和D(X)的情况下，对事件{|X-E(X)|<ε}发生的概率值的一种估计法。

设随机变量具有数学期望E(X)＝μ，方差D(X)＝δ²，则对于任意正数ε，有不等式：

$P\left\{\right|X-\mathrm{\&mu;}|\&GreaterEqual;\mathrm{\&epsiv;}\}\&le;\frac{{\mathrm{\&delta;}}^2}{{\mathrm{\&epsiv;}}^2}---\left(2\right)$

或

$P\left\{\right|X-\mathrm{\&mu;}|\&GreaterEqual;\mathrm{\&epsiv;}\}\&GreaterEqual;1-\frac{{\mathrm{\&delta;}}^2}{{\mathrm{\&epsiv;}}^2}---\left(3\right)$

成立，这一不等式称为切比雪夫不等式。通过切比雪夫不等式可以看出对于某一给定的ε值，D(X)越小，则P{|X-μ|<ε}越大，此时随机变量X的取值基本上集中在E(X)附近。当E(X)和D(X)已知时，切比雪夫不等式给出了概率P{|X-μ|＜ε}的一个下界，该下界并不涉及随机变量X的具体概率分布，而只与其方差D(X)与ε有关。

引入随机变量X表示某一视频帧图像，并设X_k(i,j)表示第k帧视频图像在位置(i,j)处像素点的灰度值，读取相邻N帧视频图像，得到样本X₁,X₂,…,X_N，随机变量X(i,j)的总体概率分布未知，但可以通过计算样本均值与样本方差来估计像素点概率分布的总体均值与方差，通过上述切比雪夫不等式，得到事件{|X-E(X)|＜ε}的概率估计，而该事件恰好体现像素点所对应的灰度值在一系列视频序列图像中变化的情况。如果是背景点对应的像素点，可选取较小的ε值，ε值越小，则说明该像素点色度值与均值之差越小，切比雪夫不等式说明像素点与均值的差小于ε的概率大于1-δ²/ε²，求得的概率下限值越大，则该像素点成为背景点的可能性越大。具体算法描述如下所示。

(1)读取相邻N帧视频图像，得到样本X₁,X₂,…,X_N及其观测值x₁,x₂,…,x_N；

(2)计算总体X(i，j)的样本均值：

$\stackrel{\&OverBar;}{X}(i,j=)\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{x}_k(---\left(4\right)$

样本二阶中心距：

$S^2(i,j)=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x_k(i,j)-\stackrel{\&OverBar;}{X}(i,j))}^2---\left(5\right)$

因为与S²是随机变量X的数学期望与方差的最大似然估计量，则得到随机变量X(i,j)的数学期望μ(i,j)和方差δ²(i,j)的估计值：

$\mathrm{\&mu;}(i,j=)\stackrel{\&OverBar;}{X}({\mathrm{\&delta;}}^2(i,j)=S^2(i,j)---\left(6\right)$

(3)计算对应第k帧图像X_k(i,j),(k＝1,2,…,N)的切比雪夫不等式：

$P\left\{\right|X_k(i,j)-u(i,j)|<\mathrm{\&epsiv;}\}\&GreaterEqual;1-\frac{{\mathrm{\&delta;}}_k^2(i,j)}{{\mathrm{\&epsiv;}}^2}---\left(7\right)$

式中，表示像素点X_k(i,j)的灰度值与数学期望估计量μ(i,j)之差的平方数。

当时，像素点X_k(i,j)的灰度值变化程度比均方差小，该像素点是背景点的可能性大，此时有： $1-{\mathrm{\&delta;}}_k^2/{\mathrm{\&epsiv;}}^2>1-{\mathrm{\&delta;}}^2/{\mathrm{\&epsiv;}}^2;$

当时，像素点X_k(i,j)的灰度值变化程度比均方差大，该像素点是前景点的可能性大，此时有： $1-{\mathrm{\&delta;}}_k^2/{\mathrm{\&epsiv;}}^2>1-{\mathrm{\&delta;}}^2/{\mathrm{\&epsiv;}}^2;$

(4)设定判别阈值T₁和T₂，则

(5)对于可疑点，则计算可疑点与背景模型对应像素点模板的相似度，根据步骤二的前N帧的背景模型的更新算法去更新当前背景模型。对于背景点，直接更新当前背景模型。

图4展示了本发明的算法在复杂场景下实验室效果图，其中，每行分别代表基本类别场景、动态背景、摄像头抖动、目标间歇性运动、阴影和热气六个复杂场景，第一列代表原始视频图像，第二列代表真实背景，第三列代表本算法背景。针对上面随机选取六个类别的场景，可以发现本算法对基本类别场景、动态背景类别场景、摄像头抖动场景、间歇性运动，阴影场景效果都比较好，而对于在炎热的环境下，热气类别的效果稍微差点。对于上面动态背景场景，可以发现水波这种动态背景完全不影响目标的检测；而对于摄像头抖动的场景，可以发现不考虑阴影因素外，检测出的目标与真实的目标基本匹配；对于间歇性运动类别和阴影类别，能很好的区分前景与背景，但是稍微不足的是容易出现个别“鬼影”现象。总体上来说，本发明提出的算法在动态背景、摄像头抖动、间歇性运动以及阴影等几个场景下都具有较好的效果和鲁棒性。

表1展示几种目标检测算法的评价指标比较结果，其中表头Re为召回率，Sp(Specificity)为差异率，FPR(False Positive Rate)为错误误判率，FNR(False Negative Rate)为正确误判率，PWC(Percentage of Wrong Classifications)为错误分类比，F-Measure为调和均值，Precision为精确率。假设将背景判别为背景的像素点数设为TP，将前景判别为前景的的像素点数设为TN，将背景判别为前景的像素点数设为FN，将前景判别为背景的像素点数设为FP，则常用的评价指标为：

●Re＝TP/(TP+FN)

●Sp＝TN/(TN+FP)

●FPR＝FP/(FP+TN)

●FNR＝FN/(TP+FN)

●PWC＝100*(FN+FP)/(TP+FN+FP+TN)

●F-Measure＝(2*Precision*Re)/(Precision+Re)

●Precision＝TP/(TP+FP)

根据表中的数据可以看出，Re、Sp、F-Measure和Precicison相比其它算法都具有非常好的值，均接近于1，说明召回率和判别精确度较高，而同时FPR和FNR都接近0，表示前景判断为背景和背景判断为前景的概率较低，进而保证了目标检测的精确度。总体上，本发明在动态背景、摄像头抖动、目标间歇性运动、阴影和热气的场景下都具有较好的检测精度，同时具有较快的检测速度，能保证检测的实时性。本发明算法与目前流行的目标检测算法相比，精确率precision、召回率recall以及调和均值F-Measure都有明显提升，而同时能保证较低的错误分类比PWC。

表1 目标检测算法性能评价指标

Claims (5)

1.基于切比雪夫像素估计的多目标检测算法，其特征在于，该方法具体包括如下步骤：

步骤一：背景模型的初始化。以视频的第一帧作为初始帧，根据相邻像素点拥有相近像素值的空间分布特性，对于初始帧的每个像素，选取该像素点的八连通区域的像素值作为该像素值的模板，利用这些像素值模板构建初始化背景模型。

步骤二：对于前N帧的视频帧cur，通过计算当前帧cur的像素点与背景模型对应像素点模板的相似度，如果相似度大于等于阈值threshold，则认为该像素点与背景模型对应像素点相似，故用视频帧cur当前的像素点更新背景模型对应像素点的模板；否则，如果相似度小于阈值threshold，则认为像素点与背景模型像素点不相似，即当前像素点是前景模型。

步骤三：对于N帧以后的视频帧cur(cur>N)，由于有了第cur-N帧到第cur-1帧这前N帧视频的数据，则可以利用切比雪夫不等式对cur帧快速判别背景或前景特征显著的像素点，区分出前景点和背景点，对于那些特征不显著的像素点则认为是可疑点。对于切比雪夫不等式估计获得的可疑像素点，则计算可疑像素点与背景模型对应像素点模板的相似度，根据前N帧的背景模型的更新算法去更新当前背景模型。对于切比雪夫不等式估计获得的背景像素点，则用当前的像素点替换掉背景模型对应像素点。

2.根据权利要求1所述的基于切比雪夫像素估计的多目标检测算法，其特征在于，步骤一中所述的以视频的第一帧作为初始帧，根据相邻像素点拥有相近像素值的空间分布特性，对于初始帧的每个像素，选取该像素点的八连通区域的像素值作为该像素值的模板，利用这些像素值模板构建初始化背景模型。

3.根据权利要求1所述的基于切比雪夫像素估计的多目标检测算法，其特征在于，步骤二中所述的当当前帧数小于N时，计算当前像素点cur(x)和当前背景模型模型M(x)的相似度sim_cur(x)即计算cur(x)和模型M(x)中的样本像素的距离。若sim_cur(x)大于等于阀值threshold，则认为当前像素点cur(x)与对应的像素点模板M(x)很相似，即认为当前像素点cur(x)是背景像素点，故用当前像素点cur(x)更新像素点模板M(x)中的样本值。若sim_cur(x)小于阀值threshold，则认为当前像素点cur(x)与对应的像素点模板M(x)不相似，即当前像素点cur(x)是前景点。

4.根据权利要求1所述的基于切比雪夫像素估计的多目标检测算法，其特征在于，步骤三中所述的引入随机变量X表示某一视频帧图像，并设X_k(i,j)表示第k帧视频图像在位置(i,j)处像素点的灰度值，读取相邻N帧视频图像，得到样本X₁,X₂,…,X_N，随机变量X(i,j)的总体概率分布未知，但可以通过计算样本均值与样本方差来估计像素点概率分布的总体均值与方差，通过切比雪夫不等式，得到事件{|X-E(x)|<ε}的概率估计，而该事件恰好体现像素点所对应的灰度值在一系列视频序列图像中变化的情况。如果是背景点对应的像素点，可选取较小的ε值，ε值越小，则说明该像素点色度值与均值之差越小，切比雪夫不等式说明像素点与均值的差小于ε的概率大于1-δ²/ε²，求得的概率下限值越大，则该像素点成为背景点的可能性越大。

5.根据权利要求1所述的基于切比雪夫像素估计的多目标检测算法，其特征在于，步骤二中前N帧的背景像素点判别更新策略与步骤三中N帧以后的背景像素判别更新策略结合起来，使该算法能适应复杂的场景，具有较好的检测精度，同时又能保证检测的实时性。