CN110111361B - 一种基于多阈值自优化背景建模的运动目标检测方法 - Google Patents

Abstract

本发明提供一种基于多阈值自优化背景建模的运动目标检测方法，该方法能够快速消除检测结果中的伪影且对复杂环境的抗干扰能力较强。为实现该目的，所采用的技术方案是：使用像素点的20邻域来创建背景模型；通过灰度空间的自适应距离阈值和RGB空间的颜色畸变度阈值同时作用来判断新的一帧的像素值是否属于背景；通过噪点去除、空洞填充和中值滤波处理来去除噪点并填充前景区域的空洞；在统计前景点出现频率并依此来更新背景模型，可以在图像上将运动目标和背景利用二值分割显示出来。本发明方法可广泛应用于交通视频监控、室内安防、计算机视觉等领域，具有较广的应用前景和较大的经济价值。

Description

一种基于多阈值自优化背景建模的运动目标检测方法

技术领域

本发明属于图像处理领域，涉及一种运动目标检测方法，尤其涉及一种基于多阈值自优化背景建模的运动目标检测方法。

背景技术

运动目标检测技术是计算机视觉领域中一项关键的技术，其主要目的是将视频信息中的运动目标与背景分离开，以提取到清晰完整的运动目标。目前常见的运动目标检测方法有帧差法、背景差法、混合高斯建模法、码本方法和视觉背景提取法等。其中视觉背景提取算法是由Barnich等在2009年提出的基于随机的背景像素建模的运动目标检测算法。其占用内存较少，运行速度快，适用于对准确度与实施稳定性均要求较高的视频监控及自动化处理领域。但是由于该方法采用视频序列中的第一帧图像建立背景模型，很容易将第一帧中运动的物体当成是背景点，从而造成在后续帧的检测图中出现伪影且伪影不易消除。并且在复杂的背景环境下，该方法容易产生噪点从而导致检测准确率的降低，因此研究一种能快速抑制伪影且具有抗干扰能力的方法有其重要性所在。

发明内容

本发明提供一种通过多阈值自优化背景建模来检测运动目标的方法。该方法能够快速消除检测结果中的伪影且对复杂环境的抗干扰能力较强。为实现该目的，所采用的技术方案是：使用像素点的20邻域来创建背景模型；通过灰度空间的自适应距离阈值和RGB空间的颜色畸变度阈值同时作用来判断新的一帧的像素值是否属于背景；通过噪点去除、空洞填充和中值滤波处理来去除噪点并填充前景区域的空洞；在统计前景点出现频率并依此来更新背景模型，可以在图像上将运动目标和背景利用二值分割显示出来。整个流程主要包括以下步骤：

步骤1，输入视频序列，对前f帧建立背景模型；

步骤2，对于f帧以后的视频序列，采用基于灰度空间的自适应阈值和基于RGB空间的颜色畸变度阈值双重作用进行检测，将检测到的背景点的像素值置为0，前景点的像素值置为255，其中检测到的前景点即为初始的运动目标；

步骤3，采用随机策略更新背景模型，同时计算前景点的出现频率以消除伪影；

步骤4，对步骤2中检测到初始运动目标进行噪点去除、空洞填充和中值滤波处理，得到最终运动目标检测图像。

进一步的，步骤1中采用对前f帧图像的20邻域像素点建立背景模型。

进一步的，步骤1的具体实现方式包括如下子步骤，

步骤101，将输入的图像从RGB空间转换成灰度图像，转换公式如下：

v(x)＝0.2989*R+0.5870*G+0.1140*B (1)

其中v(x)代表x位置上原RGB色彩空间转换后的灰度像素值；

步骤102，利用转化成灰度图像后的前f帧来初始化背景模型，背景模型M(x)表达式如下：

M(x)＝{v₁,v₂,...,vN} (2)

其中x为当前处理的像素点的位置，该样本集包含N个样本点的像素值，即v₁,v₂,...,v_N；在每一帧中以某个像素点为中心的20邻域像素随机采样作为该像素的背景模型值。

进一步的，f＝5，N＝25。

进一步的，步骤2的具体实现方式包括如下子步骤，

步骤201，在灰色空间中判断相似性：传入新一帧图像，先将新像素值x_t按照步骤101中的颜色变换公式转换成灰度值v(x)，然后计算新像素与该点处背景模型中采样值v_i的欧式距离是否小于一个阈值R，欧式距离的表达式为：

dist(v(x),v_i)＝|v(x)-v_i| (3)

若此欧式距离小于阈值R，即{dist(v(x),v_i)＜R}，则说明新一帧像素点与该背景模型中的采样值v_i有着相似的特性；

步骤202，距离阈值R采用自适应阈值策略，自适应阈值的计算过程如下：对每个像素点计算其背景模型样本集的标准偏差σ，

其中∑M(x)是当前帧x处背景模型样本集中所有像素值v_i之和；

使用滑动平均法来优化R，所采用的公式如下：

R_t＝βR_t-1+(1-β)σ (5)

其中R_t-1表示上一帧图像的阈值，σ表示当前帧图像通过公式(4)得到的模型标准差，R_t为当前帧最终所使用的阈值，β为权重参数，用来调节过去帧的值在当前帧的值中所占的比例；在第f+1帧时，即进行前景检测的第一帧时，所使用的阈值R由公式(4)直接求得，之后的每一帧阈值R都是通过公式(5)求得；

步骤203，在RGB空间中判断相似性：用δ(x_t,v_i)表示x_t与M(x)中v_i的颜色畸变值，δ(x_t,v_i)的计算过程如下：将x_t与v_i看成RGB空间的向量，先求出x_t与v_i的模的平方，即：

||x_t||²＝B²+G²+R² (7)

其中R、G、B为转换成灰度图像前的t时刻彩色图像在x_t处各通道像素值，

为t时刻x处的背景模型M(x)中第i个样本点在RGB空间中的各通道像素值；再求出x_t与v_i的内积的平方，记为：

最后颜色畸变值δ(x_t,v_i)定义为：

其中

若δ(x_t,v_i)小于阈值M_rgb，则认为x_t与v_i在RGB空间上有着相似的特性；

步骤204，若新传入的像素点x_t与该点处的背景模型中的采样值v_i既在灰度空间中有着相似性又在RGB空间中有着相似性则认为该点属于背景点，统计这样的采样值的个数，记为：

num{dist(v(x),v_i)＜R&δ(v(x),v_i)＜M_rgb} (11)

若该个数大于等于阈值Min，则认为v(x)属于背景点，该过程用完整的公式表示如下：

其中255代表前景点，0代表背景点。

进一步的，步骤202中将所述的R的范围设定在[25,50]中，即：

进一步的，步骤3的具体实现方式如下，

步骤301，当确定某像素是背景时，该像素有1/λ的概率更新其所在位置的背景模型，更新的方法是随机地选取样本集中的一个点，用当前帧的像素值去替换它，同时该像素也具有1/λ的概率更新该像素点的20邻域；

步骤302，统计每个前景点被连续判定为前景点的次数，记为N_f，如果在某一时刻该次数大于等于设定的阈值T，即此前景点连续T次被判定为运动像素点，那么认为此前景点可能是被误判的背景点，用此前景点对背景模型进行更新。

进一步的，步骤4的具体实现方式如下，

步骤401，采用8邻域连接的方式获取经步骤2处理后图像上的连通区域b_i，得到一组连通区域的集合B＝{b₁,b₂,b₃,...b_n}；

步骤402，计算集合B中每个连通区域b_i中包含的像素的数量，如果像素的数量小于噪生区域阈值T_L，则认为是噪声斑点区域b_k；若连通区域内存在子轮廓，且子轮廓所包含的区域内像素数量小于空洞区域阈值T_H，则认为是运动目标区域内的空洞；

步骤403，去除噪点区域b_k，即令b_k中的像素值全为0；填充目标区域中的空洞，即令空洞中的像素值全为255，得到新的集合B＝{b₁,b₂,b₃,...b_m}，其中m＝n-k；对于贴近图像边缘的斑点，不论尺寸大小，全部保留，使其保持原状，此步骤输出二值图像BW1；

步骤404，对BW1进行中值滤波处理，滤波核大小3×3，输出二值图像BW2，即为最终运动目标检测图像。

与现有技术相比，本发明方法的优点在于：

(1)本发明采用20邻域建立背景模型，避免了像素被重复选取，与传统的8邻域建模相比，提高了模型储量。

(2)本发明使用基于灰度空间的动态阈值和基于RGB空间的畸变阈值，能更好的适应复杂环境，更准确地分割出前景点和背景点。

(3)本发明采用基于前景点出现频率的更新策略，能快速地抑制伪影，提高检测的准确率。

本发明方法可广泛应用于交通视频监控、室内安防、计算机视觉等领域，具有较广的应用前景和较大的经济价值。

附图说明

图1是本发明的算法流程图。

图2是本发明的20邻域示意图。

图3是本发明的颜色畸变模型图。

图4是本发明的实际测试结果图。其中(a)列为输入原图像，(b)列为运动目标真值，(c)列为传统的背景建模方法检测结果，(d)列为本发明算法的检测结果。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

步骤1，建立背景模型。为了提高模型质量，避免像素被多次重复选取，本发明采用对前f帧图像的20邻域像素点建模，具体实施方式如下：

步骤101：将输入的图像从RGB空间转换成灰度图像，转换公式如下：

v(x)＝0.2989*R+0.5870*G+0.1140*B (1)

其中v(x)代表x位置上原RGB色彩空间转换后的灰度像素值。

步骤102：利用转化成灰度图像后的前f帧来初始化背景模型，经多次实验f取5比较合适。背景模型M(x)表达式如下：

M(x)＝{v₁,v₂,...,v_N} (2)

其中x为当前处理的像素点的位置，该样本集(即背景模型)包含N个样本点的像素值，即v₁,v₂,...,v_N，这里，N＝25。

在每一帧中以某个像素点为中心的20邻域像素随机采样作为该像素的背景模型值，一个像素点20邻域的示意图如图1所示，其中V(x)为被建模的像素点，V¹(x)～V²⁰(x)为其周围邻域像素。每一帧图像中随机采样5次，在前五帧一共采集25个背景值。

步骤2，前景检测。采用灰度空间的自适应阈值和RGB空间的颜色畸变阈值双重约束判断新传入的图像帧中每个像素点属于背景点还是前景点，若为背景点，则将其像素值置为0；若为前景点则将其像素值置为255，其中检测到的前景点即为初始的运动目标。该过程具体实施步骤如下：

步骤201：在灰色空间中判断相似性。在前5帧建模后，传入新一帧图像，将新像素值x_t与该点所在位置的背景模型M(x)在灰度空间中进行比较以确定新像素在灰度空间中是否与模型相似。先将x_t按照步骤101中的颜色变换公式转换成灰度值v(x)，然后计算新像素与该点处背景模型中采样值v_i的欧式距离是否小于一个阈值R，欧式距离的表达式为：

dist(v(x),v_i)＝|v(x)-v_i| (3)

若此欧式距离小于阈值R,即{dist(v(x),v_i)＜R}，则说明新一帧像素点与该背景模型中的采样值v_i有着相似的特性，

步骤202：由于实际背景环境的复杂，固定的阈值往往不能很好地表达模型的复杂度。在本发明中，距离阈值R采用自适应阈值策略。该自适应阈值的计算过程如下：对每个像素点计算其背景模型样本集的标准偏差σ：

其中∑M(x)是当前帧x处背景模型样本集中所有像素值v_i之和。

本发明使用滑动平均法来优化R，所采用的公式如下：

R_t＝βR_t-1+(1-β)σ (5)

其中R_t-1表示上一帧图像的阈值，σ表示当前帧图像通过公式(4)得到的模型标准差，R_t为当前帧最终所使用的阈值，β为权重参数，用来调节过去帧的值在当前帧的值中所占的比例。在本发明中，β的值取0.8～0.9。这里在第6帧时，即进行前景检测的第一帧时，所使用的阈值R由公式(4)直接求得，之后的每一帧阈值R都是通过公式(5)求得。

为了保证阈值R在一定范围内，经反复实验，本发明将所述的R的范围设定在[25,50]中，即：

步骤203：在RGB空间中判断相似性。本发明考虑了RGB空间中颜色畸变值，将新传入的像素值x_t与当前M(x)中的的采样值v_i在RGB空间进行比较，用δ(x_t,v_i)表示x_t与M(x)中v_i的颜色畸变值，δ(x_t,v_i)的计算过程如下：将x_t与v_i看成RGB空间的向量，如图3所示的RGB空间畸变模型，先求出x_t与v_i的模的平方，即：

||x_t||²＝B²+G²+R² (7)

其中R、G、B为转换成灰度图像前的t时刻彩色图像在x_t处各通道像素值，

为t时刻x处的背景模型M(x)中第i个样本点在RGB空间中的各通道像素值。再求出x_t与v_i的内积的平方，记为：

最后颜色畸变值δ(x_t,v_i)定义为：

其中

若δ(x_t,v_i)小于阈值M_rgb，则认为x_t与v_i在RGB空间上有着相似的特性。在这里M_rgb＝20。

步骤204：若新传入的像素点x_t与该点处的背景模型中的采样值v_i既在灰度空间中有着相似性又在RGB空间中有着相似性则认为该点属于背景点，统计这样的采样值的个数，记为：

num{dist(v(x),v_i)＜R&δ(v(x),v_i)＜M_rgb} (11)

若该个数大于等于阈值Min，则认为v(x)属于背景点。该过程用完整的公式表示如下：

其中255代表前景点，0代表背景点，Min＝2。

步骤3：更新背景模型。在更新阶段使用随机选择策略更新背景模型，并考虑前景像素点的出现频率来快速的消除伪影。更新机制如下：

步骤301：当确定某像素是背景时，该像素有1/λ的概率更新其所在位置的背景模型，更新的方法是随机地选取样本集中的一个点，用当前帧的像素值去替换它，同时该像素也具有1/λ的概率更新该像素点的20邻域。在本发明中λ取值为5。

步骤302：为了快速消除伪影，本发明考虑了前景像素点的连续出现频率。如果频率过高则认为是背景点被误判成了前景点。统计每个前景点被连续判定为前景点的次数，记为N_f，如果在某一时刻该次数大于等于设定的阈值T，即此前景点连续T次被判定为运动像素点，那么认为此前景点可能是被误判的背景点，用此前景点对背景模型进行更新，即用此前景点代替背景模型中的值。

步骤4：由于背景复杂多变，经步骤2检测到的图像中存在噪声斑点且前景目标区域内存在空洞。虚假的噪声斑点会导致虚警率的提升；运动目标残缺会导致目标漏检问题。因此本发明对经步骤2处理过后得到的初始运动目标进行噪点去除、空洞填充和中值滤波处理。该步骤的具体实现方式如下：

步骤401：采用8邻域连接的方式获取经步骤2处理后图像上的连通区域b_i，得到一组连通区域的集合B＝{b₁,b₂,b₃,...b_n}；连通域是指在黑白二值图像中连在一块的白色区域，该白色区域中每个像素8邻域周围都有至少一个该区域的白色像素，且中间没有断开的部分。一块白色区域就称为一个连通域。由于经过步骤2处理后的图像中只存在0(黑色)或者255(白色)这两个值的像素点，所以可通过8邻域连接直接判断连通区域。

步骤402：计算集合B中每个连通区域b_i中包含的像素的数量，如果像素的数量小于噪生区域阈值T_L，则认为是噪声斑点区域b_k；若连通区域内存在子轮廓，且子轮廓所包含的区域内像素数量小于空洞区域阈值T_H，则认为是运动目标区域内的空洞。其中T_L和T_H的值分别为10和50。

步骤403：去除噪点区域b_k，即令b_k中的像素值全为0；填充目标区域中的空洞，即令空洞中的像素值全为255，得到新的集合B＝{b₁,b₂,b₃,...b_m}，其中m＝n-k。对于贴近图像边缘的斑点，不论尺寸大小，全部保留，使其保持原状。此步骤输出二值图像BW1。

步骤404：对BW1进行中值滤波处理，滤波核大小3×3，输出二值图像BW2。

步骤5：经步骤4处理后得到的图像BW2即为最终运动目标检测图像，其中白色(即灰度值为255)表示的区域即为检测到的运动目标区域，黑色(即灰度值为0)表示的区域为背景区域。

在changedetection数据集上对本发明算法进行试验，其中4(a)列为输入原图像，4(b)列为运动目标真值，4(c)列为传统的背景建模方法检测结果，4(d)列为本发明算法的检测结果，从图4(d)列可以看出本发明提供的方法能快速去除伪影，对复杂环境如动态的喷泉、树叶及有光亮的湖面有着较强的适应能力。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于多阈值自优化背景建模的运动目标检测方法，其特征在于，包括如下步骤：

步骤1，输入视频序列，对前f帧建立背景模型；

步骤2，对于f帧以后的视频序列，采用基于灰度空间的自适应阈值和基于RGB空间的颜色畸变度阈值双重作用进行检测，将检测到的背景点的像素值置为0，前景点的像素值置为255，其中检测到的前景点即为初始的运动目标；

步骤3，采用随机策略更新背景模型，同时计算前景点的出现频率以消除伪影；

步骤4，对步骤2中检测到初始运动目标进行噪点去除、空洞填充和中值滤波处理，得到最终运动目标检测图像；

步骤1中采用对前f帧图像的20邻域像素点建立背景模型；

步骤1的具体实现方式包括如下子步骤，

步骤101，将输入的图像从RGB空间转换成灰度图像，转换公式如下：

v(x)＝0.2989*R+0.5870*G+0.1140*B (1)

其中v(x)代表x位置上原RGB色彩空间转换后的灰度像素值；

步骤102，利用转化成灰度图像后的前f帧来初始化背景模型，背景模型M(x)表达式如下：

M(x)＝{v₁,v₂,...,v_N} (2)

其中x为当前处理的像素点的位置，样本集包含N个样本点的像素值，即v1,v2,...,vN；在每一帧中以某个像素点为中心的20邻域像素随机采样作为该像素的背景模型值；

步骤2具体步骤包括：步骤201，在灰色空间中判断相似性：传入新一帧图像，先将新像素值xt按照步骤101中的颜色变换公式转换成灰度值v(x)，然后计算新像素与该点处背景模型中采样值v_i的欧式距离是否小于一个阈值R，欧式距离的表达式为：

dist(v(x),v_i)＝|v(x)-v_i| (3)

若此欧式距离小于阈值R，即{dist(v(x),v_i)＜R}，则说明新一帧像素点与该背景模型中的采样值v_i有着相似的特性；

步骤202，距离阈值R采用自适应阈值策略，自适应阈值的计算过程如下：对每个像素点计算其背景模型样本集的标准偏差σ，

其中∑M(x)是当前帧x处背景模型样本集中所有像素值v_i之和；

使用滑动平均法来优化R，所采用的公式如下：

Rt＝βR_t-1+(1-β)σ (5)

其中R_t-1表示上一帧图像的阈值，σ表示当前帧图像通过公式(4)得到的模型标准差，R_t为当前帧最终所使用的阈值，β为权重参数，用来调节过去帧的值在当前帧的值中所占的比例；在第f+1帧时，即进行前景检测的第一帧时，所使用的阈值R由公式(4)直接求得，之后的每一帧阈值R都是通过公式(5)求得。

2.如权利要求1所述的一种基于多阈值自优化背景建模的运动目标检测方法，其特征在于：f＝5，N＝25。

3.如权利要求1所述的一种基于多阈值自优化背景建模的运动目标检测方法，其特征在于：步骤2的具体实现方式还包括如下子步骤，

步骤203，在RGB空间中判断相似性：用δ(x_t,v_i)表示x_t与M(x)中v_i的颜色畸变值，δ(x_t,v_i)的计算过程如下：将x_t与v_i看成RGB空间的向量，先求出x_t与v_i的模的平方，即：

||xt||²＝B²+G²+R² (7)

其中R、G、B为转换成灰度图像前的t时刻彩色图像在x_t处各通道像素值，

为t时刻x处的背景模型M(x)中第i个样本点在RGB空间中的各通道像素值；再求出x_t与v_i的内积的平方，记为：

最后颜色畸变值δ(x_t,v_i)定义为：

其中

若δ(x_t,v_i)小于阈值M_rgb，则认为x_t与v_i在RGB空间上有着相似的特性；

步骤204，若新传入的像素点x_t与该点处的背景模型中的采样值v_i既在灰度空间中有着相似性又在RGB空间中有着相似性则认为该点属于背景点，统计这样的采样值的个数，记为：

num{dist(v(x),v_i)＜R&δ(v(x),v_i)＜M_rgb} (11)

若该个数大于等于阈值Min，则认为v(x)属于背景点，该过程用完整的公式表示如下：

其中255代表前景点，0代表背景点。

4.如权利要求3所述的一种基于多阈值自优化背景建模的运动目标检测方法，其特征在于：步骤202中将所述的R的范围设定在[25,50]中，即：

5.如权利要求1所述的一种基于多阈值自优化背景建模的运动目标检测方法，其特征在于：步骤3的具体实现方式如下，

步骤301，当确定某像素是背景时，该像素有1/λ的概率更新其所在位置的背景模型，更新的方法是随机地选取样本集中的一个点，用当前帧的像素值去替换它，同时该像素也具有1/λ的概率更新该像素点的20邻域；

步骤302，统计每个前景点被连续判定为前景点的次数，记为Nf，如果在某一时刻该次数大于等于设定的阈值T，即此前景点连续T次被判定为运动像素点，那么认为此前景点可能是被误判的背景点，用此前景点对背景模型进行更新。

6.如权利要求1所述的一种基于多阈值自优化背景建模的运动目标检测方法，其特征在于：步骤4的具体实现方式如下，

步骤401，采用8邻域连接的方式获取经步骤2处理后图像上的连通区域bi，得到一组连通区域的集合B＝{b₁,b₂,b₃,...b_n}；

步骤402，计算集合B中每个连通区域b_i中包含的像素的数量，如果像素的数量小于噪声区域阈值T_L，则认为是噪声斑点区域b_k；若连通区域内存在子轮廓，且子轮廓所包含的区域内像素数量小于空洞区域阈值T_H，则认为是运动目标区域内的空洞；

步骤403，去除噪点区域b_k，即令b_k中的像素值全为0；填充目标区域中的空洞，即令空洞中的像素值全为255，得到新的集合B＝{b₁,b₂,b₃,...b_m}，其中m＝n-k；对于贴近图像边缘的斑点，不论尺寸大小，全部保留，使其保持原状，此步骤输出二值图像BW1；

步骤404，对BW1进行中值滤波处理，滤波核大小3×3，输出二值图像BW2，即为最终运动目标检测图像。

Images