CN105023248A - 一种低信噪比的视频运动目标提取方法 - Google Patents

Abstract

本发明公开了一种低信噪比的视频运动目标提取方法，步骤包括：步骤1、获取背景帧；步骤2、估计待处理视频帧的噪声标准差；步骤3、取待处理视频帧的相邻帧序列进行背景差分处理；步骤4、获取背景差分图像中的目标占比；步骤5、检测运动目标，即成。本发明的方法，能够从如高粉尘作业等恶劣的低对比度监控环境中，提取运动目标，以便对该运动目标进行后续的分析和处理，是低信噪比环境下的视频去噪，运动目标跟踪等处理不可缺少的预处理方法。

Description

一种低信噪比的视频运动目标提取方法

技术领域

本发明属于智能监控技术领域，涉及一种低信噪比的视频运动目标提取方法。

背景技术

随着智能监控领域的迅猛发展，视频信息的应用已经成为安全保障的有力手段之一。对于诸如矿井下的监控环境，需要在户外24小时全天候监控环境下，因光照条件受限等原因，会出现监控画面有强噪声干扰的情况，有时甚至是运动目标被吞没在噪声之中。这时对于判断监控画面中是否存在运动目标等操作和处理很难有效实现，在很大一定程度上限制了视频监控视频的应用。

发明内容

本发明的目的是提供一种低信噪比的视频运动目标提取方法，解决了现有技术中，因环境噪声过强，使得画面被严重干扰情况下，对视频运动目标低信噪比很难提取到相应区域的问题。

本发明采用的技术方案是，一种低信噪比的视频运动目标提取方法，具体按照以下步骤实施：

步骤1、获取背景帧

假设提供给训练获取背景帧的视频帧序列为{F₁,F₂,...,F_N}，其中，F_t＝[f_t(i,j)]_m×n，t＝1,2,...,N，是由N帧分辨率为m行n列的视频帧序列构成，求取该视频帧序列的均值作为背景帧B＝[b(i,j)]_m×n，计算公式见下式(1)：

$b(i,j)=\frac{1}{N}\·\underset{t=1}{\overset{N}{\Σ}}{f}_t(i,j),i=1,2,...,m,j=1,2,...,n;---\left(1\right)$

步骤2、估计待处理视频帧的噪声标准差

设待处理视频帧为F_c＝[f_c(i,j)]_m×n，估计其噪声标准差的方法如下：

2.1)先对待处理视频帧F_c＝[f_c(i,j)]_m×n进行背景差分计算，得到差分结果E_c＝[e_c(i,j)]_m×n，见下式(2)：

e_c(i,j)＝f_c(i,j)-b(i,j)，i＝1,2,...,m，j＝1,2,...,n，  (2)

2.2)根据差分结果E_c＝[e_c(i,j)]_m×n，估计噪声标准差σ_c的值，见下式(3)：

${\mathrm{\σ}}_c=\frac{1}{m\×n}\·\sqrt{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\left(e_c\right(i,j)-{\mathrm{\μ}}_c)}^2},---\left(3\right)$

其中，μ_c为E_c＝[e_c(i,j)]_m×n的均值，计算公式见下式(4)：

${\mathrm{\μ}}_c=\frac{1}{m\×n}\·\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{e}_c(i,j);---\left(4\right)$

步骤3、取待处理视频帧的相邻帧序列进行背景差分处理

在待处理视频帧为F_c＝[f_c(i,j)]_m×n中，取其相邻的2K帧视频序列，构成当前帧的相邻帧序列{F_c-K,F_c-K+1,...,F_c,F_c+1,...,F_c+K}，其中K为经验值；然后采用巴特沃斯滤波器进行低通滤波处理，得到滤波后的相邻帧序列为再对该滤波后的相邻帧序列进行背景差分；

步骤4、获取背景差分图像中的目标占比；

步骤5、检测运动目标，即成。

本发明的有益效果是，能够从如高粉尘作业等恶劣的低对比度监控环境中，提取运动目标，以便对该运动目标进行后续的分析和处理，是低信噪比环境下的视频去噪，运动目标跟踪等处理不可缺少的预处理方法。

附图说明

图1是本发明方法实施例1实际拍摄的清晰原始图像；

图2是本发明方法实施例1给清晰图像人为加载强噪声的结果图；

图3是本发明方法实施例1加载强噪声情况下进行目标提取后的结果图；

图4是本发明方法实施例2实际拍摄的夜间原始图像；

图5是本发明方法实施例2对夜间拍摄的图像进行图像增强后的结果；

图6是本发明方法实施例2对图5提取目标的结果图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的低信噪比的视频运动目标提取方法，具体按照以下步骤实施：

步骤1、获取背景帧

基于目标运动、背景静止的原理，采用背景差分法提取出运动目标，但由于强噪声会混淆背景与目标，直接采用背景差分，是很难提取出运动目标的，本步骤中，考虑到运动目标在帧序列中运动的连续性，以及噪声在帧序列中出现的随机性，进行以下的处理：

假设提供给训练获取背景帧的视频帧序列为{F₁,F₂,...,F_N}，其中，F_t＝[f_t(i,j)]_m×n，t＝1,2,...,N，是由N帧分辨率为m行n列的视频帧序列构成，求取该视频帧序列的均值作为背景帧B＝[b(i,j)]_m×n，计算公式见下式(1)：

$b(i,j)=\frac{1}{N}\·\underset{t=1}{\overset{N}{\Σ}}{f}_t(i,j),i=1,2,...,m,j=1,2,...,n;---\left(1\right)$

步骤2、估计待处理视频帧的噪声标准差

设待处理视频帧为F_c＝[f_c(i,j)]_m×n，估计其噪声标准差的方法如下：

2.1)先对待处理视频帧F_c＝[f_c(i,j)]_m×n进行背景差分计算，得到差分结果E_c＝[e_c(i,j)]_m×n，见下式(2)：

e_c(i,j)＝f_c(i,j)-b(i,j)，i＝1,2,...,m，j＝1,2,...,n  (2)

2.2)根据差分结果E_c＝[e_c(i,j)]_m×n，估计噪声标准差σ_c的值，见下式(3)：

${\mathrm{\σ}}_c=\frac{1}{m\×n}\·\sqrt{\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{\left(e_c\right(i,j)-{\mathrm{\μ}}_c)}^2},---\left(3\right)$

其中，μ_c为E_c＝[e_c(i,j)]_m×n的均值，计算公式见下式(4)：

${\mathrm{\μ}}_c=\frac{1}{m\×n}\·\underset{i=1}{\overset{m}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{e}_c(i,j);---\left(4\right)$

步骤3、取待处理视频帧的相邻帧序列进行背景差分处理

在待处理视频帧为F_c＝[f_c(i,j)]_m×n中，取其相邻的2K帧视频序列，构成当前帧的相邻帧序列{F_c-K,F_c-K+1,...,F_c,F_c+1,...,F_c+K}，其中K为经验值，噪声大则偏向取大，本步骤中建议取值范围为10≤K≤20；然后采用巴特沃斯滤波器进行低通滤波处理，(巴特沃斯滤波器进行低通滤波的方法可参考相关的教材以及论文)，得到滤波后的相邻帧序列为再对该滤波后的相邻帧序列进行背景差分，

具体过程如下：

3.1)确定背景差分阈值：

th_β＝μ_b+α_β·σ_c，  (5)

其中，μ_b为背景帧B＝[b(i,j)]_m×n的均值；

α_β为阈值调整系数，为经验值，考虑到低信噪比视频帧序列中的运动目标，通常被淹没在噪声中的情况，为了保留微弱的前景信息，选择较低的阈值，建议优择α_β＝0.05β，β为[1,n_c]区间内的整数，n_c为最高阈值的选取参数，为经验值，建议优选n_c＝20；

σ_c为步骤2估计得到的待处理帧F_c的噪声标准差。

3.2)根据α_β＝0.05β，β为[1,n_c]区间内的整数，按照公式(5)得到n_c个阈值，取这n_c个由低到高的阈值，按照下面的公式(6)，对相邻帧序列{F_c-K,F_c-K+1,...,F_c,F_c+1,...,F_c+K}进行背景差分计算，得到差分结果{dF_c-K ^β,dF_c-K+1 ^β,...,dF_c ^β,dF_c+1 ^β,...,dF_c+K ^β}，β＝1,2,...,n_c，

其中，dF_k ^β＝[df_k ^β(i,j)]_m×n，k＝c-K,c-K+1,...,c,c+1,...,c+K，

${{\mathrm{df}}_k}^{\mathrm{\β}}(i,j)=\left\{\begin{array}{cc}1& \begin{array}{cc}if& |f_{t_c}(i,j)-b(i,j)|\≥{\mathrm{th}}_{\mathrm{\β}}\end{array}\\ 0& other\end{array}\right.;---\left(6\right)$

3.3)对每个阈值下的相邻帧差分序列，按照下面的公式(7)进行或运算，得到n_c个差分序列其中，δF_β＝[δf_β(i,j)]_m×n，

${\mathrm{\δf}}_{\mathrm{\β}}(i,j)=\left\{\begin{array}{cc}1& \begin{array}{cc}if& \underset{k=c-K}{\overset{C+K}{\Σ}}{{\mathrm{df}}_k}^{\mathrm{\β}}(i,j)>0\end{array}\\ 0& other\end{array}\right.---\left(7\right)$

按照公式(7)计算得到δf_β(i,j)＝1的点为目标点，δf_β(i,j)＝0为背景点；

步骤4、获取背景差分图像中的目标占比

4.1)将步骤3.3)得到的差分序列中的每个差分帧图像δF_β＝[δf_β(i,j)]_m×n等分为M×M个大小相同的子块，每个子块的大小为m_sub×n_sub，m_sub＝m/M，n_sub＝n/M，

则有B_β＝[block_β(x,y)]_M×M，其中，

${\mathrm{block}}_{\mathrm{\β}}(x,y)=\left[\begin{array}{cccc}{\mathrm{\δf}}_{\mathrm{\β}}\left(\right(x-1)\·m_{sub}+1,(y-1)\·n_{sub}+1)& {\mathrm{\δf}}_{\mathrm{\β}}\left(\right(x-1)\·m_{sub}+1,(y-1)\·n_{sub}+2)& ...& {\mathrm{\δf}}_{\mathrm{\β}}\left(\right(x-1)\·m_{sub}+1,y\·n_{sub})\\ {\mathrm{\δf}}_{\mathrm{\β}}\left(\right(x-1)\·m_{sub}+2,(y-1)\·n_{sub}+1)& {\mathrm{\δf}}_{\mathrm{\β}}\left(\right(x-1)\·m_{sub}+2,(y-1)\·n_{sub}+2)& & {\mathrm{\δf}}_{\mathrm{\β}}\left(\right(x-1)\·m_{sub}+2,y\·n_{sub})\\ ...& & & \\ {\mathrm{\δf}}_{\mathrm{\β}}(x\·m_{sub},(y-1)\·n_{sub}+1)& {\mathrm{\δf}}_{\mathrm{\β}}(x\·m_{sub},(y-1)\·n_{sub}+2)& & {\mathrm{\δf}}_{\mathrm{\β}}(x\·m_{sub},y\·n_{sub})\end{array}\right]$

，x＝1,2,...,M，y＝1,2,...,M；

4.2)计算步骤4.1)等分的每个子块的目标点的占比矩阵R_β＝[rate_β(x,y)]_M×M，

其中， ${\mathrm{rate}}_{\mathrm{\β}}(x,y)=\frac{sum\left({\mathrm{block}}_{\mathrm{\β}}\right(x,y))}{M\×M},---\left(8\right)$

$sum\left({\mathrm{block}}_{\mathrm{\β}}(x,y)\right)=\underset{s=(x-1)M+1}{\overset{xM}{\Σ}}\[\underset{t=(y-1)M+1}{\overset{yM}{\Σ}}{\mathrm{\δf}}_{\mathrm{\β}}(s,t)\];---\left(9\right)$

4.3)计算占比矩阵R_β＝[rate_β(x,y)]_M×M的均值和标准差 $\mathrm{\Σ}=\[{\mathrm{\σ}}_1,{\mathrm{\σ}}_2,...,{\mathrm{\σ}}_{n_c}\]:$

${\mathrm{\μ}}_{\mathrm{\β}}=\frac{1}{M\×M}\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{M}{\Σ}}{\mathrm{rate}}_{\mathrm{\β}}(x,y),---\left(10\right)$

${\mathrm{\σ}}_{\mathrm{\β}}=\frac{1}{M\×M}{\left\{\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{M}{\Σ}}{\[{\mathrm{rate}}_{\mathrm{\β}}(x,y)-{\mathrm{\μ}}_{\mathrm{\β}}\]}^2\right\}}^{1/2};---\left(11\right)$

步骤5、检测运动目标

因为对于低信噪比的视频帧来说，最大的问题就是不管取怎样的阈值来提取运动目标，噪声点都会同时被提取出来，如果要抑制噪声，则会导致运动目标的缺损，所以，按照以下步骤从高噪声干扰中检测出运动目标：

5.1)取步骤4.3)得到的占比矩阵的均值的中值为阈值th，即：

th＝argmid([μ₁,μ₂,...,μ_nc])；  (12)

5.2)从占比矩阵R_β＝[rate_β(x,y)]_M×M中，令β＝th，选择一个用以获取目标的占比矩阵R_th＝[rate_th(x,y)]_M×M；

5.3)计算检测目标的判断矩阵B_th＝[block_th(x,y)]_M×M，计算公式如下：

${\mathrm{block}}_{th}(x,y)=\left\{\begin{array}{ccc}{\mathrm{block}}_{th}(x,y)& if& {\mathrm{rate}}_{th}(x,y)>{\mathrm{\μ}}_{th}+{\mathrm{\σ}}_{th}\\ 0_{m_{sub}\×n_{sub}}& & others\end{array}\right.,---\left(13\right)$

其中，为大小是m_sub×n_sub，(即步骤4.1)分块时所得到的每个图像子块的大小)，且元素全为0的矩阵；

5.4)根据步骤5.3)得到的判断矩阵B_th＝[block_th(x,y)]_M×M，从处理帧F_c＝[f_c(i,j)]_m×n获取运动目标区域，即把非目标区域置零：

$f_c(i,j)=\left\{\begin{array}{ccc}0& if& i\∈\[(x-1)\·m_{sub}+1,x\·m_{sub}\],j\∈\[(y-1)\·m_{sub}+1,y\·m_{sub}\],{\mathrm{block}}_{th}(x,y)=0\\ f_c(i,j)& & others\end{array}\right.,---\left(14\right)$

通过以上的步骤，即获取了在强噪声干扰下的低信噪比视频图像的运动目标，完全能够为后续的视频去噪，以及视频运动目标的行为分析等操作，提供关键数据。

参照图1、图2、图3，是本发明实施例1在人为给清晰图像加载强噪声情况下的目标提取结果对比图，其中，图1为实际拍摄的清晰图像；图2是加入强噪声后的效果图像；图3是利用本发明方法对图2的图像进行目标提取的结果图像；由于结果图像的画面过于模糊，为显示提取效果，将检测出的目标位置利用清晰目标替换，以便突出本发明方法检测的正确性。

参照图4、图5、图6，是本发明实施例2对于实际拍摄的夜间图像的目标提取效果对比图，图4为实际拍摄的夜间原始图像；图5为对图4对应进行图像增强后的结果，可以看到，画面噪声也被增强；图6为利用本发明方法对图5提取目标的结果图像。

通过上述的两个实施例，可以看出，本发明的方法，能够顺利实现在强噪声干扰下的低信噪比视频图像的运动目标提取，提取结果准确率高，工作量低。

Claims (5)

1.一种低信噪比的视频运动目标提取方法，其特征在于，具体按照以下步骤实施：

步骤1、获取背景帧

假设提供给训练获取背景帧的视频帧序列为{F₁,F₂,...,F_N}，其中，F_t＝[f_t(i,j)]_m×n，t＝1,2,...,N，是由N帧分辨率为m行n列的视频帧序列构成，求取该视频帧序列的均值作为背景帧B＝[b(i,j)]_m×n，计算公式见下式(1)：

步骤2、估计待处理视频帧的噪声标准差

设待处理视频帧为F_c＝[f_c(i,j)]_m×n，估计其噪声标准差的方法如下：

2.1)先对待处理视频帧F_c＝[f_c(i,j)]_m×n进行背景差分计算，得到差分结果E_c＝[e_c(i,j)]_m×n，见下式(2)：

e_c(i,j)＝f_c(i,j)-b(i,j)，i＝1,2,...,m，j＝1,2,...,n，   (2)

2.2)根据差分结果E_c＝[e_c(i,j)]_m×n，估计噪声标准差σ_c的值，见下式(3)：

其中，μ_c为E_c＝[e_c(i,j)]_m×n的均值，计算公式见下式(4)：

步骤3、取待处理视频帧的相邻帧序列进行背景差分处理

在待处理视频帧为F_c＝[f_c(i,j)]_m×n中，取其相邻的2K帧视频序列，构成当前帧的相邻帧序列{F_c-K,F_c-K+1,...,F_c,F_c+1,...,F_c+K}，其中K为经验值；然后采用巴特沃斯滤波器进行低通滤波处理，得到滤波后的相邻帧序列为 再对该滤波后的相邻帧序列进行背景差分；

步骤4、获取背景差分图像中的目标占比；

步骤5、检测运动目标，即成。

2.根据权利要求1所述的低信噪比的视频运动目标提取方法，其特征在于，所述的步骤3中，取值范围为10≤K≤20。

3.根据权利要求1所述的低信噪比的视频运动目标提取方法，其特征在于，所述的步骤3中，具体过程如下：

3.1)确定背景差分阈值：

th_β＝μ_b+α_β·σ_c，   (5)

其中，μ_b为背景帧B＝[b(i,j)]_m×n的均值；

α_β为阈值调整系数，为经验值，α_β＝0.05β，β为[1,n_c]区间内的整数，n_c为最高阈值的选取参数，为经验值，n_c＝20；

σ_c为步骤2估计得到的待处理帧F_c的噪声标准差；

3.2)按照公式(5)得到n_c个阈值，取这n_c个由低到高的阈值，按照下面的公式(6)，对相邻帧序列{F_c-K,F_c-K+1,...,F_c,F_c+1,...,F_c+K}进行背景差分计算，得到差分结果{dF_c-K ^β,dF_c-K+1 ^β,...,dF_c ^β,dF_c+1 ^β,...,dF_c+K ^β}，β＝1,2,...,n_c，

其中，dF_k ^β＝[df_k ^β(i,j)]_m×n，k＝c-K,c-K+1,...,c,c+1,...,c+K，

3.3)对每个阈值下的相邻帧差分序列，按照下面的公式(7)进行或运算，得到n_c个差分序列其中，δF_β＝[δf_β(i,j)]_m×n，

按照公式(7)计算得到δf_β(i,j)＝1的点为目标点，δf_β(i,j)＝0为背景点。

4.根据权利要求1所述的低信噪比的视频运动目标提取方法，其特征在于，所述的步骤4中，具体过程如下：

4.1)将步骤3.3)得到的差分序列中的每个差分帧图像δF_β＝[δf_β(i,j)]_m×n等分为M×M个大小相同的子块，每个子块的大小为m_sub×n_sub，m_sub＝m/M，n_sub＝n/M，

则有B_β＝[block_β(x,y)]_M×M，其中，

，x＝1,2,...,M，y＝1,2,...,M；

4.2)计算步骤4.1)等分的每个子块的目标点的占比矩阵R_β＝[rate_β(x,y)]_M×M，

其中，

4.3)计算占比矩阵R_β＝[rate_β(x,y)]_M×M的均值和标准差 ：

。

5.根据权利要求1所述的低信噪比的视频运动目标提取方法，其特征在于，所述的步骤5中，具体过程如下：

5.1)取步骤4.3)得到的占比矩阵的均值的中值为阈值th， 即：

5.2)从占比矩阵R_β＝[rate_β(x,y)]_M×M中，令β＝th，选择一个用以获取目标的占比矩阵R_th＝[rate_th(x,y)]_M×M；

5.3)计算检测目标的判断矩阵B_th＝[block_th(x,y)]_M×M，计算公式如下：

其中，为大小是m_sub×n_sub，(即步骤4.1)分块时所得到的每个图像子块的大小)，且元素全为0的矩阵；

5.4)根据步骤5.3)得到的判断矩阵B_th＝[block_th(x,y)]_M×M，从处理帧F_c＝[f_c(i,j)]_m×n获取运动目标区域，即把非目标区域置零：

。