CN103679690A - 一种基于分段背景学习的目标检测方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种基于分段背景学习的目标检测方法。具体方法流程如下：①获取并标记图像；②计算前帧背景差分和帧间差分图像；③逐像素更新帧间差分；④逐像素更新前帧背景差分；⑤将所有像素进行更新；⑥计算背景差分图像；⑦计算BFD_k图像均值μ和标准差σ；⑧计算分割阈值，确定分割图像；⑨形成目标图像；⑩完成目标检测过程。通过采用分段更新背景学习算法，既对改变的背景区域快速更新学习，适应背景变化，又使背景图像对运动物体造成的干扰不敏感，实时获得背景区域，通过背景差分法准确的对监控图像中的运动目标进行检测；有针对性的解决了智能监控中的复杂场景问题，监控场景中的背景区域存在频繁变化等问题。

Description

一种基于分段背景学习的目标检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于分段背景学习的目标检测方法。

背景技术

应用于“智慧城市”项目中的物联网监控系统中，基于海量视频检索系统的图像处理技术领域有多种目标检测方法。这些方法的主要功能是对通过可见光摄像机拍摄的监控视频图像进行处理，自动提取图像中的运动目标，获取目标的位置、大小等相关信息，为进一步基于视频的目标跟踪、分析、识别等任务提供原始信息。在基于物联网的视频监控系统中，采用可见光摄像机获取监控区域的视频图像，将视频图像帧实时传输至计算机，由计算机对视频图像数据进行计算，完成目标检测功能。

在基于视频的运动目标检测算法中，背景差分法被广泛应用。背景差方法通过对连续视频图像的分析，获取图像中静态的背景图像，将当前视频帧与背景图像帧进行差分，即可将图像中静止的背景部分去除，从而凸显运动目标，通过图像分割算法即可获得图像中的运动目标区域。在背景差分算法中，关键是准确地提取目标的背景图像。

背景更新过程中，如果按一个比例定值对背景差进行更新的话，如每次将背景差按10％比例对背景图像更新，则当背景差小于10个像素级时，背景停止更新，则当前帧图像与实际背景之间会有固定的差异，不利于后续基于背景差分的目标检测过程的实现；因此需要通过对背景差异分段，按照不同比例进行背景学习，既控制背景学习的速度，又消除最终的偏差，为后续的目标检测过程提供正确的背景图像。在获得了当前帧对应的背景图像后，本发明求取当前帧与其对应背景图像的差，对差分图像进行图像分割，得到目标候选区域，通过对分个图像进行去除噪点、填补空洞的操作后，从而确定目标区域，实现目标检测过程；

目前亟需一种分段更新的背景图像学习策略新方法，通过对背景差和帧间差的分析，从而快速准确的提取当前视频帧对应的背景图像，在背景差分图像中对运动目标进行有效的分割，获取图像中的运动目标区域。

发明内容

本发明要解决的技术问题是提供一种针对基于物联网的视频监控系统进行监控场景中运动目标检测的需求而设计的新方法，在可见光监控图像中，通过分段背景学习的方法获取背景图像，采用基于背景差分的方法提取运动目标区域，实现运动目标的检测。

为了实现这一目的，本发明采取的技术方案是一种基于分段背景学习的目标检测方法，根据可见光监控图像中运动目标与背景的变化特性，对监控图像中的背景图像进行实时学习，通过背景差分方法，获得运动目标区域，实现运动目标的实时检测；应用于基于物联网的智能视频监控系统中监控场景中运动目标检测系统，采用高性能计算机作为其图像信号处理器硬件平台，软件代码采用通用C语言编程实现，在Microsoft Visual C++6.0平台下编译并运行；

整体算法流程如下：

①获取并标记图像：

获取监控视频当前帧图像，前一帧图像和前一帧图像对应背景图像；

设帧号为k，当前帧图像记为F_k，前一帧图像记为F_k-1，前一帧对应背景图像记为B_k-1；对于第1帧，设背景图像B₁为第1帧图像F₁；

②计算前帧背景差分和帧间差分图像：

当k>1时，针对F_k、F_k-1、B_k-1，计算前帧背景差分BD_k和帧间差分FD_k图像，计算关系为：BD_k＝F_k-B_k-1，FD_k＝|F_k-F_k-1|；

其中BD_k为F_k与B_k-1差分，FD_k为F_k与F_k-1的差分的绝对值；其中差分操作通过对图像应像素值相减计算得到，逐像素差分后，得到差分图像矩阵BD_k和FD_k；

③逐像素更新帧间差分：

逐像素更新背景图像，对于像素坐标为(x,y)，比较帧间差分FD_k(x,y)是否大于阈值FTh；阈值FTh的数值根据需求和应用环境选取；

FD_k(x,y)大于FTh时，将当前像素更新量m_k(x,y)设置为0；

FD_k(x,y)不大于FTh时，根据更新系数k_k(x,y)设置更新量m_k(x,y)，关系为：

m_k(x,y)＝k_k(x,y)×BD_k(x,y)，更新系数k_k(x,y)根据需要及监控场景情况设置；

④逐像素更新前帧背景差分：

比较BD_k(x,y)是否大于阈值BTh；BTh的数值根据需求和应用环境选取；

BD_k(x,y)不大于BTh时，不进行背景更新，B_k(x,y)的数值等于B_k-1(x,y)；

BD_k(x,y)大于BTh时，按更新量m_k(x,y)对背景图像像素B_k-1(x,y)进行更新，关系为：B_k(x,y)＝B_k-1(x,y)+m_k(x,y)

⑤将所有像素进行更新：

重复步骤3~4，对图像B_k-1的所有像素逐个进行更新操作，得到当前帧对应背景图像B_k；

⑥计算背景差分图像：

计算当前帧的背景差分图像BFD_k，计算关系为：BFD_k＝|F_k-B_k|，BFD_k为F_k与B_k的差分的绝对值；差分操作通过对图像像素值相减计算得到，逐像素差分后，得到差分图像矩阵BFD_k；

⑦计算BFD_k图像均值μ和标准差σ：

图像BFD_k为r行c列，均值μ为： $\mathrm{\μ}=\frac{1}{r\×c}\underset{i=1}{\overset{r}{\mathrm{\Σ}}}\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{\mathrm{BFD}}_k(i,j),$ 其中BFD_k(i，j)表示图像BFD_k第i行第j列像素的像素值；

标准差σ为： $\mathrm{\σ}=\sqrt{\frac{1}{r\×c-1}\underset{i=1}{\overset{r}{\mathrm{\Σ}}}\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{({\mathrm{BFD}}_k(i,j)-\mathrm{\μ})}^2}$

⑧计算分割阈值，确定分割图像：

针对图像BFD_k中大于μ+σ的像素值，以最大类间方差准则计算最优分割阈值Th；

根据阈值Th对图像BFD_k进行图像分割，形成分割图像BFS_k；

分割法则: ${\mathrm{BFS}}_k(i,j)=\left\{\begin{array}{cc}1& \mathrm{BF}{D}_k(i,j)\&GreaterEqual;\mathrm{Th}\\ 0& {\mathrm{BFD}}_k(i,j)<\mathrm{Th}\end{array}\right.$

其中BFD_k(i，j)表示图像BFD_k第i行第j列像素的像素值，BFS_k(i，j)表示图像BFS_k第i行第j列像素的像素值；

⑨形成目标图像：

采用形态学操作去除分割图像中的噪点，填补空洞；采用5×5的正方形模板对BFS_k进行腐蚀操作，去除噪点；对去除噪点后的图像采用7×7的正方形模板对BFS_k进行膨胀操作，填补图像中的空洞，形成目标图像BFM_k；

⑩完成目标检测过程：

将目标图像BFM_k中像素值为1的连通区域进行像素数统计，去除像素数小于60的区域；对保留下的目标区域，分别计算并记录像素横纵坐标的最大值和最小值，通过以上数值形成该区域的外接矩形，用以标识该目标区域，完成目标检测过程。

进一步的，如上所述的一种基于分段背景学习的目标检测方法，步骤3中，FTh的数值设置为2。

进一步的，如上所述的一种基于分段背景学习的目标检测方法，步骤3中，设置更新系数k_k(x,y)为：

$k_k(x,y)=\left\{\begin{array}{cc}0.02& B{D}_k(x,y)>50\\ 0.04& 50\&GreaterEqual;{\mathrm{BD}}_k(x,y)>25\\ 0.1& 25\&GreaterEqual;{\mathrm{BD}}_k(x,y)>10\\ 0.2& 10\&GreaterEqual;{\mathrm{BD}}_k(x,y)>5\\ 0.5& 5\&GreaterEqual;{\mathrm{BD}}_k(x,y)>0\end{array}\right..$

进一步的，如上所述的一种基于分段背景学习的目标检测方法，步骤4中，BTh的数值设置为2。

本发明技术方案采用分段更新背景学习算法，在背景学习过程中，既可以对改变的背景区域进行快速更新学习，适应背景变化，又使背景图像对运动物体造成的干扰不敏感，可以实时获得背景区域，通过背景差分法准确的对监控图像中的运动目标进行检测；有针对性的解决了智能监控中的复杂场景问题，监控场景中的背景区域存在频繁变化，如停留的汽车启动开走等问题。

附图说明

图1是基于分段背景学习的运动目标检测流程图。

具体实施方式

在视频监控系统中，采用背景差分地方法实现目运动标检测。在背景差分方法中，关键是对当前视频帧对应的背景图像进行准确的提取。本发明针对这一问题，提出了基于分段背景学习的目标检测方法。首先针对当前图像帧进行背景图像学习，背景图像学习需要当前帧图像、上一帧图像、和上一帧对应背景图像。在视频开始阶段，第1帧图像不做检测，第2帧图像为当前帧时，可以采用第1帧图像同时作为上一帧图像和上一帧对应背景图像，开始背景更新学习过程。

背景图像学习过程原理可以描述如下。首先计算当前帧与前一帧图像对应像素的差分绝对值（帧间差分），如果该像素帧间差分数值较大，说明存在帧间差异，即该像素所在区域为运动目标区域，则不进行背景图像更新，采用上一帧对应背景图像中该像素数值作为当前帧背景图像中像素数值；如果帧间差分数值较小，说明该像素所在区域为背景区域，可根据该像素当前帧数值和前一帧对应背景图像数值的差异，对背景图像进行更新，获取当前帧背景图像。

背景更新过程中，如果按一个比例定值对背景差进行更新的话，如每次将背景差按10％比例对背景图像更新，则当背景差小于10个像素级时，背景停止更新，则当前帧图像与实际背景之间会有固定的差异，不利于后续基于背景差分的目标检测过程的实现。因此本发明提出通过对背景差异分段，按照不同比例进行背景学习，既可以控制背景学习的速度，又可以消除最终的偏差，为后续的目标检测过程提供正确的背景图像。

在获得了当前帧对应的背景图像后，本发明求取当前帧与其对应背景图像的差，对差分图像进行图像分割，得到目标候选区域，通过对分个图像进行去除噪点、填补空洞的操作后，从而确定目标区域，实现目标检测过程。

本发明技术方案，一种基于分段背景学习的目标检测方法，根据可见光监控图像中运动目标与背景的变化特性，对监控图像中的背景图像进行实时学习，通过背景差分方法，获得运动目标区域，实现运动目标的实时检测；应用于基于物联网的智能视频监控系统中监控场景中运动目标检测系统，采用高性能计算机作为其图像信号处理器硬件平台，软件代码采用通用C语言编程实现，在Microsoft Visual C++6.0平台下编译并运行；

整体算法流程如下：

①获取并标记图像：

获取监控视频当前帧图像，前一帧图像和前一帧图像对应背景图像；

设帧号为k，当前帧图像记为F_k，前一帧图像记为F_k-1，前一帧对应背景图像记为B_k-1；对于第1帧，设背景图像B₁为第1帧图像F₁；

②计算前帧背景差分和帧间差分图像：

当k>1时，针对F_k、F_k-1、B_k-1，计算前帧背景差分BD_k和帧间差分FD_k图像，计算关系为：BD_k＝F_k-B_k-1，FD_k＝|F_k-F_k-1|；

其中BD_k为F_k与B_k-1差分，FD_k为F_k与F_k-1的差分的绝对值；其中差分操作通过对图像应像素值相减计算得到，逐像素差分后，得到差分图像矩阵BD_k和FD_k；

③逐像素更新帧间差分：

逐像素更新背景图像，对于像素坐标为(x,y)，比较帧间差分FD_k(x,y)是否大于阈值FTh；阈值FTh的数值根据需求和应用环境选取；

FD_k(x,y)大于FTh时，将当前像素更新量m_k(x,y)设置为0；

FD_k(x,y)不大于FTh时，根据更新系数k_k(x,y)设置更新量m_k(x,y)，关系为：

m_k(x,y)＝k_k(x,y)×BD_k(x,y)，更新系数k_k(x,y)根据需要及监控场景情况设置；

此具体实施例中，FTh的数值设置为2；

更新系数k_k(x,y)为：

$k_k(x,y)=\left\{\begin{array}{cc}0.02& B{D}_k(x,y)>50\\ 0.04& 50\&GreaterEqual;{\mathrm{BD}}_k(x,y)>25\\ 0.1& 25\&GreaterEqual;{\mathrm{BD}}_k(x,y)>10\\ 0.2& 10\&GreaterEqual;{\mathrm{BD}}_k(x,y)>5\\ 0.5& 5\&GreaterEqual;{\mathrm{BD}}_k(x,y)>0\end{array}\right..$

④逐像素更新前帧背景差分：

比较BD_k(x,y)是否大于阈值BTh；BTh的数值根据需求和应用环境选取；

此具体实施例中，BTh的数值设置为2；

BD_k(x,y)不大于BTh时，不进行背景更新，B_k(x,y)的数值等于B_k-1(x,y)；

BD_k(x,y)大于BTh时，按更新量m_k(x,y)对背景图像像素B_k-1(x,y)进行更新，关系为：B_k(x,y)＝B_k-1(x,y)+m_k(x,y)；

⑤将所有像素进行更新：

重复步骤3~4，对图像B_k-1的所有像素逐个进行更新操作，得到当前帧对应背景图像B_k；

⑥计算背景差分图像：

计算当前帧的背景差分图像BFD_k，计算关系为：BFD_k＝|F_k-B_k|，BFD_k为F_k与B_k的差分的绝对值；差分操作通过对图像像素值相减计算得到，逐像素差分后，得到差分图像矩阵BFD_k；

⑦计算BFD_k图像均值μ和标准差σ：

图像BFD_k为r行c列，均值μ为： $\mathrm{\&mu;}=\frac{1}{r\&times;c}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{BFD}}_k(i,j),$ 其中BFD_k(i，j)表示图像BFD_k第i行第j列像素的像素值；

标准差σ为： $\mathrm{\&sigma;}=\sqrt{\frac{1}{r\&times;c-1}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{c}{\mathrm{\&Sigma;}}}{({\mathrm{BFD}}_k(i,j)-\mathrm{\&mu;})}^2}$

⑧计算分割阈值，确定分割图像：

针对图像BFD_k中大于μ+σ的像素值，以最大类间方差准则计算最优分割阈值Th；

根据阈值Th对图像BFD_k进行图像分割，形成分割图像BFS_k；

分割法则: ${\mathrm{BFS}}_k(i,j)=\left\{\begin{array}{cc}1& \mathrm{BF}{D}_k(i,j)\&GreaterEqual;\mathrm{Th}\\ 0& {\mathrm{BFD}}_k(i,j)<\mathrm{Th}\end{array}\right.$

其中BFD_k(i，j)表示图像BFD_k第i行第j列像素的像素值，BFS_k(i，j)表示图像BFS_k第i行第j列像素的像素值；

⑨形成目标图像：

采用形态学操作去除分割图像中的噪点，填补空洞；采用5×5的正方形模板对BFS_k进行腐蚀操作，去除噪点；对去除噪点后的图像采用7×7的正方形模板对BFS_k进行膨胀操作，填补图像中的空洞，形成目标图像BFM_k；

⑩完成目标检测过程：

将目标图像BFM_k中像素值为1的连通区域进行像素数统计，去除像素数小于60的区域；对保留下的目标区域，分别计算并记录像素横纵坐标的最大值和最小值，通过以上数值形成该区域的外接矩形，用以标识该目标区域，完成目标检测过程。

Claims (4)

1.一种基于分段背景学习的目标检测方法，其特征在于：根据可见光监控图像中运动目标与背景的变化特性，对监控图像中的背景图像进行实时学习，通过背景差分方法，获得运动目标区域，实现运动目标的实时检测；应用于基于物联网的智能视频监控系统中监控场景中运动目标检测系统，采用高性能计算机作为其图像信号处理器硬件平台，软件代码采用通用C语言编程实现，在Microsoft Visual C++6.0平台下编译并运行；

具体方法流程如下：

①获取并标记图像：

获取监控视频当前帧图像、前一帧图像和前一帧图像对应背景图像；

设帧号为k，当前帧图像记为F_k，前一帧图像记为F_k-1，前一帧对应背景图像记为B_k-1；对于第1帧，设背景图像B₁为第1帧图像F₁；

②计算前帧背景差分和帧间差分图像：

当k>1时，针对F_k、F_k-1、B_k-1，计算前帧背景差分BD_k和帧间差分FD_k图像，计算关系为：BD_k＝F_k-B_k-1，FD_k＝|F_k-F_k-1|；

其中BD_k为F_k与B_k-1差分，FD_k为F_k与F_k-1的差分的绝对值；差分操作通过对图像应像素值相减计算得到，逐像素差分后，得到差分图像矩阵BD_k和FD_k；

③逐像素更新帧间差分：

逐像素更新背景图像，对于像素坐标为(x,y)，比较帧间差分FD_k(x,y)是否大于阈值FTh；阈值FTh的数值根据需求和应用环境选取；

FD_k(x,y)大于FTh时，将当前像素更新量m_k(x,y)设置为0；

FD_k(x,y)不大于FTh时，根据更新系数k_k(x,y)设置更新量m_k(x,y)，关系为：m_k(x,y)＝k_k(x,y)×BD_k(x,y)，更新系数k_k(x,y)根据需要及监控场景情况设置；

④逐像素更新前帧背景差分：

比较BD_k(x,y)是否大于阈值BTh；BTh的数值根据需求和应用环境选取；

BD_k(x,y)不大于BTh时，不进行背景更新，B_k(x,y)的数值等于B_k-1(x,y)；

BD_k(x,y)大于BTh时，按步骤③中确定的更新量m_k(x,y)对背景图像像素B_k-1(x,y)进行更新，关系为：B_k(x,y)＝B_k-1(x,y)+m_k(x,y)

⑤将所有像素进行更新：

重复步骤③~④，对图像B_k-1的所有像素逐个进行更新操作，得到当前帧对应背景图像B_k；

⑥计算背景差分图像：

计算当前帧的背景差分图像BFD_k，计算关系为：BFD_k＝|F_k-B_k|，BFD_k为F_k与B_k的差分的绝对值；差分操作通过对图像像素值相减计算得到，逐像素差分后，得到差分图像矩阵BFD_k；

⑦计算BFD_k图像均值μ和标准差σ：

图像BFD_k为r行c列，均值μ为： $\mathrm{\&mu;}=\frac{1}{r\&times;c}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{BFD}}_k(i,j),$

标准差σ为： $\mathrm{\&sigma;}=\sqrt{\frac{1}{r\&times;c-1}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{c}{\mathrm{\&Sigma;}}}{({\mathrm{BFD}}_k(i,j)-\mathrm{\&mu;})}^2},$

其中BFD_k(i,j)表示图像BFD_k第i行第j列像素的像素值；

⑧计算分割阈值，确定分割图像：

在图像BFD_k中忽略小于μ+σ的像素，针对图像BFD_k中大于μ+σ（的像素值，以最大类间方差准则计算最优分割阈值Th；

根据阈值Th对图像BFD_k进行图像分割，形成分割图像BFS_k；

分割法则: ${\mathrm{BFS}}_k(i,j)=\left\{\begin{array}{cc}1& {\mathrm{BFD}}_k(i,j)\&GreaterEqual;\mathrm{Th}\\ 0& {\mathrm{BFD}}_k(i,j)<\mathrm{Th}\end{array}\right.$

其中BFD_k(i,j)表示图像BFD_k第i行第j列像素的像素值，BFS_k(i,j)表示图像BFS_k第i行第j列像素的像素值；

⑨形成目标图像：

采用形态学操作去除分割图像中的噪点，填补空洞；采用5×5的正方形模板对BFS_k进行腐蚀操作，去除噪点；对去除噪点后的图像采用7×7的正方形模板对BFS_k进行膨胀操作，填补图像中的空洞，形成目标图像BFM_k；

⑩完成目标检测过程：

将目标图像BFM_k中像素值为1的连通区域进行像素数统计，去除像素数小于60的区域；对保留下的目标区域，分别计算并记录像素横纵坐标的最大值和最小值，通过以上数值形成该区域的外接矩形，用以标识该目标区域，完成目标检测过程。

2.如权利要求1所述的一种基于分段背景学习的目标检测方法，其特征在于：步骤③中，FTh的数值设置为2。

3.如权利要求1所述的一种基于分段背景学习的目标检测方法，其特征在于：步骤③中，设置更新系数k_k(x,y)为：

$k_k(x,y)=\left\{\begin{array}{cc}0.02& {\mathrm{BD}}_k(x,y)>50\\ 0.04& 50\&GreaterEqual;{\mathrm{BD}}_k(x,y)>25\\ 0.1& 25>{\mathrm{BD}}_k(x,y)>10\\ 0.2& 10\&GreaterEqual;{\mathrm{BD}}_k(x,y)>5\\ 0.5& 5\&GreaterEqual;{\mathrm{BD}}_k(x,y)>0\end{array}\right..$

4.如权利要求1所述的一种基于分段背景学习的目标检测方法，其特征在于：步骤④中，BTh的数值设置为2。

Images