CN103700098B - 基于块码书模型与马尔科夫随机场的分层前景检测方法 - Google Patents

Abstract

本发明公开了一种基于块码书模型与马尔科夫随机场的分层前景检测方法，属于视频检测技术领域，本发明先利用基于块的码书算法区分出疑似前景的区域，利用窗宽优化算法，根据图像的局部区域像素点的色彩值分布特征，采用行分块和列分块的双分块方法进行码书块尺寸定量确定；而后基于块的码书算法的初步检测结果，在基于像素的码书中建立基于马尔科夫随机场的前景背景分类框架，并利用马尔科夫随机场的后验概率判定像素点与相邻像素点的一致性，进一步确认前景像素。本发明方法检测精度高，运算速度快，且实现了检测精度与效率的均衡。

Description

基于块码书模型与马尔科夫随机场的分层前景检测方法

技术领域

本发明涉及一种前景检测方法，尤其涉及一种基于块码书模型与马尔科夫随机场的分层前景检测方法，属于视频检测技术领域。

背景技术

前景检测是智能视频监控领域中相当重要的底层工作，目的是将前景目标从视频序列中提取出来，为后续的视频分析和目标识别等应用打下基础。但是，其性能受诸多因素制约：当背景中存在诸如光照、摇曳的树枝和流水等动态元素时，检测结果波动明显；另一方面，阴影可能导致目标混合、目标形状扭曲甚至目标丢失，严重影响前景检测的质量；此外，现今视频解决方案动辄就是网络摄像头和视频服务器，服务端需要同时处理的图像信号通道数越来越多，这提高了对处理结果与视频信号间的滞后效果的限制，而前景检测工作属于视频处理的基础步骤，整个算法无法为其分配过多的运算资源。因此，如何稳定、精确和高效地提取前景目标始终是一个热点课题。前景检测最常用的方法是减背景法，其思想是将图像与背景模型对比，区别较大的像素区域即被认为是前景，根据算法处理过程中是否考虑像素间的相互影响，可将其大致分为两类：像素级的和区域级的。

像素级的减背景算法将像素孤立地对待，不考虑像素间的相互关系，更不考虑前后图像的联系，虽然像素级的减背景算法能解决大多数的前景目标检测问题，但是此类算法没有考虑像素之间的相互关系和前后帧图像的联系，对于光照的突然变化等情况处理并不是很有效，而区域级的减背景算法则能更好地应对此等情况。Guo(Guo J M,Liu Y F,Hsia C H,et al.Hierarchical method for foreground detection using codebookmodel[J].Circuits and Systems for Video Technology,IEEE Transactions on,2011,21(6):804-815)在将经典码书法改进为基于块和基于像素两个阶段，基于块的阶段完成大部分的背景建模工作，区分出疑似前景区域，但是该阶段的精度还较低，在基于像素的阶段以像素为单位进一步检测前景疑似区域。Wu(Wu M,Peng X.Spatio-temporal context forcodebook-based dynamic background subtraction[J].AEU-International Journal ofElectronics and Communications,2010,64(8):739-747)在码书算法中，利用像素间的时空信息在MRF-MAP框架下提高检测精度。该模型中以当前帧的二值化结果作为模型运算的已知条件，不可避免的引起算法复杂度的显著增长，导致前景检测难以实现。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于块码书模型与马尔科夫随机场的分层前景检测方法，先利用基于块的码书算法区分出疑似前景的区域，而后在基于块的码书算法的检测结果基础上，建立基于马尔科夫随机场的前景背景分类框架，并利用马尔科夫随机场的后验概率判定像素点与相邻像素点的一致性，进一步确认前景像素。

本发明的基于块码书模型与马尔科夫随机场的分层前景检测方法，包括以下步骤：

步骤A、将待检测视频分割为一组连续的图像帧；

步骤B、利用基于块的码书模型对所述图像帧进行初步前景检测，得到各图像帧的初步二值化检测结果；

步骤C、对初步前景检测所检测到的前景像素，在基于像素的码书中利用基于马尔科夫随机场的前景检测方法进行最终确认，具体如下：

对于第t帧图像帧中第h行w列的像素通过求解以下模型获得其对应的最终的前景检测二值化结果

其中，X^t表示观察场，即视频的第t帧图像中n个像素的集合；对应的二值化检测结果为则第t帧图像的二值化检测集合为标号场L^t，前一帧图像的标号场为L^t-1；表示第t帧观察场中第h行w列的像素及其8邻域像素点的集合；表示第t-1帧图像标号场中第h行w列的像素及其8邻域像素点的集合；表示集合中各像素的二值化检测结果集合；表示集合中各像素的二值化检测结果集合；由中坐标为(a，b)的像素的位置和各通道色彩值组成，记为

为第q行p列码书的第i个码字；表示高斯核；ω_T为正常量；δ为克罗内克函数。

本发明技术方案中，所述初步前景检测可采用现有的各种基于块的码书算法实现，考虑到现有基于块的码书算法大都通过实验试凑法主观地选择码书块的尺寸大小，分块过小则降低了运算效率，分块过大导致目标关键像素点信息缺失的现象；为此，本发明进一步地提出了以下改进方案，对基于块的码书算法进行了改进，先将图像划分为均等的4个区域，利用窗宽优化算法，根据图像的局部区域像素点的色彩值分布特征，采用行分块和列分块的双分块方法进行码书块尺寸定量确定，将各图像区域分割为若干个非重叠的、独立的像素块，从而有效地实现检测精度与效率的均衡，该改进方案具体如下：在利用基于块的码书模型对所述图像帧进行初步前景检测时，按照以下方法对图像进行分块：先将图像等分为4个区域，依次对每一区域进行处理，通过求解以下模型获得对应图像区域的码书块的行与列大小H_w、H_h：

$H_w=\mathrm{int}\left(k_1\sqrt{\frac{\underset{h=1}{\overset{H}{\Σ}}\underset{w=1}{\overset{W}{\Σ}}{(x_{w,h}-{\stackrel{\‾}{x}}_h)}^2}{W\×H}}\right)$

$H_h=\mathrm{int}\left(k_2\sqrt{\frac{\underset{w=1}{\overset{W}{\Σ}}\underset{h=1}{\overset{H}{\Σ}}{(x_{w,h}-{\stackrel{\‾}{x}}_w)}^2}{W\×H}}\right)$

其中，以x_w,h表示其中某一区域内第h行w列像素的色彩特征值，记为x_w,h＝αY_w,h+βCb_w,h+γCr_w,h，Y_w,h、Cb_w,h、Cr_w,h分别表示该位置像素的Y、Cr和Cb三通道值，α、β和γ分别表示这三个通道的权重，α+β+γ＝1；表示该区域内第h行色彩特征均值，记为W表示该区域内图像一行像素的总个数；表示区域内第w列色彩特征均值，记为H表示该区域内图像一列像素点总个数；k₁，k₂表示调整系数，其取值范围为(0,1]；

然后将该图像区域划分为若干个尺寸为H_w×H_h的非重叠、独立的块。

本发明技术方案在对所述图像帧进行初步前景检测和进一步前景检测时，通过预设的码书容量阈值m对码书容量进行限制：在码书模型更新过程中，当当前码书的容量超过m时，筛选出当前码书中出现次数排前m位的码字保留，将其余码字剔除。

相比现有技术，本发明具有以下有益效果：

本发明利用窗宽优化算法，根据图像的局部区域像素点的色彩值分布特征，采用行分块和列分块的双分块方法进行码书块尺寸定量确定，有效地实现了检测精度与效率的均衡；

本发明利用基于块的码书算法区分出疑似前景的区域，提高了运算速度；

本发明对码书(包括基于块的码书和基于像素的码书)容量加以限制，使码书收敛化、集约化；

本发明在基于像素阶段对像素间时空信息加以利用的思想，提高基于像素的码书算法运算精度，此外，基于像素的阶段在MRF-MAP框架下借助码书模型丰富的标记信息简化算法的复杂度。

附图说明

图1为本发明基于块码书模型与马尔科夫随机场的分层前景检测方法的流程示意图；

图2为实施方式中8邻域的马尔科夫随机场示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的思路是针对现有前景检测技术的不足，采用码书算法结合基于马尔科夫随机场的前景背景分类框架来提高前景检测的准确性，先利用基于块的码书算法区分出疑似前景的区域，而后基于初步检测的结果，在基于像素的码书中建立基于马尔科夫随机场的前景背景分类框架，并利用马尔科夫随机场的后验概率判定像素点与相邻像素点的一致性，进一步确认前景像素。

本发明的前景检测方法，如图1所示，具体包括以下步骤：

步骤A、将待检测视频分割为一组连续的图像帧。

步骤B、利用基于块的码书模型对所述图像帧进行初步前景检测，得到各图像帧的初步二值化检测结果。

本发明在进行初步前景检测时，可采用现有的各种基于块的码书模型。现有基于块的码书算法中对码书块的划分，主要根据图像的大小、跟踪目标的大小[贺彪等.基于新的码书模型检测动态背景下的运动目标[J].计算机技术与发展,2011,21(7):39-43]以及摄像机拍摄距离[刘威等.基于改进的码书模型的运动目标检测[J].天津理工大学学报,2012,28(6):108-111]等图像整体特征，通过实验试凑法主观地选择码书块的尺寸大小，如分块过小则降低了运算效率，分块过大会导致目标关键像素点信息缺失的现象。本发明通过图像的局部区域像素点的色彩值分布特征，采用行分块和列分块的双分块方法进行码书块尺寸定量确定，有效地实现检测精度与效率的均衡，并在此基础上建立基于块码书模型的初步前景检测模型，具体步骤如下：

步骤1、先将图像划分为均等的4个区域，利用窗宽优化算法，根据每个区域内像素点色彩值分布，将区域分割为若干个非重叠的、独立的像素块，具体如下：

在建立码书模型之前，先将图像等分为4个区域，依次对每一区域进行处理，通过求解以下模型获得对应图像区域的码书块的行与列大小H_w、H_h：

$H_w=\mathrm{int}\left(k_1\sqrt{\frac{\underset{h=1}{\overset{H}{\Σ}}\underset{w=1}{\overset{W}{\Σ}}{(x_{w,h}-{\stackrel{\‾}{x}}_h)}^2}{W\×H}}\right)$

$H_h=\mathrm{int}\left(k_2\sqrt{\frac{\underset{w=1}{\overset{W}{\Σ}}\underset{h=1}{\overset{H}{\Σ}}{(x_{w,h}-{\stackrel{\‾}{x}}_w)}^2}{W\×H}}\right)$

其中，以x_w,h表示其中某一区域内第h行w列像素点色彩特征值记为，x_w,h＝αY_w,h+βCb_w,h+γCr_w,h，Y_w,h、Cb_w,h、Cr_w,h分别表示该位置像素的Y、Cr和Cb三通道值，α、β和γ分别表示这三个通道的权重，α+β+γ＝1；表示区域内第h行色彩特征均值，记为W表示区域内图像一行像素点总个数；表示区域内第w列色彩特征均值，记为H表示区域内图像一列像素点总个数；k₁，k₂表示调整系数，防止窗宽过大引起信息丢失，限制窗宽的值域，其取值范围为(0,1]。H_w,H_h取整数，当H_w,H_h小于2时，取H_w,H_h＝2，当H_w,H_h大于5时，取H_w,H_h＝5，则码书块尺寸值域为：2≤H_w,H_h≤5。在此基础上，将本区域被分割为若干个尺寸为H_w×H_h的非重叠、独立的块，共计P×Q个(P＝ceil(W/H_w)，Q＝ceil(H/H_h))。

步骤2、初始化基于块像素的码书模型，通过阈值匹配，在有限码字容量的条件下更新码书模型，具体如下：

以表示当前帧的像素块的各通道色彩集合，记为如果其满足下式：

则判断当前像素块为背景。

步骤3、利用码书模型进行初步前景检测，得到各图像帧的初步二值化检测结果。

如果当前帧的像素块的通道色彩集合与码书模型中码字不匹配，则初步判断此像素块为前景，以此更新码书模型，并对码书模型的容量加以限制，设定其容量阈值为m，当码书的容量超过m时，筛选出码书中出现次数排前m位的码字，将其余码字剔除。步骤C、对初步前景检测所检测到的前景像素，在基于像素的码书中利用基于马尔科夫随机场的前景检测方法进行最终确认。

本发明通过构建基于马尔科夫随机场的前景背景分类框架，建立像素间时空信息模型，并利用马尔科夫随机场的后验概率判定像素点与相邻像素点的一致性，进一步确认前景像素，具体如下：

以X^t表示观察场，即视频的第t帧图像中n个像素的集合， 对应的二值化检测结果为则第t帧图像的二值化检测集合为标号场前一帧图像的标号场为据此建立由三层位置场组成的马尔科夫随机场模型，如图2所示。

对于当前帧标号场L^t中每一个节点L^t-1中都有位于h行w列的节点及其8邻域节点共计9个节点与之相连，该节点集用表示，和之间的连接表示连续两帧图像间相邻像素对同为前景或者同为背景的概率，表示为：

$p\left(l_{a,b}^{t-1}\right|l_{w,h}^t)\∝\exp (-{\mathrm{\ω}}_T(1-\mathrm{\δ}\left(l_{w,h}^t-l_{a,b}^{t-1}\right)\left)\right)---\left(2\right)$

描述和不一致的代价，其中，ω_T为正常量，δ为克罗内克函数，局部时间域上的一致性似然估计就表示为：

$p\left(L_{N_{w,h}^T}^{t-1}\right|l_{w,h}^t)={\mathrm{\Π}}_{(a,b)\∈N_{w,h}^T}p\left(l_{a,b}^{t-1}\right|l_{w,h}^t)---\left(3\right)$

对于当前帧标号场L^t中每一个节点X^t中都有位于h行w列的节点及其8邻域节点共计9个节点与之相连，用表示该节点集，和中节点间的连接代表同一帧图像中相邻像素同为背景和前景的概率，表示为：

其中，高斯核∑为bandwidth matrix(带宽矩阵)，其对角元素为(25,25,16,16,16)，由的位置和该点的色彩值组成， 为第q行p列码书的第i个码字。局部空间域上的一致性似然估计就表示为：

$p\left(X_{N_{w,h}^S}^t\right|l_{w,h}^t)={\mathrm{\Π}}_{(a,b)\∈N_{w,h}^S}p\left(x_{a,b}^t\right|l_{w,h}^t)---\left(5\right)$

此外，利用基于块的阶段的检验结果表示处的马尔科夫随机场先验概率：

$p\left(l_{w,h}^t\right)=\frac{{\mathrm{\Σ}}_{x=0}^P{\mathrm{\Σ}}_{y=0}^Q\mathrm{\δ}(b_{x,y}-b_{p,q})}{P\×Q}---\left(6\right)$

其中，b_p,q为第q行p列的块的二值化检测结果(0或1)。

因为观察场X^t和标号场L^t-1关于条件L^t独立，二者关于的L^t的条件概率为：

$p(X_{N_{w,h}^S}^t,L_{N_{w,h}^T}^{t-1}|l_{w,h}^t)=p\left(X_{N_{w,h}^S}^t\right|l_{w,h}^t)p\left(L_{N_{w,h}^T}^{t-1}\right|l_{w,h}^t)---\left(7\right)$

由公式(6)和公式(7)可得处的马尔科夫随机场后验概率为：

$p\left(l_{w,h}^t\right|X_{N_{w,h}^S}^t,L_{N_{w,h}^T}^{t-1})\∝p(X_{N_{w,h}^S}^t,L_{N_{w,h}^T}^{t-1}|l_{w,h}^t)p\left(l_{w,h}^t\right)\∝p\left(X_{N_{w,h}^S}^t\right|l_{w,h}^t)p\left(L_{N_{w,h}^T}^{t-1}\right|l_{w,h}^t)p\left(l_{w,h}^t\right)---\left(8\right)$

马尔科夫随机场模型通过计算局部时空域上的一致性而考虑像素间的时空联系，确定何种情况像素为前景的可能性最大,继而进行图像前景检测。

将公式(2)、公式(3)、公式(4)和公式(5)带入公式(8)，并在等号两边同时取负对数，得到后验能量函数：

因此，马尔科夫随机场的后验概率最大化的问题就转换为的最小化问题。求解使得后验能量函数E最小的即为疑似前景像素最终的二值化前景检测结果。

Claims (3)

1.基于块码书模型与马尔科夫随机场的分层前景检测方法，其特征在于，包括以下步骤：

步骤A、将待检测视频分割为一组连续的图像帧；

步骤B、利用基于块的码书模型对所述图像帧进行初步前景检测，得到各图像帧的初步二值化检测结果；

步骤C、对初步前景检测所检测到的前景像素，在基于像素的码书中利用基于马尔科夫随机场的前景检测方法进行最终确认，具体如下：

对于第t帧图像帧中第h行w列的像素通过求解以下模型获得其对应的最终的前景检测二值化结果

其中，X^t表示观察场，即视频的第t帧图像中n个像素的集合；对应的二值化检测结果为则第t帧图像的二值化检测集合为标号场L^t，前一帧图像的标号场为L^t-1；表示第t帧观察场中第h行w列的像素及其8邻域像素点的集合；表示第t-1帧图像标号场中第h行w列的像素及其8邻域像素点的集合；表示集合中各像素的二值化检测结果集合；表示集合中各像素的二值化检测结果集合；由中坐标为(a，b)的像素的位置和各通道色彩值组成，记为

为第q行p列码书的第i个码字；表示高斯核；ω_T为正常量；δ为克罗内克函数；

其中，在对所述图像帧进行初步前景检测和进一步前景检测时，通过预设的码书容量阈值m对码书容量进行限制：在码书模型更新过程中，当当前码书的容量超过m时，筛选出当前码书中出现次数排前m位的码字保留，将其余码字剔除。

2.如权利要求1所述基于块码书模型与马尔科夫随机场的分层前景检测方法，其特征在于，在利用基于块的码书模型对所述图像帧进行初步前景检测时，按照以下方法对图像进行分块：先将图像等分为4个区域，依次对每一区域进行处理，通过求解以下模型获得对应图像区域的码书块的行与列大小H_w、H_h：

$H_w=k_1\sqrt{\frac{\underset{h=1}{\overset{H}{\Σ}}\underset{w=1}{\overset{W}{\Σ}}{(x_{w,h}-{\stackrel{\‾}{x}}_h)}^2}{W\×H}}$

$H_h=k_2\sqrt{\frac{\underset{w=1}{\overset{W}{\Σ}}\underset{h=1}{\overset{H}{\Σ}}{(x_{w,h}-{\stackrel{\‾}{x}}_w)}^2}{W\×H}}$

其中，以x_w,h表示其中某一区域内第h行w列像素的色彩特征值，记为x_w,h＝αY_w,h+βCb_w,h+γCr_w,h，Y_w,h、Cb_w,h、Cr_w,h分别表示该位置像素的Y、Cr和Cb三通道值，α、β和γ分别表示这三个通道的权重，α+β+γ＝1；表示该区域内第h行色彩特征均值，记为W表示该区域内图像一行像素的总个数；表示区域内第w列色彩特征均值，记为H表示该区域内图像一列像素点总个数；k₁，k₂表示调整系数，其取值范围为(0,1]；

然后将该图像区域划分为若干个尺寸为H_w×H_h的非重叠、独立的块。

3.如权利要求2所述基于块码书模型与马尔科夫随机场的分层前景检测方法，其特征在于，H_w,H_h取整数，且当求解得到的H_w,H_h小于2时，取H_w,H_h＝2；当求解得到的H_w,H_h大于5时，取H_w,H_h＝5。