CN105631862A - 一种基于邻域特征和灰度信息的背景建模方法 - Google Patents

Abstract

本发明公开了一种基于邻域特征和灰度信息的背景建模方法。该方法通过将像素的邻域特征加入到背景模型当中，提高了背景模型对于光照变化以及扰动的鲁棒性。获取输入视频序列的第一帧，对每个像素计算邻域特征，初始化它的背景邻域模型和背景灰度模型。对于视频的后续帧，将每个像素的邻域特征和灰度与背景邻域模型和背景灰度模型比较，判断像素是前景点还是背景点。最后，根据判断结果更新背景邻域模型和背景灰度模型。该背景建模方法模型简单，便于实现，可以满足实时智能监控系统的需求。

Description

一种基于邻域特征和灰度信息的背景建模方法

本发明属于智能视频监控领域，特别地涉及一种基于邻域特征和灰度信息的背景建模方法。

背景技术

背景建模算法是智能视频监控邻域的一种常用算法，主要可以用来提取视频中的前景目标，以便对视频进行目标识别，行为检测等智能化分析。它根据输入视频通过建模的方法得到监控场景的背景，然后利用当前图像与背景进行比较得到前景目标。典型的背景建模算法有：帧间差法，均值函数法，中值函数法，高斯背景建模，W4算法，码书模型算法，基于贝叶斯统计的模型算法，内核密度估计算法，meanshift算法等。

虽然现在已经有很多不同的背景建模方法，背景建模的效果也在不断提升，但是仍然不能满足实际工程应用的需要。这里主要有两方面的原因：1)实际的视频场景存在光照变化，背景扰动等不确定因素，使得基于像素点本身的背景建模很难获得良好的鲁棒性；2)实际应用中，背景建模算法往往作为某些智能化分析算法(如目标识别)的前置算法，计算复杂度要严格控制，给后续算法留出足够的计算时间。

所以，设计一种既具有较高的鲁棒性，又快速高效的背景建模方法，是很多智能监控邻域技术人员努力的方向。

发明内容

为解决上述问题，本发明的目的在于提供了一种基于邻域特征和灰度信息的背景建模方法。该方法通过利用像素点的邻域特征，对背景的光照变化和扰动具有较高的鲁棒性，同时计算复杂度可以满足实时智能视频监控系统的需求。

为实现上述目的，本发明的技术方案为：一种基于邻域特征和灰度信息的背景建模方法，该方法为：

步骤1：输入视频序列的第一帧，对每个像素点(x,y)利用邻域特征算子计算第一帧的邻域特征向量。

步骤2：根据第一帧的邻域特征向量，初始化背景邻域特征模型；根据第一帧中的像素点的灰度值，初始化背景灰度模型；

步骤3：输入视频序列的下一帧，对于这一帧中的每个像素点(x,y)，利用邻域特征算子计算该点在这一帧中的邻域特征向量；

步骤4：用这一帧中的邻域特征向量与上一帧的背景邻域特征模型比较，计算两者的相似度，若相似度小于阈值T_neighbor，则判断该点为前景点；反之，若相似度大于或等于阈值T_neighbor，则分为两种情况：1)若该点在这一帧中的邻域特征向量属于非平滑类型，则将该点判断为背景点；2)若该点在这一帧中的邻域特征向量属于平滑类型，则进入步骤5。

步骤5：取该点在这一帧中的灰度值，与上一帧的背景灰度模型计算相似度。若相似度小于阈值T_gray，则判断该点为前景点；若相似度大于或等于阈值T_gray，则判断该点为背景点。

步骤6：根据步骤3-5的判断结果，对上一帧的背景邻域特征模型和背景灰度模型进行更新；

步骤7：重复步骤3-6，直到视频的最后一帧。

进一步的，上述步骤中的邻域特征向量vv(x,y)通过以下的邻域特征算子计算得到：

(1)对于像素点(x,y),将它的灰度值I(x,y)与每个8邻域像素的灰度值I(x+i,y+j)带入如下公式计算得到二进制邻域特征码code(i,j)：

$code(i,j)=\left\{\begin{array}{cc}{00}_2& if|I(x,y)-I(x+i,y+j)|<=T_{code}\\ {01}_2& ifI(x,y)-I(x+i,y+j)<-T_{code}\\ {10}_2& ifI(x,y)-I(x+i,y+j)>T_{code}\end{array}\right.,i,j\&Element;\{-1,0,1\}and(i,j)\&NotEqual;(0,0)$

上述公式中，T_code是可调阈值参数。对于每个邻域像素，得到的是2个比特位的二进制特征码。由于一共要与8个邻域像素进行比较，所以一共得到2×8＝16比特的二进制邻域特征码。

(2)对(1)中得到的8个2比特二进制特征码，经过串联得到长度为16比特的邻域特征向量串联顺序是：以像素(x,y)为中心的8邻域像素，从左上角的像素(x-1,y-1)开始，按顺时针方向串联。

进一步的，所述步骤2中的背景邻域特征模型M_neighbor(x,y)和背景灰度模型M_gray(x,y)，通过以下方法初始化：

(1)对于像素点(x,y),以n个邻域特征向量的集合作为此点的背景邻域特征模型，记为：

(2)对于视频序列中第一帧的每个像素点(x,y)，计算其邻域特征向量并复制n份组成集合M_neighbor(x,y)，作为初始的背景邻域特征模型。

(3)对于像素点(x,y),以其m个历史灰度值I₁,I₂,…,I_m的集合作为此点的背景灰度模型，记为：M_gray(x,y)＝{I₁,I₂,…,I_m}。

(4)对于视频序列中第一帧的每个像素点(x,y)，取其灰度值并复制m份组成集合M_gray(x,y)，作为初始的背景灰度模型。

进一步的，所述步骤4中的像素点邻域特征与背景邻域特征模型M_neighbor(x,y)的相似度Sim_neighbor(x,y)，具体通过以下步骤计算得到：

(1)对于像素点(x,y)的邻域特征向量从该点的背景邻域特征模型M_neighbor(x,y)中取一个邻域特征向量通过以下方法判定与是否是相似的邻域特征：

上述公式中，t(i)是一个16位二进制数。对t(i)的16个比特位进行统计，若有d_neighbor个及其以上的比特位是1，则判定与不相似，即s(i)＝0；若只有d_neighbor个以下(不包含d_neighbor个)的比特位是1，则判定与是相似的邻域特征，即s(i)＝1。

(2)利用如下公式计算像素点(x,y)的邻域特征向量与该点的背景邻域特征模型M_neighbor(x,y)的相似度：

$Sim(x,y)=\underset{i=1}{\overset{n}{\&Sigma;}}s\left(i\right)$

进一步的，所述步骤4中的邻域特征向量是否为平滑类型，通过以下方法判断：

对于的16个比特位，统计值为1的比特个数，若值为1的比特数小于等于T_smooth个，则判定该邻域特征向量为平滑类型；反之，则判断该邻域特征向量为非平滑类型。

进一步的，所述步骤5中的像素点(x,y)处的灰度值与背景灰度模型M_gray(x,y)的相似度Sim_gray(x,y)，具体通过以下公式计算得到：

$s_{gray}\left(i\right)=\left\{\begin{array}{ccc}0& if|I(x,y)-I_i|>d_{gray},& I_i\&Element;M_{gray}(x,y)=\{I_1,I_2,...,I_m\}\\ 1& otherwise& \end{array}\right.$

${\mathrm{Sim}}_{gray}(x,y)=\underset{i=1}{\overset{m}{\&Sigma;}}{s}_{gray}\left(i\right)$

其中，d_gray是可调阈值。

进一步的，所述步骤6中的背景邻域模型和背景灰度模型，通过以下方法更新：

(1)背景邻域模型的更新方法是：对于像素点(x,y),当前帧的邻域特征向量以概率p_neighbor加入到背景邻域特征模型M_neighbor(x,y)中。将邻域特征向量加入背景邻域模型的具体操作方法是：从M_neighbor(x,y)集合中等概率随机选取一个邻域特征向量并将其替换为

(2)背景灰度模型的更新方法是：对于像素点(x,y),当前图像的灰度I(x,y)以概率p_gray加入到背景灰度模型M_gray(x,y)中。将灰度值I(x,y)加入背景灰度模型的具体操作方法是：从M_gray(x,y)集合中等概率随机选取一个灰度值并将其替换为I(x,y)。

本发明的有益效果是：

(1)利用像素点的邻域特征，提高了背景模型对于光照变化和扰动的鲁棒性。

(2)背景模型简单，易于实现，计算速度快，可以满足实时智能监控系统的需求。

附图说明

图1为本发明实施例的邻域特征和灰度信息的背景建模方法的步骤流程图；

图2为本发明实施例的邻域特征示意图。

图3为本发明实施例处理的一个视频序列的其中一帧。上面一幅图是这一帧的图像，下面一幅图是这一帧的前景与背景分离结果，其中黑色为背景点，白色为前景点。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本邻域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

图1所示为本发明实施例的基于邻域特征和灰度信息的背景建模方法的步骤流程图。

步骤1：输入视频序列的第一帧，对每个像素点(x,y)利用邻域特征算子计算第一帧的邻域特征向量。

步骤2：根据第一帧的邻域特征向量，初始化背景邻域特征模型；根据第一帧中的像素点的灰度值，初始化背景灰度模型；

步骤3：输入视频序列的下一帧，对于这一帧中的每个像素点(x,y)，利用邻域特征算子计算这一帧的邻域特征向量；

步骤4：用这一帧的邻域特征向量与上一帧的背景邻域特征模型比较，计算两者的相似度，若相似度小于阈值T_neighbor(本实施例中，值为2)，则判断该点为前景点；反之，若相似度大于或等于阈值T_neighbor，则分为两种情况：1)若该点在这一帧中的邻域特征向量属于非平滑类型，则将该点判断为背景点；2)若该点在这一帧中的邻域特征向量属于平滑类型，则进入步骤5。

步骤5：取该点在这一帧中的灰度值，与上一帧的背景灰度模型计算相似度。若相似度小于阈值T_gray(本实施例中，值为2)，则判断该点为前景点；若相似度大于或等于阈值T_gray，则判断该点为背景点。

步骤6：根据步骤3-5的判断结果，对上一帧的背景邻域特征模型和背景灰度模型进行更新；

步骤7：重复步骤3-6，直到视频的最后一帧。

上述步骤中的邻域特征向量通过以下的邻域特征算子计算得到：

(1)对于像素点(x,y),将它的灰度值I(x,y)与每个8邻域像素的灰度值I(x+i,y+j)带入如下公式计算得到二进制邻域特征码code(i,j)：

$code(i,j)=\left\{\begin{array}{cc}{00}_2& if|I(x,y)-I(x+i,y+j)|<=T_{code}\\ {01}_2& ifI(x,y)-I(x+i,y+j)<-T_{code}\\ {10}_2& ifI(x,y)-I(x+i,y+j)>T_{code}\end{array}\right.,i,j\&Element;\{-1,0,1\}and(i,j)\&NotEqual;(0,0)$

上述公式中，T_code是可调阈值参数，在本实施例中，值为1。对于每个邻域像素，得到的是2个比特位的二进制特征码。由于一共要与8个邻域像素进行比较，所以一共得到2×8＝16比特的二进制邻域特征码。

(2)对(1)中得到的8个2比特二进制特征码，经过串联得到长度为16比特的邻域特征向量串联顺序是：以像素(x,y)为中心的8邻域像素，从左上角的像素(x-1,y-1)开始，按顺时针方向串联。图2为本发明实施例的邻域特征计算方法示意图。

所述步骤2中的背景邻域特征模型M_neighbor(x,y)和背景灰度模型M_gray(x,y)，通过以下方法初始化：

(1)对于像素点(x,y),以n(本实施例中，值为10)个邻域特征向量的集合作为此点的背景邻域特征模型，记为：

(2)对于视频序列中第一帧的每个像素点(x,y)，计算其邻域特征向量并复制n份组成集合M_neighbor(x,y)，作为初始的背景邻域特征模型。

(3)对于像素点(x,y),以其m(本实施例中，值为10)个历史灰度值I₁,I₂,…,I_m的集合作为此点的背景灰度模型，记为：M_gray(x,y)＝{I₁,I₂,…,I_m}。

(4)对于视频序列中第一帧的每个像素点(x,y)，取其灰度值并复制m份组成集合M_gray(x,y)，作为初始的背景灰度模型。

所述步骤4中的像素点邻域特征与背景邻域特征模型M_neighbor(x,y)的相似度Sim_neighbor(x,y)，具体通过以下步骤计算得到：

(1)对于像素点(x,y)的邻域特征向量从该点的背景邻域特征模型M_neighbor(x,y)中取一个邻域特征向量通过以下方法判定与是否是相似的邻域特征：

上述公式中，t(i)是一个16位二进制数。对t(i)的16个比特位进行统计，若有d_neighbor(本实施例中，值为3)个及其以上的比特位是1，则判定与不相似，即s(i)＝0；若只有d_neighbor个以下(不包含d_neighbor个)的比特位是1，则判定与是相似的邻域特征，即s(i)＝1。

(2)利用如下公式计算像素点(x,y)的邻域特征向量与该点的背景邻域特征模型M_neighbor(x,y)的相似度：

$Sim(x,y)=\underset{i=1}{\overset{n}{\&Sigma;}}s\left(i\right)$

所述步骤4中的邻域特征向量是否为平滑类型，通过以下方法判断：

对于的16个比特位，统计值为1的比特个数，若值为1的比特数小于等于T_smooth(本实施例中，值为3)个，则判定该邻域特征向量为平滑类型；反之，则判断该邻域特征向量为非平滑类型。

进一步的，所述步骤5中的像素点(x,y)处的灰度值与背景灰度模型M_gray(x,y)的相似度Sim_gray(x,y)，具体通过以下公式计算得到：

$s_{gray}\left(i\right)=\left\{\begin{array}{ccc}0& if|I(x,y)-I_i|>d_{gray},& I_i\&Element;M_{gray}(x,y)=\{I_1,I_2,...,I_m\}\\ 1& otherwise& \end{array}\right.$

${\mathrm{Sim}}_{gray}(x,y)=\underset{i=1}{\overset{m}{\&Sigma;}}{s}_{gray}\left(i\right)$

其中，d_gray是可调阈值，本实施例中，值为2。

所述步骤6中的背景邻域模型和背景灰度模型，通过以下方法更新：

(1)背景邻域模型的更新方法是：对于像素点(x,y),当前帧的邻域特征向量以概率p_neighbor(本实施例中，值为0.05)加入到背景邻域特征模型M_neighbor(x,y)中。将邻域特征向量加入背景邻域模型的具体操作方法是：从M_neighbor(x,y)集合中等概率随机选取一个邻域特征向量并将其替换为

(2)背景灰度模型的更新方法是：对于像素点(x,y),当前图像的灰度I(x,y)以概率p_gray(本实施例中，值为0.05)加入到背景灰度模型M_gray(x,y)中。将灰度值I(x,y)加入背景灰度模型的具体操作方法是：从M_gray(x,y)集合中等概率随机选取一个灰度值并将其替换为I(x,y)。

图3为本发明实施例处理的一个视频序列的其中一帧的效果图。上面一幅图是这一帧的图像，下面一幅图是这一帧的前景与背景分离结果，其中黑色为背景点，白色为前景点。从中可以看出本发明实施例可以较好的把作为前景的运行车辆和行人与背景分离。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于邻域特征和灰度信息的背景建模方法，其特征在于，该方法为：

步骤1：输入视频序列的第一帧，对每个像素点(x,y)利用邻域特征算子计算第一帧的邻域特征向量。

步骤2：根据第一帧的邻域特征向量，初始化背景邻域特征模型；根据第一帧中的像素点的灰度值，初始化背景灰度模型；

步骤3：输入视频序列的下一帧，对于这一帧中的每个像素点(x,y)，利用邻域特征算子计算该点在这一帧中的邻域特征向量；

步骤4：用这一帧中的邻域特征向量与上一帧的背景邻域特征模型比较，计算两者的相似度，若相似度小于阈值T_neighbor，则判断该点为前景点；反之，若相似度大于或等于阈值T_neighbor，则分为两种情况：1)若该点在这一帧中的邻域特征向量属于非平滑类型，则将该点判断为背景点；2)若该点在这一帧中的邻域特征向量属于平滑类型，则进入步骤5。

步骤5：取该点在这一帧中的灰度值，与上一帧的背景灰度模型计算相似度。若相似度小于阈值T_gray，则判断该点为前景点；若相似度大于或等于阈值T_gray，则判断该点为背景点。

步骤6：根据步骤3-5的判断结果，对上一帧的背景邻域特征模型和背景灰度模型进行更新；

步骤7：重复步骤3-6，直到视频的最后一帧。

2.根据权利要求1所述的方法，其特征在于，所述邻域特征向量vv(x,y)通过以下的邻域特征算子计算得到：

(1)对于像素点(x,y),将它的灰度值I(x,y)与每个8邻域像素的灰度值I(x+i,y+j)带入如下公式计算得到二进制邻域特征码code(i,j)：

$code\left(i,j\right)=\left\{\begin{array}{cc}{00}_2& if|I\left(x,y\right)-I\left(x+i,y+j\right)|<=T_{code}\\ {01}_2& ifI\left(x,y\right)-I\left(x+i,y+j\right)<-T_{code}\\ {10}_2& ifI\left(x,y\right)-I\left(x+i,y+j\right)>T_{code}\end{array}\right.,i,j\&Element;\left\{-1,0,1\right\}and\left(i,j\right)\&NotEqual;\left(0,0\right)$

上述公式中，T_code是可调阈值参数。对于每个邻域像素，得到的是2个比特位的二进制特征码。由于一共要与8个邻域像素进行比较，所以一共得到2×8＝16比特的二进制邻域特征码。

(2)对(1)中得到的8个2比特二进制特征码，经过串联得到长度为16比特的邻域特征向量串联顺序是：以像素(x,y)为中心的8邻域像素，从左上角的像素(x-1,y-1)开始，按顺时针方向串联。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中的背景邻域特征模型M_neighbor(x,y)和背景灰度模型M_gray(x,y)，通过以下方法初始化：

(1)对于像素点(x,y),以n个邻域特征向量的集合作为此点的背景邻域特征模型，记为：

(2)对于视频序列中第一帧的每个像素点(x,y)，计算其邻域特征向量并复制n份组成集合M_neighbor(x,y)，作为初始的背景邻域特征模型。

(3)对于像素点(x,y),以其m个历史灰度值I₁,I₂,…,I_m的集合作为此点的背景灰度模型，记为：M_gray(x,y)＝{I₁,I₂,…,I_m}。

(4)对于视频序列中第一帧的每个像素点(x,y)，取其灰度值并复制m份组成集合M_gray(x,y)，作为初始的背景灰度模型。

4.根据权利要求1所述的方法，其特征在于，所述步骤4中的像素点邻域特征与背景邻域特征模型M_neighbor(x,y)的相似度Sim_neighbor(x,y)，具体通过以下步骤计算得到：

(1)对于像素点(x,y)的邻域特征向量从该点的背景邻域特征模型M_neighbor(x,y)中取一个邻域特征向量通过以下方法判定与是否是相似的邻域特征：

上述公式中，t(i)是一个16位二进制数。对t(i)的16个比特位进行统计，若有d_neighbor个及其以上的比特位是1，则判定与不相似，即s(i)＝0；若只有d_neighbor个以下(不包含d_neighbor个)的比特位是1，则判定与是相似的邻域特征，即s(i)＝1。

(2)利用如下公式计算像素点(x,y)的邻域特征向量与该点的背景邻域特征模型M_neighbor(x,y)的相似度：

$Sim(x,y)=\underset{i=1}{\overset{n}{\&Sigma;}}s\left(i\right)$

5.根据权利要求1所述的方法，其特征在于，所述步骤4中的邻域特征向量是否为平滑类型，通过以下方法判断：

对于的16个比特位，统计值为1的比特个数，若值为1的比特数小于等于T_smooth个，则判定该邻域特征向量为平滑类型；反之，则判断该邻域特征向量为非平滑类型。

6.根据权利要求1所述的方法，其特征在于，所述步骤5中的像素点(x,y)处的灰度值与背景灰度模型M_gray(x,y)的相似度Sim_gray(x,y)，具体通过以下公式计算得到：

$s_{gray}\left(i\right)=\left\{\begin{array}{cc}0& if|I(x,y)-I_i|>d_{gray}\\ 1& otherwise\end{array}\right.,I_i\&Element;M_{gray}(x,y)=\{I_1,I_2,...,I_m\}$

${\mathrm{Sim}}_{gray}(x,y)=\underset{i=1}{\overset{m}{\&Sigma;}}{s}_{gray}\left(i\right)$

其中，d_gray是可调阈值。

7.根据权利要求1所述的方法，其特征在于，所述步骤6中的背景邻域模型和背景灰度模型，通过以下方法更新：

(1)背景邻域模型的更新方法是：对于像素点(x,y),当前帧的邻域特征向量以概率p_neighbor加入到背景邻域特征模型M_neighbor(x,y)中。将邻域特征向量加入背景邻域模型的具体操作方法是：从M_neighbor(x,y)集合中等概率随机选取一个邻域特征向量并将其替换为v

(2)背景灰度模型的更新方法是：对于像素点(x,y),当前图像的灰度I(x,y)以概率p_gray加入到背景灰度模型M_gray(x,y)中。将灰度值I(x,y)加入背景灰度模型的具体操作方法是：从M_gray(x,y)集合中等概率随机选取一个灰度值并将其替换为I(x,y)。