CN102169538B - 一种基于像素置信度的背景建模方法 - Google Patents

Abstract

本发明公开了一种基于像素置信度的背景建模方法，通过像素置信度即像素点是背景的可能性大小来判断该点像素是否为背景，具体如下：首先依次读取视频帧，判断相邻两帧图像上对应点处的HSV像素值的大小判断该点是否稳定，稳定则增加连续稳定计数值，否则将该像素点处的连续稳定计数值置零；然后对图像上所有像素点的连续稳定计数值进行非线性归一化处理，得出当前图像上每个像素点处的未修正置信度；然后对图像中每一个像素点处的背景候选表颜色进行聚类并更新簇置信度，最后取簇置信度最高的像素值作为当前背景，继续读取下一帧图像。本发明能够准确提取背景，进而为获取监控物体做准备，可广泛地应用于物体追踪、运动分析等视频监控领域。

Description

一种基于像素置信度的背景建模方法

技术领域

本发明涉及视频跟踪图像分割技术领域，特别涉及一种基于像素置信度的背景建模方法。

背景技术

随着社会对安全的日益重视，视频跟踪技术成为一个热点话题，在视频监视、交通自动监控、人体检测与跟踪等领域得到广泛应用。一般来说典型的视频跟踪系统是用一个静止的摄像机实时监控固定区域，然后从所拍摄到的场景背景中分割出前景目标并对其进行分类、跟踪。从人们是否关注的角度，可将视频图像信息分为前景目标和背景，如果算法能够对背景进行准确建模，消除视频图像中不感兴趣的复杂背景，就可以使后续处理过程的注意力集中在前景目标上，从而不仅可减少计算量，节约系统资源，也可以大大简化图像理解、目标自动跟踪等问题。因此，如何准确地建立背景模型是目前视频监控的一个重要研究内容。

在当前运用背景建模进行目标检测的工作中，大致可分为2大类，一类是针对每个独立像素的特则信息建模，一类是根据区域信息建立区域模型。目前大多数的方法都是属于第一类，例如混合高斯背景建模方法，该方法目前已成为背景减除中最为常用的一个标准算法，但这个模型也只是模拟了单个像素点在时间序列上的分布，而没有考虑到在一帧图像中存在的空间上的关联性，另外也很难确定混合模型中高斯分布的个数。还有一种常用的方法是编码本(codebook)算法，它是先根据视频序列产生最初的编码本，借助码字(codeword)中的一个参数“最长未出现时间”进行时域滤波处理，最后经过空域滤波，将上一步错误删除的代表较少出现的背景状态的码字回复到编码本中。但是上述的算法在前景物体运动混乱，背景发生扰动的情况都无法达到令人满意的效果，且其实时性和准确性不能满足应用的要求。

因此，需要提供一种既可在复杂背景下应用又能同时满足实时性和准确性要求的背景建模方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于像素置信度的背景建模方法，该方法既可在复杂背景下应用又能同时满足实时性和准确性要求，适用于多个不同场合。

本发明的目的通过以下的技术方案实现：一种基于像素置信度的背景建模方法，所述像素置信度是指像素点是背景的可能性大小，该方法具体步骤如下：

(1)初始化：将图像存储模块中的图像清空，图像采集模块采集第一帧图像后存入图像存储模块，该图像作为初始背景图像，然后将每个像素点对应的连续稳定计数值初始化为零，为图像中的每一个像素点对应建立一个链表，用于存储背景候选表信息；

(2)读取下一帧图像，根据相邻两帧图像上对应点处的HSV像素值的大小判断该点是否稳定，如果稳定，则将该像素点处的连续稳定计数值加1，否则将该像素点处的连续稳定计数值置零；然后进入步骤(3)；

(3)将图像上所有像素点的连续稳定计数值进行非线性归一化处理，得出当前图像上每个像素点处的未修正置信度；然后根据像素点的空间位置信息对未修正置信度值进行修正得到像素点处的颜色置信度；然后进入步骤(4)；

(4)依次读取当前帧图像中的每一个像素点，判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似，如果相似，则将当前点并入该簇，并将该点颜色值作为该簇的代表颜色，用当前像素点处的颜色置信度更新该点所在簇的簇置信度，然后进入步骤(5)；如果不相似，则将该颜色值建立新簇，该颜色即为新建簇的代表颜色，用当前像素点处的颜色置信度作为新建簇的簇置信度，然后进入步骤(5)；

(5)对该像素点更新后的背景候选表中所有簇的置信度按照一定遗忘速率进行衰减，然后根据衰减后的背景候选表信息和新评估的簇置信度以一定学习速率进行更新，最后选取该像素点背景候选表中簇置信度最高的像素值作为该像素点的背景值，然后转到步骤(2)。

所述步骤(1)中背景候选表用链表实现，每一节点存储簇代表颜色和簇置信度两个信息，背景候选表至少包括一个簇，其中的簇是通过对已经采集到的所有帧图像中在该点出现过的颜色按照HSV值进行聚类而成的，根据当前采集图像信息簇的大小和簇的代表颜色不断更新。

所述步骤(2)中判断相邻两帧图像上对应点像素值是否稳定，通过如下方法来判断：设定一个阈值threshold，设第k张和第k-1张图像上对应某一点处的色调和饱和度分别为(hue_k(x，y)，stature_k(x，y))、(hue_k-1(x，y)，stature_k-1(x，y))，如果满足下式则认为在该点处像素值是稳定的：

|hue_k(x，y)-hue_k-1(x，y)|+|stature_k(x，y)-stature_k-1(x，y)|＜threshold

所述用于判断相邻两帧图像上对应点像素值是否稳定的方法中，阈值threshold取10-15时，效果最佳。

所述步骤(3)中，对图像上所有像素点的连续稳定计数值进行非线性归一化处理的方法具体如下：设图像中某像素点处的连续稳定计数值为StableCount，StableCount∈N，则该像素点处的未修正置信度为：

${\mathrm{Confid}}_{\mathrm{pixel}}=\left\{\begin{array}{c}1-\frac{1}{\mathrm{StableCount}},\mathrm{StableCount}\≠0\\ 0,\mathrm{StableCount}=0\end{array}\right.$

这种方法对连续稳定的背景和短暂停留的前景物体会被赋给不同的置信度值，这就给区分这两种情况创造了条件。

所述步骤(3)中，对未修正置信度值进行修正的具体方法是：将图像按照色彩和纹理信息进行分割，如果像素点所处分割区域内超过2/3的像素点被判定为背景，则对该像素的未修正置信度乘以增益系数K₁，K₁＞1；反之如果像素点所处分割区域内超过2/3的像素点被判定为非背景，则对该像素的未修正置信度乘以衰减系数K₂，K₂＜1。

为能够既保证判定的准确性又尽量达到修正的目的，所述增益系数K₁取值在1.05-1.1之间；衰减系数K₂取值在0.9-0.95之间。

所述步骤(4)中判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似的方法是：设该像素点处的色调和饱和度分别为hue_k(x，y)、stature_k(x，y)，簇代表颜色的色调和饱和度分别为H_hue_k(x，y)、H_stature_k(x，y)，如果满足下式则认为二者相似：|hue_k(x，y)-H_hue_k(x，y)|+|stature_k(x，y)-H_stature(x，y)|≤threshold2

所述用于判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似的方法中，阈值threshold2取10-15时，效果最佳。

所述步骤(5)中，设Confid′_cluster和Confid″_cluster分别表示遗忘后的簇置信度和遗忘前的簇置信度，ForgetRate表示遗忘速率，则

Confid′_cluster＝ForgetRate*Confid″_cluster；

设Confid_cluster和Confid_pixel分别表示根据像素颜色置信度学习后的新簇置信度和当前图像该点处的颜色置信度，LearningRate表示学习速率，则

Confid_cluster＝Confid’_cluster+LearningRate*Confid_pixel

所述遗忘速率取值在0.9-0.95之间，学习速率取值在0.1-0.2之间。

为更好的实现本发明目的，防止偶然出现的颜色长时间占据存储空间，可将步骤(5)更新后簇置信度过小，即簇置信度＜0.05的颜色簇从背景候选表中删除。

更进一步，所述步骤(5)中，找到像素点对应的置信度最高的簇Confid_{cluster，max}，如果该簇置信度满足如下条件：

$\frac{{\mathrm{Confid}}_{\mathrm{cluster},\max }}{\mathrm{Avg}\left({\mathrm{Confid}}_{\mathrm{cluster},n}\right)}<1.2$

其中Avg(Confid_cluster，n)表示该像素点背景候选表中的平均簇置信度，则很有可能是树叶摇摆、风吹旗帜等波动，则将该像素点所对应的背景候选表中所有的颜色值判定为背景像素值，如果不满足上述条件，则将簇Confid_{cluster，max}的代表颜色值作为背景像素值。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明方法通过引入像素置信度这一概念，对每一个像素点上出现过的颜色进行聚类分析，考虑每一颜色出现的次数和稳定程度，以及该像素点所处空间信息，得到其作为背景的可能性，对于一些前景物体往复出现，背景偶尔出现的视频，能够准确提取背景，进而采取背景扣除的方法，为获取监控物体做准备，可广泛地应用于物体追踪、运动分析等视频监控领域。

2、本发明方法可通过多次背景建模确定前景物体的层次，可用于2D转3D的深度图制作。

3、本发明方法相较于现有技术具有建模速度快，结果准确等优势。

附图说明

图1是本发明方法的流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1所示，一种基于像素置信度的背景建模方法，所述像素置信度是指像素点是背景的可能性大小，该方法具体步骤如下：

(1)初始化：将图像存储模块中的图像清空，图像采集模块采集第一帧图像后存入图像存储模块，该图像作为初始背景图像，然后将每个像素点对应的连续稳定计数值初始化为零，为图像中的每一个像素点对应建立一个链表，用于存储背景候选表信息；

(2)读取下一帧图像，根据相邻两帧图像上对应点处的HSV像素值的大小判断该点是否稳定，如果稳定，则将该像素点处的连续稳定计数值加1，否则将该像素点处的连续稳定计数值置零；然后进入步骤(3)；

(3)将图像上所有像素点的连续稳定计数值进行非线性归一化处理，得出当前图像上每个像素点处的未修正置信度；然后根据像素点的空间位置信息对未修正置信度值进行修正得到像素点处的颜色置信度；然后进入步骤(4)；

(4)依次读取当前帧图像中的每一个像素点，判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似，如果相似，则将当前点并入该簇，并将该点颜色值作为该簇的代表颜色，用当前像素点处的颜色置信度更新该点所在簇的簇置信度，然后进入步骤(5)；如果不相似，则将该颜色值建立新簇，该颜色即为新建簇的代表颜色，用当前像素点处的颜色置信度作为新建簇的簇置信度，然后进入步骤(5)；

(5)对该像素点更新后的背景候选表中所有簇的置信度按照一定遗忘速率进行衰减，然后根据衰减后的背景候选表信息和新评估的簇置信度以一定学习速率进行更新，最后选取该像素点背景候选表中簇置信度最高的像素值作为该像素点的背景值，然后转到步骤(2)。

所述步骤(1)中背景候选表用链表实现，每一节点存储簇代表颜色和簇置信度两个信息，背景候选表至少包括一个簇，其中的簇是通过对已经采集到的所有帧图像中在该点出现过的颜色按照HSV值进行聚类而成的，根据当前采集图像信息簇的大小和簇的代表颜色不断更新。

为了验证本算法的实际效果，我们在酷睿E5300，VS2008下结合OpenCV2.1进行了实现。同时采用两段视频检测建模及分割结果并与Open CV库内置的高斯背景建模的结果进行对比。所采用的视频为摄像机在固定角度下拍摄的乒乓球比赛，运动员在一个较小的范围内连续做短距离往复运动。通过比较其结果可以得到，在运动员往复运动过程中，由于背景和运动员几乎等时间的出现，高斯背景建模方法不能很好地区分运动员和场地背景，背景模型中有较为明显的运动员身体的残影。而采用本发明基于置信度的建模方法在大概100帧图像时得到的背景中，已几乎看不到运动员身体。

所述步骤(2)中判断相邻两帧图像上对应点像素值是否稳定，通过如下方法来判断：设定一个阈值threshold，设第k张和第k-1张图像上对应某一点处的色调和饱和度分别为(hue_k(x，y)，stature_k(x，y))、(hue_k-1(x，y)，stature_k-1(x，y))，如果满足下式则认为在该点处像素值是稳定的：

|hue_k(x，y)-hue_k-1(x，y)|+|stature_k(x，y)-stature_k-1(x，y)|＜threshold

所述用于判断相邻两帧图像上对应点像素值是否稳定的方法中，阈值threshold取10-15之间，效果最佳。

所述步骤(3)中，对图像上所有像素点的连续稳定计数值进行非线性归一化处理的方法具体如下：设图像中某像素点处的连续稳定计数值为StableCount，StableCount∈N，则该像素点处的未修正置信度为：

${\mathrm{Confid}}_{\mathrm{pixel}}=\left\{\begin{array}{c}1-\frac{1}{\mathrm{StableCount}},\mathrm{StableCount}\&NotEqual;0\\ 0,\mathrm{StableCount}=0\end{array}\right.$

所述步骤(3)中，对未修正置信度值进行修正的具体方法是：将图像按照色彩和纹理信息进行分割，如果像素点所处分割区域内超过2/3的像素点被判定为背景，则对该像素的未修正置信度乘以增益系数K₁，K₁＞1；反之如果像素点所处分割区域内超过2/3的像素点被判定为非背景，则对该像素的未修正置信度乘以衰减系数K₂，K₂＜1。

为能够既保证判定的准确性又尽量达到修正的目的，所述增益系数K₁取值在1.05-1.1之间；衰减系数K₂取值在0.9-0.95之间。

所述步骤(4)中判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似的方法是：设该像素点处的色调和饱和度分别为hue_k(x，y)、stature_k(x，y)，簇代表颜色的色调和饱和度分别为H_hue_k(x，y)、H_stature_k(x，y)，如果满足下式则认为二者相似：|hue_k(x，y)-H_hue_k(x，y)|+|stature_k(x，y)-H_stature(x，y)|≤threshold2

所述用于判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似的方法中，阈值threshold2取10-15时，效果最佳。

所述步骤(5)中，设Confid′_cluster和Confid″_cluster分别表示遗忘后的簇置信度和遗忘前的簇置信度，ForgetRate表示遗忘速率，则

Confid′_cluster＝ForgetRate*Confid″_cluster；

设Confid_cluster和Confid_pixel分别表示根据像素颜色置信度学习后的新簇置信度和当前图像该点处的颜色置信度，LearningRate表示学习速率，则

Conffid_cluster＝Confid’_cluster+LearningRate*Confid_pixel

所述遗忘速率取值在0.9-0.95之间，学习速率取值在0.1-0.2之间。

为防止偶然出现的颜色长时间占据存储空间，可将步骤(5)更新后簇置信度＜0.05的颜色簇从背景候选表中删除。

所述步骤(5)中，找到像素点对应的置信度最高的簇Confid_{cluster，max}，如果该簇置信度满足如下条件：

$\frac{{\mathrm{Confid}}_{\mathrm{cluster},\max }}{\mathrm{Avg}\left({\mathrm{Confid}}_{\mathrm{cluster},n}\right)}<1.2$

其中Avg(Confid_cluster，n)表示该像素点背景候选表中的平均簇置信度，则很有可能是树叶摇摆、风吹旗帜等波动，则将该像素点所对应的背景候选表中所有的颜色值判定为背景像素值，如果不满足上述条件，则将簇Confid_{cluster，max}的代表颜色值作为背景像素值。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于像素置信度的背景建模方法，其特征在于，所述像素置信度是指像素点是背景的可能性大小，该方法具体步骤如下：

（1）初始化：将图像存储模块中的图像清空，图像采集模块采集第一帧图像后存入图像存储模块，该图像作为初始背景图像，然后将每个像素点对应的连续稳定计数值初始化为零，为图像中的每一个像素点对应建立一个链表，用于存储背景候选表信息；

（2）读取下一帧图像，根据相邻两帧图像上对应点处的HSV像素值的大小判断该点是否稳定，如果稳定，则将该像素点处的连续稳定计数值加1，否则将该像素点处的连续稳定计数值置零；然后进入步骤（3）；

（3）将图像上所有像素点的连续稳定计数值进行非线性归一化处理，得出当前图像上每个像素点处的未修正置信度；然后根据像素点的空间位置信息对未修正置信度值进行修正得到像素点处的颜色置信度；然后进入步骤（4）；

其中，进行非线性归一化处理的方法具体如下：设图像中某像素点处的连续稳定计数值为StableCount，StableCount∈N，N为自然数集，则该像素点处的未修正置信度为：

${\mathrm{Confid}}_{\mathrm{pixel}}=\left\{\begin{array}{c}1-\frac{1}{\mathrm{StableCount}},\mathrm{StableCount}\&NotEqual;0\\ 0,\mathrm{StableCount}=0\end{array}\right.;$

对未修正置信度值进行修正的具体方法是：将图像按照色彩和纹理信息进行分割，如果像素点所处分割区域内超过2/3的像素点被判定为背景，则对该像素的未修正置信度乘以增益系数K₁，K₁>1；反之如果像素点所处分割区域内超过2/3的像素点被判定为非背景，则对该像素的未修正置信度乘以衰减系数K₂，K₂<1；

（4）依次读取当前帧图像中的每一个像素点，判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似，如果相似，则将当前点并入该簇，并将该点颜色值作为该簇的代表颜色，用当前像素点处的颜色置信度更新该点所在簇的簇置信度，然后进入步骤（5）；如果不相似，则将该颜色值建立新簇，该颜色即为新建簇的代表颜色，用当前像素点处的颜色置信度作为新建簇的簇置信度，然后进入步骤（5）；

（5）对该像素点更新后的背景候选表中所有簇的置信度按照一定遗忘速率进行衰减，然后根据衰减后的背景候选表信息和新评估的簇置信度以一定学习速率进行更新，最后选取该像素点背景候选表中簇置信度最高的像素值作为该像素点的背景值，然后转到步骤（2）。

2.根据权利要求1所述的基于像素置信度的背景建模方法，其特征在于，所述步骤（1）中背景候选表用链表实现，每一节点存储簇代表颜色和簇置信度两个信息，背景候选表至少包括一个簇，其中的簇是通过对已经采集到的所有帧图像中在该点出现过的颜色按照HSV值进行聚类而成的，根据当前采集图像信息簇的大小和簇的代表颜色不断更新。

3.根据权利要求1所述的基于像素置信度的背景建模方法，其特征在于，所述步骤（2）中判断相邻两帧图像上对应点像素值是否稳定，通过如下方法来判断：设定一个阈值threshold，设第k张和第k-1张图像上对应某一点处的色调和饱和度分别为（hue_k(x,y),stature_k(x,y)）、（hue_k-1(x,y),stature_k-1(x,y)），如果满足下式则认为在该点处像素值是稳定的：

|hue_k(x,y)-hue_k-1(x,y)|+|stature_k(x,y)-stature_k-1(x,y)|<threshold；

所述步骤（4）中判断当前读取图像中该像素点处的值是否与该点背景候选表中的某一簇的代表颜色相似的方法是：设定一个阈值threshold2，设该像素点处的色调和饱和度分别为hue_k(x,y)、stature_k(x,y)，簇代表颜色的色调和饱和度分别为H_hue_k(x,y)、H_stature_k(x,y)，如果满足下式则认为二者相似：

|hue_k(x,y)-H_hue_k(x,y)|+|stature_k(x,y)-H_stature(x,y)|≤threshold2。

4.根据权利要求3所述的基于像素置信度的背景建模方法，其特征在于，所述阈值threshold取10-15之间的值；阈值threshold2取10-15之间的值。

5.根据权利要求4所述的基于像素置信度的背景建模方法，其特征在于，所述增益系数K₁取值在1.05-1.1之间；衰减系数K₂取值在0.9-0.95之间。

6.根据权利要求1所述的基于像素置信度的背景建模方法，其特征在于，所述步骤（5）中，设Confid′_cluster和Confid″_cluster分别表示遗忘后的簇置信度和遗忘前的簇置信度，ForgetRate表示遗忘速率，则

Confid′_cluster=ForgetRate*Confid″_cluster；

设Confid_cluster和Confid_pixel分别表示根据像素颜色置信度学习后的新簇置信度和当前图像该点处的颜色置信度，LearningRate表示学习速率，则

Confid_cluster=Confid’_cluster+LearningRate*Confid_pixel。

7.根据权利要求6所述的基于像素置信度的背景建模方法，其特征在于，所述遗忘速率取值在0.9-0.95之间，学习速率取值在0.1-0.2之间。

8.根据权利要求1所述的基于像素置信度的背景建模方法，其特征在于，所述步骤（5）中，找到像素点对应的置信度最高的簇Confid_{cluster，max}，如果该簇置信度满足如下条件：

$\frac{{\mathrm{Confid}}_{\mathrm{cluster},\max }}{\mathrm{Avg}\left({\mathrm{Confid}}_{\mathrm{cluster},n}\right)}<1.2;$

其中Avg(Confid_cluster,n)表示该像素点背景候选表中的平均簇置信度，则将该像素点所对应的背景候选表中所有的颜色值判定为背景像素值，如果不满足上述条件，则将簇Confid_{cluster，max}的代表颜色值作为背景像素值。

Images