CN106855942B - 一种基于加权样本的视频背景提取方法 - Google Patents

Abstract

本方法公开了一种基于加权样本的视频背景提取方法，第一步，读入视频图像；第二步，对读取的图像进行背景建模，如果读取的图像为第一帧，则初始化模型，否则背景检测；第三步，如果当前像素为背景像素，则随机进行背景更新；第四步，获得背景图像，保存图像。本发明提出了一种加权样本的视频背景提取方法，利用样本的权重和“活动”样本进行样本更新，降低了有效样本的错误更新，提高了模型的表达能力。在保证背景检测准确率的前提下，降低了样本的使用量，提高了计算效率，因而可以降低视频背景提取的成本，实时性更优，适用范围广。

Description

一种基于加权样本的视频背景提取方法

技术领域

本发明属于图像处理以及视频检测领域，涉及一种基于视觉背景提取的移动目标检测技术。

背景技术

随着科技的不断发展，摄像和监控设备实现了技术飞速的提升和广泛的普及。这极大地满足了人们日常生活的需要，也给人们的生产生活提供了安全的保障。与此同时，视频每天成爆炸式地增长，这将会给人们带来几个严峻的问题：如果增加储存硬件，那会严重地增加设备成本；如果人工地观看监控视频(考虑到人的精力和注意力是有限的)，将会造成成本的增加。因此，自动地检测运动物体是技术发展的必然。这将会有利于对兴趣目标进一步识别和认知，也会大大地降低来自硬件设备和人工等所带来的成本问题。

在真实的场景下的视频监控图像，光照的变化、摄像机的抖动、周围树木或者其叶子的抖动都是不可避免的。如果传统的方法虽然能够很好的处理这些问题，但是付出的代价也是昂贵的，通常不能实时地处理图像。现在处理视频图像的检测方法。一种是高斯建模方法，将图像进行混合高斯建模，然后不断地更新其期望和方差，以便用高斯模型来模拟视频中背景图像。一种是深度学习的方法，将图片放到深度学习模型中训练，检测不同帧的差别，实现移动目标的检测。

现有基于样本背景建模的方法，通常由于更新不及时，造成处理后的背景图像噪声大，而且样本数量的增加，会增加计算机的内存。

发明内容

技术问题：本发明提供一种有效减少样本的使用数量，减少了计算机的内存的使用量，同时抗噪能力得到明显提升的基于加权样本的视频背景提取方法。

技术方案：本发明的基于加权样本的视频背景提取方法，包括以下步骤：

步骤1：读入视频文件，读取视频每帧图像的大小为M×N×L，M,N分别表示读入图像矩阵的行数和列数，其中M,N都为正整数，L表示读入图像的通道数，L＝1或3，当L＝1表示读入的图像为单通道，即灰度图像，当L＝3表示读入的图像为三通道，即彩色图像，将读入的第i帧图像记为F_i；

步骤2：对于图像中的每个像素位置x，建立一个含N个样本的背景模型M(x)，总共建立M×N个像素背景模型，所述背景模型为：

M(x)＝{K₁(x),K₂(x),...,K_N(x)},

其中K_i(x)表示背景模型M(x)中的模板，K_i(x)包括如下三个元素：1)背景样本，其表示第i个历史背景像素v_i；2)权重，其表示每个样本在像素模型中所占权值，记为c_i(x)；3)效能，它用来检测背景样本是否活动，是一个逻辑运算，即“是或否”，记为t_i(x)，K_i(x)具体地表示为：

K_i(x)＝{v_i,c_i(x),t_i(x)}；

步骤3：读入图像，如果读入图像为第一帧，则按照以下方式对步骤2中的背景模型M(x)进行初始化，得到M(x)的初始值M⁰(x)，否则直接进入步骤4：

步骤301：对N个样本v_i分别按照如下方式进行初始化：通过随机选取当前像素位置x处8邻域中的一个像素值w，将该像素值w赋给背景模型中的背景样本v_i；

步骤302：将一个固定值1赋给背景模型M(x)中的每个权重c_i(x)，然后从N个权重c_i(x)中随机的选取p个，对于选取的p个权重c_i(x)分别进行加1操作；

步骤303：将背景模型M(x)中每个效能t_i(x)赋值为0，即该样本点是“不活动”；

步骤4：按照如下方式对当前帧图像进行前景检测：

首先计算当前像素v(x)与其相对应的背景模型中样本的欧式空间距离，如果该距离小于阈值R(x)，则标记该样本t_i(x)为“活动”，否则t_i(x)标记为“不活动”，统计“活动”样本的权重Γ_i(x)和像素位置x处“活动”样本的个数H_N(x)，如果权重的和大于给定的阈值2，则标记该像素v(x)为背景，即B(x)＝1并进入步骤5，否则标记为前景B(x)＝0并将前景B(x)＝0作为提取到的视频前景输出，结束流程；

步骤5：按照以下方式对背景模型M(x)进行背景更新：

步骤501：对样本进行随机更新，即在区间[0,β]中随机选择一个整数其中β为正整数，若则将背景B(x)＝1作为提取到的视频背景输出，结束流程，否则进入步骤502；

步骤502：对背景模型M(x)中的“活动”样本的加权进行奖励，即对H_N(x)个“活动”样本的权值分别增加1/H_N(x)，同时对“不活动”样本进行惩罚，即对(N-H_N(x))个“不活动”样本的权值分别减少1/(N-H_N(x))；

步骤503：通过对模型M(x)中每个样本的权值进行大小比较操作，选取最小的权值并记录其所在位置k，首先将最小权值所在位置的样本值v_k替换为当前的像素值v(x)，而后增加该样本所在位置的权值同时将该像素模型中N个样本权值分别减去1/N，即c_i(x)＝c_i(x)-1/N,i＝1,2,...,N；

步骤504：对当前帧在像素位置x处的8邻域模型M^Neigh(x)进行随机更新，即在区间[0,β]中随机选择一个整数其中β为正整数，若则将背景B(x)＝1作为提取到的视频背景输出，结束流程，否则进入步骤505；

步骤505：在像素位置x处随机地选择8邻域中的一个模型M^Neigh(x)，通过对模型M^Neigh(x)中每个样本的权值进行大小比较操作，选取最小的权值并记录其所在位置将模型M^Neigh(x)中最小权值所在位置的样本值v_k替换为当前的像素值v(x)，而后增加该样本所在位置的权值同时将该模型M^Neigh(x)中N个样本权值分别减去1/N，即c_i(x)＝c_i(x)-1/N,i＝1,2,...,N，将背景B(x)＝1作为提取到的视频背景输出，结束流程。

进一步，在本发明方法步骤4中，“活动”样本的权重Γ_i(x)根据下式计算：

其中c_i(x)表示第i个样本的权重，dist(v(x),v_i(x))表示当前像素v(x)和样本v_i的欧式空间距离；otherwise表示“其他”的意思。进一步，在本发明方法步骤4中，对于像素位置x处“活动”样本的个数H_N(x)的统计，首先将H_N(x)初始化为0，即H_N(x)＝0，然后根据如下公式进行“活动”样本统计：

其中t_i(x)表示第i个样本的效能，otherwise表示“其他”的意思。

有益效果：本发明与现有技术相比，具有以下优点：

1)内存消耗少：在真实的视频中，通常为RGB图像且分辨率很大，如1080P(1920×1080)，这样就会造成视频背景处理算法对计算机内存消耗很大。传统的基于历史帧的样本建模方法，根据“后进先出”或者随机更新的方式，容易错误的更新有效样本，从而大大降低了有效样本的表达能力，为了增强模型的表达能力，传统的方法需要至少20个样本建立模型；而本发明提出了一种基于权重和“活动”样本的更新方式，减少了有效样本更新，增强了有效样本的表达能力，因而单个像素的模型只需要15个样本即可，这样可以有效地减少样本的使用量，提高单个样本的表达能力。本发明特别针对RGB图像，可以有效的减少了内存的使用。

2)抗噪能力强：在真实的视频环境中，天气的变化(如光照的变化，雨雪天气等)、相机的抖动以及外界的扰动(树叶的抖动等)都会对背景模型造成强烈地干扰。在样本更新的时候，传统的样本建模方法每次更新一个样本，选择样本的方式采取“后进先出”或者随机更新的方式，因此需要较长的时间来适应环境的变化。本发明一方面根据样本的权重更新模型中的样本，一方面增加新进样本的表达能力，从而明显地提高了当前像素的表达能力，从而提高了模型的抗噪能力。

3)适应范围广：本发明可以应用到不同的背景环境下的移动目标的检测。该模型仅含有两个可调节的参数，所以给定的参数通常可以适用于所有视频图像的检测。

附图说明

图1是整个系统的流程图。

图2是背景更新的流程图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为发明的一种基于加权样本的视频背景提取方法的整体流程，本发明方法按照以下步骤对视频图像进行背景检测：

步骤1：读入视频文件，读取视频每帧图像的大小为M×N×L，M,N分别表示读入图像矩阵的行数和列数，其中M,N都为正整数，L表示读入图像的通道数，L＝1或3，当L＝1表示读入的图像为单通道，即灰度图像，当L＝3表示读入的图像为三通道，即彩色图像，将读入的第i帧图像记为F_i；

步骤2：对于图像中的每个像素位置x，建立一个含N个样本的背景模型M(x)，总共建立M×N个像素背景模型，所述背景模型为：

M(x)＝{K₁(x),K₂(x),...,K_N(x)},

其中K_i(x)表示背景模型M(x)中的模板，K_i(x)包含如下三个元素：1)背景像素，表示第i个历史背景像素v_i；2)权重，其表示每个样本在像素模型中所占权值，记为c_i(x)；3)效能，它用来检测像素是否活动，是一个逻辑运算，即“是或否”，记为t_i(x)，K_i(x)具体地表示为：

K_i(x)＝{v_i,c_i(x),t_i(x)}；

步骤3：读入图像，如果读入图像为第一帧，则按照以下方式对步骤2中的背景模型M(x)进行初始化，得到M(x)的初始值M⁰(x)，否则直接进入步骤4：

步骤301：对N个样本v_i分别按照如下方式进行初始化：通过随机选取当前像素位置x处8邻域中的一个像素值w，将该像素值w赋给背景模型中的背景样本v_i；

步骤302：将一个固定值1赋给背景模型M(x)中的每个权重c_i(x)，然后从N个权重c_i(x)中随机的选取p个，对于选取的p个权重c_i(x)分别进行加1操作；

步骤303：将背景模型M(x)中每个效能t_i(x)赋值为0，即该样本点是“不活动”；

步骤4：按照如下方式对当前帧图像进行前景检测：

首先计算当前像素v(x)与其相对应的背景模型中样本的欧式空间距离，如果该距离小于阈值R(x)，则标记该样本t_i(x)为“活动”，否则t_i(x)标记为“不活动”，统计“活动”样本的权重Γ_i(x)和像素位置x处“活动”样本的个数H_N(x)，如果权重的和大于给定的阈值2，则标记该像素v(x)为背景，即B(x)＝1并进入步骤5，否则标记为前景B(x)＝0并将前景B(x)＝0作为提取到的视频前景输出，结束流程；

步骤5：参照附图2进行背景更新，具体地按照步骤501-505的顺序对背景模型M(x)进行背景更新：

步骤501：对样本进行随机更新，即在区间[0,β]中随机选择一个整数其中β为正整数，若则将背景B(x)＝1作为提取到的视频背景输出，结束流程，否则进入步骤502；

步骤502：对背景模型M(x)中的“活动”样本的加权进行奖励，即对H_N(x)个“活动”样本的权值分别增加1/H_N(x)，同时对“不活动”样本进行惩罚，即对(N-H_N(x))个“不活动”样本的权值分别减少1/(N-H_N(x))；

通过上述对模型中“活动”样本的权值进行奖励，将会明显增加“活动”样本在模型中的重要性；而对“不活动”样本的权值，一是为了增强模型的稳定性，另外一个是减少“不活动”样本对真实背景的表达；

步骤503：通过对模型M(x)中每个样本的权值进行大小比较操作，选取最小的权值并记录其所在位置k，首先将最小权值所在位置的样本值v_k替换为当前的像素值v(x)，而后增加该样本所在位置的权值：

增加新替换像素的权重的目的是为了增加该像素在模型表达的比重，这样避免该样本被快速地更新掉，另外一个是提升该样本对真实背景的表达能力，这样操作会明显地增强模型对外界噪声的抵抗能力，当对样本的权值增加后，整个模型的权值和也相应地增加，这将会破坏模型的稳定性，为了增强模型的稳定性同时避免复杂的操作，此时将该像素模型中N个样本权值分别减去1/N，即c_i(x)＝c_i(x)-1/N,i＝1,2,...,N；

步骤504：对当前帧在像素位置x处的8邻域模型M^Neigh(x)进行随机更新，即在区间[0,β]中随机选择一个整数其中β为正整数，若则将背景B(x)＝1作为提取到的视频背景输出，结束流程，否则进入步骤505；

步骤505：在像素位置x处随机地选择8邻域中的一个模型M^Neigh(x)，通过对模型M^Neigh(x)中每个样本的权值进行大小比较操作，选取最小的权值并记录其所在位置将模型M^Neigh(x)中最小权值所在位置的样本值v_k替换为当前的像素值v(x)，而后增加该样本所在位置的权值同时将该模型M^Neigh(x)中N个样本权值分别减去1/N，即c_i(x)＝c_i(x)-1/N,i＝1,2,...,N,，将背景B(x)＝1作为提取到的视频背景输出，结束流程。

进一步，在本发明方法步骤4中，“活动”样本的权重Γ_i(x)根据下式计算：

其中c_i(x)表示第i个样本的权重，dist(v(x),v_i(x))表示当前像素v(x)和样本v_i的欧式空间距离；otherwise表示“其他”的意思。

进一步，本发明方法步骤4中，对像素位置x处“活动”样本的个数H_N(x)的统计，首先将H_N(x)初始化为0，即H_N(x)＝0，然后根据如下公式进行“活动”样本统计：

其中t_i(x)表示第i个样本的效能，otherwise表示“其他”的意思。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (3)

1.一种基于加权样本的视频背景提取方法，其特征在于，该方法包括以下步骤：

步骤1：读入视频文件，读取视频每帧图像的大小为M×N×L，M,N分别表示读入图像矩阵的行数和列数，其中M,N都为正整数，L表示读入图像的通道数，L＝1或3，当L＝1表示读入的图像为单通道，即灰度图像，当L＝3表示读入的图像为三通道，即彩色图像，将读入的第i帧图像记为F_i；

步骤2：对于图像中的每个像素位置x，建立一个含N个样本的背景模型M(x)，总共建立M×N个像素背景模型，所述背景模型为：

M(x)＝{K₁(x),K₂(x),...,K_N(x)},

其中K_i(x)表示背景模型M(x)中的模板，K_i(x)包括如下三个元素：1)背景样本，其表示第i个历史背景像素v_i；2)权重，其表示每个样本在像素模型中所占权值，记为c_i(x)；3)效能，它用来检测背景样本是否活动，是一个逻辑运算，即“是或否”，记为t_i(x)，K_i(x)具体地表示为：

K_i(x)＝{v_i,c_i(x),t_i(x)}；

步骤3：读入图像，如果读入图像为第一帧，则按照以下方式对步骤2中的背景模型M(x)进行初始化，得到M(x)的初始值M⁰(x)，否则直接进入步骤4：

步骤301：对N个样本v_i分别按照如下方式进行初始化：通过随机选取当前像素位置x处8邻域中的一个像素值w，将该像素值w赋给背景模型中的背景样本v_i；

步骤302：将一个固定值1赋给背景模型M(x)中的每个权重c_i(x)，然后从N个权重c_i(x)中随机的选取p个，对于选取的p个权重c_i(x)分别进行加1操作；

步骤303：将背景模型M(x)中每个效能t_i(x)赋值为0，即该样本点是“不活动”；

步骤4：按照如下方式对当前帧图像进行前景检测：

首先计算当前像素v(x)与其相对应的背景模型中样本的欧式空间距离，如果该距离小于阈值R(x)，则标记该样本t_i(x)为“活动”，否则t_i(x)标记为“不活动”，统计“活动”样本的权重Γ_i(x)和像素位置x处“活动”样本的个数H_N(x)，如果权重的和大于给定的阈值2，则标记该像素v(x)为背景，即B(x)＝1并进入步骤5，否则标记为前景B(x)＝0并将前景B(x)＝0作为提取到的视频前景输出，结束流程；

步骤5：按照以下方式对背景模型M(x)进行背景更新：

步骤501：对样本进行随机更新，即在区间[0,β]中随机选择一个整数其中β为正整数，若则将背景B(x)＝1作为提取到的视频背景输出，结束流程，否则进入步骤502；

步骤502：对背景模型M(x)中的“活动”样本的加权进行奖励，即对H_N(x)个“活动”样本的权值分别增加1/H_N(x)，同时对“不活动”样本进行惩罚，即对(N-H_N(x))个“不活动”样本的权值分别减少1/(N-H_N(x))；

步骤503：通过对模型M(x)中每个样本的权值进行大小比较操作，选取最小的权值并记录其所在位置k，首先将最小权值所在位置的样本值v_k替换为当前的像素值v(x)，而后增加该样本所在位置的权值同时将该像素模型中N个样本权值分别减去1/N，即c_i(x)＝c_i(x)-1/N,i＝1,2,...,N；

步骤504：对当前帧在像素位置x处的8邻域模型M^Neigh(x)进行随机更新，即在区间[0,β]中随机选择一个整数其中β为正整数，若则将背景B(x)＝1作为提取到的视频背景输出，结束流程，否则进入步骤505；

步骤505：在像素位置x处随机地选择8邻域中的一个模型M^Neigh(x)，通过对模型M^Neigh(x)中每个样本的权值进行大小比较操作，选取最小的权值并记录其所在位置将模型M^Neigh(x)中最小权值所在位置的样本值替换为当前的像素值v(x)，而后增加该样本所在位置的权值同时将该模型M^Neigh(x)中N个样本权值分别减去1/N，即c_i(x)＝c_i(x)-1/N,i＝1,2,...,N，将背景B(x)＝1作为提取到的视频背景输出，结束流程。

2.根据权利要求1所述的基于加权样本的视频背景提取方法，其特征在于，所述步骤4中，“活动”样本的权重Γ_i(x)根据下式计算：

其中c_i(x)表示第i个样本的权重，dist(v(x),v_i(x))表示当前像素v(x)和样本v_i的欧式空间距离；otherwise表示“其他”的意思。

3.根据权利要求1或2所述的基于加权样本的视频背景提取方法，其特征在于，所述步骤4中，对于像素位置x处“活动”样本的个数H_N(x)的统计，首先将H_N(x)初始化为0，即H_N(x)＝0，然后根据如下公式进行“活动”样本统计：

其中t_i(x)表示第i个样本的效能，otherwise表示“其他”的意思。