CN109785356A

CN109785356A - 一种视频图像的背景建模方法

Info

Publication number: CN109785356A
Application number: CN201811548271.5A
Authority: CN
Inventors: 刘畅; 尚源峰; 高明晋; 周一青; 石晶林
Original assignee: Beijing Zhongke Super Media Information Technology Co Ltd
Current assignee: Beijing Zhongke Super Media Information Technology Co Ltd
Priority date: 2018-12-18
Filing date: 2018-12-18
Publication date: 2019-05-21
Anticipated expiration: 2038-12-18
Also published as: CN109785356B

Abstract

本发明提供了一种视频图像的背景建模方法。该方法包括：针对多个视频图像帧，将每帧图像划分为多个图像块；根据所述多个视频图像帧的第一帧建立初始背景模型，所述初始背景模型对于每个背景点存储一个对应的样本集；对于第一帧的后续帧，通过与所述初始背景模型进行匹配来构造针对所述多个图像块的背景模型，以形成背景图。本发明的方法能够快速、准确的构建背景模型。

Description

一种视频图像的背景建模方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频图像的背景建模方法。

背景技术

随着智慧城市的快速发展，安防行业市场持续增长，安防行业将向规模化、自动化、智能化转型升级，预计到2020年，安防企业总收入将达到8000亿左右，年增长率达到10％以上。随着人工智能产业化的加快落地，至2022年，安防产业市场规模将达到近万亿。将计算机视觉技术融入视频监控系统是未来发展的必然趋势，实现对视频流图像处理、背景、目标分析等工作，构建模型库初始背景，以给予视频监控系统智能性。背景提取技术是智能监控系统的核心技术，其研究领域涉及到图像处理、模式识别、人工智能及自动控制等诸多领域。

然而，在实际场合中，场景图像往往是复杂多变的，例如，场景中光照的变化、摇动的树叶、水面的波纹、人为遗留物、遮挡、徘徊、相机微小的震动而产生的偏移等，这些复杂多变的场景往往造成背景提取出现鬼影、孔洞线性等问题，从而导致图像信息的损失，严重影响了运动目标检测或背景提取的精度。目前常用的背景图像提取方法(例如，统计直方图法、统计中值法、帧间差分法、基于Vibe算法的背景建模等)在实时性、准确性和鲁棒性等方面还存在这一定的局限性。以基于Vibe算法的背景建模为例，存在的主要问题有：1)、鬼影问题，这是由于Vibe背景建模利用第一帧作为初始帧来初始化背景模型，而第一帧存在着运动目标，并非真实的背景图像时，检测结果中会出现鬼影；2)、静止目标问题，当前景目标长时间驻留未运动(例如，人在等地铁)，该运动目标逐渐被背景吸收，而Vibe背景模型的更新速度过快时，会将静止或缓慢运动目标吸收为背景的一部分，此时无法正确的检测出前景目标；3)阴影前景问题，由于光线被前景目标遮挡(例如，被人体或车体运动目标所遮挡)，投射阴影区的背景被误检为运动目标前景；4)运动目标不完整问题，例如，运动目标内部有大量空洞、运动目标边缘残缺、运动目标中间有断层等。

因此，目前还没有一种适应于各种复杂场合的背景建模方法，需要对现有技术进行改进，以提供一种鲁棒性更强、实时性更好、准确度更高的背景建模方法。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种视频图像的背景建模方法。

本发明提供了一种视频图像的背景建模方法，该方法包括以下步骤：

步骤1：针对多个视频图像帧，将每帧图像划分为多个图像块；

步骤2：根据所述多个视频图像帧的第一帧建立初始背景模型，所述初始背景模型对于每个背景点存储一个对应的样本集；

步骤3：对于第一帧的后续帧，通过与所述初始背景模型进行匹配来构造针对所述多个图像块的背景模型，以形成背景图。

在一个实施例中，对于一帧图像，根据以下子步骤获得所述多个图像块：

步骤11：将该帧图像划分为多个初始图像块，其中，相邻初始图像块之间存在多行重合的像素点；

步骤12：通过抽样将所述多个初始图像块按比例缩小，将缩小的图像块作为所述多个图像块。

在一个实施例中，在步骤3中，根据以下子步骤构造所述图像块的背景模型：

步骤21：对于第一帧的后续帧中的像素点，通过将其像素值与阈值进行比较来确定该像素点是否为背景点；

步骤22：根据判断结果确定相对于所述初始背景模型需要更新的像素点并更新其对应的样本集；

步骤23：对于第一帧的后续帧中的图像块，根据更新的像素点数量确定是否将该图像块构造为背景模型。

在一个实施例中，步骤21包括：

步骤211：对于第一帧的后续帧中的像素点，将其像素值大于所述初始背景模型的样本值的像素点初步判断为背景点；

步骤212：将初步判断为背景点的次数大于次数阈值的像素点作为背景点。

在一个实施例中，步骤22包括：

对于被判断为背景点的像素点，以预定概率随机地更新其对应的样本集并以该预定概率更新其邻居点的样本集。

在一个实施例中，步骤23包括：

步231：如果图像块中被判断为背景点的像素点数与其总像素点数的比值大于第一比例阈值，则将该图像块初步判断为构造成背景模型；

步骤232：将被初步判断为背景模型的图像块均匀划分为4个子块，如果存在高于两个子块的背景点数与其子块的总像素点数的比值大于第二比例阈值，则确定将该图像块构造为背景模型。

在一个实施例中，本发明的方法还包括：

步骤4：根据被构造为背景模型的图像块的领域对所构造出的背景模型进行优化。

在一个实施例中，步骤4包括以下子步骤：

步骤41：如果被构造为背景模型的图像块B_f，b的四邻域块均被判定为背景块，则确定B_f，b为背景块；

步骤42：如果B_f，b的四邻域块均被判定为前景块，则将B_f，b填充为前景；

步骤43：对于不属于步骤41和42的情况，搜索与B_f，b的距离小于阈值的平滑背景块B_f，m，对于B_f，b块内的每一像素I，如果则将该像素划分为背景，其中，MEAN表示均值，BCON表示块内均方差，B_f，b表示第f帧的第b块，B_f，m表示第f帧的第m块。

在一个实施例中，本发明的方法还包括：

通过连通域分析方法针对所述背景图初步搜索连通域；

计算每个连通域的面积，对于面积不大于面积阈值T_S的连通域，提取对应邻近的背景块来重构背景图。

在一个实施例中，T_S表示为：

其中，表示连续N_f帧被判定为前景区域的面积S_i，j的和， S_FG，f表示第f帧的前景区域面积，ρ为比例系数。

与现有技术相比，本发明的优点在于：对vibe算法进行改进，利用重叠分块的思想进行背景建模，提高了处理的并行度和提取背景图像的准确度；在分块的基础上，通过将图像块进一步按比例缩小，降低了运算量，并最终降低了处理时延，提高了实时性；对获得的背景模型利用连通域分析等相关算法消除小连通域和孔洞，从而能够更精确的提取出场景背景。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了根据本发明一个实施例的视频图像的背景建模方法的流程图；

图2示出了重叠分块的背景提取的示意图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

根据本发明的一个实施例，提供了一种视频图像的背景建模方法，简言之，该建模方法整体上可分为四个过程：1)初始化过程，在该过程中，对用于背景建模的多个图像帧进行分块，获得多个图像块；2)构造初始背景模型过程，以第一帧图像为基础，构造像素点的初始背景模型；3) 背景模型更新过程，对接收的新像素点，与初始背景模型进行匹配，确定需要更新的像素点，进而确定针对图像块需要更新的背景模型；4)背景模型优化过程，在该过程中，通过连通域分析对构造的背景模型进一步优化，以获得更精确的背景模型。

具体地，参见图1所示，本发明的方法包括以下步骤：

步骤S110，将用于背景建模的多个图像帧划分为多个图像块。

在本发明中，利用多个图像帧来进行背景建模。例如，以连续N_f个图像帧为例，其中，N_f的取值可根据要求的处理速度和精度确定，例如，设置为50帧、100帧等。

在本发明中，采用分块思想来进行背景建模。例如，对于连续N_f帧，将每帧图像分为N_B个图像块，在本文中，将第f帧的第b个图像块B_f，b的背景模型表示为BK_f，b。

在一个实施例中，根据相邻图像块像素点的相关性，在分块方式上使用重叠区域概念，分割出来的n*m大小的相邻块间都有m1行重合的像素点。参见图2(a)所示，将一帧图像分为N_B块，每块大小为n*m，重合区域行数为m1行，从而提取图像块(参见图2(b)所示)。通过这种重叠分块方式，对相邻的多个像素进行整体处理，能够减少计算冗余，提高执行效率。并且，这种重叠分块方式考虑了图像的空间传播特性，即相邻像素点间的相关性，从而能够更准确地构造背景模型。

在另一优选实施例中，在提取图像块的基础上，将图像块按k倍的缩小比例缩小(参见图2(c)所示)。例如，通过从x轴和y轴两个方向分别进行一次线性插值(或称双线性插值)来缩小图像块。通过将图像块缩小，能够利用每个图像块中的部分像素点来表征该图像块，从而大量减少参与计算的像素数量，提高处理速度。

在又一实施例中，采用基于可变块大小的分块方式，即采用多级分块机制。例如，对于100个连续帧，采用三种级别的分块大小，分别为n*n、 2n*2n和4n*4n。例如，对于100帧中前3/4(即前75帧)分块大小为n*n，对剩余25帧中的3/4(向下取整为18帧)分块大小为2n*2n，而对其余的帧(即7帧)分块大小为4n*4n。这种基于可变块大小的背景建模更能够适应不同应用场景，这是由于摄像头离监控对象的远近和监控场景光照不同，采集监控图像的摄像头参数就会各不相同，镜头本身焦距以及光圈大小的不同，导致不同大小块对于远近不同的物体能刻画出的图像细节也不相同。

步骤S120，以第一帧图像为基础，构造像素点的初始背景模型。

在此步骤中，对第一帧图像进行前、背景判断，对于判断为背景点的像素，提取一定数量的样本值，组成样本集，从而获得初始背景模型，对于第一帧图像，可采用现有技术中的方法进行前、背景判断。

根据本发明的一个实施例，对于像素点的初始背景模型的构建，基于一个像素和其邻域像素的像素值在空域上有相似的分布，每一个像素都可以用其邻域中的像素来表示，当输入第一帧图像时，即t＝0时，像素点的初始背景模型可表示为：

其中，N_G(x，y)表示空域上相邻的像素值，f⁰(xⁱ，yⁱ)表示当前点i的像素值，t表示图像帧编号。为了保证背景模型符合统计学规律，邻域的范围要足够大。

根据公式(1)，通过从邻域范围随机抽取像素点，可获得一个背景像素点的多个样本值，从而构成样本集。例如，样本集中包含20个样本值。

通过步骤S110和S120的处理，以第一帧为基础获得了像素点的初始背景模型，该初始背景模型为每个背景点存储一个样本集。

步骤S130，对于后续帧，与初始背景模型进行匹配，以确定需要更新的像素点。

在此步骤中，对于第一帧后续的图像序列进行前景目标分割操作，以判断新的像素点属于前景点还是背景点，进而判断相对于初始背景模型需要更新的像素点。

根据本发明的一个实施例，当t＝k时，像素点(x，y)的背景模型表示为其中k表示帧号、表示第k-1帧像素点(x，y)的背景模型，像素值表示为f^k(xⁱ，yⁱ)，按照下式判断该像素点属于背景点还是前景点：

其中，r是背景模型样本集中的样本值的索引，T是预定的像素值阈值，例如T可取20。

公式(2)表示如果一个像素点的像素值与背景模型样本集中的一个样本值之间的距离大于阈值T，则认为该像素点为前景点(foreground)，否则认为该像素点是背景点(background)。

在另一个实施例中，当像素点f^k(x，y)满足符合背景点一定次数时，认为像素点f^k(x，y)为背景，否则为前景。例如，将像素值与样本集中的所有样本值进行比较，如果均符合背景点的判断条件，则认为像素点f^k(x，y)为背景点。

在通常情况下，背景并不会发生较大的变化，因此每帧中像素点更新的个数UpdateNum应该是相近的。因此，在一个优选实施例中，将第一帧中像素点更新的次数InitNum作为比较值，符合下式则对背景模型进行更新，从而避免由于大面积的光照变化导致的误判。

|UpdateNum-InitNum|＞R*InitNum (3)

其中，R表示比例阈值，在实际应用中，可根据光照的变化程度等选择合适的值。例如，设置为0.2、0.3、0.4等。

在确定更新的像素点之后，可采用多种方式进行。例如，利用空间和时间的随机性对像素点进行更新，以有效防止鬼影现象的发生。下面分别介绍关于时间随机性的实施例和关于空间随机性的实施例。

1)关于时间随机性的实施例

背景模型的更新就是使得背景模型能够适应背景的不断变化，比如光照的变化，背景物体的变更等。

在一个实施例中，利用时间随机性的一种保守的更新策略是：前景点永远不会被用来填充背景模型，例如，初始化的时候如果一块静止的区域被错误的检测为运动的，那么在这种策略下它永远会被当作运动的物体来对待。又如，采用Blind策略，即前景背景都可以用来更新背景模型。

在一个优选实施例中，采用的更新策略是保守的更新策略+前景点计数方法。前景点计数方法是指对像素点进行统计，如果某个像素点连续被检测为前景的次数超过一个阈值，则将其更新为背景点，即在这种情况下，实际上该像素点处于静止状态，可将其作为背景点。

在确定了需要将某个像素点更新为背景点时，在每一个新的视频帧中都去更新背景模型中的每一个像素点的样本值是没有必要的。在一个实施例中，当一个像素点被分类为背景点时，以的概率去更新背景模型和其领域的背景模型，为预定的值，例如，可设置为16。

具体地，参见下表1所示，对于图像P_G的某一位置P_G(x)及其八邻域内的像素，每一个背景点有的概率去更新自己的背景模型样本值，同时也有的概率去更新其邻居点的模型样本值。通过更新邻居的样本值，体现了像素值的空间传播特性，背景模型逐渐向外扩散，从而有利于Ghost (鬼影)区域的更快识别。

表1：随机更新示例

P<sub>G</sub>(1)	P<sub>G</sub>(2)	P<sub>G</sub>(3)
			P<sub>G</sub>(4)	P<sub>G</sub>(x)	P<sub>G</sub>(5)
P<sub>G</sub>(6)	P<sub>G</sub>(7)	P<sub>G</sub>(8)

进一步地，在选择要替换的样本集中的样本值时候，随机选取一个样本值进行更新，以保证样本值的平滑的生命周期，由于是随机更新，这样一个样本值在时刻t不被更新的概率是假设时间是连续的，那么在dt时间之，样本值仍然保留的概率是：

在该实施例中，通过随机地更新像素点的背景模型和领域的背景模型，以及随机地更新背景模型样本集中的一个样本值，能够保证样本值的平滑替换以及准确地识别鬼影区域。

2)关于空间随机性的实施例

在一个实施例中，采用空间随机性的方式来更新背景模型，例如，仍参见表1所示，在P_G(x)的八邻域中随机抽取一个像素P_G(r)，用P_t(x)来替换掉P_G(r)，其中，P_t(x)表示t时刻图像p的像素点x，即用新的像素点x去替换该像素点8邻域内任意一个像素点的值，这种方式体现的是空间随机性。通过这种空间上八邻域更新的方法，可以去除由于获取的视频细微抖动(例如，摄像机抖动、目标微动)而产生的重影和误差，从而获得更准确的背景模型。

在此步骤S130中，通过判断后续帧中的前景点和背景点来确定相对于初始背景模型需要更新的像素点以及更新策略。

步骤S140，判断图像块是否可构成背景块。

当对像素点完成判断和更新之后，在此步骤中，对图像块是否能构成背景进行判断。

在一个实施例中，采用以下方式判断是否将某一图像块提取为背景块：假设块B_f，b在第f帧中的所有N_p个像素中，被判定为背景的像素数为N_c，则满足下式时，将B_f，b提取为背景块：

其中，T_p为比例阈值，可根据图像块包含的像素个数来设置，例如，设置为0.6、0.8、0.9等。

在一个优选实施例中，为保证背景点均匀分布，将图像块进一步均匀分为4个区域，若超过两个子块中存在较低的背景点数量，则认为整个块中的背景提取不均衡，不具备背景提取条件。此外，如果判定为背景块的图像块中判定为背景像素点数大于当前对应位置背景块中背景像素点数才可以替换该背景块。

步骤S150，构造背景模型，形成背景图。

在完成一帧下的图像块更新之后，将当前帧内更新的新背景块和上一帧中存在、当前帧未更新的背景块共同拼接构造为图像背景，构成背景图。

重复步骤S130、S140、S150，直到N_f帧结束，或者在N_f帧内第t帧判定背景图是一幅完整图像即所有图像块都是背景块，则结束，将最终的背景模型提取为场景模型。

步骤S160，通过对背景图进行连通域分析来优化背景模型。

在构造背景模型之后，优选地，可进一步对背景模型进行优化。例如，对于最后一帧构造出的背景图，通过对背景图中的图像块扫描并进行区域判定以及区域生长来优化背景模型。

在一个实施例中，假设背景图中图像块B_f，b在模型判断中被判定为背景块，则可以根据其领域块进一步判断是否将其作为最终的背景块，分为三种情况：

1)、B_f，b的四邻域块都被判定为背景块，则B_f，b是处于背景内部，则确定 B_f，b为背景块；

2)、B_f，b的四邻域块都被判定为前景块，则可以认为B_f，b块的变化是由于噪声的引起的，因此将B_f，b一整块填充为前景；

3)、B_f，b邻域块不属于上述两种情况，则搜索距离最近的平滑背景块 B_f，m(第f帧第m块)，利用B_f，m的块内均值对B_f，b进行区域生长处理，即对于B_f，b块(第f帧第b块)内的每一像素I，如果则将该像素划分为背景，其中，MEAN表示均值，BCON表示块内均方差。

在一个实施例中，判断平滑背景块的原则是：如果该背景块的块内均方差小于阈值，则认为是平滑背景块，否则认为是边缘块，阈值取值可根据噪声来确定，噪声大的时候设置相对大的值。根据本发明的一个实施例，通过实验将阈值设置为20，获得较好的效果。进一步地，由于噪声等因素影响，还有可能存在背景区域被误检为前景区域，也可能使背景区域产生孔洞，因此可运行形态学等操作进行孔洞填充，同时判断连通区域的大小，对于面积小于一定值的区域将其抛弃，最后得到准确的背景图像。

在一个实施例中，连通区域分析处理的对象是一张二值化后的图像，采用Two-Pass算法对连通域搜索。该Two-Pass算法包括两次扫描：第一遍扫描时赋予每个像素位置一个label，扫描过程中同一个连通区域内的像素集合中可能会被赋予一个或多个不同label，因此需要将这些属于同一个连通区域但具有不同值的label合并，也就是记录它们之间的相等关系；

第二遍扫描就是将具有相等关系的equal_labels所标记的像素归为一个连通区域并赋予一个相同的label(通常这个label是equal_labels中的最小值)。

具体地，Two-Pass算法包括以下步骤：

第一步，第一次扫描。

访问当前像素B(x，y)，如果B(x，y)＝1：

1)如果B(x，y)的邻域(左邻像素与上邻像素)中像素值都为0，则赋予 B(x，y)一个新的label：B(x，y)＝label，label++

2)如果B(x，y)的邻域像素点有label＞＝1的像素Neighbors(label值)：

a.将Neighbors中的最小值赋予给B(x，y)：B(x，y)＝min{Neighbors}

b.记录Neighbors中各个值(label)之间的相等关系，即这些值(label) 同属同一个连通区域；

c.labelSet[i]＝{label_m，..，label_n}，labelSet[i]中的所有label都属于同一个连通区域

需要说明的是，在实际应用中，可有多种实现方式，只要能够记录这些具有相等关系的label之间的关系即可。

第二步，第二次扫描。

访问当前像素B(x，y)，如果B(x，y)＞1：找到与label＝B(x，y)同属相等关系的一个最小label值，赋予给B(x，y)；完成扫描后，图像中具有相同label 值的像素就组成了同一个连通区域。

第三步，面积判断。

在完成连通域搜索后，将对每个连通域计算面积，对面积不大于门限 T_S的连通区域，提取对应最近背景块进行重构，其中，T_S可表示为：

公式(6)表示，连续N_f帧中被判定为前景区域的面积S_i，j的和与N_f*S_FG，f (即帧数N_f乘以第f帧前景区域面积)之比，ρ为比例系数，一般取1。公式(6)体现自适应阈值调节。对于剩下的连通区域，搜索是否存在孔洞区域。对存在孔洞区域的连通域进行切割，并对每一面积不大于T_S的子区域，提取对应最近背景块进行重构。

通过连通域分析方法能够快速定位出误判区域，从而构造出精确度更高的背景模型。

本发明基于分块思想的背景建模方法，需要对大量像素点进行重复运算，因此可将运算过程放入到GPU中进行运算，从而显著降低算法复杂度，提高算法的实时性。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种视频图像的背景建模方法，包括以下步骤：

2.根据权利要求1所述的方法，其中，对于一帧图像，根据以下子步骤获得所述多个图像块：

3.根据权利要求1所述的方法，其中，在步骤3中，根据以下子步骤构造所述图像块的背景模型：

4.根据权利要求3所述的方法，其中，步骤21包括：

5.根据权利要求3所述的方法，其中，步骤22包括：

6.根据权利要求3所述的方法，其中，步骤23包括：

7.根据权利要求1所述的方法，其中，还包括：

8.根据权利要求7所述的方法，其中，步骤4包括以下子步骤：

9.根据权利要求1所述的方法，其中，还包括：

通过连通域分析方法针对所述背景图初步搜索连通域；

10.根据权利要求9所述的方法，其中，T_S表示为：

其中，表示连续N_f帧被判定为前景区域的面积S_i，j的和，S_FG，f表示第f帧的前景区域面积，ρ为比例系数。

11.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至10中任一项所述方法的步骤。

12.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至10中任一项所述的方法的步骤。