CN108961293B

CN108961293B - 一种背景减除的方法、装置、设备及存储介质

Info

Publication number: CN108961293B
Application number: CN201810564223.9A
Authority: CN
Inventors: 邓苗
Original assignee: Ggec Technology Ltd; Guoguang Electric Co Ltd
Current assignee: Ggec Technology Ltd; Guoguang Electric Co Ltd
Priority date: 2018-06-04
Filing date: 2018-06-04
Publication date: 2021-01-19
Anticipated expiration: 2038-06-04
Also published as: CN108961293A

Abstract

本发明实施例公开了一种背景减除的方法、装置、设备及存储介质。该方法包括：对于每一帧视频图像，将输入图像每个像素的特征与初始背景模型库中的至少一个背景模型在同一像素处的特征进行比较；根据特征比较结果，判断所述输入图像的每个像素是否为背景元素；若是，对所述背景模型对应的模型调整参数进行更新；根据所述模型调整参数对所述初始背景模型库进行调整，得到目标背景模型库，根据目标背景模型库，构建输入图像对应的初始前景标志图，对初始前景标志图进行后处理操作，获得目标前景标记图像。本发明实施例通过特征比较及更新模型调整参数的方式，动态调整背景模型，得到最终的目标背景模型，该背景减除方法的检测能力较敏感，能够取得较好的前景检出率。

Description

一种背景减除的方法、装置、设备及存储介质

技术领域

本发明实施例涉及视频处理技术，尤其涉及一种背景减除的方法、装置、设备及存储介质。

背景技术

目标检测是指在视频序列中提取出完整的前景目标，是视频分析的第一步，也是计算机视觉领域的难点。背景减除是视频处理的基本问题，广泛应用于视频监控等领域。目前大多数背景减除算法都是像素级的，比如混合高斯模型法、Vibe、SuBSENSE、IUTIS-5等。尽管近年来提出了深度学习的方法取得了很好的检测结果，但由于它们是监督算法，在实际应用中并不太可行，而像素级算法的优点在于运算速度快且可以并行实现，因此仍然是主流的解决方法。但像素级算法也存在缺点比如：分割结果相对较差；不能很好地适应相机噪声、光照变化或前景目标伪装等多种变化因素；需要较长的建模和适应过程。

SuBSENSE是最近最优秀的像素级算法，它采用了LBSP特征(局部二进特征描述符)、固定个数及随机更新的背景模型，并利用前景像素与背景模型的距离和像素的闪烁程度来动态调节算法的参数，从而消除动态背景和噪声。尽管它在CDnet2014数据库上取得了较为领先的成绩，但仍存在一些缺陷，例如包括：1)使用了较大的代价去适应动态背景及噪声，即R变量(表示当前特征与模型库的距离阈值)会在前景标记多次闪烁的时候上升到一个超过正常的值，此时有可能将前景误认为是背景，特别是多个物体快速运动且存在动态背景干扰的情形。2)R是应用于所有背景模型上的，且颜色和描述符的距离阈值都会受到R的影响，而不是分开调节，在低对比度或动态背景干扰场景下的微弱目标检测能力会变差。3)后处理采用了范围较大的中值滤波器，有可能消除不连续的前景目标的轮廓。4)在像素检测为前景标记时，会保护其在时间T内，不会更新背景，这导致静止很久又突然运动的物体处，会在很长时间检测为前景。5)采用了一种3×3区域内的模型随机扩散方法，解决鬼影问题，以及适应动态背景小范围内移动，但并没有对扩散的条件进行限制，因此容易导致前景与附近背景相似的情况下，前景检测的丢失。6)在检测到出现大面积的颜色突变的时候，强制更新每个像素的10％比例的背景模型，并在冷却之前让前景像素有一定几率进入背景库，这种方式的重置操作会导致一段时间较大的背景模型混乱。

发明内容

本发明实施例提供一种背景减除的方法、装置、设备及存储介质，以实现利用改进SuBSENSE算法对前景目标进行准确提取。

第一方面，本发明实施例提供了一种背景减除的方法，该方法包括：

将输入图像与初始背景模型库中的至少一个背景模型进行特征比较；

根据特征比较结果，判断所述输入图像的每个像素是否为背景元素；

若是，对所述背景模型对应的模型调整参数进行更新；

根据所述模型调整参数对所述初始背景模型库进行调整，得到目标背景模型库；

根据所述目标背景模型库，构建所述输入图像对应的初始前景标志图，对所述初始前景标志图进行后处理操作，获得目标前景标记图像。

第二方面，本发明实施例还提供了一种背景减除的装置，该装置包括：

特征比较模块，用于将输入图像与初始背景模型库中的至少一个背景模型进行特征比较；

像素判断模块，用于根据特征比较结果，判断所述输入图像的至少一个像素是否为背景元素；

参数更新模块，用于若像素是背景元素，对所述背景模型对应的模型调整参数进行更新；

模型库调整模块，用于根据所述模型调整参数对所述初始背景模型库进行调整，得到目标背景模型库；

前景获取模块，用于根据所述目标背景模型库，构建所述输入图像对应的初始前景标志图，对所述初始前景标志图进行后处理操作，获得目标前景标记图像。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的方法。

本发明实施例通过特征比较及更新模型调整参数的方式，动态调整背景模型，得到最终的目标背景模型，该背景减除方法的检测能力较敏感，能够取得较好的前景检出率。

附图说明

图1是本发明实施例一提供的一种背景减除的方法的流程图；

图2是本发明实施例二提供的一种背景减除的装置结构示意图；

图3是本发明实施例三提供的一种计算机设备的结构示意图；

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种背景减除的方法的流程图，本实施例可适用于对视频进行处理的情况，，该方法可以由背景减除的装置来执行，该装置可由软件和/或硬件来实现，该方法具体包括如下步骤：

S110、对于每一帧视频图像，将输入图像每个像素的特征与初始背景模型库中的至少一个背景模型在同一像素处的特征进行比较。

本实施例中，初始背景模型库可以是在第一帧图像输入时，启动背景模型初始化后获得的模型库。对于每一个新的输入图像，通过特征比较的方式来确定每个像素是背景或前景。可以采用与SuBENSE算法中相同的LBSP特征描述符作为特征提取算子，也就是像素的特征。像素的特征包括颜色距离和描述符特征，其中，颜色距离的具体计算方式为：D_c(x,x′)＝|i_x-i_x′|；描述符特征的计算方式为：D_d(x,x′)＝max(Intradist(x,x′),Interdist(x,x′))，x′为x的周围预设范围内临近像素，Intradist是将x的亮度放在x′上之后求取LBSP特征，计算与x上的LBSP特征的距离，Interdist是采用各自的中心点亮度。具体可参考相关文献中的记载。

优选的，还包括：对于第一图像中的至少一个像素，计算像素的自身特征及关联特征，其中，所述关联特征是所述像素周围预设范围内临近像素的特征；根据所述自身特征及满足预设条件的所述关联特征，构建初始背景模型库。

具体地，对于每个像素x采取动态个数的背景模型，背景模型的个数可以由m(x)来表示，1≤m(x)≤N，N是最大允许的模型个数，例如可以取为50，m(x)可以动态调整。对于第一图像中的至少一个像素，计算像素的自身特征及关联特征。首先对于像素x，将特征加入到其背景模型库中，然后遍历x预设范围内(例如可以是7×7窗口内)的像素x′的特征，将颜色距离

或描述符距离

的特征加入到像素x的背景模型库中，每个新插入的模型设置其阈值

和

其中j表示背景模型序号。

和

分别是颜色距离中间阈值和描述符距离中间阈值。

S120、根据特征比较结果，判断所述输入图像的每个像素是否为背景元素，若是，转至执行S130。

其中，在进行前景检测时，如果检测到输入图像的像素在至少一个背景模型的距离阈值范围内，则可以认为是背景元素，否则认为是前景元素。具体地，采用如下公式进行判断所述输入图像的每个像素是否为背景元素：

其中，I_t(x)为灰度值，S_t(x)为背景标志位，S_t(x)＝0表示像素为背景，B_j(x)表示第j个背景模型，m(x)为初始背景模型库中像素x的背景模型的个数，

是颜色距离动态阈值，

是描述符动态阈值。

S130、对所述背景模型对应的模型调整参数进行更新。

其中。令模型调整参数W_j(x)表示像素x处第j个背景模型出现的累加值，模型调整参数用于控制模型的移除。可以设定初始值为W_I。

具体地，采用公式

对模型调整参数进行更新，其中，x表示像素，j为背景模型编号，j∈[1,m(x)]，参数单次增加值为W_inc，参数单次减少值为W_dec，k是与像素x描述符距离最小的背景模型。也就是说，当像素x被检测为背景时，增加编号为k对应的模型调整参数，而减少其它模型的累加值。

S140、根据所述模型调整参数对所述初始背景模型库进行调整，得到目标背景模型库。

具体地，在对模型调整参数进行更新后，参考模型调整参数，对初始背景模型库进行调整，得到目标背景模型库。具体地，可以是当所述模型调整参数降低至0时，将所述模型调整参数对应的背景模型从所述初始背景模型库中删除。

S150、根据所述目标背景模型库，构建所述输入图像对应的初始前景标志图，对所述初始前景标志图进行后处理操作，获得目标前景标记图像。

其中，对所述初始前景标志图进行后处理操作，具体为：去除所述初始前景标志图中预设大小的连通域，采用形态学闭操作形成连续轮廓，进行填充操作和形态学膨胀运算，获得目标前景标记图像。

在后处理环节，为保持小物体的前景检测，可以仅仅去除所述初始前景标志图中预设大小的连通域，例如可以去除连通域面积小于30个像素的区域，采用形态学闭操作闭合部分非连续轮廓，形成连续轮廓。采用填充算法对轮廓组成的区域进行填充，为避免物体轮廓的闪烁造成错误的频繁前景入库，可以再进行形态学膨胀运算，具体可以是采用5×5的形态学膨胀运算，获得目标前景标记图像。对匹配的模型进行更新，此时仅对模型中的颜色通道进行更新，具体可以采用公式I^k(x)＝I^k(x)*γ+I_t(x)*(1-γ)进行更新模型中的颜色通道，其中，I^k(x)是第k个背景模型的颜色，I_t(x)是当前帧的颜色，0＜γ＜1且接近1，本文取为0.95，避免在阴影出现的时候，模型的颜色通道太快地向阴影的颜色变化。另外，由于视频中可能存在大量动态的物体，比如雨、雪等，可根据W_j(x)获得最大值时对应的序号U(x)，即U(x)＝max_j(W_j(x))，由U(x)得到真实的背景图像

即

所示。U(x)模型的描述符的更新可在每过若干帧时，由

图像计算得到。

在上述实施例的基础上，还包括：采取模型的颜色距离和描述符R值分开调节，具体地，当检测到前景闪烁时，增大所有模型的R值，采用公式

及

对

和

进行调整；

若未检测到前景闪烁，仅调整编号为k的背景模型对应的颜色距离动态阈值和采用描述符动态阈值，具体公式如下：

其中，α和β为常数，0＜α＜1，优选的可设为α＝0.95，β＞1，优选的可设为β＝1.1，

和

分别是距离最大阈值和距离最小阈值，

和

分别为描述符最大阈值和描述符最小阈值。上述调整使R值缓慢变化，变化幅度较小。其中，可以采用Blink(x)表征是否为前景闪烁，具体的表达式为

F_t-1(x)是上一帧经过后处理之后的前景标记图像，其中，后处理的过程在后续部分会详细解释。S′_t(x)是当前帧未经过后处理的前景标记图像，t是当前帧的序号。

另外，根据所述模型调整参数对所述初始背景模型库进行调整，具体为：根据所述模型调整参数，采用频繁前景检测机制及扩散机制对所述初始背景模型库中的背景模型进行动态增减调整。其中，对于频繁前景检测机制部分介绍如下：动态背景相对于前景目标的移动而言，主要来自于背景中物体的来回反复运动(如一棵风中的树)，或者频繁重复出现的物体(比如雨水和雪)。因此可以建立一个前景模型库，它的机制与背景模型库类似，在前景闪烁时将特征入库，当某个特征的

超过预设阈值

(其中波浪线符号表示前景模型库相关变量，下同)时，将之移动到背景模型库里，并令其在背景库中的W初始值记为W_f。前景模型库的

机制与背景模型库类似，将新入库的模型设置为

距离阈值和描述符阈值设为

在前景闪烁时增加匹配的前景模型的

值，即

在x检测为背景的时候衰减所有的前景模型，并在

降至0的时候将之移除出前景模型库，即

而对于随机扩散机制，将扩散分为两种情形：由背景像素扩散到前景像素，及由背景像素扩散到背景像素。

由背景像素扩散到前景像素的方法：采用其模型库中W值最高的模型，而不是当前的特征，且扩散后阈值设为

避免背景错误地扩散到前景的相似区域；扩散的模型可做一标记，在匹配成功时下一次扩散时直接使用当前的特征，使得鬼影更快地消失。比起SuBSENSE中的使用T机制保护前景目标，这种方法更好地分辨出需要保护的边界，和更快速地消除不需要保护的鬼影区域。由背景像素扩散到背景像素的方法：只扩散前景机制入库的背景模型到其周边3×3窗口内，既适应了动态背景，又避免了可能会导致错误的模型扩散。

这种情况发生在相机产生移动或大面积的物体通过场景的时候。本发明实施例采用如下突变检测：用经过下采样的长期平均图像与短期平均图像计算颜色差值的总和

超过一个阈值则认为发生了颜色突变。但处理的方法有所不同：在突变发生后的若干帧冷却时间内，所有像素均使用

与

进行前景的检测，并且记录下在

达到最大值时的前景标记图

在冷却完成之后，将

为1的所有像素的当前样本插入背景模型库，然后将

重置为0。这种方法既避免了背景模型发生太大变动，又能保证模型库功能的持续。

针对SuBSENSE算法的随机性、视频初始时检测能力差、易漏检等问题，本发明实施例提出一种新的背景减除方法，提出动态模型、R值分开调节、前景模型库，并修改扩散限制、突变重置等机制。在各种具有挑战性的视频类型中，本发明实施例提供的算法都能取得更好的前景检出率。

本发明实施例通过特征比较及更新模型调整参数的方式，动态调整背景模型，得到最终的目标背景模型，该背景减除的方法检测能力较敏感，能够取得较好的前景检出率。

实施例二

图2是本发明实施例二提供的一种背景减除的装置结构示意图，该装置可以执行本发明任意实施例提供的背景减除的方法，该装置可由软件和/或硬件来实现，该装置具体包括：

特征比较模块210，用于对于每一帧视频图像，将输入图像每个像素的特征与初始背景模型库中的至少一个背景模型在同一像素处的特征进行比较；

像素判断模块220，用于根据特征比较结果，判断所述输入图像的每个像素是否为背景元素；

参数更新模块230，用于若像素是背景元素，对所述背景模型对应的模型调整参数进行更新；

模型库调整模块240，用于根据所述模型调整参数对所述初始背景模型库进行调整，得到目标背景模型库。

前景获取模块250，用于根据所述目标背景模型库，构建所述输入图像对应的初始前景标志图，对所述初始前景标志图进行后处理操作，获得目标前景标记图像。

进一步地，参数更新模块230，具体用于：

根据所述模型调整参数，采用频繁前景检测机制及扩散机制对所述初始背景模型库中的背景模型进行动态增减调整。

进一步地，参数更新模块230，具体用于：

采用公式

对模型调整参数进行更新，其中，x表示像素，j为背景模型编号，j∈[1，m(x)]，W_j(x)为模型调整参数，参数单次增加值为W_inc，参数单次减少值为W_dec，k是与像素x描述符距离最小的背景模型；

相应的，模型库调整模块240，具体用于：

当所述模型调整参数降低至0时，将所述模型调整参数对应的背景模型从所述初始背景模型库中删除。

进一步地，像素判断模块220，具体用于：采用如下公式进行判断所述输入图像的每个像素是否为背景元素：

其中，I_t(x)为灰度值，S_t(x)为背景标志位，S_t(x)＝1表示像素为背景，B_j(x)表示第j个背景模型，m(x)为初始背景模型库中像素x的背景模型的个数，

是颜色距离动态阈值，

是描述符动态阈值。

进一步地，还包括：

当检测到前景闪烁时，采用公式

及

对

和

进行调整；

其中，α和β为常数，0＜α＜1，β>1，

和

分别是距离最大阈值和距离最小阈值，

和

分别为描述符最大阈值和描述符最小阈值。

进一步地，还包括前景获取模块250，具体用于：去除所述初始前景标志图中预设大小的连通域，采用形态学闭操作形成连续轮廓，进行填充操作和形态学膨胀运算。

进一步地，还包括模型库构建模块，用于：

对于第一图像中的至少一个像素，计算像素的自身特征及关联特征，其中，所述关联特征是所述像素周围预设范围内临近像素的特征；

根据所述自身特征及满足预设条件的所述关联特征，构建初始背景模型库。

上述背景减除的装置可执行本发明任意实施例所提供的背景减除的方法，具备执行背景减除的方法相应的功能模块和有益效果。

实施例三

图3是本发明实施例三提供的一种计算机设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图3显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图3中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的背景减除的方法：

也即，所述处理单元执行所述程序时实现：

对于每一帧视频图像，将输入图像每个像素的特征与初始背景模型库中的至少一个背景模型在同一像素处的特征进行比较；

若是，对所述背景模型对应的模型调整参数进行更新；

实施例四

本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的背景减除的方法。

也即，该程序被处理器执行时实现：

若是，对所述背景模型对应的模型调整参数进行更新；

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。