CN105809716B - 融合超像素与三维自组织背景减除法的前景提取方法 - Google Patents

Abstract

本发明公开了融合超像素与三维自组织背景减除法的前景提取方法，该方法包括以下步骤：首先，使用超像素分割方法，将所有区域进行分割迭代；然后，使用三维自组织背景减除算法，图像背景建模；最后，通过最佳权重策略，实现前景运动目标提取。本发明提出的融合超像素分割的三维自组织背景减除算法，能有效检测缓慢运动的目标与进入场景后暂时静止的目标，在一定程度上提高了检测精度和处理速度。本发明结合超像素算法与三维自组织背景减除算法结合的框架，实现运动目标检测，加快了处理速度和处理效果。

Description

融合超像素与三维自组织背景减除法的前景提取方法

技术领域

本发明涉及一种融合超像素与三维自组织背景减除法的前景提取方法，属于图像处理技术领域。

背景技术

传统的视频监控系统，主要用于记录，对异常行为事件的实时检测和事后的事故原因分析仍需人的参与。智能视频监控系统具有自主判断监控场所行为能力，即当监控视频中发生异常行为时，智能监控系统能较快地做出反应，并向视频监视人员发出警报。因此，智能监控系统中的目标检测、目标跟踪、异常行为检测，日益成为近年来计算机视觉领域研究的一个热点。

运动目标检测技术作为智能监控技术中的核心部分，常用的方法有背景减除法、帧差法和光流法等。传统目标减除方法各有优缺点，国内外许多学者采用背景模型和帧差法相结合的目标检测方法在一定程度上改进了检测性能，但在检测长时停滞的目标时，由于背景建模无法有效建立，导致检测效果不是十分令人满意。

目前的背景建模虽然计算简单，但是，很容易受到光照突变、目标遮挡等因素影响，容易将背景像素错判为前景目标，引起检测误差。此外，运动目标的阴影也会导致误判。而且传统的混合高斯和三帧法并不能得到令人满意的检测效果。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了上述检测缓慢运动的目标与进入场景后暂时静止目标的问题，提出了融合超像素与三维自组织背景减除法的前景提取方法，该方法可依然沿用三维自组织背景减除算法中HSV颜色空间欧式距离的计算方法。该方法提出结合超像素算法与三维自组织背景减除算法结合的框架，实现运动目标检测，加快了处理速度和处理效果。

本发明解决其技术问题所采取的技术方案是：一种融合超像素与三维自组织背景减除法的前景提取方法，该方法包括如下步骤：

步骤1：利用超像素算法，对图像帧进行区域分割；

步骤2：通过三维自组织背景减除算法，对每个分割区域进行背景建模；

步骤3：使用最佳权重策略，准确提取前景目标。

由于自组织背景减除算法中的权重计算较为复杂，所以需对图像进行超像素分割，从而降低算法复杂度。

超像素对图像进行分割时，在既定的区域周围，将同质像素归为一类，即为一超像素。简单线性迭代聚类(simple linear iterative clustering，SILC)算法是依据颜色、位置信息，实现聚类的超像素分割。本发明利用Lab空间信息及像素的x、y坐标信息构造相似性度量，实现图像局部聚类，形成超像素区域；然后，利用GPU、NVIDIA、CUDA等硬件加快处理速度，将简单线性迭代聚类算法速度提高10～20倍，促使简单线性迭代聚类算法应用到实时性要求比较高的系统中。

本发明步骤1超像素算法的超像素分割算子包括：

超像素对图像进行分割时，在既定的区域周围，将同质像素归为一类，即为一超像素，简单线性迭代聚类算法是依据颜色、位置信息，实现聚类的超像素分割，利用Lab空间信息及像素的x、y坐标信息构造相似性度量，实现图像局部聚类，形成超像素区域；然后，利用GPU、NVIDIA、CUDA等硬件加快处理速度，将简单线性迭代聚类算法速度提高10～20倍，促使简单线性迭代聚类算法应用到实时性要求比较高的系统中。

本发明步骤1包括：

初始化种子点；

假设将含有N×N个像素点的图像分割为K×K个超像素，则每个超像素大小接近N²/K2，且每个种子点的间距近似为S＝N/K；为避免种子点位于图像边缘，以对后续聚类处理造成干扰，需将种子点从以它为中心的3×3窗口内，移到梯度值最小的位置，同时为每个种子分配一个标签；

相似度度量；

SLIC算法的相似度度量公式为：

快速K均值聚类方法更迭种子点，假定在X-Y平面上聚类中心的像素点位于2S×2S区域内，所有像素点关联到最近的种子点后，将新种子点更新为同类别中所有像素点特征的平均值；反复此过程，直到收敛，停止迭代；形成超像素。

本发明的超像素分割算子包括：采用自适应的K值调整方法：

为了更好的降低算法的复杂度，对色差和空间距离进行简化，使用绝对值的方法进行计算，虽然在一定程度上引入了误差，但是这种误差是允许范围内的，即：

d_lab＝|l_k-l_i|+|a_k-a_i|+|b_k-b_i|

d_xy＝|x_k-x_i|+|y_k-y_i|

本发明采用神经网络模型：首先，构建一个n层神经网络模型；然后，计算当前帧与背景模型的最佳权重，从而判断每个像素是否为背景像素，所述算法包括模型初始化、前景检测、模型更新。其中n表示神经网络的层数。

本发明步骤2包括如下步骤：

步骤1：背景模型的构建；

在3DSOBS算法中，背景初始模型的构建过程就是将第一帧图像的所有像素x扩展为n层的神经网络模型B_t过程：

步骤2：背景模型的初始化；

初始背景模型B₀中每个像素x的权重，为每个像素的亮度值：

步骤3：背景模型的更新；

背景模型的更新是通过将t时刻图像I_t的像素x与背景模型M_t‐1(x)的像素x进行比较，以确定是否存在一个最佳的权重mb t‐1(x)：如果存在一个可接受的匹配权重，则将图像I_t的像素x视为背景像素；如果不存在一个可接受的匹配权重，则可将图像I_t的像素x视为前景像素。

本发明步骤3包括：1)背景模型的权重更新；2)背景区域的占有率更新；3)前景目标阴影区域识别。

本发明的3DSOBS算法的模型，包括：3DSOBS的学习因子是恒定不变的，且运动区域的权重也是恒定不变的，当前景像素发生较小更新时，背景模型则会发生较大的更新，即：

α(x,y)＝γ·G_2D(y-x)

δ(x)＝v·G_1D(x)

本发明步骤1具体包括以下各子步骤：

式1初始化种子点。

式2相似度度量。

式3快速K均值聚类方法更迭种子点。

式4形成超像素。

本发明的超像素分割算子包括：

简单线性迭代聚类算法存在分割数目固定的缺点：分割数目K由研究者自行确定，且K值确定之后将不再变化；若指定分割数目欠妥，则容易出现欠分割或者过分割的现象，不能达到满意的分割效果。所以，本发明采用自适应的K值调整方法：

为了更好的降低算法的复杂度，对色差和空间距离进行简化，使用绝对值的方法进行计算，虽然在一定程度上引入了误差，但是这种误差是允许范围内的：

本发明的步骤2具体包括以下各子步骤：

本发明采用神经网络模型：首先，构建一个n层神经网络模型；然后，计算当前帧与背景模型的最佳权重，从而判断每个像素是否为背景像素。该算法主要包括以下三个主要步骤：模型初始化、前景检测、模型更新。具体包括：

步骤1：背景模型的构建；

步骤2：背景模型的初始化；

步骤3：背景模型的更新。

本发明的步骤3具体包括如下步骤：

1)背景模型的权重更新；

2)背景区域的占有率更新；

3)前景目标阴影区域识别。

本发明的3DSOBS模型包括：

由上述可知，3DSOBS的学习因子是恒定不变的，且运动区域的权重也是恒定不变的。因此，当如式3所示的前景像素发生较小更新时，式4所示的背景模型则会发生较大的更新。

α(x,y)＝γ·G_2D(y-x) 式3

δ(x)＝v·G_1D(x) 式4

由于背景模型较为复杂，所以使用如式5所示的自适应学习因子更新背景模型：

上式中的T_inc和T_dec为预先设置常量，且：

有益效果：

1、本发明能够有效检测缓慢运动的目标与进入场景后暂时静止的目标，很好地提高了检测精度和处理速度。

2、本发明结合超像素算法与三维自组织背景减除算法结合的框架，实现运动目标检测，加快了处理速度和处理效果。

附图说明

图1为本发明的MSA数据库第158帧的运动目标检测结果示意图。

图2为本发明的PETS2009数据库S0中Background场景中第118帧的检测结果示意图。

图3为本发明的PETS2009数据库S0的City_Center场景中第48帧的检测结果示意图。

图4为本发明的PETS2009数据库S2L1场景中第56帧的检测结果示意图。

图5为本发明的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

如图5所示，本发明提供了一种融合超像素与三维自组织背景减除法的前景提取，其实现过程包括：首先，使用超像素分割方法，将所有区域进行分割迭代；然后，使用三维自组织背景减除算法，图像背景建模；最后，通过最佳权重策略，实现前景运动目标提取。

本发明的融合超像素与三维自组织背景减除法的前景提取方法的一个优选实施方式，具体包括以下步骤：

步骤1：利用超像素算法，对图像帧进行区域分割；

1、超像素分割算子：

本发明的步骤1具体包括以下各子步骤：

式1初始化种子点。假设将含有N×N个像素点的图像分割为K×K个超像素，则每个超像素大小接近N²/K2，且每个种子点的间距近似为S＝N/K。为避免种子点位于图像边缘，以对后续聚类处理造成干扰，需将种子点从以它为中心的3×3窗口内，移到如式1所示的梯度值最小的位置，同时为每个种子分配一个标签。

式2相似度度量。SLIC算法的相似度度量公式为：

通过计算像素点与聚类中心的距离，可将距离较近的像素点聚为一类，实现预分割，得到超像素。

式3快速K均值聚类方法更迭种子点。假定在X-Y平面上聚类中心的像素点位于2S×2S区域内，所有像素点关联到最近的种子点后，将新种子点更新为同类别中所有像素点特征的平均值。反复此过程，直到收敛，停止迭代。其中k表示均值聚类的类别数。

式4形成超像素。将最相似的聚类中心标签赋给像素点，形成K×K个超像素。

2、改进的超像素分割算子包括：

简单线性迭代聚类算法存在分割数目固定的缺点：分割数目K由研究者自行确定，且K值确定之后将不再变化；若指定分割数目欠妥，则容易出现欠分割或者过分割的现象，不能达到满意的分割效果。所以，本发明采用自适应的K值调整方法：

为了更好的降低算法的复杂度，对式式1中的色差和空间距离进行简化，使用绝对值的方法进行计算，虽然在一定程度上引入了误差，但是这种误差是允许范围内的：

步骤2：通过三维自组织背景减除算法，对每个分割区域进行背景建模；

本发明三维自组织背景减除算法采用神经网络模型：首先，构建一个n层神经网络模型；然后，计算当前帧与背景模型的最佳权重，从而判断每个像素是否为背景像素。该算法主要包括以下三个主要步骤：模型初始化、前景检测、模型更新。

本发明上述步骤2具体包括以下各子步骤：

步骤1：背景模型的构建

在3DSOBS算法中，背景初始模型的构建过程就是将第一帧图像的所有像素x扩展为n层的神经网络模型B_t过程：

上式中的mi t(x)表示t时刻，像素x在第i个背景图像中的权重值。

步骤2：背景模型的初始化

初始背景模型B₀中每个像素x的权重，为每个像素的亮度值：

步骤3：背景模型的更新

背景模型的更新是通过将t时刻图像I_t的像素x与背景模型M_t‐1(x)的像素x进行比较，以确定是否存在一个最佳的权重mb t‐1(x)。在t时刻，通过背景模型的像素M_t‐1(x)＝{m1t‐1(x)，m2t‐1(x),…,mn t‐1(x)}与当前图像I_t的像素比较，以确定最佳的背景模型：

上式中的第i个背景图像像素的权重mi t‐1(x)与图像像素值I_t(x)之间的距离公式如下：

上式中的(m^H，m^S,m^V)和(I^H，I^S，I^V)分别表示mi t‐1(x)和I_t(x)的色调、色度和强度分量。

步骤3：使用最佳权重策略，准确提取前景目标。

步骤1、背景模型的权重更新

为使神经网络背景模型更好地适应场景的微小变化，对t时刻的背景模型M_t‐1(x)进行更新：

上式中的N_x是像素x的w_2D邻域。

式9中的α(x,y)表示像素x与其邻近像素y∈N_x间的关系权重：

α(x,y)＝γ·G_2D(y-x)·(1-D_t(x))·(1-S_t(x)) 式10

上式中的γ表示学习因子，G_2D(·)＝N(·；0,σ²)表示均值为0、方差为σ²的二维高斯低通滤波器，D_t(x)表示包含像素x在内的背景区域的占有率，S_t(x)表示运动目标阴影的掩码值。

由于式9仅能更新当前背景模型以选择最佳背景图像模型，所以，本发明利用下式对最佳背景图像的相邻背景图像进行更新：

上式中的i表示最佳背景图像的邻域。

式11中的δ(x)表示像素x与其邻近像素y∈N_x间的关系权重：

δ(x)＝v·G_1D(x)·(1-D_t(x))·(1-S_t(x)) 式12

上式中的v为学习因子，与式10中的学习因子γ具有相同的性质。

步骤2、背景区域的占有率更新

利用连续像素间像素值的差异，可有助于实现连续区域的判断因此，利用场景目标与场景背景的空间一致性，可计算背景区域的占有率：

上式中的NCF_t(x)表示像素的邻域一致性：

上式中的H_x＝{y:|x-y|≤h}表示像素x的(2h+1)×(2h+1)的二维邻域，Ω_x表示H_x集合最佳的匹配像素：

上式中的∈表示区分前景像素与背景像素的阈值：较大的阈值，会导致将前景目标像素误判为背景像素；而较小的阈值，则有利于避免将前景像素误判为背景像素。

步骤3：前景目标阴影区域识别

相对于前景目标像素，前景目标阴影像素的色度和强度会明显降低很多。因此，在t时刻，当前图像帧I_t的前景目标阴影的掩码值S_t(x)可表示为：

上式中的(m^H，m^S，m^V)和(I^H，I^S，I^V)分别表示mi t-1(x)和I_t(x)的色调、色度和强度分量，阈值τ_Vl，τ_Vu，τ_S及τ_H需根据实际情况动态设置。

本发明的3DSOBS模型包括：

3DSOBS的学习因子是恒定不变的，且运动区域的权重也是恒定不变的。因此，当如式17所示的前景像素发生较小更新时，式18所示的背景模型则会发生较大的更新。

α(x,y)＝γ·G_2D(y-x) 式17

δ(x)＝v·G_1D(x) 式18

由于背景模型较为复杂，所以使用如式19所示的自适应学习因子更新背景模型：

上式中的T_inc和T_dec为预先设置常量，且：

融合SLIC的3DSOBS算法如下描述：

由于3DSOBS算法中权重向量的计算复杂度较高，且需计算每个像素对应的权重向量，所以在实时性要求比高的系统中无法使用。本发明使用SLIC算法对整幅图像进行超像素分割，得到K个超像素，从而减小算法复杂度，提高算法效率。

式1首先使用SLIC算法对图像帧进行处理，得到K×K个超像素的标签。

L_image＝{L₁,L₂,…,L_i,…,LK²} 式22

式2然后使用3DSOBS对处理之后的图像进行前景检测。

·计算式3中像素x的最佳权重时，利用超像素内若干像素点的平均特征表示这个超

像素的特征，从而减小计算量：

·更新权重向量时，依然使用原方法。

计算背景区域的占有率时，同样利用超像素内若干像素点的平均特征表示这个超像素的特征，从而简化计算。对式(10-11)的改进如下：

上式中的H_x＝{y_j:|x-y_j|≤h,y_j∈L_i}表示像素x的(2h+1)×(2h+1)二维邻域，Ω_x表示H_x集合中找最佳的匹配像素：

上式中的y_j表示超像素L_i中的像素。

融合SLIC与3DSOBS算法的图像分割过程如下表所示。

Claims (4)

1.融合超像素与三维自组织背景减除法的前景提取方法，其特征在于，包括以下步骤：

步骤1：利用超像素算法，对图像帧进行区域分割，超像素算法的超像素分割算子包括：

超像素对图像进行分割时，在既定的区域周围，将同质像素归为一类，即为一超像素，简单线性迭代聚类算法是依据颜色、位置信息，实现聚类的超像素分割，利用Lab空间信息及像素的x、y坐标信息构造相似性度量，实现图像局部聚类，形成超像素区域；然后，利用GPU、NVIDIA、CUDA硬件加快处理速度，将简单线性迭代聚类算法速度提高10～20倍，促使简单线性迭代聚类算法应用到实时性要求比较高的系统中，超像素分割算子包括采用自适应的K值调整方法：

为了更好的降低算法的复杂度，对色差和空间距离进行简化，使用绝对值的方法进行计算，虽然在一定程度上引入了误差，但是这种误差是允许范围内的，即：

d_lab＝|l_k-l_i|+|a_k-a_i|+|b_k-b_i|

d_xy＝|x_k-x_i|+|y_k-y_i| ；

步骤2：通过三维自组织背景减除算法，对每个分割区域进行背景建模；

步骤3：使用最佳权重策略，准确提取前景目标。

2.根据权利要求1任一项所述的融合超像素与三维自组织背景减除法的前景提取方法，其特征在于，所述方法采用神经网络模型：首先，构建一个n层神经网络模型；然后，计算当前帧与背景模型的最佳权重，从而判断每个像素是否为背景像素，所述算法包括模型初始化、前景检测、模型更新。

3.根据权利要求1所述的融合超像素与三维自组织背景减除法的前景提取方法，其特征在于，所述步骤2包括如下步骤：

步骤1：背景模型的构建；

在3DSOBS算法中，背景初始模型的构建过程就是将第一帧图像的所有像素x扩展为n层的神经网络模型B_t过程：

步骤2：背景模型的初始化；

初始背景模型B₀中每个像素x的权重，为每个像素的亮度值：

步骤3：背景模型的更新；

背景模型的更新是通过将t时刻图像I_t的像素x与背景模型M_t-1(x)的像素x进行比较，以确定是否存在一个最佳的权重m^b _t-2(x)：如果存在一个可接受的匹配权重，则将图像I_t的像素x视为背景像素；如果不存在一个可接受的匹配权重，则可将图像I_t的像素x视为前景像素，其中分别表示t时刻，像素x在第1、2、......、n个背景图像中的权重值。

4.根据权利要求1所述融合超像素与三维自组织背景减除法的前景提取方法，其特征在于，所述步骤3包括：1)背景模型的权重更新；2)背景区域的占有率更新；3)前景目标阴影区域识别。