CN101763635B - 一种判定视频图像帧序列中背景光照变化区域的方法及装置 - Google Patents

Abstract

本发明提供了一种判定视频图像帧序列中背景光照变化区域的方法，该方法包括：获得当前帧中各像素的时域变化指示符；获得当前帧中的空间域变化指示符集合；和根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域。此外，该方法还包括清除当前帧中的光照变化区域的步骤。本发明提供的技术方案能有效地判定和清除光照变化区域。

Description

一种判定视频图像帧序列中背景光照变化区域的方法及装置

技术领域

本发明涉及图像处理，尤其涉及一种判定视频图像帧序列中背景光照变化区域的方法及装置。

背景技术

运动目标检测是智能视频监控技术的基础，其检测结果直接影响着后期事件(诸如：入侵、物品遗留、物品被盗、车辆逆向行驶等)检测的误警率和虚警率，因此得到了广泛地关注。然而在实际应用时，经常会出现快速的光照变化的情况，这就大大影响了运动目标检测的准确性和可靠性。因此，人们开始研究快速的光照变化过滤的方法。

目前研究的快速的光照变化过滤的方法主要有两类。一类是基于像素的方法。一般来说光照变化只会带来像素亮度的变化而色彩不会有太大变化，此类方法基于这个原理在HSI空间对像素值进行分析以识别光照变化。但是在真实环境里面很多情况都不满足这个前提假设，而且在大多数的室外场景里面无论是背景还是目标都没有颜色信息，这样这类算法在实际环境里面的应用效果并不理想。另一类是基于区域的方法。如果在光照变化前后场景都具有一定的对比度，光照的变化不会带来图像纹理边缘特征的变化，基于区域的方法正是利用这个原理，如果前景和背景的边缘相匹配，则此前景区域就是光照变化造成的虚假前景区域。但是在晚间“光照变化前后场景都具有一定的对比度”的假设不成立，则这类算法失效，光照变化区域中同时有真实目标进入也会导致这类算法匹配失败。

中国专利公开文献CN101393603A公开了一种识别和检测隧道火灾火焰的方法。其中介绍了使用伽马变换的方法剔除多余光照。但是该方法运算复杂且可靠性不高。

综上所述，目前迫切需要一种能够可靠有效地过滤光照变化的方法。

发明内容

有鉴于此，本发明的主要目的在于过滤背景光照变化。

为了实现这一目的，按照本发明的第一个方面，提供了一种判定视频图像帧序列中背景光照变化区域的方法，该方法包括：获得当前帧中各像素的时域变化指示符；获得当前帧中的空间域变化指示符集合；和根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域。此外，该方法还包括清除当前帧中的光照变化区域的步骤。

其中，所述当前帧中各像素的时域变化指示符是基于第一背景差分二值图像和帧间差分二值图像获得的，所述第一背景差分二值图像是当前帧与预先确定的第一背景模型之间的差分二值图像，所述帧间差分二值图像是当前帧与前一帧之间的差分二值图像；所述当前帧中的空间域变化指示符集合是基于第二背景差分图像和第二背景差分二值图像获得的，所述第二背景差分图像是当前帧与预先确定的第二背景模型之间的差分图像，所述第二背景差分二值图像是当前帧与所述预先确定的第二背景模型之间的差分二值图像。

按照本发明的另一个方面，提供了一种判定视频图像帧序列中背景光照变化区域的装置，该装置包括：时域变化指示符获取单元，用于获得当前帧中各像素的时域变化指示符；空间域变化指示符获取单元，用于获得当前帧中的空间域变化指示符集合；和光照变化区域判定单元，用于根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域。此外，该装置还包括：光照变化区域清除单元，用于清除当前帧中的光照变化区域。

附图说明

图1示出了按照本发明的判定视频图像帧序列中背景光照变化区域的方法的流程图；

图2示出了按照本发明的判定视频图像帧序列中背景光照变化区域的方法中获得当前帧中各像素的时域变化指示符的步骤的流程图；

图3示出了按照本发明的判定视频图像帧序列中背景光照变化区域的方法中获得当前帧中的空间域变化指示符集合的步骤的流程图；

图4示出了按照本发明的判定视频图像帧序列中背景光照变化区域的装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。

在本文中，第一背景差分二值图像是这样获得的：将当前帧与预先确定的第一背景模型进行差分处理得到第一背景差分图像，然后对第一背景差分图像进行二值化处理得到第一背景差分二值图像，其中二值化处理是阈值分隔处理，例如可以采用梯度阈值法、最大类间方差法或最大熵法等方法来进行该阈值分隔处理。

帧间差分二值图像是这样获得的：将当前帧与前一帧进行差分处理得到帧间差分图像，然后对帧间差分图像进行二值化处理得到帧间差分二值图像，其中二值化处理是阈值分隔处理，例如可以采用梯度阈值法、最大类间方差法或最大熵法等方法来进行该阈值分隔处理。

第二背景差分二值图像是这样获得的：将当前帧与预先确定的第二背景模型进行差分处理得到第二背景差分图像，然后对第二背景差分图像进行二值化处理得到第二背景差分二值图像，其中二值化处理是阈值分隔处理，例如可以采用梯度阈值法、最大类间方差法或最大熵法等方法来进行该阈值分隔处理。

图1出了按照本发明的判定视频图像帧序列中背景光照变化区域的方法的流程图。按图1所示，按照本发明的判定视频图像帧序列中背景光照变化区域的方法包括：

步骤101，获得当前帧中各像素的时域变化指示符；

步骤102，获得当前帧中的空间域变化指示符集合；

步骤103，根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域；和

步骤104，清除当前帧中光照变化的区域。

下面将详细介绍上述各个步骤：

获得当前帧中各像素的时域变化指示符

图2示出了按照本发明的判定视频图像帧序列中背景光照变化区域的方法中获得当前帧中各像素的时域变化指示符的处理的流程图。如图2所示，步骤101包括：

步骤201，获取当前帧与预先确定的第一背景模型之间的第一背景差分二值图像。将当前帧图像与预先建立的第一背景模型做差分处理得到第一背景差分图像，然后对第一背景差分图像进行二值化处理以获取其差分图像的二值图像BF。按照本发明，第一背景模型的建立可以是以视频图像帧序列的起始帧作为背景模型，也可以从视频图像帧序列中选择稳定的背景图像作为背景模型。这里，稳定的背景图像是指只有静态背景没有运动目标的视频图像，稳定的背景图像的获得可以使用任意一种背景建模方法，例如，可以采用混和高斯模型方法，参见Chris Stauffer的文章《Adaptive background mixture models forreal-time tracking》(1999)。对差分图像进行二值化处理以获得二值图像可以是一种阈值分割处理，例如可以采用梯度阈值法、最大类间方差法或最大熵法等来进行所述阈值分割处理。

按照本发明的优选实施方式，所述的二值图像中前景像素值为1，背景像素值为0。

步骤202，获取当前帧与前一帧之间的帧间差分二值图像。将当前帧图像与前一帧图像做差分处理以获得帧间差分图像，然后对该帧间差分图像进行二值化处理以获取帧间差分图像的二值图像TF。按照本发明，对差分图像进行二值化处理以获得二值图像可以是一种阈值分割处理，例如可以采用梯度阈值法、最大类间方差法或最大熵法等来进行所述阈值分割处理。

步骤203，获取当前帧中各像素的时域变化指示符。根据上述的第一背景差分二值图像BF、帧间差分二值图像TF，获取该视频图像的时间变化TL的公式如下：

其中，t表示第t帧，x、y分别表示像素的横坐标、纵坐标。按照本发明的优选实施方式，其中第一时域变化指示符可以等于0，第二时域变化指示符可以等于1，第三时域变化指示符可以等于2。即，

获得当前帧中的空间域变化指示符集合

图3示出了按照本发明的判定视频图像帧序列中背景光照变化区域的方法中获得当前帧中的空间域变化指示符集合的处理的流程图。如图3所示，步骤102包括以下步骤：

步骤301，获取当前帧与第二背景模型之间的第二背景差分图像。通过将当前帧图像与预先建立的第二背景模型做差分处理，获取其差分图像BD₂。按照本发明，第二背景模型的建立可以是以视频图像帧序列的起始帧作为背景模型，也可以从视频图像帧序列中选择稳定的背景图像作为背景模型。这里，稳定的背景图像是指只有静态背景没有运动目标的视频图像，稳定的背景图像的获得可以使用任意一种背景建模方法，例如，可以采用混和高斯模型方法，参见Chris Stauffer的文章《Adaptive background mixture models for real-time tracking》(1999)。

此外，第二背景模型可以与第一背景模型相同，在这种情况下，第二背景差分图像与第一背景差分图像相同，因此在步骤301中，可以直接采用步骤201中获得的第一背景差分图像作为第二背景差分图像。

步骤302，获得第二背景差分二值图像的连通区域。对第二背景差分图像进行二值化处理，获得第二背景差分二值图像BF₂。注意，在第一背景模型与第二背景模型相同的情况下，第一背景差分二值图像与第二背景差分二值图像相同，并且可以直接采用步骤201中的第一背景差分二值图像作为第二背景差分二值图像。对背景差分二值图像BF₂进行连通区域标记，以获得一个个被标记的连通区域具体实现时，连通区域分析可以通过四连通域或八连通域实现。例如，对第二背景差分二值图像BF₂进行逐行扫描，找到一个未标记区域的第一点，标记该点；检查该点的四连通域或八连通域的邻域点并标记满足连通性要求的，且尚未被标记的点，同时将新增的标记点记录下来作为“区域增长”的种子点。在后续的标记过程中，不断地从记录种子点的数组中取出一个种子点，施行上述的操作，如此循环，直到记录种子点的数组为空，一个连通区域标记结束。接着再标记下一个未标记的连通区域，直到第二背景差分二值图像BF₂中所有连通区域都被标记。在本实施例中，连通区域内像素值为非0的是前景点，像素值为0的是背景点。

步骤303，获得所述连通区域的边缘像素集合。通过边缘检测算法提取第二背景差分二值连通区域

的边缘像素集合E。按照本发明，边缘检测算法可以采用梯度法、Roberts算法、Sobel算法、Canny算法或Laplacian算法等。

步骤304，获取当前帧的空间域变化指示符集合。根据上述的第二背景差分图像BD₂、连通区域

、边缘像素集合E以及设定的空间分析的区间半径l、空间分析的差分阈值δ，获取该视频图像的空间变化E′的方法如下：赋予E′的初始值为E；假设区域

的边界像素点E(i)的坐标为(x_e，y_e)，在区间(x_e-l，y_e)～(x_e+l，y_e)和(x_e，y_e-l)～(x_e，y_e+l)内，对BD₂进行分析，若存在|BD₂(x，y)-BD₂(x+1，y)|＞δ或者|BD₂(x，y)-BD₂(x，y+1)|＞δ，则E′(i)的值赋为0，否则E′(i)的值赋为1。

判别光照变化的区域

在本步骤中，统计所述连通区域

中前景像素(即，像素值非零的像素)的数目N₀、连通区域

中时域变化指示符TL等于第二时域变化指示符的像素的数目N、空间域变化指示符集合E′中全部指示符的数目M₀、空间域变化指示符集合E′中等于第二空间域变化指示符的指示符数目M，并根据上述的N₀、N、M₀、M，以及设定的阈值λ_N和λ_M，判断连通区域

是否为光照变化区域。

其中，根据上述的N₀、N、M₀、M，以及设定的阈值λ_N和λ_M，判断是否为光照变化区域的方法是计算N/N₀、M/M₀的值，若存在N/N₀＞λ_N或者M/M₀＞λ_M，则判定连通区域

为光照变化区域。

按照本发明的优选实施方式，λ_N的取值在0.5～1.0之间，即0.5≤λ_N≤1.0；λ_M的取值在0.5～1.0之间，即，0.5≤λ_M≤1.0。

清除光照变化的区域

在判定连通区域

为光照变化区域的情况下，通过将当前帧中与所述光照变化区域对应的图像区域内所有像素的像素值设置为零，清除所述光照变化区域。

图4示出了按照本发明的背景光照变化过滤的装置。如图4所示，按照本发明的判定视频图像帧序列中背景光照变化区域的装置包括：

时域变化指示符获取单元10，用于获得当前帧中各像素的时域变化指示符；

空间域变化指示符获取单元20，用于获得当前帧中的空间域变化指示符集合；

光照变化区域判定单元30，用于根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域；和

光照变化区域清除单元40，用于清除当前帧中光照变化的区域。

按照本发明，在所述时域变化指示符获取单元中，所述当前帧中各像素的时域变化指示符是基于第一背景差分二值图像和帧间差分二值图像获得的，所述第一背景差分二值图像是当前帧与预先确定的第一背景模型之间的差分二值图像，所述帧间差分二值图像是当前帧与前一帧之间的差分二值图像。在所述空间域变化指示符获取单元中，所述当前帧中的空间域变化指示符集合是基于第二背景差分图像和第二背景差分二值图像获得的，所述第二背景差分图像是当前帧与预先确定的第二背景模型之间的差分图像，所述第二背景差分二值图像是当前帧与所述预先确定的第二背景模型之间的差分二值图像。

在所述时域变化指示符获取单元中，当前帧中各像素的时域变化指示符是根据下式获得的：

其中，t代表当前帧的序号，TL(t，x，y)为当前帧中坐标为(x，y)的像素的时域变化指示符，BF₁(t，x，y)是第一背景差分二值图像的像素值，TF(t，x，y)是帧间差分二值图像的像素值。按照本发明的优选实施方式，所述第一时域变化指示值可以等于0，第二时域变化指示值可以等于1，第三时域变化指示值可以等于2。即，上述公式为：

按照本发明，空间域变化指示符获取单元进行下列操作：获得所述第二背景差分二值图像的连通区域以及所述连通区域的边缘像素集合；设所述空间域变化指示符集合为E′、所述边缘像素集合为E，并且令E′的初始值为E，假设连通区域的边缘像素集合E中的任意点E(i)的坐标为(x_e，y_e)，则在区间(x_e-l，y_e)～(x_e+l，y_e)和(x_e，y_e-l)～(x_e，y_e+l)内，如果|BD₂(c，y)-BD₂(x+1，y)|＞δ或者|BD₂(x，y)-BD₂(x，y+1)|＞δ，则将E′(i)的值赋为第一空间域变化指示值，否则E′(i)的值赋为第二空间域变化指示值。其中l为预先设定的空间分析的区间半径，δ为预先设定的空间分析的差分阈值，BD₂(x，y)是所述第二背景差分图像中(x，y)位置上的像素值。按照本发明的优选实施方式，所述第一空间域变化指示值等于0，第二空间域变化指示值等于1。

按照本发明，光照变化区域判定单元进行下列操作：统计所述连通区域中的前景像素的数目N₀、所述连通区域中时域变化指示符等于第二时域变化指示值的像素的数目N、所述空间域变化指示符集合中全部指示符的数目M₀、所述空间域变化指示符集合中等于第二空间域变化指示值的指示符的数目M，如果N/N₀＞λ_N或者M/M₀＞λ_M，则所述连通区域为光照变化区域。按照本发明的优选实施方式，0.5≤λ_N≤1.0，0.5≤λ_M≤1.0。

按照本发明，光照变化区域清除单元进行下列操作：通过将当前帧中与所述光照变化区域对应的图像区域内所有像素的像素值设置为零，清除所述光照变化区域。

按照本发明的判定视频图像帧序列中背景光照变化区域的方法和装置的最大优点是能够有效地过滤背景光照变化。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (18)

1.一种判定视频图像帧序列中背景光照变化区域的方法，该方法包括：

获得当前帧中各像素的时域变化指示符；

获得当前帧中的空间域变化指示符集合；和

根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域；

其中，所述当前帧中各像素的时域变化指示符是基于第一背景差分二值图像和帧间差分二值图像获得的，所述第一背景差分二值图像是当前帧与预先确定的第一背景模型之间的差分二值图像，所述帧间差分二值图像是当前帧与前一帧之间的差分二值图像；

所述当前帧中的空间域变化指示符集合是基于第二背景差分图像和第二背景差分二值图像获得的，所述第二背景差分图像是当前帧与预先确定的第二背景模型之间的差分图像，所述第二背景差分二值图像是当前帧与所述预先确定的第二背景模型之间的差分二值图像。

2.按照权利要求1所述的方法，其中，当前帧中各像素的时域变化指示符是根据下式获得的：

其中，t代表当前帧的序号，TL(t，x，y)为当前帧中坐标为(x，y)的像素的时域变化指示符，BF₁(t，x，y)是第一背景差分二值图像的像素值，TF(t，x，y)是帧间差分二值图像的像素值。

3.按照权利要求1所述的方法，其中，当前帧中的空间域变化指示符集合是通过下列步骤获得的：

获得所述第二背景差分二值图像的连通区域以及所述连通区域的边缘像素集合；

设所述空间域变化指示符集合为E′、所述边缘像素集合为E，并且令E′的初始值为E，假设连通区域的边缘像素集合E中的任意点E(i)的坐标为(x_e，y_e)，则

在区间(x_e-l，y_e)～(x_e+l，y_e)和(x_e，y_e-l)～(x_e，y_e+l)内，如果|BD₂(x，y)-BD₂(x+1，y)|＞δ或者|BD₂(x，y)-BD₂(x，y+1)|＞δ，则将E′(i)的值赋为第一空间域变化指示值，否则E′(i)的值赋为第二空间域变化指示值，

其中l为预先设定的空间分析的区间半径，δ为预先设定的空间分析的差分阈值，BD₂(x，y)是所述第二背景差分图像中(x，y)位置上的像素值。

4.按照权利要求3所述的方法，其中，根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域的步骤包括：

统计所述连通区域中的前景像素的数目N₀、所述连通区域中时域变化指示符等于第二时域变化指示值的像素的数目N、所述空间域变化指示符集合中全部指示符的数目M₀、所述空间域变化指示符集合中等于第二空间域变化指示值的指示符的数目M，

如果N/N₀＞λ_N或者M/M₀＞λ_M，则所述连通区域为光照变化区域，λ_N、λ_M为设定的阈值。

5.按照权利要求1所述的方法，此外还包括步骤：

清除当前帧中的光照变化区域。

6.按照权利要求5所述的方法，其中清除当前帧中的光照变化区域的步骤包括：

通过将当前帧中与所述光照变化区域对应的图像区域内所有像素的像素值设置为零，清除所述光照变化区域。

7.按照权利要求2所述的方法，其中，所述第一时域变化指示值等于0，第二时域变化指示值等于1，第三时域变化指示值等于2。

8.按照权利要求3所述的方法，其中，所述第一空间域变化指示值等于0，第二空间域变化指示值等于1。

9.按照权利要求4所述的方法，其中，0.5≤λ_N≤1.0，0.5≤λ_M≤1.0。

10.一种判定视频图像帧序列中背景光照变化区域的装置，该装置包括：

时域变化指示符获取单元，用于获得当前帧中各像素的时域变化指示符；

空间域变化指示符获取单元，用于获得当前帧中的空间域变化指示符集合；和

光照变化区域判定单元，用于根据所述时域变化指示符和所述空间域变化指示符集合，判定出当前帧中的光照变化区域；

其中，所述当前帧中各像素的时域变化指示符是基于第一背景差分二值图像和帧间差分二值图像获得的，所述第一背景差分二值图像是当前帧与预先确定的第一背景模型之间的差分二值图像，所述帧间差分二值图像是当前帧与前一帧之间的差分二值图像；

所述当前帧中的空间域变化指示符集合是基于第二背景差分图像和第二背景差分二值图像获得的，所述第二背景差分图像是当前帧与预先确定的第二背景模型之间的差分图像，所述第二背景差分二值图像是当前帧与所述预先确定的第二背景模型之间的差分二值图像。

11.按照权利要求10所述的装置，其中，当前帧中各像素的时域变化指示符是根据下式获得的：

其中，t代表当前帧的序号，TL(t，x，y)为当前帧中坐标为(x，y)的像素的时域变化指示符，BF₁(t，x，y)是第一背景差分二值图像的像素值，TF(t，x，y)是帧间差分二值图像的像素值。

12.按照权利要求10所述的装置，其中，空间域变化指示符获取单元进行下列操作：

获得所述第二背景差分二值图像的连通区域以及所述连通区域的边缘像素集合；

设所述空间域变化指示符集合为E′、所述边缘像素集合为E，并且令E′的初始值为E，假设连通区域的边缘像素集合E中的任意点E(t)的坐标为(x_e，y_e)，则在区间(x_e-l，y_e)～(x_e+l，y_e)和(x_e，y_e-l)～(x_e，y_e+l)内，如果|BD₂(x，y)-BD₂(x+1，y)|＞δ或者|BD₂(x，y)-BD₂(x，y+1)|＞δ，则将E′(i)的值赋为第一空间域变化指示值，否则E′(i)的值赋为第二空间域变化指示值，

其中l为预先设定的空间分析的区间半径，δ为预先设定的空间分析的差分阈值，BD₂(x，y)是所述第二背景差分图像中(x，y)位置上的像素值。

13.按照权利要求12所述的装置，其中，光照变化区域判定单元进行下列操作：

统计所述连通区域中的前景像素的数目N₀、所述连通区域中时域变化指示符等于第二时域变化指示值的像素的数目N、所述空间域变化指示符集合中全部指示符的数目M₀、所述空间域变化指示符集合中等于第二空间域变化指示值的指示符的数目M，

如果N/N₀＞λ_N或者M/M₀＞λ_M，则所述连通区域为光照变化区域，λ_N、λ_M为设定的阈值。

14.按照权利要求10所述的装置，此外还包括：

光照变化区域清除单元，用于清除当前帧中的光照变化区域。

15.按照权利要求14所述的装置，其中光照变化区域清除单元进行下列操作：

通过将当前帧中与所述光照变化区域对应的图像区域内所有像素的像素值设置为零，清除所述光照变化区域。

16.按照权利要求11所述的装置，其中，所述第一时域变化指示值等于0，第二时域变化指示值等于1，第三时域变化指示值等于2。

17.按照权利要求12所述的装置，其中，所述第一空间域变化指示值等于0，第二空间域变化指示值等于1。

18.按照权利要求13所述的装置，其中，0.5≤λ_N≤1.0，0.5≤λ_M≤1.0。

Images