CN101715070A - 特定监控视频中的背景自动更新方法 - Google Patents

Abstract

一种特定监控视频中的背景自动更新方法，用于户外监控时对光照变化、建筑投影随太阳高度变化、风吹树叶晃动这些变化，对这些变化能够实时、准确地进行更新。其方法如下：1)如果差分图像不存在变化区域，则没有动目标出现，判断结束。2)如果存在，原因待定。将此帧存储，采集下一帧，继续判断差分图像是否存在变化区域：①如果不存在，则认为之前是瞬间的光线变化，无响应。②如果存在，则将此帧存储，读取下一帧。3)对当前帧做同上方式处理，如果存在变化区域，则将此帧也存储起来。4)对这连续三帧图像做三帧差，若有变化区域，就认为有目标进入。否则就认为是其他原因，无响应。5)选择最新一帧替代原背景。

Description

特定监控视频中的背景自动更新方法

技术领域

本发明是一种特定监控视频中的背景更新技术，属于视频监控的图像处理的技术领域。

背景技术

在计算机视觉系统中，运动目标的检测与分割是一个非常重要的问题，应用于视频监视、交通监测、图像压缩等许多方面。视频监控中运动目标的检测、跟踪与计数涉及信号、视频处理、计算机视觉等多个学科的研究领域，对一个运动目标进行检测与跟踪的过程就是一个对图像进行检测、匹配、跟踪的过程。

在进行运动检测时，常见的一种情况是摄像机处于静止状态，并且镜头焦距是固定的，此时，图像中的背景区域固定不动。

这种情况下，通常有4种方法进行运动检测：光流法、相邻帧差法(包括改进的相邻帧差法)、运动能量检测法和背景差法(背景消减法)。

光流法在不需要背景区域的任何先验知识条件下(不需要预先知道场景的任何信息)就能够实现对运动目标的检测和跟踪，还可以应用于摄像机运动的情况。但是，光流法的计算量非常大，而且对噪声比较敏感，对硬件要求比较高，除非有特殊的硬件支持，否则很难符合实时处理的要求。

相邻帧差法能够适应环境的动态变化，实现实时的运动检测，但分割出的运动目标不完整，而且目标运动速度太慢时无法分割出目标，太快时有可能分割出虚假目标，不利于进一步对象的分析、识别。改进的相邻帧差法利用相邻的3帧图像分别差分然后求差分图像的交集，获得比相邻帧差法更好的运动分割结果，但运动目标在很多情况下仍不完整，会出现空洞。

运动能量检测法适合于复杂变化的环境，能消除背景中振动的像素，使按某方向运动的对象更加突出地显现出来，但难以获得目标所在区域的精确描述。

背景差法(背景消减法)适用于摄像机静止的情形，为静止背景建立背景模型，通过当前帧减去背景参考帧，然后对所得图像选择合适的阈值二值化，就得到完整的运动目标，是一种最为简单和有效的方法，完全克服了相邻帧差法的缺点，可以获得关于运动目标区域的完整精确的描述。

因此，背景差法是一种比较理想的目标分割方法，运动目标提取经常会选择此算法。但是，背景差法的难点是寻找一种能够实时方法，做到又快又准的进行背景更新。背景更新方式对后续工作有很大影响，因此必须选用一种准确而且具有较低复杂度的背景更新方式，这样才能避免检测时造成的误判。

背景更新算法除了更新准确以外，必须具有较低的复杂度。原因是一般情况下不是仅仅为了提取运动目标，还可能需要对目标进行识别、跟踪、计数等等，计算资源的大部分应分配重点是放在这些方面，而留给背景更新计算的资源是很有限的。倘若某种背景更新算法能够很准确的进行背景更新，但是其复杂度较高，在很多场合仍然不能选用。

国外学者在这方面已取得一定的结果：

Gloyer B，Aghajan HK，Siu KY，Kailath T利用中值法(median)训练图像序列。Kornprobst P，Deriche R，Aubert G根据背景在图像序列中总是最经常被观测到的假设，提出了一种基于偏微分方程(Partial Differential Equations，简称PDE)的背景重构和运动分割算法，但是算法计算复杂，涉及的参数设置困难。Friedman N和RussellS将每个像素的灰度值看作是多个高斯模型的加权混合，同时采用EM(ExpectationMaximization)算法获得各个高斯模型参数。Elgammal A et al.提出用无参数核密度估计技术建立背景统计表达。Corso Jason J，Dewan Maneesh，D.Hager Gregory提出的方法是基于子空间融合的通过能量最小化进行图像分割。也可以分级分层进行背景建模，分别从图像的像素级、区域级和帧级特征对背景图像进行重构。

国内在此领域起步较晚，但是也取得不少成果：

朱淼良、王东辉提到的在HSV空间定义色调差和色彩差，符合人眼视觉的特性。明英，边馥苓在文中阐述的向量相关性检测判断像素属于背景还是前景目标的方法。周志宇和汪亚明研究的背景减除方法是把当前视频图像的背景模型数据和目标图像数据融合，更新下一帧背景模型的数据。侯志强，韩崇昭在以灰度视频图像序列中对应像素位置出现概率最高的灰度值为背景模型中该像素的灰度值重构背景的。

发明内容

技术问题：本发明的目的是提供一种特定监控视频中的背景自动更新方法，用于户外监控时对光照变化、建筑投影随太阳高度变化、风吹树叶晃动这些变化，对这些变化能够实时、准确地进行更新。

技术方案：在晴天的户外进行监控时，由于太阳高度不断发生变化，因此大型建筑物的阴影(假设为长条形)就会在画面上变化。上午时随着太阳高度上升，阴影区域变窄；下午随着太阳落山，阴影变宽。因此，用背景差法提取运动目标时，若背景更新跟不上这种变化时，就会认为阴影的变化区域是运动目标，而且可能是大面积的变化，造成误判。

运用上述更新算法时，在风吹树叶的情况下，树叶的晃动很可能由于背景无法及时更新而认为有运动，此时在树叶区域会出现大量的小面积的运动目标，给监控造成很大干扰。

为解决这种问题，可以使用Surandra方法与相邻三帧差进行结合的方法。Surandra方法、相邻三帧差方法与本文提出的方法均属于第二类方法，但是并不需要大量的过去帧，因此对于存储需求不高。

特定监控视频中的背景自动更新方法步骤为：

1)设定参数，并根据参数计算相邻帧帧差，选取阈值20对帧差进行二值化，对所得结果进行腐蚀、膨胀、连通域标记处理，所得的差分图像记为D，对D进行判断，看是否存在大片差分值为1并连通的区域，若存在，则这个区域是发生变化的区域，

2)如果得到的结论是不存在这样的变化区域，就视为没有动目标出现，也没有产生强烈的光线变化和摄像头偏移，此次判断结束，继续读入下一帧图像，

3)如果得到的结论是存在这样的变化区域，这可能是因为动目标进入、光线变化或摄像头偏移引起的，不能简单做出判断，并依据更新规则1对背景进行更新；现将这一帧图像设为第I帧，存储，继续采集第I+1帧，并把它和背景图像作差，将差分图像记为D+1，对D+1预处理和扫描，判断是否存在这样的变化区域；

分为两种情况判断：

①如果不存在这样的变化区域，则认为之前是瞬间的光线变化，不作任何响应，

②如果存在这样的变化区域，则将第I+1帧存储起来，继续读取下一帧图像，即第I+2帧，并依据更新规则2对背景进行更新，

4)对I+2帧与I+1帧一样方法处理，如果差分图像D+2经过预处理和扫描判断之后，不存在变化区域，则仍然认为之前是因为瞬间光线变化的影响，不作相应。如果存在变化区域，则将I+2也存储起来，并依据更新规则3对背景进行更新，

5)将I和I+1作差得到的结果记为C10，I+1和I+1作差得到的结果记为C21，对C10和C21进行图像预处理和扫描，如果发现变化区域，就认为发生变化的原因是有动目标进入，报警；如果没有发现变化区域，就认为发生变化的原因是光线的骤然变化，而且该变化是持续下去的，或者摄像头发生了偏移，

6)选择第I+2帧作为背景，替代原来的背景。

更新规则1的步骤，即：

设定(h，w)代表图像中像素点坐标，给每一个像素点设定一个状态坐标status(h，w)＝0，表示更新状态；

顺序读取三帧图像，对于每一个像素点分别记为Y1(h，w)，Y2(h，w)，Y3(h，w)，设定d12(h，w)和d23(h，w)表示帧差，即

d12(h，w)＝|Y1(h，w)-Y2(h，w)|，d23(h，w)＝|Y2(h，w)-Y3(h，w)|；

可通过任选干净背景一帧或若干帧求平均得到初始背景，设定BG(h，w)为初始背景，设BG1(h，w)，BG2(h，w)，BG3(h，w)分别表示Y1(h，w)，Y2(h，w)，Y3(h，w)背景像素点的更新结果。T1，T2表示判定阈值；

BG1(h，w)置为BG(h，w)，d1(h，w)置为|Y1(h，w)-BG(h，w)|，

若d1(h，w)＜T1时，按公式(2)更新BG1(h，w)背景像素值，否则不进行更新，但是在此情况下status(h，w)置为0，则将status(h，w)置为1，

BG1(h，w)＝α*Y1(h，w)+(1-α)*BG(h，w)。

更新规则2的步骤，即：

BG2(h，w)置为BG1(h，w)，d2(h，w)置为|Y2(h，w)-BG1(h，w)|，

若d2(h，w)＜T1时，按公式(3)更新BG2(h，w)背景像素值，否则不进行更新，但是若此情况下status(h，w)置为1，则当d12＞T2时，status(h，w)置0，否则status(h，w)置为2，

BG2(h，w)＝α*Y2(h，w)+(1-α)*BG1(h，w)。

更新规则3的步骤，即：

BG3(h，w)置为BG2(h，w)，d3(h，w)置为|Y3(h，w)-BG2(h，w)|，

若d3(h，w)＜T1时，按公式(4)更新BG3(h，w)背景像素值，否则不进行更新，但是若此情况下status(h，w)置为2，则当d23＞T2时，status(h，w)置为0，否则BG3(h，w)＝Y3(h，w)，同时status(h，w)置为0，

BG3(h，w)＝α*Y3(h，w)+(1-α)*BG2(h，w)。

有益效果：当在晴天的户外进行监控时，由于太阳高度不断发生变化，因此大型建筑物的阴影(假设为长条形)就会在画面上变化。上午时随着太阳高度上升，阴影区域变窄；下午随着太阳落山，阴影变宽，运用本算法能够较好的区分阴影变化，及时跟上阴影的变化，从而更好的分隔运动目标。

本发明的另一个有益效果是，在风吹树叶的情况下，树叶的晃动很可能由于背景无法及时更新而认为有运动，此时在树叶区域会出现大量的小面积的运动目标，运用本算法能够去除这些大量的微小变化，以使更加准确的进行监控。

另外，该背景更新方法对像素虽然是采用逐点更新，但是在更新计算前先进行判断，符合条件的点才进行按公式更新，因此计算量相对较小。

附图说明

图1是本发明的流程图。

具体实施方式

本发明的具体步骤为：

(1)设定参数，并根据参数计算相邻帧帧差，选取阈值20对帧差进行二值化，对所得结果进行腐蚀、膨胀、连通域标记处理，所得的差分图像记为D，对D进行判断，看是否存在大片差分值为1并连通的区域，若存在，则这个区域是发生变化的区域。

(2)如果得到的结论是不存在这样的变化区域，就视为没有动目标出现，也没有产生强烈的光线变化和摄像头偏移。此次判断结束，继续读入下一帧图像。

(3)如果得到的结论是存在这样的变化区域，这可能是因为动目标进入、光线变化或摄像头偏移引起的，不能简单做出判断，并依据更新规则1对背景进行更新。现将这一帧图像设为第I帧，存储，继续采集第I+1帧，并把它和背景图像作差，将差分图像记为D+1，对D+1预处理和扫描，判断是否存在这样的变化区域。

分为两种情况判断：

①如果不存在这样的变化区域，则认为之前是瞬间的光线变化，不作任何响应。

②如果存在这样的变化区域，则将第I+1帧存储起来，继续读取下一帧图像，即第I+2帧，并依据更新规则2对背景进行更新。

(4)对I+2帧与I+1帧一样方法处理，如果差分图像D+2经过预处理和扫描判断之后，不存在变化区域，则仍然认为之前是因为瞬间光线变化的影响，不作相应。如果存在变化区域，则将I+2也存储起来，并依据更新规则3对背景进行更新。

(5)将I和I+1作差得到的结果记为C10，I+1和I+1作差得到的结果记为C21，对C10和C21进行图像预处理和扫描，如果发现变化区域，就认为发生变化的原因是有动目标进入，报警。如果没有发现变化区域，就认为发生变化的原因是光线的骤然变化，而且该变化是持续下去的，或者摄像头发生了偏移。

(6)选择第I+2帧作为背景，替代原来的背景。

其中更新规则1的步骤为：

设定(h，w)代表图像中像素点坐标，给每一个像素点设定一个状态坐标status(h，w)＝0，表示更新状态；

顺序读取三帧图像，对于每一个像素点分别记为Y1(h，w)，Y2(h，w)，Y3(h，w)，设定d12(h，w)和d23(h，w)表示帧差，即

d12(h，w)＝|Y1(h，w)-Y2(h，w)|，d23(h，w)＝|Y2(h，w)-Y3(h，w)|；

可通过任选干净背景一帧或若干帧求平均得到初始背景，设定BG(h，w)为初始背景，设BG1(h，w)，BG2(h，w)，BG3(h，w)分别表示Y1(h，w)，Y2(h，w)，Y3(h，w)背景像素点的更新结果。T1，T2表示判定阈值。

BG1(h，w)置为BG(h，w)，d1(h，w)置为|Y1(h，w)-BG(h，w)|。

若d1(h，w)＜T1时，按公式(2)更新BG1(h，w)背景像素值，否则不进行更新，但是在此情况下status(h，w)置为0，则将status(h，w)置为1。

BG1(h，w)＝α*Y1(h，w)+(1-α)*BG(h，w)(2)

其中更新规则2的步骤为：

BG2(h，w)置为BG1(h，w)，d2(h，w)置为|Y2(h，w)-BG1(h，w)|。

若d2(h，w)＜T1时，按公式(3)更新BG2(h，w)背景像素值，否则不进行更新，但是若此情况下status(h，w)置为1，则当d12＞T2时，status(h，w)置0，否则status(h，w)置为2。

BG2(h，w)＝α*Y2(h，w)+(1-α)*BG1(h，w)(3)

其中更新规则3的步骤为：

BG3(h，w)置为BG2(h，w)，d3(h，w)置为|Y3(h，w)-BG2(h，w)|。

若d3(h，w)＜T1时，按公式(4)更新BG3(h，w)背景像素值，否则不进行更新，但是若此情况下status(h，w)置为2，则当d23＞T2时，status(h，w)置为0，否则BG3(h，w)＝Y3(h，w)，同时status(h，w)置为0。

BG3(h，w)＝α*Y3(h，w)+(1-α)*BG2(h，w)(4)

Claims (4)

1.一种特定监控视频中的背景自动更新方法，其特征在于其步骤为：

1)设定参数，并根据参数计算相邻帧帧差，选取阈值20对帧差进行二值化，对所得结果进行腐蚀、膨胀、连通域标记处理，所得的差分图像记为D，对D进行判断，看是否存在大片差分值为1并连通的区域，若存在，则这个区域是发生变化的区域，

2)如果得到的结论是不存在这样的变化区域，就视为没有动目标出现，也没有产生强烈的光线变化和摄像头偏移，此次判断结束，继续读入下一帧图像，

3)如果得到的结论是存在这样的变化区域，这可能是因为动目标进入、光线变化或摄像头偏移引起的，不能简单做出判断，并依据更新规则1对背景进行更新；现将这一帧图像设为第I帧，存储，继续采集第I+1帧，并把它和背景图像作差，将差分图像记为D+1，对D+1预处理和扫描，判断是否存在这样的变化区域；

分为两种情况判断：

①如果不存在这样的变化区域，则认为之前是瞬间的光线变化，不作任何响应，

②如果存在这样的变化区域，则将第I+1帧存储起来，继续读取下一帧图像，即第I+2帧，并依据更新规则2对背景进行更新，

4)对I+2帧与I+1帧一样方法处理，如果差分图像D+2经过预处理和扫描判断之后，不存在变化区域，则仍然认为之前是因为瞬间光线变化的影响，不作相应。如果存在变化区域，则将I+2也存储起来，并依据更新规则3对背景进行更新，

5)将I和I+1作差得到的结果记为C10，I+1和I+1作差得到的结果记为C21，对C10和C21进行图像预处理和扫描，如果发现变化区域，就认为发生变化的原因是有动目标进入，报警；如果没有发现变化区域，就认为发生变化的原因是光线的骤然变化，而且该变化是持续下去的，或者摄像头发生了偏移，

6)选择第I+2帧作为背景，替代原来的背景。

2.根据权利要求1所述的特定监控视频中的背景自动更新方法，其特征在于更新规则1的步骤，即：

设定(h，w)代表图像中像素点坐标，给每一个像素点设定一个状态坐标status(h，w)＝0，表示更新状态；

顺序读取三帧图像，对于每一个像素点分别记为Y1(h，w)，Y2(h，w)，Y3(h，w)，设定d12(h，w)和d23(h，w)表示帧差，即

d12(h，w)＝|Y1(h，w)-Y2(h，w)|，d23(h，w)＝|Y2(h，w)-Y3(h，w)|；

可通过任选干净背景一帧或若干帧求平均得到初始背景，设定BG(h，w)为初始背景，设BG1(h，w)，BG2(h，w)，BG3(h，w)分别表示Y1(h，w)，Y2(h，w)，Y3(h，w)背景像素点的更新结果。T1，T2表示判定阈值；

BG1(h，w)置为BG(h，w)，d1(h，w)置为|Y1(h，w)-BG(h，w)|，

若d1(h，w)＜T1时，按公式(2)更新BG1(h，w)背景像素值，否则不进行更新，但是在此情况下status(h，w)置为0，则将status(h，w)置为1，

BG1(h，w)＝α*Y1(h，w)+(1-α)*BG(h，w)。

3.根据权利要求1所述的特定监控视频中的背景自动更新方法，其特征在于更新规则2的步骤，即：

BG2(h，w)置为BG1(h，w)，d2(h，w)置为|Y2(h，w)-BG1(h，w)|，

若d2(h，w)＜T1时，按公式(3)更新BG2(h，w)背景像素值，否则不进行更新，但是若此情况下status(h，w)置为1，则当d12＞T2时，status(h，w)置0，否则status(h，w)置为2，

BG2(h，w)＝α*Y2(h，w)+(1-α)*BG1(h，w)。

4.根据权利要求1所述的特定监控视频中的背景自动更新算法，其特征在于更新规则3的步骤，即：

BG3(h，w)置为BG2(h，w)，d3(h，w)置为|Y3(h，w)-BG2(h，w)|，

若d3(h，w)＜T1时，按公式(4)更新BG3(h，w)背景像素值，否则不进行更新，但是若此情况下status(h，w)置为2，则当d23＞T2时，status(h，w)置为0，否则BG3(h，w)＝Y3(h，w)，同时status(h，w)置为0，

BG3(h，w)＝α*Y3(h，w)+(1-α)*BG2(h，w)。

Images