CN101998063B - 前景图像分离方法 - Google Patents

Abstract

本发明提出一种前景图像分离方法，可从自动白平衡或亮度突然变化的连续输入图像中分离出动态前景与静态背景。首先从摄影机接收一输入图像，接着根据一参考图像对该输入图像进行白平衡或亮度补偿，产生一补偿图像，具有与该参考图像大致相同的背景颜色和背景亮度。最后将该补偿图像进行一背景相减(background subtraction)演算法，以产生一背景分离结果。该背景相减演算法可以是一种基于高斯混合模型(Gaussian MixtureModel)的演算法。本方法处理该摄影机连续输入的图像，以连续产生前景图像分离结果，并据以更新该参考图像使该监控系统可调适照明条件的变化。

Description

前景图像分离方法

技术领域

本发明涉及摄影监视系统，尤其涉及不受照明光线变化的前景分离技术。

背景技术

为维护社会治安和提升犯罪事件的破案率，在各种公共场所广设监视摄影机进行全天候二十四小时监控搜证已是现代社会中一种必要的措施。由于所搜集的图像数量非常庞大，已经不是只用少数安全人员足以应付实际的需求。因此使用机器进行初步过滤监视影片或缩小寻找关键图像的范围，然后再提供人员进行确认已是目前视频监控自动化设备研发的主要方向。

图1为一已知的视频处理系统。主要的功能模块可分为前端的摄影机102和后端的图像分析器110。基于全天候监控的需要，所以前端摄影机102必须具备自动白平衡(automatic white balance)或曝光控制(exposure control)的功能。然而，这样的自动调整功能却可能使图像分析器110进行移动物体的前景图像分离时发生困难。因此，提升视频监控系统在不同光线照明条件的可靠度成为当前热门的研究课题，也是促使本专利发明的研发动机。

摄影机102的自动白平衡功能虽可改善不同光线照射条件下的取像品质，然而动态出现的前景物颜色却也可能启动该自动调整机制而瞬间改变背景图像的色调，因此影响在红蓝绿颜色空间的前景图像分离效果。由于在绝大部分的监控系统中，前端的摄影机102和后端的图像分析器110通常为分开的独立系统，而且前端摄影机102并不传送前述自动调整的参数信息给后端进行图像处理的图像分析器110，因此图像分析器110若要补正前述的问题必须设法自行估测调整参数。目前解决摄影机自动白平衡问题的方法，例如采用图像边线(edge)或区域二阶样型(local binary pattern)的图像纹理(texture)特征虽可相当程度改善此问题，但由在此类参数特性和颜色参数之间有一些互补性的差异，因此若仅使用图像纹理特征参数在某些状况下的前景分离效果并不理想。

发明内容

有鉴于此，本发明提出一种补正自动白平衡或曝光控制的方法，使得背景图像的颜色和亮度可维持稳定以利采用背景相减法(backgroundsubtraction)的前景图像分离技术。

在一前景图像分离方法的实施例中，首先从该摄影机接收一输入图像。接着根据内存的参考图像对该输入图像进行白平衡或亮度补偿，产生一补偿图像，使该补偿图像与该参考图像的至少部分对应区域具有一致的颜色和亮度。最后将该补偿图像进行一背景相减演算法，以产生一背景分离结果。当该摄影机产生输入图像持续进行时，而该白平衡或亮度补偿步骤持续执行。该背景相减演算法可以是一种高斯混合模型(Gaussian MixtureModel)演算法。

附图说明

图1为已知的监控系统架构图；

图2为本发明实施例的图像监控系统架构图；

图3为本发明提出的前景图像分离方法流程图；

图4a为本发明补偿白平衡的方法流程图；

图4b及图4c为比较图像特征的示意图；

图4d为直方图的示意图；

图5为背景相减演算法产生的一背景遮罩示意图。

【主要元件符号说明】

102摄影机          110图像分析器

200补偿单元        210图像分析器

220参考图像更新单元#REF参考图像

410参考图像        420输入图像

500背景遮罩        510前景部分

具体实施方式

图2为本发明实施例的图像监控系统架构图。一摄影机102在前端持续地捕捉着图像。但是各种不同颜色和亮度的动态物体可能会不时地进入摄影机102的摄影范围，致使摄影机102随之调整曝光值以及白平衡参数，以保持整体画面的取像品质。当摄影机102所获取的输入图像#IN中有动态物体出现时，背景的颜色和亮度可能会随着摄影机102的自动调节而偏离原来的值。这种差异会导致传统的图像分析器110无法正确的将前景和背景分离出来。本发明提出一种补偿单元200，耦接该摄影机102的输出端，可以修正该摄影机102造成的背景颜色和亮度偏移。

一般来说，该摄影机102是持续性进行拍摄，视应用需求的不同，每秒可能产生十至三十(或更多)个输入图像#IN。而本发明的补偿单元200亦持续执行着颜色增益补偿步骤。简单地说，颜色增益的补偿步骤涵盖了白平衡和亮度的调整。本发明实施例提供一参考图像#REF，做为白平衡和亮度的补偿基准。该参考图像#REF的产生方式与更新方式将于后段详述。每当该补偿单元200从该摄影机102接收一个输入图像#IN，就根据参考图像#REF对该输入图像#IN进行颜色增益的补偿步骤，以产生具有与该参考图像#REF大致相同的背景颜色和亮度的补偿图像#IN’。藉此，后续的图像分析器210，可接着将该补偿图像#IN’进行一背景相减演算法，在不受到白平衡和亮度偏移的影响下，准确地将前景与背景分离。基本上现今已有许多演算法可用来分离前景和背景，举例来说，该图像分析器210可执行高斯混合模型(Gaussian Mixture Model)演算法，而所产生的背景分离结果#BG以前景物图像或者背景遮罩的方式呈现。高斯混合模型的原理，简而言之，是将每次输入的该补偿图像的特征值以可适性的渐进方式更新至一高斯混合模型中，并使用该高斯混合模型为静态背景将该补偿图像进行一减法运算，藉此将动态前景与静态背景分离开来。

关于参考图像#REF的产生方式，基本上源自输入图像#IN。更确切地说，参考图像#REF的物理意义实质上就是一张动态物体稀少的静态背景画面。举例来说，随着时间的变化，照明光线可能会有日夜差异，尤其是晨昏时刻变化颇大。为渐次调适照明稳定变化的趋势，该参考图像更新单元220可以利用输入图像#IN的背景分离结果#BG计算该输入图像#IN中内含动态物体图像面积的数值，以决定是否选择该输入图像#IN更新参考图像#REF。

图3为本发明提出的前景图像分离方法流程图。如图2所示的监控系统，在步骤301中启动。首先在步骤303中，摄影机102开始接收输入图像#IN。在步骤305中，补偿单元200检查该参考图像更新单元220是否准备好参考图像#REF以做为白平衡补偿的依据。如果参考图像#REF已经准备就绪，则进行步骤309，由该补偿单元200接收由摄影机102传来的输入图像#IN，并根据该参考图像#REF将该输入图像#IN进行白平衡或亮度补偿，以产生一补偿图像#IN’，具有与该参考图像#REF的至少部分对应区域具有一致的颜色或亮度。接着在步骤311中，由该图像分析器210对该补偿图像#IN’进行一背景相减演算法，以产生一背景分离结果#BG。另一方面，如果步骤305中判断该参考图像更新单元220尚未提供一参考图像#REF，则进行步骤307，在不使用补偿单元200的前提下，直接由该图像分析器210对该输入图像#IN进行一背景相减演算法，以产生一背景分离结果#BG。在步骤307或311各自根据不同来源产生背景分离结果#BG之后，接着进行步骤313，由该参考图像更新单元220根据背景分离结果#BG判断属于前景的像素占该输入图像#IN的比率。如果前景像素的比率小于预设值，则进行步骤315，该参考图像更新单元220将该输入图像#IN设定为参考图像#REF。相对的，如果前景像素的比率过高，则跳至步骤317，不更新参考图像#REF。在步骤315和317结束之后，流程递回执行步骤303，周而覆始的接收并补偿输入图像，并更新参考图像。

图4a为本发明补偿白平衡的方法流程图。在补偿单元200中所进行的程序，可搭配图4b至图4d一并说明。首先在步骤401中，启动该补偿单元200并开始接收输入图像#IN。在步骤403中，该补偿单元200将输入图像#IN以及参考图像#REF各别切割为相同数量及大小的区块，两者的区块有一对一的对应位置关系。举例来说，图4b的参考图像410被切成3×3个小区块，其中u^ref(x，y)代表该参考图像410中横轴第x个纵轴第y个区块。每一小区块包含多个像素，而这些像素颜色值可以用来计算该小区块的特征值，例如包含红、绿、蓝特征值(r₁，g₁，b₁)。同样地，在图4c中显示一输入图像420也被切成3×3个小区块，其中u^t(x，y)代表该输入图像420中横轴第x个纵轴第y个区块，其中包含的红、绿、蓝特征值表示为(r₂，g₂，b₂)。

特征值的计算方式可以有很多种。一种方法是计算每一区块中所有像素值的平均值。举例来说，一特定区块的红、绿、蓝特征值各别为该区块的所有红像素值的平均值、所有绿像素值的平均值、以及所有蓝像素值的平均值。另一种方式是以最大值来代表特征值。举例来说，一特定区块的红、绿、蓝特征值是各别为该区块的所有红像素值中的最大值、所有绿像素值中的最大值、以及所有蓝像素值中的最大值。另一个例子是，将前述的红、绿、蓝特征值分别乘以预设的权重然后合并成一灰阶亮度值，并以此灰阶亮度值当作区块代表特征值。灰阶亮度值的计算方式，已有许多已知做法，故在此不再详细说明。本发明也是有可能采用其他的方式来表达特征，但基本上都是根据红、绿、蓝色值来计算而得的。

在获取上述参考图像410和输入图像420中每一区块的特征值后，接着进行步骤405，将该参考图像410中每一区块的特征值，除以该输入图像420对应区块的特征值，得到多个比值。以参考图像410中的区块u^ref(x，y)和输入图像420中对应区块u^t(x，y)为例，可以得到红色比值(r₁/r₂)，绿色比值(g₁/g₂)以及蓝色比值(b₁/b₂)。本实施例中因为总共有9个区块，所以红色比值、绿色比值以及蓝色比值各有9组。

在步骤407中，该补偿单元200接着分别统计这些红色比值、绿色比值及蓝色比值的分布情形，以各别产生一红色补偿系数、一绿色补偿系数以及一蓝色补偿系数。统计的方法可以参考第4d图，采用直方图的方式。该补偿单元200在统计这些比值的分布情形时，以这些比值为样本，将这些比值的数值范围画分为多个数值区间C₁到C_N(N为自然数)，以产生一直方图，用以统计落在每一数值区间中的样本数量。区间值为事先预定值，其值可设为0.01至0.05之间。

接着在步骤409中，该补偿单元200选取该直方图中样本数量最高之一数值区间所对应的数值，作为该补偿系数。举例来说，在第4d图中，显示在数值范围C_K这个区间，比值样本的出现率最高。藉此可推断，该参考图像410和输入图像420中虽然可能有小部分画面受到前景物体的变化而有差异，但是大部分背景部分的像素颜色值只是单纯的发生某一比例的偏移。所以第4d图中数值区间C_K所代表的数值，有很大的机率就是该偏移比值。只要求出这些背景部分的偏移比值，就能据以将整个输入图像420的像素颜色值以乘法的方式补偿回来。

基于这个原理，在步骤411中，该补偿单元200将该输入图像420中的所有像素颜色值乘上由步骤409所决定的补偿系数，就此产生补偿图像#IN’。

值得一提的是，图4b和图4c虽然将参考图像410和输入图像420切成3×3个小区间，但是为了增加准确率，实际运作上可能是以每区间10×10或20×20像素的方式去切割该参考图像410和输入图像420。因此总共的区间数量，依照参考图像410和输入图像420的原始长宽值而定。

另一方面，需考量统计上的可靠度。如果因为监控到繁忙的交通，导致参考图像410和输入图像420的差异很大，使得这些比值在第4d图中的分布情形没有那么理想的时候，就必须进一步检查可靠度。举例来说，如果该直方图中样本数量最多的一数值区间C_K所包含的样本数量未超过所有区块总数的一可靠比例，则不进行补偿以避免发生错误。经过实测经验，该可靠比例设置为百分之五可以得到较佳的结果。

如前所述，本发明的实施例主要基于各个像素颜色值来运算。例如颜色特征值如果依红、绿、蓝三原色分别处理，故虽然没有一一详细举例，但是可以理解的是上述特征值包含红特征值、绿特征值以及蓝特征值，上述补偿系数包含一红补偿系数，一绿补偿系数及一蓝补偿系数，上述比值包含红比值，绿比值以及蓝比值，上述直方图包含红直方图，绿直方图及蓝直方图，而该补偿图像#IN’由该输入图像#IN中的每一红、绿、蓝色像素值分别乘上该红补偿系数，该绿补偿系数及该蓝补偿系数而得。

更进一步地说，该摄影机也可能是一台黑白摄影机，因此输入图像420没有白平衡问题，只有曝光值偏移的问题。而本发明实施例的颜色增益补偿步骤，也可适用于此类图像。在计算输入图像的特征值时，可直接计算该输入图像中各个区块的平均灰阶值或最大灰阶值作为每一区块的代表特征值。而求出补偿系数后，则直接针对灰阶像素值进行相乘，使补偿图像#IN’的亮度获得校正。

图5为背景相减演算法产生的一背景遮罩示意图。在图像分析器210输出一背景分离结果#BG后，可以背景遮罩的形式将前景和后景区分开来。背景遮罩500中属于背景的部分是以全黑的方式呈现，而属于前景的部分510，例如一个人形，则以全白的方式呈现。只要该背景遮罩500中全白部分占的比例够低，就可以被选用来当做参考图像。在本实施例中，只要前景部分占去的面积低于全背景遮罩500的5％，就可用来当做参考图像。

虽然本发明以优选实施例说明如上，但可以理解的是本发明的范围未必如此限定。相对的，任何基于相同精神或对本发明所属领域技术人员为显而易见的改良皆在本发明涵盖范围内。因此专利要求范围必须以最广义的方式解读。

Claims (15)

1.一种前景图像分离方法，用以从自动白平衡调整和亮度改变的输入图像中分离出静态背景和动态前景，包含：

提供一参考图像，做颜色增益的补偿基准；

从一摄影机接收一输入图像；

根据该参考图像对该输入图像进行一颜色增益补偿步骤，产生一补偿图像，使该补偿图像与该参考图像的至少部分对应区域具有一致的颜色和亮度；

将该补偿图像代入一背景相减演算法，以产生一背景分离结果。

2.如权利要求1所述的前景图像分离方法，其中该摄影机连续地产生输入图像，而该颜色增益补偿步骤被连续执行以持续产生补偿图像。

3.如权利要求2所述的前景图像分离方法，其中该背景相减演算法为一高斯混合模型演算法，将每次代入的该补偿图像的特征值以可适性的渐进方式更新至一高斯混合模型中，并使用该高斯混合模型为静态背景将该补偿图像进行一减法运算，而产生该背景分离结果。

4.如权利要求2所述的前景图像分离方法，其中该颜色增益补偿步骤包含：

计算该参考图像与该输入图像的颜色特征值；

比较该参考图像与该输入图像的颜色特征值，以产生至少一补偿系数；以及

将该输入图像的像素颜色值乘上该补偿系数，以产生该补偿图像。

5.如权利要求4所述的前景图像分离方法，其中计算该参考图像与该输入图像的颜色特征值的步骤包含：

将该参考图像及该输入图像分别切割为相同数量及大小的区块，两者的区块有一对一的对应位置关系；

根据每一区块的像素颜色值计算每一区块的特征值；

将该参考图像的每一区块的特征值，除以该输入图像对应区块的特征值，得到多个对应每一区块的比值；

统计这些比值的分布情形，以产生该补偿系数。

6.如权利要求5所述的前景图像分离方法，其中统计这些比值的分布情形的步骤包含：

以这些比值为样本，将这些比值的数值范围划分为多个数值区间，以产生一直方图，用以统计落在每一数值区间中的样本数量；

选取该直方图中样本数量最高的一数值区间所对应的比值数值，作为该补偿系数。

7.如权利要求6所述的前景图像分离方法，其中统计这些比值的分布情形的步骤进一步包含，如果该直方图中样本数量最多的一数值区间所包含的样本数量未超过所有区块总数的一可靠比例，则将该补偿系数设定为1，使该补偿图像等于该输入图像。

8.如权利要求7所述的前景图像分离方法，其中该可靠比例为百分之五。

9.如权利要求6所述的前景图像分离方法，其中：

颜色特征值依红、绿、蓝三原色分别处理，故上述每一区块的特征值包含红特征值、绿特征值以及蓝特征值；

上述补偿系数包含一红补偿系数，一绿补偿系数及一蓝补偿系数；

上述比值包含红比值，绿比值以及蓝比值；

上述直方图包含红直方图，绿直方图及蓝直方图；以及

该补偿图像由该输入图像的红、绿、蓝色像素值分别乘上该红补偿系数，该绿补偿系数及该蓝补偿系数而得。

10.如权利要求9所述的前景图像分离方法，其中：每一区块的红、绿、蓝特征值分别为该区块的所有红像素值的平均值、所有绿像素值的平均值、以及所有蓝像素值的平均值。

11.如权利要求9所述的前景图像分离方法，其中：每一区块的红、绿、蓝特征值分别为该区块的所有红像素值中的最大值、所有绿像素值中的最大值、以及所有蓝像素值中的最大值。

12.如权利要求1所述的前景图像分离方法，其中提供该参考图像的步骤被递归进行，包含：

以该背景相减演算法对该输入图像进行处理，以产生一前景画面；

计算该前景画面在该输入图像中所占的一比例；

如果该比例低于一预设值，则选取该输入图像为该参考图像。

13.如权利要求12所述的前景图像分离方法，其中该预设值为百分之五。

14.如权利要求6所述的前景图像分离方法，其中：

该参考图像与该输入图像为彩色图像，其颜色特征值是将该参考图像与该输入图像中每一像素转换为灰阶值后计算而得；以及

该补偿图像由该输入图像的红、绿、蓝色像素值同时乘上该补偿系数而得。

15.如权利要求6所述的前景图像分离方法，其中：

该参考图像与该输入图像为灰阶图像，其颜色特征值根据该参考图像与该输入图像中每一像素的灰阶值计算而得；以及

该补偿图像由该输入图像中每一像素的灰阶值同时乘上该补偿系数而得。

Images