CN102469302A - 应用于影像监控的可适应光线变化的背景模型学习系统 - Google Patents

Abstract

光线变化时常为智能监控系统，尤其是装设于室外的监控系统，带来相当大的挑战。在过去，背景模型学习法常广泛地被应用于建置智能监控系统，以处理各种背景变化，包含光线改变等问题。其中，多数背景模型学习相关的研究，都将其焦点着重于和缓光线变化的处理，然而却无法有效的解决剧烈光线变化所造成的问题。因此，当监控系统遭遇剧烈的光线变化时，多数先前技术容易产生许多将光线变化，误判为前景异常的警告讯息。为了减少此类误判的状况，本发明提出一种新的背景模型学习系统。

Description

应用于影像监控的可适应光线变化的背景模型学习系统

技术领域

本发明是有关于一种用以辨识前景(foreground)异常的智能录影监控系统，且特别是有关于对遭遇剧烈光线变化的监控场景，进行背景模型(backgroundmodel)学习。

背景技术

对于应用背景相减法(background subtraction)辨识前景异常的智能监控系统而言，所采用的背景模型运算方式常影响其效能。一般长时间监控系统，通常需要定时更新背景模型，以避免背景变化(如从黎明到夜晚间的光线改变)影响其前景检测效能。因此，智能监控系统多半通过周期性的背景模型更新，以对背景变化进行学习。一般业界人士，称上述更新方式为「背景模型学习(background modellearning)」。

在过去，有许多关于背景模型学习的研究，如C.Stauffer and W.Grimson，“Adaptive background mixture models for real-time tracking，”in Proc.IEEE Conf.CVPR，vol.2，pp.246-252，1999。在大多数背景模型学习系统中，每个像素位置的背景模型更新频率，亦称为模型学习速率(model learning rate)，对于背景模型学习系统稳定度造成很大的影响。(此处，模型学习速率的定义，是依循C.Staufferand W.Grimson，“Adaptive background mixture models for real-time tracking，”in Proc.IEEE Conf.CVPR，vol.2，pp.246-252，1999所提出的定义)通过周期性的更新背景模型，各种背景景物变化(如光线改变等)都将被背景模型所学习。因此，更新背景模型的频率越频繁，越多的景色变化可被采纳至学习后的模型中。因而，使得采用背景相减法的监控系统，对于前景的异常较不敏锐，如慢速移动物容易因为高学习率的模型设定，而被上述系统视为背景。

于是，大部分的背景模型学习系统，需要将学习率设定为适当却不至于太高的学习率，在此设定下，渐进的光线变化因此可被学习至背景模型中，然而，对于某些过快的光线变化(如快速日照变化)，此类系统将无法适当地进行处理，因此，许多区域容易受到快速光线变化的影响，造成前景的误判。因此，如何使一般背景模型学习方式，可有效地处理剧烈光线变化，实属当前重要研发课题之一，亦成为当前相关领域亟需改进的目标。

为了使一般背景学习系统可适应光线变化，本发明提出一种新的系统，通过使用一光线变化处理单元进行后处理，以修正一般系统在光线变化下产生的前景区域误判的结果，并进阶调整其背景模型学习率。通过本发明所提出的后处理模块，可大幅改善背景模型学习系统，适应剧烈光线变化的能力。

图1分别绘示快速光线变化以及剧烈光线变化的例子。在图1(a)至图1(c)纪录遭遇快速光线变化的实验室的影像序列，在图上的实验室中有一台显示滚动介面的映像管荧幕；其中图1(a)至图1(c)是以20fps(frame per second)的速率拍摄遭遇快速光线变化的影像序列I^A。在这一连串影像序列中，过了三秒钟后，平均感光度才增加了将近百分之二十。此类快速光线变化所造成的影像亮度变化，可通过使用比一般建议值更高的背景模型学习率，而被一般背景模型学习方法(如C.Stauffer and W.Grimson，“Adaptive background mixture models for real-timetracking，”in Proc.IEEE Conf.CVPR，vol.2，pp.246-252，1999)所学习。如图2(a)所示，其为采用Stauffer and Grimson的方式，对影像画面

进行前景检测的模拟结果。图1(d)至图1(e)绘示以15fps的速度，拍摄遭遇剧烈光线变化的影像序列。其中，可观查到在户外场景中，约20％的影像感光度增加发生于一秒以内。如图2(b)所示，其为在剧烈光线变化下，先前的背景模型学习法对影像画面

，进行前景区域检测的实施结果。其中，虽然仍采用相同的方法进行前景检测，但图2(b)可看到许多被误判为前景的区域。图2(c)是采用本发明的一实施例。其中，相较于图2(b)，图2(c)的前景检测结果减少了大部分因剧烈光线变化造成的误判。

发明内容

本发明的一实施例提出一种全新设计的背景模型学习系统，以使得影像监控系统适应光线变化。进一步而言，本发明所提出的系统可采用一般背景模型学习方法，进行基本的背景模型估算以及前景区域检测，并通过本发明提出的一光线变化处理单元进行后处理，以修正前景区域检测结果，以减少因渐进、快速或剧烈光线变化，所造成的前景误判。被光线变化处理单元修正后的前景检测结果，可作为其他应用的处理依据(如前景物件追踪与辨识)，并可回馈至进行背景模型估算的基本单元，作为其动态调整背景模型学习率的依据。

可适应光线变化的背景模型学习系统应用于影像监控。可适应光线变化的背景模型学习系统，包含一背景模型估算单元、一前景对应表建构单元以及一光线变化处理单元。背景模型估算单元自至少一输入，接收一目前时间t的一目前影像画面I_t，并自目前影像画面I_t中，估算对应一监控场景的一背景模型B_t，作为背景模型估算单元于目前时间t的输出。其中，目前影像画面I_t包含数个像素。前景对应表建构单元通过背景模型相减法，比较目前影像画面I_t与所估算出的背景模型B_t间的差异，而建构目前时间t的一参考前景对应表F_t。其中，参考前景对应表F_t包含各像素的一识别参数。此识别参数可为二进位数值或实数数值。使用二进位数值的识别参数，系用以标示对应的各像素为前景或背景；使用实数数值的识别参数，则是用以标示对应的各像素为前景的机率。光线变化处理单元通过修改参考前景对应表F_t，而减少因光线变化而误判为前景的区块数量。其中，光线变化处理单元包含一画面差异产生次单元以及一前景对应表修正次单元。画面差异产生次单元通过将目前影像画面I_t与一第一先前时间t-N的一先前影像画面I_t-N相减，产生目前时间t的一画面差异对应表D_t。前景对应表修正次单元通过整合画面差异对应表D_t、参考前景对应表F_t以及于一第二先前时间t-1所回馈的一先前前景修正表F_t′-1，计算一目前前景修正表F_t′，以使目前前景修正表F_t′上，因光线变化误判为前景的区块数量，较参考前景对应表F_t少。其中，目前前景修正表F_t′被光线变化处理单元作为目前时间t的输出，并分别回馈至背景模型估算单元以及光线变化处理单元，以作为进行下一时间t+1的背景模型估算以及光线变化处理的依据。

由上述本发明实施方式可知，应用本发明具有下列优点。可基于一般背景模型估算方法，使用后处理模块适应光线变化，因此不须改变现有系统的架构，即可很简单地应用于现有背景模型学习系统，以显着的改善现有系统对于光线变化的处理能力。

附图说明

为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附图式的说明如下：

图1(a)、图1(b)以及图1(c)为遭遇快速光线变化的影像序列以及其通过画面差异计算而产生的影像感光变化。

图1(d)、图1(e)以及图1(f)为遭遇过快光线变化的影像序列以及其通过画面差异计算而产生的影像感光变化。

图2(a)以及图2(b)分别显示采用Stauffer and Grimson’s背景模型学习方法并使用同一背景模型学习率时，由于快速以及过快光线变化，所造成的前景区域误判的示意图。

图2c显示应用本发明所提出的方法，于遭遇过快光线变化时，而产生改善的前景区域检测结果的示意图(其中图2c所采用的背景学习系统以及背景模型学习率与图2(a)以及图2(b)相同)。

图3是绘示依照本发明一实施方式所提出的一种可适应光线变化的背景模型学习系统的功能方块图。

【主要元件符号说明】

100：背景模型学习系统

110：背景估算单元

120：前景对应表建构单元

130：光线变化处理单元

131：画面差异产生次单元

132：前景对应表修正次单元

140：前景物件分析单元

150：回馈输入

160：回馈输入

170：影像画面输入

具体实施方式

以下将以图式及详细说明清楚说明本发明的精神，任何所属技术领域中具有通常知识者在了解本发明的较佳实施例后，当可由本发明所教示的技术，加以改变及修饰，其并不脱离本发明的精神与范围。

请参照图3，其绘示依照本发明一实施方式所提出的一种可适应光线变化的背景模型学习系统的功能方块图。所提出的背景模型学习系统100包含一背景估算单元110、一前景对应表建构单元120、一光线变化处理单元130以及一前景物件分析单元140。背景估算单元110用以根据所接收的画面序列，估算背景模型。其中，背景估算单元110可自对一监控场景拍摄的摄影元件，接收画面序列。背景估算单元110可通过「C.Stauffer and W.Grimson，“Adaptive background mixture models forreal-time tracking，”in Proc.IEEE Conf.CVPR，vol.2，pp.246-252，1999」、「D.-S.Lee，“Adaptive mixture learning in a dynamic system，”Patent US 7103,584B2，2006」或其他背景模型学习方法，估算背景模型。

由背景估算单元110所估算的背景模型接下来被传送至前景对应表建构单元120，以作为计算参考前景对应表的依据。其中，前景对应表建构单元120可使用背景模型相减法(background subtraction)，将前景区域自背景区域中分离，以产生参考前景对应表。接下来，光线变化处理单元130修正自前景对应表建构单元120所取得的参考前景对应表，以减少(剧烈)光线变化所造成的前景误判，并产生目前前景修正表，作为其输出。目前前景修正表接下来便可被前景物件分析单元140应用，并通过回馈输入150及160，分别回传至光线变化处理单元130以及背景估算单元110。其中，前景物件分析单元140可采用相连元素分析(connected componentanalysis)法或其他前景物件分析演算法，在各种不同的应用中，进行前景物件的分析。

输入至背景估算单元110的数据系影像序列I₀，...，I_t，且影像序列I₀，...，I_t至目前时间t为止通过影像画面输入170所接收。目前时间t的影像画面

包含多个像素的像素值I_t，x。其中，在较佳的实施例中，各像素的像素值I_t，x可通过灰阶(grayscale)值表示。然而，在本发明所延伸出的其他实施例中，所输入的画面的像素值可采用灰阶、三原色光模式、色差格式、贝尔图格式或其他色域空间的格式。根据所输入的影像，背景估算单元110可计算出对应于目前时间t的背景模型其中，背景模型中的各元素B_t，x∈B_t用以标示其对应的像素位置x上的背景影像统计量。背景估算单元110所采用的核心运算可为任何一般背景模型学习方法。其中，令α_t，x代表背景模型学习率，其是用以控制通过所选择的背景模型学习方法，于背景模型元素B_t，x上的背景模型更新频率。动态背景模型学习率

的调整可根据光线变化处理单元130，通过回馈输出160所输出的数据进行。

前景对应表建构单元120接收由背景估算单元110所产生的背景模型B_t，其用以将前景区域自背景区域中分离。其中，前景对应表建构单元120根据背景模型，使用背景相减法，以产生参考前景对应表。进一步而言，对应于目前时间t的参考前景对应表可表示为

在本发明的一实施例中，参考前景对应表的各元素F_t，x可为二进位数值F_t，x∈{0，1}。其中，可用0代表所对应的像素位置x被视为背景，可用1代表所对应的像素位置x被视为前景。在本发明的另一实施例中，参考前景对应表的各元素F_t，x可为实数数值其用以表示对应的像素位置x被视为前景的机率。

光线变化处理单元130自其输入，接收参考前景对应表F_t，并产生一目前前景修正表F_t′，其包含较少因光线变化而误判为前景区域的区域数目。光线变化处理单元130通过下述运算，对以二进位数值标示的参考前景对应表F_t，进行运算。首先，通过门槛值对各像素值的差异进行分类可由下列式子实作：

$D_{t,x}=\left\{\begin{array}{cc}1& |I_{t,x}-I_{t-N,x}|>T_d\\ 0& \mathrm{otherwise}\end{array}\right.$

其中I_t，x以及I_t-N，x分别为时间t以及t-N(举例来说N＝1)时在相同像素位置x上的像素值。T_d(＝10)是一个预设的门槛值。D_t，x是一个二进位差异参数。于是，画面差异产生次单元131可产生一画面差异对应表

接下来，前景对应表修正次单元132可通过下述式子运算，而产生受光线变化影响较小的目前前景修正表F_t′：

F_t′＝F_t AND(F_t′-1 OR D_t)

其中，F_t′-1为先前时间t-1时的先前前景修正表，其是自回馈输入150所接收。在初始化时，F_t′＝0被初始化为所有元素皆为0的集合。此外，OR运算用以累积时域上的前景区域，其对检测慢动作的前景物件特别有用。前景对应表修正次单元132所产生的目前前景修正表F_t′，用以作为光线变化处理单元130于目前时间t的最终输出，并被传送至前景物件分析单元140以进行进一步的分析。同时，目前前景修正表F_t′亦通过回馈输入160，被传回背景估算单元110。

于是，背景估算单元110可于目前时间t，采用于先前时间t-1所产生的先前前景修正表F_t′-1，调整背景模型学习率α_t，x，因而可将(剧烈)光线变化学习至背景模型B_t。详细而言，由于F_t′-1-F_t-1为通过回馈输入160，输入至背景估算单元110。像素P＝{x|F_t′-1，x-F_t-1，x＜0}代表光线变化处理单元130所检测到遭遇光线变化的影像区域，背景估算单元110可对此些像素增加其所对应的背景模型学习率{α_t，x|x∈P}，以加速将光线变化所造成的影响采纳入背景模型。其中，实施例为可通过下述式子，将光线变化所造成的影响采纳入背景模型：

${\mathrm{\α}}_{t,x}=\left\{\begin{array}{cc}{\mathrm{\α}}_H& \mathrm{ifx}\∈P\\ {\mathrm{\α}}_L& \mathrm{otherwise}\end{array}\right.$

其中α_H以及α_L为预先设定背景学习率，用以分别对应快速背景学习以及一般速率背景学习。通过上述动态调整背景学习率，光线变化可较快的被背景模型所采纳。于是，可减少在下一个参考前景对应表F_t中，光线变化所造成的前景误判。

最终，前景物件分析单元140，可根据目前前景修正表F_t′，撷取出前景物件(如果有的话)。举例来说，前景物件(如果有的话)可通过相连元素分析或其他物件群聚方法，而被分析出。

在本发明的另一实施例中，光线变化处理单元130亦可接收使用实数数值表示的一参考前景对应表F_t，其用以代表各对应像素为前景的机率。在此实施例中，画面差异产生次单元131将以下述式子计算以实数表示的一画面差异对应表D_t：

D_t，x＝f(|I_t，x-I_t-N，x|)

其中D_t，x∈D_t代表画面差异对应表D_t中，在目前时间t的一像素位置x所对应的一实数差异参数。

为一转换函数，用以将像素值差异量，转换为像素位置x处于光线变化的可能性机率。转换函数f(·)可通过双弯曲函数(sigmoid function)或其他转换函数而实作。

接下来，前景对应表修正次单元132可通过最大值(max)/最小值(min)的运算，修正参考前景对应表F_t，以产生实数数值的目前前景修正表F_t′。其中，前景对应表修正次单元132所使用的式子如下：

F_t′＝min(F_t，max(F_t′-1，D_t))

其中通过取最大值以及取最小值的运算，整合以实数数值表示的画面差异对应表D_t、参考前景对应表F_t以及先前前景修正表F_t′-1，以计算出目前前景修正表F_t′。于是，相同地，背景估算单元110亦可通过P＝{x|F_t′-1，x-F_t-1，x＜T_L}，动态调整背景学习率。其中，T_L为一预设门槛值。

由上述本发明实施方式可知，由于本发明可基于一般背景模型估算方法，加入使用后处理模块以适应光线变化，因此不须改变现有系统的架构，即可很简单地应用于现有背景模型学习系统，以显着的改善现有系统对于光线变化的处理能力。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当以权利要求所界定的为准。

Claims (10)

1.一种可适应光线变化的背景模型学习系统，应用于影像监控，其中该可适应光线变化的背景模型学习系统包含：

一背景模型估算单元，自至少一输入，接收一目前时间t的一目前影像画面I_t，并自该目前影像画面I_t中，估算对应一监控场景的一背景模型B_t，作为该背景模型估算单元于该目前时间t的输出，其中该目前影像画面I_t包含多个像素；

一前景对应表建构单元，通过背景模型相减法，比较该目前影像画面I_t与所估算出的该背景模型B_t间的差异，而建构该目前时间t的一参考前景对应表F_t，其中该参考前景对应表F_t包含每一该些像素的一识别参数，每一该些识别参数为二进位数值或实数数值，其中，使用二进位数值的每一该些识别参数，用以标示对应的每一该些像素为前景或背景，而使用实数数值的每一该些识别参数，用以标示对应的每一该些像素为前景的机率；以及

一光线变化处理单元，用以减少因光线变化而误判为前景的区块数量，修改该参考前景对应表F_t，其中该光线变化处理单元包含：

一画面差异产生次单元，通过将该目前影像画面I_t与一第一先前时间t-N的一先前影像画面I_t-N相减，产生该目前时间t的一画面差异对应表D_t；以及

一前景对应表修正次单元，通过整合该画面差异对应表D_t、该参考前景对应表F_t以及于一第二先前时间t-1所回馈的一先前前景修正表F_t′-1，计算一目前前景修正表F_t′，以使该目前前景修正表F_t′中，因光线变化误判为前景的区块数量，较该参考前景对应表F_t少；

其中该目前前景修正表F_t′被该光线变化处理单元作为该目前时间t的输出，并分别回馈至该背景模型估算单元以及该光线变化处理单元，以作为进行下一时间t+1的背景模型估算以及光线变化处理的依据。

2.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，该画面差异产生次单元以二进位数值产生该画面差异对应表D_t，其计算式为：

其中D_t，x∈D_t为该画面差异对应表D_t中，在该目前时间t的一像素位置x所对应的一二进位差异参数，

I_t，x为在该目前时间t的该目前影像画面I_t的该像素位置x上的像素值，

I_t-N，x为在该第一先前时间t-N的该先前影像画面I_t-N的该像素位置x上的像素值，

T_d为用以二进位化差异值的一门槛值；

且该些二进位差异参数D_t，x组成该画面差异对应表

以作为该画面差异产生次单元于该目前时间t的输出。

3.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，该前景对应表修正次单元以二进位数值，计算该目前前景修正表F_t′的计算式为：

F_t′＝F_t AND(F_t′-1 OR D_t)

其中通过逻辑运算，整合以二进位数值表示的该画面差异对应表D_t、该参考前景对应表F_t以及该先前前景修正表F_t′-1，以计算出该目前前景修正表F_t′；

且对应于该些像素的多个二进位前景对应参数F_t′，x∈{0(背景)，1(前景)}组成该目前前景修正表

以作为该前景对应表修正次单元于该目前时间t的输出。

4.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，该画面差异产生次单元以实数数值，产生该画面差异对应表D_t，其计算式为：

D_t，x＝f(|I_t，x-I_t-N，x|)

其中D_t，x∈D_t为该画面差异对应表D_t中，在该目前时间t的一像素位置x所对应的一实数差异参数，

I_t，x为在该目前时间t的该目前影像画面I_t的该像素位置x上的像素值，

I_t-N，x为在该第一先前时间t-N的该先前影像画面I_t-N的该像素位置x上的像素值，

为一转换函数，用以将像素值差异量，转换为该像素位置x，处于光线变化的可能性机率；

且该些实数差异参数D_t，x组成该画面差异对应表

以作为该画面差异产生次单元于该目前时间t的输出。

5.如权利要求4所述的可适应光线变化的背景模型学习系统，其特征在于，该转换函数f(·)是通过计算像素值差异量的绝对值|I_t，x-I_t-N，x|，将|I_t，x-I_t-N，x|依线性方式转换成机率值，或将|I_t，x-I_t-N，x|代入双弯曲函数(sigmoid function)而实作。

6.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，该前景对应表修正次单元以实数数值，计算该目前前景修正表F_t′的计算式为：

F_t′＝min(F_t，max(F_t′-1，D_t))

其中通过取最大值(max)以及取最小值(min)的运算，整合以实数数值表示的该画面差异对应表D_t、该参考前景对应表F_t以及该先前前景修正表F_t′-1，以计算出该目前前景修正表F_t′；

且对应于该些像素的多个实数前景对应参数

组成该目前前景修正表

以作为该前景对应表修正次单元于该目前时间t的输出。

7.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，该背景模型估算单元以及该前景对应表建构单元，是通过采用背景模型定期更新，作为其核心运算的背景模型学习方法，进行计算。

8.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，该背景模型估算单元的输入更包含：

一影像画面输入，用以输入该目前时间t的该目前影像画面I_t；以及

一回馈输入，用以分别输入该第二先前时间t-1所回馈的一先前参考前景对应表F_t-1以及该先前前景修正表F_t′-1，作为该背景模型估算单元进阶调整一模型学习率的依据，藉此使该背景模型估算单元，通过调整该模型学习率而更有效适应光线变化。

9.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，更包含：

一摄影元件，拍摄该监控场景，以取得并传送所拍摄的画面至该背景模型估算单元。

10.如权利要求1所述的可适应光线变化的背景模型学习系统，其特征在于，所输入的画面的格式采用灰阶、三原色光模式、色差格式或贝尔图格式。

Images