CN101290661A - 二维信号的时变背景建立方法 - Google Patents

Abstract

本发明提供一种二维信号的时变背景建立方法，其是为以分散式形式在DSP影像处理平台上运行复杂的高斯混合模型(Gaussian Mixture Model)的背景学习技术，将摄影机所撷取的影像分成复数条扫描线，于不同时间点，取时间除以影像高度的余数数字的扫描线运算，循序方式从影像的第0条扫描线开始到最后一条扫描线逐条进行背景学习，可降低运算量。且本发明中从背景模型取出前景的方法更可降低误判的几率，使背景与前景明确区分。

Description

二维信号的时变背景建立方法

技术领域

本发明是有关一种视频影像分析的技术，特别是指一种摄影机撷取的视频影像中二维信号的时变背景建立方法。

背景技术

数字录影做为传统闭路电视监控系统的下一波浪潮，无疑标志着全天候监控系统进入了更加高效的新纪元，然而当前仍然存在着一些严重的问题，例如接连数小时盯着通常显示着静止墙壁和护栏的多个监视器，即使是最为训练有素的保安人员也会为此而面临注意力极限的挑战，若再加上黑暗或恶劣的天气情况等客观条件，则这一问题变得更加复杂。

数字录像分析的架构主要有后端伺服器架构及DSP影像处理平台两种，其中DSP影像处理平台是可采用分散式架构方式，此时视频分析单元一般位于摄影机或编码器等影像撷取设备附近，如此一来可有选择的设置系统，让系统只有在警报发生时才传输视频影像到控制中心，相对于伺服器方式而言大幅节省了网络负担及储存空间，更可使视频影像分析单元直接对原始或最接近原始的图像进行分析。且视频影像分析为复杂的过程，需要占用大量的系统计算资源，后端伺服器方式可以同时进行分析的视频路数非常有限，而DSP影像处理平台方式则无此限制。

视频分析是利用计算机视觉技术，对画面进行分析、处理、应用的过程、包含如下过程：背景学习过程——自动学习监视场景的背景情况、加载预处理过程——加载用户的预定义规则、目标提取跟踪程——提取跟踪前景变化目标，检测并分析目标的活动、视频分析判断过程——根据规则追踪目标的活动判断是否违反预定义规则以及触发警报过程——确定目标活动违反规则，根据预定义传输警报到指定的用户，其中背景学习过程视频分析开始生效后，首先系统进行背景学习阶段，学习时间根据背景热闹程度有所不同，期间系统自动建立背景模型，一般系统建模完成后，随着时间的变化背景会有一些改变，且系统具有背景维护能力，可以将一些后来融入背景的图像如云等自动加为背景。但DSP运算能力有限，若一次将一整张画面拿来做背景学习，将使系统难以达到即时运算。

有鉴于此，本发明遂针对上述现有技术的缺点，提出一种二维信号的时变背景建立方法，改良影像的背景学习部分，以有效克服上述的该等问题。

发明内容

本发明的主要目的在提供一种二维信号的时变背景建立方法，以克服现有技术背景建立中以整个背景进行学习，受运算速度所限无法实时得到运算结果的缺点。

为达上述的目的，本发明提供一种二维信号的时变背景建立方法，其是在一DSP影像处理平台上处理一摄影机所撷取的复数影像，影像可为二维信号，包括下列步骤：依序对影像进行边缘侦测，并输出一边缘影像；设一时间轴除以影像的一影像高度后的余数为j，并取出一第j条扫描线；依序取出第j条扫描线中的复数像素值；以及读入像素值以进行一背景学习程序的运算，并输出一背景。

本发明的有益效果在于，将包含影像的二维信号拆分成一条条扫描线，分散于不同的时间点循序做背景学习的运算。通过将时间轴除以影像高度所得的余数作为参数，每次取第该参数数值的扫描线来进行背景学习的运算，以使影像随着时间对逐条扫描线依序扫描学习，大幅降低了运算量，提高了背景学习的速度与效率。

且本发明的二维信号的时变背景建立方法，其中背景学习的程序所取的像素值是落在背景模型平均值的正负三倍标准差区间内，能降低之后误判背景与前景的机会。

下面结合附图对本发明的上述的和其它的特征和优点做详细说明。

附图说明

图1为本发明二维信号的时变背景建立方法的流程图；

图2为图1中背景学习程序的流程图；

图3为利用图1的背景模型萃取出前景的流程图。

具体实施方式

本发明提供一种二维信号的时变背景建立方法，其是以分散式观念应用于DSP影像处理平台上，运行复杂的高斯混合模型的背景学习技术，可降低运算量，节省影像处理时间，且本发明中背景学习的技术更精准，降低误判的机会。亦可应用于其它影像处理平台。

本发明的二维信号的时变背景建立方法如图1所示的流程，在步骤S10中摄影机所撷取的影像依序读入DSP影像处理平台，此影像称为二维信号，接着步骤S12将此读入的影像以Sobel边缘侦测演算法测量，并输出一边缘影像；接着如步骤S14～S16所述，取出扫描线并以扫描线中的像素值来进行背景学习，此步骤与先前技术不同，由于DSP影像处理平台的运算能力有限，在先前技术中是一次拿一整张画面做背景学习，因此系统难以即时运算，而本发明是将影像拆分成复数条扫描线，分散于不同的时间点、以循序的方式来进行背景学习的运算，时间轴以采样顺序表示，当时间轴等于i时，令j为i除以影像高度的余数(j＝i％影像高度，其中“％”表示取整除取余数的运算)，并取第j条扫描线来进行背景学习的运算，如此一来背景学习程序便会随着时间轴依序由影像的第0条扫描线开始到最后一条循环的学习，以降低运算量。在步骤S14首先取出第j条扫描线，再在步骤16依序取出扫描线中的像素值，接着如步骤S18所述进行背景学习程序，最后在步骤S20中输出一背景。

图1中步骤S18的详细流程如图2所示，以像素阶层(pixel level)来说明于DSP影像处理平台上用简化的竞争模式运行复杂的高斯混合模型的背景学习技术。首先如步骤S180所述初始复数个背景模型，假设其数量为k个，k值可依环境复杂度取3～5之间，其中每一个背景模型包含一平均值(μ)、一标准差(σ)与一权重值(ω)三个参数，其初始值分别设为μ＝0、σ＝255及ω＝1/k；此些初始的背景模型作为当前背景模型，接着在步骤S181中读入影像的像素值。

从步骤S182开始，依序由权重值较大的背景模型开始，比较输入的像素值是否落在此背景模型平均值的正负三倍标准差的区间内，若是，假设检查到落在第i个背景模型的区间内，则如步骤S183所述更新第i个背景模型的平均值及标准差，更新完成后即跳出检查的回圈，更新平均值及标准差的公式如下：

μ_k，t+1＝(1-α)×μ_k，t+α×I_t

σ_k，t+1＝[(1-α)×σ_k，t ²+α×(I_t-μ_k，t)²]^1/2

其中，k为背景模型的编号，t为时间，I_t为边缘影像的像素值，α为学习速率，其属于0～1区间。

然而若步骤S182中判断出输入的像素值并未落在此背景模型平均值的正负三倍标准差的区间内，则如步骤S184判断是否还有背景模型尚未检查完成，亦即i是否小于k；若仍有背景模型尚未检查则回到步骤S182继续判断输入的像素值是否落在此背景模型平均值的正负三倍标准差的区间内；反之，若所有的背景模型皆已检查完成，且输入的像素值均没有落在k个背景模型的区间中，则如步骤S185所述，在k个当前背景模型中选择某一背景模型进行更新，例如选择权重值最低的背景模型，以输入的像素值取代此背景模型的平均值，并将标准差设为255。这里，选择某一背景模型进行更新的目的之一是防止迭代学习的过程落入局部极值，因此选择权重最低的背景模型进行更新只是其中一种较佳地实施方式，但本发明的范围并不局限于此，其它的更新方式，例如选择当前背景模型中较长时间未被更新的模型乃至在权重较低的几个模型中随机选择一模型进行更新均可作为可行实施方式。接着如步骤S187所述，依序更新k个背景模型的权重值，更新的公式如下：

ω_k，t+1＝(1-β)×ω_k，t+β×M_k

其中β为学习速率，设为0～1区间，若读入的像素值落在第i个背景模型，则M_i等于1，其余k≠i所对应的M_k等于0。当背景模型的权重值皆更新后，在步骤S188中将k个背景模型依照新权重值的大小由大至小排列，最后，步骤S189中选择权重值最大的背景模型，将其平均值拿来当作背景，标准差拿来当做动态的阈值(adaptive threshold)。

图3为利用先前处理的背景模型萃取出前景的流程，在步骤S30至步骤S34中，摄影机撷取的影像依序读入DSP影像处理平台中，而DSP影像处理平台将读入的影像经过Sobel边缘侦测后输出边缘影像，并依序读入摄影机撷取的影像的像素值；接着步骤S36中，将读入的像素值与图2中所取得的具有最大权重值的背景模型的平均值相减，取其绝对值，于步骤S38中判断此绝对值是否大于具有最大权重值的背景模型的三倍标准差加10，若是，则将此一读入的像素值标示为前景。

本发明在处理背景学习时将背景模型的标准差预设为255是由于255为最大值，而利用图2步骤S183的公式可让标准差慢慢收敛。而图3的步骤S38中将三倍标准差加10再比较可让误判的机会降低。

本发明中的背景学习程序是以分散式处理(distributed process)的方式运行，任何以类似形式的分散式精神来运行背景学习程序的技术皆应包含在本发明中。

本发明提供的一种二维信号的时变背景建立方法是将影像拆成一条条扫描线，将时间轴除以影像高度所得的余数作为参数，每次取第该参数数值的扫描线来进行背景学习的运算，以使影像随着时间对逐条扫描线依序扫描学习，可达到降低运算量的目的，进而增快影像处理的速度，对于道路摄影快速车辆可达到良好的处理效果。

以上对本发明的描述是说明性的，而非限制性的，本专业技术人员理解，在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效，但是它们都将落入本发明的保护范围内。

Claims (14)

1.一种二维信号的时变背景建立方法，其是用于处理一摄影机所撷取的复数个影像，该影像为二维信号，包括下列步骤：

依序对所述影像进行边缘侦测，并输出一边缘影像；

设一时间轴除以所述影像的影像高度后的余数为j，并取出一第j条扫描线；

依序取出每一该第j条扫描线中的像素值；以及

读入所述像素值以进行背景学习程序的运算，并输出背景。

2.根据权利要求1所述的二维信号的时变背景建立方法，其中所述背景学习程序是包括下列步骤：

(a)初始复数个背景模型，其中每一背景模型具有一平均值、一标准差及一权重值；并以此些初始的背景模型作为当前背景模型；

(b)于读入所述像素值后，依序读入每一所述当前背景模型，并检查该影像的该读入的像素值是否落在读入的所述当前背景模型的平均值的倍数标准差内；

(c)若该像素值落入读入的当前背景模型的平均值的倍数标准差内，则更新其落入的背景模型的平均值及标准差，并转到进行步骤(d)，若未落入，则判断是否还有未检查的背景模型，若无则更新当前背景模型中某一背景模型的平均值及标准差；若判断还有未检查的背景模型，则回到步骤(b)；

(d)依序更新所述复数个背景模型的权重值，并依照更新后的该权重值将该背景模型排序；以及

(e)选择具有最大该权重值的背景模型，并将该背景模型储存为一背景。

3.根据权利要求2所述的二维信号的时变背景建立方法，其中该步骤(c)中更新背景模型的平均值及标准差的步骤是将该背景模型的平均值以所述读入的像素值取代，并将其标准差更新为255。

4.根据权利要求1所述的二维信号的时变背景建立方法，其中所述影像的背景学习程序是由所述影像的扫描线中第0条到最后一条依序循环学习。

5.根据权利要求2所述的二维信号的时变背景建立方法，其中所述步骤(a)中是分别将初始的背景模型的平均值及标准差的初始值设为0及255，该权重初始值则设为该背景模型数量的倒数。

6.根据权利要求2所述的二维信号的时变背景建立方法，其中该步骤(b)中该倍数标准差为正负三倍标准差。

7.根据权利要求2所述的二维信号的时变背景建立方法，其中该步骤(c)中将落入的该背景模型的平均值更新为μ_k，t+1＝(1-α)×μ_k，t+α×I_t，其中μ为平均值，k为该背景模型的编号，t为时间，I_t为所述边缘影像的像素值，α为学习速率，其属于0～1区间。

8.根据权利要求2所述的二维信号的时变背景建立方法，其中该步骤(c)中将落入的该背景模型的该标准差更新为：

σ_k，t+1＝[(1-α)×σ_k，t ²+α×(I_t-μ_k，t)²]^1/2，

其中σ为标准差，μ为平均值，k为该背景模型的数目，t为时间，I_t为所述边缘影像的像素值，α为学习速率，其属于0～1区间。

9.根据权利要求2所述的二维讯号的时变背景建立方法，其中该步骤(c)中，若该像素值未落入读入的当前背景模型的平均值的倍数标准差内，且没有未检查的背景模型，则更新当前背景模型中权重最低的背景模型，以读入的该像素值取代该背景模型的平均值，并将其标准差重新设为255。

10.根据权利要求2所述的二维信号的时变背景建立方法，其中该步骤(d)中更新该权重值的公式为ω_k，t+1＝(1-β)×ω_k，t+β×M_k，其中ω为权重值，k为该背景模型的编号，t为时间，β为学习速率，其设为属于0～1区间，若读入的该像素值落在第i个该背景模型，则M_i等于1，其余k≠i所对应的M_k等于0。

11.根据权利要求2所述的二维信号的时变背景建立方法，其中所述步骤(e)中是以选择的背景模型的平均值作为该背景，而以所述选择的背景模型的标准差作为一动态阈值。

12.根据权利要求2所述的二维信号的时变背景建立方法，其中该步骤(e)中更包括：

将读入的该像素值与选择的该背景模型的平均值相减并取绝对值。

13.根据权利要求12所述的二维信号的时变背景建立方法，其还包括步骤(f)，根据当前背景模型提取影像前景，其步骤包括，判断步骤(e)所述的绝对值是否大于该背景模型的三倍标准差加10，若是则将读入的该像素值标示为一前景。

14.根据权利要求1所述的二维信号的时变背景建立方法，其中该背景学习程序是以分散式处理的方式运行。

Images