CN101469987B - 移动物体侦测装置与方法 - Google Patents

Abstract

一种移动物体侦测装置与方法，此装置包含影像撷取模组、影像对齐模组、连续画面差异模组、距离转换模组、以及背景相减模组。影像撷取模组撷取一移动物体在不同时间点的影像。影像对齐模组若于移动平台的状态下，则将此不同时间点的影像对齐。连续画面差异模组在此不同时间点的影像或是其对齐后的影像，进行连续画面差异技术，求出一差异影像。距离转换模组将此差异影像转换成一距离地图。背景相减模组将距离地图应用至背景相减技术，并与目前撷取影像比对而得到此移动物体的信息。

Description

移动物体侦测装置与方法

技术领域

本发明是关于一种移动物体侦测装置与方法(Moving Object Detection Apparatus And Method)。

背景技术

移动物体侦测在自动化监控系统(surveillancesystem)中扮演相当重要的角色，监控系统由分析监控画面内移动物体轨迹与行为，得以侦测异常保全事件的发生，并有效通知安全人员进行处理。服务型保全(security)机器人的发展趋势，正朝向提供机器人智能型保全异常事件侦测能力，以支持动态部署，协助监控系统执行长时间、重复性且无间断的监控任务，以取代只能消极的录像存证，无法主动监控与侦测异常保全事件的监控保全系统。

例如，美国专利号6867799的文献揭露里，于移动式摄影机的对象侦测系统中，建立一个可持续保持特定的移动对象在摄影机监控画面区域内的监控机制。可根据使用者所指定的移动对象区域，持续移动摄影机，使移动的对象保持在可视画面内。美国专利号7123745的文献中，揭露一个侦测移动人物或者其它感兴趣的物体的影像处理系统。从固定式摄影机的连续影像中，使用找出差异影像(differenceimage)找出移动人物，并侦测其头部位置与头部大小。

例如，美国专利号5991428的文献是揭露一种于移动摄影机画面内，侦测前景移动物体的技术，将画面分割、比对(template matching)与综合评分(evaluation and voting)，并估计相邻画面对应区块的位移向量，根据整张画面的多数(dominant)移动向量，决定相邻画面间的对齐(align)向量，据此移动(shift)其中一张画面进行对齐及对齐画面差异比对，分析出移动物体区域。而美国专利号5473364的文献是揭露一种移动平台上的移动物体侦测系统，假设前后时间的前后摄影机所撷取的影像的撷取位置只有些许差异，将前摄影机的影像做对齐后与后摄影机的影像相减，利用高斯金字塔建构法(Gaussian pyramid construction)计算区域能量而侦测出移动物体，可得到较稳定的移动物体轮廓。

然而，建置在固接式摄影机架构下的影像式移动物体侦测技术无法提供动态保安支持，在监控区域被局限的情况下，监控效果往往事倍功半。若采用如架设于机器人平台的移动式摄影机(movable camera)监控架构，摄影机的移动会造成整体画面变换，其补偿因摄影机移动所造成的画面移动所产生的误差无法使用单一影像式侦测技术有效地将移动物体侦测出，来进行对象侦测。

如图1与图2所示，Desa等人及Spagnolo等人分别于2004年及2006提出了结合背景相减(background subtraction)与连续画面差异两种方法来侦测移动物体。背景相减方法是在前景侦测里，考虑一个区域的背景点来侦测前景，而连续画面差异方法是指在连续几张影像上，找其差异处，以侦测画面中移动部分。惟，图1与图2的技术中，背景相减结果与连续画面差异结果仅单纯做运算整合，如此，仅可将移动物体的外框侦测出，却无法侦测出整个移动物体的内部区域。

发明内容

本揭露的实施范例可提供一种移动物体侦测装置与方法。侦测出的移动物体的信息至少包括移动物体在画面内的发生区域。

在一实施范例中，本揭露是关于一种移动物体侦测装置，包含影像撷取模组(image fetch module)、影像对齐模组(image alignment module)、连续画面差异模组(temporal differencing module)、距离转换模组(distance transform module)、以及背景相减模组(background subtraction module)。影像撷取模组撷取一移动物体在不同时间点的影像；影像对齐模组若于一移动平台的状态下，则将此不同时间点的影像对齐。连续画面差异模组在此不同时间点的影像或是此对齐后的影像，进行连续画面差异技术，求出一差异影像。距离转换模组将此差异影像转换成一距离地图(distance map)。背景相减模组将距离地图应用至一背景相减技术，并与目前撷取的影像比对而得到此移动物体的信息。

在另一实施范例中，本揭露是关于一种移动物体侦测方法，包含撷取一移动物体在不同时间点的影像；若是移动平台的状态下，则将此不同时间点的影像对齐；在此不同时间点的影像或是此对齐后的影像，进行连续画面差异技术，求出一差异影像；经由距离转换，将此差异影像转换成一距离地图；以及将此距离地图应用至一种背景相减技术，并与目前撷取影像比对而得到此移动物体的信息。

本揭露的实施范例于摄影机移动式平台上，可实时地侦测出移动物体。利用连续画面差异的距离地图来加强背景相减技术，也可应用于摄影机固定式平台上，如此也可增加移动物体侦测的可靠度。

附图说明

以下配合下列附图、实施范例的详细说明，将上述及本发明的其它目的与优点详述于后，其中：

图1是一种结合背景相减与连续画面差异来侦测移动物体的范例示意图。

图2是另一种结合背景相减与连续画面差异来侦测移动物体的范例示意图。

图3是一个移动物体侦测装置的范例示意图，与本揭露的某些实施范例一致。

图4是一范例示意图，说明移动物体侦测方法的运作流程，与本揭露的某些实施范例一致。

图5是进行影像对齐的一个范例示意图，与本揭露的某些实施范例一致。

图6是进行连续画面差异的一个范例示意图，与本揭露的某些实施范例一致。

图7是进行距离转换的一个范例示意图，与本揭露的某些实施范例一致。

图8是一范例示意图，进一步说明背景相减模组的运作，与本揭露的某些实施范例一致。

图9是整合前述图5至图8的一个示意图，与本揭露的某些实施范例一致。

具体实施方式

本揭露的实施范例中，分析移动摄影机所拍摄的动态画面，先使用影像分析技术补偿因摄影机移动所造成的背景画面变化，并结合连续画面差异、距离转换、背景相减等技术稳固地侦测出前景的移动物体区域。

图3是一个移动物体侦测装置的范例示意图，与本揭露的某些实施范例一致。参考图3，移动物体侦测装置300可包含影像撷取模组301、影像对齐模组303、连续画面差异模组305、距离转换模组307、以及背景相减模组309。

影像撷取模组301撷取一移动物体310在不同时间点的影像。影像对齐模组303若于移动平台的状态下，则将此不同时间点的影像对齐，对齐后的影像如标号303a所示。连续画面差异模组305在此不同时间点的影像或是其对齐后的影像，进行连续画面差异技术，求出一差异影像305a。距离转换模组307将此差异影像305a转换成一距离地图307a。背景相减模组309将距离地图307a应用至一背景相减技术，并与目前撷取的影像比对而得到最后的移动物体侦测结果，也就是移动物体的信息309a。

在移动平台的状态下，影像对齐模组303提供对齐后的影像303a给连续画面差异模组305参考，并且提供所使用的对齐参数给背景相减模组309参考。在静态平台的状态下，可以不需要将相邻影像对齐，所以，在静态平台的状态下，移动物体侦测装置300可以不包括影像对齐模组303，而背景相减模组也不需要对齐参数的输入。

搭配图3的移动物体侦测装置的架构，图4以一范例流程图，说明其移动物体侦测如何运作，与本揭露的某些实施范例一致。参考图4，在步骤410中，撷取一移动物体在不同时间点的影像。若是移动平台的状态下，在步骤420中，将此不同时间点的影像301a对齐，并产生对齐后的影像303a。然后，连续画面差异技术会使用对齐后的影像303a，来求出差异影像305a。若非移动平台的状态下，连续画面差异技术会使用不同时间点的影像来求出差异影像305a。所以，如步骤430所示，在此不同时间点的影像301a或是对齐后的影像303a，进行连续画面差异技术，来求出差异影像305a。

在步骤440中，经由距离转换，将差异影像305a转换成距离地图307a。在步骤450中，将距离地图307a应用至背景相减技术，并与目前撷取影像比对而得到此移动物体的信息。移动物体的信息可包括如标示出的此移动物体在画而内的发生区域(如前景像素)等。在步骤450中，也会一并参考所使用的对齐参数将背景模型对齐至目前撷取影像，来求得移动物体的信息。

图3的范例中，影像撷取模组301例如可通过一场景中物体移动，来撷取多个不同时间点在摄影机移动平台或是静态平台的状态下所拍摄的连续影像301a。影像对齐模组303可根据不同时间点于移动平台的状态下所拍摄的连续影像的背景移动求得对齐参数，并可将不同时间点于移动平台的状态下所拍摄的连续影像的背景对齐。例如图5所示，可从三个连续时间点t-1、t、t+1，的三张相邻影像F_t-1、F_t、F_t+1中，求出两张影像的对齐参数，将影像F_t-1对齐至影像F_t，F_t+1对齐至影像F_t，如此可消除因为摄影机移动所造成的画面变换。

本揭露的实施范例中，可以有多种实施背景移动校正补偿的范例，例如，利用多阶层移动模组估算技术(multi-resolution estimation of parametricmotion models)，此技术先利用高斯低通滤波器建立多阶层影像金字塔，再于每阶层影像上由相邻画面差值平方最小化，估算出相邻画面间运动参数。

图6是进行连续画面差异的一个范例示意图，与本揭露的某些实施范例一致。参考图6，影像F_t+1、F_t-1对齐后，由与影像F_t的差异，可得到两个影像差异(frame difference)610与620，亦即影像F_t+1与F_t的差异以及影像F_t-1与F_t的差异。再利用影像差异610与620以及一交集(AND)运算630，求出差异影像305a，侦测出可能的前景位置。也就是说，连续画面差异模组305可将三连续影像分析应用在补偿校正后的影像，来侦测移动物体可能的前景位置。

以下是从三张相邻影像F_t-1、F_t、F_t+1求出此差异影像的一个范例。假设X_i代表影像的画面位置，C(X_i)是影像画面位置的一种表示矩阵而能与运动参数矩阵进行相乘运算，则影像F_t-1校正至影像F_t，影像F_t+1校正至影像F_t后，可得到两个运动参数A_t-1及A_t+1，经由以下公式，可得到两个影像差异FD_t-1及FD_t+1：

其中k＝t-1，t+1，δ₁为临界值。使用“AND”逻辑表达式处理影像差异FD_t-1及FD_t+1，即可得到差异影像FA_t，亦即FA_t(X_i)＝FD_t-1(X_i)∧FD_t+1(X_i)。

如果是静态平台的状态下所拍摄的连续影像301a，则不需要将相邻影像对齐，可直接将不同时间点撷取的影像，进行连续画面差异，求出此差异影像305a，以侦测移动物体可能的前景位置。

距离转换模组307可利用一距离转换技术，将差异影像305a转成距离地图307a。此距离转换技术，例如下列公式，可将差异影像FA_t转成距离地图D_t：

$D_t\left(X_i\right)=\frac{\min \left(\right||F{A}_t\left(X_i\right)-F{A}_t\left(X_k\right)||,{\mathrm{\δ}}_2)}{{\mathrm{\δ}}_2},$

其中X_k为距离X_i最近的前景点，δ₂为最大容许距离。换句话说，距离地图D_t的每一点的值是最近的前景点的距离除以最大容许距离的一个比例，距离前景点越近，其值越小，表示愈有可能属于移动物体；反之亦然。图7是进行距离转换的一个范例示意图，与本揭露的某些实施范例一致。图7中，差异影像的范例705进行距离转换后，产生的距离地图的范例如标号707所示。距离地图对移动物体所在的位置提供了一个机率分布，因此，从距离地图可以看出整个移动物体在画面内的发生区域，增强移动物体侦测的稳定性。

背景相减模组309将距离地图应用至背景相减技术，并与目前撷取影像比对而得到此移动物体的信息。图8是一范例示意图，进一步说明背景相减模组的运作。如图8所示，背景相减模组309将对齐参数811使用至背景模型812，以将背景对齐至目前撷取影像。将对齐后的背景模型821以及t时间影像F_t，以距离地图，如标号707的范例，作为更新率来更新背景模型，如标号830所示。并且此对齐后的背景经由距离地图，如标号707的范例的权重，与t时间撷取的影像比对，进行t时间的前景侦测，而侦测出此移动物体，如标号809的范例。

在前景侦测阶段，由于背景对齐误差，可考虑一个区域的背景点来侦测前景。而连续画面差异的距离转换结果，即距离地图D_t，则作为前景判定的可适性的(adaptive)门槛值(threshold value)，若前景机率较高，则门槛值愈低，反之亦然。当背景更新时，同样利用距离地图D_t作为可适性的更新率(updatingrate)，若前景机率较高，则维持原来的背景值，反之亦然。

由于背景相减模组309将距离地图应用至背景相减技术，在时间t的前景侦测以及背景更新时，利用距离地图D_t作为参数调整的依据。因此得出的移动物体信息不仅可以看出移动物体的整体外型，移动物体内部区域的信息也比较完整。

图9是整合前述图5至图8的一个范例示意图，与本揭露的某些实施范例一致。从图9范例以及前述的说明，可以清楚看出本揭露的实施范例先补偿因摄影机平台移动所造成的画面移动，再由结合背景相减与连续画面差异技术，将连续画面差异的结果利用距离转换产生出距离地图以辅助背景相减法，稳固地侦测出前景的移动物体区域。

本揭露的实施范例中，以连续画面差异技术来辅助背景相减技术，在背景移动校正补偿后的影像上侦测前景物体，来达成利用单摄影机即可有效且实时地进行移动摄影机的移动物体侦测。而本揭露的实施范例更应用距离转换技术，将连续画面差异的侦测结果转换为距离地图，如此，对物体所在的位置给了一个机率分布，将此分布应用至背景相减技术中，成为前景侦测及背景更新的很好的权重值。

前景侦测时对于移动物体部分加强权重，而背景更新时将降低移动物体部分的权重，使得移动物体更易被侦测出。如此，将可改善既有的背景相减技术的缺点，而更稳定地侦测出移动物体。本揭露的实施范例中，使用连续画面差异来帮助背景相减的机制，除了能够在移动平台实施外，也可以应用在固定式平台来增强移动物体侦测的稳定性。

以上所述者仅为本发明的实施范例而已，当不能依此限定本发明实施的范围。凡是依本发明权利要求范围所作的均等变化与修饰，皆应仍属本发明专利涵盖的范围内。

Claims (15)

1.一种移动物体侦测装置，其特征在于，该装置包含：

影像撷取模组，撷取一移动物体在不同时间点的影像；

影像对齐模组，若于一移动平台的状态下，则将该不同时间点的影像对齐；

连续画面差异模组，在该不同时间点的影像或是该对齐后的影像，进行连续画面差异技术，并求出一差异影像；

距离转换模组，将该差异影像转换成一距离地图；以及

背景相减模组，将该距离地图应用至背景相减技术，并与目前撷取影像比对而得到该移动物体的信息。

2.如权利要求1所述的移动物体侦测装置，其特征在于，其中在该移动平台的状态下，该影像对齐模组提供所使用的对齐参数给该背景相减模组，以得到该移动物体的信息。

3.如权利要求1所述的移动物体侦测装置，其特征在于，其中在该移动平台的状态下，该影像对齐模组提供该对齐后的影像给该连续画面差异模组。

4.如权利要求1所述的移动物体侦测装置，其特征在于，其中该移动物体的信息至少包括该移动物体在画面内的发生区域。

5.如权利要求1所述的移动物体侦测装置，其特征在于，其中该距离地图对该移动物体所在的位置提供一个机率分布。

6.如权利要求1所述的移动物体侦测装置，其特征在于，其中该装置适用于移动式平台与固定式平台。

7.如权利要求6所述的移动物体侦测装置，其特征在于，其中于固定式平台下，该装置不包括该影像对齐模组。

8.一种移动物体侦测方法，其特征在于，该方法包含：

撷取一移动物体在不同时间点的影像；

若是移动平台的状态下，则将该不同时间点的影像对齐；

在该不同时间点的影像或是该对齐后的影像，进行连续画面差异技术，并求出一差异影像；

经由距离转换技术，将该差异影像转换成一距离地图；以及

将该距离地图应用至一种背景相减技术，并与目前撷取的影像比对而得到该移动物体的信息。

9.如权利要求8所述的移动物体侦测方法，其特征在于，其中若是移动平台的状态下，则将至少一对齐参数使用在该移动物体的背景模型，以对齐该不同时间点的影像。

10.如权利要求8所述的移动物体侦测方法，其特征在于，其中该背景相减技术包括：

将变形参数使用至该移动物体的背景模型，以对齐该背景模型至目前时间撷取的影像；

将该对齐后的背景模型以及目前时间撷取的影像以该距离地图作为更新率来更新背景模型；以及

该对齐后的背景经由该距离地图的权重，与目前时间撷取的影像比对，进行目前时间的前景侦测，而侦测出该移动物体。

11.如权利要求8所述的移动物体侦测方法，其特征在于，其中若是移动平台的状态下，则进行该连续画面差异之前，先对相邻画面进行影像对齐，以对齐相邻影像背景区域，补偿因平台移动所造成的画面的变化。

12.如权利要求8所述的移动物体侦测方法，其特征在于，其中该连续画面差异技术是经由变形转换后的两影像差异进行一交集运算来求出该差异影像。

13.如权利要求8所述的移动物体侦测方法，其特征在于，其中从该距离地图看出该移动物体在画面内的发生区域。

14.如权利要求10所述的移动物体侦测方法，其特征在于，其中在该前景侦测时，该距离地图作为前景判定的一可适性的门槛值。

15.如权利要求10所述的移动物体侦测方法，其特征在于，其中在该背景更新时，该距离地图作为一可适性的更新率。

Images