CN102111530A - 移动物体检测装置与方法 - Google Patents

Abstract

一种移动物体检测装置与方法，针对一移动物体的每两连续影像算出相对应于此两连续影像的一帧差影像，并且将目前时间影像分割成多个具有同性质的区域后，从这些被分割的区域中判断出多个均匀区块，再从这些均匀区块中检测出至少一候选区域，接着融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。

Description

移动物体检测装置与方法

技术领域

本发明涉及一种移动物体检测(moving object detection)装置与方法。

背景技术

监控系统常于场景旁架设固定摄影机做监控，分析影像时，可使用如背景相减(background subtraction)或连续画面差异(frame difference)等技术将背景消除而检测移动前景。当摄影机架设于移动载具之上时，处理与分析所撷取的影像，要面对的问题包括影像背景持续变动、移动物体相对于广阔区域较小且移动速度相对变慢等问题，使得于空照影像(aerial image)的移动物体检测相较于固定式摄影机来得复杂。

相关技术研究例如运用自动智能视觉监控技术于未来城市与战场，其移动物体的检测是利用仿射模型的形变(affine warping)技术，将连续的输入影像彼此对正(registration)，使影像稳定(stabilization)后，计算连续两幅稳定后影像的正交流(normal flow)，来检测出移动物体。并利用四连通标记(4-connectivity connected component labeling)技术来标记移动物体，且对每幅影像上标记好的物体，考虑质心位置、主轴方向、长度等属性，计算相邻影像上物体之间的相似度与关联性，来追踪移动物体。

移动物体检测可分为光流法(optical flow)与帧差法(frame difference)。光流法是藉由计算影像的各像素于时间上的动量，比较显著移动(dominantmotion)与局部移动(local motion)，将移动物体从背景区分出来；当物体或背景较大且均匀时，难以计算影像画面的光流。帧差法是藉由影像对齐(alignment)的方法将相邻影像对齐后，利用帧差计算将移动物体从背景区分出来；当物体颜色均匀且体积较大时，容易得到破碎的结果。

移动物体检测的现有技术有很多，例如台湾专利公开号200823800揭示的视讯对象分割方法。如图1的范例流程所示，此视讯对象分割方法是藉由计算一目前影像F_n的像素值与前一影像F_n-1的对应像素的差值，再利用此差值与此像素进行多层式背景注册，以取出一背景B_n，然后利用背景B_n去除影像的背景区域。最后，利用去除亮度平均值的背景B_n’去除已去除亮度平均值的影像F_n’的背景区域，藉以取得前景影像。

如图2的范例流程所示，中国专利公开号CN101087413揭示的视频序列中运动物体的分割方法是对目前影像和前一影像进行帧差及其统计分析，并结合边缘检测的结果，得到移动物体的轮廓，再利用水平与垂直方向的填充方法得到运动物体，此分割方法适用于单一移动物体的检测。

移动物体追踪可分为三种方法，第一种是藉由点光流(KLT Tracker)的追踪，将相邻画面的物体关联起来；第二种是计算出物体的外貌或运动特征，将相邻画面的移动物藉由设定一闸值来判断相关性，或是基于多重假设追踪法(Multiple Hypothesis Tracker，MHT)或结合机率数据关联法(JointProbability Data Association，JPDA)，并考虑画面中多数移动物体的特征，来算出最佳的匹配机率；第三种是利用滤波器的技术如粒子滤波器(particlefilter)来进行移动物体的追踪。

移动物体追踪的现有技术，例如美国专利公开号2007/0250260的文献中所揭示的以无人驾驶的航空载具来独自追踪移动目标的方法与系统(Method and System for Autonomous Tracking of a Mobile Target by anUnmanned Aerial Vehicle)。如图3的范例所示，空照追踪系统300藉由一架备有传感器314的航空载具312来独自追踪地面移动车辆310。空照追踪系统300同时模型化地面移动车辆310与飞机的运动模式，辅以卡曼滤波器的预测与更新功能，来追踪地面移动车辆310，其中，传感器314所投射的视野(Field of View，FOV)318有一个地面上的视野圈(FOV circle)320，并且传感器314的视角等于在航空载具312的垂直下方的正圆锥的锥角θ。

美国专利号7136506的文献中，揭示一种视讯相关追踪系统(VideoCorrelation Tracking system)，藉由比对连续影像中的影像样板(image patch)的相关性，作为移动物体追踪的依据，其中，由使用者于初始影像上给定需要追踪的物体位置及范围。美国专利公开号US2009/0022366的文献中，揭示一种影像分析系统，此影像系来自非静态摄影机(Non-static Camera)，此系统利用一台有其固定搜索路径的摄影机来监控一广大区域，藉由影像拼接技术建立全景图，并辅以背景相减技术检测出移动物体。

美国专利公开号2007/0268364的文献中，揭示一种移动物体检测系统，先针对连续影像来进行影像对位，再计算画面中像素的移动相似度。具有一致移动相似度的区域若符合物体大小等条件，则判定为移动物体。此系统所获得的移动物体不一定会具有完整的轮廓。

发明内容

本揭示的实施范例可提供一种移动物体检测装置与方法。

在一实施范例中，所揭示的是关于一种移动物体检测装置。此移动物体检测系统包含一帧差模块(Frame Difference Module)、一候选区域搜寻模块(Candidate Search Module)、以及一移动物体融合模块(Moving ObjectFusion Module)。帧差模块针对一移动物体的每两连续影像，分别以目前时间影像与前一时间影像来表示，算出相对应于此两连续影像的一帧差影像。候选区域搜寻模块将目前时间影像分割成多个具有同性质的区域后，从这些被分割的区域中判断出多个均匀区块，再从这些均匀区块中检测出至少一候选区域。移动物体融合模块融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。

在另一实施范例中，所揭示的是关于一种移动物体检测方法，此方法包含：针对一移动物体的每两连续影像，算出相对应于此两连续影像的一帧差影像，此两连续影像分别以目前时间影像与前一时间影像来表示；将目前时间影像分割成多个具有同性质的区域，并从这些被分割区域中判断出多个均匀区块，再从这多个均匀区块中检测出至少一候选区域；以及融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。

在另一实施范例中，所揭示的是关于一种计算机程序产品，此计算机程序产品可包含至少一程序储存设备、以及由指令组成的一程序(a programof instructions)。此至少一程序储存设备是可被一数字处理装置(DigitalProcessing Apparatus，DPA)读取的储存设备。由指令组成的程序具体实施在此程序储存设备上，并且可被此数字处理装置执行(executable by the DPA)以履行(perform)一移动物体检测方法，此方法包含：针对一移动物体的每两连续影像，算出相对应于此两连续影像的一帧差影像，此两连续影像分别以目前时间影像与前一时间影像来表示；将目前时间影像分割成多个具有同性质的区域，并从该多个被分割区域中判断出多个均匀区块，再从该多个均匀区块中检测出至少一候选区域；以及融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。

现结合下列附图对实施范例的详细说明及权利要求，将上述及本揭示的其它优点详述于后。

附图说明

图1是一种视讯对象分割方法的一个范例流程图。

图2是一种视频序列中运动物体的分割方法的一个范例流程图。

图3是一种空照追踪系统的一个范例示意图。

图4是一种移动物体检测装置的一个范例示意图，与所揭示的某些实施范例一致。

图5是差值影像计算的一个范例示意图，与所揭示的某些实施范例一致。

图6是检测候选区域的一个范例流程图，与所揭示的某些实施范例一致。

图7A至图7C是一范例示意图，说明相接于影像边缘的候选区域筛选，与所揭示的某些实施范例一致。

图8A是一个范例流程图，说明检测出的物体内部破洞而被分裂为多个对象，与所揭示的某些实施范例一致。

图8B是一范例流程图，说明候选区域实际上并不一定仅包含一个实体对象，与所揭示的某些实施范例一致。

图9是一范例流程图，说明如何融合影像分割信息与差值影像信息来进行物体形变，与所揭示的某些实施范例一致。

图10是图9的各步骤的范例实现结果，与所揭示的某些实施范例一致。

图11是一范例示意图，说明移动物体融合模块的形变与融合所得的结果，与所揭示的某些实施范例一致。

图12A与图12F分别为来源影像与目标影像的范例示意图，而图12B至图12E是藉由渐进式形变技术产生的过程影像的示意图，与所揭示的某些实施范例一致。

图13A至图13F是来源影像与各形变过程影像取联集的对应结果，与所揭示的某些实施范例一致。

图14是一范例流程图，说明移动物体检测方法的运作流程，与所揭示的某些实施范例一致。

图15是一范例示意图，说明藉由运动模型与观测模型，持续预测及更新移动物体的状态，来达到移动物体的追踪，与所揭示的某些实施范例一致。

图16是移动物体追踪的一范例流程图，与所揭示的某些实施范例一致。

图17A是移动物体猜想与前景检测矩形的关联矩阵的一个范例示意图，与所揭示的某些实施范例一致。

图17B是关联矩阵与事件分析处理的一个范例示意图，与所揭示的某些实施范例一致。

图18是计算机程序产品的一范例示意图，与所揭示的某些实施范例一致。

附图符号说明

F_n目前影像            F_n-1前一影像

B_n背景                B_n’去除亮度平均值的背景

F_n’去除亮度平均值的影像

300空照追踪系统       310地面移动车辆

312航空载具           314传感器

318视野               320视野圈

θ锥角

400移动物体检测装置   410帧差模块

412目前时间影像       414前一时间影像

416帧差影像           420候选区域搜寻模块

422候选区域           430移动物体融合模块

432移动物体的位置     434移动物体的轮廓

510全域运动估测阶段   520帧差影像累积

522帧差影像_n-1        524帧差影像_n

530限制条件滤除阶段

610将影像中具有同性质的图素分割出来后，形成多个分割区域

620分析此多个分割区域，来判断出均匀的区块

630检验每一检测出来的均匀区块，观察此均匀区块的内部是否存在不同的区域、或是此均匀区块的周围和影像边缘相接的区域，以找出候选区域

702均匀区块       715内部区域

725进出区域       730进出区域的轮廓

735缺口联机

801-803物件       805实际物体轮廓

810车辆           815路面标志

820候选区域

910根据输入的累积差值影像O的信息与分割标记L的信息，在该分割标记L所属的同一个「候选区域」内，找出落在该候选区域内的「差值影像」集合o

925从「差值影像」集合o中取出两个最相邻的差值影像(O₁，O₂)

935计算两差值影像(O₁，O₂)的中心的联机，并在此联机上，以一形变方式合并成另一差值影像O’

945再将差值影像O’插「差值影像」集合o中

955取得o与「候选区域」的交集o’

965所有分割区域相对应的分割标记L皆被处理

1010a差值影像集合           1010b候选区域

1011-1013三个差值影像       1035合并而成的另一差

                            值影像

1055最终合并而成的差值影像

1110差值影像屏蔽                1115候选区域

1130移动物体的完整轮廓

1410针对一移动物体的每两连续影像，算出相对应于此两连续影像的一帧差影像

1420将目前时间影像分割成多个具有同性质的区域，并从这些被分割区域中判断出多个均匀区块，再从这多个均匀区块中检测出至少一候选区域

1430利用一移动物体融合模块来融合所得的多张帧差影像与此至少一候选区域，并辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓

1800计算机程序产品            1810程序储存设备

1820由指令组成的程序          1830数字处理装置

具体实施方式

本揭示的实施范例是针对连续影像，以帧差运算、影像分割(imagesegmentation)等技术为基础，并融合渐进式形变(morphing-based)技术，自动且完整地检测出移动物体的位置与轮廓。也可以再结合移动物体追踪技术来剃除假警报信息，并利用其预测与修正的特性，来得到稳定而准确的移动物体检测结果。以下详细说明此实施范例的内涵。

图4是一种移动物体检测装置的一个范例示意图，与所揭示的某些实施范例一致。在图4的范例中，移动物体检测装置400包含一帧差模块410、一候选区域搜寻模块420、以及一移动物体融合模块430。

帧差模块410针对一移动物体的每两连续影像，分别以目前时间影像412与前一时间影像414来表示，以一帧差运算来算出相对应于此两影像412与414的一帧差影像416，并传送至移动物体融合模块430。当目前时间影像412与前一时间影像414是撷取自移动中的该移动物体的两连续影像时，可先藉由一影像对齐模块，将前一时间影像414对齐到目前时间影像412，然后，帧差模块410再算出对齐后两影像的帧差影像。

候选区域搜寻模块420可利用一影像分割技术，将输入的目前时间影像412分割成多个具有同性质的区域后，从这些被分割的区域中判断出多个均匀区块，再从这些均匀区块中检测出候选区域422，并传送候选区域422至移动物体融合模块430。

移动物体融合模块430融合所得的帧差影像416与候选区域422，辅以一渐进式形变技术，逐步地将属于同一单一对象的区域拼凑起来，以检测出此移动物体的位置432以及完整的此移动物体的轮廓434。

当两连续影像是撷取自正在移动的该移动物体时，帧差模块410可将二帧影像的重复区域内的特征点找出，并计算出二帧影像中特征点的对应关系，就可将二帧影像对齐。例如，帧差模块410可用角点来做为特征点，然后算出这些特征点以及此特征点的配对。特征点的选取可以从观察一张影像中局部的矩形区域，将此矩形区域影像中不同的方向作些微的移动，來了解此矩形区域中灰阶变化的强弱。矩形区域中灰阶变化的强弱可分为三种情况。

第一种情况是，如果在矩形区域移动的影像中灰阶值的变化是趋于平坦，则不管此矩形区域要往哪个方向移动，在矩形区域中的灰阶并不会有特别明显的变化。第二种情况是，如果矩形区域在边或是线的影像区域中移动，则当此矩形区域沿着边或线的方向与边或线垂直，其灰阶变化会相当强烈。第三种情况是，如果矩形区域在具有特征点的影像区域中移动，则不管哪一个方向的移动都会造成此矩形区域中强烈的灰阶变化。根据此三种情况，矩形区域在各方向移动后其变化的总和有多种演算范例，例如KLT算法，将此总和以一2*2的对称矩阵Z来表示，然后经由矩阵Z的两特征值λ₁与λ₂的大小可以得知此矩形区域中灰阶强度的变化。

找出影像中的特征点后，可将特征点与前一幅影像中的特征点进行连结。所有连结成功的特征点中大部分均为固定的地面，因此可针对此特征点的集合计算出地面的移动模式，有效将二幅连续的影像对齐。

理想上，经过影像对齐后，除了地面移动对象外，静态对象在前后影像中应处于相同的位置。此时仅需要对前后两张连续影像做帧差运算后，所得的差值即为移动对象的区域。然而，实际上仍然无法得到准确的结果。其原因例如是来自于影像对齐计算的不准确、画面的缩放(摄影机拍摄高度)造成的物体大小不一致、光线条件不同、取像时的噪声，画面变形，以及其它随机误差等多种可能因素。这些因素可能造成相当大的影响，例如对象区域忽然剧烈变化而造成所检测到的移动对象区域不正确、或是所累积的误差影响到后续的对象追踪。这些误差皆具有暂时性与随机性的共通特性。所以，帧差模块410也可以利用一累积差值的方式，将数张帧差影像以权重分配的方式累积起来。

图5是差值影像计算的一个范例示意图，与所揭示的某些实施范例一致。在图5的范例中，为方便说明，假设累积的前后差值影像的个数N等于1。在全域运动估测(Global Motion Estimation)阶段510时，将两两连续影像经由运动流估测(motion flow estimation)、滤除分离点(filtering outlier)后，取得影像对齐参数后，利用此对齐参数，计算单应性(homography)转换矩阵，得到转换后的前后影像，即转换后的影像_n-1与转换后的影像_n。于帧差影像累积(Difference Accumulation)阶段520时，将转换后的前后影像相减，亦即

帧差影像_n-1＝(转换后的影像_n-1)-(影像_n-2)，

帧差影像_n＝(转换后的影像_n)-(影像_n-1)，

得到两张帧差影像，如标号522与524所示。而累积的差值影像(accumulated frame difference)可用累积的帧差影像_n-1与帧差影像_n，以权重分配的方式加总后来求得。令D为前后影像的差值影像，w为视应用场景所预先定义的权重，则累积差值影像D′_n的范例公式可表示如下：

$D_n^{\′}=\underset{k=n-N}{\overset{k=n}{\mathrm{\Σ}}}{w}_k{D}_k,$ 其中N为累积的前后差值影像的个数。

帧差模块410可利用此范例公式，将数张帧差影像以权重分配的方式累积起来。例如，假设有三张累积的前后帧差影像，可将其权重分别设定为0.2、0.2、0.6，然后此三张帧差影像分别乘上权重后再加总。加总后的累积差值影像可以滤除一些随机性的噪声。

然而，有些细小的噪声可能会发生于影像中的对象边缘，例如道路边线，树干阴影，房舍边缘等。同时这些噪声还具有零碎、沿着长直线延伸等特性。滤除这些不合理的噪声可以进一步使用几何条件来限制，例如长宽比限制、面积限制、范围限制等，以得到基于差值影像的移动物体的检测结果，例如图5的范例中限制条件滤除(constraints filtering)阶段530所示。此限制条件的设定与种类可随着实际应用场景而定。

候选区域搜寻模块420检测候选区域的流程可用图6的范例来说明，与所揭示的某些实施范例一致。在图6的范例中，将影像中具有同性质的图素分割出来后，形成多个分割区域，如步骤610所示。然后分析此多个分割区域来判断出均匀的区块，如步骤620所示。检验每一检测出来的均匀区块，观察此均匀区块的内部是否存在不同的区域、或是此均匀区块的周围存在和影像边缘相接的区域，以找出候选区域，如步骤630所示。

步骤610中，例如可使用以图素的区域特征为基础的影像分割标记法来实现「分割影像」以及「区域标记」的需求。步骤620中，例如，如果某一分割区域的面积够大，则此分割区域即为一均匀区块。如果此分割区域的面积太小，则将其视为假阳性(false Positive)而移除的。步骤630中，若均匀区块的内部存在不同的区域，称此不同的区域为「内部区域(innerregion)」；若均匀区块的周围存在和影像边缘相接的区域，因其即将进入或远离视界，称此区域为「进出区域(cavity region)」。这些「内部区域」与「进出区域」皆为候选区域。

换句话说，取得均匀区块后，即可筛选出两类区域，一类为被均匀区块内部包含的区域，例如图7A的范例中，均匀区块702的内部包含一内部区域715；另一类为与均匀区块相接，又与影像边缘相接的区域，例如图7B的范例中的进出区域725。此两类区域皆为移动物体可能出现的区域。进出区域的轮廓长度与缺口联机长度必须高于一定比例，以避免候选区域太小。例如图7C的范例中，进出区域的轮廓730的长度(contour distance)与缺口联机735的实际长度(real distance)，两者的比例必须高于一阈值。

帧差模块410利用差值影像屏蔽所检测到的移动物体往往因为颜色和纹理类似，而只在边缘有较大的响应，因此只得到部分的移动物体，造成检测出的物体内部破洞而被分裂为多个对象，例如，图8A的范例所示，实际物体轮廓805如虚线框所示，而差值影像屏蔽所检测到的物体被分裂为三个对象801-803。而候选区域搜寻模块420于找出的候选区域的过程中，均匀区块内部包含的区域实际上并不一定仅包含一个实体对象，例如，图8B的范例所示，车辆810停于路面标志815上将使得其切割范围延伸至路面标志。因此，候选区域搜寻模块420基于影像切割所找出的候选区域820实际上并不一定仅包含一个实体对象。这两范例所揭示的因素皆有可能会造成假阳性及移动物体轮廓严重错误。因此，移动物体融合模块430融合候选区域内的差值区块，来填补移动物体内部的破洞，并且藉由渐进式形变的修补，得到完整的移动物体的位置与轮廓。

图9是一范例流程图，说明如何融合影像分割信息与差值影像信息来进行物体形变，与所揭示的某些实施范例一致。参考图9，在步骤910中，根据输入的累积差值影像(Accumulated difference)O的信息，与分割标记(segmentation label)L的信息，例如分割标记L，在该分割标记所属的同一个「候选区域」内，找出落在该候选区域内的「差值影像」集合o。若找到的差值影像数大于1，代表在该候选区域存储器在多个破碎的对象轮廓，因此需将其结合为单一对象。首先，在步骤925中，从「差值影像」集合o中取出两个最相邻的差值影像(O₁，O₂)；然后，在步骤935中，计算两差值影像(O₁，O₂)的中心的联机，并在此联机上，以一形变方式合并(merge)成另一差值影像O’；再将差值影像O’插入「差值影像」集合o中，如步骤945所示。

如此，持续检查o中，是否有大于一个「差值影像」，若有，则重复步骤925、935、以及945的步骤；若否，则取得o与「候选区域」的交集o’，如步骤955所示。此交集o’即为具有完整轮廓的移动物体。步骤945中，算得差值影像O’所使用的形变方式可视实际应用来选用各种不同的形变方式，渐进式地去填补检测出的物体内部的破碎部份，直到所有输入的分割区域相对应的分割标记L皆被处理为止，如步骤965所示。

步骤925中，也可以从「差值影像」集合o中取出至少两个最相邻的差值影像，然后在步骤935中，在此至少两个差值影像的中心联机上，以一形变方式合并成另一差值影像O’。

图10以一范例来说明步骤910、925、935、945、以及955的实现结果，与所揭示的某些实施范例一致。参考图10，由步骤910，得到标号1010a所指的落在一分割标记所属的候选区域1010b内的三个差值影像1011-1013所形成的「差值影像」集合。由步骤925，取出其中两个最相邻的差值影像1011与1012。由步骤935，以一形变方式合并而成另一差值影像1035。由步骤945，差值影像集合里有差值影像1013与1035。重复步骤925、935、以及945的步骤，得到差值影像集合里只有一个最终合并而成的差值影像1055，也是差值影像集合与候选区域1010b的交集。也就是说，候选区域1010b里原本存在的三个破碎的对象轮廓，以一渐进式形变方式被结合为单一对象的轮廓。

如上所述，移动物体融合模块430可包括一形变模块和一融合模块，以图11的范例来说明，此形变模块可选取位于移动物体候选区域内的差值影像屏蔽1110，以一渐进式形变技术合并成单一对象1120并传送给此融合模块，而如前所述，差值影像屏蔽1110是帧差模块410利用一帧差法得到的值影像屏蔽。此融合模块可融合候选区域1115与此形变模块产生的单一对象1120，而得到此移动物体1140的完整轮廓1130，而如前所述，候选区域1115是候选区域搜寻模块420从分割后的均匀区块中筛选出的候选区域。

上述的渐进式形变是指在来源影像与目标影像间，藉由影像内插技术来产生多张连续且平滑的过程影像，本揭示的实施范例系融合前述所得的帧差影像与候选区域，藉由此渐进式形变技术来产生出一合理而完整轮廓的移动物体屏蔽，图12与图13以图11的范例，来说明本揭示的实施范例应用此技术的处理过程。

图12A与图12F分别为来源影像与目标影像的示意图，而图12B至图12E是藉由渐进式形变技术产生的过程影像的示意图。将前述的来源影像与整个形变过程影像取得联集后，即可获得该物体的完整轮廓，图13显示来源影像与各形变过程影像取联集的对应结果，其中，图13A为来源影像，图13B是由来源影像至图12B间所有过程影像的联集。依此类推，图13F是整个形变过程产生影像的联集，也就是形变模块产生的结果，即图11的单一对象1120。

如上所述，图14的范例可说明本揭示的移动物体检测方法的运作流程，与所揭示的某些实施范例一致。参考图14，如步骤1410所示，针对一移动物体的每两连续影像，算出相对应于此两连续影像(即目前时间影像与前一时间影像)的一帧差影像。步骤1420中，将目前时间影像分割成多个具有同性质的区域，并从这些被分割的区域中判断出多个均匀区块，再从这多个均匀区块中检测出至少一候选区域。步骤1430中，融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，取得此移动物体的位置与其完整的轮廓。

本揭示的移动物体检测装置与方法的实施范例利用影像分割的技术标记独立对象，并辅以形变技术获得完整物体轮廓，可适用于多个移动物体检测，也可以藉由移动检测来找出感兴趣的移动物体，也可应用于无特定移动路径的摄影机。因为本揭示的实施范例从分割后的均匀区块中筛选出候选区域，并辅以渐进式形变运算为基础，因此应用于空照连续影像的地表移动物体检测时，可符合实时运算的应用。

上述本发明的实施范例还可以加入物体追踪技术来预测、补偿并更新移动物体的位置。因此，图4的移动物体检测装置400可还包括一移动物体追踪模块，或是于移动物体融合模块430之后再连接此移动物体追踪模块，将移动物体的位置与其完整轮廓的信息输入此移动物体追踪模块，来预测、补偿并更新移动物体的位置。而图9的范例流程图中，当执行完步骤965时，即所有输入的分割区域相对应的分割标记L皆被处理时，可将完整轮廓的移动物体的信息加入物体追踪技术来预测、补偿并更新移动物体的位置。

移动物体追踪可被转换为一推论(Inference)问题来进行，例如可基于贝氏(Bayesain)理论架构，在已知追踪对象状态(state)的事前机率(priorprobability)下，于获得新的量测(measurement)后，求解该目标状态的事后机率(posterior probability)。此理论架构主要是定义此移动物体的一运动模型(motion model)以及一观测模型(observation model)，并藉由此两模型，将移动物体追踪视为(1)根据t时间前的量测，来预测t+1时间的状态；以及(2)根据t+1时间的量测，来对预测进行更新。如图15的范例所示，此移动物体例如是车辆，藉由反复进行上述(1)与(2)，持续预测及更新此移动物体的状态，就可以达到移动物体的追踪。

上述移动物体的运动模型可用下列方程式来表示：

x_t+1＝A_tx_t+V_t，

其中，{x_t}_{t＝1，2，...}为移动物体的状态向量，t为离散时间序列，A为状态转换函数，表示移动物体由时间t到时间t+1的移动模型，而V表示在移动过程中所伴随的噪声。而此移动物体的观测模型可用下列方程式来表示：

z_t＝H_tx_t+W_t，

其中，{z_t}_{t＝1，2，...}为物体所观测的特征向量，H为量测转换函数，描述物体状态与量测所得的特征向量间的转换关系，而W为量测下所伴随的噪声。

在上述移动物体追踪的范例架构下，本发明可藉由一滤波器，例如卡曼滤波器(Kalman Filter)，对一移动物体进行预测与更新，范例说明如下。假设一移动物体的状态向量设定为x＝[x y w h vx vy]，其中v_x与v_y分别为其在x与y方向的移动速度，而相对于上述的运动模型与观测模型，其中，噪声部份以高斯表示，分别为 $V=N(0,{\mathrm{\σ}}_a^2)$ 与 $W=N(0,{\mathrm{\σ}}_z^2),$ 而状态转换函数A可用一6×6的单位矩阵来表示，量测转换函数可用下列矩阵H来表示： $H=\left[\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\end{array}\right]$

当系统的状态转换函数A与量测转换函数H为线性关系，且状态转换噪声V与量测噪声W皆满足高斯模型时，可藉由如卡曼滤波器来求解事后机率。若A与H为非线性关系，则仍可利用延伸(extended)卡曼滤波器来求解，此时事后机率仍满足高斯分布。实际视觉追踪问题的事后机率往往是非线性、非高斯且多模态，此时仍可藉由粒子滤波器(particle filter)来解决。

本发明可藉由前述的移动物体检测技术，先将监控画面中的移动物体检测出来，然后以一最小包围矩形O＝[x y w h]^T来描述该物体，其中x与y表示该矩形中心于画面的位置，而w与h则表示其宽与高。假设在时间t时，藉由移动物体检测所获得的前景，则包含n个移动物体矩形的清单(list)可表示为 $C=\left\{{O^t}_j\right|j=\mathrm{1,2},\·\·\·,n\},$ 而系统在t-1时间及其之前所追踪的m个移动物体猜想(hypothesis)清单为 $M=\left\{T_i^t\right|i=\mathrm{1,2},\·\·\·,m\},$ 其中T是指在连续时间的追踪下，被关联起且认为是同一物体的τ个移动物体矩形，即T＝{O^t-τ，O^t-τ+1，...，O^t，ρ}，而O^t-τ是此移动物体第一次出现的最小包围矩形并依此类推，而ρ称为一信心指数，此信心指数的值随着物体追踪的成功或失败而增加或减少，当此信心指数大于一上界阈值时，则认为此猜想已具有足够信心程度，而将猜想转变为一实体移动物体；反之若此信心指数低于零时，则认为此移动物体已离开监控场景，此时可将该猜想由系统所维护的追踪器里的清单移除。

如上所述，本发明的实施范例中，移动物体追踪模块里可使用一追踪器，此追踪器具有两种清单，一种是目前时刻的移动物体清单，另一种是之前时刻所追踪的移动物体猜想清单。

图16是移动物体追踪的一范例流程图，与所发明的某些实施范例一致。图16的范例流程中，一方面是维护之前时刻所追踪的移动物体猜想清单，此清单记录着之前时刻所追踪的m个移动物体猜想，然后藉由如卡曼滤波器来预测其在目前时间的状态；另一方面，对于目前的输入影像，可藉由移动物体检测而获得目前时刻的移动物体清单，此清单记录着n个前景物体矩形。考虑此两清单的元素的空间相关性，可建立一关联矩阵，此关联矩阵的字段(i，j)表示前景物体矩形i与移动物体猜想j的空间相关性。若两者有空间上的重迭性，则该字段设定为1，反之为0。将此关联矩阵的行与列进行加总运算，并根据其值做出对应的事件处理，此值可反应出移动物体的新增、消失、及稳定追踪，以及多个移动物体相互间的合并或分裂等行为。然后，根据此对应的事件处理，来更新该移动物体猜想清单。各行为的对应对策分述如下。

稳定追踪：当一移动物体猜想仅对应到一前景物体时，表示该物体被稳定的追踪，此时将此前景物体矩形当作卡曼滤波器的量测并更新，同时增加其信心指数。

分裂：当一移动物体猜想对应到多个前景物体时，表示该物体分裂为两个物体，此时将具有最大重迭面积的前景物矩形作为更新该移动物体猜想的量测值；其它前景物矩形则新增为一移动物体猜想，并做为此移动物体的初始状态。

合并：当多个一移动物体猜想对应到一个前景物体时，表示多个移动物体合并为一物体，此时藉由一样板比对技术，将移动物体的样板对应到前景物体。

消失：当移动物体猜想无法对应到前景物矩形时，表示该物体已消失于监控场景，此时减少该猜想的信心指数。

新增：当一前景物矩形无法与任一移动物体猜想关联时，表示其为一新增物体，故依其状态新增一移动物体猜想。

图17A是移动物体猜想与前景检测矩形的关联矩阵的一个范例示意图，与所揭示的某些实施范例一致。O_1至O_n代表n个前景物体矩形，T_1至T_m代表m个移动物体猜想，此关联矩阵的行与列进行加总运算后，其值记在最后一列(以CM_r表示)与最后一行(以CM_c表示)。图17B是关联矩阵与事件分析处理的一个范例示意图，与所揭示的某些实施范例一致。图17B的范例中，可看出由CM_r与CM_c里的关联值可反应出相对应的一移动物体的新增、消失、稳定追踪，以及多个移动物体相互间的合并、分裂的事件。

本发明的移动物体检测方法的实施范例可实施在一计算机程序产品(computer program product)上，例如一代表性的计算机(representativecomputer)，但不依此而限定本发明实施范围仅为此计算机或任意形式的计算机。此代表性的计算机例如可包括至少一处理器(processor)、至少一储存设备(storage device)、以及至少一存储器。处理器例如是一数字处理装置；储存设备例如是可由一数字处理装置读取的储存设备；存储器例如是一只读存储器(Read Only Memory，ROM)或是一随机存取存储器(Random Accessmemory，RAM)等。

参考图18的范例示意图，与所揭示的某些实施范例一致。计算机程序产品1800可包含至少一程序储存设备1810、以及由多条指令组成的一程序1820。程序储存设备1810是可被一数字处理装置1830读取的储存设备。由指令组成的程序1820可具体实施(tangibly embodied)在程序储存设备1810上，并且可被数字处理装置1830执行以履行本发明的移动物体检测方法的步骤1410、步骤1420、以及步骤1430。程序储存设备1810可以有多种型态，例如是硬盘(hard disk)、存储器、光盘(optical disk)等态样的计算机可读取的媒体(computer-readable media)。

如前所述，此移动物体检测方法还可包括藉由该移动物体的一运动模型与一观测模型，持续预测及更新该移动物体的状态，以追踪此移动物体。此移动物体检测方法的所有详细运作流程于此不再重述。

计算机程序产品1800也可以还包括或连接至一移动物体追踪模块来预测、补偿并更新此移动物体的位置。计算机程序产品1800也可以连接至少一外围设备来运作，例如一监视器(monitor)，此监视器例如可显示在一检测区域内所检测到的此移动物体的位置与其完整的轮廓。

综上所述，本发明的移动物体检测装置与方法的实施范例是针对移动物体的每两连续影像，以帧差运算、影像分割技术为基础，并从被分割的区域中判断出多个均匀区块，再从均匀区块中检测出至少一候选区域，接着融合所得的帧差影像与此至少一候选区域，辅以一渐进式形变技术，自动检测出移动物体位置与完整轮廓。也可加入移动物体追踪技术，来预测、补偿并更新移动物体的位置。本发明的实施范例可用于多种应用场景，例如道路交通监控、嫌疑车辆跟踪、盗采砂石、走私与土地监控以及海岸线巡防与监控等。

以上所述仅为本发明的实施范例，而不能依此限定本发明实施的范围。即凡依本发明所揭示的精神所作的均等变化或修饰，皆应仍属本发明专利涵盖的范围。

Claims (24)

1.一种移动物体的检测装置，包含：

一帧差模块，针对一移动物体的每两连续影像，算出相对应于该两连续影像的一帧差影像，该两连续影像分别表示为目前时间影像与前一时间影像；

一候选区域搜寻模块，将该目前时间影像分割成多个具有同性质的区域后，从该被分割的多个区域中判断出多个均匀区块，再从该多个均匀区块中检测出至少一候选区域；以及

一移动物体融合模块，融合所得的多张帧差影像与该至少一候选区域，辅以一渐进式形变技术，取得该移动物体的位置与其完整的轮廓。

2.如权利要求1所述的装置，其中该移动物体融合模块还包括：

一形变模块，该形变模块选取位于该移动物体的该至少一候选区域内的差值影像屏蔽，以该渐进式形变技术合并成单一对象并传送给该融合模块；以及

一融合模块，该融合模块融合该至少一候选区域内与该形变模块产生的单一对象，而得到该移动物体的完整轮廓。

3.如权利要求1所述的装置，其中该多个均匀区块被筛选出两类区域，一类是该多个均匀区块内部包含的区域，另一类是该多个均匀区块的周围存在和影像边缘相接的区域。

4.如权利要求1所述的装置，其中该移动物体融合模块通过该渐进式形变技术，在一来源影像与一目标影像间，产生出多个连续且平滑的过程影像。

5.如权利要求4所述的装置，其中该移动物体的完整轮廓是该来源影像与整个形变过程影像取得联集后的结果。

6.如权利要求1所述的装置，其中该帧差模块产生的该帧差影像是由数张差值影像累积起来的一累积差值影像。

7.如权利要求1所述的装置，该装置还包括一移动物体追踪模块，来预测、补偿并更新该移动物体的位置。

8.如权利要求7所述的装置，其中该移动物体追踪模块是藉由该移动物体的一运动模型与一观测模型，持续预测及更新该移动物体的状态，来达到该移动物体的追踪。

9.如权利要求8所述的装置，其中该移动物体追踪模块里使用一追踪器，该追踪器具有两种清单，一种是目前时刻的移动物体清单，另一种是之前时刻所追踪的移动物体猜想清单。

10.如权利要求1所述的装置，该装置还包括一影像对齐模块，并且当该两连续影像是撷取自正在移动的该移动物体时，该影像对齐模块先将该前一时间影像对齐到该目前时间影像后，该帧差模块再算出对齐后两影像的帧差影像。

11.一种移动物体的检测方法，应用于一移动物体的检测装置中，该方法包含：

针对一移动物体的每两连续影像，算出相对应于该两连续影像的一帧差影像，该两连续影像分别以一目前时间影像与一前一时间影像来表示；

将该目前时间影像分割成多个具有同性质的区域，并从该多个被分割区域中判断出多个均匀区块，再从该多个均匀区块中检测出至少一候选区域；以及

采用一移动物体融合模块来融合所得的多张帧差影像与该至少一候选区域，并辅以一渐进式形变技术，取得该移动物体的位置与其完整的轮廓。

12.如权利要求11所述的方法，其中该融合所得的多张帧差影像与该至少一候选区域，辅以该渐进式形变技术还包括：

根据输入的至少一累积差值影像的信息与至少一分割标记的信息，在每一分割标记所属的同一候选区域内，找出落在该候选区域内的一相对应的差值影像集合；

如果该差值影像集合里的差值影像数大于1，则从该差值影像集合中，取出至少两帧最相邻的差值影像，并将该至少两帧差值影像以一形变方式合并成另一差值影像，再将该另一差值影像插入该差值影像集合中，并取得该差值影像集合与该候选区域的交集；以及

重复上述步骤，直到所有输入的分割区域相对应的分割标记皆被处理为止。

13.如权利要求11所述的方法，其中从该多个均匀区块中检测出该至少一候选区域还包括：

检验该多个均匀区块中每一均匀区块，观察该均匀区块的内部是否存在不同的区域、或是该均匀区块的周围和影像边缘相接的区域，以找出该至少一候选区域。

14.如权利要求11所述的方法，其中该帧差影像是将数张差值影像以一权重分配的方式累积起来的一累积差值影像。

15.如权利要求11所述的方法，其中该渐进式形变技术在一来源影像与一目标影像间，藉由一影像内插技术来产生多张连续且平滑的过程影像。

16.如权利要求13所述的方法，其中该均匀区块的周围和影像边缘相接的区域的轮廓长度与缺口联机长度的比例高于一阈值。

17.如权利要求11所述的方法，该方法还包括：

藉由该移动物体的一运动模型与一观测模型，持续预测及更新该移动物体的状态，以追踪该移动物体。

18.如权利要求17所述的方法，其中追踪该移动物体还包括：

输入之前时刻所追踪的一移动物体猜想清单，然后藉由一滤波器来预测其在目前时间的状态；

对于目前时刻的一输入影像，藉由取得的该移动物体的位置与其完整的轮廓，获得一目前时刻的移动物体清单；

建立一关联矩阵，来描述该两清单的元素的空间相关性；将该关联矩阵的行与列进行加总运算，并根据其值做出对应的事件处理；以及

根据该对应的事件处理，更新该移动物体猜想清单。

19.如权利要求18所述的方法，其中该移动物体猜想清单记录着之前时刻所追踪的多个移动物体猜想，而该目前时刻的移动物体清单记录着多个前景物体矩形。

20.如权利要求18所述的方法，其中该关联矩阵的行与列进行加总运算后的值反应出相对应的一移动物体的新增、消失、稳定追踪，以及多个移动物体相互间的合并、分裂的其中一事件。

21.一种计算机程序产品，包含：

至少一程序储存设备，可被一数字处理装置读取；以及

由多条指令组成的一程序，具体实施在该程序储存设备上，并且可被该数字处理装置执行以履行一移动物体检测方法，该方法包含：

针对一移动物体的每两连续影像，算出相对应于该两连续影像的一帧

差影像，该两连续影像分别以一目前时间影像与一前一时间影像来表示；

将该目前时间影像分割成多个具有同性质的区域，并从该多个被分割区域中判断出多个均匀区块，再从该多个均匀区块中检测出至少一候选区域；以及融合所得的帧差影像与该至少一候选区域，辅以一渐进式形变技术，取得该移动物体的位置与其完整的轮廓。

22.如权利要求21所述的计算机程序产品，该计算机程序产品还连接至一移动物体追踪模块，以预测、补偿并更新该移动物体的位置。

23.如权利要求21所述的计算机程序产品，其中该至少一程序储存设备是计算机可读取的媒体。

24.如权利要求21所述的计算机程序产品，其中该移动物体检测方法还包括：

藉由该移动物体的一运动模型与一观测模型，持续预测及更新该移动物体的状态，以追踪该移动物体。

Images