CN101312524B - 利用光迹分析的移动物体侦测装置与方法 - Google Patents

利用光迹分析的移动物体侦测装置与方法 Download PDF

Info

Publication number
CN101312524B
CN101312524B CN2007101076578A CN200710107657A CN101312524B CN 101312524 B CN101312524 B CN 101312524B CN 2007101076578 A CN2007101076578 A CN 2007101076578A CN 200710107657 A CN200710107657 A CN 200710107657A CN 101312524 B CN101312524 B CN 101312524B
Authority
CN
China
Prior art keywords
image
pixel
calibration
motion vector
back image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007101076578A
Other languages
English (en)
Other versions
CN101312524A (zh
Inventor
富博超
石明于
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to CN2007101076578A priority Critical patent/CN101312524B/zh
Publication of CN101312524A publication Critical patent/CN101312524A/zh
Application granted granted Critical
Publication of CN101312524B publication Critical patent/CN101312524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一种利用光迹分析的移动物体侦测装置与方法。此装置包含四个模块,影像撷取、影像校准、对应像素搜寻和移动物体筛选。本发明在摄影机背景移动与静止的状态下,持续撷取影像。然后根据输入的相邻影像,估算出此相邻影像的画面对应关系,据此估算出此相邻影像的一校准转换参数,再根据此校准转换参数,校准此相邻影像的背景区域,求出一校准后的前影像。完成校准后,追踪每像素在相邻画面间的对应像素位移向量。最后,整合光迹追踪产生的信息,并稳定且正确地判定出移动物体在画面内的位置。本发明不易受噪声误差的干扰,可应用于移动式或固定式摄影机平台的移动物体侦测。

Description

利用光迹分析的移动物体侦测装置与方法
技术领域
本发明是关于一种利用光迹(optical flow)分析的移动物体侦测(movingobject detection)装置与方法。
背景技术
移动物体侦测在自动化监控(surveillance)系统中扮演相当重要的角色。影像监控系统由分析监控画面内移动物体轨迹(trajectory)与行为(behavior),得以侦测异常保全事件的发生,并且有效通知安全人员进行处理。
然而,传统的监控环境大多在监控场景架设多只固定式(fixed)摄影机监控,于异常事件发生时,无法提供动态保安支持。故应用移动式摄影机的观念逐渐兴起,但在移动式摄影机监控架构下,摄影机的移动可能会造成整体画面变换,导致无法直接应用传统影像式移动物体侦测技术于可疑事件的侦测。
美国专利号6,867,799的文献里,揭露了一种备有移动式摄影机的对象监控方法与装置(Method and Apparatus for Object Surveillance with aMovable Camera)。此对象监控装置包含移动对象侦测、使用者指定(interestobject manual selector)、对象与摄影机相对移动估算(determine difference)、对象移动预测(predict future position)、与摄影机移动讯号发送(generatemoving signal)等模块。其技术特征在于建构一个系统,可根据使用者所指定的移动对象区域,持续移动摄影机,使移动的对象保持在可视画面内。
美国专利号5,991,428的文献里,揭露一种移动物体侦测装置与方法(Moving Object Detection Apparatus and Method)。可于移动摄影机画面内,侦测出前景(foreground)移动物体。其技术特征是先将画面分割为多个区块(a plurality of blocks),再由画面比对(template matching)与综合评分(evaluation and voting)机制,估计相邻时间撷取的摄影机画面对应区块的位移向量,根据整张画面的多数(dominant)移动向量(motion vector),决定相邻画面间的一对齐(align)向量,据此对齐向量移动(shifting)其中一张画面进行对齐,再进行对齐画面差异比对,最后从差异结果分析出移动物体区域(moving area)。
美国专利号5,473,364的文献里,揭露了一种从移动平台中指出移动物体的视讯技术(Video Technique for Indicating Moving Obj ects from aMovable Platform)。此技术提供一种在移动平台上搭载(carrying)两具摄影机或一具可移动摄影机的移动物体侦测系统。其中,此两具摄影机的架设位置或可移动摄影机的移动位置必须与载具(vehicle)行进的方向一致。其技术特征是先将一时间点之前摄影机撷取的影像存入内存,当载具行进一小段时间后,再撷取后摄影机的影像,并将之前内存中前摄影机的影像做对齐后与后摄影机的影像相减。再利用高斯金字塔建构法(Gaussianpyramid construction)计算区域能量而侦测出移动物体。
此篇专利文献中,假设前时间之前摄影机撷取出的影像与后时间后摄影机撷取出的影像的撷取位置只有些许差异,对齐后的前影像背景与后影像背景的误差与只使用一只固定于平台的摄影机于两时间撷取的两影像经对齐的误差比来得小,故相减后可得到较稳定的移动物体轮廓。
美国专利6,710,722号的文献里,揭露了一种感测移动物体的影像处理装置与方法以及使用此技术的范围寻找器(Image Processing Device andMethod for Sensing Moving Objects and Rangefinder Employing the Same)。此技术可从复杂的背景中侦测出移动物体,其技术特征是将摄影机撷取的一连串影像放入内存中,把前几张影像平均作为背景影像而与目前影像相减得到移动物体,并利用两个摄影机及立体视觉的技术而计算出移动物体的距离。
在上述及其它诸多的移动物体侦测的公知技术中,影像对齐法和立体视觉光迹追踪法是两种普通常用的移动平台侦测移动物体的方法。如图1所示,影像对齐法是先估计两张影像(也就是前影像与后影像)的二维(2-dimensional)对齐参数,并将其中一张影像(如前影像)对齐至另一张影像(如后影像)。然后两张影像相减,求出其差异处后,再侦测出移动物体。此影像对齐技术中,运算速度快,并且只需一只摄影机。然而,得到的只有物体轮廓上的差异,并且当场景中的背景物体距离与摄影机过近时,可能会产生误差。
如图2所示,立体视觉光迹追踪法是先求取两张影像(也就是前影像与后影像)的光迹信息,搭配利用深度信息去估计平台移动参数,据此平台移动参数和深度信息去估计出背景光迹。然后将两张影像的光迹信息和此背景光迹相减,求出其差异处后,再侦测出移动物体。此立体视觉光迹追踪技术中,误差小,并且可求得实心物体。然而,运算速度慢,并且需要多只摄影机求取深度信息,影像平滑处也难以求得深度信息。
发明内容
本发明的目的在于提供一种利用光迹分析的移动物体侦测装置与方法,以克服公知技术中存在的缺陷。
为实现上述目的,本发明提供的利用光迹分析的移动物体侦测装置,该装置包含:
一影像撷取模块,持续撷取多个影像;
一影像校准模块,从该多个影像的每两相邻影像,称之为前影像与后影像,求出一校准后的前影像;
一对应像素搜寻模块,于该校准后,以像素为单位,通过光流追踪,找出该校准后的前后影像各对应像素的位移向量;以及
一移动物体筛选模块,整合该后影像中所有像素的该对应像素位移向量,并判定出该移动物体在画面内的位置。
所述的利用光迹分析的移动物体侦测装置,其中该影像校准模块包括:
一影像对应单元,根据输入的该每两相邻影像,建立两相邻画面的对应关系;
一校准参数估计单元,根据该两相邻画面的对应关系,估算出一校准转换参数;以及
一影像变形校准单元,根据该校准转换参数,求出一校准后的前影像。
所述的利用光迹分析的移动物体侦测装置,其中该对应像素搜寻模块包括:
一像素位移方向判定单元,光流追踪各像素在该两相邻画面间位移方向;以及
一像素位移距离估算单元,估算出该后影像中各像素的该对应像素位移向量。
所述的利用光迹分析的移动物体侦测装置,其中该移动物体筛选模块包括:
一位移方向投射转换单元,根据该对应像素位移向量,求出该后影像中各像素的一位移向量转换值;
一投射转换分离值决定单元,根据该后影像中各像素的该位移向量转换值,求出其标准差,来决定出该后影像中各像素的一投射分离值;以及
一移动物体单判定单元,根据该后影像中各像素的投射分离值,标示出该移动物体在画面内的位置。
所述的利用光迹分析的移动物体侦测装置,其中该前影像与后影像是从不同时间点撷取出来的。
所述的利用光迹分析的移动物体侦测装置,其中该影像撷取模块备有一摄影机来持续撷取多个影像。
所述的利用光迹分析的移动物体侦测装置,其中该后影像中各像素的对应像素位移向量是该后影像中各像素的光轨迹位移。
所述的利用光迹分析的移动物体侦测装置,其中当该摄影机在移动状态下或是在静止状态下时,该装置皆适用。
本发明提供的利用光迹分析的移动物体侦测方法,该方法包含下列步骤:
一摄影机持续撷取多个影像;
从该多个影像的每两相邻影像,称为前影像与后影像,估算出两相邻画面的一校准转换参数;
根据该校准转换参数,校准该每两相邻影像的背景区域;
以像素为单位,于校准后的该每两相邻影像进行光流追踪,找出该后影像中各像素的一个对应像素位移向量;以及
整合该后影像中所有像素的该对应像素位移向量,并判定出该移动物体在画面内的位置。
所述的利用光迹分析的移动物体侦测方法,其中该校准转换参数是经由先估算出该每两相邻画面的对应关系,再根据该两相邻画面对应关系而估算得出的。
所述的利用光迹分析的移动物体侦测方法,其中该光流追踪的进行通过一种影像式点对点光迹追踪技术,来提供相邻画面内以像素为单位的影像追踪结果,来找出该后影像中各像素的光轨迹位移。
所述的利用光迹分析的移动物体侦测方法,其中该整合该后影像中所有像素的该对应像素位移向量的步骤包括:
根据该对应像素位移向量,求出该后影像中各像素的一位移向量转换值;以及
根据该后影像中各像素的该位移向量转换值,来决定出该后影像中各像素的一投射分离值。
所述的利用光迹分析的移动物体侦测方法,其中该判定出该移动物体在画面内的位置的步骤包括:
根据该后影像中各像素的该投射分离值,标示出该移动物体在画面内的位置。
所述的利用光迹分析的移动物体侦测方法,其中该位移向量转换值是通过分析影像中各像素点的光迹距离而求出。
换言之,本发明的范例中可提供一种利用光迹分析的移动物体侦测装置与方法。本发明综合影像对齐法和立体视觉光迹追踪法的优点,并且由先补偿因摄影机移动所造成的画面移动,再搭配相邻画面移动向量分析,提供可应用于移动式或固定式摄影机平台的移动物体侦测技术。
利用光迹分析的移动物体侦测装置包含影像撷取模块(image capturingmodule)、影像校准模块(image aligning module)、对应像素搜寻模块(pixelmatching module)和移动物体筛选模块(moving object detection module)。
影像撷取模块在摄影机背景移动或静止的状态下,持续撷取影像,作为此利用光迹分析的移动物体侦测装置的输入组件。影像校准模块根据输入的相邻影像,估算出每两相邻画面的对应关系,据此相邻画面的对应关系估算出此两相邻影像的一校准转换参数,再根据此校准转换参数,校准此两相邻影像的背景区域,求出一校准后的前影像。完成前影像的校准后,对应像素搜寻模块即以像素为单位,追踪每像素在相邻画面间的对应像素位移向量。最后,移动物体筛选模块整合光迹追踪产生的信息,并判定出移动物体在画面内的位置。
本发明可将整个前景移动物体找出,并且能稳定且正确地侦测出前景的移动物体区域,不易受噪声误差的干扰。只需一只摄影机架设在移动式或固定式摄影机平台上即可实施本发明。
本发明有多种应用。例如,将本发明建构于智能型保全机器人(intelligent security robot)平台,可提供监控系统动态巡守支持,并根据欲加强的监控区域,交由保全机器人进行巡逻监控,并于移动物体事件发生时,自动发出保全警告,提供此智能型保全机器人侦测异常移动物体的能力。
附图说明
配合下列附图、实施例的详细说明及权利要求范围,将上述及本发明的其它目的与优点详述于后;其中:
图1为公知的移动物体侦测技术中,影像对齐法的一个示意图。
图2为公知的移动物体侦测技术中,立体视觉光迹追踪法的一个概要示意图。
图3是本发明的光迹分析的移动物体侦测装置的一个概要范例示意图。
图4是本发明中,实现影像校准模块的一个范例示意图。
图5是本发明中,实现对应像素搜寻模块的一个范例示意图。
图6是本发明中,实现移动物体筛选模块的一个范例示意图。
图7是在摄影机移动的状况下,使用仿射运动模型,估算出前后影像的变形参数的一个范例示意图。
图8a、b是利用图7中估算出的变形参数将前后影像的背景对齐的一个范例示意图。
图9a、b是将图8中背景对齐过的前后影像进行光迹追踪的一个范例示意图。
图10a、b是筛选出移动物体的一个范例示意图。
图11说明图10中筛选出此移动物体的所使用式子的一个范例。
具体实施方式
图3是本发明的利用光迹分析的移动物体侦测装置的一个概要范例示意图。参考图3,此利用光迹分析的移动物体侦测装置300包含一影像撷取模块301、一影像校准模块303、一对应像素搜寻模块305和一移动物体筛选模块307。
影像撷取模块301持续撷取多个影像,例如,从一监控场景里,在一摄影机310移动或静止的状态下,来撷取多个影像。影像撷取模块301作为此利用光迹分析的移动物体侦测装置300的输入组件。影像校准模块303从输入的每两相邻影像,称之为前影像3011与后影像3012,求出一校准后的前影像3031。完成此影像校准后,对应像素搜寻模块305以像素为单位,通过光流(optical flow)追踪,找出后影像3012中各像素的光轨迹位移,称之为对应像素位移向量3051。最后,移动物体筛选模块307整合后影像3012中所有像素的对应像素位移向量3051,判定出移动物体在画面内的位置3071。
有了影像撷取模块301从不同时间点撷取出来的每两相邻影像(前影像3011与后影像3012)后,本发明再通过「影像校准」与「对应像素搜寻」,来达成利用单摄影机进行「移动摄影机的移动物体侦测」。其实施的范例可通过多阶层移动模块估算技术和光迹追踪技术来达成。以下进一步说明本发明中影像校准模块303、对应像素搜寻模块305和移动物体筛选模块307的细部结构和运作。
图4是本发明中,实现影像校准模块303的一个范例的示意图。参考图4,影像校准模块303可由影像对应单元403a、校准参数估计单元403b、和影像变形校准单元403c来实现。影像对应单元403a根据输入的每两相邻的前影像3011与后影像3012,先建立两相邻画面的对应关系。此两相邻画面的对应关系描述着两相邻画面的影像对应关系4031。根据此两相邻画面的对应关系4031,校准参数估计单元403b可通过如多阶层移动模块(multi-resolution estimation of parametric motion model)估算技术,估算出一校准转换参数4032。由此校准转换参数4032可估算出一前后影像的变形,使两相邻画面的差异达到最小。根据此校准转换参数4032,影像变形校准单元403c可套用一转换矩阵来完成影像变形与校准,求出一校准后的前影像3031。
多阶层移动模块估算技术包括选定运动模型与目标方程式,以及最佳化求解估算。此技术先利用高斯低通滤波器建立多阶层影像金字塔,再通过增值估算(incremental estimation)与逐级估算(coarse-to-fine estimation),逼近出相邻画面最适当的运动补偿参数。
当使用二维多项式运动模型(2D polynomial motion model)时,摄影机的运动参数与画面的关系可经由矩阵来表示。在此矩阵表示法下,常数(constant)、仿射(affine)、二次方程(quadratic)运动模型皆可使用。不失一般性,以下使用仿射运动模型为例,说明本发明如何实现影像校准。
先使用高斯低通滤波器建立多阶层影像金字塔,再利用多阶层最小平方根估算出前后影像的变形参数A=[a1,a2,..,a6],根据A,可利用下列式子求得前影像中点i的变形位移
Figure S071A7657820070601D000111
u i w = a 1 + a 2 x i + a 3 y i ,
v i w = a 4 + a 5 x i + a 6 y i ,
其中,矩阵A是由所选的仿射运动模型决定的转换矩阵,而(xi,yi)代表一个点的空间影像位置(spatial image position of a point)。
图5是本发明中,实现对应像素搜寻模块305的一个范例示意图。参考图5,对应像素搜寻模块305可由像素位移方向判定单元505a和像素位移距离估算单元505b来实现。当影像校准模块303求出校准后的前影像3031后,像素位移方向判定单元505a即以像素为单位,根据后影像3012和校准后的前影像3031,光流追踪每像素在两相邻画面间位移方向,称之为像素位移方向5051。此像素位移方向5051包括该像素在两相邻画面间水平与垂直位移方向。像素位移距离估算单元505b根据每像素位移方向5051,估算出后影像中每像素的光轨迹位移,即对应像素位移向量3051。对应像素位移向量3051包含像素点在后影像中水平与垂直方向的移动速度。
本发明中,对应像素搜寻模块305可通过影像式点对点(piecewise)光迹追踪技术,来提供相邻画面内以像素为单位的影像追踪结果,由数据维持(data conversation)与空间连贯(spatial coherence)的假设,找寻最匹配的相邻画面像素对应点。本发明实现对应像素搜寻模块305的范例中,将相邻画面内以像素为单位的影像追踪结果带入光迹追踪技术,并且将下列的数据维持及空间连贯的公式最小化,得到后影像中各像素点的光轨迹位移。以下进一步说明此数据维持与空间连贯的假设。
资料维持的假设意指:时间为t的影像内(Xt,Yt)坐标的像素值应该和时间t+1的影像内(Xt+dx,Yt+dy)坐标的相对应像素值相同。此又可称为常数亮度假设(brightness constancy assumption)。这个假设可定义如下:
I(x,y,t)=I(x+uδt,y+vδt,t+δt),
其中,(u,v)表示水平与垂直方向的影像移动速度,δt则是极小的一段时间。而最直接使用常数亮度假设的方法就是使用最小平方根差值(sum-of-squared differences,SSD)的方式。换句话说,假设极小时间δt内,影像亮度变化在各像素附近区间内接近于固定常数。由最小化下列式子,即可得到正确的像素水平与垂直方向移动速度。
E D ( u , v ) = Σ ( x , y ) ∈ R [ I ( x , y , t ) - I ( x + uδt , y + vδt , t + δt ) ] 2 .
空间连贯的假设意指:每一像素相邻区域乃隶属于相同表面(surface)。在此假设下,平滑刚性物体(smooth rigid object)上的区域影像变化幅度不大,故可经由套用光滑限制(smooth constraint)在邻近区域的光迹变化上,执行空间连贯的假设。这个假设可定义如下:
E s ( u , v ) = u x 2 + u y 2 + v x 2 + v y 2 .
由方程式E(u,v)=ED(u,v)+λES(u,v),并搭配数据维持与空间连贯的假设与利用λ定义两假设的权重比例,通过最小化算法,即可逼近出最正确的各像素在水平与垂直方向的移动速度。
图6是本发明中,实现移动物体筛选模块307的一个范例示意图。参考图6,移动物体筛选模块307可由位移方向投射转换单元607a、投射转换分离值决定单元607b和移动物体单判定单元607c来实现。当对应像素搜寻模块305找出后影像中各像素的对应像素位移向量3051后,位移方向投射转换单元607a根据此对应像素位移向量3051,求出后影像中各像素的位移向量转换值6071。投射转换分离值决定单元607b根据后影像中各像素的位移向量转换值6071,求出其标准差σ,来决定出后影像中各像素的投射分离值6072。根据后影像中各像素的投射分离值6072,移动物体单判定单元607c就可标示出移动物体在画面内的位置3071。标示出的移动物体在画面内的位置点所形成的区域就是移动物体的前景(foreground)。
本发明中,位移方向投射转换单元607a可先求出各像素点i的光迹距离 d i = ( u i o ) 2 + ( v i o ) 2 , 再以半高斯模型描述影像中所有点的光迹距离,也就是位移向量转换值6071,然后求出其标准差(standard deviation)σ。而移动物体筛选模块307可以下列式子来筛选出移动物体点oi
Figure S071A7657820070601D000132
其中dmin为移动向量最小值,可由实验得知。
综上可看出,本发明先经由相邻画面分析,取得画面补偿参数,用以还原因摄影机移动所造成的背景画面变换。然后于补偿完成的相邻画面内,追踪相对应像素偏移。在对应像素追踪中,由将光迹追踪产生的信息进行整合,可标示出前景的移动区块,再消除过小的噪声,进而侦测移动物体在画面内的发生区域。
由于本发明将前时间撷取的影像经对齐后与后时间撷取的影像进行像素对应与追踪,如此不仅可以完整标示出移动物体全部区域,同时,只有正确移动物体区域才会产生大范围的移动结果,非常容易与未完全对齐的画面噪声区别,故不须使用两只摄影机来减低误差,不仅能降低成本容易安装,并且能应用于移动式或固定式摄影机平台的移动物体侦测,换言之,摄影机移动或静止的状态下,皆可应用本发明来侦测移动物体。
不失一般性,以下的图7至图11是以摄影机移动的状况为例,来进一步说明本发明的实施结果。图7是在摄影机移动的状况下,使用仿射运动模型,估算出前后影像的变形参数A的一个范例示意图。图7中,左图与右图分别是摄影机移动的状况下,所拍摄的前影像与后影像,其中斜线部分表示该影像的背景区域。前影像与后影像中的笑脸是该影像的前景移动物体。因为摄影机的移动,影像中的前景和背景区域在画面内都发生移动,所以可看出前影像内的笑脸(smiling fce)出现在后影像内的笑脸的右上方,而前影像内的背景区域的长方形框出现在后影像内的背景区域的长方形框的右方。由计算变形参数A,欲对前后影像的背景区域作修正对齐。
图8是利用图7中估算出的变形参数A,将前后影像的背景对齐的一个范例示意图。利用影像校准模块303完成校准后,可看出背景区域的长方形框已对齐在两影像内相同的位置了。如此,可使不同位置撷取的影像有共同的影像基底。
图9是将图8中背景对齐过的前后影像进行光迹追踪的一个范例示意图。画面内的任一像素i进行光迹追踪后,得到x轴与y轴方向的向量,如右图中所示的箭头就是此向量。如此,可找出相邻画面内因为前景移动所造成的未对齐区域,以标示出移动物体区域。
图10是筛选出移动物体的一个范例示意图。图10中,左图是经过对应像素搜寻模块305计算后,找出后影像中各像素的光轨迹位移,其中的笑脸是位移量大的光迹追踪区域,其余是位移量不大的光迹追踪区域。右图中标号1071所指区域是左图经过移动物体筛选模块307分离出的前景移动物体发生区域。
图11说明图10中筛选出此移动物体的所使用式子的一个范例。纵轴p代表高斯模型的机率分配,横轴d代表影像中像素点的光迹追踪距离,dmin是设定的移动向量最小值。
从图7至图11的例子中可清楚看出本发明提供的利用光迹分析的移动物体侦测装置与方法的可实施性与稳定的效果,
本发明所描述的架构也可应用于智能型车辆设计,提供未来车辆自动侦测可视范围内的移动行人或物体,减少因为人为疏失误判所造成的损失。另外,本发明也可用在消除室外监控摄影机所造成的大画面震动情形,应用本发明不会受到震动的影响,而得到的是稳定的监控画面,并且是稳定而正确的移动物体侦测结果。
以上所述,仅为发明的实施范例而已,当不能依此限定本发明实施的范围。即大凡以本发明所作的均等变化与修饰,皆应仍属本发明的权利要求范围内。

Claims (13)

1.一种利用光迹分析的移动物体侦测装置,该装置包含:
一影像撷取模块,持续撷取多个影像;
一影像校准模块,从该多个影像的每两相邻影像,称之为前影像与后影像,求出一校准后的前影像;
该影像校准模块包括:
一影像对应单元,根据输入的该每两相邻影像,建立两相邻画面的对应关系;
一校准参数估计单元,根据该两相邻画面的对应关系,估算出一校准转换参数;以及
一影像变形校准单元,根据该校准转换参数,求出一校准后的前影像;
一对应像素搜寻模块,于该校准后,以像素为单位,通过光流追踪,找出该校准后的前后影像各对应像素的位移向量;以及
一移动物体筛选模块,整合该后影像中所有像素的该对应像素位移向量,并判定出该移动物体在画面内的位置。
2.如权利要求1所述的利用光迹分析的移动物体侦测装置,其中,该对应像素搜寻模块包括:
一像素位移方向判定单元,光流追踪各像素在该每两相邻影像间位移方向;以及
一像素位移距离估算单元,估算出该后影像中各像素的该对应像素位移向量。
3.如权利要求1所述的利用光迹分析的移动物体侦测装置,其中,该移动物体筛选模块包括:
一位移方向投射转换单元,根据该对应像素位移向量,求出该后影像中各像素的一位移向量转换值;
一投射转换分离值决定单元,根据该后影像中各像素的该位移向量转换值,求出该位移向量转换值的标准差,来决定出该后影像中各像素的一投射分离值;以及
一移动物体单判定单元,根据该后影像中各像素的投射分离值,标示出该移动物体在画面内的位置。
4.如权利要求1所述的利用光迹分析的移动物体侦测装置,其中,该前影像与后影像是从不同时间点撷取出来的。
5.如权利要求1所述的利用光迹分析的移动物体侦测装置,其中,该影像撷取模块备有一摄影机来持续撷取多个影像。
6.如权利要求1所述的利用光迹分析的移动物体侦测装置,其中,该后影像中各像素的对应像素位移向量是该后影像中各像素的光轨迹位移。
7.如权利要求5所述的利用光迹分析的移动物体侦测装置,其中,当该摄影机在移动状态下或是在静止状态下时,该装置皆适用。
8.一种利用光迹分析的移动物体侦测方法,该方法包含下列步骤:
一摄影机持续撷取多个影像;
从该多个影像的每两相邻影像,称为前影像与后影像,估算出两相邻画面的一校准转换参数;
根据该校准转换参数,校准该每两相邻影像的背景区域;
以像素为单位,于校准后的该每两相邻影像进行光流追踪,找出该后影像中各像素的一个对应像素位移向量;以及
整合该后影像中所有像素的该对应像素位移向量,并判定出该移动物体在画面内的位置。
9.如权利要求8所述的利用光迹分析的移动物体侦测方法,其中,该校准转换参数是经由先估算出该每两相邻画面的对应关系,再根据该两相邻画面对应关系而估算得出的。
10.如权利要求8所述的利用光迹分析的移动物体侦测方法,其中,该光流追踪的进行通过一种影像式点对点光迹追踪技术,来提供相邻画面内以像素为单位的影像追踪结果,来找出该后影像中各像素的光轨迹位移。
11.如权利要求8所述的利用光迹分析的移动物体侦测方法,其中,该整合该后影像中所有像素的该对应像素位移向量的步骤包括:
根据该对应像素位移向量,求出该后影像中各像素的一位移向量转换值;以及
根据该后影像中各像素的该位移向量转换值,来决定出该后影像中各像素的一投射分离值。
12.如权利要求11所述的利用光迹分析的移动物体侦测方法,其中,该判定出该移动物体在画面内的位置的步骤包括:
根据该后影像中各像素的该投射分离值,标示出该移动物体在画面内的位置。
13.如权利要求11所述的利用光迹分析的移动物体侦测方法,其中,该位移向量转换值是通过分析影像中各像素点的光迹距离而求出。
CN2007101076578A 2007-05-23 2007-05-23 利用光迹分析的移动物体侦测装置与方法 Active CN101312524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007101076578A CN101312524B (zh) 2007-05-23 2007-05-23 利用光迹分析的移动物体侦测装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007101076578A CN101312524B (zh) 2007-05-23 2007-05-23 利用光迹分析的移动物体侦测装置与方法

Publications (2)

Publication Number Publication Date
CN101312524A CN101312524A (zh) 2008-11-26
CN101312524B true CN101312524B (zh) 2010-06-23

Family

ID=40100921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101076578A Active CN101312524B (zh) 2007-05-23 2007-05-23 利用光迹分析的移动物体侦测装置与方法

Country Status (1)

Country Link
CN (1) CN101312524B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117116B (zh) * 2009-12-30 2013-02-13 微盟电子(昆山)有限公司 运动物体识别方法及基于运动物体识别的指令输入方法
CN101833759B (zh) * 2010-04-01 2012-05-30 复旦大学 一种基于连续视频的机器人场景深度判别方法
CN101834981B (zh) * 2010-05-04 2011-11-23 崔志明 基于在线聚类的视频背景提取方法
CN102110297B (zh) * 2011-03-02 2012-10-10 无锡慧眼电子科技有限公司 一种基于累积光流和双背景滤波的移动物体的探测方法
TWI482502B (zh) * 2011-04-19 2015-04-21 Etron Technology Inc 影像互動裝置、互動式影像操作系統、及相關互動式影像操作方法
TWI494900B (zh) * 2013-10-30 2015-08-01 Nat Univ Chung Hsing 即時影像追蹤方法
CN104637043B (zh) * 2013-11-08 2017-12-05 株式会社理光 支持像素选择方法、装置、视差值确定方法
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术(北京)有限公司 图像分割方法和装置
US10365370B2 (en) * 2016-10-31 2019-07-30 Timothy Webster Wear tolerant hydraulic / pneumatic piston position sensing using optical sensors
CN107756376A (zh) * 2017-10-18 2018-03-06 江西制造职业技术学院 一种应用人形机器人的空间站维修与维护方法
CN108961342B (zh) * 2018-05-02 2020-12-15 珠海市一微半导体有限公司 一种光流传感器的校准方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
CN1381025A (zh) * 2000-05-18 2002-11-20 皇家菲利浦电子有限公司 前景/背景检测装置
CN1614623A (zh) * 2003-11-07 2005-05-11 中华电信股份有限公司 一种检测影像中物体移动的方法
CN1848949A (zh) * 2004-12-21 2006-10-18 三星电子株式会社 在视频监视系统中提取对象的设备和方法
CN1920886A (zh) * 2006-09-14 2007-02-28 浙江大学 基于视频流的三维动态人脸表情建模方法
CN1963867A (zh) * 2002-05-09 2007-05-16 松下电器产业株式会社 监视装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
CN1381025A (zh) * 2000-05-18 2002-11-20 皇家菲利浦电子有限公司 前景/背景检测装置
CN1963867A (zh) * 2002-05-09 2007-05-16 松下电器产业株式会社 监视装置
CN1614623A (zh) * 2003-11-07 2005-05-11 中华电信股份有限公司 一种检测影像中物体移动的方法
CN1848949A (zh) * 2004-12-21 2006-10-18 三星电子株式会社 在视频监视系统中提取对象的设备和方法
CN1920886A (zh) * 2006-09-14 2007-02-28 浙江大学 基于视频流的三维动态人脸表情建模方法

Also Published As

Publication number Publication date
CN101312524A (zh) 2008-11-26

Similar Documents

Publication Publication Date Title
CN101312524B (zh) 利用光迹分析的移动物体侦测装置与方法
US8189051B2 (en) Moving object detection apparatus and method by using optical flow analysis
Mason et al. Using histograms to detect and track objects in color video
CN111429484B (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN103325112B (zh) 动态场景中运动目标快速检测方法
EP2426642B1 (en) Method, device and system for motion detection
Kang et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax
CN105578034A (zh) 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
CN109684996A (zh) 基于视频的实时车辆进出识别方法
US20090297036A1 (en) Object detection on a pixel plane in a digital image sequence
CN101344965A (zh) 基于双目摄像的跟踪系统
El Bouziady et al. Vehicle speed estimation using extracted SURF features from stereo images
CN102111530B (zh) 移动物体检测装置与方法
US20110074927A1 (en) Method for determining ego-motion of moving platform and detection system
CN112329747A (zh) 基于视频识别和深度学习的车辆参数检测方法及相关装置
Shukla et al. Speed determination of moving vehicles using Lucas-Kanade algorithm
Fernando et al. Identification of moving obstacles with pyramidal Lucas Kanade optical flow and k means clustering
Nigam et al. Curvelet transform-based technique for tracking of moving objects
CN115144828B (zh) 一种智能汽车多传感器时空融合的自动在线标定方法
Chebli et al. Pedestrian detection based on background compensation with block-matching algorithm
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN115615424A (zh) 一种起重机惯性视觉组合定位方法
US20110085026A1 (en) Detection method and detection system of moving object
Dana et al. Registration of visible and infrared images
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant