CN1131439C - 目标跟踪方法及其设备 - Google Patents

目标跟踪方法及其设备 Download PDF

Info

Publication number
CN1131439C
CN1131439C CN97123072A CN97123072A CN1131439C CN 1131439 C CN1131439 C CN 1131439C CN 97123072 A CN97123072 A CN 97123072A CN 97123072 A CN97123072 A CN 97123072A CN 1131439 C CN1131439 C CN 1131439C
Authority
CN
China
Prior art keywords
frame
pixel
rectangular door
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN97123072A
Other languages
English (en)
Other versions
CN1201910A (zh
Inventor
千仁瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Han Hua System Co., Ltd.
Original Assignee
Samsung Thales Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Thales Co Ltd filed Critical Samsung Thales Co Ltd
Publication of CN1201910A publication Critical patent/CN1201910A/zh
Application granted granted Critical
Publication of CN1131439C publication Critical patent/CN1131439C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

在采用块匹配算法的目标跟踪方法中,在计算中排除相继帧中的目标、背景或前景区域内共同包含着的象素从而仅考虑转变的象素。首先,在第一帧的图象中形成实质上包含着要跟踪的目标的第一矩形门。并且,在时间上后继于第一帧的第二帧的图象中形成第二矩形门。然后,辨别出共同包含在第一和第二矩形门中的移动区内象素,并且只利用移动区的象素计算第一和第二矩形门之间的块匹配等级。然后,在预定的区域里改变第二矩形门,并计算其块匹配等级等。

Description

目标跟踪方法及其设备
技术领域
本发明涉及目标跟踪,尤其涉及一种采用块匹配算法跟踪图象中的一个目标的方法以及用于该方法的设备。
背景技术
通常,在雷达信号处理等中所采用的自动目标跟踪方法里,自动地跟踪目标的运动,以便根据跟踪数据做出判定。
自动目标跟踪可以看成类似于视频设备中的图象压缩方法。但是,在自动目标跟踪中只关心预定目标的运动,而在图象压缩中要考虑图象中的所有物体。
一种常规的自动目标跟踪方法是利用物体的重心的心迹线跟踪方法。在心迹线跟踪方法中,利用预定的阈值比较每个象素的图象信号值,根据比较的结果把象素划分为目标象素和背景象素,从而计算出对应于目标的象素的重心。若B(h,v,m)表示二进制图象信号其中对应于目标的象素的值为1并且对应于背景的象素的值为0,则目标的重心表示为: C h = ΣB ( h , v , m ) × h ΣB ( h , v , m ) , C v = ΣB ( h , v , m ) × v ΣB ( h , v , m ) - - - - ( 1 )
在这种心迹线跟踪方法中,如果把背景象素判定为目标象素或者反之,会难以准确地计算目标的重心。但是,把图象信号里的象素区分为目标象素和背景象素是困难的,因为图象信号一般都含有噪声而且背景会改变。因此,在应用心迹线跟踪方法时,难以反复地和准确地跟踪目标。
另一种常规的自动目标跟踪方法是相关系数跟踪方法。此时,从二个相继帧之间的各个象素的时间上/空间上密度差的相关性计算运动目标象素的位移。
即,当I(h,v,m)表示第m帧中象素(h,v)的密度函数值时,在象素单元中表示密度差的水平/垂直梯度和时间梯度表达为: ▿ H ( h , v , m ) = I ( h + 1 , v , m - 1 ) - I ( h - 1 , v , m - 1 ) 2 ▿ V ( h , v , m ) = I ( h , v + 1 , m - 1 ) - I ( h , v - 1 , m - 1 ) 2 - - - - ( 2 )
K(h,v,m)=I(h,v,m)-I(h,v,m-1)
利用这些梯度的相关系数,第(k-1)帧和第k帧之间水平方向和垂直方向上运动目标的位移Dh和Dv分别方程式(3)表达: D h = S hv S tv - S vv S th S vv S hh - S hv 2 , D v = S hv S th - S hh S v S vv S hh - S hv 2 - - - - ( 3 )
其中Sxy=∑X(h,v,m)Y(h,v,m)
在上述相关系数跟踪方法中,时间梯度是通过泰勒级数展开利用空间梯度表示的。但是,对于高速运动的目标在计算泰勒级数展开忽略掉高阶项的情况下跟踪性能变差。例如,当目标的速度为每帧2象素或更大时,难以跟踪该目标。此外,当图象包括背景时,由于背景产生的梯度跟踪性能变差。
再一种自动目标跟踪方法是块匹配算法,在该方法中,在一个帧中形成一个包含着目标的样板,并搜索后继的帧以确定在该后继帧中包含在前一帧的样板里的信息位于何处。出于这个目的,在相继帧中的预定搜索区内序贯地构成候补样板以便计算每个候选样板和前一帧中的样板之间的相似性。从而,把显示出最大相似性的候选样板和前一帧的样板之间的位置差确定为目标的位移。
相似性的一些量度是归一化相关系数、平均绝对差(MAD)、均方差(MSD)和归一化不变矩方程。例如,样板之间的MAD按下式计算: Q ( d m ) = Σ | I ( s , m ) - I ( s + d m , m - 1 ) | M - - - - ( 4 )
其中S代表二维位置向量,dm表示目标的二维期待位移,以及M代表象素的总数量。这里,产生最小MAD的期待位移dm被确定为目标的位移。
甚至当图象信号包括噪声时块匹配算法仍显示稳定的性能。但是,在图象信号包括复杂的背景分量的情况下,因为背景的密度函数值间的差的影响增大,性能变差。而且,因为涉及到大量的计算,难以实现实时系统。
发明内容
为解决上面的问题,本发明的一个目的是提供一种依靠块匹配算法跟踪图象中的目标的方法,该方法显示出改善的噪声性能及稳定的跟踪性能并且减少计算时间,从而可实现实时系统。
本发明的另一个目的是提供一种实现上述跟踪方法的用于跟踪图象中的目标的设备。
在一种用于跟踪目标以达到上述目的中的一个目的的方法中,在一个第一帧中形成一个实质上包括着要跟踪的目标的第一矩形门,并且在时间上序贯在第一帧之后的第二帧的图象中形成第二矩形门。
接着,识别第一和第二矩形门的移动区中共同包含的象素并且通过只利用移动区中的象素计算第一矩形门和第二矩形门中的块匹配等级。
然后,在预定区域内改变第二矩形门,并计算块匹配等级。
相继地,比较各块匹配等级值以确定产生最大块匹配等级值的第二矩形门,并把第一矩形门和产生最大块匹配等级值的第二矩形门之间的位置差确定为目标的运动向量。
为达到上述目的中的另一个目的,提供了一种目标跟踪设备。
在该设备中,帧存储器接收第一帧的输入图象信号,按一帧的周期缓冲该信号并且输出延迟一个帧周期的第二帧的图象信号。
图象差生成器接收第一帧和第二帧的图象信号,生成实质上包含着第一帧的图象中要跟踪的目标的第一矩形门,在第二帧的图象信号中形成第二矩形门,并且计算第一和第二矩形门之间的图象差;
移动区生成器根据从所述图象差生成器输出的图象差通过分别从第一矩形门和第二矩形门排除包括在目标区域、背景区域或前景区域的象素生成第一和第二运动样板。
块匹配部件计算第一运动样板和多个第二运动样板之间的块匹配等级,确定一个产生最大块匹配等级值的第二运动样板,并且确定和产生最大块匹配等级值的第二运动样板对应的第二矩形门距离第一矩形门的空间位移作为目标的运动向量。
附图说明
通过参照附图详细说明本发明的最佳实施方式,本发明的上述目的和优点将会变得更清晰,附图是:
图1A示例表示在第(m-1)帧中的一个门内所包括的一条水平线的图象信号;
图1B表示在目标的实际位移为’d’以及把一个门固定在其在第(m-1)帧的位置上的情况下在第m帧的一个门内的一条水平线的图象信号,该图象信号对应于图1A的图象信号;
图1C表示当门以期待位移量dm移动时在位置上和图1A的图象信号对应的第m帧的一个门内的一条水平线的图象信号;
图2是根据本发明的目标跟踪设备的一种实施方式的方框图;
图3是图2的移动区生成器中的一个滤波器的电路图;
图4是一个流程图,说明根据本发明的目标跟踪方法的一种
实施方式;以及
图5表示本发明中第一和第二移动样板的形成。
具体实施方式
在本发明的最佳实施方式中,假定描述图象中的象素密度的密度函数I(s,m)是由方程式5通过三项的加权和描述的:O(s,m)表示和目标对应的区,B(s,m)表示背景区,以及F(s,m)表示前景区。这里,背景指的是围绕着目标的图象部分,而前景指的是遮住目标的一些部分的部分,例如混杂信号。
I(s,m)=F(s)+[1-UF(s)]O(s,m)+[1-UF(s)][1-UO(s,m)]B(s)  (5)
在该式中,UF(s)和UO(s,m)是单位阶跃函数,当F(s)和O(s,m)具有非零的密度值时它们的值为1否则值为0。此外,变量S代表二维空间坐标即位置向量而变量m代表帧索引。同时,还假定背景和前景与目标的运动无关处于固定的位置上,从而帧索引m不作为分量。
在式5中,在位置向量S位于前景区域中的情况下,第二和第三项变为零,只有第一项可具有非零值。另外,在位置向量S位于目标区域中的情况下,第一和第三项变为零,只有第二项可具有非零值。类似地,在位置向量S表示背景的情况下,第一和第二项变为零,只有第三项可具有非零值。
从而,这种表示使得有可能把图象中各象素的密度用前景、目标和背景区域的函数来表达,并反映当目标在图象中移动时每个区域对目标跟踪的影响。
如果在第(m-1)帧和第m帧之间一个物体的移动为d,在第m帧中目标区域的密度函数表达为如下:
O(s,m)=O(s+d,m-1)        (6)
若图象中没有前景,方程式5简化表示为:
I(s,m)=O(s,m)+[1-UO(s,m)]B(s)        (7)
从而,对于一个门内的各象素,平均绝对差(MAD)表达为:
这里,利用方程式6用第m帧的密度函数I(s,m)替代第(m-1)帧的密度函数I(s,m-1)。
在式8中,当Q(dm)为最小时,期待位移dm变为实际位移。此时,式8将简化成式9: Q ( d m ) = Σ | [ 1 - UO ( s + d , m - 1 ) ] [ B ( s ) - B ( s + d ) ] | M - - - - ( 9 )
此外,最好使该值变为更小,即接近于零。
注意在期待位移dm等于实际位移d的情况下在式9中I(s,m)和I(s,m-1)之间的平均绝对差变为背景区域的密度差。从而,若背景区域是复杂的,即使期待位移dm等于实际位移d,背景区域差和平均绝对差的总幅值变大,这会恶化跟踪性能。因此,为了提高跟踪性能,需要从对平均绝对差的计算中排除掉背景区域。
同时,在如下面将参照图1A至1C说明的当期待位移dm不同于实际d位移时情况也是类似的。在这种情况下应使用式8的完整表达。
图1A示范地表示在第(m-1)帧的一个门内包括的一条水平线的图象信号。图1B表示在目标的实际位移的d以及把一个门固定在其第(m-1)帧中的位置上的情况下第m帧中位置和图1A的门对应的门内的一条水平线的图象信号。此外,图1C表示当门按期待位移量dm移动时第m帧的位置和图1A的门对应的一个门内的一条水平线的图象信号。
如图1B中所示,当第m帧和第m-1帧之间图象信号上的门固定时,只有目标信号在帧之间移动它的相对位置,而两个帧的背景信号保持相同。但是,如图1C中所示,如果m帧和m-1帧之间在图象信号间的目标期待位移为dm时,背景信号和目标信号都在帧之间在门内移动位置。
从而,在考虑第m-1帧内一个象素的密度函数I(s,m-1)和第m帧内的密度函数I(s,m)的差时,可把图象中的所有象素分为三类:一个Rbb区,其中包含属于两个帧内公共背景区域的象素;Rtb区,其中包含属于一帧的目标区域但又属于另一帧的背景区域的象素;以及Rtt区,其中包含属于两个帧的公共目标区域的象素。
如上面所说明,随着期待位移dm变为接近实际位移d,方程式8的运算结果变小。
但是,对于Rbb区,在式8的运算结果上背景区域的复杂性比起期待位移dm的准确性具有更为关键的影响。对于Rtt区,如果我们假定目标表面的密度是不变的,计算值和期待位移dm无关几乎是常数。同时,对Rtb区,取决于期待位移dm离实际位移d多近,计算值迅速变化。另外,在Rtb区中,若期待位移dm接近实际位移d,计算值迅速减小。因此,如果在式8的计算中只考虑Rtb区,可以提高跟踪性能。
在本发明中,在应用块匹配算法中只有Rtb区用于计算。由目标的运动而造成的Rtb区在后面称为移动区。
同时,跟踪性能还可能由于前景区而恶化。在图象中存在前景区的情况下,可按如下表达方程式5:
Figure C9712307200121
这里,通过利用式6第m-1帧内一个象素的密度函数I(s,m-1)用第m帧内一个象素的密度函数I(s,m)替代。
按照常规的块匹配方法,即使在期待位移dm准确地等于实际位移d的情况下,由于前景区域的作用I(s,d)和I(s+d,m-1)之间的绝对差可能较大。因此,跟踪性能可能由于前景区域变差。但是,当只用图象帧的移动区计算帧之间的相似性时,可以防止由于前景区域造成的跟踪性能的恶化,因为在计算中不包括前景区域。
下面,将参照附图说明本发明的最佳实施方式。
图2是根据本发明的目标跟踪设备的方框图。下面分别用h和v代表水平及垂直坐标。
图2的设备包括帧存储器10、图象差生成器20、移动区生成器30和块匹配部件40。
帧存储器10接收序贯地输入的数字图象信号并对这些信号按帧的单位缓冲以输出延迟一帧的图象信号。从而,当在把第m帧的数字图象信号输入到帧存储器10时,从帧存储器10输出第m-1帧的图象信号。
图象差生成器20接收第m-1帧和第m帧的图象信号。接着,图象差生成器20生成实质上包围着在第m-1帧的图象内要跟踪的目标的第一短形门,并在第m帧的图象内生成第二矩形门。在本实施方式中,在第m-1帧为连续输入帧的起始帧的情况下,用户可以通过利用未示出的输入部件指定门区的边界生成第一矩形门从而实际上把要跟踪的目标包括在该门内。鼠标器或者轨迹球充当输入部件。
但是,在该实施方式的一种替代方式中,即本发明的另一种实施方式中,可以自动地根据计算机程序的预测算法或存储在数据库内的信息生成起始输入帧的第一矩形门。例如,在采用雷达的飞行跟踪领域中,可以这样生成第一矩形门从而在飞机或飞行计划在航空基地的附近出现时该门覆盖着包括该基地的预定区域。
在为起始帧的输入图象生成第一矩形门的情况下,可在第一矩形门的相同位置生成第二矩形门,或者顺序地在离第一矩形门的位置的预定范围的搜索区域里生成第二矩形门。对于以后的帧,相对于第一矩形门的位置偏离预定级中估计出的目标的移动向量的位置处的预定范围的搜索区域内顺序地生成第二矩形门。
帧间差生成器20为每个象素生成帧间差FD。该帧间差是按如下通过当前帧和先前帧之间的象素值中的绝对差计算的:
FD(h,v)=|I(h,V,m)-I(h,v,m-1)|    (11)
这里,水平和垂直坐标h和v表示矩形门中的而不是整个帧中的坐标。
如果假定在目标区域和背景区或前景区之间的密度函数值中存在大的差异并且连续帧之间的目标移动向量或由本设备计算出的估计移动向量不大时,帧间差FD可用作把象素划分到Rbb区、Rtb区及Rtt区的一种指示。
移动区生成器30根据帧间差生成器20输出的帧间差从第一和第二矩形门中除去都属于第m和第m-1帧内的目标区域的象素。而且,移动区生成器从第一和第二矩形门中除去两帧中都属于背景区域或者都属于前景区域的象素。结果,从目标区域改变到背景区域的象素或者反之的象素以及从目标区域改变到前景区域的象素或者反之的象素保留在矩形门中。在本发明中把这样的象素集称为第一和第二移动样板。
除去操作是通过确定每个象素的帧间差是否大于预定的阈值FDth进行的。即,用于指示一个象素包含在移动样板中不从矩形门中除去的帧间差指标(FDI)按如下得到:
FDI(hv,)=0,若FD(hv,)≥FDth
           1,其它             (12)
在式12中,阈值确定为0和最大值之间的一个适当值。若一个象素的帧间差指标FDI为零该象素包含在第一和第二移动样板中。另一方面,如果它的帧间差指标为1则该象素从第一和第二移动样板中除去。
图5示例地表示本发明中第一和第二移动样板的形成。
首先,如图5A中所示形成包含着目标的第一矩形门,并且如图5B中所示形成第二矩形门。然后,如图5C中所示,只选择出第一和第二矩形门中从目标区域改变为前景或背景区域的部分以及反之的部分生成移动样板。在图5C中剖面线部分分别表示第一和第二矩形门中的第一和第二移动样板。
同时,在本实施方式中,移动区生成器30包括一个滤波器,用于除去由于来自移动样板的脉冲噪声而留在第一和第二移动样板中的象素。
图3表示在本实施方式中的移动区生成器30内包括的一个滤波器。8输入端的“与”门31接收围绕着当前象素的8个相邻象素的帧间差指标以进行“与”运算。“或”门32从其一个输入端接收当前象素的帧间差指标FDI(h,v)并从另一个输入端接收“与”门31的输出数据,根据这些信号进行“或”运算,并且运算结果输出为移动指标MI(h,v,m)。
从而,在当前象素的帧间差指标FDI(h,v)具有的值为1从而从移动样板中除去该当前的象素的情况下,移动指标MI(h,v,m)的值也为1以指示必须从移动样板中除去这个当前象素。
另外,在帧间差指标FDI(hv,)具有为0的值从而移动样板包含该当前象素的情况下,移动指标MI(h,v,m)在“与”门31输出0值时也具有为0的值,以表示至少一个的相邻象素的帧间差指标大于阈值。
但是,尽管帧间差指标FDI(h,v)具有为0的值从而移动样板包含该当前象素,当“与”门31输出为1的值以表示所有相邻象素的帧间差指标小于阈值时“或”门32输出值为1的移动指标MI(h,v,m)。从而,该当前象素被看作包含着脉冲噪声并从移动样板中除去。
在本发明的另一个实施方式中,可以用查找表实现该滤波器,代替掉逻辑门。
同时,图2的块匹配部件40接收第一和第二移动样板中每个象素的帧间差指标,并且依次计算第一移动样板和多个第二移动样板之间的块匹配等级。块匹配等级是通过采用常规的评价函数,例如归一化相关系数、平均绝对差(MAD)、均方差及归一化不变矩方程,计算的。然后,块匹配部件40确定多个第二移动样板中的那一个产生最大块匹配等级。接着,把和该第二移动样板对应的第二矩形门对第一矩形门的空间位移确定成目标的运动向量。
同时,在本发明的另一种实施方式中,块匹配部件40可以输入各象素的移动指标MI以及第一和第二矩形门的图象信号以便通过利用具有0值移动指标MI的象素的密度函数值计算块匹配等级。
图4是一个流程图,表示根据本发明的一种跟踪目标的方法的实施方式。
首先,在第一帧的图象中形成一个实质上包围着要跟踪的目标的第一矩形门(步骤100)。
接着,在第一帧之后的第二帧的图象中在位置上和第一矩形门相对应的位置处设定第二矩形门(步骤110)。
然后,生成第一和第二移动样板,它们分别由包含在第一和第二矩形门内的移动区中的象素组成(步骤120)。出于这个目的,从第二矩形门的图象中减掉第一矩形门的图象并计算相减结果的绝对值以得到象素单位中的帧间差指标。然后,把都包含在这两个矩形门中的目标区域、背景区域或前景区域里象素看成是共有的,并且当象素的帧间差指标小于预定的阈值时从矩形门中除去该象素,但是当象素的帧间差指标大于阈值时在矩形门中保留该象素。而且,从第一和第二移动样板中除去上面说明过的带有脉冲噪声的象素。
在步骤130,通过只利用包含在第一和第二移动样板中的象素计算第一和第二矩形门之间的块匹配等级。
然后,在预定的搜索区域中改变第二矩形门的位置(步骤150),并且重复步骤120和130以在第一和第二矩形门中形成第一和第二移动样板以及得到第一和第二矩形门之间的块匹配等级。
在步骤140中,确定是否为可在搜索区域中形成的所有第二矩形门计算了块匹配等级。如果搜索未结束,重复进行步骤150、120和130。
如果在步骤150中确定搜索结束,确定产生最大块匹配等级的第二矩形门(步骤160)。在步骤170把第二和第一矩形门之间的位置差确定为目标的运动向量。
接着,通过用第二帧替代第一帧和输入第三帧作为新的第三帧继续跟踪处理。在这一级中,根据前一级中得到的目标运动向量估计目标的运动向量,并且在相对于第一矩形门的对应位置偏离估计的运动向量的一个位置周围形成第二矩形门。然后,进行步骤120至170。
根据本发明的用于跟踪目标的方法和设备可以实现成实时的,这是因为块匹配算法是通过利用一个门形图象中某些部分的象素完成的从而计算负担不大。此外,因为滤波除去脉冲噪声,噪声性能得到改善而且跟踪性能得到稳定。同时,在生成移动样板上不出现附加的计算负担,因为对该目的使用了用于计算块匹配等级的帧间差信号。

Claims (18)

1.一种跟踪目标的方法,包括步骤:
(a)在第一帧的图象内形成实质上包含着要跟踪的目标的第一矩形门;
(b)在时间上相继该第一帧的第二帧的图象内形成第二矩形门;
(c)辨别共同包含在第一和第二矩形门中移动区内的象素,并且通过只利用移动区的象素计算第一和第二矩形门之间的块匹配等级;
(d)在预定的区域内改变第二矩形门并且重复所述步骤(b)和(c);以及
(e)比较所述步骤(c)和(d)中得到的块匹配等级以确定产生最大块匹配等级值的一个第二矩形门,并且把第一矩形门和产生最大块匹配等级值的该第二矩形门之间的位置差确定为目标的运动向量。
2.按照权利要求1的跟踪目标的方法,其中在所述步骤(b)和(d)中,若第一帧是起始帧则在和第一帧的相同位置的附近形成第二矩形门,而若第一帧不是起始帧则在相对于第一矩形门的位置偏离在前一级中估计出的目标的运动向量的位置的周围形成第二矩形门。
3.按照权利要求1的跟踪目标的方法,其中所述步骤(c)包括步骤:
(c1)辨别第一和第二矩形门内目标区域或背景区域中共同包含的象素;
(c2)从第一和第二矩形门内的目标区域或背景区域中除去共同包含的象素;以及
(c3)计算在所述步骤(c2)中得到的第一和第二矩形门之间的块匹配等级。
4.按照权利要求3的跟踪目标的方法,其中步骤(c1)包括步骤:
(c11)通过从第二帧的象素的密度函数值中减去第一帧的象素的密度函数值计算象素的帧间差指标;以及
(c12)如果一个象素的帧间差指标小于预定的阈值,把该象素辨别成包含在目标区域或背景区域内的一个象素。
5.按照权利要求1的跟踪目标的方法,其中步骤(c)包括步骤:
(c1)辨别共同包含在第一和第二矩形门的目标区域或背景区域里的象素;
(c2)从第一和第二矩形门中除去在目标区域或背景区域中公同包含的象素;
(c3)从在所述步骤(c2)中得到的第一和第二矩形门中除去包含着脉冲噪声的象素;以及
(c4)计算步骤(c3)中得到的第一和第二矩形门之间的块匹配等级。
6.按照权利要求5的跟踪目标的方法,其中步骤(c1)包括步骤:
(c11)通过从第二帧的象素的密度函数值减去第一帧的象素的密度函数值计算象素的帧间差指标;以及
(c12)如果象素的帧间差指标小于预定的阈值把该象素辨别成包含在目标区域或背景区域中的一个象素。
7.按照权利要求5的跟踪目标的方法,其中在所述步骤(c3)中,如果一个象素的帧间差指标大于预定的阈值以及围绕该象素的预定数量的象素的帧间差指标小于该预定的阈值,把该象素看成是包括脉冲噪声。
8.按照权利要求7的跟踪目标的方法,其中预定数量为八个。
9.按照权利要求1的跟踪目标的方法,其中步骤(c)包括步骤:
(c1)辨别第一和第二矩形门中的目标区域、背景区域与前景区域之内共同包含的象素;
(c2)从第一和第二矩形门中除去目标区域、背景区域或前景区域内共同包含的象素;以及
(c3)计算所述步骤(c2)中得到的第一和第二矩形门之间的块匹配等级。
10.按照权利要求9的跟踪目标的方法,其中步骤(c1)包括步骤:
(c11)通过从第二帧的象素的密度函数值中减去第一帧的象素的密度函数值计算象素的帧间差指标;以及
(c12)如果一个象素的帧间差指标小于预定的阈值把该象素辨别成包含在目标区域、背景区域或前景区域里的一个象素。
11.按照权利要求1的跟踪目标的方法,其中步骤(c)包括步骤:
(c1)辨别第一和第二矩形门的目标区域、背景区域或前景区域中共同包含的象素;
(c2)从第一和第二矩形门中除去目标区域、背景区域或前景区域内共同包含的象素;
(c3)从所述步骤(c2)得到的第一和第二矩形门中除去包含着脉冲噪声的象素;以及
(c4)计算步骤(c3)中得到的第一和第二矩形门之间的块匹配等级。
12.按照权利要求11的跟踪目标的方法,其中步骤(c1)包括步骤:
(c11)通过从第二帧的象素的密度函数值减去第一帧的象素的密度函数值计算象素的帧间差指标;以及
(c12)如果一个象素的帧间差指标小于预定的阈值,把该象素辨别为包含在目标区域、背景区域或前景区域的一个象素。
13.按照权利要求11的跟踪目标的方法,其中在步骤(c3)中,如果一个象素的帧间差指标大于预定的阈值并且围绕该象素的预定数量的象素的帧间差指标小于该预定的阈值,把该象素看成是包含脉冲噪声的。
14.按照权利要求13的跟踪目标的方法,其中所述预定数量为8个。
15.一种跟踪目标的设备,包括:
一个帧存储器,用于接收第一帧的输入图象信号,按一个帧周期缓冲该信号,并且输出延迟一个帧周期后的第二帧的图象信号;
一个图象差生成器,用于接收第一和第二帧的图象信号,在第一帧的图象中生成实质上包含着要跟踪的目标的第一矩形门,在第二帧的图象信号中形成第二矩形门,并且计算第一和第二矩形门之间的图象差;
一个移动区生成器,用于通过根据由所述图象差生成器输出的图象差分别从第一和第二矩形门中除去包含在目标区域、背景区域或前景区域里的象素生成第一和第二移动样板;以及
一个块匹配部件,用于计算第一移动样板和多个第二移动样板之间的块匹配等级,确定一个产生最大块匹配等级值的第二移动样板,并且把和该产生最大块匹配等级值的第二移动样板对应的第二矩形门对第一矩形门的空间位移确定为目标的运动向量。
16.按照权利要求15的用于跟踪目标的设备,其中所述移动区生成器包括一个滤波器,用于从第一和第二移动样板除去包含着脉冲噪声的象素。
17.按照权利要求16的用于跟踪目标的设备,其中所述滤波器包括:
一个“与”门,用于接收某当前象素周围预定数量的帧间差指标以根据这些指标进行“或”运算;以及
一个“或”门,用于经其一个输入端接收该当前象素的帧间差指标并经另一个输入端接收所述“或”门的输出数据以进行“与”运算。
18.按照权利要求17的用于跟踪目标的设备,其中所述“与”门是一个8输入的“与”门。
CN97123072A 1997-06-11 1997-11-28 目标跟踪方法及其设备 Expired - Lifetime CN1131439C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1019970024206A KR100224752B1 (ko) 1997-06-11 1997-06-11 표적 추적 방법 및 장치
KR24206/1997 1997-06-11
KR24206/97 1997-06-11

Publications (2)

Publication Number Publication Date
CN1201910A CN1201910A (zh) 1998-12-16
CN1131439C true CN1131439C (zh) 2003-12-17

Family

ID=19509275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97123072A Expired - Lifetime CN1131439C (zh) 1997-06-11 1997-11-28 目标跟踪方法及其设备

Country Status (4)

Country Link
US (1) US6233008B1 (zh)
JP (1) JP2915894B2 (zh)
KR (1) KR100224752B1 (zh)
CN (1) CN1131439C (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542621B1 (en) * 1998-08-31 2003-04-01 Texas Instruments Incorporated Method of dealing with occlusion when tracking multiple objects and people in video sequences
DE19910880A1 (de) * 1999-03-11 2000-09-14 Deckel Maho Gmbh Werkzeugmaschine für die Werkstückbearbeitung mit spanenden Werkzeugen und Laserstrahl
GB2351407B (en) * 1999-06-21 2003-06-11 Sony Uk Ltd Video data compression
TW515192B (en) * 2000-06-06 2002-12-21 Noa Kk Off Compression method of motion picture image data and system there for
US7085424B2 (en) * 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
US7319479B1 (en) 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
JP4106874B2 (ja) * 2001-02-05 2008-06-25 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US7277580B2 (en) * 2001-12-12 2007-10-02 Sony Corporation Multiple thresholding for video frame segmentation
US6930776B2 (en) * 2002-07-25 2005-08-16 Exfo Electro-Optical Engineering Inc. High optical rejection optical spectrum analyzer/monochromator
AU2003247051A1 (en) * 2002-07-31 2004-02-23 Koninklijke Philips Electronics N.V. System and method for segmenting
JP4203736B2 (ja) * 2002-09-09 2009-01-07 日本ビクター株式会社 画像の動き検出装置及びコンピュータプログラム
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7956889B2 (en) * 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
US7171024B2 (en) * 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
KR101118981B1 (ko) * 2004-04-09 2012-03-13 소니 주식회사 화상 처리 장치 및 방법, 기록 매체, 및 프로그램
JP4692846B2 (ja) * 2004-04-09 2011-06-01 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20070092110A1 (en) * 2004-11-08 2007-04-26 Li-Qun Xu Object tracking within video images
US7813581B1 (en) * 2005-05-06 2010-10-12 Fitzpatrick Ben G Bayesian methods for noise reduction in image processing
JP4835075B2 (ja) * 2005-09-09 2011-12-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
TWI401670B (zh) * 2006-05-22 2013-07-11 Hitachi High Tech Corp 檢測圓周方向之刮傷缺陷的方法、及磁碟驗證器
JP4579191B2 (ja) * 2006-06-05 2010-11-10 本田技研工業株式会社 移動体の衝突回避システム、プログラムおよび方法
US7928896B2 (en) * 2007-07-09 2011-04-19 Carnegie Mellon University Application of time reversal to synthetic aperture imaging
JP2009053815A (ja) * 2007-08-24 2009-03-12 Nikon Corp 被写体追跡プログラム、および被写体追跡装置
CN101212658B (zh) * 2007-12-21 2010-06-02 北京中星微电子有限公司 一种目标跟踪方法及装置
CN101290681B (zh) * 2008-05-26 2010-06-02 华为技术有限公司 视频目标跟踪方法、装置及自动视频跟踪系统
US8134489B2 (en) * 2008-07-14 2012-03-13 The Boeing Company System and method for bistatic change detection for perimeter monitoring
CN101339664B (zh) * 2008-08-27 2012-04-18 北京中星微电子有限公司 一种目标跟踪方法及系统
CN102052899B (zh) * 2009-11-02 2015-09-30 重庆工商大学 以三基色对比度为特征帧匹配测量二维位移的方法及装置
WO2013058735A1 (en) 2011-10-18 2013-04-25 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
RU2498342C1 (ru) * 2012-04-26 2013-11-10 Открытое акционерное общество "Концерн радиостроения "Вега" Способ перехвата воздушных целей летательными аппаратами
CN103281476A (zh) * 2013-04-22 2013-09-04 中山大学 基于电视图像运动目标的自动跟踪方法
CN107301651A (zh) * 2016-04-13 2017-10-27 索尼公司 对象跟踪装置和方法
KR101877232B1 (ko) * 2017-05-29 2018-07-12 국방과학연구소 영상 유사도 및 추적 지점 변화량 기반의 영상 추적기 시스템 및 그의 추적 안정도 판별 방법
TWI660310B (zh) * 2018-08-06 2019-05-21 財團法人資訊工業策進會 比對追蹤物件的方法及電子裝置
KR20210116966A (ko) 2020-03-18 2021-09-28 삼성전자주식회사 타겟 트래킹 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1409448A (en) 1966-04-27 1975-10-08 Emi Ltd Automatic target following apparatus
FR2566219B1 (fr) 1984-06-15 1989-04-28 Sfim Procede et dispositif pour l'exploration d'une fenetre de la zone image d'un dispositif a transfert de charges du type a transfert de trames
US5583947A (en) 1990-05-18 1996-12-10 U.S. Philips Corporation Device for the detection of objects in a sequence of images
JPH0562879A (ja) 1991-09-03 1993-03-12 Canon Inc アライメント方法
JP2997349B2 (ja) 1991-10-21 2000-01-11 日本無線株式会社 レーダ映像表示方法
US5631697A (en) 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
JP2965790B2 (ja) 1992-04-30 1999-10-18 株式会社東芝 レーダー降雨短期移動予測装置
JPH06130145A (ja) 1992-10-20 1994-05-13 Toshiba Corp レーダ信号処理装置
JP3208213B2 (ja) 1993-03-29 2001-09-10 日本無線株式会社 レーダスイープ相関回路
JP2983407B2 (ja) 1993-03-31 1999-11-29 三菱電機株式会社 画像追尾装置
JPH0795598A (ja) 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
JP3268953B2 (ja) 1995-02-27 2002-03-25 三洋電機株式会社 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置
US5729338A (en) 1996-04-22 1998-03-17 The United States Of America As Represented By The Secretary Of The Navy Computer controlled optical tracking system
JPH09318745A (ja) 1996-05-28 1997-12-12 Nippon Telegr & Teleph Corp <Ntt> 相互相関雨域予測装置および相互相関雨域予測方法

Also Published As

Publication number Publication date
CN1201910A (zh) 1998-12-16
KR100224752B1 (ko) 1999-10-15
US6233008B1 (en) 2001-05-15
JP2915894B2 (ja) 1999-07-05
KR19990001024A (ko) 1999-01-15
JPH1114741A (ja) 1999-01-22

Similar Documents

Publication Publication Date Title
CN1131439C (zh) 目标跟踪方法及其设备
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
Gu et al. DenseLiDAR: A real-time pseudo dense depth guided depth completion network
KR100459893B1 (ko) 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치
EP2265023B1 (en) Subject tracking device and subject tracking method
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
JP4782123B2 (ja) カメラによりシーンに関して取得された映像中の移動物体を追跡する方法
Tsai et al. Block-based vanishing line and vanishing point detection for 3D scene reconstruction
JP2020522067A (ja) 動的視覚センサ用ブロックマッチングオプティカルフローとステレオ視
CN110223317B (zh) 一种基于图像处理的移动目标检测与轨迹预测方法
CN1522542A (zh) 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备
Li et al. A traffic state detection tool for freeway video surveillance system
CN1311409C (zh) 用于分割的系统和方法
Zeng et al. Lookup: Vision-only real-time precise underground localisation for autonomous mining vehicles
CN111292369A (zh) 激光雷达的伪点云数据生成方法
Lu et al. A large-scale outdoor multi-modal dataset and benchmark for novel view synthesis and implicit scene reconstruction
CN1766928A (zh) 一种基于动态背景运动视频的运动对象重心轨迹提取方法
CN116402874A (zh) 基于时序光学图像与激光雷达数据的航天器深度补全方法
CN113920733B (zh) 一种基于深度网络的交通体量估计方法及系统
CN1529874A (zh) 特征点选择
CN115512263A (zh) 一种面向高空坠物的动态视觉监测方法及装置
CN1770204A (zh) 从具有静态背景的运动视频提取运动对象重心轨迹的方法
JP2000011134A (ja) 移動量検出装置及びその方法
CN107045724B (zh) 一种低分辨率下物体移动方向的马尔科夫判断方法
HU et al. Moving target detection and tracking for smartphone automatic focusing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG ELECTRONICS CO., LTD TO: SAMSUNG THOMSON-CORPORATION RADIO REPORTED

CP03 Change of name, title or address

Applicant after: Samsung Thomsen - Radio Telegraph Corp

Address before: Gyeonggi Do, South Korea

Applicant before: SAMSUNG ELECTRONICS CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Gyeongbuk, South Korea

Patentee after: Han Hua Thales Co., Ltd.

Address before: Gyeongbuk, South Korea

Patentee before: Samsung Thales Co., Ltd.

C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Gyeongbuk, South Korea

Patentee after: Han Hua System Co., Ltd.

Address before: Gyeongbuk, South Korea

Patentee before: Han Hua Thales Co., Ltd.

CX01 Expiry of patent term

Granted publication date: 20031217