CN1272747C - 用于跟踪图像中移动物体的方法和装置 - Google Patents

用于跟踪图像中移动物体的方法和装置 Download PDF

Info

Publication number
CN1272747C
CN1272747C CNB031197124A CN03119712A CN1272747C CN 1272747 C CN1272747 C CN 1272747C CN B031197124 A CNB031197124 A CN B031197124A CN 03119712 A CN03119712 A CN 03119712A CN 1272747 C CN1272747 C CN 1272747C
Authority
CN
China
Prior art keywords
time
mobile object
value
piece
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB031197124A
Other languages
English (en)
Other versions
CN1444183A (zh
Inventor
上条俊介
坂内正夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foundation for the Promotion of Industrial Science
Socionext Inc
Original Assignee
Fujitsu Ltd
Foundation for the Promotion of Industrial Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Foundation for the Promotion of Industrial Science filed Critical Fujitsu Ltd
Publication of CN1444183A publication Critical patent/CN1444183A/zh
Application granted granted Critical
Publication of CN1272747C publication Critical patent/CN1272747C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

照相机拍摄的每帧时间序列图像由下面的等式转换成空间差分帧图像：H(i，j)＝∑|G(i+di，j+dj)-G(i，j)|/(Gi，j，max/Gmax)，I＝Gmax/{1+exp(-0.02(H-80))}，其中∑表示di＝-1到1和dj＝-1到1的总和，Gi，j，max表示中心在第i行第j列的3×3像素的最大像素值，Gmax表示像素值G(i，j)的可取的最大值255。根据在时间(t-1)和t的空间差分帧图像之间的相关性和在时间(t-1)的空间差分帧图像中包含的移动物体的区分结果来区分在时间t的移动物体。

Description

用于跟踪图像中移动物体的方法和装置
技术领域
本发明涉及一种用于通过处理时间序列图像来跟踪图像中移动物体(即，可移动的事物，例如汽车、自行车和动物)的方法和装置。
背景技术
交通事故的早期检测不仅能通过快速的救援作业提高救生成功率，而且还通过加速警方在该现场的检查而减轻与事故有关的交通拥挤。因此，期望交通事故的各种自动识别。为了实现交通事故的高识别率，必须通过处理照相机捕获的图像来正确跟踪移动物体。
在跟踪移动物体时，特别难以区分图像中彼此重叠的移动物体以及不受由于云彩或建筑物的影子导致移动物体照度变化的影响来跟踪移动物体。
前者的困难可以通过根据时空马尔可夫模型计算时空相关性的方法来克服，该时空马尔可夫模型已经在JP2001-148019-A的说明书中公开，该专利的发明人与本申请的发明人相同。后者的困难可以通过利用差分图像(IEEE trans.PAMI，第18卷，第11期，1996年，第1110-1114页，G.L.Gimel’farb的″多个成对像素相互作用的″纹理建模″)来克服。
但是，在利用一个转换差分图像以并入基于相关性的方法的适当方法来实现跟踪移动物体的高成功率方面仍然存在技术挑战。
发明内容
因此，本发明的目的在于提供一种用于跟踪移动物体的方法和装置，从而可以实现跟踪移动物体的高成功率，并且与图像中移动物体之间的重叠和图像中移动物体的照度变化无关。
在本发明的一个方面，提供一种移动物体跟踪方法，其处理第一时间序列图像以跟踪其中的移动物体，该方法包括步骤：
(a)通过将第一时间序列图像转换成各自空间差分帧图像来生成第二时间序列图像；和
(b)根据在接近时间t2的时间t1的其中一个空间差分帧图像和在时间t2的另一个空间差分帧图像之间的相关性，还根据在时间t1的所述其中一个空间差分帧图像中包含的移动物体的区分结果，区分在时间t2的移动物体，
其中在步骤(a)，通过将相应一个第一时间序列图像的相应关注像素的值转换成与相应关注像素的值和其相邻像素的值之间的差值有关的值I，来确定任何空间差分帧图像中的关注像素的值。
根据这个构成，由于步骤(a)，第二时间序列图像几乎不受照度变化的影响，并且因为步骤(b)的处理是对第二时间序列图像执行的，所以有可能高成功率地跟踪移动物体，即使移动物体的照度在图像中变化或者移动物体在图像中彼此重叠。
在步骤(a)中，例如，在任何空间差分帧图像中的关注像素的值是通过将相应一个第一时间序列图像的相应关注像素的值转换成与值H有关的值I得到的，该值H与通过将相应关注像素的值和其相邻像素值之间的差值除以相应关注像素和相邻像素当中的最大值得到的值成正比。从而，即使像素值小，因此差值小，也有可能获得几乎与像素值大和差值大的情况中获得的边缘信息等价的边缘信息，从而提高跟踪移动物体的成功率。
在步骤(a)，例如，如果值H在预定范围内，则通过值H的近似线性变换来确定值I，否则通过将值H转换成一个被抑制以免超过空间差分帧图像的像素的可取最大值Gmax的值来确定值I。这允许值I的比特大小减少，并且H分布中包含的边缘信息的几乎不减少，实现快速的图像处理。
根据本发明的另一方面，提供一种处理第一时间序列图像以跟踪其中的移动物体的移动物体跟踪装置，该装置包括：
图像记录部分，用于存储第一时间序列图像；
图像转换部分，用于通过将第一时间序列图像转换成各自的空间差分帧图像来生成第二时间序列图像和用于将生成的第二时间序列图像存入图像记录部分；和
图像处理部分，用于根据在接近时间t2的时间t1的其中一个空间差分帧图像和在时间t2的另一个空间差分帧图像之间的相关性，还根据在时间t1的所述其中一个空间差分帧图像中包含的移动物体的区分结果，来区分在时间t2的移动物体，
其中图像转换部分通过将相应一个第一时间序列图像的相应关注像素的值转换成与相应关注像素的值和其相邻像素的值之间的差值有关的值I，来确定任何空间差分帧图像中的关注像素的值。
本发明的其它方面、目的和优点从下面结合附图的详细描述中变得更加明显。
附图说明
图1是表示根据本发明实施例的十字路口和位于该十字路口的移动物体跟踪装置的示意图；
图2是图1的移动物体跟踪装置的功能方框图；
图3是表示用于图2的图像转换部分的sigmoid函数的图；
图4(A)是在没有建筑物影子的十字路口捕获的原始图像的拷贝；
图4(B)是通过在图2的图像转换部分转换图4(A)的图像确定的差分图像；
图5(A)是在具有建筑物影子的十字路口捕获的原始图像的拷贝；
图5(B)是通过在图2的图像转换部分转换图5(A)的原始图像确定的空间差分图像；
图6是分配给在十字路口的四个入口和四个出口定义的块(blocks)和狭缝(slits)的移动物体的ID的说明；
图7是一种情况的说明，其中移动物体在一系列图像中频繁地相互重叠；
图8是产生目标图(object map)的说明；
图9是产生目标图的说明；
图10是产生目标图的说明；
图11是产生目标图的说明；
图12是产生目标图的说明；
图13是产生目标图的说明；
图14(A)是由位于高速公路上的照相机以低照相机视角捕获的图像的一部分；
图14(B)是在图2的图像转换部分从图14(A)转换成的图像，并覆盖有正方框，在这些框内包括由图2的移动物体跟踪装置识别的各个移动物体；
图14(C)是对应于图14(B)图像的目标图；
图15是在以下一种情况下sigmoid函数中关于参数β的跟踪移动物体成功率的一个实验结果图，这种情况是指图2的照相机位于高速公路上方，具有低照相机视角；和
图16是表示代替图3的sigmoid函数的可用的简单线性函数(linefunction)的图。
具体实施方式
现在参见附图，其中相似的附图标记表示多个附图的相似或相应的部分，本发明的优选实施例将如下所述。
图1是表示根据本发明实施例的十字路口和位于该十字路口的移动物体跟踪装置的示意图。
此装置装备有捕获十字路口和输出所捕获图像信号的电子照相机10和处理该图像以便自动跟踪移动物体的移动物体跟踪装置20。
图2是移动物体跟踪装置20的功能方框图。在移动物体跟踪装置20的组成部分中，除了存储部分之外的每个组成部分还可以由计算机软件、专用硬件、或计算机软件和专用硬件的组合构成。
电子照相机10拍摄的时间序列图像以例如12帧/秒的速率被存入图像存储器21。
图像存储器21具有3帧或更多的存储容量，最老的帧图像替换为新的帧图像。
图像转换部分22将图像存储器21中的每个帧图像复制到缓冲存储器23，参照复制的帧图像，将图像存储器21中相应的帧图像转换成空间差分帧图像。此转换分两步执行，如下：
设G(i，j)是原始帧图像第i行第j列的像素值(亮度值)，首先转换后的第i行第j列的像素值H(i，j)由下面的等式表示。
H(i，j)＝∑相邻像素|G(i+di，j+dj)-G(i，j)|            (1)
这里，∑相邻像素表示di＝-c到c和dj＝-c到c的总和，其中c是自然数。例如，当c＝1时，它表示第i行第j列像素的8个相邻像素值的总和。当照度变化时，像素值G(i，j)及其相邻像素值G(i+di，j+dj)以相同方式变化。因此，H(i，j)的图像不受照度变化的影响。
通常，像素值越大，像素值和相邻像素值之间差值的绝对值越大。即使像素值小并且因此差值小，也希望获得几乎与当像素值大并且差值大时所获得的边缘信息等价的边缘信息，以便提高跟踪移动物体的成功率。因此，H(i，j)被归一化为如下：
H(i，j)＝∑相邻像素|G(i+di，j+dj)-G(i，j)|/(Gi，j，max/Gmax)  (2)
其中，Gi，j，max表示用于计算H(i，j)的原始像素值中的最大值。例如，当c＝1时，Gi，j，max是其中心在第i行第j列的3×3个像素的最大像素值。Gmax表示像素值G(i，j)的可取的最大值。例如，当像素值表示为8位时，Gmax是255。下面的描述将参照c＝1和Gmax＝255的情况给出。
H(i，j)可取的最大值根据移动物体而变化。例如，当G(i，j)＝Gmax并且第i行第j列像素周围的所有8个相邻的像素具有像素值0时，H(i，j)＝8Gmax，因此H(i，j)不能表示成8位。
另一方面，为在移动物体边缘部分的H(i，j)值所作的直方图表示出边缘部分中H的大多数值在50到110的范围内。也就是说，如果H值高于110，则跟踪移动物体的边缘信息量越小，因此它越不重要。
相应地，希望抑制H值较高的部分，以便减少被转换像素的位长，并获得较高的图像处理速度。因此，第二转换通过用具有sigmoid函数的以下等式把H(i，j)转换到I(i，j)。
I＝Gmax/{1+exp(-β(H-α))}                          (3)
此sigmoid函数对于α周围的H具有良好的线性。因此，阈值α被设置成在具有边缘信息的H值的频率分布中的最频繁值，例如80。
图3表示在Gmax＝255、α＝80情况下和β＝0.001、0.02、0.05、0.20和0.50情况下的I对H图。后面关于实际执行的移动物体跟踪的成功率描述β所希望的范围。
图像转换部分22根据上述等式(2)和(3)将像素值G(i，j)的图像转换成像素值I(i，j)的图像。
图4(A)和5(A)是在分别没有和有建筑物影子的十字路口捕获的原始图像的拷贝。图4(B)和5(B)是在图像转换部分22分别转换图4(A)和5(A)的原始图像获得的空间差分图像。这些图像表示出差分图像几乎不受照度变化的影响，获得移动物体的特征。
背景图像生成部分24、ID生成/删除部分25和移动物体跟踪部分27的每一个都根据图像存储器21中的空间差分帧图像执行处理。在下文中，为了简化，空间差分帧图像称为帧图像。
背景图像生成部分24装备有存储部分和处理部分。这些处理部分访问图像存储器21以准备各个像素的直方图，每个直方图具有所有帧图像(例如在过去的10分钟内)的相应像素值以生成没有移动物体在其中的图像作为背景图像，背景图像的每个像素值是相应直方图的模式，并将背景图像存入存储部分。此处理周期性地重复以更新背景图像。
如图6所示，在帧图像中，位于十字路口4个入口的狭缝EN1到EN4和位于十字路口4个出口的狭缝EX1到EX4的位置和大小数据预先设置在ID生成/删除部分25中。ID生成/删除部分25从图像存储器21读出入口狭缝EN1到EN4内的图像数据以确定移动物体是否处于每个入口狭缝中的每块中。图6网孔中的正方形是各个块，每块例如是8×8个像素的大小，在一帧由480×640个像素构成的情况下，一帧被分成60×80个块。移动物体是否处于块中是根据块中像素和背景图像的相应各个像素之间差值的总和是否大于预定值来确定的。该确定也在移动物体跟踪部分27中执行。
ID生成/删除部分25在它确定移动物体处于一块中时将一群(cluster)新的标识码ID分配给该块。当确定移动物体处于邻近于已经分配ID的另一块的块中时，ID生成/删除部分25将分配给所述另一个块的相同ID分配给相邻块。已经分配ID的所述另一块可能是与入口狭缝相邻的块。例如，在图6中，ID1被分配给移动物体存在其中的入口狭缝EN1中的各个块，ID5被分配给移动物体存在其中的入口狭缝EN4的各个块。
ID的分配为目标图存储部分26中的相应块执行。在上述情况下，目标图存储部分26用于存储目标图，每个具有60×80块，每块具有一作为块信息的标记，表示是否已经分配ID、ID号和当已经分配ID时的块运动矢量(随后描述)。注意ID＝0可用来表示没有分配ID，不必用标记。另外，ID的最高有效位可以是该标记。
对于穿过入口狭缝的每一群，移动物体跟踪部分27都为位于移动方向的块分配相同的ID，并删除位于移动相反方向的块的相同ID，也就是说，为每一群执行跟踪处理。移动物体跟踪部分27为远到出口狭缝内的每一群执行跟踪处理。
ID生成/删除部分25还根据目标图存储部分26的内容检查ID是否被分配给出口狭缝EX1到EX4中的块，如果已经分配，则当具有ID的一群已经穿过出口狭缝时删除ID。例如，当已经进行了从ID被分配给图6出口狭缝EX1中的块的状态到没有ID被分配给它的状态的变换时，删除ID3。删除的ID可用作下一个要生成的ID。
正如随后描述的，移动物体跟踪部分27根据在时间(t-1)的目标图和帧图像和在时间t的帧图像来生成在时间t的目标图。
在利用一个拍摄广阔的区域以跟踪移动物体的照相机以低照相机视角(相对于路面)从正面拍摄移动物体的情况下，移动物体频繁地彼此重叠成图7的(A)到(C)所示的图像。
图8和9分别表示图7(A)和(B)的放大图像。虚线用于将图像划分成块。图8中，重叠的移动物体M1和M2对应于图2目标图存储部分26中的一群C12，我们假设移动物体M1和M2尚不能彼此区分。另一方面，一群C3对应于一个移动物体M3。
在时间t第i行第j列的块表示为B(t：i，j)。如图8所示，块B(t-1：11，13)和B(t-1：14，13)的运动矢量分别表示成V2和V3。运动矢量V2和V3的端部都处于块(t-1：18，11)中。在图9时间t的图像中，方框SB2和SB3对应于图8图像中的块B(t-1：11，13)和B(t-1：14，13)分别被移动了运动矢量V2和V3的区域。
接下来，运动矢量V2和V3平移，以使运动矢量V2和V3的尖端都与块B(18，11)的中心重合。然后，平移的运动矢量V2和V3被反向以分别获得-V2和-V3，如图10所示。接下来，阴影块B(t-1：18，11)被移动了矢量-V2和-V3以分别获得方框SBR2和SBR3，如图10所示。方框SBR2和SBR3中的图像是在假设图11的块B(t：18，11)中的图像将属于图10的在时间(t-1)的群C12和C3的情况下估计的图像。群C12和C13的ID分别表示为ID12和ID3。
与图10的方框SBR2中的图像和块B(t：18，11)中的图像之间的相似性(相关性)有关的评价值UD用下面的等式计算，该值表示为UD(ID12)。
UD＝∑|SP(t-1：i，j)-BP(t：i，j)|                  (4)
其中SP(t-1：i，j)和BP(t：i，j)分别表示图10的方框SBR2中和图11的块B(t：18，11)中第i行第j列上的像素值，∑表示i＝1到8和j＝1到8的总和(块或方框中所有像素的总和)。评价值UD越小，相关性越高。
同样，计算与图10的方框SBR3中的图像和图11的块B(t：18，11)中的图像之间的相关性有关的评价值UD，该值表示为UD(ID3)。
在图10和11的情况下，UD(ID3)＜UD(ID12)成立，从而ID3被分配给块B(t：18，11)。
如此，利用每块的运动矢量，不同的ID可以被分配给包含在群C123中的块，群C123包括在时间t的多个移动物体，从而一群C123可以分成具有不同ID的子群。
如何找出群C12中的块B(t-1：11，13)和群C3中的块B(t-1：14，13)(它们都对应于属于图9的群C123的块B(t：18，11))如下进行：也就是说，设从块B(t-1：i，j)的中心到块B(t-1：18，11)的中心的矢量是V(18-i，11-j)，并且块B(t-1：i，j)的运动矢量是V(t-1：i，j)，相当于找出具有满足下面的表达式的V(t-1：i，j)的块B(t-1：i，j)：
|V(18-i，11-j)-V(t-1：i，j)|＜ΔV
其中ΔV是一常量，其值例如是块的一侧像素数目的三倍。在对应于块B(t：18，11)的多个块处于群C12中的情况下或在对应于块B(t：18，11)的多个块处于群C3中的情况下，为每个这种块确定评价值，并且对应于最小评价值的ID被分配给块B(t：18，11)。
上述过程可以类似方式应用于属于图9的群C123的其它块。
在ID3被分配给块B(t：18，11)的情况下，该块的运动矢量可以被估计为差不多等于矢量V3。为了更精确地获得块B(t：18，11)的运动矢量，方框SBR3在预定范围中每次移位一个像素，该范围的中心与方框SBR3的中心重合，每次移位获得评价值，当评价值最小(相关性最高)时，块B(t：18，11)的运动矢量被确定为其原点在方框SBR3中心的矢量并且其尖端是块B(t：18，11)的中心。每当把ID分配给一个块时，利用这种块匹配来确定块的运动矢量。
为了更精确地估计相似性，还考虑如下所述的量。
图10中一部分方框SBR3在群3之外，因为外部区域更宽，可以认为图11的块B(t：18，11)的ID是ID3的概率很低。因此、假定块B(t：18，11)的ID等于ID3，确定属于方框SBR3中群C3的像素数目S(t-1)，用下面的等式计算与图10方框SBR3中的图像和图11块B(t：18，11)的图像之间相关性有关的评价值U，该计算的值表示为US(ID3)：
US＝(S(t-1)-64))2                                 (5)
评价值US越小，相关性越高。同样，假定块B(t：18，11)的ID等于ID12，确定属于方框SBR2中的群C12的像素数目S来计算评价值US，该值表示为US(ID12)。在图10和11的情况下，US(ID12)＝0和US(ID3)＞US(ID12)成立。
U＝aUD+bUS，它是上述等式(4)和(5)的线性组合，定义为评价函数，并且确定评价值U越小，相似性越高，其中a和b是正的常数并且凭经验确定，因此相似性的评价值变得更正确。
对于图11在时间t的每块，确定ID12或ID3是否如上所述同样分配。因为在评价值的差值绝对值|U(ID12)-U(ID3)|小于预定值的情况下错误确定的概率很高，不必分配ID，关于时间t的图像考虑以下的量。例如，在假定尚未确定的图11的块B(t：18，11)的ID等于ID3的情况下，确定邻近块B(t：18，11)的8个块中被分配ID3的块数N(t)，用下面的等式计算评价值UN，该值表示为UN(ID3)：
UN＝(N(t)-8)2                                      (6)
评价值UN越小，相关性越高。类似地，在假定图11的块B(t：18，11)的ID等于ID12的情况下，确定邻近块B(t：18，11)的8个块中被分配ID12的块数N，用下面的等式计算评价值UN，该值表示为UN(ID12)。
另外，当因为几乎分配相同的像素值，块匹配所确定的在时间(t-1)的运动矢量的误差较大时，可以考虑这样一种情况，其中上述等式(4)到(6)的线性组合U＝aUD+bUS+cUN的评价值的差值绝对值|U(ID12)-U(ID3)|小于预定值，其中c还是正的常数。因此，通过注意对应于块(t：18，11)的块B(t-1：14，13)和B(t-1：11，13)的邻近块的运动矢量，相似性的评价值更正确。也就是说，利用下面的等式计算评价值UV，该等式包括：对应于B(t：18，11)的块B(t-1：14，13)从时间(t-1)到t的运动矢量VC(t)＝V3，假设块B(t：18，11)具有ID3；和多个块(图10中用小黑点表示的块)的运动矢量VBi(t-1)，i＝1到NX和NX＝NX3，这些块是块B(t-1：14，13)的相邻8个块之中的并且其ID等于ID3的块，该评价值表示为UV(ID3)：
UV＝∑|VC(t)-VBi(t-1)|2/NX                           (7)
其中∑表示i＝1到NX的总和。评价值UV越小，相关性越高。类似地，关于对应于B(t：18，11)的块B(t-1：11，13)从时间(t-1)到t的运动矢量VC＝V2计算评价值UV，假设块B(t：18，11)具有ID12；和多个块(图10中用标记x表示的块)的运动矢量VBj(t-1)，j＝1到NX和NX＝NX12，这些块是块B(t-1：11，13)相邻的8个块中的并且其ID等于ID12的块，该评价值表示为UV(ID12)。
上述等式(4)到(7)的线性组合，
U＝aUD+bUS+cUN+fUV                                   (8)
用作评价函数，并且确定评价值越小，相似性越高，其中f也是正的常数并且凭经验确定，以使相似性的评价更正确。
如此，不仅确定图11的群C123中每块的ID是ID12或ID3，还确定群C123中每块的运动矢量。也就是说，确定在时间t的目标图，并且如图12所示，即使移动物体M2与移动物体M1和M3都重叠，该群可以被分成具有不同ID的移动物体。
同样，在时间(t+1)的目标图可以从在时间t的帧图像和目标图和在时间(t+1)的帧图像来确定。因为C12和C3在时间t彼此区分并且移动物体M1与移动物体M2在时间(t+1)的帧图像中分开，如图13所示，对应于移动物体M1到M3的C1到C3在时间(t+1)彼此区分。
注意在准备在时间t的目标图之前，在时间(t-1)的目标图X可以被复制到工作区作为目标图Y，目标图X中其ID等于IDα的每个块i的运动矢量Vi可以替换为目标图X中的平均值矢量(∑Vj)/p(j＝1到p)，其中V1是对应于块i的块的运动矢量，Vj(j＝2到p)是块ID＝IDα并且邻近于相应块的多个块的运动矢量。利用这种过程，在因为块中的纹理类似于相邻块中的纹理而使得运动矢量的误差较大的情况下，该误差降低。到工作区的复制用于唯一地确定平均值矢量。
还有可能用以下步骤确定在时间t的目标图：
假定在时间t的目标图中的块i，例如图11的块B(18，11)，具有ID码IDi和运动矢量Vi，例如ID3和V3；
作为单位相关性，计算在时间t的帧图像中块i的图像和在时间(t-1)的帧图像中通过把块i的方框移动矢量-Vi所得到的方框中的图像，例如图10的SBR3中的图像，之间的相关性；和
确定在时间t的全部块的单位相关性的总和，以产生在时间t的目标图，以使总和最大化。
当t同(t-1)对换时此算法也有效。在这种情况下，当已经重叠的移动物体彼此区分时，重叠的移动物体通过倒置时间彼此区分。
图14(A)是由位于高速公路上的照相机以低照相机视角捕获的图像的一部分。图14(B)是在图2的图像转换部分22将图14(A)转换得到的图像。图14(B)图像上画出的黑线矩形与实际的移动物体跟踪处理无关，但目的在于帮助人们捕捉到区分的移动物体的范围的轮廓。图14(C)是对应于图14(B)的差分图像的目标图的ID分布图。
图15是关于上述等式(3)的sigmoid函数中的参数β的移动物体跟踪成功率的实验结果，在图2照相机以低照相机视角位于高速公路上的情况下(图14(A)是此照相机捕获的图像的一部分)。此结果采用α＝80、Gmax＝255和30帧/秒获得。此外，等式(8)中的系数a、b、c和f由试错法确定，使得a＝32/1000000、b＝1/256、c＝1/2、和f＝1/4。此图表示当β值在0.05到0.50范围内时移动物体跟踪成功率大于90％。
尽管已经描述了本发明的优选实施例，但应当理解本发明并不局限于此，可以进行各种变化和修改而没有超出本发明的精神和范围。
例如，代替等式(3)的sigmoid函数，如图16所示的简单线性函数可用来将H(i，j)转换成I(i，j)。此外，代替等式(2)的分子，现有技术的微分算符例如拉普拉斯算符可用于等式(2)的转换。但是，移动物体跟踪的成功率可以通过执行类似等式(2)的归一化来改进。

Claims (20)

1.一种处理第一时间序列图像以便跟踪其中的移动物体的移动物体跟踪方法，该方法包括步骤：
(a)通过将第一时间序列图像转换成各自的空间差分帧图像来生成第二时间序列图像；和
(b)根据在接近时间t2的时间t1的其中一个空间差分帧图像和在时间t2的另一个空间差分帧图像之间的相关性，还根据在时间t1的所述其中一个空间差分帧图像中包含的移动物体的区分结果，区分在时间t2的移动物体，
其中在步骤(a)，通过将相应一个第一时间序列图像的相应关注像素的值转换成与相应关注像素的值和其相邻像素的值之间的差值有关的值I，来确定任何空间差分帧图像中的关注像素的值。
2.根据权利要求1的移动物体跟踪方法，其中在步骤(a)，与差值有关的值I与H值有关，H值与一个通过把差值除以相应关注像素和相邻像素中的最大值获得的值成正比。
3.根据权利要求2的移动物体跟踪方法，其中如果值H在预定范围内，则通过值H的近似线性变换来确定值I，否则通过将值H转换成一个被抑制以免超过空间差分帧图像的像素可取的最大值Gmax的值来确定值I。
4.根据权利要求3的移动物体跟踪方法，其中根据sigmoid函数
f(H)＝1/{1+exp[-β(H-α)]}，
确定值I＝Gmax·f(H)，其中H是所述成正比的值，α和β是正的常数。
5.根据权利要求4的移动物体跟踪方法，其中常数β是0.05到0.50范围内的值。
6.根据权利要求1的移动物体跟踪方法，其中在步骤(b)，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个块包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
7.根据权利要求2的移动物体跟踪方法，其中在步骤(b)，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个块包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
8.根据权利要求3的移动物体跟踪方法，其中在时间t2的目标图的产生步骤是：
假定在时间t2的目标图中的块i具有标识码IDi和运动矢量Vi；
计算在时间t2的空间差分帧图像中块i的图像和在时间t1的空间差分帧图像中一个方框的图像之间的单位相关性，该方框是通过将块i的方框移动矢量-Vi确定的；和
计算在时间t2的所有块的单位相关性的总和，以便在总和的最大值产生在时间t2的目标图。
9.根据权利要求4的移动物体跟踪方法，其中在步骤(b)，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个块包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
10.一种处理第一时间序列图像以跟踪其中的移动物体的移动物体跟踪装置，该装置包括：
图像记录部分，用于存储第一时间序列图像；
图像转换部分，用于通过将第一时间序列图像转换成各自的空间差分帧图像来生成第二时间序列图像和用于将生成的第二时间序列图像存入图像记录部分；和
图像处理部分，用于根据在接近时间t2的时间t1的其中一个空间差分帧图像和在时间t2的另一个空间差分帧图像之间的相关性，还根据在时间t1的所述其中一个空间差分帧图像中包含的移动物体的区分结果，来区分在时间t2的移动物体，
其中图像转换部分通过将相应一个第一时间序列图像的相应关注像素的值转换成与相应关注像素的值和其相邻像素的值之间的差值有关的值I，来确定任何空间差分帧图像中的关注像素的值。
11.根据权利要求10的移动物体跟踪装置，其中与差值有关的值I与值H有关，值H与一个通过将相应关注像素的值和其相邻像素的值之间的差值除以相应关注像素和相邻像素当中的最大值获得的值成正比。
12.根据权利要求11的移动物体跟踪装置，其中如果值H在预定范围内，图像转换部分通过值H的近似线性变换来确定值I，否则通过将值H转换成一个被抑制以免超过空间差分帧图像的像素可取的最大值Gmax的值来确定值I。
13.根据权利要求11的移动物体跟踪装置，其中图像转换部分根据sigmoid函数
f(H)＝1/{1+exp[-β(H-α)]}，
确定值I＝Gmax·f(H)，其中H是所述成正比的值，α和β是正的常数。
14.根据权利要求13的移动物体跟踪装置，其中常数β是0.05到0.50范围内的值。
15.根据权利要求10的移动物体跟踪装置，其中在图像处理部分，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个块包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
16.根据权利要求11的移动物体跟踪装置，其中在图像处理部分，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个块包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
17.根据权利要求12的移动物体跟踪装置，其中在图像处理部分，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
18.根据权利要求13的移动物体跟踪装置，其中在图像处理部分，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个块包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
19.根据权利要求14的移动物体跟踪装置，其中在图像处理部分，
在时间t1和t2的每个空间差分帧图像被分成多个块，每个块包括多个像素；
在时间t1的移动物体区分结果是在时间t1的目标图，它包括分配给至少一个块的移动物体的标识码，所述一个块包括移动物体的一部分，目标图还包括所述至少一个块的运动矢量；和
产生在时间t2的目标图以区分在时间t2的移动物体。
20.根据权利要求15的移动物体跟踪装置，其中图像处理部分：
假设在时间t2的目标图中的块i具有标识码IDi和运动矢量Vi；
计算在时间t2的空间差分帧图像中块i的图像和在时间t1的空间差分帧图像中一个方框的图像之间的单位相关性，该方框是通过将块i的方框移动矢量-Vi确定的；和
计算在时间t2所有块的单位相关性的总和，以便在总和的最大值产生在时间t2的目标图。
CNB031197124A 2002-03-07 2003-03-07 用于跟踪图像中移动物体的方法和装置 Expired - Lifetime CN1272747C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP062439/2002 2002-03-07
JP2002062439A JP4187448B2 (ja) 2002-03-07 2002-03-07 画像における移動体追跡方法及び装置

Publications (2)

Publication Number Publication Date
CN1444183A CN1444183A (zh) 2003-09-24
CN1272747C true CN1272747C (zh) 2006-08-30

Family

ID=27764448

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031197124A Expired - Lifetime CN1272747C (zh) 2002-03-07 2003-03-07 用于跟踪图像中移动物体的方法和装置

Country Status (5)

Country Link
US (1) US7149328B2 (zh)
EP (1) EP1345175B1 (zh)
JP (1) JP4187448B2 (zh)
KR (1) KR100882368B1 (zh)
CN (1) CN1272747C (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113079B2 (en) * 2003-10-28 2006-09-26 Oakland University System and method for detecting a collision using a continuous mode hidden Markov model
CN101398892B (zh) * 2004-08-03 2010-12-22 松下电器产业株式会社 人物搜索跟踪装置
JP3970877B2 (ja) * 2004-12-02 2007-09-05 独立行政法人産業技術総合研究所 追跡装置および追跡方法
GB0502371D0 (en) * 2005-02-04 2005-03-16 British Telecomm Identifying spurious regions in a video frame
US20060210159A1 (en) * 2005-03-15 2006-09-21 Yea-Shuan Huang Foreground extraction approach by using color and local structure information
KR100690279B1 (ko) * 2005-09-12 2007-03-09 주식회사 리트코 다목적 영상감지 시스템
JP4714872B2 (ja) * 2006-01-12 2011-06-29 国立大学法人 東京大学 画像上重畳移動物体分割方法及び装置
US20080100473A1 (en) * 2006-10-25 2008-05-01 Siemens Corporate Research, Inc. Spatial-temporal Image Analysis in Vehicle Detection Systems
KR100818289B1 (ko) * 2007-02-02 2008-03-31 삼성전자주식회사 비디오 영상 트레킹 방법 및 장치
DE102007010186A1 (de) * 2007-03-02 2008-09-04 Robert Bosch Gmbh Vorrichtung, Verfahren und Computerprogramm zur bildgestützten Verfolgung von Überwachungsobjekten
WO2011141990A1 (ja) * 2010-05-10 2011-11-17 富士通株式会社 画像処理装置および画像処理プログラム
US10204444B2 (en) 2016-04-28 2019-02-12 Verizon Patent And Licensing Inc. Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object
JP7022041B2 (ja) * 2018-09-27 2022-02-17 本田技研工業株式会社 画像選択装置
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
CN112287805A (zh) * 2020-10-29 2021-01-29 地平线(上海)人工智能技术有限公司 运动物体的检测方法、装置、可读存储介质及电子设备
US12046047B2 (en) 2021-12-07 2024-07-23 Ford Global Technologies, Llc Object detection

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
EP0505858B1 (en) 1991-03-19 2002-08-14 Mitsubishi Denki Kabushiki Kaisha A moving body measuring device and an image processing device for measuring traffic flows
US5210799A (en) * 1991-03-28 1993-05-11 Texas Instruments Incorporated System and method for ranking and extracting salient contours for target recognition
US5838828A (en) 1995-12-12 1998-11-17 Massachusetts Institute Of Technology Method and apparatus for motion estimation in a video signal
JP3435623B2 (ja) 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
DE69738287T2 (de) * 1996-09-20 2008-06-12 Hitachi, Ltd. Verfahren zum Anzeigen eines sich bewegenden Objekts, dessen Bahn zu identifizieren ist, Anzeigesystem unter Verwendung dieses Verfahrens und Programmaufzeichnungsmedium dafür
US6188778B1 (en) * 1997-01-09 2001-02-13 Sumitomo Electric Industries, Ltd. Traffic congestion measuring method and apparatus and image processing method and apparatus
WO2000031706A1 (en) 1998-11-23 2000-06-02 Nestor, Inc. Traffic light collision avoidance system
JP4420512B2 (ja) 1999-06-01 2010-02-24 富士通マイクロエレクトロニクス株式会社 移動物体間動作分類方法及び装置並びに画像認識装置
US6999004B2 (en) * 2002-06-17 2006-02-14 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking

Also Published As

Publication number Publication date
JP4187448B2 (ja) 2008-11-26
EP1345175A2 (en) 2003-09-17
EP1345175B1 (en) 2017-02-22
CN1444183A (zh) 2003-09-24
KR100882368B1 (ko) 2009-02-05
US7149328B2 (en) 2006-12-12
EP1345175A3 (en) 2005-12-14
JP2003263626A (ja) 2003-09-19
US20030169340A1 (en) 2003-09-11
KR20030074266A (ko) 2003-09-19

Similar Documents

Publication Publication Date Title
CN1272747C (zh) 用于跟踪图像中移动物体的方法和装置
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
US11403859B2 (en) Three dimensional (3D) object detection
US20060092280A1 (en) Method and device for tracking moving objects in image
CN1716316A (zh) 基于彩色分割的立体3d重构系统和方法
CN106570874B (zh) 一种结合图像局部约束与对象全局约束的图像标记方法
CN1207924C (zh) 取决于图像的面部检测方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN103413444A (zh) 一种基于无人机高清视频的交通流调查处理方法
CN111967313A (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
Hsu et al. Industrial smoke detection and visualization
CN1799066A (zh) 使用概率框架的基于块的分析的计算机视觉方法及系统
CN111753693B (zh) 一种静态场景下目标检测方法
CN108471497A (zh) 一种基于云台摄像机的船目标实时检测方法
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN112686247A (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
CN115953447A (zh) 面向3d目标检测的点云一致性约束单目深度估计方法
CN114913438B (zh) 一种基于锚框最优聚类的YOLOv5园林异常目标识别方法
CN113177552A (zh) 一种基于深度学习的车牌识别方法
CN112861685B (zh) 基于射线爆发思想提取地图影像中区域地理信息的方法
JP2006031567A (ja) 建造物画像検索システム
CN110097566B (zh) 一种图像阈值分割方法及装置
Zu et al. Context-adaptive matching for optical flow

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: FUJITSU MICROELECTRONICS CO., LTD.

Free format text: FORMER OWNER: FUJITSU LIMITED

Effective date: 20090327

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090327

Address after: Tokyo, Japan

Co-patentee after: THE FOUNDATION FOR THE PROMOTION OF INDUSTRIAL SCIENCE

Patentee after: FUJITSU MICROELECTRONICS Ltd.

Address before: Kanagawa

Co-patentee before: THE FOUNDATION FOR THE PROMOTION OF INDUSTRIAL SCIENCE

Patentee before: FUJITSU Ltd.

C56 Change in the name or address of the patentee

Owner name: FUJITSU SEMICONDUCTOR CO., LTD.

Free format text: FORMER NAME: FUJITSU MICROELECTRON CO., LTD.

CP03 Change of name, title or address

Address after: Kanagawa

Co-patentee after: THE FOUNDATION FOR THE PROMOTION OF INDUSTRIAL SCIENCE

Patentee after: FUJITSU MICROELECTRONICS Ltd.

Address before: Tokyo, Japan

Co-patentee before: THE FOUNDATION FOR THE PROMOTION OF INDUSTRIAL SCIENCE

Patentee before: Fujitsu Microelectronics Ltd.

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160302

Address after: Kanagawa

Patentee after: SOCIONEXT Inc.

Patentee after: THE FOUNDATION FOR THE PROMOTION OF INDUSTRIAL SCIENCE

Address before: Kanagawa

Patentee before: FUJITSU MICROELECTRONICS Ltd.

Patentee before: THE FOUNDATION FOR THE PROMOTION OF INDUSTRIAL SCIENCE

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20060830