CN1729485A - 图像中的移动物体的跟踪方法及装置 - Google Patents

图像中的移动物体的跟踪方法及装置 Download PDF

Info

Publication number
CN1729485A
CN1729485A CNA2003801069714A CN200380106971A CN1729485A CN 1729485 A CN1729485 A CN 1729485A CN A2003801069714 A CNA2003801069714 A CN A2003801069714A CN 200380106971 A CN200380106971 A CN 200380106971A CN 1729485 A CN1729485 A CN 1729485A
Authority
CN
China
Prior art keywords
block
vector
image
motion
mobile object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003801069714A
Other languages
English (en)
Other versions
CN100385462C (zh
Inventor
上条俊介
坂内正夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FOUNDATION FOR PROMOTION O
Foundation for the Promotion of Industrial Science
Original Assignee
FOUNDATION FOR PROMOTION O
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FOUNDATION FOR PROMOTION O filed Critical FOUNDATION FOR PROMOTION O
Publication of CN1729485A publication Critical patent/CN1729485A/zh
Application granted granted Critical
Publication of CN100385462C publication Critical patent/CN100385462C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

一种图像中移动物体跟踪方法，为以很少的暂时存储的时序图像跟踪移动物体，对于时序图像中连续的N图像(N≥2)进行：(a)通过向相邻的区块的移动向量之差的绝对值在规定值以内的区块上付与相同识别符号，向在图像上相互重叠的移动物体付与相互不同的识别符号；(b)在该N图像的各图像中，作为付与了第1识别符号的区块群的第1目标和作为付与了第2识别符号的区块群的第2目标相接，且对于该N图像判断时间上相邻的图像的第1目标间的相关度是否为规定值以上；和(c)在该步骤(b)进行肯定判断后，随时间跟踪该第1目标和该第2目标。

Description

图像中的移动物体的跟踪方法及装置
技术领域
本发明涉及通过对时序图像进行处理而跟踪图像中的移动物体(汽车、自行车、动物等可移动物体)的移动物体跟踪方法及装置。
背景技术
交通事故的早期发现，不仅可以通过迅速的救助行动提高人命救助的成功率，还可通过警察迅速进行实地检测等缓和事故范围，因此期待着各种交通事故的识别自动化。为提高交通事故的识别率，需要对通过摄像机拍摄的图像进行处理而准确地跟踪移动物体。
图28为示意性表示通过设置于高速公路的中央线上方的摄像机拍摄的时刻t＝1～4的图像。
在图像中车辆彼此之间频繁重叠，因此难以通过图像处理而跟踪各车辆。为解决这种问题，需要沿着道路设置多部摄像机，从而综合地对这些图像进行处理。
但是，需要具备多部摄像机和图像处理装置，因此成本升高。并且，必须将各摄像机的拍摄图像以相关顺序综合地进行处理，因此处理变得复杂。
为此，本申请的发明者们根据如下的随时间跟踪移动物体的方法解决了这种问题(特开2002-133421)。
将时刻t＝1～4的时序图像暂时进行存储，并从t＝4开始识别车辆M1和M2，求出车辆M1和M2的移动向量，并根据该移动向量，移动t＝4的图像中的车辆M1和M2，假设车辆M1和M2已被识别的t＝3的图像，从而根据此图像与t＝3的实际的图像的相关关系，识别出t＝3的图像中的车辆M1和M2。
接着，通过对t＝3和t＝2的图像的相同处理，识别t＝2的图像中的车辆M1和M2。接着，通过对t＝2和t＝1的图像的相同处理，识别t＝1的图像中的车辆M1和M2。
通过这种处理，能够以1台摄像机跟踪车辆M1和M2。
然而，实际上，例如，由下述现象：由于处理12帧/秒的图像，而使时序图像的存储量变大，同时处理时间变长。
此外，为提高移动物体的边界识别精度，减小区块大小，则难以通过区块匹配而确定移动向量。
进而，在上述特开2002-133421中，各图像被分割为8×8像素组成的区块，并通过对各区块与背景图像对应的区块进行比较，判断是否存在移动物体。
该背景图像并非为恒定的，因此必须更新。例如，对于过去10分钟之内的全部图像，作成对应的像素的像素值的直方图，将其最频值(模式)作为该像素的像素值的图像作为背景图像。
发明内容
本发明鉴于这种问题，其目的在于提供一种能以更少数量的暂时存储的时序图像跟踪移动物体的图像中的移动物体的跟踪方法及装置。
本发明的另一目的在于无需艰难地确定移动向量而可提高移动物体的边界识别精度的图像中的移动物体的跟踪方法及装置。
本发明的又一目的是无需利用特别的背景图像的图像中的移动物体的跟踪方法及装置。
在本发明的一个实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，(a)通过向相邻的区块的移动向量之差的绝对值在规定值以内的区块上付与相同个识别符号，向在图像上相互重叠的移动物体付与相互不同的识别符号。
根据该构成，在1簇分离成多个目标之前，可随时间而对各个目标进行跟踪，因此当随时间而跟踪各移动物体时，可降低图像存储器的存储容量，且减少图像处理量，从而减轻CPU的负担。
在本发明的另一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的移动向量以区块单位求出，且存在未确定移动向量的第1区块的情况下，(a)抽出该第1区块周围的已确定的移动向量，(b)将该抽出的移动向量分组为相互的向量之差成为规定值以下，(c)将包括在向量数最大的组中的移动向量的大致平均向量推测为该第1区块的移动向量。
根据这种算法，即使未确定的移动向量较多，也可合理地推测该未确定移动向量。由此，可根据移动向量对包括多个目标的1簇进行分割。
在本发明的另一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，(a)将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，将该关注区块的识别符号推测为ID，(b)求出有关包括该时刻t2的图像的该关注区块周围的区块中识别符号为ID的至少1个区块的移动向量和该关注区块的移动向量MV之差的绝对值的相关度的量，(c)在规定范围内移动该第1区域并对各区域求出包括有关该相关度的量的评价函数的值，并根据该值的大致的最佳值确定该移动向量MV和该识别符号ID。
根据该方法，即使因关注区块的纹理信息量较少而无法以简单的区块匹配求出移动向量，也能够合理地同时确定移动向量和识别符号ID。
另外，也可取代步骤(b)，采用步骤(b’)，即求出有关将该关注区块-MV移动量的区域的中心所属的包括时刻t1的图像的区块BLK周围的区块中识别符号为ID的至少1个区块的移动向量和该关注区块的移动向量MV之差的绝对值的相关度的量。在这种情况下，该步骤(c)的有关相关度的量为例如∑|MV-MVneigher|/L，其中，Mvneigher为该区块BLK周围的区块中具有与该区块BLK的识别符号ID相同ID的区块的移动向量，∑为意味着具有该相同ID的区块的总和，L为具有该相同ID的区块的数量。
在本方的另一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，求出有关大于该区块大小的区域而与该区块大小的区域成为同心的第1区域的图像和与该第1区域相同形状而与该关注区块成为同心的第2区域的图像的相似度的量；将包括有关该相似度的量的评价函数的值，在规定范围内移动该第1区域并对各区域求出，根据该值的大致最佳值，确定该移动向量MV。
根据该构成，通过减小区块大小，不必艰难地确定移动向量便能提高移动物体的边界识别精度。
本发明的又一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，(a)将各图像分割为由多个像素组成的区块，(b)将背景图像也看作是移动物体的一种，以区块单位付与移动物体的识别符号，并且以区块单位求出该移动物体的移动向量。
根据该构成，无需利用特别的背景图像，且即使摄像机晃动，也可识别背景图像。
本发明的又一实施方式中，在处理时序图像而跟踪图像中的移动物体的图像上移动物体跟踪方法中，各图像被分割成由多个像素组成的区块，将以区块单位求出某一时刻的移动物体的移动向量的目标映象，在相互不同的时刻存储多张，(a)对于该多张目标映象中的1个，求出关注区域的移动向量；(b)只将求出移动向量的该关注区域向正或向负移动后的的区域的移动向量，根据移动后的时刻的目标映象求出；将该移动后的区域作为该移动后的时刻的目标映象上的关注区域，通过反复进行该步骤(b)，跟踪该关注区域。
根据该构成，即使将图像分成区块，以区块单位求出目标的移动向量，也能跟踪与区块边界无关的移动物体的局部(关注区域)。由此，能够例如对关注区域的移动图形进行解析或分类，或判断为特定的移动图形。且可对多个关注区域之间的相对位置的移动图形进行解析或分类，或判断为特定的移动图形。
本发明的其他目的和构成及效果由以下说明会更加明了。
附图说明
图1为表示交差点和配置于此的本发明的第1实施方式的移动物体跟踪装置的概略的图。
图2为图1中的移动物体跟踪装置的功能框图。
图3为表示帧图像内的付与到分别设定在指向交差点的4个入口和出自交差点的4个出口的边缘和区块的移动物体的ID的说明图。
图4(A)和(B)为分别与区块边界线一起表示时刻t1-1和t的图像的示意图。
图5(A)和(B)为分别与区块边界线一起表示时刻t1-1和t的图像的示意图。
图6(A)和(B)为分别与付与到区块的移动向量一起表示时刻t1-1和t的图像的示意图
图7(A)和(B)为分别表示将付与到时刻t1-1和t的目标映象的移动向量和目标边界的示意图。
图8为表示未确定移动向量的推测方法的流程图。
图9(A)和(B)为表示用于说明图8的处理过程的、付与到目标映象的移动向量和目标边界的示意图。
图10(A)～(C)为表示用于说明图8的处理过程的、付与到目标映象的移动向量和目标边界的示意性。
图11为表示本发明的第2实施方式的目标映象形成方法的流程图。
图12(A)和(B)为时空性纹理相关度的说明图。
图13(A)和(B)为空间性ID相关度的说明图。
图14(A)和(B)为时空性移动向量相关度的说明图。
图15为表示本发明的第2实施方式的实验结果的图，(A)和(B)为分别表示交差点上的拍摄图像及其ID的目标映象的图。
图16为表示本发明的第2实施方式的实验结果的图，(A)和(B)为分别表示高速公路上的低角度拍摄图像及其ID的目标映象的图。
图17为表示本发明的第2实施方式的实验结果的图，(A)和(B)为分别表示横行步道上的拍摄图像及该图像与ID的目标映象的ID付与部的网格重叠的图像的图。
图18为表示本发明的第3实施方式的对于是否确定了分割成簇的目标边界进行判断的方法的流程图。
图19(A)～(C)为用于说明图18的处理过程的图。
图20为本发明的第4实施方式的区块匹配说明图，(A)和(B)分别与区块边界线一起表示时刻t-1和t的图像的示意图。
图21(A)和(B)为用于说明本发明的第5实施方式的图，(A)为示意性表示图像的图，(B)为表示在第1阶段求得的移动向量的目标映象的图。
图22(A)和(B)为用于说明该第5实施方式的图，(A)表示在第2阶段求得的移动向量的目标映象的图，(B)为表示ID的目标映象的图。
图23为表示用于说明跟踪关注区域的本发明的第6实施方式的时序目标映象的图。
图24(A)～(C)为随时间跟踪关注区域的方法的说明图。
图25(A)和(B)为本发明的第7实施方式的目标边界识别方法说明图。
图26为表示对于1簇的移动向量的绝对值的直方图的图。
图27为表示本发明的第8实施方式的目标边界识别方法的流程图。
图28为表示由设置于道路中央线上方的摄像机拍摄的时序图像的示意图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。多个对应于图中的相同或类似的构成要素标以相同或类似的符号。
(第1实施方式)
图1为表示交差点和配置于此的本发明的第1实施方式的移动物体跟踪装置的概略的图。
该装置具有：拍摄交差点而输出图像信号的电子摄像机10、和处理该图像而跟踪移动物体的移动物体跟踪装置20。
图2为该移动物体跟踪装置20的功能框图。移动物体跟踪装置20的构成要素中，除了存储部以外，可由计算机软件、专用的硬件、或计算机软件和专用的硬件的组合而构成。
由电子摄像机10拍摄的时序图像例如为12帧/秒的速率储存于图像存储器21，且最早的帧被新帧图像所替换。
图像转换部22，对于图像存储器21内的各帧图像，将其复制到帧缓冲存储器23，并利用被复制的图像的数据，将与图像存储器21内的对应的帧图像转换为空间性差分帧图像。该转换以两阶段进行。
将原来的帧图像的第i行第j列的像素值(灰度值)设为G(i，j)，则第1阶段中的转换后的第i行第j列的像素值H(i，j)可由下式表示。
H(i，j)＝∑neighberpixcels|G(i+di，j+dj)-G(i，j)|    (1)
其中，∑neighberpixcels，将c设为自然数时，表示di＝-c～c和dj＝-c～c的总和，例如，当c＝1时，为与第i行第j列的像素相邻的像素的总和。若改变照度，像素值G(i，j)及其附近的像素值G(i+di，j+dj)同样发生变化，故H(i，j)的图像不随照度的变化而变。
其中，相邻的像素的差分的绝对值在一般像素值越大时而越大。为提高移动物体跟踪的成功率，在像素值较小而差分较小的情况下，优选与像素值和差分较大的情况大致等价地取得边缘信息。因此，可将H(i，j)规定为如下形式。
H(i，j)＝∑neighberpixcels|G(i+di，j+dj)
         -G(i，j)|/(Gi，j，max/Gmax)       (2)
其中，Gi，j，max为用于H(i，j)计算的原来像素值的最大值，例如当c＝1时，为以第i行第j列的像素为中心的3×3像素的最大值，Gmax为像素值G(i，j)所取的最大值，例如当像素值以8位表示时，为255。下面，对于c＝1、Gmax＝255情况进行说明。
H(i，j)可取的最大值，每个移动物体都不同。例如，当G(i，j)＝Gmax而与第i行第j列的像素相邻的8像素的值均为0时，H(i，j)＝8Gmax，从而H(i，j)可由8位表示。
另一方面，若制作移动物体的边缘部的H(i，j)的值的直方图，可知频度的大部分包括在H＝50～110的范围内。即，H的值越比大致110大，用于移动物体跟踪的边缘信息的数量越少，因此重要度降低。
因此，优选通过限制H值较大的部分而缩短转换像素的位长，对图像进行高速处理。因此，在第2阶段，使该H(i，j)通过利用了S形(Sigmoid)函数的下式，转换为I(i，j)。
    I＝Gmax/{1+exp[-β(H-α)]}       (3)
S形函数的线性在H＝α附近良好。因此，将阈值α的值设为具有边缘信息的H的频度分布的最频值，例如为80。
图像转换部22根据上式(2)和(3)，将图像值G(i，j)的图像转换为图像值I(i，j)的空间性差分帧图像，将其储存于图像存储器21。
背景图像生成部24、ID生成/削减部25和移动物体跟踪部27根据图像存储器21中的空间性差分帧图像进行处理。下面，将空间性差分帧图像简单称作帧图像。
背景图像生成部24具有存储部和处理部，处理部对图像存储器21进行存取，对例如过去10分钟的全部帧图像所对应的像素制作像素值的直方图，将其最频值(模式)作为该像素的图像生成为移动物体不存在的背景图像，储存于该存储部。背景图像通过定期进行该处理而更新。
在ID生成/消除部25中预先设定了图3所示的帧图像内的分别配值于指向交差点的4个入口和出自交差点的4个出口的槽EN1～EN4和EX1～EX4的位置及大小的数据。ID生成/消除部25从图像存储器21中读入入口槽EN1～EN4内的图像数据，并通过区块单位判断这些入口槽内是否存在移动物体。图3中的网格的单位为区块，1区块例如为8×8像素，1帧为480×640像素时，1帧被分割为60×80区块。某个区块中是否存在移动物体，通过该区块内的各像素和背景图像所对应的像素之差的总和是否为规定值以上而进行判断。该判断也在移动物体跟踪部中进行。
ID生成/消除部25，在判断为区块内存在移动物体时，向该区块付与新的目标识别符号(ID)。ID生成/消除部25，在判断为与已付与ID的区块相邻的区块中存在移动物体时，向该相邻区块付与和已付与区块相同的ID。该ID已付与区块还包括与入口槽相邻的区块。例如，在图3中的入口槽EN1内的区块中付与ID＝1。
ID的付与对于目标映象(Object map)存储部26内的所对应的区块进行。目标映象存储部26为用于存储上述的情况60×80区块的目标映象(Object map)，在各区块中作为区块信息而被付与了是否付与了ID的标志、付与了ID时为付与了该编号和后述的区块移动向量。另外，也可不利用该标志，在ID＝0时判断为ID未被付与。并且，也可将ID最上位的位作为特征。
对于通过入口槽的簇，通过移动物体跟踪部27，进行对于移动方向的区块ID付与和与移动相反方向的区块的ID削减，即簇的跟踪处理。利用移动物体跟踪部27的跟踪处理在各簇中进行至出口槽内。
ID生成/消除部25还查出是否在根据目标映象存储部26的内容的出口槽EX1～EX4内的区块上付与了ID，若以被付与，当簇通过出口槽时消除该ID。例如，从图3中的出口槽EX1内的区块中付与了ID＝3的状态变化至未付与ID的状态时，消除ID＝3。消除ID可用作下一个生成ID。
移动物体跟踪部27根据储存于目标映象存储部26的时刻(t-1)的目标映象和储存于图像存储器21的时刻(t-1)和t的帧图像，在存储部26内制作时刻t的目标映象。下面，对此进行说明。
图4～图7均示意性表示时刻t-1和t的图像。图4、图6和图7中的虚线为区块的边界线，图5中的虚线为像素的边界线。
第i行第j列的区块表示为B(i，j)，时刻t的第i行第j列的区块表示为B(t：i，j)。设区块B(t-1：1，4)的移动向量为MV。查找与将区块B(t-1：1，4)MV移动的区域最为对应的时刻t的区块。当图4(B)时，该区块为B(t：1，5)。如图5所示，对于规定范围AM内将区域AX每移动1像素时求出区块B(t：1，5)的图像和时刻t-1的区块大小的区域AX的图像的相关度(区块匹配)。
范围AM大于区块，其一边例如为区块的一边的像素数的1.5倍。范围AM的中心为将区块B(t：1，5)的中心大致MV移动后的位置的像素。
相关度为例如时空性纹理(texture)相关度，且区块B(t：1，5)和区域AX对应的像素值之差的绝对值的总和的评价值UD越小，则越大。
求出在范围AM内相关度成为最大的区域AX，并将该区域的中心为始点且以区块B(1，5)的中心为中点的向量确定为区块B(t：1，5)的移动向量。并且，将与相关度成为最大的区域AX最接近的时刻t-1的区块的ID确定为区块B(t：1，5)的ID。
移动物体跟踪部27向相邻的区块的移动向量之差的绝对值为规定值以下的区块付与相同的ID。由此，即使通过1簇，也能分割为具有互不相同的ID的多个目标(移动物体)。在图6中，以粗线表示目标间的边界。
在目标映象中虽然不存在移动物体的图像，但在图6中为便于理解，在目标映象中示意性地示出了移动物体。图7为在目标映象上以粗线表示了目标的边界的图，并于图6对应。
例如，通过图3的入口槽EN1检测1簇，不分割为多个目标，然后，如上所述地在时刻t1分割为多个目标时，从时刻t1随时间，通过与时间为正向的情况相同地求出目标映象，将靠前于时刻t1的目标映象分割成多个目标。由此，可对无法分割的目标进行分割而进行识别，可以跟踪各个目标。
在专利文献1中1簇分成多个簇后随时间跟踪各个目标，但根据本实施方式，在分成多个簇之前，例如从图28的比t＝4靠前的t＝2，可随时间跟踪各个目标，因此可降低图像存储器21的存储容量，且减少图像处理量而减轻CPU的负担。
在上述说明中，对于可求出簇内的区块的移动向量的情况进行了说明，但如图9(A)所述，存在无法求得移动向量的区块时，根据其位置难以断定该区块属于哪个目标。当属于某移动物体的区块内的各像素的颜色大致相同时，无法由上述的区块匹配法确定移动向量。例如，将图像(空间性差分帧图像)转换为二进制图像，若在区块内‘1’的像素的数为规定值以下，便判断为不适合用上述方法求出移动向量的区块。
通过图8所示的方法推测这种区块的移动向量。
(S1)若存在未确定的移动向量便进入步骤S2，否则便结束未确定移动向量推测处理。
(S2)在未确定移动向量的区块B(i，j)周围的8个区块中取出已被确定的移动向量MV1～MVn。
(S3)若存在由步骤S2已确定的移动向量，便进入步骤S4，否则进入步骤S6。
(S4)将移动向量MV1～MVn分成向量之间的差的绝对值为规定值以内的组。
(S5)将移动向量数最大的组的移动向量的平均值推测为区块B(i，j)的移动向量。当存在多个移动向量数最大的组时，将任1个组的移动向量的平均值推测为区块B(i，j)的移动向量。接着进入步骤S1。
另外，相同组的移动向量相互大致相等，因此也可将该相同组的移动向量的任1个推测为区块B(i，j)的移动向量。
(S6)将由步骤S5推测的移动向量看作已被确定的移动向量，返回步骤S1。
根据这种处理，可唯一地推测未确定移动向量。
接着，说明具体例。在图9(A)中，将第i行第j列的区块B(i，j)的移动向量表示为MV(i，j)。在图9(A)中，未确定区块B(2，2)、B(2，4)和B(3，3)的移动向量。
区块B(2，2)周围的区块的移动向量被分成MV(2，1)、MV(3，1)、MV(3，2)以及MV(2，3)组；和MV(1，2)以及MV(1，3)的组，因此选择前组，可推测为，
MV(2，2)＝(MV(2，1)+MV(3，1)+MV(3，2)+MV(2，3))/4。
区块B(2，4)周围的区块的移动向量被分成MV(2，3)、MV(3，4)、以及MV(3，5)组；和MV(1，3)、MV(1，4)、MV(1，5)以及MV(2，5)的组，因此选择后组，可推测为，
MV(2，4)＝(MV(1，3)+MV(1，4)+MV(1，5)+MV(2，5))/4。
区块B(3，3)周围的区块的移动向量为MV(2，3)、MV(3，2)、MV(4，2)、MV(4，4)以及MV(3，4)的1组，因此可推测为，
MV(3，3)＝(MV(2，3)+MV(3，2)+MV(4，2)+MV(4，4)+MV(3，4))/5。
就这样，生成如图9(B)所示的目标映象。在图9(B)中以粗线表示了目标的边界。
如图10(A)所示地未确定移动向量的数量较多时，到步骤S3进行否定判断之前，反复进行步骤S1～S5，则也可唯一地推测移动向量而成为图10(B)所示的状态。接着，将由步骤S6推测的移动向量看作是以被确定的移动向量，通过再次进行步骤S1～S5，唯一地推测区块B(3，4)的移动向量，成为图10(C)的状态。接着，通过向相邻的区块的移动向量的差的绝对值为规定值以下的区块付与相同的ID，使1簇分割为具有相互不同的ID的多个目标。
另外，移动物体跟踪部27将储存于目标映象26的目标映象的时序作为跟踪结果储存到未图示的硬盘中。
(第2实施方式)
在上述第1实施方式中，由于仅根据其周围的区块的移动向量确定了未确定移动向量，因此当未确定移动向量较多时，这些区块的ID和移动向量的确定精度变低。
为提高该精度，在本发明的第2实施方式中，根据后述的评价函数的值，同时确定全部区块的ID和移动向量。在该第2实施方式中也与上述第1实施方式一样，图2的移动物体跟踪部27，根据储存于目标映象存储部26的时刻(t-1)的目标映象和储存于图像存储器21的时刻(t-1)及t的帧图像，将时刻t的目标映象形成于存储部26内。
首先，对于包括移动物体的局部的任意的区块B(t：i，j)的评价函数U(i，j)进行说明。评价函数U(i，j)可表示为如下式的4个辅助评价函数的一阶结合。
U(i，j)＝aUD+bUM+cUN+fUV    (1)
其中，a～c和f为常数，由试行错误决定。
下面，将1区块设为m×m像素，并以G(t：g，h)表示时刻t的图像的第g行第h列的像素的值，以(MVX，MVY)表示区块B(t：i，j)的推测动态像量MV。且设i≥0、j≥0。
(1)表示时空性纹理相关度的辅助评价函数UD
辅助评价函数UD表示时空性纹理相关度，并与上述第1实施方式中说明相同，可由下式表示。
UD(i，j，MV)＝∑|G(t：mi+x，mj+y)-
            G(t-1：mi+x-MVX，mj+y-MVY)|     (2)
其中，∑为表示x＝0～m-1和y＝0～m-1的总和。
在图12中，虚线为区块边界线，打斜线的部分表示移动物体。图12(B)为表示关注区块B(t：1，2)的推测移动向量为MV的情况，图12(A)为表示将区块B(t-1：1，2)移动-MV的区域AX。在这种情况下，算出区块B(t：1，2)的图像和区域AX的图像的评价函数UD(1，2，MV)。MV发生变化时UD的值发生变化，且UD的值越小，区块B(t：1，2)的图像和区域AX的图像之间的纹理相关度越大。UD为最小值时的MV为最准确的移动向量。移动物体的速度没有限制，因此从关注区块B(t：1，2)的中心至规定范围内例如上下±25像素、左右±25像素的范围内，移动区域AX而求出UD的最小值。该规定范围也可以，如第1实施方式所述，利用时刻t-1的移动向量进行预测的范围AM。
(2)表示时空性ID相关度的辅助评价函数UM
图13(A)和(B)分别对应于图12(A)和(B)，且打斜线的部分表示判断为存在移动物体的区块。
当推测为关注区块B(t：1，2)的ID为ID1时，将包括于上述区域AX内的ID＝ID1的像素数设为M。在图13(A)时，区域AX内的打斜线的部分的像素数为M。但是，关注区块B(t：1，2)的推测ID与区域AX内的ID全部不同时，成为M＝0。M的最大值为m2。
辅助评价函数UM表示时空性ID相关度，由下式表示。
UM(i，j，MV)＝(M-m2)2    (3)
UM的值越小，时间性ID相关度越高。
从关注区块B(t：i，j)的中心在上述规定范围内移动区域AX求出aUD+bUM的最小值，由此，可同时确定关注区块的ID和MV。
(3)表示空间性ID相关度的辅助评价函数UN
在图13(B)中，推测为关注区块B(t：1，2)的ID为ID1时，将关注区块周围的8个区块B(t：0，1)、B(t：0，2)、B(t：0，3)、B(t：1，3)、B(t：2，3)、B(t：2，2)、B(t：2，1)、和B(t：1，1)中ID为ID1的区块的个数设为N。当图13(B)的打斜线的部分的ID全部相同时，关注区块B(t：1，2)的N的值为5。
辅助评价函数UN表示空间性ID相关度，由下式表示。
UN(i，j)＝(N-8)2     (4)
UN的值越小，空间性ID相关度越高。
(4)表示空间性MV相关度的辅助评价函数UV
从关注区块B(t：i，j)的中心在上述规定范围内移动区域AX而求出aUD+bUM+cUN的最小值，由此，可同时确定关注区块的ID和MV。
然而，移动了区域AX时，存在多个与关注区块相同纹理的区域的情况下，移动向量MV无法确定。该移动向量MV可推测为大致与关注区块附近且相同ID的区块的移动向量MV相同。因此，定义了表示空间性MV相关度的如下的辅助评价函数UV。
UV(i，j)＝∑|MV-MVneigher|/L       (5)
其中，MV为上述(1)式中所述的关注区块B(t：i，j)的推测移动向量，MVneigher为关注区块B(t：i，j)周围的8个区块中具有与关注区块B(t：i，j)的推测ID相同ID的区块的移动向量，∑表示具有该相同ID的区块的总和，L为具有该相同ID的区块的个数。
在图14(A)的情况下，若打斜线的区块为相同ID，为
UV(1，2)＝(|MV-MV1|+|MV-MV2|+|MV-MV3|
          +|MV-MV4|+|MV-MV5|)/5。
当时刻t-1的上述区域AX为图14(B)的情况时，UV(1，2)的值变大，推测移动向量MV的准确程度较小。UV的值越小，空间性MV相关度越高。
从关注区块B(t：i，j)的中心在上述规定范围内移动区域AX即改变MV，从而可同时确定关注区块的ID和MV，使上式(1)的评价函数U成为最小值。
另外，MVneigher可以为关注区块B(t：i，j)周围的区块，例如也可以为上下左右4个区块、关注区块B(t：i，j)周围(1周)的8个区块中任意的1个区块或关注区块B(t：i，j)周围(2周)的24个区块中，具有与关注区块B(t：i，j)的推测ID相同ID的区块的移动向量。并且，MVneigher还可由时刻t-1所对应的移动向量近似。即，若将关注区块B(t：i，j)-MV移动的区域的中心所属的区块设成B(t-1：p，q)，则可以为区块B(t-1：p，q)附近的区块中具有与关注区块B(t：i，j)的推测ID相同ID的区块的移动向量。
辅助评价函数UN和UV均与时刻t的空间性相关度有关，因此通过求出全部区块的评价函数U的总和的最小值，同时确定时刻t的全部区块的ID和MV较为理想。实际上，为了缩短处理时间而能够进行实时处理，根据图11所示的近似法确定ID和MV。
(S11)对于在时刻t包括了移动物体的局部的各区块，求出使上式(2)的评价函数UD的值成为最小的移动向量MV。但是，对于不适合求出上述移动向量的区块，则不求移动向量MV。接着，对于适合求出移动向量的各区块，求出使上式(5)的评价函数UV的值成为最小的移动向量MV。在这种情况下，也可通过添加图18的步骤S1～S3和S6的处理，唯一地确定移动向量MV。
(S12)对于具有移动向量MV的各区块，确定ID使上式(3)的评价函数UM成为最小。该移动向量MV由步骤S11求出，且为固定值。对于在时刻t-1未付与ID的最初的图像，向相邻的区块的移动向量MV的差为规定值以内的区块付与相同ID。
(S13)求出ID和MV所求得的各区块的评价函数U的值的总和UT。
(S14)为求出使总和UT更小的ID和MV的分布，改变该分布。
(S15)若判断为反复进行规定次数的步骤S13和S14，或判断为总和UT收敛，则结束处理，否则返回步骤S15。
就这样，可实时地求出使总和UT大致成为最小的ID和MV的分布。
例如，在步骤S16中，若将1个区块的MV在规定范围内偏离1像素或改变1个区块的ID，且回到步骤S15使总和UT大于前值，而在步骤S16中，使改变的MV或ID恢复成原来的值而变小，则对于下一个区块也进行相同的改变。该规定范围例如对于上下左右各个为+4像素。
此外，改变1个区块的MV或ID，其影响也不涉及全部区块的评价函数，因此也可不求总和UT，使全部区块中受影响的区块的评价函数U的值的总和UTportion大致成为最小。在这种情况下，暂时存储各区块的评价函数U的值，并通过将其前次的值和此次的值进行比较，可判断有无影响。
进而，也可取代进行步骤S13～S15的反复处理，预先推测使总和UT变小的处理，通过该处理计算总和UT或UTportion，若该值小于处理前，则采用其目标映象，否则采用处理前的目标映象。该推测处理例如为基于上式(5)的移动向量的空间性平均化。即，通过将式(5)中的MV成为MV＝∑MVneigher/L，可使式(5)的值成为最小，因此利用已求出的MVneigher，使MV成为MV＝∑MVneigher/L。
此外，在步骤S11中，也可不求出不适于求出移动向量的区块的移动向量，而通过步骤S13～S15的处理或代替该处理的前述处理，确定不适于求出移动向量的区块的移动向量。
接着，说明第2实施方式的实验结果。
常数a～c和f因试行错误而被确定为，a＝32/1000000、b＝1/256、c＝1/2、f＝1/4。并且，取代进行步骤S13～S15的反复处理，进行上述移动向量的空间性平均化处理。
图15(A)和(B)分别表示交差点上的拍摄图像及其ID的目标映象。图中的粗线表示包括了相同ID的矩形(以下相同)。
图16(A)和(B)分别表示高速公路上的低角度拍摄图像及其ID的目标映象。
图17(A)和(B)分别表示横行步道上的拍摄图像及将其与ID的目标映象的ID付与部的网格重叠的图像。
图16(A)和图17(B)中的矩形所付与的编号为目标的ID。
可以跟踪这种复杂重叠的移动物体。
(第3实施方式)
如图10(C)所示，在目标边界两侧推测的移动向量的个数较多，且边界两侧的移动向量的差的绝对值较小时，目标边界的精度变差。在这种情况下，随时间而跟踪目标，则跟踪精度也变差。
通过将对于相邻的区块的移动向量MV的差在规定值以内的区块付与相同ID的规则中的该规定值增大，可解决这类问题，但在这种情况下，随时间的跟踪处理的开始时点延迟。
因此，在本发明的第3实施方式中，为解决这些问题，通过进行图18所示的方法，确定了随时间的跟踪处理的开始时点。在该方法中，对于连续的N图像、例如3图像，在时间上相邻的图像中的相同目标间的相关度(目标的时空性相关度)为规定值以上时，判断为目标边界的可靠性高。
例如假设图19(A)所示的时刻t-1的目标映象已被制作。
(S21)向计数器CNT中代入初始值0。
(S22)将时刻t的目标映象以上述第1实施方式所述的方法形成。图19(B)表示时刻t的目标映象。
(S23)当在1簇中包括多个目标时，进入步骤S24，否则，进入步骤S27。
(S24)对于时刻t-1和t的目标映象，求出目标的时空性相关度。
例如，求出将图19(A)的一个目标OBJ1(t-1)移动该目标的平均移动向量的量的图形和将图19(B)的该一个所对应的目标OBJ1(t)的图形的图形逻辑积(图19(C)中打斜线的图形)的面积A1，并求出目标OBJ1(t-1)的图形的面积A0，从而将其比A1/A0作为相关度求出。面积A0也可为目标OBJ1(t)的图形的面积A0。
(S25)若A1/A0为规定值r0以上，便进入步骤S26，否则进入步骤S27。
(S26)对计数器CNT加1，进入步骤S28。
(S27)将计数器CNT清零。
(S28)若CNT＜N-1，则进入步骤S29，否则进入步骤S30。
(S29)将下一时刻t+1设成t，返回步骤S21。
(S30)判断为目标的时空性相关度高，从时间t跟踪目标。
(第4实施方式)
图20为本发明的第4实施方式的目标映象说明图。
若减小区块大小，目标的边界精度就提高。但是，越减小区块大小，就越难由区块匹配确定移动向量。
为解决这种问题，在本发明的第4实施方式中，使得用于确定付与ID和移动向量MV的各区块B(i，j)的移动向量的区块B’(i，j)的大小大于区块B(i，j)的大小。区块B’(i，j)与区块区块B(i，j)同心，且在区块B’(i，j)内包括了区块B(i，j)。
例如在图20中，区块B’(t：3，10)用于求出B(t：3，10)的移动向量。与图5的情况相同，在规定范围AM内，区域AX每移动1像素时，求出B’(t：3，10)的图像和时刻t-1的区块大小的区域AX的图像的纹理相关度。
其它方面与上述第1、第2或第3实施方式相同。
(第5实施方式)
在上述实施方式中，通过以区块单位与背景图像进行比较，可查出是否存在目标，因此必须特别采集背景图像。并且，例如根据过去10分钟的拍摄图像生成背景图像，因此当摄像机晃动时，无法将该晃动情况反映到背景图像上。
因此，在本发明的第5实施方式中，为了解决这种问题，将背景图像也看作目标来形成目标映象。目标映象生成方法除了与背景图像进行比较而判断在区块中是否存在移动物体的方面以外，与上述第1、第2或第3实施方式相同。且因背景图像也看作目标，故通过对于全部的区块进行区块匹配，付与ID，且确定MV。
接着，参照图21和图22，对于通过图11的处理形成时刻t的目标映象的过程的概略进行说明。
(S11)在时刻t对于各区块，求出使上式(2)的评价函数UD的值成为最小的移动向量MV。但是，对于不适于求出上述的移动向量的区块，则不求出移动向量MV。
对于图21(A)所示的图像，通过进行该处理，得出图21(B)所示的移动向量的目标映象。在图21(B)中，虚线为区块的边界线，点表示移动向量为0。
接着，对不适于求出移动向量的各区块，求出使上式(5)的评价函数UV的值成为最小的移动向量MV。由此，得出图22(A)所示的移动向量的目标映象。
步骤S12～S15的处理与第2实施方式相同。
通过步骤S12的处理，得出如图22(B)所示的ID的目标映象。
由此，无需利用特别的背景图像，且即使摄像机晃动，也可识别背景图像。并且，无需在图像上设置入口槽。进而，通过消除从图像的边框得出的目标的ID，也可不利用出口槽。
(第6实施方式)
在以上的实施方式中，将图像分割为区块，以区块单为确定目标的ID和MV，因此无法跟踪与区块的边界无关的移动物体的局部例如区块大小的区域。
在本发明的第6实施方式中，将图像分割为区块，以区块单为确定目标的ID和MV，并且跟踪与区块的边界无关的移动物体的局部。
在图2的目标映象存储部26，如图23所示，储存有对应于时刻t～t-5的时序图像的目标映象OM(t)～OM(t-5)。
在下一时刻，成为t→t-1，即目标映象OM(t)～OM(t-5)分别成为OM(t-1)～OM(t-6)。并且，最早的目标映象OM(t-6)更新为新的目标映象OM(t)。
在图2的移动物体跟踪部27中，移动物体的局部的跟踪由以下形式进行。
如图24(A)所示，设目标映象OM(t)上的关注区域A(t)的移动向量为MV。图24(A)中的虚线为区块的边界，在该例中，关注区域A(t)与1个区块一致。
如图24(B)所示，求出将关注区域A(t)-MV移动(t)的区域所对应的目标映象OM(t-1)的关注区域A(t-1)。
根据如下的叠加平均法求出关注区域A(t-1)的移动向量MV(t-1)。
MV(t-1)＝(MV1·S1+MV2·S2+MV3·S3+
         MV4·S4)/(S1+S2+S3+S4)
其中，MV1～MV4为与关注区域A(t-1)重叠的第1～4区块的移动向量，S1～S4为与关注区域A(t-1)重叠的第1～4区块的重叠部分像素数。
如图24(C)所示，求出将关注区域A(t-1)-MV(t-1)移动的区域所对应的目标映象OM(t-2)的关注区域A(t-2)。
与上述同样的方法求出关注区域A(t-2)的移动向量MV(t-2)。
通过反复进行这种关注区域的移动和移动后的关注区域的移动向量计算的处理，可与区块边界无关地跟踪关注区域。即，对于时刻t关注区域A(t)，可以求出时刻t-1～t-5的关注区域A(t-1)～A(t-5)。
根据本发明的第6实施方式，可跟踪作为移动物体的局部的关注区域，例如可以对关注区域的移动图形进行解析或分类，或者判断为特定的移动图形。并且，可对多个关注区域的移动图形进行解析或分类，或者判断为特定的移动图形。
在上述例中，对于时刻t的关注区域与1个区块一致的情况进行了说明，但也可如图24(B)所示，关注区域与1个区块不一致。这种情况下的关注区域的移动向量如上所述地由叠加平均法求出。
此外，在上述的例中，也可对于随时间跟踪关注区域的情况进行了说明，但从目标映象OM(t-5)上的关注区域A(t-5)出发向移动向量的正向移动关注区域，由此，跟踪关注区域。在这种情况下，通过在每求得新的目标映象OM(t)时求出关注区域A(t)，可跟踪关注区域。
进而，关注区域也可大于或小于区块大小。
(第7实施方式)
接着，将在目标边界识别上利用了上述第6实施方式的方法的例子作为第7实施方式而进行说明。
在图25(A)中，设目标映象OM(t)上的相邻的关注区域Ai(t)和Aj(t)的移动向量分别为MVi(t)和MVj(t)。即使区域Ai(t)和Aj(t)为互不相同的移动物体的局部，在|MVi(t)-MVj(t)|较小时，也无法将两者识别为不同的移动物体。特别是感觉距摄像机较远的多个移动物体相互重叠时，产生这种问题。
因此，通过上述第6实施方式的方法，确定目标映象OM(t-5)上的相邻的关注区域Ai(t-5)和Aj(t-5)。作为较早发出的移动向量MVi(t-5，t)求出区域Ai(t-5)的中心至Ai(t)的中心的移动向量。同样，作为较早发出的移动向量MVj(t-5，t)求出区域Aj(t-5)的中心至Aj(t)的中心的移动向量。并且，若|MVi(t-5，t)-MVj(t-5，t)|的值超过规定值ε，可识别为关注区域Ai(t)和Aj(t)的边界为互不相同的移动物体的边界。
通过将这种处理适用到目标映象OM(t)上的1簇内的全部相邻的区块，可分割识别包括在该簇内的多个移动物体。
在上述例子中，对于|MVi(t-k，t)-MVj(t-k，t)|的k为5的情况进行了说明，但优选看似重叠的移动物体间的图像上的相对速度越小使k的值越大的方法。
因此，对于1个簇，制作图26所示的移动向量的绝对值的直方图。存在多个波峰时，可推测为在该簇中包括有多个移动物体。对于波峰间的距离ΔV，将k值确定为，
k＝[αΔV]。
其中，α为由试行错误而定的常数，[]表示通过四舍五入的整数化。
(第8实施方式)
图27为表示本发明的第8实施方式的移动体边界识别方法的流程图。
在该方法中，未制作上述直方图，而对图25(A)的2个关注区域，如下地将k的值由0改变至最大值kmax。Kmax例如在10帧/秒时为5。
(S31)将初始值0代入k。
(S32)若|MVi(t-k，t)-MVj(t-k，t)|＞ε，则进入步骤S33，否则进入步骤S34。
(S33)识别为关注区域Ai(t)和Aj(t)的边界为互不相同的移动物体的边界。
(S34)对k值加1。
(S35)若k＞kmax，便进入步骤S36，否则返回步骤S32。
(S36)识别为关注区域Ai(t)和Aj(t)属于相同移动物体。
其它方面与上述第7实施方式相同。
根据该第8实施方式，不制作上述直方图而自动地确定k值。
另外，本发明除此以外也包括各种变形例。
例如，在上述实施方式中对于处理空间性差分图像而跟踪移动物体的情况进行了说明，但本发明还可以为处理各种边缘图像和原始图像而跟踪移动物体(包括移动物体的局部)的构成。

Claims (37)

1.一种图像中移动物体跟踪方法，处理时序图像而跟踪图像中的移动物体，其特征在于，
各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量则以区块单位求出的情况下，
(a)通过向相邻的区块的移动向量之差的绝对值在规定值以内的区块上付与相同识别符号，向在图像上相互重叠的移动物体付与相互不同的识别符号。
2.如权利要求1所述的图像中移动物体跟踪方法，其中，对于该时序图像中连续的N图像(N≥2)进行该步骤(a)的处理，
(b)在该N图像的各图像中，作为付与了第1识别符号的区块群的第1目标和作为付与了第2识别符号的区块群的第2目标相接，且对于该N图像判断时间上相邻的图像的第1目标间的相关度是否为规定值以上。
3.如权利要求2所述的图像中移动物体跟踪方法，其中，该相关度与将该时间性相邻的第1目标的一个根据其移动向量移动的结果和另一个的图形逻辑积的面积的、对于该一个或另一个面积的比例大致相等。
4.如权利要求2或3所述的图像中移动物体跟踪方法，其中，还具有步骤(c)，在该步骤(b)进行肯定判断后，随时间跟踪该第1目标和该第2目标。
5.一种图像中移动物体跟踪装置，具有：储存时序图像和程序的存储装置、和与该存储装置连接的处理器，其特征在于，
该程序通过对该处理器读出该时序图像而进行处理，从而跟踪图像中的移动物体，且通过该处理，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位付与，并且该移动物体的移动向量以区块单位求出，
该程序具有步骤(a)，通过对相邻的区块的移动向量的差的绝对值在规定值以内的区块付与相同识别符号，向图像上相互重叠的移动物体付与互不相同的识别符号。
6.如权利要求5所述的图像中移动物体跟踪装置，其中，该程序具有：对于该时序图像中的连续的N图像(N≥2)进行该步骤(a)处理的步骤；和
步骤(b)，在该N图像的各图像中，作为付与了第1识别符号的区块群的第1目标和作为付与了第2识别符号的区块群的第2目标相接，且对于该N图像判断时间上相邻的图像的第1目标间的相关度是否为规定值以上。
7.如权利要求6所述的图像中移动物体跟踪装置，其中，该步骤(b)的该相关度与将该时间性相邻的第1目标的一个根据其移动向量移动的结果和另一个的图形逻辑积的面积的、对于该一个或另一个面积的比例大致相等。
8.如权利要求6或7所述的图像中移动物体跟踪装置，其中，该程序还具有步骤(c)，由该步骤(b)进行肯定判断后，随时间跟踪该第1目标和该第2目标。
9.一种图像中移动物体跟踪方法，处理时序图像而跟踪图像中的移动物体，其特征在于，
各图像被分割成由多个像素组成的区块，移动物体的移动向量以区块单位求出，且存在未确定移动向量的第1区块的情况下，
(a)抽出该第1区块周围的已确定的移动向量；
(b)将该抽出的移动向量分组为相互的向量之差成为规定值以下；
(c)将包括在向量数最大的组中的移动向量的大致平均向量推测为该第1区块的移动向量。
10.如权利要求9所述的图像中移动物体跟踪方法，其中，应在该步骤(a)中抽出的已确定的移动向量不存在时，将由该步骤(c)推测的移动向量看作已确定的移动向量，并执行该步骤(a)～(c)。
11.一种图像中移动物体跟踪装置，具有：储存时序图像和程序的存储装置、和与该存储装置连接的处理器，其特征在于，
该程序通过对该处理器读出该时序图像而进行处理，从而跟踪图像中的移动物体，且通过该处理，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位付与，并且该移动物体的移动向量以区块单位求出，而该程序在存在未确定移动向量的第1区块时，具有：
(a)抽出该第1区块周围的已确定的移动向量的步骤；
(b)将该抽出的移动向量分组为使相互的向量差的绝对值为规定值以下的步骤；和
(c)将包括在向量数最大的组中的移动向量的大致平均向量推测为该第1区块的移动向量的过程。
12.如权利要求11所述的图像中移动物体跟踪装置，其中，该程序还具有步骤(d)，在不存在应在该步骤(a)抽出的已确定的移动向量时，将由该步骤(c)推测的移动向量看作已确定的移动向量，并执行该步骤(a)～(c)。
13.一种图像中移动物体跟踪方法，处理时序图像而跟踪图像中的移动物体，其特征在于，
各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，
(a)将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，将该关注区块的识别符号推测为ID，
(b)求出有关包括该时刻t2的图像的该关注区块周围的区块中识别符号为ID的至少1个区块的移动向量和该关注区块的移动向量MV之差的绝对值的相关度的量，
(c)在规定范围内移动该第1区域并对各区域求出包括有关该相关度的量的评价函数的值，并根据该值的大致的最佳值确定该移动向量MV和该识别符号ID。
14.如权利要求13所述的图像中移动物体跟踪方法，其中，
有关该步骤(c)的相关度的量为∑|MV-MVneigher|/L，
其中，MVneigher为该区块周围的区块中具有与该区块的识别符号ID相同ID的区块的移动向量，∑为表示具有该相同ID的区块的总和，L为具有该相同ID的区块的数量。
15.一种图像中移动物体跟踪装置，具有：储存时序图像和程序的存储装置、和与该存储装置连接的处理器，其特征在于，
该程序通过对该处理器读出该时序图像而进行处理，从而跟踪图像中的移动物体，且通过该处理，各图像被分割成由多个像素组成的区块，该程序在移动物体的识别符号以区块单位付与，并且该移动物体的移动向量以区块单位求出时，具有：
步骤(a)，将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，将该关注区块的识别符号推测为ID，
步骤(b)，求出有关包括该时刻t2的图像的该关注区块周围的区块中识别符号为ID的至少1个区块的移动向量和该关注区块的移动向量MV之差的绝对值的相关度的量，
步骤(c)，在规定范围内移动该第1区域并对各区域求出包括有关该相关度的量的评价函数的值，并根据该值的大致的最佳值确定该移动向量MV和该识别符号ID。
16.如权利要求15所述的图像中移动物体跟踪装置，其中，
有关该步骤(c)的相关度的量为∑|MV-MVneigher|/L，
其中，MVneigher为该区块周围的区块中具有与该区块的识别符号ID相同ID的区块的移动向量，∑为表示具有该相同ID的区块的总和，L为具有该相同ID的区块的数量。
17.一种图像中移动物体跟踪方法，处理时序图像而跟踪图像中的移动物体，其特征在于，
各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位被付与，并且该移动物体的移动向量以区块单位求出的情况下，
将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，求出有关大于该区块大小的区域而与该区块大小的区域成为同心的第1区域的图像和与该第1区域相同形状而与该关注区块成为同心的第2区域的图像的相似度的量，
将包括有关该相似度的量的评价函数的值，在规定范围内移动该第1区域并对各区域求出，根据该值的大致最佳值，确定该移动向量MV。
18.一种图像中移动物体跟踪装置，具有：储存时序图像和程序的存储装置、和与该存储装置连接的处理器，其特征在于，
该程序通过对该处理器读出该时序图像而进行处理，从而跟踪图像中的移动物体，且通过该处理，各图像被分割成由多个像素组成的区块，移动物体的识别符号以区块单位付与，并且该移动物体的移动向量以区块单位求出，该程序，具有：
将时刻t1的图像的区块大小的区域至时刻t2的图像的关注区块的移动向量推测为MV，求出有关大于该区块大小的区域而与该区块大小的区域成为同心的第1区域的图像和与该第1区域相同形状而与该关注区块成为同心的第2区域的图像的相似度的量的步骤；和
将包括有关该相似度的量的评价函数的值，在规定范围内移动该第1区域并对各区域求出，根据该值的大致最佳值，确定该移动向量MV的步骤。
19.一种图像中移动物体跟踪方法，处理时序图像而跟踪图像中的移动物体，其特征在于，
(a)将各图像分割为由多个像素组成的区块，
(b)将背景图像也看作是移动物体的一种，以区块单位付与移动物体的识别符号，并且以区块单位求出该移动物体的移动向量。
20.如权利要求19所述的图像中移动物体跟踪方法，其中，在该步骤(b)中，
(b1)不区分是否为背景图像，而通过时刻t1和t2的图像间的区块匹配，确定该时刻t2的区块的移动向量；
(b2)通过由权利要求9、10、13或14中任一项所述的方法进行推测而求出在该步骤(b1)中未被确定的区块的移动向量，
(b3)向相邻的区块的移动向量的差的绝对值为规定值以下的区块付与相同的识别符号。
21.一种图像中移动物体跟踪装置，具有：储存时序图像和程序的存储装置、和与该存储装置连接的处理器，其特征在于，
该程序通过对该处理器读出该时序图像而进行处理，从而跟踪图像中的移动物体，且通过该处理，各图像被分割成由多个像素组成的区块，该程序，具有：
步骤(b1)，不区分是否为背景图像，而通过时刻t1和t2的图像间的区块匹配，确定该时刻t2的区块的移动向量；
步骤(b2)，通过由权利要求9、10、13或14中任一项所述的方法进行推测而求出在该步骤(b1)中未被确定的区块的移动向量；和
步骤(b3)，向相邻的区块的移动向量的差的绝对值为规定值以下的区块付与相同的识别符号。
22.一种图像中移动物体跟踪方法，处理时序图像而跟踪图像中的移动物体，其特征在于，
各图像被分割成由多个像素组成的区块；
将以区块单位求出某一时刻的移动物体的移动向量的目标映象，在相互不同的时刻存储多张；
(a)对于该多张目标映象中的1个，求出关注区域的移动向量；
(b)只将求出移动向量的该关注区域向正或向负移动后的的区域的移动向量，根据移动后的时刻的目标映象求出，
将该移动后的区域作为该移动后的时刻的目标映象上的关注区域，通过反复进行该步骤(b)，跟踪该关注区域。
23.如权利要求22所述的图像中移动物体跟踪方法，其中，在该步骤(a)或(b)中，以与该关注区域重叠的各区块的重叠部分的像素数作为权重，求出与该关注区域重叠的各区块的移动向量的加权平均向量，并将该加权平均向量当作该关注区域的移动向量。
24.如权利要求22或23所述的图像中移动物体跟踪方法，其中，该步骤(a)的关注区域为1个区块。
25.如权利要求22或23所述的图像中移动物体跟踪方法，其中，该步骤(a)的目标映象为最新的目标映象，且在该步骤(b)中使该关注区域向负方向移动。
26.如权利要求22或23所述的图像中移动物体跟踪方法，其中，通过将最早的目标映象更新为最新的目标映象，保持该多张恒定。
27.如权利要求22或23所述的图像中移动物体跟踪方法，其中，根据时刻t1和时刻t2的目标映象上的相互对应的关注区域，求出该时刻t1至该时刻t2的移动向量作为超前移动向量，并且，当该时刻t2的目标映象上的相邻的关注区域的超前移动向量的绝对值的差大于规定值时，识别为该相邻的关注区域是互不相同的移动物体。
28.如权利要求27所述的图像中移动物体跟踪方法，其中，对于作为具有移动向量的相邻的区块的聚集体的1簇，在移动向量的绝对值的直方图的波峰存在多个时，根据波峰间的速度差，确定该时刻t1和该时刻t2的间隔。
29.如权利要求27所述的图像中移动物体跟踪方法，其中，每扩展该时刻t1至该时刻t2的间隔时，判断该时刻t2的目标映象上的相邻的关注区域的超前移动向量的绝对值的差是否大于规定值，并且，该间隔为预定的最大值以下且该差大于规定值，则识别为该相邻的关注区域是互不相同的移动物体。
30.一种图像中移动物体跟踪装置，具有：储存时序图像和程序的存储装置、和与该存储装置连接的处理器，其特征在于，该程序通过对该处理器读出该时序图像而进行处理，从而跟踪图像中的移动物体，且通过该处理，各图像被分割成由多个像素组成的区块，而以区块单位求出某一时刻的移动物体的移动向量的目标映象在互不相同的时刻在该存储装置中储存了多张，该程序，具有：
步骤(a)，对于该多张目标映象中的1个，求出关注区域的移动向量；和
步骤(b)，只将求出移动向量的该关注区域向正或向负移动后的的区域的移动向量，根据移动后的时刻的目标映象求出，
将该移动后的区域作为该移动后的时刻的目标映象上的关注区域，通过反复进行该步骤(b)，跟踪该关注区域。
31.如权利要求30所述的图像中移动物体跟踪装置，其中，在该步骤(a)或(b)中，以与该关注区域重叠的各区块的重叠部分的像素数作为权重，求出与该关注区域重叠的各区块的移动向量的加权平均向量，并将该加权平均向量当作该关注区域的移动向量。
32.如权利要求30或31所述的图像中移动物体跟踪装置，其中，该步骤(a)的关注区域为1个区块。
33.如权利要求30或31所述的图像中移动物体跟踪装置，其中，该步骤(a)的目标映象为最新的目标映象，且在该步骤(b)中使该关注区域向负方向移动。
34.如权利要求30或31所述的图像中移动物体跟踪装置，其中，该程序还具有通过将最早的目标映象更新为最新的目标映象，保持该多张恒定的步骤。
35.如权利要求30或31所述的图像中移动物体跟踪装置，其中，该程序还具有：
根据时刻t1和时刻t2的目标映象上的相互对应的关注区域，求出该时刻t1至该时刻t2的移动向量作为超前移动向量的步骤；
当该时刻t2的目标映象上的相邻的关注区域的超前移动向量的绝对值的差大于规定值时，识别为该相邻的关注区域是互不相同的移动物体的步骤。
36.如权利要求35所述的图像中移动物体跟踪装置，其中，该程序还具有：对于作为具有移动向量的相邻的区块的聚集体的1簇，在移动向量的绝对值的直方图的波峰存在多个时，根据波峰间的速度差，确定该时刻t1和该时刻t2的间隔的步骤。
37.如权利要求35所述的图像中移动物体跟踪装置，其中，该程序还具有：
每扩展该时刻t1至该时刻t2的间隔时，判断该时刻t2的目标映象上的相邻的关注区域的超前移动向量的绝对值的差是否大于规定值的步骤；
该间隔为预定的最大值以下且该差大于规定值，则识别为该相邻的关注区域是互不相同的移动物体的步骤。
CNB2003801069714A 2002-12-20 2003-12-15 图像中的移动物体的跟踪方法及装置 Expired - Fee Related CN100385462C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP371047/2002 2002-12-20
JP2002371047A JP4217876B2 (ja) 2002-12-20 2002-12-20 画像における移動物体の追跡方法及び装置

Publications (2)

Publication Number Publication Date
CN1729485A true CN1729485A (zh) 2006-02-01
CN100385462C CN100385462C (zh) 2008-04-30

Family

ID=32677192

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801069714A Expired - Fee Related CN100385462C (zh) 2002-12-20 2003-12-15 图像中的移动物体的跟踪方法及装置

Country Status (8)

Country Link
US (1) US7929613B2 (zh)
EP (1) EP1574992B1 (zh)
JP (1) JP4217876B2 (zh)
KR (2) KR20050085842A (zh)
CN (1) CN100385462C (zh)
AU (1) AU2003289096A1 (zh)
CA (1) CA2505563A1 (zh)
WO (1) WO2004057537A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194230A (zh) * 2010-03-19 2011-09-21 索尼公司 图像处理设备、图像处理方法和程序
CN101719278B (zh) * 2009-12-21 2012-01-04 西安电子科技大学 基于khm算法的视频显微图像细胞自动跟踪方法
CN102568001A (zh) * 2010-10-19 2012-07-11 索尼公司 图像处理设备、方法和程序
CN101373477B (zh) * 2007-08-24 2012-11-28 株式会社尼康 被摄物体跟踪方法、被摄物体跟踪装置
CN103098097A (zh) * 2010-09-15 2013-05-08 丰田自动车株式会社 用于车辆的周围图像显示系统和周围图像显示方法
CN105719315A (zh) * 2016-01-29 2016-06-29 深圳先进技术研究院 用于在移动终端中跟踪视频图像中的物体的方法
CN109584575A (zh) * 2018-12-19 2019-04-05 山东交通学院 一种基于能见度分析的道路安全限速提示系统及方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4714872B2 (ja) * 2006-01-12 2011-06-29 国立大学法人 東京大学 画像上重畳移動物体分割方法及び装置
JP4734568B2 (ja) * 2006-01-12 2011-07-27 国立大学法人 東京大学 画像上移動物体計測点決定方法及び装置
US8085849B1 (en) * 2006-11-03 2011-12-27 Keystream Corporation Automated method and apparatus for estimating motion of an image segment using motion vectors from overlapping macroblocks
KR20080057500A (ko) * 2006-12-20 2008-06-25 재단법인 포항산업과학연구원 사람 움직임 추적 시스템 및 그 방법
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
KR100921821B1 (ko) 2007-12-07 2009-10-16 영남대학교 산학협력단 특성 공간 궤적 데이터베이스 구축 방법 및 이를 이용한다중 각도 표적 식별 방법
US8325976B1 (en) * 2008-03-14 2012-12-04 Verint Systems Ltd. Systems and methods for adaptive bi-directional people counting
US9019381B2 (en) 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
CN101615294B (zh) * 2008-06-26 2012-01-18 睿致科技股份有限公司 一种多重对象追踪的方法
KR100958379B1 (ko) * 2008-07-09 2010-05-17 (주)지아트 복수 객체 추적 방법과 장치 및 저장매체
US8325227B2 (en) * 2008-07-15 2012-12-04 Aptina Imaging Corporation Method and apparatus for low cost motion detection
US20100119109A1 (en) * 2008-11-11 2010-05-13 Electronics And Telecommunications Research Institute Of Daejeon Multi-core multi-thread based kanade-lucas-tomasi feature tracking method and apparatus
JP5338978B2 (ja) * 2010-05-10 2013-11-13 富士通株式会社 画像処理装置および画像処理プログラム
JP5218861B2 (ja) * 2010-09-30 2013-06-26 株式会社Ｊｖｃケンウッド 目標追跡装置、目標追跡方法
US10018703B2 (en) * 2012-09-13 2018-07-10 Conduent Business Services, Llc Method for stop sign law enforcement using motion vectors in video streams
WO2013077562A1 (ko) * 2011-11-24 2013-05-30 에스케이플래닛 주식회사 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법
KR101939628B1 (ko) 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
CN103678299B (zh) * 2012-08-30 2018-03-23 中兴通讯股份有限公司 一种监控视频摘要的方法及装置
US9311338B2 (en) * 2013-08-26 2016-04-12 Adobe Systems Incorporated Method and apparatus for analyzing and associating behaviors to image content
KR102161212B1 (ko) 2013-11-25 2020-09-29 한화테크윈 주식회사 움직임 검출 시스템 및 방법
US9598011B2 (en) * 2014-01-09 2017-03-21 Northrop Grumman Systems Corporation Artificial vision system
US10290287B1 (en) * 2014-07-01 2019-05-14 Xilinx, Inc. Visualizing operation of a memory controller
CN104539864B (zh) * 2014-12-23 2018-02-02 小米科技有限责任公司 记录图像的方法和装置
CN106296725B (zh) * 2015-06-12 2021-10-19 富泰华工业（深圳）有限公司 运动目标实时检测与跟踪方法及目标检测装置
JP6526589B2 (ja) * 2016-03-14 2019-06-05 株式会社東芝 画像処理デバイス及び画像処理プログラム
KR102553598B1 (ko) * 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
US11405581B2 (en) * 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
JP7227969B2 (ja) * 2018-05-30 2023-02-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
CN111105434A (zh) * 2018-10-25 2020-05-05 中兴通讯股份有限公司 运动轨迹合成方法及电子设备
CN111192286A (zh) * 2018-11-14 2020-05-22 西安中兴新软件有限责任公司 一种图像合成方法、电子设备及存储介质
US11277723B2 (en) * 2018-12-27 2022-03-15 Continental Automotive Systems, Inc. Stabilization grid for sensors mounted on infrastructure
KR102264208B1 (ko) * 2019-12-10 2021-06-11 한국전자기술연구원 중복 영역 객체 검출 개선을 위한 의미적 필터링 모듈 시스템
US20210110552A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve driver-assistance vision systems using object detection based on motion vectors

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2687974B2 (ja) * 1986-03-31 1997-12-08 日本放送協会 動きベクトル検出方法
JP3252415B2 (ja) * 1991-11-15 2002-02-04 ソニー株式会社 画像の手振れ補正装置
US6002428A (en) * 1994-10-21 1999-12-14 Sanyo Electric Co., Ltd. Motion vector detection circuit and object tracking camera device utilizing the same
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP3434979B2 (ja) * 1996-07-23 2003-08-11 富士通株式会社 局所領域画像追跡装置
KR100501902B1 (ko) * 1996-09-25 2005-10-10 주식회사 팬택앤큐리텔 영상정보부호화/복호화장치및방법
KR100244291B1 (ko) * 1997-07-30 2000-02-01 구본준 동영상 움직임 벡터 코딩 방법
KR100573507B1 (ko) * 1998-09-29 2006-04-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 분할 코딩 방법 및 장치
JP4377474B2 (ja) * 1999-03-31 2009-12-02 株式会社東芝 移動体の衝突防止装置、衝突防止方法、および記録媒体
US6968004B1 (en) * 1999-08-04 2005-11-22 Kabushiki Kaisha Toshiba Method of describing object region data, apparatus for generating object region data, video processing method, and video processing apparatus
US7367042B1 (en) * 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
JP4201958B2 (ja) * 2000-04-26 2008-12-24 日本放送協会 動画像のオブジェクト抽出装置
JP3920535B2 (ja) * 2000-06-12 2007-05-30 株式会社日立製作所 車両検出方法及び車両検出装置
JP2002133421A (ja) * 2000-10-18 2002-05-10 Fujitsu Ltd 移動物体認識方法及び装置
US20030161399A1 (en) * 2002-02-22 2003-08-28 Koninklijke Philips Electronics N.V. Multi-layer composite objective image quality metric

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101373477B (zh) * 2007-08-24 2012-11-28 株式会社尼康 被摄物体跟踪方法、被摄物体跟踪装置
CN101719278B (zh) * 2009-12-21 2012-01-04 西安电子科技大学 基于khm算法的视频显微图像细胞自动跟踪方法
CN102194230A (zh) * 2010-03-19 2011-09-21 索尼公司 图像处理设备、图像处理方法和程序
CN103098097A (zh) * 2010-09-15 2013-05-08 丰田自动车株式会社 用于车辆的周围图像显示系统和周围图像显示方法
CN102568001A (zh) * 2010-10-19 2012-07-11 索尼公司 图像处理设备、方法和程序
CN102568001B (zh) * 2010-10-19 2017-01-18 索尼公司 图像处理设备和方法
CN105719315A (zh) * 2016-01-29 2016-06-29 深圳先进技术研究院 用于在移动终端中跟踪视频图像中的物体的方法
CN105719315B (zh) * 2016-01-29 2019-01-22 深圳先进技术研究院 用于在移动终端中跟踪视频图像中的物体的方法
CN109584575A (zh) * 2018-12-19 2019-04-05 山东交通学院 一种基于能见度分析的道路安全限速提示系统及方法

Also Published As

Publication number Publication date
US7929613B2 (en) 2011-04-19
JP2004207786A (ja) 2004-07-22
CA2505563A1 (en) 2004-07-08
US20060092280A1 (en) 2006-05-04
KR20070065418A (ko) 2007-06-22
EP1574992B1 (en) 2015-03-04
KR20050085842A (ko) 2005-08-29
AU2003289096A1 (en) 2004-07-14
EP1574992A1 (en) 2005-09-14
WO2004057537A1 (ja) 2004-07-08
CN100385462C (zh) 2008-04-30
JP4217876B2 (ja) 2009-02-04
EP1574992A4 (en) 2009-11-11

Similar Documents

Publication Publication Date Title
CN1729485A (zh) 图像中的移动物体的跟踪方法及装置
CN1320502C (zh) 用于跟踪目标的装置、跟踪目标的方法和跟踪目标的程序
CN1194318C (zh) 物体区域信息记述方法和物体区域信息生成装置
CN1184796C (zh) 图象处理方法和设备以及图象处理系统
CN1275194C (zh) 图像处理方法及其装置
CN100345165C (zh) 基于图像的超现实主义三维脸部建模的方法和设备
CN1940965A (zh) 信息处理设备及其控制方法
CN1678021A (zh) 图像处理设备和方法、记录媒体和程序
CN1305010C (zh) 在考虑其噪声的情况下改变数字图像的方法和系统
CN1839409A (zh) 人物检测装置和人物检测方法
CN1170178A (zh) 交通流量监测设备
CN1678056A (zh) 图像处理装置与方法、记录介质以及程序
CN1669052A (zh) 使用三维物体模型的图像匹配系统、图像匹配方法以及图像匹配程序
CN1922883A (zh) 电子水印嵌入方法、电子水印检测方法和装置以及程序
CN1684492A (zh) 图像词典作成装置、编码装置、图像词典作成方法
CN1588431A (zh) 基于游程邻接图的复杂背景彩色图像中字符提取方法
CN1510656A (zh) 显示装置、显示方法和显示程序
CN1099888A (zh) 脸部图像数据处理装置
CN1874418A (zh) 图像处理设备、图像处理方法以及图像处理程序
CN1716315A (zh) 复杂度测量方法、处理选择方法、图像处理方法及系统
CN101038672A (zh) 一种图像跟踪方法及系统
CN1741035A (zh) 印刷体阿拉伯字符集文本切分方法
CN1801183A (zh) 信息处理装置和方法以及程序
CN1311692C (zh) 动态矢量检出装置以及动态矢量检出方法
CN1403932A (zh) 基于pci和视觉总线的可重构机器视觉系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080430

Termination date: 20161215