CN1222174C - 运动向量检测方法和装置 - Google Patents

运动向量检测方法和装置 Download PDF

Info

Publication number
CN1222174C
CN1222174C CNB031530427A CN03153042A CN1222174C CN 1222174 C CN1222174 C CN 1222174C CN B031530427 A CNB031530427 A CN B031530427A CN 03153042 A CN03153042 A CN 03153042A CN 1222174 C CN1222174 C CN 1222174C
Authority
CN
China
Prior art keywords
motion vector
zone
exploration
regional
reference block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031530427A
Other languages
English (en)
Other versions
CN1496129A (zh
Inventor
安藤裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP30147998A external-priority patent/JP4078733B2/ja
Priority claimed from JP30147898A external-priority patent/JP4035903B2/ja
Priority claimed from JP30147798A external-priority patent/JP4196447B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1496129A publication Critical patent/CN1496129A/zh
Application granted granted Critical
Publication of CN1222174C publication Critical patent/CN1222174C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

依据MPEG(活动图像编码专家组)进行图像编码处理时所用的运动向量检测时，对利用场图像和帧图像之间的相关、各图像的图像间距离的相关、图像内像素块的相关等检测运动向量时的探索区域进行运算，在该探索区域内进行运动向量的检测，来减少运算量。

Description

运动向量检测方法和装置
本申请是申请日为1999年10月18日、申请号为99803179.8、发明名称为“运动向量检测方法和装置”的中国专利申请的分案申请。
技术领域
本发明涉及依据MPEG(活动图像编码专家组)进行图像编码处理时所用的对运动向量进行检测的运动向量检测方法和装置。
背景技术
MPEG方式，是将画面内DCT(离散余弦变换)、图像间运动补偿预测和可变长编码组合在一起对活动图像数据进行压缩的编码方式。
通常，图像间运动补偿预测中所进行的运动向量检测，靠所谓的块匹配进行。这种块匹配，对属于处理对象的基准图像中按规定像素数目分割的基准块，提取以参照图像内同一位置为起点的运动向量所对应的参照块和具有与上述规定像素数目相同的像素数的区域，运算基准块和参照块所对应的像素其差分的绝对值，对基准块内全部像素进行差分绝对值的和运算处理。而检测运动向量时，边使参照图像探索区内提取的区域每次移动1像素，边重复进行上述块匹配，以上述差分绝对值之和给出最小值的点为基点检测运动向量。
但进行上述块匹配时，是将针对参照图像求出运动向量时的探索区域和针对基准图像求出运动向量时的探索区域作为相同大小范围进行的。而求出基准图像运动向量时，即便是基准块的运动向量在某种程度上可预测，也是以参照图像的运动向量为基准，以某种一定大小的区域为探索区域，检测出基准图像运动向量的。
此外，靠上述块匹配对运动向量进行的检测处理，对于进行块匹配时所进行的上述差分其绝对值求和处理，运算量非常庞大，这花费MPEG等图像压缩处理的一大半时间，用软件实现时便成为障碍，故希望减少运算量。
发明内容
本发明第一目的，是针对上述实际情况提出的，其目的在于，提供一种可以减少对隔行扫描方式的场图像检测运动向量时运算量的运动向量检测方法。
而本发明第二目的在于，提供一种在保证检测运动向量时检测精度的同时可以减少运算量的运动向量检测方法和装置。
此外，本发明第三目的在于，提供一种可以减少检测运动向量时进行块匹配的次数，以便检测运动向量时实现减少运算量和缩短处理时间的运动向量检测方法和装置。
本申请发明人，为了达到上述第一目的，反复进行了锐意研究，结果发现，隔行扫描方式中，对构成活动图像的各场图像进行运动向量检测时，前场图像和后场图像相关度高这一点可用于运动向量预测。
本发明第一目的的运动向量检测方法，正是根据这样的见解完成的，为一种对依据隔行扫描方式的场图像进行运动向量检测的运动向量检测方法，其特征在于，用第一场图像，对第二场图像进行运动向量检测；根据参照的场图像和第三场图像之间的场间距离同所述第一场图像和第二场图像之间的场间距离的比值，设定对第三场图像进行运动向量检测时的探索区域；以针对所述第二场图像的运动向量其指示点乘以所述比值为起点，在所述设定的探索区域中对第三场图像进行运动向量检测。
利用这种运动向量检测方法的话，便用针对其他场图像的运动向量，变动设定对场图像进行运动向量检测时的探索区域，在该设定的探索区域内进行块匹配，对第三场图像进行运动向量检测。
而达到上述第二目的的本发明运动向量检测方法和装置，其特征在于，确定以与基准帧在时间或空间上接近的参照帧所包含的参照块中表示运动向量的点为中心的第一探索区域；确定以根据基准帧和参照帧之间的帧间距离使所述参照块运动向量延长的点为中心的第二探索区域；在包含所述第一探索区域和第二探索区域的运动向量探索区域内，运算基准帧所包含的基准块图像数据和参照帧所包含的参照块图像数据，对基准块进行运动向量检测。
这种运动向量检测方法和装置，对基准块进行运动向量检测时，进行以参照块运动向量为基点确定第一探索区域，并按照使参照块运动向量延长的点确定第二探索区域这种处理，在包含第一探索区域和第二探索区域的运动向量探索区域中对基准块进行运动向量检测处理。
此外，本申请发明人，为了达到上述第三目的反复进行锐意研究，结果发现，进行运动向量检测时，相邻像素块的运动向量中相关度高这一点，可用于运动向量的预测。
本发明第三目的的运动向量检测方法和装置，正是根据这样的见解完成的，其特征在于，在第一探索区域中对第一块进行运动向量检测；根据针对与所述第二块在水平方向或垂直方向两侧相邻的所述第一块的运动向量，设定对第二块进行运动向量检测时的第二探索区域；在所述第二探索区域中进行块匹配来检测针对所述第二块的运动向量。
利用这种运动向量检测方法和装置的话，对上述第一块在第一探索区域中进行块匹配来进行运动向量的检测，对与上述第一块相邻的第二块，则用针对相邻的第一块的运动向量设定第二探索区域，在与上述规定探索区域不同规模的第二探索区域中进行块匹配，对第二块进行运动向量的检测。
本发明其他目的以及本发明所获得的具体优点，从以下对实施例所作的说明当中可进一步明了。
附图说明
图1是表示适用本发明的第一实施例运动向量检测装置构成的框图。
图2是隔行扫描方式场图像的场间距离的说明图。
图3是表示第一实施例运动向量检测装置所具有的CPU按照运动向量检测程序进行运动向量检测处理步骤的流程图。
图4是确定规定探索区域对运动向量VTT进行探索的说明图。
图5是用运动向量VTT确定对运动向量VBB进行探索的起点和探索区域的说明图。
图6是用运动向量VTT确定对运动向量VTB行探索的起点和探索区域的说明图。
图7是用运动向量VTT确定对运动向量VBT进行探索的起点和探索区域的说明图。
图8是用以说明第一实施例运动向量检测装置中探索区域设定、运动向量检测处理的流程图。
图9是用以说明第一实施例运动向量检测装置中探索区域设定、运动向量检测处理的流程图。
图10是由CPU生成映射图的处理的说明图。
图11是一例CPU存储器生成的映射图的说明图。
图12是另一例CPU存储器生成的映射图的说明图。
图13是表示适用本发明的第二实施例运动向量检测装置构成的框图。
图14是第三实施例运动向量检测装置所具有的CPU进行运动向量检测处理时帧图像按宏块单位分割的说明图。
图15是表示第三实施例运动向量检测装置所具有的CPU按照运动向量检测程序进行运动向量检测处理步骤的流程图。
图16是表示第三实施例运动向量检测装置所具有的CPU按照运动向量检测程序进行运动向量检测处理步骤的流程图。
图17是水平方向上相邻宏块指示不同方向时用相邻宏块运动向量设定探索区域进行运动向量检测的说明图。
图18是水平方向上相邻宏块指示大致相同方向时用相邻宏块运动向量设定探索区域进行运动向量检测的说明图。
图19是垂直方向上相邻宏块指示不同方向时用相邻宏块运动向量设定探索区域进行运动向量检测的说明图。
图20是水平方向上相邻宏块指示大致相同方向时用相邻宏块运动向量设定探索区域进行运动向量检测的说明图。
具体实施方式
以下参照附图详细说明本发明第一、第二和第三目的涉及的第一、第二和第三实施例。
而且，以下说明中，将利用前场图像和后场图像之间的相关度设定探索区域来检测运动向量的运动向量检测装置作为第一实施例说明，利用时间上先后帧或先后场的相关度设定探索区域来检测运动向量的运动向量检测装置作为第二实施例说明，而利用相邻像素块运动向量当中相关度高这一点设定探索区域来检测运动向量的运动向量检测装置则作为第三实施例说明。
本发明第一实施例的运动向量检测装置例如按图1所示构成。
该运动向量检测装置1包括CPU(中央处理单元)2，在场图像依据MPEG2规范的图像编码处理当中对运动向量进行检测处理。该CPU2通过启动运动向量检测程序，对运动向量进行检测处理。该CPU2检测运动向量时，利用存储器3存储的图形数据和运动向量检测程序。这时，CPU2通过将控制信号输出给存储器3和HDD(硬盘驱动器)4，对它们加以控制，使得HDD4中存储的图像数据和运动向量检测程序存储至存储器3。
而CPU2对图像数据依据例如MPEG方式进行图像压缩处理时，通过对I(Intra：帧内)图像进行DCT(离散余弦变换)处理的同时，对B(Bidirectionallypredictive：双向预测)、P(Predictive：预测)图像进行运动补偿预测，来进行图像压缩处理。这时，CPU2对一场图像求运动向量时，参照时间上先后场图像的场间距离来确定探索运动向量时的探索区域。然后，CPU2通过在上述探索区域中按例如8×8像素组成的宏块单位进行块匹配，来检测运动向量。
该CPU2进行块匹配时，提取作为运动向量检测处理对象的基准场图像中所包含的分割为规定像素数目的基准块，和以该基准块所对应的参照场图像位置为起点指示运动向量的一参照块，运算基准块和参照块所对应的像素的差分绝对值，对基准块内的全部像素进行差分绝对值的和运算处理。
而且，CPU2进行运动向量检测时，边使参照场图像探索区内提取的区域每次移动1像素，边重复进行上述块匹配，以上述差分绝对值之和给出最小值的点为基点检测运动向量。另外，下面详细说明该CPU2进行的运算上述探索区域以检测运动向量的处理步骤。
存储器3通过由上述CPU2控制，来控制所存储的内容。该存储器3根据CPU2输出的控制信号由HDD4存储运动向量检测程序和图像数据，同时读取所存储的运动向量检测程序和图像数据。
HDD4存储图像数据和运动向量检测程序。而且，该HDD4根据CPU2输出的控制信号，将指定的图像数据输出给存储器3。
该HDD4存储的图像数据如图2所示，是依据隔行扫描方式、前场图像(T)和后场图像(B)交替排列而成的时间序列的活动图像数据。而且，CPU2将例如前场图像T1和下一前场图像T2之间的场间距离设定为“1.0”时，便将前场图像T1和后场图像B2之间的场间距离设定为“1.5”，后场图像B1和前场图像T2之间的场间距离设定为“0.5”，后场图像B1和后场图像B2之间的场间距离设定为“1.0”，对上述探索区域进行运算处理。
图1所示的I/F(接口)电路5，由例如外部输入图像数据，同时根据CPU2输出的控制信号将图像数据输出至外部。该I/F电路5从例如外部输入图像数据时，将该图像数据输出至HDD4。
这样构成的第一实施例的运动向量检测装置1，由CPU2对多个场图像组成的图像数据进行运动向量检测时，通过执行HDD4存储的运动向量检测程序，进行图3中流程图所示处理。
首先在步骤S1中，CPU2如图4所示，进行将探索起点设定为(0，0)的处理。具体来说，CPU2进行的是将为了检测运动向量而进行块匹配时的探索区域其起点设定为(0，0)作为初始设定这种处理。
下一步骤S2中，CPU2将按例如上述图2所示利用前场图像T1对前场图像T2进行运动补偿时所用的、对运动向量VTT进行探索的探索区域S0，设定为以例如上述起点(0，0)为中心、点(-32，-32)和点(+32，+32)为对角点定义的矩形区域。另外，该步骤S2中，CPU2也可以是对运动向量VTT进行检测时足以对探索区域正确地检测运动向量的任意规模。
下一步骤S3中，CPU2通过在上述步骤S2中确定的探索区域内进行块匹配，对运动向量VTT进行检测处理。具体来说，CPU2将例如前场图像T1设定为上述参照场图像，并且将前场图像T2设定为上述基准场图像，用前场图像T1所包含的规定像素数目组成的基准块A，在探索区域内进行块匹配。由此，CPU2对前场图像T2所包含的参照块B进行探索，检测运动向量VTT。
下一步骤S4中，CPU2转移到以后场图像B1为参照场图像、并以后场图像B2为基准场图像对运动向量VBB进行检测的处理。此时，CPU2如图5所示进行处理，将对运动向量VBB进行探索的起点设定为上述步骤S3中检测出的运动向量VTT前端的座标位置(hTT，vTT)。这里，由于进行运动向量VTT检测时所采用的基准场图像和参照场图像之间的场间距离和后场图像B1和后场图像B2之间的场间距离相同，因而CPU2在不使运动向量VTT前端伸缩的情况下，将对运动向量VBB进行探索的起点设定为运动向量VTT前端的座标位置(hTT，vTT)。
下一步骤S5中，CPU2设定以上述步骤S4中设定的座标位置(hTT，vTT)为中心的规定像素数目所组成的图5中探索区域SBB。这里，CPU2将例如以点(hTT，vTT)为中心、以点(hTT-4，vTT-4)和点(hTT+4，vTT+4)为对角点定义的矩形区域设定为探索区域SBB。另外，该步骤S5当中，CPU2也可以将进行运动向量VBB检测时的探索区域SBB设定为任意像素数目。
下一步骤S6中，CPU2通过在上述步骤S5中设定的探索区域SBB内与上述步骤S3相同进行块匹配，来进行运动向量VBB的检测处理。
下一步骤S7中，CPU2转移到以前场图像T1为参照场图像、并以后场图像B2为基准场图像对运动向量VTB进行检测的处理。此时，CPU2如图6所示进行处理，将对运动向量VTB进行探索的起点设定为上述步骤S3中检测出的运动向量VTT长度1.5倍的座标位置。具体来说，由于前场图像T1和后场图像B2之间的场间距离，与前场图像T1和前场图像T2之间的场间距离相比为1.5倍，因而CPU2进行的是将对运动向量VTB进行探索的起点设定为座标位置(1.5hTT，1.5vTT)的处理。
下一步骤S8中，CPU2以上述步骤S7中设定的座标位置(1.5hTT，1.5vTT)为中心，设定上述步骤S5中所设定的探索区域其1.5倍的像素数目所组成的探索区域STB。具体来说，CPU2将以座标(1.5hTT，1.5vTT)为中心、座标(1.5hTT-6，1.5vTT-6)和座标(1.5hTT+6，1.5vTT+6)为对角点定义的矩形区域设定为探索区域STB。
下一步骤S9中，CPU2通过在上述步骤S8中设定的探索区域STB内与上述步骤S3相同进行块匹配，来进行运动向量VTB的检测处理。
下一步骤S10中，CPU2转移到以后场图像B1为参照场图像、并以前场图像T2为基准场图像对运动向量VBT进行检测的处理。此时，CPU2如图7所示进行处理，将对运动向量VBT进行探索的起点设定为上述步骤S3中检测出的运动向量VTT长度0.5倍的座标位置。具体来说，由于后场图像B1和前场图像T2之间的场间距离，与前场图像T1和前场图像T2之间的场间距离相比为0.5倍，因而CPU2进行的是将对运动向量VBT进行探索的起点设定为座标位置(0.5hTT，0.5vTT)的处理。
下一步骤S11中，CPU2以上述步骤S10中设定的座标位置(0.5hTT，0.5vTT)为中心，设定上述步骤S5中所设定的探索区域其0.5倍的像素数目所组成的探索区域SBT。具体来说，CPU2将以座标(0.5hTT，0.5vTT)为中心、座标(0.5hTT-2，0.5vTT-2)和座标(0.5hTT+2，0.5vTT+2)为对角点定义的矩形区域设定为探索区域SBT。
下一步骤S12中，CPU2通过在上述步骤S11中设定的探索区域SBT内与上述步骤S3相同进行块匹配，来进行运动向量VBT的检测处理。
进行这种处理的结果是，CPU2得到2个运动向量，是根据前场图像T1和后场图像B1这2个场图像之间关系来对前场图像T2的运动向量进行预测的2个运动向量。而且，CPU2从这2个运动向量当中选择最佳的运动向量，作为对于前场图像T2的运动向量。另外，对于后场图像B2的运动向量，CPU2也从根据前场图像T1和后场图像B1这2个场图像所预测的运动向量当中选择最佳的运动向量。
所具有的CPU2进行这种处理的第一实施例运动向量检测装置1，对依据隔行扫描方式的场图像进行运动向量检测处理时，如上述步骤S1～步骤S3所示，先检测运动向量VTT再检测其他运动向量VBB、VBT、VTB时，以上述运动向量VTT的前端位置为探索起点，同时根据场间距离进行块匹配，使检测其他运动向量VBB、VBT、VTB时的探索区域变化，因而可利用前场图像和后场图像之间的相关度来缩小探索区域的像素规模。所以，利用该运动向量检测装置1的话，可通过缩小探索区域的像素规模来减少检测运动向量的运算量，同时还可缩短处理时间。
另外，对上述CPU2处理的说明中，是就先检测运动向量VTT再设定检测其他运动向量VBB、VBT、VTB时探索区域的情形进行说明的，但运动向量检测装置1也可以先检测运动向量VTT、VBB、VBT、VTB当中任一运动向量，再使检测其他运动向量时的探索区域其像素规模与场间距离成正比变化。
此外，对上述CPU2处理的说明中，说明的是对于各个场图像求出运动向量时。用时间上靠前配置的某一场图像求出运动向量的一例，具体来说，说明的是对于例如前场图像T2求出运动向量时，用前场图像T1和后场图像B1求出运动向量VTT和运动向量VTB的情形，但也可以仅求出运动向量VTT和运动向量VTB其中一个运动向量，作为对于各个场图像的运动向量。
接下来说明本发明适用的第二实施例运动向量检测装置。该第二实施例的运动向量检测装置，与上述第一实施例的运动向量检测装置1相同，具有图1所示构成。
CPU2内部具有存储器，对于按照运动向量检测程序进行块匹配检测运动向量的探索区域，确定以时间上接近基准帧的参照帧所包含的参照块中表示运动向量的点为中心的第一探索区域，并以根据基准帧和参照帧的场间距离或帧间距离所延长的点为中心设定第二探索区域。
而CPU2对构成基准帧的每一基准块，生成表明是进行块匹配的探索区域的标志，并存储于上述存储器，来进行运动向量的检测。由此，CPU2在上述存储器中生成一映射图，用以判断是否存在与基准帧相对应的标志。
此时，CPU2以例如“1”作为进行块匹配的标志，而以例如“0”作为不进行块匹配的标志，生成映射图。而且，CPU2参照标志组成的映射图，在所设定的探索区域内进行块匹配，来进行运动向量的检测。
用图8和图9中流程图说明该第二实施例运动向量检测装置1中所具有的CPU2的处理。
首先在步骤S21中，CPU2判定宏块单位的参照块中是否存在运动向量。而且，CPU2当判定参照块存在运动向量时进入步骤S2，而判定参照块中不存在运动向量时则进入步骤S23。
下一步骤S22中，CPU2将上述运动向量探索区域的中心位置设定为参照块运动向量的前端位置。具体来说，CPU2将距上述中心位置规定像素数目的矩形区域设定为运动向量探索区域，并设定为生成由表明进行块匹配的标志所组成的映射图的区域。
下一步骤S24中，CPU2如图10所示，将上述步骤S22中设定的运动向量探索区域的中心位置设定为上述存储器存储的标志所组成的映射图的中心位置，将以(-Sh，-Sv)和(+Sh，+Sv)为对角点的矩形区域设定为映射图基区。具体来说，该CPU2便在内部存储器中生成一在上述基区内表明进行块匹配的“1”标志或表明不进行块匹配的“0”标志所组成的映射图。
下一步骤S25中，CPU2将以参照块运动向量前端为中心、具有规定像素数目的区域设定为第一探索区域，并以参照块运动向量起延长的点为中心位置设定为第二探索区域。此时，CPU2根据为运动向量检测对象的基准帧和上述参照块所存在的参照帧之间的帧间距离，确定从参照块运动向量起延长的点的位置，确定以这样确定的点为中心的第二探索区域的大小。也就是说，该CPU2将与基准帧和参照帧之间距离成正比的区域大小设定为第二探索区域大小。接下来，该CPU2根据对第一探索区域和第二探索区域的设定，生成表明进行块匹配的标志。接着，CPU2设定将所设定的第一探索区域和第二探索区域相连的连线，将上述第一探索区域、第二探索区域和连线所包围的区域视为运动向量探索区域，生成标志。
因此，CPU2通过将如上所述设定的第一探索区域和第二探索区域设定为例如圆形，将第二探索区域其大小设定为半径随帧间距离变大，在存储器基区内对第一探索区域和第二探索区域相连的切线作为连线所包围的表示运动向量探索区域的标志进行映射变换，在存储器内生成给出图11所示第一探索区域A、第二探索区域B和连线C所包围的运动向量探索区域的映射图。另外，上述图11中，带网格部分表示标志为“1”的运动向量探索区域，而空白部分则表示标志为“0”的区域。
而判定上述步骤S21中参照块不存在运动向量的步骤S23中，CPU2将运动向量探索区域的中心位置设定为基准块内的座标(0，0)。
下一步骤S26中，CPU2将以上述步骤S23中设定的运动向量探索区域的中心为中心位置、以(-Sh，-Sv)和(+Sh，+Sv)为对角点的矩形区域设定为映射图基区，进入步骤S27。具体来说，CPU2根据步骤S21中判定参照块中不存在运动向量，在存储器中生成映射图，将以运动向量探索区域的中心为上述矩形区域的中心位置、以(-Sh，-Sv)和(+Sh，+Sv)为对角点的矩形区域作为运动向量探索区域。
步骤S27中，CPU2将上述步骤S25或步骤S26生成的映射图中上述基区左上座标位置指定为初始位置。具体来说，该CPU2检测运动向量时所进行的块匹配探索位置从上述基区左上座标(H，V)开始。其中，H和V是表示上述映射图中座标位置的变量。
下一步骤S28中，CPU2根据对运动向量进行检测的基准帧，从存储器3当中读取宏块单位的基准块的图像数据。
下一步骤S29中，CPU2从存储器中存储的映射图读出座标(H，V)的标志。
下一步骤S30中，CPU2判定上述步骤S29中读出的标志是“1”还是“0”。具体来说，该CPU2利用存储器存储的映射图座标位置所对应的基准块像素和参照块像素，判定是否进行块匹配。接着，CPU2当标志为“1”时，即进行块匹配时进入图9所示的步骤S31，当标志为“0”时，即不进行块匹配时进入图9所示的步骤S35。
步骤S31中，CPU2根据参照帧从存储器3读出与座标(H，V)相当的参照块的图像数据。
下一步骤S32中，CPU2通过比较上述步骤S28读出的上述座标(H，V)所对应的基准块的图像数据和与上述步骤S31输入的座标(H，V)相当的参照块的图像数据，来运算构成基准块的各像素和构成参照块的各像素之间的差分，运算差分的绝对值和。
下一步骤S33中，CPU2判定上述步骤S32中求出的差分绝对值和是否最小。而且，CPU2判定差分绝对值和最小时便进入步骤S34中，将差分绝对值和作为最小值存储座标(H，V)，而判定并非最小时便进入步骤S35中。由此，CPU2对运动向量进行检测。
接着在步骤S35中，CPU2通过使映射图的座标(H，V)递增来指定下一像素，步骤S36判定映射图座标是否是右下，即判定座标是否是(右侧Right，底端Bottom)。接下来，CPU2判定映射图座标不是右下时，便对步骤S35指定的像素进行步骤S29以后的处理，而判定映射图座标为右下时，则结束对基准块进行运动向量检测的处理。
所具有的CPU2进行这种处理的第二实施例运动向量检测装置1，对某个基准块进行运动向量检测时，通过在步骤S25中确定用参照块的运动向量进行块匹配的区域，并重复步骤S29至步骤S36的处理，来仅对生成有标志的座标进行块匹配，用步骤S32运算得到的差分绝对值和为最小时的参照块座标，来检测基准块的运动向量。
所以，第二实施例的运动向量检测装置1如上述步骤S25说明的那样，用参照块的运动向量来设定第一探索区域和第二探索区域，仅在包含该第一探索区域和第二探索区域的探索区域内进行块匹配，因而与不用参照块设定探索区域时相比较，可缩小探索区域。因而，利用第二实施例运动向量检测装置1的话，可减少进行块匹配的次数，并可以大幅减少用于运动向量检测的运算量。
而且，利用第二实施例运动向量检测装置1的话，可以在保持运动向量检测处理精度的同时减少运算量，可缩短处理时间。
此外，通过一并采用如第一实施例中说明的那样利用后场图像和前场图像之间相关进行探索区域设定处理的运动向量检测程序，可进一步缩小探索区域，减少进行块匹配的次数。
另外，对第二实施例运动向量检测装置1处理的说明中，是就图11所示的在步骤S25中将第一探索区域A和第二探索区域B形成为圆形区域的一例加以说明的，但运动向量检测装置1，也可以如图12所示将第一探索区域和第二探索区域形成为矩形区域，在第一探索区域和第二探索区域相连的直线和上述第一探索区域和第二探索区域所包围的上述运动探索区域内进行运动向量检测这种处理。通过象这样第一探索区域和第二探索区域取矩形区域，运动向量检测装置1与设定圆形区域的探索区域相比，可以减少用于探索区域设定的处理量，可进一步缩短处理时间。
将上述第二实施例的运动向量检测装置1作为功能框，对图13所示的运动向量检测装置100进行说明。
该运动向量检测装置100，包括一基准帧存储器101，以存储作为求得运动向量的对象的基准帧图像数据。该基准帧存储器101，其存储的基准帧图像数据由运动检测部102按例如宏块单位的基准块读取。
而且，该运动向量检测装置100，还包括一参照帧存储器103，以存储对基准帧进行运动向量检测时所用的参照帧图像数据。该参照帧存储器103根据探索区域确定部104输出的参照块读出控制信号，将参照帧图像数据按例如宏块单位的参照块输出给运动检测部102。
上述运动检测部102，通过利用上述基准帧存储器101输出的基准块和上述参照帧存储器103输出的参照块进行块匹配，对基准块进行运动向量检测。这里，所谓块匹配，是将基准帧和参照帧分割为规定像素数目的矩形小区域(基准块、参照块)，就每一块进行运动向量检测这种处理。对于基准块和参照块的大小来说，有例如横向8像素×纵向8像素、横向16像素×纵向16像素等。而且，该运动检测部102将对基准块检测出的运动向量不仅向外部输出，而且向探索区域确定部104输出。
探索区域确定部104将运动检测部102输出的运动向量用作参照块的运动向量，由运动检测部102进行上述块匹配，来进行基准块运动向量检测时运动向量探索区域确定这种处理。具体来说，该探索区域确定部104不仅通过用参照块的运动向量运算来确定以参照块中表示运动向量的点为中心的第一探索区域，还通过根据基准帧和参照帧之间帧间距离运算来确定以参照块运动向量起延长的点为中心的第二探索区域。然后，该探索区域确定部104就包含上述第一探索区域和第二探索区域的运动向量探索区域生成参照块读出控制信号，由参照帧存储器103将运动向量探索区域所包含的参照块输出给运动检测部102。
这里，探索区域确定部104，内部具有存储器，确定上述各探索区域，而且就每一构成基准帧的各基准块，生成一标志以表明是进行块匹配的区域并存储于上述存储器。由此，探索区域确定部104在上述存储器中生成用于判断是否存在基准帧所对应标志的映射图。探索区域确定部104令例如“1”作为进行块匹配的标志，而令“0”作为不进行块匹配的标志，生成映射图。然后，由运动检测部102进行块匹配时，探索区域确定部104参照标志组成的映射图，生成参照块读出控制信号，输出给参照帧存储器103。
就由这样构成的运动向量检测装置100生成上述标志、对一个基准块进行运动向量检测的处理来说，与上述图8和图9流程图中的处理大致相同，但下面再次参照图8和图9说明图13所示的运动向量检测装置100的处理。
检测该运动向量的处理，首先在步骤S21中，探索区域确定部104判定对参照帧存储器103输出的宏块单位的参照块是否存在运动向量，当判定存在运动向量时进入步骤S22，而当判定不存在运动向量时则进入步骤S23。
下一步骤S22中，探索区域确定部104将上述运动向量探索区域的中心位置设定为参照块运动向量的前端位置。
下一步骤S24中，探索区域确定部104如图10所示，将上述步骤S22中设定的运动向量探索区域的中心位置设定为上述存储器存储的标志所组成的映射图的中心位置，而将以(-Sh，-Sv)和(+Sh，+Sv)为对角点的矩形区域设定为映射图的基区。具体来说，该探索区域确定部104在内部存储器中生成一由上述基区内表示进行块匹配的“1”标志或表示不进行块匹配的“0”标志所组成的映射图。
下一步骤S25中，探索区域确定部104将以参照块运动向量前端为中心、具有规定像素数目的区域设定为第一探索区域，并根据帧间距离以参照块运动向量起延长的点为中心位置设定为第二探索区域。而且，该探索区域确定部104根据对第一探索区域和第二探索区域的设定，生成表明进行块匹配的标志。此外，探索区域确定部104设定将所设定的第一探索区域和第二探索区域相连的连线，将上述第一探索区域、第二探索区域和连线所包围的区域作为运动向量探索区域，生成标志。
因此，探索区域确定部104通过将如上所述设定的第一探索区域和第二探索区域设定为例如圆形，将第二探索区域其大小设定为半径随帧间距离变大，在存储器基区内对第一探索区域和第二探索区域相连的切线作为连线所包围的表示运动向量探索区域的标志进行映射变换，在存储器内生成给出图11所示第一探索区域A、第二探索区域B和连线C所包围的运动向量探索区域的映射图。另外，上述图11中，带网格部分表示标志为“1”的运动向量探索区域，而空白部分则表示标志为“0”的区域。
而判定上述步骤S21中参照块不存在运动向量的步骤S23中，探索区域确定部104将运动向量探索区域的中心位置设定为基准块内的座标(0，0)。
下一步骤S26中，探索区域确定部104将以上述步骤S23中设定的运动向量探索区域的中心为中心位置、以(-Sh，-Sv)和(+Sh，+Sv)为对角点的矩形区域设定为映射图基区，进入步骤S27。步骤S26中，探索区域确定部104根据步骤S21中判定参照块中不存在运动向量，在存储器中生成映射图，将以运动向量探索区域的中心为上述矩形区域的中心位置、以(-Sh，-Sv)和(+Sh，+Sv)为对角点的矩形区域作为运动向量探索区域。
步骤S27中，探索区域确定部104将上述步骤S25或步骤S26生成的映射图中上述基区左上座标位置指定为初始位置。具体来说，该探索区域确定部104使运动检测部102检测运动向量时所进行的块匹配探索位置是从上述基区左上座标(H，V)开始。其中，H和V是表示上述映射图中座标位置的变量。
下一步骤S28中，运动检测部102根据对运动向量进行检测的基准帧，从基准帧存储器101当中读取宏块单位的基准块的图像数据。
下一步骤S29中，探索区域确定部104从存储器中存储的映射图当中读出座标(H，V)的标志。
下一步骤S30中，探索区域确定部104判定上述步骤S29中读出的标志是“1”还是“0”。具体来说，该探索区域确定部104利用存储器存储的映射图座标位置所对应的基准块像素和参照块像素，判定是否进行块匹配。而且，探索区域确定部104当标志为“1”时，即进行块匹配时，进入图9所示的步骤S31，当标志为“0”时，即不进行块匹配时，进入图9所示的步骤S35。
接着在步骤S35中，探索区域确定部104通过使映射图的座标(H，V)递增来指定下一像素，步骤S36判定映射图座标是否是右下，即判定座标是否是(右侧Right，底端Bottom)。接下来，探索区域判定部104当判定映射图座标不是右下时，便对步骤S35指定的像素进行步骤S29以后的处理，而判定映射图座标为右下时，则结束对基准块进行运动向量检测的处理。
步骤S31中，探索区域确定部104通过将参照块读出控制信号输出给参照帧存储器103，控制使得参照帧存储器103将参照帧与座标(H，V)相当的参照块的图像数据输出给运动检测部102。
下一步骤S32中，运动检测部102通过比较上述步骤S28读出的上述座标(H，V)所对应的基准块的图像数据和与上述步骤S31输入的座标(H，V)相当的参照块的图像数据，来运算构成基准块的各像素和构成参照块的各像素之间的差分，运算差分的绝对值和。
下一步骤S33中，运动检测部102判定上述步骤S32中求出的差分绝对值和是否最小，判定差分绝对值和最小时便进入步骤S34，将差分绝对值和作为最小值来存储座标(H，V)。由此，运动检测部102便检测出运动向量。
接着在步骤S35中，探索区域确定部104如上所述指定基区内的下一参照块，步骤S36中指定的参照块座标在步骤S36中判定映射图座标是否是右下，即判定座标是否是(右侧Right，底端Bottom)。
象这样运动向量检测装置100对某个基准块进行运动向量检测时，通过在步骤S25中确定用参照块的运动向量进行块匹配的区域，并重复步骤S29至步骤S36的处理，来仅对生成有标志的座标进行块匹配，用步骤S32运算得到的差分绝对值和为最小时的参照块座标，来检测基准块的运动向量。
所以，进行这种处理的运动向量检测装置100如上述步骤S25说明的那样，用参照块的运动向量来设定第一探索区域A和第二探索区域B，仅在包含该第一探索区域A和第二探索区域B的运动向量探索区域内进行块匹配，因而与不用参照块设定探索区域时相比较，可缩小探索区域。因而，利用运动向量检测装置100的话，可减少进行块匹配的次数，并可以大幅减少用于运动向量检测的运算量。而且，利用进行上述处理的运动向量检测装置100的话，可以在保持运动向量检测处理精度的同时减少运算量，可缩短处理时间。
另外，对上述第二实施例运动向量检测装置1及100其处理的说明中，除了图11所示例以外，也可以如图12所示，将第一探索区域和第二探索区域形成为矩形区域，在第一探索区域和第二探索区域相连的直线和上述第一探索区域和第二探索区域所包围的上述运动探索区域内进行运动向量检测这种处理。
接下来说明用于实现本发明第三目的的第三实施例。另外，以下对第三实施例的说明中，说明的是用第一实施例的图1所示构成的运动向量检测装置1所适用的一例。
该第三实施例运动向量检测装置，利用相邻像素块运动向量中相关度高这一点，设定探索区域，检测运动向量。
这时，CPU2对场图像或帧图像求运动向量时，通过设定进行运动向量探索时的探索区域，在上述探索区域中按例如8×8像素组成的宏块单位进行块匹配，来检测运动向量。具体来说，CPU2按照运动向量检测程序，就每一宏块分割帧图像，用相邻宏块的运动向量，设定进行块匹配时的探索区域。
CPU2进行运动向量检测时，首先通过在规定探索区内对图14中带网格部分所示每隔1个宏块进行块匹配，来进行运动向量检测处理。接着，CPU2采用对于上述带网格部分中的宏块的运动向量运算探索区域，通过在该探索区域进行块匹配，对图14中空白部分的宏块进行运动向量检测处理。
这样构成的运动向量检测装置1，通过由CPU2在对帧图像的图像数据进行运动向量检测时执行HDD4中存储的运动向量检测程序，来进行图15和图16中流程图所示的处理。
首先在步骤S41中，CPU2通过对如图17所示在水平方向上排列有多个宏块而成的行的地址进行指定，来进行行号(No.)的指定处理。这里，CPU对水平方向排列有宏块(MB)的多个行当中位于最上部的行号(0)进行指定。其中，上述行号从上部起包括0，1，2，…，底端(Bottom)。
下一步骤S42中，CPU2在上述步骤S41中指定的行“0”当中，对检测运动向量的宏块序号(0)进行指定处理。构成各行的多个宏块序号，从左端至右端包括0，1，2，…，右侧(Right)。
下一步骤S43中，CPU2对上述步骤S42指定的序号的宏块设定探索区域。这里，CPU2将探索区域设定为由规定像素数目所组成的搜索范围R。此时，CPU2将例如相对于表示宏块中心位置的座标具有(±R，±R)对角点的矩形区域设定为探索区域。而且，CPU2将32×32像素组成的矩形区域设定为例如搜索范围R的探索区域。然后，该CPU2还通过利用由规定像素数目组成的探索区域中在时间上有前后的帧图像所对应的宏块，进行上述块匹配，来进行运动向量的检测处理。
下一步骤S44中，CPU2对与上述步骤S43中进行运动检测的宏块在水平方向上左右错开2个序号的宏块进行指定处理。
接下来在步骤S45中，CPU2判断上述步骤S44指定的宏块是否位于帧图像右端。而CPU2判断所指定的宏块位于帧图像右端位置时，进入步骤S46，而判断并非位于右端位置时则返回步骤S43。具体来说，CPU2通过进行上述步骤S43～步骤S45所示的处理，就所指定行中从位于左端的宏块起向右端每隔2个序号，进行上述步骤S43中说明的在规定探索区域对运动向量的检测处理。
下一步骤S46中，CPU2对上述步骤S42指定的序号“0”的宏块其右侧相邻的序号“1”的宏块进行指定处理。
下一步骤S47中，CPU2判断上述步骤S46或下面说明的步骤S54中指定序号的宏块其右侧相邻的宏块是否存在。而且，CPU2当判断指定序号的宏块其右侧不存在相邻的宏块时进入步骤S48，而当判断指定序号的宏块其右侧存在相邻的宏块时，则进入步骤S49。
步骤S48中，CPU2通过对上述步骤S47中判断为其右侧相邻的宏块不存在的宏块，设定上述步骤S43中上述规定的探索区域，在该探索区域进行块匹配，来进行运动向量的检测处理，进入步骤S54。
而步骤S49中，CPU2运算上述步骤S46或下面述及的步骤S54中指定的宏块两侧相邻的宏块其运动向量的差分，运算该差分的绝对值ΔV。这里，上述运动向量差分的绝对值ΔV，当宏块两侧相邻的宏块运动向量所指示的方向为大致相同方向时为较小数值，而宏块两侧相邻的宏块运动向量所指示的方向越是不同，其数值便越大。
下一步骤S50中，CPU2判断上述步骤S49运算得到的差分绝对值ΔV与搜索范围r相比是否足够大。这里，“r”为任意值，所谓搜索范围r是指具有点(-r，-r)和点(+r，+r)作为对角点的矩形区域。而该搜索范围r定义的矩形区域所占据区域比上述步骤S43中搜索范围R定义的矩形区域要小，例如为6×6像素组成的矩形区域。而且，CPU2当差分绝对值ΔV与搜索范围r相比足够大时，即相邻的宏块各运动向量所指示方向不同时，便进入步骤S51，而差分绝对值ΔV与搜索范围r相比并非足够大时，即相邻的宏块各运动向量所指示方向为大致相同方向时，则进入步骤S52。
步骤S51中，CPU2将针对上述步骤S46或下面述及的步骤S54中指定的宏块在水平方向两侧相邻的宏块的各运动向量作为图17所示指定的宏块的左上座标位置，以所指示点为中心，分别设定按搜索范围r定义的探索区域A、B。而且，CPU2通过在各探索区域A、B中进行块匹配，来进行运动向量检测，进入步骤S54。
而步骤52中，CPU2则利用针对步骤S46或步骤S54中指定的宏块在水平方向两侧相邻的宏块的各运动向量，运算图18所示的平均运动向量AveV(h，v)。
下一步骤S53中，CPU2设定以平均运动向量AveV(h，v)前端所指示的座标位置(h，v)为中心、以点(-r，-r)和点(+r，+r)为对角点的矩形探索区域C。然后，CPU2通过在所设定的探索区域C中进行块匹配，对步骤S46或步骤S54中指定的宏块进行运动向量检测。
下一步骤S54中，CPU2进行从上述步骤S53中检测出运动向量的宏块起在水平方向上向右前进2个序号这种处理。
下一步骤S55中，CPU2判断上述步骤S54指定序号的宏块是否位于水平行的右端。而且，CPU2当判断所指定的宏块位于水平行右端时便进入步骤S56，而判断所指定的宏块并非位于水平行右端时则返回步骤S47。也就是说，CPU2通过重复上述步骤S42～步骤S55的处理，对正进行上述处理的水平行其构成的全部宏块进行运动向量检测。
步骤S56中，CPU2进行从进行过上述步骤S43至步骤S55处理的水平行起，向底端前进2个序号，对新水平行进行指定这种处理。
下一步骤S57中，CPU2判断上述步骤S56指定的水平行序号是否是底端。而且，CPU2当判断所指定的水平行为底端时便进入图16所示的步骤S58，而判断所指定的水平行并非为底端时则返回步骤S42，对所指定的水平行进行上述步骤S42～步骤S55所示的处理。也就是说，CPU2通过进行步骤S41～步骤S57的处理，便从帧图像中序号“0”的水平行至底端水平行每隔2个序号进行上述步骤S42～步骤S55所示的处理。
下一步骤S58中，CPU2对如图14所示多个宏块在垂直方向上排列而成的水平行进行指定序号的处理。这里，CPU2在宏块按水平方向排列的多个水平行当中，指定上端起向下1个序号相邻的水平行“1”的序号。
下一步骤S59中，CPU2进行在上述步骤S58中指定的水平行“1”当中指定进行运动向量检测的宏块序号“0”这种处理。
下一步骤S60中，CPU2判断上述步骤S59中指定的宏块下侧是否存在宏块。而且，CPU2当判断所指定的宏块下侧并不存在宏块时，便进入步骤S61，而判断所指定的宏块下侧存在宏块时则进入步骤S62。
步骤S61中，CPU2对于上述步骤S60中判断为并不存在下侧相邻的宏块的宏块，设定上述步骤S43中搜索范围R的探索区域，通过在该探索区域中进行块匹配来进行运动向量的检测处理，进入步骤S67。
而步骤S62中，CPU2运算在上述步骤S59或下面述及的步骤S67指定的宏块在垂直方向上相邻的宏块其运动向量的差分，运算该差分绝对值ΔV。
下一步骤S63中，CPU2判断上述步骤S62中运算得到的差分绝对值ΔV是否大于搜索范围r。而且，CPU2当差分绝对值ΔV小于搜索范围r时进入步骤S65，而差分绝对值ΔV并非小于搜索范围r时，则进入步骤S64。
步骤S64中，CPU2将针对上述步骤S59或下面述及的步骤S67中指定的宏块在垂直方向两侧相邻的宏块的各运动向量作为图19所示指定的宏块的左上座标位置，以所指示点为中心，分别设定按搜索范围r定义的探索区域D、E。而且，CPU2通过在各探索区域D、E中进行块匹配，来进行运动向量检测。
而步骤65中，CPU2则利用针对步骤S59或步骤S67中指定的宏块在垂直方向两侧相邻的宏块的各运动向量，运算图20所示的平均运动向量AveV(h，v)。
下一步骤S66中，CPU2设定以平均运动向量AveV(h，v)前端所指示的座标位置(h，v)为中心、以点(-r，-r)和点(+r，+r)为对角点的矩形探索区域F。而且，CPU2通过在所设定的探索区域内进行块匹配，对步骤S59或步骤S67中指定的宏块进行运动向量检测。
下一步骤S67中，CPU2进行从上述步骤S66中检测出运动向量的宏块起在水平方向上向右前进1个序号这种处理。
下一步骤S68中，CPU2判断上述步骤S67指定序号的宏块是否位于水平行的右端。而且，CPU2当判断所指定的宏块位于水平行右端时便进入步骤S69，而判断所指定的宏块并非位于水平行右端时则返回步骤S60。也就是说，CPU2通过重复上述步骤S60～步骤S68的处理，对正进行上述处理的水平行其构成的全部宏块进行运动向量检测。
步骤S69中，CPU2进行从进行过上述步骤S59至步骤S68处理的水平行起，向底端前进2个序号，对新水平行进行指定这种处理。
下一步骤S70中，CPU2判断上述步骤S69指定的水平行序号是否是底端。而且，CPU2当判断所指定的水平行为底端时便结束处理，而判断所指定的水平行并非为底端时则返回步骤S59，对所指定的水平行进行上述步骤S42～步骤S68所示的处理。也就是说，CPU2通过进行步骤S58～步骤S70的处理，便在帧图像垂直方向上从序号“0”的水平行至底端水平行每隔2个序号进行上述步骤S59～步骤S68所示的处理。
上述第三实施例的运动向量检测装置1，通过执行步骤S41～步骤S57所示的处理，对所指定的水平行当中沿水平方向排列的全部宏块进行运动向量检测，通过执行步骤S58～步骤S70所示的处理，便指定非上述步骤S41～步骤S57处理对象的水平行，用垂直方向上相邻的宏块检测运动向量，这样对构成帧图像的全部宏块进行运动向量检测。
所以，利用第三实施例运动向量检测装置1的话，通过进行步骤S43所示的处理，对构成帧图像的部分宏块在规定像素规模的探索区域内进行块匹配，来进行运动向量的检测处理，对于其他宏块，则通过参照相邻的宏块运动向量，在像素规模比上述规定像素规模小的探索区域内进行块匹配，对运动向量进行检测，因而，与对于构成帧图像的全部宏块预先设定的规定像素规模的探索区域中进行块匹配来进行运动向量检测的情况相比，可缩小探索区域，可以减少进行块匹配的次数。所以，利用第三实施例运动向量检测装置1的话，可以大幅缩短进行运动向量检测所需的处理时间。具体来说，第三实施例运动向量检测装置1将上述步骤S43中搜索范围R设定为32×32像素，而将参照相邻的宏块运动向量时的上述搜索范围r设定为6×6像素时，可以将对构成帧图像的全部宏块进行运动向量检测所需的处理时间缩短为1/100。
而且，利用第三实施例运动向量检测装置1的话，通过进行步骤S49和步骤S50所示处理，对进行运动向量检测的宏块相邻的宏块运动向量其指示方向进行判断，根据各运动向量所指示方向使设定的探索范围变动，因而，相邻宏块运动向量即便指示不同方向，也可以进行高精度的运动向量检测。
另外，上述第一～第三实施例的运动向量检测装置，可以仅进行上述第一～第三实施例中说明的处理，此外，也可以进行组合处理设定探索区域来进行运动向量检测。由此，运动向量检测装置可进一步减少运动向量检测的运算量。
工业实用性
综上所述，本发明第一目的的运动向量检测方法和装置，通过将参照的场图像和第三场图像之间的场间距离同上述第一场图像和第二场图像之间的场间距离作比较，来运算对第三场图像进行运动向量检测时的探索区域，因而可以使针对第三场图像求运动向量时的探索区域其规模变化。所以，利用本运动向量检测方法和装置的话，可以利用运动向量中前场图像和后场图像之间相关度高这一点，来设定规模小的探索区域。因而，按照本运动向量检测方法和装置，可通过缩小进行运动向量检测时进行块匹配的探索区域，来减少进行块匹配的次数，可以减少处理时间。
而本发明第二目的的运动向量检测方法和装置，确定与基准帧在时间或空间上接近的参照帧所包含的参照块中表示运动向量的点为中心的第一探索区域，确定根据帧间距离使上述参照块运动向量延长的点为中心的第二探索区域，在包含上述第一探索区域和第二探索区域的运动向量探索区域内，对基准块进行运动向量检测，因此可以根据参照块运动向量使运动向量探索区域变形对运动向量进行检测。所以，利用本运动向量检测方法和装置的话，与对运动向量进行探索的区域固定的场合相比，可缩小运动向量探索区域，可减少对运动向量进行检测而进行块匹配的次数，可减少运算量。
此外，本发明第三目的的运动向量检测方法和装置，根据针对与第二块在水平方向或垂直方向两侧相邻的第一块的运动向量，设定对第二块进行运动向量检测时的第二探索区域，在第二探索区域中进行块匹配来检测针对第二块的运动向量，因此，可在像素规模与对第一块进行运动向量检测时的探索区域不同的第二探索区域中，进行块匹配来对第二块进行运动向量检测。所以，按照本运动向量检测方法和装置，可以根据针对第二块所相邻的第一块的运动向量，使第二探索区域与第一探索区域相比形成为较小像素规模，可通过减少进行运动向量检测时进行块匹配的次数，来实现运动向量检测时运算量的减少和处理时间的缩短。

Claims (12)

1.一种运动向量检测方法，其特征在于，
确定以与基准帧在时间或空间上接近的参照帧所包含的参照块的运动向量的一个端点为中心的第一探索区域；
确定以根据基准帧和参照帧之间的帧间距离使所述参照块运动向量延长的点为中心的第二探索区域；
在包含所述第一探索区域和第二探索区域的运动向量探索区域内，运算基准帧所包含的基准块图像数据和参照帧所包含的参照块图像数据，对基准块进行运动向量检测。
2.如权利要求1所述的运动向量检测方法，其特征在于，
根据基准帧和参照帧之间的帧间距离，确定所述第二探索区域相对于所述第一探索区域的大小。
3.如权利要求1所述的运动向量检测方法，其特征在于，
确定由连接所述第一探索区域和第二探索区域的连线、第一探索区域和第二探索区域所包围的第三探索区域；
在所述第三探索区域内运算基准块图像数据和参照块图像数据，检测基准块运动向量。
4.如权利要求3所述的运动向量检测方法，其特征在于，
取所述第一探索区域和第二探索区域为圆形区域；
在连接所述第一探索区域和第二探索区域的切线、所述第一探索区域和第二探索区域所包围的所述运动向量探索区域内，运算基准块图像数据和参照块图像数据，检测基准块的运动向量。
5.如权利要求3所述的运动向量检测方法，其特征在于，
取第一探索区域和第二探索区域为矩形区域；
在连接所述第一探索区域和第二探索区域的连线、所述第一探索区域和第二探索区域所包围的所述运动向量探索区域内，对基准块图像数据和参照块图像数据进行比较，检测基准块的运动向量。
6.如权利要求1所述的运动向量检测方法，其特征在于，
对给出所述运动向量探索区域的区域生成标志；
按照所述标志对是否进行运动向量检测进行判断，运算基准块图像数据和参照块图像数据，检测基准块中的运动向量。
7.一种运动向量检测装置，其特征在于，包括：
参照帧存储器，被配置以存储参照帧；
基准帧存储器，被配置以存储基准帧；
探索区域确定部，被配置以确定以与所述基准帧在时间或空间上接近的所述参照帧所包含的参照块的运动向量的一个端点为中心的第一探索区域，并确定以根据所述基准帧和所述参照帧之间的帧间距离使所述参照块运动向量延长的点为中心的第二探索区域；
运动向量检测部，被配置以在包含来自所述探索区域确定部的第一探索区域和第二探索区域的运动向量探索区域内，运算所述基准帧所包含的基准块图像数据和所述参照帧所包含的参照块图像数据，对基准块进行运动向量检测。
8.如权利要求7所述的运动向量检测装置，其特征在于，所述探索区域确定部根据基准帧和参照帧之间的帧间距离，确定第二探索区域相对于第一探索区域的大小。
9.如权利要求7所述的运动向量检测装置，其特征在于，
所述探索区域确定部还确定由连接第一探索区域和第二探索区域的连线、第一探索区域和第二探索区域所包围的运动向量探索区域，且
所述运动向量检测部在所述探索区域确定部输出的运动向量探索区域内运算基准块图像数据和参照块图像数据，检测基准块运动向量。
10.如权利要求9所述的运动向量检测装置，其特征在于，
所述探索区域确定部取第一探索区域和第二探索区域为圆形区域，并且
所述运动向量检测部，在连接第一探索区域和第二探索区域的连线、所述第一探索区域和第二探索区域所包围的所述运动向量探索区域内，运算基准块图像数据和参照块图像数据，检测基准块的运动向量。
11.如权利要求9所述的运动向量检测装置，其特征在于，
所述探索区域确定部取第一探索区域和第二探索区域为矩形区域，并且
所述运动向量检测部，在连接所述第一探索区域和第二探索区域的连线、所述第一探索区域和第二探索区域所包围的所述运动向量探索区域内，运算基准块图像数据和参照块图像数据，检测基准块的运动向量。
12.如权利要求7所述的运动向量检测装置，其特征在于，
所述探索区域确定部对表示所述运动向量探索区域的区域生成标志，并且
所述运动向量检测部按照所述探索区域确定部生成的标志对是否进行运动向量检测进行判断，并运算基准块图像数据和参照块图像数据，以检测基准块中的运动向量。
CNB031530427A 1998-10-22 1999-10-18 运动向量检测方法和装置 Expired - Fee Related CN1222174C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP30147998A JP4078733B2 (ja) 1998-10-22 1998-10-22 動きベクトル検出方法及び装置
JP301478/1998 1998-10-22
JP30147898A JP4035903B2 (ja) 1998-10-22 1998-10-22 動きベクトル検出方法及び装置
JP301479/1998 1998-10-22
JP301477/1998 1998-10-22
JP30147798A JP4196447B2 (ja) 1998-10-22 1998-10-22 動きベクトル検出方法及び装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB998031798A Division CN1148069C (zh) 1998-10-22 1999-10-18 运动向量检测方法和装置

Publications (2)

Publication Number Publication Date
CN1496129A CN1496129A (zh) 2004-05-12
CN1222174C true CN1222174C (zh) 2005-10-05

Family

ID=27338461

Family Applications (3)

Application Number Title Priority Date Filing Date
CNB031530427A Expired - Fee Related CN1222174C (zh) 1998-10-22 1999-10-18 运动向量检测方法和装置
CNB031530419A Expired - Fee Related CN1222173C (zh) 1998-10-22 1999-10-18 运动向量检测方法和装置
CNB998031798A Expired - Fee Related CN1148069C (zh) 1998-10-22 1999-10-18 运动向量检测方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CNB031530419A Expired - Fee Related CN1222173C (zh) 1998-10-22 1999-10-18 运动向量检测方法和装置
CNB998031798A Expired - Fee Related CN1148069C (zh) 1998-10-22 1999-10-18 运动向量检测方法和装置

Country Status (9)

Country Link
US (1) US6594314B1 (zh)
EP (1) EP1051040A1 (zh)
KR (1) KR100659627B1 (zh)
CN (3) CN1222174C (zh)
AU (1) AU751909B2 (zh)
CA (1) CA2314976C (zh)
MY (1) MY125635A (zh)
TW (1) TW444507B (zh)
WO (1) WO2000024202A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW444507B (en) * 1998-10-22 2001-07-01 Sony Corp Detecting method and device for motion vector
US20030081685A1 (en) * 2001-10-31 2003-05-01 Montgomery Dennis L. Method and apparatus for determining patterns within adjacent blocks of data
JP4610195B2 (ja) 2001-12-17 2011-01-12 マイクロソフト コーポレーション スキップマクロブロックコード化
US7817717B2 (en) * 2002-06-18 2010-10-19 Qualcomm Incorporated Motion estimation techniques for video encoding
JP4179548B2 (ja) * 2003-09-24 2008-11-12 Ｋｄｄｉ株式会社 動きベクトル検出装置
US7894526B2 (en) * 2004-02-27 2011-02-22 Panasonic Corporation Motion estimation method and moving picture coding method
CN100373952C (zh) * 2004-06-15 2008-03-05 中兴通讯股份有限公司 一种基于mpeg-4的视频对象快速运动估值方法
CN100433835C (zh) * 2005-03-01 2008-11-12 凌阳科技股份有限公司 动态调整运动估计的方法及系统
JP4304528B2 (ja) * 2005-12-01 2009-07-29 ソニー株式会社 画像処理装置および画像処理方法
JP4389866B2 (ja) * 2005-12-12 2009-12-24 セイコーエプソン株式会社 画像処理方法、画像処理装置、表示装置およびプログラム
US8416851B2 (en) * 2006-12-20 2013-04-09 Intel Corporation Motion detection for video processing
JP4985201B2 (ja) * 2007-08-07 2012-07-25 ソニー株式会社 電子機器、動きベクトル検出方法及びプログラム
KR101446773B1 (ko) * 2008-02-20 2014-10-02 삼성전자주식회사 영상 복구를 이용한 인터 예측 부호화, 복호화 방법 및장치
JP5268433B2 (ja) * 2008-06-02 2013-08-21 キヤノン株式会社 撮像装置、及び撮像装置の制御方法
US20100103323A1 (en) * 2008-10-24 2010-04-29 Ati Technologies Ulc Method, apparatus and software for determining motion vectors
JP5338684B2 (ja) * 2010-01-08 2013-11-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20120072205A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 매크로블록 간의 예측 기법을 이용한 움직임 추정 장치 및 방법
US20140254678A1 (en) * 2013-03-11 2014-09-11 Aleksandar Beric Motion estimation using hierarchical phase plane correlation and block matching
TWI782974B (zh) 2017-04-13 2022-11-11 美商松下電器（美國）知識產權公司 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
JP6946419B2 (ja) 2017-04-13 2021-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号装置、復号方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223577A (ja) 1994-12-12 1996-08-30 Sony Corp 動画像符号化方法及び装置、並びに動画像復号方法及び装置
JP3823370B2 (ja) * 1996-04-15 2006-09-20 ソニー株式会社 動画像符号化方法、復号方法及びその装置
JP3876392B2 (ja) * 1996-04-26 2007-01-31 富士通株式会社 動きベクトル探索方法
US6108039A (en) * 1996-05-23 2000-08-22 C-Cube Microsystems, Inc. Low bandwidth, two-candidate motion estimation for interlaced video
JPH1051792A (ja) 1996-07-31 1998-02-20 Matsushita Electric Ind Co Ltd 動画像符号化装置及び符号化方法
JPH10126787A (ja) 1996-10-14 1998-05-15 Nec Eng Ltd Ｐピクチャの予測ベクトルをオフセットベクトルとした双方向予測ベクトル検出回路
TW444507B (en) * 1998-10-22 2001-07-01 Sony Corp Detecting method and device for motion vector

Also Published As

Publication number Publication date
EP1051040A1 (en) 2000-11-08
KR100659627B1 (ko) 2006-12-20
CA2314976A1 (en) 2000-04-27
AU751909B2 (en) 2002-08-29
CN1148069C (zh) 2004-04-28
WO2000024202A1 (en) 2000-04-27
US6594314B1 (en) 2003-07-15
KR20010033415A (ko) 2001-04-25
CN1496128A (zh) 2004-05-12
MY125635A (en) 2006-08-30
CN1222173C (zh) 2005-10-05
CN1291409A (zh) 2001-04-11
TW444507B (en) 2001-07-01
CA2314976C (en) 2008-04-08
CN1496129A (zh) 2004-05-12
AU6124299A (en) 2000-05-08

Similar Documents

Publication Publication Date Title
CN1222174C (zh) 运动向量检测方法和装置
CN1581982A (zh) 基于模式分析的运动矢量补偿装置和方法
CN1178464C (zh) 运动矢量高速测算装置和运动矢量测算方法
CN1678074A (zh) 用于在分层运动估计中产生运动矢量的方法和装置
CN1220391C (zh) 图像编码装置、图像译码装置、图像编码方法和图像译码方法
CN1608372A (zh) 在视频编码器中选择宏块量化参数的方法和装置
CN1874519A (zh) 使用视频对称的帧内预测方法和设备及编解码方法及设备
CN1168052A (zh) 图象数据内插设备
CN1495674A (zh) 运动向量补偿的内插装置和方法
CN1428939A (zh) 视频编码装置
CN1207634A (zh) 数字视频信号块间内插预测编码/解码装置及高效编码方法
CN101039433A (zh) 视频编码方法、视频编码装置和视频编码程序
CN1835594A (zh) 在计算机上执行运动矢量检测处理的检测方法以及装置
CN1956547A (zh) 运动矢量检测装置及运动矢量检测方法
CN1750656A (zh) 编码和解码图像
CN1798343A (zh) 一种解码数据结构的方法及视频解码器
CN1036807C (zh) 带自动阅读开始功能的条形码阅读装置
CN1245028C (zh) 非均匀多层次六边形格点整象素运动搜索方法
CN1710962A (zh) 移动图像编码装置
CN1149850C (zh) 对移动图象进行编码的方法和装置
CN1592422A (zh) 动态矢量检出装置以及动态矢量检出方法
CN1750635A (zh) 视频评价装置及方法、帧速率确定装置、及视频处理装置
CN1324533C (zh) 编码图像数据的解码方法
CN1867851A (zh) 自动聚焦控制方法、自动聚焦控制器和图像处理器
CN1165176C (zh) 基于预测方向校正/统计预判的快速亚象素运动估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051005

Termination date: 20091118