CN101080930B - 运动矢量计算装置及运动矢量计算方法 - Google Patents

Abstract

在以往的技术中，在计算的全局运动矢量有错误时，由于搜索范围也与本来的搜索范围不同，因而存在的问题是，其运动矢量也很有可能计算错误。另外还存在的问题是，由于该运动矢量计算的错误，有可能引起活动图像编码效率降低。为了解决以上的问题，本发明提供一种运动矢量计算装置，该运动矢量计算装置关于全局运动矢量的计算，是将全局宏块分割成中间块，检测其中间运动矢量。然后从该检测出的中间运动矢量，去除认为取得异常值的中间运动矢量，根据剩下的中间运动矢量，计算出更正确的全局运动矢量。

Description

运动矢量计算装置及运动矢量计算方法

技术领域

本发明涉及为了计算在对输入图像进行编码时的帧间预测中所使用的运动矢量用的、全局(global)运动矢量的计算技术。

背景技术

以往，在进行活动图像高效编码时，主要采用以下的三种图像变换来压缩活动图像信息量，并进行编码。即，有利用图像内(空间)相关的第一图像变换、利用图像间(时间)相关的第二图像变换、以及利用根据代码的出现概率的变长编码的第三图像变换。其中，利用时间相关的第二图像变换中，以宏块(macroblock)为单位计算时间上不同的帧(输入图像)之间的图像的移动方向及移动量，作为「运动矢量」，通过利用该宏块的像素信息及运动矢量的信息来表现帧，就能够减少活动图像信息量。

但是，在该「运动矢量」的计算处理中，若想要搜索成为宏块的移动终点(或移动起点)的其它帧内的块，则在例如体育图像等运动量多的活动图像中，必须将该搜索范围取得很大，因而有可能它的计算量也很庞大。因此，在专利文献1中揭示了一项技术，该技术利用当前帧的缩小图像，首先计算整个图像的全局运动矢量，并利用该全局运动矢量，缩小宏块的移动终点搜索范围之后，计算运动矢量。

图1所示为说明利用该全局运动矢量的、以宏块为单位的运动矢量计算的其它一个例子用的说明图。如该图1的(1)中所示，首先，利用与通常的运动矢量计算相同的处理，计算包含想要检测运动矢量的宏块α的、更大的(全局)宏块α’的全局运动矢量(0101)。于是，可以认为在包含用该全局运动矢量表示的全局宏块α’的移动终点的规定范围内有宏块α的移动。因而，通过计算图1的(2)所示的范围β，作为宏块α的运动矢量的搜索范围，能够不白费地扩大搜索范围，计算出宏块α的运动矢量(0102)。

[专利文献1]WO00/05899号

但是，在上述以往的技术中，存在以下那样的问题。即，如图2的实线所示，在计算的全局运动矢量有错误时(正确的全局运动矢量用虚线箭头表示)，根据该错误的全局运动矢量所决定的搜索范围当然与本来要决定的搜索范围不同。因而存在的问题是，在该错误的搜索范围内搜索并计算的宏块的运动矢量也很有可能计算错误。另外还存在的问题是，由于该运动矢量计算的错误，有可能引起活动图像编码效率降低。这是因为，通常由这样的错误而计算出的运动矢量多数取极端值。那是由于因错误而参照与本来完全不同的块来计算运动矢量的缘故。而且，当该矢量的绝对值取极端大的值时，在矢量的绝对值越接近于0、越达到高效率编码的哥洛姆编码等中，也成为使该编码效率降低的主要原因。

发明内容

为了解决以上的问题，本发明提供一种运动矢量计算装置，是利用以全局宏块为单位计算出的全局运动矢量来决定宏块的运动矢量搜索范围、从而计算运动矢量的运动矢量计算装置，关于该全局运动矢量的计算，还具有以下那样的功能。即具有的功能是，如图3的(1)所示，将全局宏块分割成例如4块(中间(middle)块)a、b、c、d，检测该中间块的运动矢量即中间运动矢量。然后，从该检测的中间运动矢量中，通过例如「去除极值矢量」、「中值处理」或「利用标准偏差去除异常值」处理等，去除认为取得了异常值的中间运动矢量。然后，根据剩下的中间运动矢量，如图3的(2)所示，计算更正确的全局运动矢量0301。为此，本发明具有：将全局宏块分割成多个中间块的分割部；对每个分割的中间块检测中间运动矢量的中间运动矢量检测部；以及根据该全局宏块中包含的中间块的中间运动矢量、计算一个全局宏块的全局运动矢量的全局运动矢量计算部。

根据采用以上那样构成的本发明，即使在中间运动矢量计算中算出错误的运算结果，但也能够通过「去除极值矢量」、「中值处理」或「利用标准偏差去除异常值」等处理，如前所述，去除多数情况下取得极端值的该错误的运算结果，因而能够计算出更正确的全局运动矢量。所以，根据该正确的全局运动矢量，能够更正确地决定运动矢量计算用的搜索范围，另外，利用该正确的运动矢量计算，在绝对值越接近于0、越达到高效率编码的哥洛姆(日文：コロム)编码等中，也能够进行高效的编码。

附图说明

图1为说明以往技术即利用该全局运动矢量的、以宏块为单位的运动矢量计算的其它一个例子用的说明图。

图2为说明以往技术即利用该全局运动矢量的、以宏块为单位的运动矢量计算中的问题用的说明图。

图3为说明实施例1的运动矢量计算装置的一个例子用的概念图。

图4为表示实施例1的运动矢量计算装置的功能块的一个例子的框图。

图5为说明实施例1的运动矢量计算装置的分割部进行分割的一个例子用的说明图。

图6为说明实施例1的运动矢量计算装置的中间运动矢量检测部进行的搜索处理的运算量用的说明图。

图7为说明实施例1的运动矢量计算装置的全局运动矢量计算部进行的全局运动矢量计算处理的一个例子用的说明图。

图8为说明实施例1的运动矢量计算装置的全局运动矢量计算部进行的全局运动矢量计算处理的其它一个例子用的说明图。

图9为说明实施例1的运动矢量计算装置的全局运动矢量计算部进行的全局运动矢量计算处理的另外其它一个例子用的说明图。

图10为表示实施例1的运动矢量计算装置的硬件构成的一个例子的简图。

图11为表示实施例1的运动矢量计算装置的处理流程的一个例子的流程图。

图12为说明实施例2的运动矢量计算装置的一个例子用的简图。

图13为表示实施例2的运动矢量计算装置的功能块的一个例子的框图。

图14为说明实施例2的运动矢量计算装置的帧分割部进行的帧分割的一个例子用的说明图。

图15为表示实施例2的运动矢量计算装置的硬件构成的一个例子的简图。

图16为表示实施例2的运动矢量计算装置的处理流程的一个例子的流程图。

图17为表示实施例3的运动矢量计算装置的功能块的一个例子的框图。

图18为说明实施例3的运动矢量计算装置的规则保持部中保持的规定的规则的一个例子用的概念图。

图19为说明实施例3的运动矢量计算装置的规则保持部中保持的规定的规则的其它一个例子用的概念图。

图20为表示实施例3的运动矢量计算装置的功能块的其它一个例子的框图。

图21为表示实施例3的运动矢量计算装置的处理流程的一个例子的流程图。

[标号说明]

0400  运动矢量计算装置

0401  分割部

0402  中间运动矢量检测部

0403  全局运动矢量计算部

具体实施方式

以下，利用附图说明本发明的实施形态。另外，本发明不限于这些实施形态，在不超出其要点的范围内，可以用各种形态来实施。另外，实施例1主要说明权利要求1、8。另外，也说明关于中间运动矢量的去除处理的权利要求2、3、4、9、10、11。另外，实施例2主要说明权利要求5、12。另外，实施例3主要说明权利要求6、7、13、14。

《实施例1》(实施例1的概要)本实施例的运动矢量计算装置的一个例子是利用以全局宏块为单位计算出的全局运动矢量来决定宏块的运动矢量搜索范围、从而计算运动矢量的运动矢量计算装置，是还具有以下那样功能的运动矢量计算装置。即该功能是在计算全局运动矢量时，将该全局宏块分割成中间块，利用该中间块的运动矢量即中间运动矢量，计算出更正确的全局运动矢量。

另外，所谓「全局宏块」，是指比在活动图像编码的帧间预测中利用的运动矢量检测单位即宏块要大的块，但其大小也可以通过适当设计而能够设定。然后，利用以该全局宏块为单位检测的全局运动矢量，决定运动矢量检测用的搜索范围。这样，在以宏块为单位的运动矢量计算中，由于能够缩小利用全局运动矢量的宏块移动终点的搜索范围，因此能够减轻整个装置的处理负荷。

但是，在错误计算出该全局运动矢量时，如前所述，很可能引起运动矢量的误检测或编码效率降低等情况。因此，在本实施例中，将全局宏块分割成中间块，利用该中间运动矢量，计算出更正确的全局运动矢量。

(实施例1的构成)图4为表示本实施例的运动矢量计算装置的功能块的一个例子的框图。如该图所示，本实施例的「运动矢量计算装置」(0400)具有「分割部」(0401)、「中间运动矢量检测部」(0402)、以及「全局运动矢量计算部」(0403)。另外，在本发明中，虽没有明示作为构成要件，但作为利用全局运动矢量的运动矢量计算装置，当然进行根据全局运动矢量的搜索范围的决定、以及利用该搜索范围的运动矢量计算等处理。

另外，以下所述的本装置的功能块能够作为硬件、软件、或硬件及软件的两方面来实现。具体来说，若是利用计算机的装置，可以举出有CPU等运算器、主存储器、总线、硬盘、或非易失性存储器等存储装置、CD-ROM或DVD-ROM等记录介质、这些介质的读取驱动器、各种通信或打印设备用的收发口、其它的外围设备等硬件构成部分；控制这些硬件用的驱动程序及其它应用程序；信息输入用的接口等。然后，利用这些硬件及软件，对存储器上打开的程序用运算器依次进行运算处理，或者对于存储器及硬盘上保持的数据、或通过接口输入的数据等进行加工、存储、输出处理，或者进行各硬件构成部分的控制。另外，本发明不仅能够作为装置来实现，也可以作为方法来实现。另外，可以作为软件来构成这样的发明的一部分。再有，使计算机执行这样的软件所使用的软件产品、及将该产品固定在记录介质中的记录介质，也当然包含在本发明的技术范围内(在整个本说明书中相同)。

「分割部」(0401)具有得全局宏块分割成多个中间块的功能。另外，其分割数及分割形状等可任意设定。另外，该「分割」不仅是例如根据全局宏块的坐标信息来计算分割后的中间块的坐标的动态分割，也可以是以下那样的静态分割。即该方法是，预先将全局宏块的坐标信息与其分割的中间块的坐标信息生成表格，将生成表格的「全局宏块-中间块表格」预先存入存储装置等。然后，在分割时，将用坐标信息表示的全局宏块作为关键词来查阅该表，立刻取得被分割的对应中间块的坐标信息。但是，无论在怎样多个分割中，希望如图5的(1)所示，是中间块彼此间不重叠那样来分割。这是因为，在如图5的(2)所示那样中间块彼此间重叠的情况下，当利用中间块a、b、c、d的中间运动矢量来计算全局运动矢量时，必须考虑该重叠部分等，必须进行这些不需要的运算处理。

然后，作为在该分割部的具体的全局宏块的分割处理方法的一个例子，可以举出有例如利用全局宏块的坐标信息、将该全局宏块分割成具有规定长边的长方形中间块的方法等。另外，这些全局宏块与将它分割而生成的多个中间块将各自的识别信息等相关联等来加以保持。

「中间运动矢量检测部」(0402)具有对每个分割的中间块检测中间运动矢量的功能。另外，该中间运动矢量的检测处理与通常的运动矢量检测处理相同，例如可以这样进行检测，即在中间块与处于该中间块的参照目标帧内的块之间，对每个对应像素取差分的绝对值，计算其总和作为相关系数。然后，以一个像素或半个像素等为单位，一面在参照目标帧内进行搜索，一面进行全搜索，计算各自的相关系数，确定该相关系数为最小的块作为该中间块的移动终点。然后，根据向该中间块的移动终点的移动方向及移动量，来检测中间运动矢量。当然，以半个像素为单位等对这样的参照目标帧内的块进行全部搜索、并计算相关系数的检测处理是一个例子，为了减少运算负荷，也可以求出任意的3块的相关系数，根据其大小关系，缩小移动终点的块，即通过所谓叫做对数搜索的处理等来检测中间运动矢量。

另外，如图6所示，例如横向尺寸为「2a」×纵向尺寸为「2b 」的全局宏块的运动终点搜索的运算量在设其搜索量为「Z」时，为「4ab×Z」。另一方面，在分割成4个纵向尺寸为「a」×横向尺寸为「b」的中间块时，由于搜索量同样为「Z」，因此其运动终点搜索的运算量成为「ab×Z×4」。这样，根据本实施例，利用中间运动矢量来计算全局运动矢量的方法能够与以往的全局运动矢量计算的运算处理量基本上没有变化来实施。

「全局运动矢量计算部」(0403)具有根据一个全局宏块中包含的中间块的中间运动矢量来计算该全局宏块的全局运动矢量的功能。而且，本实施例的特征在于，在用该全局运动矢量计算部的全局运动矢量计算中，利用与以往的运动矢量检测不同的运算处理来计算。即在于，通过「去除极值矢量」、「中值处理」或「利用标准偏差去除异常值」等，去除因参照与本来完全不同的块而取得极端的值、从而取得检测的异常值的中间运动矢量之后，来计算全局运动矢量。而且据此能够计算出比以往要正确的全局运动矢量。以下，利用图7至图9，说明去除取得这些极值的中间运动矢量的用全局运动矢量计算部的全局运动矢量计算处理例子。

图7为说明用全局运动矢量计算部进行的全局运动矢量计算处理的一个例子用的说明图。如该图所示，本实施例的运动矢量计算装置的特征在于，它的「全局运动矢量计算部」(0703)还具有「去除极值平均单元」(0704)。「去除极值平均单元」(0704)具有将在前述中间运动矢量中去除取得最大值的中间运动矢量及取得最小值的中间运动矢量的矢量值的总和进行平均、计算出全局运动矢量的功能。例如如图7所示，将全局宏块分割成9个中间块，检测各自的中间运动矢量a、b、……、i。然后，对各自的矢量值进行运算及比较，在9个中间运动矢量中，判断具有最大的矢量值的矢量是「i」，具有最小的矢量值的矢量是「a」。于是，在该去除极值平均单元中，将去除了该最大矢量「i」及最小矢量「a」的、剩下的中间运动矢量b、c、…、h的总和进行平均，求出全局运动矢量。

图8为说明用全局运动矢量计算部进行的全局运动矢量计算处理的其它一个例子用的说明图。如该图所示，本实施例的运动矢量计算装置的特征在于，它的「全局运动矢量计算部」(0803)还具有「中值平均单元」(0804)。「中值平均单元」(0804)具有通过将前述中间运动矢量进行中值处理来计算全局运动矢量的功能。另外，所谓「中值处理」，是例如将矢量分量按大小顺序排列、并计算位于其中间的值(在数值是偶数个时，是中间2个值的平均)作为平均值的处理。例如如图8所示，检测出分割全局宏块的9个中间块的中间运动矢量a、b、……、i。然后，将各自的矢量分量按其值减小(或增大)的顺序排列。于是，可以确定其中间值为「4、3」，因此求出全局运动矢量的分量为「4、3」。另外，在该中值处理中也可以这样进行处理，即在求出分量的中间值之前，去除取得极值的矢量，求出其剩下的矢量的分量的中间值。

图9为说明用全局运动矢量计算部进行的全局运动矢量计算处理的其它一个例子用的说明图。如该图所示，本实施例的运动矢量计算装置的特征在于，它的「全局运动矢量计算部」(0903)还具有「利用标准偏差平均单元」(0904)。「利用标准偏差平均单元」(0904)具有在前述中间块运动矢量中将具有±3σ内的值的中间运动矢量值的总和进行平均、来计算全局运动矢量的功能。另外，所谓「σ」，是指标准偏差，即是指用「(各矢量值与其平均值之差)的平方」的平均值计算的方差的平方根，如图中的正态分布所示，在其标准偏差σ的±3倍值以内，包含矢量值的99.7％。因而，可以认为不包含在±3σ内的中间运动矢量是以0.3％的概率出现的异常值。所以，去除取得这些异常值的中间运动矢量、例如a、i，将剩下的中间运动矢量b、c、…、h的总和进行平均，求出全局运动矢量。

这样进行上述某一种处理方法，能够去除取得极端的矢量值的中间运动矢量，因而，能够计算出更正确的全局运动矢量。然后，根据该正确的全局运动矢量，能够更正确地决定运动矢量计算用的搜索范围，计算出运动矢量。

<实施例1的硬件构成例>图10为表示本实施例的运动矢量计算装置的硬件构成的一个例子的简图。利用该图来说明基于中间运动矢量的全局运动矢量计算处理的各硬件构成部的作用的一个例子。如该图所示，本实施例的运动矢量计算装置中的分割部、中间运动矢量检测部、以及全局运动矢量计算部的功能，是利用进行数据运算的「运算器」(1001)、存储为此所用的数据的「主存储器」(1002)、输入成为高效编码对象的图像的「图像输入单元」(1003)、以及存储该输入图像的「视频存储器」(1004)等来实现的。而且，它们利用系统总线(1005)等数据通信路径相互连接，进行信息收发等。

另外，「主存储器」提供用运算器执行的程序的作业区即工作区、以及存储利用该程序进行处理用的数据的数据区。而且，对于该「主存储器」及「视频存储器」，分配多个存储器地址，用「运算器」执行的程序确定该存储器地址，进行存取，通过这样能够相互进行数据交换，进行处理。

这里，从「图像输入单元」输入成为高效编码对象的图像。这里的输入图像可以是例如将用电视机调谐器接收的模拟广播电波进行无压缩编码的活动图像数据、或用数码摄像机拍摄的无压缩编码活动图像数据等各种活动图像数据。或者也可以是将高效编码的活动图像数据进行解压缩的编码活动图像。然后，构成这里输入的活动图像的图像通过系统总线存入视频存储器的规定的存储器地址，例如输入图像1(活动图像数据的最初的帧)存入存储器地址A，输入图像2(活动图像数据的第2帧)存入存储器地址B，…。

然后，这些输入图像的数据依次存入「主存储器」的规定存储器地址，利用「运算器」的运算处理，进行DCT变换处理或量化处理等，通过这样进行利用图像内(空间)相关的第一图像变换。然后，在该第一图像变换处理之后，接着进行图像的逆变换(逆DCT变换、逆量化)处理，生成逆变换图像。然后，在输入图像2以后，为了利用帧间预测进行图像压缩，而进行图像的运动检测，但该运动检测处理是利用这些逆变换图像及输入图像进行的。另外，为了减少该运动检测处理中的运算处理量及提高该运动检测处理中的检测精度，还进行全局运动矢量计算处理。具体来说，计算输入图像2的全局宏块的相对于输入图像1的全局运动矢量，使得与帧间预测的前预测处理中的运动预测所使用的宏块的构成一致。而且，在进行该全局运动矢量计算的处理过程中，在本实施例中为了提高其检测精度，如以下那样进行中间运动矢量的检测处理、以及基于该中间运动矢量的全局运动矢量的计算处理。另外，在这些全局运动矢量的计算处理及中间运动矢量的检测处理中，虽然有使用上述逆变换图像及输入图像的方法、以及仅使用输入图像的方法，但在以下的说明中，以仅使用输入图像进行检测的方法为例进行叙述。

(分割部的处理)为了进行中间运动矢量的检测，在本实施例中，如前所述，首先进行全局宏块的中间块分割处理。因此，利用在主存储器的工作区打开的全局运动矢量计算程序的指令，首先，取得计算输入图像2的全局运动矢量的全局宏块α的坐标信息，存入主存储器的存储器地址1。然后，按照表示例如「以存入存储器地址1的全局宏块α的坐标信息为关键词，取得分割该全局宏块的中间块的坐标信息」的意思的指令，参照前述的「全局宏块-中间块表格」取得相应的中间块1、2、3、4的坐标信息。然后，将该中间块的坐标信息分别存入主存储器的存储器地址2、3、4、5。

(中间运动矢量检测部的处理)接着，对存入上述主存储器的各存储器地址的中间块进行中间运动矢量的检测处理。另外，该中间运动矢量的检测可以采用与以往的运动矢量同样的处理来进行检测。因此，为了计算前述的相关系数，根据坐标信息，取得中间块1的像素信息。具体来说，根据存入存储器地址2的该坐标信息，送出「将构成存入视频存储器的输入图像2的中间块1的像素信息存入主存储器的规定的存储器地址」的意思的指令，并执行。

另外，为了进行中间运动矢量检测，确定成为该中间块1的参照目标的前面或后面的输入图像的识别信息、例如输入图像1，并通过系统总线，存入主存储器的存储器地址。然后，与中间块相同，为了计算相关系数，根据输入图像1的块1的坐标信息，取得构成该块的像素信息，以及存入主存储器。另外，一面以半个像素(或一个像素或1/4像素)为单位沿该块运动(搜索)，一面同样取得构成这些块的像素信息，以及存入主存储器。

然后，根据存储器地址，确定中间块的像素信息及这些块的像素信息，按照例如「取得中间块1与(参照目标的)输入图像1的块1所对应的像素的差分值，计算其绝对值的总和，并将该运算结果(相关系数)存入主存储器的规定的存储器地址」的程序指令，用运算器进行运算，以及将运算结果存入存储器地址。另外，根据同样的指令，对于其它的输入图像1的块2、3、…，分别计算相关系数，存入主存储器的另外其它的规定的存储器地址。接着，根据存储器地址确定各自的相关系数，按照例如「对分别存入主存储器的运算结果(相关系数)进行大小比较，确定为最小的相关系数」的指令，对用运算器的运算处理得到的相关系数进行大小比较。然后，确定取得其最小的相关系数，与该相关系数相关联的块被确定作为输入图像2的中间块1的、在输入图像1中的移动终点。然后，根据中间块1及确定作为其移动终点的块的坐标信息，通过运算器的运算，计算出中间运动矢量1，存入主存储器的存储器地址11。另外，对于中间块2、3、4，也进行同样的中间运动矢量计算处理。另外，对于输入图像2的其它的全局宏块β、θ、…，也同样进行中间块的分割处理、以及中间运动矢量的检测处理。

(全局运动矢量计算部的处理)接着，利用上述检测的中间运动矢量来计算全局运动矢量。为此，在前述的中间运动矢量中，进行「去除极值矢量」(去除极值平均单元)、「中值处理」(中值处理单元)或「利用标准偏差去除异常值」(利用标准偏差平均单元)处理等。因此，例如若是极值矢量去除处理，则按照「对中间运动矢量的矢量值进行大小比较，计算去除取得最大值的中间运动矢量及取得最小值的中间运动矢量的中间运动矢量的平均，并存入主存储器的存储器地址21」的指令，对存入主存储器的存储器地址11、12、13、14的各自的中间运动矢量的矢量值，通过运算器的运算，进行大小比较。然后，去除取得最大值的中间运动矢量及取得最小值的中间运动矢量之后，计算剩下的中间运动矢量的平均，该矢量作为用分割时的表格相关联的全局宏块α的全局运动矢量，存入主存储器的存储器地址21。另外，若是「中值处理」，则可以执行依次将各矢量分量的大小比较结果存入存储器地址、并将矢量个数的正当中的数值(若是偶数，则为正当中的两个数值)的依次存入的分量(在矢量个数是偶数时，为其分量的平均)作为全局运动矢量的分量的指令，并为此用运算器进行运算。另外，若是「利用标准偏差去除异常值」处理，则可以执行计算矢量值的标准偏差σ、并将具有±3σ以内的矢量值的中间运动矢量的平均作为全局运动矢量的指令，并为此用运算器进行运算。

然后，利用这样计算出的全局运动矢量，与以往的利用全局运动矢量的运动矢量检测相同，通过用运算器的运算，计算出搜索范围的坐标信息等，并基于此进行搜索及运动矢量计算。

<实施例1的处理流程>图11为表示本实施例的运动矢量计算装置的处理流程的一个例子的流程图。另外，以下所示的步骤也可以是构成记录在介质中并控制计算机用的程序的处理步骤。如该图所示，首先，将全局宏块分割成多个中间块(步骤S1101)，对分割的每个中间块，检测中间运动矢量(步骤S1102)。接着，根据前述检测的一个全局宏块中包含的中间块的中间运动矢量，来计算该全局宏块的全局运动矢量(步骤S1103)。然后，根据该计算出的全局运动矢量，决定宏块的运动矢量搜索范围(步骤S1104)，并利用该搜索范围，计算运动矢量(步骤S1105)。

<实施例1的效果的简要说明)如上所述，利用本实施例的运动矢量计算装置，即使在中间运动矢量计算中算出错误的运算结果，但也能够通过「去除极值矢量」、「中值处理」或「利用标准偏差去除异常值」等处理，去除该错误的运算结果，因而能够计算出更正确的全局运动矢量。所以，根据该正确的全局运动矢量，能够更正确地决定运动矢量计算用的搜索范围，另外，利用该正确的运动矢量计算，在绝对值越接近于0、越达到高效率编码的哥洛姆编码等中，也能够进行高效的编码。

《实施例2》<实施例2的概要>图12为说明本实施例的运动矢量计算装置的一个例子用的简图。如该图12的(1)所示，在将帧内的全局宏块进行等分割时，包含沿箭头P方向移动的人物及不运动的背景的块的全局运动矢量成为例如像矢量G那样将人物与背景的运动矢量合成的矢量。因而，在该全局宏块中包含的人物部分的宏块的运动矢量计算等中，有可能产生误检测。因此，在本实施例中，如图12(2)所示，将全局宏块不均匀地分割成包含很多移动体(估计)的块及不太包含移动体的块，将帧内的全局宏块进行不均匀地分割。通过这样，包含移动体的块的全局运动矢量抑制例如矢量F那样不移动的背景等的运动矢量的影响，能够计算作为与移动体的运动一致的矢量。另外反之，抑制像矢量D那样移动体的运动矢量的影响，能够计算作为与不移动的背景(这里是摄像机的镜头的运动)一致的矢量。

<实施例2的构成>图13为表示本实施例的运动矢量计算装置的功能块的一个例子的框图。如该图所示，本实施例的「运动矢量计算装置」(1300)是利用以全局宏块为单位计算出的全局运动矢量来决定宏块的运动矢量搜索范围、从而计算运动矢量的运动矢量计算装置，还具有「帧分割部」(1301)、及「规定分割后全局运动矢量计算部」(1302)。

「帧分割部」(1301)具有按照规定的规则将帧区域分割成不均匀的多个全局宏块的功能。该分割可以举出例如按照预先设定的方式等进行分割的方法。例如，通常认为活动图像的重要被摄物体位于中间部分，可以这样进行分割，即，将帧中心部分设为细分的全局宏块，帧周边部分设为大区域的全局宏块等。而且该帧分割部的分割处理可以举出采用下述的方法，即按照上述那样的不均匀分割的模式，准备例如表示各全局宏块的坐标的表格等，用于该帧分割部的处理。即，作为「规定的规则」的一个例子，可以举出有表示该分割模式的保持坐标信息的坐标表等。

另外，如图14的(1)所示，若是例如沿帧的横向高速移动的车辆的活动图像，则可以将帧分割作为沿横向分割较宽的全局宏块，或者如图12的(2)所示，若是棒球活动图像，则可以根据其典型的场面构成，分割成分别主要包含接球手、击球手、投球手那样的全局宏块。然后，这样分别包含移动体及非移动体，不均匀地进行全局宏块的分割，通过这样能够计算出更正确地计算运动矢量用的全局运动矢量。另外，在进行高效编码处理时，也可以由用户选择方式等，从而取得指定编码的活动图像的种类等的信息，选择上述那样的分割模式。或者也可以选择下述的规则，即，保持规定帧(过去的10帧等)的每个块的运动矢量履历，根据该履历，将运动量大的区域分割得较细，将运动量小的区域分割得较大。另外，也可以是下述的规则，即，同样利用履历，将相同的运动矢量归并作为新的全局运动矢量等。

「规定分割后全局运动矢量计算部」(1302)具有计算通过分割而得到的全局宏块的全局运动矢量的功能。另外，该全局运动矢量的计算处理由于除了该全局运动矢量的形状等是不均匀的以外，能够用与利用上述相关系数的以往的全局运动矢量计算处理相同的处理进行计算，因此其说明省略。

<实施例2的硬件构成例>图15为表示本实施例的运动矢量计算装置的硬件构成的一个例子的简图。利用该图来说明本实施例的全局运动矢量计算处理的各硬件构成部的作用的一个例子。如该图所示，本实施例的运动矢量计算装置中的帧分割部、以及规定分割后全局运动矢量检测部的功能，是利用进行数据运算的「运算器」(1501)、存储为此所用的数据的「主存储器」(1502)、输入成为高效编码对象的图像的「图像输入单元」(1503)、存储该输入图像的「视频存储器」(1504)、另外存储表示上述全局宏块的不均匀分割模式的坐标表等的存储装置(1506)等来实现的。而且，它们利用系统总线(1505)等数据通信路径相互连接，进行信息收发等。

当然，对于该「主存储器」、「视频存储器」及「存储装置」，分配多个存储器地址，用「运算器」执行的程序确定该存储器地址，进行存取，通过这样能够相互进行数据交换，进行处理。

这里，从「图像输入单元」输入成为高效编码对象的图像。这里的输入图像可以是实施例1同样的模拟数据的编码活动图像数据等各种活动图像数据。然后，构成这里输入的活动图像的图像通过系统总线存入视频存储器的规定的存储器地址，例如输入图像1(活动图像数据的最初的帧)存入存储器地址A，输入图像2(活动图像数据的第2帧)存入存储器地址B，…。

然后，这些输入图像的数据依次存入「主存储器」的规定存储器地址，利用「运算器」的运算处理，进行DCT变换处理或量化处理等，通过这样进行利用图像内(空间)相关的第一图像变换。然后，在该第一图像变换处理之后，接着进行图像的逆变换(逆DCT变换、逆量化)处理，生成逆变换图像。然后，利用这些逆变换图像及输入图像、或多个输入图像，进行全局运动矢量计算处理。

(帧分割部的处理)为此，在本实施例中，如前所述，首先进行将输入图像的帧区域分割成不均匀的全局宏块的处理。因此，利用在主存储器的工作区打开的全局运动矢量计算程序的指令，首先，将「存储装置」中存储的表示不均匀的全局宏块的坐标信息的坐标表存入主存储器的存储器地址1。因此，按照「参照坐标表，取得各全局宏块的坐标信息，存入主存储器的规定的存储器地址」的指令，取得将帧进行不均匀分割的全局宏块的各坐标信息，并存入主存储器的存储器地址2、3…。

(规定分割后全局运动矢量计算部的处理)接着，根据存入主存储器的存储器地址(规定分割后)的全局宏块1的坐标信息，进行全局运动矢量的计算处理。另外，该计算处理与以往的全局运动矢量的计算处理相同，例如可以利用对应像素差分值的绝对值总和即相关系数来进行计算。然后，将计算出的全局运动矢量存入主存储器的存储器地址11。另外，对于其它的全局宏块2、3…也可以同样计算全局运动矢量，存入规定的存储器地址。

这样，通过计算例如将移动体与非移动体分离包含那样不均匀分割的全局宏块的全局运动矢量，能够决定与各全局宏块中包含的一个个宏块的运动正确地相对应的搜索范围。另外，该搜索范围的决定及基于它的运动矢量计算等，也可以与以往的运算处理同样进行。

<实施例2的处理流程>图16为表示本实施例的运动矢量计算装置的处理流程的一个例子的流程图。另外，以下所示的步骤也可以是构成记录在介质中并控制计算机用的程序的处理步骤。如该图所示，首先，根据规定的规则将帧区域分割成不均匀的多个全局宏块(步骤S1601)，计算利用分割得到的全局宏块的全局运动矢量(步骤S1602)。然后，根据该计算出的全局运动矢量，决定宏块的运动矢量搜索范围(步骤S1603)，并利用该搜索范围，计算运动矢量(步骤S1604)。

<实施例2的效果的简要说明>如上所述，利用本实施例的运动矢量计算装置，能够计算例如将移动体与非移动体分离包含那样不均匀分割的全局宏块的全局运动矢量。因而，能够决定与各全局宏块中包含的一个个宏块的运动正确地相对应的搜索范围，并计算出运动矢量。

《实施例3》<实施例3的概要>本实施例的特征在于，以实施例2为基础，还具有保持多个规则、并有选择地采用该规则将帧分割成不均匀的全局宏块的功能。

<实施例3的构成>图17为表示本实施例的运动矢量计算装置的功能块的一个例子的框图。如该图所示，本实施例的「运动矢量计算装置」(1700)以实施例2为基础，具有「帧分割部」(1701)、及「规定分割后全局运动矢量计算部」(1702)。另外，这些「帧分割部」及「规定分割后全局运动矢量计算部」由于在实施例2中已经叙述过，因此其说明省略。另外，本实施例的运动矢量计算装置的特征在于，还具有「规则保持部」(1703)及「选择部」(1704)。

「规则保持部」(1703)具有保持多个前述规定的规则的功能。该规则保持部能够利用例如硬盘驱动器等磁记录装置、非易失性存储器、或DVD盘片等光学介质及其读取驱动器等来实现。

图18为说明该规定的规则的一个例子用的概念图。如该图所示，规定的规则可以举出有例如指定全局宏块的分割模式的规则。例如，如图18的(1)所示，与用户指定的方式相关联，设定分割模式，根据表示从接口输入的该方式的信息，例如若是通常拍摄的活动图像，则根据用模式1表示的坐标信息等来分割帧。或者通过对图18的输入图像进行模式匹配处理，检测出例如重要被摄物体存在的位置，根据与该检测结果相应设定的分割模式所示的坐标信息等，来分割帧。

图19为说明另外其它规定的规则的一个例子用的说明图。在该规定的规则中，利用实施例1中说明的中间块的中间运动矢量。即，如图19的(1)所示，首先对每个中间块计算各自的中间运动矢量。然后，在相邻或离散的块之间进行矢量值的比较，将在规定的范围内具有近似的矢量的中间块、例如1、2、9、10归并作为全局宏块A。即，在该例子的规定的规则中，可以规定该矢量近似判断用的范围等。然后，在下面的选择部选择上述那样的规定的规则，用作为帧分割的规则。

「选择部」(1704)具有从保持多个的规则中选择一个规则、用作为帧分割部中的规则的功能。该选择的基准如前所述，可以例如以用户通过接口的选择输入的方式信息为基准，或以通过模式匹配而检测出的重要被摄物体在帧内的位置信息等为基准。另外，选择部中的选择除了这样的分割模式选择以外，也可以是选择例如是否利用中间块进行全局宏块的分割等那样的分割方法。

另外，这时成为选择基准的上述信息等也可以作为「属性值」由本实施例的运动矢量计算装置取得，并根据该属性值进行上述选择。图20为表示具有取得该属性值的「属性值取得部」的运动矢量计算装置的功能块的一个例子的框图。如该图所示，在本例子中，「运动矢量计算装置」(2000)具有「帧分割部」(2001)、「规定分割后全局运动矢量计算部」(2002)、「规则保持部」(2003)及「选择部」(2004)。而且，还具有「属性值取得部」(2005)。

「属性值取得部」(2005)具有取得要计算出运动矢量的活动图像的属性值的功能。所谓「属性值」，如前所述，可以举出有表示用户通过接口的选择输入的方式信息的值、表示通过模式匹配而检测出的重要被摄物体在帧内的位置等的值、或者表示是否利用中间块进行全局宏块的分割的值等。然后，根据这样取得的属性值，选择规则，通过这样能够进行符合输入图像的全局宏块的分割。

<实施例3的处理流程>图21为表示本实施例的运动矢量计算装置的处理流程的一个例子的流程图。另外，以下所示的步骤也可以是构成记录在介质中并控制计算机用的程序的处理步骤。如该图所示，首先，取得要计算出运动矢量的活动图像的属性值(步骤S2101)，根据该属性值，从预先保持的多个规则中选择一个规则(步骤S2102)。接着，根据前述选择的规则，将帧区域分割成不均匀的多个全局宏块(步骤S2103)，计算利用分割得到的全局宏块的全局运动矢量(步骤S2104)。然后，根据该计算出的全局运动矢量，决定宏块的运动矢量搜索范围(步骤S2105)，并利用该搜索范围，计算运动矢量(步骤S2106)。

<实施例3的效果的简要说明>如上所述，利用本实施例的运动矢量计算装置，能够根据图像的属性值，选择适用于帧区域分割的规则。因此，能够进行符合输入图像的全局宏块的不均匀分割，能够决定与各全局宏块中包含的一个个宏块的运动更正确地相对应的搜索范围，并计算出运动矢量。

Claims (8)

1.一种运动矢量计算装置，其特征在于，

是利用以全局宏块为单位计算出的全局运动矢量来决定宏块的运动矢量搜索范围、从而计算运动矢量的运动矢量计算装置，具有：

将全局宏块分割成多个中间块的分割部；

对每个分割的中间块检测中间运动矢量的中间运动矢量检测部；以及

根据该全局宏块中包含的中间块的中间运动矢量、计算一个全局宏块的全局运动矢量的全局运动矢量计算部。

2.如权利要求1所述的运动矢量计算装置，其特征在于，

所述全局运动矢量计算部具有将在所述中间运动矢量中去除取得最大值的中间运动矢量及取得最小值的中间运动矢量的矢量值的总和进行平均、计算出全局运动矢量的去除极值平均单元。

3.如权利要求1所述的运动矢量计算装置，其特征在于，

所述全局运动矢量计算部具有通过将所述中间运动矢量进行中值处理来计算全局运动矢量的中值平均单元。

4.如权利要求1所述的运动矢量计算装置，其特征在于，

所述全局运动矢量计算部具有在所述中间块运动矢量中将具有±3σ内的值的中间运动矢量值的总和进行平均、来计算全局运动矢量的利用标准偏差平均单元，σ是指标准偏差。

5.一种运动矢量计算方法，其特征在于，

是利用以全局宏块为单位计算出的全局运动矢量来决定宏块的运动矢量搜索范围、从而计算运动矢量的运动矢量计算方法，具有以下步骤：

将全局宏块分割成多个中间块的分割步骤；

对每个分割的中间块检测中间运动矢量的中间运动矢量检测步骤；以及

根据该全局宏块中包含的中间块的中间运动矢量、计算一个全局宏块的全局运动矢量的全局运动矢量计算步骤。

6.如权利要求5所述的运动矢量计算方法，其特征在于，

所述全局运动矢量计算步骤是将在所述中间运动矢量中去除取得最大值的中间运动矢量及取得最小值的中间运动矢量的矢量值的总和进行平均、计算出全局运动矢量的去除极值平均步骤。

7.如权利要求5所述的运动矢量计算方法，其特征在于，

所述全局运动矢量计算步骤是通过将所述中间运动矢量进行中值处理来计算全局运动矢量的中值平均步骤。

8.如权利要求5所述的运动矢量计算方法，其特征在于，

所述全局运动矢量计算步骤是在所述中间块运动矢量中将具有±3σ内的值的中间运动矢量值的总和进行平均、来计算全局运动矢量的利用标准偏差平均步骤，σ是指标准偏差。

Images