CN100571400C - 图像编码装置及图像编码方法 - Google Patents

图像编码装置及图像编码方法 Download PDF

Info

Publication number
CN100571400C
CN100571400C CNB2006800003639A CN200680000363A CN100571400C CN 100571400 C CN100571400 C CN 100571400C CN B2006800003639 A CNB2006800003639 A CN B2006800003639A CN 200680000363 A CN200680000363 A CN 200680000363A CN 100571400 C CN100571400 C CN 100571400C
Authority
CN
China
Prior art keywords
motion vector
global motion
picture
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006800003639A
Other languages
English (en)
Other versions
CN101044765A (zh
Inventor
西田一人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN101044765A publication Critical patent/CN101044765A/zh
Application granted granted Critical
Publication of CN100571400C publication Critical patent/CN100571400C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Abstract

由于以往全局运动矢量的检测器与利用空间相关的图像变换器等配置在同一芯片上，因此第一个问题是，由于全局运动矢量检测时的参照目标帧是通过将非可逆压缩变换后的图像进行逆变换而得到的图像，因此变成不是原来帧完全再现的图像。另外，还有第二个问题是，在图像高效编码时，即使没有必要检测全局运动矢量时，也不得不进行全局运动矢量的检测处理。为了解决上述问题，本发明提供一种图像编码装置，它具有在利用通过DCT去除高频分量、通过量化舍去等空间相关或变长编码的图像变换器的外部具有检测全局运动矢量的机构。

Description

图像编码装置及图像编码方法
技术领域
本发明涉及在使用运动矢量将输入图像进行编码时、利用全局运动矢量的图像编码装置的技术。
背景技术
以往，在进行活动图像高效编码时，主要采用以下的三种图像变换来压缩活动图像信息量，并进行编码。即，是利用图像内(空间)相关的第一图像变换、利用图像间(时间)相关的第二图像变换、以及利用根据代码的出现概率的变长编码的第三图像变换。其中，利用时间相关的第二图像变换中，以宏块(macroblock)为单位检测时间上不同的帧(输入图像)之间的图像的移动方向及移动量，作为「运动矢量」，通过利用该宏块的像素信息及运动矢量的信息来表现帧，就能够减少活动图像信息量。
但是，在该「运动矢量」的检测处理中，若想要搜索成为宏块的移动终点(或移动起点)的其它帧内的块，则在例如体育图像等运动量多的活动图像中，必须将该搜索范围取得很大，因而有可能它的计算量也很庞大。因此，在专利文献1中揭示了一项技术，该技术利用当前帧的缩小图像，首先检测整个图像的全局运动矢量，并利用该全局运动矢量，缩小宏块的移动终点搜索范围之后，检测运动矢量。
图17所示为说明利用该全局运动矢量的、以宏块为单位的运动矢量检测的其它一个例子用的说明图。如该图(a)中所示，首先利用与通常的运动矢量检测相同的处理，检测包含想要检测运动矢量的宏块α的、更大的(全局)宏块α’的全局运动矢量(1701)。于是，可以认为在包含用该全局运动矢量表示的全局宏块α’的移动终点的规定范围内有宏块α的移动。因而，通过计算图(b)所示的范围β，作为宏块α的运动矢量的搜索范围，能够不白费地扩大搜索范围，检测出宏块α的运动矢量(1702)。
[专利文献1]WO00/05899号
但是，第二图像变换使用的上述全局运动矢量的检测处理中，由于它的全局运动矢量的检测器与第一活动图像变换技术即利用空间相关的图像变换器等配置在同一芯片上，因此存在以下那样的两个问题。第一个问题是，在检测全局运动矢量时进行参照的参照目标的帧有可能不一定与正确的输入图像一致。这是由于，该参照目标帧是利用空间相关，排除通过DCT(离散余弦变换)变换而得到的高频分量，或者通过量化而舍去余数，进行非可逆变换，再通过将编码的数据进行逆变换而再现的图像，因此往往成为与原帧不完全相同的图像。所以，参照那样不正确地再现的参照帧进行检测的全局运动矢量有可能产生误差。
另外，以往还有第二个问题是，在进行图像的高效编码时，即使在没有必要检测全局运动矢量那样的情况下，也进行全局运动矢量的检测处理。这在例如由1920×1080像素的高清晰度电视图像构成的活动图像中，以它的像素为单位的运动量最大在横向为1920，在纵向为1080(若以半个像素为单位，则为它的2倍的运动量)，它的搜索范围也必须取得很大。另一方面，在以320×240像素构成的活动图像中，以它的像素为单位的运动量最大在横向为320，在纵向为240，即使是与上述相同运动的活动图像，以它的像素(或半个像素、1/4像素)为单位的运动量搜索范围比上述狭窄即可。或者，对于新闻的演播室图像与体育运动图像，它的平均运动量有很大差异的情况下，取决于图像种类，它的搜索范围也极有可能产生差异。因而，根据上述活动图像的图像尺寸及其活动图像内容等，有的情况下即使不进行全局运动矢量的检测处理，而仅以通常的宏块为单位进行运动矢量检测，其运算量也可以比较少即可完成。
发明内容
为了解决上述问题，本发明提供一种图像编码装置，是在利用运动矢量将输入图像进行编码的编码装置中，在去除DCT变换后的高频分量或通过量化舍去余数、或利用变长编码的图像变换器的外部，具有全局运动矢量检测器。通过采用这样的结构，能够利用非可逆压缩前的输入图像来检测全局运动矢量。另外，由于全局运动矢量检测器在图像变换器的外部，因此在图像变换时，如能够对于是否利用该全局运动矢量检测器容易进行切换。另外，所谓「外部具有」，除了硬件结构是物理上另外分开的结构以外，也可以是同一个硬件、但在软件处理上是在外部进行的。
这样，由于能够利用非可逆压缩前的输入图像来检测全局运动矢量，因此能够消除参照目标图像的再现误差为原因的全局运动矢量的误检测。另外，在活动图像编码时，由于能够根据其状态等，对于是否利用该全局运动矢量检测机构容易进行切换，因此能够省去无用的运算处理。
附图说明
图1为表示装有实施例1的图像编码装置的装置的一个例子的简图。
图2为表示实施例1的图像编码装置的功能块的一个例子的方框图。
图3为表示图像编码装置中处理的输入图像、及该输入图像的变换处理-逆变换处理图像的一个例子的简图。
图4为说明用实施例1的图像编码装置的第二检测部进行的全局运动矢量检测处理的一个例子用的概念图。
图5为表示实施例1的图像编码装置的硬件构成的一个例子的简图。
图6为表示实施例1的图像编码装置的处理流程的一个例子的流程图。
图7为表示实施例2的图像编码装置的功能块的一个例子的方框图。
图8为表示实施例2的图像编码装置的处理流程的一个例子的流程图。
图9为说明实施例3的图像编码装置中的、根据活动图像的图像尺寸进行切换的一个例子用的简图。
图10为表示实施例3的图像编码装置的功能块的一个例子的方框图。
图11为表示实施例3的图像编码装置的硬件构成的一个例子的简图。
图12为表示实施例3的图像编码装置的处理流程的一个例子的流程图。
图13为表示以往的图像编码装置保持的、检测的全局运动矢量的保持表的一个例子的概念图。
图14为说明实施例4的图像编码装置的、非相邻两帧间的全局运动矢量计算处理的一个例子用的概念图。
图15为表示实施例4的图像编码装置的功能块的一个例子的方框图。
图16为表示实施例4的图像编码装置的处理流程的一个例子的流程图。
图17为说明利用以往的全局运动矢量的、以宏块为单位的运动矢量检测的一个例子用的说明图。
标号说明
0200图像编码装置
0210第一芯片
0211变换处理部
0212逆变换处理部
0213第一检测部
0220第二芯片
0221第二检测部
0222搜索范围决定部
具体实施方式
以下，利用附图说明本发明的实施形态。另外，本发明不限于这些实施形态，在不超出其要点的范围内，可以用各种形态来实施。另外，实施例1主要说明权利要求1、5。另外，实施例2主要说明权利要求2、6。另外，实施例3主要说明权利要求3、7。另外，实施例4主要说明权利要求4、8。
《实施例1》<实施例1的概要>图1为表示装有实施例1的图像编码装置的装置的一个例子(这里是带电视机调谐器的图像编码板)的简图。如该图所示，本实施例的图像编码装置是图像编码板，该图像编码板在进行DCT运算或去除空间频率的高频分量、量化、变长编码、或使用运动矢量的编码等运算处理而进行图像变换处理的第一变换处理芯片的外部，另外分别具有检测全局运动矢量并决定搜索范围的第二全局运动矢量检测芯片。因而在本发明的图像编码装置中，在用全局运动矢量检测芯片进行检测处理时，可以直接参照利用从电视机调谐器(图像输入器)输入的输入数字图像，而不是用第一变换芯片进行非可逆压缩、再逆变换的输入图像。
<实施例1的构成>图2为表示本实施例的图像编码装置的功能块的一个例子的方框图。如该图所示，本实施例的「图像编码装置」(0200)是利用运动矢量将输入图像进行编码的编码装置，为此分别配置「第一芯片」(0210)及「第二芯片」(0220)。而且，第一芯片具有「变换处理部」(0211)、「逆变换处理部」(0212)、及「第一检测部」(0213)。另外，第二芯片具有「第二检测部」(0221)及「搜索范围决定部」(0222)，能够相互独立进行处理。另外，本发明如前所述，除了第一芯片与第二芯片是物理上另外分开的结构以外，也可以是同一个硬件、但在软件处理上是另外分开进行的那样的结构等。
另外，以下所述的本装置的功能块能够作为硬件、软件、或硬件及软件的两方面来实现。具体来说，若是利用计算机的装置，可以举出有CPU、主存储器、总线、硬盘、或非易失性存储器等存储装置、CD-ROM或DVD-ROM等记录介质、这些介质的读取驱动器、各种通信或打印设备用的收发口、其它的外围设备等硬件构成部分；控制这些硬件用的驱动程序及其它应用程序；信息输入用的接口等。然后，利用这些硬件及软件，对存储器上打开的程序用CPU依次进行运算处理，或者对于存储器及硬盘上保持的数据、或通过接口输入的数据等进行加工、存储、输出处理，或者进行各硬件构成部分的控制。另外，本发明不仅能够作为装置来实现，也可以作为方法来实现。另外，可以作为软件来构成这样的发明的一部分。再有，使计算机执行那样的软件所使用的软件产品、及将该产品固定在记录介质中的记录介质，也当然包含在本发明的技术范围内(在整个本说明书中相同)。
「变换处理部」(0211)具有对输入图像进行图像的高效编码用的变换处理的功能。所谓「图像的高效编码用的变换处理」，可以举出有例如利用上述图像内(空间)相关的第一图像变换、利用图像间(时间)相关的第二图像变换、以及利用根据代码的出现概率的变长编码的第三图像变换等的图像变换处理。而且，在利用上述空间相关的第一图像变换时，进行例如将一幅输入图像的空间频率进行正交变换用的DCT变换(离散余弦变换)处理；对利用DCT变换处理得到的图像的高频分量进行的去除处理；或用某一除数除该DCT变换后的像素块的系数、舍去其余数而仅以商表现DCT系数的量化等处理。另外，利用由后述的第二检测部检测的全局运动矢量的运动矢量的检测、以及由利用该运动矢量的帧间预测进行的第二图像变换处理也由该变换处理部进行。
「逆变换处理部」(0212)具有将用变换处理部(0211)进行了变换处理的输入图像的高效编码数据进行逆变换、作为图像再现的功能。所谓逆变换处理，若变换处理部的处理是DCT变换处理，则可以举出有逆DCT变换处理，若变换处理部的处理是量化处理，则可以举出有逆量化处理等。但是，作为活动图像的高效编码用的变换处理的、一般的进行去除高频分量的DCT变换处理及量化处理由于是非可逆变换处理，因此用该逆变换处理部的逆DCT变换处理及逆量化处理中，输入图像不能正确再现。因此，在检测全局运动矢量时，若使用进行该逆变换、不能正确再现的图像，则有可能全局运动矢量的检测精度也下降。所以，在本发明中，如以下说明的那样，在全局运动矢量检测时，不利用由该逆变换处理部进行逆变换处理、(不正确地)再现的输入图像。
「第一检测部」(0213)具有以变换-逆变换处理图像的宏块为单位搜索输入图像中的规定搜索范围、来检测运动矢量的功能。所谓「规定搜索范围」，是指根据用后述的第二检测部检测的全局运动矢量由搜索范围决定部决定的、运动矢量检测处理用的搜索范围。另外，关于该规定搜索范围的决定处理，将在后述的第二检测部及搜索范围决定部中进行说明。另外，所谓「变换-逆变换处理图像」，是指将用变换处理部(0211)进行了变换处理的输入图像的编码数据用逆变换处理部(0212)进行逆变换处理并再现的图像的数据。
图3为表示输入图像、及该输入图像的变换-逆变换图像的一个例子的简图。如该图所示，在利用图像的空间相关的变换中，对于图(a)所示的例如像国际象棋棋盘那样从白到黑的情况，即相邻像素急剧变化等的图像，难以进行高效的变换。因而，若设定压缩效率较高，则在输入图像的变换处理后进行逆变换处理时，则有可能如图(b)所示，该棋盘的轮廓部分等不能正确复原。于是，在为了进行利用时间相关的第二图像变换处理而检测运动矢量时，若作为运动的参照目标而采用该不能正确地再现的输入图像，则根据该输入图像的再现误差的大小，运动矢量的检测精度也会下降。而且，在以往的图像编码装置中，由于检测全局运动矢量用的第二检测部也配置在该第一芯片中，因此在全局运动矢量的检测中，也存在同样的检测精度降低的问题。因此，在本实施例中，采用以下那样的结构，使得直接利用输入图像来进行决定上述「规定搜索范围」用的第二检测部的全局运动矢量的检测。即，其特征在于，配置在与配置了上述变换处理部、逆变换处理部、第一检测部的第一芯片另外分别设置的第二芯片中。
「第二检测部」(0221)具有以全局宏块为单位检测输入图像间的全局运动矢量的功能。所谓「全局宏块」，是指比第一检测部的运动矢量的检测单位即宏块要大的块，但其大小也可以通过适当设计而能够设定。而且，以该全局宏块为单位检测的全局运动矢量可用于决定用前述第一检测部检测运动矢量的搜索范围。
图4为说明全局运动矢量检测处理的一个例子用的概念图。这里，如图所示，说明例如为了用前述的第一检测部搜索帧(输入图像)2的宏块α在帧1中向哪里移动、而用该第二搜索部进行的全局运动矢量的检测处理。为此，首先，用第一检测部将检测运动矢量的输入图像的识别信息「帧2」、它的宏块α的坐标信息、以及其运动终点搜索用的参照用输入图像的识别信息「帧1」从第一芯片向第二芯片发送。在第二芯片中，根据接收的这些识别信息及坐标信息等，如该图(a)所示，首先确定帧2的包含宏块α全局宏块即α’。然后，搜索该全局宏块α’在帧1中的运动终点。因此，作为搜索范围，将帧1的整个图像β’设为搜索范围，求出与在该范围内的全局宏块相同尺寸的块γ’1与全局宏块α’的相关系数。具体来说，例如求出构成α’的像素与构成γ’1的像素的对应像素间的差分的绝对值总和。即，可以说该相关系数越小，构成α’与γ’1的图像的像素越类似。然后，对于「α’与γ’2」、「α’与γ’3」、……「α’与γ’X」的情况，一面以规定的像素部在搜索范围β’内运动，一面进行搜索，计算出与这些块的相关系数。然后，将从其中取得最小的相关系数的块确定为全局宏块α’在帧1中的移动终点γ’。另外，计算该相关系数用的参照目标的输入图像的块γ’1、γ’2、…是通过使具有与全局宏块相同尺寸的块以规定的像素单位在该搜索范围内移动而得到的块。然后，根据向全局宏块α’的移动终点γ’的移动方向及移动量，检测全局运动矢量。这里，所谓规定的像素单位，表示1个像素、半个像素、1/4像素、或2个像素、4个像素，可以根据系统规格上要求的运算量及矢量的检测精度来规定该值。当然，像上述那样计算搜索范围内的全部块的相关系数的检测处理是一个例子，为了减少运算负荷，也可以求出任意的3个块的相关系数，根据其大小关系，缩小移动终点的块，即通过称为所谓对数搜索的处理等，检测出全局运动矢量。另外，作为检测全局矢量的输入图像，除了成为编码对象的原图像外，也可以是将原图像缩小的图像，其缩小比例可根据系统规格上要求的运算的处理量、存储器容量、及图像尺寸等适当设定。
另外，本实施例的特征为，求出该相关系数用的成为参照目标的帧「1」不是利用DCT或量化等进行变换后再逆变换的图像。因此，能够用正确的输入图像进行比较，进而能够检测出正确的全局运动矢量。
「搜索范围决定部」(0222)具有利用由第二检测部(0221)检测的全局运动矢量、决定用第一检测部进行的搜索的搜索范围的功能。该搜索范围的决定可以举出有下述几种方法，一种方法是例如将以检测出的全局运动矢量所示的移动终点为中心的规定范围决定为搜索范围，另一种方法是将由第二检测部检测的作为全局宏块的移动终点的块的本身、或该块以规定倍率放大的块决定为搜索范围。
然后，根据这样与以往技术比较是更正确的全局运动矢量决定搜索范围，将表示这样决定的搜索范围的信息向第一检测部发送，用第一检测部能够在该接收的搜索范围内以宏块为单位进行运动矢量检测。因而，在用第一检测部的运动矢量检测处理中，由于能够限定该宏块的移动终点搜索范围，因此能够抑制整个装置的处理负荷。另外，也可以不是第二芯片具有该搜索范围决定部，而是第一芯片具有该搜索范围决定部。这是因为，只要是与第一芯片分开的另外的芯片具有第二检测部，就能够检测出比以往要正确的全局运动矢量。
<实施例1的硬件构成例>图5为表示本实施例的图像编码装置的硬件构成的一个例子的简图。利用该图说明在全局运动矢量的检测处理中的各硬件构成部的作用。另外，这里作为例子，说明的情况是始终将1帧前的图像作为参照帧，另外检测全局矢量的图像是编码对象的输入图像的原样大小，不进行缩小等处理。如图该所示，本实施例的图像编码装置的特征为，具有第一检测部及变换处理部及逆变换处理部的功能的「第一变换芯片」(0501)、和具有第二检测部及搜索范围决定部的功能的「第二变换芯片」(0502)分别具有「运算器」及「主存储器」，并分别配置。另外，还具有输入成为高效编码对象的图像的「图像输入单元」(0503)、存储该输入图像的「视频存储器」(0504)、以及将利用变换芯片进行编码的图像向存储装置等输出的「输出单元」(0505)。而且，它们利用总线等数据通信路径相互连接，进行信息收发及处理等。
另外，「视频存储器」可以是第一变换芯片与第二变换芯片公用，也可以各自分别具有视频存储器(附图所示为公用的视频存储器)。另外，第一及第二变换芯片内的各向的「主存储器」提供用运算器执行的程序的作业区即工作区、以及存储利用该程序进行处理用的数据的数据区。而且，对于该「视频存储器」及「主存储器」，分配多个存储器地址，用「运算器」执行的程序确定该存储器地址，进行存取，通过这样能够相互进行数据交换，进行处理。
这里，从「图像输入单元」输入成为高效编码对象的图像。这里的输入图像可以是例如将用电视机调谐器接收的模拟广播电波进行无压缩编码的活动图像数据、或用数码摄像机拍摄的无压缩编码活动图像数据等各种活动图像数据。或者也可以是将高效编码的活动图像数据进行解压缩的编码活动图像。然后，构成这里输入的活动图像的图像通过系统总线存入视频存储器的规定的存储器地址，例如输入图像1(活动图像数据的最初的帧)存入存储器地址A，输入图像2(活动图像数据的第2帧)存入存储器地址B，…。
然后，首先运算器2执行第二变换芯片的全局运动矢量检测程序，检测输入图像2的各全局宏块相对于输入图像1的全局运动矢量。为此，根据表示例如预先设定的全局宏块的像素尺寸的信息等，依次确定成为全局运动矢量的检测对象的全局宏块α’的坐标信息，存入主存储器2的存储器地址d。然后，为了计算出前述的相关系数，取得全局宏块的像素信息。具体来说，根据存入存储器地址a的输入图像的识别信息「2」、和存入存储器地址d的全局宏块的坐标信息，从运算器2送出「将存入视频存储器的输入图像「2」的全局宏块α’内的像素信息与各自的像素识别信息相关联，并存入主存储器2」的这样的指令，并执行。
另外，同样还进行输入图像「1」的块(在前述的例子中，为γ’1、γ’2、…γ’X)的坐标信息的确定、根据该确定的像素信息的取得、以及对主存储器2的存储。接着，按照「根据像素识别信息取得「α’与γ’1」的对应的像素差分值，计算其绝对值的总和，将该运算结果(相关系数)与成为运算对象的输入图像「1」的块的识别信息相关联，并存入主存储器2的存储器地址e」的程序指令，用运算器进行运算，并将运算结果存入存储器地址e。另外，对于「α’与γ’2」、「α’与γ’3」、……「α’与γ’X」也进行同样的运算处理，并将其运算结果存入主存储器的存储器地址f、g、…x。
接着，按照程序的指令「对分别存入主存储器2的存储器地址e、f、g、…x的运算结果(相关系数)进行大小比较，确定为最小的相关系数」，利用运算器2的运算处理进行大小比较，确定取得其最小的相关系数。然后，按照「对于取得确定的相关系数的块取得该块的识别信息，存入主存储器的存储器地址10」的指令，取得与该相关系数相关联的块的识别信息，作为表示全局宏块「α’」的、帧1中的运动终点块的识别信息「γ」，存入主存储器2的存储器地址10。然后，按照「根据全局宏块和确定作为运动终点的块的中心坐标的信息计算全局运动矢量，并存入主存储器2的存储器地址11」的指令，根据各自的中心点的坐标信息，利用运算器2的运算，计算全局运动矢量，并存入主存储器2的存储器地址11。然后，对帧2的全部全局宏块进行该操作，生成帧2相对于帧1的全局运动矢量表。再进一步，在输入帧3时，在与帧2之间进行以上的处理，生成帧3相对于帧2的全局运动矢量表。
接着，利用作为上述生成的表而在存储器等中保持的全局运动矢量进行宏块的运动矢量检测处理。为此，利用第一变换芯片的运算器1的运算处理，进行第一图像变换、即输入图像1的DCT变换处理或量化处理等。然后，进行输入图像2的DCT变换处理或量化处理等，但这时，确定例如成为运动矢量检测对象的帧(输入图像)的识别信息「2」及宏块α的识别信息和它的坐标信息、以及成为运动矢量检测时的参照目标的帧的识别信息「1」，并将这些信息通过系统总线等向第二变换芯片发送。
接着，将这样发送的识别信息及坐标信息存入主存储器的存储器地址b、c等，并将这些信息作为关键词，利用CPU进行全局运动矢量表的检索处理。然后，从全局运动矢量表读出该检索结果、即帧2的全局宏块「α’」中的指向帧1的全局运动矢量，并根据该全局运动矢量，进行规定搜索范围的计算处理。然后，得表示该计算出的规定搜索范围的信息等通过总线等向第一变换芯片发送。
然后，在第一芯片中，在接收的规定搜索范围内，进行宏块「α」的运动矢量检测处理，并根据检测的运动矢量，进行输入图像的高效编码。另外，在各芯片的运算器1与运算器2在物理上是各自分别的运算器时，可以采用利用控制器等来控制其信息流顺序等的结构，使得各自处理的信息在总线等信息收发路径上不冲突。
<实施例1的处理流程>图6为表示本实施例的图像编码装置的第二芯片中的处理流程的一个例子的流程图。另外，以下所示的步骤也可以是记录在介质中、并构成控制计算机用的程序的处理步骤。如该图所示，首先，用第二芯片，分别检测变换处理前的输入图像的各全局宏块中的全局运动矢量，生成全局运动矢量表(步骤S0601)。接着，用第二芯片取得用第一芯片进行的运动矢量检测处理中的检测对象的输入图像及成为参照目标的输入图像、以及确定宏块的坐标等用的信息(步骤S0602)。接着，用第二芯片，根据前述取得的确定信息，参照前述全局运动矢量表，取得包含成为运动矢量检测对象的宏块的全局宏块的全局运动矢量(步骤S0603)，根据该全局运动矢量，决定用第一芯片的运动矢量检测用的搜索范围(步骤S0604)。然后，在第一芯片中，在前述决定的搜索范围内，检测前述检测对象的宏块中的运动矢量(步骤S0605)。
<实施例1的效果的简要说明>如上所述，在根据本实施例的图像编码装置利用全局运动矢量检测芯片进行检测处理时，可以直接参照利用输入图像，而不是被非可逆压缩再逆变换的输入图像。因而，能够消除参照目标图像的再现误差为原因的全局运动矢量的误检测，能够进行比以往要正确的全局运动矢量检测。
《实施例2》<实施例2的概要>对于图像间的运动量少的活动图像、例如新闻的演播室图像等，即使不利用全局运动矢量，也很有可能能够抑制运算量。因此，在本实施例的图像编码装置中，以实施例1为基础，还具有根据那样的状况对是否利用全局运动矢量进行判断的功能。通过这样的判断处理，不利用全局运动矢量，而使用运动矢量来对输入图像进行编码，能够在使用该运动矢量的图像编码芯片的外部很容易配置第二检测部。
<实施例2的构成>图7为表示本实施例的图像编码装置的功能块的一个例子的方框图。如该图所示，本实施例的「图像编码装置」(0700)是以实施例1为基础，分别配置「第一芯片」(0710)及「第二芯片」(0720)。而且，第一芯片具有「变换处理部」(0711)、「逆变换处理部」(0712)、及「第一检测部」(0713)。另外，第二芯片具有「第二检测部」(0721)及「搜索范围决定部」(0722)，能够相互独立进行处理。另外，关于这些功能块，由于在实施例1中已经加以叙述，因此其说明省略。另外，本实施例的图像编码装置的特征为，还具有「全局运动矢量利用判断部」(0730)。
「全局运动矢量利用判断部」(0730)具有判断是否利用前述全局运动矢量的功能。该判断除了例如上述那样根据新闻节目或体育节目等它的活动图像内容进行判断以外，还可以举出有实施例3中说明的根据活动图像的图像尺寸进行的判断等。另外，成为其判断基准的信息，可以举出有例如用户通过接口输入的活动图像内容等信息，或者如果是广播节目的录像，则是能够从电子节目表等取得的节目类型信息等。或者也可以这样构成，即前提是在活动图像中，通常中心以外的周围部分多数是背景等不运动的被拍摄物体，首先检测出中心部分的全局宏块中的全局运动矢量，若该运动量为阈值以下，则判断为整个图像不利用全局运动矢量。
另外，作为该全局运动矢量利用判断部的具体构成例子，可以由例如用户输入用及信息取得用接口及CPU构成，根据从接口取得的信息(例如表示活动图像内容的类型的识别信息等)，用CPU进行利用/不利用全局运动矢量的判断处理。另外，所谓「不利用全局运动矢量」，可以是例如不用第二检测部进行全局运动矢量检测本身，或者是虽然用第二检测部进行检测，但该检测的全局运动矢量不对搜索范围决定部送出。另外也可以是，虽然向搜索范围决定部进行送出，但不在那里进行搜索范围的决定处理，或者也可以将决定的搜索范围不向运动矢量检测用的第一检测部送出。然后，这样情况下的第一检测部的搜索范围可以是整个输入图像，或者利用预先设定的规定的搜索范围等。
<实施例2的处理流程>图8为表示本实施例的图像编码装置的处理流程的一个例子的流程图。另外，以下所示的步骤也可以是记录在介质中、并构成控制计算机用的程序的处理步骤。如该图所示，首先，进行是否进行全局运动矢量检测处理的判断(步骤S0801)。另外，成为其判断基准的信息如前所述，可以是类型信息或中心部分的运动矢量等各种信息。另外，它的取得也可以是通过接口输入取得、或从电子节目表自动取得等各种方式。然后，在前述判断结果是利用全局运动矢量时，如实施例1中已说明的那样，在第二芯片中进行全局运动矢量的检测处理(步骤S0802)，以及根据它来进行搜索范围的决定处理(步骤S0803)。然后，根据该决定的搜索范围进行搜索，检测运动矢量(步骤S0805)。
另外，在前述判断结果是不利用时，则例如不进行全局运动矢量的检测处理及搜索范围的决定处理，而将整个图像作为搜索范围等，在第一芯片中进行宏块的运动矢量检测处理(步骤S0804)。
<实施例2的效果的简要说明>根据以上的本实施例的图像编码装置，能够根据状况切换是否进行全局运动矢量的检测处理。因而，当进行宏块的运动矢量检测处理时，能够省去有的情况下成为没有用处的全局运动矢量检测的运算处理。因此，能够抑制装置的运算负荷，还能够实现降低功耗、及降低由此而对环境所加的负荷。
《实施例3》<实施例3的概要>本实施例的图像编码装置是以实施例2为基础，其特征为，上述全局运动矢量利用判断部的判断是根据活动图像的图像尺寸来进行的。图9为说明根据该活动图像的图像尺寸进行判断的一个例子用的简图。如该图所示，例如对于活动图像的图像尺寸为「320×240」的活动图像(a)、及图像尺寸为「1920×1080」的活动图像(b)，即使是进行鞠躬而使上身弯下那样的相同的运动，用虚线表示的以像素为单位的上身的运动量也是活动图像(b)的要大得多。而且，截止到2005年的活动图像的压缩变换的运动矢量检测中，其搜索由于是以半个像素或1/4像素为单位，因此搜索量之差还要增大。这样，即使是相同的活动图像，但因其图像尺寸不同，而使运动矢量的搜索范围变化，因此，在本实施例的图像编码装置中具有下述的功能，即在以像素(或半个像素、1/4像素等)为单位的搜索范围不大的图像尺寸的活动图像数据的情况下，在进行该压缩变换处理时，进行不利用全局运动矢量的判断。通过这样，结果能够减轻处理负荷，提高处理速度。
<实施例3的构成>图10为表示本实施例的图像编码装置的功能块的一个例子的方框图。如该图所示，本实施例的「图像编码装置」(1000)是以实施例2为基础，分别配置「第一芯片」(1010)及「第二芯片」(1020)，另外还具有「全局运动矢量利用判断部」(1030)。而且，第一芯片具有「变换处理部」(1011)、「逆变换处理部」(1012)、及「第一检测部」(1013)。另外，第二芯片具有「第二检测部」(1021)及「搜索范围决定部」(1022)，能够相互独立进行处理。另外，关于这些功能块，由于在实施例1或2中已经加以叙述，因此其说明省略。另外，本实施例的图像编码装置的为在于，还具有「图像尺寸取得部」(1040)，另外该全局运动矢量利用判断部具有「根据图像尺寸判断单元」(1050)。
「图像尺寸取得部」(1040)具有取得前述输入图像的图像尺寸的功能。另外，该图像尺寸的取得可以是在例如活动图像取得时从它的文件信息等取得。另外，所谓「图像尺寸」，可以是例如构成该输入图像的像素数，在每一个像素的数据量是规定时等情况下，也可以是该数据量。
「根据图像尺寸判断单元」(1050)具有根据用图像尺寸取得部(1040)取得的图像尺寸、进行是否利用全局运动矢量的判断处理的功能。这可以举出下述的方法，即例如预先设定「活动图像的纵向画面尺寸的阈值」或「活动图像的横向画面尺寸的阈值」，用运算器将图像尺寸取得部取得的图像尺寸与该预先设定的阈值进行大小比较，通过这样进行判断等。
<实施例3的硬件构成例>图11为表示本实施例的图像编码装置的硬件构成的一个例子的简图。利用该图说明在根据图像尺寸进行全局运动矢量的利用判断处理中的各硬件构成部的作用。如图该所示，本实施例的图像编码装置与实施例1相同，具有第一检测部及变换处理部及逆变换处理部的功能的「第一变换芯片」(0501)、和具有第二检测部及搜索范围决定部的功能的「第二变换芯片」(0502)分别具有「运算器」及「主存储器」，并分别配置。另外，还具有取得进行编码用的图像、及其图像尺寸的信息的「图像输入单元」(0503)、存储该输入图像的「视频存储器」(0504)、以及将利用变换芯片进行编码的图像输出的「输出单元」(0505)。而且，它们利用布线或系统总线等数据通信路径相互连接，进行信息收发及处理。另外，在本实施例中，进行是否利用全局运动矢量的判断处理用的运算器3及该运算器3用的主存储器3等也通过系统总线等连接。
当然，各「主存储器」提供用运算器执行的程序的作业区即工作区、以及存储利用该程序进行处理用的数据的数据区，而且，对于该「视频存储器」及「主存储器」，分配多个存储器地址，用「运算器」执行的程序确定该存储器地址，进行存取，通过这样能够相互进行数据交换，进行处理。
这里，从「图像输入单元」输入要进行编码的图像。于是，在取得该输入图像的同时，也取得该活动图像数据的文件信息中包含的活动图像的图像数据尺寸「720×480(像素)」。然后，将该输入图像取得作为起动信号，执行根据图像尺寸判断程序，利用其指令，将该图像数据尺寸的信息「720×480」存入主存储器3的存储器地址b。另外，预先保持的阈值、例如「横向尺寸640」、「纵向尺寸480」等信息也存入主存储器3的存储器地址a。然后，按照「比较存入主存储器3的存储器地址a与b的数值的大小，并判断图像数据尺寸是否为阈值以下」的指令，利用运算器3进行数值数据的大小比较处理。然后，还按照「在大小比较结果表示图像数据尺寸大于阈值时，送出用第二芯片进行全局运动矢量检测处理的指令。或者，在大小比较结果表示图像数据尺寸小于阈值时，送出不用第二芯片进行全局运动矢量检测处理的指令。」这样的指令，根据该大小比较的判断结果，进行相应的指令送出处理。
<实施例3的处理流程>图12为表示本实施例的图像编码装置的处理流程的一个例子的流程图。另外，以下所示的步骤也可以是记录在介质中、并构成控制计算机用的程序的处理步骤。如该图所示，首先，取得输入图像的图像尺寸(步骤S1201)。接着，进行取得的图像尺寸是否是在预先设定等的规定尺寸(阈值)以上的判断处理(步骤S1202)。这里，在前述判断结果是阈值以上的判断结果时，进行全局运动矢量的检测处理(步骤S1203)，并根据它来决定搜索范围(步骤S1204)。然后，根据该决定的搜索范围进行搜索，检测运动矢量(步骤S1205)。
另外，在前述判断结果是阈值以下时，则例如不进行全局运动矢量的检测处理及搜索范围的决定处理，而将整个图像作为搜索范围等，在第一芯片中进行宏块的运动矢量检测处理(步骤S1205)。
<实施例3的效果的简要说明>根据以上的本实施例的图像编码装置，能够根据图像尺寸切换是否进行全局运动矢量的检测处理。由于表示该图像尺寸的信息通常包含在活动图像数据的文件信息中，因此能够自动取得表示该图像尺寸的信息。因而，当进行宏块的运动矢量检测处理时，能够自动省去很有可能成为没有用处的运算处理。因此与实施例2相同，能够抑制装置的运算负荷，还能够实现降低功耗、及降低由此而对环境所加的负荷。
<实施例3的其它实施例>另外，本实施例的图像编码装置还可以具有「全局宏块尺寸决定部」。「全局宏块尺寸决定部」具有根据图像尺寸取得部取得的图像尺寸来决定全局宏块尺寸的功能。该决定可以举出有下述几种方法，一种方法是例如对于图像尺寸为「320×240」像素，设全局宏块的尺寸为「32×24」，对于图像尺寸为「1920×1080」像素，设全局宏块的尺寸为「96×72」像素等，利用这样的对应表来决定，另一种方法是利用以图像尺寸作为变量x的规定函数f(x)来计算和决定全局宏块的尺寸等。而且，通过还具有这样的根据输入图像的图像尺寸来决定全局宏块的功能，本实施例的图像编码装置还能够省去无用的运算处理，能够降低该处理负荷。另外，根据由「全局宏块尺寸决定部」计算的值，决定缩小比例，从成为编码对象的原图像按照该缩小比例生成缩小图像，用该图像进行全局矢量检测，通过这样还进一步能够减少处理量及使用的存储器容量。
《实施例4》<实施例4的概要>图13为表示以往的图像编码装置保持的、检测的全局运动矢量的保持表的一个例子的概念图。如该图所示，在力图提高压缩率及图像质量的近年来的处理中，全局运动矢量不仅要求在相邻帧之间进行检测，还要求在非相邻的任意两帧之间进行检测。在这种情况下，图像编码装置应保持的全局运动矢量的数据数如图中的表所示的那样，成为输入图像的数(或1幅帧图像能够参照的帧图像的数)×全局宏块的数。但是，在本实施例的图像编码装置中，通过多个相邻全局运动矢量的累积运算等，来模拟计算出(非相邻的)任意两帧之间的全局运动矢量，通过这样能够减少该应保持的全局运动矢量的数。
图14为说明本实施例的图像编码装置的、非相邻两帧间的全局运动矢量计算处理的一个例子用的概念图。如该图所示，在本实施例中，如以下那样计算例如用斜线所示的帧#5的全局宏块的、在帧#1-#5之间的全局运动矢量。即，通过将帧#4-#5之间的全局运动矢量D、帧#3-#4之间的全局运动矢量C、…、以及帧#1-#2之间的全局运动矢量A进行累积运算来计算。
这样，在本实施例中，由于只要保持相邻帧间的全局运动矢量即可，因此能够减少其保持数据量。另外，如后所述，由于全局宏块在下一帧的运动终点与该全局宏块完全一致的情况很少，因此在这种情况下，可以根据例如周边4个全局宏块的全局运动矢量值，通过双线性插补等，推定全局运动矢量。
<实施例4的构成>图15为表示本实施例的图像编码装置的功能块的一个例子的方框图。如该图所示，本实施例的「图像编码装置」(1500)是以实施例1为基础，分别配置「第一芯片」(1510)及「第二芯片」(1520)。而且，第一芯片具有「变换处理部」(1511)、「逆变换处理部」(1512)、及「第一检测部」(1513)。另外，第二芯片具有「第二检测部」(1521)及「搜索范围决定部」(1522)，能够相互独立进行处理。当然，也可以以实施例2或3为基础，具有「全局运动矢量利用判断部」等。另外，关于这些功能块，由于在实施例1等中已经加以叙述，因此其说明省略。另外，本实施例的图像编码装置的特征为，还具有「帧确定信息取得部」(1530)、「相邻全局运动矢量保持部」(1540)、以及「检测帧间全局运动矢量运算部」(1550)。
「帧确定信息取得部」(1530)具有取得帧确定信息的功能。所谓「帧确定信息」是指在进行编码时确定利用运动矢量应进行编码的帧、以及为了生成运动矢量应参照的帧用的信息，例如可以举出有该编码对象帧及运动矢量的参照目标帧的识别信息等。然后，本实施例的图像编码装置利用下面说明的两个功能块的作用，计算出用这里取得的帧确定信息确定的帧间的全局运动矢量。
「相邻全局运动矢量保持部」(1540)具有保持相邻全局运动矢量的功能。所谓「相邻全局运动矢量」，是指用第二检测部(1521)检测的相邻帧间的全局运动矢量值。该相邻全局运动矢量保持部如例如图14所示的全局运动矢量的表数据那样，可以保持「全局宏块2的帧#1-#2之间的全局运动矢量A」、「全局宏块2的帧#2-#3之间的全局运动矢量B」那样每个全局宏块的相邻帧间的全局运动矢量的数据。这样，由于只保持相邻帧间的全局运动矢量，因此在本实施例中，与保持全部任意帧间的全局运动矢量的情况相比，能够减少其保持数据量。
而且，本实施例的特征为，在需要非相邻的任意帧间的全局运动矢量时，能够利用下面的「检测帧间全局运动矢量运算部」的根据相邻全局运动矢量的运算，推定检测该非相邻帧间的全局运动矢量。
「检测帧间全局运动矢量运算部」(1550)具有根据相邻全局运动矢量保持部(1540)保持的多个相邻全局运动矢量、计算用帧确定信息确定的2个帧间的全局运动矢量的功能。所谓「根据多个相邻全局运动矢量的计算」，可以举出有例如相邻全局运动矢量的累积运算、以及利用相邻全局运动矢量并通过线性插补等进行推定的(推定)相邻全局运动矢量的累积运算等。例如在图14所示的帧#5的全局宏块6在(是相邻帧)帧#4的运动终点与帧#4的全局宏块5完全一致那样、相邻帧间的全局宏块的运动终点与该宏块完全一致时，帧#5-#3的全局运动矢量能够通过单纯将相邻全局运动矢量即D和C相加来计算。但是，通常那样的情况很少。因而，在本实施例中，进行通过例如运动终点附近的全局宏块的全局运动矢量的双线性插补等、来推定帧#5的全局宏块6的运动终点等处理，累积该推定的全局运动矢量。
具体来说，能够利用存入存储器的该全局运动矢量D，通过CPU的运算，计算出例如帧#5的全局宏块6在相邻帧#4的运动终点。然后，利用该计算出的在帧#4的运动终点位置(坐标)信息，通过CPU的运算处理，选定例如4个全局宏块「1」「2」「5」「6」那样位于其附近的全局宏块。然后，根据例如各全局宏块的中心坐标、与运动终点中心坐标的距离比例，通过CPU的运算处理，计算出各自的权重系数。然后，在将各全局宏块的全局运动矢量的分量乘以各自的权重系数之后，进行累积，通过CPU的运算，计算其平均值，通过这样，能够计算出利用线性插补而推定的帧#4的运动终点的全局运动矢量。然后，通过将相邻帧间的该推定的全局运动矢量等进行累积，能够计算非相邻帧间的全局运动矢量。即，利用本实施例的图像编码装置，通过仅保持图14所示那样的抑制信息量的数据表，能够计算非相邻帧间的全局运动矢量。
<实施例4的处理流程>图16为表示本实施例的图像编码装置的处理流程的一个例子的流程图。另外，以下所示的步骤也可以是记录在介质中、并构成控制计算机用的程序的处理步骤。用第一芯片及第二芯片的运动矢量检测处理及相邻全局运动矢量检测处理，由于与实施例1中说明的处理相同，因此省略。如该图所示，首先，为了保持相邻全局运动矢量，而进行记录(步骤S1601)。接着，取得帧确定信息(步骤S1602)。然后，根据在前述步骤S1601中记录保持的多个相邻全局运动矢量，通过利用例如线性插补的推定及累积等，计算用前述步骤S1602中取得的帧确定信息确定的2个帧间的全局运动矢量(步骤S1603)。
<实施例4的效果的简要说明>根据以上的本实施例的图像编码装置，通过仅保持相邻全局间的全局运动矢量的数据表，能够抑制保持数据量，而且能够计算任意的非相邻帧间的全局运动矢量。
<实施例4的其它实施例>另外，实施例4的图像编码装置除了上述那样的构成以外，也可以采用以下所示的构成。即，在上述图像编码装置中，是利用相邻帧间的全局运动矢量通过进行累积运算等，来推定非相邻帧间的全局运动矢量。但是，是与此相反的图像编码装置，该图像编码装置具有下述功能，即仅保持非相邻帧间的全局运动矢量，利用该非相邻全局运动矢量进行线性插补运算等，推定计算相邻全局运动矢量、或与上述非相邻帧间在时间上的宽度不同的非相邻帧间的全局运动矢量。具体来说，是具有「非相邻全局运动矢量保持部」、以代替上述实施例4的「相邻全局运动矢量保持部」的图像编码装置。另外，也可以反之，假定参照的非相邻帧间的图像的运动是一样的，将通过「参照的非相邻帧间的帧数×与相邻帧的全局运动矢量」的运算求得的矢量值作为参照的非相邻帧间的全局运动矢量。通过进行这样的处理，也能够减少全局运动矢量表的参照次数，减轻处理量。

Claims (4)

1.一种图像编码装置，利用运动矢量将输入图像进行编码，其特征在于，
具有：
以变换-逆变换处理图像的宏块为单位搜索输入图像中的规定搜索范围、来检测所述运动矢量用的第一检测部，所述变换-逆变换处理图像是将进行了变换处理的所述输入图像的编码数据进行逆变换处理并再现的图像的数据；
以包含所述宏块的、比所述宏块要大的块即全局宏块为单位检测输入图像间的全局运动矢量用的第二检测部；
利用由所述第二检测部检测的全局运动矢量、决定用第一检测部进行搜索的搜索范围的搜索范围决定部；
为决定所述规定搜索范围，判断是否利用所述全局运动矢量的全局运动矢量利用判断部；以及
取得所述输入图像的图像尺寸的图像尺寸取得部，所述图像尺寸是构成所述输入图像的像素数，或者在每一个像素的数据量是规定的情况下，所述图像尺寸是该数据量，
所述全局运动矢量利用判断部具有根据用所述图像尺寸取得部取得的图像尺寸、进行所述判断处理的根据图像尺寸判断单元。
2.如权利要求1所述的图像编码装置，其特征在于，还具有
取得在进行编码时确定利用运动矢量应进行编码的帧、以及为了生成运动矢量应参照的帧的帧确定信息的帧确定信息取得部；
保持相邻全局运动矢量的相邻全局运动矢量保持部，所述相邻全局运动矢量是指用第二检测部检测的相邻帧间的全局运动矢量值；以及
根据相邻全局运动矢量保持部保持的多个相邻全局运动矢量、计算用帧确定信息确定的两个帧间的全局运动矢量的检测帧间全局运动矢量运算部。
3.一种图像编码方法，利用以变换-逆变换处理图像的宏块为单位搜索输入图像中的规定搜索范围而检测出的运动矢量将所述输入图像进行编码，所述变换-逆变换处理图像是将进行了变换处理的所述输入图像的编码数据进行逆变换处理并再现的图像的数据，其特征在于，具有以下步骤：
以包含所述宏块的、比所述宏块要大的块即全局宏块为单位检测输入图像间的全局运动矢量用的第二检测步骤；
利用由所述第二检测步骤检测的全局运动矢量、决定所述搜索的搜索范围的搜索范围决定步骤；
以宏块为单位搜索所述决定的搜索范围，检测出所述运动矢量的第一检测步骤；
为决定所述规定搜索范围，判断是否利用所述全局运动矢量的全局运动矢量利用判断步骤；以及
取得所述输入图像的图像尺寸的图像尺寸取得步骤，所述图像尺寸是构成所述输入图像的像素数，或者在每一个像素的数据量是规定的情况下，所述图像尺寸是该数据量，
所述全局运动矢量利用判断步骤包含根据用所述图像尺寸取得步骤取得的图像尺寸、进行所述判断处理的根据图像尺寸判断步骤。
4.如权利要求3所述的图像编码方法，其特征在于，还具有
取得在进行编码时确定利用运动矢量应进行编码的帧、以及为了生成运动矢量应参照的帧的帧确定信息的帧确定信息取得步骤；
保持相邻全局运动矢量的相邻全局运动矢量保持步骤，所述相邻全局运动矢量是指用第二检测步骤检测的相邻帧间的全局运动矢量值；以及
根据运动矢量保持步骤中保持的多个相邻全局运动矢量、计算用帧确定信息确定的两个帧间的全局运动矢量的检测帧间全局运动矢量运算步骤。
CNB2006800003639A 2005-11-21 2006-01-17 图像编码装置及图像编码方法 Expired - Fee Related CN100571400C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP335186/2005 2005-11-21
JP2005335186A JP4606311B2 (ja) 2005-11-21 2005-11-21 画像符号化装置および画像符号化方法

Publications (2)

Publication Number Publication Date
CN101044765A CN101044765A (zh) 2007-09-26
CN100571400C true CN100571400C (zh) 2009-12-16

Family

ID=38048377

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006800003639A Expired - Fee Related CN100571400C (zh) 2005-11-21 2006-01-17 图像编码装置及图像编码方法

Country Status (7)

Country Link
US (1) US8300695B2 (zh)
EP (1) EP1954059A4 (zh)
JP (1) JP4606311B2 (zh)
KR (1) KR100843418B1 (zh)
CN (1) CN100571400C (zh)
TW (1) TWI343217B (zh)
WO (1) WO2007057985A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237233A1 (en) * 2006-04-10 2007-10-11 Anthony Mark Jones Motion compensation in digital video
JP5171675B2 (ja) * 2009-02-03 2013-03-27 三洋電機株式会社 画像処理装置、およびそれを搭載した撮像装置
JP2011135230A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 画像符号化方法、画像符号化装置及び撮像システム
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
JP5706264B2 (ja) 2011-08-01 2015-04-22 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
US10659724B2 (en) * 2011-08-24 2020-05-19 Ati Technologies Ulc Method and apparatus for providing dropped picture image processing
US10542233B2 (en) * 2014-10-22 2020-01-21 Genetec Inc. System to dispatch video decoding to dedicated hardware resources
CN115379185B (zh) * 2018-08-09 2024-04-02 辉达公司 使用可变速率着色的运动自适应渲染
KR20200065367A (ko) * 2018-11-30 2020-06-09 삼성전자주식회사 이미지 처리 장치 및 프레임 버퍼 컴프레서
JP2022529510A (ja) 2019-04-25 2022-06-22 オーピー ソリューションズ， エルエルシー 大域的運動を伴うフレームにおける選択的運動ベクトル予測候補
EP3959889A4 (en) * 2019-04-25 2022-07-20 OP Solutions, LLC CANDIDATES FOR ADAPTIVE PREDICTION OF MOTION VECTORS IN FRAMES WITH GLOBAL MOTION

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950024600A (ko) * 1994-01-31 1995-08-21 김광호 휘도신호적응 움직임 평가방법
JP3784086B2 (ja) * 1994-11-25 2006-06-07 三菱電機株式会社 映像信号符号化・復号化装置及び符号化・復号化方法
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
KR100289862B1 (ko) * 1997-10-16 2001-05-15 정선종 2차원병진움직임벡터와회기법을이용한전역움직임존재유무판정방법
JP2912614B1 (ja) * 1998-06-22 1999-06-28 株式会社菊水製作所 回転式粉末圧縮成形機
US6574370B1 (en) * 1998-07-22 2003-06-03 Mitsubishi Denki Kabushiki Kaisha Image encoding system
JP4280353B2 (ja) 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
JP2003319400A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置、復号装置、画像処理装置、それらの方法およびプログラム
JP4228705B2 (ja) * 2003-01-27 2009-02-25 日本電気株式会社 動きベクトル探索方法および装置

Also Published As

Publication number Publication date
TW200721847A (en) 2007-06-01
EP1954059A4 (en) 2010-10-06
US20090268820A1 (en) 2009-10-29
US8300695B2 (en) 2012-10-30
KR20070088321A (ko) 2007-08-29
EP1954059A1 (en) 2008-08-06
KR100843418B1 (ko) 2008-07-03
CN101044765A (zh) 2007-09-26
JP4606311B2 (ja) 2011-01-05
TWI343217B (en) 2011-06-01
JP2007142907A (ja) 2007-06-07
WO2007057985A1 (ja) 2007-05-24

Similar Documents

Publication Publication Date Title
CN100571400C (zh) 图像编码装置及图像编码方法
CN101998120B (zh) 图像编码装置、图像编码方法及图像编码集成电路
CN101080930B (zh) 运动矢量计算装置及运动矢量计算方法
CN101283600B (zh) 参考图像选择方法以及装置
CN102036067B (zh) 运动图像编码设备及其控制方法
EP1608180A1 (en) Method and apparatus for sub-pixel motion estimation which reduces bit precision
KR20020025874A (ko) 모션 추정 알고리즘
CN111479115B (zh) 一种视频图像处理方法、装置及计算机可读存储介质
GB2378345A (en) Method for scanning a reference macroblock window in a search area
US20040218675A1 (en) Method and apparatus for determining reference picture and block mode for fast motion estimation
JPWO2006033227A1 (ja) 画像符号化装置
CN103119942A (zh) 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法及图像预测解码程序
CN104202602A (zh) 执行视频编码的装置及方法
WO2005034519A1 (en) Rectangular-shape motion search
CN101188761A (zh) Avs标准中基于并行处理来优化dct快速算法的方法
CN1703094B (zh) 1/4像素插值应用于1/2像素插值结果的图象插值装置和方法
CN101783958B (zh) Avs视频标准中时域直接模式运动矢量的计算方法和装置
CN103517071B (zh) 图像编码设备和图像编码方法
CN100471280C (zh) 运动图像编码及译码装置、方法
JP4898415B2 (ja) 動画像符号化装置及び動画像符号化方法
JP4957780B2 (ja) 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
WO2007055013A1 (ja) 画像復号化装置および方法、画像符号化装置
US20020168008A1 (en) Method and apparatus for coding moving pictures
JP2006067213A (ja) 動きベクトル検出装置、および、プログラム
JP4446820B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091216

Termination date: 20150117

EXPY Termination of patent right or utility model