CN102113327B - 图像编码装置、方法、集成电路 - Google Patents

图像编码装置、方法、集成电路 Download PDF

Info

Publication number
CN102113327B
CN102113327B CN201080002211.9A CN201080002211A CN102113327B CN 102113327 B CN102113327 B CN 102113327B CN 201080002211 A CN201080002211 A CN 201080002211A CN 102113327 B CN102113327 B CN 102113327B
Authority
CN
China
Prior art keywords
image
hunting zone
data
decoding
motion prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080002211.9A
Other languages
English (en)
Other versions
CN102113327A (zh
Inventor
今仲隆晃
桥本隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102113327A publication Critical patent/CN102113327A/zh
Application granted granted Critical
Publication of CN102113327B publication Critical patent/CN102113327B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的目的在于提供一种图像编码装置，生成能够降低图像解码装置的运动补偿处理时的参照图像的数据传输量的编码图像。本发明的图像编码装置在设定了运动预测中的搜索范围(8002)的情况下，设定在编码后的图像的解码时的运动补偿处理中发生的数据的传输的传输量为较少的传输量的搜索范围(8013x)，从存储了含有像素数据的像素的参照图像的图像存储部取得所设定的所述搜索范围的该像素数据，并进行运动预测。根据本发明的图像编码装置，能够削减在对所生成的编码图像进行解码时的运动补偿中的参照图像的传输量，所以能够削减图像解码装置的外部存储器的成本。

Description

图像编码装置、方法、集成电路
技术领域
本发明涉及与利用图像间的运动预测的运动图像编码方式的图像编码装置及图像编码方法。 
背景技术
近年来，作为对运动图像数据进行压缩编码（以下记述为编码）的技术，广泛采用MPEG2（Moving Picture Experts Group：运动图像专家组）（非专利文献1）和H.264（非专利文献2）。在这些图像编码技术中，针对运动图像中的各个图像（以后记述为图片）进行根据时间上靠前或者靠后的图片的运动预测。并且，对预测的运动信息（包括预测源图片的指定、运动矢量）、与预测结果的差分等信息进行编码。编码是将图片划分为规定的像素数的矩形区域（以下记述为块），将该块作为处理单位来进行的。 
图1是表示通常的运动预测的处理的图。 
说明对图像进行编码时的运动信息的预测方法。图1中的1001表示编码对象图片，1002表示编码对象块（编码对象块），1003表示预测源图片，1004表示在预测源图片1003内位于和编码对象块1002相同的位置的块，1005表示搜索范围，1006表示参照块，1007表示运动矢量。 
运动信息的预测是针对每个块进行的。首先，将编码对象的块1002固定，将在已进行编码的图片中时间上靠前或者靠后的图片设为预测源图片1003。并且，将在预测源图片1003中位于和编码对象的块1002相同的位置的块1004的周围设定为搜索范围1005。并且，一边使大小与编码对象块1002相同的块在所设定的搜索范围1005中移动，一边寻找与编码对象块1002最相似的块，将该块设为参照块1006。并且，将以位于与编码对象块1002相同的位置的块1004为基点时的、参照块1006的相对位置设为运动矢量1007。 
另外，图1中右栏的图片1001中的椭圆形阴影区域表示被拍摄到图片1001等中的对象物(例如车辆等)的区域。另外，左栏的图片1003中的阴影区域表示例如该对象物在图片1003中的区域。如图所示，例如左栏中的阴影区域的位置也可以由于车辆的移动等而与在右栏中的位置不同。 
图2是表示以往的图像编码装置的结构的一例的图。 
作为进行运动预测的图像编码装置的结构已经公开了各种结构(专利文献1等)。在图2中，2001表示运动预测部，2002表示图像存储器，2003表示运动补偿部，2004表示帧内预测部，2005表示预测方法选择部，2006表示差分图像生成部，2007表示正交变换/量化部，2008表示编码部，2009表示逆正交变换/逆量化部，2010表示图像重构部，2011表示环路滤波部，2012表示块读出部，2013表示相似度计算部，2014表示评价部，2015表示运动矢量生成部。使用图2说明图像编码装置2x的动作。 
对输入图像以块为单位进行编码处理。编码对象块(编码对象块1002(图1))被输入到运动预测部2001中。运动预测部2001根据所输入的编码对象块的位置信息，设定搜索范围(搜索范围1005)，从图像存储器2002中依次读出搜索范围内的图像并进行评价，检测与编码对象块的相关性最高的块(参照块1006)。在图像存储器2002中存储有已进行编码的图像。并且，将表示检测到的块相对于编码对象块的相对位置的运动矢量(运动矢量1007)输出给运动补偿部2003。 
运动补偿部2003从图像存储器2002中读出所输入的运动矢量指示的参照图像，生成参照图像，并作为帧间预测的预测图像输出给预测方法选择部2005。 
另一方面，输入图像还被输入到帧内预测部2004中。帧内预测部2004生成帧内预测图像及帧内预测信息，并输出给预测方法选择部2005。 
预测方法选择部2005选择帧内预测和帧间预测中任意一方，将所选择的预测图像输出给差分图像生成部2006。 
差分图像生成部2006生成输入图像与由预测方法选择部2005输出的预测图像之间的差分图像，并输出给正交变换/量化部2007。 
正交变换/量化部2007将对所输入的差分图像进行正交变换及量化后的数据，分别输出给编码部2008以及逆正交变换/逆量化部2009。 
编码部2008对所输入的数据进行可变长度编码，将进行可变长度编码 后的数据作为编码图像输出。 
逆正交变换/逆量化部2009对所输入的被实施正交变换及量化后的数据进行逆量化以及逆正交变换，并生成差分图像输出给图像重构部2010。 
图像重构部2010将由预测方法选择部2005生成的预测图像和由逆正交变换/逆量化部2009生成的差分图像进行相加，重构图像，并输出给环路滤波部2011。 
环路滤波部2011对重构的图像进行环路滤波处理，并存储在图像存储器2002中。 
说明运动预测部2001的结构。 
运动预测部2001(图2)由块读出部2012、相似度计算部2013、评价部2014、运动矢量生成部2015构成。 
块读出部2012根据编码对象块的位置信息设定搜索范围(搜索范围1005)，从图像存储器2002中按照块的形状依次读出所设定的搜索范围内的图像。将所读出的块设为预测图像候选块。 
块读出部2012将预测图像候选块的图像数据和在图片内的位置输出给相似度计算部2013。 
相似度计算部2013计算由块读出部2012输入的预测图像候选块的图像数据与编码对象块之间的相似度，并输出给评价部2014。 
评价部2014比较搜索范围内的此前计算了相似度的各个预测图像候选块中、所计算的相似度最高的块与所输入的预测图像候选块的相似度。在针对搜索范围内的全部块完成相似度的比较后，将在搜索范围内相关性最高的块的位置输出给运动矢量生成部2015。 
运动矢量生成部2015根据编码对象块的位置信息、和由评价部2014输入的在搜索范围内相关性最高的块的位置信息，生成运动矢量并输出给运动补偿部2003。 
图3是表示一般的运动图像解码装置的结构的图。 
下面说明对已被编码的图像进行解码的处理。在解码处理中，基于已被编码的运动信息，根据所指定的预测源图片(参照图1中的预测源图片1003)和运动矢量(参照运动矢量1007)，生成预测结果(参照前面叙述的预测图像)(以下将该处理记述为运动补偿)。通过将该预测结果与另一个 已被编码的预测结果之间的差分信息(参照前面叙述的差分图像)进行相加，将图像(参照图1中的块1002)复原。 
在图3中，3001表示可变长度解码部，3002表示运动补偿部，3003表示运动矢量计算部，3004表示参照图像取得部，3005表示图像存储器，3006表示预测图像生成部，3007表示帧内预测部，3008表示预测方法选择部，3009表示逆量化/逆正交变换部，3010表示图像重构部，3011表示环路滤波部。 
使用图3说明运动图像解码装置的动作。 
输入到运动图像解码装置(图像解码装置)3x中的编码图像(参照前面叙述的由图像编码装置2x的编码部2008输出的编码图像的说明)被输入到可变长度解码部3001中。 
可变长度解码部3001进行可变长度解码处理，将解码结果中的进行运动矢量计算所需要的信息输出给运动补偿部3002，将进行帧内预测所需要的信息输出给帧内预测部3007，将生成差分图像所需要的数据输出给逆量化/逆正交变换部3009。 
运动补偿部3002进行帧间预测处理，并生成预测图像。 
运动补偿部3002进一步由运动矢量计算部3003、参照图像取得部3004、预测图像生成部3006构成。 
从可变长度解码部3001输入给运动补偿部3002的信息，首先被输入到运动矢量计算部3003中。 
运动矢量计算部3003计算运动矢量，并输出给参照图像取得部3004。 
参照图像取得部3004从已进行解码的图像取得运动矢量所指示的矩形区域(参照图1所示的由运动矢量1007指示的参照块1006)作为参照图像，并输出给预测图像生成部3006。 
预测图像生成部3006根据所输入的参照图像生成预测图像，并输出给预测方法选择部3008。 
帧内预测部3007使用从可变长度解码部3001输出的进行帧内预测所需要的信息，进行帧内预测，并将预测图像输出给预测方法选择部3008。 
预测方法选择部3008从运动补偿部3002输出的帧间预测、和帧内预测部3007输出的帧内预测中进行选择，将所选择的预测下的预测图像作为 应该使用的预测图像输出给图像重构部3010。 
逆量化/逆正交变换部3009对可变长度解码部3001输出的数据进行逆正交变换处理及逆量化处理，生成差分图像，并输出给图像重构部3010。 
图像重构部3010将从预测方法选择部3008输出的预测图像、和从逆量化/逆正交变换部3009输出的差分图像进行相加，重构图像，并输出给环路滤波部3011。 
环路滤波部3011对所输入的图像进行环路滤波处理，并作为解码图像输出。并且，将所输出的图像存储在图像存储器3005中，以便在进行后面的图片的解码时用作参照图像。 
现有技术文献 
专利文献 
专利文献1：日本特开平8-79767号公报 
非专利文献 
非专利文献1：MPEG2ISO/IEC13818-2标准，ITU-T H.262标准 
非专利文献2：H.264ISO/IEC14496-10标准，ITU-T H.264标准 
发明概要
发明要解决的课题 
作为上述一般的以往的图像解码装置(运动图像解码装置3x)中的图像存储器(图像存储器3005)，需要较高的数据传输能力。因此，通常采用通过扩大位宽或利用快速传输连续的数据的叫作脉冲串(Burst)传输的方法、来提高了数据传输能力的存储器。将进行脉冲串传输时的连续数据的长度称为脉冲串长度。 
在这种存储器中，在一次的存取中能够读出的数据的最小量(以下称为存储器存取单位)由存储器的位宽和脉冲串长度决定。通常采用的16位(＝2字节)宽、脉冲串长度为4的存储器中，存储器存取单位是2字节×4＝8字节。因此，在采用这种存储器作为图像解码装置的图像存储器时，在运动补偿处理中，从每8字节的取得开始坐标开始按照8字节的倍数的取得尺寸进行数据传输。 
在H.264中，由图像编码装置进行的运动预测的处理单位能够从16×16、16×8、8×16、8×8、8×4、4×8、4×4这七种块尺寸中选择。在按 照较小的块尺寸、例如4×4单位进行了运动预测时，在图像解码装置的运动补偿处理中，按照图像存储器的存储器存取单位进行数据传输，由此来自图像存储器的数据传输量大幅增加。 
图4是表示图像解码装置的运动补偿处理的数据传输的一例的图。 
在图4中，运动预测的处理单位是4×4(矩形区域4002)，将16位宽、脉冲串长度为4的存储器用作图像存储器。并且，利用1字节的数据表现构成图像的像素。 
图4中的4001表示16×16像素的图像存储器(上述的图像存储器3005的一部分)，4002表示进行运动补偿处理所需要的矩形区域(4×4)，4003表示按照8字节的存储器存取单位传输矩形区域4002时所需要的最小的数据传输区域。 
所述以往的运动预测部(图像编码装置2x的运动预测部2001)输出的运动矢量(参照图1中的运动矢量1007)指示的参照图像(参照块1006)的位置，是矩形区域4002的左上端像素4002a的位置即(7，7)。但是，由于水平方向(图4中的方向x)的取得开始坐标是8的倍数(8×n＝0、8、16、…)，所以存取区域4003的左上端像素4003a的位置是(0，7)。另外，矩形区域4002的水平方向的尺寸4S1是4，但水平方向的取得尺寸(取得尺寸4S2)是8字节的倍数，所以矩形区域4003的取得尺寸4S2是16。这样，为了存取4002的4×4像素的矩形区域(尺寸4S1)，必须取得4003的16×4像素的块(取得尺寸4S2)。 
即，根据所述以往的图像编码装置的运动预测部(运动预测部2001)的结构，当在一般的图像解码装置中基于运动预测部输出的运动矢量来进行运动补偿时，将除了作为参照图像所需要的像素之外的数据4rD(纵线阴影区域的数据)具有余量地传输，存在处理效率下降的问题。 
发明内容
本发明就是为了解决上述现有问题而提出的，其目的在于提供一种图像编码装置，生成能够降低图像解码装置的运动补偿处理时的参照图像的数据传输量的编码图像。 
为了解决上述现有的问题，本发明的图像编码装置进行运动预测并对 图像进行编码，该图像编码装置具有：搜索范围控制部，作为所述运动预测中的搜索范围，设定如下搜索范围(第1搜索范围)：在设定了该搜索范围(第1搜索范围)的情况下，在被编码的所述图像的解码时的运动补偿处理中发生的、数据的传输的传输量为比阈值(后面叙述的第2传输量等)少(小)的传输量(第1传输量)；取得部(参照图16中的判断部5003bx)，在进行所述运动预测时，从图像存储部取得所设定的(较小的第1传输量的)所述搜索范围的像素数据(第1传输量的第1像素数据)，所述图像存储部存储有包含该像素数据的像素的参照图像(因此，不取得较大的第2传输量的第2像素数据)；以及运动预测部(参照图16中的预测处理部2015x)，使用所取得的所述像素数据(第1像素数据)和编码对象的像素数据，进行所述运动预测。 
由此，在对图像编码装置生成的编码图像进行解码时的运动补偿处理中，搜索区域选择部限定运动预测的搜索范围，以便仅搜索不会增加运动补偿处理所需要的图像的传输量的区域，由此能够削减在对所生成的编码图像进行解码时的运动补偿中的参照图像的传输量。 
即，例如，判断像素数据是发生较小的第1传输量的传输的第1像素数据、还是发生较大的第2传输量的传输的第2像素数据，具体地讲，如上所述设定适当的搜索范围(第1搜索范围)，并利用所设定的适当的搜索范围来进行该判断。并且，仅取得(被判断为)第1像素数据(的像素数据)，不取得(被判断为)第2像素数据(的像素数据)，在运动预测中仅利用第1像素数据，不利用第2像素数据，由此仅发生第1传输量的传输，不会发生第2传输量的传输，能够减小传输量。 
并且，也可以是，所述搜索范围控制部设定通过来自该搜索范围控制部的外部的设定而从第1搜索范围和第2搜索范围中指定的搜索范围作为所述运动预测中的搜索范围，所述第1搜索范围是发生比第2传输量(例如与上述阈值相同的量)小的所述第1传输量的传输的搜索范围，所述第2搜索范围是发生较大的所述第2传输量的传输的搜索范围，在指定较大的所述第2传输量的所述第2搜索范围的情况下，设定该第2搜索范围。 
这样，可以从多个搜索范围中设定通过来自外部的设定而指定的搜索范围。 
由此，能够从外部控制对编码图像进行解码时的运动补偿的参照图像的传输量。 
即，例如也可以是，根据来自外部的设定，设定较小的第1传输量的第1搜索范围，从而搜索范围从较大的第2传输量的第2搜索范围切换为较小的第1传输量的第1搜索范围。 
由此，在切换之后设定第1搜索范围，传输量变小，另一方面，在切换之前设定第2搜索范围，能够避免在设定第1搜索范围时发生的编码效率下降等弊端，能够同时实现较小的传输量和较高的编码效率等。 
并且，也可以是，所述搜索范围控制部在进行所述运动预测的搜索范围的设定时，仅在所计算的解码时的所述运动补偿处理中的数据的传输量(参照S12004)比第2阈值大的情况下(参照S12005：是)，设定发生较小的所述第1传输量的传输的所述第1搜索范围(参照8013x)，而在比所述第2阈值小的情况下(参照S12005：否)，设定发生较大的所述第2传输量的传输的所述第2搜索范围。 
由此，不仅能够设定合适的第1搜索范围，也能够设定合适的第2搜索范围。由此，通过设定第1搜索范围，在削减对编码对象进行解码时的运动补偿的参照图像的传输量时，能够减小由于设定第1搜索范围而发生的编码效率下降的影响。 
并且，也可以是，所述搜索范围控制部根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格和该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量。 
另外，例如上述位置是指解码侧图像存储部的存储区域中的存储该参照图像的位置。 
由此，无论采用图像存储器的规格彼此不同的多个图像解码装置中的哪个图像解码装置，都通过进行基于所采用的图像解码装置的规格的处理来进行适当的处理，能够更加可靠地削减运动补偿中的参照图像的传输量。 
另外，根据本发明的图像编码装置的另一种结构中，进行运动预测并对图像进行编码的图像编码装置，具有：取得部，在进行所述运动预测时，从图像存储部取得该运动预测中的搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；数据传输量计算部(参照图17 中的判断部5003bx)，在所取得的所述像素数据成为在编码中生成差分图像时所使用的预测图像的情况下，计算进行该像素数据成为所述预测图像的编码后的所述图像的解码时的运动补偿中发生的、数据的传输的传输量；以及运动预测部(参照图17中的预测处理部2015x)，使用所计算的所述传输量、所取得的所述像素数据和编码对象像素数据，进行所述运动预测。 
由此，不限定搜索范围，而能够一边动态地切换解码时的存储器传输量削减和编码效率优先，一边削减在解码时的运动补偿中的参照图像的、来自图像存储器的传输量。 
即，例如通过计算出较小的第1传输量，已进行计算的像素数据被判断为第1像素数据，并且通过计算出较大的第2传输量，被判断为第2像素数据。并且，仅利用(被判断为)第1像素数据(的像素数据)，不利用(被判断为)第2像素数据(的像素数据)，能够减小传输量。 
并且，也可以是，所述数据传输量计算部根据在所述解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、和(该解码侧图像存储部的存储区域中的)所述参照图像的(存储)位置，计算所计算的所述传输量。 
由此，无论采用图像存储器的规格彼此不同的多个图像解码装置中的哪个图像解码装置，都通过进行基于所采用的图像解码装置的规格的处理来进行适当的处理，能够更加可靠地削减运动补偿中的参照图像的传输量。 
这样，例如通过构建具有判断部(参照判断部5003bx(图16、图17))、和进行与判断部的判断结果对应的处理的预测处理部(预测处理部2015x(图16、图17))的图像编码装置(第1图像编码装置参照(参照图16)、第2图像编码装置(参照图17))，仅进行较小的第1传输量的传输，不进行较大的第2传输量的传输，能够减小传输量。 
另外，这样，通过利用这些判断部及预测处理部，能够解决前面叙述的问题，即由于多余传输而导致传输量增大的问题，并且利用上述的第1、第2图像解码装置都能解决该问题。 
发明效果 
根据本发明的图像编码装置，能够削减在对所生成的编码图像进行解码时的运动补偿中的参照图像的传输量，所以能够削减图像解码装置的外 部存储器的成本。 
附图说明
图1是表示一般的运动预测的处理的图。 
图2是表示以往的图像编码装置的一例的结构图。 
图3是表示以往的图像解码装置的一例的结构图。 
图4是表示图像解码装置的运动补偿处理的数据传输的一例的图。 
图5是表示本发明的实施方式1的图像编码装置的一例的结构图。 
图6是表示图像解码装置的运动补偿处理的数据传输量的一例的图。 
图7是表示本发明的实施方式1的编码效率优先模式的情况的搜索范围的图。 
图8是表示本发明的实施方式1的解码时传输量削减模式的情况的搜索范围的图。 
图9是表示本发明的实施方式1的块读出部进行的处理的流程图。 
图10是表示本发明的实施方式2的图像编码装置的一例的结构图。 
图11是表示本发明的实施方式2的搜索区域选择部的一例的结构图。 
图12是本发明的实施方式2的模式切换控制处理的流程图。 
图13是表示本发明的实施方式3的图像编码装置的一例的结构图。 
图14是本发明的实施方式3的预测图像确定处理的每个编码对象块的流程图。 
图15是可携式摄像机的结构图。 
图16是表示图像编码装置及图像解码装置的图。 
图17是表示图像编码装置及图像解码装置的图。 
具体实施方式
下面，参照附图来说明实施方式。 
下面，关于本发明的实施方式，参照附图来进行说明。 
实施方式的第1图像编码装置进行运动预测并对图像(参照图1中的编码对象图片1001)进行编码，该图像编码装置(图像编码装置5x(图5、图16等))具有：搜索范围控制部(图16中的搜索范围控制部5003a)，作 为所述运动预测中的搜索范围(图8所示的第2搜索范围8002和第1搜索范围8013x)，设定如下搜索范围(第1搜索范围8013x)：在设定了该搜索范围(第1搜索范围8013x)的情况下，在编码后的所述图像(编码对象图片1001)的解码时的运动补偿处理中发生的数据的传输的传输量为比阈值(例如，图8中的第2尺寸8S2的传输量)少(小)的传输量(第1尺寸8S1的第1传输量)；取得部(取得部5003b)，在进行所述运动预测时，从图像存储部(图像存储器2002(5xM))取得所设定的所述搜索范围(第1搜索范围8013x)的像素数据(第1像素数据8007p：图16)，所述图像存储部存储有包含该像素数据的像素的参照图像(第1块8007，参照图片8001)；以及运动预测部(预测处理部2015x)，使用所取得的所述像素数据(第1像素数据8007p)和编码对象的像素数据(像素数据1002p)，进行所述运动预测。 
即，例如也可以是，由取得部判断像素数据(参照块8R)是所设定的搜索范围(参照图8中的第1搜索范围1013x)的第1像素数据(第1块8007p)、还是其他的第2像素数据(发生比第1搜索范围的所述第1传输量大的第2传输量(阈值)的传输(例如比尺寸8S1大的尺寸8S2的传输)的第2搜索范围内的第2像素数据(第2块8009))。 
并且，也可以是，由取得部仅取得(被判断为)第1搜索范围的第1像素数据(的像素数据)，不取得(被判断为)第2像素数据(的像素数据)。 
并且，也可以是，由运动预测部仅利用所取得的第1像素数据，不利用其他第2像素数据，仅发生较小的第1传输量的传输，不发生较大的第2传输量的传输。 
由此，仅发生较小的第1传输量的传输，能够减小传输量。 
另外，也可以设置：进行判断的判断部(取得部(参照图16中的判断部5003bx))、和根据判断结果进行处理的预测处理部(运动预测部、预测处理部2015x)。 
另外，由此由搜索范围控制部设定较小的第1传输量的第1搜索范围，不设定阈值以上的、较大的第2传输量的第2搜索范围，能够减小传输量。 
另外，也可以是，通过设定第1搜索范围，将所设定的第1搜索范围内的块判断为第1块，将第1搜索范围之外的块判断为第2块。 
另外，实施方式的第2图像编码装置进行运动预测并对图像进行编码，该图像编码装置(图像编码装置10x：图13、图17)具有：取得部(块读出部2012)，在进行所述运动预测时，从图像存储部(图像存储器2002(5xM))取得该运动预测中的搜索范围(参照搜索范围R)的像素数据，该图像存储部存储有包含该像素数据的像素的参照图像(块8R，参照图片8001)；数据传输量计算部(解码时存储器传输量计算部13002)，在所取得的所述像素数据成为在编码中生成差分图像(参照图2中的差分图像生成部2006)时使用的预测图像(参照图2中的预测方法选择部2005)的情况下，计算在进行该像素数据成为了所述预测图像的编码后的所述图像(编码对象图片1001)的解码时的运动补偿中发生的数据的传输的传输量(例如，尺寸8S1的量、尺寸8S2的量等)；以及运动预测部(预测处理部2015x)，使用所计算的所述传输量、所取得的所述像素数据以及编码对象像素数据，进行所述运动预测。 
即，也可以是，通过由数据传输量计算部计算数据量，判断像素数据(块)是计算较小的第1传输量的第1像素数据(第1块)、还是计算较大的第2传输量的第2像素数据(第2块)(图17中的判断部5003bx)。 
并且，也可以是，运动预测部仅利用较小的第1传输量的第1像素数据(第1块)，不利用较大的第2传输量的第2像素数据(第2块)(图17中的预测处理部2015x)。 
由此，仅发生较小的第1传输量的传输，能够减小传输量。 
这样，例如也可以是，在实施方式的图像编码装置(第1、第2图像编码装置中)，仅进行参照第1块(块8007)的编码，不进行参照第2块(块8009)的编码，该第1块发生较小的第1传输量(例如尺寸S1的传输量)的传输，该第2块发生较大的第2传输量(尺寸8S2的传输量)的传输，由此在进行解码时，避免进行较大的第2传输量(尺寸8S2)的传输，仅进行较小的第1传输量(尺寸8S1)的传输，能够减小解码时的传输量。 
另外，具体地讲，也可以是，例如在某种状况时这样减小传输量，而另一方面在其他状况时不减小传输量。 
这样，例如构建具有判断部(取得第1搜索范围的第1像素数据的取得部(图16中的判断部5003bx)、计算传输量的数据传输量计算部(图17 中的判断部5003bx))、以及进行与该判断的判断结果对应的处理的编码处理部(运动预测部：预测处理部2015x(图16、图17))的图像编码装置(第1图像编码装置5x(图16)、第2图像编码装置13x(图17))，能够减小传输量。 
这样，例如第2图像编码装置也能够解决与上述的第1图像编码装置所解决的问题相同的问题。 
另外，也可以是，在本技术中仅利用发生较小的第1传输量的传输的第1块，不利用发生较大的第2传输量的传输的第2块，由此产生优势。相对于此，在已知的以往例中缺少这种动作，也不会产生优势。从这一点讲，本技术与以往例不同。 
即，在进行解码时，无论图像存储器6xM(图8)中的块8R的位置(左上端像素8pL)是发生较大的第2传输量的传输的第2位置(左上端像素8009L)、还是发生较小的第1传输量的传输的第1位置(左上端像素8007L)，如果参照该块8R，则导致进行较大的第2传输量的传输，使得传输量增大。 
因此，也可以判断块8R在解码时的位置是第1位置(左上端像素8007L)(第1块8007)、还是第2位置(左上端像素8009L)(第2块8009)(判断部5003bx)。 
并且，也可以是，仅在被判断为第1位置的情况下参照该块8R，在被判断为第2块8009的情况下不进行参照(预测处理部2015x)。 
由此，不进行较大的第2传输量的传输，能够减小传输量。 
另外，第1位置也可以是在该第1位置的第1块8007的读出中，按照较少的第1数量(1个)的存取单位8U(8字节的尺寸)进行第1存取区域8008的存取的位置。 
另外，第2位置也可以是按照较多的第2数量(2个)的存取单位8U进行第2存取区域8010的存取的位置。 
另外，也可以保持分别确定第1位置、第2位置的信息(搜索范围8013x的信息)，在上述的判断中，进行由该信息确定的是第1位置还是第2位置的判断。 
另外，也可以是，例如使第2块8009具有与第1块8007的尺寸(4×4)相同的尺寸(4×4)，但是使其具有与第1位置不同的第2位置，由此 发生比第1传输量大的第2传输量的传输。 
即，第2块8009尽管尺寸是4×4，但由于具有较大的第2传输量的第2位置，所以不进行参照。 
例如，也可以是，在图片中的尺寸彼此相同的多个块中，仅参照比阈值小的第1传输量的第1块，不参照阈值以上的第2传输量的第2块。 
(实施方式1) 
图5是本发明的实施方式1的图像编码装置5x的运动预测部5001的结构图。在图5中，对与图2相同的构成要素采用相同的符号，并适当省略说明。 
另外，如在后面具体叙述的那样，图像编码装置5x具体地讲例如也可以是图15所示的、设于可携式摄像机15001中的图像编码装置15010。 
在图5中，5001表示运动预测部，该运动预测部5001由搜索区域选择部5002、图像存储器2002、块读出部5003、相似度计算部2013、评价部2014、运动矢量生成部2015构成。下面，使用图5说明实施方式1的图像编码装置5x的动作。 
在运动预测部5001中，被输入编码对象块(参照图1中的编码对象块1002)的像素数据及位置信息。 
搜索区域选择部5002向块读出部5003输出从外部设定的模式信号，该模式信号用于切换运动预测的搜索区域(参照后面叙述的、图8所示的将排除范围8003x排除后的搜索范围8013x、以及不将排除范围8003x排除而包含排除范围8003x的搜索范围8002)。 
块读出部5003根据所输出的用于切换搜索区域的模式信号、以及从外部设定的图像解码装置6x的存储器规格(的信息)，切换搜索区域，并依次读出搜索区域内的块，输出给相似度计算部2013。 
下面，针对上述的对搜索区域选择部5002设定的用于切换搜索区域的模式信号进行说明。搜索区域选择部5002根据来自外部的设定，切换下述的两种模式并进行输出。 
·编码效率优先模式 
·解码时存储器传输量削减模式 
在此，在对这两种模式进行说明之前，使用图6说明在利用图像解码 装置6x(图6、图8等(例如，图15中的可携式摄像机15001的图像解码装置15011))对图像编码装置5x生成的编码图像进行解码时的、运动补偿处理中的数据传输量。 
图6是表示图像解码装置6x的运动补偿处理的数据传输的图。 
另外，如在后面具体叙述的那样，图像解码装置6x具体地讲例如可以是图15中的图像解码装置15011。 
在图6中，作为图像存储器(图像存储器6004)采用16位宽、脉冲串长度为4的存储器，存储器存取单位是8字节。并且，利用1字节的数据表现构成图像的像素。 
图6中的6001表示参照图片(参照图1中的预测源图片1003)，6002及6003分别表示参照图像的块(参照块1004、1006等)。6004表示对图像编码装置5x生成的编码图像进行解码的图像解码装置6x具有的16×16像素的图像存储器。 
另外，图像存储器6004具体地讲例如可以是在图像解码装置6x中使用的图像存储器6xM中的一部分。 
另外，6005表示按照存储器存取单位读出参照图像块6002时的存取区域，6006表示按照存储器存取单位读出参照图像的块6003时的存取区域。 
首先，说明在图像编码装置5x(图5)的运动预测处理中，将位于参照图像块6002的位置的块设为参照图像的情况。参照图像块6002的左上端像素6002L的位置是(1，2)，该块6002的大小是4×4。其中，图像存储器6004的存储器存取单位是8字节，所以从图像存储器6004读出存取区域6005(尺寸6S1)。该存取区域6005的左上端像素6005a的位置是(0，2)。并且，存取区域6005的水平方向的尺寸6S1是8像素。 
下面，说明在图像编码装置5x的运动预测处理中，将位于参照图像块6003的位置的块设为参照图像的情况。参照图像块6003的左上端像素6003L的位置是(7，7)，块的大小是4×4。其中，图像存储器6004的存储器存取单位是8字节，所以从图像存储器6004读出存取区域6006。存取区域6006的左上端像素6006a的位置是(0，7)。并且，参照图像块6003从存取区域6006的左上端像素6006a起沿水平方向跨越8个像素的位置(8，7)(像素6p)，即跨越边界6pB，所以存取区域6006的水平方向的尺寸6S2 是8个像素×2＝16个像素。 
这样，在图像解码装置6x的运动补偿处理中，从图像存储器(图像存储器6004(图像存储器6xM))取得时的参照图像传输量，能够根据参照图像(块6002、6003)的位置(参照左上端像素6002L、6003L)、和参照图像的大小(例如上述的4×4)来算出。并且，具有如下特征：参照图像的位置是由在图像编码装置5x的运动预测处理中算出的运动矢量(参照运动矢量1007)的值确定的。两种模式都采用这些特征。下面依次说明两种模式。 
图7是表示本发明的实施方式1的编码效率优先模式的搜索范围7002的图。 
首先，说明编码效率优先模式。 
在编码效率优先模式中，在图像编码装置5x的运动预测处理中进行寻找编码效率最高的参照图像的处理。为了提高编码效率，编码对象块(参照图1中的编码对象块1002)与参照图像块(参照块1004、1006)的相关性必须高。因此，块读出部5003(图5)如图7所示，读出参照图片7001内的搜索范围7002中的全部块(参照块7B)。在相似度计算部2013以后，进行搜索范围7002中的全部块与编码对象块的相似度计算以及评价，将相似度最高的块作为参照图像，生成运动矢量。另外，这种搜索范围7002例如可以是图8所示的不将排除范围8003x排除而包含排除范围8003x的搜索范围8002，在后面详细叙述。 
下面，说明解码时存储器传输量削减模式。 
在解码时存储器传输量削减模式中，块读出部5003根据从外部设定的图像解码装置6x的图像存储器(图像存储器6004)的规格(的信息)，限定图像编码装置5x的运动预测处理的搜索范围(参照图1中的搜索范围1005、图7中的搜索范围7002、图8中的搜索范围8002)，以使运动补偿的参照图像传输量减小(参照图6所示的比存取区域6006的尺寸6S2小的尺寸6S1的、传输量比较小的存取区域6005)。关于图像解码装置6x的运动补偿的参照图像传输量的计算方法、以及图像编码装置5x的运动预测的搜索范围的限定方法，使用图8进行更具体的说明。 
图8是表示本发明的实施方式1的解码时传输量削减模式的搜索范围 (搜索范围8013x)的图。 
在图8中，8001表示参照图片(参照图1中的预测源图片1003)，8002表示编码效率优先模式的搜索范围(图7中的搜索范围7002)，8003、8004、8005分别表示搜索范围8002中的、在解码时传输量削减模式中不进行搜索的范围。另外，利用排除范围8003x表示这些8003、8004、8005的范围整体。 
另外，8006是对图像编码装置5x生成的编码图像进行解码的图像解码装置6x具有的16×16像素的图像存储器。8007是在解码时存储器传输量削减模式中可能产生的参照图像块的一例，8008是按照存储器规格读出作为参照图像块的一例的8007时的存取区域(尺寸8S1的尺寸的区域)。8009是在解码时存储器传输量削减模式中不会产生的参照图像块的一例，8010是按照存储器规格读出块8009时的存取区域(尺寸8S2)。 
另外，图像存储器8006具体地讲例如可以是在图像解码装置6x中使用的图像存储器6xM(前述)中的一部分，也可以与例如图6所示的图像存储器6004相同。 
运动补偿的参照图像传输量是根据从外部设定的图像解码装置6x的图像存储器的规格、参照图像块的左上端像素(参照图6中的左上端像素6002L、6003L)的位置及大小(例如上述的4×4)而算出的。在图8中，图像存储器8006是16位宽、脉冲串长度为4的存储器，存储器存取单位是8字节。 
此时，当在区域8003(分别参照图8中的上栏、下栏)的范围中存在4×4的参照图像块的左上端像素(例如，块8009的左上端像素8009L)的情况下，在跨越存储器存取单位的边界的区域中进行存取，所以参照图像传输量增加(参照比较大的尺寸8S2)。 
例如，参照图像块8007的左上端像素8007L为被存取的存取区域8008中的(0，0)，大小是4×4。因此，参照图像块8007的右上端像素8007R的位置是(3，0)，不会超过存储器存取单位的边界即8字节(参照边界6pB(图8、图6))。因此，存取区域8008的水平方向(方向x)的大小(尺寸8S1)是比较小的8字节。 
另一方面，参照图像块8009的左上端像素8009L是(7，7)，大小是 4×4。因此，参照图像块8009的右上端像素8009R的位置是(10，7)，超过存储器存取单位的边界即8字节(超过边界6pB)。因此，存取区域8010的水平方向的大小(尺寸8S2)是比较大的16字节。 
存储器存取区域(存取区域8008、8010(存取区域8aR))的水平方向(方向x的朝向)的大小(尺寸8S(尺寸8S1、8S2))成为比较大的16字节，是在区域8003(排除范围8003x(图8中的上栏))的范围中存在块(块8009)的左上端像素8pL(左上端像素8009L)的时候。在将这种排除范围8003x中包含左上端像素8pL的块(块8009)设为被利用的参照图像的情况下，待进行的传输中的存取区域8aR(存取区域8010)的尺寸(尺寸8S2)比较大，参照图像传输量增加，因此从运动预测处理的搜索范围中排除在区域8003的范围(排除范围8003x)中存在左上端像素8pL(左上端像素8009L)的块8R(块8009)。同样，也将区域8004、8005(图8中的上栏)的范围内的块从运动预测处理的搜索范围中排除。由此，能够削减运动补偿处理时的参照图像的存储器传输量。 
图9是表示由块读出部2012进行的处理的流程图。 
使用图9的流程图进行说明块读出部5003对从搜索区域选择部5002输入的数据进行的块读出位置的控制。 
首先，块读出部2012根据所输入的编码对象块(参照图1中的编码对象块1002)的位置信息，设定搜索区域(参照前面叙述的搜索范围8013x、1005)，将所设定的搜索区域中的第一个块作为处理对象块(图8中的块8R)，设定该处理对象块的左上端像素8pL的位置和处理对象块的大小(例如4×4)(步骤S9001)。 
然后，判断从搜索区域选择部5002输入的模式是否是编码效率优先模式(步骤S9002)。 
在编码效率优先模式的情况下(步骤S9002：是)，将搜索范围的全部块(包括排除范围8003x的块在内的、搜索范围8002的全部块)输出给运动矢量生成部2015，并进入步骤S9004。 
另一方面，在解码时存储器传输量削减模式的情况下(步骤S9002：否)，进入步骤S9003。 
在步骤S9003中，根据处理对象块(块8R)的左上端像素8pL的位置 和处理对象块的大小(例如4×4)，判断处理对象块(块8R)是否超过存储器存取单位(例如8字节)的边界(边界6pB)而存在。 
并且，在处理对象块没有超过存储器存取单位的边界(边界6pB)而存在的情况下(块8007，步骤S9003：否)，该处理对象块(块8007)的位置是传输量较少的位置，进入步骤S9004。 
另一方面，在处理对象块跨越存储器存取单位的边界而存在(超过边界)的情况下(块8009，步骤S9003：是)，由于是传输量较多的位置，所以在运动预测中不使用该位置的块。因此，不进行图像存储器读出，进入步骤S9006。 
在步骤S9004，进行从图像存储器2002读出所设定的地址位置的图像数据(块8007的数据)的处理。 
然后，将从图像存储器2002读出的图像数据输出给运动矢量生成部2015(步骤S9005)。 
由此，完成针对一个块的块读出处理，将读出对象(上述的处理对象块)转移到下一个块，并进行地址相加(步骤S9006)。 
然后，判断所相加的地址是否是前面叙述的所设定的搜索范围内的地址(步骤S9007)，在属于搜索范围之外的情况下(步骤S9007：是)，结束处理。并且，在属于搜索范围之内的情况下(步骤S9007：否)，进入S9002，并反复进行一系列的操作。 
另外，也可以是，例如针对所设定的搜索范围(搜索范围8002或者8013x)中的各个块，进行将该块作为处理对象块的上述S9002～S9006的处理。 
这样，在图像编码装置5x的运动预测中，并非不对搜索区域内的块的位置设定限制就进行搜索(参照不将排除范围8003x排除而包含排除范围8003x在内的搜索范围8002)，而是对来自图像存储器的块读出部(块读出部5003)设定两种模式，并由搜索区域选择部(搜索区域选择部5002)切换模式(参照排除了排除范围8003x后的不包含排除范围8003x的搜索范围8013x)。由此，在图像编码装置5x的运动预测处理中，能够将搜索(相似度计算部2013等以后的处理)限定在解码时的运动补偿中的参照图像的传输量不会增加的范围内(图9中的S9002：否)，削减在与图像解码装置 6x连接的图像存储器(图像存储器6xM)中进行的数据的传输的传输量，并削减成本。 
另外，在本实施方式中，图像解码装置的存储器(图像存储器6xM)是16位宽、脉冲串长度为4的存储器，但不限于这种存储器。例如，在32位(＝4字节)宽、脉冲串长度为4的存储器的情况下，存储器存取单位是4×4＝16字节。在解码时存储器传输量削减模式的情况下，从搜索范围中排除的区域(参照排除范围8003x)根据存储器的规格而变化。 
另外，在本实施方式中，关于在图像编码装置的运动预测处理中限定搜索范围的方法，使用4×4大小的参照图像块(例如图8中的8007等)的情况进行了说明，但不限于此。在其他参照图像块的大小下，为了传输参照图像块，同样利用必须传输的存储器存取单位的数量来限定搜索范围。 
另外，说明了利用1字节的数据表现构成图像的像素的情况，但不限于此，为了传输参照图像块，利用必须传输的存储器存取单位的数量来限定搜索范围。 
另外，在本实施方式的编码效率优先模式中读出参照图片7001内的搜索范围7002中的全部块(参照块7B)，在相似度计算部2013以后，进行搜索范围7002中的全部块与编码对象块的相似度计算以及评价，但不限于此。例如，为了削减图像编码装置5x中的运动预测处理的运算量，也可以以减少计算与编码对象块的相似度的块的数量的目的，限定搜索范围7002中的块的数量。 
另外，在本实施方式中，作为图像编码标准说明了H.264，但不限于此，也可以采用MPEG2等其他图像编码标准。 
另外，在本实施方式中，构成图像编码装置的各个功能块典型地实现为在需要CPU(Central Processing Unit)和存储器的信息设备中工作的程序。但是，也可以将该功能的一部分或者全部实现为集成电路即LSI(Large ScaleIntegration)。这些LSI可以形成为独立的一个芯片，也可以形成为包含一部分或全部的一个芯片。此处是形成为LSI，但根据集成程度的不同，有时也称为IC(Integrated Circuit)、系统LSI、超级LSI、特级LSI等。 
并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的可现场编程门阵列(FPGA： Field Programmable Gate Array)、能够重构LSI内部的电路单元的连接和设定的可重构处理器。 
另外，如果随着半导体技术的发展或派生的其他技术，出现取代LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。例如，具体地讲还存在适用生物技术等的可能性。 
(实施方式2) 
在如上所述的实施方式1的图像编码装置中，搜索区域选择部5002根据从外部设定的两种模式来切换运动预测中的搜索范围(参照搜索范围8002、8013x)。并且，通过设定为解码时存储器传输量削减模式，在对所生成的编码图像进行解码时，能够削减从图像存储器2002传输的、运动补偿的参照图像的数据量。 
但是，在解码时存储器传输量削减模式中，与编码效率优先模式相比，搜索范围变小(参照排除范围8003x)，编码效率有可能变差。 
因此，有如下需求：将采用解码时存储器传输量削减模式的范围尽可能限定得小，将运动补偿的存储器传输量抑制在一定范围内，并提高编码效率，同时实现较小的传输量(被传输的数据量)和较高的编码效率。本发明的实施方式2的图像编码装置是应对上述需求的图像编码装置。 
图10是表示的图像编码装置10x的图。 
本发明的实施方式2的图像编码装置(图像编码装置10x)是将图5的结构中的运动预测部5001的结构替换为图10的运动预测部10001的结构。图10的运动预测部10001与图5的运动预测部5001相比，将搜索区域选择部5002替换为搜索区域选择部10002，此外，追加了解码时存储器传输量计算部10003。在图10中，对进行与图5所示的实施方式1的结构图中的动作相同的动作的部分标注相同的序号，并适当省略说明。 
搜索区域选择部10002向块读出部5003输出下述两种模式。 
·编码效率优先模式 
·解码时存储器传输量削减模式 
并且，首先在编码开始时设定为编码效率优先模式，并且根据从解码时存储器传输量计算部10003输入的、解码时的运动补偿中的参照图像的传输量，进行解码时存储器传输量削减模式与编码效率优先模式之间的切 换。 
在解码时存储器传输量计算部10003中，被输入由运动矢量生成部2015生成的运动矢量的值。根据从外部设定的图像解码装置的图像存储器(参照图3中的图像存储器3005、图6中的图像存储器6xM等)的规格、和所输入的运动矢量所指的参照图像位置，计算在对所生成的流进行解码时的运动补偿中的参照图像传输量(下面称为解码时存储器传输量)。另外，关于解码时存储器传输量的计算方法，已在实施方式1的说明中使用图6及图8进行了说明，所以此处省略。 
更具体地讲，在解码时存储器传输量计算部10003中，例如作为存储器的规格设定了位宽及脉冲串长度，使用根据这些值决定的存储器存取单位，计算解码时存储器传输量。所计算的每个运动矢量的解码时存储器传输量被输出给搜索区域选择部10002。 
图11是搜索区域选择部10002(图10)的结构图。 
使用图11说明搜索区域选择部10002的模式切换。搜索区域选择部10002由传输量更新部11001、模式选择部11002构成。 
从解码时存储器传输量计算部10003输出给搜索区域选择部10002的、上述的每个运动矢量的解码时存储器传输量的值，首先被输入到传输量更新部11001中。 
传输量更新部11001在当前正在编码中的图片中，计算将此前已经编码的块的解码时存储器传输量进行累积的值(下面称为解码时累积存储器传输量)。所计算的解码时累积存储器传输量被输出给模式选择部11002。 
另外，关于当前正在编码中的图片的解码时存储器传输量的计算方法，例如具体地讲可以是下面说明的方法。即，在传输量更新部11001中，开始图片开头的块的编码时，将所保存的参照图像的传输量的值初始化为0。并且，在编码处理过程中，每运动矢量的传输量的值在每当被输入到传输量更新部11001中时累积，更新该图片中的解码时累积存储器传输量并进行保持。 
在模式选择部11002中，根据从传输量更新部11001输入的解码时累积存储器传输量、和当前正在编码中的块的位置信息，选择编码效率优先模式和解码时存储器传输量削减模式中的任意一种模式。并且，将所选择 的模式的模式信号输出给块读出部5003。 
下面，具体说明模式的选择方法。在开始图片开头块的编码时，对于模式选择部11002，将针对解码所生成的编码图像的图像解码装置(例如图像解码装置6x)假设的一个图片的解码中的运动补偿的参照图像传输量(下面称为解码时假想传输量)设定为阈值。所设定的解码时假想传输量(阈值)由图像解码装置的图像存储器的规格及一个图片的尺寸来决定。 
在模式选择部11002中，首先计算在对当前正在编码中的一个图片进行解码时的、运动补偿的参照图像的预计传输量(下面称为解码时预计传输量)。将所计算的预计传输量和前面叙述的解码时假想传输量的值(阈值)之间的大小进行比较，在解码时预计传输量的值超过前面叙述的解码时假想传输量的值(阈值)的情况下，输出解码时存储器传输量削减模式。另一方面，在解码时预计传输量的值小于解码时假想传输量的值(阈值)的情况下，输出编码效率优先模式。 
在此，说明解码时预计传输量的计算方法的一例。模式选择部11002(图11)在被输入了当前正在编码中的块的位置信息时，计算此前已完成编码的块的数量。将累积了此前已被编码的块的解码时存储器传输量的累积值(前面叙述)除以已经完成编码的块的数量，计算此前已被编码的各个块中的每块的解码时存储器传输量(平均量)。对有关这种此前已被编码的各个块的每块的解码时存储器传输量(平均量)乘以当前正在编码中的图片的块的合计数，作为解码时预计传输量。另外，例如在与解码时预计传输量一起使用的上述解码时假想传输量(阈值)是每块的量的情况下等，也可以直接将上述的每块的平均的解码时存储器传输量(平均量)用作解码时预计传输量。 
图12是由搜索区域选择部10002进行的模式切换控制处理的流程图。 
关于由搜索区域选择部10002进行的模式的切换控制，使用图12进行说明。模式的切换控制按照通过一个图片的编码、并通过运动预测处理生成的每个运动矢量进行。 
首先，搜索区域选择部10002(图10、11)在进行当前将要编码的第一个块的运动预测时，将解码时累积存储器传输量初始化(步骤S12001)。然后，根据所输入的每个运动矢量的解码时存储器传输量，进行解码时累 积存储器传输量的计算(步骤S12002)。然后，根据所输入的当前正在编码中的块的位置信息，计算已经完成编码的块的数量(步骤S12003)。 
在步骤S12004，使用在步骤S12002计算的解码时累积存储器传输量的值、和在步骤S12003计算的已经完成编码的块的数量，计算解码时预计传输量。 
在步骤S12005，比较所设定的解码时假想传输量(阈值)与在步骤S12004计算的解码时预计传输量之间的大小。 
在解码时假想传输量比解码时预计传输量小、即解码时预计传输量比较大的情况下(S12005：是)，进入步骤S12006，在解码时假想传输量与解码时预计传输量相等、或者比解码时预计传输量大、即解码时预计传输量比较小的情况下(S12005：否)，进入步骤S12007。 
在解码时预计传输量比较大的情况(S12005：是)的处理即步骤S12006，向后面的块读出部5003(图10)输出削减传输量的解码时存储器传输量削减模式，进入步骤S12008。并且，在解码时预计传输量比较小的情况(S12005：否)的处理即步骤S12007，向后面的块读出部5003输出编码效率优先模式，进入步骤S12008。 
在步骤S12008，判断当前正在进行运动预测的块是否是当前正在编码中的图片中的最后一个矩形，如果是最后一个矩形(S12008：是)，则结束处理。如果不是最后一个矩形(S12008：否)，则进入步骤S12002，针对下一次的每个运动矢量的解码时存储器传输量的输入进行一系列的处理。 
根据这种结构，由于搜索范围比编码效率优先模式小(参照排除了排除范围8003x后的搜索范围8013x)，所以在编码对象块中将使用编码效率有可能变差的解码时存储器传输量削减模式的块(参照S12005：否)设定得尽可能少。因此，能够将运动补偿中的传输量抑制在一定范围内(参照S12005：是)，并提高编码效率(参照S12005：否)。 
另外，在本实施方式中，图像解码装置的存储器是16位宽、脉冲串长度为4的存储器，但不限于此。在解码时存储器传输量削减模式的情况下，从搜索范围中排除的区域根据存储器的规格而变化。 
另外，作为解码时预计传输量的计算方法，根据已经编码的块数量与图片整体的块数量及解码时累积存储器传输量，通过比例计算来求出，但 不限于此，也可以利用其他方法进行计算。 
另外，模式选择部11002将由对所生成的编码图像进行解码的图像解码装置假设的、一个图片的解码中的运动补偿的参照图像传输量，设定为解码时假想传输量，但不限于此。解码时假想传输量，可以在全部图片中设为相同的值，也可以对每个图片设定不同的值。 
另外，模式选择部11002对每个运动矢量比较解码时假想传输量与解码时预计传输量之间的大小，并进行模式选择。但是，在解码时预计传输量有一次超过解码时假想传输量的情况下，从此开始不进行解码时预计传输量的计算、以及与解码时假想传输量的大小比较，而是持续选择解码时存储器传输量削减模式，直到一个图片的编码结束。由此，能够省略解码时预计传输量的计算以及大小比较的处理，能够削减运算量及功耗。 
另外，在本实施方式中，关于图像编码标准说明了H.264，但不限于此，也可以采用MPEG2等其他图像编码标准。 
另外，在本实施方式中，构成图像编码装置的各个功能块典型地实现为在需要CPU和存储器的信息设备中工作的程序。但是，也可以将该功能的一部分或者全部实现为集成电路即LSI。这些LSI可以形成为独立的一个芯片，也可以形成为包含一部分或全部的一个芯片。此处是形成为LSI，但根据集成程度的不同，有时也称为IC、系统LSI、超级LSI、特级LSI等。 
并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的FPGA、能够重构LSI内部的电路单元的连接和设定的重构处理器。 
另外，如果随着半导体技术的发展或派生的其他技术而出现取代LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。例如，具体地讲还存在适用生物技术等的可能性。 
(实施方式3) 
在如上所述的实施方式1及2的图像编码装置中，通过设定用于限定运动预测中的搜索范围的模式(参照前面叙述的解码时存储器传输量削减模式)，在对所生成的编码图像进行解码时，能够削减从图像存储器(参照图2中的图像存储器2002、图6中的图像存储器6xM等)传输的、运动补偿的参照图像的数据量。 
但是，在考虑到与编码对象块的相关性时，有时会导致编码效率的恶化。在解码时存储器传输量削减模式的搜索范围(参照图8中的搜索范围8013x)内相关性最高的块，与在编码效率优先模式的搜索范围(搜索范围8002)内相关性最高的块相比，当相关性明显低时，将导致编码效率的明显恶化。这将导致编码图像的数据尺寸的增加、解码后的图像的(画质)的恶化等不良影响。 
因此，有如下需求：始终不限定搜索范围，而一边动态地切换解码时的存储器传输量削减和编码效率优先，一边削减解码时的运动补偿中的参照图像的来自图像存储器的传输量，从而同时实现使画质的恶化较小、传输量较小。本发明的实施方式3的图像编码装置是应对上述需求的图像编码装置。 
图13是表示图像编码装置13x的图。 
本发明的实施方式3的图像编码装置13x是将图2的结构中的运动预测部2001的结构替换为图13的运动预测部13001的结构。图13的运动预测部13001与图2的运动预测部2001相比，追加了解码时存储器传输量计算部13002，并将评价部2014替换为评价部13003。在图13中，对进行与图2的表示以往的图像编码装置的一例的结构图中的动作相同的动作的部分标注相同的序号，并适当省略说明。 
解码时存储器传输量计算部13002根据由块读出部2012读出的块的位置信息、和预先设定的图像解码装置的图像存储器规格(的信息)，计算该块被选择为运动预测结果时的解码时存储器传输量。块的位置信息和所计算的解码时存储器传输量输出到评价部13003。 
在评价部13003中，由相似度计算部2013输入编码对象块、与由块读出部2012读出的块的相似度，并且由解码时存储器传输量计算部13002输入解码时存储器传输量。并且，评价部13003根据这些信息，确定搜索范围内的运动预测的结果图像的位置，并输出给运动矢量生成部2014A。 
另外，关于运动预测的结果图像的位置的确定方法可以考虑各种方法。 
例如，作为一例，有下述方法：对相似度和解码时存储器传输量分别设定系数α和系数β，将评价函数的值最大的块作为运动预测的结果图像，该评价函数是将系数α乘以相似度得到的值、和系数β乘以解码时存储器传 输量得到的值相加的函数。 
另外，在这种情况下，通过将系数α设为正数，将系数β设为负数，评价函数的值最大的块成为相似度比较高、而且解码时存储器传输量比较小的块。并且，通过改变系数α和系数β的绝对值，能够控制使相似度和解码时存储器传输量哪一方优先。 
即，例如可以是“评价函数的值”＝“α×相似度+β×解码时存储器传输量”，也可以是“评价函数的值”＝“|α|×相似度-|β|×解码时存储器传输量”。 
图14是在预测图像确定处理中对每个编码对象块进行的处理的流程图。 
关于由相似度计算部2013、解码时存储器传输量计算部13002及评价部13003进行的预测图像确定处理，使用图14进行说明。 
首先，评价部13003将所存储的预测图像候选初始化(步骤S14001)。 
然后，输入由块读出部2012读出的块的图像数据及位置信息(步骤S14002)。 
计算所输入的块的图像数据与编码对象块之间的相似度(步骤S14003)。 
然后，根据所输入的块的位置和所设定的图像解码装置的存储器规格，计算解码时存储器传输量(步骤S14004)。 
在步骤S14005，使用在步骤S14003计算的相似度、和在步骤S14004计算的解码时存储器传输量，计算评价函数(的值)。 
在步骤S14006，比较在评价部13004中存储的预测图像候选的评价函数的值与在步骤S14005计算的评价函数的值之间的大小。 
当在评价部13004中存储的预测图像候选的评价函数的值比较大的情况下(S14006：否)，进入步骤S14008。 
当在步骤S14005计算的评价函数的值比较大的情况下(S14006：是)，进入步骤S14007。并且，在步骤S14007，将被计算出更大的评价函数的值的当前块作为预测图像候选，评价部13004存储该块的评价函数的值。然后，进入步骤S14008。 
在步骤S14008，判断从块读出部2012输入的块是否是搜索范围内的 最后的块，如果判断为不是最后的块(S14008：否)，则对下一个输入的块进行从步骤S14002开始的处理。 
另一方面，如果判断为是最后的块(S14008：是)，则进入步骤S14009。并且，在步骤S14009，将评价部13004存储的预测图像候选确定为预测图像，将其位置输出给运动矢量生成(计算)部2014A。 
这样，例如可以选择搜索范围的多个块中、所计算的评价函数的值最大的块。 
根据这种结构，不需限定搜索范围，就可提高编码效率，并且削减在解码时的运动补偿中的来自图像存储器的参照图像的传输量。 
另外，在本实施方式中，构成图像编码装置的各个功能块是实现为例如在需要CPU和存储器的信息设备中工作的程序。但是，也可以将该功能的一部分或者全部实现为集成电路即LSI。这些LSI可以形成为独立的一个芯片片，也可以形成为包含一部分或全部的一个芯片。此处是形成为LSI，但根据集成程度的不同，有时也称为IC、系统LSI、超级LSI、特级LSI。 
并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的FPGA、能够重构LSI内部的电路单元的连接和设定的重构处理器。 
另外，如果随着半导体技术的发展或派生的其他技术而出现取代LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。还存在适用生物技术等的可能性。 
本发明的图像编码装置及图像解码装置能够适用于按照H.264和MPEG-2那样的运动图像编码标准，对运动图像进行编码及解码的各种装置。作为这种装置的例子，有数字播放的记录再现装置、可携式摄像机、电视会议系统等通信装置、个人计算机等。 
图15是将适用了本发明的图像编码装置及图像解码装置适用于可携式摄像机时的结构图。 
可携式摄像机15001包括系统LSI 15002、存储程序及数据的ROM15003、以及用作图像存储器或各种数据的存储区域的RAM(随机存取存储器)15004。 
系统LSI 15002对来自照相机和麦克风的输入信号进行编码，并从外部 驱动器和通用串行总线(USB：Universal Serial Bus)输出编码图像。 
并且，系统LSI15002包括控制照相机的照相机控制部15005、控制麦克风的麦克风控制部15006、控制外部驱动器的外部驱动器控制部15007。并且，系统LSI15002还包括进行整体控制等的CPU15008、进行声音及图像的同步和输出的AV输出控制部15009。 
并且，系统LSI15002包括适用了本发明的图像编码装置15010、图像解码装置15011、进行USB的输入输出控制的USB控制部15012、在各个模块之间、ROM15003和RAM15004之间传输数据的系统总线15013。 
另外，在上述的本变形例的结构中，上述的图像编码装置15010及图像解码装置15011被集成在系统LSI15002中，将RAM15004用作图像存储器，但集成方法不限于此。例如，各个功能可以独立地形成为一个芯片，还可以包括一部分或者全部而形成为一个芯片。另外，如果具有替换LSI的集成电路的技术，则当然也可以利用该技术进行集成。另外，以可携式摄像机为例进行了说明，也能够将本发明适用于数字播放的记录再现装置、可携式摄像机、电视会议系统等通信装置、个人计算机等。 
另外，例如由于在图像解码时的运动补偿中传输参照图像，所以也能够避免从存储器传输的数据量多。即，图像编码装置的运动预测部5001具有搜索区域选择部5002、图像存储器2002、块读出部5003、相似度计算部2013、评价部2014、运动矢量生成部2015，在对图像编码装置生成的编码图像进行解码时的运动补偿处理中，搜索区域选择部5002生成控制信号，以使块读出部5003不需读出必要图像的传输量不增加的区域，就可进行运动预测处理，由此也能够削减在对由图像编码装置生成的编码图像进行解码时的运动补偿中的参照图像的存储器传输量。 
另外，例如具体地讲，前面叙述的图像存储器6xM(图6等)可以设在图像解码装置6x的外部(参照图15中的RAM15004)，也可以设于内部。 
另外，如上所述也可以利用图像存储器6xM的规格的信息。 
并且，也可以利用多个图像解码装置中、进行已由该图像编码装置进行编码的图像的解码的图像解码装置的规格的信息。 
并且，图像解码装置具体地讲例如也可以是在包含该图像编码装置(例如图像编码装置15010)的系统(例如图15中的可携式摄像机15001)中， 与该图像编码装置一起被包括的对由该图像编码装置进行编码的图像进行解码的图像解码装置(图像解码装置15011)。 
并且，采用规格的信息的图像解码装置也可以是多个图像解码装置中、由该图像编码装置的生产商推荐使用的该生产商的图像解码装置等。 
另外，也可以由用户等从多个图像解码装置输入确定该图像解码装置的信息(型号、规格的信息本身等)，并采用所输入的信息。 
另外，本系统也可以是像电视电话、视频会议系统等系统那样，进行已编码的图像的通信，并对所通信的图像进行解码的系统。 
并且，本系统也可以是像可携式摄像机及数字照相机等系统那样，由存储部存储已编码的图像，并进行所存储的图像的解码的系统。 
另外，更具体地讲，例如待编码的图像可以是利用内部互通电话系统中设置的摄像机拍摄的图像，也可以将在无人期间拍摄到的图像进行编码、并由上述的存储部存储已被编码的图像。 
并且，本系统例如也可以包括实现图像编码装置和图像解码装置的功能的至少一部分的个人计算机等计算机。 
上述规格的信息的一部分或者全部也可以是使该个人计算机作为图像解码装置进行工作的软件的信息。 
另外，图8所示的排除范围8003x也可以是第1种图像解码装置的第1排除范围、和比该第1排除范围大的包含该第1排除范围在内的第2种图像解码装置的第2排除范围中的第2排除范围。并且，在某种情况下，通过基于这种排除范围8003x的处理而被编码的图像，可以由第1种图像解码装置进行解码，另一方面，在另一种情况下由第2种图像解码装置进行解码。 
并且，也可以具有包括运动矢量生成部2015(图5)的预测处理部2015x。更具体地讲，例如预测处理部2015x还可以包括相似度计算部2013、评价部2014及编码处理部5M(参照图5、图2中的运动补偿部2003等)等。并且，例如预测处理部2015x可以由运动矢量生成部2015生成运动矢量，并进行运动预测，使用所生成的运动矢量进行编码。 
并且，在该图像编码装置(图像编码装置5x、13x等)中也可以进行例如下述的动作。 
即，关于在被编码的图像(例如图8中的参照图片8001)中包含的块(块8R)，在该图像的编码中参照该第1块(例如块8007)的情况下，在对已被编码的该图像进行解码时，在从解码侧图像存储部(图像存储器6xM)中读出该第1块时，判断是发生(比第2传输量(阈值))小的第1传输量(尺寸8S1的传输量)的传输的第1块、还是发生比所述第1传输量(尺寸8S1的传输量)大的第2传输量(尺寸8S2的传输量)的传输的第2块(块8009)(判断部5003bx，图16、图17)。 
并且，仅在被判断为是第1块的情况下，进行参照了已实施判断的该块(块8R)的编码(生成相对于被参照的该块(参照图1中的参照块1006)的运动矢量(参照运动矢量1007)等)，在被判断为是第2块的情况下，也可以不进行参照该块的编码(运动矢量的生成等)(预测处理部2015x，图16、图17、图5等)。 
由此，避免较大的第2传输量的传输，仅进行较小的第1传输量的传输，能够减小传输量。 
另外，关于这种动作中的单个的具体部分可以采用任何形式。 
例如，具体地讲，较小的第1传输量的第1块(块8007)也可以是在读出该第1块时，被进行较少的第1数量(例如1个)的存取单位8U(图8)的尺寸的、较小的第1存取区域8008(图6)的存取的块。 
并且，较大的第2传输量的第2块(块8009)也可以是在读出该第2块时，被进行较多的第2数量(例如2个)的存取单位8U(图8)的尺寸的、较大的第2存取区域8010(图6)的存取的块。 
更具体地讲，第1存取区域(存取区域8008)也可以仅是较少的第1数量(1个)的存取单位8U(x＝0～7)的区域。并且，第2存取区域(存取区域8010)也可以仅是较多的第2数量(2个)的存取单位8U(x＝0～7、x＝8～15)的区域。并且，第1块(块8007)包括第1存取区域的、较少的第1数量(1个)的各个存取单位8U(x＝0～7)的像素(x＝1～4)，第2块包括较多的第2数量的各个存取单位8U(x＝0～7、x＝8～15)的像素(x＝7、x＝8～10)。 
并且，例如第1数量可以是1个。并且，例如第1块所在的范围(x＝0～3)可以不超过存取单位8U的边界(边界6pB，x＝7～x＝8之间)，并 且不跨越将边界夹在中间的两个(以上)的部分，另一方面，第2块的范围(x＝7～10)可以跨越边界，并跨越两个(以上)的部分。 
并且，例如具体地讲，具体部分的动作可以是与实施方式1的动作相同的动作，也可以与实施方式2的动作相同，还可以与实施方式3相同，还可以是其他动作。 
例如，所述判断部5003bx(取得部5003b)可以判断块是所设定的所述搜索范围(第1搜索范围8013x)内的所述第1块(第1块8007)、还是该搜索范围外的所述第2块(第2块8009)。 
并且，例如，所述判断部5003bx(取得部5003b)可以仅取得被判断为是所述第1块的块(第1块8007)的所述第1像素数据(第1像素数据8007p)，不取得被判断为是所述第2块(第2块8009)的块的所述第2像素数据(第2像素数据8009p)(参照实施方式1)。 
并且，例如，所述判断部5003bx(解码时存储器传输量计算部13002)通过计算较小的第1传输量，判断为所取得的像素数据的块是发生第1传输量的第1块，并且通过计算较大的第2传输量，进行是发生第2传输量的第2块的判断。 
并且，也可以是，预测处理部2015x(运动矢量生成部2014A)在所计算的传输量是第1传输量的情况下，利用所计算的该传输量，表示块被判断为第1块，在是第2传输量的情况下，表示被判断为第2块。 
另外，第2块例如可以是与第1块的相似度相同的相似度的块(参照S14003)。另外，第2块也可以是在参照中不使用的多个块中的一部分(例如一个)。并且，判断部5003bx例如可以包括评价部1300r等。 
并且，如上所述，也可以是，设定较小的第1传输量的第1搜索范围，并将搜索范围从较大的第2传输量的第2搜索范围切换为第1搜索范围等，从而所进行的动作的模式从使用第2块的模式(编码效率优先模式)切换为不使用第2块的模式(解码时传输量削减模式)(搜索区域选择部5002、评价部2014)。由此，能够获得在切换之后可减小传输量，而在切换之前编码效率提高等优势，能够同时实现较小的传输量、和较高的编码效率等优势。 
这样，在本技术中，可以组合多个结构，发生通过组合而实现的相乘 效果。与此相对，在已知的以往例中缺少这些多个结构中的全部或者一部分，也不会发生相乘效果。从这一点讲，本技术与以往例不同。 
另外，也可以构建实现上述功能的计算机程序，也可以构建存储了该计算机程序的存储介质，也可以构建实现上述功能的集成电路，也可以构建其他种类的产品。并且，也可以构建包含上述步骤的方法、生成上述计算机程序的方法、进行通信的方法等各种方法，还可以构建上述计算机程序具有的数据构造等其他种类的产品。 
以上关于本发明，根据实施方式及变形例进行了说明，但本发明不限于这些实施方式及变形例。对这些实施方式及变形例实施本领域人员想到的各种变形而得到的结构、以及将实施方式及变形例中的构成要素进行任意组合而实现的结构，都包含于本发明中。 
工业实用性 
本发明的图像编码装置及图像解码装置对高效地进行运动图像的解码处理有用，该运动图像是由例如数字播放的记录再现装置、可携式摄像机、电视会议系统等通信装置、个人计算机等进行了编码的运动图像。 
符号说明 
1001编码对象的图片 
1002编码对象的块 
1003预测源图片 
1004在预测源图片内位于与编码对象的块相同的位置的块 
1005搜索范围 
1006参照块 
1007运动矢量 
2001运动预测部 
2002图像存储器 
2003运动补偿部 
2004帧内预测部 
2005预测方法选择部 
2006差分图像生成部 
2007正交变换/量化部 
2008编码部 
2009逆正交变换/逆量化部 
2010图像重构部 
2011环路滤波部 
2012块读出部 
2013相似度计算部 
2014评价部 
2015运动矢量生成部 
3001可变长度解码部 
3002运动补偿部 
3003运动矢量计算部 
3004参照图像取得部 
3005图像存储器 
3006预测图像生成部 
3007帧内预测部 
3008预测方法选择部 
3009逆量化/逆正交变换部 
3010图像重构部 
3011环路滤波部 
4001 16×16像素的图像存储器 
4002想要存取的矩形区域(4×4像素) 
4003遵从存储器的规格来存取4002的矩形区域时所需要的最小的存取区域 
5001运动预测部 
5002搜索范围选择部 
5003块读出部 
6001参照图片 
6002参照图像的块 
6002P取得块 
6003参照图像的块 
6004对图像编码装置生成的编码图像进行解码的图像解码装置具有的16×16像素的图像存储器 
6005按照存储器规格读出参照图像块6002时的存取区域 
6006按照存储器规格读出参照图像块6003时的存取区域 
7001参照图片 
7002搜索范围 
8001参照图片 
8002编码效率优先模式的搜索范围 
8003在解码时存储器传输量削减模式中不进行搜索的范围 
8004在解码时存储器传输量削减模式中不进行搜索的范围 
8005在解码时存储器传输量削减模式中不进行搜索的范围 
8006对图像编码装置生成的编码图像进行解码的图像解码装置具有的16×16像素的图像存储器 
8007在解码时存储器传输量削减模式中能够发生的参照图像块的一例 
8008按照存储器规格读出参照图像块的一例即8007时的存取区域 
8009在解码时存储器传输量削减模式中不会发生的参照图像块的一例 
8010按照存储器规格读出块8009时的存取区域 
10001运动预测部 
10002搜索区域选择部 
10003解码时存储器传输量计算部 
11001传输量更新部 
11002模式选择部 
13001运动预测部 
13002解码时存储器传输量计算部 
13003评价部 
15001可携式摄像机 
15002系统LSI 
15003ROM 
15004RAM 
15005照相机控制部 
15006麦克风控制部 
15007外部驱动器控制部 
15008CPU 
15009AV输出控制部 
15010图像编码装置 
15011图像解码装置 
15012USB控制部 
15013系统总线 
R搜索范围 
8pL左上端像素 
8pR右上端像素 

Claims (14)

1.一种图像编码装置，进行运动预测并对图像进行编码，具备：
搜索范围控制部，作为所述运动预测中的搜索范围，设定如下搜索范围：在设定了该搜索范围的情况下，在编码后的所述图像的解码时的运动补偿处理中发生的数据的传输的传输量为比阈值少的传输量，所述数据的传输是参照图像的数据的传输，所设定的所述搜索范围是从整体范围中排除了预先设定的范围后的范围；
取得部，在进行所述运动预测时，从图像存储部取得所设定的所述搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；以及
运动预测部，使用所取得的所述像素数据以及编码对象的像素数据，进行所述运动预测，
所述搜索范围控制部根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
2.根据权利要求1所述的图像编码装置，其中，
所述搜索范围控制部设定通过来自该搜索范围控制部的外部的设定而从第1搜索范围和第2搜索范围中指定的搜索范围作为所述运动预测中的搜索范围，所述第1搜索范围是发生比第2传输量小的第1传输量的传输的搜索范围，所述第2搜索范围是发生较大的所述第2传输量的传输的搜索范围，在指定较大的所述第2传输量的所述第2搜索范围的情况下，设定该第2搜索范围。
3.根据权利要求1所述的图像编码装置，其中，
所述搜索范围控制部在进行所述运动预测的搜索范围的设定时，仅在所计算的解码时的所述运动补偿处理中的数据的传输量比第2阈值大的情况下，设定发生较小的第1传输量的传输的第1搜索范围，在比所述第2阈值小的情况下，设定发生较大的第2传输量的传输的第2搜索范围。
4.根据权利要求1所述的图像编码装置，其中，
被编码的所述图像包括多个块；
各个块包括多个所述像素；
所设定的所述搜索范围中的第1块是在解码时的该第1块的读出中，被进行较小的第1尺寸的第1存取区域的存取而发生较小的第1传输量的传输的块；
所排除的所述范围中的第2块是在该第2块的读出中，被进行较大的第2尺寸的第2存取区域的存取而发生较大的第2传输量的传输的块。
5.一种可携式摄像机，具备：
权利要求1所述的图像编码装置；
图像解码装置，进行由该图像编码装置编码后的所述图像的解码；以及
作为随机存取存储器RAM的解码侧图像存储部，在设定了较小的所述传输量的所述搜索范围的情况下，在进行解码时，对所述图像解码装置传输较小的该传输量的数据，并且存储所传输的该数据，所述数据的传输是参照图像的数据的传输。
6.根据权利要求1所述的图像编码装置，其中，
所述取得部判断被编码的所述图像中包含的块是第1块还是第2块，该第1块是在该图像的编码中参照了该第1块的情况下，在对编码后的该图像进行解码时，在从解码侧图像存储部读出该第1块时发生较小的第1传输量的传输的块，该第2块是发生比所述第1传输量大的第2传输量的传输的块；
仅在判断为所述第1块的情况下，所述运动预测部参照判断后的该块，生成向该块的运动矢量；
在判断为所述第2块的情况下，所述运动预测部不参照该块，不生成向该块的运动矢量；
所述取得部判断块是所设定的所述搜索范围内的所述第1块、还是该搜索范围之外的所述第2块。
7.根据权利要求6所述的图像编码装置，其中，
所述取得部仅取得被判断为所述第1块的块的第1像素数据，不取得被判断为所述第2块的块的第2像素数据。
8.一种图像编码装置，进行运动预测并对图像进行编码，具备：
取得部，在进行所述运动预测时，从图像存储部取得该运动预测中的搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；
数据传输量计算部，在所取得的所述像素数据成为在编码中的差分图像的生成中使用的预测图像的情况下，计算进行该像素数据成为所述预测图像的编码后的所述图像的解码时的运动补偿处理中发生的数据的传输的传输量，所述数据的传输是参照图像的数据的传输；以及
运动预测部，使用所计算的所述传输量、所取得的所述像素数据以及编码对象像素数据，进行所述运动预测，
所述数据传输量计算部根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述运动预测中的搜索范围是从整体范围中排除了预先设定的范围后的范围，所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
9.一种图像编码方法，进行运动预测并对图像进行编码，包括：
搜索范围控制步骤，作为所述运动预测中的搜索范围，设定如下搜索范围：在设定了该搜索范围的情况下，在编码后的所述图像的解码时的运动补偿处理中发生的数据的传输的传输量为比阈值少的传输量，所述数据的传输是参照图像的数据的传输，所设定的所述搜索范围是从整体范围中排除了预先设定的范围后的范围；
取得步骤，在进行所述运动预测时，从图像存储部取得所设定的所述搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；以及
运动预测步骤，使用所取得的所述像素数据以及编码对象的像素数据，进行所述运动预测，
所述搜索范围控制步骤根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
10.一种图像编码方法，进行运动预测并对图像进行编码，包括：
取得步骤，在进行所述运动预测时，从图像存储部取得该运动预测中的搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；
数据传输量计算步骤，在所取得的所述像素数据成为在编码中的差分图像的生成中使用的预测图像的情况下，计算在进行该像素数据成为所述预测图像的编码后的所述图像的解码时的运动补偿处理中发生的数据的传输的传输量，所述数据的传输是参照图像的数据的传输；以及
运动预测步骤，使用所计算的所述传输量、所取得的所述像素数据以及编码对象像素数据，进行所述运动预测，
所述数据传输量计算步骤根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述运动预测中的搜索范围是从整体范围中排除了预先设定的范围后的范围，所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
11.一种集成电路，进行运动预测并对图像进行编码，具有：
搜索范围控制部，作为所述运动预测中的搜索范围，设定如下搜索范围：在设定了该搜索范围的情况下，在编码后的所述图像的解码时的运动补偿处理中发生的数据的传输的传输量为比阈值少的传输量，所述数据的传输是参照图像的数据的传输，所设定的所述搜索范围是从整体范围中排除了预先设定的范围后的范围；
取得部，在进行所述运动预测时，从图像存储部取得所设定的所述搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；以及
运动预测部，使用所取得的所述像素数据以及编码对象的像素数据，进行所述运动预测，
所述搜索范围控制部根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
12.一种集成电路，进行运动预测并对图像进行编码，具有：
取得部，在进行所述运动预测时，从图像存储部取得该运动预测中的搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；
数据传输量计算部，在所取得的所述像素数据成为在编码中的差分图像的生成中使用的预测图像的情况下，计算进行该像素数据成为所述预测图像的编码后的所述图像的解码时的运动补偿处理中发生的数据的传输的传输量，所述数据的传输是参照图像的数据的传输；以及
运动预测部，使用所计算的所述传输量、所取得的所述像素数据以及编码对象像素数据，进行所述运动预测，
所述数据传输量计算部根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述运动预测中的搜索范围是从整体范围中排除了预先设定的范围后的范围，所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
13.一种记录再现装置，记录通过进行运动预测并对图像进行编码而得到的编码图像，并且再现通过对该编码图像进行解码而得到的解码图像，所述记录再现装置具有：
图像存储部，存储所述运动预测的参照图像；
搜索范围控制部，作为所述运动预测中的搜索范围，设定如下搜索范围：在设定了该搜索范围的情况下，在编码后的所述编码图像的解码时的运动补偿处理中发生的数据的传输的传输量为比阈值少的传输量，所述数据的传输是参照图像的数据的传输，所设定的所述搜索范围是从整体范围中排除了预先设定的范围后的范围；
取得部，在进行所述运动预测时，从图像存储部取得所设定的所述搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；以及
运动预测部，使用所取得的所述像素数据以及编码对象的像素数据，进行所述运动预测，
所述搜索范围控制部根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
14.一种记录再现装置，记录通过进行运动预测并对图像进行编码而得到的编码图像，并且再现通过对该编码图像进行解码而得到的解码图像，所述记录再现装置具有：
图像存储部，存储所述运动预测的参照图像；
取得部，在进行所述运动预测时，从图像存储部取得该运动预测中的搜索范围的像素数据，所述图像存储部存储有包含该像素数据的像素的参照图像；
数据传输量计算部，在所取得的所述像素数据成为在编码中的差分图像生成中使用的预测图像的情况下，计算进行该像素数据成为所述预测图像的编码后的所述编码图像的解码时的运动补偿处理中发生的数据的传输的传输量，所述数据的传输是参照图像的数据的传输；以及
运动预测部，使用所计算的所述传输量、所取得的所述像素数据以及编码对象像素数据，进行所述运动预测，
所述数据传输量计算部根据在解码时为了存储所述参照图像而使用的解码侧图像存储部的存取单位的规格、以及该参照图像的位置，计算解码时的所述运动补偿处理中的数据的传输量，
所述解码侧图像存储部由多个存储器存取单位构成，该存储器存取单位是一次的存取中能够读出的数据的最小量，
所述运动预测中的搜索范围是从整体范围中排除了预先设定的范围后的范围，所述预先设定的范围是指，所述运动预测中的搜索范围之中、所述参照图像在所述解码侧图像存储部中的位置跨越两个上述存储器存取单位之间的边界时的范围。
CN201080002211.9A 2009-06-01 2010-05-31 图像编码装置、方法、集成电路 Expired - Fee Related CN102113327B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-131736 2009-06-01
JP2009131736 2009-06-01
PCT/JP2010/003639 WO2010140338A1 (ja) 2009-06-01 2010-05-31 画像符号化装置、方法、集積回路、プログラム

Publications (2)

Publication Number Publication Date
CN102113327A CN102113327A (zh) 2011-06-29
CN102113327B true CN102113327B (zh) 2014-09-03

Family

ID=43297481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080002211.9A Expired - Fee Related CN102113327B (zh) 2009-06-01 2010-05-31 图像编码装置、方法、集成电路

Country Status (4)

Country Link
US (1) US8761239B2 (zh)
JP (1) JP5238882B2 (zh)
CN (1) CN102113327B (zh)
WO (1) WO2010140338A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602819B2 (en) * 2011-01-31 2017-03-21 Apple Inc. Display quality in a variable resolution video coder/decoder system
EP2798460A4 (en) * 2011-12-28 2016-05-11 Intel Corp VIDEO CODING IN VIDEO ANALYSIS
CN104717510B (zh) * 2013-12-13 2018-08-17 华为技术有限公司 用于图像处理的方法和装置
JP6323185B2 (ja) * 2014-06-04 2018-05-16 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10735761B2 (en) * 2017-05-19 2020-08-04 Mediatek Inc Method and apparatus of video coding
CN117354540A (zh) * 2017-10-27 2024-01-05 松下电器（美国）知识产权公司 编码装置、编码方法、生成装置、发送装置和存储介质
US12084328B2 (en) * 2019-03-04 2024-09-10 Panasonic Intellectual Property Management Co., Ltd. Mover control method, mover control system, and program
CN116506628B (zh) * 2023-06-27 2023-10-24 苇创微电子(上海)有限公司 一种基于像素块的编码预测器方法、编码系统及编码装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
CN1801946A (zh) * 2005-01-07 2006-07-12 株式会社Ntt都科摩 运动图像编码及译码装置、方法、程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1296521B1 (en) * 1992-01-29 2005-10-26 Mitsubishi Denki Kabushiki Kaisha Apparatus and method for video information recording/reproducing
JPH07250328A (ja) * 1994-01-21 1995-09-26 Mitsubishi Electric Corp 動きベクトル検出装置
JPH0879767A (ja) 1994-07-05 1996-03-22 Ricoh Co Ltd 動きベクトル符号化および復号化方式
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
US6470050B1 (en) * 1999-04-09 2002-10-22 Matsushita Electric Industrial Co., Ltd. Image coding apparatus and its motion vector detection method
US7126991B1 (en) * 2003-02-03 2006-10-24 Tibet MIMAR Method for programmable motion estimation in a SIMD processor
JP4015084B2 (ja) * 2003-08-20 2007-11-28 株式会社東芝 動きベクトル検出装置及び動きベクトル検出方法
TW595124B (en) * 2003-10-08 2004-06-21 Mediatek Inc Method and apparatus for encoding video signals
JP2005354174A (ja) * 2004-06-08 2005-12-22 Renesas Technology Corp 動き探索装置
JP4514203B2 (ja) * 2004-06-11 2010-07-28 キヤノン株式会社 動きベクトル検出装置及び方法
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
JP4570532B2 (ja) * 2005-08-02 2010-10-27 パナソニック株式会社 動き検出装置、動き検出方法、集積回路およびプログラム
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
JP4757080B2 (ja) * 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
KR20100017645A (ko) * 2007-05-10 2010-02-16 알고 임베디드 시스템즈 프라이빗 리미티드 동적 움직임 벡터 분석방법
JP2011097572A (ja) * 2009-09-29 2011-05-12 Canon Inc 動画像符号化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
CN1801946A (zh) * 2005-01-07 2006-07-12 株式会社Ntt都科摩 运动图像编码及译码装置、方法、程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2005-354174A 2005.12.22
JP特开2007-043421A 2007.02.15

Also Published As

Publication number Publication date
JP5238882B2 (ja) 2013-07-17
WO2010140338A1 (ja) 2010-12-09
JPWO2010140338A1 (ja) 2012-11-15
US8761239B2 (en) 2014-06-24
CN102113327A (zh) 2011-06-29
US20110135285A1 (en) 2011-06-09

Similar Documents

Publication Publication Date Title
CN102113327B (zh) 图像编码装置、方法、集成电路
US7881377B2 (en) Image coding apparatus and image coding method
US9699451B2 (en) Motion estimation compatible with multiple standards
US20130287111A1 (en) Low memory access motion vector derivation
CN106170093B (zh) 一种帧内预测性能提升编码方法
EP2076046A2 (en) Configurable performance motion estimation for video encoding
KR102390162B1 (ko) 데이터 인코딩 장치 및 데이터 인코딩 방법
JP4101034B2 (ja) 符号化装置及び方法
CN103109535B (zh) 图像再生方法、图像再生装置、摄像系统及再生系统
US6470050B1 (en) Image coding apparatus and its motion vector detection method
JP2021502786A (ja) 符号化単位分割決定方法及び装置、コンピューティングデバイス及び読み取り可能な記憶媒体
CN1112654C (zh) 图像处理装置
US20100111166A1 (en) Device for decoding a video stream and method thereof
CN103703780A (zh) 运动图像解码方法及图像编码方法
JPWO2008038513A1 (ja) 復号装置、復号方法、復号プログラム及び集積回路
CN116939216A (zh) 视频编码方法、装置、设备、存储介质及程序产品
WO2011064073A1 (en) Method, device and system for image compression and decompression using support vector regression
CN103974069A (zh) 可重用的视频编码方法和编码器
CN103327340A (zh) 一种整数搜索方法及装置
CN107197281A (zh) 一种实现运动估计的方法及电子设备
WO2018205780A1 (zh) 一种运动估计实现方法及电子设备
JP2020156106A (ja) 動画像符号化装置および動画像符号化方法
CN114727115B (zh) 一种视频编码的整数运动估计方法、系统及存储介质
US20220337866A1 (en) Inter-frame prediction method, encoder, decoder and storage medium
JP5244479B2 (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140903

Termination date: 20180531