CN101981935B - 图像解码装置、图像解码方法、集成电路及接收装置 - Google Patents

图像解码装置、图像解码方法、集成电路及接收装置 Download PDF

Info

Publication number
CN101981935B
CN101981935B CN2009801109051A CN200980110905A CN101981935B CN 101981935 B CN101981935 B CN 101981935B CN 2009801109051 A CN2009801109051 A CN 2009801109051A CN 200980110905 A CN200980110905 A CN 200980110905A CN 101981935 B CN101981935 B CN 101981935B
Authority
CN
China
Prior art keywords
image
pixel
mentioned
motion compensation
object piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009801109051A
Other languages
English (en)
Other versions
CN101981935A (zh
Inventor
小泽基一
今仲隆晃
法贵光典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101981935A publication Critical patent/CN101981935A/zh
Application granted granted Critical
Publication of CN101981935B publication Critical patent/CN101981935B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

图像存储器访问控制部(502)判断是否需要追加像素,该追加像素是除了构成参照目标块所表示的图像的多个像素以外的像素、并且是在运动补偿中需要的像素。在判断为需要追加像素的情况下,未取得像素插补部(503)生成一个以上的追加像素,根据生成的一个以上的追加像素和参照目标块所表示的图像的至少一部分,生成在运动补偿中使用的参照图像。在判断为不需要追加像素的情况下,未取得像素插补部(503)将参照目标块所表示的图像的至少一部分作为参照图像来输出。

Description

图像解码装置、图像解码方法、集成电路及接收装置
技术领域
本发明涉及对通过伴随图像间的运动预测的活动图像编码得到的编码数据进行解码的图像解码装置、图像解码方法、集成电路及接收装置。 
背景技术
近年来,为了压缩活动图像数据,广泛使用基于MPEG2标准(非专利文献1)或H.264(非专利文献2)标准的图像编码技术。在这些图像编码技术中,对构成活动图像的多个图片的至少一部分进行运动预测(以下,也称作运动补偿)。 
运动预测是根据处理对象的图片和参照图片检测运动矢量,并生成预测图片的处理。这里,参照图片是在运动预测中参照的图片。此外,参照图片是相对于处理对象的图片在时间上在前或在后的图片。 
并且,对通过运动预测得到的运动信息(确定参照图片的信息、运动矢量等)以及与预测结果的差分等信息进行编码。编码是将图片分割为规定的像素数的矩形区域(以后,记为块)、并以被分割的块为单位进行。 
通过如上所述的伴随运动预测的图像编码技术编码的活动图像数据的解码按照如下的顺序进行。 
首先,从活动图像数据中提取运动信息。然后,根据提取的运动信息确定参照图片内的块(以下,称作预测像素块)。最后将预测像素块与活动图像数据中的预测结果之间的差分相加,作为解码结果输出。 
这些图像编码技术的编码效率依赖于将预测的运动矢量作为运动信息进行编码的方法。尤其,已知通过导入非整数精度的运动矢量来改善编码效率的技术。 
在使用非整数精度的运动矢量的情况下,根据位于整数坐标的像素通过某种插补处理生成位于非整数坐标的像素。并且,使用通过插补处理生成的图像(以下,称作插补图像),进行运动预测以及用于生成预测像素块 的处理。 
以下,将位于整数坐标的像素称作整数像素。此外,以下将非整数坐标也称作小数坐标。此外,以下将位于小数坐标的像素称作小数像素。此外,以下将非整数精度也称作小数精度。 
下面,说明遵循MPEG2标准及H.264标准的处理中的小数像素的处理。 
在MPEG2标准中,能够以1/2像素精度进行运动预测(运动补偿)。以下,将用1/2(0.5)表现小数点以下的值的坐标称作1/2精度坐标。此外,以下将位于1/2精度坐标的像素称作1/2坐标像素。 
1/2坐标像素的值通过将与该1/2坐标像素相邻的至少两个整数像素的值进行平均来求出。以下,将横向m(自然数)个像素、纵向n(自然数)个像素的尺寸表示为“m×n”。例如,将横向4个像素、纵向8个像素的尺寸的块表现为4×8的块。 
下面,以16×16的块为例说明1/2坐标像素的生成。 
以下,将处理对象的图片中作为进行运动预测(运动补偿)的对象的块称作运动补偿块。此外,以下将在运动预测(运动补偿)中使用的图像称作参照图像。此外,以下将表示参照图片的一部分区域的图像的块、并且是表示参照图像的全部或一部分的块称作参照目标块。 
以下,将MPEG2标准的参照目标块内的整数像素称作MP2块整数像素。 
图1是表示在MPEG2标准的参照目标块101内,通过插补处理生成的1/2坐标像素(小数像素)的图。 
图1作为一例而表示16×16的参照目标块101。参照目标块101包括多个整数像素102。在图1中,通过插补处理,根据至少两个整数像素102生成1/2坐标像素103。 
在图1中,在参照目标块101的上部的一行上排列的多个数字表示水平方向(右方向)的坐标值(以下,称作水平坐标值)。在图1中,在参照目标块101的左侧的一列上排列的多个数字表示垂直方向(下方向)的坐标值(以下,称作垂直坐标值)。 
以下,将水平方向及垂直方向分别称作行方向及列方向。此外,以下将水平方向的坐标及垂直方向的坐标分别称作水平坐标及垂直坐标。此外, 以下用(x(水平坐标值)、y(垂直坐标值))表示坐标。例如,坐标(3,5)表示水平坐标值为“3”,垂直坐标值为“5”。此外,以下将水平坐标值及垂直坐标值分别简单称作水平坐标及垂直坐标。 
以下,将MPEG2标准中的在参照目标块的外部配置的像素称作MP2块外像素。此外,以下将MPEG2标准中的参照目标块内的1/2坐标像素的生成所需要的MP2块外像素称作MP2追加像素。 
在图1中,MP2块外像素104是MP2追加像素。 
参照目标块101的尺寸为16×16,在通过插补处理生成1/2精度生成需要像素的情况下,参照目标块101内的左上端的像素的坐标是(0,0),参照目标块101内的右下端的像素的坐标是(15.5,15.5)。 
参照目标块101内的1/2坐标像素的值通过将与该1/2坐标像素相邻的至少两个整数像素的值进行平均来求出。因此,为了生成水平坐标值为“15.5”、并且垂直坐标值为“0”~“15.5”的多个1/2坐标像素103,需要在参照目标块101外的右侧一列上排列的多个MP2追加像素。 
此外,为了生成水平坐标值为“0”~“15.5”、并且垂直坐标值为“15.5”的多个1/2坐标像素103,需要在参照目标块101外的下侧一行上排列的多个MP2追加像素。 
这样,在MPEG2的处理中,在以1/2像素精度进行运动预测(运动补偿)的情况下,需要与在水平方向及垂直方向上都比参照目标块101大一个像素的块对应的多个像素。 
具体而言,在MPEG2标准的处理中,在使用16×16的运动补偿块以1/2像素精度进行运动预测(运动补偿)的情况下,需要17×17的参照目标块。在MPEG2的处理中使用的运动补偿块的尺寸有时为16×8。在该情况下,需要17×9的参照目标块。 
在H.264标准的处理中,能够以1/4像素精度进行运动预测(运动补偿)。在H.264的处理中,位于小数坐标的像素中的位于1/2精度坐标的像素(1/2坐标像素)的值通过使用了该像素的两侧相邻的三个像素(共6个像素)的6抽头滤波运算来求出。 
以下,将用1/4或3/4(0.25或0.75)表现小数点以下的值的坐标称作1/4精度坐标。以下,将位于1/4精度坐标的像素称作1/4坐标像素。 
在H.264标准的处理中,1/2坐标像素以外的位于小数坐标(1/4精度坐标)的像素(1/4坐标像素)是通过将与该像素相邻的像素即位于整数坐标或1/2精度坐标的至少两个像素的值进行平均来生成。 
以下,将H.264标准中的参照目标快内的整数像素称作H264块整数像素。 
图2是表示在H.264标准中的参照目标块201内通过插补处理生成的小数像素的图。 
图2作为一例表示4×4的参照目标块201。参照目标块201包括多个整数像素202。在图2中,通过插补处理,根据至少两个整数像素202,生成作为小数像素的1/2坐标像素203。此外,通过插补处理,根据位于整数坐标或1/2精度坐标的至少两个像素,生成1/4坐标像素204。 
在图2中,在参照目标块201的上部的1行上排列的多个数字表示水平坐标值。在图2中,在参照目标块201的左侧的一列上排列的多个数字表示垂直坐标值。 
以下,将H.264标准中的在参照目标块的外部配置的像素称作H264块外像素。此外,以下将H.264标准中的参照目标块内的1/2坐标像素的生成所需的H264块外像素称作H264追加像素。 
在图2中,H264块外像素205是H264追加像素。 
参照目标块201的尺寸为4×4,在通过插补处理生成小数像素的情况下,参照目标块201内的左上端的像素的坐标为(0,0),参照目标块201内的右下端的像素的坐标为(3.75,3.75)。 
参照目标块201内的1/2坐标像素通过使用了该1/2坐标像素的两侧相邻的3个像素(共6个像素)的6抽头滤波来生成。因此,为了生成水平坐标值为“0.5”、并且垂直坐标值为“0”~“3.5”的多个1/2坐标像素203,需要在参照目标块201外的左侧两列上排列的多个H264追加像素。 
此外,为了生成水平坐标值为“0”~“3.5”、并且垂直坐标值“0.5”的多个1/2坐标像素203,需要在参照目标块201外的上侧两行上排列的多个H264追加像素。 
此外,为了生成水平坐标值为“3.5”、并且垂直坐标值为“0”~“3.5”的多个1/2坐标像素203,需要在参照目标块201外的右侧三列上排列的多 个H264追加像素。此外,为了生成水平坐标值为“0”~“3.5”、并且垂直坐标值为“3.5”的多个1/2坐标像素203,需要在参照目标块201外的下侧三行上排列的多个H264追加像素。另外,在1/4坐标像素204的生成中不需要H264追加像素。 
像这样,在H.264标准的处理中,在以1/4像素精度进行运动预测(运动补偿)的情况下,需要与比参照目标块201在左侧及上侧上大2个像素量、且比参照目标块201在右侧及下侧上大3个像素量的块对应的多个像素。 
具体而言,在H.264的处理中,在利用4×4的运动补偿块以1/4像素精度进行运动预测的情况下,需要9×9的参照图像。 
在H.264的处理中使用的运动补偿块的尺寸有时为16×16、16×8、8×16、8×8、8×4及4×8。在该情况下,需要分别与16×16、16×8、8×16、8×8、8×4及4×8的运动补偿块对应的21×21、21×13、13×21、13×13、13×9及9×13的参照图像。 
像这样,在H.264标准的处理中,通过6抽头滤波生成位于小数坐标的像素。因此,在H.264标准的处理中,运动预测(运动补偿)所需要的像素的数量比MPEG2标准的处理大幅增加。 
如以上所述,在MPEG2标准的处理或H.264标准的处理中,在以小数精度实施运动预测(运动补偿)的情况下,需要进行位于小数坐标的像素的生成。因此,在MPEG2标准的处理或H.264标准的处理中,在以小数精度进行运动预测(运动补偿)的情况下,在运动预测(运动补偿)中需要更大尺寸的参照图像。 
结果,在以小数精度进行运动预测(运动补偿)的情况下,产生用于取得作为参照图像的参照目标块的数据传输量变大的问题。因此,为了高速处理作为参照图像的参照目标块,需要高性能而高价的存储器,导致进行图像编码或图像解码的装置的成本上升。 
为了解决上述问题,提出了在专利文献1及专利文献2中示出的方法。 
在专利文献1中示出了不取得在小数像素的生成中需要的、参照目标块外的所有像素而进行小数像素的生成的技术(以下、称作现有技术A)。即,在现有技术A中,不取得在运动补偿中需要的所有的像素。 
参照目标块外的不取得的所有像素例如为图1所示的在右端的一列上排列的多个像素及在下端的一行上排列的多个像素。此外,参照目标块外的不取得的所有像素例如为图2所示的在左端两列上排列的多个像素、在右端三列上排列的多个像素、在上端两列上排列的多个像素以及在下端三行上排列的多个像素。 
在现有技术A中,仅使用取得的参照目标块内的像素对未取得的参照目标块外的像素进行插补,从而生成小数像素。此外,在现有技术A中,根据与本来的参照目标块外的像素不同的像素,进行小数像素的生成。因此,在现有技术A中,在通过编码处理或解码处理得到的图像中包含误差。该误差在像素的位数为n的情况下,最大达到±2的(n-1)次方。因此,在通过编码处理或解码处理得到的图像中,会发生不能忽视的等级的画质劣化。 
在专利文献2中,示出了如下技术(以下,称作现有技术B),即:设置暂时存储从参照图片取得的像素的缓冲器,不再取得已经存储在缓冲器内的像素而进行运动补偿。在现有技术B中,利用取得了一次的像素在其他块的运动补偿中被再利用的可能性高的情况,削减从参照图片中取得的像素量。 
但是,取得的像素是否被再利用,这取决于活动图像数据的内容,有可能出现像素完全不被再利用的情况 
非专利文献1:MPEG2 ISO/IEC13818-2标准,ITU-T H.262标准7.6运动补偿 
非专利文献2:H.264 ISO/IEC 14496-10标准,ITU-T H.264标准8.4INTER预测处理 
专利文献1:日本特开平11-346368号公报 
专利文献2:日本特开2005-354673号公报 
在现有技术A中,不取得运动补偿中需要的所有的像素。因此,经常发生通过伴随运动补偿的解码处理得到的图像的画质的劣化。此外,在现有技术B中,产生取得的像素未使用在运动补偿中的情况,处理的效率不好。 
发明内容
本发明是为了解决上述问题而作出的,其目的是提供一种能够防止经常发生图像的画质的劣化、并且能够进行高效的解码处理的图像解码装置等。 
为了达到上述目的,依照本发明的某一方面的图像解码装置,将通过活动图像的编码得到的编码数据通过伴随运动补偿的解码处理进行解码。图像解码装置具备图像存储器,该图像存储器存储作为运动补偿的对象的参照图片;作为图像存储器的规格的访问限制为以下限制,即:在从图像存储器取得参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素;图像解码装置还具备:图像取得部,为了从图像存储器取得作为取得对象的图像,而按照访问限制来访问图像存储器,由此从图像存储器取得表示参照图片的一部分区域的图像的参照目标块,该参照图片的一部分区域的图像包括比构成作为取得对象的图像的像素的数量多的数量的像素;判断部,判断是否需要追加像素,该追加像素是构成参照目标块所表示的图像的多个像素以外的像素,并且是在运动补偿中需要的像素;插补部,在由判断部判断为需要追加像素的情况下,进行用于生成一个以上的追加像素的插补处理,根据生成的一个以上的追加像素和参照目标块,生成在运动补偿中使用的参照图像,并输出该参照图像,在由判断部判断为不需要追加像素的情况下,将参照目标块所表示的图像作为参照图像输出;以及运动补偿部,使用输出的参照图像进行运动补偿。 
即,判断是否需要追加像素,该追加像素是构成参照目标块所表示的图像的多个像素以外的像素,并且是在运动补偿中需要的像素。在判断为需要追加像素的情况下,进行用于生成一个以上的追加像素的插补处理,根据生成的上述一个以上的追加像素和参照目标块所表示的图像的至少一部分,生成在运动补偿中使用的参照图像,并输出该参照图像。在判断为不需要追加像素的情况下,将参照目标块所表示的图像的至少一部分作为参照图像输出。使用输出的参照图像进行运动补偿。 
即,在判断为不需要追加像素的情况下,将参照目标块所表示的图像的至少一部分使用为参照图像并进行运动补偿。在该情况下,在运动补偿中需要的像素全部存在,因此能够防止通过解码得到的图像的画质的劣化。 
此外,在判断为不需要追加像素的情况下,不生成追加像素而进行运动补偿,在判断为需要追加像素的情况下,生成追加像素,并使用生成的追加像素进行运动补偿。即,仅在需要追加像素的情况下生成追加像素,因此在不需要追加像素的情况下,不进行生成追加像素的处理,因此能够 进行高效的解码处理。 
因此,能够防止经常发生图像的画质的劣化,并且能够进行高效的解码处理。 
此外,也可以是,图像取得部按照作为图像存储器的规格的访问限制来访问图像存储器,由此取得参照目标块。 
此外,也可以是,访问限制是在从图像存储器取得作为取得对象的图像的情况下、用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素的限制,图像取得部为了从图像存储器取得作为取得对象的图像,按照访问限制来访问图像存储器,由此取得参照目标块,该参照目标块表示由构成作为取得对象的图像的像素的数量以上的数量的像素构成的图像。 
由此,在参照目标块表示比构成作为取得对象的图像的像素的数量多的数量的像素的情况下,判断为不需要追加像素的概率变高。结果,进行用于生成追加像素的插补处理的概率变低。因此,能够进行更高效的解码处理。 
此外,也可以是,插补部利用构成参照目标块所表示的图像的多个像素的一部分,进行生成一个以上的追加像素的插补处理。 
此外,也可以以小数像素精度进行运动补偿。 
此外,也可以是,编码数据是按照MPEG2标准编码的数据。 
此外,也可以是,插补部在参照目标块所表示的图像的至少一部分图像中,进行将在水平方向的端部的一列上排列的多个像素作为在参照目标块所表示的图像的横侧一列上排列的多个追加像素的插补处理。 
此外,也可以是,对于图像的水平方向,以小数像素精度进行运动补偿。 
此外,也可以是,插补部在参照目标块所表示的图像的至少一部分图像中,进行将在垂直方向的端部的一行上排列的多个像素作为在参照目标块所表示的图像的纵侧一行上排列的多个追加像素的插补处理。 
此外,也可以是,对于图像的垂直方向,以小数像素精度进行运动补偿。 
此外,也可以是,编码数据是按照H.264标准编码的数据。 
此外,也可以是,插补部在参照目标块所表示的图像的至少一部分图像中,进行将在水平方向的端部的一列上排列的多个像素作为在参照目标块所表示的图像的横侧一列或横侧两列上排列的多个追加像素的插补处理。 
此外,也可以是,对于图像的水平方向,以小数像素精度进行运动补偿。 
此外,也可以是,插补部在参照目标块所表示图像的至少一部分图像中,进行将在垂直方向的端部的一行上排列的多个像素作为在参照目标块所表示的图像的纵侧一行或纵侧两行上排列的多个追加像素的插补处理。 
此外,也可以是,对于图像的垂直方向,以小数像素精度进行运动补偿。 
依照本发明的其他方面的图像解码方法由如下图像解码装置进行,该图像解码装置将通过活动图像的编码得到的编码数据通过伴随运动补偿的解码处理进行解码,具有存储作为运动补偿的对象的参照图片的图像存储器。作为图像存储器的规格的访问限制为以下限制,即:在从图像存储器取得参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素。图像解码方法包括:图像取得步骤,为了从图像存储器取得作为取得对象的图像,而按照访问限制来访问图像存储器,由此从图像存储器取得表示参照图片的一部分区域的图像的参照目标块,该参照图片的一部分区域的图像包括比构成作为取得对象的图像的像素的数量多的数量的像素;判断步骤,判断是否需要追加像素,该追加像素是构成参照目标块所表示的图像的多个像素以外的像素,并且是在运动补偿中需要的像素;插补步骤,在通过判断步骤判断为需要追加像素的情况下,进行用于生成一个以上的追加像素的插补处理,根据生成的一个以上的追加像素和参照目标块所表示的图像的至少一部分,生成在运动补偿中使用的参照图像,并输出该参照图像,在通过判断步骤判断为不需要追加像素的情况下,将参照目标块所表示的图像的至少一部分作为参照图像来输出;以及运动补偿步骤,使用输出的参照图像进行运动补偿。 
依照本发明的又一个方面的集成电路,将通过活动图像的编码得到的编码数据通过伴随运动补偿的解码处理进行解码。集成电路具备图像存储器,该图像存储器存储作为运动补偿的对象的参照图片;作为图像存储器的规格的访问限制为以下限制,即:在从图像存储器取得参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素;集成电路还具备:图像取得部,为了从图像存储器取得作为取得对象的图像,而按照访问限制来访问图像存储器,由此从图像存储器取得表示参照图片的一部分区域的图像的参照目标块,该参照图片的一部分区域的图像包括比构成作为取得对象的图像的像素的数量多的数量的像素;判断部,判断是否需要追加像素,该追加像素是构成参照目标块所表示的图像的多个像素以外的像素,并且是在运动补偿中需要的像素;插补部,在由判断部判断为需要追加像素的情况下,进行用于生成一个以上的追加像素的插补处理,根据生成的一个以 上的追加像素和参照目标块所表示的图像的至少一部分,生成在运动补偿中使用的参照图像,并输出该参照图像,在由判断部判断为不需要追加像素的情况下,将参照目标块所表示的图像的至少一部分作为参照图像输出;以及运动补偿部,使用输出的参照图像进行运动补偿。 
依照本发明的又一个方面的接收装置使用广播波接收比特流。接收装置包括:数据取得部,从比特流取得活动图像数据;图像解码部,将取得的活动图像数据通过伴随运动补偿的解码处理进行解码,由此取得活动图像;以及输出控制部,输出活动图像。图像解码部包括图像存储器,该图像存储器存储作为运动补偿的对象的参照图片;作为图像存储器的规格的访问限制为以下限制,即:在从图像存储器取得参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素;图像解码部还具备:图像取得部,为了从图像存储器取得作为取得对象的图像,而按照访问限制来访问图像存储器,由此从图像存储器取得表示参照图片的一部分区域的图像的参照目标块,该参照图片的一部分区域的图像包括比构成作为取得对象的图像的像素的数量多的数量的像素;判断部,判断是否需要追加像素,该追加像素是构成参照目标块所表示的图像的多个像素以外的像素,并且是在运动补偿中需要的像素;插补部,在由判断部判断为需要追加像素的情况下,进行用于生成一个以上的追加像素的插补处理,根据生成的一个以上的追加像素和参照目标块所表示的图像的至少一部分,生成在运动补偿中使用的参照图像,并输出该参照图像,在由判断部判断为不需要追加像素的情况下,将参照目标块所表示的图像的至少一部分作为参照图像输出;以及运动补偿部,使用输出的参照图像进行运动补偿。 
另外,本发明也能够将用图像解码方法进行的处理作为使计算机执行的程序来实现。此外,本发明也能够作为保存该程序的计算机可读取的记录介质来实现。 
发明效果 
根据本发明,能够防止经常发生图像的画质的劣化,并且能够进行高效的解码处理。 
附图说明
图1是表示在MPEG2标准中的参照目标块内,通过插补处理生成的1/2坐标像素(小数像素)的图。 
图2是表示在H.264标准中的参照目标块内,通过插补处理生成的小数像素的图。 
图3是本发明的第1实施方式的图像解码装置1000的结构图。 
图4是用于说明对作为多体图像存储器的图像存储器,对矩形区域的像素进行访问的情况的处理的图。 
图5是表示图像取得部的内部结构的框图。 
图6是访问控制处理的流程图。 
图7是表示作为一例的表的图。 
图8是用于说明作为一例的访问对象参照目标块及最小访问参照目标块的图。 
图9是表示按照图像存储器的规格A所表示的访问限制,从任意的坐标在水平方向上取得16个像素的情况的图像存储器的访问模式的图。 
图10是表示按照图像存储器的规格A所表示的访问限制,从任意的坐标在垂直方向上取得16个像素的情况的图像存储器的访问模式的图。 
图11是表示按照图像存储器的规格A所表示的访问限制,从任意的坐标在垂直方向上取得8个像素的情况的图像存储器的访问模式的图。 
图12是用于说明运动补偿参照目标块的图。 
图13是表示作为一例的参照图像生成信息的图。 
图14是参照图像生成处理的流程图。 
图15是本发明的第2实施方式的图像解码装置1000A的结构图。 
图16是表示图像取得部的内部结构的框图。 
图17是访问控制处理A的流程图。 
图18是表示作为一例的表的图。 
图19是表示图像存储器的规格B的图。 
图20是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的4个像素的情况的图像存储器的访问模式的图。 
图21是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的8个像素的情况的图像存储器的访问模式的图。 
图22是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的16个像素的情况的图像存储器的访问模式的图。 
图23是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的5个像素的情况的图像存储器的访问模式的图。 
图24是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的9个像素的情况的图像存储器的访问模式的图。 
图25是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的17个像素的情况的图像存储器的访问模式的图。 
图26是表示作为一例的参照图像生成信息A的图。 
图27是参照图像生成处理A的流程图。 
图28是表示数字广播的接收装置的结构的图。 
符号说明 
101、201参照目标块 
102、202整数像素 
103、203 1/2坐标像素 
104 MP2块外像素 
204 1/4坐标像素 
205 H264块外像素 
301、1201可变长度解码部 
302、1202逆量化部 
303、1203逆正交变换部 
304、1204加法器 
305、1205运动矢量计算部 
306、1206运动补偿部 
307、1207图像取得部 
308、1208图像存储器 
401图像存储区域 
402访问对象块 
403最小访问块 
501、1301图像确定信息生成部 
502、1302图像存储器访问控制部 
503、1303未取得像素插补部 
1000、1000A图像解码装置 
1209帧内预测部 
1210选择部 
1211去块滤波部 
2401接收装置 
2402系统LSI 
2403调谐器模块 
2404 ROM 
2405 RAM 
2406 CPU 
2407音频解码器 
2408输出控制部 
2409流解码器 
2410系统总线 
具体实施方式
以下,参照附图说明本发明的实施方式。 
<第1实施方式> 
图3是本发明的第1实施方式的图像解码装置1000的结构图。图像解码装置1000是对应于MPEG2标准的装置。以下,说明图像解码装置1000的动作。 
图3所示的图像解码装置1000具备可变长度解码部301、逆量化部302、逆正交变换部303、加法器304、运动矢量计算部305、运动补偿部306、图像取得部307以及图像存储器308。另外,图像解码装置1000所具备的、图像取得部307以外的各部进行的处理是遵循MPEG2标准的处理,因此不进行详细的说明。 
可变长度解码部301从外部取得比特流。假设该比特流为通过基于 MPEG2标准的活动图像的编码得到的编码数据。并且,可变长度解码部301对比特流中包含的可变长度代码进行解码。 
通过该解码能够得到被量化的频率成分值(以下,称作已量化频率成分信息)以及运动信息。该运动信息表示运动补偿类型、确定参照图片的号码(以下,称作参照图片号码)以及运动矢量的差分值等。运动补偿类型表示运动补偿块的尺寸。另外,运动补偿类型也表示运动补偿块的尺寸以外的信息,但在本发明中设为运动补偿类型表示运动补偿块的尺寸来进行说明。 
以下,在运动补偿块的尺寸为s(自然数)×t(自然数)的情况下,将运动补偿类型表示为“Ts×t”。例如,在运动补偿块的尺寸为16×16的情况下,将运动补偿类型表示为“T16×16”。 
另外,通过解码也能够得到用于控制图像解码装置1000的参数,但在本发明中不使用该参数,因此省略说明。 
并且,可变长度解码部301将已量化频率成分信息发送给逆量化部302。此外,可变长度解码部301将运动信息发送给运动矢量计算部305。 
逆量化部302通过将接收到的已量化频率成分信息进行逆量化而得到频率成分。逆正交变换部303通过将得到的频率成分进行逆正交变换而得到的像素值的差分。并且,逆正交变换部303将像素值的差分发送给加法器304。另外,在本实施方式中,逆量化及逆正交变换都以规定的宏块(16×16的块)为单位一次处理。 
运动矢量计算部305根据接收到的运动信息求出运动补偿类型、参照图片号码以及运动矢量。并且,运动矢量计算部305将表示运动补偿类型、参照图片号码以及运动矢量的运动信息发送给运动补偿部306及图像取得部307。 
在图像存储器308中存储有作为运动补偿的对象的多个参照图片。图像存储器308是能够根据预先决定的规格、读取参照图片的一部分的区域的图像的存储器。 
图像取得部307根据接收到的运动信息所表示的运动补偿类型、参照图片号码以及运动矢量,从图像存储器308取得通过参照图片号码确定的参照图片的一部分区域的图像。并且,图像取得部307将取得的图像或根 据取得的图像生成的图像发送给运动补偿部306。 
运动补偿部306使用接收到的运动信息所表示的运动补偿类型、参照图片号码和运动矢量、以及从图像取得部307接收到的图像进行运动补偿。通过该运动补偿能够得到预测图像。以下,将通过运动补偿得到的预测图像称作运动补偿预测图像。并且,运动补偿部306将运动补偿预测图像发送给加法器304。 
加法器304通过将从逆正交变换部303接收到的像素值的差分和从运动补偿部306接收到的运动补偿预测图像相加而得到图片(以下,称作再生图片)。并且,加法器304将再生图片输出至外部,并且将再生图片作为参照图片存储至图像存储器308。 
一般,图像存储器由多个小容量的存储器(以下,记为存储器体)构成。对图像存储器的访问多数情况下以多个像素为单位进行。因此,通过图像存储器由多个存储器体构成,能够提高对收容在各存储器体内的范围内的多个像素的访问性能。以下,将由多个存储器体构成的图像存储器称作多体图像存储器。 
多体图像存储器在被访问存储在该多体图像存储器中的图片内的矩形区域的像素的情况下,多数情况下通过对矩形的宽度、高度、左上端坐标赋予限制来实现性能提高。具体而言,多体图像存储器将开始传送的坐标及传送的像素数限制在某值的整数倍。 
图4是用于说明对于作为多体图像存储器的图像存储器、对矩形区域的像素进行访问的情况的处理的图。此外,图4还表示作为多体图像存储器的图像存储器的规格A。 
图4表示图像存储区域401。图像存储区域401是图像存储器内的一部分存储区域。作为一例,图像存储区域401是16×16的存储区域。图像存储区域401按照图4所示的“图像存储器的规格A”被进行访问。 
在图4中,在图像存储区域401的上部的一行上排列的多个数字表示水平坐标值。在图4中,在图像存储区域401的左侧的一列上排列的多个数字表示垂直坐标值。 
在图4中示出了访问对象块402以及最小访问块403。访问对象块402是图像存储区域401中与作为访问的对象的存储区域对应的块。作为一例, 访问对象块402的尺寸为6×6。另外,访问对象块402的坐标为坐标(3,5)。 
最小访问块403是在按照作为访问对象的图像存储器的规格A对访问对象块402内的所有像素进行访问的情况下、与包含需要访问的所有像素的最小区域对应的块。作为一例,最小访问块403的尺寸为12×8。另外,最小访问块403的坐标为坐标(0,4)。 
在图4中示出的图像存储器的规格A表示对于水平方向的访问、将取得开始坐标及取得尺寸限制为4的倍数(0、4、8、…)的访问限制。由于该访问限制,例如,为了访问与访问对象块402内的任意的一行对应的所有的坐标,需要在该任意的一行中,从水平坐标值为“0”的坐标开始向右方向访问至水平坐标值为“11”的坐标。即,为了访问与访问对象块402内的任意的一行对应的6个像素量,需要在水平方向上访问12个像素量。 
此外,图像存储器的规格A表示对于垂直方向的访问、也将取得开始坐标限制在4的倍数(0、4、8、…)、将取得尺寸限制在8的倍数(0、8、16、…)的访问限制。由于该访问限制,例如,为了访问与访问对象块402内的任意的一列对应的所有坐标,需要在该任意的一列中,从垂直坐标值为“4”的坐标开始向下方向访问至垂直坐标值为“11”的坐标。即,为了访问与访问对象块402内的任意的一列对应的6个像素量,需要在垂直方向上访问8个像素量。 
如以上所述,在该例子中为了按照图像存储器的规格A所表示的访问限制对6×6的访问对象块402内的所有的像素进行访问,产生访问12×8的最小访问块403内的所有的像素的需要。一般,例如,在有如上述规格A所表示的访问限制的图像存储器中,在对访问对象块402内的所有像素进行访问时,多数情况下产生访问比该访问对象块402大的块(最小访问块403)内的所有像素的需要。 
如在背景技术中所述,在MPEG2标准中能够以1/2像素精度进行运动补偿。因此,在MPEG2标准中,在以1/2像素精度进行运动补偿的情况下,需要生成1/2坐标像素。以下,将以1/2像素精度进行的运动补偿称作1/2精度运动补偿。 
如上所述,1/2坐标像素的值通过将与该1/2坐标像素相邻的至少两个 整数像素的值进行平均来求出。即,1/2坐标像素能够使用与该1/2坐标像素相邻的至少两个整数像素来生成。 
在进行该1/2坐标像素的生成的情况下,从存储在图像存储器中的参照图片取得的参照目标块的尺寸成为在水平方向及垂直方向上都大一个像素的尺寸。结果,产生用于从图像存储器取得参照目标块的数据传送量变大的问题。因此,为了高速处理参照目标块,需要高性能且高价的存储器,导致进行图像编码或图像解码的装置的成本上升。 
如上所述,一般的图像存储器中在对某矩形区域内的像素进行访问的情况下,需要访问比该某矩形区域大的矩形区域内的像素。 
因此,在本实施方式中,在进行1/2精度运动补偿的情况下,并不有意地要取得在1/2坐标像素的生成中需要的上述的MP2追加像素,而按照图像存储器的规格所表示的访问限制来访问该图像存储器,结果无意中取得了MP2追加像素的情况下,进行用于使用被取得的MP2追加像素的处理(以下,称作处理NA)。MP2追加像素例如是在图1中在右端一列上排列的多个像素及下端一行上排列的多个像素。 
但是,在图像存储器中,根据作为访问对象的矩形区域(块)的位置和大小的不同,有时不能取得在1/2精度运动补偿中需要的MP2追加像素。因此,在本实施方式中,求出实际对图像存储器进行访问的矩形区域(块)的大小,在不能取得1/2精度运动补偿中需要的MP2追加像素的情况下,仅使用取得的像素来生成1/2坐标像素。 
在本实施方式中,在取得的图像中,将右端一列上排列的多个像素及下端一行上排列的多个像素原样复制并作为MP2追加像素。由此,不取得在1/2坐标像素的生成中需要的MP2追加像素而能够进行1/2精度运动补偿。 
另外,仅用取得的像素来生成1/2坐标像素的方法不限定于上述方法,也可以使用其他的各种方法。 
下面,说明第1实施方式的上述处理NA的实现手段。在第1实施方式中,图像取得部307进行上述处理NA,因此对图像取得部307进行的处理进行详细的说明。 
在第1实施方式中,图3所示的图像取得部307以外的各部(可变长 度解码部301、逆量化部302、逆正交变换部303、加法器304、运动矢量计算部305、运动补偿部306)按照MPEG2标准的规定进行动作。因此,不进行对图3所示的图像取得部307以外的各部的详细说明。 
此外,图像存储器308如上所述,存储多个参照图片。此外,假设图像存储器308进行上述的图像存储器的规格A所表示的访问限制。另外,不管图像的处理方式为隔行方式及逐行方式的哪一个,图像存储器308都能够以相同的规格进行访问,访问对象的奇偶由参照图片号码指定。 
图像取得部307如上所述,根据运动矢量计算部305发送的运动补偿类型、参照图片号码及运动矢量,从图像存储器308取得在运动补偿中使用的由参照图片号码确定的参照图片的一部分区域的图像。 
图像取得部307将取得的图像或根据取得的图像生成的图像作为在运动补偿中使用的参照图像发送给运动补偿部306。 
图5是表示图像取得部307的内部结构的框图。如图5所示,图像取得部307包括图像确定信息生成部501、图像存储器访问控制部502以及未取得像素插补部503。 
图像确定信息生成部501的动作遵循MPEG2标准,因此不进行图像确定信息生成部501的动作的详细说明。以下,简单说明图像确定信息生成部501的动作。 
图像确定信息生成部501根据接收到的运动信息所表示的运动补偿类型、参照图片号码及运动矢量,生成用于确定在运动补偿部306进行的运动补偿中需要的参照图像的信息(以下,称作参照图像确定信息)。参照图像确定信息表示运动补偿类型、参照图片号码、存储器中的参照图像的左上端坐标及参照图像的尺寸。 
图像确定信息生成部501以运动补偿部306按照MPEG2标准进行运动补偿为前提,生成参照图像确定信息。因此,所生成的参照图像确定信息是用于确定包括1/2坐标像素的生成中需要的上述的MP2追加像素的参照图像的信息。 
并且,图像确定信息生成部501将生成的参照图像确定信息发送给图像存储器访问控制部502。 
图像存储器访问控制部502的详细内容将在后面叙述,但其根据图像 确定信息生成部501发送的参照图像确定信息,生成基于图像存储器308的规格A所表示的访问限制的参照目标块的读出指令,并将生成的读出指令发送给图像存储器308。另外,在本实施方式中,将读出指令生成为并不有意要取得上述的MP2追加像素。 
此外,图像存储器访问控制部502的详细内容将在后面叙述,但其根据由生成的读出指令确定的参照目标块的大小,判断是否能够从图像存储器308取得上述的MP2追加像素。并且,图像存储器访问控制部502根据是否能够取得MP2追加像素的判断,生成MP2追加像素插补信息,并将生成的MP2追加像素插补信息发送给未取得像素插补部503。MP2追加像素插补信息是表示是否需要MP2追加像素的插补的信息。 
图像存储器访问控制部502的动作不遵循MPEG2标准。因此,以下说明图像存储器访问控制部502的动作的详细情况。以下,将图像存储器访问控制部502进行的处理称作访问控制处理。 
另外,为了使说明简单,作为一例,假设图像存储器308具有多个存储一张参照图片的区域(以下,称作参照图片存储区域)。各参照图片存储区域设为与参照图片的尺寸(例如,1920×1080)相同。即,各参照图片存储区域的坐标(0,0)与对应的参照图片的左上端坐标对应。 
图6是访问控制处理的流程图。 
在步骤S600中,图像存储器访问控制部502从图像确定信息生成部501取得上述的参照图像确定信息。 
在步骤S601中,进行访问对象块确定处理。在访问对象块确定处理中,图像存储器访问控制部502根据取得的参照图像确定信息所表示的运动补偿类型,确定作为访问对象的参照目标块(以下,称作访问对象参照目标块)的尺寸。 
以下,将存储在存储器中的参照图片的一部分块、并且是作为访问对象的参照目标块称作访问对象参照目标块。运动补偿类型与访问对象参照目标块的尺寸之间的对应关系表示在以下的表RT100中。 
图7是表示作为一例的表RT100的图。在表RT100中,运动补偿类型示出了“T16×16”、“T16×8”这两种。 
在表RT100中,“运动矢量精度”表示在水平方向或垂直方向上的运动 矢量的精度。“运动矢量精度”的项目中的“整数”表示对应的方向的运动矢量的值为整数。“运动矢量精度”的项目中的“小数”表示对应的方向的运动矢量的值为小数。 
在表RT100中,“需要参照图像尺寸”是指在MPEG2标准的运动补偿中需要的参照图像的尺寸。“需要参照图像尺寸”是参照图像确定信息所表示的参照图像的尺寸。“需要参照图像尺寸”由两种运动补偿类型中的某一个和四种运动矢量精度中的某一个的组合决定。 
在表RT100中,“访问对象参照目标块尺寸”是指访问对象参照目标块的尺寸。 
在本实施方式中,在运动矢量的值为小数的情况下,即,以少数像素精度进行运动补偿的情况下,由于设为不有意取得上述的MP2追加像素,因此仅通过运动补偿类型确定访问对象参照目标块尺寸。 
具体而言,在图6的步骤S601的访问对象块确定处理中,图像存储器访问控制部502将由取得的参照图像确定信息所表示的运动补偿类型确定的运动补偿块的尺寸作为访问对象参照目标块尺寸。例如,在运动补偿类型为“T16×16”的情况下,运动补偿块的尺寸为16×16。在该情况下,访问对象参照目标块尺寸被确定为16×16。 
此外,图像存储器访问控制部502将取得的参照图像确定信息所表示的参照图像的左上端坐标作为访问对象参照目标块的左上端坐标。 
以下,在按照图像存储器的规格所表示的访问限制来访问存储在该图像存储器中的参照图片内的访问对象参照目标块的情况下,将访问所需要的所有的块称作最小访问参照目标块。 
这里,假设图像存储器访问控制部502预先存储图像存储器308的规格A的信息。另外,并不限定于此,图像存储器访问控制部502也可以从其他部分(例如,存储器、电路等)取得规格A的信息。 
在步骤S602中,进行最小访问参照目标块确定处理。详细情况将在后面叙述,在最小访问参照目标块确定处理中,图像存储器访问控制部502按照图像存储器308的规格A所表示的访问限制,在存储在图像存储器308中的参照图片内,确定对指定的访问对象参照目标块进行访问的情况下的最小访问参照目标块。 
在最小访问参照目标块确定处理中,存储在图像存储器308中的处理对象的参照图片是由参照图像确定信息所表示的参照图片号码确定的图片。 
访问对象参照目标块例如对应于图4的访问对象块402。此外,最小访问参照目标块例如对应于图4的最小访问块403。 
图8是用于说明作为一例的访问对象参照目标块及最小访问参照目标块的图。 
在图8中,参照图片P400是在图像存储器(例如,图像存储器308)的参照图片存储区域中存储的参照图片。在参照图片P400内配置访问对象参照目标块B420及最小访问参照目标块B410。 
访问对象参照目标块B420是表示参照图片P400的一部分的图像、并且是访问对象参照目标块B420内的图像的块。最小访问参照目标块B410是表示参照图片P400的一部分的图像、并且是最小访问参照目标块B410内的图像的块。 
在访问对象参照目标块B420的左上端坐标中,水平坐标值及垂直坐标值为4的倍数的情况下,最小访问参照目标块B410的尺寸及位置分别成为与访问对象参照目标块B420的尺寸及位置相同。例如,在访问对象参照目标块B420的左上端坐标为(16,16)的情况下,最小访问参照目标块B410的尺寸及位置分别成为与访问对象参照目标块B420的尺寸及位置相同。 
即,最小访问参照目标块B410的尺寸是访问对象参照目标块B420的尺寸以上的尺寸。即,最小访问参照目标块B410包括访问对象参照目标块B420。 
下面,说明图像存储器308的规格为图4的规格A的情况的对图像存储器的访问模式。 
如图7的表RT100所示,通过步骤S601的处理确定的访问对象参照目标块尺寸是16×16及16×8这两种。在该情况下,对图像存储器的水平方向的访问通常以16个像素宽度进行。 
图4的规格A表示在水平方向的访问中,取得开始坐标(块左端的坐标)限制为4的倍数,取得尺寸(最小访问参照目标块的尺寸)限制为4的倍数。 
在MPEG2标准中,由于访问对象参照目标块的左端坐标为任意值,因此,水平方向的取得开始坐标也为任意值。 
图9是表示按照上述的图像存储器的规格A所表示的访问限制,从任意的坐标在水平方向上取得16个像素的情况的图像存储器的访问模式的图。 
在图9中,“左端水平坐标的余数”是将访问对象参照目标块的左端的水平坐标除以4所得到的余数。上述的图像存储器的规格A在水平方向的存储器访问中,将水平方向的取得开始坐标限制在4的倍数。因此,如图9所示,根据左端水平坐标的余数(0、1、2、3的某一个),对图像存储器的访问模式发生变化。 
此外,在左端水平坐标的余数不是0的情况下,为了取得16个像素,通过16像素量的访问是不够的,由于取得尺寸限制在4的倍数,因此需要20个像素量的访问。 
在图9中,“水平方向追加像素”是相对于参照目标块在水平方向的MP2追加像素。在图9中,“水平方向追加像素的需要与否”表示是否需要水平方向追加像素的生成(插补生成)。在图9中,“想取得的像素数”是指访问对象参照目标块的水平方向的像素数。此外,在图9中,“图像存储器访问”是指实际访问的、最小访问参照目标块的水平方向的所有像素。 
如图7的表RT100所示,通过步骤S601的处理确定的访问对象参照目标块尺寸是16×16及16×8这两种。在该情况下,成为对图像存储器的垂直方向的访问对象的像素数有16及8两种。 
图4的规格A表示在垂直方向的访问中,取得开始坐标(块上端的坐标)被限制为4的倍数,取得尺寸(最小访问块的尺寸)限制为8的倍数。 
在MPEG2标准中,取得的访问对象参照目标块的上端坐标为任意值,因此垂直方向的取得开始坐标也成为任意值。 
图10是表示按照上述的图像存储器的规格A所表示的访问限制,从任意的坐标在垂直方向上取得16个像素的情况的图像存储器的访问模式的图。 
图11是表示按照上述的图像存储器的规格A所表示的访问限制,从任意的坐标在垂直方向上取得8个像素的情况的图像存储器的访问模式的图。 
在图10及图11中,“上端垂直坐标的余数”是指将取得的访问对象参照目标块的上端的垂直坐标除以4所得到的余数。在图10及图11中,“垂直方向追加像素”是指相对于参照目标块的垂直方向的MP2追加像素。 
在图10及图11中,“想取得的像素数”是指访问对象参照目标块的垂直方向的像素数。此外,在图10及图11中,“图像存储器访问”是指实际被访问的、最小访问参照目标块的垂直方向的所有像素。 
在图10及图11中,“垂直方向追加像素的需要与否”表示是否需要垂直方向追加像素的生成(插补生成)。 
图4的规格A与水平方向同样,在垂直方向的访问中也将垂直方向的取得开始坐标用4的倍数限制。因此,如图10、图11所示,根据上端垂直坐标的余数(0、1、2、3的某一个),访问模式发生变化。 
此外,在图10中,在上端垂直坐标的余数不是0的情况下,由于取得尺寸限制在8的倍数,因此为了取得16个像素,需要访问24个像素量。此外,在图11中,在上端垂直坐标的余数不是0的情况下,由于取得尺寸限制在8的倍数,因此为了取得8个像素,需要访问16个像素量。 
再次参照图6,在步骤S602的最小访问参照目标块确定处理中,图像存储器访问控制部502按照图像存储器308的规格A所表示的访问限制,确定最小访问参照目标块。 
具体而言,图像存储器访问控制部502按照访问对象参照目标块的尺寸及左上端坐标、图像存储器308的规格A、以及如图9、图10、图11所示的多个访问模式,计算最小访问参照目标块的左上端的坐标和最小访问参照目标块的尺寸。 
并且,图像存储器访问控制部502生成最小访问参照目标块信息,该最小访问参照目标块信息表示计算出的最小访问参照目标块的左上端的坐标和最小访问参照目标块的尺寸。 
这里,例如假设访问对象参照目标块的尺寸为16×16,访问对象参照目标块的左上端坐标为(16,17)。在该情况下,在坐标(16,17)中,水平坐标值“16”为4的倍数,因此根据图4的规格A,最小访问参照目标块的水平坐标值被计算为16。 
此外,由于访问对象参照目标块的水平方向的尺寸为“16”,因此根据 图9所示的访问模式,计算最小访问参照目标块的水平方向的尺寸。具体而言,水平坐标值“16”在图9中对应于左端水平坐标的余数“0”,因此最小访问参照目标块的水平方向的尺寸被计算为16个像素。 
此外,在坐标(16,17)中,垂直坐标值“17”不是4的倍数,因此根据图4的规格A,最小访问参照目标块的水平坐标值被计算为比垂直坐标值“17”小且为4的倍数的16。 
此外,由于访问对象参照目标块的垂直方向的尺寸为“16”,因此根据图10所示的访问模式,计算最小访问参照目标块的水平方向的尺寸。具体而言,垂直坐标值“17”在图10中对应于上端垂直坐标的余数“1”,因此最小访问参照目标块的垂直方向的尺寸计算为24个像素。 
即,通过最小访问参照目标块确定处理,计算最小访问参照目标块的左上端的坐标(16,16)。此外,作为最小访问参照目标块的尺寸,计算出16×24。在该情况下,通过最小访问参照目标块确定处理,生成表示最小访问参照目标块的左上端的坐标(16,16)和作为最小访问参照目标块的尺寸的16×24的最小访问参照目标块信息。 
即,规格A所表示的访问限制是如下的限制,即用于在从图像存储器取得作为取得对象的图像(访问对象参照目标块)的情况下,取得构成该作为取得对象的图像的像素的数量以上的数量的像素。 
在步骤S603中,进行读出指令发送处理。在读出指令发送处理中,图像存储器访问控制部502生成用于从图像存储器308取得最小访问参照目标块的读出指令。在最小访问参照目标块的尺寸与访问对象参照目标块的尺寸相同的情况下,按照读出指令读出的最小访问参照目标块不包含上述的MP2追加像素。 
另一方面,在最小访问参照目标块的尺寸比访问对象参照目标块的尺寸大的情况下(例如,图8的状态的情况),按照读出指令读出的最小访问参照目标块有时无意中包含MP2追加像素。即,生成的读出指令是并不有意取得上述的MP2追加像素的指令。 
并且,图像存储器访问控制部502将生成的读出指令发送给图像存储器308。 
图像存储器308对应于读出指令的接收,将基于该读出指令的最小访 问参照目标块作为读出图像发送给未取得像素插补部503。 
在本实施方式的图像存储器的访问控制方法中,在进行1/2精度运动补偿的情况下,进行不有意取得在1/2坐标像素的生成中需要的上述的MP2追加像素的处理。此外,根据访问对象参照目标块的左上端坐标,最小访问参照目标块的尺寸有时与该访问对象参照目标块的尺寸相同。在该情况下,按照读出指令读出的最小访问参照目标块不包含上述的MP2追加像素。 
在水平方向的运动矢量的值为小数、并且在图9的“水平方向追加像素的需要与否”的栏中记载了“需要”的情况下(在上述的左端水平坐标的余数为0的情况下),不能取得水平方向的MP2追加像素。在该情况下,需要生成(插补生成)在访问对象参照目标块外的右侧一列上排列的多个MP2追加像素。 
与水平方向的MP2追加像素同样,在垂直方向的运动矢量的值为小数、并且在图10或图11的“垂直方向追加像素的需要与否”的栏中记载了“需要”的情况下(上述的上端垂直坐标的余数为0的情况),不能取得垂直方向的MP2追加像素。 
在该情况下,需要生成(插补生成)在访问对象参照目标块外的下侧一行上排列的多个MP2追加像素。 
像这样,在本实施方式中,表示是否需要MP2追加像素的插补的、上述的MP2追加像素插补信息表示:表示水平方向追加像素的需要与否的信息和表示垂直方向追加像素的需要与否的信息。MP2追加像素插补信息例如表示以下的信息A,B,C,D中的任一个。 
信息A(水平方向追加像素:不需要,垂直方向追加像素:不需要) 
信息B(水平方向追加像素:需要,垂直方向追加像素:不需要) 
信息C(水平方向追加像素:不需要,垂直方向追加像素:需要) 
信息D(水平方向追加像素:需要,垂直方向追加像素:需要) 
如在背景技术中所述,若通过插补处理生成追加像素,并利用生成的追加像素进行小数像素的生成,则在通过解码处理得到的图像上产生误差。在该情况下,通过解码处理得到的图像的画质劣化。 
另一方面,在本实施方式中,使用图像存储器的访问模式判断是否生成追加像素。因此,根据图像存储器的访问模式的不同,有可能无意中得 到需要的追加像素,不生成追加像素而能够进行解码。 
因此,与不取得追加像素而进行解码的以往的方法相比,在本实施方式中,在无意中得到需要的追加像素的情况下,通过解码得到的图像的画质的劣化减少。 
在步骤S604中进行插补判断处理。在插补判断处理中,图像存储器访问控制部502按照取得的参照图像确定信息所表示的运动矢量、访问对象参照目标块的尺寸及左上端坐标、图像存储器308的规格A以及图9、图10、图11所示的多个访问模式,判断水平方向追加像素及垂直方向追加像素的需要与否。该判断的详细说明与上述的说明相同。 
并且,图像存储器访问控制部502根据水平方向追加像素及垂直方向追加像素的需要与否,生成上述的MP2追加像素插补信息。 
即,在参照图像确定信息所表示的运动矢量的水平方向的值为小数、并且在与访问对象参照目标块的水平方向的尺寸对应的图(例如,图9)中与指定的访问模式对应的“水平方向追加像素的需要与否”的栏中记载了“需要”的情况下,判断为需要水平方向追加像素。 
此外,在参照图像确定信息所表示的运动矢量的垂直方向的值为小数、并且在与访问对象参照目标块的垂直方向的尺寸对应的图(例如,图10)中与指定的访问模式对应的“垂直方向追加像素的需要与否”的栏中记载了“需要”的情况下,判断为需要垂直方向追加像素。 
这里,例如假设访问对象参照目标块的尺寸为16×16,访问对象参照目标块的左上端坐标为(16,17)。参照图像确定信息所表示的运动矢量的水平方向的值及垂直方向的值分别设为小数及小数。在该情况下,从图7的表RT100可知,需要参照图像尺寸为17×17。 
在该情况下,参照图像确定信息所表示的运动矢量的水平方向的值为小数,并且在坐标(16,17)中,水平坐标值“16”在图9中对应于上端水平坐标的余数“0”,在“水平方向追加像素的需要与否”的栏中记载有“需要”,因此判断为需要水平方向追加像素。 
此外,参照图像确定信息所表示的运动矢量的垂直方向的值为小数,并且在坐标(16,17)中,垂直坐标值“17”在图10中对应于上端垂直坐标的余数“1”,在“垂直方向追加像素的需要与否”的栏中记载有“不需 要”,因此判断为不需要垂直方向追加像素。在该情况下,通过插补判断处理,生成表示上述的信息B的MP2追加像素插补信息。 
在步骤S605中,进行用于生成参照图像生成信息的参照图像生成信息生成处理。参照图像生成信息是用于生成在运动补偿中使用的参照图像的信息。 
在参照图像生成信息生成处理中,图像存储器访问控制部502根据取得的参照图像确定信息所表示的参照图像的尺寸(需要参照图像尺寸)及参照图像的左上端坐标、生成的最小访问参照目标块信息以及生成的MP2追加像素插补信息,生成参照图像生成信息。 
以下,将运动补偿部306在运动补偿中使用的参照图像称作运动补偿参照图像。运动补偿参照图像的尺寸是取得的参照图像确定信息所表示的参照图像的尺寸(需要参照图像尺寸)(例如,17×17)。运动补偿参照图像的左上端坐标是参照图像确定信息所表示的参照图像的左上端坐标。 
此外,以下将最小访问参照目标块所表示的图像称作最小访问参照图像。此外,以下将运动补偿参照图像的尺寸的块称作运动补偿参照图像块。 
此外,以下,在最小访问参照图像中将运动补偿参照图像的左上端坐标的位置作为运动补偿参照图像块的左上端、将该运动补偿参照图像块配置在最小访问参照图像中的情况下,将仅表示在运动补偿参照图像块内示出的图像的块称作运动补偿参照目标块。 
图12是用于说明运动补偿参照目标块的图。 
在图12中示出了访问对象参照目标块B12。假设访问对象参照目标块B12的左上端坐标为(16,17),访问对象参照目标块B12的尺寸为16×16。 
在该情况下,根据访问对象参照目标块B12的左上端坐标及尺寸,通过上述的最小访问参照目标块确定处理,计算最小访问参照目标块B11。 
假设最小访问参照目标块B11的尺寸为16×24。此外,假设最小访问参照目标块B11的左上端坐标为(16,16)。此外,假设运动补偿参照图像块B13的尺寸为17×17。此外,假设运动补偿参照图像的左上端坐标为(16,17)。 
在该情况下,在最小访问参照目标块B11(最小访问参照图像)中,将运动补偿参照图像的左上端坐标(16,17)的位置作为运动补偿参照图 像块B13的左上端,运动补偿参照图像块B13配置在最小访问参照目标块B11上。 
在该情况下,在图12中,用斜线表示的块为运动补偿参照目标块B21。运动补偿参照目标块B21的尺寸为16×17。在该情况下,在运动补偿参照目标块B21的下端一行上排列的多个像素为无意中取得的MP2追加像素。 
即,运动补偿参照目标块B21所表示的图像是最小访问参照目标块B11所表示的图像的至少一部分图像。运动补偿参照目标块B21的左上端坐标为参照图像确定信息所表示的参照图像的左上端坐标。 
图13是表示作为一例的参照图像生成信息的图。 
在图13中,“最小访问参照目标块的坐标”是最小访问参照目标块的左上端坐标。在“运动补偿参照目标块的尺寸”中,在最小访问参照目标块的横尺寸(例如,16)比运动补偿参照图像的横尺寸(例如,17)小的情况下,运动补偿参照目标块的横尺寸设为最小访问参照目标块的横尺寸。 
此外,运动补偿参照目标块的横尺寸在最小访问参照目标块的横尺寸(例如,18)为运动补偿参照图像的横尺寸(例如,17)以上的情况下,设为运动补偿参照图像的横尺寸。在该情况下,运动补偿参照目标块所表示的图像的水平方向上包含无意中取得的MP2追加像素。 
此外,运动补偿参照目标块的纵尺寸在最小访问参照目标块的纵尺寸(例如,16)比运动补偿参照图像的纵尺寸(例如,17)小的情况下,设为最小访问参照目标块的纵尺寸。 
此外,运动补偿参照目标块的纵尺寸在最小访问参照目标块的纵尺寸(例如,24)为运动补偿参照图像的纵尺寸(例如,17)以上的情况下,设为运动补偿参照图像的纵尺寸。在该情况下,运动补偿参照目标块所表示的图像的垂直方向上包含无意中取得的MP2追加像素。 
例如,在最小访问参照目标块的尺寸为16×24、运动补偿参照图像的尺寸为17×17的情况下,运动补偿参照目标块的尺寸为16×17。 
“运动补偿参照目标块的相对坐标”是用于确定运动补偿参照目标块相对于“最小访问参照目标块的坐标”的位置的相对坐标。 
运动补偿参照目标块的相对坐标通过从运动补偿参照目标块的左上端坐标的水平坐标值及垂直坐标值中分别减去最小访问参照目标块的坐标的 水平坐标值及垂直坐标值来计算。 
例如,假设最小访问参照目标块的坐标为(16,16)、运动补偿参照目标块的左上端坐标为(16,17)。在该情况下,运动补偿参照目标块的相对坐标成为(0,1)。 
另外,在运动补偿参照目标块的左上端坐标和最小访问参照目标块的左上端坐标相同的情况下,相对坐标成为(0,0)。 
再次参照图6,在步骤S605的参照图像生成信息生成处理中,图像存储器访问控制部502将生成的参照图像生成信息发送给未取得像素插补部503。 
未取得像素插补部503接收从图像存储器308读出的作为读出图像的最小访问参照目标块、以及图像存储器访问控制部502发送的参照图像生成信息。 
未取得像素插补部503的详细内容将在后面叙述,其将运动补偿部306进行运动补偿时使用的运动补偿参照图像发送给运动补偿部306。 
运动补偿部306为了按照MPEG2标准进行运动补偿,需要图7所示的需要参照图像尺寸的参照图像。 
但是,如上所述,从图像存储器308读出的作为读出图像的最小访问参照目标块有时不包含上述的MP2追加像素的全部。例如,在最小访问参照目标块的纵尺寸比运动补偿参照图像的纵尺寸小的情况下,或者最小访问参照目标块的横尺寸比运动补偿参照图像的横尺寸小的情况下,最小访问参照目标块不包含所有的MP2追加像素。 
因此,未取得像素插补部503在不存在MP2追加像素的情况下,通过插补处理生成MP2追加像素。 
以下,将用于未取得像素插补部503生成参照图像的处理称作参照图像生成处理。 
图14是参照图像生成处理的流程图。 
在步骤S1100中,未取得像素插补部503接收从图像存储器308读出的作为读出图像的最小访问参照目标块、以及图像存储器访问控制部502发送的参照图像生成信息。 
在步骤S1101中,根据接收到的参照图像生成信息所表示的运动补偿 参照目标块的尺寸及运动补偿参照目标块的相对坐标,未取得像素插补部503从接收到的最小访问参照目标块中取得运动补偿参照目标块。以下,将通过步骤S1101的处理取得的运动补偿参照目标块所表示的图像称作MP2处理对象图像。 
在步骤S1102中,判断是否需要水平方向追加像素。具体而言,未取得像素插补部503判断接收到的参照图像生成信息在“水平方向追加像素的需要与否”的栏中是否示出“需要”。如果在步骤S1102中为“是”,则处理转移至步骤S1103。另一方面,如果在步骤S1102中为“否”,则处理转移至步骤S1104。 
在步骤S1103中,进行水平方向追加像素生成处理。在水平方向追加像素生成处理中,未取得像素插补部503将在MP2处理对象图像的右端一列上排列的多个像素作为在MP2处理对象图像外的右侧一列上排列的多个MP2追加像素。即,将对MP2处理对象图像的右端一列上排列的多个像素进行了复制而得到的多个像素作为多个MP2追加像素。 
这里,在MP2处理对象图像的右端一列上排列的多个像素例如对应于图1的参照目标块101内的水平坐标值为“15”的多个整数像素102。此外,在MP2处理对象图像外的右侧一列上排列的多个MP2追加像素例如对应于图1中水平坐标值为“16”、并且垂直坐标值为“0”~“15”中某一个的多个MP2块外像素104。 
并且,未取得像素插补部503将通过该处理生成的图像作为最新的MP2处理对象图像。 
在步骤S1104中,判断是否需要垂直方向追加像素。具体而言,未取得像素插补部503判断接收到的参照图像生成信息在“垂直方向追加像素的需要与否”的栏中是否示出“需要”。如果在步骤S1104中为“是”,则处理转移至步骤S1105。另一方面,如果在步骤S1104中为“否”,则处理转移至步骤S1106。 
在步骤S1105中,进行垂直方向追加像素生成处理。在垂直方向追加像素生成处理中,未取得像素插补部503将最新的MP2处理对象图像的下端一行上排列的多个像素作为该最新的MP2处理对象图像外的下侧一行上排列的多个MP2追加像素。即,将对最新的MP2处理对象图像的下端一 行上排列的多个像素进行复制而得到的多个像素作为多个MP2追加像素。 
另外,在没有进行步骤S1103的处理的情况下,最新的MP2处理对象图像成为运动补偿参照目标块所表示的图像。此外,在进行了步骤S1103的处理的情况下,最新的MP2处理对象图像成为通过步骤S1103的处理生成的MP2处理对象图像。 
这里,在最新的MP2处理对象图像的下端一行上排列的多个像素例如对应于图1的参照目标块101内的垂直坐标值为“15”的多个整数像素102。此外,在进行了步骤S1103的处理的情况下,在MP2处理对象图像外的下侧一行上排列的多个MP2追加像素例如对应于图1中水平坐标值为“0”~“16”中的某一个、且垂直坐标值为“16”的多个MP2块外像素104。 
并且,未取得像素插补部503将通过该处理得到的图像作为最新的MP2处理对象图像。 
在步骤S1106中,进行参照图像发送处理。在参照图像发送处理中,未取得像素插补部503将最新的MP2处理对象图像作为参照图像(运动补偿参照图像)发送给运动补偿部306。另外,在没有进行步骤S1103的处理及步骤S1105的处理的情况下,向运动补偿部306发送的参照图像是取得的运动补偿参照目标块所表示的图像。 
在运动补偿部306中,使用接收到的参照图像(运动补偿参照图像)进行运动补偿。另外,运动补偿部306所进行的运动补偿是基于MPEG2标准的处理,因此不进行详细的说明。 
如以上说明,在本实施方式中,在进行1/2精度运动补偿的情况下,并不有意要取得在1/2坐标像素的生成中需要的上述的MP2追加像素,而从按照图像存储器的规格A所表示的访问限制,访问该图像存储器而得到的最小访问参照目标块取得的运动补偿参照目标块有时无意中包含MP2追加像素。在该情况下,使用包含MP2追加像素的运动补偿参照目标块,生成在运动补偿中使用的参照图像(运动补偿参照图像)。 
另外,在图14的步骤S1102及步骤S1104中判断为“否”的情况下,运动补偿参照目标块所表示的图像具有在进行1/2精度运动补偿时需要的所有的MP2追加像素。 
在该情况下,通过步骤S1103及步骤S1105的处理而通过复制生成的 MP2追加像素在1/2精度运动补偿中不被使用。该通过复制生成的MP2追加像素与在1/2精度运动补偿中本来需要的MP2追加像素不同,因此如果使用该通过复制生成的MP2追加像素来进行1/2精度运动补偿,则通过解码得到的画质劣化。 
因此,在运动补偿参照目标块所表示的图像具有在进行1/2精度运动补偿时需要的所有的MP2追加像素的情况下,能够防止通过解码得到的图像的画质的劣化。 
此外,在本实施方式中,在判断为图14的参照图像生成处理中不需要追加像素的情况下(在步骤S1102中“否”或在步骤S1104中“否”),不生成追加像素而进行运动补偿,在判断为需要追加像素的情况下,生成追加像素,并使用生成的追加像素进行运动补偿。即,仅在需要追加像素的情况下生成追加像素,因此在不需要追加像素的情况下,不进行生成追加像素的处理,因此能够进行高效的解码处理。 
因此,能够防止经常发生图像的画质的劣化,并且能够进行高效的解码处理。 
此外,在本实施方式中,根据存储参照图片的图像存储器的规格(结构),判断被附加性地(无意地)传送的像素,并使用该像素插补来生成小数像素。一般的图像存储器通过将多个像素集中起来传送(记为突发传送(burst transfer))而提高性能。 
在本实施方式中,例如根据突发传送的结果而附加性地取得的像素来补充仅在小数像素的插补生成中需要的像素。仅利用附加性地取得的像素时,在小数像素的生成中像素不够的情况下,不使用不够的量的像素而进行小数像素的插补生成。 
由此,不需要从图像存储器中追加取得仅在小数像素的插补生成中使用的像素,能够减少图像存储器的数据传送量。 
进而,相对于总是不使用原来的像素而进行小数像素的插补生成的方法,在本实施方式中,不使用原来的像素而进行小数像素的插补生成的频度减小。因此,能够减小通过解码得到的图像的画质的劣化。 
因此,通过本实施方式的处理,能够同时实现参照目标块的数据传送量的削減以及通过解码得到的图像的高画质化。 
以上,以将按照MPEG2标准编码的数据进行解码的图像解码装置为例说明了第1实施方式。第1实施方式的说明与亮度块有关,但关于色差块,也能够通过在第1实施方式中记载的处理适用本发明。此外,在第1实施方式中示出的本发明的处理不过是一个例子,可以考虑对图像存储器的结构或访问方法、各块的处理分担等进行各种变形。 
例如,可以考虑以隔行方式及逐行方式使用访问规格不同的图像存储器的结构、根据运动补偿类型来切换是否按照标准取得参照图像的结构。 
此外,作为其他例子,可以考虑在水平方向及垂直方向的某一个上适用本发明的结构、根据宏块或图片的类型来切换是否按照标准取得参照图像取得的结构等。 
另外,图3及图5所示的各部可以用作为集成电路的LSI实现,也可以用计算机上的软件实现。此外,对于集成化的方法,可以是各功能被单独地做成一个芯片,也可以以包含一部分或全部功能的方式被做成一个芯片。进而,如果有代替LSI的集成电路化技术,则当然也可以使用该技术进行集成化。 
<第2实施方式> 
图15是本发明的第2实施方式的图像解码装置1000A的结构图。 
图像解码装置1000A是对应于H.264标准的装置。以下,说明图像解码装置1000A的动作。 
图15所示的图像解码装置1000A具备可变长度解码部1201、逆量化部1202、逆正交变换部1203、加法器1204、运动矢量计算部1205、运动补偿部1206、图像取得部1207、图像存储器1208、帧内预测部1209、选择部1210以及去块滤波部1211。另外,图像解码装置1000A所具备的、图像取得部1207以外的各部进行的处理是遵循H.264标准的处理,因此不进行详细的说明。 
可变长度解码部1201从外部取得比特流。假设该比特流为通过基于H.264标准的活动图像的编码而得到的编码数据。并且,可变长度解码部1201对比特流中包含的可变长度代码进行解码。 
通过该解码得到被量化的频率成分值(以下,称作已量化频率成分信息)、运动信息以及帧内预测控制信息。该运动信息表示运动补偿类型、确 定参照图片的号码(以下,称作参照图片号码)及运动矢量的差分值、参照图像的尺寸等。运动补偿类型表示运动补偿块的尺寸。另外,运动补偿类型也表示运动补偿块的尺寸以外的信息,但在本发明中,设为运动补偿类型表示运动补偿块的尺寸而进行说明。 
另外,通过解码还取得用于控制图像解码装置1000A的参数,但在本发明中不使用该参数,因此省略说明。 
并且,可变长度解码部1201将已量化频率成分信息发送给逆量化部1202。此外,可变长度解码部1201将运动信息发送给运动矢量计算部1205。此外,可变长度解码部1201将帧内预测控制信息发送给帧内预测部1209。 
逆量化部1202通过对接收到的已量化频率成分信息进行逆量化,得到频率成分。逆正交变换部1203通过将得到的频率成分进行逆正交变换,得到像素值的差分。并且,逆正交变换部1203将像素值的差分发送给加法器1204。另外,在本实施方式中,逆量化和逆正交变换都以规定的宏块(16×16的块)为单位一次处理。 
运动矢量计算部1205根据接收到的运动信息求出运动补偿类型、参照图片号码以及运动矢量。并且,运动矢量计算部1205将表示运动补偿类型、参照图像的尺寸、参照图片号码、参照图像的左上端坐标及运动矢量的运动信息发送给运动补偿部1206及图像取得部1207。 
图像存储器1208中存储有作为运动补偿的对象的多个参照图片。图像存储器1208是能够根据预先设定的规格读出参照图片的一部分区域的图像的存储器。 
图像取得部1207根据接收到的运动信息所表示的运动补偿类型、参照图像的尺寸、参照图片号码以及运动矢量,从图像存储器1208取得由参照图片号码确定的参照图片的一部分区域的图像。并且,图像取得部1207将取得的图像或根据取得的图像生成的图像发送给运动补偿部1206。 
运动补偿部1206利用接收到的运动信息所表示的运动补偿类型、参照图像的尺寸、参照图片号码及运动矢量、以及从图像取得部1207接收到的图像进行运动补偿。通过该运动补偿能够得到预测图像。以下,将通过运动补偿得到的预测图像称作运动补偿预测图像。并且,运动补偿部1206将运动补偿预测图像发送给选择部1210。 
加法器1204通过将从逆正交变换部1203接收到的像素值的差分和从选择部1210接收到的图像相加,得到图片(以下,称作再生图片)。并且,加法器1204将再生图片发送给帧内预测部1209及去块滤波部1211。 
帧内预测部1209根据同一图片内的已解码的图像信息进行预测。具体而言,帧内预测部1209暂时存储从加法器1204接收到的再生图片。此外,帧内预测部1209通过进行基于从可变长度解码部1201接收到的帧内预测控制信息的帧内预测处理,得到图像。以下,将通过帧内预测处理得到的图像称作帧内预测图像。并且,帧内预测部1209将帧内预测图像发送给选择部1210。 
选择部1210根据宏块的类型,将接收到的运动补偿预测图像及帧内预测图像中的某一个发送给加法器1204。 
去块滤波部1211进行对从加法器1204接收到的再生图片内的块边界施加滤波的滤波处理。并且,去块滤波部1211将进行了滤波处理的再生图片输出至外部,并且将再生图片作为参照图片存储至图像存储器1208。 
如在背景技术中叙述的那样,在H.264标准中能够以1/4像素精度进行运动补偿。因此,在H.264标准中以1/4像素精度进行运动补偿的情况下,需要生成1/4坐标像素。以下,将以1/4像素精度进行的运动补偿称作1/4精度运动补偿。 
在H.264的处理中,将位于小数坐标的像素中的位于1/2精度坐标的像素(1/2坐标像素)的值通过使用该像素的两侧相邻的3个像素(共6个像素)的6抽头滤波运算来求出。 
此外,在H.264的处理中,将1/2坐标像素以外的位于小数坐标(1/4精度坐标)的像素(1/4坐标像素)通过对与该像素相邻并且位于整数坐标或1/2精度坐标的至少两个像素的值进行平均来生成。 
在进行1/4坐标像素的生成的情况下,从存储在图像存储器中的参照图片取得的参照目标块的尺寸在左侧及上侧上大2个像素量,在右侧及下侧上大3个像素量。结果,产生用于从图像存储器取得参照目标块的数据传送量变大的问题。因此,为了高速处理参照目标块,需要高性能且高价的存储器,导致进行图像编码及图像解码的装置的成本上升。 
因此,在本实施方式中,与第1实施方式同样,在以小数像素精度进 行运动补偿的情况下,并不有意取得在小数像素的生成中需要的追加像素。具体而言,在进行1/4精度运动补偿的情况下,不有意要取得在1/2坐标像素的生成中需要的上述的H264追加像素,而按照图像存储器的规格所表示的访问限制来访问该图像存储器,结果无意中取得了H264追加像素的情况下,进行用于使用被取得的H264追加像素的处理(以下,称作处理NB)。 
H264追加像素例如是在图2中左侧两列上排列的多个像素、右侧三列上排列的多个像素、上侧两行上排列的多个像素、下侧三行上排列的多个像素。 
但是,在图像存储器中,根据作为访问对象的矩形区域(块)的位置和大小的不同,有时不能取得在1/4精度运动补偿中需要的H264追加像素。因此,在本实施方式中,求出实际对图像存储器进行访问的矩形区域(块)的大小,在不能取得1/4精度运动补偿中需要的H264追加像素的情况下,仅使用取得的像素生成1/2坐标像素。 
在本实施方式中,在取得的图像中将右端一列上排列的多个像素、左端一列上排列的多个像素、上端一行上排列的多个像素及下端一行上排列的多个像素原样复制而作为H264追加像素。由此,不取得1/2坐标像素的生成中需要的H264追加像素,而能够进行1/4精度运动补偿。 
另外,仅通过取得的像素生成1/2坐标像素的方法不限定于上述方法,也可以使用各种其他方法。 
下面,说明第2实施方式的上述处理NB的实现方法。在第2实施方式中,由于图像取得部1207进行上述处理NB,因此对图像取得部1207所进行的处理进行详细的说明。 
在第2实施方式中,图15所示的图像取得部1207以外的各部按照H.264标准的规定进行动作。因此,不进行图15所示的图像取得部1207以外的各部的详细说明。 
此外,图像存储器1208存储多个参照图片。此外,图像存储器1208是在第1实施方式中说明的多体图像存储器。另外,不管图像的处理方式是隔行方式及逐行方式中的哪一个,都能够以相同的规格访问图像存储器1208,访问对象的奇偶是由参照图片号码指定。 
图16是表示图像取得部1207的内部结构的框图。参照图像取得部1207 与第1实施方式的图像取得部307同样,包括图像确定信息生成部1301、图像存储器访问控制部1302以及未取得像素插补部1303。 
图像确定信息生成部1301的动作遵循H.264标准,因此不进行图像确定信息生成部1301的动作的详细说明。以下,简单说明图像确定信息生成部1301的动作。 
图像确定信息生成部1301根据接收到的运动信息所表示的运动补偿类型、参照图像的尺寸、参照图片号码以及运动矢量,生成用于确定在运动补偿部1206进行的运动补偿中需要的参照图像的信息(以下,称作H264参照图像确定信息)。H264参照图像确定信息表示运动补偿类型、参照图像的尺寸、运动矢量、参照图片号码、存储器中的参照图像的左上端坐标及参照图像的尺寸。 
以下,将由H264参照图像确定信息所表示的运动补偿类型确定的运动补偿块的尺寸称作确定运动补偿块尺寸。 
图像确定信息生成部1301以运动补偿部1206按照H.264标准进行运动补偿为前提,生成H264参照图像确定信息。因此,所生成的H264参照图像确定信息是用于确定如下参照图像的信息,该参照图像包含背景技术中说明的小数像素的生成所需要的H264追加像素。 
并且,图像确定信息生成部1301将生成的H264参照图像确定信息发送给图像存储器访问控制部1302。 
图像存储器访问控制部1302的详细内容将在后面叙述,其根据图像确定信息生成部1301发送的H264参照图像确定信息,生成按照图像存储器1208的规格(后述的规格B)所表示的访问限制的参照目标块的读出指令,并将生成的读出指令发送给图像存储器1208。另外,在本实施方式中,将读出指令生成为,不有意地取得上述的H264追加像素。 
此外,图像存储器访问控制部1302的详细内容将在后面叙述,其根据由生成的读出指令确定的参照目标块的大小,判断是否能够从图像存储器1208取得上述的H264追加像素。并且,图像存储器访问控制部1302根据是否能够取得H264追加像素的判断,生成H264追加像素插补信息,并将生成的H264追加像素插补信息发送给未取得像素插补部1303。H264追加像素插补信息是表示是否需要H264追加像素的插补的信息。 
图像存储器访问控制部1302的动作不遵循H.264标准。即,图像存储器访问控制部1302向图像存储器1208发送的读出指令不遵循H.264标准。因此,以下说明图像存储器访问控制部1302动作的详细情况。以下,将图像存储器访问控制部1302所进行的处理称作访问控制处理A。 
另外,为了使说明简单,作为一例,假设图像存储器1208具有多个存储一张参照图片的区域(以下,称作参照图片存储区域)。假设各参照图片存储区域与参照图片的尺寸(例如,1920×1080)相同。即,各参照图片存储区域的坐标(0,0)与对应的参照图片的左上端坐标对应。 
图17是访问控制处理A的流程图。 
在步骤S1400中,图像存储器访问控制部1302从图像确定信息生成部1301取得上述的H264参照图像确定信息。 
在步骤S1401中,进行访问对象块确定处理A。在访问对象块确定处理中,图像存储器访问控制部1302根据取得的H264参照图像确定信息所表示的参照图像的尺寸及运动矢量,确定作为访问对象的参照目标块(以下,称作访问对象参照目标块)的尺寸。 
以下,将存储在存储器中的参照图片的一部分块、并且是作为访问对象的参照目标块称作访问对象参照目标块。运动补偿类型与访问对象参照目标块的尺寸之间的对应关系表示在以下的表RT200中。 
图18是表示作为一例的表RT200的图。在表RT200中,示出了7种运动补偿类型。例如,在运动补偿类型为“T8×16”的情况下,运动补偿块的尺寸为8×16。 
在表RT200中,“运动矢量精度”表示水平方向或垂直方向的运动矢量的精度。“运动矢量精度”的项目中的“整数”表示对应的方向的运动矢量的值为整数。“运动矢量精度”的项目中的“小数”表示对应的方向的运动矢量的值为小数。运动矢量精度通过水平方向的运动矢量的值与垂直方向的运动矢量的值的组合,对于各运动补偿类型存在4种。 
在表RT200中,“需要参照图像尺寸”是指在H.264标准的运动补偿中需要的参照图像的尺寸。“需要参照图像尺寸”是H264参照图像确定信息所表示的参照图像的尺寸。“需要参照图像尺寸”由7种运动补偿类型中的某一个与4种运动矢量精度中的某一个的组合决定。 
在表RT200中,“访问对象参照目标块尺寸”是访问对象参照目标块的尺寸。 
在本实施方式中,访问对象参照目标块尺寸与第1实施方式不同,被定义为与在H.264标准中定义的需要参照图像尺寸的个数相同的个数。但是,在本实施方式中,为了削减从图像存储器取得的像素量,使访问对象参照目标块尺寸比在H.264标准中定义的需要参照图像尺寸小。 
具体而言,在图17的步骤S1401的访问对象块确定处理A中,在取得的H264参照图像确定信息所表示的水平方向的运动矢量的值为小数的情况下,图像存储器访问控制部1302将使该H264参照图像确定信息表示的参照图像的水平方向的尺寸减小了4个像素的尺寸作为访问对象参照目标块的水平方向的尺寸。 
此外,在取得的H264参照图像确定信息所表示的垂直方向的运动矢量的值为小数的情况下,图像存储器访问控制部1302将使H264参照图像确定信息表示的参照图像的垂直方向的尺寸减小了4个像素的尺寸作为访问对象参照目标块的垂直方向的尺寸。 
这里,例如假设H264参照图像确定信息所表示的运动矢量的水平方向的值及垂直方向的值为小数。此外,假设H264参照图像确定信息所表示的参照图像的尺寸(需要参照图像尺寸)为21×21。在该情况下,通过访问对象块确定处理A确定的访问对象参照目标块的尺寸为将参照图像的尺寸(21×21)在水平方向及垂直方向上都减小了4个像素的尺寸(17×17)。 
此外,图像存储器访问控制部1302将取得的H264参照图像确定信息所表示的参照图像的左上端坐标作为访问对象参照目标块的左上端坐标。 
以下,在按照图像存储器的规格所表示的访问限制来访问存储在该图像存储器中的参照图片内的访问对象参照目标块的情况下,将访问所需的所有的块称作最小访问参照目标块。 
这里,假设图像存储器访问控制部502预先存储有图像存储器1208的规格B的信息。另外,不限定于此,图像存储器访问控制部1302也可以从其他部分(例如,存储器、电路等)取得图像存储器1208的规格B的信息。 
图19是表示图像存储器1208的规格B的图。图19所示的规格B所表示的各项目与图4所示的规格A所表示的各项目相同,因此不重复详细 的说明。 
再次参照图17,在步骤S1402中,进行最小访问参照目标块确定处理A。详细内容将在后面叙述,但在最小访问参照目标块确定处理A中确定最小访问参照目标块,该最小访问参照目标块为:图像存储器访问控制部1302按照图像存储器1208的规格B所表示的访问限制,在存储在图像存储器1208中的参照图片内访问确定的访问对象参照目标块的情况下的最小访问参照目标块。 
另外,参照图片、访问对象参照目标块以及最小访问参照目标块的关系已在图8中说明,因此不重复详细的说明。 
在最小访问参照目标块确定处理A中,存储在图像存储器1208中的处理对象的参照图片是由H264参照图像确定信息所表示的参照图片号码确定的图片。 
下面,说明图像存储器1208的规格为图19的规格B的情况下的对图像存储器的访问模式。 
如图18的表RT200所示,访问对象参照目标块的水平方向的尺寸及垂直方向的尺寸的分别为4个像素、5个像素、8个像素、9个像素、16个像素及17个像素中的某一个。 
图19所示的图像存储器的规格B在水平方向及垂直方向上是相同的内容。因此,在水平方向及垂直方向上对图像存储器的访问模式都相同。因此,在本实施方式中,仅说明对图像存储器的水平方向的访问模式的详细情况,而省略对图像存储器的垂直方向的访问模式的说明。 
图19所示的图像存储器的规格B表示在水平方向的访问中,取得开始坐标(块左端的坐标)限制为8的倍数,取得尺寸(最小访问参照目标块的尺寸)也限制为8的倍数。 
在H.264标准中,由于访问对象参照目标块的位置(左端坐标)为任意值,因此水平方向的取得开始坐标也为任意值。 
图19所示的图像存储器的规格B在水平方向的存储器访问中,将水平方向的取得开始坐标限制在8的倍数。因此,根据将访问对象参照目标块的左端的水平坐标除以8所得到的余数(0、1、2、3、4、5、6、7中的某一个),对图像存储器的访问模式发生变化。 
首先,说明访问对象参照目标块的水平方向的尺寸为4、8、16的情况下的访问模式。具体而言,说明按照图像存储器的规格B表示的访问限制,在水平方向上取得4个像素、8个像素或16个像素的情况下的图像存储器的访问模式。 
在按照图像存储器的规格B所表示的访问限制,在水平方向上取得4个像素、8个像素或16个像素的情况下,水平方向的运动矢量的值为整数。因此,不需要生成位于水平方向的小数坐标的小数像素,也不需要在小数像素的生成中使用的H264追加像素。 
因此,以能够在访问对象参照目标块中取得水平方向的4个像素、8个像素或16个像素全部的方式对图像存储器进行访问。 
图20是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的4个像素的情况下的图像存储器的访问模式的图。 
图21是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的8个像素的情况下的图像存储器的访问模式的图。 
图22是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的16个像素的情况下的图像存储器的访问模式的图。 
在图20、图21及图22中,“水平坐标的余数”是将访问对象参照目标块的左端的水平坐标除以8所得到的余数。在图20、图21及图22中,“想取得的像素数”及“图像存储器访问”已在图9中说明,因此不重复详细的说明。 
如图20及图21所示,为了在访问对象参照目标块中取得水平方向的4个像素或8个像素,需要访问最大16个像素量。此外,如图22所示,为了在访问对象参照目标块中取得水平方向的16个像素,需要访问最大24个像素量。 
下面,说明访问对象参照目标块的水平方向的尺寸为5、9、17的情况下的访问模式。具体而言,说明按照图像存储器的规格B所表示的访问限制,在水平方向上取得5个像素、9个像素或17个像素的情况下的图像存 储器的访问模式。 
在按照图像存储器的规格B所表示的访问限制,在水平方向上取得5个像素、9个像素或17个像素的情况下,水平方向的运动矢量的值为小数。因此,需要生成位于水平方向的小数坐标的小数像素,也需要在小数像素的生成中使用的H264追加像素。 
如利用图2说明的那样,H264追加像素对应于访问对象参照目标块(对应于参照目标块201)左侧的2个像素、访问对象参照目标块的右侧的3个像素。即,需要5个H264追加像素。 
但是,在H264参照图像确定信息所表示的水平方向的运动矢量的值为小数的情况下,具有通过步骤S1401的处理确定的水平方向的尺寸的访问对象参照目标块包括访问对象参照目标块(对应于参照目标块201)的右侧的一个像素(H264追加像素)。 
这是因为,即使将访问对象参照目标块的尺寸在右侧上增大一个像素量,图像存储器访问中的最大像素数也不增加,从图像存储器读出的访问对象参照目标块的像素量也不增加。 
但是,在本实施方式中,产生如下情况,即不能取得访问对象参照目标块的左侧的2个像素及访问对象参照目标块的右侧的2个像素中的至少一个像素。 
图23是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的5个像素的情况下的图像存储器的访问模式的图。 
图24是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的9个像素的情况下的图像存储器的访问模式的图。 
图25是表示按照图像存储器的规格B所表示的访问限制,在访问对象参照目标块中取得水平方向的17个像素的情况下的图像存储器的访问模式的图。 
在图23、图24及图25中,“水平坐标的余数”是将访问对象参照目标块的左端的水平坐标除以8的余数。在图23、图24及图25中,“想取得的像素数”及“图像存储器访问”已在图9中说明,因此不重复详细的说明。 
如图23及图24所示,为了在访问对象参照目标块中取得水平方向的5个像素或9个像素,需要访问最大16个像素量。此外,如图25所示,为了在访问对象参照目标块中取得水平方向的17个像素,需要访问最大24个像素量。 
此外,图23、图24及图25表示是否取得作为在小数像素的生成中需要的追加像素(H264追加像素)、并且是不有意取得的访问对象参照目标块的左侧的2个像素及访问对象参照目标块的右侧的2个像素。 
在图23、图24及图25中,涂黑的方块表示想取得的像素。具体而言,在图23、图24及图25中,与在表示想取得的像素的涂黑的方块的两端示出的箭头(以下,称作追加像素箭头)的位置对应的2个像素表示未有意取得的追加像素(H264追加像素)。 
在图23、图24及图25中示出当追加像素箭头在图像存储器访问的范围内的情况下,对应于追加像素箭头的2个H264追加像素被无意中取得。 
在图23、图24及图25中示出当追加像素箭头在图像存储器访问的范围的边界线上的情况下,对应于追加像素箭头的两个H264追加像素中的一个被无意中取得。此外示出当追加像素箭头在图像存储器访问的范围外的情况下,对应于追加像素箭头的两个H264追加像素不被取得。 
以下,将运动补偿部1206在运动补偿中使用的参照图像称作运动补偿参照图像。运动补偿参照图像的尺寸是取得的H264参照图像确定信息所表示的参照图像的尺寸(需要参照图像尺寸)(例如9×4)。运动补偿参照图像的左上端坐标是H264参照图像确定信息所表示的参照图像的左上端坐标。 
此外,以下将最小访问参照目标块所表示的图像称作最小访问参照图像。此外,以下将运动补偿参照图像的尺寸的块称作运动补偿参照图像块。 
此外,以下在最小访问参照图像中,以运动补偿参照图像的左上端坐标的位置为运动补偿参照图像块的左上端、将该运动补偿参照图像块配置在最小访问参照图像上的情况下,将仅表示在运动补偿参照图像块内示出的图像的块称作运动补偿参照目标块。对于运动补偿参照目标块已在图12中说明,因此不重复详细的说明。 
即,运动补偿参照目标块所表示的图像是最小访问参照目标块所表示 的图像的至少一部分图像。运动补偿参照目标块的左上端坐标是参照图像确定信息所表示的参照图像的左上端坐标。 
在图23、图24及图25中,“追加像素的需要与否”表示是否需要生成(插补生成)H264追加像素。例如,“左侧:需要(2个像素)”的记载表示需要生成(插补生成)运动补偿参照目标块的左侧的2个H264追加像素。例如,“右侧:需要(1个像素)”的记载表示需要生成(插补生成)运动补偿参照目标块的右侧的1个H264追加像素。例如,“右侧:不需要”表示不需要生成(插补生成)运动补偿参照目标块的右侧的2个H264追加像素。 
再次参照图17,在步骤S1402的最小访问参照目标块确定处理A中,图像存储器访问控制部502按照图像存储器308的规格A所表示的访问限制,确定最小访问参照目标块。 
具体而言,图像存储器访问控制部1302按照访问对象参照目标块的尺寸及左上端坐标、图像存储器1208的规格B、图20~图22所示的多个访问模式,计算最小访问参照目标块的左上端的坐标以及最小访问参照目标块的尺寸。 
并且,图像存储器访问控制部1302生成最小访问参照目标块信息,该最小访问参照目标块信息表示计算出的最小访问参照目标块的左上端的坐标以及最小访问参照目标块的尺寸。 
这里,例如假设访问对象参照目标块的尺寸为5×4,访问对象参照目标块的左上端坐标为(17,16)。 
在该情况下,在坐标(17,16)中,水平坐标值“17”不是8的倍数,因此根据图19的规格B,最小访问参照目标块的水平坐标值被计算为比水平坐标值“17”小、并且是8的倍数的值16。 
此外,由于访问对象参照目标块的水平方向的尺寸为“5”,因此根据图23所示的访问模式,计算最小访问参照目标块的水平方向的尺寸。具体而言,水平坐标值“17”在图23中对应于水平坐标的余数“1”,因此最小访问参照目标块的水平方向的尺寸被计算为8个像素。 
此外,此时在坐标(17,16)中,垂直坐标值“16”为8的倍数,因此根据图19的规格B,最小访问参照目标块的垂直坐标值被计算为16。 
此外,由于访问对象参照目标块的垂直方向的尺寸为“4”,因此通过 将图20所示的访问模式看作在垂直方向上表示的访问模式,计算最小访问参照目标块的水平方向的尺寸。具体而言,垂直坐标值“16”在图20中对应于水平坐标(对应于垂直坐标)的余数“0”,因此最小访问参照目标块的垂直方向的尺寸被计算为8个像素。 
即,通过最小访问参照目标块确定处理A,计算出最小访问参照目标块的左上端的坐标(16,16)。此外,作为最小访问参照目标块的尺寸,计算出8×8。在该情况下,生成表示最小访问参照目标块的左上端的坐标(16,16)以及作为最小访问参照目标块的尺寸的8×8的最小访问参照目标块信息。 
即,规格B所表示的访问限制是用于在从图像存储器取得作为取得对象的图像(访问对象参照目标块)的情况下、取得构成该作为取得对象的图像的像素的数量以上的数量的像素的限制。 
在步骤S1403中,进行读出指令发送处理A。在读出指令发送处理A中,图像存储器访问控制部1302生成用于从图像存储器1208取得确定的最小访问参照目标块的读出指令。在最小访问参照目标块的尺寸与访问对象参照目标块的尺寸相同的情况下,按照读出指令读出的最小访问参照目标块包含上述的H264追加像素。 
另一方面,在最小访问参照目标块的尺寸比访问对象参照目标块的尺寸大的情况下(例如,图8的状态的情况),按照读出指令读出的最小访问参照目标块有时无意中包含H264追加像素。即,生成的读出指令是不有意取得上述的H264追加像素的指令。 
并且,图像存储器访问控制部1302将生成的读出指令发送给图像存储器1208。 
图像存储器1208与读出指令的接收对应地将依照该读出指令的最小访问参照目标块作为读出图像发送给未取得像素插补部1303。 
在本实施方式中的图像存储器的访问控制方法中,在进行1/4精度运动补偿的情况下,进行不有意取得在1/2坐标像素的生成中需要的上述的H264追加像素的处理。此外,根据访问对象参照目标块的左上端坐标的不同,有时最小访问参照目标块的尺寸与该访问对象参照目标块的尺寸相同。如上所述,访问对象参照目标块包含H264追加像素。因此,在该情况下, 按照读出指令读出的最小访问参照目标块包含上述的H264追加像素。 
在水平方向的运动矢量的值为小数,并且在图23、图24及图25中与访问对象参照目标块的水平方向的尺寸对应的图的“追加像素的需要与否”的右侧例如记载有“左侧:需要(2个像素)”的情况下,不能取得水平方向的H264追加像素。在该情况下,需要生成(插补生成)运动补偿参照目标块外的左侧两列上排列的多个H264追加像素。 
即,当有在与访问对象参照目标块的水平方向的尺寸对应的图的“追加像素的需要与否”的右侧记载的、需要(k(1或2)像素)的记载情况下,需要在运动补偿参照目标块的左侧或右侧生成(插补生成)1列或2列上排列的多个H264追加像素。 
另外,对于垂直方向的H264追加像素,与上述的水平方向的H264追加像素的记载同样,需要按照需要生成(插补生成)。 
如图19所示,图像存储器的规格B在水平方向及垂直方向上相同。因此,对于垂直方向的H264追加像素,也与上述的水平方向的H264追加像素的记载同样,需要按照需要生成(插补生成)。 
像这样,本实施方式中,表示是否需要H264追加像素的插补的上述的H264追加像素插补信息是表示追加像素的需要与否的信息。 
以下,将运动补偿参照目标块的左侧、右侧、上侧及下侧的H264追加像素分别称作左侧追加像素、右侧追加像素、上侧追加像素及下侧追加像素。H264追加像素插补信息例如表示以下的信息NA~NC中的某一个、信息ND~NF中的某一个、信息NG~NI中的某一个、信息NJ~NL中的某一个。 
信息NA(左侧追加像素:不需要) 
信息NB(左侧追加像素:需要(1个像素)) 
信息NC(左侧追加像素:需要(2个像素)) 
信息ND(右侧追加像素:不需要) 
信息NE(右侧追加像素:需要(1个像素)) 
信息NF(右侧追加像素:需要(2个像素)) 
信息NG(上侧追加像素:不需要) 
信息NH(上侧追加像素:需要(1个像素)) 
信息M(上侧追加像素:需要(2个像素)) 
信息NJ(下侧追加像素:不需要) 
信息NK(下侧追加像素:需要(1个像素)) 
信息NL(下侧追加像素:需要(2个像素)) 
如在背景技术中叙述的那样,若通过插补处理生成追加像素,并利用生成的追加像素进行小数像素的生成,则在通过解码处理得到的图像上产生误差。在该情况下,通过解码处理得到的图像的画质劣化。 
另一方面,在本实施方式中,利用图像存储器的访问模式判断是否生成追加像素。因此,根据图像存储器的访问模式的不同,有可能无意中得到需要的追加像素,并不生成追加像素而能够进行解码。 
因此,与不取得追加像素而进行解码的以往的方法相比,在本实施方式中,在无意中得到需要的追加像素的情况下,通过解码得到的图像的画质的劣化减小。 
在步骤S1404中,进行插补判断处理A。在插补判断处理A中,图像存储器访问控制部1302按照取得的H264参照图像确定信息所表示的运动矢量、访问对象参照目标块的尺寸及左上端坐标、图像存储器1208的规格B以及图20~图25所示的多个访问模式,判断各追加像素的需要与否。该判断的详细说明与上述的说明相同。 
并且,图像存储器访问控制部1302根据各追加像素的需要与否,生成上述的H264追加像素插补信息。 
即,在H264参照图像确定信息所表示的运动矢量的水平方向的值为小数、并且在与访问对象参照目标块的水平方向的尺寸对应的图(例如,图23)中与确定的访问模式对应的“追加像素的需要与否”的右侧例如记载有“左侧:需要(1个像素)右侧:不需要”的情况下,判断为左侧追加像素需要1个像素,右侧追加像素不需要。 
此外,在H264参照图像确定信息所表示的运动矢量的垂直方向的值为小数、并且在与访问对象参照目标块的垂直方向的尺寸对应的图中与确定的访问模式对应的“追加像素的需要与否”的右侧例如记载有“上侧:不需要,下侧:需要(2个像素)”的情况下,判断为不需要上侧追加像素,下侧追加像素需要2个像素。 
另外,在本实施方式中未示出与上述的访问对象参照目标块的垂直方向的尺寸对应的图。但是,与访问对象参照目标块的垂直方向的尺寸对应的图例如是在图23、图24及图25的各图中将“水平坐标的余数”、“左侧”及“右侧”分别代替为“垂直坐标的余数”、“上侧”及“下侧”的图。 
根据以上的判断,生成H264追加像素插补信息。生成的H264追加像素插补信息表示上述的信息NA~NC中的某一个、信息ND~NF中的某一个、信息NG~NI中的某一个、信息NJ~NL中的某一个。 
在步骤S1405中,进行用于生成参照图像生成信息A的参照图像生成信息生成处理A。参照图像生成信息A是用于生成在运动补偿中使用的参照图像的信息。 
在参照图像生成信息生成处理A中,图像存储器访问控制部1302根据取得的参照图像确定信息所表示的参照图像的尺寸(需要参照图像尺寸)及参照图像的左上端坐标、生成的最小访问参照目标块信息以及生成的H264追加像素插补信息,生成参照图像生成信息A。 
另外,参照图像生成信息A的生成方法与在图13中说明的生成方法相同,因此不重复详细的说明。 
图26是表示作为一例的参照图像生成信息A的图。 
在图26中,“最小访问参照目标块的坐标”、“运动补偿参照目标块的相对坐标”的项目已在图13中说明,因此不重复详细的说明。 
此外,运动补偿参照目标块的尺寸及运动补偿参照目标块的相对坐标的计算方法与在图13中说明的方法相同,因此不重复详细的说明。 
“左侧追加像素的需要与否”、“右侧追加像素的需要与否”、“上侧追加像素的需要与否”、“下侧追加像素的需要与否”的项目分别表示左侧追加像素、右侧追加像素、上侧追加像素及下侧追加像素的需要与否。例如,在“左侧追加像素的需要与否”的项目中记载了“需要(1个像素)”的情况下,表示左侧追加像素需要一个像素。 
再次参照图17,在步骤S1405的参照图像生成信息生成处理A中,图像存储器访问控制部1302将生成的参照图像生成信息A发送给未取得像素插补部1303。 
未取得像素插补部1303接收从图像存储器1208读出的作为读出图像 的最小访问参照目标块以及图像存储器访问控制部1302所发送的参照图像生成信息A。 
未取得像素插补部1303的详细内容将在后面叙述,但将在运动补偿部1206进行运动补偿时使用的参照图像发送给运动补偿部1206。 
运动补偿部1206为了按照H.264标准进行运动补偿,需要图18所示的需要参照图像尺寸的参照图像。 
但是,如上所述,从图像存储器1208读出的作为读出图像的最小访问参照目标块有时不包含上述的H264追加像素。因此,在未取得像素插补部1303中,在H264追加像素不存在的情况下,通过插补处理生成H264追加像素。 
以下,将用于未取得像素插补部1303生成参照图像的处理称作参照图像生成处理A。 
图27是参照图像生成处理A的流程图。 
在步骤S2300中,未取得像素插补部1303接收从图像存储器1208读出的作为读出图像的最小访问参照目标块以及图像存储器访问控制部1302所发送的参照图像生成信息A。 
在步骤S2301中,根据接收到的参照图像生成信息A所表示的运动补偿参照目标块的尺寸及运动补偿参照目标块的相对坐标,未取得像素插补部1303从接收到的最小访问参照目标块中取得运动补偿参照目标块。以下,将通过步骤S2301的处理取得的运动补偿参照目标块所表示的图像称作H264处理对象图像。 
在步骤S2302中,判断是否需要左侧追加像素。具体而言,未取得像素插补部1303判断接收到的参照图像生成信息A在“左侧追加像素的需要与否”的栏中表示“需要(1个像素)”、“需要(2个像素)”及“不需要”中的哪一个。 
在参照图像生成信息A表示“需要(1个像素)”的情况下,处理转移至步骤S2303。在参照图像生成信息A表示“需要(2个像素)”的情况下,处理转移至步骤S2304。在参照图像生成信息A表示“不需要”的情况下,处理转移至步骤S2305。 
在步骤S2303中,进行左侧追加像素1列生成处理。在左侧追加像素 1列生成处理中,未取得像素插补部1303将在H264处理对象图像的左端一列上排列的多个像素作为在H264处理对象图像外的左侧一列上排列的多个H264追加像素。即,将复制了在H264处理对象图像的左端一列上排列的多个像素而得到的多个像素作为多个H264追加像素。 
这里,在H264处理对象图像的左端一列上排列的多个像素例如对应于图2的参照目标块201内的水平坐标值为“0”的多个整数像素202。此外,H264处理对象图像外的左侧一列上排列的多个H264追加像素例如是在图2中水平坐标值为“-1”、且垂直坐标值为“0”、“1”、“2”、“3”、“4”的某一个的多个H264块外像素205。 
并且,未取得像素插补部1303将通过该处理生成的图像作为最新的H264处理对象图像。 
在步骤S2304中,进行左侧追加像素2列生成处理。在左侧追加像素2列生成处理中,未取得像素插补部1303将在H264处理对象图像的左端一列上排列的多个像素作为在H264处理对象图像外的左侧两列的各列上排列的多个H264追加像素。即,将复制了H264处理对象图像的左端一列上排列的多个像素而得到的多个像素作为在H264处理对象图像外的左侧两列的各列上排列的多个H264追加像素。 
这里,H264处理对象图像外的左侧两列的各列上排列的多个H264追加像素例如是在图2中水平坐标值为“-1”、“-2”中的某一个、且垂直坐标值为“0”、“1”、“2”、“3”、“4”中的某一个的多个H264块外像素205。 
并且,未取得像素插补部1303将通过该处理生成的图像作为最新的H264处理对象图像。 
在步骤S2305中,判断是否需要右侧追加像素。具体而言,未取得像素插补部1303判断接收到的参照图像生成信息A在“右侧追加像素的需要与否”的栏中表示“需要(1个像素)”、“需要(2个像素)”及“不需要”中的哪一个。 
在参照图像生成信息A表示“需要(1个像素)”的情况下,处理转移至步骤S2306。在参照图像生成信息A表示“需要(2个像素)”的情况下,处理转移至步骤S2307。在参照图像生成信息A表示“不需要”的情况下,处理转移至步骤S2308。 
在步骤S2306中,进行右侧追加像素1列生成处理。在右侧追加像素1列生成处理中,未取得像素插补部1303将在最新的H264处理对象图像的右端一列上排列的多个像素作为在该最新的H264处理对象图像外的右侧一列上排列的多个H264追加像素。即,将复制了在最新的H264处理对象图像的右端一列上排列的多个像素而得到的多个像素作为多个H264追加像素。 
这里,在最新的H264处理对象图像的右端一列上排列的多个像素例如对应于在图2的参照目标块201内的水平坐标值为“4”的多个H264块外像素205。此外,在最新的H264处理对象图像外的右侧一列上排列的多个H264追加像素例如是在图2中水平坐标值为“5”、且垂直坐标值为“0”、“1”、“2”、“3”、“4”中的某一个的多个H264块外像素205。 
并且,未取得像素插补部1303将通过该处理生成的图像作为最新的H264处理对象图像。 
在步骤S2307中,进行右侧追加像素2列生成处理。在右侧追加像素2列生成处理中,未取得像素插补部1303将在最新的H264处理对象图像的右端一列上排列的多个像素作为在该最新的H264处理对象图像外的右侧两列的各列上排列的多个H264追加像素。即,将对最新的H264处理对象图像的右端一列上排列的多个像素进行了复制而得到的多个像素作为在最新的H264处理对象图像外的右侧两列的各列上排列的多个H264追加像素。 
这里,在最新的H264处理对象图像外的右侧两列的各列上排列的多个H264追加像素例如是在图2中水平坐标值为“5”、“6”中的某一个、且垂直坐标值为“0”、“1”、“2”、“3”、“4”中的某一个的多个H264块外像素205。 
在步骤S2308中,判断是否需要上侧追加像素。具体而言,未取得像素插补部1303判断接收到的参照图像生成信息A在“上侧追加像素的需要与否”的栏中表示“需要(1个像素)”、“需要(2个像素)”以及“不需要”中的哪一个。 
在参照图像生成信息A表示“需要(1个像素)”的情况下,处理转移至步骤S2309。在参照图像生成信息A表示“需要(2个像素)”的情 况下,处理转移至步骤S2310。在参照图像生成信息A表示“不需要”的情况下,处理转移至步骤S2311。 
在步骤S2309中,进行上侧追加像素1行生成处理。在上侧追加像素1行生成处理中,未取得像素插补部1303将在最新的H264处理对象图像的上端一行上排列的多个像素作为在该最新的H264处理对象图像外的上侧一行上排列的多个H264追加像素。即,将对最新的H264处理对象图像的上端一行上排列的多个像素进行了复制而得到的多个像素作为多个H264追加像素。 
这里,在最新的H264处理对象图像的上端一行上排列的多个像素例如对应于图2的参照目标块201内的垂直坐标值为“0”的多个整数像素202。此外,在进行了步骤S2304、S2307的处理的情况下,最新的H264处理对象图像外的上侧一行上排列的多个H264追加像素例如是在图2中水平坐标值为“-2”~“-6”中的某一个、且垂直坐标值为“-1”的多个H264块外像素205。 
并且,未取得像素插补部1303将通过该处理生成的图像作为最新的H264处理对象图像。 
在步骤S2310中,进行上侧追加像素2行生成处理。在上侧追加像素2行生成处理中,未取得像素插补部1303将在最新的H264处理对象图像的上端一行上排列的多个像素作为在该最新的H264处理对象图像外的上侧两行的各行上排列的多个H264追加像素。即,将对最新的H264处理对象图像的上端一行上排列的多个像素进行了复制而得到的多个像素作为在最新的H264处理对象图像外的上侧两行的各行上排列的多个H264追加像素。 
这里,在进行了步骤S2304、S2307的处理的情况下,最新的H264处理对象图像外的上侧两行的各行上排列的多个H264追加像素例如是在图2中水平坐标值为“-2”~“-6”中的某一个、且垂直坐标值为“-1”、“-2”中的某一个的多个H264块外像素205。 
并且,未取得像素插补部1303将通过该处理生成的图像作为最新的H264处理对象图像。 
在步骤S2311中,判断是否需要下侧追加像素。具体而言,未取得像 素插补部1303判断接收到的参照图像生成信息A在“下侧追加像素的需要与否”的栏中表示“需要(1个像素)”、“需要(2个像素)”及“不需要”中的哪一个。 
在参照图像生成信息A表示“需要(1个像素)”的情况下,处理转移至步骤S2312。在参照图像生成信息A表示“需要(2个像素)”的情况下,处理转移至步骤S2313。在参照图像生成信息A表示“不需要”的情况下,处理转移至步骤S2314。 
在步骤S2312中,进行下侧追加像素一行生成处理。在下侧追加像素一行生成处理中,未取得像素插补部1303将在最新的H264处理对象图像的下端一行上排列的多个像素作为在该最新的H264处理对象图像外的下侧一行上排列的多个H264追加像素。即,将对最新的H264处理对象图像的下端一行上排列的多个像素进行复制而得到的多个像素作为多个H264追加像素。 
这里,在最新的H264处理对象图像的下端一行上排列的多个像素例如对应于在图2的参照目标块201内的垂直坐标值为“4”的多个H264块外像素205。此外,在进行了步骤S2304、S2307的情况下,在最新的H264处理对象图像外的下侧一行上排列的多个H264追加像素例如是在图2中水平坐标值为“-2”~“6”中的某一个、且垂直坐标值为“4”的多个H264块外像素205。 
并且,未取得像素插补部1303将通过该处理生成的图像作为最新的H264处理对象图像。 
在步骤S2313中,进行下侧追加像素两行生成处理。在下侧追加像素两行生成处理中,未取得像素插补部1303将在最新的H264处理对象图像的下端一行上排列的多个像素作为在该最新的H264处理对象图像外的下侧两行的各行上排列的多个H264追加像素。即,将对最新的H264处理对象图像的下端一行上排列的多个像素进行复制而得到的多个像素作为在最新的H264处理对象图像外的下侧两行的各行上排列的多个H264追加像素。 
这里,在进行了步骤S2304、S2307的处理的情况下,最新的H264处理对象图像外的下侧两行的各行上排列的多个H264追加像素例如是在图2 中水平坐标值为“-2”~“6”中的某一个、且垂直坐标值为“5”、“6”中的某一个的多个H264块外像素205。 
并且,未取得像素插补部1303将通过该处理生成的图像作为最新的H264处理对象图像。 
在步骤S2314中,进行参照图像发送处理A。在参照图像发送处理A中,未取得像素插补部1303将最新的H264处理对象图像作为参照图像(运动补偿参照图像)发送给运动补偿部1206。 
另外,在不进行步骤S2303,S2304,S2306,S2307,S2309,S2310,S2312,S2313的处理的情况下,向运动补偿部1206发送的参照图像是取得的运动补偿参照目标块所表示的图像。 
在运动补偿部1206中,使用接收到的参照图像(运动补偿参照图像)进行运动补偿。另外,运动补偿部1206进行的运动补偿是基于H.264标准的处理,因此不进行详细的说明。 
如以上说明那样,在本实施方式中,在进行1/4精度运动补偿的情况下,并不有意要取得在1/2坐标像素的生成中需要的上述H264追加像素,而从通过按照图像存储器的规格B表示的访问限制来访问该图像存储器而得到的最小访问参照目标块取得的运动补偿参照目标块有时无意中包含H264追加像素。在该情况下,使用包含H264追加像素的运动补偿参照目标块,生成在运动补偿中使用的参照图像(运动补偿参照图像)。 
另外,在图27的步骤S2302、S2305、S2308、S2311全部中判断为“否”的情况下,运动补偿参照目标块所表示的图像具有进行1/4精度运动补偿时需要的所有的H264追加像素。 
在该情况下,在参照图像生成处理A中,通过复制生成的H264追加像素在1/4精度运动补偿中不被使用。该通过复制生成的H264追加像素与在1/4精度运动补偿中原来需要的H264追加像素不同,因此如果使用该通过复制生成的H264追加像素进行1/4精度运动补偿,则通过解码得到的画质劣化。 
因此,在运动补偿参照目标块所表示的图像具有在进行1/4精度运动补偿时需要的所有的H264追加像素的情况下,能够防止通过解码得到的图像的画质的劣化。 
此外,在本实施方式中,在图27的参照图像生成处理A中判断为不需要追加像素的情况下(在步骤S2302、S2305、S2308、S2311全部中“否”),不生成追加像素而进行运动补偿,在判断为需要追加像素的情况下,生成追加像素,并使用生成的追加像素进行运动补偿。即,仅在需要追加像素的情况下生成追加像素,因此在不需要追加像素的情况下不进行生成追加像素的处理,因此能够进行高效的解码处理。 
因此,能够防止经常发生图像的画质的劣化,并且能够进行高效的解码处理。 
此外,在本实施方式中,例如根据突发传送的结果而附加性地取得的像素来补充仅在小数像素的插补生成中需要的像素。在仅利用附加性地取得的像素在小数像素的生成中像素不够的情况下,不使用不够的量的像素而进行小数像素的插补生成。 
由此,不需要从图像存储器中追加取得仅在小数像素的插补生成中使用的像素,能够减小图像存储器的数据传送量。 
进而,与总是不使用原来的像素而进行小数像素的插补生成的以往的方法相比,在本实施方式中,不使用原来的像素而进行小数像素的插补生成的频度减少。因此,能够减小通过解码得到的图像的画质的劣化。 
因此,通过本实施方式的处理,能够同时实现参照目标块的数据传送量的削減以及通过解码得到的图像的高画质化。 
以上,以将按照H.264标准编码的数据进行解码的图像解码装置为例说明了第2实施方式。 
在本实施方式中说明的处理与对应于MPEG2标准的第1实施方式的处理相比较,在以下方面不同。 
(1)在图像取得部1207中处理的运动补偿类型多; 
(2)根据运动矢量的值为整数还是小数,切换访问对象参照目标块的尺寸; 
(3)在上下左右的全部边上实施能否取得追加像素的判断; 
(4)作为追加像素的像素数量,对应于1个像素及2个像素的两种; 
(5)构成为在上下左右的全部边上进行未取得的追加像素的生成(插补生成); 
(6)在未取得的追加像素的生成(插补生成)中,生成在一行或一列上排列的多个像素或两行或两列上排列的多个像素。 
第2实施方式的说明是关于亮度块的,但关于色差块,也能够通过第2实施方式中记载的处理应用本发明。此外,在第2实施方式中示出的本发明的处理不过是一个例子,可以考虑对图像存储器的结构或访问方法、各块的处理分担等进行各种变形。 
例如,可以考虑使用在隔行方式和逐行方式中访问规格不同的图像存储器的结构、根据运动补偿类型来切换是否按照标准取得参照图像的结构。 
此外,作为其他例子,可以考虑在水平方向及垂直方向的任一个中适用本发明的结构、根据宏块或图片的类型来切换是否按照规格取得参照图像的结构等。 
另外,图15及图16所示的各部可以由作为集成电路的LSI实现,也可以由计算机上的软件实现。此外,对于集成化方法,可以是各功能单独地做成一个芯片,也能够以包含一部分或全部的方式做成一个芯片。进而,如果有代替LSI的集成电路化的技术,则当然也可以用该技术进行集成化。 
以上,以几个实施方式为例说明了本发明的详细内容。本发明不限定于这里记载的实施方式。在维持下述的本质的状态下,可进行各种变形,该本质为:不有意取得在小数像素的生成中需要的追加像素,而按照图像存储器的规格所表示的访问限制来访问该图像存储器,结果使用无意中取得的追加像素生成小数像素。 
例如,不仅在与第1及第2实施方式中说明的MPEG2标准或H.264标准对应的图像解码装置,在与VC1标准等对应的图像解码装置中也可以适用本发明。 
此外,本发明的图像解码装置可以用LSI实现,也可以用计算机上的软件实现。此外,对于集成化方法,可以是各功能单独地做成一个芯片,也能够以包含一部分或全部的方式做成一个芯片。进而,如果有代替LSI的集成电路化的技术,则当然也可以用该技术进行集成化。 
此外,在本发明中,通过复制运动补偿参照目标块示出的图像所表示的端部一列或端部一行的像素来生成了追加像素,但不限定于此。例如,也可以将表示运动补偿参照目标块示出的图像所表示的端部3列或端部3 行的像素的值的平均值的像素作为追加像素。 
另外,也可以根据处理的数据量来决定是否适用本发明。以下,将作为处理对象的图片称作处理对象图片。例如,在处理对象图片为HD尺寸(例如,1920×1080)或SD尺寸(720×480)的图片的情况下,也可以仅对HD尺寸的图片适用本发明。 
此外,也可以根据处理对象图片的种类来决定是否适用本发明。例如,仅在处理对象图片为B(Bidirectionally Predictive:双向预测)图片的情况下适用本发明。 
本发明的图像解码装置能够适用于将按照如MPEG2标准或H.264标准那样的活动图像编码标准来编码的数据进行解码的各种装置。适用本发明的装置例如也可以为,数字广播的接收装置、便携式电话、使用Bluray Disc(蓝光盘,注册商标)或DVD等的光盘再生装置、个人计算机等。 
图28是表示将本发明的图像解码装置适用于数字广播的接收装置中的情况的结构的图。 
图28所示的接收装置2401具备系统LSI2402、调谐器模块2403、ROM2404以及RAM2405。 
系统LSI2402从视听的频道的数字数据(比特流)中将图像和声音解码并输出。调谐器模块2403使用广播波(RF输入)接收想视听的频道的数字数据(比特流)。ROM2404存储程序及各种数据。RAM2405用作图像存储器或各种数据的存储区域。 
系统LSI2402包括CPU2406、音频解码器2407、输出控制部2408、流解码器2409、系统总线2410以及本发明的图像解码装置1000或1000A。 
CPU2406进行整体的控制等。流解码器2409将想视听的频道的数字数据(比特流)分离为声音数据及活动图像数据(影像数据)。即,流解码器2409从比特流中取得活动图像数据。 
音频解码器2407通过将声音数据进行解码而取得声音。图像解码装置1000或1000A将取得的活动图像数据通过伴随运动补偿的解码处理进行解码,从而取得活动图像。输出控制部2408将通过解码得到的活动图像(影像)及声音输出至外部。另外,输出控制部2408根据需要取得活动图像(影像)及声音的同步,或进行活动图像(影像)及声音的形式的变换。 
系统总线2410在各模块间与ROM2404或RAM2405等之间传送数据。 
在图28所示的结构中,图像解码装置1000或1000A集成在系统LSI2402上,将RAM2405用作图像存储器,但集成化方法不限于此。 
例如,图28所示的各部可以单独地做成一个芯片,也能够以包含一部分或全部的方式做成一个芯片。进而,如果有代替LSI的集成电路化的技术,则当然也可以用该技术进行集成化。 
此外,虽然以数字广播的接收装置为例进行了说明,但在便携式电话、使用Bluray Disc(注册商标)或DVD等的光盘再生装置以及个人计算机等中也能够适用本发明。 
应考虑到此次公开的实施方式在所有方面为例示,而不是限制性的。本发明的范围并不是由上述的说明示出,而是由权利要求示出,并且可以包含与请求范围等效的范围内的所有变更。 
工业上的实用性 
有关本发明的图像解码装置能够适用于例如数字广播的接收装置、便携式电话、适用Bluray Disc(注册商标)或DVD等的光盘再生装置、个人计算机等。在该情况下,适用了本发明的装置能够有效地进行活动图像的解码处理。 

Claims (16)

1.一种图像解码装置,对于通过活动图像的编码得到的编码数据,通过伴随运动补偿的解码处理进行解码,其中,
该图像解码装置具备图像存储器,该图像存储器存储作为上述运动补偿的对象的参照图片;
作为上述图像存储器的规格的访问限制为以下限制,即:在从上述图像存储器取得上述参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素;
上述图像解码装置还具备:
图像取得部,为了从上述图像存储器取得上述作为取得对象的图像,而按照上述访问限制来访问上述图像存储器,由此从上述图像存储器取得表示上述参照图片的一部分区域的图像的最小访问参照目标块,该最小访问参照目标块包括比构成上述作为取得对象的图像的像素的数量多的数量的像素,且包括上述作为取得对象的图像;
判断部,判断是否需要追加像素,该追加像素是除了构成上述最小访问参照目标块所表示的图像的多个像素以外的像素,并且是在上述运动补偿中需要的像素;
插补部,在由上述判断部判断为需要上述追加像素的情况下,进行用于生成一个以上的上述追加像素的插补处理,根据生成的上述一个以上的追加像素和上述最小访问参照目标块所表示的图像的至少一部分,生成在上述运动补偿中使用的参照图像,并输出该参照图像,在由上述判断部判断为不需要上述追加像素的情况下,将上述最小访问参照目标块所表示的图像的至少一部分作为上述参照图像输出;以及
运动补偿部,使用被输出的上述参照图像,进行上述运动补偿。
2.如权利要求1所述的图像解码装置,其中,
上述插补部利用构成上述最小访问参照目标块所表示的图像的多个像素的一部分,进行生成上述一个以上的追加像素的上述插补处理。
3.如权利要求2所述的图像解码装置,其中,
以小数像素精度进行上述运动补偿。
4.如权利要求3所述的图像解码装置,其中,
上述编码数据是按照MPEG2标准编码的数据。
5.如权利要求4所述的图像解码装置,其中,
上述插补部进行上述插补处理,该插补处理为:在上述最小访问参照目标块所表示的图像的至少一部分图像中,将在水平方向的端部的一列上排列的多个像素,作为在上述最小访问参照目标块所表示的图像的横侧一列上排列的多个上述追加像素。
6.如权利要求5所述的图像解码装置,其中,
对于图像的水平方向,以小数像素精度进行上述运动补偿。
7.如权利要求4所述的图像解码装置,其中,
上述插补部进行上述插补处理,该插补处理为:在上述最小访问参照目标块所表示的图像的至少一部分图像中,将在垂直方向的端部的一行上排列的多个像素,作为在上述最小访问参照目标块所表示的图像的纵侧一行上排列的多个上述追加像素。
8.如权利要求7所述的图像解码装置,其中,
对于图像的垂直方向,以小数像素精度进行上述运动补偿。
9.如权利要求3所述的图像解码装置,其中,
上述编码数据是按照H.264标准编码的数据。
10.如权利要求9所述的图像解码装置,其中,
上述插补部进行上述插补处理,该插补处理为:在上述最小访问参照目标块所表示的图像的至少一部分图像中,将在水平方向的端部的一列上排列的多个像素,作为在上述最小访问参照目标块所表示的图像的横侧一列或横侧两列上排列的多个上述追加像素。
11.如权利要求10所述的图像解码装置,其中,
对于图像的水平方向,以小数像素精度进行上述运动补偿。
12.如权利要求9所述的图像解码装置,其中,
上述插补部进行上述插补处理,该插补处理为:在上述最小访问参照目标块所表示的图像的至少一部分图像中,将在垂直方向的端部的一行上排列的多个像素,作为在上述最小访问参照目标块所表示的图像的纵侧一行或纵侧两行上排列的多个上述追加像素。
13.如权利要求12所述的图像解码装置,其中,
对于图像的垂直方向,以小数像素精度进行上述运动补偿。
14.一种图像解码方法,是图像解码装置所进行的图像解码方法,上述图像解码装置对于通过活动图像的编码得到的编码数据,通过伴随运动补偿的解码处理进行解码,并具备存储作为上述运动补偿的对象的参照图片的图像存储器,其中,
作为上述图像存储器的规格的访问限制为以下限制,即:在从上述图像存储器取得上述参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素;
该图像解码方法包括:
图像取得步骤,为了从上述图像存储器取得上述作为取得对象的图像,而按照上述访问限制来访问上述图像存储器,由此从上述图像存储器取得表示上述参照图片的一部分区域的图像的最小访问参照目标块,该最小访问参照目标块包括比构成上述作为取得对象的图像的像素的数量多的数量的像素,且包括上述作为取得对象的图像;
判断步骤,判断是否需要追加像素,该追加像素是除了构成上述最小访问参照目标块所表示的图像的多个像素以外的像素,并且是在上述运动补偿中需要的像素;
插补步骤,在通过上述判断步骤判断为需要上述追加像素的情况下,进行用于生成一个以上的上述追加像素的插补处理,根据生成的上述一个以上的追加像素和上述最小访问参照目标块所表示的图像的至少一部分,生成在上述运动补偿中使用的参照图像,并输出该参照图像,在通过上述判断步骤判断为不需要上述追加像素的情况下,将上述最小访问参照目标块所表示的图像的至少一部分作为上述参照图像来输出;以及
运动补偿步骤,使用被输出的上述参照图像,进行上述运动补偿。
15.一种集成电路,对于通过活动图像的编码得到的编码数据,通过伴随运动补偿的解码处理进行解码,其中,
该集成电路具备图像存储器,该图像存储器存储作为上述运动补偿的对象的参照图片;
作为上述图像存储器的规格的访问限制为以下限制,即:在从上述图像存储器取得上述参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素;
上述集成电路还具备:
图像取得部,为了从上述图像存储器取得上述作为取得对象的图像,而按照上述访问限制来访问上述图像存储器,由此从上述图像存储器取得表示上述参照图片的一部分区域的图像的最小访问参照目标块,该最小访问参照目标块包括比构成上述作为取得对象的图像的像素的数量多的数量的像素,且包括上述作为取得对象的图像;
判断部,判断是否需要追加像素,该追加像素是除了构成上述最小访问参照目标块所表示的图像的多个像素以外的像素,并且是在上述运动补偿中需要的像素;
插补部,在由上述判断部判断为需要上述追加像素的情况下,进行用于生成一个以上的上述追加像素的插补处理,根据生成的上述一个以上的追加像素和上述最小访问参照目标块所表示的图像的至少一部分,生成在上述运动补偿中使用的参照图像,并输出该参照图像,在由上述判断部判断为不需要上述追加像素的情况下,将上述最小访问参照目标块所表示的图像的至少一部分作为上述参照图像输出;以及
运动补偿部,使用被输出的上述参照图像,进行上述运动补偿。
16.一种接收装置,使用广播波来接收比特流,具备:
数据取得部,从上述比特流取得活动图像数据;
图像解码部,对于取得的上述活动图像数据,通过伴随运动补偿的解码处理进行解码,由此取得活动图像;以及
输出控制部,输出上述活动图像;
上述图像解码部包括图像存储器,该图像存储器存储作为上述运动补偿的对象的参照图片,
作为上述图像存储器的规格的访问限制为以下限制,即:在从上述图像存储器取得上述参照图片的一部分区域的作为取得对象的图像的情况下,该限制用于取得构成该作为取得对象的图像的像素的数量以上的数量的像素;
上述图像解码部还具备:
图像取得部,为了从上述图像存储器取得上述作为取得对象的图像,而按照上述访问限制来访问上述图像存储器,由此从上述图像存储器取得表示上述参照图片的一部分区域的图像的最小访问参照目标块,该最小访问参照目标块包括比构成上述作为取得对象的图像的像素的数量多的数量的像素,且包括上述作为取得对象的图像;
判断部,判断是否需要追加像素,该追加像素是除了构成上述最小访问参照目标块所表示的图像的多个像素以外的像素,并且是在上述运动补偿中需要的像素;
插补部,在由上述判断部判断为需要上述追加像素的情况下,进行用于生成一个以上的上述追加像素的插补处理,根据生成的上述一个以上的追加像素和上述最小访问参照目标块所表示的图像的至少一部分,生成在上述运动补偿中使用的参照图像,并输出该参照图像,在由上述判断部判断为不需要上述追加像素的情况下,将上述最小访问参照目标块所表示的图像的至少一部分作为上述参照图像输出;以及
运动补偿部,使用被输出的上述参照图像,进行上述运动补偿。
CN2009801109051A 2008-03-31 2009-03-16 图像解码装置、图像解码方法、集成电路及接收装置 Expired - Fee Related CN101981935B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-091088 2008-03-31
JP2008091088 2008-03-31
PCT/JP2009/001153 WO2009122659A1 (ja) 2008-03-31 2009-03-16 画像復号装置、画像復号方法、集積回路および受信装置

Publications (2)

Publication Number Publication Date
CN101981935A CN101981935A (zh) 2011-02-23
CN101981935B true CN101981935B (zh) 2012-11-21

Family

ID=41135068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801109051A Expired - Fee Related CN101981935B (zh) 2008-03-31 2009-03-16 图像解码装置、图像解码方法、集成电路及接收装置

Country Status (5)

Country Link
US (1) US20110032993A1 (zh)
EP (1) EP2252064B1 (zh)
JP (1) JP5367696B2 (zh)
CN (1) CN101981935B (zh)
WO (1) WO2009122659A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7924914B2 (en) * 2005-09-20 2011-04-12 Intel Corporation Dynamically configuring a video decoder cache for motion compensation
KR100994983B1 (ko) * 2008-11-11 2010-11-18 한국전자통신연구원 고속 움직임 탐색 장치 및 그 방법
JP5890794B2 (ja) * 2013-02-28 2016-03-22 株式会社東芝 画像処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652608A (zh) * 2004-02-05 2005-08-10 索尼株式会社 数据处理装置及其方法以及编码装置和解码装置
CN101072348A (zh) * 2006-05-09 2007-11-14 株式会社东芝 图像解码装置以及图像解码方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965644B2 (en) * 1992-02-19 2005-11-15 8×8, Inc. Programmable architecture and methods for motion estimation
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
JPH11346368A (ja) 1998-04-03 1999-12-14 Matsushita Electric Ind Co Ltd 画像処理方法,画像処理装置,及びデ―タ記憶媒体
JP2002112163A (ja) * 2000-09-28 2002-04-12 Mitsubishi Electric Corp 画像データ記憶装置及びその画像データ格納方法
WO2004102971A1 (en) * 2003-05-19 2004-11-25 Koninklijke Philips Electronics N.V. Video processing device with low memory bandwidth requirements
JP4436782B2 (ja) 2004-05-14 2010-03-24 パナソニック株式会社 動き補償装置
US7881376B2 (en) * 2004-05-14 2011-02-01 Panasonic Corporation Motion compensation apparatus
TWI256776B (en) * 2005-10-25 2006-06-11 Novatek Microelectronics Corp Method and apparatus for calculating cost functions and the interpolation method thereof
JP2007129370A (ja) * 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 動きベクトル検出装置及び方法
JP2007274383A (ja) * 2006-03-31 2007-10-18 Oki Electric Ind Co Ltd 画像処理用データ転送回路
KR100827093B1 (ko) * 2006-10-13 2008-05-02 삼성전자주식회사 영상 부호화 방법 및 장치
US20090135901A1 (en) * 2007-11-28 2009-05-28 The Hong Kong University Of Science And Technology Complexity adaptive video encoding using multiple reference frames

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652608A (zh) * 2004-02-05 2005-08-10 索尼株式会社 数据处理装置及其方法以及编码装置和解码装置
CN101072348A (zh) * 2006-05-09 2007-11-14 株式会社东芝 图像解码装置以及图像解码方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2007-129370A 2007.05.24
JP特开2007-274383A 2007.10.18
JP特开平11-346368A 1999.12.14

Also Published As

Publication number Publication date
JP5367696B2 (ja) 2013-12-11
EP2252064B1 (en) 2014-03-05
US20110032993A1 (en) 2011-02-10
WO2009122659A1 (ja) 2009-10-08
CN101981935A (zh) 2011-02-23
EP2252064A1 (en) 2010-11-17
JPWO2009122659A1 (ja) 2011-07-28
EP2252064A4 (en) 2011-04-20

Similar Documents

Publication Publication Date Title
CN105103549B (zh) 一种数据编码方法、数据解码方法及计算机可读介质
RU2654503C1 (ru) Способ и устройство для внутреннего предсказания видео
CN105379283B (zh) 数据编码和解码
US7978768B2 (en) Recompression method and apparatus for video data
CN103460694B (zh) 图像解码装置、图像编码装置以及编码数据的数据构造
CN102792696B (zh) 动态图像预测编码装置、动态图像预测编码方法、动态图像预测解码装置、动态图像预测解码方法
CN101248430B (zh) 视频处理的转置缓冲
CN100508585C (zh) 用于控制数字视频比特流逆向播放的装置和方法
CN106028030A (zh) 动图像解码装置以及动图像解码方法
CN101127906A (zh) 去块滤波器、图像编码器和图像解码器
CN104255029A (zh) 产生用于不同的颜色取样格式的子像素值
CN104272736A (zh) 用于对游长编码变换系数进行熵编码的上下文确定
GB2519070A (en) Data encoding and decoding
CN104780384A (zh) 解码视频帧的序列的方法、编码多视图帧的序列的方法
US8249182B2 (en) Decoding circuit, decoding method, encoding circuit, and encoding method
WO2013068731A1 (en) Data encoding and decoding
CN110278442A (zh) 用于对恢复的图像执行滤波的图像处理装置及其滤波方法
CN101981935B (zh) 图像解码装置、图像解码方法、集成电路及接收装置
CN102100071A (zh) 图像处理设备和方法
US9723308B2 (en) Image processing apparatus and image processing method
CN103109535B (zh) 图像再生方法、图像再生装置、摄像系统及再生系统
US8594185B2 (en) Image coding apparatus and image coding method
MXPA05005916A (es) Codificador escalable hibrido, metodo y medios para formatos de video de alta definicion y de definicion estandar en un unico disco.
US7929777B2 (en) Variable length decoding device, variable length decoding method and image capturing system
US7542612B2 (en) Signal processing method and signal processing device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121121

Termination date: 20200316

CF01 Termination of patent right due to non-payment of annual fee