CN102550030A - 图像解码装置、图像编码装置、及其方法、程序、集成电路以及代码转换装置 - Google Patents

Abstract

一种图像解码装置(C100)，能够在提高解码效率的同时减少存储器访问的次数，具备：分割部(C101)，将图片分割为第一以及第二编码图像数据；第一以及第二解码部(C103，C104)，对第一以及第二编码图像数据进行并行解码，并存放到帧存储部(C102)，第一以及第二解码部(C103，C104)分别利用第二或第一解码结果信息来对第一或第二编码图像数据进行解码，将通过解码而被生成的第一或第二解码结果信息存放到信息存储部(C105)，在对解码对象的宏块进行解码时，对第二或第一解码结果信息和作为解码对象的宏块进行图像处理，所述第二或第一解码结果信息是属于与该解码对象的宏块所属的宏块行相邻的其他的宏块行的、被解码的其他的宏块的至少一部分。

Description

图像解码装置、图像编码装置、及其方法、程序、集成电路以及代码转换装置

技术领域

本发明涉及对被编码的图像进行解码的图像解码装置以及对图像进行编码的图像编码装置等，尤其涉及并行进行解码的图像解码装置以及并行进行编码的图像编码装置等。

背景技术

对运动图像进行编码的图像编码装置将构成运动图像的各个图片分割为由16×16像素构成的宏块，并按照每个宏块对该运动图像进行编码。并且，图像编码装置生成示出被编码的运动图像的编码流。图像解码装置将该编码流解码为宏块单位，并再生原来的运动图像的各个图片。

作为以往的编码方式其中之一的是ITU-T(国际电信联盟远程通信标准化组织)H.264标准(例如参照非专利文献1)。在H.264标准中采用可变长编码，在可变长编码中各个宏块被编码为可变长。并且，在H.264标准中，在画面内预测、运动矢量的算出、以及解块滤波处理等各种处理中，在编码对象或解码对象的宏块与该宏块所相邻的其他的宏块之间具有数据的依存关系。

图47示出了数据的依存关系。

如图47所示，在解码对象宏块MBx的画面内预测中，采用与该解码对象宏块MBx相邻的宏块MBa-MBd的像素。同样，解码对象宏块MBx的运动矢量的算出中也采用与该解码对象宏块MBx相邻的宏块MBa-MBd的运动矢量。并且，在解码对象宏块MBx的解块滤波处理中，采用与该解码对象宏块MBx相邻的宏块MBa、MBb的像素。

因此，在该H.264中通常是需要要从编码流的开头一侧开始按顺序对图片中所包含的各个宏块进行解码。即，在采用H.264的图像解码装置以及图像编码装置中，通常不能实现通过并行处理的解码或编码的高速化，因此不得不通过提高动作频率(时钟数)来实现高速化。

另外，在现有技术中提出了解决这种问题的方法(例如，参照专利文献1)。

图48A是示出上述专利文献1中的图像解码装置的构成的图。

如该图48A所示，在上述专利文献1的图像解码装置1000中，两个解码部(编解码单元)1300a和1300b并行工作。以此来提高性能。具体而言，流解析部1100将编码流提供给两个解码部1300a和1300b，宏块流水线控制部1200控制两个解码部1300a和1300b的流水线工作。在此，解码部1300a和1300b分别具备：进行可变长解码的VCL1301、进行逆量化以及逆频率变换的TRF1302、以及进行运动补偿的MC1303。即，解码部1300a和1300b分别通过执行可变长解码、逆量化和逆频率变换、运动补偿，从而对解码对象的宏块进行解码(画面间预测解码)。

图48B是用于说明在上述专利文献1中的图像解码装置1000的工作的说明图。

在上述专利文献1中，如图48B所示，宏块流水线控制部1200将由解码部1300a和1300b解码的宏块的位置，在水平方向上移动两个宏块(在垂直方向上一个宏块)。并且，宏块流水线控制部1200使针对两个解码对象宏块的每一个的解码部分处理(可变长解码、逆量化以及逆频率变换、运动补偿中的任一个处理)，按照各个TS(时间间隙)时间，在该TS时间内由解码部1300a和1300b来执行。即，宏块流水线控制部1200控制解码部1300a和1300b，以便以规定的期间为单位，使解码部1300a和1300b能够在该期间内对一个宏块进行解码，换而言之，以便能够以宏块为单位来同步工作。据此，能够在维持数据的依存关系的状态下进行利用了并行处理的解码。

(现有技术文献)

(专利文献)

专利文献1日本特开2008-42571号公报

非专利文献1Thomas Wiegand et al，“Overview of the H.264/AVC VideoCoding Standard”，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMSFOR VIDEO TECHNOLOGY，JULY 2003，PP.1-19.

但是，在上述的专利文献1的图像解码装置1000中所出现的问题是，阻碍了解码效率的提高。

具体而言，在上述的专利文献1的图像解码装置1000中，通过两个解码部1300a和1300b所并行执行的处理仅是，解码所需要的处理中的可变长解码、逆量化和逆频率变换、运动补偿。在此，解块滤波处理是，不仅变更一侧的解码部所处理的处理对象的宏块的像素值，而且还变更另一侧的解码部所处理的宏块的像素值。这样的解块滤波处理一般是，针对解码对象宏块及其周边的宏块进行上述的可变长解码等处理，在将这些宏块的重构图像存放到帧存储器内后，对各个宏块依次进行。其结果是，需要解块滤波处理的所要时间，在此之间由于不能进行其他的处理，因此不能充分实现整体解码的高速化。其结果是，阻碍了解码效率的提高。

并且，由两个解码部1300a和1300b处理的宏块被存放在帧存储器，需要读出被存放在该帧存储器中的宏块后才能进行解块滤波处理。因此，向帧存储器访问的次数会增多。

发明内容

在此，本发明为了解决上述问题，目的在于提供一种在提高解码效率或编码效率的同时，减少存储器访问次数的图像解码装置以及图像编码装置。

为了达成上述的目的，本发明的一个实施例所涉及的图像解码装置对编码图像数据进行解码，所述编码图像数据包含被编码后的图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，所述图像解码装置包括：分割部，按照构成所述图片的至少一个宏块行，通过至少将该一个宏块行分配给第一编码图像数据或第二编码图像数据的一部分，从而将所述图片分割为第一编码图像数据以及第二编码图像数据；以及第一解码部和第二解码部，对分别包含在所述第一编码图像数据和所述第二编码图像数据中的、所述图片内彼此相邻的宏块行进行并行解码，并存放到帧存储部；所述第一解码部，利用被存放在信息存储部中的第二解码结果信息，对所述第一编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为第一解码结果信息存放到所述信息存储部；在对所述第一编码图像数据中所包含的作为解码对象的宏块进行解码之时，针对所述第二解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、由所述第二解码部解码的其他的宏块的至少一部分；所述第二解码部，利用被存放在所述信息存储部中的所述第一解码结果信息，对所述第二编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为所述第二解码结果信息存放到所述信息存储部；在对所述第二编码图像数据中所包含的作为解码对象的宏块进行解码之时，针对所述第一解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、由所述第一解码部解码的其他的宏块的至少一部分。

例如，所述第一解码部，通过进行所述图像处理，从而使由所述第二解码结果信息所示的、被解码的所述其他的宏块的至少一部分的像素值发生变化；所述第二解码部，通过进行所述图像处理，从而使由所述第二解码结果信息所示的、被解码的所述其他的宏块的至少一部分的像素值发生变化。具体而言，所述第一解码部，将解块滤波处理作为所述图像处理，来对所述第二解码结果信息和作为所述解码对象的宏块执行；所述第二解码部，将解块滤波处理作为所述图像处理，来对所述第二解码结果信息和作为所述解码对象的宏块执行。

据此，即使像跨越宏块行而进行的解块滤波处理这样的图像处理，也能够针对第一以及第二编码图像数据(分割流)并行进行，因此能够期待提高整体的解码的高速化，从而能够提高解码性能或解码效率。

并且，宏块在由第一或第二解码部解码，并被存放到帧存储部(帧存储器)之后，对于该宏块的解块滤波处理已经被执行。因此，在宏块被存放在帧存储部之后，则不需要为了进行解块滤波处理，而特意地从帧存储部中读出宏块。这样，能够减少向帧存储部C102的访问次数。

并且，在本发明的一个实施例所涉及的图像解码装置中，编码图像数据(编码流)被分割为第一以及第二编码图像数据(分割流)，并且该第一以及第二编码图像数据分别由第一以及第二解码部并行解码，因此能够省略对由各个解码部进行解码的定时进行集中控制的上述专利文献1中的宏块流水线控制部。而且，即使在图像解码装置具备将编码图像数据分割为三个以上的数据，并对这些数据进行并行解码的多个解码部的情况下，也不需要设置上述专利文献1那样的宏块行控制部与解码部之间的信号线，能够实现简单地图像解码装置。并且，在本发明的一个实施例的图像解码装置中，由于H.264标准中的数据依存关系而需要的第一以及第二解码结果信息(周边信息)，能够通过信息存储部(周边信息存储部)而在第一以及第二解码部之间被收发。因此，第一以及第二解码部在各自进行解码时所需要的第一或第二解码结果信息被存放到信息存储部的情况下，无需等待另一方的解码部所进行的解码，而能够利用被存放的第一或第二解码结果信息继续进行第一或第二图像数据的解码。其结果是，能够抑制像上述专利文献1的图像解码装置那样中断解码而发生的时间损失，并且能够提高解码效率。

并且，所述图像解码装置还包括具有第一信息存储部和第二信息存储部的所述信息存储部；所述第一解码部，从所述第一信息存储部读出所述第二解码结果信息以用于所述第一编码图像数据的解码，将所述第一解码结果信息存放到所述第二信息存储部；所述第二解码部，从所述第二信息存储部读出所述第一解码结果信息以用于所述第二编码图像数据的解码，将所述第二解码结果信息存放到所述第一信息存储部。

据此，由于具备第一以及第二信息存储部，并且第二解码结果信息被存放到第一信息存储部，第一解码结果信息被存放到第二信息存储部，因此能够分散进行从第一以及第二解码部像各个信息存储部的访问。这样，能够抑制第一以及第二信息存储部各自所需的访问性能，并能够容易地实现图像解码装置。

并且，也可以是，所述分割部按照每个宏块行，通过将该宏块行分配到第一或第二编码图像数据的一部分，从而将所述图片分割为第一以及第二编码图像数据。

据此，由于以宏块行为单位图片被分配到第一或第二编码图像数据，因此能够对H.264标准的非MBAFF结构的编码图像数据进行恰当地解码。

并且，所述分割部，在所述图片以宏块自适应帧/场的结构而被编码的情况下，按照构成所述图片的彼此相邻的两个宏块行，通过将该两个宏块行分配给第一编码图像数据的一部分或第二编码图像数据的一部分，从而对所述图片进行分割。

据此，由于能够以彼此相邻的两个宏块行为单位图片被分配到第一或第二编码图像数据，因此能够对H.264标准的MBAFF结构的编码图像数据进行恰当地解码。

并且，所述第一解码部以及所述第二解码部，通过所述第一信息存储部以及所述第二信息存储部进行彼此同步的解码。

据此，能够减少用于使多个解码部并行工作的同步信号。这样，能够容易地增加解码部，并能够容易地提高解码性能。

并且，所述第一解码部，在所述第一编码图像数据中的、作为解码对象的宏块的解码时所需要的所述第二解码结果信息没有被存放到所述第一信息存储部的情况下，直到所述第二解码结果信息被存放为止，等待针对作为所述解码对象的宏块的解码，当所述第二解码结果信息被存放时，开始针对作为所述解码对象的宏块的解码；所述第二解码部，在所述第二编码图像数据中的、作为解码对象的宏块的解码时所需要的所述第一解码结果信息没有被存放到所述第二信息存储部的情况下，直到所述第一解码结果信息被存放为止，等待针对作为所述解码对象的宏块的解码，当所述第一解码结果信息被存放时，开始针对作为所述解码对象的宏块的解码。

据此，在第一以及第二解码部，解码对象的宏块的解码被同步，当解码对象宏块的解码中所需的解码结果信息被存放到信息存储部时，则开始解码对象的宏块的解码，因此能够消除空闲时间，高效率地对编码图像数据进行解码。并且，能够抑制各个解码部的动作频率。

并且，所述图像解码装置还包括：第一开关，将所述第一信息存储部所存放的信息切换为第一信息和第二信息；以及第二开关，将所述第二信息存储部所存放的信息切换为第三信息和第四信息；在所述第一信息存储部中所存放的信息由所述第一开关切换为所述第一信息，且所述第二信息存储部中所存放的信息由所述第二开关切换为所述第三信息之时，所述第一解码部，将所述第一解码结果信息作为所述第三信息存放到所述第二信息存储部，所述第二解码部，将所述第二解码结果信息作为所述第一信息存放到所述第一信息存储部；在所述第一信息存储部中所存储的信息由所述第一开关切换为所述第二信息，且所述第二信息存储部中所存储的信息由所述第二开关切换为所述第四信息之时，所述第一解码部，进一步，从所述第一信息存储部中读出所述第二信息，以用于其他的编码图像数据的解码，将通过该解码而被生成的信息的一部分作为新的第二信息存放到所述第一信息存储部，所述第二解码部，进一步，从所述第二信息存储部中读出所述第四信息，以用于所述编码图像数据的解码，将通过该解码而被生成的信息的一部分作为新的第四信息存放到所述第二信息存储部。

据此，被存放在第一以及第二信息存储部的信息在由第一以及第二开关分别切换为第一以及第三信息之时，第一以及第二编码图像数据并并行解码，被存放在第一以及第二信息存储部的信息在由第一以及第二开关分别被切换为第二以及第四信息之时，编码图像数据和其他的编码图像数据被同时解码。因此，能够对通过第一以及第二开关对一个编码图像数据进行分割并进行并行的解码处理、与同时解码独立的两个编码图像数据的处理进行切换，因此能够提高图像解码装置的便利性。

并且，所述图像解码装置还具备开关，该开关，将成为由所述分割部分割的对象的数据，切换为所述编码图像数据和其他的编码图像数据；所述分割部，在成为分割对象的数据由所述开关切换为所述编码图像数据之时，分割所述编码图像数据的图片，在成为分割对象的数据由所述开关切换为所述其他的编码图像数据之时，分割所述其他的编码图像数据的图片。

据此，能够对两个编码图像数据在时间上进行切换并进行解码。例如，在编码图像数据中所包含的图片被解码时，成分分割对象的数据则被切换为其他的编码图像数据。这样，其他的编码图像数据中所包含的图片被分割并被解码。之后，成为分割对象的数据再次被切换为编码图像数据。这样，以图片为单位来进行切换，从而能够同时对两个编码图像数据进行解码。

并且，所述图像解码装置还包括图像输出部，该图像输出部从所述帧存储部读出作为被解码的所述第一编码图像数据以及所述第二编码图像数据的运动图像，对所述运动图像中包含的图片进行抽选，将被抽选了图片的所述运动图像输出到所述显示装置，以使所述显示装置以被设定的帧率来显示所述运动图像。

据此，编码图像数据被高速解码，通过该解码而生成的运动图像中所包含的图片被挑选，并通过将被挑选了图片的运动图像输出到显示装置，从而能够使显示装置显示连贯的快速再生的运动图像。通过由两个解码部来解码编码图像数据，从而例如能够以通常的两倍的帧率来对图片进行解码。另外，在显示装置被设定成以通常的帧率来进行图片的显示。在这种情况下，在本发明的一个实施例所涉及的图像解码装置，为了能够以被设定在显示装置的帧率来显示运动图像，因此被存放在帧存储部的运动图像的图片以两张中就有一张的比例被抽选并被输出，从而能够将上述的快速再生的运动图像显示在显示装置。

并且，所述帧存储部包括第一帧存储部和第二帧存储部；所述第一解码部从所述第一帧存储部读出在所述第一编码图像数据的解码时所参考的参考图像，将被解码的所述第一编码图像数据写入到所述第一帧存储部以及所述第二帧存储部；所述第二解码部从所述第二帧存储部读出在所述第二编码图像数据的解码时所参考的参考图像，将被解码的所述第二编码图像数据写入到所述第一帧存储部以及所述第二帧存储部。

据此，由于具备第一以及第二帧存储部，因此由第一解码部读出的参考图像被存放到第一帧存储部，由第二解码部读出的参考图像被存放到第二帧存储部，这样能够分散第一以及第二解码部向各个帧存储部的访问，并能够降低每个帧存储部的参考图像的传输量。这样，能够对第一以及第二帧存储部所需要的访问性能进行分别抑制，并能够容易实现第一以及第二帧存储部，从而以低成本来实现图像解码装置。

并且，为了达成上述的目的，本发明的一个实施例所涉及的图像编码装置对图像数据进行编码，所述图像数据包含图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，所述图像编码装置包括：第一编码部和第二编码部，通过从帧存储部中读出所述图像数据中所包含的第一图像数据和第二图像数据，并进行并行编码，从而生成第一编码图像数据和第二编码图像数据；以及结合部，对所述第一编码图像数据和所述第二编码图像数据进行结合，以使由所述第一编码部和所述第二编码部生成的第一编码图像数据和第二编码图像数据中所分别包含的宏块行在所述图片内彼此相邻；所述第一编码部，利用被存放在信息存储部中的第二编码结果信息，对所述第一编码图像数据进行编码，将通过该编码而被生成的信息的一部分作为第一编码结果信息存放到所述信息存储部；在对所述第一图像数据中所包含的作为编码对象的宏块进行编码之时，针对所述第二编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、由所述第二编码部编码的其他的宏块的至少一部分；所述第二编码部，利用被存放在所述信息存储部中的所述第一编码结果信息，对所述第二图像数据进行编码，将通过该编码而被生成的信息的一部分作为所述第二编码结果信息存放到所述信息存储部；在对所述第二图像数据中所包含的作为编码对象的宏块进行编码之时，针对所述第一编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第一编码结果信息的至少一部分存放到所述帧存储部，所述第一编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、其他的宏块的至少一部分。

这样，由于像这种跨越宏块行而被解块滤波处理的图像处理也能够针对第一以及第二图像数据并行执行，因此能够实现整体的编码的高速化，其结果是能够提高编码性能或编码效率。

并且，宏块在由第一或第二编码部存放到帧存储部(帧存储器)之后，进行针对该宏块的解块滤波处理等图像处理。因此，在宏块被存放在帧存储部之后，则不需要为了进行图像处理，而特意地从帧存储部中读出宏块。这样，能够减少向帧存储部的访问次数。

并且，在本发明所涉及的图像解码装置，由于图像数据(图像)中所包含的第一以及第二图像数据被并行编码并被结合，因此能够省略对由各个编码部进行编码的定时进行集中控制的控制部。并且，即使在图像编码装置具备对图像数据的一部分进行编码的多个编码部的情况下，也无需在上述的控制部与各个编码部之间铺设信号线，从而能够简单地安装图像编码装置。并且，在本发明的一个实施例的图像解码装置中，由于H.264标准中的数据依存关系而需要的第一以及第二编码结果信息(周边信息)，能够通过信息存储部(周边信息存储部)而在第一以及第二解码部之间被收发。因此，第一以及第二编码部在各自进行编码时所需要的第一或第二编码结果信息被存放到信息存储部的情况下，无需等待另一方的编码部所进行的编码，而能够利用被存放的第一或第二编码结果信息继续进行第一或第二图像数据的编码。这样，能够抑制在编码过程中发生中断而产生时间损失，从而能够提高编码效率。并且，通过使多个编码部并行工作，从而能够高速地进行编码，并能够提高处理性能。

另外，本发明不仅可以作为这样的图像解码装置以及图像编码装置来实现，而且可以作为这些处理工作的方法、使计算机执行这些处理工作的程序、存放这些程序的记录介质、具有这些装置的一部分或全部功能的集成电路、以及包括这些装置的一方或双方的代码转换装置来实现。

本发明的图像解码装置以及图像编码装置能够在提高解码效率或编码效率的同时，减少存储器访问次数。

附图说明

图1是示出本发明的实施例1所涉及的图像解码装置的构成的图。

图2是示出本发明的实施例1所涉及的解码部的构成的图。

图3A是示出本发明的实施例1所涉及的图像解码装置所解码的流(图片)的结构的说明图。

图3B是示出本发明的实施例1所涉及的图像解码装置所解码的流的结构的说明图。

图4A是示出本发明的实施例1所涉及的进行并行工作的解码部的处理分担的说明图。

图4B是示出本发明的实施例1所涉及的进行并行工作的解码部的处理分担(分割流)的说明图。

图4C是示出本发明的实施例1所涉及的进行并行工作的解码部的处理分担(分割流)的说明图。

图5A是示出由本发明的实施例1所涉及的解码部所并行解码的两个解码对象宏块的位置的说明图。

图5B是示出由本发明的实施例1所涉及的解码部所并行解码的两个解码对象宏块的位置的说明图。

图6是示出本发明的实施例1所涉及的图像解码装置的解码部所进行的片的解码的流程图。

图7是示出本发明的实施例1所涉及的图像解码装置的解码部所进行的宏块解码处理的流程图。

图8是示出本发明的实施例1所涉及的图像解码装置的解码部所进行的宏块解码处理的流程图。

图9是示出本发明的实施例1所涉及的运动矢量的算出方法的说明图。

图10是示出本发明的实施例1所涉及的画面内预测的说明图。

图11是示出本发明的实施例1所涉及的再构成图像的写入的说明图。

图12A是示出本发明的实施例1所涉及的解块滤波处理的说明图。

图12B是示出本发明的实施例1所涉及的解块滤波处理的说明图。

图12C是示出本发明的实施例1所涉及的解块滤波处理的说明图。

图13是示出本发明的实施例1所涉及的解块滤波图像的写入的说明图。

图14是示出来自本发明的实施例1所涉及的来自图像解码装置的周边信息存储器的周边信息的读出处理的流程图。

图15是示出向本发明的实施例1所涉及的图像解码装置的周边信息存储器的周边信息的写入处理的流程图。

图16是示出由本发明的实施例1所涉及的解码部向帧存储器写入的解码图像的范围的说明图。

图17是示出成为本发明的实施例1所涉及的解码部的解码对象的、编码流为MBAFF结构的情况下的宏块行的说明图。

图18是示出由本发明的实施例1所涉及的解码部写入到帧存储器的、编码流成为MBAFF结构的情况下的解码图像的范围的说明图。

图19A是示出本发明的实施例1所涉及的图像解码装置中的、编码流为非MBAFF结构的情况下的宏块被处理的定时的说明图。

图19B是示出以往的图像解码装置中的、编码流为非MBAFF结构的情况下的宏块被处理的定时的说明图。

图20是示出本发明的实施例2所涉及的图像解码装置的构成的图。

图21是示出本发明的实施例2所涉及的编码流的分割的说明图。

图22是示出本发明的实施例3所涉及的图像解码装置的构成的图。

图23是示出本发明的实施例4所涉及的图像解码装置的构成的图。

图24是示出本发明的实施例4所涉及的图像解码装置进行分时并行解码处理的说明图。

图25是示出本发明的实施例5所涉及的图像解码装置的构成的图。

图26是示出本发明的实施例5所涉及的图像解码装置的图像输出部的工作的说明图。

图27是示出本发明的实施例6所涉及的图像解码装置的构成的图。

图28是示出本发明的实施例7所涉及的图像编码装置的构成的图。

图29是示出本发明的实施例8所涉及的代码转换装置的构成的图。

图30是示出本发明的实施例9所涉及的图像解码装置的构成的图。

图31是示出本发明的实施例10所涉及的图像解码装置的构成的图。

图32是示出本发明的实施例11所涉及的图像解码装置的构成的图。

图33是实现本发明的实施例12所涉及的内容分发服务的内容供给系统的整体构成图。

图34是本发明的实施例12所涉及的数字广播用系统的整体构成图。

图35是本发明的实施例12所涉及的电视机构成例子的方框图。

图36是示出本发明的实施例12所涉及的信息再生记录部的构成例子的方框图。

图37是示出本发明的实施例12所涉及的作为光盘的记录媒体的结构例子的图。

图38是示出实现本发明的实施例13所涉及的图像解码装置的集成电路的构成例子的图。

图39是本发明的一个实施例所涉及的图像解码装置的构成图。

图40是本发明的一个实施例所涉及的图像解码装置的工作的流程图。

图41是本发明的其他的形态所涉及的集成电路的构成图。

图42是本发明的其他的形态所涉及的图像解码装置的构成图。

图43是本发明的其他的形态所涉及的图像解码装置的构成图。

图44是本发明的一个形态所涉及的图像编码装置的构成图。

图45是本发明的一个形态所涉及的图像编码装置的工作的流程图。

图46是本发明的一个形态所涉及的代码转换装置的构成图。

图47是示出在H.264标准中的数据依存关系的图。

图48A是以往的图像解码装置的构成图。

图48B是以往的图像解码装置的工作的说明图。

具体实施方式

以下，参照附图对本发明的实施例中的图像解码装置以及图像编码装置进行说明。

(实施例1)

(1-1.概要)

首先，对本发明的实施例1中的图像解码装置的概要进行说明。

在本实施例中的图像解码装置，通过对图像编码而生成的编码流由流分割部读出，并分割成能够以两个解码部并行进行解码，通过分割而被生成的两个分割流被分别存放在两个缓冲器中。两个解码部分别读出被存放在缓冲器的分割流，并进行解码。此时，两个解码部的每一个将另一方的解码部的解码结果的一部分通过周边信息存储器来参考，从而能够在取得与另一方的解码部同步的情况下对分割流进行解码。

(1-2.构成)

以下，对本发明的实施例的图像解码装置的构成进行说明。

图1是本实施例的图像解码装置的构成图。

本实施例的图像解码装置100包括：对编码流进行缓冲的CPB(CodedPicture Buffer：编码图像缓存区)1；对编码流进行分割的流分割部2；用于存放通过分割而生成的分割流的缓冲器3和4；通过可变长解码、逆频率变换、以及运动补偿等进行解码的解码部5和6；用于存放周边宏块的解码结果的一部分的、被用于解码对象宏块的解码的周边信息的周边信息存储器7和8；用于在解码部5和6与周边信息存储器7和8之间进行数据传输的传输部9和10；以及用于存放被解码的分割流(解码图像)的帧存储器11。并且，解码部5、解码部6、周边信息存储器7、周边信息存储器8、传输部9以及传输部10被统称为并行解码部60。并且，周边宏块是指，与解码对象宏块的左上、上、右上以及左侧相邻的宏块。在这些周边宏块中，除了与左侧相邻的宏块以外，其余的三个宏块的解码结果的一部分作为上述的周边信息，由传输部9和10传输。

图2是本实施例的解码部5的构成图。并且，对于图2与图1相同的构成要素省略说明。并且，在图2中为了说明上的方便，将传输部9分成了两个。

解码部5包括：进行可变长解码的可变长解码部12；进行逆量化处理的逆量化部13；进行逆频率变换处理的逆频率变换部14；从逆频率变换处理后的数据(差分图像)和通过运动补偿或画面内预测而生成的预测图像中复原图像(重构图像)的重构部15；从图片内的四个周边宏块生成预测图像的画面内预测部16；计算运动矢量的运动矢量计算部17；从帧存储器11中获得运动矢量所指向的位置的参考图像，并通过滤波处理来生成预测图像的运动补偿部18；以及进行用于降低重构图像中的块噪声的解块滤波处理的解块滤波部19。并且，解码部6的构成与解码部5相同。

(1-3.工作)

接着对图1以及图2所示的图像解码装置100的工作进行说明。

图3A以及图3B示出了编码流的构成。

如图3A所示，在编码流中所包含的一个图片中包括：分别由16像素×16像素构成的多个宏块。并且，根据情况不同，图片也可以具有由一个或多个宏块构成的片的情况，在H.264标准中由于可以不必具有片，因此在图3A中不记载片。该宏块成为进行解码的处理单位。在此，图3A的宏块中的数字是，示出该宏块的一般的编码顺序的宏块编号(宏块地址)。

接着，如图3B所示，在编码流中首先是起始码(SC)，接在其后的是图片报头，接着是起始码、片报头(SH)以及片数据。以这些一连串的数据构成了一个图片(图3A所示的图片)。图片报头示出以在H.264标准的PPS(Picture Parameter Set：图片参数集)以及SPS(Sequence Parameter Set：序列参数集)等图片单位而被附加的各种报头信息。起始码也被成为同步语，以片数据等被编码后的图像数据中不出现的特定的模式构成。在对这样的编码流进行解码时，通过从开头开始按顺序检索编码流，从而能够检测起始码，并能够通知图片报头或片报头的开始位置。

图像解码装置100的处理工作中大致分为两个。第一个处理工作是，流分割部2从CPB1中读出编码流并分割为两个，将通过分割而生成的两个分割流分别存放到缓冲器3以及缓冲器4。第二个处理工作是，分别从缓冲器3以及缓冲器4中读出分割流，在与解码部5以及解码部6同步的情况下进行解码。这两个处理工作能够非同步进行。

首先，对第一个处理工作的编码流的分割进行说明。

流分割部2至少直到能够知道宏块边界为止对编码流进行解码，按照构成编码流的各个图片，将该图片中所包含的多个宏块行分别存放到缓冲器3和缓冲器4。例如，将开头的宏块行存放到缓冲器3，将第二个宏块行存放到缓冲器4，将第三个宏块行存放到缓冲器3。这样，解码流被分割为两个，结果是生成两个分割流。并且，宏块行由在图片内的水平方向上被配置成一列的多个宏块构成。

图4A、图4B以及图4C示出了分别成为解码部5以及解码部6的解码对象的宏块行。

如图4A所示，流分割部2从CPB1中读出编码流，在这些编码流中，为了使从宏块地址0到9的宏块行以及从宏块地址20到29的宏块行由解码部5来解码，而将这些宏块行存放到缓冲器3。并且，流分割部2在这些编码流中，为了使从宏块地址10到19的宏块行以及宏块地址30到39的宏块行由解码部6解码，而将这些宏块行存放到缓冲器4。此时，如图4B以及图4C所示，图片报头以及片报头被复制，并被存放于缓冲器3以及缓冲器4双方。其结果是，如图4B所示，在作为两个分割流中的一个的被存放于缓冲器3的分割流中，紧接在图片之前的必定是图片报头，紧接在片数据之前的必定是片报头。同样，如图4C所示，在作为两个分割流中的另一个的被存放于缓冲器4的分割流中，紧接在图片之前的必定是图片报头，紧接在片数据之前的必定是片报头。

例如，在分割前的元编码流中，由宏块地址0到9的宏块构成的宏块行、与由宏块地址10到19的宏块构成的宏块行被包含在同一个片中。并且，该片的片报头在宏块地址0的宏块之前，而不在宏块地址10的宏块之前。在这种情况下，若单纯地将编码流中所包含的多个宏块行分别存放在缓冲器3或4，则由宏块地址10到19的宏块构成的宏块行中不包含片报头。因此，流分割部2复制紧接在宏块地址0的宏块之前的片报头，并插入到紧接在宏块地址10的宏块之前。

并且，流分割部2对句法(mb_qb_delta以及mb_skip_run)进行解码并进行变换，以便能够按照各个宏块行来进行并行解码，所述的句法(mb_qp_delta以及mb_skip_run)依存于宏块的顺序并且不能按照宏块行来分割。例如，mb_qp_delta是通过宏块间的qp值(量化参数)的差分被编码而得到的。流分割部2将针对宏块行的开头的宏块的mb_qp_delta不是变换为差分，而是变换为qp值本身，并存放到缓冲器3以及缓冲器4。另外，流分割部2针对相对于开头以外的宏块的mb_qp_delta，按照H.264标准将差分作为mb_qp_delta而存放到缓冲器3以及缓冲器4。mb_skip_run是示出连续有几个跳跃宏块的句法。流分割部2以宏块行为单位，将该mb_skip_run变换为示出连续有几个跳跃宏块的值。

这样的流分割部2的工作的详细由国际公开第2010/041472号以及国际公开第2010/067505号示出，在此省略说明。

接着，对解码部5以及解码部6的解码工作进行说明。

如图47所示，在针对解码对象宏块MBx的画面内预测中，需要位于该解码对象宏块MBx的左上、上、右上以及左侧的周边宏块MBa-MBd。在针对解码对象宏块MBx的运动矢量的算出中，需要位于该解码对象宏块MBx的上、右上以及左侧的周边宏块MBa-MBc的运动矢量。并且，在解块滤波处理中，需要针对位于解码对象宏块MBx的上以及左侧的周边宏块MBb和MBa进行解块滤波处理的结果。这样，在H.264标准中，在将编码流分割为图4A所示的宏块行单位的情况下，若不解决解码对象宏块与其周边宏块的数据依存关系，尤其是与其上侧的周边宏块的数据依存关系不能得到解决时，就不能对两个分割流并行解码。因此，本实施例中得图像解码装置100通过对并行解码的两个解码对象宏块在水平方向上的位置偏移，从而能够在保持上述的数据依存关系的情况下对两个分割流进行并行解码。另外，在本说明中，上侧的周边宏块是指，针对解码对象宏块而言，位于左上、上、以及右上位置的相邻周边宏块中的至少一个宏块。

图5A以及图5B示出了并行解码的两个解码对象宏块的位置。

如图5A所示，由解码部5解码的解码对象宏块与由解码部6解码的解码对象宏块相比，在水平方向只要先有两个宏块即可。在这种情况下，解决图47所示的解码对象宏块与周边宏块之间的数据依存关系，尤其是解决解码对象宏块与上侧的周边宏块之间的数据依存关系，则解码部5与解码部6能够同时并行进行解码。即，在解码部5以及解码部6分别解码上下相邻的两个宏块行的情况下，解码部6所解码的解码对象宏块是，从由解码部5解码的解码对象宏块，在水平方向上至少向左偏移了两个宏块的宏块。

在此，由解码部5和解码部6解码的解码对象宏块的位置在水平方向上至少偏离两个宏块即可，不过也可以是图5B所示的偏移两个宏块以上的宏块。

接着，利用图6所示的流程图，对维持解码部5以及解码部6在图5A以及图5B所示的位置关系，并同步进行解码的方法进行说明。

图6是示出图像解码装置100的解码部5对片进行解码的流程图。

并且，在本实施例中，解码部5对从宏块地址0到9的宏块行、宏块地址20到29的宏块行、宏块地址40到49的宏块行进行解码，解码部6对从宏块地址10到19的宏块行、宏块地址30到39的宏块行、宏块地址50到59的宏块行进行解码。

解码部5的可变长解码部12从缓冲器3中读取分割流的一部分的数据(S100)。可变长解码部12针对读取的数据，检索起始码(S101)。即，可变长解码部12判别读取的数据中是否有起始码。在没有检索到起始码的情况下(S101的“否”)，可变长解码部12直到检索到起始码为止，进一步从缓冲器3读取以后的数据(S100)。在检索到起始码的情况下(S101的“是”)，可变长解码部12进行报头的解码(S102)。可变长解码部12根据报头的解码结果，判别接在该报头之后的数据是否为片数据(S103)。

在此，在判别为不是片数据的情况下(S103的“否”)，可变长解码部12再次从缓冲器3读取以后的数据(S101)。另外，在判别为是片数据的情况下(S103的“是”)，解码部5对片数据(片)中所包含的宏块进行解码处理(S104)。关于宏块的解码处理的详细将在以后说明。并且，可变长解码部12判别片中的所有的宏块的解码是否结束(S105)。在此，在判别为没有结束的情况下(S105的“否”)，解码部5再次进行宏块的解码处理(S104)。另外，在判别为片中的所有的宏块的解码结束的情况下(S105的“是”)，解码部5结束对片的解码。

接着，利用图7以及图8的流程图对图6的宏块的解码处理(S104)的详细进行说明。

图7以及图8是示出宏块的解码处理的流程图。

可变长解码部12对从缓冲器3读出的宏块的数据进行可变长解码(S110)。接着，逆量化部13对从可变长解码的结果得到的系数数据进行逆量化(S111)。接着，逆频率变换部14对被逆量化的系数数据进行逆频率变换(S112)。接着，运动矢量计算部17为了进行以后的解码对象宏块的运动矢量的算出，因此利用传输部9，从周边信息存储器7读出上侧的周边宏块的运动矢量，以作为周边信息(S113)。该运动矢量的读出处理(S113)的详细将在以后说明。并且，画面内预测部16为了进行以后的解码对象宏块的画面内预测，因此利用传输部9，从周边信息存储器7中读出上侧的周边宏块的重构图像的一部分，以作为周边信息。该重构图像的读出处理(S114)的详细待后述。

在此，解码部5判断解码对象宏块是否为帧间MB(由画面间预测而被解码的宏块)(S115)。在判断为是帧间MB的情况下(S115的“是”)，运动矢量计算部17利用在步骤S113读出的上侧的周边宏块的运动矢量，算出解码对象宏块的运动矢量(S116)。

运动补偿部18利用在步骤S116算出的运动矢量，从帧存储器11中读出参考图像，并根据该参考图像进行运动补偿，从而生成预测图像(S117)。

另外，在步骤S115，在判断为解码对象宏块不是帧间MB的情况下(S115的“否”)，即在解码对象宏块为帧内MB(由画面内预测而被解码的宏块)的情况下，画面内预测部16利用在步骤S114读出的上侧的周边宏块的重构图像，对解码对象宏块进行画面内预测(S118)。

接着，如图8所示，运动矢量计算部17通过传输部9，将在步骤S116算出的解码对象宏块的运动矢量作为周边信息写入到周边信息存储器8(S120)。作为周边信息而被写入的运动矢量可以是所有被算出的运动矢量，也可以仅是在下侧的宏块的运动矢量的算出中使用的运动矢量。即，在步骤S120，运动矢量计算部17可以不必将在步骤S116算出的运动矢量写入到周边信息存储器8，只有在该运动矢量被用于下侧的宏块的运动矢量的算出时，才将在步骤S116算出的运动矢量写入到周边信息存储器8。并且，对于将运动矢量向周边信息存储器的写入处理(S120)待后述。

接着，重构部15通过使由运动补偿(S117)或画面内预测(S118)生成的预测图像、与由在步骤S112的逆频率变换而生成的差分图像进行相加，从而生成重构图像(S121)。像这样的生成重构图像的处理被称为重构处理。并且，重构部15通过传输部9，将在步骤S121生成的重构图像的一部分写入到周边信息存储器8(S122)。此时，写入的重构图像可以是所有的重构图像，也可以仅是下侧的宏块的画面内预测所使用的部分。对于重构图像的写入处理(S122)待以后说明。

接着，解块滤波部19通过传输部9，从周边信息存储器7读出被解块滤波处理后的位于上侧的周边宏块中的一部分图像(解块滤波图像)，以作为周边信息。关于该解块滤波图像的读出处理待以后说明。解块滤波部19利用该解块滤波图像，进行解码对象宏块的解块滤波处理，将处理的结果(解码图像)写入到帧存储器11(S124)。

接着，解块滤波部19将解块滤波处理后的解码对象宏块与其左侧相邻的周边宏块中的、将要用于下侧的宏块的解块处理的图像(以后将要说明的写入对象解块滤波图像)，作为周边信息，通过传输部9写入到周边信息存储器8(S125)。

图9是用于说明图7的步骤S116中的运动矢量的算出方法的说明图。

如图9所示，运动矢量计算部17在算出解码对象宏块MBx的运动矢量mv时，利用运动矢量mvB和mvC、以及运动矢量mvA，所述运动矢量mvB和mvC是位于解码对象宏块MBx的上以及右上侧的周边宏块MBb和MBc的运动矢量，所述运动矢量mvA是位于解码对象宏块MBx的左侧的周边宏块MBa的已经被算出的运动矢量。在此，运动矢量计算部17事先(在图7的步骤S113)将上侧的周边宏块MBb和MBc的运动矢量mvB和mvC，通过传输部9从周边信息存储器7中读出，从而能够利用这些运动矢量mvB和mvC。

具体而言，运动矢量计算部17通过求出运动矢量mvA、mvB、mvC的中值，从而算出解码对象宏块MBx的运动矢量mv的预测运动矢量mvp。并且，运动矢量计算部17通过将差分运动矢量mvd加到该预测运动矢量mvp中，从而算出解码对象宏块MBx的运动矢量mv。并且，差分运动矢量mvd以被可变长编码的状态，包含在分割流(编码流)中。因此，运动矢量计算部17从可变长解码部12获得被可变长解码后的差分运动矢量mvd，算出上述的运动矢量mv。

图10是用于说明图7的步骤S118中的画面内预测的说明图。

如图10所示，画面内预测部16按照画面内预测模式，利用位于解码对象宏块MBx的左上、上、右上以及左侧的周边宏块MBa至MBd的重构图像，进行针对解码对象宏块MBx的画面内预测。具体而言，画面内预测部16所利用的图像是：周边宏块MBa的重构图像中的由右端的1×16像素构成的重构部分图像、周边宏块MBd的重构图像中的由右下的4×1像素构成的重构部分图像、周边宏块MBb的重构图像中的由下侧的16×1像素构成的重构部分图像、周边宏块MBc的重构图像中的由右端的8×1像素构成的重构部分图像。在此，画面内预测部16事先(在图7的步骤S114)将上侧的周边宏块MBc至MBd的重构部分图像，通过传输部9从周边信息存储器7中读出，从而能够利用这些重构部分图像。并且，画面内预测模式以被可变长编码的状态，包含在分割流(编码流)中。这样，画面预测部16从可变长解码部12获得被可变长解码后的画面内预测模式，并按照该画面内预测模式进行上述的画面内预测。

图11是用于说明图8的步骤S122中的重构图像的写入的说明图。

如图11所示，重构部15在图8的步骤S122，将解码对象宏块MBx的重构图像中的、由下侧的16×1像素构成的图像，作为写入对象重构部分图像通过传输部9写入到周边信息存储器8。即，由该16×1像素构成的写入对象重构部分图像例如作为重构部分图像被用于，位于解码对象宏块MBx的下侧的其他的宏块的由解码部6进行的画面内预测。

图12A至图12C是用于说明图8的步骤S124中的解块滤波处理的说明图。

解块滤波处理利用处于由4×4像素构成的子块的边界两侧的3像素、合计6像素。因此，如图12A所示，在解码对象宏块MBx的解块滤波处理中，需要位于解码对象宏块MBx的上侧的周边宏块MBb的解块滤波图像、以及位于解码对象宏块MBx的左侧的周边宏块MBa的解块滤波图像。周边宏块MBb的解块滤波图像由被解块滤波处理后的周边宏块MBb中的下侧的16×3像素构成，周边宏块MBa的解块滤波图像由被解块滤波处理后的周边宏块MBa中的右侧的3×16像素构成。

因此，解块滤波部19在针对解码对象宏块MB进行解块滤波处理之时，事前(图8的步骤S123)通过传输部9从周边信息存储器7中读出周边宏块MBb的解块滤波图像。并且，解块滤波部19利用该被读出的解块滤波图像，进行针对解码对象宏块MBx的解块滤波处理。并且，由于解块滤波部19自身执行针对周边宏块MBa的解块滤波处理，因此在针对解码对象宏块MBx进行解块滤波处理之时，周边宏块MBa的解块滤波图像已经被保持。

其结果是如图12B所示，由解码对象宏块MBx中的左上侧的13×13像素构成的图像、由周边宏块MBb中的下侧的16×3像素构成的图像、由周边宏块MBa中的右上侧的3×13像素构成的图像分别被确定为解码图像。并且，由位于解码对象宏块MBx中的右以及下侧的像素构成的图像，是通过对位于解码对象宏块MBx的右以及下侧的宏块进行解块滤波处理而被确定为解码图像的。

并且，在解块滤波部19将图12B所示的解码图像写入到帧存储器11之时，为了避开传输效率的降低，如图12C所示，将位于从解码对象宏块MBx向左上偏移了3像素的位置上的写入对象区域的编码图像写入。即，由于图12B所示的三个解码图像的整体形状由于没有成为矩形，因此在将这些解码图像写入到帧存储器11的情况下，与写入矩形区域的图像的情况相比，传输效率降低。因此，解块滤波部19将由16×16像素构成的矩形的上述写入对象区域的解码图像写入到帧存储器11中。并且，在这样的写入中，位于周边宏块MBb内的右下端的解码图像的一部分没有被写入到帧存储器11。不过，在针对解码对象宏块MBx的右侧相邻的宏块进行解块滤波处理之时，该解码图像的一部分则被写入到帧存储器11。

图13是用于说明图8的步骤S125中的写入对象解块滤波图像的写入的说明图。

解块滤波部19在图8的步骤125中，如图13所示通过传输部9将写入对象解块滤波图像写入到周边信息存储器8，该写入对象解块滤波图像中包含解码对象宏块MBx的被解块滤波处理后的图像中的一部分。在该写入对象解块滤波图像中所包含图像是：由被解块滤波处理后的解码对象宏块MBx的左下的13×3像素构成的图像、以及由位于解码对象宏块MBx的左侧的宏块MBa的、已经被解块滤波处理了的图像中的右下的3×3像素构成的图像。

这样，在本实施例中，解码部5利用周边信息存储器7中所存放的周边信息来解码缓冲器3的分割流，并将通过该解码而被生成的信息的一部分作为周边信息存放到周边信息存储器8。并且，解码部5在对缓冲器3的分割流中所包含的解码对象宏块进行解码之时，针对周边信息存储器7的周边信息和解码对象宏块进行图像处理，将被图像处理后的解码对象的宏块以及周边信息的至少一部分存放到帧存储器11。在此，上述的周边信息存储器7的周边信息是，由解码部6解码的其他的宏块的至少一部分，该由解码部6解码的其他的宏块是属于与解码对象的宏块所属的宏块行相邻的其他的宏块行的宏块。

另外，解码部6利用被存放在周边信息存储器8的周边信息，对缓冲器4的分割流进行解码，将通过该解码而被生成的信息的一部分作为周边信息存放到周边信息存储器7中。并且，解码部6在对缓冲器4的分割流中所包含的解码对象的宏块进行解码之时，针对周边信息存储器8的周边信息和解码对象宏块进行图像处理，将被图像处理后的解码对象的宏块以及周边信息的至少一部分存放到帧存储器11。在此，上述的周边信息存储器8的周边信息是，由解码部5解码的其他的宏块的至少一部分，该由解码部5解码的其他的宏块是属于与解码对象的宏块所属的宏块行相邻的其他的宏块行的宏块。

这样，由于像这种跨越宏块行而被解块滤波处理的图像处理也能够针对两个分割流并行执行，因此能够实现整体的解码的高速化，其结果是能够提高解码性能或解码效率。并且，宏块在由解码部5或解码部6解码，并被存放到帧存储器11之后，对于该宏块的解块滤波处理已经被执行。因此，在宏块被存放在帧存储器11之后，则不需要为了进行解块滤波处理而从帧存储器11中读出宏块。这样，能够减少向帧存储器11的访问次数。

以下将要对运动矢量的读出处理(S113)、重构部分图像的读出处理(S114)、以及解块滤波图像的读出处理(S123)中的从周边信息存储器7读出周边信息的读出方法进行说明。在上述的各个处理中，除了被读出的周边信息的种类不同以外，由于工作是相同的，因此利用图14所示的流程图对上述的处理进行概括说明。

图14是示出通过解码部5以及传输部9从周边信息存储器7中读出周边信息的读出处理的流程图。并且，周边信息是运动矢量、重构部分图像或解块滤波图像。

解码部6通过传输部10将用于解码部5进行宏块解码时所使用的周边信息写入到周边信息存储器7。传输部9从传输部10中获得在进行该写入时的周边信息存储器7的写入指针的值。该写入指针的值示出，周边信息存储器7内的下一个将要被写入的地址。并且，传输部9对该写入指针的值与从周边信息存储器7用于读出周边信息的读出指针的值进行比较(S130)。该读出指针的值示出周边信息存储器7内的下一个将要读出的地址。

在传输部9的比较结果为，写入指针的值与读出指针的值不相等的情况下(S130的“否”)，使读出指针的值递增(S131)，将读出指针所示的地址中的周边信息从周边信息存储器7中读出，并传输到解码部5(S133)。另外，在传输部9的比较结果为，写入指针的值与读出指针的值相等的情况下(S130的“是”)，则进入等待。

即，在写入指针的值与读出指针的值相等的情况下，周边信息存储器7中所存放的周边信息全都被读出并被传输到解码部5。另外，在写入指针的值与读出指针的值不相等的情况下，由解码部5进行宏块解码时所使用的、且还没有被传输到解码部5的新的周边信息被存放到周边信息存储器7。因此，传输部9在上述的两个值不相等的情况下，使读出指针的值递增并进行传输，在两个值相等的情况下，则判断为应该读出的周边信息还未写入到周边信息存储器7中，则直到该周边信息被写入为止待机。

以下将要对运动矢量的写入处理(S120)、写入对象重构部分图像的写入处理(S122)、以及写入对象解块滤波图像的写入处理(S125)中的向周边信息存储器8写入周边信息的写入方法进行说明。在上述的各个处理中，除了被写入的周边信息的种类不同以外，由于工作是相同的，因此利用图15所示的流程图对上述的处理进行概括说明。

图15是示出通过解码部5以及传输部9向周边信息存储器8写入周边信息的写入处理的流程图。并且，周边信息是运动矢量、写入对象重构部分图像或写入对象解块滤波图像。

解码部6通过传输部10，从周边信息存储器8读出用于解码解码对象宏块的周边信息。传输部9从传输部10中获得在进行该读出时的周边信息存储器8的读出指针的值。该读出指针的值示出周边信息存储器8内的下一个将要读出的地址。并且，传输部9对该读出指针的值与用于将解码部6进行宏块解码时所使用的周边信息写入到周边信息存储器8的写入指针的值进行比较(S140)。该写入指针的值示出，周边信息存储器8内的下一个将要被写入的地址。

在传输部9的比较结果为，在将写入指针的值递增后的值与读出指针的值成为相等的情况下(S140的“是”)，则进入等待。另外，在传输部9的比较结果为，将写入指针的值递增后的值与读出指针不相等的情况下(S140的“否”)，传输部9使写入指针递增(S141)，并获得由解码部5生成的周边信息，并写入到周边信息存储器8(S142)。

即，在对写入指针的值递增后的值与读出指针的值相等的情况下，若接着对周边信息存储器8进行周边信息的写入，则写入指针会有追赶上读出指针或超过读出指针的可能性。即，针对还未从周边信息存储器8读出的周边信息而言，被覆盖了新的周边信息，这样还未被读出的周边信息会有被消去的可能性。另外，在对写入指针的值递增后的值与读出指针的值不同的情况下，即使接着对周边信息存储器8进行周边信息的写入，写入指针也不会有追赶上读出指针或超过读出指针的可能性。即，针对还未从周边信息存储器8读出的周边信息而言，被覆盖了新的周边信息，这样会有还未被读出的周边信息被消去的可能性。因此，传输部9在上述两个值不相等的情况下，对写入指针的值进行递增，并进行周边信息的写入，在相等的情况下，则等待解码部6的处理，即判断为由于传输部10而来自周边信息存储器8的周边信息的读出延迟，并且进行读出直到读出指针的值增加为止处于待机状态。

另外，在图14以及图15中虽然没有对指针的值超过周边信息存储器7以及周边信息存储器8的最大值的情况进行说明，不过也可以是在超过最大值时返回到零，也就是说像环形缓冲区那样来利用这些存储器。

以上是解码部5所进行的解码处理的说明。解码部6所进行的解码处理，除了利用传输部10、将周边信息写入到周边信息存储器7、以及从周边信息存储器8读出以外，其余的均与解码部5所进行的解码处理相同。因此，省略解码部6所进行的解码处理。

图16是示出解码部5以及解码部6所进行的向帧存储器1写入解码图像的范围的图。

在解码部5以及解码部6分别如图4A所示，被分配有以宏块行为单位的图片中所包含的解码对象的图像。但是，分别由解码部5以及解码部6向帧存储器11写入的解码图像(被执行了解块滤波处理的图像)如图12C所示，从被分配的宏块行偏离。因此，如图16所示，从宏块行(在图16的水平方向上以点线所圈出的区域)偏离的区域(在图16的水平方向上以实线圈出的区域)的解码图像，分别由解码部5以及解码部6写入到帧存储器11。

以上的工作是编码流在H.264标准中的帧结构或场结构的情况下的工作，在H.264标准中，存在有被称为MBAFF(Macro Block Adaptive FrameField：宏块自适应帧/场)结构的编码流。在此，帧结构或场结构被称为非MBAFF结构。在MBAFF结构和非MBAFF结构中编码顺序不同。

图17示出了编码流为MBAFF结构的情况下的解码部5以及解码部6的分别成为解码对象的宏块行。

如图17所示，在MBAFF结构中不是像非MBAFF结构那样以光栅为顺序，而是将上下两个宏块归结为一个宏块组，以这样的组来进行编码。即，在一个宏块组中，上边的宏块被编码后下边的宏块被编码。并且，在该宏块组的编码结束后，其右侧相邻的宏块组与上述同样被编码。在编码流为这种MBAFF结构的情况下，流分割部2按照构成图片的彼此相邻的两个宏块行(宏块组的行)，通过将这些宏块组的行分配给缓冲器3或缓冲器4，从而来分割该图片(编码流)。并且，如图17所示，通过解码部5以及解码部6分别对宏块组的行进行解码，从而编码流能够与非MBAFF的结构情况相同，图像解码装置100能够对MBAFF结构的编码流进行解码。

图18示出了编码流为MBAFF结构的情况下的向帧存储器11写入的解码图像的范围。

如图18所示，解码部5以及解码部6将从宏块组的行(在图18中的水平方向上以点线圈出的两个区域)偏离的区域(在图18中的水平方向上以实线圈出的区域)中解码图像写入到帧存储器11。

(1-4.效果)

这样，在本实施例中，通过流分割部2对编码流进行分割，并通过解码部5和解码部6利用周边信息存储器7和周边信息存储器8来同步并行工作，从而对于原本编码流未必是以片等为单位而被分割的H.264标准的编码流，能够进行并行解码。并且，在本实施例中，与以一个解码部来对编码流进行解码的情况相比，能够使处理性能成为两倍。并且，在实现同一性能的情况下，能够使各个解码部的动作频率(时钟数)减半，从而降低了耗电量。

图19A以及图19B示出了在编码流为非MBAFF结构的情况下的宏块被处理的定时。

在本实施例中，通过将周边信息存储器7以及周边信息存储器8用作缓冲器来使解码部5和解码部6同步并行进行工作，从而如图19A所示，解码部5和解码部6能够同时开始处理。并且，解码开始的控制变得容易。并且，在解码部6，若处理所需要的周边信息由解码部5写入到周边信息存储器8，则解码对象宏块的处理能够成为可能。另外，如图19B所示，在专利文献1的图像解码装置中，按照规定的期间，两个解码部1300a和1300b分别在该期间内解码一个宏块。即，解码部1300a和1300b以宏块为单位进行同步工作。在这种情况下，两个解码部1300a和1300b中先结束了宏块解码的一方等待下一个宏块解码处理的开始。

而在本实施例中，由于不必等待这样的解码处理的开始，因此与专利文献1的图像解码装置相比，能够减少等待处理开始的时间，并能够高效率地工作。

即，在本实施例的图像解码装置100中，编码流被分割为两个分割流，这两个分割流分别由解码部5和6并行解码，这样就能够省去像上述的专利文献1那样的对由各个解码部的解码定时进行集中控制的宏块流水线控制部。而且，即使在图像解码装置100具备将编码流分割为三个以上的分割流，并对这些分割流进行并行解码的多个解码部的情况下，也不需要设置上述专利文献1那样的宏块行控制部与解码部之间的信号线，能够实现简单地图像解码装置100。并且，在本实施例的图像解码装置100中，根据H.264标准中的数据依存关系而所需的周边信息通过周边信息存储器7和8，与解码部5和6之间进行收发。因此，解码部5和6只要在各自解码所需要的周边信息被存放到周边信息存储部后，就可以不必等待另一方的解码部的解码，而能够利用被存放的周边信息来继续对分割流进行解码。其结果是，能够抑制像上述专利文献1的图像解码装置那样中断解码而发生的时间损失，并且能够提高解码效率。

(1-5.补充)

另外，本实施例的图像解码装置100虽然是按照H.264标准进行解码的，不过，也可以按照VC-1等其他的图像编码标准来进行解码。

并且，本实施例可以作为硬件电路来实现，也可以作为在处理器上执行的软件来实现，也可以将一部分作为硬件电路来实现，也可以将一部分作为在处理器上执行的软件来实现。

并且，本实施例的图像解码装置100虽然具备的是两个解码部，并且不仅限于两个，也可以具备三个、四个或更多的解码部。在这种情况下，流分割部2通过对编码流进行分割，从而能够生成与所具备的解码部的数量相同的分割流。

并且，本实施例的图像解码装置100与H.264标准相对应，参考了左、上、右上、以及左上这四个周边宏块，不过也可以仅参考左侧的周边宏块，或仅参考左和上的周边宏块等。并且，根据处理也可以改变被参考的周边宏块。

并且，在本实施例的图像解码装置100中，将存放周边信息的构成要素设为了周边信息存储器，不过这些构成要素也可以是触发器或其他的存储元件等任意地记录介质。

并且，在本实施例的图像解码装置100中，虽然是将运动矢量的算出、画面内预测、以及解块滤波处理所使用的所有的周边信息存放到了一个周边信息存储器，不过也可以分别存放在其他的周边信息存储器(存储器或触发器等存储元件等)。

并且，在本实施例的图像解码装置100中，虽然是利用边界两侧的各三个像素来进行解块滤波处理，并将仅偏离了像素数的位置的写入对象区域的解码图像写入到了帧存储器11，不过像素数也可以是比三个像素大的数量。

并且，在本实施例的图像解码装置100中，虽然是将运动矢量、重构部分图像、以及解块滤波图像作为周边信息而存放到周边信息存储器的，不过并非受此所限，只要是宏块间所需要的信息不论怎样的信息都可以存放。例如，也可以将画面内预测模式、宏块的频率系数中的非0系数的所有的数(TotalCoeff)，或者示出参考图片的参考图片编号(ref_idx)等用作周边信息。

并且，本实施例的图像解码装置100虽然是针对各个解码部具备了一个传输部和一个周边信息存储器，不过也可以不必针对每个解码部。例如，只要能够满足传输性能的范围，也可以针对多个解码部而共用一个传输部和周边信息存储器。

并且，本实施例的流分割部2虽然只是分割编码流，不过也可以不必是分割，而是对分割流的全部或一部分进行解码，将分割流的编码方式变更为其他的编码方式，并将被变换了编码方式的分割流存放到缓冲器。

并且，本实施例的解码部虽然是仅将解码图像存放到了帧存储器11，不过也可以将附属于解码图像的控制数据，例如H.264标准的直接模式的解码中所需的信息等存放到帧存储器11。

(实施例2)

(2-1.概要)

首先，对本发明的实施例2中的图像解码装置的概要进行说明。

本实施例中的图像解码装置通过将编码流分割为四个，从而将通过分割而生成的四个分割流以四个解码部来并行解码。四个解码部分别读出被存放在缓冲器中的分割流并进行解码。此时，四个解码部各自通过周边信息存储器来参考其他的解码部的解码结果的一部分，这样能够在与其他的解码部取得同步的同时对分割流进行解码。

(2-2.构成)

接着，对本实施例的图像解码装置的构成进行说明。

图20是本实施例的图像解码装置的构成图。另外，对于与实施例1相同的构成要素赋予相同的符号并省略说明。

本实施例的图像解码装置200具备：CPB1；帧存储器11；将编码流分割为四个的流分割部20；用于对由分割而生成的四个分割流进行分别存放的缓冲器21、22、23、24；通过可变长解码、逆频率变换以及运动补偿等来进行解码的解码部25、26、27、28；用于存放解码对象宏块的解码的周边信息的周边信息存储器29、30、31、32；以及在解码部25、26、27、28与周边信息存储器29、30、31、32之间进行数据传输的传输部33、34、35、36。

(2-3.工作)

以下，对图20所示的图像解码装置200的工作进行说明。

CPB1中所存放的编码流由流分割部20读出，如图21所示被分割为四个，通过分割而生成的四个分割流被分别存放在缓冲器21、缓冲器22、缓冲器23、以及缓冲器24。

图21是用于说明编码流的分割的说明图。

流分割部20按照每个宏块行，来分割编码流，以使得该宏块行被分配到四个解码部25、26、27、28的某一个。例如，宏块地址0到9的宏块行和宏块地址40到49的宏块行被分配到解码部25。同样，宏块地址10到19的宏块行和宏块地址50到59的宏块行被分配到解码部26。同样，宏块地址20到29的宏块行和宏块地址60到69的宏块行被分配到解码部27。

即，流分割部20通过分割编码流来生成第一至第四分割流。第一分割流包括：宏块地址0到9的宏块行、和宏块地址40到49的宏块行。第二分割流包括：宏块地址10到19的宏块行、和宏块地址50到59的宏块行。第三分割流包括：宏块地址20到29的宏块行、和宏块地址60到69的宏块行。第四分割流包括：宏块地址30到39的宏块行、和宏块地址70到79的宏块行。流分割部20将第一分割流存放到缓冲器21，将第二分割流存放到缓冲器22，将第三分割流存放到缓冲器23，将第四分割流存放到缓冲器24。

解码部25从缓冲器21读出第一分割流并进行解码。解码部25的工作与实施例1所示的解码部5的工作虽然相同，但是不同之处是：利用传输部33，从周边信息存储器29读出作为解码部28的解码结果的周边信息，并且自己将作为解码结果的周边信息写入到周边信息存储器30。并且，解码部25将解码图像写入到帧存储器11。

解码部26从缓冲器22读出第二分割流并进行解码。解码部26的工作与实施例1所示的解码部5的工作虽然相同，但是不同之处是：利用传输部34，从周边信息存储器30读出作为解码部25的解码结果的周边信息，并且自己将作为解码结果的周边信息写入到周边信息存储器31。并且，解码部26将解码图像写入到帧存储器11。

解码部27从缓冲器23读出第三分割流并进行解码。解码部27的工作与实施例1所示的解码部5的工作虽然相同，但是不同之处是：利用传输部35，从周边信息存储器31读出作为解码部26的解码结果的周边信息，并且自己将作为解码结果的周边信息写入到周边信息存储器32。并且，解码部27将解码图像写入到帧存储器11。

解码部28从缓冲器24读出第四分割流并进行解码。解码部28的工作与实施例1所示的解码部5的工作虽然相同，但是不同之处是：利用传输部36，从周边信息存储器32读出作为解码部27的解码结果的周边信息，并且自己将作为解码结果的周边信息写入到周边信息存储器29。并且，解码部28将解码图像写入到帧存储器11。

如以上所述，本实施例中的图像解码装置200虽然是通过流分割部20来将编码流分割为四个的，不过每个解码部的工作进行与实施例1相同的工作。

(2-4.效果)

这样，在本实施例中，通过流分割部20将编码流分割为四个，从而能够以四个解码部对四个分割流并行进行解码。因此，本实施例的图像解码装置200与实施例1的图像解码装置100相比，在以与图像解码装置100相同的工作频率进行工作的情况下，能够使处理性能提高两倍。并且，在实现同一性能的情况下，能够使各个解码部的工作频率减半，从而能够使耗电量降低。

并且，解码部25、26、27、28的每一个可以不必与其他的三个解码部之间进行同步，只要与各自所相邻的一个解码部之间进行同步即可，因此各个构成要素之间的布线变得简单，从而能够容易地实现可以提高解码效率的图像解码装置。

(2-5.补充)

并且，本实施例的图像解码装置200虽然具备了4个解码部，不过也可以不是4个，可以是8个、16个或者更多数量的解码部。

(实施例3)

(3-1.概要)

首先，对本发明的实施例3中的图像解码装置的概要进行说明。

本实施例中的图像解码装置具备开关，该开关对分别被输入到解码部和周边信息存储器的数据进行切换。通过这些开关的切换，本实施例中的图像解码装置对以下的处理进行切换，被切换的处理是：使两个解码部同步后对一个编码流进行解码；使两个解码部分别独立工作，对两个编码流进行解码。

(3-2.构成)

接着，对本实施例的图像解码装置的构成进行说明。

图22是本实施例的图像解码装置的构成图。另外，与实施例1相同的构成要素赋予相同的符号，并省略说明。

本实施例的图像解码装置300除了具备实施例1的图像解码装置100的各个构成要素之外，还具备：存放编码流的CPB37；对被输入到解码部5的数据进行切换的开关38；对被输入到解码部6的数据进行切换的开关39；对被收入到周边存储器7的数据进行切换的开关40；以及对被输入到周边信息存储器8的数据进行切换的开关41。

(3-3.工作)

接着，对图22所示的图像解码装置300的工作进行说明。

开关38、开关39、开关40以及开关41均同时选择“0”或“1”的输入。开关38若选择“0”的输入，则被输入到解码部5的数据被切换为被存放到缓冲器3的分割流，若选择“1”的输入，则被输入到解码部5的数据被切换为被存放到CPB37的编码流。开关39若选择“0”的输入，则被输入到解码部6的数据被切换为被存放到缓冲器4的分割流，若选择“1”的输入，则被输入到解码部6的数据被切换为被存放到CPB1的编码流。开关40若选择“0”的输入，则被输入(存放)到周边信息存储器7的数据被切换为，通过传输部10从解码部6被传输的周边信息；若选择“1”的输入，则被输入到周边信息存储器7的数据被切换为，通过传输部9从解码部5被传输的周边信息。开关41若选择“0”的输入，则被输入(存放)到周边信息存储器8的数据被切换为，通过传输部9从解码部5被传输的周边信息；若选择“1”的输入，则被输入到周边信息存储器8的数据被切换为，通过传输部10从解码部6被传输的周边信息。

开关38、开关39、开关40以及开关41在均选择“0”的输入的情况下，图像解码装置300与实施例1相同，对被存放于CPB1的编码流进行解码。即，图像解码装置300的流分割部2从CPB1读出编码流并进行分割，将通过分割而生成的两个分割流分别写入到缓冲器3以及缓冲器4，解码部5和解码部6对这些分割流并行进行解码。这种情况下的图像解码装置300的工作由于与实施例1完全相同，因此省略说明。

开关38、开关39、开关40以及开关41在均选择“1”的输入的情况下，图像解码装置300进行与实施例1不同的工作。即，图像解码装置300的解码部5与解码部6分别读出被存放在彼此不同的CPB37和CPB1中的彼此不同的编码流，并进行独立地解码。解码部5读出CPB37的编码流并进行解码。此时的解码部5的工作与实施例1不同之处是：通过传输部9将周边信息写入到周边信息存储器7，以及不进行通过传输部9以及传输部10而与解码部6同步的解码。即，解码部5利用传输部9，将自己的解码结果的周边信息写入到周边信息存储器7，并利用传输部9读出自己所写入的结果的周边信息，并利用周边信息对解码对象宏块进行解码。解码部6的工作由于与解码部5相同，因此省略说明。

(3-4.效果)

这样，在本实施例中通过设置开关38、开关39、开关40、开关41，从而能够对使两个解码部联动而实现高性能的工作、与同时对不同的两个编码流进行解码的工作进行切换。

(3-5.补充)

并且，在本实施例中虽然图像解码装置300具备了两个解码部，不过也可以是四个或更多的数量的解码部。

并且，本实施例中的开关38-41可以不必是物理上的或电路上的开关，例如可以是能够使存储器的地址得以切换的、对数据进行切换的开关。

(实施例4)

(4-1.概要)

首先，对本发明的实施例4中的图像解码装置的概要进行说明。

本实施例的图像解码装置具备开关，该开关对被输入到流分割部的编码流进行切换。通过该开关所进行的切换，本实施例的图像解码装置能够对以下的处理进行切换，被切换的处理是：分割一个编码流，并使两个解码部同步对两个分割流并行进行解码的处理；以及对分别对两个编码流进行的并行解码处理在时间上进行分割的分时并行解码处理。

(4-2.构成)

接着，对本实施例的图像解码装置的构成进行说明。

图23是本实施例的图像解码装置的构成图。对于与实施例1相同的构成要素赋予相同的符号，并省略说明。

本实施例的图像解码装置400除具备实施例1的图像解码装置100的各个构成要素以外，还具备：存放编码流的CPB37、以及对被输入到流分割部2的编码流进行切换的开关42。开关42在选择“0”的输入时，将被输入到流分割部2的编码流切换为被存放到CPB1的编码流，在选择“1”的输入时，将被输入到流分割部2的编码流切换为被存放到CPB37的编码流。

(4-3.工作)

接着，对图23所示的图像解码装置400的工作进行说明。

图像解码装置400在开关42一直选择“0”的输入的情况下，进行上述的并行解码处理，在开关42反复交替地选择“0”的输入和“1”的输入的情况下，进行上述的分时并行解码处理。

具体而言，在开关42一直选择“0”的输入的情况下，图像解码装置400与实施例1同样，对被存放在CPB1中的编码流进行解码。即，图像解码装置400的流分割部2从CPB1读出编码流并进行分割，将通过分割而生成的两个分割流分别写入到缓冲器3以及缓冲器4，解码部5和解码部6对这些分割流并行进行解码。这种情况下的图像解码装置400的工作由于与实施例1完全相同，因此省略说明。

在开关42在时间上反复交替地选择“0”的输入和“1”的输入的情况下，图像解码装置400的流分割部2将针对被存放于彼此不同的CPB中的彼此不同的两个编码流的分割处理，进行时间上的切换。即，在开关42选择“0”的输入的情况下，开关分割部2读出被存放于CPB1的编码流并进行分割，解码部5和解码部6同步对通过对上述的编码流的分割而生成的两个分割流进行解码。这种情况下的图像解码装置400的工作由于与实施例1完全相同，因此省略说明。另外，在开关42选择了“1”的输入的情况下，流分割部2读出被存放于CPB37中的编码流并进行分割，解码部5和解码部6同步对通过上述的编码流的分割而生成的两个分割流进行解码。此时的图像解码装置400的工作除从CPB37读出编码流之外，其余的与实施例1相同，在此省略说明。

图24是用于说明分时并行解码处理的说明图。

首先，开关42选择“0”的输入。其结果是，图像解码装置400对被存放于CPB1中的编码流的图片0并行进行解码处理。在该图片0的并行解码处理结束时，开关42选择“1”的输入。其结果是，图像解码装置400对被存放于CPB37中的编码流的图片0并行进行解码处理。在该图片0的并行解码处理结束时，开关42再次选择“0”的输入。其结果是，图像解码装置400对被存放于CPB1中的编码流的图片1并行进行解码处理。这样，通过在时间上对两个编码流的并行解码处理进行切换，从而能够疑似地同时对两个编码流进行解码。

(4-4.效果)

这样，在本实施例中通过对开关42的输入进行切换，从而能够对使两个解码部联动而实现高性能的工作、与同时对不同的两个编码流进行解码的工作进行切换。

(4-5.补充)

并且，在本实施例中虽然是利用两个CPB进行了针对两个编码流的分时并行解码处理，不过CPB以及编码流的数量并非受此所限，可以是三个、四个或更多。

并且，在本实施例中，在分时并行解码处理中虽然是以一个图片为单位对成为并行解码处理的对象的编码流进行交替切换的，不过也可以不必是一个图片单位，可以以多个图片为单位、或一个片为单位、多个片为单位、GOP(Group Of Pictures：图片组)为单位等来切换。

并且，本实施例的开关42可以不必是物理上的或电路上的开关，例如可以是使存储器地址进行切换的数据切换开关。

(实施例5)

(5-1.概要)

首先，对本发明的实施例5中的图像解码装置的概要进行说明。

本实施例的图像解码装置具备图像输出部，该图像输出部对被解码的图像进行抽选后输出到显示装置。通过该图像输出部，本实施例的图像解码装置能够将流畅的快速播放图像显示在显示装置。

(5-2.构成)

接着，对本实施例的图像解码装置的构成进行说明。

图25是本实施例的图像解码装置的构成图。并且，对于与实施例1相同的构成要素赋予相同的符号并省略详细说明。

本实施例的图像解码装置500除具有实施例1的图像解码装置100的各个构成要素之外，还具备用于对被存放于帧存储器11的被解码的图片进行图像输出，且输出到显示装置的图像输出部43。

(5-3.工作)

接着，对本实施例的图像解码装置500的工作进行说明。

除图25所示的本实施例的图像解码装置500中的图像输出部43的各个构成要素的工作以外，其余的与实施例1相同，在此省略说明。

图26是用于说明图像输出部43的工作的说明图。

如图26所示，图像输出部43针对被解码并被写入到帧存储器11中的一连串的图片，不将时间0、2、4的各个图片输出到显示装置，而是仅将时间1、3、5的图片输出到显示装置。即，图像输出部43从被解码的两个分割流的运动图像中抽选图片，将被抽选了图片的运动图像输出到显示装置。

(5-4.效果)

在本实施例中，与实施例1同样，通过利用解码部5和解码部6并行地进行解码，从而与单独地利用解码部5或解码部6进行工作的情况相比，能够实现两倍的性能。即，本实施例的图像解码装置500能够以通常的帧率的两倍的速度，对图片进行解码。另外，在一般的显示装置中，显示图片的速度被固定或被设定为通常的帧率，不能以两倍的帧率来显示。因此，在本实施例的图像解码装置500，通过由图像输出部43对被解码的图片进行抽选，从而能够将两倍速度的流畅的快速播放图像显示在显示装置。

(5-5.补充)

并且，本实施例的图像解码装置500虽然是将2倍速度的快速播放图像显示在显示装置的，不过也可以显示3倍或4倍的快速播放图像。在这种情况下，图像输出部43以与n倍速度(n为2以上的整数)相对应的比率来进行图片的抽选。另外，n不限于整数。在n不是整数的情况下，图像输出部43可以不均一地对图片进行抽选。

(实施例6)

(6-1.概要)

首先，对本发明的实施例6中的图像解码装置的概要进行说明。

本实施例的图像解码装置具备两个帧存储器。解码部5和解码部6分别同时将解码图像写入到两个帧存储器，从事先对应的相互不同的帧存储器中读出解码图像(参考图像)。这样，能够降低针对一个帧存储器的访问，从而能够降低帧存储器所需要的访问性能。即，能够利用访问性能低的帧存储器。其结果是，能够简单地构成帧存储器。

(6-2.构成)

接着，对本实施例的图像解码装置的构成进行说明。

图27是本实施例的图像解码装置的构成图。并且，对于与实施例1相同的构成要素赋予相同的符号并省略说明。

本实施例的图像解码装置600除具备实施例1的图像解码装置100的各个构成要素之外，还具备用于存放由解码部5和解码部6解码的图像(解码图像)的帧存储器44。

(6-3.工作)

接着，对本实施例的图像解码装置600的工作进行说明。

图27所示的本实施例的图像解码装置600的解码部5的工作与实施例1的解码部5的工作的不同之处是：由实施例1的图7以及图8的流程图示出的、运动补偿部18进行的运动补偿(S117)以及由解块滤波部19进行的解块滤波处理(S124)。具体而言，在本实施例的解码部5中，在运动补偿(S117)，运动补偿部18从帧存储器44中读出运动补偿所需的参考图像(解码图像)。并且，在本实施例的解码部5，在解块滤波处理(S124)中，解块滤波部19将被解块滤波处理后的解码完毕的图像(解码图像)同时写入到帧存储器11和帧存储器44。

并且，本实施例的解码部6的运动补偿部18从帧存储器11中读出运动补偿所需的参考图像(解码图像)。并且，本实施例的解码部6的解块滤波部19与本实施例的解码部5的解块滤波部19的工作相同。即，本实施例的解码部6的工作中，除从帧存储器11读出参考图像以外，其余的与本实施例的解码部5的工作相同。

(6-4.效果)

在H.264标准中，在写入解码图像时的传输量可以是，每一个宏块为256字节。对此，在以运动补偿读出之时的传输量成为，在8×8像素的双向参考的情况下为1352字节，是写入解码图像时的传输量的5倍。在本实施例中，将解码图像写入两个帧存储器，将以运动补偿读出的帧存储器在两个解码部设为不同的帧存储器，这样能够将从帧存储器读出时所需的访问性能减半，使帧存储器的构成变得简单。

(6-5.补充)

并且，本实施例的图像解码装置600虽然具备了2个帧存储器，不过并非受2个所限，也可以是3个、4个，或者更多数量的帧存储器。

并且，在本实施例中，解码部5和解码部6虽然是仅将解码图像存放到了帧存储器11和14，不过也可以存放解码图像中附带的控制数据，例如H.264标准的直接模式的解码时所需要的信息等。

并且，在本实施例中，解码部5以及解码部6虽然是将解码图像同时写入到帧存储器11和44的，不过也可以不必是同时，只要能够将所有的解码图像的数据写入，分散的时间也可以。

(实施例7)

(7-1.概要)

首先，对本发明的实施例7中的图像编码装置的概要进行说明。

在本实施例的图像编码装置，构成被输入的图像的两个部分由两个编码部并行编码，将通过编码而被生成的两个分割流分别存放到两个缓冲器。并且，图像编码装置将两个缓冲器中所分别存放的分割流由流结合部读出，并结合为一个编码流。这样，被输入的图像被编码为编码流。此时，两个编码部的每一个通过周边信息存储器来参考编码时所使用的数据的一部分(周边信息)，据此能够与其他的编码部同步的同时对图像进行编码。

(7-2.构成)

接着，对本实施例的图像编码装置的构成进行说明。

图28是本实施例的图像编码装置的构成图。并且，对于与实施例1相同的构成要素赋予相同的符号并省略说明。

本实施例的图像编码装置700与实施例1同样，包括传输部9和传输部10、周边信息存储器7和周边信息存储器8、以及帧存储器11。并且，图像编码装置700还具备：编码部51和编码部52，对从摄像机或解码器等输入到帧存储器11的图像进行编码；缓冲器53，用于存放由编码器51编码而被生成的分割流；缓冲器54，用于存放由编码器52编码而被生成的分割流；流结合部55，对分别被写入到缓冲器53和缓冲器54的分割流进行结合，并变换为一个编码流；以及CPB56，用于存放该编码流。并且，编码部51、编码部52、周边信息存储器7、周边信息存储器8、传输部9以及传输部10被统称为并行编码部62。

(7-3.工作)

接着，对本实施例的图像编码装置的工作进行说明。

在图28所示的本实施例的图像编码装置700中，编码部51以及编码部52进行与实施例1的图4A至图4C所说明的工作相同的工作，将被写入到帧存储器11的图像以宏块为单位来划分，读出后进行编码。具体而言，编码部51如图4A所示，读出作为图像的图片中所包含的宏块地址0到9的宏块行以及宏块地址20到29的宏块行等，按顺序对各个宏块行中所包含的宏块进行编码。并且，编码部52如图4A所示，读出作为图像的图片中所包含的宏块地址10到19的宏块行以及宏块地址30到39的宏块行等，按顺序对各个宏块行中所包含的宏块进行编码。

编码部51与实施例1的解码部5同样，利用传输部9在画面内预测之前，从周边信息存储器7中读出重构部分图像以作为周边信息，在运动矢量的编码之前从周边信息存储器7中读出运动矢量以作为周边信息，在解块处理之前从周边信息存储器7中读出解块滤波图像以作为周边信息。并且，编码部51在运动矢量的编码结束时利用传输部9，将该运动矢量作为周边信息写入到周边信息存储器8，在重构处理结束时利用传输部9，将写入对象重构部分图像作为周边信息写入到周边信息存储器8，在解块滤波处理结束时利用传输部9，将写入对象解块滤波图像写入到周边信息存储器8。编码部51将通过编码而被生成的分割流写入到缓冲器53。编码部51的其他的工作由于与一般情况的H.264标准相对应的编码部同样，因此省略说明。

以上是由编码部51进行编码处理的说明。编码部52的工作与编码部51不同之处是：利用传输部10、将周边信息写入到周边信息存储器7、从周边信息存储器8读出周边信息、以及将被生成的分割流写入到缓冲器54。因此，省略针对编码部52的详细说明。

如以上所述，通过周边信息存储器7以及周边信息存储器8来使编码部51和编码部52同步工作，从而被存放在帧存储器11的图像被编码，并生成两个分割流。并且，通过这样的并行编码部62所进行的编码是与实施例1的并行解码部60所进行的解码相对应的处理工作。

接着，流结合部55通过对缓冲器53的分割流和缓冲器54的分割流进行结合，从而生成一个编码流，并将该编码流写入到CPB56。

(7-4.效果)

这样，在本实施例中，通过利用周边信息存储器7和周边信息存储器8来使编码部51和编码部52同步并行进行工作，并由流结合部55对两个分割流进行结合，即通过对构成编码对象的图像的两个部分并行进行编码并结合，从而能够生成例如不能以片等为单位构成的H.264标准中的编码流。并且，在本实施例中，与仅以一个编码部进行图像编码的情况相比，能够使处理性能成为两倍。并且，在实现同一性能的情况下，各个编码部的工作频率能够减半，这样能够降低耗电量。

并且，在本实施例中，通过将周边信息存储器7以及周边信息存储器8用作缓冲器来使编码部51和编码部52同步并行进行工作，从而能够与实施例1的图19A所示的处理同样，编码部51和编码部52能够同时开始处理。并且，编码开始的控制变得容易。并且，在编码部52，若处理所需要的周边信息由编码部51写入到周边信息存储器8，则编码对象宏块的处理能够成为可能。并且，与如图19B所示的处理同样，在专利文献1的图像编码装置中，由于使两个编码部以宏块为单位同步进行工作，因此两个编码部中的提前结束宏块编码的一方等待下一个宏块编码的开始。而在本实施例中，由于不必等待这样的编码处理的开始，因此与专利文献1的图像编码装置相比，能够减少等待处理开始的时间，并能够高效率地工作。

(7-5.补充)

另外，本实施例的图像编码装置700虽然是按照H.264标准进行编码的，不过，也可以按照例如VC-1等其他的图像编码标准来进行编码。

并且，本实施例可以作为硬件电路来实现，也可以作为在处理器上执行的软件来实现，也可以将一部分作为硬件电路来实现，也可以将一部分作为在处理器上执行的软件来实现。

并且，本实施例的图像解码装置700虽然具备的是两个编码部，并且不仅限于两个，也可以具备三个、四个或更多的编码部。在这种情况下，流结合部55对与所具备的编码部的数量相同数量的分割流进行结合。

并且，本实施例的图像编码装置700与H.264标准相对应，参考了左、上、右上、以及左上这四个周边宏块，不过也可以仅参考左侧的周边宏块，或仅参考左和上的周边宏块等。并且，根据处理也可以改变被参考的周边宏块。

并且，在本实施例的图像编码装置700中，将存放周边信息的构成要素设为了周边信息存储器，不过这些构成要素也可以是触发器或其他的存储元件等任意的记录介质。

并且，在本实施例的图像编码装置700中，虽然是将运动矢量的算出、画面内预测、以及解块滤波处理所使用的所有的周边信息存放到了一个周边信息存储器，不过也可以分别存放在其他的周边信息存储器(存储器或触发器等存储元件等)。

并且，在本实施例的图像编码装置700中，与实施例1的图像解码装置100同样，虽然是利用边界两侧的各三个像素来进行解块滤波处理，并将仅偏离了像素数的位置的写入对象区域的解码图像写入到了帧存储器11，不过像素数也可以是比三个像素大的数量。

并且，在本实施例的图像编码装置700中，虽然是将运动矢量、重构部分图像、以及解块滤波图像作为周边信息而存放到周边信息存储器的，不过并非受此所限，只要是宏块间所需要的信息不论怎样的信息都可以存放。例如，也可以将画面内预测模式、宏块的频率系数中的非0系数的所有的数(TotalCoeff)，或者示出参考图片的参考图片编号(ref_idx)等用作周边信息。

并且，本实施例的图像编码装置700虽然是针对各个编码部具备了一个传输部和一个周边信息存储器，不过也可以不必针对每个编码部。例如，只要能够满足传输性能的范围，也可以针对多个编码部而共用一个传输部和周边信息存储器。

并且，本实施例的流结合部5虽然只是将两个分割流结合为一个编码流，不过也可以不必是单纯地结合，而是对编码流的全部或一部分进行解码后再编码，或者是将编码流的编码方式变更为其他的编码方式，并将被变更了编码方式的编码流存放到CPB。

并且，本实施例的编码部虽然是仅将解码图像(局部解码图像)存放到了帧存储器11，不过也可以将编码时所生成的且附属于局部解码图像的控制数据，例如H.264标准的直接模式的解码中所需的信息等进行存放。

并且，本实施例的图像编码装置700虽然具有与实施例1所示的图像解码装置100相对应的构成，不过也可以具有与实施例2至6的任一个图像解码装置相对应的构成。

(实施例8)

(8-1.概要)

首先，对本发明的实施例8中的代码转换装置的概要进行说明。

本实施例中的代码转换装置将被输入的编码流首先由实施例1所示的并行解码部60来解码，并将作为该解码结果的解码图像写入到帧存储器。并且，代码转换装置从帧存储器中读出解码图像后进行放大或缩小，将该被放大或被缩小的解码图像作为重设大小图像再次写入到帧存储器。接着，代码转换装置以与原来的编码流不同的编码方式、图像大小或帧率，将重设大小图像再次由并行编码部62进行编码。这样，通过进行高速地解码、高速地编码，从而能够进行高速地代码转换。

(8-2.构成)

接着，对本实施例的代码转换装置的构成进行说明。

图29示出了本实施例的代码转换装置的构成。并且，对于与实施例1和实施例7相同的构成要素赋予相同的参考符号并省略说明。

本实施例的代码转换装置800具备：CPB1、56；缓冲器3、4、53、54；帧存储器11；流分割部2；流结合部55；多个解码部并行进行解码的并行解码部60；对帧存储器11的解码图像进行放大或缩小的放大缩小部61；以及以多个编码部并行进行编码的并行编码部62。另外，在本实施例中，CPB1、流分割部2、缓冲器3、缓冲器4、帧存储器11以及并行解码部60构成实施例1的图像解码装置100。并且，帧存储器11、缓冲器53、缓冲器54、流结合部55、CPB56、以及并行编码部62构成实施例7的图像编码装置700。

(8-3.工作)

接着，对本实施例的代码转换装置800的工作进行说明。

首先，流分割部2与实施例1同样，将被存放于CPB1中的编码流分割为两个，并将两个分割流分别写入到缓冲器3以及缓冲器4。接着，与实施例1同样，由并行解码部60内部的两个解码部并行地从缓冲器3以及缓冲器4读出分割流并进行解码，将作为解码结果的解码图像写入到帧存储器11。

接着，放大缩小部61从帧存储器11中读出由并行解码部60解码生成的解码图像，对该解码图像进行放大或缩小，将被放大或被缩小的解码图像作为重设图像写入到帧存储器11。

接着，与实施例7同样，并行编码部62针对被存放在帧存储器11中的重设大小图像，由内部的两个编码部并行进行编码，并将通过编码而被生成的两个分割流分别写入到缓冲器53以及缓冲器54。此时，并行解码部62以与原来的编码流不同的编码方式、图像大小或帧率来对重设大小图像再次进行编码。

接着，与实施例7同样，流结合部55将分别被写入到缓冲器53和缓冲器54的分割流结合为一个编码流，并将该编码流写入到CPB56。

(8-4.效果)

这样，在本实施例中，通过以与CPB1的编码流的标准不同的编码标准或编码帧率，来由并行编码部62进行编码，从而能够将该编码流变换为不同的编码标准或帧率的编码流。并且，通过放大缩小部61进行图像的放大或缩小，从而能够变换为与CPB1的编码流的图像大小不同的图像大小的编码流。

并且，在本实施例中，通过利用并行解码部60和并行编码部62，从而与仅利用单独的解码部或编码部进行处理的情况相比，能够高速地进行代码转换。或者，与仅利用单独的解码部或编码部进行处理的情况相比，能够以更低的工作频率进行代码转换。

(8-5.补充)

并且，本实施例中的代码转换装置800的放大缩小部61虽然进行的是放大或缩小，不过也可以进行高画质处理，或者是将放大或缩小与高画质处理结合进行处理。而且，代码转换装置800也可以不进行放大以及缩小，而是直接对解码图像进行编码。

并且，本实施例中的代码转换装置800虽然具备的是并行解码部60和并行编码部62，不过也可以取代并行解码部60，而具备不进行并行解码的一个解码部。或者，代码转换装置800也可以取代并行编码部62而具备不进行并行编码的一个解码部。即，本实施例的代码转换装置800虽然具备了解码部和编码部，不过也可以是其中的一方为并行解码部60或并行编码部62的构成。

并且，本实施例中的代码转换装置800的并行解码部60以及并行编码部62虽然分别具备了两个解码部以及两个编码部，不过数量并非受两个所限。并且，并行解码部60所具备的解码部的数量和并行编码部62所具备的编码部的数量也可以不同。

并且，本实施例中的代码转换装置800虽然利用了实施例1中的图像解码装置100和实施例7中的图像编码装置700，不过也可以取代实施例1的图像解码装置100而利用实施例2至6的任一个中的图像解码装置。并且，也可以取代实施例7的图像编码装置700，而利用实施例2至6的任一个中的与图像解码装置相对应的图像编码装置。

(实施例9)

本实施例的图像解码装置具备：LSI(Large Scale Integration：大规模集成电路)和DRAM(Dynamic Random Access Memory：动态随机存储器)。

图30是本实施例的图像解码装置的构成图。

本实施例的图像解码装置100a具备：由实施例1所示的图像解码装置100的一部分构成的LSI71、和由图像解码装置100的剩余的部分构成的DRAM72。并且，LSI71是半导体集成电路。具体而言，LSI71具备：实施例1中的流分割部2、解码部5和6、周边信息存储器7和8、传输部9和10。DRAM72具备：实施例1中的CPB1、缓冲器3、缓冲器4、帧存储器11。

并且，上述的各个构成要素可以被分别制成一个芯片，也可以将其中的一部分或全部包含在一个芯片之中。在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC(Integrated Circuit)、系统LSI、超级LSI、极超级LSI。

并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。在LSI制造后，也可以利用可编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)或利用能够将LSI内部的电路单元的连接以及设定重新构建的可重装处理器。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行进行集成化。生物技术的适用等也将成为可能。

而且，将对本实施例的图像解码装置100a集成化后的半导体芯片与用于描绘图像的显示器组合，从而能够构成适用于各种用途的描绘设备。例如作为便携式电话、电视机、数字录像机、数字摄像机、导航等的信息描绘设备中的解码单元，来利用本实施例的图像解码装置100a。作为显示器，除电子束管(CRT)以外，还有液晶显示器、PDP(等离子显示板)、有机EL等平面显示器，并且也可以与以投影仪为代表的投射型显示器等相组合。

并且，本实施例的图像解码装置100a虽然是由LSI和DRAM构成的，不过也可以取代DRAM，例如由eDRAM(embeded DRAM：混载DRAM)、SRAM(Static Random Access Memory：静态存取存储器)、或硬盘等的其他的存储装置来构成。

(实施例10)

本实施例的图像解码装置具备两个LSI和两个DRAM。

图31是本实施例的图像解码装置的构成图。

本实施例的图像解码装置600a具备：由实施例6所示的图像解码装置600的一部分构成的LSI71a、71b、和由图像解码装置600的剩余的部分构成的DRAM72a、72b。并且，LSI71a、71b分别是半导体集成电路。具体而言，LSI71a具备：实施例6中的流分割部2、解码部6、传输部10、周边信息存储器8。LSI71b具备：实施例6中的解码部5、传输部9、周边信息存储器7。DRAM72a具备：实施例6中的CPB1、缓冲器4、帧存储器11。DRAM72b具备：实施例6中的缓冲器3和帧存储器44。

在本实施例中虽然是利用两个LSI来实现的，不过也可以由一个芯片来实现，或者将其中的一部分或全部包含在一个芯片之中。在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。在LSI制造后，也可以利用可编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)或利用能够将LSI内部的电路单元的连接以及设定重新构建的可重装处理器。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行进行集成化。生物技术的适用等也将成为可能。

而且，将对本实施例的图像解码装置600a集成化后的半导体芯片与用于描绘图像的显示器组合，从而能够构成适用于各种用途的描绘设备。例如作为便携式电话、电视机、数字录像机、数字摄像机、导航等的信息描绘设备中的解码单元，来利用本实施例的图像解码装置600a。作为显示器，除电子束管(CRT)以外，还有液晶显示器、PDP(等离子显示板)、有机EL等平面显示器，并且也可以与以投影仪为代表的投射型显示器等相组合。

并且，本实施例的图像解码装置600a虽然是由LSI和DRAM构成的，不过也可以取代DRAM，例如由eDRAM、SRAM、或硬盘等的其他的存储装置来构成。

(实施例11)

本实施例的图像解码装置与实施例10同样，虽然具备了两个LSI和两个DRAM，不过两个LSI也可以分别具备流分割部2。

图32是本实施例的图像解码装置的构成图。

本实施例的图像解码装置600b与实施例10的图像解码装置600同样，具备：LSI71a、DRAM72a、72b。并且，图像解码装置600b取代图像解码装置600的LSI71b而具备LSI71c。LSI71c具备：流分割部2、解码部5、传输部9、周边信息存储器7。LSI71a的流分割部2从CPB1中读出编码流并分割为两个，将通过分割而被生成的将要由LSI71a处理的分割流存储到缓冲器4。同样，LSI71c的流分割部2从CPB1中读出编码流并分割为两个，将通过分割而被生成的将要由LSI71c处理的分割流存储到缓冲器3。这样，LSI71a、71c分别对分割流进行并行解码。

并且，两个流分割部2也可以将通过分割而被生成的两个流存放到缓冲器3或缓冲器4。在这种情况下，解码部5以及解码部6分别从缓冲器3或缓冲器4中读出自己将要处理的分割流，并对这些分割流并行进行解码。

(实施例12)

通过将用于实现在上述的各个实施例所示的图像解码装置、图像编码装置或代码转换装置的程序记录到记录介质，从而可以将上述的各个实施例所示的处理在独立的计算机系统简单执行。记录介质可以是磁盘、光盘、磁光盘、IC卡、或半导体存储器等，只要能够记录程序就可以。

在此，对在上述的各个实施例所示的图像解码装置、图像编码装置、代码转换装置以及这些方法的应用实例以及利用此应用实例的系统进行说明。

图33是示出实现内容分发服务的内容供给系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex107至ex110。

此内容供给系统ex100连接有各种设备，例如，互联网ex101上的互联网服务提供商ex102和电话网ex104，以及通过基站ex107至ex110，与计算机ex111、PDA(个人数字助理：personal digital assistant)ex112、摄像机ex113、便携式电话ex114等。

然而，内容供给系统ex100并非局限于图33所示的构成，也可以对任意的要素进行组合连接。并且，可以不通过作为固定无线局的基站ex107至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。

摄像机ex113是数字视频摄像机等能够拍摄运动图像的设备，摄像机ex116是数字摄像机等能够拍摄静态图像以及动态图像的设备。还有，便携式电话ex114可以是GSM(Global System for Mobile Communications：广义顺序机器)方式、CDMA(Code Division MultipleAccess：码分多路访问)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、或LTE(Long Term Evolution：长期演进)方式、HSPA(High SpeedPacket Access：高速分组接入)的便携式电话，或者是PHS(PersonalHandyphone System：个人手持式电话系统)等，不论哪个都可以。

在内容供给系统ex100中，摄像机ex113等通过无线基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况录音分发等。在实况录音分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的各个实施例所说明的编码处理，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静态图像数据以及/或者动态图像数据，也可以通过计算机ex111而被发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。

并且，这些编码以及解码处理一般是在计算机ex111或各个设备所具有的LSIex500中执行。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及解码用的软件安装到能够在计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中，并利用软件来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有摄像机的情况下，也可以发送该摄像机所获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话ex114所具有的LSIex500进行编码处理后的数据。

并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散、处理、记录、分发的装置。

如以上所述，在内容供给系统ex100，能够在客户端接收并再生被编码的数据。在这样的内容供给系统ex100中，在客户端能够即时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。

并且，不仅限于内容供给系统ex100的例子，如图34所示，在数字广播用系统ex200上至少也能够组装上述各个实施例所示的图像编码装置以及图像解码装置中的至少一个。具体而言，在广播电台ex201，影像信息的比特流通过电波来通信或被传送到卫星ex202。该比特流是上述的各个实施例中所说明的通过图像编码装置而被编码的编码比特流。接收了这些的卫星ex202发送用于广播的电波，这些电波由能够进行卫星广播接收的家庭的天线ex204来接收。接收的比特流由电视机(接收机)ex300或机顶盒(STB)ex217等装置解码再生。

并且，在用于读取并解码被记录在作为记录介质的CD(Compact Disc)或DVD(Digital Versatile Disc)等存储媒体ex214中的比特流的再生装置ex212上，也能够安装上述的各个实施例所示的图像解码装置。在此情况下，被再生的影像信号被显示在监视器ex213。

并且，在用于读取并解码DVD、BD(Blu-ray Disc)等记录介质ex215中所记录的编码比特流、或者将影像信号编码并写入到记录介质ex215的阅读器/记录器ex218上，也能够安装上述各个实施例所示的图像解码装置或图像编码装置。在这种情况下，被再生的影像信号能够被显示在监视器ex219，并且能够由记录由编码比特流的记录介质ex215在其他的装置或系统中再生影像信号。并且，也可以将图像解码装置安装到与有线电视的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装机顶盒，而是将图像解码装置组装到电视机内。

图35示出了利用了在上述的各个实施例中说明的图像解码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像信息的比特；调制/解调部ex302，解调接收的编码数据，或者为了将编码数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的影像数据和声音数据进行分离，或者对被编码的影像数据和声音数据进行多路复用。并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。而且，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。而且，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。

首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自运程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的影像数据和声音数据，在多路复用/分离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施例中说明的图像解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被编码的编码比特流，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出被编码的编码比特流。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的实施例中说明的图像编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以是共享一个以上的缓冲器的构成。而且，除图中所示以外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部分，可以在缓冲器中蓄积数据。

并且，电视机ex300除具有获得来自广播以及记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行上述的接收、解码处理以及外部输出中的某一个处理。

并且，在阅读器/记录器ex218从记录介质中读出或写入编码比特流的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。

作为一个例子，图36示出了从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401至ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自从记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学(near-field optical)来进行高密度的记录。

图37是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生代码道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用了各种不同波长的光的信息，或者可以是从各种角度记录不同的信息的层等的具有进行多维的记录/再生的结构的光盘。

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且，关于车辆导航系统ex211的构成可以考虑到在图35所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及便携式电话ex114等。并且，上述便携式电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。

这样，在上述的各个实施例所示的图像编码装置或运动图像解码装置或者这些装置的方法中能够适用于上述的任一个设备以及系统，这样，能够得到在上述的各个实施例中说明的效果。

并且，本发明并非受上述的实施例所限，在不超过本发明的范围内的各种变形以及修改均是可能的。

(实施例13)

上述的各个实施例所示的图像解码装置以及方法典型的能够以作为集成电路的LSI来实现。作为一个例子，图38示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex502至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。

并且，例如在进行解码处理的情况下，LSIex500根据微计算机ex502的控制，通过流输入输出ex504，经由无线基站ex107得到的编码数据或从记录介质ex215读出而得到的编码数据被暂时蓄积到存储器ex511等。根据微计算机ex502的控制，按照处理量以及处理速度，蓄积的数据被适当地分多次被发送到信号处理部ex507，在信号处理部ex507进行声音数据的解码以及/或影像数据的解码。在此，影像信号的编码处理是在上述的各个实施例中所说明的解码处理。并且，为了使被解码的声音信号和被解码的影像信号同步再生，可以根据情况将各个信号暂时蓄积到存储器ex511等。被解码的输出信号通过存储器ex511等，从AV输入输出ex509被输出到监视器ex219。在对存储器ex511进行存取之时，是通过存储器控制器ex503进行的。

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。

在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。

并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。在LSI制造后，也可以利用能够编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)、或能够重构LSI内部的电路单元的连接或设定的可重装处理器。

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行进行集成化。生物技术的适用等也将成为可能。

以上，利用实施例1至13对本发明进行了说明，不过本发明并非受这些实施例所限。

例如，实施例1的图像解码装置100虽然具备的是周边信息存储器7和8，不过也可以不像这样具备两个存储器。

图39是本发明的一个实施例所涉及的图像解码装置的构成图。

本发明的一个实施例所涉及的图像解码装置C100是对编码图像数据进行解码的图像解码装置。在此，该编码图像数据包括被编码的图片，图片由多个宏块行构成，宏块行由排列为一列的多个宏块构成。像这样的图像解码装置C100具备：分割部C101，按照构成图片的至少一个宏块行，通过至少将该一个宏块行分配到第一或第二编码图像数据的一部分，从而将图片分割为第一以及第二编码图像数据；以及第一以及第二解码部C103、C104，对第一以及第二编码图像数据中所分别包含的图片内彼此相邻的宏块行进行并行解码，并存放到帧存储部C102。

并且，第一解码部C103利用被存放在信息存储部C105的第二解码结果信息对第一编码图像数据进行解码，将通过解码而生成的信息的一部分作为第一解码结果信息存放到信息存储部C105。在此，第一解码部C103在对第一编码图像数据中所包含的解码对象的宏块进行解码时，对第二解码结果信息和解码对象的宏块进行图像处理，并分别将被图像处理后的解码对象的宏块以及第二解码结果信息中的至少一部分存放到帧存储部C102，所述第二解码结果信息是指，与该解码对象的宏块所属的宏块行相邻的、属于其他的宏块行的第二解码部C104所解码的其他的宏块的至少一部分。

并且，第二解码部C104利用被存放在信息存储部C105的第一解码结果信息对第二编码图像数据进行解码，将通过解码而生成的信息的一部分作为第二解码结果信息存放到信息存储部C105。在此，第二解码部C104在对第二编码图像数据中所包含的解码对象的宏块进行解码时，对第一解码结果信息和解码对象的宏块进行图像处理，并分别将被图像处理后的解码对象的宏块以及第一解码结果信息中的至少一部分存放到帧存储部C102，所述第一解码结果信息是指，与该解码对象的宏块所属的宏块行相邻的、属于其他的宏块行的第一解码部C103所解码的其他的宏块的至少一部分。在此，包含分割部C101、第一以及第二解码部C103和C104的图像解码装置C100可以作为集成电路来构成。

并且，分割部C101相当于实施例1至6的流分割部2，帧存储部C102相当于实施例1至6的帧存储器11。并且，第一解码部C103相当于实施例1至6的解码部5以及传输部9。第二解码部C104相当于实施例1至6的解码部6以及传输部10。并且，信息存储部C105相当于包含实施例1至6的周边信息存储器7和8的记录介质。并且，编码图像数据相当于实施例1至6的编码流，第一以及第二编码图像数据分别相当于实施例1至6的分割流，第一以及第二解码结果信息分别相当于实施例1至6的周边信息。

图40是示出图像解码装置C100的工作的流程图。

图像解码装置C100，首先按照构成图片的至少一个宏块行，通过将该至少一个宏块行分配给第一或第二编码图像数据的一部分，来将图片分割为第一以及第二编码图像数据(S1501)。并且，图像解码装置C100对第一以及第二的编码图像数据中所分别包含的、图片内彼此相邻的宏块行进行并行解码(S1502)，并存放到帧存储部C102(S1503)。

在步骤S1502对第一编码图像数据进行解码之时，图像解码装置C100的第一解码部C103利用被存放于信息存储部C105的第二解码结果信息来对第一编码图像数据进行解码(S1504)，并将通过解码而生成的信息的一部分作为第一解码结果信息存放到信息存储部C105(S1505)。在步骤S1504对第一编码图像数据中所包含的解码对象的宏块进行解码时，第一解码部C103对第二解码结果信息和解码对象的宏块进行图像处理，并分别将被图像处理后的解码对象的宏块以及第二解码结果信息中的至少一部分存放到帧存储部C102，所述第二解码结果信息是指，与该解码对象的宏块所属的宏块行相邻的、属于其他的宏块行的第二解码部C104所解码的其他的宏块的至少一部分。

并且，在步骤S1502对第二编码图像数据进行解码之时，图像解码装置C100的第二解码部C104利用被存放于信息存储部C105的第一解码结果信息来对第二编码图像数据进行解码(S1506)，并将通过解码而生成的信息的一部分作为第二解码结果信息存放到信息存储部C105(S1507)。在步骤S1506对第二编码图像数据中所包含的解码对象的宏块进行解码时，第二解码部C104对第一解码结果信息和解码对象的宏块进行图像处理，并分别将被图像处理后的解码对象的宏块以及第一解码结果信息中的至少一部分存放到帧存储部C102，所述第一解码结果信息是指，与该解码对象的宏块所属的宏块行相邻的、属于其他的宏块行的第二解码部C104所解码的其他的宏块的至少一部分。

这样，由于像这种跨越宏块行而被解块滤波处理的图像处理也能够针对第一以及第二编码图像数据(分割流)并行执行，因此能够实现整体的解码的高速化，其结果是能够提高解码性能或解码效率。并且，宏块在由第一或第二解码部C103、C104解码，并被存放到帧存储部(帧存储器)之后，对于该宏块的解块滤波处理已经被执行。因此，在宏块被存放在帧存储部C102之后，则不需要为了进行解块滤波处理而从帧存储部C102中特意地读出宏块。这样，能够减少向帧存储部C102的访问次数。

并且，在图像解码装置C100，编码图像数据被分割为第一以及第二编码图像数据，该第一以及第二编码图像数据分别由第一以及第二解码部C103和C104并行进行解码，并且第一以及第二编码图像数据的解码因经由信息存储部C105的数据依存而同步，因此能够省略上述的专利文献1那样的由各个解码部对解码的定时进行集中控制的宏块流水线控制部。而且，即使在图像解码装置C100具备将编码流分割为三个以上的数据，并对这些数据进行并行解码的多个解码部的情况下，也不需要设置上述专利文献1那样的宏块行控制部与解码部之间的信号线，能够实现简单地图像解码装置。并且，在图像解码装置C100，因H.264标准中的数据的依存关系而需要的第一以及第二解码结果信息通过信息存储部C105，而在第一以及第二解码部C103、C104之间被收发。因此，第一以及第二解码部C103、C104只要在解码时所分别需要的第一或第二解码结果信息被存放到信息存储部C105，则不需要等待另一方的解码部所进行的解码，而能够利用该被存放的第一或第二解码结果信息，来继续执行第一或第二编码图像数据的解码。其结果是，能够抑制像上述专利文献1的图像解码装置那样中断解码而发生的时间损失，并且能够提高解码效率。

因此，本发明的图像解码装置即使不具备用于存放解码结果的一部分的两个存储器(周边信息存储器7和8)，也能够实现上述的作用与效果。而且，本发明的图像解码装置即使不具备帧存储部C102(帧存储器11)和图1所示的CPB1以及缓冲器3、4，也能够实现上述的作用与效果。

并且，本发明的一个实施例所涉及的集成电路也可以如图39所示，虽然包括了分割部C101、第一以及第二解码部C103、C104，不过也可以包括第一以及第二解码部C103、C104之中的一方。

图41是本发明的其他的实施例所涉及的集成电路的构成图。

本发明的其他的实施例所涉及的集成电路C2001是对编码图像数据的一部分进行解码的集成电路。在此，该编码图像数据包括被编码的图片，图片由多个宏块行构成，宏块行由排列为一列的多个宏块构成。这样的集成电路C2001具备分割部C101和解码部C2002。分割部C101按照构成图片的至少一个宏块行，通过将该至少一个宏块行分配给第一或第二编码图像数据的一部分，来将图片分割为第一以及第二编码图像数据。解码部C2002通过被连接于集成电路C2001的处理装置C2004，与第一编码图像数据中所包含的宏块行的解码并行，对与该宏块行在图片内相邻的第二编码图像数据中所包含的宏块行进行解码，并存放到帧存储部C102。

并且，解码部C2002利用被存放于信息存储部C2003的第一解码结果信息对第二编码图像数据进行解码，并将通过解码而生成的信息的一部分作为第二解码结果信息存放到信息存储部C2003。

在此，解码部C2002在对第二编码图像数据中所包含的解码对象的宏块进行解码时，对第一解码结果信息和解码对象的宏块进行图像处理，并分别将被图像处理后的解码对象的宏块以及第二解码结果信息中的至少一部分存放到帧存储部C102，所述第一解码结果信息是指，与该解码对象的宏块所属的宏块行相邻的、属于其他的宏块行的处理装置C2004所解码的其他的宏块的至少一部分。

并且，处理装置C2004利用被存放于该处理装置C2004的第二解码结果信息对第一编码图像数据进行解码，并将通过解码而生成的信息的一部分作为第一解码结果信息存放到信息存储部C2003。

在此，处理装置C2004在对第一编码图像数据中所包含的解码对象的宏块进行解码时，对第二解码结果信息和解码对象的宏块进行图像处理，并分别将被图像处理后的解码对象的宏块以及第二解码结果信息中的至少一部分存放到帧存储部C102，所述第二解码结果信息是指，与该解码对象的宏块所属的宏块行相邻的、属于其他的宏块行的解码部C2002所解码的其他的宏块的至少一部分。

并且，集成电路C2001相当于图31或图32所示的LSI71a。在此，解码部C2002相当于LSI71a的解码部6以及传输部10，信息存储部C2003相当于LSI71a的周边信息存储器8。

这样的集成电路C2001通过与图31所示的LSI71b(处理装置C2004)或图32所示的LSI71c(处理装置C2004)共同协调工作，从而能够达到与图像解码装置C100同样的作用效果。

图42是本发明的其他的实施例所涉及的图像解码装置的构成图。

本发明的其他的实施例所涉及的图像解码装置C800还具备具有第一以及第二信息存储部C105a、C105b的信息存储部。第一解码部C103从第一信息存储部C105a读出第二解码结果信息，以便用于第一编码图像数据的解码，并将第一解码结果信息存放到第二信息存储部105b。第二解码部C104从第二信息存储部C105b读出第一解码结果信息，以便用于第二编码图像数据的解码，并将第二解码结果信息存放到第一信息存储部C105a。

在此，图像解码装置C800还具备：第一开关C803和第二开关C804，所述第一开关C803将第一信息存储部C105a中所存放的信息切换为第一信息和第二信息，所述第二开关C804将第二信息存储部C150b中所存放的信息切换为第三信息和第四信息。

第一信息存储部C105a中所存放的信息在由第一开关C803切换为第一信息，且第二信息存储部C105b中所存放的信息由第二开关C804被切换为第三信息之时，如以上所述，第一解码部C103将第一解码结果信息作为第三信息存放到第二信息存储部C105b。并且，第二解码部C104将第二解码结果信息作为第一信息存放到第一信息存储部C105a。

并且，在第一信息存储部C105a中所存放的信息由第一开关C803切换为第二信息，且第二信息存储部C105b中所存放的信息由第二开关C804切换为第四信息之时，第一以及第二解码部C103和C104进行分别与上述不同的工作。即，第一解码部C103进一步从第一信息存储部C105a中读出第二信息，以便用于其他的编码图像数据的解码，并将通过该解码而生成的信息的一部分作为新的第二信息存放到第一信息存储部C105a。并且，第二解码部C104进一步从第二信息存储部C105b中读出第四信息，以便用于编码图像数据的解码，并将通过该解码而生成的信息的一部分作为新的第四信息存放到第二信息存储部C105b。

据此，在图像解码装置C800中，在第一以及第二信息存储部C105aC和105b中所存放的信息，由第一以及第二开关C803和C804分别切换为第一以及第三信息之时，对第一以及第二编码图像数据并行进行解码，在第一以及第二信息存储部C105aC和105b中所存放的信息，由第一以及第二开关C803和C804分别切换为第二以及第四信息之时，编码图像数据与其他的编码图像数据同时被解码。因此，能够对一个编码图像数据由第一以及第二开关C803和C804分割并进行并行解码的处理、与独立的两个编码图像数据被同时进行解码的处理进行切换，从而能够提高图像解码装置的方便性。

并且，在本发明的图像解码装置，第一解码部C103将解码对象数据切换为第一编码图像数据和其他的编码图像数据，第二解码部C104将解码对象数据切换为第二编码图像数据和编码图像数据。因此，本发明的图像解码装置即使不具备实施例3的图像解码装置300中的开关38以及开关39，也能够达到上述的作用与效果。

图43是本发明的其他的实施例所涉及的图像解码装置的构成图。

本发明其他的实施例所涉及的图像解码装置C900除了具备图像解码装置C100的构成要素之外，还具备开关C901，该开关C901将成为由分割部C101分割的对象的数据，切换为编码图像数据和其他的编码图像数据。分割部C101在成为分割对象的数据由开关C901切换为编码图像数据之时，对编码图像数据的图片进行分割。并且，在成分分割对象的数据由开关C901切换为其他的编码图像数据之时，分割部C101对其他的编码图像数据的图片进行分割。

据此，在图像解码装置C900能够对两个编码图像数据在时间上进行切换并进行解码。例如，在编码图像数据中所包含的图片被解码时，成分分割对象的数据则被切换为其他的编码图像数据。这样，其他的编码图像数据中所包含的图片被分割并被解码。之后，成为分割对象的数据再次被切换为编码图像数据。这样，以图片为单位来进行切换，从而能够同时对两个编码图像数据进行解码。

图44是本发明的一个实施例所涉及的图像编码装置的构成图。

本发明的一个实施例所涉及的图像编码装置C1200是对图像数据进行编码的图像编码装置。在此，该图像数据包括图片，图片由多个宏块行构成，宏块行由排列为一列的多个宏块构成。这样的图像编码装置C1200具备：第一以及第二编码部C1202、C1203，通过从帧存储部C1201中读出图像数据中所包含的第一以及第二图像数据并进行并行编码，从而生成第一以及第二编码图像数据；以及结合部C1205，对第一以及第二编码图像数据进行结合，以使得由第一以及第二编码部C1202、C1203所生成的第一以及第二编码图像数据中所分别包含的宏块行在图片内成为彼此相邻。

并且，第一编码部C1202利用被存放于信息存储部C1204中的第二编码结果信息来对第一图像数据进行编码，将通过编码而生成的信息的一部分作为第一解码结果信息存放到信息存储部C1204。在此，第一编码部C1202在对第一图像数据中所包含的编码对象的宏块进行编码时，对第二编码结果信息和编码对象的宏块进行图像处理，并分别将被图像处理后的编码对象的宏块以及第二编码结果信息中的至少一部分存放到帧存储部C1201，所述第二编码结果信息是指，与该编码对象的宏块所属的宏块行相邻的、属于其他的宏块行的其他的宏块的至少一部分。

并且，第二编码部C1203利用被存放于信息存储部C1204中的第一编码结果信息来对第二图像数据进行编码，将通过编码而生成的信息的一部分作为第二编码结果信息存放到信息存储部C1204。在此，第二编码部C1203在对第二图像数据中所包含的编码对象的宏块进行编码时，对第一编码结果信息和编码对象的宏块进行图像处理，并分别将被进行了图像处理的编码对象的宏块以及第一解码结果信息中的至少一部分存放到帧存储部C1201，所述第一编码结果信息是指，与该编码对象的宏块所属的宏块行相邻的、属于其他的宏块行的其他的宏块的至少一部分。

并且，结合部C1205相当于实施例7的流结合部55，帧存储部C1201相当于实施例7的帧存储器11。并且，第一编码部C1202相当于实施例7的编码部51以及传输部9。第二编码部C1203相当于实施例7的编码部52以及传输部10。并且，信息存储部C1204相当于包括实施例7的周边信息存储器7和8的记录介质。并且，第一以及第二编码图像数据相当于实施例7的分割流，由结合部C1205结合而被生成的数据相当于实施例7的编码流，第一以及第二编码结果信息分别相当于实施例7的周边信息。

图45是示出图像编码装置C1200的工作的流程图。

图像编码装置C1200首先从帧存储部C1201中读出图像数据中所包含的第一以及第二图像数据(S1601)，通过进行并行编码来生成第一以及第二编码图像数据(S1602)。接着，图像编码装置C1200对该第一以及第二编码图像数据进行结合，以使被生成的第一以及第二编码图像数据所分别包含的宏块行在图片内成为彼此相邻(S1603)。

在步骤S1602对第一图像数据进行编码之时，图像编码装置C1200的第一编码部C1202利用被存放在信息存储部C1204中的第二编码结果信息对第一图像数据进行编码(S1604)，并将通过该编码而生成的信息的一部分作为第一编码结果信息存放到信息存储部C1204(S1605)。在此，第一编码部C1202在对第一图像数据中所包含的编码对象的宏块进行编码时，对第二编码结果信息和编码对象的宏块进行图像处理，并分别将被图像处理后的编码对象的宏块以及第二解码结果信息中的至少一部分存放到帧存储部C1012，所述第二编码结果信息是指，与该编码对象的宏块所属的宏块行相邻的、属于其他的宏块行的其他的宏块的至少一部分。

并且，在步骤S1602对第二图像数据进行编码之时，图像编码装置C1200的第二编码部C1203利用被存放在信息存储部C1204中的第一编码结果信息对第二图像数据进行编码(S1606)，并将通过该编码而生成的信息的一部分作为第二编码结果信息存放到信息存储部C1204(S1607)。在此，第二编码部C1203在对第二图像数据中所包含的编码对象的宏块进行编码时，对第一编码结果信息和编码对象的宏块进行图像处理，并分别将被图像处理后的编码对象的宏块以及第一解码结果信息中的至少一部分存放到帧存储部C1201，所述第一编码结果信息是指，与该编码对象的宏块所属的宏块行相邻的、属于其他的宏块行的其他的宏块的至少一部分。

这样，由于像这种跨越宏块行而被解块滤波处理的图像处理也能够针对第一以及第二图像数据并行执行，因此能够实现整体的编码的高速化，其结果是能够提高编码性能或编码效率。

并且，宏块在由第一或第二编码部C1202、C1203存放到帧存储部C1201之后，已经对该宏块进行了解块滤波处理等图像处理。因此，在宏块被存放在帧存储部C1201之后，则不需要为了进行图像处理而从帧存储部C1201中特意地读出宏块。这样，能够减少向帧存储部C1201的访问次数。

并且，在图像编码装置C1200，由于图像数据中所包含的第一以及第二图像数据被并行编码并被结合，因此能够省略对由各个编码部进行编码的定时进行集中控制的控制部。并且，即使在图像编码装置C1200具备对图像数据的一部分进行编码的多个编码部的情况下，也无需在上述的控制部与各个编码部之间铺设信号线，从而能够简单地安装图像编码装置。并且，在图像编码装置C1200，因H.264标准中的数据的依存关系而需要的第一以及第二编码结果信息，通过信息存储部C1204，在第一以及第二编码部C1202、C1203之间被收发。因此，第一以及第二编码部C1202、C1203在各自进行编码时所需要的第一或第二编码结果信息被存放到信息存储部C1204的情况下，无需等待另一方的编码部所进行的编码，而能够利用被存放的第一或第二编码结果信息继续进行第一或第二图像数据的编码。这样，能够抑制在编码过程中发生中断而产生时间损失，从而能够提高编码效率。

因此，本发明的图像编码装置即使不具备用于存放编码结果的一部分的两个存储器(周边信息存储器7和8)，也能够实现上述的作用与效果。而且，本发明的图像编码装置即使不具备帧存储部C1201(帧存储器11)和图28所示的CPB56以及缓冲器53、54，也能够实现上述的作用与效果。

图46是本发明的一个实施例所涉及的代码转换装置的构成图。

本发明的一个实施例所涉及的代码转换装置C1300具备：图像解码装置C1301和图像编码装置C1302。在此，图像解码装置C1301可以是上述实施例1至6中的任一个图像解码装置，图像编码装置C1302可以是任一个图像编码装置。并且，图像编码装置C1302可以是上述的实施例7中的图像编码装置700或上述实施例1至6中的任一个图像解码装置所对应的图像编码装置，图像解码装置C1301可以是任一个图像解码装置。并且，图像解码装置C1301是上述的实施例1至6任一个中的图像解码装置，并且图像编码装置C132可以是上述实施例7的图像编码装置700或与上述的实施例1至6任一个中的图像解码装置相对应的图像编码装置。

这样，在本发明的代码转换装置中，能够达到至少与上述的本发明的图像解码装置以及图像编码装置的至少一方相同的作用与效果。

本发明的图像解码装置、图像编码装置以及代码转换装置在能够提高解码效率或编码效率的同时，而且还能够达到容易实现的作用效果，因此能够利用于各种用途。例如能够利用于电视机、数字录像机、导航系统、便携式电话、数码相机或数字摄像机等信息显示设备以及摄影设备，其利用价值非常高。

符号说明

1，37，56    CPB(Coded Picture Buffer：编码图像缓存区)

2，20    流分割部

3，4，21-24，53，54    缓冲器

5，6，25-28，C2002    解码部

7，8，29-32    周边信息存储器

9，10，33-36    传输部

11，44    帧存储器

12    可变长解码部

13    逆量化部

14    逆频率变换部

15    重构部

16    画面内预测部

17    运动矢量计算部

18    运动补偿部

19    解块滤波部

38-42，C901    开关

43    图像输出部

51，52    编码部

55    流结合部

60    并行解码部

61    放大缩小部

62    并行编码部

100，100a，200，300，400，500，600，600a，600b，C100，C800，C900，C1301    图像解码装置

700，C1200，C1302    图像编码装置

800，C1300    代码转换装置

C101    分割部

C102，C1201    帧存储部

C103    第一解码部

C104    第二解码部

C105，C1204，C2003    信息存储部

C105a    第一信息存储部

C105b    第二信息存储部

C803    第一开关

C804    第二开关

C1202    第一编码部

C1203    第二编码部

C1205    结合部

C2001    集成电路

ex100    内容供给系统

ex101    联网

ex102    联网服务提供商

ex103    流播放服务器

ex104    电话网

ex107-ex110    无线基站

ex111    计算机

ex112    PDA(Personal Digital Assistant：个人数字助理)

ex113    摄像机

ex114    便携式电话

ex116    摄像机

ex200    数字广播用系统

ex201    广播电台

ex202    卫星

ex203    电缆

ex204，ex205    天线

ex210    车辆

ex211    导航系统

ex212    再生装置

ex213，ex219    监视器

ex215，ex216    记录介质

ex217    机顶盒(STB)

ex218    阅读器/记录器

ex220    远程控制器

ex230    代码道

ex231    记录块

ex232    内周区域

ex233    数据记录区域

ex234    外周区域

ex300    电视(接收机)

ex301    调谐器

ex302    调制/解调部

ex303    多路复用/分离部

ex304    声音信号处理部

ex305    图像信号处理部

ex306    信号处理部

ex307    扬声器

ex308    显示部

ex309    输出部

ex310    控制部

ex311    电源电路部

ex312    操作输入部

ex313    电桥

ex314    插槽部

ex315    驱动器

ex316    调制解调器

ex317    接口部

ex318，ex319，ex404    缓冲器

ex400    信息再生/记录部

ex401    光学头

ex402    调制记录部

ex403    再生解调部

ex405    盘式电机

ex406    伺服控制部

ex407    系统控制部

ex500    大规模集成电路(LSI)

ex502    微计算机

ex503    存储器控制器

ex504    流输入输出(I/O)

ex505    电源电路部

ex507    信号处理部

ex509    AV输入输出(I/O)

ex510    总线

ex511    存储器

权利要求书(按照条约第19条的修改)

1.(修改后)一种图像解码装置，对编码图像数据进行解码，

所述编码图像数据包含被编码后的图片，所述图片由多个第一构成单位构成，所述第一构成单位由被排列成一列的多个第二构成单位构成，

所述图像解码装置包括：

分割部，按照构成所述图片的至少一个第一构成单位，通过至少将该一个第一构成单位分配给第一编码图像数据或第二编码图像数据的一部分，从而将所述图片分割为第一编码图像数据以及第二编码图像数据；以及

第一解码部和第二解码部，对分别包含在所述第一编码图像数据和所述第二编码图像数据中的、所述图片内彼此相邻的第一构成单位进行并行解码，并存放到帧存储部；

所述第一解码部，

利用被存放在信息存储部中的第二解码结果信息，对所述第一编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为第一解码结果信息存放到所述信息存储部；

在对所述第一编码图像数据中所包含的作为解码对象的第二构成单位进行解码之时，

针对所述第二解码结果信息和作为所述解码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述解码对象的第二构成单位的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二解码结果信息是指，属于与该作为解码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、由所述第二解码部解码的其他的第二构成单位的至少一部分；

所述第二解码部，

利用被存放在所述信息存储部中的所述第一解码结果信息，对所述第二编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为所述第二解码结果信息存放到所述信息存储部；

在对所述第二编码图像数据中所包含的作为解码对象的第二构成单位进行解码之时，

针对所述第一解码结果信息和作为所述解码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述解码对象的第二构成单位的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一解码结果信息是指，属于与该作为解码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、由所述第一解码部解码的其他的第二构成单位的至少一部分。

2.(修改后)如权利要求1所述的图像解码装置，

所述第一解码部，

通过进行所述图像处理，从而使由所述第二解码结果信息所示的、被解码的所述其他的第二构成单位的至少一部分的像素值发生变化；

所述第二解码部，

通过进行所述图像处理，从而使由所述第一解码结果信息所示的、被解码的所述其他的第二构成单位的至少一部分的像素值发生变化。

3.(修改后)如权利要求2所述的图像解码装置，

所述第一解码部，

将解块滤波处理作为所述图像处理，来对所述第二解码结果信息和作为所述解码对象的第二构成单位执行；

所述第二解码部，

将解块滤波处理作为所述图像处理，来对所述第一解码结果信息和作为所述解码对象的第二构成单位执行。

4.如权利要求1至3的任一项所述的图像解码装置，

所述图像解码装置还包括具有第一信息存储部和第二信息存储部的所述信息存储部；

所述第一解码部，从所述第一信息存储部读出所述第二解码结果信息以用于所述第一编码图像数据的解码，将所述第一解码结果信息存放到所述第二信息存储部；

所述第二解码部，从所述第二信息存储部读出所述第一解码结果信息以用于所述第二编码图像数据的解码，将所述第二解码结果信息存放到所述第一信息存储部。

5.(修改后)如权利要求1至4的任一项所述的图像解码装置，

所述分割部，在所述图片以宏块自适应帧/场的结构而被编码的情况下，按照构成所述图片的彼此相邻的两个第一构成单位，通过将该两个第一构成单位分配给第一编码图像数据的一部分或第二编码图像数据的一部分，从而对所述图片进行分割。

6.如权利要求4所述的图像解码装置，

所述第一解码部以及所述第二解码部，通过所述第一信息存储部以及所述第二信息存储部进行彼此同步的解码。

7.(修改后)如权利要求6所述的图像解码装置，

所述第一解码部，在所述第一编码图像数据中的、作为解码对象的第二构成单位的解码时所需要的所述第二解码结果信息没有被存放到所述第一信息存储部的情况下，直到所述第二解码结果信息被存放为止，等待针对作为所述解码对象的第二构成单位的解码，当所述第二解码结果信息被存放时，开始针对作为所述解码对象的第二构成单位的解码；

所述第二解码部，在所述第二编码图像数据中的、作为解码对象的第二构成单位的解码时所需要的所述第一解码结果信息没有被存放到所述第二信息存储部的情况下，直到所述第一解码结果信息被存放为止，等待针对作为所述解码对象的第二构成单位的解码，当所述第一解码结果信息被存放时，开始针对作为所述解码对象的第二构成单位的解码。

8.如权利要求4所述的图像解码装置，

所述图像解码装置还包括：

第一开关，将所述第一信息存储部所存放的信息切换为第一信息和第二信息；以及

第二开关，将所述第二信息存储部所存放的信息切换为第三信息和第四信息；

在所述第一信息存储部中所存放的信息由所述第一开关切换为所述第一信息，且所述第二信息存储部中所存放的信息由所述第二开关切换为所述第三信息之时，

所述第一解码部，将所述第一解码结果信息作为所述第三信息存放到所述第二信息存储部，

所述第二解码部，将所述第二解码结果信息作为所述第一信息存放到所述第一信息存储部；

在所述第一信息存储部中所存放的信息由所述第一开关切换为所述第二信息，且所述第二信息存储部中所存放的信息由所述第二开关切换为所述第四信息之时，

所述第一解码部，进一步，从所述第一信息存储部中读出所述第二信息，以用于其他的编码图像数据的解码，将通过该解码而被生成的信息的一部分作为新的第二信息存放到所述第一信息存储部，

所述第二解码部，进一步，从所述第二信息存储部中读出所述第四信息，以用于所述编码图像数据的解码，将通过该解码而被生成的信息的一部分作为新的第四信息存放到所述第二信息存储部。

9.如权利要求1至8的任一项所述的图像解码装置，

所述图像解码装置还包括：

开关，将成为由所述分割部分割的对象的数据，切换为所述编码图像数据和其他的编码图像数据；

所述分割部，

在成为分割对象的数据由所述开关切换为所述编码图像数据之时，分割所述编码图像数据的图片，

在成为分割对象的数据由所述开关切换为所述其他的编码图像数据之时，分割所述其他的编码图像数据的图片。

10.如权利要求1至9的任一项所述的图像解码装置，

所述图像解码装置还包括图像输出部，该图像输出部从所述帧存储部读出作为被解码的所述第一编码图像数据以及所述第二编码图像数据的运动图像，对所述运动图像中包含的图片进行抽选，将被抽选了图片的所述运动图像输出到所述显示装置，以使所述显示装置以被设定的帧率来显示所述运动图像。

11.如权利要求1至10的任一项所述的图像解码装置，

所述帧存储部包括第一帧存储部和第二帧存储部；

所述第一解码部从所述第一帧存储部读出在所述第一编码图像数据的解码时所参考的参考图像，将被解码的所述第一编码图像数据写入到所述第一帧存储部以及所述第二帧存储部；

所述第二解码部从所述第二帧存储部读出在所述第二编码图像数据的解码时所参考的参考图像，将被解码的所述第二编码图像数据写入到所述第一帧存储部以及所述第二帧存储部。

12.(修改后)一种图像编码装置，对图像数据进行编码，

所述图像数据包含图片，所述图片由多个第一构成单位构成，所述第一构成单位由被排列成一列的多个第二构成单位构成，

所述图像编码装置包括：

第一编码部和第二编码部，通过从帧存储部中读出所述图像数据中所包含的第一图像数据和第二图像数据，并进行并行编码，从而生成第一编码图像数据和第二编码图像数据；以及

结合部，对所述第一编码图像数据和所述第二编码图像数据进行结合，以使由所述第一编码部和所述第二编码部生成的第一编码图像数据和第二编码图像数据中所分别包含的第一构成单位在所述图片内彼此相邻；

所述第一编码部，

利用被存放在信息存储部中的第二编码结果信息，对所述第一编码图像数据进行编码，将通过该编码而被生成的信息的一部分作为第一编码结果信息存放到所述信息存储部；

在对所述第一图像数据中所包含的作为编码对象的第二构成单位进行编码之时，

针对所述第二编码结果信息和作为所述编码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述编码对象的第二构成单位的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二编码结果信息是指，属于与该作为编码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、其他的第二构成单位的至少一部分；

所述第二编码部，

利用被存放在所述信息存储部中的所述第一编码结果信息，对所述第二图像数据进行编码，将通过该编码而被生成的信息的一部分作为所述第二编码结果信息存放到所述信息存储部；

在对所述第二图像数据中所包含的作为编码对象的第二构成单位进行编码之时，

针对所述第一编码结果信息和作为所述编码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述编码对象的第二构成单位的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一编码结果信息是指，属于与该作为编码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、其他的第二构成单位的至少一部分。

13.一种代码转换装置，对编码图像数据进行解码后再进行编码，该代码转换装置包括：

权利要求1至11的任一项所述的图像解码装置；以及

图像编码装置，对所述帧存储部中所存放的图像数据进行编码，该图像数据是由所述图像解码装置解码的所述第一编码图像数据和所述第二编码图像数据。

14.一种代码转换装置，对编码图像数据进行解码后再编码，该代码转换装置包括：

图像解码装置，对所述编码图像数据进行解码；以及

权利要求12中所述的图像编码装置，对作为由所述图像解码装置解码的编码图像数据的图像数据进行编码。

15.(修改后)一种图像解码方法，对编码图像数据进行解码，

所述编码图像数据包含被编码后的图片，所述图片由多个第一构成单位构成，所述第一构成单位由被排列成一列的多个第二构成单位构成，

在所述图像解码方法中，

按照构成所述图片的至少一个第一构成单位，通过至少将该一个第一构成单位分配给第一编码图像数据或第二编码图像数据的一部分，从而将所述图片分割为第一编码图像数据以及第二编码图像数据；

对分别包含在所述第一编码图像数据和所述第二编码图像数据中的、所述图片内彼此相邻的第一构成单位进行并行解码，并存放到帧存储部；

在对所述第一编码图像数据进行解码之时，

利用被存放在信息存储部中的第二解码结果信息，对所述第一编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为第一解码结果信息存放到所述信息存储部；

在对所述第一编码图像数据中所包含的作为解码对象的第二构成单位进行解码之时，

针对所述第二解码结果信息和作为所述解码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述解码对象的第二构成单位的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二解码结果信息是指，属于与该作为解码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、被解码的其他的第二构成单位的至少一部分；

在对所述第二编码图像数据进行解码之时，

利用被存放在所述信息存储部中的所述第一解码结果信息，对所述第二编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为所述第二解码结果信息存放到所述信息存储部；

在对所述第二编码图像数据中所包含的作为解码对象的第二构成单位进行解码之时，

针对所述第一解码结果信息和作为所述解码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述解码对象的第二构成单位的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第一解码结果信息是指，属于与该作为解码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、被解码的其他的第二构成单位的至少一部分。

16.(修改后)一种图像编码方法，对图像数据进行编码，

所述图像数据包含图片，所述图片由多个第一构成单位构成，所述第一构成单位由被排列成一列的多个第二构成单位构成，

在所述图像编码方法中，

通过从帧存储部中读出所述图像数据中所包含的第一图像数据和第二图像数据，并进行并行编码，从而生成第一编码图像数据和第二编码图像数据；

对所述第一编码图像数据和所述第二编码图像数据进行结合，以使被生成的所述第一编码图像数据和所述第二编码图像数据中所分别包含的第一构成单位在所述图片内彼此相邻；

在对所述第一图像数据进行编码之时，

利用被存放在信息存储部中的第二编码结果信息，对所述第一编码图像数据进行编码，将通过该编码而被生成的信息的一部分作为第一编码结果信息存放到所述信息存储部；

在对所述第一图像数据中所包含的作为编码对象的第二构成单位进行编码之时，

针对所述第二编码结果信息和作为所述编码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述编码对象的第二构成单位的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二编码结果信息是指，属于与该作为编码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、其他的第二构成单位的至少一部分；

在对所述第二图像数据进行编码之时，

利用被存放在所述信息存储部中的所述第一编码结果信息，对所述第二图像数据进行编码，将通过该编码而被生成的信息的一部分作为所述第二编码结果信息存放到所述信息存储部；

在对所述第二图像数据中所包含的作为编码对象的第二构成单位进行编码之时，

针对所述第一编码结果信息和作为所述编码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述编码对象的第二构成单位的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一编码结果信息是指，属于与该作为编码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、其他的第二构成单位的至少一部分。

17.一种程序，用于使计算机作为权利要求1至11的任一项所述的图像解码装置来发挥功能。

18.一种程序，用于使计算机作为权利要求12所述的图像编码装置来发挥功能。

19.(修改后)一种集成电路，对编码图像数据进行解码，

所述编码图像数据包含被编码后的图片，所述图片由多个第一构成单位构成，所述第一构成单位由被排列成一列的多个第二构成单位构成，

所述集成电路包括：

分割部，按照构成所述图片的至少一个第一构成单位，通过至少将该一个第一构成单位分配给第一编码图像数据或第二编码图像数据的一部分，从而将所述图片分割为第一编码图像数据以及第二编码图像数据；以及

第一解码部和第二解码部，对分别包含在所述第一编码图像数据和所述第二编码图像数据中的、所述图片内彼此相邻的第一构成单位进行并行解码，并存放到帧存储部；

所述第一解码部，

利用被存放在信息存储部中的第二解码结果信息，对所述第一编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为第一解码结果信息存放到所述信息存储部；

在对所述第一编码图像数据中所包含的作为解码对象的第二构成单位进行解码之时，

针对所述第二解码结果信息和作为所述解码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述解码对象的第二构成单位的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二解码结果信息是指，属于与该作为解码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、由所述第二解码部解码的其他的第二构成单位的至少一部分；

所述第二解码部，

利用被存放在所述信息存储部中的所述第一解码结果信息，对所述第二编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为所述第二解码结果信息存放到所述信息存储部；

在对所述第二编码图像数据中所包含的作为解码对象的第二构成单位进行解码之时，

针对所述第一解码结果信息和作为所述解码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述解码对象的第二构成单位的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一解码结果信息是指，属于与该作为解码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、由所述第一解码部解码的其他的第二构成单位的至少一部分。

20.(修改后)一种集成电路，对图像数据进行编码，

所述图像数据包含图片，所述图片由多个第一构成单位构成，所述第一构成单位由被排列成一列的多个第二构成单位构成，

所述集成电路包括：

第一编码部和第二编码部，通过从帧存储部中读出所述图像数据中所包含的第一图像数据和第二图像数据，并进行并行编码，从而生成第一编码图像数据和第二编码图像数据；以及

结合部，对所述第一编码图像数据和所述第二编码图像数据进行结合，以使由所述第一编码部和所述第二编码部生成的第一编码图像数据和第二编码图像数据中所分别包含的第一构成单位在所述图片内彼此相邻；

所述第一编码部，

利用被存放在信息存储部中的第二编码结果信息，对所述第一编码图像数据进行编码，将通过该编码而被生成的信息的一部分作为第一编码结果信息存放到所述信息存储部；

在对所述第一图像数据中所包含的作为编码对象的第二构成单位进行编码之时，

针对所述第二编码结果信息和作为所述编码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述编码对象的第二构成单位的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二编码结果信息是指，属于与该作为编码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、其他的第二构成单位的至少一部分；

所述第二编码部，

利用被存放在所述信息存储部中的所述第一编码结果信息，对所述第二图像数据进行编码，将通过该编码而被生成的信息的一部分作为所述第二编码结果信息存放到所述信息存储部；

在对所述第二图像数据中所包含的作为编码对象的第二构成单位进行编码之时，

针对所述第一编码结果信息和作为所述编码对象的第二构成单位进行图像处理，将进行了图像处理后的作为所述编码对象的第二构成单位的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一编码结果信息是指，属于与该作为编码对象的第二构成单位所属的第一构成单位相邻的其他的第一构成单位中的、其他的第二构成单位的至少一部分。

Claims (20)

1.一种图像解码装置，对编码图像数据进行解码，

所述编码图像数据包含被编码后的图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，

所述图像解码装置包括：

分割部，按照构成所述图片的至少一个宏块行，通过至少将该一个宏块行分配给第一编码图像数据或第二编码图像数据的一部分，从而将所述图片分割为第一编码图像数据以及第二编码图像数据；以及

第一解码部和第二解码部，对分别包含在所述第一编码图像数据和所述第二编码图像数据中的、所述图片内彼此相邻的宏块行进行并行解码，并存放到帧存储部；

所述第一解码部，

利用被存放在信息存储部中的第二解码结果信息，对所述第一编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为第一解码结果信息存放到所述信息存储部；

在对所述第一编码图像数据中所包含的作为解码对象的宏块进行解码之时，

针对所述第二解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、由所述第二解码部解码的其他的宏块的至少一部分；

所述第二解码部，

利用被存放在所述信息存储部中的所述第一解码结果信息，对所述第二编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为所述第二解码结果信息存放到所述信息存储部；

在对所述第二编码图像数据中所包含的作为解码对象的宏块进行解码之时，

针对所述第一解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、由所述第一解码部解码的其他的宏块的至少一部分。

2.如权利要求1所述的图像解码装置，

所述第一解码部，

通过进行所述图像处理，从而使由所述第二解码结果信息所示的、被解码的所述其他的宏块的至少一部分的像素值发生变化；

所述第二解码部，

通过进行所述图像处理，从而使由所述第一解码结果信息所示的、被解码的所述其他的宏块的至少一部分的像素值发生变化。

3.如权利要求2所述的图像解码装置，

所述第一解码部，

将解块滤波处理作为所述图像处理，来对所述第二解码结果信息和作为所述解码对象的宏块执行；

所述第二解码部，

将解块滤波处理作为所述图像处理，来对所述第一解码结果信息和作为所述解码对象的宏块执行。

4.如权利要求1至3的任一项所述的图像解码装置，

所述图像解码装置还包括具有第一信息存储部和第二信息存储部的所述信息存储部；

所述第一解码部，从所述第一信息存储部读出所述第二解码结果信息以用于所述第一编码图像数据的解码，将所述第一解码结果信息存放到所述第二信息存储部；

所述第二解码部，从所述第二信息存储部读出所述第一解码结果信息以用于所述第二编码图像数据的解码，将所述第二解码结果信息存放到所述第一信息存储部。

5.如权利要求1至4的任一项所述的图像解码装置，

所述分割部，在所述图片以宏块自适应帧/场的结构而被编码的情况下，按照构成所述图片的彼此相邻的两个宏块行，通过将该两个宏块行分配给第一编码图像数据的一部分或第二编码图像数据的一部分，从而对所述图片进行分割。

6.如权利要求4所述的图像解码装置，

所述第一解码部以及所述第二解码部，通过所述第一信息存储部以及所述第二信息存储部进行彼此同步的解码。

7.如权利要求6所述的图像解码装置，

所述第一解码部，在所述第一编码图像数据中的、作为解码对象的宏块的解码时所需要的所述第二解码结果信息没有被存放到所述第一信息存储部的情况下，直到所述第二解码结果信息被存放为止，等待针对作为所述解码对象的宏块的解码，当所述第二解码结果信息被存放时，开始针对作为所述解码对象的宏块的解码；

所述第二解码部，在所述第二编码图像数据中的、作为解码对象的宏块的解码时所需要的所述第一解码结果信息没有被存放到所述第二信息存储部的情况下，直到所述第一解码结果信息被存放为止，等待针对作为所述解码对象的宏块的解码，当所述第一解码结果信息被存放时，开始针对作为所述解码对象的宏块的解码。

8.如权利要求4所述的图像解码装置，

所述图像解码装置还包括：

第一开关，将所述第一信息存储部所存放的信息切换为第一信息和第二信息；以及

第二开关，将所述第二信息存储部所存放的信息切换为第三信息和第四信息；

在所述第一信息存储部中所存放的信息由所述第一开关切换为所述第一信息，且所述第二信息存储部中所存放的信息由所述第二开关切换为所述第三信息之时，

所述第一解码部，将所述第一解码结果信息作为所述第三信息存放到所述第二信息存储部，

所述第二解码部，将所述第二解码结果信息作为所述第一信息存放到所述第一信息存储部；

在所述第一信息存储部中所存放的信息由所述第一开关切换为所述第二信息，且所述第二信息存储部中所存放的信息由所述第二开关切换为所述第四信息之时，

所述第一解码部，进一步，从所述第一信息存储部中读出所述第二信息，以用于其他的编码图像数据的解码，将通过该解码而被生成的信息的一部分作为新的第二信息存放到所述第一信息存储部，

所述第二解码部，进一步，从所述第二信息存储部中读出所述第四信息，以用于所述编码图像数据的解码，将通过该解码而被生成的信息的一部分作为新的第四信息存放到所述第二信息存储部。

9.如权利要求1至8的任一项所述的图像解码装置，

所述图像解码装置还包括：

开关，将成为由所述分割部分割的对象的数据，切换为所述编码图像数据和其他的编码图像数据；

所述分割部，

在成为分割对象的数据由所述开关切换为所述编码图像数据之时，分割所述编码图像数据的图片，

在成为分割对象的数据由所述开关切换为所述其他的编码图像数据之时，分割所述其他的编码图像数据的图片。

10.如权利要求1至9的任一项所述的图像解码装置，

所述图像解码装置还包括图像输出部，该图像输出部从所述帧存储部读出作为被解码的所述第一编码图像数据以及所述第二编码图像数据的运动图像，对所述运动图像中包含的图片进行抽选，将被抽选了图片的所述运动图像输出到所述显示装置，以使所述显示装置以被设定的帧率来显示所述运动图像。

11.如权利要求1至10的任一项所述的图像解码装置，

所述帧存储部包括第一帧存储部和第二帧存储部；

所述第一解码部从所述第一帧存储部读出在所述第一编码图像数据的解码时所参考的参考图像，将被解码的所述第一编码图像数据写入到所述第一帧存储部以及所述第二帧存储部；

所述第二解码部从所述第二帧存储部读出在所述第二编码图像数据的解码时所参考的参考图像，将被解码的所述第二编码图像数据写入到所述第一帧存储部以及所述第二帧存储部。

12.一种图像编码装置，对图像数据进行编码，

所述图像数据包含图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，

所述图像编码装置包括：

第一编码部和第二编码部，通过从帧存储部中读出所述图像数据中所包含的第一图像数据和第二图像数据，并进行并行编码，从而生成第一编码图像数据和第二编码图像数据；以及

结合部，对所述第一编码图像数据和所述第二编码图像数据进行结合，以使由所述第一编码部和所述第二编码部生成的第一编码图像数据和第二编码图像数据中所分别包含的宏块行在所述图片内彼此相邻；

所述第一编码部，

利用被存放在信息存储部中的第二编码结果信息，对所述第一编码图像数据进行编码，将通过该编码而被生成的信息的一部分作为第一编码结果信息存放到所述信息存储部；

在对所述第一图像数据中所包含的作为编码对象的宏块进行编码之时，

针对所述第二编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、其他的宏块的至少一部分；

所述第二编码部，

利用被存放在所述信息存储部中的所述第一编码结果信息，对所述第二图像数据进行编码，将通过该编码而被生成的信息的一部分作为所述第二编码结果信息存放到所述信息存储部；

在对所述第二图像数据中所包含的作为编码对象的宏块进行编码之时，

针对所述第一编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、其他的宏块的至少一部分。

13.一种代码转换装置，对编码图像数据进行解码后再进行编码，该代码转换装置包括：

权利要求1至11的任一项所述的图像解码装置；以及

图像编码装置，对所述帧存储部中所存放的图像数据进行编码，该图像数据是由所述图像解码装置解码的所述第一编码图像数据和所述第二编码图像数据。

14.一种代码转换装置，对编码图像数据进行解码后再编码，该代码转换装置包括：

图像解码装置，对所述编码图像数据进行解码；以及

权利要求12中所述的图像编码装置，对作为由所述图像解码装置解码的编码图像数据的图像数据进行编码。

15.一种图像解码方法，对编码图像数据进行解码，

所述编码图像数据包含被编码后的图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，

在所述图像解码方法中，

按照构成所述图片的至少一个宏块行，通过至少将该一个宏块行分配给第一编码图像数据或第二编码图像数据的一部分，从而将所述图片分割为第一编码图像数据以及第二编码图像数据；

对分别包含在所述第一编码图像数据和所述第二编码图像数据中的、所述图片内彼此相邻的宏块行进行并行解码，并存放到帧存储部；

在对所述第一编码图像数据进行解码之时，

利用被存放在信息存储部中的第二解码结果信息，对所述第一编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为第一解码结果信息存放到所述信息存储部；

在对所述第一编码图像数据中所包含的作为解码对象的宏块进行解码之时，

针对所述第二解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、被解码的其他的宏块的至少一部分；

在对所述第二编码图像数据进行解码之时，

利用被存放在所述信息存储部中的所述第一解码结果信息，对所述第二编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为所述第二解码结果信息存放到所述信息存储部；

在对所述第二编码图像数据中所包含的作为解码对象的宏块进行解码之时，

针对所述第一解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第一解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、被解码的其他的宏块的至少一部分。

16.一种图像编码方法，对图像数据进行编码，

所述图像数据包含图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，

在所述图像编码方法中，

通过从帧存储部中读出所述图像数据中所包含的第一图像数据和第二图像数据，并进行并行编码，从而生成第一编码图像数据和第二编码图像数据；

对所述第一编码图像数据和所述第二编码图像数据进行结合，以使被生成的所述第一编码图像数据和所述第二编码图像数据中所分别包含的宏块行在所述图片内彼此相邻；

在对所述第一图像数据进行编码之时，

利用被存放在信息存储部中的第二编码结果信息，对所述第一编码图像数据进行编码，将通过该编码而被生成的信息的一部分作为第一编码结果信息存放到所述信息存储部；

在对所述第一图像数据中所包含的作为编码对象的宏块进行编码之时，

针对所述第二编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、其他的宏块的至少一部分；

在对所述第二图像数据进行编码之时，

利用被存放在所述信息存储部中的所述第一编码结果信息，对所述第二图像数据进行编码，将通过该编码而被生成的信息的一部分作为所述第二编码结果信息存放到所述信息存储部；

在对所述第二图像数据中所包含的作为编码对象的宏块进行编码之时，

针对所述第一编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、其他的宏块的至少一部分。

17.一种程序，用于使计算机作为权利要求1至11的任一项所述的图像解码装置来发挥功能。

18.一种程序，用于使计算机作为权利要求12所述的图像编码装置来发挥功能。

19.一种集成电路，对编码图像数据进行解码，

所述编码图像数据包含被编码后的图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，

所述集成电路包括：

分割部，按照构成所述图片的至少一个宏块行，通过至少将该一个宏块行分配给第一编码图像数据或第二编码图像数据的一部分，从而将所述图片分割为第一编码图像数据以及第二编码图像数据；以及

第一解码部和第二解码部，对分别包含在所述第一编码图像数据和所述第二编码图像数据中的、所述图片内彼此相邻的宏块行进行并行解码，并存放到帧存储部；

所述第一解码部，

利用被存放在信息存储部中的第二解码结果信息，对所述第一编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为第一解码结果信息存放到所述信息存储部；

在对所述第一编码图像数据中所包含的作为解码对象的宏块进行解码之时，

针对所述第二解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、由所述第二解码部解码的其他的宏块的至少一部分；

所述第二解码部，

利用被存放在所述信息存储部中的所述第一解码结果信息，对所述第二编码图像数据进行解码，将通过该解码而被生成的信息的一部分作为所述第二解码结果信息存放到所述信息存储部；

在对所述第二编码图像数据中所包含的作为解码对象的宏块进行解码之时，

针对所述第一解码结果信息和作为所述解码对象的宏块进行图像处理，将进行了图像处理后的作为所述解码对象的宏块的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一解码结果信息是指，属于与该作为解码对象的宏块所属的宏块行相邻的其他的宏块行中的、由所述第一解码部解码的其他的宏块的至少一部分。

20.一种集成电路，对图像数据进行编码，

所述图像数据包含图片，所述图片由多个宏块行构成，所述宏块行由被排列成一列的多个宏块构成，

所述集成电路包括：

第一编码部和第二编码部，通过从帧存储部中读出所述图像数据中所包含的第一图像数据和第二图像数据，并进行并行编码，从而生成第一编码图像数据和第二编码图像数据；以及

结合部，对所述第一编码图像数据和所述第二编码图像数据进行结合，以使由所述第一编码部和所述第二编码部生成的第一编码图像数据和第二编码图像数据中所分别包含的宏块行在所述图片内彼此相邻；

所述第一编码部，

利用被存放在信息存储部中的第二编码结果信息，对所述第一编码图像数据进行编码，将通过该编码而被生成的信息的一部分作为第一编码结果信息存放到所述信息存储部；

在对所述第一图像数据中所包含的作为编码对象的宏块进行编码之时，

针对所述第二编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第二解码结果信息的至少一部分存放到所述帧存储部，所述第二编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、其他的宏块的至少一部分；

所述第二编码部，

利用被存放在所述信息存储部中的所述第一编码结果信息，对所述第二图像数据进行编码，将通过该编码而被生成的信息的一部分作为所述第二编码结果信息存放到所述信息存储部；

在对所述第二图像数据中所包含的作为编码对象的宏块进行编码之时，

针对所述第一编码结果信息和作为所述编码对象的宏块进行图像处理，将进行了图像处理后的作为所述编码对象的宏块的至少一部分以及所述第一解码结果信息的至少一部分存放到所述帧存储部，所述第一编码结果信息是指，属于与该作为编码对象的宏块所属的宏块行相邻的其他的宏块行中的、其他的宏块的至少一部分。

Images