CN105245899B - 图片编码设备、图片解码设备和图片通信系统 - Google Patents

Abstract

本发明涉及图片编码设备、图片解码设备和图片通信系统。在图片编码设备和图片解码设备中，对参考帧存储器的访问被抑制。图片编码设备由用于图片内编码的第一编码器、用于图片间编码的第二编码器和中间缓冲器组成。由第一编码器生成的本地解码图片作为参考图片被存储在中间缓冲器中，并且第二编码器的图片间编码通过参考中间缓冲器中的本地解码图片执行。图片解码设备由用于图片内解码的第一解码器、用于图片间解码的第二解码器和中间缓冲器组成。由第一解码器生成的本地解码图片作为参考图片被存储在中间缓冲器中，并且第二解码器的图片间解码通过参考中间缓冲器中的本地解码图片执行。

Description

图片编码设备、图片解码设备和图片通信系统

对相关申请的交叉引用

在2014年7月7日提交的包括说明书、附图和摘要的日本专利申请No.2014-139488的公开通过引用全部合并在这里。

技术领域

本发明涉及图片编码设备、图片解码设备和图片通信系统，并且低成本、低延迟地合适地可应用于的图片编码和图片解码。

背景技术

图片具有巨大的信息量；但是，在紧密地位于相同帧内的图片之间或在位于相邻帧中的相同坐标的图片之间存在强相关性。因此，此相关性用于代码量的压缩。例如，作为典型的国际标准，运动图片的压缩编码和解码方法被标准化，诸如MPEG-2(ITU-TRec.H.262|ISO/IEC 13818-2)、MPEG-4(ISO/IEC 14496-2))和H.264(ITU-TRec.H.264|ISO/IEC 14496-10)。根据这些编码方法，在帧内编码中，原始图片被正交变换，并且结果被量化、可变长度编码并且发送。另一方面，执行逆量化和逆正交变换以创建参考图片，并且参考图片被存储在参考帧存储器中以准备用于后续的帧间编码。在帧间编码中，计算作为编码目标的输入帧的原始图片和存储在参考帧存储器中的过去帧的参考图片，或在一些情况下将来帧的参考图片之间的减法，并且减法结果被编码。仅仅使用作为编码目标的该帧的图片信息编码的图片被称为“I图片”、除了作为编码目标的本帧的图片信息之外还使用过去帧的图片信息编码的图片被称为“P图片”、并且还使用将来帧的图片信息编码的图片被称为“B图片”。采用组合I图片、P图片以及B图片的各种编码和解码方法。I图片的压缩效率低于其它的，但是I图片作为其它帧间编码的开始点是一定必要的，以便利用该帧独自的图片信息完成编码和解码。为了提高编码效率，一个I图片与一个或多个P图片并且还与一个或多个B图片组合。

专利文件1公开了可以降低访问存储参考图片的参考存储器的频率的编码设备(图片编码设备)。如专利文件1的图1所示，编码设备100由运动补偿单元003和频率转换单元004组成。运动补偿单元003经由中间存储器009耦接到参考存储器010。编码设备100从参考存储器010读取参考帧的信息，并且将它存储在中间存储器009中，运动补偿单元003使用参考帧的信息来编码。参考存储器010被布置在系统中共用的SDRAM(同步动态随机存取存储器)中，并且中间存储器009被布置为编码设备100的专用存储器。与不布置中间存储器009的情况相比，本配置可以降低访问参考存储器010的频率。例如，如专利文件1的图3所示，当P5(要被编码为P图片的第五输入帧)被编码时，参考存储器010中的I2被读取一次并且存储在中间存储器009中，并且用于P5的编码。当B3和B4被编码时，参考存储器010中的I2和P5被存储在中间存储器009中，并且同时用于B3和B4二者的编码。原先当编码B3时必须从参考存储器010读取I2和P5，并且当编码B4时必须再次读取I2和P5。但是，当B3和B4参考相同帧(在本情况下为I2和P5)的相同区域时，可以通过同时编码B3和B4来使用相同的数据；因此，可以减少对参考存储器010的访问，否则其在B4的编码中是必需的。

专利文件2公开了一种可以降低编码算术量和解码算术量、抑制编码效率的恶化的图片编码设备和图片解码设备。输入图片被划分为大小n×m的块。此外，每个块被划分为K个大小为n1×m1的子块。通过收集块中相同位置中的子块来创建划分的图片Pk(k＝1-K)。划分的图片P0被图片内编码并且划分的图片P1-PK被图片间编码。Pk的子块Bk的参考图片从周围的P0的子块B0利用由像素的相对位置指定的滤波器创建。因此，可以将编码算术量抑制到比过去的图片内预测编码更小的值。

(专利文件1)日本未经审查的专利申请公布No.2009-111797

(专利文件2)日本未经审查的专利申请公布No.2012-175332

发明内容

作为本发明人对专利文件1和2的审查结果，结果存在如下新问题。

专利文件1公开了可以降低访问参考存储器010的频率的图片编码设备。但是，结果是难以将对参考存储器010的访问降低到零，例如在编码B帧时；因此降低存储器访问的效果是不够的。

以下将说明对这样的问题的解决方案。本发明的其它问题和新特征从本说明书和附图的描述中将变得清晰。

根据本申请的一个实施例变为如下。

编码多个时间序列图片的图片编码设备由图片内编码器、图片间编码器和中间缓冲器组成。由图片内编码器创建的本地解码图片作为参考图片被存储在中间缓冲器中。执行参考本地解码图片的图片间编码，同时相关的本地解码图片被存储在中间缓冲器中。当相关的本地解码图片在那之后不再需要被参考时，省略用于存储本地解码图片的参考帧存储器。类似地，图片解码设备由图片内解码器、图片间解码器和中间缓冲器组成。由图片内解码器创建的本地解码的图片作为参考图片被存储在中间缓冲器中。执行参考本地解码图片的图片间解码，同时相关的本地解码图片被存储在中间缓冲器中。当相关的本地解码图片在那之后不再需要被参考时，省略用于存储本地解码图片的参考帧存储器。

如上所述的一个实施例获得的效果简要地说明如下。

也就是说，对参考帧存储器的访问频率被抑制到低级别，并且在一些情况下可以采用省略参考帧存储器的配置。

附图说明

图1是示出了根据实施例1的图片编码设备的整个配置的示例的框图；

图2是示出了输出控制设备的配置示例的框图；

图3是示出了根据实施例1的图片编码设备的配置示例的框图；

图4是示出了根据实施例1的图片编码设备的另一个配置示例的框图；

图5是I-图片编码的说明图；

图6是P-图片编码的说明图；

图7是B-图片编码的说明图；

图8是示出了在比较示例中的编码的处理次序的说明图；

图9是示出了在实施例1中的编码的处理次序的示例的说明图；

图10是示出了在实施例1中的编码的处理次序的另一个示例的说明图；

图11是示出了位置控制器的控制(等待指令)的示例的说明图；

图12是示出了位置控制器的控制(处理许可)的示例的说明图；

图13是示出了根据实施例2的图片编码设备的整个配置的示例的框图；

图14是示出了根据实施例2的图片编码设备的配置示例的框图；

图15是示出了根据实施例2的位置控制器的控制的示例的说明图；

图16是示出了根据实施例3的图片编码设备的整个配置的示例的框图；

图17是示出了根据实施例3的图片编码设备的配置示例的框图；

图18是示出了根据实施例3的位置控制器的控制的示例的说明图；

图19是示出了根据实施例4、实施例5和实施例6的图片编码设备的整个配置的示例的框图；

图20是示出了根据实施例4的图片编码设备的配置示例的框图；

图21是示出了图片的帧结构的说明图；

图22是示出了图片的场结构(首先顶部场)的说明图；

图23是示出了图片的场结构(首先底部场)的说明图；

图24是示出了图片的场划分的说明图；

图25是示出了根据实施例4的位置控制器的控制的示例的说明图；

图26是示出了根据实施例5的图片编码设备的配置示例的框图；

图27是示出了在场划分的图片的编码中的操作的说明图；

图28是示出了在编码中场参考的方向的示例的说明图；

图29是示出了根据实施例5的图片编码设备的另一个配置示例的框图；

图30是示出了在场划分的图片的编码中的操作的说明图；

图31是示出了在编码中场参考的方向的示例的说明图；

图32是示出了在编码中场参考的方向的另一个示例的说明图；

图33是示出了根据实施例6的图片编码设备的配置示例的框图；

图34是示出了图片的垂直划分的说明图(帧结构)；

图35是示出了图片的垂直划分的说明图(垂直划分的右列图片和左列图片)；

图36是示出了图片的垂直划分的说明图；

图37是示出了根据实施例6的位置控制器的控制的示例的说明图；

图38是示出了根据实施例6的图片编码设备的另一个配置示例的框图；

图39是示出了图片的垂直划分(宏块对)的说明图；

图40是示出了图片的垂直划分(垂直划分的宏块对)的说明图；

图41是示出了在垂直划分的图片的编码中的操作的说明图；

图42是示出了根据实施例5的图片编码设备的另一个配置示例的框图；

图43是示出了在垂直划分的图片的编码中的参考方向的示例的说明图；

图44是示出了在垂直划分的图片的编码中的参考方向的另一个示例的说明图；

图45是示出了在垂直划分的图片的编码中合适地改变的参考方向的示例的说明图；

图46是示出了根据实施例7的图片编码设备的整个配置的示例的框图；

图47是示出了图46所示的图片编码设备的配置示例的框图；

图48是示出了根据实施例7的图片编码设备的整个配置的另一个示例的框图；

图49是示出了图48所示的图片编码设备的配置示例的框图；

图50是示出了根据实施例7的图片编码设备的配置的另一个示例的框图；

图51是示出了根据实施例8a的图片解码设备的整个配置的示例的框图；

图52是示出了根据实施例8a的图片解码设备的配置示例的框图；

图53是示出了根据实施例8b的图片解码设备的整个配置的示例的框图；

图54是示出了根据实施例8b的图片解码设备的配置示例的框图；

图55是示出了根据实施例9的图片通信系统的整个配置的示例的框图；

图56是示出了根据实施例10的图片通信系统的整个配置的示例的框图；

图57是示出了根据实施例11的图片通信系统的整个配置的示例的框图；和

图58是示出了根据实施例12的图片通信系统的整个配置的示例的框图。

具体实施方式

1.实施例的概述

首先，说明在本申请中公开的典型实施例的概述。在关于典型实施例的概述说明中括号中指代的图的数字符号仅仅示出了什么包括在数字符号所附属于的组件的概念中。

(1)<第一(图片内)编码器+第二(图片间)编码器+中间缓冲器>

在本申请中公开的典型实施例是编码多个时间序列图片的图片编码设备(100-700)。图片编码设备由第一编码器(图片内编码器001)、第二编码器(图片间编码器002)、中间缓冲器(005、006)和编码目标图片控制器(003、004、007)组成。

第一编码器使用编码目标的图片中的图片信息来编码相关图片的图片信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器。

第二编码器参考编码目标的图片中的图片信息和存储在中间缓冲器中的参考图片来编码相关图片的图片信息。

在第一编码器将下一参考图片写入中间缓冲器之前，编码目标图片控制器使得第二编码器开始参考相关参考图片编码该图片。

根据此配置，可以将对参考帧存储器(103)的访问保持在最小，并且在另一个实施例中，可以省略参考帧存储器。

(2)<场划分(实施例4)>

在段1中，时间序列图片的每一个是由多个像素行组成的帧，并且该帧包括仅仅由偶数像素行组成的第一场和仅仅由奇数像素行组成的第二场。

编码目标图片控制器(043、044)分别将第一场和第二场提供到第一编码器(040)和第二编码器(041)。

第一编码器使用编码目标的场中的图片信息来编码相关图片的场信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器(045)中。

第二编码器参考编码目标的场中的图片信息和存储在中间缓冲器中的参考图片来编码相关场的图片信息。

根据此配置，可以省略参考帧存储器(103)。

(3)<以更小单位的场划分(实施例5)>

在段1中，时间序列图片的每一个是由多个像素行组成的帧，并且该帧由多个宏块组成。多个时间序列图片的每一个包括第一场和第二场，第一场仅仅由宏块当中的在与像素行正交的方向互相邻接的两个宏块中包括的偶数像素行组成，第二场仅仅由包括在相关的两个宏块中的奇数像素行组成。

编码目标图片控制器(053、054)将第一场和第二场中的一个提供到第一编码器(050)并且将另一个提供到第二编码器(051)。

第一编码器参考编码目标的场中的图片信息来编码相关图片的图片信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器(052)。

第二编码器参考编码目标的场中的图片信息和存储在中间缓冲器中的参考图片来编码相关场的图片信息。

根据此配置，可以利用较小的存储容量的存储器元件构成中间缓冲器(052)，并且同时可以将编码的延迟量抑制到低级别。

(4)<参考方向的变化(实施例5b)>

在段3中，编码目标图片控制器(053、058、059)通过对于每两个相关的宏块做出选择，来选择性地将第一场和第二场中的一个提供到第一编码器(050)，并且将另一个提供到第二编码器(051)。

根据此配置，可以合适地选择具有较高的编码效率的参考方向。

(5)<垂直方向的划分(实施例6)>

在段1中，时间序列图片的每一个是包括多个像素行的帧，每个像素行由多个像素组成，并且该帧由多个宏块组成。多个时间序列图片的每一个包括第一列图片和第二列图片，第一列图片仅仅由宏块当中的在像素行的延长方向互相邻接的两个宏块中包括的每个像素行的偶数像素组成，第二列图片仅仅由包括在相关的两个宏块中的每个像素行的奇数像素组成。

编码目标图片控制器(063、064)将第一列图片和第二列图片中的一个提供到第一编码器(060)并且将另一个提供到第二编码器(061)。

第一编码器参考编码目标的列图片中的图片信息来编码相关图片的图片信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器(065)。

第二编码器参考编码目标的列图片中的图片信息和存储在中间缓冲器中的参考图片来编码相关的列图片的图片信息。

根据此配置，可以利用较小的存储容量的存储器元件构成中间缓冲器(065)，并且同时可以将编码的延迟量抑制到比段3中还低的级别。

(6)<参考方向的变化>

在段5中，编码目标图片控制器(063、064、068)通过对于每两个相关的宏块做出选择，来选择性地将第一列图片和第二列图片中的一个提供到第一编码器，并且将另一个提供到第二编码器。

根据此配置，可以合适地选择具有较高的编码效率的参考方向。

(7)<I编码器+P编码器+中间缓冲器(实施例3)>

在段1中，第一编码器是I-图片编码器(030)并且第二编码器是P-图片编码器(031)，并且编码目标图片控制器(033、034)将两个连续的图片提供到第一编码器和第二编码器并且使得编码器并行执行编码。

根据此配置，在创建交替地包括I图片和P图片的编码流的图片编码设备中，可以省略参考帧存储器。

(8)<位置控制电路(实施例3)>

在段7中，多个时间序列图片的每一个包括多个宏块。

第一编码器(030)对于每个宏块执行编码、从编码结果创建参考图片、并且将参考图片写入中间缓冲器(035)。第二编码器(031)参考参考图片当中的指定范围之内的宏块的参考图片来执行编码。

在完成将指定范围之内的宏块的参考图片从第一编码器(030)写入中间缓冲器(035)之后，编码目标图片控制器(032)使得第二编码器(031)开始编码。

根据此配置，可以将P-图片编码器开始编码的等待时间抑制到必需的最小值；因此可以提供整体上具有低延迟的图片编码设备。

(9)<I编码器+P编码器+B编码器+中间缓冲器(实施例2)>

在段1中，第一编码器是I-图片编码器(020)，并且第二编码器包括P-图片编码器(021)和B-图片编码器(022)。中间缓冲器操作为第一中间缓冲器(025)，并且图片编码设备(200)此外设有第二中间缓冲器(026)。

I-图片编码器(020)编码提供的第一图片的图片信息、从编码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器(025)。

P-图片编码器(021)参考提供的第二图片中的图片信息和第一本地解码图片来编码第二图片的图片信息、从编码结果创建第二本地解码图片、并且将第二本地解码图片写入第二中间缓冲器(026)。

B-图片编码器(022)参考提供的第三图片中的图片信息、第一本地解码图片和第二本地解码图片来编码第三图片的图片信息。

在从第一I-图片编码器(020)将下一第一本地解码图片写入第一中间缓冲器(025)之前，编码目标图片控制器(027)使得P-图片编码器(021)开始参考相关的参考图片编码图片。在从P-图片编码器(021)将下一第二本地解码图片写入第二中间缓冲器(026)之前，编码目标图片控制器(028)使得B-图片编码器(022)开始参考相关的参考图片编码图片。

根据此配置，在创建交替地包括I图片和P图片的编码流的图片编码设备(200)中，可以省略参考帧存储器(103)。此时，P图片参考I图片的本地解码图片作为参考图片，并且B-图片参考I图片的本地解码图片和P图片的本地解码图片作为参考图片。并行执行I图片、P图片和B图片的编码。优选地包括多个B-图片编码器，它们参考相同I图片的本地解码图片和P图片的本地解码图片作为参考图片。

(10)<位置控制电路(实施例2)>

在段9中，多个时间序列图片的每一个包括多个宏块。

I-图片编码器(020)对于每个宏块执行编码、从编码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器(025)。

P-图片编码器(021)参考第一本地解码图片当中的指定范围之内的宏块的参考图片执行编码、从编码结果创建第二本地解码图片、并且将第二本地解码图片写入第二中间缓冲器(026)。

B-图片编码器(022)参考第一本地解码图片和第二本地解码图片当中的指定范围之内的宏块的参考图片执行编码。

在完成将指定范围之内的宏块的第一本地解码图片从I-图片编码器写到第一中间缓冲器之后，编码目标图片控制器(027)使得P-图片编码器(031)开始编码。在完成将指定范围之内的宏块的第二本地解码图片从P-图片编码器(021)写到第二中间缓冲器(026)之后，编码目标图片控制器(028)使得B-图片编码器(022)开始编码。

根据此配置，可以将P-图片编码器(021)和B-图片编码器(022)开始编码的等待时间抑制到必需的最小值，并且因此可以提供具有低延迟的图片编码设备(200)。

(11)<I/P编码器+n个B编码器+2个中间缓冲器+参考存储器(实施例1)>

在段1中，图片编码设备(100)还包括操作为I-图片编码器或P-图片编码器的第一编码器(001)；操作为B-图片编码器的第二编码器(002)；操作为第一中间缓冲器(006)的中间缓冲器；第三中间缓冲器(005)；和外部耦接的参考存储器(103)。

当操作为I-图片编码器时，第一编码器(001)编码提供的第一图片的图片信息、从编码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器(006)和参考存储器(103)。

编码目标图片控制器从参考存储器(103)读取第一本地解码图片并且将它存储在第三中间缓冲器(005)中。

当操作为P-图片编码器时，第一编码器(001)参考存储在第三中间缓冲器(005)中的第一本地解码图片来编码提供的第二图片的图片信息、从编码结果创建第二本地解码图片、并且将第二本地解码图片写入第一中间缓冲器(006)。

B-图片编码器参考第一本地解码图片和第二本地解码图片来编码提供的第三图片。

在将第二本地解码图片从第一编码器(001)写入第一中间缓冲器(006)之后并且在写入下一第一本地解码图片或下一第二本地解码图片之前，编码目标图片控制器(007)使得B-图片编码器(002)开始参考相关的参考图片编码该图片。

根据此配置，可以分别并行执行I图片的编码和B图片的编码、以及P图片的编码和B图片的编码，并且因此可以减少对参考存储器(103)的访问频率。I图片的本地解码图片被存储在参考存储器中一次并且被读取到第三中间缓冲器(005)，在P图片的编码中作为参考图片被参考，并且在B图片的编码中作为参考图片被并行参考。P图片的本地解码图片被存储在第一中间缓冲器中并且在B图片的编码中作为参考图片被参考。以这种方式，并行执行I图片的编码或P图片的编码、以及参考相同I图片的本地解码图片或P图片的本地解码图片的B-图片的编码。因此，可以将从参考存储器的本地解码图片的读出的数目抑制到最小。

(12)<位置控制电路(实施例1)>

在段11中，时间序列图片的每一个由多个宏块组成。

第一编码器(001)对于每个宏块执行编码，以及当操作为P-图片编码器时，第一编码器从编码结果创建第二本地解码图片并且将第二本地解码图片写入第一中间缓冲器(006)。

B-图片编码器(002)参考第一本地解码图片和第二本地解码图片当中的分别指定范围之内的宏块的参考图片以执行编码。

在完成将指定范围之内的宏块的第二本地解码图片从第一编码器(001)写到第一中间缓冲器(006)之后，编码目标图片控制器(007)使得B-图片编码器(002)开始编码。

根据此配置，可以将B-图片编码器(002)开始编码的等待时间抑制到必需的最小值；因此可以提供具有低延迟的图片编码设备(100)。

(13)<多视图编码(实施例7)>

在段1中，时间序列图片包括从多个视点分别看到的多个时间序列图片，并且从一个视点看到的时间序列图片被定义为主图片，以及从另一个视点看到的时间序列图片被定义为副图片。

第一编码器(071)将主图片设置在编码目标、参考编码目标的主图片中的图片信息来编码相关的主图片的图片信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器(076)。

第二编码器(072)将时间上与主图片对应的副图片设置为编码目标，并且参考编码目标的副图片中的图片信息和存储在中间缓冲器中的参考图片来编码相关的副图片的图片信息。

根据此配置，在执行多视图编码的图片编码设备(700)中，可以省略参考存储器(103)。

(14)<多视图编码＝用于主图片的I/P编码器+用于副图片的B编码器+第一和第三中间缓冲器+参考帧存储器(实施例7)>

在段1中，时间序列图片包括从多个视点分别看到的多个时间序列图片，并且从一个视点看到的时间序列图片被定义为主图片，以及从另一个视点看到的时间序列图片被定义为副图片。图片编码设备还包括操作为基本视图编码器的第一编码器(071-1)；操作为视图间编码器的第二编码器(071-2)；操作为第一中间缓冲器(076-1)的中间缓冲器；第三中间缓冲器(075)；和外部耦接的参考存储器(103)。

第一编码器(071-1)编码提供的第一主图片的图片信息、从编码结果创建第一本地解码主图片、并且将第一本地解码主图片写入第一中间缓冲器(076-1)和参考存储器(103)。

编码目标图片控制器从参考存储器(103)读取第一本地解码图片并且将它存储在第三中间缓冲器(075)中。

当编码紧挨着第一主图片的第二主图片时，第一编码器(071-1)参考存储在第三中间缓冲器中的第一本地解码图片来编码提供的第二主图片的图片信息、从编码结果创建第二本地解码图片、并且将第二本地解码图片写入第一中间缓冲器(076-1)。

第二编码器(071-2)参考第二本地解码图片来编码与提供的第一主图片对应的第一副图片的图片信息。

在第二本地解码图片被从第一编码器写入第一中间缓冲器(076-2)之后并且在下一本地解码图片被写入之前，编码目标图片控制器(077-2)使得第二编码器(071-2)开始参考相关的参考图片编码图片。

根据此配置，可以分别并行执行主图片的I-图片编码和下一主图片的B-图片编码以及副图片的视图间编码和下一副图片的视图间编码；因此可以减少对参考存储器(103)的访问频率，如段11的情况。

(15)<第一(图片内)解码器+第二(图片间)解码器+中间缓冲器>

在本申请中公开的典型实施例是从提供的第一和第二编码流解码多个时间序列图片的图片解码设备(800、810)。图片解码设备包括第一解码器(图片内解码器081)；第二解码器(图片间解码器082)；中间缓冲器(086)；和解码目标图像控制器(083、084、087)。

第一解码器(081)参考第一编码流来解码与第一编码流对应的图片的图片信息、从解码结果创建参考图片、并且将参考图片写入中间缓冲器(086)。

第二解码器(082)参考第二编码流和存储在中间缓冲器中的参考图片来解码与第二编码流对应的图片的图片信息。

在下一参考图片被从第一解码器写入中间缓冲器之前，解码目标图像控制器(087)使得第二解码器开始参考相关的参考图片解码图片。

根据此配置，在图片解码设备中，可以将对参考存储器(803)的访问保持到最小值。在另一个实施例中，可以省略参考存储器。

(16)<I解码器+P解码器+中间缓冲器(实施例8b)>

在段15中，第一解码器是I-图片解码器(088)，并且第二解码器是P-图片解码器(089)。

解码目标图像控制器(083、084)将与两个连续的图片对应的第一编码流和第二编码流分别提供到第一解码器(088)和第二解码器(089)，并且使得两个解码器并行执行解码。

根据此配置，在解码交替地包括I图片和P图片的编码流的图片解码设备中，可以省略参考存储器。

(17)<I/P解码器+n个B解码器+2个中间缓冲器+参考存储器(实施例(8a))>

在段15中，图片解码设备(800)还包括操作为I-图片解码器或P-图片解码器的第一解码器(081)；操作为B-图片解码器的第二解码器(082)；操作为第一中间缓冲器(086)的中间缓冲器；第三中间缓冲器(085)；和外部耦接的参考存储器(803)。

当操作为I-图片解码器时，第一解码器(081)解码与第一图片对应的编码流、从相关的解码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器(086)和参考存储器(803)。

解码目标图像控制器从参考存储器(803)读取第一本地解码图片并且将它存储在第三中间缓冲器(085)中。

当操作为P-图片解码器时，第一解码器(081)参考存储在第三中间缓冲器(085)中的第一本地解码图片来解码与第二图片对应的编码流、从相关的解码结果创建第二本地解码图片、并且将第二本地解码图片写入第一中间缓冲器(086)。

B图片解码器(082)参考第一本地解码图片和第二本地解码图片来解码与提供的第三图片对应的编码流。

在第二本地解码图片被从第一解码器(081)写入第一中间缓冲器(081)之后并且在下一第一本地解码图片被写入之前，解码目标图像控制器(087)使得B-图片解码器(082)开始参考相关的参考图片解码图片。

根据此配置，可以分别并行执行I图片的解码和B图片的解码以及P图片的解码和B图片的解码，并且可以减少对参考存储器的访问频率，如段11中描述的图片编码设备的情况。

(18)<图片通信系统(实施例9)>

在本申请中公开的典型实施例包括：发送器(1000、1100、1200、1300)，包括图片编码设备(100)和输出控制设备(104)；传输线(1002)；和接收器(1001、1101、1201、1301)，包括图片解码设备(800、805、806、807)。

图片编码设备(100)编码多个时间序列图片，并且由第一编码器(001)、第二编码器(002)、中间缓冲器(005、006)和编码目标图片控制器(003、004、007)组成。

第一编码器参考编码目标的图片中的图片信息来编码相关的图片的图片信息、输出第一编码位串、从编码结果创建参考图片、并且将参考图片写入中间缓冲器。

第二编码器参考编码目标的图片中的图片信息和存储在中间缓冲器中的参考图片来编码相关的图片的图片信息并输出第二编码位串。

在下一参考图片被第一编码器写入中间缓冲器之前，编码目标图片控制器使得第二编码器开始参考相关的参考图片编码图片。

输出控制设备将时分多路复用应用到第一编码位串和第二编码位串，并且将它们作为编码流发送出到传输线。

接收器将从传输线输入的编码流提供到图片解码设备，并且使得图片解码设备解码编码流。

根据此配置，可以提供具有低迟延的图片通信系统。如在段1的情况，可以在图片编码设备中将对参考存储器的访问保持到最小值，并且可以在另一个实施例中省略参考存储器。

(19)<编码位串的多路复用(实施例10)>

在段18中，输出控制设备(104)以比图片更精细的单位向第一编码位串和第二编码位串应用时分多路复用，并且将它们作为编码流发送出到传输线。

接收器还包括输入控制设备(801)。

输入控制设备向从传输线输入的编码流应用解多路复用(833)、将编码流划分为与第一编码位串对应的第一编码位流和与第二编码位串对应的第二编码位流、并且将第一编码位流和第二编码位流提供到图片解码设备(805)。

根据此配置，接收器可以由从传输线接收到的编码流重构遵循编码标准的第一和第二编码位流。因此，可以利用通用图片解码设备解码图像。

(20)<编码位串的多路复用(实施例12)>

在段19中，图片解码设备包括第一解码器(081)、第二解码器(082)、第一中间缓冲器(086)、第三中间缓冲器(085)、解码目标图像控制器(083、084、087)和外部耦接的参考存储器(803)。

第一操作为器(081)操作为I-图片解码器或P-图片解码器，并且当操作为I-图片解码器时，第一解码器解码与第一图片对应的第一编码流、从相关的解码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器(086)和参考存储器(803)。

解码目标图像控制器从参考存储器(803)读取第一本地解码图片并且将它存储在第三中间缓冲器(085)中。

当操作为P-图片解码器时，第一解码器(081)参考存储在第三中间缓冲器(085)中的第一本地解码图片来解码与第三图片对应的第一编码流、从相关解码结果创建第二本地解码图片、并且将第二本地解码图片写入第一中间缓冲器(086)。

第二解码器操作为B-图片解码器，并且参考第一本地解码图片和第二本地解码图片来解码与第二图片对应的第二编码流。

在第二本地解码图片被从第一解码器(081)写入第一中间缓冲器之后并且在下一第一本地解码图片被写入之前，解码目标图像控制器(087)使得B-图片解码器开始参考相关的本地解码图片解码图片。

解码目标图像控制器(087)将分别与连续的三个图片，即第一图片、第二图片和第三图片对应的第一编码流、第二编码流和第三编码流依次提供到第一解码器和第二解码器，并且使得两个解码器并行执行解码。

根据此配置，可以提供具有低迟延的图片通信系统，其组合在段11中描述的图片编码设备(100)和在段17中描述的图片解码设备(800)。在图片编码设备中，可以分别并行执行I-图片的编码和B图片的编码以及P图片的编码和B图片的编码，并且如段11的情况，可以减少对参考存储器(103)的访问频率。还在图片解码设备中，可以分别并行执行I-图片的解码和B图片的解码以及P图片的解码和B图片的解码，并且如段17的情况，可以减少对参考存储器(803)的访问频率。

2.实施例的细节

进一步完全详细地说明实施例。

(实施例1)

在本申请中公开的典型实施例是编码多个时间序列图片的图片编码设备。图片编码设备由图片内编码器、图片间编码器、中间缓冲器和编码目标图片控制器组成。术语“图片”不仅指示帧和场，而且指示组成它们的块和宏块，即它指示被用作编码或解码的单位的一批图像。

图片内编码器参考作为编码目标的图片中的图片信息来编码相关的图片的图片信息、从编码结果创建诸如本地解码图片之类的参考图片、并且将参考图片写入中间缓冲器。例如，I图片的编码器对应于此。图片内编码器还可以设有图片间编码(例如，P图片或B图片的编码)的功能，其除了参考作为编码目标的图片之外还参考从图片创建的参考图片(本地解码图片)并且编码相关的图片的图片信息。

图片间编码器参考作为编码目标的图片中的图片信息和存储在中间缓冲器中的参考图片(本地解码图片)并且编码相关的图片的图片信息。例如，伴随运动补偿的P图片或B图片的编码器对应于此。

在为下一个图片的编码创建的参考图片被从图片内编码器写入中间缓冲器之前，编码目标图片控制器使得图片间编码器开始参考相关的参考图片编码图片。

根据此配置，在参考图片(本地解码图片)被存储在参考帧存储器中一次之后，在参考它的编码(图片间编码)之前不必重新读取供参考的参考图片。因此，可以将对参考帧存储器的访问保持在最小值，并且在另一个实施例中可以省略参考帧存储器。当并行执行参考相同的参考图片的多片编码时，可以将对参考帧存储器的访问保持在最小值，而不重复地从参考帧存储器读取相同的参考图片。

以上是构思的基本技术并且它可以应用于各种实施例。在下面在实施例1至实施例7中以具体的形式说明本发明；但是，本发明不局限于某实施例。基于构思的对应的技术，在实施例8中示出了图片解码设备并且在实施例9-12中示出了图片通信系统。至于图片解码设备和图片通信系统，本发明不局限于要被公开的实施例并且可以按照各种其它形式实现。

以下利用具体的示例说明细节。

<I/P编码器+n个B编码器+2个中间缓冲器+参考存储器>

图1是示出了根据实施例1的图片编码设备的整个配置的示例的框图。图2是示出了输出控制设备104的配置示例的框图。在本说明书引用的每个框图中的信号线利用具有一位或多个位的信号线实施。但是，省略总线的图。

根据实施例1的图片编码设备的整个配置包括输入图片提供设备101、输入图片存储器102、编码设备A(100)、参考帧存储器103和输出控制设备104。输入图片提供设备101提供原始图片作为编码目标并且它通过诸如照相机之类的成像设备示范。输入图片存储器102存储从输入图片提供设备101提供的原始图片，并且参考帧存储器103存储诸如本地解码图片之类的参考图片。虽然输入图片存储器102和参考帧存储器103被显示为单独的存储器，但是它们可以被实施为一个存储器。例如，通过地址映射方案，它们可以被实施在整个系统共享的外部SDRAM中。编码设备A(100)以编码单位并且按照编码次序从输入图片存储器102读取原始图片作为编码目标，并且执行编码。编码设备A(100)将诸如在处理中创建的本地解码图片之类的参考图片存储在参考帧存储器103中，并且从参考帧存储器103读取编码中必需的参考图片用于参考。编码设备A(100)输出多个编码位串作为编码结果，并且输出控制设备104从多个编码位串创建编码流。在图1中示出了第一编码位串和第二编码位串。但是，可以创建并输出更多的编码位串。如图2所示，输出控制设备104包括临时存储第一编码位串的第一输出缓冲器010、临时存储第二编码位串的第二输出缓冲器011、和切换第一和第二编码位串以创建编码流的开关012。

图3是示出了根据实施例1的图片编码设备A(100)的配置示例的框图。输入图片提供设备101、输入图片存储器102、参考帧存储器103和输出控制设备104也示出在图中。相同的符号附属于与图1中相同的组件，并且省略其重复说明。在输入图片存储器102和参考帧存储器103中，典型地示出了原始图片0、1、···、2n-1、2n、···、以及参考帧X和Y。这里，n是任意自然数，并且2n-1指示奇数帧，并且2n指示偶数帧。

编码设备A(100)包括I/P编码器001、B编码器002、输入控制器003、开关004、第三中间缓冲器005、第一中间缓冲器006和位置控制器007。I/P编码器001编码I图片或P图片，并且B编码器002编码B图片。下面描述I图片、P图片和B图片。输入控制器003控制开关004、从输入图片存储器102读取原始图片、并且将它提供到I/P编码器001和B编码器002。I/P编码器001将在编码中创建的参考图片写入参考帧存储器103，并且同时将它临时存储在第一中间缓冲器006中。第三中间缓冲器005临时存储从参考帧存储器103合适地读取的参考图片(参考帧)。当I/P编码器001编码P图片时，参考存储在第三中间缓冲器005中的参考图片(参考帧)。当B编码器002编码B图片时，参考临时存储在第一中间缓冲器006中的参考图片(参考帧)和存储在第三中间缓冲器005中的参考图片(参考帧)。位置控制器007控制I/P编码器001和B编码器002的处理位置，即在编码中处理目标的图片数据的位置。下面将描述其细节。

I/P编码器001不需要是仅仅执行I-图片编码和P-图片编码的编码器，但是它可以被替换为执行包括B-图片编码的编码的I/P/B编码器。类似地，B编码器002不需要是仅仅执行B-图片编码的编码器，而是它可以被替换为I/P/B编码器。B编码器的数目可以不是一个。通过安装N片B编码器，可以将两个P图片(或I图片)之间的B图片的数目设置为N片。在那种情况下，用作输入的参考区域X和参考区域Y是N片B编码器共用的，并且N片B编码器可以共享第三中间缓冲器005和第一中间缓冲器006。在相同的I图片或P图片组之间插入的多个(N片)B图片共同参考在相关的I图片或P图片组的编码中创建的参考图片(本地解码图片)。因此，在执行多个(N片)B图片的编码的时间段期间，仅仅必需将要在编码中参考的参考图片(本地解码图片)存储在第三中间缓冲器005和第一中间缓冲器006中，并且不必需访问参考帧存储器103以读取另一个参考图片。在图4中示出了在N＝2的情况下的配置的示例。

图4是示出了根据实施例1的图片编码设备A(100)的另一个配置示例的框图。如图3的情况，该图中也示出了输入图片提供设备101、输入图片存储器102、参考帧存储器103和输出控制设备104。编码设备A(100)包括I/P编码器001、输入控制器003、开关004、第三中间缓冲器005、第一中间缓冲器006和位置控制器007。不同于图3的是提供与N＝2对应的两个B编码器002-1和002-2。两个B编码器002-1和002-2参考相同的参考图片。因此，相同参考帧的图片数据分别被从第一中间缓冲器006和第三中间缓冲器005提供。两个B编码器002-1和002-2分别将B编码位串1和B编码位串2输出到输出控制设备104。与图3不同，输出控制设备104接收三个输入，并且创建由I/P编码位串、B编码位串1和B编码位串2组成的编码流。如果在相同的I图片或P图片组之间插入的B图片的数目增大，则可以通过增大B编码器的数目并且通过增大到输出控制设备104的输入的数目来满足它。

说明图片编码设备的操作。

首先，说明I图片、P图片和B图片。图5-图7分别是关于I图片、P图片和B图片的编码的说明性附图。I图片、P图片和B图片是在运动图像编码系统中采用的图片类型。I图片是通过利用图片中的图片信息进行图片内预测来执行编码的图片类型。P图片是通过利用一个参考帧进行图片间预测来执行编码的图片类型。B图片是通过利用两个参考帧进行图片间预测来执行编码的图片类型。在图5-图7中，以拍摄次序显示图片，过去的在左边并且将来的在右方。在图5所示的I图片I0中，通过使用图片中的图片信息的图片内预测执行编码。在图6所示的P图片P3中，通过使用I0作为参考帧的图片间预测执行编码。在图7所示的B图片B1中，通过使用过去图片I0作为参考帧的图片间预测和使用将来图片P3作为参考帧的图片间预测执行编码。这里，虽然图中未示出，但是B图片B2使用I0和P3作为参考图片。P图片参考一个过去图片并且B图片参考一个过去图片和一个将来图片。I图片之间的P图片的数目和I图片或P图片之间的B图片的数目分别是任意的。但是，根据编码标准的种类，诸如H.264，可以参考两个过去图片。因此，在本申请公开的本实施例和其它实施例中，编码的次序不一定是指定的。当实际上通过根据本申请的编码设备执行编码时，改变编码的次序以将图片输入到编码设备以使得要被参考的图片比要参考的图片更早编码。

以下说明当执行编码以使得一个B图片插入在I图片或P图片之间，像IBPBPB···时，图3所示的图片编码设备的操作。输入图片存储器102被提供有基于时间序列的来自于输入图片提供设备101的原始图片作为编码目标；诸如原始图片0、原始图片1、···、原始图片(2n-1)、原始图片(2n)、···。当编码像IBPBPB···时，原始图片0被编码为I图片、原始图片1被编码为B图片、原始图片2被编码为P图片、并且此后奇数原始图片(2n-1)被编码为B图片并且偶数原始图片(2n)被编码为I图片或P图片(n是一或更大的整数)。假定原始图片(2n)被编码为P图片、P图片(2n)使用图片(2n-2)作为参考帧，并且B图片(2n-1)使用图片(2n)和图片(2n-2)作为参考帧。

编码设备A(100)并行编码每两个图片。一般地，以块为单位执行编码，每个块是图片的划分的矩形。此处理单元块被称为“宏块”(在下文中缩写为“MB”)。可以将用于图片间编码的参考帧限制为图片中的特定区域，并且它被称为参考区域。在本申请中，通过以MB为单位处理，I/P编码器001已经完成编码的MB的数据可被用在B编码器将要编码的MB中，允许两个图片的并行编码。

说明在I/P编码器001中的编码的次序。

(1)原始图片(2n)的编码目标MB被从输入图片存储器102输入到I/P编码器001。

(2)要被用于P-图片编码的参考区域X被从参考帧存储器103中的参考帧X输入到第三中间缓冲器005。

(3)I/P编码器001通过从原始图片(2n)MB和第三中间缓冲器005中的参考区域X进行图片间预测来执行P-图片编码，并将第一编码位串输出到输出控制设备104。随后，被从编码位串解码的图片(在下文中称为本地解码图片)被写入并且存储在第一中间缓冲器006中。

(4)存储在第一中间缓冲器006中的本地解码图片被写入参考帧存储器103的参考帧Y，以便被后续编码用作参考帧。

在对于原始图片(2n)中的所有MB执行以上处理(1)-(4)之后，一个图片的编码完成。当执行I-图片编码时，通过(3)中的图片内预测执行I-图片编码。此时，不使用第三中间缓冲器005中的参考区域X。但是，即使当执行I-图片编码时，参考区域X也在(2)被存储到第三中间缓冲器005中。

说明在I/P编码器002中的编码的次序。

(5)原始图片(2n-1)的编码目标MB被从输入图片存储器502输入到B编码器002。

(6)B编码器002通过从原始图片(2n-1)MB、第三中间缓冲器005中的参考区域X、和由第一中间缓冲器006中的本地解码图片组成的参考区域Y进行图片间预测来执行B-图片编码，并将第二编码位串输出到输出控制设备104。

在对于原始图片(2n-1)中的所有MB执行以上处理(5)-(6)之后，一个图片的编码完成。

并行执行I/P编码器001的处理(1)-(4)和B编码器002的处理(5)-(6)(两图片并行编码)。

在图8-图10中典型地示出了I图片、P图片和B图片的编码的处理次序。图8示出了在比较示例中编码的处理次序。图9和图10示出了实施例1中可以采用的两种处理次序。时间段N(N＝、1、···、2n+1、···)是一个图片的处理时间。较小的N表示前面的(过去)时间，并且较大的N表示后面的(将来)时间。附属于符号I、P和B的数字符号表示被捕获的图片的次序。

如图8所示，在比较示例中，在一个时间段中仅仅执行一种图片类型的编码。在时间段0对于I0、在时间段1对于在I0之前捕获的B图片、在时间段2对于P2、在时间段3对于B1、在时间段4对于P4、以及在时间段5对于B3执行编码。随后，在时间段(2n-2)对于P(2n-2)、在时间段(2n-1)对于B(2n-3)、在时间段(2n)对于P(2n)、以及在时间段(2n+1)对于B(2n-1)执行编码。图中的箭头表示参考图片的参考关系。也就是说，当编码箭头顶端的图片时，参考通过在箭头起点的图片的编码创建的参考图片(本地解码图片)。当在时间段4执行P4的编码时，参考通过在时间段2执行的P2的编码创建的参考图片(本地解码图片)。当在时间段5执行B3的编码时，参考通过在时间段2执行的P2的编码创建的参考图片(本地解码图片)，并且另外参考通过在时间段4执行的P4的编码创建的参考图片(本地解码图片)。以这种方式，不是以捕获的次序而是以编码的次序从输入图片存储器102读取原始图片，并且提供。虽然B3是以捕获的次序的在P2和P4之间的图片，但是它是B图片并且不仅使用过去的参考图片P2而且使用将来的参考图片P4；因此B3是在P4之后输入的。以下，在时间段(2n)执行的P(2n)的编码中，参考通过在时间段(2n-2)执行的P(2n-2)的编码创建的参考图片(本地解码图片)。当在时间段(2n+1)执行B(2n-1)的编码时，参考通过在时间段(2n-2)执行的P(2n-2)的编码创建的参考图片(本地解码图片)，并且另外参考通过在时间段(2n)执行的P(2n)的编码创建的参考图片(本地解码图片)。这里，通过在时间段2执行的P2的编码创建的参考图片(本地解码图片)在时间段2被写入参考帧存储器。在那之后，相关的参考图片被读取用于在时间段4的P4的编码，并且被再次读取用于在时间段5的B3的编码。一般地，通过在时间段(2n-2)执行的P(2n-2)的编码创建的参考图片(本地解码图片)在时间段(2n-2)被写入参考帧存储器。在那之后，相关的参考图片被读取用于在时间段(2n)的P(2n)的编码，并且被再次读取用于在时间段(2n+1)的B(2n-1)的编码。以这种方式，参考帧存储器在写入时被访问一次并且在读取时被访问至少再次，每次一个参考图片。

实施例1所示的的编码设备A(100)可以同时执行I/P编码器001和B编码器002的并行操作。因此，可以并行执行I图片或P图片的编码和B图片的编码。

图9是示出了在实施例1中的编码的处理次序的示例的说明图。在时间段0，I/P编码器001执行I0的编码，并且B编码器002执行在I0之前捕获的B图片的编码。随后，分别在时间段2对于P2和B1、在时间段4对于P4和B3、在时间段(2n-2)对于P(2n-2)和B(2n-3)、并且在时间段(2n)对于P(2n)和B(2n-1)并行执行编码。这里，通过在时间段2执行的P2的编码创建的参考图片(本地解码图片)在时间段2被写入参考帧存储器。在那之后，相关的参考图片被读取用于在时间段4的P4的编码，并且被用于在相同时间段4的B3的编码。一般地，通过在时间段(2n-2)执行的P(2n-2)的编码创建的参考图片(本地解码图片)在时间段(2n-2)被写入参考帧存储器。在那之后，相关的参考图片被读取用于在时间段(2n)的P(2n)的编码，并且被用于在相同时间段(2n)的B(2n-1)的编码。因此，它不需要被再次读取。以这种方式，对参考帧存储器的访问频率被抑制到在写入时一次并且在读取时一次，每次一个参考图片。在时间段4的B3的编码中，使用通过在相同时间段4执行的P4的编码创建的参考图片。因此，在B3的编码中需要的参考图片已经在P4的编码中被创建，并且被写入第一中间缓冲器006。在那之后，可以开始B3的编码。这样的控制由以后描述的位置控制器007执行。

图10是示出了在实施例1中的编码的处理次序的另一个示例的说明图。在时间段0，I/P编码器001执行I0的编码，并且B编码器002执行在I0之前捕获的B图片的编码。随后，分别在时间段1对于P2和B1、在时间段2对于P4和B3、在时间段(n-1)对于P(2n-2)和B(2n-3)、并且在时间段(n)对于P(2n)和B(2n-1)并行执行编码。这里，通过在时间段1执行的P2的编码创建的参考图片(本地解码图片)在时间段1被写入参考帧存储器。在那之后，相关的参考图片被读取用于在时间段2的P4的编码，并且被用于在相同时间段2的B3的编码。一般地，通过在时间段(n-1)执行的P(2n-2)的编码创建的参考图片(本地解码图片)在时间段(n-1)被写入参考帧存储器。在那之后，相关的参考图片被读取用于在时间段(n)的P(2n)的编码，并且被用于在相同时间段(n)的B(2n-1)的编码。因此，它不需要被再次读取。以这种方式，如上面图9中的示例描述的情况，对参考帧存储器的访问频率被抑制到在写入时一次并且在读取时一次，每次一个参考图片。在图9所示的示例中，为了在与捕获的帧间隔相同的间隔执行编码，在两个图片时间段执行两个图片的编码。因此，可以降低工作频率并且抑制功率消耗。或在一个图片时间段执行两个图片的编码之后，时钟被停止直到两个图片时间段结束，从而抑制功率消耗。另一方面，在图10所示的示例中，在一个图片时间段执行两个图片的编码。在这种情况下，变得可以提高处理能力两倍。

接着，说明位置控制器007的操作。如上所述，在图9所示的在时间段4的B3的编码中，使用通过在相同时间段4执行的P4的编码创建的参考图片。因此，它必须被控制以使得在B3的编码中需要的参考图片已经在P4的编码中被创建并且被写入第一中间缓冲器006然后B3的编码开始。

图11和图12是示出了由位置控制器007进行的控制的示例的说明性附图；图11示出了等待指令的状态，并且图12示出了处理许可的状态。在本说明中，为简单起见，使用水平地由六个MB组成的图片，并且参考区域是2×2的4-MB区域，开始点与编码目标MB在相同位置。例如，组成一个图片(诸如一个帧)的MB的数目和参考区域的大小是任意的，并且由图片编码的标准指定或根据图像系统的规范指定。I/P编码器001的参考区域X、B编码器002的参考区域X、和参考区域Y分别不需要是相同大小。

图11示出了I/P编码器001、B编码器002、位置控制器007、第一中间缓冲器005和第三中间缓冲器006。对于每个MB示出了输入到I/P编码器001的原始图片(2n)，并且对于每个MB示出了输入到B编码器002的原始图片(2n-1)。有阴影线的MB表示已经输入的MB，并且粗框的MB表示目前的编码目标MB。图11示出了其中B编码器002即将开始MB0的处理并且I/P编码器001当前正在执行MB7的处理的示例。MB0-MB6已经被输入到I/P编码器001，编码已经完成，并且本地解码的MB0-MB6被存储在第一中间缓冲器006中。参考帧的必需的参考图片被从参考帧存储器103读取并且存储在第三中间缓冲器005中。如图11所示，原始图片(2n)的MB7被输入到I/P编码器001，参考来自于第三中间缓冲器005的作为参考区域X的4个块MB7、MB8、MB13、和MB14执行编码，并且本地解码的MB7被写到第一中间缓冲器006。I/P编码器001通知位置控制器007表示“MB7处理中”的信息。另一方面，B编码器002向位置控制器007发送“针对MB0的处理请求”。位置控制器007管理B编码器002所需的参考区域Y的数据是否就绪，并且通知B编码器002“等待指令”或“处理许可”。图11示出了因为I/P编码器001没有完成MB7的处理并且B编码器002处理MB0所需的参考区域Y(MB0/MB1/MB6/MB7)没有就绪而通知“等待指令”的状态。在接收到“等待指令”时，B编码器002进入等待状态，并且不开始编码。

图12示出了其中B编码器002开始MB0的处理同时I/P编码器001已经完成MB7的处理并且正在执行MB8的处理的示例。在这种情况下，I/P编码器001已经完成MB7的处理并且B编码器002处理MB0所需的参考区域Y(MB0/MB1/MB6/MB7)在第一中间缓冲器006中就绪；因此，位置控制器007向B编码器002通知“处理许可”。在接收到“处理许可”时，B编码器002开始使用原始图片(2n-1)的MB0、参考区域X的(MB0/MB1/MB6/MB7)和参考区域Y的(MB0/MB1/MB6/MB7)编码。

如图9和图10所说明的，I/P编码和B编码宏观上在相同图片时间段并行执行。但是，如参考图11和图12已经说明的，在微观上，执行控制(处理位置控制)以在必需的参考区域的MB的编码完成之后开始编码，以MB的单位作为编码的处理单位。例如根据运动补偿中允许的运动矢量的范围和大小确定参考区域，其最大小于一个帧。当参考区域是最大的一个帧时，在对于一个帧完成被参考侧的I/P编码之后，向参考侧的B编码通知“处理许可”。因此，例如，图9的B3的处理被推迟至时间段5。甚至在这种情况下，参考侧的B编码被一致地延迟。因此，可以在一个图片时间段并行执行两个图片的编码，如图10所示。另一方面，优选的是使得参考侧的B编码在中间缓冲器(特别是第一中间缓冲器006)的内容被下一图片(帧)的编码的参考帧(本地解码图片)覆写之前开始。根据此配置，可以将中间缓冲器的存储容量抑制到等于一个图片(一个帧)的值。另一方面，当参考区域被限制时，可以使得中间缓冲器的存储容量更小。

根据实施例1的图片编码设备通过I/P编码器001编码第一图片，将通过编码创建的本地解码图片存储在第一中间缓冲器006中，B编码器002参考本地解码图片并行地编码第二图片，并且位置控制器007在两个编码器之间执行控制。如上所述，本配置在降低对参考帧存储器103的访问频率方面是有效的。在本配置中，编码B图片的B编码器002使用已经存储在第三中间缓冲器005和第一中间缓冲器006中的数据作为参考区域。因此，对参考帧存储器103的访问不发生在B-图片编码时。因此，仅仅在P-图片编码时从参考帧存储器103读出数据。

在专利文件1公开的图片编码设备中，必须在P-图片编码时读取等于一个图片的数据，并且除了它之外，必须在B-图片编码时读取等于两个图片的数据。相反地，在本配置中，必须在P-图片编码时仅仅读取等于一个图片的数据；因此，本配置在将存储器带降低到三分之一方面是有效的。与专利文件1尝试解决的一般现有技术相比，本配置在将存储器带降低到甚至五分之一方面是有效的。

作为其它效果，可以减少参考帧存储器103的容量。过去，需要三个图片的容量，但是，本配置需要等于一个图片用于读取和一个图片用于写入，总计两个图片的容量。

添加到编码设备A(100)的第三中间缓冲器005的容量仅仅存储I/P编码器001参考的区域的数据加上B编码器002参考的区域的数据；因此，最大几个MB行并且最小三个MB行是足够的。第一中间缓冲器006的容量仅仅存储I/P编码器001写入解码的MB的区域的数据加上B编码器002参考的区域的数据；因此，最大几个MB行并且最小两个MB行是足够的。

注意，可以将本配置应用到几乎所有运动图像编码标准。

(实施例2)

<I编码器+P编码器+B编码器+中间缓冲器>

实施例1已经显示可以通过提供两个编码器和两个中间缓冲器减小参考帧存储器的访问带。但是，访问带不能被减小到零，而是参考帧存储器依旧需要。例如，当假定参考帧存储器安装在外部共享存储器中时，参考帧存储器的容量和非零的访问带将增大系统成本。

因此，实施例2示出了不需要参考帧存储器的配置。

图13是示出了根据实施例2的图片编码设备的整个配置的示例的框图。

根据实施例2的图片编码设备的整个配置包括输入图片提供设备101、输入图片存储器102、编码设备B(200)和输出控制设备104。与根据实施例1的图片编码设备不同，编码设备B(200)没有被提供参考帧存储器103。编码设备B(200)依照特定图片编码系统编码从输入图片存储器102输入的原始图片，而不使用参考帧存储器。编码设备B(200)输出三个或更多个编码位串。

图14是示出了根据实施例2的图片编码设备的配置示例的框图。输入图片提供设备101、输入图片存储器102、和输出控制设备104也示出在图中。在图中典型地显示了输入图片存储器102存储原始图片0、1、···、3n、3n+1、3n+2、···。

编码设备B(200)由I编码器020、P编码器021、B编码器022、输入控制器023、开关024、第一中间缓冲器025、第二中间缓冲器026、第一位置控制器027和第二位置控制器028组成。I编码器020编码I图片、创建第一编码位串、将它输出到输出控制设备104、并将本地解码图片输出到第一中间缓冲器025作为参考图片。P编码器021参考存储在第一中间缓冲器025中的本地解码图片执行P-图片编码、创建第二编码位串、将它输出到输出控制设备104、并将本地解码图片作为参考图片输出到第二中间缓冲器026。B编码器参考存储在第一中间缓冲器025中的本地解码图片和存储在第二中间缓冲器026中的本地解码图片执行B-图片编码、创建第三编码位串、并将它输出到输出控制设备104。

I编码器020、P编码器021和B编码器022不需要是仅仅用于相应的图片类型的编码器，并且它们可以是I/P/B编码器。B编码器的数目可以不是一个。通过安装N片B编码器，可以将I图片和P图片之间的B图片的数目设置为N片。

说明根据实施例2的图片编码设备的操作。以下说明当执行编码以使得每三个图片重复三个图片类型，I图片、B图片和P图片，像IBPIBPIBP···时，图14所示的图片编码设备的操作。输入图片存储器102被提供有来自于输入图片提供设备101的基于时间序列的原始图片作为编码目标；诸如原始图片0、原始图片1、···、原始图片(3n)、原始图片(3n+1)、原始图片(3n+2)···。当编码像IBPIBPIBP···时，原始图片0被编码为I图片、原始图片1被编码为B图片、原始图片2被编码为P图片、并且此后原始图片(3n)被编码为I图片、原始图片(3n+1)被编码为B图片、并且原始图片(3n+2)被编码为P图片(n是等于或大于0的整数)。

编码设备B(200)并行编码每三个图片。

说明在I编码器020中的编码的次序。

(1)原始图片(3n)的编码目标MB被从输入图片存储器102输入到I编码器020。

(2)I编码器020通过图片内预测对于原始图片(3n)的目标MB执行I-图片编码，并将第一编码位串输出到输出控制设备104。随后，本地解码图片被写入并且存储在第一中间缓冲器025中。

在对于原始图片(3n)中的所有MB执行以上处理(1)-(2)之后，一个图片的编码完成。

说明在P编码器021中的编码的次序。

(3)原始图片(3n+2)的编码目标MB被从输入图片存储器302输入到P编码器021。

(4)P编码器021通过从由原始图片(3n+2)的目标MB组成的参考区域X和I编码器020在第一中间缓冲器025中的本地解码图片进行图片间预测来执行P-图片编码，并将第二编码位串输出到输出控制设备104。随后，本地解码图片被写入并且存储在第二中间缓冲器026中。

在对于原始图片(3n+2)中的所有MB执行以上处理(3)-(4)之后，一个图片的编码完成。

说明在B编码器022中的编码的次序。

(5)原始图片(3n+1)的编码目标MB被从输入图片存储器502输入到B编码器022。

(6)B编码器022通过从由原始图片(3n+1)的目标MB、由I编码器020在第一中间缓冲器026中的本地解码图片组成的参考区域X、和由P编码器021在第二中间缓冲器026中的本地解码图片组成的参考区域Y进行图片间预测来执行B-图片编码，并将第三编码位串输出到输出控制设备104。

在对于原始图片(3n+1)中的所有MB执行以上处理(5)-(6)之后，一个图片的编码完成。

并行执行I编码器020的处理(1)-(2)、P编码器021的处理(3)-(4)、和B编码器022的处理(5)-(6)(三图片并行编码)。

P编码器021参考过去的原始图片(3n)的I-图片编码的本地解码图片用于原始图片(3n+2)的P-图片编码。但是，本地解码图片被存储在第一中间缓冲器025中。因此，不必访问参考帧存储器。B编码器022参考过去的原始图片(3n)的I-图片编码的本地解码图片和将来的原始图片(3n+2)的P-图片编码的本地解码图片用于原始图片(3n+1)的B-图片编码。但是，那些参考图片被分别存储在第一中间缓冲器025和第二中间缓冲器026中。因此，不必访问参考帧存储器。因此，根据实施例2的图片编码设备不需要具有参考帧存储器。

接着，说明第一位置控制器027和第二位置控制器028的操作。图15是示出了根据实施例2的位置控制器027和028的控制的示例的说明图。在本说明中，为简单起见，如图11和图12的情况，使用水平地由六个MB组成的图片，并且参考区域是2×2的4-MB区域，开始点与编码目标MB在相同位置。

在图15中，示出了I编码器020、P编码器021、B编码器022、第一位置控制器027、第二位置控制器028、第一中间缓冲器025和第二中间缓冲器026。分别对于每个MB示出了输入到I编码器020的原始图片(3n)、输入到P编码器021的原始图片(3n+2)、和输入到B编码器022的原始图片(3n+1)。有阴影线的MB表示已经输入的MB，并且粗框的MB表示目前的编码目标MB。

原始图片(3n)的MB0-MB15已经被输入到I编码器020，编码已经完成，并且本地解码的MB0-MB15被存储在第一中间缓冲器025中。目前，I编码器020正在对于作为目标的MB16执行编码，并且表示“MB16处理中”的信息被通知到第一位置控制器027和第二位置控制器028。

原始图片(3n+2)的MB0-MB7已经被输入到P编码器021，编码已经完成，并且本地解码的MB0-MB7被存储在第二中间缓冲器026中。P编码器021已经将“针对MB8的处理请求”发送到第一位置控制器027，以便目前对于MB8执行编码。第一位置控制器027管理P编码器021所需的参考区域X的数据是否就绪，并且通知P编码器021“等待指令”或“处理许可”。在图15所示的示例中，在P编码器021参考以用于MB8的编码的参考区域X(MB8/MB9/MB14/MB15)被从I编码器020写入第一中间缓冲器025之后，第一位置控制器027通过向P编码器021通知“处理许可”来使得P编码器021开始MB8的编码。在接收到“处理许可”时，P编码器021开始使用原始图片(3n+2)的MB8和参考区域X的(MB8/MB9/MB14/MB15)编码。当开始编码时，表示“MB8处理中”的信息通知给第二位置控制器028。

原始图片(3n+1)的MB0被输入到B编码器022。为了对于它执行编码，“针对MB0的处理请求”被通知给第二位置控制器028。I编码器020将本地解码的MB16写入第一中间缓冲器025，并且通知第二位置控制器028表示“MB16处理中”的信息。P编码器021将本地解码的MB8写入第二中间缓冲器026，并且通知第二位置控制器028“MB8处理中”。第二位置控制器028管理B编码器022所需的参考区域X和参考区域Y的数据是否就绪，并且通知B编码器022“等待指令”或“处理许可”。在图15所示的示例中，I编码器020和P编码器021二者已经完成了MB8的处理。因此，B编码器022编码MB0所需的参考区域X(MB0/MB1/MB6/MB7)和参考区域Y(MB0/MB1/MB6/MB7)全部就绪，并且通知“处理许可”。当换个方式表达时，在参考区域X(MB0/MB1/MB6/MB7)已被从I编码器020写入第一中间缓冲器025并且参考区域Y(MB0/MB1/MB6/MB7)已被从P编码器021写入第二中间缓冲器026之后，第二位置控制器028向B编码器022通知“处理许可”。在接收到“处理许可”时，B编码器022开始使用原始图片(3n+1)的MB0、参考区域X的(MB0/MB1/MB6/MB7)和参考区域Y的(MB0/MB1/MB6/MB7)编码。当P编码器021独自的处理位置可以保证由I编码器020的本地解码的MB组成的第一中间缓冲器025中的参考区域就绪时，可以省略将处理位置从I编码器020通知到第二位置控制器028。

虽然实施例1采用在两个编码器之间提供一个中间缓冲器的单级组合，但是实施例2采用在三个编码器当中提供两个中间缓冲器的两级组合。因此，可以删除实施例1中必需的参考帧存储器103。

实施例1采用在两个编码器之间提供一个中间缓冲器的单级组合，诸如I/P编码器001、B编码器002、位置控制器007和第一中间缓冲器006之类，通过将在第一级的本地解码图片临时存储在中间缓冲器中，并且第二级编码器的编码参考它，可以降低对参考帧存储器的访问频率。但是，当第一级I/P编码器001执行P图片的编码时，必须访问参考帧存储器。与此相比，实施例2采用两级组合，其中在三个编码器之间提供两个中间缓冲器，诸如I编码器020、第一中间缓冲器025、第一位置控制器027、P编码器021、第二中间缓冲器026、第二位置控制器028和B编码器022。第一图片被I编码器020编码、通过编码创建的本地解码图片被存储在第一中间缓冲器025中、并且第二图片被P编码器021参考第一中间缓冲器025中的本地解码图片并行编码。当P编码器021编码第二图片时创建的本地解码图片被存储在第二中间缓冲器026中，并且B编码器022参考第一中间缓冲器025的本地解码图片和第二中间缓冲器026的本地解码图片并行编码第三图片。I编码器020对第一图片的编码、P编码器021对第二图片的编码、以及B编码器022对第三图片的编码在宏观上并行执行。第一位置控制器027和第二位置控制器028执行控制以使得编码器的每一个开始相应的编码。在本配置中，编码P图片的P编码器021使用已经存储在第一中间缓冲器025中的数据作为参考区域，并且编码B图片的B编码器022使用已经存储在第一中间缓冲器025和第二中间缓冲器026中的数据作为参考区域。因此，完全不发生对参考帧存储器103的访问。因此，在本配置中，可以将参考帧存储器的存储器带和存储器容量减少到零；因此可以极大地减少系统的成本。

(实施例3)

<I编码器+P编码器+中间缓冲器>

实施例2示出了由一个I编码器、一个P编码器和一个或多个B编码器组成的配置而不具有参考帧存储器，从而降低系统成本。但是，在实施例2中，必须提供三个或更多个编码器，并且与实施例1相比硬件成本增大。一般地，在I图片或P图片之间存在B图片的图片的编码产生提高的编码效率。另一方面，必须根据编码的次序重新排列输入图片。因此，存在编码延迟变大的缺点。此事实强有力地产生从输入到显示器的延迟在解码中也变大的缺点。因此，也需要不包括B图片的编码。

实施例3示出了通过从实施例2的配置去掉B编码器来实现硬件成本的减小和编码延迟的减小的配置。

图16是示出了根据实施例3的图片编码设备的整个配置的示例的框图。

根据实施例3的图片编码设备的整个配置包括输入图片提供设备101、输入图片存储器103、编码设备C(300)和输出控制设备104。与根据实施例1的图片编码设备不同，编码设备C(300)没有被提供参考帧存储器103。编码设备C(300)依照特定图片编码系统编码从输入图片存储器102输入的原始图片，而不使用参考帧存储器。与根据实施例2的图片编码设备不同，编码设备C(300)输出两个编码位串。

图17是示出了根据实施例3的图片编码设备的配置示例的框图。输入图片提供设备101、输入图片存储器102、和输出控制设备104也示出在图中。在图中典型地显示了输入图片存储器102存储原始图片0、1、···、2n-1、2n、2n+1、···。

编码设备C(300)由I编码器030、P编码器031、输入控制器033、开关034、第一中间缓冲器035和第一位置控制器032组成。I编码器030编码I图片、创建第一编码位串、将它输出到输出控制设备104、并将本地解码图片输出到第一中间缓冲器035作为参考图片。P编码器031参考存储在第一中间缓冲器035中的本地解码图片执行P-图片编码、创建第二编码位串、并将它输出到输出控制设备104。I编码器030和P编码器031不需要是仅仅用于相应的图片类型的编码器，并且二者可以是I/P/B编码器。

说明根据实施例3的图片编码设备的操作。以下说明当执行编码以使得每两个图片重复两个图片类型，I图片和P图片，像IPIPIP···时，图16所示的图片编码设备的操作。输入图片存储器102被提供有来自于输入图片提供设备101的基于时间序列的原始图片作为编码目标；诸如原始图片0、原始图片1、···、原始图片(2n-1)、原始图片(2n)、原始图片(2n+1)。当编码像IPIPIP···时，原始图片0被编码为I图片、原始图片1被编码为P图片、并且此后原始图片(2n-1)被编码为I图片、原始图片(2n)被编码为P图片、并且原始图片(2n+1)被编码为I图片(n是等于或大于0的整数)。

编码设备C(300)并行编码每两个图片。

说明在I编码器030中的编码的次序。

(1)原始图片(2n-1)的编码目标MB被从输入图片存储器102输入到I编码器030。

(2)I编码器030通过图片内预测对于原始图片(2n-1)的目标MB执行I-图片编码，并将第一编码位串输出到输出控制设备104。随后，本地解码图片被写入并且存储在第一中间缓冲器035中。

在对于原始图片(2n-1)中的所有MB执行以上处理(1)-(2)之后，一个图片的编码完成。

说明在P编码器031中的编码的次序。

(3)原始图片(2n)的编码目标MB被从输入图片存储器302输入到P编码器031。

(4)P编码器031通过从由原始图片(2n)的目标MB组成的参考区域X和I编码器030在第一中间缓冲器035中的本地解码图片进行图片间预测来执行P-图片编码，并将第二编码位串输出到输出控制设备104。

在对于原始图片(2n)中的所有MB执行以上处理(3)-(4)之后，一个图片的编码完成。

并行执行I编码器030的处理(1)-(2)和P编码器031的处理(3)-(6)(两图片并行编码)。

P编码器031参考过去的原始图片(2n-1)的I-图片编码的本地解码图片用于原始图片(2n)的P-图片编码。但是，本地解码图片被存储在第一中间缓冲器035中。因此，不必访问参考帧存储器。因此，根据实施例3的图片编码设备不需要被提供参考帧存储器。

接着，说明第一位置控制器032的操作。

图18是根据实施例3的第一位置控制器032的控制的示例的说明图。在本说明中，为简单起见，如图11、图12和图15的情况，使用水平地由六个MB组成的图片，并且参考区域是2×2的4-MB区域，开始点与编码目标MB在相同位置。

图18示出了I编码器030、P编码器031、第一位置控制器032和第一中间缓冲器035。分别对于每个MB示出了输入到I编码器030的原始图片(2n-1)和输入到P编码器031的原始图片(2n)。有阴影线的MB表示已经输入的MB，并且粗框的MB表示目前的编码目标MB。

原始图片(2n-1)的MB0-MB7已经被输入到I编码器030，编码已经完成，并且本地解码的MB0-MB7被存储在第一中间缓冲器035中。目前，I编码器030正在对于作为目标的MB8执行编码，并且表示“MB16处理中”的信息被通知到第一位置控制器032。

P编码器031已经将“针对MB0的发送请求”发送到第一位置控制器027，以便对于作为目标的原始图片(2n)的MB8执行编码。第一位置控制器032管理P编码器031所需的参考区域X的数据是否就绪，并且通知P编码器031“等待指令”或“处理许可”。在图18所示的示例中，在P编码器031参考以用于MB0的编码的参考区域X(MB0/MB1/MB6/MB7)被从I编码器030写入第一中间缓冲器035之后，第一位置控制器032通过向P编码器031通知“处理许可”来使得P编码器031开始MB0的编码。在接收到“处理许可”时，P编码器031开始使用原始图片(2n)的MB0和参考区域X的(MB0/MB1/MB6/MB7)编码。

在实施例3中，删除了根据实施例2的B编码器022、第二中间缓冲器026和第二位置控制器028。因此，本配置在降低硬件成本和降低编码延迟方面是有效的。它在降低解码中的解码延迟方面也是有效的。这些效果导致系统成本的减小。

(实施例4)

<场划分>

在实施例1-3中，为了同时提供两片或更多片原始图片(并行)，输入图片存储器102是必需的。即使如在实施例3中一样删除参考帧存储器103，也不能删除输入图片存储器102。因此，难以消除对外部共享存储器的访问，引起系统成本增大的问题。另外，必须将原始图片从输入图片提供设备101存储在输入图片存储器102中一次；因此引起在从输入到输出的处理中增大的延迟的问题。

实施例4示出了通过在编码设备中执行图片划分而实现输入图片存储器102的删除的配置。

图19是示出了根据实施例4的图片编码设备的整个配置的示例的框图。

根据实施例4的图片编码设备的整个配置包括输入图片提供设备101、编码设备D(400)和输出达西设备104。与根据实施例1-3的图片编码设备不同，根据实施例4的图片编码设备不设有输入图片存储器102，而是作为编码目标的原始图片数据被直接从输入图片提供设备101输入到编码设备D(400)。

图20是示出了根据实施例4的图片编码设备的配置示例的框图。输入图片提供设备101和输出控制设备104也示出在图中。

编码设备D(400)由I编码器040、P编码器041、位置控制器042、输入控制器043、场划分器044、中间缓冲器045、输入缓冲器046、第一MB缓冲器047和第二MB缓冲器048组成。I编码器040执行I图片编码、创建第二编码位串、将它输出到输出控制设备104、并将本地解码图片作为参考图片输出到中间缓冲器045。P编码器041参考存储在第一中间缓冲器045中的本地解码图片执行P-图片编码、创建第二编码位串、并将它输出到输出控制设备104。I编码器040和P编码器041不需要是仅仅用于相应的图片类型的编码器，并且可以是I/P/B编码器。

编码设备D(400)不同于根据实施例3的编码设备C(300)之处在于，原始图片被直接从输入图片提供设备101输入、提供划分和提供原始图片的场划分器044代替开关034、提供存储原始图片一次的输入缓冲器046和存储场划分器044的输出一次的第一MB缓冲器047和第二MB缓冲器048。也就是说，在编码设备D(400)中，输入缓冲器046将从输入图片提供设备101输入的帧结构的原始图片存储一次，并且场划分器044将原始图片解构为场结构并且将它提供到I编码器040和P编码器041中的一个。场划分器044对于作为每个编码器的编码单位的每个MB划分并且重构图片，并且将图片数据作为编码目标分别经由第一MB缓冲器047提供到I编码器040并且经由第二MB缓冲器048提供到P编码器041。

为了说明编码设备D(400)的操作，首先说明帧结构和场结构。

图21是示出了图片的帧结构的说明图。图22和23是分别示出了顶部场优先的图片和底部场优先的图片的场结构的说明性的附图。

在图21所示的帧结构中，组成一个图片的所有像素行存在于相同的数据结构中。另一方面，在图22所示的场结构中，一个图片由仅仅包括帧结构的偶数(0、2、4、···)像素行的顶部场和仅仅包括奇数(1、3、5、···)像素行的底部场的两个数据结构组成。图22示出了顶部场优先的场结构，其由作为第一场的顶部场和作为第二场的底部场组成。如图23所示，也可以定义底部场优先的场结构，其由作为第一场的底部场和作为第二场的顶部场组成。

诸如H.264之类的许多运动图片编码标准定义针对场结构的编码方法。

说明根据实施例4的图片编码设备的操作。以下说明当执行编码以使得每两个图片重复两个图片类型，I图片和P图片，像IPIPIP···时，图19所示的图片编码设备的操作。

图24是示出了图片的场划分的说明图。从输入图片提供设备101输入的帧结构的原始图片被场划分器044划分为场结构，并且I图片的第一场和P图片的第二场被交替地编码，如图24所示。

说明编码设备D(400)的场划分操作。

在场划分器044中，例如如下执行场划分。假定逐行执行输入。场划分系统取决于输入形式并且不一定局限于以下。

(1)从输入图片提供设备101输入的像素行被存储在输入缓冲器046中。

(2)在32行被存储在输入缓冲器046中之后，根据像素行的行号的奇偶性，偶数行的目标MB位置的像素被存储在第一MB缓冲器047中，并且奇数行的目标MB位置的像素被存储在第二MB缓冲器048中。

(3)当16行已经积累在第一MB缓冲器047中时，可以将像素作为顶部场的MB输出。类似地，当16行已经积累在第二MB缓冲器048中时，可以将像素作为底部场的MB输出。

(4)当32行的最后一个MB被输出到场划分器047时，32行可以被从输入缓冲器046删除。

通过改变偶数行和奇数行的存储目的地，顶部和底部中的任何一个也可以被设置为第一场。

值得考虑的是，不提供输入缓冲器046，场划分的数据被直接存储在第一MB缓冲器047和第二MB缓冲器048中。在目前的情况下，第一MB缓冲器047和第二MB缓冲器048分别具有等效于至少16行的图片宽度的容量。

说明编码设备D(400)的编码操作。

当输入一个帧的原始图片时，编码设备D(400)将原始图片划分成两个场并且并行编码两个场。

在I编码器040中，如下执行编码。

(1)第一场的编码目标MB被从第一MB缓冲器047输入到I编码器040。

(2)I编码器040通过图片内预测对于第一场的目标MB执行I-图片编码，并将第一编码位串输出到输出控制设备104。随后，I编码器040创建本地解码图片并且将它存储在中间缓冲器045中。

在对于第一场中的所有MB执行以上处理(1)-(2)之后，第一场的编码完成。在P编码器041中，如下执行编码。

(3)第二场的编码目标MB被从第二MB缓冲器048输入到P编码器041。

(4)P编码器041通过从由第二场的目标MB组成的参考区域X和I编码器040在第一中间缓冲器045中的本地解码图片进行图片间预测来执行P-图片编码，并将第二编码位串输出到输出控制设备104。

在对于第二场中的所有MB执行以上处理(3)-(4)之后，第二场的编码完成。

对于每两个场并行执行I编码器040的处理(1)-(2)和P编码器041的处理(3)-(4)。

接着，说明第一位置控制器042的操作。

图25是根据实施例4的位置控制器042的控制的示例的说明图。在本说明中，为简单起见，如图11、图12和图15的情况，使用水平地由六个MB组成的图片，并且参考区域是2×2的4-MB区域，开始点与编码目标MB在相同位置。

图25示出了I编码器040、P编码器041、位置控制器042和中间缓冲器045。要被输入到I编码器040中的第一场和要被输入到P编码器041中的第二场分别连同MB一起显示。有阴影线的MB表示已经输入的MB，并且粗框的MB表示目前的编码目标MB。

第一场的MB0-MB7已经被输入到I编码器040，编码已经完成，并且本地解码的MB0-MB7被存储在第二中间缓冲器045中。目前，I编码器040正在对于作为目标的MB8执行编码，并且表示“MB16处理中”的信息被通知到第一位置控制器042。

P编码器041已经将“针对MB0的处理请求”发送到位置控制器042，以便对于第二场的MB8执行编码。位置控制器042管理P编码器041所需的参考区域X的数据是否就绪，并且通知P编码器041“等待指令”或“处理许可”。在图25所示的示例中，在P编码器041参考以用于MB0的编码的参考区域X(MB0/MB1/MB6/MB7)被从I编码器040写入第一中间缓冲器045之后，位置控制器042通过向P编码器041通知“处理许可”来使得P编码器041开始MB0的编码。在接收到“处理许可”时，P编码器041开始使用第二场的MB0和参考区域X的(MB0/MB1/MB6/MB7)编码。

在实施例4中，提供将输入的一个帧的原始图片划分成两个场的场划分器044，因此可以删除输入图片存储器102并且消除对外部共享存储器的访问。因此，本配置在极大地降低系统成本方面是有效的。不必要将原始图片从输入图片提供设备101存储在输入图片存储器102中一次。因此，作为另一个效果，本配置在极大地降低从输入到输出的处理延迟方面也是有效的。配置不局限于不设有输入图片存储器102的配置，而是可以设有输入图片存储器102，如图16的情况。

通过控制I编码器040和P编码器041之间的处理位置，添加到编码设备D(400)内部的中间缓冲器045的容量不需要一个图片的缓冲器量并且可以被实现为仅仅具有最多几个MB行的量。P编码器可以从作为I编码的目标的第一场执行运动预测和运动补偿。另一方面，通过相同的帧的划分创建第一场和第二场；因此假定不存在“运动”，也可以执行编码。也就是说，可以考虑在P编码中不执行运动预测并且运动矢量总是被设置为0的实施方式。在这种情况下，中间缓冲器045的容量可以理论上被实现为具有两个MB。

(实施例5)

<以较小单位的场划分>

实施例4示出了其中一个帧的图片划分为两个场并且第二场参考第一场，从而实现删除输入图片存储器102的配置。实施例5示出了其中场划分以更小单位(例如，两个垂直MB)执行，利用一个划分的块参考另一个划分的块执行通过内插处理的编码，并且执行以划分的块的单位的多路复用以构成一个图片的编码流的示例。

根据实施例5的图片编码设备的整个配置与图19所示的配置示例相同，并且包括输入图片提供设备101、编码设备Ea(500)和输出控制设备104。在实施例5中，不必提供输入图片存储器102，如实施例4的情况那样，但是配置不局限于不设有输入图片存储器102的配置，而是可以是具有输入图片存储器102的配置，如图16的情况。

图26是示出了根据实施例5的图片编码设备的配置示例的框图。输入图片提供设备101和输出控制设备104也示出在图中。

编码设备Ea(500)包括MB内编码器050、MB间编码器051、输入控制器053、场划分器054、中间缓冲器052、输入缓冲器055、第一MB缓冲器056和第二MB缓冲器057。输入缓冲器055存储从输入图片提供设备101输入的帧结构的原始图片一次。通过输入控制器053的控制，场划分器054将存储在输入缓冲器055中的帧结构的原始图片解构成场结构(第一场和第二场)，并且将它们经由第一MB缓冲器056和第二MB缓冲器057提供到编码器中的任何一个(MB内编码器050和MB间编码器051)。MB内编码器050执行第一场的图片内编码、创建第一编码位串、将它输出到输出控制设备104、并将本地解码图片作为参考图片输出到中间缓冲器052。MB间编码器051参考存储在中间缓冲器052中的本地解码图片执行图片间编码、创建第二编码位串、并将它输出到输出控制设备104。

这里，位置控制器不是编码设备Ea(500)必需的。如后面描述的，可以通过将场划分的单位设置为垂直位置关系的两个MB来删除位置控制器。

说明编码设备Ea(500)的操作。

图27是示出了在场划分的图片的编码中的操作的说明图。场划分器054、MB内编码器050、MB间编码器051和中间缓冲器052显示在图中。也示出了要被输入到场划分器054中的帧结构的MB对和被场划分的第一和第二场MB。要被输入到场划分器054中的帧结构的MB对是在帧中在垂直方向上互相邻接的两个MB。MB是MB内编码器050和MB间编码器051的编码的处理单位。MB由多个像素行组成。场划分器054将帧结构的MB对(两个垂直的MB)划分成第一场MB和第二场MB，并且将它们分别输入到MB内编码器050和MB间编码器051。作为示例，第一场MB是仅仅从帧结构的MB对的偶数(0、2、4、···)行重构的场(顶部场)，并且第二场MB是仅仅从帧结构的MB对的奇数(1、3、5、···)行重构的场(底部场)。它们的大小分别是一个MB。MB内编码器050编码第一场MB并且同时将本地解码的MB存储在中间缓冲器052中。MB间编码器051利用作为参考MB的中间缓冲器052通过图片间编码技术编码第二场MB。输出控制设备104以MB为单位多路复用第一编码位串和第二编码位串以构成并输出编码流。

由场划分器054执行的场划分可以与根据实施例4的场划分器044执行的场划分相同。

处理单位可以是如上所述两个垂直的MB划分为场的单位，或可以是小于它的单位，例如一个MB被划分到的16×8像素的单位。在后一种情况下，在场划分器054之内两个MB行的延迟是不必要的，并且可以实现更低的延迟和更小的缓冲器容量。

在编码设备Ea(500)中，以更小的单位(例如，两个垂直的MB)执行场划分，利用一个划分的块参考另一个划分的块执行通过内插处理的编码，并且执行以划分的块为单位的多路复用以构成一个图片的编码流。

图28是示出了在编码中的场参考的方向的示例的说明图。作为从两个垂直的MB划分的块中的一个的第一场MB(顶部场)经历场内编码，并且作为块中的另一个的第二场MB(底部场)经历参考第一场MB的场间编码。顶部场和底部场之间的关系是任意的，并且第一场MB可以是底部场并且第二场MB可以是顶部场。通过使用图26所示的本配置示例，可以实现如图28所示的编码方法。也就是说，当采用像由H.264指定的MBAFF(宏块自适应场帧)的块结构时，可以通过第二场参考第一场的内插处理来执行编码。

本配置示例在实现比现有图片内编码具有更好的编码效率的图片内编码方面是有效的。

与实施例4相比，中间缓冲器052可以具有更小的容量并且位置控制器不是必需的；因此本配置在降低成本方面是有效的。

当以更小的单位执行场划分时，例如当一个MB被划分成16×8像素的单位时，在场划分器054之内两个MB行的延迟变得不必要；因此，本配置在实现更降低的延迟和更小的缓冲器容量方面是有效的。

说明实施例5的修改示例。根据实施例5的修改示例的图片编码设备的整个配置与图19所示的配置示例相同，并且包括输入图片提供设备101、编码设备Eb(501)和输出控制设备104。在修改示例中，编码设备的符号从Ea(500)变化为Eb(501)。

图29是示出了根据实施例5的图片编码设备的另一个配置示例的框图。

除了图26所示的编码设备Ea(500)的配置之外，编码设备Eb(501)包括切换场划分器054的输出的存储目的地的开关058和切换两个编码器(050和051)的输出目的地的开关059。输入控制器053控制这些开关。其它配置与图26所示的编码设备Ea(500)的配置相同，因此省略其说明。

说明编码设备Eb(501)的操作。

图30是示出了在场划分之后在图片的编码中编码设备Eb(501)的操作的说明图。在图中，与图27相比，添加了开关058和开关059。开关058可以选择性地在位置A和位置B之间切换。在位置A中，由场划分器054划分的顶部场作为第一场MB馈送并且底部场作为第二场MB馈送。相反地，在位置B中，底部场作为第一场MB馈送并且顶部场作为第二场MB馈送。开关059可以选择性地在位置C和位置D之间切换。在位置C中，MB内编码器050的输出作为第一编码位串被馈送并且MB间编码器051的输出作为第二编码位串被馈送。相反地，在位置D中，MB内编码器050的输出作为第二编码位串被馈送并且MB间编码器051的输出作为第一编码位串被馈送。图30示出了选择开关058的对角路径(由粗线表示)的状态。在本状态中，场划分器054的输出的底部场作为第一场MB被馈送，并且顶部场作为第二场MB被馈送。分别地底部场经历场内编码并且顶部场经历场间编码。在那之后，由开关059的对角路径(由粗线表示)返回次序。

图31是示出了在编码中的场参考的方向的示例的说明图。通过以上进程，可以从底部场MB到顶部场MB执行参考，如图31所示。

图32是示出了在编码中的场参考的方向的另一个示例的说明图。通过自适应地执行开关058和开关059的切换，可以自适应地改变参考方向，如图32所示。

输出控制设备104以MB为单位多路复用第一编码位串和第二编码位串以创建并输出编码流。优选地在输出控制设备104中包括开关059的功能。

由场划分器054执行的场划分可以与根据实施例4的场划分器044执行的场划分相同。

处理单位可以是如上所述两个垂直的MB划分为场的单位，或可以是小于它的单位，例如一个MB被划分到的16×8像素的单位。在后一种情况下，在场划分器054之内两个MB行的延迟是不必要的，并且可以实现更低的延迟和更小的缓冲器容量。

如编码设备Ea(500)的情况，本配置示例在实现比现有图片内编码具有更好的编码效率的图片内编码方面是有效的。与实施例4相比，中间缓冲器052可以具有更小的容量并且位置控制器不是必需的；因此本配置在降低成本方面是有效的。当以更小的单位执行场划分时，例如当一个MB被划分成16×8像素的单位时，在场划分器054之内两个MB行的延迟变得不必要；因此，本配置在实现更降低的延迟和更小的缓冲器容量方面是有效的。

此外，可以在场块之间任意地改变参考方向。也就是说，可以将本配置示例应用到例如由H.264指定的MBAFF。

(实施例6)

<垂直方向的划分>

实施例4和5示出了一个帧的图片划分为两个场的配置，每个场由奇数像素行或偶数像素行组成，并且一个场的编码参考另一个场，从而实现输入图片存储器102的删除。但是，划分可以不一定以场或每像素行为单位。实施例6示出了帧在与像素行正交的垂直方向(列方向)被划分的示例。

根据实施例6的图片编码设备的整个配置与图19所示的配置示例相同，并且包括输入图片提供设备101和编码设备F(600)和输出控制设备104。在实施例6中，为了与其它实施例的编码设备区别，本编码设备的符号改变为F(600)。

图33是示出了根据实施例6的编码设备F(600)的配置示例的框图。输入图片提供设备101和输出控制设备104也示出在图中。

编码设备F(600)由I编码器060、P编码器061、位置控制器062、输入控制器063、图片垂直划分器064、中间缓冲器065、输入缓冲器066、第一MB缓冲器067-1和第二MB缓冲器067-2组成。I编码器060执行I图片编码、创建第一编码位串、将它输出到输出控制设备104、并将本地解码图片作为参考图片输出到中间缓冲器065。P编码器061参考存储在中间缓冲器065中的本地解码图片执行P-图片编码、创建第二编码位串、并将它输出到输出控制设备104。I编码器060和P编码器061不需要是仅仅用于相应的图片类型的编码器，并且二者可以是I/P/B编码器。

编码设备F(600)不同于根据实施例4的编码设备D(400)之处在于，代替场划分器044，编码设备F(600)包括在垂直方向上划分原始图片并且提供它的图片垂直划分器064。

说明图片的在垂直方向(列方向)上的划分。

图34和图35是图片的垂直划分的说明性图；图34示出了帧结构并且图35示出了垂直地划分的右列图片和左列图片。与图34所示的帧结构的图片相反，图35所示的垂直划分结构可以被划分为对于每个垂直列收集偶数(0、2、4、···)列的左列图片(第一图片)和收集奇数(1、3、5、···)列的右列图片(第二图片)。

说明根据实施例6的图片编码设备F的操作。以下说明当执行编码以使得每两个垂直划分的图片重复两个图片类型，I图片和P图片，像IPIPIP···时，图33所示的图片编码设备F的操作。

图36是示出了图片的垂直划分的说明图。从输入图片提供设备101输入的帧结构的原始图片被图片垂直划分器064划分为垂直划分结构，并且划分的原始图片作为I图片的第一场和P图片的第二场被交替地编码，如图36所示。

说明编码设备F(600)的场划分操作。

在图片垂直划分器064中，例如如下执行图片的垂直划分。假定逐行执行输入。假定一个MB由16行组成。场划分系统取决于输入形式并且不一定局限于以下。

(1)从输入图片提供设备101输入的像素行被存储在输入缓冲器066中。

(2)在一个MB的16行被存储在输入缓冲器066中之后，根据像素的列号的奇偶性，偶数列的目标MB位置的像素被存储在第一MB缓冲器067-1中，并且奇数列的目标MB位置的像素被存储在第二MB缓冲器067-2中。

(3)当16行已经积累在第一MB缓冲器067-1中时，可以将像素作为左列的MB输出。类似地，当16行已经积累在第二MB缓冲器067-2中时，可以将像素作为右列的MB输出。

(4)当16行的最后一个MB被输出到图片垂直划分器064时，16行可以被从输入缓冲器066删除。

可以通过改变偶数列的存储目的地和奇数列的存储目的地来将右列和左列中的任何一个设置为第一垂直划分的图片。

值得考虑的是，不提供输入缓冲器066，垂直划分的数据被直接存储在第一MB缓冲器067-1和第二MB缓冲器067-2中。在这种情况下，第一MB缓冲器067-1和第二MB缓冲器067-2分别具有至少等效于(图片宽度/2)×(16行)的容量。

说明编码设备F(600)的编码操作。

当输入一个帧的原始图片时，编码设备F(600)将它划分成两个垂直划分的图片，并且对于垂直划分的图片并行执行编码。

在I编码器060中，如下执行编码。

(1)第一图片的编码目标MB被从第一MB缓冲器067-1输入到I编码器060中。

(2)I编码器060通过图片内预测对于第一图片的目标MB执行I-图片编码，并将第一编码位串输出到输出控制设备104。随后，I编码器060创建本地解码图片并且将它存储在中间缓冲器065中。

在对于第一垂直划分的图片中的所有MB执行以上处理(1)-(2)之后，第一垂直划分的图片的编码完成。在P编码器061中，如下执行编码。

(3)第二垂直划分的图片的编码目标MB被从第二MB缓冲器067-2输入到P编码器061。

(4)P编码器061通过从由第二场的目标MB组成的参考区域X和I编码器060在第一中间缓冲器065中的本地解码图片进行图片间预测来执行P-图片编码，并将第二编码位串输出到输出控制设备104。

在对于第二垂直划分的图片中的所有MB执行以上处理(3)-(4)之后，第二垂直划分的图片的编码完成。

对于每两个垂直划分的图片并行执行I编码器060的处理(1)-(2)和P编码器061的处理(3)-(4)。

接着，说明位置控制器062的操作。

图37是根据实施例6的位置控制器062的控制的示例的说明图。在本说明中，为简单起见，如图11、图12和图15的情况，使用水平地由六个MB组成的图片(垂直划分的图片)，并且参考区域是2×2的4-MB区域，开始点与编码目标MB在相同位置。

图37示出了I编码器060、P编码器061、位置控制器062和中间缓冲器065。要被输入到I编码器060中的第一垂直划分的图片和要被输入到P编码器061中的第二垂直划分的图片分别连同MB一起显示。有阴影线的MB表示已经输入的MB，并且粗框的MB表示目前的编码目标MB。

第一垂直划分的图片的MB0-MB7已经被输入到I编码器060，编码已经完成，并且本地解码的MB0-MB7被存储在第二中间缓冲器065中。目前，I编码器060正在对于作为目标的MB8执行编码，并且表示“MB8处理中”的信息被通知到位置控制器062。

P编码器061已经将“针对MB0的处理请求”发送到位置控制器042，以便对于第二垂直划分的图片的MB8执行编码。位置控制器062管理P编码器061所需的参考区域X的数据是否就绪，并且通知P编码器061“等待指令”或“处理许可”。在图37所示的示例中，在P编码器061参考以用于MB0的编码的参考区域X(MB0/MB1/MB6/MB7)被从I编码器060写入第一中间缓冲器065之后，第一位置控制器062通过向P编码器061通知“处理许可”来使得P编码器061开始MB0的编码。在接收到“处理许可”时，P编码器061开始使用第二垂直划分的图片的MB0和参考区域X的(MB0/MB1/MB6/MB7)编码。

在实施例6中，提供将输入的原始图片的一个帧划分成两个垂直划分的图片的图片垂直划分器064。因此，可以删除输入图片存储器102并且消除对外部共享存储器的访问，如实施例4的情况。因此，本配置在极大地降低系统成本方面是有效的。不必要将原始图片从输入图片提供设备101存储在输入图片存储器102中一次。因此，本配置在极大地降低从输入到输出的处理延迟方面也是有效的。注意本实施例不局限于不设有输入图片存储器102的配置，而是可以提供输入图片存储器102，如图16的情况。

在实施例4中，在输入两个垂直的MB的输入图片之后完成图片的划分。相反地，在实施例6中，图片的划分所需的图片信息变为仅仅在输入在垂直方向上的一个MB的输入图片时就完成。因此，根据实施例4的输入缓冲器046需要等效于两个MB的行数的容量；但是，在实施例6中，编码设备F(600)的输入缓冲器066具有等效于一个MB的行数的容量就足够。因此，本配置不仅在降低成本而且在降低编码延迟方面是有效的。由于每个编码器处理的图片宽度被设置为一半，因此本配置还在降低用于存储编码中必需的外围块信息的行存储器方面是有效的。

通过控制I编码器060和P编码器061之间的处理位置，添加到编码设备F(600)内部的中间缓冲器065的容量不需要一个图片的缓冲器量并且可以被实现为仅仅具有最多几个MB行的量。P编码器可以从作为I编码的目标的第一场执行运动预测和运动补偿。另一方面，通过相同帧的划分创建第一垂直划分的图片和第二垂直划分的图片。因此，还可以执行假定不存在“运动”的编码。也就是说，可以考虑在P编码中不执行运动预测并且运动矢量总是被设置为0的实施方式。在这种情况下，中间缓冲器065的容量可以理论上被实现为具有两个MB。

<以更小单位的垂直图片划分>

在上述配置示例中，一个帧的图片被划分为两个垂直划分的图片，并且第二垂直划分的图片参考第一垂直划分的图片，从而实现输入图片存储器102的删除。在实施例6中，可以采用与实施例4对应的像实施例5的另一个配置。以下示出了另一个配置示例，其中垂直图片划分以更小的单位(例如，两个水平MB)执行，利用一个划分块参考另一个划分块执行通过内插处理的编码，并且执行以划分块为单位的多路复用以构成一个图片的编码流。

根据本配置的图片编码设备的整个配置与图19所示的配置示例相同，并且包括输入图片提供设备101、编码设备Fa(601)和输出控制设备104。在本配置示例中，不必提供输入图片存储器102，如图33所示的配置示例的情况。但是，本配置不局限于不提供输入图片存储器102的配置，但是它可以采用提供输入图片存储器102的配置，如图16所示。

图38是示出了作为实施例6的另一个配置示例的编码设备Fa(601)的框图。输入图片提供设备101和输出控制设备104也示出在图中。

编码设备Fa(601)包括MB内编码器060、MB间编码器061、输入控制器063、图片垂直划分器064、中间缓冲器065、输入缓冲器066、第一MB缓冲器067-1和第二MB缓冲器067-2。输入缓冲器066存储从输入图片提供设备101输入的帧结构的原始图片一次。通过输入控制器063的控制，图片垂直划分器064在列方向(垂直方向)将存储在输入缓冲器066中的帧结构的原始图片划分成第一块和第二块，并且经由第一MB缓冲器067-1和第二MB缓冲器067-2将它们提供到编码器(MB内编码器060和MB间编码器061)中的任何一个。MB内编码器060执行第一块的图片内编码、创建第一编码位串、将它输出到输出控制设备104、并将本地解码图片作为参考图片输出到中间缓冲器065。MB间编码器061参考存储在中间缓冲器065中的本地解码图片执行图片间编码、创建第二编码位串、并将它输出到输出控制设备104。

图片的在垂直方向(列方向)上的划分与上述说明相同，帧结构如图34所示，并且在垂直划分之后的右列图片和左列图片是图35所示的那些。

图39和图40是示出了以MB为单位执行图片的相似的垂直划分的情况的说明性图。图39示出了帧结构的MB对，并且图40示出了垂直划分结构的MB对。帧结构的MB对是两个MB，每个作为编码的单位，在水平方向邻接，如图39所示。图40所示的垂直划分结构MB对可以被划分为对于每个垂直列收集偶数列的左列(第一MB)和收集奇数列的右列(第二MB)。这里，如图39和图40所示，通过将图片的垂直划分的单位设置为水平地对准的两个MB，可以删除编码设备中的位置控制器。图38所示的编码设备Fa(601)采用本划分方法以删除位置控制器。

说明编码设备Fa(601)的操作。

图41是示出了在垂直划分的图片的编码中的操作的说明图。该图示出了图片垂直划分器064、MB内编码器060、MB间编码器061和中间缓冲器065。该图还示出了输入到图片垂直划分器064中的帧结构的MB对、以及在垂直划分之后的第一MB和第二MB。被输入到图片垂直划分器064中的帧结构的MB对是在帧中在水平(横向)方向上互相邻接的两个MB。MB是MB内编码器060和MB间编码器061的编码的处理单位。MB由多个像素列构成。图片垂直划分器064将帧结构的MB对(两个水平的MB)划分成第一MB和第二MB，并且将它们分别输入到MB内编码器060和MB间编码器061。第一MB是仅仅从例如帧结构的MB对的偶数列重构的左列块，并且第二MB是仅仅从例如帧结构的MB对的奇数列重构的右列块。它们的大小分别是一个MB。MB内编码器060编码第一场MB并且同时将本地解码的MB存储在中间缓冲器065中。MB间编码器061利用作为参考MB的中间缓冲器065通过图片间编码技术编码第二场MB。输出控制设备104以MB为单位多路复用第一编码位串和第二编码位串以构成并输出编码流。

说明编码设备Fa(601)对图片的垂直划分操作。

在图片垂直划分器064中，例如如下执行图片的垂直划分。假定逐行执行输入。假定一个MB由16行构成。场划分系统取决于输入形式并且不一定局限于以下。

(1)从输入图片提供设备101输入的像素行被存储在输入缓冲器066中。

(2)在一个MB的16行被存储在输入缓冲器066中之后，根据像素的列数的奇偶性，偶数列的目标MB位置的像素被存储在第一MB缓冲器067-1中，并且奇数列的目标MB位置的像素被存储在第二MB缓冲器067-2中。

(3)当16行已经积累在第一MB缓冲器067-1中时，可以将像素作为左列的MB输出。类似地，当16行已经积累在第二MB缓冲器067-2中时，可以将像素作为右列的MB输出。

(4)当16行的最后一个MB被输出到图片垂直划分器064时，16行可以被从输入缓冲器066删除。

处理单位可以是两个水平的MB对于每个右列和左列划分为第一MB和第二MB的单位，或可以是小于它的单位，例如一个MB被划分到的8×16像素的单位。

在根据本配置示例的编码设备Fa(601)中，图片被垂直划分，并且划分的块之一的编码利用通过参考划分的块中的另一个的编码创建的参考图片进行内插处理来执行。

本配置示例在实现比现有图片内编码具有更好的编码效率的图片内编码方面是有效的。另外，与图33所示的编码设备F(600)相比，中间缓冲器062可以具有更小的容量，并且位置控制器不是必需的；因此本配置在降低成本方面是有效的。由于图片宽度被设置为一半，因此本配置还在降低用于存储编码中必需的外围块信息的行存储器方面是有效的。

在实施例5中，在输入两个垂直的MB的输入图片之后完成图片的划分。相反地，在本配置示例中，图片的划分所需的图片信息变为仅仅在输入在垂直方向上的一个MB的输入图片时就完成。因此，根据实施例5的输入缓冲器055需要等效于两个MB的行数的容量；但是，在本配置示例中，对于编码设备Fa(601)的输入缓冲器066，一个MB的行数就足够。因此，本配置不仅在降低成本而且在降低编码延迟方面是有效的。

说明进一步另一个修改示例。根据本修改示例的图片编码设备的整个配置与图19所示的配置示例相同，并且包括输入图片提供设备101和编码设备Fb(602)和输出控制设备104。在本修改示例中，编码设备的符号从Fa(601)变化为Fb(602)。

图42是示出了根据实施例6的图片编码设备的进一步另一个配置示例的框图。

除了图38所示的编码设备Fa(601)的配置之外，编码设备Fb(602)包括切换图片垂直划分器064的输出的存储目的地的开关068和切换两个编码器(060和061)的输出目的地的开关069。输入控制器063控制这些开关。其它配置与图38所示的编码设备Fa(601)的配置相同，因此省略其说明。

说明编码设备Fb(602)的操作。在编码设备Fa(601)中，左列MB和右列MB中的一个被输入到MB内编码器060和MB间编码器061中的一个中，并且一方的编码参考另一方的本地解码图片的参考方向是固定的。相反地，在编码设备Fb(602)中，可以对于每两个MB翻转参考方向或自适应地改变它。在编码设备Fb(602)中，利用添加的开关068和069实现参考方向的改变。开关068可以选择性地在位置A和位置B之间切换。在位置A中，图片垂直划分器064划分的左列MB作为第一MB馈送并且右列MB作为第二MB馈送。相反地，在位置B中，右列MB作为第一MB馈送并且左列MB作为第二MB馈送。开关069可以选择性地在位置C和位置D之间切换。在位置C中，MB内编码器060的输出作为第一编码位串被馈送并且MB间编码器061的输出作为第二编码位串被馈送。相反地，在位置D中，MB内编码器060的输出作为第二编码位串被馈送并且MB间编码器061的输出作为第一编码位串被馈送。

图43-图45是示出了在垂直划分的图片的编码中参考方向的示例的说明性图。图43示出了典型示例，其中左列MB作为第一MB馈送并且被MB内编码器060编码，并且右列MB作为第二MB馈送并且被MB间编码器061参考左列MB的本地解码图片编码。图44示出了相反地右列MB的本地解码图片被在左列MB的编码中参考的示例。图45示出了每两个MB自适应地切换参考方向的示例。

如编码设备Fa(601)的情况，编码设备Fb(602)垂直地划分图片，并且参考通过划分的块中的另一个的编码创建的参考图片进行内插处理来执行划分的块中的一个的编码。本配置示例在实现比现有图片内编码具有更好的编码效率的图片内编码方面也是有效的。与图33所示的编码设备F(600)相比，中间缓冲器065可以具有更小的容量，并且位置控制器不是必需的；因此本配置在降低成本方面是有效的。由于图片宽度被设置为一半，因此本配置还在降低用于存储编码中必需的外围块信息的行存储器方面是有效的。这点也与编码设备Fa(601)的相同。

此外，通过采用编码设备Fb(602)的配置，可以实现如上所述的每两个MB自适应地切换参考方向的编码方法。也就是说，当采用由H.264指定的MBAFF由水平转置到垂直的块结构时，利用从右列MB到左列MB的参考执行通过内插处理的编码(图43)。也可以利用从左列MB到右列MB的参考执行编码(图44)，并且此外还可以在图片中共存两个参考方向(图45)。

(实施例7)

<多视图编码>

图46是示出了根据实施例7的图片编码设备的整个配置的示例的框图。图46是实施例1的配置应用于多视图编码方法的示例。

根据实施例7的图片编码设备的整个配置包括提供第一视图的原始图片的第一输入图片提供设备701、提供第二眼睛的原始图片的第二输入图片提供设备702、输入图片存储器102、编码设备Ga(700)、参考帧存储器103和输出控制设备104。第一输入图片提供设备701和第二输入图片提供设备702提供多视图原始图片作为编码目标，并且通过诸如用于机载环绕视图监视器的多视图照相机之类的成像设备示范。输入图片存储器102存储从第一输入图片提供设备701和第二输入图片提供设备702提供的原始图片。参考帧存储器103存储诸如本地解码图片之类的参考图片。虽然输入图片存储器102和参考帧存储器103在图中被显示为单独的存储器，但是它们可以被实施为一个存储器。例如，通过地址映射方案，它们可以被实施在整个系统共享的外部SDRAM中。编码设备Ga(700)依照指定的多视图编码方法编码作为编码目标的原始图片。根据编码的单位和编码的次序，从输入图片存储器102读取原始图片并且编码。诸如在处理中创建的本地解码图片之类的参考图片被存储在参考帧存储器103中。在编码过程中必需的参考图片被从参考帧存储器103读取以用于参考。编码设备Ga(700)输出作为编码的结果的多个编码位串，并且输出控制设备104从这些编码位串创建多视图编码流。图46示出了第一编码位串和第二编码位串；但是优选的是采用创建并输出更多编码位串的配置。

图47是示出了图46所示的编码设备Ga(700)的配置示例的框图。为了方便说明，图中也示出了第一输入图片提供设备701、第二输入图片提供设备702、输入图片存储器102、参考帧存储器103和输出控制设备104。该图示出了典型的状态，其中作为原始图片，主图片0、1、···、n-1、n、···和副图片0、1、···、n-1、n、···(n是任意自然数)被存储在输入图片存储器102中，并且参考帧X和Y被存储在参考帧存储器103中。

编码设备Ga(700)包括基本视图编码器071、视图间编码器072、输入控制器073、开关074、第三中间缓冲器075、第一中间缓冲器076和位置控制器077。基本视图编码器071编码主图片，并且视图间编码器072编码副图片。输入控制器073控制开关074、从输入图片存储器102读取原始图片、并且将它提供到基本视图编码器071和视图间编码器072。基本视图编码器071将在编码中创建的参考图片写入参考帧存储器103并且同时将它临时存储在第一中间缓冲器076中。第三中间缓冲器005临时存储从参考帧存储器103合适地读取的参考图片(参考帧)。当编码副图片时，视图间编码器072参考第一中间缓冲器076，但是不参考第三中间缓冲器075，与实施例1不同。

本实施例的说明示出了由一个副图片组成的两个视图的示例。但是可以采用由两个或更多个副图片组成的多视图的配置。该情况可以通过添加视图间编码器072和位置控制器077的组实现。

说明编码设备Ga(700)的操作。

基本视图编码器071执行使用参考帧存储器103的普通的多视图编码的基本视图编码。在那种情况下，本地解码的MB被存储在第一中间缓冲器076中。视图间编码器072参考第一中间缓冲器076的本地解码的MB编码副图片。

编码设备Ga(700)并行编码每两个图片，即一组主图片和副图片。

在基本视图编码器071中，如下执行编码。

(1)主图片(n)的编码目标MB被从输入图片存储器102输入到基本视图编码器071。

(2)要被用于基本视图编码的参考区域X被从参考帧存储器103中的参考帧X输入到第三中间缓冲器075。

(3)基本视图编码器071从主图片(n)MB和第三中间缓冲器075中的参考区域X执行基本视图编码，并将第一编码位串输出到输出控制设备104。随后，基本视图编码器071创建本地解码的MB并且将它写入第一中间缓冲器076。

(4)存储在第一中间缓冲器076中的本地解码的MB被写入参考帧存储器103，准备在后续基本视图编码中用作参考帧。

在对于主图片(n)中的所有MB执行以上处理(1)-(4)之后，一个图片的基本视图编码完成。这里的基本视图编码可以包括每个图片的I/P编码。当编码I图片时，在步骤(3)中基本视图编码器071不参考第三中间缓冲器075中的参考区域X。

在视图间编码器072中，如下执行编码。

(5)副图片(n)的编码目标MB被从输入图片存储器502输入到视图间编码器072。

(6)视图间编码器072通过从副图片(n)MB和由第一中间缓冲器076中的主图片的本地解码的MB组成的参考区域Y进行视图间预测来执行视图间编码，并将第二编码位串输出到输出控制设备104。

在对于副图片(n)中的所有MB执行以上处理(5)-(6)之后，一个图片的副图片编码完成。这里视图间编码仅仅使用参考主图片的视图间预测或图片内预测执行编码。

对于一组主图片(n)和副图片(n)并行执行基本视图编码器071的处理(1)-(4)和视图间编码器072的处理(5)-(6)。

由于第三中间缓冲器075的数据不被视图间编码器072使用并且可以根据基本视图编码器071的处理被删除。根据基本视图编码器071的配置，第三中间缓冲器075可以被省略。参考帧存储器103可以被类似地省略。例如，当基本视图编码器071仅仅执行I图片的编码时，第三中间缓冲器和参考帧存储器不是必需的。

位置控制器077执行基本视图编码器071和视图间编码器072的处理位置的同步控制。基本视图编码器071输出“处理位置”、视图间编码器072输出“处理请求”、并且位置控制器077向视图间编码器072通知“等待指令”或“处理许可”。控制系统与在实施例1中参考图11和图12说明的方法相同。

在本配置中，视图间编码器072利用第一中间缓冲器076和位置控制器077，参考基本视图编码器071的本地解码的MB编码副图片。因此，可以使得在编码副图片时不访问参考帧存储器103。因此，本配置在降低对参考帧存储器103的存储器容量和存储器带方面是有效的。还可以与基本视图编码并行地执行视图间编码。因此，本配置在降低编码延迟方面是有效的。

<实施例7的修改示例；应用于实施例4的多视图编码方法>

图48是示出了根据实施例7的图片编码设备的整个配置的另一个示例的框图。图48是将实施例4的配置应用于多视图编码方法的示例。

图48所示的图片编码设备的整个配置包括第一输入图片提供设备701、第二输入图片提供设备702、编码设备Gb(703)和输出控制设备104。不同于图46所示的图片编码设备，图48所示的本图片编码设备不设有输入图片存储器102和参考帧存储器103，并且作为编码目标的原始图片数据被从第一输入图片提供设备701和第二输入图片提供设备702直接地输入到编码设备Gb(703)中。

图49是示出了图48所示的编码设备Gb(703)的配置示例的框图。与图47所示的编码设备Ga(700)的配置相比，省略第三中间缓冲器075。开关074动作以使得第一输入图片提供设备701将主图片直接输入到基本视图编码器071中并且第二输入图片提供设备702将副图片直接输入到视图间编码器072中。输入控制器073和开关074可以被简化或可以被省略。从第一中间缓冲器到参考帧存储器没有输出。

图49所示的配置示例用于具有一个副图片的两个视图。但是可以采用由两个或更多个副图片组成的多视图的配置。该情况可以通过添加视图间编码器072和位置控制器077的组实现。

说明编码设备Gb(703)的操作。

基本视图编码器071执行多视图编码的基本视图编码，不使用参考帧存储器103。也就是说，编码是仅仅执行图片内预测的仅仅I-图片编码。在那种情况下，本地解码的MB被存储在第一中间缓冲器076中。视图间编码器072参考第一中间缓冲器076的本地解码的MB编码副图片。

编码设备Gb(703)并行编码每两个图片，即一组主图片和副图片。

在基本视图编码器071中，如下执行编码。

(1)主图片(n)的编码目标MB被从第一输入图片存储器701输入到基本视图编码器071。

(2)基本视图编码器071对于主图片(n)执行基本视图编码并将第一编码位串输出到输出控制设备104。随后，基本视图编码器071创建本地解码的MB并且将它存储在第一中间缓冲器076中。

在对于主图片(n)中的所有MB执行以上处理(1)-(2)之后，一个图片的基本视图编码完成。这里的基本视图编码是I图片的编码。

在视图间编码器072中，如下执行编码。

(3)副图片(n)的编码目标MB被从第二输入图片提供设备702输入到视图间编码器072。

(4)视图间编码器072通过从副图片(n)MB和由第一中间缓冲器074中的主图片的本地解码的MB组成的参考区域Y进行视图间预测来执行视图间编码，并将第二编码位串输出到输出控制设备104。

在对于副图片(n)中的所有MB执行以上处理(3)-(4)之后，一个图片的副图片编码完成。这里视图间编码仅仅使用参考主图片的视图间预测或图片内预测执行编码。

对于一组主图片(n)和副图片(n)并行执行基本视图编码器071的处理(1)-(2)和视图间编码器072的处理(3)-(4)。

位置控制器077执行基本视图编码器071和视图间编码器072的处理位置的同步控制。控制方法与在上述编码设备Ga(700)中的位置控制器077的控制方法相同。

如上所述，在由编码设备Gb(703)示出的实施例7的修改示例中，视图间编码器072利用第一中间缓冲器076和位置控制器077，参考基本视图编码器071的本地解码的MB编码副图片。由于直接从第一输入图片提供设备701和第二输入图片提供设备702输入原始图片，并且通过将基本视图编码器071限制到图片内编码，不使用输入图片存储器102和参考帧存储器103。

根据本配置，可以在多视图编码时省略输入图片存储器102和参考帧存储器103。因此，本配置在降低系统成本方面是有效的。

另外，可以并行执行基本视图编码和视图间编码。因此，本配置在降低编码延迟方面是有效的。

<实施例7的进一步修改示例；基视图编码包括B图片>

编码设备Ga(700)的基本视图编码器071执行I图片和P图片的编码，并且编码设备Gb(703)的基本视图编码器071仅仅编码I图片。但是，可以采用基本视图编码器071除了执行I图片和P图片的编码之外还执行B图片的编码的配置。在目前的情况下，输入用于主图片的两个图片和用于副图片的两个图片，总共四个图片，基本视图编码器071的部分被替换为I/P编码器和B编码器的组，如实施例1的情况，视图间编码器072的部分被替换为参考I/P编码器的输出的编码器和参考B编码器的输出的编码器的组，从而实现该配置。以下说明基于这样的构思的技术配置的编码设备Gc(704)的配置示例。

图50是示出了编码设备Gc(704)的配置的框图。

编码设备Gc(704)包括输入控制器073、开关074、I/P基本视图编码器071-1、B基本视图编码器071-2、第一视图间编码器072-1、第二视图间编码器072-2、第一中间缓冲器076-1、第二中间缓冲器076-2、第三中间缓冲器075、和位置控制器077-1、位置控制器077-2和位置控制器077-3。

输入控制器073控制开关074以分别将主图片(2n)和(2n-1)提供到I/P基本视图编码器071-1和B基本视图编码器071-2，并且将副图片(2n)和(2n-1)分别提供到第一视图间编码器072-1和第二视图间编码器072-2。

I/P基本视图编码器071-1、B基本视图编码器071-2、第一中间缓冲器076-1、第三中间缓冲器075、和位置控制器077-1分别对应于根据实施例1的编码设备A(100)的I/P编码器001、B编码器002、第一中间缓冲器006、第三中间缓冲器005和位置控制器007。操作与在实施例1中说明的编码设备A(100)的操作相同。对主图片，执行编码以使得一个B图片可以在I图片或P图片之间输入，像例如IBPBPB。I/P基本视图编码器071-1和B基本视图编码器071-2分别输出第一编码位串和第二编码位串。

主图片(2n)的本地解码图片被临时存储在第一中间缓冲器076-1中，在主图片(2n-1)的B-图片编码中被参考并且还提供给第一视图间编码器072-1。B基本视图编码器071-2编码的主图片(2n-1)的本地解码图片被临时存储在第二中间缓冲器076-2中，并且提供给第二视图间编码器072-2。第一视图间编码器072-1参考主图片(2n)的本地解码图片执行副图片(2n)的编码，并输出第三编码位串。此时，关于作为处理目标的MB的处理请求和处理许可被位置控制器077-2控制。第二视图间编码器072-2参考主图片(2n-1)的本地解码图片执行副图片(2n-1)的编码，并输出第四编码位串。此时，关于作为处理目标的MB的处理请求和处理许可被位置控制器077-3控制。

也在多视图编码中，通过上述配置，可以执行包括基本视图中的B图片的编码；因此可以提高编码效率和图像质量。

以上说明基本视图编码与实施例1所示的编码设备组合的配置示例。但是，可以与实施例2、3、4、5和6所示的各种编码设备组合。例如，如果组合实施例3、4、5和6所示的各种编码设备，则可以构成不需要对参考帧存储器的访问的多视图编码设备，如图45和图49的情况。

(实施例8)

<图像解码设备>

对上面描述的实施例的每一个中所示的各个图片编码设备，可以配置和提供基于构思的相同技术的与每一个对应的图片解码设备。

(实施例8a)

<与实施例1对应的图片解码设备>

说明与实施例1对应的图片解码设备的配置示例。在安装解码设备的系统中，当I/P图片之间的B图片的数目以及B图片的参考区域限于固定范围的事实预先已知时，可以使用本实施例的解码设备。例如，可以考虑诸如所谓的自动记录和重放系统的情况。

图51是示出了根据实施例8a的图片解码设备的整个配置示例的框图。

根据实施例8a的图片解码设备的整个配置包括输入控制设备801、输入代码存储器802、参考帧存储器803、解码设备Ha(800)和图片处理设备804。输入控制设备801将例如从诸如网络之类的传输线输入的编码流写入输入代码存储器802。输入代码存储器802存储输入的编码流，并且参考帧存储器803存储参考帧。解码设备Ha(800)从输入代码存储器802读取编码流、参考存储在参考帧存储器803中的参考帧执行解码、并且创建并输出多个解码图片。图片处理设备804对于解码设备Ha(800)输出的两个或更多个解码图片执行重构处理。输入代码存储器802和参考帧存储器803分配给例如系统共享的外部SDRAM。

图52是示出了根据实施例8a的解码设备Ha(800)的配置示例的框图。输入控制设备801、输入代码存储器102、参考帧存储器103和图片处理设备804也示出在图中。输入代码存储器802和参考帧存储器803示意地示出了代码流0、1、···、2n-1、2n、···、以及参考帧X和Y被分别存储。

解码设备Ha(800)包括I/P解码器081、B编码器082、输入控制器083、开关084、第三中间缓冲器085、第一中间缓冲器086和位置控制器087。I/P解码器081解码I图片或P图片，并且B解码器082解码B图片。输入控制器083控制开关084并且从输入代码存储器802读取代码流并且将它提供到I/P解码器081和B解码器082。I/P解码器081解码I图片或P图片、并将第一解码图片输出到图片处理设备804、将在解码过程中创建的参考帧写入参考帧存储器803并且同时将它临时存储在第一中间缓冲器086中。第三中间缓冲器085临时存储从参考帧存储器803合适地读取的参考帧。当I/P解码器081解码P-图片时，参考存储在第三中间缓冲器085中的参考帧。B解码器082参考临时存储在第一中间缓冲器086中的参考帧和存储在第三中间缓冲器085中的参考帧、解码B图片、并将第二解码图片输出到图片处理设备804。位置控制器087控制I/P解码器081和B解码器082的处理位置，即在解码中作为处理目标的图片的位置。

I/P解码器081不需要是仅仅执行I-图片解码和P-图片解码的解码器，但是它可以被替换为执行包括B-图片解码的解码的I/P/B解码器。类似地，B解码器082不需要是仅仅执行B-图片解码的解码器，而是它可以被替换为I/P/B解码器。

B解码器的数目可以不是一个。通过安装N片B解码器，可以将两个P图片(或I图片)之间的B图片的数目设置为N片。在那种情况下，用作输入的参考区域X和参考区域Y可以共享第一中间缓冲器085和第二中间缓冲器086。

说明解码设备Ha(800)的操作。在本实施例中，假定解码其中一个B图片输入在I图片或P图片之间的编码流，诸如IBPBPB···。

假定编码流按照发送次序被存储在输入代码存储器802中。编码流是二进制位流。不存在图片的中断；但是，为了方便起见，对于图片示出了诸如代码流0、代码流1、···、代码流(2n-1)、代码流(2n)。

通过输入控制器083和开关084，I图片或P图片的代码流被输入到I/P解码器081中，并且B图片的代码流被输入到B解码器082中，并且并行执行解码。通过搜索构成代码流的位串的首标可以做出I/P/B的确定。

解码设备Ha(800)并行解码两个图片。

I/P解码器081如下执行解码。

(1)I/P的代码流被输入到I/P解码器081中。

(2)为了解码代码流必需的参考区域X被从参考帧存储器803中的参考帧X输入到第三中间缓冲器085中。与解码一起决定必需的参考区域。

(3)I/P解码器081从第一代码流和参考区域X执行I-图片解码或P-图片解码，并将第一解码图片输出到图片处理设备804。随后，解码图片被存储在第一中间缓冲器086中。

(4)存储在第一中间缓冲器086中的解码图片被写入参考帧存储器803的参考帧Y，准备在后续解码中用作参考帧。

在对于第一代码流的所有MB执行以上处理(1)-(4)之后，一个图片的解码完成。当执行I-图片解码时，通过(3)中的图片内预测执行I-图片解码。此时，不使用第一中间缓冲器085中的参考区域X。

在B解码器082中，如下执行解码。

(5)B的代码流被输入到B解码器082中。

(6)B解码器082通过从第一代码流、第三中间缓冲器085中的参考区域X、和由第一中间缓冲器086中的解码图片构成的参考区域Y进行图片间预测来执行B-图片解码，并将第二解码图片输出到图片处理设备804。

在对于第二代码流的所有MB执行以上处理(5)-(6)之后，一个图片的解码完成。

并行执行I/P解码器081的处理(1)-(4)和B解码器082的处理(5)-(6)(两图片并行解码)。

位置控制器087同步I/P解码器081和B解码器082的处理位置。I/P解码器081输出“处理位置”、B解码器082输出“处理请求”、并且位置控制器087向B解码器082通知“等待指令”或“处理许可”。本控制与在实施例1中参考图11和图12说明的方法相同。此时，必要的是参考区域的最大范围是固定的。

如上所述，解码设备Ha(800)利用第一中间缓冲器086和位置控制器087，通过B解码器082参考I/P解码器081的解码的MB解码B图片。根据此配置，当I/P图片之间的B图片的数目以及B图片的参考区域限于固定范围的事实预先已知时，在B图片解码中不需要访问参考帧存储器803。因此，本配置在降低参考帧存储器803的存储器容量和存储器带方面是有效的。

(实施例8b)

<与实施例3对应的图片解码设备>

本实施例是实施例2、实施例3和实施例4的应用。这里，说明与实施例3对应的图片解码设备的配置示例。

在安装解码设备的系统中，当预先已知I图片和P图片被交替地编码(诸如IPIPIP···)，以及P图片的参考区域限于固定范围时，可以使用根据本实施例的解码设备。例如，可以考虑使用根据实施例3的编码设备C(300)的自动记录和重放系统之类的情况。

图53是示出了根据实施例8b的图片解码设备的整个配置的示例的框图。

根据实施例8b的图片解码设备的整个配置包括输入控制设备801、解码设备Hb(810)和图片处理设备804。输入控制设备801和图片处理设备804与上面参考图51描述的相同；因此省略其说明。实施例8b不同于实施例8a在于，不提供输入代码存储器802和参考帧存储器803。代码流被从输入控制设备801直接提供到解码设备Hb(810)，并且解码设备Hb(810)执行解码，不使用参考帧存储器803。

图54是示出了根据实施例8b的解码设备Hb(810)的配置示例的框图。该图中也示出了输入控制设备801和图片处理设备804。

解码设备Hb(810)包括I解码器088、P解码器089、输入控制器083、开关004、中间缓冲器086和位置控制器087。I解码器088解码I图片，并且P解码器089解码P图片。输入控制器083控制开关084以将第一代码流和第二代码流从输入控制设备801分别直接提供给I解码器088和P解码器089。I解码器088解码I图片、将第一解码图片输出到图片处理设备804、将在解码过程中创建的参考帧临时存储在中间缓冲器086中。从第一中间缓冲器086到参考帧存储器没有输出。P解码器089参考临时存储在中间缓冲器086中的参考帧解码P图片，并将第二解码图片输出到图片处理设备804。位置控制器087控制I解码器088和P解码器089的处理位置，即在解码中处理目标的图片的位置。

本实施例的说明示出了其中输入控制设备801单独地输入第一代码流和第二代码流的示例；但是，可以采用输入控制器083和开关084分开它们的配置。

I解码器088不需要是仅仅执行I-图片解码的解码器，而是它可以被替换为I/P/B解码器或I/P解码器。类似地，P解码器089不需要是仅仅执行P-图片解码的解码器，而是它可以被替换为I/P/B解码器或I/P解码器。

例如，当编码次序固定时，诸如IBPIBPIBP···，并且当预先已知P图片和B图片的参考区域限于固定范围时(例如使用根据实施例2的编码设备B(200)的自动记录和重放系统)，可以通过添加B解码器、与其相关的第二中间缓冲器和第二位置控制器实现对应的图片解码设备。

类似地可以实现与诸如IPIP···之类的场结构的代码流对应的图片解码设备(例如，使用根据实施例4的编码设备D(400)的自动记录和重放系统)。

说明解码设备Hb(810)的操作。在本实施例中，假定解码其中I图片和P图片交替地存在的编码流(诸如IPIP···)。

解码设备Hb(810)并行解码两个图片。

在I解码器088中，如下执行解码。

(1)I-图片代码流(第一代码流)被输入到I解码器088中。

(2)I解码器088从第一代码流执行I-图片解码，并将第一解码图片输出到图片处理设备804。随后，I解码器088将解码图片存储在中间缓冲器086中。

在对于第一代码流的所有MB执行以上处理(1)-(2)之后，一个图片的解码完成。

在P解码器089中，如下执行解码。

(3)P-图片代码流(第二代码流)被输入到P解码器089中。

(4)P解码器089通过从第二代码流和由在第二中间缓冲器084中的解码图片构成的参考区域进行图片间预测来执行P-图片解码，并将第二解码图片输出到图片处理设备804。

在对于第二代码流的所有MB执行以上处理(3)-(4)之后，一个图片的解码完成。

并行执行I解码器088的处理(1)-(2)和P解码器089的处理(3)-(4)(两图片并行解码)。

位置控制器087同步I解码器088和P解码器089的处理位置。控制方法与实施例8a中的相同。此时，必要的是参考区域的最大范围是固定的。

如上所述，解码设备Hb(810)利用中间缓冲器086和位置控制器087，通过P解码器082参考I解码器088的解码的MB解码P图片。当I图片和P图片被交替地编码时，诸如IPIPIP···，并且当预先已知P图片的参考区域限于固定范围时，不必访问参考帧存储器803。因此，本配置在降低系统成本方面是有效的。

实施例8说明与实施例1-4所示的编码设备对应的图片解码设备。但是，可以基于构思的相同技术实现与其它实施例所示的编码设备对应的图片解码设备。

(实施例9)

<图片通信系统>

图片通信系统可以通过在发送器、接收器或二者中安装根据上面描述的实施例的图片编码设备和图片解码设备来配置。

图55是示出了根据实施例9的图片通信系统的整个配置的示例的框图。

发送器1000和接收器1001经由传输线1002耦接。发送器1000由实施例1所示的输入图片提供设备101、编码设备A(100)和输出控制设备104组成。输出控制设备104包括存储第一编码位串一次的第一输出缓冲器010、存储第二编码位串一次的第二输出缓冲器011和选择要发送的位串的开关012。接收器1001由包括输入缓冲器830的输入控制设备801、通用解码设备805和图片处理设备804组成。

作为发送器1000中的编码设备，描述实施例1所示的编码设备A(100)。但是，通过采用根据实施例2的编码设备B(200)、根据实施例3的编码设备C(300)或根据实施例4的编码设备D(400)，相似的系统配置是可能的。在该图中省略了输入帧存储器102和参考帧存储器103。

发送器1000缓冲分别由编码设备A(100)输出的第一编码位串和第二编码位串，并以图片的单位交替地输出它们，从而实现依照编码标准的编码流的传输。当编码设备是根据实施例4的编码设备D(400)时，输出变为交织的编码流。

在接收器1001中，编码流被输入缓冲器830缓冲一次并且被通用解码设备805解码。图片处理设备804由图像显示器装置示范，但是可以采用任何种类的图像处理设备。

根据实施例9的发送器1000以图片为单位交替地发送编码设备A(100)、编码设备B(200)、编码设备C(300)或编码设备D(400)的输出。本实施例在降低发送侧的存储器访问方面是有效的。此外，接收侧不需要任何特殊的设备，并且可以由依照编码标准的现有通用解码设备组成。

(实施例10)

<图片通信系统>

图56是示出了根据实施例10的图片通信系统的整个配置的示例的框图。

如图55所示的图片通信系统的情况，发送器1100和接收器1101经由传输线1002耦接。发送器1100由输入图片提供设备101、编码设备A(100)和输出控制设备104组成。接收器1101由输入控制设备801、通用解码设备805和图片处理设备804组成。在发送器1100中，输出控制设备104由代替开关012的多路复用器013组成，并且在接收器1101中，输入控制设备801由解多路复用器833、第一输入缓冲器831、第二输入缓冲器832和开关834组成。上面描述的不同于图55所示的图片通信系统。

作为根据实施例10的发送器1100中的编码设备，采用实施例1所示的编码设备A(100)，如实施例9的情况。但是，通过采用根据实施例2的编码设备B(200)、根据实施例3的编码设备C(300)或根据实施例4的编码设备D(400)，相似的系统配置是可能的。在该图中省略输入帧存储器102和参考帧存储器103。

在发送器1100的输出控制设备104中的多路复用器013以图片中更精细的单位多路复用由编码设备输出的第一编码位串和第二编码位串，并且发送它们。作为多路复用的单位，可以采用诸如由编码标准指定的分片之类的单位，或可以采用唯一地更小的单位。

在接收器1101的输入控制设备801中的多路解复用器833以与发送器1100的多路复用器013使用的单位相同的单位执行解多路复用，并且恢复第一编码位串和第二编码位串。恢复的第一编码位串和第二编码位串由开关834选择以使得它可以变为编码标准流，并且提供给通用解码器805。

根据实施例10的发送器1100以图片中更精细的单位多路复用编码设备A(100)、编码设备B(200)、编码设备C(300)或编码设备D(400)的输出，并且发送它，并且接收器1101重构并且解码成编码标准流。本实施例具有以下效果。也就是说，可以减少发送器1100的第一输出缓冲器010和第二输出缓冲器011的容量；因此，本配置在降低发送侧的输出延迟方面是有效的。本配置在位率的容易的平滑方面也是有效的。

(实施例11)

<图片通信系统>

图57是示出了根据实施例11的图片通信系统的整个配置的示例的框图。

如根据图56所示的实施例10的图片通信系统的情况，发送器1200和接收器1201经由传输线1002耦接。发送器1200由输入图片提供设备101、编码设备A(100)和输出控制设备104组成。不同于根据实施例10的图片通信系统中的接收器1101，接收器1201由输入控制设备801和图片处理设备804、以及另外第一通用解码设备806和第二通用解码设备807组成。因此，删除输入控制设备801中的开关834。

作为根据实施例11的发送器1200中的编码设备，采用实施例1的编码设备A(110)，如实施例9和实施例10的情况。但是，通过采用根据实施例2的编码设备B(200)、根据实施例3的编码设备C(300)或根据实施例4的编码设备D(400)，相似的系统配置是可能的。在该图中省略了输入帧存储器102和参考帧存储器103。

接收器1201的第一通用解码设备806输入并且解码第一输入缓冲器831中的第一编码流。与它并行，第二通用解码设备807输入并且解码第二输入缓冲器832中的第二编码流。必要时，图片处理设备804重构第一通用解码设备806的输出图片和第二通用解码设备807的输出图片。

除了实施例10的特征之外，根据实施例11的图片通信系统具有接收器1201中的接收侧的解码设备并行操作的特征。本实施例在降低发送和接收二者中的代码缓冲量方面是有效的。接收器1200可以执行具有低延迟的处理；因此，本实施例在实现适合于需要低延迟性能的系统的配置方面是有效的。

(实施例12)

<图片通信系统>

图58是示出了根据实施例12的图片通信系统的整个配置的示例的框图。

如根据图57所示的实施例11的图片通信系统的情况，发送器1300和接收器1301经由传输线1102耦接。发送器1300由输入图片提供设备101、编码设备A(100)和输出控制设备104组成。接收器1301由输入控制设备801和图片处理设备804组成。不同于在根据实施例11的图片通信系统中的接收器1201，接收器1301进一步由根据实施例8的解码设备Ha(800)组成，代替第一通用解码设备806和第二通用解码设备807。此时，前提是B图片的片数和B图片参考区域限制的规范在编码设备A(100)和解码设备Ha(800)中被预先相等地决定。

一组编码设备A(100)和解码设备Ha(800)可以被替换为一组根据实施例3的编码设备C(300)和根据实施例8b的解码设备Hb(810)、或一组根据实施例4的编码设备D(400)和根据实施例8b的解码设备Hb(810)。前提还是在这些情况下，编码设备的P图片参考区域限制的规范被预先决定。

接收器1301的解码设备Ha(800)根据预先决定的B图片的数目和B图片参考区域限制的规范解码第一编码流和第二编码流。

根据实施例12的图片通信系统是接收侧预先知道发送侧的编码限制并且根据本申请的编码设备和解码设备被布置在发送侧和接收侧二者上的系统。根据本实施例，存在以下效果。在接收侧上的解码设备以及在发送侧上的编码设备中，可以减少外部存储器的带和外部存储器的容量。

在编码设备A(100)和解码设备Ha(800)的组的情况下，在B-图片编码和B-图片解码中不需要存储器访问。

在编码设备C(300)和解码设备Hb(810)的组的情况下，在接收侧不需要外部存储器访问。也可以进一步降低系统成本。

在编码设备D(400)和解码设备Hb(810)的组的情况下，在所有发送和接收中不需要外部存储器访问。也可以进一步降低系统成本。

如上所述，本发明人实现的本发明已被基于实施例具体地说明。但是，不能过份强调本发明不局限于如上所述的实施例，并且它可以在不偏离本质的范围中不同地改变。

例如，编码设备、解码设备、其它设备、控制器可以例如由半导体集成电路上的专用硬件实现，或它们可以被实现为在处理器上操作的软件的功能的一部分。

Claims (9)

1.一种可操作来编码多个时间序列图片的图片编码设备，该图片编码设备包括：

第一编码器；

第二编码器；

中间缓冲器；

编码目标图片控制器；

场划分器，所述场划分器将图片划分为第一场和第二场，第一场是I图片并且包括偶数像素行，第二场是P图片并且包括奇数像素行；和

位置控制器，

其中第一编码器使用编码目标的图片中的图片信息来编码该图片的第一场的图片信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器，

其中第二编码器参考编码目标的图片中的图片信息和存储在中间缓冲器中的参考图片来编码该图片的第二场的图片信息，

其中在下一参考图片被第一编码器写入中间缓冲器之前，编码目标图片控制器使得第二编码器开始参考该参考图片编码该图片，

其中第二编码器与第一编码器并行地耦接到所述场划分器，

其中所述位置控制器同步第一编码器和第二编码器之间的编码处理对象的图片数据的处理位置，

其中第一编码器是I-图片编码器，第二编码器包括P-图片编码器和B-图片编码器，并且所述中间缓冲器操作为第一中间缓冲器，并且所述图片编码设备还包括第二中间缓冲器，

其中I-图片编码器编码提供的第一图片的图片信息、从编码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器，

其中P-图片编码器参考提供的第二图片中的图片信息和第一本地解码图片来编码第二图片的图片信息、从编码结果创建第二本地解码图片、并且将第二本地解码图片写入第二中间缓冲器，

其中B-图片编码器参考提供的第三图片中的图片信息、第一本地解码图片和第二本地解码图片来编码第三图片的图片信息，以及

其中在从I-图片编码器将下一第一本地解码图片写入第一中间缓冲器之前，编码目标图片控制器使得P-图片编码器开始参考该参考图片编码该图片，并且在从P-图片编码器将下一第二本地解码图片写入第二中间缓冲器之前，编码目标图片控制器使得B-图片编码器开始参考该参考图片编码该图片。

2.根据权利要求1所述的图片编码设备，

其中该编码目标图片控制器分别将第一场和第二场提供到第一编码器和第二编码器，

其中第一编码器使用编码目标的场中的图片信息来编码该图片的图片信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器，以及

其中第二编码器参考编码目标的场中的图片信息和存储在中间缓冲器中的参考图片来编码该场的图片信息。

3.根据权利要求1所述的图片编码设备，

其中所述时间序列图片的每一个是包括多个像素行的帧，并且该帧由多个宏块组成并且包括第一场和第二场，所述第一场仅仅由所述多个宏块当中的在与像素行正交的方向上互相邻接的两个宏块中包括的偶数像素行组成，所述第二场仅仅由所述两个宏块中包括的奇数像素行组成，

其中该编码目标图片控制器分别将第一场和第二场中的一个提供到第一编码器并且将另一个提供到第二编码器，

其中第一编码器参考编码目标的场中的图片信息来编码该图片的图片信息、从编码结果创建参考图片、并且将参考图片写入中间缓冲器，以及

其中第二编码器参考编码目标的场中的图片信息和存储在中间缓冲器中的参考图片来编码该场的图片信息。

4.根据权利要求3所述的图片编码设备，

其中该编码目标图片控制器通过对于每两个相关宏块做出选择，来将第一场和第二场中的一个选择性地提供到第一编码器并且将另一个提供到第二编码器。

5.一种可操作来编码多个时间序列图片的图片编码设备，该图片编码设备包括：

第一编码器；

第二编码器；

中间缓冲器；

编码目标图片控制器；

场划分器，所述场划分器将图片划分为第一场和第二场，第一场是I图片并且包括偶数列图片，所述偶数列图片包括每个像素行的偶数像素，第二场是P图片并且包括奇数列图片，所述奇数列图片包括每个像素行的奇数像素；和

位置控制器，

其中该编码目标图片控制器将第一列图片和第二列图片中的一个提供到第一编码器并且将另一个提供到第二编码器，

其中第一编码器参考第一场中的图片信息来编码第一场、从编码结果创建参考图片、并且将参考图片写入中间缓冲器，

其中第二编码器参考第二场中的图片信息和存储在中间缓冲器中的参考图片来编码第二场，

其中第二编码器与第一编码器并行地耦接到所述场划分器，

其中所述位置控制器同步第一编码器和第二编码器之间的编码处理对象的图片数据的处理位置，

其中第一编码器是I-图片编码器，第二编码器包括P-图片编码器和B-图片编码器，并且所述中间缓冲器操作为第一中间缓冲器，并且图片编码设备还包括第二中间缓冲器，

其中I-图片编码器编码提供的第一图片的图片信息、从编码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器，

其中P-图片编码器参考提供的第二图片中的图片信息和第一本地解码图片来编码第二图片的图片信息、从编码结果创建第二本地解码图片、并且将第二本地解码图片写入第二中间缓冲器，

其中B-图片编码器参考提供的第三图片中的图片信息、第一本地解码图片和第二本地解码图片来编码第三图片的图片信息，以及

其中在从I-图片编码器将下一第一本地解码图片写入第一中间缓冲器之前，编码目标图片控制器使得P-图片编码器开始参考该参考图片编码该图片，并且在从P-图片编码器将下一第二本地解码图片写入第二中间缓冲器之前，编码目标图片控制器使得B-图片编码器开始参考该参考图片编码该图片。

6.根据权利要求5所述的图片编码设备，

其中该编码目标图片控制器通过对于每两个相关宏块做出选择，来将第一列图片和第二列图片中的一个选择性地提供到第一编码器并且将另一个提供到第二编码器。

7.一种可操作来从分别从第一编码器和第二编码器提供的第一编码流和第二编码流解码多个时间序列图片的图片解码设备，该图片解码设备包括：

第一解码器；

第二解码器；

中间缓冲器；

解码目标图像控制器；和

位置控制器，

其中第一解码器仅仅参考第一编码流来解码对应图片的图片信息、从解码结果创建参考图片、并且将参考图片写入到中间缓冲器，

其中第二解码器参考第二编码流和存储在中间缓冲器中的参考图片来解码与第二编码流对应的图片的图片信息，

其中在下一参考图片被从第一解码器写入中间缓冲器之前，解码目标图像控制器使得第二解码器开始参考该参考图片解码图片，

其中第一编码流包括图片中的偶数像素行的编码数据并且偶数像素行由I图片组成，而第二编码流包括图片中的奇数像素行的编码数据并且奇数像素行由P图片组成，

其中第二解码器与第一解码器并行地耦接到场划分器，所述场划分器将图片划分为第一场和第二场，第一场是所述I图片，第二场是所述P图片，以及

其中所述位置控制器同步第一解码器和第二解码器之间的解码处理对象的图片数据的处理位置，

其中第一解码器是I-图片解码器，第二解码器包括P-图片解码器和B-图片解码器，并且所述中间缓冲器操作为第一中间缓冲器，并且所述图片解码设备还包括第二中间缓冲器，

其中I-图片解码器解码提供的第一图片的图片信息、从解码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器，

其中P-图片解码器参考提供的第二图片中的图片信息和第一本地解码图片来解码第二图片的图片信息、从解码结果创建第二本地解码图片、并且将第二本地解码图片写入第二中间缓冲器，

其中B-图片解码器参考提供的第三图片中的图片信息、第一本地解码图片和第二本地解码图片来解码第三图片的图片信息，以及

其中在从I-图片解码器将下一第一本地解码图片写入第一中间缓冲器之前，解码目标图片控制器使得P-图片解码器开始参考该参考图片解码该图片，并且在从P-图片解码器将下一第二本地解码图片写入第二中间缓冲器之前，解码目标图片控制器使得B-图片解码器开始参考该参考图片解码该图片。

8.一种图片通信系统，包括：

发送器，包括图片编码设备和输出控制设备；

传输线；和

接收器，包括图片解码设备，

其中图片编码设备可操作来编码多个时间序列图片，并且包括：

第一编码器；

第二编码器；

中间缓冲器；

编码目标图片控制器；

位置控制器，

场划分器，所述场划分器将图片划分为第一场和第二场，第一场是I图片并且包括偶数像素行，第二场是P图片并且包括奇数像素行，

其中第一编码器参考编码目标的图片中的图片信息来编码该图片的第一场的图片信息、输出第一编码位串、从编码结果创建参考图片、并且将参考图片写入中间缓冲器，

其中第二编码器参考编码目标的图片中的图片信息和存储在中间缓冲器中的参考图片来编码该图片的第二场的图片信息并输出第二编码位串，

其中在下一参考图片被第一编码器写入中间缓冲器之前，编码目标图片控制器使得第二编码器开始参考该参考图片编码图片，

其中输出控制设备将时分多路复用应用到第一编码位串和第二编码位串，并且将它们作为编码流发送出到传输线，

其中接收器将从传输线输入的编码流提供到图片解码设备，并且使得图片解码设备解码该编码流，

其中第二编码器与第一编码器并行地耦接到所述场划分器，

其中所述位置控制器同步第一编码器和第二编码器之间的编码处理对象的图片数据的处理位置，

其中第一编码器是I-图片编码器，第二编码器包括P-图片编码器和B-图片编码器，并且中间缓冲器操作为第一中间缓冲器，并且所述图片编码设备还包括第二中间缓冲器，

其中I-图片编码器编码提供的第一图片的图片信息、从编码结果创建第一本地解码图片、并且将第一本地解码图片写入第一中间缓冲器，

其中P-图片编码器参考提供的第二图片中的图片信息和第一本地解码图片来编码第二图片的图片信息、从编码结果创建第二本地解码图片、并且将第二本地解码图片写入第二中间缓冲器，

其中B-图片编码器参考提供的第三图片中的图片信息、第一本地解码图片和第二本地解码图片来编码第三图片的图片信息，以及

其中在从I-图片编码器将下一第一本地解码图片写入第一中间缓冲器之前，编码目标图片控制器使得P-图片编码器开始参考该参考图片编码该图片，并且在从P-图片编码器将下一第二本地解码图片写入第二中间缓冲器之前，编码目标图片控制器使得B-图片编码器开始参考该参考图片编码该图片。

9.根据权利要求8所述的图片通信系统，

其中输出控制设备以比图片更精细的单位将时分多路复用应用到第一编码位串和第二编码位串，并且将它们作为编码流发送出到传输线，

其中该接收器进一步包括输入控制设备，以及

其中该输入控制设备向从传输线输入的编码流应用解多路复用、将编码流划分为与第一编码位串对应的第一编码位流和与第二编码位串对应的第二编码位流、并且将第一编码位流和第二编码位流提供到图片解码设备。

Images