CN101897190B - 图像编码方法和图像编码装置 - Google Patents

Abstract

本发明是一种不会妨碍流水线化或并行化，降低流丢失的频率，同时使处理量减少和压缩率提高的图像编码装置，包括将图片分割为由多个块构成的I片和由多个块构成的P片的分割单元；以及通过以块为单位将各片编码，将按时间顺序连续的多个图片编码的编码单元；分割单元改变按时间顺序连续的多个图片的各个图片内的I片位置，使得在按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且分别分割多个图片，使得按时间顺序连续的多个图片中，I片中包含的块数与该I片和其下一I片之间含有的1个以上的P片中包含的块数之和成为预定值。

Description

图像编码方法和图像编码装置

技术领域

本发明涉及图像编码方法和图像编码装置。尤其涉及根据MPEG(Moving Picture Experts Group)-4 AVC方式，或根据ITU-T H.264方式，将图像信号分割为由多个块构成的片，并以块为单位将各片编码的图像编码方法和图像编码装置。

背景技术

近年来，迎来了综合处理声音、图像和其他像素值的多媒体时代，可以将现有技术的信息媒体、即新闻、杂志、电视、收音机和电话等信息传送到人的装置作为多媒体的对象来采纳。一般，所谓多媒体不仅指文字，还指将图形或声音、尤其是图像等同时关联表示。为了将上述现有信息媒体作为多媒体的对象，将该信息作为数字形式表示成为必须条件。

但是，若将上述各信息媒体具有的信息量估计为数字信息量，则在文字的情况下每1个文字的信息量需要1～2字节。与此相对，在声音的情况下，每1秒需要64Kbits(电话质量)、进一步对于运动图像的情形，每1秒需要100Mbits(现有电视接收质量)以上的信息量。因此，上述信息媒体中，以数字形式原样处理该巨大的信息是不现实的。例如，电视电话由具有64Kbit/s～1.5Mbit/s传送速度的业务综合数字网(ISDN：Integrated ServicesDigital Network)来实用。但是，不可能将电视·摄像机的影像以原样的数字信息量通过ISDN发送。

因此，信息压缩技术是必要的。例如，在电视电话的情况下，使用由ITU-T(国际电通信联合电通信标准化部门)建议的H.261或H.263标准的运动图像压缩技术。MPEG-1标准的信息压缩技术中，图像信息可以与声音信息一起放入通常的音乐用CD(光盘)中。

这里，所谓MPEG(Moving Picture Experts Group)是指由ISO/IEC(国际标准化机构国际电气标准会议)标准化的运动图像信号压缩的国际标准。MPEG-1是将运动图像信号压缩到1.5Mbit/s，即将电视信号的信息压缩到约百分之一的标准。由于MPEG-1标准中，作为对象的质量为中等程度的质量、即，传送速度主要是能够以约1.5Mbit/s实现的程度的质量，所以又标准化了应满足进一步高图像质量要求的MPEG-2。MPEG-2中，将运动图像信号以2～15Mbit/s来实现TV广播质量。

另外，现有技术中，由发展了MPEG-1、MPEG-2和标准化的操作组(ISO/IEC JTC1/SC29/WG11)，将实现了超过MPEG-1、MPEG-2的压缩率并进一步使以物体为单位来进行编码·解码·操作成为可能、从而实现多媒体时代所需的新功能的MPEG-4标准化。MPEG-4实现了超过MPEG-1、和MPEG-2的压缩率，并进一步使以物体为单位来进行编码、解码和操作成为可能。

该MPEG-4中最先是将低比特率的编码方法的标准化作为目标来发展，但是扩展到还含有包括交织图像(interlace)在内的高比特率编码方法的、更通用的编码。进一步，现在还由ISO/IEC和ITU-T共同标准化了MPEG-4 AVC和ITU-T H.264，来作为更高压缩率的图像编码方式。

这里，图像信号可以认为是作为同一时刻的像素集合的图片(还称作帧或场)相连续而成的信号。另外，由于像素与图片内的附近像素之间的相关性强，所以进行利用了图片内的像素相关性的压缩。进一步，由于在连续的图片间的像素相关性也强，所以还进行利用了图片间的像素相关性的压缩。这里，将利用了图片间的像素相关性和图片内的像素相关性的压缩称作帧间编码，将没有利用图片间的像素相关性，但是利用了图片内的像素相关性的压缩称作帧内编码。由于该帧间编码利用了图片间的相关性，所以可以实现比帧内编码高的压缩率。

另外，MPEG-1、MPEG-2、MPEG-4、MPEG-4 AVC和H.264中，构成作为二维矩形区域的像素集合的块(或宏块)，以块为单位来切换帧内编码和帧间编码。

另一方面，ADSL或使用了光纤的高速网络环境普及，由此，在一般家庭中也可以以超过几Mbit/s的比特率来发送接收。进一步，今后几年，期待可进行几十Mbit/s的发送接收。由此，通过使用上述图像编码技术，可以设想不仅是使用了专用线路的企业，一般家庭中也可导入TV广播质量和HDTV广播质量的TV电话和TV会议系统。

但是，在经网络传送编码后的图像数据即流时，有可能因网络堵塞等流的一部分丢失。在流的一部分丢失的情况下，接收侧中不能正确解码与丢失的流所对应的地方的图像。进一步，在利用了图片间的像素相关性的压缩中，不能正确解码的状态还会传播到后续的图片。即，图像质量劣化还传播到后续的图片。因此，定义了作为集合多个块而成的编码单位的片。片是可进行独立编码和解码处理的最小单位，即使流的一部分丢失，也可以以片为单位进行解码处理。

图1是说明使用了MPEG-2标准的片分割方法的情况下的片和块的关系的图。图1所示的图片(1帧)由多个块构成。在构成图片的块中，同一行的块构成1个片。例如，加斜线的片是I片，其他片是P片。I片是仅由片内(intra)编码的块构成的片，P片是由片间(inter)编码或片内编码的块构成的片。

H.264标准中，一般I片(intra slice)是指仅利用片内的像素相关性来进行编码的片，P片(inter slice)是指利用片内像素相关性和片间像素相关性进行编码的片。这里，所谓片间是指该片和该片之外的片之间，也可以是与包含该片的图片不同的图片的片之间。换而言之，I片是不使用来自周围(该片的外侧)的图像信号的预测编码，即仅集合了片内编码的片内宏块的片，P片是通过预测编码提高了压缩效率，即混合片间编码的片间宏块和片内宏块而构成的片。

还存在不允许在1个图片内混合存在以H.264标准规定的I片和P片的运行标准。因此，为方便，本说明书的所谓I片将有意仅使用片内的像素相关性来加以编码的特殊P片也称作I片。

图2是说明图片中多个块的编码顺序用的图。该图1所示的图片中的块以图2所示的顺序、即，在图片内，在片单位内从左到右、且以片为单位从上到下的顺序来进行编码而生成流。

但是，即使在传送路径上不丢失地接收该片的流，而以片为单位进行了解码处理，也不见得可以正确解码进行解码处理后的像素。在该片被片内编码的情况下，即使之前因流的丢失而不能正确解码，仅通过片内编码的片的流也可正确解码像素。但是，在解码丢失后的流的下一图片时，在该片被片间编码的情况下，参考刚解码出的图片来进行解码，所以若参考之前因流丢失而存在图像质量劣化的图片来进行解码，则不能正确解码像素。

这样，存在下述课题，即，在流丢失的情况下，若丢失后的流的下一图片被片间编码，则不能正确解码，进一步也不能递归地正确解码后续的图片。

因此，在以下说明的方法中，防止图像质量的劣化递归传播。

图3是表示按时间顺序连续的图片的片分割例的图。这里，加斜线的片与图1同样，是I片，其他片是P片。片以行为单位。图3(a)～图3(l)是按时间顺序连续的图片。即，图3中，图3(a)是按时间顺序最早的图片，图3(l)是按时间顺序最后的图片。图3中，I片的位置按时间顺序在之后的图片中下移1行，移动到最下行后返回到最上行(图3(j)到图3(k))。

这样，由较强应对流丢失的I片与较弱应对流丢失但是包含压缩率高的片间编码的P片来构成图片，按时间顺序在图片内循环I片的位置。由此，即使在某个时刻流丢失从而P片的图像质量劣化，在流丢失后的P片位置的片按时间顺序在之后的图片中为I片时，也可正确解码图片。即，可以恢复存在图像劣化的流。因此，可以防止图像质量劣化无限传播。

接着，说明实现防止图3所示的图像质量劣化的传播的图像编码装置800。

图4是表示使用了MPEG-2标准的片分割方法的情况下的图像编码装置800的结构框图。

图像编码装置800包括块数计数部802、片内/片间决定部804、片决定部806和视频编码器808。

块数计数部802测量作为视频编码器808编码对象的图片中的块数。块数计数部802将作为视频编码器808编码对象的图片的块对应于图片的哪个位置的情况通知给片内/片间决定部804和片决定部806。

片内/片间决定部804根据由块数计数部802通知的块位置，决定作为视频编码器808编码对象的图片的片是I片还是P片。片内/片间决定部804将所决定出的片的种类(I片或P片)通知视频编码器808。

片决定部806具有块位置取得部8062和片边界决定部8066。

片决定部806根据由块数计数部802通知的块位置，决定是否在片的边界，即构成片的块在行位置中，所通知的块是否在最后的位置。片决定部806通过块位置取得部8062取得从块数计数部802通知的块位置，并通过片边界决定部8066决定所通知的块位置是否是片单位的边界。片边界决定部8066将所决定出的块位置的信息(是否是片单位的边界)通知视频编码器808。

视频编码器808根据从片决定部806的片边界决定部8066通知的片的边界(片单位)和由片内/片间决定部804通知的片的种类，利用该片中可使用的编码方法(片内编码或片间编码)以块为单位将输入图像VIN编码。视频编码器808将编码后的输入图像VIN作为流STR输出到分组化部820。

这里，如上所述，由于使用MPEG-2标准的片，所以视频编码器808编码的图片的片单位是构成图片的多个块的行单位。

分组化部820将流STR变换为适合网络传送的形式。

图5是说明使用了MPEG-4标准的片分割方法的情况下的片与块的关系的1例的图。MPEG-4标准中，片如图1所示的MPEG-2标准的片那样可以为行为单位，但是大多采用了构成片的控制，使得将片编码后的比特数一定。因此，片的形状不见得是图1所示这种矩形。片中含有的块数也可根据所输入的图像信号的图案可变。

这里，图5所示的图片(1帧)由多个块构成。另外，构成图片的块中，用粗线包围的多个块构成1个片。例如，加斜线的多个块中用粗线包围的多个块是I片，用其他粗线包围的多个块是P片。

有斜线的多个块表示是片内编码的位置的块。MPEG-4标准中，由于用斜线表示的片内编码的位置也可以与片的单位不一致，所以图5中表示其一例。

图6是表示按时间顺序连续的图片的片分割例的图。有斜线的位置的块是包含I片且片内编码的块，用其他粗线包围的多个块(片)是P片。图6(a)～图6(l)是按时间顺序连续的图片。这样，与图3同样，由较强应对流丢失的I片与较弱应对流丢失但是包含压缩率好的片间编码的P片构成图片，在图片内按时间顺序使包含I片的片内编码位置循环。由此，可以防止图像质量劣化递归传播。

下面，说明实现防止图6所示的图像质量劣化的传播的图像编码装置900。

图7是表示使用了MPEG-4标准的片分割方法的情况下的图像编码装置900的结构框图。

图像编码装置900包括块数计数部802、片内/片间决定部804、片尺寸决定部906与视频编码器908。图7中，对进行与图4的MPEG-2的图像编码装置的框图相同动作的设备添加同一序号而省略说明。

视频编码器908根据由片尺寸决定部906通知的片的边界(片单位)与由片内/片间决定部804通知的片的种类，以块为单位通过可使用的编码方法(片内编码或片间编码)将输入图像VIN编码。视频编码器908将编码后的输入图像VIN作为流STR输出到分组化部820，同时，向片尺寸决定部906通知编码后的比特数。

片尺寸决定部906包括片边界决定部9066和编码比特数计数部9068。片尺寸决定部906通过编码比特数计数部9068取得从视频编码器908通知的比特数，并通过片边界决定部9066根据所通知的比特数决定视频编码器908编码的块是否是片单位的边界的块。

编码比特数计数部9068向片边界决定部9066通知所取得的由视频编码器908通知的比特数或该通知的比特数成为预定比特数的时刻信息。

片边界决定部9066根据从编码比特数计数部9068通知的比特数的信息，判断对象块是否是片的最后块、即作为片单位的边界的块。片边界决定部9066向视频编码器908通知作为判断结果的块是片的边界的情况。

如图5和图6所示，用斜线所示的片内编码的位置在每个图片从上位置移动到下位置，但是与片的单位不一致。

如上这样，若以片来分割图片，则可有效防止因网络的流丢失造成的图像质量劣化。

这里，举例来说明以片为单位来网络传送流的情况下的比特数。

图8是表示按时间顺序连续的图片的片分割例的图，图9A和图9B是表示按时间顺序将各片编码后的比特数的例子的图。图9A和图9B表示在以图8所示的片为单位来网络传送流的情况下，按时间顺序将各片编码后的比特数的例子。

如图8所示，例如，设图片由5个片构成，包含1个I片和4个P片。

I片的比特数比P片的比特数多，一般产生几倍～10倍左右的比特数。图9A中，以从上到下的顺序来编码构成图片的片，横轴图示了时刻，纵轴图示了通过该片的编码产生的比特数的大小的图像。从图8和图9A可看出，构成图片的I片按时间顺序以从上到下的顺序即周期性地循环。

图9B表示将按时间顺序连续的多个图片编码，并按编码顺序以一定比特率传送这些图片的情形。这里，图9B中，横轴方向的幅度(长度)是比特数的大小，表示该片的数据传送所需的时间。通过在各图片中包含相同数目的I片，使各图片单位的比特数大致相同。

非专利文献1：MPEG-2标准书：ISO/IEC 13818-2、“InformationTechnology-Generic Coding Of Moving Pictures And Associated AudioInformation：Video”、International Standard、Second Edition、December 2000

非专利文献2：MPEG-4标准书：ISO/IEC 14496-2、“InformationTechnology-Coding Of Audio-Visual Objects-Part 2：Visual”、InternationalStandard、Third Edition、July 2004

为了减少比特数较多的I片的比特数，只要减少构成I片的宏块数即可，但是若单纯减少片中含有的块数，则每个图片的片数增多，存在如下这样的问题。

1)片编码的初始化所需的处理量增多。其在如压缩率非常高的H.264中使用的算术编码那样，片前端的变量的初始化处理较多的编码中特别成为问题。

2)图片中所占的片头(片中含有的宏块的解码所需的共用数据)的代码量增多，压缩效率变差。其尤其在低比特率编码中成为问题。

3)由于需要以片为单位进行初始化，所以在由硬件实现图像编码的情况下，还初始化以块为单位的编码处理的流水线(pipeline)处理。由此，流水线处理中断的频率增多。

在使用如上述这种MPEG-2标准的片或MPEG-4标准的片来以片数分割图片的情况下，有下述所示的问题。

1)在使用MPEG-2标准的片的情况下，有图片内的1行的多个块为1个片的限制，基本上不能改变。

若独自扩展MPEG-2的构想，为了减少每一个图片的片数，而将存在于多个K行中的多个块作为1个片扩展，则由于所有片的大小相同，所以I片尺寸也增大了。即，构成I片的块数增多。换而言之，仅由比特数比片间编码多的片内编码形成的I片的比特数尤其增多。若考虑解码为片单位的情形，则I片自身流丢失的频率增大，因I片造成的图像质量劣化的传播防止不能有效工作。

2)在使用MPEG-4标准的片的情况下，以片为单位进行分割，使得比特数为一定。但是，由于片的边界由实际编码后的比特数决定，所以不能在将块编码之前决定片边界的位置。因此，不能通过片单位的并行处理结构来实现高速的图像编码装置，而变为以块为单位依次进行编码的低速图像编码装置。

进一步，在通过流水线处理实现块单位的编码处理的情况下，在对象块的编码完成而决定片分割的时刻，(本来应包含在下一片中)后续块的编码处理成为流水线处理已经被进行。因此，需要从后续块的编码处理重新进行流水线处理，而不适合流水线处理。

进一步，在如图9A所示那样，各图片中包含相同数目的I片的情况下，在将按时间顺序连续的多个图片编码并按编码顺序来网络传送编码后的这些图片时，通过图9B的图片N+4和图片N+5来连续2次传送I片。

编码中，通过根据刚编码完的I片或P片中产生的比特数预测之后编码的I片或P片的比特数，来进行编码的控制。但是，在下面所示的情况下，预测很困难，难以进行控制使得短时间的平均比特数为一定。

1)在预测的片在图片内的位置与刚编码完的位置大不相同的情况下，尤其在图片内的最上位置和最下位置的情况下

2)在因图片内的位置而图案大大不同的图像或运动大的运动图像等、图片内位置或图片间图像的统计特征不同的情况下

在1)、2)的情况下，用于提高编码图像质量的I片和P片所需的比特数比值因图片内的编码位置或编码的图片单位而大不相同。因此，如图9B所示的图片N+4和图片N+5那样，尤其在将产生很多比特数的I片连续编码的情况下，难以进行使其为一定的比特数的编码控制，不能很好地控制到希望的比特数。因此，优势比特数不能成为一定，或者若在勉强使比特数成为一定时产生较大的图像质量劣化。

发明内容

因此，本发明鉴于上述问题而作出，其所要解决的技术问题是实现不会妨碍流水线化或并行化，可降低流丢失的频率，同时使处理量减少和压缩率提高的图像编码方法和图像编码装置。

为了解决上述问题，本发明的图像编码装置，将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：分割单元，将图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及编码单元，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；所述分割单元改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且分别分割所述多个图片，使得所述按时间顺序连续的多个图片中，I片中包含的块数与该I片和其下一I片之间含有的1个以上的P片中包含的块数之和成为预定值。

通过该结构，即使在某个时刻因流丢失从而P片的图像质量劣化，在流丢失后的P片位置上的片按时间顺序在之后的图片中为I片时，也可以正确解码图片，可防止图像质量劣化无限传播。另外，即使I片和P片产生的比特数有差异，比特数多的I片的比特数的变动可以为周期性的。即，由于不连续网络传送比特数有差异的I片，所以可以使网络传送的比特数均衡。由此，可以实现不会妨碍流水线化或并行化，降低流丢失的频率，同时使处理量降低和压缩率提高的图像编码方法和图像编码装置。

所述分割单元可以进一步将所述图片分割为块数为M(M是0以上的整数)的I片和除了位于所述图片内的特定位置的P片之外的多个块数为N(N是1以上的整数、且M＜N)的P片。

根据该结构，由于通过减少I片的块数，增多P片的块数，而减少图片内的片数，所以可以在图片整体中实现处理量降低和压缩率提高。

所述分割单元也可进一步将所述图片分割为I片和P片，使得在所述按时间顺序连续的多个图片中，每预先设置的数目的图片，I片的位置从一端到另一端的移动重复；所述编码单元包括：编码数据生成部，通过对所述I片利用该片内的像素相关性进行编码，对所述P片利用该片内的像素相关性或该片与其他片之间的像素相关性进行编码，来生成所述按时间顺序连续的多个图片的编码数据；以及流生成部，生成包含所述按时间顺序连续的多个图片中共用的数据与所述按时间顺序连续的多个图片的编码数据的流；所述流生成部在所述I片位于所述一端的图片被编码后而成的编码数据的紧前面配置所述共用的数据。

根据该结构，通过在I片位于图片的一端的图片的紧前面配置多个图片中共用的数据，从而在基于图像解码装置的中途再现时，从图片的一端向另一端，图像被正确显示的区域变宽。该显示方法与画面的滚动相同，与日常总看到的显示方法相似，所以收视者不会感觉不协调。这样，本发明的图像编码方法在中途再现时，可以生成显示收视者很难感受不协调感的影像的运动图像流。

为了解决上述问题，本发明的图像编码装置将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：分割单元，将图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及编码单元，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；所述分割单元改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且将该多个图片分别分割为由块数M(M是0以上的整数)构成的I片与除了位于该图片内的特定位置的P片之外由块数N(N是1以上的整数、且M＜N)构成的多个P片。

根据该结构，由于通过减少I片的块数，增多P片的块数，可减少图片内的片数，所以可以在图片整体中实现处理量降低和压缩率提高。另外，由于可以用预定的块数来分割片，所以不会妨碍流水线化和并行化。进一步，即使在某个时刻因流丢失从而P片的图像质量劣化，在流丢失后的P片位置上的片按时间顺序在之后的图片中为I片时，也可以正确解码图片，可防止图像质量劣化无限传播。由此，可以实现不会妨碍流水线化或并行化，降低流丢失的频率，同时使处理量降低和压缩率提高的图像编码方法和图像编码装置。

所述分割单元也可包括块数计数器单元，对表示编码对象的块数的计数值进行计数；片内/片间决定单元，根据所述块数计数器计数出的块数，来决定对象片的种类；所述分割单元根据由所述片内/片间决定单元决定的片的种类与所述计数出的块数，决定所述多个图片各个的所述I片和所述多个P片的分割位置，由此分别分割所述多个图片。

根据该结构，能够根据由片内/片间决定单元决定出的对象片的种类，来决定构成对象片的块的数目，并加以分割。

所述分割单元也可以将按照所述多个图片各自内的块的编码顺序为位于I片的紧前面的P片作为由块数L(L是1以上的整数、且L＜N)构成的所述特定位置的P片，来进行分割

所述分割单元也可以将按照所述多个图片各自内的块的编码顺序为位于I片的紧后面的P片作为由块数J(J是1以上的整数、且J＜N)构成的所述特定位置的P片，来进行分割。

所述分割单元也可以将所述多个图片各自内位于最下行的P片作为由块数K(K是1以上的整数、且K＜N)构成的所述特定位置的P片，来进行分割。

根据该结构，通过调整位于图片内特定位置的P片的大小，能够使其他位置的P片中含有的块数为一定值N，所以可以减少图片内的片数。

所述分割单元也可以将所述I片分割为由构成所述图片的行的块数的1/2以下的块数M(M是0以上的整数)构成的片。

由此，可以减少构成I片的块数，减少编码时的比特数，同时减少图片内的全部片数。

另外，所述分割单元也可以将所述I片分割为由与构成所述图片的行的块数相等的块数M(M是0以上的整数)构成的片。

由此，  I片作为容易进行编码处理的行单位的最小块尺寸，可减少编码时的比特数，同时可以减少图片内的片数。

所述分割单元也可以进一步将所述按时间顺序连续的多个图片中的一定数目的图片中的至少1个图片分割为由块数为0构成的I片与多个P片。

由此，可以在流中调整编码后的I片的比特位置。例如，在I片和P片产生的比特数有差异，且I片的比特数与P片的比特数相比尤其大的情况下，可以通过增加I片和I片之间的P片数来减少编码I片的频率，所以可以降低网络上的传送比特率。

所述分割单元也可以将I片的位置在图片内为最下行的图片的下一图片仅分割为不包含I片的多个P片。即，所述分割单元也可以在I片的位置在图片内为最下行的图片的下一图片中，分割为块数为0的I片和多个P片。

由此，流中，可以使编码后的I片的比特位置大致等间隔。例如即使I片和P片产生的比特数有差异也是周期性改变，所以可以降低网络上的流丢失。

所述分割单元也可以分别分割所述多个图片，使得在所述按时间顺序连续的多个图片中，图片中的I片所含的块数与该I片和该图片的下一图片中的I片之间所含的1个以上的P片中含有的块数之和成为预定值。

由此，即使I片和P片产生的比特数有差异，也可使I片的比特数的变动为周期性的。即，由于不连续网络传送比特数有偏差的I片，所以可以使网络传送的比特数均衡。

本发明的图像编码方法为，将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：分割步骤，将所述图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及编码步骤，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；所述分割步骤改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且将该多个图片分别分割为由块数M(M是0以上的整数)构成的I片与除了位于该图片内的特定位置的P片之外由块数N(N是1以上的整数、且M＜N)构成的多个P片。

为了解决上述问题，本发明的图像编码装置，将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：分割单元，将所述图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及编码单元，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；所述分割单元改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且分别分割所述多个图片，使得所述按时间顺序连续的多个图片中，I片中包含的块数与该I片和其下一I片之间含有的1个以上的P片中包含的块数之和成为预定值。

根据该结构，I片与I片之间含有的P片的块数相同。尤其，若构成P片的块数为一定数目，则可以使从任意的片位置开始的连续预定数目的片中含有的I片和P片的个数一定，而不区分I片和P片，所以在每次片编码时，可以进行编码控制，使得预定片数的比特数为一定，从而在编码对象图像包含急变运动的情况下或场景变化等的图像的统计量大大变化的情况下，也可容易实现不会使图像质量大大劣化，而使平均比特数为一定的编码控制。

所述分割单元也可以进一步在所述按时间顺序连续的多个图片中的一定数目的图片中，将至少1个图片分割为不包含I片的多个P片。即，所述分割单元也可进一步在所述按时间顺序连续的多个图片中的一定数目的图片中，将至少1个图片分割为由块数为0构成的I片和多个P片。

为了解决上述问题，本发明的图像编码方法将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：分割步骤，将所述图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及编码步骤，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；所述分割单元改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且分别分割所述多个图片，使得所述按时间顺序连续的多个图片中，I片中包含的块数与该I片和其下一I片之间含有的1个以上的P片中包含的块数之和成为预定值

本发明不仅作为装置实现，还可作为包含这种装置具有的处理单元的集成电路实现，还可作为将构成该装置的处理单元作为步骤的方法实现，或将这些步骤作为使计算机加以执行的程序实现，或作为表示该程序的信息、数据或信号实现。并且，这些程序、信息、数据和信号可以经CD-ROM等记录媒体或互联网等的通信媒体来进行分发。

发明的效果：

根据本发明，可以提供不会妨碍流水线化或并行化，可降低流丢失的频率，同时使处理量降低和压缩率提高的图像编码方法和图像编码装置。

具体来说，本发明的图像编码方法和图像编码装置中，分割片，使得I片的大小(块数)比P片的大小(块数)小。由此，得到下述效果：(1)可以减少图片的片数，防止因片分割造成的处理量增加和压缩率劣化，(2)由于减少I片的块数，所以I片的比特数减少，对防止图像质量劣化的传播起到重要作用的I片难以受到流丢失的影响。

附图说明

图1是MPEG-2的片和块的关系的说明图；

图2是图片中的多个块的编码顺序的说明图；

图3是表示按时间顺序连续的图片的片分割例的图；

图4是表示使用了MPEG-2标准的片分割方法的情况下的图像编码装置800的结构框图；

图5是说明使用了MPEG-4标准的片分割方法的情况下的片与块的关系的1例的图；

图6是表示按时间顺序连续的图片的片分割例的图；

图7是表示使用了MPEG-4标准的片分割方法的情况下的图像编码装置的结构框图；

图8是表示按时间顺序连续的图片的片分割例的图；

图9A是表示按时间顺序将各片编码后的比特数的例子的图；

图9B是表示按时间顺序将各片编码后的比特数的例子的图；

图10是表示使用了本发明的片分割方法的情况下的图像编码装置的结构框图；

图11是说明使用了本发明的实施方式1的片分割方法的情况下的片与块的关系的图；

图12是表示本发明的实施方式1中的按时间顺序连续的图片的片分割例的图；

图13A是用于说明本发明的实施方式1中网络传送流的情形的图；

图13B是用于说明本发明的实施方式1中网络传送流的情形的图；

图14是说明本发明的实施方式1的图像编码装置编码的情况下的处理的流程图；

图15是表示本发明的实施方式2的按时间顺序连续的图片的片分割例的图；

图16是说明本发明的实施方式2的图像编码装置编码的情况下的处理的流程图；

图17是表示本发明的实施方式3的按时间顺序连续的图片的片分割例的图；

图18是说明本发明的实施方式3的图像编码装置编码的情况下的处理的流程图；

图19是表示本发明的实施方式4的按时间顺序连续的图片的片分割例的图；

图20是表示本发明的实施方式5的按时间顺序连续的图片的片分割例的图；

图21是表示本发明的实施方式6的按时间顺序连续的图片的片分割例的图；

图22A是表示本发明的实施方式6的按时间顺序将各片编码后的比特数的例子的图；

图22B是表示本发明的实施方式6的按时间顺序将各片编码后的比特数的例子的图；

图23是说明本发明的实施方式6的图像编码装置编码的情况下的处理的流程图；

图24是说明本发明的实施方式6的图像编码装置编码的情况下的处理的流程图；

图25是表示本发明的实施方式7的按时间顺序连续的图片的片分割例的图；

图26是表示本发明的实施方式7的按时间顺序连续的图片的片分割例的图；

图27A是表示本发明的实施方式7的按时间顺序将各片编码后的比特数的例子的图；

图27B是表示本发明的实施方式7的按时间顺序将各片编码后的比特数的例子的图；

图28是表示本发明的实施方式7的按时间顺序连续的图片的另一片分割例的图；

图29是表示本发明的实施方式7的按时间顺序连续的图片的又一片分割例的图；

图30是表示本发明的实施方式7的按时间顺序连续的图片的另一片分割例的图；

图31是表示本发明的实施方式7的按时间顺序连续的图片的又一片分割例的图；

图32是表示本发明的实施方式7的按时间顺序连续的图片的片分割的变形例的图；

图33A是表示按图32的时间顺序将各片编码后的比特数的例子的图；

图33B是表示按图32的时间顺序将各片编码后的比特数的例子的图；

图34是表示本发明的实施方式7的按时间顺序连续的图片的又一片分割的变形例的图；

图35是表示本发明的实施方式7的按时间顺序连续的图片的又一片分割的变形例的图；

图36是表示本发明的实施方式7的按时间顺序连续的图片的又一片分割的变形例的图；

图37是表示本发明的实施方式7的按时间顺序连续的图片的又一片分割的变形例的图；

图38是表示MPEG-2中的GOP结构的图；

图39是表示MPEG-2中的流结构的图；

图40是表示H.264中的图片的片结构的图；

图41是本发明的实施方式8涉及的图像编码装置的框图；

图42是本发明的实施方式9涉及的图像编码装置的框图；

图43是表示本发明的实施方式9涉及的各图片的片分割例的图；

图44是表示本发明的实施方式9涉及的流结构的图；

图45是表示本发明的实施方式9涉及的在片分割中能够从GOP的最先开始正确解码的片的图；。

图46是表示本发明的实施方式9涉及的流被编码后的显示例的图；

图47是表示I片不位于GOP开头图片的最开始的情况下能够正确解码的片的图；

图48A是表示本发明的实施方式9涉及的参考图片和对象图片的关系的图；

图48B是表示本发明的实施方式9涉及的参考图片与对象图片的关系的图；

图48C是表示I片不位于GOP开头图片的最开始的情况下的参考图片与对象图片的关系的图；

图48D是表示I片不位于GOP开头图片的最开始的情况下的参考图片与对象图片的关系的图；

图49是表示本发明的实施方式9涉及的基于图像编码装置的片编码的流程的流程图；

图50是表示本发明的实施方式10涉及的各图片的片分割例的图；

图51是表示本发明的实施方式10涉及的流结构的图；

图52是表示本发明的实施方式11涉及的各图片的片分割例的图；

图53是表示本发明的实施方式11涉及的流结构的图；

图54是表示本发明的实施方式12涉及的各图片的片分割例的图；

图55是表示本发明的实施方式12涉及的各图片的片分割的变形例的图；

图56是表示本发明的实施方式13涉及的各图片的片分割例的图；

图57A是表示本发明的实施方式14涉及的记录媒体的结构图；

图57B是表示本发明的实施方式14涉及的记录媒体的结构图；

图57C是表示本发明的实施方式14涉及的计算机系统的结构图。

符号说明

100、800、900、1000、1 100图像编码装置

102、802、1 103  块数计数部

104、804、1104  片内/片间决定部

106、906    片尺寸决定部

108、808、908    视频编码器

200、820    分组化部

806     片决定部

1062    块数取得部

1064    片种类取得部

1065    参考部

1066    片分割位置决定部

1101    输入图像

1102    流

1105    片编码部

1106    共用数据生成判断部

1107    共用数据生成部

1108    流生成部

1200、1200a～12001、1215a～1215f、1220a～1220v、1240a～1240v、1260a～1260f、1270a～1270f、1280a～12801    图片

1201、1521  I片

1202、1202a、1202b、1202c、1202d、1522  P片

1204  能够正确解码的片

1211、1513  共用数据

1212、1212a～1212j、1232a～1232v、1252a～1252t  图片编码数据

1213、1233、1253    片编码数据

1300    软盘

1301    盘

1302    外壳

1303    轨道

1304    扇区

1310    计算机系统

1311    软盘驱动器

1501    I图片

1502    P图片

1511、1512、1514    编码数据

8062    块位置取得部

8066、9066  片边界决定部

9068    编码比特数计数部

具体实施方式

下面，使用附图来说明本发明的实施方式。

图10是表示使用了本发明的片分割方法的情况下的图像编码装置100的结构框图。

图像编码装置100包括块数计数部102、片内/片间决定部104、片尺寸决定部106和视频编码器108。

块数计数部102测量要编码的片中的块数。

块数计数部102将作为视频编码器108编码对象的片的块数、即，片内第几个块通知给片内/片间决定部104和片尺寸决定部106。

片内/片间决定部104根据从块数计数部102通知的块数，决定作为视频编码器108编码对象的片是I片还是P片。

片内/片间决定部104将所决定的片的种类(I片或P片)通知给视频编码器108和片种类取得部1064。

片尺寸决定部106包括块数取得部1062、片种类取得部1064、参考部1065和片分割位置决定部1066。

片种类取得部1064取得从片内/片间决定部104通知的作为视频编码器808编码对象的片的种类(I片还是P片)。

块数取得部1062取得从块数计数部102通知的作为视频编码器808编码对象的片的块数。

片分割位置决定部1066基于片种类取得部1064所取得的片的种类，根据块数取得部1062取得的块数，决定是否是作为视频编码器108编码对象的片单位的边界的块(下面，记载为片分割位置)。

片分割位置决定部1066将所决定的片分割位置通知给视频编码器808。根据从片分割位置决定部1066通知的片分割位置，由视频编码器108分割为片。具体来说，片分割位置决定部1066在片种类取得部1064所取得的片的种类是I片的情况下，将从块数计数部102通知的片内的块数成为M个的时刻决定为片分割位置，并通知视频编码器108。

片分割位置决定部1066在片种类取得部1064取得的片的种类是P片的情况下，将从块数计数部102通知的块数成为N个(N＞M)的时刻决定为片分割位置，并通知给视频编码器108。这里，N和M是整数。

这里，片分割位置决定部1066根据参考部1065中保存的表格等中记载的规则来决定片分割位置。参考部1065中保存有表格，该表格记载了例如，若为P片，则将块数成为N个(N>M)的时刻作为P片分割位置，若为I片则将块数成为M个(N＞M)的时刻作为I片分割位置等的片分割位置决定规则。

视频编码器108根据由片尺寸决定部106通知的每个片分割位置的片单位下、且由片内/片间决定部104所通知的片的种类，以块为单位通过可使用的编码方法(片内编码或片间编码)来编码输入图像VIN。视频编码器108将编码后的输入图像VIN作为流STR而输出到分组化部200。

分组化部200将流STR变换为适合网络传送的形式。例如，将流STR以片为单位变换为1个网络传送单位。这里，流STR中，也可以将1个片转换为多个网络传送单位。

(实施方式1)

图11是说明使用了本发明的实施方式1的片分割方法的情况下的片与块的关系的图。图11所示的图片(1帧)由多个块构成。在构成图片的块中，加斜线的多个块的区域是片，且为I片。用其他粗线包围的多个块是片，且为P片。这里，表示了图片由I片和P片构成的例子。图1的MPEG-2标准的片分割方法与本发明的片分割方法的不同点在于，I片中含有的块数比P片中含有的块数少(片尺寸小)。

图12是表示本发明的实施方式1中的按时间顺序连续的图片的片分割例的图。这里，加斜线的片是I片，其他片是P片。

图12(a)～图12(l)是以该顺序而按时间顺序连续的图片。I片的位置按时间顺序在后一图片中下移1行。P片和P片间的分割位置固定，而与I片的位置无关。即，片分割位置决定部1066决定片分割位置，使得构成P片的块数原则上一定。但是，在图片内的I片的紧前面和紧后面的P片中，通过插入I片，使P片中含有的块数例外地变少。因此，片分割位置决定部1066允许该例外地变少的情形来决定片分割位置。此外，在图片的块数不能以等尺寸的P片分割的情况下，图片最下行的P片块数也例外地变少。片分割位置决定部1066同样允许该例外地变少的情形来决定片分割位置。

这样，通过减少I片的块数，增多P片的块数，可以减少图片内的片数。进一步，由于可以以图片为单位来循环移动仅由片内编码的块构成的I片，所以可进行较强应对流丢失的图像编码。即，即使在某个时刻因流丢失而P片的图像质量劣化，在流丢失后的P片的图片内水平·垂直位置的片按时间顺序在之后的图片中为I片时，也能够正确解码图片，并能够恢复存在图像劣化的流。

另外，如图12所示，图片内的I片的位置移到最下行之后的下一图片被作为不包含I片而仅为P片的图片进行编码，接着在下一图片中I片的位置回到最上行进行编码(图12(j)到图12(l))。即，片尺寸决定部106在决定片后的片分割位置为，视频编码器108编码的片是I片且为图片的最下行的情况下，通知视频编码器108，使得视频编码器108接下来要编码的图片仅由不包含I片的P片构成。视频编码器108根据片尺寸决定部106的通知，对例如与紧前面的图片为相同的片分割位置且仅由P片构成的图片进行编码。

也可以将不包含I片而仅为P片的图片表现为由块数为0的I片和块数为1个以上的P片构成的图片。

作为不包含I片而仅为P片的图片进行编码的方法基于参考部1065中保存的表格中记载的规则。

由此，图片的I片和下一图片的I片之间被编码的P片的块数在I片循环的过程中(例如图12(a)到图12(l))成为一定。结果，流中被编码的比特数较多的I片的比特位置大致等间隔。因此，在例如以片为单位来网络传送流STR的情况下，可以使网络传送的比特数均衡。

在比特率低的情况下或复杂运动少的图像信号中，与I片的比特数相比，P片的比特数非常少。大多情况下片内编码的每个块的比特数为片间编码的比特数的10倍以上，有时即使使P片的块数比I片的块数多，I片的比特数也非常多。通过在流中，使被编码的I片的比特位置大致等间隔，从而即使I片和P片产生的比特数有偏差，也是周期性改变，所以可以容易地通过网络的发送接收缓冲器吸收该改变，在改变大的情况下，可以降低产生频率较高的网络中的流丢失。

这样，通过较强应对流丢失的I片和较弱应对流丢失但包含压缩率高的片间编码的P片构成图片，并按时间顺序在图片内使I片的位置循环。例如，若某个时刻流丢失从而P片的图像质量劣化，则图像质量劣化传播，直到流丢失后的P片位置的片在后续图片中成为I片为止。但是，在流丢失后的该图片中位置的片按时间顺序在之后的图片中成为I片时，由于I片是仅利用片内的像素相关性进行编码的片，所以可正确解码图片在该位置上的片。即，存在图像劣化的流被恢复。因此，可以防止图像质量劣化被无限传播。

为了更可靠地防止图像质量劣化的传播，各图片(例如图12(a)到图12(1))中的P片参考(利用像素相关性)的范围也可以限于比各图片(例如图12(a)到图12(l))中的该P片还位于上(前头)侧的P片或I片。但是，即使在不是这种限定的情况下，由于大多一般参考的是与时间上接近(例如紧前面的)的图片在同一位置上的片，所以之前产生的图像质量劣化传播到包含与产生图像质量劣化的像素在同一位置上的像素在内的片是I片的图片之后的图片中的可能性降低。

这里，图13A和图13B表示网络传送流的情况下的比特数差异。

图13A和图13B是用于说明网络传送本发明的实施方式1的流的情形的图。

图13A是表示为便于比较而作为现有例的、以图片为单位(帧单位)网络传送流的情形的图。

图13B是表示以片为单位网络传送流的情形的图。

本发明中，由于I片的块数比P片的块数少，所以如图13B所示，可以减少I片和P片之间的比特数大小的差别。另外，即使I片和P片产生的比特数有偏差，I片中的比特数差异也是周期性的。因此，可以使网络传送的比特数均衡。

这里，如上所述，图12(k)中，作为不包含I片而仅为P片的图片进行编码。由此，在不仅将图13B所示的每个帧编码，还将连续的帧(流)编码的情况下，在帧边界附近，也不会连续编码I片而使大的比特数连续。即，通过使I片的比特数的差异为周期性，可以使网络传送的比特数均衡。

如从图12所看出的，作为图片的片的边界的宏块位置对每个图片(循环)固定地被确定，而不依赖于输入的图像信号的内容。因此，可以以片为单位并行进行编码处理，可实现高速的图像编码装置。

图14是说明本发明的实施方式1的图像编码装置100进行编码的情况下的处理流程图。

首先，片尺寸决定部106判断视频编码器108的编码对象片是否是I片(S101)。具体来说，片分割位置决定部1066判断由片种类取得部1064取得的片的种类。

在片种类取得部1064所取得的片的种类是I片的情况下(S 101的“是”的情况下)，片分割位置决定部1066根据参考部1065中保存的规则，将片分割位置决定为第M块。即，片分割位置决定部1066根据由块数取得部1062取得的块数，将从作为I片的起始的块起的第M块决定为片分割位置。根据从片分割位置决定部1066通知的片分割位置，视频编码器808将I片的片尺寸设为M块进行编码(S104)。

接着，在由片种类取得部1064所取得的片的种类不是I片的情况下(S101的“否”的情况下)，即，由片种类取得部1064取得的编码对象片的种类是P片的情况下，片分割位置决定部1066判断编码对象片是否是图片最后(最下行)的片(S102)。即，片分割位置决定部1066根据由块数取得部1062取得的块数判断编码对象片是否是图片最后的片位置。

在编码对象片是图片最后的片的情况下，片分割位置决定部1066根据参考部1065中保存的规则，将片分割位置决定为第N以下(N＞M)的块。根据从片分割位置决定部1066通知的片分割位置，视频编码器808将图片最后的P片的片尺寸设为N以下(N＞M)的块数进行编码(S105)。图片最后的P片的片尺寸、即构成图片最后的P片的块数由图片块数决定。例如，在图片由L块构成的情况下，将用N除L后的余数作为最后片的块数。

接着，在编码对象片不是图片最后片的情况下，片分割位置决定部1066根据由块数取得部1062取得的块数与由片种类取得部1064取得的片的种类，来判断编码对象的P片在图片内的位置是否是I片紧前面或紧后面的片(S103)。

在编码对象片是I片紧前面或紧后面的片的情况下，如图12所示这样，由于I片插入，P片的块数比N少，所以变为与其块数相对应的片(S105)。即，在编码对象P片是I片紧前面或紧后面的片的情况下，片分割位置决定部1066根据由块数取得部1062取得的块数与由片种类取得部1064取得的片的种类，将构成片的块数设为N以下，来决定I片紧前面或紧后面的P片的片分割位置。

接着，在编码对象片不是I片紧前面也不是I片紧后面的片的情况下，由N块数构成片(S106)。即，片分割位置决定部1066根据由块数取得部1062取得的块数与由片种类取得部1064取得的片的种类，将构成P片的块数设为N，来决定不是I片紧前面或紧后面的P片的片分割位置。

使用图14所说明的S101、S102和S103的判断顺序可以在构成片的块数与上述所描述的内容相同的范围内进行替换。例如，可以替换S102和S103的顺序。

以上，根据本实施方式1，即使在某个时刻因流丢失从而使P片的图像质量劣化，在流丢失后的P片位置上的片按时间顺序在之后的图片中为I片时，也可以正确解码图片，从而可以恢复存在图像劣化的流。因此，可以防止图像质量劣化无限传播。进一步，通过减少片的块数，而增多P片的块数，可以减少图片内的片数。由于片的分割位置可以以图片为单位决定，所以可以实现不会妨碍流水线化或并行化，可减少流丢失的频率，并使处理量减少和压缩率提高的图像编码方法和图像编码装置。

另外，本发明中为了以片为单位进行编码的并行处理，可以准备多个图像编码装置100，而在各并行单位的块数计数部102中如上述这样来计算块数即可。例如，在图11和图12的片分割例中2个并行的情况下，可以分割为图片上半部分6行和下半部分4行的块，而使上半部分和下半部分的处理并行。即，本实施方式1中，P片在图片内的边界位置原则上固定。因此，通过单纯根据块数在固定的边界位置来分割图片，并由多个处理单元(处理器或硬件)加以处理，可以以片为单位使处理并行。

(实施方式2)

接着，下面说明实施方式2。对于与实施方式1相同的结构和相同的动作，省略说明。

图15是表示本发明的实施方式2中的按时间顺序连续的图片的片分割例的图。这里，加斜线的片是I片，其他片是P片。图12中的实施方式1的片分割方法与图15中的本实施方式2的片分割方法的不同在于，I片的紧后面的P片的大小一定(N块)，在I片之下的P片的边界位置(片分割位置)下移I个片的行数。

因此，本实施方式2中，特征为构成图片的片数比实施方式1少。例如，比较图12和图15。若比较图12(a)和图15(a)、图12(b)和图15(b)、图12(d)和图15(d)、以及图12(e)和图15(e)，则构成图15所示的实施方式2的图片的片数较少。因此，可以减少构成图片的片数，可得到可使处理量减少或压缩率提高的效果。

图16是说明本发明的实施方式2的图像编码装置100编码的情况下的处理流程图。对与图14中说明的处理进行相同处理的地方添加同一附图标记，而省略说明。

本实施方式2中，除了图片内最后位置的情形下的P片之外，I片紧后面的位置上的P片的块数为N块。由此，代替图14的S103，若是I片紧前面的片，则如图1 5所示，由于I片插入，P片的块数比N少，所以成为与其块数相对应的片(S110)。即，在编码对象P片为I片紧前面的片的情况下，片分割位置决定部1066根据由块数取得部1062取得的块数与由片种类取得部1064取得的片的种类，将构成片的块数设为N以下，来决定I片紧前面的P片的片分割位置。

(实施方式3)

接着，下面说明实施方式3。对于与实施方式1和2相同的结构和相同动作，省略说明。

图17是表示本发明的实施方式3的按时间顺序连续的图片的片分割例的图。这里，加斜线的片是I片，其他片是P片。

实施方式1中，表示出除了最下行是I片的图片和最上行是I片的图片之间的图片，所有图片中都包含I片的例子。本实施方式3中，假定网络质量高，I片的插入频率也可以较少的情形。该情况下，如图17所示，定期插入不含有I片的图片。

但是，已知在再现流的情况下，一般最好在2秒期间的流中插入1个以上I图片。例如，流再现1秒期间需要30帧的情况下，每60帧需要1个I图片。这里，由于假定不是图片单位，而是片单位下的传送，所以只要以60帧为单位，图片内的I片的位置按时间顺序移动、即、周期性循环即可。

因此，如图17所示那样，即使在按时间顺序连续的每2个图片中定期插入不含有I片的图片，对流再现也不会有影响。因此，在网络质量高，I片的插入频率也可以较少的情况下，可减少比特数多的片内编码的块数，提高压缩率。

图18是说明本发明的实施方式3下的图像编码装置100编码的情况下的处理的流程图。另外，对与图14中说明的处理相同处理的地方添加同一附图标记，而省略说明。

首先，最初片尺寸决定部1 06决定包含视频编码器108的编码对象块的图片中是否包含I片(S200)。

这里，根据参考部1065中保存的表格中记载的规则，由片分割位置决定部1066决定包含编码对象块的图片中是否包含I片。这里，例如如图17所示，决定为每2个图片存在不包含I片的图片。

片尺寸决定部106在决定了包含视频编码器108的编码对象块的图片中含有I片的情况下(S200的“是”的情况下)，为与实施方式1中的图14的流程图相同的处理，所以省略说明。

接着，片尺寸决定部106在决定了包含视频编码器108的编码对象块的图片不包含I片的情况下(S200的“否”的情况下)，片尺寸决定部106判断视频编码器108的编码对象片在图片内的位置是否在最下面(S201)。

视频编码器108根据来自片尺寸决定部106的判断结果的通知，将图片内最下行之外的P片的块数设为N块进行编码(S106)，并使最下行的P片与按时间顺序在编码对象的图片紧前面或紧后面的图片的最下行的P片的块数相同，来进行编码(S105)。

(实施方式4)

接着，下面说明实施方式4。对于与实施方式1和实施方式2相同的结构和相同动作，省略说明。

图19是表示本发明的实施方式4中的按时间顺序连续的图片的片分割例的图。这里，加斜线的片是I片，其他片是P片。图1 5中的实施方式2的片分割方法与图19中的本实施方式4的片分割方法的不同在于，在实施方式2的片分割方法的基础上，还定期插入不包含I片的图片。例如，图19(f)、图19(h)和图19(l)相当于该情形。

如实施方式2那样，在图片整体的P片的边界根据I片的插入位置而移动的情况下，不能如实施方式3所示那样，固定地决定不包含I片的图片的P片的边界位置。因此，实施方式4中，在图片不包含I片的情况下，形成将与按时间顺序在编码对象的图片紧前面的P片的边界相同的位置作为片分割位置的P片。

在图片不包含I片的情况下，也可以分割成将与按时间顺序在编码对象的图片紧后面的P片的边界相同的位置作为片分割位置的P片。也可以分割成将与实施方式3中的不包含I片的图片相同的位置固定作为片分割位置的P片。

(实施方式5)

接着，下面说明实施方式5。对于与实施方式1～实施方式4相同的结构和相同动作省略说明。

图20是表示本发明的实施方式5中的按时间顺序连续的图片的片分割例的图。这里，加斜线的片是I片，其他片是P片。

在之前(实施方式1～实施方式4)的说明中，说明了构成I片的块是构成图片的块的行单位的情形。但是，构成I片的块可以不是构成图片的块的行单位，而是构成图片的块的行的中间一部分的块。图20中，设作I片为构成图片的块的半行的块，按每个图片来交替编码左半部分为I片的情形和右半部分为I片的情形。

由此，在网络质量高，且I片的插入频率也可以较小的情况下，可以减少比特数多的片内编码的块数，提高压缩率。

(实施方式6)

接着，说明实施方式6。实施方式1～实施方式5中，说明了构成I片的块数比构成P片的块数少的情形。实施方式6中，以构成I片的块数与构成P片的块数相同的情形为前提加以说明。

图21是表示本发明的实施方式6中的按时间顺序连续的图片的片分割例的图。这里，加斜线的片是I片，其他的片是P片。这里，各个图片由5个片构成。

图21中，图片N到图片N+9是以该顺序按时间顺序连续的图片。I片的位置从图片N到图片N+4依次在图片内的位置下移1个，而在图片N+4中位于图片内的最下位置。图片N+5中，不包含I片而仅为P片。图片N+6中，图片内的最上位置为I片的位置。这样，图21中，按时间顺序连续的图片内的I片的位置移动。

图22A和图22B是表示本发明的实施方式6中的按时间顺序将各片编码后的比特数的例子的图。图22A和图22B中，表示在以图21所示的片单位来网络传送流的情况下，按时间顺序将各片编码后的比特数的例子。图22A图示了以从上到下的顺序来编码构成图21中表示的图片的片，横轴图示时刻，纵轴图示通过该片的编码产生的比特数的大小的图。如从图21和图22A所看出的，构成图片的I片按时间顺序从上到下的顺序、即、周期性循环。

图22B表示将按时间顺序连续的多个图片编码，并按编码顺序以一定的比特率传送这些图片的情形。这里，图22B中，横轴方向的幅度(长度)表示比特数的大小。

如上所述，在各图片包含相同数量的I片的图9B所示的现有例的情况下，在图片N+4和图片N+5之间I片连续2次。与此相对，在图22B所示的实施方式6的情况下，在图片N+4、图片N+5、图片N+6之间，I片和其下一I片之间的P片固定为5个。即，在以片为单位网络传送流的情况下，通过使I片不连续2次，而使网络传送的比特数均衡。

实施方式6的片结构中，如图22B的区间A～区间E所示那样，任何一个区间上的6个片、即无论哪些连续的6个片都包含1个I片和5个P片。

因此，在以片为单位转换为1个网络传送单位来进行编码控制的情况下，若控制编码，使得“连续的6个片的比特数的和为一定值”，则无论哪一个区间中都可进行成为一定比特数的编码控制。即，可以使网络传送的比特数均衡。

这里，例如，将连续的6个片的比特数的和设作∑BIT，将1个I片和1个P片的编码所产生的比特数分别设作RI、RP。

首先，进行控制使得将要以BIT0(=∑BIT×RI/(RI+5×RP))比特将作为区间A中的I片的片0编码的结果是，实际通过编码产生的比特为BIT0+ΔBIT0比特。该情况下，区间A中，比特数变化了ΔBIT0。

由于区间A中，比特数变化了ΔBIT0，所以区间B中分配∑BIT-ΔBIT0比特。另外，根据实际产生的比特数BIT0+ΔBIT0，来更新RI。

接着，进行控制使得将要以BIT1(＝(∑BIT-ΔBIT0)×RP/(RI+5×RP))比特将片1编码的结果是，实际通过编码产生的比特为BIT1+ΔBIT1比特。该情况下，由于区间B中比特数变化了ΔBIT1，所以与上述同样，区间C中分配∑BIT-ΔBIT1比特。另外，根据实际产生的比特数BIT1+ΔBIT1，来更新RP。

接着，进行控制使得将要以BIT2（=(∑BIT-ΔBIT1)×RP/(RI+5×RP))比特将片2编码的结果是，实际通过编码产生的比特为BIT2+ΔBIT2比特。该情况下，由于区间C中比特数变化了ΔBIT2，所以与上述同样，在区间C中分配∑BIT-ΔBIT1比特。根据实际产生的比特数BIT2+ΔBIT2，来更新RP。

接着，与上述同样，将片3编码之后，并在编码后的片所属的区间的下一区间中调整改变后的比特数。另外，根据实际产生的片的比特数，来更新RP或RI。

如上所述，通过根据实际产生的片的比特数，来更新RI或RP，即使在编码对象图像包含激烈运动的情况下或场景变化等图像的统计量大大变化的情况下，也可通过简单的计算式来导出编码对象片的比特数，并适当控制片单位的比特数。

这里尤其重要的是，虽然存在根据图像的统计量产生的比特数的改变，但是I片的比特数还比P片的比特数大很多。结果，实际产生的比特数的误差(ΔBIT0、ΔBIT1、ΔBIT2等)的大小在I片的情况下变大。

如图9B所示的现有例那样，由于在网络传送时，若I片连续，则大的误差变化连续，所以不仅容易产生图像质量劣化，而且编码控制也变难，很难形成一定的比特率。因此，实施方式6中，在按时间顺序连续的多个图片中，使位于某个图片的I片和下一图片的I片之间的P片的个数或块数一定。由此，在为进行网络传送而编码时，可以抑制实际产生的比特数误差的变化量。

图23是说明本发明的实施方式6中的图像编码装置100编码的情况下的处理流程图。

片内/片间决定部104根据从块数计数部102通知的块数，决定作为视频编码器108编码对象的片是I片还是P片。实施方式6中，片内/片间决定部104将表示P片的行数的值作为计数器L加以保持。片内/片间决定部104使用由块数计数部102通知的块数和计数器L来决定片的种类。

首先，片内/片间决定部104将作为表示P片的行数的值的计数器L初始化为0(S302)后，片内/片间决定部104判断视频编码器108的编码对象片是否为I片。即，片内/片间决定部104判断作为表示P片行数的值的计数器L是否为0以下(S304)。

接着，片内/片间决定部104在计数器L为0以下的情况下(S304的“是”的情况下)，将作为视频编码器108编码对象的片的种类决定为是I片。视频编码器108根据由片尺寸决定部106通知的片分割位置与由片内/片间决定部104通知的片的种类，将作为编码对象的片以I片编码(S306)。

在视频编码器108将作为编码对象的片以I片编码后，片内/片间决定部104向计数器L代入作为连续的图片中的I片插入间隔的I片和其下一I片之间的P片的行数的总计值(S307)。

接着，片内/片间决定部104确认视频编码器108是否对所有图片完成编码(S316)。

片内/片间决定部104在计数器L比0大的情况下(S304的“否”的情况下)，将作为视频编码器108编码对象的片的种类决定为是P片。视频编码器108根据由片尺寸决定部106通知的片分割位置和由片内/片间决定部104通知的片的种类，将作为编码对象的片以P片编码(S312)。

在视频编码器108将作为编码对象的片以P片编码后，片内/片间决定部104从计数器L减去编码后的P片的行数(S313)。

接着，片内/片间决定部104确认视频编码器108是否对所有图片完成编码(S316)。在没有完成的情况下(S316的“否”的情况下)，对所有图像重复S304～S313的处理。

如上这样，本发明的实施方式6中的图像编码装置100在进行编码的情况下，可以在连续的图片中的I片和其下一I片之间插入一定数量的P片。

图24是说明本发明的实施方式6的图像编码装置100进行编码的情况下的处理的流程图。图24进一步细化了图23，对与图23进行相同动作的处理添加同一附图标记，而省略说明。

这里，连续的预定数量的片的比特数的和、即I片的比特数和位于I片及下一I片之间的P片的个数的比特数之和为∑BIT。

这里，片分割位置决定部1066根据由片种类取得部1064取得的片的种类与由块数取得部1062取得的块数，来决定作为视频编码器108编码对象的片的片分割位置。实施方式6中，片分割位置决定部1066保持用于决定片分割位置的作为∑BIT的变化值的ΔBIT、表示I片的比特数的值的PI与表示P片的比特数的值的PR。

首先，片内/片间决定部104用0来初始化作为表示P片行数的值的计数器L。片分割位置决定部1066用0来初始化作为∑BIT的变化值的ΔBIT。将初始值代入表示I片的比特数的值的PI与表示P片的比特数的值的PR(S303)。

接着，片内/片间决定部104判断视频编码器108的编码对象片是否是I片。即，片内/片间决定部104判断作为表示P片行数的值的计数器L是否为0以下(S304)。

片内/片间决定部104在计数器L为0以下的情况下(S304的“是”的情况下)，将作为视频编码器108编码对象的片的种类决定为是I片。片尺寸决定部106中的片分割位置决定部1066在L为0以下的情况下，将(∑BIT-ΔBIT)×RI/(RI+NP×RP)的比特数分配给I片(S305)。即，在由片种类取得部1064取得的片的种类为I片的情况下，片尺寸决定部106通过上述比特数来决定片分割位置，并将决定出的片分割位置通知给视频编码器108。这里，NP是位于连续的图片中的I片和其下一I片之间的P片的个数。

接着，视频编码器108根据由片尺寸决定部106通知的片分割位置与由片内/片间决定部104通知的片的种类，将作为编码对象的片以I片编码(S306)。

视频编码器108在将作为编码对象的片以I片编码后，片内/片间决定部104向计数器L代入作为连续图片中的I片插入间隔的I片和其下一I片之间的P片的行数的总计值(S307)。

这里，片分割位置决定部1066将视频编码器108分配给I片的编码的比特数(∑BIT-ΔBIT)×RI/(RI+NP×RP)与实际将I片编码后的比特数之差的比特数，代入所保持的ΔBIT(S308)。

片分割位置决定部1066将视频编码器108将I片编码后的比特数代入所保持的RI(S309)。

接着，片内/片间决定部104确认视频编码器108是否对所有图片完成编码(S316)。

S304中，若计数器L比0大(S304的“否”的情况下)，则片内/片间决定部104将作为视频编码器108编码对象的片的种类决定为是P片。片尺寸决定部106中的片分割位置决定部1066在计数器L比0大的情况下，将(∑BIT-ΔBIT)×RP/(RI+NP×RP)的比特数分配给P片(S3 11)。即，在由片种类取得部1064所取得的片的种类是P片的情况下，片尺寸决定部106通过上述的比特数来决定片分割位置，并将决定出的片分割位置通知给视频编码器108。

接着，视频编码器108根据由片尺寸决定部106通知的片分割位置与由片内/片间决定部104通知的片的种类，将作为编码对象的片以P片编码(S312)。

视频编码器108在将作为编码对象的片以P片编码后，片内/片间决定部104从计数器L减去编码后的P片的行数(S313)。

这里，片分割位置决定部1066将视频编码器108分配给P片的编码的比特数(∑BIT-ΔBIT)×RP/(RI+NP×RP)和实际将P片编码后的比特数之差的比特数，代入所保持的ΔBIT(S314)。

片分割位置决定部1066将视频编码器108将P片编码后的比特数代入RP(S315)。

接着，片内/片间决定部104确认视频编码器108是否对所有图片完成编码(S316)。在没有完成的情况下(S316的“否”的情况下)，对所有图像重复S304～S315的处理(S316)。

如上这样，本发明的实施方式6的图像编码装置100在连续的图片的I片和其下一I片之间插入一定数量的P片，并进行对片进行了适当的比特分配的编码。

以上，根据实施方式6，即使在某一时刻因流丢失从而P片的图像质量劣化，在流丢失后的P片位置上的片按时间顺序在之后的图片中成为I片时，也可以正确解码图片，可以恢复存在图像劣化的流。因此，可以防止该图像质量劣化无限传播。进一步，由于可以使网络传送的比特数均衡，所以不会妨碍流水线化或并行化，可降低流丢失的频率，同时使处理量减少和压缩率提高。

在进行图23和图24所示的处理时，片分割位置决定部1066决定的I片和P片的分割位置以将相同块数的时刻决定为片分割位置为前提加以说明。但是，与实施方式1～5同样，I片和P片中不同块数的时刻也可以为I片和P片的片分割位置，该情形也包含在本发明的范围内。

实施方式6中，为使说明简单，以构成I片的块数与构成P片的块数相同的情形为前提进行了说明，但是并不限于此。例如，构成P片的块数可以比构成I片的块数多。进一步，也可如实施方式1～5所示那样，构成P片的块数可以不一定，使得根据图片内的I片的位置调整构成P片的块数。

(实施方式7)

接着，说明实施方式7。

图25是表示本发明的实施方式7中的按时间顺序连续的图片的片分割例的图。

图21中的实施方式6的片分割方法与图25中的本实施方式4的片分割方法的不同在于，在实施方式6的片分割方法的基础上，还定期插入不包含I片的图片。例如，图25中的图片N+1、图片N+3、图片N+5、图片N+9和图片N+12分别相当于这些图片。

这样，在定期插入不包含I片的图片的情况下，也通过使位于按时间顺序连续的图片中的I片与该下一I片之间的P片的块数为一定，而可得到与实施方式6同样的效果。

如上所述，在构成图片的片数一定、且构成I片和P片的块数一定的情况下，通过使按时间顺序连续的图片中的I片和其下一I片之间的P片数一定，可得到与实施方式6同样的效果。换而言之，并不限于按时间顺序连续的图片中的I片在图片内最多为1个的图25的例子的情形。时间上连续的图片内的I片可以为2个以上。另外，并不限于位于按时间顺序连续的图片中的I片和其下一I片之间的P片的个数为10个的图25的例子的情形。在构成图片的片数一定、且构成I片和P片的块数为一定的情况下，只要使按时间顺序连续的图片中的I片和其下一I片之间的P片数一定即可。下面表示该例子。

图26是表示本发明的实施方式7中的按时间顺序连续的图片的片分割例的图。图27A和图27B是表示将本发明的实施方式7中的按时间顺序的各片编码后的比特数的例子的图。

图21中的片分割方法与图26中的片分割方法的不同在于，按时间顺序连续的图片中的I片在图片内最多不是1个而是2个。另外，位于按时间顺序连续的图片中的I片和其下一I片之间的P片的个数是2个。该情况下，如图27A和图27B所示，通过使按时间顺序连续的图片中的I片和其下一I片之间的P片数为一定(这里是2个)，可以使网络传送的比特数均衡，而得到与实施方式6同样的效果。

图28、图29、图30和图3 1是表示本发明的实施方式7中的按时间顺序连续的图片的另一片分割例的图。

图28的片分割方法中，按时间顺序连续的图片中的I片在图片内最多为2个。另外，位于按时间顺序连续的图片中的I片和其下一I片之间的P片的个数为2个和1个。

图29和图30的片分割方法中，按时间顺序连续的图片中的I片在图片内最多为2个。另外，位于按时间顺序连续的图片中的I片和其下一I片之间的P片的个数与位于该下一I片及其下面的下一I片之间的P片的个数为3个和2个。

图31的片分割方法中，按时间顺序连续的图片中的I片在图片内最多为3个。另外，位于按时间顺序连续的图片中的3个I片之间的P片的个数是3个、3个和2个。

这些情况下，由于可以使按时间顺序连续的图片中的I片和其下一I片之间的P片数为一定，所以可以使网络传送的比特数均衡，而可得到与实施方式6同样的效果。

另外，通过将图片内的I片的位置移动到最下行后的下一图片作为不包含I片而仅为P片的图片进行编码，可实现比特的均衡。将该例作为变形例在下面加以说明。

图32是表示本发明的实施方式7中的按时间顺序连续的图片的片分割的变形例的图。图33A和图33B是表示将图32中的按时间顺序的各片编码后的比特数的例子的图。

图21中的片分割方法与图32中的片分割方法的不同在于，分别在按时间顺序连续的图片中含有的I片不是1个而是2个。此外，将图片内的I片的位置移动到最下行后的下一图片作为不包含I片而仅为P片的图片加以编码，并在接着的下一图片中回到最上行加以编码。该情况下，也如图33A和图33B所示那样，由于可使比特数有差异的I片不连续地进行网络传送，所以可以使网络传送的比特数均衡。图32中的片分割方法中，由于与使按时间顺序连续的图片中的I片和其下一I片之间的P片数为一定的情形相比，比特数有差异，所以在均衡方面有劣势，但是由于不存在I片连续的情形，所以可以降低网络中的流丢失。

图34、图35、图36和图37是表示本发明的实施方式7中的按时间顺序连续的图片的别的片分割的变形例的图。

图34、图35和图36的片分割方法中，按时间顺序连续的图片中的I片在图片内最多为2个。此外，将图片内的I片的位置移动到最下行后的下一图片(图34中是图片N+3)作为不包含I片而仅为P片的图片进行编码，并在接着的下一图片(图34中是图片N+4)中回到最上行加以编码。这里，如图34所示，位于各图片中的I片之间的P片的个数一定(图34中是2个和1个)。

图37中的片分割方法中，按时间顺序连续的图片中I片在图片内最多为3个，其他与图34、图35和图36同样。

片分割方法并不限于图26～图37所示的例子。按时间顺序连续的各个图片中含有的多个I片的位置也可以不同。按时间顺序连续的各个图片中包含的片数以及各个图片中含有的I片的数都可以任意决定。

以上，根据实施方式7，即使在某个时刻因流丢失从而使P片的图像质量劣化，在流丢失后的P片位置的片按时间顺序在之后的图片中为I片时，也可正确解码图片，可以恢复存在图像劣化的流。因此，可以防止图像质量劣化无限传播。由此，可以实现不妨碍流水线化或并行化，且不降低流丢失的频率，同时使处理量降低和压缩率提高的图像编码方法和图像编码装置。

另外，通过使按时间顺序连续的图片中的I片和其下一I片之间的P片的块数为一定，从而容易进行在连续预定数目的片单位下成为一定比特率的控制，对于运动大的运动图像或包含场景变化的运动图像都可实现一定比特率的编码，而不会有大的图像质量劣化，所以可以进一步降低流丢失的频率。

(实施方式8)

实施方式1～7中，说明了通过在按时间顺序连续的图中，使I片的位置按每个图片从图片的上端移动到下端，来防止图像质量劣化无限传播的图像编码方法和图像编码装置。实施方式1～7中的图像编码装置中，即使在某个时刻因流丢失从而P片的图像质量劣化，在流丢失后的P片位置的片按时间顺序在之后的图片中为I片时，也可正确解码图片。由此，可以防止图像质量劣化无限传播。

但是，基于实施方式1～7的图像编码装置的流中，由于利用图片包含I片和P片的结构，所以不存在仅包含I片的I图片，不能明确定义MPEG-2情况下的GOP(Group OfPictures)结构。因此，接受该流来加以收看的收视者在中途再现该流时，有可能显示收视者感觉不协调的影像。

下面，说明GOP结构之后，说明收视者感觉不协调的可能性。

若进行利用了图片间的像素相关性的压缩，在不存在之前图片的像素时不能正确解码像素。因此，在MPEG-1和MPEG-2中导入GOP结构，该GOP结构使用了将仅进行利用了图片内的像素相关性的压缩的图片即I(片内)图片与进行利用了图片间的像素相关性的压缩的图片即P(片间)图片组合后的编码。通过使用该GOP结构，可以正确解码I图片之后的图片。

图38是表示MPEG-2的图片的GOP结构的图。如图38所示，将由I图片1501和接着该图片的多个P图片1502构成的图片组称作GOP。由于GOP的开头是I图片1501，所以不进行利用了跨GOP的图片间的像素相关性的压缩。由此，接收侧的图像解码装置可以以GOP为单位来正确解码图片。该GOP作为随机访问时、和从中途开始解码的情况下的解码开始单位，可以用于图像解码装置。

在经网络传送编码后的图像数据即流时，在因网络堵塞等从而流的一部分丢失的情况下，不能正确解码与接收侧丢失的流对应的地方的图像。进一步，在利用了图片间的像素相关性的压缩中，不能正确解码的状态还影响到后续的图片解码。即，图像质量劣化还传播到后续的图片。但是，由于在GOP结构中，不进行利用了跨GOP的图片间像素相关性的压缩，所以以GOP为单位的图像质量劣化的传播也停止了。

图39是表示MPEG-2的流结构的图。如图39所示，I图片501的编码数据1511、和P图片1502的编码数据1512分别以构成图38所示的GOP的顺序被配置在流中。另外，I图片1501的编码数据1511和P图片1502的编码数据1512分别包含多个片的编码数据。这里，所谓片是指集中多个块的编码单位。

I图片1501由仅进行利用了图片内的像素相关性的压缩的多个I(片内)片1521构成。P图片1502由进行利用了图片间的像素相关性的压缩的多个P(片间)片1522构成。即，I图片1501的编码数据1511包含多个I片1521的编码数据1514，P图片502的编码数据1512包含多个P片1522的编码数据1514。

该I片1521通过利用该I片1521内的像素相关性来进行编码的片内编码而被编码。P片1522通过片内编码或利用该P片1522与其他片之间的像素相关性来进行编码的片间编码而被编码。即，P片1522利用该P片1522内的像素相关性或与该图片内的该P片1522之外的片之间的像素相关性、或该P片1522与其他图片之间的像素相关性来进行编码。

进一步，在GOP的开头添加有在GOP内的所有图片中共同使用的共用数据1513。因此，图像解码装置若可以以GOP为单位正确取得流，则可以完全正确解码GOP中含有的图片。

这样，图像解码装置中在随机访问时和中途再现时，可以以该GOP为单位来再现流。

另一方面，H.264中，在1个图片中可能混合存在I片1521和P片1522。H.264中，也与MPEG-2同样，I片1521被片内编码，P片1522被片内编码或片间编码。

图40是表示H.264中的图片的片分割例的图。如图40所示，H.264中，与MPEG-2不同，可以由I片1521和P片1522构成图片。这里，由于不利用画面间的像素相关性来编码I片1521，所以可以正确进行解码，而与有无之前图片的像素无关。

但是，在如图40所示，各图片包含I片1521和P片1522的情况下，如MPEG-2的情形那样，不存在仅包含I片1521的I图片1501。由此，不能在I图片1501的紧前面配置共用数据1513。即，在实施方式1～7的图像编码方法中，由于没有明确定义GOP，所以在中途再现时，有可能显示收视者感觉不协调的影像。

具体来说，在I片1521位于图片的中央附近的情况下，由于最先仅显示该中央附近的图像，所以有可能收视者感觉不协调。

因此，下面说明实施方式1～7的图像编码装置在进一步进行中途再现的情况下，生成显示收视者不会感受不协调的影像的运动图像流的例子。

图41是表示本发明的图像编码装置1000的结构框图。

图像编码装置1000包括块数计数部1103、片内/片间决定部1104、片尺寸决定部106、视频编码器108、共用数据生成判断部1106和共用数据生成部1107。对与图10同样的要素添加同一附图标记，而省略详细的说明。

块数计数部1103通过对编码的块数计数，来测量编码对象块对应于图片的哪个位置。块数计数部1103生成表示编码对象块对应于图片的哪个位置的块位置信息，并将所生成的块位置信息通知片内/片间决定部1104和共用数据生成判断部1106。

片内/片间决定部1104使用从块数计数部102通知的块位置信息，来决定编码对象的片是I片还是P片。换而言之，片内/片间决定部1104将编码对象图片分割为I片和P片。

另外，片内/片间决定部1104将表示所决定的片的种类(I片或P片)的片信息通知给视频编码器108的片编码部1105和共用数据生成判断部1106。

由于片尺寸决定部106为与实施方式1～7中说明的要素相同的构成要素，所以省略说明。

共用数据生成判断部1106在从片内/片间决定部1104通知编码对象片为I片的情况下，使用由块数计数部1103通知的块位置信息，来判断编码对象的I片是否位于图片的上端。共用数据生成判断部1106将判断结果通知共用数据生成部1107。

共用数据生成部1107在被共用数据生成判断部1106通知了编码对象片是I片且是位于图片的上端的片的情况下，通过在多个图片上编码共用的数据，来生成共用数据。

视频编码器108由片编码部1105和流生成部1108构成。视频编码器108根据由片尺寸决定部106通知的每个片分割位置的片单位下、由片内/片间决定部104通知的表示片的种类的片信息，以块为单位通过可使用的编码方法(片内编码或片间编码)来编码输入图像。

具体来说，片编码部1105根据由片尺寸决定部106通知的每个片分割位置的片单位下、由片内/片间决定部1104通知的片信息，通过将输入图像作为I片或P片编码，而生成片单位的编码数据。流生成部1108在共用数据生成部1107生成共用数据的情况下，生成在共用数据生成部1107生成的共用数据1211之后配置了片编码部1105编码后的编码数据而成的流。流生成部1108在共用数据生成部1107没有生成共用数据的情况下，输出仅配置了片编码部1105编码后的编码数据而成的流。

通过以上结构，图像编码装置1000如实施方式1～7中所示，在按时间顺序连续的图片中，使I片的位置按每个图片从图片的上端移动到下端。进一步，图像编码装置1000生成将在多个图片中共用的数据配置在I片的位置为上端的图片的紧前面而形成的流。在中途再现该流的情况下，由于从图片的上端向下端，可正确显示图像的区域渐渐变宽，所以可以减少收视者的不协调感。

图像编码装置1000中，使I片的位置按每个图片从图片的上端移动到下端的方法可以是下述的1)或2)，也可以是组合1)和2)后的方法。

1)与构成I片的块数相比，构成P片的块数更多。

2)使插入在连续的图片中的I片和其下一I片之间的P片成为一定。

图像编码装置1000中，也可明示地不具有片尺寸决定部106。该情况下，在图像编码装置中，可以按每个图片使I片的位置从图片的上端移动到下端，也可以生成将多个图片中共用的数据配置在I片的位置为上端的图片的紧前面而形成的流。以该情况下的图像编码装置为前提来说明以下的实施方式。

(实施方式9)

本发明的实施方式9的图像编码装置1100使I片的位置按每个图片从图片的上端移动到下端。进一步，图像编码装置1100生成将多个图片中共用的数据配置在I片的位置为上端的图片的紧前面而形成的流。在中途再现该流的情况下，由于从图片的上端向下端可正确显示图像的区域渐渐变宽，所以可以减少收视者的不协调感。实施方式9中，将以行为单位来片分割各图片作为前提，在下面加以说明。

首先，说明本发明的实施方式9的图像编码装置1100的结构。

图42是表示本发明的实施方式9的图像编码装置1100的结构框图。

图42所示的图像编码装置1100将输入图像1101中含有的多个图片分别分割为分别含有多个块的多个片。进一步，图像编码装置1100以块为单位来编码分割后的各片，生成包含编码后的编码数据的流1102，并输出所生成的流1102。

该图像编码装置1100包括块数计数部1103、片内/片间决定部1104、片编码部1105、共用数据生成判断部1106、共用数据生成部1107和流生成部1108。

块数计数部1103通过对编码的块数进行计数，来测量编码对象块对应于图片的哪个位置。块数计数部1103生成表示编码对象块对应于图片的哪个位置的块位置信息，并将所生成的块位置信息通知片内/片间决定部1104和共用数据生成判断部1106。

片内/片间决定部1104使用从块数计数部1103通知的块位置信息，决定编码对象的片是I片1201还是P片1202。换而言之，片内/片间决定部1104将编码对象图片分割为I片1201和P片1202。

具体来说，片内/片间决定部1 104将编码对象片决定为I片1201或P片1202，使得在连续的多个图片中，I片1201的位置从图片的上端向下端在图片间以显示顺序依次移动(偏移)。进一步，片内/片间决定部1 104将编码对象片决定为I片1201或P片1202，使得按每个预先设置数目的图片重复I片1201从上端向下端的移动。

片内/片间决定部1104将所决定的表示编码对象片是I片1201还是P片1202的片信息通知片编码部1105和共用数据生成判断部1 106。

图43是表示基于图像编码装置1100的图片1200的片分割例的图。图43所示的图片1200a～12001是以该顺序连续的图片。在不特别区分多个图片1200a～12001的情况下，记作图片1200。

如图43所示那样，多个图片1200分别包含(用斜线涂布的)I片1201和(没有用斜线涂布的)P片1202。这里，I片1201是仅进行利用了(图片1200内的)该I片1201内的像素相关性的压缩(片内编码)的片。并且，P片1202是进行利用了该P片1202内的像素相关性(片内编码)、或该P片1202与该图片1200中含有的该P片1202之外的片之间的像素相关性、或该P片1202与其他图片1200之间的像素相关性的压缩(片间编码)的片。即，I片1201仅包含进行片内编码的块，P片1202仅包含进行片间编码的块，或者P片1202包含进行片内编码的块与进行片间编码的块。

图片1200a中，I片1201位于图片1200a的上端，在下一图片1200b中，I片1201的位置下移1个片。I片1201的位置按每个图片1200依次下移1片。在I片1201移动到下端后的图片1200j的下一图片1200k中，I片1201返回到上端。

本发明的实施方式9中，将I片1201位于第1行的图片1200a和1200k设为GOP开头的图片。因此，图43中，图片1200a～1200j构成1个GOP，图片1200k之后构成其他GOP。

这样，本发明的实施方式9中的各图片1200包含较强应对参考图片的流丢失的I片1201与较弱应对参考图片的流丢失但压缩率高的P片1202。进一步，按每个图片来循环图片内的I片1201的位置。由此，即使流的一部分在网络传送中因分组丢失等而丢失，从而P片1202的图像质量劣化，也能够在接下来I片1201位于产生了图像质量劣化的位置上的图片中，没有图像质量劣化地进行解码。这样，本发明的实施方式9的图像编码装置100可以防止图像质量劣化无限传播。

本发明的实施方式9中，与P片1202相比，比特数多的I片1201在所有图片中含有相同数目(相同块数)。由此，各图片单位下的比特数大致一定。这里，在经网络以一定比特率来传送编码后的流的情况下，为了使接收侧解码接收到的流，并以一定间隔无中断地显示解码后的图片，需要使传送最花时间的图片1200传送结束而所需的时间量的延迟时间。由此，本发明的实施方式9中，通过使图片单位的比特数为一定(不存在I片1201较多的图片)，而可减少图片1200的比特数的最大值，所以可以减少图片1200的传送所需的时间的最大值，由此，可以减少延迟时间。

片编码部1105根据从片内/片间决定部1104通知的片信息，将输入图像1101作为I片1201或P片1202加以编码，由此生成片单位的编码数据(下面为片编码数据)。具体来说，片编码部1105利用该I片1201内的像素相关性，以块为单位来编码I片1201。并且，片编码部1 105利用该P片1202内的像素相关性、或该P片1202与该图片1200中含有的该P片1202之外的片之间的像素相关性、或该P片1202与其他图片之间的像素相关性，以块为单位来编码P片1202。由此，生成图片单位的编码数据(下面为图片编码数据)。该图片编码数据包含多个片编码数据。

共用数据生成判断部1106在从片内/片间决定部1104通知了编码对象片是I片1201的情况下，使用由块数计数部1103通知的块位置信息，判断编码对象的I片1201是否位于图片的上端。另外，共用数据生成判断部1106将判断结果通知共用数据生成部1107。

共用数据生成部1107在通过共用数据生成判断部1106被通知编码对象片是I片1201且是位于图片的上端的片的情况下，通过将在多个图片中共用的数据编码而生成共用数据1211。

流生成部1 108在共用数据生成部1107生成了共用数据1211的情况下，输出在共用数据生成部1107生成的共用数据1211之后配置了片编码部1105编码后的编码数据而成的流1102。流生成部1108在共用数据生成部1107没有生成共用数据1211的情况下，输出仅配置了片编码部1105编码后的编码数据而成的流1102。即，流生成部1108在I片1201位于一端的图片被编码后而成的图片编码数据的紧前面配置共用数据1211。流生成部1108在I片1201位于一端的图片被编码后而成的图片编码数据的紧前面之外的地方不配置共用数据1211。

图44是表示本发明的实施方式9中由图像编码装置1100生成的编码流1102的结构图。图44是表示编码图42所示的图片后的情况下的流1102的结构图。

如图44所示，流1102包含共用数据1211和多个图片编码数据1212a～1212j。多个图片编码数据1212a～1212j是分别将多个图片1200a～1200j编码后的编码数据。流1102中，以图片1200a～1200j的顺序来配置图片编码数据1212a～1212j。在不特别区分多个图片编码数据1212a～1212j的情况下，记作图片编码数据1212。

各图片编码数据1212包含多个片编码数据1213。多个片编码数据1213是分别将I片1201或P片1202编码后的数据。即，各图片编码数据1212分别包含将I片1201编码后的片编码数据1213与将P片1202编码后的片编码数据1213。

各图片编码数据1212内的将I片1201编码后的片编码数据1213的位置从图片编码数据1212内的开头到末尾在图片编码数据1212之间依次移动。配置为按每个GOP重复从开头到末尾的移动。

在GOP的开头配置共用数据1211和表示是GOP开头的识别符(未图示)。即，将I片1201编码后的片编码数据1213在图片编码数据1212内位于开头的图片编码数据1212a的紧前面配置共用数据1211和上述识别符。

该共用数据1211是在图像解码装置中的GOP中含有的图片的解码中共同使用的数据被编码后形成的数据。具体来说，该共同使用的数据包含图片的图像尺寸、参考图片的信息和量化矩阵等。这里，所谓参考图片的信息是表示各图片可参考的图片的范围(可参考最多多少个之前的图片以及可参考哪个图片)等的信息。共用数据1211也可称作在流1102中含有的图片的解码中共同使用的数据。

图像解码装置中，在取得该共用数据1211之前，不能正确编码图片1200。即，图像解码装置在进行中途再现等的情况下，仅正确解码共用数据1211之后配置的图片之后，可以加以显示。换而言之，图像解码装置在进行中途再现等的情况下，可以以GOP为单位来解码图片。

这里，本发明的实施方式9中，与MPEG-2的情形不同，GOP的开头图片1200a包含P片1202。因此，进行片间编码的P片1202在GOP的最初的图片1200a中不能正确解码。另一方面，能够正确解码I片1201。由此，也能够正确解码参考正确解码后的I片1201的、在后续图片中含有的P片1202。

图45是说明通过本发明的实施方式9的片分割而能够从GOP的最初起正确解码的片的图。如图45所示，能够正确解码的片1204在GOP开头的图片1200a中仅是最初的1个片(I片1201)，随着成为后续的图片1200，渐渐地还可正确解码下方的片。由此，在GOP的最后的图片1200j中可以正确解码全部片。

这样可以可靠进行正确解码的情形是，P片1202参考的(利用像素相关性)范围限于各图片1200中比I片1201位于上(开头)侧的片或I片1201的情形。因此，在编码P片1202时，最好进行参考比I片1201位于上(开头)侧的片或I片1201内的像素的片间编码或片内编码。但是，即使在没有这种限定的情况下，由于一般参考的多数是时间上接近的(例如紧前面的)图片的相同位置上的片，所以可以大幅降低之前产生的错误传播到包含与产生了错误的像素在同一位置上的像素的片是I片的图片之后的图片中的可能性。

这样，在将流1102解码的情况下，图像解码装置可以从图片1200的上端开始渐渐地正确解码图像来加以显示。

图46是表示图像解码装置进行的流1102的显示例的图。

如图46所示，从图片1200的上端开始向下方，显示图像的区域渐渐地变宽。由于该显示方法与画面的滚动相同，与日常总看到的显示方法类似，所以收视者不会感觉不协调感。这样，本发明的图像编码装置1100在将GOP用作中途解码的开始位置并连续解码其后的GOP的所谓中途再现时，可以生成图像解码装置可显示收视者很难感受到不协调感的影像的运动图像流1102。

这里，图像解码装置在以GOP为单位进行随机解码的情况下，由于不能正确解码所有图像直到GOP最后的图片1200j为止，所以本发明不能说很适合随机访问。但是，如上所述，本发明在中途再现用途的情况下，可以全部正确解码位于图片1200k之后的GOP的片，且可减少中途再现开始时的收视者的不协调感。进一步，在产生了网络传送的流丢失的情况下也可连续解码GOP。即，本发明具有在产生了流丢失的情况下，图像解码装置可以从第二个GOP起正确解码图片中含有的所有片这样的效果。

进一步，GOP中，使I片1201的位置从图片1200的上端位置开始，这是另一个优点。

图47是用于比较的图，是用于说明I片1201位于从上起第3个片的图片是GOP开头的情况下能够正确解码的片的图。图47所示的图片1215a～1215f是以该顺序连续的图片，图片1215a是GOP的开头图片。

图48A～D是表示本发明的实施方式9中的参考图片与对象图片的关系的图。图48A和图48B如本发明那样，是I片1201位于GOP的开头图片的上端的情况下的例子，图48C和图48D是I片1201位于GOP的开头图片的上起第3个片的情况下的例子。

为了正确解码P片1202，必须进行参考了在参考图片中正确解码后的I片1201或可正确解码的P片1202的编码，或进行参考了片内像素的编码。在参考片间的像素进行解码的情况下，在本发明的情况下，如图45所示那样，可以完全正确解码比处理的图片1200的I片1201的位置靠上的位置的片。由此，如图48A和图48B所示那样，在对象图片中P片1202可参考的参考图片的片成为“进行仅参考了对象图片中从I片1201起向上的位置的片的像素的编码”这样的简单规则，所以编码装置的安装容易。

另一方面，GOP的开头图片中I片1201位于从上开始第4片的情况下，如图47所示，不能正确解码比上起第3片还靠上的片。由此，如图48C和图48D所示那样，由于对象图片的P片1202可参考的参考图片的片成为“是对象图片中从I片1201起向上的位置的片，而且是从上起第4片起向下的位置的片”这样的规则，条件增加，所以安装变复杂。

例如，对应于本发明的图48A和图48B所示的P片1202a和1202b中，仅按照“进行仅参考了对象图片中从I片1201起向上的位置的片的像素的编码”这样的规则，就能够判断可参考的片。

另一方面，在图48D所示的P片1202d中，与上述同样，仅按照“进行仅参考了对象图片中从I片1201起向上的位置的片的像素的编码”这样的规则，就能够判断为可参考与该P片1202d位于相同的位置、和位于紧前面与紧后面的位置的片。但是，图48C所示的P片1202c中，为了判断可参考的片，还需要“进行仅参考了从上起第4片起向下的位置的片的像素的编码”这样的规定。

这样，本发明中，通过在GOP的开头图片的上端配置I片1201，可以容易控制P片的参考目标的图片。

通过上述控制，利用该P片1202内的像素相关性、或该P片1202与该图片中的从I片1201的位置到该图片的上端位置为止的片之间的像素相关性、或其他图片中的从I片的位置到位于该其他图片的上端的片为止的片与该片之间的像素相关性，以块为单位将P片1202编码。

接着，说明图像编码装置1100的动作流程。

图49是表示基于图像编码装置1100的片编码动作的流程的流程图。

首先，片内/片间决定部1104将编码对象图片分割为多个片(S1101)。接着，片内/片间决定部1104判断编码对象片是I片1201和P片1202的哪一个(S1102)。

在编码对象片是I片1201的情况下(S1102中的“是”)，共用数据生成判断部1106判断编码对象的I片1201是否是图片开头的片(S1103)。

在编码对象的I片1201是图片开头的片的情况下(S1103中的“是”)，共用数据生成部1107通过编码多个图片中共用的数据，来生成共用数据1211(S1104)。片编码部1105通过将编码对象的I片1201编码，来生成片编码数据(S1105)。

另一方面，在编码对象片不是I片1201的情况下(P片1202的情况下)(S1102中的“否”)、和编码对象的I片1201不是图片的开头片的情况下(S1103中的“否”)，共用数据生成部1107不生成共用数据1211。片编码部1105通过将编码对象片编码来生成片编码数据(S1105)。

接着，流生成部1108在共用数据生成部1107生成了共用数据1211的情况下(S1104)，输出在共用数据1211之后配置了片编码部1105编码后的片编码数据而成的流1102。流生成部1108在共用数据生成部1107没有生成共用数据1211的情况下，输出仅配置了片编码部1105编码后的片编码数据的流1102(S1106)。

由上，本发明的实施方式9的图像编码装置1100生成在I片1201位于图片的上端的图片的紧前面配置了共用数据1211而成的流1102。由此，在进行基于图像解码装置的中途再现时，从图片的上端向下端正确显示图像的区域变宽。该显示方法与画面的滚动同样，与日常总看到的显示方法类似，所以收视者不会感觉不协调。这样，本发明的图像编码方法在中途再现时，可以生成显示收视者很难感觉不协调的影像的流1102。

(实施方式10)

本发明的实施方式10中，说明片分割的变形例。

图50是表示本发明的实施方式10中的各图片的片分割例的图。在上述的实施方式9中，表示了如图43所示那样，以行为单位对各图片进行片分割的例子。实施方式10中，如图50所示那样，片在行的中途被分割。该情况下，也与实施方式9同样，将图片的最初的片(左上端)为I片1201的图片1220a作为GOP的开头图片。

图50所示的图片1220a～1220v是以该顺序连续的图片。图片1220a～1220t构成1个GOP，图片1220u之后构成下一GOP。即，I片1201的位置按每个图片从图片的左上端向右下端依次移动。以GOP为单位来重复该移动。

图51是表示本发明的实施方式10的流1102的结构图。图51是表示将图50所示的图片编码后的情况下的流1102的结构图。

如图51所示，流1102包含共用数据1211与多个图片编码数据1232a～1232v。多个图片编码数据1232a～1232v是多个图片1220a～1220v分别被编码后的数据。流1102中，以图片1220a～1220v的顺序来配置图片编码数据1232a～1232v。

各图片编码数据1232a～1232v包含多个片被编码后的片编码数据1233。多个片编码数据1233分别是I片1201或P片1202被编码后的数据。

与实施方式9同样，在GOP的开头配置共用数据1211和表示是GOP的开头的识别符(未图示)。

通过以上的结构也可得到与实施方式9同样的效果。

这里，描述了将1个行分割为2个片的例子，但是也可以将1个行分割为3个以上的片。片的分割可以以任意的单位进行。例如，可以将2个行分割为3个片。

也可以将1个图片分割为由多行构成的片，同样，将GOP的开头图片的最初的片作为I片1201。

分割单位可以按每个图片不同。但是，若I片1201的大小按每个图片而不同，则编码率改变。

(实施方式11)

本发明的实施方式11中，说明片分割的变形例。

图52是表示本发明的实施方式11中的各图片的片分割例的图。在上述的实施方式9中，如图43所示那样，表示所有图片1200包含I片1201的例子。实施方式11中，如图52所示那样，不包含I片1201的图片包含在GOP中。该情况下也与实施方式9同样，将图片最初的片为I片1201的图片作为GOP的开头图片。

图52所示的图片1240a～1240v是以该顺序连续的图片。图片1240a～1240t构成1个GOP，图片1240u之后构成下一GOP。

如图52所示那样，在连续的图片中，交替配置包含I片1201的图片与不包含I片1201的(仅包含P片1202)图片。进一步，在包含I片1201的图片中，将I片1201的位置从图片的上端依次移动到下端。以GOP为单位重复该移动。

图53是表示本发明的实施方式11中的流1102结构的图。图53是表示将图52所示的图片编码后的情况下的流1102的结构图。

如图53所示，流1102包括共用数据1211和多个图片编码数据1252a～1252t。多个图片编码数据1252a～1252t分别是多个图片1240a～1240v被编码后的数据。流1102中，以图片1240a～1240v的顺序来配置图片编码数据1252a～1252t。

各图片编码数据1252a～1252t包含多个片被分别编码后的多个片编码数据1253。多个片编码数据1253分别是I片1201或P片1202被编码后的数据。

与实施方式9同样，在GOP的开头配置了共用数据1211和表示是GOP的开头的识别符(未图示)。

通过以上的结构也可得到与实施方式9同样的效果。

这里描述了交替配置包含I片1201的图片与不包含I片1201的图片的例子，但是并不限于此，在GOP包含1个以上不包含I片1201的图片的情况下也可得到与实施方式9同样的效果。

(实施方式12)

本发明的实施方式12中，说明片分割的变形例。

在上述的实施方式9中，如图43所示那样，表示了各图片1200包含1个I片1201的例子。实施方式11中，说明各图片包含2个I片1201的例子。在该情况下，也与实施方式9同样，将图片最初的片为I片1201的图片作为GOP的开头图片。

图54是表示本发明的实施方式12中的各图片的片分割例的图。

图54所示的图片1260a～1260f是以该顺序连续的图片。图片1260a～1260e构成1个GOP，图片1260f之后构成下一GOP。如图54所示那样，各图片1260a～1260e包含连续的2个I片1201。进一步，使连续的2个I片1201的位置从图片的上端依次移动到下端。以GOP为单位来重复该移动。

在使用了图54所示的结构的情况下，也可得到与实施方式9同样的效果。

本发明的实施方式12中的流1102的结构与上述的实施方式9中的流1102的结构同样。具体来说，流1102包含共用数据1211和多个图片1260a～1260e被编码后的多个图片编码数据。与实施方式9同样，在GOP的开头配置共用数据1211和表示是GOP的开头的识别符(未图示)。

这里，描述了连续配置I片1201的例子，但是也可各图片包含不连续的多个I片1201。

图55是表示本发明的实施方式12中的各图片的片分割例的变形例的图。

图55所示的图片1270a～1270f是以该顺序连续的图片。图片1270a～1270e构成1个GOP，图片1270f之后构成下一GOP。

如图55所示，各图片1270a～1270e包含2个I片1201。该2个I片1201夹着1个以上的P片1202配置。例如，在该2个I片1201之间配置4个P片1202。

在使用了图55所示的结构的情况下也可得到与实施方式9同样的效果。

各图片也可包含2个以上的I片1201。

(实施方式13)

本发明的实施方式13中，说明片分割的变形例。

图56是表示本发明的实施方式13中的各图片的片分割例的图。在上述的实施方式9中，如图43所示那样，表示各图片1200中包含的I片1201与P片1202的大小(包含的块数)相同的情况下的例子。实施方式13中，如图56所示，P片1202比I片1201大。该情况下也与实施方式9同样，将图片最初的片为I片1201的图片作为GOP的开头图片。

图56所示的图片1280a～12801是以该顺序连续的图片。图片1280a～1280k构成1个GOP，图片12801之后构成下一GOP。

I片1201的位置按每个图片从图片的上端依次移动到下端。以GOP为单位来重复该移动。

在使用了图56所示的结构的情况下也可得到与实施方式9同样的效果。

各图片1280a～1280j和12801包含比I片1201大的P片1202。

这样，通过增大P片1202，可以减少图片中含有的片数目。由此，由于可以减少片开头的初始化次数，所以可以减少编码时的处理量。由于可以减少片头的代码量，所以可以提高压缩效率。

这里，在I片1201和P片1202的大小相等的情况下，I片1201的比特数比P片1202的比特数多。例如，I片1201的比特数为P片1202比特数的2～10倍。与此相对，本发明的实施方式13中，通过使P片1202比I片1201大，可以缩小I片1201和P片1202之间的比特数的差。

另外，图45所示的图片1200a～12001中，存在各图片1200中含有的I片1201的间隔不是等间隔的问题。具体来说，在图片1200a的I片1201与图片1200b的I片1201之间配置包含1个图片量的块的多个P片1202。但是，使图片1200j的I片1201和图片1200k的I片201连续配置。即，短时间的平均比特数不一定。

这里，在编码时，根据刚刚产生的比特数，预测接下来要编码的片的编码后比特数。如上所述，在短时间的平均比特数不一定的情况下，存在该比特数的预测变困难的问题。

与此相对，本发明的实施方式13中，GOP最后的图片1280k不包含I片1201。由此，可以使图片1280j的I片1201与作为其下一I片1201的图片12801的I片1201之间配置的P片1202的大小相同。由此，可以容易进行编码时的比特数预测。

本发明的实施方式13的流1102结构与上述实施方式9中的流1102的结构相同。具体来说，流1102包含共用数据1211与多个图片1280a～12801被编码后的多个编码数据。与实施方式9同样，在GOP的开头配置共用数据121 1和表示是GOP的开头的识别符(未图示)。

上述实施方式10～13中，说明了将I片1201按每个GOP从图片的上端(左上端)移动到下端(右下端)的例子，但是也可从下端(右下端)移动到上端(左上端)。即，I片1201可以按每个GOP从图片的一端移动到另一端。

流生成部1108在流1102中，不需要将共用数据1211总是配置在I片1201位于图片的上端(一端)的图片的紧前面。换而言之，包含多个上述GOP的图片也可以是1个GOP。即，在1个GOP内，可以重复多次使I片1201从图片的一端向另一端的移动。

上述实施方式10～13中，分别说明了片分割的变形例，但是也可组合上述实施方式10～13的变形例。

(实施方式14)

本发明的实施方式14中，说明了通过将实现上述实施方式1～13所示的图像编码装置用的程序记录在软盘等记录媒体中，来在独立的计算机系统中实施上述实施方式1～13所示的处理的例子。

图57A～图57C是使用软盘等记录媒体中记录的程序，通过计算机系统实施上述各实施方式的图像编码装置的情况下的说明图。

图57A是表示作为记录媒体主体的软盘的物理格式的例子的图。图57B是表示从正面看软盘1300的外观、软盘1300的截面结构和盘1301的图。

软盘1300包括外壳1302和内置在外壳1302内的盘1301。在盘1301的表面上按同心圆状从外周向内周形成多个轨道1303。各轨道1303在角度方向被分割为16个扇区1304。因此，在盘1301上所分配的区域上记录了上述程序。

图57C是表示向软盘1300记录上述程序、和从软盘1300进行上述程序的读出和再现的计算机系统1310的结构图。例如在将实现图像编码装置1000的上述程序记录到软盘1300中的情况下，计算机系统1310将上述程序经软盘驱动器1311写入到软盘1300中。

通过执行软盘1300内的程序而在计算机系统1310中构筑图像编码装置1000的功能的情况下，通过软盘驱动器1311从软盘1300中读出程序，并传送到计算机系统1310中。计算机系统1310通过执行所传送的程序，而实现上述的图像编码装置1000的功能。

上述说明中，作为记录媒体以软盘1300为例进行了说明，但是还可使用光盘来同样进行。记录媒体并不限于此，若是IC卡、ROM盒等可记录程序的记录媒体，也可以同样加以实施。此外，并不限于可在计算机系统1310中装卸的记录媒体，还可以使计算机系统1310执行计算机系统1310具有的HDD(硬盘驱动器)、非易失性存储器、RAM和ROM中记录的程序。进一步，计算机系统1310也可执行经有线或无线的通信网取得的程序。

对于上述的实施方式1～13所示的图像编码装置，同样可以由计算机系统1310实现。

图41所示的图像编码装置1000中包含的各功能块可以作为集成电路的LSI实现。这些可以分别单芯片化，或使其包含一部分或全部而单芯片化。例如也可单芯片化存储器之外的功能块。这里，作为LSI根据集成度的不同，还可称作IC、系统LSI、超级LSI、顶级LSI。

集成电路的方法并不限于LSI，也可通过专用电路或通用处理器来实现。在LSI制造后，可以使用可编程的FPGA(Field Programmable GateArray)、或可重新构成LSI内部电路单元的连接和设置的可重构处理器

若因半导体技术的进步或派生，可替换LSI的集成电路的技术出现，当然也可使用该技术来进行功能块的集成化。有可能是生物技术的适用等。

各功能块中，可以仅不单芯片化用于存储作为编码对象的数据的单元，而为分立的结构。

以上，根据实施方式说明了本发明的图像编码方法和图像编码装置，但是本发明并不限于该实施方式。只要不脱离本发明的精神，将本领域内普通技术人员可想到的各种变形适用于本实施方式的情形或组合不同实施例方式中的构成要素来加以构筑的方式也包含在本发明的范围内。

产业上的可用性

本发明可以用于运动图像解码装置，尤其可用于利用了网络的运动图像双向通信或运动图像分发、监视摄像机等将运动图像编码的通信设备或细设备。

Claims (8)

1.一种图像编码装置，将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：

分割单元，将图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及

编码单元，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；

所述分割单元改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且分别分割所述多个图片，使得所述按时间顺序连续的多个图片中，I片中包含的块数与该I片和其下一I片之间含有的1个以上的P片中包含的块数之和成为预定值。

2.根据权利要求1所述的图像编码装置，其特征在于：

所述分割单元分别分割所述多个图片，使得所述按时间顺序连续的多个图片中，预定的I片和其下一I片之间含有的P片的数目成为预定值。

3.根据权利要求1所述的图像编码装置，其特征在于：

所述多个图片分别包含至少2个I片；

所述分割单元分别分割所述多个图片，使得在所述按时间顺序连续的多个图片中，预定图片内的所述2个I片中，I片和其下一I片之间含有的P片的块数成为预定值。

4.根据权利要求1所述的图像编码装置，其特征在于：

所述分割单元进一步在所述按时间顺序连续的多个图片中的一定数目的图片中，将至少1个图片分割为不包含I片的多个P片。

5.根据权利要求1所述的图像编码装置，其特征在于：

所述分割单元进一步将所述图片分割为块数为M的I片与除了位于所述图片内的特定位置的P片之外的多个块数为N的P片，其中，M是0以上的整数，N是1以上的整数，且M＜N。

6.根据权利要求1所述的图像编码装置，其特征在于：

所述分割单元进一步将所述图片分割为I片和P片，使得在所述按时间顺序连续的多个图片中，每预先设置的数目的图片，I片的位置从一端到另一端的移动重复；

所述编码单元包括：

编码数据生成部，通过对所述I片利用该片内的像素相关性进行编码，对所述P片利用该片内的像素相关性或该片和其他片之间的像素相关性进行编码，来生成所述按时间顺序连续的多个图片的编码数据；以及

流生成部，生成包含所述按时间顺序连续的多个图片中共用的数据与所述按时间顺序连续的多个图片的编码数据的流；

所述流生成部在所述I片位于所述一端的图片被编码后而成的编码数据的紧前面配置所述共用的数据。

7.一种图像编码方法，将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：

分割步骤，将图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及

编码步骤，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；

所述分割步骤改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且分别分割所述多个图片，使得所述按时间顺序连续的多个图片中，I片中包含的块数与该I片和其下一I片之间含有的1个以上的P片中包含的块数之和成为预定值。

8.一种集成电路，将图像信号分割为由多个块构成的片，并以块为单位将各片编码，其特征在于，包括：

分割单元，将图片分割为利用片内的像素相关性进行编码且由多个块构成的I片与利用片内的像素相关性和片间的像素相关性进行编码且由多个块构成的P片；以及

编码单元，通过以块为单位将所述各片编码，将按时间顺序连续的多个图片编码；

所述分割单元改变所述按时间顺序连续的多个图片的各个图片内的I片位置，使得在所述按时间顺序连续的多个图片中的一定数目的图片中，该多个图片内的I片的位置循环，并且分别分割所述多个图片，使得所述按时间顺序连续的多个图片中，I片及其与下一I片之间含有的1个以上的P片中包含的块数之和成为预定值。

Images