CN102138327B - 运动图像编码方法、运动图像编码装置以及集成电路 - Google Patents

Abstract

一种运动图像编码方法，包括：图像变换步骤(S11)，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；运动图像编码步骤(S13)，对在所述图像变换步骤被输出的所述编码对象图像进行编码，并将该编码位流发送到所述传输路径上；位速率决定步骤(S13)，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围选择步骤(S14)，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码对象图像的分辨率不超过所述上限值。

Description

运动图像编码方法、运动图像编码装置以及集成电路

技术领域

本发明涉及图像编码方法以及图像编码装置，尤其涉及以MPEG(Moving Picture Experts Group：运动图像专家组)-4AVC方式，即以ITU(国际电信联盟)-T H.264方式，按照作为目标的位速率对分辨率与帧率进行恰当地切换的图像编码方法以及图像编码装置。 

背景技术

近些年，迎来了声音、图像以及其他的综合处理了像素值的多媒体时代，将例如报纸、杂志、电视、收音机以及电话等以往的信息媒体中的信息传达到人的方法，被作为多媒体的对象而被提出。一般而言，多媒体不仅是指文字，而且还以图形或声音来表现，尤其能够以与图像等同时相关联的状态来表现。在将上述以往的信息媒体作为多媒体的对象时，必要条件是需要将该信息转换为数字形式来表现。 

然而，在将上述各个信息媒体所具有的信息量以数字信息量来计算时，文字的情况下，1个文字所具有的信息量是1-2字节。而在声音的情况下，1秒需要64Kbits(电话通话质量)，进一步在运动图像的情况下，1秒则需要100Mbits(目前的电视接收质量)以上的信息量。因此，在上述的信息媒体以数字形式直接处理这些庞大的信息是不现实的。例如，电视电话是以具有64Kbit/s-1.5Mbit/s传输速度的综合服务数字网(ISDN：IntegratedServices Digital Network)而被实用化的。但是，电视以及摄像机的影像是不能以原本的数字信息量由ISDN来传输的。 

因此，需要信息的压缩技术。例如，在电视电话的情况下所采用的运动图像压缩技术是ITU-T(国际电信联盟电信标准化联盟)推荐的H.261或H.263标准。并且，在MPEG-1标准的信息压缩技术中，图像信息能够与声音信息一起被记录到通常的用于音乐的CD(致密光碟)中。 

在此，MPEG(Moving Picture Experts Group：运动图像专家组)是指，由ISO/IEC(国际标准化组织国际电工委员会)标准化的运动图像信号压缩的国际标准。MPEG-1是将运动图像信号压缩到1.5Mbit/s，即压缩到 电视信号信息的1/100的标准。并且，在MPEG-1标准中，成为对象的质量是中等程度的质量，也就是说根据传输速度主要以1.5Mbit/s来实现的质量，进一步使要满足高画质的要求的MPEG-2标准化。在MPEG-2中以2-15Mbit/s的速度来实现电视播放质量。 

并且，现状是通过MPEG-1、MPEG-2以及进行了标准化的工作组(ISO/IEC JTC1/SC29/WG11)，达成了超过MPEG-1以及MPEG-2的压缩率，而且，能够以物体为单位进行编码、解码以及操作，实现多媒体时代所需要的新的功能的MPEG-4被标准化。MPEG-4达成了MPEG-1以及MPEG-2以上的压缩率，而且能够以物体为单位进行编码、解码以及操作。 

在MPEG-4中，最初是以低位速率的编码方法的标准化为目标而被推广的，逐渐地扩展为也包括具有交错图像的高位速率的编码方法的通用编码。而且，目前通过ISO/IEC和ITU-T的共同协作，作为更高压缩率的图像编码方式，MPEG-4AVC(ITU-T H.264)被标准化。 

图像信号可以考虑为是由连续的图片(也称为帧或场)构成的，该图片是指在同一个时刻的像素的集合。并且，像素根据在图片内与近旁的像素之间的相关性强这一特性，而被进行利用了图片内的像素相关性的压缩。而且，在连续的图片之间也根据像素的相关性强这一特性，而被进行利用了图片间的像素相关性的压缩。 

在此，将利用了图片间的像素的相关性和图片内的像素的相关性的压缩称为帧间编码。并且，将不利用图片间的像素的相关性，而仅利用图片内的像素的相关性的压缩称为帧内编码。帧间编码由于利用了图片间的相关性，因此能够实现比帧内编码更高的压缩率。 

并且，在MPEG-1，MPEG-2，MPEG-4，MPEG-4AVC(H.264)中，构成作为像素的集合的二维的矩形区域的块(或作为将多个块集合在一起的上位概念的块的宏块)，并且能够以块为单位对帧内编码与帧间编码进行切换。 

另外，近些年利用了ADSL或光导纤维的高速网络环境逐渐得到普及。据此，即使在一般的家庭也能够以超过数Mbit/s的位速率来进行收发。而且，在今后的几年内有可能以数十Mbit/s的位速率来进行收发。 

这样，通过利用上述的图像编码技术，可以预想到不仅是利用专用线路的企业，即使是一般的家庭也能够推广TV播放质量以及HDTV播放质 量的TV电话(电视电话)以及TV会议系统(电视会议系统)的导入。 

并且，利用了ADSL或光导纤维的高速网络也将不会是面向企业的高价的频带保证型专用网络，而是多个用户能够共同使用的廉价的尽力服务(Best Effort)型的网络。在尽力服务型的网络中，事先决定了各个用户在利用的时间中所使用的位速率的和的上限值。因此，在利用的用户数量多的时间内每一个用户所能够使用的位速率降低，在利用的用户数量少的时间内每一个用户所能够使用的位速率增高。也就是说具有因时间的不同而能够利用的位速率发生较大的变化的特点。 

并且，在运动图像中具有像单一色彩这种非常容易压缩的图像(画面全体为同一色彩、同一亮度的图像)。另一方面，也具有如白噪声这种像素之间没有任何相关性的压缩非常困难的图像。这样，即使是针对这种压缩的难易度相差较大的运动图像，没有较大的画质降低并且能够稳定地进行图像编码则变得非常重要。 

在以往的图像编码装置中，在对压缩比较困难的运动图像进行编码的情况下，需要预先将图像的分辨率转换为较低的分辨率，并使将要被编码的像素数减少后再进行编码(专利文献1)。 

图24是以往的运动图像编码装置的说明图。图24的左侧列是将要进行编码的编码对象图像的图像大小(分辨率)，示出了实际被编码的分辨率。另一方面，图24的右侧列示出了在对对应的编码对象图像进行解码后，将图像大小扩大并以显示装置进行显示时的显示图像大小。 

在此，在编码对象图像中存在比较容易压缩的图像和压缩比较困难的图像。在容易压缩的运动图像的情况下(图24的上部)，不变更编码对象图像的分辨率而进行编码，并且对在图像解码装置解码后得到的显示图像以原有的分辨率来进行显示。 

另一方面，在压缩比较困难的运动图像的情况下，针对编码对象图像的像素数(分辨率)，纵横分别缩小到3/4倍(图24的中部)或1/2倍(图24的下部)，对像素数较少(分辨率低)的编码对象图像进行编码。并且，针对图像解码装置解码后的显示图像的分辨率，纵横分别扩大到4/3倍或2倍，从而以与原有的运动图像相同的像素数(分辨率)来显示。 

由于以较少的像素数(分辨率)来进行编码，即使是对压缩比较困难的图像进行编码，也能够防止画质的大幅度降低。然而，在进行显示时， 即使将较小的像素数的图像扩大为较大的像素数的图像，也不能以作为被编码的像素数的较少像素数所能够表现的精确度(精细度)以上的精确度来表现，因此，与等倍编码的图像相比图像变得较模糊。 

并且，针对压缩困难的图像，不仅有变更分辨率的方法，而且还有控制作为编码对象图像的单位时间内的帧数的运动图像的帧率，以及控制在以块为单位进行编码时的量化步长的方法。 

图25是示出在具有分辨率、帧率、以及量化步长的动态变更的状态下的以往的图像编码装置的方框图。如图25所示，以往的图像编码装置主要包括：分辨率变更电路501、帧率变更电路502、运动图像编码电路503、量化步长控制电路506、帧率控制电路507、以及分辨率设定电路508。 

正如专利文献1所示，分辨率设定电路508按照图像的压缩的难易度来决定将要编码的分辨率，并将将要编码的图像的分辨率作为分辨率信号S64通知给分辨率变更电路501。分辨率变更电路501将以规定的分辨率从运动图像输入端子500输入的运动图像信号S60，变换为由分辨率设定电路508通知来的分辨率。 

帧率控制电路507将编码图像的帧率作为帧率信号S67，通知给帧率变更电路502。帧率变更电路502将分辨率被变更后的运动图像信号S61的帧率，变更为从帧率控制电路507通知来的帧率。 

量化步长控制电路506将在运动图像编码电路503量化的量化步长作为量化步长信号S66，通知给运动图像编码电路503。运动图像编码电路503以从量化步长控制电路506通知来的量化步长，对帧率被变更后的运动图像信号S62量化后并进行编码，并且将位流S63输出到位流输出端子504。 

在量化步长控制电路506，根据作为目标的编码位速率、由运动图像编码电路503输出的位速率S63的编码量、以及帧率信号S64的值，来决定量化步长。并且，帧率控制电路507按照在量化步长控制电路506决定的量化步长信号S66的值，来决定帧率。 

在这样的构成中，分辨率是由分辨率设定电路508按照图像的压缩难易度而被决定的。并且，分辨率变更后的图像的压缩难易度的程度发生了变化的情况下，帧率和量化步长被动态控制，以便成为目标的位速率来工作。 

现有技术文献 

专利文献1日本特开2001-160969号公报 

然而，在上述以往的构成中，在输入图像的压缩的难易度的程度发生较大的变化的情况下，尤其存在低位速率情况下的画质大幅度降低的问题。 

在压缩比较容易的情况下以及利用帧间编码对静止图像进行编码的情况下，由于能够以非常低的位速率来进行编码，因此向分辨率变更电路501发出通知，以便在分辨率设定电路508设定最大的分辨率。另一方面，在低位速率的情况下，仅因为成为压缩稍有困难的图像(人物或物体的运动)，就会发生由量化步长的增大而造成的模糊或块失真。并且，即使使帧间的间隔剔除增大并降低帧率，由于剩余的帧间的相关性变小，帧间的间隔剔除所产生的压缩效果变小。其结果是，造成严重的跳帧现象，若不降低分辨率则看到的影像会很不舒适。 

若以小的压缩的难易度变化(运动很少的变化)频繁地切换分辨率，则能够防止块失真或因慧差造成的画质降低。但是，若以小的压缩的难易度的变化，频繁地切换分辨率，则因频繁地分辨率的切换而导致的频繁地模糊程度的变化，会使画质降低变得显著。 

在尽力服务型的互联网中，在出现混杂时，能够传输的位速率会因时间的不同而出现大的变动(也会有成为几分之一的位速率的情况)。最近，不断地以图像编码装置来进行TV会议或TV电话，PC(个人电脑)的操作也增多了。 

在经由处于连接状态的相同的网络从PC下载文件或阅览、编辑服务器中的文件时，能够在图像编码装置使用的位速率会急剧变少。在中断这种PC操作之时，引起位速率增大等急剧地变化的状况会增多。 

这样，在能够传输的位速率发生变动的状况下，除依存于图像的内容的压缩困难以外，位速率也会被联动，分辨率被频繁地切换，从而导致非常严重的画质降低。 

发明内容

本发明为了解决上述以往的问题，目的在于提供一种运动图像编码方法，即使在输入运动图像的压缩的难易度的程度发生大的变化，或成为目标的编码位速率发生大的变化，也能够以没有不协调感的画质来对图像进行编码。 

本发明的一个实施例所涉及的运动图像编码方法对输入图像进行编码从而生成编码位流，并将该编码位流发送到传输路径上。具体而言，包括：图像变换步骤，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；运动图像编码步骤，对在所述图像变换步骤被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定步骤，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码对象图像的分辨率不超过所述上限值。 

根据上述构成，即使输入图像的编码的难易度发生急剧地变化，分辨率也不会发生大的变更。尤其能够防止在分辨率大的状态下以低位速率对压缩困难的图像所进行的编码。这样，能够有效地防止在主观上的画质劣化。 

并且，也可以是，在所述分辨率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象图像的分辨率的下限值，并控制在所述图像变换步骤的变更，以使所述编码对象图像的分辨率不低于所述下限值。 

并且，也可以是，在所述分辨率变换步骤，从所述编码对象图像的分辨率被变更后直到至少满足以下两个条件之中的一方为止，不变更所述编码对象图像的分辨率，所述两个条件是指，直到经过规定的时间为止以及直到规定数量的所述输入图像被处理为止。由于分辨率变更刚被变更后的编码对象图像是利用画面内预测而被编码的，因此编码效率会出现一时性的降低。因此，直到使编码效率安定而所需要的规定的时间经过为止，以及/或者直到规定数量的输入图像(帧)被处理为止，最好不再次变更编码对象图像的分辨率。 

并且，也可以是，所述编码位速率是根据所述传输路径所能够传输的位速率而被决定的，所述传输路径所能够传输的位速率是通过计测在发送设备与接收设备之间实际能够收发的编码位流量而得到的。另外，实际上能够收发的编码量可以通过通知从接收设备向发送设备接收的数据数量或 没能接收的数据数量来获得。编码位速率的决定方法不仅限于此，例如也可以是用户指定的固定值。 

并且，也可以是，该运动图像编码方法包括：量化步长算出步骤，算出能够使所述编码位流成为能够以在所述位速率决定步骤决定的所述编码位速率来传输的编码量的量化步长，并以算出的所述量化步长，使所述运动图像编码步骤进行所述编码对象图像的量化；以及平均值算出步骤，算出量化步长平均值，该量化步长平均值是在规定时间内在所述量化步长算出步骤被算出的所述量化步长的平均值。同样，所述图像变换步骤包括：画质决定步骤，根据在所述平均值算出步骤算出的所述量化步长平均值，判断所述输入图像的编码的难易度，从而决定所述编码对象图像的分辨率以及帧率；分辨率变更步骤，将所述输入图像的分辨率变更为在所述画质决定步骤决定的分辨率；以及帧率变更步骤，将所述输入图像的帧率变更为在所述画质决定步骤决定的帧率。 

并且，“在规定的时间内被算出的量化步长的平均值”例如可以是从编码对象图像的最初的帧率到目前为止的平均值。而且，在变更了分辨率之后的规定期间中，由于量化步长的值不稳定，因此也可以从平均值的算出处理中除外。 

具体而言，也可以是，在所述画质决定步骤，预先保持第一分辨率以及第二分辨率的至少一方，所述第一分辨率是比刚刚决定的分辨率小的分辨率，所述第二分辨率是比刚刚决定的分辨率大的分辨率。并且，也可以是，在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第一阈值大，且保持的所述第一分辨率在所述下限值以上的情况下，使所述分辨率变更步骤将所述输入图像的分辨率变更为所述第一分辨率；在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持的所述第二分辨率在所述上限值以下的情况下，使所述分辨率变更步骤将所述输入图像的分辨率变更为所述第二分辨率。 

并且，也可以是，所述画质决定步骤，预先保持第一帧率以及第二帧率的至少一方，所述第一帧率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的帧率。并且，也可以是，在所述分辨率变更步骤所述输入图像的分辨率被变更为所述第一分辨率的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第二帧率；在所述分辨率变更 步骤所述输入图像的分辨率被变更为所述第二分辨率的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第一帧率。 

比起帧率而言，分辨率对编码效率以及画质的影响较大。因此，通过与将分辨率变小相对应地将帧率变大，与将分辨率变大相对应地将帧率变小，从而能够抑制编码效率以及画质的急剧变动。 

并且，也可以是，所述画质决定步骤，预先保持第一帧率以及第二帧率的至少一方，所述第一帧率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的帧率。并且，也可以是，在所述平均值算出步骤算出的所述量化步骤平均值比预先决定的第一阈值大，且保持的所述第一分辨率低于所述下限值的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第一帧率；在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持的所述第二分辨率超过所述上限值的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第二帧率。 

通过以上构成，在表示输入图像的难易度的“量化步长的平均值”发生变化之时，能够在上限值以及下限值的范围内变更分辨率，并且在分辨率不能被变更到此范围以上的情况下，能够通过变更帧率来进行调整。 

并且，用于在图像变换步骤判断“输入图像的编码难易度”的参数不仅限于量化步长，只要是在导出量化步长时所需要的数值，也可以使用其他的数值。例如，也可以使用量化参数。或者，量化步长为按照每个频率成分而不同的多个数值的组合。并且，在量化步长算出步骤保持有被改变了倍率的多个上述的组合(例如32组)。因此，可以将相当于该倍率的数值作为用于判断“输入图像的编码的难易度”来使用。 

本发明的一个实施例所涉及的运动图像编码装置，对输入图像进行编码从而生成编码位流，并将该编码位流发送到传输路径上。具体而言，包括：图像变换部，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；运动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定部，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围选择部，按照在所述位速率决定部决定的所述编 码位速率，决定所述编码对象图像的分辨率的上限值，并控制所述图像变换部，以使所述编码对象图像的分辨率不超过所述上限值。 

本发明的一个实施例所涉及的程序使计算机对输入图像被编码从而生成编码位流，并使该编码位流被发送到传输路径上。具体而言，使计算机执行以下步骤：图像变换步骤，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；运动图像编码步骤，对在所述图像变换步骤被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定步骤，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值，并控制在所述图像变换步骤的变更，以使所述编码对象图像的分辨率不超过所述上限值。 

本发明的一个实施例所涉及的集成电路，对输入图像进行编码从而生成编码位流，并将该编码位流发送到传输路径上。具体而言，包括：图像变换部，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；运动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；位速率决定部，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及分辨率范围选择部，按照在所述位速率决定部决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值，并控制所述图像变换部，以使所述编码对象图像的分辨率不超过所述上限值。 

并且，本发明不仅可以作为运动图像编码方法或运动图像编码装置来实现，也可以作为实现这些功能的集成电路来实现，还可以作为使计算机执行这些功能的程序来实现。并且，这些程序是可以通过CD-ROM等记录介质以及互联网等传输介质来流通。 

通过本发明的运动图像编码方法以及运动图像编码装置，即使输入运动图像的压缩的难易度发生大的变化，或成为目标的编码位速率发生大的变化，也能够防止以低位速率且高分辨率对容易压缩的图像进行编码的情况。这样，能够在不发生因以低位速率频繁地对分辨率进行切换而产生的 模糊等不协调感的情况下，对运动图像进行编码，从而能够防止主观上的画质降低。 

附图说明

图1A是实施例1所涉及的运动图像编码装置的方框图。 

图1B是示出实施例1所涉及的运动图像编码装置的最小构成的方框图。 

图1C是示出图1B的运动图像编码装置的工作的流程图。 

图2是图1的分辨率变更电路的详细方框图。 

图3示出了分辨率变更处理前的图像(a)与分辨率变更处理后的图像(b)-(d)的关系。 

图4是图1的帧率变更电路的详细方框图。 

图5是帧率变更处理的时序图。 

图6是图1的运动图像编码电路的详细方框图。 

图7是示出图1的量化步长控制电路的工作的流程图。 

图8是示出图1的量化步长平均电路的工作的流程图。 

图9示出了图1的分辨率范围选择电路所保持的位速率与分辨率范围之间的关系。 

图10是示出图1的分辨率和帧率选择电路的工作的流程图。 

图11示出了在分辨率和帧率选择电路行进状态迁移的一个例子。 

图12示出了状态迁移的具体例子。 

图13示出了图12的各个状态中的分辨率、帧率、迁移条件以及迁移目的地状态ID。 

图14示出了状态迁移的其他的具体例子。 

图15A示出了作为记录介质本身的磁盘的物理格式的例子。 

图15B示出了保持磁盘的外壳的正面图、截面图以及磁盘。 

图15C示出了用于在软盘上进行上述程序的记录再生的构成。 

图16是示出实现内容分发服务的内容提供系统的全体构成的一个例子的模式图。 

图17示出了便携式电话的外观。 

图18是示出便携式电话的构成例子的方框图。 

图19是示出数字广播用系统的全体构成的一个例子的模式图。 

图20是示出电视机的构成例子的方框图。 

图21示出了向如光盘这种记录介质中进行信息的读写的信息再生记录部的构成例子的方框图。 

图22示出了如光盘这种记录介质的构成例子。 

图23是示出实现各个实施例所涉及的图像编码方法以及图像解码方法的集成电路的构成例子的方框图。 

图24示出了以往的编码对象图像与显示图像之间的关系。 

图25是以往的运动图像编码装置的方框图。 

具体实施方式

以下利用实施例1-4对本发明的具体内容进行说明。 

(实施例1) 

图1A是示出本发明的实施例1所涉及的运动图像编码装置10的构成的方框图。 

运动图像编码装置10包括：分辨率变更电路(分辨率变更部)101、帧率变更电路(帧率变更部)102、运动图像编码电路(运动图像编码部)103、位速率决定电路(位速率决定部)105、量化步长控制电路(量化步长算出部)106、量化步长平均电路(平均值算出部)107、分辨率范围选择电路(分辨率范围选择部)108、以及分辨率和帧率选择电路(画质决定部)109。并且，该运动图像编码装置10从运动图像输入端子100获得运动图像信号S10，将生成的位流S13从位流输出端子104送出到传输路径。 

分辨率变更电路101将从运动图像输入端子100获得的运动图像信号S10的分辨率，变更为以分辨率选择信号S18通知的分辨率。帧率变更电路102将分辨率被变更后的运动图像信号S11的帧率，变更为由帧率选择信号S19通知的帧率。 

另外，以上述的分辨率变更电路101和帧率变更电路102以及后述的分辨率和帧率选择电路109构成图像变换部110，该图像变换部110将输入图像(相当于“运动图像信号S10)变换为编码对象图像(相当于“运动图像信号S12”)。该图像变换部110按照输入图像的编码的难易度，来变更输入图像的分辨率以及帧率的至少一方，并输出编码对象图像。 

运动图像编码电路103获得以量化步长信号S16通知的量化步长(或量化参数)和表示分辨率变更有无的分辨率变更发生信号S20，对被变更了帧率的运动图像信号S12进行编码，并生成位流S13。并且，在运动图像编码电路103进行编码时所需要的图像的分辨率的信息以及帧率的信息，被包含在运动图像信号S11或运动图像信号S12中。并且，运动图像编码电路103将生成的位流S13，经由位流输出端子104送出到传输路径上。量化步长控制电路106获得编码位速率信号S14、帧率选择信号S19、位流S13，并决定量化步长。并且，量化步长控制电路106也可以不输入位流S13，而输入位流S13的比特数。 

量化步长平均电路107获得量化步长信号S16和分辨率变更发生信号S20，并求出量化步长平均值，该量化步长平均值是规定的时间内的相同分辨率的量化步长的平均值。量化步长平均值的具体算出方法没有特殊的限定，例如可以通过指数加权移动平均运算来算出。 

位速率决定电路105决定从运动图像编码电路103输出的位流S13的编码位速率。关于编码位速率的具体决定方法没有特殊的限定，例如可以根据传输路径能够传输的位速率来决定。并且，也可以接受用户指定的编码位速率的输入。 

分辨率范围选择电路108获得编码位速率信号S14，根据编码位速率来决定由编码对象图像的分辨率的上限值和下限值构成的分辨率选择范围。分辨率和帧率选择电路109获得量化步长平均值信号S17和分辨率选择范围信号S15，并决定编码对象图像的分辨率以及帧率。并且，分辨率和帧率选择电路109输出分辨率选择信号S18、帧率选择信号S19、以及分辨率变更发生信号S20。 

以下参照图1B以及图1C，对实施例1所涉及的运动图像编码装置10的最小构成进行说明。首先，如图1B所示，运动图像编码装置10包括：图像变换部20、运动图像编码部30、位速率决定部40、以及分辨率范围选择部50。该运动图像编码装置10对输入图像进行编码并生成编码位流，并将该编码位流发送到传输路径上。并且，图像变换部20相当于图1A的图像变换部110，运动图像编码部30相当于图1A的运动图像编码电路103、量化步长控制电路106、以及量化步长平均电路107，位速率决定部40相当于图1A的位速率决定电路105，分辨率范围选择部50相当于图1A的分 辨率范围选择电路108。 

图像变换部110获得输入图像，变更获得的输入图像的分辨率以及帧率之中的至少一方，并生成编码对象图像，将生成的编码对象图像输出到运动图像编码电路103(步骤11)。并且，编码对象图像的分辨率以及帧率，是根据从量化步长平均电路107获得的输入图像的编码难易度和从分辨率范围选择电路108获得的分辨率的上限值而被决定的。 

运动图像编码电路103从图像变换部110获得编码对象图像，对获得的编码对象图像进行编码并生成编码位流，并将生成的编码位流发送到传输路径上(步骤12)。并且，运动图像编码电路103、量化步长控制电路106以及量化步长平均电路107，根据到现在时刻为止已经编码了的编码对象图像的编码处理的结果，来推定下一个输入图像的编码的难易度，并通知给图像变换部110。 

位速率决定电路105决定被发送到传输路径上的作为编码位流的位速率的编码位速率，并将决定的编码位速率通知到分辨率范围选择电路108(步骤13)。 

分辨率范围选择电路108按照在位速率决定步骤决定的编码位速率，决定编码对象图像的分辨率的上限值，通过将决定的分辨率的上限值通知给图像变换部110，从而控制在图像变换部110的处理，以使编码对象图像的分辨率不超过上限值(步骤14)。 

图2示出了图1的分辨率变更电路101的构成方框图。并且，图3的(a)到(b)示出了与帧存储器的像素位置相对应的写入地址和读出地址。 

如图2所示，分辨率变更电路101包括：水平方向低通滤波器电路301、垂直方向低通滤波器电路302、帧存储器303、以及写入读出控制电路305。该分辨率变更电路101从运动图像输入端子300获得运动图像信号S10，从分辨率选择信号输入端子304获得分辨率选择信号S18，并将变更了运动图像信号S10的分辨率后的运动图像信号S11输出到运动图像输出端子306。 

水平方向低通滤波器电路301对运动图像信号S10进行水平方向的低通滤波处理，并输出运动图像信号S31。垂直方向低通滤波器电路302对运动图像信号S31进行垂直方向的低通滤波处理，并输出运动图像信号S32。帧存储器303记忆一帧的运动图像信号S32。写入读出控制电路305 控制帧存储器303的写入以及读出。 

水平方向低通滤波器电路301以及垂直方向低通滤波器电路302对输入图像进行平均化处理，并按照从分辨率选择信号输入端子304输入的分辨率选择信号S18来切换低通特性。具体而言，在分辨率的缩小比率大的情况下(在变更为低分辨率的图像的情况下)，使仅将低频成分通过的低通滤波器的通过区域的频带变窄，在分辨率的缩小比率小的情况下(在变更为中等程度的分辨率的图像的情况下)，使将低中频成分通过的低通滤波器的通过区域的频带变宽。并且，低频滤波处理是用于抑制因缩小处理而在下采样(downsampling)时发生的折叠噪声的处理。 

在从运动图像输入端子300输入的运动图像信号S10中，被施加了按照分辨率选择信号S18的恰当的通过区域的水平方向以及垂直方向的低通滤波处理。接着，被执行了低通滤波处理的运动图像信号S32，由写入读出控制电路305被依次写入到帧存储器303的写入地址位置。 

图3(a)是运动图像信号S10的一个例子。像素被配置在存储器中从左向右的二维地址上，并且在水平方向上，下一行的地址比上一行增加H。写入读出控制电路305按照从分辨率选择信号输入端子304获得的分辨率选择信号S18的缩小比率，控制缩小后的图像的写入地址以及读出地址。图3(b)示出了，在将图3(a)的图像以水平方向的缩小比率＝垂直方向的缩小比率＝1(以下简单记作“缩小比率”)输出的情况下的运动图像信号S10的该像素的读出地址。同样，图3(c)示出了在以缩小比率＝3/4进行输出的情况下的运动图像信号S10的该像素的读出地址，图3(d)示出了在以缩小比率＝1/2进行输出的情况下的运动图像信号S10的该像素的读出地址。这样，通过仅抽出对运动图像信号S10进行了低通滤波处理后的像素的所在位置的像素，并写入到帧存储器303，从而生成缩小后的图像。接着，写入读出控制电路305从帧存储器303依次读出被抽出的地址，并作为运动图像信号S11输出到运动图像输出端子306。 

图4示出了图1的帧率变更电路102的构成方框图。图5是示出帧率变更电路102的工作的时序图。 

如图4所示，帧率变更电路102包括：运动图像输入端子200，被输入分辨率被变更后的运动图像信号S11；帧率选择信号输入端子201，被输入帧率选择信号S19；帧存储器202，记忆获得的运动图像信号S11；写入读 出控制电路203，控制帧存储器202的写入以及读出；以及运动图像输出端子204，输出变更了帧率的运动图像信号S12。 

从运动图像输入端子200输入的运动图像信号S11被写入到帧存储器202。具体而言，写入读出控制电路203按照图5所示的时序图(最上一行)的写入帧编号，控制向帧存储器202的写入，从而将运动图像信号S11依次写入到帧存储器。 

接着，写入读出控制电路203按照从帧率选择信号输入端子201获得的帧率选择信号S19，依照图5所示的时序图(第二行至第五行)的读出帧编号，从帧存储器202间隔地抽出帧，进行间歇地读出，并作为运动图像信号S12进行输出。据此，来进行帧率的变更。 

图6示出了运动图像编码电路103的构成方框图。如图6所示，运动图像编码电路103包括：输入图像存储器401、差分运算电路402、正交变换电路403、量化电路404、可变长编码电路405、逆量化电路408、逆正交变换电路409、加法运算电路410、参考图像存储器411、运动矢量检测电路412、运动补偿电路413、画面内预测电路414、编码模式选择控制电路415、以及预测图像选择电路416。该运动图像编码电路103，从运动图像输入端子400获得运动图像信号S 12，从量化步长输入端子407获得量化步长信号S16，从分辨率变更发生信号输入端子417获得分辨率变更发生信号S20，并将位流S13输出到位流输出端子406。 

输入图像存储器401将被输入的运动图像信号S12的像素顺序进行调换，变换为以块为单位的运动图像信号S41。差分运算电路402算出被块划分后的运动图像信号S41与预测图像信号S48之间的差分，并输出差分信号S42。 

正交变换电路403对差分信号S42进行正交变换，并输出系数信号S43。量化电路404以量化步长信号S16对系数信号S43进行量化，并输出量化值S44。可变长编码电路405对量化值S44进行可变长编码。 

逆量化电路408以量化步长信号S16对量化值S44进行逆量化，并输出逆量化后的系数信号S46。逆正交变换电路409对逆量化后的系数信号S46进行逆正交变换，并输出逆正交变换后的运动图像信号S47。加法运算电路410对逆正交变换后的运动图像信号S47与预测图像信号S48进行加法运算，并生成参考图像数据S49。参考图像存储器411对参考图像数据 S49进行暂时记忆。 

运动矢量检测电路412对从参考图像存储器411读出的参考图像数据S50与块划分后的运动图像信号S41进行比较，并输出运动矢量信号S52。运动补偿电路413按照运动矢量信号S52，从参考图像存储器411读出参考图像数据S50，利用被读出的参考图像数据S50进行运动补偿，并输出生成的运动预测图像数据S51。 

画面内预测电路414对从参考图像存储器411读出的编码对象块近旁的图像数据与被块划分后的运动图像信号S41进行比较以及画面内预测，并生成画面内预测图像数据S53。 

编码模式选择控制电路415通过获得被块划分后的运动图像信号S41、运动预测图像数据S51、画面内预测图像数据S53、以及分辨率变更发生信号S20，从而输出模式选择信号S54。在没有发生分辨率变更的情况下，对画面内预测以及画面间预测的哪一个最恰当进行判断，以作为预测模式。对于具体的判断方法不做特殊的限定，例如可以对块划分后的运动图像信号S41以及运动预测图像数据S51的差分绝对值的和、与块划分后的运动图像信号S41以及画面内预测图像数据S53的差分绝对值的和进行比较。并且，也可以是，在前者的值小的情况下选择画面间预测，在后者的值小的情况下选择画面内预测。另外，在发生了分辨率变更的帧为最初的帧的情况下，必须选择画面内预测。 

预测图像选择电路416按照模式选择信号S54，选择画面内预测图像数据S53以及运动预测图像数据S51的某一方，并输出预测图像信号S48。 

据此，在没有发生分辨率的变更的情况下，按照输入的运动图像信号的每个块，对该块内的输入的运动图像信号选择最恰当的预测模式。另外，在发生了分辨率的变更的帧是最初的帧的情况下，画面内预测模式被选择。并且，运动图像编码电路103对块划分后的运动图像信号S41与该运动图像信号S41的预测图像信号S48的差分信号S42进行正交变换，对得到的系数信号S43以从量化步长输入端子407输入的量化步长信号S16来进行量化，对得到的量化值S44进行可变长编码，并输出位流信号。发生的编码量随着量化步长信号S16的值增大而减少，相反在量化步长信号S16的值变小时增多。即，利用量化步长信号S16来控制发生的编码量。 

图7是示出量化步长控制电路106的工作的流程图。 

量化步长控制电路106首先判断被输入的帧是否为在进行编码时的最初的帧(步骤100)。在不是流的最初的帧的情况下(步骤100的“否”)，量化步长控制电路106等待以在步骤103至步骤106决定的量化步长对该帧所进行的编码的结束(步骤102)。并且，由于帧的编码是由运动图像编码电路103进行的，因此，在量化步长控制电路106仅进行等待该帧的编码结束的工作。 

并且，在是最初的编码帧的情况下(步骤100的“是”)，量化步长控制电路106将累加差分编码量(TBD)复位为0，将事前决定的初始量化步长设为当前的量化步长(步骤101)。并且，等待该帧的编码结束(步骤102)。 

接着，量化步长控制电路106在该帧的编码结束的时刻，根据获得的目标位速率(TBR)和帧率(FR)，利用公式1来求出作为目标的每一帧的平均编码量(AFB)(步骤103)。 

AFB＝TBR/FR    (公式1) 

接着，量化步长控制电路106计数位流S13的编码量。并且，量化步长控制电路106根据从计数结果得到的每一帧的发生编码量(FBT)和每一帧的目标编码量(AFB)，利用公式2来求出累加差分编码量(TBD)(步骤104)。 

TBD+＝FBT-AFB    (公式2) 

接着，量化步长控制电路106根据每一帧的平均编码量(AFB)和累加差分编码量(TBD)，利用公式3来求出下一个帧的目标编码量(TFB)(步骤105)。 

TFB＝AFB-TBD    (公式3) 

接着，量化步长控制电路106根据当前帧的量化步长(QS(n-1))、每一帧的发生编码量(FBT)、下一帧的目标编码量(TFB)，利用公式4来求下一个帧的量化步长(QS(n))，并输出该值(步骤106)。 

QS(n)＝QS(n-1)×FBT/TFB    (公式4)

并且，量化步长控制电路106对所有帧的编码是否已经结束进行判断(步骤107)。在还残留有将要编码的帧的情况下(步骤107的“否”)，针对下一帧执行上述的处理(步骤100至步骤106)。另外，在所有的帧的编码都结束了的情况下(步骤107的“是”)，结束该处理。即，直到所有的帧的编码全都结束为止反复执行上述的处理。 

通过上述的处理，将在一帧的编码结束时所发生的编码量(FBT)与平均编码量(AFB)之间的差加到累加差分编码量(TBD)中，相加后的值则为在当前的帧的编码结束时的发生编码的累加误差。于是，量化步长控制电路106求出下一个帧的目标编码量(TFB)，以使在下一个帧累加差分编码量(TBD)成为0。 

由于目标编码量(TFB)与实际发生的发生编码量(FBT)在一般情况下是不一致的，因此会产生新的误差，不过通过反复上述的处理，发生编码量的平均值则与成为目标的每一帧的平均编码量一致。即，通过利用在上述的处理中算出的量化步长来进行编码，从而能够得到以目标位速率(TBR)来传输的编码位流。 

图8是示出量化步长平均电路107的工作的流程图。另外，在图8中示出的例子是，利用指数加权移动平均运算来算出量化步骤平均值。 

量化步长平均电路107首先判断被输入的帧是否为在编码时的最初的帧(步骤200)。在不是流的最初的帧的情况下(步骤200的“否”)，量化步长平均电路107等待该帧的编码结束(步骤202)。另外，由于帧的编码是在运动图像编码电路103被执行的，因此，在量化步长平均电路107仅进行等待该帧的编码结束的工作。 

另外，在是编码时的最初帧的情况下(步骤200的“是”)，量化步长平均电路107对量化步长平均值进行初始化(步骤201)，等待该帧的编码的结束(步骤202)。 

接着，量化步长平均电路107判断是否从编码时的最初的帧开始经过了规定的帧数(步骤203)，以及判断是否从发生了分辨率的变更开始经过了规定的帧数(步骤204)。并且，在两个条件均成立的情况下(步骤203、步骤204均为“是”)，量化步长平均电路107根据当前的帧的量化步长值(QS(n))、前一帧的量化步长平均值(QSema(n-1))、以及加权系数W，利用公式5来求当前帧的量化步长平均值(QSema(n))(步骤205)。 

QSema(n)＝W×QSema(n-1)+(1-W)×QS(n)(公式5)

在公式5中的加权系数W是利用公式6而被算出的常数。该加权系数W控制量化步长平均值的变动的程度，加权系数W越大越不容易变动，加权系数越小越容易变动。另外，加权系数W可以是在设计时等被指定的固定值，也可以是按照状况能够变更的可变值。 

W＝m/256(m＝0～255)(公式6)

并且，在两个条件中有一个不成立的情况下(步骤203、步骤204的某一个为“否”)，不进行量化步长平均值(QSema)的运算，而保持上一次的量化步长平均值(QSema)。 

并且，量化步长平均电路107判断所有的帧的编码是否都已结束(步骤206)。在还残留有将要编码的帧的情况下(步骤206的“否”)，对下一个帧执行上述的处理(步骤200至步骤205)。另外，在所有的帧的编码结束了的情况下(步骤206的“是”)，结束该处理。即，直到所有的帧的编码全都结束为止反复执行上述的处理(步骤200至步骤205)。 

图9是用于说明分辨率范围选择电路108的工作的参照表。如图9所示，分辨率范围选择电路108将位速率、编码对象图像的分辨率的下限值以及上限值对应起来保持。在图9所示的例子中，在阈值Rth0以上(记作“高位速率”)的情况下，在阈值Rth1以上且不足阈值Rth0(记作“中位速率”)的情况下，以及在不足阈值Rth1(记作“低位速率”)的情况下，分别设定了编码对象图像的分辨率的下限值以及上限值。 

并且，分辨率范围选择电路108对从位速率决定电路105获得的编码位速率信号S14的值与阈值Rth0以及阈值Rth1进行比较。并且，按照比较的结果，分辨率范围选择电路108对由编码对象图像的分辨率的上限值和下限值构成的分辨率选择范围信号S15进行输出。 

图10是示出分辨率和帧率选择电路109的工作的流程图。分辨率和帧率选择电路109根据获得的量化步长平均值信号S17和分辨率选择范围信号S15，依照图10的流程来决定编码对象图像的分辨率和帧率。 

分辨率和帧率选择电路109首先判断被输入的编码对象帧是否为最初的帧(步骤300)。在编码对象帧不是最初的帧的情况下(步骤300的“否”)，分辨率和帧率选择电路109以当前设定的分辨率和帧率等待该帧被编码(步骤302)。并且，由于帧的编码是由运动图像编码电路103进行的，因此，在分辨率和帧率选择电路109仅进行等待该帧的编码结束的工作。 

另外，在编码对象帧是最初的帧的情况下(步骤300的“是”)，分辨率和帧率选择电路109将事先决定的初始状态ID设定到状态ID。而且，将初始状态ID所示出的分辨率作为分辨率选择信号S18来输出，将初始状态ID所示的帧率作为帧率选择信号S19来输出(步骤301)。并且，分辨 率和帧率选择电路109以该分辨率和帧率来等待该帧的编码的结束(步骤302)。 

在帧的编码结束的时刻(步骤302的“是”)，分辨率和帧率选择电路109判断是否从流的最先头经过了规定的帧数(步骤303)，或者判断从发生了分辨率的变更开始是否经过了规定的帧数以及/或经过了规定的时间(步骤304)。并且，在这两个条件之中有一个不成立的情况下(步骤303、步骤304中的一方为“否”)，分辨率和帧率选择电路109不变更现状的状态ID和该ID所示的分辨率以及帧率，而进行保持。相反，在两个条件均成立的情况下(步骤303、步骤304都为“是”)，决定在下一帧的编码中所使用的分辨率和帧率。 

分辨率和帧率选择电路109按照输入图像的编码的难易度，决定编码对象图像的分辨率以及帧率。实施例1中的“编码的难易度”是根据量化步长平均值信号S17而被判断的。即，量化步长平均值信号S17越大则判断为编码困难，量化步长平均值信号S17越小则判断为容易编码。并且，编码对象图像的分辨率是在分辨率选择范围信号S15所示的分辨率的上限值以及下限值的范围内被选择的。具体而言是按照图11所示的状态迁移图来决定的。 

图11示出了分辨率和帧率的一般性组合。分辨率和帧率的组合分别被分配有状态ID(S11至S44)。各个状态ID保持了用于从当前的状态ID迁移到其他的状态ID的迁移条件。并且，当前的状态ID与其他的状态ID的关系可以包括：在上下方向邻接的情况(分辨率的变更)、在左右方向邻接的情况(帧率的变更)、以及在斜方向邻接的情况(分辨率以及帧率的变更)。并且，也可以不必邻接。不过，大多数情况是仅利用这些组合中的有限的组合，实际上向不迁移的状态的迁移条件总是被视为“伪(False)”。 

参照图10、图12、图13以及图14对状态迁移的具体例子进行说明。 

图12示出了状态迁移的一个例子。在分辨率和帧率选择电路109中总是被设定有某一个状态ID。并且，作为用于从当前的状态ID向其他的状态ID迁移的迁移条件，具体而言是保持量化步长平均值信号S17的阈值。 

图13是示出各个状态ID中的分辨率、帧率、迁移条件1和2、以及状态迁移目的地1和2的表。并且，在图13的例子中，迁移条件1是指量化步长平均值信号S17的上限值(QpUth)，迁移条件2是指量化步长平均 值信号S17的下限值(QpLth)。并且，迁移条件1是用于使分辨率以及帧率的某一方变小的条件，迁移条件2是用于使分辨率以及帧率的某一方变大的条件。另外，在图12以及图13的例子中，当前的状态ID仅向与上下方向(分辨率)以及左右方向(帧率)邻接的其他的状态ID迁移。 

图14示出了状态迁移的其他的例子。在图14的例子中，除满足图12以及图13所示的迁移条件1和2以外，还在满足了迁移条件3和4的情况下进行状态迁移。迁移条件3是指比迁移条件1的上限值(QpUth)大的第二上限值(QpUth2)，迁移条件4是指比迁移条件2的下限值(QpLth)小的第二下限值(QpLth2)。并且，在图12和图14中即使是相同的状态迁移也会有迁移条件不同的情况。 

首先，分辨率和帧率选择电路109读出与当前的状态ID相对应的迁移条件1、迁移条件2、状态迁移目的地1以及状态迁移目的地2(步骤305)。若将当前的状态ID为S11，则图13的第一行被读出。 

接着，分辨率和帧率选择电路109对量化步长平均值信号S17与迁移条件1进行比较(步骤306)。并且，判断状态迁移目的地1的分辨率是否包含在分辨率选择范围内(步骤307)。 

在量化步长平均值＞迁移条件1(步骤306的“是”)，且状态迁移目的地1的分辨率被包含在分辨率选择范围内的情况下(步骤307的“是”)，分辨率和帧率选择电路109检索状态迁移表，并将状态迁移目的地1的状态ID所示的分辨率的值作为分辨率选择信号S18来输出，将帧率的值作为帧率选择信号S19来输出(步骤308)。并且，将状态ID变更为状态迁移目的地1的状态ID(步骤309)。而且，由于状态ID的变更而分辨率发生变更的情况下(步骤320的“是”)，将分辨率变更发生信号S20设定为有效(步骤322)，在分辨率没有发生变更的情况下(步骤320的“否”)，将分辨率变更发生信号S20设定为无效(步骤321)。 

在此，参照图12以及图13，对图10的步骤306至步骤307的处理的具体例子进行说明。另外，在以下说明中的分辨率选择范围信号S15示出高位速率的情况下的分辨率选择范围。 

例如，在当前的状态ID为S11的情况下，迁移条件1成立时的状态迁移目的地1则为S21。在此，S21的分辨率为1280×720，包含在该位速率的情况下的分辨率选择范围内(图9)。即，能够进行从S11向S21的状态 迁移。 

另外，在当前的状态ID为S21的情况下，迁移条件1成立时的状态迁移目的地1则为S22。这是因为S21中的分辨率与高位速率中的分辨率的下限值一致，没有使分辨率变小的余地的缘故。因此，在没有分辨率的变更的状态下，从S21向S22进行状态迁移。 

另外，迁移条件1成立的情况下的状态迁移目的地虽然是预先规定的，但并非受此所限，也可以利用其他的方法。例如，虽然向使分辨率减少的方向进行状态迁移(图12的下方向)，但在不能低于分辨率选择范围的下限值的情况下，向该方向进行状态迁移。另外，在低于下限值的情况下，也可以向使帧率减少的方向(图12的右方向)进行状态迁移。 

进一步，参照图14对图10的步骤306至步骤307的处理的其他的具体例子进行说明。另外，以下的说明中的分辨率选择范围信号S15示出高位速率的情况下的分辨率选择范围。 

例如，当前的状态ID为S12的情况下，迁移条件1成立时的状态迁移目的地1则为S21。即，在图14的例子中与图12的例子的不同之处是，使分辨率变小，并与此相对应地使帧率变大。这是因为，通过使分辨率变小从而使压缩变得容易，因此，即便使帧率稍微增大一些，与分辨率高的前一个状态相比，也不至于导致画质的劣化。 

并且，在当前的状态ID为S21的情况下，迁移条件1成立时的状态迁移目的地1为S22，与图12的例子相同。但是与图12的例子的不同之处是，为了使帧率进一步变小(即从S22向S23迁移)，则在有关量化步长平均值方面，需要满足比迁移条件1的条件严格的迁移条件3。这是因为，由于在使分辨率变小时比使帧率变小时的画质的劣化不明显，因此容易迁移到小分辨率的S31的缘故。 

即，在中位速率的情况下，比起迁移条件3而言，首先符合量化步长平均值的条件不太严格的迁移条件1，从而向分辨率小的S31迁移。另外，在高位速率的情况下，由于S31的分辨率在选择范围外，因此不满足迁移条件1，根据迁移条件3而迁移向帧率小的S23。 

另外，在量化步长平均值≤迁移条件1的情况下(步骤306的“否”)，分辨率和帧率选择电路109，对量化步长平均值信号S17与迁移条件2进行比较(步骤310)。并且，判断状态迁移目的地1的分辨率是否包含在分辨 率选择范围内(步骤311)。 

在量化步长平均值＜迁移条件2(步骤310的“是”)，且状态迁移目的地2的分辨率被包含在分辨率选择范围内的情况下(步骤311的“是”)，分辨率和帧率选择电路109检索状态迁移表，并将状态迁移目的地2的状态ID所示的分辨率的值作为分辨率选择信号S18来输出，将帧率的值作为帧率选择信号S19来输出(步骤312)。并且，将状态ID变更为状态迁移目的地2的状态ID(步骤313)。而且，由于状态ID的变更而分辨率发生变更的情况下(步骤320的“是”)，将分辨率变更发生信号S20设定为有效(步骤322)，在分辨率没有发生变更的情况下(步骤320的“否”)，将分辨率变更发生信号S20设定为无效(步骤321)。 

接着，参照图12以及图13对图10的步骤310至步骤311的处理的具体例子进行说明。并且，在以下的说明中分辨率选择范围信号S15示出中位速率的情况下的分辨率选择范围。 

例如，在当前的状态ID为S32的情况下，迁移条件2成立时的状态迁移目的地2则为S22。在此，S22的分辨率为1280×720，包含在中位速率的情况下的分辨率选择范围内(图9)。即，能够进行从S32向S22的状态迁移。 

另外，在当前的状态ID为S22的情况下，迁移条件2成立时的状态迁移目的地2则为S21。这是因为S22中的分辨率与中位速率中的分辨率的上限值一致，没有使分辨率变大的余地的缘故。因此，在没有分辨率的变更的状态下，从S22向S21进行状态迁移。 

另外，在上述的例子中，迁移条件2成立的情况下的状态迁移目的地虽然是预先规定的，但并非受此所限，也可以利用其他的方法。例如，虽然向使分辨率增大的方向进行状态迁移(图12的上方向)，但在不能高于分辨率选择范围的上限值的情况下，向该方向进行状态迁移。另外，在高于上限值的情况下，也可以向使帧率增大的方向(图12的左方向)进行状态迁移。 

进一步，参照图14对图10的步骤310至步骤311的处理的其他的具体例子进行说明。另外，以下的说明中的分辨率选择范围信号S15示出中位速率的情况下的分辨率选择范围。 

例如，在当前的状态ID为S31的情况下，迁移条件2成立时的状态迁 移目的地2则为S22。即，在图14的例子中与图12的例子的不同之处是，使分辨率增大，并与此相对应地使帧率变小。这是因为，由于使分辨率增大而造成压缩突然变得困难，因此通过使帧率变小，使压缩变得稍微容易一些，从而能够缓解画质急剧劣化的缘故。 

例如，在当前的状态ID为S22的情况下，迁移条件2成立时的状态迁移目的地1则为S21，与图12的例子相同。但是，由于与分辨率的关系，在帧率变得过大的情况下(例如从S42向S41的迁移)，则需要满足比迁移条件2的量化步长平均值的条件严格的迁移条件4。由于使分辨率增大比使帧率增大更能够得到明显的画质提高效果，因此容易迁移到分辨率大的S33。 

即，在低位速率的情况下，比起迁移条件4而言，首先符合量化步长平均值的条件不太严格的迁移条件2，从而向分辨率大的S33迁移。另外，虽然在图中未示出，但是在超低位速率的情况下的S33的分辨率在选择范围外，没有满足迁移条件2的情况下，在满足迁移条件4时，向帧率大的S41迁移。 

并且，在迁移条件1以及迁移条件2均不成立的情况下(步骤310的“否”)，分辨率和帧率选择电路109将当前的状态ID所示的分辨率的值作为分辨率选择信号S18输出，将帧率的值作为帧率选择信号S19输出。并且，由于没有分辨率的变更，因此将分辨率变更发生信号S20设定为无效。 

并且，分辨率和帧率选择电路109对所有帧的编码是否已经结束进行判断(步骤323)。在还残留有将要编码的帧的情况下(步骤323的“否”)，针对下一帧执行上述的处理(步骤300至步骤322)。另外，在所有的帧的编码都结束了的情况下(步骤323的“是”)，结束该处理。即，直到所有的帧的编码全都结束为止反复执行上述的步骤300至步骤322的处理。 

具有上述构成的运动图像编码装置10，在对被输入到运动图像输入端子100的运动图像信号10之中的最初的帧进行编码的情况下，分辨率和帧率选择电路109将预先被设定的初始状态ID所示的分辨率作为分辨率选择信号S18输出，将初始状态ID所示的帧率作为帧率选择信号S19输出。 

分辨率变更电路101将获得的运动图像信号S10变更为以分辨率选择信号S18指定的分辨率，并输出运动图像信号S11。帧率变更电路102将运动图像信号S11变更为以帧率选择信号S19指定的帧率，并输出运动图 像信号S12。并且，量化步长控制电路106在编码帧为最初的帧的情况下，将初始量化步长值作为量化步长信号S16输出。 

运动图像信号S12在运动图像编码电路103被编码，并作为位流S13被输出到位流输出端子104。此时，运动图像编码电路103在编码帧为最初的帧的情况下，选择画面内预测模式。 

量化步长控制电路106在流中的最初的帧的编码结束时，能够得知该帧的发生编码量。因此，量化步长控制电路106根据编码位速率信号S14中所包含的目标位速率信息和帧率选择信号S19中所包含的帧率信息，决定下一个帧的量化步长值。在此，编码位速率信号S14中所包含的目标位速率信息可以是根据以下的位速率来求出的值，所述的位速率是指，利用者或设备的管理者在开始通信时设定的位速率，或者运动图像编码装置10实际上将编码位流发送到传输路径，并根据从图像解码装置通知来的数据包损失率等来计算出的能够在网络中进行通信的最大的位速率。 

下一个帧的量化步长值虽然被输入到量化步长平均电路107，从流的最先头开始直到规定的帧数经过为止，不进行量化步长平均值的运算和量化步长平均值的输出的更新。原因是，为了使流的最先头的帧以画面内预测来编码，从而使发生编码量大于，对在流的最先头以外的帧恰当地选择利用画面内预测和画面间预测进行编码时的发生编码量。因此，直到量化步长控制电路106所输出的量化步长值稳定为止，需要处理规定的帧数。 

并且，根据同样的理由，分辨率和帧率选择电路109从流的最先头开始直到规定的帧数经过为止，将初始状态ID所示的分辨率作为分辨率选择信号S18来输出，将初始状态ID所示的帧率作为帧率选择信号S19来输出。因此，从最先头开始直到规定的帧数经过为止，仅继续执行根据量化步长的编码量调整。 

在从最先头开始规定的帧数经过以后，通过在分辨率和帧率选择电路109对迁移条件1或迁移条件2与量化步长平均值信号S17中所包含的量化步长平均值进行比较，从而来实现状态迁移。 

具体而言，在比迁移条件1的量化步长平均值大，且迁移目的地的分辨率在分辨率选择范围内的情况下，发生降低帧率或降低分辨率的方向的状态迁移。相反，在比迁移条件2的量化步长平均值小，且迁移目的地的分辨率在分辨率选择范围内的情况下，发生提高帧率或提高分辨率的方向 的状态迁移。 

分辨率选择范围是在分辨率范围选择电路108，按照编码位速率值而决定的分辨率的上限值和下限值。在高位速率的情况下指定为高分辨率范围，在低位速率的情况下指定为低分辨率范围。 

这样，通过将分辨率范围的条件附加到状态迁移之中，从而即使在运动图像信号的压缩的难易度发生了大幅度的变动的情况下，也不会在高位速率的状态下临时地将分辨率降低到低分辨率。同样，也不会在低位速率的状态下临时地将分辨率提高到高分辨率。这样，能够实现稳定的分辨率变更工作。 

接着，在根据分辨率和帧率选择电路109的状态迁移的分辨率发生变化的情况下，分辨率变更发生信号S20成为有效。这样，针对分辨率被变换后的最初的一帧，运动图像编码电路103选择画面内预测模式。这是针对根据分辨率的变化而发生的前一帧的参考困难的措施。 

并且，从分辨率发生变更开始直到规定的帧数以及/或者规定的时间经过为止，在量化步长平均电路107不进行量化步长平均值的运算和量化步长平均值输出的更新。并且，从分辨率发生变更开始直到规定的帧数以及/或者规定的时间经过为止，在分辨率和帧率选择电路109禁止状态迁移，并保持在刚刚发生了分辨率变更之后的状态ID。即，刚刚发生了分辨率的变更之后的分辨率和帧率被保持，并且仅继续进行根据量化步长的编码量控制。 

其原因是，与流的最先头同样，为了以画面内预测对分辨率刚刚发生了变化之后的一帧进行编码，因此发生编码量比适用了画面内预测编码和画面间预测编码的情况大。这样，量化步长控制电路106所输出的量化步长值变得不稳定，因此直到稳定为止需要进行规定的帧数的处理。 

实施例1所涉及的运动图像编码装置10包括：分辨率变更电路101，对输入运动图像的分辨率进行动态变更；帧率变更电路102，对从分辨率变更电路101输出的运动图像的帧数进行适应性的间隔剔除；运动图像编码电路103，对从帧率变更电路102输出的运动图像进行编码，并生成被要求的编码位速率的位流。 

并且，动态的分辨率变更处理是指，按照编码位速率从多个分辨率中选择最大的分辨率和最小的分辨率，从最大的分辨率到最小的分辨率之中 的多个分辨率中选择分辨率变更电路101的输出分辨率。即，在输入运动图像的压缩难易度或作为目标的编码位速率发生大幅度变化时，按照编码位速率，在最大的分辨率与最小的分辨率的限定范围内选择恰当的分辨率。 

这样，可以像在PC画面中的单纯影像那样，在压缩率增高的情况下不会选择过大的分辨率，另外，在像摄像机进行上下左右摇摄那样，在压缩率降低的情况下不会选择过小的分辨率。这样，能够实现稳定的且恰当范围的分辨率选择，通过对分辨率进行动态地稳定地选择，从而能够得到没有不适感的稳定的画质。 

(实施例2) 

并且，本发明不仅可以像实施例1那样能够以运动图像编码装置10以及运动图像编码方法来实现，而且可以作为使计算机执行实施例1的运动图像编码方法的程序来实现。 

图15A至图15C是利用存储了上述的实施例1的运动图像编码方法的软盘FD，来执行计算机系统的情况下的说明图。 

图15A示出了作为记录介质本身的磁盘MD的物理格式的例子。图15B示出了保持磁盘MD的外壳F的正面图、截面图以及磁盘MD。图15C示出了用于在软盘FD上进行上述程序的记录再生的构成。 

软盘FD由作为记录介质本身的磁盘MD和保持磁盘MD的外壳F构成。在磁盘MD的表面从外向内形成有多个同心圆状的磁道Tr，各磁道Tr在角度方向上被划分为16个扇区Se。因此，在存储上述程序的软盘FD，在被分配到磁盘MD的区域中记录有作为上述程序的运动图像编码方法。 

并且，在将上述程序记录到软盘FD的情况下，从计算机系统Cs通过软盘驱动器FDD，写入作为上述程序的运动图像编码方法。另外，在通过软盘FD内的程序，将运动图像编码方法构筑到计算机系统Cs中的情况下，通过软盘驱动器FDD从软盘FD中读出程序，并转送到计算机系统Cs。 

而且，在上述说明中，利用作为记录介质的软盘FD进行了说明，同样，也可以利用光盘。并且，记录介质不仅限于此，如IC卡、盒式ROM等，只要能够记录程序就可以同样地执行。 

并且，本发明的构成也可以是，构成运动图像编码装置10的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成到一个芯片上而被制造的超多功能 LSI。 

并且，也可以仅将各个功能块中的存储成为编码对象的数据的单元作为其他的构成而不集成到一个芯片。 

(实施例3) 

通过将用于实现在上述的实施例所示的图像编码方法的程序记录到记录介质，从而可以将上述的实施例所示的处理在独立的计算机系统简单执行。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体等，只要能够记录程序就可以。 

在此，对在上述的实施例所示的图像编码方法的应用实例以及利用此应用实例的系统进行说明。 

图16是示出实现内容分发服务的内容供给系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线局的基站ex106至ex110。 

此内容供给系统ex100连接有各种机器，例如，互联网ex101上的互联网服务提供商ex102和电话网ex104，以及通过基站ex106至ex110，与计算机ex111、PDA(个人数字助理：personal digital assistant)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等。 

然而，内容供给系统ex100并非局限于图16所示的构成，也可以对任意的要素进行组合接续。并且，可以不通过作为固定无线局的无线基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。 

摄像机ex113是数字视频摄像机等能够拍摄运动图像的设备，摄像机ex116是数字摄像机等能够拍摄静态图像以及动态图像的设备。并且，便携式电话ex114可以以GSM(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)项目、HSPA(High-Speed Packet Access：高速分组接入)的便携式电话，或PHS(Personal Handy-phone System：低功率移动电话系统)等任一个来构成。 

在内容供给系统ex100中，摄像机ex113等通过无线基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况录音分发等。在实况 录音分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的实施例所说明的编码处理，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生。 

并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静态图像数据以及/或者动态图像数据，也可以通过计算机ex111而被发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。 

并且，这些编码处理以及解码处理可以在一般的计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将图像编码用以及图像解码用的软件安装到能够在计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中，并利用软件来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有摄像机的情况下，也可以发送该摄像机所获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话ex114所具有的LSIex500进行编码处理后的数据。 

并且，流播放服务器ex103可以是多个服务器或多个计算机，也可以是对数据进行分散、处理、记录并分发的设备。 

如以上所述，在内容供给系统ex100，能够在客户端接收并再生被编码的数据。在这样的内容供给系统ex100中，在客户端能够即时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。 

在对构成该内容供给系统的各个设备进行编码时，可以利用上述的实施例所示的图像编码方法。 

作为一个例子，以下针对便携式电话ex114进行说明。 

图17示出了利用在上述的实施例所说明的图像编码方法的便携式电话ex114。便携式电话ex114具有：天线ex601，用于在与无线基站ex110之间进行电波的收发；摄像机部ex603，能够拍摄CCD摄像机等的影像和静止图像；显示部ex602，是用于显示在摄像机部ex603拍摄的影像以及由天线ex601接收的影像等被解码后的数据的液晶显示器等；声音输出部ex608，是由操作键ex604群构成的主体部以及用于输出声音的扬声器等；声音输入部ex605，是用于输入声音的麦克风等；记录介质ex607，用于保存拍摄的运动图像或静止图像的数据、接收的邮件的数据、运动图像的数据或静止图像的数据等被编码或被解码的数据；以及插槽部ex606，用于使记录介质ex607安装到便携式电话ex114。在记录介质ex607中存储有闪存元件，该闪存元件是EEPROM一种，并且是SD卡等塑料壳内的能够进行电改写以及删除的非易失性存储器。 

进一步利用图18对便携式电话ex114进行说明。在便携式电话ex114中，针对用于统括控制具有显示部ex602以及操作键ex604的主体部的各个部的主控制部ex711，电源电路部ex710、操作输入控制部ex704、图像编码部ex712、摄像机接口部ex703、LCD(Liquid Crystal Display：液晶显示器)控制部ex702、图像解码部ex709、多路复用分离部ex708、记录再生部ex707、调制解调电路部ex706以及声音处理部ex705经由同步总线ex713相互连接。 

电源电路部ex710在成为由用户的操作结束通话以及电源键被接通的状态，通过从电池组向各个部提供电力，从而使附带摄像机的数字便携式电话ex114成为能够工作的状态。 

便携式电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex711的控制，在声音通话模式时，由声音处理部ex705将在声音输入部ex605收集的声音信号转换为数字声音数据，并在调制解调电路部ex706进行扩频(Spread Spectrum)处理，在收发信电路部ex701进行数模转换处理以及频率转换处理之后，经由天线ex601发送。并且，便携式电话ex114在声音通话模式时，对在天线ex601接收的接收信号进行放大并进行频率转换处理以及模数转换处理，在调制解调电路部ex706进行扩频处理的逆处理，在由声音处理部ex705转换为模拟声音数据之后，经由声音输出部 ex608输出。 

并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex604的操作，被输入的电子邮件的文本数据经由操作输入控制部ex704被发送到主控制部ex711。主控制部ex711进行控制，以使文本数据在调制解调电路部ex706进行扩频处理，在收发信电路部ex701进行数模转换处理以及频率转换处理之后，经由天线ex601被发送到无线基站ex110。 

在数据通信模式时发送图像数据的情况下，将在摄像机部ex603拍摄的图像数据，经由摄像机接口部ex703提供到图像编码部ex712。并且，在不发送图像数据的情况下，能够将在摄像机部ex603拍摄的图像数据，经由摄像机接口部ex703以及LCD控制部ex702，直接显示在显示部ex602。 

在图像编码部ex712的构成中具备本发明所说明的图像编码装置，通过将从摄像机部ex603提供的图像数据，利用被用于在上述的实施例所示的图像编码装置的编码方法进行压缩编码，从而转换为编码图像数据，并发送到多路复用分离部ex708。并且，与此同时，便携式电话ex114将在摄像机部ex603进行拍摄时由声音输入部ex605拾取的声音，经由声音处理部ex705作为数字声音数据发送到多路复用分离部ex708。 

多路复用分离部ex708以规定的方式，对从图像编码部ex712提供来的编码图像数据和从声音处理部ex705提供来的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制解调电路部ex706进行扩频处理，并在收发信电路部ex701进行数模转换处理以及频率转换处理之后，经由天线ex601发送。 

在数据通信模式时接收被链接在主页等的运动图像文件的数据的情况下，将经由天线ex601从无线基站ex110接收的接收数据在调制解调电路部ex706进行扩频处理的逆处理，并将处理后得到的多路复用数据发送到多路复用分离部ex708。 

并且，在对经由天线ex601接收的多路复用数据进行解码时，多路复用分离部ex708通过对多路复用数据进行分离，从而分离成图像数据的位流和声音数据的位流，并经由同步总线ex713将该编码图像数据提供到图像解码部ex709，同时将该声音数据提供到声音处理部ex705。 

接着，在图像解码部ex709的构成中具有图像解码装置，通过将图像数据的位流以与上述的实施例所示的编码方法相对应的解码方法进行解 码，从而生成再生运动图像，并经由LCD控制部ex702提供到显示部ex602，这样，能够显示例如被包含在与主页链接的运动图像文件中的运动图像数据。与此同时，声音处理部ex705将声音数据转换为模拟声音数据之后提供到声音输出部ex608，这样，能够再生例如被包含在与主页链接的运动图像文件中的声音数据。 

并且，不仅限于上述系统的例子，最近通过卫星以及地波的数字广播成为话题，在图19所示的数字广播用系统中也至少能够组装上述实施例中的图像编码装置。具体而言，在广播电台ex201，声音数据、影像数据或将这些数据进行多路复用后的位流通过电波进行通信，或被传送到广播卫星ex202。接收了这些的广播卫星ex202发出用于广播的电波，具有卫星广播接收设备的家庭的天线ex204接收这些电波，电视机(接收机)ex300或机顶盒(STB)ex217等装置对位流进行编码并再生。并且，在阅读器/记录器ex218中也能够被安装有图像解码装置，该阅读器/记录器ex218对在作为记录介质的CD以及DVD等的记录介质ex215、ex216中所记录的图像数据和声音数据被多路复用后的位流进行读取以及解码。在此情况下，被再生的影像信号被显示在监视器ex219。并且，可以考虑到的构成是，在被连接在有线电视的电缆ex203或卫星/地波广播的天线ex204的机顶盒ex217内安装图像解码装置，并在电视机的监视器ex219再生。此时，可以不组装机顶盒，而是将图像解码装置组装到电视机内。并且，在具有天线ex205的车辆ex210，能够从卫星ex202或无线基站接收信号，并在车辆ex210所具有的车辆导航系统ex211等的显示装置上再生运动图像。 

并且，在阅读器/记录器ex218中也可以安装在上述的实施例中所示的图像编码装置，该阅读器/记录器ex218对DVD、BD等记录介质ex215中所记录的声音数据、影像数据或将这些数据进行多路复用后的编码位流进行读取、解码，或者将声音数据、影像数据或对这些数据编码，并作为多路复用数据记录到记录介质ex215。在这种情况下，被再生的影像信号被显示在监视器ex219。并且，通过记录有编码位流的记录介质ex215，其他的装置以及系统等能够再生影像信号。例如，在其他的再生装置ex212，能够利用被复制了编码位流的记录介质ex214，将影像信号在监视器ex213上再生。 

并且，也可以将图像解码装置安装到与有线电视的电缆ex203或卫星 /地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时可以不是机顶盒，而是将图像解码装置组装到电视机内。 

图20示出了利用了在上述的实施例中说明的图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像信息的位流；调制/解调部ex302，解调接收的编码数据，或者为了将生成的编码数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的影像数据和声音数据进行分离，或者对被编码的影像数据和声音数据进行多路复用。并且，电视机ex300具有信号处理部ex306和输出部ex309，声音信号处理部ex304，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。而且，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。而且，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。 

首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再生的构成进行说明。电视机ex300接受来自运程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的影像数据和声音数据，在多路复用/分离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不 从广播等读出被编码的编码位流，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出被编码的编码位流。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex313至ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部分，可以在缓冲器中蓄积数据。 

并且，电视机ex300除具有获得广播以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行上述的接收、解码处理以及外部输出中的某一个处理。 

并且，在阅读器/记录器ex218从记录介质中读出或写入编码位流的情况下，上述的编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。 

作为一个例子，图21示出了从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401至ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自从记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进 行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。 

以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学(near-field optical)来进行高密度的记录。 

图22是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再生的装置能够通过再生代码道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的编码数据的读写。 

以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用了各种不同波长的光的信息，或者从各种角度记录不同的信息的层等，具有进行多维的记录/再生的结构的光盘。 

并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的车辆导航系统ex211等显示装置再生运动图像。并且，关于车辆导航系统ex211的构成可 以考虑到在图20所示的构成中添加GPS接收部，同样也可以考虑到添加计算机ex111以及便携式电话ex114等。并且，上述便携式电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。 

这样，在上述的实施例所示的图像编码方法能够适用于上述的任一个设备以及系统，这样，能够得到在上述的实施例中说明的效果。 

并且，本发明并非受上述的实施例所限，在不超过本发明的范围内的各种变形以及修改均是可能的。 

(实施例4) 

上述的各个实施例所示的图像编码方法以及装置典型的可以以作为集成电路的LSI来实现。作为一个例子，图23示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex501至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。 

例如在进行编码处理的情况下，LSIex500根据具有CPUex502、存储控制器ex503以及流控制器ex504等的控制部ex501的控制，通过AV输入/输出ex509从麦克风ex117以及摄像机ex113等接受AV信号的输入。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507。信号处理部ex507进行声音信号的编码以及/或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入输出ex506输出到外部。该被输出的流被发送向无线基站ex107，或者被写入到记录介质ex215。并且，为在进行多路复用时能够同步进行，而可以将数据暂时蓄积到缓冲器ex508。 

并且，例如在进行解码处理的情况下，LSIex500根据控制部ex501的控制，通过流输入输出ex506，经由无线基站ex107得到的编码数据或从记录介质ex215读出而得到的编码数据被暂时蓄积到存储器ex511。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度被恰当地分为多次 等，并被发送到信号处理部ex507。信号处理部ex507进行声音数据的解码以及/或影像数据的解码。并且，为了使被解码的声音信号和被解码的影像信号同步再生，可以根据情况将各个信号暂时蓄积到缓冲器ex508等。被解码的输出信号恰当地经由存储器ex511等，从便携式电话ex114、游戏机ex115以及电视机ex300等输出。 

另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。缓冲器ex508也可以不限于一个，可以具备多个缓冲器。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。 

另外，在此虽然称为LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、以及极超级LSI。 

并且，集成电路化的方法不仅限于LSI，也可以以专用电路或通用处理器来实现。在LSI制造后，也可以利用可编程的FPGA(现场可编程门阵列)或利用能够将LSI内部的电路单元的连接以及设定重新构建的可重装处理器。 

而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行进行集成化。生物技术的适用等也将成为可能。 

以上，虽然根据实施例1至4对本发明的图像编码方法以及图像编码装置进行了说明，不过本发明并非受这些实施例所限。在不超出本发明的主旨的范围内，在本实施例的基础上的本领域技术人员所能够想到的各种变形，以及对不同的实施例中的构成要素进行的组合而构成的实施方式均包括在本发明的范围内。 

另外，在实施例1的分辨率范围选择电路108虽然设定的是最大分辨率和最小分辨率，不过，在不输入压缩非常困难且有可能成为非常小的分辨率的图像的情况下，也可以仅设定最大分辨率。 

并且，虽然是按照在位速率决定电路105导出的位速率来设定在分辨率范围选择电路108的最大分辨率和最小分辨率的，不过并非受此所限，也可以是由用户来设定位速率，并按照用户所设定的位速率来设定在分辨率范围选择电路108的最大分辨率和最小分辨率。 

本发明能够非常有效地利用于，对运动图像进行编码并发送到传输路 径的运动图像编码装置以及运动图像编码方法。 

符号说明

10    运动图像编码装置 

20    图像变换部 

30    运动图像编码部 

40    位速率决定部 

50    分辨率范围选择部 

100，200，300，400，500    运动图像输入端子 

101，501    分辨率变更电路 

102，502    帧率变更电路 

103，503    运动图像编码电路 

104，406，504    位流输出端子 

105    位速率决定电路 

106，506    量化步长控制电路 

107    量化步长平均电路 

108    分辨率范围选择电路 

109    分辨率和帧率选择电路 

110    图像变换部 

201    帧率选择信号输入端子 

202，303    帧存储器 

203，305    写入读出控制电路 

204，306    运动图像输出端子 

301    水平方向LPF电路(水平方向低通滤波器电路) 

302    垂直方向LPF线路(垂直方向低通滤波器电路) 

304    分辨率选择信号输入端子 

401    输入图像存储器 

402    差分运算电路 

403    正交变换电路 

404    量化电路 

405    可变长编码电路 

407    量化步长输入端子 

408    逆量化电路 

409    逆正交变换电路 

410    加法运算电路 

411    参考图像存储器 

412    运动矢量检测电路 

413    运动补偿电路 

414    画面内预测电路 

415    编码模式选择控制电路 

416    预测图像选择电路 

417    分辨率变更发生信号输入端子 

507    帧率控制电路 

508    分辨率设定电路 

ex100    内容供给系统 

ex101    互联网 

ex102    互联网服务提供商 

ex103    流播放服务器 

ex104    电话网 

ex106，ex107，ex108，ex109，ex110    无线基站 

ex111    计算机 

ex112    个人数字助理 

ex113，ex116    摄像机 

ex114    附带摄像机的数字便携式电话(便携式电话) 

ex115    游戏机 

ex117    麦克风 

ex200    数字播放系统 

ex201    广播电台 

ex202    广播卫星(卫星) 

ex203    电缆 

ex204，ex205，ex601    天线 

ex210    车辆 

ex211    车辆导航系统(车辆导航) 

ex212    再生装置 

ex213，ex219    监视器 

ex214，ex215，ex216，ex607    记录介质 

ex217    机顶盒(STB) 

ex218    阅读器/记录器 

ex220    远程控制器 

ex230    代码道 

ex231    记录块 

ex232    内周区域 

ex233    数据记录区域 

ex234    外周区域 

ex300    电视机 

ex301    调谐器 

ex302    调制/解调部 

ex303    多路复用/分离部 

ex304    音频信号处理部 

ex305    图像信号处理部 

ex306，ex507    信号处理部 

ex307    扬声器 

ex308，ex602    显示部 

ex309    输出部 

ex310，ex501    控制部 

ex311，ex505，ex710    电源电路部 

ex312    操作输入部 

ex313    电桥 

ex314，ex606    插槽部 

ex315    驱动器 

ex316    调制解调器 

ex317    接口部 

ex318，ex319，ex320，ex321，ex404，ex508    缓冲器 

ex400    信息再生/记录部 

ex401    光学头 

ex402    调制记录部 

ex403    再生解调部 

ex405    盘式电机 

ex406    伺服控制部 

ex407    系统控制部 

ex500    大规模集成电路(LSI) 

ex502    中央处理单元(CPU) 

ex503    存储控制器 

ex504    流控制器 

ex506    流输入输出 

ex509    AV输入输出 

ex510    总线 

ex603    摄像机部 

ex604    操作键 

ex605    声音输入部 

ex608    声音输出部 

ex701    收发信电路部 

ex702    LCD控制部(液晶显示器控制部) 

ex703    摄像机接口部(摄像机I/F部) 

ex704    操作输入控制部 

ex705    声音处理部 

ex706    调制解调部 

ex707    记录再生部 

ex708    多路复用分离部 

ex709    图像解码部 

ex711    主控制部 

ex712    图像编码部 

ex713    同步总线 

Claims (11)

1.一种运动图像编码方法，对输入图像进行编码从而生成编码位流，并将该编码位流发送到传输路径上，所述运动图像编码方法包括：

图像变换步骤，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；

运动图像编码步骤，对在所述图像变换步骤被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；

位速率决定步骤，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及

分辨率范围选择步骤，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值；

在所述图像变换步骤中，在想要使所述编码对象图像的分辨率增加的情况下，决定新的分辨率，以使该新的分辨率不超过在所述分辨率范围选择步骤决定的所述上限值。

2.如权利要求1所述的运动图像编码方法，

在所述分辨率范围选择步骤，进一步，按照在所述位速率决定步骤决定的所述编码位速率，决定所述编码对象图像的分辨率的下限值；

在所述图像变换步骤中，在想要使所述编码对象图像的分辨率减少的情况下，决定新的分辨率，以使该新的分辨率不低于在所述分辨率范围选择步骤决定的所述下限值。

3.如权利要求1所述的运动图像编码方法，

在所述图像变换步骤，从所述编码对象图像的分辨率被变更后直到至少满足以下两个条件之中的一方为止，不变更所述编码对象图像的分辨率，所述两个条件是指，直到经过规定的时间为止以及直到规定数量的所述输入图像被处理为止。

4.如权利要求2所述的运动图像编码方法，

所述编码位速率是根据所述传输路径所能够传输的位速率而被决定的，所述传输路径所能够传输的位速率是通过计测在发送设备与接收设备之间实际能够收发的编码位流量而得到的。

5.如权利要求2所述的运动图像编码方法，

该运动图像编码方法进一步包括：

量化步长算出步骤，算出能够使所述编码位流成为能够以在所述位速率决定步骤决定的所述编码位速率来传输的编码量的量化步长，并以算出的所述量化步长，使所述运动图像编码步骤进行所述编码对象图像的量化；以及

平均值算出步骤，算出量化步长平均值，该量化步长平均值是在规定时间内在所述量化步长算出步骤被算出的所述量化步长的平均值；

所述图像变换步骤包括：

画质决定步骤，根据在所述平均值算出步骤算出的所述量化步长平均值，判断所述输入图像的编码的难易度，从而决定所述编码对象图像的分辨率以及帧率；

分辨率变更步骤，将所述输入图像的分辨率变更为在所述画质决定步骤决定的分辨率；以及

帧率变更步骤，将所述输入图像的帧率变更为在所述画质决定步骤决定的帧率。

6.如权利要求5所述的运动图像编码方法，

在所述画质决定步骤，预先保持第一分辨率以及第二分辨率的至少一方，所述第一分辨率是比刚刚决定的分辨率小的分辨率，所述第二分辨率是比刚刚决定的分辨率大的分辨率；

在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第一阈值大，且保持的所述第一分辨率在所述下限值以上的情况下，使所述分辨率变更步骤将所述输入图像的分辨率变更为所述第一分辨率；

在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持的所述第二分辨率在所述上限值以下的情况下，使所述分辨率变更步骤将所述输入图像的分辨率变更为所述第二分辨率。

7.如权利要求6所述的运动图像编码方法，

所述画质决定步骤进一步，预先保持第一帧率以及第二帧率的至少一方，所述第一帧率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的帧率；

在所述分辨率变更步骤所述输入图像的分辨率被变更为所述第一分辨率的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第二帧率；

在所述分辨率变更步骤所述输入图像的分辨率被变更为所述第二分辨率的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第一帧率。

8.如权利要求6所述的运动图像编码方法，

所述画质决定步骤进一步，预先保持第一帧率以及第二帧率的至少一方，所述第一帧率是比刚刚决定的帧率小的帧率，所述第二帧率是比刚刚决定的帧率大的帧率；

在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第一阈值大，且保持的所述第一分辨率低于所述下限值的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第一帧率；

在所述平均值算出步骤算出的所述量化步长平均值比预先决定的第二阈值小，且保持的所述第二分辨率超过所述上限值的情况下，使所述帧率变更步骤将所述输入图像的帧率变更为所述第二帧率。

9.如权利要求5所述的运动图像编码方法，

在所述画质决定步骤，在所述平均值算出步骤所算出的所述量化步长平均值越大，就越将所述输入图像的编码的难易度判断为高。

10.一种运动图像编码装置，对输入图像进行编码从而生成编码位流，并将该编码位流发送到传输路径上，所述运动图像编码装置包括：

图像变换部，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；

运动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；

位速率决定部，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及

分辨率范围选择部，按照在所述位速率决定部决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值；

所述图像变换部，在想要使所述编码对象图像的分辨率增加的情况下，决定新的分辨率，以使该新的分辨率不超过在所述分辨率范围选择部决定的所述上限值。

11.一种集成电路，对输入图像进行编码从而生成编码位流，并将该编码位流发送到传输路径上，该集成电路包括：

图像变换部，按照所述输入图像的编码的难易度，变更所述输入图像的分辨率以及帧率的至少一方，并输出编码对象图像；

运动图像编码部，对在所述图像变换部被输出的所述编码对象图像进行编码，从而生成所述编码位流，并将该编码位流发送到所述传输路径上；

位速率决定部，决定编码位速率，该编码位速率是被发送到所述传输路径上的所述编码位流的位速率；以及

分辨率范围选择部，按照在所述位速率决定部决定的所述编码位速率，决定所述编码对象图像的分辨率的上限值；

所述图像变换部，在想要使所述编码对象图像的分辨率增加的情况下，决定新的分辨率，以使该新的分辨率不超过在所述分辨率范围选择部决定的所述上限值。