CN103426189A - 图像处理设备、图像处理方法及程序 - Google Patents

Abstract

本公开涉及图像处理设备、图像处理方法及程序，具体提供了一种图像处理设备，包括：第一编码器部，被配置为编码图像数据的一些帧，从而创建第一编码数据；速率控制部，被配置为控制由第一编码器部创建的第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，第二比特率不同于第一比特率；第二编码器部，被配置为编码图像数据的帧，从而创建具有第二比特率的第三编码数据，该帧为除由第一编码器部编码的帧之外的帧；以及整合部，被配置为将由速率控制部创建的第二编码数据与由第二编码器部创建的第三编码数据整合，从而创建高帧率编码数据。

Description

图像处理设备、图像处理方法及程序

技术领域

本公开涉及一种图像处理设备、图像处理方法及程序。具体地，本公开涉及一种各自能够根据一份（piece）图像数据或根据其编码数据很容易创建多种帧速率的编码数据的图像处理设备、图像处理方法及程序。

背景技术

DCI（数字电影倡导联盟）标准是一种事实上的数字电影的国际标准。传统上，根据DCI标准，确定2K×1K分辨率的帧速率为24P或48P，且4K×2K分辨率的帧速率为24P。

传统上，用于低帧率（LFR）的24P文件独立于用于高帧率（HFR）的48P文件而被处理。因此，在电影院等使用LFR电影和HFR电影两者的情况下，必须准备这两种类型的文件。

通常，对图像数据进行编码，并存储所编码的图像数据，从而减少数据量（例如，参见日本专利申请公开第2004-166254号）。LFR编码数据和HFR编码数据根据一份图像数据来创建。在该情况下，若独立创建LFR编码数据和HFR编码数据，则某些帧图像可能被编码两次。由于这种冗余处理，可能不必要地增加负担。

签于此，提出了一种从HFR编码数据提取与LFR相对应的帧的数据从而创建LFR编码数据的方法。在该情况下，每个帧的图像仅被编码一次。因此，与根据一份图像数据来独立创建LFR编码数据和HFR编码数据的情况相比，根据该方法可以抑制编码处理负担的不必要增加。

发明内容

然而，LFR编码数据所需的比特率有时可能不同于HFR编码数据所需的比特率。在该情况下，根据简单从HFR编码数据提取LFR编码数据的上述方法，无法满足所需的比特率条件，且无法实现该方法。

鉴于上述情况，期望根据一份图像数据或根据其编码数据很容易创建多种帧速率的编码数据。

根据本技术的一个方面，提供了一种图像处理设备，包括：第一编码器部，被配置为编码图像数据的一些帧，从而创建第一编码数据；速率控制部，被配置为控制由所述第一编码器部创建的所述第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；第二编码器部，被配置为编码所述图像数据的帧，从而创建具有所述第二比特率的第三编码数据，所述帧为除由所述第一编码器部编码的帧之外的帧；以及整合部，被配置为将由所述速率控制部创建的所述第二编码数据与由所述第二编码器部创建的所述第三编码数据整合，从而创建高帧率编码数据。

所述比特率可以是针对每个帧的比特量。

所述速率控制部可被配置为根据需要对每个帧的所述第一编码数据的一部分进行舍弃，从而控制针对每个帧的所述比特量。

所述速率控制部可被配置为按升序从最不重要侧开始对每个帧的所述第一编码数据进行必要量的舍弃。

所述第一编码器部可包括：转换部，被配置为将一部分帧的所述图像数据转换为针对每个频带的系数数据，以及位平面编码器部，被配置为针对每个位平面来编码由所述转换部获得的所述系数数据，为预定数量的多个所述系数数据创建所述位平面，所述位平面是相同位位置的一组值，以及所述速率控制部可被配置为按升序从底部开始对所述第一编码数据的所需数量的位平面进行舍弃。

所述第一编码器部还可包括：码块创建部，被配置为创建码块，所述码块包括由所述转换部获得的预定数量的多个所述系数数据，以及位平面创建单元，被配置为针对由所述码块创建部创建的每个码块创建所述位平面，以及所述位平面编码器部可被配置为按升序从底部开始对由所述位平面创建单元创建的所述码块的所需数量的位平面进行舍弃。

所述第二编码器部可被配置为利用与所述第一编码器部相同的编码系统来编码所述图像数据。

所述第一编码器部和所述第二编码器部中的每一个可被配置为利用JPEG2000系统来编码所述图像数据的帧。

所述第一编码器部可被配置为基于所述第一比特率和所述第二比特率来设定编码通道的层，以及所述速率控制部可被配置为对所需数量的层进行舍弃，从而控制所述第一编码数据的比特率，并从而创建所述低帧率编码数据和所述第二编码数据。

所述图像处理设备还可包括：帧分配部，被配置为基于预设帧速率将所述图像数据的一些帧分配给所述第一编码器部，以及将其他帧分配给所述第二编码器部。

所述帧分配部可被配置为将识别信息添加至分配给所述第一编码器部的所述帧和分配给所述第二编码器部的所述帧中的至少一个，所述识别信息识别分配目标群。

所述图像处理设备还可包括：存储器，被配置为存储由所述速率控制部创建的所述低帧率编码数据。

根据本技术的另一方面，提供了一种由图像处理设备执行的图像处理方法，包括：利用所述图像处理设备，编码图像数据的一些帧，从而创建第一编码数据；控制所创建的第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；编码所述图像数据的其他帧，从而创建具有所述第二比特率的第三编码数据；以及将所创建的第二编码数据与所创建的第三编码数据整合，从而创建高帧率编码数据。

根据本技术的另一方面，提供了一种程序，被配置为使计算机用作：第一编码器部，被配置为编码图像数据的一些帧，从而创建第一编码数据；速率控制部，被配置为控制由所述第一编码器部创建的所述第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；第二编码器部，被配置为编码所述图像数据的帧，从而创建具有所述第二比特率的第三编码数据，所述帧为除由所述第一编码器部编码的帧之外的帧；以及整合部，被配置为将由所述速率控制部创建的所述第二编码数据与由所述第二编码器部创建的所述第三编码数据整合，从而创建高帧率编码数据。

根据本技术的另一方面，提供了一种图像处理设备，包括：选择部，被配置为以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及速率控制部，被配置为使用每个目标比特率作为每种帧速率的编码数据的比特率，所述编码数据由所述选择部创建。

所述图像处理设备还可包括：确定部，被配置为确定所述目标比特率，且所述速率控制部可被配置为使用每种帧速率的编码数据的比特率作为由所述确定部确定的目标比特率。

所述图像处理设备还可包括：编码器部，被配置为编码所述图像数据，从而创建所述编码数据，且所述选择部可被配置为根据由所述编码器部创建的所述编码数据来创建多种帧速率的编码数据。

所述图像处理设备还可包括：解码器部，被配置为解码每种帧速率的编码数据，所述每种帧速率由所述速率控制部以每个目标比特率来进行控制。

根据本技术的另一方面，提供了一种由图像处理设备执行的图像处理方法，包括：利用所述图像处理设备，以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及使用每个目标比特率作为所创建的每种帧速率的编码数据的比特率。

根据本技术的另一方面，提供了一种程序，被配置为使计算机用作：选择部，被配置为以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及速率控制部，被配置为使用每个目标比特率作为每种帧速率的编码数据的比特率，所述编码数据由所述选择部创建。

根据本技术的另一方面，编码图像数据的一些帧，从而创建第一编码数据；控制所创建的第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；编码所述图像数据的其他帧，从而创建具有所述第二比特率的第三编码数据，以及将所创建的第二编码数据与所创建的第三编码数据整合，从而创建高帧率编码数据。

根据本技术的另一方面，以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及使用每个目标比特率作为每种帧速率的所创建的编码数据的比特率。

根据本技术，对图像进行处理。具体地，可根据一份图像数据或根据其编码数据很容易创建多种帧速率的编码数据。

如附图所示，根据以下对本公开的最佳模式的实施方式的详细描述，本公开的这些及其他目的、特征和优势将变得更加显而易见。

附图说明

图1是示出图像编码设备的主要配置实例的框图；

图2是用于说明LFR和HFR的图片阵列的关系的示意图，具体示出了LFR：24P和HFR：60P的图片阵列；

图3是示出LFR编码器部的主要配置实例的示意图；

图4是示出子带的配置实例的示意图；

图5是示出子带的配置实例的示意图；

图6是示出每个子带中的码块的一个实例的示意图；

图7是用于说明位平面的一个实例的示意图；

图8是用于说明编码通道的一个实例的示意图；

图9是用于说明扫描系数的一个实例的示意图；

图10是用于说明层的示意图；

图11是用于说明层的配置实例的示意图；

图12是用于说明渐进功能的示意图；

图13是用于说明渐进功能的另一实例的示意图；

图14是用于说明速率控制的一个实例的示意图；

图15是用于说明多种FR编码处理流程的流程图；

图16是用于说明编码处理流程的一个实例的流程图；

图17是示出图像编码设备的主要配置实例的框图；

图18是用于说明多种FR编码处理流程的一个实例的流程图；

图19是示出图像解码设备的主要配置实例的框图；

图20是示出LFR解码器部的主要配置实例的框图；

图21是用于说明多种FR解码处理的流程的一个实例的流程图；

图22是用于说明解码处理的流程的一个实例的流程图；

图23是示出COD标记段的配置实例的示意图，具体示出了表A-8：编码样式默认语法；

图24是示出Scod参数的一个实例的示意图，具体示出了表A-13：针对Scod参数的编码样式参数值；以及

图25是示出计算机的主要配置实例的框图。

具体实施方式

下文中，将参照附图对本公开的实施方式进行描述。注意，将按照以下顺序进行描述。

1．第一实施方式（图像编码设备）

2．第二实施方式（图像编码设备）

3．第三实施方式（图像解码设备）

4．第四实施方式（应用）

5．第五实施方式（计算机）

<1．第一实施方式>

[1-1冗余处理]

DCI（数字电影倡导联盟）标准是一种事实上的数字电影的国际标准。根据DCI标准，确定2K×1K分辨率的帧速率为24P或48P，且4K×2K分辨率的帧速率为24P。传统上，用于低帧率（LFR）的24P文件独立于用于高帧率（HFR）的48P文件而被处理。因此，在电影院等展现LFR电影和HFR电影两者的情况下，必须准备这两种类型的文件。

然而，在该情况下，这两种文件之间的唯一区别是帧速率。因此，这两种文件均可包括相同帧。即，这两种文件是极其多余的。需要不必要的存储容量来同时存储这两种文件。

具体地，运动图像数据的数据量较大。通常，对运动图像数据进行编码，并存储所编码的运动图像数据，从而在多数情况下减少数据量。然而，编码数据的数据量仍然较大。例如，以250Mbps（DCI标准）编码的两个小时的JPEG2000编码数据的数据容量为1,800GB（1.8TB）（250Mbps×3,600秒×2小时=1,800）。鉴于此，期望尽可能降低上述冗余。

鉴于此，提出了一种存储帧的方法，该方法针对LFR和HFR是共用的，用于LFR和HFR中的一个，且不存储用于LFR和HFR中的另一个的相同帧。例如，假设用于HFR的帧包括用于LFR的所有帧。在该情况下，仅存储用于HFR的数据。若要使用用于LFR的数据，则提取用于HFR的数据的必要部分，从而创建用于LFR的数据。因此，可降低冗余，并减少数据量的不必要增加。

然而，在某些情况下，用于LFR的数据所需的比特率（目标比特率）不同于用于HFR的数据所需的比特率（目标比特率）。此外，用于LFR的帧速率不同于用于HFR的帧速率。因此，即便用于LFR的比特率与用于HFR的比特率相同，用于LFR的一个帧所需的比特量（目标比特量）也可能不同于用于HFR的一个帧所需的比特量（目标比特量）。

基于所需的比特率和帧速率来确定用于一个帧的目标比特量。因此，用于一个帧的目标比特量根据所需的比特率和帧速率而有所不同。例如，在某些情况下，用于LFR的目标比特量可能比用于HFR的目标比特量更大。在其他情况下，用于LFR的目标比特量可能比用于HFR的目标比特量更小。

如上所述，用于LFR的目标比特率可能不同于用于HFR的目标比特率。在该情况下，若相同数据被用于LFR和HFR，则可能降低再现图像的图像质量。

例如，如上所述，假设用于HFR的帧包括用于LFR的所有帧，且从用于HFR的数据提取用于LFR的数据。在该情况下，用于LFR的目标比特量被用作针对LFR和HFR共用的帧的目标比特量。随后，LFR再现图像中不存在任何问题。然而，用于每个帧的比特量在HFR再现图像中有所不同。观看者在视力上可能会有陌生感，且可能会认为降低了图像质量。

相反，假设用于HFR的目标比特量被用作针对LFR和HFR共用的帧的目标比特量。随后，在HFR再现图像中不存在任何问题。然而，例如，假设用于一个LFR帧的目标比特量比用于一个HFR帧的目标比特量更大。在该情况下，没必要降低用于LFR的比特率。因此，没必要降低LFR再现图像的图像质量。相反，假设用于一个LFR帧的目标比特量比用于一个HFR帧的目标比特量更小。在该情况下，用于LFR的比特率比目标比特率更大。因此，例如，可能不允许数据传输等的延迟时间，这是不方便的。

因此，必须对每个图像数据的速率进行调整。为了对每个图像数据的速率进行调整，最终必须对每个共用帧的数据进行编码或解码。因此增加了处理冗余。因此，增加了不必要的负担，且可能难以实现该方法。具体地，假设即时（实时）再现传输数据。在该情况下或在其他情况下，必须缩短诸如编码或解码的处理的延迟时间。因此，同样可能难以实现该方法。

[1-2创建多种帧速率的编码数据]

鉴于上述情况，对图像数据中的某些帧进行编码，从而创建第一编码数据。对第一编码数据的比特率进行控制，从而创建第一比特率的低帧率编码数据。另外，创建第二比特率的第二编码数据。第二比特率不同于第一比特率。对图像数据中的第一编码数据中不包括的帧进行编码，从而创建第二比特率的第三编码数据。将第二编码数据的帧与第三编码数据的帧整合，从而创建高帧率编码数据。

因此，图像处理设备能够降低具有大负担的编码或解码的冗余。即，图像处理设备能够根据一份运动图像数据很容易地创建多种帧速率的编码数据。

注意，上述比特率是一个帧的比特量。因此，一个帧的比特量与另一帧的比特量相同。可以减少观看再现图像的观看者在视力上出现的陌生感。

注意，在速率控制中，每个帧的第一编码数据的一部分可根据需要而被舍弃，从而控制一个帧的比特量。因此，可很容易地控制编码数据的比特率。

此外，在速率控制中，每个帧的第一编码数据的一部分可按照不必要性的顺序被舍弃必要量。例如，可将某些帧的图像数据转换为每个频带的系数数据。可对所获得的系数数据进行编码，从而获得位平面。为每个预定数量的多份系数数据创建位平面，且该位平面是相同位位置的一组值。所需数量的位平面可按升序从底部开始被舍弃。因此，不会为控制速率而对更重要的数据进行舍弃。图像质量不会因速率控制而被降低。

此外，在进行编码时，可创建码块。码块是一组预定数量的多份系数数据。可为每个码块创建位平面。在该情况下，当调整速率时，按升序从底部开始对用于每个码块的所需数量的位平面进行舍弃。因此，可很容易地进行所需的速率控制。

注意，用于创建第一编码数据的编码可采用一个编码系统，且用于创建第三编码数据的编码可采用相同编码系统。因此，很容易将第二编码数据和第三编码数据整合。此外，可采用JPEG2000系统来创建该编码数据。根据JPEG2000系统，单独对每个帧进行编码。因此，很容易控制对于每个帧单元的速率，很容易整合帧等。此外，可很容易控制编码数据的速率（后续将描述）。

此外，在进行编码时，编码通道的层可基于第一比特率和第二比特率而被设定。可对所需数量的层进行舍弃，从而控制第一编码数据的比特率。因此，可创建低帧率编码数据和第二编码数据。因此，可很容易对速率进行控制。

可基于预设帧速率对图像数据的各个帧进行分类。此外，在进行该分类时，可将用于识别组的识别信息添加至要分类的各个帧的至少一个。因此，在从数据提取某些帧且所述帧被整合的情况下，可使用识别信息，并很容易执行处理。

可对由速率控制部创建的低帧率编码数据进行存储。

此外，可以取决于帧速率的比率为每个帧从编码数据选择数据，所述编码数据通过编码图像数据而获得。因此，可创建多种帧速率的编码数据。可将所创建的每种帧速率的编码数据的比特率设定为每个目标比特率。因此，可根据一份运动图像数据很容易地创建多种帧速率的编码数据。

此外，可确定目标比特率。因此，可很容易执行向任意目标比特率的转换。

此外，可对图像数据进行编码从而创建编码数据。可对被控制为具有目标比特率的编码数据进行解码。

理所当然，可通过利用软件来实现这些处理。

[1-3图像编码设备]

下文中，将对更具体的实例进行描述。图1是示出图像编码设备的主要配置实例的框图。图1中所示的图像编码设备100是本技术适用的图像处理设备。图像编码设备100对高帧率（HFR）的输入运动图像数据（HFR图像数据）进行编码，从而创建高帧率（HFR）的编码数据。此外，图像编码设备100通过利用HFR图像数据的某些帧的编码数据来创建低帧率（LFR）的编码数据。

此时，图像编码设备100能够很容易创建所需比特率的HFR编码数据和所需比特率的LFR编码数据。

如图1所示，图像编码设备100包括比特率确定部101、图片选择部102、编码器部103、速率控制部104、码流整合部105和存储部106。

比特率确定部101确定LFR目标比特率和HFR目标比特率。比特率确定部101将表示所确定的LFR目标比特率和所确定的HFR目标比特率的控制信息提供给编码器部103和速率控制部104。比特率确定部101对编码器部103的行为和速率控制部104的行为进行控制。

图片选择部102针对每个图片控制提供高帧率的输入图像数据（HFR图像数据）的位置。图片选择部102将低帧率（LFR）的帧（针对LFR和HFR共用的帧）的图像数据提供给LFR编码器部111。图片选择部102将其他帧（HFR的帧）（HFR-LFR）的图像数据提供给HFR编码器部112。

编码器部103例如利用JPEG2000系统编码从图片选择部102提供的每个帧的图像数据。编码器部103通过利用由比特率确定部101确定的目标帧速率对图像数据进行编码。例如，如图1所示，编码器部103包括LFR编码器部111和HFR编码器部112。

LFR编码器部111对从图片选择部102提供的针对LFR和HFR共用的帧的图像数据（LFR）进行编码。此时，LFR编码器部111通过利用目标值对图像数据进行编码。这里，目标值是由比特率确定部101确定的LFR比特率和HFR比特率中的较高的比特率，或者是比LFR比特率和HFR比特率均更高的比特率。LFR编码器部111将所创建的编码数据（LFR）提供给速率控制部104。

HFR编码器部112对从图片选择部102提供的HFR的帧的图像数据（HFR-LFR）进行编码。此时，HFR编码器部112通过利用目标值对图像数据进行编码。这里，目标值是由比特率确定部101确定的HFR比特率。HFR编码器部112将所创建的HFR编码数据（HFR-LFR）提供给码流整合部105。

速率控制部104根据需要针对每个帧对从LFR编码器部111提供的编码数据（LFR）的比特率进行控制。即，速率控制部104根据需要针对每个帧对编码数据的比特量进行调整。例如，速率控制部104通过利用由比特率确定部101确定的目标比特率来对编码数据的速率进行控制。

速率控制部104对编码数据的不必要部分进行舍弃，从而对速率进行控制（细节将在后续描述）。即，速率控制部104对被舍弃的数据量进行控制，从而对速率进行控制。由于仅对一部分编码数据进行舍弃，所以速率控制处理的负担可以极其小。即，速率控制部104能够很容易控制速率。

速率控制部104对共用帧的编码数据的比特率进行控制，从而创建LFR编码数据和HFR编码数据。速率控制部104将所创建的LFR编码数据输出至图像编码设备100的外部。可替代地，速率控制部104将所创建的LFR编码数据提供给存储部106，且存储部106对LFR编码数据进行存储。此外，速率控制部104将所创建的HFR编码数据提供给码流整合部105。

速率控制部104根据需要通过利用由比特率确定部101确定的LFR目标比特率和HFR目标比特率中的至少一个对速率进行控制。

例如，LFR编码器部111对图像数据进行编码，其中，LFR目标比特率是目标值。在该情况下，速率控制部104将编码数据处理为LFR编码数据。此外，速率控制部104将编码数据的比特率转换为HFR目标比特率，从而创建HFR编码数据。

此外，例如，LFR编码器部111对图像数据进行编码，其中，HFR目标比特率是目标值。在该情况下，速率控制部104将编码数据处理为HFR编码数据。此外，速率控制部104将编码数据的比特率转换为LFR目标比特率，从而创建LFR编码数据。

此外，例如，LFR编码器部111对图像数据进行编码，其中，高于LFR目标比特率和HFR目标比特率的比特率是目标值。在该情况下，速率控制部104将编码数据的比特率转换为LFR目标比特率，从而创建LFR编码数据。另外，速率控制部104将编码数据的比特率转换为HFR目标比特率，从而创建HFR编码数据。

如图1所示，速率控制部104例如包括LFR速率控制部121和HFR速率控制部122。

LFR速率控制部121根据需要通过利用由比特率确定部101确定的LFR目标比特率对从LFR编码器部111提供的编码数据的比特率进行控制，从而创建LFR编码数据。LFR速率控制部121将所创建的LFR编码数据输出至图像编码设备100的外部。可替代地，LFR速率控制部121将所创建的LFR编码数据提供给存储部106，且存储部106对LFR编码数据进行存储。

HFR速率控制部122根据需要通过利用由比特率确定部101确定的HFR目标比特率对从LFR编码器部111提供的编码数据的比特率进行控制，从而创建HFR编码数据（LFR）。HFR速率控制部122将所创建的HFR编码数据（LFR）提供给码流整合部105。

码流整合部105将从HFR编码器部112提供的HFR编码数据（HFR-LFR）与从HFR速率控制部122提供的HFR编码数据（LFR）整合，从而创建一个码流。通过编码相同的HFR图像数据来创建HFR编码数据（HFR-LFR）和HFR编码数据（LFR）。通过编码某些帧的图像数据来创建HFR编码数据（HFR-LFR）。通过编码其他帧的图像数据来创建HFR编码数据（LFR）。即，按照合适的顺序将多份编码数据整合，从而创建一个码流。因此，对HFR图像数据的所有帧进行编码，从而获得编码数据（HFR编码数据）。

注意，HFR编码器部112通过利用HFR目标比特率来控制要整合的HFR编码数据（HFR-LFR）的比特率。此外，HFR速率控制部122通过利用HFR目标比特率来控制要整合的HFR编码数据（LFR）的比特率。因此，HFR编码数据（HFR-LFR）的比特率与HFR编码数据（LFR）的比特率之间没有较大差异。将HFR编码数据（HFR-LFR）与HFR编码数据（LFR）整合，由此创建HFR编码数据。因此，当再现由此创建的HFR编码数据的图像时，可以减少观看者在视力上出现的陌生感，这种感觉是由于帧之间比特量的较大差异造成的。

码流整合部105将所创建的码流（HFR编码数据）输出至图像编码设备100的外部。可替代地，码流整合部105将所创建的码流（HFR编码数据）提供给存储部106，且存储部106对码流（HFR编码数据）进行存储。

存储部106被配置为存储从LFR速率控制部121提供的LFR编码数据和从码流整合部105提供的HFR编码数据。存储部106可存储LFR编码数据和HFR编码数据中的一种或两种。例如，若可基于HFR编码数据创建LFR编码数据，则可仅将HFR编码数据存储在存储部106中。

此外，若没必要存储LFR编码数据和HFR编码数据，则可不设置存储部106。

接下来，将描述如何选择图片。图2是用于说明LFR和HFR的图片阵列的关系的一个实例的示意图。

如图2所示，方形阵列示出了图像数据。每个方形示出了每个帧。方形“H”示出了HFR（高帧率）的帧。方形“L”示出了HFR和LFR（低帧率）的帧。即，HFR包括图2中所示的所有帧。LFR包括某些帧。注意，在图2中，每个“H”和“L”分别表示这一事实。图2未示出实际帧图像。

此外，在图2的实例中，具体的LFR帧速率和具体的HFR帧速率如下。“24P”表示每秒24帧的渐进图像。“60P”表示每秒60帧的渐进图像。

低帧率=24P

高帧率=60P

此外，LFR目标比特率（Bit_LFR）的两个实例和HFR目标比特率（Bit_HFR）的两个实例如下所示。

（案例-1）

Bit_HFR=500Mbps/60P=8.33Mb/pic

Bit_LFR=250Mbps/24P=10.42Mb/pic

即，在该情况下，满足Bit_HFR<Bit_LFR。即，每个LFR编码数据的图片的目标比特量大于每个HFR编码数据的图片的目标比特量。因此，若通过利用LFR目标比特率对图2的“L”图片（共用帧）进行编码，则HFR编码数据的比特率可大于500Mbps。鉴于此，在该情况下，必须将共用帧的比特率降至与其他帧相同的8.33Mbps。

（案例-2）

Bit_HFR=500Mbps/60P=8.33Mb/pic

Bit_LFR=150Mbps/24P=6.25Mb/pic

即，在该情况下，满足Bit_HFR>Bit_LFR。即，每个LFR编码数据的图片的目标比特量小于每个HFR编码数据的图片的目标比特量。因此，若通过利用LFR目标比特率对图2的“L”图片（共用帧）进行编码，则HFR编码数据的比特率可小于500Mbps。鉴于此，在该情况下，必须将共用帧的比特率增加至与其他帧相同的8.33Mbps。

后续将描述速率控制方法的具体实例。现在，将描述图1的编码器部103（LFR编码器部111和HFR编码器部112）。

[1-4编码器部]

图3是示出LFR编码器部111的主要配置实例的示意图。注意，HFR编码器部112对与由LFR编码器部111编码的帧不同的帧进行编码。由HFR编码器部112编码的帧的目标比特率不同于由LFR编码器部111编码的帧的目标比特率。HFR编码器部112基本具有与LFR编码器部111的配置类似的配置。由HFR编码器部112执行的处理与由LFR编码器部111执行的处理类似。鉴于此，下文中，将描述LFR编码器部111的配置。关于LFR编码器部111的描述将适用于HFR编码器部112。将省略对HFR编码器部112的描述。

LFR编码器部111对图像数据进行编码，从而创建码流，该码流具有与JPEG2000系统的渐进结构类似的渐进结构。可替代地，LFR编码器部111可通过利用JPEG2000系统对图像进行编码。如图3所示，LFR编码器部111包括DC电平移位部131、小波转换部132、量化部133、码块创建部134和位平面扩展部135。

DC电平移位部131使在LFR编码器部111中输入（箭头161）的HFR图像数据的DC分量的电平移位。因此，可有效执行小波转换（后续阶段）。例如，RGB信号具有正值（无符号整数）。鉴于此，DC电平移位部131利用该事实，并将原始信号的动态范围减半，从而使电平移位。因此，可提高压缩效率。鉴于此，若原始信号是具有带符号（正和负）的整数值的信号，则不执行电平移位。带符号的整数值的实例包括YCbCr信号的色差数据Cb和色差数据Cr。

小波转换部132是滤波器组，其通常包括低通滤波器和高通滤波器。此外，数字滤波器通常具有多个抽头长度（tap length）的脉冲响应（滤波器系数）。因此，小波转换部132具有缓冲器。该缓冲器事先存储要进行滤波的输入图像。

小波转换部132获取从DC电平移位部131输出（箭头162）的图像数据。具体地，小波转换部132获取最起码执行滤波所需的数据量或更多的图像数据。随后，小波转换部132在DC电平移位之后通过利用预定的小波转换滤波器对图像数据进行滤波，从而创建小波系数。注意，小波转换部132在图像的垂直方向和水平方向上对图像数据进行滤波，从而将图像数据分成低频分量和高频分量。

随后，小波转换部132针对在垂直方向和水平方向上被划分为低频分量的子带来循环地重复滤波处理预定次数。这是因为，例如如图4所示，低频分量包括大部分图像能量。

图4是示出子带的配置实例的示意图。如图4所示，低频分量包括划分等级数为一的状态下和划分等级数为三的状态下的大部分图像能量。

图5是示出在划分等级数为四的状态下通过小波转换处理创建的子带的配置实例的示意图。

在该情况下，首先，小波转换部132对整个图像进行滤波，从而创建子带1LL（未示出）、1HL、1LH和1HH。接下来，小波转换部132再次对所创建的子带1LL进行滤波，从而创建子带2LL（未示出）、2HL、2LH和2HH。此外，小波转换部132再次对所创建的子带2LL进行滤波，从而创建子带3LL、3HL、3LH和3HH。此外，小波转换部132再次对所创建的子带3LL进行滤波，从而创建子带4LL、4HL、4LH和4HH。

如上所述，执行分析滤波直至划分等级数达到四为止。由此，创建了十三个子带。如图5所示，子带在相差一个划分等级的下级子带的垂直方向和水平方向上具有一半大小。

即，例如，对在水平方向上具有1920个像素的图像的基带图像数据进行一次分析滤波。因此，创建了四个子带（1LL、1HL、1LH、1HH）。所创建的每个子带在水平方向上具有960个像素。此外，对子带1LL进行一次分析滤波。由此，创建了四个子带（2LL、2HL、2LH、2HH）。所创建的每个子带在水平方向上具有480个像素。此外，对子带2LL进行一次分析滤波。由此，创建了四个子带（3LL、3HL、3LH、3HH）。所创建的每个子带在水平方向上具有240个像素。此外，对子带3LL进行一次分析滤波。由此，创建了四个子带（4LL、4HL、4LH、4HH）。所创建的每个子带在水平方向上具有120个像素。

注意，任意设定小波转换的划分等级数。

小波转换部132针对每个子带将通过滤波获得的小波系数提供给量化部133（箭头163）。量化部133量化所提供的小波系数。可采用任意的量化方法，且通常使用标量量化。根据标量量化，小波系数根据量化步长大小被进行划分。量化部133通过量化获得量化系数。量化部133将量化系数提供给码块创建部134（箭头164）。注意，在后续阶段中，提供量化系数来代替小波系数。量化系数的处理基本类似于小波系数。鉴于此，下文中，除非有必要，否则将省略对这一点的描述，并将量化系数简称为系数或系数数据。

注意，在LFR编码器部111利用无损编码系统对图像数据进行编码的情况下，省略由量化部133进行的处理。无损编码系统能够通过解码处理将原始数据完全解压。将来自小波转换部132的输出提供给码块创建部134（箭头165）。

码块创建部134将小波系数划分为码块。码块是熵编码的处理单元，且具有预定大小。图6示出了在每个子带中的码块的位置关系。在所有划分的子带中创建码块。例如，码块的大小约为64×64像素。后续阶段中的每个处理部对每个码块执行处理。

码块创建部134将各个码块提供给位平面扩展部135（箭头166）。位平面扩展部135针对每个比特的数字位置将系数数据扩展成位平面。

通过按照一个位（即，按照每个数字位置）划分（切分）系数群来获得位平面。系数群包括预定数量的小波系数。即，位平面是每个系数群中具有相同数字位置的一组位（系数位）。

图7示出了具体实例。在图7中，左侧部分总共示出了16个系数（垂直方向上4个×水平方向上4个）。16个系数中具有最大绝对值的系数是13。13等于二进制1101。位平面扩展部135将系数群扩展为示出绝对值的四个位平面（绝对值位平面），以及示出符号的一个位平面（符号位平面）。即，将图7的左侧部分的系数群扩展成四个绝对值位平面和一个符号位平面，如图7的右侧部分所示。这里，绝对值位平面中的所有元素中的每一个均具有值0或1。此外，符号位平面中的每个元素示出表示系数值为正的值、表示系数值为0的值、或表示系数值为负的值。

LFR编码器部111还包括位建模部136、算术编码部137、符号量添加部138、速率控制部139、报头创建部140和数据包创建部141。

位平面扩展部135将所扩展的位平面提供给位建模部136（箭头167）。

位建模部136和算术编码部137用作EBCOT（优化截断嵌入式编码）部151。EBCOT部151对输入系数数据执行被称为EBCOT的熵编码。EBCOT由JPEG2000标准指定。根据EBCOT，针对具有预定大小的块来测量块中的系数的统计数值，并同时执行编码。

位建模部136根据JPEG2000标准中确定的程序对系数数据执行位建模。位建模部136将诸如控制信息、符号和上下文等的信息提供给算术编码部137（箭头168）。算术编码部137对系数的位平面进行算术编码。

码块在垂直和水平方向上的大小用2的乘方（4至256）来表示。通用大小的实例包括32×32、64×64、128×32等。n个位的带符号的二进制数表示系数值。第0位至第（n-2）位中的每一个表示LSB至MSB中的每一个的位。另外的1位表示符号。从MSB侧的位平面开始按顺序通过利用以下三个编码通道对符号块执行编码。

（1）有效性传播通道

（2）幅值细化通道

（3）清除通道

图8示出了使用三个编码通道的顺序。首先，通过利用清除通道来编码位平面（n-1）（MSB）。接下来，以此顺序向LSB侧通过利用三个编码通道（即，重要传播通道、幅值细化通道和清除通道）对每个位平面执行编码。

注意，实际上，从MSB侧开始的第一次具有1的位平面的顺序被写入报头中。从MSB侧开始的全部具有0的连续位平面（被称为零位平面）不进行编码。按照该顺序重复使用这三个编码通道，从而编码图像数据。在任意位平面和任意编码通道处停止编码。因此，建立了符号量与图像质量之间的折衷（对速率进行控制）。

接下来，将参照图9来描述系数扫描。将码块划分为条。条的高度为四个系数。条的宽度等于码块的宽度。扫描顺序是指跟踪一个码块中的所有系数的顺序。扫描顺序包括在码块中从上条至下条的顺序、在条中从左线至右线的顺序、以及在线中从上至下的顺序。根据每个编码通道，码块中的所有系数均按扫描顺序进行处理。

下文中，将描述三个编码通道。在JPEG2000书面标准中写入以下内容（参考文献：ISO/IEC15444-1，信息技术-JPEG2000，第1部分：核心编码系统）。

（1）有效性传播通道（SP通道）：

根据用于编码某个位平面的有效性传播通道，对非有效系数的位平面值进行算术编码。这里，在8附近的至少一个系数是有效的。若所编码的位平面值是1，则接下来执行MQ编码。MQ编码示出符号为正（+）还是为负（-）。

这里，将描述对于JPEG2000专用的术语“有效性”。有效性是编码器针对每个系数的状态。有效性的初始值为0，其表示非有效性。当用系数编码1时，有效性变为1，其表示有效性。其后，有效性总是1。鉴于此，有效性用作表示具有有效数字的信息是否被编码的标志。当某个位平面的有效性有效时，其后的所有位平面均有效。

（2）幅值细化通道（MR通道）：

用于编码位平面的幅值细化通道是用于编码位平面的有效性传播通道。根据幅值细化通道，对未编码的有效系数值的位平面值进行MQ编码。

（3）清除通道（CU通道）：

用于编码位平面的清除通道是用于编码位平面的有效性传播通道。根据清除通道，对未编码的非有效系数值的位平面值进行MQ编码。若编码位平面值为1，则接下来执行MQ编码。MQ编码示出符号为正（+）还是为负（-）（符号信息）。

注意，在对上述三个编码通道中的每一个进行MQ编码时，根据情况使用ZC（零编码）、RLC（游程编码）、SC（符号编码）和MR（幅值细化）中的一个。这里，使用被称为MQ编码的算术符号。MQ编码是学习二进制算术符号，其在JBIG2中被确定（参考文献：ISO/IEC FDIS14492，“双级图像的有损/无损编码（Lossy/Lossless Coding of Bi-level Images）”，2000年3月）。

再次参照图3，算术编码部137将所创建的码流提供给符号量添加部138（箭头169）。符号量添加部138对码流的符号量计数，并对其进行累计。

随后，符号量添加部138将码流提供给报头创建部140（箭头172）且提供给数据包创建部141（箭头173）。另外，符号量添加部138将符号量累计值提供给速率控制部139（箭头170）。速率控制部139基于所提供的符号量累计值来控制EBCOT部151（箭头171）。在累计值达到目标符号量时，完成编码。即，速率控制部139对所创建的符号量进行控制（控制码流的速率）。

数据包创建部141创建包括所提供的码流的数据包。报头创建部140创建数据包的报头信息。报头创建部140将报头信息提供给数据包创建部141（箭头174）。数据包创建部141通过利用报头信息来创建数据包。

图10概念上示出了数据包。在图10的实例中，小波转换被执行三次。图10示出由此创建了四种数据包，即，最低频率的数据包-1至最高频率的数据包-4。即，为每个数据包封装在每个数据包内的子带中的所有符号块的编码码流。

此外，图11示出了将编码通道分成L个层（即，层1至层L）的情况。在某个码块中，层n的开始编码通道紧接在层（n-1）的最后的编码通道之后。即，当层的数量增加时，码流的符号量增加。即，提高了解码图像的图像质量（分辨率不改变）。

因此，在解码时，控制要解码的层，即，层1至某个层。由此可以控制解码图像的图像质量。下文中，当不具体描述时，“图像质量”是指解码图像的视觉质量。解码图像的视觉质量取决于层（即，每个像素的信息量）。

注意，编码器（图像编码设备100）可设定层被进行划分的码块及其编码通道。为每个数据包封装上述数据包内的子带中的所有码块的码流。

将所创建的数据包输出至外部（箭头175）。

如上所述，编码器部103利用JPEG2000系统对图像数据进行编码。编码器部103创建具有关于分辨率、层等的JPEG2000渐进功能的码流。

利用JPEG2000进行的编码由位平面和利用小波转换创建的子带来进行表征。渐进可由它们来限定。

渐进是码字在同一类中的顺序。例如，收集同一分辨率水平的不同层的码字。由此，可创建具有相同图像尺寸和不同图像质量的图像。相反，收集不同分辨率水平的相同层的码字。由此，可创建具有相同图像质量和不同图像尺寸的图像。即，渐进是用于实现解码图像的可扩展性的数据结构。

根据JPEG2000，如上所述，可根据关于预定元素的码流来对一部分数据进行解码。由此，可以很容易地从一个码流获得各种解码图像。即，若码流具有这种渐进结构，则码流可被用于不同目的。因此，提高了码流的用户友好性。

例如，可通过选择渐进元素（诸如要解码的层和子带）来很容易地实现以下情况。即，基于一个码流而将具有较高分辨率和较高比特率的解码图像提供给大屏幕、富有表现力的高性能液晶显示器。将具有较低分辨率和较低比特率的解码图像提供给具有小屏幕和较小图像处理容量的手机等。

注意，该渐进结构不仅可被用于解码处理，而且还可被用于转换（转码）处理。根据转换（转码）处理，解码图像的图像尺寸、图像质量等会改变。即，与上述解码处理类似，仅通过选择渐进元素（诸如层和子带），可以很容易创建（即，转码）码流，解码图像的图像尺寸和图像质量因此而不同。

JPEG2000具有四个渐进元素，即，分辨率水平、层、位置和分量。

如图4所示，分辨率水平是利用小波转换创建的水平。即，分辨率水平限定解码图像的图像尺寸。如图11所示，层是由位平面方向的水平对图像质量产生影响的元素。此外，例如，当具有不同分量（诸如YCbCr）时限定分量（YCbCr或RGB具有三个分量）。最后，位置与瓦片处理（tiling）有关，这是JPEG2000的一个特征。在将屏幕划分为多个方块并进行编码/解码的情况下，位置限定瓦片的数量和位置。

如上所述，若具有多个渐进元素，则为每个元素创建层结构。JPEG2000第1部分具有分别使用上述元素的五个层结构，即，LRCP（层分辨率水平分量位置渐进）、RLCP（分辨率水平层分量位置渐进）、RPCL（分辨率水平位置分量层）、PCRL（位置分量分辨率水平层）和CPRL（分量位置分辨率水平层）。

图12示出了JPEG2000码字按LRCP顺序排列，从而获得所编码的码流，且所编码的码流以此顺序被解码，从而创建解码图像。根据渐进结构，数据包按以下顺序排列。即，码字的排列如下。最高层是层（所有层的数量=L）。第二高的层是分辨率水平（最高分辨率水平为N(max)）。第三高的层是分量（分量的总数为Csiz）。最低层是位置。注意，以下不对位置（P）进行描述。

对于每个，l=0,...,L-1

对于每个，r=0,...,N(max)

对于每个，i=0,...,Csiz-1

{对于分量（i）、分辨率水平（r）、层（l）的数据包}

在该情况下，由于最高层示出了层，所以解码图像被显示为使得按图12的图像181、图像182、图像183和图像184的顺序逐渐提高图像质量。

图13示出了JPEG2000码字按RLCP顺序排列，从而获得所编码的码流，且所编码的码流按RLCP顺序被解码，从而创建解码图像。在该渐进结构中，数据包按以下顺序排列。即，码字按以下方式排列。最高层是分辨率水平。第二高的层是层。第三高的层是分量。最低层是位置。注意，以下不对位置（P）进行描述。

对于每个，r=0,...,N(max)

对于每个，l=0,...,L-1

对于每个，i=0,...,Csiz-1

{对于分量（i）、分辨率水平（r）、层（l）的数据包}

在该情况下，由于最高层示出了分辨率水平，所以解码图像被显示为使得按图13的图像191、图像192、图像193和图像194的顺序逐渐提高图像尺寸（分辨率）。

以此方式，码流的解码处理的顺序根据每个渐进元素的层结构而有所不同。另外，会改变显示解码图像的方式。类似地，按照取决于RPCL、PCRL和CPRL中的每一个的层结构的顺序来执行解码处理。

[1-5速率控制]

接下来，将描述速率控制。图14是用于说明如何控制速率的一个实例的示意图。首先，将描述上述（案例-1）（Bit_HFR<Bit_LFR）。如上所述，在该情况下，Bit_HFR和Bit_LFR如下。

Bit_HFR=500Mbps/60P=8.33Mb/pic

Bit_LFR=250Mbps/24P=10.42Mb/pic

在该情况下，如图2所示，假设对于一秒的60个图片正如其本身那样包括L的24个图片。在该情况下，如上所述，HFR比特率超过500Mbps。鉴于此，必须将L的24个图片降至8.33Mb/pic。

在图14中，CB0、CB1、…、CBn中的每一个均为码块的数量。若使用JPEG2000EBCOT编码，则可针对从上MSB至下LSB的每个位平面来对符号量进行控制。

例如，假设位平面（1）至（14）（在图14中是带圆圈的数字，这同样适用于以下情况）的最高位平面的所创建的符号量是上述Bit_LFR。此外，假设位平面（1）至（9）的所创建的符号量是上述Bit_HFR。

在该情况下，速率控制部104对位平面（10）至（14）的所创建的符号量进行舍弃。因此，比特率可从Bit_LFR降至Bit_HFR。以此方式，速率控制部104能够利用码流级的操作来转换按较高比特率进行编码的所编码的码流。即，对速率控制部104而言，没必要解码和重新编码所编码的码流。

接下来，将描述（案例-2）。如上所述，在该情况下，Bit_HFR和Bit_LFR如下。

Bit_HFR=500Mbps/60P=8.33Mb/pic

Bit_LFR=150Mbps/24P=6.25Mb/pic

在该情况下，满足Bit_LFR<Bit_HFR。假设图14的位平面（1）至（6）的所创建的符号量是Bit_LFR。则HFR比特率不会达到500Mbps。这是因为在60P的运动图像中所创建的24P的图片的符号量很小。鉴于此，在编码L个图片时，所创建的符号量可增加至位平面（1）至（9）的8.33Mbps（与Bit_HFR相同的值）。由此可保持60P的比特率。

如上所述，根据本技术，对运动图像信号进行编码，同时并行满足用于低帧率的比特率和用于高帧率的比特率。由此，创建用于低帧率的编码码流和用于高帧率的编码码流。因此，提取用于高帧率的码流的一部分意味着提取用于低帧率的码流。

因此，没必要单独存储/保持低帧率的码流和高帧率的码流，不像通常所做的那样。因此，减少了硬盘、存储器等的容量，这是有效的。因此，降低了硬件设备的成本，这也是有效的。

即，图像编码设备100能够根据一份运动图像数据很容易地创建多种帧速率的编码数据。

注意，上文已描述了编码图像数据并创建两种帧速率的编码数据的情况。可替代地，可任意设定多种帧速率（编码数据）的数量。可采用三种以上的帧速率（编码数据）。例如，可根据一份图像数据来创建三种以上不同帧速率的编码数据。

[1-6处理流程]

接下来，将描述由图像编码设备100执行的处理。首先，参照图15的流程图，将描述多种FR编码处理的流程的一个实例。

在步骤S101中，当开始多种FR编码处理时，比特率确定部101确定对于每种帧速率（FR）的目标比特率。

在步骤S102中，图片选择部102确定处理的目标图片是否是LFR图片。若确定处理的目标图片是LFR图片，则处理进入步骤S103。

在步骤S103中，LFR编码器部111确定LFR的目标比特率是否高于HFR的目标比特率。若确定LFR的目标比特率高于HFR的目标比特率，则处理进入步骤S104。

在步骤S104中，LFR编码器部111通过利用步骤S101中确定的LFR目标比特率对处理的目标图片的图像数据进行编码。后续将详细描述编码处理。

在步骤S105中，当完成编码时，LFR速率控制部121输出处理的目标图片的编码数据作为LFR编码数据。在步骤S104的处理中获得编码数据。

此外，在步骤S106中，HFR速率控制部122控制处理的目标图片的编码数据的比特率，使得比特率接近HFR目标比特率。在步骤S104的处理中获得编码数据。

在步骤S107中，码流整合部105输出处理的目标图片的编码数据作为HFR编码数据。在步骤S106的处理中控制编码数据的比特率。

若完成步骤S107的处理，则处理进入步骤S114。

此外，若在步骤S103中确定LFR的目标比特率低于HFR的目标比特率，则处理进入步骤S108。

在步骤S108中，LFR编码器部111通过利用步骤S101中确定的HFR目标比特率对处理的目标图片的图像数据进行编码。后续将详细描述编码处理。

在步骤S109中，码流整合部105输出处理的目标图片的编码数据作为HFR编码数据。在步骤S108的处理中获得编码数据。

此外，在步骤S110中，LFR速率控制部121控制编码数据的比特率，使得比特率接近LFR目标比特率。在步骤S108的处理中获得编码数据。

在步骤S111中，LFR速率控制部121输出处理的目标图片的编码数据作为LFR编码数据。在步骤S110中控制编码数据的比特率。

当完成步骤S111的处理时，处理进入步骤S114。

此外，若在步骤S102中确定处理的目标图片不是LFR图片，则处理进入步骤S112。

在步骤S112中，HFR编码器部112通过利用步骤S101中确定的HFR目标比特率对处理的目标图片的图像数据进行编码。后续将详细描述编码处理。

在步骤S113中，码流整合部105输出处理的目标图片的编码数据作为HFR编码数据。在步骤S112的处理中获得编码数据。

当完成步骤S113的处理之后，处理进入步骤S114。

在步骤S114中，图片选择部102确定是否已对所有图片进行了处理。若确定存在未处理图片，则处理返回步骤S102。即，对每个图片执行步骤S102的处理至步骤S114的处理。

注意，在为每个图片改变目标比特率的情况下，循环处理可包括步骤S101。在该情况下，若在步骤S114中确定存在未处理图片，则处理返回步骤S101。

若在步骤S114中确定已对所有图片进行了处理，则完成多种FR编码处理。

接下来，将参照图16的流程图来描述在图15的步骤S104、步骤S108和步骤S112中执行的编码处理流程的一个实例。步骤S104、步骤S108和步骤S112除目标比特率不同之外基本执行类似的处理。

在步骤S131中，当开始编码处理时，DC电平移位部131使图像数据的DC电平移位。从输入系统输入图像数据。DC电平移位部131支持输入系统。在步骤S132中，小波转换部132对DC电平被移位的图像数据进行小波转换。

在步骤S133中，在有损编码系统的情况下，量化部133量化在步骤S132中创建的小波系数。注意，在无损编码系统的情况下，省略该处理。

在步骤S134中，码块创建部134利用码块单元来划分量化系数。在步骤S135中，位平面扩展部135将用于每个码块的系数扩展成位平面。

在步骤S136中，EBCOT部151对被扩展成位平面的系数进行编码。在步骤S137中，速率控制部139利用由符号量添加部138添加的符号量等。速率控制部139控制所创建的符号量的速率，使得该速率接近由比特率确定部101确定的目标比特率。

在步骤S138中，报头创建部140创建数据包报头。在步骤S139中，数据包创建部141创建数据包。在步骤S140中，编码器部103将数据包输出至外部。

当完成步骤S140的处理时，完成编码处理。处理返回图15的步骤S104、步骤S108或步骤S112。

通过执行如上所述的各处理，图像编码设备100能够根据一份运动图像数据很容易地创建多种帧速率的编码数据。

<2．第二实施方式>

[2-1图像编码设备]

注意，在编码之后可选择图片。图17是示出图像编码设备的另一配置实例的框图。

图17的图像编码设备200是本技术适用的图像处理设备。图像编码设备200被配置为根据一份图像数据创建多种帧速率的编码数据，与图1的图像编码设备100类似。

如图17所示，图像编码设备200包括比特率确定部201、编码器部202、速率控制部203和存储部204。

与图1的比特率确定部101类似，比特率确定部201确定LFR目标比特率和HFR目标比特率。比特率确定部201将控制信息提供给编码器部202和速率控制部203。该控制信息示出了所确定的目标比特率。比特率确定部201控制编码器部202和速率控制部203的行为。

编码器部202利用例如JPEG2000系统来编码在图像编码设备200中输入的高帧率的图像数据（HFR图像数据）。编码器部202通过利用比特率对图像数据进行编码。这里，比特率是由比特率确定部201确定的LFR目标比特率和HFR目标比特率中较高的比特率。编码器部202将通过编码获得的高帧率的编码数据（HFR编码数据）提供给速率控制部203。

速率控制部203从由编码器部202创建的HFR编码数据中提取某些帧的数据，从而创建低帧率的编码数据（LFR编码数据）。速率控制部203通过利用由比特率确定部201确定的目标比特率来转换LFR编码数据的比特率和HFR编码数据的比特率。速率控制部203将比特率受控制的LFR编码数据和比特率受控制的HFR编码数据输出至图像编码设备200的外部。可替代地，速率控制部203将比特率受控制的LFR编码数据和比特率受控制的HFR编码数据提供给存储部204。存储部204存储比特率受控制的LFR编码数据和比特率受控制的HFR编码数据。可替代地，速率控制部203可将一个输出至外部，且存储部204可存储另一个。

如图17所示，速率控制部203包括图片选择部211、LFR速率控制部212和HFR速率控制部213。

图片选择部211检测从编码器部202提供的来自HFR编码数据的LFR的帧的数据。图片选择部211提取数据。图片选择部211将所提取的数据（某些帧的数据）提供给LFR速率控制部212作为LFR编码数据。

注意，同时，图片选择部211将从编码器部202提供的HFR编码数据（所有帧的数据）提供给HFR速率控制部213。

LFR速率控制部212控制从图片选择部211提供的LFR编码数据的比特率，使得比特率接近由比特率确定部201确定的LFR目标比特率。LFR速率控制部212将比特率受控制的LFR编码数据输出至图像编码设备200的外部。可替代地，LFR速率控制部212将比特率受控制的LFR编码数据提供给存储部204。存储部204存储比特率受控制的LFR编码数据。

注意，若编码器部202通过利用LFR目标比特率对图像数据进行编码，则可省略LFR速率控制部212。在该情况下，将从图片选择部211输出的LFR编码数据输出至图像编码设备200的外部。可替代地，将从图片选择部211输出的LFR编码数据提供给存储部204。存储部204存储从图片选择部211输出的LFR编码数据。

HFR速率控制部213控制从图片选择部211提供的HFR编码数据的比特率，使得HFR编码数据的比特率接近由比特率确定部201确定的HFR目标比特率。HFR速率控制部213将比特率受控制的HFR编码数据输出至图像编码设备200的外部。可替代地，HFR速率控制部213将比特率受控制的HFR编码数据提供给存储部204。存储部204存储比特率受控制的HFR编码数据。

注意，若编码器部202通过利用HFR目标比特率对图像数据进行编码，则可省略HFR速率控制部213。在该情况下，将从图片选择部211输出的HFR编码数据输出至图像编码设备200的外部。可替代地，将从图片选择部211输出的HFR编码数据提供给存储部204。存储部204存储从图片选择部211输出的HFR编码数据。

存储部204与存储部106类似。存储部204被配置为存储从LFR速率控制部212提供的LFR编码数据和从HFR速率控制部213提供的HFR编码数据。存储部204可存储LFR编码数据和HFR编码数据中的一个或两个。例如，若可以基于HFR编码数据创建LFR编码数据，则存储部204可仅存储HFR编码数据。

此外，若没必要存储LFR编码数据或HFR编码数据，则可不设置存储部204。

如上所述，在比编码处理稍晚的阶段选择图片。因此，与图像编码设备100类似，图像编码设备200能够根据一份运动图像数据很容易创建多种帧速率的编码数据。

此外，如图17所示，图像编码设备200的处理部可比图像编码设备100的处理部更简单。因此，在通过利用硬件实现图像编码设备的各个处理部的情况下，电路尺寸不会很大，且不会增加生产成本。此外，在通过利用软件实现图像编码设备的情况下，很容易执行每次处理。此外，可不增加因编码或速率控制而造成的延迟时间。

[2-2处理流程]

接下来，将描述由图像编码设备200执行的处理流程。参照图18的流程图，将描述由图像编码设备200进行的多种FR编码处理的流程。

在步骤S201中，当开始多种FR编码处理时，比特率确定部201确定对于每种帧速率（FR）的目标比特率。

在步骤S202中，编码器部202确定LFR的目标比特率是否高于HFR的目标比特率。若确定LFR的目标比特率高于HFR的目标比特率，则处理进入步骤S203。

在步骤S203中，编码器部202通过利用在步骤S201中确定的LFR目标比特率对处理的目标图片的图像数据进行编码，如参照图16的流程图所述。

在步骤S204中，图片选择部211确定处理的目标图片是否是LFR的图片。若确定处理的目标图片是LFR的图片，则处理进入步骤S205。

在步骤S205中，LFR速率控制部212输出处理的目标图片的编码数据作为LFR编码数据。

在步骤S206中，HFR速率控制部213控制处理的目标图片的编码数据的比特率，使得处理的目标图片的编码数据的比特率接近在步骤S201中确定的HFR目标比特率。

在步骤S207中，HFR速率控制部213输出比特率在步骤S206的处理中被控制的处理的目标图片的编码数据作为HFR编码数据。

当完成步骤S207的处理时，处理进入步骤S217。

此外，若在步骤S204中确定处理的目标图片不是LFR的图片，则处理进入步骤S208。

在步骤S208中，HFR速率控制部213控制处理的目标图片的编码数据的比特率，使得处理的目标图片的编码数据的比特率接近在步骤S201中确定的HFR目标比特率。

在步骤S209中，HFR速率控制部213输出比特率在步骤S208的处理中被控制的处理的目标图片的编码数据作为HFR编码数据。

当完成步骤S209的处理时，处理进入步骤S217。

此外，若在步骤S202中确定LFR的目标比特率小于HFR的目标比特率，则处理进入步骤S210。

在步骤S210中，编码器部202通过利用在步骤S201中确定的HFR目标比特率对处理的目标图片的图像数据进行编码，如参照图16的流程图所述。

在步骤S211中，图片选择部211确定处理的目标图片是否是LFR的图片。若确定处理的目标图片是LFR的图片，则处理进入步骤S212。

在步骤S212中，LFR速率控制部212控制处理的目标图片的编码数据的比特率，使得处理的目标图片的编码数据的比特率接近在步骤S201中确定的LFR目标比特率。

在步骤S213中，LFR速率控制部212输出处理的目标图片的编码数据作为LFR编码数据。处理的目标图片的编码数据的比特率在步骤S212的处理中被控制。

当完成步骤S213的处理时，处理进入步骤S217。

此外，若在步骤S211中确定处理的目标图片不是LFR的图片，则处理进入步骤S214。

在步骤S214中，HFR速率控制部213输出处理的目标图片的编码数据作为HFR编码数据。

在步骤S215中，LFR速率控制部212控制处理的目标图片的编码数据的比特率，使得处理的目标图片的编码数据的比特率接近在步骤S201中确定的LFR目标比特率。

在步骤S216中，LFR速率控制部212输出处理的目标图片的编码数据作为LFR编码数据。处理的目标图片的编码数据的比特率在步骤S215的处理中被控制。

在完成步骤S216的处理之后，处理进入步骤S217。

在步骤S217中，图片选择部102确定是否已对所有图片进行了处理。若确定存在未处理图片，则处理返回步骤S202。即，对每个图片执行步骤S202的处理至步骤S216的处理（除了在支路上不选择的某些处理之外）。

注意，在为每个图片改变目标比特率的情况下，循环处理可包括步骤S201。在该情况下，若在步骤S217中确定存在未处理图片，则处理返回步骤S201。

若在步骤S217中确定已对所有图片进行了处理，则完成多种FR编码处理。

通过执行如上所述的各个处理，图像编码设备200能够根据一份运动图像数据很容易创建多种帧速率的编码数据。

<3．第三实施方式>

[3-1图像解码设备]

注意，在第二实施方式中描述的针对编码数据进行的速率控制可在任何阶段被执行。即，例如，可对要由图像解码设备解码的编码数据执行类似的速率控制。下文中，将描述这种情况。

图19是示出图像解码设备的主要配置实例的框图。图19的图像解码设备300是本技术适用的图像处理设备。图像解码设备300被配置为根据一份图像数据创建多种帧速率的编码数据，且还被配置为解码所创建的编码数据。

在图像解码设备300中输入的编码数据或存储在存储部301中的编码数据是编码数据（HFR编码数据）。这里，通过编码具有预定比特率的高比特帧（HFR）的图像数据来获得编码数据（HFR编码数据）。图像解码设备300对HFR编码数据进行解码。图像解码设备300创建HFR的图像数据（HFR图像数据）和低比特帧（LFR）的图像数据（LFR图像数据）。这里，低比特帧（LFR）具有比HFR的比特率更低的预定比特率。图像解码设备300输出HFR图像数据和LFR图像数据。

此时，图像解码设备300对HFR编码数据的比特率进行控制，使得HFR编码数据的比特率接近HFR目标比特率。另外，图像解码设备300对LFR编码数据的比特率进行控制，使得LFR编码数据的比特率接近LFR目标比特率。因此，图像解码设备300能够获得具有所需比特率和所需帧速率的多份图像数据。

注意，下文中，与参照图2描述的情况类似，HFR的帧包括LFR的所有帧。此外，在图像解码设备300中输入的编码数据利用编码系统（例如，JPEG2000系统）进行编码，这由图像编码设备100和图像编码设备200来执行。

如图19所示，图像解码设备300包括存储部301、比特率确定部302、速率控制部303和解码器部304。

存储部301存储通过编码图像数据而获得的编码数据。存储部301在预定时间或根据需要将所存储的编码数据提供给比特率确定部302和速率控制部303。存储部301可存储在图像解码设备300中输入的编码数据。可替代地，存储部301可事先存储编码数据。

比特率确定部302获得在图像解码设备300中输入的编码数据，或从存储部301读取的编码数据。比特率确定部302确定每个编码数据的HFR比特率和LFR比特率。

比特率确定部302将控制信息提供给速率控制部303。该控制信息示出了所确定的比特率。比特率确定部302控制速率控制部303的行为。

速率控制部303基于所提供的HFR编码数据来创建LFR编码数据。速率控制部303控制HFR编码数据的比特率，使得HFR编码数据的比特率接近由比特率确定部302确定的HFR目标比特率。另外，速率控制部303控制所创建的LFR编码数据的比特率，使得所创建的LFR编码数据的比特率接近由比特率确定部302确定的LFR目标比特率。

如图19所示，速率控制部303包括图片选择部311、LFR速率控制部312和HFR速率控制部313。

图片选择部311进行检测并从所提供的HFR编码数据提取LFR的帧的数据。图片选择部311将所提取的数据（某些帧的数据）提供给LFR速率控制部312作为LFR编码数据。

注意，另外，图片选择部311将所提供的HFR编码数据（所有帧的数据）提供给HFR速率控制部313。

LFR速率控制部312控制从图片选择部311提供的LFR的编码数据的比特率。具体地，LFR速率控制部312控制LFR的编码数据的比特率，使得LFR的编码数据的比特率接近由比特率确定部302确定的LFR目标比特率。LFR速率控制部312将比特率受控制的LFR编码数据提供给解码器部304。

HFR速率控制部313控制从图片选择部311提供的HFR编码数据的比特率。具体地，HFR速率控制部313控制HFR编码数据的比特率，使得HFR编码数据的比特率接近由比特率确定部302确定的HFR目标比特率。HFR速率控制部313将比特率受控制的HFR编码数据提供给解码器部304。

解码器部304解码从速率控制部303（LFR速率控制部312和HFR速率控制部313）提供的编码数据（LFR编码数据和HFR编码数据）。

如图19所示，解码器部304包括LFR解码器部321和HFR解码器部322。

LFR解码器部321利用与编码系统相对应的方法来解码从LFR速率控制部312提供的LFR编码数据。例如，LFR解码器部321利用JPEG2000系统解码基于JPEG2000系统编码的LFR编码数据，从而创建图像数据。LFR解码器部321将所创建的图像数据（LFR图像数据）输出至图像解码设备300的外部。注意，LFR解码器部321可将图像数据存储在存储部301中。

HFR解码器部322利用与编码系统相对应的方法来解码从HFR速率控制部313提供的HFR编码数据。例如，HFR解码器部322利用JPEG2000系统解码基于JPEG2000系统编码的HFR编码数据，从而创建图像数据。HFR解码器部322将所创建的图像数据（HFR图像数据）输出至图像解码设备300的外部。注意，HFR解码器部322可将图像数据存储在存储部301中。

[3-2解码器部]

接下来，将描述图19的解码器部304（LFR解码器部321和HFR解码器部322）。

图20是示出LFR解码器部321的主要配置实例的示意图。注意，HFR解码器部322解码与由LFR解码器部321解码的帧不同的帧。由HFR解码器部322解码的帧的目标比特率可不同于由LFR解码器部321解码的帧的目标比特率。HFR解码器部322基本上具有与LFR解码器部321的配置类似的配置。由HFR解码器部322执行的处理与由LFR解码器部321执行的处理类似。鉴于此，下文中，将描述LFR解码器部321的配置。关于LFR解码器部321的描述内容将适用于HFR解码器部322。将省略对HFR解码器部322的描述。

如图20所示，LFR解码器部321包括数据包分析部351、算术解码器部352、位建模部353、位平面合并部354、码块合并部355、小波逆转换部356和DC电平逆移位部357。

数据包分析部351分析从外部提供的或从存储部301读取的数据包（箭头361）。数据包分析部351将码流提供给算术解码器部352（箭头362）。

算术解码器部352和位建模部353用作EBCOT部371。例如，EBCOT部371对输入的码流执行被称为EBCOT的熵解码。EBCOT由JPEG2000标准指定。

算术解码器部352利用与算术编码部137相对应的方法来解码码流。算术解码器部352将上下文提供给位建模部353（箭头363）。位建模部353利用与位建模部136相对应的方法来创建被扩展成位平面的小波系数。位建模部353将针对所创建的每个位平面的系数数据提供给位平面合并部354（箭头364）。

位平面合并部354合并被扩展成位平面的小波系数。位平面合并部354将位平面被合并的小波系数提供给码块合并部355（箭头365）。

码块合并部355通过利用所提供的位平面来创建用于每个码块的系数数据。此外，码块合并部355合并系数数据，从而创建用于每个子带的系数数据。码块合并部355将系数数据提供给小波逆转换部356（箭头366）。

小波逆转换部356对所提供的小波系数进行小波逆转换，从而创建基带图像数据。小波逆转换部356将所创建的基带图像数据提供给DC电平逆移位部357（箭头367）。

DC电平逆移位部357根据需要对图像数据的DC分量执行DC电平逆移位处理。根据DC电平逆移位处理，DC电平逆移位部357返回由DC电平移位部131移位的DC分量。DC电平逆移位部357在DC电平逆移位处理之后将图像数据（解码的图像数据）输出至图像解码设备300的外部（箭头368）。

通过解码如上所述的编码数据，图像解码设备300能够根据一份编码数据很容易地创建多种帧速率的编码数据。

[3-3处理流程]

接下来，将描述由图像解码设备300执行的处理流程。首先，参照图21的流程图，将描述多种FR解码处理的流程。

在步骤S301中，当开始多种FR解码处理时，例如，比特率确定部302基于所提供的HFR编码数据的报头信息、基于来自用户的指令等来确定针对每种帧速率（FR）的目标比特率。

在步骤S302中，图片选择部311确定LFR的目标比特率是否高于HFR的目标比特率。若确定LFR的目标比特率高于HFR的目标比特率，则处理进入步骤S303。

在步骤S303中，图片选择部311确定处理的目标图片是否是LFR的图片。若确定处理的目标图片是LFR的图片，则处理进入步骤S304。

在步骤S304中，LFR解码器部321解码处理的目标图片的编码数据。后续将详细描述解码处理。LFR解码器部321输出如上所述获得的LFR图像数据。

在步骤S305中，HFR速率控制部313控制处理的目标图片的编码数据，使得处理的目标图片的编码数据的比特率接近在步骤S301中确定的HFR目标比特率。

在步骤S306中，HFR解码器部322解码处理的目标图片的编码数据。后续将详细描述解码处理。HFR解码器部322输出如上所述获得的HFR图像数据。

在完成步骤S306的处理之后，处理进入步骤S314。

此外，若在步骤S303中确定处理的目标图片不是LFR的图片，则处理进入步骤S307。

在步骤S307中，HFR速率控制部313控制处理的目标图片的编码数据，使得处理的目标图片的编码数据的比特率接近在步骤S301中确定的HFR目标比特率。

在步骤S308中，HFR解码器部322解码处理的目标图片的编码数据。后续将详细描述解码处理。HFR解码器部322输出如上所述获得的HFR图像数据。

此外，若在步骤S302中确定LFR的目标比特率小于HFR的目标比特率，则处理进入步骤S309。

在步骤S309中，图片选择部311确定处理的目标图片是否是LFR的图片。若确定处理的目标图片是LFR的图片，则处理进入步骤S310。

在步骤S310中，HFR解码器部322解码处理的目标图片的编码数据。后续将详细描述解码处理。HFR解码器部322输出如上所述获得的HFR图像数据。

在步骤S311中，LFR速率控制部312控制处理的目标图片的编码数据，使得处理的目标图片的编码数据的比特率接近在步骤S301中确定的LFR目标比特率。

在步骤S312中，LFR解码器部321解码处理的目标图片的编码数据。后续将详细描述解码处理。LFR解码器部321输出如上所述获得的LFR图像数据。

在完成步骤S312的处理之后，处理进入步骤S314。

此外，若在步骤S309中确定处理的目标图片不是LFR的图片，则处理进入步骤S313。

在步骤S313中，HFR解码器部322解码处理的目标图片的编码数据。后续将详细描述解码处理。HFR解码器部322输出如上所述获得的HFR图像数据。

接下来，参照图22的流程图，将详细描述在图21的步骤S304、步骤S308、步骤S310、步骤S312或步骤S313中执行的解码处理的流程的一个实例。

在步骤S331中，当开始解码处理时，数据包分析部351从所获得的数据包中提取编码数据。

在步骤S332中，EBCOT部371解码在步骤S331中提取的编码数据。在步骤S333中，位平面合并部354合并通过解码所获得的系数数据的位平面，从而创建用于每个码块的系数数据。在步骤S334中，码块合并部355合并用于每个码块的系数数据的码块，从而创建用于每个子带的系数数据。

在步骤S335中，小波逆转换部356对用于每个子带的系数数据进行小波逆转换，从而创建基带图像数据。注意，在量化系数数据的情况下，首先，小波逆转换部356利用与量化相对应的逆量化方法对系数数据进行逆量化。随后，小波逆转换部356对用于每个子带的系数数据进行小波逆转换。

在步骤S336中，DC电平逆移位部357对通过小波逆转换获得的基带图像数据的DC电平进行逆移位。

在步骤S337中，DC电平逆移位部357输出被DC电平逆移位处理的图像数据，作为解码的图像数据。例如，DC电平逆移位部357将解码的图像数据输出至显示装置（未示出）。显示装置显示图像。

当完成步骤S337的处理之后，完成解码处理。处理返回图21的步骤S304、步骤S308、步骤S310、步骤S312或步骤S313。

通过执行如上所述的各个处理，图像解码设备300能够根据一份解码数据很容易地创建多种帧速率的解码数据。

<4．第四实施方式>

[4-1层控制]

注意，本技术可通过利用图12中所示的层很容易地控制比特率。

例如，在第一实施方式的（案例-1）中，每个层的比特率被如下设定。

层1至层M：Bit_HFR（8.33Mb/pic）

层1至层L：Bit_LFR（10.42Mb/pic）

即，在进行编码时设定层，从而设定上述比特率。因此，在控制速率时将比特率降至更低比特率的情况下，可对从层M至层L的层进行舍弃。上述情况也适用于（案例-2）。

[4-2信息传输]

在JPEG2000编码的码流中可限定用于识别LFR的图片或HFR的图片的标志。在该情况下，可使用在JPEG2000的图片报头中的标记段的未使用位。例如，图23示出了COD标记段的一个实例。图24示出了在COD标记中的Scod参数的一个实例。

在图24的表中，已在JPEG2000第1部分中限定了从顶部开始的第二至第七参数。因此，可不使用有关第二至第七参数的位。鉴于此，如图24的表的阴影部分中所示，LFR图片和HFR图片可被如下限定和识别。

所使用的xxxx0xxx高帧率

所使用的xxxx1xxx低帧率

可替代地，可以使用图片报头中的空白位。毋庸置疑，由此获得类似效果。

注意，出于数字电影等的目的，本技术可适用于被配置为同时以传统低帧率（LFR：例如，24P）和另外以高帧率（HFR：例如，48P、60P等）编码运动图像信号的设备。该设备的实例例如包括用于数字电影的编码器设备、用于数字电影的编辑设备、存档系统、广播站处的图像传输设备、图像数据库、用于医学图像的记录系统、游戏机、电视接收器系统、蓝光光盘记录器/播放器、自由视点电视、氛围电视会议系统、PC创作工件、PC创作软件模块等。

<5．第五实施方式>

[计算机]

硬件和软件中的任何一个可执行上述一系列处理。若软件执行这一系列处理，则将构建软件的程序安装在计算机中。这里，计算机可以是例如安装在专用硬件上的计算机、通用个人计算机，其中，安装有各种程序且由此被配置为执行不同功能等。

图25是示出计算机的硬件的配置实例的框图，该计算机利用程序执行上述一系列处理。

图25的计算机400包括通过总线404彼此连接的CPU（中央处理单元）401、ROM（只读存储器）402和RAM（随机存取存储器）403。

输入/输出接口410也与总线404连接。输入单元411、输出单元412、存储器413、通信单元414和驱动器415与输入/输出接口410连接。

输入单元411例如包括键盘、鼠标、麦克风、触摸屏、输入终端等。输出单元412例如包括显示器、扬声器、输出终端等。存储器413例如包括硬盘、RAM盘、非易失性存储器等。通信单元414例如包括网络接口。驱动器415驱动可移除介质421。可移除介质421包括磁盘、光盘、磁光盘、半导体存储器等。

在由此构建的计算机中，例如，CPU401经由输入/输出接口410和总线404将存储器413中存储的程序载入RAM403中。因此，计算机执行上述一系列处理。此外，RAM403根据需要存储由CPU401执行各种处理所需的数据等。

由计算机（CPU401）执行的程序例如可被记录在可移除介质421中作为数据包介质等，且还可被使用。可替代地，可经由有线或无线传输介质（诸如局域网、因特网或数字卫星广播）将程序提供给计算机。

将可移除介质421安装在计算机的驱动器415上，且因此，可经由输入/输出接口410将程序安装在存储器413中。可替代地，通信单元414可经由有线或无线传输介质接收程序，并可将该程序安装在存储器413中。可替代地，可将程序预安装在ROM402或存储器413中。

注意，由计算机执行的程序可按照本说明书中描述的顺序被顺序处理，可被并行处理，或者可在必要时（例如，当调用程序时）被处理。

此外，在本说明书中，描述记录在记录介质中的程序的步骤自然包括按所描述的顺序被顺序处理的程序，以及未被顺序处理的程序。后者包括并行执行的程序和单独执行的程序。

此外，在本说明书中，术语“系统”是指一组多个功能元件（设备、模块（组件）等）。所有功能元件是否都被容纳在一个壳子中是不重要的。即，“系统”包括不同情况下容纳的且经由网络彼此相连的多个设备。“系统”还包括一个设备，该设备包括被容纳在一个壳子中的多个模块。

此外，可对一个设备（或处理部）的上述配置进行划分，且因此可配置多个设备（或处理部）。相反，在一个设备（或处理部）中可包括多个设备（或处理部）的上述配置。此外，当然，每个设备（或每个处理部）的配置可包括上文未描述的配置。此外，只要整个系统的配置和行为基本不改变，一个设备（或一个处理部）的配置可包括另一设备（或另一处理部）的配置的一部分。

上文已参照附图对本公开的实施方式进行了详细描述。本公开的技术范围不限于这些实例。本领域技术人员应理解，根据设计需求和其他因素可进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内。

例如，本技术可采用云计算的配置，其中，多个设备共享一种功能并经由网络一起处理该功能。

此外，一个设备可执行参照流程图描述的步骤，或多个设备可共享并执行该步骤。

此外，在一个步骤包括多个处理的情况下，一个设备可执行步骤中的多个处理，或多个设备可共享并执行多个处理。

注意，本技术可采用以下配置。

（1）一种图像处理设备，包括：

第一编码器部，被配置为编码图像数据的一些帧，从而创建第一编码数据；

速率控制部，被配置为控制由所述第一编码器部创建的所述第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；

第二编码器部，被配置为编码所述图像数据的帧，从而创建具有所述第二比特率的第三编码数据，所述帧为除由所述第一编码器部编码的帧之外的帧；以及

整合部，被配置为将由所述速率控制部创建的所述第二编码数据与由所述第二编码器部创建的所述第三编码数据整合，从而创建高帧率编码数据。

（2）根据（1）所述的图像处理设备，其中，

所述比特率是针对每个帧的比特量。

（3）根据（2）所述的图像处理设备，其中，

所述速率控制部被配置为根据需要对每个帧的所述第一编码数据的一部分进行舍弃，从而控制针对每个帧的所述比特量。

（4）根据（3）所述的图像处理设备，其中，

所述速率控制部被配置为按升序从最不重要侧开始对每个帧的所述第一编码数据进行必要量的舍弃。

（5）根据（4）所述的图像处理设备，其中，

所述第一编码器部包括：

转换部，被配置为将一部分帧的所述图像数据转换为针对每个频带的系数数据，以及

位平面编码器部，被配置为针对每个位平面来编码由所述转换部获得的所述系数数据，为预定数量的多个所述系数数据创建所述位平面，所述位平面是相同位位置的一组值，以及

所述速率控制部被配置为按升序从底部开始对所述第一编码数据的所需数量的位平面进行舍弃。

（6）根据（5）所述的图像处理设备，其中，

所述第一编码器部还包括：

码块创建部，被配置为创建码块，所述码块包括由所述转换部获得的预定数量的多个所述系数数据，以及

位平面创建单元，被配置为针对由所述码块创建部创建的每个码块创建所述位平面，以及

所述位平面编码器部被配置为按升序从底部开始对由所述位平面创建单元创建的所述码块的所需数量的位平面进行舍弃。

（7）根据（6）所述的图像处理设备，其中，

所述第二编码器部被配置为利用与所述第一编码器部相同的编码系统来编码所述图像数据。

（8）根据（7）所述的图像处理设备，其中，

所述第一编码器部和所述第二编码器部中的每一个被配置为利用JPEG2000系统来编码所述图像数据的帧。

（9）根据（1）至（8）中任一项所述的图像处理设备，其中，

所述第一编码器部被配置为基于所述第一比特率和所述第二比特率来设定编码通道的层，以及

所述速率控制部被配置为对所需数量的层进行舍弃，从而控制所述第一编码数据的比特率，并从而创建所述低帧率编码数据和所述第二编码数据。

（10）根据（1）至（9）中任一项所述的图像处理设备，还包括：

帧分配部，被配置为：

基于预设帧速率将所述图像数据的一些帧分配给所述第一编码器部，以及

将其他帧分配给所述第二编码器部。

（11）根据（10）所述的图像处理设备，其中，

所述帧分配部被配置为将识别信息添加至分配给所述第一编码器部的所述帧和分配给所述第二编码器部的所述帧中的至少一个，所述识别信息识别分配目标群。

（12）根据（1）至（11）中任一项所述的图像处理设备，还包括：

存储器，被配置为存储由所述速率控制部创建的所述低帧率编码数据。

（13）一种由图像处理设备执行的图像处理方法，包括：

利用所述图像处理设备，

编码图像数据的一些帧，从而创建第一编码数据；

控制所创建的第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；

编码所述图像数据的其他帧，从而创建具有所述第二比特率的第三编码数据；以及

将所创建的第二编码数据与所创建的第三编码数据整合，从而创建高帧率编码数据。

（14）一种程序，被配置为使计算机用作：

第一编码器部，被配置为编码图像数据的一些帧，从而创建第一编码数据；

速率控制部，被配置为控制由所述第一编码器部创建的所述第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；

第二编码器部，被配置为编码所述图像数据的帧，从而创建具有所述第二比特率的第三编码数据，所述帧为除由所述第一编码器部编码的帧之外的帧；以及

整合部，被配置为将由所述速率控制部创建的所述第二编码数据与由所述第二编码器部创建的所述第三编码数据整合，从而创建高帧率编码数据。

（15）一种图像处理设备，包括：

选择部，被配置为以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及

速率控制部，被配置为使用每个目标比特率作为每种帧速率的编码数据的比特率，所述编码数据由所述选择部创建。

（16）根据（15）所述的图像处理设备，还包括：

确定部，被配置为确定所述目标比特率，其中，

所述速率控制部被配置为使用每种帧速率的编码数据的比特率作为由所述确定部确定的目标比特率。

（17）根据（15）或（16）所述的图像处理设备，还包括：

编码器部，被配置为编码所述图像数据，从而创建所述编码数据，其中，

所述选择部被配置为根据由所述编码器部创建的所述编码数据来创建多种帧速率的编码数据。

（18）根据（15）至（17）中任一项所述的图像处理设备，还包括：

解码器部，被配置为解码每种帧速率的编码数据，所述每种帧速率由所述速率控制部以每个目标比特率来进行控制。

（19）一种由图像处理设备执行的图像处理方法，包括：

利用所述图像处理设备，

以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及

使用每个目标比特率作为所创建的每种帧速率的编码数据的比特率。

（20）一种程序，被配置为使计算机用作：

选择部，被配置为以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及

速率控制部，被配置为使用每个目标比特率作为每种帧速率的编码数据的比特率，所述编码数据由所述选择部创建。

本公开包括涉及于2012年5月18日在日本专利局提交的日本在先专利申请第JP2012-114679号所公开的主题，将其全部内容结合于此供参考。

Claims (21)

1.一种图像处理设备，包括：

第一编码器部，被配置为编码图像数据的一些帧，从而创建第一编码数据；

速率控制部，被配置为控制由所述第一编码器部创建的所述第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；

第二编码器部，被配置为编码所述图像数据的帧，从而创建具有所述第二比特率的第三编码数据，所述帧为除由所述第一编码器部编码的帧之外的帧；以及

整合部，被配置为将由所述速率控制部创建的所述第二编码数据与由所述第二编码器部创建的所述第三编码数据整合，从而创建高帧率编码数据。

2.根据权利要求1所述的图像处理设备，其中，

所述比特率是针对每个帧的比特量。

3.根据权利要求2所述的图像处理设备，其中，

所述速率控制部被配置为根据需要对每个帧的所述第一编码数据的一部分进行舍弃，从而控制针对每个帧的所述比特量。

4.根据权利要求3所述的图像处理设备，其中，

所述速率控制部被配置为按升序从最不重要侧开始对每个帧的所述第一编码数据进行必要量的舍弃。

5.根据权利要求4所述的图像处理设备，其中，

所述第一编码器部包括：

转换部，被配置为将一部分帧的所述图像数据转换为针对每个频带的系数数据，以及

位平面编码器部，被配置为针对每个位平面来编码由所述转换部获得的所述系数数据，为预定数量的多个所述系数数据创建所述位平面，所述位平面是相同位位置的一组值，以及

所述速率控制部被配置为按升序从底部开始对所述第一编码数据的所需数量的位平面进行舍弃。

6.根据权利要求5所述的图像处理设备，其中，

所述第一编码器部还包括：

码块创建部，被配置为创建码块，所述码块包括由所述转换部获得的预定数量的多个所述系数数据，以及

位平面创建单元，被配置为针对由所述码块创建部创建的每个码块创建所述位平面，以及

所述位平面编码器部被配置为按升序从底部开始对由所述位平面创建单元创建的所述码块的所需数量的位平面进行舍弃。

7.根据权利要求6所述的图像处理设备，其中，

所述第二编码器部被配置为利用与所述第一编码器部相同的编码系统来编码所述图像数据。

8.根据权利要求7所述的图像处理设备，其中，

所述第一编码器部和所述第二编码器部中的每一个被配置为利用JPEG2000系统来编码所述图像数据的帧。

9.根据权利要求1所述的图像处理设备，其中，

所述第一编码器部被配置为基于所述第一比特率和所述第二比特率来设定编码通道的层，以及

所述速率控制部被配置为对所需数量的层进行舍弃，从而控制所述第一编码数据的比特率，并从而创建所述低帧率编码数据和所述第二编码数据。

10.根据权利要求1所述的图像处理设备，还包括：

帧分配部，被配置为：

基于预设帧速率将所述图像数据的一些帧分配给所述第一编码器部，以及

将其他帧分配给所述第二编码器部。

11.根据权利要求10所述的图像处理设备，其中，

所述帧分配部被配置为将识别信息添加至分配给所述第一编码器部的所述帧和分配给所述第二编码器部的所述帧中的至少一个，所述识别信息识别分配目标群。

12.根据权利要求1所述的图像处理设备，还包括：

存储器，被配置为存储由所述速率控制部创建的所述低帧率编码数据。

13.一种由图像处理设备执行的图像处理方法，包括：

利用所述图像处理设备，

编码图像数据的一些帧，从而创建第一编码数据；

控制所创建的第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；

编码所述图像数据的其他帧，从而创建具有所述第二比特率的第三编码数据；以及

将所创建的第二编码数据与所创建的第三编码数据整合，从而创建高帧率编码数据。

14.根据权利要求13所述的图像处理方法，其中，

基于所述第一比特率和所述第二比特率来设定编码通道的层，以及

对所需数量的层进行舍弃，从而控制所述第一编码数据的比特率，并从而创建所述低帧率编码数据和所述第二编码数据。

15.一种程序，被配置为使计算机用作：

第一编码器部，被配置为编码图像数据的一些帧，从而创建第一编码数据；

速率控制部，被配置为控制由所述第一编码器部创建的所述第一编码数据的比特率，从而创建具有第一比特率的低帧率编码数据和具有第二比特率的第二编码数据，所述第二比特率不同于所述第一比特率；

第二编码器部，被配置为编码所述图像数据的帧，从而创建具有所述第二比特率的第三编码数据，所述帧为除由所述第一编码器部编码的帧之外的帧；以及

整合部，被配置为将由所述速率控制部创建的所述第二编码数据与由所述第二编码器部创建的所述第三编码数据整合，从而创建高帧率编码数据。

16.一种图像处理设备，包括：

选择部，被配置为以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及

速率控制部，被配置为使用每个目标比特率作为每种帧速率的编码数据的比特率，所述编码数据由所述选择部创建。

17.根据权利要求16所述的图像处理设备，还包括：

确定部，被配置为确定所述目标比特率，其中，

所述速率控制部被配置为使用每种帧速率的编码数据的比特率作为由所述确定部确定的目标比特率。

18.根据权利要求16所述的图像处理设备，还包括：

编码器部，被配置为编码所述图像数据，从而创建所述编码数据，其中，

所述选择部被配置为根据由所述编码器部创建的所述编码数据来创建多种帧速率的编码数据。

19.根据权利要求16所述的图像处理设备，还包括：

解码器部，被配置为解码每种帧速率的编码数据，所述每种帧速率由所述速率控制部以每个目标比特率来进行控制。

20.一种由图像处理设备执行的图像处理方法，包括：

利用所述图像处理设备，

以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及

使用每个目标比特率作为所创建的每种帧速率的编码数据的比特率。

21.一种程序，被配置为使计算机用作：

选择部，被配置为以与帧速率相对应的比率从编码数据选择用于每个帧的数据，所述编码数据通过编码图像数据来获得，从而创建多种帧速率的编码数据；以及

速率控制部，被配置为使用每个目标比特率作为每种帧速率的编码数据的比特率，所述编码数据由所述选择部创建。

Images