CN101663897A - 运动图像编码装置、方法、程序以及集成电路 - Google Patents

Abstract

分割序列被重叠为输出序列后，索引被变更，则需要处理量多的处理。于是，发送装置(3)包括：分配器(5)，将输入序列(DV1)分割为N条(N≥2)分割序列；N个编码器(6A～6N)，对所述分配器(5)所分割的N条分割序列进行编码；以及合成器(7)，将N个所述编码器所编码的N条所述分割序列多路复用为一条输出序列(DS1)；所述输出序列(DS1)包含参考图像索引，该参考图像索引唯一地确定该输出序列(DS1)具有的各个帧中的参考帧；发送装置(3)还包括：参考帧识别符控制部(610)，在分割序列被多路复用为所述输出序列(DS1)之前，在分割序列设定所述的参考索引。

Description

运动图像编码装置、方法、程序以及集成电路

技术领域

本发明涉及一种并联编码装置，为了对高速输入的摄像图像进行处理，而利用N路的编码电路对N条分割序列进行并联编码，并以帧为单位、且按输入顺序将所输出的N路的编码流叠加，所述N条分割序列是在时间方向以N帧为单位将输入序列分割而成的。

背景技术

利用图1～图7，说明以往的系统的工作。

图1示出专利文献1所述的以往的运动图像传输系统X1的结构。以往的运动图像传输系统X1包括发送装置X3和接收装置X4。

在图1中，运动图像传输系统X1，通过通信路X2，从发送装置X3向接收装置X4分发高帧率的运动图像。在此，发送装置X3适用H.264编码方式。

该发送装置X3，以图片为单位，依次循环分配输入视频数据XDV1，并进行时间轴伸展，生成多路的视频数据XDV1A、XDV1B、……、XDV1N。并且，发送装置X3，通过编码器X6A～X6N，对各个路的视频数据XDV1A、XDV1B、……、XDV1N分别进行编码处理后，进行时间轴压缩，从而合成为1路。发送装置X3，通过图中没有示出的通信部，向通信路X2发送所合成的编码数据XDS1。

也就是，在发送装置X3中，分配器X5，依次循环分配输入视频数据XDV1的各个图片，并进行时间轴伸展，输出多路的视频数据XDV1A、XDV1B、……、XDV1N。具体而言，分配器X5，将输入视频数据XDV1的第m图片分配为第1路的视频数据XDV1A，将后续的第m+1图片分配为后续的第2路的视频数据XDV1B。并且，分配器X5，还将后续的第m+2图片分配为后续的第3路的视频数据XDV1C。

编码器X6A～X6N，分别根据H.264，对各个路的视频数据XDV1A、XDV1B、……、XDV1N进行编码处理，输出编码数据XDS1A、XDS1B、……、XDS1N。

合成器X7，对编码数据XDS1A、XDS1B、……、XDS1N进行时间轴压缩后，以图片为单位依次循环进行选择，以便与分配器X5中的输入视频数据XDV1的分配相对应，将这些多个编码数据XDS1A、XDS1B、……、XDS1N合成为1路的编码数据XDS1。进而，合成器X7，重新设定在该1路的编码数据XDS1设定了的示出各个图片的关系的信息，或者，重新设定在多路的编码数据XDS1A、XDS1B、……、XDS1N预先设定了的示出各个图片的关系的信息，从而使基于H.264编码标准的1台解码装置能够解码合成后的1路的编码数据XDS1。

合成器X7，重新设定确定各个图片的帧识别符(frame_num)，以作为示出各个图片的关系的信息，以便在合成后的编码数据XDS1中能够确定各个图片。也就是，在H.264中，作为各个图片固有的识别符的帧识别符(frame_num)，被设定在各个存取单元(AccessUnit)的切片头(SliceHeader)，依据该帧识别符(frame_num)确定各个图片。因此，对于基于H.264编码标准的编码器X6A～X6N分别进行编码处理后的编码数据XDS1A、XDS1B、……、XDS1N，分别各个编码数据XDS1A、XDS1B、……、XDS1N固有的帧识别符(frame_num)被设定在各个图片。

合成器7，重新设定帧识别符(frame_num)，以便在合成后的1路的编码数据XDS1中，使值以图片为单位连续发生变化，并将各个编码数据XDS1A、XDS1B、……、XDS1N固有的帧识别符(frame_num)，重新设定为1路的编码数据XDS1固有的帧识别符(frame_num)。

图2是，以合成2路的编码数据XDS1A、XDS1B的情况为例子，来示出该合成器X7(图1)中的帧识别符(frame_num)的设定的概要图。

在该图2的例子中，在1路的编码数据XDS1A的各个图片，依次设定值AUn、值AUn+1、值AUn+2、……的接连的帧识别符(frame_num)(图2的上层)，在其余1路的编码数据XDS1B的各个图片，依次设定值AUm、值AUm+1、值AUm+2、……的接连的帧识别符(frame_num)(图2的中层)。

合成器X7，如以箭头示出，合成2路的编码数据XDS1A、XDS1B来生成1路的编码数据XDS1，以便2路的编码数据XDS1A、XDS1B的各个图片交替连续(图2的下层)。并且，合成器X7，如以值AUn、值AUn+1、值AUn+2、值AUn+3、值AUn+4、来示出，重新设定帧识别符(frame_num)，以便以图片为单位，各个图片的帧识别符(frame_num)依次连续。

并且，合成器X7，重新设定确定参考图片的参考图片列表(Reference Picture List：ref_pic_list)，以作为示出各个图片的关系的信息，从而能够依据合成后的编码数据XDS1来准确地确定参考关系。

也就是，在H.264中，依据参考帧识别符(ref_idx)以及参考图片列表(ref_pic_list)，确定各个宏块参考的参考帧。

图3是说明参考图片列表XL的构造的概要图。

如图3示出，参考图片列表XL(ref_pic_list)是被设置在切片头(SliceHeader)的列表，具有过去的多幅参考帧识别符(ref_idx)、以及与各个参考帧识别符(ref_idx)相对应的帧识别符(frame_num)。在H.264的编码装置、解码装置中，被设定在该参考图片列表XL(ref_pic_list)的帧识别符(frame_num)的图片，被存储在用于参考图片的缓冲XB(Decoded Picture Buffer)，并被使用于其它图片的编码、解码。

在各个宏块XM(MacroBlock)设定有，被设定在参考图片列表XL(ref_pic_list)的参考帧识别符(ref_idx)中的、与参考图片相对应的参考帧识别符(ref_idx)。

因此，在图3示出的例子中，由于在宏块XM(MacroBlock)设定有值1的参考帧识别符(ref_idx)(ref_idx＝1)，在参考图片列表XL(ref_pic_list)中的该值1的参考帧识别符(ref_idx)设定有值n+1的帧识别符(frame_num)，因此得知，该宏块XM(MacroBlock)参考缓冲XB(DecodedPictureBuffer)保持的帧识别符(frame_num)为值n+1的图片。

图4是说明运动图像编码装置(发送装置X3)中的参考关系的概要图。

在此，以合成2路的编码数据XDS1A、XDS1B的情况为例子，如图4示出，在以图片为单位将多路的编码数据XDS1A、XDS1B选择并合成为1路的情况下，连续的图片间发生参考关系的变化。而且，在此，在图4中，以符号frame_n～frame_n+3、frame_m～frame_m+3来分别示出图片，以箭头线来示出各个图片间的参考关系。因此，在该图4的情况下，示出在2路的编码数据XDS1A、XDS1B中，各个图片分别参考靠前的图片。若将该2路的编码数据XDS1A、XDS1B合成为1路，则各个图片分别参考隔开一个图片的前方图片，依据被设定在各个路的编码数据XDS1A、XDS1B的参考关系的信息，难以表示准确的参考关系。也就是，在各个编码数据XDS1A、XDS1B被合成为编码数据XDS1后，被设定在各个编码数据XDS1A、XDS1B的参考关系的信息表示的参考关系为不准确的参考关系，即表示错误的参考关系。

在图5、图6中，随着参考图片列表的状态转移，而示出图4示出的合成前流XDS1A、合成后流XDS1的各个参考关系。

在图5中，各个帧的参考帧识别符(ref_idx)，总是保持值0。在合成器7中，由于不重新设定从各个宏块参考的参考帧识别符(ref_idx)，因此需要重新设定切片头(SliceHeader)信息。

于是，合成器X7，如图6示出，重新设定被设定在切片头(SliceHeader)的参考图片列表(ref_pic_list)的帧识别符(frame_num)，以便在合成为1路的编码数据XDS1中能够指示准确的参考关系。具体而言，合成器X7，重新设定参考图片列表(ref_pic_list)的帧识别符(frame_num)，以便与所述的帧识别符(frame_num)的设定相对应。

图7是示出一般的H.264编码标准的编码流的结构的图。

合成器7，重新设定在切片头(SliceHeader)内存在的帧识别符(frame_num)、参考图片列表(ref_pic_list_reordering)。其结果为，不需要重新设定在切片数据(SliceData)内存在(实际上按每个宏块数据存在)的参考帧识别符(ref_idx)。

专利文献1：日本国特开2007-202026号公报

然而，在所述专利文献1中实施的以往的结构中，各个编码器X6A～X6N所编码的编码数据XDS1A～XDS1N是已经构成为存取单元(AccessUnit)的编码数据，如图7示出，帧识别符(frame_num)被可变长编码为切片头(SliceHeader)语法，参考帧识别符(ref_idx)被可变长编码为宏块(macroblock)语法。在合成器X7中，为了重新设定被设定在切片头(SliceHeader)的帧识别符(frame_num)，而需要检测编码数据内的切片头的开头，边对切片头以后的被可变长编码了的编码参数进行可变长解码，边检测帧识别符(frame_num)，从而对要重新设定的帧识别符进行可变长编码，来置换帧识别符。并且，在要重新设定的帧识别符的可变长编码数据的位长度发生变化的情况下，由于重新设定了的帧识别符以后的位的位置偏移，因此需要边将编码数据位移，边重新构成编码数据。进而，由于需要重新设定参考图片列表(ref_pic_list_reordering)，因此需要到该语法的出现位置对被可变长编码了的编码流进行可变长解码。据此，需要用于将编码数据暂时保持在各个编码器X6A～X6N的后级或合成器X7的缓冲存储器、启动代码检测器、进行可变长解码处理的流操作部、以及用于将编码数据位移的桶形移位器(Barrel Shifter)，因此存在硬件资源增加、以及因硬件资源增加而导致消耗电力增加的问题。

并且，在H.264编码标准中，能够指定参考可能帧幅数(num_ref_frames)，其最大值被规定为16幅。但是，在很多情况下，为了规定用于保持各个编码器X6A～X6N的参考帧的缓冲容量，而参考可能帧幅数(num_ref_frames)被限制为16幅以下。因此，存在的问题是，在编码时参考可能帧幅数被限制的情况下，在合成为1路的编码数据XDS1中，用于保持参考帧的缓冲容量不足，从缓冲区域中参考帧已被丢弃，从而发生在缓冲内不存在应该参考的帧数据的情况。

发明内容

为了解决所述的以往的问题，本发明的目的在于提供一种运动图像编码装置，为了确保合成后的帧的参考关系的互换性，而在制作编码流时预先控制可变长编码器，从而不需要用于重新设定已被构成为编码流的参数的缓冲存储器、启动代码检测器、进行可变长解码的流控制部、以及用于将编码数据位移的桶形移位器。并且，本发明的目的在于提供，根据所述内容进行比较简单的处理的运动图像编码装置。

鉴于以上的内容，本发明的第一运动图像编码装置是一种运动图像编码装置，包括：分割部，将输入到该运动图像编码装置的输入序列分割为N条(N≥2)分割序列；N个编码器，对所述分割部所分割的N条分割序列进行编码；以及多路复用部，将N个所述编码器所编码的N条所述分割序列多路复用为一条输出序列；所述输出序列包含索引，该索引唯一地确定该输出序列具有的各个图像中的一个图像；所述运动图像编码装置，包括索引控制部，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。

并且，第二运动图像编码装置是一种运动图像编码装置，利用N个编码电路对每隔N幅选择输入图像而得到的N条输入序列进行编码，其中包括：运动推测单元，根据输入图像和过去已经编码的多个图像推测运动，从而获得运动矢量信息和差分块；正交转换单元，将与所述运动推测单元所推测的块之间的差分转换为频率系数值；量化单元，将所述正交转换单元所转换的频率系数值量化；反量化单元，将所述量化单元所量化的量化值反量化；反正交转换单元，将所述反量化单元所反量化的量化系数转换为像素值；解块滤波器单元，对所述反正交转换单元所转换的像素值进行滤波处理；可变长编码单元，对包含所述量化单元所量化的系数值、所述运动推测单元算出的运动矢量值以及参考图像索引的编码信息进行编码；参考索引信息控制单元，变更所述运动推测单元取得的参考图像索引；以及多路复用单元，按输入顺序，将输入序列整体的编码信息和N个编码电路生成的编码流重叠。

在此，第二运动图像编码装置包括参考帧识别符控制单元。

根据该结构，能够在制作编码数据时将参考帧识别符插入到编码流中。

并且，第二运动图像编码装置，其中，第三运动图像编码装置包括参考图像缓冲信息控制单元，变更参考图像缓冲信息，该参考图像缓冲信息是所述多路复用单元所重叠的输入序列整体的编码信息的构成要素。

在此，第三运动图像编码装置包括参考图像缓冲信息控制单元。

根据该结构，能够在制作编码数据时将参考可能帧幅(参考帧缓冲信息)插入到编码流中。

并且，通过包括该第二运动图像编码装置的各个步骤的方法，能够提供在制作编码数据时将参考帧识别符插入到编码流中的编码方法。

并且，根据包括该第三运动图像编码装置的各个步骤的方法，能够提供在制作编码数据时将参考可能帧幅(参考帧缓冲信息)插入到编码流中的编码方法。

并且，根据用于使计算机实现该第二运动图像编码装置的各个步骤的程序，能够提供在制作编码数据时将参考帧识别符插入到编码流中的编码方法的程序。

并且，根据用于使计算机实现该第三运动图像编码装置的各个步骤的程序，能够提供在制作编码数据时将参考可能帧幅(参考帧缓冲信息)插入到编码流中的编码方法的程序。

在此，记录有第二运动图像编码装置的运动图像编码方法的程序的记录介质是，记录有包括参考帧识别符控制步骤的方法的程序的记录介质。

根据该记录介质，能够提供记录有在制作编码数据时将参考帧识别符插入到编码流中的编码方法的程序的记录介质。

在此，记录有该第三运动图像编码装置的运动图像编码方法的程序的记录介质是，记录有包括参考帧缓冲控制步骤的方法的程序的记录介质。

根据该结构，能够提供记录有在制作编码数据时将参考可能帧幅(参考帧缓冲信息)插入到编码流中的编码方法的程序的记录介质。

根据本发明的运动图像编码装置，不重新设定编码流的参数，而能够确保在将独立编码的多个流合成的情况下的参考关系的互换性。并且，能够提供根据所述内容进行比较简单的处理的运动图像编码装置。

附图说明

图1是以往的运动图像传输系统的方框图。

图2是说明图6的运动图像编码系统中的编码数据的合成处理的概要图。

图3是说明参考图片列表的构造的概要图。

图4是说明运动图像编码装置中的参考关系的概要图。

图5是以参考帧缓冲的状态转移来说明图9中的参考关系的概要图。

图6是说明以往的编码系统中的参考帧缓冲的状态转移的概要图。

图7是说明H.264编码标准中的切片层语法的概要图。

图8是本发明的实施例中的数字照相机的方框图。

图9是本发明的实施例中的运动图像传输系统的方框图。

图10是本发明的实施例中的参考帧缓冲的状态转移的概要图。

图11是本发明的实施例中的参考帧缓冲的状态转移的概要图。

图12是本发明的实施例中的参考帧缓冲的状态转移的概要图。

图13是本发明的实施例中的参考帧缓冲的状态转移的概要图。

图14是本发明的实施例中的参考帧识别符控制的流程图。

图15是示出分割序列和输出序列154的图。

符号说明

1数字照相机系统

2通信路

3发送装置

4接收装置

5分配器

6A～6N、6编码器

7合成器

8参考帧缓冲控制部

601正交转换部

602量化部

603反量化部

604反正交转换部

605解块滤波器部

606运动探索部

607帧内预测部

608可变长编码部

609帧存储器

610参考帧识别符控制部

1401透镜

1402摄像元件

1403图像处理器

具体实施方式

以下，参照附图说明本发明的实施例。

(实施例)

以下，详细说明实施例。

图8是数字照相机系统1的方框图。

如图8示出，数字照相机系统1包括：光学透镜1401；摄像元件(图像传感器)1402；用于预处理的图像处理器1403，将通过光电转换从摄像元件1402得到的传感器图像(RAW数据)转换为YUV格式数据DV1；以及发送装置3，对从图像处理器1403发送的YUV格式数据进行编码。

光学透镜1401，在摄像元件1402上形成，数字照相机系统1拍摄的运动图像的影像。

摄像元件1402，生成光学透镜1401所形成的影像的电信号。而且，摄像元件1402，将所生成的电信号输出到图像处理器1403，并将数字照相机系统1拍摄的运动图像输入到图像处理器1403。而且，进一步，具体而言，摄像元件1402，例如生成比电视广播的帧率等的通常的帧率高的帧率的运动图像的电信号，并将高帧率的运动图像输入到图像处理器1403。

图像处理器1403，对所输入的运动图像进行图像处理，并将图像处理后的运动图像输出到发送装置3。

发送装置3，根据从图像处理处理器1403输出到发送装置3的运动图像的输入序列DV1(图8)，生成以H.264编码方式来对输入序列DV1进行编码而得的输出序列DS1(图9)，并将所生成的输出序列DS1，通过通信路2(图9)发送到接收装置4。

图9是示出本发明的实施例中的数字照相机系统1的详细结构的方框图。

图9的下层示出数字照相机系统1具有的发送装置3(图8)的详细结构。

如图9的下层示出，数字照相机系统1，通过通信路2，从发送装置3向接收装置4分发高帧率的运动图像。由数字照相机系统1以及接收装置4的整体构成运动图像传输系统。

而且，接收装置4包括解码器4m。解码器4m，对接收装置4所接收的、发送装置3发送的输出序列DS1进行解码。具体而言，解码器4m，以H.264编码方式来对所接收的输出序列DS1进行解码。接收装置4，通过解码器4m，对接收的输出序列DS1进行解码。

发送装置3包括：分配器5；多个编码器(编码器6A～编码器6N)；合成器7；以及参考帧缓冲控制部8(图9的下层)。而且，例如，这些分配器5等是，安装在发送装置3包括的集成电路的功能框。并且，例如，这些分配器5等是，通过发送装置3包括的计算机执行软件，从而该计算机实现的功能的功能框。

分配器5，依次循环分配输入视频数据(输入序列)DV1的各个图片，并进行时间轴伸展，输出多路的视频数据DV1A、DV1B、……、DV1N。分配器5，将这些多路的视频数据DV1A、DV1B、……、DV1N，输出到编码器6A～编码器6N。

从分配器5，向多个编码器(编码器6A～编码器6N)分别输入分配器5所分割的视频数据DV1A～视频数据DV1N。编码器6A～编码器6N，分别对该编码器所输入的视频数据(视频数据DV1A～视频数据DV1N)进行编码。由编码器6A～编码器6N编码后的视频数据DV1A～视频数据DV1N，分别被称为编码数据DS1A～DS1N。

而且，分配器5，将输入视频数据DV1分割为由编码器6A～编码器6N编码的N个分割序列。编码器6A～编码器6N对所分割的各个分割序列进行编码，并从编码器6A～编码器6N向合成器7分别输出编码后的各个分割序列。

而且，分配器5所分割的N个分割序列，都具有比输入视频数据DV1的帧率低的帧率。例如，具有比输入视频数据DV1的帧率慢N倍的帧率。具体而言，例如，这些N个分割序列的帧率等于电视广播的帧率。

图9的上层示出编码器6的详细结构。

编码器6是编码器6A～编码器6N(图9的下层)之中的一个。例如，编码器6是编码器6A。而且，编码器6B～编码器6N的详细结构，与编码器6(编码器6A)的详细结构(图9的上层)相同。

编码器6包括正交转换部(T)601、量化部(Q)602、反量化部(Q-1)603、反正交转换部(T-1)604、解块滤波器部(DBF)605、帧存储器(FM)609、帧内预测部(INTRA)607、运动探索部(ME)606、可变长编码部(VLC)608、以及参考帧识别符控制部610。以下，正交转换部(T)601～运动探索部(ME)606的整体被称为前级编码部。编码器6包括前级编码部、可变长编码部(VLC)608以及参考帧识别符控制部610。

而且，构成编码器6的前级编码部(正交转换部(T)601、量化部(Q)602、反量化部(Q-1)603、反正交转换部(T-1)604、解块滤波器部(DBF)605、帧存储器(FM)609、帧内预测部(INTA)607、运动探索部(ME)606)和可变长编码部(VLC)608，具有与一般的H.264编码处理中的功能相同的功能。对于这些前级编码部、可变长编码部，也可以采用与它们相对应的规定的公知技术。对于这些前级编码部、可变长编码部，在图14的说明中说明简单的流程图中的处理的流程。

对于参考帧识别符控制部610、参考帧缓冲控制部8，参照图10～图13，首先进行详细说明。

合成器7(图9的下层)，对由编码器6A～编码器6N编码的编码数据DS1A、DS1B、……、DS1N进行时间轴压缩后，以图片为单位，依次循环选择时间轴压缩后的编码数据DS1A、DS1B、……、DS1N，以便与分配器5中的输入视频数据XDV1的分配相对应。而且，合成器7，将这些多个编码数据DS1A、DS1B、……、DS1N，合成为1路的编码数据DS1。通过发送装置3，将合成后的编码数据DS1发送到接收装置4。

图10是示出由编码器6(图9的上层，编码器6A)输出的编码数据DS1A的图。

图11是示出由合成器7将编码数据DS1A(图10)等合成而得的编码数据DS1(图9的下层)的图。

利用图10、图11说明参考帧识别符控制部610(图9的上层)的工作。

参考帧识别符控制部610(图9的上层)，在视频数据XDV1A设定全局索引，该全局索引用于唯一地确定编码数据DS1(图9的下层，图11)具有的各个帧中的一个帧。

图10表示编码器6(编码器6A)制作图10的编码流DS1A时的参考图片列表。

并且，在图11中，示出利用N路(2路)的编码器进行合成时的例子。在图11中，举例示出N为2的情况。在编码器有N路的情况下的参考帧关系，具有离间N-1帧(1帧)的参考关系。

在图10中，由frame_n+2参考的帧是frame_n+1，一般而言，从参考图片列表的参考帧识别符最小的值的帧开始，依次参考各个帧。也就是，frame_n+2的参考帧识别符(ref_idx)为0。在图10中，以从frame_n+2延伸的虚线的箭头线来示出，frame_n+2的ref_idx为0。但是，若照原样进行编码，即，若照原样以ref_idx为0来进行编码，则合成器7所合成的编码数据DS1(图11)，不能表示准确的参考。于是，由于合成后的编码数据DS1具有离间N-1帧(1帧)的参考关系，因此，在编码器6(编码器6A)进行编码时，编码器6(编码器6A)的参考帧识别符控制部610，预先控制参考帧识别符(ref_idx)，并进行编码，以便成为离间的参考关系。也就是，参考帧识别符控制部610，将本来以虚线的箭头线(图10)来示出的参考帧关系，置换为以实线的箭头线来示出的参考帧关系。据此，例如，如图10的frame_n+2的“ref_idx＝1”示出，frame_n+2的ref_idx从0被置换为1。

而且，具体而言，例如，参考帧识别符控制部610也可以，设定置换前的值后，设定置换后的值，从而简直进行置换。并且，参考帧识别符控制部610也可以，不逐一设定置换前的值，而就设定置换后的值。

而且，参考帧识别符，根据包含该参考帧识别符的帧、和由该帧参考的帧(参考帧)之间的距离，即，根据这些帧相互离间的距离，来确定所参考的帧(参考帧)。参考帧识别符包含，由与该参考帧识别符的帧之间的距离而成的索引，确定该索引的距离的帧，以作为参考帧。参考帧识别符，以相对指定(自己相对指定)来确定参考帧。

而且，包含参考帧识别符的帧也可以是，例如所谓P帧(Predecated Frame)。而且，包含参考帧识别符的帧也可以是，例如所谓B帧(Bi-directional Predecated Frame)。

图11表示解码器4m(图9)对将进行了所述控制的编码数据DS1A、编码数据DS1B合成而得的编码数据DS1进行解码时的参考图片列表的状态转移。

而且，在图11中示出将新的二个编码数据合成的结果。也就是，不由图10的frame_n～frame_n+3而成的编码数据DS1A，而将其它的编码数据合成而得的编码数据，就是由图11的frame_n～frame_n+5而成的编码数据DS1。

在图11中，对于frame_n～frame_n+5，在参考图片列表中，从解码时刻最近的帧开始，依次分配更小的参考帧识别符(ref_idx)。并且，由于各个帧的参考帧识别符(ref_idx)，保持在合成后的编码数据DS1中离间2帧的参考关系，即，保持在合成前的编码数据DS1A中离间1帧的参考关系，因此，解码器4m，能够依据正常的参考关系信息进行帧解码处理。

并且，利用图12、图13说明存在多个帧参考关系的情况下的发送装置3的工作。

在图12中设想，流(编码数据DS1A，图9)的frame_n+2参考frame_n、frame_n+1的多个帧。并且，设想参帧最大值(num_ref_frames)被限制为3。在此情况下，能够参考的帧识别符(ref_idx)，最大为2。图13示出在合成器7将2路的编码流合成的情况下的参考图片的状态转移。

在图13中，对于frame_n+4，变更frame_n+4的帧识别符(ref_idx)，以便参考frame_n+2和frame_n。也就是，在图13中，frame_n+4的宏块是，纵向排列的六个宏块(macro_block)中的、从上第5个宏块。而且，该frame_n+4的宏块具有二个帧识别符(ref_idx)。而且，对于这些二个帧识别符(ref_idx)的值，如图13的实线的箭头线示出，由参考帧识别符控制部610，预先不设定0以及1，而设定1以及3。

参考帧缓冲控制部8(图9的下层)，设定参考帧最大值(num_ref_frames)。

若仍然参考帧最大值(num_ref_frames)为3，则frame_n+4的解码时所参考的frame_n的帧识别符(ref_idx)为3(ref_idx＝3，图13)，因此不能参考。因此，参考帧缓冲控制部8(图9的下层)，在由合成器7合成为1路时，将作为序列参数集(Sequence_Parameter_Set)语法的参考帧最大值重新设定为(原设定值×帧分割数)，从而合成为1路。其结果为，在合成时重新设定了的参考帧最大值为4，在frame_n+4的解码时所参考的frame_n的帧识别符(ref_idx)的值3，成为能够参考的值。

并且，利用图14说明由参考帧识别符控制部610的参考帧识别符控制处理、以及由参考帧缓冲控制部8的参考帧缓冲控制处理的流程图。

在图14中，首先，例如发送装置3的分配器3等，对各个编码器设定并联度N，该并联度N示出以几路的编码器来进行编码处理(S1301)。其次，根据H.264标准，编码器6A的前级编码部(正交转换部(T)601等)进行编码处理(S1302～S1309)。其次，参考帧识别符控制部610，将在画面间预测处理(ME：运动检测)中参考的帧的原帧识别符(ref_idx_OLD)变更为新的帧识别符(ref_idx_NEW)(S1310)。而且，参考帧识别符控制部610，通过“ref_idx_NEW＝(ref_idx_OLD+1)*N-1”的计算式，从变更前的帧识别符(ref_idx_OLD)算出，变更后的帧识别符(ref_idx_NEW)。而且，参考帧识别符控制部610也可以，先设定ref_idx_OLD，然后，将设定了的设定内容变更为ref_idx_NEW，从而设定ref_idx_NEW。也就是，参考帧识别符控制部610也可以，先将原来的值修正为ref_idx_OLD，然后，还将作为被修正了的设定内容的ref_idx_OLD，修正为ref_idx_NEW。并且，参考帧识别符控制部610也可以，不先将原来的值修正为ref_idx_OLD，而直接将原来的值修正为ref_idx_NEW。

其次，可变长编码部(VLC)608，根据H.264标准，对由参考帧识别符控制部610变更后的帧识别符进行可变长编码(S1311)。若帧内的所有的宏块的编码已完成(S1312)，则编码器等将切片头信息、图片参数集信息附加在流中(S1313、S1314)，若编码对象帧是序列的最后帧(S1315：“是”)，则参考帧缓冲控制部8进行参考帧缓冲控制(S1316)。其处理是，如上所述，变更参考帧最大值(num_ref_frames)，并变更参考帧保持区间的处理。其次，合成器7，将包含被变更了的参考帧最大值(num_ref_frames)的序列参数集信息附加在流中(S1317)。

以往的技术中存在的问题是，为了将独立地编码后的多个流合成后，重新设定具有不匹配的参考关系，而需要流操作部、桶形移位器以及用于暂时保持流的缓冲存储器，导致消耗电力增加的问题。根据该数字照相机系统1，能够避免该问题。也就是，数字照相机系统1中的发送装置3包括参考帧识别符控制部610和参考帧缓冲控制部8，在制作编码流时，通过控制可变长编码器，从而在合成前，预先设定合成后的参考关系。据此，能够提供运动图像编码装置(发送装置3)，其不需要用于重新设定已被构成为编码流的参数的缓冲存储器、启动代码检测器、进行可变长解码的流控制部、以及用于将编码数据位移的桶形移位器。

而且，在所述的实施例中，假设根据H.264标准进行编码处理的情况来说明了，但是，本发明不仅限于此，可以广泛地适用于以能够将多个图片作为参考图片的各种编码方式来进行编码处理的情况。

并且，在所述的实施例中说明了，由硬件构成各个处理，并且该硬件被构成为编码处理终端的情况，但是，本发明不仅限于此，也可以考虑到由硬件构成各个处理，并且该硬件被构成为一个LSI(大规模集成电路)的情况。

并且，也可以考虑到被构成为编入程序的情况，该编入程序用于通过软件处理控制LSI内的专用数字信号处理器的运算处理。

并且，也可以考虑到被构成为程序的情况，该程序用于通过软件处理控制个人电脑内的通用运算处理。

在此情况下，也可以将运算处理的程序记录在光盘、磁盘、存储卡、LSI内的指令存储器等的各种记录介质中来提供，并且，也可以通过互联网等网络来提供。

图15是示出由分配器5分割后的多个分割序列、和由合成器7将分割后的多个分割序列合成而得的输出序列154的图。

右边的分割序列(分割序列152以及分割序列153)是，由编码器6(编码器6A)编码的分割序列(图9的视频数据DV1A、编码数据DS1A)。

分割序列152是，就在由可变长编码部608(图9的上层)进行可变长编码之前的分割序列。

分割序列153是，在由可变长编码部608进行可变长编码之后的分割序列(编码数据DS1A)。在图15中，通过在分割序列153附加阴影线，从而示出分割序列153被可变长编码。

输出序列154是，由合成器7将图15的右边的分割序列、左边的分割序列等的多个分割序列合成而得的输出序列(图9的输出序列DS1)。

分割序列152具有帧1520等的各个帧。

帧1520是分割序列152具有的各个帧之中的一个，例如是图10中的frame_n+2。

帧1520具有参考帧识别符控制部610(图9的上层)所设定的参考帧识别符1520i。

数轴151a是，在图15右边的分割序列(分割序列152、分割序列153)中的索引的数轴，即，是局部索引的数轴。

数轴151c是，在输出序列154中的索引的数轴，即，是全局索引的数轴。

索引Y是，由帧1520参考的帧的局部索引。索引Y是，确定针对帧1520离间一个帧的距离的帧的索引。由帧1520参考的帧是，针对帧1520离间一个帧的距离的帧。索引Y是，在图10中以从frame_n+2的macro_block延伸的虚线的箭头线来示出的参考帧识别符。

而且，图中的数轴151a、数轴151c、索引Y，都是仅仅为了便于说明而示出的，而不是数字照相机系统1的一部分。

参考帧识别符1520i是具有全局索引的参考帧识别符，该全局索引用于在数轴151c中确定索引Y所确定的帧。在图10中，参考帧识别符1520i是，以从frame_n+2的macro_block延伸的实线的箭头线、以及frame_n+2的macro_block所示的“ref_idx＝1”来示出的。

分割序列155以及分割序列156是，例如在编码器6B等其它的编码器中的分割序列。

在分割序列152以及分割序列153中通过数轴151a的局部索引，索引Y确定的帧是，在输出序列154中通过数轴151c的全局索引，参考帧识别符1520i确定的帧。而且，在分割序列152以及分割序列153中，索引Y确定的帧是，由帧1520参考的帧。因此，输出序列154的参考帧识别符1520i，即使在每次合成输出序列154后不被变更，也具有适当的内容。因此，在解码器4m解码输出序列154时，根据参考帧识别符1520i，由解码器4m适当地解码输出序列154的帧1520。

如上所述，构成运动图像编码装置(发送装置3、发送装置3的计算机、发送装置3的集成电路等)，该运动图像编码装置(发送装置3、发送装置3的计算机、发送装置3的集成电路等)，包括：分割部(分配器5：图9的下层)，将输入到该运动图像编码装置的输入序列分割为N条(N≥2)分割序列(图15中左边的分割序列、右边的分割序列等)；N个编码器(编码器6A～编码器6N：图9的下层)，对所述分割部所分割的N条分割序列进行编码；以及多路复用部(合成器7：图9的下层)，将N个所述编码器所编码的N条所述分割序列多路复用为一条输出序列(输出序列DS1、输出序列154)；所述输出序列包含索引(参考帧识别符1520i、参考图像索引)，该索引唯一地确定该输出序列具有的各个图像中的一个图像；所述运动图像编码装置，包括：索引控制部(参考帧识别符控制部610：图9的下层)，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。

而且，在此，“唯一地”的语句意味着，依据索引确定各个图像中的多个特定图像，索引不确定多个特定图像的每一个，而依据索引确定各个图像中的一个特定图像，从而依据索引只确定该一个特定图像。

据此，根据本实施例的运动图像编码装置(发送装置3：参照图9的下层)，在由多路复用部的多路复用(重叠)之前，设定索引。据此，不通过处理量大的处理，而通过简单的处理，能够设定索引。

而且，构成运动图像编码装置，该运动图像编码装置，所述索引控制部为N个，N个所述索引控制部分别被设置在相互不同的所述编码器上，在由设置有该索引控制部的编码器编码的分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引(参考帧识别符1520i、参考图像索引)，所述索引确定该分割序列中包含的一个图像(参考帧)；所述多路复用部，将N个所述分割序列多路复用为输出序列，从而第t个所述编码器(1≤t≤N)编码的分割序列的第s个图像(s为整数)为所述输出序列的第(s×N+t+At)个(At(1≤t≤N)为预先设定的整数)；被设置在第t个所述编码器的第t个所述索引控制部(1≤t≤N)，针对分割序列中包含的该图像的顺序s和所述t，设定顺序为(s×N+t+At)的索引。

而且，如上所述，ref_idx_NEW、以及ref_idx_OLD具有“ref_idx_NEW＝(ref_idx_OLD+1)*N-1”的关系。

而且，构成运动图像编码装置，该运动图像编码装置，所述分割部，例如按照数字照相机系统1进行高速拍摄还是通常速度的拍摄，从N以下的各个值(1～N)中选择选择值，将所述输入序列分割为所选择的所述选择值的条数的分割序列；N个所述编码器，通过N个该编码器中的所述选择值的个数的编码器，对所述分割部所分割的所述选择值的条数的分割流进行编码；所述多路复用部，将该选择值的个数的所述编码器所编码的、该选择值的条数的所述分割序列多路复用为一条输出序列；所述索引控制部为N个，N个所述索引控制部分别被设置在相互不同的所述编码器上，在所述选择值的个数的编码器中包含设置有该索引控制部的所述编码器的情况下，在该编码器编码的分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引，所述索引确定该分割序列中包含的一个图像。

而且，所述分割部，例如，在进行高速拍摄的情况下，选择用于高速拍摄的选择值，该用于高速拍摄的选择值的值比在进行通常速度的拍摄的情况下选择的通常选择值大。

而且，构成运动图像编码装置，该运动图像编码装置是集成电路(发送装置3包括的集成电路)，该集成电路被设置在拍摄运动图像的摄像装置(数字照相机系统1)上，表示该摄像装置所拍摄的所述运动图像的输入序列被输入到该集成电路；所述摄像装置拍摄第一运动图像和第二运动图像(例如60×N个的个数)，所述第二运动图像在单位时间内具有的图像的个数比所述第一运动图像的个数(例如60)多；所述分割部，在所述摄像装置拍摄所述第二运动图像的情况下，选择大于第一选择值(例如1)的第二选择值(例如N)，所述第一选择值是在所述摄像装置拍摄所述第一运动图像的情况下被选择的。

而且，构成运动图像编码装置，该运动图像编码装置，所述输出序列包含缓冲信息(参考帧最大值(num_ref_frames))，该缓冲信息指定在运动图像解码装置对该输出序列进行解码时的、该运动图像解码装置记忆由所述索引确定的图像的缓冲(DPB：Decoded PictureBuffer)的大小，所述运动图像编码装置，包括：缓冲信息控制部(参考帧缓冲控制部8：图9的下层)，在所述输出序列设定所述缓冲信息。

而且，构成运动图像编码装置，该运动图像编码装置，所述输出序列包含缓冲信息，该缓冲信息用于在运动图像解码装置对该输出序列进行解码时指定记忆由所述索引确定的图像的缓冲器的大小，该运动图像解码装置是通过所述缓冲器记忆由所述索引确定的图像的；所述运动图像编码装置，包括缓冲信息控制部，在所述输出序列设定所述缓冲信息；所述缓冲信息控制部，在所述输出序列设定所述缓冲信息，所述缓冲信息在作为所述索引控制部的个数的所述选择值越多的情况下，就越指定大小大的缓冲器，所述索引控制部设定所述索引。

而且，构成运动图像编码装置，该运动图像编码装置，N个所述编码部，分别包括：所述索引控制部，被设置在该编码部上；索引必要编码部(前级编码部：正交转换部(T)601、量化部(Q)602、反量化部(Q-1)603、反正交转换部(T-1)604、解块滤波器部(DBF)605、帧存储器(FM)609、运动探索部(ME)606、帧内预测部(INTRA)607、)，对该分割流进行编码，以便在运动图像解码装置对所述输出序列进行解码的情况下，使该编码部所设定的所述索引成为该运动图像解码装置(解码器4m)所需要的索引；以及可变长编码部(可变长编码部608)，对所述索引必要编码部所编码的所述分割流进行可变长编码；该索引控制部，在由所述可变长编码部进行可变长编码之前，在所述分割流设定所述索引。

而且，构成运动图像编码装置，该运动图像编码装置，所述索引必要编码部，包括：反量化部(反量化部(Q-1)603)，将过去的图像的频率系数值被量化了的量化值反量化为频率系数值；反正交转换处理部(反正交转换部(T-1)604)，根据所述反量化部所反量化的所述频率系数值，算出该频率系数值示出的所述过去的图像；解块滤波器部(解块滤波器部(DBF)605)，对所述反正交转换处理部所算出的所述过去的图像进行解块滤波处理；推测部(帧内预测部(INTRA)607)，根据由所述解块滤波器部进行解块滤波处理后的所述过去的图像，算出当前的图像的推测图像；正交转换部(正交转换部(T)601)，将所述当前的图像和所述推测部所算出的所述推测图像之间的差分转换为频率系数值；以及量化部(量化部(Q)602)，将所述正交转换部所转换的所述频率系数值量化为量化值；所述可变长编码部(可变长编码部(VLC)608)，对编码信息进行可变长编码，该编码信息包含所述量化部所量化的所述量化值；所述索引控制部，将确定所述过去的图像的索引设定在由所述可变长编码部进行可变长编码的所述编码信息中，并使所述可变长编码部对设定有该索引的所述编码信息进行可变长编码。

而且，构成运动图像编码装置，该运动图像编码装置，所述输出序列(图9的输出序列DS1、图15的输出序列154)是对所述输入序列(图9的输入序列DV1)进行根据H.264编码标准的编码而得到的序列。

本发明涉及的运动图像编码装置，例如有用于利用H.264编码进行高速摄像图像的编码处理的摄像系统。

能够提供该运动图像编码装置进行的处理比较简单的运动图像编码装置。

Claims (12)

1、一种运动图像编码装置，包括：

分割部，将输入到该运动图像编码装置的输入序列分割为N条分割序列，其中N≥2；

N个编码器，对所述分割部所分割的N条分割序列进行编码；以及

多路复用部，将N个所述编码器所编码的N条所述分割序列多路复用为一条输出序列；

所述输出序列包含索引，该索引唯一地确定该输出序列具有的各个图像中的一个图像；

所述运动图像编码装置，还包括：

索引控制部，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。

2、如权利要求1所述的运动图像编码装置，

所述索引控制部为N个，

N个所述索引控制部分别被设置在相互不同的所述编码器上，

在由设置有该索引控制部的编码器编码的分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引，所述索引确定该分割序列中包含的一个图像，

所述多路复用部将N个所述分割序列多路复用为输出序列，从而第t个所述编码器编码的分割序列的第s个图像为所述输出序列的第s×N+t+At个，其中1≤t≤N，s为整数，At为常数，

被设置在第t个所述编码器的第t个所述索引控制部，针对分割序列中包含的该图像的顺序s和所述t，设定顺序为s×N+t+At的索引。

3、如权利要求1所述的运动图像编码装置，

所述分割部从所述N以下的各个值中选择选择值，将所述输入序列分割为所选择的所述选择值的条数的分割序列，

N个所述编码器通过N个该编码器中的所述选择值的个数的编码器，对所述分割部所分割的所述选择值的条数的分割流进行编码，

所述多路复用部将该选择值的个数的所述编码器所编码的、该选择值的条数的所述分割序列多路复用为一条输出序列，

所述索引控制部为N个，

N个所述索引控制部分别被设置在相互不同的所述编码器上，

在所述选择值的个数的编码器中包含设置有该索引控制部的所述编码器的情况下，在该编码器编码的分割序列被多路复用为所述输出序列之前，在该分割序列设定用于确定该分割序列中包含的一个图像的所述索引。

4、如权利要求3所述的运动图像编码装置，

该运动图像编码装置是集成电路，

该集成电路被设置在拍摄运动图像的摄像装置上，表示该摄像装置所拍摄的所述运动图像的输入序列被输入到该集成电路，

所述摄像装置拍摄第一运动图像和第二运动图像，所述第二运动图像在单位时间内具有的图像的个数比所述第一运动图像的个数多，

在所述摄像装置拍摄所述第二运动图像的情况下，所述分割部选择大于第一选择值的第二选择值，所述第一选择值是在所述摄像装置拍摄所述第一运动图像的情况下被选择的。

5、如权利要求1所述的运动图像编码装置，

所述输出序列包含缓冲信息，该缓冲信息用于指定在运动图像解码装置对该输出序列进行解码时该运动图像解码装置记忆由所述索引确定的图像的缓冲器的大小，

所述运动图像编码装置，包括：

缓冲信息控制部，在所述输出序列设定所述缓冲信息。

6、如权利要求3所述的运动图像编码装置，

所述输出序列包含缓冲信息，该缓冲信息用于指定在运动图像解码装置对该输出序列进行解码时该运动图像解码装置记忆由所述索引确定的图像的缓冲器的大小，

所述运动图像编码装置包括缓冲信息控制部，该缓冲信息控制部在所述输出序列设定所述缓冲信息，

在作为用于设定所述索引的所述索引控制部的个数的所述选择值越多的情况下，所述缓冲信息控制部就在所述输出序列设定用于指定越大的大小的缓冲器。

7、如权利要求1所述的运动图像编码装置，

所述索引控制部为N个，

N个所述索引控制部分别被设置在相互不同的所述编码器上，

在由设置有该索引控制部的编码器编码的分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引，所述索引确定该分割序列中包含的一个图像，

N个所述编码部，分别包括：

所述索引控制部，被设置在该编码部上；

索引必要编码部，对该分割流进行编码，以便在运动图像解码装置对所述输出序列进行解码的情况下，使该编码部所设定的所述索引成为该运动图像解码装置所需要的索引；以及

可变长编码部，对所述索引必要编码部所编码的所述分割流进行可变长编码；

在由所述可变长编码部进行可变长编码之前，该索引控制部在所述分割流设定所述索引。

8、如权利要求7所述的运动图像编码装置，

所述索引必要编码部包括：

反量化部，将过去的图像的频率系数值被量化了的量化值反量化为频率系数值；

反正交转换处理部，根据所述反量化部所反量化的所述频率系数值，算出该频率系数值示出的所述过去的图像；

解块滤波器部，对所述反正交转换处理部所算出的所述过去的图像进行解块滤波处理；

推测部，根据由所述解块滤波器部进行解块滤波处理后的所述过去的图像，算出当前的图像的推测图像；

正交转换部，将所述当前的图像和所述推测部所算出的所述推测图像之间的差分转换为频率系数值；以及

量化部，将所述正交转换部所转换的所述频率系数值量化为量化值；

所述可变长编码部对编码信息进行可变长编码，该编码信息包含所述量化部所量化的所述量化值；

所述索引控制部将确定所述过去的图像的索引设定在由所述可变长编码部进行可变长编码的所述编码信息中，并使所述可变长编码部对设定有该索引的所述编码信息进行可变长编码。

9、如权利要求1所述的运动图像编码装置，

所述输出序列是对所述输入序列进行根据H.264编码标准的编码而得到的序列。

10、一种运动图像编码方法，包括：

分割工序，将输入序列分割为N条分割序列，其中N≥2；

编码工序，通过N个编码器对在所述分割工序所分割的N条分割序列进行编码；以及

多路复用工序，将在所述编码工序所编码的N条所述分割序列多路复用为一条输出序列；

所述输出序列包含索引，该索引唯一地确定该输出序列具有的各个图像中的一个图像；

所述运动图像编码方法，还包括：

索引控制工序，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。

11、一种计算机程序，使计算机执行以下的工序：

分割工序，将输入序列分割为N条分割序列，其中N≥2；

编码工序，通过N个编码器对在所述分割工序所分割的N条分割序列进行编码；以及

多路复用工序，将在所述编码工序所编码的N条所述分割序列多路复用为一条输出序列；

所述输出序列包含索引，该索引唯一地确定该输出序列具有的各个图像中的一个图像；

所述程序还使计算机执行索引控制工序，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。

12、一种集成电路，包括：

分割部，将输入序列分割为N条分割序列，其中N≥2；

N个编码器，对所述分割部所分割的N条分割序列进行编码；以及

多路复用部，将N个所述编码器所编码的N条所述分割序列多路复用为一条输出序列；

所述输出序列包含索引，该索引唯一地确定该输出序列具有的各个图像中的一个图像；

所述集成电路，还包括：

索引控制部，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。

Images