CN101960856A - 运动图像编码设备和运动图像编码方法 - Google Patents

Abstract

提供一种运动图像编码设备，包括：编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行设置；发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息的第二设置，控制由所述编码单元进行的编码处理。

Description

运动图像编码设备和运动图像编码方法

技术领域

本发明涉及一种运动图像编码设备和方法，尤其涉及一种用于记录、重放和编辑编码比特流的良好技术。

背景技术

已经确立对静止图像进行压缩和编码的JPEG标准、以及使用图像间运动预测/运动补偿技术对运动图像进行压缩和编码的MPEG1和MPEG2标准，作为用于对图像数据进行编码的高效率的技术。各种制造商已经研发并生产能够使用这种编码技术将图像数据记录至存储介质的数字照相机和数字摄像机等的摄像设备、DVD记录器等。

在这些产品中，存在一些可以通过使用无线通信等的系统在多个摄像设备之间发送/接收已经拍摄到的静止图像数据、来在这些设备之间实时共享该图像数据的产品。用户可以使用这种设备来拍摄和记录他/她偏好的被摄体。

同时，在这些产品中，还存在配备有用于诸如切出运动图像的期望区间、将运动图像与其它运动图像合成等的对由摄像设备拍摄到的运动图像进行编辑的功能的设备。例如，通过使用由多个摄像设备拍摄到的运动图像作为要编辑的材料，可以合成由不同的摄像设备所记录的运动图像，并创建新的运动图像。

顺便提及，数字化的运动图像数据的大小非常大。因此，继续研究被设计成与前述的MPEG1、MPEG2等相比实现更高的压缩率的运动图像数据编码标准。近来，由ITU-T(国际电信联盟远程通信标准化组织)和ISO(国际标准化组织)已经使被称为H.264/MPEG-4Part 10的编码方案(在下文，简称为“H.264”)成为标准。

下文将参考图11A～11C和图12A～12B来说明使用H.264标准编码后的数据的结构。

注意，图11A～11C和图12A～12B示出表示编码后的运动图像数据的图片组(图像序列)和各图片的图片类型。在这些图中，上层表示显示顺序(从左侧起按顺序显示)，而下层表示编码顺序(从左侧起按顺序编码)。

根据H.264标准的图像帧中的图片类型包括仅从同一帧内的数据进行编码的I图片、以及使用该帧和时间上的在前帧之间的差异进行编码的P图片。此外，还存在除该帧和时间上的在前帧之间的差异以外、还可以使用该帧和时间上的在后帧之间的差异的B图片。

例如，图11A示出图片P8是第9个显示的P图片帧。图11A中的箭头表示示出在图11A所示的例子中图片P8参考图片B0的参考关系。同时，在图11B所示的例子中，图片B0参考图片P2和B7。

在H.264标准中，当进行帧间预测时，可以使用图像序列内的任意帧和图片类型作为参考图像。例如，如图11A所示，作为P图片的图片P8不仅可以参考I图片，而且还可以跳过I图片并参考其它帧。同样，如图11B所示，作为B图片的图片B0不仅可以参考I图片，而且还可以跳过I图片并参考其它帧。

这样，H.264标准允许这种灵活的参考图像。因此，与P图片仅可以参考紧挨该P图片之前的I图片或其它P图片的、诸如MPEG2等的标准相比，H.264标准可以提高帧间预测的精度和编码效率。

然而，由于H.264标准允许如前所述的这种灵活的参考图像，因此存在在H.264标准中不能够快速地进行随机存取的情况。作为例子，图11C示出使用随机存取从中间的帧或图片I5起重放图像序列的情况。

当从图像序列中的图片I5起开始重放时，随后对图片P8进行解码，并且由于图片P8参考图片B0，因此需要预先对图片B0进行解码。此外，由于图片B0参考图片P2和B7，因此还需要预先对图片P2和B7进行解码从而对图片B0进行解码。同样，尽管图11C没有示出，但图片P2和B7各自参考其它图片，因此还需要预先对这些其它图片进行解码，从而对图片P2和B7进行解码。

因而，即使从图片I5起开始重放，也允许跳过图片I5的参考，因此需要返回到图片15之前的数据并从该数据起开始解码处理，从而使得难以从图片I5起快速地开始重放。此外，即使用户期望使用图片I5作为剪切帧对编码比特流进行剪切编辑，也允许跳过图片I5的参考，由此需要返回到图片I5之前的数据并从该数据起开始解码处理。因此，难以进行使用图片I5作为剪切帧对比特流进行剪切的剪切编辑。

因此，例如，日本特开2003-199112提出了对I图片设置周期性限制、从而消除该问题并使得能够进行快速随机存取的方法。在H.264标准中该受限制的I图片被称为“IDR图片”。现在将参考图12A和12B来说明IDR图片。注意，图12A和12B所示的图像序列表示与图11A和11B所示的图像序列相同的图像序列，但在图12A和12B所示的图像序列中，对图片I5设置了IDR图片。

当对图片I5设置了IDR图片时，在对该IDR图片进行编码时，从记录运动图像的参考图像的帧存储器清除这些参考图像。因此，在IDR图片之后编码的图片不能够参考在该IDR图片之前编码的图片。同样，在IDR图片之前编码的图片不能够参考在该IDR图片之后编码的图片。

在图12A所示的例子中，在IDR图片或图片IDR5之后编码的P图片和B图片不能够参考在IDR图片之前编码的P图片和B图片。更具体地，在图片IDR5之后编码的诸如图片P8和B7等的图片不能够参考在图片IDR5之前编码的诸如图片P2和B0等的图片。

相反，在图12B所示的例子中，在IDR图片或图片IDR5之前编码的P图片和B图片不能够参考在IDR图片之后编码的P图片和B图片。更具体地，在图片IDR5之前编码的诸如图片P2和B0等的图片不能够参考在图片IDR5之后编码的诸如图片P8和B7等的图片。

因此，利用H.264标准，当从IDR图片起开始重放编码数据时，无需返回到IDR图片之前的图像数据并且无需从该图像数据起进行解码，从而使得可以利用快速随机存取实现重放。此外，由于跳过IDR图片并参考其它图片被禁止，因此还可以进行使用IDR图片作为剪切帧的编辑。

接着，将说明H.264标准中编码数据量的控制。可变比特率(VBR)方案是一种用于控制编码数据量的技术。在下文，将简要说明根据VBR方案的编码数据量控制。

VBR方案是这样一种用于控制编码数据量的方案，该方案在尝试使编码比特率尽可能接近平均目标编码比特率时，基于视频的局部性质来改变该目标编码比特率。由于该方案使用基于视频的性质的目标编码比特率对视频信号进行编码，因此该方案具有图像质量的波动小的特征。换言之，以较高的目标编码比特率对难以进行编码、并由此将遭受低的图像质量的帧进行编码，而以较低的目标编码比特率对容易进行编码、并由此将具有足够高的图像质量的帧进行编码。

最近的数字摄像机配置有使用编码数据量控制技术、以使得能够进行高图像质量记录或延长时间记录的多个记录模式(编码模式)。例如，存在具有根据平均目标编码比特率对数据进行编码的LP(Long Play，长播放)模式、SP(Standard Play，标准播放)模式和XP(Excellent Play，优良播放)模式这三种记录模式的摄像机。LP模式中的平均目标编码比特率最低，而XP模式中的平均目标编码比特率最高。SP模式中的平均目标编码比特率位于LP模式中的平均目标编码比特率和XP模式中的平均目标编码比特率之间。

在LP模式下，编码比特率低，从而导致图像质量下降；然而，由此产生的文件小，因而可以记录较大量的视频。另一方面，在XP模式下，编码比特率高，从而导致图像质量提高；然而，由此产生的文件大，因而仅可以记录少量的视频。用户可以考虑所记录视频的图像质量、存储介质中剩余的空间等，使用她/他偏好的记录模式来拍摄视频。

日本特开2001-346201描述了使用VBR方案的图像编码设备。该文献说明了输入图像被分割成低分辨率图像、并且使用多个图像编码设备对其进行编码的情况；在这种情况下，编码数据量随后被分配至各个编码设备，以使得针对各个图像编码设备而言，低分辨率图像的图像质量均是相同的。

利用前述H.264标准，使用限制帧间预测时的参考关系的IDR图片使得能够进行快速随机存取、简易编辑等。由于该原因，需要将IDR图片设置在适当位置处，从而使得能够从编码比特流中的任意位置起进行快速重放，能够使用编码比特流作为材料进行简易编辑等。

然而，由于通过设置IDR图片按所述方式限制参考关系，因此设置多个IDR图片有可能降低编码效率。换言之，如果要优先编码效率，则期望设置尽可能少的IDR图片。诸如背景技术等的周期性地设置IDR图片的方法存在针对随机存取、编辑等所不需要的帧也设置IDR图片、从而导致编码效率下降的问题。

另外，在多个用户要对使用他们各自的摄像设备拍摄到的多个运动图像(编码比特流)进行编辑的情况下，出现许多在各个编码比特流中设置IDR图片的间隔和时间彼此不同的情况。由于该原因，减少所设置的IDR图片的数量从而防止编码效率的下降，这使得难以在对来自不同用户的多个编码比特流进行编辑时将期望区间的视频拼接到一起。

此外，在要对使用不同的设备所记录的多个运动图像(编码比特流)进行编辑的上述情况下，维持视频之间的均匀的图像质量是重要的问题。如果各个编码比特流具有不同的图像质量，则对视频进行编码将导致在流被拼接到一起的区域中明显可见的图像质量的差异。

图21A～21C示出用户A已经基于SP模式以目标编码比特率记录了场景A、而用户B已经基于XP模式以目标编码比特率记录了场景B的例子。图21A表示在用户A记录场景A时的平均目标编码比特率的变化，并且示出用户A在时间t2时开始拍摄场景A、并在时间t3时停止拍摄场景A。同时，图21B表示在用户B记录场景B时的平均目标编码比特率的变化，并且示出用户B在时间t1时开始拍摄场景B、并在时间t2时停止拍摄场景B。然后，图21C示出在通过剪切编辑将场景A和B拼接到一起的情况下的编码比特流的平均目标编码比特率的变化。

在图21C中，由于SP模式和XP模式之间的平均目标编码比特率的差异，因此在时间t2时在场景B和A之间的拼接处，编码比特率突然下降。换言之，在图21C中，与时间t2之前的区间相比较，在时间t2之后的区间中，图像质量呈现突然下降。由于该原因，重放这种编码比特流的视频的观看者在紧挨时间t2之后将感到不自然。

发明内容

本发明的方面涉及在使用多个设备对运动图像数据进行编码时、生成适合于编辑的编码图像数据。

根据本发明的第一个方面，提供一种运动图像编码设备，包括：编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行设置；发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息的第二设置，控制由所述编码单元进行的编码处理。

根据本发明的第二个方面，提供一种运动图像编码设备，包括：编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于进行控制，以使得基于由所述发送/接收单元发送/接收到的编码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在由所述编码单元生成的编码比特流中设置基准帧。

根据本发明的第三个方面，提供一种运动图像编码设备，包括：编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于基于由所述发送/接收单元发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中设置的图像质量来调整由所述编码单元生成的编码比特流的图像质量。

根据本发明的第四个方面，提供一种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下步骤：编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；设置步骤，用于对在所述编码步骤中进行的编码处理进行设置；发送步骤，用于将在所述设置步骤中创建的设置信息发送至外部运动图像编码设备；接收步骤，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及编码控制步骤，用于根据在所述设置步骤中进行的第一设置和基于在所述接收步骤中接收到的设置信息的第二设置，控制在所述编码步骤中进行的编码处理。

根据本发明的第五个方面，提供一种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下步骤：编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制步骤，用于进行控制，以使得基于在所述发送/接收步骤中发送/接收到的编码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在所述编码步骤中生成的编码比特流中设置基准帧。

根据本发明的第六个方面，提供一种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下步骤：编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制步骤，用于基于在所述发送/接收步骤中发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中设置的图像质量来调整在所述编码步骤中生成的编码比特流的图像质量。

根据本发明的第七个方面，提供一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作：编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行设置；发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息的第二设置，控制由所述编码单元进行的编码处理。

根据本发明的第八个方面，提供一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作：编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于进行控制，以使得基于由所述发送/接收单元发送/接收到的编码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在由所述编码单元生成的编码比特流中设置基准帧。

根据本发明的第九个方面，提供一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作：编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于基于由所述发送/接收单元发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中设置的图像质量来调整由所述编码单元生成的编码比特流的图像质量。

根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的第一实施例的摄像设备的示例结构的框图。

图2是示出根据本发明的第一实施例的摄像设备中的照相机单元的示例结构的框图。

图3是示出根据本发明的第一实施例的摄像设备中的编码单元的示例结构的框图。

图4是示出根据本发明的实施例的摄像设备中的基准帧设置判断单元的示例结构的框图。

图5是示出组拍摄的示例的图。

图6A和6B是示出拍摄的开始和结束、以及通过按下基准帧设置按钮所进行的基准帧的设置的示例的图。

图7A和7B是示出根据照相机控制信息和场景变化来设置基准帧的示例的图。

图8A和8B是示出根据照相机控制信息和场景变化来设置基准帧的另一示例的图。

图9A和9B是示出根据被摄体信息来设置基准帧的示例的图。

图10是示出根据本发明的第一实施例的、摄像设备设置基准帧的操作过程的示例的流程图。

图11A～11C是示出选择参考图像的示例的图。

图12A和12B是示出IDR图片的图。

图13是示出根据本发明的第二实施例的摄像设备的示例结构的框图。

图14是示出根据本发明的第二实施例的摄像设备中的照相机单元的示例结构的框图。

图15是示出根据本发明的第二实施例的摄像设备中的编码单元的示例结构的框图。

图16是示出组拍摄的示例的图。

图17A～17C是示出图像质量设置的示例的图。

图18A～18C是示出在预设模式下、平均目标编码比特率随着所拍摄场景和剪切编辑的变化的示例的图。

图19A～19D是示出在动态设置模式下、平均目标编码比特率随着所拍摄场景和剪切编辑的变化的示例的图。

图20是示出根据本发明的第二实施例的、摄像设备使图像质量均衡的操作过程的示例的流程图。

图21A～21C是示出流的编码比特率随着所拍摄场景和剪切编辑的变化的示例的图。

图22是示出根据本发明的第三实施例的摄像设备的示例结构的框图。

图23是示出根据本发明的第三实施例的摄像设备中的编码单元的示例结构的框图。

图24A～24C是示出图像质量设置的示例的图。

图25A～25C是示出在预设模式下、平均目标PSNR随着所拍摄场景和剪切编辑的变化的示例的图。

图26A～26D是示出在动态设置模式下、平均目标PSNR随着所拍摄场景和剪切编辑的变化的示例的图。

图27是示出根据本发明的第三实施例的、摄像设备使图像质量均衡的操作过程的示例的流程图。

具体实施方式

第一实施例

在下文，将参考附图来说明本发明的优选实施例。

作为第一实施例，图1是示出应用了实现本发明的运动图像编码设备的摄像设备的示例功能结构的框图。根据本实施例的摄像设备是根据照相机控制信息、场景变化、被摄体信息和基准帧设置按钮的按下等、使用用作基准帧的图片类型来进行编码的设备。在下文，将参考图1来说明根据本实施例的摄像设备的该示例结构。

根据本实施例的摄像设备100包括照相机单元101、编码单元102、编码流记录单元103、基准帧设置判断单元104和基准帧设置信息发送/接收单元105。

照相机单元101拍摄来自被摄体的光，并输出视频信号和照相机控制信息。编码单元102对由照相机单元101输出的视频信号进行压缩和编码，并向编码流记录单元103输出编码比特流。编码流记录单元103将由编码单元102输出的编码比特流记录到存储介质(未示出)中。

注意，这里所使用的编码标准是H.264标准等的采用帧间预测方案的编码标准；因而，以下说明将使用H.264标准作为例子。尽管后面将提供更详细的说明，但在判断为要将由编码单元102编码的帧作为基准帧来进行编码的情况下，基准帧设置判断单元104向编码单元102和基准帧设置信息发送/接收单元105输出基准帧设置信息。这里，“基准帧”指被设置为使得能够通过禁止跳过该基准帧的参考来进行快速随机存取的图片类型的帧。在H.264编码标准中，“基准帧”指IDR图片帧。

基准帧设置信息发送/接收单元105向配备有与本实施例的摄像设备100的功能性相同的功能性的其它摄像设备(外部设备)发送前述基准帧设置信息，并从该其它摄像设备接收前述基准帧设置信息。更具体地，基准帧设置信息发送/接收单元105作为发送单元工作，从而将由基准帧设置判断单元104输出的基准帧设置信息发送至其它摄像设备。基准帧设置信息发送/接收单元105还作为接收单元工作，从而接收由其它的外部摄像设备发送来的基准帧设置信息、并将该信息输出至基准帧设置判断单元104。

注意，摄像单元100配置有拍摄开始/停止按钮(未示出)，并且用户可以通过按下该摄像开始/停止按钮来指示摄像的开始和停止。此外，假定拍摄开始/停止信息包括在前述照相机控制信息中。

接着，将详细说明照相机单元101、编码单元102和基准帧设置判断单元104的结构。

照相机单元101

首先，将参考图2来详细说明照相机单元101的示例结构。图2是示出照相机单元101的示例结构的框图。

如图2所示，照相机单元101包括镜头201、摄像单元202、A/D(模拟到数字)转换器203、照相机信号处理单元204、振动检测器205和照相机控制单元206。如前面所述，照相机单元101拍摄来自被摄体的光，并输出视频信号和照相机控制信息。

接着，将说明由照相机单元101进行的操作。

在图2中，镜头201将来自被摄体的光引导至摄像单元202中。镜头201根据由后面所述的照相机控制单元206输出的控制信号，还进行变焦操作、调焦操作等。摄像单元202使用CCD、CMO S等拍摄被摄体，将所获得的被摄体图像转换成电信号，并将该信号输出至A/D转换器203。A/D转换器203将该模拟信号转换成数字信号。

照相机信号处理单元204对由A/D转换器203输出的数字信号进行γ校正、白平衡校正等的处理，并将由此产生的视频信号输出至编码单元102。振动检测器205通过采用使用陀螺仪传感器等的已知系统来检测摄像设备100中的振动，由此总体检测摄像设备100的运动模糊以及平摇/俯仰。照相机控制单元206控制整个照相机单元101，并将照相机控制信息输出至基准帧设置判断单元104。该照相机控制信息包括配置成前述照相机单元101的模块的控制数据。注意，可以通过照相机信号处理单元204评价特定帧和紧挨该特定帧之前的帧之间的像素差值，来检测摄像设备100整体的运动模糊以及平摇/俯仰。

编码单元102

接着，将参考图3来详细说明编码单元102的示例结构。图3是示出编码单元102的示例结构的框图。

如图3所示，编码单元102包括帧重排单元301、减法器302、整数转换单元303、量化单元304、熵编码单元305、逆量化单元306、逆整数转换单元307和加法器308。编码单元102还包括第一帧存储器309、第二帧存储器313、帧内预测单元310、第一开关311和第二开关317。另外，编码单元102还包括解块滤波器312、帧间预测单元314、运动检测单元315和图片类型控制单元316。编码单元102通过分割所输入的视频信号来创建块，按块为单位进行编码处理，并将由此产生的编码比特流输出至编码流记录单元103。

接着，将说明由编码单元102进行的编码处理。

在图3中，帧重排单元301将按显示顺序输入的视频信号重排成编码顺序。减法器302从输入图像数据中减去预测图像数据，并将由此产生的残余图像数据输出至整数转换单元303。后面将说明预测图像数据的生成。

整数转换单元303对由减法器302输出的残余图像数据进行正交变换，并将由此产生的转换系数输出至量化单元304。量化单元304使用预设的量化参数对由整数转换单元303输出的转换系数进行量化。熵编码单元305获取由量化单元304量化后的转换系数，对该转换系数进行熵编码，并将结果作为编码比特流输出。

在生成前述预测图像数据时使用由量化单元304量化后的转换系数。逆量化单元306对由量化单元304量化后的转换系数进行逆量化。逆整数转换单元307对由逆量化单元306逆量化后的转换系数进行逆整数转换，并将结果作为解码残余图像数据输出至加法器308。加法器308将由逆整数转换单元307输出的解码残余图像数据和预测图像数据相加，并输出由此产生的重构图像数据。

将由加法器308输出的重构图像数据记录至第一帧存储器309中。同时，在要对重构图像数据进行解块滤波处理的情况下，将该重构图像数据经由解块滤波器312记录至第二帧存储器313中。然而，在不进行解块滤波的情况下，使重构图像数据在不通过解块滤波器312的情况下记录至第二帧存储器313中。

第一开关311作为选择是否对由加法器308输出的重构图像数据进行解块滤波处理的选择单元工作。将重构图像数据中的、在随后的预测中有可能被参考的数据在临时时间段内保存在第一帧存储器309或第二帧存储器313中。

帧内预测单元310使用第一帧存储器309中记录的重构图像数据来进行帧内预测处理，由此生成预测图像数据。同时，帧间预测单元314使用第二帧存储器313中记录的重构图像数据，以基于由运动检测单元315所估计的运动矢量信息进行帧间预测处理，由此生成预测图像数据。这里，运动检测单元315估计输入图像数据中的运动矢量，并将所估计的运动矢量的信息分别输出至熵编码单元305和帧间预测单元314。

图片类型控制单元316作为信息获得单元工作，从而在后面将说明的、基准帧设置判断单元104判断为将编码帧设置为基准帧的情况下，获得基准帧设置信息。然后，根据帧设置信息中所包括的指令将帧的图片类型设置为IDR图片。然而，在其它情况下，将帧的图片类型设置为根据编码标准的图片类型(I图片、P图片或B图片)。

注意，在已经判断为编码帧是基准帧的情况下，图片类型控制单元316可以向该帧添加基准帧标志，并将该帧的图片类型设置为根据编码标准的图片类型。此外，在已经判断为编码帧是基准帧的情况下，可以将该帧的图片类型设置为I图片，并且可以向该帧添加跳过参考禁止标志。然后，可以设置防止帧间预测单元314跳过该I图片的参考关系。

第二开关317是用于选择是使用由帧内预测单元310生成的预测图像数据还是使用由帧间预测单元314生成的预测图像数据作为预测图像数据的开关。换言之，第二开关317作为用于选择是使用帧内预测还是使用帧间预测的选择单元工作。图片类型控制单元316根据所设置的图片类型控制第二开关317，由此选择来自帧内预测单元310的输出或来自帧间预测单元314的输出。然后，将所选择的预测图像数据输出至减法器302和加法器308。

基准帧设置判断单元104

接着，将参考图4来详细说明基准帧设置判断单元104的示例结构。如图4所示，基准帧设置判断单元104包括场景变化检测单元401、被摄体判断单元402、基准帧设置按钮403和基准帧信息创建判断单元404。例如，基准帧设置判断单元104根据以下的(1)～(7)等的信息，输出禁止跳过帧的运动参考的跳过参考禁止信息(基准帧设置信息)：

(1)拍摄(记录)的开始和停止；

(2)摄像设备自身的运动的开始和停止(运动模糊、平摇、俯仰)；

(3)拍摄条件(白平衡、曝光、聚焦和变焦比)的变化；

(4)场景变化；

(5)被摄体信息的变化；

(6)基准帧设置按钮403的按下；以及

(7)基准帧设置信息发送/接收单元105是否接收到基准帧设置信息。

场景变化检测单元401通过判断由照相机单元101输出的视频信号中的帧间相关性来检测场景变化。将检测结果发送至基准帧信息创建判断单元404。例如，基于帧之间的像素差值来判断帧间相关性。被摄体判断单元402通过图像识别来识别由照相机单元101输出的视频信号中所包括的被摄体。将该分析结果发送至基准帧信息创建判断单元404。图像识别使用形状识别等的已知方法来识别被摄体；这里将省略对图像识别的详细说明。场景变化检测单元401和被摄体判断单元402按至此为止所述的方式作为图像分析单元工作。

基准帧设置按钮403是用于通过用户按下基准帧设置按钮403以设置后面所述的基准帧、在该用户偏好的时间设置基准帧的按钮。基准帧信息创建判断单元404判断是否设置基准帧，并且在已经判断为要设置基准帧的情况下，创建用于将由编码单元102编码的帧作为基准帧来进行编码的基准帧设置信息。然后，将该基准帧设置信息输出至编码单元102和基准帧设置信息发送/接收单元105。

接着，将参考图5～9B来详细说明基准帧设置判断单元104的操作。图5是示出各自使用本实施例的摄像设备100的3个用户正在执行组拍摄的状态的图。

在图5中，这些用户中的一个用户、或用户A使用第一摄像设备100A拍摄，而用户B使用第二摄像设备100B拍摄，并且用户C使用第三摄像设备100C拍摄。第一摄像设备100A、第二摄像设备100B和第三摄像设备100C使用它们各自的基准帧设置信息发送/接收单元105，例如基于IEEE 802.11g标准，各自经由无线通信网络来发送/接收基准帧设置信息。

图6A～9B是示出在如图5所示正在执行组拍摄的情况下进行的基准帧设置的图。首先，将参考图6A和6B来说明在组拍摄期间、根据来自其它摄像设备的拍摄开始和结束控制信息来设置基准帧的例子。注意，可以基于记录的开始来判断拍摄的开始。

在图6A和6B所示的例子中，用户A的第一摄像设备100A在时间t1时开始拍摄并且在时间t6时停止拍摄。同时，用户B的第二摄像设备100B在时间t2时开始拍摄并且在时间t4时停止拍摄。最后，用户C的第三摄像设备100C在时间t3时开始拍摄并且在时间t7时停止拍摄。此外，在时间t5时按下用户A的第一摄像设备100A的基准帧设置按钮403。

首先，将参考图6A来说明用户A的第一摄像设备100A的编码单元102在时间t2时设置基准帧的示例。

当在时间t2时、用户B通过按下拍摄开始/停止按钮开始拍摄时，用户B的第二摄像设备100B中的基准帧信息创建判断单元404基于按下了拍摄开始/停止按钮，判断为设置基准帧。然后，向第二摄像设备100B的基准帧设置信息发送/接收单元105输出基准帧设置信息。

然后，基准帧设置信息发送/接收单元105将该基准帧设置信息发送至用户A的第一摄像设备100A和用户C的第三摄像设备100C。在时间t2时，当前正在拍摄的用户A的第一摄像设备100A经由其自身的基准帧设置信息发送/接收单元105接收由用户B的第二摄像设备100B发送来的基准帧设置信息。

然后，用户A的第一摄像设备100A的基准帧信息创建判断单元404通过由该基准帧信息创建判断单元404输入接收到的基准帧设置信息，判断为设置基准帧。然后，向第一摄像设备100A的编码单元102输出基准帧设置信息。如此，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

同时，当在时间t4时、用户B通过按下拍摄开始/停止按钮停止拍摄时，用户B的第二摄像设备100B中的基准帧信息创建判断单元404基于按下了拍摄开始/停止按钮，判断为设置基准帧。然后，向第二摄像设备100B的基准帧设置信息发送/接收单元105输出基准帧设置信息。

然后，基准帧设置信息发送/接收单元105将该基准帧设置信息发送至用户A的第一摄像设备100A和用户C的第三摄像设备100C。同时，在时间t4时，当前正在拍摄的、用户A的第一摄像设备100A和用户C的第三摄像设备100C经由它们各自的基准帧设置信息发送/接收单元105，接收由用户B的第二摄像设备100B发送来的基准帧设置信息。

然后，用户A的第一摄像设备100A的基准帧信息创建判断单元404和用户C的第三摄像设备100C的基准帧信息创建判断单元404通过由这些基准帧信息创建判断单元404输入接收到的基准帧设置信息，判断为设置基准帧。然后，向各自的编码单元102输出基准帧设置信息。如此，用户A的第一摄像设备100A的编码单元102和用户C的第三摄像设备100C的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

同样，当在时间t3时、用户C的第三摄像单元100C开始拍摄时，在时间t3时当前正在拍摄的用户A的第一摄像设备100A以及用户B的第二摄像设备100B中的编码单元102设置基准帧。另外，当在时间t6时、用户A的第一摄像设备100A停止拍摄时，在时间t6时当前正在拍摄的用户C的第三摄像设备100C的编码单元102设置基准帧。

接着，将参考图6A来说明用户A的第一摄像设备100A的编码单元102和用户C的第三摄像设备100C的编码单元102在时间t5时设置基准帧的示例。

在时间t5时，用户A的第一摄像设备100A的基准帧信息创建单元404基于按下了基准帧设置按钮403，判断为设置基准帧。然后输出基准帧设置信息。如此，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

同时，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时间t5时，当前正在拍摄的用户C的第三摄像设备100C经由其自身的基准帧设置信息发送/接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。

然后，用户C的第三摄像设备100C的基准帧信息创建判断单元404通过输入接收到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至第三摄像设备100C的编码单元102。如此，用户C的第三摄像设备100C的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

如至此为止所述的，在其它摄像设备开始拍摄(开始记录)或停止拍摄(停止记录)时、在按下基准帧设置按钮403时等设置基准帧，这使得可以从该基准帧起快速开始重放，使用该基准帧作为剪切帧来进行剪切编辑等。

接着，将参考图6B来说明剪切编辑。图6B所示的例子示出在通过用户A、B和C使用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的剪切帧的编辑之后获得的编码比特流。

图6B所示的编辑后的编码比特流是将图6A所示的由用户A在时间t1～t2期间拍摄到的视频、由用户B在时间t2～t4期间拍摄到的视频、由用户A在时间t4～t5期间拍摄到的视频和由用户C在时间t5～t7期间拍摄到的视频拼接到一起的流。这类剪切编辑使得可以创建在例如拍摄开始或停止时切换至其它用户的视频的流。另外，用户通过按下基准帧设置按钮403，可以创建在他/她偏好的时刻切换至来自其它用户的视频的流。

接着，将参考图7A和7B以及图8A和8B来说明在组拍摄期间、根据照相机控制信息和场景变化来设置基准帧的示例。在图7A和8A所示的例子中，用户A的第一摄像设备100A在时间t1时开始拍摄并且在时间t9时停止拍摄。同时，用户B的第二摄像设备100B在时间t2时开始拍摄并且在时间t6时停止拍摄。最后，用户C的第三摄像设备100C在时间t4时开始拍摄并且在时间t10时停止拍摄。

此外，在图7A所示的例子中，在用户A的第一摄像设备100A中，在时间t5和t8时发生场景变化，并且在用户B的第二摄像设备100B中，在时间t3时白平衡设置值变化。在用户C的第三摄像设备100C中，在时间t7时曝光设置值变化。同时，在图8A所示的例子中，在用户A的第一摄像设备100A中，在时间t3～t5的时间段期间调节焦点。在用户C的第三摄像设备100C中，在时间t7～t8期间执行改变第三摄像设备100C的方向、从而改变摄像构图的平摇操作。注意，焦点调节控制信息、变焦操作控制信息、白平衡设置值和曝光设置值等的图像处理控制信息、平摇/俯仰操作等的运动信息以及与运动模糊有关的振动信息等均包括在照相机控制信息中。

首先，将参考图7A来说明用户A的第一摄像设备100A的编码单元102和用户B的第二摄像单元100B的编码单元102在时间t3时设置基准帧的示例。

当在用户B的第二摄像设备100B中、在时间t3时白平衡设置值变化时，第二摄像设备100B的基准帧信息创建判断单元404基于白平衡设置值的变化，判断为设置基准帧。然后，用户B的第二摄像设备100B的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

此外，用户B的第二摄像设备100B的基准帧设置信息发送/接收单元105向用户A的第一摄像设备100A和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时间t3时，当前正在拍摄的用户A的第一摄像设备100A经由其自身的基准帧设置信息发送/接收单元105，接收由用户B的第二摄像设备100B发送来的基准帧设置信息。

然后，用户A的第一摄像设备100A的基准帧信息创建判断单元404通过由该基准帧信息创建判断单元404输入接收到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至第一摄像设备100A的编码单元102。如此，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

通过相同的过程，用户C的第三摄像设备100C在时间t7时改变曝光设置值，并且结果，用户C的第三摄像设备100C和在时间t7时当前正在拍摄的用户A的第一摄像设备100A设置基准帧。

接着，将参考图7A来说明用户A的第一摄像设备100A的编码单元102、用户B的第二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102在时间t5时设置基准帧的示例。

首先，用户A的第一摄像设备100A的场景变化检测单元401在时间t5时检测到场景变化。通过该操作，用户A的第一摄像设备100A的基准帧信息创建判断单元404基于检测到场景变化，判断为设置基准帧。然后，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时间t5时当前正在拍摄的用户B的第二摄像设备100B和用户C的第三摄像设备100C经由它们自身的基准帧设置信息发送/接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。

然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404和用户C的第三摄像设备100C的基准帧信息创建判断单元404通过输入所接收到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至各自的编码单元102。如此，用户B的第二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

注意，通过设置基准帧(IDR图片)，通过跳过基准帧来参考其它图片被禁止，因而出现编码效率由此下降的情况。由于该原因，设置多个基准帧将有可能导致图像质量下降。因此，可以禁止在设置基准帧之后的预定时间段内设置基准帧。

例如，用户A的第一摄像设备100A的场景变化检测单元401在时间t8时检测到场景变化。然而，由于自在时间t7时设置前一基准帧起尚未经过预定的时间量，因此用户A的第一摄像设备100A的基准帧信息创建判断单元404判断为不设置基准帧。因此，用户A的第一摄像设备100A的编码单元102基于符合编码标准的图片类型来进行编码。此外，使用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105不发送基准帧设置信息。

如至此为止所述的，根据拍摄条件的变化或检测到场景变化来设置基准帧，这使得可以从该基准帧起快速开始重放，可以使用该基准帧作为剪切帧来进行剪切编辑等。

接着，将参考图7B来说明剪切编辑。图7B所示的例子示出通过用户A、B和C使用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的剪切帧的编辑之后获得的编码比特流。

例如，假定在时间t3之前在用户B的第二摄像设备100B中设置了不适当的白平衡值，但在时间t3时该白平衡值变为适当的设置值。通过采用在时间t3时设置的基准帧作为剪切帧，如图7B所示，可以进行仅使用具有适当的白平衡的视频部分的剪切编辑。

同样，例如，假定在时间t7之前在用户C的第三摄像设备100C中设置了不适当的曝光值，但在时间t7时该曝光设置值变为适当的设置值。通过采用在时间t7时设置的基准帧作为剪切帧，如图7B所示，可以进行仅使用具有适当的曝光的视频部分的剪切编辑。

另外，可以采用在时间t5时由用户A的第一摄像设备100A因场景变化而设置的基准帧作为剪切帧。通过该操作，可以将与由用户A的第一摄像设备100A在图7B中的时间t1～t3期间拍摄到的所拍摄视频场景(1)不同的场景(所拍摄视频场景(2))拼接在图7B中的时间t5～t7期间。

接着，将参考图8A来说明用户A的第一摄像设备100A的编码单元102、用户B的第二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102在时间t3和t5时设置基准帧的示例。

当用户A的第一摄像设备100A在时间t3时开始焦点调节时，第一摄像设备100A的基准帧信息创建判断单元404基于焦点调节的开始，判断为设置基准帧。然后，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时间t3时，当前正在拍摄的用户B的第二摄像设备100B经由其自身的基准帧设置信息发送/接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。

然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404通过输入接收到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至第二摄像设备100B的编码单元102。如此，用户B的第二摄像设备100B的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

同时，当用户A的第一摄像设备100A在时间t5时完成焦点调节时，用户A的第一摄像设备100A的基准帧信息创建判断单元404基于焦点调节的完成，判断为设置基准帧。然后，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时间t5时当前正在拍摄的用户B的第二摄像设备100B和用户C的第三摄像设备100C经由它们自身的基准帧设置信息发送/接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。

然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404和用户C的第三摄像设备100C的基准帧信息创建判断单元404通过输入接收到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至各自的编码单元102。如此，用户B的第二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

通过相同的过程，用户C的第三摄像设备100C在时间t7时开始平摇操作，并且结果，用户C的第三摄像设备100C和在时间t7时正在拍摄的用户A的第一摄像设备100A设置基准帧。此外，用户C的第三摄像设备100C在时间t8时完成平摇操作，并且结果，用户C的第三摄像设备100C和在时间t8时正在拍摄的用户A的第一摄像设备100A设置基准帧。

注意，尽管至此为止所述的例子论述焦点调节和平摇操作，但相同的说明不仅对于焦点调节和平摇操作成立，而且对于变焦操作、由振动检测器205检测到的俯仰操作和运动模糊等也成立。此外，基准帧信息创建判断单元404还可以仅在平摇和俯仰的速度以及变焦速度大于特定阈值的情况下才判断为设置基准帧。

如至此为止所述的，根据照相机控制信息和场景变化来设置基准帧，这使得可以从该基准帧起快速开始重放，可以使用该基准帧作为剪切帧来进行剪切编辑等。

接着，将参考图8B来说明剪切编辑。图8B所示的例子示出通过用户A、B和C使用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的剪切帧的编辑之后获得的编码比特流。

在图8A中的时间t3～t5的时间段中，用户A的第一摄像设备100A正在进行焦点调节，因而由用户A的第一摄像设备100A在时间t3～t5的时间段期间拍摄到的视频未聚焦并且模糊。因此，采用针对图8A中的时间t3和t5所设置的基准帧作为剪切帧。如此使得可以将与由用户A的第一摄像设备100A拍摄到的模糊视频不同的视频(例如，来自用户B的视频)拼接至图8B所示的时间t3～t5的时间段中。

同样，在图8A中的时间t7～t8的时间段中，用户C的第三摄像设备100C正在进行平摇操作。如果该平摇操作的速度高，则所拍摄视频发生不规则，从而产生观看者难以识别被摄体的视频。因此，采用针对图8A中的时间t7和t8所设置的基准帧作为剪切帧。如此使得可以将与由用户C的第三摄像设备100C拍摄到的不规则视频不同的视频(例如，来自用户A的视频)拼接至图8B所示的时间t7～t8的时间段中。

接着，将参考图9A和9B来说明在组拍摄期间、根据被摄体信息来设置基准帧的示例。在图9A所示的例子中，用户A的第一摄像设备100A在时间t1时开始拍摄并且在时间t9时停止拍摄。同时，用户B的第二摄像设备100B在时间t2时开始拍摄并且在时间t6时停止拍摄。最后，用户C的第三摄像设备100C在时间t4时开始拍摄并且在时间t10时停止拍摄。

此外，用户A的第一摄像设备100A在时间t1～t3的时间段期间拍摄被摄体(1)，在时间t3～t7的时间段期间拍摄被摄体(2)，并且在时间t7～t9的时间段期间拍摄被摄体(3)。用户B的第二摄像设备100B在时间t2～t5的时间段期间拍摄被摄体(4)，并且在时间t5～t6的时间段期间拍摄被摄体(1)。最后，用户C的第三摄像设备100C在时间t4～t8的时间段期间拍摄被摄体(3)，并且在时间t8～t10的时间段期间拍摄被摄体(2)。注意，由各个摄像设备的被摄体判断单元402来执行这些被摄体的判断。

首先，将参考图9A来说明用户A的第一摄像设备100A的编码单元102和用户B的第二摄像设备100B的编码单元102在时间t3时设置基准帧的示例。

在时间t3时，当用户A的第一摄像设备100A拍摄的被摄体从被摄体(1)变为被摄体(2)时，第一摄像设备100A的基准帧信息创建判断单元404基于被摄体信息的变化，判断为设置基准帧。然后，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时间t3时，当前正在拍摄的用户B的第二摄像设备100B经由其自身的基准帧设置信息发送/接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。

然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404通过输入接收到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至第二摄像设备100B的编码单元102。如此，用户B的第二摄像设备100B的编码单元102将图片类型设置为IDR图片，由此设置基准帧。

这同样适用于在时间t5时、用户B的第二摄像设备100B拍摄的被摄体从被摄体(4)变为被摄体(1)的情况。在这种情况下，用户B的第二摄像设备100B以及在时间t5时当前正在拍摄的用户A的第一摄像设备100A和用户C的第三摄像设备100C设置基准帧。

此外，在时间t7时，当用户A的第一摄像设备100A拍摄的被摄体从被摄体(2)变为被摄体(3)时，用户A的第一摄像设备100A和当前正在拍摄的用户C的第三摄像设备100C设置基准帧。在时间t8时，当用户C的第三摄像设备100C拍摄的被摄体从被摄体(3)变为被摄体(2)时，用户C的第三摄像设备100C和当前正在拍摄的用户A的第一摄像设备100A设置基准帧。

如至此为止所述的，根据被摄体信息的变化来设置基准帧，这使得可以从该基准帧起快速开始重放，可以使用该基准帧作为剪切帧来进行剪切编辑等。

接着，将参考图9B来说明剪切编辑。图9B所示的例子示出通过用户A、B和C使用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的剪切帧的编辑之后获得的编码比特流。

图9B所示的编辑后的编码比特流使用根据被摄体信息的变化所设置的基准帧作为剪切帧。在图9B所示的例子中，将用户A的时间t1～t3期间的视频、用户B的时间t5～t6期间的视频、用户C的时间t4～t7期间的视频、用户A的时间t7～t9期间的视频和用户B的时间t2～t5期间的视频拼接到一起。通过这类剪切编辑，例如，可以创建从不同角度拍摄到的单个被摄体的视频在时间上连续的编码比特流。

接着，将参考图10的流程图来说明组拍摄期间用于设置基准帧的处理。图10是示出本实施例的摄像设备100设置基准帧的过程的示例的流程图。

首先，在步骤S1001中，基准帧设置判断单元104响应于由用户经由操作构件(未示出)进行的操作，将要参与组拍摄的其它摄像设备登记在拍摄组中，由此形成组。例如，通过在多个摄像设备之间共享组ID来形成该组。

接着，在步骤S1002中，基准帧设置判断单元104响应于由用户经由操作构件(未示出)进行的操作，针对在步骤S1001中形成的拍摄组确定至少一个基准帧设置条件。这里，“基准帧设置条件”指基准帧设置判断单元104用来判断是否设置基准帧的条件。例如，该基准帧设置条件可以是指定响应于其它摄像设备开始或停止拍摄而设置基准帧的条件、指定响应于按下了基准帧设置按钮403而设置基准帧的条件等。

注意，尽管优选所选择的基准帧设置条件在参与拍摄组的多个摄像设备100中相同，但可以由不同的摄像设备选择不同的基准帧设置条件。此外，基准帧设置条件在参与该组的多个摄像设备中相同的情况下，可以在单个摄像设备中设置基准帧设置条件，然后将该基准帧设置条件发送至其它摄像设备。

接着，在步骤S1003中，照相机单元101响应于用户按下拍摄开始/停止按钮，开始拍摄。注意，参与组拍摄的多个摄像设备开始拍摄和停止拍摄的时间可以相同，或者可以不同。然后，在步骤S1004中，基准帧设置信息发送/接收单元105作为接收单元工作，并且判断是否从其它摄像设备接收到基准帧设置信息。如果该判断表示接收到基准帧设置信息(步骤S1004中为“是”)，则处理进入步骤S1005，在步骤S1005中，图片类型控制单元316作为获得单元工作，并且获得基准帧设置信息。然后，编码单元102设置基准帧。

另一方面，如果步骤S1004的判断不表示接收到基准帧设置信息(步骤S1004中为“否”)，则处理进入步骤S1006。在步骤S1006中，基准帧信息创建判断单元404作为判断单元工作，并且基于照相机控制信息、视频分析信息等判断是否设置基准帧。如果该判断得出设置基准帧(步骤S1006中为“是”)，则处理进入步骤S1007，在步骤S1007中，基准帧信息创建判断单元404作为生成单元工作，并且生成基准帧设置信息。然后，基准帧设置信息发送/接收单元105作为发送单元，并将所生成的基准帧设置信息发送至其它摄像设备。然后，在步骤S1005中，编码单元102设置基准帧。

另一方面，如果步骤S1006的判断得出不设置基准帧(步骤S1006中为“否”)，则处理进入步骤S1008，在步骤S1008中，编码单元102设置符合编码标准的图片类型。然后，在步骤S1009中，照相机单元101判断拍摄是否已经结束。如果判断为拍摄尚未结束(步骤S1009中为“否”)，则处理返回至步骤S1004，并且重复前述的步骤S1004～S1008的处理。然而，如果在步骤S1009中判断为拍摄已经结束(步骤S1009中为“是”)，则处理结束。

此外，尽管该流程图中没有示出，但例如如果选择“拍摄结束”作为基准帧设置条件、并且在步骤S1009中判断为“是”，则以与步骤S1007相同的方式生成并发送基准帧设置信息。

根据至此为止所述的本实施例，根据拍摄/记录操作、照相机控制和视频分析等的拍摄状况，来设置位于由该设备自身和其它设备生成的编码比特流内的、用于禁止跳过帧的参考的基准帧。因此，与传统技术相对比，可以按未使编码效率大幅下降的方式对图像进行压缩和编码，并且可以获得适合于编辑的编码比特流。

第二实施例

作为第二实施例，图13是示出应用了实现本发明的运动图像编码设备的摄像设备的示例功能结构的框图。本实施例的摄像设备可以拍摄图像质量与由其它摄像设备拍摄到的视频的图像质量相同的视频。

摄像设备10配置有照相机单元12、编码单元14、编码比特流记录单元16、显示单元18、图像质量确定单元20和图像质量信息发送/接收单元22，作为其主要元件。

照相机单元12拍摄被摄体并输出视频信号。编码单元14对由照相机单元12输出的视频信号进行压缩和编码。编码比特流记录单元16将由编码单元14输出的编码比特流记录到存储介质中。显示单元18显示由照相机单元12输出的视频信号，并且还显示用于进行图像质量设置等的菜单画面。

图像质量确定单元20根据通过菜单画面进行的图像质量设置和来自图像质量信息发送/接收单元22的图像质量信息，确定由编码单元14输出的编码比特流的图像质量。图像质量信息发送/接收单元22向配备有相同功能的其它摄像设备发送图像质量信息，并从其它摄像设备接收图像质量信息。换言之，图像质量信息发送/接收单元22将由图像质量确定单元20输出的图像质量信息发送至其它摄像设备，并且接收来自其它摄像设备的图像质量信息，并将该信息供给至图像质量确定单元20。

摄像设备10在每次用户按下操作装置24中的拍摄开始/停止按钮时，开始和停止记录视频。

照相机单元12

图14是示出照相机单元12的结构的概述的框图。镜头30在摄像单元32上形成被摄体的光学图像。摄像单元32是将由镜头30形成的光学图像转换成电图像信号的、CCD或CMOS型的固态图像传感器。A/D转换器34将由摄像单元32输出的模拟图像信号转换成数字图像信号。照相机信号处理单元36对由A/D转换器34输出的图像数据进行曝光调整、γ校正、白平衡校正和分辨率转换等的处理，并输出按指定格式的数字视频信号。

照相机控制单元38基于表示由图像质量确定单元20输出的图像分辨率的信息(分辨率信息)，控制摄像单元32、A/D转换器34和照相机信号处理单元36。照相机信号处理单元36基于来自照相机控制单元38的分辨率信息，对视频信号的分辨率进行转换。例如，如果分辨率信息表示图像处于高清晰度(HD、或分辨率为1920×1080)，则照相机信号处理单元36输出HD分辨率的视频信号。

照相机控制单元38还控制镜头30的变焦，并且基于由照相机信号处理单元36获得的视频信号来控制镜头30的焦点。

编码单元14

图15是示出编码单元14的结构的概述的框图。这里，使用MPEG标准、H.264标准等作为编码标准。编码单元14能够对例如高清晰度(HD、或分辨率为1920×1080)和标准清晰度(SD、或分辨率为720×480)的不同分辨率的两类视频信号进行编码。此外，在该单元配备有针对H.264编码标准和MPEG编码标准这两者的功能性的情况下，所使用的编码标准可以根据分辨率而变化，由此例如，使用H.264编码标准对HD视频进行编码，而使用MPEG编码标准对SD视频进行编码。

接着，将说明图15所示的编码单元14的结构和操作。块分割单元40按帧(画面)为单位将来自照相机单元12的视频信号分割成预定大小的块，并按块为单位输出图像数据。减法器42对于将不经过预测编码的块，照原样输出由块分割单元12输出的图像数据；然而，对于要经过预测编码的块，减法器42从由块分割单元40输出的图像数据中减去预测值(预测图像数据)，并输出残余数据。后面将说明预测图像数据的生成。

离散余弦变换单元44对由减法器42输出的数据进行离散余弦变换(正交变换)，并输出转换系数。量化单元46基于量化标度对来自离散余弦变换单元44的转换系数进行量化。改变量化标度就大大改变了量化后的转换系数值，由此改变由此产生的编码数据量。换言之，可以通过改变量化标度来控制压缩率。将由量化单元46输出的量化转换系数供给至可变长度编码单元48和逆量化单元52。

在生成预测图像数据时使用由量化单元46输出的量化转换系数。逆量化单元52对来自量化单元46的量化转换系数进行逆量化，并输出转换系数代表值。逆离散余弦变换单元54对来自逆量化单元52的转换系数代表值进行逆离散余弦变换。由逆离散余弦变换单元54输出的数据针对不经过预测编码的块是图像数据，并且针对要经过预测编码的块是相对于预测图像数据的残余数据。加法器56针对不经过预测编码的块，照原样输出由逆离散余弦变换单元54所输出的数据。然而，对于要经过预测编码的块，加法器56将由减法器42减去的同一预测图像数据和由逆离散余弦变换单元54输出的数据相加。由加法器56输出的数据是已经局部进行了解码的图像数据，并且被称为重构图像数据。

帧存储器58能够存储几帧的图像数据，并且暂时存储在后续预测时有可能被参考的、由加法器56输出的重构图像数据。运动检测单元60将由块分割单元40已经输出的要进行编码的当前图像数据与帧存储器58中所存储的参考图像数据进行对比，由此估计当前图像数据中的运动矢量。运动检测单元60将所估计的运动矢量的信息供给至运动补偿单元62和可变长度编码单元48。运动补偿单元62基于由运动检测单元60所估计的运动矢量，对帧存储器58中的参考图像数据进行运动补偿，并将由此产生的预测图像数据供给至减法器42和加法器56。

可变长度编码单元48对来自量化单元46的量化转换系数进行可变长度编码，并连同来自运动检测单元60的运动矢量信息一起生成编码比特流。为了控制编码数据量，将该编码比特流暂时保持在输出缓冲器50中，然后将其输出至编码比特流记录单元16。编码比特流记录单元16将来自输出缓冲器50的编码比特流记录到存储介质中。

编码数据量控制单元64基于来自图像质量确定单元20的平均目标编码比特率和来自输出缓冲器50的编码数据量信息，控制量化单元46的量化标度，以使得编码比特率接近平均目标编码比特率。在本实施例中，将编码数据量控制方案描述为图像质量波动小的可变比特率(VBR)方案；然而，编码数据量控制方案不限于此。还可以使用CBR方案或恒定比特率方案。

在下文，将参考图16、图17A～17C、图18A～18C、图19A～19D和图20来说明图像质量确定单元20的操作。

如图16所示，假定用户A已经使用摄像设备10A在SP模式下记录了场景A，而用户B已经使用摄像设备10B在XP模式下记录了场景B。摄像设备10A和10B具有与摄像设备10的结构相同的结构。摄像设备10A和10B通过它们各自的图像质量信息发送/接收单元22，例如基于IEEE 802.11g标准，经由无线通信网络来发送和接收图像质量信息。在本实施例中，尽管图像质量信息包括由照相机单元12输出的视频信号的分辨率、和由编码单元14的编码数据量控制单元64所使用的平均目标编码比特率，但图像质量信息不限于这种组合。例如，可以使用通过由照相机信号处理单元36进行的处理所获得的、指定视频的色调的白平衡信息或指定视频的亮度的曝光调整，或者可选地，图像质量信息可以包括所有这些项。

图17A～17C示出显示单元18中显示的图像质量设置菜单画面的示例。在组拍摄开始之前，用户A和B首先使用如图17A～17C所示的菜单画面等的菜单画面来设置图像质量(分辨率和平均目标编码比特率)。在本实施例中，在组拍摄期间，图像质量对于各摄像设备而言均是相同的，但可以通过选择将特定项设置为相同(均衡)的时间点来选择两个操作模式其中之一，或者选择预设模式或动态设置模式。

在预设模式下，预先强制使属于该组的所有摄像设备的分辨率以及平均目标编码比特率均为相同的设置。

同时，在动态设置模式下，尽管预先强制使属于该组的所有摄像设备的分辨率均为相同的设置，但可以自由设置平均目标编码比特率。然而，基于属于该组的其它摄像设备的拍摄开始(记录开始)和拍摄结束(记录结束)，将各摄像设备的平均目标编码比特率在设定时间段内动态地设置为其它摄像设备的平均目标编码比特率。例如，当特定摄像设备已经开始拍摄、并且其它摄像设备随后开始拍摄时，将首先开始拍摄的摄像设备的平均目标编码比特率在设定时间段内设置为其它摄像设备的平均目标编码比特率。此外，当其它摄像设备停止拍摄时，将仍在拍摄的摄像设备的图像质量在设定时间段内设置为停止拍摄的摄像设备的图像质量。

使用分辨率设置菜单70来设置分辨率。照相机单元12输出按已经设置的分辨率的视频信号。HD分辨率和SD分辨率是分辨率设置值的例子。在图17A所示的例子中，设置SD作为分辨率。然而，在图17B和17C所示的例子中，设置HD作为分辨率。

使用均衡设置菜单72来设置是否使视频信息与参与组拍摄的其它摄像设备均衡。在预设模式和动态设置模式之间进行选择。使用记录模式设置菜单74来设置由编码单元14进行的编码处理的压缩率。在本实施例中，可以设置XP模式、SP模式或LP模式，其中，XP的压缩率最低并且LP的压缩率最高。

同时，在已经使用均衡设置菜单72使记录模式均衡的情况下，设置预设模式。例如，参与组拍摄的摄像设备其中之一用作主设备，之后，其它摄像设备接收该主摄像设备的图像质量信息，并设置与该图像质量信息相同的图像质量信息。这样，参与组拍摄的所有摄像设备可以具有预先设置的相同的图像质量条件。对于使图像质量信息均衡的时间，当在拍摄开始之前要参与组拍摄的所有摄像设备已经聚集到一起时，可以进行均衡，或者如果可以确保通信路径，则可以在拍摄开始之前针对各摄像设备单独进行均衡。

另一方面，在未使用均衡设置菜单72使记录模式均衡的情况下，设置动态设置模式。换言之，参与组拍摄的多个摄像设备可以使用单独设置的并且通常互不相同的图像质量信息(在本实施例中，平均目标编码比特率不同)来拍摄。然而，如上所述，响应于该组内的任意摄像设备开始或停止拍摄，在设定时间段内调整正在拍摄的其它摄像设备的平均目标编码比特率，从而与开始或停止拍摄的摄像设备的平均目标编码比特率动态一致。

在图17A所示的例子中，使记录模式在拍摄组中均衡，并将该记录模式设置为XP模式。然而，在图17B所示的例子中，不使记录模式均衡，并将该记录模式设置为SP模式。最后，在图17C所示的例子中，不使记录模式均衡，并将该记录模式设置为XP模式。在本实施例所述的例子中，假定当记录模式为XP模式时的平均目标编码比特率为15Mbps。假定当记录模式为SP模式时的平均目标编码比特率为9Mbps。最后，假定当记录模式为LP模式时的平均目标编码比特率为3Mbps。

在使记录模式均衡的预设模式中，图像质量确定单元20基于均衡的记录模式来确定平均目标编码比特率。编码单元14基于该平均目标编码比特率来控制编码比特率。然而，在不使记录模式均衡的动态设置模式中，图像质量确定单元20基于按摄像设备为单位所设置的记录模式来确定平均目标编码比特率，并且编码单元14基于该平均目标编码比特率来控制编码比特率。

现在将详细说明在已经选择预设模式的情况下、为了使图像质量在摄像设备之间相同所进行的操作。这指图17A所示的例子中设置了预设模式。

属于同一拍摄组的摄像设备的图像质量确定单元20在拍摄开始之前，各自判断对于该拍摄组中的其它摄像设备、是否设置了与针对它们自身的摄像设备的图像质量所设置的值相同的值。更具体地，判断预先通过设置画面进行的与分辨率和记录模式有关的设置和由图像质量信息发送/接收单元22接收到的其它摄像设备的图像质量信息(分辨率和记录模式)的设置是否相同。

如果在参与组拍摄的摄像设备之间分辨率设置或记录模式设置不同，则在显示单元18中显示警告图像质量设置不同的警告消息，从而提示用户改变图像质量设置。此时，优选在显示单元18中同时显示拍摄组的图像质量设置。例如，在参与组拍摄的多个摄像设备其中之一被设置为SD分辨率、并且其它摄像设备被设置为HD分辨率的情况下，在分辨率被设置为SD分辨率的摄像设备的显示单元18中显示所述的警告消息和用于将分辨率设置为HD分辨率的提示。

图18A～18C是示出由处于预设模式的摄像设备10A和10B拍摄到的场景以及已被拼接到一起的场景中的平均目标编码比特率的变化的示例的示意图。图18A示出摄像设备10A的拍摄状态。同时，图18B示出摄像设备10B的拍摄状态。最后，图18C示出将由摄像设备10B拍摄到的时间t2～t3期间的场景插入由摄像设备10A拍摄到的时间t1～t2期间和时间t3～t4期间的场景之间的结果。水平轴表示时间，而垂直轴表示平均目标编码比特率。例如，这里假定摄像设备10A和10B从不同的方向或按不同的变焦比拍摄同一被摄体，然后在相同的时间轴上将这些所拍摄场景拼接到一起。

由于通过预设模式使图像质量信息均衡，因此预先对摄像设备10A和10B这两者进行设置以在XP模式下按SD分辨率进行记录。如图18A所示，摄像设备10A在时间t1～t4期间按SD分辨率并且在XP模式下拍摄。同时，如图18B所示，摄像设备10B在时间t2～t3期间按SD分辨率并且在XP模式下拍摄。

由于摄像设备10A和10B的分辨率和记录模式(平均目标编码比特率)具有相同的设置，因此由摄像设备10A和10B拍摄到的视频的图像质量大致相同。因此，如图18C所示，即使在发生拼接之后，平均目标编码比特率也是平坦的，因而在重放期间，在(紧挨时间t2和时间t4之后的)转变时图像质量无明显变化。

接着，将说明当设置动态设置模式从而实现图17B和17C所示的设置时、为了使摄像设备中的图像质量均衡所进行的操作。

在该动态设置模式下，属于拍摄组的各摄像设备的用户可以在摄像设备中设置他/她偏好的记录模式。然而，属于拍摄组的摄像设备需要位于彼此的通信范围内，因而以下操作示例假定图16所示的摄像设备10A和10B位于彼此的通信范围内。

图19A～19D是示出由处于动态设置模式的摄像设备10A和10B拍摄到的场景以及已被拼接到一起的场景中的平均目标编码比特率的变化的示例的示意图。图19A表示摄像设备10A的拍摄状态。同时，图19B表示摄像设备10B的拍摄状态。图19C示出对由摄像设备10A和10B拍摄到的场景进行的剪切编辑的第一示例，而图19D示出对由摄像设备10A和10B拍摄到的场景进行的剪切编辑的第二示例。水平轴表示时间，而垂直轴表示平均目标编码比特率。

如图17B所示，摄像设备10A的分辨率被设置为HD分辨率，并且记录模式被设置为SP模式。同时，如图17C所示，摄像设备10B的分辨率被设置为HD分辨率，并且记录模式被设置为XP模式。如图19A所示，摄像设备10A在时间t1时开始拍摄并且在时间t6时停止拍摄。同时，如图19B所示，摄像设备10B在时间t2时开始拍摄并且在时间t10时停止拍摄。

在图19A中，假定在时间t1时用户A按下摄像设备10A的拍摄开始/停止按钮。摄像设备10A的图像质量确定单元20对照相机单元12指定HD分辨率，并且对编码单元14指定9Mbps的平均目标编码比特率(即，SP模式)，之后拍摄开始。

在图19B中，假定在时间t2时用户B按下摄像设备10B的拍摄开始/停止按钮。摄像设备10B的图像质量确定单元20对照相机单元12指定HD分辨率，并且对编码单元14指定15Mbps的平均目标编码比特率，之后拍摄开始。此外，摄像设备10B的图像质量信息发送/接收单元22将表示平均目标编码比特率为15Mbps的图像质量信息发送至在这种情况下包括摄像设备10A的同一拍摄组的摄像设备。

摄像设备10A的图像质量信息发送/接收单元22接收由摄像设备10B发送来的图像质量信息，并将该信息供给至图像质量确定单元20(图19A中的时间t2)。然后，图像质量确定单元20使平均目标编码比特率从9Mbps逐渐增大至15Mbps，从而与摄像设备10B的平均目标编码比特率一致。假定在图19A中的时间t3时，摄像设备10A中的平均目标编码比特率已经达到15Mbps。然后，摄像设备10A在预定时间段内，或者换言之、在图19A中的时间t3～t4期间，维持15Mbps的平均目标编码比特率。在时间t3～t4的时间段期间，摄像设备10A以15Mbps的平均目标编码比特率(在XP模式下)正在拍摄，因而由摄像设备10A和10B拍摄到的视频的图像质量相同。

在维持平均目标编码比特率的时间段(图19A中的时间t3～t4的时间段)结束之后，摄像设备10A的图像质量确定单元20使平均目标编码比特率逐渐返回至原始的平均目标编码比特率。在图19A所示的例子中，在时间t5时，平均目标编码比特率返回至原始的9Mbps的平均目标编码比特率。时间t2～t3和t4～t5的时间段是用于减轻由于平均目标编码比特率的变化所引起的图像质量的变化的明显性的缓和时间段。

在图19A中，假定在时间t6时用户A按下摄像设备10A的拍摄开始/停止按钮，由此停止拍摄。响应于此，摄像设备10A的图像质量信息发送/接收单元22将表示所设置的平均目标编码比特率(SP模式)的图像质量信息发送至在这种情况下包括摄像设备10B的同一拍摄组的摄像设备。在图19B中的时间t6时，摄像设备10B的图像质量信息发送/接收单元22接收来自摄像设备10A的图像质量信息，并将该信息供给至图像质量确定单元20。然后，摄像设备10B的图像质量确定单元20使平均目标编码比特率从15Mbps逐渐减小至9Mbps，从而与摄像设备10A的图像质量一致。假定在图19B中的时间t7时，摄像设备10B中的平均目标编码比特率已经达到9Mbps。然后，摄像设备10B在预定时间段内，或者换言之、在图19B中的时间t7～t8期间，维持9Mbps的平均目标编码比特率。在时间t7～t8的时间段期间，摄像设备10B以9Mbps的平均目标编码比特率(在SP模式下)正在拍摄，因而由摄像设备10A和10B拍摄到的视频的图像质量相同。

在维持平均目标编码比特率的时间段(图19B中的时间t7～t8的时间段)结束之后，摄像设备10B的图像质量确定单元20使平均目标编码比特率逐渐返回至原始的平均目标编码比特率。在图19B所示的例子中，在时间t9时，平均目标编码比特率返回至原始的15Mbps的平均目标编码比特率。按与时间t2～t3以及t4～t5的时间段相同的方式，时间t6～t7以及t8～t9的时间段可以被称为用于减轻由于平均目标编码比特率的变化所引起的图像质量的变化的明显性的缓和时间段。

如至此为止所述的，在本实施例中，当拍摄组内的其它摄像设备开始/停止拍摄(或者开始/停止记录)时，设置使平均目标编码比特率维持为与其它摄像设备的平均目标编码比特率相同的平均目标编码比特率的时间段、以及该时间段前后的缓和时间段。

图19C示出对图19A和19B所示的所拍摄场景进行的剪切编辑的第一示例。水平轴表示时间，而垂直轴表示平均目标编码比特率。在图19C所示的例子中，将由摄像设备10A在图19A中的时间t1～t3期间拍摄到的场景和由摄像设备10B在图19B中的时间t3～t10期间拍摄到的场景拼接到一起。在时间t3时出现的、由摄像设备10A拍摄到的场景和由摄像设备10B拍摄到的场景之间的转变处，摄像设备10A和10B中的图像质量相同。因此，在时间t3附近，图像质量的差异小。

图19D示出对图19A和19B所示的所拍摄场景进行的剪切编辑的第二示例。水平轴表示时间，而垂直轴表示平均目标编码比特率。在图19D所示的编辑例子中，将由摄像设备10A在图19A中的时间t1～t6期间拍摄到的场景和由摄像设备10B在图19B中的时间t7～t10期间拍摄到的场景拼接到一起。在由摄像设备10A拍摄到的场景的末尾(时间t6)和由摄像设备10B拍摄到的场景的开头(时间t7)之间的转变、或时间t6和t7处，作为前面所述的图像质量均衡操作的结果，图像质量相同。因此，在转变处，图像质量差异小。

这样，将两个编码比特流的图像质量相同的时间t3～t4的时间段或时间t7～t8的时间段作为剪切编辑用的转变，这使编辑后的编码比特流中的转变处的图像质量的差异减小。这使得可以减轻重放期间观看者方的不自然感。

图20是示出根据本实施例的图像质量均衡操作的流程图。在步骤S1中，拍摄组由要进行组拍摄的多个摄像设备、或者摄像设备10A和10B形成。例如，通过在摄像设备10A和10B之间共享组ID来形成组。然后，在步骤S2中，在各个摄像设备中设置图像质量。接着，在步骤S3中，摄像设备的图像质量确定单元20判断在步骤S1中形成的拍摄组中图像质量设置是否表示相同的值。然而，注意步骤S3判断图像质量设置中要均衡的设置信息是否具有相同的设置值。如果判断为图像质量设置不同(步骤S3中为“否”)，则在步骤S4中进行表示该不同的警告，之后处理返回至步骤S2，在步骤S2中，再次提示用户进行设置。

然而，在判断为对于所有的摄像设备的图像质量设置均为相同值的情况下(步骤S3中为“是”)，在步骤S5中，摄像设备处于可以开始拍摄和记录的状态。在拍摄已经开始之后，在步骤S6中，图像质量确定单元20判断图像质量设置中的记录模式是否已经被设置为均衡。模式已经被设置为均衡的情况(步骤S6中为“是”)等同于预设模式，因而属于拍摄组的摄像设备中的图像质量设置相同。在该情况下，处理移动至步骤S9，在步骤S9中，如前面所述，摄像设备10中的各单元按根据设定的记录模式所设置的平均目标编码比特率，开始记录视频。

然而，图像质量设置中的记录模式未被设置为均衡的情况(步骤S6中为“否”)表示已经选择动态设置模式。在这种情况下，在步骤S7中，图像质量确定单元20判断属于拍摄组的其它摄像设备是否开始拍摄或停止拍摄。在判断为属于拍摄组的其它摄像设备开始拍摄或停止拍摄的情况下(步骤S7中为“是”)，在步骤S8中，如前面所述，图像质量确定单元20使编码单元14的平均目标编码比特率与其它摄像设备的平均目标编码比特率一致。当然，在维持平均目标编码比特率的时间段前后设置缓和时间段。然后，在步骤S9中，摄像设备10的各单元按在步骤S8中设置的平均目标编码比特率开始记录视频。注意，如果属于拍摄组的其它摄像设备既未开始拍摄也未停止拍摄(步骤S7中为“否”)，则消除缓和时间段，并且摄像设备10的各单元按在步骤S2中设置的平均目标编码比特率开始记录视频(步骤S9)。

然后，在步骤S10中，图像质量确定单元20判断拍摄是否已经结束。如果判断为拍摄尚未结束(步骤S10中为“否”)，则处理返回至步骤S6，并且重复前述的步骤S6～S9的处理。然而，如果在步骤S10中判断为拍摄已经结束(步骤S10中为“是”)，则处理结束。

根据本实施例，可以在无需用户分别进行手动设置的情况下，使编码比特流的图像质量与其它运动图像编码设备的图像质量均衡。这具有在对编码比特流进行剪切编辑的情况下、减少视频中转变前后的时间段中的图像质量的差异的效果。

尽管以上说明论述了预先将分辨率设置为共用值、并且预先或动态地设置记录模式，但作为代替，可以预先将记录模式设置为相同的模式，并且可以预先或动态地设置分辨率。换言之，可以在拍摄之前将包括多个要素的图像质量信息的一个或多个要素设置为共用设置值，并且可以预先或动态地设置其余的要素。

最终，尽管这些说明论述了采用VBR方案的运动图像编码设备，但在本实施例中可以应用使用恒定比特率方案的图像编码标准。在这种情况下，可以利用“编码比特率”来替换以上说明中出现的术语“平均目标编码比特率”。

第三实施例

作为第三实施例，图22是示出应用了实现本发明的运动图像编码设备的摄像设备的示例功能结构的框图。本实施例的摄像设备可以拍摄图像质量与由其它摄像设备拍摄到的视频的图像质量相同的视频。在图22中，与图13(第二实施例)中的构成元件相同的构成元件的附图标记相同，并且将省略对这些构成元件的说明。图22和图13的不同之处在于，照相机单元12和图像质量确定单元20没有相连接，并且利用编码单元26替换了编码单元14。

编码单元26

图23是示出编码单元26的结构的概述的框图。这里，使用MPEG标准、H.264标准等作为编码标准。

接着，将说明图23所示的编码单元26的结构和操作。然而，注意，在图23中，与图15(第二实施例中的编码单元14)中的构成元件相同的构成元件的附图标记相同，并且将省略对这些构成元件的说明。

在第三实施例中，编码单元26改变量化单元45的量化标度，由此改变由量化误差所引起的图像劣化程度。由于该原因，后面所述的编码PSNR的值变化。将由量化单元46输出的量化转换系数供给至可变长度编码单元46和逆量化单元52。

编码PSNR计算单元68在由加法器56输出的重构图像数据和由块分割单元40输出的视频信号中计算编码PSNR(peak signal-to-noise ratio，峰值信噪比)，并将计算出的PSNR输出至编码数据量控制单元64。PSNR表示图像信号和噪声之间的比(S/N比)。编码PSNR表示S/N比的编码设置信息(参数)，并且值越高表示图像质量越好。

将参考等式1来说明用于计算8比特视频信号的PSNR的方法。在等式1中，Ci表示视频信号中的各像素值，并且Di表示重构图像中的各像素值。N是计算了PSNR的像素值的数量。在本实施例中，计算编码前的视频信号和局部进行了解码的重构图像数据之间的比，因而编码PSNR的值表示由编码所引起的劣化程度。

$\mathrm{PSNR}=10\log \left(\frac{{255}^2}{\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{(\mathrm{Ci}-\mathrm{Di})}^2/N}\right)$ 等式(1)

注意，假定计算PSNR时使用的视频信号的像素值和重构图像的像素值为亮度信号、色差信号或者这两者。

编码数据量控制单元64控制量化单元46的量化标度，以使得由编码PSNR计算单元68输出的编码PSNR的值接近来自图像质量确定单元20的平均目标PSNR。据此，由编码所引起的劣化程度变化，因而编码PSNR变化。

在下文，将参考图16、图24A～24C、图25A～25C、图26A～26D和图27来详细说明图像质量确定单元20的操作。

如图16所示，假定用户A已经使用摄像设备10A记录了场景A，而用户B已经使用摄像设备10B记录了场景B。摄像设备10A和10B具有与本实施例的摄像设备10的结构相同的结构。摄像设备10A和10B通过它们各自的图像质量信息发送/接收单元22，例如基于IEEE 802.11g标准，经由无线通信网络来发送和接收图像质量信息。在本实施例中，图像质量信息是平均目标PSNR，但图像质量信息不限于此。例如，作为代替，可以使用视频信号和重构图像之间的高频区域成分的差异。

图24A～24C示出显示单元18中显示的图像质量设置菜单画面的示例。在组拍摄开始之前，用户A和B首先使用图24A～24C所示的菜单画面等的菜单画面来设置图像质量(平均目标PSNR)。在本实施例中，在组拍摄期间，图像质量对于各摄像设备均是相同的，但可以通过选择要将特定项设置为相同的时间点来选择两个操作模式其中之一，或者选择预设模式或动态设置模式。

在预设模式中，对于属于该组的所有的摄像设备，预先将平均目标PSNR设置为相同的值。

然而，在动态设置模式下，可以对于属于该组的各摄像设备自由设置平均目标PSNR。然而，基于属于该组的其它摄像设备的拍摄开始(记录开始)和拍摄结束(记录结束)，将各摄像设备的平均目标PSNR在设定时间段内动态地设置为其它摄像设备的平均目标PSNR。例如，当特定摄像设备开始拍摄、其它摄像设备随后开始拍摄时，将首先开始拍摄的摄像设备的平均目标PSNR在设定时间段内设置为其它摄像设备的平均目标PSNR。此外，当其它摄像设备停止拍摄时，将仍在拍摄的摄像设备的图像质量在设定时间段内设置为停止拍摄的摄像设备的图像质量。

使用均衡设置菜单72来设置是否使视频信息与属于该组的其它摄像设备均衡。在预设模式和动态设置模式之间进行选择。平均目标PSNR设置菜单78设置编码单元26中的编码PSNR的目标值。

同时，在使用均衡设置菜单72使平均目标PSNR均衡的情况下，设置预设模式。例如，参与组拍摄的摄像设备其中之一用作主设备，之后其它摄像设备接收该主摄像设备的图像质量信息，并设置与该图像质量信息相同的图像质量信息。这样，参与组拍摄的所有摄像设备均可以具有预先设置的相同的图像质量条件。对于使图像质量信息均衡的时间，当在拍摄开始之前要参与组拍摄的所有摄像设备已经聚集到一起时，可以进行均衡，或者如果可以确保通信路径，则可以在拍摄开始之前针对各摄像设备单独进行均衡。

然而，在未使用均衡设置菜单72使平均目标PSNR均衡的情况下，设置动态设置模式。换言之，参与组拍摄的多个摄像设备可以使用单独设置的并且通常互不相同的图像质量信息(在本实施例中，平均目标PSNR不同)来拍摄。然而，如上所述，响应于该组内的任意摄像设备开始或停止拍摄，在设定时间段内调整正在拍摄的其它摄像设备的平均目标PSNR，从而与开始或停止拍摄的摄像设备的平均目标PSNR动态一致。

在图24A所示的例子中，使平均目标PSNR在整个拍摄组中均衡，并将平均目标PSNR设置为50dB。然而，在图24B所示的例子中，不使平均目标PSNR均衡，并将平均目标PSNR设置为30dB。最终，在图24C所示的例子中，不使平均目标PSNR均衡，并将平均目标PSNR设置为50dB。

在使平均目标PSNR均衡的预设模式中，图像质量确定单元20基于均衡的平均目标PSNR来确定平均目标PSNR。编码单元26控制量化标度，以使得编码PSNR接近该平均目标PSNR。然而，在未使平均目标PSNR均衡的动态设置模式下，图像质量确定单元20基于针对各摄像设备所设置的平均目标PSNR来确定平均目标PSNR，并且编码单元26控制量化标度，以使得编码PSNR接近该平均目标PSNR。

现在将详细说明在已经选择预设模式的情况下、为了使图像质量在摄像设备之间相同所进行的操作。这指在图24A所示的例子中设置了预设模式。

属于同一拍摄组的摄像设备的图像质量确定单元20在拍摄开始之前，各自判断对于拍摄组中的其它摄像设备、是否设置了与针对它们自身的摄像设备的图像质量所设置的值相同的值。更具体地，判断预先通过设置画面进行的与平均目标PSNR有关的设置和由图像质量信息发送/接收单元22接收到的其它摄像设备的图像质量信息(平均目标PSNR)的设置是否相同。

如果在参与组拍摄的摄像设备之间平均目标PSNR设置不同，则在显示单元18中显示警告图像质量设置不同的警告消息，从而提示用户改变图像质量设置。此时，优选在显示单元18中同时显示拍摄组的图像质量设置。例如，在参与组拍摄的多个摄像设备其中之一的平均目标PSNR被设置为30dB、并且其它摄像设备的平均目标PSNR被设置为50dB的情况下，在平均目标PSNR被设置为30dB的摄像设备的显示单元18中显示所述的警告消息和用于将平均目标PSNR设置为50dB的提示。

图25A～25C是示出由处于预设模式的摄像设备10A和10B拍摄到的场景以及已被拼接到一起的场景中的平均目标PSNR的变化的示例的示意图。图25A表示摄像设备10A的拍摄状态。同时，图25B表示摄像设备10B的拍摄状态。最后，图25C表示将由摄像设备10B拍摄到的时间t2～t3期间的场景插入由摄像设备10A拍摄到的时间t1～t2期间和时间t3～t4期间的场景之间的结果。水平轴表示时间，而垂直轴表示平均目标PSNR。例如，这里假定摄像设备10A和10B从不同的方向或按不同的变焦比拍摄同一被摄体，然后在同一时间轴上将这些所拍摄场景拼接到一起。

由于通过预设模式使图像质量信息均衡，预先对摄像设备10A和10B这两者进行设置，以按50dB的平均目标PSNR进行记录。如图25A所示，摄像设备10A在时间t1～t4期间按50dB的平均目标PSNR拍摄。同时，如图25B所示，摄像设备10B在时间t2～t3期间按50dB的平均目标PSNR拍摄。

由于摄像设备10A和10B的平均目标PSNR具有相同的设置，因此由摄像设备10A和10B拍摄到的视频的图像质量大致相同。因此，如图25C所示，即使在发生拼接之后，平均目标PSNR也是平坦的，因而在重放期间，在(紧挨时间t2和t4之后的)转变时图像质量无明显变化。

接着，将说明当设置动态设置模式从而实现图24B或24C所示的设置时、为了使摄像设备中的图像质量均衡所进行的操作。

在动态设置模式下，属于拍摄组的各摄像设备的用户可以在摄像设备中设置他/她偏好的平均目标PSNR。然而，属于拍摄组的摄像设备需要位于彼此的通信范围内，因而以下操作示例假定图16所示的摄像设备10A和10B位于彼此的通信范围内。

图26A～26D是示出由处于动态设置模式的摄像设备10A和10B拍摄到的场景以及已被拼接到一起的场景中的平均目标PSNR的变化的示例的示意图。图26A示出摄像设备10A的拍摄状态。同时，图26B示出摄像设备10B的拍摄状态。图26C示出对由摄像设备10A和10B拍摄到的场景进行的剪切编辑的第一示例，而图26D示出对由摄像设备10A和10B拍摄到的场景进行的剪切编辑的第二示例。水平轴表示时间，而垂直轴表示平均目标编码比特率。

如图24B所示，摄像设备10A的平均目标PSNR被设置为30dB。同时，如图24C所示，摄像设备10B的平均目标PSNR被设置为50dB。如图26A所示，摄像设备10A在时间t1时开始拍摄，并且在时间t6时停止拍摄。同时，如图26B所示，摄像设备10B在时间t2时开始拍摄，并且在时间t10时停止拍摄。

在图26A中，假定在时间t1时用户A按下摄像设备10A的拍摄开始/停止按钮。摄像设备10A的图像质量确定单元20对编码单元26指定30dB的平均目标PSNR，之后拍摄开始。

同时，在图26B中，假定在时间t2时用户B按下摄像设备10B的拍摄开始/停止按钮。摄像设备10B的图像质量确定单元20对编码单元26指定50dB的平均目标PSNR，之后拍摄开始。此外，摄像设备10B的图像质量信息发送/接收单元22将表示平均目标PSNR为50dB的图像质量信息发送至在这种情况下包括摄像设备10A的同一拍摄组的摄像设备。

摄像设备10A的图像质量信息发送/接收单元22接收由摄像设备10B发送来的图像质量信息，并将该信息供给至图像质量确定单元20(图26A中的时间t2)。然后，图像质量确定单元20使平均目标PSNR从30dB逐渐增大至50dB，从而与摄像设备10B的平均目标PSNR一致。假定在图26A的时间t3时，摄像设备10A的平均目标PSNR已经达到50dB。然后，摄像设备10A在预定时间段内，或者换言之、在图26A的时间t3～t4期间，维持50dB的平均目标PSNR。在时间t3～t4的时间段期间，摄像设备10A按50dB的平均目标PSNR正在拍摄，因而由摄像设备10A和10B拍摄到的视频的图像质量相同。

在维持平均目标PSNR的时间段(图26A中的时间t3～t4的时间段)结束之后，摄像设备10A的图像质量确定单元20使平均目标PSNR逐渐返回至原始的平均目标PSNR。在图26A所示的例子中，在时间t5时，平均目标PSNR返回至原始的30dB的平均目标PSNR。时间t2～t3以及t4～t5的时间段是用于减轻由于平均目标PSNR的变化所引起的图像质量的变化的明显性的缓和时间段。

在图26A中，假定在时间t6时用户按下摄像设备10A的拍摄开始/停止按钮，由此停止拍摄。响应于此，摄像设备10A的图像质量信息发送/接收单元22将表示所设置的平均目标PSNR(30dB)的图像质量信息发送至在这种情况下包括摄像设备10B的同一拍摄组的摄像设备。在图26B中的时间t6时，摄像设备10B的图像质量信息发送/接收单元22接收来自摄像设备10A的图像质量信息，并将该信息供给至图像质量确定单元20。然后，摄像设备10B的图像质量确定单元20使平均目标PSNR从50dB逐渐减小至30dB，从而与摄像设备10A的图像质量一致。假定在图26B中的时间t7时，摄像设备10B中的平均目标PSNR已经达到30dB。之后，摄像设备10B在预定时间段内，或者换言之、在图26B的时间t7～t8期间，维持30dB的平均目标PSNR。在时间t7～t8的时间段期间，摄像设备10B按30dB的平均目标PSNR正在拍摄，因而由摄像设备10A和10B拍摄到的视频的图像质量相同。

在维持平均目标PSNR的时间段(图26B中的时间t7～t8的时间段)结束之后，摄像设备10B的图像质量确定单元20使平均目标PSNR逐渐返回至原始的平均目标PSNR。在图26B所示的例子中，在时间t9时平均目标PSNR返回至原始的50dB的平均目标PSNR。按与时间t2～t3以及t4～t5的时间段相同的方式，时间t6～t7以及t8～t9的时间段可以被称为用于减轻由于平均目标PSNR的变化所引起的图像质量的变化的明显性的缓和时间段。

如至此为止所述的，在本实施例中，当拍摄组内的其它摄像设备开始/停止拍摄(或者开始/停止记录)时，设置使平均目标PSNR维持为与其它摄像设备的平均目标PSNR相同的平均目标PSNR的时间段、以及该时间段前后的缓和时间段。

图26C示出对图26A和26B所示的所拍摄场景进行的剪切编辑的第一示例。水平轴表示时间，而垂直轴表示平均目标PSNR。在图26C所示的例子中，已经将由摄像设备10A在图26A中的时间t1～t3期间拍摄到的场景和由摄像设备10B在图26B中的时间t3～t10期间拍摄到的场景拼接到一起。在时间t3时出现的、由摄像设备10A拍摄到的场景和由摄像设备10B拍摄到的场景之间的转变处，摄像设备10A和10B中的图像质量相同。因此，在时间t3附近，图像质量的差异小。

图26D示出对图26A和26B所示的所拍摄场景进行的剪切编辑的第二示例。水平轴表示时间，而垂直轴表示平均目标PSNR。在图26D所示的例子中，已经将由摄像设备10A在图26A中的时间t1～t6期间拍摄到的场景和由摄像设备10B在图26B中的时间t7～t10期间拍摄到的场景拼接到一起。在位于由摄像设备10A拍摄到的场景的末尾(时间t6)和由摄像设备10B拍摄到的场景的开头(时间t7)之间的转变、或时间t6和t7处，作为前面所述的图像质量均衡操作的结果，图像质量相同。因此，在转变处，图像质量的差异小。

这样，采用两个编码比特流的图像质量相同的时间t3～t4的时间段或时间t7～t8的时间段作为剪切编辑用的转变，这使编辑后的编码比特流中该转变处的图像质量的差异减小。这使得可以减轻重放期间观看者方的不自然感。

图27是示出根据本实施例的图像质量均衡操作的流程图。在图27中，与图20(第二实施例)中的步骤相同的步骤的附图标记相同，并且将省略对这些步骤的说明。然而，注意，在步骤S2中设置的图像质量设置包括平均目标PSNR。

在步骤S5中开始拍摄之后，在步骤S16中，图像质量确定单元20判断图像质量设置中的平均目标PSNR是否已被设置为均衡。模式已被设置为均衡的情况(步骤S16中为“是”)等同于预设模式，因而属于拍摄组的摄像设备中的图像质量设置相同。因此，在这种情况下，处理进入步骤S19，在步骤S19中，如前面所述，摄像设备10中的各单元按根据设定的平均目标PSNR所设置的平均目标PSNR开始记录视频。

另一方面，图像质量设置中的平均目标PSNR未被设置为均衡的情况(步骤S16中为“否”)表示已经选择动态设置模式。在这种情况下，在步骤S17中，图像质量确定单元20判断属于拍摄组的其它摄像设备是否开始或停止拍摄。在判断为属于拍摄组的其它摄像设备开始或停止拍摄的情况下(步骤S17中为“是”)，在步骤S18中，如前面所述，图像质量确定单元20使编码单元26的平均目标PSNR与其它摄像设备的平均目标PSNR一致。当然，在维持平均目标PSNR的时间段前后设置缓和时间段。然后，在步骤S19中，摄像设备10的各单元按在步骤S18中设置的平均目标PSNR开始记录视频。注意，如果属于拍摄组的其它摄像设备既未开始拍摄也未停止拍摄(步骤S17中为“否”)，则消除缓和时间段，并且摄像设备10的各单元按在步骤S2中设置的平均目标PSNR开始记录视频(步骤S19)。

然后，在步骤S20中，图像质量确定单元20判断拍摄是否已经结束。如果判断为拍摄尚未结束(步骤S20中为“否”)，则处理返回至步骤S16，并且重复前述的步骤S16～S19的处理。然而，如果在步骤S20中判断为拍摄已经结束(步骤S20中为“是”)，则处理结束。

根据本实施例，可以在无需用户分别进行手动设置的情况下，使编码比特流的图像质量与其它运动图像编码设备的图像质量均衡。这具有在对编码比特流进行剪切编辑的情况下、减少视频中转变前后的时间段中的图像质量的差异的效果。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

本申请要求2008年2月26日提交的日本专利申请2008-044921、以及2008年6月30日提交的日本专利申请2008-169788的优先权，在此通过引用包含它们的全部内容。

Claims (21)

1.一种运动图像编码设备，包括：

编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

设置单元，用于对由所述编码单元进行的编码处理进行设置；

发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；

接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及

编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息的第二设置，控制由所述编码单元进行的编码处理。

2.根据权利要求1所述的运动图像编码设备，其特征在于，

所述编码单元能够将基准帧插入所生成的编码比特流内，所述基准帧使得能够进行随机存取；以及

所述编码控制单元根据所述第一设置和所述第二设置，使所述编码单元生成所述基准帧。

3.根据权利要求2所述的运动图像编码设备，其特征在于，

由所述接收单元接收到的设置信息是表示所述外部运动图像编码设备已经设置了所述基准帧的信息。

4.根据权利要求2所述的运动图像编码设备，其特征在于，

所述设置单元包括判断单元，所述判断单元用于基于由所述接收单元接收到的设置信息和所述摄像单元的控制信息，判断是否设置所述基准帧。

5.根据权利要求2所述的运动图像编码设备，其特征在于，

所述设置单元包括判断单元，所述判断单元用于基于所述摄像单元的控制信息和由所述摄像单元输出的运动图像数据至少之一，判断是否设置所述基准帧；以及

在所述判断单元判断为设置所述基准帧的情况下，所述设置单元指示所述编码控制单元设置所述基准帧，并且将所述基准帧的设置信息经由所述发送单元发送至所述外部运动图像编码设备。

6.根据权利要求2所述的运动图像编码设备，其特征在于，

在检测到拍摄开始、拍摄停止、记录开始、记录停止、场景变化和拍摄条件变化至少之一的情况下，所述设置单元将所述基准帧的设置信息经由所述发送单元发送至所述外部运动图像编码设备。

7.根据权利要求1所述的运动图像编码设备，其特征在于，

所述编码控制单元根据所述第一设置和所述第二设置，控制由所述编码单元生成的编码比特流的图像质量。

8.根据权利要求7所述的运动图像编码设备，其特征在于，

由所述接收单元接收到的设置信息是表示由所述外部运动图像编码设备生成的编码比特流的图像质量的信息。

9.根据权利要求7所述的运动图像编码设备，其特征在于，

由所述接收单元接收到的设置信息是所述外部运动图像编码设备的编码比特率的设置信息。

10.根据权利要求9所述的运动图像编码设备，其特征在于，

所述编码控制单元控制所述编码比特流的目标比特率，以与在由所述接收单元接收到的设置信息中表示的编码比特率一致。

11.根据权利要求7所述的运动图像编码设备，其特征在于，

由所述接收单元接收到的设置信息是所述外部运动图像编码设备的针对S/N比的设置信息。

12.根据权利要求11所述的运动图像编码设备，其特征在于，

所述编码控制单元控制所述编码比特流的目标S/N比值，以与在由所述接收单元接收到的设置信息中表示的S/N比值一致。

13.根据权利要求7所述的运动图像编码设备，其特征在于，

在检测到拍摄开始、拍摄停止、记录开始和记录停止至少之一的情况下，所述设置单元将用于设置所述编码比特流的图像质量的信息经由所述发送单元发送至所述外部运动图像编码设备。

14.一种运动图像编码设备，包括：

编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及

编码控制单元，用于进行控制，以使得基于由所述发送/接收单元发送/接收到的编码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在由所述编码单元生成的编码比特流中设置基准帧。

15.一种运动图像编码设备，包括：

编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及

编码控制单元，用于基于由所述发送/接收单元发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中设置的图像质量来调整由所述编码单元生成的编码比特流的图像质量。

16.一种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下步骤：

编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

设置步骤，用于对在所述编码步骤中进行的编码处理进行设置；

发送步骤，用于将在所述设置步骤中创建的设置信息发送至外部运动图像编码设备；

接收步骤，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及

编码控制步骤，用于根据在所述设置步骤中进行的第一设置和基于在所述接收步骤中接收到的设置信息的第二设置，控制在所述编码步骤中进行的编码处理。

17.一种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下步骤：

编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

发送/接收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及

编码控制步骤，用于进行控制，以使得基于在所述发送/接收步骤中发送/接收到的编码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在所述编码步骤中生成的编码比特流中设置基准帧。

18.一种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下步骤：

编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

发送/接收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及

编码控制步骤，用于基于在所述发送/接收步骤中发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中设置的图像质量来调整在所述编码步骤中生成的编码比特流的图像质量。

19.一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作：

编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

设置单元，用于对由所述编码单元进行的编码处理进行设置；

发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；

接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及

编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息的第二设置，控制由所述编码单元进行的编码处理。

20.一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作：

编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及

编码控制单元，用于进行控制，以使得基于由所述发送/接收单元发送/接收到的编码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在由所述编码单元生成的编码比特流中设置基准帧。

21.一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作：

编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；

发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备属于同一组；以及

编码控制单元，用于基于由所述发送/接收单元发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中设置的图像质量来调整由所述编码单元生成的编码比特流的图像质量。

Images