CN102316322A

CN102316322A - 图像处理设备和处理图像和视频的方法

Info

Publication number: CN102316322A
Application number: CN2011101775085A
Authority: CN
Inventors: 染谷清登
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-06-29
Filing date: 2011-06-22
Publication date: 2012-01-11
Also published as: JP2012015603A; US20110317758A1

Abstract

一种图像处理设备，包括：编码部分，对包括来自多个视点的图像的图像数据编码；代码量计算部分，确定由编码部分编码的图像数据的视点和画面类型，并利用关于每个视点和每个画面类型的过去代码量的信息，计算平均代码量；和平均速率计算部分，利用代码量计算部分对于每个视点和每个画面类型计算的平均代码量，计算平均比特率。

Description

图像处理设备和处理图像和视频的方法

技术领域

本发明涉及图像处理设备，和处理图像和视频的方法。

背景技术

近年来，对在广播电台等的信息分发，和在普通家庭的信息接收来说，遵守压缩方法(例如，MPEG运动图像专家组))的图像处理设备都日益普及。在压缩方法中，图像信息是作为数字数据处理的，利用图像信息特有的冗余性，用诸如离散余弦变换之类的正交变换和运动补偿压缩数字数据，以便高效地传送和保存图像信息。

此外近年来，正在定义一种称为AVC(高级视频编码)(MPEG4part10，ISO/IEC 14496-10|ITU-T(国际电信联盟-电信标准化部门)H.264)的标准(下面称为AVC/H.264)。在ITU-T和ISO/IEC之间，形成了称为JVT(联合视频组)的组织，以致视频编码被共同标准化，该组织正在提出这种规范。注意与诸如MPEG2和MPEG4之类的现有编码方法相比，H.264需要更大的编码和解码计算量，但实现更高的编码效率。

与现有的视频编码方法，比如MPEG2和MPEG4相比，AVC/H.264实现比现有技术高2倍以上的压缩效率(编码效率)，但解码处理的数量也同样显著增加。另外，解码处理的数量还随着基于图像质量的提高的图像数据量的增大而增大。然而，例如，存在由解码处理引起的延迟的容许范围较小，并且要求解码处理快速而稳定的情况，就像在解码顺序传送的编码数据的比特流的场合以及在读取和解码记录在记录介质上的编码数据以再现图像的场合一样。

关于视频编码的公开包括例如未经审查的日本专利申请公报No.2005-151344。未经审查的日本专利申请公报No.2005-151344公开了一种在编码一般的二维(2D)视频时，当对于每个场景稳定每个画面中的量化值的时候，控制代码的数量，以便跟从平均比率的技术。按照未经审查的日本专利申请公报No.2005-151344公开的技术，当编码二维视频时，能够获得高质量的编码图像。

另一方面，显示向用户提供具有深度和距离感觉的立体视觉的立体(3D)内容的家用电视机已开始真正上市。随着这种趋势，制作大量3D内容的需求一直在增长。存在各种3D视频方法。这些方法中的一种方法是顺序帧方法。在顺序帧方法中，高速地交替显示右眼图像和左眼图像。通过利用快门式眼镜，向用户提供所述两个图像，这种方法使用户能够获得立体视觉。

发明内容

对每种画面类型(例如，I-画面，P-画面和B-画面)来说，代码的数量大不相同，从而通常对每种画面类型进行代码量控制。在未经审查的日本专利申请公报No.2005-151344中，测量每种画面类型的代码量，计算每种画面类型的平均代码量，并且在对于每个场景稳定量化值的时候，控制代码量。

但是，在顺序帧方法中，如果相同画面类型的画面属于从不同视点拍摄的视频，那么这些画面有时会具有大不相同的代码量。从而，如果用现有技术的代码量控制，比如在未经审查的日本专利申请公报No.2005-151344中说明的技术，对顺序帧方法的视频图像编码，那么平均代码量是根据画面类型相同、但是代码量大不相同的画面计算的。从而，存在平均代码量急剧变化，控制发生振荡的问题。

因此，鉴于上述问题做出了本发明。理想的是在对顺序帧方法的视频图像编码时，合适地计算代码量，以便提供一种能够抑制平均代码量的急剧变化和控制的振荡，从而能够实现稳定的代码量控制的新的改进的图像处理设备，和处理图像和视频的方法。

按照本发明的一个实施例，提供一种图像处理设备，包括：编码部分，对包括来自多个视点的图像的图像数据编码；代码量计算部分，确定由编码部分编码的图像数据的视点和画面类型，并利用关于每个视点和每个画面类型的过去代码量的信息，计算平均代码量；和平均速率计算部分，利用代码量计算部分对于每个视点和每个画面类型计算的平均代码量，计算平均比特率。

上述图像处理设备还包括加权因子计算部分，加权因子计算部分利用待编码的图像数据，对于每个视点和每种画面类型，计算将用于在代码量计算部分中计算每个视点和每种画面类型的平均代码量的加权因子。

加权因子计算部分可根据待编码的图像数据是否是包括来自多个视点的图像数据的区段的数据，改变加权因子。

加权因子计算部分可检测待编码的图像数据的场景，并按照运动大小，改变加权因子。

上述图像处理设备还可包括量化值计算部分，所述量化值计算部分利用平均比特率，计算在编码部分中用于编码的量化值，所述平均比特率是由平均速率计算部分利用对于每个视点和每种画面类型计算的平均代码量计算的。

图像数据可包括顺序帧图像数据。

图像处理设备还包括量化电路，所述量化电路被配置成利用所述量化值计算部分计算的量化值，进行量化处理。

另外，按照本发明的另一个实施例，提供一种处理图像的方法，所述方法包括：对交替记录在多帧中的包括来自多个视点的图像的图像数据编码；确定由编码步骤编码的图像数据的视点和画面类型，并利用关于每个视点和每个画面类型的过去代码量的信息，计算平均代码量；和利用通过对每个视点和每个画面类型计算平均代码量而得到的计算出的平均代码量，来计算平均比特率。

如上所述，按照本发明，在编码顺序帧方法的视频图像的时候，能够适当地计算代码量，以便提供一种能够抑制平均代码量的急剧变化和控制的振荡，从而能够实现稳定的代码量控制的新的改进的图像处理设备，和处理图像和视频的方法。

附图说明

图1是按照本发明的一个实施例的图像处理系统的整体结构的说明图；

图2是图解说明按照本发明的一个实施例的编码设备的结构的说明图；

图3是图解说明包括在按照本发明的一个实施例的编码设备中的Q-计算电路的结构的说明图；

图4是图解说明按照本发明的一个实施例的编码设备的操作的流程图；

图5是图解说明其中按时序排列每个画面的代码量的变化的例子的说明图；

图6是图解说明用现有技术的方法，计算代码的平均数量的情况的说明图；

图7是图解说明通过应用按照本实施例的编码处理，计算代码的平均数量的情况的说明图；

图8是图解说明包括在按照本发明的一个实施例的编码设备中的Q-计算电路的结构的变形的说明图；

图9是图解说明按照本发明的一个实施例的编码设备的硬件结构的例子的说明图。

具体实施方式

下面参考附图，详细说明本发明的优选实施例。在这点上，在说明书和附图中，功能结构基本相同的组件被赋予相同的附图标记，而省略了重复的说明。

在这方面，将按照下述顺序进行说明。

1.本发明的实施例

1.1图像处理系统的整体结构

1.2编码设备的结构

1.3Q-计算电路的结构

1.4编码设备的操作

1.5Q计算电路的变形

1.6硬件结构的示例

2.总结

1.本发明的实施例

1.1图像处理系统的整体结构

首先，说明按照本发明的一个实施例的图像处理系统的整体结构。图1是图解说明按照本发明的一个实施例的图像处理系统的整体结构的说明图。下面，将利用图1，说明按照本发明的一个实施例的图像处理系统1的整体结构。

如图1中所示，图像处理系统1包括编码设备2和解码设备3。编码设备2产生用诸如离散余弦变换，Karhunen-Loeve变换之类的正交变换和运动补偿进行压缩的编码数据ED(比特流)，随后调制编码数据ED，并通过传输介质，比如卫星广播电波，有线电视网络，电话线路网络，蜂窝通信网络等，传送所述数据。另外，在图像处理系统1中，除了具有对包括来自多个视点的图像的图像数据进行编码的编码部分2之外，还至少具有要在下文中说明的代码量计算部分和平均速率计算部分103，其中所述代码量计算部分是确定由编码部分2编码的图像数据的视点和画面类型，并利用关于每个视点和每个画面类型的过去代码量的信息来计算平均代码量的平均代码量计算部分(101a，101b，101c，102a，102b，102c)，并且所述平均速率计算部分103利用所述代码量计算部分对于每个视点和每个画面类型计算的平均代码量，来计算平均比特率。

解码设备3解调例如，从编码设备2接收的编码数据ED，随后把数据保存到缓冲器CPB中，并把从缓冲器CPB读取的编码数据ED提供给解码部分4。解码部分4产生并使用利用编码时的正交变换的逆变换和运动补偿所解码的图像数据。

这里，由于把一个画面从缓冲器CPB提供给解码部分4而导致保存在缓冲器CPB中的数据量减少的减少数据量取决于该画面的数据量，即，该画面的量化参数。

如后所述，编码设备2确定上面说明的量化器比例因子，以防止解码设备3的缓冲器CPB的上溢和下溢。

在这方面，传输介质可以是记录介质，比如光盘，磁盘，半导体存储器等。

图像处理系统1的特征在于编码设备2中的计算量化器比例因子的方法。

上面，利用图1说明了按照本发明的一个实施例的图像处理系统1的整体结构。下面，将说明按照本发明的一个实施例的编码设备2的结构。

1.2编码设备的结构

图2是图解说明按照本发明的一个实施例的编码设备2的结构的说明图。下面，利用图2说明按照本发明的一个实施例的编码设备2的结构。

如图2中所示，按照本发明的一个实施例的编码设备2包括A/D转换电路22，图像重排电路23，计算电路24，正交变换电路25，量化电路26，无损编码电路27，缓冲器28，逆量化电路29，逆正交变换电路30，帧存储器31，运动预测补偿电路32，图像检测电路33，Q-计算电路34和去块效应滤波器37。

A/D转换电路22把输入编码设备2的包括模拟亮度信号Y、色差信号Pb和Pr的图像信号转换成数字图像信号。A/D转换电路22把通过转换获得的数字图像信号输出给图像重排电路23。

图像重排电路23按照将要依照包括画面类型I、P和B的GOP(画面组)结构来进行编码的顺序，重排从A/D转换电路22输入的数字图像信号中的帧图像信号。图像重排电路23把重排的图像数据S23输出给计算电路24，运动预测补偿电路32和图像检测电路33。

如果图像数据S23经过帧间编码，那么计算电路24产生指示从图像重排电路23输出的图像数据S23和从运动预测补偿电路32输出的预测图像数据S32a之间的差异的图像数据S24，并把图像数据S24输出给正交变换电路25。另外，如果图像数据S23经过帧内编码，那么计算电路24把图像数据S23作为图像数据S24输出给正交变换电路25。

正交变换电路25对从计算电路24供给的图像数据S24进行正交变换，比如离散余弦变换，Karhunen-Loeve变换等等，从而产生图像数据(例如，DCT系数信号)S25。正交变换电路25把产生的图像数据输出给量化电路26。

量化电路26利用从后面说明的Q-计算电路34输入的量化器比例因子，对每个宏块MB量化图像数据S25，从而产生图像数据S26。量化电路26把产生的图像数据S26输出给无损编码电路27和逆量化电路29。

无损编码电路27对通过由量化电路26量化而产生的图像数据S26，进行变长编码或算术编码，从而产生编码数据ED。无损编码电路27把产生的编码数据ED保存在缓冲器28中。

此时，无损编码电路27对从后面说明的运动预测补偿电路32供给的运动向量MV或其差分编码，并把数据保存在编码数据ED的标题数据中。

缓冲器28临时保存由无损编码电路27产生的编码数据ED。保存在缓冲器28中的编码数据ED被输出给Q-计算电路34，随后被例如进行调制等，并被传给图1中所示的解码设备3。

逆量化电路29用量化电路26量化的图像数据S26，产生逆量化数据。逆量化电路29把从图像数据S26逆量化的数据输出给后面说明的去块效应滤波器37。在这方面，逆量化电路29根据例如JVT标准，进行逆量化处理。

逆正交变换电路30对已经过逆量化电路29逆量化，并且去块效应滤波器37已从中消除了块失真的图像数据，进行上述正交变换电路25中的正交变换的逆变换，从而产生图像数据。逆正交变换电路30把产生的图像数据保存在帧存储器31中。

帧存储器31保存通过进行正交变换电路25中的正交变换的逆变换，而在逆正交变换电路30中产生的图像数据。在预定定时，保存在帧存储器31中的图像数据作为图像数据S31，被顺序提供给运动预测补偿电路32。

运动预测补偿电路32根据来自帧存储器31的图像数据S31，和来自图像重排电路23的图像数据S23，进行运动预测补偿处理，并计算运动向量MV和预测图像数据S32a。在这方面，运动预测补偿电路32根据来自Q-计算电路34的宏块MB的量化器比例因子MBQ，确定宏块类型，并对由确定的宏块类型限定的每个块，进行运动预测补偿处理。

运动预测补偿电路32把计算的运动向量MW输出给无损编码电路27，并把预测图像数据S32a输出给计算电路24。

图像检测电路33根据图像数据S23(原始图像的一个画面)，检测它是什么类型的图像。例如，图像检测电路33利用亮度信号像素值，对于每个宏块MB，计算指示宏块MB的图像的复杂度的活性(activity)。

具体地说，对于每个宏块MB，或者在该宏块MB中定义的每个预定块，图像检测电路33计算用作单位块的块中的像素数据的平均值。并且图像检测电路33根据用作所述单位块的块中的每个像素数据与计算的平均值之间的差分的平方和，计算宏块MB的活性值ACT，并把宏块MB的活性值ACT输出给Q-计算电路34。活性值ACT随着宏块MB的图像的复杂度的增大而增大。

另外，图像检测电路33检测激烈移动的场景，静止场景，淡入场景，淡出场景，还检测2D-视频区段，3D区段，并把检测结果发给Q-计算电路34。

Q-计算电路34根据来自图像检测电路33的活性值ACT，和来自缓冲器28的编码数据ED，计算每个画面的量化器比例因子PicQ。另外，Q-计算电路34根据计算的量化器比例因子PicQ，计算包括在每个画面中的每个宏块MB的量化器比例因子MBQ，并把量化器比例因子MBQ输出给量化电路26和运动预测补偿电路32。

下面，说明Q-计算电路34根据编码数据ED，计算量化器比例因子PicQ的方法。

Q-计算电路34考虑图1中所示的解码设备3的缓冲器CPB的状态，控制每个画面的量化器比例因子PicQ，即，每个画面的数据量，以使保存在缓冲器CPB的编码数据ED的数据量接近适当的值(初始值InitialCpb)。

这里，单位时间中从缓冲器CPB读出的，并被提供给解码部分4的画面的数目是由画面速率限定的常数。从而，每个画面的数据量由Q-计算电路34控制，以便能够控制保存在缓冲器CPB中的编码数据ED的数据量(缓冲器存储量)。

去块效应滤波器37对通过用逆量化电路29来逆量化图像数据S26而产生的数据，进行消除块失真的处理。去块效应滤波器37把从中消除了块失真的图像数据提供给逆正交变换电路30。

上面利用图2，说明了按照本发明的一个实施例的编码设备2。下面，说明包括在按照本发明的一个实施例的编码设备2中的Q-计算电路34的结构。

1.3Q-计算电路的结构

图3是图解说明包括在按照本发明的一个实施例的编码设备2中的Q-计算电路34的结构的说明图。下面将利用图3，说明包括在按照本发明的一个实施例的编码设备2中的Q-计算电路34的结构。

如图3中所示，Q-计算电路34包括左I画面平均代码量计算部分101a，左P画面平均代码量计算部分101b，左B画面平均代码量计算部分101c，右P′画面平均代码量计算部分102a，右P画面平均代码量计算部分102b，右B画面平均代码量计算部分102c，平均速率计算部分103，和量化值计算部分104。

左I画面平均代码量计算部分101a被供给来自缓冲器28的编码数据ED，并计算过去输入的左眼图像的I画面的平均代码量。左I画面平均代码量计算部分101a把计算的左眼图像的I画面的平均代码量输出给平均速率计算部分103。

左P画面平均代码量计算部分101b被供给来自缓冲器28的编码数据ED，并计算过去输入的左眼图像的P画面的平均代码量。按照相同的方式，左B画面平均代码量计算部分101c被供给来自缓冲器28的编码数据ED，并计算过去输入的左眼图像的B画面的平均代码量。按照相同的方式，左P画面平均代码量计算部分101b和左B画面平均代码量计算部分101c把计算的平均代码量输出给平均速率计算部分103。

当左I画面平均代码量计算部分101a等计算平均代码量时，左I画面平均代码量计算部分101a等利用关于紧接在前的几帧的编码数据ED的信息。用于计算平均代码量的帧的数目可以是任意数字。

右P′画面平均代码量计算部分102a被供给来自缓冲器28的编码数据ED，并计算过去输入的右眼图像的P′画面的平均代码量。在这方面，P′画面指示与左眼视点的I画面同时的右眼视点的P画面。右P′画面平均代码量计算部分102a把计算的右眼图像的P′画面的平均代码量输出给平均速率计算部分103。

右P画面平均代码量计算部分102b被供给来自缓冲器28的编码数据ED，并计算过去输入的右眼图像的P画面的平均代码量。按照相同的方式，右B画面平均代码量计算部分102c被供给来自缓冲器28的编码数据ED，并计算过去输入的右眼图像的B画面的平均代码量。按照相同的方式，右P画面平均代码量计算部分102b和右B画面平均代码量计算部分102c把计算的平均代码量输出给平均速率计算部分103。

当右P′画面平均代码量计算部分102a等计算平均代码量时，右P′画面平均代码量计算部分102a等利用关于紧接在前的几帧的编码数据ED的信息。用于计算平均代码量的帧的数目可以是任意数字。

平均速率计算部分103从左I画面平均代码量计算部分101a，左P画面平均代码量计算部分101b，左B画面平均代码量计算部分101c，右P′画面平均代码量计算部分102a，右P画面平均代码量计算部分102b和右B画面平均代码量计算部分102c获得关于每个视点和每个画面的平均代码量的信息，以计算平均比特率。

当平均速率计算部分103通过获得关于每个画面的平均代码量的信息，计算平均比特率时，平均速率计算部分103把关于计算的平均比特率的信息发给量化值计算部分104。

量化值计算部分104利用平均速率计算部分103计算的平均比特率，和从量化值计算部分104的外部发来的关于目标比特率的信息，计算量化值。具体地说，量化值计算部分104计算量化值，以致平均速率计算部分103计算的平均比特率接近目标比特率。

量化值计算部分104中的量化值的计算可以利用例如在未经审查的日本专利申请公报No.2005-151344中说明的方法。另外，对于要被提供给量化值计算部分104的目标比特率的信息，例如，可以使用在未经审查的日本专利申请公报No.2005-151344中说明的方法。

量化值计算部分104计算的量化值被发给图2中的量化电路26。量化电路26利用由量化值计算部分104计算的量化值，进行量化。通过这样构成Q-计算电路34，能够分别测量每种画面类型和每个视点的顺序帧视频的代码量。对每种画面类型和每个视点测量顺序帧视频，以致能够抑制每种画面类型和每个视点的代码量的急剧波动，从而稳定代码量控制。

上面利用图3，说明了包括在按照本发明的一个实施例的编码设备2中的Q-计算电路34的结构。下面，说明按照本发明的一个实施例的编码设备2的操作。

1.4编码设备的操作

图4是图解说明按照本发明的一个实施例的编码设备2的操作的流程图。图4主要图解说明Q-计算电路34的操作。下面利用图4，说明按照本发明的一个实施例的编码设备2的操作。

当缓冲器28把编码数据ED提供给Q-计算电路34时，Q-计算电路34首先确定从缓冲器28供给的编码数据ED是否是通过编码左眼图像而产生的数据(步骤S101)。例如，可根据画面被布置在距离基准I画面多少个间隔之处，进行数据是否编码自左眼图像的确定。如果基准I画面是左眼图像，那么能够确定布置在距离I画面偶数间隔之处的画面是左眼图像，布置在距离I画面奇数间隔之处的画面是右眼图像。

作为步骤S101中的确定的结果，如果从缓冲器28发送的编码数据ED是左眼图像的编码数据，那么接下来确定该编码数据ED是哪种画面类型(步骤S102)。

作为步骤S102中的确定的结果，如果画面类型是I画面，那么左I画面平均代码量计算部分101a计算左眼图像的I画面的平均代码量(步骤S103)。另外，作为步骤S102中的确定的结果，如果画面类型是P画面，那么左P画面平均代码量计算部分101b计算左眼图像的P画面的平均代码量(步骤S104)。作为步骤S102中的确定的结果，如果画面类型是B画面，那么左B画面平均代码量计算部分101c计算左眼图像的B画面的平均代码量(步骤S105)。

另一方面，作为步骤S101中的确定的结果，如果从缓冲器28发送的编码数据ED是右眼图像的编码数据，那么接下来确定编码数据ED是哪种画面类型(步骤S106)。

作为步骤S106中的确定的结果，如果画面类型是P′画面，那么右P′画面平均代码量计算部分102a计算右眼图像的P′画面的平均代码量(步骤S107)。另外，作为步骤S106中的确定的结果，如果画面类型是P画面，那么右P画面平均代码量计算部分102b计算右眼图像的P画面的平均代码量(步骤S108)。作为步骤S106中的确定的结果，如果画面类型是B画面，那么右B画面平均代码量计算部分102c计算右眼图像的B画面的平均代码量(步骤S109)。

当计算了每个视点和每个画面的平均代码量时，随后，平均速率计算部分103利用计算的平均代码量，计算平均比特率(步骤S110)。通过计算每个视点和每个画面的平均代码量，随后利用这些平均代码量，计算平均比特率，能够稳定平均速率计算部分103的输出。

在步骤S110，当平均速率计算部分103利用每个视点和每个画面的平均代码量，计算平均比特率时，量化值计算部分104随后利用在步骤S110中计算的平均比特率和从量化值计算部分104外部发来的目标比特率，计算量化值(步骤S111)。

在步骤S111，当量化值计算部分104计算量化值时，编码设备2利用量化值进行编码处理(步骤S112)。具体地说，量化电路26利用量化值计算部分104计算的量化值，进行量化处理。

这里，将举例说明在无变化地应用现有技术的情况下，和在应用按照本实施例的编码处理的情况下的平均代码量的差异。

图5是图解说明其中按时序排列每个画面的代码量的变化的例子的说明图。附图标记I₁₀和I₁₁₀表示左眼图像的I画面的代码量，附图标记P_r1和P_r11表示右眼图像的P′画面的代码量。按照相同的方式，附图标记P₁₂和P₁₆表示左眼图像的P画面的代码量，附图标记P_r3和P_r7表示右眼图像的P画面的代码量。附图标记B₁₄和B₁₈表示左眼图像的B画面的代码量，附图标记B_r5和B_r9表示右眼图像的B画面的代码量。

按照这种方式，在3D视频中，具有不同视点的图像被交替编码，从而即使各帧具有相同的画面类型，对每一帧来说，代码量有时也大不相同。

图6是图解说明用现有技术的方法，计算平均代码量的情况的说明图。到目前为止，仅仅对于每种画面类型，计算平均代码量。因此，如果仅仅对于每种画面类型，如图6中所示的P画面和B画面，计算平均代码量，那么当代码量急剧变动时，平均代码量也大幅变动，从而一直存在控制发散的问题。

图7是图解说明通过应用按照本实施例的编码处理，计算平均代码量的情况的说明图。按照这种方式，如果对于每个视点和每种画面类型，计算平均代码量，那么代码量的变动受到限制，平均代码量不会大幅变动。因此，利用按照本实施例的编码处理，能够抑制代码量控制的发散。

上面，利用图4说明了按照本发明的一个实施例的编码设备2的操作。下面将举例说明包括在按照本发明的一个实施例的编码设备2中的Q-计算电路34的结构的一个变形例。

1.5Q-计算电路的变形

图8是图解说明包括在按照本发明的一个实施例的编码设备2中的Q-计算电路34的结构的变形的说明图。下面，将利用图8，说明包括在按照本发明的一个实施例的编码设备2中的Q-计算电路34的结构的一个变形例。

图8中所示的Q-计算电路34是其中在图3中所示的Q-计算电路34中增加加权因子计算部分105的结构。加权因子计算部分105从图像检测电路33获得关于待编码图像的信息，并计算将用于平均代码量的计算的加权因子。加权因子计算部分105计算的加权因子是用于按照下述表达式，计算平均代码量的加权因子w。

average_bit(n)＝w＊average_bit(n-1)+(1-w)＊current_bit

其中average_bit(n)表示第n帧的平均代码量。current_bit代表当前帧的代码量。

在这方面，加权因子计算部分105可对于每个视点和每种画面类型，计算相同的加权因子。另一方面，加权因子计算部分105可对于每个视点，计算不同的加权因子。另外，加权因子计算部分105可对于每个视点和每种画面类型，计算不同的加权因子。例如，图8表示其中加权因子计算部分105对于每个视点和每种画面类型，计算不同的加权因子的状态。

即，加权因子计算部分105可对左I画面平均代码量计算部分101a，计算加权因子w_left_I，对左P画面平均代码量计算部分101b，计算加权因子w_left_P，对左B画面平均代码量计算部分101c，计算加权因子w_left_B，并把计算的加权因子发给每个部分。按照相同的方式，加权因子计算部分105对右P′画面平均代码量计算部分102a，计算加权因子w_right_P′，对右P画面平均代码量计算部分102b，计算加权因子w_right_P，对右B画面平均代码量计算部分102c，计算加权因子w_right_B，并把计算的加权因子发给每个部分。

这样，加权因子计算部分105对于每个视点和每种画面类型，单独计算不同的加权因子，以致能够按照待编码三维视频的内容，利用对于每个视点和每种画面类型的适当加权，来计算平均代码量。

图像检测电路33把指示视频的哪种场景将被编码的场景信息发给加权因子计算部分105。对于场景的例子，包括激烈移动的场景，静止场景，淡入场景，淡出场景等。另外，图像检测电路33检测关于待编码视频是2D视频区段的视频，还是3D视频区段的视频的信息，并把该信息发给加权因子计算部分105。

对于例如，激烈移动的场景，淡入场景和淡出场景，加权因子计算部分105降低加权因子w，以便提高速率的跟从能力。另一方面，对于几乎无运动的场景，加权因子计算部分105增大加权因子，以便稳定量化值。另外，就其中混合2D视频区段和3D视频区段的视频来说，加权因子计算部分105可根据是2D视频区段还是3D视频区段，改变对于左眼图像和右眼图像的加权因子。

这样，从图像检测电路33获得关于待编码图像的信息，加权因子计算部分105计算要在计算平均代码量时使用的加权因子，以便能够产生适合于视频的内容的平均代码量。

1.6硬件结构的例子

下面，说明上面说明的按照本发明的一个实施例的编码设备2的硬件结构的例子。图9是图解说明按照本发明的一个实施例的编码设备2的硬件结构的例子的说明图。

如图9中所示，按照本发明的一个实施例的编码设备2主要包括CPU901，ROM 903，RAM 905，主总线907，桥接器909，外部总线911，接口913，输入装置915，输出装置917，存储装置919，驱动器921，连接端口923和通信装置925。

CPU 901起操作处理单元和控制单元的作用，并按照记录在ROM903，RAM 905，存储装置919或可拆卸记录介质927中的各种程序，控制图像处理设备100的所有或部分操作。ROM 903保存CPU 901使用的程序，操作参数等。RAM 905临时保存在CPU 901的运行期间要使用的程序，和将在所述运行期间被改变的参数等。这些组件由包括内部总线，比如CPU总线等的主总线907相互连接。

主总线907通过桥接器909，连接到诸如PCI(外部组件互连/接口)总线之类的外部总线911。

输入装置915是用户操作的操作装置，例如鼠标，键盘，触摸面板，按钮，开关和控制杆等。另外，输入装置915可以是例如利用红外线和其它无线电波的遥控装置(所谓的遥控器)，或者可以是外部连接装置929，比如支持图像处理设备100的操作的蜂窝电话机，PDA等。此外，输入装置915包括例如输入控制电路等，输入控制电路根据用户利用上述操作装置输入的信息，产生输入信号，并把该信号输出给CPU 901等。通过操作输入装置915，图像处理设备100的用户能够把各种数据输入图像处理设备100中，并指令处理操作。

输出装置917包括诸如CRT显示装置，液晶显示装置，等离子体显示装置，EL显示装置和灯之类的显示装置，诸如扬声器，头戴式耳机之类的音频输出装置，和能够在视觉上或者听觉上把获得的信息告知用户的装置，比如打印机，蜂窝电话机，传真机等。例如，输出装置917输出由图像处理设备100执行的各种处理而获得的结果。具体地说，显示装置用文本或图像，显示由图像处理设备100执行的各种处理获得的结果。另一方面，音频输出装置把包括再现话音数据，音频数据等的音频信号转换成模拟信号，并输出该模拟信号。

存储装置919包括诸如HDD(硬盘驱动器)之类的磁存储装置，半导体存储装置，光学存储装置，或者磁光存储装置，等等。存储装置919保存由CPU 901执行的程序，各种数据，和从外部获得的音频信号数据和图像信号数据等。

驱动器921是记录介质的读/写器，内置在图像处理设备100中，或者与图像处理设备100外接。驱动器921读出记录在可拆卸记录介质927，比如装入的磁盘，光盘，磁光盘，或者半导体存储器等中的信息，并把该信息输出给RAM 905。另外，驱动器921能够把记录写入可拆卸记录介质927，比如装入的磁盘，光盘，磁光盘，或者半导体存储器等中。例如，可拆卸记录介质927是DVD介质，蓝光介质，紧凑式闪存(CF)(注册商标)，记忆棒，或者SD存储卡(安全数字存储卡)等等。另外，例如，可拆卸记录介质927可以是上面安装非接触式IC芯片的IC卡(集成电路卡)，或者电子装置等

连接端口923是直接连接装置和图像处理设备100的端口，比如USB(通用串行总线)端口，诸如i.Link之类的IEEE1394端口，SCSI(小型计算机系统接口)端口，RS-232C端口，音频光端机，HDMI(高清晰度多媒体接口)端口等。通过把外部连接装置929连接到连接端口923，图像处理设备100能够直接从外部连接装置929获得音频信号数据和图像信号数据，并向外部连接装置929提供音频信号数据和图像信号数据。

通信装置925是包括用于连接到例如，通信网络931的通信装置等的通信接口。例如，通信装置925是有线或无线LAN(局域网)，蓝牙或WUSB(无线USB)用通信卡，光通信路由器，ADSL(非对称数据用户线)路由器，或者各种通信调制解调器等。通信装置925能够按照预定协议，例如TCP/IP等，在因特网和其它通信装置之间传送/接收信号。另外，与通信装置925连接的通信网络931可包括用有线或无线通信等连接的网络，例如可以是因特网，家用LAN，红外数据通信，无线电波通信或者卫星通信等等。

2.总结

如上所述，按照本发明的一个实施例，在计算用于对视频数据编码的量化值的时候，编码设备2对于每个视点和每种画面类型，计算平均代码量，随后利用对于每个视点和每种画面类型计算的平均代码量的信息，计算平均比特率。编码设备2利用按照这种方式计算的平均比特率，计算量化值。

通过按照这种方式，对于每个视点和每种画面类型计算平均代码量，能够抑制每种画面类型和每个视点的平均代码量的急剧变动。因此，在对图像数据进行编码处理时，按照本发明的一个实施例的编码设备2能够稳定代码量控制。

另外，可按照待编码图像数据的内容，计算用于计算平均代码量的加权因子。这样，通过按照待编码图像数据的内容，计算用于计算平均代码量的加权因子，能够准确地计算每个视点和每种图像类型的平均代码量。

在本说明书中，记录在记录介质中的编程步骤当然包括按照说明的顺序，时序地执行的处理，不过还包括不一定按时序执行的处理，即，并行地或者单独地执行的处理。

尽管参考附图，详细说明了本发明的优选实施例，但本发明并不局限于这些实施例。对本领域的技术人员来说，显然在随附权利要求书的范围内，各种变化或修改都是可能的。应当理解所述各种变化或修改自然在本发明的精神和范围之内。

本申请包含与在2010年6月29日向日本专利局提交的日本优先权专利申请JP 2010-147633中公开的主题相关的主题，该专利申请的整个内容在此引为参考。

Claims

1.一种图像处理设备，包括：

编码部分，对包括来自多个视点的图像的图像数据编码；

代码量计算部分，确定由所述编码部分编码的图像数据的视点和画面类型，并利用关于每个视点和每个画面类型的过去代码量的信息，计算平均代码量；和

平均速率计算部分，利用所述代码量计算部分对于每个视点和每个画面类型计算的平均代码量，计算平均比特率。

2.按照权利要求1所述的图像处理设备，还包括加权因子计算部分，所述加权因子计算部分利用待编码的图像数据，对于每个视点和每种画面类型，计算将用于在所述代码量计算部分中计算每个视点和每种画面类型的平均代码量的加权因子。

3.按照权利要求2所述的图像处理设备，

其中所述加权因子计算部分根据待编码的图像数据是否是包括来自多个视点的图像数据的区段的数据，改变加权因子。

4.按照权利要求2所述的图像处理设备，

其中所述加权因子计算部分检测待编码图像数据的场景，并按照运动大小，改变加权因子。

5.按照权利要求1所述的图像处理设备，还可包括量化值计算部分，所述量化值计算部分利用所述平均比特率，计算在所述编码部分中用于编码的量化值，所述平均比特率是由所述平均速率计算部分利用对于每个视点和每种画面类型计算的平均代码量计算的。

6.按照权利要求1所述的图像处理设备，

其中图像数据包括顺序帧图像数据。

7.按照权利要求5所述的图像处理设备，还包括量化电路，所述量化电路被配置成利用所述量化值计算部分计算的量化值，进行量化处理。

8.一种处理图像的方法，所述方法包括：

对交替记录在多帧中的包括来自多个视点的图像的图像数据编码；

确定由编码步骤编码的图像数据的视点和画面类型，并利用关于每个视点和每个画面类型的过去代码量的信息，计算平均代码量；和

利用通过对每个视点和每个画面类型计算平均代码量而得到的计算出的平均代码量，来计算平均比特率。