CN101212685B - 对图像进行编码/解码的方法和设备 - Google Patents

Abstract

提供一种对图像进行编码/解码的方法和设备，所述方法和设备将图像序列分成子组，并使用双向画面与参考画面之间的相关性来确定应用于包括在每个子组中的双向画面的编码模式。所述图像编码方法包括：根据连续B画面将待编码的画面组(GOP)分成子组；计算包括在子组中的每个B画面与根据每种编码模式的参考画面之间的相关性；以及应用在每个子组中使用与B画面具有最高相关性的参考画面的编码模式来对图像进行编码，从而提高编码效率。

Description

对图像进行编码/解码的方法和设备

本申请要求于2006年12月28日在韩国知识产权局提交的第10-2006-0136801号韩国专利申请的优先权，该申请全部公开于此以资参考。

技术领域

与本发明一致的方法和设备涉及对图像进行编码/解码，更具体地说，涉及这样对图像进行编码/解码：将图像序列分成子组，并且使用包括在每个子组中的双向画面与参考画面之间的相关性来确定应用于双向画面的编码模式，以提高编码效率。

背景技术

当对视频编码时，去除图像序列的空间冗余和时间冗余以压缩图像序列。为了去除时间冗余，使用参考画面来搜索与当前编码的画面的区域相似的参考画面的区域，所述参考画面是位于当前编码的画面的前面或后面的画面。然后，检测当前编码的画面与参考画面的相应区域之间的运动量，并且对基于检测的运动量通过运动补偿获得的预测图像和当前编码的图像之间的残差进行编码。

诸如运动图像专家组1(MPEG-1)、MPEG-2、MPEG-4、H.264/先进视频编码(AVC)等的视频标准根据预测编码方法将图像序列的每个画面分成I画面、P画面和B画面。使用当前编码的画面的信息本身而不进行帧间预测对I画面进行编码。参照一个先前处理的位于当前编码的画面的前面或后面的画面来对P画面进行预测编码。参照两个先前处理的位于当前编码的画面的前面或后面的画面来对B画面进行预测编码。

图1A至图1C示出根据包括在画面组(GOP)中的B画面的编码的各种编码模式。参照图1A，在定义H.264/AVC标准之前提出的视频编码不使用B画面作为其它画面的参考画面，而是使用I画面或P画面作为另一画面的参考画面，I画面或P画面被称为关键画面(key picture)。在B画面不用作其它画面的参考画面的编码模式(以下，被称为“B画面非参考模式”)中，通过使用在时间上位于B画面的前面或后面并且先前被处理过的I画面或P画面作为参考画面对B画面进行预测编码。例如，使用先前被编码然后再编码期间被恢复的I画面I0和P画面P4对B画面B1进行预测编码。

由于可使用从序列参数集(SPS)发送的画面顺序计数类型参数来控制参考画面，因此诸如H.264/AVC的视频标准可使用B画面作为其它画面的参考画面，以提高编码效率。当B画面可用作其它画面的参考画面时，将包括在GOP中的B画面的编码分成所有B画面可用作其它画面的参考画面的编码模式(以下称为“B画面参考模式”)和在GOP中具有预定位置的B画面被分等级地进行预测编码的编码模式(以下称为“锥形模式”)。

参照图1B，在B画面参考模式下，还可将I画面和P画面以及先前处理的B画面用作参考画面。例如，使用首先被编码然后被恢复的P画面P4和B画面B1对B画面B2进行预测编码。尽管没有显示，但是先前被编码接着被恢复的I画面I0和B画面B1可用作B画面B2的参考画面。

参照图1C，在锥形模式下，通过使用连续B画面的前面或后面的关键画面(I画面或P画面)和连续B画面中心的B画面作为参考画面来对B画面进行预测编码。例如，使用先前被编码接着被恢复的I画面I0和P画面P4作为参考画面以对连续B画面中心的B画面B2进行预测编码。使用I画面I0和B画面B2作为参考画面以对B画面B1进行预测编码。使用B画面B2和P画面P4作为参考画面以对B画面B3进行预测编码。

各种编码模式的性能取决于将被编码的图像序列的特性。B画面及其参考画面的编码顺序根据每种编码模式而不同，这样引起根据每种编码模式的预测图像之间和B画面的预测误差之间的差。在现有技术中，通过将编码模式中的一种模式应用于包括在GOP中的画面来对图像进行编码，因此不能根据图像的特性自适应地对图像序列进行编码。

发明内容

本发明提供一种用于对图像进行编码/解码的方法和设备，该方法和设备根据图像序列的特性将编码/解码模式自适应地应用于图像以提高编码/解码效率。

本发明提供一种用于对图像进行编码/解码的方法和设备，该方法和设备将GOP分成子组，并且根据图像的特性将不同的编码/解码模式应用于每个子组以提高编码/解码效率。

根据本发明的一方面，提供一种图像编码方法，所述方法包括：根据连续双向画面将GOP分成子组，所述GOP包括包含在图像序列中的多个图像画面；计算每个子组的双向画面与基于所述多种编码模式双向画面参照的参考画面之间的相关性，其中，根据是否能够使用双向画面作为其它画面的参考画面和双向画面所参照的参考画面来对所述多种编码模式进行分类；基于相关性选择所述多种编码模式中的一种模式；以及根据选择的编码模式对每个子组的B画面进行编码。

所述多种编码模式可包括：双向画面非参考模式，不使用双向画面作为参考画面；双向画面参考模式，可使用所有的双向画面作为参考画面；以及锥形模式，使用每个子组的连续双向画面中心的双向画面作为其它双向画面的参考画面。

计算相关性的步骤可包括：计算包括在子组中的每个双向画面的像素值的直方图与根据所述多种编码模式的参考画面的像素值的直方图之间的差的平均，其中，选择所述多种编码模式中的一种模式的步骤可包括：增加多种编码模式中具有最小平均值的编码模式的计数数量；以及选择所述多种编码模式中具有最大计数数量的一种编码模式。

所述方法还可包括：如果参考画面和双向画面具有0至n-1个像素值(n是整数)，则用B表示双向画面，R表示参考画面，H_B[i]表示具有像素值i(i在0～n之间)的双向画面B的像素的数量，H_R[i]表示具有像素值i的参考画面R的像素的数量，根据下面的等式计算参考画面R和双向画面B之间的相关性H(B，R)，

$(B,R)=\left(\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}\right|H_B\left[i\right]-H_R\left[i\right]\left|\right)/n.$

计算相关性的步骤可包括：使用均方误差(MSE)、绝对差和(SAD)以及和平方误差和(SSE)之一计算包括在子组中的每个双向画面与根据所述多种编码模式的参考画面之间的差值，其中，选择所述多种编码模式中的一种模式的步骤可包括：增加所述多种编码模式中具有最小差值的编码模式的计数数量；以及选择多种编码模式中具有最大计数数量的一种编码模式。

根据本发明的另一方面，提供一种图像编码设备，所述设备包括：子组产生器，根据连续双向画面将GOP分成子组，所述GOP包括包含在图像序列中的多个图像画面；相关性计算器，计算每个子组的双向画面与基于多种编码模式双向画面参照的参考画面之间的相关性，其中，根据是否能够使用双向画面作为其它画面的参考画面和双向画面参照的参考画面来对所述多种编码模式进行分类；编码模式选择器，基于相关性选择所述多种编码模式中的一种模式；以及编码单元，根据选择的编码模式对每个子组的B画面进行编码。

根据本发明的另一方面，提供一种图像解码方法，所述方法包括：读取包括在输入比特流中的编码模式信息，将比特流的多个编码的图像画面分成子组，并确定对每个子组的双向画面进行编码所使用的编码模式；确定每个子组的双向画面的解码顺序和根据编码模式的参考画面；以及使用解码顺序和参考画面对每个子组的双向画面进行解码。

根据本发明的另一方面，提供一种图像解码设备，所述设备包括：编码模式确定器，读取包括在输入比特流中的编码模式信息，将比特流的多个编码的图像画面分成子组，并确定对每个子组的双向画面进行编码所使用的编码模式；解码顺序确定器，确定每个子组的双向画面的解码顺序和根据编码模式的参考画面；以及解码单元，使用解码顺序和参考画面对每个子组的双向画面进行解码。

附图说明

通过下面参照附图对本发明的示例性实施例进行的详细描述，本发明的上述和其它特点将会变得更加清楚，其中：

图1A至图1C示出根据包括在GOP中的B画面的编码的各种编码模式；

图2是根据本发明的示例性实施例的图像编码设备的框图；

图3示出输入到图2所示的示例性实施例的图像编码设备的GOP的示例性实施例；

图4A至图4B示出图3所示的GOP分成的两个子组的示例性实施例；

图5是示出根据本发明的示例性实施例的包括在画面中的像素值分布的直方图；

图6是图2所示的编码单元的示例性实施例的框图；

图7是示出根据本发明的示例性实施例的图像编码方法的流程图；

图8是根据本发明的示例性实施例的图像解码设备的框图；以及

图9是示出根据本发明的示例性实施例的图像解码方法的流程图。

具体实施方式

以下，将参照附图来详细描述本发明的示例性实施例。

根据本发明的用于对图像进行编码的方法和设备将包括输入图像序列的多个图像画面的GOP分成子组，计算将被编码的每个子组的对象画面与根据编码模式的参考画面之间的相关性，并且基于相关性确定编码模式，从而以子组为单位自适应地对图像进行编码。

图2是根据本发明的示例性实施例的图像编码设备200的框图。参照图2，图像编码设备200包括：子组产生器210、相关性计算器220、编码模式选择器230和编码单元240。

子组产生器210将输入图像序列的每个连续B画面分为子组。

相关性计算器220计算每个子组的B画面与根据编码模式B画面参照的参考画面之间的相关性。

编码模式选择器230基于相关性计算器220计算的相关性选择使用与当前编码的子组的B画面具有最高相关性的参考画面的编码模式。

编码单元240根据编码模式选择器230选择的编码模式对每个子组进行预测编码，以产生比特流。

现将描述当前示例性实施例的图像编码设备200的操作。

图3示出输入到图2所示的图像编码设备200的GOP 300。图4A至图4B示出图3所示的GOP被分成的两个子组410和420。以下，In、Pn和Bn(n是整数)分别为顺序包括在GOP 300的图像画面中的第n个I画面、第n个P画面和第n个B画面。

参照图3，假设GOP 300包括M个连续B画面和在M个连续B画面的前面或后面的关键画面(I画面或P画面)。尽管在当前示例性实施例中GOP300在关键画面I0、PM+1和P2M+2之间包括两对M个连续B画面(B1至BM和BM+2至B2M+1)，但是本发明可应用于对包括多于两对连续B画面的GOP 300的图像画面进行编码。由于在锥形模式下连续B画面中心的B画面用作其它B画面的参考画面，因此M(连续B画面的数量)可以是奇数。例如，但是不限于这种方式，如果M是5，则通过使用I画面I0和P画面P6作为参考画面首先对五个连续B画面(B1至B5)的中心的B画面B3进行预测编码。通过使用I画面I0和B画面B3作为参考画面对B画面B3之后的B画面B1和B2进行预测编码。在锥形模式下通过使用B画面B3和P画面P6作为参考画面对B画面B3之前的B画面B4和B5进行预测编码。

子组产生器210将GOP 300分成子组，使得包括连续B画面和连续B画面两端的关键画面(I画面或P画面)。

参照图4A和图4B，GOP 300被分成第一子组410和第二子组420，如图4A所示，第一子组410包括M个连续B画面B1、B2至BM以及M个连续B画面两端的I画面I0和P画面PM+1；如图4B所示，第二子组420包括M个连续B画面BM+2、BM+3、BM+4至B2M+1以及M个连续B画面两端的P画面PM+1和P2M+2。作为连续B画面的关键画面的P画面PM+1包括在子组410和420中，以计算两个子组410和420中的每一个的B画面之间的相关性。当每个子组依次被编码时，没有冗余地对每个子组的关键画面进行编码。

相关性计算器220计算两个子组410和420中的每一个的B画面与根据每种编码模式B画面参照的参考画面之间的相关性。在现有技术中提到的编码模式包括：B画面不用作参考画面的B画面非参考模式、先前被编码接着被恢复的所有B画面可用作参考画面的B画面参考模式、和子组的连续双向画面中心的双向画面用作参考画面的锥形模式。根据详细地描述，本领域的普通技术人员将清楚地理解，可将根据本发明的图像编码方法应用于除了这三种编码模式之外的不同类型的编码模式，其中，对B画面的编码顺序和使用的参考画面进行变换。

当在B画面非参考模式、B画面参考模式和锥形模式下对GOP 300的B画面进行双向预测编码时，表1示出根据每种编码模式用于对GOP 300的B画面进行预测编码的参考画面。

[表1]

在表1中，n表示指示M个连续B画面中心的B画面的索引。n＝(M+1)/2。如果M是偶数，则n值可向上取整或向下取整以使用连续B画面中心的B画面。

在B画面非参考模式下，B画面不用作其它画面的参考画面，而是I画面或P画面可用作参考画面。因此，在B画面非参考模式下，使用先前被编码接着被恢复的I画面或P画面对B画面进行双向预测编码。例如，先前被编码接着被恢复的I画面I0和P画面PM+1可用于对B画面B1进行预测编码。

在B画面参考模式下，先前被编码接着被恢复的所有B画面可用作其它画面的参考画面。因此，如表1所示，当前编码的B画面之前的先前被编码接着被恢复的所有B画面可用作参考画面。例如，参照图1B和表1，通过使用在B画面B2之前完全处理的B画面B1和P画面PM+1，根据B画面参考模式来对B画面B2进行预测编码。

在锥形模式下，连续B画面中心的画面用作参考画面。例如，参照图4A，当连续B画面B1至BM中心的B画面是Bn时，通过使用I画面I0和B画面Bn作为参考画面对B画面B1至Bn-1进行双向预测编码，并且通过使用B画面Bn和P画面PM+1作为参考画面对B画面Bn+1至BM进行双向预测编码。

相关性计算器220计算每个子组的B画面与用于根据三种示例性编码模式中的每一个对B画面进行预测编码的参考画面之间的相关性。所述相关性指示两幅图像之间的相似度。相关性越高，两幅图像越相似。

各种算法可用于计算每个子组的B画面与参考画面之间的相关性。例如，但不限于这种方式，相关性计算器220通过将当前编码的B画面的直方图和在三种示例性编码模式的每一种模式下用于对B画面进行预测编码的参考画面的直方图进行比较来计算相关性。如图5所示，直方图是显示包括在画面中的像素值的分布的总体图。假设每个8位像素具有0至255之间的值，则图5示出具有16个值为0的像素、25个值为1的像素等的画面的直方图的示例性实施例。

假设两幅画面X和Y具有值在0至n-1之间的像素，则基于像素值分布的直方图，根据等式 $H(X,Y)=\left(\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}\right|H_X\left[i\right]-H_Y\left[i\right]\left|\right)/n$ 计算两幅画面X和Y之间的相关性H(X，Y)。

其中，H_X[i]表示画面X具有值i的像素的数量，H_Y[i]表示画面Y具有值i的像素的数量。详细地说，可通过使用像素值的直方图之间的差的平均(两幅画面的相同像素值的数量之间的差的平均)来计算两幅画面X和Y之间的相关性。

相关性计算器220通过计算每个B画面的像素值的直方图与根据三种编码模式的每一个的每个参考画面的像素值的直方图之间的差的平均来计算每个子组的B画面与参考画面之间的相关性。

例如，参照图4A和表1，除了在三种编码模式下共享作为参考画面的I画面I0之外，相关性计算器220计算在每种编码模式下用作单独参考画面的P画面PM+1与B画面B1之间的相关性H(B1，PM+1)和B画面Bn与B1之间的相关性H(B1，Bn)，以确定使用与第一子组410的B画面B1具有最高相关性的参考画面的编码模式。

如果在多种编码模式中没有公共画面用作当前B画面的参考画面，则相关性计算器220计算在每种编码模式下使用的每个参考画面与当前B画面之间的相关性，并且使用相关性的平均值作为当前B画面与参考画面之间的相关性。例如，参照表1，在B画面非参考模式、B画面参考模式或锥形模式下不存在用于对第一子组410的B画面B2进行预测编码的公共画面。在这种情况下，在B画面非参考模式下，相关性计算器220使用(H(B2，I0)+H(B2，PM+1))/2作为指示B画面B2与作为参考画面的I画面I0和P画面PM+1之间的相关性的值，在B画面参考模式下，相关性计算器220使用(H(B2，B1)+H(B2，PM+1))/2作为指示B画面B2与作为参考画面的I画面I0和P画面PM+1之间的相关性的值，在锥形模式下，相关性计算器220使用(H(B2，I0)+H(B2，PM+1))/2作为指示B画面B2与作为参考画面的I画面I0和B画面Bn之间的相关性的值。

编码模式选择器230基于相关性计算器220计算的相关性，对使用与当前编码的B画面具有最高相关性的参考画面的每个B画面的编码模式的数量进行计数，并且从编码模式中选择应用于每个子组的编码模式。例如，参照图4A，如果M是5，B画面参考模式的计数数量是b，B画面非参考模式的计数数量是nr，并且锥形模式的计数数量为p(这里，b+nr+p＝5)，则相关性计算器220计算B画面B1至B5中的每一个与根据每种编码模式的参考画面之间的相关性。编码模式选择器230增加使用与当前编码的B画面具有最大相关性的参考画面的编码模式的计数数量。如果确定b＝1、nr＝1以及p＝3，则编码模式选择器230选择锥形模式作为第一子组410的B画面B1至B5的编码模式。

相关性计算器220通过将每个子组的B画面和根据从多种编码模式选择的两个编码模式的参考画面之间的相关性进行比较，将每个子组的B画面与根据两个编码模式的其它组合的参考画面之间的相关性进行比较，来计算每个子组的B画面与根据每种编码模式的参考画面之间的相关性。详细地，相关性计算器220计算根据B画面参考模式和B画面非参考模式的参考画面与每个子组的B画面之间的相关性，并且对具有较高相关性的编码模式的数量进行计数，计算根据B画面非参考模式和锥形模式的参考画面与每个子组的B画面之间的相关性，并且对具有较高相关性的编码模式的数量进行计数，计算根据B画面参考模式和锥形模式的参考画面与每个子组的B画面之间的相关性，并且对具有较高相关性的编码模式的数量进行计数，最终确定三种模式中具有最大计数数量的一种编码模式作为对每个子组进行编码的编码模式。

更详细地，相关性计算器220计算根据B画面参考模式和B画面非参考模式的参考画面与第一子组410的B画面之间的相关性。表2示出将根据第一子组410的B画面比较的相关性。

[表2]

参照表1和表2，由于在B画面参考模式和B画面非参考模式下通过使用I画面I0和P画面PM+1作为参考画面对第一子组410的第一B画面B1进行预测编码，因此相关性计算器220不需要计算第一B画面B1与根据B画面参考模式和B画面非参考模式的参考画面之间的相关性。除了在B画面参考模式和B画面非参考模式下使用的相同参考画面之外，相关性计算器220计算第一子组410的B画面与根据B画面参考模式和B画面非参考模式的参考画面之间的相关性，并且增加使用与B画面具有较高相关性的参考画面的两种编码模式中的一种编码模式的数量。例如，当对B画面B3进行预测编码时，由于在B画面非参考模式下使用I画面I0和P画面PM+1作为参考画面，在B画面参考模式下使用B画面B2和P画面PM+1作为参考画面，因此，除了在两种模式下使用的共同参考画面PM+1之外，相关性计算器220计算B画面B3与参考画面I0之间的相关性H(B3，I0)以及B画面B3与参考画面B2之间的相关性H(B3，B2)，并且增加具有较高相关性的两种编码模式中的一种编码模式的计数数量。由于H(X，Y)值越低，两幅图像画面X和Y的像素值的分布越相似，因此两幅图像画面X和Y之间的相关性越高。因此，如果H(B3，I0)＞H(B3，B2)，则由于当前编码的B画面B3与参考画面B2之间具有较高的相关性，因此相关性计算器220增加使用B画面B2作为参考画面的适合对B画面B3进行编码的B画面参考模式的计数数量r。如果H(B3，I0)＜H(B3，B2)，则相关性计算器220增加B画面非参考模式的计数数量nr。对第一子组410的所有B画面重复地执行这些操作。

接下来，相关性计算器220计算根据B画面非参考模式和锥形模式的参考画面与第一子组410的B画面之间的相关性。表3示出将根据第一子组410的B画面进行比较的相关性。

[表3]

参照表1和表3，由于在B画面非参考模式下和锥形模式下通过使用I画面I0和P画面PM+1作为参考画面对第一子组410的M个连续B画面中心的B画面Bn进行预测编码，因此相关性计算器220不需要计算B画面Bn与根据B画面非参考模式下和锥形模式的参考画面之间的相关性。除了在B画面非参考模式下和锥形模式下使用的相同参考画面之外，相关性计算器220计算第一子组410的B画面与根据B画面非参考模式下和锥形模式的参考画面之间的相关性，并且增加两种编码模式中的使用与B画面具有较高相关性的参考画面的一种模式的计数数量。例如，当对B画面B2进行预测编码时，由于在B画面非参考模式下使用I画面I0和P画面PM+1作为参考画面，在锥形模式下使用I画面I0和B画面Bn作为参考画面，因此，除了在两种模式下使用的共同参考画面I0之外，相关性计算器220计算B画面B2与参考画面PM+1之间的相关性H(B2，PM+1)以及B画面B2与参考画面Bn之间的相关性H(B2，Bn)，并且增加具有较高相关性的两种编码模式中的一种模式的计数数量。如果H(B2，PM+1)＞H(B2，Bn)，则由于当前编码的B画面B2和参考画面Bn之间具有较高的相关性，因此相关性计算器220增加使用B画面Bn作为参考画面的适合对B画面B2进行编码的锥形模式的计数数量p。如果H(B2，PM+1)＜H(B2，Bn)，则相关性计算器220增加B画面非参考模式的计数数量nr。对第一子组410的所有B画面重复地执行这些操作。

相关性计算器220计算根据B画面非参考模式和锥形模式的参考画面与第一子组410的B画面之间的相关性。表4示出将根据第一子组410的B画面比较的相关性。

[表4]

参照表1和表4，由于在B画面参考模式和锥形模式下通过使用B画面Bn和P画面PM+1作为参考画面对第一子组410的B画面Bn+1进行预测编码，因此相关性计算器220不需要计算B画面Bn与根据B画面参考模式和锥形模式的参考画面之间的相关性。除了在B画面参考模式下和锥形模式下使用的相同参考画面之外，相关性计算器220计算第一子组410的B画面与根据B画面参考模式和锥形模式的参考画面之间的相关性，并且增加两种编码模式中的使用与B画面具有较高相关性的参考画面的一种模式的计数数量。例如，当对B画面B1进行预测编码时，由于在B画面参考模式下使用I画面I0和P画面PM+1作为参考画面，在锥形模式下使用I画面I0和B画面Bn作为参考画面，因此，除了在两种模式下使用的共同参考画面I0之外，相关性计算器220计算B画面B1与参考画面PM+1之间的相关性H(B1，PM+1)以及B画面B1与参考画面Bn之间的相关性H(B1，Bn)，并且增加具有较高相关性的两种编码模式中的一种模式的计数数量。如果H(B1，PM+1)＞H(B1，Bn)，则由于当前编码的B画面B1与B画面Bn之间具有较高的相关性，因此相关性计算器220增加使用B画面Bn作为参考画面的适合对B画面B1进行编码的锥形模式的计数数量p。如果H(B1，PM+1)＜H(B1，Bn)，则相关性计算器220增加B画面参考模式的计数数量r。当对B画面B2进行预测编码时，在B画面参考模式下，使用B画面B1和P画面PM+1作为参考画面，在锥形模式下。使用I画面I0和B画面Bn作为参考画面。

当每种编码模式使用不同的参考画面时，根据每种编码模式的参考画面与当前编码的B画面之间的相关性都需要考虑。如果计算B画面B2与在B画面参考模式下使用的参考画面B1和PM+1之间的相关性H(B2，B1)和H(B2，PM+1)，计算B画面B2与在锥形模式下使用的参考画面I0和Bn之间的相关性H(B2，I0)和H(B2，Bn)，并且将{H(B2，B1)+H(B2，PM+1)}和{H(B2，I0)+H(B2，Bn)}进行比较的结果是{H(B2，B1)+H(B2，PM+1)}＞{H(B2，I0)+H(B2，Bn)}，则由于当前编码的B画面B2与参考画面I0和Bn具有较高的相关性，因此相关性计算器220增加使用I画面I0和B画面Bn作为参考画面的适合对B画面B2进行编码的锥形模式的计数数量p。如果{H(B2，B1)+H(B2，PM+1)}＜{H(B2，I0)+H(B2，Bn)}，则相关性计算器220增加B画面参考模式的计数数量r。

相关性计算器220将每个子组的B画面与根据两个编码模式的每个组合的参考画面之间的相关性重复地进行比较。编码模式选择器230选择具有最大计数数量的编码模式。

用于将每个子组的B画面与根据每种编码模式的参考画面之间的相关性进行比较并选择将应用于每个子组的编码模式的算法总结如下。

步骤1：假设nr是指示确定B画面非参考模式与将编码的B画面具有较高相关性的计数数量，p是指示确定锥形模式与B画面具有较高相关性的计数数量，r是指示确定B画面参考模式与B画面具有较高相关性的计数数量，接着在开始处理第一子组410时将nr、p和r设置为0。

步骤2：基于表2计算第一子组410的B画面与在B画面非参考模式和B画面参考模式下使用的参考画面之间的相关性，并且增加具有较高相关性的编码模式的计数数量。

{for i＝2 to M

    if H(Bi，I0)＜H(Bi，Bi-1)then nr+＝1；

    else r+＝1；

}

步骤3：基于表3计算第一子组410的B画面与在B画面非参考模式和锥形模式下使用的参考画面之间的相关性，并且增加具有较高相关性的编码模式的计数数量。

{for i＝1 to n-1

       if H(Bi，PM+1)＜H(Bi，Bn)then nr+＝1；

       else p+＝1；

and for i＝n+1 to M

       if H(Bi，I0)＜H(Bi，Bn)then nr+＝1；

       else p+＝1；

}

步骤4：基于表4计算第一子组410的B画面与在B画面参考模式和锥形模式下使用的参考画面之间的相关性，并且增加具有较高相关性的编码模式的计数数量。

{for i＝1

        if H(Bi，PM+1)＜H(Bi，Bn)then r+＝1；

        else p+＝1；

for i＝2 to n-1

        if(H(Bi，Bi-1)+H(Bi，PM+1)＜(H(Bi，I0)+H(Bi，Bn))then r+＝1；

        else p+＝1；

for i＝n

        if H(Bi，Bi-1)＜H(Bi，I0)then r+＝1；

        else p+＝1；

and for i＝n+2 to M

        if H(Bi，Bi-1)＜H(Bi，Bn)then r+＝1；

        else p+＝1；

}

步骤5：将编码模式的计数数量进行比较以最后确定具有最大计数数量的编码模式中的一种模式作为将应用于第一子组410的编码模式。

步骤6：对第二子组420的重复步骤1至5。本领域的普通技术人员可容易地修改在步骤1至5中提到的程序代码参数的示例性实施例，因此省略它们的详细描述。

相关性计算器220可使用基于计算复杂度和量化噪声中的误差的输入原始信号，以计算B画面与参考画面之间的相关性。相关性计算器220可使用诸如MSE、SAD和SSE的误差计算算法，代替两幅可比较画面的像素值的分布的直方图，以计算相关性。相关性计算器220使用MSE、SAD和SSE误差计算算法之一计算包括在每个子组中的每个B画面与在每种编码模式下使用的参考画面之间的误差。编码模式选择器230对使用与B画面具有最小误差的参考画面的编码模式进行计数，并且确定编码模式中具有最大计数数量的一种模式作为应用于每个子组的编码模式。

图6是图2所示的编码单元的框图。参照图6，编码单元600根据编码模式选择器230确定的编码模式对每个子组的图像画面进行编码，并且可被图像编码设备代替。编码单元600包括：运动估计单元602、运动补偿单元604、帧内预测单元630、变换单元608、量化单元610、重新排列单元612和熵编码单元614、逆量化单元616、逆变换单元618、滤波器620和帧存储器622。

运动估计单元602执行运动估计，在参考画面中搜索当前编码的B画面或P画面的预测值，以对包括在子组中的B画面或P画面进行预测编码。运动补偿单元604从参考画面获得作为运动估计结果的预测图像，并且形成当前编码的B画面或P画面的预测图像。

帧内预测单元630执行帧内预测，在当前I画面中搜索I画面的预测值。

如果通过帧间预测或帧内预测产生当前画面的预测画面，则通过变换单元608计算、变换残差，并通过量化单元610量化残差，所述残差是预测画面和当前画面之间的差。在以预定顺序通过重新排列单元612对量化的残差进行重新排列，接着通过熵编码单元614对其进行熵编码，从而以比特流的形式输出。

通过逆量化单元616对变换且量化过的画面进行逆量化，并通过逆变换单元618对其进行逆变换，从而重建画面以获得用于预测B画面或P画面的参考画面。重建的画面通过执行去块滤波的滤波器620并被存储在帧存储器622中，从而用于下一画面的帧间预测。

图7是示出根据本发明的示例性实施例的图像编码方法的流程图。参照图7，根据连续B画面将GOP分成子组(操作710)，所述GOP包括包含在图像序列中的多个图像画面。

计算每个子组的B画面与根据可应用的多种编码模式被B画面参照的参考画面之间的相关性(操作720)。

基于B画面与根据每种编码模式的参考画面之间的相关性选择编码模式中的一种模式(操作730)。计算B画面与根据每种编码模式的参考画面之间的相关性，以对使用与B画面具有较高相关性的参考画面的编码模式进行计数，并且确定具有最大计数数量的一个编码模式作为应用于每个子组的编码模式。

根据选择的编码模式对每个子组进行预测编码(操作740)。

图8是根据本发明的示例性实施例的图像解码设备800的框图。参照图8，图像解码设备800包括：熵解码单元810、重新排列单元820、逆量化单元830、逆变换单元840、运动补偿单元850、帧内预测单元860和滤波器870。

熵解码单元810和重新排列单元820接收压缩的比特流，并执行熵解码，从而产生量化的系数X。逆量化单元830和逆变换单元840对量化的系数X执行逆量化和逆变换，以提取变换编码系数、运动向量信息等。运动补偿单元850和帧内预测单元860基于解码的头信息根据编码的画面类型产生预测块。将预测块添加到误差值D’_n以产生uF’_n。uF’_n通过滤波器870，并在画面F’_n中被重建。

具体地说，当前示例性实施例的图像解码设备800读取包括在输入比特流中的编码模式信息，将比特流的多个编码的图像画面分成子组，确定用于对每个子组的双向画面进行编码的编码模式，并且确定双向画面的解码顺序和根据编码模式的参考画面，以对图像画面执行解码。

图9是示出根据本发明的示例性实施例的图像解码方法的流程图。参照图9，读取包括在输入比特流中的编码模式信息，将比特流的多个编码的图像画面分成子组，并且确定用于对每个子组的双向画面进行编码的编码模式(操作910)。

确定双向画面的解码顺序和根据解码模式的参考画面(操作920)。

使用解码顺序和参考画面对每个子组的双向画面进行解码，以重建图像(操作930)。

本发明也可实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是可存储其后能够被计算机系统读取的数据的任何数据存储装置。所述计算机可读记录介质的例子包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质还可分布于联网的计算机系统上，以便所述计算机可读代码能够以分布方式被记录和执行。

如在上面的示例性实施例中所描述的，根据本发明，在每个子组中确定使用与将进行预测编码的画面相似的参考画面的编码模式，从而减小预测图像与将根据图像的特性编码的图像之间的预测误差，因此提高编码效率。

尽管已经参照本发明的示例性实施例具体显示和描述了本发明，但本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。

Claims (17)

1.一种图像编码方法，包括：

根据连续B画面将画面组分成子组，使得包括连续B画面和连续B画面两端的关键画面，所述画面组包括包含在图像序列中的多个图像画面；

计算子组的B画面与基于多种编码模式B画面参照的参考画面之间的相关性；

基于相关性选择所述多种编码模式中应用于每个子组中所有B画面的一种模式；以及

根据选择的编码模式对子组的B画面进行编码。

2.如权利要求1所述的方法，其中，所述多种编码模式包括：B画面非参考模式，不使用B画面作为参考画面；B画面参考模式，使用所有的B画面作为参考画面；以及锥形模式，使用子组的B画面中心的B画面作为其它B画面的参考画面。

3.如权利要求1所述的方法，其中，计算相关性的步骤包括：

计算包括在子组中的每一个B画面的像素值的直方图与根据所述多种编码模式的参考画面的像素值的直方图之间的差的平均，

其中，选择所述多种编码模式中的一种模式的步骤包括：

增加所述多种编码模式中具有最小平均值的编码模式的计数数量；以及

选择所述多种编码模式中具有最大计数数量的一种编码模式。

4.如权利要求3所述的方法，其中，如果参考画面和B画面具有0至n-1个像素值，其中n是整数，则用B表示B画面之一，R表示参考画面之一，H_B[i]表示具有像素值i的B画面的像素的数量，i在0～n之间变化，H_R[i]表示具有像素值i的参考画面R的像素的数量，根据下面的等式计算参考画面与B画面之间的相关性H(B，R)，

5.如权利要求1所述的方法，其中，计算相关性的步骤还包括：

使用均方误差、绝对差和以及平方误差和之一计算包括在子组中的B画面中的每一个与根据所述多种编码模式的参考画面之间的差值，

其中，选择所述多种编码模式中的一种模式的步骤可包括：

增加所述多种编码模式中具有最小差值的编码模式的计数数量；以及

选择所述多种编码模式中具有最大计数数量的一种编码模式。

6.如权利要求1所述的方法，其中，根据B画面是否用作子组中其它画面的参考画面和B画面参照的参考画面对所述多种编码模式进行分类。

7.一种图像编码设备，包括：

子组产生器，根据连续B画面将画面组分成子组，使得包括连续B画面和连续B画面两端的关键画面，所述画面组包括包含在图像序列中的多个图像画面；

相关性计算器，计算子组的B画面与基于多种编码模式B画面参照的参考画面之间的相关性；

编码模式选择器，基于相关性选择所述多种编码模式中应用于每个子组中所有B画面的一种模式；以及

编码单元，根据选择的编码模式对子组的B画面进行编码。

8.如权利要求7所述的设备，其中，所述多种编码模式包括：B画面非参考模式，不使用B画面作为参考画面；B画面参考模式，使用所有的B画面作为参考画面；以及锥形模式，使用子组的B画面中心的B画面作为其它B画面的参考画面。

9.如权利要求7所述的设备，其中，相关性计算器计算包括在子组中的每一个B画面的像素值的直方图与根据所述多种编码模式的参考画面的像素值的直方图之间的差的平均。

10.如权利要求7所述的设备，其中，编码模式选择器增加使用与当前编码的B画面具有最高相关性的参考画面的编码模式的计数数量，并且在处理子组的B画面之后选择所述多种编码模式中具有最大计数数量的一种编码模式。

11.如权利要求7所述的设备，其中，如果参考画面和B画面具有0至n-1个像素值，其中n是整数，则用B表示B画面之一，R表示参考画面，H_B[i]表示具有像素值i的B画面的像素的数量，i在0～n之间变化，H_R[i]表示具有像素值i的参考画面R的像素的数量，根据下面的等式计算参考画面与B画面之间的相关性H(B，R)，

12.如权利要求7所述的设备，其中，相关性计算器使用均方误差、绝对差和以及平方误差和之一计算包括在子组中的B画面中的每一个与根据所述多种编码模式的参考画面之间的差值，

其中，编码模式选择器增加所述多种编码模式中具有最小差值的编码模式的计数数量，并且选择所述多种编码模式中具有最大计数数量的一种编码模式。

13.如权利要求7所述的设备，其中，根据B画面是否用作其它画面的参考画面和B画面参照的参考画面将所述多种编码模式分类。

14.一种图像解码方法，包括：

读取包括在输入比特流中的编码模式信息，将比特流的多个编码的图像画面分成子组，并确定对子组的B画面进行编码所使用的编码模式；

确定子组的B画面的解码顺序和根据编码模式的参考画面；以及

使用解码顺序和参考画面对子组的B画面进行解码。

15.如权利要求14所述的方法，其中，对子组的B画面进行编码所使用的编码模式包括：B画面非参考模式，不使用B画面作为参考画面；B画面参考模式，使用所有的B画面作为参考画面；以及锥形模式，使用子组的B画面中心的B画面作为其它B画面的参考画面。

16.一种图像解码设备，包括：

编码模式确定器，读取包括在输入比特流中的编码模式信息，将比特流的多个编码的图像画面分成子组，并确定对子组的B画面进行编码所使用的编码模式；

解码顺序确定器，确定子组的B画面的解码顺序和根据编码模式的参考画面；以及

解码单元，使用解码顺序和参考画面对子组的B画面进行解码。

17.如权利要求16所述的设备，其中，对每个子组的B画面进行编码所使用的编码模式包括：B画面非参考模式，不使用B画面作为参考画面；B画面参考模式，使用所有的B画面作为参考画面；以及锥形模式，使用子组的B画面中心的B画面作为其它B画面的参考画面。

Images