CN1748429A - 视频数据流的编码设备 - Google Patents

Abstract

本发明提出一种用于视频数据流的双通道编码的设备，该设备包括：第一类型编码装置(5，6)，用于执行第一编码通道；第二类型编码装置(2，4)，用于执行第二编码通道。根据本发明：第二类型编码装置(2，4)不同于第一类型编码装置(5，6)，并且第二类型编码装置(2，4)使用源自第一编码通道的信息。应用MPEG－2和H.264编码。

Description

视频数据流的编码设备

技术领域

本发明涉及视频数据流的双通道编码设备和方法。

背景技术

新的压缩标准正在形成，并在考虑提高编码质量的同时该标准使编码成本和复杂度不断增加。多媒体应用的发展和数据网络的多样化使得数据编码系统越来越复杂。

在源图像的环境中，已经开发了很多双通道编码技术，第一编码通道提供关于待编码图像的复杂度的精确信息，然后第二编码通道基于该复杂度对图像进行编码。

尤其在编码器遵守在ITU-T Standard Recommendation H.264|ISO/IEC 14496-10AVC中定义的H26L标准的情况下，这种双通道编码技术功能非常强大但很昂贵。

发明内容

本发明提出一种用于视频数据流的双通道编码的设备，该设备包括：

—用于执行第一编码通道(pass)的第一类型编码装置，

—用于执行第二编码通道的第二类型编码装置。

根据本发明

—该第二类型编码装置不同于该第一类型编码装置，并且

—该第二类型编码装置使用源自该第一类型编码装置的编码信息。

因此，不是使用两个编码通道执行同类型编码器或单通道编码器的编码，而是将双通道编码器用于两个编码通道应用不同类型的编码的情况中。当要求实现降低成本，同时保持由双同道编码器提供的编码质量，并且与单通道编码相比同时提高复杂度预测质量时，可以使用不同类型的两个编码通道。

根据优选实施例，

—第一类型编码装置包括：

—用于为待编码的各视频流图像测定第一通道的编码成本的装置。

—用于对规定基准周期的几个图像的第一编码通道的编码成本进行存储的装置。

第二类型编码装置包括：

—用于为待编码的各视频流图像测定第二通道的编码成本的装置。

—用于对规定基准周期的几个图像的第二编码通道的编码成本进行存储的装置。

第一编码通道提供有关对图像编码和基准周期的准确的复杂度信息。使用基准周期来保证第二编码通道的稳定性。

根据优选实施例，该设备包括用于调整源自第二通道编码装置的数据流的比特速率的装置。

根据优选实施例，调整比特速率的装置包括：

—预测装置，用于在基准周期中计算待编码的图像的相对权重，

—调整装置，用于根据以下信息来计算待由第二类型编码装置进行编码的图像的目标成本

—从第二类型编码装置接收的目标比特速率，和

—在基准周期中的待编码的图像的相对权重。

—对第二类型编码进行量化的装置，用于根据图像的目标成本，计算要施加到由第二类型编码装置编码的各图像的量化步长。

根据优选实施例，

—第一通道和第二通道的编码成本包括至少用于待编码的各图像和各基准周期的：

—可缩减成本，

—不可缩减成本，

—以及第一通道和第二通道的编码装置，用于为各待编码的图像计算编码复杂度，该复杂度表示为可缩减成本和量化步长相乘的乘积。

根据优选实施例，预测装置包括：

—用于为各待编码的图像计算被称为不可缩减成本比的比例的装置，该比例即第一通道的不可缩减编码成本与第二通道的不可缩减编码成本相比，

—用于为各待编码的图像计算被称为复杂度比的比例的装置，该比例即第一通道的复杂度与第二通道的不复杂度相比，

—用于根据最近一个被编码的图像的复杂度比来更新平均复杂度比的装置，以及

—用于根据最近一个被编码的图像的不可缩减成本比来更新平均不可缩减成本比的装置，

—用于根据平均复杂度比和当前图像的第二类型编码的复杂度，来估计要由第二类型编码装置编码的当前图像的复杂度的装置，

—用于根据平均不可缩减成本和当前图像的第一类型编码的不可缩减成本，来估计要由第二类型编码装置编码的当前图像的不可缩减成的装置，

—用于计算当前图像所属的基准周期的不可缩减成本的装置，

—用于计算当前图像所属的基准周期的复杂度的装置，

—用于计算当前图像的相对权重的装置，将该权重表示为当前图像的复杂度和当前图像所属的基准周期的总复杂度之间的比例。

根据优选实施例，源自第一通道编码装置的数据流的平均比特速率比从第二通道编码装置接收的目标比特速率大30％至50％。

根据优选实施例，编码设备包括，用于对第一通道编码进行量化的装置，该装置根据从第二通道编码装置接收的目标比特速率来算量化步长。

根据优选实施例，第一通道编码装置根据MPEG-2标准对图像编码，第二通道编码装置根据H.264标准对图像编码。

根据H.264的编码图象图表，逐个图像地对可缩减成本和句法成本的研究表明，如在MPEG-2中的下列：

—从一个帧内(I)或预测(P)图像到另一图像的可缩减成本可能很不稳定。

—从一个P或双向(B)图像到另一图像的句法成本经常很不稳定。

因此，不能将基于最近被编码的同一类型的图像的复杂度预测认为是可靠的。

另一方面，在MPEG-2和H.264中逐个图像地对可缩减成本和句法成本(syntax cost)的比例的研究表面，这些比例对每一图像类型都显示出了合理的明显的稳定性。因此，将第一MPEG-2编码通道添加到H.264编码的以提高复杂度的预测质量的想法有很好的意义。

所使用的原理是链接两个图像复杂度测量单元。一个在MPEG-2编码通道上，另一个在H.264编码通道上。在两个编码通道之间的策来能够深度必须是一GOP，以能够获得最佳相对预测。

第一MPEG-2类型编码通道与第二H.264编码通道的结合降低了遵守H.264标准的双通道编码器的实现成本，同时接近这种编码器的性能。

本发明还涉及视频流数据的双通道编码的方法，该方法包括：

—对第一编码通道执行根据第一类型的编码，

—对第二编码通道执行根据第二类型的编码。

根据本发明，

—第二类型编码不同于第一类型编码，并且

—第二类型编码步骤使用源自第一编码通道的编码信息。

本发明还涉及计算机程序产品，特征在于包括：当在计算机上执行所述程序时，用于执行根据本发明的方法的步骤的程序代码指令。“计算机程序产品”意思是计算机程序介质，其组成不仅可以具有诸如磁盘或盒式磁带之类的包含有程序的存储空间组成，而且还具有诸如电或光信号之类的信号组成。

通过参照附图，借助非限制性的示例性实施例和有利的实现来更好的理解和和说明本发明。

—图1表示根据本发明实施例的编码设备；

—图2表示根据本发明实施例的比特速率调整模块；

—图3表示图1中所使用的MPEG-2编码设备；

—图4表示图1中所使用的H.264编码设备；

编码设备包括第一通道编码装置5。根据优选实施例，这些编码装置根据MPEG-2标准执行执行编码。

这些编码装置5被连接到MPEG-2测量单元6。

编码装置还包括装置1，用于在从第二通道编码装置2进入的视频数据流中生成延时。

根据下述优选实施例，第二通道编码装置2根据H.264标准执行编码。

第二通道编码装置2的输出端被连接到第二通道编码信息测量装置4的输入端。

H.264测量装置4的输出端被连接到比特速率调整单元3的输入端。

该比特速率调整单元3还在输入端上接收输出目标比特速率信号以及源自MPEG-2测量单元6的测量信号。源自装置6的测量信号还被传送到量化装置7的输入端。该量化装置7在输入端上还接收输出目标比特速率信号。该量化装置7对第一通道编码装置5的输出端上的比特速率进行伪调整，并将量化步长Q_MPEG-2传送到第一通道编码装置5。

编码装置5在开环中执行编码，由该编码装置生成的流与每图像的任何精确目标比特速率都不符合。

根据优选实施例，根据为第二通道编码装置2固定的目标比特速率来校正由第一通道编码装置5使用的量化步长。

有利地，在第一通道编码装置5的输出端上的平均比特速率比为H.264编码装置4固定的目标比特速率大30％至50％，以获得编码器的最佳操作。

在图2中示出了比特速率调整单元3。可将其分为：

—编码复杂度和成本预测单元10，

—图像等级调整单元9，其考虑虚拟解码器缓冲器的状态，

—量化单元8。

在执行第一编码通道的编码装置5的输入端接收视频数据流。

在MPEG-2或MPEG-4ASP编码的情况下，可缩减成本主要是归因于离散余弦变换DCT的系数。在H.264编码的情况下，可缩减成本归因于近似DCT变换的完全变换。

在这里描述的优选实施例中，其中由遵守MPEG-2标准的编码装置来执行第一编码通道，可按照帧内(I)、双向(B)或预测(P)三种模式来对图像编码。

在MPEG-2类型编码的情况下，量化粒度(granularity)有时比图像类型量化粒度更细，并且可以在宏块水平上。在该情况下，利用图像的各宏块自己的量化步长来对其进行编码。

编码装置5按照MPEG-2标准进行编码。编码装置5为装置6提供了用于图像的各宏块的以下参数：

—可缩减成本，表示为EncCost_MPEG2。

—不可缩减成本也称为句法成本，表示为Overhead_MPEG2。

装置6为视频数据流的图像的各宏块计算：

—复杂度，表达为可缩减成本与量化步长相乘的乘积，表示为X_MPEG2。

然后，为了计算各图像的可缩减成本和复杂度，分别对各宏块的可缩减成本和复杂度的求和。

为了确保随时间的图像编码的质量，要在基准周期上随时间来调整编码。

在MPEG-2或H.264类型的编码中，GOP(“图像组”)构成了适当的基准周期。

因此，装置6通过在基准周期上求和还计算出：

—通过在基准周期上求和而根据图像类型计算的整组图像的不可缩减成本，对于I、B和P图像分别表示为IGOPOverhead_MPEG2、BGOPOverhead_MPEG2、PGOPOverhead_MPEG2，

—通过在基准周期上求和而根据基准周期内的图像类型计算整组图像的复杂度，表示为IGOPX_MPEG2、BGOPX_MPEG2、PGOPX_MPEG2，

—通过在基准周期上求和而根据图像类型计算的基准周期内的整组图像的总成本，该总成本包括可缩减成本和不可缩减成本。

第二通道编码装置2按照H.264标准执行编码。该第二通道编码装置向测量装置4提供用于图像的各宏块的以下参数：

—可缩减成本，表示为EncCost_H264，

—量化步长。

—测量装置4通过计算可缩减成本与量化步长相乘的乘积，来计算X_H.264宏块复杂度。

对于各宏块，测量装置4计算可缩减成本和复杂度的总和。根据此推导出不可缩减成本，表示为Overhead_H264。

图2表示比特速率调整单元3。

比特速率调整单元3包括：

—单元10，用于预测待编码的当前图像的相对成本和复杂度，

—图像等级(level)调整单元9，

—量化单元8。

用于预测待编码的当前图像的相对成本和复杂度的单元10同时为当前图像和前面所定义的基准周期计算对不可缩减成本和复杂度的估算，以便向图像等级调整单元9提供待编码的图像的相对权重。

由预测单元10执行的操作顺序如下：

—为最近一个被编码的图像计算在由第一通道编码装置5执行的编码的不可缩减成本和由第二通道编码装置2执行的编码的不可缩减成本之间的比例：

${\mathrm{Ratio}}_{\mathrm{overhend}}=\frac{{\mathrm{Overhend}}_{H.264}}{{\mathrm{Overhend}}_{\mathrm{MPEG}-2}}$

—为最近一个被编码的图像计算在由第一通道编码装置5执行的编码的复杂度和由第二通道编码装置2执行的编码的复杂度之间的比例：

${\mathrm{Ratio}}_X=\frac{X_{H.264}}{X_{\mathrm{MPEG}-2}}$

模块10根据如此存储的最近的比例来更新平均复杂度比，Smoothedratio_X，和平均不可缩减成本比，SmoothedratioO_verhead。在来自基准周期的不同时段上估算所使用的比例Ratio_overhead和Ratio_X。为不同的编码模式计算这些比例，要为每一种编码类型计算同一个比例。

对于帧内(Intral)(I)类型图像：

Smoothedratio_Overhead＝Ratio_Overhead，

Smoothedratio_X＝Ratio_X

对于双向(B)或预测(P)类型图像：

${\mathrm{Smoothedratio}}_{\mathrm{overhend}}=\frac{2\×{\mathrm{SmoothedRatio}}_{\mathrm{overhend}}+{\mathrm{Ratio}}_{\mathrm{overhend}}}{3}$

${\mathrm{Smoothedratio}}_X=\frac{2\×\mathrm{SmoothedRatioX}+{\mathrm{Ratio}}_X}{3}$

将Smoothedratio_Overhead和Smoothedratio_X分别初始化为值Ratio_Overhead和Ratio_X。

然后，模块10根据测量单元6的测量，计算待编码的当前图像的不可缩减成本和复杂度。

—待编码的当前图像的不可缩减成本：

Overhead_H264＝SmoothedRatio_overhead[mode]×Overhead_MPEG-2

—待编码的当前图像的复杂度：

X_H264＝SmoothedRatio_X[mode]×X_MPEG-2

模块10还为当前基准周期计算不可缩减成本和复杂度：

—不可缩减成本：

GOPOverhead_H264＝SmoothedRatio_Overhead[I]×IGOPOverhead_MPEG-2+

SmoothedRatio_overhead[B]×BGOPOverhead_MPEG-2+

SmoothedRatio_overhead[P]×BGOPOverhead_MPEG-2

—复杂度：

GOPX_H.264＝ZI×SmoothedRatio_X[I]×IGOPX_MPEG-2+

Z_P×SmoothedRatio_X[P]×PGOPX_MPEG-2+

Z_B×SmoothedRatio_X[B]×BGOPX_MPEG-2

Z_I，Z_P和Z_B是权重常数。

这些常量传递具有恒定的编码质量的事实，必须有差别地量化I、B和P图像，对B图像的量化最严格。

图像等级调整单元9根据由监测单元(未示出)提供的输出目标比特速率和在正在讨论的基准周期中待编码的图像的相对权重，来计算图像目标成本。

$T\arg \mathrm{et\; Cost}=\frac{{Z\left[\mathrm{mode}\right]X}_{H.264}}{{\mathrm{GOPX}}_{H.264}}\×\mathrm{GOPT}\arg \mathrm{etCost}$

其中：

GOPTagetCost＝(MeanBpp_H.264×Nbimages)-GOPOveread_H.264其中，

—TargetCost：图像目标成本，

—GlobalTargetCost：基准周期的总成本，

—MeanBpp_H.264：根据目标比特率的每图像平均成本，

—Nbimages：基准周期中的图像的数量。

调整单元根据它所管理的虚拟解码器缓冲器的状态，对在前的图像的目标成本进行必要的调整。

根据由图像等级调整单元提供的图像目标成本，量化单元8计算在第二通道编码期间应用在图像中的量化。根据实施者的选项，量化粒度可以是图像等级或宏块的行或单个宏块等级。

图3和图4实现了根据本发明的编码器的变体。在图3和图4中，MPEG-2编码器向H.264编码器不仅提供如图1和图2所示的量化信息，还提供GOP、图像类型、场景和向量场结构信息的变化。这使得简化了要使用的H.264编码设备，而无需预分析并且不必需运动估计。

编码器5包括图像预分析模块16。模块16在输出端上连接到图像组(GOP)重构模块17的输入端。模块17的输出端连接到判定模块18的输入端，判定模块18的输出端连接到编码环19的输入端。编码环的输出端连接到熵编码模块20的输入端。

模块17的输出端还连接到运动估计模块21的输入端。

模块16、17、18、19、20和21是MPEG-2类型编码器中的特征已知的部分元件。

在图3的实施例中，除图1所示的量化参数之外，MPEG-2类型编码器还提供了以下参数(图1中未示出)：

—GOP的结构，

—图像类型(步进的，交织的)，

—场景变化，

—MPEG-2类型向量场。

图4表示在根据本发明的设备中使用的单通道H.264编码器2的实施例。

编码器2包括图像重构模块11，用于在输入端上接收经模块1延迟的待编码的视频图像。

模块11的输出端连接到判定模块12的输入端以及运动估计模块15的输入端。模块15还在输入端上接收源自图3表示的编码器2的信号，该信号是用于16*8或16*16块的MPEG-2类型向量场。运动估计模块15修改向量场的精度，以将它们设置为符合第二通道编码器的标准(二分之一像素或四分之一像素)，即在本发明的优选实施例中是H.264。在MPEG-2中，运动向量具有二分之一像素精度，而在H.264中，具有四分之一像素精度。

运动估计模块15还用于计算可能被漏掉的运动向量。正在实行的H.264标准批准了7种块尺寸：16*16、16*8、8*16、8*8、4*8、8*4、4*4，而MPEG-2标准仅批准了两种块尺寸：16*16和16*8。另外，在MPEG-2中，取决于是否使用帧预测(每个宏块两个向量，16*8像素的每个子块一个向量)或图像预测(与16*16像素块相关联的一个向量)，宏块可以具有一个或更多个运动向量。

所以，运动估计模块15必须重新计算漏掉的向量。这还取决于设置在运动估计模块中的复杂度。

模块12在输入端上接收来自运动估计模块15的信息。

判定模块12的输出端被连接到编码环13的输入端。判定模块12向编码环传送根据由编码提供的不同的可能性而做出的选择(以帧间/帧内模式编码，量化步长等)。

编码环的输出端被连接到熵编码模块14的输入端。该熵编码码模块14向编码环传送余项(例如在量化步长的应用之后的系数)和要插入该类型的宏块的首部的宏块等级信息集合。熵编码模块14在输出端上向图1表示的测量单元4提供信号S_H264。

图像重构模块11在输入端上接收源自第一通道编码的信息，即：

—GOP的结构

—图像类型(交织或步进)

—场景的变化

判定模块12和编码环13还在输入端上接收Q_H264信号。

模块11、12、13、14和15是H.264类型编码器中的特征已知的部分元件。

因此使编码器2执行的编码最优化，并相对于H.264双通道编码器其成本明显降低。

在根据MPEG-2标准的第一通道编码和根据H.264标准的第二通道编码环境中的上述双通道编码设备可以自然地扩展到其它类型的编码，尤其是扩展到组合以下各项的混合类型的编码：

—通过对固定块或自适应尺寸的块的变换编码，以去除空间冗余。

—运动补偿预测，以去除时间相关的冗余。

并且处理相同类型的图像，即：

—帧内(I)图像，使用上面提到的两种编码中的第一种(空间编码)，

—预测(P)图像，利用相对于在过去排它地设置的基准图像的预测，使用空间和时间相关的两种编码，

—双预测(B)图像，利用相对于在过去和在将来设置的基准图像的预测，使用空间和时间相关的两种编码。

Claims (12)

1、一种用于视频数据流的双通道编码的设备，该设备包括：

-第一类型编码装置(5，6)，用于执行第一编码通道，

-第二类型编码装置(2，4)，用于执行第二编码通道，特征在于

-第二类型编码装置(2，4)不同于第一类型编码装置(5，6)，并且

第二类型编码装置(2，4)使用源自第一编码通道的信息。

2、如权利要求1所述的设备，其特征在于：

-第一类型编码装置(5，6)包括：

-用于测量第一通道的编码成本的装置(6)，该第一通道用于待编码的视频数据流的各图像。

-用于存储若干图像的第一编码通道的编码成本的装置(6)，该若干图像用于定义基准时间。

-第二类型编码装置(2，4)包括：

-用于测量第二通道的编码成本的装置(4)，该第二通道用于待编码的视频数据流的各图像。

-用于存储若干图像的第二编码通道的编码成本的装置(4)，该若干图像用于定义基准时间。

3、如权利要求1或2中的一项所述的编码设备，特征在于其该编码设备包括：用于调整源自通道编码装置的数据流的比特速率的装置(3)。

4、如权利要求3所述的编码设备，特征在于调整比特速率的装置(3)包括：

-预测装置(10)，用于计算在基准周期中待编码的图像的相对权重，

-调整装置(9)，用于计算要由第二类型编码装置(2，4)编码的图像的目标成本，该计算根据：

-从第二类型编码装置(2，4)接收的目标比特速率，和

-基准周期中的待编码的图像的相对权重，

-装置(8)，用于量化第二类型编码，该装置(8)根据图像的目标成本，计算要施加到由第二类型编码装置编码的各图像的量化步长。

5、如在前的权利要求的其中之一所述的编码设备，其特征在于：

-第一通道和第二通道的编码成本包括至少用于待编码的各图像和各基准周期的：

-可缩减成本，

-不可缩减成本，

-以及第一通道和第二通道的编码装置(2，4，5，6)，用于为各待编码的图像计算编码复杂度，该复杂度表示为可缩减成本和量化步长相乘的乘积。

6、如权利要求4或5所述的编码设备，特征在于预测装置(10)包括：

-用于为各待编码的图像计算被称为不可缩减成本比的比例的装置，该比例即第一通道的不可缩减编码成本与第二通道的不可缩减编码成本相比，

-用于为各待编码的图像计算被称为复杂度比的比例的装置，该比例即第一通道的复杂度与第二通道的不复杂度相比，

-用于根据最近一个被编码的图像的复杂度比来更新平均复杂度比的装置，以及

-用于根据最近一个被编码的图像的不可缩减成本比来更新平均不可缩减成本比的装置，

-用于根据平均复杂度比和当前图像的第二类型编码的复杂度，来估计要由第二类型编码装置编码的当前图像的复杂度的装置，

-用于根据平均不可缩减成本和当前图像的第一类型编码的不可缩减成本，来估计要由第二类型编码装置编码的当前图像的不可缩减成的装置，

-用于计算当前图像所属的基准周期的不可缩减成本的装置，

-用于计算当前图像所属的基准周期的复杂度的装置，

-用于计算当前图像的相对权重的装置，将该权重表示为当前图像的复杂度和当前图像所属的基准周期的总复杂度之间的比例。

7、如在前的权利要求的其中之一项所述的编码设备，特征在于该设备包括对第一通道编码进行量化的装置(7)，该装置(7)根据从第二通道编码装置(2，4)接收的目标比特速率来算量化步长。

8、如在前的权利要求的其中之一项所述的编码设备，特征在于第一类型编码装置(5)包括用于估计视频数据的运动的装置(21)，目的是向第二类型编码装置提供运动向量。

9、如在前的权利要求的其中之一项所述的编码设备，特征在于第一类型编码装置包括预分析装置(16，17)，目的是向第二类型编码装置提供有关基准周期的结构、形成视频数据的图像类型的信息、有关对场景的变化的检测信息。

10、如在前的权利要求的其中之一项所述的编码设备，特征在于第一通道编码装置(5，6)根据MPEG-2标准对图像编码，第二通道编码装置(2，4)根据H.264标准对图像编码。

11、对视频流数据进行双通道编码的方法，该方法包括步骤：

-执行第一编码通道的根据第一类型的编码，

-执行第二编码通道的根据第二类型的编码，

特征在于

-第二类型编码不同于第一类型编码，并且

-第二类型编码步骤使用源自第一编码通道的编码信息。

12、计算机程序产品，特征在于其包括程序代码指令，当在计算机上执行所述程序时，该程序代码指令用于执行根据权利要求9所述的方法的步骤。

Images