CN103813170B

CN103813170B - 一种视频码流局部内容转换编码系统及方法

Info

Publication number: CN103813170B
Application number: CN201310689187.6A
Authority: CN
Inventors: 刘昱; 李源
Original assignee: KUNMING E_SHINE TECHNOLOGY Co Ltd
Current assignee: KUNMING E_SHINE TECHNOLOGY Co Ltd
Priority date: 2013-12-12
Filing date: 2013-12-12
Publication date: 2017-03-01
Anticipated expiration: 2033-12-12
Also published as: CN103813170A

Abstract

本发明公开了一种视频数字多媒体码流局部内容转换编码系统及方法，该系统包括解码部分、编码部分、宏块MB分类模块以及VLC数据存储模块；解码部分包括VLD模块、IQ/IDCT模块；编码部分包括宏块VLC数据重用模块、宏块重编码模块和码率控制模块；视频输入信号经VLD模块解码得到的运动矢量编码经过宏块MB分类模块进行模式分类：受到内容编辑影响的宏块EMB、RMB、IMB经过IQ/IDCT模块后，处理结果以及视频输入信号经VLD模块解码得到的运动矢量经过码率控制的结果一起输入宏块重编码模块，另一部分不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。与现有技术相比，本发明所提出的方案可以完全无损的保留非编辑区域的视频质量，并且最大程度的降低计算量。

Description

一种视频码流局部内容转换编码系统及方法

技术领域

本发明涉及数字多媒体编码技术领域，特别是涉及一种用于数字多媒体码流局部内容编辑的方法。

背景技术

在实际应用的多媒体系统中，通常需要对已编码的视频码流内容进行再次编辑，例如：对数字电视节目进行台标插入、字幕叠加等。与对未编码视频数据嵌入信息的技术方法相比，对已压缩的视频码流进行信息嵌入的技术方法通常需要复杂的处理过程，可以被视为一种特殊的视频转换编码处理技术，即视频局部内容编辑转换编码(Partial ContentVideo Editing Transcoding PCVET)技术。

本发明的参考文献[1]：传输流台标字幕插入系统中跳过宏块的处理方法和装置专利号：201210027907.8。

发明内容

为了克服现有技术存在的问题，本发明提供了一种视频码流局部内容转换编码系统及方法，基于数字视频编码算法和标准，提出了一种可以快速完成视频内容编辑的方法，

本发明提出了一种视频数字多媒体码流局部内容转换编码系统，包括解码部分10、编码部分20、宏块MB分类模块30以及VLC数据存储模块40；其中：

解码部分10包括变字长解码处理模块VLD 101、反DCT变换和反量化处理模块IQ/IDCT 102；

编码部分20包括宏块VLC数据重用模块201、宏块重编码模块202和码率控制模块203；

在解码部分10中，视频输入信号经变字长解码处理模块VLD(101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为EAMB类型，并标注编码模式“EMB,RMB,IMB及VMB分类”：一部分的I、P帧及B帧中受到内容编辑影响的宏块EMB、RMB、IMB，对所述受到内容编辑影响的宏EMB、RMB、IMB经过反DCT变换和反量化处理模块IQ/IDCT处理后，处理结果以及视频输入信号经变字长解码处理模块VLD解码得到的运动矢量经过码率控制的结果一起输入宏块重编码模块，另一部分的其他所有不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。

用于数字多媒体码流局部内容编辑的视频转换编码的码率控制算法

所述模式分类由专用的“接口”宏块IMB作为PCVET中编码处理的分割点实现，将所述I、P帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB、IMB和不受内容编辑影响的宏块VMB；

所述码率控制模块的算法，在图像级别进行，具体包括以下处理：在变字长解码处理VLD部分，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S；使用“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC码字，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为：

T＝S-V。

本发明还提出了一种视频数字多媒体码流局部内容转换编码方法，该方法包括以下步骤：

视频输入信号经变字长解码处理模块VLD(101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为EAMB类型，并标注编码模式“EMB,RMB,IMB及VMB分类”，对于I帧，像素编辑区域被标注为EMB，并在每个编码条带中的最后一个EMB之后标注一个IMB；对于P帧和B帧，除去像素编辑区域的MB被标注为EMB外，还需进一步标注RMB。RMB的标注通过类似运动补偿的处理完成，

在VLC解码后，依据每个MB的运动模式及MV，判断参考图像数据是否位于编辑区域。如果参考图像数据位于编辑区域，则标注为RMB；IMB的标注在完成EMB和RMB标注后进行；

一部分的I、P帧及B帧中受到内容编辑影响的宏块EMB、RMB、IMB，对所述受到内容编辑影响的宏EMB、RMB、IMB经过反DCT变换和反量化处理模块IQ/IDCT处理后，处理结果以及视频输入信号经变字长解码处理模块VLD解码得到的运动矢量经过码率控制计算一起输入宏块重编码模块；

另一部分的其他所有不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。

所述所述模式分类由专用的“接口”宏块IMB作为编码处理的分割点实现，将所述I、P帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB、IMB和不受内容编辑影响的宏块VMB。

所述码率控制计算，具体包括以下步骤：

用于数字多媒体码流局部内容编辑的视频转换编码，在图像级别进行，具体包括以下处理：在变字长解码处理VLD部分，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S；使用“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC码字，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为：

T＝S-V。

与现有技术相比，本发明有以下优点：

采用本发明所提出的方法，可以保证处理后的码流的码率与原码流精确一致，保证完成PCVET处理后的码流可以动态适配到原传输信道中。此外，在视频质量方面，本发明所提出的方案可以完全无损的保留非编辑区域的视频质量，并且最大程度的降低计算量。可以精准地控制内容修改后的视频码流的码率，所提出的码率控制算法可以获得图像帧级别的码率控制，并实时适应输入源码流的带宽变化，码率控制误差不高于2％。

附图说明

图1是本发明所采用的数字多媒体码流局部内容编辑的视频转码器结构示意图；

图2是编码宏块的分类及运动预测关系图；

图3是PCVET处理前后的一帧视频内容及编码参数比较结果示意图；

图4局部内容编辑后每帧图像的编码数据量变化百分比(％)。

具体实施方式

下面结合附图和实施例，进一步详细说明本发明的具体实施方式。

一、数字多媒体码流局部内容编辑的视频转码器

本发明采用的转码器结构如图1所示。其中，VLD为视频解码处理中的变字长解码模块，VLC为变字长码字，IQ/IDCT为反量化处理和反DCT变换模块。依据像素编辑对视频码流造成的影响，可以对MB进行模式分类。

如图2所示，以I帧和P帧为例，说明MB的分类方法及预测关系，对于B帧也可按照相应的方法进行MB分类。视频的编辑区域可以位于原图像的任何区域，且可以为任意形状(dot虚线所示)，被编辑区域完全或者部分覆盖的宏块，被称为Edited MB(EMB)。没有位于编辑区域，但是采用了编辑区域数据作为参考的预测MB称为Re-predicted MB(RMB)。此外，在每个EMB和RMB的水平位置后的设定一种特殊的MB：“接口”MB(IMB)，其编码参数选择及设定方法在下一节详述。在本专利中，EMB,RMB,IMB也统一称为受到内容编辑影响的宏块(EAMB)，需要重新编码，其他的MB称为不受内容编辑影响的宏块(VMB)，可以直接重用MB的VLC数据。

MPEG-2视频码流是目前主要的多媒体资源格式，本发明以MPEG-2视频码流为例，说明PCVET的处理流程及相关算法，对于H.264/AVC等其他标准格式的码流，也可以采用类似的方法完成PCVET处理。在完成VLC解码后，图1中的“EMB,RMB,IMB及VMB分类”模块判断每个MB是否为EAMB类型，并标注编码模式。对于I帧，像素编辑区域被标注为EMB，并在每个编码条带(Slice)中的最后一个EMB之后标注一个IMB。对于P帧和B帧，除去像素编辑区域的MB被标注为EMB外，还需进一步标注RMB。RMB的标注通过类似运动补偿的处理完成，在VLC解码后，依据每个MB的运动模式及MV，判断参考图像数据是否位于编辑区域。如果参考图像数据位于编辑区域，则标注为RMB。IMB的标注在完成EMB和RMB标注后进行，有关RMB和IMB的具体的判别算法和编码参数确认方法在下一节中详述。在后续的处理中，EAMB需进行重编码。其中，EMB和RMB需重新进行运动估计、模式判断等处理，IMB则依据源码流信息使用下一节中的方法得到MV和编码模式。完成重编码后，EAMB进行解码重构，并更新图像缓存中的数据，避免量化误差飘逸。而对于VMB，将直接复制“VLC存储”中的VLC数据，计算量可以忽略。

二、RMB和IMB的判别算法和编码参数确认方法

视频编码中每个宏块(MB)的编码数据均采用了预测差分编码技术，一个MB的编码数据总与其之前MB的数据相关，且每个MB没有独立的同步语法。因此，对EAMB完成重编码后，该MB数据变化将影响到后续MB的预测值，其后的MB的VLC数据不能被独立解码和直接重用。虽然文献[1]等提出了基于条带为单元的技术进行VLC重用，但是这种技术仅能直接重用不包含VMB的条带数据。如果一个条带中包括EAMB，则该条带需要重编码，需要一定的计算量。本专利提出了“接口”MB技术，“接口”MB是这样一个MB，它是位于需要每个进行重编码的MB之后，将运动矢量(MV)、量化参数(QP)等所有预测参数置为像素编辑之前的源码流相同。“接口”MB之后的MB可以直接重用VLC数据，比特数不变。

为了将“接口”MB后的预测参数置为与源码流一致，我们首先需要分析视频编码中编码参数的预测技术，下表给出了MPEG-2视频编码中预测参数，相关宏块模式及相应的数据参数设定条件，对于H.264/AVC视频等视频编码，也可以依据编码标准得到类似的表格。

表1 MPEG-2视频MB中的参数预测

*为不采用MV Conceal技术的INTRA MB

MB的正确解码将依赖于表1中的预测参数，如图2，MBn为R_MB，该MB重编码后MV由mv_n变为mv′_n。对于MBn+1，其MV基于mv_n进行预测编码，如果直接重用其VLC码字，则MBn+1的MV由mv_n+1变为mv′_n+1，导致参考数据错误。因此，如果我们需要直接重用位于“接口””MB之后的一个MB的VLC数据，则应保证该MB的所有参数预测值没有变化，即“接口””MB应可以将表中的各个参数置为原视频码流相同值。在PCVET处理中，我们在解码部分记录每个MB解码后的所有预测参数信息(“Ori_Predict”)，并采用如下方法选择和设定“接口”MB的编码参数。下述处理中，MB_TY为MB编码模式，其上标分别表示源码流(o)和编辑后的码流(e)。

如图1，本专利所提出的PCVET结构中完成VLD处理后，依据码流中的运动模式及MV信息可以判断出EMB和RMB。随后，使用上述流程标注IMB，并设定IMB的编码参数。完成IMB标注后，在每个包含EMB或RMB的条带中，可能出现1或者多个IMB。每个条带中位于IMB后续位置的MB可以直接重用VLC，而不必进行重编码。

以IMB为切换点，本专利建议的PCVET的编码处理被分为2个编码路径：1.重编码路径：需要重编码的EAMB包括3种类型，其中EMB，RMB采用通用编码算法重新进行运动估计，模式判断和码率参数选择。而IMB基于源码流信息，采依据上述流程直接得到编码参数(MV及QUANT等)，仅重新计算残差和VLC重编码。2.宏块VLC数据重用路径：所有VMB将直接拷贝重用原码流中的VLC数据。

实际应用中，由于每一帧编码图像的目标比特数不断变化，传统的码率控制算法不适合用于PCVET。基于上一节所提出的转码结构和“接口”MB技术，本专利提出一种精确的码率控制算法，可以保证视频质量的前提下，获得精确的动态码率控制效果。下述算法描述中所用到的符号定义如下：

码率控制算法实际上为对EAMB进行量化参数q选择，本发明建议对EAMB中的INTRAMB和INTER MB分别进行控制。PCVET处理中，除去位于I帧的像素编码区被编码为INTRA MB外，P帧及B帧中EAMB在运动估计后将主要被编码为INTER MB。因此，INTER MB的编码比特数对码率控制的性能至关重要。本发明建议为每一帧图像建立用于INTER MB量化参数选择的ρ域码率控制模型，ρ的定义为变换系数量化后零系数的百分比。图像编码比特数与ρ存在线性关系：

R(ρ)＝α·(1-ρ)，可以使用ρ获得精确的码率控制性能。在PCVET完成VLC解码和反量化处理后，记录所有MB的DCT系数，并采用样本距估计INTER MB中每个dtc_i,j系数的Laplacian分布参数的λ_i,j。假定当原视频码流中一帧编码图像中包括m个INTER MB，且一个INTER MB包括4个8×8亮度数据块，则dtc_i,j系数的Lapacian分布参数为：

式(1)中，i、j分别为8×8DCT数据块的行、列序号，k为宏块中4个子块的序号，c_l,k,i,j为第l宏块中，第k个子块的i、j位置系数。计算得到λ_i,j后，即可依据λ_i,j得到i、j位置的dtc_i,j系数分布模型p(dtc_i,j)。

在获得64个dtc_i,j系数的分布参数后，需进一步确定量化参数和量化后为零的百分比ρ_i,j的关系。对于不同的量化参数q，可以计算系数dtc_i,j采用q量化后为零的百分比ρ_i,j和所有INTER MB系数量化后为零的百分比ρ_inter：

将所有量化参数q代入(2)，可以建立的映射表，用于后续处理。

对于α，可以从输入码流中获得本帧图像中所有INTER MB的平均编码比特数R'_inter和平均零百分比ρ'_inter，并通过如下公式获得α：

其中，mb_bits_i为源码流中INTER_MB的DCT系数编码比特数(不包括MV等头部比特)。通过上述计算，获得了参数α并建立的映射表。码率控制中，依据INTERMB编码的目标比特数，计算ρ_inter并查找映射表即可获得用于INTER MB的量化参数q_inter。

对于INTRA MB，由于输入码流中不含有待像素编辑的信息，上述用于INTER MB的码率控制模型并不适用。因此，本专利的方案使用下式确定INTRA MB的量化参数：

其中，n为源码流中当前待编码帧的INTRA MB的数目，q′_i为源码流中每个INTRAMB的量化参数。应当指出，这种控制方法虽然可以保证INTRA MB的编码质量与原视频码流中的图像质量相似，但无法精确的控制INTRA MB的编码比特数。由于INTRA MB主要位于PCVET的I帧中的像素编辑区域，数量较少。且本专利提出的“接口”MB技术和INTER MB码率控制算法可以精确地控制剩余MB的编码比特数，采用式(4)导致的INTRA MB的码率控制误差对实时码率的影响很小。

以上分别给出了用于INTRA MB和INTER MB的量化参数选择算法，在本专利建议的PCVET码率控制算法中，码率控制在图像级别进行处理。在PCVET处理的VLD部分，我们记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S。使用本专利提出的“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC码字，其编码比特数可以由输入码流统计得到。假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为：

T＝S-V (5)

去除V后，码率控制算法实际上为对EAMB进行量化参数q选择，对于PCVET的I帧，需要重编码的MB均为INTRA MB，其量化参数采用式(4)确定q_intra。对于P帧和B帧，首先采用上一节中的方法获取IMB的量化参数并进行重编码，然后采用式(4)确定q_intra并重编码的INTRA MB。记录IMB和INTRA MB的编码比特数为B，将公式(5)转换为INTER MB目标比特数：

T_inter＝S-V-B (6)

随后，计算INTER MB的DCT系数平均编码目标比特数：

其中，x为当前带编码帧中EAMB总数目减去IMB和INTRA MB的数目。y为源码流中当前待编码帧的INTER MB的数mv_bits_i目，为源码流中每个INTRA MB的MV及头部信息比特数。

将C作为R带下式，可以获得对应的ρ_inter，使用ρ_inter查找INTER MB的的映射表的映射表，可以获得用于INTER MB的q_inter。

具体实施例：

使用的5个测试序列对本专利所提出的“接口”MB的字多媒体码流局部内容编辑的视频转换编码方案和相应的码率控制方法进行测试。采用5个测试码流作为测试源码流，每个源码流通过本专利提出的PCVET方案完成128x128的子图插入处理。采用码流分析软件(Elecard Streameye)对比原始码流及输出码流的MB编码模式及VLC数据，如图3中给出测试码流Str1及PCVET处理后码流中的一个B帧的数据对比。

图3中，黄色区域为EMB和RMB，红色区域为IMB，剩余的无色及蓝色区域为VMB。IMB采用源码流中的信息确定MV及MB模式，如IMB1和IMB2分别含有前/后向，帧/场编码的信息。对IMB重编码后，其VLC数据出现变化，如图3(a)和3(b)中的IMB2数据对比。IMB2重编码后，所有MV,QP等预测参数被置为与源码流一致，可以直接重用VLC数据。采用码流分析软件可以验证IMB2后MB与源码流中的二进制VLC数据没有变化，如图3中VMB1的数据对比。对所有的测试码流进行实验证明，本文所提出的IMB标定及参数设定技术可以有效地在I，P，B帧中完成预测参数调整，保证位于IMB后的MB可以进行正确的VLC重用。

在码率控制算法方面，统计5个测试码流的每帧编码比特数变化见图4。由图4可知，使用本文所提出的“接口”MB技术和相应的码率控制方法可以精确地控制每帧图像的编码比特数，采用PCVET进行128x128的子图插入处理后，单帧比特数变化最大不超过10％。出现较大变化的图像主要为I帧，这是由于码率控制对INTRAMB宏块采用了较为简单的码率控制方法。总体来看，5个测试码流的每帧编码比特数变化平均仅为±2％，较好地实现了PCVET处理后与输入码流的实时码率一致的目标。

Claims

1.一种视频数字多媒体码流局部内容转换编码系统，其特征在于，该系统包括解码部分(10)、编码部分(20)、宏块MB分类模块(30)以及VLC数据存储模块(40)；其中：

解码部分(10)包括变字长解码处理模块VLD(101)、反DCT变换和反量化处理模块IQ/IDCT(102)；

编码部分(20)包括宏块VLC数据重用模块(201)、宏块重编码模块(202)和码率控制模块(203)；

在解码部分(10)中，视频输入信号经变字长解码处理模块VLD(101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为受到内容编辑影响的宏块EAMB类型，并标注编码模式“EMB,RMB,IMB及VMB分类”：一部分的I、P帧及B帧中受到内容编辑影响的宏块EMB、RMB、IMB，对所述受到内容编辑影响的宏EMB、RMB、IMB经过反DCT变换和反量化处理模块IQ/IDCT处理后，处理结果以及视频输入信号经变字长解码处理模块VLD解码得到的运动矢量经过码率控制的结果一起输入宏块重编码模块，另一部分的其他所有不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。

2.如权利要求1所述的视频数字多媒体码流局部内容转换编码系统，其特征在于，所述模式分类由专用的“接口”宏块IMB作为编码处理的分割点实现，将所述I、P帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB、IMB和不受内容编辑影响的宏块VMB。

3.如权利要求1所述的视频数字多媒体码流局部内容转换编码系统，其特征在于，所述码率控制模块，用于数字多媒体码流局部内容编辑的视频转换编码，在图像级别进行，具体包括以下处理：在变字长解码处理模块VLD，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S；使用“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC数据，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为：

T＝S-V。

4.一种视频数字多媒体码流局部内容转换编码方法，其特征在于，该方法包括以下步骤：

视频输入信号经变字长解码处理模块VLD(101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为EAMB类型，并标注编码模式“EMB,RMB,IMB及VMB分类”，对于I帧，像素编辑区域被标注为EMB，并在每个编码条带中的最后一个EMB之后标注一个IMB；对于P帧和B帧，除去像素编辑区域的MB被标注为EMB外，还需进一步标注RMB，RMB的标注通过类似运动补偿的处理完成，

在VLC数据解码后，依据每个MB的运动模式及运动矢量MV，判断参考图像数据是否位于编辑区域。如果参考图像数据位于编辑区域，则标注为RMB；IMB的标注在完成EMB和RMB标注后进行；

5.如权利要求4所述的视频数字多媒体码流局部内容转换编码方法，其特征在于，所述模式分类由专用的“接口”宏块IMB作为编码处理的分割点实现，将所述I、P帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB、IMB和不受内容编辑影响的宏块VMB。

6.如权利要求4所述的视频数字多媒体码流局部内容转换编码方法，其特征在于，所述码率控制计算，具体包括以下步骤：

用于数字多媒体码流局部内容编辑的视频转换编码，在图像级别进行，具体包括以下处理：在变字长解码处理模块VLD，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S；使用“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC数据，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为：

T＝S-V。