CN1543222A - 基于dct空间的多路画面混合方法 - Google Patents

Abstract

本发明涉及一种基于DCT空间的多路画面混合的方法，在视频流的语法一级将多路视频流按照混合后的空间位置合并在一起，每路视频流映射成混合后的大画面的相应位置宏块的语法流，混合后的大画面的图像头信息、块组头信息和宏块头信息由参与混合的子路产生。该方法可以提高视频服务器的效率，减少失真，增强视频服务器输出视频流的灵活性。

Description

基于DCT空间的多路画面混合方法

技术领域

本发明属于图像通信领域，特别涉及一种视频服务器上的多路画面混合的方法。

背景技术

视频广播中心服务器需要具有将多个分会场画面混合后再转发到每个接收终端的功能，使每个接收终端能够同时看到多个画面，现阶段实现这个过程的常规方法有三种。一是开启多个逻辑通道，中心服务器将接收到的分会场的多路视频依然用多个逻辑通道发到每个终端。要求每个终端具备多个视频解码器，终端的画面混合在解码后显示时完成。普通的终端需要经过改造才具备这种能力，否则依然只能看到一路视频。这种方法的好处是中心服务器没有画面混合需要的附加计算，也没有再次计算可能带来的失真，缺点主要是需要对现有的终端进行改造，而且中心服务器无法做到自适应码率控制。二是编解码器级联，中心服务器中放置多个解码器，每个解码器解码一路视频，然后将解码后的多路图像混合成一路画面，送到一路编码器编码，作为一路视频流发向接收终端。这种方法的好处是多路画面接收和显示对终端没有特殊的要求，多路画面混合是在中心服务器实现的，对终端来说透明的。例如四路CIF画面可以混合成一路4CIF或者依然一路CIF，终端仍然将它作为一路来处理。而且，该方法容易处理实际需求中出现的一些问题，例如多路画面帧率不一致、图像格式不一致、混合后有尺寸改变和带宽改变的要求等等，都可以在像素域得到合适的处理。不足之处是二次编码带来的失真和繁重的计算量。三是利用H263 CPM语法，H263标准中已经考虑到了多路视频传输问题，它将多路视频流划分成一个个的子视频流复用在H263的语法流中，但是目前会议终端都没有遵循这个标准来做，不同产品之间依然难做到互通互联。

发明内容

本发明的目的是针对上述问题提供一种基于DCT空间的多路画面混合方法，该方法可以提高视频服务器的效率，减少失真。

本发明提供的技术方案为，在视频流的语法一级将多路视频流按照混合后的空间位置合并在一起，每路视频流映射成混合后的大画面的相应位置宏块的语法流，混合后的大画面的图像头信息、块组头信息和宏块头信息由参与混合的子路产生。

而且，本方法提供以下方法解决图像头信息、块组头信息和宏块头信息的产生：

1)混合后视频流的图像层与混合前多路视频流的图像层同时相关，图像头信息处理方法为：

(1)采用多路视频流时域参考值的均值作为新的时域参考值，若某一路视频流已结束，则该路频流时域参考值不参与计算。

(2)若多路视频流图像类型均为I帧，混合后同为I帧，否则混合后为P帧，混合前的I帧混合后都转为P帧的帧内块。

(3)混合后视频流的图像层量化步长值只与第一路(左上角)视频流相关，直接将视频流的图像层量化步长值作为混合后的图像层量化步长值。

2)混合后视频流的块组层只与混合前同一水平方向的两路视频流的块组层相关，与其它视频流无关，只有当同一水平方向上左边的视频流存在块组层，则混合后在此水平方向上存在块组层，且头信息需要重新计算，否则，不存在块组层。块组层头信息处理方法为：

(1)根据混合后视频流I、P帧类型确定混合后的块组层帧标志值。

(2)混合后的块组层量化步长直接等于左边视频流的块组层量化步长值。

3)合后视频流的宏块只与其混合后的相邻宏块相关，多路视频交界处和块组层变化处混合前后的相邻宏块会发生变化。宏块层头信息处理方法如下：

(1)差分量化步长的计算

在H.263中，差分量化步长限制在[-2，+2]之间。但多路视频混合后，原先相互独立的两帧图像的宏块会在视频交界处相邻，它们之间的量化步长QUANT差值超过了这个范围需要进行二次量化，即先按原先的量化步长进行反量化，再按照根据[-2，+2]限制算得的新量化步长进行二次量化。当量化步长差值较大时，需要对多个连续宏块进行二次量化。

(2)编码标记值由对二次量化后的系数重新统计，确定新的编码标记值。

(3)宏块类型与色度编码块模式值与三点相关第一点，I帧转变为P帧，宏块类型值的变长编码表会改变；第二点，当需要进行二次量化时，宏块级QUANT的差值可能由零变为非零，也可能由非零变为零，在这种情况下宏块类型会在帧间块与有量化步长帧间块，帧内块与有量化步长帧内块之间变化，从而改变宏块类型值；第三点，二次量化可能会使色度块的系数量化为零，使某一色度块不存在非帧内块直流系数，从而改变色度编码块模式值。

(4)二次量化改变亮度块的非帧内块直流系数，从而改变亮度编码块模式值。

(5)运动矢量差分值根据混合前的块组层和相邻宏块重构出运动矢量值，再根据混合后的块组层和相邻宏块计算新的预测因子得到。

而且，对于二次量化产生的二次量化误差，由以下三种方法综合解决：

1)置块组层，在块组头信息中重新刷新量化步长的绝对数值。

2)合成分析量化(ABS)，即通过逆量化的相反过程进行量化，使编解码器量化器形成闭环。

3)量化过程提前到左半部的宏块中。

本发明的有益效果是：

(1)混合完全在码流层次进行，计算复杂度大幅降低，突破了现有技术中视频服务器计算量的瓶颈，为视频服务器的大规模视频接入提供可能。

(2)可以避免二次编码的失真，由于避免了象素空间的再次编码，二次编码的系统误差积累也就不存在。

(3)该方法支持帧率、带宽等编码参数的自适应处理，增强了视频服务器输出视频流的灵活性。

附图说明

图1是本发明码流映射实现流程图。

具体实施方式

参见图1，在视频流的语法一级将多路视频流按照混合后的空间位置合并在一起，例如四个QCIF码流合并成一个CIF的码流，或四个CIF码流合并成一个4CIF的码流，路视频流映射成混合后的大画面的相应位置宏块的语法流，混合后的大画面的图像头信息、块组头信息和宏块头信息由参与混合的子路产生。图1即说明了四个码流Pic1～4及对应的宏块层MB1～4、块组层GOB1～4映射实现为码流Pic及对应的宏块层和块组层流程。该方法的混合完全在码流层次进行，只有视频流的解复用和复用的计算量，以及少量的二次量化的计算，因而计算复杂度大大降低；另外二次编码的失真也可以避免。

本算法的关键是如何恰当利用多路视频头信息的相关性来重构混合后视频流的头信息。多路视频头信息的相关性可以分为图像层相关性，块组层相关性，宏块层相关性三个层次。

1)图像层相关性：混合后视频流的图像层与混合前多路视频流的图像层同时相关。具体包含以下几点：

(1)时域参考(TR)值相关性：混合前多路视频流的时域TR值相互独立，而混合后则要求多个TR值统一为一个TR值。本算法中采用n路视频流TR值的均值作为新的TR值，其中n为当前未结束的视频流数目，若某一路视频流已结束，则n相应减1。

(2)图像类型相关性：由于混合前多路视频流的I帧间隔不同，因此会出现I帧，P帧混合为一帧的情况。本算法中当前多路视频流均为I帧，混合后也为I帧。否则，混合后为P帧，混合前的I帧混合后都转为P帧的帧内块Intra宏块。

(3)图像层量化步长(PQUANT)值相关性：混合后视频流的PQUANT值只与第一路(左上角)视频流相关，本算法中直接将视频流的PQUANT值作为混合后的PQUANT值。

2)块组层(GOB)相关性：混合后视频流的块组层只与混合前同一水平方向的两路视频流的块组层相关，与其它视频流无关。本算法中只要当同一水平方向上左边的视频流存在GOB层，则混合后在此水平方向上存在GOB层。否则，不存在GOB层。块组层相关性具体还包含以下几点：

(1)块组层帧标志(GFID)值相关性：因为GFID的变化与帧类型(PTYPE)值的变化是同步的，而决定混合后视频流PTYPE值变化的是图像类型。因此GFID值的相关性其实就是图像类型相关性。本算法中直接根据混合后视频流I.P帧类型确定混合后的GFID值。

(2)块组层量化步长(GQUANT)值的相关性：由于在本算法中只有当同一水平方向上左边的视频流存在GOB层，混合后在此水平方向上才会存在GOB层。所以在本算法中混合后的GQUANT值直接等于左边视频流的GQUANT值。

3)宏块层(MB)相关性：混合后视频流的宏块只与其混合后的相邻宏块相关，因为只有在四路视频交界处和GOB层变化处混合前后的相邻宏块会发生变化，所以宏块层重构的关键在视频交界处和GOB层变化处宏块的处理。具体来说包含以下几点：

(1)差分量化步长(DQUANT)值相关性：在H.263中，DQUANT限制在[-2，+2]之间。但多路视频混合后，原先相互独立的两帧图像的宏块会在视频交界处相邻，它们之间的QUANT差值不能保证恰好落在[-2，+2]之间。在这种情况下，就需要进行二次量化，即先按原先的量化步长进行反量化，再按照根据[-2，+2]限制算得的新量化步长进行二次量化。当QUANT差值较大时，可能需要对多个连续宏块进行二次量化。

(2)编码标记(COD)值相关性：COD值与两点相关：第一点，I帧的Intra块转为P帧Intra块时，会增加1bit的COD位；第二点，当由于量化步长差值DQUANT值[-2，+2]范围的限制而必须进行二次量化时，以前的非零系数有可能全部被重新量化为零系数，使宏块不再存在非帧内块直流系数INTRADC系数。因此COD值有可能由0变为1。在本算法中，会对二次量化后的系数重新统计，确定新的COD值。

(3)宏块类型与色度编码块模式(MCBPC)值与三点相关：第一点，I帧转变为P帧，MCBPC的变长编码表会改变；第二点当需要进行二次量化时，宏块级QUANT的差值可能由零变为非零，也可能由非零变为零，在这种情况下宏块类型会在帧间块Inter与有量化步长帧间块Inter+Q，帧内块Intra与量化步长帧内块Intra+Q之间变化，从而改变MCBPC值；第三点，二次量化可能会使色度块的系数量化为零，使某一色度块不存在非INTRADC系数，从而改变MCBPC值。

(4)亮度编码块模式(CBPY)值相关性：与MCBPC相似，二次量化也会改变亮度块的非INTRADC系数，从而改变MCBPC值。

(5)运动矢量(MVD)相关性：H.263标准宏块的运动矢量采用了差分偏码技术。差分编码值是当前宏块的运动矢量和“预测因子”之差；而预测因子取自三个相邻宏块的运动矢量(左、上、上右)的中值，因此MVD与这三个相邻宏块相关。此外，当GOB头非空时，处于GOB顶端的宏块的候选预测因子MV2(上)，MV3(上右)均置为MV1(左)。因此MVD还与GOB层相关。多路视频混合后，GOB层会发生改变，图像交界处的三个相邻宏块也会发生改变。在本算法中，先根据混合前的GOB层和相邻宏块重构出运动矢量值，再根据混合后的GOB层和相邻宏块计算新的预测因子，得到新的运动矢量差分值。

例如，在视频会议(MCU)中，假若有若干终端连接到MCU上，MCU的一个功能就是完成每路终端的声音和画面的混合，采取本发明的方法可以高效率地将四路(甚至更多路)的画面混合成一个单一的画面，例如每路画面分别处于混合后的大画面的上下左右四个位置。这样得到的大画面任何普通的会议电视终端都可以接收观看。

本发明还对二次量化误差的处理提出了策略。在H.263中，宏块层码率控制不允许相邻宏块的QUANT值发生陡变，量化差值DQUANT被限制在[-2，+2]之间。但多路视频混合时，原先两帧图像的宏块会在视频交界处和换行处相邻，而这两路图象本来是相互独立的，性质可能会有较大的差异。在某些情况下，例如一路是高码率而另一路是低码率时，它们之间的QUANT差值就会比较大，无法落在[-2，+2]之间。因此就必须进行二次量化，即先按第一次的量化步长进行反量化，再按照根据[-2，+2]限制算得的新量化步长进行第二次量化。这样就会产生二次量化误差。当第一次量化步长较小而第二次量化步长较大时，量化误差会对图象质量产生影响。尤其是当交界处和换行处量化的QUANT差值较大时，会对连续多个宏块进行二次量化，从而使得图象质量显著下降。综合解决的办法包括以下三条：

1)设置GOB层，在块组头信息中重新刷新量化步长的绝对数值。：避免二次量化误差最直接的方法是对每一行都设置GOB层，因为GOB层的GQUANT位允许重新设置量化步长，从而避开了DQUANT。但是设置GOB层只能使左边的图象不受二次量化误差影响，而不能避免右边图象的质量下降。

2)合成分析量化(ABS)，即通过逆量化的相反过程进行量化，使编解码器量化器形成闭环。

除INTRADC外的非零量化DCT系数的逆量化公式是，

|REC|＝QUANT·(2·|LEVEL|+1)if QUANT＝″odd″

|REC|＝QUANT·(2·|LEVEL|+1)1 if QUANT＝″even″

REC＝sign(LEVEL)·|REC|

对应于上述逆量化的量化公式是，

$\left|\mathrm{LEVEL}\right|=\frac{\left|\mathrm{COF}\right|-\mathrm{QUANT}}{2\mathrm{QUANT}},$ ifQUANT＝″odd″

$\left|\mathrm{LEVEL}\right|=\frac{\left(\right|\mathrm{COF}|+1)-\mathrm{QUANT}}{2\mathrm{QUANT}},$ if QUANT＝″even″

LEVEL＝sign(COF)|LEVEL|

3)量化过程提前到左半部的宏块中。

原有的算法只能在由低码率视频变为高码率视频的交界处和换行处才可以检测到QUANT的陡变，之后才能按-2/MB的速率将低码率视频的大量化步长缓慢变化到高码率视频的小量化步长，这样就使得高码率视频的主观质量显著下降。而提前量化方法的基本思想就是不是在低码率视频变为高码率视频的交界处和换行处才开始降低步长，而是提前按-2/MB的速率降低低码率视频的大量化步长，使得到达交界处和换行处时，低码率视频量化步长已经能够比较平滑的迅速过渡到高码率视频的量化步长。这样就可以基本上避免高码率视频主观质量的显著下降，而低码率视频由于第一次量化步长已经很大，第二次量化步长变小对其主观质量和码率基本上都不会产生影响。算法的具体步骤如下：

a.分别计算低码率视频与高码率视频第一次交界处或换行处的前后11个宏块量化步长的均值QP低1、QP高1。

b.根据QP低1、QP高1预测以下一次低码率视频与高码率视频交界处或换行处为基准需要提前量化的距离(以宏块为单位)L＝(QP低1-QP高1)/2-1。

c根据提前量化后交界处或换行处的实际量化差值ΔQP对提前量化距离进行修正。当ΔQP＞2时，增大提前量化的距离，增量ΔL＝ΔQP/2-1；当ΔQP＜-2时，减小提前量化的距离，减量ΔL＝|ΔQP|/2-1。

d.将修正后的提前量化距离作为下一次的提前量化距离。

e.重复修正、量化，直到一帧图象结束。

Claims (3)

1.一种基于DCT空间的多路画面混合方法，其特征是：在视频流的语法一级将多路视频流按照混合后的空间位置合并在一起，每路视频流映射成混合后的大画面的相应位置宏块的语法流，混合后的大画面的图像头信息、块组头信息和宏块头信息由参与混合的子路产生。

2.根据权利要求1所述的多路画面混合方法，其特征是：

1)混合后视频流的图像层与混合前多路视频流的图像层同时相关，图像头信息处理方法为：

(1)采用多路视频流时域参考值的均值作为新的时域参考值，若某一路视频流已结束，则该路频流时域参考值不参与计算。

(2)若多路视频流图像类型均为I帧，混合后同为I帧，否则混合后为P帧，混合前的I帧混合后都转为P帧的帧内块。

(3)混合后视频流的图像层量化步长值只与第一路(左上角)视频流相关，直接将视频流的图像层量化步长值作为混合后的图像层量化步长值。

2)混合后视频流的块组层只与混合前同一水平方向的两路视频流的块组层相关，与其它视频流无关，只有当同一水平方向上左边的视频流存在块组层，则混合后在此水平方向上存在块组层，且头信息需要重新计算，否则，不存在块组层。块组层头信息处理方法为：

(1)根据混合后视频流I、P帧类型确定混合后的块组层帧标志值。

(2)混合后的块组层量化步长直接等于左边视频流的块组层量化步长值。

3)合后视频流的宏块只与其混合后的相邻宏块相关，多路视频交界处和块组层变化处混合前后的相邻宏块会发生变化。宏块层头信息处理方法如下：

(1)差分量化步长的计算

在H.263中，差分量化步长限制在[-2，+2]之间。但多路视频混合后，原先相互独立的两帧图像的宏块会在视频交界处相邻，它们之间的量化步长QUANT差值超过了这个范围需要进行二次量化，即先按原先的量化步长进行反量化，再按照根据[-2，+2]限制算得的新量化步长进行二次量化。当量化步长差值较大时，需要对多个连续宏块进行二次量化。

(2)编码标记值由对二次量化后的系数重新统计，确定新的编码标记值。

(3)宏块类型与色度编码块模式值与三点相关

第一点，I帧转变为P帧，宏块类型值的变长编码表会改变；第二点，当需要进行二次量化时，宏块级QUANT的差值可能由零变为非零，也可能由非零变为零，在这种情况下宏块类型会在帧间块与有量化步长帧间块，帧内块与有量化步长帧内块之间变化，从而改变宏块类型值；第三点，二次量化可能会使色度块的系数量化为零，使某一色度块不存在非帧内块直流系数，从而改变色度编码块模式值。

(4)二次量化改变亮度块的非帧内块直流系数，从而改变亮度编码块模式值。

(5)运动矢量差分值根据混合前的块组层和相邻宏块重构出运动矢量值，再根据混合后的块组层和相邻宏块计算新的预测因子得到。

3.根据权利要求1或2所述的多路画面混合方法，其特征是：对于二次量化产生的二次量化误差，由以下三种方法综合解决：

1)置块组层，在块组头信息中重新刷新量化步长的绝对数值。

2)合成分析量化，即通过逆量化的相反过程进行量化，使编解码器量化器形成闭环。

3)量化过程提前到左半部的宏块中。

Images