CN1259790C - 一种用于跨网段传输视频码流的容错转码控制方法 - Google Patents

Abstract

本发明涉及一种用于跨网段传输视频码流的容错转码控制方法，属于多媒体通信技术领域。本方法首先在转码器中建立传递指数矩阵；确定转码器中当前处理帧的需刷新宏块百分比Po，并确定其中各个宏块的运动活跃程度；根据Po、传递指数矩阵以及宏块运动活跃程度确定需要进行编码刷新的宏块的位置；根据Ro和需进行编码刷新的宏块的位置，确定当前帧内所有宏块的量化系数，并对转码器中当前已解码帧的所有宏块进行编码，实现对当前处理帧的转码；根据宏块编码，更新转码器的传递指数矩阵。本发明方法实现了视频转码器的信源容错转码，算法简易，适用范围广，根据输入码流的平均比特率、前方信道的可用码率及信道的比特差错，就能实现容错转码。

Description

一种用于跨网段传输视频码流的容错转码控制方法

技术领域    本发明涉及一种用于跨网段传输视频码流的容错转码控制方法，属于多媒体通信技术领域，特别涉及视频网关技术。

背景技术    步入20世纪90年代以来，音视频技术呈现飞速发展。随着运动图象专家组-2(以下简称MPEG-2)和MPEG-4的问世和应用，造就了一大批新兴多媒体产业。与此同时，由于互连网和移动通信技术的发展，网络融合化的世界已见规模，电话网、有线电视广播网、微波卫星、移动通信、局域网和广域网等网络，以及相辅相成的计算机、PDA、手机、笔记本等各种媒体终端，构成丰富多彩的信息互连世界。在这种背景下，各种标准组织针对不同的多媒体应用建立了各种视音频编码标准。例如，面向低比特率双向视频传输的H.263，面向广播的高质量视频应用MPEG-2，以及面向流媒体和交互式多媒体应用的MPEG-4。这些视频标准针对不同的场合，应用于不同的环境，具有不同的压缩效率、码率等特性；然而，融合的媒体世界对这些不同的格式之间的动态转换的需要越来越多，视频转码技术也就应用在此。视频转码技术就是在两种不同的标准或者同种标准的不同分辨率、码率之间的相互转换，目的是使处理耗费的时间尽可能的短，同时减少由于额外的解码和编码所造成的视频质量的损伤。如图1是一个应用于无线网络的点播系统，由于IP网络与无线网络的带宽特性存在差异，因此在进入无线网之前要进行转码，将视频码流变为适合无线信道和用户终端的码流。

网络中的视频传输不可避免地会出现丢包、比特差错、延时等问题，在无线通信中信道的条件更加恶劣。为了确保视频中重要的信息能够在传输接收端正确地解码，视频的容错编码就显得必要了。容错编码指的是在压缩编码的时候，不对码流进行过分的压缩，相反，压缩时故意保留一些冗余的信息，使得压缩出来的码流在传输过程中出现丢失或者差错的时候，解码端也能根据这些冗余的信息来恢复原来的视频数据。

当前对视频转码技术的研究和应用还处于起始阶段。现今的许多视频转码技术尚不成型，转码所涉及容错技术大都只是理论上的研究。并且，这些技术将转码与容错分开考虑，没有充分利用进入转码器前的处于前一网段中的视频比特流信息来设计容错性，这样，已有的转码技术算法繁杂，容错性相对较差。

发明内容    本发明的目的是提出一种用于跨网段传输视频码流的容错转码控制方法，根据外部网络状况，控制转码后视频码流的容错性能，优化转码效果。

本发明提出的用于跨网段传输视频码流的容错转码控制方法，包括以下各步骤：

(1)在转码器中建立传递指数矩阵；

(2)确定转码器中当前处理帧的需刷新宏块百分比Po：

$P_o=\max [0,\min [1,P_i^{\mathrm{\α}}\×\frac{(E+5\×{10}^{-4})}{5\×{10}^{-3}}\×{\left(\frac{R_o}{R_i}\right)}^{\mathrm{\β}}]-f+0.5]$

上式中，R_i为前一网段视频的比特率，P_i ^α为经过指数加权因子调节的前一网段当前处理帧内编码宏块百分比，Ro为后一网段视频的比特率，E为后一网段视频的比特差错率，f为转码器中输出缓冲区的码流溢满程度，α，β皆为指数加权因子；

(3)确定转码器的当前处理帧中各个宏块的运动活跃程度；

(4)根据上述Po、上述传递指数矩阵以及转码器中当前处理帧的宏块运动活跃程度确定当前帧中需要进行编码刷新的宏块的位置；

(5)根据上述Ro和上述需进行编码刷新的宏块的位置，确定当前帧内所有宏块的量化系数，并对转码器中当前已解码帧的所有宏块进行编码，实现对当前处理帧的转码；

(6)根据上述编码，更新转码器的传递指数矩阵。

上述方法的步骤1中传递指数矩阵由一二维数组构成，二维数组中的每一个元素对应视频帧的一个象素。

上述方法中的宏块运动活跃程度T^k为：

$T^k=\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Δ}}_{\mathrm{ij}}-\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{\mathrm{ij}}}{64})}^2}{64}$

其中Δ_ij为转码器的当前处理帧中第k个宏块的第i行第j列的象素值。

上述方法的步骤4中确定当前处理帧内需进行编码刷新的宏块的方法，包括如下步骤：

(1)计算需刷新的宏块个数N：

                    N＝Po×帧内宏块数

(2)从上述传递矩阵中检索出当前处理帧中第k个宏块第i行第j列象素所对应的传递指数D_ij ^k，则第k个宏块的刷新指数为：

${\mathrm{\Γ}}_k=T^k\×\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{D}_{\mathrm{ij}}^k}{64}$

(3)按照刷新指数Γ_k的大小次序排列，取前N个宏块进行刷新。

上述方法的步骤6中更新转码器的传递指数矩阵的方法是，将被刷新宏块的所有象素所对应的传递指数置为0，未被刷新的宏块中象素所对应的传递指数置为在原有传递指数值上加1。

本发明提出的用于跨网段传输视频码流的容错转码控制方法，其优点是：

1、本发明实现了视频转码器的信源容错转码。利用该容错转码器可以将IP网络上的MPEG4视频码流转为可以抗比特差错的，适合低码率无线网络传输的比特流。

2、本发明算法简易，效果优越，适用范围广，只需要知道输入码流的平均比特率、前方信道的可用码率及信道的比特差错，就能实现容错转码。转码时考虑的是MPEG4到MPEG4的转码，适用于开环转码(比特率转码)、时域转码、空域转码以及时空结合的转码。

3、本发明方法适用与网络的动态变化(包括可用带宽、误码率)。

4、本发明方法能兼容普遍流传的MPEG4 xvid的编解码器中的宏块级别的恒定码率控制算法。

附图说明

图1是适用本发明方法的跨网段无线点播转码系统示意图。

图2是本发明方法的流程框图。

图3是本发明方法的一个应用实例。

图4是1/4通用交互格式(以下简称QCIF)的宏块帧内编码刷新示意图。

具体实施方式

本发明提出的用于跨网段传输视频码流的容错转码控制方法，其流程框图和跨网段无线点播转码系统示意图如图2和图1所示，首先在转码器中建立传递指数矩阵；确定转码器中当前处理帧的需刷新宏块百分比Po：

$P_o=\max [0,\min [1,P_i^{\mathrm{\α}}\×\frac{(E+5\×{10}^{-4})}{5\×{10}^{-3}}\×{\left(\frac{R_o}{R_i}\right)}^{\mathrm{\β}}]-f+0.5]$

上式中，R_i为前一网段视频的比特率，P_i ^α为经过指数加权因子调节的前一网段当前处理帧内编码宏块百分比，Ro为后一网段视频的比特率，E为后一网段视频的比特差错率，f为转码器中输出缓冲区的码流溢满程度，α，β皆为指数加权因子，通常取为1，可根据控制的效果进行微小的修正；确定转码器的当前处理帧中各个宏块的运动活跃程度；根据上述Po、上述传递指数矩阵以及转码器中当前处理帧的宏块运动活跃程度确定当前帧中需要进行编码刷新的宏块的位置；根据上述Ro和上述需进行编码刷新的宏块的位置，确定当前帧内所有宏块的量化系数，并对转码器中当前已解码帧的所有宏块进行编码，实现对当前处理帧的转码；根据上述编码，更新转码器的传递指数矩阵。

上述方法的步骤1中传递指数矩阵由一二维数组构成，二维数组中的每一个元素对应视频帧的一个象素。

上述方法中的宏块运动活跃程度T^k为：

$T^k=\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Δ}}_{\mathrm{ij}}-\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{\mathrm{ij}}}{64})}^2}{64}$

其中Δ_ij为转码器的当前处理帧中第k个宏块的第i行第j列的象素值。

上述方法中确定当前处理帧内需进行编码刷新的宏块的方法，首先计算需刷新的宏块个数N：

                      N＝Po×帧内宏块数

从上述传递矩阵中检索出当前处理帧中第k个宏块第i行第j列象素所对应的传递指数D_ij ^k，则第k个宏块的刷新指数为：

${\mathrm{\Γ}}_k=T^k\×\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{D}_{\mathrm{ij}}^k}{64}$

按照刷新指数Γ_k的大小次序排列，取前N个宏块进行刷新。

上述方法中更新转码器的传递指数矩阵的方法是，将被刷新宏块的所有象素所对应的传递指数置为0，未被刷新的宏块中象素所对应的传递指数置为在原有传递指数值上加1。

本发明中的宏块刷新，简单地说就是对帧中比较复杂的，即运动活跃的宏块进行帧内编码，这样，即使前面帧的数据差错或丢失，当前帧不会受到影响而正常解码。非刷新宏块即进行帧间编码的模块，帧间编码要利用码流序列中的前一视频帧来确定。图4是帧大小为QCIF(176×144)格式帧的宏块帧内编码的示意图。图中I表示宏块为帧内编码，P表示宏块为帧间编码。利用宏块的帧内刷新，防止由于比特差错导致的误差传递。转码时能动态地根据网络带宽和信道误码率调整被刷新的宏块数目，操作简单，不与其它转码模块冲突，可无缝嵌入其它转码模块中。另一点是被刷新的宏块考虑到全局的误码传递机制，使用了传递指数和刷新指数等新概念来确定帧内刷新宏块的位置。

本发明方法中，传递指数矩阵用来指示矩阵中的元素所对应的象素所属的宏块已经连续多少时间(帧间的时间间隔)没有被刷新。若参考帧内某宏块刚刚被刷新，则该宏块内的所有象素对应的传递指数皆为0，若某宏块没有被刷新，则根据该宏块的运动矢量，找到前一帧相应位置处的参考区域，该宏块上的象素的传递指数将继承对应参考区域上象素的传递指数，即当前没有进行帧内刷新的宏块，其象素所对应的传递指数为参考区域宏块中的象素对应的传递指数加1。传递指数影响宏块的刷新规则，若某位置处的宏块长时间没有被刷新，那么当差错出现在该位置处而且出现的时间很早时，对后面利用该区域作为参考宏块的宏块来说，影响非常大。所以，宏块的刷新频率在空间上应当尽量均匀，传递指数矩阵就是为了刻画这个属性而引入的。

以下结合图3详细介绍本发明的一个应用实施例：

1、转发服务器读取从编码服务器编码出来的经过前一网段即Internet的一帧视频流，并从外部控制信道得到这一输入视频流的平均比特率R_i。

2、转码器中的前端解码器对输入的MPEG4单帧视频流进行解码，并从中得到输入视频流的帧内编码宏块百分比P_i。

3、运用网络探测方法得到转码器和客户端之间网络的可用带宽(即目标比特率)和网络的比特差错率，并结合1，2得到的参数运用本容错转码控制算法确定单帧转码帧的宏块刷新位置。

4、对单帧转码帧中宏块刷新位置处的宏块进行帧内编码，其它宏块进行帧间编码。这其中包含运用码率控制算法得到各个宏块的量化系数。

5、对单帧视频帧进行量化，可变长编码，完成对一帧视频的转码过程。

6、将转码后的单帧码流发向客户端，完成跨网段的视频流容错传送。

Claims (4)

1、一种用于跨网段传输视频码流的容错转码控制方法，包括以下各步骤：

(1)在转码器中建立传递指数矩阵；

(2)确定转码器中当前处理帧的需刷新宏块百分比Po：

$P_o=\max [0,\min [1,P_i^{\mathrm{\α}}\×\frac{(E+5\×{10}^{-4})}{5\×{10}^{-3}}\×{\left(\frac{R_o}{R_i}\right)}^{\mathrm{\β}}]-f+0.5]$

上式中，R_i为前一网段视频的比特率，P_i ^α为经过指数加权因子调节的前一网段当前处理帧内编码宏块百分比，Ro为后一网段视频的比特率，E为后一网段视频的比特差错率，f为转码器中输出缓冲区的码流溢满程度，α，β皆为指数加权因子；

(3)确定转码器的当前处理帧中各个宏块的运动活跃程度；

(4)根据上述Po、上述传递指数矩阵以及转码器中当前处理帧的宏块运动活跃程度T^k确定当前帧中需要进行编码刷新的宏块的位置，其方法包括如下步骤：

(a)计算需刷新的宏块个数N：

                    N＝Po×帧内宏块数

(b)从上述传递指数矩阵中检索出当前处理帧中第k个宏块第i行第j列象素所对应的传递指数D_ij ^k，则第k个宏块的刷新指数为：

${\mathrm{\Γ}}_k=T^k\×\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{D}_{\mathrm{ij}}^k}{64}$

(c)按照刷新指数Γ_k的大小次序排列，取前N个宏块进行刷新；

(5)根据上述Ro和上述需进行编码刷新的宏块的位置，确定当前帧内所有宏块的量化系数，并对转码器中当前已解码帧的所有宏块进行编码，实现对当前处理帧的转码；

(6)根据上述编码，更新转码器的传递指数矩阵。

2、如权利要求1所述的方法，其特征在于步骤1的传递指数矩阵由一二维数组构成，二维数组中的每一个元素对应视频帧的一个象素。

3、如权利要求1所述的方法，其特征在于步骤3中的宏块运动活跃程度T^k为：

$T^k=\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Δ}}_{\mathrm{ij}}-\frac{\underset{i=0}{\overset{7}{\mathrm{\Σ}}}\underset{j=0}{\overset{7}{\mathrm{\Σ}}}{\mathrm{\Δ}}_{\mathrm{ij}}}{64})}^2}{64}$

其中Δ_ij为转码器的当前处理帧中第k个宏块的第i行第j列的象素值。

4、如权利要求1所述的方法，其特征在于步骤6中更新转码器的传递指数矩阵的方法是，将被刷新宏块的所有象素所对应的传递指数置为0，将未被刷新的宏块中象素所对应的传递指数置为在原有传递指数值上加1。

Images