CN1259790C - 一种用于跨网段传输视频码流的容错转码控制方法 - Google Patents

一种用于跨网段传输视频码流的容错转码控制方法 Download PDF

Info

Publication number
CN1259790C
CN1259790C CN 200310101663 CN200310101663A CN1259790C CN 1259790 C CN1259790 C CN 1259790C CN 200310101663 CN200310101663 CN 200310101663 CN 200310101663 A CN200310101663 A CN 200310101663A CN 1259790 C CN1259790 C CN 1259790C
Authority
CN
China
Prior art keywords
macro block
frame
transcoder
video
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200310101663
Other languages
English (en)
Other versions
CN1538697A (zh
Inventor
戴琼海
刘烨斌
丁嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 200310101663 priority Critical patent/CN1259790C/zh
Publication of CN1538697A publication Critical patent/CN1538697A/zh
Application granted granted Critical
Publication of CN1259790C publication Critical patent/CN1259790C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于跨网段传输视频码流的容错转码控制方法,属于多媒体通信技术领域。本方法首先在转码器中建立传递指数矩阵;确定转码器中当前处理帧的需刷新宏块百分比Po,并确定其中各个宏块的运动活跃程度;根据Po、传递指数矩阵以及宏块运动活跃程度确定需要进行编码刷新的宏块的位置;根据Ro和需进行编码刷新的宏块的位置,确定当前帧内所有宏块的量化系数,并对转码器中当前已解码帧的所有宏块进行编码,实现对当前处理帧的转码;根据宏块编码,更新转码器的传递指数矩阵。本发明方法实现了视频转码器的信源容错转码,算法简易,适用范围广,根据输入码流的平均比特率、前方信道的可用码率及信道的比特差错,就能实现容错转码。

Description

一种用于跨网段传输视频码流的容错转码控制方法
技术领域    本发明涉及一种用于跨网段传输视频码流的容错转码控制方法,属于多媒体通信技术领域,特别涉及视频网关技术。
背景技术    步入20世纪90年代以来,音视频技术呈现飞速发展。随着运动图象专家组-2(以下简称MPEG-2)和MPEG-4的问世和应用,造就了一大批新兴多媒体产业。与此同时,由于互连网和移动通信技术的发展,网络融合化的世界已见规模,电话网、有线电视广播网、微波卫星、移动通信、局域网和广域网等网络,以及相辅相成的计算机、PDA、手机、笔记本等各种媒体终端,构成丰富多彩的信息互连世界。在这种背景下,各种标准组织针对不同的多媒体应用建立了各种视音频编码标准。例如,面向低比特率双向视频传输的H.263,面向广播的高质量视频应用MPEG-2,以及面向流媒体和交互式多媒体应用的MPEG-4。这些视频标准针对不同的场合,应用于不同的环境,具有不同的压缩效率、码率等特性;然而,融合的媒体世界对这些不同的格式之间的动态转换的需要越来越多,视频转码技术也就应用在此。视频转码技术就是在两种不同的标准或者同种标准的不同分辨率、码率之间的相互转换,目的是使处理耗费的时间尽可能的短,同时减少由于额外的解码和编码所造成的视频质量的损伤。如图1是一个应用于无线网络的点播系统,由于IP网络与无线网络的带宽特性存在差异,因此在进入无线网之前要进行转码,将视频码流变为适合无线信道和用户终端的码流。
网络中的视频传输不可避免地会出现丢包、比特差错、延时等问题,在无线通信中信道的条件更加恶劣。为了确保视频中重要的信息能够在传输接收端正确地解码,视频的容错编码就显得必要了。容错编码指的是在压缩编码的时候,不对码流进行过分的压缩,相反,压缩时故意保留一些冗余的信息,使得压缩出来的码流在传输过程中出现丢失或者差错的时候,解码端也能根据这些冗余的信息来恢复原来的视频数据。
当前对视频转码技术的研究和应用还处于起始阶段。现今的许多视频转码技术尚不成型,转码所涉及容错技术大都只是理论上的研究。并且,这些技术将转码与容错分开考虑,没有充分利用进入转码器前的处于前一网段中的视频比特流信息来设计容错性,这样,已有的转码技术算法繁杂,容错性相对较差。
发明内容    本发明的目的是提出一种用于跨网段传输视频码流的容错转码控制方法,根据外部网络状况,控制转码后视频码流的容错性能,优化转码效果。
本发明提出的用于跨网段传输视频码流的容错转码控制方法,包括以下各步骤:
(1)在转码器中建立传递指数矩阵;
(2)确定转码器中当前处理帧的需刷新宏块百分比Po:
P o = max [ 0 , min [ 1 , P i α × ( E + 5 × 10 - 4 ) 5 × 10 - 3 × ( R o R i ) β ] - f + 0.5 ]
上式中,Ri为前一网段视频的比特率,Pi α为经过指数加权因子调节的前一网段当前处理帧内编码宏块百分比,Ro为后一网段视频的比特率,E为后一网段视频的比特差错率,f为转码器中输出缓冲区的码流溢满程度,α,β皆为指数加权因子;
(3)确定转码器的当前处理帧中各个宏块的运动活跃程度;
(4)根据上述Po、上述传递指数矩阵以及转码器中当前处理帧的宏块运动活跃程度确定当前帧中需要进行编码刷新的宏块的位置;
(5)根据上述Ro和上述需进行编码刷新的宏块的位置,确定当前帧内所有宏块的量化系数,并对转码器中当前已解码帧的所有宏块进行编码,实现对当前处理帧的转码;
(6)根据上述编码,更新转码器的传递指数矩阵。
上述方法的步骤1中传递指数矩阵由一二维数组构成,二维数组中的每一个元素对应视频帧的一个象素。
上述方法中的宏块运动活跃程度Tk为:
T k = Σ i = 0 7 Σ j = 0 7 ( Δ ij - Σ i = 0 7 Σ j = 0 7 Δ ij 64 ) 2 64
其中Δij为转码器的当前处理帧中第k个宏块的第i行第j列的象素值。
上述方法的步骤4中确定当前处理帧内需进行编码刷新的宏块的方法,包括如下步骤:
(1)计算需刷新的宏块个数N:
                    N=Po×帧内宏块数
(2)从上述传递矩阵中检索出当前处理帧中第k个宏块第i行第j列象素所对应的传递指数Dij k,则第k个宏块的刷新指数为:
Γ k = T k × Σ i = 0 7 Σ j = 0 7 D ij k 64
(3)按照刷新指数Γk的大小次序排列,取前N个宏块进行刷新。
上述方法的步骤6中更新转码器的传递指数矩阵的方法是,将被刷新宏块的所有象素所对应的传递指数置为0,未被刷新的宏块中象素所对应的传递指数置为在原有传递指数值上加1。
本发明提出的用于跨网段传输视频码流的容错转码控制方法,其优点是:
1、本发明实现了视频转码器的信源容错转码。利用该容错转码器可以将IP网络上的MPEG4视频码流转为可以抗比特差错的,适合低码率无线网络传输的比特流。
2、本发明算法简易,效果优越,适用范围广,只需要知道输入码流的平均比特率、前方信道的可用码率及信道的比特差错,就能实现容错转码。转码时考虑的是MPEG4到MPEG4的转码,适用于开环转码(比特率转码)、时域转码、空域转码以及时空结合的转码。
3、本发明方法适用与网络的动态变化(包括可用带宽、误码率)。
4、本发明方法能兼容普遍流传的MPEG4 xvid的编解码器中的宏块级别的恒定码率控制算法。
附图说明
图1是适用本发明方法的跨网段无线点播转码系统示意图。
图2是本发明方法的流程框图。
图3是本发明方法的一个应用实例。
图4是1/4通用交互格式(以下简称QCIF)的宏块帧内编码刷新示意图。
具体实施方式
本发明提出的用于跨网段传输视频码流的容错转码控制方法,其流程框图和跨网段无线点播转码系统示意图如图2和图1所示,首先在转码器中建立传递指数矩阵;确定转码器中当前处理帧的需刷新宏块百分比Po:
P o = max [ 0 , min [ 1 , P i α × ( E + 5 × 10 - 4 ) 5 × 10 - 3 × ( R o R i ) β ] - f + 0.5 ]
上式中,Ri为前一网段视频的比特率,Pi α为经过指数加权因子调节的前一网段当前处理帧内编码宏块百分比,Ro为后一网段视频的比特率,E为后一网段视频的比特差错率,f为转码器中输出缓冲区的码流溢满程度,α,β皆为指数加权因子,通常取为1,可根据控制的效果进行微小的修正;确定转码器的当前处理帧中各个宏块的运动活跃程度;根据上述Po、上述传递指数矩阵以及转码器中当前处理帧的宏块运动活跃程度确定当前帧中需要进行编码刷新的宏块的位置;根据上述Ro和上述需进行编码刷新的宏块的位置,确定当前帧内所有宏块的量化系数,并对转码器中当前已解码帧的所有宏块进行编码,实现对当前处理帧的转码;根据上述编码,更新转码器的传递指数矩阵。
上述方法的步骤1中传递指数矩阵由一二维数组构成,二维数组中的每一个元素对应视频帧的一个象素。
上述方法中的宏块运动活跃程度Tk为:
T k = Σ i = 0 7 Σ j = 0 7 ( Δ ij - Σ i = 0 7 Σ j = 0 7 Δ ij 64 ) 2 64
其中Δij为转码器的当前处理帧中第k个宏块的第i行第j列的象素值。
上述方法中确定当前处理帧内需进行编码刷新的宏块的方法,首先计算需刷新的宏块个数N:
                      N=Po×帧内宏块数
从上述传递矩阵中检索出当前处理帧中第k个宏块第i行第j列象素所对应的传递指数Dij k,则第k个宏块的刷新指数为:
Γ k = T k × Σ i = 0 7 Σ j = 0 7 D ij k 64
按照刷新指数Γk的大小次序排列,取前N个宏块进行刷新。
上述方法中更新转码器的传递指数矩阵的方法是,将被刷新宏块的所有象素所对应的传递指数置为0,未被刷新的宏块中象素所对应的传递指数置为在原有传递指数值上加1。
本发明中的宏块刷新,简单地说就是对帧中比较复杂的,即运动活跃的宏块进行帧内编码,这样,即使前面帧的数据差错或丢失,当前帧不会受到影响而正常解码。非刷新宏块即进行帧间编码的模块,帧间编码要利用码流序列中的前一视频帧来确定。图4是帧大小为QCIF(176×144)格式帧的宏块帧内编码的示意图。图中I表示宏块为帧内编码,P表示宏块为帧间编码。利用宏块的帧内刷新,防止由于比特差错导致的误差传递。转码时能动态地根据网络带宽和信道误码率调整被刷新的宏块数目,操作简单,不与其它转码模块冲突,可无缝嵌入其它转码模块中。另一点是被刷新的宏块考虑到全局的误码传递机制,使用了传递指数和刷新指数等新概念来确定帧内刷新宏块的位置。
本发明方法中,传递指数矩阵用来指示矩阵中的元素所对应的象素所属的宏块已经连续多少时间(帧间的时间间隔)没有被刷新。若参考帧内某宏块刚刚被刷新,则该宏块内的所有象素对应的传递指数皆为0,若某宏块没有被刷新,则根据该宏块的运动矢量,找到前一帧相应位置处的参考区域,该宏块上的象素的传递指数将继承对应参考区域上象素的传递指数,即当前没有进行帧内刷新的宏块,其象素所对应的传递指数为参考区域宏块中的象素对应的传递指数加1。传递指数影响宏块的刷新规则,若某位置处的宏块长时间没有被刷新,那么当差错出现在该位置处而且出现的时间很早时,对后面利用该区域作为参考宏块的宏块来说,影响非常大。所以,宏块的刷新频率在空间上应当尽量均匀,传递指数矩阵就是为了刻画这个属性而引入的。
以下结合图3详细介绍本发明的一个应用实施例:
1、转发服务器读取从编码服务器编码出来的经过前一网段即Internet的一帧视频流,并从外部控制信道得到这一输入视频流的平均比特率Ri
2、转码器中的前端解码器对输入的MPEG4单帧视频流进行解码,并从中得到输入视频流的帧内编码宏块百分比Pi
3、运用网络探测方法得到转码器和客户端之间网络的可用带宽(即目标比特率)和网络的比特差错率,并结合1,2得到的参数运用本容错转码控制算法确定单帧转码帧的宏块刷新位置。
4、对单帧转码帧中宏块刷新位置处的宏块进行帧内编码,其它宏块进行帧间编码。这其中包含运用码率控制算法得到各个宏块的量化系数。
5、对单帧视频帧进行量化,可变长编码,完成对一帧视频的转码过程。
6、将转码后的单帧码流发向客户端,完成跨网段的视频流容错传送。

Claims (4)

1、一种用于跨网段传输视频码流的容错转码控制方法,包括以下各步骤:
(1)在转码器中建立传递指数矩阵;
(2)确定转码器中当前处理帧的需刷新宏块百分比Po:
P o = max [ 0 , min [ 1 , P i α × ( E + 5 × 10 - 4 ) 5 × 10 - 3 × ( R o R i ) β ] - f + 0.5 ]
上式中,Ri为前一网段视频的比特率,Pi α为经过指数加权因子调节的前一网段当前处理帧内编码宏块百分比,Ro为后一网段视频的比特率,E为后一网段视频的比特差错率,f为转码器中输出缓冲区的码流溢满程度,α,β皆为指数加权因子;
(3)确定转码器的当前处理帧中各个宏块的运动活跃程度;
(4)根据上述Po、上述传递指数矩阵以及转码器中当前处理帧的宏块运动活跃程度Tk确定当前帧中需要进行编码刷新的宏块的位置,其方法包括如下步骤:
(a)计算需刷新的宏块个数N:
                    N=Po×帧内宏块数
(b)从上述传递指数矩阵中检索出当前处理帧中第k个宏块第i行第j列象素所对应的传递指数Dij k,则第k个宏块的刷新指数为:
Γ k = T k × Σ i = 0 7 Σ j = 0 7 D ij k 64
(c)按照刷新指数Γk的大小次序排列,取前N个宏块进行刷新;
(5)根据上述Ro和上述需进行编码刷新的宏块的位置,确定当前帧内所有宏块的量化系数,并对转码器中当前已解码帧的所有宏块进行编码,实现对当前处理帧的转码;
(6)根据上述编码,更新转码器的传递指数矩阵。
2、如权利要求1所述的方法,其特征在于步骤1的传递指数矩阵由一二维数组构成,二维数组中的每一个元素对应视频帧的一个象素。
3、如权利要求1所述的方法,其特征在于步骤3中的宏块运动活跃程度Tk为:
T k = Σ i = 0 7 Σ j = 0 7 ( Δ ij - Σ i = 0 7 Σ j = 0 7 Δ ij 64 ) 2 64
其中Δij为转码器的当前处理帧中第k个宏块的第i行第j列的象素值。
4、如权利要求1所述的方法,其特征在于步骤6中更新转码器的传递指数矩阵的方法是,将被刷新宏块的所有象素所对应的传递指数置为0,将未被刷新的宏块中象素所对应的传递指数置为在原有传递指数值上加1。
CN 200310101663 2003-10-24 2003-10-24 一种用于跨网段传输视频码流的容错转码控制方法 Expired - Fee Related CN1259790C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200310101663 CN1259790C (zh) 2003-10-24 2003-10-24 一种用于跨网段传输视频码流的容错转码控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200310101663 CN1259790C (zh) 2003-10-24 2003-10-24 一种用于跨网段传输视频码流的容错转码控制方法

Publications (2)

Publication Number Publication Date
CN1538697A CN1538697A (zh) 2004-10-20
CN1259790C true CN1259790C (zh) 2006-06-14

Family

ID=34333084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200310101663 Expired - Fee Related CN1259790C (zh) 2003-10-24 2003-10-24 一种用于跨网段传输视频码流的容错转码控制方法

Country Status (1)

Country Link
CN (1) CN1259790C (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917626A (zh) * 2010-08-20 2010-12-15 浙江大学 一种基于自适应冗余片嵌入的容错性视频转码方法
EP4262213A1 (en) * 2015-02-27 2023-10-18 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method

Also Published As

Publication number Publication date
CN1538697A (zh) 2004-10-20

Similar Documents

Publication Publication Date Title
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
CN1965587B (zh) 在允许时域分级的混合视频压缩中进行帧预测的方法和装置
CN1196341C (zh) 使用基层量化数据对增强层数据进行编码和解码的系统和方法
CN101010964B (zh) 在可分级视频编码中的使用帧速率上变换技术的方法与设备
JP4981927B2 (ja) Svccgs拡張層コーディングに関するcavlc拡張
CN100558170C (zh) 具有主动式缓存管理和复杂度控制功能的视频解码方法
CN1756359A (zh) 速率自适应视频编码
CN1640145A (zh) 使用高质量参考帧的改进高效快速的结构
CN101835042B (zh) 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
CN101601296A (zh) 使用套叠式模式标记的用于可分级视频编码的系统和方法
CN1345516A (zh) 细粒可调节视频残差信号的编码解码系统和方法
CN103493481A (zh) 基于场景的适应性比特率控制
CN101909211B (zh) 基于快速模式判决的h.264/avc高效转码器
CN101313583B (zh) 多层视频编码
US20040013194A1 (en) Dct-based scalable video compression
CN1668109A (zh) 具有多种转换功能的自适应视频转码网关
CN101018333A (zh) 空域可分级信噪比精细可分级视频编码方法
CN101855908A (zh) 用于可缩放视频译码的改进的加强层译码
CN103546754B (zh) 从h.264/avc到svc空间可分级的转码方法及系统
WO2023142716A1 (zh) 编码方法、实时通信方法、装置、设备及存储介质
CN101945285A (zh) 一种嵌入式互动应用服务转编码系统
Yang et al. Robust distributed video coding for wireless multimedia sensor networks
CN1529503A (zh) 一种选择视频网关中视频流转码的方法
CN1941903A (zh) 一种实现多码流同时输出的转码系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060614

Termination date: 20141024

EXPY Termination of patent right or utility model