CN103067719A - 基于不等差错保护的实时视频通信方法 - Google Patents
基于不等差错保护的实时视频通信方法 Download PDFInfo
- Publication number
- CN103067719A CN103067719A CN2013100381174A CN201310038117A CN103067719A CN 103067719 A CN103067719 A CN 103067719A CN 2013100381174 A CN2013100381174 A CN 2013100381174A CN 201310038117 A CN201310038117 A CN 201310038117A CN 103067719 A CN103067719 A CN 103067719A
- Authority
- CN
- China
- Prior art keywords
- sub
- video
- frame
- gop
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明针对如何改善实时H.264视频传输中的抗误码效果,提高无线视频传输的质量,提出了一种基于LDGM-UEP的实时H.264视频传输抗误码方法。包括:在发送端采用LDGM码对包含多个帧的子GOP进行基于数据分割的不等差错保护。在接收端,只需要子GOP中的某一帧的分组送到视频解码器就可以解码显示该帧。如果该帧有部分分组在传输中丢失,则采用误码掩盖技术进行误码恢复。由于解码器无需等待子GOP中的所有分组都接收,解码端并无时延引入。另外,当接收端收到子GOP中的所有分组后,LDGM译码器尝试恢复丢失的分组。若LDGM译码器恢复出该子GOP中所有的丢失分组,则视频解码器对该子GOP中所有分组进行重新解码并且更新响应的参考帧,从而阻止误码掩盖的失真扩散到后续帧。
Description
技术领域
本发明属于无线视频通信领域,尤其涉及一种在无线网络环境下为防止误码传播,根据视频码流数据的重要性进行不等差错保护的实时视频通信方法。
背景技术
无线通信网络和互联网的传输信道并不可靠,在视频比特流的传输过程中,信道干扰、网络拥塞等问题将会导致随机比特错误、突发性差错及分组丢失误码等现象,造成所传输的视频数据信息丢失。针对低比特率视频通信应用的H.264标准由于其运动补偿机制的影响,预测编码中的误码将在时间和空间上扩散,任何当前帧中的差错都将影响参照它的后续帧;变长编码序列中的误码,将空间扩散而影响GOP内很大区域,直到下一个同步点;该系列标准采用熵编码方式以获得高压缩率,而熵编码的最大缺陷是对误码十分敏感。码流在传输过程中即使出现少量误码,都可能导致视觉质量严重恶化。因此,H.264视频流的鲁棒性传输对于无线多媒体应用十分重要。
由于底层网络的不可靠,有损网络中视频传输的抗误码技术研究已成为重要的需求。为满足视频通信的实时性,视频传输中通常不采用自动请求重传(ARQ,Automatic Request Retransmission)的方式重传接收错误的数据,而采用前向纠错(FEC)技术来进行分组保护。目前常用的前向纠错码主要有RS(Reed Solomon)码、LDPC(Low Density Erasure Code)码和LDGM码等。
采用前向纠错码可以提高视频传输的效果,但对于实时视频应用来说时延也是一个很重要的参数。在现有方法中,E. Baccaglini等采用RS码进行FEC保护,RS码块中的源数据分组包含整个GOP帧,因此引入一个GOP的时延。X. Yang等采用的方法中RS码块的源数据分组包含一个子GOP帧,因此时延取决于子GOP的长度。N. Tomos等采用RS码进行帧级保护,因此没有时延。然而,对于帧级的FEC保护,源数据分组较少,使得FEC码性能降低。针对上述问题,Jimin Xiao提出了一种实时FEC视频传输的新方法。该方法中采用RS码保护多个视频帧增强RS码的性能,同时没有引入时延。但该方法没有考虑视频分组的重要性等级,需进一步改进。
发明内容
技术问题:本发明通过研究不等差错保护和实时FEC的视频传输方法,提出了一种基于LDGM-UEP的实时H.264视频传输抗误码方法。该方法在解码器端没有引入时延,但是有效的阻止了误码掩盖失真扩散到后续帧。
技术方案:本发明方法在发送端采用LDGM码对包含多个帧的子GOP进行不等差错保护。在接收端,视频解码器只需要子GOP中的某一帧的分组就可以解码显示该帧。由于解码器无需等待子GOP中的所有分组都接收,解码端无时延引入。接着,当子GOP中的所有分组都接收完成后,LDGM译码器尝试恢复丢失的分组。若LDGM译码器恢复出该子GOP中所有的丢失分组,则视频解码器对该子GOP中所有分组进行重新解码并更新参考帧,从而阻止误码掩盖的失真扩散到后续帧。
该方法包括:
进程一:发送端对输入的视频数据进行信源编码,得到重要等级不同的多个视频码流,采用前向纠错FEC技术对各个视频码流构成的分组进行保护,提高视频传输系统可靠性;
进程二:接收端对收到的视频码流进行实时解码,主要包括采用误码掩盖技术进行误码恢复,并结合FEC技术阻止误码掩盖失真扩散到后续帧。
前向纠错FEC技术,对H.264编码器输出的视频码流,在I帧和各子GOP帧结束后加入LDGM保护分组,对不同重要等级数据进行不等差错保护UEP,给更重要的数据加更多的保护分组;对于LDGM编码,源数据分组保持不变,校验分组直接附加在其后,从而无编码时延。
接收端对收到的视频码流进行实时解码具体为:接收端接收到视频分组后,如果当前收到的是I帧,则直接进行LDGM译码然后信源解码;如果当前收到的是P帧,即使子GOP中视频分组未完全接收,视频解码器只需要子GOP中的某一帧的分组就可以直接信源解码并显示该帧;如果该帧有一些分组在传输过程中丢失,采用误码掩盖技术进行误码恢复;在这种情况下,解码器并不需要等待整个子GOP中的所有分组都接收到后再开始解码,所以,解码端并无时延引入;接着,当子GOP中的所有分组都接收完成后,LDGM译码器尝试恢复丢失的分组;如果该子GOP中丢失的分组数小于编码端加入的保护分组数,则LDGM译码器恢复出该子GOP中所有的丢失分组,此时视频解码器对该子GOP中所有分组进行重新解码并更新参考帧,从而阻止误码掩盖的失真扩散到后续帧。
基于LDGM-UEP的实时H.264视频传输抗误码方法为:在发送端,本发明首先采用H.264编码器进行信源编码,然后在I帧和各子GOP帧结束后加入LDGM保护分组对不同重要等级的A、B、C三类数据进行不等差错保护。对于LDGM编码,源数据分组保持不变,校验分组直接附加在其后,从而无编码时延。在接收端,当接收到视频分组后,如果当前收到的是I帧,则直接进行LDGM译码然后信源解码。如果当前收到的是P帧,即使子GOP中视频分组未完全接收,视频解码器只需要子GOP中的某一帧的分组就可以直接信源解码并显示该帧。如果该帧有一些分组在传输中丢失,可采用误码掩盖技术进行误码恢复。在这种情况下,解码器并不需要等待整个子GOP中的所有分组都接收到后再开始解码,所以,解码端并无时延引入。接着,当子GOP中的所有分组都接收完成后,LDGM译码器尝试恢复丢失的分组。如果该子GOP中丢失的分组小于 ,则LDGM译码器恢复出该子GOP中所有的丢失分组,此时视频解码器对该子GOP中所有分组进行重新解码并更新参考帧,从而阻止误码掩盖的失真扩散到后续帧。因此,本发明既考虑了视频分组的重要性程度和实时视频传输的要求,又阻止了误码掩盖失真扩散到后续帧,从而提高了整个实时视频传输系统的性能。
有益效果:本发明方法既考虑了视频分组的重要性又满足了实时FEC视频传输的要求,无解码时延引入,又阻止了误码掩盖失真扩散到后续帧,从而提高了实时视频传输的主观效果。
附图说明
图1是本发明子GOP FEC方法中LDGM保护分组示意图;
图2是本发明基于LDGM-UEP的实时H.264视频传输抗误码方法系统框图;
具体实施方式
本方法主要包括三部分:基于数据分割的不等差错保护,基于子GOP的FEC,基于LDGM-UEP的实时H.264视频传输。
首先,发送端根据H.264编码器生成码流的不同部分对视频重建质量的作用不同,对码流结构中不同部分的数据采用不同级别的差错保护机制。对于那些对视频图像的重建起到至关重要的数据采用较高保护级别的差错保护机制,即对H.264编码码流中较重要的A类数据采用强保护,而对于那些对图像的重建相对而言不是非常重要的数据, H.264编码码流中的B和C类数据采用较低保护级别的信道编码,从而实现不同等级数据的不等差错保护方案,以提高视频传输系统可靠性。
另外,对于实时FEC视频分组保护,通常的做法是进行帧级的FEC编码,即源数据分组来自相同的帧。一般来说,I帧产生的码流大于P帧,因此I帧可产生更多的源分组。在本发明的子GOP FEC方法中,对I帧采用帧级的LDGM码保护,对于P帧则分配LDGM码到子GOP级。图1显示了如何产生子GOP帧和如何在每个子GOP末尾分配LDGM保护分组。同时为满足实时的要求,在信道编码中源分组保持不变。因此,在接收端,视频解码器只需要一帧的分组就可以解码显示该帧。如果该帧的分组在传输过程中丢失,则采用常规误码掩盖方法进行误码恢复。
最后,基于LDGM-UEP的实时H.264视频传输抗误码方法为:在发送端,首先采用H.264编码器对视频序列进行信源编码(采用FMO和数据分割DP模式),然后在I帧和各子GOP帧结束后加入LDGM保护分组对不同重要等级的A、B、C三类数据进行不等差错保护。对于LDGM编码,源数据分组保持不变,校验分组直接附加在其后,从而无编码时延。在接收端,当接收到视频分组后,若为I帧,则直接进行LDGM译码然后信源解码。若为P帧,如果子GOP中视频分组未完全接收,则视频解码器只需要子GOP中的某一帧的分组就直接信源解码并显示该帧。若该帧出现误码,则不等待子GOP中所有的分组都接收而直接对该帧进行误码掩盖。因此,解码器无等待时延。当接收端接收到子GOP中后续的分组后,若丢失分组数小于,则LDGM译码器恢复出该子GOP中所有的分组,然后解码器对该子GOP重新解码,并更新参考帧。因此,该方法有效地防止了误码传播,同时无时延引入。
本发明的仿真结果
本发明在仿真中采用JM14.2信源编解码器,GOP的大小设置为30,即每30帧插入一个I帧。I帧单独进行FEC保护;P1-P4作为一个子GOP;其余每5个P帧一个子GOP。Forman视频序列的QPI=31, QPP=29;Coastguard视频的QPI=30,QPP=30。所有的CIF视频序列帧率均为30帧/秒,参考帧个数S设定为1,FMO分为8个片,一个视频包由一个完全的片组成,若传输过程发生差错则整个视频包均丢失,仿真丢包模型为随机丢包模型。
在总码率近似相等的情况下,分别进行5%和10%丢包信道的视频传输实验,实验结果如表2所示。其中EEP-子GOP FEC(基于子GOP的前向纠错)方法为N.Thomos等人提出的,本发明方法为基于LDGM-UEP的实时H.264视频传输抗误码方法。
表1 Forman 和Coastguard 视频序列FEC保护后总码率
表2 5%、10%丢包时,Forman 和Coastguard 视频序列PSNR性能
从表2可看出,本发明基于LDGM -UEP的实时H.264视频传输抗误码方法明显优于其他方法。在5%丢包时,对于Forman视频序列本发明方法较EEP-子GOP FEC方法和逐帧FEC方法的PSNR值分别提高了1.2dB、1.4dB;对于Coastguard视频序列本发明方法较EEP-子GOP FEC方法和逐帧FEC方法分别提高了2.6dB、3.6dB。在10%丢包时,对于Forman视频序列本发明方法较EEP-子GOP FEC方法和逐帧FEC方法分别提高了4.2dB、5.1dB;对于Coastguard视频序列本发明方法较EEP-子GOP FEC方法和逐帧FEC方法分别提高了2.9dB、3.2dB。因此,本发明基于LDGM-UEP的实时H.264视频传输抗误码方法有效地提高了实时FEC视频传输系统的重建视频质量。
Claims (3)
1.一种基于不等差错保护的H.264实时视频通信方法,其特征在于该方法包括:
进程一:发送端对输入的视频数据进行信源编码,得到重要等级不同的多个视频码流,采用前向纠错FEC技术对各个视频码流构成的分组进行保护,提高视频传输系统可靠性;
进程二:接收端对收到的视频码流进行实时解码,主要包括采用误码掩盖技术进行误码恢复,并结合FEC技术阻止误码掩盖失真扩散到后续帧。
2.如权利要求1所述的基于不等差错保护的H.264实时视频通信方法,其特征在于前向纠错FEC技术,对H.264编码器输出的视频码流,在I帧和各子GOP帧结束后加入LDGM保护分组,对不同重要等级数据进行不等差错保护UEP,给更重要的数据加更多的保护分组;对于LDGM编码,源数据分组保持不变,校验分组直接附加在其后,从而无编码时延。
3.如权利要求1所述的基于不等差错保护的H.264实时视频通信方法,其特征在于接收端对收到的视频码流进行实时解码具体为:接收端接收到视频分组后,如果当前收到的是I帧,则直接进行LDGM译码然后信源解码;如果当前收到的是P帧,即使子GOP中视频分组未完全接收,视频解码器只需要子GOP中的某一帧的分组就可以直接信源解码并显示该帧;如果该帧有一些分组在传输过程中丢失,采用误码掩盖技术进行误码恢复;在这种情况下,解码器并不需要等待整个子GOP中的所有分组都接收到后再开始解码,所以,解码端并无时延引入;接着,当子GOP中的所有分组都接收完成后,LDGM译码器尝试恢复丢失的分组;如果该子GOP中丢失的分组数小于编码端加入的保护分组数,则LDGM译码器恢复出该子GOP中所有的丢失分组,此时视频解码器对该子GOP中所有分组进行重新解码并更新参考帧,从而阻止误码掩盖的失真扩散到后续帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013100381174A CN103067719A (zh) | 2013-01-31 | 2013-01-31 | 基于不等差错保护的实时视频通信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013100381174A CN103067719A (zh) | 2013-01-31 | 2013-01-31 | 基于不等差错保护的实时视频通信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103067719A true CN103067719A (zh) | 2013-04-24 |
Family
ID=48110158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013100381174A Pending CN103067719A (zh) | 2013-01-31 | 2013-01-31 | 基于不等差错保护的实时视频通信方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103067719A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107872296A (zh) * | 2016-09-26 | 2018-04-03 | 三星显示有限公司 | 用于传输视频的方法和数据发射机 |
CN110740334A (zh) * | 2019-10-18 | 2020-01-31 | 福州大学 | 一种帧级别的应用层动态fec编码方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6754277B1 (en) * | 1998-10-06 | 2004-06-22 | Texas Instruments Incorporated | Error protection for compressed video |
US20090103635A1 (en) * | 2007-10-17 | 2009-04-23 | Peshala Vishvajith Pahalawatta | System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks |
CN101729910A (zh) * | 2008-10-15 | 2010-06-09 | 国家广播电影电视总局广播科学研究院 | 一种基于可分级比特流的数据传输方法和装置 |
CN102231837A (zh) * | 2011-06-23 | 2011-11-02 | 西交利物浦大学 | 基于子画面群的前向纠错实时视频传输方法 |
CN102404572A (zh) * | 2011-11-22 | 2012-04-04 | 西交利物浦大学 | 延迟约束条件下基于系统rs码的视频编解码系统及其方法 |
-
2013
- 2013-01-31 CN CN2013100381174A patent/CN103067719A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6754277B1 (en) * | 1998-10-06 | 2004-06-22 | Texas Instruments Incorporated | Error protection for compressed video |
US20090103635A1 (en) * | 2007-10-17 | 2009-04-23 | Peshala Vishvajith Pahalawatta | System and method of unequal error protection with hybrid arq/fec for video streaming over wireless local area networks |
CN101729910A (zh) * | 2008-10-15 | 2010-06-09 | 国家广播电影电视总局广播科学研究院 | 一种基于可分级比特流的数据传输方法和装置 |
CN102231837A (zh) * | 2011-06-23 | 2011-11-02 | 西交利物浦大学 | 基于子画面群的前向纠错实时视频传输方法 |
CN102404572A (zh) * | 2011-11-22 | 2012-04-04 | 西交利物浦大学 | 延迟约束条件下基于系统rs码的视频编解码系统及其方法 |
Non-Patent Citations (1)
Title |
---|
陈海波: "无线网络H.264视频传输的抗误码技术研究", 《中国硕士学位全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107872296A (zh) * | 2016-09-26 | 2018-04-03 | 三星显示有限公司 | 用于传输视频的方法和数据发射机 |
CN110740334A (zh) * | 2019-10-18 | 2020-01-31 | 福州大学 | 一种帧级别的应用层动态fec编码方法 |
CN110740334B (zh) * | 2019-10-18 | 2021-08-31 | 福州大学 | 一种帧级别的应用层动态fec编码方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102075312B (zh) | 基于视频服务质量的混合选择重传方法 | |
CN101272495B (zh) | 用于传输基于分组的图像帧的方法和装置 | |
CN106937134B (zh) | 一种数据传输的编码方法、编码发送装置及系统 | |
KR100746013B1 (ko) | 무선 네트워크에서의 데이터 전송 방법 및 장치 | |
CN101304537B (zh) | 3g-ip无线视频传输系统 | |
CN101902296A (zh) | 一种喷泉码的编解码方法和装置 | |
EP2783475B1 (en) | Interleaving for layer-aware forward error correction | |
US10015486B2 (en) | Enhanced video decoding with application layer forward error correction | |
CN110740334B (zh) | 一种帧级别的应用层动态fec编码方法 | |
US8438462B2 (en) | Method for recovery of lost and/or corrupted data | |
CN103347202B (zh) | 一种无线通信系统中的ewf码译码方法 | |
KR20130140938A (ko) | 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법 | |
CN103716134B (zh) | 一次反馈条件下度渐增的喷泉码的编码方法 | |
Nazir et al. | Expanding window random linear codes for data partitioned H. 264 video transmission over DVB-H network | |
Arslan et al. | Concatenated block codes for unequal error protection of embedded bit streams | |
Fong et al. | Low-latency network-adaptive error control for interactive streaming | |
US20150006991A1 (en) | Graceful degradation-forward error correction method and apparatus for performing same | |
Emara et al. | Low-latency network-adaptive error control for interactive streaming | |
EP3493442B1 (en) | Method and apparatus for coding received packets in a broadcasting and communication system | |
CN110868616A (zh) | 一种5g网络下低延时高可靠视频传输方法 | |
CN103067719A (zh) | 基于不等差错保护的实时视频通信方法 | |
CN102231837B (zh) | 基于子画面群的前向纠错实时视频传输方法 | |
US20160182091A1 (en) | Improved error control coding an decoding for serial concatenated codes | |
Zhang et al. | A real-time forward error correction of changing redundant packets' position for video transmission | |
Xiao et al. | Real-time forward error correction for video transmission |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130424 |