CN105554500B - 基于rcm译码符号不等分配的视频传输方法及系统 - Google Patents

基于rcm译码符号不等分配的视频传输方法及系统 Download PDF

Info

Publication number
CN105554500B
CN105554500B CN201510936788.1A CN201510936788A CN105554500B CN 105554500 B CN105554500 B CN 105554500B CN 201510936788 A CN201510936788 A CN 201510936788A CN 105554500 B CN105554500 B CN 105554500B
Authority
CN
China
Prior art keywords
frame
frames
video
rcm
sym
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510936788.1A
Other languages
English (en)
Other versions
CN105554500A (zh
Inventor
董燕
鲁放
利进强
王康月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201510936788.1A priority Critical patent/CN105554500B/zh
Publication of CN105554500A publication Critical patent/CN105554500A/zh
Application granted granted Critical
Publication of CN105554500B publication Critical patent/CN105554500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于RCM译码符号不等分配的无线视频传输方法。该方法包括：(1)根据RCM的成功解码概率模型以及视频失真与I帧、P帧和B帧的成功解码概率的关系，确定分配给视频I帧、P帧和B帧的译码符号数；(2)对H.264视频的I帧、P帧和B帧的比特流进行数据提取和比特划分；(3)根据步骤(1)得到的分配给视频I帧、P帧和B帧的译码符号数，对H.264视频的I帧、P帧和B帧的比特流进行RCM编码和传输。本发明通过为视频重建中重要性逐渐减小的I帧、P帧和B帧合理地分配数量依次减小的RCM译码符号，实现了H.264视频在不同信道条件下的平滑质量传输。

Description

基于RCM译码符号不等分配的视频传输方法及系统
技术领域
本发明属于无线视频传输技术领域，更具体地，涉及一种基于RCM译码符号不等分配的视频传输方法及系统。
背景技术
近几年来，移动通信网络迅猛发展，根据Cisco Visual Networking Index，从2012到2017，全球移动数据流量预计将增加13倍，其中的视频流量也将从2012年的57％增长到2017年的69％。尽管4G技术提供了比较充裕的带宽，但是视频传输仍然会受到开放性无线信道的干扰。当前的H.264/AVC视频编码是基于压缩比最大的预测编码和熵编码，这决定了其对数据错误或者丢失非常敏感。研究表明，在丢包率超过1％的情况下，无论是H.264/AVC还是SVC层编码视频都会导致视频重建质量“跳水式”急剧下降而无法观看。为了提高视频传输的质量，需要结合视频信源的特性，通过有效的传输技术，降低传输错误对重建视频质量的影响。
结合分层视频编码的不等保护(UEP，Unequal Error Protection)传输技术可以有效提高无线视频传输质量。不等保护传输技术利用压缩视频码流中不同类型的帧对重建视频质量的重要性的不同，合理分配传输资源，为码流中对重建视频质量影响较大的部分提供更多保护，降低码流中重要部分的误码率，改善解码端的重建视频质量。现有的UEP方法不能实现信道条件变化时视频质量的平滑传输，因此不能较好地适应时变的无线环境。近年来，国内外的学者通过采用未编码的原始视频进行模拟传输，实现接收端的平滑质量视频重建。牺牲了视频源的压缩比，极大地增加了视频流的大小，传输时需要占用更大的带宽。更重要的是，这类方法无法和现有的传输协议兼容，这会对空中接口以及移动客户端产生影响，使得系统结构更加复杂，应用难度很大。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于RCM译码符号不等分配的视频传输方法及系统，实现H.264等编码视频在时变信道环境下的平滑质量传输。
为实现上述目的，按照本发明的一个方面，提供了一种基于RCM译码符号不等分配的视频传输方法，其特征在于，包括如下步骤：
(1)根据RCM的成功解码概率模型以及视频失真与I帧、P帧和B帧的误码率的关系，确定分配给视频I帧、P帧和B帧的译码符号数；
(2)对H.264视频的I帧、P帧和B帧的比特流进行数据提取和比特划分；
(3)根据步骤(1)得到的分配给视频I帧、P帧和B帧的译码符号数，对H.264视频的I帧、P帧和B帧的比特流进行RCM编码和传输，使I帧、P帧和B帧的比特流获得合理的UEP效果，从而提高接收端的用户视觉体验。
优选地，所述步骤(1)进一步包括如下步骤：
(1-1)从RCM的成功解码概率模型中挑选出满足带宽要求的译码符号数组合，并记录与译码符号数组合对应的成功解码概率组合；
其中，任一满足带宽要求的译码符号数组合记为(SymI，SymP，SymB)，与(SymI，SymP，SymB)对应的成功解码概率组合记为(ProI，ProP，ProB)，SymI、SymP和SymB分别为分配给I帧、P帧和B帧的译码符号数，ProI、ProP和ProB分别为I帧、P帧和B帧的成功解码概率；
(1-2)根据成功解码概率组合，计算与译码符号数组合对应的峰值信噪比，选取其中最大的峰值信噪比对应的译码符号数组合，从而确定分配给视频I帧、P帧和B帧的译码符号数。
按照本发明的另一方面，提供了一种基于RCM译码符号不等分配的视频传输系统，其特征在于，包括：
第一模块，用于根据RCM的成功解码概率模型以及视频失真与I帧、P帧和B帧的误码率的关系，确定分配给视频I帧、P帧和B帧的译码符号数；
第二模块，用于对用H.264进行编码的视频的I帧、P帧和B帧的比特流进行数据提取和比特划分；
第三模块，用于根据第一模块得到的分配给视频I帧、P帧和B帧的译码符号数，对H.264视频的I帧、P帧和B帧的比特流进行RCM编码，使I帧、P帧和B帧的比特流获得合理的UEP效果，从而使接收端的用户视觉体验达到最优。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：通过为视频重建中重要性逐渐减小的I帧、P帧和B帧合理地分配数量依次减小的RCM译码符号，在不引入额外计算量的条件下实现了H.264视频在不同信道条件下的平滑质量传输。
附图说明
图1是本发明的视频传输系统的结构框图；
图2是本发明实施例的基于RCM译码符号不等分配的视频传输方法流程图；
图3是RCM成功解码概率示意图；
图4是符号组合筛选流程图；
图5编码数据包生成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
速率兼容调制(Rate Compatible Modulation，RCM)通过对输入比特进行加权求和的方式进行随机映射编码，解码复杂度相对于其他多进制无速率码有明显优势，其能编码生成任意个数的编码符号，在给定信噪比(Signal-to-Noise Ratio，SNR)时对应不同的解码成功概率，也就是说，RCM可以实现任意概率的解码，使解码概率平滑连续。为此，本发明通过对RCM编码符号数的设计，对H.264不同类型的视频帧进行UEP保护，在时变信道环境下实现视频质量的平滑传输。
如图1所示，视频通过H.264进行压缩编码，生成I、P、B帧比特流，并对其进行无速率码RCM的编码调制，经UEP后进行发送传输，接收端则先通过信道估计得到相关参数后进行解码解调，进而重建原始视频。本发明的基于RCM译码符号不等分配的视频传输方法的基本策略是根据H.264编码视频帧的重要性的差异，对最重要的I帧给予更多的译码符号数进行编码保护，对次重要的P帧给予较多的译码符号数进行编码保护，而对最不重要的B帧给予较少的译码符号数进行编码。为了合理地分配I、P、B帧所需要的译码符号数，避免译码符号数过多分配或分配不足等情况，通过视频失真模型和RCM的成功解码概率模型计算各视频帧所需要的译码符号数。其中，视频失真模型，描述了视频帧经过信道传输所发生的失真情况，提供了对I、P、B帧比特流进行合理力度保护的实验依据，这是基于RCM译码符号不等分配的视频传输方法的基础。而RCM的成功解码概率模型体现了RCM能够实现平滑概率解码的特性，并为译码符号数的不等分配提供了计算依据。
如图2所示，本发明实施例的基于RCM译码符号不等分配的视频传输方法包括如下步骤：
(1)根据RCM的成功解码概率模型以及视频失真与I帧、P帧和B帧的误码率的关系，确定分配给视频I帧、P帧和B帧的译码符号数。
具体地，视频失真与I帧、P帧和B帧误码率的关系为：
其中，表示误码率Pi倒数的对数，即：
O为失真曲面个数，γi为相同画面组(Group of Pictures，GOP)中的不同视频序列在同一失真曲面的缩放比例，表示I帧误码率为Pi时视频失真与P帧和B帧误码率的关系。
误码率与成功解码概率满足关系式：
Proi＝(1-Pi)N,i∈{I,P,B} (3)
因此，可根据视频I帧、P帧和B帧的成功解码概率确定视频的失真程度。从图3可以看出，在相同的SNR下，发送的编码符号数越多，解码端的成功解码概率就越高，相同编码符号数下信道条件越好，解码端的成功解码概率越高。随着编码符号步长的细化，RCM最终能实现任意概率的解码，使解码概率平滑连续。
图4给出了基于RCM译码符号不等分配的视频传输方法中的关于计算筛选合理的译码符号数组合的流程图。在固定带宽和固定SNR条件下，要确定合理的保护力度，即合理译码符号数组合，首先根据RCM的成功解码概率模型，从模型中挑选出满足带宽要求的译码符号数组合(SymI，SymP，SymB)，并记录与译码符号数组合对应的成功解码概率组合(ProI，ProP，ProB)，SymI、SymP和SymB分别为分配给I帧、P帧和B帧的译码符号数，ProI、ProP和ProB分别为I帧、P帧和B帧的成功解码概率；然后通过视频失真模型求解出(ProI，ProP，ProB)所对应的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)，选取其中最大的PSNR对应的译码符号数组合(SymI，SymP，SymB)，作为分配给视频I帧、P帧和B帧的译码符号数。
由于通信系统中带宽受限，不同译码符号数组合间需要满足传输带宽约束。设I帧比特流的长度为IFrameLen，被划分成IPacketNum个RCM帧，P帧比特流的长度为PFrameLen，被划分成PPacketNum个RCM帧，B帧比特流的长度为BFrameLen，被划分成BPacketNum个RCM帧，而视频流最终被划分成的RCM帧总数为TotalPacketNum。设无线视频传输系统的带宽为Bandwidth＝M符号/RCM帧。那么可以建立起以下关于总传输带宽的不等式：
ΣiPacketNum×Symi≤TotalPacketNum×M
其中，i∈{I,P,B}，Symi表示对I帧、P帧和B帧编码所对应的译码符号数，即译码符号数组合(SymI，SymP，SymB)。
(2)对H.264视频的I帧、P帧和B帧的比特流进行数据提取和比特划分；如图5，以P帧比特流为例，有效比特部分统一划分为以m比特为单位的数据包。
(3)根据步骤(1)得到的分配给视频I帧、P帧和B帧的译码符号数，对H.264视频的I帧、P帧和B帧的比特流进行RCM编码，其中，对I帧的比特流进行编码的符号数为SymI，对P帧的比特流进行编码的符号数为SymP，对B帧的比特流进行编码的符号数为SymB。完成RCM编码后，I帧、P帧和B帧的比特流获得了合理的UEP，通过无线系统传输后可以改善接收端的用户视觉体验。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于RCM译码符号不等分配的视频传输方法，其特征在于，包括如下步骤：
(1)根据RCM的成功解码概率模型以及视频失真与I帧、P帧和B帧的误码率的关系，确定分配给视频I帧、P帧和B帧的译码符号数；
其中，视频失真与I帧、P帧和B帧误码率的关系为：
表示误码率Pi倒数的对数，即：
O为失真曲面个数，γi为相同画面组中的不同视频序列在同一失真曲面的缩放比例，表示I帧误码率为Pi时视频失真与P帧和B帧误码率的关系；
(2)对H.264视频的I帧、P帧和B帧的比特流进行数据提取和比特划分，其中，分别将I帧比特流、P帧比特流以及B帧比特流中的有效比特部分统一划分为以m比特为单位的数据包；
(3)根据步骤(1)得到的分配给视频I帧、P帧和B帧的译码符号数，对H.264视频的I帧、P帧和B帧的比特流进行RCM编码，使I帧、P帧和B帧的比特流获得合理的UEP效果，从而提高接收端的用户视觉体验。
2.如权利要求1所述的基于RCM译码符号不等分配的视频传输方法，其特征在于，所述步骤(1)进一步包括如下步骤：
(1-1)从RCM的成功解码概率模型中挑选出满足带宽要求的译码符号数组合，并记录与译码符号数组合对应的成功解码概率组合；
其中，总传输带宽的不等式为：
∑iPacketNum×Symi≤TotalPacketNum×M
其中，i∈{I,P,B}，Symi表示对I帧、P帧和B帧编码所对应的译码符号数，即译码符号数组合(SymI，SymP，SymB)，IPacketNum表示I帧比特流的长度被划分成的RCM帧的个数，PPacketNum表示P帧比特流的长度被划分成的RCM帧的个数，BPacketNum表示B帧比特流的长度被划分成的RCM帧的个数，TotalPacketNum表示被划分成的RCM帧的总数，M表示无线视频传输系统的带宽大小；
任一满足带宽要求的译码符号数组合记为(SymI，SymP，SymB)，与(SymI，SymP，SymB)对应的成功解码概率组合记为(ProI，ProP，ProB)，SymI、SymP和SymB分别为分配给I帧、P帧和B帧的译码符号数，ProI、ProP和ProB分别为I帧、P帧和B帧的成功解码概率；
(1-2)根据视频失真模型，求解出(ProI，ProP，ProB)所对应的峰值信噪比PSNR，选取其中最大的峰值信噪比对应的译码符号数组合，作为分配给视频I帧、P帧和B帧的译码符号数。
3.一种基于RCM译码符号不等分配的视频传输系统，其特征在于，包括：
第一模块，用于根据RCM的成功解码概率模型以及视频失真与I帧、P帧和B帧的误码率的关系，确定分配给视频I帧、P帧和B帧的译码符号数；
其中，视频失真与I帧、P帧和B帧误码率的关系为：
表示误码率Pi倒数的对数，即：
O为失真曲面个数，γi为相同画面组中的不同视频序列在同一失真曲面的缩放比例，表示I帧误码率为Pi时视频失真与P帧和B帧误码率的关系；
第二模块，用于H.264视频的I帧、P帧和B帧的比特流进行数据提取和比特划分，其中，分别将I帧比特流、P帧比特流以及B帧比特流中的有效比特部分统一划分为以m比特为单位的数据包；
第三模块，用于根据第一模块得到的分配给视频I帧、P帧和B帧的译码符号数，对H.264视频的I帧、P帧和B帧的比特流进行RCM编码和传输，使I帧、P帧和B帧的比特流获得合理的UEP效果，从而提高接收端的用户视觉体验。
CN201510936788.1A 2015-12-15 2015-12-15 基于rcm译码符号不等分配的视频传输方法及系统 Active CN105554500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510936788.1A CN105554500B (zh) 2015-12-15 2015-12-15 基于rcm译码符号不等分配的视频传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510936788.1A CN105554500B (zh) 2015-12-15 2015-12-15 基于rcm译码符号不等分配的视频传输方法及系统

Publications (2)

Publication Number Publication Date
CN105554500A CN105554500A (zh) 2016-05-04
CN105554500B true CN105554500B (zh) 2018-08-21

Family

ID=55833408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510936788.1A Active CN105554500B (zh) 2015-12-15 2015-12-15 基于rcm译码符号不等分配的视频传输方法及系统

Country Status (1)

Country Link
CN (1) CN105554500B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063648B (zh) * 2017-11-21 2021-02-12 华中科技大学 一种采用速率兼容调制rcm的系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854531A (zh) * 2010-05-24 2010-10-06 镇江唐桥微电子有限公司 一种多通道视频联合码率控制方法
CN102123282A (zh) * 2011-03-10 2011-07-13 西安电子科技大学 基于Wyner-Ziv视频编码系统的GOP层编码方法
CN103391162A (zh) * 2013-07-10 2013-11-13 上海交通大学 基于Raptor码的多媒体数据非均等差错保护方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031138B1 (en) * 2014-05-01 2015-05-12 Google Inc. Method and system to combine multiple encoded videos for decoding via a video docoder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854531A (zh) * 2010-05-24 2010-10-06 镇江唐桥微电子有限公司 一种多通道视频联合码率控制方法
CN102123282A (zh) * 2011-03-10 2011-07-13 西安电子科技大学 基于Wyner-Ziv视频编码系统的GOP层编码方法
CN103391162A (zh) * 2013-07-10 2013-11-13 上海交通大学 基于Raptor码的多媒体数据非均等差错保护方法

Also Published As

Publication number Publication date
CN105554500A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN102036061B (zh) 视频数据传输处理、发送处理方法、装置和网络系统
CN110740334B (zh) 一种帧级别的应用层动态fec编码方法
CN103795996B (zh) 3d视频传递方法和设备
Gong et al. Adaptive transmission for delay-constrained wireless video
Munaretto et al. Broadcast video streaming in cellular networks: An adaptation framework for channel, video and AL-FEC rates allocation
Song et al. Layered image/video softcast with hybrid digital-analog transmission for robust wireless visual communication
Chen et al. Efficient mobile video streaming via context-aware RaptorQ-based unequal error protection
CN112865810A (zh) 编译码方法及装置
CN102333223A (zh) 视频数据编码方法、解码方法、编码系统和解码系统
CN106657961A (zh) 立体视频的混合数字-模拟编码
CN105554500B (zh) 基于rcm译码符号不等分配的视频传输方法及系统
Baruffa et al. Adaptive error protection coding for wireless transmission of motion JPEG 2000 video
Lee et al. Design of efficient key video frame protection scheme for multimedia internet of things (IoT) in converged 5G network
CN102970524B (zh) 无线网络中视频传输方法、设备及系统
KR101549316B1 (ko) 이종 네트워크를 통한 콘텐츠 전달을 위해 클리프 효과를 완화하기 위한 시스템 및 방법
Wang et al. An efficient retransmission strategy for wireless scalable video multicast
CN107995502B (zh) 实现自适应流媒体的方法和设备以及系统
Hou et al. Near-optimal cross-layer forward error correction using raptor and RCPC codes for prioritized video transmission over wireless channels
Usman et al. Exploiting the spatio-temporal attributes of HD videos: A bandwidth efficient approach
Fujihashi et al. Quality improvement and overhead reduction for soft video delivery
Mansour et al. Real-time joint rate and protection allocation for multi-user scalable video streaming
Fujihashi et al. Wi-Fi Offloading for Multi-Homed Hybrid Digital-Analog Video Streaming
Ji et al. Joint scalable video and digital fountain coding for heterogeneous QoS video broadcasting
Liu et al. Adaptive residual-based distributed compressed sensing for soft video multicasting over wireless networks
Li et al. Visual information exploited hybrid digital-analog scheme for wireless video multicast

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant