CN104394401B

CN104394401B - 一种基于无速率调制的立体视频传输方法

Info

Publication number: CN104394401B
Application number: CN201410776489.1A
Authority: CN
Inventors: 邢成文; 上官成林; 贾岱; 费泽松; 曹聪哲; 何静; 王晶; 匡镜明
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2014-12-15
Filing date: 2014-12-15
Publication date: 2016-05-11
Anticipated expiration: 2034-12-15
Also published as: CN104394401A

Abstract

本发明属于视频传输技术领域，涉及一种立体视频的传输方法，具体涉及一种基于无速率调制的立体视频传输方法。本发明基于无速率调制方式固有的不等差错保护机制，通过无速率的产生调制符号以传递信息并完成前向纠错。该方法能够保证经过H.264MVC压缩后的立体视频数据的可靠传输。本方法适用于所有无线与有线的通信环境，压缩后的立体视频数据流能以单播、多播以及广播形式进行可靠传输。

Description

一种基于无速率调制的立体视频传输方法

技术领域

本发明属于视频传输技术领域，涉及一种立体视频的传输方法，具体涉及一种基于无速率调制的立体视频传输方法。

背景技术

随着人们对数字视频要求的日益提高，普通的视频图像已无法满足人们的需求，立体视频技术以其增加景物深度信息、增强视觉现实感及逼真感的特点，越来越受到人们的欢迎。立体视频技术也成为未来多媒体技术的重要发展方向之一。此外，立体视频技术在工业控制、远程医疗会诊及手术、远程教育、视频会议、数字电视等各领域都有着极其广阔的应用前景。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频，所以对立体视频的高效压缩尤为重要。

现在广泛应用的H.264数字视频压缩格式是国际电信联盟ITU-T的视频编码专家组(VCEG)与国际标准化组织(ISO)活动图像编码专家组(MPEG)的联合视频组(JVT)联合开发的一个数字视频编码标准，其主要目标是，与其它现有视频编码标准相比，在相同带宽下提供更加优秀的图像质量。基于H.264的多视点视频编码MVC则利用H.264高级编码的压缩算法，针对多视点视频的特点更改部分H.264编码器的框架，以达到压缩多视点视频的目的。

立体视频编解码技术的逐渐成熟与网络技术的高速发展，正使得立体视频的传输成为可能。由于对视频的压缩过程中采用了预测编码和可变长编码VLC等技术，压缩后的视频流对传输的错误特别敏感。信道传输过程中引入的随机错误、网络拥塞引起的数据丢失以及多径效应导致的突发错误等都有可能使传输的视频流产生差错和损失，最终导致视频质量的急剧下降。

目前，已有的立体视频传输方法中基于扩展窗喷泉码的立体视频传输方法被认为是可用方法，其基本原理是利用喷泉码的前向纠错能力以及扩展窗喷泉码的不等差错保护机制，融合联合信源信道编码技术，根据数据的重要性进行不等差错的保护，使重要数据得到更好的保护，从而提高传输的可靠性。其缺点是扩展窗喷泉码方案中两个窗的最优度分布函数以及最优窗口选择概率不易得到。

无速率调制(RCM)是采用相对固定的编码速率，根据信道条件自适应的连续调整星座距离，使经过信道后调制符号的错误情况适应信道编码的纠错能力。此外，无速率特性(RCM)也能很方便的实现无需反馈的平滑的速率自适应。

发明内容

本发明的目的是提供一种基于无速率调制的立体视频传输方法，该方法能够自适应不同的信道状态，并在保证立体视频传输质量的前提下降低传输时延的传输方法。

本发明基于无速率调制方式固有的不等差错保护机制，通过无速率的产生调制符号以传递信息并完成前向纠错。该系统能够保证经过H.264MVC压缩后的立体视频数据的可靠传输。本系统适用于所有无线与有线的通信环境，压缩后的立体视频数据流能以单播、多播以及广播形式进行可靠传输。

本发明的目的是通过下述技术方案实现的。

本发明的一种基于无速率调制的立体视频传输方法，其特征在于：其包括如下步骤：

步骤一、对原始立体视频数据进行视频压缩，得到压缩立体视频数据。

所述对原始立体视频数据进行视频压缩的算法包括：H.264MVC视频压缩算法、MPEG-1压缩算法、MPEG-2压缩算法和MPEG-4压缩算法。

步骤二、发送端读取步骤一得到的压缩立体视频数据。

步骤三、在步骤二操作基础上，发送端对压缩立体视频数据进行判断，如果是头信息或运动信息或视差矢量预测信息，则将其判断为BL(BaseLayer，基本层)层数据；其它数据判断为EL(EnhancedLayer，增强层)层数据。

步骤四、在步骤三操作基础上，发送端对BL层和EL层的数据分别进行高码率的LDPC(LowDensityParityCode，低密度奇偶校验码)编码，得到编码后BL层数据和编码后EL层数据。

步骤五、此步骤可与步骤一同步操作：确定编码后BL层数据的权重集合(用符号A表示)，以及编码后EL层数据的权重集合(用符号B表示)，其中，n₁和n₂分别表示权重集合A和权重集合B的元素对的个数；均为1到10之间的整数。

优选的，步骤五中所述权重集合的选取方法为采用凸优化算法在星座图固定的情况下寻找最优的权重集合。

步骤六、在步骤四和步骤五操作基础上，发送端根据编码后BL层数据和编码后EL层数据，以带权重的比特到符号(bit-to-symbol)映射方式进行映射，得到调制符号。具体操作步骤为：

步骤6.1：从编码后BL层数据中随机选择N₁个比特(bit)，构成BL层数据集合(用符号C表示)，从编码后EL层数据中随机选择N₂个比特，构成EL层数据集合(用符号D表示)，其中，N₁＝2×n₁，N₂＝2×n₂；分别表示从编码后BL层数据中随机选择的第i个比特的值，1≤i≤N₁；分别表示从编码后EL层数据中随机选择的第j个比特的值，1≤j≤N₂。

步骤6.2：将权重集合A中的N₁个元素依次赋予步骤6.1挑选出的N₁个比特的编码后BL层数据作为权重，并加权求和， S_BL表示BL层的加权和；将权重集合B中的N₂个元素依次赋予步骤6.1挑选出的N₂个比特的编码后EL层数据作为权重，并加权求和，

S_{EL} = d_{1} \times b_{1} + d_{2} \times (- b_{1}) + d_{3} \times b_{2} + d_{4} \times (- b_{2}) + . . . + d_{N_{2} - 1} \times b_{n_{2}} + d_{N_{2}} ({- b}_{n_{2}}),

S_EL表示EL层的加权和。

步骤6.3：将BL层的加权和S_BL与EL层的加权和S_EL相加即得到一个调制符号(用符号S₁表示)。

步骤6.4：重复步骤6.1至6.3的操作，得到另外一个调制符号(用符号S₂表示)。

步骤七、将步骤六得到的调制符号S₁和S₂对应到星座图上的一个星座点，其中S₁为星座点的横坐标，S₂为星座点的纵坐标。

步骤八、将步骤七得到的星座点传输到接收端，接收端统计接收到的星座点个数(用符号M表示)；接收端判断M≥m是否成立，如成立，则执行步骤九的操作；否则，重复步骤六至步骤八的操作。m的值由人为预先设定值，m为正整数。

优选的，m的值取EL层的数据比特数。

步骤九、在步骤八操作的基础上，接收端进行星座图解映射，并根据解映射的结果完成LDPC解码，还原得到重构BL层数据和重构EL层数据。

步骤十、在步骤九操作的基础上，对重构BL层数据和重构EL层数据进行码流重组，然后进行视频解压缩，得到重构立体视频数据。

步骤十中视频解压缩与步骤一中视频压缩使用互逆的压缩/解压缩方法。

步骤十一、根据步骤十得到的重构立体视频数据完成立体视频显示。

经过上述步骤的操作，即可完成立体视频的传输。

有意效果

本发明提出的基于无速率调制的立体视频传输方法与已有技术相比较具有如下优点：

①能够根据数据的重要性不同进行不等差错保护，使重要性更高的数据得到更多的保护，从而提高了数据传输的可靠性。

②由于无速率调制模式下可以源源不断地产生调制符号，没有TCP的网络时延影响吞吐量，非常适合在互联网、无线网以及移动网上提供立体视频传输。

③由于本发明不需要反馈，用户数量的增长对发送方来说没有任何影响，发送方可以服务任意数量的用户，从而增加客户数量，提高经济效益。

附图说明

图1为本发明具体实施方式中基于无速率调制的立体视频传输方法的整体框图。

图2为本发明具体实施方式中不同权重方案下BL层数据及EL层数据误比特率对比图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步说明。

实施例1：

采用本发明提出的基于无速率调制的立体视频传输方法，对一段MP4视频作为原始立体视频数据进行传输，其具体操作步骤为：

步骤一、对原始立体视频数据采用H.264MVC算法进行视频压缩，得到压缩立体视频数据。

步骤二、发送端读取步骤一得到的压缩立体视频数据。

步骤三、在步骤二操作基础上，发送端对压缩立体视频数据进行判断，如果是头信息或运动信息或视差矢量预测信息，则将其判断为BL层数据；其它数据判断为EL层数据。

步骤四、在步骤三操作基础上，发送端对BL层和EL层的数据分别进行高码率的LDPC编码，得到编码后BL层数据和编码后EL层数据。

步骤五、此步骤可与步骤一同步操作：采用随机方法确定编码后BL层数据的权重集合A，A＝{3,-3}；以及编码后EL层数据的权重集合B，B＝{2,-2,1,-1}。其中，n₁＝1和n₂＝2。

步骤六、在步骤四和步骤五操作基础上，发送端根据编码后BL层数据和编码后EL层数据，以带权重的比特到符号(bit-to-symbol)映射方式进行映射，得到调制符号。

具体操作步骤为：

步骤6.1：从编码后BL层数据中随机选择N₁个比特(bit)，构成BL层数据集合C，从编码后EL层数据中随机选择N₂个比特，构成EL层数据集合D，其中，N₁＝2，N₂＝4。

步骤6.2：将权重集合A中的N₁个元素依次赋予步骤6.1挑选出的N₁个比特的编码后BL层数据作为权重，并加权求和，将权重集合B中的N₂个元素依次赋予步骤6.1挑选出的N₂个比特的编码后EL层数据作为权重，并加权求和，

S_{EL} = d_{1} \times b_{1} + d_{2} \times (- b_{1}) + d_{3} \times b_{2} + d_{4} \times (- b_{2}) + . . . + d_{N_{2} - 1} \times b_{n_{2}} + d_{N_{2}} ({- b}_{n_{2}}) .

步骤6.3：将BL层的加权和S_BL与EL层的加权和S_EL相加即得到一个调制符号S₁。

步骤6.4：重复步骤6.1至6.3的操作，得到另外一个调制符号S₂。

步骤八、将步骤七得到的星座点传输到接收端，接收端统计接收到的星座点个数M；接收端判断M≥m是否成立，m＝2500；如成立，则执行步骤九的操作；否则，重复步骤六至步骤八的操作。

步骤十、在步骤九操作的基础上，对重构BL层数据和重构EL层数据进行码流重组，然后采用H.264MVC解码器进行视频解压缩，得到重构立体视频数据。

实施例2：

为了更好的重构立体视频，采用本发明提出的基于无速率调制的立体视频传输方法，对实施例1中的原始立体视频数据进行传输，其步骤与实施例1的区别仅在于：实施例2中的步骤五中所述权重集合的选取方法为采用凸优化算法在星座图固定的情况下寻找最优的权重集合，确定的编码后BL层数据的权重集合A，A＝{4,-4}；以及编码后EL层数据的权重集合B，B＝{1,-1,1,-1}。其中，n₁＝2和n₂＝4。

对应实施例1中的权重方案和实施例2中的权重方案下BL层数据及EL层数据误比特率对比图如图2所示。图2中横坐标是信噪比(单位：分贝)，纵坐标是误比特率。

实施例1中调制符号的取值范围为-6到6之间的整数，取得各整数的频次可根据各权重值置0或置1统计得到，所有可能情况总数为64种，则各整数的取值概率依次为{1/64,2/64,3/64,6/64,7/64,8/64,10/64,8/64,7/64,6/64,3/64,2/64,1/64}，平均能量为

{\overset{&OverBar;}{E}}_{1} = {(- 6)}^{2} \times 1 / 64 + {(- 5)}^{2} \times 2 / 64 + . . . + 6^{2} \times 1 / 64 = 7;

由于每两个调制符号对应一个星座点，则将发送星座点的能量归一化后，各星座点之间的自由距离为用同样的方法可以计算得到实施例2中调制符号的平均能量为发送星座点能量归一化后各星座点之间的自由距离为从图2中可以看出：实施例1中星座点之间的自由距离较大，因此EL层误比特率较低，即EL层的性能实施例1优于实施例2；但由于实施例1中BL层对应的权重较小，BL层误比特率比实施例2高，BL层性能实施例2优于实施例1。从BL层和EL层性能综合考虑，在保证BL层对应权重较大的情况下，尽量增大星座点之间的自由距离，可使相同误比特率下BL层和EL层的接收信噪比之差增大。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于无速率调制的立体视频传输方法，其特征在于：其包括如下步骤：

步骤一、对原始立体视频数据进行视频压缩，得到压缩立体视频数据；

步骤二、发送端读取步骤一得到的压缩立体视频数据；

步骤三、在步骤二操作基础上，发送端对压缩立体视频数据进行判断，如果是头信息或运动信息或视差矢量预测信息，则将其判断为BL层数据；其它数据判断为EL层数据；

步骤四、在步骤三操作基础上，发送端对BL层和EL层的数据分别进行高码率的LDPC编码，得到编码后BL层数据和编码后EL层数据；

步骤五、确定编码后BL层数据的权重集合A，以及编码后EL层数据的权重集合B，其中，n₁和n₂分别表示权重集合A和权重集合B的元素对的个数；均为1到10之间的整数；

步骤六、在步骤四和步骤五操作基础上，发送端根据编码后BL层数据和编码后EL层数据，以带权重的比特到符号映射方式进行映射，得到调制符号；具体操作步骤为：

步骤6.1：从编码后BL层数据中随机选择N₁个比特，构成BL层数据集合C，从编码后EL层数据中随机选择N₂个比特，构成EL层数据集合D，其中，N₁＝2×n₁，N₂＝2×n₂；分别表示从编码后BL层数据中随机选择的第i个比特的值，1≤i≤N₁；分别表示从编码后EL层数据中随机选择的第j个比特的值，1≤j≤N₂；

S_{E L} = d_{1} \times b_{1} + d_{2} \times (- b_{1}) + d_{3} \times b_{2} + d_{4} \times (- b_{2}) + ... + d_{N_{2} - 1} \times b_{n_{2}} + d_{N_{2}} \times (- b_{n_{2}}),

S_EL表示EL层的加权和；

步骤6.3：将BL层的加权和S_BL与EL层的加权和S_EL相加即得到一个调制符号S₁；

步骤6.4：重复步骤6.1至6.3的操作，得到另外一个调制符号S₂；

步骤七、将步骤六得到的调制符号S₁和S₂对应到星座图上的一个星座点，其中S₁为星座点的横坐标，S₂为星座点的纵坐标；

步骤八、将步骤七得到的星座点传输到接收端，接收端统计接收到的星座点个数M；接收端判断M≥m是否成立，如成立，则执行步骤九的操作；否则，重复步骤六至步骤八的操作；m的值由人为预先设定值，m为正整数；

步骤九、在步骤八操作的基础上，接收端进行星座图解映射，并根据解映射的结果完成LDPC解码，还原得到重构BL层数据和重构EL层数据；

步骤十、在步骤九操作的基础上，对重构BL层数据和重构EL层数据进行码流重组，然后进行视频解压缩，得到重构立体视频数据；

步骤十一、根据步骤十得到的重构立体视频数据完成立体视频显示；

经过上述步骤的操作，即可完成立体视频的传输。

2.如权利要求1所述的一种基于无速率调制的立体视频传输方法，其特征在于：步骤一中所述对原始立体视频数据进行视频压缩的算法包括：H.264MVC视频压缩算法、MPEG-1压缩算法、MPEG-2压缩算法和MPEG-4压缩算法。

3.如权利要求1或2所述的一种基于无速率调制的立体视频传输方法，其特征在于：优选的，步骤五中所述权重集合的选取方法为采用凸优化算法在星座图固定的情况下寻找最优的权重集合。

4.如权利要求1或2所述的一种基于无速率调制的立体视频传输方法，其特征在于：m的值为EL层的数据比特数。

5.如权利要求1或2所述的一种基于无速率调制的立体视频传输方法，其特征在于：步骤十中视频解压缩与步骤一中视频压缩使用互逆的压缩/解压缩方法。