CN109618170B - 基于网络编码的d2d实时视频流传输方法 - Google Patents

Abstract

本发明公开一种基于网络编码的D2D(Device‑to‑Device)实时视频流传输方法，该方法包括如下步骤：信源设备对实时发送的视频流进行网络编码操作；中间节点成功解码来自信源设备的视频流并进行视频合流操作；中间节点对合流后的视频流进行再次网络编码，然后以广播的形式发送；移动设备接收到预先设定量的线性无关的数据包后便可解码得到合流视频。本发明对不同重要度的视频帧设置不同冗余度，能够为视频流中的关键帧提供额外的传输保护，从而提升了视频传输过程的可靠性；通过中间节点的合流操作，将来自不同信源的视频流压缩为一个视频流，降低了传输带宽，提高整体传输性能；本发明具有视频传输可靠性高、低带宽占用、低传输时延的优点。

Description

基于网络编码的D2D实时视频流传输方法

技术领域

本发明属于无线通信技术领域，具体涉及一种基于网络编码的D2D实时视频流传输方法。

背景技术

伴随着多媒体业务的兴起以及智能终端设备的普及，移动数据流量将迎来爆发性增长。海量的设备接入使得现有的蜂窝网络变得越来越拥挤，从而恶化服务质量和降低用户体验。预计到2021年，移动连接设备的数量将达到116亿台，每年产生一半以上的全球移动数据流量，其中78％以上是由移动视频业务贡献的。通过无线网络随时随地接入网络进行视频会议、视频电话、在线视频直播等多媒体应用正逐渐成为目前网络的主流应用。所以在下一代移动网络通信中，如何提高移动网络的整体性能，为视频流传输提供服务质量保障一直是网络研究人员所面临的难题。

D2D(device-to-device)通信技术被作为5G关键技术之一，为视频传输提供了新的应用场景。通过对不同的源数据包进行编码合并，网络编码(Network Coding，NC)技术可以有效地提高网络吞吐量和传输可靠性进而改善视频流传输质量。受益于D2D通信的直接通信的性质，D2D中基于网络编码的数据传输已成为近年来的热门话题。

有限的网络带宽和极端的链路质量是我们在实现多用户视频传输过程中所面临的挑战之一。与一般的数据传输不同，视频流在传输时具有一定的相关性，即视频数据包不是相互独立的。多媒体视频流的主要特点包括:对数据包丢失敏感；对网络带宽和延迟的要求比较高；传输的数据量通常都比较大；视频帧有着不同程度的重要性。在视频传输中面临着诸多挑战如视频播放的连续性、视频传输的容错性、以及随之而来的在恶劣网络环境下的视频传输，如何应对这些挑战，向用户提供更好的使用体验成为一个急需解决的问题。

发明内容

本发明的目的是旨在解决如何应用网络编码技术优化视频流的传输，特别是在传输环境恶劣的情况下，能够保障视频中关键帧的传输，提高视频传输可靠性的问题。本发明对不同来源的视频流进行合并，并提出了一种新的编码策略，以保证关键视频帧的传输，提高视频传输的整体性能。

为了达到上述目的，本发明提供了提供一种基于网络编码的D2D实时视频流传输方法，按照如下步骤进行：

步骤1)信源设备对实时发送的视频流根据不同的视频帧设置不同冗余度，然后执行网络编码操作后进行传输；

步骤2)中间节点接收并解码来自信源设备的视频流；

步骤3)中间节点对接收到的来自不同移动设备的视频流进行合流操作，将其压缩合并成一个视频流，并对得到的合流视频进行随机线性网络编码操作；

步骤4)中间节点以广播的形式将编码后的合流视频发送给其他移动设备；

步骤5)当其他移动设备接收到预先设定量的线性无关的数据包后便可解码得到合流视频。

进一步地，步骤1)中信源设备对实时发送的视频流根据不同的视频帧选择不同冗余度的网络编码操作进行传输，包含以下子步骤：

步骤101)：信源设备选择发送格式为H.264的视频流，将视频流分割为若干包含I帧、P帧、B帧的连续的画面组(GOP，Group of Pictures)，每次选择一组进行操作；

步骤102)：信源设备将该组中的I帧分成k₁个分片；

步骤103)：信源设备将该组中的P帧分成k₂个分片；

步骤104)：信源设备从有限域GF中随机获取n₁×k₁个元素作为系数矩阵进行随机线性编码，得到n₁个编码后的I帧数据包；

步骤105)：信源设备从有限域GF中随机获取n₂×k₂个元素作为系数矩阵进行随机线性编码，得到n₂个编码后的P帧数据包。

在步骤1)中优先对I帧进行编码，在网络冗余度允许的情况下，再对P帧进行编码，且有n₁＞k₁，n₂＞k₂，n₁＞n₂，以保障I帧传输的可靠性最高。

进一步地，步骤2)中间节点成功接收解码来自信源设备的视频流，包括以下子步骤：

步骤201)：中间节点将接收到的I帧和P帧的编码数据包分别存储在缓存中；

步骤202)：中间节点对接收到的I帧和P帧的编码矩阵分别进行求逆操作，如果可逆则转步骤203)，否则转步骤201)；

步骤203)：中间节点通过用步骤202)中得到的逆矩阵左乘数据矩阵，还原出原始数据；

步骤204)：将解码后的数据重新拼接成原始的数据帧。

在步骤2)中分析分片数据包数量k₁，k₂和编码数据包n₁，n₂对成功解码率的影响，信源设备通过设置k₁，k₂和n₁，n₂的值，来确保视频传输质量和传输冗余的平衡。

进一步地，步骤3)中间节点对接收到的来自不同移动设备的视频流进行合流操作，将其压缩合并成一个视频流，并对得到的合流视频进行再次网络编码操作，包括以下子步骤：

步骤301)：根据信源设备的数量设定显示窗口尺寸；

步骤302)：将视频流导入FFMPEG中进行解码操作，获得YUV数据，根据步骤301)中设置的尺寸对YUV数据进行合并；

步骤303)：将合并后的YUV数据导入FFMPEG，重新压缩编码为H.264视频流；

步骤304)：中间节点对步骤303)中获得的合流视频进行编码操作，其形式如下

其中，c_ij是从有限域GF中随机选取的系数，(v₁…v_k)是来自合流视频的k个数据包，(x₁…x_n)代表n个编码后的视频数据包。

步骤305)：创建一个地址，将编码后的视频流发送到组播地址。

进一步地，步骤5)当其他的移动设备接收到预先设定量的线性无关的数据包后便可解码得到合流视频，包括以下子步骤：

步骤501)：移动设备加入组播地址，并开始接收数据；

步骤502)：移动设备接收到来自中间节点的包含视频帧信息的数据包存储在缓存中；

步骤503)：移动设备对接收到的编码矩阵进行求逆操作，如果可逆则转步骤504)，否则转步骤501)；

步骤504)：移动设备通过用步骤503)中得到的逆矩阵左乘数据矩阵，还原出原始数据；

步骤505)：将解码后的数据重新拼接成原始的数据帧；

步骤506)：将拼接后的数据帧通过FFMPEG进行解码，并将解码后的图像显示在界面上。

在步骤5)中移动设备在收到一定量的分组数据包后，就可以开始解码，无需等待完整的n个数据包接收完成。由于实时性的限制，在一组GOP发送后t时间内，接收节点接收s个数据包(s＜k)，并且节点处于等待状态。如果s≤k/2，移动设备将直接丢弃这组GOP并等待接收下一组GOP；如果s＞k/2，那么可以继续等待t/2的时间。

本发明的有益效果是：

1、对视频流的I帧和P帧采用不同的编码方式，并为I帧提供了额外的编码冗余来保护传输，有效的提高了传输的可靠性；

2、对视频进行编码合流操作，在传输数据量很大时，可以有效的减少传输所需要的带宽，降低传输所需要的时间，提高传输整体性能；

3、本发明通过中间节点的再编码，增加了设备中数据的独立性，提升了整体的实时数据处理性能；

4、为即将到来的5G时代的移动设备中的视频传输提供参考。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是整体流程图；

图2是n-k关系分析图；

图3是不同方案的丢包率对成功解码率的折线图；

图4是不同方案的I帧长度对成功解码率的折线图；

图5是本方法的具体实现对比图。

具体实施方式

下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

一种基于网络编码的D2D实时视频流传输方法，其实现步骤如下：

步骤1)信源设备对实时发送的视频流根据不同的视频帧设置不同冗余度，然后执行网络编码操作后进行传输；

步骤101)：信源设备选择发送格式为H.264的视频流，将视频流分割为若干包含I帧、P帧、B帧的连续的画面组(GOP，Group of Pictures)，每次选择一组进行操作；

步骤102)：信源设备将该组中的I帧分成k₁个分片；

步骤103)：信源设备将该组中的P帧分成k₂个分片；

步骤104)：信源设备从有限域GF中随机获取n₁×k₁个元素作为系数矩阵进行随机线性编码，得到n₁个编码后的I帧数据包；

步骤105)：信源设备从有限域GF中随机获取n₂×k₂个元素作为系数矩阵进行随机线性编码，得到n₂个编码后的P帧数据包。

步骤2)中间节点接收并解码来自信源设备的视频流；

步骤201)：中间节点将接收到的I帧和P帧的编码数据包分别存储在缓存中；

步骤202)：中间节点对接收到的I帧和P帧的编码矩阵分别进行求逆操作，如果可逆则转步骤203)，否则转步骤201)；

步骤203)：中间节点通过用步骤202)中获得的逆矩阵左乘数据矩阵，还原出原始数据；

步骤204)：将解码后的数据重新拼接成原始的数据帧。

步骤3)中间节点对接收到的来自不同移动设备的视频流进行合流操作，将其压缩合并成一个视频流，并对得到的合流视频进行随机线性网络编码操作；

步骤301)：根据信源设备的数量设定显示窗口尺寸；

步骤302)：将视频流导入FFMPEG中进行解码操作，获得YUV数据，根据步骤301)中设置的尺寸对YUV数据进行合并；

步骤303)：将合并后的YUV数据导入FFMPEG，重新压缩编码为H.264视频流；

步骤304)：中间节点对步骤303)中获得的合流视频进行编码操作，其形式如下

其中，c_ij是从有限域GF中随机选取的系数，(v₁…v_k)是来自合流视频的k个数据包，(x₁…x_n)代表n个编码后的视频数据包。

步骤5)当其他移动设备接收到预先设定量的线性无关的数据包后便可解码得到合流视频。

步骤501)：移动设备加入组播地址，并开始接受数据；

步骤502)：移动设备接收到来自中间节点的包含视频帧信息的数据包存储在缓存中；

步骤503)：移动设备对接收到的编码矩阵进行求逆操作，如果可逆则转步骤504)，否则转步骤501)；

步骤504)：移动设备通过用步骤503)中得到的逆矩阵左乘数据矩阵，还原出原始数据；

步骤505)：将解码后的数据重新拼接成原始的数据帧；

步骤506)：将拼接后的数据帧通过FFMPEG进行解码，并将解码后的图像显示在界面上。

在具体实施本发明方法时搭建了真实的实验平台并使用MATLAB仿真工具进行数学分析，用于测试该视频传输方法的性能。

该实验由5部基于Andriod系统的移动设备构成，其中一部手机作为中间节点，四部手机作为信源设备。所有移动设备通过D2D通信进行视频会话。

一、n-k关系分析

在实时视频传输中，每秒传输的视频流的大小是不固定的。当图像中的数据量很大时，我们可以增加视频传输过程中的数据包量，即n的值。如果图像中的元素基本上是静止的，则可以适当地减小n的值以减少编码冗余。可以想象，这是一种平衡图像质量和网络冗余的方法。在图2中，当丢包率为40％时，随着n的取值增大，成功解码率也随之增高；当k的取值增大时，成功解码率降低。

二、可靠性分析

将本发明提出的方法与基于复制的和基于立即可解网络编码(InstantlyDecodable Network Coding,IDNC)的方法从移动设备处的解码成功率进行对比分析本发明提出的方法的可靠性。如图3所示，成功解码率随着丢包率的增加而逐渐降低。与基于IDNC的方案相比，本发明提出的方法下降率更加平缓。图4示出了I帧的长度对解码概率的影响，I帧解码的成功率随着长度的增加逐渐降低。与其他方案相比，本发明提出的方法对I帧具有更好的保护。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施案例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于网络编码的D2D实时视频流传输方法，其特征在于，包括如下步骤：

步骤1)信源设备对实时发送的视频流根据不同的视频帧设置不同冗余度，然后执行网络编码操作后进行传输；具体包含以下步骤：

步骤101)：信源设备选择发送格式为H.264的视频流，将视频流分割为若干包含I帧、P帧、B帧的连续的画面组(GOP，Group of Pictures)，每次选择一组进行操作；优先对I帧进行编码，在网络冗余度允许的情况下，再对P帧进行编码，且有n₁＞k₁，n₂＞k₂，n₁＞n₂，以保障I帧传输的可靠性最高；

步骤102)：信源设备将该组中的I帧分成k₁个分片；

步骤103)：信源设备将该组中的P帧分成k₂个分片；

步骤104)：信源设备从有限域GF中随机获取n₁×k₁个元素作为系数矩阵进行随机线性编码，得到n₁个编码后的I帧数据包；

步骤105)：信源设备从有限域GF中随机获取n₂×k₂个元素作为系数矩阵进行随机线性编码，得到n₂个编码后的P帧数据包；

步骤2)中间节点接收并解码来自信源设备的视频流；分析分片数据包数量k₁，k₂和编码数据包n₁，n₂对成功解码率的影响，信源设备通过设置k₁，k₂和n₁，n₂的值，来确保视频传输质量和传输冗余的平衡；具体步骤如下：

步骤201)：中间节点将接收到的I帧和P帧的编码数据包分别存储在缓存中；

步骤202)：中间节点对接收到的I帧和P帧的编码矩阵分别进行求逆操作，如果可逆则转步骤203)，否则转步骤201)；

步骤203)：中间节点通过用步骤202)中得到的逆矩阵左乘数据矩阵，还原出原始数据；

步骤204)：将解码后的数据重新拼接成原始的数据帧；

步骤3)中间节点对接收到的来自不同移动设备的视频流进行合流操作，将其压缩合并成一个视频流，并对得到的合流视频进行随机线性网络编码操作；具体步骤如下：

步骤301)：根据信源设备的数量设定显示窗口尺寸；

步骤302)：将视频流导入FFMPEG中进行解码操作，获得YUV数据，根据步骤301)中设置的尺寸对YUV数据进行合并；

步骤303)：将合并后的YUV数据导入FFMPEG，重新压缩编码为H.264视频流；

步骤304)：中间节点对步骤303)中获得的合流视频进行编码操作，其形式如下

其中，c_ij是从有限域GF中随机选取的系数，(v₁…v_k)是来自合流视频的k个数据包，(x₁…x_n)代表n个编码后的视频数据包；

步骤305)：创建一个组播地址，将编码后的视频流发送到该组播地址；

步骤4)中间节点以广播的形式将编码后的合流视频发送给其他移动设备；

步骤5)当其他移动设备接收到预先设定量的线性无关的数据包后便可解码得到合流视频；具体步骤如下：

步骤501)：移动设备加入组播地址，并开始接收数据；

步骤502)：移动设备接收到来自中间节点的包含视频帧信息的数据包存储在缓存中；移动设备在收到一定量的分组数据包后，就可以开始解码，无需等待完整的n个数据包接收完成；由于实时性的限制，在一组GOP发送后t时间内，接收节点接收s个数据包，s＜k，并且节点处于等待状态；如果s≤k/2，移动设备将直接丢弃这组GOP并等待接收下一组GOP；如果s＞k/2，那么可以继续等待t/2的时间；

步骤503)：移动设备对接收到的编码矩阵进行求逆操作，如果可逆则转步骤504)，否则转步骤501)；

步骤504)：移动设备通过用步骤503)中得到的逆矩阵左乘数据矩阵，还原出原始数据；

步骤505)：将解码后的数据重新拼接成原始的数据帧；

步骤506)：将拼接后的数据帧通过FFMPEG进行解码，并将解码后的图像显示在界面上。

Images