CN102065289A - 基于网络编码的可靠性视频传输方法及装置 - Google Patents

Abstract

本发明公开了一种基于网络编码的可靠性视频传输方法，主要解决一般视频传输方法中因丢包或误码造成的接收端视频重建质量下降的问题，其实现步骤包括：对原始视频信息的每个画面组进行分级视频编码的分层码流添加相应的冗余信息及打包，完成码率分配；对进行码率分配后的数据包利用所设计的具有非严格下三角结构的全局编码矩阵进行随机线性网络编码，并通过传输信道将编码后的信息发送至接收端；在接收端利用高斯消元法解码网络编码码流，并恢复出原始视频信息。本发明改善了传输过程中因丢包、时延而造成的接收端视频重建质量下降的问题，可以实现对H.264/SVC码流的不等错误保护以及高可靠性视频多播。

Description

基于网络编码的可靠性视频传输方法及装置

技术领域

本发明属于通信技术领域，涉及视频传输方法及装置，特别是一种基于网络编码的可靠性视频传输方法及装置。

背景技术

随着不同用户同时访问网络资源需求的不断增加，无线及有线网络的视频多播技术发生了革命性飞跃，但是视频质量仍然受到有限的吞吐量、丢包以及不可预知延时的较大影响。

传统的提高视频质量的方法是采用前向纠错编码对视频数据进行纠错保护。该方法通过生成冗余数据包以保护源信息使系统能够恢复已丢失的数据，但是当丢失的数据包数量超过前向纠错编码的纠错能力时，该方法不能保护源节点信息。与前向纠错编码相比，网络编码在提高视频传输质量方面具有更大的优势。网络编码是一种融合了路由和编码的信息交换技术，它的核心思想是在网络的各节点上对接收到的信息进行线性或非线性处理后，将其转发给下游节点，接收节点在收到信息后通过一定的处理方式，译出信源所发送的信息。

网络编码主要具有以下几个优点：

第一，通过网络编码可以达到多播网络传输的最大流界，与传统的路由传输方式相比，网络编码可提高网络的信息传输速率，提高带宽利用率，增加网络的吞吐量。

第二，对于单信源网络，进行网络编码可使每个节点接收到的信息量达到信源节点到该节点的最大流，并且即使某一节点接收信息的最大流量小于信源发送信息的速率，该节点用户也可以接收到信源发送的部分信息，用户可在满足一定失真标准的情况下，利用接收到的这部分信息进行编码或译码。

第三，网络编码可增加通信网络的鲁棒性和自适应性，经过网络编码后的数据具有同等重要性，因此只要用户接收到了足够多的编码数据，就可以利用这些数据正确的译出所需的信息，当部分节点未能及时发送信息时，只要有足够的节点在工作，数据传输仍可正常进行。

第四，由于网络编码对传输数据进行了线性或非线性组合，因此即使网络中一个或数个链路遭到窃听，通过网络编码也可以在一定程度上提高窃听难度从而保护信息，可提高信息的安全性和可靠性。

虽然网络编码具有上述优点，但实际传输过程中使用网络编码仍具有一定困难。因为进行网络编码时需要知道网络拓扑信息，而实际网络中信息通常以分组形式进行异步传输，每条传输链路上都可能存在时延或丢包，因此获得整个网络的拓扑信息或将网络拓扑信息可靠的传送到各节点上是非常困难的。

实际传输过程中广泛使用的方法是随机线性网络编码方法，该方法在具备网络编码优点的同时也改善了网络编码的不足之处，即在不知道整个网络拓扑的情况下仍可通过中间节点选择随机线性网络编码系数进行编码，克服了网络编码中由于链路上随机时延和丢包造成的拓扑信息传输困难的缺点，因此随机线性网络编码在多个领域得到了广泛应用，但是目前将随机线性网络编码应用于视频传输领域的方法尚不多见。

例如，美国学者J.M.Walsh、S.Weber在2008年的Netcod会议上发表的文章Aconcatenated network coding scheme for multimedia transmission中提出了一种视频传输方法。该方法有效的结合了数字喷泉码、优先传输编码及随机线性网络编码，在网络中间节点通过异或方法提高丢失信息恢复的效率，并按重要性递减的顺序传输视频码流。相比只采用随机线性网络编码的视频传输方法，该方法有效的降低了视频传输的延迟，并提高了视频重建的质量，但是同时实现三种编码方式具有一定复杂度，会增加系统的成本和能耗，因此该方法不能应用到实际的视频传输系统。

另外，在基于随机线性网络编码的视频传输方法中，解码端全局编码矩阵的秩是成功解码的要素之一，但目前已有的基于随机线性网络编码的视频传输方法未考虑此问题，导致这些方法的性能不佳。由于实际网络中存在丢包和时延，一定时间内解码端接收到的信息可能不完全，使得解码端从这些信息中获取的全局编码矩阵的秩只能解码出部分码流，因此从这些码流中重建图像时会造成其重建视频序列质量的下降。

发明内容

针对上述技术问题，本发明提出了一种基于网络编码的可靠性视频传输方法及装置，通过设计具有非严格下三角结构的全局编码矩阵进行随机线性网络编码，以提高网络的吞吐量、抗丢包能力并减小时延，最终提高视频重建质量，实现高可靠性视频多播以及对H.264/SVC码流的不等错误保护，满足实际的视频传输要求。

为实现上述目的，本发明所述的基于网络编码的可靠性视频传输方法，包括如下步骤：

(1)对原始视频信息的每个画面组进行分级视频编码，再对进行分级视频编码的分层码流添加相应的冗余信息及打包，实现码率分配；

(2)对码率分配后的分层码流进行如下随机线性网络编码：

2a)设计具有非严格下三角结构的全局编码矩阵为：

其中g₁₁～g_NN为网络编码系数，N为一个画面组中包含的数据包数；

2b)每个中间节点在全局编码矩阵中随机选择g₁₁～g_NN以生成随机线性网络编码数据包头，该包头信息包括随机线性网络编码系数、分层码流信息、数据包所属层号；

2c)根据包头信息中数据包所属层号确定中间节点i接收到的所有数据包是否属于分层码流的同一层，若为同一层则按照下式对其进行线性组合，完成随机线性网络编码并发送至下一节点：

${\mathrm{\γ}}_k=\underset{l{\left(i\right)}_{\mathrm{in}}}{\mathrm{\Σ}}{P}_i\·g_{\mathrm{ik}},k\∈\left\{l{\left(i\right)}_{\mathrm{out}}\right\}$

其中l(i)_in为中间节点i对应的全部输入信道，l(i)_out为中间节点i对应的全部输出信道，k为l(i)_out中的任一输出信道，P_i为节点i接收到的所有数据包，g_ik为网络编码系数，r_k为进行线性组合后生成的数据包，通过信道k传输至下一节点；

(3)通过传输信道将进行随机线性网络编码后的信息发送到接收端，在接收端利用高斯消元法解码网络编码码流，并恢复出原始视频信息。

所述的对分级视频编码后的分层码流添加相应的冗余信息及打包，实现码率分配，包括如下步骤：

1a)设定分层码流每一层冗余数据包数目r_i的约束条件：

i＝1，2...L-1

其中m_i为分层码流每一层的源数据包数，L为已编码层数；

1b)根据约束条件通过迭代优化方法确定r_i的最优值；

1c)根据分层码流每一层的源数据包数m_i及分层码流每一层冗余数据包数目r_i确定分层码流每一层的数据包总数n_i：

n_i＝m_i+r_i

1d)将分层码流每层冗余数据包添加至每层源数据包后，完成信息打包，实现码率分配。

所述的在接收端利用高斯消元法解码网络编码码流并恢复出原始视频信息，包括如下步骤：

3a)将每个接收节点接收到的信息表示为：

Y＝G×S

其中G为全局编码矩阵，S为原始视频信息，S由矩阵[P₁，...，P_k]^T构成，Y由矩阵[γ₁，...γ_k]构成；

3b)将接收到的数据包按其所属层号由小至大重新排序；

3c)由Y＝G×S恢复出原始视频信息S＝G^-1×Y。

为实现上述目的，本发明所述的基于网络编码的可靠性视频传输方法，包括：

(a)分级视频编码单元，用于对原始视频信息的每个画面组进行分级视频编码；

(b)码率分配单元，用于对进行分级视频编码的分层码流添加相应的冗余信息及打包，实现码率分配，该单元包括以下模块：

ba)长度划分模块，用于将原始视频信息划分为相同长度的数据包；

bb)冗余数据包数确定模块，用于确定进行分级视频编码后的分层码流每层添加的冗余数据包数；

bc)打包模块，用于组合原始视频信息与添加的冗余信息，完成码率分配。

(c)随机线性网络编码单元，用于对码率分配后的分层码流进行随机线性网络编码，该单元包括以下模块：

ca)全局编码矩阵生成模块，用于生成具有非严格下三角结构的全局编码矩阵，矩阵形式如下：

cb)数据组合模块，用于对各节点接收到的数据进行线性组合，得到组合后的的数据包γ_k，将所有组合后的数据包存入矩阵Y中，完成随机线性网络编码；

(d)传输单元，用于将进行随机线性网络编码后的信息发送到接收端；

(e)解码单元，用于对接收端接收到的数据包Y利用高斯消元法解码网络编码码流，并恢复出原始视频信息S。

本发明与现有的技术相比具有以下优点：

1、本发明由于采用了非严格下三角结构的全局编码矩阵，使解码端接收到一个线性独立的数据包即可解码出一组原始视频信息，克服了一般结构全局编码矩阵达到译码所需的秩才能解码的不足，提高了链路吞吐量及抗丢包能力，降低了传输的时延；

2、本发明由于对分级视频编码的分层码流按其重要性等级分别施加最优的保护冗余，使解码端在一定时间内能够获取尽可能多的重要性等级较高的码流，改善了基于一般随机线性网络编码的视频传输方法中因丢包或时延造成的接收端视频重建质量下降的问题，可以实现对H.264/SVC码流的不等错误保护以及高可靠性的视频多播。

附图说明

图1为本发明的总流程图；

图2为本发明进行分级视频编码后的分层码流冗余添加示意图；

图3为本发明进行随机线性网络编码的子流程图；

图4为本发明进行解码的子流程图；

图5为本发明装置的结构示意图；

图6为不同方法在无冗余情况下的仿真图；

图7为丢包率为0.04的情况下，用不同方法进行无冗余视频重建质量仿真图；

图8为用不同方法在添加0.1冗余情况下的仿真图；

图9为丢包率为0.08的情况下，用不同方法添加0.1冗余的视频重建质量仿真图。

具体实施方式

以下参照附图对本发明进行详细描述：

参照图1，本发明基于网络编码的可靠性视频传输方法，包括以下步骤：

步骤1：对原始视频信息的每个画面组进行分级视频编码，再对进行分级视频编码的分层码流添加相应的冗余信息及打包，实现码率分配。

1a)设定分层码流每一层冗余数据包数目r_i的约束条件：

i＝1，2...L-1

其中m_i为分层码流每一层的源数据包数，L为已编码层数；

1b)根据约束条件通过迭代优化方法确定r_i的最优值；

1c)根据分层码流每一层的源数据包数m_i及分层码流每一层冗余数据包数目r_i确定分层码流每一层的数据包总数n_i：

n_i＝m_i+r_i

1d)将分层码流每层冗余数据包添加至每层源数据包后，完成信息打包，实现码率分配，如图2所示。

步骤2：对码率分配后的分层码流进行随机线性网络编码。

参照图3，本步骤的具体实现如下：

2a)标记网络中的所有节点，设总节点个数为p，设i为其中序号最大的节点；

2b)设节点j的序号为1，并由j开始遍历网络中所有节点，直到i与j节点间存在直接链路，若不存在直接链路则设i序号为i-1，并重新开始遍历；

2c)当i、j之间有直接链路且i节点内有接收到的信息时，i节点按如下步骤向j节点发送信息，且i节点继续判断是否与j+1节点间有直接链路：

2ca)设计具有非严格下三角结构的全局编码矩阵为：

其中g₁₁～g_NN为网络编码系数，N为一个画面组中包含的数据包数；

2cb)在节点i处随机选择全局编码矩阵中的g₁₁～g_NN以生成随机线性网络编码数据包头，该包头信息包括随机线性网络编码系数、分层码流信息、数据包所属层号；

2cc)根据包头信息中数据包所属层号确定中间节点i接收到的所有数据包是否属于进行码率分配后的分层码流的同一层，若为同一层则按照下式对其进行线性组合，完成随机线性网络编码并将组合后信息发送至下一节点：

${\mathrm{\γ}}_k=\underset{l{\left(i\right)}_{\mathrm{in}}}{\mathrm{\Σ}}{P}_i\·g_{\mathrm{ik}},k\∈\left\{l{\left(i\right)}_{\mathrm{out}}\right\}$

其中l(i)_in为中间节点i对应的全部输入信道，l(i)_out为中间节点i对应的全部输出信道，k为l(i)_out中的任一输出信道，P_i为节点i接收到的所有数据包，g_ik为网络编码系数，r_k为进行线性组合后生成的数据包，通过信道k传输至下一节点。

步骤3：在接收端利用高斯消元法解码网络编码码流，并恢复出原始视频信息。

参照图4，本步骤的具体实现如下：

3a)设置节点r为接收节点；

3b)将r节点接收到的信息表示为：

Y＝G×S

其中G为全局编码矩阵，S为原始视频信息，S由矩阵[P₁，...，P_k]^T构成，Y由矩阵[γ₁，...γ_k]构成；

3c)将接收到的数据包按其所属层号由小至大重新排序；

3d)由Y＝G×S恢复出原始视频信息S＝G^-1×Y。

参照图5，本发明基于网络编码的可靠性视频传输装置，包括：

(a)分级视频编码单元，用于对原始视频信息的每个画面组进行分级视频编码；

(b)码率分配单元，对进行分级视频编码的分层码流添加相应的冗余信息及打包，实现码率分配，该单元包括以下模块：

ba)长度划分模块，用于将原始视频信息划分为相同长度的数据包；

bb)冗余数据包数确定模块，用于确定经过分级视频编码的分层码流每层添加的冗余数据包数r_i；

bc)打包模块，用于组合原始视频信息与添加的冗余信息，得到总数据包数n_i，完成码率分配。

(c)随机线性网络编码单元，用于对码率分配后的分层码流进行随机线性网络编码，该单元包括以下模块：

ca)全局编码矩阵生成模块，用于生成具有非严格下三角结构的全局编码矩阵，矩阵形式如下：

cb)数据组合模块，用于对各节点接收到的数据进行线性组合，得到组合后的的数据包γ_k，将所有组合后的数据包存入矩阵Y中，完成随机线性网络编码；

(d)传输单元，用于将进行随机线性网络编码后的信息发送到接收端；

(e)解码单元，用于对接收端接收到的数据包Y利用高斯消元法解码网络编码码流，并恢复出原始视频信息S，该单元包括以下模块：

ea)排序模块，用于对接收到的信息Y按其所属层号由小至大重新排序；

eb)解码模块，将重新排序后的信息利用S＝G^-1×Y恢复出原始视频信息S。

本发明的效果可以通过以下对Foreman及Crew序列的仿真结果进一步说明：

1、实验条件和内容：

本实施例在Matlab语言环境下仿真实现，采用了分级视频编码源代码JSVM生成的码流，利用Foreman和Crew标准CIF及4CIF序列和以每秒30帧进行测试。测试序列利用含有2个空间层、3个时间层和2个信噪比层的H.264/SVC码流进行编码，每个画面组的大小为8，其中每个画面组的第一帧为帧内编码。数据包的大小设定为1024字节，随机线性网络编码的有限域大小为2⁸。将原始视频信息按其重要性分为5层和7层，对应的峰值信噪比值，以及经过分级视频编码的分层码流每层对应的字节数，如表1中所示：

表1峰值信噪比值及分层码流每层对应字节数

2、仿真内容及结果：

A.利用不同方法在没有冗余保护且丢包率为0.01～0.1的情况下，对峰值信噪比值进行仿真，其结果如图6中所示，其中：

图6(a)为利用传统存储转发方法、一般的随机线性网络编码方法和本发明方法分别对Foreman序列进行仿真得到的峰值信噪比仿真图；

图6(b)为利用传统存储转发方法、一般的随机线性网络编码方法和本发明方法分别对Crew序列进行仿真得到的峰值信噪比仿真图；

图6表明，利用本发明方法能够得到的峰值信噪比值最大，存储转发方法次之，而一般随机线性网络编码方法得到的峰值信噪比值最小，可见本发明随机线性网络编码方法方法在没有冗余保护的情况下，抗丢包能力最强。

B.利用不同方法在没有冗余保护且丢包率均为0.04的情况下，对视频重建质量进行仿真，其结果如图7中所示，其中：

图7(a)为利用一般随机线性网络编码方法对Foreman序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为34.8dB；

图7(b)为利用传统存储转发方法编码方法对Foreman序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为38dB；

图7(c)为利用本发明方法对Foreman序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为38.2dB；

图7(d)为利用一般随机线性网络编码方法对Crew序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为35.08dB；

图7(e)为利用传统存储转发方法对Crew序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为38.23dB；

图7(f)为利用本发明方法对Crew序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为38.45dB；

图7表明，在丢包率较小的情况下，利用传统存储转发方法重建视频的质量略差于本发明方法，一般随机线性网络编码方法重建视频的质量与上述两种方法得到的重建视频的质量相差较大。

C.利用不同方法在冗余率为0.1且丢包率为0.01～0.1的情况下，对峰值信噪比值进行仿真，其结果如图8中所示，其中：

图8(a)为利用一般的随机线性网络编码方法和本发明方法分别对Foreman序列进行仿真得到的峰值信噪比仿真图；

图8(b)为利用一般的随机线性网络编码方法和本发明方法分别对Crew序列进行仿真得到的峰值信噪比值仿真图；

图8表明，利用本发明方法得到的峰值信噪比值远大于一般随机线性网络编码方法得到的峰值信噪比值，可见在添加冗余保护后，两种方法抗丢包能力均有所提升，但本发明方法抗丢包能力提升较大。

D.利用不同方法在冗余率为0.1且丢包率均为0.08的情况下，对视频重建质量进行仿真，其结果如图9中所示，其中：

图9(a)为利用一般随机线性网络编码方法对Foreman序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为32dB；

图9(b)为利用本发明方法对Foreman序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为38dB；

图9(c)为利用一般随机线性网络编码方法对Crew序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为35.74dB；

图9(d)为利用本发明对Crew序列进行仿真得到的视频重建质量仿真图，对应的峰值信噪比值为38.4dB；

图9表明，利用本发明得到的视频重建的质量远高于一般随机线性网络编码方法，可以实现高可靠性的视频多播。

以上所述仅为本发明的较佳实施例而已，并不构成对本发明的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于网络编码的可靠性视频传输方法，包括如下步骤：

(1)对原始视频信息的每个画面组进行分级视频编码，再对经过分级视频编码的分层码流添加相应的冗余信息及打包，实现码率分配；

(2)对码率分配后的分层码流进行如下随机线性网络编码：

2a)设计具有非严格下三角结构的全局编码矩阵为：

其中g₁₁～g_NN为网络编码系数，N为一个画面组中包含的数据包数；

2b)每个中间节点在全局编码矩阵中随机选择g₁₁～g_NN，以生成随机线性网络编码数据包头，该包头信息包括随机线性网络编码系数、分层码流信息、数据包所属层号；

2c)根据包头信息中数据包所属层号确定中间节点i接收到的所有数据包是否属于分层码流的同一层，若为同一层则按照下式对其进行线性组合，完成随机线性网络编码并发送至下一节点：

${\mathrm{\γ}}_k=\underset{{l\left(i\right)}_{\mathrm{in}}}{\mathrm{\Σ}}{P}_i\·g_{\mathrm{ik}},k\∈\left\{{l\left(i\right)}_{\mathrm{out}}\right\}$

其中l(i)_in为中间节点i对应的全部输入信道，l(i)_out为中间节点i对应的全部输出信道，k为l(i)_out中的任一输出信道，P_i为节点i接收到的所有数据包，g_ik为网络编码系数，r_k为进行线性组合后生成的数据包，通过信道k传输至下一节点；

(3)通过传输信道将进行随机线性网络编码后的信息发送到接收端，在接收端利用高斯消元法解码网络编码码流，并恢复出原始视频信息。

2.根据权利要求1所述的视频传输方法，其中步骤(1)所述的对分级视频编码后的分层码流添加相应的冗余信息及打包，实现码率分配，包括如下步骤：

1a)设定分层码流每一层冗余数据包数目r_i的约束条件：

$\frac{r_i}{m_i}\≥\frac{r_{i+1}}{m_{i+1}},i=\mathrm{1,2}...L-1$

其中m_i为分层码流每一层的源数据包数，L为已编码层数；

1b)根据约束条件通过迭代优化方法确定r_i的最优值；

1c)根据分层码流每一层的源数据包数m_i及分层码流每一层冗余数据包数目r_i确定分层码流每一层的数据包总数n_i：

n_i＝m_i+r_i

1d)将分层码流每层的冗余数据包添加至每层对应源数据包后，完成信息打包，实现码率分配。

3.根据权利要求1所述的方法，其中步骤(3)所述的在接收端利用高斯消元法解码网络编码码流并恢复出原始视频信息，包括如下步骤：

3a)将每个接收节点接收到的信息表示为：

Y＝G×S

其中G为全局编码矩阵，S为原始视频信息，S由矩阵[P₁，...，P_k]^T构成，Y由矩阵[γ₁，...γ_k]构成；

3b)将接收到的数据包按其所属层号由小至大重新排序；

3c)由Y＝G×S恢复出原始视频信息S＝G^-1×Y。

4.一种基于网络编码的可靠性视频传输装置，包括：

(a)分级视频编码单元，用于对原始视频信息的每个画面组进行分级视频编码；

(b)码率分配单元，用于对分级视频编码后的分层码流添加相应的冗余信息及打包，得到分层码流每层对应的最优冗余数据包数r_i及总数据包n_i，实现码率分配；

(c)随机线性网络编码单元，用于对码率分配后的分层码流进行随机线性网络编码，该单元包括以下模块：

ca)全局编码矩阵生成模块，用于生成具有非严格下三角结构的全局编码矩阵，矩阵形式如下：

cb)数据组合模块，用于对各节点接收到的数据进行线性组合，得到组合后的的数据包γ_k，将所有组合后的数据包存入矩阵Y中，完成随机线性网络编码；

(d)传输单元，用于将进行随机线性网络编码后的信息发送到接收端；

(e)解码单元，用于对接收端接收到的数据包Y利用高斯消元法解码网络编码码流，并恢复出原始视频信息S。

5.根据权利要求4所述的视频传输装置，其中(b)所述的码率分配单元包括以下模块：

ba)长度划分模块，用于将原始视频信息划分为相同长度的数据包；

bb)冗余数据包数确定模块，用于确定进行分级视频编码后的分层码流每层添加的冗余数据包数；

bc)打包模块，用于组合原始视频信息与添加的冗余信息，完成码率分配。

Images