CN108667557A

CN108667557A - 一种基于媒体内容的自适应fec编码矩阵设计方法

Info

Publication number: CN108667557A
Application number: CN201710200899.5A
Authority: CN
Inventors: 徐异凌; 张文军; 姜志乾; 陈浩; 孙军; 王延峰
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2017-03-29
Filing date: 2017-03-29
Publication date: 2018-10-16
Anticipated expiration: 2037-03-29
Also published as: WO2018177348A1; CN108667557B

Abstract

本发明提供了一种基于媒体内容的自适应FEC编码矩阵设计方法，通过对喷泉码的编码矩阵进行改进，以适合喷泉码的不等差错保护。包括如下两种方式：基于喷泉码的不等差错保护，采用扩展窗喷泉码的方式，对喷泉码的LT矩阵进行了修改，根据窗选择概率和度分布，得到重新设计的喷泉码的编码矩阵；基于喷泉码的不等差错保护，对喷泉码的编码矩阵中不同优先级的源数据分配不同的冗余，得到重新设计的喷泉码的编码矩阵。本发明针对目前FEC系统中过度编码造成的数据拥塞，通过对媒体内容分级，赋予不同的重要性，采用不等差错保护，最大限度保证媒体内容质量的同时，减少FEC造成的数据冗余。

Description

一种基于媒体内容的自适应FEC编码矩阵设计方法

技术领域

本发明涉及多媒体传输技术领域，更具体地，涉及一种基于媒体内容的自适应FEC(前向纠错)编码矩阵设计方法。

背景技术

在异构网络媒体服务系统中，内容通过因特网协议或广播协议分发到终端，因特网中使用IP/TCP或UDP报文来传输媒体数据，广播通过MPEG2-TS来传输内容。UDP报文在经过多个网络设备后可能会出现丢失，广播TS流可能因为传输环境的影响，产生误码，从而造成终端侧的画面破损或者声音停顿。

FEC(Forward Error Correction，前向纠错)技术是一种广泛应用于通信系统中的编码技术。通过服务器侧对媒体数据进行纠错编码，加入冗余信息一并发送，终端侧进行反向FEC解码，对丢失的报文进行恢复。以典型的分组码为例，其基本原理是：在发送端，通过将kbit信息作为一个分组进行编码，加入(n-k)bit的冗余校验信息，组成长度为n bit的码字。码字经过信道到达接收端之后，如果错误在可纠错范围之内，通过译码即可检查并纠正错误bit，从而抵抗信道带来的干扰，有效降低系统的误码率，提高通信系统的可靠性。但是FEC处理，是以冗余开销代价来降低系统的误码率，过度FEC编码对系统实时性和网络状态也会造成压力。

不等差错保护(Unequal Error Protection，UEP)是联合信源信道编码的一种。其核心思想是，依据码流的各部分数据的重要性不同，对各部分数据采用不同的信道保护机制，即对重要码流进行重点保护。尽管UEP降低了非重要码流的抗噪声性能，但有利于系统抗误码总体性能的提升。

作为一种前向纠错编码技术，数字喷泉码(Digital Fountain Code)在传输过程中，不需要反馈及自动重发机制，避免了信号往返的延时以及广播应用中的反馈爆炸问题。数字喷泉的基本思想是：发端将原始数据分割成k个数据符号，对这些数据符号进行编码，输出一个任意长度的编码符号码流，接收端只需正确地接收n(n稍大于k)个编码符号就可以很大的概率恢复出所有的k个数据符号。

数字喷泉码本身就具有UEP性能，可以实现对不同重要性的数据的保护。相比与传统的固定码率的信道编码方法，数字喷泉码具有以下明显的优势：

1、理想的可扩展性。由于单向广播没有反馈，发送方不受用户数量增长的任何影响。使得发送方能够为任意数量的用户提供服务。

2、适应时变信道，高效利用信道容量。用户的译码性能与信道的删除概率和带宽无关。当信道丢包率较高、状况不好时，不会对接收端的译码造成影响，即接收端接收足够数量的编码数据就可以正常译码，具有更强的适应性。

3、编译码复杂度低。在理想情况下，喷泉码生成每个编码符号具有线性编译码复杂度，有利于简化收发端编译码器的设计和软件化实现。

4、对异质用户的适用性能良好。喷泉码的无码率特性使得具有不同丢包率或带宽的用户之间互不影响，优质用户不受劣质用户牵制。除此之外，数字喷泉码可以支持中断续传、异步接入等多种服务模式。

但是，现有技术中，对系统喷泉码和非系统喷泉码的编码方法，仍然存在以下缺陷，无法真正保护重要数据：

1、针对现有的不等差错保护的FEC，缺乏基于媒体内容的自适应FEC保护机制，保护方式缺乏灵活性，无法保证重要信息的完整性。

2、已有的不等差错保护的FEC，各优先级的数据在解码时存在依赖关系，重要数据的丢失将会导致无法恢复非重要信息。

3、由于系统喷泉码编码矩阵结构固定，缺乏针对媒体内容的灵活编码矩阵的设计方法。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提供一种基于媒体内容的自适应FEC编码矩阵设计方法，该方法针对基于媒体内容的自适应FEC编码，对数据流中不同数据进行重要程度的划分，对不同重要程度的数据给予不同的保护。采用喷泉码的方式，根据信道状况和数据的重要程度，自适应地调整非系统喷泉码和系统喷泉码的编码矩阵，以达到对不同重要程度数据的不等差错保护，实现灵活编码。

本发明是通过以下技术方案实现的。

一种基于媒体内容的自适应FEC编码矩阵设计方法，通过对喷泉码的编码矩阵进行改进，以适合喷泉码的不等差错保护。

优选地，根据本发明的一个方面，所述对喷泉码的编码矩阵进行改进，包括如下步骤：

基于喷泉码的不等差错保护，采用扩展窗喷泉码的方式，对喷泉码的LT矩阵进行修改，根据窗选择概率和度分布，得到重新设计的喷泉码的编码矩阵。

优选地，具体包括如下步骤：

-发送端：

基于媒体内容对源数据划分优先级，并按照优先级降序的方式重新排列源数据；

对不同优先级的源数据分别进行LDPC编码，产生不同优先级的恢复数据，并对不同优先级的恢复数据重新整合；

采用扩展窗喷泉码的方式对重新整合后的恢复数据和源数据进行不等差错保护，重新设计重新整合后的恢复数据和源数据LT矩阵的度分布，对优先级高的恢复数据和源数据提高窗选择概率和度分布，增大冗余，对优先级低的恢复数据和源数据降低度分布，减小冗余；

恢复数据和源数据经过LT编码得到输出数据，并发送给接收端；

-接收端：

接收端接收到数据后，产生与发送端相同的LT矩阵，由于经过有损信道，相比于发送端的输出数据，接收端接收到的数据会有所丢失，此时需要删除LT矩阵中相应的行，进行LT解码；

LT解码后的数据再进行LDPC解码，恢复出最终的原始数据。

优选地，所述LT矩阵的度分布表示为p(i)，其中i为输出符号的度，ε为编码基本参数，则度分布p(i)表示如下：

其中，

优选地，根据本发明的另一个方面，所述对喷泉码的编码矩阵进行改进，包括如下步骤：

-基于喷泉码的不等差错保护，对喷泉码的编码矩阵中不同优先级的源数据分配不同的冗余，得到重新设计的喷泉码的编码矩阵。

优选地，具体包括如下步骤：

设源数据中具有n种不同优先级的数据，设优先级分别为优先级1、优先级2、优先级3、......、优先级n，对应的源数据分别为D1、D2、D3、......、Dn；

建立喷泉码的编码矩阵A：

其中，G_p表示预编码矩阵，G_ENC1、G_ENC2、G_ENC3、......、G_ENCn表示由不同生成方式产生的LT矩阵；

针对源数据D1～Dn产生相应的中间码：

其中，C1是针对源数据D1产生的中间码，C2是针对源数据D2产生的中间码，C3是针对源数据D3产生的中间码，以此类推，Cn是针对源数据Dn产生的中间码；

改变LT矩阵的结构，增加对重要数据保护的冗余数据：

其中，G_ENC11、G_ENC12、......、G_ENC1n是与G_ENC1具有相同生成方式的LT矩阵，G_ENC21、G_ENC22、......、G_ENC2n-1是与G_ENC2具有相同生成方式的LT矩阵，以此类推，G_ENCn是与G_ENCn1具有相同生成方式的LT矩阵；恢复数据R1只与源数据D1有关，恢复数据R2与源数据D1和D2有关，恢复数据R3与源数据D1、D2和D3有关，以此类推，恢复数据Rn与源数据D1～Dn均有关。

根据改变结构后的LT矩阵和得到的中间码编码产生源数据和恢复数据。

优选地，在喷泉码的编码矩阵A中，提高LT矩阵G_ENC1的度分布。

与现有技术相比，本发明具有如下有益效果：

1、采用本发明的技术方案，可以针对目前FEC系统中过度编码造成的数据拥塞，通过对媒体内容分级，赋予不同的重要性，采用不等差错保护(UEP)，最大限度保证媒体内容质量的同时，减少FEC造成的数据冗余；

2、本发明提供了基于系统喷泉码的不等差错保护方案，使系统码的编码更加灵活，可支持不等差错保护；

3、本发明不需要对源数据流进行分流，因此降低了发送端FEC编码的复杂度，提高了FEC编码的效率；

4、本发明可以根据当前网络状态的变化动态的调整编码方案，因此对时变网络具有更强的适应性。

附图说明

图1是针对媒体资源数据的FEC两层结构示意图；

图2是一个图像组中各帧依赖关系图，其中，(a)为一种依赖关系图，(b)为另一种依赖关系图；

图3是不等差错保护的系统架构示意图；

图4是非系统喷泉码的不等差错保护编码方案示意图；

图5是系统喷泉码的不等差错保护编码方案示意图；

图6是Raptor码的编码矩阵示意图；

图7是非系统Raptor码编解码流程示意图；

图8是非系统Raptor码的不等差错保护方法示意图；

图9是系统RaptorQ码编码矩阵示意图；

图10是系统RaptorQ码不等差错保护的编码矩阵示意图；

图11是LT矩阵不等差错保护结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示：针对媒体资源数据的FEC两层结构，其中，第一层将source packetblock分为较多的小块分别做FEC保护，第二层是一个整块做FEC保护。第一层划分较细致可以提供较小的时延，第二层保证了恢复性能和较小的冗余，但是这种方式需要进行两次FEC编码，降低了编码效率，同时缺乏灵活性。

在一个数据流中可以根据其内容分成不同类型的数据包，不同类型的数据包具有不同的重要程度。例如，数据包中的I、B、P帧的重要程度如图2(a)和(b)所示：一个图像组中各帧依赖关系，此图说明一个图像组中不同帧的依赖程度和重要性不同，I帧是最重要的，B、P帧的重要程度较低。因此可以根据数据内容重要性进行不等差错保护。具体考虑传输信源数据具有两个重要等级的情况，将信源数据按上述标准进行划分，并将其按照重要程度重新进行排序，通过调整非系统喷泉码编码矩阵的度分布，或改变系统喷泉码编码矩阵的结构，达到对不同内容的不等差错保护。其系统的基本架构如图3所示。经过非系统喷泉码和系统喷泉码的不等差错保护编码后产生的数据如图4，图5所示。

具体为：

所述对喷泉码的编码矩阵进行改进，包括如下任一种方式：

方式A、对喷泉码的编码矩阵进行设计：基于喷泉码的不等差错保护，采用扩展窗喷泉码的方式，对喷泉码的LT矩阵进行了修改，根据窗选择概率和度分布，得到重新设计的喷泉码的编码矩阵；

方式B、对喷泉码的编码矩阵进行设计：基于喷泉码的不等差错保护，对喷泉码的编码矩阵中不同优先级的源数据分配不同的冗余，得到重新设计的喷泉码的编码矩阵。

进一步地，在方式A中，对喷泉码的编码矩阵进行设计，具体包括如下步骤：

-发送端：

-接收端：

LT解码后的数据再进行LDPC解码，恢复出最终的原始数据。

进一步地，所述LT矩阵的度分布表示为p(i)，其中i为输出符号的度，ε为编码基本参数，则度分布p(i)表示如下：

其中，

进一步地，在方式B中，对喷泉码的编码矩阵进行设计，具体包括如下步骤：

建立喷泉码的编码矩阵A：

针对源数据D1～Dn产生相应的中间码：

改变LT矩阵的结构，增加对重要数据保护的冗余数据：

进一步地，在喷泉码的编码矩阵A中，提高LT矩阵G_ENC1的度分布。

下面结合具体实施例对本发明的技术方案进一步详细说明。需要说明的是，以下两个实施例分别以“非系统的Raptor码”和“系统的RaptorQ码”为例进行详细说明，但是本发明技术方案给出的方法是适用于所有喷泉码的，并不限于以下两个实施例。

实施例1

本实施例以非系统Raptor码为例。

非系统Raptor码编码矩阵的结构如图6所示。在使用非系统Raptor码进行编码时，在发送端对源数据进行LDPC编码，产生恢复数据，再源数据和恢复数据进行LT编码，产生输出数据，经过有损信道后，部分数据会发生丢失，在接收端会先进行LT解码，恢复出源数据和恢复数据，但由于数据的丢失，部分数据经过LT解码后可能不能完全恢复，再进行LDPC解码，恢复数据。其具体的编码流程如图7所示。在采用不等差错保护的非系统Raptor码时，其流程如下：

发送端：

a、基于媒体内容对源数据划分优先级，并按照优先级降序的方式重新排列源数据。

b、对不同优先级的源数据分别进行LDPC编码，产生恢复数据。并对LDPC编码器产生的不同优先级的恢复数据重新整合。

c、采用扩展窗喷泉码的方式进行不等差错保护，重新设计LT矩阵的度分布，对优先级高的源数据和恢复数据提高窗选择概率和度分布，增大冗余，增强保护，对优先级低的源数据和恢复数据适当降低度分布，减小冗余。LT矩阵的度分布表示为p(i)，i为输出符号的度，ε为编码基本参数，则其度分布表示如下：

其中，

d、经过LT编码得到输出数据，并发送给接收端。

接收端：

A、接收端接收到数据后，产生与发送端相同的LT矩阵，由于经过有损信道，相比于发送端的输出数据，接收端接收到的数据会有所丢失，此时需要删除LT矩阵中相应的行，进行LT解码。

B、LT解码后的数据再进行LDPC解码，恢复出最终的原始数据。

具体过程如图8所示。

本实施例基于非系统喷泉码的不等差错保护，采用扩展窗喷泉码的方式，对非系统喷泉码的LT矩阵进行了修改，根据窗选择概率和度分布，重新设计编码矩阵，提高对重要数据的保护强度，同时减小了FEC编码的冗余。

实施例2

本实施例以系统RaptorQ码为例。

系统RaptorQ码的编码矩阵的结构如图9所示。其中，D表示源数据，C表示中间码，G_LDPC表示LDPC矩阵，I_S、I_H分别表示与LDPC矩阵具有相同行数的单位矩阵和与HDPC矩阵具有相同行数的单位矩阵，G_ENC表示LT矩阵，G_p表示预编码矩阵，G_HDPC表示HDPC矩阵，则编码矩阵A可以如下表示。

在进行FEC编码时，由源数据D1和图9所示的编码矩阵A产生中间码C。

再根据编码矩阵A中的LT矩阵和得到的中间码C编码产生源数据D和恢复数据R。其中R表示编码后得到的恢复数据，G_ENC’是与G_ENC相同生成方式产生的LT矩阵。

采用上述方法对源数据进行编码，不能对源数据进行不等差错保护，因此基于上述原理，重新设计编码矩阵A以及LT矩阵G_ENC的矩阵结构。以源数据中具有n种不同优先级的数据为例，设优先级分别为优先级1、2、3，......n，对应的原始数据为D1、D2、D3、......、Dn。将源数据中的不同优先级的数据区分开，对其分配不同的冗余，以达到不等差错保护的效果。其编码矩阵A可如下表示，其中G_ENC1、G_ENC2、G_ENC3......G_ENCn是由不同规则(生成方式)产生的LT矩阵，为了保证对重要数据的保护可以提高G_ENC1矩阵的度分布；G_p表示预编码矩阵。有两个优先级的编码矩阵A结构如图10所示。

这样，针对不同重要程度的数据可以产生相应的中间码。

为了达到对不同重要程度数据的不等差错保护，还需要改变LT矩阵的结构，增加对重要数据保护的冗余数据。其中G_ENC11、G_ENC12...G_ENC1n是与G_ENC1具有相同生成方式的LT矩阵，G_ENC2是与G_ENC21、G_ENC22...G_ENC2n-1具有相同生成方式的LT矩阵，以此类推。具有两种重要程度的LT矩阵结构如图11所示。得到的恢复数据R1只与优先级为1的数据(D1)有关，而恢复数据R2与优先级1和2的数据(D1和D2)均有关，恢复数据R3与优先级1、2和3的数据有关，以此类推由此增加了重要数据的冗余，提高了其保护强度。

根据改变结构后的LT矩阵和得到的中间码产生编码后的源数据和恢复数据。

本实施例具有如下优势：

1、资源的节省，如果在接收端，人为的根据情况舍弃已经接收的数据(例如B帧)则造成了传输资源的浪费，上述方案从源端解决问题，让不想要的包在传输过程中更大概率丢掉，而更大程度的保护了重要的包。

2、个性化的传输方案。可以根据信道状况、用户体验等设计不等差错保护的方案，使得视频传输更加灵活、细致。同时，尽管发送端的编码方式灵活，接收端都可以根据列表信息正确的恢复出原始的数据。

3、更加灵活的编码矩阵的设计。可以根据实际媒体的应用场景，基于媒体内容进行数据的优先级划分，可以根据实际需求更加灵活的设计FEC编码矩阵，达到不等差错保护的效果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于媒体内容的自适应FEC编码矩阵设计方法，其特征在于，通过对喷泉码的编码矩阵进行改进，以适合喷泉码的不等差错保护。

2.根据权利要求1所述的基于媒体内容的自适应FEC编码矩阵设计方法，其特征在于，所述对喷泉码的编码矩阵进行改进，包括如下步骤：

3.根据权利要求2所述的基于媒体内容的自适应FEC编码矩阵设计方法，其特征在于，具体包括如下步骤：

-发送端：

-接收端：

LT解码后的数据再进行LDPC解码，恢复出最终的原始数据。

4.根据权利要求3所述的基于媒体内容的自适应FEC编码矩阵设计方法，其特征在于，所述LT矩阵的度分布表示为p(i)，其中i为输出符号的度，ε为编码基本参数，则度分布p(i)表示如下：

其中，

5.根据权利要求1所述的基于媒体内容的自适应FEC编码矩阵设计方法，其特征在于，所述对喷泉码的编码矩阵进行改进，包括如下步骤：

6.根据权利要求5所述的基于媒体内容的自适应FEC编码矩阵设计方法，其特征在于，具体包括如下步骤：

建立喷泉码的编码矩阵A：

针对源数据D1～Dn产生相应的中间码：

改变LT矩阵的结构，增加对重要数据保护的冗余数据：

7.根据权利要求6所述的基于媒体内容的自适应FEC编码矩阵设计方法，其特征在于，在喷泉码的编码矩阵A中，提高LT矩阵G_ENC1的度分布。