CN106603193B

CN106603193B - 一种基于媒体内容的fec方法

Info

Publication number: CN106603193B
Application number: CN201510673115.1A
Authority: CN
Inventors: 张文军; 徐异凌; 汤旭国; 黄巍; 李博; 孙军; 管云峰; 柳宁
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2015-10-16
Filing date: 2015-10-16
Publication date: 2019-11-15
Anticipated expiration: 2035-10-16
Also published as: CN106603193A

Abstract

本发明提供了一种基于媒体内容的FEC方法，该方法将媒体内容进行分级，并赋予不同的重要性，在不对原有媒体数据流进行分流的情况下，结合信道状况和用户体验感受，按照媒体数据包中所包含的帧的重要程度，把数据包传送到相应的FEC编码器，进行不同程度的保护。本发明可以针对目前FEC系统中过度编码造成的数据拥塞，通过对媒体内容分级，赋予不同的重要性，利用信令和指示位控制，采用不同的FEC编码强度；实现最大限度保证媒体内容质量的同时，减少FEC造成的极大的数据量；同时在不需要将源数据流不同优先级分成多个数据流，所以降低了发送端FEC编码的复杂度，提高了FEC编码的效率。

Description

一种基于媒体内容的FEC方法

技术领域

本发明涉及多媒体传输技术领域，更具体地，涉及一种基于媒体内容的FEC(前向纠错)方法。

背景技术

在异构网络媒体服务系统中，内容通过因特网协议或广播协议分发到终端，因特网中使用IP/TCP或UDP报文来传输媒体数据，广播通过MPEG2-TS来传输内容。UDP报文在经过多个网络设备后可能会出现丟失，广播TS流可能因为传输环境的影响，产生误码，从而造成终端侧的画面破损或者声音停顿。

FEC(Forward Error Correction，前向纠错)技术是一种广泛应用于通信系统中的编码技术。通过服务器侧对媒体数据进行纠错编码，加入冗余信息一并发送，终端侧进行反向FEC解码，对丟失的报文进行恢复。以典型的分组码为例，其基本原理是：在发送端，通过将kbit信息作为一个分组进行编码，加入(n-k)bit的冗余校验信息，组成长度为n bit的码字。码字经过信道到达接收端之后，如果错误在可纠范围之内，通过译码即可检查并纠正错误bit，从而抵抗信道带来的干扰，有效降低系统的误码率，提高通信系统的可靠性。

但是FEC处理，是以冗余开销代价来降低系统的误码率,过度FEC编码对系统实时性和网络状态也会造成压力。

在ISO-23008-1/10/13标准中，传统的FEC结构对于所有信息统一进行编码，对于用户信息没有区分度。对于混合内容或者混合网络下分发不适合，因此他们提出了两层结构。两层结构，如附图1所示。

第一层将source packet block分为较多的小块分别做FEC保护，第二层是一个整块做FEC保护。第一层划分较细致可以提供较小的时延，第二层保证了恢复性能和较小的冗余。

对于混合内容传输，其内容可能分为timed和non-timed，因此可以采用这种两层结构。时序内容用方式1，保证了时延，非时序内容同时借助方式1和方式2，保证了准确性。

对于用户处于不同性能信道，信道性能好的用户只需要FEC1保证时延和功耗，对于信道性能差的用户同时做FEC1和FEC2保证了准确性。

这在一定程度上的解决了问题，对于信道性能较差的用户(GroupB)，两层结构确实提高了恢复性能，但是会引入极大的时延。对于信道性能较好的用户(GroupA)，不一定是做FEC1，越小的分包带来越小的时延。没有考虑信息的不等重要程度。对于信息或者用户要根据两层结构进行分类，以及对于将大block拆分为小blcok的具体策略是一个复杂的问题。

中国专利申请CN201510010097.9，提供了一种基于媒体内容的FEC机制。本专利在中国专利申请CN201510010097.9的基础上，进行了进一步的改进。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于媒体内容的FEC方法,从而解决目前FEC系统中实时性好，而准确性差，准确性好而实时性差，以及过度FEC编码造成的数据拥塞问题。

为实现上述目的，本发明采用以下技术方案：

一种基于媒体内容的FEC方法，该方法将媒体内容进行分级，并赋予不同的重要性，在不对原有媒体数据流进行分流的情况下，结合信道状况和用户体验感受，按照媒体数据包中所包含的帧的重要程度，把数据包传送到相应的FEC编码器，进行不同程度的保护。

进一步的，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位。

进一步的，所述方法加入专门的指示字段，可以做更多个性化的保护方案。更进一步的，所述专门的指示字段加在MFU包头前。

进一步的，所述方法将媒体内容进行分级，并赋予不同的重要性，然后利用信令和指示字段控制，采用不同的FEC编码强度编码。

进一步的，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位，同时加入专门的指示字段，以形成更多个性化的保护方案。

较优地，所述方法将媒体内容进行分级，并赋予不同的重要性，然后利用信令和指示字段控制，采用不同的FEC编码强度编码。

进一步的，所述方法针对MMT AL-FEC发送端架构，发送端流程为：

a)服务器端根据媒体资源生成MMTP流和信令；

b)分析媒体资源中每帧的重要性，把MMT包传送到不同的FEC编码器，采用相应的FEC方法做保护，生成相应的FEC码；

c)FEC编码完后，返回相应的修复字符以及FEC数据负载标识和原数据负载标识；

d)所有的修复字符打包成FEC修复包，发送到传输层。

进一步的，本发明通过信令识别FEC流以及采用的FEC编码结构和FEC code，为了支持这种方法，修改了信令中的fec_flow_descriptor字段：原来的信令仅仅支持一个FEC流中复用多个媒体资源的修复信息，现增加针对一个媒体资源的不同重要性部分，修改后的信令针对一个媒体资源的不同重要性部分，分别进行FEC的编码控制，得到不同的FEC流，使FEC方法能够更加细化，服务端根据用户网络状态动态地调整媒体资源不同部分的FEC强度，收端收到信令后，根据相应的指示恢复媒体资源，在网络带宽和用户体验间取得一个平衡点。

较优地，修改了信令中的fec_flow_descriptor字段：在AL-FEC message中现有的三种fec_coding_structure的基础上增加了一种新的fec_coding_structure，fec_coding_structure的功能是用来描述当前采用的FEC编码方案，包括选择的编码算法，是否采用私有编码方案，最大的保护时间窗时间和值等信息，该字段位于AL-FEC信令中被传送到接收端；新增加的fec_coding_structure的标志位的值在现有的reserved的范围内选择。

与现有技术相比，本发明具有如下的有益效果：

采用了本发明的技术方案，可以针对目前FEC系统中过度编码造成的数据拥塞，通过对媒体内容分级，赋予不同的重要性，利用信令和指示位控制，采用不同的FEC编码强度；实现最大限度保证媒体内容质量的同时，减少FEC造成的极大的数据量；同时在不需要将源数据流不同优先级分成多个数据流，所以降低了发送端FEC编码的复杂度，提高了FEC编码的效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是MMT中针对媒体资源的FEC两层结构；

图2a-图2b是一个图像组中各帧依赖关系图；

图3是一个通用的MPU组成部分及各部分的重要性示意图；

图4是改进的MMT AL-FEC发送端架构图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示：MMT中针对媒体资源的FEC两层结构，第一层将source packet block分为较多的小块分别做FEC保护，第二层是一个整块做FEC保护。第一层划分较细致可以提供较小的时延，第二层保证了恢复性能和较小的冗余，但是这种灵活性不够。

如图2a-图2b所示：一个图像组中各帧依赖关系，此图说明一个图像组中不同帧的依赖程度和重要性不同，I帧是最重要的，前面的P帧比后面P帧重要，B帧重要性最低，因此可以根据重要性不同进行分层FEC。这也是进行FEC的基础。

实施例一：

本实施例以MMT传输协议为例

MMT方案中，MPU包下的MFU包拥有不同的重要性，缺少不等差错的保护，这样就不能设定个性化的传输方案。在MMT的包中，不同重要程度的帧(如I帧和B帧)是可以区分开的(有指示标志)如附图2a-图2b，附图3。然而编码中并没有涉及到不等差错的保护，虽然Two-stage结构方案和LA-FEC在一定程度上可以实现不等差错保护，但是灵活性低，复杂度高。尤其对于变化的信道状况和具有不同特征(如缓存不同)的接收用户，现有两种方式会存在冗余大，适应性差，只能针对单一状况，无法从用户体验考虑等问题。

解决方式：

1根据属于不同重要程度帧的包，其重要程度有所区分，同时结合信道状况和用户体验感受，将编码方案改变。例如当信道状况很差或是用户存储能力有限时候，发送端将更针对I帧数据进行保护，使得用户以更大的概率接收到I帧，B帧和P帧将更大程度的在接收时候舍弃，这样不再是接收端后续的处理中舍弃B，P帧，而是从发送端就解决了这一问题，节省了带宽资源，可以利用资源保护更多的重要帧。

2如果不加入专门的指示字段，那么只能根据现有的状况来编码，不等差错保护只能按照所属帧的重要程度来安排。在与MPU同传输的信令中加入不等差错保护标志位。

3但是如果想更个性化的方案，随着信道质量改变保护方案，根据用户特征来定制，那么则需要加入专门的指示字段。由于不同的MFU有不同的重要性，则在MFU包头前加入指示，可以做更多个性化的保护方案。

如图4所示，是改进的MMT AL-FEC发送端架构，主要修改了MMT协议中流化后的输出，把MMT数据包按照优先级发送到不同的FEC编码器，分别进行FEC。

发送端架构如附图4所示。

发送端流程：

a)服务器端根据媒体资源生成MMTP流和信令。

b)根据MMT流中每帧数据的重要性的不同，把MMT包传递到不同的FEC编码器，生成相应的FEC码。

c)FEC编码完后，返回相应的修复字符以及FEC数据负载标识和原数据负载标识。

d)所有的修复字符打包成FEC修复包，发送到传输层。

通过信令识别FEC流以及采用的FEC编码结构和FEC code，为了支持这种方法，本实施例中修改了信令中的fec_flow_descriptor字段：原来的信令仅仅支持一个FEC流中复用多个媒体资源的修复信息，现增加针对一个媒体资源的不同重要性部分，修改后的信令针对一个媒体资源的不同重要性部分，分别进行FEC的编码控制，得到不同的FEC流，使FEC方法能够更加细化，服务端根据用户网络状态动态地调整媒体资源不同部分的FEC强度，收端收到信令后，根据相应的指示恢复媒体资源，在网络带宽和用户体验间取得一个平衡点。

表1：新的fec_coding_structure的说明

原来的信令仅仅支持一个FEC流中复用多个媒体资源的修复信息，为了达到这个目的，本实施例在AL-FEC message中现有的三种fec_coding_structure的基础上增加了一种新的fec_coding_structure，fec_coding_structure的功能是用来描述当前采用的FEC编码方案，包括选择的编码算法，是否采用私有编码方案，最大的保护时间窗时间和值等信息，该字段位于AL-FEC信令中被传送到接收端。新增加的fec_coding_structure的标志位的值可以在现有的reserved的范围内选择，本方案中建议选取为0100。

表中字段语义如下：

num_of_priority_for_mmtps：一个媒体资源中优先级的数目。

private_fec_flag：指示位，指明是否使用私有的FEC编码方案。

private_flag：指示位，指明是否存在一个private_field用来描述所使用的私有FEC编码方案。

private_field_length：长度字段，用于描述私有FEC编码方案的字段的长度。

private_field：用于描述私有FEC方案的详细信息。

priority_id：优先级id，用于指示MMT包的优先级。

fec_code_id_for_repair_flow：用于描述所使用的FEC编码方案。

repair_flow_id：8位整数，用于指示生成的FEC repair flow，与FEC repair包的包头中的packet id有对应关系。

maximum_k_for_repair_flow：24位整数，描述在一个source sysmbol块中sourcesymbol的最大数目。

maximum_p_for_repair_flow：24位整数，描述在一个repair sysmbol块中repairsymbol的最大数目。

protection_window_time：保护窗时间，指示在FEC编码中发送第一个source或者repair包与发送最后一个source或者repair包之间的最大时间差，单位为毫秒。

protection_window_size：保护窗值，指示在FEC编码流中发送第一个FEC包的负载与发送最后一个FEC包负载之间的最大计数值。

本发明将媒体内容进行分级，并赋予不同的重要性，在不对原有媒体数据流进行分流的情况下，结合信道状况和用户体验感受，按照媒体数据包中所包含的帧的重要程度，把数据包传送到相应的FEC编码器，进行不同程度的保护。

上述解决方式的优势：

1资源的节省，如果在接收端，人为的根据情况舍弃已经接收的帧(例如B帧)则造成了传输资源的浪费，上述方案从源端解决问题，让不想要的包在传输过程中更大概率丢掉，而更大程度的保护了重要的包。

2个性化的传输方案。视频传输应该是基于用户体验的，做更细致的不等差错保护就可以针对用户状况，如视觉体验，缓存状况等设计I帧和B帧的FEC保护的程度。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于媒体内容的FEC方法，其特征在于，该方法将媒体内容进行分级，并赋予不同的重要性，在不对原有媒体数据流进行分流的情况下，结合信道状况和缓存状况，按照媒体数据包中所包含的帧的重要程度，把数据包传送到相应的FEC编码器，进行不同程度的保护；其中，通过信令指示一个媒体资源的不同重要性部分，分别进行FEC编码控制。

2.根据权利要求1所述的基于媒体内容的FEC方法，其特征在于，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位。

3.根据权利要求1所述的基于媒体内容的FEC方法，其特征在于，所述方法加入专门的指示字段，以形成更多个性化的保护方案。

4.根据权利要求3所述的基于媒体内容的FEC方法，其特征在于，所述专门的指示字段加在MFU包头前。

5.根据权利要求1所述的基于媒体内容的FEC方法，其特征在于，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位，同时加入专门的指示字段，以形成更多个性化的保护方案。

6.根据权利要求1-5任一项所述的基于媒体内容的FEC方法，其特征在于，所述方法将媒体内容进行分级，并赋予不同的重要性，然后利用信令和指示字段控制，采用不同的FEC编码强度编码。

7.根据权利要求6所述的基于媒体内容的FEC方法，其特征在于，所述方法针对MMT AL-FEC发送端架构，发送端流程为：

a)服务器端根据媒体资源生成MMTP流和信令；

b)分析媒体资源中每帧的重要性，把MMT包传送到不同的FEC编码器，采用相应的FEC机制做保护，生成相应的FEC码；

d)所有的修复字符打包成FEC修复包，发送到传输层。

8.根据权利要求7所述的基于媒体内容的FEC方法，其特征在于，通过信令识别FEC流以及采用的FEC编码结构和FEC code，为了支持这种方法，修改了信令中的fec_flow_descriptor字段：原来的信令仅仅支持一个FEC流中复用多个媒体资源的修复信息，现增加针对一个媒体资源的不同重要性部分，修改后的信令针对一个媒体资源的不同重要性部分，分别进行FEC的编码控制，得到不同的FEC流，使FEC方法能够更加细化，服务端根据用户网络状态动态地调整媒体资源不同部分的FEC强度，收端收到信令后，根据相应的指示恢复媒体资源，在网络带宽和用户体验间取得一个平衡点。

9.根据权利要求8所述的基于媒体内容的FEC方法，其特征在于，所述修改了信令中的fec_flow_descriptor字段：在AL-FEC message中现有的三种fec_coding_structure的基础上增加了一种新的fec_coding_structure，fec_coding_structure的功能是用来描述当前采用的FEC编码方案，包括选择的编码算法，是否采用私有编码方案，最大的保护时间窗时间和值信息，该字段位于AL-FEC信令中被传送到接收端；新增加的fec_coding_structure的标志位的值在现有的reserved的范围内选择。

10.根据权利要求9所述的基于媒体内容的FEC方法，其特征在于，新增加的fec_coding_structure的标志位的值选取为0100。