CN105827361B - 一种基于媒体内容的fec方法 - Google Patents

Abstract

本发明提供了一种基于媒体内容的FEC机制，该机制将媒体内容进行分级，并赋予不同的重要性，再根据属于不同重要程度帧的包，结合信道状况和用户体验感受，改变编码方案，按照所属帧的重要程度进行保护。采用了本发明的技术方案，可以针对目前FEC系统中过度编码造成的数据拥塞，通过对媒体内容分级，赋予不同的重要性，利用信令和指示位控制，采用不同的FEC编码强度；实现最大限度保证媒体内容质量的同时，减少FEC造成的极大的数据量。

Description

一种基于媒体内容的FEC方法

技术领域

本发明涉及多媒体传输技术领域，更具体地，涉及一种基于媒体内容的FEC(前向纠错)方法。

背景技术

在异构网络媒体服务系统中，内容通过因特网协议或广播协议分发到终端，因特网中使用IP/TCP或UDP报文来传输媒体数据，广播通过MPEG2-TS来传输内容。UDP报文在经过多个网络设备后可能会出现丟失，广播TS流可能因为传输环境的影响，产生误码，从而造成终端侧的画面破损或者声音停顿。

FEC(Forward Error Correction，前向纠错)技术是一种广泛应用于通信系统中的编码技术。通过服务器侧对媒体数据进行纠错编码，加入冗余信息一并发送，终端侧进行反向FEC解码，对丟失的报文进行恢复。以典型的分组码为例，其基本原理是：在发送端，通过将kbit信息作为一个分组进行编码，加入(n-k)bit的冗余校验信息，组成长度为n bit的码字。码字经过信道到达接收端之后，如果错误在可纠范围之内，通过译码即可检查并纠正错误bit，从而抵抗信道带来的干扰，有效降低系统的误码率，提高通信系统的可靠性。

但是FEC处理，是以冗余开销代价来降低系统的误码率,过度FEC编码对系统实时性和网络状态也会造成压力。

在ISO-23008-1/10/13标准中，传统的FEC结构对于所有信息统一进行编码，对于用户信息没有区分度。对于混合内容或者混合网络下分发不适合，因此他们提出了两层结构。两层结构，如附图1所示。

第一层将source packet block分为较多的小块分别做FEC保护，第二层是一个整块做FEC保护。第一层划分较细致可以提供较小的时延，第二层保证了恢复性能和较小的冗余。

对于混合内容传输，其内容可能分为timed和non-timed，因此可以采用这种两层结构。时序内容用方式1，保证了时延，非时序内容同时借助方式1和方式2，保证了准确性。

对于用户处于不同性能信道，信道性能好的用户只需要FEC1保证时延和功耗，对于信道性能差的用户同时做FEC1和FEC2保证了准确性。

这在一定程度上的解决了问题，对于信道性能较差的用户(GroupB)，两层结构确实提高了恢复性能，但是会引入极大的时延。对于信道性能较好的用户(GroupA)，不一定是做FEC1，越小的分包带来越小的时延。没有考虑信息的不等重要程度。对于信息或者用户要根据两层结构进行分类，以及对于将大block拆分为小blcok的具体策略是一个复杂的问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于媒体内容的FEC方法,从而解决目前FEC系统中实时性好，而准确性差，准确性好而实时性差，以及过度FEC编码造成的数据拥塞问题。

为实现上述目的，本发明采用以下技术方案：

一种基于媒体内容的FEC方法，该方法将媒体内容进行分级，并赋予不同的重要性，再根据属于不同重要程度帧的包，结合信道状况和用户体验感受，改变编码方案，按照所属帧的重要程度进行保护。

进一步的，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位。

进一步的，所述方法加入专门的指示字段，可以做更多个性化的保护方案。更进一步的，所述专门的指示字段加在MFU包头前。

进一步的，所述方法将媒体内容进行分级，并赋予不同的重要性，然后利用信令和指示字段控制，采用不同的FEC编码强度编码。

进一步的，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位，同时加入专门的指示字段，以形成更多个性化的保护方案。

较优地，所述方法将媒体内容进行分级，并赋予不同的重要性，然后利用信令和指示字段控制，采用不同的FEC编码强度编码。

与现有技术相比，本发明具有如下的有益效果：

采用了本发明的技术方案，可以针对目前FEC系统中过度编码造成的数据拥塞，通过对媒体内容分级，赋予不同的重要性，利用信令和指示位控制，采用不同的FEC编码强度；实现最大限度保证媒体内容质量的同时，减少FEC造成的极大的数据量。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是MMT中针对媒体资源的FEC两层结构；

图2是一个图像组中各帧依赖关系图；

图3是一个通用的MPU组成部分及各部分的重要性示意图；

图4是改进的MMT AL-FEC发送端架构图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示：MMT中针对媒体资源的FEC两层结构，第一层将source packet block分为较多的小块分别做FEC保护，第二层是一个整块做FEC保护。第一层划分较细致可以提供较小的时延，第二层保证了恢复性能和较小的冗余，但是这种灵活性不够。

如图2所示：一个图像组中各帧依赖关系，此图说明一个图像组中不同帧的依赖程度和重要性不同，I帧是最重要的，前面的P帧比后面P帧重要，B帧重要性最低，因此可以根据重要性不同进行分层FEC。这也是进行FEC的基础。

实施例一：

本实施例以MMT传输协议为例

MMT方案中，MPU包下的MFU包拥有不同的重要性，缺少不等差错的保护，这样就不能设定个性化的传输方案。在MMT的包中，不同重要程度的帧(如I帧和B帧)是可以区分开的(有指示标志)如附图2，附图3。然而编码中并没有涉及到不等差错的保护，虽然Two-stage结构方案和LA-FEC在一定程度上可以实现不等差错保护，但是灵活性低，复杂度高。尤其对于变化的信道状况和具有不同特征(如缓存不同)的接收用户，现有两种方式会存在冗余大，适应性差，只能针对单一状况，无法从用户体验考虑等问题。

解决方式：

1根据属于不同重要程度帧的包，其重要程度有所区分，同时结合信道状况和用户体验感受，将编码方案改变。例如当信道状况很差或是用户存储能力有限时候，发送端将更针对I帧数据进行保护，使得用户以更大的概率接收到I帧，B帧和P帧将更大程度的在接收时候舍弃，这样不再是接收端后续的处理中舍弃B，P帧，而是从发送端就解决了这一问题，节省了带宽资源，可以利用资源保护更多的重要帧。

2如果不加入专门的指示字段，那么只能根据先有的状况来编码，不等差错保护只能按照所属帧的重要程度来安排。在与MPU同传输的信令中加入不等差错保护标志位。

3但是如果想更个性化的方案，随着信道质量改变保护方案，根据用户特征来定制，那么则需要加入专门的指示字段。由于不同的MFU有不同的重要性，则在MFU包头前加入指示，可以做更多个性化的保护方案。

如图4所示，是改进的MMT AL-FEC发送端架构，主要修改了MMT协议中流化后的输出，把数据流按照不同优先级分发到不同的源缓冲区，分别进行FEC。

发送端架构如附图4所示。

发送端流程：

e)服务器端根据媒体资源生成MMTP流和信令。

f)分析媒体资源中每帧的重要性，把这些MMT负载分到不同的原数据流，传递到相应的FEC方法做保护。

g)FEC编码完后，返回相应的修复字符以及FEC数据负载标识和原数据负载标识。

h)所有的修复字符打包成FEC修复包，发送到传输层。

通过信令识别FEC流以及采用的FEC编码结构和FEC code，为了支持这种方法，本实施例中修改了信令中的FEC_FLOW_DESCRIPTOR字段。

信令修改如下：

原来的信令仅仅支持一个FEC流中复用多个媒体资源的修复信息，为了达到这个目的，本实施例调整修改了fec_flow_descriptor字段顺序和定义，并且利用一个reserved字段来指示这种变化。修改后number_of_assets指示所有进行FEC的媒体资源，packet_id是每个相应媒体资源的标识，number_of_fec_flows指示每一个媒体资源对应多少个FEC流，即分多少级。针对一个媒体资源的不同重要性部分，分别进行FEC的信令控制，得到不同的FEC流，使FEC方法能够更加细化，服务端可以根据用户网络状态动态地调整媒体资源不同部分的FEC强度，收端收到信令后，根据相应的指示恢复媒体资源。在网络带宽和用户体验间取得一个平衡点。

上述解决方式的优势：

1资源的节省，如果在接收端，人为的根据情况舍弃已经接收的帧(例如B帧)则造成了传输资源的浪费，上述方案从源端解决问题，让不想要的包在传输过程中更大概率丢掉，而更大程度的保护了重要的包。

2个性化的传输方案。视频传输应该是基于用户体验的，做更细致的不等差错保护就可以针对用户状况，如视觉体验，缓存状况等设计I帧和B帧的FEC保护的程度。

下表给出一个简单采用RS码的MMT中内容分级编码传送案例，可以根据网络状况及用户需求灵活改变编码方案：可以通过合理地配置各种帧的FEC强度，保证在节省带宽的同时，尽量最大化收端的接受帧率来获取一个最好的用户体验。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于媒体内容的FEC方法，其特征在于，该方法将媒体内容进行分级，并赋予不同的重要性，再根据属于不同重要程度帧的包，结合信道状况和用户体验感受，改变编码方案，按照所属帧的重要程度进行保护；

所述方法针对MMT AL-FEC发送端架构，发送端流程为：

a)服务器端根据媒体资源生成MMTP流和信令；

b)分析媒体资源中每帧的重要性，把这些MMT负载分到不同的原数据流，传递到相应的FEC方法做保护；

c)FEC编码完后，返回相应的修复字符以及FEC数据负载标识和原数据负载标识；

d)所有的修复字符打包成FEC修复包，发送到传输层。

2.根据权利要求1所述的基于媒体内容的FEC方法，其特征在于，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位。

3.根据权利要求1所述的基于媒体内容的FEC方法，其特征在于，所述方法加入专门的指示字段，以形成更多个性化的保护方案。

4.根据权利要求3所述的基于媒体内容的FEC方法，其特征在于，所述专门的指示字段加在MFU包头前。

5.根据权利要求1所述的基于媒体内容的FEC方法，其特征在于，所述方法在与媒体处理单元(MPU)一同传输的信令信息中加入不等差错保护标志位，同时加入专门的指示字段，以形成更多个性化的保护方案。

6.根据权利要求1-5任一项所述的基于媒体内容的FEC方法，其特征在于，所述方法将媒体内容进行分级，并赋予不同的重要性，然后利用信令和指示字段控制，采用不同的FEC编码强度编码。

7.根据权利要求6所述的基于媒体内容的FEC方法，其特征在于，通过信令识别FEC流以及采用的FEC编码结构和FEC code，为了支持这种方法，修改了信令中的FEC_FLOW_DESCRIPTOR字段：原来的信令仅仅支持一个FEC流中复用多个媒体资源的修复信息，现在增加了一种针对一个媒体资源的不同重要性部分，分别进行FEC的信令控制，使FEC方法能够更加细化，服务端可以根据用户网络状态动态地调整媒体资源不同部分的FEC强度，在网络带宽和用户体验间取得一个平衡点。