CN104022844B - 一种匹配多种传输方式的数据封装方法及系统 - Google Patents

Abstract

本发明涉及一种匹配多种传输方式的数据封装方法及系统，所述方法包括：步骤1，将业务数据切分成定长的分片文件；步骤2，根据播发计划，将分片文件和辅助数据交织添加到播发队列；步骤3，将分片文件封装为多个UMCP块，并根据链路质量情况判断是否对UMCP块加入数据校验；步骤4，根据网络适配的需要将一个或多个UMCP块封装成网络协议帧。本发明通过定长的分片预处理，简化了数据切分流程，实现业务数据多通道并发，提高了播发效率，同时通过业务数据和辅助数据的混合播发以及校验功能，提高传输的可靠性，通过业务需求实现数据的选择性接收，提高业务灵活度和接收高效性，且可以适配多种数据链路层网络协议，实现在不同网络条件下的跨网协同服务。

Description

一种匹配多种传输方式的数据封装方法及系统

技术领域

本发明涉及多媒体广播技术领域，特别是涉及一种单向网与双向网融合的分层数据封装技术，具体是一个通过将应用层的内容和会话分割成基本的多播传输数据块，并实现与下层传输层的多种传输协议相匹配的数据封装方法及系统。

背景技术

以下是本领域中的一些名词解释，其使用范围仅限于本发明：

MBIS：Multimedia Broadcast Interactive System互动多媒体广播系统；

UMCP：Unit Multi-Cast Protocol，单元多播协议；

UCL:Uniform Contents Locator，统一内容定位；

OTT TV：Over-The-Top TV，即以Over-The-Top方式服务的双向网电视；

DVB-C：Digital Video Broadcasting–Cable,ETSI制定的基于MPEG-2的国际标准传输技术，在有线网的传输协议；

HFC：Hybrid Fiber－Coaxial，光纤和同轴电缆相结合的混合广播网络，目前我国的有线电视网络即是HFC网；

TS：Transport stream一种用于流式传输的包长度为188字节的传输格式，广泛应用于广播电视系统，为MPEG2，DVB-C等协议所支持；

PES：Packetised Elementary Streams打包的基本码流，为MPEG-2等协议支持的流传输格式；

PSI：Program Specific Information节目特定信息，在MPEG-2定义了PSI信息，其作用是从一个携带多个节目的某一个TS流中正确找到特定的节目，PSI数据提供了使能够接收机自动配置的信息，用于对复用流中的不同节目流进行解复用和解码；

DEMOD：DeModulate的缩写，解调制过程；

DEMUX：DeMultiplexing的缩写，解复用过程。

在多媒体广播中，文件传输协议用于支持各种文档、图像、音视频片断、服务广播信息及各种元数据的传输、下载和更新。FLUTE是大规模可扩展条件下IP多播传输协议，DVB-H的IPDC和3G移动蜂窝网络的MBMS，均采用FLUTE作为其传输内容协议，旨在支持手持设备上灵活、高效的移动多媒体广播应用。FLUTE实现了基于IP的、由一个或多个发送端向一个或多个接收端可靠传输文件的方法。

现实中单向网络对IP的支持有限，很多广播系统对于IP协议只在两端进行封装和解封装，IP报文并未发挥其实际作用。此外FLUTE的组成部分之一的ALC中重要的拥塞控制不会被用到，这两者开销降低了传输效率。

现有技术中还有一种多模块IP数据分发与解析方法，在分发过程中，只在第一个IP数据包中插入UCL信息，并启用单独模块来发送，对其余的IP数据包则启用另外模块来发送。该方法尽管提高了数据分发效率，但是由于实际应用中，通常模块启动顺序不可控，为了实现当前模块执行完后执行指定模块需要额外的同步机制，仅为了发送一个文件中的一个数据包进行的模块创建、上下文切换、撤销和同步开销过大，大大降低了播发效率。而且接收端若是从中间开始接收，由于未收到第一个数据包，整个文件会丢弃，实际上接收效率并不高。

对此，本发明提出一种匹配多种传输方式的数据封装方法及系统，对辅助数据、业务数据的发送进行有效组织和管理，以提高发送效率。

发明内容

本发明所要解决的技术问题是提供一种匹配多种传输方式的数据封装方法及系统，用于解决多媒体广播技术领域的数据封装过程中与各种传输方式进行匹配的问题。

本发明解决上述技术问题的技术方案如下：一种匹配多种传输方式的数据封装方法，包括：

步骤1，将业务数据切分成定长的分片文件。

步骤2，根据播发计划，将分片文件和与分片文件相对应的辅助数据交织添加到播发队列，并调节适配播发分片文件的优先级。

步骤3，将分片文件封装为多个UMCP块，并根据链路质量情况判断是否对UMCP块加入数据校验。

步骤4，根据网络适配的需要将一个或多个UMCP块封装成网络协议帧。网络协议帧如：PES、Section、TCP/IP、UDP等。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1具体包括：获取业务数据的内容文件和唯一性标识号ContentID，根据内容文件的切分数据长度PartSize将业务数据切分成定长的分片文件，并为每一个分片文件分配唯一的切分标识索引号PartID，除最后一个分片文件外的所有分片文件长度相等，且最后一个分片文件的长度为小于或等于其他分片文件长度的任意值。

进一步，所述步骤2中将分片文件和与分片文件相对应的辅助数据交织添加到播发队列，具体包括：同时选取多个待播发文件，每一轮次从每个文件中选取指定数量个分片文件，再选取与分片文件相对应的辅助数据，加入相应播发队列，若该轮次中待播发文件发送完毕，则根据播发计划选取下一个待播发文件。

进一步，所述步骤2中调节适配播发分片文件的优先级，具体包括：根据不同的业务数据的特性确定不同分片文件的播发优先级，并将播发优先级转化为单次能发送的分片文件的数量。

进一步，所述分片文件包括原始文件信息、项目类型、文件类型和关联文件索引。

进一步，所述辅助数据包括播发任务状态信息和终端管理信息。

进一步，所述步骤3中将分片文件封装为多个UMCP块，具体包括：根据分片文件的总长度和按照适配传输网络确定的UMCP块净载荷的划分大小UmcpSize，计算出每一个分片文件的划分成UMCP块的个数UmcpCount，然后将分片文件封装成UmcpCount个UMCP块。

进一步，所述UMCP块的包头与净载荷长度均为固定值，在将分片文件封装为多个UMCP块中过程中，若最后一个UMCP块所包含的净载荷大小小于按照适配传输网络确定的UMCP块净载荷的划分大小UmcpSize，则用0填充不足部分，用于保证封装成的所有UMCP块大小一致。

进一步，所述步骤3中根据链路质量情况判断是否对UMCP块加入数据校验，具体包括：根据终端接收数据的错误率判断，若高于设定的门限值则在UMCP封装时启用数据校验。具体地，可根据终端的性能选择采用加和校验、CRC校验等数据校验方法。

对应地，本发明的技术方案还包括一种匹配多种传输方式的数据封装系统，包括：

预切分模块，用于将业务数据切分成定长的分片文件；

控制模块，用于根据播发计划，将多个待播发的分片文件和辅助数据交织添加到播发队列，并调节适配播发分片文件的优先级；

UMCP封装模块，用于将播发队列里的分片文件封装为UMCP块，并根据链路质量情况判断是否对UMCP块加入数据校验；

网络适配模块，根据网络适配的需要将一个或多个UMCP块封装成网络协议帧。

进一步，还包括辅助数据管理模块，其用于管理辅助数据，具体包括:辅助数据在每隔固定间隔的时间内，根据正在播发内容的状态生成播发任务状态信息，根据终端对传输承载网络的需求生成终端管理信息。

本发明的有益效果是：本发明通过定长的分片预处理，简化了数据切分流程，可实现多通道并发调度和播发速度的精细化控制，有效地利用了网络带宽并提高了播发效率。通过业务数据和辅助数据的混合播发，以及在网络质量不好时加入校验功能，终端在数据丢失或错误后可进行修复，提高传输的可靠性。在UMCP报文中含有内容索引信息，可在UMCP级别根据业务需求实现数据的选择性接收，提高业务灵活度和接收的高效性。对UMCP分片长度的优化选择，可以很好地适配多种数据链路层网络协议，实现在不同网络条件下的跨网协同服务，对于实现新一代的智能数字广播以及单向网和因特网的跨网多播传输具有重大意义。

附图说明

图1为本发明所述匹配多种传输方式的数据封装方法的流程示意图；

图2为本发明的UMCP数据包在HFC网络封装方式示意图；

图3为UMCP协议的层级关系示意图；

图4为本发明所述匹配多种传输方式的数据封装系统的模块构成图；

图5为UMCP封装在广播网播发中应用的会话流程图；

图6为本发明的UMCP数据包在TCP/IP网络封装方式示意图；

图7为UMCP在前端系统和机顶盒终端间的编解码流程示意图。

图8为分片文件和辅助数据交织添加到播发队列示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本实施例给出了一种匹配多种传输方式的数据封装方法，主要步骤包括：

步骤1，将业务数据切分成定长的分片文件；

步骤2，根据播发计划，将分片文件和与分片文件相对应的辅助数据交织添加到播发队列，并调节适配播发分片文件的优先级；

步骤3，将分片文件封装为多个UMCP块，并根据链路质量情况判断是否对UMCP块加入数据校验；

步骤4，根据网络适配的需要将一个或多个UMCP块封装成网络协议帧，网络协议帧如：PES、Section、TCP/IP、UDP等。封装成网络协议帧后，即可进行发送。

对应上述方法，本实施例的具体实施过程分为以下几个部分。

一、UMCP协议定义

UMCP数据包是一个大小不超过1500字节(便于适应IP协议)的数据块，其封装方式如图2所示，其中UMCP块为固定长度1428字节，其中包头长度为64字节，净载荷长度为1364字节。

UMCP包头：在包头中定义了一些描述信息和变量，以对UMCP包进行组包，解析和控制，实现UMCP的各种功能。

数据校验字段：用于数据校验，共4个字节长度。该字段包含2个部分：校验标记字段(1个字节)和校验码字段(3个字节)。UMCP包头及校验字段的相关定义如表1所示。

UMCP净载荷：来自于上层内容和会话的数据，大部分情况下其都是有效的净载荷数据。特殊情况下(通常是最后一个UMCP包)由于有效数据不足，需要填充0。

表1 UMCP包头及校验字段定义表

二、UMCP数据校验方法

由于在广播系统中UMCP包经常用于通过广播信道推送给终端机顶盒的环境中，而在无硬件加速的条件下，机顶盒软件运算能力有限。为节约运算资源，本实施例不采用通常意义的生成多项式构成的CRC校验方法，而用加和校验算法代替。UMCP采用加和校验的算法为：按照从前到后的顺序，逐字节累加UMCP包头中除了CRC字段(4个字节)外的其它字段和UMCP净载荷数据。

三、UMCP协议应用方式

1)UMCP协议适配关系

UMCP协议处于中间层级，其与上层和底层的结构关系如图3所示，UMCP协议可以适配多个传输协议。在这里，由于UMCP定长设计，可以很好的适配到网络传输数据封装中。

2)系统模块

如图4所示，系统模块的构成及各部分主要功能如下。

a1:预切分模块，用于将业务数据切分成定长的分片文件；

a2:播发队列，用于将待播发文件和辅助数据进行组织,网络适配模块根据播发队列中分片文件和辅助数据的顺序进行播发；

a3:控制模块，用于根据播发计划，将多个待播发的业务数据分片文件和辅助数据交织添加到播发队列；调节适配播发内容文件的优先级，并根据链路质量情况判断是否对UMCP块加入数据校验；

a4:辅助数据管理模块，其用于管理辅助数据，辅助数据可以每隔固定间隔的时间(如1小时)，根据网络适配模块中任务表中的正在播发内容的状态生成播发任务状态信息，根据终端对传输承载网络的需求生成终端管理信息。

a5:UMCP封装模块，用于将播发队列里的分片文件封装为UMCP块，并根据需要在每个UMCP块的包头中加入数据校验字段；

a6:网络适配模块，根据网络适配的需要再将UMCP块封装成网络协议帧，并发送。适配的网络可以是广播网、互联网等，协议帧如：PES、Section、TCP/IP、UDP等。举例说明，可将检验后的UMCP块打包成PES包，再将PES包封装成TS帧。

下文重点介绍分片预处理模块、控制模块、UMCP封装模块和网络适配模块。

3)分片预处理模块

先判断需要播发的内容文件大小是否大于系统设定的内容文件的切分数据长度PartSize，若大于PartSize则将内容文件切分为多个分片文件，获取内容文件的PushID，并根据PartSize对内容进行分片预处理，每一个分片分配PartID标识，每个分片文件大小均匀，但最后一个分片文件的大小可以不固定，即除最后一个分片文件外的所有分片文件长度相等，且最后一个分片文件的长度为小于或等于其他分片文件长度的任意值。

分片文件包含原始文件信息、项目类型、文件类型以及关联文件的索引，可单独播发。

4)控制模块

控制模块的作用包括：按照定时和数据类型要求将辅助数据，将完成预分片的业务数据根据播发计划放入播发队列；调节网络适配模块的优先级；根据回传的链路质量情况通知UMCP封装模块增加校验功能。

5)UMCP封装模块

UMCP封装模块实现将文件封装为UMCP块，其中UMCP块封装过程为：根据传输层配置UMCP块的数据长度UmcpSize，计算出每一个分片的UMCP单元个数UmcpCount；根据UMCP协议封装UMCP块内容，并生成校验码。

6)网络适配模块

如图5所示，给出在传统广播电视有线网(HFC网络)的一个适配播发工作流程：

b1、HFC适配模块启动，读取数据库配置文件，设置播发速率和TS协议配置的PID，播发参数初始化，设置播发速度模式。

b2、进入码率控制循环，若为初次播发或长时间停止，播发文件头空包，速率控制.

b3、封装UMCP块并缓冲。

b4、将多个UMCP块打包成PES包，再将PES包封装成TS帧。需注意的是，可根据网络环境与终端接收性能，灵活选择一个或多个UMCP块进行打包。

b5、发送TS帧，回到步骤b2，继续速率控制循环。

如图6所示，给出在互联网(IP网络)的一个适配播发工作流程：

c1、IP适配模块启动，读取数据库配置文件，设置播发网卡，播发参数初始化，设置播发速度。

c2、连接到远端主机。

c3、按照播发速度取出相应数据量的UMCP报文发送。

四、UMCP编解码

如图7所示，对于应用层内容/会话，经前三步完成封装后，前端系统进行TS流封装、复用和调制，根据基带信号得到模拟信号，再传输给机顶盒终端，机顶盒终端接收模拟信号，依次进行基带混频、解复用、调制、TS流解封装、多协议适配层解封装、UMCP解封装，恢复应用层原始内容。

五、业务数据和辅助数据交织加入播发队列

如图8所示，同时选取多个待播发文件，从每个文件中选取部分分片文件，再选取相应辅助数据，顺序加入多个播发队列。其用于调节适配播发内容文件的优先级，具体包括：控制模块根据不同的业务特性确定不同内容文件的播发优先级，并将播发优先级转化为单次可发送分片文件的数量。

辅助数据包括播发任务状态信息和终端管理信息。播发任务状态信息包括根据网络适配模块中任务表中的正在播发内容的状态，如轮播的次数；终端管理信息包括终端对传输承载网络的需求，如终端需要适配网络的类型。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种匹配多种传输方式的数据封装方法，其特征在于，包括：

步骤1，将业务数据切分成定长的分片文件；

步骤2，根据播发计划，将分片文件和与分片文件相对应的辅助数据交织添加到播发队列，并调节适配播发分片文件的优先级；

步骤3，根据分片文件的总长度和按照适配传输网络确定的单元多播协议UMCP块净载荷的划分大小UmcpSize，计算出每一个分片文件的划分成单元多播协议UMCP块的个数UmcpCount，然后将分片文件封装成UmcpCount个单元多播协议UMCP块，并根据链路质量情况判断是否对单元多播协议UMCP块加入数据校验；

步骤4，根据网络适配的需要将一个或多个UMCP块封装成网络协议帧。

2.根据权利要求1所述的数据封装方法，其特征在于，所述步骤1具体包括：获取业务数据的内容文件和唯一性标识号ContentID，根据内容文件的切分数据长度PartSize将业务数据切分成定长的分片文件，并为每一个分片文件分配唯一的切分标识索引号PartID，除最后一个分片文件外的所有分片文件长度相等，且最后一个分片文件的长度为小于或等于其他分片文件长度的任意值。

3.根据权利要求1所述的数据封装方法，其特征在于，所述步骤2中将分片文件和与分片文件相对应的辅助数据交织添加到播发队列，具体包括：同时选取多个待播发文件，每一轮次从每个文件中选取指定数量个分片文件，再选取与分片文件相对应的辅助数据，加入相应播发队列，若该轮次中待播发文件发送完毕，则根据播发计划选取下一个待播发文件。

4.根据权利要求1所述的数据封装方法，所述步骤2中调节适配播发分片文件的优先级，具体包括：根据不同的业务数据的特性确定不同分片文件的播发优先级，并将播发优先级转化为单次能发送的分片文件的数量。

5.根据权利要求1至4中任一所述的数据封装方法，其特征在于，所述分片文件包括原始文件信息、项目类型、文件类型和关联文件索引；所述辅助数据包括播发任务状态信息和终端管理信息。

6.根据权利要求1所述的数据封装方法，其特征在于，所述UMCP块的包头与净载荷长度均为固定值，在将分片文件封装为多个UMCP块的过程中，若最后一个UMCP块所包含的净载荷大小小于按照适配传输网络确定的UMCP块净载荷的划分大小UmcpSize，则用0填充不足部分，用于保证封装成的所有UMCP块大小一致。

7.根据权利要求1所述的数据封装方法，其特征在于，所述步骤3中根据链路质量情况判断是否对UMCP块加入数据校验，具体包括：根据终端接收数据的错误率判断，若高于设定的门限值则在UMCP封装时启用数据校验。

8.一种匹配多种传输方式的数据封装系统，其特征在于，包括：

预切分模块，用于将业务数据切分成定长的分片文件；

控制模块，用于根据播发计划，将多个待播发的分片文件和辅助数据交织添加到播发队列，并调节适配播发分片文件的优先级；

UMCP封装模块，用于根据分片文件的总长度和按照适配传输网络确定的单元多播协议UMCP块净载荷的划分大小UmcpSize，计算出每一个分片文件的划分成单元多播协议UMCP块的个数UmcpCount，然后将分片文件封装成UmcpCount个单元多播协议UMCP块，并根据链路质量情况判断是否对单元多播协议UMCP块加入数据校验；

网络适配模块，根据网络适配的需要再将一个或多个单元多播UMCP块封装成网络协议帧。

9.根据权利要求8所述的数据封装系统，其特征在于，还包括辅助数据管理模块，其用于管理辅助数据，具体包括:在每隔固定间隔的时间内，根据正在播发内容的状态生成播发任务状态信息,根据终端对传输承载网络的需求生成终端管理信息。