CN103986976B - 基于cdn网络的传输系统及方法 - Google Patents

Abstract

本发明公开了一种基于CDN网络的传输系统，包括CDN接入层设备，其适于从播放源接收包括索引文件和分片文件的播放数据，将所述播放数据中的分片文件进行流化处理，并封装成播放数据流；CDN传输层设备，其包括多个传输层，适于根据所述边缘层分发设备传送的来自播放终端的请求，将封装好的播放数据流传送至边缘层分发设备；以及边缘层分发设备，其适于接收所述播放数据流，将其分割成分片文件，并生成对应的索引文件，然后根据所述索引文件将所述分片文件分发给发出请求的播放终端。另外，本发明还提供一种基于CDN网络的传输方法。利用本发明，可以减少CDN服务的压力，提高传输效率、降低磁盘的损坏率。

Description

基于CDN网络的传输系统及方法

技术领域

本发明涉及互联网中的数据传输技术领域，尤其涉及基于CDN网络(全称是Content Delivery Network，即内容分发网络)的传输系统及方法。

背景技术

随着互联网技术的快速发展，出现越来越多的网络音频和视频节目，包括直播的、非直播的网络音频和视频节目。目前通常采用CDN网络平台将播放源的数据从源端传送至播放终端。由于播放数据中包含多个分片文件，所以每个分片文件下发时，都会单独地向CDN网络发送请求，因此CDN网络需要处理多个请求，这给CDN网络造成很大压力。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于CDN网络的传输系统及方法。

依据本发明的一个方面，提供一种基于CDN网络的传输系统，包括CDN接入层设备、多个CDN传输层设备、以及边缘层分发设备，其中，所述CDN接入层设备适于从播放源接收播放数据，该播放数据包括索引文件和基于该索引文件下载的分片文件，将所述播放数据中的分片文件进行流化处理，并封装成播放数据流；所述CDN传输层设备，包括多个传输层，适于根据所述边缘层分发设备传送的来自播放终端的请求，将封装好的播放数据流传送至边缘层分发设备；以及所述边缘层分发设备适于接收所述播放数据流，将其分割成分片文件，并生成对应的索引文件，然后根据所述索引文件将所述分片文件分发给发出请求的播放终端。

依据本发明的另一个方面，提供一种基于CDN网络的传输方法，其包括：从播放源接收播放数据，所述播放数据包括索引文件和基于所述索引文件下载的分片文件；将所述播放数据中的分片文件进行流化处理，封装成播放数据流；根据边缘节点传送的来自播放终端的请求，将封装好的播放数据流经CDN网络的传输层传送至边缘节点；所述边缘节点接收所述播放数据流，将其分割成分片文件，并生成对应的索引文件；以及根据所述索引文件将所述分片文件分发给发出请求的播放终端。

本发明的基于CDN网络的传输系统及方法，主要具有以下优点：一方面，本发明将播放数据(例如HLS分片文件)进入CDN网络分发前将其流化，使其以比特流的方式在CDN网络中进行传输。由于采用了真正意义上的数据流式的传输，数据可以不需要使用CDN的服务器硬盘进行缓存，而是使用CDN系统中设备的内存资源进行快速转发。也就是说CDN的传输层设备在不配备缓存硬盘的情况下依然可以完成传输任务，而且使用内存缓存、转发数据会大大提高数据传输效率。

另外，由于本发明采用数据流式的传输方式，边缘层分发设备收到一次请求即可持续接收数据，避免了CDN设备对多个分片文件需要处理多次请求的过程，提高了CDN服务能力，降低CDN设备的服务压力。

还有，在本发明中，流化后的数据在到达边缘层分发设备后，根据HLS规范生成分片文件及对应的索引文件，这避免了索引文件也要进行分发的缺点。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明的一个实施方式的基于CDN网络的传输系统的方框图；以及

图2示出了根据本发明的另一个实施方式的基于CDN网络的传输方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。

本发明提出一种基于CDN网络的传输系统100。如图1所示，本发明的基于CDN网络的传输系统100包括CDN接入层设备110、多个CDN传输层设备120、以及边缘层分发设备130。

CDN接入层设备110适于从播放源接收播放数据，该播放数据包括索引文件和基于该索引文件下载的分片文件，然后将所述播放数据中的分片文件进行流化处理，并封装成播放数据流。

例如，由视频直播源提供的HLS协议数据包括一个m3u(8)的索引文件、多个TS分片文件、和key加密串文件。每个文件都是1-2M的小文件。这里，HLS是Apple公司的动态码率自适应技术，主要用于PC机和Apple终端的音视频服务。

目前可以使用HLS技术在普通的HTTP的应用上直接提供点播和直播。HLS直播流传输主要以动态下载分片文件的方式进行，分片文件内容不断地被更新和下载实现了类似于不间断实时流传输的效果。

下面以HLS直播文件流为例对本发明的基于CDN网络的传输系统100进行详细说明。

播放源105提供的播放数据包含索引文件以及依照该索引文件下载的分片文件。如图1所示，播放源105是提供HLS直播文件流的直播源。例如，第一种播放源105可以包括硬件编码器或者包括硬件编码器和流分割器，其将来自摄影设备等的直播流进行处理后输出播放终端140所能支持的编码格式的数据，例如H.264视频编码和AAC音频编码，这种播放源提供HTTP可访问的m3u8文件URL，即标准的HLS数据。第二种播放源105是提供基于H.264视频编码、AAC音频编码的HTTP/TS数据流(即HTTP协议TS封装的实时数据流)的数据源。

CDN接入层设备110会从播放源105接收播放数据，并将其自动封装成一个数据流。例如，CDN接入层设备110通过互联网代理服务软件从播放源105接收播放数据。

互联网代理服务软件早期主要用于对网页内容进行缓存加速，通过代理服务器替用户访问、缓存网页，使用户通过访问代理服务器缓存数据获得良好的访问体验。代理服务器的具体原理如下：代理软件接收用户的下载申请，并自动处理所下载的数据。也就是说，当一个用户想要下载一个主页时，它向代理服务器发出一个请求，要代理服务器替它下载，然后代理服务器连接所申请网站并请求该主页，接着把该主页传给用户同时保留一个备份，当其它用户请求同样的页面时，代理服务器把保存的备份立即传给用户，使用户觉得访问速度很快。

无论播放源105是哪种源，CDN接入层设备110都会将源数据重新封装为标准的TS流数据包进行传输。TS是一种长度为188字节的定长数据包。在TS数据流中可以填入多种类型的数据，如视频、音频、自定义信息等等。对于来自上述第一种播放源105的播放数据，CDN接入层设备110接收所述播放数据，并根据播放数据中的m3u8索引文件中分片文件的URL信息请求分片文件，然后将所述分片文件拆解、打包成TS数据包，同时封装以自定义信息，即最后封装成为标准的HTTP/TS数据流，以便在CDN传输层设备120中传输。对于来自上述第二种播放源105的播放数据，CDN接入层设备110在接收到HTTP/TS源数据后，对其进行拆解、打包，以形成TS数据包，同时封装以自定义信息，即最后封装成为标准的HTTP/TS数据流后，以便在CDN传输层设备120中传输。

这里，封装的自定义信息可以包括私有包头信息、帧编号、数据包类型、版本等，用于实现丢包检测、数据还原、防数据篡改等功能。

CDN传输层设备120包括多个传输层，是一种多级架构的分发网络，通常采用多级文件缓存分发技术为播放终端140提供服务。CDN传输层设备120适于根据边缘层分发设备130传送的来自播放终端140的请求，将封装好的播放数据流传送至边缘层分发设备130。

CDN传输层设备120可以基于边缘层分发设备130传送的来自播放终端140的请求，结合互联网链路状况，为下层设备配置最佳的回源数据链路，因此，数据分发是以下层设备向上层设备发起数据请求来进行数据传输的。这里，位于数据传输的下游的设备相对于其上游的设备即为下层设备，相反，位于数据传输的上游的设备相对于其下游的设备即为上层设备。通过上述方式，CDN接入层设备110封装好的播放数据流以透明传输方式在传输层中从上至下传送至边缘层分发设备130。当然，CDN传输层设备120的数据分发方式不限于上述一种方式，还可以采用其它方式。

边缘层分发设备130包含多个边缘节点，将播放数据流传送至边缘层分发设备130中的哪个边缘节点，可以由CND网络根据播放终端IP、设备业务配置、及服务压力等因素确定。当播放终端140请求命中某一边缘节点后，该边缘节点根据CDN网络为其配置的最佳回源路径向上层设备获取数据流，之后，CDN传输层设备120将该边缘节点所请求的数据基于所述最佳回源路径从其第一传输层设备、第二传输层设备、…、第n传输层设备(其中n为自然数)，传输至所述边缘节点。此后，即使播放终端140断开连接，该边缘节点仍会在一段时间内不断从上层设备获取数据流，以确保新的播放终端140的请求命中此边缘节点时，该边缘节点能够快速地向新的播放终端140发送数据。其中，该边缘节点的上层设备从高于其配置层级的设备获取数据。

如果CDN传输层设备120以文件传输方式对分片文件进行传输，对HLS直播来说，新的分片文件不断产生，CDN网络的设备之间对每个分片文件分发传输都是一次独立请求处理过程。同时索引文件也因新分片文件的产生不断更新索引信息，当播放终端不断重新请求索引文件以获得最新版本时，索引文件每更新一次，在CDN网络的设备之间的分发传输也是一次独立请求处理过程。这使得CDN网络因处理请求的次数频繁而降低了服务能力。还有，CDN传输层设备缓存分片文件、索引文件均使用硬盘，每经过一次分发，都会经过磁盘写入、读取的过程，磁盘的损坏率也会大幅增加，而且硬盘频繁读写瓶颈大大降低了数据传输效率。

本发明的基于CDN网络的传输系统将HLS分片文件数据拼接为持续传输的数据流，在CDN网络的设备之间只需要一次请求过程即可获得持续的数据流，不需要分别进行多次请求，降低了连接开销，可以提高传输效率，减小CDN网络的服务压力。另外，数据流的传输只占用内存，不占用硬盘，可以节约磁盘资源。另外，由于数据流始终在内存中缓存更新、可快速转发至边缘层分发设备130，进一步提高了传输效率。

还有，由于在本发明中，在CDN网络中传输的是数据流，而不是一个个文件，这样，还可以优化传输路径。具体地，本发明中CDN对实时流的分发采用应用层组播方式，即在一个边缘节点内指定一个逻辑上的主设备接收上层(骨干)节点实时流，然后以组播复制的方式将实时流分发给逻辑上的二层、三层、n层设备，以树状结构不断向下层设备复制分发，对于下层设备可从多个上层设备获得数据，有效均衡了节点内设备的压力，提高节点的整体负载冗余能力。以HTTP代理软件对HLS碎片文件的缓存分发方式虽然也可以通过配置实现层次化的缓存结构，但配置过程是一种静态配置方式，难以向实时流那样根据设备运行状况自动优化选择在设备之间的分发路径。

另外，本发明的基于CDN的传输系统采用现有的网络HTTP传输技术，传输数据流，而对源端及播放终端不需要提出任何特殊要求。

边缘层分发设备130接收所述播放数据流后，将其分割成分片文件，并生成对应的索引文件，然后根据所述索引文件将所述分片文件分发给发出请求的播放终端140。

边缘层分发设备130具备流分割功能。该流分割功能会将流化数据分割成一系列分片文件并生成索引文件。对于HLS直播数据流来说，经边缘层分发设备130分割后，每个分片文件是一个独立的后缀为.ts的文件，这些分片文件将在播放终端140重新拼接成一个连续播放的流。分割生成的.ts文件可以生成与源规格完全一致的TS分片文件，也可以改变分片文件的数量及分片文件的大小，生成与源规格有一定差异的TS分片文件，但生成的TS分片文件符合HLS规范要求，保证能在播放终端140正常播放。所生成的索引文件是根据分割成的分片文件生成的一个符合HLS规范的、后缀名为.m3u8的索引文件。该索引文件包含针对每个分片文件的索引信息和相关参考信息。每生成一个新的.ts分片文件，.m3u8索引文件就会更新一次。索引文件中的索引信息可以被用来指示分片文件的起始序列号、分片文件长度以及分片文件的URL。

播放终端140根据CDN的分配结果向指定的边缘节点请求m3u8索引文件。由于.ts分片文件和.m3u8索引文件不断更新，播放终端140会周期性地请求索引文件的最新版本以保证持续获得最新的.ts分片文件列表信息，避免出现错误。播放终端140根据索引文件中分片文件URL来请求分片文件并播放。

下面是一个简单的索引文件示例，从中可以看出整个媒体流(即播放数据流)都包含在3个未经加密的10秒分片文件中。

#EXTM3U

#EXT-X-MEDIA-SEQUENCE:0

#EXT-X-TARGETDURATION:10

#EXTINF:10,

http://media.example.com/segment1.ts

#EXTINF:10,

http://media.example.com/segment2.ts

#EXTINF:10,

http://media.example.com/segment3.ts

#EXT-X-ENDLIST

由于m3u8文件内容会变化，需要实时刷新，如果直接在边缘节点侧生成，大大简化了索引文件分发过程，对于源端(即播放源105侧)也有效地降低了依赖源站获取更新内容进行分发所带来的压力，而且索引文件的刷新能快速响应播放终端的请求。如果按照传统的方式，索引文件从源端一层一层地分发下来的话，播放终端140根据索引文件中分片文件的URL分别进行请求，对每个分片文件的请求都是一次完整的HTTP请求过程。同时由于.m3u8文件不断被重写，播放终端140在播放过程中对索引文件的每次请求都需要重新下载最新版本，因此传统的文件分发方式会对源端105带来大量请求，降低服务承载能力，如果采用多级分发机制会带来较高的延迟，有可能会跟不上刷新速度，导致直播流的播放出现卡顿、回退的现象。

本发明还提供一种基于CDN网络的传输方法，如图2所示，本发明的方法200起始于步骤S210，在步骤S210，从播放源接收播放数据，所述播放数据包括索引文件和依照该索引文件下载的分片文件。

播放源是提供播放文件流的源端。例如，第一种播放源包括硬件编码器或者包括硬件编码器和流分割器。例如，第一种播放源可以是将来自摄影设备等的直播流处理后输出播放终端所能支持的编码格式的数据源，例如输出的数据格式是H.264视频编码和AAC音频编码，这种播放源提供HTTP可访问的m3u8文件URL，即标准的HLS数据。第二种播放源是提供基于H.264视频编码、AAC音频编码的HTTP/TS数据流(即HTTP协议TS封装的实时数据流)的数据源。当然，播放源不限于上面所述的两种，这里只是为了举例说明而列出了上述两种。

在步骤S210，当从播放源接收数据时，会接收索引文件、以及依照该索引文件请求下载分片文件。

接下来，在步骤S230，将所述播放数据中的分片文件进行流化处理，封装成播放数据流。所述流化处理包括将获得的分片数据或者其它源数据(即，无论来自哪种播放源的何种数据)进行拆解，封装为标准TS传输数据包，并对TS数据包附加以自定义信息，以便其在CDN的传输层中传输。这些封装的自定义信息包括私有包头信息、帧编号、数据包类型、版本等，在CDN传输层之间建立HTTP长链接后持续发送这种附加有自定义信息的TS数据包。

接下来，在步骤S250，根据边缘节点传送的来自播放终端的请求，将封装好的播放数据流经CDN网络的传输层传送至边缘节点。

CDN网络是一种多级架构的分发网络，其具有多个传输层和边缘节点。CDN网络基于播放终端的请求，根据IP段、负载等因素将播放数据流定位到某个边缘节点，边缘节点向上层设备请求数据，以驱动传输层的上层设备开始向下层设备发送数据流。

由于播放数据已经被拼接成持续传输的数据流，在CDN网络的各设备之间只需要一次请求过程即可获得持续的数据流，不需要分别进行多次请求，降低了连接开销，可以提高传输效率，减小CDN服务压力。而且，数据流的传输只占用内存，不占用硬盘，所以可以节约磁盘资源。另外，由于数据流始终在内存中缓存更新、可快速转发至边缘节点。

接下来，在步骤S270，所述边缘节点接收所述播放数据流，将其分割成分片文件，并生成对应的索引文件。具体地，所述边缘节点对所述播放数据流进行解封装、流分割，或者生成与源规格(即，播放源或源端的规格)完全一致的原始的分片文件，或者改变分片文件的数量及分片文件的大小，生成与源规格有一定差异的分片文件，但生成的分片文件符合HLS规范要求，保证能在播放终端正常播放。所述索引文件是根据分割成的分片文件生成的索引文件，例如对于HLS直播流来说，索引文件为一个符合HLS规范的、后缀名为.m3u8的索引文件。该索引文件包含针对每个分片文件的索引信息和相关参考信息。

接下来，在步骤S290，根据所述索引文件将所述分片文件分发给发出请求的播放终端。具体地，边缘节点根据在步骤S270中生成的索引文件，读取所生成的分片文件，然后将所述分片文件分发给请求所述播放数据的播放终端，进行播放。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的浏览器播放终端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (6)

1.一种基于CDN网络的传输系统，包括CDN接入层设备、多个CDN传输层设备、以及边缘层分发设备，其中，

所述CDN接入层设备适于从播放源接收播放数据，该播放数据包括索引文件和基于该索引文件下载的分片文件，将所述播放数据中的分片文件进行流化处理，并封装成播放数据流；

所述CDN传输层设备，包括多个传输层，适于根据所述边缘层分发设备传送的来自播放终端的请求，将封装好的播放数据流传送至边缘层分发设备；以及

所述边缘层分发设备适于接收所述播放数据流，将其分割成分片文件，并生成对应的索引文件，然后根据所述索引文件将所述分片文件分发给发出请求的播放终端；

其中，所述边缘层分发设备适于将所接收的播放数据流进行解封装，并将解封装的播放数据流流分割成原始的分片文件，或者流程割成新的分片文件。

2.根据权利要求1所述的系统，其中，

所述CDN数据流接入层设备封装成的播放数据流具有适于在所述CDN传输层设备中传输的统一传输协议包头。

3.根据权利要求1或2所述的系统，

其中所述播放数据流为基于HTTP的流媒体网络传输协议的直播文件流。

4.一种基于CDN网络的传输方法，其包括：

从播放源接收播放数据，所述播放数据包括索引文件和基于所述索引文件下载的分片文件；

将所述播放数据中的分片文件进行流化处理，封装成播放数据流；

根据边缘节点传送的来自播放终端的请求，将封装好的播放数据流经CDN网络的传输层传送至边缘节点；

所述边缘节点接收所述播放数据流，将其分割成分片文件，并生成对应的索引文件；以及

根据所述索引文件将所述分片文件分发给发出请求的播放终端；

其中，在所述边缘节点侧将所接收的播放数据流分割成分片文件的步骤包括：

将所接收的播放数据流进行解封装，并将解封装后的播放数据流流分割成原始的分片文件，或者重新流分割成新的分片文件。

5.根据权利要求4所述的方法，其中，

所述将所述播放数据中的分片文件进行流化处理并封装成播放数据流的步骤包括：

用适于在CDN网络的传输层中传输的统一传输协议包头封装经过流化处理的播放数据，形成播放数据流。

6.根据权利要求4或5所述的方法，其中，

所述播放数据流为基于HTTP的流媒体网络传输协议的直播文件流。