CN101867613B - 一种内容分发cdn子系统以及数据同步的方法 - Google Patents

Abstract

本发明公开了一种内容分发CDN子系统以及数据同步的方法，该CDN子系统具体包括：CDN管理模块、存储模块和数据库模块，CDN节点，用于发起数据同步请求，并根据接收到的同步数据通知消息，从存储模块获取同步数据文件；数据同步服务器，用于接收所述CDN节点发送的数据同步请求，根据所述数据同步请求从数据库模块获取全量数据或者增量数据并存入内存，根据内存数据生成数据文件发送至存储模块，以及向所述CDN节点发送同步数据通知消息。应用本发明提供的方法和系统减少同步数据的数据量，从而减轻业务数据库的负担，并增加系统的可靠性。

Description

一种内容分发CDN子系统以及数据同步的方法

技术领域

本发明涉及通信技术领域，尤其涉及一种应用于IPTV系统中的内容分发CDN子系统以及数据同步的方法。

背景技术

交互式网络电视(Internet Protocol Television，简称为IPTV)是一种利用宽带有线电视网向家庭用户提供包括数字电视在内的多种交互式服务的技术，其充分利用了电视网、互联网、多媒体等资源和技术来为用户提供交互式电视服务。IPTV将逐渐替代现有的模拟电视和数字电视，成为电视行业的发展趋势。

内容分发(Content Delivery Network，CDN)子系统是IPTV系统中最重要的子系统之一，其负责整个IPTV系统所有业务的调度、分发、服务、管理。现有技术IPTV中的CDN子系统中主要包括CDN管理模块、CDN节点(包括CDN代理管理模块和业务服务模块)、存储模决和数据库模块，CDN子系统具体结构如图1A所示，其中：

CDN管理模块用于从整体上对CDN子系统的资源进行调度、分发。并且该CDN管理模块包括业务控制模块、网络管理模块、和数据同步模块。

CDN节点通常是根据用户的地理位置来配备的，它是一个为用户提供服务的逻辑单位，主要由CDN代理管理模块和业务服务模块组成。

存储模块作为数据同步的中转站，用来临时存储CDN管理模块与CDN代理管理模块间同步的数据信息。

数据库模块主要用于存放IPTV系统中所有业务的数据和CDN子系统的系统资源。

随着IPTV系统用户数和节目内容数的急速膨胀，系统同步的数据量越来越多，现有技术中把数据同步模块集成在业务层(如图1所示)，每次同步数据的具体实现步骤包括：

步骤101、CDN节点CDN代理服务器中的数据同步模块向CDN管理模块中的数据同步模块发送数据同步请求；CDN管理模块中的数据同步模块接收数据同步请求；

步骤102、CDN管理模块中的数据同步模块接收数据同步请求后，向数据库发起获取全量数据请求，并将获取到的全量数据打包，上传至存储模块；

步骤103、CDN代理服务器中的数据同步模块从存储下载打包的全量数据，并解析所述打包的全量数据。

根据上述步骤可知：每次同步数据都需从数据库中获取大量数据导致数据库效率低下，显然在系统同步的数据量越来越多的情况下，上述数据同步的方法已经不能满足系统要求。另外，还会给系统同步带来一定的不可靠性。

发明内容

本发明实施例提供一种内容分发CDN子系统以及数据同步的方法，克服现有技术中采用每次同步从数据库中获取全部数据，并且使用单一存储模块而引起数据库效率、影响系统可靠性的问题。

本发明实施例提供一种内容分发网CDN，包括CDN管理模块、存储模块和数据库模块，还包括：

CDN节点，用于发起数据同步请求，并根据接收到的同步数据通知消息，从存储模块获取同步数据文件；

数据同步服务器，用于接收所述CDN节点发送的数据同步请求，根据所述数据同步请求从数据库模块获取增量数据并存入内存，根据内存数据生成数据文件发送至存储模块，以及向所述CDN节点发送同步数据通知消息；

其中，所述数据同步服务器包括多个，当所述CDN节点发送数据同步请求失败时，从未请求同步的其它数据同步服务器中选取一个可用的数据同步服务器再次发送数据同步请求，如果没有可用的数据同步服务器，则发出告警。

另外，该内容分发CDN子系统还包括多个存储模块；则

所述数据同步服务器还用于在向所述CDN节点发送同步数据通知消息之前，将生成的数据文件打包，并从所述多个存储模块中选择任意一个存储模块，将打包后的数据文件发送到选择的存储模块。

所述数据同步服务器包括多个，其中，当CDN节点发起数据同步请求时，CDN节点的归属数据同步服务器接收CDN节点发起的数据同步请求；

则所述CDN节点还用于如果向所述归属数据同步服务器发送数据同步请求失败，则从所述多个数据同步服务器中的其它数据同步服务器中选取一个可用的数据同步服务器再次发送数据同步请求，如果没有可用的数据同步服务器，则发出告警。

当内容分发网CDN中包括一个数据同步服务器和一个存储模块时，基于所述内容分发网CDN的数据同步方法，包括：

数据同步服务器接收CDN节点发起的数据同步请求后，返回数据同步响应消息；

根据所述数据同步请求从数据库模块中获取增量数据，并根据自身存储的数据和获取的增量数据生成相应的数据文件并发送至存储模块；

向所述CDN节点发送同步数据通知消息，通知CDN节点从所述存储模块获取所述数据文件。

当内容分发网CDN中包括多个数据同步服务器和多个存储模块时，基于该内容分发网CDN的数据同步方法，包括：

CDN节点对应的归属数据同步服务器接收到CDN节点发起的数据同步请求后，返回数据同步响应消息；

根据所述数据同步请求从数据库模块中获取增量数据，并根据自身存储的数据和获取的增量数据生成相应的数据文件；

数据同步服务器将生成的数据文件打包，从所述多个存储模块中选择任意一个存储模块，并将打包后数据文件上传到选择的存储模块；

向CDN节点发送同步数据通知消息，通知CDN节点从所述选择的存储模块获取数据文件。

应用本发明实施例所提供的方法的装置，采用部署多个数据同步服务器和多个存储模块，并且同步时从数据库中获取增量数据到数据同步服务器以减少数据量来减轻业务数据库的负担，部署多个存储模块可以增加系统的可靠性。

附图说明

图1A现有技术中内容分发网CDN子系统的结构示意图；

图1现有技术中数据同步的方法；

图2本发明实施例一种内容分发CDN予系统的结构示意图；

图3本发明实施例中数据同步服务器的结构示意；

图4图本发明实施例(一)一种数据同步方法的流程图；

图5本发明实施例(二)一种数据同步方法的流程图；

图6在具体的应用环境中，应用实施例二提供的方法实现数据同步方法的流程图。

具体实施方式

本发明实施例提供一种内容分发CDN子系统，包括CDN管理模块、存储模块和数据库模块，还包括：CDN节点，用于发起数据同步请求，并根据接收到的同步数据通知消息，从存储模块获取同步数据文件；数据同步服务器，用于接收所述CDN节点发送的数据同步请求，根据所述数据同步请求从数据库模块获取全量数据或者增量数据并存入内存，根据内存数据生成数据文件发送至存储模块，以及向所述CDN节点发送同步数据通知消息。

如图2所示，本发明实施例提供的一种内容分发网CDN具体包括CDN管理模块201、CDN节点202、存储模块203、数据库模块204和数据同步服务器205，其中：

CDN节点202，用于向数据同步服务器205发起数据同步请求，并在接收到数据同步服务器发送的同步数据通知消息后，从存储模块203获取同步数据文件；

数据同步服务器205，用于在接收到来自CDN节点的数据同步请求后，从数据库模块获取全量数据或者增量数据并存入内存，根据内存数据生成数据文件发送至存储模块203，向所述CDN节点202发送同步数据通知消息，该同步数据通知消息用于通知所述CDN节点202从所述存储模块202获取数据文件。

为了缓解现有技术中单个数据同步集成于业务层给业务服务器和数据库的同步压力，并且配置多个数据同步服务器可以给系统带来更高的可靠性。在本发明实施例中，所述数据同步服务器205包括多个；

当所述CDN节点202发送数据同步请求失败时，从未请求同步的其它数据同步服务器中选取一个可用的数据同步服务器再次发送数据同步请求，如果没有可用的数据同步服务器，则发出告警。

其中，所述CDN节点202每次发起数据同步请求时，首先先向归属的数据同步服务器发送数据同步请求，如果失败再向其它数据同步服务器发送数据同步请求。

另外，作为数据同步的中转站的存储模块203，用来临时存储数据同步服务器205与CDN节点202间同步数据。因为只要有一个存储模块203状态正常就能为系统提供存储中转服务，为了提高系统的可靠性。本发明实施例还设立多个存储模块203，

则所述数据同步服务器205还用于在向所述CDN节点发送同步数据通知消息之前，将生成的数据文件打包，并从所述多个存储模块203中选择一个存储模块，将打包后的数据文件上传到选择的存储模块203，并向所述CDN节点202发送同步数据通知消息，该通知消息用于通知所述CDN节点202从选择的存储模块获取数据文件。

如图3所示，所述数据同步服务器205包括数据同步单元301和存储管理单元302，其中：

所述数据同步单元301，用于接收来自CDN节点的数据同步请求后，从数据库模块获取全量或者增量数据并存入内存，向CDN节点发送数据同步响应消息，根据内存数据生成需要的数据文件，并将生成的数据文件打包；

另外，为了保证每次数据同步请求时的增量数据的数据量最小化，所述数据同步单元301还用于设的时间间隔定时从数据库模块获取增量数据并存入内存。

存储管理单元302，用于在数据同步时，从所述多个存储模块中选择选择任意一个存储模块，将打包后的数据文件发送到选择的存储模块，并提供读写存储模块的方法。

如图4所示，应用上述实施例提供的内容分发网CDN，如果内容分发网CDN中设置有一个数据同步服务器和一个存储模块，则本发明实施例一提供的一种数据同步方法，该方法具体包括步骤；

步骤401，归属数据同步服务器接收CDN节点发起的数据同步请求后，返回数据同步响应消息；

步骤402，根据所述数据同步请求从数据库模块中获取增量数据，并根据自身存储的数据和获取的增量数据生成相应的数据文件并发送至存储模块；

步骤403，向所述CDN节点发送同步数据通知消息，通知CDN节点从选择的存储模块获取所述数据文件。

如图5所示，应用上述实施例提供的内容分发网CDN，如果内容分发网CDN中设置有多个数据同步服务器和多个存储模块，则本发明实施例二提供的一种数据同步方法，该方法具体包括步骤：

步骤501，归属数据同步服务器接收CDN节点发起的数据同步请求后，返回数据同步响应消息；

步骤502，根据所述数据同步请求从数据库模块中获取增量数据，并根据自身存储的数据和获取的增量数据生成相应的数据文件；

步骤503，归属数据同步服务器将生成的数据文件打包，从所述多个存储模块中选择一个存储模块，将打包后数据文件上传到选择的存储模块；

从所述多个存储模块中选择一个存储模块包括，根据预设的特定算法从多个存储模块中选择任意一个。

步骤504，向CDN节点发送同步数据通知消息，通知CDN节点从所述选择的存储模块获取数据文件。

另外，为了保证每次数据同步请求时的增量数据的数据量最小化，在系统启动是所述数据同步服务器还根据预设的时间间隔定时从数据库模块获取增量数据并存入内存。

步骤505，如果数据同步服务器接收到CDN节点返回的从存储模块获取同步数据文件或者解析数据同步文件失败的失败结果码，则根据所述失败结果码选择其它可用存储模决或通过业务数据库查询全量数据请求获取全量数。

如图6所示，在具体的应用环境中，应用实施例二提供的方法实现数据同步时，具体的实现方式可以是：

步骤601，CDN节点向所属的归属数据同步服务器发送数据同步请求。

其中，如果发送请求失败，则从其它数据同步服务器中选取一个可用的数据同步服务器再次发送数据同步请求。如果找不到可用数据同步服务器，则发出告警。

步骤602，归属数据同步服务器收到CDN节点的数据同步请求后，发送请求回应。

步骤603，归属数据同步服务器通过业务数据库查询增量数据。

步骤604，业务数据库返回增量数据。

步骤605，数据同步服务器利用内存中存储的数据和获取的增量数据生成数据同步文件，并上传到存储模块。

由于数据同步服务器保存有大部分的同步数据，所以每次同步只需要数据同步服务器从数据库获取少量增量数据，减少数据库的访问压力。

上传到存储模块之前，还通过预定的算法从多个存储模块中选择一个存储模块，将打包后的数据文件上传到选择的存储模块；

其中，如果上传失败，则数据同步服务器再选择其它可用的存储模块，并上传数据同步文件。本发明实施例提供的多个存储模块可以有效避免单个存储模块损坏而导致数据同步失败的问题，提高了系统的可靠性。

步骤606，数据同步服务器向CDN代理服务器发送获取数据通知消息。

该通知消息用于通知所述CDN节点到选择的存储模块获取数据文件。其中，请求中包括存储模块的编号，存储模块访问所需要的信息，数据同步文件路径等等。

步骤607，CDN节点收到数据同步服务器的获取数据通知消息后，发送请求回应。

步骤608，CDN节点从对应的存储模块获取同步数据文件，并解析，如果下载同步数据文件或解析失败则转入步骤609；反之，则转入步骤610。

步骤609，CDN节点向数据同步服务器返回成功，流程结束。

步骤610，如果数据同步服务器接收到CDN节点返回的从存储模块获取同步数据文件或者解析数据同步文件失败的失败结果码，则根据所述失败结果码选择其它可用存储模块或通过业务数据库查询全量数据请求获取全量数据。

其中，如果失败结果码为从存储模块获取同步数据文件失败，数据同步服务器选择其它可用存储模块，并转到606步骤。

如果失败结果码为解析数据同步文件失败，则数据同步服务器通过业务数据库查询全量数据请求。业务数据库返回全量数据，并转到605步骤。

本发明实施例提供的方法和装置利用数据同步服务器和存储模块为相关服务器提供数据同步服务，其中，数据同步服务器从数据库模块获取全量或者增量数据，存储模块作为数据同步的中转站用来临时存储同步数据。

上述实施例可以应用在但不限于IPTV商用系统中，还可以应用到其他多种实施例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在发明的保护范围之内。

本发明所述的方法并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其它的实施方式，同样属于本发明的技术创新范围。

显然，本领域的技术人员可以对本发明进行备种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种内容分发CDN子系统，包括CDN管理模块、存储模块和数据库模块，其特征在于，还包括： 

CDN节点，用于发起数据同步请求，并根据接收到的同步数据通知消息，从存储模块获取同步数据文件； 

数据同步服务器，用于接收所述CDN节点发送的数据同步请求，根据所述数据同步请求从数据库模块获取增量数据并存入内存，根据自身存储的数据和获取的增量数据生成数据文件发送至存储模块，以及向所述CDN节点发送同步数据通知消息； 

其中，所述数据同步服务器包括多个，当所述CDN节点发送数据同步请求失败时，从未请求同步的其它数据同步服务器中选取一个可用的数据同步服务器再次发送数据同步请求，如果没有可用的数据同步服务器，则发出告警。 

2.如权利要求1所述的CDN子系统，其特征在于，还包括多个存储模块；则 

所述数据同步服务器还用于在向所述CDN节点发送同步数据通知消息之前，将生成的数据文件打包，并从所述多个存储模块中选择任意一个存储模块，将打包后的数据文件发送到选择的存储模块。 

3.如权利要求2所述的CDN子系统，其特征在于，所述数据同步服务器包括数据同步单元和存储管理单元，其中： 

所述数据同步单元，用于接收CDN节点发送的数据同步请求，从数据库模块获取全量或者增量数据并存入内存，向CDN节点发送数据同步响应消息，根据内存数据生成需要的数据文件，并将生成的数据文件打包； 

存储管理单元，用于在数据同步时，从所述多个存储模块中选择任意一个存储模块，将打包后的数据文件发送到选择的存储模块。 

4.如权利要求3所述的CDN子系统，其特征在于，所述数据同步单元还用于根据预设的时间间隔定时从数据库模块获取增量数据存入内存。 

5.基于权利要求1所述CDN子系统的数据同步方法，其特征在于，包括： 

数据同步服务器接收CDN节点发起的数据同步请求后，返回数据同步响应消息； 

根据所述数据同步请求从数据库模块中获取增量数据，并根据自身存储的数据和获取的增量数据生成相应的数据文件并发送至存储模块； 

向所述CDN节点发送同步数据通知消息，通知CDN节点从所述存储模块获取所述数据文件。 

6.基于权利要求2所述的CDN子系统的数据同步方法，其特征在于，包括： 

CDN节点对应的归属数据同步服务器接收到CDN节点发起的数据同步请求后，返回数据同步响应消息； 

根据所述数据同步请求从数据库模块中获取增量数据，并根据自身存储的数据和获取的增量数据生成相应的数据文件； 

数据同步服务器将生成的数据文件打包，从所述多个存储模块中选择任意一个存储模块，并将打包后数据文件上传到选择的存储模块； 

向CDN节点发送同步数据通知消息，通知CDN节点从所述选择的存储模块获取数据文件。 

7.如权利要求6所述的方法，其特征在于，根据预设的时间间隔定时从数据库模块获取增量数据并存入内存。 

8.如权利要求6所述的方法，其特征在于，从所述多个存储模块中选择一个存储模块包括，根据预设的算法从多个存储模块中选择任意一个。