CN108804585A - 一种cdn系统中的数据处理方法和装置 - Google Patents

Abstract

本发明实施例提供一种CDN系统中的数据处理方法和装置，装置包括数据采集模块、数据处理模块和数据存储模块。方法包括：数据采集模块对CDN系统节点上的数据进行采集，生成数据采集文件，并将生成的数据采集文件发送给数据处理模，数据采集文件中每一行为同一个类别的数据；数据处理模块对数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块；数据存储模块将处理结果数据进行存储。本发明的方法和装置通过将采集数据生成不同类型的数据采集文件，加快了对数据采集文件进行解析、计算处理的速度，进而提高了CDN系统中的数据处理效率。

Description

一种CDN系统中的数据处理方法和装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种CDN系统中的数据处理方法。

背景技术

CDN(Content Delivery Network，内容分发网络)系统内部，各个子系统之间随时进行交互，有时需要使用文件的形式来传递数据，尤其是一些重要的信息，通常以文件形式存在，这样接收者就需要读取文件并进行解析。随着CDN系统节点越来越多，产生的文件数量也越来越多，与此同时，客户对时延的要求却越来越严格，客户希望用最短的时间输出他们想要的结果，这样就对文件的处理提出了挑战。

现有技术的CDN系统中的数据处理方法通常包括：首先对大量机器上的数据进行采集，并生成对应的数据采集文件，然后将数据采集文件发送给数据处理中心，数据处理中心对发送过来的数据采集文件进行解析、计算处理，计算完毕后输出最终处理结果。

现有技术的CDN系统中的数据处理方法在生成数据采集文件时，通常是根据域名将不同类别的数据写到一起，比如：

a.com 10 200

b.com 20 300

本例中，每一行都有3列，每一列代表不同的数据类别，分别是域名、请求数和流量。这样的文件内容发送到数据计算中心后，数据计算中心需要打开文件，并一行一行的读取，读取一行后，要对该行进行解析，提取各个字段，并将各个字段的数据与其所属的类别对应起来。例如，对于本例来说，读取了a.com 10 200这一行后，就需要将a.com和域名对应起来，将10和请求数对应起来，将100和流量对应起来，然后需要继续读取下一行的数据。

由于每一行都有不同类别的数据，所以每次读取一行数据后，要分别对应很多的类别，当类别较多时，每一行的处理时间就会变大，同时在做一些统计操作时，常见的是将某一类别的数据进行累加，由于同一类别的数据分散在不同的行中，所以在统计的时候需要读取整个文件，并需要解析文件中所有行的数据，只有这样才能最终完成数据的累加操作。因此，现有技术的CDN系统中的数据处理方法存在实时性差、处理效率低的问题。

发明内容

本发明的实施例提供一种CDN系统中的数据处理方法和装置，用以提高数据处理效率。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供一种CDN系统中的数据处理方法，应用于CDN系统中的数据处理装置，所述数据处理装置包括数据采集模块、数据处理模块和数据存储模块；

所述方法包括：

数据采集模块对CDN系统节点上的数据进行采集，生成数据采集文件，并将所述数据采集文件发送给数据处理模块；所述数据采集文件中每一行为同一个类别的数据；

数据处理模块对所述数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块；

数据存储模块将所述处理结果数据进行存储。

在第一方面的第一种可能的实现方式中，所述数据采集文件中的数据为CDN系统内部使用的数据，，所述CDN系统内部使用的数据包括状态数据和重传比。

在第一方面的第二种可能的实现方式中，所述方法还包括：所述数据采集文件中每一行为同一个类别的数据，每一列为对应同一数据的不同类别的数据。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述数据处理模块对所述数据采集文件进行解析、计算处理，包括：

根据所述数据采集文件中各个类别的数据在所述数据采集文件中的位置分布，对所述数据采集文件进行部分解析，然后进行计算处理。

结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式，在第四种可能的实现方式中，数据存储模块将所述处理结果数据按照所述数据采集文件形式进行存储。

第二方面，本发明实施例提供一种CDN系统中的数据处理装置，包括：

数据采集模块，用于对CDN系统节点上的数据进行采集，生成数据采集文件，并将所述数据采集文件发送给数据处理模块；所述数据采集文件中每一行为同一个类别的数据；

数据处理模块，用于对所述数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块；

数据存储模块，用于将所述处理结果数据进行存储。

在第二方面的第一种可能的实现方式中，所述数据采集文件中的数据为CDN系统内部使用的数据，所述CDN系统内部使用的状态数据和重传比生成第一类文件并发送给数据处理模块。

在第二方面的第二种可能的实现方式中，所述数据采集模块生成的数据采集文件中每一行为同一个类别的数据，每一列为同一数据的不同类别的数据。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述数据处理模块用于对所述数据采集文件进行解析、计算处理，具体包括：

根据所述数据采集文件中各个类别的数据在所述数据采集文件中的位置分布，对所述数据采集文件进行部分解析，然后进行计算处理。

结合第二方面或第而方面的第一种可能的实现方式或第而方面的第二种可能的实现方式或第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述数据存储模块，用于将所述处理结果数据按照所述数据采集文件形式进行存储。

本发明实施例提供的技术方案，一方面，数据采集模块对CDN系统节点上的数据进行采集并生成数据采集文件，数据采集文件中每一行为同一个类别的数据；在数据采集时，按照数据采集文件输出，数据采集文件每一行都是同一个类别，在数据计算阶段，因为每一行都是同一个类别的数据，可以快速的、一次性的将这一行的所有内容和类别对应上，在做计算时，由于每一行的类别是一样的，对于常见的累加操作来说，就是对某一行的数据进行累加，这样相比较现有技术，大大的提高类别对应的速度以及统计计算的速度。

另一发面，数据存储模块将所述处理结果数据按照数据采集文件形式进行存储，在数据计算完成后，将数据同样存储到文件中，此时由于通过了计算，数据量已经变得很小，再将数据按照不同类别都写到同一行中，这样某一行就包含了某个数据的所有属性信息，这样便于信息的阅读和查找。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被至少一个处理器执行时，可以实现上述第一方面或第一方面可能的实施方式以及有益效果。

第四方面，提供了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非易失性计算机可读存储介质，该计算机程序被执行时使计算机实现上述第一方面的方法的步骤，该计算机程序产品解决问题的实施方式以及有益效果可以参见上述第一方面或第一方面可能的实施方式以及有益效果，重复之处不再赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明CDN系统中的数据处理方法实施例一的流程图；

图2为本发明CDN系统中的数据处理方法实施例三的流程图；

图3为本发明CDN系统中的数据处理装置实施例一的结构示意图；

图4为本发明另一个实施例提供的CDN系统中的数据处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明CDN系统中的数据处理方法实施例一的流程图，如图1所示，本实施例的方法可以包括以下内容。

S101、数据采集模块对CDN系统节点上的数据进行搜集，生成数据采集文件，并将数据采集文件发送给数据处理模块；数据采集文件中每一行为同一个类别的数据。

具体的，数据采集模块对CDN系统节点上的数据进行采集，生成数据采集文件，数据采集文件中每一行为同一个类别的数据，在数据采集时，将采集到的数据，按照类别来输出，使得每一行都是同一个类别。对于CDN系统内部使用的数据如状态数据、重传比等等可以优先采用将同一个类别数据放置在同一行。

S102、数据处理模块对数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块。

具体的，数据处理模块对收到的所述数据采集文件进行解析、计算处理，包括对某一类别数据进行累加，反复迭代，统计等计算过程，将处理结果数据发给存储模块进行存储。

S103、数据存储模块将处理结果数据进行存储。

具体的，数据存储模块将处理结果数据进行存储，存储形式不做限定。

以下通过实例1来说明CDN系统中的数据处理方法实施例一，以便能有效的对本发明和现有技术进行对比。

实例1：

采集输出的文件：

a.com b.com

10 20

200 300

第一行的含义是域名，第二行是请求数，第三行是流量，可以对于本发明来说，每一行的含义是完全一样的。

当进行一个常见的统计分析时(比如，统计所有域名的请求数)，那么对于本发明来说，只需要读取到第二行，然后对第二行的所有数据进行累加(即10+20＝30)就可以了，(现有技术，需要读取两行数据，读取第一行时要提取10，读取第二行时要提取20，然后进行累加)，同理也可以对流量数据进行累加，显然本发明的方法比现有方法要高效很多。

计算的最终结果，保存到文件中，比如：

all_request 30

all_flow 500

因为计算后的数据量不大，用这种方式存储数据方便直观，可以打开文件就能看到，也方便根据all_request来查找30。

本实施例中，数据采集模块对CDN系统节点上的数据进行采集并生成数据采集文件，数据采集文件中每一行为同一个类别的数据；在数据采集时，按照数据采集文件输出，数据采集文件每一行都是同一个类别，在数据计算阶段，因为每一行都是同一个类别的数据，可以快速的、一次性的将这一行的所有内容和类别对应上，在做计算时，由于每一行的类别是一样的，对于常见的累加操作来说，就是对某一行的数据进行累加，这样相比较现有技术，大大的提高类别对应的速度以及统计计算的速度。

本发明CDN系统中的数据处理方法实施例二是在图1所示本发明实施例一的基础上，在S101中生成的所述数据采集文件中每一行为同一个类别的数据，每一列为对应同一数据的不同类别的数据。

具体的，数据采集模块对CDN系统节点上的数据进行采集，生成数据采集文件，数据采集文件中每一行为同一个类别的数据，每一列为对应同一数据的不同类别的数据，如若干个包括域名，城市，请求数，流量四个类别的数据，采用数据采集文件形式时，第一行为若干个数据的域名、第二行为若干个数据的城市、第三行为若干个数据的请求数、第四行为若干个数据的流量，对应的若干行的每一列放一个数不同类别的数据，各行的第一列分别为第一个数据的域名、城市、请求数、流量，第二列为第二个数据的域名、城市、请求数、流量，第三列为第三个数据的域名、城市、请求数、流量，第四列为第四个数据的域名、城市、请求数、流量。

本实施例中，由于数据采集文件中每一行为同一个类别的数据，每一列为对应同一数据的不同类别的数据，要查找某个数据所有类别数据是，只要找到第一行中该数据所在的列，就可以在其他行相同列快速找到该数据其他类别数据，提高查找效率。

图2为本发明CDN系统中的数据处理方法实施例三的流程图，如图2所示，在图1所示本发明实施例一的基础上，在S203数据存储模块将所述处理结果数据按照数据采集文件形式进行存储。

具体的，数据存储模块将处理结果数据按照数据采集文件形式进行存储，文件中每一行为同一个类别的数据。

实例2：

假设现有技术下数据是如下情况

a.com beijing 10 100

b.com xiamen 20 200

c.com beijing 30 300

每一列分别代表域名，城市，请求数，流量

通过本发明提出的方法，采集端按照如下方式输出文件

a.com b.com c.com

beijing xiamen beijing

10 20 30

100 200 300

需要计算北京的请求数。

此时数据计算中心，一行行读取数据，由于每一行的类别是完全一样的，只需要对应一次，不需要对应多次。当解析到第二行时，可以方便的纪录下第一列和第三列是北京，

然后当读到第三行时，只要将第一列和第三列即10和30进行累加就可以了，同理也可以计算出xiamen的数据

计算后的结果输出到文件中，如下所示

beijing 40

xiamen 20

这样的存储方式，可以方便的根据beijing来查找对应的请求数40。

本实施例中，数据存储模块将所述处理结果数据按照数据采集文件形式进行存储，在数据计算完成后，将数据同样存储到文件中，此时由于通过了计算，数据量已经变得很小，再将数据按照不同类别都写到同一行中，这样某一行就包含了某个数据的所有属性信息，这样便于信息的阅读和查找。

本发明CDN系统中的数据处理方法实施例四是在图1所示本发明实施例一的基础上，在S103中数据存储模块对所述数据采集文件进行解析、计算处理时，根据所述数据采集文件中各个类别的数据在所述数据采集文件中的位置分布，对所述数据采集文件进行部分解析，然后进行计算处理。

本实施例中，因为数据采集文件每一行为同一个类别的数据，通过查找某一行中要寻找数据的位置，然后对文件中所在数据的一列进行解析就可得到该数据，只要对数据进行部分读取，解析既可以完成，提高了提高数据处理效率。

图3为本发明CDN系统中的数据处理装置实施例一的结构示意图，如图3所示，本实施例的CDN系统中的数据处理装置包括：数据采集模块301，用于对CDN系统节点上的数据进行采集，生成数据采集文件，并将所述数据采集文件发送给数据处理模块；数据采集文件中每一行为同一个类别的数据；数据处理模块302，用于对所述数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块；数据存储模块303，用于将所述处理结果数据进行存储。

在具体应用是，数据采集模块用于将CDN系统内部使用的数据如状态数据和重传比生成数据采集文件并发送给数据处理模块。

本实施例的CDN系统中的数据处理装置可以用于执行图1所示方法实施例的方法，其实现原理和所要达到的技术效果类似，在此不再赘述。

在本发明CDN系统中的数据处理装置实施例一基础上，数据采集模块401生成的数据采集文件中每一行为同一个类别的数据，每一列为同一数据的不同类别的数据。

本实施例的CDN系统中的数据处理装置可以用于执行方法实施例二的方法，其实现原理和所要达到的技术效果类似，在此不再赘述。

在本发明CDN系统中的数据处理装置实施例一基础上，数据存储模块403用于将所述处理结果数据按照数据采集文件形式进行存储。

本实施例的CDN系统中的数据处理装置可以用于执行图2所示方法实施例三的方法，其实现原理和所要达到的技术效果类似，在此不再赘述。

图4为本发明另一个实施例提供的CDN系统中的数据处理装置的结构示意图，如图4所示，该装置包括至少一个处理器401(例如CPU)，存储器403，和至少一个通信总线404，用于实现装置之间的连接通信。处理器401用于执行存储器403中存储的可执行模块，例如计算机程序。存储器403可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

在一些实施方式中，存储器403存储了程序405，程序405可以被处理器401执行，这个程序包括执行一种CDN系统中的数据处理方法，该方法应用于CDN系统中的数据处理装置，数据处理装置包括数据采集模块、数据处理模块和数据存储模块，该方法包括：

数据采集模块对CDN系统节点上的数据进行采集，生成数据采集文件，并将所述数据采集文件发送给数据处理模块；所述数据采集文件中每一行为同一个类别的数据；

数据处理模块对所述数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块；

数据存储模块将所述处理结果数据进行存储。

上述执行CDN系统中的数据处理方法的程序，优选地，所述数据采集文件中的数据为CDN系统内部使用的数据，所述CDN系统内部使用的数据包括状态数据和重传比。

上述执行CDN系统中的数据处理方法的程序，优选地，所述方法还包括：所述数据采集文件中每一行为同一个类别的数据，每一列为对应同一数据的不同类别的数据。

上述执行CDN系统中的数据处理方法的程序，优选地，所述数据处理模块对所述数据采集文件进行解析、计算处理，包括：

根据所述数据采集文件中各个类别的数据在所述数据采集文件中的位置分布，对所述数据采集文件进行部分解析，然后进行计算处理。

上述执行CDN系统中的数据处理方法的程序，优选地，数据存储模块将所述处理结果数据按照所述数据采集文件形式进行存储。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种CDN系统中的数据处理方法，其特征在于，应用于CDN系统中的数据处理装置，所述数据处理装置包括数据采集模块、数据处理模块和数据存储模块；

所述方法包括：

数据采集模块对CDN系统节点上的数据进行采集，生成数据采集文件，并将所述数据采集文件发送给数据处理模块；所述数据采集文件中每一行为同一个类别的数据；数据处理模块对所述数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块；

数据存储模块将所述处理结果数据进行存储。

2.如权利要求1所述的方法，其特征在于，所述数据采集文件中的数据为CDN系统内部使用的数据，所述CDN系统内部使用的数据包括状态数据和重传比。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：所述数据采集文件中每一行为同一个类别的数据，每一列为对应同一数据的不同类别的数据。

4.如权利要求3所述的方法，其特征在于，所述数据处理模块对所述数据采集文件进行解析、计算处理，包括：

根据所述数据采集文件中各个类别的数据在所述数据采集文件中的位置分布，对所述数据采集文件进行部分解析，然后进行计算处理。

5.如权利要求1-4任一项所述的方法，其特征在于，数据存储模块将所述处理结果数据按照所述数据采集文件形式进行存储。

6.一种CDN系统中的数据处理装置，其特征在于，包括：

数据采集模块，用于对CDN系统节点上的数据进行采集，生成数据采集文件，并将所述数据采集文件发送给数据处理模块；所述数据采集文件中每一行为同一个类别的数据；

数据处理模块，用于对所述数据采集文件进行解析、计算处理，并将处理结果数据发送给数据存储模块；

数据存储模块，用于将所述处理结果数据进行存储。

7.如权利要求6所述的装置，其特征在于，所述数据采集文件中的数据为CDN系统内部使用的数据，所述CDN系统内部使用的数据包括状态数据和重传比。

8.如权利要求6所述的装置，其特征在于，所述数据采集模块生成的数据采集文件中每一行为同一个类别的数据，每一列为同一数据的不同类别的数据。

9.如权利要求8所述的装置，其特征在于，所述数据处理模块用于对所述数据采集文件进行解析、计算处理，具体包括：

根据所述数据采集文件中各个类别的数据在所述数据采集文件中的位置分布，对所述数据采集文件进行部分解析，然后进行计算处理。

10.如权利要求6-9任一项所述的装置，其特征在于，所述数据存储模块，用于将所述处理结果数据按照所述数据采集文件形式进行存储。

11.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至5中任一项所述的CDN系统中的数据处理方法的步骤。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的非易失性计算机可读存储介质，所述计算机程序被执行时使计算机实现权利要求1至5中任一项所述的CDN系统中的数据处理方法的步骤。