CN101924846A

CN101924846A - 一种实时计费方法

Info

Publication number: CN101924846A
Application number: CN 201010269592
Authority: CN
Inventors: 杨利军; 郜时红; 姚永壮; 井卫军; 蒋建平
Original assignee: BEIJING CLOUDEX SOFTWARE SERVICE Co Ltd
Current assignee: Beijing Century Broadband Internet Data Center Co., Ltd.
Priority date: 2010-08-31
Filing date: 2010-08-31
Publication date: 2010-12-22

Abstract

本发明提供了一种实时计费方法，所述方法包括：获取各个节点的数据文件；将所述各个节点的数据文件汇总后直接保存至临时数据库；对临时数据库中的数据文件进行多级汇总，以得到满足预置条数的数据记录并保存至查询数据库中；按照时间段信息从所述查询数据中获取相应的数据记录并进行计费。本发明实施例可以解决现有技术中计费和查询效率过低的技术问题，还能进一步的适应用户存在多域名加速的应用场景。

Description

一种实时计费方法

技术领域

本发明涉及数据处理领域，特别是涉及一种实时计费方法。

背景技术

计费是内容分发网络(Content Delivery Network，CDN)服务提供商的业务与运营支撑系统(BOSS)的必备的基础功能之一。在CDN领域一般都采用日志计费的方式，即把加速服务器的访问日志收集起来，然后按造预定方式汇总每条日志访问所产生的流量，再经过预置的一系列计算，生成当前日志所产生的费用。在生成日志费用的时候一般由数据库执行，需要将每一条访问日志的域名、时间和产生的流量等信息汇总，并可以通过程序或者存储过程来汇总。通常的做法可以是每5分钟设置一个采样点，即一个域名在同一个5分钟之内的访问产生的流量算为一个采样点。目前，流量和带宽之间有如下所示的计算公式：平均带宽(bps)＝(总流量(B)*8)/(60(s)*5))。

采用现有技术进行计费的方式示例如下：假设全网加速的有5000个域名，每个域名有100台服务器提供服务，每个频道每5分钟的流量数据合并为1条(在进入数据库之前汇总)，那么按照服务器的维度入库时，一天的数据量有：5000*100*288＝144,000,000(条记录)。即使不按服务器的维度，按照节点数(中型的CDN提供商大概拥有几十个节点)统计的数据量也不会降下来，仍然在1亿条以上。这个数据量还是汇总之后的数据量，那么临时入库前的冗余数据量(即一个时间点多条数据)更是庞大，如果在数据库中保留3个月的数据，数据量可能会达到百亿条。

从上述过程中可以看出，采用传统的方法将信息汇总入库并计算日志费用时，都集中于数据库进行计算，由于计费的日志信息量非常大，就对数据库造成非常大的压力，降低了数据库的计算速度和性能。在实际应用中，计费周期通常是按月进行的，因此，由于计算完之后的数据量依然很大，查询一个月的计费信息也是非常的慢，就导致了查询效率也很低。进一步的，由于CDN行业激烈的竞争，单一的计费方法早已不能适应业务的发展，由于多数用户都是存在多域名加速的情况，因此如何合理地对多域名计费是需要考虑的一个问题。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能够提出一种实时计费方法，主要用以解决现有技术中计费和查询效率过低的技术问题，还能进一步的适应用户存在多域名加速的应用场景。

发明内容

本发明所要解决的技术问题是提供一种实时计费方法，主要用以解决现有技术中计费和查询效率过低的技术问题，还能进一步的适应用户存在多域名加速的应用场景。

为解决上述技术问题，本发明实施例提供了一种实时计费方法，包括：

获取各个节点的数据文件；

将所述各个节点的数据文件汇总后直接保存至临时数据库；

对临时数据库中的数据文件进行多级汇总，以得到满足预置条数的数据记录并保存至查询数据库中；

按照时间段信息从所述查询数据中获取相应的数据记录并进行计费。

优选的，所述获取各个节点的数据文件，具体包括：

在每个节点上对本节点的计费日志进行分析；

删除所述计费日志中的冗余数据，以生成各个节点的数据文件。

优选的，所述对临时数据库中的数据文件进行多级汇总，具体包括：

将所述数据文件转换为每域名周期性的生成一条数据；

针对各个域名合并所述生成的多条数据；

将所述多条数据按照频道和时间信息进行汇总，以减少数据库中的数据量。

优选的，所述按照时间段信息从所述查询数据中获取相应的数据记录并进行计费，具体包括：

依据时间段信息获取业务类型相同的域名的带宽数据；

针对所述获取到的带宽数据采用预置的计费算法进行计费。

优选的，还包括：

生成满足用户需求的计费账单。

与现有技术相比，本发明具有以下优点：

在本实施例中，首先获取到的是各个节点的数据文件，同时数据库可以分为临时数据库和查询数据库两个，然后依据需要计费的时间段信息从查询数据库中查询得到目标数据并进行计费。本发明实施例采用单域名数据采集，以及多域名数据汇总的方式，并且，数据库也采用多级汇总的方式，并且可以设计出专门的带宽数据查询接口，以降低展示以及计费之间的耦合性，提高了计费效率。进一步的，还可以适应多用户多域名加速的应用场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种实时计费方法实施例1的流程图；

图2是本发明的一种实时计费方法实施例2的流程图；

图3是本发明的一种实时计费系统实施例1的结构示意图；

图4是本发明的一种实时计费系统实施例2的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

参考图1，示出了本发明的一种实时计费方法实施例1的流程图，可以包括以下步骤：

步骤101：获取各个节点的数据文件。

在本实施例中，可以采用分布式的计费信息计算方式，即在每个节点上就将本节点的计费日志先分析一遍，去掉冗余数据就可以生成数据文件，以便于后续传输到中心再保存至数据库，采用这种方式可以减少数据库临时冗余数据量，并可以减轻数据临时数据库计算的开销。

步骤102：将所述各个节点的数据文件汇总后直接保存至临时数据库。

在本发明实施例中，在数据库方面进行了分级，采用了一个临时数据库和一个正式的查询数据库来实现。临时数据库主要是各节点汇总之后的数据直接入库，多节点之间不进行合并，目的是加快入库速度，入库只进行插入(insert)数据操作而不进行更新(update)和删除(delete)的操作。虽然单节点内已经没有冗余数据了，但是多节点之间以及延时之后的数据可能出现冗余，因此临时数据库保存的数据还是有冗余，但在经过本步骤中的节点汇总之后冗余会大大减少。

步骤103：对临时数据库中的数据文件进行多级汇总，以得到满足预置条数的数据记录并保存至查询数据库中。

需要说明的是，在各个而节点的数据文件保存至临时数据库之后，可以采用“多级汇总”的方式，由临时表首先通过存储过程去掉冗余，变成每域名、每5分钟一条数据，第一级汇总采用合并(merge)的方式，因为各节点数据在时间上有先后顺序，因此不可能一次性全部算出最终的数据，必然要进行多次反复的合并操作，在一定时间以后就会变成最终的数据。而二级汇总主要是针对已经不会再变化的数据做的，例如，假设一个星期以后的流量数据将不再变化，那么汇总则会针对一个星期以前的数据进行。汇总之后得到满足预置条数的数据记录可以保存至查询数据库中，供前台用户查询使用。需要说明的是，汇总之后，数据的记录条数会变少很多，这样就提高了用户从查询数据库中获取数据记录的效率。

步骤104：按照时间段信息从所述查询数据中获取相应的数据记录并进行计费。

按照用户设置的时间段信息，例如一个月，从查询数据库中获取到相应的数据记录，查询到一组业务相同域名的带宽数据之后，按一个月30天来算，一共有288*30＝8640个取样点，则可以依据这么多取样点的数据记录，可以采用各种计费方式进行计费。例如，95带宽计费法、第N峰值计费法、忙时N小时计费法等等。

在不同的实施例中，在步骤104之后，本发明还可以包括：

步骤105：生成满足用户需求的计费账单。

将计费数据再根据用户需求生成计费账单，可以供用户更方便的查看。可以看出，在本实施例中，采用单域名数据采集，以及多域名数据汇总的方式，并且，数据库也采用多级汇总的方式，并且可以设计出专门的带宽数据查询接口，以降低展示以及计费之间的耦合性，提高了计费效率。进一步的，还可以适应多用户多域名加速的应用场景。

参考图2，示出了本发明的一种实时计费方法实施例2的流程图，本实施例可以包括以下步骤：

步骤201：在每个节点上对本节点的计费日志进行分析。

本步骤即是在每个节点都首先分析该节点的计费日志，以得到初步的已经分析过的计费日志。

步骤202：删除所述计费日志中的冗余数据，以生成各个节点的数据文件。

同时删除计费日志中的冗余数据，针对每个节点都得到已经去掉冗余的数据文件。

步骤203：将所述各个节点的数据文件汇总后直接保存至临时数据库。

得到各个节点的数据文件之后，可以进行汇总并保存至临时数据库中。

步骤204：将所述数据文件转换为每域名周期性的生成一条数据。

在本步骤，需要按照域名将各个节点的数据文件进行合并，比如每五分钟生成一条数据。

步骤205：针对各个域名合并所述生成的多条数据。

将生成的多条数据按照域名进行合并，即是各个域名的数据记录都合并到一起。

步骤206：将所述多条数据按照频道和时间信息进行汇总，以减少数据库中的数据量。

本步骤可以认为是二级汇总的过程，主要是采用了行转列的“增维减量”的方法，即原来每个频道的带宽数据是5分钟一条，所以一天288条，那么现在增加表的列数，以便把288条记录的流量带宽数据汇总到一条记录上。

步骤207：将汇总后的满足预置条数的数据记录保存至查询数据库中。

在进行步骤205的汇总后，数据记录的条数将大大减少，例如，原来3个月的数据可能是百亿条，那么现在汇总之后数据量将减少为几千万条，满足在汇总时的预置条数。本实施例的这种方式虽然增加了汇总的时间复杂度，但是数据库的总体数据表量会大大降低。加上适当的分区和索引的建立，可以使得后续查询数据记录将便得非常快，那么相应的计费效率也就很高。

计算得到用于计费的带宽数据库之后，可以存储在查询数据库中，后续该查询数据库中的数据可以作为计费出账单的依据。同时还可以设计数据查询接口，那么在Web上展示和计费账单都可以通过调用此接口获得数据。

步骤208：依据时间段信息获取业务类型相同的域名的带宽数据。

虽然计算得到了单域名的实时带宽数据，但是实际应用中一个用户往往是将一组域名进行加速，因此可以合并计费。可以对每一个域名给出一个业务类型，只要符合相同业务类型的域名，就可以进行合并计费，因为相同的业务意味着成本是一致的。例如，在按月计费的时候，通过实时带宽数据查询接口，可以将一组业务相同域名的带宽数据查出来，一个月按30天算的话，一共有288*30＝8640个取样点的数据。

步骤209：针对所述获取到的带宽数据采用预置的计费算法进行计费。

那么针对所获取到的带宽数据，就可以采用预置的计费算法进行计费。例如：抛点计费法，即从大到小排列带宽值，抛去若干点之后的最大带宽值作为上月带宽。95带宽计费法，即从大到小排列带宽值，去掉5％的带宽值之后作为上月带宽，相当于抛点计费抛去(8640*5％)个点的计费方法。95带宽计费法是最常见的一种计费方法。第N峰值计费法，每天找出一个最大峰值，一个月30个，那么从大到小用第N个峰值作为上月带宽，常见第4峰值计费。忙时N小时计费法，即计算一组连续N个小时中出现的最小的峰值，那么该月中最大的这个值作为该月的带宽值。

在实际应用中还可以将各种计费的方法都实现成不同的计费模块，调用实时带宽查询接口查出一个月的计费带宽数据之后，就可以调用不同的计费模块计算出“计费带宽”来。同时在后台可以同时用各种不同的方法算出一组“计费带宽”值来，多个结果同时出来之后就便于比较不同的算法之间的差异，以便于后续进行成本分析以及营销决策分析等等。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

参考图3，示出了本发明的一种实时计费系统实施例1的结构框图，可以包括以下模块：

获取数据文件模块301，用于获取各个节点的数据文件。

生成临时数据模块302，用于将所述各个节点的数据文件汇总后直接保存至临时数据库。

多级汇总模块303，用于对临时数据库中的数据文件进行多级汇总，以得到满足预置条数的数据记录并保存至查询数据库中。

查询计费模块304，用于按照时间段信息从所述查询数据中获取相应的数据记录并进行计费。

生成计费账单模块305，用于生成满足用户需求的计费账单。

在本实施例中，在数据库方面进行了分级，采用了一个临时数据库和一个正式的查询数据库来实现。临时数据库主要是各节点汇总之后的数据直接入库，多节点之间不进行合并，目的是加快入库速度。同时本实施例中采用单域名数据采集，以及多域名数据汇总的方式，并且，数据库也采用多级汇总的方式，并且可以设计出专门的带宽数据查询接口，以降低展示以及计费之间的耦合性，提高了计费效率。进一步的，还可以适应多用户多域名加速的应用场景。

参考图4，示出了本发明的一种实时计费系统实施例2的结构框图，可以包括以下模块：

分析日志子模块401，用于在每个节点上对本节点的计费日志进行分析。

生成数据文件子模块402，用于删除所述计费日志中的冗余数据，以生成各个节点的数据文件。

生成数据子模块403，用于将所述数据文件转换为每域名周期性的生成一条数据。

合并子模块404，用于针对各个域名合并所述生成的多条数据。

汇总子模块405，用于将所述多条数据按照频道和时间信息进行汇总，以减少数据库中的数据量。

获取带宽数据子模块406，用于依据时间段信息获取业务类型相同的域名的带宽数据。

计费子模块407，用于针对所述获取到的带宽数据采用预置的计费算法进行计费。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种实时计费方法及实时计费系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种实时计费方法，其特征在于，包括：

获取各个节点的数据文件；

将所述各个节点的数据文件汇总后直接保存至临时数据库；

2.如权利要求1所述的方法，其特征在于，所述获取各个节点的数据文件，具体包括：

在每个节点上对本节点的计费日志进行分析；

3.如权利要求1所述的方法，其特征在于，所述对临时数据库中的数据文件进行多级汇总，具体包括：

将所述数据文件转换为每域名周期性的生成一条数据；

针对各个域名合并所述生成的多条数据；

4.如权利要求1所述的方法，其特征在于，所述按照时间段信息从所述查询数据中获取相应的数据记录并进行计费，具体包括：

依据时间段信息获取业务类型相同的域名的带宽数据；

针对所述获取到的带宽数据采用预置的计费算法进行计费。

5.如权利要求1所述的方法，其特征在于，还包括：

生成满足用户需求的计费账单。