CN103365965A - 一种数据的汇总处理方法和装置 - Google Patents
一种数据的汇总处理方法和装置 Download PDFInfo
- Publication number
- CN103365965A CN103365965A CN2013102501170A CN201310250117A CN103365965A CN 103365965 A CN103365965 A CN 103365965A CN 2013102501170 A CN2013102501170 A CN 2013102501170A CN 201310250117 A CN201310250117 A CN 201310250117A CN 103365965 A CN103365965 A CN 103365965A
- Authority
- CN
- China
- Prior art keywords
- statistics
- data
- counter
- overflow
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明涉及通信技术,提供了一种数据的汇总处理方法和装置,以解决现网中当出现计数器溢出时无法正确的获取本周期的统计数据的情况。所述的方法包括:采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数;当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数;依据所述统计周期的统计数据和溢出次数计算数据总值。本发明可以准确的记录数据总值,从而避免由于计数器溢出导致数据总值不准确,防止后续业务指标计算出错,保证对系统业务的准确衡量。
Description
技术领域
本发明涉及通信技术,特别是涉及一种数据的汇总处理方法和装置。
背景技术
在通信系统中,经常使用计数器来统计通信设备运行的原始数据,再使用这些原始数据计算出衡量通信设备或者网络运行的业务指标,例如无线网络控制器(Radio Network Controller,RNC),就需要计算接通率、掉话率、数据业务流量等业务指标。因此通信系统中需要通过采集、汇总等操作获取数据,再计算业务指标。
参照图1,给出了本发明背景技术提供的通信系统数据汇总处理图。
其中,通信系统中配置有采集单元、汇总单元和网管。其中,采集单元有多个,分别设置在设备的全局控制板上和其他单板上,用于实时地采集全局控制板和其他单板的原始数据,然后定时将采集的原始数据上报给汇总单元。汇总单元设置在全局控制板上,汇总单元对采集的原始数据进行累加处理获取统计数据,然后在统计周期到达后将本周期的统计数据上报到网管,网管再根据相关公式进行业务指标的计算及报表汇总。
为了方便统计,汇总单元中的计数器从设备加电并正常运行后,就会持续进行原始数据的累加,在到达一个统计周期后,将本周期末的结果减去上个周期末的数据就得到本周期的统计数据。
由于设备持续运行的时间较长,因此持续进行累加操作的计数器可能会出现溢出的情况,即计数器累加的统计数据超出计数器的最大值,从而计数器会从0开始重新累加,直到下次溢出。
若计数器出现溢出的情况,就可能无法正确的获取本周期的统计数据,导致后续网管计算的业务指标出错,进而对整个系统的业务准确性的衡量产生影响。
发明内容
本发明提供了一种数据的汇总处理方法和装置,以解决现网中当出现计数器溢出时无法正确的获取本周期的统计数据的情况。
为了解决上述问题,本发明公开了一种数据的汇总处理方法,包括:
采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数;
当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数;
依据所述统计周期的统计数据和溢出次数计算数据总值。
可选的,在计算数据总值之前,还包括:对所述统计周期的统计数据进行选定单位的单位转换,得到选定单位对应的统计数据;计算所述选定单位下所述溢出次数对应的溢出数据。
可选的,所述计算所述选定单位下所述溢出次数对应的溢出数据,包括:对所述计数器记录的最大值进行选定单位转换;将所述选定单位转换后的最大值与所述溢出次数相乘,计算得到对应的溢出数据。
可选的,所述依据所述统计周期的统计数据和溢出次数计算数据总值,包括:将所述选定单位对应的统计数据与所述溢出数据相加,计算得到所述选定单位下的数据总值。
可选的,所述采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数,包括:采用计数器对上报的原始数据进行累加,并实时记录所述计数器内的累加数据;当所述计数器内当前记录的累加数据小于上一次记录的累加数据时,所述计数器溢出,将当前记录的溢出次数加一。
可选的,还包括:在所述统计周期的开始时刻时,将计数器内的统计数据记录为第一统计数据;将记录的溢出次数作为第一溢出次数;在所述统计周期的结束时刻时,将所述计数器内的统计数据作为第二统计数据,将记录的溢出次数作为第二溢出次数。
可选的,所述确定所述统计周期的统计数据和溢出次数,包括:将所述 第二统计数据减去所述第一统计数据,获取统计数据差值作为所述统计周期内产生的统计数据;将所述第二溢出次数减去所述第一溢出次数,获取溢出次数差值作为所述统计周期内产生的溢出次数。
相应的,本发明实施例还公开了一种数据的汇总处理装置,包括:
统计并记录模块,用于采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数;
确定模块,用于当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数;
数据总值计算模块,用于依据所述统计周期的统计数据和溢出次数计算数据总值。
可选的,所述数据总值计算模块,包括:统计数据单位转换子模块,用于对所述统计周期的统计数据进行选定单位的单位转换,得到所述选定单位对应的统计数据;溢出数据计算子模块,用于计算所述选定单位下所述溢出次数对应的溢出数据。
可选的,所述溢出数据计算子模块,包括:单位转换单元,对所述计数器记录的最大值进行选定单位转换;计算单元,用于将所述选定单位转换后的最大值与所述溢出次数相乘,计算得到对应的溢出数据。
可选的,所述数据总值计算模块,包括:计算子模块,用于将所述选定单位对应的统计数据与所述溢出数据相加,计算得到所述选定单位下的数据总值。
可选的,所述统计并记录模块,包括:数据统计子模块,用于采用计数器对上报的原始数据进行累加,并实时记录所述计数器内的累加数据;溢出记录子模块,用于当计数器内当前记录的累加数据小于上一次记录的累加数据时,所述计数器溢出,将当前记录的溢出次数加一。
可选的,所述确定模块包括:第一统计数据记录子模块,用于在所述统计周期的开始时刻时,将计数器内的统计数据记录为第一统计数据;第一溢出次数记录子模块,用于将记录的溢出次数作为第一溢出次数;第二统计数 据记录子模块,用于在所述统计周期的结束时刻时,将计数器内的统计数据作为第二统计数据;第二溢出次数记录子模块,用于将记录的溢出次数作为第二溢出次数;
可选的,所述确定模块包括:统计数据确定子模块,用于将所述第二统计数据减去所述第一统计数据,获取统计数据差值作为所述统计周期内产生的统计数据;溢出次数确定子模块,用于将所述第二溢出次数减去所述第一溢出次数,获取溢出次数差值作为所述统计周期内产生的溢出次数。
与现有技术相比,本发明包括以下优点:
首先,本发明实施例能够在计数器对原始数据进行统计的过程中,实时的记录计数器内的统计数据并记录计数器的溢出次数,通过溢出次数的记录可以获知溢出的数据,从而在统计周期的结束时刻,可以依据该统计周期内记录的统计数据和溢出次数计算数据总值,从而可以准确的记录数据总值,从而避免由于计数器溢出导致数据总值不准确,防止后续业务指标计算出错,保证对系统业务的准确衡量。
其次,本发明在汇总单元进行单位转换,得到所述选定单位对应的统计数据,以及选定单位下的溢出数据,从而可以得到选定单位下的数据总值。在汇总单元进行单位转换比较易于实现,并且对设备影响较小,误差较小,并且可以提高统计精度。
附图说明
图1是本发明背景技术提供的通信系统数据汇总处理图;
图2是本发明实施例一提供的数据的汇总处理方法流程图;
图3是本发明实施例二提供的数据的汇总处理方法流程图;
图4是本发明实施例三提供的数据的汇总处理装置结构图;
图5是本发明实施例三提供的数据的汇总处理装置可选结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
针对上述现有技术中当出现计数器溢出时无法正确的获取本周期的统计数据的情况,本发明实施例提供一种数据的汇总处理方法。该方法能够在计数器对原始数据进行统计的过程中,实时的记录计数器内的统计数据并记录计数器的溢出次数,通过溢出次数的记录可以获知溢出的数据,从而在统计周期的结束时刻,可以依据该统计周期内记录的统计数据和溢出次数计算数据总值可以准确的记录数据总值,从而避免由于溢出导致数据总值不准确,防止后续业务指标计算出错,保证对系统业务的准确衡量。
实施例一
参照图2,给出了本发明实施例一提供的数据的汇总处理方法流程图。
步骤201,采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数。
采集单元分别设置在全局控制板和其他单板上,采集单元在采集到原始数据后,可以对原始数据上报到设置在全局控制板的汇总单元中。从而汇总单元可以接收到采集单元上报的原始数据,然后可以采用计数器对原始数据进行统计。
从而通过计数器既可以记录当前各上报的原始数据的总量,即统计数据。由于计数器在统计原始数据的过程中存在溢出的情况,为了能够获知计数器的溢出数据,本发明还在计数器溢出时记录该计数器的溢出次数。
步骤202,当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数。
本发明实施例中,为了使系统能够及时的得到业务指标,因此配置了统计周期,每当达到一个统计周期的结束时刻,就会确定所述统计周期的统计数据和溢出次数。
步骤203,依据所述统计周期的统计数据和溢出次数计算数据总值。
综上,本实施例在计数器对原始数据进行统计的过程中,实时的记录计数器内的统计数据并记录计数器的溢出次数,通过溢出次数的记录可以获知溢出的数据,从而在统计周期的结束时刻,可以依据该统计周期内记录的统计数据和溢出次数计算数据总值,从而准确的记录数据总值,避免由于计数器溢出导致数据总值不准确,防止后续业务指标计算出错,保证对系统业务的准确衡量。
在本发明一个可选实施例中,溢出的记录方法可以为:采用计数器对上报的原始数据进行统计,并实时记录所述计数器内的统计数据;当所述统计数据超出所述计数器统计的最大值时,所述计数器溢出,将当前记录的溢出次数加一。具体实施中的一种方法为:采用计数器对上报的原始数据进行累加,并实时记录所述计数器内的累加数据(即统计数据);当所述计数器内当前记录的累加数据小于上一次记录的累加数据时,所述计数器溢出,将当前记录的溢出次数加一。
本发明实施例中,在获取到采集单元上报的原始数据后,可以采用计数器对该原始数据进行统计,即对采集单元上报的原始数据进行累加,和值即为计数器内的统计数据,从而就可以实时的确定计数器内的统计数据。
实际处理中,每一个计数器都具有一定的统计范围,即每一个计数器都存在其能够统计的最大值,在超出该最大值时计数器就会溢出,从而会从0开始重新计数。例如,若计数器是32位,则其统计的最大值为232,当计数器累加的统计数据超过232后,计数器就会溢出,从而重新开始累加。
因此,实际处理中记录计数器溢出的方法可以有多种,下面给出一种具体的处理方法:
记录计数器内上一次对统计数据的累加值,在本次接收统计数据并在计数器内进行累加后,记录本次的累加值。然后检测本次的累加值是否小于上一次的累加值,若是,即本次的累加值小于上一次的累加值,则说明计数器已经溢出,因此可以将记录的溢出次数加一。若否,即本次的累加值大于或等于上一次的累加值,则说明计数器没有溢出,无需更改溢出次数。
为了对计数器的溢出进行记录,本发明实施例配置了溢出次数,初始时 该溢出次数为0,当检测统计数据超出所述计数器统计的最大值时,则判定所述计数器溢出,可以记录该溢出,即将当前记录的溢出次数加一,如为首次溢出前记录的溢出次数为0,首次溢出后溢出次数变更为1。
从而通过上述方法,可以得到计数器内的统计数据,并记录计数器的溢出次数。
实际处理中,由于计数器是从设备开始正常工作后,就持续进行统计即累加处理,因此任一时刻从计数器中获取的统计数据,加上依据该时刻的溢出次数确定的溢出数据,就是计数器到该时刻为止累加的统计数据的总值,若要从中获取一段时间内的统计数据的总值,就需要获知该段时间内开始时刻和结束时刻计数器的统计数据的溢出次数,通过差值计算该段时间统计数据的总值。
因此本发明一个可选实施例中,上述步骤202当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数,包括:当达到统计周期的结束时刻时,确定在所述统计周期内产生的统计数据和溢出次数。
若要确定一个统计周期内的产生的统计数据和溢出次数,首先要获知该周期开始时刻的统计数据和溢出次数,从而确定所述统计周期内产生的统计数据和溢出次数,具体包括如下子步骤:
子步骤S2021,在所述统计周期的开始时刻时,将计数器内的统计数据记录为第一统计数据;将记录的溢出次数作为第一溢出次数;
子步骤S2022,在达到所述统计周期的结束时刻时,将所述计数器内的统计数据作为第二统计数据,将记录的溢出次数作为第二溢出次数;
子步骤S2023,将所述第二统计数据减去所述第一统计数据,获取统计数据差值作为所述统计周期内产生的统计数据;
子步骤S2024,将所述第二溢出次数减去所述第一溢出次数,获取溢出次数差值作为所述统计周期内产生的溢出次数。
若要获知一个统计周期内产生的统计数据和溢出次数,如统计周期A,就需要首先获取该统计周期A的开始时刻时,计数器内的统计数据即第一统计数据,以及当时记录的溢出次数即第一溢出次数。从而,通过此时所记录 的第一溢出次数可以得到系统从开始运行到统计周期A的开始时刻为止的溢出数据的总值,再加上所述第一统计数据,得到的和值就是系统从开始运行到统计周期A的开始时刻为止所产生的统计数据总值。
然后可以在该统计周期A的结束时刻时,记录计数器内的统计数据即第二统计数据,以及当时记录的溢出次数即第二溢出次数。通过此时所记录的第二溢出次数可以得到系统从开始运行到统计周期A的结束时刻为止的溢出数据的总值,再加上所述第二统计数据,得到的和值就是系统从开始运行到统计周期A的结束时刻为止所产生的统计数据总值。因此:
统计周期A内产生的统计数据(即统计周期A内计数器记录到的统计数据)=第二统计数据-第一统计数据;
统计周期A内产生的溢出次数=第二溢出次数-第一溢出次数。
通过上述方法可以获取到一个统计周期内计数器记录到的统计数据,和该周期内计数器的溢出次数。
在本发明另一可选实施例中,上述步骤203依据所述统计周期的统计数据和溢出次数计算数据总值之前,还包括:对所述统计周期的统计数据进行选定单位的单位转换,得到选定单位对应的统计数据;计算所述选定单位下所述溢出次数对应的溢出数据。
进一步,所述计算所述选定单位下所述溢出次数对应的溢出数据,包括:对所述计数器记录的最大值进行选定单位转换;将所述选定单位转换后的最大值与所述溢出次数相乘,计算得到对应的溢出数据。
从而上述步骤203依据所述统计周期的统计数据和溢出次数计算数据总值,包括:将所述选定单位对应的统计数据与所述溢出数据相加,计算得到所述选定单位下的数据总值。
本发明实施例中,依据步骤202中确定的溢出次数就可以计算溢出数据,由于在计数过程中出现了计数器的溢出现象,说明当计数器溢出时汇总单元获取到的统计数据已经超出计数器所能记录的最大值,若假设计数器所使用的单位为原始单位,则说明汇总单元统计的数据总值已经超出可该原始单位所能表示的最大值,如若继续使用该原始单位,上报的数据总值必然会出现 错误。
现有技术中,一种处理方法是改变所使用的数据类型,如将计数器由32位变更为64位,但是通常32位的系统并不支持64位的数据类型,因此此种方法不适用。
还有一种处理方法是变更采集单元中各采集点的单位,来缩小采集单元的上报值,但是采用此种方法会造成统计精度的巨大损失。这是因为:采集点是分布各个采集单元,而且采集单元的采集周期都是尽可能接近实时采集,一般都至少是秒级单位。而每个采集点在一个采集周期采集到的原始数据比较少,几乎都不能够达到较大单位的整数倍,而在通信系统中,通常都使用整数运算,如此以来就会造成精度损失很大。
例如,采集点的单位为字节(Byte)符号为B,统计的单位为KB,其中,1KB=1024B。总共有三个采集点分别是1、2、3,当某个采集周期到达后,采集点1采集到的原始数据为600B,采集点2的原始数据为400B,采集点3的原始数据为24B,若使用单位KB上报汇总单元的话,1、2、3的上报值全部为0,这样汇总单元汇总结果也为0,而实际上各采集点获取的数据总值应该是600B+400B+24B=1024B=1KB,因此若在变更采集点即采集单元的单位会造成是巨大的误差,严重的影响数据的准确性。
并且,采集单元分布于各个单板上,若更改采集单元的单位就需要升级所有单板,对设备影响较大,成本也较高,不易实现。
因此,本发明实施例为了能够准确的上报一个统计周期内产生的数据总值,采取由汇总单元进行单位转换的方法。如系统原本上传数据总值时单位是字节(Byte)或比特(bit),此后可以将单位转换为KB或MB。其中,1B=8bit,1KB=1024B、1MB=1024KB。
实际处理中,设备中汇总单元只分布在一个主控单板(网元上),而采集单元往往是分布在多个单板,如果修改采集单元的话,势必需要升级采集单元所在的所有单板,而本发明实施例所提供的方法可以在汇总单元实现,因此只需升级汇总单元所在的单板即可,比较节省成本。
并且,本实施例提供的方法还提高了统计的精确度。如果在采集单元侧 直接修改单位,由上述论述可知,此时会导致统计数据的精度损失较大;而通过本实施例在进行统计,统计结果损失的精度可以忽略不计。
从而在本发明另一个可选实施例中,依据步骤203计算数据总值的方法包括如下子步骤:
子步骤S2031,对所述统计周期的统计数据进行选定单位的单位转换,得到所述选定单位对应的统计数据;
子步骤S2032,对所述计数器记录的最大值进行选定单位转换;
子步骤S2033,将所述选定单位转换后的最大值与所述溢出次数相乘,计算得到对应的溢出数据;
子步骤S2034,将所述选定单位对应的统计数据与所述溢出数据相加,计算得到所述选定单位下的数据总值。
选定单位是预先确定的要转换成的单位,如KB或MB,从而在步骤202中获取到统计周期的统计数据(即计数器内记录到的统计数据)后,假设该统计数据的单位为原始单位,则可以将该统计数据由原始单位转换成选定单位,从而得到选定单位对应的统计数据。
然后再计算所述选定单位下所述溢出次数对应的溢出数据,即计数器出现溢出现象是超过了其所能记录的最大值,即在该计数器对应原始单位所能表示的最大值,从而可以确定原始单位的最大值转成选定单位后的对应值,然后将所述溢出次数乘以所述选定单位后的对应值就得到了该选定单位下的溢出数据。
然后将选定单位对应的统计数据和该选定单位下的溢出数据相加,和值作为选定单位下的数据总值。
其中,在实际处理中,由于计数器存在溢出的情况,因此可能出现第一统计数据大于第二统计数据的情况,采用第二统计数据减去第一统计数据得到的本统计周期产生的统计数据就是负数,对该本统计周期产生的统计数据进行选定单位的单位转换,得到所述选定单位对应的统计数据也是负数,则将选定单位对应的统计数据和该选定单位下的溢出数据相加时,就是将该选定单位下的溢出数据减去选定单位对应的统计数据的绝对值。
因此可以理解的是,在此种情况下可以采用第一统计数据减去第二统计数据得到本周期的产生的统计数据(正数),然后得到其对应的选定单位对应的统计数据(同样是正数)后,就可以采用选定单位下的溢出数据减去该选定单位对应的统计数据(正数),从而得到准确的选定单位下的数据总值。
然后汇总单元可以将该数据总值上报给网管,由网管后续进行业务指标的计算等操作。
综上所述,本发明实施例在计数器对原始数据进行统计的过程中,通过溢出次数的记录可以获知溢出的数据,从而在统计周期的结束时刻,可以通过单位转换计算数据总值,将单位转换后计算的数据总值进行上报,可以准确的记录数据总值,从而避免由于溢出导致数据总值不准确,防止后续业务指标计算出错,保证对系统业务的准确衡量。
其次,本发明在汇总单元进行单位转换,得到所述选定单位对应的统计数据,以及选定单位下的溢出数据,从而可以得到选定单位下的数据总值。在汇总单元进行单位转换比较易于实现,并且对设备影响较小,误差较小,并且可以提高统计精度。
实施例二
下面给出具体实施中的一种应用方法,在本实施例中以32位计数器为例来进行论述,本实施例所使用的计数器用于对RNC的IU口数据流量进行统计。其中,IU口指的是RNC和核心网(Core Network,CN)的接口。
并且,本实施例中采集单元上报的数据流量单位为bit,经过汇总单元处理后的上报给网管的数据总量的单位为Kbyte,假设统计周期为15分钟。并且,在单位转换时,将32位数所表示的最大值的bit单位,转换为Kbyte单位的值。
在本实施例中,由于使用的单位序列可以为bit/Byte/Kbyte,因此上述对32位数所表示的最大值进行由bit到Kbyte的单位转换时,具体运算过程为(0xFFFFFFFF+1)/(1024*8)=2^19,如果采用其他单位序列,则只需要根据其单位进制执行相应变换即可,本发明实施例对此不做限定。
因此汇总单元可以进行如下操作处理过程:
1、对上报的原始数据进行统计并记录溢出次数,一种溢出判定方法具体如下:
首先,汇总单元收到采集单元上报的数据流量,进行累加,当累加的和值小于采集单元上报的数据流量,说明计数器已溢出,然后可以将当前溢出次数加1。
2、到达统计周期,汇总单元进行运算并改变单位。
本实施例中,需要计算本统计周期内各采集单元上报的数值的总和,即使用汇总单元本周期计数器值减去汇总单元上个周期的计数器值。由于本过程需要使用数学公式进行转换,为了公式表达的简洁,可以采用如下符号表示:
C:本周期汇总计数器累加值;
L:上周期汇总计数器累加值;
T:本周期实际统计值;
FC:本周期汇总计数器溢出累计次数值;
CC:本周期汇总计数器不考虑溢出的累加值;
FL:上周期汇总计数器溢出累计次数值;
CL:上周期汇总计数器不考虑溢出的累加值;
M:32位数所能表示的最大值(0XFFFFFFFF+1);
MK:32位数所表示的最大值的bit位转换为KByte值(524288)。
则可以采用如下公式计算:
T=C-L=(FCM+CC)-(FLM+CL) ①
T=C-L=M(FC-FL)+(CC-CL) ②
④
需要说明的是:
1)由于本实施例采用32位操作系统,32位数是该操作系统所能表示的最大数,因此通过上述公式①经公式②和公式③推导出最终推导出公式④。尽管从数学上来讲这四个公式都是相同的,但在溢出次数大于0,使用公式①、②、③可能会产生错误。
2)从公式②推导出公式③的过程,是考虑到减数小于被减数和减数大于或等于被减数的情况,例如在计算机上两个无符号整数做减法时,当减数大于被减数时,并且按照无符号数取结果时,就会得到一个超大正数,因此将导致整个运算结果错误,因此本发明实施例还考虑到了在计算机中处理的情况。
3)从公式③推导出公式④是因为,如果不使用MK来代替M运算的话,两者相乘就会由于溢出导致出错。在本实施例中使用MK来运算的话,从后续的运算过程可以得出,统计量需要1024*8=8192次溢出,才会导致公式④溢出错误。
但对于本例来说由于统计周期内,统计量最多会溢出10次,因此可以不用考虑公式④的溢出错误。如果应用在其他实施方法中,会出现超过溢出量的问题,只需要放大单位即可,对于本实施例而言,也就是将定义的值缩小。
例如某一具体实施中,类似本例的情况,也需要统计某个数据流量,但这个数据流量在15分钟的统计周期内的溢出次数确实会超过8192次,那么就可以使用MB单位来代替KB单位,这样就可以如此定义:
(0xFFFFFFFF+1)/(1024*1024*8)=512
如此的话,就可以支持1024*1024*8=8388608次溢出。
4)本实施例中不考虑溢出计数器的溢出,因为在本例的实际应用中,极限状态下每15分钟的统计周期,统计量最多会溢出10次,这样的话,溢出计数器需要一万多年才能溢出。另外,若应用于其他实施情况下需要考虑溢出计数器的溢出处理情况的话,也可以继续使用本文所描述的方法进行迭代溢出处理。
则根据上述内容,一种具体的实施方法如下:
首先,计算本统计周期的数据流量,然后保存本统计周期的计数器。
其中,实施例二流程图图3所示。
步骤301,接收采集单元上报的原始数据;
步骤302,累加计数器对原始数据进行累加,得到累加值;
在步骤302的执行过程中实时执行步骤303和步骤305。
步骤303,检测累加值是否小于采集单元的上报值;
若是,则执行步骤304,若否,则返回步骤303。
步骤304,将溢出计数器加1;然后返回步骤302继续累加。
步骤305,检测是否达到本统计周期的结束时刻;
若是,则执行步骤306;若否则返回步骤305。
步骤306,计算本统计周期的数据总值。
从而通过上述方法可以得到每个统计周期内产生的数据总量,然后上报给网管,由网管进行后续处理。
当然,本实施例仅是具体实施中的一种方案,实际处理中计数器也可能是16位或64等,即本发明实施例对于使用何种数据类型并不做限定,并且采集单元的单位可能是B,汇总单元的单位也可能是MB等,本发明实施例对此不做限定。
综上,在汇总单元进行单位转换,得到所述选定单位对应的统计数据,以及选定单位下的溢出数据,从而可以得到选定单位下的数据总值。在汇总单元进行单位转换比较易于实现,并且对设备影响较小,误差较小,并且可以提高统计精度。
实施例三
参照图4,给出了本发明实施例三提供的数据的汇总处理装置结构图。
相应的,本发明实施例还提供了一种数据的汇总处理装置,包括:统计并记录模块41、确定模块42和数据总值计算模块43。
统计并记录模块41,用于采用计数器对采集的原始数据进行统计,记录 计数器内的统计数据,并在计数器溢出时记录溢出次数。
确定模块42,用于当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数。
数据总值计算模块43,用于依据所述统计周期的统计数据和溢出次数计算数据总值。
综上所述,本发明实施例能够在计数器对原始数据进行统计的过程中,实时的记录计数器内的统计数据并记录计数器的溢出次数,通过溢出次数的记录可以获知溢出的数据,从而在统计周期的结束时刻,可以依据该统计周期内记录的统计数据和溢出次数计算数据总值,从而准确的记录数据总值,从而避免由于溢出导致数据总值不准确,防止后续业务指标计算出错,保证对系统业务的准确衡量。
参照图5,给出了本发明实施例三提供的数据的汇总处理装置可选结构图。
可选的,所述数据总值计算模块43包括:
统计数据单位转换子模块431,用于对所述统计周期的统计数据进行选定单位的单位转换,得到所述选定单位对应的统计数据。
溢出数据计算子模块432,用于计算所述选定单位下所述溢出次数对应的溢出数据。
可选的,所述溢出数据计算子模块432,包括:
单位转换单元,用于对所述计数器记录的最大值进行选定单位转换;计算单元,用于将所述选定单位转换后的最大值与所述溢出次数相乘,计算得到对应的溢出数据。
可选的,所述数据总值计算模块43,包括:
计算子模块433,用于将所述选定单位对应的统计数据与所述溢出数据相加,计算得到所述选定单位下的数据总值。
可选的,所述统计并记录模块41,包括:
统计子模块411,用于采用计数器对上报的原始数据进行累加,并实时记录所述计数器内的累加数据;
溢出记录子模块412,用于计数器内当前记录的累加数据小于上一次记录的累加数据时,所述计数器溢出,将当前记录的溢出次数加一。
可选的,所述确定模块42包括:
第一统计数据记录子模块421,用于在所述统计周期的开始时刻时,将计数器内的统计数据记录为第一统计数据。
第一溢出次数记录子模块422,用于将记录的溢出次数作为第一溢出次数。
第二统计数据记录子模块423,用于在达到所述统计周期的结束时刻时,将所述计数器内的统计数据作为第二统计数据。
第二溢出次数记录子模块424,用于将记录的溢出次数作为第二溢出次数。
统计数据确定子模块425,用于将所述第二统计数据减去所述第一统计数据,获取统计数据差值作为所述统计周期内产生的统计数据。
溢出次数确定子模块426,用于将所述第二溢出次数减去所述第一溢出次数,获取溢出次数差值作为所述统计周期内产生的溢出次数。
综上所述,本发明在汇总单元进行单位转换,得到所述选定单位对应的统计数据,以及选定单位下的溢出数据,从而可以得到选定单位下的数据总值。在汇总单元进行单位转换比较易于实现,并且对设备影响较小,误差较小,并且可以提高统计精度。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中 实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据的汇总处理方法和装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种数据的汇总处理方法,其特征在于,包括:
采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数;
当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数;
依据所述统计周期的统计数据和溢出次数计算数据总值。
2.根据权利要求1所述的方法,其特征在于,在计算数据总值之前,还包括:
对所述统计周期的统计数据进行选定单位的单位转换,得到选定单位对应的统计数据;
计算所述选定单位下所述溢出次数对应的溢出数据。
3.根据权利要求2所述的方法,其特征在于,所述计算所述选定单位下所述溢出次数对应的溢出数据,包括:
对所述计数器记录的最大值进行选定单位转换;
将所述选定单位转换后的最大值与所述溢出次数相乘,计算得到对应的溢出数据。
4.根据权利要求2所述的方法,其特征在于,所述依据所述统计周期的统计数据和溢出次数计算数据总值,包括:
将所述选定单位对应的统计数据与所述溢出数据相加,计算得到所述选定单位下的数据总值。
5.根据权利要求1至4任一所述的方法,其特征在于,所述采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数,包括:
采用计数器对上报的原始数据进行累加,并实时记录所述计数器内的累加数据;
当所述计数器内当前记录的累加数据小于上一次记录的累加数据时,所述计数器溢出,将当前记录的溢出次数加一。
6.根据权利要求5所述的方法,其特征在于,还包括:
在所述统计周期的开始时刻时,将计数器内的统计数据记录为第一统计数据;将记录的溢出次数作为第一溢出次数;
在所述统计周期的结束时刻时,将所述计数器内的统计数据作为第二统计数据,将记录的溢出次数作为第二溢出次数。
7.根据权利要求6所述的方法,其特征在于,所述确定所述统计周期的统计数据和溢出次数,包括:
将所述第二统计数据减去所述第一统计数据,获取统计数据差值作为所述统计周期内产生的统计数据;
将所述第二溢出次数减去所述第一溢出次数,获取溢出次数差值作为所述统计周期内产生的溢出次数。
8.一种数据的汇总处理装置,其特征在于,包括:
统计并记录模块,用于采用计数器对采集的原始数据进行统计,记录计数器内的统计数据,并在计数器溢出时记录溢出次数;
确定模块,用于当达到统计周期的结束时刻时,确定所述统计周期的统计数据和溢出次数;
数据总值计算模块,用于依据所述统计周期的统计数据和溢出次数计算数据总值。
9.根据权利要求8所述的装置,其特征在于,所述数据总值计算模块,包括:
统计数据单位转换子模块,用于对所述统计周期的统计数据进行选定单位的单位转换,得到所述选定单位对应的统计数据;
溢出数据计算子模块,用于计算所述选定单位下所述溢出次数对应的溢出数据。
10.根据权利要求9所述的装置,其特征在于,所述溢出数据计算子模块,包括:
单位转换单元,对所述计数器记录的最大值进行选定单位转换;
计算单元,用于将所述选定单位转换后的最大值与所述溢出次数相乘,计算得到对应的溢出数据。
11.根据权利要求9所述的装置,其特征在于,所述数据总值计算模块,包括:计算子模块,用于将所述选定单位对应的统计数据与所述溢出数据相加,计算得到所述选定单位下的数据总值。
12.根据权利要求8至11任一所述的装置,其特征在于,所述统计并记录模块,包括:
数据统计子模块,用于采用计数器对上报的原始数据进行累加,并实时记录所述计数器内的累加数据;
溢出记录子模块,用于当计数器内当前记录的累加数据小于上一次记录的累加数据时,所述计数器溢出,将当前记录的溢出次数加一。
13.根据权利要求12所述的装置,其特征在于,所述确定模块包括:
第一统计数据记录子模块,用于在所述统计周期的开始时刻时,将计数器内的统计数据记录为第一统计数据;第一溢出次数记录子模块,用于将记录的溢出次数作为第一溢出次数;
第二统计数据记录子模块,用于在所述统计周期的结束时刻时,将计数器内的统计数据作为第二统计数据;第二溢出次数记录子模块,用于将记录的溢出次数作为第二溢出次数。
14.根据权利要求13所述的装置,其特征在于,所述确定模块包括:
统计数据确定子模块,用于将所述第二统计数据减去所述第一统计数据,获取统计数据差值作为所述统计周期内产生的统计数据;
溢出次数确定子模块,用于将所述第二溢出次数减去所述第一溢出次数,获取溢出次数差值作为所述统计周期内产生的溢出次数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310250117.0A CN103365965B (zh) | 2013-06-21 | 2013-06-21 | 一种数据的汇总处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310250117.0A CN103365965B (zh) | 2013-06-21 | 2013-06-21 | 一种数据的汇总处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103365965A true CN103365965A (zh) | 2013-10-23 |
CN103365965B CN103365965B (zh) | 2016-12-07 |
Family
ID=49367306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310250117.0A Active CN103365965B (zh) | 2013-06-21 | 2013-06-21 | 一种数据的汇总处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103365965B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104104717A (zh) * | 2014-06-30 | 2014-10-15 | 广州唯品会网络技术有限公司 | 投放渠道数据统计方法及装置 |
CN104331279A (zh) * | 2014-10-21 | 2015-02-04 | 上海微小卫星工程中心 | 一种星载软件中条件统计型需求的处理方法和装置 |
WO2016101622A1 (zh) * | 2014-12-23 | 2016-06-30 | 中兴通讯股份有限公司 | 实现网管数据上报的方法、数据设备和管理设备 |
CN107193837A (zh) * | 2016-03-15 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 数据汇总方法及装置 |
CN107830882A (zh) * | 2017-10-23 | 2018-03-23 | 中国联合网络通信集团有限公司 | 基于超声波的报警方法及装置 |
CN109345300A (zh) * | 2018-09-25 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 数据统计方法及装置 |
US10839038B2 (en) | 2016-03-29 | 2020-11-17 | Alibaba Group Holding Limited | Generating configuration information for obtaining web resources |
CN112910731A (zh) * | 2021-01-28 | 2021-06-04 | 三维通信股份有限公司 | 计数器的确定方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1722676A (zh) * | 2004-07-13 | 2006-01-18 | 华为技术有限公司 | 一种性能统计数据收集方法 |
EP1667377A1 (en) * | 2003-09-11 | 2006-06-07 | Mitsubishi Denki Kabushiki Kaisha | Station side communication device |
CN1889602A (zh) * | 2005-08-19 | 2007-01-03 | 华为技术有限公司 | 一种实现实时话务统计的方法 |
US20090119293A1 (en) * | 2007-11-06 | 2009-05-07 | International Business Machines Corporation | Computer Method and System for Determining Individual Priorities of Shared Activities |
CN102315956A (zh) * | 2010-07-02 | 2012-01-11 | 中兴通讯股份有限公司 | 一种流量监管方法和装置 |
CN102546202A (zh) * | 2010-12-17 | 2012-07-04 | 无锡江南计算技术研究所 | 一种无限带宽网络流量监控方法、装置及系统 |
CN102571477A (zh) * | 2010-12-31 | 2012-07-11 | 深圳市恒扬科技有限公司 | 一种流量统计装置、芯片以及设备 |
CN103135661A (zh) * | 2011-12-01 | 2013-06-05 | 拉碧斯半导体株式会社 | 时间测量装置、微型控制器、程序以及时间测量方法 |
-
2013
- 2013-06-21 CN CN201310250117.0A patent/CN103365965B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1667377A1 (en) * | 2003-09-11 | 2006-06-07 | Mitsubishi Denki Kabushiki Kaisha | Station side communication device |
CN1722676A (zh) * | 2004-07-13 | 2006-01-18 | 华为技术有限公司 | 一种性能统计数据收集方法 |
CN1889602A (zh) * | 2005-08-19 | 2007-01-03 | 华为技术有限公司 | 一种实现实时话务统计的方法 |
US20090119293A1 (en) * | 2007-11-06 | 2009-05-07 | International Business Machines Corporation | Computer Method and System for Determining Individual Priorities of Shared Activities |
CN102315956A (zh) * | 2010-07-02 | 2012-01-11 | 中兴通讯股份有限公司 | 一种流量监管方法和装置 |
CN102546202A (zh) * | 2010-12-17 | 2012-07-04 | 无锡江南计算技术研究所 | 一种无限带宽网络流量监控方法、装置及系统 |
CN102571477A (zh) * | 2010-12-31 | 2012-07-11 | 深圳市恒扬科技有限公司 | 一种流量统计装置、芯片以及设备 |
CN103135661A (zh) * | 2011-12-01 | 2013-06-05 | 拉碧斯半导体株式会社 | 时间测量装置、微型控制器、程序以及时间测量方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104104717A (zh) * | 2014-06-30 | 2014-10-15 | 广州唯品会网络技术有限公司 | 投放渠道数据统计方法及装置 |
CN104104717B (zh) * | 2014-06-30 | 2017-11-03 | 广州唯品会网络技术有限公司 | 投放渠道数据统计方法及装置 |
CN104331279A (zh) * | 2014-10-21 | 2015-02-04 | 上海微小卫星工程中心 | 一种星载软件中条件统计型需求的处理方法和装置 |
CN104331279B (zh) * | 2014-10-21 | 2017-06-30 | 上海微小卫星工程中心 | 一种星载软件中条件统计型需求的处理方法和装置 |
WO2016101622A1 (zh) * | 2014-12-23 | 2016-06-30 | 中兴通讯股份有限公司 | 实现网管数据上报的方法、数据设备和管理设备 |
CN107193837A (zh) * | 2016-03-15 | 2017-09-22 | 阿里巴巴集团控股有限公司 | 数据汇总方法及装置 |
CN107193837B (zh) * | 2016-03-15 | 2021-03-02 | 菜鸟智能物流控股有限公司 | 数据汇总方法及装置 |
US10839038B2 (en) | 2016-03-29 | 2020-11-17 | Alibaba Group Holding Limited | Generating configuration information for obtaining web resources |
CN107830882A (zh) * | 2017-10-23 | 2018-03-23 | 中国联合网络通信集团有限公司 | 基于超声波的报警方法及装置 |
CN109345300A (zh) * | 2018-09-25 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 数据统计方法及装置 |
CN109345300B (zh) * | 2018-09-25 | 2022-04-29 | 创新先进技术有限公司 | 数据统计方法及装置 |
CN112910731A (zh) * | 2021-01-28 | 2021-06-04 | 三维通信股份有限公司 | 计数器的确定方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103365965B (zh) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103365965A (zh) | 一种数据的汇总处理方法和装置 | |
CN104914304B (zh) | 一种波动负荷下的电能精确计量方法及计量装置 | |
CN105260474A (zh) | 一种基于信息交互网络的微博用户影响力计算方法 | |
CN103988171B (zh) | 在数据处理系统中用于执行浮点算术运算的方法和装置 | |
CN104137078A (zh) | 操作管理设备、操作管理方法和程序 | |
CN103714004A (zh) | Jvm在线内存泄露分析方法及系统 | |
CN104407688A (zh) | 基于树回归的虚拟化云平台能耗测量方法及系统 | |
Lu et al. | Application of profile likelihood function to the uncertainty analysis of hydrometeorological extreme inference | |
CN104009884B (zh) | 网络业务流分组数与流长度并行测量装置 | |
Yin et al. | A meta-heuristic approach for multivariate design flood quantile estimation incorporating historical information | |
CN109684517B (zh) | 一种历史数据存储方法、读写方法、存储装置和设备 | |
CN105242873B (zh) | 云计算系统的性能数据的采集与存储方法及装置 | |
CN103186366A (zh) | 基于cuda并行计算实现电力系统电磁暂态实时仿真测试方法 | |
CN103439590A (zh) | 一种电能监测dsp控制系统 | |
CN204679550U (zh) | 一种波动负荷下的电能精确计量装置 | |
CN105302691B (zh) | 一种元数据性能监控方法及系统 | |
CN110213123A (zh) | 一种流量监控方法、装置及设备 | |
RU179930U1 (ru) | Вероятностный комбинированный умножитель | |
CN107423222B (zh) | 一种确定测试覆盖率的方法及设备 | |
CN202998070U (zh) | 一种数字型频率电压转换电路 | |
CN106920047B (zh) | 基于层次存储模型的电网统计数据派生计算方法及系统 | |
CN105160446A (zh) | 一种获取借款额度的方法及装置 | |
CN111649786B (zh) | 数据累计方法、装置、终端设备及存储介质 | |
CN104978604B (zh) | 一种基于业务能力模型的模拟仿真方法和装置 | |
CN103018558A (zh) | 主从式多处理器实时信号分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |