CN106302020B - 网络带宽统计方法及装置 - Google Patents

网络带宽统计方法及装置 Download PDF

Info

Publication number
CN106302020B
CN106302020B CN201610685808.7A CN201610685808A CN106302020B CN 106302020 B CN106302020 B CN 106302020B CN 201610685808 A CN201610685808 A CN 201610685808A CN 106302020 B CN106302020 B CN 106302020B
Authority
CN
China
Prior art keywords
bandwidth
period
log
journal file
parsing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610685808.7A
Other languages
English (en)
Other versions
CN106302020A (zh
Inventor
杨宁
刘朋朋
唐乾坤
康凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Supreme Being Joins Information Technology Share Co Ltd
Original Assignee
Shanghai Supreme Being Joins Information Technology Share Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Supreme Being Joins Information Technology Share Co Ltd filed Critical Shanghai Supreme Being Joins Information Technology Share Co Ltd
Priority to CN201610685808.7A priority Critical patent/CN106302020B/zh
Publication of CN106302020A publication Critical patent/CN106302020A/zh
Application granted granted Critical
Publication of CN106302020B publication Critical patent/CN106302020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

网络带宽统计方法及装置,所述方法包括:对所获取的当前日志解析周期内产生的日志文件进行遍历;获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息,并计算得到遍历到的日志文件对应的网络总带宽;当确定所述日志访问持续时间小于或等于预设的日志解析周期时,将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽;当确定所述日志访问持续时间大于预设的日志解析周期时,将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期;将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加。上述的方案,可以提高CDN网络带宽统计的准确性。

Description

网络带宽统计方法及装置
技术领域
本发明涉及内容分发网络领域,特别是涉及一种网络带宽统计方法及装置。
背景技术
内容分发网络(Content Delivery Network,CDN),通过在网络各处放置缓存服务器,在现有的互联网基础之上构建一层智能虚拟网络,将网站的内容发布到最接近用户的网络“边缘”,使用户可以就近取得所需的内容,以缓解网络拥挤的状况,提高网站的响应速度,从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因,导致用户访问网站的响应速度慢的问题。
为了对数量众多的缓存服务器上应用服务的使用情况进行监控,需要对相应的日志文件进行统计分析,以得到对应的带宽统计结果。
但是,现有的CDN网络的带宽统计方法,存在着准确性低的问题。
发明内容
本发明实施例解决的问题是如何提高CDN网络带宽统计的准确性。
为解决上述问题,本发明实施例提供了一种网络带宽统计方法,所述方法包括:对所获取的当前日志解析周期内产生的日志文件进行遍历;获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息,并计算得到遍历到的日志文件对应的网络总带宽;当确定所述日志访问持续时间小于或等于预设的日志解析周期时,将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽;当确定所述日志访问持续时间大于预设的日志解析周期时,将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,得到遍历到的日志文件在当前日志解析周期内的网络带宽;将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加,得到当前日志解析周期的网络带宽的信息。
可选地,所述对所获取的当前日志解析周期内产生的日志文件进行遍历,包括:从当前日志解析周期内产生的日志文件中筛选出合法的日志文件,并对筛选出的合法的日志文件进行遍历。
可选地,所述从当前日志解析周期内产生的日志文件中筛选出合法的日志文件,包括:对当前日志解析周期内产生的全部日志文件进行逐条遍历,获取遍历到的日志文件的字段数;当确定遍历到的日志文件的字段数等于预设的数值时,获取遍历到的日志文件的域名字段中的域名信息;当确定遍历到的日志文件的域名合法时,确定遍历到的日志文件为合法的日志文件。
可选地,所述方法还包括:当达到对应的带宽汇总周期时,将对应的一个以上的日志分析周期的网络带宽进行汇总,生成对应的网络带宽统计文件。
可选地,所述方法还包括:将生成的网络带宽统计文件发送至对应的中心服务器。
可选地,所述将生成的网络带宽统计文件发送至对应的中心服务器,包括:获取所述带宽统计文件对应的域名的信息;根据所获取的域名的信息,解析得到对应的IP地址的信息;将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。
可选地,所述方法还包括:当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时,判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值;当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时,重新执行将生成的网络带宽统计文件发送至对应的中心服务器操作,直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器,或者将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值。
可选地,所述日志解析周期和带宽汇总周期为根据网络带宽统计需要分别进行设置。
本发明实施例还提供了一种网络带宽统计装置,所述装置包括:第一计算单元,适于对所获取的当前日志解析周期内产生的日志文件进行遍历;获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息,并计算得到遍历到的日志文件对应的网络总带宽;第一判断单元,适于判断所述日志访问持续时间是否大于预设的日志解析周期;带宽分配单元,适于当确定所述日志访问持续时间小于或等于预设的日志解析周期时,将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽;当确定所述日志访问持续时间大于预设的日志解析周期时,将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,得到遍历到的日志文件在当前日志解析周期内的网络带宽;第二计算单元,适于将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加,得到当前日志解析周期的网络带宽的信息。
可选地,所述第一计算单元,适于从当前日志解析周期内产生的日志文件中筛选出合法的日志文件,并对筛选出的合法的日志文件进行遍历。
可选地,所述第一计算单元,适于对当前日志解析周期内产生的全部日志文件进行逐条遍历,获取遍历到的日志文件的字段数;当确定遍历到的日志文件的字段数等于预设的数值时,获取遍历到的日志文件的域名字段中的域名信息;当确定遍历到的日志文件的域名合法时,确定遍历到的日志文件为合法的日志文件。
可选地,所述装置还包括:带宽汇总单元,适于当达到对应的带宽汇总周期时,将对应的一个以上的日志分析周期的网络带宽进行汇总,生成对应的网络带宽统计文件。
可选地,所述装置还包括:发送单元,适于将生成的网络带宽统计文件发送至对应的中心服务器。
可选地,所述发送单元,适于获取所述带宽统计文件对应的域名的信息;根据所获取的域名的信息,解析得到对应的IP地址的信息;将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。
可选地,所述装置还包括:第二判断单元,适于当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时,判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值;所述发送单元,还适于当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时,重新执行将生成的网络带宽统计文件发送至对应的中心服务器操作,直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器,或者将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值。
可选地,所述日志解析周期和带宽汇总周期为根据网络带宽统计需要分别进行设置。
与现有技术相比,本发明的技术方案具有以下的优点:
上述的方案,在遍历到的日志文件的日志访问持续时间大于预设的日志解析周期时,将对应的网络总带宽平均分配至日志访问持续时间所属的多个日志解析周期,而非将对应的网络总带宽全部作为日志访问持续时间的结束时间点所在的日志解析周期,因而可以提高网络带宽统计的准确性。
进一步地,在对相应日志解析周期内的日志文件进行分析时,通过从相应带日志解析周期内的日志文件筛选出合法的日志文件,并对筛选出的合法的日志文件进行分析,得到对应的网络带宽统计结果,可以滤除错误的日志文件对于带宽统计结果的影响,可以进一步提高网络带宽统计的准确性。
进一步地,当生成对应的带宽统计文件时,将所生成的带宽统计文件自动上传至对应的中心服务器,可以提高带宽文件上传的效率,提升用户的体验。
进一步地,根据应用服务提供商的不同需求,为不同的缓存服务器设置不同的日志分析周期,而不是所有缓存服务器均按照固定的日志分析周期进行网络带宽统计,可以满足应用服务提供商对于日志解析周期的不同需求,因而可以提高网络带宽统计的灵活性,提升用户的使用体验。
附图说明
图1是本发明实施例中的一种网络带宽统计方法的流程图;
图2是本发明实施例中的另一种网络带宽统计方法的流程图;
图3是本发明实施例中的带宽统计文件的上传方法的流程图;
图4是本发明实施例中的一种网络带宽统计装置的结构示意图。
具体实施方式
为解决现有技术中存在的上述问题,本发明实施例采用的技术方案通过在确定日志文件的日志访问持续时间大于预设的日志解析周期时,将对应的网络总带宽平均分配至日志访问持续时间所属的多个日志解析周期,可以提高网络带宽统计的准确性。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
图1示出了本发明实施例中的一种网络带宽统计方法的流程图。参见图1,在具体实施中,本发明实施例中的网络带宽统计方法,可以包括如下的步骤:
步骤S101:对所获取的当前日志解析周期内产生的日志文件进行遍历。
在具体实施中,可以按照日志文件的产生时间的先后顺序,对当前日志解析周期内产生的日志文件进行逐一遍历。
步骤S102:获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息,并计算得到遍历到的日志文件对应的网络总带宽。
在具体实施中,可以通过对日志文件的字段的内容进行解析,便可以得到对应的数据传输量和日志访问持续时间的信息,再将对应的数据传输量除以日志访问持续时间,便可以计算得到遍历到的日志文件对应的网络总带宽的信息。
步骤S103:判断所述日志访问持续时间是否大于所述日志解析周期;当判断结果为是时,可以执行步骤S104;反之,可以执行步骤S105。
在具体实施中,通过解析得到的日志访问持续时间是由用户的实际访问行为产生的,各条日志文件解析得到的日志访问持续时间可能不尽相同。其中,通过解析得到日志访问持续时间或者大于对应的日志解析周期,或者等于对应的日志解析周期,或者小于对应的日志解析周期。
步骤S104:将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,得到遍历到的日志文件在当前日志解析周期内的网络带宽。
在具体实施中,当确定解析得到的日志访问持续时间大于对应的日志解析周期时,可以将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,以提高网络带宽统计的准确性。
步骤S105:将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽。
在具体实施中,当确定日志访问持续时间小于或等于对应的日志解析周期时,表明该条日志文件对应的资源文件访问行为均发生在一个日志解析中周期内,因而可以将计算得到的网络总带宽全部分配至所述日志访问持续时间的结束时间点所在的日志解析周期对应的网络带宽。
步骤S106:将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加,得到当前日志解析周期的网络带宽统计结果的信息。
在具体实施中,当计算得到当前日志解析周期产生的日志文件在当前日志解析周期的网络带宽时,可以将筛选出的合法的日志文件在当前日志解析周期的网络带宽进行相加,便可以得到当前日志解析周期的网络带宽的信息。
采用上述实施例中的方案,通过在遍历到的日志文件的日志访问持续时间大于预设的日志解析周期时,将对应的网络总带宽平均分配至日志访问持续时间所属的多个日志解析周期,因而可以提高网络带宽统计的准确性。
在具体实施中,为了进一步提高网络带宽统计的准确性,本发明实施例中的网络带宽统计方法可以首先从对应日志解析周期内产生的日志文件中筛选出合法的日志文件,并对合法的日志文件进行解析,以得到对应的日志解析周期的带宽统计结果,具体请参见图2。
参见图2,在具体实施中,本发明实施例中的网络带宽统计方法可以包括如下的步骤:
步骤S201:设置对应的日志解析周期和带宽汇总周期。
在具体实施中,CDN中的缓存服务器可以根据实际的需要,如根据所提供的应用服务器提供商对于网络带宽的统计需求,设置对应的日志解析周期和带宽汇总周期。
例如,为了提高网络带宽统计的实时性,可以将日志解析周期和带宽汇总周期均设置为1分钟,也即日志解析频率和带宽汇总频率均为1分钟/次。
步骤S202:当达到预设的日志解析周期时,获取当前日志解析周期内所产生的所有日志文件。
在具体实施中,当用户通过客户端对缓存服务器中存储的资源文件进行访问时,便可以产生对应的日志文件,以对用户的访问行为进行记录。因此,缓存服务器可以通过对各个日志解析周期内产生的日志文件进行逐条解析,以得到每条日志文件在当前日志解析周期内的网络带宽的信息。
步骤S203:从获取的日志文件中筛选出合法的日志文件。
在本发明一实施例中,为了从日志解析周期内产生的日志文件中筛选出合法的日志文件,可以通过对各条日志文件进行解析,分别判断对应的字段数是否为预设的数值,且解析得到的域名是否合法;当确定对应的字段数为预设的数值,且对应的域名合法时,表明对应的日志文件为合法的日志文件;反之,当日志文件的字段数是否为预设的数值,或者解析得到的域名不合法,确定该日志文件为错误的日志文件。
步骤S204:对筛选出的合法的日志文件进行逐条遍历,获取对应的数据传输总量和日志访问持续时间的信息,并计算得到对应的网络总带宽。
在具体实施中,可以按照日志文件的产生时间,对筛选出的合法的日志文件进行逐条遍历,从各条日志文件中的对应字段中解析出对应的数据传输总量和日志访问持续时间,并将解析出的对应的数据传输总量除以日志访问持续时间,从而得到对应的网络总带宽的信息。
步骤S205:判断对应的日志访问持续时间是否大于所述日志解析周期;当判断结果为是时,可以执行步骤S206;反之,则可以执行步骤S207。
步骤S206:将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,得到遍历到的日志文件在当前日志解析周期内的网络带宽。
在具体实施时,当确定日志文件对应的日志访问持续时间大于对应的日志解析周期时,可以将对应的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,以得到所属的各个日志解析周期对应的网络带宽的信息。具体而言,按照所属的多个日志解析周期在所述日志访问持续时间中所占的比例,将计算得到的网络总带宽平均分配至所属的多个日志解析周期内。
例如,日志文件记录的资源文件的访问开始时间为2016-06-15 14:13:00,访问结束时间为2016-06-15 14:15:30,即该日志文件对应的日志访问持续时间为150s。当对应的日志解析周期为1分钟/次,计算得到的总带宽为300Mb/s时,按照平均分配规则:日志解析周期14:13:00到14:13:59分配的网络带宽为300Mb/s*60/150=120M/s;日志解析周期14:14:00到14:14:59分配的网络带宽为300Mb/s*60/150=120M/s;日志解析周期14:15:00到14:15:59分配的网络带宽为300Mb/s*30/150=60M/s。
步骤S207:将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽。
在具体实施中,当确定日志文件的日志访问持续时间小于或等于对应的日志解析周期时,可以将对应的网络总带宽全部作为当前日志解析周期内的网络带宽。
例如,日志文件记录的对应的资源文件的访问开始时间为2016-06-1514:15:00,访问结束时间为2016-06-15 14:15:59,即该日志文件对应的日志访问持续时间为60s。当对应的日志解析周期为1分钟/次,计算得到的网络总带宽为200Mb/s时,对应的日志解析周期14:15:00~14:15:59分配的网络带宽即为200Mb/s,即对应的网络总带宽。
步骤S208:将当前日志解析周期内产生合法的日志文件在当前日志解析周期内的网络带宽相加,得到当前日志解析周期的网络带宽统计结果的信息。
在具体实施中,当计算得到当前日志解析周期内产生的合法的日志文件在当前日志解析周期的网络带宽时,可以将各条日志文件在当前日志解析周期的网络带宽进行相加,便可以得到当前日志解析周期的网络带宽的信息。
例如,缓存服务器在日志解析周期2016-06-15 14:15:00~2016-06-1514:15:59产生的日志文件分别为日志文件1、日志文件2和日志文件3和日志文件4,经过筛选得到的合法的日志文件为日志文件1、日志文件2和日志文件4。其中,日志文件1在日志解析周期2016-06-15 14:15:00~2016-06-1514:15:59分配到的网络带宽为200Mb/s;日志文件2在日志解析周期2016-06-1514:15:00~2016-06-15 14:15:59分配到的网络带宽为300Mb/s;日志文件4在日志解析周期2016-06-15 14:15:00~2016-06-15 14:15:59分配到的网络带宽为200Mb/s,那么,缓存服务器在日志解析周期2016-06-15 14:15:00~2016-06-1514:15:59的网络带宽为:200Mb/s+300Mb/s+200Mb/s=700Mb/s。
步骤S209:当达到预设的带宽统计周期时,对对应的一个以上的日志解析周期的带宽统计结果进行汇总,生成对应的带宽统计文件。
在具体实施中,当带宽统计周期与日志解析周期相同时,如均为1分钟时,缓存服务器可以每1分钟根据对应的一个日志解析周期的网络带宽统计结果生成对应的带宽统计文件;当带宽统计周期与日志解析周期不相同时,如日志解析周期为1分钟,带宽统计周期为2分钟时,缓存服务器可以每2分钟将对应的两个日志解析周期的网络带宽统计结果进行汇总,生成对应的带宽统计文件。
为了提高带宽统计文件上传的效率,本发明实施例中的网络带宽统计方法,还可以包括:
步骤S210:将生成的带宽统计文件发送至对应的中心服务器。
在具体实施中,为了提高带宽统计文件的上传效率,在生成对应的带宽统计文件时,缓存服务器可以自动将所生成的带宽统计文件上传至对应的中心服务器,具体请参见图3。
图3示出了本发明实施例中的一种带宽统计文件的上传方法的流程图。参见图3,在具体实施中,本发明实施例中的带宽统计文件的上传方法可以包括如下的步骤:
步骤S301:基于带宽统计文件对应的上传域名的信息,解析得到对应的IP地址。
在本发明一实施例中,在进行带宽统计文件的上传时,根据所述带宽统计文件对应的上传域名的信息,通过域名系统(Domain Name System,DNS)解析得到对应的IP地址。
步骤S302:将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。
在具体实施中,当解析得到对应的IP地址时,可以将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器中,以使得用户(应用服务提供商)可以快速地获取带宽统计结果,提升用户的体验。
在具体实施中,为了进一步提高带宽文件上传的可靠性,本发明实施例中的带宽文件上传方法还可以包括:
步骤S303:判断将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器是否成功;当判断结果为是时,可以不执行任何的操作;反之,可以执行步骤S304。
步骤S304:判断将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器的次数是否达到预设的阈值;当判断结果为是时,可以重新从步骤S301开始执行;反之,则可以从步骤S302开始执行。
在本发明一实施例中,为了进一步提高带宽统计文件的上传可靠性,在将所生成的带宽统计文件上传至对应的中心服务器失败时,可以重新尝试将生成的带宽统计文件上传时对应的中心服务器,也即从步骤S302开始执行,直至将生成的带宽统计文件上传至对应的服务器成功,或者当重新尝试将生成的带宽统计文件上传时对应的中心服务器的次数达到预设的次数阈值时,重新从步骤S301开始执行,可以避免因为解析得到的IP地址错误而导致带宽统计文件上传失败情形的发生,以进一步提高带宽统计文件上传的可靠性。
在具体实施中,预设的次数阈值可以根据实际的需要设置,如可以设置为3次等。
上述对本发明实施例中的网络带宽统计方法进行了详细的介绍,下面将结合图4对上述的方法对应的装置做介绍。
参见图4,在具体实施中,本发明实施例中的网络带宽统计装置400可以包括第一计算单元401、第一判断单元402和带宽分配单元403,其中:
所述第一计算单元401,适于对所获取的当前日志解析周期内产生的日志文件进行遍历;获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息,并计算得到遍历到的日志文件对应的网络总带宽。
所述第一判断单元402,适于判断所述日志访问持续时间是否大于预设的日志解析周期。
所述带宽分配单元403,适于当确定所述日志访问持续时间小于或等于预设的日志解析周期时,将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽;当确定所述日志访问持续时间大于预设的日志解析周期时,将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,得到遍历到的日志文件在当前日志解析周期内的网络带宽。
所述第二计算单元404,适于将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加,得到当前日志解析周期的网络带宽统计结果的信息。
在本发明一实施例中,所述第一计算单元401,适于从当前日志解析周期内产生的日志文件中筛选出合法的日志文件,并对筛选出的合法的日志文件进行遍历。
在本发明一实施例中,所述第一计算单元401,适于对当前日志解析周期内产生的全部日志文件进行逐条遍历,获取遍历到的日志文件的字段数;当确定遍历到的日志文件的字段数等于预设的数值时,获取遍历到的日志文件的域名字段中的域名信息;当确定遍历到的日志文件的域名合法时,确定遍历到的日志文件为合法的日志文件。
在具体实施中,本发明实施例中的网络带宽统计装置400还可以包括带宽汇总单元405,其中:
所述带宽汇总单元405,适于当达到对应的带宽汇总周期时,将对应的一个以上的日志分析周期的网络带宽进行汇总,生成对应的网络带宽统计文件。
在具体实施中,本发明实施例中的网络带宽统计装置400还可以包括发送单元406,其中:
所述发送单元406,适于将生成的网络带宽统计文件发送至对应的中心服务器。
在本发明一实施例中,所述发送单元406,适于获取所述带宽统计文件对应的域名的信息;根据所获取的域名的信息,解析得到对应的IP地址的信息;将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。
在具体实施中,本发明实施例中的网络带宽统计装置400还可以包括第二判断单元407,其中:
所述第二判断单元407,适于当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时,判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值;
所述发送单元406,还适于当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时,重新执行将生成的网络带宽统计文件发送至对应的中心服务器操作,直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器,或者将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值。
在具体实施中,所述日志解析周期和带宽汇总周期可以根据网络带宽统计需要分别进行设置,以满足不同的应用服务提供商对网络带宽统计的不同需求,提升用户的使用体验。
本发明实施例中的上述的方案,通过网络总带宽平均分配至日志访问持续时间所属的一个以上的日志解析周期,而非将对应的网络总带宽全部作为日志访问持续时间的结束时间点所在的日志解析周期,可以提高网络带宽统计的准确性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本发明实施例的方法及系统做了详细的介绍,本发明并不限于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种网络带宽统计方法,其特征在于,包括:
对所获取的当前日志解析周期内产生的日志文件进行遍历;
获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息,并计算得到遍历到的日志文件对应的网络总带宽;
当确定所述日志访问持续时间小于或等于预设的日志解析周期时,将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽;
当确定所述日志访问持续时间大于预设的日志解析周期时,将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,得到遍历到的日志文件在当前日志解析周期内的网络带宽;
将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加,得到当前日志解析周期的网络带宽的信息。
2.根据权利要求1所述的网络带宽统计方法,其特征在于,所述对所获取的当前日志解析周期内产生的日志文件进行遍历,包括:
从当前日志解析周期内产生的日志文件中筛选出合法的日志文件,并对筛选出的合法的日志文件进行遍历。
3.根据权利要求2所述的网络带宽统计方法,其特征在于,所述从当前日志解析周期内产生的日志文件中筛选出合法的日志文件,包括:
对当前日志解析周期内产生的全部日志文件进行逐条遍历,获取遍历到的日志文件的字段数;
当确定遍历到的日志文件的字段数等于预设的数值时,获取遍历到的日志文件的域名字段中的域名信息;
当确定遍历到的日志文件的域名合法时,确定遍历到的日志文件为合法的日志文件。
4.根据权利要求1所述的网络带宽统计方法,其特征在于,还包括:
当达到对应的带宽汇总周期时,将对应的一个以上的日志解析周期的网络带宽进行汇总,生成对应的网络带宽统计文件。
5.根据权利要求4所述的网络带宽统计方法,其特征在于,还包括:将生成的网络带宽统计文件发送至对应的中心服务器。
6.根据权利要求5所述的网络带宽统计方法,其特征在于,所述将生成的网络带宽统计文件发送至对应的中心服务器,包括:
获取所述带宽统计文件对应的域名的信息;
根据所获取的域名的信息,解析得到对应的IP地址的信息;
将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。
7.根据权利要求6所述的网络带宽统计方法,其特征在于,还包括:
当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时,判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值;
当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时,重新执行获取带宽统计文件对应的域名的信息,根据所获取的域名的信息,解析得到对应的IP地址的信息的操作,直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器。
8.根据权利要求4所述的网络带宽统计方法,其特征在于,所述日志解析周期和带宽汇总周期为根据网络带宽统计需要分别进行设置。
9.一种网络带宽统计装置,其特征在于,包括:
第一计算单元,适于对所获取的当前日志解析周期内产生的日志文件进行遍历;获取遍历到的日志文件对应的数据传输量和日志访问持续时间的信息,并计算得到遍历到的日志文件对应的网络总带宽;
第一判断单元,适于判断所述日志访问持续时间是否大于预设的日志解析周期;
带宽分配单元,适于当确定所述日志访问持续时间小于或等于预设的日志解析周期时,将计算得到的网络总带宽作为遍历到的日志文件在当前日志解析周期内的网络带宽;当确定所述日志访问持续时间大于预设的日志解析周期时,将计算得到的网络总带宽平均分配至所述日志访问持续时间所属的多个日志解析周期,得到遍历到的日志文件在当前日志解析周期内的网络带宽;
第二计算单元,适于将当前日志解析周期内产生的日志文件在当前日志解析周期内的网络带宽相加,得到当前日志解析周期的网络带宽的信息。
10.根据权利要求9所述的网络带宽统计装置,其特征在于,所述第一计算单元,适于从当前日志解析周期内产生的日志文件中筛选出合法的日志文件,并对筛选出的合法的日志文件进行遍历。
11.根据权利要求10所述的网络带宽统计装置,其特征在于,所述第一计算单元,适于对当前日志解析周期内产生的全部日志文件进行逐条遍历,获取遍历到的日志文件的字段数;当确定遍历到的日志文件的字段数等于预设的数值时,获取遍历到的日志文件的域名字段中的域名信息;当确定遍历到的日志文件的域名合法时,确定遍历到的日志文件为合法的日志文件。
12.根据权利要求9所述的网络带宽统计装置,其特征在于,还包括:
带宽汇总单元,适于当达到对应的带宽汇总周期时,将对应的一个以上的日志解析周期的网络带宽进行汇总,生成对应的网络带宽统计文件。
13.根据权利要求12所述的网络带宽统计装置,其特征在于,还包括:发送单元,适于将生成的网络带宽统计文件发送至对应的中心服务器。
14.根据权利要求13所述的网络带宽统计装置,其特征在于,所述发送单元,适于获取所述带宽统计文件对应的域名的信息;根据所获取的域名的信息,解析得到对应的IP地址的信息;将所生成的带宽统计文件上传至解析得到的IP地址对应的中心服务器。
15.根据权利要求14所述的网络带宽统计装置,其特征在于,还包括:
第二判断单元,适于当确定将所述带宽统计文件上传至解析得到的对应的中心服务器失败时,判断将所述带宽统计文件上传至解析得到的对应的中心服务器的次数是否达到预设的次数阈值;
所述发送单元,还适于当将所述带宽统计文件上传至解析得到的对应的中心服务器的次数达到所述次数阈值时,重新执行获取带宽统计文件对应的域名的信息,根据所获取的域名的信息,解析得到对应的IP地址的信息的操作,直至将所述带宽统计文件成功上传至解析得到的对应的中心服务器。
16.根据权利要求12所述的网络带宽统计装置,其特征在于,所述日志解析周期和带宽汇总周期为根据网络带宽统计需要分别进行设置。
CN201610685808.7A 2016-08-18 2016-08-18 网络带宽统计方法及装置 Active CN106302020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610685808.7A CN106302020B (zh) 2016-08-18 2016-08-18 网络带宽统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610685808.7A CN106302020B (zh) 2016-08-18 2016-08-18 网络带宽统计方法及装置

Publications (2)

Publication Number Publication Date
CN106302020A CN106302020A (zh) 2017-01-04
CN106302020B true CN106302020B (zh) 2019-08-16

Family

ID=57678471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610685808.7A Active CN106302020B (zh) 2016-08-18 2016-08-18 网络带宽统计方法及装置

Country Status (1)

Country Link
CN (1) CN106302020B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242855A (zh) * 2021-04-02 2022-10-25 深圳市锐速云计算有限公司 一种长连接带宽计算方法及系统
CN113891174B (zh) * 2021-09-27 2023-09-29 上海哔哩哔哩科技有限公司 一种直播视频的带宽统计方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414608A (zh) * 2013-08-15 2013-11-27 网宿科技股份有限公司 快速的web流量采集统计系统和方法
CN103607354A (zh) * 2013-11-26 2014-02-26 中国联合网络通信集团有限公司 一种流量控制方法、dpi设备及系统
CN105281981A (zh) * 2015-11-04 2016-01-27 北京百度网讯科技有限公司 网络服务的数据流量监控方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106591B2 (en) * 2009-12-24 2015-08-11 Delphix Corporation Adaptive resource management using survival minimum resources for low priority consumers
US9161253B2 (en) * 2011-10-03 2015-10-13 Mediatel Inc. QoS verification and throughput measurement for minimization of drive test

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414608A (zh) * 2013-08-15 2013-11-27 网宿科技股份有限公司 快速的web流量采集统计系统和方法
CN103607354A (zh) * 2013-11-26 2014-02-26 中国联合网络通信集团有限公司 一种流量控制方法、dpi设备及系统
CN105281981A (zh) * 2015-11-04 2016-01-27 北京百度网讯科技有限公司 网络服务的数据流量监控方法和装置

Also Published As

Publication number Publication date
CN106302020A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
US9967165B2 (en) Methods, systems, and computer readable media for packet monitoring in a virtual environment
US10389599B2 (en) Server side content delivery network quality of service
US10193908B2 (en) Data transfer for network interaction fraudulence detection
CN106027595A (zh) 用于cdn节点的访问日志处理方法及系统
WO2016176281A1 (en) System, method and apparatus for managing resources for virtual machines and device thereof
US20150215187A1 (en) Data Services in a Computer System
CN106104550A (zh) 网站信息提取装置、系统、网站信息提取方法以及网站信息提取程序
US11677639B2 (en) Connection management between applications and service resources
AU2014359172B2 (en) Network server system, client device, computer program product and computer-implemented method
CN107992416B (zh) 一种网页时延的确定方法及装置
Bajpai et al. A longitudinal view of dual-stacked websites—failures, latency and happy eyeballs
CN106713456B (zh) 网络带宽统计方法及装置
CN106302020B (zh) 网络带宽统计方法及装置
CN103916463B (zh) 一种网络访问统计分析方法及系统
US20170223136A1 (en) Any Web Page Reporting and Capture
CN112131198B (zh) 一种日志分析方法、装置及电子设备
CN106034124B (zh) 一种流量统计方法和装置
CN107103079B (zh) 一种动态网站的直播方法及系统
Kihl et al. Analysis of Facebook content demand patterns
CN112882646A (zh) 一种资源缓存方法、装置、电子设备及存储介质
Pevec Measurements of YouTube traffic and performance based on network and client-side data collection
Pujol Gil Web content delivery, monetization, and search
Gil Web content delivery, monetization, and search: Back-office and advertisement traffic on the Internet
Pujol Gil Web content delivery, monetization, and search: back-office and advertisement traffic on the Internet
CN117938713A (zh) 用于cdn中的ip质量数据处理方法、装置、设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant