CN105634874B - 流量上报信息校验方法和装置 - Google Patents

流量上报信息校验方法和装置 Download PDF

Info

Publication number
CN105634874B
CN105634874B CN201610060198.1A CN201610060198A CN105634874B CN 105634874 B CN105634874 B CN 105634874B CN 201610060198 A CN201610060198 A CN 201610060198A CN 105634874 B CN105634874 B CN 105634874B
Authority
CN
China
Prior art keywords
flow
information
identification code
total bytes
task identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610060198.1A
Other languages
English (en)
Other versions
CN105634874A (zh
Inventor
石建松
虎兴龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610060198.1A priority Critical patent/CN105634874B/zh
Publication of CN105634874A publication Critical patent/CN105634874A/zh
Application granted granted Critical
Publication of CN105634874B publication Critical patent/CN105634874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/062Generation of reports related to network traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了流量上报信息校验方法和装置。流量上报信息校验方法的一具体实施方式包括:实时接收流量上报信息,流量上报信息包括以下信息:任务标识码、流量字节数,所述流量字节数为上传字节数或下载字节数;在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到各个任务标识码对应的上传总字节数和下载总字节数;基于对各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。该实施方式实现了对接收到的非法流量上报信息进行实时的校验。

Description

流量上报信息校验方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及网络信息传输技术领域,尤其涉及流量上报信息校验方法和装置。
背景技术
CDN(Content Delivery Network,内容分发网络)技术是构建在网络之上的内容分发网络,依靠部署在各地的边缘服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。CDN技术可以将上述边缘服务器的所有者的闲散的带宽和存储资源有效利用起来,为上述获取所需内容的用户提供加速服务,同时也能让提供带宽和流量资源的资源提供端的所有者获得收益。资源提供端和资源获取端分别向中心平台上报上传/下载流量,中心平台通过接收到的流量上报信息进行收益分配。
然而,如果资源提供端和/或资源获取端通过对流量上报信息进行造假来获取非法利益,现有技术不能对接收到的非法流量上报信息进行实时的校验。
发明内容
本申请的目的在于提出一种流量上报信息校验方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种流量上报信息校验方法,所述方法包括:实时接收流量上报信息,其中,所述流量上报信息包括以下信息:任务标识码、流量字节数,所述流量字节数为上传字节数或下载字节数;在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数;基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。
第二方面,本申请提供了一种流量上报信息校验装置,其特征在于,所述装置包括:流量上报信息接收单元,用于实时接收流量上报信息,其中,所述流量上报信息包括以下信息:任务标识码、流量字节数,所述流量字节数为上传字节数或下载字节数;流量汇总单元,用于在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数;流量校验单元,用于基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。
本申请提供的流量上报信息校验方法和装置,通过将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数,然后基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定所述任务标识码对应的流量上报信息是否校验成功。实现了对接收到的非法流量上报信息进行实时的校验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的流量上报信息校验方法的一个实施例的流程图;
图3是根据本申请的流量上报信息校验方法的另一个实施例的流程图;
图4是根据本申请的流量上报信息校验装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的中心服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的流量上报信息校验方法或流量上报信息校验装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括资源提供端101、102、103、104,上报信息接收服务器105,资源获取端106、107、108、109和校验服务器110。
资源提供端101、102、103、104和资源获取端106、107、108、109可以通过网络与上报信息接收服务器105交互,以发送流量上报信息等。资源获取端106、107、108、109上可以安装有各种客户端应用软件,例如网盘应用软件、文件管理类应用软件、下载工具类软件、浏览器应用软件等。
资源提供端101、102、103、104和资源获取端106、107、108、109可以是支持信息存储和网络信息传输的各种电子设备,包括但不限于服务器、台式计算机、智能手机、平板电脑、膝上型便携计算机等等。
上报信息接收服务器105可以接收资源提供端101、102、103、104和资源获取端106、107、108、109发送的流量上报信息,并可以对接收到的流量上报信息进行筛选,将预定的非法信息和重复信息清除,然后将清除后的流量上报信息发送到校验服务器110中的发布订阅消息系统(例如Kafka)中。
校验服务器110可以获取上报信息接收服务器105发送到发布订阅消息系统中的流量上报信息,并对获取到的信息进行存储、分析等处理。
需要说明的是,本申请实施例所提供的流量上报信息校验方法通常由校验服务器110执行。相应地,流量上报信息装置可以设置于校验服务器110中。
应该理解,图1中的资源提供端、上报信息接收服务器、资源获取端和校验服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,图2示出了根据本申请的流量上报信息校验方法的一个实施例的流程200。
如图2所示,本实施例的流量上报信息校验方法包括以下步骤:
步骤201,实时接收流量上报信息。
其中,上述流量上报信息包括以下信息:任务标识码、流量字节数,上述流量字节数为上传字节数或下载字节数。
在本实施例中,流量上报信息校验方法运行于其上的电子设备(例如图1所示的校验服务器)可以通过自动获取发布订阅消息系统(例如Kafka)中的流量上报信息,来实时接收流量上报信息。其中,流量上报信息可以是资源提供端(例如图1所示的资源提供端)发送的上传流量上报信息,或者是资源获取端(例如图1所示的资源获取端)发送的下载流量上报信息。如果上述流量上报信息是上传流量上报信息,则上述流量字节数为上传字节数;如果上述流量上报信息是下载流量上报信息,则上述流量字节数为下载字节数。任务标识码可以是资源获取端在下载文件时产生的下载任务对应的标识码。与之对应的资源提供端上传文件后上报的上传流量上报信息中的任务标识码与上述资源获取端下载文件后上报的下载流量上报信息中的任务标识码相同。
步骤202,在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在上述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数。
在本实施例中,上述预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息可以是存储在内存(或其它存储介质)中的在前1个小时(或其它时间长度)内接受到的流量上报信息的汇总(例如流量上报信息集合)。校验服务器可以将当前接收到的流量上报信息与上述预定存储介质中的流量上报信息的汇总中任务标识码相同的流量上报信息的上传字节数和下载字节数分别进行累加,得到包括当前接收到的和之前在上述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数。
步骤203,基于对上述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。
在本实施例中,校验服务器可以通过上传总字节数和下载总字节数的差值来确定上述任务标识码对应的流量上报信息是否校验成功。也可以通过上传总字节数和下载总字节数的比值来确定上述任务标识码对应的流量上报信息是否校验成功。
在本发明的一些可选的实现方式中,步骤203可以包括:对于上述上传总字节数小于预定的第一数量阈值的情况,如果上述上传总字节数和下载总字节数之差的绝对值大于预定的第二数量阈值,则确定上述任务标识码对应的流量上报信息校验成功;对于上述上传总字节数大于等于上述预第一数量阈值的情况,如果上述上传总字节数和下载总字节数之差与上述上传总字节数的比值的绝对值大于预定的第三数量阈值,则确定上述任务标识码对应的流量上报信息校验不成功。从而可以根据不同情况采取相应合理的校验方式,提高了校验的准确性。
在本发明的一些可选的实现方式中,本实施例的流量上报信息校验方法还可以包括:如果确定上述任务标识码对应的流量上报信息校验成功,则将预存的校验成功计数值和校验计数值加1,并从上述预定存储介质中删除与上述任务标识码对应的汇总信息。以使上传总字节数和下载总字节数相符合的任务标识码对应的汇总信息无需再参与后续的汇总计算,提高了校验效率。
以及,在预定的至少一个预定时间点中的每个预定时间点,获取上述预定存储介质中的汇总信息的数量,并将上述数量累加到上述校验计数值中;如果上述校验成功计数值与上述校验计数值的比值小于预定的阈值,则发送告警信息;将上述预定存储介质中的汇总信息删除,并将上述校验成功计数值和上述校验计数值置为0。其中,上述至少一个预定时间点中的每个预定时间点之间间隔上述预定时间长度。其中,每个预定时间点例如可以为每个整点(如8:00、9:00、…)。校验服务器在某个预定时间点获取到的上述预定存储介质中的汇总信息的数量即为校验失败的次数,并将该数量累加到上述校验计数值中即得出在刚过去的预定时间长度内的校验次数。之后,如果上述校验成功计数值与上述校验计数值的比值小于预定的阈值(例如0.9),则可以通过邮件或短信等方式发送告警信息,通知相关人员线上有大量流量上报信息不正常。同时,将上述预定存储介质中的汇总信息删除,并将上述校验成功计数值和上述校验计数值置为0,开始新的校验周期。
通过该实现方式,实现了以预定时间长度为周期的流量上报信息的校验,在每个周期的终点对相关计数值进行统计分析,并在分析出有相对较多的流量上报信息不正常时发送告警信息。从而可以快速对流量上报信息做出准确的判断并通知相关人员。
在本发明的一些可选的实现方式中,上述流量上报信息还可以包括与用户传输的文件对应的文件标识码信息。以及,步骤202可以包括:将上述流量上报信息与上述预定存储介质中的汇总信息根据任务标识码和文件标识码对流量字节数进行分组汇总,得到在预定时间长度内接收到的流量上报信息对应的各组任务标识码和文件标识码对应的上传流量总字节数和下载流量总字节数。以及,步骤203可以包括:基于对上述各组任务标识码和文件标识码对应的上传总字节数和下载总字节数的比较,确定上述任务标识码和文件标识码对应的流量上报信息是否校验成功。通过该实现方式,解决了在存在一个任务标识码对应多个文件的情况下,汇总计算不准确的问题。
本申请提供的流量上报信息校验方法,通过将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在上述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数,然后基于对上述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定上述任务标识码对应的流量上报信息是否校验成功。实现了对接收到的非法流量上报信息进行实时的校验。
进一步参考图3,图3示出了根据本申请的流量上报信息校验方法的另一个实施例的流程300。
如图3所示,本实施例的流量上报信息校验方法包括以下步骤:
步骤301,实时接收流量上报信息。
其中,上述流量上报信息包括以下信息:任务标识码、流量字节数,上述流量字节数为上传字节数或下载字节数。
在本实施例中,步骤301的具体处理可以参考图2对应实施例中步骤201的相关说明,在此不再赘述。
步骤302,根据当前接收到的流量上报信息的任务标识码在上述预定存储介质中查找相匹配的汇总信息。
其中,上述汇总信息包括以下信息:任务标识码、上传总字节数、下载总字节数。
在本实施例中,校验服务器可以在在上述预定存储介质中查找任务标识码与当前接收到的流量上报信息的任务标识码相同的汇总信息,作为上述相匹配的汇总信息。其中,任务标识码是汇总信息的唯一标识,一个任务标识码只能对应一条汇总信息。
步骤303,如果查找到相匹配的汇总信息,则将上述当前接收到的流量上报信息的流量字节数相应地累加到上述相匹配的汇总信息中的上传总字节数或下载总字节数中。
在本实施例中,如果查找到相匹配的汇总信息,校验服务器可以获取相匹配的汇总信息中的上传总字节数和/或下载总字节数,作为原上传总字节数和/或原下载总字节数。然后,如果当前接收到的流量上报信息的流量字节数为上传字节数,则更新上述相匹配的汇总信息中的上传总字节数为原上传总字节数加上当前接收到的流量上报信息的流量字节数;如果当前接收到的流量上报信息的流量字节数为下载字节数,则更新上述相匹配的汇总信息中的下载总字节数为原下载总字节数加上当前接收到的流量上报信息的流量字节数。
步骤304,如果没有查找到相匹配的汇总信息,则生成一条新的汇总信息存入上述预定存储介质中。
其中,上述新的汇总信息的任务标识码、上传总字节数和下载总字节数与上述当前接收到的流量上报信息的任务标识码和流量字节数对应。
在本实施例中,如果当前接收到的流量上报信息的流量字节数为上传字节数,则校验服务器可以将新的汇总信息的上传总字节数设为上述上传字节数;如果当前接收到的流量上报信息的流量字节数为下载字节数,则校验服务器可以将新的汇总信息的下载总字节数设为上述下载字节数。
步骤305,基于对上述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。
在本实施例中,步骤305的具体处理可以参考图2对应实施例中步骤203的相关说明,在此不再赘述。
在本发明的一些可选的实现方式中,上述汇总信息还包括失效时间信息。以及,本实施例的方法还可以包括:如果查找到相匹配的汇总信息,则更新上述相匹配的汇总信息中的失效时间为在接收到上述当前接收到的流量上报信息时过预定时间长度之后的时间点。例如,假设校验服务器在8:59分接收到当前接收到的流量上报信息,预定时间长度为1小时,则将相匹配的汇总信息中的失效时间为9:59分。
相应地,本实施例的方法还可以包括:如果确定上述任务标识码对应的流量上报信息校验成功,则将预存的校验成功计数值和校验计数值加1,并从上述预定存储介质中删除与上述任务标识码对应的汇总信息。以及,在预定的时间点获取上述预定存储介质中失效时间早于上述预定的时间点的汇总信息的数量,并将上述数量累加到上述校验计数值中;如果上述校验成功计数值与上述校验计数值的比值小于预定的阈值,则发送告警信息;将上述预定存储介质中的汇总信息删除,并将上述校验成功计数值和上述校验计数值置为0。其中,预定的时间点之间间隔上述预定时间长度。
该实现方式通过设置失效时间,并在统计校验计数值时,仅获取上述预定存储介质中失效时间早于上述预定的时间点的汇总信息的数量,从而在统计相关计数值时,不将接收时间较短的流量上报信息对应的校验失败的汇总信息加入,以免在只接收到某个任务标识码对应的几条流量上报信息中的一部分时,对其进行误判。
从图3中可以看出,与图2对应的实施例相比,本实施例中的流量上报信息校验方法的流程300将同一任务标识码的流量上报信息的汇总信息用一条汇总信息表示。由此,本实施例描述的方案大大减小了校验服务器在对汇总信息进行分析时所需分析的数据量,从而提高了校验的效率。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种流量上报信息校验装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于校验服务器中。
如图4所示,本实施例上述的流量上报信息校验装置400包括:流量上报信息接收单元401、流量汇总单元402以及流量校验单元403。其中,流量上报信息接收单元401用于实时接收流量上报信息,其中,上述流量上报信息包括以下信息:任务标识码、流量字节数,上述流量字节数为上传字节数或下载字节数;流量汇总单元402用于在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在上述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数;流量校验单元403用于基于对上述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。
在本实施例中,流量上报信息接收单元401、流量汇总单元402以及流量校验单元403的具体处理可分别参考图2对应实施例中步骤201、步骤202以及步骤203的相关说明,在此不再赘述。
在本发明的一些可选的实现方式中,本实施例的流量上报信息校验装置还可以包括:第一校验成功处理单元404,用于在确定上述任务标识码对应的流量上报信息校验成功时,将预存的校验成功计数值和校验计数值加1,并从上述预定存储介质中删除与上述任务标识码对应的汇总信息;以及,第一计数值统计单元405,用于在预定的至少一个预定时间点中的每个预定时间点,获取上述预定存储介质中的汇总信息的数量,并将上述数量累加到上述校验计数值中;第一告警发送单元406,用于在上述校验成功计数值与上述校验计数值的比值小于预定的阈值时,发送告警信息;第一初始化单元407,用于将上述预定存储介质中的汇总信息删除,并将上述校验成功计数值和上述校验计数值置为0。其中,上述至少一个预定时间点中的每个预定时间点之间间隔上述预定时间长度。第一校验成功处理单元404、第一计数值统计单元405、第一告警发送单元406以及第一初始化单元407的具体处理可参考图2对应实施例中相应实现方式的相关描述,在此不再赘述。
在本发明的一些可选的实现方式中,上述汇总信息可以包括以下信息:任务标识码、上传总字节数、下载总字节数。以及,流量汇总单元402可以包括:汇总信息匹配子单元4021,用于根据当前接收到的流量上报信息的任务标识码在上述预定存储介质中查找相匹配的汇总信息;汇总信息累加子单元4022,用于如果查找到相匹配的汇总信息,则将上述当前接收到的流量上报信息的流量字节数相应地累加到上述相匹配的汇总信息中的上传总字节数或下载总字节数中;汇总信息生成子单元4023,用于在没有查找到相匹配的汇总信息时,生成一条新的汇总信息存入上述预定存储介质中,其中,上述新的汇总信息的任务标识码、上传总字节数和下载总字节数与上述当前接收到的流量上报信息的任务标识码和流量字节数对应。汇总信息匹配子单元4021、汇总信息累加子单元4022以及汇总信息生成子单元4023的具体处理可分别参考图3对应实施例中步骤302、步骤303以及步骤305的相关说明,在此不再赘述。
基于上一实现方式,在本发明的一些可选的实现方式中,上述汇总信息还可以包括失效时间信息。以及,流量汇总单元402还可以包括:失效时间更新单元4024,用于在查找到相匹配的汇总信息时,更新上述相匹配的汇总信息中的失效时间为在接收到上述当前接收到的流量上报信息时过预定时间长度之后的时间点。
相应地,本实施例的装置还可以包括:第二校验成功处理单元(图中未示出),用于在确定上述任务标识码对应的流量上报信息校验成功时,将预存的校验成功计数值和校验计数值加1,并从上述预定存储介质中删除与上述任务标识码对应的汇总信息;以及,第二计数值统计单元(图中未示出),用于在预定的时间点获取上述预定存储介质中失效时间早于上述预定的时间点的汇总信息的数量,并将上述数量累加到上述校验计数值中;第二告警信息发送单元(图中未示出),用于在上述校验成功计数值与上述校验计数值的比值小于预定的阈值时,发送告警信息;第二初始化单元(图中未示出),用于将上述预定存储介质中的汇总信息删除,并将上述校验成功计数值和上述校验计数值置为0。其中,上述至少一个预定时间点中的每个预定时间点之间间隔上述预定时间长度。
该实现方式的具体处理及其所带来的技术效果可参考图3对应实施例中相应实现方式的相关说明,在此不再赘述。
在本发明的一些可选的实现方式中,流量校验单元403可以包括:第一流量校验子单元4031,用于对于上述上传总字节数小于预定的第一数量阈值的情况,如果上述上传总字节数和下载总字节数之差的绝对值大于预定的第二数量阈值,则确定上述任务标识码对应的流量上报信息校验成功;第二流量校验子单元4032,用于对于上述上传总字节数大于等于上述预第一数量阈值的情况,如果上述上传总字节数和下载总字节数之差与上述上传总字节数的比值的绝对值大于预定的第三数量阈值,则确定上述任务标识码对应的流量上报信息校验不成功。从而可以根据不同情况采取相应合理的校验方式,提高了校验的准确性。
在本发明的一些可选的实现方式中,上述流量上报信息还包括与用户传输的文件对应的文件标识码信息。以及,流量汇总单元402还可以用于将上述流量上报信息与上述预定存储介质中的汇总信息根据任务标识码和文件标识码对流量字节数进行分组汇总,得到在预定时间长度内接收到的流量上报信息对应的各组任务标识码和文件标识码对应的上传流量总字节数和下载流量总字节数。以及,流量校验单元403还可以用于基于对上述各组任务标识码和文件标识码对应的上传总字节数和下载总字节数的比较,确定上述任务标识码和文件标识码对应的流量上报信息是否校验成功。通过该实现方式,解决了在存在一个任务标识码对应多个文件的情况下,汇总计算不准确的问题。
本申请提供的流量上报信息校验装置,通过流量汇总单元402将流量上报信息接收单元401当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在上述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数,然后通过流量校验单元403基于对上述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定上述任务标识码对应的流量上报信息是否校验成功。实现了对接收到的非法流量上报信息进行实时的校验。
下面参考图5,其示出了适于用来实现本申请实施例的校验服务器的计算机系统500的结构示意图。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分506加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括硬盘等的存储部分506;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分507。通信部分507经由诸如因特网的网络执行通信处理。驱动器508也根据需要连接至I/O接口505。可拆卸介质509,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器508上,以便于从其上读出的计算机程序根据需要被安装入存储部分506。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分507从网络上被下载和安装,和/或从可拆卸介质509被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括流量上报信息接收单元、流量汇总单元以及流量校验单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,流量上报信息接收单元还可以被描述为“实时接收流量上报信息的单元”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:实时接收流量上报信息,其中,所述流量上报信息包括以下信息:任务标识码、流量字节数,所述流量字节数为上传字节数或下载字节数;在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数;基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定所述任务标识码对应的流量上报信息是否校验成功。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种流量上报信息校验方法,其特征在于,所述方法包括:
实时接收流量上报信息,其中,所述流量上报信息包括以下信息:任务标识码、流量字节数,所述流量字节数为上传字节数或下载字节数;
在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数;
基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果确定所述任务标识码对应的流量上报信息校验成功,则将预存的校验成功计数值和校验计数值加1,并从所述预定存储介质中删除与所述任务标识码对应的汇总信息;以及
在预定的至少一个预定时间点中的每个预定时间点,获取所述预定存储介质中的汇总信息的数量,并将所述数量累加到所述校验计数值中;
如果所述校验成功计数值与所述校验计数值的比值小于预定的阈值,则发送告警信息;
将所述预定存储介质中的汇总信息删除,并将所述校验成功计数值和所述校验计数值置为0;
其中,所述至少一个预定时间点中的每个预定时间点之间间隔所述预定时间长度。
3.根据权利要求1所述的方法,其特征在于,所述汇总信息包括以下信息:任务标识码、上传总字节数、下载总字节数。
4.根据权利要求3所述的方法,其特征在于,所述将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数,包括:
根据当前接收到的流量上报信息的任务标识码在所述预定存储介质中查找相匹配的汇总信息;
如果查找到相匹配的汇总信息,则将所述当前接收到的流量上报信息的流量字节数相应地累加到所述相匹配的汇总信息中的上传总字节数或下载总字节数中;
如果没有查找到相匹配的汇总信息,则生成一条新的汇总信息存入所述预定存储介质中,其中,所述新的汇总信息的任务标识码、上传总字节数和下载总字节数与所述当前接收到的流量上报信息的任务标识码和流量字节数对应。
5.根据权利要求4所述的方法,其特征在于,所述汇总信息还包括失效时间信息;以及
所述将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数,还包括:
如果查找到相匹配的汇总信息,则更新所述相匹配的汇总信息中的失效时间为在接收到所述当前接收到的流量上报信息时过预定时间长度之后的时间点。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
如果确定所述任务标识码对应的流量上报信息校验成功,则将预存的校验成功计数值和校验计数值加1,并从所述预定存储介质中删除与所述任务标识码对应的汇总信息;以及
在预定的时间点获取所述预定存储介质中失效时间早于所述预定的时间点的汇总信息的数量,并将所述数量累加到所述校验计数值中;
如果所述校验成功计数值与所述校验计数值的比值小于预定的阈值,则发送告警信息;
将所述预定存储介质中的汇总信息删除,并将所述校验成功计数值和所述校验计数值置为0;
其中,预定的时间点之间间隔所述预定时间长度。
7.根据权利要求1-6任一所述的方法,其特征在于,所述基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定所述任务标识码对应的流量上报信息是否校验成功,包括:
对于所述上传总字节数小于预定的第一数量阈值的情况,如果所述上传总字节数和下载总字节数之差的绝对值大于预定的第二数量阈值,则确定所述任务标识码对应的流量上报信息校验成功;
对于所述上传总字节数大于等于所述第一数量阈值的情况,如果所述上传总字节数和下载总字节数之差与所述上传总字节数的比值的绝对值大于预定的第三数量阈值,则确定所述任务标识码对应的流量上报信息校验不成功。
8.根据权利要求1-6任一所述的方法,其特征在于,所述流量上报信息还包括与用户传输的文件对应的文件标识码信息;以及
所述将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数,包括:
将所述流量上报信息与所述预定存储介质中的汇总信息根据任务标识码和文件标识码对流量字节数进行分组汇总,得到在预定时间长度内接收到的流量上报信息对应的各组任务标识码和文件标识码对应的上传流量总字节数和下载流量总字节数;以及
所述基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定所述任务标识码对应的流量上报信息是否校验成功,包括:
基于对所述各组任务标识码和文件标识码对应的上传总字节数和下载总字节数的比较,确定所述任务标识码和文件标识码对应的流量上报信息是否校验成功。
9.一种流量上报信息校验装置,其特征在于,所述装置包括:
流量上报信息接收单元,用于实时接收流量上报信息,其中,所述流量上报信息包括以下信息:任务标识码、流量字节数,所述流量字节数为上传字节数或下载字节数;
流量汇总单元,用于在接收到流量上报信息时,将当前接收到的流量上报信息与预存于预定存储介质中的之前在预定时间长度内接收到的流量上报信息的汇总信息根据任务标识码对流量字节数进行汇总,得到包括当前接收到的和之前在所述预定时间长度内接收到的流量上报信息对应的各个任务标识码对应的上传总字节数和下载总字节数;
流量校验单元,用于基于对所述各个任务标识码对应的上传总字节数和下载总字节数的比较,确定任务标识码对应的流量上报信息是否校验成功。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第一校验成功处理单元,用于在确定所述任务标识码对应的流量上报信息校验成功时,将预存的校验成功计数值和校验计数值加1,并从所述预定存储介质中删除与所述任务标识码对应的汇总信息;以及
第一计数值统计单元,用于在预定的至少一个预定时间点中的每个预定时间点,获取所述预定存储介质中的汇总信息的数量,并将所述数量累加到所述校验计数值中;
第一告警发送单元,用于在所述校验成功计数值与所述校验计数值的比值小于预定的阈值时,发送告警信息;
第一初始化单元,用于将所述预定存储介质中的汇总信息删除,并将所述校验成功计数值和所述校验计数值置为0;
其中,所述至少一个预定时间点中的每个预定时间点之间间隔所述预定时间长度。
11.根据权利要求9所述的装置,其特征在于,所述汇总信息包括以下信息:任务标识码、上传总字节数、下载总字节数。
12.根据权利要求11所述的装置,其特征在于,所述流量汇总单元包括:
汇总信息匹配子单元,用于根据当前接收到的流量上报信息的任务标识码在所述预定存储介质中查找相匹配的汇总信息;
汇总信息累加子单元,用于如果查找到相匹配的汇总信息,则将所述当前接收到的流量上报信息的流量字节数相应地累加到所述相匹配的汇总信息中的上传总字节数或下载总字节数中;
汇总信息生成子单元,用于在没有查找到相匹配的汇总信息时,生成一条新的汇总信息存入所述预定存储介质中,其中,所述新的汇总信息的任务标识码、上传总字节数和下载总字节数与所述当前接收到的流量上报信息的任务标识码和流量字节数对应。
13.根据权利要求12所述的装置,其特征在于,所述汇总信息还包括失效时间信息;以及
所述流量汇总单元还包括:
失效时间更新子单元,用于在查找到相匹配的汇总信息时,更新所述相匹配的汇总信息中的失效时间为在接收到所述当前接收到的流量上报信息时过预定时间长度之后的时间点。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第二校验成功处理单元,用于在确定所述任务标识码对应的流量上报信息校验成功时,将预存的校验成功计数值和校验计数值加1,并从所述预定存储介质中删除与所述任务标识码对应的汇总信息;以及
第二计数值统计单元,用于在预定的时间点获取所述预定存储介质中失效时间早于所述预定的时间点的汇总信息的数量,并将所述数量累加到所述校验计数值中;
第二告警信息发送单元,用于在所述校验成功计数值与所述校验计数值的比值小于预定的阈值时,发送告警信息;
第二初始化单元,用于将所述预定存储介质中的汇总信息删除,并将所述校验成功计数值和所述校验计数值置为0;
其中,预定的时间点之间间隔所述预定时间长度。
15.根据权利要求9-14任一所述的装置,其特征在于,所述流量校验单元包括:
第一流量校验子单元,用于对于所述上传总字节数小于预定的第一数量阈值的情况,如果所述上传总字节数和下载总字节数之差的绝对值大于预定的第二数量阈值,则确定所述任务标识码对应的流量上报信息校验成功;
第二流量校验子单元,用于对于所述上传总字节数大于等于所述第一数量阈值的情况,如果所述上传总字节数和下载总字节数之差与所述上传总字节数的比值的绝对值大于预定的第三数量阈值,则确定所述任务标识码对应的流量上报信息校验不成功。
16.根据权利要求9-14任一所述的装置,其特征在于,所述流量上报信息还包括与用户传输的文件对应的文件标识码信息;以及
所述流量汇总单元还用于将所述流量上报信息与所述预定存储介质中的汇总信息根据任务标识码和文件标识码对流量字节数进行分组汇总,得到在预定时间长度内接收到的流量上报信息对应的各组任务标识码和文件标识码对应的上传流量总字节数和下载流量总字节数;以及
所述流量校验单元还用于基于对所述各组任务标识码和文件标识码对应的上传总字节数和下载总字节数的比较,确定所述任务标识码和文件标识码对应的流量上报信息是否校验成功。
CN201610060198.1A 2016-01-28 2016-01-28 流量上报信息校验方法和装置 Active CN105634874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610060198.1A CN105634874B (zh) 2016-01-28 2016-01-28 流量上报信息校验方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610060198.1A CN105634874B (zh) 2016-01-28 2016-01-28 流量上报信息校验方法和装置

Publications (2)

Publication Number Publication Date
CN105634874A CN105634874A (zh) 2016-06-01
CN105634874B true CN105634874B (zh) 2019-03-08

Family

ID=56049404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610060198.1A Active CN105634874B (zh) 2016-01-28 2016-01-28 流量上报信息校验方法和装置

Country Status (1)

Country Link
CN (1) CN105634874B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830314B (zh) * 2019-12-19 2022-05-17 秒针信息技术有限公司 一种异常流量的确定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901466A (zh) * 2006-01-10 2007-01-24 杭州每日科技有限公司 一种p2p网络的数据流向和流量计量方法
CN101399709A (zh) * 2007-09-28 2009-04-01 福建星网锐捷网络有限公司 一种网络监控方法、装置和系统
CN101582808A (zh) * 2009-06-10 2009-11-18 中兴通讯股份有限公司南京分公司 一种p2p上下行流量统计管理的方法、终端及系统
CN101924785A (zh) * 2010-04-28 2010-12-22 华为技术有限公司 数据的上传方法、下载方法和系统
CN103581261A (zh) * 2012-08-03 2014-02-12 盛乐信息技术(上海)有限公司 P2p数据发布、分享和统计方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953792B2 (en) * 2008-11-24 2011-05-31 At&T Intellectual Property I, Lp Method and system for content distribution network performance and quality measurement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901466A (zh) * 2006-01-10 2007-01-24 杭州每日科技有限公司 一种p2p网络的数据流向和流量计量方法
CN101399709A (zh) * 2007-09-28 2009-04-01 福建星网锐捷网络有限公司 一种网络监控方法、装置和系统
CN101582808A (zh) * 2009-06-10 2009-11-18 中兴通讯股份有限公司南京分公司 一种p2p上下行流量统计管理的方法、终端及系统
CN101924785A (zh) * 2010-04-28 2010-12-22 华为技术有限公司 数据的上传方法、下载方法和系统
CN103581261A (zh) * 2012-08-03 2014-02-12 盛乐信息技术(上海)有限公司 P2p数据发布、分享和统计方法及系统

Also Published As

Publication number Publication date
CN105634874A (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
CN105162878B (zh) 基于分布式存储的文件分发系统及方法
CN103795765B (zh) 一种文件上传校验方法及系统
CN106302445A (zh) 用于处理请求的方法和装置
CN109600280B (zh) 压力测试系统、方法、装置及计算机可读存储介质
CN107087038A (zh) 一种数据同步的方法、同步设备、装置及存储介质
FR2923972A1 (fr) Procede et systeme de gestion de communications
CN111104675A (zh) 系统安全漏洞的检测方法和装置
CN110213380B (zh) 一种消息推送方法、装置、计算机设备及存储介质
CN102014145A (zh) 文件传输安全管控系统及方法
CN110865842A (zh) 一种ota升级方法和设备
CN112685287B (zh) 产品数据的测试方法、装置、存储介质及电子装置
CN106254528A (zh) 一种资源下载方法和缓存设备
CN103888539A (zh) P2p缓存的引导方法、装置及p2p缓存系统
CN109598131A (zh) 一种文件上传、下载方法、装置、电子设备及存储介质
CN112817867A (zh) 一种接口测试脚本生成方法、装置、计算机设备和介质
CN111770022B (zh) 基于链路监控的扩容方法、系统、设备及计算机存储介质
CN111064780A (zh) 一种多任务内容更新方法、装置、设备及介质
CN111107011B (zh) 一种探测生成最优路径的方法和网络加速系统
CN106886476B (zh) 一种客户端的内存分析方法、装置及系统
CN105634874B (zh) 流量上报信息校验方法和装置
CN110677683B (zh) 视频存储、视频访问方法及分布式存储、视频访问系统
CN115086299B (zh) 文件下载方法、装置、设备、介质和程序产品
CN110460487A (zh) 服务节点的监控方法及系统、服务节点
CN116150248A (zh) 基于流应用的日志数据处理方法、装置、设备及介质
CN114465919B (zh) 一种网络服务测试方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant