CN109474447A - 用于实时监控系统的告警方法和装置 - Google Patents

用于实时监控系统的告警方法和装置 Download PDF

Info

Publication number
CN109474447A
CN109474447A CN201710804178.5A CN201710804178A CN109474447A CN 109474447 A CN109474447 A CN 109474447A CN 201710804178 A CN201710804178 A CN 201710804178A CN 109474447 A CN109474447 A CN 109474447A
Authority
CN
China
Prior art keywords
data
access
amount
hot spot
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710804178.5A
Other languages
English (en)
Other versions
CN109474447B (zh
Inventor
王浩
魏剑楠
卢斌
王新宇
白荣林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710804178.5A priority Critical patent/CN109474447B/zh
Publication of CN109474447A publication Critical patent/CN109474447A/zh
Application granted granted Critical
Publication of CN109474447B publication Critical patent/CN109474447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0604Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Alarm Systems (AREA)

Abstract

本公开提供了一种用于实时监控系统的告警方法。所述方法包括接收传入系统的数据,实时计算截至当前从所述数据的来源方传入系统的第一数据总量,当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量,当所述热点累加访问量满足预设的告警条件时系统告警。其中所述热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,所述第一来源方为传入系统的数据总量等于或大于所述稀疏阈值的来源方。本公开还提供了一种用于实时监控系统的告警装置和一种计算机可读存储介质。

Description

用于实时监控系统的告警方法和装置
技术领域
本公开涉及互联网技术领域,更具体地,涉及一种用于实时监控系统的告警方法和告警装置。
背景技术
随着互联网的高速发展,网络实时访问的数据量显著增加。对网络恶意攻击行为例如黄牛抢票、恶意刷单等屡有发生,因此,实时高效的系统告警对于及时有效地抵御商业风险至关重要。
现有实时监控系统告警通常是当收集传入系统的数据达到一个预定的时间段之后,将所有数据进行统一计算和处理,再判断是否触发告警。这种情况仅能较好地满足数据量较少且系统告警的实时性要求不高的情况。
在实现本发明构思的过程中,发明人发现现有技术中至少存在如下问题:第一、需要在一个预定的时间段之后才能计算判断是否触发告警,如此的延迟对于系统告警实时性要求高的情况下会大大降低告警的有效性,甚至造成严重后果;第二、现有方案要存储一个预定的时间段的数据,然后对存储的数据集中进行计算,这需要消耗大量硬件资源,有可能导致读取超时等问题,降低系统可靠性。
发明内容
有鉴于此,本公开提供了一种能够适用于海量数据的用于实时监控系统的告警方法和装置。
本公开的一个方面提供了一种用于实时监控系统的告警方法。所述方法包括:接收传入系统的数据,实时计算截至当前从所述数据的来源方传入系统的第一数据总量,当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量,当所述热点累加访问量满足预设的告警条件时系统告警。其中,所述热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,所述第一来源方为传入系统的数据总量等于或大于所述稀疏阈值的来源方。
根据本公开的实施例,当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量包括:当所述第一数据总量等于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与所述稀疏阈值之和;或者当所述第一数据总量大于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与1之和。
根据本公开的实施例,当所述热点累加访问量满足预设的告警条件时系统告警,包括当所述热点累加访问量等于或大于预设的告警访问阈量时系统告警。
根据本公开的实施例,在当所述热点累加访问量满足预设的告警条件时系统告警之前,还包括计算截至当前从所有来源方传入系统的第二数据总量,以及计算所述热点累加访问量与所述第二数据总量的比值。当所述热点累加访问量满足预设的告警条件时系统告警,包括当所述比值大于或者等于预设的告警比例时系统告警。
根据本公开的实施例,在实时计算截至当前从所述数据的来源方传入系统的第一数据总量之前,还包括确定所述数据的来源方。
根据本公开的实施例,所述数据的来源方包括以下任意一个或多个:所述数据来源的IP地址、时间段、用户名、或者用户注册时间。
本公开的另一个方面提供了一种用于实时监控系统的告警装置。所述告警装置包括接收模块、第一数据总量计算模块、热点累加访问量计算模块和告警模块。接收模块用于接收传入系统的数据。第一数据总量计算模块用于实时计算截至当前从所述数据的来源方传入系统的第一数据总量。热点累加访问量计算模块用于当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量,所述热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,所述第一来源方为传入系统的数据总量等于或大于所述稀疏阈值的来源方。告警模块用于当所述热点累加访问量满足预设的告警条件时系统告警。
根据本公开的实施例,当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量包括:当所述第一数据总量等于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与所述稀疏阈值之和;或者当所述第一数据总量大于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与1之和。
根据本公开的实施例,所述告警模块还用于当所述热点累加访问量等于或大于预设的告警访问阈量时系统告警。
根据本公开的实施例,所述告警装置还包括第二数据总量计算模块和热点累加访问量占比计算模块。第二数据总量计算模块用于计算截至当前从所有来源方传入系统的第二数据总量。热点累加访问量占比计算模块用于计算所述热点累加访问量与所述第二数据总量的比值。所述告警模块还用于当所述比值大于或者等于预设的告警比例时系统告警。
根据本公开的实施例,所述告警装置还包括数据来源确定模块。数据来源确定模块用于确定所述数据的来源方。
根据本公开的实施例,所述数据的来源方包括以下任意一个或多个:所述数据来源的IP地址、时间段、用户名、或者用户注册时间。
本公开的另一方面提供了一种用于实时监控系统的告警装置。所述告警装置包括一个或多个存储器,存储有计算机可执行指令,以及一个或多个处理器。所述处理器用于执行所述可执行指令,以实现上述用于实时监控系统的告警方法。
本公开的另一方面提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述用于实时监控系统的告警方法所述的方法。
根据本公开的实施例,可以至少部分地提高了系统告警的实时性,并因此可以实现实时监控海量数据并快速告警的技术效果。
根据本公开的实施例,该用于实时监控系统的告警方法可以根据数据的来源方分类存储对应的第一数据总量和热点累加访问量对应的取值,不需要存储原始数据,很大程度地减少了计算和存储的数据量,能减少该实时监控系统占用的空间资源和时间资源,从而可以有效地提高了监控的实时性。
根据本公开的实施例,可以在当且仅当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量,以此方式,可以有效地剔除对正常访问用户的统计,使得监控过程更加针对于非正常访问的用户,从而提高了告警信息的针对性,并减少了不必要的计算。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的用于实时监控系统的告警方法和装置的应用场景;
图2示意性示出了根据本公开实施例的用于实时监控系统的告警方法的流程图;
图3示意性示出了根据本公开另一实施例的用于实时监控系统的告警方法的流程图;
图4示意性示出了根据本公开另一实施例的用于实时监控系统的告警方法的流程图;
图5示意性示出了根据本公开另一实施例的用于实时监控系统的告警方法的流程图;
图6示意性示出了根据本公开实施例的用于实时监控系统的告警装置的框图;以及
图7示意性示出了根据本公开另一实施例的用于实时监控系统的告警装置的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思,除非上下文另外明确指出。此外,在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种用于实时监控系统的告警方法和装置。所述方法包括接收传入系统的数据,实时计算截至当前从该数据的来源方传入系统的第一数据总量,当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量,以及当该热点累加访问量满足预设的告警条件时系统告警。其中该热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,该第一来源方为传入系统的数据总量等于或大于该稀疏阈值的来源方
根据本公开的实施例,该用于实时监控系统的告警方法和装置可以根据数据的来源方分类实时计算对应的第一数据总量,以及计算热点累加访问量,可以不对原始数据进行一定时间地存储后再集中计算,很大程度地减少了实时计算时的数据计算量和存储量,从而能减少该系统占用的空间资源和时间资源,可以有效地提高该系统的实时性。
根据本公开的实施例,在当且仅当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量,以此方式可以有效地剔除对正常用户的统计量,使得该系统更加针对于非正常访问的用户,从而提高了该系统的针对性,并减少了不必要的计算。
可以理解的,该用于实时监控系统的告警方法可以用于网络购票、网络游戏、网上投资等需要实时监控的场景下,而触发告警的情况可以是发生恶意抢票、恶意刷券、大量注册不实用户账户等,本公开对此不做具体限定。
图1示意性示出了根据本公开实施例的用于实时监控系统的告警方法和告警装置的应用场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的用于实时监控系统的告警方法一般可以由服务器105执行。相应地,本公开实施例所提供的用于实时监控系统的告警装置一般可以设置于服务器105中。本公开实施例所提供的用于实时监控系统的告警方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的用于实时监控系统的告警装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的用于实时监控系统的告警方法的流程图。
如图2所示,根据本公开实施例的用于实时监控系统的告警方法包括操作S210~操作S240。
在操作S210,接收传入系统的数据。
根据本公开的实施例,该数据可以是例如注册、登陆、浏览、收藏、付款、评价、退款等操作数据,也可以是根据所需监控和告警内容进行选择的符合一定条件的数据。本公开对此不做具体限定。
在操作S220,实时计算截至当前从该数据的来源方传入系统的第一数据总量。
根据本公开的实施例,该数据的来源方可以是,例如该数据来源的IP地址、时间段、用户名、和/或用户注册时间中的一个或者任意多个的组合。
当该数据传入系统后,从该数据的来源方传入系统的数据量会在已有的数据量基础上增加1。从而,当前从该数据的来源方传入系统的第一数据总量为该数据传入系统之前的第一数据总量加1。
通过这种方式,当有一个数据传入系统,就可以立刻统计截至当前从该数据的来源方传入系统的第一数据总量,从而使得每一次的计算量都变小。
在操作S230,当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量。其中,该热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,该第一来源方为传入系统的数据总量等于或大于该稀疏阈值的来源方。
根据本公开的实施例,稀疏阈值可以根据所需监控和告警的内容进行预设。稀疏阈值可以被认为是用来根据各个数据的来源方的第一数据总量来区分哪些来源方的用户属于正常用户,哪些属于非正常用户。当该第一数据总量小于稀疏阈值,可以认为该数据的来源方是正常用户,不将从该数据的来源方传入系统的第一数据量计入热点累加访问量。当该第一数据总量等于或大于稀疏阈值,可以认为该数据的来源方是非正常用户,此时将从该数据的来源方传入系统的第一数据量计入热点累加访问量。
具体地,当且仅当该第一数据总量等于或大于稀疏阈值时,才进行热点累加访问量的计算,而当该第一数据总量小于稀疏阈值时,不进行热点累加访问量的计算。以此方式,可以有效地剔除对正常用户的统计量,使得监控过程更加针对于非正常用户,从而提高了告警信息的针对性,并减少了不必要的计算。
在操作S240,当该热点累加访问量满足预设的告警条件时系统告警。
根据本公开的实施例,每次接收传入系统的数据后都会进行实时计算,从而会实时判断热点累加访问量是否满足预设的告警条件。一旦该热点累加访问量满足预设的告警条件时系统告警,避免了告警的延迟,从而可以有效地提高了该系统告警的实时性。
根据本公开的实施例,该用于实时监控系统的告警方法可以根据数据的来源方分类实时计算对应的第一数据总量,以及计算热点累加访问量,不需要存储原始数据,很大程度地减少了实时计算时的数据计算量和存储量,从而能减少该系统占用的空间资源和时间资源,可以有效地提高该系统的实时性。
根据本公开的实施例,可以在当且仅当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量,以此方式可以有效地剔除对正常用户的统计量,使得该系统更加针对于非正常访问的用户,从而提高了该系统的针对性,并减少了不必要的计算。
根据本公开的实施例,当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量包括:当该第一数据总量等于稀疏阈值时,计算该热点累加访问量等于计算前的该热点累加访问量与该稀疏阈值之和;或者当该第一数据总量大于稀疏阈值时,计算该热点累加访问量等于计算前的该热点累加访问量与1之和。
具体地,当该第一数据总量小于预设的稀疏阈值时,此时,该第一数据总量所对应的数据的来源方被认为是正常用户,从而在计算热点累加访问量时不计入该第一数据总量。这样,该热点累加访问量未包含该第一数据总量。
当该第一数据总量等于预设的稀疏阈值时,此时,该第一数据总量所对应的数据的来源方被认为是非正常用户,从而在计算热点累加访问量时要将该第一数据总量计入该热点累加访问量,即计算该热点累加访问量等于计算前的该热点累加访问量与该第一数据总量之和,即计算该热点累加访问量等于计算前的该热点累加访问量与该稀疏阈值之和。
当该第一数据总量大于预设的稀疏阈值时,此时,由于更新前的热点累加访问量已包含接收传入系统的该数据前该数据的来源方的第一数据总量。因此,该数据的传入使得传入系统的数量量增加1,相应的引起该数据的来源方的第一数据总量增加1,从而导致热点累加访问量增加1。因此,此时计算该热点累加访问量等于计算前的该热点累加访问量与1之和。
图3示意性示出了根据本公开另一实施例的用于实时监控系统的告警方法的流程图。
如图3所示,该告警方法包括操作S210~操作S241。其中,操作S241为操作S240的具体实施例中的一种。
在操作S241当该热点累加访问量等于或大于预设的告警访问阈量时系统告警。
需要说明的是,针对不同的应用场景,根据所需监控和告警内容,可以具体设置不同的告警访问阈量。例如,对于已知要监控的数据总量可能取值的最大值的场景,例如网络购票时票的总数量是确定的,可以以该数据总量的最大值的一定百分比(例如60%)的值作为告警访问阈量。或者,对于要监控的数据总量未知的情况,可以根据经验选择合适的告警访问阈量。
例如,当需要监控的接收传入系统的数据是注册量,则第一数据总量为该数据的来源方的注册次数的总量。根据本公开的实施例,该热点累加访问量就是传入系统的数据总量等于或大于稀疏阈值的来源方传入系统的数据量总和。假设告警访问阈量设置为1000。则当该热点累加访问量大于等于1000时,系统告警,以此方式,可以实时监控是否存在恶意注册的数据操作。从而可以避免例如一个真实的用户通过若干IP地址在短时间内进行大量注册,以利用不同的注册用户名重复多次的利用网络的资源等。
根据本公开的实施例,预设告警访问阈量作为系统告警的衡量条件,当该热点累加访问量等于或大于预设的告警访问阈量时满足预设的告警条件,系统告警。
图4示意性示出了根据本公开另一实施例的用于实时监控系统的告警方法的流程图。
如图4所示,该告警方法在操作S210~操作S230之后,还包括操作S440、操作S450和操作S242,其中操作S242是操作S240的具体实施例中的一种。
在操作S440,计算截至当前从所有来源方传入系统的第二数据总量。
在操作S450,计算该热点累加访问量与该第二数据总量的比值。
在操作S242,当该比值大于或者等于预设的告警比例时,系统告警。
根据本公开的实施例,该热点累加访问量与该第二数据总量的比值在一定程度上代表了从非正常用户传入系统的数据总量占从所有用户传入系统的数据总量的比值,从而当该比值大于预设的告警比例时,即从非正常用户传入系统的数据总量占从所有用户传入系统的数据总量的比值大于预设的告警比例时,系统告警。
通过这种方式,可以对多种场景统一设置相同的告警比例,无需针对不同的应用场景改变设置。并且系统的灵敏度和准确率在一定程度上被提高。例如,售票系统开放的短时间内,由于所有用户的数量都较少,此时,虽然该热点累加访问量的绝对值可能并不大,但与该第二数据总量的比值已经达到告警比例时,就可以判断系统受到了恶意攻击,从而提高了系统的实时性。
需要说明的是,图4中操作S440位于操作S230之后仅是一种示例,实际中,操作S440可以位于操作S210之后以及操作S230之前的任何位置。
图5示意性示出了根据本公开另一实施例的用于实时监控系统的告警方法的流程图。
如图5所示,该告警方法除了操作S210~操作S240之外,还包括操作S520,其中操作S520位于操作S220之前。
在操作S520,确定该数据的来源方。
该数据的来源方可以是,例如根据该数据传入该系统时经由的不同接口或者路径判断的数据的来源方,例如IP地址、用户名;也可以是根据该数据传入系统的时间确定的来源方,例如数据传入的时间段;也可以是根据该数据传入系统所经由的路径或者接口的创建时间,例如用户注册时间。
该数据的来源方可以是从与该数据的传输路径中获取确定的,也可以是该数据中所携带的信息,本公开对比不做具体限定。
具体地,该系统可以根据数据的来源方分类实时计算并存储对应的第一数据总量,可以不对原始数据进行一定时间地存储后再集中计算,很大程度地减少了计算和存储的数据量,从而可以有效地提高了该系统的实时性,并能减少该系统占用的空间资源和时间资源。
根据本公开的实施例,该数据的来源方包括以下任意一个或多个,该数据来源的IP地址、时间段、用户名、或者用户注册时间。
需要说明的是,数据来源的IP地址、时间段、用户名、或者用户注册时间等可以每一个单独作为该数据的来源方,也可以任意地结合作为该数据的来源方。
例如,将时间段和IP地址结合作为数据的来源方时,对于传入系统的该数据,其数据的来源方就同时包括了该数据来源的IP地址以及该数据传入系统的时间。例如,监控某一特定的时长的时间段内(例如售票开始后的1分钟内)从同一IP地址传入的数据量急剧增加而导致热点累计访问量满足了预设的条件,就会引发系统告警。将多个来源方组合可以从多个维度对传入系统的数据进行监控,可以使得监控结果更加有针对性、更加准确。
图6示意性示出了根据本公开实施例的用于实时监控系统的告警装置的框图。
如图6所示,根据本公开实施例的用于实时监控系统的告警装置600,包括接收模块610,第一数据总量计算模块620,热点累加访问量计算模块630,告警模块640。该告警装置600可以用于实现参考图2~图5所描述的方法。
接收模块610,用于接收传入系统的数据。
第一数据总量计算模块620,用于实时计算截至当前从该数据的来源方传入系统的第一数据总量。
热点累加访问量计算模块630,用于当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量,该热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,该第一来源方为传入系统的数据总量等于或大于该稀疏阈值的来源方。
告警模块640,用于当该热点累加访问量满足预设的告警条件时系统告警。
根据本公开的实施例,该用于实时监控系统的告警装置600可以根据数据的来源方分类实时计算对应的第一数据总量,以及计算热点累加访问量,不需要存储原始数据,很大程度地减少了实时计算时的数据计算量和存储量,从而能减少该系统占用的空间资源和时间资源,可以有效地提高该系统的实时性。
根据本公开的实施例,当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量,包括,当该第一数据总量等于稀疏阈值时,计算该热点累加访问量等于计算前的该热点累加访问量与该稀疏阈值之和,或者当该第一数据总量大于稀疏阈值时,计算该热点累加访问量等于计算前的该热点累加访问量与1之和。
根据本公开的实施例,该告警模块640还用于当该热点累加访问量等于或大于预设的告警访问阈量时系统告警。
根据本公开的实施例,该装置还包括第二数据总量计算模块650,热点累加访问量占比计算模块660。
第二数据总量计算模块650用于计算截至当前从所有来源方传入系统的第二数据总量。
热点累加访问量占比计算模块660用于计算该热点累加访问量与该第二数据总量的比值,以及该告警模块还用于当该比值大于或者等于预设的告警比例时系统告警。
根据本公开的实施例,告警装置600可以对多种场景统一设置相同的告警比例,无需针对不同的应用场景改变设置。并且系统的灵敏度和准确率在一定程度上被提高。例如,售票系统开放的短时间内,由于所有用户的数量都较少,此时,虽然该热点累加访问量的绝对值可能并不大,但与该第二数据总量的比值已经达到告警比例时,就可以判断系统受到了恶意攻击,从而提高了系统的实时性。
根据本公开的实施例,该装置还包括数据来源确定模块670。数据来源确定模块670用于确定该数据的来源方。
根据本公开的实施例,该数据的来源方包括以下任意一个或多个,该数据来源的IP地址、时间段、用户名、或者用户注册时间。
可以理解的是,接收模块610,第一数据总量计算模块620,热点累加访问量计算模块630,告警模块640、第二数据总量计算模块650以及热点累加访问量占比计算模块660可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,接收模块610,第一数据总量计算模块620,热点累加访问量计算模块630,告警模块640、第二数据总量计算模块650以及热点累加访问量占比计算模块660中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,接收模块610,第一数据总量计算模块620,热点累加访问量计算模块630,告警模块640、第二数据总量计算模块650以及热点累加访问量占比计算模块660中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
图7示意性示出了根据本公开另一实施例的用于实时监控系统的告警装置的方框图。图7示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,根据本公开实施例的计算机系统700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以包括用于执行参考图2~图5描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行以上参考图2~图5描述的用于实时监控系统的告警方法的各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行以上参考图2~图5描述的用于实时监控系统的告警方法的各种操作。
根据本公开的实施例,系统700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,上文参考流程图描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。根据本公开的实施例,计算机可读介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行根据本公开实施例的用于实时监控系统的告警方法。该方法包括:接收传入系统的数据,实时计算截至当前从该数据的来源方传入系统的第一数据总量,当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量,当该热点累加访问量满足预设的告警条件时系统告警。其中,该热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,该第一来源方为传入系统的数据总量等于或大于该稀疏阈值的来源方。
根据本公开的实施例,当该第一数据总量等于或大于稀疏阈值时计算热点累加访问量包括:当该第一数据总量等于稀疏阈值时,计算该热点累加访问量等于计算前的该热点累加访问量与该稀疏阈值之和;或者当该第一数据总量大于稀疏阈值时,计算该热点累加访问量等于计算前的该热点累加访问量与1之和。
根据本公开的实施例,当该热点累加访问量满足预设的告警条件时系统告警,包括当该热点累加访问量等于或大于预设的告警访问阈量时系统告警。
根据本公开的实施例,在当该热点累加访问量满足预设的告警条件时系统告警之前,还包括计算截至当前从所有来源方传入系统的第二数据总量,以及计算该热点累加访问量与该第二数据总量的比值。当该热点累加访问量满足预设的告警条件时系统告警,包括当该比值大于或者等于预设的告警比例时系统告警。
根据本公开的实施例,在实时计算截至当前从该数据的来源方传入系统的第一数据总量之前,还包括确定该数据的来源方。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种用于实时监控系统的告警方法,包括:
接收传入系统的数据;
实时计算截至当前从所述数据的来源方传入系统的第一数据总量;
当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量,所述热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,所述第一来源方为传入系统的数据总量等于或大于所述稀疏阈值的来源方;
当所述热点累加访问量满足预设的告警条件时系统告警。
2.根据权利要求1所述的方法,其中,当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量,包括:
当所述第一数据总量等于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与所述稀疏阈值之和;或者
当所述第一数据总量大于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与1之和。
3.根据权利要求1所述的方法,其中,当所述热点累加访问量满足预设的告警条件时系统告警,包括:
当所述热点累加访问量等于或大于预设的告警访问阈量时,系统告警。
4.根据权利要求1所述的方法,在当所述热点累加访问量满足预设的告警条件时系统告警之前,还包括:
计算截至当前从所有来源方传入系统的第二数据总量;
计算所述热点累加访问量与所述第二数据总量的比值;
当所述热点累加访问量满足预设的告警条件时系统告警,包括:
当所述比值大于或者等于预设的告警比例时,系统告警。
5.根据权利要求1所述的方法,在实时计算截至当前从所述数据的来源方传入系统的第一数据总量之前,还包括:
确定所述数据的来源方。
6.根据权利要求1所述的方法,其中,所述数据的来源方包括以下任意一个或多个:
所述数据来源的IP地址、时间段、用户名、或者用户注册时间。
7.一种用于实时监控系统的告警装置,包括:
接收模块,用于接收传入系统的数据;
第一数据总量计算模块,用于实时计算截至当前从所述数据的来源方传入系统的第一数据总量;
热点累加访问量计算模块,用于当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量,所述热点累加访问量为截至当前从至少一个第一来源方传入系统的数据量的总和,所述第一来源方为传入系统的数据总量等于或大于所述稀疏阈值的来源方;
告警模块,用于当所述热点累加访问量满足预设的告警条件时系统告警。
8.根据权利要求7所述的装置,其中,当所述第一数据总量等于或大于稀疏阈值时计算热点累加访问量,包括:
当所述第一数据总量等于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与所述稀疏阈值之和;或者
当所述第一数据总量大于稀疏阈值时,计算所述热点累加访问量等于计算前的所述热点累加访问量与1之和。
9.根据权利要求7所述的装置,其中:
所述告警模块还用于当所述热点累加访问量等于或大于预设的告警访问阈量时系统告警。
10.根据权利要求7所述的装置,还包括:
第二数据总量计算模块,用于计算截至当前从所有来源方传入系统的第二数据总量;
热点累加访问量占比计算模块,用于计算所述热点累加访问量与所述第二数据总量的比值;以及
所述告警模块还用于当所述比值大于或者等于预设的告警比例时系统告警。
11.根据权利要求7所述的装置,还包括:
数据来源确定模块,用于确定所述数据的来源方。
12.根据权利要求7所述的装置,其中,所述数据的来源方包括以下任意一个或多个:
所述数据来源的IP地址、时间段、用户名、或者用户注册时间。
13.一种用于实时监控系统的告警装置,包括一个或多个存储器,存储有计算机可执行指令;以及
一个或多个处理器,所述处理器用于执行所述可执行指令,以实现权利要求1~6任一项所述的方法。
14.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行权利要求1~6任一项所述的方法。
CN201710804178.5A 2017-09-07 2017-09-07 用于实时监控系统的告警方法和装置 Active CN109474447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710804178.5A CN109474447B (zh) 2017-09-07 2017-09-07 用于实时监控系统的告警方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710804178.5A CN109474447B (zh) 2017-09-07 2017-09-07 用于实时监控系统的告警方法和装置

Publications (2)

Publication Number Publication Date
CN109474447A true CN109474447A (zh) 2019-03-15
CN109474447B CN109474447B (zh) 2022-04-12

Family

ID=65657731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710804178.5A Active CN109474447B (zh) 2017-09-07 2017-09-07 用于实时监控系统的告警方法和装置

Country Status (1)

Country Link
CN (1) CN109474447B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1490960A (zh) * 2002-10-14 2004-04-21 北京三星通信技术研究有限公司 多媒体广播和组播业务中单用户的基于流量的计费方法
CN101494598A (zh) * 2008-01-25 2009-07-29 华为技术有限公司 流量控制方法、装置及系统
US20120213112A1 (en) * 2005-06-01 2012-08-23 Litepoint Corporation Method for measuring sensitivity of data packet signal receiver
CN103294773A (zh) * 2013-05-10 2013-09-11 成都交大光芒科技股份有限公司 雨量数据智能实时统计方法
CN103716211A (zh) * 2014-01-20 2014-04-09 西安电子科技大学 网络终端的数据流量测量方法及系统
CN104247324A (zh) * 2012-04-20 2014-12-24 莱特普茵特公司 用于测量数据包信号接收器的灵敏度的方法
CN104955071A (zh) * 2014-03-28 2015-09-30 中兴通讯股份有限公司 无线局域网使用效果性能的上报、获取方法、装置及系统
CN105743726A (zh) * 2014-12-10 2016-07-06 中兴通讯股份有限公司 一种特征数据报文的流量统计和分析方法及相应设备
CN105897501A (zh) * 2015-12-17 2016-08-24 乐视云计算有限公司 数据监控方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1490960A (zh) * 2002-10-14 2004-04-21 北京三星通信技术研究有限公司 多媒体广播和组播业务中单用户的基于流量的计费方法
US20120213112A1 (en) * 2005-06-01 2012-08-23 Litepoint Corporation Method for measuring sensitivity of data packet signal receiver
CN101494598A (zh) * 2008-01-25 2009-07-29 华为技术有限公司 流量控制方法、装置及系统
CN104247324A (zh) * 2012-04-20 2014-12-24 莱特普茵特公司 用于测量数据包信号接收器的灵敏度的方法
CN103294773A (zh) * 2013-05-10 2013-09-11 成都交大光芒科技股份有限公司 雨量数据智能实时统计方法
CN103716211A (zh) * 2014-01-20 2014-04-09 西安电子科技大学 网络终端的数据流量测量方法及系统
CN104955071A (zh) * 2014-03-28 2015-09-30 中兴通讯股份有限公司 无线局域网使用效果性能的上报、获取方法、装置及系统
CN105743726A (zh) * 2014-12-10 2016-07-06 中兴通讯股份有限公司 一种特征数据报文的流量统计和分析方法及相应设备
CN105897501A (zh) * 2015-12-17 2016-08-24 乐视云计算有限公司 数据监控方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周炀: "基于主动监控的通信基础网络预警分析模式", 《电脑与电信》 *
朱玉立,任义廷等: "浅谈大数据时代下的数据中心运维管理", 《信息系统工程》 *

Also Published As

Publication number Publication date
CN109474447B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
WO2015018226A1 (en) Method,apparatus,and system for monitoring website
CN110019087A (zh) 数据处理方法及其系统
CN107463675B (zh) 数据处理方法及其系统
US20210092160A1 (en) Data set creation with crowd-based reinforcement
CN110427304A (zh) 用于银行系统的运维方法、装置、电子设备以及介质
CN110163457A (zh) 一种业务指标的异常定位方法和装置
CN108073506A (zh) 测试方法和装置
CN108776692A (zh) 用于处理信息的方法和装置
CN109933514A (zh) 一种数据测试方法和装置
CN110389873A (zh) 一种判定服务器资源使用情况的方法和装置
US20220239549A1 (en) Time series trend root cause identification
CN110262951A (zh) 一种业务秒级监控方法及系统、存储介质及客户端
CN110415044A (zh) 作弊检测方法、装置、设备及存储介质
CN107291835B (zh) 一种搜索词的推荐方法和装置
CN107562941A (zh) 数据处理方法及其系统
CN108959636A (zh) 数据处理方法、装置、系统、计算机可读介质
CN110928594A (zh) 服务开发方法和平台
CN109474884A (zh) 数据处理方法及其系统
CN109992957A (zh) 模板化计算的方法、装置和系统
CN107729407A (zh) 用户行为分析方法及服务器
CN109960905A (zh) 信息处理方法、系统、介质和电子设备
CN108734537B (zh) 统计违规订单的方法和装置
CN109474447A (zh) 用于实时监控系统的告警方法和装置
CN109756762A (zh) 一种终端类别的确定方法及装置
CN109977982A (zh) 用户分类方法、系统、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant