CN112615920B - 异常检测方法、装置、电子设备、存储介质及程序产品 - Google Patents
异常检测方法、装置、电子设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN112615920B CN112615920B CN202011505034.8A CN202011505034A CN112615920B CN 112615920 B CN112615920 B CN 112615920B CN 202011505034 A CN202011505034 A CN 202011505034A CN 112615920 B CN112615920 B CN 112615920B
- Authority
- CN
- China
- Prior art keywords
- message
- acquisition
- information
- nodes
- message acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
Abstract
本公开公开了一种异常检测方法、装置、电子设备、存储介质及程序产品,属于数据处理领域。该异常检测方法包括获取第一预设时间段内至少两个消息采集节点的采集信息,采集信息包括消息采集节点所采集的消息所属主题和采集的消息对应的业务的业务标识;基于第一预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目;在第一种类数目大于预设数量阈值的情况下,输出与消息采集群组对应的第一报警信息。采用本公开提供的异常检测方法、装置、电子设备、存储介质及程序产品,可以实现检测消息采集群组在采集某主题下的消息时是否出现异常。
Description
技术领域
本公开涉及数据处理领域,具体涉及一种异常检测方法、装置、电子设备、存储介质及程序产品。
背景技术
在分布式消息系统的应用中,由消息生产节点发布的消息经消息代理节点转发到消息采集节点。消息采集节点可订阅并采集消息。每个消息采集节点属于一个特定的消息采集群组。在分布式消息系统的消息采集场景下,每个业务可以使用不同的消息采集群组采集相同的主题下的消息。
当有新的业务需要获取对应的消息时,需要增加新的消息采集群组。例如,可以通过对复制的消息采集群组进行修改得到新增消息采集群组。但是,若忘记修改新增消息采集群组的标识,则会导致新增消息采集群组和被复制的消息采集群组在采集消息时均出现异常。因此,需要对消息采集群组采集消息时出现异常的情况进行检测,但目前并没有对消息采集群组在采集一个主题下的消息时出现异常进行检测的机制。
发明内容
本公开的目的是提供一种异常检测方法、装置、电子设备、存储介质及程序产品,以至少解决消息采集群组在采集一主题下的消息时出现异常进行检测的问题。
本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种异常检测方法,该方法可以包括:
获取第一预设时间段内至少两个消息采集节点的采集信息,采集信息包括消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识;至少两个消息采集节点属于同一个消息采集群组,业务标识用于表征业务种类;
基于第一预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目;
在第一种类数目大于预设数量阈值的情况下,输出与消息采集群组对应的第一报警信息。
在其中一个实施例中,在第一种类数目大于预设数量阈值的情况下,输出与消息采集群组对应的第一报警信息,包括:
在第一种类数目大于预设数量阈值的情况下,获取第二预设时间段内至少两个消息采集节点的采集信息;
基于第二预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第二种类数目;
在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与消息采集群组对应的第一报警信息;其中,第一时刻为确定第一种类数目大于预设数量阈值的时刻,第二时刻为确定第二种类数目大于预设数量阈值的时刻。
在其中一个实施例中,在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与消息采集群组对应的第一报警信息,包括:
在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,获取第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳;
在确定第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第一报警信息;
其中,第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,第一业务标识集合包括第一预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识,第二业务标识集合包括第二预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识;
其中,第一时间戳为第一预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第二时间戳为第二预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第一消息采集节点为采集第一业务标识对应的业务对应的消息的采集节点;第一消息采集节点的采集信息对应的时间戳为第一消息采集节点发送采集信息的时间戳。
在其中一个实施例中,第一报警信息用于提示消息采集群组在采集主题下的消息时出现异常。
在其中一个实施例中,异常检测方法还包括:
在确定第一时刻与第二时刻之间的时长大于预设时长、且第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第二报警信息;
其中,第二报警信息的报警等级高于第一报警信息的报警等级。
在其中一个实施例中,基于第一预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目,包括:
基于第一预设时间段内获取的至少两个消息采集节点的最新采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。
在其中一个实施例中,获取第一预设时间段内至少两个消息采集节点的采集信息,包括:
在第一预设时间段内按照预设周期获取至少两个消息采集节点的采集信息。
在其中一个实施例中,采集信息还包括消息采集节点发送采集信息的时间戳。
根据本公开实施例的第二方面,提供一种异常检测装置,该装置可以包括:
采集信息获取模块,被配置为执行获取第一预设时间段内至少两个消息采集节点的采集信息,采集信息包括消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识;至少两个消息采集节点属于同一个消息采集群组,业务标识用于表征业务种类;
第一种类数目确定模块,被配置为执行基于第一预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目;
第一报警信息输出模块,被配置为执行在第一种类数目大于预设数量阈值的情况下,输出与消息采集群组对应的第一报警信息。
在其中一个实施例中,第一报警信息输出模块,包括:
采集信息获取单元,被配置为执行在第一种类数目大于预设数量阈值的情况下,获取第二预设时间段内至少两个消息采集节点的采集信息;
第二种类数目确定单元,被配置为执行基于第二预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第二种类数目;
第一报警信息输出单元,被配置为执行在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与消息采集群组对应的第一报警信息;其中,第一时刻为确定第一种类数目大于预设数量阈值的时刻,第二时刻为确定第二种类数目大于预设数量阈值的时刻。
在其中一个实施例中,第一报警信息输出单元被配置为执行:
在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,获取第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳;
在确定第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第一报警信息;
其中,第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,第一业务标识集合包括第一预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识,第二业务标识集合包括第二预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识;
其中,第一时间戳为第一预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第二时间戳为第二预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第一消息采集节点为采集第一业务标识对应的业务对应的消息的采集节点;第一消息采集节点的采集信息对应的时间戳为第一消息采集节点发送采集信息的时间戳。
在其中一个实施例中,第一报警信息用于提示消息采集群组在采集主题下的消息时出现异常。
在其中一个实施例中,异常检测装置还包括:
第二报警信息输出模块,被配置为执行在确定第一时刻与第二时刻之间的时长大于预设时长、且第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第二报警信息;
其中,第二报警信息的报警等级高于第一报警信息的报警等级。
在其中一个实施例中,第一种类数目确定模块,被配置为执行:
基于第一预设时间段内获取的至少两个消息采集节点的最新采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。
在其中一个实施例中,采集信息获取模块,被配置为执行:
在第一预设时间段内按照预设周期获取至少两个消息采集节点的采集信息。
在其中一个实施例中,采集信息还包括消息采集节点发送采集信息的时间戳。
根据本公开实施例的第三方面,提供一种电子设备,该电子设备可以包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令,以实现如第一方面的任一项实施例中所示的异常检测方法。
根据本公开实施例的第四方面,提供一种计算机存储介质,当存储介质中的指令由异常检测装置或者电子设备的处理器执行时,以使异常检测装置或者电子设备实现如第一方面任一项实施例中所示的的异常检测方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在可读存储介质中,设备的至少一个处理器从存储介质读取并执行计算机程序,使得设备执行第一方面的任一项实施例中所示的异常检测方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开实施例通过基于第一预设时间段内获取的同一个消息采集群组中的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集同一个主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。若第一种类数目大于预设数量阈值,则说明同一个消息采集群组中存在至少两个消息采集节点采集的消息对应的业务并不是同一个业务,因此可以确定该消息采集群组在采集该主题下的消息时出现异常。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限值本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种分布式消息系统的架构图;
图2是根据一示例性实施例示出的一种异常检测的架构图;
图3是根据一示例性实施例示出的一种异常检测方法的流程图;
图4是根据一示例性实施例示出的另一种异常检测方法的流程图;
图5是根据一示例性实施例示出的再一种异常检测方法的流程图;
图6是根据一示例性实施例示出一种异常检测装置的结构框图;
图7是根据一示例性实施例示出的一种计算设备的结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的分布式消息系统的架构示意图。图1示出的是基于发布/订阅的消息系统。例如,图1所示的为卡夫卡(Kafka)系统。Kafka系统是一种高吞吐量的分布式发布订阅消息系统。如图1所示,Kafka系统包括消息生产节点11、消息代理节点12和消息采集节点13。
其中,Kafka中发布订阅的对象是主题。可以为每类数据创建一个主题,把向主题发布消息的客户端称作消息生产节点,从主题采集消息的客户端称作消息采集节点。也就是说,消息生产节点将消息发布到消息代理节点,消息采集节点从消息代理节点采集消息,即订阅并消费消息。
消息以主题为类别记录,每一类消息可称之为一个主题,同一主题的消息可存放在不同的分区中。每一个分区都是一个顺序的、不可变的消息队列,并且可以持续的添加。
每个消息采集节点属于一个特定的消息采集群组(消息采集群组),每个消息采集群组可以指定采集的消息所属的主题。当某个业务启动一个消息采集群组去采集一个主题下的消息时候,无论主题里面有多少个分区,这个消息采集群组下面的所有消息采集节点一定会采集该主题下的全部分区中的消息。也就是说,当一个业务使用一个消息采集群组采集一个主题下的消息时,该消息采集群组中的所有的消息采集节点会采集全量的主题数据。
例如,对于一个统计所有的关注量信息的业务,该业务需要使用消息采集群组A采集名为“关注”的主题下的消息。若消息采集群组A包括p个消息采集节点。则这p个消息采集节点采集名为“关注”的主题下全部的分区中的消息。p为正整数。
在一些实施例中,对于统计关注量排名的业务,则需要使用一个新的消息采集群组消费名为“关注”的主题。目前,为了提高创建新的消息采集群组的效率,会复制一个已有的消息采集群组,例如复制已有的消息采集群组A,然后对复制的消息采集群组A中的消息采集节点进行修改,得到新增加的消息采集群组。但是,若忘记修改被复制的消息采集群组A的标识,则新增消息采集群组的标识和消息采集群组A的标识相同。由于具有相同消息采集群组标识的所有消息采集节点会采集全量的该主题下的消息,如此会导致某业务使用新增的消息采集群组和消息采集群组A采集同一个名为“关注”的主题下的消息时,新增的消息采集群组只能采集到该主题下的一部分数据,消息采集群组A也会少采集该主题下的部分数据,导致新增消息采集群组和消息采集群组A在采集“关注”主题下的消息时出现异常。因此,需要对消息采集群组采集某一主题下的消息是否出现异常的情况进行检测,但目前并没有对消息采集群组在采集某一主题下的消息时出现异常进行检测的机制。
基于此,本申请提供一种异常检测方法、装置、电子设备、计算机存储介质及计算机程序产品,可以实现对消息采集群组在采集某一主题下的消息时是否出现异常的情况进行检测。本公开所提供的异常检测方法,可以应用于如图2所示的架构中,具体结合图2进行详细说明。
图2是根据一示例性实施例示出的一种异常检测的架构图。
如图2所示,该架构图中可以包括至少两个消息采集节点13和服务端的服务器20。其中,每个消息采集节点所属的消息采集群组的群组标识相同。也就是说,至少两个消息采集节点属于同一个消息采集群组。服务器可以与每个消息采集节点可以通过网络协议进行信息交互。其中,消息采集节点13可以是计算机、一体机等具有通讯功能的设备,也可以是虚拟机或模拟器模拟的设备。服务器20可以是云服务器或者服务器集群等具有存储以及计算功能的设备。
基于上述架构,在收集日志业务使用一个消息采集群组C消费名为“日志”的主题的场景下,消息采集群组C中的每个消息采集节点采集同一个名为“日志”的主题下的消息。为了检测具有消息采集群组C在采集主题为“日志”下的消息时是否存在异常,则消息采集群组C中的每个消息采集节点13获取自身的采集信息,然后向服务器20发送自身的采集信息。其中,消息采集节点的采集信息包括消息采集节点所属消息采集群组的群组标识、消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识。在一些实施例中,消息采集节点13可以按照预设时间间隔上传自身的采集信息。服务器20接收每个消息采集节点发送的采集信息。若需要检测消息采集群组C在采集主题为“日志”下的消息时是否存在异常,则服务器20可以基于第一预设时间段内获取的属于消息采集群组C中至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题为“日志”下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。
在一些实施例中,服务器20可以基于第一预设时间段内获取的消息采集群组C中每个消息采集节点的采集信息,获取该消息采集节点在采集主题为“日志”下的消息对应的业务的业务标识。然后,服务器可以基于消息采集群组C中每个消息采集节点在采集主题为“日志”下的消息所对应的业务的业务标识的种类数目,并将该数目作为第一种类数目。
若服务器20得到第一种类数目之后,判断该第一种类数目是否大于预设数量阈值。作为一个示例,预设数量阈值为1。在正常情况下,若消息采集群组C在采集主题为“日志”下的消息时正常采集,则消息采集群组C中每个消息采集节点所采集的消息对应的业务的业务标识均应相同。因此为了检测消息采集群组C在采集主题为日志下的消息时是否出现异常,则可以通过判断该消息采集群组中的至少两个消息采集节点在采集该主题下的消息时,至少两个消息采集节点采集的消息所对应的业务的第一种类数目是否大于预设数量阈值,来判断消息采集群组C在采集该主题下的消息时是否出现异常。服务器20在确定第一种类数目大于预设数量阈值的情况下,则可以确定消息采集群组C在采集主题为日志下的消息时出现异常。
在本申请的实施例中,通过基于第一预设时间段内获取的同一个消息采集群组中的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集同一个主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。若第一种类数目大于预设数量阈值,则说明同一个消息采集群组中存在至少两个消息采集节点采集的消息对应的业务并不是同一个业务,因此可以确定该消息采集群组在采集该主题下的消息时出现异常。
由此,基于上述架构,本公开实施例除了可以应用在统计关注量、收集日志的业务场景中,还可以应用在收集点击率等其他业务场景中,在此不对业务类型做限定。
根据上述架构以及应用场景,下面结合图2-图5对本公开实施例提供的异常检测方法进行详细说明。
图3是根据一示例性实施例示出的一种异常检测方法的流程图。该异常检测方法300可以由图2所示的服务器20执行,如图3所示,该异常检测方法300具体可以包括:
步骤310,获取第一预设时间段内至少两个消息采集节点的采集信息,采集信息包括消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识;至少两个消息采集节点属于同一个消息采集群组,业务标识用于表征业务种类;
步骤320,基于第一预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目;
步骤330,在第一种类数目大于预设数量阈值的情况下,输出与消息采集群组对应的第一报警信息。
下面对步骤310~步骤330中的每个步骤的具体实现方式进行详细介绍。
首先,涉及步骤310,在本公开的实施例中,至少两个消息采集节点属于同一个消息采集群组,即至少两个消息采集节点中的每个消息采集节点的群组标识相同。在一些实施例中,消息采集群组的群组标识可以为该消息采集群组的身份标识号码。
在本申请的一些实施例中,为了提高检测消息采集群组在采集某主题下的消息时是否出现异常的准确率,可以获取第一预设时间段内同一个消息采集群组中每个消息采集节点的采集信息。
在本公开的实施例中,消息采集群组中的消息采集节点在采集消息之前,会预先为该消息采集群组中每个消息采集节点配置该消息采集节点所要采集的消息所属的主题以及该消息采集节点所要采集的消息所对应的业务的业务标识。因此,消息采集节点可以保存自身采集的消息所属主题以及所采集的消息所对应的业务的业务标识,以及该消息采集节点所属的消息采集群组的群组标识等信息。
在本申请的实施例中,需要检测的消息采集群组以及该消息采集群组所采集的信息所属的主题可以是预先定义的。需要检测的消息采集群组中的至少两个消息采集节点可以向服务器发送自身的采集信息。服务器则可以接收每个消息采集节点发送的采集信息。
在本公开的实施例中,消息采集节点可以从配置的消息采集参数中获取采集信息。然后,消息采集节点向服务器发送自身的采集信息,以使服务器基于消息采集群组中每个消息采集节点的采集信息对消息采集群组在采集某主题下的消息时是否出现异常进行检测。
在本公开的实施例中,消息采集节点所采集的消息对应的业务的业务标识是用于标识该业务的身份信息。作为一个示例,业务标识可以为业务消费代码。
在本公开的一些实施例中,第一预设时间段可以基于预先定义的时间窗口。例如,第一预设时间段可以为当前时刻之前的时间窗口为5分钟的时间段。例如,若当前时刻为t1,则第一预设时间段可以为[t2,t1]。其中,t2比t1早五分钟。
在本申请的实施例中,由于可能会存在消息采集群组在之前采集过其他主题下的消息但是又停止采集的情况,因此通过利用第一预设时间段内获取的消息采集群组中所有消息采集节点的采集信息,可以筛选掉一部分影响异常检测的数据,从而实现根据消息采集群组中的所有消息采集节点在近期的采集信息来判断消息采集群组在采集某主题下的消息时是否出现异常,以提高对消息采集群组在采集该主题下的消息是否出现异常进行检测的准确性。
在本申请的实施例中,对于消息采集群组中每个消息采集节点,在第一预设时间段可能获取到该消息采集节点的多个采集信息。为了提高对第一种类数目的统计的准确性,可以基于第一预设时间段内获取的消息采集群组中所有消息采集节点的每个采集信息,在至少两个消息采集节点采集该采集信息中包括的主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。
在本申请的一些实施例中,步骤310包括在第一预设时间段内按照预设周期获取至少两个消息采集节点的采集信息。
在本公开的实施例中,消息采集节点可以按照预设周期向服务器发送自身的采集信息。因此,服务器在第一时间段内可以按照预设周期获取至少两个消息采集节点中每个采集节点的采集信息。作为一个示例,服务器在第一预设时间段内可以按照预设周期获取每个消息采集节点发送的自身的采集信息。例如,预设周期可以为1分钟。
在本公开的实施例中,消息采集节点通过预设周期向服务器发送消息采集节点的采集信息,可以使服务器获取消息采集节点最新的采集信息,以使服务器可以及时的判断消息采集群组在采集消息时是否出现消费异常。
接着,涉及步骤320的具体实现方式。在本申请的实施例中,对于消息采集群组中至少两个消息采集节点中的每个消息采集节点,基于第一预设时间段内该消息采集节点的每个采集信息,服务器可从该采集信息中获取该消息采集节点在采集该采集信息中包括的主题下的消息对应的业务的业务标识。接着,服务器可以基于消息采集群组中至少两个消息采集节点中每个消息采集节点在采集该主题下的消息所对应的业务的业务标识,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。也就是说,业务标识的种类数目即为业务的种类数目。
作为一个示例,若消息采集群组包括10个消息采集节点。服务器获取第一预设时间段内这10个消息采集节点中每个消息采集节点的每个采集信息。并且,这10个消息采集节点中采集信息中包括的主题均为主题1。服务器基于第一预设时间段内这10个消息采集节点中每个消息采集节点的每个采集信息,确定这10个消息采集节点中的3个消息采集节点所采集的主题1下的消息对应的业务的业务标识为A,另外7个消息采集节点所采集的主题1下的消息对应的业务的业务标识为B,则消息采集群组中这10个消息采集节点在采集主题1下的消息时所对应的业务标识的种类数目为2,即该消息采集群组中这10个消息采集节点采集主题1下的消息所对应的业务的种类数目,即第一种类数目为2。
在本申请的实施例中,为了提高数据处理的效率,步骤320包括:基于第一预设时间段内获取的至少两个消息采集节点的最新采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。
在本申请的实施例中,对于消息采集群组中至少两个消息采集节点中的每个消息采集节点,在第一预设时间段可能获取到该消息采集节点的多个采集信息,则为了减少计算量,可以利用该多个采集信息中最新收到的最新采集信息,来确定第一种类数目。
在本申请的实施例中,对于消息采集群组中至少两个消息采集节点中的每个消息采集节点,基于第一预设时间段内该消息采集节点的最新采集信息,服务器可从该最新采集信息中获取该消息采集节点所采集的信息所属主题,以及在采集该主题下的消息所对应的业务的业务标识。接着,服务器可以基于至少两个消息采集节点中的每个消息采集节点在采集该主题下的消息所对应的业务的业务标识,确定该消息采集群组中至少两个消息采集节点采集的消息对应的业务标识的种类数目,并将该数目作为至少两个消息采集节点所采集消息对应的业务的第一种类数目。
在本申请的实施例中,通过利用第一预设时间段内每个消息采集节点的最新采集信息,来确定第一种类数目,可以减少数据计算量,提供对消息采集群组在采集某主题下的消息是否出现异常进行检测的效率。
接着,涉及步骤330,在本公开的一些实施例中,预设数量阈值可以为1。
在本申请的一些实施例中,第一报警信息用于提示消息采集群组在采集第一主题下的消息时出现故障。其中,第一主题是每个消息采集节点的采集信息中包括的主题。
在正常情况下,若消息采集群组正常采集某主题下的消息,则该消息采集群组中每个消息采集节点所采集的该主题下的消息所对应的业务的业务标识均应相同。因此为了检测消息采集群组在消费某主题时是否出现异常,则可以通过判断消息采集群组中的至少两个消息采集节点在采集某主题下的消息时,至少两个消息采集节点所采集的消息所对应的业务的第一种类数目是否大于预设数据阈值,来判断该消息采集群组在采集该主题下的消息时是否出现异常。服务器在确定第一种类数目大于预设数量阈值的情况下,则可以确定该消息采集群组在采集该主题下的消息时出现异常,因此可以输出与该消息采集群组对应的第一报警信息,以用于提示该消息采集群组在采集该主题下的消息时出现异常。
在本公开实施例中,通过基于第一预设时间段内获取的同一个消息采集群组中的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集同一个主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。若第一种类数目大于预设数量阈值,则说明同一个消息采集群组中存在至少两个消息采集节点采集的消息对应的业务并不是同一个业务,因此可以确定该消息采集群组在采集该主题下的消息时出现异常。
在本申请的实施例中,通过输出与消息采集群组对应的第一报警信息,可以提示该消息采集群组在采集特定主题下的消息时出现异常,以提示用户进行及时处理。
在本申请的一些实施例中,为了进一步提高对消息采集群组在采集某主题下的消息是否出现异常进行检测的准确性,如图4所示,步骤330包括步骤3301~步骤3303。
步骤3301,在第一种类数目大于预设数量阈值的情况下,获取第二预设时间段内至少两个消息采集节点的采集信息;步骤3302,基于第二预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第二种类数目;步骤3303,在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与消息采集群组对应的第一报警信息;其中,第一时刻为确定第一种类数目大于预设数量阈值的时刻,第二时刻为确定第二种类数目大于预设数量阈值的时刻。
在本申请的实施例中,第二预设时间段是与第一预设时间段不同的时间段,且第二预设时间段是在第一预设时间段之后的一个时间段。作为一个示例,若当前时刻为t3,则第二预设时间段可以为[t4,t3],第一预设时间段可以为[t5,t6]。其中,t3比t4晚5分钟,t6比t5晚5分钟。且,t6早于t4。
在本公开的实施例中,步骤3301的具体实现方式与步骤310的具体实现方式相类似,步骤3302的具体实现方式与步骤320的具体实现方式相类似,在此不再赘述。
在步骤3303中,第一时刻是确定第一种类数目大于预设数量阈值的时刻。例如,第一时刻是之前某一次确定消息采集群组在采集某主题下的消息出现异常的时刻。第二时刻为确定第二种类数目大于预设数量阈值的时刻。例如,第二时刻为最近一次确定消息采集群组在采集同一主题下的消息出现异常的时刻。
需要说明的是,在对某个消息采集群组采集的消息所对应的业务进行了修改的情况下,则会在短暂时间内检测到该消息采集群组中所有消息采集节点采集的某主题下的消息对应的业务的种类数目大于预设数量阈值。因此为了更精确地区分是消息采集群组采集的消息对应的业务进行了修改,还是该消息采集群组在采集信息时出现持续性的错误,可以通过判断第一时刻和第二时刻的时长是否大于预设时长进行判断。
若第一时刻与第二时刻之间的时长大于预设时长,则代表消息采集群组在一段时间内采集消息时持续出现异常,因此可以更加准确地确定该消息采集群组采集消息时出现异常,提高对该消息采集群组采集消息时是否出现异常检测的准确性。
在本申请的一些实施例中,参见图5,步骤3303包括:步骤401,在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,获取第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳;步骤402,在确定第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第一报警信息。
其中,第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,第一业务标识集合包括第一预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识,第二业务标识集合包括第二预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识。
其中,第一时间戳为第一预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第二时间戳为第二预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第一消息采集节点为采集第一业务标识对应的业务对应的消息的采集节点;第一消息采集节点的采集信息对应的时间戳为第一消息采集节点发送采集信息的时间戳。
也就是说,服务器在确定第一时刻与第二时刻之间的时长大于预设时长,且确定第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳不同的情况下,确定消息采集群组在采集上述采集信息中的主题下的消息时出现异常。
在本公开的实施例中,消息采集节点上传采集信息时,该信息还可携带发送采集信息的时间戳。也就是说消息采集节点的采集信息还包括消息采集节点发送采集信息的时间戳。因此,在步骤401中,可以从获取的第一预设时间内至少两个消息采集节点的采集信息中获取第一时间戳和第二时间戳。
在本公开的实施例中,第一业务标识集合为服务器基于第一预设时间段内获取的属于消息采集群组中至少两个消息采集节点的采集信息,所确定的至少两个消息采集节点中每个消息采集节点在采集第一主题下的消息所对应的业务的业务标识的并集。第一主题为第一预设时间段内每个消息采集节点的采集信息中包括的主题。相类似的,第二业务标识集合为服务器基于第二预设时间段内获取的属于消息采集群组中至少两个消息采集节点的采集信息,所确定的至少两个消息采集节点中每个消息采集节点在采集第一主题下的消息所对应的业务的业务标识的并集。
在本公开的实施例中,第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,即为第一业务标识集合和第二业务标识集合的交集中的业务标识。
例如,第一预设时间段内至少两个消息采集节点第一主题下的消息所对应的业务对应的所有业务标识包括业务2的业务标识和业务3的业务标识。且第二预设时间段内至少两个消息采集节点第一主题下的消息所对应的业务对应的所有业务标识也包括业务2的业务标识和业务3的业务标识。则业务2的业务标识和业务3的业务标识均为第一业务标识。
在业务2的业务标识为第一业务标识的情况下,第一消息采集节点为消息采集群组中采集业务2对应的消息的消息采集节点。消息采集群组中采集业务2对应的消息的消息采集节点可能为多个。并且,每个消息采集节点在向服务器发送自身的采集信息时,服务器会记录消息采集节点发送采集信息的时间戳,即为采集信息对应的时间戳。第一预设时间段内业务2的业务标识对应的第一时间戳为消息采集群组中采集业务2对应的消息的消息采集节点的采集信息对应的时间戳中的最新时间戳,即最晚的时间戳。
作为一个示例,第一预设时间段内业务2的业务标识对应的第一时间戳为:第一预设时间段内所有消费业务2的消息采集节点中最晚发送采集信息的消息采集节点发送采集信息的时间戳。类似地,第二预设时间段内业务2的业务标识对应的第一时间戳为:第二预设时间段内所有消费业务2的消息采集节点中最晚发送采集信息的消息采集节点发送采集信息的时间戳。则第一预设时间段内业务3的业务标识对应的第一时间戳为:第一预设时间段内所有消费业务3的消息采集节点中最晚发送采集信息的消息采集节点发送采集信息的时间戳。类似地,第二预设时间段内业务3的业务标识对应的第一时间戳为:第二预设时间段内所有消费业务3的消息采集节点中最晚发送采集信息的消息采集节点发送采集信息的时间戳。
需要说明的是,若第一业务标识为多个,则对于每个第一业务标识,在确定第一预设时间段内该第一业务标识对应的第一时间戳与第二预设时间段内该第一业务标识对应的第二时间戳不同的情况下,确定该消息采集群组在采集第一主题下的消息时出现异常。
在本公开的实施例中,若第一预设时间段内该第一业务标识对应的第一时间戳与第二预设时间段内该第一业务标识对应的第二时间戳不同,则可以进一步确定消息采集群组在采集第一主题下的消息时持续性发生异常。
若第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳相同,则代表消息采集群组可能出现了服务迁移部署(例如,修改了消息采集群组消费的业务名称或者消息采集群组停止了服务等情况)。因此,为了进一步更精确地对消息采集群组在采集某主题下的消息时是否出现异常,可以判断第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳是否相同。
在本公开的实施例中,通过及时对消息采集群组的异常消费进行及时检测,可以降低因为异常消费造成故障的时间。
在本公开的实施例中,通过利用消息采集节点发送采集信息的时间戳,可以更精确地区分是消息采集群组采集的消息对应的业务进行了修改,还是该消息采集群组在采集信息时出现持续性的错误。
在本申请的实施例中,为了对消息采集群组出现持续性消费异常进行提示,本公开提供的异常检测方法还包括步骤340。步骤340,在确定第一时刻与第二时刻之间的时长大于预设时长、且第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第二报警信息。
其中,第二报警信息的报警等级高于第一报警信息的报警等级。
在本申请的实施例中,当确定第一时刻与第二时刻之间的时长大于预设时长、且第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳不同,则可以精确地判定消息采集群组出现持续性的错误消费,则可以输出报警等级更高的第二报警信息进行提示。通过输出报警等级更高的第二报警信息可以提示用户修复该消费异常的情况,降低故障存在的时间。
在本公开的实施例中,服务器可以向部署平台发送第一报警信息以及第二报警信息。部署平台可以根据第一报警信息和第二报警信息区分消息采集群组是持续性的异常消费还是只是消息采集群组的迁移部署导致的短暂报警。
需要说明的是,上述本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
基于相同的发明构思,本公开还提供了一种异常检测装置。具体结合图6进行详细说明。
图6是根据一示例性实施例示出的一种异常检测装置的结构示意图。如图6所示,该异常检测装置61,应用于服务器,具体可以包括:
采集信息获取模块601,被配置为执行获取第一预设时间段内至少两个消息采集节点的采集信息,采集信息包括消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识;至少两个消息采集节点属于同一个消息采集群组,业务标识用于表征业务种类;
第一种类数目确定模块602,被配置为执行基于第一预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目;
第一报警信息输出模块603,被配置为执行在第一种类数目大于预设数量阈值的情况下,输出与消息采集群组对应的第一报警信息。
本公开实施例通过基于第一预设时间段内获取的同一个消息采集群组中的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集同一个主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。若第一种类数目大于预设数量阈值,则说明同一个消息采集群组中存在至少两个消息采集节点采集的消息对应的业务并不是同一个业务,因此可以确定该消息采集群组在采集该主题下的消息时出现异常。
在本公开的一些实施例中,第一报警信息输出模块603,包括:
采集信息获取单元,被配置为执行在第一种类数目大于预设数量阈值的情况下,获取第二预设时间段内至少两个消息采集节点的采集信息;
第二种类数目确定单元,被配置为执行基于第二预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第二种类数目;
第一报警信息输出单元,被配置为执行在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与消息采集群组对应的第一报警信息;其中,第一时刻为确定第一种类数目大于预设数量阈值的时刻,第二时刻为确定第二种类数目大于预设数量阈值的时刻。
在本公开的一些实施例中,第一报警信息输出单元被配置为执行:
在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,获取第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳;
在确定第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第一报警信息。
其中,第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,第一业务标识集合包括第一预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识,第二业务标识集合包括第二预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识。
其中,第一时间戳为第一预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第二时间戳为第二预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第一消息采集节点为采集第一业务标识对应的业务对应的消息的采集节点;第一消息采集节点的采集信息对应的时间戳为第一消息采集节点发送采集信息的时间戳。
在本公开的一些实施例中,第一报警信息用于提示消息采集群组在采集主题下的消息时出现异常。
在本公开的一些实施例中,异常检测装置61还包括:
第二报警信息输出模块604,被配置为执行在确定第一时刻与第二时刻之间的时长大于预设时长、且第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第二报警信息;
其中,第二报警信息的报警等级高于第一报警信息的报警等级。
在本公开的一些实施例中,第一种类数目确定模块602,被配置为执行:
基于第一预设时间段内获取的至少两个消息采集节点的最新采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。
在本公开的一些实施例中,采集信息获取模块601,被配置为执行:
在所述第一预设时间段内按照预设周期获取至少两个消息采集节点的采集信息。
在本公开的一些实施例中,采集信息还包括消息采集节点发送所述采集信息的时间戳。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于同一发明构思,本公开实施例还提供了一种计算设备,具体结合图7进行详细说明。
图7是根据一示例性实施例示出的一种计算设备的结构框图。
如图7所示,该计算设备7能够实现根据本公开实施例中的异常检测方法以及异常检测装置的计算设备的示例性硬件架构的结构图。该计算设备可以指代本公开实施例中的电子设备以及服务器。
该计算设备7可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(CPU),或者特定集成电路(application specific integrated circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于信息或指令的大容量存储器。举例来说而非限制,存储器702可包括硬盘驱动器(hard disk drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus,USB)驱动器或者两个及其以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在综合网关设备的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。在特定实施例中,存储器702包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存,或者两个或及其以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以执行如下步骤:
处理器701,执行获取第一预设时间段内至少两个消息采集节点的采集信息,采集信息包括消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识;至少两个消息采集节点属于同一个消息采集群组,业务标识用于表征业务种类;基于第一预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目;在第一种类数目大于预设数量阈值的情况下,输出与消息采集群组对应的第一报警信息。
在其中一个实施例中,处理器701,执行在第一种类数目大于预设数量阈值的情况下,获取第二预设时间段内至少两个消息采集节点的采集信息;基于第二预设时间段内获取的至少两个消息采集节点的采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第二种类数目;在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与消息采集群组对应的第一报警信息;其中,第一时刻为确定第一种类数目大于预设数量阈值的时刻,第二时刻为确定第二种类数目大于预设数量阈值的时刻。
在其中一个实施例中,处理器701,执行在第二种类数目大于预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,获取第一预设时间段内第一业务标识对应的第一时间戳与第二预设时间段内第一业务标识对应的第二时间戳;在确定第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第一报警信息;其中,第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,第一业务标识集合包括第一预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识,第二业务标识集合包括第二预设时间段内至少两个消息采集节点采集主题下的消息所对应的业务对应的所有业务标识;其中,第一时间戳为第一预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第二时间戳为第二预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;第一消息采集节点为采集第一业务标识对应的业务对应的消息的采集节点;第一消息采集节点的采集信息对应的时间戳为第一消息采集节点发送采集信息的时间戳。
在其中一个实施例中,处理器701,执行在确定第一时刻与第二时刻之间的时长大于预设时长、且第一时间戳与第二时间戳不同的情况下,输出与消息采集群组对应的第二报警信息;其中,第二报警信息的报警等级高于第一报警信息的报警等级。
在其中一个实施例中,处理器701,执行基于第一预设时间段内获取的至少两个消息采集节点的最新采集信息,在至少两个消息采集节点采集主题下的消息时,确定至少两个消息采集节点采集的消息所对应的业务的第一种类数目。
在本公开的另一些实施例中,处理器701,执行在第一预设时间段内按照预设周期获取至少两个消息采集节点的采集信息。
在一个示例中,该计算设备7还可包括收发器703和总线704。其中,如图7所示,处理器701、存储器702和收发器703通过总线704连接并完成相互间的通信。
总线704包括硬件、软件或两者。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围控件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线704可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
本公开实施例还提供了一种计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本公开实施例所记载的异常检测方法。
本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,计算机程序存储在可读存储介质中,设备的至少一个处理器从存储介质读取并执行计算机程序,以使设备执行本公开实施例所记载的异常检测方法。
在一些可能的实施方式中,本公开提供的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤,例如,计算机设备可以执行本公开实施例所记载的异常检测方法。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开是参照根据本公开的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程异常检测设备的处理器以产生一个机器,使得通过计算机或其他可编程异常检测设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程异常检测设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程消费异常检测设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。
Claims (18)
1.一种异常检测方法,其特征在于,包括:
获取第一预设时间段内至少两个消息采集节点的采集信息,所述采集信息包括消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识;所述至少两个消息采集节点属于同一个消息采集群组,所述业务标识用于表征业务种类;
基于所述第一预设时间段内获取的所述至少两个消息采集节点的采集信息,在所述至少两个消息采集节点采集所述主题下的消息时,确定所述至少两个消息采集节点采集的消息所对应的业务的第一种类数目;
在所述第一种类数目大于预设数量阈值的情况下,输出与所述消息采集群组对应的第一报警信息。
2.根据权利要求1所述的方法,其特征在于,所述在所述第一种类数目大于预设数量阈值的情况下,输出与所述消息采集群组对应的第一报警信息,包括:
在所述第一种类数目大于所述预设数量阈值的情况下,获取第二预设时间段内所述至少两个消息采集节点的采集信息;
基于所述第二预设时间段内获取的所述至少两个消息采集节点的采集信息,在所述至少两个消息采集节点采集所述主题下的消息时,确定所述至少两个消息采集节点采集的消息所对应的业务的第二种类数目;
在所述第二种类数目大于所述预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与所述消息采集群组对应的第一报警信息;其中,所述第一时刻为确定所述第一种类数目大于所述预设数量阈值的时刻,所述第二时刻为确定所述第二种类数目大于所述预设数量阈值的时刻。
3.根据权利要求2所述的方法,其特征在于,所述在所述第二种类数目大于所述预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与所述消息采集群组对应的第一报警信息,包括:
在所述第二种类数目大于所述预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,获取所述第一预设时间段内第一业务标识对应的第一时间戳与所述第二预设时间段内所述第一业务标识对应的第二时间戳;
在确定所述第一时间戳与所述第二时间戳不同的情况下,输出与所述消息采集群组对应的第一报警信息;
其中,所述第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,所述第一业务标识集合包括所述第一预设时间段内所述至少两个消息采集节点采集所述主题下的消息所对应的业务对应的所有业务标识,所述第二业务标识集合包括所述第二预设时间段内所述至少两个消息采集节点采集所述主题下的消息所对应的业务对应的所有业务标识;
其中,所述第一时间戳为所述第一预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;所述第二时间戳为所述第二预设时间段内所有所述第一消息采集节点的采集信息对应的时间戳中的最新时间戳;所述第一消息采集节点为采集所述第一业务标识对应的业务对应的消息的采集节点;所述第一消息采集节点的采集信息对应的时间戳为所述第一消息采集节点发送所述采集信息的时间戳。
4.根据权利要求1所述的方法,其特征在于,所述第一报警信息用于提示所述消息采集群组在采集所述主题下的消息时出现异常。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在确定所述第一时刻与所述第二时刻之间的时长大于所述预设时长、且所述第一时间戳与所述第二时间戳不同的情况下,输出与所述消息采集群组对应的第二报警信息;
其中,所述第二报警信息的报警等级高于所述第一报警信息的报警等级。
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一预设时间段内获取的所述至少两个消息采集节点的采集信息,在所述至少两个消息采集节点采集所述主题下的消息时,确定所述至少两个所述消息采集节点采集的消息所对应的业务的第一种类数目,包括:
基于所述第一预设时间段内获取的所述至少两个消息采集节点的最新采集信息,在所述至少两个消息采集节点采集所述主题下的消息时,确定所述至少两个所述消息采集节点采集的消息所对应的业务的第一种类数目。
7.根据权利要求1所述的方法,其特征在于,所述获取第一预设时间段内至少两个消息采集节点的采集信息,包括:
在所述第一预设时间段内按照预设周期获取至少两个消息采集节点的采集信息。
8.根据权利要求1所述的方法,其特征在于,所述采集信息还包括消息采集节点发送所述采集信息的时间戳。
9.一种异常检测装置,其特征在于,所述装置包括:
采集信息获取模块,被配置为执行获取第一预设时间段内至少两个消息采集节点的采集信息,所述采集信息包括消息采集节点所采集的消息所属主题以及消息采集节点所采集的消息所对应的业务的业务标识;所述至少两个消息采集节点属于同一个消息采集群组,所述业务标识用于表征业务种类;
第一种类数目确定模块,被配置为执行基于所述第一预设时间段内获取的所述至少两个消息采集节点的采集信息,在所述至少两个消息采集节点采集所述主题下的消息时,确定所述至少两个消息采集节点采集的消息所对应的业务的第一种类数目;
第一报警信息输出模块,被配置为执行在所述第一种类数目大于预设数量阈值的情况下,输出与所述消息采集群组对应的第一报警信息。
10.根据权利要求9所述的装置,其特征在于,所述第一报警信息输出模块,包括:
采集信息获取单元,被配置为执行在所述第一种类数目大于所述预设数量阈值的情况下,获取第二预设时间段内所述至少两个消息采集节点的采集信息;
第二种类数目确定单元,被配置为执行基于所述第二预设时间段内获取的所述至少两个消息采集节点的采集信息,在所述至少两个消息采集节点采集所述主题下的消息时,确定所述至少两个消息采集节点采集的消息所对应的业务的第二种类数目;
第一报警信息输出单元,被配置为执行在所述第二种类数目大于所述预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,输出与所述消息采集群组对应的第一报警信息;其中,所述第一时刻为确定所述第一种类数目大于所述预设数量阈值的时刻,所述第二时刻为确定所述第二种类数目大于所述预设数量阈值的时刻。
11.根据权利要求10所述的装置,其特征在于,所述第一报警信息输出单元被配置为执行:
在所述第二种类数目大于所述预设数量阈值,且第一时刻与第二时刻之间的时长大于预设时长时,获取所述第一预设时间段内第一业务标识对应的第一时间戳与所述第二预设时间段内所述第一业务标识对应的第二时间戳;
在确定所述第一时间戳与所述第二时间戳不同的情况下,输出与所述消息采集群组对应的第一报警信息;
其中,所述第一业务标识为第一业务标识集合和第二业务标识集合中均包括的业务标识,所述第一业务标识集合包括所述第一预设时间段内所述至少两个消息采集节点采集所述主题下的消息所对应的业务对应的所有业务标识,所述第二业务标识集合包括所述第二预设时间段内所述至少两个消息采集节点采集所述主题下的消息所对应的业务对应的所有业务标识;
其中,所述第一时间戳为所述第一预设时间段内所有第一消息采集节点的采集信息对应的时间戳中的最新时间戳;所述第二时间戳为所述第二预设时间段内所有所述第一消息采集节点的采集信息对应的时间戳中的最新时间戳;所述第一消息采集节点为采集所述第一业务标识对应的业务对应的消息的采集节点;所述第一消息采集节点的采集信息对应的时间戳为所述第一消息采集节点发送所述采集信息的时间戳。
12.根据权利要求9所述的装置,其特征在于,所述第一报警信息用于提示所述消息采集群组在采集所述主题下的消息时出现异常。
13.根据权利要求11所述的装置,其特征在于,所述装置还包括:
第二报警信息输出模块,被配置为执行在确定所述第一时刻与所述第二时刻之间的时长大于所述预设时长、且所述第一时间戳与所述第二时间戳不同的情况下,输出与所述消息采集群组对应的第二报警信息;
其中,所述第二报警信息的报警等级高于所述第一报警信息的报警等级。
14.根据权利要求9所述的装置,其特征在于,所述第一种类数目确定模块,被配置为执行:
基于所述第一预设时间段内获取的所述至少两个消息采集节点的最新采集信息,在所述至少两个消息采集节点采集所述主题下的消息时,确定所述至少两个所述消息采集节点采集的消息所对应的业务的第一种类数目。
15.根据权利要求9所述的装置,其特征在于,所述采集信息获取模块,被配置为执行:
在所述第一预设时间段内按照预设周期获取至少两个消息采集节点的采集信息。
16.根据权利要求9所述的装置,其特征在于,所述采集信息还包括消息采集节点发送所述采集信息的时间戳。
17.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至8中任一项所述的异常检测方法。
18.一种计算机存储介质,其特征在于,当所述存储介质中的指令由异常检测装置或者电子设备的处理器执行时,以使所述异常检测装置或者所述电子设备实现如权利要求1至8中任一项所述的异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011505034.8A CN112615920B (zh) | 2020-12-18 | 2020-12-18 | 异常检测方法、装置、电子设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011505034.8A CN112615920B (zh) | 2020-12-18 | 2020-12-18 | 异常检测方法、装置、电子设备、存储介质及程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112615920A CN112615920A (zh) | 2021-04-06 |
CN112615920B true CN112615920B (zh) | 2023-03-14 |
Family
ID=75241139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011505034.8A Active CN112615920B (zh) | 2020-12-18 | 2020-12-18 | 异常检测方法、装置、电子设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112615920B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197233A (zh) * | 2017-12-29 | 2018-06-22 | 飞狐信息技术(天津)有限公司 | 一种数据管理方法、中间件及数据管理系统 |
CN109788026A (zh) * | 2018-12-13 | 2019-05-21 | 新华三大数据技术有限公司 | 消息处理方法及装置 |
CN111338814A (zh) * | 2020-02-13 | 2020-06-26 | 北京奇艺世纪科技有限公司 | 消息处理方法和装置、存储介质和电子装置 |
CN111866045A (zh) * | 2019-04-29 | 2020-10-30 | 京东数字科技控股有限公司 | 信息处理方法及其装置、计算机系统及计算机可读介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10289383B2 (en) * | 2016-07-28 | 2019-05-14 | International Business Machines Corporation | Cross object synchronization |
-
2020
- 2020-12-18 CN CN202011505034.8A patent/CN112615920B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197233A (zh) * | 2017-12-29 | 2018-06-22 | 飞狐信息技术(天津)有限公司 | 一种数据管理方法、中间件及数据管理系统 |
CN109788026A (zh) * | 2018-12-13 | 2019-05-21 | 新华三大数据技术有限公司 | 消息处理方法及装置 |
CN111866045A (zh) * | 2019-04-29 | 2020-10-30 | 京东数字科技控股有限公司 | 信息处理方法及其装置、计算机系统及计算机可读介质 |
CN111338814A (zh) * | 2020-02-13 | 2020-06-26 | 北京奇艺世纪科技有限公司 | 消息处理方法和装置、存储介质和电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112615920A (zh) | 2021-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110213068B (zh) | 一种消息中间件的监控方法及相关设备 | |
CN112311617A (zh) | 一种配置化数据监控告警方法及系统 | |
CN113918376B (zh) | 故障检测方法、装置、设备及计算机可读存储介质 | |
CN113190423B (zh) | 业务数据的监控方法、装置及系统 | |
CN110888783A (zh) | 微服务系统的监测方法、装置以及电子设备 | |
CN113807549A (zh) | 一种告警消息推送方法、装置、设备和存储介质 | |
CN112636979B (zh) | 一种集群告警方法及相关装置 | |
CN112395156A (zh) | 故障的告警方法和装置、存储介质和电子设备 | |
CN111130867B (zh) | 一种基于物联网的智能家居设备告警方法及装置 | |
CN108039971A (zh) | 一种告警方法及装置 | |
CN114328107A (zh) | 光磁融合存储服务器集群的监控方法、系统及电子设备 | |
CN112615920B (zh) | 异常检测方法、装置、电子设备、存储介质及程序产品 | |
CN108248641A (zh) | 一种城市轨道交通数据处理方法及装置 | |
CN107612755A (zh) | 一种云资源的管理方法及其装置 | |
CN115658441B (zh) | 一种基于日志的家政业务系统异常监控方法、设备及介质 | |
CN112242917A (zh) | 一种车联网服务质量检测方法及系统 | |
CN110601885A (zh) | 一种人工智能公有云异常指示报警系统 | |
CN112860527A (zh) | 应用服务器的故障监测方法及装置 | |
CN112199207A (zh) | 一种报警信息推送方法、装置、系统、设备及介质 | |
CN106777010B (zh) | 日志的提供方法、装置以及日志的获取方法、装置和系统 | |
CN115208895B (zh) | 一种用于区块链技术的自动化组网方法及系统 | |
CN114422324B (zh) | 一种告警信息的处理方法、装置、电子设备及存储介质 | |
CN112491589B (zh) | 一种对象存储网络预警方法、系统、终端及存储介质 | |
CN118660291B (zh) | 一种移动应用软件流量检测系统及方法 | |
CN116244150A (zh) | 一种业务数据处理监控方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |