CN117499265A - 一种异常处理方法、装置、电子设备及计算机可读介质 - Google Patents
一种异常处理方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN117499265A CN117499265A CN202311420262.9A CN202311420262A CN117499265A CN 117499265 A CN117499265 A CN 117499265A CN 202311420262 A CN202311420262 A CN 202311420262A CN 117499265 A CN117499265 A CN 117499265A
- Authority
- CN
- China
- Prior art keywords
- data
- abnormal
- real
- historical
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 17
- 230000005856 abnormality Effects 0.000 title claims description 15
- 238000003672 processing method Methods 0.000 title description 2
- 230000002159 abnormal effect Effects 0.000 claims abstract description 202
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000004891 communication Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000002547 anomalous effect Effects 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了异常处理方法、装置、电子设备及计算机可读介质,涉及计算机技术领域,一具体实施方式包括获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据;获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据;根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。可以自动化采集、分析和展示数据,大大简化了运维人员的工作量,提高了工作效率,同时也降低了出错的概率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种异常处理方法、装置、电子设备及计算机可读介质。
背景技术
目前,不同的服务组件之间通过网络协议TCP/HTTP来进行数据通信,不同的组件实现的技术栈一般都不同,组件数量过于庞大,不便于理清组件间的上下游依赖,没有有效手段查看当前系统的流量异常指标。
发明内容
有鉴于此,本申请实施例提供一种异常处理方法、装置、电子设备及计算机可读介质,能够解决现有的在进行数据通信时,通信组件数量过于庞大,不便于理清组件间的上下游依赖,没有有效手段查看当前系统的流量异常指标的问题。
为实现上述目的,根据本申请实施例的一个方面,提供了一种异常处理方法,包括:
获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据;
获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据;
根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。
可选地,获取实时数据,包括:
响应于检测到目标组件返回的业务通信数据,实时获取业务通信数据。
可选地,将分组数据与历史异常数据进行匹配,包括:
根据历史异常数据,生成对应于预设维度的历史异常数据的折线图;
将分组数据映射至历史异常数据的折线图,以生成对应的各个实时数据点;
将各个实时数据点与历史异常数据的折线图中的各个节点进行匹配。
可选地,将实时数据点与历史异常数据的折线图中的各个节点进行匹配,包括:
将历史异常数据,根据一段时间范围,计算出指标数据的上区间范围和下区间范围;
将实时数据点对应的数据,与历史异常数据的上区间范围和下区间范围进行比较,在上区间范围和下区间范围内的数据为正常数据,不在上区间范围和下区间范围内的数据则为异常数据。
可选地,确定分组数据中的异常数据,包括:
将与历史异常数据的折线图中的节点相匹配的实时数据点对应的实时数据确定为异常数据。
可选地,根据异常数据定位对应的异常节点,包括:
获取异常数据对应的业务分组的全链路数据;
确定全链路数据对应的业务组件,进而将全链路数据基于业务组件进行分组,以得到业务组件数据;
将各个业务组件数据与对应的预设阈值进行比较,以确定出发生异常的业务组件。
可选地,获取异常数据对应的业务分组的全链路数据,包括:
获取异常数据对应的源端标识和目的端标识;
根据源端标识和目的端标识,确定对应的全链路;
获取全链路对应的全链路数据。
另外,本申请还提供了一种异常处理装置,包括:
获取单元,被配置成获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据;
匹配单元,被配置成获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据;
异常处理单元,被配置成根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。
可选地,获取单元进一步被配置成:
响应于检测到目标组件返回的业务通信数据,实时获取业务通信数据。
可选地,匹配单元进一步被配置成:
根据历史异常数据,生成对应于预设维度的历史异常数据的折线图;
将分组数据映射至历史异常数据的折线图,以生成对应的各个实时数据点;
将各个实时数据点与历史异常数据的折线图中的各个节点进行匹配。
可选地,匹配单元进一步被配置成:
将历史异常数据,根据一段时间范围,计算出指标数据的上区间范围和下区间范围;
将实时数据点对应的数据,与历史异常数据的上区间范围和下区间范围进行比较,在上区间范围和下区间范围内的数据为正常数据,不在上区间范围和下区间范围内的数据则为异常数据。
可选地,匹配单元进一步被配置成:
将与历史异常数据的折线图中的节点相匹配的实时数据点对应的实时数据确定为异常数据。
可选地,异常处理单元进一步被配置成:
获取异常数据对应的业务分组的全链路数据;
确定全链路数据对应的业务组件,进而将全链路数据基于业务组件进行分组,以得到业务组件数据;
将各个业务组件数据与对应的预设阈值进行比较,以确定出发生异常的业务组件。
可选地,异常处理单元进一步被配置成:
获取异常数据对应的源端标识和目的端标识;
根据源端标识和目的端标识,确定对应的全链路;
获取全链路对应的全链路数据。
另外,本申请还提供了一种异常处理电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述的异常处理方法。
另外,本申请还提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述的异常处理方法。
为实现上述目的,根据本申请实施例的又一个方面,提供了一种计算机程序产品。
本申请实施例的一种计算机程序产品,包括计算机程序,程序被处理器执行时实现本申请实施例提供的异常处理方法。
上述发明中的一个实施例具有如下优点或有益效果:本申请通过获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据;获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据;根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。可以自动化采集、分析和展示数据,大大简化了运维人员的工作量,提高了工作效率,同时也降低了出错的概率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本申请,不构成对本申请的不当限定。其中:
图1是根据本申请一个实施例的异常处理方法的主要流程的示意图;
图2是根据本申请一个实施例的异常处理方法的主要流程示意图;
图3是根据本申请一个实施例的异常处理方法的主要流程示意图;
图4是根据本申请实施例的异常处理装置的主要单元的示意图;
图5是本申请实施例可以应用于其中的示例性系统架构图;
图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,本申请的技术方案中,所涉及的用户个人信息的采集、分析、使用、传输、存储等方面,均符合相关法律法规的规定,被用于合法且合理的用途,不在这些合法使用等方面之外共享、泄露或出售,并且接受监管部门的监督管理。应当对用户个人信息采取必要措施,以防止对此类个人信息数据的非法访问,确保有权访问个人信息数据的人员遵守相关法律法规的规定,确保用户个人信息安全。一旦不再需要这些用户个人信息数据,应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。
当使用时,包括在某些相关应用程序中,通过对数据去标识来保护用户隐私,例如在使用时通过移除特定标识符、控制所存储数据的量或特异性、控制数据如何被存储、和/或其他方法去标识。
图1是根据本申请一个实施例的异常处理方法的主要流程的示意图,如图1所示,异常处理方法包括:
步骤S101,获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据。
本实施例中,异常处理方法的执行主体(例如,可以是服务器)可以通过有线连接或无线连接的方式,获取实时数据。具体地,实时数据例如可以是中央处理器、内存、读写、网络流量数据等,本申请实施例对实时数据不做具体限定。预设维度,例如可以是时延维度、错误率维度、请求率维度等,本申请实施例对预设维度不做具体限定。以预设维度为聚类中心,对所获取的实时数据进行聚类分组,以得到对应于预设维度的分组数据。
具体地,获取实时数据,包括:响应于检测到目标组件返回的业务通信数据,实时获取业务通信数据。
目标组件,例如可以是用于监测业务通信数据的产生或更新的组件。当业务通信数据产生或更新时,目标组件向执行主体实时返回产生或更新的业务通信数据。示例的,目标组件包括:应用进程、容器进程;其中,进程实现的编程语言如python/php/java/c++/golang/nodejs等。
示例的,实时获取的业务通信数据包含:通过网络协议TCP、HTTP实现的程序的请求、响应数据,例如时延、错误率、请求率等数据。
示例的,执行主体可以通过基于容器技术的分布式架构解决方案(Kubernetes,k8s)接口API,获取组件信息,例如:POD容器的内部IP、服务service域名及对应的虚拟IP。其中,POD容器是Kubernetes中最小的可部署单元。一个POD容器组包含了一个应用程序容器、存储资源、一个唯一的网络IP地址以及一些确定容器该如何运行的选项。POD容器组代表了Kubernetes一个独立的应用程序运行实例,该实例可以由单个容器或者几个紧耦合在一起的容器组成。基于linux eBPF内核技术,当组件当发现业务通信时,基于业务事件,实时采集,分析出获取业务通信时的所有组件的数据。具体地,获取的实时数据可以包括:组件进程当前使用的中央处理CPU、内存、磁盘IO速率、网络流量发/收速率、网络发送数据包、网络接收数据包。支持的通信协议有:HTTP、GRPC、MYSQL、POSTGRESQL、REDIS、KAFKA、DNS、TCP。
根据业务通信时,通信协议的源端IP和目的地IP的对应关系,梳理出具体业务的全链路调用。如A->B,B->C,C->D,那么对应具体的一条业务,A、B、C、D四个组件就是一组。根据应用层协议的流量数据,分析出流量指标数据(如时延、错误率、请求率)。
步骤S102,获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据。
作为本申请实施例的一种实现方式,执行主体可以对历史异常数据基于预设维度进行分组,以得到历史异常分组数据。其中,预设维度,例如可以是时延维度、错误率维度、请求率维度等。进而,执行主体可以将分组数据与各个历史异常分组数据基于对应的预设维度进行匹配,将互相匹配的分组数据与历史异常分组数据计算相似度,将相似度大于预设阈值的分组数据中的数据确定为异常数据。
示例的,执行主体可以将各个分组数据进行分词处理,以得到各个分词,分词处理的原则为保留上下文语义,分得的词语需要具有具体且清楚的含义,将各个分词与历史异常分组数据进行相似度计算,将高于预设阈值的相似度对应的分词确定为分组数据中的异常数据。从而使得对异常数据的确定更准确。
本申请实施例中,执行主体可以根据业务分组,将采集数据进行磁盘持久化存储,并根据业务需要设定磁盘持久化存储的时长,默认设置时长为一个月。示例的,执行主体可以根据历史异常数据,针对每条具体的业务分析数据,形成业务的各个不同指标的历史曲线图,并计算出相关的统计数据,平均数据。
业务的各个不同指标的历史曲线图,例如:CPU使用率的历史曲线图、内存使用率的历史曲线图、磁盘IO速率的历史曲线图、网络流量发/收速率的历史曲线图、流量指标数据(如时延、错误率、请求率)的历史曲线图。将分组数据与业务的各个不同指标的历史曲线图进行相似度匹配,以得到分组数据中的异常数据。
步骤S103,根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。
执行主体可以获取预设的公共数据库,并将异常数据与公共数据库中的数据进行比较,以确定出所述异常数据中的节点私有数据,根据所述节点私有数据确定对应的异常节点。
具体地,根据节点私有数据确定对应的异常节点,包括:根据节点私有数据生成节点画像,根据节点画像确定对应的异常节点。
具体地,根据节点私有数据生成节点画像,包括:基于与节点相关的预设维度提取节点私有数据的相关特征,根据提取的相关特征生成对应的节点画像。通过节点画像来确定异常节点可以使得对异常节点的确定更准确。
具体地,根据异常数据定位对应的异常节点,包括:获取异常数据对应的业务分组的全链路数据;确定全链路数据对应的业务组件,进而将全链路数据基于业务组件进行分组,以得到业务组件数据;将各个业务组件数据与对应的预设阈值进行比较,以确定出发生异常的业务组件。
具体地,获取异常数据对应的业务分组的全链路数据,包括:获取异常数据对应的源端标识(例如A)和目的端标识(例如B);根据源端标识(例如A)和目的端标识(例如B),确定对应的全链路(例如A->B,B->C,C->D);获取全链路对应的全链路数据,例如A组件对应的时延数据、B组件对应的错误率数据、C组件对应的请求率数据、D组件对应的报警数据。
示例的,异常数据例如可以是B,则异常数据对应的全链路数据,例如A->B,B->C,C->D。全链路数据对应的业务组件例如可以是A组件、B组件、C组件、D组件。将全链路数据基于A组件、B组件、C组件、D组件进行分组,以得到各个业务组件数据。例如A组件对应的时延数据、B组件对应的错误率数据、C组件对应的请求率数据、D组件对应的报警数据。分别将各个业务组件数据与预设阈值进行比较,将超过预设阈值的业务组件数据对应的组件确定为发生异常的业务组件,从而更准确地确定出发生异常的业务组件,为异常节点的定位奠定基础。
示例的,在定位异常节点时,执行主体可以根据每条指标数据,设定不同的异常触发的最大、最小阈值。当采集到某条业务的实时指标数据的值,超出异常触发的最大、最小阈值时,系统自动筛选出该异常数据,分析出该业务分组的全链路概况。通过后台数据对比分析,实时定位出该异常指标数据对应的业务组件(即异常节点),及时告警。
本实施例通过获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据;获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据;根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。可以自动化采集、分析和展示数据,大大简化了运维人员的工作量,提高了工作效率,同时也降低了出错的概率。
图2是根据本申请一个实施例的异常处理方法的主要流程示意图,如图2所示,异常处理方法包括:
步骤S201,获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据。
步骤S202,获取历史异常数据。
历史异常数据,例如可以包括历史高时延数据、历史高错误率数据、历史高请求率数据等,本申请实施例对历史异常数据不做具体限定。
步骤S203,根据历史异常数据,生成对应于预设维度的历史异常数据的折线图。
根据历史异常数据可以生成历史曲线图,也可以生成折线图,本申请实施例对历史异常数据得到的图的类型和形式不做具体限定。
将历史发生异常的数据对应的维度作为横坐标,将历史发生异常的数据量作为纵坐标,绘制对应于历史异常数据的预设维度的历史异常数据的折线图。
步骤S204,将分组数据映射至历史异常数据的折线图,以生成对应的各个实时数据点。
确定出分组数据对应的维度,以及分组数据对应的数据量,并绘至由历史异常数据得到的历史异常数据的折线图中,以得到分组数据对应的节点,也就是分组数据对应的各个实时数据点。
执行主体可以获取历史异常数据的折线图的横坐标数据和纵坐标数据,进而可以基于横坐标数据和纵坐标数据提取各个分组数据的对应数据,并基于该对应数据在历史异常数据的折线图中绘制相应的点,以得到分组数据对应的各个实时数据点。其中,横坐标数据可以包括横坐标的单位、数量级等数据,纵坐标数据可以包括纵坐标的单位、数量级等数据。
步骤S205,将各个实时数据点与历史异常数据的折线图中的各个节点进行匹配。
确定各个实时数据点在历史数据历史异常数据的折线图中的位置,以确定各个实时数据点是否与历史数据历史异常数据的折线图中历史异常数据对应的节点相重合或距离相近,这里的相近指的是距离小于预设阈值。若在历史数据历史异常数据的折线图中存在与各个实时数据点相同或相近的节点,则确定在历史数据历史异常数据的折线图中有与各个实时数据点相匹配的节点。则将匹配到节点的实时数据点对应的实时数据中的分组数据确定为异常数据。
步骤S206,确定分组数据中的异常数据。
具体地,确定分组数据中的异常数据,包括:将与历史异常数据的折线图中的节点相匹配的实时数据点对应的实时数据确定为异常数据。
这里的相匹配指的是相重合或距离相近。
步骤S207,根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。
异常数据可以对应一种或者多种组件,将对应的一种或者多种组件确定为异常节点。基于异常节点生成的提示信息可以为语音提示信息或者邮件、短信提示信息,本申请实施例对提示信息的形式不做具体限定。可以自动化采集、分析和展示数据,大大简化了运维人员的工作量,提高了工作效率,同时也降低了出错的概率。
图3是根据本申请一个实施例的异常处理方法的主要流程示意图,如图3所示,异常处理方法包括:
步骤S301,获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据。
实时数据例如可以是服务组件间网络协议调用的流量指标数据。对实时数据的分组可以基于组件类型,也可以基于预设检测时间段,本申请实施例对分组数据的分组方法不做具体限定。
步骤S302,获取历史异常数据。
历史异常数据,例如可以是历史错误率高于阈值的数据、历史在某一时段的时延高于阈值的数据等,本申请实施例对历史异常数据不做具体限定。
步骤S303,根据历史异常数据,生成对应于预设维度的历史异常数据的折线图。
历史异常数据的折线图的生成,横坐标可以是时间点或者时间段,纵坐标可以是产生异常的数据类型或者数据量等,本申请实施例对历史异常数据的折线图的生成方式不做具体限定。
步骤S304,将分组数据映射至历史异常数据的折线图,以生成对应的各个实时数据点。
根据历史异常数据的折线图的横纵坐标的含义,将分组数据转换成相应历史异常数据的折线图中的节点,以得到各个对应的实时数据点。
步骤S305,将历史异常数据,根据一段时间范围,计算出指标数据的上区间范围和下区间范围。
在一段时间范围,具体可以是由用户设定的时间范围,确定历史异常数据对应的历史异常数据的折线图中与预设的指标数据对应的上区间范围和下区间范围。其中,预设的指标数据例如可以是预设时延、预设错误率或者预设请求率等,本申请实施例对预设的指标数据不做具体限定。通过预设的指标数据可以更灵活定制用于确定异常数据的阈值,提高对于异常数据确定的灵活性。
步骤S306,将实时数据点对应的数据,与历史异常数据的上区间范围和下区间范围进行比较,在上区间范围和下区间范围内的数据为正常数据,不在上区间范围和下区间范围内的数据则为异常数据。
当实时数据点落在上区间范围和下区间范围之间时则为正常数据,若实时数据在上区间范围和下区间范围之外则为异常数据。从而能够准确、快速地确定出异常数据。
步骤S307,确定分组数据中的异常数据。
在一些实施例中,还可以将分组数据进行二次分组,具体可以将分组数据执行分词处理,以得到各个分词,将各个分词映射到历史异常数据的折线图中以得到各个分词节点,将各个分词节点与历史异常数据的折线图中的各个节点进行匹配,将匹配到的分词节点对应的分词确定为异常数据,以更精确地确定出分组数据中对应于异常的分词,将该对应于异常的分词确定为分组数据中的异常数据。具体地,执行主体可以调用分词模型以将分组数据进行分词,本申请实施例对分词方法不做具体限定。
步骤S308,根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。
本申请实施例基于Linux内核eBPF技术的流量数据采集,既可靠又高效,为网络安全和性能优化提供了有力的支持和保障。对应用程序的运行状态进行实时监控和分析,快速发现异常情况并告警,帮助运维人员及时进行处理,降低了故障排查时间和成本。自动化采集、分析和展示数据,运维人员无需编写复杂的监控脚本和展示界面,只需要配置和管理相应的参数即可。这大大简化了运维人员的工作量,提高了工作效率,同时也降低了出错的概率。
图4是根据本申请实施例的异常处理装置的主要单元的示意图。如图4所示,异常处理装置400包括获取单元401、匹配单元402和异常处理单元403。
获取单元401,被配置成获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据。
匹配单元402,被配置成获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据。
异常处理单元403,被配置成根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。
在一些实施例中,获取单元401进一步被配置成:响应于检测到目标组件返回的业务通信数据,实时获取业务通信数据。
在一些实施例中,匹配单元402进一步被配置成:根据历史异常数据,生成对应于预设维度的历史异常数据的折线图;将分组数据映射至历史异常数据的折线图,以生成对应的各个实时数据点;将各个实时数据点与历史异常数据的折线图中的各个节点进行匹配。
在一些实施例中,匹配单元402进一步被配置成:将历史异常数据,根据一段时间范围,计算出指标数据的上区间范围和下区间范围;将实时数据点对应的数据,与历史异常数据的上区间范围和下区间范围进行比较,在上区间范围和下区间范围内的数据为正常数据,不在上区间范围和下区间范围内的数据则为异常数据。
在一些实施例中,匹配单元402进一步被配置成:将与历史异常数据的折线图中的节点相匹配的实时数据点对应的实时数据确定为异常数据。
在一些实施例中,异常处理单元403进一步被配置成:获取异常数据对应的业务分组的全链路数据;确定全链路数据对应的业务组件,进而将全链路数据基于业务组件进行分组,以得到业务组件数据;将各个业务组件数据与对应的预设阈值进行比较,以确定出发生异常的业务组件。
在一些实施例中,异常处理单元403进一步被配置成:获取异常数据对应的源端标识和目的端标识;根据源端标识和目的端标识,确定对应的全链路;获取全链路对应的全链路数据。
需要说明的是,本申请的异常处理方法和异常处理装置在具体实施内容上具有相应关系,故重复内容不再说明。
图5示出了可以应用本申请实施例的异常处理方法或异常处理装置的示例性系统架构500。
如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有异常处理屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所获取的实时数据提供支持的后台管理服务器(仅为示例)。后台管理服务器可以获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据;获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据;根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。可以自动化采集、分析和展示数据,大大简化了运维人员的工作量,提高了工作效率,同时也降低了出错的概率。
需要说明的是,本申请实施例所提供的异常处理方法一般由服务器505执行,相应地,异常处理装置一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本申请实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本申请公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、匹配单元和异常处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备获取实时数据,调用分组程序以对实时数据基于预设维度进行分组,以生成分组数据;获取历史异常数据,进而将分组数据与历史异常数据进行匹配,以确定分组数据中的异常数据;根据异常数据定位对应的异常节点,基于异常节点生成提示信息并输出。
本申请的计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请实施例中的异常处理方法。
根据本申请实施例的技术方案,可以自动化采集、分析和展示数据,大大简化了运维人员的工作量,提高了工作效率,同时也降低了出错的概率。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (16)
1.一种异常处理方法,其特征在于,包括:
获取实时数据,调用分组程序以对所述实时数据基于预设维度进行分组,以生成分组数据;
获取历史异常数据,进而将所述分组数据与所述历史异常数据进行匹配,以确定所述分组数据中的异常数据;
根据所述异常数据定位对应的异常节点,基于所述异常节点生成提示信息并输出。
2.根据权利要求1所述的方法,其特征在于,所述获取实时数据,包括:
响应于检测到目标组件返回的业务通信数据,实时获取所述业务通信数据。
3.根据权利要求1所述的方法,其特征在于,所述将所述分组数据与所述历史异常数据进行匹配,包括:
根据所述历史异常数据,生成对应于所述预设维度的历史异常数据的折线图;
将所述分组数据映射至所述历史异常数据的折线图,以生成对应的各个实时数据点;
将所述各个实时数据点与所述历史异常数据的折线图中的各个节点进行匹配。
4.根据权利要求3所述的方法,其特征在于,所述将所述实时数据点与所述历史异常数据的折线图中的各个节点进行匹配,包括:
将所述历史异常数据,根据一段时间范围,计算出指标数据的上区间范围和下区间范围;
将实时数据点对应的数据,与所述历史异常数据的所述上区间范围和下区间范围进行比较,在所述上区间范围和下区间范围内的数据为正常数据,不在所述上区间范围和下区间范围内的数据则为异常数据。
5.根据权利要求4所述的方法,其特征在于,所述确定所述分组数据中的异常数据,包括:
将与所述历史异常数据的折线图中的节点相匹配的实时数据点对应的实时数据确定为异常数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述异常数据定位对应的异常节点,包括:
获取所述异常数据对应的业务分组的全链路数据;
确定所述全链路数据对应的业务组件,进而将所述全链路数据基于所述业务组件进行分组,以得到业务组件数据;
将各个所述业务组件数据与对应的预设阈值进行比较,以确定出发生异常的业务组件。
7.根据权利要求6所述的方法,其特征在于,所述获取所述异常数据对应的业务分组的全链路数据,包括:
获取所述异常数据对应的源端标识和目的端标识;
根据所述源端标识和所述目的端标识,确定对应的全链路;
获取所述全链路对应的全链路数据。
8.一种异常处理装置,其特征在于,包括:
获取单元,被配置成获取实时数据,调用分组程序以对所述实时数据基于预设维度进行分组,以生成分组数据;
匹配单元,被配置成获取历史异常数据,进而将所述分组数据与所述历史异常数据进行匹配,以确定所述分组数据中的异常数据;
异常处理单元,被配置成根据所述异常数据定位对应的异常节点,基于所述异常节点生成提示信息并输出。
9.根据权利要求8所述的装置,其特征在于,所述获取单元进一步被配置成:
响应于检测到目标组件返回的业务通信数据,实时获取所述业务通信数据。
10.根据权利要求8所述的装置,其特征在于,所述匹配单元进一步被配置成:
根据所述历史异常数据,生成对应于所述预设维度的历史异常数据的折线图;
将所述分组数据映射至所述历史异常数据的折线图,以生成对应的各个实时数据点;
将所述各个实时数据点与所述历史异常数据的折线图中的各个节点进行匹配。
11.根据权利要求10所述的装置,其特征在于,所述匹配单元进一步被配置成:
将所述历史异常数据,根据一段时间范围,计算出指标数据的上区间范围和下区间范围;
将实时数据点对应的数据,与所述历史异常数据的所述上区间范围和下区间范围进行比较,在所述上区间范围和下区间范围内的数据为正常数据,不在所述上区间范围和下区间范围内的数据则为异常数据。
12.根据权利要求11所述的装置,其特征在于,所述匹配单元进一步被配置成:
将与所述历史异常数据的折线图中的节点相匹配的实时数据点对应的实时数据确定为异常数据。
13.根据权利要求8所述的装置,其特征在于,所述异常处理单元进一步被配置成:
获取所述异常数据对应的业务分组的全链路数据;
确定所述全链路数据对应的业务组件,进而将所述全链路数据基于所述业务组件进行分组,以得到业务组件数据;
将各个所述业务组件数据与对应的预设阈值进行比较,以确定出发生异常的业务组件。
14.一种异常处理电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
15.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311420262.9A CN117499265A (zh) | 2023-10-30 | 2023-10-30 | 一种异常处理方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311420262.9A CN117499265A (zh) | 2023-10-30 | 2023-10-30 | 一种异常处理方法、装置、电子设备及计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117499265A true CN117499265A (zh) | 2024-02-02 |
Family
ID=89669990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311420262.9A Pending CN117499265A (zh) | 2023-10-30 | 2023-10-30 | 一种异常处理方法、装置、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117499265A (zh) |
-
2023
- 2023-10-30 CN CN202311420262.9A patent/CN117499265A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107809331B (zh) | 识别异常流量的方法和装置 | |
CN111124819B (zh) | 全链路监控的方法和装置 | |
CN112636957B (zh) | 基于日志的预警方法、装置、服务器及存储介质 | |
WO2015018226A1 (en) | Method,apparatus,and system for monitoring website | |
CN112184154A (zh) | 一种业务审批方法和装置 | |
CN110727560A (zh) | 云服务报警方法及装置 | |
US10554701B1 (en) | Real-time call tracing in a service-oriented system | |
CN110347694B (zh) | 一种基于物联网的设备监控方法、装置及系统 | |
CN110795315A (zh) | 监控业务的方法和装置 | |
CN111598713B (zh) | 基于相似度权重更新的团伙识别方法、装置及电子设备 | |
CN107819745B (zh) | 异常流量的防御方法和装置 | |
CN111064656A (zh) | 数据管理方法、装置、系统、存储介质及电子设备 | |
CN110727563A (zh) | 预设客户的云服务报警方法及装置 | |
CN114490715A (zh) | 一种数据提取方法、装置、电子设备及存储介质 | |
CN117499265A (zh) | 一种异常处理方法、装置、电子设备及计算机可读介质 | |
CN109218062B (zh) | 基于置信区间的互联网业务报警方法和装置 | |
CN116703555A (zh) | 一种预警方法、装置、电子设备及计算机可读介质 | |
CN114648012A (zh) | 一种票据处理方法、装置、电子设备及计算机可读介质 | |
CN113282455A (zh) | 一种监控处理方法和装置 | |
CN113114611A (zh) | 黑名单管理的方法和装置 | |
CN117170821B (zh) | 一种业务处理方法、装置、电子设备及计算机可读介质 | |
CN117195204B (zh) | 异常数据检测方法、装置、电子设备及计算机可读介质 | |
US11863704B2 (en) | Call limiting using burst detection | |
CN114710354B (zh) | 异常事件检测方法及装置、存储介质及电子设备 | |
CN116450622B (zh) | 数据入库的方法、装置、设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |