CN112099983A - 服务异常处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
服务异常处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112099983A CN112099983A CN202011000817.0A CN202011000817A CN112099983A CN 112099983 A CN112099983 A CN 112099983A CN 202011000817 A CN202011000817 A CN 202011000817A CN 112099983 A CN112099983 A CN 112099983A
- Authority
- CN
- China
- Prior art keywords
- service
- data
- abnormal
- per
- outlier factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 11
- 238000013499 data model Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013450 outlier detection Methods 0.000 description 3
- 238000013024 troubleshooting Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明的实施例提供了一种服务异常处理方法、装置、电子设备和计算机可读存储介质，涉及互联网技术领域，方法包括：周期性地获取服务的每秒请求数并进行存储，然后根据服务的历史每秒请求数以及设定算法，判断当前获取到的服务的每秒请求数是否存在异常，进而根据当前获取到的服务的每秒请求数是否存在异常判断服务是否存在异常，从而可靠地实现服务的异常检测。
Description
技术领域
本发明涉及互联网技术领域，具体而言，涉及一种服务异常处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着互联网的快速发展，越来越多的应用服务进入人们的工作、生活中，相应地，服务的可靠与否成为本领域关注的重点，如何可靠地进行服务异常检测为需要考虑的问题。
发明内容
本发明的目的包括，例如，提供了一种服务异常处理方法、装置、电子设备和计算机可读存储介质，其能够可靠地进行服务异常检测。
本发明的实施例可以这样实现：
第一方面，本发明实施例提供一种服务异常处理方法，包括：
周期性地获取服务的每秒请求数并进行存储；
根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常；
根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常。
在可选的实施方式中，所述周期性地获取服务的每秒请求数并进行存储，包括：
将每个客户端对服务的每个请求进行记录，每隔一秒统计所述服务的每秒请求数；
将当前时间以及统计得到的当前时间所述服务的每秒请求数写入数据库中。
在可选的实施方式中，所述根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常，包括：
读取最近的设定时间段内所述服务的N个历史每秒请求数；
将所述N个历史每秒请求数中，最近的第一时间段内的数据划分为第一数据集，将所述最近的第一时间段之前的数据划分为第二数据集；
基于局部离群因子检测算法对所述第二数据集进行训练，形成历史数据模型；
根据所述局部离群因子检测算法及所述历史数据模型判断所述第一数据集中每个数据的离群因子，根据所述第一数据集中每个数据的离群因子判断所述服务的每秒请求数是否存在异常。
在可选的实施方式中，所述根据所述第一数据集中每个数据的离群因子判断所述服务的每秒请求数是否存在异常，包括：
判断所述第一数据集中每个数据的离群因子是否超过设定的离群因子阈值，若所述第一数据集中超过所述设定的离群因子阈值的数据达到预设条件，则判定所述服务的每秒请求数存在异常；若所述第一数据集中超过所述设定的离群因子阈值的数据未达到所述预设条件，则判定所述服务的每秒请求数未存在异常；
所述根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常，包括：若判定所述服务的每秒请求数存在异常，则判定所述服务存在异常；若判定所述服务的每秒请求数未存在异常，则判定所述服务未存在异常。
在可选的实施方式中，所述预设条件包括：所述第一数据集中每个数据的离群因子均超过所述设定的离群因子阈值。
在可选的实施方式中，所述方法还包括：
在判定所述服务存在异常时，分析超过所述设定的离群因子阈值的数据所来自的客户端；
根据超过所述设定的离群因子阈值的数据所来自的客户端的分布情况，判断所述服务异常来自于客户端还是所述服务本身。
在可选的实施方式中，所述方法还包括：在判定所述服务存在异常时，进行告警。
第二方面，本发明实施例提供一种服务异常处理装置，包括：
数据获取模块，用于周期性地获取服务的每秒请求数并进行存储；
数据处理模块，用于根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常，根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的服务异常处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行上述的服务异常处理方法。
本发明实施例的有益效果包括，例如：通过周期性地获取服务的每秒请求数并进行存储，然后根据服务的历史每秒请求数以及设定算法，判断当前获取到的服务的每秒请求数是否存在异常，进而根据当前获取到的服务的每秒请求数是否存在异常判断服务是否存在异常，从而可靠地实现服务的异常检测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种应用场景示意图。
图2示出了本发明实施例提供的一种服务异常处理方法的流程示意图。
图3示出了本发明实施例提供的一种服务异常处理方法的另一流程示意图。
图4示出了本发明实施例提供的一种服务异常处理装置的示例性结构框图。
图标：100-电子设备；110-存储器；120-处理器；130-通信模块；140-服务异常处理装置；141-数据获取模块；142-数据处理模块。
具体实施方式
为了进行服务异常检测，现今主要采用以下两种方案：
方案一：连接探测，基于探测点定期与提供服务的服务器建立网络连接，并根据能否正常建立连接来判断服务是否异常。例如，每隔一定时间间隔向提供服务的服务器发起网络连接建立请求，若网络连接建立成功，则判定服务正常，若网络连接建立失败，则判定服务异常。
方案二：基于探测点定期与提供服务的服务器建立网络连接并发送请求内容至服务，根据服务的返回内容来判断服务是否异常。若成功建立连接且服务返回的内容为所请求的内容，则判定服务正常，若网络连接建立失败或者服务返回的内容非所请求的内容，则判定服务异常。
以上两种方案虽然能够在一定程度上实现服务异常检测，然而，经调研发现，上述两种方案的检测可靠性均有待提升，无法满足实际需求。例如，采用方案一进行检测，仅能从网络层面判断对应的服务是否存在，但无法判断该服务是否可以正常为用户(客户端)提供服务。又例如，采用方案二进行检测，无法监控服务的性能，并且，在服务本身存在异常、仅能服务部分用户的情况下，采用方案二很可能出现漏检。
综上可知，如何可靠地实现服务异常检测为目前所需改善的技术问题。
有鉴于此，本发明实施例提供了一种服务异常处理方案，基于服务的历史每秒请求数以及设定算法判断当前获取到的服务的每秒请求数是否存在异常，进而根据当前获取到的服务的每秒请求数是否存在异常判断服务是否存在异常，从而可靠地实现服务的异常检测。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在发明过程中做出的贡献。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
请参照图1，是本实施例提供的一种电子设备100的方框示意图，本实施例中的电子设备100可以为能够进行数据交互、处理的服务器、处理设备、处理平台等。所述电子设备100包括存储器110、处理器120及通信模块130。所述存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。
通信模块130用于通过所述网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请结合参阅图2，为本发明实施例提供的一种服务异常处理方法的流程示意图，可以由图1所述电子设备100执行，例如可以由电子设备100中的处理器120执行。该服务异常处理方法包括S110、S120和S130。
S110，周期性地获取服务的每秒请求数并进行存储。
S120，根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常。
S130，根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常。
每秒请求数(Queries-per-second，QPS)是对一个设定的服务在规定时间内所处理流量多少的衡量标准。本发明实施例中，通过周期性地获取服务的每秒请求数，并对服务的每秒请求数进行分析，从而实现对服务状态、异常的监控。
S110中，周期性地获取服务的每秒请求数并进行存储可以通过以下方式实现：将每个客户端对服务的每个请求进行记录，每隔一秒统计所述服务的每秒请求数，将当前时间以及统计得到的当前时间所述服务的每秒请求数写入数据库中。其中，每个周期(一秒)内，对服务进行请求的客户端可能为一个或者多个，同一客户端在同一周期内，对服务进行请求的次数可能为零次、一次或者多次。
示例性地，可以在每个周期(每隔一秒)内，执行以下步骤：服务每接收到一个客户端的请求，对服务请求数进行累加，服务每个周期(每隔一秒)计算当前的每秒请求数，并可以将当前的每秒请求数写入数据库。通过对多个周期内服务的每秒请求数进行记录，可以得到服务的历史每秒请求数，以供后续分析调用。
以上仅为举例说明，在其他实现方案中，S110还可以有其他实现方案。例如，周期还可以有其他划分方式，如可以按两秒及以上进行周期划分。又例如，当每个周期超过一秒时，周期性地获取到的服务的每秒请求数可以为每个周期内每秒请求数的均值。
本发明实施例中，结合服务的历史每秒请求数判断当前获取到的所述服务的每秒请求数是否存在异常的设定算法可以灵活选择，只要能够结合历史每秒请求数进行异常检测，分析得出服务的每秒请求数是否存在异常即可。例如，设定算法可以为独立森林(iForest)、邻近算法(K-NearestNeighbor，KNN)、局部离群因子检测算法(Local OutlierFactor，LOF)等。
请结合参阅图3，若设定算法为局部离群因子检测算法(基于密度的离群点检测方法中比较有代表性的算法)，S120中根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常，可以通过S121至S124实现。
S121，读取最近的设定时间段内所述服务的N个历史每秒请求数。
S122，将所述N个历史每秒请求数中，最近的第一时间段内的数据划分为第一数据集，将所述最近的第一时间段之前的数据划分为第二数据集。
S123，基于局部离群因子检测算法对所述第二数据集进行训练，形成历史数据模型。
S124，根据所述局部离群因子检测算法及所述历史数据模型判断所述第一数据集中每个数据的离群因子，根据所述第一数据集中每个数据的离群因子判断所述服务的每秒请求数是否存在异常。
其中，最近的设定时间段、第一时间段可以灵活设置，为了确保所形成的历史数据模型的可靠性，第一时间段可以仅占设定时间段的较小部分，从而使得基于训练得到的历史数据模型和局部离群因子检测算法能够准确分析出第一时间段内的各数据(第一数据集)中每个数据的离群因子，进而实现对服务的每秒请求数是否异常的可靠判断。第一时间段可以包括若干秒，从而在确保检测准确性的同时确保检测效率。
基于第一数据集中每个数据的离群因子判断服务的每秒请求数是否异常的实现方式可以灵活设置，示例性地，可以设置离群因子阈值，相应地，S124中根据所述第一数据集中每个数据的离群因子判断所述服务的每秒请求数是否存在异常，包括：判断所述第一数据集中每个数据的离群因子是否超过设定的离群因子阈值，若所述第一数据集中超过所述设定的离群因子阈值的数据达到预设条件，则判定所述服务的每秒请求数存在异常。若所述第一数据集中超过所述设定的离群因子阈值的数据未达到所述预设条件，则判定所述服务的每秒请求数未存在异常。
预设条件可以灵活设置，例如，预设条件可以包括：所述第一数据集中每个数据的离群因子均超过所述设定的离群因子阈值。又例如，预设条件可以包括：所述第一数据集中离群因子超过所述设定的离群因子阈值的数据占比达到设定比例。
采用上述方案，基于历史数据模型和设定算法，能够持续地对服务的每秒请求数进行检测，得到服务的每秒请求数的变化趋势，进而通过分析服务当前的每秒请求数是否符合相应趋势，判断服务的每秒请求数是否存在异常。例如，若分析得出服务当前的每秒请求数符合相应趋势，则判定服务的每秒请求数未存在异常，若分析得出服务当前的每秒请求数不符合相应趋势，则判定服务的每秒请求数存在异常。其中，服务当前的每秒请求数不符合相应趋势可以包括：服务当前的每秒请求数突变量超过设定的最大变化值，如突然增多、突然减少等。
在得出服务的每秒请求数是否存在异常的结论后，S130中根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常，包括：若判定所述服务的每秒请求数存在异常，则判定所述服务存在异常。若判定所述服务的每秒请求数未存在异常，则判定所述服务未存在异常。
进一步地，在采用本发明实施例的方案实现对服务异常的判定之后，还可以对服务异常做进一步分析，例如，可以通过超过所述设定的离群因子阈值的数据所来自的客户端的分布情况，分析服务异常来自于客户端还是服务本身。示例性地，在判定所述服务存在异常时，分析超过所述设定的离群因子阈值的数据所来自的客户端，根据超过所述设定的离群因子阈值的数据所来自的客户端的分布情况，判断所述服务异常来自于客户端还是所述服务本身。
例如，若分析得出超过设定的离群因子阈值的数据比较集中的来自于少数客户端，如均来自某一个客户端，而来自其他客户端的数据均未超过设定的离群因子阈值，那么，可以得出，对于大部分客户端，服务为正常的，仅对于个别客户端，服务出现异常，从而可以初步判定异常很可能来自个别客户端。又例如，若分析得出超过设定的离群因子阈值的数据比较分散的来自于若干个客户端，如超过一定比例的客户端所传递的数据均超过设定离群因子阈值，那么，可以得出，对于大部分客户端，服务均产生了异常，从而可以初步判定异常很可能来自服务本身。
以上仅为举例说明，在其他实现方案中，为了进一步提高判定的准确性，还可以在判定所述服务存在异常时，进行告警。又例如，还可以引入人工排查，如可以将上述初步判定结果进行输出，以供相关人员进行人工排查，从而确保异常处理的准确性、提高排查效率。
为了更为清楚地阐述本发明实施例的实现原理，现以下述场景为例进行举例说明。
以电子设备100中包括服务异常处理系统，服务异常处理系统包括QPS采集子系统、QPS检测子系统以及异常告警子系统为例，整体实现流程如下：QPS采集子系统周期性地计算服务的QPS并写入数据库中；QPS检测子系统通过分析判断当前QPS数据是否存在异常进而判断服务是否存在异常；异常告警子系统在QPS检测子系统检测到服务异常后发送告警信息。针对每个服务，各子系统的具体处理流程如下。
QPS采集子系统：用于对每个客户端的请求进行记录统计，并每隔1s统计计算QPS数据，将当前时间和对应的QPS数据写入数据库中。即在每隔1s内执行如下步骤：
步骤一：服务每接收到一个客户端请求，累加服务请求数；
步骤二：服务每隔1s计算当前的QPS，并将当前时间和QPS值写入数据库中。
QPS检测子系统：用于根据对应服务历史QPS值检测判断当前QPS是否出现异常，进而判断当前服务是否出现异常。
QPS异常采用LOF算法进行检测，具体步骤如下：
步骤一：读取最近十分钟的N个QPS历史数据，记为S＝[S1，S2，...，SN]，并将这N个QPS历史数据分为两组，如划分为最近30秒的数据以及30秒之前的数据，30秒之前的数据记为HS＝[S1，S2，...，Sm]，最近30秒的数据记为CS＝[Sm+1，Sm+2，...，SN]。
步骤二：利用LOF算法对步骤一中30秒之前的数据集合HS进行训练，形成历史数据模型，并根据LOF离群检测算法计算判断最近30秒数据集合CS中每个数据的离群因子，对应离群因子集合记为O＝[Om+1，Om+2，...，ON]。
步骤三：设置离群因子阈值T，当集合O中每个离群因子均超过离群因子阈值T时，判定当前服务QPS出现异常，进而判定当前服务出现异常。
异常告警子系统：用于在QPS检测子系统检测到服务异常后，发出对应的告警信息。
进一步地，QPS检测子系统中预存有用于判定异常来自客户端的最低占比，以及用于判定异常来自服务的最高占比。在判定当前服务出现异常之后，继续分析离群因子超过离群因子阈值T的数据所来自的客户端，若离群因子超过离群因子阈值T的数据来自的客户端数量占客户端总量的比例小于设定的最低占比，那么，初步判定异常来自离群因子超过离群因子阈值T的数据所分布的客户端。若离群因子超过离群因子阈值T的数据来自的客户端数量占客户端总量的比例大于设定的最高占比，那么，初步判定异常来自服务本身，并将初步判定结果进行展示，以供相关人员进行异常排查参考。
采用本发明实施例中的上述方案，检测范围广，客户端和服务本身是一体化服务，基于QPS检测的服务异常检测不仅能够检测到服务本身造成的异常，同时也能检测到由于客户端错误造成的服务访问异常。检测准确：基于QPS检测来监控服务异常，从服务业务逻辑层面来监控服务而非从网络层面监控服务，检测结果更准确，精度也更高。通过检测服务的QPS，亦能基于QPS了解服务的性能。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种服务异常处理装置的实现方式。请参阅图4，图4为本发明实施例提供的一种服务异常处理装置140的功能模块图，该服务异常处理装置140可以应用于图1所示电子设备100。需要说明的是，本实施例所提供的服务异常处理装置140，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该服务异常处理装置140包括数据获取模块141和数据处理模块142。
其中，数据获取模块141，用于周期性地获取服务的每秒请求数并进行存储。
数据处理模块142，用于根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常，根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常。
在上述基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行上述的服务异常处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种服务异常处理方法，其特征在于，包括：
周期性地获取服务的每秒请求数并进行存储；
根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常；
根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常。
2.根据权利要求1所述的服务异常处理方法，其特征在于，所述周期性地获取服务的每秒请求数并进行存储，包括：
将每个客户端对服务的每个请求进行记录，每隔一秒统计所述服务的每秒请求数；
将当前时间以及统计得到的当前时间所述服务的每秒请求数写入数据库中。
3.根据权利要求2所述的服务异常处理方法，其特征在于，所述根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常，包括：
读取最近的设定时间段内所述服务的N个历史每秒请求数；
将所述N个历史每秒请求数中，最近的第一时间段内的数据划分为第一数据集，将所述最近的第一时间段之前的数据划分为第二数据集；
基于局部离群因子检测算法对所述第二数据集进行训练，形成历史数据模型；
根据所述局部离群因子检测算法及所述历史数据模型判断所述第一数据集中每个数据的离群因子，根据所述第一数据集中每个数据的离群因子判断所述服务的每秒请求数是否存在异常。
4.根据权利要求3所述的服务异常处理方法，其特征在于，所述根据所述第一数据集中每个数据的离群因子判断所述服务的每秒请求数是否存在异常，包括：
判断所述第一数据集中每个数据的离群因子是否超过设定的离群因子阈值，若所述第一数据集中超过所述设定的离群因子阈值的数据达到预设条件，则判定所述服务的每秒请求数存在异常；若所述第一数据集中超过所述设定的离群因子阈值的数据未达到所述预设条件，则判定所述服务的每秒请求数未存在异常；
所述根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常，包括：若判定所述服务的每秒请求数存在异常，则判定所述服务存在异常；若判定所述服务的每秒请求数未存在异常，则判定所述服务未存在异常。
5.根据权利要求4所述的服务异常处理方法，其特征在于，所述预设条件包括：所述第一数据集中每个数据的离群因子均超过所述设定的离群因子阈值。
6.根据权利要求4所述的服务异常处理方法，其特征在于，所述方法还包括：
在判定所述服务存在异常时，分析超过所述设定的离群因子阈值的数据所来自的客户端；
根据超过所述设定的离群因子阈值的数据所来自的客户端的分布情况，判断所述服务异常来自于客户端还是所述服务本身。
7.根据权利要求1至6任意一项所述的服务异常处理方法，其特征在于，所述方法还包括：在判定所述服务存在异常时，进行告警。
8.一种服务异常处理装置，其特征在于，包括：
数据获取模块，用于周期性地获取服务的每秒请求数并进行存储；
数据处理模块，用于根据所述服务的历史每秒请求数以及设定算法，判断当前获取到的所述服务的每秒请求数是否存在异常，根据当前获取到的所述服务的每秒请求数是否存在异常判断所述服务是否存在异常。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任一项所述的服务异常处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行权利要求1至7任一项所述的服务异常处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011000817.0A CN112099983A (zh) | 2020-09-22 | 2020-09-22 | 服务异常处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011000817.0A CN112099983A (zh) | 2020-09-22 | 2020-09-22 | 服务异常处理方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112099983A true CN112099983A (zh) | 2020-12-18 |
Family
ID=73756432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011000817.0A Pending CN112099983A (zh) | 2020-09-22 | 2020-09-22 | 服务异常处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112099983A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948210A (zh) * | 2021-02-26 | 2021-06-11 | 深圳依时货拉拉科技有限公司 | 一种检测qps指标异常的方法、装置及计算机设备 |
| CN113656664A (zh) * | 2021-09-01 | 2021-11-16 | 上海中通吉网络技术有限公司 | 一种快递呼叫中心异常呼入检测方法及系统 |
| CN115460296A (zh) * | 2022-09-13 | 2022-12-09 | 中航信移动科技有限公司 | 一种基于rpc的离群摘除方法、存储介质及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105281981A (zh) * | 2015-11-04 | 2016-01-27 | 北京百度网讯科技有限公司 | 网络服务的数据流量监控方法和装置 |
| CN105530138A (zh) * | 2014-09-28 | 2016-04-27 | 腾讯科技（深圳）有限公司 | 一种数据监控方法及装置 |
| CN107733921A (zh) * | 2017-11-14 | 2018-02-23 | 深圳中兴网信科技有限公司 | 网络流量异常检测方法、装置、计算机设备和存储介质 |
| US20180260266A1 (en) * | 2015-11-10 | 2018-09-13 | Alibaba Group Holding Limited | Identifying potential solutions for abnormal events based on historical data |
| CN109560984A (zh) * | 2018-11-13 | 2019-04-02 | 苏宁易购集团股份有限公司 | 一种网络服务响应时间异常检测方法及装置 |
| CN109862129A (zh) * | 2018-12-26 | 2019-06-07 | 中国互联网络信息中心 | Dns流量异常检测方法、装置、电子设备及存储介质 |
| CN110505232A (zh) * | 2019-08-27 | 2019-11-26 | 百度在线网络技术（北京）有限公司 | 网络攻击的检测方法及装置、电子设备、存储介质 |
| CN110784458A (zh) * | 2019-10-21 | 2020-02-11 | 新华三信息安全技术有限公司 | 流量异常检测方法、装置及网络设备 |
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
| CN111581062A (zh) * | 2020-05-18 | 2020-08-25 | 聚好看科技股份有限公司 | 服务的故障处理方法及服务器 |
-
2020
- 2020-09-22 CN CN202011000817.0A patent/CN112099983A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105530138A (zh) * | 2014-09-28 | 2016-04-27 | 腾讯科技（深圳）有限公司 | 一种数据监控方法及装置 |
| CN105281981A (zh) * | 2015-11-04 | 2016-01-27 | 北京百度网讯科技有限公司 | 网络服务的数据流量监控方法和装置 |
| US20180260266A1 (en) * | 2015-11-10 | 2018-09-13 | Alibaba Group Holding Limited | Identifying potential solutions for abnormal events based on historical data |
| CN107733921A (zh) * | 2017-11-14 | 2018-02-23 | 深圳中兴网信科技有限公司 | 网络流量异常检测方法、装置、计算机设备和存储介质 |
| CN109560984A (zh) * | 2018-11-13 | 2019-04-02 | 苏宁易购集团股份有限公司 | 一种网络服务响应时间异常检测方法及装置 |
| CN109862129A (zh) * | 2018-12-26 | 2019-06-07 | 中国互联网络信息中心 | Dns流量异常检测方法、装置、电子设备及存储介质 |
| CN110505232A (zh) * | 2019-08-27 | 2019-11-26 | 百度在线网络技术（北京）有限公司 | 网络攻击的检测方法及装置、电子设备、存储介质 |
| CN110784458A (zh) * | 2019-10-21 | 2020-02-11 | 新华三信息安全技术有限公司 | 流量异常检测方法、装置及网络设备 |
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
| CN111581062A (zh) * | 2020-05-18 | 2020-08-25 | 聚好看科技股份有限公司 | 服务的故障处理方法及服务器 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948210A (zh) * | 2021-02-26 | 2021-06-11 | 深圳依时货拉拉科技有限公司 | 一种检测qps指标异常的方法、装置及计算机设备 |
| CN113656664A (zh) * | 2021-09-01 | 2021-11-16 | 上海中通吉网络技术有限公司 | 一种快递呼叫中心异常呼入检测方法及系统 |
| CN115460296A (zh) * | 2022-09-13 | 2022-12-09 | 中航信移动科技有限公司 | 一种基于rpc的离群摘除方法、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112099983A (zh) | 服务异常处理方法、装置、电子设备和计算机可读存储介质 | |
| CN109597685B (zh) | 任务分配方法、装置和服务器 | |
| KR101021411B1 (ko) | 처리 과정 모니터링 방법, 비정상성 탐지 방법, 컴퓨터 판독 기록 매체, 시그너쳐 생성 방법, 비정상 활동 탐지 시스템, 처리 과정 모니터링 시스템, 및 비정상 활동의 구별 방법 | |
| CN112712113A (zh) | 一种基于指标的告警方法、装置及计算机系统 | |
| CN109976971B (zh) | 硬盘状态监测方法和装置 | |
| CN108599977B (zh) | 基于统计方法监控系统可用性的系统及方法 | |
| CN106874135B (zh) | 用于检测机房故障的方法、装置及设备 | |
| CN107426013B (zh) | 设备信息监测方法、装置及系统 | |
| CN107547266B (zh) | 在线量异常点的检测方法和装置、计算机设备和存储介质 | |
| CN110134611B (zh) | 内存泄漏分析方法、装置、终端和存储介质 | |
| US9600391B2 (en) | Operations management apparatus, operations management method and program | |
| CN110166271B (zh) | 一种检测网络节点异常的方法和装置 | |
| CN114244751B (zh) | 无线传感器网络异常检测方法和系统 | |
| US20220358380A1 (en) | Method for failure prediction and apparatus implementing the same method | |
| US20050096877A1 (en) | System and method for determination of load monitoring condition and load monitoring program | |
| US10360249B2 (en) | System and method for creation and detection of process fingerprints for monitoring in a process plant | |
| CN113569965A (zh) | 一种基于物联网的用户行为分析方法及系统 | |
| US20150256434A1 (en) | Methods and systems to identify bottleneck causes in applications using temporal bottleneck point detection | |
| CN116380228A (zh) | 衡器运行监测方法、系统、终端及存储介质 | |
| CN110278105A (zh) | 基于zabbix和web拨测检测整体业务运行质量的方法 | |
| CN114138535A (zh) | 存储系统的故障诊断方法、装置、电子设备、介质及产品 | |
| CN113609111A (zh) | 一种大数据测试方法及系统 | |
| CN114443407A (zh) | 一种服务器的检测方法、系统、电子设备及存储介质 | |
| EP3457609B1 (en) | System and method for computing of anomalies based on frequency driven transformation and computing of new features based on point anomaly density | |
| CN112615754A (zh) | 基于大数据的网络波动安全处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |