CN116991677A - 时序异常检测方法、装置、终端设备以及存储介质 - Google Patents
时序异常检测方法、装置、终端设备以及存储介质 Download PDFInfo
- Publication number
- CN116991677A CN116991677A CN202311098955.0A CN202311098955A CN116991677A CN 116991677 A CN116991677 A CN 116991677A CN 202311098955 A CN202311098955 A CN 202311098955A CN 116991677 A CN116991677 A CN 116991677A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- index
- baseline
- model
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 137
- 230000002159 abnormal effect Effects 0.000 claims abstract description 109
- 230000005856 abnormality Effects 0.000 claims abstract description 106
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 238000012795 verification Methods 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 71
- 238000012216 screening Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 20
- 238000012423 maintenance Methods 0.000 description 15
- 238000011161 development Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了时序异常检测方法、装置、终端设备以及存储介质,涉及数据处理领域,其方法包括:通过预设的指标平台,获取监控对象的待检测时序数据;通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互。本发明以低成本提高了时序异常检测效果。
Description
技术领域
本申请涉及数据处理领域,尤其涉及一种时序异常检测方法、装置、终端设备以及存储介质。
背景技术
在运维领域存在大量的时序数据,需要对这些时序数据进行分析,以便捕捉异常趋势,并及时发现监控对象的异常行为。
目前针对异常检测主要有两种方式,一种方式是用户直接使用目前开源的异常检测方案如EGADS(Extensible Generic Anomaly Detection System,可扩展通用异常检测系统),虽然部署成本较低,但由于用户需求的检测场景中时序指标多,监控场景多和模式多,而开源的异常检测方案中配置的异常检测算法单一,因而开源的异常检测方案很难满足用户自身需求,导致得到的检测结果误报率和漏报率都非常高;另外一种方式是用户根据自身需求部署定制化异常检测程序,但对开发能力要求高,而且维护的成本非常高。
发明内容
本申请的主要目的在于提供一种时序异常检测方法、装置、终端设备以及存储介质,旨在以低成本提高时序异常检测效果。
为实现上述目的,本申请提供一种时序异常检测方法,所述时序异常检测方法包括:
通过预设的指标平台,获取监控对象的待检测时序数据;
通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互;
可选地,所述通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤之前还包括:
创建所述多基线模型,具体步骤包括:
通过所述指标平台,获取样本时序数据和样本时序指标异常点;
基于预设的模型训练平台,对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型,其中,所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互。
可选地,所述对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型的步骤包括:
基于若干个初始基线算法,对所述样本时序数据和所述样本时序指标异常点进行训练,得到若干个初始基线模型;
基于预设的算法验证评分平台,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型,其中,所述算法验证评分平台和所述模型训练平台和所述多基线模型通过所述中间件进行交互。
可选地,所述对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型的步骤包括:
根据所述样本时序数据和所述样本时序指标异常点,获得标准样本指标走势;
对所述若干个初始基线模型进行验证,得到若干个验证指标走势和若干个验证指标;
对比所述若干个验证指标走势和所述标准样本指标走势,得到若干个对比走势图;
分析所述若干个对比走势图和所述若干个验证指标,得到验证结果;
根据所述验证结果,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型。
可选地,所述多基线模型包括若干个可选基线算法,所述通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤包括:
基于所述若干个可选基线算法对所述待检测时序数据进行基线匹配,得到若干个算法指标;
根据所述若干个算法指标,对所述若干个可选基线算法进行筛选,得到最终基线算法;
基于所述最终基线算法对所述待检测时序数据进行异常判定,得到所述异常指标。
可选地,所述通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤之后还包括:
若所述异常指标满足预设的告警阈值条件,则进行告警。
可选地,所述若所述异常指标满足预设的告警阈值条件,则进行告警的步骤之后还包括:
获取标准指标;
根据所述标准指标绘制标准走势;
根据所述异常指标,绘制异常走势;
结合所述标准走势和所述异常走势,制定检测走势图。
本申请实施例还提出一种时序异常检测装置,所述时序异常检测装置包括:
信息获取模块,用于通过预设的指标平台,获取监控对象的待检测时序数据;
异常检测模块,用于通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互。
本申请实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时序异常检测程序,所述时序异常检测程序被所述处理器执行时实现如上所述的时序异常检测方法的步骤。
本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有时序异常检测程序,所述时序异常检测程序被处理器执行时实现如上所述的时序异常检测方法的步骤。
本申请实施例提出的时序异常检测方法、装置、终端设备以及存储介质,通过预设的指标平台,获取监控对象的待检测时序数据;通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互。通过指标平台获取监控对象的待检测时序数据,再通过多基线模型中的若干条基线对待检测时序数据进行基线匹配后,对待检测时序数据进行异常检测,得到异常指标,根据异常指标进行检测进行告警。可以理解地,通过指标平台即可获取监控对象的待检测时序数据,而且指标平台和多基线模型通过中间件进行交互,可以在免除部署模型的基本上直接获取待检测时序数据进行检测,从而降低开发成本和运维成本;结合多基线模型包含了若干个可选基线算法,可以根据实际应用情况选择最合适的基线算法进行时序检测,能有效对监控对象进行检测,从而提高检测效果,最终低成本提高了时序异常检测效果。
附图说明
图1为本申请时序异常检测装置所属终端设备的功能模块示意图;
图2为本申请时序异常检测方法第一示例性实施例的流程示意图;
图3为本申请涉及的时序异常检测流程示意图;
图4为本申请涉及的多基线模型训练流程示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例的主要解决方案是:通过预设的指标平台,获取监控对象的待检测时序数据;通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互;根据所述异常指标进行告警。通过指标平台获取监控对象的待检测时序数据,再通过多基线模型对待检测时序数据进行检测,得到异常指标,根据异常指标进行检测进行告警。可以理解地,通过指标平台即可获取监控对象的待检测时序数据,从而免除部署直接获取待检测时序数据,降低开发成本和运维成本,再把待检测时序数据传送给多基线模型,而多基线模型包含了若干个时序检测算法,可以根据实际应用情况选择最合适的时序检测模型进行时序检测,有效对监控对象进行检测,从而提高检测效果,最终低成本提高了时序异常检测效果。
本申请实施例考虑到,在运维领域存在大量的时序数据,需要对这些时序数据进行分析,以便捕捉异常趋势,并及时发现监控对象的异常行为。
目前针对异常检测主要有两种方式,一种方式是用户直接使用目前开源的异常检测方案如EGADS(Extensible Generic Anomaly Detection System,可扩展通用异常检测系统),虽然部署成本较低,但由于用户需求的检测场景中时序指标多,监控场景多和模式多,而开源的异常检测方案中配置的异常检测算法单一,因而开源的异常检测方案很难满足用户自身需求,导致得到的检测结果误报率和漏报率都非常高;另外一种方式是用户根据自身需求部署定制化异常检测程序,但对开发能力要求高,而且维护的成本非常高。
基于此,本申请实施例提出一种解决方案,通过指标平台获取监控对象的待检测时序数据,再通过多基线模型中的若干条基线对待检测时序数据进行基线匹配后,对待检测时序数据进行异常检测,得到异常指标,根据异常指标进行检测进行告警。可以理解地,通过指标平台即可获取监控对象的待检测时序数据,而且指标平台和多基线模型通过中间件进行交互,可以在免除部署模型的基本上直接获取待检测时序数据进行检测,从而降低开发成本和运维成本;结合多基线模型包含了若干个可选基线算法,可以根据实际应用情况选择最合适的基线算法进行时序检测,能有效对监控对象进行检测,从而提高检测效果,最终低成本提高了时序异常检测效果。
具体地,参照图1,图1为本申请时序异常检测装置所属终端设备的功能模块示意图。该时序异常检测装置可以为独立于终端设备的、能够进行数据处理的装置,也可以通过硬件或软件的形式承载于终端设备上。
在本实施例中,该时序异常检测装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及时序异常检测程序,通过预设的指标平台,获取监控对象的待检测时序数据;通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互存储于该存储器130中;输出模块110可为显示屏、扬声器等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等,通过通信模块140与外部设备或服务器进行通信。
其中,存储器130中的时序异常检测程序被处理器执行时实现以下步骤:
通过预设的指标平台,获取监控对象的待检测时序数据;
通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互;
进一步地,存储器130中的时序异常检测程序被处理器执行时还实现以下步骤:
创建所述多基线模型,具体步骤包括:
通过所述指标平台,获取样本时序数据和样本时序指标异常点;
基于预设的模型训练平台,对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型,其中,所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互。
进一步地,存储器130中的时序异常检测程序被处理器执行时还实现以下步骤:
基于若干个初始基线算法,对所述样本时序数据和所述样本时序指标异常点进行训练,得到若干个初始基线模型;
基于预设的算法验证评分平台,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型,其中,所述算法验证评分平台和所述模型训练平台和所述多基线模型通过所述中间件进行交互。
进一步地,存储器130中的时序异常检测程序被处理器执行时还实现以下步骤:
根据所述样本时序数据和所述样本时序指标异常点,获得标准样本指标走势;
对所述若干个初始基线模型进行验证,得到若干个验证指标走势和若干个验证指标;
对比所述若干个验证指标走势和所述标准样本指标走势,得到若干个对比走势图;
分析所述若干个对比走势图和所述若干个验证指标,得到验证结果;
根据所述验证结果,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型。
进一步地,存储器130中的时序异常检测程序被处理器执行时还实现以下步骤:
基于所述若干个可选基线算法对所述待检测时序数据进行基线匹配,得到若干个算法指标;
根据所述若干个算法指标,对所述若干个可选基线算法进行筛选,得到最终基线算法;
基于所述最终基线算法对所述待检测时序数据进行异常判定,得到所述异常指标。
进一步地,存储器130中的时序异常检测程序被处理器执行时还实现以下步骤:
若所述异常指标满足预设的告警阈值条件,则进行告警。
进一步地,存储器130中的时序异常检测程序被处理器执行时还实现以下步骤:
获取标准指标;
根据所述标准指标绘制标准走势;
根据所述异常指标,绘制异常走势;
结合所述标准走势和所述异常走势,制定检测走势图。
本实施例通过上述方案,通过指标平台获取监控对象的待检测时序数据,再通过多基线模型中的若干条基线对待检测时序数据进行基线匹配后,对待检测时序数据进行异常检测,得到异常指标,根据异常指标进行检测进行告警。可以理解地,通过指标平台即可获取监控对象的待检测时序数据,而且指标平台和多基线模型通过中间件进行交互,可以在免除部署模型的基本上直接获取待检测时序数据进行检测,从而降低开发成本和运维成本;结合多基线模型包含了若干个可选基线算法,可以根据实际应用情况选择最合适的基线算法进行时序检测,能有效对监控对象进行检测,从而提高检测效果,最终低成本提高了时序异常检测效果。
基于上述终端设备架构但不限于上述架构,提出本申请方法实施例。
参照图2,图2为本申请时序异常检测方法第一示例性实施例的流程示意图。
本发明一实施例提供一种时序异常检测方法,该方法包括:
步骤S10,通过预设的指标平台,获取监控对象的待检测时序数据;
在运维领域存在大量的时序数据,需要对这些时序数据进行分析,以便捕捉异常趋势,并及时发现监控对象的异常行为。
目前针对异常检测主要有两种方式,一种方式是用户直接使用目前开源的异常检测方案如EGADS,部署成本较低,但由于检测场景中时序指标多,监控场景多,模式多,导致得到的检测结果误报率和漏报率都非常高;另外一种方式是用户根据自身告警策略部署异常检测程序但对开发能力要求高,而且维护的成本非常高,同时还难以实现满意的基线监控告警结果。
因此本实施例提出,通过指标平台获取监控对象的待检测时序数据,再通过多基线模型中的若干条基线对待检测时序数据进行基线匹配后,对待检测时序数据进行异常检测,得到异常指标,根据异常指标进行检测进行告警。可以理解地,通过指标平台即可获取监控对象的待检测时序数据,而且指标平台和多基线模型通过中间件进行交互,可以在免除部署模型的基本上直接获取待检测时序数据进行检测,从而降低开发成本和运维成本;结合多基线模型包含了若干个可选基线算法,可以根据实际应用情况选择最合适的基线算法进行时序检测,能有效对监控对象进行检测,从而提高检测效果,最终低成本提高了时序异常检测效果。
具体地,如图3所示,可以先通过预设的指标平台,获取监控对象的待检测时序数据,待检测时序数据是从监控对象的日志源中的信息,对待检测时序数据进行分析可以识别出潜在的异常趋势和异常行为。
可以通过日志清洗生成指标FLINK任务(流式计算任务)发送到多基线模型。具体地,从监控对象的日志中提取所需的信息,对数据进行清洗、转换和预处理,以生成适合分析的指标数据。可以先构建基于FLINK的流式计算任务,将经过预处理的指标数据作为输入。此外,在FLINK任务中,可以实现各种分析逻辑,如异常检测算法、趋势分析等。
通过FLINK处理日志源数据后,得到流式的待检测时序数据,从而使异常检测数据程序的整个流程的数据传输都实现流处理。从而实现持续监控:利用自研的FLINK高可用自监控服务,监测流处理作业的运行状态,包括延迟、挂掉的自监控等,确保异常判定过程的稳定性和可靠性。和实现自动重启和死信队列:当作业出现异常或挂掉时,自监控服务可以自动触发作业的重启,并将处理失败的数据发送到死信队列以便后续处理。
进一步地,可以结合FLINK处理,来规定待检测时序数据的输入标准,如规定输入指标平台时以key-time-value格式为标准时序指标格式。依托指标平台中FINK的流式计算任务提供数据加工能力,可以把其他格式的日志映射聚合成标准时序指标格式。
步骤S20,通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互;
具体地,可以通过多基线模型计算标准时序数据的判断波动范围,再根据波动范围和待检测时序数据来判断时序指标异常点。
具体地,将待检测时序数据输入多基线模型进行异常判断,多基线模型将基于其学习到的模式和规律进行判定,结合标准波动范围和待检测时序数据进行异常判断出时序指标异常点,根据时序指标异常点输出异常分数、类别或其他表示异常情况的指标,即异常指标。
进一步地,多基线模型是包含有多个时序检测算法,用户可以根据实际情况,选择最合适的时序检测算法进行异常判断,从而保证用户能根据其实际需求找到最合适的算法,使用对应的算法进行时序异常检测,提高时序异常检测效果。
具体地,异常指标可以是针对每个时间点的异常分数,或者基于一定阈值的异常判定结果,可以根据具体需求进行定义。
此外,如图3所示,指标平台和多基线模型通过预设的中间件连接,具体的中间件可以是kafka(Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理网站中的所有动作流数据),可以把巨大流量的待检测时序数据发送至中间件,中间件对待检测时序数据平缓处理,并且通过中间件使得指标平台和多基线模型的处理的数据标准统一。
进一步地,为了更好地处理待检测时序数据,可以把不同类型的待检测时序数据分开处理,如同一类的待检测时序数据(即日志格式相同)上报到相同的中间件(kafkatopic),再通过kafka topic把数据传输到多基线模型(基线平台)。
可以理解地,只需要把符合要求的日志源数据交由指标平台,指标平台处理后将数据发送中间件后,中间件把数据再发送至至多基线模型(图3的基线平台)进行异常检测,就能检测出异常指标,从而不需要部署即可完成检测,减少用户的自研成本。
步骤S30,若所述异常指标满足预设的告警阈值条件,则进行告警。
具体地,通过多基线模型计算出来的包含时序指标异常点的异常指标,可以与固定阈值告警策略相结合,复核判定得出告警结果。
对于被判定为异常指标,可以触发告警机制,通知相关人员进行进一步处理。同时,可以收集反馈信息,用于优化模型或调整异常判定的策略。如图3所示,基线平台的计算异常指标写入到异常指标kafka topic中,并通过解析转发流处理任务将异常指标转发给前端进行告警。
此外,步骤S40,获取标准指标;
步骤S50,根据所述标准指标绘制标准走势;
步骤S60,根据所述异常指标,绘制异常走势;
步骤S60,结合所述标准走势和所述异常走势,制定检测走势图。
具体地,通过计算异常指标计算出当前异常走势的同时,还可以基于以往时序数据计算(标准指标)而成的标准走势,再通过结合异常走势和异常走势得到检测走势图。
此外,还可以把异常指标解析转发流式计算任务将结果写入时序数据库(TSDB),其中,时序数据库是一种特定类型的数据库,主要用来存储时序数据,用于走势图查询。
更具体地,还可以在每类时序数据在存入TSDB时进行分表处理,每一类时序数据对应一个表,以便提高查询性能,并保证灵活的字段存储,如链路类表、RTR类表、虚拟机类表等。
可以理解地,TSDB还支持灵活的查询能力,能够对不同的TSDB表查询对应的时序数据走势图和对应基线结果的走势图。
本申请实施例提出的时序异常检测方法,通过预设的指标平台,获取监控对象的待检测时序数据;通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互。通过指标平台获取监控对象的待检测时序数据,再通过多基线模型对待检测时序数据进行检测,得到异常指标,根据异常指标进行检测进行告警。可以理解地,通过指标平台即可获取监控对象的待检测时序数据,从而免除部署直接获取待检测时序数据,降低开发成本和运维成本,再把待检测时序数据传送给多基线模型,而多基线模型包含了若干个时序检测算法,可以根据实际应用情况选择最合适的时序检测模型进行时序检测,有效对监控对象进行检测,从而提高检测效果,最终低成本提高了时序异常检测效果。
基于第一实施例,提出本申请第二实施例,本申请第二实施例与第一实施例的区别在于:所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互,所述算法验证评分平台和所述模型训练平台和所述多基线模型通过所述中间件进行交互。
本实施例提出的时序异常检测装置可以提供多基线模型、指标平台、算法验证评分平台和模型训练平台等四个组件,用户可以根据自身需求应用一个或多个组件,即提供了一套通用可插拔的指标基线异常检测服务,可以解决运维领域时序数据异常检测功能的设计、开发和维护成本高的问题。
可以理解地,用户仅需要提供符合要求的数据,即可把输入上述四个组件中应用,得到相应的结果。
具体地,多基线模型、指标平台、算法验证评分平台和模型训练平台通过一套中间件进行交互,可以使得多基线模型、指标平台、算法验证评分平台和模型训练平台可以两两进行数据传输,实现灵活插入用户的业务。
如用户可以通过指标平台来获取样本时序数据,再应用模型训练平台进行特定的时序异常模型训练,可以理解地,可以通过样本时序数据获取符合用户需求的时序数据,再通过模型训练平台进行特定需求训练。
如用户原本已经有时序检测模型,可以通过应用算法验证评分平台进行模型评分,进而对用户原本已经有时序检测模型进行优化调整。
如用户可以只应用多基线模型来进行异常检测。
具体地,如模型训练和训练后进行评分优化的过程中,先在模型训练平台中,训练并生成初始基线模型,再将训练好的初始基线模型的参数或模型文件发布到共享中间件中,算法验证评分平台可以从中间件中接收到模型参数或模型文件,然后在验证数据上对模型进行评分和验证。
还可以是时序数据获取与检测的过程:指标平台可以将经过预处理的时序数据发布到中间件中,多基线模型可以订阅来自中间件的指标数据,并在接收到数据时进行异常判定。
进一步地,中间件可以是Apache、Kafka、RabbitMQ等,作为消息传递和事件触发的平台。这个中间件将用于在不同组件之间进行异步的、可靠的消息传递。以使用Kafka作为中间件为例,可以实现实时、可靠的消息传递,确保不同平台和组件之间的数据交换和通信。同时,Kafka还提供了分布式、高可用的特性,可以满足复杂的数据处理需求。
通过这种中间件的交互方式,不同组件之间可以实现松耦合的通信,使得系统更具弹性和可扩展性。同时,这种方式也有助于确保数据的一致性和可靠性,以及对不同组件之间的交互进行监控和管理,也根据自身需求应用组件中的一个或多个,从而可以解决运维领域时序数据异常检测功能的设计、开发和维护成本高的问题。
本申请实施例提出的时序异常检测方法,通过所述多基线模型由预设的模型训练平台训练和/或预设的算法验证评分平台验证得到,所述多基线模型、所述指标平台、所述算法验证评分平台和所述模型训练平台共用一套所述中间件进行交互,不同的组件之间可以实现松耦合的通信,使得系统更具弹性和可扩展性。同时,这种方式也有助于确保数据的一致性和可靠性,以及对不同组件之间的交互进行监控和管理,也根据自身需求应用组件中的一个或多个,从而可以解决运维领域时序数据异常检测功能的设计、开发和维护成本高的问题。
基于第二实施例,提出本申请第三实施例,本申请第三实施例与第二实施例的区别在于:
对步骤S20,通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤之前进行补充,其中补充的步骤可以包括:
在本实施例中,通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤之前还包括:
步骤S00,创建所述多基线模型;
为了有效检测出时序数据的问题,需要预先创建多基线模型,具体地,涉及选择适当的基线算法来训练模型,并且需要准备训练数据。
具体地,步骤S01,通过所述指标平台,获取样本时序数据和样本时序指标异常点;
如图4所示,可以先通过指标平台日志源的样本时序数据和样本时序指标异常点,即指标数据。
然后,采用TSDB存储一段时间的样本时序数据和样本时序指标异常点,形成训练集与测试集,即原始指标。再将原始指标发送至中间件,中间件再把原始指标发送至模型训练平台进行训练。
其中,从日志源中识别出的异常点可以用作训练模型的训练样本,以便模型能够学习到正常和异常模式。
步骤S02,基于预设的模型训练平台,对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型,其中,所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互。
模型训练平台对步骤S01中获得的样本时序数据和样本时序指标异常点进行训练。通过将这些数据输入到训练流程中,模型将学习如何区分正常和异常模式,得到多基线模型,多基线模型可以用于实时异常检测任务。
具体地,通过样本数据训练异常检测模型生成基线,存储到基线模型数据库中,用于异常检测。其中,多基线模型可以包括多条基线,用户可以根据自身需求,选择对应的基线对应的时序检测模型,进行时序异常检测。
其中,所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互,指标平台获取样本数据后,把样本数据传送给中间件,中间件再把样本数据发送至模型训练平台;模型训练平台利用训练数据进行训练,得到基线,再把基线发送至中间件,中间件把基线发送至多基线模型。可以理解地,只需要通过指标平台获取样本,训练数据和训练过程的数据(如基线)按照中间件规定的标准在所述模型训练平台、所述指标平台、所述算法验证评分平台和所述多基线模型之间传送,因而在模型训练和验证过程都不需要部署相应程序,提高工作效率,节省人工成本。
本申请实施例提出的时序异常检测方法,通过创建所述多基线模型,具体步骤包括:通过所述指标平台,获取样本时序数据和样本时序指标异常点;基于预设的模型训练平台,对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型,其中,所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互,从而得到所述多基线模型,有效进行时序数据的检测。
基于第三实施例,提出本申请第四实施例,本申请第四实施例与第三实施例的区别在于:
对步骤S02,基于所述模型训练平台,对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型进行细化,其中细化的步骤可以包括:
在本实施例中,步骤S02,基于所述模型训练平台,对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型的步骤还包括:
步骤S021,基于若干个初始基线算法,对所述样本时序数据和所述样本时序指标异常点进行训练,得到若干个初始基线模型;
步骤S022,基于预设的算法验证评分平台,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型,其中,所述算法验证评分平台和所述模型训练平台和所述多基线模型通过所述中间件进行交互。
采用不同的初始基线算法,将样本时序数据和样本时序指标异常点用于训练,得到多个初始基线模型。初始基线模型将具有不同的算法和特征,以便后续进行比较和选择,也有不同的模型验证指标,可以根据对应的模型验证指标选择最合适的初始基线模型作为多基线模型。
具体地,使用算法验证评分平台对步骤S021中生成的若干个初始基线模型进行评估、调整和筛选。通过在验证数据集上进行评分和比较,可以选择最优的模型作为多基线模型。多基线模型将在后续的异常检测任务中使用。
可以理解地,基于多个基线算法创建初始基线模型,并通过验证和评分来选择出最佳的模型作为多基线模型。可以帮助确保异常检测系统具有更好的性能和准确性。在实际检测过程中,通过选择算法、处理数据、调整模型参数等,以确保所得到的多基线模型在实际应用中能够有效地进行异常检测。
其中,所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互。指标平台获取样本数据后,把样本数据传送给中间件,中间件再把样本数据发送至模型训练平台;模型训练平台利用训练数据进行训练,得到基线;再把基线发送至中间件,中间件把基线发送至多基线模型。可以理解地,只需要通过指标平台获取样本,训练数据和训练过程的数据(如基线)按照中间件规定的标准在所述模型训练平台、所述指标平台和所述多基线模型之间传送,因而在模型训练和验证过程都不需要部署相应程序,提高工作效率,节省人工成本。
本申请实施例提出的时序异常检测方法,通过基于若干个初始基线算法,对所述样本时序数据和所述样本时序指标异常点进行训练,得到若干个初始基线模型;基于预设的算法验证评分平台,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型,其中,所述算法验证评分平台和所述模型训练平台和所述多基线模型通过所述中间件进行交互,通过选择算法、处理数据、调整模型参数等,以确保所得到的多基线模型在实际应用中能够有效地进行异常检测。
基于第四实施例,提出本申请第五实施例,本申请第五实施例与第四实施例的区别在于:
对步骤S022,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型的步骤进行细化,其中细化的步骤可以包括:
在本实施例中,步骤S022,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型的步骤包括:
步骤S0221,根据所述样本时序数据和所述样本时序指标异常点,获得标准样本指标走势;
使用样本时序数据和样本时序指标异常点,生成标准的样本指标走势。这个走势可以作为基准,用来与后续验证指标走势进行比较。
步骤S0222,对所述若干个初始基线模型进行验证,得到若干个验证指标走势和若干个验证指标;
对初始基线模型进行验证,对每个模型,使用验证数据集进行评分,从而获得验证指标走势和相应的验证指标。
步骤S0223,对比所述若干个验证指标走势和所述标准样本指标走势,得到若干个对比走势图;
将所述验证指标走势与标准样本指标走势进行对比,从而获得对比走势图。这个对比可以帮助看出模型的性能,以及模型是否能够准确地捕捉样本指标走势中的异常。
步骤S0224,分析所述若干个对比走势图和所述若干个验证指标,得到验证结果;
可以通过对比走势图,具体观察初始基线模型在验证中对时序异常点的判断情况。然后结合验证指标,其中验证指标包括mse(Mean Square Error,均方差),测试集异常点匹配率和测试集异常点命中率等指标,通过综合考虑不同模型的表现,可以得出有关模型在异常检测任务中的表现的验证结果。
步骤S0225,根据所述验证结果,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型。
根据验证结果对初始基线模型进行调整和筛选。具体可以根据验证结果调整初始基线模型的参数,再通过验证和比较来选择出最佳的基线模型作为多基线模型,以确保异常检测系统的准确性和性能。在实际执行中,需要准备合适的验证数据、评价指标,以及进行细致的分析和调整,以得出最终的验证结果并选择最佳的模型。
本申请实施例提出的时序异常检测方法,通过根据所述样本时序数据和所述样本时序指标异常点,获得标准样本指标走势;对所述若干个初始基线模型进行验证,得到若干个验证指标走势和若干个验证指标;对比所述若干个验证指标走势和所述标准样本指标走势,得到若干个对比走势图;分析所述若干个对比走势图和所述若干个验证指标,得到验证结果;根据所述验证结果,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型,根据验证结果调整初始基线模型的参数,再通过验证和比较来选择出最佳的基线模型作为多基线模型,以确保异常检测系统的准确性和性能。
基于第一实施例,提出本申请第六实施例,本申请第六实施例与第一实施例的区别在于:所述多基线模型包括若干个可选基线算法;
对步骤S20,通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤进行细化,其中细化的步骤可以包括:
在本实施例中,步骤S20,通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤包括:
步骤S21,基于所述若干个可选基线算法对所述待检测时序数据进行基线匹配,得到若干个算法指标;
步骤S22,根据所述若干个算法指标,对所述若干个可选基线算法进行筛选,得到最终基线算法;
步骤S23,基于所述最终基线算法对所述待检测时序数据进行异常判定,得到所述异常指标。
为了满足不同用户的需求,在多基线模型中设置多个可选基线算法,即多条基线,这样可以根据不同的应用场景和用户需求,针对性地选择合适的基线(时序异常算法),从而提高时序检测效果。
具体地,使用多个可选基线算法对待检测时序数据进行异常判定。每个时序异常算法会产生相应的算法指标,这些指标反映了每个可选基线算法对于异常情况的判断。
基于所得到的若干个算法指标,将进行筛选和比较。通过综合考虑不同算法的指标表现,可以选择出最优的时序异常算法,即最适合当前应用场景和用户需求的时序异常算法。
进一步地,得到最终基线算法后,使用最终基线算法对待检测时序数据进行异常判定。通过最终基线算法的判定,可以获得异常指标,这些指标可以反映出待检测时序数据中的异常情况。
可以根据不同用户需求,针对性地设置多条基线和对应的时序检测模型,从而选择最佳的模型,并在实际数据中进行异常检测,获得准确的异常指标。这种方法可以更好地满足不同用户的需求,提高异常检测系统的适应性和性能。在实际应用中,需要仔细选择基线算法、通过评价算法指标进行筛选和验证,以确保最终的时序检测模型的准确性和可靠性。
本申请实施例提出的时序异常检测方法,通过基于所述若干个可选基线算法对所述待检测时序数据进行基线匹配,得到若干个算法指标;根据所述若干个算法指标,对所述若干个可选基线算法进行筛选,得到最终基线算法;基于所述最终基线算法对所述待检测时序数据进行异常判定,得到所述异常指标,可以根据不同的应用场景和用户需求,针对性地选择合适的基线算法(时序异常算法),从而提高时序检测效果。
此外,本申请实施例还提出一种时序异常检测装置,所述时序异常检测装置包括:
信息获取模块,用于通过预设的指标平台,获取监控对象的待检测时序数据;
异常检测模块,用于通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互。
本实施例实现时序异常检测的原理及实施过程,请参照上述各实施例,在此不再赘述。
此外,本申请实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时序异常检测程序,所述时序异常检测程序被所述处理器执行时实现如上所述的时序异常检测方法的步骤。
由于本时序异常检测程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
此外,本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有时序异常检测程序,所述时序异常检测程序被处理器执行时实现如上所述的时序异常检测方法的步骤。
由于本时序异常检测程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
相比现有技术,本申请实施例提出的时序异常检测方法、装置、终端设备以及存储介质,通过预设的指标平台,获取监控对象的待检测时序数据;通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互;根据所述异常指标进行告警。通过指标平台获取监控对象的待检测时序数据,再通过多基线模型对待检测时序数据进行检测,得到异常指标,根据异常指标进行检测进行告警。可以理解地,通过指标平台即可获取监控对象的待检测时序数据,从而免除部署直接获取待检测时序数据,降低开发成本和运维成本,再把待检测时序数据传送给多基线模型,而多基线模型包含了若干个时序检测算法,可以根据实际应用情况选择最合适的时序检测模型进行时序检测,有效对监控对象进行检测,从而提高检测效果,最终低成本提高了时序异常检测效果。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种时序异常检测方法,其特征在于,所述时序异常检测方法包括:
通过预设的指标平台,获取监控对象的待检测时序数据;
通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互。
2.根据权利要求1所述的时序异常检测方法,其特征在于,所述通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤之前还包括:
创建所述多基线模型,具体步骤包括:
通过所述指标平台,获取样本时序数据和样本时序指标异常点;
基于预设的模型训练平台,对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型,其中,所述模型训练平台、所述指标平台和所述多基线模型通过所述中间件进行交互。
3.根据权利要求2所述的时序异常检测方法,其特征在于,所述对所述样本时序数据和所述样本时序指标异常点进行训练,得到所述多基线模型的步骤包括:
基于若干个初始基线算法,对所述样本时序数据和所述样本时序指标异常点进行训练,得到若干个初始基线模型;
基于预设的算法验证评分平台,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型,其中,所述算法验证评分平台和所述模型训练平台和所述多基线模型通过所述中间件进行交互。
4.根据权利要求3所述的时序异常检测方法,其特征在于,所述对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型的步骤包括:
根据所述样本时序数据和所述样本时序指标异常点,获得标准样本指标走势;
对所述若干个初始基线模型进行验证,得到若干个验证指标走势和若干个验证指标;
对比所述若干个验证指标走势和所述标准样本指标走势,得到若干个对比走势图;
分析所述若干个对比走势图和所述若干个验证指标,得到验证结果;
根据所述验证结果,对所述若干个初始基线模型进行调整和筛选,得到所述多基线模型。
5.根据权利要求1所述的时序异常检测方法,其特征在于,所述多基线模型包括若干个可选基线算法,所述通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤包括:
基于所述若干个可选基线算法对所述待检测时序数据进行基线匹配,得到若干个算法指标;
根据所述若干个算法指标,对所述若干个可选基线算法进行筛选,得到最终基线算法;
基于所述最终基线算法对所述待检测时序数据进行异常判定,得到所述异常指标。
6.根据权利要求1所述的时序异常检测方法,其特征在于,所述通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标的步骤之后还包括:
若所述异常指标满足预设的告警阈值条件,则进行告警。
7.根据权利要求6所述的时序异常检测方法,其特征在于,所述若所述异常指标满足预设的告警阈值条件,则进行告警的步骤之后还包括:
获取标准指标;
根据所述标准指标绘制标准走势;
根据所述异常指标,绘制异常走势;
结合所述标准走势和所述异常走势,制定检测走势图。
8.一种时序异常检测装置,其特征在于,所述时序异常检测装置包括:
信息获取模块,用于通过预设的指标平台,获取监控对象的待检测时序数据;
异常检测模块,用于通过预设的多基线模型对所述待检测时序数据进行基线匹配和异常判定,得到异常指标,其中,所述指标平台和所述多基线模型通过预设的中间件进行交互。
9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的时序异常检测程序,所述时序异常检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的时序异常检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有时序异常检测程序,所述时序异常检测程序被处理器执行时实现如权利要求1-7中任一项所述的时序异常检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311098955.0A CN116991677A (zh) | 2023-08-28 | 2023-08-28 | 时序异常检测方法、装置、终端设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311098955.0A CN116991677A (zh) | 2023-08-28 | 2023-08-28 | 时序异常检测方法、装置、终端设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116991677A true CN116991677A (zh) | 2023-11-03 |
Family
ID=88533894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311098955.0A Pending CN116991677A (zh) | 2023-08-28 | 2023-08-28 | 时序异常检测方法、装置、终端设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116991677A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117857182A (zh) * | 2024-01-10 | 2024-04-09 | 江苏金融租赁股份有限公司 | 一种服务器异常访问的处理方法及装置 |
-
2023
- 2023-08-28 CN CN202311098955.0A patent/CN116991677A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117857182A (zh) * | 2024-01-10 | 2024-04-09 | 江苏金融租赁股份有限公司 | 一种服务器异常访问的处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657309B2 (en) | Behavior analysis and visualization for a computer infrastructure | |
CN113328872B (zh) | 故障修复方法、装置和存储介质 | |
CN111274095B (zh) | 日志数据处理方法、装置、设备及计算机可读存储介质 | |
US9672137B1 (en) | Shadow test replay service | |
WO2018059402A1 (zh) | 确定故障类型的方法和装置 | |
KR102087959B1 (ko) | 통신망의 인공지능 운용 시스템 및 이의 동작 방법 | |
US20150120914A1 (en) | Service monitoring system and service monitoring method | |
CN109075991A (zh) | 云验证和测试自动化 | |
CN107168844B (zh) | 一种性能监控的方法及装置 | |
US7908361B2 (en) | Computer maintenance support system and analysis server | |
CN111190755B (zh) | 应用程序的功能异常处理方法及装置 | |
CN107704387B (zh) | 用于系统预警的方法、装置、电子设备及计算机可读介质 | |
CN111163150A (zh) | 一种分布式调用追踪系统 | |
KR102307948B1 (ko) | 학습 기반의 트랜잭션 관찰 시스템 및 그 제어방법 | |
JP2015095060A (ja) | ログ分析装置及び方法 | |
CN116991677A (zh) | 时序异常检测方法、装置、终端设备以及存储介质 | |
CN112114986A (zh) | 数据异常识别方法、装置、服务器和存储介质 | |
CN113313280B (zh) | 云平台的巡检方法、电子设备及非易失性存储介质 | |
EP3864516A1 (en) | Veto-based model for measuring product health | |
CN109409948B (zh) | 交易异常检测方法、装置、设备及计算机可读存储介质 | |
CN111611140A (zh) | 埋点数据的上报验证方法、装置、电子设备及存储介质 | |
CN110968479B (zh) | 一种针对应用程序的业务级全链路监控方法及服务器 | |
US11349730B2 (en) | Operation device and operation method | |
CN115766514A (zh) | 车联网的全链路质量监控方法、装置、存储介质和车辆 | |
CN118233483A (zh) | 基于轨道交通的联动方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |