CN116225762A - 一种面向长期时序异常检测任务的数据驱动模型管理方法 - Google Patents

Abstract

本发明公开一种面向长期时序异常检测任务的数据驱动模型管理方法，所述的数据驱动模型管理方法面向航天器、船舶等中大型设备长期运行场景下的异常检测任务，通过参数分系统信息、关键词信息、统计学特征等不同置信度和细密度的关联性知识，在当前数据驱动模型管理机制仅有的静态异常检测功能基础上，面向实时异常检测任务的特殊需求，完善数据驱动模型的动态异常检测功能，明确数据驱动模型在整体数据驱动检测架构的封装与调用方法，进而在模型规范化的基础上构建覆盖数据驱动模型全生命周期的完整管理机制。

Description

一种面向长期时序异常检测任务的数据驱动模型管理方法

技术领域

本发明涉及数据驱动模型管理方法，尤其是一种面向长期时序异常检测任务的数据驱动模型管理方法。

背景技术

时序异常检测技术是维持设备稳定运行的重要保障。传统的时序异常检测方法一般基于规则判读、门限监视等将专家经验形式化而构建的检测方法。但在航天器、船舶等中大型设备应用中专家对于故障的认知范围具有明显的局限性，传统方法则不足以独立形成涵盖系统完整故障机理的全局检测体系。为突破专家认知的有限性，数据驱动方法从历史数据出发，构建基于随机统计、距离聚类、深度学习等理论研究的新型模型，通过模型的自主学习能力，实现自主化的时序异常检测。

然而，在航天器、船舶等设备长期运行的实际背景下，数据驱动方法在实际检测任务中的应用在工程层面主要面临两个问题：

一方面，随机统计、距离聚类、深度学习等理论一般较传统检测理论而言更为复杂抽象，且各理论对于故障的基本假设与判读逻辑也更为丰富，在有限时间内，工作人员很难凭借模糊而有限的经验，面向多类型海量参数在粗糙关联性划分下形成的模糊参数组合，有效找寻适用的检测理论，挖掘更精确的参数组合，进而配置基于多类型理论的数据驱动模型。因此，现有数据驱动研究在初始配置层面，仍较难应用于中大型设备。

另一方面，历史数据则具有逐步累积的过程，对于设备运行原理的表征能力也因此体现出逐渐增强的趋势；尤其在实际设备的长期运行场景下，工况的丰富度是动态递增的，训练阶段的数据只能覆盖设备全生命周期中的局部工况，因此挖掘到的机理一般会在未知工况出现时失效，需要基于新出现的未知工况进行及时的修正。但是，现有的模型管理机制也同样不具备对于各类型模型在线检测通用的监视与评估能力，因此不能自主感知修正时机，难以应对复杂工况等实际工程特征。

因此，当前数据驱动研究在异常检测领域在实际工程的具体应用案例有限，尤其是对于多类型数据驱动方法的管理功能较为单薄，自主化配置等核心模块研究匮乏，缺乏对于实际工程问题的针对性研究。在航天器、船舶等中大型设备长期运行场景下，数据驱动方法必须针对于异常检测任务实时性与增量性等具体特征，为对应的具体模型构建一定的自主管理机制。

针对数据驱动方法在实际工程应用中模型管理层面的现状与问题，本课题提出一种面向长期时序异常检测任务的数据驱动模型管理方法，旨在弥补现有数据驱动方法管理机制中模型输入筛选、数据流动态整理、模型可用性评估、模型修正训练、模型跨集群共享等重要功能的不足，实现面向航天器、船舶等中大型设备长期检测任务的模型自主管理方法，进而推动数据驱动方法在长期时序异常检测任务上中的更广泛应用。

发明内容

本发明为解决实际工程应用中数据驱动方法在模型管理层面的现有缺陷，提出一种面向长期时序异常检测任务的数据驱动模型管理方法。本方法面向航天器、船舶等中大型设备，针对数据驱动方法在长期检测任务中的特殊应用需求，实现适用于多类型数据驱动方法的规范化模型管理方法。

所述的模型管理方法在当前数据驱动模型管理机制仅有的静态异常检测功能(模型训练、模型检测、模型文件保存、模型文件加载)基础上，面向实时异常检测任务的特殊需求，完善数据驱动模型的动态异常检测功能。具体而言，该方法在模型输入筛选、数据流处理、模型自主修正、模型跨集群共享四类主要功能上做出规范化的设计。模型输入筛选功能主要分为先验和后验模型输入筛选两部分，分别负责在模型训练前后根据参数特征和验证效果，对参数关联划分模块提供的初始输入进行筛选，进一步根据数据驱动方法本身特征优化模型的输入配置，在模型层面提高对模型输入配置的自主优化能力；数据流处理功能主要分为数据流动态整理与归一化两部分，负责遥测接收的多质参数转化为采样率稳定且同步的数据，在数据接口层面降低实际检测场景下数据驱动方法嵌入的难度；模型自主修正功能主要分为模型可用性评估与修正训练两部分，负责感知已训练数据未覆盖的未知工况，并基于累积运行数据对现有模型进行修正，进而实现检测模型与实际系统在机理认知层面的动态同步；模型跨集群共享功能主要为模型参数配置的跨集群存储与加载功能，负责构建以数据库集群代替传统配置文件的模型配置参数管理机制，摆脱模型的训练、修正和检测对同一集群节点的依赖性，实现跨集群负载均衡所需要的模型动态配置共享。

所述的模型管理方法通过在各类型数据驱动模型中规范化嵌入上述四类主要功能，明确数据驱动模型在整体数据驱动检测架构的封装与调用方法，进而在模型规范化的基础上构建覆盖数据驱动模型全生命周期的完整管理机制。

本发明的特点是：

(1)所述的模型管理方法利用参数特征与验证结果，在数据驱动架构中参数关联划分模块提供的初始参数输入配置基础上，实现从模型本身特征出发的模型输入配置的优化；

(2)所述的模型管理方法针对实时异常检测任务中遥测参数的流数据特征，为数据驱动模型补充面向模型检测接口常见数据输入格式的数据流处理功能，降低数据驱动模型嵌入实际检测架构的难度；

(3)所述的模型管理方法针对实际检测任务中工况的不确定性，完善数据驱动模型对于训练数据未覆盖的未知工况的感知能力，并建立基于累积运行数据的模型修正功能，实现模型随实际系统动态演化的自主同步；

(4)所述的模型管理方法针对大规模检测任务常用的集群架构，通过数据库集群调整数据驱动模型配置参数的储存和载入功能，进而支持集群调度机制实现模型训练、修正和检测等任务的负载均衡。

附图说明

图1为数据驱动模型全生命周期管理机制；

图2为实际遥测数据流处理的基本流程；

图3为数据驱动模型自主感知修正的基本流程；

图4为数据驱动模型配置参数跨集群共享的基本流程。

具体实施方式

下面结合附图对本发明提供的一种面向长期时序异常检测任务的模型自主管理方法进行具体说明。

本发明提供一种面向长期时序异常检测任务的模型自主管理方法。所述的模型自主管理方法面向航天器、船舶等中大型设备，针对数据驱动方法在长期检测任务中的特殊应用需求，在当前数据驱动模型管理机制仅有的静态异常检测功能(模型训练、模型检测、模型文件保存、模型文件加载)基础上，面向长期实时异常检测任务的特殊需求，完善数据驱动模型的动态异常检测功能。

所述的面向长期时序异常检测任务的模型自主管理方法，主要包含模型输入筛选、数据流处理、模型自主修正、模型跨集群共享四类主要功能。如图1所示的模型全生命周期管理机制中，数据驱动模型根据参数关联划分所提供的初始输入进行初始化，在模型训练前后利用模型输入筛选功能，分别通过对参数特征和训练结果的分析对初始输入进行先验和后验的筛选，从而增强模型对输入配置的自主重配置能力；模型上线后，模型利用数据流处理功能将采样率不一致且不稳定的多质遥测参数转化为模型所需要的归一化且等采样的数据输入，从而为数据驱动模型提供更理想的应用环境；同时，模型根据实时检测结果定时进行自主评估，在感知到当前系统运行状态超出已训练数据涵盖范围时，利用累积历史数据对模型进行离线修正；考虑到数据驱动方法在集群架构中的负载均衡需求，模型动态配置参数将通过数据库集群实现共享，实现模型训练、检测和修正各阶段在集群各节点上的自由部署。

1.模型初始化阶段的输入筛选功能

所述的模型管理架构为实现模型初始化阶段的高效筛选，面向参数相关团划分模块的初始模型输入配置，构建一种基于算法特征与交叉验证的双策略自主筛选功能。所述的模型输入筛选功能主要负责模型初始训练阶段模型输入配置的自主调整，包含先验和后验模型输入筛选两部分输入筛选策略。

所述的模型输入筛选中先验模型输入策略，筛选以专业人员提供的模型配置经验为主，负责在模型训练前对于模型可用性作初步评估。具体而言，所述的先验模型输入策略在训练之前根据参数特征挖掘模块所提供的类型(主要包含离散型、趋势离散型、周期型、阈值稳定型、趋势阈值稳定型、趋势阈值不稳定型六种参数类型)、最值、平均值、趋势最值、标准差、峭度、四分位数、自相关系数分段最值(即自相关系数指定帧前后的最大值)、偏自相关性系数分段最值(即偏自相关系数指定帧前后的最大值)等特征，按照模型内嵌的先验模型输入筛选方法，删去部分不符合模型检测机理的参数。

例如，以谱密度聚类(Density-Based Spatial Clustering of Applicationswith Noise,DBSCAN)为代表的距离聚类方法，明显不适用于趋势离散型、趋势阈值稳定型等阈值不稳定的参数，可以在训练前利用先验模型输入策略滤除，规避训练过程中不必要的计算量，提高模型整体的训练效率。

所述的模型输入筛选中后验模型输入筛选部分，则是为弥补专业人员对模型先验认知的有限性，负责在训练后、基于交叉验证方法针对于各输入对模型可用性的影响进行具体分析。具体而言，累积运行数据按固定比例被划分为训练数据和验证数据，在模型根据训练数据训练之后，利用模型在验证数据上的检测效果进一步筛选影响实际检测效果的输入。由于在实际检测任务中，累积运行数据一般属于正常数据，因此后验模型输入筛选只需要通过统计检测出的异常样本在验证数据中所占的比例而估算各参数的虚警率，进而滤除当前输入中虚警率过高的参数即可。在后验输入筛选完成后，模型根据其特征对模型进行对应的调整，调整方法主要有以下三类：

1)对于以距离聚类模型为代表的数据驱动模型，在删除模型参数(例如聚类簇群中每个簇中心、上下限等)中对应筛除输入的分量，即可使模型适应后验筛选后的输入配置。因此，该类模型只需要滤除上述冗余模型参数后，并利用验证数据对已训练模型进行微调后，进而更有效地应对实际检测任务；

2)对于以深度神经网络模型为代表的数据驱动模型，由于结构的复杂性并不能够直接对模型做出有效的操作以适应筛选后的输入配置。因此，该类模型需要根据后验筛选后的输入配置对模型进行重构，并利用包含训练数据和验证数据在内的累积运行数据进行重新训练，进而配置入实际检测任务；

3)对于以主成分分析法为代表的数据驱动模型，由于模型内部为参数构建起复杂的耦合约束，在检测机制中滤除部分参数会强烈影响模型检测的质量。因此，该类模型直接利用验证数据对已训练模型进行微调，并在配置中记录虚警率高的参数，进而在实际检测任务中对记录的参数异常结果进行屏蔽。

2.模型在线阶段的数据流处理功能

所述的数据流处理功能主要负责实时遥测数据与模型实际输入数据的转化，包含数据流动态整理与归一化两部分。

所述的数据流处理功能中的数据流动态整理部分，通过模型内部的数据缓存，将实时遥测数据转化为规定采样率的数据。具体而言，模型设置内部收数线程，该线程具有两个配置参数，即输入所需要的数据采样率与代表数据向前向后补充最大帧数的有效帧数；该线程在投入检测时按模型的输入数据要求初始化数据存储变量和对应的时间存储变量。所述的数据存储变量按照“[[参数1第1帧数据,...,参数k第1帧数据,...],...,[参数1第t帧数据,...,参数k第t帧数据,...],...]”的格式进行存储，而所述的时间存储变量则按最新数据的当前时进行存储。如图2所示，当新的遥测数据包传入后，模块会读取该数据包统一的器上时，与所述的时间存储变量进行比较，根据数据采样率计算当前数据需要丢弃的帧数，并根据新数据包中的参数数据更新数据存储变量的最后一帧数据，根据当前数据包器上时更新时间存储变量，并根据数据有效帧数补充参数数据缺失的前后帧。

所述的数据流处理功能中的数据归一化部分，模型将数据流处理完成的输入数据通过训练阶段确定的最大最小值进行归一化处理，即：

式中：x^(k,t)与

分别为参数k归一化前后的第t帧数据；x_max ^(k)与x_min ^(k)分别代表参数k训练中确定的最大值与最小值；sgn(·)为符号函数，根据输入的正负性分别返回1、0或-1。3.模型可用性剖面的自主修正功能

所述的模型自主修正功能主要负责在复杂运行场景下，自主感知未知工况，并基于累积数据实现模型与系统在机理认知层面的同步。如图3所示，所述的模型自主修正功能主要分为模型可用性评估与修正训练两部分。

所述的模型自主修正功能中模型可用性评估部分，主要分为虚警率自检和漏检率自检两部分。其中，所述的虚警率自检需要设置异常中断阈值、虚警匹配率阈值、最长与最近异常持续时间阈值四个配置参数；所述的漏检率自检需要设置漏检自检时间、漏检匹配率阈值两个配置参数。

所述的虚警率自检基于实际检测模型虚警率与未知工况满足的基本假设(即对未知工况的弱适应性会导致模型虚警率的提高)，通过估计模型当前异常检测结果的虚警率来判别模型是否需要进行离线修正。而另一方面，真实故障频繁也会触发模型的下线修正，但是额外的修正不会显著降低模型的有效性，故障的低频性也将无效下线时间限制在可接受的范围内。

具体而言，模型设置内置虚警率记录变量，按“[[最长异常开始时间,最长异常结束时间,最长异常持续时间],[最近异常开始时间,最近异常结束时间,最近异常持续时间]]”的格式进行储存。每当异常开始时，如果与上一次异常间隔在设置的异常中断阈值之内，则归入上一端异常中；如果异常中断阈值，则用异常开始时的器上时更新最近异常开始时间。每当异常结束时，用异常结束帧的器上时更新最近异常结束时间，若超过异常中断阈值仍未感知异常，则该段异常结束，通过最近异常开始和结束时间之差计算并更新最近异常持续时间，如果最近异常持续时间超过最长异常持续时间，则将最长异常情况更新为最近异常持续情况。每到设置的虚警自检时间，首先将最长与最近异常持续时段和专家指认的重要参数异常进行匹配，筛除匹配率高于虚警匹配率阈值的有效异常报警时段；通过当前最长与最近异常持续时间，分别与设置最长与最近异常持续时间阈值进行比较。根据系统故障率较低的实际工程实际，超过阈值的部分则认为模型虚警率偏高，需要进行离线修正。

所述的漏检率自检，一方面主要依赖于各漏检自检时间专家指认的重要异常参数，若涉及该参数的模型在漏检自检时间内并与检测到相关参数的异常匹配率低于漏检匹配率阈值，则认为模型漏检率过高，需要进行离线修正；另一方面利用漏检自检时间动态更新后的参数特征，对于模型输入进行再次先验参数筛选，如果有参数当前不满足模型规定的特征要求，则认为模型不再适用于当前参数，容易出现漏检现象，模型也需要离线修正。

所述的模型自主修正功能中修正训练部分与训练部分流程基本一致，也需要进行先验和后验的输入筛选，但由于该阶段包含专家指认的高置信度异常数据，可支持模型在有监督的学习环境下进行修正。同时，对于距离聚类等方法，原始模型根据先验筛选进行调整后，可在该模型的基础上继续基于累积运行数据对模型进行调整。此外，考虑到同型号系统间模型的复用性，模型会根据每次修正更新模型内部记录的版本号和上线时间，并将修正后的模型作为新模型进行存储，进而通过模型记录系统全生命周期的异常检测机理，方便系统全套检测模型向其他系统的迁移复用。

4.模型调度剖面的跨集群共性功能

所述的模型跨集群共享功能主要通过数据库集群实现模型动态配置参数共享，主要涉及模型配置库和模型配置目录库两个相关数据库。如图4所示，模型在储存时，通过自身的存储接口将配置参数转化为JSON格式的长字符串，根据分卷最长字符限制分为若干模型配置分卷存入模型配置库的多条条目中，对应的条目将与模型名称、版本与上线时间一起计入模型配置目录库中；模型在载入时，根据模型名称、版本在模型配置目录库找到模型配置各分卷在模型配置库中的位置，载入并拼接各模型配置分卷，最终通过模型的载入接口实现模型跨集群的再配置。

通过上述四类主要功能及其实现方式，该模型管理方法明确数据驱动模型在整体数据驱动检测架构的封装与调用方法，进而在模型规范化的基础上构建覆盖数据驱动模型全生命周期的完整管理机制。

Claims (6)

1.一种面向长期时序异常检测任务的数据驱动模型管理方法，其特征为：所述的面向长期时序异常检测任务的数据驱动模型管理方法，面向航天器、船舶等中大型设备，针对数据驱动方法在长期检测任务中的特殊应用需求，在当前数据驱动模型管理机制仅有的静态异常检测功能基础上，完善数据驱动模型的动态异常检测功能。

2.根据权利要求1，所述的面向时序异常检测模型的海量遥测参数关联划分方法，其特征为：所述的面向时序异常检测模型的海量遥测参数关联划分方法，主要涉及数据驱动模型的模型输入筛选、数据流处理、模型自主修正、模型跨集群共享四类主要功能。

3.根据权利要求2，所述的面向时序异常检测模型的海量遥测参数关联划分方法，其特征为：针对于模型输入筛选功能，该功能利用参数特征与验证结果，在数据驱动架构中参数关联划分模块提供的初始参数输入配置基础上，实现从模型本身特征出发的模型输入配置的优化。

4.根据权利要求2，所述的面向时序异常检测模型的海量遥测参数关联划分方法，其特征为：针对于数据流处理功能，该功能针对实时异常检测任务中遥测参数的流数据特征，为数据驱动模型提供遥测数据向恒采样率、归一化数据输入的转化方法，降低数据驱动模型嵌入实际检测架构的难度。

5.根据权利要求2，所述的面向时序异常检测模型的海量遥测参数关联划分方法，其特征为：针对于功能模型自主修正功能，该功能针对实际检测任务中工况的不确定性，在虚警与漏检两个指标上构建数据驱动模型对于训练数据未覆盖的未知工况的感知机制，并建立基于累积运行数据的模型修正功能，实现模型随实际系统动态演化的自主同步。

6.根据权利要求2，所述的面向时序异常检测模型的海量遥测参数关联划分方法，其特征为：针对于模型跨集群功能，该功能针对大规模检测任务常用的集群架构，通过数据库集群，采用JSON化模型配置分卷存储的方式，实现数据驱动模型配置参数跨集群的储存和载入功能，进而支持集群调度机制实现模型训练、修正和检测等任务的负载均衡。

Images