CN117473242B - 一种时序数据故障检测方法、系统、设备及介质 - Google Patents
一种时序数据故障检测方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117473242B CN117473242B CN202311825540.9A CN202311825540A CN117473242B CN 117473242 B CN117473242 B CN 117473242B CN 202311825540 A CN202311825540 A CN 202311825540A CN 117473242 B CN117473242 B CN 117473242B
- Authority
- CN
- China
- Prior art keywords
- data
- trend
- feature
- features
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 124
- 238000000605 extraction Methods 0.000 claims abstract description 89
- 230000004927 fusion Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000007499 fusion processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000001174 ascending effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002688 persistence Effects 0.000 claims description 9
- 230000010355 oscillation Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000000275 quality assurance Methods 0.000 claims description 4
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及时序数据异常检测技术领域，具体涉及一种时序数据故障检测方法、系统、设备及介质，包括：获取离线数据及实时数据，对离线数据及实时数据进行任务识别，并划分为训练数据及待检测数据，对训练数据及待检测数据进行特征提取，并对二者的特征提取部分进行特征融合，形成训练数据的模型文件及待检测数据的数值及趋势特征；基于训练数据的模型文件对待检测数据的数值及趋势特征进行故障判读，通过知识图谱对判读结果进行故障类型识别，完成时序数据的故障检测。本发明通过特征提取并叠加知识图谱功能，能够有效提升时序数据故障发现及分析的性能，降低企业在时序数据故障检测方面所耗费成本，增强时序数据的应用能力。
Description
技术领域
本发明涉及时序数据异常检测技术领域，具体而言，涉及一种时序数据故障检测方法、系统、设备及介质。
背景技术
时序数据处理可以应用于智慧城市、物联网、车联网、工业互联网等领域，其包括数据采集、数据清洗、数据分析等多个维度，属于大数据和人工智能新兴领域。就目前而言，现有研究无法高效地检测和识别时序数据中的故障异常，容易导致故障被延误发现，导致设备或系统在故障发生后继续运行，进一步加剧故障的严重程度，导致维修成本的增加。并且需要更长时间来定位和修复故障。基于此，为了实现高效快速的完成时序数据故障异常检测和故障模式识别，本发明设计了一种时序数据故障检测方法、系统、设备及介质。
发明内容
本发明的目的在于提供一种时序数据故障检测方法、系统、设备及介质，其采用机器学习方法，通过特征提取与选择，叠加知识图谱功能，实现时序数据的在线监测、异常告警、故障分类，能够有效提升时序数据故障发现及分析的性能，降低企业在时序数据故障检测方面所耗费成本，提高企业生产效率，增强时序数据的应用能力。
本发明的实施例通过以下技术方案实现：
一种时序数据故障检测方法，该方法的步骤包括：
获取离线数据及实时数据，对离线数据及实时数据进行数据预处理，并对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；
在训练管道中，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；
在故障检测管道中，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息，完成时序数据的故障检测。
可选的，所述离线数据及实时数据的获取过程为：通过文件上传方式接入离线数据，通过MQTT/Modbus协议接入实时数据，分别将离线数据及实时数据进行存储，并将离线数据及实时数据的关联信息存入MySQL数据库。
可选的，所述对离线数据及实时数据进行数据预处理，其中，数据预处理具体为：对存储的离线数据及实时数据依次进行数据清洗处理、数据规整处理、去野值处理以及归一化处理，其中，去野值处理采用中值去噪法，归一化处理包含最大最小标准化处理、z-score标准化处理。
可选的，所述将训练数据分别进行数值特征提取及趋势特征提取，其中，训练数据的数值特征提取的具体过程如下：
随机设定训练数据包括N个历史数据，其中，/>，，/>为时间序列长度；
定义滑动窗口W，每个滑动窗口包括训练数据中n个连续的时序数据，设定窗口滑动距离L的取值范围为/>，基于时序递增方向，通过滑动窗口W对训练数据/>进行数据提取，求得训练数据/>的取值特征集合
其中，，/>，为窗口内的平均值，/>为窗口内的方差，二者分别代表设定时间段内取值特征；
将取值特征集合和取值特征集合/>进行特征融合，得到训练数据的数值特征。
可选的，所述趋势特征提取包括横向趋势特征和纵向趋势特征，其中，训练数据的趋势特征获取过程如下：基于多样本特征及快速傅里叶变化将提取的训练数据横向趋势特征进行特征融合，基于设定条件对训练数据的纵向趋势特征进行特征融合，得到训练数据的趋势特征，其中，设定条件具体为基于保留每一个趋势阶层的最大占比和最小占比，以表征为融合后的纵向趋势特征。
可选的，所述将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，其具体过程与所述离线数据的特征提取及融合过程一致。
可选的，所述基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，其故障判读过程如下：
基于趋势特征在先，数值特征在后的顺序，根据模型文件中的训练数据趋势特征对待检测数据趋势特征进行对比，判别待检测数据的趋势特征是否在训练数据趋势特征的范围内，若是，则执行数值特征判读；若否，则获取待检测数据趋势特征不符合的时间范围及故障范围，并对待检测数据趋势特征的其他时间范围进行数值特征判读。
一种时序数据故障检测系统，包括：
数据采集模块，获取离线数据及实时数据；
数据质量保证模块，对离线数据及实时数据进行数据预处理；
任务识别模块，对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；
数据训练模块，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；
故障检测模块，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息；
可视化模块，基于可视化模块对数据训练模块及故障检测模块进行展示。
一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现时序数据故障检测方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现时序数据故障检测方法的步骤。
本发明实施例的技术方案至少具有如下优点和有益效果：
本发明实施例采用机器学习方法，通过特征提取与选择，叠加知识图谱功能，实现时序数据的在线监测、异常告警、故障分类，能够有效提升时序数据故障发现及分析的性能，降低企业在时序数据故障检测方面所耗费成本，提高企业生产效率，增强时序数据的应用能力。
附图说明
图1为本发明实施例提供的一种时序数据故障检测方法的流程示意图；
图2为本发明实施例提供的一种时序数据故障检测系统的原理示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
参照图1所示，图1为本发明实施例提供的一种时序数据故障检测方法的流程示意图。
在一些实施例中，一种时序数据故障检测方法，该方法的步骤包括：
获取离线数据及实时数据，对离线数据及实时数据进行数据预处理，并对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；
在训练管道中，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；
在故障检测管道中，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息，完成时序数据的故障检测。
在本实施例的具体应用中，本实施例的具体步骤可以划分为：第1步，服务初始化。数据库异常处理，日志系统初始化等，MySQL数据库、redis数据库、nginx代理服务启动，节点信息（ip地址和端口）注册等。第2步，数据采集。通过文件上传的方式接入离线数据，通过MQTT等协议接入实时数据，将接入数据进行存储，并将关联信息存入MySQL数据库中。第3步，数据质量保证模块。对接入的数据进行数据清洗、数据规整、去野值、归一化等预处理操作。其中去野值采用中值去噪方法，归一化包含最大最小标准化、z-score标准化等。第4步，任务切片。根据任务识别模块对数据流向管道进行分割，若任务类型为训练，则将数据送入训练管道。若任务类型检测，则将数据送入检测管道。第5步，训练模块。训练模块中分为特征提取和融合、模型持久化和存储。第6步，故障检测模块。当任务识别为故障检测任务时，数据会经过数据管道进入故障检测模块。第7步，利用可视化展示模块对训练情况和结果、故障检测情况和结果进行可视化展示。
在本实施例关于训练模块的具体应用中，本实施例从时序数据本身特性出发，在专业人员检测某一个时序数据是否发生故障时，一般会观察时序数据的两个方面，一方面是观察时序数据的数值是否与正常时序数据数值一致，另一方面是观察时序数据的趋势特性是否与正常时序数据趋势一致。因此本专利以此为灵感，从两个方面进行时序数据的特征提取，分别为数值特征提取部分和趋势特征提取部分。数值特征提取过程如下所述：
对于某个时序数据，其有N个历史数据（训练数据），有，其中，/>表示时间序列长度。
定义一个滑动窗口W，每个滑动窗口包含中n个连续的时序数据记为，窗口W按照时序递增方向进行滑动提取数据，窗口滑动距离L可以进行手动或自动配置，其范围为/>。对于窗口内的数据，计算窗口内的平均值和方差，分别代表该时间段内取值特征，即：
最后得到该历史数据的取值特征，为两个集合：
将所有的历史数据得到的取值特征和/>进行特征融合，得到：
其计算过程如下所示：
其中，。
在本实施例中，为了全面且精细描述时序数据的特征，本专利从两个方面对时序数据的趋势特征进行描述，分别是横向趋势和纵向趋势。趋势特征提取过程如下：
对于某个时序数据有N个历史数据（训练数据），有，其中，/>表示时间序列长度。
同样的，在进行趋势特征提取时，进行窗口化操作，得到窗口化的数据。在本步骤内，窗口移动长度为/>，即窗口移动时与上一次的位置不重合。
提取窗口化后的数据中的最大值和最小值，即：
得到计算后的时间序列，即
并保留以上数据的时间。
在本实施例中，定义了22种趋势特征，即。其中/>表示该段为水平直线趋势，/>表示该段为振荡趋势，除此之外，针对上升/下降趋势定义了十个阶层，用以精细化的划分上升/下降趋势，/>表示该段为上升趋势，表示该段为下降趋势。其中数值的绝对值越大表示趋势上升/下降越陡峭，例如/>表示该段上升的陡峭程度在90%*scale至100%*scale之间。其中scale表示所有训练样本最大极值，即：
根据计算得到的窗口时间序列，利用/>中元素数值及时间参数，对窗口内部及窗口和窗口之间的趋势进行刻画，计算得到横向趋势特征/>，该特征内部包含了时序数据时间序列信息和趋势特征信息。例如计算的结果为：，其趋势量化结果为：/>。
利用直方图统计的方式，量化纵向趋势特征。利用计算得到的横向趋势特征，对内部的趋势元素进行直方图统计。直方图统计是指共划分22个直方图中的桶（bar），其中22个桶分别对应上述22个趋势特征，统计内容为每个趋势特征长度与数据总长度的比例。最后得到纵向趋势特征：/>。以上述/>为例，直方图统计结果为：。
在本实施例中，当所有的训练样本均经过以上特征提取后，便进行多样本特征融合过程。特征融合可以分为两个部分，分别为纵向特征融合和横向特征融合。纵向特征融合过程是将进行融合，融合的主要指标为/>中每个趋势阶层的占比，融合过程为保留每一个趋势阶层的最大占比和最小占比作为融合后的特征。融合后的特征可以表示为：
其中是指上升程度在/>至/>之间所有训练样本中占比的最大值和最小值。
横向特征融合过程是指对所有样本进行融合。融合过程如下所述：1、首先对每个样本中的/>中连续且相似的趋势进行合并，例如横向趋势，该趋势变可融合为/>。2、进行多样本之间的融合，融合规则按照趋势相同进行融合，趋势不同规整为振荡特征，即表示在该时间范围内所有的样本趋势无法提取出有效特征，无法进行融合。例如有横向特征集合，/>，/>，经过融合后/>。3、多样本融合后可以利用1中的方法对/>进行融合，即/>。4、对于/>中上升/下降趋势进行拟合，拟合后的结果可以作为该时间段内的特征，对于振荡区域，利用快速傅里叶变换（fast Fourier transform）等方法进行时域和频域特征提取，最后得到多样本融合后的横向趋势特征/>。
在本实施例中，为了方便用户便于理解和修改模型内容，本专利中模型持久化格式采用的是json格式。Json格式是一种轻量级的文本数据交换格式，其具有自我描述性，易于理解。模型持久化完成之后进行模型存储，存储结果及关联关系均记录在MySQL数据库中。
在本实施例关于故障检测模块的具体应用中，当任务识别为故障检测任务时，数据会经过数据管道进入故障检测模块。当数据进入故障检测模块后，会进行下述步骤：1、在经过数据预处理后，数据会进行两个方面的特征提取，分别为趋势特征提取和数值特征提取，其提取过程与训练模块中特征提取相同。2、读取模型内容，作为判读标准。3、数据特征提取完成后，进入故障判读阶段，故障判读分为两个方面，分别为趋势特征判读和数值特征判读。在先后顺序上为先进行趋势特征判读后进行数值特征判读。趋势特征判读过程为根据模型中的趋势特征和被判读数据的趋势特征进行对比，判别被判读的趋势特征是否在模型趋势特征的范围内，如果在模型特征的范围内，接着进行该时间范围内的数值特征判读。若不在模型特征范围内，便对故障区域进行精细查找，精确定位故障范围，找到趋势不符合的时间范围，并进行其余范围的数值特征判读。如果一个时间段内已经不满足趋势特征，则该时间段内已经被标记为故障区域，为了节省算法的复杂度，便不会进行该故障区域的数值特征判读。判读完成之后，会返回故障区域，并进行在线故障告警，之后根据知识图谱对故障类型进行识别，最后对故障信息进行整合和告警。
参照图2所示，图2为本发明实施例提供的一种时序数据故障检测系统的原理示意图。
在一些实施例中，一种时序数据故障检测系统，包括：
数据采集模块，获取离线数据及实时数据；
数据质量保证模块，对离线数据及实时数据进行数据预处理；
任务识别模块，对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；
数据训练模块，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；
故障检测模块，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息；
可视化模块，基于可视化模块对数据训练模块及故障检测模块进行展示。
可以理解的，本实施例所提供时序数据故障检测系统与上述实施例所提供的时序数据故障检测方法出于相同的发明构思，关于本发明实施例中各个模块更加具体的工作原理参考上述实施例，在本发明实施例中不做赘述。
一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现时序数据故障检测方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现时序数据故障检测方法的步骤。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种时序数据故障检测方法，其特征在于，该方法的步骤包括：
获取离线数据及实时数据，对离线数据及实时数据进行数据预处理，并对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；
在训练管道中，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；
在故障检测管道中，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息，完成时序数据的故障检测；
所述将训练数据分别进行数值特征提取及趋势特征提取，其中，训练数据的数值特征提取的具体过程如下：
随机设定训练数据包括N个历史数据，其中，/>，，/>为时间序列长度；
定义滑动窗口W，每个滑动窗口包括训练数据中n个连续的时序数据，设定窗口滑动距离L的取值范围为/>，基于时序递增方向，通过滑动窗口W对训练数据/>进行数据提取，求得训练数据/>的取值特征集合
其中，，/>，为窗口内的平均值，/>为窗口内的方差，二者分别代表设定时间段内取值特征；
将取值特征集合和取值特征集合/>进行特征融合：
其中，，得到训练数据的数值特征；
在进行趋势特征提取时，进行窗口化操作，得到窗口化的数据窗口移动长度为，即窗口移动时与上一次的位置不重合；
提取窗口化后的数据中的最大值和最小值，即：
得到计算后的时间序列，即
并保留以上数据的时间；
定义22种趋势特征，即，其中表示该段为水平直线趋势，/>表示该段为振荡趋势，针对上升/下降趋势定义十个阶层，用以划分上升/下降趋势，/>表示该段为上升趋势，表示该段为下降趋势，其中数值的绝对值越大表示趋势上升/下降越陡峭，/>表示该段上升的陡峭程度在90%*scale至100%*scale之间，其中scale表示所有训练数据最大极值，即：
根据计算得到的窗口时间序列，利用/>中元素数值及时间参数，对窗口内部及窗口和窗口之间的趋势进行刻画，计算得到横向趋势特征/>，该特征内部包含了时序数据时间序列信息和趋势特征信息；
利用直方图统计的方式，量化纵向趋势特征，利用计算得到的横向趋势特征，对内部的趋势元素进行直方图统计，直方图统计是指共划分22个直方图中的桶，其中22个桶分别对应上述22个趋势特征，统计内容为每个趋势特征长度与数据总长度的比例，最后得到纵向趋势特征：/>；
当所有的训练数据均经过以上特征提取后，便进行多样本特征融合过程，特征融合分为两个部分，分别为纵向特征融合和横向特征融合，纵向特征融合过程是将进行融合，融合的主要指标为/>中每个趋势阶层的占比，融合过程为保留每一个趋势阶层的最大占比和最小占比作为融合后的特征，融合后的特征表示为：
其中是指上升程度在/>至/>之间所有训练数据中占比的最大值和最小值；
横向特征融合过程是指对所有样本进行融合，融合过程如下所述：1、首先对每个样本中的/>中连续且相似的趋势进行合并；2、进行多样本之间的融合，融合规则按照趋势相同进行融合，趋势不同规整为振荡特征；3、多样本融合后利用1中的方法对/>进行融合；4、对于/>中上升/下降趋势进行拟合，拟合后的结果作为该时间段内的特征，对于振荡区域，利用快速傅里叶变换方法进行时域和频域特征提取，最后得到多样本融合后的横向趋势特征/>。
2.根据权利要求1所述的时序数据故障检测方法，其特征在于，所述离线数据及实时数据的获取过程为：通过文件上传方式接入离线数据，通过MQTT/Modbus协议接入实时数据，分别将离线数据及实时数据进行存储，并将离线数据及实时数据的关联信息存入MySQL数据库。
3.根据权利要求2所述的时序数据故障检测方法，其特征在于，所述对离线数据及实时数据进行数据预处理，其中，数据预处理具体为：对存储的离线数据及实时数据依次进行数据清洗处理、数据规整处理、去野值处理以及归一化处理，其中，去野值处理采用中值去噪法，归一化处理包含最大最小标准化处理、z-score标准化处理。
4.根据权利要求3所述的时序数据故障检测方法，其特征在于，所述趋势特征提取包括横向趋势特征和纵向趋势特征，其中，训练数据的趋势特征获取过程如下：基于多样本特征及快速傅里叶变化将提取的训练数据横向趋势特征进行特征融合，基于设定条件对训练数据的纵向趋势特征进行特征融合，得到训练数据的趋势特征，其中，设定条件具体为基于保留每一个趋势阶层的最大占比和最小占比，以表征为融合后的纵向趋势特征。
5.根据权利要求4所述的时序数据故障检测方法，其特征在于，所述基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，其故障判读过程如下：
基于趋势特征在先，数值特征在后的顺序，根据模型文件中的训练数据趋势特征对待检测数据趋势特征进行对比，判别待检测数据的趋势特征是否在训练数据趋势特征的范围内，若是，则执行数值特征判读；若否，则获取待检测数据趋势特征不符合的时间范围及故障范围，并对待检测数据趋势特征的其他时间范围进行数值特征判读。
6.一种时序数据故障检测系统，其特征在于，包括：
数据采集模块，获取离线数据及实时数据；
数据质量保证模块，对离线数据及实时数据进行数据预处理；
任务识别模块，对离线数据及实时数据进行任务识别，根据任务识别结果将离线数据划分为训练数据，并将实时数据划分为待检测数据，将训练数据及待检测数据输送至训练管道或故障检测管道；
数据训练模块，将训练数据分别进行数值特征提取及趋势特征提取，并对训练数据的数值特征提取部分进行特征融合，对训练数据的趋势特征提取部分进行特征融合，形成训练数据的数值特征及趋势特征，经持久化处理后，存储为训练数据的模型文件；
故障检测模块，将待检测数据分别进行数值特征提取及趋势特征提取，并对待检测数据的数值特征提取部分进行特征融合，对待检测数据的趋势特征提取部分进行特征融合，形成待检测数据的数值特征及趋势特征，基于训练数据的模型文件对待检测数据的数值特征及趋势特征进行故障判读，通过知识图谱对故障判读结果进行故障类型识别，并整合为待检测数据的故障信息；
可视化模块，基于可视化模块对数据训练模块及故障检测模块进行展示；
所述将训练数据分别进行数值特征提取及趋势特征提取，其中，训练数据的数值特征提取的具体过程如下：
随机设定训练数据包括N个历史数据，其中，/>，，/>为时间序列长度；
定义滑动窗口W，每个滑动窗口包括训练数据中n个连续的时序数据，设定窗口滑动距离L的取值范围为/>，基于时序递增方向，通过滑动窗口W对训练数据/>进行数据提取，求得训练数据/>的取值特征集合
其中，，/>，为窗口内的平均值，/>为窗口内的方差，二者分别代表设定时间段内取值特征；
将取值特征集合和取值特征集合/>进行特征融合：
其中，，得到训练数据的数值特征；
在进行趋势特征提取时，进行窗口化操作，得到窗口化的数据窗口移动长度为，即窗口移动时与上一次的位置不重合；
提取窗口化后的数据中的最大值和最小值，即：
得到计算后的时间序列，即
并保留以上数据的时间；
定义22种趋势特征，即，其中表示该段为水平直线趋势，/>表示该段为振荡趋势，针对上升/下降趋势定义十个阶层，用以划分上升/下降趋势，/>表示该段为上升趋势，表示该段为下降趋势，其中数值的绝对值越大表示趋势上升/下降越陡峭，/>表示该段上升的陡峭程度在90%*scale至100%*scale之间，其中scale表示所有训练数据最大极值，即：
根据计算得到的窗口时间序列，利用/>中元素数值及时间参数，对窗口内部及窗口和窗口之间的趋势进行刻画，计算得到横向趋势特征/>，该特征内部包含了时序数据时间序列信息和趋势特征信息；
利用直方图统计的方式，量化纵向趋势特征，利用计算得到的横向趋势特征，对内部的趋势元素进行直方图统计，直方图统计是指共划分22个直方图中的桶，其中22个桶分别对应上述22个趋势特征，统计内容为每个趋势特征长度与数据总长度的比例，最后得到纵向趋势特征：/>；
当所有的训练数据均经过以上特征提取后，便进行多样本特征融合过程，特征融合分为两个部分，分别为纵向特征融合和横向特征融合，纵向特征融合过程是将进行融合，融合的主要指标为/>中每个趋势阶层的占比，融合过程为保留每一个趋势阶层的最大占比和最小占比作为融合后的特征，融合后的特征表示为：
其中是指上升程度在/>至/>之间所有训练数据中占比的最大值和最小值；
横向特征融合过程是指对所有样本进行融合，融合过程如下所述：1、首先对每个样本中的/>中连续且相似的趋势进行合并；2、进行多样本之间的融合，融合规则按照趋势相同进行融合，趋势不同规整为振荡特征；3、多样本融合后利用1中的方法对/>进行融合；4、对于/>中上升/下降趋势进行拟合，拟合后的结果作为该时间段内的特征，对于振荡区域，利用快速傅里叶变换方法进行时域和频域特征提取，最后得到多样本融合后的横向趋势特征/>。
7.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-5任一项所述的时序数据故障检测方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的时序数据故障检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311825540.9A CN117473242B (zh) | 2023-12-28 | 2023-12-28 | 一种时序数据故障检测方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311825540.9A CN117473242B (zh) | 2023-12-28 | 2023-12-28 | 一种时序数据故障检测方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117473242A CN117473242A (zh) | 2024-01-30 |
| CN117473242B true CN117473242B (zh) | 2024-03-19 |
Family
ID=89638268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311825540.9A Active CN117473242B (zh) | 2023-12-28 | 2023-12-28 | 一种时序数据故障检测方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117473242B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101969A (zh) * | 2020-09-27 | 2020-12-18 | 西安交通大学 | 一种基于时序滑动窗口离散系数的环保数据造假检测方法 |
| CN112304613A (zh) * | 2020-10-30 | 2021-02-02 | 浙江运达风电股份有限公司 | 一种基于特征融合的风电机组发电机轴承预警方法 |
| CN112632231A (zh) * | 2021-01-20 | 2021-04-09 | 江苏思远集成电路与智能技术研究院有限公司 | 适用于文化科技融合领域时间序列数据的特征提取方法 |
| CN113342610A (zh) * | 2021-06-11 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 一种时序数据异常检测方法、装置、电子设备及存储介质 |
| CN113887616A (zh) * | 2021-09-30 | 2022-01-04 | 海看网络科技(山东)股份有限公司 | 一种epg连接数的实时异常检测系统及方法 |
| CN115412451A (zh) * | 2022-08-04 | 2022-11-29 | 浪潮通信信息系统有限公司 | 一种基于融合模型的互联网链路利用率的预测方法 |
| CN115879783A (zh) * | 2021-09-27 | 2023-03-31 | 中移动信息技术有限公司 | 关键绩效指标异常检测方法和装置、电子设备及存储介质 |
| CN116227952A (zh) * | 2023-05-09 | 2023-06-06 | 中国人民解放军海军潜艇学院 | 一种关键信息缺失下的来袭目标防御策略选择方法及装置 |
| CN116821783A (zh) * | 2023-04-27 | 2023-09-29 | 天津大学 | 一种故障检测方法、系统、设备及介质 |
| CN117034175A (zh) * | 2023-10-07 | 2023-11-10 | 北京麟卓信息科技有限公司 | 一种基于通道融合自注意力机制的时序数据异常检测方法 |
| CN117272196A (zh) * | 2023-08-23 | 2023-12-22 | 浙江工业大学 | 一种基于时空图注意力网络的工业时序数据异常检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220345468A1 (en) * | 2021-04-21 | 2022-10-27 | General Electric Company | System and method for cyberattack detection in a wind turbine control system |
-
2023
- 2023-12-28 CN CN202311825540.9A patent/CN117473242B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101969A (zh) * | 2020-09-27 | 2020-12-18 | 西安交通大学 | 一种基于时序滑动窗口离散系数的环保数据造假检测方法 |
| CN112304613A (zh) * | 2020-10-30 | 2021-02-02 | 浙江运达风电股份有限公司 | 一种基于特征融合的风电机组发电机轴承预警方法 |
| CN112632231A (zh) * | 2021-01-20 | 2021-04-09 | 江苏思远集成电路与智能技术研究院有限公司 | 适用于文化科技融合领域时间序列数据的特征提取方法 |
| CN113342610A (zh) * | 2021-06-11 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 一种时序数据异常检测方法、装置、电子设备及存储介质 |
| CN115879783A (zh) * | 2021-09-27 | 2023-03-31 | 中移动信息技术有限公司 | 关键绩效指标异常检测方法和装置、电子设备及存储介质 |
| CN113887616A (zh) * | 2021-09-30 | 2022-01-04 | 海看网络科技(山东)股份有限公司 | 一种epg连接数的实时异常检测系统及方法 |
| CN115412451A (zh) * | 2022-08-04 | 2022-11-29 | 浪潮通信信息系统有限公司 | 一种基于融合模型的互联网链路利用率的预测方法 |
| CN116821783A (zh) * | 2023-04-27 | 2023-09-29 | 天津大学 | 一种故障检测方法、系统、设备及介质 |
| CN116227952A (zh) * | 2023-05-09 | 2023-06-06 | 中国人民解放军海军潜艇学院 | 一种关键信息缺失下的来袭目标防御策略选择方法及装置 |
| CN117272196A (zh) * | 2023-08-23 | 2023-12-22 | 浙江工业大学 | 一种基于时空图注意力网络的工业时序数据异常检测方法 |
| CN117034175A (zh) * | 2023-10-07 | 2023-11-10 | 北京麟卓信息科技有限公司 | 一种基于通道融合自注意力机制的时序数据异常检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Hybrid Neural Networks for Learning the Trend in Time Series;Tao Lin等;《Proceedings of the Twenty-sixth International Joint Conference on Artificial Intelligence（IJCAI-17）》;20170825;2273-2279 * |
| 热处理设备的工业时序大数据分析系统设计与实现;李颖;《中国优秀硕士学位论文全文数据库 工程科技I辑》;20210815(第8期);B022-94 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117473242A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109465676B (zh) | 一种刀具寿命预测方法 | |
| Jablonski et al. | Modeling of probability distribution functions for automatic threshold calculation in condition monitoring systems | |
| CN110895526A (zh) | 一种大气监测系统中数据异常的修正方法 | |
| CN110930357B (zh) | 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 | |
| JP6141235B2 (ja) | 時系列データにおける異常を検出する方法 | |
| Martínez-de-Pisón et al. | Mining association rules from time series to explain failures in a hot-dip galvanizing steel line | |
| CN113469951B (zh) | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 | |
| CN110738255A (zh) | 一种基于聚类算法的设备状态监测方法 | |
| CN115220396B (zh) | 一种数控机床智能监控方法及系统 | |
| CN111666978B (zh) | 一种it系统运维大数据的智能故障预警系统 | |
| CN114881167A (zh) | 异常检测方法、装置、电子设备和介质 | |
| CN117473242B (zh) | 一种时序数据故障检测方法、系统、设备及介质 | |
| EP3712728A1 (en) | Apparatus for predicting equipment damage | |
| CN114595113A (zh) | 应用系统中的异常检测方法和装置、异常检测功能设置方法 | |
| CN117034197A (zh) | 基于多维Isolate-Detect多变点检测的企业用电典型模式分析方法 | |
| CN115424635B (zh) | 一种基于声音特征的水泥厂设备故障诊断方法 | |
| CN112419304B (zh) | 一种面向一维数据的多阶段目标检测方法及装置 | |
| CN113780136B (zh) | 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备 | |
| CN115270946A (zh) | 吸风设备状态确定方法、装置、电子设备及存储介质 | |
| CN114530163A (zh) | 基于密度聚类的采用声音识别设备生命周期的方法及系统 | |
| CN109086832B (zh) | 一种列车海量监测大数据可视化趋势判别方法 | |
| CN110516659A (zh) | 滚珠丝杠退化阶段识别方法、装置、设备及存储介质 | |
| CN117271980B (zh) | 钻进数据处理方法、装置、电子设备及存储介质 | |
| Dumler et al. | Automatic time series segmentation and clustering for process monitoring in series production | |
| CN115880268B (zh) | 一种塑料软管生产中检测次品的方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |