CN117454212B - 一种基于数据聚类的遥测数据互检测方法 - Google Patents
一种基于数据聚类的遥测数据互检测方法 Download PDFInfo
- Publication number
- CN117454212B CN117454212B CN202311793958.6A CN202311793958A CN117454212B CN 117454212 B CN117454212 B CN 117454212B CN 202311793958 A CN202311793958 A CN 202311793958A CN 117454212 B CN117454212 B CN 117454212B
- Authority
- CN
- China
- Prior art keywords
- telemetry
- data
- telemetry parameter
- parameter
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000003062 neural network model Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000013461 design Methods 0.000 claims abstract description 16
- 238000007689 inspection Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000010219 correlation analysis Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000010220 Pearson correlation analysis Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 208000025174 PANDAS Diseases 0.000 description 4
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 4
- 240000004718 Panda Species 0.000 description 4
- 235000016496 Panda oleosa Nutrition 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Operations Research (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于数据聚类的遥测数据互检测方法，包括以下步骤：一、遥测参数数据相关性分析；二、遥测参数数据聚类分析；三、遥测参数数据互验互检分析。本发明方法步骤简单、设计合理，在遥测参数相关性基础上采用K‑Clique算法完成聚类，并在聚类社区中基于BP神经网络模型进行遥测参数数据互验互检分析，实现遥测数据的异常分析。
Description
技术领域
本发明属于遥测数据分析技术领域，具体涉及一种基于数据聚类的遥测数据互检测方法。
背景技术
目前遥测数据的分析，主要包含遥测参数聚类分析及多遥测参数的数值互验证，目的是通过探索多种遥测参数之间的相关性，进而形成遥测异常数值的检测方法，为遥测对象工况分析及故障诊断提供依据。
如中国专利CN202211278592.4公开了一种基于聚类的遥测数据序列异常检测方法，使用基于欧几里得距离的聚类方法对分段后的遥测数据样本进行聚类，并基于一元高斯分布方法判断某遥测序列数据是否存在异常，其完成的是给定遥测参数集合的数据模式的聚类，对于构成遥测参数集合的各遥测参数如何选取的问题未深入讨论。
因此，亟需一种基于数据聚类的遥测数据互检测方法，在遥测参数相关性基础上采用K-Clique算法完成聚类，并在聚类社区中基于BP神经网络模型进行遥测参数数据互验互检分析，实现遥测数据的异常分析。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于数据聚类的遥测数据互检测方法，其方法步骤简单、设计合理，在遥测参数相关性基础上采用K-Clique算法完成聚类，并在聚类社区中基于BP神经网络模型进行遥测参数数据互验互检分析，实现遥测数据的异常分析。
为解决上述技术问题，本发明采用的技术方案是：一种基于数据聚类的遥测数据互检测方法，其特征在于，该方法包括以下步骤：步骤一、遥测参数数据相关性分析：
步骤101、从待研究的遥测参数中选择第i个遥测参数数据序列和第j个遥测参数数据序列，且第i个遥测参数数据序列和第j个遥测参数数据序列在同一遥测时刻两种遥测参数都存在数据值；其中，1≤i≤M，1≤j≤M；M表示遥测参数总数；
步骤102、采用计算机利用Pearson相关性分析方法对第i个遥测参数数据序列和第j个遥测参数数据序列进行相关性分析，得到遥测参数相关性矩阵；
步骤二、遥测参数数据聚类分析：
步骤201、采用计算机根据遥测参数相关性矩阵，得到遥测参数相关性图；
步骤202、采用计算利用K-Clique算法对遥测参数相关性图进行聚类分析，得到遥测参数相关性图中Q个聚类社区；其中，K和Q均为正整数；
步骤三、遥测参数数据互验互检分析：
步骤301、采用计算机对第q个聚类社区中各个遥测参数数据进行融合和归一化处理得到数据集；其中，q为正整数，1≤q≤Q；所述数据集包括训练数据集和测试数据集；
步骤302、采用计算机构建第q个BP神经网络模型，输入训练数据集，得到训练好的第q个BP神经网络模型；
步骤303、采用计算机将测试数据集输入训练好的第q个BP神经网络模型中，得到各个预测值；
步骤304、采用计算机将各个预测值和测试数据集的各个真实值进行相对误差平均计算，得到测试数据集的平均相对误差，如果平均相对误差小于设计要求平均相对误差，则完成遥测参数数据互验，说明训练好的第q个BP神经网络模型满足要求；
步骤305、获取后续同一遥测时刻第q个聚类社区各个遥测参数实时数据，并输入训练好的第q个BP神经网络模型中，得到第q个聚类社区各个遥测参数的实时预测值；
将第q个聚类社区各个遥测参数的实时预测值和第q个聚类社区各个遥测参数实时数据分别进行比较，如果一个遥测参数的实时预测值和其对应的实时数据的相对误差大于设计相对误差，则该遥测参数实时数据异常。
上述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤201，具体过程如下：
步骤2011、采用计算机以第1个遥测参数～第M个遥测参数作为图的M个节点；
步骤2012、采用计算机从遥测参数相关性矩阵中获取第i个遥测参数和第j个遥测参数之间相关性值Rij；其中，i≠j；
步骤2013、采用计算机判断0.95≤|Rij|是否成立，如果0.95≤|Rij|成立，将步骤2011中第i个遥测参数对应的第i个节点和第j个遥测参数对应的第j个节点相连形成边；
步骤2014、多次重复步骤2012和步骤2013，完成M个遥测参数判断，得到遥测参数相关性图。
上述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤301，具体过程如下：
步骤3011、采用计算机对第q个聚类社区中K个顶点对应的遥测参数数据序列进行时序融合，得到第q个聚类社区中K个遥测参数的原始数据序列；其中，K个遥测参数的原始数据序列中同一遥测时刻下K个遥测参数都存在数据值；
步骤3012、采用计算机对第q个聚类社区中K个遥测参数的原始数据序列分别进行最小最大值归一化，得到第q个聚类社区中K个遥测参数的归一化序列；
步骤3013、采用计算机从第q个聚类社区中K个遥测参数的归一化序列中得到多组数据序列，并记作第q个数据集；其中，同一遥测时刻下K个遥测参数的归一化值作为一组数据序列；
步骤3014、采用计算机将第q个数据集中2/3部分作为训练数据集，剩余部分作为测试数据集。
上述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤302，具体过程如下：
步骤3021、采用计算机建立第q个BP神经网络模型；其中，第q个BP神经网络模型包括输入层、隐含层和输出层，输入层中神经元数量等于K，隐含层为至少一层，隐含层中神经元数量为5～25，输出层中神经元数量为1；
步骤3022、采用计算机将训练数据集中一组数据序列中任K-1个遥测参数的归一化值，以及该数据序列对应的遥测时刻作为输入层，以该数据序列中剩余一个遥测参数的归一化值作为输出层，输入第q个BP神经网络模型进行训练；
步骤3023、按照步骤3022的方法，输入下一组数据序列进行训练，直至训练数据集训练完毕，完成一次训练迭代；
步骤3024、按照步骤3022至步骤3023的方法，直至训练迭代次数满足设计训练迭代次数，则得到训练好的第q个BP神经网络模型。
上述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤303，具体过程如下：
步骤3031、采用计算机将测试数据集中一组数据序列中任K-1个遥测参数的归一化值，以及该数据序列对应的遥测时刻作为输入层，输入训练好的第q个BP神经网络模型进行预测，得到剩余一个遥测参数的预测归一化值；
步骤3032、采用计算机将剩余一个遥测参数的预测归一化值，基于步骤3012中该剩余一个遥测参数对应的原始数据序列的最大值和最小值进行反向归一化，得到剩余一个遥测参数的预测值；
步骤3033、多次重复步骤3031和步骤3032，完成测试数据集的全部预测，得到各个预测值。
本发明与现有技术相比具有以下优点：
1、本发明需要第i个遥测参数数据序列和第j个遥测参数数据序列在同一遥测时刻两种遥测参数都有数据值，从而便于利用Pearson相关性分析方法对第i个遥测参数数据序列和第j个遥测参数数据序列进行相关性分析，避免M个遥测参数数据序列在同一遥测时刻都有数据值，提高了数据利用范围。
2、本发明在多个遥测参数之间相关性的基础上，再利用K-Clique算法能够从遥测参数全集中筛选出具备强相关性的遥测参数集合作为聚类社区，以使后续利用强相关性的遥测参数进行互验互检分析，提高了准确性。
3、本发明将聚类社区中的各个遥测参数数据进行融合，确保聚类社区中的各个遥测参数在同一遥测时刻都有数据值，便于后续归一化并基于BP神经网络模型在聚类社区中的各个遥测参数中完成遥测数据互检互验，形成了强关联遥测参数开展遥测参数异常检测的能力。
综上所述，本发明方法步骤简单、设计合理，在遥测参数相关性基础上采用K-Clique算法完成聚类，并在聚类社区中基于BP神经网络模型进行遥测参数数据互验互检分析，实现遥测数据的异常分析。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
具体实施方式
如图1所示，本发明基于数据聚类的遥测数据互检测方法，包括以下步骤：
步骤一、遥测参数数据相关性分析：
步骤101、从待研究的遥测参数中选择第i个遥测参数数据序列和第j个遥测参数数据序列，且第i个遥测参数数据序列和第j个遥测参数数据序列在同一遥测时刻两种遥测参数都存在数据值；其中，1≤i≤M，1≤j≤M；M表示遥测参数总数；
步骤102、采用计算机利用Pearson相关性分析方法对第i个遥测参数数据序列和第j个遥测参数数据序列进行相关性分析，得到遥测参数相关性矩阵；
步骤二、遥测参数数据聚类分析：
步骤201、采用计算机根据遥测参数相关性矩阵，得到遥测参数相关性图；
步骤202、采用计算利用K-Clique算法对遥测参数相关性图进行聚类分析，得到遥测参数相关性图中Q个聚类社区；其中，K和Q均为正整数；
步骤三、遥测参数数据互验互检分析：
步骤301、采用计算机对第q个聚类社区中各个遥测参数数据进行融合和归一化处理得到数据集；其中，q为正整数，1≤q≤Q；所述数据集包括训练数据集和测试数据集；
步骤302、采用计算机构建第q个BP神经网络模型，输入训练数据集，得到训练好的第q个BP神经网络模型；
步骤303、采用计算机将测试数据集输入训练好的第q个BP神经网络模型中，得到各个预测值；
步骤304、采用计算机将各个预测值和测试数据集的各个真实值进行相对误差平均计算，得到测试数据集的平均相对误差，如果平均相对误差小于设计要求平均相对误差，则完成遥测参数数据互验，说明训练好的第q个BP神经网络模型满足要求；
步骤305、获取后续同一遥测时刻第q个聚类社区各个遥测参数实时数据，并输入训练好的第q个BP神经网络模型中，得到第q个聚类社区各个遥测参数的实时预测值；
将第q个聚类社区各个遥测参数的实时预测值和第q个聚类社区各个遥测参数实时数据分别进行比较，如果一个遥测参数的实时预测值和其对应的实时数据的相对误差大于设计相对误差，则该遥测参数实时数据异常。
本实施例中，步骤201，具体过程如下：
步骤2011、采用计算机以第1个遥测参数～第M个遥测参数作为图的M个节点；
步骤2012、采用计算机从遥测参数相关性矩阵中获取第i个遥测参数和第j个遥测参数之间相关性值Rij；其中，i≠j；
步骤2013、采用计算机判断0.95≤|Rij|是否成立，如果0.95≤|Rij|成立，将步骤2011中第i个遥测参数对应的第i个节点和第j个遥测参数对应的第j个节点相连形成边；
步骤2014、多次重复步骤2012和步骤2013，完成M个遥测参数判断，得到遥测参数相关性图。
本实施例中，步骤301，具体过程如下：
步骤3011、采用计算机对第q个聚类社区中K个顶点对应的遥测参数数据序列进行时序融合，得到第q个聚类社区中K个遥测参数的原始数据序列；其中，K个遥测参数的原始数据序列中同一遥测时刻下K个遥测参数都存在数据值；
步骤3012、采用计算机对第q个聚类社区中K个遥测参数的原始数据序列分别进行最小最大值归一化，得到第q个聚类社区中K个遥测参数的归一化序列；
步骤3013、采用计算机从第q个聚类社区中K个遥测参数的归一化序列中得到多组数据序列，并记作第q个数据集；其中，同一遥测时刻下K个遥测参数的归一化值作为一组数据序列；
步骤3014、采用计算机将第q个数据集中2/3部分作为训练数据集，剩余部分作为测试数据集。
本实施例中，步骤302，具体过程如下：
步骤3021、采用计算机建立第q个BP神经网络模型；其中，第q个BP神经网络模型包括输入层、隐含层和输出层，输入层中神经元数量等于K，隐含层为至少一层，隐含层中神经元数量为5～25，输出层中神经元数量为1；
步骤3022、采用计算机将训练数据集中一组数据序列中任K-1个遥测参数的归一化值，以及该数据序列对应的遥测时刻作为输入层，以该数据序列中剩余一个遥测参数的归一化值作为输出层，输入第q个BP神经网络模型进行训练；
步骤3023、按照步骤3022的方法，输入下一组数据序列进行训练，直至训练数据集训练完毕，完成一次训练迭代；
步骤3024、按照步骤3022至步骤3023的方法，直至训练迭代次数满足设计训练迭代次数，则得到训练好的第q个BP神经网络模型。
本实施例中，步骤303，具体过程如下：
步骤3031、采用计算机将测试数据集中一组数据序列中任K-1个遥测参数的归一化值，以及该数据序列对应的遥测时刻作为输入层，输入训练好的第q个BP神经网络模型进行预测，得到剩余一个遥测参数的预测归一化值；
步骤3032、采用计算机将剩余一个遥测参数的预测归一化值，基于步骤3012中该剩余一个遥测参数对应的原始数据序列的最大值和最小值进行反向归一化，得到剩余一个遥测参数的预测值；
步骤3033、多次重复步骤3031和步骤3032，完成测试数据集的全部预测，得到各个预测值。
本实施例中，单遥测参数数据以csv文件方式保存。通过Pandas开展时序融合。读取两个遥测参数的csv文件，将文件中的数据内容读取到Pandas.DataFrame数据结构中保存，然后利用Pandas提供的merge()方法完成两个遥测参数数据的时序融合，以使第i个遥测参数数据序列和第j个遥测参数数据序列在同一遥测时刻两种遥测参数都有数据值。
本实施例中，第i个遥测参数数据序列和第j个遥测参数数据序列在同一遥测时刻两种遥测参数都有数据值，如下：
对于同一遥测时刻T，若遥测参数1的数据值为V1，遥测参数2的数据值为V2，则同一遥测时刻两个遥测参数数据序列都有数据值，因此是有效的数据值。若遥测参数1在时刻T没有数据值，或者若遥测参数2在时刻T没有数据值，这两种情况下，存在数据缺失，因此是无效的数据值，数据被丢弃。
本实施例中，Pearson相关性分析方法具体为：在Pandas工具中，相关性分析函数为Corr()，指定方法为Pearson。
本实施例中，遥测参数相关性矩阵的大小为M×M；行名、列名均为遥测参数编号，且遥测参数相关性矩阵中元素取值区间为[-1，1]。
本实施例中，K-Clique算法中K取值为5。
本实施例中，第q个聚类社区中任一个遥测参数的归一化序列中各个元素的取值为[0,1]。
本实施例中，最小最大值归一化公式如下：归一化后的值=(原始值-最小值)/(最大值-最小值)；反向归一化公式如下：原始值=归一化后的值×(最大值-最小值)+最小值。
本实施例中，实际使用时，步骤3021中隐含层的层数为3层。
本实施例中，设计训练迭代次数取值为800次～1200次。
本实施例中，完成测试数据集的全部预测需要获取每一组数据序列中全部遥测参数的预测值。
本实施例中，设计要求平均相对误差1%～5%；设计相对误差为5%～6%。
本实施例中，按照步骤301中的最小最大值归一化和步骤303的方法进行步骤305中实时预测值获取。
本实施例中，K-Clique算法表示顶点为K的社区聚类算法。|Rij|表示Rij的绝对值。
综上所述，本发明方法步骤简单、设计合理，在遥测参数相关性基础上采用K-Clique算法完成聚类，并在聚类社区中基于BP神经网络模型进行遥测参数数据互验互检分析，实现遥测数据的异常分析。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (5)
1.一种基于数据聚类的遥测数据互检测方法，其特征在于，该方法包括以下步骤：
步骤一、遥测参数数据相关性分析：
步骤101、从待研究的遥测参数中选择第i个遥测参数数据序列和第j个遥测参数数据序列，且第i个遥测参数数据序列和第j个遥测参数数据序列在同一遥测时刻两种遥测参数都存在数据值；其中，1≤i≤M，1≤j≤M；M表示遥测参数总数；
步骤102、采用计算机利用Pearson相关性分析方法对第i个遥测参数数据序列和第j个遥测参数数据序列进行相关性分析，得到遥测参数相关性矩阵；
步骤二、遥测参数数据聚类分析：
步骤201、采用计算机根据遥测参数相关性矩阵，得到遥测参数相关性图；
步骤202、采用计算利用K-Clique算法对遥测参数相关性图进行聚类分析，得到遥测参数相关性图中Q个聚类社区；其中，K和Q均为正整数；
步骤三、遥测参数数据互验互检分析：
步骤301、采用计算机对第q个聚类社区中各个遥测参数数据进行融合和归一化处理得到数据集；其中，q为正整数，1≤q≤Q；所述数据集包括训练数据集和测试数据集；
步骤302、采用计算机构建第q个BP神经网络模型，输入训练数据集，得到训练好的第q个BP神经网络模型；
步骤303、采用计算机将测试数据集输入训练好的第q个BP神经网络模型中，得到各个预测值；
步骤304、采用计算机将各个预测值和测试数据集的各个真实值进行相对误差平均计算，得到测试数据集的平均相对误差，如果平均相对误差小于设计要求平均相对误差，则完成遥测参数数据互验，说明训练好的第q个BP神经网络模型满足要求；
步骤305、获取后续同一遥测时刻第q个聚类社区各个遥测参数实时数据，并输入训练好的第q个BP神经网络模型中，得到第q个聚类社区各个遥测参数的实时预测值；
将第q个聚类社区各个遥测参数的实时预测值和第q个聚类社区各个遥测参数实时数据分别进行比较，如果一个遥测参数的实时预测值和其对应的实时数据的相对误差大于设计相对误差，则该遥测参数实时数据异常。
2.按照权利要求1所述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤201，具体过程如下：
步骤2011、采用计算机以第1个遥测参数～第M个遥测参数作为图的M个节点；
步骤2012、采用计算机从遥测参数相关性矩阵中获取第i个遥测参数和第j个遥测参数之间相关性值Rij；其中，i≠j；
步骤2013、采用计算机判断0.95≤|Rij|是否成立，如果0.95≤|Rij|成立，将步骤2011中第i个遥测参数对应的第i个节点和第j个遥测参数对应的第j个节点相连形成边；
步骤2014、多次重复步骤2012和步骤2013，完成M个遥测参数判断，得到遥测参数相关性图。
3.按照权利要求1所述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤301，具体过程如下：
步骤3011、采用计算机对第q个聚类社区中K个顶点对应的遥测参数数据序列进行时序融合，得到第q个聚类社区中K个遥测参数的原始数据序列；其中，K个遥测参数的原始数据序列中同一遥测时刻下K个遥测参数都存在数据值；
步骤3012、采用计算机对第q个聚类社区中K个遥测参数的原始数据序列分别进行最小最大值归一化，得到第q个聚类社区中K个遥测参数的归一化序列；
步骤3013、采用计算机从第q个聚类社区中K个遥测参数的归一化序列中得到多组数据序列，并记作第q个数据集；其中，同一遥测时刻下K个遥测参数的归一化值作为一组数据序列；
步骤3014、采用计算机将第q个数据集中2/3部分作为训练数据集，剩余部分作为测试数据集。
4.按照权利要求1所述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤302，具体过程如下：
步骤3021、采用计算机建立第q个BP神经网络模型；其中，第q个BP神经网络模型包括输入层、隐含层和输出层，输入层中神经元数量等于K，隐含层为至少一层，隐含层中神经元数量为5～25，输出层中神经元数量为1；
步骤3022、采用计算机将训练数据集中一组数据序列中任K-1个遥测参数的归一化值，以及该数据序列对应的遥测时刻作为输入层，以该数据序列中剩余一个遥测参数的归一化值作为输出层，输入第q个BP神经网络模型进行训练；
步骤3023、按照步骤3022的方法，输入下一组数据序列进行训练，直至训练数据集训练完毕，完成一次训练迭代；
步骤3024、按照步骤3022至步骤3023的方法，直至训练迭代次数满足设计训练迭代次数，则得到训练好的第q个BP神经网络模型。
5.按照权利要求3所述的一种基于数据聚类的遥测数据互检测方法，其特征在于：步骤303，具体过程如下：
步骤3031、采用计算机将测试数据集中一组数据序列中任K-1个遥测参数的归一化值，以及该数据序列对应的遥测时刻作为输入层，输入训练好的第q个BP神经网络模型进行预测，得到剩余一个遥测参数的预测归一化值；
步骤3032、采用计算机将剩余一个遥测参数的预测归一化值，基于步骤3012中该剩余一个遥测参数对应的原始数据序列的最大值和最小值进行反向归一化，得到剩余一个遥测参数的预测值；
步骤3033、多次重复步骤3031和步骤3032，完成测试数据集的全部预测，得到各个预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311793958.6A CN117454212B (zh) | 2023-12-25 | 2023-12-25 | 一种基于数据聚类的遥测数据互检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311793958.6A CN117454212B (zh) | 2023-12-25 | 2023-12-25 | 一种基于数据聚类的遥测数据互检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117454212A CN117454212A (zh) | 2024-01-26 |
| CN117454212B true CN117454212B (zh) | 2024-03-15 |
Family
ID=89593368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311793958.6A Active CN117454212B (zh) | 2023-12-25 | 2023-12-25 | 一种基于数据聚类的遥测数据互检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117454212B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306931B1 (en) * | 2009-08-06 | 2012-11-06 | Data Fusion & Neural Networks, LLC | Detecting, classifying, and tracking abnormal data in a data stream |
| CN105320987A (zh) * | 2015-09-21 | 2016-02-10 | 航天东方红卫星有限公司 | 一种基于bp神经网络的卫星遥测数据智能判读方法 |
| CN105869100A (zh) * | 2016-04-29 | 2016-08-17 | 中国地质大学（武汉） | 一种基于大数据思维的滑坡多场监测数据的融合及预测方法 |
| CN109034191A (zh) * | 2018-06-19 | 2018-12-18 | 哈尔滨工业大学 | 基于elm的单维遥测数据异常判读方法 |
| CN111612050A (zh) * | 2020-04-30 | 2020-09-01 | 中国西安卫星测控中心 | 遥测数据异常检测的方法 |
| CN113837226A (zh) * | 2021-08-25 | 2021-12-24 | 哈尔滨工业大学 | 基于不确定性估计的飞行器遥测参数异常检测方法 |
| CN115496164A (zh) * | 2022-10-19 | 2022-12-20 | 中国空间技术研究院 | 一种基于聚类的卫星遥测数据序列异常检测方法 |
| CN116821407A (zh) * | 2023-06-30 | 2023-09-29 | 清华大学 | 基于hgr最大相关性的跨模态遥感图像检索方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11397876B2 (en) * | 2019-11-22 | 2022-07-26 | Cisco Technology, Inc. | Assessing data fidelity in a machine learning-based network assurance system |
-
2023
- 2023-12-25 CN CN202311793958.6A patent/CN117454212B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8306931B1 (en) * | 2009-08-06 | 2012-11-06 | Data Fusion & Neural Networks, LLC | Detecting, classifying, and tracking abnormal data in a data stream |
| CN105320987A (zh) * | 2015-09-21 | 2016-02-10 | 航天东方红卫星有限公司 | 一种基于bp神经网络的卫星遥测数据智能判读方法 |
| CN105869100A (zh) * | 2016-04-29 | 2016-08-17 | 中国地质大学（武汉） | 一种基于大数据思维的滑坡多场监测数据的融合及预测方法 |
| CN109034191A (zh) * | 2018-06-19 | 2018-12-18 | 哈尔滨工业大学 | 基于elm的单维遥测数据异常判读方法 |
| CN111612050A (zh) * | 2020-04-30 | 2020-09-01 | 中国西安卫星测控中心 | 遥测数据异常检测的方法 |
| CN113837226A (zh) * | 2021-08-25 | 2021-12-24 | 哈尔滨工业大学 | 基于不确定性估计的飞行器遥测参数异常检测方法 |
| CN115496164A (zh) * | 2022-10-19 | 2022-12-20 | 中国空间技术研究院 | 一种基于聚类的卫星遥测数据序列异常检测方法 |
| CN116821407A (zh) * | 2023-06-30 | 2023-09-29 | 清华大学 | 基于hgr最大相关性的跨模态遥感图像检索方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Yan Yunyi ; Yu Wenyi ; Zhang Lingxia.A method of band selection of remote sensing image based on clustering and intra-class index.《Multimedia Tools and Applications》.2022,第22111-22128页. * |
| 航天器遥测数据异常检测综述;彭喜元;《仪器仪表学报》;20160915;第17页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117454212A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115018021B (zh) | 基于图结构与异常注意力机制的机房异常检测方法及装置 | |
| CN112765896A (zh) | 一种基于lstm的水处理时序数据异常检测方法 | |
| CN110083125B (zh) | 一种基于深度学习的机床热误差建模方法 | |
| CN111460728A (zh) | 一种工业设备剩余寿命预测方法、装置、存储介质及设备 | |
| CN116448419A (zh) | 基于深度模型高维参数多目标高效寻优的零样本轴承故障诊断方法 | |
| CN112147432A (zh) | 基于注意力机制的BiLSTM模块、变压器状态诊断方法和系统 | |
| CN114861788A (zh) | 一种基于dbscan聚类的负荷异常检测方法及系统 | |
| CN114723003A (zh) | 一种基于时序卷积和关系建模的事件序列预测方法 | |
| CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
| CN114266289A (zh) | 一种复杂装备健康状态评估方法 | |
| CN113257357A (zh) | 蛋白质残基接触图预测方法 | |
| CN116821832A (zh) | 针对高压工商业用户用电负荷的异常数据辨识与修正方法 | |
| CN114139639B (zh) | 一种基于自步邻域保持嵌入的故障分类方法 | |
| CN116894180B (zh) | 一种基于异构图注意力网络的产品制造质量预测方法 | |
| CN114326639A (zh) | 基于混合注意力卷积神经网络的工业过程性能评估方法 | |
| Cai et al. | ICS anomaly detection based on sensor patterns and actuator rules in spatiotemporal dependency | |
| CN117454212B (zh) | 一种基于数据聚类的遥测数据互检测方法 | |
| CN117312770A (zh) | 基于多层次图特征融合的航空发动机剩余寿命预测方法 | |
| CN117095199A (zh) | 一种基于单纯形扩散模型的工业视觉异常检测系统 | |
| CN116956993A (zh) | 一种构建图集成模型的方法、装置及存储介质 | |
| CN114143210B (zh) | 一种基于深度学习的指挥控制网络关键节点识别方法 | |
| CN116883128A (zh) | 洗钱团伙的挖掘方法、装置、电子设备及计算机存储介质 | |
| CN115563312A (zh) | 一种药物-疾病-靶点三元组靶点实体补全方法及应用 | |
| CN116106430B (zh) | 基于声发射技术的熔铸用耐火材料开裂诊断方法 | |
| CN114841000B (zh) | 一种基于模态共有特征分离的软测量建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |