CN117556377B - 用于站所自动化终端的多源数据融合处理方法 - Google Patents
用于站所自动化终端的多源数据融合处理方法 Download PDFInfo
- Publication number
- CN117556377B CN117556377B CN202410043826.XA CN202410043826A CN117556377B CN 117556377 B CN117556377 B CN 117556377B CN 202410043826 A CN202410043826 A CN 202410043826A CN 117556377 B CN117556377 B CN 117556377B
- Authority
- CN
- China
- Prior art keywords
- target data
- curve
- target
- sub
- data point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000007499 fusion processing Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 46
- 230000035772 mutation Effects 0.000 claims abstract description 39
- 238000012847 principal component analysis method Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000007906 compression Methods 0.000 abstract description 24
- 230000006835 compression Effects 0.000 abstract description 22
- 238000012545 processing Methods 0.000 abstract description 22
- 230000004927 fusion Effects 0.000 abstract description 12
- 230000009467 reduction Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 16
- 238000010606 normalization Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000007418 data mining Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明电数字数据处理技术领域,具体涉及一种用于站所自动化终端的多源数据融合处理方法。方法包括:获取电力系统运行时间段对应的目标数据曲线,根据目标数据曲线,得到各目标数据点对应的突变程度评估值;之后根据突变程度评估值,得到目标数据曲线上的各分段目标数据点;根据各分段目标数据点,得到目标数据曲线对应的各子目标数据曲线;根据主成分分析法以及各子目标数据曲线上的各目标数据点,得到各子目标数据曲线对应的目标特征向量,并根据目标特征向量,得到降维后的数据。本发明能够在保证数据重构质量的同时最大程度的降低压缩率,进而提高了多源数据融合的准确性和效率。
Description
技术领域
本发明涉及电数字数据处理技术领域,具体涉及一种用于站所自动化终端的多源数据融合处理方法。
背景技术
站所自动化终端是电力系统中的一种关键技术,主要用于监控、控制和保护电网中的变电站,以提高电力系统的可靠性、效率和安全性;又因为站所自动化终端会实时监控采集电力系统运行时的数据,例如电流、电压和功率等,而采集的电力系统运行时的数据可以反应电力系统的运行状态,而电力系统的运行状态又可以反应电力系统运行时的安全性或者可靠性,因此对站所自动化终端实时监控采集的电力系统运行时的数据进行融合处理至关重要。
由于站所自动化终端实时监控采集的电力系统运行时的数据是大量的,因此在对站所自动化终端数据进行多源数据融合处理时通常会对数据进行压缩处理,通过压缩数据,可以有效地管理存储空间,使系统更有效地运行,而且数据压缩可以用来清理数据,保证数据融合的准确性和效率。而现有技术中一般是利用主成分分析法(PCA)实现对采集得到的电力系统运行过程中的时序数据的降维压缩,但是采集电力系统运行过程中的数据时存在随机性和复杂性,如果不考虑采集数据时的随机性和复杂性,直接利用主成分分析法对采集得到的电力系统运行过程中的时序数据进行降维压缩,可能会导致时序数据中变化较大的局部数据特征的丢失,进而导致压缩后的数据质量较低,也会影响对压缩后的多源数据进行融合处理分析的结果。
发明内容
为了解决上述问题,本发明提供一种用于站所自动化终端的多源数据融合处理方法,所采用的技术方案具体如下:
本发明一个实施例提供了一种用于站所自动化终端的多源数据融合处理方法,包括以下步骤:
获取电力系统运行时间段对应的目标数据曲线,所述目标数据曲线由M个目标数据点构成,M大于0;
根据目标数据曲线上的各目标数据点以及各目标数据点的相邻目标数据点,得到所述各目标数据点对应的突变程度评估值;
根据所述突变程度评估值,得到所述目标数据曲线上的各分段目标数据点;
利用所述各分段目标数据点,对所述目标数据曲线进行划分,得到所述目标数据曲线对应的各子目标数据曲线;
根据主成分分析法以及所述各子目标数据曲线上的各目标数据点,得到所述各子目标数据曲线对应的目标特征向量;
根据所述目标特征向量,得到降维后的数据。
优选地,获取电力系统运行时间段对应的目标数据曲线的方法,包括:
获取站所自动化终端实时监控采集的电力系统运行时间段中的各初始数据;
根据时间的先后顺序,对所述各初始数据进行排序,得到电力系统运行时间段对应的初始数据序列;
对所述初始数据序列进行预处理操作,将所述预处理操作后的初始数据序列中的各初始数据均记为目标数据;
以各目标数据为纵坐标,以采集对应目标数据对应的初始数据时的时间为横坐标,构建得到各数据点,并记为目标数据点;
根据各目标数据点,得到电力系统运行时间段对应的目标数据曲线。
优选地,得到所述各目标数据点对应的突变程度评估值方法,包括:
获取所述各目标数据点对应的目标差异值;
对于所述目标数据曲线上的任一目标数据点:
将目标数据曲线上该目标数据点左侧连续的a个目标数据点以及该目标数据点右侧连续的a个目标数据点均记为该目标数据点对应的邻域目标数据点;
将计算得到的该目标数据点对应的所有邻域目标数据点对应的目标差异值的均值,记为该目标数据点对应的邻域差异均值;
将计算得到的该目标数据点对应的邻域差异均值与其对应的目标差异值之间差值的绝对值,记为该目标数据点对应的初始突变程度评估值;
对所述初始突变程度评估值进行归一化处理,将归一化处理后的所述初始突变程度评估值记为该目标数据点对应的突变程度评估值。
优选地,获取所述各目标数据点对应的目标差异值的方法,包括:
将所述目标数据曲线上与各目标数据点相邻的两个目标数据点分别记为对应目标数据点对应的第一目标数据点和第二目标数据点;
将计算得到的各目标数据点与其对应的第一目标数据点之间的纵坐标差值的绝对值,记为各目标数据点对应的第一差异值;
将计算得到的各目标数据点与其对应的第二目标数据点之间的纵坐标差值的绝对值,记为各目标数据点对应的第二差异值;
将各目标数据点对应的第一差异值和第二差异值中的最大值记为各目标数据点对应的目标差异值。
优选地,得到所述目标数据曲线上的各分段目标数据点的方法,包括:
判断所述各目标数据点对应的突变程度评估值是否大于等于预设突变程度阈值,若是,则将对应的目标数据点记为待确定分段目标数据点;
根据所述目标数据曲线上的各待确定分段目标数据点,得到目标数据曲线上的各分段目标数据点。
优选地,根据所述目标数据曲线上的各待确定分段目标数据点,得到目标数据曲线上的各分段目标数据点的方法,包括:
判断所述目标数据曲线上的第2个待确定分段目标数据点与第1个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若是,则判定所述第2个待确定分段目标数据点不是分段目标数据点,继续判断所述目标数据曲线上的第3个待确定分段目标数据点与第1个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若不是,则判定所述第3个待确定分段目标数据点是分段目标数据点,继续判断所述目标数据曲线上的第4个待确定分段目标数据点与第3个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若不是,则判定所述第4个待确定分段目标数据点是分段目标数据点,以此类推,直至所述目标数据曲线上的所有待确定分段目标数据点完成判断后停止,并得到目标数据曲线上的所有分段目标数据点。
优选地,得到所述各子目标数据曲线对应的目标特征向量的方法,包括:
对于目标数据曲线对应的任一子目标数据曲线:
计算该子目标数据曲线对应的极大值和极小值之间的差值,对所述极大值和极小值之间的差值进行负映射,将负映射后的值记为该子目标数据曲线对应的第一稳定性指标;
根据该子目标数据曲线上的各目标数据点对应的第二差异值,构建得到该子目标数据曲线对应的差异值集合;
计算得到该子目标数据曲线对应的差异值集合的信息熵,对所述信息熵进行负映射,将负映射后的值记为该子目标数据曲线对应的第二稳定性指标;
将第一权重值与该子目标数据曲线对应的第一稳定性指标的乘积与第二权重值与该子目标数据曲线对应的第二稳定性指标的乘积的和,记为该子目标数据曲线对应的数据变化稳定性评估值;
根据主成分分析法和各子目标数据曲线对应的数据变化稳定性评估值,得到各子目标数据曲线对应的目标特征向量。
优选地,根据主成分分析法和各子目标数据曲线对应的数据变化稳定性评估值,得到各子目标数据曲线对应的目标特征向量的方法,包括:
利用主成分分析法,分别得到各子目标数据曲线对应的各特征值和各特征值对应的特征向量;
判断各子目标数据曲线对应的数据变化稳定性评估值是否大于等于预设稳定性阈值,若是,则将对应的子目标数据曲线对应的最大特征值对应的特征向量记为目标特征向量,否则,则将对应的子目标数据曲线对应的最大特征值对应的特征向量以及仅次于最大特征值的特征值对应的特征向量均记为目标特征向量。
优选地,根据所述目标特征向量,得到降维后的数据的方法,包括:
将所述各子目标数据曲线上的目标数据点投影到对应子目标数据曲线对应的目标特征向量构成的子空间中,得到降维后的数据。
有益效果:本发明首先获取电力系统运行时间段对应的目标数据曲线,然后根据目标数据曲线上的各目标数据点以及各目标数据点的相邻目标数据点,得到各目标数据点对应的突变程度评估值;之后根据突变程度评估值,得到目标数据曲线上的各分段目标数据点;并利用各分段目标数据点,对目标数据曲线进行划分,得到目标数据曲线对应的各子目标数据曲线;最后根据主成分分析法以及各子目标数据曲线上的各目标数据点,得到各子目标数据曲线对应的目标特征向量,并根据目标特征向量,得到降维后的数据。本发明能够在保证数据重构质量的同时最大程度的降低压缩率,进而提高了多源数据融合的准确性和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一种用于站所自动化终端的多源数据融合处理方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,基于本发明实施例,本领域普通技术人员所获得的所有其它实施例,都属于本发明实施例保护的范围。
除非另有定义,本文所使用的所有的技术和科学技术术语与属于本发明的技术人员通常理解的含义相同。
本实施例提供了一种用于站所自动化终端的多源数据融合处理方法,详细说明如下:
如图1所示,该用于站所自动化终端的多源数据融合处理方法,包括以下步骤:
步骤S001,获取电力系统运行时间段对应的目标数据曲线。
多源数据融合是一种处理多种来源的信息并将其组合在一个统一视角下,即对多种预处理后的数据进行分类、聚类等融合方式提供统一视角来观察和理解数据,做出更准确的决策,而本实施例是对站所自动化终端采集的电力系统运行时的电流、电压、功率等多源数据进行数据融合处理。但是站所自动化终端实时监控采集的电力系统运行时的数据是大量的,因此在对站所自动化终端采集的多源数据进行数据融合处理时通常会对数据进行预处理,主要是对数据进行降维压缩处理,然后对降维压缩处理后的数据使用各种数据挖掘技术或机器学习算法进行深入的数据分析处理,即对降维压缩处理后的多源数据使用各种数据挖掘技术或机器学习算法实现多源数据的融合处理分析;又因为现有技术在利用主成分分析法对采集得到的电力系统运行过程中的时序数据进行降维压缩时,并未考虑到采集数据时的随机性和复杂性,而在进行降维压缩的过程中采集数据时的随机性和复杂性可能会导致时序数据中变化较大的局部数据特征的丢失,进而导致压缩后的数据质量较低,也会影响对压缩后的多源数据进行融合处理分析的结果;因此本实施例提供了一种用于站所自动化终端的多源数据融合处理方法,该方法能够保证数据压缩后的质量,进而也有利于对压缩后的多源数据进行融合处理。
本实施例首先需要获取电力系统运行时间段对应的目标数据曲线,具体过程为:
首先获取站所自动化终端实时监控采集的电力系统运行时间段中的各初始数据;本实施例中采集的初始数据的类型包括电力系统运行时的电流、电压、功率等;而本实施例后续是对不同类型的数据进行单独降维压缩处理的,即对获取的站所自动化终端实时监控采集的电力系统运行时间段中的电流、电压、功率等分别进行压缩降维处理,然后对压缩降维处理后的电流或者电压等数据使用各种数据挖掘技术或机器学习算法进行深入的融合分析处理;为了便于分析接下来本实施例将以电流为例进行降维压缩,因此本实施例中出现的初始数据表示的为电流,且本实施例中电压、功率等数据的降维压缩过程与电流的相同。
因此紧接着本实施例根据时间的先后顺序对采集得到的电力系统运行时间段中的各初始数据进行排序,将排序后的序列记为电力系统运行时间段对应的初始数据序列;然后对初始数据序列进行预处理操作,将预处理操作后的初始数据序列中的各初始数据均记为目标数据;然后以各目标数据为纵坐标,以采集对应目标数据对应的初始数据时的时间为横坐标,构建得到各数据点,并记为目标数据点,即各目标数据点的纵坐标为目标数据,横坐标为采集对应目标数据对应的初始数据时的时间;然后根据各目标数据点,绘制得到时序波动曲线,并记为电力系统运行时间段对应的目标数据曲线,即目标数据曲线上的各目标数据点的纵坐标为目标数据,横坐标为时间;且后续将继续对目标数据曲线进行分析,对目标数据曲线进行自适应分段处理;本实施例中,可以通过数据分析相关软件绘制出时序波动曲线,例如MATLAB、Python等,具体的绘制过程为现有技术,因此不再详细描述。
本实施例中目标数据曲线由M个目标数据点构成,M大于0,且M值的大小与选取的电力系统运行时间段的时间长度以及传感器的采集频率相关;具体应用中,需要根据实际情况设置电力系统运行时间段对应的时间长度;由于本实施例是依据传感器来采集目标数据的,传感器的采集频率需要根据实际情况进行设置,例如若当前更关注高频变化,则需要选择较高的采样频率;本实施例中需要根据采集数据的类型,在电力系统中安装和配置相应的传感器设备,这些设备将负责实时测量电力系统的各项参数,并将其转换为数字信号,例如本实施例是以电流为例进行分析的,即采集的电力系统运行时间段中的各初始数据为电流,因此需要安装和配置采集电流的传感器设备;且本实施例中可以通过现场总线或无线通讯网络将传感器设备采集到的数据传输到数据收集系统中。
本实施例中对初始数据序列进行预处理操作的过程是指对初始数据序列进行数据清洗、数据转换、数据标准化;所述数据清洗是指检查收集的数据是否存在错误或缺失值,如果有,需要进行适当的处理,例如可以通过插值方法填充缺失值或者删除包含错误的数据记录;所述数据转换是指将初始数据转换为适合分析的格式,例如将时间戳转换为标准的日期-时间格式或者将初始数据单位转换为统一的度量单位;所述数据标准化是指对数据进行标准化处理,以消除不同参数之间的量纲影响,常用的方法包括线性归一化和Z-Score标准化;由于数据清洗、数据转换、数据标准化的具体过程为公知技术,因此本实施例不再详细描述。
步骤S002,根据目标数据曲线上的各目标数据点以及各目标数据点的相邻目标数据点,得到所述各目标数据点对应的突变程度评估值;根据所述突变程度评估值,得到所述目标数据曲线上的各分段目标数据点;利用所述各分段目标数据点,对所述目标数据曲线进行划分,得到所述目标数据曲线对应的各子目标数据曲线。
由于获取站所自动化终端实时监控采集的电力系统运行时间段中的各初始数据的过程中会基于电磁的干扰、用户使用习惯不同或是其他环境因素的干扰,导致不同时间区间内的数据变化不同,即采集的电力系统运行时间段中的数据存在一定的变化随机性和复杂性,如果直接使用主成分分析法(PCA)对整体的目标数据曲线进行处理,则无法在降低数据压缩率的同时保证数据的重构质量。因此本实施例接下来将依据目标数据曲线上的各目标数据点以及各目标数据点的相邻目标数据点,寻找曲线中发生变化的离群突变数据点作为局部开始或结束一种变化特征的节点,即确定分段目标数据点,依据分段目标数据点实现对目标数据曲线的自适应分区处理,且后续可以依据进行自适应分区处理之后得到的各子目标数据曲线,确定子目标数据曲线对应的目标特征向量,依据目标特征向量进行降维的过程中可以达到在保证数据重构质量的同时最大程度的降低数据压缩率的目的及效果;因此本实施例得到各子目标数据曲线的具体过程为:
将与各目标数据点相邻的两个目标数据点分别记为对应目标数据点对应的第一目标数据点和第二目标数据点,且在目标数据曲线上各目标数据点对应的第一目标数据点位于其对应的第二目标数据点的后面;计算得到各目标数据点与其对应的第一目标数据点之间的纵坐标差值的绝对值,并记为各目标数据点对应的第一差异值;计算得到各目标数据点与其对应的第二目标数据点之间的纵坐标差值的绝对值,并记为各目标数据点对应的第二差异值;将各目标数据点对应的第一差异值和第二差异值中的最大值记为各目标数据点对应的目标差异值。
对于所述目标数据曲线上的任一目标数据点:
将目标数据曲线上该目标数据点左侧连续的a个目标数据点以及目标数据曲线上该目标数据点右侧连续的a个目标数据点均记为该目标数据点对应的邻域目标数据点;计算得到该目标数据点对应的所有邻域目标数据点对应的目标差异值的均值,并记为该目标数据点对应的邻域差异均值;计算得到该目标数据点对应的邻域差异均值与该目标数据点对应的目标差异值之间差值的绝对值,并记为该目标数据点对应的初始突变程度评估值;对该目标数据点对应的初始突变程度评估值进行归一化处理,将归一化处理后的该目标数据点对应的初始突变程度评估值记为该目标数据点对应的突变程度评估值;根据如下公式计算得到该目标数据点对应的突变程度评估值:
其中,为目标数据曲线上的第i个目标数据点对应的突变程度评估值,/>为目标数据曲线上的第i个目标数据点对应的目标差异值,/>为目标数据曲线上的第i个目标数据点对应的第j个邻域目标数据点对应的目标差异值,/>为目标数据曲线上的第i个目标数据点对应的邻域目标数据点的数量,/>为差异值运算,即/>的含义为/>与/>之间的差值的绝对值,Norm()为归一化函数。
具体应用中,需要根据实际情况设置a的值,本实施例设置a的值为3;而的值越a的值相关,当a的值为3时,/>的值为6。
另外,当与/>之间的差值的绝对值越大时,表明/>的值越大,反之,的值越小;当/>的值越大时,即/>的值越趋近于1时,说明该目标数据点为离群突变数据点的概率越大,即为分段目标数据点的概率越大,当/>的值越小,表明该目标数据点为分段目标数据点的概率越小。
因此通过上述过程得到了目标数据曲线上的各目标数据点对应的突变程度评估值;然后判断各目标数据点对应的突变程度评估值是否大于等于预设突变程度阈值,若是,则将对应的目标数据点记为待确定分段目标数据点;具体应用中,需要根据实际情况设置预设突变程度阈值的值,本实施例将预设突变程度阈值的值设置为0.7。
而又因为目标数据曲线的局部剧烈变化会使得突变程度评估值较大的数据点存在过于相邻的情况,即目标数据曲线的局部剧烈变化会使得待确定分段目标数据点存在过于相邻的情况,这种情况会使得后续的分段效果较差,因此接下来本实施例将依据相邻的待确定分段目标数据点之间的距离,确定分段目标数据点,具体为:
判断目标数据曲线上的第2个待确定分段目标数据点与第1个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若是,则判定目标数据曲线上的第2个待确定分段目标数据点不是分段目标数据点,然后继续判断目标数据曲线上的第3个待确定分段目标数据点与第1个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若不是,则判定目标数据曲线上的第3个待确定分段目标数据点是分段目标数据点,之后继续判断目标数据曲线上的第4个待确定分段目标数据点与第3个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若不是,则判定目标数据曲线上的第4个待确定分段目标数据点是分段目标数据点,以此类推,直至目标数据曲线上的所有待确定分段目标数据点完成判断后停止,并得到目标数据曲线上的所有分段目标数据点。且为了便于后续分段,本实施例将目标数据曲线上的第1个目标数据点和最后一个目标数据点记为分段目标数据点。
具体应用中,需要根据实际情况设置预设时间间隔阈值,本实施例设置预设时间间隔阈值的值为10。
然后将目标数据曲线上相邻的两个分段目标数据点之间的所有目标数据点构成的数据曲线,记为子目标数据曲线;且分段目标数据点是否位于子目标数据曲线上或者子目标数据曲线存在的分段目标数据点的数量需要根据实际情况设置,例如子目标数据曲线上均包含两个分段目标数据点。
至此,完成了对目标数据曲线的自适应分段,得到了目标数据曲线对应的各子目标数据曲线。
步骤S003, 根据主成分分析法以及所述各子目标数据曲线上的各目标数据点,得到所述各子目标数据曲线对应的目标特征向量;根据所述目标特征向量,得到降维后的数据。
紧接着对各子目标数据曲线进行分析,确定子目标数据曲线对应的目标特征向量,并依据目标特征向量,得到降维后的数据;具体过程为:
由于本实施例主要是基于主成分分析法实现对数据的降维压缩,而利用主成分分析法实现降维的主要思想是通过找到时序数据的主要变动方向来降低数据的维度,且由于分析出的主要变动方向为主成分且能够捕获大部分数据的信息,而更复杂的数据结构通常需要更多的主成分来实现完全描述,因此当子目标数据曲线上的数据变化程度较大或特征复杂,就需要更多的主成分来捕捉该复杂性,以保证数据重构质量的同时最大程度的降低压缩率,保证数据融合的准确性和效率;相反地,若子目标数据曲线上的数据变化相对稳定,此时仅使用较少的主成分即可捕获大部分信息;因此接下来本实施例将分析子目标数据曲线的变化特征,基于变化特征确定主成分,具体过程为:
对于目标数据曲线对应的任一子目标数据曲线:
计算该子目标数据曲线对应的极大值和极小值之间的差值,对该子目标数据曲线对应的极大值和极小值之间的差值进行负映射,将负映射后的值记为该子目标数据曲线对应的第一稳定性指标;所述第一稳定性指标的值越小,表明对应子目标数据曲线上的数据变化越大,越不稳定;然后根据该子目标数据曲线上的各目标数据点对应的第二差异值,构建得到该子目标数据曲线对应的差异值集合;计算得到该子目标数据曲线对应的差异值集合的信息熵,所述信息熵能反映子目标数据曲线上数据变化的混乱及复杂程度,且差异值集合的信息熵越大,表示对应子目标数据曲线上的数据变化越混乱或者子目标数据曲线上的数据越复杂,即越不稳定,反之差异值集合的信息熵越小,表示对应子目标数据曲线上的数据变化复杂程度越低,且所述信息熵的计算方法为公知技术,因此不再详细描述;对该子目标数据曲线对应的信息熵进行负映射,将负映射后的值记为该子目标数据曲线对应的第二稳定性指标,所述第二稳定性指标的值越小,表明对应子目标数据曲线上的数据变化越复杂,越不稳定;将第一权重值与该子目标数据曲线对应的第一稳定性指标的乘积与第二权重值与该子目标数据曲线对应的第二稳定性指标的乘积的和,记为该子目标数据曲线对应的数据变化稳定性评估值;根据如下公式计算记为该子目标数据曲线对应的数据变化稳定性评估值:
其中,为该子目标数据曲线对应的数据变化稳定性评估值,/>为第一权重值,为该子目标数据曲线对应的极大值,/>为该子目标数据曲线对应的极小值,为该子目标数据曲线对应的第一稳定性指标,/>为第二权重值,为该子目标数据曲线对应的差异值集合的信息熵,/>为该子目标数据曲线对应的第二稳定性指标,exp()为以e为底的指数函数。
另外,当的值越小时,表明该子目标数据曲线上的数据越不稳定,当/>的值越大时,表明该子目标数据曲线上的数据越稳定;当/>的值越大,/>值越大时,表明该子目标数据曲线上的数据变化复杂程度越高,即/>的值越小;反之当/>的值越小,/>值越小时,表明该子目标数据曲线上的数据变化越稳定;且具体应用中,需要根据实际情况设置第一权重值和第二权重值的值,本实施例设置/>。
因此通过上述过程得到了各子目标数据曲线对应的数据变化稳定性评估值。
紧接着利用主成分分析法,分别得到各子目标数据曲线对应的各特征值和各特征值对应的特征向量,所述特征向量代表了数据的主要变动方向,也就是主成分,并且它们是正交的,特征值代表了数据在相应的特征向量方向上的变动幅度。然后判断各子目标数据曲线对应的数据变化稳定性评估值是否大于等于预设稳定性阈值,若是,则判定对应子目标数据曲线上的数据点变化较为稳定,将对应的子目标数据曲线对应的最大特征值对应的特征向量记为目标特征向量,否则,则判定对应子目标数据曲线上的数据点变化较为复杂,并将对应的子目标数据曲线对应的最大特征值对应的特征向量以及仅次于最大特征值的特征值对应的特征向量均记为目标特征向量。
具体应用中,需要根据实际情况设置预设稳定性阈值,本实施例将预设稳定性阈值的值设置为0.8。
至此,得到了各子目标数据曲线对应的目标特征向量;且由于目标数据点为二维数据,因此利用主成分分析算法,得到的各子目标数据曲线对应的协方差矩阵为2*2,即各子目标数据曲线得到的特征值和特征向量的数量均为2。
紧接着将各子目标数据曲线上的各目标数据点投影到对应子目标数据曲线对应的目标特征向量构成的子空间中,得到降维后的数据,且实现有效的数据降维压缩是通过计算原始数据和特征向量的点积来得到。本实施例中主成分分析算法为公知技术,因此不再详细描述;且数据降维压缩处理能够去除数据中的冗余信息,提高数据融合的准确性和效率,即提高数据的质量。
因此同理,按照上述对获取的站所自动化终端实时监控采集的电力系统运行时间段中的电流的降维压缩的方法,也可以对获取的站所自动化终端实时监控采集的电力系统运行时间段中的电压或者功率等分别进行压缩降维处理;最后对压缩处理后的电流、电压、功率等数据使用各种数据挖掘技术或机器学习算法进行深入融合分析处理,且对降维压缩后的数据进行融合分析处理能够减少数据量且有效地实现数据融合处理和关系模型的生成,且对压缩处理后的电流、电压、功率等数据使用各种数据挖掘技术或机器学习算法进行深入融合分析处理为公知技术,因此不再详细描述。
本实施例首先获取电力系统运行时间段对应的目标数据曲线,然后根据目标数据曲线上的各目标数据点以及各目标数据点的相邻目标数据点,得到各目标数据点对应的突变程度评估值;之后根据突变程度评估值,得到目标数据曲线上的各分段目标数据点;并利用各分段目标数据点,对目标数据曲线进行划分,得到目标数据曲线对应的各子目标数据曲线;最后根据主成分分析法以及各子目标数据曲线上的各目标数据点,得到各子目标数据曲线对应的目标特征向量,并根据目标特征向量,得到降维后的数据。本实施例能够在保证数据重构质量的同时最大程度的降低压缩率,进而提高了多源数据融合的准确性和效率。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (7)
1.一种用于站所自动化终端的多源数据融合处理方法,其特征在于,该方法包括如下步骤:
获取电力系统运行时间段对应的目标数据曲线,所述目标数据曲线由M个目标数据点构成,M大于0;
根据目标数据曲线上的各目标数据点以及各目标数据点的相邻目标数据点,得到所述各目标数据点对应的突变程度评估值;
根据所述突变程度评估值,得到所述目标数据曲线上的各分段目标数据点;
利用所述各分段目标数据点,对所述目标数据曲线进行划分,得到所述目标数据曲线对应的各子目标数据曲线;
根据主成分分析法以及所述各子目标数据曲线上的各目标数据点,得到所述各子目标数据曲线对应的目标特征向量;
根据所述目标特征向量,得到降维后的数据;
得到所述各目标数据点对应的突变程度评估值方法,包括:
获取所述各目标数据点对应的目标差异值;
对于所述目标数据曲线上的任一目标数据点:
将目标数据曲线上该目标数据点左侧连续的a个目标数据点以及该目标数据点右侧连续的a个目标数据点均记为该目标数据点对应的邻域目标数据点;
将计算得到的该目标数据点对应的所有邻域目标数据点对应的目标差异值的均值,记为该目标数据点对应的邻域差异均值;
将计算得到的该目标数据点对应的邻域差异均值与其对应的目标差异值之间差值的绝对值,记为该目标数据点对应的初始突变程度评估值;
对所述初始突变程度评估值进行归一化处理,将归一化处理后的所述初始突变程度评估值记为该目标数据点对应的突变程度评估值;
获取所述各目标数据点对应的目标差异值的方法,包括:
将所述目标数据曲线上与各目标数据点相邻的两个目标数据点分别记为对应目标数据点对应的第一目标数据点和第二目标数据点;
将计算得到的各目标数据点与其对应的第一目标数据点之间的纵坐标差值的绝对值,记为各目标数据点对应的第一差异值;
将计算得到的各目标数据点与其对应的第二目标数据点之间的纵坐标差值的绝对值,记为各目标数据点对应的第二差异值;
将各目标数据点对应的第一差异值和第二差异值中的最大值记为各目标数据点对应的目标差异值。
2.如权利要求1所述的用于站所自动化终端的多源数据融合处理方法,其特征在于,获取电力系统运行时间段对应的目标数据曲线的方法,包括:
获取站所自动化终端实时监控采集的电力系统运行时间段中的各初始数据;
根据时间的先后顺序,对所述各初始数据进行排序,得到电力系统运行时间段对应的初始数据序列;
对所述初始数据序列进行预处理操作,将所述预处理操作后的初始数据序列中的各初始数据均记为目标数据;
以各目标数据为纵坐标,以采集对应目标数据对应的初始数据时的时间为横坐标,构建得到各数据点,并记为目标数据点;
根据各目标数据点,得到电力系统运行时间段对应的目标数据曲线。
3.如权利要求1所述的用于站所自动化终端的多源数据融合处理方法,其特征在于,得到所述目标数据曲线上的各分段目标数据点的方法,包括:
判断所述各目标数据点对应的突变程度评估值是否大于等于预设突变程度阈值,若是,则将对应的目标数据点记为待确定分段目标数据点;
根据所述目标数据曲线上的各待确定分段目标数据点,得到目标数据曲线上的各分段目标数据点。
4.如权利要求3所述的用于站所自动化终端的多源数据融合处理方法,其特征在于,根据所述目标数据曲线上的各待确定分段目标数据点,得到目标数据曲线上的各分段目标数据点的方法,包括:
判断所述目标数据曲线上的第2个待确定分段目标数据点与第1个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若是,则判定所述第2个待确定分段目标数据点不是分段目标数据点,继续判断所述目标数据曲线上的第3个待确定分段目标数据点与第1个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若不是,则判定所述第3个待确定分段目标数据点是分段目标数据点,继续判断所述目标数据曲线上的第4个待确定分段目标数据点与第3个待确定分段目标数据点之间的横坐标差值是否小于预设时间间隔阈值,若不是,则判定所述第4个待确定分段目标数据点是分段目标数据点,以此类推,直至所述目标数据曲线上的所有待确定分段目标数据点完成判断后停止,并得到目标数据曲线上的所有分段目标数据点。
5.如权利要求1所述的用于站所自动化终端的多源数据融合处理方法,其特征在于,得到所述各子目标数据曲线对应的目标特征向量的方法,包括:
对于目标数据曲线对应的任一子目标数据曲线:
计算该子目标数据曲线对应的极大值和极小值之间的差值,对所述极大值和极小值之间的差值进行负映射,将负映射后的值记为该子目标数据曲线对应的第一稳定性指标;
根据该子目标数据曲线上的各目标数据点对应的第二差异值,构建得到该子目标数据曲线对应的差异值集合;
计算得到该子目标数据曲线对应的差异值集合的信息熵,对所述信息熵进行负映射,将负映射后的值记为该子目标数据曲线对应的第二稳定性指标;
将第一权重值与该子目标数据曲线对应的第一稳定性指标的乘积与第二权重值与该子目标数据曲线对应的第二稳定性指标的乘积的和,记为该子目标数据曲线对应的数据变化稳定性评估值;
根据主成分分析法和各子目标数据曲线对应的数据变化稳定性评估值,得到各子目标数据曲线对应的目标特征向量。
6.如权利要求1所述的用于站所自动化终端的多源数据融合处理方法,其特征在于,根据主成分分析法和各子目标数据曲线对应的数据变化稳定性评估值,得到各子目标数据曲线对应的目标特征向量的方法,包括:
利用主成分分析法,分别得到各子目标数据曲线对应的各特征值和各特征值对应的特征向量;
判断各子目标数据曲线对应的数据变化稳定性评估值是否大于等于预设稳定性阈值,若是,则将对应的子目标数据曲线对应的最大特征值对应的特征向量记为目标特征向量,否则,则将对应的子目标数据曲线对应的最大特征值对应的特征向量以及仅次于最大特征值的特征值对应的特征向量均记为目标特征向量。
7.如权利要求1所述的用于站所自动化终端的多源数据融合处理方法,其特征在于,根据所述目标特征向量,得到降维后的数据的方法,包括:
将所述各子目标数据曲线上的目标数据点投影到对应子目标数据曲线对应的目标特征向量构成的子空间中,得到降维后的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410043826.XA CN117556377B (zh) | 2024-01-12 | 2024-01-12 | 用于站所自动化终端的多源数据融合处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410043826.XA CN117556377B (zh) | 2024-01-12 | 2024-01-12 | 用于站所自动化终端的多源数据融合处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117556377A CN117556377A (zh) | 2024-02-13 |
CN117556377B true CN117556377B (zh) | 2024-03-22 |
Family
ID=89816978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410043826.XA Active CN117556377B (zh) | 2024-01-12 | 2024-01-12 | 用于站所自动化终端的多源数据融合处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117556377B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0514675D0 (en) * | 2005-07-18 | 2005-08-24 | Mathshop Ltd | Flow cytometry method |
CN115310565A (zh) * | 2022-10-12 | 2022-11-08 | 西安道法数器信息科技有限公司 | 一种基于人工智能的网络安全监控方法 |
CN115659208A (zh) * | 2022-08-12 | 2023-01-31 | 佳都科技集团股份有限公司 | 一种站台门异常检测方法、装置、终端设备及存储介质 |
CN115935296A (zh) * | 2023-03-09 | 2023-04-07 | 国网山东省电力公司营销服务中心(计量中心) | 一种电能数据计量方法及系统 |
CN115980607A (zh) * | 2021-10-14 | 2023-04-18 | 淮阴工学院 | 基于增量容量曲线特征点的电池健康状态soh估算方法 |
CN116610482A (zh) * | 2023-07-18 | 2023-08-18 | 山东理工大学 | 一种电气设备运行状态智能监测方法 |
CN116773186A (zh) * | 2023-08-22 | 2023-09-19 | 浙江恒齿传动股份有限公司 | 基于多模态数据的减速机运行检测方法及系统 |
CN116794385A (zh) * | 2023-08-21 | 2023-09-22 | 山东德源电力科技股份有限公司 | 基于多维数据分析的高压电流监测方法 |
CN117078490A (zh) * | 2023-10-17 | 2023-11-17 | 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) | 基于多项因素进行同步分析的城市小微水体风险评估方法 |
-
2024
- 2024-01-12 CN CN202410043826.XA patent/CN117556377B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0514675D0 (en) * | 2005-07-18 | 2005-08-24 | Mathshop Ltd | Flow cytometry method |
CN115980607A (zh) * | 2021-10-14 | 2023-04-18 | 淮阴工学院 | 基于增量容量曲线特征点的电池健康状态soh估算方法 |
CN115659208A (zh) * | 2022-08-12 | 2023-01-31 | 佳都科技集团股份有限公司 | 一种站台门异常检测方法、装置、终端设备及存储介质 |
CN115310565A (zh) * | 2022-10-12 | 2022-11-08 | 西安道法数器信息科技有限公司 | 一种基于人工智能的网络安全监控方法 |
CN115935296A (zh) * | 2023-03-09 | 2023-04-07 | 国网山东省电力公司营销服务中心(计量中心) | 一种电能数据计量方法及系统 |
CN116610482A (zh) * | 2023-07-18 | 2023-08-18 | 山东理工大学 | 一种电气设备运行状态智能监测方法 |
CN116794385A (zh) * | 2023-08-21 | 2023-09-22 | 山东德源电力科技股份有限公司 | 基于多维数据分析的高压电流监测方法 |
CN116773186A (zh) * | 2023-08-22 | 2023-09-19 | 浙江恒齿传动股份有限公司 | 基于多模态数据的减速机运行检测方法及系统 |
CN117078490A (zh) * | 2023-10-17 | 2023-11-17 | 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) | 基于多项因素进行同步分析的城市小微水体风险评估方法 |
Non-Patent Citations (2)
Title |
---|
Curve skeleton extraction from incomplete point cloud;Andrea Tagliasacchi 等;《ACM Transactions on Graphics》;20090727;第1–9页 * |
基于多特征和LOF的用户负荷突变检测;曾静 等;《浙江电力》;20230225;第90-97页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117556377A (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108446864B (zh) | 基于大数据分析的轨道交通设备的故障预警系统及方法 | |
WO2021238455A1 (zh) | 数据处理方法、设备及计算机可读存储介质 | |
CN115861011B (zh) | 一种基于多源数据融合的智慧城市优化管理方法和系统 | |
CN104268519A (zh) | 基于模式匹配的图像识别终端及其识别方法 | |
CN114861788A (zh) | 一种基于dbscan聚类的负荷异常检测方法及系统 | |
CN105978145B (zh) | 智能变电站二次系统信息融合系统 | |
CN116243097A (zh) | 基于大数据的电能质量检测方法 | |
CN114611745A (zh) | 机床评估方法、机床评估系统及介质 | |
CN110378371B (zh) | 一种基于平均近邻距离异常因子的能耗异常检测方法 | |
CN117556377B (zh) | 用于站所自动化终端的多源数据融合处理方法 | |
CN113687610A (zh) | 一种gan-cnn电力监测系统终端信息防护法方法 | |
CN113456064A (zh) | 一种产前胎心监护信号智能判读方法 | |
CN110647086B (zh) | 一种基于运行大数据分析的智能运维监控系统 | |
CN117131022A (zh) | 一种电力信息系统的异构数据迁移方法 | |
CN116154968A (zh) | 一种基于iec104协议传感器的电力参数监测系统 | |
CN115481183A (zh) | 一种实时数据处理方法和系统 | |
CN115392663A (zh) | 一种基于大数据的数据采集处理方法 | |
CN115409367A (zh) | 基于物联网的智能电网健康状态评估方法及系统 | |
CN112714288A (zh) | 一种智能监控方法、装置及监控设备 | |
CN113098640B (zh) | 一种基于频道占用度预测的频谱异常检测方法 | |
CN113435320B (zh) | 自适应配置多模型的人体姿态估计方法 | |
CN117631599B (zh) | 一种基于数据分析的工控机数据传输方法及系统 | |
CN116346506B (zh) | 一种网络安全数据智能防护方法 | |
CN117375626B (zh) | 一种智慧供热异常数据传输方法及系统 | |
CN117416243B (zh) | 一种基于数据处理的低谷慢速充电桩及其充电方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |