CN116304950A - 一种配电网多源异构数据融合方法、装置及存储介质 - Google Patents

一种配电网多源异构数据融合方法、装置及存储介质 Download PDF

Info

Publication number
CN116304950A
CN116304950A CN202310355463.9A CN202310355463A CN116304950A CN 116304950 A CN116304950 A CN 116304950A CN 202310355463 A CN202310355463 A CN 202310355463A CN 116304950 A CN116304950 A CN 116304950A
Authority
CN
China
Prior art keywords
data
distribution network
power distribution
source heterogeneous
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310355463.9A
Other languages
English (en)
Inventor
郑剑锋
周龙舟
梁明铸
周磊
万敏
陈培培
刘若愚
肖卓典
李达凯
何其淼
刘志陆
何然
刘聪
白雪
姚远
詹睿
霍兆杰
奚泽立
祝钧
陈艺丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Guangdong Power Grid Co Ltd
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Guangdong Power Grid Co Ltd
Priority to CN202310355463.9A priority Critical patent/CN116304950A/zh
Publication of CN116304950A publication Critical patent/CN116304950A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)

Abstract

本发明涉及配电网数据管理技术领域，公开了一种配电网多源异构数据融合方法、装置及存储介质。本发明将采集的配电网多源异构数据依据数据类型存储到对应临时表中；根据临时表中数据的数据类型建立对应数据预处理线程，使数据预处理线程对相应数据执行预设数据预处理操作，其中数据类型为结构化数据时该操作包括对数据进行异常分析，对异常数据进行纠偏以及对纠偏得到的数据进行去噪；将得到的所有预处理后数据组成目标数据集合，通过时间配准和该集合中的非结构化数据对该集合中的时序数据进行数据填充；计算该集合中数据间的关联度，将大于预设关联度阈值的关联度对应的数据进行融合。本发明能提高对配电网多源异构数据进行融合的效率和质量。

Description

一种配电网多源异构数据融合方法、装置及存储介质
技术领域
本发明涉及配电网数据管理技术领域，尤其涉及一种配电网多源异构数据融合方法、装置及存储介质。
背景技术
随着配电网系统自动化、信息化趋势愈发明显，配电网在运行过程中会产生不同来源的海量数据，对配电网数据的不当处理会影响电力系统数据信息的真实性和完整性。
对配电网数据的处理需要将不同来源的海量数据进行融合，并将融合后的数据进行存储以便于后续使用。然而，这些数据来源于不同的系统，各系统遵循的建模标准不统一，而且数据量极大，致使配电网多源异构数据融合效果差，不利于电力系统的整体运行效率和效果，对电力系统稳定运行带来挑战与危机。
配电网中各条线路会安装多种电力信息测量设备，通过这些测量设备能够获取不同种类的电力测量数据，如同步相量单元数据、气象数据及设备数据等。众多种类的电力数据中会产生更多样的噪声数据，增加了数据融合的难度。
目前针对配电网多源异构数据的数据融合技术在融合数据集较小时效果较好，随着数据集规模增大后，融合效率和质量降低，不能满足配电网数据融合需求。
发明内容
本发明提供了一种配电网多源异构数据融合方法、装置及存储介质，解决了如何提高对配电网多源异构数据进行融合的效率和质量的技术问题。
本发明第一方面提供一种配电网多源异构数据融合方法，包括：
采集配电网多源异构数据；
依据数据类型将所述配电网多源异构数据存储到对应的临时表中；
根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；
将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；
计算所述目标数据集合中数据间的关联度；
将大于预设关联度阈值的关联度对应的数据进行融合。
根据本发明第一方面的一种能够实现的方式，所述对数据进行异常分析，包括：
采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。
根据本发明第一方面的一种能够实现的方式，所述对纠偏得到的数据进行去噪，包括：
采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；
利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；
将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；
对识别出的噪声分量进行剔除。
根据本发明第一方面的一种能够实现的方式，所述通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充，包括：
对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；
基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；
基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。
根据本发明第一方面的一种能够实现的方式，所述对所述目标数据集合中的时序数据进行时间配准，包括：
基于卡尔曼滤波器对所述时序数据进行滤波处理和数据预测；
根据得到的滤波数据和预测数据将所述时序数据配准到一个基准时间上。
根据本发明第一方面的一种能够实现的方式，所述基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，包括：
基于所述目标数据集合中的非结构化数据，采用树搜索算法进行配电网拓扑结构分析。
根据本发明第一方面的一种能够实现的方式，所述计算所述目标数据集合中数据间的关联度，包括：
采用主成分分析法对所述目标数据集合中的数据进行处理，以确定两两不相关的综合数据；
计算所述目标数据集合中除所述综合数据外的数据间的关联度。
本发明第二方面提供一种配电网多源异构数据融合装置，包括：
采集模块，用于采集配电网多源异构数据；
存储模块，用于依据数据类型将所述配电网多源异构数据存储到对应的临时表中；
预处理模块，用于根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；
填充模块，用于将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；
计算模块，用于计算所述目标数据集合中数据间的关联度；
融合模块，用于将大于预设关联度阈值的关联度对应的数据进行融合。
根据本发明第二方面的一种能够实现的方式，所述预处理模块对数据进行异常分析时，具体用于：
采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。
根据本发明第二方面的一种能够实现的方式，所述预处理模块对纠偏得到的数据进行去噪时，具体用于：
采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；
利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；
将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；
对识别出的噪声分量进行剔除。
根据本发明第二方面的一种能够实现的方式，所述填充模块包括：
时间配准单元，用于对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；
拓扑分析单元，用于基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；
插值填充单元，用于基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。
根据本发明第二方面的一种能够实现的方式，所述时间配准单元具体用于：
基于卡尔曼滤波器对所述时序数据进行滤波处理和数据预测；
根据得到的滤波数据和预测数据将所述时序数据配准到一个基准时间上。
根据本发明第二方面的一种能够实现的方式，所述拓扑分析单元具体用于：
基于所述目标数据集合中的非结构化数据，采用树搜索算法进行配电网拓扑结构分析。
根据本发明第二方面的一种能够实现的方式，所述计算模块包括：
无关联数据确定单元，用于采用主成分分析法对所述目标数据集合中的数据进行处理，以确定两两不相关的综合数据；
计算单元，用于计算所述目标数据集合中除所述综合数据外的数据间的关联度。
本发明第三方面提供了一种配电网多源异构数据融合装置，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项能够实现的方式所述的配电网多源异构数据融合方法；
处理器，用于执行所述存储器中的指令。
本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项能够实现的方式所述的配电网多源异构数据融合方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明将采集的配电网多源异构数据依据数据类型存储到对应的临时表中；根据临时表中数据的数据类型建立对应的数据预处理线程，使数据预处理线程对对应临时表中的数据执行预设数据预处理操作，其中数据类型为结构化数据时预设数据处理操作包括对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；将得到的所有预处理后数据组成目标数据集合，通过时间配准和目标数据集合中的非结构化数据对目标数据集合中的时序数据进行数据填充；计算目标数据集合中数据间的关联度，将大于预设关联度阈值的关联度对应的数据进行融合；本发明通过数据预处理线程对对应临时表中的数据执行预设数据预处理操作，能够提高用于数据融合的数据质量，通过对数据进行时间配准，能够去除数据采集时间周期不一致带来的干扰，对配准后数据进行数据填充，能够保证不同来源时序数据密度一致，这些处理在整体上提高了对配电网多源异构数据进行融合的效率和质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个可选实施例提供的一种配电网多源异构数据融合方法的流程图；
图2为本发明一个可选实施例提供的一种配电网多源异构数据融合装置的结构连接框图。
附图标记：
1-采集模块；2-存储模块；3-预处理模块；4-填充模块；5-计算模块；6-融合模块。
具体实施方式
本发明实施例提供了一种配电网多源异构数据融合方法、装置及存储介质，用于解决如何提高对配电网多源异构数据进行融合的效率和质量的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种配电网多源异构数据融合方法。
请参阅图1，图1示出了本发明实施例提供的一种配电网多源异构数据融合方法的流程图。
本发明实施例提供的一种配电网多源异构数据融合方法，包括步骤S1-S6。
本发明第一方面提供一种配电网多源异构数据融合方法，包括：
步骤S1，采集配电网多源异构数据。
其中，配电网多源异构数据通常包括结构化数据和非结构化数据，非结构化数据包括GIS(地理信息系统)数据和拓扑结构数据。
在进行配电网多源异构数据的采集时，可以从配电网采集数据的传感器中得到该配电网多源异构数据。
步骤S2，依据数据类型将所述配电网多源异构数据存储到对应的临时表中。
其中，对配电网多源异构数据的分类挖掘可以基于现有的人工智能技术进行。本实施例中，对具体的分类方法不做限定。
作为具体的实施方式，可以将数据类型分为结构化数据和非结构化数据，并进一步将非结构化数据分为地理信息数据类和拓扑结构数据类。
步骤S3，根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪。
本实施例中，通过数据预处理线程对对应临时表中的数据执行预设数据预处理操作，能够提高用于数据融合的数据质量。其中，对异常数据进行纠偏，可以得到形式统一、无残缺的数据，对纠偏后得到的数据进行去噪，可以获得高精度测量数据。
在一种能够实现的方式中，非结构化数据分为拓扑结构数据和地理信息数据，对拓扑结构数据的预设数据处理操作，可以包括：按照设计的布局布线规则自动生成SVG图形(可缩放的矢量图形)；对地理信息数据的预设数据处理操作，可以包括：结合百度地图组件的便利性，将地图上点与点通过步行导航功能和绘线功能连接起来，完成地理接线图的绘制。
在对分析得到的异常数据进行纠偏，可以进一步生成并保存纠偏记录，以便于后续配电网数据管理人员对融合数据的管理。
在一种能够实现的方式中，所述对数据进行异常分析，包括：
采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。
本实施例中，对异常数据的挖掘采用人工智能神经网络算法来处理数据，具有智能便捷的优点。作为具体的实施方式，在构建该预置的神经网络模型时，首先建立神经网络算法，然后在算法回馈过程中采用粒子群算法对权值进行优化，再对样本数据进行标准化处理和特征选择，初始化粒子群和相关参数，通过特征建立神经网络模型，采用粒子群算法优化至预置的满足条件，最后输出最优参数，利用最优参数建立神经网络算法，实现对神经网络模型的优化训练。具体的优化训练过程中，先确定神经网络的拓扑结构，再得到适应度函数的表达式，最后进行异常数据的挖取，所述优化训练包括通过均方误差计算每个粒子的适应度，更新每个粒子的当前最优位置及全局最优位置，更新每个粒子的速度和位置。
在另一种能够实现的方式中，也可以根据实际情况建立阈值判断准则，基于阈值判断准则进行异常数据的挖掘。具体实施时，将数据与相应的阈值范围进行比较，将超出该阈值范围的数据作为异常数据。
在又一种能够实现的方式中，由于配电网多源异构数据多为传感器数据，也可以利用传感器测量误差、计算误差和经验公式误差对数据的准确性进行评估。传感器测量误差主要与传感器性能相关，可通过不同品牌传感器横向对比和与计量总量的相对偏差确定。计算误差与信息采集时间、转换方式与精度等因素相关，可根据数据计算、存储、传输方式综合确定。经验公式误差与数理处理的经验公式精确度相关，可利用经验公式与实际偏差的相对值确定。通过三者的误差值的权重和与预置误差阈值的比较可以评估相应数据是否准确，将不准确的数据判定为异常数据。需要说明的是，传感器测量误差、计算误差和经验公式误差的计算属于现有技术，本实施例中，对传感器测量误差、计算误差和经验公式误差的具体计算过程不做限定。
需要说明的是，在其他能够实现的方式中，进行异常数据的分析时，可以将上述三种异常分析方式中的任意两种或三种进行结合来实现异常数据的挖掘。
在一种能够实现的方式中，所述对纠偏得到的数据进行去噪，包括：
采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；
利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；
将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；
对识别出的噪声分量进行剔除。
交叉小波变换(cross-wavelet transform)建立在小波分析理论基础之上，在时频域内对两信号进行分析，可以诊断两信号间的时频相关性及相位关系特征。噪声由于具有随机性和互不相关性，在交叉小波变换中对信号分析的影响较小，而且高抗振动信号的频率和相位分布特征是进行信号识别的重要信息，因此基于交叉小波变换的特征提取方法可以很好的描述特征，并避免噪声信号的影响。孤立森林算法是一种适用于连续数据的无监督异常检测方法，与其他异常检测算法通过距离、密度等量化指标来刻画样本间的疏离程度不同，孤立森林算法通过对样本点的孤立来检测异常值。相较于LOF、K-means等传统算法，孤立森林算法对高维数据有较好的鲁棒性。本实施例中，结合交叉小波变换算法和孤立森林算法对数据进行去噪，可以得到较好的去噪效果。
作为一种能够实现的方式，对纠偏得到的数据进行去噪后，可以进一步计算并保存数据信噪比，以便于后续配电网数据管理人员对融合数据的管理。
步骤S4，将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充。
在一种能够实现的方式中，所述通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充，包括：
对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；
基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；
基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。
在一种能够实现的方式中，所述对所述目标数据集合中的时序数据进行时间配准，包括：
基于卡尔曼滤波器对所述时序数据进行滤波处理和数据预测；
根据得到的滤波数据和预测数据将所述时序数据配准到一个基准时间上。
本实施例中的时间配准采用一种时间配准跟踪方法，先以融合中心适中周期T为数据处理周期，进行递推运算，按照每个数据到达时刻为时间戳，进行预测估计，建立置信区间，并筛选关联点。具体执行时，过程包括：首先初始化卡尔曼滤波器，计算时序数据状态和协方差预测矩阵、增益矩阵、更新状态方程和协方差方程；然后判断配电网时序数据最后数据是否为当前时刻，若是则继续预测下一时刻配电网数据；若不是最后数据则重新计算配电网更新状态方程和协方差方程。
本实施例中，基于卡尔曼滤波对时序数据进行时间配准，能够去除数据采集时间周期不一致带来的干扰。
在一种能够实现的方式中，所述基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，包括：
基于所述目标数据集合中的非结构化数据，采用树搜索算法进行配电网拓扑结构分析。
所述拓扑结构为配电网中所有设备的连接关系，网络中每个节点都沿着电流方向与两个邻居节点连接，拓扑分析的过程是根据联络开关的通断调整网络节点，在网络变化时实现网络重构，采用树搜索算法作为拓扑分析算法，实现过程如下：以变电站作为起点，沿着出线端搜索相邻未被标记的设备节点，继而按照自上而下、自左向右的顺序搜索通过闭合开关连接的未被标记设备节点，直至所有的节点被搜索，完成拓扑分析，得到拓扑结构示意图。
作为具体的实施方式，所述树搜索算法包括选择、扩展、模拟、反向传播和最终选择过程，包括下列步骤：
以发电厂为根节点Z，沿着配电线路的分布的设备线路节点为子节点s1,s2,...,sn，子节点的被访问次数为Xs1,Xs2,...,Xsn，子节点对配电网的重要系数为μs1,μs2,...,μsn，根据子节点的访问次数与重要性得到子节点的选择策略，选择策略公式为：F(sn)＝Xsn-μsn；
当节点sn是一个可扩展的节点，搜索算法从配电网空间中随机分配一个拓扑分布集，随后拓扑分布集进行模拟过程同时进行标记，当节点是已被充分访问过的节点，搜索算法向节点的拓扑分布中添加新的行动；
扩展过程结束后，搜索算法通过一个默认的策略随机走棋直到终端节点，根据终端节点的重要系数和选择策略，计算从节点si到节点sj的路径上所有节点的重要系数及其相关节点的相关信息；
在经过充分的模拟之后，继而按照自上而下、自左向右的顺序搜索通过闭合开关连接的未被标记设备节点，直至所有的节点被搜索，完成拓扑分析，得到拓扑结构示意图，搜索算法从根节点中选择最好的行动得到配电网的拓扑结构。
本发明上述实施例中，通过树搜索算法进行配电网拓扑结构分析，能够快速准确地得到配电网的拓扑结构，从而在整体上提高数据融合效率。
在一种能够实现的方式中，所述预置插值算法为克里金插值法。
克里金插值法克里金插值法又称空间局部插值法，是以变异函数理论和结构分析为基础，在有限区域内对区域化变量进行无偏最优估计的一种方法。
需要说明的是，也可以采用现有的其他插值算法进行数据填充，例如拉格朗日插值算法。
本发明上述实施例中，对数据进行数据填充，能够保证不同来源时序数据密度一致。
步骤S5，计算所述目标数据集合中数据间的关联度。
在一种能够实现的方式中，所述计算所述目标数据集合中数据间的关联度，包括：
采用主成分分析法对所述目标数据集合中的数据进行处理，以确定两两不相关的综合数据；
计算所述目标数据集合中除所述综合数据外的数据间的关联度。
所述采用主成分分析法对所述目标数据集合中的数据进行处理，以确定两两不相关的综合数据，包括下列步骤：
计算相关系数矩阵，先利用关联度系数函数得到数据间的相关系数，将相关系数组成n×m的对称矩阵，利用矩阵确定相关系数的大小；
求取数据特征值，根据特征方程利用雅克比方法求出特征值，再根据特征值求出对应的特征向ei(i＝1,2,3,...，n)；
确定主成分的个数m，并设置信息利用率大于80％。
作为一种实施方式，所述关联度系数函数为：
Figure BDA0004163226160000121
式中，r(x,y)表示数据x与数据y的关联度系数，Cov(x,y)为数据x与数据y的协方差，Var(x)为数据x的方差，Var(y)为数据y的方差。
步骤S6，将大于预设关联度阈值的关联度对应的数据进行融合。
其中，可以根据实际情况设置该预设关联度阈值。
进一步地，所述方法还可以包括：
采用MySQL数据库存储融合后的数据用于等待配电网功能模块调用。
本发明上述实施例中，从配电网采集数据的传感器中得到缓存数据，然后通过分类、异常数据挖掘、纠偏与去噪、修正配准及二次融合的步骤得到适用于配电网系统的数据库，具体采用人工智能神经网络算法处理数据，达到了挖掘异常数据的作用，通过交叉小波变换与孤立森林联合算法，对异构数据进行去噪，得到高质量数据，最后通过时间配准，去除数据采集时间周期不一致带来的干扰，配准后的数据基于配电网拓扑结构采用克里金插值方法填充，用于保证不同来源时序数据密度一致，最后通过数据关联性计算数据间的关联性，将关联度高的数据融合，从整体上能提高对配电网多源异构数据进行融合的效率和质量。
本发明还提供了一种配电网多源异构数据融合装置，该装置可用于执行本发明上述任一项实施例所述的配电网多源异构数据融合方法。
请参阅图2，图2示出了本发明实施例提供的一种配电网多源异构数据融合装置的结构连接框图。
本发明实施例提供的一种配电网多源异构数据融合装置，包括：
采集模块1，用于采集配电网多源异构数据；
存储模块2，用于依据数据类型将所述配电网多源异构数据存储到对应的临时表中；
预处理模块3，用于根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；
填充模块4，用于将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；
计算模块5，用于计算所述目标数据集合中数据间的关联度；
融合模块6，用于将大于预设关联度阈值的关联度对应的数据进行融合。
在一种能够实现的方式中，所述预处理模块3对数据进行异常分析时，具体用于：
采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。
在一种能够实现的方式中，所述预处理模块3对纠偏得到的数据进行去噪时，具体用于：
采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；
利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；
将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；
对识别出的噪声分量进行剔除。
在一种能够实现的方式中，所述填充模块4包括：
时间配准单元，用于对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；
拓扑分析单元，用于基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；
插值填充单元，用于基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。
在一种能够实现的方式中，所述时间配准单元具体用于：
基于卡尔曼滤波器对所述时序数据进行滤波处理和数据预测；
根据得到的滤波数据和预测数据将所述时序数据配准到一个基准时间上。
在一种能够实现的方式中，所述拓扑分析单元具体用于：
基于所述目标数据集合中的非结构化数据，采用树搜索算法进行配电网拓扑结构分析。
在一种能够实现的方式中，所述计算模块5包括：
无关联数据确定单元，用于采用主成分分析法对所述目标数据集合中的数据进行处理，以确定两两不相关的综合数据；
计算单元，用于计算所述目标数据集合中除所述综合数据外的数据间的关联度。
本发明还提供了一种配电网多源异构数据融合装置，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项实施例所述的配电网多源异构数据融合方法；
处理器，用于执行所述存储器中的指令。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项实施例所述的配电网多源异构数据融合方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，上述描述的装置和模块的具体有益效果，可以参考前述方法实施例中的对应有益效果，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种配电网多源异构数据融合方法，其特征在于，包括：
采集配电网多源异构数据；
依据数据类型将所述配电网多源异构数据存储到对应的临时表中；
根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；
将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；
计算所述目标数据集合中数据间的关联度；
将大于预设关联度阈值的关联度对应的数据进行融合。
2.根据权利要求1所述的配电网多源异构数据融合方法，其特征在于，所述对数据进行异常分析，包括：
采用预置的神经网络模型对数据进行异常分析；所述神经网络模型基于粒子群算法进行训练的得到。
3.根据权利要求1所述的配电网多源异构数据融合方法，其特征在于，所述对纠偏得到的数据进行去噪，包括：
采用交叉小波变换算法对纠偏得到的数据进行处理，得到相应的小波相干谱图；
利用孤立森林将纠偏得到的数据通过选择特征的最大值和最小值之间的分割来随机进行分区，直至数据点均被隔离，得到相应的路径长度分布数据图；
将所述小波相干谱图与所述路径长度分布数据图进行比较，以识别出噪声分量；
对识别出的噪声分量进行剔除。
4.根据权利要求1所述的配电网多源异构数据融合方法，其特征在于，所述通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充，包括：
对所述目标数据集合中的时序数据进行时间配准，得到配准后数据；
基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，得到配电网拓扑结构分析结果；
基于所述配电网拓扑结构分析结果，采用预置插值算法对所述配准后数据进行数据填充。
5.根据权利要求4所述的配电网多源异构数据融合方法，其特征在于，所述对所述目标数据集合中的时序数据进行时间配准，包括：
基于卡尔曼滤波器对所述时序数据进行滤波处理和数据预测；
根据得到的滤波数据和预测数据将所述时序数据配准到一个基准时间上。
6.根据权利要求4所述的配电网多源异构数据融合方法，其特征在于，所述基于所述目标数据集合中的非结构化数据进行配电网拓扑结构分析，包括：
基于所述目标数据集合中的非结构化数据，采用树搜索算法进行配电网拓扑结构分析。
7.根据权利要求1所述的配电网多源异构数据融合方法，其特征在于，所述计算所述目标数据集合中数据间的关联度，包括：
采用主成分分析法对所述目标数据集合中的数据进行处理，以确定两两不相关的综合数据；
计算所述目标数据集合中除所述综合数据外的数据间的关联度。
8.一种配电网多源异构数据融合装置，其特征在于，包括：
采集模块，用于采集配电网多源异构数据；
存储模块，用于依据数据类型将所述配电网多源异构数据存储到对应的临时表中；
预处理模块，用于根据临时表中数据的数据类型建立对应的数据预处理线程，使所述数据预处理线程对对应临时表中的数据执行预设数据预处理操作，得到预处理后数据；所述数据类型为结构化数据时所述预设数据处理操作包括：对数据进行异常分析，对分析得到的异常数据进行纠偏以及对纠偏得到的数据进行去噪；
填充模块，用于将所有预处理后数据组成目标数据集合，通过时间配准和所述目标数据集合中的非结构化数据对所述目标数据集合中的时序数据进行数据填充；
计算模块，用于计算所述目标数据集合中数据间的关联度；
融合模块，用于将大于预设关联度阈值的关联度对应的数据进行融合。
9.一种配电网多源异构数据融合装置，其特征在于，包括：
存储器，用于存储指令；其中，所述指令用于实现如权利要求1-7任意一项所述的配电网多源异构数据融合方法；
处理器，用于执行所述存储器中的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的配电网多源异构数据融合方法。
CN202310355463.9A 2023-04-04 2023-04-04 一种配电网多源异构数据融合方法、装置及存储介质 Pending CN116304950A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310355463.9A CN116304950A (zh) 2023-04-04 2023-04-04 一种配电网多源异构数据融合方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310355463.9A CN116304950A (zh) 2023-04-04 2023-04-04 一种配电网多源异构数据融合方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116304950A true CN116304950A (zh) 2023-06-23

Family

ID=86834212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310355463.9A Pending CN116304950A (zh) 2023-04-04 2023-04-04 一种配电网多源异构数据融合方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116304950A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195292A (zh) * 2023-09-08 2023-12-08 广州星屋智能科技有限公司 一种基于数据融合和边缘计算的电力业务评估方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195292A (zh) * 2023-09-08 2023-12-08 广州星屋智能科技有限公司 一种基于数据融合和边缘计算的电力业务评估方法
CN117195292B (zh) * 2023-09-08 2024-04-09 广州星屋智能科技有限公司 一种基于数据融合和边缘计算的电力业务评估方法

Similar Documents

Publication Publication Date Title
CN108399748B (zh) 一种基于随机森林与聚类算法的道路旅行时间预测方法
CN111628494B (zh) 一种基于逻辑回归法的低压配电网拓扑识别方法及系统
CN115270965A (zh) 一种配电网线路故障预测方法和装置
CN116304950A (zh) 一种配电网多源异构数据融合方法、装置及存储介质
CN117078048B (zh) 基于数字孪生的智慧城市资源管理方法及系统
CN112329973A (zh) 一种基于图神经网络和区域网格化的时空负荷预测方法
CN110287237B (zh) 一种基于社会网络结构分析社团数据挖掘方法
CN115603320A (zh) 一种基于广域量测数据的实时感知与在线评估方法及系统
CN115342814A (zh) 一种基于多传感器数据融合的无人船定位方法
CN109858667A (zh) 一种基于雷电气候对负荷影响的短期负荷聚类方法
CN116226468B (zh) 基于网格化终端业务数据存储管理方法
CN115691140B (zh) 一种汽车充电需求时空分布的分析与预测方法
CN115718906A (zh) 一种多能源系统多源异构数据融合方法及系统
CN113127464B (zh) 农业大数据环境特征处理方法、装置及电子设备
CN116011564A (zh) 一种面向电力设备的实体关系补全方法、系统及应用
CN106816871B (zh) 一种电力系统状态相似性分析方法
CN110175639B (zh) 一种基于特征选取的短期风电功率预测方法
Fan et al. Construction of a neural network and its application on target classification
Zhang et al. A Real Time Traffic Flow Model Based on Deep Learning.
CN114692964B (zh) 一种基于交叉注意力机制的时空交通流量预测方法
CN115994639B (zh) 一种基于冗余分析的水网格局与地形地貌关联性评价方法
CN111597761B (zh) 基于适配区域划分的国际地磁参考场建模方法
CN116489602B (zh) 一种分布式容错目标跟踪方法、系统、设备及介质
Ferreira et al. Dynamic identification of stop locations from GPS trajectories based on its temporal and spatial characteristics
Hu et al. Topology Recognition of Courts Based on the Improved PCA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination