CN117332543B - 电网异构数据源的分布处理方法 - Google Patents
电网异构数据源的分布处理方法 Download PDFInfo
- Publication number
- CN117332543B CN117332543B CN202311631804.7A CN202311631804A CN117332543B CN 117332543 B CN117332543 B CN 117332543B CN 202311631804 A CN202311631804 A CN 202311631804A CN 117332543 B CN117332543 B CN 117332543B
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- heterogeneous
- distributed
- coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000009826 distribution Methods 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims abstract description 234
- 238000013500 data storage Methods 0.000 claims abstract description 110
- 238000011156 evaluation Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000003860 storage Methods 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000004088 simulation Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005094 computer simulation Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000013501 data transformation Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 238000012098 association analyses Methods 0.000 claims description 4
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 abstract description 5
- 238000006731 degradation reaction Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013433 optimization analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/04—Power grid distribution networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本公开提供了一种电网异构数据源的分布处理方法，涉及电网数据处理技术，方法包括：对多个分布数据处理节点进行数据存储属性标识；生成目标电网的数据处理孪生模型；对第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；基于多个关联系数、多个实时剩余存储空间和多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；基于所述第一最优分布数据处理节点进行数据存储和数据调用。能够解决现有的电网异构数据处理方法在处理数据量过大时存在性能下降明显导致数据处理效率较低的技术问题，可以便于进行电网数据调用和查询，提高数据存储的稳定性和数据处理效率。
Description
技术领域
本公开涉及电网数据处理技术，并且更具体地，涉及一种电网异构数据源的分布处理方法。
背景技术
随着智能电网的飞速发展，电网运行过程中涉及的数据量越来越庞大，同时不同结构数据的来源也越来越多，例如：设备监测数据、设备台账数据、运行环境数据等，对数据的处理和分析能力也提出了更高的要求。现有的电网异构数据处理方法通常是通过关系型数据库进行数据存储和调用，这种方法在数据量过大时经常会出现装载以及查询时性能下降明显的现象，不能很好地适应电网运行数据的实时处理应用需求。
现有的电网异构数据处理方法存在的不足之处在于：处理数据量过大时存在性能下降明显导致数据处理效率较低。
发明内容
因此，为了解决上述技术问题，本公开的实施例采用的技术方案如下：
电网异构数据源的分布处理方法，包括以下步骤：获取目标电网的多个异构数据集合，所述多个异构数据集合通过对目标电网进行多方位数据采集获得；对目标电网的多个分布数据处理节点进行数据存储属性标识，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户；基于数字孪生技术，通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，生成目标电网的数据处理孪生模型；在所述多个异构数据集合中选择第一异构数据集合，并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数，并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；基于所述第一最优分布数据处理节点对所述多个异构数据集合进行数据存储，并根据数据存储结果进行数据调用。
电网异构数据源的分布处理系统，包括：异构数据集合获取模块，所述异构数据集合获取模块用于获取目标电网的多个异构数据集合，所述多个异构数据集合通过对目标电网进行多方位数据采集获得；数据存储属性标识模块，所述数据存储属性标识模块用于对目标电网的多个分布数据处理节点进行数据存储属性标识，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户；数据处理孪生模型生成模块，所述数据处理孪生模型生成模块用于基于数字孪生技术，通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，生成目标电网的数据处理孪生模型；关联系数生成模块，所述关联系数生成模块用于在所述多个异构数据集合中选择第一异构数据集合，并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；第一最优分布数据处理节点获得模块，所述第一最优分布数据处理节点获得模块用于获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数，并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；数据存储调用模块，所述数据存储调用模块用于基于所述第一最优分布数据处理节点对所述多个异构数据集合进行数据存储，并根据数据存储结果进行数据调用。
由于采用了上述技术方法，本公开相对于现有技术来说，取得的技术进步有如下几点：
可以解决现有的电网异构数据处理方法在处理数据量过大时存在性能下降明显导致数据处理效率较低的技术问题，首先，通过对目标电网进行多方位数据采集获得多个异构数据集合；然后对目标电网的多个分布数据处理节点进行数据存储属性标识，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户；进一步基于数字孪生技术，通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，生成目标电网的数据处理孪生模型；在所述多个异构数据集合中选择第一异构数据集合，并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数，并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；最后基于获得所述第一最优分布数据处理节点相同的方法获得多个最优分布数据处理节点，并根据多个最优分布数据处理节点对所述多个异构数据集合进行数据存储，根据数据存储结果进行数据调用。通过上述方法可以便于进行电网数据调用和查询，提高数据存储的稳定性和数据处理效率，从而提高电网运行的安全性和可靠性。
附图说明
为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。
图1为本申请提供了一种电网异构数据源的分布处理方法的流程示意图；
图2为本申请提供了一种电网异构数据源的分布处理方法中对第一异构数据集合和多个分布数据处理节点依次进行关联性分析的流程示意图；
图3为本申请提供了一种电网异构数据源的分布处理系统的结构示意图。
附图标记说明：异构数据集合获取模块21、数据存储属性标识模块22、数据处理孪生模型生成模块23、关联系数生成模块24、第一最优分布数据处理节点获得模块25、数据存储调用模块26。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整的描述。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
基于上述描述，如图1所示，本公开提供了一种电网异构数据源的分布处理方法，包括：
电网异构数据源是指不同来源不同结构的电网数据，随着智能电网的普及，电网异构数据量越来越庞大，本申请提供的方法用于通过分布式数据处理的方法对海量电网异构数据进行数据分析和处理，来达到方便进行电网数据调用和查询，提高数据存储的稳定性和数据处理效率的目的，所述方法具体实施于一种电网异构数据源的分布处理系统。
获取目标电网的多个异构数据集合，所述多个异构数据集合通过对目标电网进行多方位数据采集获得；
在本申请实施例中，首先，对目标电网进行多方位数据采集，其中目标电网为待进行数据分布处理的电网系统，所述多方位是指多个数据来源，其中包括输变电设备监测数据、设备状态评估数据、在线监测实时数据、离线检测数据等多个不同来源的数据，根据多方位数据采集结果获得多个异构数据集合。通过获得目标电网的多个异构数据集合，为下一步进行数据分布处理提供了数据支持。
对目标电网的多个分布数据处理节点进行数据存储属性标识，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户；
在本申请实施例中，首先，获取数据存储属性，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户，其中数据产生位置表征来自同一位置的异构数据，其中来自同一位置的多种监测数据具有较强的相关性；然后根据所述数据存储属性对目标电网的多个分布数据处理节点进行数据存储属性分析，其中分布数据处理节点为具有数据处理能力的节点，例如：云计算中的多个分布式服务器等，获得多个分布数据处理节点对应的多个数据存储属性集合，并根据所述多个数据存储属性集合对多个分布数据处理节点进行数据存储属性标识。通过对多个分布数据处理节点进行数据存储属性标识，为下一步进行异构数据集合和分布数据处理节点的关联性分析提供了支持。
基于数字孪生技术，通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，生成目标电网的数据处理孪生模型；
在本申请实施例中，首先，获取多个分布数据处理节点的基本信息，其中所述基本信息包括数据存储空间、数据处理性能、数据存储安全性等数据，然后基于数字孪生技术，将所述多个分布数据处理节点的基本信息输入3D仿真软件，并通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，其中数字孪生技术是指通过数字的方式对物体或物体运行状态进行虚拟仿真建模，具有互操作性、可扩展性、实时性、保真性、闭环性等多个优点，其中常用的3D仿真软件包括Maya软件、Blender软件等，本领域技术人员可根据实际需求选择适配的3D仿真软件进行仿真建模，生成目标电网的数据处理孪生模型。
通过基于数字孪生技术对目标电网的多个分布数据处理节点进行仿真建模，可以提高数据模拟处理的真实性和合理性，从而提高数据处理结果分析的准确性，为进行数据处理优化分析提供了支持。
在所述多个异构数据集合中选择第一异构数据集合，并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；
在本申请实施例中，首先，在所述多个异构数据集合中随机选择一异构数据集合作为第一异构数据集合，然后在所述数据处理孪生模型内，对所述第一异构数据集合的数据存储属性和多个分布数据处理节点的数据存储属性进行关联性分析，并根据关联性分析结果生成多个关联系数。
在一个实施例中，所述方法还包括：
对所述多个异构数据集合进行数据预处理，其中数据预处理步骤包括数据清洗、数据集成和数据变换，获得多个处理异构数据集合；
在所述多个处理异构数据集合中随机选择一处理异构数据集合作为所述第一异构数据集合。
在本申请实施例中，在选择第一异构数据集合之前，首先，对所述多个异构数据集合进行数据清洗，其中所述数据清洗是指对多个异构数据集合进行异常数据清除、错误数据纠正、冗余数据清除等一系列操作，通过数据清洗可以提高数据的准确性；然后对数据清洗完成的多个异构数据集合进行数据集成，其中数据集成的目的是为了将多个异构数据集合中有关联性的异构数据进行结合并统一存储；最后对完成数据集成的多个异构数据集合进行数据变换，其中数据变换是指对异构数据进行格式变换，便于进行数据关联分析和挖掘，常用的数据变换方式包括平滑聚集，数据概化等；并将完成数据变换的异构数据集合作为处理异构数据集合，获得多个处理异构数据集合。通过对多个异构数据集合进行数据预处理，可以提高异构数据获得的准确性，同时可以节约异构数据处理时间，提高数据处理效率。
然后在所述多个处理异构数据集合中随机选择一处理异构数据集合作为第一异构数据集合，其中所述第一异构数据集合为所述多个处理异构数据集合中的任意一个异构数据集合。
如图2所示，在一个实施例中，所述方法还包括：
通过电网数据专家组对所述数据存储属性进行权重评估，获得所述数据存储属性的权重占比；
在本申请实施例中，获得多个电网数据专家组建电网数据专家组，并通过所述电网数据专家组对所述数据存储属性进行权重评估，获得所述数据存储属性中数据类型、数据产生位置、数据发生时间、数据关联用户的权重占比。
在一个实施例中，所述方法还包括：
获取N个电网数据专家和N个专家属性信息，所述专家属性信息包括学历信息、从业年龄、成就信息；
根据所述N个专家属性信息对所述N个电网数据专家进行专业度分析，获得N个专业系数，其中所述电网数据专家和所述专业系数具有对应关系；
基于所述N个电网数据专家和所述N个专业系数构建电网数据专家组。
在本申请实施例中，首先，获取N个电网数据专家和N个专家属性信息，其中N为大于10的整数，且所述电网数据专家和所述专家属性信息具有一一对应的关系，其中所述专家属性信息包括学历信息、从业年龄、成就信息。然后根据所述N个专家属性信息对所述N个电网数据专家进行专业度分析，首先，对所述N个专家属性信息进行归一化处理，然后分别为学历信息、从业年龄、成就信息设置对应的权重系数，所述权重系数本领域技术人员可根据实际情况进行设置，其中哪项属性信息的重要性越大，则该属性信息的权重占比越大，然后分别对所述N个专家属性信息进行加权计算，获得N个专业系数，其中电网数据专家的学历越高、从业年龄越大、成就越多，则对应的专业系数越大，其中所述电网数据专家和所述专业系数具有对应关系。基于所述对应关系，根据所述N个电网数据专家和所述N个专业系数构建电网数据专家组。通过构建电网数据专家组，为进行数据存储属性的权重属性评估提供了支持，同时可以提高权重属性评估的准确性。
然后通过所述电网数据专家组中的N个电网数据专家依次对所述数据存储属性进行权重评估，获得N个权重评估结果，并将所述N个权重评估结果乘以对应所述专业系数，获得N个优化权重评估结果。然后对所述N个优化权重评估结果进行求平均值处理，并将所述N个优化权重评估结果的均值计算结果作为数据存储属性的权重占比。通过根据专业系数对权重评估结果进行优化，可以提高权重评估结果获得的准确性。
获取所述第一异构数据集合的第一数据存储属性，其中所述第一数据存储属性包括第一数据类型、第一数据产生位置、第一数据发生时间、第一数据关联用户；
对所述第一数据存储属性和所述多个分布数据处理节点的数据存储属性依次进行关联性分析，获得多个关联系数集合，其中所述关联系数集合包括类型关联系数、位置关联系数、时间关联系数、用户关联系数；
基于所述权重占比对所述多个关联系数集合进行加权计算，生成多个关联系数。
在本申请实施例中，首先，获取所述第一异构数据集合的第一数据存储属性，其中所述第一数据存储属性包括第一数据类型、第一数据产生位置、第一数据发生时间、第一数据关联用户。然后对所述第一数据类型和所述多个分布数据处理节点的数据类型进行关联性分析，其中关联性分析方法可通过进行数据类型相似度计算获得，常用的相似度计算方法包括余弦相似度、Jaccard相似系数等方法，本领域技术人员可根据数据的实际情况选择适配的相似度计算方法，获得相似度计算结果，其中相似度越大，表征所述第一数据类型和所述数据类型的关联性越大，则类型关联系数越大，获得多个类型关联系数；利用相同的方法对所述第一数据产生位置、所述第一数据发生时间、所述第一数据关联用户和所述多个分布数据处理节点的数据产生位置、数据发生时间、数据关联用户进行关联性分析，获得多个位置关联系数、多个时间关联系数、多个用户关联系数，根据所述多个类型关联系数、多个位置关联系数、多个时间关联系数、多个用户关联系数构建多个关联系数集合，其中所述关联系数集合包括类型关联系数、位置关联系数、时间关联系数、用户关联系数。
最后根据所述权重占比对所述多个关联系数集合中的类型关联系数、位置关联系数、时间关联系数、用户关联系数进行加权计算，并将加权计算结果作为关联系数集合的关联系数，获得多个关联系数，通过生成多个关联系数，为下一步进行分布数据处理节点选择提供了数据支持。
获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数，并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；
在本申请实施例中，首先，获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数。其中所述可信度系数用于表征分布数据处理节点数据存储的安全性，其中数据存储安全性越高，则可信度系数越大，所述可信度系数可根据分布数据处理节点的安全防护性能进行设置。然后根据所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，并将综合适应性评估结果最大的待选分布数据处理节点作为第一最优分布数据处理节点。
在一个实施例中，所述方法还包括：
基于所述第一数据存储属性对所述第一异构数据集合进行数据存储安全需求分析，获得第一安全需求系数；
根据所述第一安全需求系数对所述多个可信度系数进行判断，将满足所述第一安全需求系数的可信度系数对应的分布数据处理节点作为待选分布数据处理节点。
在本申请实施例中，首先，通过所述电网数据专家组对所述第一数据存储属性进行重要性判断，并根据重要性判断结果对所述第一异构数据集合进行数据存储安全需求分析，其中所述第一异构数据集合的重要性越高，则数据存储安全需求越高，并根据数据存储安全需求设置第一安全需求系数，其中数据存储安全需求越高，则第一安全需求系数越大。然后根据所述第一安全需求系数对所述多个可信度系数进行判断，当所述可信度系数大于所述第一安全需求系数时，表征分布数据处理节点的数据存储安全性满足存储安全需求，则将该分布数据处理节点作为待选分布数据处理节点，获得多个待选分布数据处理节点；当所述可信度系数小于等于所述第一安全需求系数时，则表征分布数据处理节点的数据存储风险性较大，则将该分布数据处理节点舍弃。
通过生成第一安全需求系数对多个分布数据处理节点的可信度系数进行判断，并将符合数据安全存储要求的分布数据处理节点设为待选分布数据处理节点，可以提高电网异构数据存储的安全性，从而保障电网运行的可靠性。
在一个实施例中，所述方法还包括：
构建综合评估函数：；其中，/>为第待选分布数据处理节点的综合适应性评估值，/>为关联系数的权重值，/>为实时剩余存储空间的权重值，/>为可信度系数的权重值，/>为第/>待选分布数据处理节点的关联系数，/>为第/>待选分布数据处理节点的实时剩余存储空间，/>为第/>待选分布数据处理节点的可信度系数；
根据所述综合评估函数对所述多个待选分布数据处理节点进行综合适应性评估，获得多个综合适应性评估值；
将所述多个综合适应性评估值中最大值对应的待选分布数据处理节点作为所述第一最优分布数据处理节点。
在本申请实施例中，首先，构建综合评估函数：；在所述综合评估函数中，/>为第/>待选分布数据处理节点的综合适应性评估值，其中第/>待选分布数据处理节点为多个待选分布数据处理节点中的任意一个，其中/>值越大，表征待选分布数据处理节点的适应性越高；为关联系数的权重值，/>为实时剩余存储空间的权重值，/>为可信度系数的权重值，其中/>、/>、/>的值本领域技术人员可根据哪项指标对综合适应性评估结果的影响程度越大，则对应的权重值越大，可通过现有的变异系数法进行权重值设置，变异系数法为本领域技术人员常用的赋权方法，在此不进行展开说明；/>为第/>待选分布数据处理节点的关联系数，/>为第/>待选分布数据处理节点的实时剩余存储空间，/>为第/>待选分布数据处理节点的可信度系数；
然后根据所述综合评估函数对所述多个待选分布数据处理节点依次进行综合适应性评估，得到多个综合适应性评估值，并将所述多个综合适应性评估值中最大值对应的待选分布数据处理节点作为第一最优分布数据处理节点，获得所述第一最优分布数据处理节点。
基于所述第一最优分布数据处理节点对所述多个异构数据集合进行数据存储，并根据数据存储结果进行数据调用。
在本申请实施例中，根据获得所述第一最优分布数据处理节点相同的方法对所述多个异构数据集合进行最优分布数据处理节点分析，获得多个最优分布数据处理节点，其中所述最优分布数据处理节点和所述异构数据集合具有对应关系，然后基于所述对应关系，通过所述多个最优分布数据处理节点对所述多个异构数据集合进行数据存储，并在需要进行数据调用和查询时，根据数据存储结果进行数据调用和查询。通过上述方法可以解决现有的电网异构数据处理方法在处理数据量过大时存在性能下降明显导致数据处理效率较低的技术问题，可以便于进行电网数据调用和查询，提高数据存储的稳定性和数据处理效率，从而提高电网运行的安全性和可靠性。
在一个实施例中，所述方法还包括：
在所述数据处理孪生模型内，基于最优分布数据处理节点对多个异构数据集合进行模拟存储，并根据数据模拟存储结果进行数据模拟调用，获得数据模拟调用时长；
根据预设数据调用时长对所述数据模拟调用时长进行判断，当所述数据模拟调用时长大于或等于所述预设数据调用时长时，对异构数据集合对应的最优分布数据处理节点进行更新或优化。
在本申请实施例中，在所述数据处理孪生模型内，根据所述多个最优分布数据处理节点对多个异构数据集合进行模拟存储，获得数据模拟存储结果，并在数据模拟存储结果中进行数据模拟调用，记录数据模拟调用时间，生成数据模拟调用时长。
获取预设数据调用时长，所述预设数据调用时长本领域技术人员可根据数据的实际调用需求进行设置，且每个异构数据集合对应一个预设数据调用时长，然后根据所述预设数据调用时长对所述数据模拟调用时长进行判断，当所述数据模拟调用时长大于或等于所述预设数据调用时长时，表征数据调用时间过长，不能满足电网平稳运行下的数据处理要求，则对异构数据集合对应的最优分布数据处理节点进行更新或优化，其中最优分布数据处理节点更新是指为异构数据集合寻找性能更优的分布数据处理节点，优化是指提升最优分布数据处理节点的数据处理性能。通过对异构数据集合对应的最优分布数据处理节点进行更新或优化，可以进一步提高数据处理效率，保障电网完全平稳运行。
在一个实施例中，如图3所示提供了一种电网异构数据源的分布处理系统，包括：异构数据集合获取模块21、数据存储属性标识模块22、数据处理孪生模型生成模块23、关联系数生成模块24、第一最优分布数据处理节点获得模块25、数据存储调用模块26、其中：
异构数据集合获取模块21，所述异构数据集合获取模块21用于获取目标电网的多个异构数据集合，所述多个异构数据集合通过对目标电网进行多方位数据采集获得；
数据存储属性标识模块22，所述数据存储属性标识模块22用于对目标电网的多个分布数据处理节点进行数据存储属性标识，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户；
数据处理孪生模型生成模块23，所述数据处理孪生模型生成模块23用于基于数字孪生技术，通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，生成目标电网的数据处理孪生模型；
关联系数生成模块24，所述关联系数生成模块24用于在所述多个异构数据集合中选择第一异构数据集合，并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；
第一最优分布数据处理节点获得模块25，所述第一最优分布数据处理节点获得模块25用于获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数，并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；
数据存储调用模块26，所述数据存储调用模块26用于基于所述第一最优分布数据处理节点对所述多个异构数据集合进行数据存储，并根据数据存储结果进行数据调用。
在一个实施例中，所述系统还包括：
数据预处理模块，所述数据预处理模块用于对所述多个异构数据集合进行数据预处理，其中数据预处理步骤包括数据清洗、数据集成和数据变换，获得多个处理异构数据集合；
第一异构数据集合获得模块，所述第一异构数据集合获得模块用于在所述多个处理异构数据集合中随机选择一处理异构数据集合作为所述第一异构数据集合。
在一个实施例中，所述系统还包括：
权重评估模块，所述权重评估模块用于通过电网数据专家组对所述数据存储属性进行权重评估，获得所述数据存储属性的权重占比；
第一数据存储属性获取模块，所述第一数据存储属性获取模块用于获取所述第一异构数据集合的第一数据存储属性，其中所述第一数据存储属性包括第一数据类型、第一数据产生位置、第一数据发生时间、第一数据关联用户；
关联性分析模块，所述关联性分析模块用于对所述第一数据存储属性和所述多个分布数据处理节点的数据存储属性依次进行关联性分析，获得多个关联系数集合，其中所述关联系数集合包括类型关联系数、位置关联系数、时间关联系数、用户关联系数；
关联系数生成模块，所述关联系数生成模块用于基于所述权重占比对所述多个关联系数集合进行加权计算，生成多个关联系数。
在一个实施例中，所述系统还包括：
专家数据获取模块，所述专家数据获取模块用于获取N个电网数据专家和N个专家属性信息，所述专家属性信息包括学历信息、从业年龄、成就信息；
专业系数获得模块，所述专业系数获得模块用于根据所述N个专家属性信息对所述N个电网数据专家进行专业度分析，获得N个专业系数，其中所述电网数据专家和所述专业系数具有对应关系；
电网数据专家组构建模块，所述电网数据专家组构建模块用于基于所述N个电网数据专家和所述N个专业系数构建电网数据专家组。
在一个实施例中，所述系统还包括：
第一安全需求系数获得模块，所述第一安全需求系数获得模块用于基于所述第一数据存储属性对所述第一异构数据集合进行数据存储安全需求分析，获得第一安全需求系数；
待选分布数据处理节点获得模块，所述待选分布数据处理节点获得模块用于根据所述第一安全需求系数对所述多个可信度系数进行判断，将满足所述第一安全需求系数的可信度系数对应的分布数据处理节点作为待选分布数据处理节点。
在一个实施例中，所述系统还包括：
综合评估函数构建模块，所述综合评估函数构建模块用于构建综合评估函数：；其中，/>为第/>待选分布数据处理节点的综合适应性评估值，/>为关联系数的权重值，/>为实时剩余存储空间的权重值，/>为可信度系数的权重值，/>为第/>待选分布数据处理节点的关联系数，/>为第/>待选分布数据处理节点的实时剩余存储空间，/>为第/>待选分布数据处理节点的可信度系数；
综合适应性评估模块，所述综合适应性评估模块用于根据所述综合评估函数对所述多个待选分布数据处理节点进行综合适应性评估，获得多个综合适应性评估值；
第一最优分布数据处理节点设定模块，所述第一最优分布数据处理节点设定模块用于将所述多个综合适应性评估值中最大值对应的待选分布数据处理节点作为所述第一最优分布数据处理节点。
在一个实施例中，所述系统还包括：
数据模拟调用时长获得模块，所述数据模拟调用时长获得模块用于在所述数据处理孪生模型内，基于最优分布数据处理节点对多个异构数据集合进行模拟存储，并根据数据模拟存储结果进行数据模拟调用，获得数据模拟调用时长；
更新优化模块，所述更新优化模块用于根据预设数据调用时长对所述数据模拟调用时长进行判断，当所述数据模拟调用时长大于或等于所述预设数据调用时长时，对异构数据集合对应的最优分布数据处理节点进行更新或优化。
综上所述，与现有技术相比，本公开的实施例具有以下技术效果：
（1）通过生成多个最优分布数据处理节点对所述多个异构数据集合进行数据存储，可以便于进行电网数据调用和查询，提高数据存储的稳定性和数据处理效率，从而提高电网运行的安全性和可靠性。
（2）通过基于数字孪生技术对目标电网的多个分布数据处理节点进行仿真建模，可以提高数据模拟处理的真实性和合理性，从而提高数据处理结果分析的准确性，为进行数据处理优化分析提供了支持。
（3）通过生成第一安全需求系数对多个分布数据处理节点的可信度系数进行判断，并将符合数据安全存储要求的分布数据处理节点设为待选分布数据处理节点，可以提高电网异构数据存储的安全性，从而保障电网运行的可靠性。
以上所述实施例仅表达了本公开的几种实施方式，但并不能因此而理解为对发明专利范围的限制。因此，在不脱离如由所附权利要求限定的本公开构思的范围的情况下，本领域普通技术人员可做出各种类型的替换、修改和变更，并且这些替换、修改和变更都属于本公开的保护范围。
Claims (8)
1.电网异构数据源的分布处理方法，其特征在于，所述方法包括：
获取目标电网的多个异构数据集合，所述多个异构数据集合通过对目标电网进行多方位数据采集获得；
对目标电网的多个分布数据处理节点进行数据存储属性标识，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户；
基于数字孪生技术，通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，生成目标电网的数据处理孪生模型；
在所述多个异构数据集合中选择第一异构数据集合，并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；
获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数，并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；
基于所述第一最优分布数据处理节点对所述多个异构数据集合进行数据存储，并根据数据存储结果进行数据调用。
2.如权利要求1所述的方法，其特征在于，所述在所述多个异构数据集合中选择第一异构数据集合，还包括：
对所述多个异构数据集合进行数据预处理，其中数据预处理步骤包括数据清洗、数据集成和数据变换，获得多个处理异构数据集合；
在所述多个处理异构数据集合中随机选择一处理异构数据集合作为所述第一异构数据集合。
3.如权利要求1所述的方法，其特征在于，所述并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，还包括：
通过电网数据专家组对所述数据存储属性进行权重评估，获得所述数据存储属性的权重占比；
获取所述第一异构数据集合的第一数据存储属性，其中所述第一数据存储属性包括第一数据类型、第一数据产生位置、第一数据发生时间、第一数据关联用户；
对所述第一数据存储属性和所述多个分布数据处理节点的数据存储属性依次进行关联性分析，获得多个关联系数集合，其中所述关联系数集合包括类型关联系数、位置关联系数、时间关联系数、用户关联系数；
基于所述权重占比对所述多个关联系数集合进行加权计算，生成多个关联系数。
4.如权利要求3所述的方法，其特征在于，还包括：
获取N个电网数据专家和N个专家属性信息，所述专家属性信息包括学历信息、从业年龄、成就信息；
根据所述N个专家属性信息对所述N个电网数据专家进行专业度分析，获得N个专业系数，其中所述电网数据专家和所述专业系数具有对应关系；
基于所述N个电网数据专家和所述N个专业系数构建电网数据专家组。
5.如权利要求3所述的方法，其特征在于，所述方法还包括：
基于所述第一数据存储属性对所述第一异构数据集合进行数据存储安全需求分析，获得第一安全需求系数；
根据所述第一安全需求系数对所述多个可信度系数进行判断，将满足所述第一安全需求系数的可信度系数对应的分布数据处理节点作为待选分布数据处理节点。
6.如权利要求1所述的方法，其特征在于，所述并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点，还包括：
构建综合评估函数：；其中，/>为第/>待选分布数据处理节点的综合适应性评估值，/>为关联系数的权重值，/>为实时剩余存储空间的权重值，/>为可信度系数的权重值，/>为第/>待选分布数据处理节点的关联系数，/>为第/>待选分布数据处理节点的实时剩余存储空间，/>为第/>待选分布数据处理节点的可信度系数；
根据所述综合评估函数对所述多个待选分布数据处理节点进行综合适应性评估，获得多个综合适应性评估值；
将所述多个综合适应性评估值中最大值对应的待选分布数据处理节点作为所述第一最优分布数据处理节点。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
在所述数据处理孪生模型内，基于最优分布数据处理节点对多个异构数据集合进行模拟存储，并根据数据模拟存储结果进行数据模拟调用，获得数据模拟调用时长；
根据预设数据调用时长对所述数据模拟调用时长进行判断，当所述数据模拟调用时长大于或等于所述预设数据调用时长时，对异构数据集合对应的最优分布数据处理节点进行更新或优化。
8.电网异构数据源的分布处理系统，其特征在于，用于执行权利要求1-7中所述的电网异构数据源的分布处理方法中任意一项方法的步骤，所述系统包括：
异构数据集合获取模块，所述异构数据集合获取模块用于获取目标电网的多个异构数据集合，所述多个异构数据集合通过对目标电网进行多方位数据采集获得；
数据存储属性标识模块，所述数据存储属性标识模块用于对目标电网的多个分布数据处理节点进行数据存储属性标识，其中所述数据存储属性包括数据类型、数据产生位置、数据发生时间、数据关联用户；
数据处理孪生模型生成模块，所述数据处理孪生模型生成模块用于基于数字孪生技术，通过3D仿真软件对带有数据存储属性标识的多个分布数据处理节点进行仿真建模，生成目标电网的数据处理孪生模型；
关联系数生成模块，所述关联系数生成模块用于在所述多个异构数据集合中选择第一异构数据集合，并在所述数据处理孪生模型内对所述第一异构数据集合和多个分布数据处理节点依次进行关联性分析，生成多个关联系数；
第一最优分布数据处理节点获得模块，所述第一最优分布数据处理节点获得模块用于获取多个分布数据处理节点的多个实时剩余存储空间和多个可信度系数，并基于所述多个关联系数、所述多个实时剩余存储空间和所述多个可信度系数对多个待选分布数据处理节点进行综合适应性评估，获得第一最优分布数据处理节点；
数据存储调用模块，所述数据存储调用模块用于基于所述第一最优分布数据处理节点对所述多个异构数据集合进行数据存储，并根据数据存储结果进行数据调用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311631804.7A CN117332543B (zh) | 2023-12-01 | 2023-12-01 | 电网异构数据源的分布处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311631804.7A CN117332543B (zh) | 2023-12-01 | 2023-12-01 | 电网异构数据源的分布处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117332543A CN117332543A (zh) | 2024-01-02 |
| CN117332543B true CN117332543B (zh) | 2024-02-13 |
Family
ID=89279809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311631804.7A Active CN117332543B (zh) | 2023-12-01 | 2023-12-01 | 电网异构数据源的分布处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117332543B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3809420A1 (en) * | 2019-10-15 | 2021-04-21 | Koninklijke Philips N.V. | System and method for physiological parameter estimations |
| CN116844733A (zh) * | 2023-08-31 | 2023-10-03 | 吉林大学第一医院 | 一种基于人工智能的医疗数据完整性分析方法 |
-
2023
- 2023-12-01 CN CN202311631804.7A patent/CN117332543B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3809420A1 (en) * | 2019-10-15 | 2021-04-21 | Koninklijke Philips N.V. | System and method for physiological parameter estimations |
| CN116844733A (zh) * | 2023-08-31 | 2023-10-03 | 吉林大学第一医院 | 一种基于人工智能的医疗数据完整性分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117332543A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11416268B2 (en) | Aggregate features for machine learning | |
| CN111475848B (zh) | 保障边缘计算数据隐私的全局和局部低噪声训练方法 | |
| CN111666468A (zh) | 一种基于团簇属性在社交网络中搜索个性化影响力社区的方法 | |
| CN111475511A (zh) | 基于树状结构的数据存储方法、访问方法、装置及设备 | |
| WO2017095413A1 (en) | Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors | |
| CN113704248B (zh) | 一种基于外置索引的区块链查询优化方法 | |
| CN108829846B (zh) | 一种基于用户特征的业务推荐平台数据聚类优化系统及方法 | |
| CN114239237A (zh) | 一种支持数字孪生的配电网仿真场景生成系统与方法 | |
| CN117332543B (zh) | 电网异构数据源的分布处理方法 | |
| CN115759979B (zh) | 基于rpa和流程挖掘的流程智能处理方法和系统 | |
| CN112966054A (zh) | 基于企业图谱节点间关系的族群划分方法和计算机设备 | |
| CN109657060B (zh) | 安全生产事故案例推送方法及系统 | |
| CN111666302A (zh) | 用户排名的查询方法、装置、设备及存储介质 | |
| US20220215021A1 (en) | Data Query Method and Apparatus, Computing Device, and Storage Medium | |
| CN115168389A (zh) | 请求处理方法以及装置 | |
| CN114238504A (zh) | 面向电子政务的跨链数据查询及共识优化方法 | |
| CN114091558A (zh) | 特征选择方法、装置、网络设备和计算机可读存储介质 | |
| CN108415783B (zh) | 一种基于改进蜂群算法的异构多核任务分配方法 | |
| CN111949839B (zh) | 数据关联方法、电子设备及介质 | |
| CN112817963B (zh) | 一种多维网络上的社群核分解方法及系统 | |
| CN115545107B (zh) | 一种基于海量电力数据的云计算方法、系统 | |
| WO2023185264A1 (zh) | 一种基数估计方法及装置 | |
| US11620269B2 (en) | Method, electronic device, and computer program product for data indexing | |
| CN116305297B (zh) | 一种用于分布式数据库的数据分析方法及系统 | |
| CN112015922B (zh) | 多媒体文件的检索方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |