CN107402976B - 一种基于多元异构模型的电网多源数据融合方法及系统 - Google Patents
一种基于多元异构模型的电网多源数据融合方法及系统 Download PDFInfo
- Publication number
- CN107402976B CN107402976B CN201710530630.3A CN201710530630A CN107402976B CN 107402976 B CN107402976 B CN 107402976B CN 201710530630 A CN201710530630 A CN 201710530630A CN 107402976 B CN107402976 B CN 107402976B
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- model
- matching degree
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000013075 data extraction Methods 0.000 claims abstract description 20
- 238000003860 storage Methods 0.000 claims abstract description 17
- 238000013439 planning Methods 0.000 claims description 24
- 230000008439 repair process Effects 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 239000002243 precursor Substances 0.000 claims description 13
- 238000012821 model calculation Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000009429 electrical wiring Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/173—Customisation support for file systems, e.g. localisation, multi-language support, personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Supply And Distribution Of Alternating Current (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多元异构模型的电网多源数据融合方法及系统，方法包括以下过程：多源数据接入；元数据存储；设备统一建模及数据提取；模型匹配度计算；多源数据融合。系统主要包括多源数据接入、元数据存储、设备统一建模及数据提取、模型匹配度计算和多源数据融合五个模块。本发明通过深入分析多源系统数据，建立包括各源系统数据统一模型，通过模型遍历比对，计算模型间匹配度，根据匹配度情况进行自动关联，实现了90％以上的数据自动集成融合，并准确分析出未能融合数据明细及具体原因，既实现了各业务数据的集成融合，又对整体的融合质量进行了有效的管控。
Description
技术领域
本发明涉及一种基于多元异构模型的电网多源数据融合方法及系统，属于智能控制技术领域。
背景技术
随着计算机技术在电力行业的不断发展，电力行业出现了大量专业化信息系统，贯穿发电、输电、变电、配电、用电各个环节，每个专业系统在各自的领域起到了举足轻重的作用，在国家电网公司系统内，PMS、EMS、GIS、智能配网监控平台，用电信息采集等系统分别在运检、调度、营销等领域得到了广泛应用，积累了大量数据资源，并分别通过数据中心以共享数据、共享服务等方式对外提供实时/准实时数据服务，提升数据资产的利用率。
但是由于各专业信息系统所处的领域不同，关注的业务有较大差异性，原始数据来源不统一，数据存储结构多样化，导致同一个电网设备在不同的信息系统中编码、类型、名称、关联关系等数据结构存在较大差异，无法对同一个设备进行台账信息、运行信息、空间信息等数据进行全面的查询和统计，无法对区域电网情况形成多维度诊断、分析。
电网规划业务具有数据源头多、数据体量大、统计维度多等特点，科学合理电网规划的基础是对各个层次、各个维度的海量数据信息进行集成融合、统筹管理，挖掘有效信息，以提升电网规划质量和效率。为支撑电网规划诊断分析、负荷分析预测、电网仿真计算、能源电力供需、经济技术评估等业务的开展，亟需对各系统共享的多元异构数据进行集成融合，实现了设备数据库、运行数据库、图形数据库、规划数据库的“四库合一”。
受限于对海量数据的查询处理效率，传统的数据集成融合方式主要是依赖管理手段，协调各数据管理部门通过人工对应方式实现存量数据的关联融合，集成各数据管理部门业务流程实现增量数据的关联融合。这种方式虽然能实现数据的融合，但是存在如下问题，一是电网设备体量大，数据对应工作繁琐，需耗费大量人力物力。二是各数据管理部门人员对其他部门数据模型、业务流程不熟悉，容易造成数据关联出错率高，关联效率低。三是各部门业务流程集成难度高，当各部门数据接口有变更升级时，数据融合总线要频繁更新升级，提高了个部门业务流程复杂度。
发明内容
针对上述不足，本发明提供了一种基于多元异构模型的电网多源数据融合方法及系统，其不仅能够实现各业务数据的集成融合，而且能够对整体的融合质量进行了有效的管控。
本发明解决其技术问题采取的技术方案是：
一方面，提供了一种基于多元异构模型的电网多源数据融合方法，它包括以下过程：
多源数据接入：采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；
元数据存储：对各类数据按照统一数据规范进行标准化格式存储；
设备统一建模及数据提取：确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立多源数据的统一模型，并进行数据提取和比对计算；
模型匹配度计算：根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异；
多源数据融合：对于A类数据直接建立关联关系；对于B类数据则开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；对应C类数据则以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联。
进一步地，所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非结构化数据；所述的多源数据接入的具体过程为：
通过Kafka分布式消息队列将实时数据接入大数据平台；
通过ETL工具Kettle、增量捕获工具将经常变化的结构化数据写入大数据平台的分布式关系型数据库中；
通过Sqoop工具将基本不会变化的结构化数据写入大数据平台的分布式非关系型数据库和分布式文件系统中；
通过Flume工具将非结构化数据直接写入大数据平台的分布式文件系统。
进一步地，在设备统一建模及数据提取过程中，所述的设备类型包括至少变电站、主变、线路、配变和开关，所述的电压等级范围为500kV～10kV，所述的业务领域包括台账信息、运行信息、空间信息和规划信息。
进一步地，所述统一模型包括逻辑模型、拓扑模型和特征模型，
所述逻辑模型为以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型；
所述拓扑模型为以电气接线关系、地理接线关系拓扑图，以及电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型；
所述特征模型为根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型。
进一步地，所述模型匹配度计算的具体过程为：
通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦；
在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，并做为相应节点的属性；
通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边；重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立该节点的上下文在各源系统模型中是否一致；
在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异。
另一方面，提供了一种基于多元异构模型的电网多源数据融合系统，它包括：
多源数据接入模块，用以采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；
元数据存储模块，用以对各类数据按照统一数据规范进行标准化格式存储；
设备统一建模及数据提取模块，用以确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立统一模型，并进行数据提取和比对计算；
模型匹配度计算模块，用以根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异；
多源数据融合模块，用以对于A类数据直接建立关联关系；对于B类数据则开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；对应C类数据则以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联。
进一步地，所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非结构化数据；
所述的多源数据接入模块包括：
实时数据接入模块，用以通过Kafka分布式消息队列将实时数据接入大数据平台；
经常变化的结构化数据写入模块，用以通过ETL工具Kettle、增量捕获工具将经常变化的结构化数据写入大数据平台的分布式关系型数据库中；
基本不会变化的结构化数据写入模块，用以通过Sqoop工具将基本不会变化的结构化数据写入大数据平台的分布式非关系型数据库和分布式文件系统中；
非结构化数据写入模块，用以通过Flume工具将非结构化数据直接写入大数据平台的分布式文件系统。
进一步地，所述的设备类型包括至少变电站、主变、线路、配变和开关，所述的电压等级范围为500kV～10kV，所述的业务领域包括台账信息、运行信息、空间信息和规划信息。
进一步地，所述统一模型包括逻辑模型、拓扑模型和特征模型，
所述逻辑模型为以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型；
所述拓扑模型为以电气接线关系、地理接线关系拓扑图，以及电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型；
所述特征模型为根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型。
进一步地，所述模型匹配度计算模块包括：
逻辑模型计算模块，用以通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦，以及在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，并做为相应节点的属性；
拓扑模型计算模块，用以通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边；重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立该节点的上下文在各源系统模型中是否一致；
特征模型计算模块，用以在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异。
本发明的上述技术方案的有益效果如下：
随着大数据技术的不断成熟，基于大数据的分布式存储和并行计算技术，为多源数据快速、智能融合提供了解决问题的信息化新途径。本发明的上述技术方案提出了一种基于多元异构模型的电网多源数据融合方法，它分为多源数据接入、元数据存储、设备统一建模及数据提取、模型匹配度计算、多源数据融合五个阶段，通过各个阶段渐进式数据处理和计算，完成多元异构数据的智能融合，通过对各源系统数据的接入、智能自匹配，最终生成电网多源数据融合库，包含统一的设备类型、设备对应关系、数据融合过程记录等内容，在后续数据的应用中，通过该库可以灵活的实现电网各业务数据的关联查询、统计，实现了设备数据库、运行数据库、图形数据库、规划数据库的“四库合一”。
一种基于多元异构模型的电网多源数据融合方法，通过深入分析多源系统数据，建立包括各源系统数据逻辑关系、拓扑结构、特征属性等模型，通过模型遍历比对，计算模型间匹配度，根据匹配度情况进行自动关联，实现了90％以上的数据自动集成融合，并准确分析出未能融合数据明细及具体原因，按数据所属电压等级和设备所在区域以任务的方式在电网规划综合信息平台中分发给相应用户进行手工修补。既实现了各业务数据的集成融合，又对整体的融合质量进行了有效的管控。
通过采用ETL、webservice、Sqoop增量捕获、大数据分布式存储和并行计算等多种技术手段，实现结构化、非结构化、海量历史/准实时、电网空间数据等信息的高效接入以及电网设备、运行水平、图形管理、规划方案等数据的深度融合，有效集成了PMS、GIS、EMS、智能配网监控、用电信息采集等多个电力业务系统，形成了集数据融合、存储、计算、建模、挖掘、分析及智能感知于一体的电网规划综合数据库，实现了设备数据库、运行数据库、图形数据库、规划数据库的“四库合一”，支撑了电网规划诊断分析、负荷分析预测、电网仿真计算、能源电力供需、经济技术评估等业务的开展，实现了省域电网发展专业数据资产的集中管理与高度共享，保证了全省电网数据的权威性、统一性和全面性，既可为公司发展专业全链条业务提供支撑，也可为能源主管部门提供综合信息咨询服务。
附图说明
图1为本发明实施例提供的一种基于多元异构模型的电网多源数据融合方法的方法流程图；
图2为本发明实施例提供的一种基于多元异构模型的电网多源数据融合系统的结构示意图；
图3为本发明实施例中所述拓扑模型的示意图；
图4为本发明实施例中所述特征模型的示意图；
图5为本发明实施例中所述模型匹配度计算的示意图；
图6为本发明实施例在进行多源数据融合的过程图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式并结合其附图对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
为了更好地理解本发明，下面结合附图来详细解释本发明的实施方式。实施例一
参见图1，图1为本发明实施例提供的一种基于多元异构模型的电网多源数据融合方法的方法流程图。由图1可知，本发明实施例中的一种基于多元异构模型的电网多源数据融合方法，它包括以下过程：
多源数据接入：采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；
元数据存储：对各类数据按照统一数据规范进行标准化格式存储；
设备统一建模及数据提取：确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立多源数据的统一模型(即多元异构模型)，并进行数据提取和比对计算；
模型匹配度计算：根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异；
多源数据融合：对于A类数据直接建立关联关系；对于B类数据则开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；对应C类数据则以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联。
在本发明的实施例中，所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非结构化数据；所述的多源数据接入的具体过程为：
通过Kafka分布式消息队列将实时数据接入大数据平台；
通过ETL工具Kettle、增量捕获工具将经常变化的结构化数据写入大数据平台的分布式关系型数据库中；
通过Sqoop工具将基本不会变化的结构化数据写入大数据平台的分布式非关系型数据库和分布式文件系统中；
通过Flume工具将非结构化数据直接写入大数据平台的分布式文件系统。
在本发明的实施例中，在设备统一建模及数据提取过程中，所述的设备类型包括至少变电站、主变、线路、配变和开关，所述的电压等级范围为500kV～10kV，所述的业务领域包括台账信息、运行信息、空间信息和规划信息。
在本发明的实施例中，所述统一模型包括逻辑模型、拓扑模型和特征模型，
所述逻辑模型为以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型；
所述拓扑模型为以电气接线关系、地理接线关系拓扑图，以及电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型；
所述特征模型为根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型。
在本发明的实施例中，所述模型匹配度计算的具体过程为：
通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦；
在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，并做为相应节点的属性；
通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边；重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立该节点的上下文在各源系统模型中是否一致；
在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异。
将电网多源数据融合过程分为多源数据接入、元数据存储、设备统一建模及数据提取、模型匹配度计算、多源数据融合五个阶段，通过各个阶段渐进式数据处理和计算，完成多元异构数据的智能融合，通过对各源系统数据的接入、智能自匹配，最终生成电网多源数据融合库，包含统一的设备类型、设备对应关系、数据融合过程记录等内容，在后续数据的应用中，通过该库可以灵活的实现电网各业务数据的关联查询、统计，实现了设备数据库、运行数据库、图形数据库、规划数据库的“四库合一”。
通过采用ETL、webservice、Sqoop增量捕获、大数据分布式存储和并行计算等多种技术手段，实现结构化、非结构化、海量历史/准实时、电网空间数据等信息的高效接入以及电网设备、运行水平、图形管理、规划方案等数据的深度融合，有效集成了PMS、GIS、EMS、智能配网监控、用电信息采集等多个电力业务系统，形成了集数据融合、存储、计算、建模、挖掘、分析及智能感知于一体的电网规划综合数据库，实现了设备数据库、运行数据库、图形数据库、规划数据库的“四库合一”，支撑了电网规划诊断分析、负荷分析预测、电网仿真计算、能源电力供需、经济技术评估等业务的开展，实现了省域电网发展专业数据资产的集中管理与高度共享，保证了全省电网数据的权威性、统一性和全面性，既可为公司发展专业全链条业务提供支撑，也可为能源主管部门提供综合信息咨询服务。实施例二
参见图2，图2为本发明实施例提供的一种基于多元异构模型的电网多源数据融合系统的结构示意图。由图2可知，本发明实施例中的一种基于多元异构模型的电网多源数据融合系统，它包括：
多源数据接入模块，用以采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；
元数据存储模块，用以对各类数据按照统一数据规范进行标准化格式存储；
设备统一建模及数据提取模块，用以确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立多源数据的统一模型，并进行数据提取和比对计算；
模型匹配度计算模块，用以根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异；
多源数据融合模块，用以对于A类数据直接建立关联关系；对于B类数据则开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；对应C类数据则以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联。
在本发明的实施例中，所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非结构化数据；
所述的多源数据接入模块包括：
实时数据接入模块，用以通过Kafka分布式消息队列将实时数据接入大数据平台；
经常变化的结构化数据写入模块，用以通过ETL工具Kettle、增量捕获工具将经常变化的结构化数据写入大数据平台的分布式关系型数据库中；
基本不会变化的结构化数据写入模块，用以通过Sqoop工具将基本不会变化的结构化数据写入大数据平台的分布式非关系型数据库和分布式文件系统中；
非结构化数据写入模块，用以通过Flume工具将非结构化数据直接写入大数据平台的分布式文件系统。
在本发明的实施例中，所述的设备类型包括至少变电站、主变、线路、配变和开关，所述的电压等级范围为500kV～10kV，所述的业务领域包括台账信息、运行信息、空间信息和规划信息。
在本发明的实施例中，所述统一模型包括逻辑模型、拓扑模型和特征模型，
所述逻辑模型为以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型；
所述拓扑模型为以电气接线关系、地理接线关系拓扑图，以及电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型；
所述特征模型为根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型。
在本发明的实施例中，所述模型匹配度计算模块包括：
逻辑模型计算模块，用以通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦，以及在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，并做为相应节点的属性；
拓扑模型计算模块，用以通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边；重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立该节点的上下文在各源系统模型中是否一致；
特征模型计算模块，用以在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异。
本发明实施例中的电网多源数据融合方法主要分为多源数据接入、元数据存储、设备统一建模及数据提取、模型匹配度计算和多源数据融合共五个阶段，通过各个阶段渐进式数据处理和计算，完成多元异构数据的智能融合，实现了设备数据库、运行数据库、图形数据库、规划数据库的“四库合一”。以下对各个阶段进行详细说明。
1、基于多种技术手段的多源数据接入
采用Kafka、Sqoop、增量捕获工具等多种技术手段，实现结构化、非结构化、海量历史/准实时、电网空间数据(全量和增量捕获)接入，对各类数据按照统一数据规范进行标准化格式存储，依据应用需求存储在分布式关系型数据库、分布式非关系型数据库和分布式文件系统中。
1)实时数据(如：负荷数据、用户用电数据、设备状态监测数据等)通过Kafka分布式消息队列接入大数据平台。
2)结构化数据(经常变化的事务型操作数据)通过ETL工具Kettle、增量捕获工具，将数据写入大数据平台的分布式关系型数据库中。
3)结构化数据(基本不会变化的数据。如历史数据)通过Sqoop工具，将数据写入大数据平台的分布式非关系型数据库和分布式文件系统中。
4)非结构化数据(如日志文件等)通过Flume工具将数据直接写入大数据平台的分布式文件系统。
2、基于大数据分布式技术的元数据存储
1)关系型数据库满足计算结果数据、地理空间基础数据、主数据等具有二维技术特性的数据存储需求。
2)分布式文件系统存储非结构化相关数据。HDFS文件系统是建立在低成本X86硬件上的分布式文件系统集群，采用主从结构，由主节点负责分布式文件系统的元数据管理和提供统一的命名空间，由数量众多的数据节点负责数据IO处理和计算。HDFS解决方案中，数据文件将被划分成一个或多个数据块，并分散存储在不同的数据节点上，数据块有多个冗余，以解决硬件故障导致的数据丢失问题。
3)分布式数据库满足具有时间序列特性、地理空间瓦片数据存储，如测点数据、负荷运行信息等。
3、基于大数据并行计算技术实现多元异构电网设备统一模型及数据提取
确定并统一需要进行数据融合的设备类型(变电站、主变、线路、配变、开关等)、电压等级范围(500kV～10kV)、业务领域(台账信息、运行信息、空间信息、规划信息)等信息，在此基础上分别对各业务系统数据建立以下统一模型，并通过SPARK技术进行数据提取和比对计算。
1)逻辑模型
分析各源系统数据结构，生成以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型，通过Spark大数据技术开发各源系统模型数据按根节点查询方法，实现各源系统逻辑模型数据的快速构建。
2)拓扑模型
如图3所示，分析各源系统数据，生成电气接线关系、地理接线关系拓扑图，电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型，通过Spark大数据技术开发各源系统拓扑模型数据按起始节点查询方法，实现各源系统拓扑模型数据的快速构建。
3)特征模型
如图4所示，分析各源系统数据，根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型，通过Spark大数据技术开发各源系统特征模型数据按父类属性查询方法，实现各源系统特征模型数据的快速构建。
4、基于多源数据统一模型的设备匹配度计算
如图5所示，设备匹配度计算过程如下：1)通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦，由于数据量大，采用非递归模式遍历以提升算法的效率和稳定性。
2)在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，做为本节点属性。
3)通过有向图的拓扑排序算法，计算拓扑模型中节点(电气设备)的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出，从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边。重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立设备的上下文在各源系统模型中是否一致，已有模型单个设备匹配度计算中，所有系统拓扑模型能够上下文相互匹配大于80％则记为A、60％～80％则记为B、60％以下记为C，并记录在哪些系统拓扑模型统一，哪些系统拓扑模型不统一。
4)在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配大于80％则记为A、60％～80％记为B、60％以下记为C，并记录设备在各系统中特征属性的差异。
5、基于关系数据库的多源数据融合
通过以上多元数据匹配度计算，A类数据直接建立关联关系；B类数据，开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；C类数据大多属于冗余数据或需源系统修补数据，以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联。
图6为本发明实施例在进行多源数据融合的过程图，基于多元异构模型智能自匹配算法的电网多源数据融合方法通过对各源系统数据的接入、智能自匹配，最终生成电网多源数据融合库，包含统一的设备类型、设备对应关系、数据融合过程记录等内容，在后续数据的应用中，通过该库可以灵活的实现电网各业务数据的关联查询、统计。
本发明通过深入分析多源系统数据，建立包括各源系统数据逻辑关系、拓扑结构、特征属性等模型，通过模型遍历比对，计算模型间匹配度，根据匹配度情况进行自动关联，实现了90％以上的数据自动集成融合，并准确分析出未能融合数据明细及具体原因，按数据所属电压等级和设备所在区域以任务的方式在电网规划综合信息平台中分发给相应用户进行手工修补。既实现了各业务数据的集成融合，又对整体的融合质量进行了有效的管控。
此外，本发明的应用范围不局限于说明书中描述的特定实施例的工艺、机构、制造、物质组成、手段、方法及步骤。从本发明的公开内容，作为本领域的普通技术人员将容易地理解，对于目前已存在或者以后即将开发出的工艺、机构、制造、物质组成、手段、方法或步骤，其中它们执行与本发明描述的对应实施例大体相同的功能或者获得大体相同的结果，依照本发明可以对它们进行应用。因此，本发明所附权利要求旨在将这些工艺、机构、制造、物质组成、手段、方法或步骤包含在其保护范围内。
Claims (8)
1.一种基于多元异构模型的电网多源数据融合方法，其特征是， 包括以下过程：
多源数据接入：采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；
元数据存储：对各类数据按照统一数据规范进行标准化格式存储；
设备统一建模及数据提取：确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立多源数据的统一模型，并进行数据提取和比对计算；
模型匹配度计算：根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80%则记为A类、相互匹配度为60%~80%记为B类、相互匹配度小于60%则记为C类，并记录设备特征属性的差异；
多源数据融合：对于A类数据直接建立关联关系；对于B类数据则开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；对应C类数据则以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联；
所述模型匹配度计算的具体过程为：
通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦；
在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，并做为相应节点的属性；
通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边；重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立该节点的上下文在各源系统模型中是否一致；
在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80%则记为A类、相互匹配度为60%~80%记为B类、相互匹配度小于60%则记为C类，并记录设备特征属性的差异。
2.根据权利要求1所述的一种基于多元异构模型的电网多源数据融合方法，其特征是，所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非结构化数据；所述的多源数据接入的具体过程为：
通过Kafka分布式消息队列将实时数据接入大数据平台；
通过ETL工具Kettle、增量捕获工具将经常变化的结构化数据写入大数据平台的分布式关系型数据库中；
通过Sqoop工具将基本不会变化的结构化数据写入大数据平台的分布式非关系型数据库和分布式文件系统中；
通过Flume工具将非结构化数据直接写入大数据平台的分布式文件系统。
3.根据权利要求2所述的一种基于多元异构模型的电网多源数据融合方法，其特征是，在设备统一建模及数据提取过程中，所述的设备类型包括至少变电站、主变、线路、配变和开关，所述的电压等级范围为500kV~10kV，所述的业务领域包括台账信息、运行信息、空间信息和规划信息。
4.根据权利要求2所述的一种基于多元异构模型的电网多源数据融合方法，其特征是，所述统一模型包括逻辑模型、拓扑模型和特征模型，
所述逻辑模型为以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型；
所述拓扑模型为以电气接线关系、地理接线关系拓扑图，以及电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型；
所述特征模型为根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型。
5.一种基于多元异构模型的电网多源数据融合系统，其特征是， 包括：
多源数据接入模块，用以采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；
元数据存储模块，用以对各类数据按照统一数据规范进行标准化格式存储；
设备统一建模及数据提取模块，用以确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立统一模型，并进行数据提取和比对计算；
模型匹配度计算模块，用以根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80%则记为A类、相互匹配度为60%~80%记为B类、相互匹配度小于60%则记为C类，并记录设备特征属性的差异；
多源数据融合模块，用以对于A类数据直接建立关联关系；对于B类数据则开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；对应C类数据则以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联；
所述模型匹配度计算模块包括：
逻辑模型计算模块，用以通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦，以及在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，并做为相应节点的属性；
拓扑模型计算模块，用以通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边；重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立该节点的上下文在各源系统模型中是否一致；
特征模型计算模块，用以在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80%则记为A类、相互匹配度为60%~80%记为B类、相互匹配度小于60%则记为C类，并记录设备特征属性的差异。
6.根据权利要求5所述的一种基于多元异构模型的电网多源数据融合系统，其特征是，所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非结构化数据；
所述的多源数据接入模块包括：
实时数据接入模块，用以通过Kafka分布式消息队列将实时数据接入大数据平台；
经常变化的结构化数据写入模块，用以通过ETL工具Kettle、增量捕获工具将经常变化的结构化数据写入大数据平台的分布式关系型数据库中；
基本不会变化的结构化数据写入模块，用以通过Sqoop工具将基本不会变化的结构化数据写入大数据平台的分布式非关系型数据库和分布式文件系统中；
非结构化数据写入模块，用以通过Flume工具将非结构化数据直接写入大数据平台的分布式文件系统。
7.根据权利要求6所述的一种基于多元异构模型的电网多源数据融合系统，其特征是，所述的设备类型包括至少变电站、主变、线路、配变和开关，所述的电压等级范围为500kV~10kV，所述的业务领域包括台账信息、运行信息、空间信息和规划信息。
8.根据权利要求6所述的一种基于多元异构模型的电网多源数据融合系统，其特征是，所述统一模型包括逻辑模型、拓扑模型和特征模型，
所述逻辑模型为以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型；
所述拓扑模型为以电气接线关系、地理接线关系拓扑图，以及电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型；
所述特征模型为根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710530630.3A CN107402976B (zh) | 2017-07-03 | 2017-07-03 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710530630.3A CN107402976B (zh) | 2017-07-03 | 2017-07-03 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107402976A CN107402976A (zh) | 2017-11-28 |
| CN107402976B true CN107402976B (zh) | 2020-10-30 |
Family
ID=60405296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710530630.3A Active CN107402976B (zh) | 2017-07-03 | 2017-07-03 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107402976B (zh) |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909512B (zh) * | 2017-12-05 | 2019-07-05 | 国网山东省电力公司电力科学研究院 | 一种结合电网运行方式的设备运行数据匹配和扩展方法 |
| CN110019164A (zh) * | 2017-12-08 | 2019-07-16 | 上海仪电（集团）有限公司中央研究院 | 一种异构结构化数据融合概率的计算方法及系统 |
| CN108052574A (zh) * | 2017-12-08 | 2018-05-18 | 南京中新赛克科技有限责任公司 | 基于Kafka技术的从FTP服务器导入海量数据的ETL系统及实现方法 |
| CN108108459A (zh) * | 2017-12-29 | 2018-06-01 | 长威信息科技发展股份有限公司 | 多源融合及环路关联的动态数据清洗方法及电子设备 |
| CN108198595B (zh) * | 2018-01-18 | 2022-05-03 | 北京化工大学 | 一种多源异构非结构化病历数据融合方法 |
| CN108074044A (zh) * | 2018-01-19 | 2018-05-25 | 广东电网有限责任公司珠海供电局 | 一种电力设备状态监测评价与指挥方法 |
| CN108460127B (zh) * | 2018-02-28 | 2022-01-28 | 泰康保险集团股份有限公司 | 一种有序数据的获取方法、装置及设备 |
| CN108846076A (zh) * | 2018-06-08 | 2018-11-20 | 山大地纬软件股份有限公司 | 支持接口适配的海量多源异构数据etl方法及系统 |
| CN110632899A (zh) * | 2018-06-25 | 2019-12-31 | 中国电力科学研究院有限公司 | 用于分布式能源站多能供给网络的协同控制方法及系统 |
| CN109033267A (zh) * | 2018-07-09 | 2018-12-18 | 广州极天信息技术股份有限公司 | 一种智能化的知识灌入系统及方法 |
| CN109034629A (zh) * | 2018-08-01 | 2018-12-18 | 北京电子工程总体研究所 | 一种评价指控系统多元信息融合性能的分析方法和系统 |
| CN109254989B (zh) * | 2018-08-27 | 2020-11-20 | 望海康信(北京)科技股份公司 | 一种基于元数据驱动的弹性etl架构设计的方法及装置 |
| CN109408586A (zh) * | 2018-09-03 | 2019-03-01 | 中新网络信息安全股份有限公司 | 一种分布式多元异构数据融合方法 |
| CN112055837A (zh) * | 2018-09-29 | 2020-12-08 | 西门子股份公司 | 一种工业设备匹配方法和装置 |
| CN109741209B (zh) * | 2018-12-17 | 2022-08-19 | 国电南瑞科技股份有限公司 | 台风灾害下配电网多源数据融合方法、系统及存储介质 |
| CN109579913A (zh) * | 2018-12-21 | 2019-04-05 | 云南电网有限责任公司电力科学研究院 | 一种配电变压器多态监测方法与系统 |
| CN109828972B (zh) * | 2019-01-18 | 2022-03-22 | 深圳易嘉恩科技有限公司 | 一种基于有向图结构的数据集成方法 |
| CN109871364B (zh) * | 2019-02-26 | 2021-03-26 | 北京控制工程研究所 | 一种数据融合与关联处理方法 |
| CN109977188A (zh) * | 2019-03-28 | 2019-07-05 | 国网河南省电力公司经济技术研究院 | 一种渐进式电网多专业数据关联融合方法及装置 |
| CN110188141A (zh) * | 2019-05-15 | 2019-08-30 | 南京邮电大学 | 电力物联网多源数据融合方法、可读存储介质和终端 |
| CN110188245A (zh) * | 2019-05-15 | 2019-08-30 | 南京邮电大学 | 电力物联网多源数据融合装置 |
| CN110472292B (zh) * | 2019-07-18 | 2023-04-07 | 北京工业大数据创新中心有限公司 | 工业设备数据仿真配置系统及方法 |
| CN110597933B (zh) * | 2019-07-26 | 2023-03-21 | 广西电网有限责任公司 | 一种电网拓扑数据的匹配方法 |
| CN110515926A (zh) * | 2019-08-28 | 2019-11-29 | 国网天津市电力公司 | 基于分词和语义依存分析的异构数据源海量数据梳理方法 |
| CN110851488A (zh) * | 2019-09-26 | 2020-02-28 | 贵阳信息技术研究院（中科院软件所贵阳分部） | 基于多源多模态数据融合分析处理方法及平台 |
| CN111125069B (zh) * | 2019-11-13 | 2023-04-28 | 深圳市华傲数据技术有限公司 | 一种数据清洗融合系统 |
| CN111143447B (zh) * | 2019-11-28 | 2023-10-31 | 国网山东省电力公司经济技术研究院 | 一种电网薄弱环节动态监测预警决策系统及方法 |
| CN111078960B (zh) * | 2019-12-20 | 2023-09-05 | 金现代信息产业股份有限公司 | 一种电力调度系统设备实时检索的实现方法及系统 |
| CN111192010A (zh) * | 2019-12-25 | 2020-05-22 | 国网北京市电力公司 | 台账数据处理方法和装置 |
| CN111160868A (zh) * | 2019-12-31 | 2020-05-15 | 国网北京市电力公司 | 基于图融合技术的统一配网网架拓扑构建方法 |
| CN111311082A (zh) * | 2020-02-05 | 2020-06-19 | 绍兴大明电力设计院有限公司 | 一种配电设计模型生成方法、装置、设备及存储介质 |
| CN111221794A (zh) * | 2020-02-17 | 2020-06-02 | 湖南工学院 | 配电网广域量测控制系统多源数据融合方法 |
| CN111324655B (zh) * | 2020-02-19 | 2023-05-09 | 北京华如科技股份有限公司 | 一种分布式仿真中基于差异数据萃取的数据订阅方法 |
| CN111460016A (zh) * | 2020-03-18 | 2020-07-28 | 金现代信息产业股份有限公司 | 实物id数据管控方法、系统及存储介质 |
| CN111984656B (zh) * | 2020-09-02 | 2024-02-06 | 国网山东省电力公司电力科学研究院 | 智能变电站自动化设备基础数据关键参数校核方法及系统 |
| CN112100261B (zh) * | 2020-09-14 | 2024-04-09 | 南京国睿信维软件有限公司 | 基于异构数据源连接的物模型建模方法 |
| CN112100227A (zh) * | 2020-09-22 | 2020-12-18 | 国网辽宁省电力有限公司电力科学研究院 | 一种基于多级异构数据存储的大数据处理方法 |
| CN112511493B (zh) * | 2020-10-30 | 2022-10-11 | 深圳市金蝶天燕云计算股份有限公司 | 业务数据报文处理方法、装置、计算机设备和存储介质 |
| CN112531897A (zh) * | 2020-12-03 | 2021-03-19 | 国网山西省电力公司晋城供电公司 | 一种配电设备统一综合状态监测系统 |
| CN112347071B (zh) * | 2020-12-06 | 2023-04-07 | 国网山东省电力公司电力科学研究院 | 一种配电网云平台数据融合方法及配电网云平台 |
| CN112800119A (zh) * | 2020-12-31 | 2021-05-14 | 深圳荆虹科技有限公司 | 一种设备数据管理方法及系统 |
| CN113569938A (zh) * | 2021-01-20 | 2021-10-29 | 廖彩红 | 基于时空域特征的业务大数据采集方法及服务器 |
| CN112765183B (zh) * | 2021-02-02 | 2022-02-11 | 浙江公共安全技术研究院有限公司 | 多源数据融合方法、装置、存储介质及电子设备 |
| CN113204332B (zh) * | 2021-04-30 | 2023-06-20 | 重庆市科学技术研究院 | 智能家居设备控制程序生成系统及方法 |
| CN113240398A (zh) * | 2021-05-25 | 2021-08-10 | 国网山西省电力公司信息通信分公司 | 一种基于大数据的电网数据资产管理系统 |
| CN113407723A (zh) * | 2021-07-16 | 2021-09-17 | 湖南五凌电力科技有限公司 | 多源异构电力负荷数据融合方法、装置、设备和存储介质 |
| CN113743507B (zh) * | 2021-09-06 | 2023-08-25 | 国网浙江省电力有限公司信息通信分公司 | 一种分布式能源信息模型的融合方法及相关装置 |
| CN113901029A (zh) * | 2021-10-15 | 2022-01-07 | 中国核动力研究设计院 | 一种支持堆芯多专业计算软件的统一建模方法及系统 |
| CN114048189A (zh) * | 2021-11-15 | 2022-02-15 | 成都垣景科技有限公司 | 一种基于动态分段的长距离输气管线时空数据融合系统及方法 |
| CN115081544B (zh) * | 2022-07-22 | 2022-11-01 | 国网浙江省电力有限公司 | 基于多源数据融合的电网设备全景模型数据处理方法 |
| CN115269704B (zh) * | 2022-08-02 | 2023-08-18 | 贵州财经大学 | 一种多元异构农业数据管理系统 |
| CN115016902B (zh) * | 2022-08-08 | 2023-05-12 | 安睿智达(成都)科技有限公司 | 工业流程数字化管理系统及方法 |
| CN115117887B (zh) * | 2022-08-09 | 2023-01-03 | 中国电力科学研究院有限公司 | 电网调控运行模拟时序潮流仿真方法、装置、设备及介质 |
| CN115545639B (zh) * | 2022-09-16 | 2024-01-09 | 北京信大融金教育科技有限公司 | 金融业务处理方法、装置、电子设备及存储介质 |
| CN115374880B (zh) * | 2022-10-10 | 2023-02-07 | 北京邮电大学 | 一种面向海上目标识别的多级增量数据融合系统 |
| CN116706901B (zh) * | 2023-06-29 | 2024-02-13 | 山东大学 | 融合gis及多元信息的电网仿真数据生成方法及系统 |
| CN116930608B (zh) * | 2023-09-19 | 2023-12-26 | 杭州正华电子科技有限公司 | 一种能耗分摊与统计方法、系统及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700032A (zh) * | 2013-12-19 | 2014-04-02 | 国家电网公司 | 电网调控一体化全景数据平台的构建方法 |
| CN105278373A (zh) * | 2015-10-16 | 2016-01-27 | 中国南方电网有限责任公司电网技术研究中心 | 一种变电站综合信息处理系统的实现方法 |
| CN105787089A (zh) * | 2016-03-15 | 2016-07-20 | 国家电网公司 | 一种配电网规划基础数据集成方法 |
| CN105824847A (zh) * | 2015-01-09 | 2016-08-03 | 国网浙江省电力公司 | 一种信息整合的质量评估方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7305371B2 (en) * | 2001-07-06 | 2007-12-04 | Newvectors Llc | Swarming agents for distributed pattern detection and classification |
-
2017
- 2017-07-03 CN CN201710530630.3A patent/CN107402976B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103700032A (zh) * | 2013-12-19 | 2014-04-02 | 国家电网公司 | 电网调控一体化全景数据平台的构建方法 |
| CN105824847A (zh) * | 2015-01-09 | 2016-08-03 | 国网浙江省电力公司 | 一种信息整合的质量评估方法 |
| CN105278373A (zh) * | 2015-10-16 | 2016-01-27 | 中国南方电网有限责任公司电网技术研究中心 | 一种变电站综合信息处理系统的实现方法 |
| CN105787089A (zh) * | 2016-03-15 | 2016-07-20 | 国家电网公司 | 一种配电网规划基础数据集成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107402976A (zh) | 2017-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107402976B (zh) | 一种基于多元异构模型的电网多源数据融合方法及系统 | |
| CN102750406B (zh) | 一种基于模型集和差异模型的电网模型多版本管理方法 | |
| CN110022226B (zh) | 一种基于面向对象的数据采集系统及采集方法 | |
| CN107357856B (zh) | 基于电网全景业务模型数据集成及数据服务的实现方法 | |
| CN105574652B (zh) | 一种智能配电网规划大数据管控系统及方法 | |
| CN109582667A (zh) | 一种基于电力调控大数据的多数据库混合存储方法及系统 | |
| CN109408548A (zh) | 一种城市电力大数据应用系统及方法 | |
| CN108052634B (zh) | 一种电网生产控制大区与资产管理大区多信息系统的集成方法 | |
| CN108446396B (zh) | 一种基于改进型cim模型的电力数据处理方法 | |
| CN112347071B (zh) | 一种配电网云平台数据融合方法及配电网云平台 | |
| CN109286188B (zh) | 一种基于多源数据集的10kV配电网理论线损计算方法 | |
| CN107730394A (zh) | 基于大数据的全景电网多元异构数据融合方法 | |
| CN102722764A (zh) | 一体化电网优化辅助决策分析系统 | |
| CN111524027B (zh) | 一种电力信息统计方法、装置、设备及存储介质 | |
| CN114416855A (zh) | 一种基于电力大数据的可视化平台及方法 | |
| CN106951444A (zh) | 建筑工程信息处理方法及装置 | |
| CN111241129B (zh) | 一种工业生产企业指标数据采集与计算的系统 | |
| CN108876019A (zh) | 一种基于大数据的用电负荷预测方法及系统 | |
| CN111159180A (zh) | 一种基于数据资源目录构建的数据处理方法及系统 | |
| CN111061732A (zh) | 一种基于大数据处理的报表生成方法 | |
| CN115934856A (zh) | 一种构造综合能源数据资产的方法和系统 | |
| Wu et al. | An auxiliary decision-making system for electric power intelligent customer service based on Hadoop | |
| Chen et al. | Multi-source and heterogeneous data integration model for big data analytics in power DCS | |
| CN115439015B (zh) | 基于数据中台的局域电网数据管理方法、装置及设备 | |
| CN109710669B (zh) | 基于校验规则库的提高全电网模型数据准确性的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Xueliang Inventor after: Jia Shanjie Inventor after: Wang Youjie Inventor after: Liu Bo Inventor after: Wu Kuihua Inventor after: Jiang Bin Inventor after: Jiang Zhongfu Inventor after: Wu Jian Inventor after: An Yong Inventor after: Li Shan Inventor after: Feng Liang Inventor after: Yang Bo Inventor before: Li Xueliang Inventor before: Jia Shanjie Inventor before: Wang Youjie Inventor before: Liu Bo Inventor before: Wu Kuihua Inventor before: Jiang Bin Inventor before: Jiang Zhongfu Inventor before: Wu Jian Inventor before: An Yong Inventor before: Li Shan Inventor before: Feng Liang Inventor before: Yang Bo |
|
| CB03 | Change of inventor or designer information | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Ten weft road Huaiyin District of Ji'nan city of Shandong Province, No. 111 250021 Patentee after: RESEARCH INSTITUTE OF ECONOMICS AND TECHNOLOGY, STATE GRID SHANDONG ELECTRIC POWER Co. Patentee after: STATE GRID CORPORATION OF CHINA Address before: Ten weft road Huaiyin District of Ji'nan city of Shandong Province, No. 111 250021 Patentee before: RESEARCH INSTITUTE OF ECONOMICS AND TECHNOLOGY, STATE GRID SHANDONG ELECTRIC POWER Co. Patentee before: State Grid Corporation of China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210331 Address after: Ten weft road Huaiyin District of Ji'nan city of Shandong Province, No. 111 250021 Patentee after: RESEARCH INSTITUTE OF ECONOMICS AND TECHNOLOGY, STATE GRID SHANDONG ELECTRIC POWER Co. Patentee after: STATE GRID CORPORATION OF CHINA Patentee after: SHANDONG LUNENG SOFTWARE TECHNOLOGY Co.,Ltd. Patentee after: Jinan Jingwei Electric Power Engineering Consulting Co.,Ltd. Address before: Ten weft road Huaiyin District of Ji'nan city of Shandong Province, No. 111 250021 Patentee before: RESEARCH INSTITUTE OF ECONOMICS AND TECHNOLOGY, STATE GRID SHANDONG ELECTRIC POWER Co. Patentee before: STATE GRID CORPORATION OF CHINA |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Ten weft road Huaiyin District of Ji'nan city of Shandong Province, No. 111 250021 Patentee after: RESEARCH INSTITUTE OF ECONOMICS AND TECHNOLOGY, STATE GRID SHANDONG ELECTRIC POWER Co. Patentee after: STATE GRID CORPORATION OF CHINA Patentee after: Shandong luruan Digital Technology Co.,Ltd. Patentee after: Jinan Jingwei Electric Power Engineering Consulting Co.,Ltd. Address before: Ten weft road Huaiyin District of Ji'nan city of Shandong Province, No. 111 250021 Patentee before: RESEARCH INSTITUTE OF ECONOMICS AND TECHNOLOGY, STATE GRID SHANDONG ELECTRIC POWER Co. Patentee before: STATE GRID CORPORATION OF CHINA Patentee before: SHANDONG LUNENG SOFTWARE TECHNOLOGY Co.,Ltd. Patentee before: Jinan Jingwei Electric Power Engineering Consulting Co.,Ltd. |