CN105787089A - 一种配电网规划基础数据集成方法 - Google Patents
一种配电网规划基础数据集成方法 Download PDFInfo
- Publication number
- CN105787089A CN105787089A CN201610147062.4A CN201610147062A CN105787089A CN 105787089 A CN105787089 A CN 105787089A CN 201610147062 A CN201610147062 A CN 201610147062A CN 105787089 A CN105787089 A CN 105787089A
- Authority
- CN
- China
- Prior art keywords
- data
- distribution network
- rule
- network planning
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000009826 distribution Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000012795 verification Methods 0.000 claims abstract description 30
- 230000010354 integration Effects 0.000 claims abstract description 17
- 230000008878 coupling Effects 0.000 claims description 16
- 238000010168 coupling process Methods 0.000 claims description 16
- 238000005859 coupling reaction Methods 0.000 claims description 16
- 238000013459 approach Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 241001269238 Data Species 0.000 claims description 4
- 230000019771 cognition Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明涉及一种配电网规划基础数据集成方法，步骤为：数据抽取，提取集成系统数据，将PMS、GIS、调度等业务系统数从源端经过ETL过程至前置机，转换为结构化的关系数据，统一存储和管理；数据校验，提取转换后的数据，应用校验规则到数据上，检查数据的完整性、正确性和逻辑性；数据融合，将通过校验的数据，应用融合规则到数据上，建立异构数据间的逻辑关系；数据化简，将数据间的逻辑关系作为依据，提取异构系统的数据，应用到化简规则上，按照化简规则简化数据的内容和连接关系，输出满足规划需要的数据。本发明提供一种适合各层级配电网特点和需求、对配电网规划具有针对性、适应性和可操作性的利用“Spark+EDA”的数据集成方法，可广泛应用于异数据集成中。
Description
技术领域
本发明涉及一种电网数据处理方法，特别是关于一种基于“内存计算+事件驱动架构+大数据”的配电网规划基础数据集成方法。
背景技术
随着电力行业对配电网建设和规划水平要求的不断提升，配电网规划基础数据收集已成为提升配电网规划精益化水平的主要瓶颈。配电网数据来源于调度自动化、生产管理、电网GIS、营销业务(SG186)等多个专业系统，数据量大、来源复杂；同时，由于各业务系统的数据模型、格式不统一，系统相互独立，访问接口各异，使得系统的信息交互困难，难以实现异构数据资源之间的数据共享。介于上述原因，为了消除信息壁垒，实现数据融合，开展配电网数据集成相关技术研究显得至关重要。
目前的数据集成与处理只针对数据量大本身，但是配电网规划数据来自多个业务系统，目前的研究对以下几个方面的考虑较少：1、配电网数据来源复杂，重复率高且参差不齐。配电网业务系统众多，由于缺乏全局统筹，除了GIS与PMS实现了主要设备数据的同源维护，用采系统与营销系统实现了计量点数据的同源维护，各业务系统之间普遍缺乏联系，大量数据需要在不同系统中重复维护，数据重复率高。2、数据一致性差，联动困难。各业务部门对数据信息的编号、命名习惯不同，造成数据一致性低、联动困难。同时，信息系统研发单位多，数据标准与模型不一致，造成系统之间接口标准无法统一。3、数据处理实时性要求高。因此，如不能有效解决上述问题，将极大限制配电网基础数据对配电网规划工作的数据支撑作用。
发明内容
针对上述问题，本发明的目的是提供一种配电网规划基础数据集成方法，该方法基于大数据框架，结合数据集成和数据处理将数据和业务逻辑完全放在内存中，通过内存计算使CPU直接在内存对数据进行提取和分析，满足了平台海量数据和实时数据分析处理的需求。
为实现上述目的，本发明采取以下技术方案：一种配电网规划基础数据集成方法，其特征在于，该方法包括以下步骤：(1)数据抽取：建立适应各系统架构特点的数据传输方式和通道，并将获取的数据转换为满足集成规范的结构化数据；(2)数据校验：按照配电网数据集成规范，将数据提取后转换成格式统一的结构化数据，进行数据校验；将转换后的数据和预定义的校验规则内存化，然后交由基于Disruptor和EDA为核心的校验引擎检查数据的正确性、完整性和逻辑性；(3)数据融合：根据配电网规划基础数据特点，建立融合关系清单；融合准则为：配电设备信息以PMS系统中设备属性数据为基准，将GIS系统、用采系统、调度系统数据进行对应融合；用户设备信息以营销系统中属性数据为基准，将GIS系统、用采系统数据进行对应融合；(4)数据化简：数据化简过程分为属性合并和拓扑合并两个子过程，两个子过程不分先后、同时进行；在完整的数据化简过程中，应用基于内存的大数据框架Spark，将化简后的结果RDD保存在内存中，同时应用不同的化简规则，进行反复迭代。
所述步骤(1)中，采用“Web服务”、“数据中心+企业服务总线”、“FTP+E文件”三种数据交互通道，并结合配电网规划基础数据来源业务系统的特点，选取不同数据交互方式和通道：(1.1)GIS系统提供外部WEB服务，供各集成系统调用；(1.2)用采系统、营销系统、PMS系统已与数据中心进行数据共享，其他系统需要集成数据时，通过企业服务总线发布数据抽取需求，由数据中心对外提供数据，其集成均采用数据中心+企业服务总线方式；(1.3)调度系统采用FTP+E文件方式到指定FTP服务器获取。
所述步骤(1.1)中，首先由前置机数据接口调用GIS平台Web服务，发送数据抽取请求；GIS系统收到请求后向Web服务发送传输指令；最后由Web服务调取GIS数据传输给前置机。
所述步骤(1.2)中，首先由前置机数据接口服务通过企业服务总线，向数据中心发送数据抽取请求，数据中心向各系统发送数据抽取指令，各系统收到指令后向数据中心反馈数据，最后由数据中心通过企业服务总线将数据传输给前置机。
所述步骤(1.3)中，由前置机数据接口服务定时到E文件服务器查看E文件准备记录，若有更新的E文件则直接抓取，到前置机后进行解密存储。
所述步骤(2)中，采用以“并行计算+事件驱动架构EDA+内存数据库TimesTen”为核心的架构，以完整性校验阶段为例：(2.1)通过TimesTen内存数据库，将需要校验的数据内存化，同时将完整性校验规则载入内存中；(2.2)开启Disruptor的并行计算模式，从内存中直接提取校验规则和待校验数据，交由EDA校验引擎处理；(2.3)EDA校验引擎将数据应用到规则上，满足规则的数据进入下一阶段校验，校验失败的数据，生成校验日志，记录相关的校验信息。
所述步骤(3)中，按照数据关联成熟度和处理效率高低的不同，将数据融合从高到低，划分为三阶段实现：(3.1)设备编码匹配：如设备编码一致，则将两条数据按照融合规则合并为一条数据；(3.2)字段组合匹配：针对设备编码未匹配上的数据，采用字段组合匹配；两个系统数据中设备名称、电压等级多个相同字段，关键字相同或相似的两条数据合并为一条数据；(3.3)人工识别匹配：针对上述两个阶段都不能匹配的数据，分别人工查询两个系统对应信息，人工判断是否为同一数据；若是，将两条数据合并为一条。
本发明由于采取以上技术方案，其具有以下优点：1、本发明由于采用EDA架构，提高了配电网数据集成对不断变化的业务需求的响应，降低了集成系统模块间的耦合度，最大限度地减少了对现有数据集成业务应用的影响，基于业务目标快速确定可控的业务变更，并直接、迅速、有效地实施变更以达到集成业务敏捷性和完整性。2、本发明由于采用基于内存计算的大数据框架Spark，特别适合数据集成中需要多次迭代计算的算法，集成过程实时性、响应性高。3、本发明基于Spark可靠的分布式数据集的容错性特征(数据检查点和记录数据的更新)，提高了数据集成过程中数据处理的可靠性和容错性，保证了集成数据处理过程的稳定和质量。4、本发明在进行数据化简过程，充分利用了基于内存计算的Spark大数据框架中的图计算GraphX和复杂的、需要反复迭代的计算优势，从而改善了系统的物理设备利用率，有利于提升电网的经济性和供电可靠性。本发明适用范围广，适合各层级配电网的特点和需求。
附图说明
图1是本发明的数据抽取和转换流程图；
图2是本发明的基于Disruptor框架的数据校验流程图；
图3是本发明的数据融合流程图；
图4是本发明的考虑属性合并和拓扑合并的数据化简流程图；
图5是本发明实施例中配电网规划基础数据集成方法全过程流程图；
图6是本发明实施例中杆塔和连接线化简过程图；
图7是本发明实施例中的基于GraphX图的拓扑化简过程图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本发明提供一种配电网规划基础数据集成方法，该方法将数据集成解耦为数据抽取、数据校验、数据融合和数据化简等四个过程，其具体步骤如下：
(1)数据抽取：建立适应各系统架构特点的数据传输方式和通道，并将获取的数据转换为满足集成规范的结构化数据。
根据配电网规划基础数据的特点，本发明采用“Web服务”、“数据中心+企业服务总线”、“FTP+E文件”三种数据交互通道，并结合配电网规划基础数据来源业务系统的特点，选取不同数据交互方式和通道(如图1所示)：
(1.1)GIS系统提供外部WEB服务，供各集成系统调用。首先由前置机数据接口调用GIS平台Web服务，发送数据抽取请求；GIS系统收到请求后向Web服务发送传输指令；最后由Web服务调取GIS数据传输给前置机。
(1.2)用采系统、营销系统、PMS系统已与数据中心进行数据共享，其他系统需要集成数据时，可通过企业服务总线发布数据抽取需求，由数据中心对外提供数据，其集成均采用“数据中心+企业服务总线”方式。此方式下，首先由前置机数据接口服务通过企业服务总线，向数据中心发送数据抽取请求，数据中心向各系统发送数据抽取指令，各系统收到指令后向数据中心反馈数据，最后由数据中心通过企业服务总线将数据传输给前置机。
(1.3)调度系统与其他系统不在同一安全区，对外不与数据中心进行数据共享，也不接入企业服务总线，仅提供加密存储的E文件，因而采用“FTP+E文件方式”到指定FTP服务器获取。E文件是系统之间数据传递和交换的规范性标准，规定了数据传递和交换需要遵循的格式。在此方式下，由前置机数据接口服务定时到E文件服务器查看E文件准备记录，若有更新的E文件则直接抓取，到前置机后进行解密存储。
(2)数据校验：按照配电网数据集成规范，将数据提取后转换成格式统一的结构化数据，进行数据校验。
如图2所示，将转换后的数据和预定义的校验规则内存化，然后交由基于Disruptor和EDA为核心的校验引擎检查数据的正确性、完整性和逻辑性。数据校验分为完整性校验、正确性校验和逻辑性校验3个环节。
为解决3个校验环节内需要处理数据量大，时效性要求高的问题，本发明采用以“并行计算+事件驱动架构EDA+内存数据库TimesTen”为核心的架构，满足密集CPU计算、高吞吐、低延时的计算要求。以完整性校验阶段为例说明：
(2.1)通过TimesTen内存数据库，将需要校验的数据内存化，同时将完整性校验规则载入内存中；
(2.2)开启Disruptor的并行计算模式，从内存中直接提取校验规则和待校验数据，交由EDA校验引擎处理；
(2.3)EDA校验引擎将数据应用到规则上，满足规则的数据进入下一阶段校验，校验失败的数据，生成校验日志，记录相关的校验信息。
(3)数据融合：根据配电网规划基础数据特点，建立融合关系清单(见附表1)。
表1不同业务系统之间的数据融合关系清单
上述表中“√”表示两系统数据需进行融合处理。
融合准则为：配电设备信息以PMS系统中设备属性数据为基准，将GIS系统、用采系统、调度系统数据进行对应融合；用户设备信息以营销系统中属性数据为基准，将GIS系统、用采系统数据进行对应融合。
按照数据关联成熟度和处理效率高低的不同，本发明将数据融合从高到低，划分为三阶段实现：
(3.1)设备编码匹配。如设备编码一致，则将两条数据按照融合规则合并为一条数据。
(3.2)字段组合匹配。针对设备编码未匹配上的数据，采用字段组合匹配。两个系统数据中设备名称、电压等级等多个相同字段，关键字相同或相似的两条数据合并为一条数据。
(3.3)人工识别匹配。针对上述两个阶段都不能匹配的数据，分别人工查询两个系统对应信息，人工判断是否为同一数据。若是，则将两条数据合并为一条。
经过上述步骤仍无法匹配的数据，返回源系统确认数据质量，由源系统判定是否为无效数据或修改后再纳入数据抽取过程。
如图3所示，数据融合是反复迭代计算的过程，每一过程处理的数据量和关系复杂度都不一样：“设备编码匹配”和“人工识别匹配”过程较为简单，需要的计算资源较少，在内存数据库TimesTen中，依据融合规则，通过SQL语言处理即可；“字段组合匹配”较为复杂。因此，本发明采用以“并行计算+事件驱动架构EDA”为核心的架构，将“设备编码匹配”无法处理的内存化数据和融合规则交由定制的EDA融合引擎处理，数据逐条应用到规则上，利用EDA架构的并行计算和异步事件特性，提高数据吞吐量，降低系统响应延时。
(4)数据化简：数据化简过程分为属性合并和拓扑合并两个子过程，两个子过程不分先后、同时进行；
如图4所示，在完整的数据化简过程中，应用基于内存的大数据框架Spark，可以将化简后的结果RDD保存在内存中，同时应用不同的化简规则，进行反复迭代，摒弃了传统磁盘读写上限的瓶颈，大大提高了IOPS和数据处理效率，降低了系统了响应时间。
实施例：以某一典型城市配电网供电区域作为测试点，该区域范围包括5座220kV变电站、18座35kV变电站、39条35kV线路、30条10kV线路。
(1)数据抽取
数据抽取过程中，按照配电网集成规范的要求，将各集成系统的数据经过抽取、转换和加载后，转换成格式统一的结构化数据，存储到前置机中的数据库中。
在本实施例中，从PMS、营销、GIS、调度、用采等业务系统共抽取97张表、1429个字段、5221条数据。抽取数据包括变压器、线路等电气元件的设备编码、设备名称、电压等级、额定容量、设备属性、设备拓扑、设备坐标等字段。
(2)数据校验
数据校验则将抽取后保存在前置机数据库中的数据，转换为基于Spark的分布式弹性数据集(ResilientDistributedDataset，RDD)，同时将校验规则内存化后应用到数据上，采用基于EDA架构的Disruptor框架标记符合校验规则的数据，并生成和记录不符合校验规则数据的日志信息，保存到校验信息表中。
在本实施例中，数据校验按照完整性校验、正确性校验和逻辑性校验的顺序串行进行。过程实现如下：
1、完整性校验。依据数据集成规范，验证已抽取数据中的关键数据项是否有数据。以某35kV变电站数据校验为例，变电站名称、设备编码、电压等级、供电企业、主变台数、主变容量、最大负荷等字段均为关键数据项。若存在为空的情况，则返回修改原数据后再进行校验；若均不为空，则校验通过，转入下一步正确性校验。
2、正确性校验。检查已抽取的数据项、数据类型、精度、范围是否与集成规范要求一致。例如变电站主变台数，要求其数据类型为整数型，数据精度为1位。若发现有非整数或者大于10的数据，则判定该数据不正确，需返回原数据进行修改后再进行校验；若均正确，则进入下一步逻辑性校验。
3、逻辑性校验。依据集成系统之间的业务关系，检查数据项是否符合业务逻辑关系。例如，某主变最大负荷超出额定容量的200％，则可判定其最大负荷和额定容量两个数据必有一个错误，需返回修改原数据后重新进行校验。
(3)数据融合：如图5所示，提取标记有数据校验通过的数据，转化成Spark的分布式弹性数据集RDD，同时将融合规则内存化后应用到数据上，采用基于EDA架构的Disruptor框架融合指定的特征数据，保存并记录融合关系到融合关系数据表中。
在本实施例中，对抽取的数据进行融合处理，有效减少了冗余字段和数据量，最终生成38张表、857个字段、2193条数据。以PMS和GIS主变压器融合为例，经过数据融合后的主变压器中设备编码、设备名称、电压等级、额定容量、设备属性等字段来自PMS系统，设备拓扑和设备坐标来自GIS系统。
(4)数据化简：提取融合关系数据表中的数据数据并内存化，同时将化简规则内存化后应用到数据上，采用基于EDA架构的Disruptor框架化简指定数据，保存并记录化简关系到化简关系数据表中。
在本实施例中，对融合数据进行化简处理后，生成38张表、857个字段、1535条数据。
以杆塔和连接线为例，对数据化简业务过程进行简要描述，数据化简业务过程(如图6所示)。将内存化的杆塔A、B、C和线路1、线路2的数据，经Disruptor转化为基于大数据框架Sprak的内存数据结构RDD弹性分布式数据集，并应用Spark的图计算模块GraphX，将杆塔A、B、C和线路1、线路2转变为数学中图的点和边，进行设备拓扑图的简化处理。处理后的拓扑结构如图7所示，杆塔A、B、C转化为图的顶点，线路1、线路2转化为图的边。
整体处理过程如下：将内存化后的化简规则应用到GraphX上，识别线路1和线路2是拓扑相连于杆塔B，而线路1和线路2主要属性(如线路型号、电压等级等)一致时，则可将线路1和线路2进行合并化简为线路3，删除杆塔B。因此，拓扑合并后，杆塔B删除，线路1和线路2合并为线路3，连接关系由“三点两线”化简为“两点一线”；属性合并后，线路3的线路长度为线路1和线路2的长度之和，起点和终点地理坐标分别取线路1的起点和线路2的终点坐标。
上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。
Claims (7)
1.一种配电网规划基础数据集成方法，其特征在于，该方法包括以下步骤：
(1)数据抽取：建立适应各系统架构特点的数据传输方式和通道，并将获取的数据转换为满足集成规范的结构化数据；
(2)数据校验：按照配电网数据集成规范，将数据提取后转换成格式统一的结构化数据，进行数据校验；将转换后的数据和预定义的校验规则内存化，然后交由基于Disruptor和EDA为核心的校验引擎检查数据的正确性、完整性和逻辑性；
(3)数据融合：根据配电网规划基础数据特点，建立融合关系清单；融合准则为：配电设备信息以PMS系统中设备属性数据为基准，将GIS系统、用采系统、调度系统数据进行对应融合；用户设备信息以营销系统中属性数据为基准，将GIS系统、用采系统数据进行对应融合；
(4)数据化简：数据化简过程分为属性合并和拓扑合并两个子过程，两个子过程不分先后、同时进行；在完整的数据化简过程中，应用基于内存的大数据框架Spark，将化简后的结果RDD保存在内存中，同时应用不同的化简规则，进行反复迭代。
2.如权利要求1所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1)中，采用“Web服务”、“数据中心+企业服务总线”、“FTP+E文件”三种数据交互通道，并结合配电网规划基础数据来源业务系统的特点，选取不同数据交互方式和通道：
(1.1)GIS系统提供外部WEB服务，供各集成系统调用；
(1.2)用采系统、营销系统、PMS系统已与数据中心进行数据共享，其他系统需要集成数据时，通过企业服务总线发布数据抽取需求，由数据中心对外提供数据，其集成均采用数据中心+企业服务总线方式；
(1.3)调度系统采用FTP+E文件方式到指定FTP服务器获取。
3.如权利要求2所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1.1)中，首先由前置机数据接口调用GIS平台Web服务，发送数据抽取请求；GIS系统收到请求后向Web服务发送传输指令；最后由Web服务调取GIS数据传输给前置机。
4.如权利要求2所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1.2)中，首先由前置机数据接口服务通过企业服务总线，向数据中心发送数据抽取请求，数据中心向各系统发送数据抽取指令，各系统收到指令后向数据中心反馈数据，最后由数据中心通过企业服务总线将数据传输给前置机。
5.如权利要求2所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(1.3)中，由前置机数据接口服务定时到E文件服务器查看E文件准备记录，若有更新的E文件则直接抓取，到前置机后进行解密存储。
6.如权利要求1所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(2)中，采用以“并行计算+事件驱动架构EDA+内存数据库TimesTen”为核心的架构，以完整性校验阶段为例：
(2.1)通过TimesTen内存数据库，将需要校验的数据内存化，同时将完整性校验规则载入内存中；
(2.2)开启Disruptor的并行计算模式，从内存中直接提取校验规则和待校验数据，交由EDA校验引擎处理；
(2.3)EDA校验引擎将数据应用到规则上，满足规则的数据进入下一阶段校验，校验失败的数据，生成校验日志，记录相关的校验信息。
7.如权利要求1所述的一种配电网规划基础数据集成方法，其特征在于：所述步骤(3)中，按照数据关联成熟度和处理效率高低的不同，将数据融合从高到低，划分为三阶段实现：
(3.1)设备编码匹配：如设备编码一致，则将两条数据按照融合规则合并为一条数据；
(3.2)字段组合匹配：针对设备编码未匹配上的数据，采用字段组合匹配；两个系统数据中设备名称、电压等级多个相同字段，关键字相同或相似的两条数据合并为一条数据；
(3.3)人工识别匹配：针对上述两个阶段都不能匹配的数据，分别人工查询两个系统对应信息，人工判断是否为同一数据；若是，将两条数据合并为一条。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610147062.4A CN105787089B (zh) | 2016-03-15 | 2016-03-15 | 一种配电网规划基础数据集成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610147062.4A CN105787089B (zh) | 2016-03-15 | 2016-03-15 | 一种配电网规划基础数据集成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105787089A true CN105787089A (zh) | 2016-07-20 |
| CN105787089B CN105787089B (zh) | 2019-02-26 |
Family
ID=56393636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610147062.4A Active CN105787089B (zh) | 2016-03-15 | 2016-03-15 | 一种配电网规划基础数据集成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105787089B (zh) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339800A (zh) * | 2016-08-23 | 2017-01-18 | 济南大学 | 一种基于Graphx的大电网快速拓扑分析的方法 |
| CN106533450A (zh) * | 2016-11-14 | 2017-03-22 | 国网北京市电力公司 | Pms编码压缩方法和装置 |
| CN107146166A (zh) * | 2017-04-24 | 2017-09-08 | 国网江西省电力公司经济技术研究院 | 一种配网规划辅助系统 |
| CN107146165A (zh) * | 2017-04-24 | 2017-09-08 | 国网江西省电力公司经济技术研究院 | 一种配网规划数据管理方法及系统 |
| CN107247799A (zh) * | 2017-06-27 | 2017-10-13 | 北京天机数测数据科技有限公司 | 兼容多种大数据存储的数据处理方法、系统及其建模方法 |
| CN107402976A (zh) * | 2017-07-03 | 2017-11-28 | 国网山东省电力公司经济技术研究院 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
| CN107577743A (zh) * | 2017-08-28 | 2018-01-12 | 武汉奇米网络科技有限公司 | 基于etl的财务结算数据处理方法及装置 |
| CN107682329A (zh) * | 2017-09-26 | 2018-02-09 | 国网上海市电力公司 | 一种电力数据传输存储方法及装置 |
| CN107967313A (zh) * | 2017-11-21 | 2018-04-27 | 中科宇图科技股份有限公司 | 一种基于字段数据和坐标共性合并不同行业数据的方法 |
| CN108122054A (zh) * | 2018-02-07 | 2018-06-05 | 清华大学 | 一种基于图计算的电力系统拓扑实时计算方法 |
| CN109271377A (zh) * | 2018-08-10 | 2019-01-25 | 蜜小蜂智慧（北京）科技有限公司 | 一种数据质量检测方法及装置 |
| CN109272263A (zh) * | 2018-11-29 | 2019-01-25 | 河南飙风信息科技有限公司 | 一种基于大数据智能配电网规划信息化管控系统 |
| CN109426576A (zh) * | 2017-08-30 | 2019-03-05 | 华为技术有限公司 | 容错处理方法以及容错组件 |
| CN109840196A (zh) * | 2017-11-29 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 测试业务逻辑的方法和装置 |
| CN110765198A (zh) * | 2019-11-01 | 2020-02-07 | 云南电网有限责任公司信息中心 | 数据资源池建立方法及装置 |
| CN111078815A (zh) * | 2019-12-12 | 2020-04-28 | 浙江华云信息科技有限公司 | 一种电网数据的混合加载方法 |
| CN111078674A (zh) * | 2019-12-31 | 2020-04-28 | 贵州电网有限责任公司 | 一种配网设备的数据识别与纠错方法 |
| CN111160868A (zh) * | 2019-12-31 | 2020-05-15 | 国网北京市电力公司 | 基于图融合技术的统一配网网架拓扑构建方法 |
| CN111192010A (zh) * | 2019-12-25 | 2020-05-22 | 国网北京市电力公司 | 台账数据处理方法和装置 |
| CN111752937A (zh) * | 2020-06-30 | 2020-10-09 | 海南电网有限责任公司 | 基于微服务的数据纠偏方法、系统及可读介质 |
| CN112800035A (zh) * | 2020-12-29 | 2021-05-14 | 贵州电网有限责任公司 | 一种基于gis系统的电网数据联通共享系统 |
| CN117150438A (zh) * | 2023-10-31 | 2023-12-01 | 成都汉度科技有限公司 | 基于边缘计算的通信数据融合方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799634A (zh) * | 2012-06-26 | 2012-11-28 | 中国农业银行股份有限公司 | 数据存储方法及装置 |
| US20130086116A1 (en) * | 2011-10-04 | 2013-04-04 | International Business Machines Corporation | Declarative specification of data integraton workflows for execution on parallel processing platforms |
| CN103823869A (zh) * | 2014-02-26 | 2014-05-28 | 中科怡海高新技术发展江苏股份公司 | 一种环境监测的数据抽取和预测模型建立方法 |
| CN104361419A (zh) * | 2014-09-10 | 2015-02-18 | 国家电网公司 | 基于调控合一的输变电设备状态监控缺陷管理系统及方法 |
| CN104732310A (zh) * | 2013-12-23 | 2015-06-24 | 北京索为高科系统技术有限公司 | 基于统一数据模型的数据集成方法 |
-
2016
- 2016-03-15 CN CN201610147062.4A patent/CN105787089B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130086116A1 (en) * | 2011-10-04 | 2013-04-04 | International Business Machines Corporation | Declarative specification of data integraton workflows for execution on parallel processing platforms |
| CN102799634A (zh) * | 2012-06-26 | 2012-11-28 | 中国农业银行股份有限公司 | 数据存储方法及装置 |
| CN104732310A (zh) * | 2013-12-23 | 2015-06-24 | 北京索为高科系统技术有限公司 | 基于统一数据模型的数据集成方法 |
| CN103823869A (zh) * | 2014-02-26 | 2014-05-28 | 中科怡海高新技术发展江苏股份公司 | 一种环境监测的数据抽取和预测模型建立方法 |
| CN104361419A (zh) * | 2014-09-10 | 2015-02-18 | 国家电网公司 | 基于调控合一的输变电设备状态监控缺陷管理系统及方法 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339800A (zh) * | 2016-08-23 | 2017-01-18 | 济南大学 | 一种基于Graphx的大电网快速拓扑分析的方法 |
| CN106533450A (zh) * | 2016-11-14 | 2017-03-22 | 国网北京市电力公司 | Pms编码压缩方法和装置 |
| CN106533450B (zh) * | 2016-11-14 | 2019-05-24 | 国网北京市电力公司 | Pms编码压缩方法和装置 |
| CN107146166A (zh) * | 2017-04-24 | 2017-09-08 | 国网江西省电力公司经济技术研究院 | 一种配网规划辅助系统 |
| CN107146165A (zh) * | 2017-04-24 | 2017-09-08 | 国网江西省电力公司经济技术研究院 | 一种配网规划数据管理方法及系统 |
| CN107146165B (zh) * | 2017-04-24 | 2021-04-13 | 国网江西省电力公司经济技术研究院 | 一种配网规划数据管理方法及系统 |
| CN107146166B (zh) * | 2017-04-24 | 2020-12-01 | 国网江西省电力公司经济技术研究院 | 一种配网规划辅助系统 |
| CN107247799A (zh) * | 2017-06-27 | 2017-10-13 | 北京天机数测数据科技有限公司 | 兼容多种大数据存储的数据处理方法、系统及其建模方法 |
| CN107402976A (zh) * | 2017-07-03 | 2017-11-28 | 国网山东省电力公司经济技术研究院 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
| CN107402976B (zh) * | 2017-07-03 | 2020-10-30 | 国网山东省电力公司经济技术研究院 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
| CN107577743A (zh) * | 2017-08-28 | 2018-01-12 | 武汉奇米网络科技有限公司 | 基于etl的财务结算数据处理方法及装置 |
| CN109426576A (zh) * | 2017-08-30 | 2019-03-05 | 华为技术有限公司 | 容错处理方法以及容错组件 |
| CN107682329A (zh) * | 2017-09-26 | 2018-02-09 | 国网上海市电力公司 | 一种电力数据传输存储方法及装置 |
| CN107967313B (zh) * | 2017-11-21 | 2022-02-01 | 中科宇图科技股份有限公司 | 一种基于字段数据和坐标共性合并不同行业数据的方法 |
| CN107967313A (zh) * | 2017-11-21 | 2018-04-27 | 中科宇图科技股份有限公司 | 一种基于字段数据和坐标共性合并不同行业数据的方法 |
| CN109840196A (zh) * | 2017-11-29 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 测试业务逻辑的方法和装置 |
| CN108122054A (zh) * | 2018-02-07 | 2018-06-05 | 清华大学 | 一种基于图计算的电力系统拓扑实时计算方法 |
| CN108122054B (zh) * | 2018-02-07 | 2021-08-17 | 清华大学 | 一种基于图计算的电力系统拓扑实时计算方法 |
| CN109271377A (zh) * | 2018-08-10 | 2019-01-25 | 蜜小蜂智慧（北京）科技有限公司 | 一种数据质量检测方法及装置 |
| CN109272263A (zh) * | 2018-11-29 | 2019-01-25 | 河南飙风信息科技有限公司 | 一种基于大数据智能配电网规划信息化管控系统 |
| CN110765198A (zh) * | 2019-11-01 | 2020-02-07 | 云南电网有限责任公司信息中心 | 数据资源池建立方法及装置 |
| CN111078815A (zh) * | 2019-12-12 | 2020-04-28 | 浙江华云信息科技有限公司 | 一种电网数据的混合加载方法 |
| CN111078815B (zh) * | 2019-12-12 | 2023-08-15 | 浙江华云信息科技有限公司 | 一种电网数据的混合加载方法 |
| CN111192010A (zh) * | 2019-12-25 | 2020-05-22 | 国网北京市电力公司 | 台账数据处理方法和装置 |
| CN111160868A (zh) * | 2019-12-31 | 2020-05-15 | 国网北京市电力公司 | 基于图融合技术的统一配网网架拓扑构建方法 |
| CN111078674A (zh) * | 2019-12-31 | 2020-04-28 | 贵州电网有限责任公司 | 一种配网设备的数据识别与纠错方法 |
| CN111752937A (zh) * | 2020-06-30 | 2020-10-09 | 海南电网有限责任公司 | 基于微服务的数据纠偏方法、系统及可读介质 |
| CN112800035A (zh) * | 2020-12-29 | 2021-05-14 | 贵州电网有限责任公司 | 一种基于gis系统的电网数据联通共享系统 |
| CN117150438A (zh) * | 2023-10-31 | 2023-12-01 | 成都汉度科技有限公司 | 基于边缘计算的通信数据融合方法及系统 |
| CN117150438B (zh) * | 2023-10-31 | 2024-02-06 | 成都汉度科技有限公司 | 基于边缘计算的通信数据融合方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105787089B (zh) | 2019-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105787089A (zh) | 一种配电网规划基础数据集成方法 | |
| CN102750406B (zh) | 一种基于模型集和差异模型的电网模型多版本管理方法 | |
| CN105095600B (zh) | 一种智能变电站和调控中心协调建模方法 | |
| CN103675600B (zh) | 基于拓扑知识的配电网故障诊断系统及方法 | |
| CN109284346A (zh) | 一种基于云计算的配电网规划方法及装置 | |
| CN102567859A (zh) | 智能化供电系统数据综合管理系统 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN102403718B (zh) | 基于Arcgis的电网拓扑关系生成方法 | |
| CN101937435A (zh) | 面向电力系统的分布式实时数据库在线同步方法 | |
| CN104751305A (zh) | 一种基于故障分析抢修的智能交互系统及其控制方法 | |
| CN105447175A (zh) | 一种适用于电力系统分布式计算的电网模型共享方法 | |
| WO2015010482A1 (zh) | 一种基于cim/e交互的跨系统ems状态估计的方法 | |
| CN103488726A (zh) | 基于web-service的建设电网统一数据平台的方法 | |
| CN105704184A (zh) | 一种基于层级框架的电网组织解析系统及解析方法 | |
| CN111353267A (zh) | 一种基于图模型的中压配电网拓扑简化抽象方法 | |
| CN107742883A (zh) | 一种基于Spark的电力系统拓扑岛快速识别系统和方法 | |
| CN114398567A (zh) | 一种多时态电网拓扑图数据管理方法、装置及计算机设备 | |
| CN113934807A (zh) | 一种基于gis的国土空间规划系统及方法 | |
| CN109871566A (zh) | 基于电网拓扑技术的回路构建方法及存储介质 | |
| CN109816336A (zh) | 基于全生命周期的信息管理系统 | |
| CN101867185A (zh) | 电力系统的pi测点自动维护系统及其维护方法 | |
| CN103633736B (zh) | 从变电子站至主站的在线监测通信方法 | |
| CN104484546A (zh) | 一种电网规划项目自动潮流校核文件的生成方法 | |
| CN107766949A (zh) | 基于元模型的故障快速抢修指挥业务信息交互方法 | |
| Dai et al. | Cyber physical power system modeling and simulation based on graph computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |