CN107357856B - 基于电网全景业务模型数据集成及数据服务的实现方法 - Google Patents

基于电网全景业务模型数据集成及数据服务的实现方法 Download PDF

Info

Publication number
CN107357856B
CN107357856B CN201710516052.8A CN201710516052A CN107357856B CN 107357856 B CN107357856 B CN 107357856B CN 201710516052 A CN201710516052 A CN 201710516052A CN 107357856 B CN107357856 B CN 107357856B
Authority
CN
China
Prior art keywords
data
service
power grid
model
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710516052.8A
Other languages
English (en)
Other versions
CN107357856A (zh
Inventor
曹伟
叶桂南
刘媛
韦昌福
阮诗迪
王含乾
农晓宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Power Grid Co Ltd
Original Assignee
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Power Grid Co Ltd filed Critical Guangxi Power Grid Co Ltd
Priority to CN201710516052.8A priority Critical patent/CN107357856B/zh
Publication of CN107357856A publication Critical patent/CN107357856A/zh
Application granted granted Critical
Publication of CN107357856B publication Critical patent/CN107357856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于电网全景业务模型数据集成及数据服务的实现方法，涉及电网系统信息化技术领域。所述基于电网全景业务模型数据集成及数据服务的实现方法，通过调度各业务系统、各级别系统以及各部门系统数据，统一建模工具和数据抽取工具，将数据进行采集和处理后以微服务架构的方式提供数据服务；本发明依赖电网全景业务模型，实现了对调度域数据的集成，克服了各业务应用系统之间的壁垒，建立统一、规范的调度数据集市，为报表模块及其他应用模块提供统一的数据支撑，避免了电网系统信息数据不准确、不唯一、不统一的问题，提供了高效便捷的数据管理功能。

Description

基于电网全景业务模型数据集成及数据服务的实现方法
技术领域
本发明属于电网系统信息化技术领域，尤其涉及一种基于电网全景业务模型数据集成及数据服务的实现方法。
背景技术
随着信息技术在电网调度运行领域应用的不断深入，规划建设的各业务系统接入不断增多，各业务关联越来越密切。加上电网业务的发展和管理要求的提高，调度各个业务应用之间、调度与公司其他部门之间、上下级调度机构之间的信息共享和协作的要求越来越高，信息共享困难、数据无法管控、孤岛形态等问题越来越凸显。为适应电网业务发展和调度运行精细化管理的要求，迫切需要一个能整合管理多级调度电网模型、数据、图形等各种信息的数据支持平台，满足大规模复杂电网高效应用分析，对各个应用系统提供技术支撑，并在此基础上实现系统运行数据分析评估，为其他综合数据应用提供数据基础，主要需求分析如下：
1、各类数据分散在各业务系统中，部分系统由于系统不开放，缺乏对数据进行整合的机制和手段，数据难以得到综合利用，不能很好地为决策分析提供支撑，系统投资回报率不高，需要对各业务系统的数据进行有效融合，集中统一管理，转化为有价值的信息，为相关的业务应用提供统一的数据支持。
2、通讯方式多种多样，规约五花八门，且大多需要独立的通信通道，对通信资源要求高且通信运行、维护、管理复杂。网状、点对点的交互方式落后，数据服务难于管理，随着信息系统的增多，很难理清关系和持续化运维，需要按照运行服务总线的标准化接口方式，开展服务封装、标准接口开发建立数据采集、校验和处理平台，实现各级系统互联、互通、互操作，实现“6+1”和调度现有业务系统无缝集成，提高各系统间以及上下级的资源统一共享和协调控制，以达到“横向协同，纵向贯通”。
3、整个调度业务域缺乏统一信息模型，数据和服务重用率低，每当有数据或者应用交互需求，往往都需要全新开发，导致相同或类似的业务数据需要在多个系统中重复维护，工作量大，且一致性较差，需要通过建设标准的数据模型，对数据进行统一采集，统一标准和管控模式，为分不同调度等级，不同数据区域进行管控与提供应用。
4、数据通过不同的服务方式对外提供应用，无法确保数据来源的准确性，数据质量参差不齐，同时缺乏对数据质量、数据应用的一体化管控，数据的可信度得不到保证，需要建立数据质量跟踪服务，对数据的获取与应用提供跟踪，通过与数据质量检测、数据质量审计平台关联，获取数据质量问题跟踪报告，为提取准确的数据提供支撑，确保数据的有效性及正确性。
5、目前数据存在多个来源、数据重复，同时无法提供有效的汇总和分析服务，需要建立统一统计汇总分析服务，实现数据的统一管理，真正实现一个数据，一个入口，统一出口、多级应用，从多种异构数据源自动获取有关数据，并根据数据的属性关系进行有效性校验，实现自动计算、统计、汇总及自动义的操作方式，满足不同业务场景应用及不同的业务域提供应用。
发明内容
针对现有技术的不足，本发明提供一种基于电网全景业务模型的数据集成及数据服务的实现方法，通过调度各业务系统、各级别系统以及各部门系统数据，统一建模工具和数据抽取工具，将数据进行采集和处理后以微服务架构的方式提供数据服务；能够有效、准确的将各业务系统、各级别系统以及各部门系统的数据融合在一起，提供符合数据唯一性的数据服务，避免电网系统信息数据不准确、不唯一、不统一的问题。
本发明是通过如下的技术方案来解决上述技术问题的：一种基于电网全景业务模型数据集成及数据服务的实现方法，包括以下几个步骤：
（1）统一电网信息模型的建立，规范建模：使用面向对象的概念将统一电网信息模型信息化，通过建模工具，使用建模语言表达方法建立模型结构，生成模型物理表，将统一电网信息模型定义成一组包；
（2）多系统数据的抽取：通过所述步骤（1）完成的电网信息模型的建立和物理表结构的生成，实现多系统数据的统一抽取工作；确定系统整合数据的内容，抽取各业务系统、各级别系统以及各部门系统中的数据，完成数据整合，使整合后的数据符合电网信息模型的数据要求，为后续微服务访问提供数据支撑；
（3）微服务的部署：采用微服务的架构进行数据支持平台的开发，将复杂的业务，巨大的单体式应用分解为多个相对较小的服务来进行开发；在提供的原有功能不变的情况下，应用被分解成多个可管理的分支或者服务；以便解决复杂的或者异构的部署环境，为后续的维护提供有利条件；并启动微服务；
（4）微服务访问：所述微服务访问用于对外提供数据服务，通过访问微服务器，获取多系统的电网信息数据；微服务访问包括权限认证和服务访问，在对微服务进行数据访问时，需要进行身份验证，以防止数据信息外漏和被恶意访问，保证数据信息的安全以及正常访问。
进一步的，所述步骤（1）中的建模工具采用UML建模工具。
进一步的，所述步骤（1）中电网信息模型包括电网资源包、资产设备包、用电客户包、拓扑连接包、量测资源包以及公共支持包；所述电网资源包，用于描述电网中的变电站、线路和变压器之间的关系，以电力系统资源(Power System Resource)对象为核心来表示；所述资产设备包，用于描述资产以及资产与功能位置之间的关系，以资产(Asset)对象为核心来表示；所述用电客户包，用于描述电网中变压器和客户之间的关系；所述拓扑连接包，用于描述电网中导电设备之间的连接关系；所述量测资源包，用于描述电网中的运行数据与电网资源的关系；所述公共支持包，用于提供组织、位置等供其他包使用的类以及全局数据类型定义。
进一步的，所述步骤（1）包括以下几个子步骤：
1.1通过UML表达方法建立模型结构:建立实体类和虚拟类，并创建实体类和虚拟类的实体标识、中文标识、英文名称等，选择父级实体，实体类和虚拟类将会继承父级实体所有属性，不用再次重建；建立属性的属性标识、中文标识、英文标识、描述、数据类型、长度、精度、是否主键、是否唯一、是否非空、是否在模型中显示；建立实体关系分类，如聚合、自聚合、继承、关系，关系类型有1-1、1-N、0-1等；
1.2生成模型物理表:将录入编辑好的电网信息模型数据发布新版本，发布后的版本用于物理表模型的建立和为数据服务提供电网信息模型依据；选择数据所在的服务器生成模型物理表，模型物理表将用于存储数据的表结构；模型反射提供报表统一出口的需求，模型反射将现有数据结构采用物理表反射技术生成可维护的界面模型，所述界面模型用于为微服务提供依据；
1.3建立数据质量校验策略：根据业务约束新建规则模板，例如网区符合最高值，线路承载能力最大值等；根据业务需求录入校验规则，如记录时间小于归档时间等，或从规则模板中选取；根据业务需求对数据质量进行校验，如每天、每月或每半小时执行一次数据质量校验，数据质量校验策略是采用微服务的方式进行提供；将数据质量校验的校验结果输出到对应日志中，日志中详细记录不符合校验规则的数据条数等信息，为告警信息提供依据，为数据的准确性、唯一性提供保障；
通过上述步骤依次录入电网信息模型中的IEC61970：：核心(Core)、IEC61970：：量测(Meas)、IEC61970：：拓扑(Topology)、IEC61970：：电线(Wires)、IEC61970：：保护(Protection)、IEC61968：：公共(Common)、IEC61968：：资产(Assets)包中模型类数据、属性、及其关联关系。
进一步的，所述步骤（2）中的多系统数据抽取采用ETL工具。
进一步的，所述步骤（2）中的多系统包括省调OCS系统、各地级OCS系统、DMIS系统、节能发电调度系统、水调自动化系统、气象综合系统、各级PMS系统。
进一步的，所述步骤（2）包括以下几个子步骤：
2.1配置数据源：数据源管理模块实现对数据源连接信息的管理功能，通过配置IP、用户名、密码等信息，实现对数据源的连接，该功能实现了数据源的新增、修改和删除功能，支持Oracle、Mysql、易鲸捷、SqlServer、Sybase和Ftp等类型数据源的连接；依次录入各业务系统、各级别系统以及各部门系统的源数据源，再录入数据支持平台的目标数据源信息；
2.2数据表管理：数据表管理实现采集数据表信息的管理功能，根据数据源和目标库进行分类管理，数据表管理还包括添加、删除数据表和创建目标表的功能；在源数据源中依次选择需要抽取的系统的数据表，选择目标源为数据支持平台后生成源数据表信息；根据源数据表需要生成数据支持平台目标表，在“数据表管理”功能的“数据源”中添加选择需要采集的各个系统的数据库地址；在“目标数据库”中添加选择数据支持平台的数据库地址，并执行创建目标表的操作；
2.3任务调度配置：任务调度配置为调度任务配置执行类型、执行时间和定时时间等信息；在新增调度页面填写调度名称，选择触发时间，执行时间，配置好所述调度任务后在数据任务中选择使用；
2.4结构化数据任务：结构化数据任务实现对结构化数据的采集加载任务的管理功能，支持根据数据表原表抽取的模式，支持复杂SQL查询数据表和动态表查询自定义SQL抽取功能模式；依次添加任务，选择需要添加任务的数据表，并选择执行节点，根据实际需求设置调度时间、写入模式，进行选项选择后完成操作；
2.5非结构化数据任务：非结构化数据任务模块实现对非结构化数据的采集加载任务的管理功能，支持FTP和本地之间或者FTP和FTP之间非结构化数据的传输；
2.6数据整合：以电网系统业务为基础将抽取至数据支持平台库中的数据用SQL语句分析整合后，转换成符合统一电网信息模型要求的数据形式，将数据插入模型对应的物理表结构，完成数据整合。
进一步的，所述步骤（3）包括以下几个子步骤：
3.1启动部署资源服务管理器；
3.2启动部署权限管理微服务；
3.3启动部署元数据微服务；
3.4启动部署数据服务微服务；
3.5启动部署微服务网关；
3.6启动部署数据质量校验微服务；
经过上述步骤，完成微服务的启动，微服务将自动按照电网信息模型提供数据服务访问，供其它系统进行调用；每次电网信息模型进行新增或更改发布版本后，微服务自动依据模型建模的信息提供数据访问，不用再进行人工干涉，为后续业务扩展集成提供有利条件。
进一步的，所述步骤（4）中的微服务访问提供两种数据形式：基于SOAP的XML格式数据和基于HTTP协议的RESTful格式数据。
与现有技术相比，本发明所提供的基于电网全景业务模型数据集成及数据服务的实现方法，通过调度各业务系统、各级别系统以及各部门系统数据，统一建模工具和数据抽取工具，将数据进行采集和处理后以微服务架构的方式提供数据服务；本发明依赖电网全景业务模型，实现了对调度域数据的集成，克服了各业务应用系统之间的壁垒，建立统一、规范的调度数据集市，为报表模块及其他应用模块提供统一的数据支撑，避免了电网系统信息数据不准确、不唯一、不统一的问题，提供了高效便捷的数据管理功能；本发明电网调度维护人员只需要进行简单的操作就能快速生成统一电网信息模型，并依赖模型发布数据服务；在需要进行信息修改的情况下，只需对模型信息进行简单修改，服务即自动生成不再需要重新开发服务接口，减轻了电网调度维护人员和信息系统管理人员的工作量。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明电网资源包核心类及其关系的结构示意图；
图2是本发明资产设备包的设备资产关系结构示意图；
图3是本发明用电客户包的客户与设备关系结构示意图；
图4是本发明量测资源包的量测与电力系统资源关系结构示意图；
图5是本发明拓扑连接包的设备与拓扑关系结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于电网全景业务模型数据集成及数据服务的实现方法的基本思路是：
1.查看分析统一电网信息模型的建模内容、模型结构、分类依据以及核查各个类之间的关联关系，模型结构分析属性信息内容，分析建模工具转化成计算机的物理表模型后之间的差异。
2.根据模型信息内容分析各个类属性所在各系统的数据散落位置，核查确定抽取数据源的原则，利用数据抽取工具实现数据定期的采集更新。
3.根据模型信息提供内容结合各个系统之间业务的偏重点，分析数据整合原则；整理分析各个系统之间数据的差异性，如资产信息基本存放在各级PMS系统中，500kV、220kV中数据调度OCS系统数据最为准确等。
4.思考如何依据模型提供服务，在模型变化时获取对应的计算机物理表模型后，生成易于开发、管理、维护、符合软件开发精神的松耦合式架构的数据访问微服务。
本发明所提供的一种基于电网全景业务模型数据集成及数据服务的实现方法，包括以下几个步骤：
（1）统一电网信息模型的建立，规范建模：使用面向对象的概念将统一电网信息模型信息化，通过UML建模工具，使用统一建模语言UML表达，将统一电网信息模型定义成一组包；
（2）通过ETL工具进行多系统数据的抽取：通过步骤（1）完成的电网信息模型的建立和物理表结构的生成，通过ETL工具实现多系统数据的统一抽取工作；确定系统整合数据的内容，抽取各业务系统、各级别系统以及各部门系统中的数据，完成数据整合，使整合后的数据符合电网信息模型的数据要求，为后续微服务访问提供数据支撑；
（3）微服务的部署：采用微服务的架构进行数据支持平台的开发，将复杂的业务，巨大的单体式应用分解为多个相对较小的服务来进行开发；在提供的原有功能不变的情况下，应用被分解成多个可管理的分支或者服务；并启动微服务；以便解决复杂的或者异构的部署环境，为后续的维护提供有利条件；
（4）微服务访问：微服务访问用于对外提供数据服务，通过访问微服务器，获取多系统的电网信息数据；微服务访问包括权限认证和服务访问，在对微服务进行数据访问时，需要进行身份验证，以防止数据信息外漏和被恶意访问，保证数据信息的安全以及正常访问；
实例1，采用以下格式进行微服务访问：
<SOAP-ENV:Envelope xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/" xmlns:mdm="http://mdm.com">
<SOAP-ENV:Header/>
<SOAP-ENV:Body>
<mdm:SrchRecord>
<mdm:MDMReqHeader>
<mdm:UserInfo>
<mdm:Username>zhangsan</mdm:Username>
<mdm:Token>d8712a0e8c49dc77c688f107d37972f8</mdm:Token>
</mdm:UserInfo>
<mdm:Page>1</mdm:Page>
</mdm:MDMReqHeader>
<mdm:MDMReqBody>
<mdm:SrchClause>
<mdm:Objectuid>basevoltage</mdm:Objectuid>
</mdm:SrchClause>
</mdm:MDMReqBody>
</mdm:SrchRecord>
</SOAP-ENV:Body>
</SOAP-ENV:Envelope>
步骤（1）中电网信息模型包括电网资源包、资产设备包、用电客户包、拓扑连接包、量测资源包以及公共支持包；电网资源包，用于描述电网中的变电站、线路和变压器之间的关系，以电力系统资源(Power System Resource)对象为核心来表示；所述资产设备包，用于描述资产以及资产与功能位置之间的关系，以资产(Asset)对象为核心来表示；所述用电客户包，用于描述电网中设备和客户之间的关系；所述拓扑连接包，用于描述电网中导电设备之间的连接关系；所述量测资源包，用于描述电网中的运行数据与电网资源的关系；所述公共支持包，用于提供组织、位置等供其他包使用的类以及全局数据类型定义；
如图1至图5所示，其中，每一个包包括一个或多个类图，用图形方式展示该包中的所有类及其关系；然后根据类的属性及与其它类的关系，用文字形式定义各个类；实现各个类之间的模型规范化关联关系，支持泛化、聚合、自聚合的关联模式。
步骤（1）包括以下几个子步骤：
1.1通过UML表达方法建立模型结构:建立实体类和虚拟类，并创建实体类和虚拟类的实体标识、中文标识、英文名称等，选择父级实体，实体类和虚拟类将继承父级实体所有属性，不用再次重建；建立属性的属性标识、中文标识、英文标识、描述、数据类型、长度、精度、是否主键、是否唯一、是否非空、是否在模型中显示；建立实体关系分类，如聚合、自聚合、继承、关系，关系类型有1-1、1-N、0-1等；
1.2生成模型物理表:将录入编辑好的电网信息模型数据发布新版本，发布后的版本用于物理表模型的建立和为数据服务提供电网信息模型依据；选择数据所在的服务器生成模型物理表，模型物理表将用于存储数据的表结构；模型反射提供报表统一出口的需求，模型反射将现有数据结构采用物理表反射技术生成可维护的界面模型，所述界面模型用于为微服务提供依据；
1.3建立数据质量校验策略：根据业务约束新建规则模板，例如网区符合最高值，线路承载能力最大值等；根据业务需求录入校验规则，如记录时间小于归档时间等，或从规则模板中选取；根据业务需求对数据进行校验，如每天、每月或每半小时执行一次数据校验，数据质量校验策略是采用微服务的方式进行提供；将数据质量校验的校验结果输出到对应日志中，日志中详细记录不符合校验规则的数据条数等信息，为告警信息提供依据，为数据的准确性、唯一性提供保障；
通过上述步骤依次录入电网信息模型中的IEC61970：：核心(Core)、IEC61970：：量测(Meas)、IEC61970：：拓扑(Topology)、IEC61970：：电线(Wires)、IEC61970：：保护(Protection)、IEC61968：：公共(Common)、IEC61968：：资产(Assets)包中模型类数据、属性、及其关联关系。
步骤（2）中的多系统包括省调OCS系统、各地级OCS系统、DMIS系统、节能发电调度系统、水调自动化系统、气象综合系统、各级PMS系统。
步骤（2）包括以下几个子步骤：
2.1配置数据源：ETL工具的数据源管理模块实现对数据源连接信息的管理功能，通过配置IP、用户名、密码等信息，实现对数据源的连接，该功能实现了数据源的新增、修改和删除功能，支持Oracle、Mysql、易鲸捷、SqlServer、Sybase和Ftp等类型数据源的连接；依次录入各业务系统、各级别系统以及各部门系统的源数据源，再录入数据支持平台的目标数据源信息；
2.2数据表管理：数据表管理实现采集数据表信息的管理功能，根据数据源和目标库进行分类管理，数据表管理还包括添加、删除数据表和创建目标表的功能；在源数据源中依次选择需要抽取的系统的数据表，选择目标源为数据支持平台后生成源数据表信息；根据源数据表需要生成数据支持平台目标表，在“数据表管理”功能的“数据源”中添加选择需要采集的各个系统的数据库地址；在“目标数据库”中添加选择数据支持平台的数据库地址，并执行创建目标表的操作；
2.3任务调度配置：任务调度配置为调度任务配置执行类型、执行时间和定时时间等信息；在新增调度页面填写调度名称，选择触发时间为夜间12点，执行时间为每日执行，配置好所述调度任务后在数据任务中选择使用；
2.4结构化数据任务：结构化数据任务实现对结构化数据的采集加载任务的管理功能，支持根据数据表原表抽取的模式，支持复杂SQL查询数据表和动态表查询自定义SQL抽取功能模式；依次添加任务，选择需要添加任务的数据表，并选择执行节点，根据实际需求设置调度时间为夜间12点、写入模式为智能插入，进行选项选择后完成操作；
ETL工具将自动在夜间12点进行各个系统数据源的结构化数据抽取至数据支持平台库中，后续步骤将抽取的数据整合转换后存入模型数据表中；
2.5非结构化数据任务：非结构化数据任务模块实现对非结构化数据的采集加载任务的管理功能，支持FTP和本地之间或者FTP和FTP之间非结构化数据的传输；
由于上述描述的系统中存在准实时数据，其系统数据存放方式大多采用E文件格式进行存放，因此，ETL工具特别支持非结构化数据任务的发布，将各个系统中的E格式文件传输至数据支持平台后进行分析转换成结构化数据；
2.6数据整合：以电网系统业务为基础将抽取至数据支持平台库中的数据用SQL语句分析整合后，转换成符合统一电网信息模型要求的数据形式，将数据插入模型对应的物理表结构，完成数据整合；
根据模型类包和属性的内容，梳理在各个系统物理表结构的散落位置，整理系统的业务特点及数据结构，对被集成的数据进行清洗；通过剔除原始数据中的错误、无效数据，按照统一的数据模型对原始数据进行转换，为后续的应用提供可信、可用、可靠的数据。
实例2，以OCS系统和PMS系统之间数据清理整合原则为例：
确定总体原则基于电网全景业务模型的规范要求，以OCS系统为基准，PMS系统为补充，按照电网全景业务模型进行数据集成、转换和处理，具体为：
2.6.1从OCS系统获取大用户、电厂、牵引站全部设备信息，确保此数据的完整性；
2.6.2超高压、220 kV变电站、线路这3大类由于同时存在OCS系统和PMS系统存在重复性，以OCS系统为主，从OCS系统获取超高压、220 kV变电站的厂站名称和线路名称信息，从PMS系统获取这三大类的设备名称和参数信息，确保信息的唯一性和完整性；
2.6.3其他OCS系统没有的厂站及设备信息，如110kV的变电站信息，全部从PMS系统获取；
2.6.4从PMS系统获取的设备信息，保留设备命名字段，新增调度命名字段，并按调度命名规则进行统一刷新；
2.6.5维护线路两端厂站信息，具体从PMS系统获取两端厂站信息补充到线路信息；
2.6.6建立一张OCS系统的厂站名称表，如有新增厂站和线路，以此表作为厂站的唯一性来源，根据此表更新PMS系统的设备信息；
根据以上原则将数据采集至数据支持平台库中，用SQL语句分析结构化数据整合后，转换成统一电网信息模型，将数据插入模型对应的物理表结构中；采用上述分析方法可整合DMIS系统、节能发电调度系统、水调自动化系统、气象综合系统、电网计量自动化系统，数据清理整合后，用SQL语句插入模型表结构完成所有系统的数据整合。
步骤（3）包括以下几个子步骤：
3.1启动部署资源服务管理器
启动命令为：
nohup java -jar/home/etl/migrate/diaodu/mforcecload/mforce-registry-2.0.0.war --config.location=/home/etl/migrate/diaodu/mforcecload/central-config >registry.out 2>&1
nohup java -jar
3.2启动部署权限管理微服务
启动命令为：
/home/etl/migrate/diaodu/mforcecload/mforce-authserver-2.0.0.war--config.host=127.0.0.1 >authserver.out 2>&1 &
3.3启动部署元数据微服务
启动命令为：
nohup java -jar /home/etl/migrate/diaodu/mforcecload/mforce-metadata-ms-2.0.0.jar--config.host=127.0.0.1 >metadata-ms.out 2>&1 &
3.4启动部署数据服务微服务
启动命令为：
nohup java -jar /home/etl/migrate/diaodu/mforcecload/mforce-dataservice-ms-2.0.0.jar --config.host=127.0.0.1 >dataservice-ms.out 2>&1 &
3.5启动部署微服务网关
启动命令为：
nohup java -jar /home/etl/migrate/diaodu/mforcecload/mforce-gateway-2.0.0.war --config.host=127.0.0.1 --server.port=8084 >gateway.out 2>&1 &
3.6启动部署数据质量校验微服务
启动命令为：
nohup java -jar /home/etl/migrate/diaodu/mforcecload/mforce-qualitycheck-ms-2.0.0.jar --config.host=127.0.0.1 --qc.tmp=/home/etl/migrate/diaodu/mforcecload/tmp/ >qualitycheck-ms.out 2>&1 &
经过上述步骤，完成微服务的启动，微服务将自动按照电网信息模型提供数据服务访问，供其它系统进行调用；每次电网信息模型进行新增或更改发布版本后，微服务自动依据模型建模的信息提供数据访问，不用再进行人工干涉，为后续业务扩展集成提供有利条件。
在上述步骤完成后，微服务已经可以提供使用，但由于没有经过安全认证，服务接口存在被恶意访问的可能，因此，需要进行访问权限认证才能保证正常的数据访问。
步骤4中的微服务访问提供两种数据形式：基于安全级别较高的SOAP的XML格式数据和基于灵活性较高的HTTP协议的RESTful格式数据。
实例3，XML格式：
<soap:Envelope xmlns:soap="http://schemas.xmlsoap.org/soap/envelope/">
<SOAP-ENV:Header xmlns:SOAP-ENV="http://schemas.xmlsoap.org/soap/envelope/"></SOAP-ENV:Header>
<soap:Body>
<SrchRecordResponse xmlns="http://mdm.com">
<Result>
<MDMRespHeader>
<Messages>
<RespMsg/>
<RespCode>Y</RespCode>
</Messages>
<TotalPage>5</TotalPage>
<Page>1</Page>
<TotalRows>100</TotalRows>
</MDMRespHeader>
<FIELD>
<KEY>ISDC</KEY>
<VALUE/>
</FIELD>
<FIELD>
<KEY>NOMINALVOLTAGE</KEY>
<VALUE>30</VALUE>
</FIELD>
<FIELD>
<KEY>OCSID</KEY>
<VALUE/>
</FIELD>
<FIELD>
<KEY>ALIASNAME</KEY>
<VALUE>±30V</VALUE>
</FIELD>
<FIELD>
<KEY>DESCRIPTION</KEY>
<VALUE/>
</FIELD>
<FIELD>
<KEY>LOCALNAME</KEY>
<VALUE/>
</FIELD>
<FIELD>
<KEY>MRID</KEY>
<VALUE>67</VALUE>
</FIELD>
<FIELD>
<KEY>NAME</KEY>
<VALUE>±30V</VALUE>
</FIELD>
<FIELD>
<KEY>PATHNAME</KEY>
<VALUE/>
</FIELD>
<FIELD>
<KEY>ROWNUM_</KEY>
<VALUE>40</VALUE>
</FIELD>
</Record>
</MDMRespBody>
</Result>
</SrchRecordResponse>
</soap:Body>
</soap:Envelope>
实例4，RESTFUL格式：
{"result":{"mdmrespHeader":{"messages":{"respMsg":"","respCode":"Y"},"page":"1","totalPage":"5","totalRows":"100"},"mdmrespBody":{"record":[{"objectuid":null,"field":[{"key":"ID","value":"26"},{"key":"ISDC","value":""},{"key":"NOMINALVOLTAGE","value":"1.5"},{"key":"OCSID","value":""},{"key":"ALIASNAME","value":"±1.5V"},{"key":"DESCRIPTION","value":""},{"key":"LOCALNAME","value":""},{"key":"MRID","value":"57"},{"key":"NAME","value":"±1.5V"},{"key":"PATHNAME","value":""},{"key":"ROWNUM_","value":"21"}],"subRecord":[]},{"objectuid":null,"field":[{"key":"ID","value":"30"},{"key":"ISDC","value":""},{"key":"NOMINALVOLTAGE","value":"2"},{"key":"OCSID","value":""},{"key":"ALIASNAME","value":"±2V"},{"key":"DESCRIPTION","value":""},{"key":"LOCALNAME","value":""},{"key":"MRID","value":"58"},{"key":"NAME","value":"±2V"},{"key":"PATHNAME","value":""},{"key":"ROWNUM_","value":"22"}],"subRecord":[]},{"objectuid":null,"field":[{"key":"ID","value":"34"},{"key":"ISDC","value":""},{"key":"NOMINALVOLTAGE","value":"2.4"},{"key":"OCSID","value":""},{"key":"ALIASNAME","value":"±2.4V"},{"key":"DESCRIPTION","value":""}"}],"subRecord":[]}]}}}。
以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于电网全景业务模型数据集成及数据服务的实现方法，其特征在于：包括以下几个步骤：
（1）统一电网信息模型的建立，规范建模：使用面向对象的概念将统一电网信息模型信息化，通过建模工具，使用建模语言表达方法建立模型结构，生成模型物理表，将统一电网信息模型定义成一组包；
所述建模工具采用UML建模工具；
具体包括以下几个子步骤：
1.1通过UML表达方法建立模型结构:建立实体类和虚拟类，并创建实体类和虚拟类的实体标识、中文标识、英文名称，选择父级实体，实体类和虚拟类将继承父级实体所有属性，不用再次重建；建立属性的属性标识、中文标识、英文标识、描述、数据类型、长度、精度、是否主键、是否唯一、是否非空、是否在模型中显示；建立实体关系分类；
1.2生成模型物理表：将录入编辑好的电网信息模型数据发布新版本，发布后的版本用于物理表结构的建立和为数据服务提供电网信息模型依据；选择数据所在的服务器生成模型物理表，模型物理表将用于存储数据的表结构；模型反射提供报表统一出口的需求，模型反射将现有数据结构采用物理表反射技术生成可维护的界面模型，所述界面模型用于为微服务提供依据；
1.3建立数据质量校验策略：根据业务约束新建规则模板；根据业务需求录入校验规则，或从规则模板中选取；根据业务需求对数据质量进行校验，数据质量校验策略是采用微服务的方式进行提供；将数据质量校验的校验结果输出到对应日志中，日志中详细记录不符合校验规则的数据条数；
（2）多系统数据的抽取：通过所述步骤（1）完成的电网信息模型的建立和物理表结构的生成，实现多系统数据的统一抽取工作；确定系统整合数据的内容，抽取各业务系统、各级别系统以及各部门系统中的数据，完成数据整合，使整合后的数据符合电网信息模型的数据要求，为后续微服务访问提供数据支撑；
（3）微服务的部署：采用微服务的架构进行数据支持平台的开发，将复杂的业务，巨大的单体式应用分解为多个相对较小的服务来进行开发；在提供的原有功能不变的情况下，应用被分解成多个可管理的分支或者服务；并启动微服务；
（4）微服务访问：所述微服务访问用于对外提供数据服务，通过访问微服务器，获取多系统的电网信息数据；微服务访问包括权限认证和服务访问，在对微服务进行数据访问时，需要进行身份验证。
2.如权利要求1所述的基于电网全景业务模型数据集成及数据服务的实现方法，其特征在于：所述步骤（1）中电网信息模型包括电网资源包、资产设备包、用电客户包、拓扑连接包、量测资源包以及公共支持包；所述电网资源包，用于描述电网中的变电站、线路和变压器之间的关系，以电力系统资源对象为核心来表示；所述资产设备包，用于描述资产以及资产与功能位置之间的关系，以资产对象为核心来表示；所述用电客户包，用于描述电网中变压器和客户之间的关系；所述拓扑连接包，用于描述电网中导电设备之间的连接关系；所述量测资源包，用于描述电网中的运行数据与电网资源的关系；所述公共支持包，用于提供组织、位置供其他包使用的类以及全局数据类型定义。
3.如权利要求1所述的基于电网全景业务模型数据集成及数据服务的实现方法，其特征在于：所述步骤（2）中的多系统数据抽取采用ETL工具。
4.如权利要求3所述的基于电网全景业务模型数据集成及数据服务的实现方法，其特征在于：所述步骤（2）中的多系统包括省调OCS系统、各地级OCS系统、DMIS系统、节能发电调度系统、水调自动化系统、气象综合系统、各级PMS系统。
5.如权利要求4所述的基于电网全景业务模型数据集成及数据服务的实现方法，其特征在于：所述步骤（2）包括以下几个子步骤：
2.1配置数据源：数据源管理模块实现对数据源连接信息的管理功能，通过配置IP、用户名、密码信息，实现对数据源的连接；依次录入各业务系统、各级别系统以及各部门系统的源数据源，再录入数据支持平台的目标数据源信息；
2.2数据表管理：数据表管理实现采集数据表信息的管理，根据数据源和目标库进行分类管理，添加、删除数据表和创建目标表；在源数据源中依次选择需要抽取的系统的数据表，选择目标源为数据支持平台后生成源数据表信息；根据源数据表需要生成数据支持平台目标表，在“数据表管理”功能的“数据源”中添加选择需要采集的各个系统的数据库地址；在“目标数据库”中添加选择数据支持平台的数据库地址，并执行创建目标表的操作；
2.3任务调度配置：任务调度配置为调度任务配置执行类型、执行时间和定时时间；在新增调度页面填写调度名称，选择触发时间，执行时间，配置好所述调度任务后在数据任务中选择使用；
2.4结构化数据任务：结构化数据任务实现对结构化数据的采集加载任务的管理功能，支持根据数据表原表抽取的模式，支持复杂SQL查询数据表和动态表查询自定义SQL抽取功能模式；依次添加任务，选择需要添加任务的数据表，并选择执行节点，根据实际需求设置调度时间、写入模式，进行选项选择后完成操作；
2.5非结构化数据任务：非结构化数据任务模块实现对非结构化数据的采集加载任务的管理，支持FTP和本地之间或者FTP和FTP之间非结构化数据的传输；
2.6数据整合：以电网系统业务为基础将抽取至数据支持平台库中的数据用SQL语句分析整合后，转换成符合统一电网信息模型要求的数据形式，将数据插入模型对应的物理表结构，完成数据整合。
6.如权利要求5所述的基于电网全景业务模型数据集成及数据服务的实现方法，其特征在于：所述步骤（3）包括以下几个子步骤：
3.1启动部署资源服务管理器；
3.2启动部署权限管理微服务；
3.3启动部署元数据微服务；
3.4启动部署数据服务微服务；
3.5启动部署微服务网关；
3.6启动部署数据质量校验微服务；
经过上述步骤，完成微服务的启动，微服务将自动按照电网信息模型提供数据服务访问，供其它系统进行调用；每次电网信息模型进行新增或更改发布版本后，微服务自动依据模型建模的信息提供数据访问。
7.如权利要求6所述的基于电网全景业务模型数据集成及数据服务的实现方法，其特征在于：所述步骤（4）中的微服务访问提供两种数据形式：基于SOAP的XML格式数据和基于HTTP协议的RESTful格式数据。
CN201710516052.8A 2017-06-29 2017-06-29 基于电网全景业务模型数据集成及数据服务的实现方法 Active CN107357856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710516052.8A CN107357856B (zh) 2017-06-29 2017-06-29 基于电网全景业务模型数据集成及数据服务的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710516052.8A CN107357856B (zh) 2017-06-29 2017-06-29 基于电网全景业务模型数据集成及数据服务的实现方法

Publications (2)

Publication Number Publication Date
CN107357856A CN107357856A (zh) 2017-11-17
CN107357856B true CN107357856B (zh) 2020-07-14

Family

ID=60273687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710516052.8A Active CN107357856B (zh) 2017-06-29 2017-06-29 基于电网全景业务模型数据集成及数据服务的实现方法

Country Status (1)

Country Link
CN (1) CN107357856B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052634B (zh) * 2017-12-20 2021-11-12 江苏瑞中数据股份有限公司 一种电网生产控制大区与资产管理大区多信息系统的集成方法
CN108040128A (zh) * 2018-01-12 2018-05-15 国网福建省电力有限公司 一种基于kettle实现档案数据自动上传同步的方法
CN110097238A (zh) * 2018-01-29 2019-08-06 全球能源互联网研究院有限公司 一种电能质量扰动事件展示方法及系统
CN108647265B (zh) * 2018-04-28 2021-08-27 新疆熙菱信息技术股份有限公司 基于多平台数据交互式系统
CN108647320B (zh) * 2018-05-10 2021-01-19 国网冀北电力有限公司秦皇岛供电公司 基于gis的配电自动化主站系统
CN108710696A (zh) * 2018-05-23 2018-10-26 国网浙江省电力有限公司电力科学研究院 一种电网数据挖掘分析平台及其实现方法
CN109038832A (zh) * 2018-09-19 2018-12-18 上海许继电气有限公司 基于微服务架构的变电站辅助监控系统
CN109857570A (zh) * 2018-12-29 2019-06-07 航天信息股份有限公司 业务系统的标准化数据类微模块
CN109902105B (zh) * 2019-02-28 2021-08-17 携程旅游网络技术（上海）有限公司 用于微服务架构的数据查询系统、方法、设备及存储介质
CN110069559A (zh) * 2019-03-21 2019-07-30 中国人民解放军陆军工程大学 一种具有高度自控性的异构信息系统数据分析和集成方法
CN110008045B (zh) * 2019-04-12 2021-12-10 深圳乐信软件技术有限公司 微服务的聚合方法、装置、设备及存储介质
CN110781248A (zh) * 2019-09-27 2020-02-11 浙江省北大信息技术高等研究院 一种多源异构数据采集方法及装置
CN110780856B (zh) * 2019-10-16 2023-10-20 南方电网科学研究院有限责任公司 一种基于微服务的用电数据发布平台
CN111860854B (zh) * 2019-12-06 2024-05-07 北京嘀嘀无限科技发展有限公司 模型特征管理系统、模型特征管理方法及存储介质
CN111210126A (zh) * 2019-12-27 2020-05-29 中国电力科学研究院有限公司 一种用于泛在可联电力能源系统的应用程式系统及方法
CN111191180A (zh) * 2020-01-15 2020-05-22 百望股份有限公司 发票领域的微服务系统的构建方法、装置及存储介质
CN111752937A (zh) * 2020-06-30 2020-10-09 海南电网有限责任公司 基于微服务的数据纠偏方法、系统及可读介质
CN111797178A (zh) * 2020-07-06 2020-10-20 国网安徽省电力有限公司 一种基于报表工具的数据采集与处理方法
CN112307103A (zh) * 2020-10-30 2021-02-02 山东浪潮通软信息科技有限公司 大数据变现方法、装置及计算机可读介质
CN113642299A (zh) * 2021-07-30 2021-11-12 国网江苏省电力有限公司南通供电分公司 一种基于电网统计报表一键生成的方法
CN115905376A (zh) * 2021-08-17 2023-04-04 中兴通讯股份有限公司 数据处理方法、数据查询方法、设备及存储介质
CN113888139A (zh) * 2021-10-29 2022-01-04 广东电网有限责任公司 一种变电站数据资产统一调管系统的构建方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609547A (zh) * 2012-03-29 2012-07-25 深圳供电局有限公司 数字供电电网全景模型维护方法及其系统
CN102722786A (zh) * 2012-05-28 2012-10-10 广东电网公司电力调度控制中心 电网专业系统的智能调度支持平台
CN102750606A (zh) * 2012-05-16 2012-10-24 中国电力科学研究院 一种电网调度云系统
CN103700032A (zh) * 2013-12-19 2014-04-02 国家电网公司 电网调控一体化全景数据平台的构建方法
CN104200402A (zh) * 2014-09-11 2014-12-10 国家电网公司 一种电网多个数据源的源数据发布方法及系统
CN106056481A (zh) * 2016-06-23 2016-10-26 中国南方电网有限责任公司电网技术研究中心 一种配用电多源数据系统及多源数据的处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609547A (zh) * 2012-03-29 2012-07-25 深圳供电局有限公司 数字供电电网全景模型维护方法及其系统
CN102750606A (zh) * 2012-05-16 2012-10-24 中国电力科学研究院 一种电网调度云系统
CN102722786A (zh) * 2012-05-28 2012-10-10 广东电网公司电力调度控制中心 电网专业系统的智能调度支持平台
CN103700032A (zh) * 2013-12-19 2014-04-02 国家电网公司 电网调控一体化全景数据平台的构建方法
CN104200402A (zh) * 2014-09-11 2014-12-10 国家电网公司 一种电网多个数据源的源数据发布方法及系统
CN106056481A (zh) * 2016-06-23 2016-10-26 中国南方电网有限责任公司电网技术研究中心 一种配用电多源数据系统及多源数据的处理方法

Also Published As

Publication number Publication date
CN107357856A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107357856B (zh) 基于电网全景业务模型数据集成及数据服务的实现方法
CN107402976B (zh) 一种基于多元异构模型的电网多源数据融合方法及系统
Munshi et al. Big data framework for analytics in smart grids
CN109711685A (zh) 一种政务大数据处理平台
CN109829125A (zh) 展示电网调度运行数据的用户管理平台
Cavalieri et al. Integration of IEC 61850 SCL and OPC UA to improve interoperability in Smart Grid environment
CN107730394A (zh) 基于大数据的全景电网多元异构数据融合方法
CN102722764A (zh) 一体化电网优化辅助决策分析系统
Liu et al. Study on data management of fundamental model in control center for smart grid operation
CN112307003B (zh) 电网数据多维辅助分析方法、系统、终端及可读存储介质
CN103825755A (zh) 电力二次系统的建模方法与系统
CN108777637A (zh) 一种支持服务器异构的数据中心综合管理系统和方法
CN111524027B (zh) 一种电力信息统计方法、装置、设备及存储介质
KR101397380B1 (ko) 메타모델링 통합시스템
CN114153920A (zh) 大数据边平台与方法
CN104361457A (zh) 配电网生产检修管理的信息建模方法、交互系统及方法
CN102929899A (zh) 一种基于中间表的分布式报表系统
CN104200331A (zh) 一种电力系统的电网模型拼接方法及系统
KR101397381B1 (ko) 메타모델링 통합방법
CN103489139A (zh) 城市配电网规划综合分析与管理系统
CN112651872A (zh) 一种基于数据中台的社区综合治理的系统和方法
CN114281790A (zh) 一种多类型负荷资源聚合商接入系统及方法
CN115934856A (zh) 一种构造综合能源数据资产的方法和系统
CN112150027A (zh) 供电服务指挥平台系统
CN111538720A (zh) 电力行业基础数据清理的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant