CN108446396B - 一种基于改进型cim模型的电力数据处理方法 - Google Patents

Abstract

本发明公开了一种基于改进型CIM模型的电力数据处理方法，先将不同系统中的数据按照数据的来源和属性进行按类存储，再依次进行数据的抽取、清洗、转换和加载，从而搭建出改进型的CIM模型，最后在集成总线上利用改进型的CIM模型完成对不同系统来源的数据的ETL；这样将电力系统的CIM模型引入到ETL流程中，解决了传统ETL方法在处理来源多样的电力系统数据时不能统一数据模型的问题，提升了ETL流程的整体功效，使得电力数据得到高效的整合。

Description

一种基于改进型CIM模型的电力数据处理方法

技术领域

本发明属于电力大数据处理技术领域，更为具体地讲，涉及一种基于改进型CIM模型的电力数据处理方法。

背景技术

ETL(Extract-Transform-Load)是将业务系统的数据经过抽取、清洗转换和加载的过程。数据的抽取，主要是指从数据源中获取数据的过程。数据的清洗转换时指将重复的数据、错误的数据、不完整的数据进行清理，并完成不一致的数据转换以及数据粒度的转换。数据的装载指将转换和加工后的数据装载到目的数据库中的过程。ETL的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

CIM(Common Information Model)，是由IEC制定的一种描述电力系统所有对象逻辑结构和关系的信息模型。通过对电力工业的标准对象模型的定义，CIM提供了一种表示电力系统对象包括其属性和相互关系的标准。CIM模型包含从发电、输电、配电等环节，到资产管理、生产管理、基础设施管理、配网管理、地理信息系统、设备检修管理等几乎所有和电网企业相关领域实物的精确描述。通过CIM模型，数据被集中统一管理，电力设备资产、电网的拓扑结构以及SCADA历史数据均被集中存储，消除了电力系统中的信息孤岛。

文献“范军丽，王一蓉，王艳茹.面向电力调度控制系统的ETL技术应用研究[J].工业控制计算机,2016,29(9):34-35.”介绍了电力系统调度数据的现状以及ETL技术的应用。然而传统的ETL技术将着重于抽取、清洗转换和装载的工作流，而不能有效将来自不同信息系统的数据进行有效地整合。电力系统数据量巨大，而且分散于不同的系统之中。如监控数据、在线监测信息等电网及设备运行数据来自于EMS系统；组织机构、厂站信息、设备台账、设备检修、设备故障和缺陷等基础管理数据来自于OMS系统；设备的空间位置分布等地理信息数据来源于GIS系统。不同的系统之间的数据交互存在瓶颈，使得存在于各个系统的数据较难有效整合和利用。以变压器为例，在生产管理系统中，变压器的运行状态描述字段分为“未投运”和“在运”两种，而营销系统中却分为“运行”、“拆除”和“停运”三种。各信息系统数据的不统一导致系统间数据信息交互困难。因此，将传统的ETL流程应用于电力系统并不能很好地解决数据的整合问题。

文献“王林青,顾建炜,曹一家,等.基于CIM/CIS的电力实时信息平台设计与实现[J].电力系统及其自动化学报,2008,20(1):46-51.”面对当前电力企业信息异构的现状看，提出一个基于CIM/CIS的电力企业实时信息集成平台结构，实现了对电力企业内部实时信息的有效管理。然而文献中提出的方法将从不同信息系统获得的数据直接送入基于IEC61968/61970的适配器解释翻译，缺乏对数据的清洗和转换，数据中会存在重复，空值以及异常值，送入解释器的数据质量不能有效保证，不能达到预期的整合效果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于改进型CIM模型的电力数据处理方法，从不同信息系统获取的数据同时实现有效抽取、清洗、转换和加载，从而达到高效地整合和统一的管理，为电力数据的分析挖掘以及数据的可视化奠定基础。

为实现上述发明目的，本发明一种基于改进型CIM模型的电力数据处理方法，其特征在于，包括以下步骤：

(1)、根据数据的来源和属性进行按类存储

(1.1)、将具有一定保密性要求的信息数据存储到关系型数据库MySQL；

(1.2)、将随着电网的运行不断增长的电力数据存储到分布式数据库HBase；

(1.3)、将规范、规章制度的文件数据存储到分布式文件系统HDFS；

(2)、根据电力系统业务需求，利用不同抽取方式(Extract)从不同的数据库中抽取需要的数据

(2.1)、利用SQL语句在MySQL中抽取需要的信息数据；

(2.2)、利用增量抽取方式在HBase中抽取自上次抽取后新增或修改的电力数据；

(2.3)、利用全量抽取方式在HDFS中抽取所有存储的文件数据；

(3)、对抽取的数据进行清洗

(3.1)、将每一次抽取到的数据作为一个数据字段，并加入到一数据集中，然后遍历该数据集，检测数据集中每个数据字段的每个字母，如果字母是小写字母，则全部统一为大写字母，如果字母是不标准罗马字母，则全部替换为标准类型的罗马字母；

(3.2)、再次遍历该数据集，检测数据字段前后是否存在Tab健或空格，如果存在，则全部剔除；

(4)、利用合适的适配器对清洗后的数据进行转换处理

(4.1)、判断清洗后的数据的来源，再根据来源选择合适的适配器，并将预处理后的数据送入到选择的适配器中；

(4.2)、逐个判断清洗后的数据字段是否存在于适配器的标准字段库中，如果存在，则将该数据字段和标准字段关联，完成该数据字段的解释，并作为最终输出数据；如果不存在，则进入步骤(4.3)；

(4.3)、计算该数据字段与标准字段库中的字段的相似度sim；

其中，Com为两个数据字段的公共字符长度，Leng为用于比对的该数据字段的长度；

(4.4)、设定相似度阈值，再将相似度小于阈值的数据字段剔除，其余的作为最终输出数据；

(5)、利用适配器的输出数据构建改进型CIM模型

(5.1)、根据适配器的输出数据的属性信息，定位数据字段在CIM模型中所属的类别；再依据数据字段的参数信息，定位数据字段在所属类别中的对象，并将数据字段和CIM模型中的对象进行映射；

(5.2)、根据CIM模型中定义的类中对象的相互关系，建立映射后的数据字段间的拓扑结构；

(5.3)、将适配器的输出数据按照每个数据字段送入到CIM提供的对应容器中，按照拓扑结构搭建出改进型的CIM模型；

(6)、将改进型CIM模型加载到集成总线，在集成总线上，当有新的不同类数据送入到改进型CIM模型时，通过改进型CIM模型同时完成不同类数据的ETL，即抽取、清洗、转换和加载处理。

本发明的发明目的是这样实现的：

本发明一种基于改进型CIM模型的电力数据处理方法，先将不同系统中的数据按照数据的来源和属性进行按类存储，再依次进行数据的抽取、清洗、转换和加载，从而搭建出改进型的CIM模型，最后在集成总线上利用改进型的CIM模型完成对不同系统来源的数据的ETL；这样将电力系统的CIM模型引入到ETL流程中，解决了传统ETL方法在处理来源多样的电力系统数据时不能统一数据模型的问题，提升了ETL流程的整体功效，使得电力数据得到高效的整合。

同时，本发明一种基于改进型CIM模型的电力数据处理方法还具有以下有益效果：

(1)、与传统的ETL方法相比，本发明通过改进型CIM模型的复杂多样性，使分散放置的电力数据得到有效的整合，消除了电力系统中的信息孤岛，为应用层提供了统一的数据存取服务；

(2)、本发明通过将改进型CIM模型整合过程加入到传统的ETL流程中，使得数据的整合融入抽取，清洗、转换和加载的流程中，整个过程更加高效有序。

附图说明

图1是本发明一种基于改进型CIM模型的电力数据处理方法流程图；

图2是数据的按类存储示意图；

图3是改进型CIM模型的数据整合示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明一种基于改进型CIM模型的电力数据处理方法流程图。

在本实施例中，以电力大数据用户用电行为分析为例，验证本发明的有效性。本实施例需要用到用电信息数据、GIS数据、客户服务数据以及气象数据等用户侧的大数据。如图1所示，我们对本发明一种基于改进型CIM模型的电力数据处理方法进行详细说明，具体包括以下步骤：

S1、根据数据的来源和属性进行按类存储

S1.1、将地理坐标、电网模型、人员信息、厂站信息、用户的用电数据以及设备档案等具有一定保密性要求的信息数据存储到关系型数据库MySQL；

在本实施例中是将用户的用电信息数据存储到关系型数据库MySQL中；

S1.2、将遥信数据、遥测数据、遥控数据、故障录波保护动作等会随着电网的运行不断增长的数据存储到分布式数据库HBase；

在本实施例中是将客户服务数据和气象数据存储到分布式数据库HBase中，如图2所示；

S1.3、将标准的规范、规章制度等文件数据存储到分布式文件系统HDFS；

在本实施例中是将GIS数据以txt文件的形式存储在分布式文件系统HDFS中。

S2、根据电力系统业务需求，需要将来自不同系统的数据从相应的数据库中取出来，在此，我们利用不同抽取方式从不同的数据库中抽取需要的数据；

S2.1、利用SQL语句在MySQL中抽取需要的信息数据；

在本实施例中是将存储在在关系型数据库MySQL中的相应时间段的用电信息数据抽取出来；

S2.2、将存储在HBase中的遥信，遥测数据以及PMU记录的数据等随着电网运行不断增长的数据采用增量抽取，只获取自上次抽取以来新增的或修改的数据；

在本实施例中是将存储在分布式数据库HBase中的客户服务数据抽取出来，采用增量抽取的方式，抽取新增的最新的数据；

S2.3、将存储在HDFS分布式文件系统中的txt文件、excel文件以及xml格式的文件数据采用全量抽取，将这些数据从数据库中原封不动的取出来；

在本实施例中是将存储到HDFS中的GIS数据采用全量抽取方式，从数据库中原封不动的取出来。

S3、对抽取的数据进行清洗

S3.1、将每一次抽取到的数据作为一个数据字段，并加入到一数据集中，然后遍历该数据集，检测数据集中每个数据字段的每个字母，如果字母是小写字母，则全部统一为大写字母，如果字母是不标准罗马字母，则全部替换为标准类型的罗马字母；

S3.2、再次遍历该数据集，检测数据字段前后是否存在Tab健或空格，如果存在，则全部剔除；

S4、利用合适的适配器对清洗后的数据进行转换处理

S4.1、判断清洗后的数据的来源，再根据来源选择合适的适配器，并将预处理后的数据送入到选择的适配器中；

在本实施例中，不同的适配器中包含不同类型数据所对应的标准字段库，因此，我们将用户的用电数据和客户的服务数据送入IEC 61968-9型适配器；GIS系统数据送入IEC61968-13型适配器；气象数据属于外部数据，送入IEC 61970型适配器；

S4.2、逐个判断清洗后的数据字段是否存在于适配器的标准字段库中，如果存在，则将该数据字段和标准字段关联，完成该数据字段的解释，并作为最终输出数据；如果不存在，则进入步骤S4.3；

S4.3、计算该数据字段与标准字段库中的字段的相似度sim；

其中，Com为两个数据字段的公共字符长度，Leng为用于比对的该数据字段的长度；

S4.4、设定相似度阈值，再将相似度小于阈值的数据字段剔除，其余的作为最终输出数据；

S5、利用适配器的输出数据构建改进型CIM模型

S5.1、根据适配器的输出数据的属性信息，定位数据字段在CIM模型中所属的类别；再依据数据字段的参数信息，定位数据字段在所属类别中的对象，并将数据字段和CIM模型中的对象进行映射；

S5.2、根据CIM模型中定义的类中对象的相互关系，建立映射后的数据字段间的拓扑结构；

S5.3、将适配器的输出数据按照每个数据字段送入到CIM提供的对应容器中，按照拓扑结构搭建出改进型的CIM模型；

如图3所示，将用电信息数据、GIS数据、客户服务数据以及气象数据等用户侧的数据实现了按类存储，清洗、转换并完成了高效的整合，为用户用电行为分析及可视化展示提供了可靠的数据源。

S6、将改进型CIM模型加载到集成总线，在集成总线上，当有新的不同类数据送入到改进型CIM模型时，通过改进型CIM模型同时完成不同类数据的ETL，即抽取、清洗、转换和加载处理。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于改进型CIM模型的电力数据处理方法，其特征在于，包括以下步骤：

(1)、根据数据的来源和属性进行按类存储

(1.1)、将具有一定保密性要求的信息数据存储到关系型数据库MySQL；

(1.2)、将随着电网的运行不断增长的电力数据存储到分布式数据库HBase；

(1.3)、将规范、规章制度的文件数据存储到分布式文件系统HDFS；

(2)、根据电力系统业务需求，利用不同抽取方式从不同的数据库中抽取需要的数据

(2.1)、利用SQL语句在MySQL中抽取需要的信息数据；

(2.2)、利用增量抽取方式在HBase中抽取自上次抽取后新增或修改的电力数据；

(2.3)、利用全量抽取方式在HDFS中抽取所有存储的文件数据；

(3)、对抽取的数据进行清洗

(3.1)、将每一次抽取到的数据作为一个数据字段，并加入到一数据集中，然后遍历该数据集，检测数据集中每个数据字段的每个字母，如果字母是小写字母，则全部统一为大写字母，如果字母是不标准罗马字母，则全部替换为标准类型的罗马字母；

(3.2)、再次遍历该数据集，检测数据字段前后是否存在Tab健或空格，如果存在，则全部剔除；

(4)、利用合适的适配器对清洗后的数据进行转换处理

(4.1)、判断清洗后的数据的来源，再根据来源选择合适的适配器，并将预处理后的数据送入到选择的适配器中；

(4.2)、逐个判断清洗后的数据字段是否存在于适配器的标准字段库中，如果存在，则将该数据字段和标准字段关联，完成该数据字段的解释，并作为最终输出数据；如果不存在，则进入步骤(4.3)；

(4.3)、计算该数据字段与标准字段库中的字段的相似度sim；

其中，Com为两个数据字段的公共字符长度，Leng为用于比对的该数据字段的长度；

(4.4)、设定相似度阈值，再将相似度小于阈值的数据字段剔除，其余的作为最终输出数据；

(5)、利用适配器的输出数据构建改进型CIM模型

(5.1)、根据适配器的输出数据的属性信息，定位数据字段在CIM模型中所属的类别；再依据数据字段的参数信息，定位数据字段在所属类别中的对象，并将数据字段和CIM模型中的对象进行映射；

(5.2)、根据CIM模型中定义的类中对象的相互关系，建立映射后的数据字段间的拓扑结构；

(5.3)、将适配器的输出数据按照每个数据字段送入到CIM提供的对应容器中，按照拓扑结构搭建出改进型的CIM模型；

(6)、将改进型CIM模型加载到集成总线，在集成总线上，当有新的不同类数据送入到改进型CIM模型时，通过改进型CIM模型同时完成不同类数据的ETL，即抽取、清洗、转换和加载处理。

2.根据权利要求1所述的一种基于改进型CIM模型的电力数据处理方法，其特征在于，所述的相似度阈值设定为80％。

Images