CN111221794A - 配电网广域量测控制系统多源数据融合方法 - Google Patents

Abstract

配电网广域量测控制系统多源数据融合方法，涉及配电网数据融合技术领域，该配电网广域量测控制系统多源数据融合方法包括三个步骤，步骤一、将多源数据分类存储至不同数据集中；步骤二、对所有数据进行预处理；步骤三、统一所有数据的标准和类型，以统一的语言形式实现数据之间的交互。本配电网广域量测控制系统多源数据融合方法可以有效的实现配电网多源数据之间的交互、关联、融合。

Description

配电网广域量测控制系统多源数据融合方法

技术领域

本发明涉及配电网数据融合技术领域，尤其指一种配电网广域量测控制系统多源数据融合方法。

背景技术

“数据融合”是一种多层次、多方面的处理过程，包括对多源数据的检测、关联、估计和综合，以得到精确的状态和身份估计以及完整、及时的战场态势和威胁估计。

随着智能电网的建设，越来越多的量测终端或系统布置于配电网，比如配网微型同步相量测量装置（D-PMU），高级量测体系（AMI）这些设备与传统的配网SCADA系统一起构成新的配电网混合量测与控制系统。另一方面，由于分布式新能源和电动汽车在配电网的广泛接入，需要进行新能源出力预测，电动汽车充电管理，从而使得逆变器、气象站、充电桩这些位置的数据变得十分重要。所有的这些数据在时间、空间、频率、维度、格式上都不尽相同，因此研究配电网多源数据融合技术对于某些需要用到多种类型数据的应用来说十分必要。举例来说，传统的SCADA系统量测装置，如开闭所终端设备（DTU），馈线终端设备（FTU）、配变终端设备（TTU）的数据采集频率为几秒钟到几分钟一次，而新型 D-PMU 采集频率达到每秒 30-60 次。在精度方面，D-PMU的电压电流幅值量测相对误差≤0.2%，频率量测误差＜0.005Hz，相角误差＜0.05°，远远高于传统的量测设备。由于配置了时间同步模块，D-PMU采集数据均带有时标信息，授时精度≤50us。然而，不同于PMU在主网广域量测系统的大规模布置，D-PMU装置的应用在我国还处于起步阶段，因此如何解决 SCADA 系统数据与D-PMU数据共存的问题，也就是考虑SCADA系统量测装置与D-PMU装置在采集频率、数据精度以及采集信息方面的差异，有效的将两类数据进行关联、融合是实现配网可观、可控的必要条件。

发明内容

本发明提供一种配电网广域量测控制系统多源数据融合方法，用于解决传统配电网中多源数据难以交互与融合的问题。

为了解决上述技术问题，本发明采用如下技术方案：一种配电网广域量测控制系统多源数据融合方法，包括以下步骤：

S01，将多源数据分类存储至不同数据集中；

S02，对所有数据进行预处理；

S03，统一所有数据的标准和类型，以统一的语言形式实现数据之间的交互。

进一步地，所述多源数据包括动态量测数据和静态数据，在步骤S01中，所述动态量测数据进入Spark架构的RDD中，所述静态数据进入Hadoop架构的HDFS中。

更进一步地，在步骤S02中，所述预处理包括对数据进行校核、清洗、修正和标记。

更进一步地，在步骤S03中，根据IEC61850标准建立D-PMU的拓扑结构并生成对应的SCD文件和ICD文件，将符合CIM标准的SCADA系统的拓扑结构映射成符合IEC61850标准的拓扑结构，同时对SCADA数据类型进行对应、扩展和修改。

再进一步地，在建立D-PMU的拓扑结构时，保留D-PMU的GPS接收模块、时间同步模块、A/D转换模块、滤波模块、相量估计模块和控制模块，并扩展采样装置、通讯链路、相量计算单元、时钟同步单元和守时模块。

再进一步地，在将符合CIM标准的SCADA系统的拓扑结构映射成符合IEC61850标准的拓扑结构时，CIM静态文件与IEC61850的SCD文件及ICD文件形成静态映射，CIM动态文件与IEC61850的量测数据属性及数据类型形成动态映射。

优选地，在对SCADA数据类型进行对应、扩展和修改时，先确定CIM标准与IEC61850标准之间存在相互对应关系和不存在相应关系的数据类型，然后对可以配对的数据类型进行配对，对不能配对的数据类型进行修改，IEC61850标准中的基本数据类型对应CIM标准中的原始类、复合类、枚举类，IEC61850标准中的结构属性类对应CIM标准中的特有数据类型，IEC61850标准中的抽象接口服务类对应CIM标准中的原始类、复合类、特有数据类型。

优选地，所述动态数据进入Spark架构的RDD中后，采用Spark技术对D-PMU数据进行前置解析，包括以下步骤：

1）通过IDEA向D-PMU模拟器里对应的socket端口发送配置命令，D-PMU模拟器接收配置命令并产生数据；

2）通过连接 TCP 服务端口， Spark获取D-PMU模拟器产生的数据流InputDstream，对每一秒内获得的数据 Dstream 进行分割，并对分割后的数据Dstream调用foreachRDD算子，对每一个 RDD里的每一个partition的数据根据解析标准进行解析，最后按指定格式将解析后的数据存入csv文件中。

本发明根据配电网多源数据的特点，提出了一种配电网广域量测控制系统多源数据融合方法，具体来说，本发明通过对D-PMU的模块进行扩展以及建立统一的信息结构解决了数据的互操作性问题，使得配电网可以以统一的语言形式实现多源数据之间的交互、关联、融合，提高异构数据源的集成度，并利用Spark的分布式处理技术解决了流数据的实时处理问题，促进大规模数据的深度融合、挖掘和利用。

附图说明

图1为本发明所涉配电网广域量测控制系统多源数据融合方法的流程图；

图2为IEC61850标准和CIM标准的文件之间映射关系图；

图3为IEC61850标准定义的三种数据类型之间的关系图；

图4为IEC61850标准和CIM标准之间的数据类型匹配关系图；

图5为广州南沙示范区110kV远安变电站1#主变下的F2、F5、F9三条馈线的拓扑结构图；

图6为广州南沙示范区110kV远安变电站1#主变下F2馈线的IEC61850标准拓扑结构图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

在阐述本发明之前，需要说明的是，为了解决电网中不同的信息与通信协议之间的兼容性与互操作性问题，国际电工委员会提出了多个标准与规范，其中IEC61968-301（CIM）标准和IEC61850两个标准得到行业的普遍认同，前者针对SCADA（数据采集与监测控制系统），EMS（能量管理系统），DMS（配网管理系统）等电力控制中心的的数据交互，而后者针对智能变电站领域的互操作性问题，D-PMU在物理上包含6个主要部分：GPS接受模块，时间同步模块，A/D转换模块，滤波模块，相量估计模块和控制模块，它的设计符合IEC 61850规范。

基于上述分析，本发明提供一种配电网广域量测控制系统多源数据融合方法，该方法主要包括三大步骤，具体如下。

S01，将多源数据分类存储至不同数据集中。

配电网数据主要可以分为动态数据（动态的量测数据，包括：D-PMU数据、SCADA数据、AMI数据、计量数据、光伏数据、气象数据、柔性负荷数据、电动汽车数据）和静态数据（静态的设备或拓扑结构数据，包括：台账数据、GIS数据），如图1所示，本实施方式中配电网的动态数据进入Spark架构特有的RDD（弹性分布式数据集）中，而静态数据进入Hadoop架构的HDFS（Hadoop分布式数据系统）中，如此分类存储的目的在于，可以采用Spark架构对流数据进行融合处理，Hadoop架构对批数据进行融合处理，两种处理方式的不同点在于，流式计算是当在线数据到达后在内存中直接进行数据的实时计算，而且计算的中间结果也将缓存在内存中，从而能够对高密度数据进行快速的处理，而批处理是先将静态数据存储在HDFS中，然后对静态数据进行离线处理，在这些处理过程中，Spark架构和Hadoop架构通过把工作并发的分配给多个分布式的节点，从而可以大大提高数据处理的效率。

值得注意的是，配电网的动态数据进入Spark架构的RDD中后，宜采用Spark技术对D-PMU数据进行前置解析，该解析的方法包括以下步骤：

1）通过IDEA向D-PMU模拟器里对应的socket端口发送“CMD_RESETCFG2、CFG2配置报文、上传子站CFG2报文、CMD_HEART、打开实时数据”五条配置命令，并通过心跳命令持续不断的连通模拟器的端口号，持续的发送数据，使模拟器能够产生数据。

2）通过连接 TCP 服务端口， Spark获取D-PMU模拟器产生的数据流InputDstream，对每一秒内获得的数据 Dstream 进行分割，并对分割后的数据Dstream调用foreachRDD算子，对每一个 RDD里的每一个partition的数据根据解析标准进行解析，最后按指定格式将解析后的数据存入csv文件中。具体来说可以分为以下六个步骤：

（1）通过spark对流数据处理的框架，设定好时间切片的时间，这个时间可以是毫秒级的，这里暂定设置为 1S；

（2）通过写一个自定义的数据输入源，先将读入的十六进制的 D-PMU数据，每一个字节间用一个空格分开，以防出现乱码；

（3）接收到的数据将以时间为切片放入一个Dstream的数据流中，一个Dstream就是一序列的RDD，也就是说是一个切片时间内的数据块。每一个RDD中又有若干个分区，可实现对每一个RDD的数据并行化处理；

（4）对每一个RDD中的每一个分区中的数据开始进行解析，得到一组组连续不断的十六进制字节数组；

（5）把（4）中116 个字节的十六进制的字节数组当做一个数据包，开始对对每一个数据包中的时间、微秒、向量循环中的相角和幅值字段以及频率、频率变化字段从数组中切分出来，并转换成对应的十进制数字，存入CSV文件中，一个数据包的数据对应的就是CSV文件中的一行数据（由于暂时模拟器中没有模拟量数据和开关量数

据，所以一个数据包中解析出来的数据对应的就是一个时间字段，一个微秒字段，24对幅值和相角字段，一个频率，一个频率变化字段，一共50个数值）；

（6）最后将IDEA里面的代码打jar包提交到Spark环境中运行。

S02，对所有数据进行预处理。

数据预处理是多源数据融合的重要环节。所有的数据进入平台之后，需要对数据进行校核，清洗，修正，标记，然后才能入库。其中，数据清洗是将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或者删除，最后整理成为可以进一步加工、使用的数据，数据清洗的步骤包括：分析数据、缺失值处理、异常值处理、去重处理和噪音数据处理。另外，数据校核包括电度量和有功量测互校核、遥测和遥信互校验等。

S03，统一所有数据的标准和类型，以统一的语言形式实现数据之间的交互。

在配电网广域量测控制系统中，SCADA系统的设计采用CIM标准来实现，而新增的D-PMU设备的设计更符合IEC61850标准的要求。IEC61850标准包含两个描述文件：ICD文件（IED能力描述）和SCD文件（变电站配置描述），ICD的可扩展标记语言（XML）架构包括逻辑节点（LD）、公共数据类型（CDC）、数据属性（DA）和枚举（Enums），这些信息形成一个树形结构，而SCD文件描述提供变电站的结构与信息，并向下包含所有此变电站包含的IED设备。同样的，CIM标准也包含两个文件：CIM静态文件和CIM动态文件，其中，CIM静态文件包括各种设备和网络拓扑信息，比如断路器，母线，发电机，负荷等，当系统增加或减少设备时，这个文件的数据也进行相应的变化，因此CIM静态文件通常代表最新的网络拓扑信息，不同电力公司之间的网络拓扑可以通过CIM静态文件进行交换。不同于SCD文件的树形结构，CIM静态文件是一种平铺式结构，各个设备之间的连接关系用RDF ID进行表示，CIM动态文件包含所有的实时量测数据以及数据的时间戳信息，所有的这些静态和动态信息均用XML/RDF文件进行描述。由于CIM和IEC 61850标准在对象、拓扑结构和数据类型的规定上都存在差异，因此建立一个统一的信息结构是进行数据融合的必要条件。如图1所示，统一的信息结构包括数据标准的统一以及数据类型的统一。

1）数据标准的统一

D-PMU在物理上包含6个主要部分：GPS接受模块、时间同步模块、A/D转换模块、滤波模块、相量估计模块和控制模块，根据IEC61850标准，对这些模块建立D-PMU的拓扑结构并生成对应的SCD文件和ICD文件，另外，还需要扩展采样装置、通讯链路、相量计算单元、时钟同步单元和守时模块，同样的，并生成对应的SCD文件和ICD文件，这些扩展模块的属性与属性的数据类型如下：

（1）采样装置

采样装置（Sampling）继承于Core：Measurement，与时钟同步单元相关联，其基本功能就是进行数据采集并实时上传，由时钟同步单元产生的同步采样脉冲来控制采样速率得到同步数据。该类通过继承方式获得的属性详见其父类Measurement，扩展的属性如表1所示。

表1 Sampling扩展属性

类名	属性名	字段描述
			Meas:Sampling	SyncSamplingClock	采样时钟
Meas: Sapling	SamplingRate	采样率

（2）通讯链路

通讯链路（CommunicationLink）继承于Core：Equipment。装置的同步采样频率约为25.6KHz，每周期的采样点数达512。为了不造成数据阻塞，需对通讯模块进行设置，使处理器前端缓存数据能及时传送给后端进行数据计算。该类通过继承方式获得的属性详见其父类Equipment，扩展的属性如表2所示。

表2 通讯链路扩展属性

类名	属性名	字段描述
			Core: Communication	ComType	通讯类型
Core: Communication	ComDevice	通讯设备

（3）相量计算单元

相量计算单元（PhasorMeter）实现数据的接收、时间戳、同步相量的计算、上传服务器等核心功能。其具体功能包括：将不同通道的数据缓存于各自的缓存区域，实现数据的区分；解析GPS时间信息和状态信息；利用相量估计算法计算电压/电流相角；计算数据的实时上传。该类通过继承方式获得的属性详见其父类Measurement，其扩展的属性如表3所示。

表3 Processor扩展属性

类名	属性名	字段描述
			Meas: Processor	DataPartiton	数据分区
Meas: Processor	DataTransferRate	数据传输率
			Meas: Processor	GPSTimeInfor	GPS时间信息
Meas: Processor	GPSStatusInfor	GPS状态信息
			Meas: Processor	PhaseAngle	相角信息
Meas: Processor	TimeStamp	时间戳

（4）时钟同步单元

时钟同步单元（TimeSynchronization）继承于Core：Equipment，用来产生数据采集所需要的同步采样脉冲和为每个采集终端提供高精度的同步时钟源。所有同步向量采集单元的时钟都同步于一个主时钟，即GPS授时时钟。PPS为GPS发出的频率为1Hz的方波信号，为地面对时系统提供基本的对时秒脉冲，其脉冲上升沿与国际标准时间UTC同步。时钟同步单元还将国际标准时间（UTC）转换为北京时间，将GPS发送的秒脉冲信号倍频成所需的同步采样时钟信号。同步时钟处理模块将处理后获取的时间和同步脉冲信息送至相量测量模块。扩展的属性如表4所示。

表4 时钟同步单元扩展属性

类名	属性名	字段描述
			Core: TimeSync	ReceiveMode	接收方式
Core: TimeSync	ReceiveChannel	接收频道
			Core: TimeSync	ReceivingSensi tivity	接收灵敏度
Core: TimeSync	PositioningAccu racy	定位精度
			Core: TimeSync	UCT（Datetime）	标准时间
Core: TimeSync	TimeTransfer	时间转换
			Core: TimeSync	PulseTransfer	脉冲转换
Core: TimeSync	SyncSamplingPulse	采样脉冲

（5）守时模块

守时模块（timekeeping）继承于Core：Equipment。当GPS接受模块通过状态解析功能检测到卫星信号中断时，守时模块就代替同步卫星，产生一个与卫星锁定情况下严格同步、同相位的本地脉冲信号PPS，并修正由于卫星失步造成的时间误差，去除不良数据。此PPS约能持续6个小时，如果超过6个小时仍然未检测到GPS锁定信号，则本地时钟失效，产生报警信号。所需属性除了具有时钟同步单元外还扩展如表5所示。

表5 守时模块扩展属性

类名	属性名	字段描述
			Core:TimeKeeping	GPSMonitorigInfor	监测信息
Core: TimeKeeping	SyncSamplingSwitching	同步采样切换
			Core: TimeKeeping	SyncSamplingPulse	采样脉冲
Core: TimeKeeping	Alarm	报警信号

配电网原有SCADA系统的拓扑结构遵从CIM标准，现将符合CIM标准的SCADA系统的拓扑结构映射成符合IEC61850标准的拓扑结构。IEC61850标准和CIM标准的4个描述文件之间的映射关系如图2所示，左边是IEC61850标准，右边是CIM标准，两个标准的内部文件之间的映射用垂直箭头表示，并在标准设计的时候进行了定义，两个不同标准之间的映射用横向箭头表示，CIM静态文件与IEC61850的SCD文件及ICD文件形成静态映射，CIM动态文件与IEC61850的量测数据属性及数据类型形成动态映射，相同标准的文件之间的映射还可以扩展到各个文件内部元件之间的映射，比如SCD文件里的IED设备可以和CIM标准中的静态文件与动态文件通过RDF ID进行关联。

2）数据类型的统一

由于IEC61850和CIM标准所适用的领域不同且两个标准各自独立，因此对于数据类型的定义存在很大的差别，要进行数据的融合与交互，还需解决两者数据类型之间的匹配关系。

IEC61850标准定义了三种数据类型：基本数据类、抽象服务接口类（ACSI）和结构属性类。基本数据类包括整数型、布尔型、浮点型、字符型、枚举型以及货币类型。其中整数型根据数据的长度和符号又分为8种类型，比如INT16表示带符号的16字节整数型。抽象服务接口类用于支持IEC 61850的通信应用，包括时间戳，进入时间、物理通讯地址等。结构属性类作为公共数据类（CDC）的属性类型，由基本数据类和抽象服务类进行定义。IEC61850标准定义的3种数据类型之间的关系如图3所示。图中，一个逻辑节点（LD）由CDC属性组成，而CDC由含时间戳的ACSI类型和含模拟数据值的结构属性类共同组成，CDC还可以包含其他的CDC。抽象服务接口类型和结构属性类型都最终由基本数据类定义。

CIM标准定义了四中数据类型：原始类、复合类、枚举类和特有数据类型。原始类定义了基本的数据类型，包括布尔型、小数、浮点型、整型、字符型、日期、时间等。复合类是原始类、枚举类、特有数据类型的组合，CIM利用复合类来定义时间间隔。特有数据类型（CIMDatatypes）是CIM所特有的数据类型，其格式包含的属性有数值、单位、乘数等。

从上述内容可以看出两个标准在数据的语意、数据类型长度以及相互关系方面都存在较多差异，需要对其进行数据类型的统一。本实施方式先确定CIM标准与IEC61850标准之间存在相互对应关系和不存在相应关系的数据类型，然后对可以配对的数据类型进行配对，对不能配对的数据类型进行修改。

如图4所示，CIM标准与IEC61850标准之间数据类型的匹配关系为：IEC61850标准中的基本数据类型对应CIM标准中的原始类、复合类、枚举类，IEC61850标准中的结构属性类对应CIM标准中的特有数据类型，IEC61850标准中的抽象接口服务类（公共ACSI类）对应CIM标准中的原始类、复合类、特有数据类型。

为了更好的理解本发明所涉配电网广域量测控制系统多源数据融合方法，基于本方法，在广州南沙示范区开发了配电网广域测量控制主站平台，在该平台中，静态数据和动态数据通过信息总线的方式进入平台数据库，全景信息集成和多维数据分析两大模块实现对异构数据的清洗、关联与融合，然后提供给高级应用使用。由于采用了分布式的Spark流数据处理架构，平台可以支撑的D-PMU数量>1000台，并且接入量测点规模≥50000 测量点（10毫秒刷新）。示范区原来的自动化主站以配电SCADA系统为主，项目一期布置了28台D-PMU设备以及若干AMR采集装置。以110kV远安变电站1#主变下的F2，F5，F9三条馈线网络为验证对象，网络拓扑如图5所示。原来的配电SCADA系统采用CIM标准进行拓扑结构设计，而新接入的D-PMU、AMI等设备符合IEC61850标准。因此将原本的符合CIM标准的SCADA系统拓扑结构映射至符合IEC61850标准的拓扑结构，同时对数据类型进行对应、扩展和修改。具体而言，利用Kalkitech公司开发的ASE61850Suite建模开发工具对图5拓扑结构中的所有设备建立符合IEC61850标准的拓扑结构，得到如图6所示的拓扑结构，通过此拓扑结构可以自动生成SCD和ICD文件，从而以可标记扩展语言（XML）的形式实现数据之间的交互。通过对示范区所有馈线建立标准拓扑结构，生成XML文件，实现了整个示范区多源数据的融合，能够更好的为高级应用服务，实现配电网的可测、可观和可控。

上述实施例为本发明较佳的实现方案，除此之外，本发明还可以其它方式实现，在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。

为了让本领域普通技术人员更方便地理解本发明相对于现有技术的改进之处，本发明的一些附图和描述已经被简化，并且为了清楚起见，本申请文件还省略了一些其它元素，本领域普通技术人员应该意识到这些省略的元素也可构成本发明的内容。

Claims (8)

1.配电网广域量测控制系统多源数据融合方法，其特征在于，包括以下步骤：

S01，将多源数据分类存储至不同数据集中；

S02，对所有数据进行预处理；

S03，统一所有数据的标准和类型，以统一的语言形式实现数据之间的交互。

2.根据权利要求1所述的配电网广域量测控制系统多源数据融合方法，其特征在于：所述多源数据包括动态量测数据和静态数据，在步骤S01中，所述动态量测数据进入Spark架构的RDD中，所述静态数据进入Hadoop架构的HDFS中。

3.根据权利要求2所述的配电网广域量测控制系统多源数据融合方法，其特征在于：在步骤S02中，所述预处理包括对数据进行校核、清洗、修正和标记。

4.根据权利要求3所述的配电网广域量测控制系统多源数据融合方法，其特征在于：在步骤S03中，根据IEC61850标准建立D-PMU的拓扑结构并生成对应的SCD文件和ICD文件，将符合CIM标准的SCADA系统的拓扑结构映射成符合IEC61850标准的拓扑结构，同时对SCADA数据类型进行对应、扩展和修改。

5.根据权利要求4所述的配电网广域量测控制系统多源数据融合方法，其特征在于：在建立D-PMU的拓扑结构时，保留D-PMU的GPS接收模块、时间同步模块、A/D转换模块、滤波模块、相量估计模块和控制模块，并扩展采样装置、通讯链路、相量计算单元、时钟同步单元和守时模块。

6.根据权利要求4所述的配电网广域量测控制系统多源数据融合方法，其特征在于：在将符合CIM标准的SCADA系统的拓扑结构映射成符合IEC61850标准的拓扑结构时，CIM静态文件与IEC61850的SCD文件及ICD文件形成静态映射，CIM动态文件与IEC61850的量测数据属性及数据类型形成动态映射。

7.根据权利要求4所述的配电网广域量测控制系统多源数据融合方法，其特征在于：在对SCADA数据类型进行对应、扩展和修改时，先确定CIM标准与IEC61850标准之间存在相互对应关系和不存在相应关系的数据类型，然后对可以配对的数据类型进行配对，对不能配对的数据类型进行修改，IEC61850标准中的基本数据类型对应CIM标准中的原始类、复合类、枚举类，IEC61850标准中的结构属性类对应CIM标准中的特有数据类型，IEC61850标准中的抽象接口服务类对应CIM标准中的原始类、复合类、特有数据类型。

8.根据权利要求2所述的配电网广域量测控制系统多源数据融合方法，其特征在于：所述动态数据进入Spark架构的RDD中后，采用Spark技术对D-PMU数据进行前置解析，包括以下步骤：

1）通过IDEA向D-PMU模拟器里对应的socket端口发送配置命令，D-PMU模拟器接收配置命令并产生数据；

2）通过连接 TCP 服务端口， Spark获取D-PMU模拟器产生的数据流InputDstream，对每一秒内获得的数据 Dstream 进行分割，并对分割后的数据Dstream调用foreachRDD算子，对每一个 RDD里的每一个partition的数据根据解析标准进行解析，最后按指定格式将解析后的数据存入csv文件中。

Images