CN112199421A - 一种多源异构数据融合和量测数据多源互校验方法及系统 - Google Patents

Abstract

本发明公开了一种多源异构数据融合和量测数据多源互校验方法及系统，从各调度层级多源业务系统抽取海量量测数据，融合以电网运行设备为中心的模型数据，通过分析不同系统间的数据结构、类型、变化频率等差异，获取多源量测数据时序关联关系及变化趋势特征，利用优化的距离模型进行多源关联分析，实现多源不一致数据的快速研判，基于调控云整合的各级调度量测数据进行全局范围综合分析，解决了由于各区域调度分析局部数据造成的异常数据检出率不高的问题，从整体上提升了电网调度数据质量，为实现电网一体化特征的数据采集、融合、校验、修正的全链路闭环管理提供技术支持。

Description

一种多源异构数据融合和量测数据多源互校验方法及系统

技术领域

本发明属于计算机软件及电力系统自动化领域，涉及一种多源异构数据融合和量测数据多源互校验方法，尤其是一种多源异构数据融合和量测数据多源互校验方法及系统。

背景技术

目前，电力调度各级之间分层控制，信息逐级传送。按照电力系统“统一调度，分级管理”的原则，调控云采用统一和分布相结合的分级部署设计，由国分主导节点、各省级协同节点和源数据端共同构成一个完整体系。其中，国分云（主导节点）负责220kV及以上主网模型数据和量测数据汇集处理；省地云（协同节点）负责35kV及以上省网模型数据和量测数据汇集处理，并向主导节点同步/转发相关数据。然而，由于存在不同层级数据源采集设备差异和数据转发错误等问题，导致多源数据汇集后往往会出现偏差，形成多源不一致的异常情况，表现为多源日量测值变化趋势互为平行、互为相反或随机偏差等形式。针对上述多源量测数据问题，现有电网调度控制系统缺乏有效的质量诊断手段和应用探索，未实现多源数据的关联互校核以及多源异常指标分类判定，导致在上级调度收到下级调度上报的数据存在质量问题时无法及时发现并修正，数据质量管控流程难以形成闭环。

在城市路口路段交通检测方向，提出了城市路网多源交通数据融合分析方法，通过路中微波、视频、地磁以及浮动车异源同质同类型数据的相互校验，从而得到路段一致的交通运行数据（流量、速度等）。城市路网多源交通数据融合分析流程为：首先数据输入后，基于交通工程的基本模型和规律，对异常数据进行标记和剔除，再按照一般的交通流数据分析需求，进行标准化汇集处理，通过等价交换为标准化数据集（描述路段每5分钟的交通流），然后对同一路段多套交通检测设备检测得到的交通流数据进行相互校验，分析多套交通检测设备检测结果的一致性，以此判别设备检测结果的可靠性。最后根据不同交通流参数（流量、速度、占有率）的可靠性分析结果，对路段检测数据进行融合分析，得到最终融合后的交通流参数。

现有技术对城市路网多源交通数据进行检测，通过极差计算不同操作者测量的样本平均值结果之间差异,对趋势变化规律和多源数据间的相互依赖关系分析不足，单纯的使用极差表示相似度往往不能很好地体现不同数据点对整条量测序列的影响程度，无法对多源量测数据异常情况进行详细的分类判定和原因分析。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种多源异构数据融合和量测数据多源互校验方法及系统，大数据平台汇集各业务系统的模型数据和多级电网调控量测数据，通过分析不同系统间的数据结构、类型、变化频率等差异，获取多源量测数据时序关联关系及变化趋势特征，利用优化的距离模型进行多源关联分析，实现多源不一致数据的快速研判，基于调控云整合的各级调度量测数据进行全局范围综合分析，解决了由于各区域调度分析局部数据造成的异常数据检出率不高的问题，从整体上提升了电网调度数据质量，为实现电网一体化特征的数据采集、融合、校验、修正的全链路闭环管理提供技术支持。

为达到上述目的，本发明采用以下技术方案予以实现：

一种多源异构数据融合和量测数据多源互校验方法，包括以下步骤：

对多源量测数据进行融合；

基于融合结果，对量测数据进行时序关系分析与特征提取；

根据提取的特征，计算多源关联分析与偏差量化指标；

基于偏差量化指标，进行量测多源一致性校验。

一种多源异构数据融合和量测数据多源互校验系统，包括：

数据融合模块，所述数据融合模块用于对多源量测数据进行融合；

数据校验算法分析模块，所述数据校验算法分析模块用于基于融合结果，对量测数据进行时序关系分析与特征提取；

数据存储模块，所述数据存储模块用于根据提取的特征，计算多源关联分析与偏差量化指标；

数据管理模块，所述数据管理模用于根据偏差量化指标，进行量测多源一致性校验。

一种多源异构数据融合和量测数据多源互校验装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明以电网运行设备为中心的模型数据和以多级电网调度产生的多源量测数据为驱动，提出了多类型、多源数据融合方法，为多源量测数据互校验提供数据基础。本发明中综合分析多源量测数据的趋势变化规律和相互依赖关系，提出了优化的距离模型，进行多源关联分析，实现量测不同数据来源之间综合偏差量化指标计算。本发明中结合各电力设备对象量测数据特点和业务需求，利用不同对象的偏差阈值进行多源量测数据互校验，实现多源不一致数据的快速研判。

进一步的，本发明建立多源量测数据异常指标分类判定规则库，实现异常问题校验结果及产生原因的综合分析，解决了由于各区域调度分析局部数据造成的异常数据检出率不高的问题，为实现电网一体化特征的数据采集、融合、校验、修正的全链路闭环管理提供技术支持。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明多源异构数据融合和量测数据多源互校验方法的流程图；

图2为本发明多源异构数据融合和量测数据多源互校验系统的框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明一种多源异构数据融合和量测数据多源互校验方法，该发明方法针对多级电网调度产生的海量多源量测数据，融合以电网运行设备为中心的模型数据，分析多源量测数据的时序关联关系及变化趋势特征，提出优化的距离模型，利用Spark分布式计算引擎进行多源关联分析并计算偏差量化指标，实现多源不一致数据的快速研判，最后构建多源量测数据异常指标分类判定规则库进行问题产生原因分析与结果展示。

本发明方法的具体步骤如下：

步骤1，海量多源量测数据融合，将大数据平台汇集的多源量测数据加载到集群内存中进行算法迭代计算与交互式查询；

电力调度分为国、分、省、地、县五级调度，各级调度间实现分层控制、信息逐级传送，按照电力系统“统一调度，分级管理”的原则，调控云采用统一和分布相结合的分级部署设计，由国分主导节点、各省级协同节点和源数据端共同构成一个完整体系。国分云（主导节点）负责220kV及以上主网模型数据和量测数据汇集处理；省地云（协同节点）负责35kV及以上省网模型数据和量测数据汇集处理，并向主导节点同步/转发相关数据，大数据平台在云端解析从消息总线获取的量测报文，并按照电力调度数据对象结构化设计进行数据解析，依据HBase数据存储结构，多源数据通过Rowkey区分，并按年份和电力调度数据对象维度分表存储海量量测数据。

大数据平台存储数据涉及电力设备容器、电力一次设备等多种对象量测数据和模型数据，数据获取主要通过运行在Hadoop集群上的Spark分布式计算引擎，将HBase中存储的量测数据加载到集群内存中进行算法迭代计算与交互式查询。

步骤2，量测数据时序关系分析与特征提取（利用时间序列不变性分析方法分析多源量测数据蕴含的趋势变化规律和多源相互依赖关系）；

利用时间序列不变性分析方法对已有海量历史数据进行特征提取，找出其中蕴含的趋势变化规律和多源数据间的相互依赖关系，建立跨时空、跨调度间的多源数据特征因素集。

时间序列数据指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。量测数据满足时间序列数据特性，具有明显的周期性、连续性特征，同时各种设备对象测点之间数据又千差万别。针对量测数据量大、数据时间相关性高、计算时效性强等特点，通过业务数据时间戳提取各设备1天中1440时刻点的量测数据，分析各时段以及前后15天的数据曲线变化趋势，建立跨时空、跨调度间的多源数据特征因素集。

步骤3，多源关联分析与偏差量化指标计算（利用多源关联分析算法计算不同数据来源之间量测偏差量化指标）；

多源关联分析。通过分析多源量测数据的变化趋势特性，通过多源关联分析算法，结合皮尔森系数优化距离计算模型，用于计算不同数据来源之间量测偏差量化指标；通过动态分配模型权重，计算不同数据来源之间量测偏差量化指标。

距离模型：

仅使用距离计算模型表示相似度往往不能很好地体现不同数据点对整条量测序列的影响程度，因此使用皮尔森系数表示量测序列的相关系数。

距离度量和相关系数是描述量测偏差量化指标的两个分量，通过分析不同对象、不同统计口径量测数据的特征，设定不同的模型权重w，最终计算得到量测序列的综合偏差量化指标，作为判定量测是否存在多源一致问题的唯一指标值。

分析不同对象的量测数据可以看出，不同对象、统计口径量测数据的量纲千差万别，而距离计算一般对数据量纲比较敏感，不同量纲数据计算出的距离值相差很大，难于比较，因此需要通过离散标准化将原始数据值线性变换后映射到[0,1]之间，然后计算各数据源量测点之间的偏差。

在多源关联分析算法中，首先计算两个相同统计口径、不同数据来源任意时刻i的量纲，即

，然后计算不同数据源间量测值的距离度量α _X,Y ，计算过程中一般选取p=2。

单纯的距离模型表示相似度往往不能很好地体现不同数据点对整条量测序列的影响程度，因此进一步计算量测序列的相关系数ρ _X,Y 。

然后通过分析不同对象及统计口径数据，统计提取量测特征，动态分配模型权重w，计算量测序列的综合偏差量化指标SIM(V _x ,V _y )=wα _X,Y +(1-w)(1-ρ _X,Y )。

动态指的是通过分析不同对象、不同统计口径量测数据的特征，设定符合数据实际情况的权重。

由于不同对象、不同统计口径的数据特点差距很大，对距离度量系数和相关系数的影响程度不同，需要结合实际数据进行分析来分配模型权重w。

步骤4，量测多源一致性校验（设置不同电力设备对象的偏差阈值进行多源不一致数据的快速研判）；

多源量测数据偏差量化指标有效反映了数据之间的差异特性，综合分析各电力设备对象数据特点，不同对象设置不同的多源偏差阈值，通过多源量测数据偏差量化指标与偏差阈值比较，多源实现多源不一致异常数据的快速研判。

设定不同电力设备对象的多源偏差阈值序列为T={T ₀₁₀₁,T ₀₁₂₁,…,T _{obj_id} ,…,T ₁₂₁₀}，其中下标obj_id表示电力调度通用数据对象结构化设计中电力设备对象编码，如果SIM(V _x ,V _y )>T _{obj_id} ，说明不同数据源之间量测数据差别大，该量测数据存在多源不一致性；如果SIM(V _x ,V _y )≤T _{obj_id} ，说明不同数据源之间量测数据基本相似，该量测数据多源一致。

步骤5，多源量测数据异常指标分类判定（构建量测数据质量异常指标分类判定规则库进行异常问题校验结果及产生原因的综合分析，生成量测多源互校验评估报表）。

根据业务分析需求划分异常指标分类维度，构建多源量测数据异常指标分类判定规则库，对问题产生原因和校验结果进行分析，形成量测多源互校验评估报表。

采集设备差异性或省市转发过程中数据出现偏差，则会造成汇集到大数据平台的数据存在多源不一致问题，表现为多源日量测值变化趋势互为平行、互为相反或随机偏差等形式。因此通过计算偏差量化指标对量测数据质量异常情况做如表1分类，为提升调控人员对全网多源不一致数据的精准感知提供技术支持。

表1 多源量测数据异常指标分类

如图2所示，本发明公开了一种多源异构数据融合和量测数据多源互校验系统，包括：

数据融合模块，所述数据融合模块通过消息总线获取源端、省地云上送的多级电网调度产生的量测数据，按照电力调度数据对象结构化设计进行报文解析，实现多源量测数据、模型数据等多系统数据融合。

数据校验算法分析模块，所述数据校验算法分析模块用于海量多源量测数据的特征分析和数据校验，包括时序分析、特征提取、多源关联分析、多源量测偏差量化指标计算和一致性校验。

数据存储模块，所述数据存储模块基于大数据平台，存储多源量测数据及多源互校验生成的结果数据，为系统其他模块提供数据支撑。

数据管理模块，所述数据管理模块实现对不同电力设备对象的校验规则、异常指标分析规则、质量评价标准以及元数据的存储和管理。

结果生成模块，所述结果生成模块用于分析校验结果以及问题产生原因，形成量测多源互校验评估报表并进行可视化展示。

本发明一实施例提供一种多源异构数据融合和量测数据多源互校验装置，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如多源量测数据特征分析和数据校验程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤，例如图1所示的步骤1-7。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如数据校验模块用于对不同数据来源之间量测偏差量化指标计算、异常结果分类及分析。

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。

所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述多源异构数据融合和量测数据多源互校验装置的各种功能。

所述多源异构数据融合和量测数据多源互校验装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种多源异构数据融合和量测数据多源互校验方法，其特征在于，包括以下步骤：

对多源量测数据进行融合；

基于融合结果，对量测数据进行时序关系分析与特征提取；

根据提取的特征，计算多源关联分析与偏差量化指标；

基于偏差量化指标，进行量测多源一致性校验。

2.根据权利要求1所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，对多源量测数据进行融合，包括：

从消息总线获取的量测报文，按照电力调度数据对象结构化设计进行数据解析，得到多源量测数据；依据HBase数据存储结构，进行Rowkey区分，并按年份和电力调度数据对象维度分表存储量测数据；

数据获取通过运行在Hadoop集群上的Spark分布式计算引擎，将HBase中存储的量测数据加载到集群内存中进行多源量测数据融合。

3.根据权利要求1所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，对量测数据进行时序关系分析与特征提取，包括：

根据时间序列不变性分析方法对历史数据进行特征提取，获得所述历史数据中包含的趋势变化规律和多源数据间的相互依赖关系；根据所述趋势变化规律和相互依赖关系，建立跨时空、跨调度间的多源数据特征因素集，完成对量测数据进行时序关系分析与特征提取；

其中，所述时间序列指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。

4.根据权利要求1所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，计算多源关联分析与偏差量化指标，包括：

通过离散标准化将原始数据值线性变换后映射到[0,1]之间，得到标准化后的不同数据源间的量测值；

计算不同数据源间量测值的距离度量和相关系数，得到距离度量和相关系数；

通过动态分配距离度量和相关系数的权重，计算不同数据来源之间量测偏差量化指标。

5.根据权利要求4所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，所述计算多源关联分析与偏差量化指标具体方法如下：

计算两个相同统计口径、不同数据来源任意时刻i的量纲

：

计算不同数据源间量测值的距离度量α _X,Y ：

其中，p=2，X和Y均表示数据源，N表示量测点个数，

表示数据源X在i时刻的量测值，

表示数据源Y在i时刻的量测值；

计算量测序列的相关系数ρ _X,Y ：

其中，

表示数据源X的N个量测值的平均值，

表示数据源Y的N个量测值的平均值；

通过分析不同对象及统计口径数据，统计提取量测特征，动态分配模型权重w，计算不同数据来源之间量测偏差量化指标：

SIM(V _x ,V _y )=wα _X,Y +(1-w)(1-ρ _X,Y )。

6.根据权利要求5所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，进行量测多源一致性校验的具体方法如下：

若SIM(V _x ,V _y )>T _{obj_id} ，表明不同数据源之间量测数据存在多源不一致性；

若SIM(V _x ,V _y )≤T _{obj_id} ，表明不同数据源之间量测数据多源一致；

其中，T表示不同电力设备对象的多源偏差阈值序列，且T={T ₀₁₀₁,T ₀₁₂₁,…,T _{obj_id} ,…,T ₁₂₁₀}；下标obj_id表示电力调度通用数据对象结构化设计中电力设备对象编码。

7.根据权利要求1所述的多源异构数据融合和量测数据多源互校验方法，其特征在于，还包括：

对多源量测数据的异常指标进行分类判定；通过构建量测数据质量异常指标分类判定规则库进行异常问题校验结果及产生原因的综合分析。

8.一种多源异构数据融合和量测数据多源互校验系统，其特征在于，包括：

数据融合模块，所述数据融合模块用于对多源量测数据进行融合；

数据校验算法分析模块，所述数据校验算法分析模块用于基于融合结果，对量测数据进行时序关系分析与特征提取；

数据存储模块，所述数据存储模块用于根据提取的特征，计算多源关联分析与偏差量化指标；

数据管理模块，所述数据管理模用于根据偏差量化指标，进行量测多源一致性校验。

9.根据权利要求8所述的多源异构数据融合和量测数据多源互校验系统，其特征在于，所述数据存储模块具体用于：

通过离散标准化将原始数据值线性变换后映射到[0,1]之间，得到标准化后的不同数据源间的量测值；

计算不同数据源间量测值的距离度量和相关系数，得到距离度量和相关系数；

通过动态分配距离度量和相关系数的权重，计算不同数据来源之间量测偏差量化指标。

10.根据权利要求9所述的多源异构数据融合和量测数据多源互校验系统，其特征在于，所述数据存储模块具体计算多源关联分析与偏差量化指标的方法如下：

计算两个相同统计口径、不同数据来源任意时刻i的量纲

：

计算不同数据源间量测值的距离度量α _X,Y ：

其中，p=2，X和Y均表示数据源，N表示量测点个数，

表示数据源X在i时刻的量测值，

表示数据源Y在i时刻的量测值；

计算量测序列的相关系数ρ _X,Y ：

其中，

表示数据源X的N个量测值的平均值，

表示数据源Y的N个量测值的平均值；

通过分析不同对象及统计口径数据，统计提取量测特征，动态分配模型权重w，计算不同数据来源之间量测偏差量化指标：

SIM(V _x ,V _y )=wα _X,Y +(1-w)(1-ρ _X,Y )。

11.根据权利要求10所述的多源异构数据融合和量测数据多源互校验系统，其特征在于，所述数据管理模块具体用于：

若SIM(V _x ,V _y )>T _{obj_id} ，表明不同数据源之间量测数据存在多源不一致性；

若SIM(V _x ,V _y )≤T _{obj_id} ，表明不同数据源之间量测数据多源一致；

其中，T表示不同电力设备对象的多源偏差阈值序列，且T={T ₀₁₀₁,T ₀₁₂₁,…,T _{obj_id} ,…,T ₁₂₁₀}；下标obj_id表示电力调度通用数据对象结构化设计中电力设备对象编码。

12.一种多源异构数据融合和量测数据多源互校验装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

Images