CN113656388A - 一种多源数据处理系统及方法 - Google Patents

Abstract

本申请提供一种多源数据处理系统及方法，该系统包括：多个数据处理装置和数据中心；数据中心向任一数据处理装置发送数据采集需求；当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各原始数据的数据类型和数据采集需求，确定缺失数据；当前数据处理装置重新获取缺失数据，以使数据中心得到完整数据。上述方案提供的系统，通过在得到原始数据后，首先对其进行完整性检测，并对缺失数据进行针对性采集，提高了数据的完整性。

Description

一种多源数据处理系统及方法

技术领域

本申请涉及数据管理技术领域，尤其涉及一种多源数据处理系统及方法。

背景技术

随着对电力系统的智能化要求的不断提高，电力系统中的设备终端的数量在不断增多，电力系统的数据呈现出了种类多、数量大的特点。

在现有技术中，为了对电力系统的运行情况进行监控，通常利用多个传感器去采集关于电力系统的全面完整的信息。

但是，由于各传感器之间是相互独立，并且传感器本身在数据采集的过程中可能会发生异常，导致采集到的检测数据的完整性较低。

发明内容

本申请提供一种多源数据处理系统及方法，以解决现有技术得到的检测数据的完整性低等缺陷。

本申请第一个方面提供一种多源数据处理系统，包括：多个数据处理装置和数据中心；

数据中心向任一数据处理装置发送数据采集需求；

当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各所述原始数据的数据类型和所述数据采集需求，确定缺失数据；

所述当前数据处理装置重新获取所述缺失数据，以使所述数据中心得到完整数据。

可选的，所述数据处理装置具体用于：

从数据中心的检索数据库中获取所述缺失数据。

可选的，所述数据中心还用于：

向其他数据处理装置发送缺失数据获取请求，以得到所述缺失数据，并将所述缺失数据发送到当前数据处理装置。

可选的，所述数据处理装置包括：

传感器采集模块，用于利用多种传感器采集所述电力系统的原始数据和/或所述缺失数据；

多源数据处理模块：用于对所述原始数据和/或所述缺失数据进行整合；

通信模块，用于将所述原始数据和/或所述缺失数据发送到数据中心。

可选的，所述当前数据处理装置在接收到所述缺失数据后，由当前数据处理装置中的多源数据处理模块对所述原始数据和缺失数据进行整合，以得到完整数据；

基于所述通信模块，将所述完整数据发送到数据中心。

可选的，当所述当前数据处理装置无法得到所述缺失数据时，所述多源数据处理模块将当前的原始数据标记为不完整数据；

基于所述通信模块，将标记为不完整数据的原始数据发送到数据中心。

可选的，当所述数据中心接受到的数据不完整时，则重新向所述数据处理装置发送数据采集需求，至到得到完整数据。

可选的，所述数据处理装置还包括：

数据转换模块，用于将不同传感器采集到的原始数据转换为统一格式。

可选的，所述数据转换模块，具体用于：

提取所述原始数据的数据特征；

根据各所述原始数据的数据特征，确定对应的数据类型；

根据各所述原始数据的数据类型和所述数据采集需求包括的数据类型之间的关系，确定缺失数据。

本申请第二个方面提供一种多源数据处理方法，应用于多源数据处理系统，所述系统包括多个数据处理装置和数据中心，所述方法包括：

控制数据中心向任一数据处理装置发送数据采集需求；

控制当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各所述原始数据的数据类型和所述数据采集需求，确定缺失数据；

控制所述当前数据处理装置重新获取所述缺失数据，以使所述数据中心得到完整数据。

可选的，所述控制所述当前数据处理装置重新获取所述缺失数据，包括：

控制所述当前数据处理装置从数据中心的检索数据库中获取所述缺失数据。

可选的，所述方法还包括：

控制所述数据中心向其他数据处理装置发送缺失数据获取请求，以得到所述缺失数据，并将所述缺失数据发送到当前数据处理装置。

可选的，所述数据处理装置包括：

传感器采集模块，用于利用多种传感器采集所述电力系统的原始数据和/或所述缺失数据；

多源数据处理模块：用于对所述原始数据和/或所述缺失数据进行整合；

通信模块，用于将所述原始数据和/或所述缺失数据发送到数据中心。

可选的，控制所述当前数据处理装置在接收到所述缺失数据后，由当前数据处理装置中的多源数据处理模块对所述原始数据和缺失数据进行整合，以得到完整数据；基于所述通信模块，将所述完整数据发送到数据中心。

可选的，当所述当前数据处理装置无法得到所述缺失数据时，控制所述多源数据处理模块将当前的原始数据标记为不完整数据；基于所述通信模块，将标记为不完整数据的原始数据发送到数据中心。

可选的，当所述数据中心接受到的数据不完整时，则控制所述数据中心重新向所述数据处理装置发送数据采集需求，至到得到完整数据。

可选的，所述数据处理装置还包括：

数据转换模块，用于将不同传感器采集到的原始数据转换为统一格式。

可选的，所述根据各所述原始数据的数据类型和所述数据采集需求，确定缺失数据，包括：

提取所述原始数据的数据特征；

根据各所述原始数据的数据特征，确定对应的数据类型；

根据各所述原始数据的数据类型和所述数据采集需求包括的数据类型之间的关系，确定缺失数据。

本申请技术方案，具有如下优点：

本申请提供了一种多源数据处理系统及方法，该系统包括：多个数据处理装置和数据中心；数据中心向任一数据处理装置发送数据采集需求；当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各原始数据的数据类型和数据采集需求，确定缺失数据；当前数据处理装置重新获取缺失数据，以使数据中心得到完整数据。上述方案提供的系统，通过在得到原始数据后，首先对其进行完整性检测，并对缺失数据进行针对性采集，提高了数据的完整性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例基于的电力系统的结构示意图；

图2为本申请实施例提供的多源数据处理系统的结构示意图；

图3为本申请实施例提供的一种数据处理装置的结构示意图；

图4为本申请实施例提供的另一种数据处理装置的结构示意图；

图5为本申请实施例提供的示例性的数据处理装置的结构示意图；

图6为本申请实施例提供的示例性的多源数据处理系统的结构示意图；

图7为本申请实施例提供的多源数据处理方法的流程示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。

首先，对本申请所基于的电力系统的结构进行说明：

本申请实施例提供的多源数据处理系统及方法，适用于对电力系统的状态数据进行检测。如图1所示，为本申请实施例基于的电力系统的结构示意图，主要包括多个电力设备和多源数据处理系统。具体地，由多源数据处理装置采集电力设备的状态数据，以供管理人员进一步根据采集到的状态数据确定电力系统管理决策或确定电力系统的安全情况。

本申请实施例提供了一种多源数据处理系统，用于对电力系统的状态数据进行检测。

如图2所示，为本申请实施例提供的多源数据处理系统的结构示意图，该多源数据处理系统20包括：多个数据处理装置201和数据中心202。

其中，数据中心向任一数据处理装置发送数据采集需求；当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各原始数据的数据类型和数据采集需求，确定缺失数据；当前数据处理装置重新获取缺失数据，以使数据中心得到完整数据。

需要说明的是，数据中心具体可以为电力业务数据中心，用于对整个电力系统进行管控。

具体地，当数据中心需要获取电力系统的某种状态数据时，向数据处理装置发送数据采集需求，其中，数据采集需求至少包括所需状态数据的数据类型。接收到数据采集需求的数据处理状态，按照其需求控制对应的传感器进行数据采集，以得到原始数据。为了保障数据中心最终得到的数据的完整性，数据处理装置可以根据原始数据的数据类型和数据采集需求所包括的所需状态数据的数据类型，确定当前发生缺失的缺失数据，然后进一步采集缺失数据，以得到完整数据，最后将完整数据发送到数据中心。

具体地，在一实施例中，数据处理装置可以从数据中心的检索数据库中获取缺失数据。

需要说明的是，数据中心的检索数据库存储的是数据中心在当前时刻之前接收到的其他数据处理装置采集的数据。

具体地，在当前数据处理装置无法得到缺失数据时，为了提高数据采集效率，可以控制数据中心从检索数据库中查找缺失数据。若当前检索数据库中有上述缺失数据，则由数据中心从检索数据库中提取该缺失数据，并将所提取的缺失数据发送给当前数据处理装置。

具体地，在一实施例中，数据中心还可以向其他数据处理装置发送缺失数据获取请求，以得到缺失数据，并将缺失数据发送到当前数据处理装置。

具体地，当数据中心的检索数据库中没有上述缺失数据时，数据中心向其他数据处理装置发送缺失数据获取请求，以利用其他数据处理装置采集缺失数据，数据中心将其他数据处理装置采集到的缺失数据发送到当前数据处理装置。

在上述实施例的基础上，如图3所示，为本申请实施例提供的一种数据处理装置的结构示意图，作为一种可实施的方式，在一实施例中，数据处理装置201包括：传感器采集模块2011、多源数据处理模块2012和通信模块2013。

其中，传感器采集模块，用于利用多种传感器采集电力系统的原始数据和/或缺失数据；多源数据处理模块：用于对原始数据和/或缺失数据进行整合；通信模块，用于将原始数据和/或缺失数据发送到数据中心。

需要说明的是，本申请实施例中的传感器主要包括温湿度传感器、可见光传感器、电能表和摄像头等。

具体地，在一实施例中，当前数据处理装置在接收到缺失数据后，由当前数据处理装置中的多源数据处理模块对原始数据和缺失数据进行整合，以得到完整数据；基于通信模块，将完整数据发送到数据中心。

具体地，多源数据处理模块可以将当前得到的缺失数据添加到原始数据中，以形成完整数据。

相反地，在一实施例中，当当前数据处理装置无法得到缺失数据时，多源数据处理模块将当前的原始数据标记为不完整数据；基于通信模块，将标记为不完整数据的原始数据发送到数据中心。

相应的，当数据中心接收到的数据不完整时，则重新向数据处理装置发送数据采集需求，至到得到完整数据。

具体地，若当前数据处理装置在预设周期内一直未得到缺失数据，则将当前得到的原始数据，也可能是包含了部分缺失数据的原始数据，统一标记为不完整数据，具体可以为其添加不完整标签，并将带标签的数据发送到数据中心。数据中心在接收到带有不完整标签的数据时，为了避免因数据不完整影响后续的电力系统状态检测结果的准确性，可以继续向数据处理装置发送数据采集需求，至到得到完整数据后再进行相应的状态检测。

相应的，在一实施例中，当前数据处理装置在得到完整数据后，首先为完整数据添加完整标签，在将其发送到数据中心。

在上述实施例的基础上，如图4所示，为本申请实施例提供的另一种数据处理装置的结构示意图，作为一种可实施的方式，在一实施例中，数据处理装置201还包括：数据转换模块2014。

其中，数据转换模块，用于将不同传感器采集到的原始数据转换为统一格式。

具体地，由于当前的原始数据是基于多种不同的传感器得到的，其数据格式各有不同，为了便于数据中心识别和分析，可以利用数据转换模块对原始数据进行数据转换。例如，可以统一将数值数据转换为二进制形式或十进制形式，将不同格式的图片数据统一转换为jpg格式等。

具体地，在一实施例中，数据转换模块，可以提取原始数据的数据特征；根据各原始数据的数据特征，确定对应的数据类型；根据各原始数据的数据类型和数据采集需求包括的数据类型之间的关系，确定缺失数据。

其中，经过数据转换模块处理后的数据，至少包含压缩后的数据、时间戳数据、特征值数据和问题标志数据。

具体地，数据转换模块可以根据原始数据的数据特征，确定各数据的数据类型，进而得到原始数据对应的特征值数据。然后，根据当前的特征值数据和数据采集需求所包含的数据类型对应的特征值数据之间的比对结果，确定缺失数据，并确定缺失数据对应的特征值，以根据其特征值进行缺失数据的采集。其中，当确定当前存在缺失数据时，生成对应的问题标志数据(如不完整标签)，以表示当前的原始数据不完整，需要继续采集缺失数据。

示例性的，如图5所示，为本申请实施例提供的示例性的数据处理装置的结构示意图，该数据处理装置还包括内置存储器和随机存取存储器，其中，内置存储器用于长期存储内部数据，随机存取存储器用于处理数据的过程中临时存储读取数据。

为了便于本领域技术人员更好地了解本申请实施例，如图6所示，为本申请实施例提供的示例性的多源数据处理系统的结构示意图，其具体操作流程如下：

t时刻电力业务数据中心EDATA需取得某一区域数据，向在处在这个区域位置的电力多源数据处理装置(A……N)发送数据采集信号和需求的完整数据特征值As，电力多源数据处理装置开始采集处理数据。

t时刻电力多源数据处理装置A采集外部信息，具体通过传感数据采集模块(SC1、SC2……SCn)采集外部的电力系统信息，形成多源传感数据(AN1、AN2……Ann)，即原始数据；通过内部数据转换模块DT对(AN1、AN2……Ann)进行数据转化，成为自采数据At；接着多源数据处理模块MD对At内的特征值数据Ast与完整数据特征值As进行数据完整性分析，判断有无缺失数据。

若数据At缺失特征值Asm，则MD向电力业务数据中心请求原始数据ANm，电力业务数据中心先检索数据库已有的数据，若存在ANm则发给A，CT将ANm发送给多源数据处理模块MD，MD将ANm数据加入At中，At成为为完整数据，并在问题标志数据Aq内标记为完整数据，A将完整数据At发送给电力业务数据中心。

若检索数据库中没有ANm，则向其他电力多源数据处理装置(B……N)发送ANm数据请求，若有其他电力多源数据处理装置(B……N)发送ANm给电力业务数据中心，电力业务数据中心将ANm发给A的通信模块CT，CT将ANm发送给多源数据处理模块MD，MD将ANm数据加入At中，At成为为完整数据，并在问题标志数据Aq内标记为完整数据，A将完整数据At发送给电力业务数据中心。

若其他电力多源数据处理装置(B……N)反馈无ANm数据，则电力业务数据中心发送无数据ANm信号给A，A在At内Aq数据内标记数据不完整信息，MD将不完整数据At发送给电力业务数据中心。

若At无缺失数据，MD在问题标志数据Aq内标记为完整数据，MD将不完整数据At发送给电力业务数据中心。

当电力业务数据中心收到完整数据At时，向处在这个区域位置的电力多源数据处理装置(A……N)发送停止数据采集信号。

当电力业务数据中心未收到完整数据At时，保存At数据，并等待下一个电力多源数据处理装置数据，直到收到完整数据Nt为止，此时向处在这个区域位置的电力多源数据处理装置(A……N)发送停止数据采集信号。

若已收到(At……Nt)都为不完整数据，则保存(At……Nt)数据，向处在这个区域位置的电力多源数据处理装置(A……N)继续发送数据采集信号。

本申请实施例提供的多源数据处理系统包括多个数据处理装置和数据中心；数据中心向任一数据处理装置发送数据采集需求；当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各原始数据的数据类型和数据采集需求，确定缺失数据；当前数据处理装置重新获取缺失数据，以使数据中心得到完整数据。上述方案提供的系统，通过在得到原始数据后，首先对其进行完整性检测，并对缺失数据进行针对性采集，提高了数据的完整性。并且，该系统是基于分布式和集中式的混合数据处理机制的，在不同电网作业状况下，能够加快电力现场的实时数据处理速度，满足电力业务的现场对完整数据的紧急需求。

本申请实施例提供了一种多源数据处理方法，应用于多源数据处理系统，系统包括多个数据处理装置和数据中心。

其中，如图7所示，为本申请实施例提供的多源数据处理方法的流程示意图。该方法包括：

步骤701，控制数据中心向任一数据处理装置发送数据采集需求；

步骤702，控制当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各原始数据的数据类型和数据采集需求，确定缺失数据；

步骤703，控制当前数据处理装置重新获取缺失数据，以使数据中心得到完整数据。

关于本实施例中的多源数据处理方法，其中各个步骤的具体方式已经在有关该系统的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例提供的多源数据处理方法，执行主体为上述实施例提供的多源数据处理系统，具体为上述实施例提供的多源数据处理系统的应用方法，其实现方式与原理相同，不再赘述。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种多源数据处理系统，其特征在于，包括：多个数据处理装置和数据中心；

数据中心向任一数据处理装置发送数据采集需求；

当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各所述原始数据的数据类型和所述数据采集需求，确定缺失数据；

所述当前数据处理装置重新获取所述缺失数据，以使所述数据中心得到完整数据。

2.根据权利要求1所述的系统，其特征在于，所述数据处理装置具体用于：

从数据中心的检索数据库中获取所述缺失数据。

3.根据权利要求1所述的系统，其特征在于，所述数据中心还用于：

向其他数据处理装置发送缺失数据获取请求，以得到所述缺失数据，并将所述缺失数据发送到当前数据处理装置。

4.根据权利要求1所述的系统，其特征在于，所述数据处理装置包括：

传感器采集模块，用于利用多种传感器采集所述电力系统的原始数据和/或所述缺失数据；

多源数据处理模块：用于对所述原始数据和/或所述缺失数据进行整合；

通信模块，用于将所述原始数据和/或所述缺失数据发送到数据中心。

5.根据权利要求4所述的系统，其特征在于，所述当前数据处理装置在接收到所述缺失数据后，由当前数据处理装置中的多源数据处理模块对所述原始数据和缺失数据进行整合，以得到完整数据；

基于所述通信模块，将所述完整数据发送到数据中心。

6.根据权利要求4所述的系统，其特征在于，当所述当前数据处理装置无法得到所述缺失数据时，所述多源数据处理模块将当前的原始数据标记为不完整数据；

基于所述通信模块，将标记为不完整数据的原始数据发送到数据中心。

7.根据权利要求6所述的系统，其特征在于，当所述数据中心接受到的数据不完整时，则重新向所述数据处理装置发送数据采集需求，至到得到完整数据。

8.根据权利要求4所述的系统，其特征在于，所述数据处理装置还包括：

数据转换模块，用于将不同传感器采集到的原始数据转换为统一格式。

9.根据权利要求8所述的系统，其特征在于，所述数据转换模块，具体用于：

提取所述原始数据的数据特征；

根据各所述原始数据的数据特征，确定对应的数据类型；

根据各所述原始数据的数据类型和所述数据采集需求包括的数据类型之间的关系，确定缺失数据。

10.一种多源数据处理方法，应用于多源数据处理系统，所述系统包括多个数据处理装置和数据中心，其特征在于，所述方法包括：

控制数据中心向任一数据处理装置发送数据采集需求；

控制当前数据处理装置根据接收到的数据采集需求，获取电力系统中的原始数据，并根据各所述原始数据的数据类型和所述数据采集需求，确定缺失数据；

控制所述当前数据处理装置重新获取所述缺失数据，以使所述数据中心得到完整数据。

Images