CN114201540A - 工业多源数据采集及存储系统 - Google Patents

Abstract

本公开属于核电技术领域，具体涉及一种工业多源数据采集及存储系统。本公开的工业多源数据采集及存储系统，所述工业多源数据采集及存储系统包括设于电厂侧的时序数据采集模块、设于云端的中心侧平台、生产/业务数据采集模块与对象数据采集模块，本公开的工业多源数据采集及存储系统针对不同类型的数据，采用不同的方式分别进行采集、处理与存储，可有效实现核电系统中所包括的设备时序数据、业务数据、PI实时数据、对象数据和外部数据有效采集与存储。

Description

工业多源数据采集及存储系统

技术领域

本发明属于核电技术领域，具体涉及一种工业多源数据采集及存储系统。

背景技术

核电数据包括各个核电厂业务系统的数据、核电系统的PI数据，核电厂中众多设备上外接的传感器数据以及核电系统中的文件数据、视频数据等，相关技术中，现有的核电数据来源众多，类数据类型各不相同，且数量巨大，存储要求也各不相同，如何收集获取众多核电厂的海量工业系统与设备的数据成为是亟待解决的问题。

发明内容

为克服相关技术中存在的问题，提供了一种工业多源数据采集及存储系统。

根据本公开实施例的一方面，提供一种工业多源数据采集及存储系统，所述工业多源数据采集及存储系统包括设于电厂侧的时序数据采集模块、设于云端的中心侧平台、生产/业务数据采集模块与对象数据采集模块；

所述中心侧平台包括工业互联网数据接入模块、数据中台处理模块以及数据存储模块；所述工业互联网数据接入模块用于接入多源数据；所述数据中台处理模块分别与所述工业互联网数据接入模块和所述数据存储模块通信连接，用于对接入的多源数据进行统一治理，并将理治后的数据封装成数据资产对外提供数据服务；所述数据存储模块用于获取存储所述多源数据以及所述数据资产；

所述对象数据采集模块用于采集非结构化数据，所述生产/业务数据采集模块用于采集电厂本地业务系统和/或核电系统中的结构化/非结构化数据；所述对象数据采集模块、所述生产/业务数据采集模块分别与所述工业互联网数据接入模块通信连接以用于将采集后的数据经由所述工业互联网数据接入模块上传至中心侧平台的数据中台处理模块处理；

所述时序数据采集模块用于采集电厂低频时序数据和高频时序数据，所述时序数据采集模块包括PI数据采集子模块、传感器采集子模块、时序数据处理子模块以及时序数据上传子模块；所述PI数据采集子模块用于采集PI系统的低频时序数据和高频时序数据；所述传感器采集子模块用于采集传感器的低频时序数据和高频时序数据；所述时序数据处理子模块与所述PI数据采集子模块、传感器采集子模块以及所述时序数据上传子模块分别通信连接，所述时序数据处理子模块用于采集完成后所述时序数据的预处理；所述时序数据上传子模块与所述工业互联网数据接入模块通信连接用于将处理后的时序数据上传中心侧平台的数据中台处理模块处理。

在一种可能的实现方式中，所述工业多源数据采集及存储系统还包括设于电厂侧的本地应用模块，所述本地应用模块与所述时序数据处理子模块通信连接，所述本地应用模块包括前端服务子模块、本地应用处理子模块以及边缘节点业务数据库，所述边缘节点业务数据库用于从所述时序数据处理子模块获取时序数据并存储至本地，所述前端服务子模块用于接入外部指令并将接入的外部指令发送至所述本地应用处理子模块，所述本地应用处理子模块用于根据所述外部指令处理所述边缘节点业务数据库存储的时序数据，并将处理结果经由所述前端服务子模块对外发布；

所述中心侧平台设有业务结果数据接入模块，所述业务结果数据接入模块与所述本地应用模块通信连接，用于将所述本地应用模块的处理结果接入至所述中心侧平台。

在一种可能的实现方式中，所述传感器采集子模块包括传感器数据网关/工控机以及数据接入网关，所述传感器数据网关/工控机布置在生产区，用于采集所述生产区的传感器数据，所述数据接入网关布置在电厂侧，用于将传感器数据网关/工控机采集的传感器数据发送至所述边缘节点业务数据库存储。

在一种可能的实现方式中，所述数据接入网关包括用于采集高频时序数据的高频时序数据接入网关，用于采集低频时序数据的低频时序数据接入网关以及用于采集结构化数据的结构化数据接入网关。

在一种可能的实现方式中，所述PI数据采集子模块包括：处理单元、PI数据采集单元、测点控制单元、PI数据上传单元、守护单元以及进程监控单元；

所述处理单元包括PI服务器以及缓存数据库，所述缓存数据库分别与多个PI数据采集单元、测点控制单元、PI数据上传单元以及所述PI服务器通信连接，用于所述PI数据采集单元、测点控制单元、PI数据上传单元以及所述PI服务器之间的信息订阅与交互，所述PI服务器根据接收到的用户指令，进行多个PI测量和PI数据采集管理；

所述测点控制单元与多个PI测点通信连接，用于进行所述多个PI测点的注册、删除以及检索；

每个PI数据采集单元与一个或多个PI测点通信连接，以用于根据接收到的用户指令采集该用户指令对应的PI测点的测点数据；

所述PI数据上传单元分别与所述多个PI数据采集单元通信连接，用于将采集的测点数据发送至所述时序数据处理子模块；

所述守护单元分别与所述多个PI数据采集单元、所述测点控制单元、PI数据上传单元以及处理单元通信连接，用于监测各单元的运行情况以及异常重启；

所述PI数据采集子模块还包括进程监控单元，所述进程监控单元与所述多个PI测点通信连接，用于监听每个PI测点的PI接口机资源信息。

在一种可能的实现方式中，所述测点控制单元包括测点注册子单元、测点删除子单元、测点检索子单元以及测点判断子单元；

所述测点注册子单元、测点删除子单元、测点检索子单元以及测点判断子单元分别与一个或多个PI测点以及缓存数据库通信连接，用于根据用户指令进行PI测点注册判断、PI测点注册、删除以及检索；

所述测点判断子单元用于判断指定PI测点是否在测点控制单元中进行注册，所述测点注册子单元用于根据接收到的用户指令进行该用户指令对应的PI测点的注册；所述测点删除单元用于根据接收到的用户指令进行该用户指令对应的已注册PI测点的删除；测点检索子单元用于根据接收到的用户指令多已注册的多个PI测点信息进行检索；

所述数据采集单元包括定时采集子单元、事件采集子单元以及补充采集单元；所述定时采集单元部署在电厂测接口机，与对应的PI测点通信连接，用于根据频率定时采集PI测点数据；所述事件采集单元也部署在电厂侧接口机，与对应的PI测点通信连接，用于根据PI事件监听采集PI测点数据；所述补充采集单元用于在定时采集子单元或事件采集子单元出现异常的情况下，补充采集异常时间段丢失的数据。

在一种可能的实现方式中，所述生产/业务数据采集模块的数据接入方式包括实时接入数据、非实时接入数据以及根据指令接入数据。

在一种可能的实现方式中，所述数据存储模块包括用于存储低频时数据的低频时序数据存储子模块，用于存储高频时序数据的高频时序数据存储子模块，用于存储结构化数据的结构化数据存储子模块，用于存储非结构化数据的非结构化数据存储子模块，以及时序历史数据存储子模块，用于存储数据中台处理模块的历史数据。

在一种可能的实现方式中，所述低频时序数据存储子模块采用时序数据库，所述高频时序数据存储子模块采用键值数据库，所述结构化数据存储子模块采用Hadoop数据库或大规模并行数据库，所述非结构化数据存储子模块采用对象存储数据库，所述时序历史数据存储子模块为Hadoop数据库。

在一种可能的实现方式中，所述时序数据处理子模块具备对接入的时序数据进行数据清洗、数据转换、数据融合特征提取中一种或多种的功能。

本公开的有益效果在于：本公开中，数据流向分为电厂侧和中心侧。电厂侧主要是数据的采集和传输，中心侧主要是数据的接入、计算和存储，本公开的工业多源数据采集及存储系统针对不同类型的数据，采用不同的方式分别进行采集、处理与存储，可有效实现核电系统中所包括的设备时序数据、业务数据、PI实时数据、对象数据和外部数据有效采集与存储。

工业物联网中的设备产生大量的数据，数据都上传到云端进行处理，会对云端造成巨大的压力，本发明的多源数据采集及存储系统，将数据中心侧的服务下沉至边缘节点，以最低的延迟响应终端用户，同时降低用户数据中心的计算压力和网络负载。

通常来讲，PI实时数据和传感器数据为核电系统最重要的数据，本发明的数据采集及存储系统，可以通过温度、湿度、压力传感器芯片以及具备联网功能的摄像头等设备，实现对核电生产关键环节关键设备的实时自动化数据收集和安全监控，将实时采集的原始数据首先汇集至边缘计算节点中进行初步计算分析，对特定设备的健康状况进行监测并进行相关的控制。边缘侧可及时检测异常情况，并更好的实现预测性监控、预防设备故障。边缘测将处理后的数据上传到云端，需要与云端交互的数据仅为经过加工分析后的高价值数据，一方面极大的节省了网络带宽资源，另一方面也为云端后续进一步大数据分析、数据挖掘提供了数据预加工服务，为云端规避了多种采集设备带来的多源异构数据问题。如果遇到网络故障，可以先在边缘侧进行数据处理，在网络恢复的情况下将数据上传到云端，云端进行数据存储和分析。

附图说明

图1是根据一示例性实施例示出的一种工业多源数据采集及存储系统的框图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

在本公开汇总，DHP可以表示为中国核电的核电工业互联网平台

中心侧平台可以表示为DHP部署在数据中心的云端平台，包括网络和基础云平台、大数据平台、PaaS平台和开发环境及工具，提供资源、模型、工具、应用支持，以及大数据存储与计算、大规模整体数据汇分析、深度学习训练与模型评估、应用与模型的统一管理、对分布式电厂本地节点进行管理等能力。

边缘节点可以表示为根据不同电厂的应用需求，在电厂侧提供数据采集、协议解析和边缘智能应用运行等能力，能够和中心侧协同实现数据上传、应用下发和远程管理，支持按需扩容、弹性部署以及个性化定制能力，并可支持升级为本地高效运行、自动化部署和集中运营的边缘云平台。

图1是根据一示例性实施例示出的一种工业多源数据采集及存储系统的框图。如图1所示，本发明的工业多源数据采集及存储系统，用于核电系统的数据采集与存储，所述系统包括设于电厂侧(也可以称为DHP-C，边缘侧)的时序数据采集模块、设于云端用于多个电厂管理以及数据交互的中心侧平台、以及生产/业务数据采集模块与对象数据采集模块；

所述中心侧平台包括工业互联网数据接入模块、数据中台处理模块以及数据存储模块；所述工业互联网数据接入模块用于接入多源数据；所述数据中台处理模块分别与所述工业互联网数据接入模块和所述数据存储模块通信连接，用于对接入的多源数据进行统一治理，并将理治后的数据封装成数据资产对外提供数据服务；所述数据存储模块用于获取存储所述多源数据以及所述数据资产；

所述对象数据采集模块用于采集非结构化数据，所述生产/业务数据采集模块用于采集电厂本地业务系统和/或核电系统中的结构化/非结构化数据；所述对象数据采集模块、所述生产/业务数据采集模块分别与所述工业互联网数据接入模块通信连接以用于将采集后的数据经由所述工业互联网数据接入模块上传至中心侧平台的数据中台处理模块处理；

所述时序数据采集模块用于采集电厂低频时序数据和高频时序数据，所述时序数据采集模块包括PI数据采集子模块、传感器采集子模块、时序数据处理子模块以及时序数据上传子模块；所述PI数据采集子模块用于采集PI系统的低频时序数据和高频时序数据；所述传感器采集子模块用于采集传感器的低频时序数据和高频时序数据；所述时序数据处理子模块与所述PI数据采集子模块、传感器采集子模块以及所述时序数据上传子模块分别通信连接，所述时序数据处理子模块用于采集完成后所述时序数据的预处理；所述时序数据上传子模块与所述工业互联网数据接入模块通信连接用于将处理后的时序数据上传中心侧平台的数据中台处理模块处理。

所述多源数据包括时序数据、生产/业务数据以及对象数据，数据流向分为电厂侧和中心侧，电厂侧主要是数据的采集和传输，中心侧主要是数据的接入、计算和存储，本发明所示的一种工业多源数据采集及存储系统，针对不同类型的数据，采用各自独立的方式分别进行采集、处理与存储，生产/业务数据、对象数据和外部数据直接接入至中心侧，时序数据(PI和传感器)需要通过边缘层处理接入处理后接入中心侧。其中，对于业务数据和对象数据，考虑到其增量不大但全局的关联多，故直接接入中心侧统一加工处理，而对于时序数据，考虑到时序数据增量比较大，并且很多时序处理类应用对数据的延时有要求，故单独在电厂侧单独设置时序数据采集模块以进行理，从而有效实现核电系统中所有设备时序数据、业务数据、PI实时数据、对象数据的有效采集与存储。

同时，物联网中的设备产生大量的数据，数据都上传到云端进行处理，会对云端造成巨大的压力，作为一优选方案，本发明所示的一种工业多源数据采集及存储系统还包括本地应用模块，用于基于本地数据对外提供服务。本地应用模块包括第一前端服务子模块、本地应用处理子模块以及边缘节点业务数据库，所述边缘节点业务数据库与时序数据处理子模块通信连接用于将部分时序数据存储至本地，所述第一前端服务模块用于外部用户与本地应用模块的交互，用户可通过第一前端服务模块发布外部指令(用户需求)，所述本地应用处理子模块用于依据外部指令处理所述时序数据，并将处理结果反馈至用户；同时，所述中心侧平台对应设有业务结果数据接入模块，可经由所述业务结果数据接入模块接入到所述数据存储模块。

当需要实时或更快速的数据处理和分析，用户可直接使用第一前端服务模块调用本地应用处理子模块提供的计算服务，节省网络流量、可离线运行并支持断点续传、本地数据更高安全保护等能力，且通过部署在边缘节点的边缘节点业务数据库实现本地化存储，通过数据配置、分发、交换、同步等组件实现数据的上传、共享、同步等服务。这样将数据中心侧的服务下沉至边缘节点，以最低的延迟响应终端用户，还可降低用户数据中心的计算压力和网络负载。

同时，由于各大电厂每年产生的低频时序数据规模在TB(Terabyte)级，因此电厂侧时序数据库要求支持TB级的存储容量，作为一优选方案，本公开中，DHP-C电厂侧边缘节点业务数据库可以为InfluxDB。InfluxDB由Go语言编写，不需要特殊的环境依赖，采用独有的TSMT(日志结构化合并树，Log-Structured Merge Tree)结构实现高性能的读写。

边缘侧采集的时序数据按照频率分可分为高频时序数据和低频时序数据。在核电领域，目前高频时序数据主要包括设备上加装传感器采集的振动频率，低频时序数据主要包括目前已有的PI数据库中的数据以及设备上加装传感器采集的温度、流量、压力等数据。在时序数据接入的过程中，边缘计算会产生部分关系型的结果数据，这部分数据也需要接入到DHP平台。除了时序数据的接入，在电厂生产区会有部分以文件方式存储的数据需要接入到DHP平台。

在一种可能的实现方式中，传感器采集子模块经由传感器数据网关或工控机采集传感器的低频时序数据和高频时序数据，传感器上采集到的数据会被发送到传感器边缘网关或工控机上。传感器边缘网关或工控机需要将采集到所有的设备的原始数据经由数据接入网关发送至DHP-C的数据接收服务器中，最后存储到边缘节点业务数据库中。其中，根据数据类型的不同，数据接入网关分为高频数据接入网关、低频数据接入网关以及结构化数据接入网关等。

其中，传感器数据网关或工控机还支持边缘计算功能，在边缘网关或者工控机上部署的计算程序会对原始数据进行处理，并将处理后的结果数据发送至电厂侧的数据接入网关。数据接入网关程序部署在物理服务器上，物理服务器为双网卡服务器，具备双网卡，一个网口与单向隔离网闸相连，另外一个网口与电厂侧办公区网络相连。

此外，本公开中，设备上的传感器采集到的数据到边缘网关或者工控机这一段，数据的传输协议和数据格式由各个项目确定，传感器边缘网关或工控机将数据通过单向隔离网闸发送到DHP-C数据接入网关这部分，数据协议采用单向隔离网闸支持的协议，数据格式采用预先定义数据格式。

在一种可能的实现方式中，PI数据的接入采用数据抽取的方式。通过在DHP-C的一台PI数据采集服务器上部署PI数据采集子模块，该PI数据采集子模块调用PI的SDK实现数据的采集，从而实现PI数据的接入。DHP-C中的PI采集程序调用PI提供的SDK订阅数据，协议是PI定义的。

更进一步的，本公开中，所述PI数据采集子模块用于PI测点的采集管理；包括处理单元、PI数据采集单元、测点控制单元以及PI数据上传单元、守护单元以及进程监控单元。所述守护单元分别与所述PI数据采集单元、所述测点控制单元、PI数据上传单元以及处理单元通信连接，用于监测各单元的运行情况以及异常重启；所述进程监控单元与所述PI测点通信连接，用于监听PI接口机资源信息。所述处理单元包括PI服务器以及缓存数据库，所述缓存数据库分别与PI数据采集单元、测点控制单元、PI数据上传单元以及所述PI服务器分别通信连接，以用于各单元之间的信息订阅与交互，所述PI服务器用于接收用户指令，并将所述用户指令经由缓存数据库发布至指定单元，以根据所述用户指令进行多个PI测量的PI数据采集管理；所述测点控制单元与多个所述PI测点通信连接，用于所述PI测点检索、所述测点的注册、删除；所述数据采集单元与对应的所述PI测点通信连接，以用于根据用户指令采集PI测点数据；所述PI数据上传单元与多个所述PI数据采集单元分别通信连接，用于将采集的所述PI测点数据发送至所述时序数据处理子模块。

更进一步的，本公开中，缓存数据库可为Redsi数据库。

测点控制单元部署在电厂侧接口机，包括测点注册子单元、测点删除子单元、测点检索子单元以及测点判断子单元；其中，所述测点判断子单元用于判断指定PI测点是否为在测点控制模块中进行注册。作为一优选方案，若指定的PI测点位于PI数据采集测点列表(PIPointinfo哈希表)中，则判断该PI测点已注册，可根据用户指令执行后续操作；当测点控制模块收到缓存数据库发布的采集指令后，通过测点判断单元判断该本次用户采集指令中所涉及的测点是否为已注册测点，若判断为已注册测点，则将该信息通过缓存数据库发送至PI数据采集模块以根据用户采集指令进行数据采集；若判断包括未注册测点，则转入测点注册单元进行新测点的注册，并将测点注册成功信息通过缓存数据库发送至PI数据采集模块以进行数据采集。所述测点注册子单元用于根据用户指令进行新PI测点的注册；作为一优选方案，可将指定的采集测点参数信息输入至PI数据采集测点列表中，即可完成新测点的注册。若注册失败返回错误信息并且记录到日志文件。所述测点删除单子元用于根据用户指令进行已注册PI测点的删除；作为一优选方案，从已经的注册成功的PI数据采集测点列表中，根据用户指令选择删除已经注册成功的PI数据采集测点以进行PI测点的删除，其中，还根据用户指令，一次删除一个或多个测点，若删除失败返回错误信息并且记录到日志文件。测点检索子单元用于根据用户指令，筛选出包含输入的字符串测点名称，以进行模糊查询。此外，所述测点控制模块还包括测点子导入单元，所述测点导入单元与多个所述测点以及缓存发布单元通信连接，用于根据用户指令批量注册多个测点；本公开中，可通过下载模板文件方式，将需要注册的PI数据采集测点批量注册到PI数据采集服务中，具体而言，可按照预设的模板文件要求填写PI数据测点信息，再进行PI数据测点文件导入，完成PI数据采集服务测点注册，已经注册成功的PI数据采集测点进行更新操作，不存在做增量操作，注册失败返回错误信息并且记录到日志文件

本公开中，事件采集单元只采集变化数据。具体应用时，用户根据需求下发对应的采集指令，可以针对各大电厂的PI数据进行定时、事件两种不同的方式进行数据采集，也可以选择两种方式同时采集。作为一优选方案，本公开中，事件采集单元包括PI数据事件监听采集列表(PI Collection Event哈希表)。所述PI数据事件监听采集列表用于以事件监听的方式进行数据采集，定时采集单元包括定时采集数据采集列表(PI CollectionFrequency Add哈希表)，所述定时采集数据采集列表用于定时采集指定PI测点数据；此外，作为一优选方案，本公开中，所述数据采集模块还包括补充采集单元，所述补充采集单元用于当定时采集子单元或事件采集子单元出现异常时，补充采集异常时间段丢失数据。当判断采集单元服务异常时，补充采集单元将PI数据采集服务发生异常的时间至PI数据采集服务重新开始采集数据的这段时间的PI数据进行历史补采，采集异常返回异常信息并且记录到日志文件。

本公开中，为保证各单元服务正常运行，测点注册子单元、测点删除子单元、测点检索子单元、测点判断子单元、定时采集子单元、事件采集子单元、数据补采子单元、数据上传单元分别发送服务心跳至缓存数据库Heartbeat表中，供守护单元监听。守护单元通过监听缓存数据库Heartbeat表，进行状态服务状态监控，当任何一个服务发生异常时，结束该服务，并且以脚本的方式重启该服务，记录服务发生异常时间、重启时间，并且记录到日志文件，每次异常都将以邮件形式报告运维人员。

本公开中，CPU、内存、硬盘、磁盘使用信息上传至DHP平台，PI接口机资源使用不得超过总体80％，当PI接口机资源使用过度时，记录时间，并且记录到日志文件，都将以邮件形式报告运维人员，从而可在实现各个电厂的PI测点的增、删、查、主数据的管理的同时还可实现接口机资源进行监控。边缘节点的运行监控信息，包括软件、硬件、数据、应用状态、告警信息需要采集并上传至云端(中心侧)，在云端(中心侧)建立边缘节点的集中监控中心。

本公开中，DHP-C中部署有FTP服务器，负责接收边缘侧发送的文件数据。该服务器具备双网卡，一个网卡与生产区的单向隔离网闸相通，另一个网卡与DHP-C的网络相通。生产区的文件发送服务器通过FTP协议将文件推送至DHP-C侧的FTP服务器上，单向隔离网闸需支持FTP协议传输。非结构化文件数据接入方案通信协议，生产区的文件发送程序采用FTP协议将文件推送至DHP-C的FTP服务器上

经过PI采集子模块以及传感器数据采集子模块采集的电厂侧时序数据上传之前需进行数据预处理，本公开中，所述时序数据处理子模块的预处理包括数据清洗转换、数据存储、数据融合特征提取中的一种或多种组合。

对于低频时序数据，每一条数据都必须包含测点ID、采集时间戳、测点值和数据质量信息，测点ID必须按照DHP中的时序数据测点命名规范进行测点名转换，采集时间戳必须转换为毫秒时间戳，测点值如果为空，就用默认值进行填充或者将该条数据丢弃，数据质量值必须为short类型整数；对于高频时序数据，每一条数据都必须包含测点ID、数据类型、数据质量、处理方式、毫秒时间戳、数据采集频率以及测点值。测点ID必须按照DHP中的时序数据测点命名规范进行测点名转换，采集时间戳必须转换为毫秒时间戳，测点值如果为空，就用默认值进行填充或者将该条数据丢弃。

电厂侧在本地做完降采样、数据清洗等处理后，通过时序数据上传子模块提供的时序数据上传服务将时序数据上传到DHP平台。时序数据上传服务通过配置管控时序数据流量，上传频次等，并监控电厂侧时序数据上传。DHP定义了时序数据传输中的4类数据包格式，分别为低频时序数据通用二进制格式、低频时序数据通用JSON格式、高频时序数据通用二进制格式、高频时序数据通用JSON格式。其中，时序数据采集上来后通过MQTT协议接入。

所述生产/业务数据采集模块用于从业务系统采集业务数据到数据中心，业务数据为电厂本地业务系统以及中国核电统建系统中的结构化数据或非结构化数据。为了将电厂各业务系统不同类型存储库中的数据同步到DHP数据中台。本公开中，根据数据源分类、数据量大小、数据内容、数据及时性要求等采取不同的接入方案，采集方式包括有实时和非实时两种方式，数据采集的方式有增量、全量、一次性等方式。

电厂本地业务系统以及中国核电统建系统中的数据库类型包括Oracle，MySQL，SQL Server等，本公开中，对于一些需要及时展示当前更新数据的业务应用，所述生产/业务数据采集模块进行近实时增量数据接入，采用数据库增量日志解析方式，针对Oracle数据库，可以集成OGG工具，针对MySQL数据库，可以集成canal工具。进行增量数据抽取，实现分钟级的数据刷新，针对Oracle数据库，在源端集成OGG工具，通过解析Oracle数据库的归档日志获得数据的增量变化，然后将增量数据同步到DHP数据仓库；针对MySQL数据库，通过canal工具解析MySQL的binlog日志，实时获取增量的数据更新。生产/业务数据采集模块获取对应的数据后，直接与工业互联网数据接入模块通信连接，以将生产数据发送至中心平台中存储，用于后续统一处理。

本公开中，对象数据为文件、视频、图片等，格式有多种，数据量大。对于对象数据，也是通过采集模块采集数据后直接通过工业互联网数据接入模块接入至中心侧平台，以将对象数据发送至中心平台中存储，用于后续统一处理。具体而言，互联网的数据通过防火墙和网闸进入到DHP平台中。

接入的多类型数据统一汇聚到数据中台被数据中台治理工具统一治理，治理后结果数据封装成数据资产对外提供数据服务。在数据中台之上通过数据科学工具进行数据科学探索与模型训练。模型被平台配置与运维工具管理，模型下装，模型更新，模型回收，运行监控。

如前所述，厂侧主要是数据的采集和传输，中心侧主要是数据的接入、计算和存储。本发明所示的一种工业多源数据采集及存储系统，所述中心侧平台设有包括数据存储模块，所述数据存储模块分别与所述业务结果数据接入模块以及数据中台处理模块通信连接，所述数据存储模块包括低频时序数据存储子模块、高频时序数据存储子模块、结构化数据存储子模块、非结构化数据存储子模块以及时序历史数据存储子模块以用于根据所述业务结果数据接入模块以及数据中台处理模块发送的数据特性对应存储。作为一优选方案，所述低频时序数据存储子模块为时序数据库、高频时序数据存储子模块为键值数据库、结构化数据存储子模块采用Hadoop数据库或大规模并行数据库方式存储、非结构化数据存储子模块采用对象存储数据库存储，平台提供文件服务接口。时序历史数据存储子模块为Hadoop数据库，并通过大规模并行数据库对外提供历史数据的查询。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种工业多源数据采集及存储系统，其特征在于，所述工业多源数据采集及存储系统包括设于电厂侧的时序数据采集模块、设于云端的中心侧平台、生产/业务数据采集模块与对象数据采集模块；

所述中心侧平台包括工业互联网数据接入模块、数据中台处理模块以及数据存储模块；所述工业互联网数据接入模块用于接入多源数据；所述数据中台处理模块分别与所述工业互联网数据接入模块和所述数据存储模块通信连接，用于对接入的多源数据进行统一治理，并将理治后的数据封装成数据资产对外提供数据服务；所述数据存储模块用于获取存储所述多源数据以及所述数据资产；

所述对象数据采集模块用于采集非结构化数据，所述生产/业务数据采集模块用于采集电厂本地业务系统和/或核电系统中的结构化/非结构化数据；所述对象数据采集模块、所述生产/业务数据采集模块分别与所述工业互联网数据接入模块通信连接以用于将采集后的数据经由所述工业互联网数据接入模块上传至中心侧平台的数据中台处理模块处理；

所述时序数据采集模块用于采集电厂低频时序数据和高频时序数据，所述时序数据采集模块包括PI数据采集子模块、传感器采集子模块、时序数据处理子模块以及时序数据上传子模块；所述PI数据采集子模块用于采集PI系统的低频时序数据和高频时序数据；所述传感器采集子模块用于采集传感器的低频时序数据和高频时序数据；所述时序数据处理子模块与所述PI数据采集子模块、传感器采集子模块以及所述时序数据上传子模块分别通信连接，所述时序数据处理子模块用于采集完成后所述时序数据的预处理；所述时序数据上传子模块与所述工业互联网数据接入模块通信连接用于将处理后的时序数据上传中心侧平台的数据中台处理模块处理。

2.根据权利要求1所述的工业多源数据采集及存储系统，其特征在于，所述工业多源数据采集及存储系统还包括设于电厂侧的本地应用模块，所述本地应用模块与所述时序数据处理子模块通信连接，所述本地应用模块包括前端服务子模块、本地应用处理子模块以及边缘节点业务数据库，所述边缘节点业务数据库用于从所述时序数据处理子模块获取时序数据并存储至本地，所述前端服务子模块用于接入外部指令并将接入的外部指令发送至所述本地应用处理子模块，所述本地应用处理子模块用于根据所述外部指令处理所述边缘节点业务数据库存储的时序数据，并将处理结果经由所述前端服务子模块对外发布；

所述中心侧平台设有业务结果数据接入模块，所述业务结果数据接入模块与所述本地应用模块通信连接，用于将所述本地应用模块的处理结果接入至所述中心侧平台。

3.根据权利要求1所述的工业多源数据采集及存储系统，其特征在于，所述传感器采集子模块包括传感器数据网关/工控机以及数据接入网关，所述传感器数据网关/工控机布置在生产区，用于采集所述生产区的传感器数据，所述数据接入网关布置在电厂侧，用于将传感器数据网关/工控机采集的传感器数据发送至所述边缘节点业务数据库存储。

4.根据权利要求3所述的工业多源数据采集及存储系统，其特征在于，所述数据接入网关包括用于采集高频时序数据的高频时序数据接入网关，用于采集低频时序数据的低频时序数据接入网关以及用于采集结构化数据的结构化数据接入网关。

5.根据权利要求1所述的工业多源数据采集及存储系统，其特征在于，所述PI数据采集子模块包括：处理单元、PI数据采集单元、测点控制单元、PI数据上传单元、守护单元以及进程监控单元；

所述处理单元包括PI服务器以及缓存数据库，所述缓存数据库分别与多个PI数据采集单元、测点控制单元、PI数据上传单元以及所述PI服务器通信连接，用于所述PI数据采集单元、测点控制单元、PI数据上传单元以及所述PI服务器之间的信息订阅与交互，所述PI服务器根据接收到的用户指令，进行多个PI测量和PI数据采集管理；

所述测点控制单元与多个PI测点通信连接，用于进行所述多个PI测点的注册、删除以及检索；

每个PI数据采集单元与一个或多个PI测点通信连接，以用于根据接收到的用户指令采集该用户指令对应的PI测点的测点数据；

所述PI数据上传单元分别与所述多个PI数据采集单元通信连接，用于将采集的测点数据发送至所述时序数据处理子模块；

所述守护单元分别与所述多个PI数据采集单元、所述测点控制单元、PI数据上传单元以及处理单元通信连接，用于监测各单元的运行情况以及异常重启；

所述PI数据采集子模块还包括进程监控单元，所述进程监控单元与所述多个PI测点通信连接，用于监听每个PI测点的PI接口机资源信息。

6.根据权利要求5所述的一种工业多源数据采集及存储系统，其特征在于，所述测点控制单元包括测点注册子单元、测点删除子单元、测点检索子单元以及测点判断子单元；

所述测点注册子单元、测点删除子单元、测点检索子单元以及测点判断子单元分别与一个或多个PI测点以及缓存数据库通信连接，用于根据用户指令进行PI测点注册判断、PI测点注册、删除以及检索；

所述测点判断子单元用于判断指定PI测点是否在测点控制单元中进行注册，所述测点注册子单元用于根据接收到的用户指令进行该用户指令对应的PI测点的注册；所述测点删除单元用于根据接收到的用户指令进行该用户指令对应的已注册PI测点的删除；测点检索子单元用于根据接收到的用户指令多已注册的多个PI测点信息进行检索；

所述数据采集单元包括定时采集子单元、事件采集子单元以及补充采集单元；所述定时采集单元部署在电厂测接口机，与对应的PI测点通信连接，用于根据频率定时采集PI测点数据；所述事件采集单元也部署在电厂侧接口机，与对应的PI测点通信连接，用于根据PI事件监听采集PI测点数据；所述补充采集单元用于在定时采集子单元或事件采集子单元出现异常的情况下，补充采集异常时间段丢失的数据。

7.根据权利要求1所述的工业多源数据采集及存储系统，其特征在于，所述生产/业务数据采集模块的数据接入方式包括实时接入数据、非实时接入数据以及根据指令接入数据。

8.根据权利要求1所述的工业多源数据采集及存储系统，其特征在于，所述数据存储模块包括用于存储低频时数据的低频时序数据存储子模块，用于存储高频时序数据的高频时序数据存储子模块，用于存储结构化数据的结构化数据存储子模块，用于存储非结构化数据的非结构化数据存储子模块，以及时序历史数据存储子模块，用于存储数据中台处理模块的历史数据。

9.根据权利要求8所述的一种工业多源数据采集及存储系统，其特征在于，所述低频时序数据存储子模块采用时序数据库，所述高频时序数据存储子模块采用键值数据库，所述结构化数据存储子模块采用Hadoop数据库或大规模并行数据库，所述非结构化数据存储子模块采用对象存储数据库，所述时序历史数据存储子模块为Hadoop数据库。

10.根据权利要求1所述的一种工业多源数据采集及存储系统，其特征在于，所述时序数据处理子模块具备对接入的时序数据进行数据清洗、数据转换、数据融合特征提取中一种或多种的功能。

Images