CN112671922B - 工业互联网数据处理系统及方法 - Google Patents

Abstract

本发明实施例提供一种工业互联网数据处理系统及方法，其中系统包括：数据采集探针组件，用于获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，根据获取的网络负载状态和/或本地数据存储状态，将数据集合发送；数据存储装置，用于接收数据采集探针组件发送的数据集合并存储，基于预设数据标准对已存储的数据集合中的数据进行整合生成标准化数据源；数据传输总线，用于在接收到上层应用发送的数据请求的情况下，基于库直连同步、数据文件同步或者接口服务同步，在标准化数据源中获取数据请求对应的目标数据并传输至上层应用。本发明可以降低数据采集成本，降低网络负载，提高数据整合效率，为上层应用提供标准的数据服务。

Description

工业互联网数据处理系统及方法

技术领域

本发明涉及工业互联网技术领域，特别是涉及一种工业互联网数据处理系统及方法。

背景技术

在装备制造企业的网络架构内，涉及网络协议(Internet Protocol，IP)网络和工控网络，IP网络主要服务于生产经营管理人员，采用传输控制协议(Transmission ControlProtocol，TCP)\IP协议族，对应于大量办公终端、结构化与非结构化数据库、大量业务系统。工控网络主要为生产设备和现场设备管理人员服务，采用工控环网，包括大量上位机、下位机、分散控制系统(Distributed Control System，DCS)等工业数据库、工业应用软件。

采集IP网络和工控网络的网络流量数据以及设备、终端、应用的日志数据，对于应对网络安全问题，保障业务持续运行具有重要作用。但是在数据采集过程中，由于网络异构、设备多、应用多，导致企业不同网域、不同应用、不同终端采用了千差万别的采集系统，使得数据采集实施成本高。且在装备制造业这种重资产、大量设备应用的环境中，存在数以万计的采集点，在数据采集后，需要实时调用存储服务器，发送数据，占用了大量网络资源，易导致重要业务延时。同时由于采集源十分广泛，因此数据结构与元数据非常不统一，上层业务系统在使用数据时，需要花费大量时间进行数据整合工作，严重影响业务运营效率。

由此可见，现有技术中，在面对装备制造业工业互联网进行数据采集、存储以及整合时，存在采集实施成本高、网络负载大以及整合效率低的弊端。

发明内容

本发明提供了一种工业互联网数据处理系统及方法，以解决现有技术中在面对装备制造业工业互联网进行数据采集、存储以及整合时，存在的采集实施成本高、网络负载大以及整合效率低的问题。

第一方面，本发明实施例提供了一种工业互联网数据处理系统，包括：

数据采集探针组件，用于获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，根据获取的网络负载状态和/或本地数据存储状态，将所述数据集合发送；

数据存储装置，用于接收所述数据采集探针组件发送的所述数据集合，将所述数据集合存储，基于预设数据标准对已存储的所述数据集合中的数据进行整合，生成标准化数据源；

数据传输总线，用于在接收到上层应用发送的数据请求的情况下，基于库直连同步、数据文件同步或者接口服务同步，在所述数据存储装置的标准化数据源中获取所述数据请求对应的目标数据并传输至所述上层应用。

第二方面，本发明实施例提供了一种工业互联网数据处理方法，应用于数据处理系统，包括：

获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，根据获取的网络负载状态和/或本地数据存储状态，触发所述数据集合的存储，其中，所述数据集合在被发送至目标位置后进行存储；

基于预设数据标准对已存储的所述数据集合中的数据进行整合，生成标准化数据源；

接收到上层应用发送的数据请求的情况下，基于库直连同步、数据文件同步或者接口服务同步，在所述标准化数据源中获取所述数据请求对应的目标数据并传输至所述上层应用。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的工业互联网数据处理方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的工业互联网数据处理方法的步骤。

与现有技术相比，本发明包括以下优点：

在本发明实施例中，通过体系化整合工业互联网的数据采集，根据预设数据标准进行数据整合，形成标准化数据源，为上层应用提供标准的数据服务，从而降低了数据采集成本，提高了数据整合效率，为上层数据提供良好基础，且通过监测主干网络空闲状态、本地网络空闲状态，并结合本地数据存储状态，实现基于网络闲时机制和/或数据存储机制发送数据，可以大幅降低网络负载，避免本地存储大量数据，节省存储空间。

附图说明

图1表示本发明实施例工业互联网数据处理系统示意图之一；

图2表示本发明实施例工业互联网数据处理系统示意图之二；

图3表示本发明实施例数据存储装置技术架构示意图；

图4表示本发明实施例工业互联网数据处理系统技术架构示意图；

图5表示本发明实施例探针协同机制示意图；

图6表示本发明实施例数据采集探针技术架构示意图；

图7表示本发明实施例工业互联网数据处理方法示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例提供一种工业互联网数据处理系统，如图1所示，工业互联网数据处理系统10包括：

数据采集探针组件11，用于获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，根据获取的网络负载状态和/或本地数据存储状态，将所述数据集合发送；

数据存储装置12，用于接收所述数据采集探针组件11发送的所述数据集合，将所述数据集合存储，基于预设数据标准对已存储的所述数据集合中的数据进行整合，生成标准化数据源；

数据传输总线13，用于在接收到上层应用发送的数据请求的情况下，基于库直连同步、数据文件同步或者接口服务同步，在所述数据存储装置12的标准化数据源中获取所述数据请求对应的目标数据并传输至所述上层应用。

本发明实施例提供的工业互联网数据处理系统，包括数据采集探针组件11、数据存储装置12以及数据传输总线13。其中数据采集探针组件11用于针对工业互联网进行数据采集，获取工业互联网对应的数据集合并缓存，数据集合可以包括工业互联网对应的网络流量数据和日志数据，且本发明实施例中的工业互联网优选为面向装备制造业的工业互联网。数据采集探针组件11还可以获取对应的网络负载状态和/或本地数据存储状态，基于网络负载状态和/或本地数据存储状态，将缓存的数据集合发送至数据存储装置12。其中网络负载状态包括主链路网络负载状态和数据采集探针组件对应的本地网络负载状态，本地数据存储状态包括数据采集探针组件对应的本地网络流量数据存储状态和本地日志数据存储状态。

数据存储装置12与数据采集探针组件11通信，可以接收数据采集探针组件11发送的数据集合，将接收到的数据集合进行存储，在完成数据集合的存储之后，可以基于预设数据标准对已存储的数据集合中的数据进行整合，以生成标准化数据源。通过基于预设数据标准进行数据整合，可以形成标准化数据源，同时提高了数据整合效率。

数据传输总线13与数据存储装置12通信，可以接收上层应用发送的数据请求，在接收到上层应用发送的数据请求的情况下，可以基于库直连同步、数据文件同步和接口服务同步中的任意一种方式，在数据存储装置12存储的标准化数据源中获取数据请求对应的目标数据，并将所获取的目标数据传输至上层应用，实现为上层应用提供标准的数据服务。

本发明实施例提供的工业互联网数据处理系统，通过体系化整合工业互联网的数据采集，根据预设数据标准进行数据整合，形成标准化数据源，为上层应用提供标准的数据服务，从而降低了数据采集成本，提高了数据整合效率，为上层数据提供良好基础；通过监测主干网络空闲状态、本地网络空闲状态，并结合本地数据存储状态，实现基于网络闲时机制和/或数据存储机制发送数据，可以大幅降低网络负载，避免本地存储大量数据，节省存储空间。

在本发明一可选实施例中，如图1所示，所述数据采集探针组件11包括流量采集探针组件111，以及终端采集探针组件112、数据库采集探针组件113和应用采集探针组件114中的至少一类；

所述流量采集探针组件111，用于采集所述工业互联网对应的网络流量数据并缓存；

所述终端采集探针组件112，用于采集所述工业互联网对应的终端日志数据并缓存；

所述数据库采集探针组件113，用于采集所述工业互联网对应的数据库日志数据并缓存；

所述应用采集探针组件114，用于采集所述工业互联网对应的应用日志数据并缓存；

其中，所述工业互联网对应的日志数据包括所述终端日志数据、所述数据库日志数据和所述应用日志数据中的至少一类数据。

数据采集探针组件11包括流量采集探针组件111，还可以包括终端采集探针组件112、数据库采集探针组件113和应用采集探针组件114中的至少一类探针组件。其中，流量采集探针组件111用于采集工业互联网对应的网络流量数据并缓存，网络流量数据可以包括IP网络对应的网络流量数据和/或工控网络对应的网络流量数据。终端采集探针组件112用于采集工业互联网对应的终端日志数据并缓存，终端日志数据包括办公终端对应的终端运行信息和/或工业终端对应的终端运行信息。数据库采集探针组件113用于采集工业互联网对应的数据库日志数据并缓存，数据库日志数据包括IP网络数据库对应的数据运行日志信息和/或工控网络数据库对应的数据运行日志信息。应用采集探针组件114用于采集工业互联网对应的应用日志数据并缓存，应用日志数据包括IP网络应用对应的应用运行日志信息和/或工控网络应用对应的应用运行日志信息。其中，工业互联网对应的日志数据可以包括终端日志数据、数据库日志数据和应用日志数据中的至少一类数据。

流量采集探针组件111可以包括对应于IP网络的流量采集探针组件和对应于工控网络的流量采集探针组件，终端采集探针组件112可以包括对应于IP网络的终端采集探针组件和对应于工控网络的终端采集探针组件，数据库采集探针组件113可以包括对应于IP网络的数据库采集探针组件和对应于工控网络的数据库采集探针组件，应用采集探针组件114可以包括对应于IP网络的应用采集探针组件和对应于工控网络的应用采集探针组件。

从另一层面来说，数据采集探针组件可以包括IP网络环境探针组件(包括对应于IP网络的流量采集探针组件，以及对应于IP网络的终端采集探针组件、对应于IP网络的数据库采集探针组件和对应于IP网络的应用采集探针组件中的至少一类)以及工控网络环境探针组件(包括对应于工控网络的流量采集探针组件，以及对应于工控网络的终端采集探针组件、对应于工控网络的数据库采集探针组件和对应于工控网络的应用采集探针组件中的至少一类)。例如，参见图2所示，数据采集探针组件11包括IP网络环境探针组件以及工控网络环境探针组件，IP网络环境探针组件用于采集IP网络对应的网络流量数据、针对办公终端采集终端运行信息、针对IP网络数据库(如，结构化与非结构化数据库)采集数据运行日志信息、针对IP网络应用(办公应用)采集应用运行日志信息；工控网络环境探针组件用于采集工控网络对应的网络流量数据、针对工业终端采集终端运行信息、针对工控网络数据库(如分布式控制系统(Distributed Control System，DCS)数据库)采集数据运行日志信息、针对工控网络应用(工业应用)采集应用运行日志信息。

上述实施过程，针对IP网络和/或工控网络，通过流量采集探针组件采集网络流量数据，通过终端采集探针组件、数据库采集探针组件、应用采集探针组件中的至少一种采集日志数据，可以实现基于不同的探针组件将日志数据与网络流量数据进行整合，进而实现采用高效并且集成度高的数据探针进行数据采集。

在本发明一可选实施例中，如图1所示，所述数据存储装置12包括数据采集模块121、数据仓库模块122、数据发送模块123以及路由服务模块124；

所述数据采集模块121用于：接收所述数据采集探针组件11发送的所述数据集合，对所述数据集合中的数据进行组装，并通过数据存储引擎基于数据格式特点以及数据被调用时对应的形式，将组装后的数据存储至所述数据仓库模块122的不同数据载体；

所述数据仓库模块122用于：基于预设数据标准，对所述数据载体上存储的数据进行整合，生成标准化数据源；

所述数据发送模块123用于：接收所述数据传输总线13发送的所述数据请求，在所述数据仓库模块122的标准化数据源中获取所述目标数据并发送至所述数据传输总线13；

所述路由服务模块124用于：监测所述数据采集模块121以及所述数据发送模块123的工作状态，并调度所述数据采集模块121的数据存储优先级以及所述数据发送模块123的数据读取优先级。

数据存储装置12可以包括数据采集模块121、数据仓库模块122、数据发送模块123以及路由服务模块124。数据采集模块121对接数据采集探针组件11，相当于数据生产者，获取数据集合，对数据集合中的数据进行组装，并通过数据存储引擎基于数据格式特点以及数据被调用时对应的形式，将组装后的数据存储至数据仓库模块122的不同数据载体中。数据仓库模块122用于基于不同的数据载体存储数据，并基于预设数据标准，对存储的数据进行整合，生成标准化数据源。数据发送模块123对接数据传输总线13，作为数据消费者，在数据仓库模块122中获取目标数据并发送至数据传输总线13，为数据传输总线13提供数据。路由服务模块124负责监控数据生产者、数据消费者的工作状态，调度数据采集模块121的数据存储优先级以及数据发送模块123的数据读取优先级。

数据存储装置对应的技术架构可参见图3，数据存储装置可以采用ZooKeeper(分布式的，开放源码的分布式应用程序协调服务)调度与执行数据的存储和读取任务。数据采集模块作为数据生产者，通过Broker(数据块)对接收到的数据进行组装，组装后的数据统一由数据存储引擎存储到数据仓库模块中。具体为数据存储引擎根据数据源的格式特点以及数据被调用时对应的形式，将组装后的数据存储至关系型数据库管理系统(MyStructured Query Language，MySQL)、Files(文件数据库)、MongoDB(分布式文档存储数据库)以及Service(服务)等数据载体。在数据消费者请求数据时，可以由数据存储引擎在数据仓库模块获取目标数据，通过Broker将目标数据发送至数据消费者。

本发明实施例，通过数据存储引擎将数据存储至不同的数据载体，可以便于数据的调用，通过根据预设数据标准进行数据整合，形成标准化数据源，提高了数据整合效率，为上层数据提供良好基础，通过调度数据存储优先级以及数据读取优先级，可以保证数据的有序写入与读取。

在本发明一可选实施例中，如图1和图2所示，所述数据传输总线13用于：在接收到所述上层应用发送的所述数据请求的情况下，基于所述库直连同步、所述数据文件同步或者所述接口服务同步，向所述数据发送模块123发送所述数据请求，获取所述目标数据。

数据传输总线13可通过库直连同步、数据文件同步或者接口服务同步向数据存储装置12的数据发送模块123发送数据请求。

如图2和图4所示，库直连同步是指外部数据接收者用数据库直接对接数据存储装置的数据仓库模块进行数据同步，库直连同步可以包括视图同步，其中，视图同步提供了跨多个库、多个表的综合数据同步能力。库直连同步对应于基于Java数据库连接(JavaDataBase Connectivity，JDBC)协议、开放数据库互连(Open Database Connectivity，ODBC)协议的数据直通数据同步能力。数据文件同步是指外部数据接收者用文件服务器以文件的形式从数据仓库模块获取数据，对应于基于文件传输协议(File TransferProtocol，FTP)同步能力。接口服务同步对应于TCP\IP协议的接口数据同步能力，接口服务同步可以以数据库日志解析的形式进行数据同步，也可以进行数据内容的同步，数据库日志解析是指外部数据接收者获取数据仓库模块更新的数据，以进行外部数据库的增量更新。

数据传输总线在接收到上层应用发送的数据请求的情况下，向数据存储装置发送数据请求，ZooKeeper将其作为数据消费者，调度其获取数据。

其中，图4为本发明工业互联网数据处理系统对应的技术架构图，数据传输总线对应于数据传输层，数据存储装置对应于数据存储层，数据采集探针组件对应于数据采集层。针对数据传输层，可参见上述库直连同步、数据文件同步以及接口服务同步的介绍，针对数据存储层可参见上述数据存储装置对应的技术架构的介绍。针对数据采集层而言，流量采集探针组件可以基于深度流检测(Deep Flow Inspection，DFI)技术采集网络流量数据，终端采集探针组件，可以采取软件开发工具包(Software Development Kit，SDK)接口方式在终端部署SDK，采集终端设备运行信息(终端日志数据)，数据库采集探针组件，可以采取SDK接口方式在数据库服务器部署SDK，采集数据运行日志信息(数据库日志数据)，应用采集探针组件，可以采取SDK接口方式在应用服务器部署SDK，采集应用运行日志信息(应用日志数据)。

本发明实施例，通过基于库直连同步、数据文件同步或者接口服务同步，获取目标数据，可以在多种数据同步方式中进行选择，丰富了数据同步方式。

在本发明一可选实施例中，所述流量采集探针组件包括一第一流量采集探针；所述第一流量采集探针用于确定主链路网络负载，在所述主链路网络负载小于主链路负载阈值时，向所述终端采集探针组件、所述数据库采集探针组件和所述应用采集探针组件中的至少一类发送主链路网络处于空闲状态的第一通知信息；

其中，所述第一流量采集探针对应于一第一流量采集服务器。

本实施例中，流量采集探针组件可以包括一第一流量采集探针，其中第一流量采集探针对应于第一流量采集服务器，具体为第一流量采集探针部署于第一流量采集服务器上，第一流量采集探针所缓存的网络流量数据为IP网络对应的网络流量数据或者工控网络对应的网络流量数据。且第一流量采集探针可以与多个交换机进行交互确定主链路网络负载，具体为第一流量采集探针获取多个交换机分别对应的网络负载日志，根据获取的网络负载日志确定主链路网络负载。

在确定主链路网络负载之后，可以将所获取的主链路网络负载与主链路负载阈值进行比较，在主链路网络负载小于主链路负载阈值的情况下，可以确定主链路网络处于网络空闲状态，此时可以向终端采集探针组件、数据库采集探针组件和应用采集探针组件中的至少一类探针组件发送第一通知信息。具体为发送基于用户数据报协议(User DatagramProtocol，UDP)的主链路网络处于空闲状态的第一通知信息。其中在发送第一通知信息时可以通过广播的形式发送。通过确定主链路网络负载并在确定主干网络空闲时向其他探针组件广播通知信息，可以便于其他探针组件基于空闲网络状态向数据存储装置发送数据。

可选的，所述第一流量采集探针还用于：获取对应的第一本地网络流量数据存储状态和第一本地网络负载，在所述第一本地网络流量数据存储状态满足第一预设条件，和/或，所述主链路网络负载小于所述主链路负载阈值且所述第一本地网络负载小于对应的本地网络负载阈值时，将所述第一流量采集探针缓存的网络流量数据发送至所述数据存储装置；

其中，所述第一流量采集探针对应于第一流量存储空间，在所述第一流量采集探针缓存的网络流量数据在所述第一流量存储空间中的占比大于第一阈值时，确定所述第一本地网络流量数据存储状态满足所述第一预设条件。

本发明实施例中，第一流量采集探针还可以获取对应的第一本地网络流量数据存储状态和第一本地网络负载，其中第一本地网络流量数据存储状态即为第一流量采集探针所对应的第一流量采集服务器所对应的网络流量数据存储状态，第一流量采集探针所对应的第一流量存储空间，即为第一流量采集服务器上的存储空间，相应的，第一本地网络负载即为第一流量采集服务器所对应的网络负载。

在获取第一本地网络流量数据存储状态和第一本地网络负载之后，可以在第一本地网络流量数据存储状态满足第一预设条件，和/或，主链路网络负载小于主链路负载阈值且第一本地网络负载小于对应的本地网络负载阈值的情况下，确定满足数据发送条件，此时可以将第一流量采集探针缓存的网络流量数据发送至数据存储装置。具体可以为：在第一本地网络流量数据存储状态满足第一预设条件时可以确定满足数据发送条件；或者，在主链路网络负载小于主链路负载阈值且第一本地网络负载小于对应的本地网络负载阈值时可以确定满足数据发送条件；或者，在第一本地网络流量数据存储状态满足第一预设条件、主链路网络负载小于主链路负载阈值且第一本地网络负载小于对应的本地网络负载阈值时，可以确定满足数据发送条件。其中，在第一流量采集探针缓存的网络流量数据在第一流量存储空间中的占比大于第一阈值时，确定第一本地网络流量数据存储状态满足第一预设条件。

本发明实施例中，通过获取主链路网络负载、第一本地网络负载以及第一本地网络流量数据存储状态，基于网络空闲机制和/或数据存储机制发送数据，可以大幅降低网络负载，避免本地存储大量数据，节省存储空间。在本发明一可选实施例中，所述流量采集探针组件还包括至少一个第二流量采集探针，每个所述第二流量采集探针对应于一第二流量采集服务器；

针对每个所述第二流量采集探针，所述第二流量采集探针用于：接收所述第一流量采集探针发送的所述第一通知信息，获取对应的第二本地网络流量数据存储状态和第二本地网络负载，在所述第二本地网络流量数据存储状态满足第一预设条件，和/或，接收到所述第一通知信息且所述第二本地网络负载小于对应的本地网络负载阈值时，将所述第二流量采集探针缓存的网络流量数据发送至所述数据存储装置；

其中，每个所述第二流量采集探针对应于一第二流量存储空间，在当前第二流量采集探针缓存的网络流量数据在对应的第二流量存储空间中的占比大于第一阈值时，确定当前第二流量采集探针对应的第二本地网络流量数据存储状态满足所述第一预设条件。

流量采集探针组件在包括第一流量采集探针的基础上，还可以包括至少一个第二流量采集探针，其中每个第二流量采集探针对应于一第二流量采集服务器，即第二流量采集探针部署于对应的第二流量采集服务器上，第二流量采集探针所缓存的网络流量数据为IP网络对应的网络流量数据或者工控网络对应的流量数据。针对每个第二流量采集探针而言，可以接收第一流量采集探针发送的第一通知信息，确定主链路网络负载小于主链路负载阈值，可以获取对应的第二本地网络流量数据存储状态和第二本地网络负载。其中，在第二本地网络流量数据存储状态满足第一预设条件时，确定满足数据发送条件；或者，在主链路网络负载小于主链路负载阈值且第二本地网络负载小于对应的本地网络负载阈值时，确定满足数据发送条件；或者，在第二本地网络流量数据存储状态满足第一预设条件、主链路网络负载小于主链路负载阈值且第二本地网络负载小于对应的本地网络负载阈值时，确定满足数据发送条件。

其中，第二本地网络流量数据存储状态即为第二流量采集探针所对应的第二流量采集服务器所对应的网络流量数据存储状态，第二流量采集探针所对应的第二流量存储空间，即为对应的第二流量采集服务器上的存储空间，相应的，第二本地网络负载即为对应的第二流量采集服务器所对应的网络负载。在第二流量采集探针缓存的网络流量数据在第二流量存储空间中的占比大于第一阈值时，确定第二本地网络流量数据存储状态满足第一预设条件。需要说明的是，针对不同的流量采集探针，第一阈值可以相同或者不同，即第一流量采集探针和第二流量采集探针对应的第一阈值可以相同或者不同，相应的，不同的第二流量采集探针所对应的第一阈值也可以相同或者不同。针对不同的流量采集探针，本地网络负载阈值也可以相同或者不同，即第一流量采集探针和第二流量采集探针对应的本地网络负载阈值可以相同或者不同，不同的第二流量采集探针所对应的本地网络负载阈值也可以相同或者不同。

本发明实施例中，通过接收第一通知信息，获取第二本地网络负载以及第二本地网络流量数据存储状态，基于网络空闲机制和/或数据存储机制发送数据，可以大幅降低网络负载，避免本地存储大量数据，节省存储空间。

在本发明一可选实施例中，所述终端采集探针组件包括至少一个终端采集探针；

针对每个所述终端采集探针，所述终端采集探针用于：获取对应的本地终端日志数据存储状态以及本地终端网络负载，在对应的本地终端日志数据存储状态满足第二预设条件，和/或，在接收到所述第一通知信息且对应的本地终端网络负载小于对应的第一网络负载阈值时，将所述终端采集探针缓存的终端日志数据发送至所述数据存储装置；

其中，每个所述终端采集探针对应于一办公终端或者一工业终端，每个所述终端采集探针对应于一终端日志存储空间，在当前终端采集探针缓存的终端日志数据在对应的终端日志存储空间中的占比大于第二阈值时，确定当前终端采集探针对应的本地终端日志数据存储状态满足所述第二预设条件。

终端采集探针组件可以包括至少一个终端采集探针，针对每个终端采集探针而言，可以接收第一通知信息，获取对应的本地终端日志数据存储状态以及本地终端网络负载。在对应的本地终端日志数据存储状态满足第二预设条件时，可以确定满足数据发送条件；或者，在接收到第一通知信息且对应的本地终端网络负载小于对应的第一网络负载阈值时，确定满足数据发送条件；或者，在对应的本地终端日志数据存储状态满足第二预设条件、接收到第一通知信息且对应的本地终端网络负载小于对应的第一网络负载阈值时，确定满足数据发送条件。

针对根据网络负载状态发送数据的情况，针对终端采集探针而言，可以与第一流量采集探针配合，基于探针协同机制确定是否满足数据发送的网络状态，具体可参见图5所示，第一流量采集探针可以采集分析网络流量数据，经过重组后缓存网络流量数量，并进行主链路网络负载测算以及第一本地网络负载测算，还可以设置主链路负载阈值和本地网络负载阈值，等待网络空闲时(主链路网络负载小于主链路负载阈值且第一本地网络负载小于对应的本地网络负载阈值)发送数据，在主链路网络负载小于主链路负载阈值时广播第一通知信息。终端采集探针采集终端日志数据并缓存，还可以设置第一网络负载阈值，并测算本地终端网络负载。在接收到第一流量采集探针广播的第一通知信息，且确定本地终端网络负载小于设置的第一网络负载阈值时，可以确定满足数据发送的网络状态，此时可以进行终端日志数据的发送。

针对每个终端采集探针而言，可以部署于一办公终端或者部署于一工业终端上，终端采集探针所缓存的终端日志数据可以为办公终端对应的终端运行信息或工业终端对应的终端运行信息。本地终端日志数据存储状态即为终端采集探针所对应的办公终端或者工业终端所对应的终端日志数据存储状态，终端采集探针所对应的终端日志存储空间即为办公终端或者工业终端上的存储空间，相应的，本地终端网络负载即为对应的办公终端或者工业终端所对应的网络负载。在终端日志数据在对应的终端日志存储空间中的占比大于第二阈值时，确定本地终端日志数据存储状态满足第二预设条件。其中，针对不同的终端采集探针，第一网络负载阈值可以相同或者不同，且第二阈值也可以相同或者不同。

本发明实施例中，通过接收第一通知信息，获取本地终端网络负载以及本地终端日志数据存储状态，基于网络空闲机制和/或数据存储机制发送数据，可以大幅降低网络负载，避免本地存储大量数据，节省存储空间。

在本发明一可选实施例中，所述数据库采集探针组件包括至少一个数据库采集探针；

针对每个所述数据库采集探针，所述数据库采集探针用于：获取对应的本地数据库日志数据存储状态以及本地数据库网络负载，在对应的本地数据库日志数据存储状态满足第三预设条件，和/或，在接收到所述第一通知信息且对应的本地数据库网络负载小于对应的第二网络负载阈值时，将所述数据库采集探针缓存的数据库日志数据发送至所述数据存储装置；

其中，每个所述数据库采集探针对应于一数据库服务器，每个所述数据库采集探针对应于一数据库日志存储空间，在当前数据库采集探针缓存的数据库日志数据在对应的数据库日志存储空间中的占比大于第三阈值时，确定当前数据库采集探针对应的本地数据库日志数据存储状态满足所述第三预设条件。

数据库采集探针组件可以包括至少一个数据库采集探针，针对每个数据库采集探针而言，可以接收第一通知信息，获取对应的本地数据库日志数据存储状态以及本地数据库网络负载。在对应的本地数据库日志数据存储状态满足第三预设条件时，可以确定满足数据发送条件；或者，在接收到第一通知信息且对应的本地数据库网络负载小于第二网络负载阈值时，确定满足数据发送条件；或者，在对应的本地数据库日志数据存储状态满足第三预设条件、接收到第一通知信息且对应的本地数据库网络负载小于第二网络负载阈值时，确定满足数据发送条件。

针对根据网络负载状态发送数据的情况，针对数据库采集探针而言，可以与第一流量采集探针配合，基于探针协同机制确定是否满足数据发送的网络状态，具体可参见图5所示，第一流量采集探针在确定主链路网络负载小于主链路负载阈值时广播第一通知信息，数据库采集探针采集数据库日志数据并缓存，还可以设置第二网络负载阈值，并测算本地数据库网络负载。在接收到第一流量采集探针广播的第一通知信息，且确定本地数据库网络负载小于设置的第二网络负载阈值时，可以确定满足数据发送的网络状态，此时可以进行数据库日志数据的发送。

针对每个数据库采集探针而言，可以部署于一数据库服务器上，数据库采集探针所缓存的数据库日志数据可以为IP网络数据库或者工控网络数据库对应的数据运行日志信息。本地数据库日志数据存储状态即为数据库采集探针所对应的数据库服务器所对应的本地数据库日志数据存储状态，数据库采集探针所对应的数据库日志存储空间即为数据库服务器上的存储空间，相应的，本地数据库网络负载即为数据库服务器所对应的网络负载。在当前数据库采集探针缓存的数据库日志数据在对应的数据库日志存储空间中的占比大于第三阈值时，确定本地数据库日志数据存储状态满足第三预设条件。其中，针对不同的数据库采集探针，第二网络负载阈值可以相同或者不同，且第三阈值也可以相同或者不同。

本发明实施例中，通过接收第一通知信息，获取本地数据库网络负载以及本地数据库日志数据存储状态，基于网络空闲机制和/或数据存储机制发送数据，可以大幅降低网络负载，避免本地存储大量数据，节省存储空间。

在本发明一可选实施例中，所述应用采集探针组件包括至少一个应用采集探针；

针对每个所述应用采集探针，所述应用采集探针用于：获取对应的本地应用日志数据存储状态以及本地应用网络负载，在对应的本地应用日志数据存储状态满足第四预设条件，和/或，在接收到所述第一通知信息且对应的本地应用网络负载小于对应的第三网络负载阈值时，将所述应用采集探针缓存的应用日志数据发送至所述数据存储装置；

其中，每个所述应用采集探针对应于一应用服务器，每个所述应用采集探针对应于一应用日志存储空间，在当前应用采集探针缓存的应用日志数据在对应的应用日志存储空间中的占比大于第四阈值时，确定当前应用采集探针对应的本地应用日志数据存储状态满足所述第四预设条件。

应用采集探针组件可以包括至少一个应用采集探针，针对每个应用采集探针而言，可以接收第一通知信息，获取对应的本地应用日志数据存储状态以及本地应用网络负载。在对应的本地应用日志数据存储状态满足第四预设条件时，可以确定满足数据发送条件；或者，在接收到第一通知信息且对应的本地应用网络负载小于第三网络负载阈值时，确定满足数据发送条件；或者，在对应的本地应用日志数据存储状态满足第四预设条件、接收到第一通知信息且对应的本地应用网络负载小于第三网络负载阈值时，确定满足数据发送条件。

针对根据网络负载状态发送数据的情况，针对应用采集探针而言，可以与第一流量采集探针配合，基于探针协同机制确定是否满足数据发送的网络状态，具体可参见图5所示，第一流量采集探针在确定主链路网络负载小于主链路负载阈值时广播第一通知信息，应用采集探针采集应用日志数据并缓存，还可以设置第三网络负载阈值，并测算本地应用网络负载。在接收到第一流量采集探针广播的第一通知信息，且确定本地应用网络负载小于设置的第三网络负载阈值时，可以确定满足数据发送的网络状态，此时可以进行应用日志数据的发送。

针对每个应用采集探针而言，可以部署于一应用服务器上，应用采集探针所缓存的应用日志数据可以为IP网络应用或者工控网络应用对应的应用运行日志信息。本地应用日志数据存储状态即为应用采集探针所对应的应用服务器所对应的本地应用日志数据存储状态，应用采集探针所对应的应用日志存储空间即为应用服务器上的存储空间，相应的，本地应用网络负载即为应用服务器所对应的网络负载。在当前应用采集探针缓存的应用日志数据在对应的应用日志存储空间中的占比大于第四阈值时，确定本地应用日志数据存储状态满足第四预设条件。其中，针对不同的应用采集探针，第三网络负载阈值可以相同或者不同，且第四阈值也可以相同或者不同。

本发明实施例中，通过接收第一通知信息，获取本地应用网络负载以及本地应用日志数据存储状态，基于网络空闲机制和/或数据存储机制发送数据，可以大幅降低网络负载，避免本地存储大量数据，节省存储空间。

下面对数据采集探针对应的技术架构进行阐述，参见图6所示，针对每个数据采集探针而言，在采集数据之后以json、syslog、文件等形式发送到缓存器内，以Flume缓存队列的形式缓存数据，缓存器内支持json、syslog以及各种文件形式的数据，缓存器内包括存储空间测算模块，用于计算数据量，实时测算数据量在存储空间内的占比是否超过设置的本地存储空间阈值，超过则向负载测算器发送报警信息。负载测算器用于获取主链路网络负载、本地网络负载，且在接收到报警信息时通知发送器发送数据，或者，在确定主链路网络负载以及本地网络负载满足网络空闲条件时通知发送器发送数据，或者，在确定主链路网络负载以及本地网络负载满足网络空闲条件，且接收到报警信息时通知发送器发送数据，发送器在发送数据时从缓存器内读取缓存队列。针对每个数据采集探针，还可以有阈值设置模块，用于设置本地网络对应的负载阈值以及本地存储空间阈值。其中，在本地网络负载小于本地网络对应的负载阈值时，可以确定本地网络空闲，在本地网络空闲且主链路网络空闲时，确定满足网络空闲条件。

下面通过一具体实例对本发明实施例提供的工业互联网数据处理系统的工作过程进行阐述，针对生产管理网络的应用服务器、数据库服务器、办公终端、汇聚交换机部，以及，工控网络的上位机、实时数据库服务器、工业终端、工业交换机，部署数据采集探针，采集网络流量数据与日志数据。将采集到的数据进行缓存，使用探针协同机制、网络空闲机制、数据存储机制，向数据缓装置发送数据。在ZooKeeper的调度下，将数据采集探针发送的数据通过数据存储引擎，统一发送到数据仓库。数据仓库根据已定义的预设数据标准，清洗整合数据，根据上层应用的需求，存储到MySQL、MongoDB、Files等数据载体。上层应用根据业务需求，采用库直连同步、数据文件同步或者接口服务同步从数据仓库中获取数据。上述过程，可以降低数据采集成本，提高数据整合效率，为上层数据提供良好基础。

本发明实施例提供的工业互联网数据处理系统，通过将日志数据采集和网络流量数据采集进行统一整合，将采集到的数据进行统一存储，形成了一个高效并且集成度高的数据探针；通过监测主干网络空闲状态、本地网络空闲状态，并结合本地数据存储状态，实现基于网络闲时机制和/或数据存储机制发送数据，可以大幅降低网络负载，节省本地存储空间；通过基于预设数据标准统一整合数据，形成标准化数据源，可以使得上层应用通过库直连同步、文件传输同步、服务接口同步，高效获取数据，显著提升数据应用效率。

综上，本发明实施例体系化整合IP网络和工控网络数据采集，根据预设数据标准进行数据整合，形成标准化数据源，为上层应用提供标准的数据服务，从而降低了数据采集成本，提高了数据整合效率，为上层数据提供良好基础。

本发明实施例还提供一种工业互联网数据处理方法，应用于数据处理系统，如图7所示，包括：

步骤701、获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，根据获取的网络负载状态和/或本地数据存储状态，触发所述数据集合的存储，其中，所述数据集合在被发送至目标位置后进行存储。

本发明实施例应用于数据处理系统，数据处理系统首先获取工业互联网对应的数据集合并缓存，数据集合可以包括工业互联网对应的网络流量数据和日志数据，且本发明实施例中的工业互联网优选为面向装备制造业的工业互联网。在获取数据集合之后，可以根据获取的网络负载状态和/或本地数据存储状态，触发数据集合的存储，在进行数据集合的存储时，可以根据网络负载状态和/或本地数据存储状态，将数据集合发送至目标位置后进行存储。其中网络负载状态包括主链路网络负载状态和本地网络负载状态，本地数据存储状态包括本地网络流量数据存储状态和本地日志数据存储状态。

其中，数据处理系统包括数据采集探针组件，通过数据采集探针组件进行网络流量数据和日志数据的采集，以获取数据集合，且主链路网络负载状态由数据采集探针组件确定，本地网络负载状态为数据采集探针组件对应的本地网络负载状态，本地数据存储状态为数据采集探针组件对应的本地数据存储状态。

步骤702、基于预设数据标准对已存储的所述数据集合中的数据进行整合，生成标准化数据源。

数据处理系统还包括数据存储装置，目标位置对应于数据存储装置。在触发数据集合存储时为将数据集合存储至数据存储装置，在触发数据集合存储之后，可以基于预设数据标准对已存储的数据集合中的数据进行整合，以生成标准化数据源。通过基于预设数据标准进行数据整合，可以形成标准化数据源，同时提高了数据整合效率。

步骤703、接收到上层应用发送的数据请求的情况下，基于库直连同步、数据文件同步或者接口服务同步，在所述标准化数据源中获取所述数据请求对应的目标数据并传输至所述上层应用。

数据处理系统还包括数据传输总线，可以通过数据传输总线接收上层应用发送的数据请求，在接收到数据请求之后，可以基于库直连同步、数据文件同步和接口服务同步中的任意一种方式，在标准化数据源中获取数据请求对应的目标数据，并将所获取的目标数据传输至上层应用，实现为上层应用提供标准的数据服务。通过基于库直连同步、数据文件同步或者接口服务同步，获取目标数据，可以在多种数据同步方式中进行选择，丰富了数据同步方式。

本发明上述实施例，通过监测主干网络空闲状态、本地网络空闲状态，并结合本地数据存储状态，实现基于网络闲时机制和/或数据存储机制触发数据存储，可以大幅降低网络负载，保证本地存储状态；通过基于预设数据标准统一整合数据，形成标准化数据源，可以使得上层应用通过库直连同步、文件传输同步以及服务接口同步，高效获取数据，显著提升数据应用效率。

在本发明一可选实施例中，所述获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，包括：

获取所述工业互联网对应的网络流量数据并缓存；

获取所述工业互联网对应的终端日志数据、数据库日志数据和应用日志数据中的至少一类数据并缓存；

其中，所述网络流量数据基于流量采集探针组件获取、所述终端日志数据基于终端采集探针组件获取、所述数据库日志数据基于数据库采集探针组件获取、所述应用日志数据基于应用采集探针组件获取。

在获取数据集合时，可以获取工业互联网对应的网络流量数据并缓存，获取工业互联网对应的终端日志数据、数据库日志数据和应用日志数据中的至少一类数据并缓存。其中数据采集探针组件可以包括流量采集探针组件，还可以包括终端采集探针组件、数据库采集探针组件和应用采集探针组件中的至少一类探针组件。网络流量数据可以基于流量采集探针组件获取、终端日志数据可以基于终端采集探针组件获取、数据库日志数据可以基于数据库采集探针组件获取、应用日志数据可以基于应用采集探针组件获取。

其中，网络流量数据可以包括IP网络对应的网络流量数据和/或工控网络对应的网络流量数据，终端日志数据包括办公终端对应的终端运行信息(对应于IP网络)和/或工业终端对应的终端运行信息(对应于工控网络)，数据库日志数据包括IP网络数据库对应的数据运行日志信息和/或工控网络数据库对应的数据运行日志信，应用日志数据包括IP网络应用对应的应用运行日志信息和/或工控网络应用对应的应用运行日志信息。

上述实施过程，可以体系化整合IP网络和工控网络数据采集，降低数据采集成本，提高数据采集效率。

在本发明一可选实施例中，所述根据获取的网络负载状态和/或本地数据存储状态，触发所述数据集合的存储，包括：

获取主链路网络负载；

获取所述流量采集探针组件所包括的每个流量采集探针分别对应的本地网络流量数据存储状态以及本地网络负载，针对每个流量采集探针，根据所述主链路网络负载、当前流量采集探针对应的本地网络流量数据存储状态以及当前流量采集探针对应的本地网络负载，触发当前流量采集探针缓存的网络流量数据的存储，所述流量采集探针组件包括至少一个流量采集探针；

针对所述终端采集探针组件、所述数据库采集探针组件和所述应用采集探针组件中的至少一种组件，分别获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述终端日志数据、所述数据库日志数据和所述应用日志数据中的至少一类数据的存储。

在触发数据集合进行存储时，可以获取主链路网络负载，其中在获取主链路网络负载时，可以通过流量采集探针组件所包括的一个第一流量采集探针获取，具体为：第一流量采集探针获取多个交换机分别对应的网络负载日志，根据获取的网络负载日志确定主链路网络负载。

还可以获取流量采集探针组件所包括的每个流量采集探针分别对应的本地网络流量数据存储状态以及本地网络负载，其中流量采集探针组件可以包括一个第一流量采集探针以及至少一个第二流量采集探针。针对每个流量采集探针，可以根据主链路网络负载、当前流量采集探针对应的本地网络流量数据存储状态以及当前流量采集探针对应的本地网络负载，触发当前流量采集探针缓存的网络流量数据的存储。

针对终端采集探针组件、数据库采集探针组件和应用采集探针组件中的至少一种组件，可以获取终端采集探针组件对应的本地数据存储状态以及本地网络负载，并结合主链路网络负载，触发终端日志数据的存储；也可以获取数据库采集探针组件对应的本地数据存储状态以及本地网络负载，并结合主链路网络负载，触发数据库日志数据的存储；还可以获取应用采集探针组件对应的本地数据存储状态以及本地网络负载，并结合主链路网络负载，触发应用日志数据的存储。当然还可以针对任意两种组件，分别获取对应的本地数据存储状态以及本地网络负载，并结合主链路网络负载，触发数据存储，也可以针对上述三种组件，分别获取对应的本地数据存储状态以及本地网络负载，并结合主链路网络负载，触发数据存储。

上述实施过程，通过监测主干网络空闲状态、本地网络空闲状态，并结合本地数据存储状态触发数据存储，可以大幅降低网络负载，节省本地存储空间。

在本发明一可选实施例中，所述根据所述主链路网络负载、当前流量采集探针对应的本地网络流量数据存储状态以及当前流量采集探针对应的本地网络负载，触发当前流量采集探针缓存的网络流量数据的存储，包括：

在当前流量采集探针对应的本地网络流量数据存储状态满足第一预设条件，和/或，所述主链路网络负载小于主链路负载阈值且当前流量采集探针对应的本地网络负载小于对应的本地网络负载阈值时，触发当前流量采集探针缓存的网络流量数据的存储；

其中，每个流量采集探针对应于一流量存储空间，在当前流量采集探针缓存的网络流量数据在对应的流量存储空间中的占比大于第一阈值时，确定当前流量采集探针对应的本地网络流量数据存储状态满足所述第一预设条件。

针对每个流量采集探针而言，可以对应于一流量存储空间，流量采集探针部署于对应的流量采集服务器上，流量采集探针所缓存的网络流量数据为IP网络对应的网络流量数据或者工控网络对应的网络流量数据，流量存储空间即为对应的流量采集服务器上的存储空间。在当前流量采集探针缓存的网络流量数据在对应的流量存储空间中的占比大于第一阈值时，确定当前流量采集探针对应的本地网络流量数据存储状态满足第一预设条件。

在当前流量采集探针对应的本地网络流量数据存储状态满足第一预设条件时，可以触发数据存储；或者，在主链路网络负载小于主链路负载阈值且当前流量采集探针对应的本地网络负载小于对应的本地网络负载阈值时，可以触发数据存储；或者，在当前流量采集探针对应的本地网络流量数据存储状态满足第一预设条件、主链路网络负载小于主链路负载阈值且当前流量采集探针对应的本地网络负载小于对应的本地网络负载阈值时，可以触发数据存储。

其中，针对不同的流量采集探针，所对应的第一阈值可以相同或者不同，相应的，本地网络负载阈值可以相同或者不同。

本发明实施例中，通过获取主链路网络负载、当前流量采集探针对应的本地网络流量数据存储状态以及当前流量采集探针对应的本地网络负载，基于网络空闲机制和/或数据存储机制发送数据，可以大幅降低网络负载，节省本地存储空间。

在本发明一可选实施例中，针对所述终端采集探针组件，获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述终端日志数据的存储，包括：

获取所述终端采集探针组件所包括的每个终端采集探针分别对应的本地终端日志数据存储状态和本地终端网络负载，所述终端采集探针组件包括至少一个终端采集探针；

针对每个终端采集探针，在当前终端采集探针对应的本地终端日志数据存储状态满足第二预设条件，和/或，在所述主链路网络负载小于主链路负载阈值且当前终端采集探针对应的本地终端网络负载小于对应的第一网络负载阈值时，触发当前终端采集探针缓存的终端日志数据的存储；

其中，每个所述终端采集探针对应于一办公终端或者一工业终端，每个所述终端采集探针对应于一终端日志存储空间，在当前终端采集探针缓存的终端日志数据在对应的终端日志存储空间中的占比大于第二阈值时，确定当前终端采集探针对应的本地终端日志数据存储状态满足所述第二预设条件。

终端采集探针组件可以包括至少一个终端采集探针，针对每个终端采集探针而言，可以部署于一办公终端或者部署于一工业终端上，终端采集探针所缓存的终端日志数据可以为办公终端对应的终端运行信息或工业终端对应的终端运行信息。

针对每个终端采集探针而言，可以对应于一终端日志存储空间，终端日志存储空间即为对应的终端上的存储空间。在当前终端采集探针缓存的终端日志数据在对应的终端日志存储空间中的占比大于第二阈值时，确定当前终端采集探针对应的本地终端日志数据存储状态满足第二预设条件。

针对每个终端采集探针，可以获取对应的本地终端日志数据存储状态(对应于当前终端的本地数据存储状态)和本地终端网络负载(对应于当前终端的本地网络负载)，在获取本地终端日志数据存储状态和本地终端网络负载之后，可以在当前终端采集探针对应的本地终端日志数据存储状态满足第二预设条件时，触发数据存储；或者，在主链路网络负载小于主链路负载阈值且当前终端采集探针对应的本地终端网络负载小于对应的第一网络负载阈值时，触发数据存储；或者，在当前终端采集探针对应的本地终端日志数据存储状态满足第二预设条件、主链路网络负载小于主链路负载阈值且当前终端采集探针对应的本地终端网络负载小于对应的第一网络负载阈值时，触发数据存储。

其中，针对不同的终端采集探针，第一网络负载阈值可以相同或者不同，且第二阈值也可以相同或者不同。

本发明实施例中，通过获取主链路网络负载、当前终端采集探针对应的本地终端日志数据存储状态以及当前终端采集探针对应的本地终端网络负载，基于网络空闲机制和/或数据存储机制发送数据，可以大幅降低网络负载，节省本地存储空。

在本发明一可选实施例中，针对所述数据库采集探针组件，获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述数据库日志数据的存储，包括：

获取所述数据库采集探针组件所包括的每个数据库采集探针分别对应的本地数据库日志数据存储状态和本地数据库网络负载，所述数据库采集探针组件包括至少一个数据库采集探针；

针对每个数据库采集探针，在当前数据库采集探针对应的本地数据库日志数据存储状态满足第三预设条件，和/或，在所述主链路网络负载小于主链路负载阈值且当前数据库采集探针对应的本地数据库网络负载小于对应的第二网络负载阈值时，触发当前数据库采集探针缓存的数据库日志数据的存储；

其中，每个所述数据库采集探针对应于一数据库服务器，每个所述数据库采集探针对应于一数据库日志存储空间，在当前数据库采集探针缓存的数据库日志数据在对应的数据库日志存储空间中的占比大于第三阈值时，确定当前数据库采集探针对应的本地数据库日志数据存储状态满足所述第三预设条件。

针对每个数据库采集探针而言，可以对应于一数据库日志存储空间，数据库采集探针部署于对应的数据库服务器上，数据库采集探针所缓存的数据库日志数据为IP网络数据库或者工控网络数据库对应的数据运行日志信息，数据库日志存储空间即为对应的数据库服务器上的存储空间。在当前数据库采集探针缓存的数据库日志数据在对应的数据库日志存储空间中的占比大于第三阈值时，确定当前数据库采集探针对应的本地数据库日志数据存储状态(对应于本地数据存储状态)满足第三预设条件。

在当前数据库采集探针对应的本地数据库日志数据存储状态满足第三预设条件时，可以触发数据存储；或者，在主链路网络负载小于主链路负载阈值且当前数据库采集探针对应的本地数据库网络负载(对应于本地网络负载)小于对应的第二网络负载阈值时，可以触发数据存储；或者，在当前数据库采集探针对应的本地数据库日志数据存储状态满足第三预设条件、主链路网络负载小于主链路负载阈值且当前数据库采集探针对应的本地数据库网络负载小于对应的第二网络负载阈值时，可以触发数据存储。

其中，针对不同的数据库采集探针，所对应的第三阈值可以相同或者不同，相应的，第二网络负载阈值可以相同或者不同。

本发明实施例中，通过获取主链路网络负载、当前数据库采集探针对应的本地数据库日志数据存储状态以及当前数据库采集探针对应的本地数据库网络负载，基于网络空闲机制和/或数据存储机制存储数据，可以大幅降低网络负载，节省本地存储空间。

在本发明一可选实施例中，针对所述应用采集探针组件，获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述应用日志数据的存储，包括：

获取所述应用采集探针组件所包括的每个应用采集探针分别对应的本地应用日志数据存储状态和本地应用网络负载，所述应用采集探针组件包括至少一个应用采集探针；

针对每个应用采集探针，在当前应用采集探针对应的本地应用日志数据存储状态满足第四预设条件，和/或，在所述主链路网络负载小于所述主链路负载阈值且当前应用采集探针对应的本地应用网络负载小于对应的第三网络负载阈值时，触发当前应用采集探针缓存的应用日志数据的存储；

其中，每个所述应用采集探针对应于一应用服务器，每个所述应用采集探针对应于一应用日志存储空间，在当前应用采集探针缓存的应用日志数据在对应的应用日志存储空间中的占比大于第四阈值时，确定当前应用采集探针对应的本地应用日志数据存储状态满足所述第四预设条件。

针对每个应用采集探针而言，可以对应于一应用日志存储空间，应用采集探针部署于对应的应用服务器上，应用采集探针所缓存的应用日志数据为IP网络应用或者工控网络应用对应的应用运行日志信息，应用日志存储空间即为对应的应用服务器上的存储空间。在当前应用采集探针缓存的应用日志数据在对应的应用日志存储空间中的占比大于第四阈值时，确定当前应用采集探针对应的本地应用日志数据存储状态(对应于本地数据存储状态)满足第四预设条件。

在当前应用采集探针对应的本地应用日志数据存储状态满足第四预设条件时，可以触发数据存储；或者，在主链路网络负载小于主链路负载阈值且当前应用采集探针对应的本地应用网络负载(对应于本地网络负载)小于对应的第三网络负载阈值时，可以触发数据存储；或者，在当前应用采集探针对应的本地应用日志数据存储状态满足第四预设条件、主链路网络负载小于主链路负载阈值且当前应用采集探针对应的本地应用网络负载小于对应的第三网络负载阈值时，可以触发数据存储。

其中，针对不同的应用采集探针，所对应的第四阈值可以相同或者不同，相应的，第三网络负载阈值可以相同或者不同。

本发明实施例中，通过获取主链路网络负载、当前应用采集探针对应的本地应用日志数据存储状态以及当前应用采集探针对应的本地应用网络负载，基于网络空闲机制和/或数据存储机制存储数据，可以大幅降低网络负载，节省本地存储空间。

在本发明一可选实施例中，所述触发所述数据集合的存储，包括：

对所述数据集合中的数据进行组装，并基于数据格式特点以及数据被调用时对应的形式，将组装后的数据进行存储。

在对数据集合进行存储时，可以对数据集合中的数据进行组装，并通过数据存储引擎基于数据格式特点以及数据被调用时对应的形式，将组装后的数据存储至数据仓库的不同数据载体中。数据仓库用于基于不同的数据载体存储数据，并基于预设数据标准，对存储的数据进行整合，生成标准化数据源。在进行数据的存储时，还可以由路由服务监控工作状态，调度数据存储优先级。其中，路由服务还可以在数据读取时进行调度，保证数据的有序存储和读取。

上述过程，通过数据存储引擎将数据存储至不同的数据载体，可以便于数据的调用，通过调度数据存储优先级，可以保证数据的有序写入。

本发明实施例提供的工业互联网数据处理方法，通过将日志数据采集和网络流量数据采集进行统一整合，将采集到的数据进行统一存储，形成了一个高效并且集成度高的数据探针；通过监测主干网络空闲状态、本地网络空闲状态，并结合本地数据存储状态，实现基于网络闲时机制和/或数据存储机制发送数据，可以大幅降低网络负载，节省本地存储空间；通过基于预设数据标准统一整合数据，形成标准化数据源，可以使得上层应用通过库直连同步、文件传输同步、服务接口同步，高效获取数据，显著提升数据应用效率。

综上，本发明实施例体系化整合IP网络和工控网络数据采集，根据预设数据标准进行数据整合，形成标准化数据源，为上层应用提供标准的数据服务，从而降低了数据采集成本，提高了数据整合效率，为上层数据提供良好基础。

本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述工业互联网数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述工业互联网数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种工业互联网数据处理系统，其特征在于，包括：

数据采集探针组件，用于获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，根据获取的网络负载状态和/或本地数据存储状态，将所述数据集合发送；

数据存储装置，用于接收所述数据采集探针组件发送的所述数据集合，将所述数据集合存储，基于预设数据标准对已存储的所述数据集合中的数据进行整合，生成标准化数据源；

数据传输总线，用于在接收到上层应用发送的数据请求的情况下，基于库直连同步、数据文件同步或者接口服务同步，在所述数据存储装置的标准化数据源中获取所述数据请求对应的目标数据并传输至所述上层应用；

所述数据采集探针组件包括流量采集探针组件，以及终端采集探针组件、数据库采集探针组件和应用采集探针组件中的至少一类；所述流量采集探针组件包括一第一流量采集探针；

所述第一流量采集探针用于：确定主链路网络负载，获取对应的第一本地网络流量数据存储状态和第一本地网络负载，在所述第一本地网络流量数据存储状态满足第一预设条件，和/或，所述主链路网络负载小于主链路负载阈值且所述第一本地网络负载小于对应的本地网络负载阈值时，将所述第一流量采集探针缓存的网络流量数据发送至所述数据存储装置；

其中，所述第一流量采集探针对应于第一流量存储空间，在所述第一流量采集探针缓存的网络流量数据在所述第一流量存储空间中的占比大于第一阈值时，确定所述第一本地网络流量数据存储状态满足所述第一预设条件。

2.根据权利要求1所述的工业互联网数据处理系统，其特征在于，

所述流量采集探针组件，用于采集所述工业互联网对应的网络流量数据并缓存；

所述终端采集探针组件，用于采集所述工业互联网对应的终端日志数据并缓存；

所述数据库采集探针组件，用于采集所述工业互联网对应的数据库日志数据并缓存；

所述应用采集探针组件，用于采集所述工业互联网对应的应用日志数据并缓存；

其中，所述工业互联网对应的日志数据包括所述终端日志数据、所述数据库日志数据和所述应用日志数据中的至少一类数据。

3.根据权利要求2所述的工业互联网数据处理系统，其特征在于，

所述第一流量采集探针还用于在所述主链路网络负载小于所述主链路负载阈值时，向所述终端采集探针组件、所述数据库采集探针组件和所述应用采集探针组件中的至少一类发送主链路网络处于空闲状态的第一通知信息；

其中，所述第一流量采集探针对应于一第一流量采集服务器。

4.根据权利要求3所述的工业互联网数据处理系统，其特征在于，所述流量采集探针组件还包括至少一个第二流量采集探针，每个所述第二流量采集探针对应于一第二流量采集服务器；

针对每个所述第二流量采集探针，所述第二流量采集探针用于：接收所述第一流量采集探针发送的所述第一通知信息，获取对应的第二本地网络流量数据存储状态和第二本地网络负载，在所述第二本地网络流量数据存储状态满足第一预设条件，和/或，接收到所述第一通知信息且所述第二本地网络负载小于对应的本地网络负载阈值时，将所述第二流量采集探针缓存的网络流量数据发送至所述数据存储装置；

其中，每个所述第二流量采集探针对应于一第二流量存储空间，在当前第二流量采集探针缓存的网络流量数据在对应的第二流量存储空间中的占比大于第一阈值时，确定当前第二流量采集探针对应的第二本地网络流量数据存储状态满足所述第一预设条件。

5.根据权利要求3所述的工业互联网数据处理系统，其特征在于，所述终端采集探针组件包括至少一个终端采集探针；

针对每个所述终端采集探针，所述终端采集探针用于：获取对应的本地终端日志数据存储状态以及本地终端网络负载，在对应的本地终端日志数据存储状态满足第二预设条件，和/或，在接收到所述第一通知信息且对应的本地终端网络负载小于对应的第一网络负载阈值时，将所述终端采集探针缓存的终端日志数据发送至所述数据存储装置；

其中，每个所述终端采集探针对应于一办公终端或者一工业终端，每个所述终端采集探针对应于一终端日志存储空间，在当前终端采集探针缓存的终端日志数据在对应的终端日志存储空间中的占比大于第二阈值时，确定当前终端采集探针对应的本地终端日志数据存储状态满足所述第二预设条件。

6.根据权利要求3所述的工业互联网数据处理系统，其特征在于，所述数据库采集探针组件包括至少一个数据库采集探针；

针对每个所述数据库采集探针，所述数据库采集探针用于：获取对应的本地数据库日志数据存储状态以及本地数据库网络负载，在对应的本地数据库日志数据存储状态满足第三预设条件，和/或，在接收到所述第一通知信息且对应的本地数据库网络负载小于对应的第二网络负载阈值时，将所述数据库采集探针缓存的数据库日志数据发送至所述数据存储装置；

其中，每个所述数据库采集探针对应于一数据库服务器，每个所述数据库采集探针对应于一数据库日志存储空间，在当前数据库采集探针缓存的数据库日志数据在对应的数据库日志存储空间中的占比大于第三阈值时，确定当前数据库采集探针对应的本地数据库日志数据存储状态满足所述第三预设条件。

7.根据权利要求3所述的工业互联网数据处理系统，其特征在于，所述应用采集探针组件包括至少一个应用采集探针；

针对每个所述应用采集探针，所述应用采集探针用于：获取对应的本地应用日志数据存储状态以及本地应用网络负载，在对应的本地应用日志数据存储状态满足第四预设条件，和/或，在接收到所述第一通知信息且对应的本地应用网络负载小于对应的第三网络负载阈值时，将所述应用采集探针缓存的应用日志数据发送至所述数据存储装置；

其中，每个所述应用采集探针对应于一应用服务器，每个所述应用采集探针对应于一应用日志存储空间，在当前应用采集探针缓存的应用日志数据在对应的应用日志存储空间中的占比大于第四阈值时，确定当前应用采集探针对应的本地应用日志数据存储状态满足所述第四预设条件。

8.根据权利要求1所述的工业互联网数据处理系统，其特征在于，所述数据存储装置包括数据采集模块、数据仓库模块、数据发送模块以及路由服务模块；

所述数据采集模块用于：接收所述数据采集探针组件发送的所述数据集合，对所述数据集合中的数据进行组装，并通过数据存储引擎基于数据格式特点以及数据被调用时对应的形式，将组装后的数据存储至所述数据仓库模块的不同数据载体；

所述数据仓库模块用于：基于预设数据标准，对所述数据载体上存储的数据进行整合，生成标准化数据源；

所述数据发送模块用于：接收所述数据传输总线发送的所述数据请求，在所述数据仓库模块的标准化数据源中获取所述目标数据并发送至所述数据传输总线；

所述路由服务模块用于：监测所述数据采集模块以及所述数据发送模块的工作状态，并调度所述数据采集模块的数据存储优先级以及所述数据发送模块的数据读取优先级。

9.根据权利要求8所述的工业互联网数据处理系统，其特征在于，所述数据传输总线用于：在接收到所述上层应用发送的所述数据请求的情况下，基于所述库直连同步、所述数据文件同步或者所述接口服务同步，向所述数据发送模块发送所述数据请求，获取所述目标数据。

10.一种工业互联网数据处理方法，应用于数据处理系统，其特征在于，包括：

获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，根据获取的网络负载状态和/或本地数据存储状态，触发所述数据集合的存储，其中，所述数据集合在被发送至目标位置后进行存储；

基于预设数据标准对已存储的所述数据集合中的数据进行整合，生成标准化数据源；

接收到上层应用发送的数据请求的情况下，基于库直连同步、数据文件同步或者接口服务同步，在所述标准化数据源中获取所述数据请求对应的目标数据并传输至所述上层应用；

所述网络流量数据基于流量采集探针组件获取；所述流量采集探针组件包括至少一个流量采集探针；

所述根据获取的网络负载状态和/或本地数据存储状态，触发所述数据集合的存储，包括：

获取主链路网络负载；

获取所述流量采集探针组件所包括的每个流量采集探针分别对应的本地网络流量数据存储状态以及本地网络负载，针对每个流量采集探针，在当前流量采集探针对应的本地网络流量数据存储状态满足第一预设条件，和/或，所述主链路网络负载小于主链路负载阈值且当前流量采集探针对应的本地网络负载小于对应的本地网络负载阈值时，触发当前流量采集探针缓存的网络流量数据的存储；

其中，每个流量采集探针对应于一流量存储空间，在当前流量采集探针缓存的网络流量数据在对应的流量存储空间中的占比大于第一阈值时，确定当前流量采集探针对应的本地网络流量数据存储状态满足所述第一预设条件。

11.根据权利要求10所述的方法，其特征在于，所述获取包括工业互联网对应的网络流量数据和日志数据的数据集合并缓存，包括：

获取所述工业互联网对应的网络流量数据并缓存；

获取所述工业互联网对应的终端日志数据、数据库日志数据和应用日志数据中的至少一类数据并缓存；

其中，所述终端日志数据基于终端采集探针组件获取、所述数据库日志数据基于数据库采集探针组件获取、所述应用日志数据基于应用采集探针组件获取。

12.根据权利要求11所述的方法，其特征在于，所述根据获取的网络负载状态和/或本地数据存储状态，触发所述数据集合的存储，还包括：

针对所述终端采集探针组件、所述数据库采集探针组件和所述应用采集探针组件中的至少一种组件，分别获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述终端日志数据、所述数据库日志数据和所述应用日志数据中的至少一类数据的存储。

13.根据权利要求12所述的方法，其特征在于，针对所述终端采集探针组件，获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述终端日志数据的存储，包括：

获取所述终端采集探针组件所包括的每个终端采集探针分别对应的本地终端日志数据存储状态和本地终端网络负载，所述终端采集探针组件包括至少一个终端采集探针；

针对每个终端采集探针，在当前终端采集探针对应的本地终端日志数据存储状态满足第二预设条件，和/或，在所述主链路网络负载小于主链路负载阈值且当前终端采集探针对应的本地终端网络负载小于对应的第一网络负载阈值时，触发当前终端采集探针缓存的终端日志数据的存储；

其中，每个所述终端采集探针对应于一办公终端或者一工业终端，每个所述终端采集探针对应于一终端日志存储空间，在当前终端采集探针缓存的终端日志数据在对应的终端日志存储空间中的占比大于第二阈值时，确定当前终端采集探针对应的本地终端日志数据存储状态满足所述第二预设条件。

14.根据权利要求12所述的方法，其特征在于，针对所述数据库采集探针组件，获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述数据库日志数据的存储，包括：

获取所述数据库采集探针组件所包括的每个数据库采集探针分别对应的本地数据库日志数据存储状态和本地数据库网络负载，所述数据库采集探针组件包括至少一个数据库采集探针；

针对每个数据库采集探针，在当前数据库采集探针对应的本地数据库日志数据存储状态满足第三预设条件，和/或，在所述主链路网络负载小于主链路负载阈值且当前数据库采集探针对应的本地数据库网络负载小于对应的第二网络负载阈值时，触发当前数据库采集探针缓存的数据库日志数据的存储；

其中，每个所述数据库采集探针对应于一数据库服务器，每个所述数据库采集探针对应于一数据库日志存储空间，在当前数据库采集探针缓存的数据库日志数据在对应的数据库日志存储空间中的占比大于第三阈值时，确定当前数据库采集探针对应的本地数据库日志数据存储状态满足所述第三预设条件。

15.根据权利要求12所述的方法，其特征在于，针对所述应用采集探针组件，获取对应的本地数据存储状态以及本地网络负载，并结合所述主链路网络负载，触发所述应用日志数据的存储，包括：

获取所述应用采集探针组件所包括的每个应用采集探针分别对应的本地应用日志数据存储状态和本地应用网络负载，所述应用采集探针组件包括至少一个应用采集探针；

针对每个应用采集探针，在当前应用采集探针对应的本地应用日志数据存储状态满足第四预设条件，和/或，在所述主链路网络负载小于主链路负载阈值且当前应用采集探针对应的本地应用网络负载小于对应的第三网络负载阈值时，触发当前应用采集探针缓存的应用日志数据的存储；

其中，每个所述应用采集探针对应于一应用服务器，每个所述应用采集探针对应于一应用日志存储空间，在当前应用采集探针缓存的应用日志数据在对应的应用日志存储空间中的占比大于第四阈值时，确定当前应用采集探针对应的本地应用日志数据存储状态满足所述第四预设条件。

16.根据权利要求10所述的方法，其特征在于，所述触发所述数据集合的存储，包括：

对所述数据集合中的数据进行组装，并基于数据格式特点以及数据被调用时对应的形式，将组装后的数据进行存储。

Images