CN114677111A

CN114677111A - 一种基于工业互联网平台的实时数据处理系统、方法

Info

Publication number: CN114677111A
Application number: CN202210293311.6A
Authority: CN
Inventors: 杨昊亭; 刘默; 田洪川; 刘棣斐; 汤璟恒; 叶飞虎
Original assignee: China Academy of Information and Communications Technology CAICT
Current assignee: China Academy of Information and Communications Technology CAICT
Priority date: 2022-03-23
Filing date: 2022-03-23
Publication date: 2022-06-28

Abstract

本方案涉及一种基于工业互联网平台的实时数据处理系统、方法。所述系统包括：设置有访问接口的数据缓存区，各工业互联网平台通过访问接口将数据存储至数据缓存区；数据采集模块，用于根据指标要求从各工业互联网平台中实时采集原始数据信息，根据景气指标数据字典对原始数据信息进行数据处理并存储至数据缓存区；景气指数归集模块，用于确定各工业互联网平台的平台属性并构建行业景气指数模型，得到行业景气指数；数据可视化模块，用于对行业景气指数进行可视化处理并展示。实时采集的数据根据数据字典进行处理，降低数据采集过程复杂度且统一数据采集标准；数据缓存区可避免外部采集系统直接访问内部系统，保障了数据采集的安全性。

Description

一种基于工业互联网平台的实时数据处理系统、方法

技术领域

本发明涉及工业互联网技术领域，特别是涉及一种基于工业互联网平台的实时数据处理系统、方法。

背景技术

随着社会的发展，工业互联网技术水平也在不断提高，基于工业互联网平台的实时数据采集及分析利用成为一种发展趋势。工业互联网是工业全要素、全产业链、全价值链全面连接形成的全新生产制造与服务体系，工业互联网平台中汇聚了大量工业企业运行数据，这些数据可以实时、准确、科学的反映各行各业的经济运行情况，如企业开工率、行业用电量等，但大多数企事业单位可能存在着不止一种数据库平台，每个业务系统都在各自的系统及数据安全边界内部孤立地运行着。如果需要进行业务数据的共享，就要用到异构数据库的数据采集与分发。即使是同一种数据库平台，一旦分布在不同的服务器上或者具有不同的安全边界，都需要对数据共享的实现手段做出合理的设计。一般跨平台的数据采集与分发是指在不同的平台间，将源数据库中指定表的数据采集并分发到目的数据库指定的表中。通常实现跨平台数据的采集与分发主要有三种办法：采用数据库厂商提供的专业工具，自主开发迁移程序和采用手工迁移。

由此可见，现阶段由于平台互联互通实施细则或操作指南缺失，平台之间互联互通实现路径尚不清晰，平台数据孤岛现象严重，严重制约工业互联网价值创造与生态构建。

发明内容

基于此，为了解决上述技术问题，提供一种基于工业互联网平台的实时数据处理系统、方法，可以简化数据采集过程，提高数据采集的安全性。

一种基于工业互联网平台的实时数据处理系统，所述系统包括：

数据缓存区，所述数据缓存区上设置有访问接口，各个工业互联网平台均与所述访问接口适配对接，且各个所述工业互联网平台均通过所述访问接口将数据存储至所述数据缓存区中；

数据采集模块，用于获取数据采集指标要求，并根据所述指标要求分别从各个所述工业互联网平台中实时采集原始数据信息，获取景气指标数据字典，根据所述景气指标数据字典对所述原始数据信息进行数据处理，并将处理后的数据存储至所述数据缓存区；

行业景气指数归集模块，用于确定各个所述工业互联网平台的平台属性，根据各个所述平台属性以及所述数据缓存区中的各个数据构建行业景气指数模型，并通过所述行业景气指数模型得到行业景气指数；

数据可视化模块，用于对所述行业景气指数进行可视化处理，并将可视化处理后的行业景气指数进行展示。

在其中一个实施例中，所述数据采集模块具体用于：对所述原始数据信息进行汇总、转换、处理，得到目标原始数据信息；获取数据格式；根据所述景气指标数据字典以及所述数据格式，对所述目标原始数据信息进行数据集成处理，生成数据文件。

在其中一个实施例中，所述行业景气指数归集模块具体用于：当所述平台属性为第一平台属性时，获取与所述第一平台属性对应的第一行业景气指数，并根据所述第一行业景气指数对所述行业景气指数进行修订；当所述平台属性为第二平台属性时，获取各个第二行业景气指数，并通过各个所述第二行业景气指数对所述工业互联网平台进行互补得到所述行业景气指数；当所述平台属性为第三平台属性时，将各个所述工业互联网平台按照行业进行分拆，并获取所述行业景气指数。

在其中一个实施例中，所述系统还包括安全防护模块，用于在所述数据缓存区中部署安全软件，并进行网络安全配置。

在其中一个实施例中，所述系统还包括操作日志生成模块，用于获取各个所述工业互联网平台通过所述访问接口从所述数据缓存区中抓取数据时产生的操作状态信息，并根据所述操作状态信息生成操作日志。

在其中一个实施例中，所述系统还包括检测模块，用于检测所述操作日志中的所述操作状态信息，当所述操作状态信息存在异常时，进行报警提示。

一种基于工业互联网平台的实时数据处理方法，所述方法包括：

各个工业互联网平台均与数据缓存区上设置的访问接口适配对接，且各个所述工业互联网平台均通过所述访问接口将数据存储至所述数据缓存区中；

数据采集模块获取数据采集指标要求，并根据所述指标要求分别从各个所述工业互联网平台中实时采集原始数据信息，获取景气指标数据字典，根据所述景气指标数据字典对所述原始数据信息进行数据处理，并将处理后的数据存储至所述数据缓存区；

行业景气指数归集模块确定各个所述工业互联网平台的平台属性，根据各个所述平台属性以及所述数据缓存区中的各个数据构建行业景气指数模型，并通过所述行业景气指数模型得到行业景气指数；

数据可视化模块对所述行业景气指数进行可视化处理，并将可视化处理后的行业景气指数进行展示。

上述一种基于工业互联网平台的实时数据处理系统、方法，数据缓存区，所述数据缓存区上设置有访问接口，各个工业互联网平台均所述访问接口适配对接，且各个所述工业互联网平台均通过所述访问接口将数据存储至所述数据缓存区中；数据采集模块，用于获取数据采集指标要求，并根据所述指标要求分别从各个所述工业互联网平台中实时采集原始数据信息，获取景气指标数据字典，根据所述景气指标数据字典对所述原始数据信息进行数据处理，并将处理后的数据存储至所述数据缓存区；行业景气指数归集模块，用于确定各个所述工业互联网平台的平台属性，根据各个所述平台属性、所述数据缓存区中的各个数据构建行业景气指数模型，并通过所述行业景气指数模型得到行业景气指数；数据可视化模块，用于对所述行业景气指数进行可视化处理，并将可视化处理后的行业景气指数进行展示。实时采集的数据根据预先创建好的数据字典进行数据处理，可以降低数据采集过程的复杂度且统一数据采集的标准；由于设置有数据缓存区，可以避免外部采集系统直接访问内部系统，保障了数据采集的安全性。

附图说明

图1为一个实施例中一种基于工业互联网平台的实时数据处理系统的结构框图；

图2为一个实施例中景气指标数据字典的示意图；

图3为一个实施例中行业景气指数归集模块的系统连接结构示意图；

图4为又一个实施例中一种基于工业互联网平台的实时数据处理系统的结构框图；

图5为一个实施例中数据采集模块的系统连接结构示意图；

图6为再一个实施例中一种基于工业互联网平台的实时数据处理系统的结构示意图；

图7为一个实施例中一种基于工业互联网平台的实时数据处理方法的流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的一种基于工业互联网平台的实时数据处理系统，如图1所示，系统包括：数据采集模块110、数据缓存区120、行业景气指数归集模块130和数据可视化模块140，其中：

数据缓存区120，数据缓存区120上设置有访问接口，各个工业互联网平台均与访问接口适配对接，且各个工业互联网平台均通过访问接口将数据存储至数据缓存区120中；

数据采集模块110，用于获取数据采集指标要求，并根据指标要求分别从各个工业互联网平台中实时采集原始数据信息，获取景气指标数据字典，根据景气指标数据字典对原始数据信息进行数据处理，并将处理后的数据存储至数据缓存区120；

行业景气指数归集模块130，用于确定各个工业互联网平台的平台属性，根据各个平台属性以及数据缓存区120中的各个数据构建行业景气指数模型，并通过行业景气指数模型得到行业景气指数；

数据可视化模块140，用于对行业景气指数进行可视化处理，并将可视化处理后的行业景气指数进行展示。

在本实施例中，数据采集模块110可以用于获取数据采集指标要求，其中，数据采集指标要求可以是各个平台企业按照自身需求设置的数据采集要求。数据采集模块110可以根据指标要求从工业互联网平台中实时采集原始数据信息。具体的，数据采集模块110可以根据不同工业互联网平台的数据采集指标要求，采集不同的工业互联网平台中的原始数据信息。其中，数据采集模块110采集的原始数据信息中可以包含有开工率、订单数、用电量、交易额等数据信息。

景气指标数据字典可以是预先建立好的。在本实施例中，景气指标数据字典可以是基于平台的六环节景气指标数据字典，如图2所示，举例说明，六环节可以分别用于表示仓储物流类、生产制造类、原料采购类、研发设计类、能源使用类、平台使用类，其中，仓储物流类中的数据可以是库存周转率、重点产品存货量；生产制造类中的数据可以是设备开工率、设备稼动率、设备在线率；原料采购类中的数据可以是采购订单量、平均采购价格、平均订货周期；研发设计类中的数据可以是研发投入占比、平均研发周期；能源使用类中的数据可以是用电量、气煤消耗量、能源利用率；平台使用类中的数据可以是日平均登录次数、工业模型日均调用量、工业APP日均调用次数。

数据采集模块110可以根据约定的景气指标数据字典对原始数据信息进行数据处理，并将处理后的数据存储至数据缓存区中。

数据缓存区120内可以设置有访问接口。其中，访问接口可以是统一的，可以是预先开发好的标准化访问接口。各个工业互联网平台可以均与访问接口适配对接，从而通过访问接口将数据存储至数据缓存区120中。在本实施例中，数据缓存区120可以是一个能够访问公网的数据存储和管理环境，属于与数据采集模块110进行数据交互的中间站，避免外部采集系统直接访问平台内部系统。

行业景气指数归集模块130可以用于确定各个工业互联网平台的平台属性，平台属性可以包括特定行业平台、制造企业平台、专业技术平台、跨行业跨领域平台等。行业景气指数集模块130可以根据各个平台属性、数据缓存区120中的各个数据构建行业景气指数模型。具体的，行业景气指数集模块130可以基于企业原始数据自动根据平台数据，通过直接采用原始数据或者合并汇总原始数据的方式构建行业景气指数模型。接着，行业景气指数集模块130可以通过行业景气指数模型得到行业景气指数。

数据可视化模块140可以用于对行业景气指数进行可视化处理，并将可视化处理后的行业景气指数进行展示。

在本实施例中，提供的一种基于工业互联网平台的实时数据处理系统包括：数据采集模块110、数据缓存区120、行业景气指数归集模块130和数据可视化模块140，其中：数据采集模块110，用于获取数据采集指标要求，并根据指标要求分别从各个工业互联网平台中实时采集原始数据信息，获取景气指标数据字典，根据景气指标数据字典对原始数据信息进行数据处理，并将处理后的数据存储至数据缓存区120；数据缓存区120设置有访问接口；各个工业互联网平台均与访问接口适配对接，且各个工业互联网平台均通过访问接口从数据缓存区120中抓取数据；行业景气指数归集模块130，用于确定各个工业互联网平台的平台属性，根据各个平台属性、数据缓存区120中的各个数据构建行业景气指数模型，并通过行业景气指数模型得到行业景气指数；数据可视化模块140，用于对行业景气指数进行可视化处理，并将可视化处理后的行业景气指数进行展示。实时采集的数据根据预先创建好的数据字典进行数据处理，可以降低数据采集过程的复杂度且统一数据采集的标准；由于设置有数据缓存区120，可以避免外部采集系统直接访问内部系统，保障了数据采集的安全性。

在一个实施例中，数据采集模块具体用于对原始数据信息进行汇总、转换、处理，得到目标原始数据信息；获取数据格式；根据景气指标数据字典以及数据格式，对目标原始数据信息进行数据集成处理，生成数据文件。

数据采集模块从平台内部系统中自动化采集到原始数据信息后，可以对原始数据信息进行汇总、处理、转换，从而得到处理后的数据信息，即目标原始数据信息。接着，数据采集模块可以按照约定的景气指标数据字典和数据格式对目标原始数据信息进行数据集成处理形成数据文件。

在本实施例中，按照约定好的数据字典和数据格式对数据信息进行数据处理，可以降低数据采集过程的复杂度且统一数据采集的标准。

在一个实施例中，行业景气指数归集模块具体用于：当平台属性为第一平台属性时，获取与第一平台属性对应的第一行业景气指数，并根据第一行业景气指数对行业景气指数进行修订；当平台属性为第二平台属性时，获取各个第二行业景气指数，并通过各个第二行业景气指数对工业互联网平台进行互补得到行业景气指数；当平台属性为第三平台属性时，将各个工业互联网平台按照行业进行分拆，并获取行业景气指数。

其中，第一平台属性可以用于表示具有行业代表性且已具备一定成熟指数的平台；第二平台属性可以用于表示制造企业平台、特定行业平台等聚焦特定行业的平台；第三平台属性可以用于表示专业技术平台、跨行业跨领域平台。

在本实施例中，对于具有行业代表性且已具备一定成熟指数的平台，对其已有的行业景气指数进行修订，得到该行业景气指数；对于制造企业平台和特定行业平台聚焦特定行业，通过各平台指标互补，汇总多个平台数据形成该行业景气指数；对于专业技术平台、跨行业跨领域平台具有多个行业指标的，需要对平台原始指标按行业进行分拆，再获取行业景气指数。

如图3所示，各个互联网行业平台均在数据缓存区中对应存储有原始数据信息，根据各个互联网行业平台的平台属性，可以对原始数据信息进行对应的处理，从而构建行业景气指数模型，进而得到各个行业的行业景气指数。

如图4所示，在一个实施例中，提供的一种基于工业互联网平台的实时数据处理系统还可以包括安全防护模块150，用于在数据缓存区120中部署安全软件，并进行网络安全配置。

具体的，安全防护模块150可以设置在数据缓存区120中，安全防护模块150可以在数据缓存区120中集成部署安全软件和进行网络安全配置，从而抵御外部非法用于恶意供给入侵，防止平台数据泄漏。

在一个实施例中，如图4所示，提供的一种基于工业互联网平台的实时数据处理系统还可以包括操作日志生成模块160，用于获取各个工业互联网平台通过访问接口从数据缓存区120中抓取数据时产生的操作状态信息，并根据操作状态信息生成操作日志。

操作日志生成模块160可以构建操作日志生成、管理和分析系统，用于获取各个工业互联网平台通过访问接口从数据缓存区120中抓取数据时产生的操作状态信息，具体的，操作日志生成模块160可以记录数据缓存区120数据更新、数据抓取过程中的操作状态信息，从而根据操作状态信息生成操作日志，便于后续查看。

如图4所示，在一个实施例中，提供的一种基于工业互联网平台的实时数据处理系统还可以包括检测模块170，用于检测操作日志中的操作状态信息，当操作状态信息存在异常时，进行报警提示。

在一个实施例中，如图5所示，提供的一种基于工业互联网平台的实时数据处理系统中，数据采集模块可以包括准备数据和采集数据两个部分，且准备数据、采集数据与数据缓存区可以构成基于工业互联网平台的实时数据处理系统中的工业互联网平台实时数据采集系统。

如图5所示，平台企业A准备数据，按照采集数据指标要求，从平台数据库、平台日志、子平台数据中自动化抽取原始数据信息，进行汇总、处理、转换后，按照约定的数据字典和数据格式通过数据采集模块中包含的自动化数据集成工具，形成数据文件。

数据缓存区构建好之后，可以通过内部网络与平台企业A准备的数据进行数据传输，可以避免外部采集系统直接对平台企业A进行数据访问。如图4所示，数据缓存区中处理设置有安全防护模块和统一访问接口，还设置有操作管理系统，部署有基础设施环境，设置有数据存储处。

如图5所示，平台企业B、平台企业C采集数据，其中，平台企业B、平台企业C中均包含有数据采集接口、数据清洗存储处、数据应用分析模块等。平台企业B、平台企业C在采集数据时，均是数据采集接口通过公共网络与数据缓存区上的统一访问接口进行数据传输，使得平台企业B、平台企业C采集到数据缓存区中的数据。

在本实施例中，无论是平台企业A准备数据后与数据缓存区之间的数据传输，还是平台企业B、平台企业C通过访问接口与数据缓存区之间的数据传输，均是采用加密通信传输，依托公共互联网TCP/IP主流通信方式，采用安全传输协议，可以实现缓存区与第三方平台企业之间的数据加密和解密，防止信息泄漏。

在一个实施例中，提供的一种基于工业互联网平台的实时数据处理系统的结构如图6所示，实时获取各个制造企业中的数据，各个工业互联网平台通过公有云以及互联网络按照行业平台属性抓取符合要求的实时数据，并将抓取的实时数据放置数据缓存区，由外部的各个工业互联网平台通过API访问接口采集数据缓存区中的数据，再进行制造业景气指数自动化归集，从而计算出行业景气指数，并进行可视化展示。

在一个实施例中，如图7所示，提供了一种基于工业互联网平台的实时数据处理方法，包括以下步骤：

步骤702，各个工业互联网平台均数据缓存区上设置的访问接口适配对接，且各个工业互联网平台均通过访问接口将数据存储在数据缓存区中；

步骤704，数据采集模块获取数据采集指标要求，并根据指标要求分别从各个工业互联网平台中实时采集原始数据信息，获取景气指标数据字典，根据景气指标数据字典对原始数据信息进行数据处理，并将处理后的数据存储至数据缓存区；

步骤706，行业景气指数归集模块确定各个工业互联网平台的平台属性，根据各个平台属性以及数据缓存区中的各个数据构建行业景气指数模型，并通过行业景气指数模型得到行业景气指数；

步骤708，数据可视化模块对行业景气指数进行可视化处理，并将可视化处理后的行业景气指数进行展示。

在一个实施例中，提供的一种基于工业互联网平台的实时数据处理方法还可以包括进行数据处理的过程，具体过程包括：数据采集模块对原始数据信息进行汇总、转换、处理，得到目标原始数据信息；获取数据格式；根据景气指标数据字典以及数据格式，对目标原始数据信息进行数据集成处理，生成数据文件。

在一个实施例中，提供的一种基于工业互联网平台的实时数据处理方法还可以包括获取行业景气指数的过程，具体过程包括：当平台属性为第一平台属性时，行业景气指数归集模块获取与第一平台属性对应的第一行业景气指数，并根据第一行业景气指数对行业景气指数进行修订；当平台属性为第二平台属性时，行业景气指数归集模块获取各个第二行业景气指数，并通过各个第二行业景气指数对工业互联网平台进行互补得到行业景气指数；当平台属性为第三平台属性时，行业景气指数归集模块将各个工业互联网平台按照行业进行分拆，并获取行业景气指数。

在一个实施例中，提供的一种基于工业互联网平台的实时数据处理方法还可以包括安全部署的过程，具体过程包括：安全防护模块在数据缓存区中部署安全软件，并进行网络安全配置。

在一个实施例中，提供的一种基于工业互联网平台的实时数据处理方法还可以包括生成操作日志的过程，具体过程包括：操作日志生成模块获取各个工业互联网平台通过访问接口从数据缓存区中抓取数据时产生的操作状态信息，并根据操作状态信息生成操作日志。

在一个实施例中，提供的一种基于工业互联网平台的实时数据处理方法还可以包括报警提示的过程，具体过程包括：检测操作日志中的操作状态信息，当操作状态信息存在异常时，进行报警提示。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种基于工业互联网平台的实时数据处理系统，其特征在于，所述系统包括：

2.根据权利要求1所述的基于工业互联网平台的实时数据处理系统，其特征在于，所述数据采集模块具体用于：对所述原始数据信息进行汇总、转换、处理，得到目标原始数据信息；获取数据格式；根据所述景气指标数据字典以及所述数据格式，对所述目标原始数据信息进行数据集成处理，生成数据文件。

3.根据权利要求1所述的基于工业互联网平台的实时数据处理系统，其特征在于，所述行业景气指数归集模块具体用于：当所述平台属性为第一平台属性时，获取与所述第一平台属性对应的第一行业景气指数，并根据所述第一行业景气指数对所述行业景气指数进行修订；当所述平台属性为第二平台属性时，获取各个第二行业景气指数，并通过各个所述第二行业景气指数对所述工业互联网平台进行互补得到所述行业景气指数；当所述平台属性为第三平台属性时，将各个所述工业互联网平台按照行业进行分拆，并获取所述行业景气指数。

4.根据权利要求1所述的基于工业互联网平台的实时数据处理系统，其特征在于，所述系统还包括安全防护模块，用于在所述数据缓存区中部署安全软件，并进行网络安全配置。

5.根据权利要求1所述的基于工业互联网平台的实时数据处理系统，其特征在于，所述系统还包括操作日志生成模块，用于获取各个所述工业互联网平台通过所述访问接口从所述数据缓存区中抓取数据时产生的操作状态信息，并根据所述操作状态信息生成操作日志。

6.根据权利要求5所述的基于工业互联网平台的实时数据处理系统，其特征在于，所述系统还包括检测模块，用于检测所述操作日志中的所述操作状态信息，当所述操作状态信息存在异常时，进行报警提示。

7.一种基于工业互联网平台的实时数据处理方法，其特征在于，所述方法包括：

行业景气指数归集模块确定各个所述工业互联网平台的平台属性，根据各个所述平台属性、所述数据缓存区中的各个数据构建行业景气指数模型，并通过所述行业景气指数模型得到行业景气指数；

8.根据权利要求7所述的基于工业互联网平台的实时数据处理方法，其特征在于，所述方法还包括：

所述数据采集模块对所述原始数据信息进行汇总、转换、处理，得到目标原始数据信息；

所述数据采集模块获取景气指标数据字典，根据所述景气指标数据字典对所述原始数据信息进行数据处理，包括：

所述数据采集模块获取所述景气指标数据字典，并获取数据格式；

所述数据采集模块根据所述景气指标数据字典以及所述数据格式，对所述目标原始数据信息进行数据集成处理，生成数据文件。

9.根据权利要求7所述的基于工业互联网平台的实时数据处理方法，其特征在于，所述方法还包括：

当所述平台属性为第一平台属性时，所述行业景气指数归集模块获取与所述第一平台属性对应的第一行业景气指数，并根据所述第一行业景气指数对所述行业景气指数进行修订；当所述平台属性为第二平台属性时，所述行业景气指数归集模块获取各个第二行业景气指数，并通过各个所述第二行业景气指数对所述工业互联网平台进行互补得到所述行业景气指数；当所述平台属性为第三平台属性时，所述行业景气指数归集模块将各个所述工业互联网平台按照行业进行分拆，并获取所述行业景气指数。

10.根据权利要求7所述的基于工业互联网平台的实时数据处理方法，其特征在于，所述方法还包括：安全防护模块在所述数据缓存区中部署安全软件，并进行网络安全配置。