CN114880524A - 基于数据湖的数据通信方法、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种基于数据湖的数据通信方法、电子设备及存储介质，涉及通信技术领域。其中，该方法可以应用于中心数据湖，中心数据湖通过至少一个工业防火墙与至少一个边缘数据湖通信连接，每个边缘数据湖与至少一个工业采集设备通信连接，该方法包括：接收边缘数据湖通过工业防火墙发送的工业设备数据，工业设备数据由边缘数据湖通过至少一个工业采集设备获取；根据工业设备数据，对工业设备数据对应的目标工业设备进行分析，获取数据分析结果，相较于现有技术，即使对边缘数据湖所通信连接的工业采集设备进行了新增或撤除操作，也无需对工业防火墙进行重新配置，可以提高数字化工厂的部署效率。

Description

基于数据湖的数据通信方法、电子设备及存储介质

技术领域

本申请涉及通信技术领域，特别涉及一种基于数据湖的数据通信方法、电子设备及存储介质。

背景技术

数字化工厂作为一种新兴的工厂模式，其在制造企业内部实现了产品智能化、生产自动化、信息流和物资流合一。其中，数字化工厂采用大数据分析、端至端实时规划和设备互联、自控系统、数字孪生等一系列先进技术实现生产乃至整条供应链的数字化，凭借这些技术，使得企业的生产效率得以提升，且能够批量生产高度定制化的产品。

现有的，在数字化工厂中实现数据采集业务时，一般将数据存储处理功能接入其他网络(比如，办公网络)，而且将信息采集功能分散部署在工业现场，并接入生产网络。具体来说，信息采集业务通常依赖数据采集模块获取生产环境内的数据，且数据采集模块通常被部署在生产网络内，并且通过工业防火墙与数据存储处理功能所在的其他网络隔离。如果需要在生产网络与其他网络直接进行数据传输，则必须在工业防火墙上进行相应地配置。

可以看出，现有的数据通信方法中，当数字化工厂中数据采集模块每次发生更新时，则需要维护人员调整工业防火墙的配置，因此，现有的数字化工厂存在部署效率较低的问题。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种基于数据湖的数据通信方法、电子设备及存储介质，可以提高数字化工厂的部署效率。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本发明提供一种基于数据湖的数据通信方法，应用于中心数据湖，所述中心数据湖通过至少一个工业防火墙与至少一个边缘数据湖通信连接，每个所述边缘数据湖与至少一个工业采集设备通信连接，所述方法包括：

接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据，所述工业设备数据由所述边缘数据湖通过至少一个工业采集设备获取；

根据所述工业设备数据，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

在可选的实施方式中，所述工业防火墙被配置为包括预设映射关系，所述预设映射关系包括：所述中心数据湖对应的地址、所述边缘数据湖对应的地址、第一端口、第二端口、第三端口以及第四端口之间的映射关系；

其中，所述第一端口，用于所述边缘数据湖向所述中心数据湖发送所述工业设备数据；所述第二端口，用于所述中心数据湖接收所述边缘数据湖发送的所述工业设备数据；

所述第三端口，用于所述边缘数据湖接收所述中心数据湖发送的数据传输指令；所述第四端口，用于所述中心数据湖向所述边缘数据湖发送数据传输指令。

在可选的实施方式中，所述方法还包括：

基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送停止传输指令，以使所述边缘数据湖根据所述停止传输指令将获取的所述工业设备数据暂存至预设存储模块。

在可选的实施方式中，所述接收边缘数据湖通过所述工业防火墙发送的工业设备数据之前，所述方法还包括：

基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送工业设备采集指令和/或开始传输指令。

在可选的实施方式中，所述接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据，包括：

基于第一消息队列接收所述边缘数据湖中第二消息队列通过所述工业防火墙发送的数据传输请求；

根据所述数据传输请求，基于所述第一消息队列通过所述工业防火墙向所述边缘数据湖发送同意响应；

基于所述第一消息队列接收所述边缘数据湖中所述第二消息队列在收到所述同意响应后，通过所述工业防火墙发送的所述第二消息队列中的工业设备数据，其中，所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块。

在可选的实施方式中，所述工业设备数据的数据类型包括下述至少一项：时序结构化数据、非时序结构化数据、非结构化数据；

所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块，包括：

第二消息队列在未收到所述同意响应时，根据所述工业设备数据的数据类型将所述工业设备数据暂存至预设存储模块，其中，所述预设存储模块包括下述至少一项：非关系型数据库、关系型数据库、对象存储模块，所述非关系型数据库用于存储时序结构化数据、所述关系型数据库用于存储非时序结构化数据、所述对象存储模块用于存储非结构化数据。

在可选的实施方式中，若所述中心数据湖包括非关系型数据库、关系型数据库以及对象存储模块，则所述中心数据湖还包括：图数据库，所述接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据之后，所述方法还包括：

根据所述工业设备数据，通过所述图数据库构建所述非关系型数据库、所述关系型数据库中各数据表以及所述对象存储模块中各数据对象之间的关联关系；

所述根据所述工业设备数据，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果，包括：

根据所述图数据库中的所述关联关系，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

第二方面，本发明提供一种基于数据湖的数据通信方法，应用于边缘数据湖，所述边缘数据湖通过工业防火墙与中心数据湖通信连接，且所述边缘数据湖与至少一个工业采集设备通信连接，所述方法包括：

通过至少一个所述工业采集设备获取工业设备数据；

通过所述工业防火墙向所述中心数据湖发送所述工业设备数据，以使所述中心数据湖根据所述工业设备数据对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

第三方面，本申请实施例提供一种基于数据湖的数据通信装置，应用于中心数据湖，所述中心数据湖通过至少一个工业防火墙与至少一个边缘数据湖通信连接，每个所述边缘数据湖与至少一个工业采集设备通信连接，所述数据通信装置包括：

接收模块，用于接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据，所述工业设备数据由所述边缘数据湖通过至少一个工业采集设备获取；

分析模块，用于根据所述工业设备数据，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

在可选的实施方式中，所述工业防火墙被配置为包括预设映射关系，所述预设映射关系包括：所述中心数据湖对应的地址、所述边缘数据湖对应的地址、第一端口、第二端口、第三端口以及第四端口之间的映射关系；

其中，所述第一端口，用于所述边缘数据湖向所述中心数据湖发送所述工业设备数据；所述第二端口，用于所述中心数据湖接收所述边缘数据湖发送的所述工业设备数据；

所述第三端口，用于所述边缘数据湖接收所述中心数据湖发送的数据传输指令；所述第四端口，用于所述中心数据湖向所述边缘数据湖发送数据传输指令。

在可选的实施方式中，所述数据通信装置还包括：发送模块，用于基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送停止传输指令，以使所述边缘数据湖根据所述停止传输指令将获取的所述工业设备数据暂存至预设存储模块。

在可选的实施方式中，所述接收边缘数据湖通过所述工业防火墙发送的工业设备数据之前，所述发送模块，还用于基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送工业设备采集指令和/或开始传输指令。

在可选的实施方式中，所述接收模块，具体用于基于第一消息队列接收所述边缘数据湖中第二消息队列通过所述工业防火墙发送的数据传输请求；

根据所述数据传输请求，基于所述第一消息队列通过所述工业防火墙向所述边缘数据湖发送同意响应；

基于所述第一消息队列接收所述边缘数据湖中所述第二消息队列在收到所述同意响应后，通过所述工业防火墙发送的所述第二消息队列中的工业设备数据，其中，所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块。

在可选的实施方式中，所述工业设备数据的数据类型包括下述至少一项：时序结构化数据、非时序结构化数据、非结构化数据；

所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块，包括：

第二消息队列在未收到所述同意响应时，根据所述工业设备数据的数据类型将所述工业设备数据暂存至预设存储模块，其中，所述预设存储模块包括下述至少一项：非关系型数据库、关系型数据库、对象存储模块，所述非关系型数据库用于存储时序结构化数据、所述关系型数据库用于存储非时序结构化数据、所述对象存储模块用于存储非结构化数据。

在可选的实施方式中，若所述中心数据湖包括非关系型数据库、关系型数据库以及对象存储模块，则所述中心数据湖还包括：图数据库，所述接收模块，还用于根据所述工业设备数据，通过所述图数据库构建所述非关系型数据库、所述关系型数据库中各数据表以及所述对象存储模块中各数据对象之间的关联关系；

所述分析模块，具体用于根据所述图数据库中的所述关联关系，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

第四方面，本发明提供一种基于数据湖的数据通信装置，应用于边缘数据湖，所述边缘数据湖通过工业防火墙与中心数据湖通信连接，且所述边缘数据湖与至少一个工业采集设备通信连接，所述数据通信装置包括：

获取模块，用于通过至少一个所述工业采集设备获取工业设备数据；

发送模块，用于通过所述工业防火墙向所述中心数据湖发送所述工业设备数据，以使所述中心数据湖根据所述工业设备数据对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

第五方面，本发明提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式任一所述基于数据湖的数据通信方法的步骤。

第六方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如前述实施方式任一所述基于数据湖的数据通信方法的步骤。

本申请的有益效果是：

本申请实施例提供的基于数据湖的数据通信方法、电子设备及存储介质中，该方法可以应用于中心数据湖，中心数据湖通过至少一个工业防火墙与至少一个边缘数据湖通信连接，每个边缘数据湖与至少一个工业采集设备通信连接，该方法包括：接收边缘数据湖通过工业防火墙发送的工业设备数据，工业设备数据由边缘数据湖通过至少一个工业采集设备获取；根据工业设备数据，对工业设备数据对应的目标工业设备进行分析，获取数据分析结果，应用本申请实施例，相较于现有技术，即使对边缘数据湖所通信连接的工业采集设备进行了新增或撤除操作，也无需对工业防火墙进行重新配置，使得本申请实施例所提供的数据通信方法可以适用于渐进式部署的数字化工厂中，可以提高数字化工厂的部署效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于数据湖的数据通信系统；

图2为本申请实施例提供的一种基于数据湖的数据通信方法的流程示意图；

图3为本申请实施例提供的另一种基于数据湖的数据通信方法的流程示意图；

图4为本申请实施例提供的又一种基于数据湖的数据通信方法的流程示意图；

图5为本申请实施例提供的另一种基于数据湖的数据通信方法的流程示意图；

图6为本申请实施例提供的又一种基于数据湖的数据通信方法的流程示意图；

图7为本申请实施例提供的另一种基于数据湖的数据通信方法的流程示意图；

图8为本申请实施例提供的一种基于数据湖的数据通信装置的功能模块示意图；

图9为本申请实施例提供的一种电子设备结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

针对现有数字化工厂中，若数据采集模块每次发生更新时，则需要维护人员调整工业防火墙的配置所导致的数字化工厂部署效率较低的问题，本申请实施例提供一种基于数据湖的数据通信方法，应用该实施例，可以提高数字化工厂的部署效率。

图1为本申请实施例提供的一种基于数据湖的数据通信系统，图2为本申请实施例提供的一种基于数据湖的数据通信方法的流程示意图。其中，该数据通信系统可以应用于数字化工厂，该数据通信方法可以应用于该数据通信系统中的中心数据湖110，参照图1所示，该中心数据湖110可以通过至少一个工业防火墙120与至少一个边缘数据湖130通信连接，每个边缘数据湖130可以与至少一个工业采集设备140通信连接。其中，各边缘数据湖130可以被配置为接入不同的生产网络子网(例如，覆盖某个车间的生产网络)，每个边缘数据湖130可以与至少一个工业采集设备140在其对应的生产网络子网内进行数据通信，具体来说，各工业采集设备140可以将采集的工业设备数据发送给边缘数据湖130。中心数据湖110可以被配置为接入办公网络、互联网，或，与各边缘数据湖130所接入生产网络子网不同的生产网络中，在此不作限定。在一些实施例中，中心数据湖110、各边缘数据湖130可以部署在计算机、服务器中，在此不作限定。

对于各工业防火墙120来说，各工业防火墙120可以在各边缘数据湖130所接入的生产网络子网与中心数据湖110所接入的网络(办公网络、互联网或生产网络等)之间提供网络边界安全防护，并对各生产网络子网对应的各安全区域进行相互隔离，保证各生产网络子网的安全性。在一些实施例中，工业防火墙120可以被配置为可解析、识别与控制所有通过生产网络子网的数据流量，并通过接口扫描防护、安全审计、恶意代码防护、漏洞防护及访问权限限定等机制为接入生产网络子网中的工业设备抵御来自内外部网络的攻击。

参照图2所示，该方法可以包括：

S101、接收边缘数据湖通过工业防火墙发送的工业设备数据，工业设备数据由边缘数据湖通过至少一个工业采集设备获取。

其中，工业采集设备可以采集所处工业环境中各工业设备的数据，该工业设备可以包括工业生产设备和各类机床，比如车床、铣床、磨床、刨床等机器，在此不作限定；该工业采集设备可以包括但不限于：工业传感器，工业传感器可以包括温度传感器，湿度传感器，视觉传感器，压力传感器及RFID阅读器等，在此不作限定，根据工业采集设备的不同，所采集的工业设备数据的类型可以有所不同。

数据通信过程中，各工业采集设备可以将采集的工业设备数据发送给边缘数据湖，边缘数据湖接收到该工业设备数据后可以通过工业防火墙向中心数据湖发送该工业设备数据，相应地，中心数据湖可以通过该工业防火墙接收各边缘数据湖发送的工业设备数据。基于该通信过程，相较于现有技术，可以看出，即使对边缘数据湖所通信连接的工业采集设备进行了新增或撤除操作，也无需对工业防火墙进行重新配置，使得本申请实施例所提供的数据通信方法可以适用于渐进式部署的数字化工厂中，可以提高数字化工厂的部署效率。

S102、根据工业设备数据，对工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

中心数据湖接收到工业设备数据后，可以对该工业设备数据对应的目标工业设备进行分析，比如，可以分析目标工业设备的工作状态(工作正常或故障)、工作性能等，通过分析可以获取到数据分析结果。可以理解的是，通过该数据分析结果进一步可以指导维护人员对目标工业设备进行及时维护，从而可以保证数字工厂的工作效率。

综上，本申请实施例提供一种基于数据湖的数据通信方法，该方法可以应用于中心数据湖，中心数据湖通过至少一个工业防火墙与至少一个边缘数据湖通信连接，每个边缘数据湖与至少一个工业采集设备通信连接，该方法包括：接收边缘数据湖通过工业防火墙发送的工业设备数据，工业设备数据由边缘数据湖通过至少一个工业采集设备获取；根据工业设备数据，对工业设备数据对应的目标工业设备进行分析，获取数据分析结果，应用本申请实施例，相较于现有技术，即使对边缘数据湖所通信连接的工业采集设备进行了新增或撤除操作，也无需对工业防火墙进行重新配置，使得本申请实施例所提供的数据通信方法可以适用于渐进式部署的数字化工厂中，可以提高数字化工厂的部署效率。

在一些实施例中，上述工业防火墙可以被配置成为边缘数据湖及中心数据湖之间的数据连接开放特定的端口并进行扫描防护。可选地，该工业防火墙可以被配置为包括预设映射关系，该预设映射关系可以包括：中心数据湖对应的地址、边缘数据湖对应的地址、第一端口、第二端口、第三端口以及第四端口之间的映射关系。可选地，该预设映射关系可以表示为<第一IP地址，第一端口，第三端口，第二IP地址，第二端口，第四端口>，其中，第一IP地址用于指示边缘数据湖对应的地址，可选地，具体可以是边缘数据湖中第一预设组件在生产网络子网中的IP地址；第二IP地址用于指示中心数据湖对应的地址，可选地，具体可以是中心数据湖中第二预设组件在所接入的网络(办公网络、互联网或生产网络等)中的IP地址，在此不作限定。

其中，第一端口，用于边缘数据湖向中心数据湖发送工业设备数据；第二端口，用于中心数据湖接收边缘数据湖发送的工业设备数据；第三端口，用于边缘数据湖接收中心数据湖发送的数据传输指令；第四端口，用于中心数据湖向边缘数据湖发送数据传输指令。

可选地，上述第一端口、第三端口可以是上述第一预设组件对外开放的端口；上述第二端口、第四端口可以是上述第二预设组件对外开放的端口。在一些实施例中，该数据传输指令可以包括开始传输指令、停止传输指令等，在此不作限定。基于上述说明，可以看出，通过对工业防火墙进行上述配置，即可实现中心数据湖和边缘数据湖之间的正常通信。

应用本申请实施例，也可以看出，由于工业防火墙中只包括与中心数据湖和边缘数据湖相关的配置信息，不包括与工业采集设备相关的配置信息，因此，即使对边缘数据湖所通信连接的工业采集设备进行了新增或撤除操作，也无需对工业防火墙进行重新配置，可以提高数字化工厂的部署效率。此外，相较于现有技术，还可以避免由于工业采集设备撤除但未及时更新工业防火墙的配置规则导致数字工厂存在的安全隐患问题，提高数字工厂的安全性。

当然，需要说明的是，若工业防火墙接收到非中心数据湖或非边缘数据湖发送的数据包，那么工业防火墙可以将该数据包丢弃。

图3为本申请实施例提供的另一种基于数据湖的数据通信方法的流程示意图，如图3所示，该方法可以包括：

S201、基于第四端口，通过工业防火墙向边缘数据湖发送停止传输指令，以使边缘数据湖根据停止传输指令将获取的工业设备数据暂存至预设存储模块。

在一些实施例中，边缘数据湖接收到至少一个工业采集设备发送的工业设备数据后，可以通过工业防火墙向中心数据湖转发该工业设备数据。当然，本申请实施例并不限定转发的时机，可以是实时转发，也可以是定时转发(比如，每1小时、每2小时转发一次)，根据实际的应用场景可以选择相应的转发规则。

其中，边缘数据湖通过工业防火墙向中心数据湖转发该工业设备数据时，考虑到中心数据湖受网络状态、正在进行的业务处理操作(比如，批处理操作)的影响，如若中心数据湖继续接收边缘数据湖通过工业防火墙发送的工业设备数据，可能导致中心数据湖的处理性能进一步恶化、无法及时成功地接收工业设备数据的问题，可选地，中心数据湖可以根据第一预设规则生成停止传输指令，并基于第四端口，通过工业防火墙向边缘数据湖发送该停止传输指令，以使边缘数据湖在接收到该停止传输指令时，可以将获取的工业设备数据暂存至预设存储模块并等待合适的发送时机进行发送。

应用本申请实施例，可以降低中心数据湖的处理压力，保证中心数据湖的处理性能；此外，还可以降低数据传输过程中工业设备数据丢包的风险，提高安全性。

图4为本申请实施例提供的又一种基于数据湖的数据通信方法的流程示意图。可选地，如图4所示，上述接收边缘数据湖通过工业防火墙发送的工业设备数据之前，上述方法还包括：

S301、基于第四端口，通过工业防火墙向边缘数据湖发送工业设备采集指令和/或开始传输指令。

其中，工业设备采集指令，用于指示边缘数据湖向工业采集设备发送开始采集指令，以使工业采集设备根据该开始采集指令采集目标工业设备的工业设备数据；开始传输指令，用于指示边缘数据湖开始向中心数据湖传输所获取的工业设备数据。

举例说明，在一些实施例中，若边缘数据湖可暂存历史时间段内所获取的工业设备数据，可选地，当中心数据湖可接收工业设备数据时，中心数据湖可基于第四端口，通过工业防火墙向边缘数据湖发送开始传输指令，边缘数据湖接收到该开始传输指令后，可以将历史时间段内暂存的工业设备数据参见上述的方法实施例发送给中心数据湖。

需要说明的是，本申请实施例并不限定工业设备采集指令和开始传输指令的发送时机，可选地，两者可以同时发送，或者，基于第四端口，在第一时刻通过工业防火墙向边缘数据湖发送工业设备采集指令；在第二时刻通过工业防火墙向边缘数据湖发送开始传输指令，根据实际的应用场景可以灵活选择发送时机，在此不作限定。

图5为本申请实施例提供的另一种基于数据湖的数据通信方法的流程示意图。可选地，如图5所示，上述接收边缘数据湖通过工业防火墙发送的工业设备数据的步骤，包括：

S401、基于第一消息队列接收边缘数据湖中第二消息队列通过工业防火墙发送的数据传输请求。

可选地，中心数据湖可以包括第一消息队列，边缘数据湖可以包括第二消息队列。在一些实施例中，边缘数据湖可以将至少一个工业采集设备采集的工业设备数据传输至第二消息队列中，接着，边缘数据湖可以基于第二消息队列，通过工业防火墙向中心数据湖发送数据传输请求，中心数据湖通过其对应的第一消息队列可以接收该数据传输请求。

S402、根据数据传输请求，基于第一消息队列通过工业防火墙向边缘数据湖发送同意响应。

S403、基于第一消息队列接收边缘数据湖中第二消息队列在收到同意响应后，通过工业防火墙发送的第二消息队列中的工业设备数据。

其中，第二消息队列在未收到同意响应时，将工业设备数据暂存至预设存储模块。在一些实施例中，对于该第二消息队列可以设置预设存储规则，比如，可以设置第二消息队列在预设时间段(比如，30秒、1分钟等)内未收到同意响应时，则将工业设备数据暂存至预设存储模块，当然，具体设置方式并不以此为限。

基于上述步骤，可以看出，中心数据湖接收到该数据传输请求后，如果同意接收数据，那么，那么中心数据湖可以基于第一消息队列，通过工业防火墙向边缘数据湖发送同意响应。进一步地，边缘数据湖中第二消息队列在接收到该同意响应后，可以基于第二消息队列，通过工业防火墙向中心数据湖发送工业设备数据；中心数据湖基于第一消息队列，可以接收该工业设备数据。可选地，第一消息队列可以将所接收的工业设备数据写入本地存储。

应用本申请实施例，使得中心数据湖可以根据其本身的具体情况(网络、处理性能等)决定是否接收边缘数据湖发送的工业设备数据，可以提高本申请方法的适用性；且边缘数据湖可以在未接收到中心数据湖发送的同意响应时，将所获取的工业设备数据暂存至预设存储模块，可以避免工业设备数据的丢失。

基于本申请实施例的基础上，可选地，上述第一预设组件可以是第一消息队列，第二预设组件可以是第二消息队列，也就是说，上述工业防火墙中的第一IP地址可以是边缘数据湖中第一消息队列在生产网络子网中的IP地址；第二IP地址可以是中心数据湖中第二消息队列在所接入的网络(办公网络、互联网或生产网络等)中的IP地址。当然，第一预设组件、第二预设组件的设置方式并不以此为限。

可选地，工业设备数据的数据类型可以包括下述至少一项：时序结构化数据、非时序结构化数据、非结构化数据。那么，在一些实施例中，上述第二消息队列在未收到同意响应时，将工业设备数据暂存至预设存储模块的步骤，可以包括：

第二消息队列在未收到同意响应时，根据工业设备数据的数据类型将工业设备数据暂存至预设存储模块。

可选地，该预设存储模块包括下述至少一项：非关系型数据库、关系型数据库、对象存储模块，其中，非关系型数据库和关系型数据库可以属于文件存储模块，结合前述实施例，也即文件存储模块可以通过非关系型数据库和关系型数据库与边缘数据湖中的第二消息队列对接。

其中，非关系型数据库用于存储时序结构化数据(例如，温/湿度数据等)、关系型数据库用于存储非时序结构化数据(例如，工业采集设备状态数据，具体可以是，在线状态、在线时长等)、对象存储模块用于存储非结构化数据(例如，视频数据等)。

在一些实施例中，可以理解的是，同一工业采集设备可以采集得到多种不同类型的工业设备数据，不同工业采集设备可以采集得到多种不同类型的工业设备数据。

当然，需要说明的是，对于中心数据湖来说，其也可以包括非关系型数据库、关系型数据库以及对象存储模块，其中，非关系型数据库、关系型数据库、对象存储模块所存储的数据类型可参见边缘数据湖中的存储方式，在此不再赘述。

图6为本申请实施例提供的又一种基于数据湖的数据通信方法的流程示意图，若中心数据湖包括非关系型数据库、关系型数据库以及对象存储模块，则中心数据湖还包括：图数据库，如图6所示，上述接收边缘数据湖通过工业防火墙发送的工业设备数据之后，该方法可以包括：

S501、根据工业设备数据，通过图数据库构建非关系型数据库、关系型数据库中各数据表以及对象存储模块中各数据对象之间的关联关系。

在一些实施例中，中心数据湖中可以部署有数据服务，基于数据服务可以通过图数据库对所获取的工业设备数据构建元数据，实现数据到应用的全流程影响分析和溯源分析。其中，数据服务通过图数据库定义了关系矩阵，具体可以包括：非关系型数据库及关系型数据库各个数据表及其键值之间的关系、非结构化数据对象与非关系型数据库及关系型数据库各个数据表之间的关系。

相应地，上述根据工业设备数据，对工业设备数据对应的目标工业设备进行分析，获取数据分析结果，包括：

S502、根据图数据库中的关联关系，对工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

基于上述说明，可以理解的是，那么对工业设备数据对应的目标工业设备进行分析时，可以借助图数据库查询中心数据湖内各类数据记录之间的关联关系，再基于该关联关系，可以对工业设备数据对应的目标工业设备进行分析，获取数据分析结果，根据该数据分析结果可以指导维护人员对目标工业设备进行及时维护，从而可以保证数字工厂的工作效率。

举例说明，中心数据湖中非关系型数据库可以包括第一数据表和第二数据表，其中，第一数据表中可以存储有温度传感器采集的目标工业设备的温度数据，第二数据表中可以存储有湿度传感器采集的目标工业设备的湿度数据；中心数据湖中关系型数据库可以存储有第三数据表和第四数据表，其中，第三数据表中可以存储有温度传感器的状态数据，比如，在线状态、在线时长等；第四数据表中可以存储有湿度传感器的状态数据，比如，在线状态、在线时长等；基于上述说明，可以理解的是，中心数据湖中图数据库可以存储有第一数据表和第三数据表之间的关联关系，第二数据表和第四数据表之间的关联关系，如此，可以保证后续获取目标工业设备的相关数据时，根据该图数据库可以获取到完整的相关数据，以便可以对目标工业设备进行全面的分析。

图7为本申请实施例提供的另一种基于数据湖的数据通信方法的流程示意图，该方法可以应用于边缘数据湖130，参照上述图1所示，该边缘数据湖130可以通过工业防火墙120与中心数据湖110通信连接，且边缘数据湖130与至少一个工业采集设备140通信连接。如图7所示，该方法可以包括：

S601、通过至少一个工业采集设备获取工业设备数据。

S602、通过工业防火墙向中心数据湖发送工业设备数据，以使中心数据湖根据工业设备数据对工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

关于该部分说明可参见前述的相关说明，在此不再赘述。应用本申请实施例，相较于现有技术来说，由于引入了边缘数据，因此，即使对边缘数据湖所通信连接的工业采集设备进行了新增或撤除操作，也无需对工业防火墙进行重新配置，使得本申请实施例所提供的数据通信方法可以适用于渐进式部署的数字化工厂中，可以提高数字化工厂的部署效率。

图8为本申请实施例提供的一种基于数据湖的数据通信装置的功能模块示意图，该装置可以应用于中心数据湖，所述中心数据湖通过至少一个工业防火墙与至少一个边缘数据湖通信连接，每个所述边缘数据湖与至少一个工业采集设备通信连接，该装置基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。如图8所示，该数据通信装置200，可以包括：

接收模块210，用于接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据，所述工业设备数据由所述边缘数据湖通过至少一个工业采集设备获取；

分析模块220，用于根据所述工业设备数据，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

在可选的实施方式中，所述工业防火墙被配置为包括预设映射关系，所述预设映射关系包括：所述中心数据湖对应的地址、所述边缘数据湖对应的地址、第一端口、第二端口、第三端口以及第四端口之间的映射关系；

其中，所述第一端口，用于所述边缘数据湖向所述中心数据湖发送所述工业设备数据；所述第二端口，用于所述中心数据湖接收所述边缘数据湖发送的所述工业设备数据；

所述第三端口，用于所述边缘数据湖接收所述中心数据湖发送的数据传输指令；所述第四端口，用于所述中心数据湖向所述边缘数据湖发送数据传输指令。

在可选的实施方式中，所述数据通信装置还包括：发送模块，用于基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送停止传输指令，以使所述边缘数据湖根据所述停止传输指令将获取的所述工业设备数据暂存至预设存储模块。

在可选的实施方式中，所述接收边缘数据湖通过所述工业防火墙发送的工业设备数据之前，所述发送模块，还用于基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送工业设备采集指令和/或开始传输指令。

在可选的实施方式中，所述接收模块210，具体用于基于第一消息队列接收所述边缘数据湖中第二消息队列通过所述工业防火墙发送的数据传输请求；

根据所述数据传输请求，基于第一消息队列通过所述工业防火墙向所述边缘数据湖发送同意响应；

基于第一消息队列接收所述边缘数据湖中所述第二消息队列在收到所述同意响应后，通过所述工业防火墙发送的所述第二消息队列中的工业设备数据，其中，所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块。

在可选的实施方式中，所述工业设备数据的数据类型包括下述至少一项：时序结构化数据、非时序结构化数据、非结构化数据；

所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块，包括：

第二消息队列在未收到所述同意响应时，根据所述工业设备数据的数据类型将所述工业设备数据暂存至预设存储模块，其中，所述预设存储模块包括下述至少一项：非关系型数据库、关系型数据库、对象存储模块，所述非关系型数据库用于存储时序结构化数据、所述关系型数据库用于存储非时序结构化数据、所述对象存储模块用于存储非结构化数据。

在可选的实施方式中，若所述中心数据湖包括非关系型数据库、关系型数据库以及对象存储模块，则所述中心数据湖还包括：图数据库，所述接收模块210，还用于根据所述工业设备数据，通过所述图数据库构建所述非关系型数据库、所述关系型数据库中各数据表以及所述对象存储模块中各数据对象之间的关联关系；

所述分析模块，具体用于根据所述图数据库中的所述关联关系，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

在一些实施例中，本发明还提供一种基于数据湖的数据通信装置，应用于边缘数据湖，所述边缘数据湖通过工业防火墙与中心数据湖通信连接，且所述边缘数据湖与至少一个工业采集设备通信连接，所述数据通信装置包括：

获取模块，用于通过至少一个所述工业采集设备获取工业设备数据；

发送模块，用于通过所述工业防火墙向所述中心数据湖发送所述工业设备数据，以使所述中心数据湖根据所述工业设备数据对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图9为本申请实施例提供的一种电子设备结构示意图，该电子设备可以中心数据湖或边缘数据湖所部署的设备，比如，计算机、服务器等。如图9所示，该电子设备可以包括：处理器310、存储介质320和总线330，存储介质320存储有处理器310可执行的机器可读指令，当电子设备运行时，处理器310与存储介质320之间通过总线330通信，处理器310执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于数据湖的数据通信方法，其特征在于，应用于中心数据湖，所述中心数据湖通过至少一个工业防火墙与至少一个边缘数据湖通信连接，每个所述边缘数据湖与至少一个工业采集设备通信连接，所述方法包括：

接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据，所述工业设备数据由所述边缘数据湖通过至少一个工业采集设备获取；

根据所述工业设备数据，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

2.根据权利要求1所述的方法，其特征在于，所述工业防火墙被配置为包括预设映射关系，所述预设映射关系包括：所述中心数据湖对应的地址、所述边缘数据湖对应的地址、第一端口、第二端口、第三端口以及第四端口之间的映射关系；

其中，所述第一端口，用于所述边缘数据湖向所述中心数据湖发送所述工业设备数据；所述第二端口，用于所述中心数据湖接收所述边缘数据湖发送的所述工业设备数据；

所述第三端口，用于所述边缘数据湖接收所述中心数据湖发送的数据传输指令；所述第四端口，用于所述中心数据湖向所述边缘数据湖发送数据传输指令。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送停止传输指令，以使所述边缘数据湖根据所述停止传输指令将获取的所述工业设备数据暂存至预设存储模块。

4.根据权利要求2所述的方法，其特征在于，所述接收边缘数据湖通过所述工业防火墙发送的工业设备数据之前，所述方法还包括：

基于所述第四端口，通过所述工业防火墙向所述边缘数据湖发送工业设备采集指令和/或开始传输指令。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据，包括：

基于第一消息队列接收所述边缘数据湖中第二消息队列通过所述工业防火墙发送的数据传输请求；

根据所述数据传输请求，基于所述第一消息队列通过所述工业防火墙向所述边缘数据湖发送同意响应；

基于所述第一消息队列接收所述边缘数据湖中所述第二消息队列在收到所述同意响应后，通过所述工业防火墙发送的所述第二消息队列中的工业设备数据，其中，所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块。

6.根据权利要求5所述的方法，其特征在于，所述工业设备数据的数据类型包括下述至少一项：时序结构化数据、非时序结构化数据、非结构化数据；

所述第二消息队列在未收到所述同意响应时，将所述工业设备数据暂存至预设存储模块，包括：

第二消息队列在未收到所述同意响应时，根据所述工业设备数据的数据类型将所述工业设备数据暂存至预设存储模块，其中，所述预设存储模块包括下述至少一项：非关系型数据库、关系型数据库、对象存储模块，所述非关系型数据库用于存储时序结构化数据、所述关系型数据库用于存储非时序结构化数据、所述对象存储模块用于存储非结构化数据。

7.根据权利要求6所述的方法，其特征在于，若所述中心数据湖包括非关系型数据库、关系型数据库以及对象存储模块，则所述中心数据湖还包括：图数据库，所述接收所述边缘数据湖通过所述工业防火墙发送的工业设备数据之后，所述方法还包括：

根据所述工业设备数据，通过所述图数据库构建所述非关系型数据库、所述关系型数据库中各数据表以及所述对象存储模块中各数据对象之间的关联关系；

所述根据所述工业设备数据，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果，包括：

根据所述图数据库中的所述关联关系，对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

8.一种基于数据湖的数据通信方法，其特征在于，应用于边缘数据湖，所述边缘数据湖通过工业防火墙与中心数据湖通信连接，且所述边缘数据湖与至少一个工业采集设备通信连接，所述方法包括：

通过至少一个所述工业采集设备获取工业设备数据；

通过所述工业防火墙向所述中心数据湖发送所述工业设备数据，以使所述中心数据湖根据所述工业设备数据对所述工业设备数据对应的目标工业设备进行分析，获取数据分析结果。

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一所述基于数据湖的数据通信方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一所述基于数据湖的数据通信方法的步骤。

Images