CN111092946B - 一种应用于边缘计算网关的数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种应用于边缘计算网关的数据处理方法及系统，包括获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；当当前存储空间的空间容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器，以使云端服务器根据当前日志的日志等级执行相应的决策策略。本发明由于解决了现有智能执行系统缺乏对设备数据采集端的实时管理，无法实时对异常事件进行甄别和反馈的问题。

Description

一种应用于边缘计算网关的数据处理方法及系统

技术领域

本发明涉及通信网络技术领域，特别是涉及一种应用于边缘计算网关的数据处理方法及系统。

背景技术

工业控制系统是对诸如图像、语音信号等大数据量、高速率传输的要求，以及太网与控制网络的结合。随着计算机技术、通信技术和控制技术的发展，传统的控制领域正经历着一场前所未有的变革，开始向网络化方向发展。控制系统的结构从最初的CCS(计算机集中控制系统)，到第二代的DCS(分散控制系统)，发展到现在流行的FCS(现场总线控制系统)。

然而，随着工业设备智能化程度的不断提高，控制系统需要海量的数据进行分析与储存、对网络带宽提出了巨大的挑战，因而边缘计算应用而生。众所周知的，边缘计算是指在靠近终端物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。

然而，由于边缘计算理论概念提出时间较短，还没有相应的边缘计算行业标准、规范和协议，各种行业厂商结合自身原有技术储备和产品线规划进行边缘计算产品应用方案的探索，因此提供的边缘计算方案没有没有技术和产品共性，无法标准化批量实施，为客户提供“降能减人增值”的服务。目前工业应用的计算机系统是基于生产加工流程工艺定制开发的智能执行系统。根据不同应用场景衍生出PLC、DCS和SCADA等方案产品，以上类型产品结合边缘计算网关可以实现工业数据上云等IOT互联网应用，但都缺乏对设备数据采集端的实时管理能力，无法实时对异常事件进行甄别和反馈。

发明内容

为了解决上述问题，本发明的目的是提供一种能够针对采集设备端或数据来源端的原始数据不断进行精度优化、异常故障排除、同类/异类数据分类管理，在提升数据分析和应用管理高效的基础下保证企业客户的通信和信息安全的性价比应用于边缘计算网关的数据处理方法及系统。

根据本发明提供的应用于边缘计算网关的数据处理方法，包括：

获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；

将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；

当当前存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；

所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。

根据本发明提供的应用于边缘计算网关的数据处理方法，通过将各工业设备的工业应用数据进行数据预处理，以避免由于边缘计算网关对各工业设备采集的数据类型不一、格式复杂、异常排查问难的问题；通过将数据预处理后的工业应用数据转发至多个数据分支，以使各数据分支进行相应的分支数据处理，提升总体数据处理的效率并降低后端数据处理负荷；通过对存储空间中的空间容量进行实时监测，以避免操作系统和工业设备应用软件随着使用时间累积会增加越来越多进程和线程，增加边缘计算网关软硬件的负荷，引发进程和线程的冲突和竞争，出现卡顿、挂死和延时等问题现象，通过在存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器，以便于在保存历史数据的前提下对空间进行清理与分析；此外，本发明还可以对当前生产系统的监控模型进行实时优化，对存储空间的进行动态分配，且能够避免各存储空间存在精度和存储容量的差异，从而导致存储精度不一致或精度差异问题引发的功能单元之间的运算不同步问题，因此本发明能够针对采集设备端或数据来源端的原始数据不断进行精度优化、异常故障排除、同类/异类数据分类管理，在提升数据分析和应用管理高效的基础下保证企业客户的通信和信息安全的性价比。

另外，根据本发明上述的应用于边缘计算网关的数据处理方法，还可以具有如下附加的技术特征：

进一步地，所述方法还包括：

获取生产系统中各工业设备进行应用操作时所产生的工业应用数据及空间容量，并将所述工业应用数据及空间容量发送至云端服务器；

接收所述云端服务器根据各生产设备的工业应用数据及空间容量下发的特征增强信息，并将进行特征增强后的工业应用数据传送至云端服务器，所述云端服务器根据增强后的工业应用数据数据创建多个中间进程，并通过各中间进程向对应的工业设备下发训练神经网络模型；

所述各中间进程通过梯度下降法对各自的训练神经网络模型进行更新，并将更新后的训练神经网络模型传送至云端服务器，以使所述云端服务器通过整合模型得到当前生产系统的监控模型。

进一步地，将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理的方法包括：

对所述工业应用数据进行数据备份与格式转换，以得到格式统一、具有时间戳的工业应用数据；

将具有时间戳的工业应用数据进行分类存储后转发至对应的数据分支，以使各数据分支对其接收的工业应用数据进行对应运算分析处理。

进一步地，所述数据分支包括数据传输分支及数据运算分支，

所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；

所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态，当发生通信异常状态时，进行本地数据累积存储并持续呼叫云端服务器恢复连接，直至云端服务器再次连接后实现断点续传，并对异常数据本地进行报警及发展趋势分析。

进一步地，将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测的方法包括：

获取各数据分支中工业应用数据的本地存储位置、存储周期及剩余存储空间的空间容量；

当进行分支数据处理后的工业应用数据的数据量是小于剩余存储空间的空间容量时，将该工业应用数据存储于剩余存储空间内，并对该存储空间的空间容量进行实时监测。

进一步地，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器的方法包括：

当当前存储空间的容量不足时，判断当前所需存储的工业应用数据的数据量的大小；

根据当前数据量的大小进行存储空间中全部工业应用数据、备份数据或异常数据的清除，并将对应清除的全部工业应用数据、备份数据或异常数据，以及对应的空间预警日志传输至云端服务器，并保存传输过程中及之后新采集的工业应用数据。

进一步地，根据当前日志的日志等级执行相应的决策策略的方法包括：

当当前日志的日志等级为致命、严重或故障时，所述云端服务器执行关闭系统、工业设备自恢复、保持现状、日志记录上报的决策策略；

当当前日志的日志等级为一般时，所述云端服务器执行保持现状、日志记录上报的决策策略；

当当前日志的日志等级为提示/操作记录时，所述云端服务器执行监控数据和系统日志，不做干涉操作的决策策略。

进一步地，所述方法还包括：

通过当前生产系统的监控模型监控各中间进程中各工业设备的存储空间的空间容量；

根据各工业设备的剩余空间容量及当前所需存储的数据量，对各中间进程中工业设备的数量及类型、各工业设备中存储空间的分配进行动态调整。

进一步地，所述日志信息包括日志事件级别、事件名称、事件内容及处理方案，所述事件级别包括紧急、重要及一般。

本发明的另一个实施例提出一种应用于边缘计算网关的数据处理系统，应用于上述的应用于边缘计算网关的数据处理方法，能够解决现有智能执行系统结合边缘计算网关实现工业数据上云等IOT互联网应用，都缺乏对设备数据采集端的实时管理能力，无法实时对异常事件进行甄别和反馈的问题。

根据本发明实施例的应用于边缘计算网关的数据处理系统，包括：

获取模块，用于获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；

监测模块，用于将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；

管理模块，用于当当前存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；

执行模块，所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

图1是本发明第一实施例提出的应用于边缘计算网关的数据处理方法的流程图；

图2是图1中步骤S101的具体流程图；

图3是图1中步骤S102的具体流程图；

图4是本发明第二实施例提出的应用于边缘计算网关的数据处理系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明第一实施例提出的一种应用于边缘计算网关的数据处理方法，其中，包括步骤S101～S104：

步骤S101，获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理。

边沿计算网关可对接从各工业设备采集的原始生产数据、ERP数据库数据、SCADA工业数据、第三方数据库数据、生产过程的中间数据及其他职能系统数据等多种数据。以上数据存在数据格式不兼容和数据库类型不一致的问题，如果直接转发传输给云端服务器，会导致云端服务器发生运算复杂和问题排查困难的问题，必须进行数据格式转换和数据库文件重新读写的操作。因此，为提高生产系统的总体处理效率，降级后端处理负荷，需要对所获取的工业应用数据进行预处理及数据分支处理。其中，工业设备可以为仪器设备、PLC、DCS、SCADA中的一种或多种，在此不做限制。

请参阅图2，将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理的方法包括如下步骤：

步骤S1011，对所述工业应用数据进行数据备份与格式转换，以得到格式统一、具有时间戳的工业应用数据。

具体的，边缘计算网关通过数据采集单元获得生产系统中各工业设备进行应用操作时所产生的工业应用数据，先按照类别不同分类存储数据用于备份处理，完成备份后将该工业应用数据提供给工业设备，调用数据库解析功能，提取数据按照数据类型完成边缘计算网关读写，再由工业设备端重新读写一次数据并完成数据格式转换，转换后的数据格式统一按照工业设备传输给云端服务器的数据库协议完成，完成统一数据格式转换后再备份一次数据，这样可以保证数据不会遗失并可以根据时间戳标记提供反查的功能。

步骤S1012，将具有时间戳的工业应用数据进行分类存储后转发至对应的数据分支，以使各数据分支对其接收的工业应用数据进行对应运算分析处理。

如上所述，数据预处理后的工业应用数据需要根据后端运算目的不同进行分类存储和转发。其中，所述数据分支包括数据传输分支及数据运算分支。所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态，当发生通信异常状态时，进行本地数据累积存储并持续呼叫云端服务器恢复连接，直至云端服务器再次连接后实现断点续传，并对异常数据本地进行报警及发展趋势分析。

具体实施时，可将数据分支分为4个分支，数据分支1：提供给云端服务器做实时数据运算分析；数据分支2：与数据分支1做联动配合操作，实时侦测各工业设备与云端服务器的通信状态及边缘计算网关与云端服务器的通信状态，当发生通信异常状态时，进行本地数据累积存储并持续呼叫云端服务器恢复连接，直至云端服务器再次连接后实现断点续传；数据分支3：根据云端服务器预设的报警规约和计算公式，实现异常数据本地报警和异常数据发展趋势分析；数据分支4：根据数据预处理方案和计算公式，实现预处理云端服务器所需数据的功能。

步骤S102，将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测。其中该存储空间可以为工业设备的存储空间、边缘计算网关的存储空间或虚拟设备的存储空间，在此不做限制。

如上所述，为通过提升各工业设备的存储与运行效率，从而提升当前工业系统的总体运算的效率并降低后端运算负荷，因此需对各工业设备的存储空间的空间容量进行实时监测。

请参阅图3，将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测的方法包括如下步骤：

步骤S1021，获取各数据分支中工业应用数据的本地存储位置、存储周期及剩余存储空间的空间容量。

步骤S1022，当进行分支数据处理后的工业应用数据的数据量是小于剩余存储空间的空间容量时，将该工业应用数据存储于剩余存储空间内，并对该存储空间的空间容量进行实时监测。

具体的，各数据分支中工业应用数据的本地存储位置即安装目录所在磁盘的位置，包括采集数据的本地存储位置、自定义运算数据的本地存储位置及监控对象参数数据的本地存储位置；各工业应用数据文件的存储周期可用户自行定义、也可系统本身内置、还可根据边缘计算网关存储位置下的剩余空间进行换算，剩余空间越大，可以选择存储周期越大，换算方法为单点监控参数的数据容量*总点数；在对存储空间的空间容量进行监测时，还可动态侦测采集数据、自定义运算数据和监控参数的剩余存储容量空间容量，默认设置低于10％空闲容量时预警并告知用户，且当进行分支数据处理后的工业应用数据的数据量是小于剩余存储空间的空间容量时，将该工业应用数据存储于剩余存储空间内。

步骤S103，当当前存储空间的空间容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器。

进一步地，当当前存储空间的空间容量不足时，判断当前所需存储的工业应用数据的数据量的大小，根据当前数据量的大小进行存储空间中全部工业应用数据、备份数据或异常数据的清除，并将对应清除的全部工业应用数据、备份数据或异常数据，以及对应的空间预警日志传输至云端服务器，并保存传输过程中及之后新采集的工业应用数据。

具体的，当当前所需存储的工业应用数据的数据量的大小大于存储空间的空间容量时，存储空间预警事件上报，边缘端与云端服务器通信仲裁，传输未上传的全部工业应用数据数据给云端服务器，完成传输后删除全部并清理空间，保存传输过程中/之后的新采集工业应用数据；当当前所需存储的工业应用数据的数据量的大小等于存储空间的空间容量时，存储空间预警事件上报，边缘端全部工业应用数据传输云端服务器，完成传输后删除并清理空间，保存传输过程中和之后的新采集工业应用数据；当当前所需存储的工业应用数据的工业应用数据量的大小为存储空间的剩余空间容量60％时，存储空间预警事件上报，边缘端与云端服务器通信仲裁，删除全部备份工业应用数据并清理空间，保存传输过程中和之后的新采集工业应用数据；当当前所需存储的工业应用数据的数据量的大小为存储空间的剩余空间容量10％时，存储空间预警事件上报，边缘端与云端服务器通信仲裁，传输全部异常工业应用事件(原始数据+修改复写数据)给云端服务器，完成传输后删除全部并清理空间。

步骤S104，所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。

其中，所述日志信息包括日志事件级别、事件名称、事件内容、处理方案及时间时间，所述事件级别包括紧急、重要及一般。具体的，所示日志事件级别包括显示紧急urgentevent、重要importmant event、一般common event的日志事件级别；紧急U：边缘计算检测监控参数异常等影响客户生产加工的事件日志，重要I：数据存储接近存储满、修改用户名/密码等操作的事件日志，一般C：导入/导出数据、配置和其他正常操作时的记录日志。所述事件名称包括按照事件等级的首字母+日期+事件排序作为事件名称，如U20190427-01、C20190427-01、I20190427-01。所述事件内容包括显示事件的具体内容，可以详细描述事件发生时间、设备对象、问题内容。所述处理方案包括紧急U事件按照异常参数处理措施、重要I事件按照存储满操作处理措施、其他暂定是否完成/未完成等操作结果标识。所述事件时间包括记录事件发生的日期(年月日)、时间(时分秒)。

进一步地，当当前日志的日志等级为致命、严重或故障时，所述云端服务器执行关闭系统、工业设备自恢复、保持现状、日志记录上报的决策策略；当当前日志的日志等级为一般时，所述云端服务器执行保持现状、日志记录上报的决策策略；当当前日志的日志等级为提示/操作记录时，所述云端服务器执行监控数据和系统日志，不做干涉操作的决策策略。

可以理解的，操作系统和工业设备端应用软件随着使用时间累积会增加越来越多进程和线程，增加边缘计算网关软硬件的负荷，引发进程和线程的冲突和竞争，出现卡顿、挂死和延时等问题现象，因此需对各工业设备的存储空间进行监控与清理。

具体的，当当前日志的日志等级为致命，即边缘计算网关经受病毒、木马等攻击，系统被异常调用无关/冗余进程、现成、驱动和系统接口；边缘计算网关被插拔硬件组件，导致客户端/工业设备端和驱动、系统接口异常。此时，备份数据，预警上报云端服务器，云端服务器决策：关闭系统、边缘网关系统自恢复、保持现状，日志记录上报。

具体的，当当前日志的日志等级为致命，即边缘计算网关的存储或运算负荷按照状态判断逻辑判定异常状态。其中，存储或运算负荷正常/异常状态判断逻辑：

i.正常状态：硬件资源：CPU(使用率＜80％和温度＜85℃)、内存(总容量使用率＜85％)、存储(总容量占有率＜90％)；网络连接状态：带宽使用率＜60％。

ii.异常状态：硬件资源：CPU(使用率≥80％或温度≥85℃，持续2H)、内存(总容量使用率≥85％，持续2H)、存储(总容量占有率≥90％，持续2H)；网络连接状态：带宽使用率≥60％，持续2H；。此时，备份数据，预警上报云端服务器，云端服务器决策：关闭系统、边缘网关系统自恢复、保持现状，日志记录上报。

具体的，当当前日志的日志等级为致命，即边缘计算网关经受病毒、木马等攻击，系统被异常调用无关/冗余进程、现成、驱动和系统接口；边缘计算网关被插拔硬件组件，导致客户端/工业设备端和驱动、系统接口异常。

此时，备份数据，预警上报云端服务器，云端服务器决策：关闭系统、边缘网关系统自恢复、保持现状，日志记录上报。

具体的，当当前日志的日志等级为故障，即边缘计算网关人为操作引发设备软硬件故障；边缘计算网关因内存数据读写溢出、进程/线程冲突或中断、系统bug引发设备故障；边缘计算网关其他软硬件故障。此时，备份数据，预警上报云端服务器，云端服务器决策：关闭系统、边缘网关系统自恢复、保持现状，日志记录上报。

具体的，当当前日志的日志等级为一般，即边缘计算网关轮询、接口调用产生的延时；边缘计算网关人为操作引发的软件正常延时、重复操作等事件。此时，保持现状，日志记录上报。

具体的，当当前日志的日志等级为提示/操作记录，即边缘计算网关人为正常操作记录；边缘计算网关软件客户端正常操作记录。此时，监控数据和系统日志，不做干涉操作。

在此还需要说明的是，在本发明其他实施例中，获取生产系统中各工业设备进行应用操作时所产生的工业应用数据及空间容量，并将所述工业应用数据及空间容量发送至云端服务器；接收所述云端服务器根据各生产设备的工业应用数据及空间容量下发的特征增强信息，并将进行特征增强后的工业应用数据传送至云端服务器，所述云端服务器根据增强后的工业应用数据数据创建多个中间进程，并通过各中间进程向对应的工业设备下发训练神经网络模型；所述各中间进程通过梯度下降法对各自的训练神经网络模型进行更新，并将更新后的训练神经网络模型传送至云端服务器，以使所述云端服务器通过整合模型得到当前生产系统的监控模型；通过当前生产系统的监控模型监控各中间进程中各工业设备的存储空间的空间容量；根据各工业设备的剩余空间容量及当前所需存储的数据量，对各中间进程中工业设备的数量及类型、各工业设备中存储空间的分配进行动态调整。

可以理解的，通过将具有标识的工业应用数据发送至云端服务器，以便于云端服务器根据各生产设备的工业应用数据及空间容量下发对应的特征增强信息，即通过生产设备中各类型的工业应用数据的分布概率及空间容量与所有生产设备的各类型的工业应用数据的分布概率及空间容量进行特征的增强与减弱，为进一步减小模型偏差提供基础；通过将进行特征增强后的工业应用数据传送至云端服务器，以使所述云端服务器根据增强后的工业应用数据数据创建多个中间进程，并通过各中间进程向对应的工业设备下发训练神经网络模型为，下一步进行训练神经网络模型更新提供必要条件，具体可根据各中间进程的类别分布概率与均匀类别分布概率的离散度，计算各中间进程的工业应用数据平衡度，根据各中间进程的工业应用数据平衡度及空间容量，搜索所有未分配中间进程的工业设备端，根据未分配中间进程的工业设备端的类别分布概率及空间容量对中间进程的工业应用数据平衡度进行调整，从而取得每个中间进程的局部平衡，降低模型的偏差并提升模型的准确度；各中间进程通过梯度下降法对各自的训练神经网络模型进行更新，并将更新后的训练神经网络模型传送至云端服务器，以使所述云端服务器通过联邦平均算法得到当前生产系统的监控模型，从而使该神经网络模型具有较高的数据识别精度及空间容量调整精度，减少了达到指定精度所需的网络传输开销；通过当前生产系统的监控模型监控各中间进程中各工业设备的存储空间的空间容量；根据各工业设备的剩余空间容量及当前所需存储的数据量，对各中间进程中工业设备的数量及类型、各工业设备中存储空间的分配进行动态调整，从而提高了系统的运行效率与精度、减少了后端的负荷。

根据本发明提供的应用于边缘计算网关的数据处理方法，通过将各工业设备的工业应用数据进行数据预处理，以避免由于边缘计算网关对各工业设备采集的数据类型不一、格式复杂、异常排查问难的问题；通过将数据预处理后的工业应用数据转发至多个数据分支，以使各数据分支进行相应的分支数据处理，提升总体数据处理的效率并降低后端数据处理负荷；通过对存储空间中的空间容量进行实时监测，以避免操作系统和工业设备应用软件随着使用时间累积会增加越来越多进程和线程，增加边缘计算网关软硬件的负荷，引发进程和线程的冲突和竞争，出现卡顿、挂死和延时等问题现象，通过在存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器，以便于在保存历史数据的前提下对空间进行清理与分析；此外，本发明还可以对当前生产系统的监控模型进行实时优化，对存储空间的进行动态分配，且能够避免各存储空间存在精度和存储容量的差异，从而导致存储精度不一致或精度差异问题引发的功能单元之间的运算不同步问题，因此本发明能够针对采集设备端或数据来源端的原始数据不断进行精度优化、异常故障排除、同类/异类数据分类管理，在提升数据分析和应用管理高效的基础下保证企业客户的通信和信息安全的性价比。

请参阅图4，基于同一发明构思，本发明第二实施例提供的应用于边缘计算网关的数据处理系统，包括：

获取模块10，用于获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；

具体的，对所述工业应用数据进行数据备份与格式转换，以得到格式统一、具有时间戳的工业应用数据；将具有时间戳的工业应用数据进行分类存储后转发至对应的数据分支，以使各数据分支对其接收的工业应用数据进行对应运算分析处理。

其中，所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态，当发生通信异常状态时，进行本地数据累积存储并持续呼叫云端服务器恢复连接，直至云端服务器再次连接后实现断点续传，并对异常数据本地进行报警及发展趋势分析。

监测模块20，用于将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；

具体的，获取各数据分支中工业应用数据的本地存储位置、存储周期及剩余存储空间的空间容量；当进行分支数据处理后的工业应用数据的数据量是小于剩余存储空间的空间容量时，将该工业应用数据存储于剩余存储空间内，并对该存储空间的空间容量进行实时监测。

管理模块30，用于当当前存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；

具体的，当当前存储空间的容量不足时，判断当前所需存储的工业应用数据的数据量的大小；根据当前数据量的大小进行存储空间中全部工业应用数据、备份数据或异常数据的清除，并将对应清除的全部工业应用数据、备份数据或异常数据，以及对应的空间预警日志传输至云端服务器，并保存传输过程中及之后新采集的工业应用数据。

执行模块40，所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录；所述日志信息包括日志事件级别、事件名称、事件内容及处理方案，所述事件级别包括紧急、重要及一般。

具体的，当当前日志的日志等级为致命、严重或故障时，所述云端服务器执行关闭系统、工业设备自恢复、保持现状、日志记录上报的决策策略；当当前日志的日志等级为一般时，所述云端服务器执行保持现状、日志记录上报的决策策略；当当前日志的日志等级为提示/操作记录时，所述云端服务器执行监控数据和系统日志，不做干涉操作的决策策略。

在本发明其他实施例中，所述执行模块40还用于获取生产系统中各工业设备进行应用操作时所产生的工业应用数据及空间容量，并将所述工业应用数据及空间容量发送至云端服务器；接收所述云端服务器根据各生产设备的工业应用数据及空间容量下发的特征增强信息，并将进行特征增强后的工业应用数据传送至云端服务器，所述云端服务器根据增强后的工业应用数据数据创建多个中间进程，并通过各中间进程向对应的工业设备下发训练神经网络模型；所述各中间进程通过梯度下降法对各自的训练神经网络模型进行更新，并将更新后的训练神经网络模型传送至云端服务器，以使所述云端服务器通过整合模型得到当前生产系统的监控模型；通过当前生产系统的监控模型监控各中间进程中各工业设备的存储空间的空间容量；根据各工业设备的剩余空间容量及当前所需存储的数据量，对各中间进程中工业设备的数量及类型、各工业设备中存储空间的分配进行动态调整。

根据本发明提供的应用于边缘计算网关的数据处理系统，通过将各工业设备的工业应用数据进行数据预处理，以避免由于边缘计算网关对各工业设备采集的数据类型不一、格式复杂、异常排查问难的问题；通过将数据预处理后的工业应用数据转发至多个数据分支，以使各数据分支进行相应的分支数据处理，提升总体数据处理的效率并降低后端数据处理负荷；通过对存储空间中的空间容量进行实时监测，以避免操作系统和工业设备应用软件随着使用时间累积会增加越来越多进程和线程，增加边缘计算网关软硬件的负荷，引发进程和线程的冲突和竞争，出现卡顿、挂死和延时等问题现象，通过在存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器，以便于在保存历史数据的前提下对空间进行清理与分析；此外，本发明还可以对当前生产系统的监控模型进行实时优化，对存储空间的进行动态分配，且能够避免各存储空间存在精度和存储容量的差异，从而导致存储精度不一致或精度差异问题引发的功能单元之间的运算不同步问题，，因此本发明能够针对采集设备端或数据来源端的原始数据不断进行精度优化、异常故障排除、同类/异类数据分类管理，在提升数据分析和应用管理高效的基础下保证企业客户的通信和信息安全的性价比。

本发明实施例提出的应用于边缘计算网关的数据处理系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。

此外，本发明的实施例还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

此外，本发明的实施例还提出一种边缘计算网关，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法的步骤。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种应用于边缘计算网关的数据处理方法，其特征在于，包括：

获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；所述数据分支包括数据传输分支及数据运算分支，所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态；

将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；

当当前存储空间的空间容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；

所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。

2.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，所述方法还包括：

获取生产系统中各工业设备进行应用操作时所产生的工业应用数据及空间容量，并将所述工业应用数据及空间容量发送至云端服务器；

接收所述云端服务器根据各生产设备的工业应用数据及空间容量下发的特征增强信息，并将进行特征增强后的工业应用数据传送至云端服务器，所述云端服务器根据增强后的工业应用数据数据创建多个中间进程，并通过各中间进程向对应的工业设备下发训练神经网络模型；

所述各中间进程通过梯度下降法对各自的训练神经网络模型进行更新，并将更新后的训练神经网络模型传送至云端服务器，以使所述云端服务器通过整合模型得到当前生产系统的监控模型。

3.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理的方法包括：

对所述工业应用数据进行数据备份与格式转换，以得到格式统一且具有时间戳的工业应用数据；

将具有时间戳的工业应用数据进行分类存储后转发至对应的数据分支，以使各数据分支对其接收的工业应用数据进行对应运算分析处理。

4.根据权利要求3所述的应用于边缘计算网关的数据处理方法，其特征在于，所述数据分支包括数据传输分支及数据运算分支，

所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；

所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态，当发生通信异常状态时，进行本地数据累积存储并持续呼叫云端服务器恢复连接，直至云端服务器再次连接后实现断点续传，并对异常数据本地进行报警及发展趋势分析。

5.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测的方法包括：

获取各数据分支中工业应用数据的本地存储位置、存储周期及剩余存储空间的空间容量；

当进行分支数据处理后的工业应用数据的数据量是小于剩余存储空间的空间容量时，将该工业应用数据存储于剩余存储空间内，并对该存储空间的空间容量进行实时监测。

6.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器的方法包括：

当当前存储空间的容量不足时，判断当前所需存储的工业应用数据的数据量的大小；

根据当前数据量的大小进行存储空间中全部工业应用数据、备份数据或异常数据的清除，并将对应清除的全部工业应用数据、备份数据或异常数据，以及对应的空间预警日志传输至云端服务器，并保存传输过程中及之后新采集的工业应用数据。

7.根据权利要求1所述的应用于边缘计算网关的数据处理方法，其特征在于，根据当前日志的日志等级执行相应的决策策略的方法包括：

当当前日志的日志等级为致命、严重或故障时，所述云端服务器执行关闭系统或工业设备自恢复或保持现状以及日志记录上报的决策策略；

当当前日志的日志等级为一般时，所述云端服务器执行保持现状、日志记录上报的决策策略；

当当前日志的日志等级为提示/操作记录时，所述云端服务器执行监控数据和系统日志，不做干涉操作的决策策略。

8.根据权利要求2所述的应用于边缘计算网关的数据处理方法，其特征在于，所述方法还包括：

通过当前生产系统的监控模型监控各中间进程中各工业设备的存储空间的空间容量；

根据各工业设备的剩余空间容量及当前所需存储的数据量，对各中间进程中工业设备的数量及类型以及各工业设备中存储空间的分配进行动态调整。

9.根据权利要求1至8任意一项所述的应用于边缘计算网关的数据处理方法，其特征在于，所述日志信息包括日志事件级别、事件名称、事件内容及处理方案，所述事件级别包括紧急、重要及一般。

10.一种应用于边缘计算网关的数据处理系统，其特征在于，包括：

获取模块，用于获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；所述数据分支包括数据传输分支及数据运算分支，所述数据传输分支，用于将获取的工业应用数据实时的传输至云端服务器；所述数据运算分支，用于与数据传输分支做联动配合操作，实时侦测各工业设备与云端服务器通信状态；

监测模块，用于将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；

管理模块，用于当当前存储空间的容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器；

执行模块，所述云端服务器根据空间预警日志的日志信息确定当前日志的日志等级，并根据当前日志的日志等级执行相应的决策策略，其中，所述决策策略包括关闭系统、系统自恢复及保持现状；所述日志等级包括致命、严重、故障、一般及提示/操作记录。

Images