CN112118283B - 一种基于多级缓存的数据处理方法及系统 - Google Patents

Abstract

本发明提供了工业自动化控制技术领域的一种基于多级缓存的数据处理方法及系统，方法包括：步骤S10、基于数据采集周期将缓存区划分为若干个缓存层级；步骤S20、设置各缓存层级的缓存模式、缓存周期、通信配置；缓存模式包括实时存储模式、持久化存储模式；步骤S30、将采集的数据基于缓存周期以及通信配置，以实时存储模式存储至对应的缓存层级中；步骤S40、设定备份周期，基于备份周期以及持久化存储模式将各缓存层级中存储的数据存储至数据库中；步骤S50、基于缓存周期对数据库中存储的数据进行管理，并基于数据库中存储的数据对丢失的数据进行数据补偿。本发明的优点在于：极大的降低了云端网络带宽的压力，极大的提升了数据传输的可靠性和效率。

Description

一种基于多级缓存的数据处理方法及系统

技术领域

本发明涉及工业自动化控制技术领域，特别指一种基于多级缓存的数据处理方法及系统。

背景技术

随着工业互联网技术的快速发展，网络边缘设备产生的数据量快速增加，这些数据包括从数控机床、PLC、工业机器人等各种产品和生产设备中采集到的运行数据、设备的状态数据、生产的工艺过程数据、质量检验数据等。而工业互联网对于上传至云端的数据需快速、稳定、适应各种网络应用环境、在多种通信网络中实现无缝切换。

然而，传统上网络边缘设备产生的数据上传至云端的过程中，数据时常堵塞在云端的数据接口处，并出现数据丢包、数据失真等问题，不仅给云端的网络带宽带来的巨大压力，也对数据传输的可靠性和效率产生影响。

因此，如何提供一种基于多级缓存的数据处理方法及系统，实现降低云端网络带宽的压力，提升数据传输的可靠性和效率，成为一个亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于多级缓存的数据处理方法及系统，实现降低云端网络带宽的压力，提升数据传输的可靠性和效率。

第一方面，本发明提供了一种基于多级缓存的数据处理方法，包括如下步骤：

步骤S10、基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级；

步骤S20、设置各所述缓存层级的缓存模式、缓存周期以及通信配置；所述缓存模式包括实时存储模式以及持久化存储模式；

步骤S30、将采集的数据基于所述缓存周期以及通信配置，以所述实时存储模式存储至对应的缓存层级中；

步骤S40、设定一备份周期，基于所述备份周期以及持久化存储模式将各缓存层级中存储的数据，以队列的形似存储至数据库中；

步骤S50、基于所述缓存周期对数据库中存储的数据进行管理，并基于数据库中存储的数据对丢失的数据进行数据补偿。

进一步地，所述步骤S20中，所述通信配置包括接收数据类型、传输数据类型、数据传输频率、数据点标签、数据点地址以及数据点的数据采集周期。

进一步地，所述步骤S40具体包括：

步骤S41、设定一备份周期，判断各所述缓存层级中存储的数据是否加载成功，若是，则进入步骤S42；若否，则进入步骤S30；

步骤S42、获取上一次备份时间，判断当前时间减上一次备份时间是否等于备份周期，若是，则将待存储至数据库中的数据添加至队列中，并进入步骤S43；若否，则进入步骤S41；

步骤S43、创建一数据写入规则，基于所述数据写入规则从队列的头部，依次将数据以快照的方式写入二进制文件中，并将所述二进制文件存储至数据库中；

步骤S44、将存储至数据库中的数据从队列中删除。

进一步地，所述步骤S43中，所述数据写入规则具体为：

设定一数据写入周期以及一数据写入数量，当且仅当所述数据写入周期内队列的数据的数量大于等于数据写入数量，才将数据以快照的方式写入二进制文件中。

进一步地，所述步骤S50具体为：

判断数据库中数据存储的时间是否超过所述缓存周期，若超过，则删除对应的数据；若未超过，则继续存储；

当云端数据丢失时，利用异步消息从数据库中索引对应的数据，并将索引到的数据上传至云端。

第二方面，本发明提供了一种基于多级缓存的数据处理系统，包括如下模块：

缓存层级设定模块，用于基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级；

参数设置模块，用于设置各所述缓存层级的缓存模式、缓存周期以及通信配置；所述缓存模式包括实时存储模式以及持久化存储模式；

实时存储模块，用于将采集的数据基于所述缓存周期以及通信配置，以所述实时存储模式存储至对应的缓存层级中；

持久化存储模块，用于设定一备份周期，基于所述备份周期以及持久化存储模式将各缓存层级中存储的数据，以队列的形似存储至数据库中；

数据管理及补偿模块，用于基于所述缓存周期对数据库中存储的数据进行管理，并基于数据库中存储的数据对丢失的数据进行数据补偿。

进一步地，所述参数设置模块中，所述通信配置包括接收数据类型、传输数据类型、数据传输频率、数据点标签、数据点地址以及数据点的数据采集周期。

进一步地，所述持久化存储模块具体包括：

数据加载判断单元，用于设定一备份周期，判断各所述缓存层级中存储的数据是否加载成功，若是，则进入队列加载单元；若否，则进入实时存储模块；

队列加载单元，用于获取上一次备份时间，判断当前时间减上一次备份时间是否等于备份周期，若是，则将待存储至数据库中的数据添加至队列中，并进入数据存储单元；若否，则进入数据加载判断单元；

数据存储单元，用于创建一数据写入规则，基于所述数据写入规则从队列的头部，依次将数据以快照的方式写入二进制文件中，并将所述二进制文件存储至数据库中；

队列更新单元，用于将存储至数据库中的数据从队列中删除。

进一步地，所述数据存储单元中，所述数据写入规则具体为：

设定一数据写入周期以及一数据写入数量，当且仅当所述数据写入周期内队列的数据的数量大于等于数据写入数量，才将数据以快照的方式写入二进制文件中。

进一步地，所述数据管理及补偿模块具体为：

判断数据库中数据存储的时间是否超过所述缓存周期，若超过，则删除对应的数据；若未超过，则继续存储；

当云端数据丢失时，利用异步消息从数据库中索引对应的数据，并将索引到的数据上传至云端。

本发明的优点在于：

1、通过基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级，即相同数据采集周期的数据被划分到同一缓存层级进行缓存，能够对时间要求相同的数据进行统一打包、统一上传，减少了对不同数据采集周期的数据赛选的时间消耗，避免数据堵塞在云端的数据接口处，进而极大的降低了云端网络带宽的压力，极大的提升了数据传输的效率，也便于数据的统一计算和处理。

2、通过设置缓存层级的缓存模式包括实时存储模式以及持久化存储模式，且数据存储时结合了两种存储模式，当云端的数据丢失时，能够利用持久化存储模式存储的数据进行数据补偿，进而极大的提升了数据传输的可靠性。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明一种基于多级缓存的数据处理方法的流程图。

图2是本发明一种基于多级缓存的数据处理系统的结构示意图。

具体实施方式

本申请实施例中的技术方案，总体思路如下：通过基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级，对时间要求相同的数据进行统一打包、统一上传；数据存储时结合实时存储模式以及持久化存储模式，当云端的数据丢失时，能够利用持久化存储模式存储的数据进行数据补偿；进而降低云端网络带宽的压力，提升数据传输的可靠性和效率，实现对设备层和边缘层上传的数据进行传输、汇聚、转发、加工、到岸等复杂操作，确保海量的工业数据从应用现场经过通用网关多层节点之后，高效、稳定、可靠地传输至云端，且有效地平衡边缘侧和云端间，数据处理时间特性的明显差异，避免数据的堵塞。

请参照图1至图2所示，本发明一种基于多级缓存的数据处理方法的较佳实施例，包括如下步骤：

步骤S10、基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级；缓存功能存在于各个计算节点中，各节点负责接收下级节点的数据，将数据进行汇总、分类后缓存于对应的缓存层级，并将数据转发给上级节点；

步骤S20、设置各所述缓存层级的缓存模式、缓存周期以及通信配置；所述缓存模式包括实时存储模式以及持久化存储模式；

实时存储模式是将数据按照一定的数据结构缓存至内存，作为最直接的数据源，提供给持久化存储及其他服务；持久化存储模式是将数据按照一定的数据结构存储至数据库，并且以文件的形式存储至硬盘；持久化存储的目的是为防止数据丢失以及当发生数据丢失时进行数据的追溯、补偿，采用快照的方式进行持久化，即将缓存在内存中的数据以快照方式写入到二进制文件中；为了提高存储过程中的IO效率，避免数据堆积，持久化存储模式结合实时存储模式，能够提高数据存储的稳定性。

由于存储过程的时效及数据的存储量不能无限增大，除了在存储量上进行定期管理之外，存储过程的性能优化至关重要。实时存储模式与持久化存储模式之间的转换，数据流动受IO效率影响很大，因此，实时存储模式转换至持久化存储模式的过程，可通过对数据结构的合理设计、应用数据库特性、优化数据库语句、数据异常处理等方式，提高存储效率，保障缓存过程的可靠性；持久化存储模式转换至实时存储模式的过程，可针对不同的数据，设置不同的缓存机制，例如对关键数据采用定时加载式，定期将磁盘数据缓存至实时缓冲区，这样数据的实时性强；对普通数据采用补充式，将数据按照周期(周期较大)刷新至缓存区，这样数据的实时性较差。

步骤S30、将采集的数据基于所述缓存周期以及通信配置，以所述实时存储模式存储至对应的缓存层级中；通信配置由本地管理平台或由云端管理平台进行，配置完成后可发布至多级缓存模块；

步骤S40、设定一备份周期，基于所述备份周期以及持久化存储模式将各缓存层级中存储的数据，以队列的形似存储至数据库中；

步骤S50、基于所述缓存周期对数据库中存储的数据进行管理，并基于数据库中存储的数据对丢失的数据进行数据补偿。

多级缓存技术的原理类似于集装箱码头，在网络边缘设备与云端分别建立一个“数据堆场”作为数据的缓存区域,分别对网络边缘设备的数据和上传至云端的数据进行缓存处理，因此，多级缓存技术又被称为数据码头技术。

所述步骤S20中，所述通信配置包括接收数据类型、传输数据类型、数据传输频率、数据点标签、数据点地址以及数据点的数据采集周期。

所述步骤S40具体包括：

步骤S41、设定一备份周期，判断各所述缓存层级中存储的数据是否加载成功，若是，则进入步骤S42；若否，则进入步骤S30；

步骤S42、获取上一次备份时间，判断当前时间减上一次备份时间是否等于备份周期，若是，则将待存储至数据库中的数据添加至队列中，并进入步骤S43；若否，则进入步骤S41；

步骤S43、创建一数据写入规则，基于所述数据写入规则从队列的头部，依次将数据以快照的方式写入二进制文件中，并将所述二进制文件存储至数据库中；

步骤S44、将存储至数据库中的数据从队列中删除。

为了保证数据能100％存入数据库，并且每次数据记录的时间点准确，因此采用队列的方式，把数据库操作与数据记录分开，即实现数据->内存->硬盘的过程仅占用少量的内存，但是缓存的数据更加准确、稳定。

所述步骤S43中，所述数据写入规则具体为：

设定一数据写入周期以及一数据写入数量，当且仅当所述数据写入周期内队列的数据的数量大于等于数据写入数量，才将数据以快照的方式写入二进制文件中。例如在每60s有100个数据更新时，才发起快照保存。

所述步骤S50具体为：

判断数据库中数据存储的时间是否超过所述缓存周期，若超过，则删除对应的数据；若未超过，则继续存储；

当云端数据丢失时，利用异步消息从数据库中索引对应的数据，并将索引到的数据上传至云端。当数据出现丢失的情况下，云端的数据补偿通道开启，向下级节点发出补偿指令，下级节点按照数据来源路径向下进行索引，找到数据所在节点，并将丢失的数据重新上传；数据补偿过程中利用缓存机制及树状索引机制，极大的提高了索引效率及数据补偿能力。

本发明一种基于多级缓存的数据处理系统的较佳实施例，包括如下模块：

缓存层级设定模块，用于基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级；缓存功能存在于各个计算节点中，各节点负责接收下级节点的数据，将数据进行汇总、分类后缓存于对应的缓存层级，并将数据转发给上级节点；

参数设置模块，用于设置各所述缓存层级的缓存模式、缓存周期以及通信配置；所述缓存模式包括实时存储模式以及持久化存储模式；

实时存储模式是将数据按照一定的数据结构缓存至内存，作为最直接的数据源，提供给持久化存储及其他服务；持久化存储模式是将数据按照一定的数据结构存储至数据库，并且以文件的形式存储至硬盘；持久化存储的目的是为防止数据丢失以及当发生数据丢失时进行数据的追溯、补偿，采用快照的方式进行持久化，即将缓存在内存中的数据以快照方式写入到二进制文件中；为了提高存储过程中的IO效率，避免数据堆积，持久化存储模式结合实时存储模式，能够提高数据存储的稳定性。

由于存储过程的时效及数据的存储量不能无限增大，除了在存储量上进行定期管理之外，存储过程的性能优化至关重要。实时存储模式与持久化存储模式之间的转换，数据流动受IO效率影响很大，因此，实时存储模式转换至持久化存储模式的过程，可通过对数据结构的合理设计、应用数据库特性、优化数据库语句、数据异常处理等方式，提高存储效率，保障缓存过程的可靠性；持久化存储模式转换至实时存储模式的过程，可针对不同的数据，设置不同的缓存机制，例如对关键数据采用定时加载式，定期将磁盘数据缓存至实时缓冲区，这样数据的实时性强；对普通数据采用补充式，将数据按照周期(周期较大)刷新至缓存区，这样数据的实时性较差。

实时存储模块，用于将采集的数据基于所述缓存周期以及通信配置，以所述实时存储模式存储至对应的缓存层级中；通信配置由本地管理平台或由云端管理平台进行，配置完成后可发布至多级缓存模块；

持久化存储模块，用于设定一备份周期，基于所述备份周期以及持久化存储模式将各缓存层级中存储的数据，以队列的形似存储至数据库中；

数据管理及补偿模块，用于基于所述缓存周期对数据库中存储的数据进行管理，并基于数据库中存储的数据对丢失的数据进行数据补偿。

多级缓存技术的原理类似于集装箱码头，在网络边缘设备与云端分别建立一个“数据堆场”作为数据的缓存区域,分别对网络边缘设备的数据和上传至云端的数据进行缓存处理，因此，多级缓存技术又被称为数据码头技术。

所述参数设置模块中，所述通信配置包括接收数据类型、传输数据类型、数据传输频率、数据点标签、数据点地址以及数据点的数据采集周期。

所述持久化存储模块具体包括：

数据加载判断单元，用于设定一备份周期，判断各所述缓存层级中存储的数据是否加载成功，若是，则进入队列加载单元；若否，则进入实时存储模块；

队列加载单元，用于获取上一次备份时间，判断当前时间减上一次备份时间是否等于备份周期，若是，则将待存储至数据库中的数据添加至队列中，并进入数据存储单元；若否，则进入数据加载判断单元；

数据存储单元，用于创建一数据写入规则，基于所述数据写入规则从队列的头部，依次将数据以快照的方式写入二进制文件中，并将所述二进制文件存储至数据库中；

队列更新单元，用于将存储至数据库中的数据从队列中删除。

为了保证数据能100％存入数据库，并且每次数据记录的时间点准确，因此采用队列的方式，把数据库操作与数据记录分开，即实现数据->内存->硬盘的过程仅占用少量的内存，但是缓存的数据更加准确、稳定。

所述数据存储单元中，所述数据写入规则具体为：

设定一数据写入周期以及一数据写入数量，当且仅当所述数据写入周期内队列的数据的数量大于等于数据写入数量，才将数据以快照的方式写入二进制文件中。例如在每60s有100个数据更新时，才发起快照保存。

所述数据管理及补偿模块具体为：

判断数据库中数据存储的时间是否超过所述缓存周期，若超过，则删除对应的数据；若未超过，则继续存储；

当云端数据丢失时，利用异步消息从数据库中索引对应的数据，并将索引到的数据上传至云端。当数据出现丢失的情况下，云端的数据补偿通道开启，向下级节点发出补偿指令，下级节点按照数据来源路径向下进行索引，找到数据所在节点，并将丢失的数据重新上传；数据补偿过程中利用缓存机制及树状索引机制，极大的提高了索引效率及数据补偿能力。

综上所述，本发明的优点在于：

1、通过基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级，即相同数据采集周期的数据被划分到同一缓存层级进行缓存，能够对时间要求相同的数据进行统一打包、统一上传，减少了对不同数据采集周期的数据赛选的时间消耗，避免数据堵塞在云端的数据接口处，进而极大的降低了云端网络带宽的压力，极大的提升了数据传输的效率，也便于数据的统一计算和处理。

2、通过设置缓存层级的缓存模式包括实时存储模式以及持久化存储模式，且数据存储时结合了两种存储模式，当云端的数据丢失时，能够利用持久化存储模式存储的数据进行数据补偿，进而极大的提升了数据传输的可靠性。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (8)

1.一种基于多级缓存的数据处理方法，其特征在于：包括如下步骤：

步骤S10、基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级；

步骤S20、设置各所述缓存层级的缓存模式、缓存周期以及通信配置；所述缓存模式包括实时存储模式以及持久化存储模式；

步骤S30、将采集的数据基于所述缓存周期以及通信配置，以所述实时存储模式存储至对应的缓存层级中；

步骤S40、设定一备份周期，基于所述备份周期以及持久化存储模式将各缓存层级中存储的数据，以队列的形似存储至数据库中；

步骤S50、基于所述缓存周期对数据库中存储的数据进行管理，并基于数据库中存储的数据对丢失的数据进行数据补偿；

所述步骤S40具体包括：

步骤S41、设定一备份周期，判断各所述缓存层级中存储的数据是否加载成功，若是，则进入步骤S42；若否，则进入步骤S30；

步骤S42、获取上一次备份时间，判断当前时间减上一次备份时间是否等于备份周期，若是，则将待存储至数据库中的数据添加至队列中，并进入步骤S43；若否，则进入步骤S41；

步骤S43、创建一数据写入规则，基于所述数据写入规则从队列的头部，依次将数据以快照的方式写入二进制文件中，并将所述二进制文件存储至数据库中；

步骤S44、将存储至数据库中的数据从队列中删除。

2.如权利要求1所述的一种基于多级缓存的数据处理方法，其特征在于：所述步骤S20中，所述通信配置包括接收数据类型、传输数据类型、数据传输频率、数据点标签、数据点地址以及数据点的数据采集周期。

3.如权利要求1所述的一种基于多级缓存的数据处理方法，其特征在于：所述步骤S43中，所述数据写入规则具体为：

设定一数据写入周期以及一数据写入数量，当且仅当所述数据写入周期内队列的数据的数量大于等于数据写入数量，才将数据以快照的方式写入二进制文件中。

4.如权利要求1所述的一种基于多级缓存的数据处理方法，其特征在于：所述步骤S50具体为：

判断数据库中数据存储的时间是否超过所述缓存周期，若超过，则删除对应的数据；若未超过，则继续存储；

当云端数据丢失时，利用异步消息从数据库中索引对应的数据，并将索引到的数据上传至云端。

5.一种基于多级缓存的数据处理系统，其特征在于：包括如下模块：

缓存层级设定模块，用于基于各网络边缘设备的数据采集周期，将数据的缓存区划分为若干个缓存层级；

参数设置模块，用于设置各所述缓存层级的缓存模式、缓存周期以及通信配置；所述缓存模式包括实时存储模式以及持久化存储模式；

实时存储模块，用于将采集的数据基于所述缓存周期以及通信配置，以所述实时存储模式存储至对应的缓存层级中；

持久化存储模块，用于设定一备份周期，基于所述备份周期以及持久化存储模式将各缓存层级中存储的数据，以队列的形似存储至数据库中；

数据管理及补偿模块，用于基于所述缓存周期对数据库中存储的数据进行管理，并基于数据库中存储的数据对丢失的数据进行数据补偿；

所述持久化存储模块具体包括：

数据加载判断单元，用于设定一备份周期，判断各所述缓存层级中存储的数据是否加载成功，若是，则进入队列加载单元；若否，则进入实时存储模块；

队列加载单元，用于获取上一次备份时间，判断当前时间减上一次备份时间是否等于备份周期，若是，则将待存储至数据库中的数据添加至队列中，并进入数据存储单元；若否，则进入数据加载判断单元；

数据存储单元，用于创建一数据写入规则，基于所述数据写入规则从队列的头部，依次将数据以快照的方式写入二进制文件中，并将所述二进制文件存储至数据库中；

队列更新单元，用于将存储至数据库中的数据从队列中删除。

6.如权利要求5所述的一种基于多级缓存的数据处理系统，其特征在于：所述参数设置模块中，所述通信配置包括接收数据类型、传输数据类型、数据传输频率、数据点标签、数据点地址以及数据点的数据采集周期。

7.如权利要求5所述的一种基于多级缓存的数据处理系统，其特征在于：所述数据存储单元中，所述数据写入规则具体为：

设定一数据写入周期以及一数据写入数量，当且仅当所述数据写入周期内队列的数据的数量大于等于数据写入数量，才将数据以快照的方式写入二进制文件中。

8.如权利要求5所述的一种基于多级缓存的数据处理系统，其特征在于：所述数据管理及补偿模块具体为：

判断数据库中数据存储的时间是否超过所述缓存周期，若超过，则删除对应的数据；若未超过，则继续存储；

当云端数据丢失时，利用异步消息从数据库中索引对应的数据，并将索引到的数据上传至云端。

Images