CN109413166B - 一种工业网关及其数据管理方法 - Google Patents
一种工业网关及其数据管理方法 Download PDFInfo
- Publication number
- CN109413166B CN109413166B CN201811180709.9A CN201811180709A CN109413166B CN 109413166 B CN109413166 B CN 109413166B CN 201811180709 A CN201811180709 A CN 201811180709A CN 109413166 B CN109413166 B CN 109413166B
- Authority
- CN
- China
- Prior art keywords
- data
- reporting
- storage unit
- writing mode
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
- H04L49/9063—Intermediate storage in different physical parts of a node or terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种工业网关数据管理方法,包括获取工业网关数据存储单元剩余容量,当剩余容量小于第一阈值时,删除所述数据存储单元中的已上报数据并只保留未上报或者上报失败数据;再次检测所述数据存储单元剩余容量,当所述剩余容量大于第一阈值时保持数据写入模式为第一写入模式,否则根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式,本发明同时还公开了一种工业网关,通过检测剩余容量,根据剩余容量的不同状态动态切换数据存储和上报模式的方式,既最大程度的保证数据的完整性,又保证有限的网关存储空间的最优使用,有利保证网关服务的稳定运行,减少网关硬件成本投入。
Description
技术领域
本发明涉及工业数据采集领域,尤其涉及一种工业网关及其数据管理方法。
背景技术
网关的作用是连接两个或多个异构的网络,使之能够相互通信。工业网关将异构传感网络融入工业互联网,在工业现场的多种总线协议与要求的通信协议之间进行协议转换,实现不同协议之间的数据交互。但工业网关与普通互联网网关设备的工作环境不同,工业网关还须针对苛刻的工业应用环境。
在工业网关的架构中,由采集服务进行数据采集,通过数据层进行数据处理,然后通过上报层将数据发送到云端业务层。但在实际运行环境下,由于网络原因或者某些服务异常等情况,都会导致采集的数据无法上报到云端。在现有技术中,传统数据采集网关往往不进行数据的存储,将会导致异常数据丢失,无法为后续故障的检测提供数据支撑。而另一些工业网关则通过存储所有的数据,防止数据丢失,但此类工业网关通过对所有数据进行存储又带来大量数据积压在网关内部,导致存储空间被写满,新采集的数据无法写入的问题,从而引起网关性能下降甚至宕机,严重影响相关生产作业。
发明内容
本发明针对现有技术中的不足,提供了一种工业网关数据管理方法,具体包括:
获取工业网关数据存储单元剩余容量,当剩余容量小于第一阈值时,删除所述数据存储单元中的已上报数据并只保留未上报或者上报失败数据;
再次检测所述数据存储单元剩余容量,当所述剩余容量大于第一阈值时保持数据写入模式为第一写入模式,否则根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式。
优选的,所述工业网关数据管理方法还包括当所述剩余容量小于第一阈值且大于第二阈值时,将数据写入模式切换为第二写入模式,所述第二阈值小于第一阈值;
将实时采集的工业设备数据进行上报并提取上报失败数据,对所述上报失败数据进行标记后存储至所述数据存储单元;
对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据。
优选的,所述将实时采集的工业设备数据进行上报并提取上报失败数据,包括:将采集的工业设备数据转换为带有采集时间和上报状态字段的数据格式。
优选的,所述工业网关数据管理方法还包括当所述剩余容量小于第三阈值时,按预设规则对数据存储单元中的上传失败数据进行排序并删除占第一比例的在先数据,所述第三阈值位于第一阈值和第二阈值之间。
优选的,所述按预设规则对数据存储单元中的上传失败数据进行排序并删除占第一比例的在先数据,具体包括:根据上传失败数据中的采集时间字段,对占所述数据存储单元数据容量中第一比例的的采集时间在前的上传失败数据进行删除。
优选的,所述工业网关数据管理方法还包括:
当所述剩余容量小于第四阈值时,将数据写入模式切换为第三写入模式,所述第四阈值小于第一阈值;
对实时采集的工业设备数据进行上报,且不提取和存储上报失败数据;
对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据,同时也不存储补报失败数据。
本发明还公开了另一种工业网关数据管理方法,包括如下步骤:
根据接收的写入模式切换指令,比较当前写入模式与切换后的后续写入模式的存储数据完整性级别,当后续写入模式的存储数据完整性级别高于当前写入模式时,将写入模式切换为后续写入模式;
当后续写入模式的存储数据完整性级别低于当前写入模式时,检测所述工业网关数据存储单元是否存在已上报的数据,如否则进行切换,否则所述数据存储单元导出并删除已上报数据且只保留未上报和/或上报失败数据后,将写入模式切换为后续写入模式。
本发明还公开了一种工业网关,包括:存储模块,用于存储未上报的工业设备数据和/或上报失败数据;数据处理模块,用于获取存储模块中的剩余容量,当剩余容量小于第一阈值时,删除所述存储模块中的已上报数据并只保留未上报或者上报失败数据,并再次检测所述存储模块中的剩余容量,当所述剩余容量高于第一阈值时保持存储模块的数据写入模式为第一写入模式,否则根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式。
本发明还公开了另一种工业网关,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其中所述处理器执行所述计算机程序时实现上述任一所述工业网关数据管理方法的步骤。
本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现上述任一所述工业网关数据管理方法的步骤。
本发明通过针对工业网关数据存储单元剩余容量的不同范围对应预设了多组数据写入模式,根据所述剩余容量范围选取对应数据写入模式,并将数据写入模式由原先的第一写入模式即完全写入模式切换为于当前存储空间剩余容量对应的写入模式。通过检测根据工业网关的剩余容量,根据剩余容量的不同状态动态切换数据存储和上报模式的方式,既最大程度的保证数据的完整性,又保证有限的网关存储空间的最优使用,防止大量数据积压在网关内部导致存储空间被写满使得新采集的数据无法写入,从而引起网关性能下降甚至宕机的情况,有利保证网关服务的稳定运行,减少网关硬件成本投入
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明一实施例公开的工业网关数据管理方法的流程示意图。
图2为本发明一实施例公开的完全写入模式的示意图。
图3为本发明一实施例公开的步骤S102中的流程示意图。
图4为本发明一实施例公开的失败写入模式的示意图。
图5为本发明一实施例公开的步骤S102中的另流程示意图。
图6为本发明一实施例公开的不写入模式的示意图。
图7为本发明一实施例公开的工业网关数据管理方法的另一流程示意图。
图8为本发明一实施例公开的工业网关数据管理方法的另一具体流程示意图。
图9为本发明一实施例公开的一种工业网关的结构示意图。
图10为本发明一实施例公开的一种工业网关的另一结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“一个”或者“一”等类似词语也不表示数量限制,而是表示存在至少一个。
在工业网关的架构中,由采集服务进行数据采集,通过数据层进行数据处理,然后通过上报层将数据发送到云端业务层。在实际运行环境下,由于网络原因或者某些服务异常等情况,都会导致采集的数据无法上报到云端。而现有技术中,一些数据采集网关不进行数据的存储,经常导致异常数据丢失。而另一些工业网关通过存储所有的数据用于防止数据丢失,但又导致大量数据积压在网关内部,导致存储空间被写满,新采集的数据无法写入,从而引起网关性能下降,甚至宕机。
附图1为本发明公开的一种工业网关数据管理方法的一实施例流程图,通过采用动态切换数据存储和上报模式的方式,既保证数据的完整性,又保证工业网关存储空间的最优使用,其具体方法具体如下:
S101,获取工业网关数据存储单元剩余容量,当剩余容量小于第一阈值时,删除所述数据存储单元中的已上报数据并只保留未上报或者上报失败数据。
工业网关内部控制器通过定时任务,调用操作系统函数,读取数据储存单元的剩余容量大小,其中本实施例中所述第一阈值可以是数据存储单元全部容量的50%,当然也可以根据需求选择其它值,当剩余容量小于50%时,控制器向数据储存单元发送删除存储的已上报数据的指令,数据储存单元收到指令后可将内部数据库中已上报的数据导出并压缩至zip格式的备份文件中,之后删除其数据库中已上报的数据,使得数据库中只留下上报失败的数据,而后通过人为因素释放或导出备份文件后,即可增加数据储存单元的剩余容量。
S102,再次检测所述数据存储单元剩余容量,当所述剩余容量高于第一阈值时保持数据写入模式为第一写入模式,否则根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式。
在释放已上报数据所占容量后,工业网关内部控制器再次调用操作系统函数,读取数据储存单元的最新剩余容量,当所述剩余容量高于第一阈值即剩余容量已大于50%时,表明数据储存单元已经容量充裕,无需再切换数据写入模式,即保持数据写入模式为第一写入模式不变。
其中,本实施例中所述的第一写入模式为完全写入模式,所述完全写入模式为控制器将采集的所有数据写入数据储存模块的数据库中,如附图2所示,完全写入模式具体工作模式如下:
控制器的采集层13实时将采集的各工业设备的数据上报到控制器数据层12。
数据层12将所有数据写入数据储存模块的数据库11,写入的数据状态是未上报,然后将数据发送到控制器上报层14。具体的,数据格式带有采集时间和上报状态的字段。此时上报状态是0,代表该数据需要上报。
上报层14上报数据,并在数据库11标记已成功的数据。具体的,上报成功的数据,将其的上报状态标记为1,代表已上报
数据层12定时获取上报失败的数据,发送至上报层12进行补报,定时重复前述步骤,直到补报完毕。具体的,可检索获取上报状态为0的所有历史失败数据进行补报。
此类的完全写入模式可以保证采集的工业数据最大程度的完整保存,防止工业网关工作出现异常时导致异常数据的丢失,但是该完全写入模式将导致大量数据积压在网关内部,损耗大量存储空间。
因此,在当所述剩余容量低于第一阈值即剩余容量已小于50%时,说明即使已释放了数据库中已上报数据所占容量,但所述数据储存单元的剩余容量仍不充足,需要切换数据写入模式才能降低剩余容量的快速损耗。在本实施例中,所述工业网关针对剩余容量的不同范围对应预设了多组数据写入模式,控制器可根据所述剩余容量范围选取对应数据写入模式,并将数据写入模式由原先的第一写入模式即完全写入模式切换为于当前存储空间剩余容量对应的写入模式。
本实施例通过检测根据工业网关的剩余容量,根据剩余容量的不同状态动态切换数据存储和上报模式的方式,既最大程度的保证数据的完整性,又保证有限的网关存储空间的最优使用,防止大量数据积压在网关内部导致存储空间被写满,新采集的数据无法写入,从而引起网关性能下降甚至宕机的情况,有利保证网关服务的稳定运行,减少网关硬件成本投入。
在一些实施例中,如附图3所示,在前述实施例中的步骤S102中的根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式,还可具体包括:
S1021,当所述剩余容量小于第一阈值且大于第二阈值时,将数据写入模式切换为第二写入模式,所述第二阈值小于第一阈值。
其中本实施例中所述第一阈值可以是数据存储单元全部容量的50%,第二阈值是数据存储单元全部容量的10%,当然也可以根据需求选择其它值。当剩余容量小于50%时,控制器向数据储存单元发送删除存储的已上报数据的指令,数据储存单元收到指令后可将内部数据库中已上报的数据导出并压缩至zip格式的备份文件中,之后删除其数据库中已上报的数据,使得数据库中只留下上报失败的数据,而后通过人为因素释放或导出备份文件后,即可增加数据储存单元的剩余容量。再次检测所述剩余容量,当所述剩余容量位于10%~50%间切换写入模式,并将数据写入模式由第一写入模式切换为第二写入模式。
S1022,将实时采集的工业设备数据进行上报并提取上报失败数据,对所述上报失败数据进行标记后存储至所述数据存储单元。
其中,所示实时采集的工业设备数据进行上报时需将数据进行处理,包括将采集的工业设备数据转换为带有采集时间和上报状态字段的数据格式,此时上报状态是0,代表该数据需要上报,并写入数据存储单元的数据库。
S1023,对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据。
具体的,控制器可每隔30分钟,从数据库中获取上报状态为0的所有历史失败数据进行批量补报,并将补报成功的数据提取出来导出删除。
其中,本实施例中所述的第二写入模式可以称为失败写入模式,所述失败写入模式为控制器只将上报失败数据写入的数据储存模块的数据库中,如附图4所示,失败写入模式具体工作模式如下:
控制器的采集层13实时将采集的各工业设备的数据上报到控制器数据层12。
数据层12将实时数据发送到控制器上报层14。上报层14上报数据,并只对上报失败的数据进行写入数据库。
数据层12定时获取上报失败的数据,发送至上报层12进行补报,定时重复前述步骤,直到补报完毕。
本实施例通过在数据存储单元存储空间不太充裕,剩余容量已下降到一半以下时,工业网关控制器只针对上报失败的数据进行写入数据库,有效的节约了存储空间。在补报成功后,会进一步删除数据库中成功的补报数据,有效的回收资源,提高网关中数据库的利用效率。
在另一些实施例中,所述的工业网关数据管理方法还包括了以下步骤,当所述剩余容量小于第三阈值时,按预设规则对数据存储单元中的上传失败数据进行排序并删除占第一比例的在先数据,所述第三阈值位于第一阈值和第二阈值之间。
其中具体的,所述的预设规则可以是根据上传失败数据中的采集时间字段,对占所述数据存储单元数据容量中第一比例的采集时间在前的上传失败数据进行删除。本实施例中,所述的第三阈值可以选择是数据存储单元全部容量的25%,第一比例可以选用5%,即当所述剩余容量小于25%时,控制器向数据库发送指令,数据库对数据库内的上传失败数据按采集时间的先后顺序,删除5%的采集时间在先的旧数据,以释放存储空间。
通过在数据存储单元存储空间极其紧缺,剩余容量已下降到四分之三以下时,工业网关筛选数据库中相对陈旧的上传失败数据,对其进行删除,从而给新的失败数据预留空间。保持最新数据持续可写入状态,减少网关因数据写入问题造成的宕机等事故。
在另一些实施例中,为方便起见,上述当所述剩余容量小于25%选用的将一定比例旧的未上报的数据进行删除从而为写入新的失败数据腾出容量空间的方式称为循环写入模式,用于保持最新数据持续可写入状态,减少网关因数据写入问题造成的宕机等事故。
在另一些实施例中,如附图5所示,在前述实施例中的步骤S102中的根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式,还可具体包括:
S1031,当所述剩余容量小于第四阈值时,将数据写入模式切换为第三写入模式,所述第四阈值小于第一阈值。
其中本实施例中所述第一阈值可以是数据存储单元全部容量的50%,第四阈值是数据存储单元全部容量的10%,当然也可以根据需求选择其它值。当所述剩余容量小于10%时切换写入模式,将数据写入模式由第一写入模式切换为第三写入模式。或者当剩余容量小于10%时,控制器也可先向数据储存单元发送删除存储的已上报数据的指令,数据储存单元收到指令后可将内部数据库中已上报的数据导出并压缩至zip格式的备份文件中,之后删除其数据库中已上报的数据,使得数据库中只留下上报失败的数据,而后通过人为因素释放或导出备份文件后,即可增加数据储存单元的剩余容量。再次检测所述剩余容量,当所述剩余容量仍小于10%时切换写入模式,并将数据写入模式由第一写入模式切换为第三写入模式。
S1032,对实时采集的工业设备数据进行上报,且不提取和存储上报失败数据。
S1033,对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据,同时也不存储补报失败数据。
具体的,控制器可每隔30分钟,从数据库中获取上报状态为0的所有历史失败数据进行批量补报,并将补报成功的数据提取出来导出删除。在另一些实施例中,也可对补报再次失败的数据从数据库中提取出来导出删除。
其中,本实施例中所述的第三写入模式可以称为不写入模式,所述不写入模式为控制器均不写入数据到数据库中,只负责从数据库中读取需补报的数据,如附图6所示,不写入模式具体工作模式如下:
控制器的采集层13实时将采集的各工业设备的数据上报到控制器数据层12。
数据层12将实时数据发送到控制器上报层14。上报层14上报数据,对上报失败的数据不写入数据库。
数据层12定时获取上报失败的数据,发送至上报层12进行补报,上报层对补报成功的数据进行删除,补报仍旧失败的不进行更改,定时重复前述步骤,直到补报完毕。
本实施例通过在数据存储单元存储空间已经趋于饱和时,在数据无存储价值,或者数据写入已经存在严重问题,影响到其他服务性能时,通过将数据写入模式切换到不写入模式,完全绕开数据库的操作,做到数据直接上报,从而停止数据库读写问题带来的危害。防止因存储空间被写满,新采集的数据无法写入,引起工业网关宕机的问题。
附图7为公开的一种工业网关数据管理方法的另一实施例流程图,该实施例中工业网关通过接收外部指令来切换数据存储和上报模式,其具体步骤包括:
S201,根据接收的写入模式切换指令,比较当前写入模式与切换后的后续写入模式的存储数据完整性级别。
工业网关控制器接收云端或其它服务器或管理终端发送的输入模式切换指令,控制器比较当前写入模式与切换后的后续写入模式的存储数据完整性级别,判断存储数据完整性是否提高。所述数据完整性级别的高低以数据储存单元数据库记录的数据的完整性程度高低为依据,记录的已上报和未上报或上报失败数据的越完整,其对应的存储数据完整性级别越高。以前述各实施例描述各类数据写入模式为例,来举例说明下存储数据完整性级别的对比判断,其中“完全写入模式”完整性最高,因为其数据库记录所有数据;“失败写入模式”完整性级别其次,数据库记录未上报或者上报失败的数据;“循环写入模式”完整性级别更低,数据库记录未上报或者上报失败的数据,并且循环写入状态下,空间不足将会按时间自然顺序,删除5%旧数据;“不写入模式”完整性级别最低,因其上报的数据不管成功和失败,都不写入数据库。
S202,当后续写入模式的存储数据完整性级别高于当前写入模式时,将写入模式切换为后续写入模式。即如果写入模式的完整性提高,则进入低完整性模式向高完整性模式切换的切换,不需要做兼容处理。
S203,当后续写入模式的存储数据完整性级别低于当前写入模式时,检测所述工业网关数据存储单元是否存在已上报的数据,如否则进行切换。即如果存储数据完整性降低,则进入高完整性模式向低完整性模式切换的流程。控制器检测数据储存单元数据库中是否还有已上报的数据,如果数据库没有已上报的数据,则可直接将写入模式切换为后续写入模式。
S204,如果工业网关数据存储单元存在已上报的数据,则所述数据存储单元导出并删除已上报数据且只保留未上报和/或上报失败数据后,将写入模式切换为后续写入模式。即控制器向数据库发出指令导出并删除已上报数据,使得数据库只剩未上报或者上报失败的数据,再将写入模式切换为后续写入模式。
其中,在另一些实施例中,还包括步骤工业网关控制器关闭“模式智能切换”功能,关闭后稳定性将不由程序保障,需要人工监控。即工业网关控制器不再像前述各实施例那样通过定时任务,调用操作系统函数,读取数据储存单元的剩余容量大小,并根据所述剩余容量范围选取切换对应数据写入模式,而是通过接收外部指令来进行数据写入模式的切换。
本实施例通过外部指令控制工业网关切换相应的数据数据写入模式,而工业网关在比较相关切换前后的数据写入模式的存储数据完整性级别后,再进行相应切换,通过这种灵活快速的模式切换方式,既最大程度的保证数据的完整性,又保证有限的网关存储空间的最优使用。通过外部指令控制可更灵活的适应各类使用环境,防止突然剧增的数据储存需求导致的前述各实施例中的自动模式切换功能无法快速响应和迅速降低存储空间的占用量,而导致存储空间被写满从而引起网关性能下降甚至宕机的情况,使得工业网关能适应各类极端的数据存储环境,有利保证网关服务的运行稳定性和可靠性。
附图8为工业网关数据管理方法的一个具体实施方式,包括如下步骤:
步骤S301,通过定时任务,工业网关控制器调用操作系统函数,读取剩余容量大小。
步骤S304,判断剩余容量大小,如果剩余空间大于50%,则按照“完全写入模式”进行存储和上报,并跳转到步骤S308。
步骤S302,判断剩余容量大小,如果剩余空间不足50%,则将已上报的数据导出并压缩至zip格式的文件中,之后删除数据库中已上报的数据。数据存储单元数据库中只留下上报失败的数据。当人为因素释放或导出备份文件后,即可增加剩余容量。
步骤S303,再次调用系统函数,查询最新的剩余容量。
步骤S304,判断剩余容量大小,如果剩余空间在50%~100%之间,切换至“完全写入模式”。
步骤S305,如果剩余容量在25%~50%间,切换至“失败写入模式”。
步骤S306,如果剩余容量在10%~25%间,切换至“循环写入模式”,并触发空间不足的警告。
步骤S307,如果剩余容量在0%~10%间,切换至“不写入模式”,保证程序继续运行,不因数据读写问题而宕机,并触发空间不足的警告。
步骤S308,定时任务执行完成,等待10分钟,执行下次一任务。重复步骤S301~步骤S307。
上述各步骤其它详细内容可参考前述各实施例,再次不再重复论述。
附图9为一种工业网关的示意图。该实施例的工业网关包括存储模块22和数据处理模块21,其中所述存储模块22,用于存储未上报的工业设备数据和/或上报失败数据。所述数据处理模块21,用于获取存储模块中的剩余容量,当剩余容量小于第一阈值时,删除所述存储模块中的已上报数据并只保留未上报或者上报失败数据,并再次检测所述存储模块中的剩余容量,当所述剩余容量高于第一阈值时保持存储模块的数据写入模式为第一写入模式,否则根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式
需要说明的是,本说明书中前述各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的上述工业网关而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
附图10为一种工业网关的示意图。该实施例的工业网关包括存储器32、处理器31以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如工业网关数据管理程序。所述处理器执行所述计算机程序时实现上述各个工业网关数据管理方法实施例中的步骤。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述工业网关中的执行过程。例如,所述计算机程序可以被分割成存储模块和数据处理模块,各模块具体功能如下:所述存储模块,用于存储未上报的工业设备数据和/或上报失败数据。所述数据处理模块,用于获取存储模块中的剩余容量,当剩余容量小于第一阈值时,删除所述存储模块中的已上报数据并只保留未上报或者上报失败数据,并再次检测所述存储模块中的剩余容量,当所述剩余容量高于第一阈值时保持存储模块的数据写入模式为第一写入模式,否则根据所述剩余容量范围选取对应写入模式,并将数据写入模式由第一写入模式切换为所选写入模式。
所述工业网关可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述示意图仅仅是工业网关的示例,并不构成对工业网关设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述工业网关设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述工业网关设备的控制中心,利用各种接口和线路连接整个工业网关设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述工业网关设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述工业网关数据管理方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
总之,以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所作的均等变化与修饰,皆应属本发明专利的涵盖范围。
Claims (8)
1.一种工业网关数据管理方法,其特征在于,包括:
根据接收的写入模式切换指令,比较当前写入模式与切换后的后续写入模式的存储数据完整性级别,判断存储数据完整性是否提高,当后续写入模式的存储数据完整性级别高于当前写入模式时,将写入模式切换为后续写入模式,所述数据完整性级别的高低以数据储存单元数据库记录的数据的完整性程度高低为依据,记录的已上报和未上报或上报失败数据的越完整其对应的存储数据完整性级别越高;
当后续写入模式的存储数据完整性级别低于当前写入模式时,检测所述工业网关数据存储单元是否存在已上报的数据,如否则进行切换,否则所述数据存储单元导出并删除已上报数据且只保留未上报和/或上报失败数据后,将写入模式切换为后续写入模式;
在工业网关数据存储单元剩余容量小于第一阈值时,删除所述数据存储单元中的已上报数据并只保留未上报或者上报失败数据,并再次检测所述数据存储单元剩余容量,当所述剩余容量大于第一阈值时不切换数据写入模式,否则自动根据剩余容量范围选取对应写入模式;
其中所述写入模式包括第一写入模式、第二写入模式、循环写入模式和第三写入模式,其中第一写入模式被配置为控制器将采集的所有数据写入数据储存模块的数据库中;所述第二写入模式被配置为将实时采集的工业设备数据进行上报并提取上报失败数据,并对所述上报失败数据进行标记后存储至所述数据存储单元,对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据;所述循环写入模式被配置为按预设规则对数据存储单元中的上传失败数据进行排序并删除占第一比例的在先数据;所述第三写入模式被配置为控制器均不写入数据到数据库中并只从数据库中读取需补报的数据,对实时采集的工业设备数据进行上报,且不提取和存储上报失败数据,对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据且不存储补报失败数据。
2.根据权利要求1所述的工业网关数据管理方法,其特征在于:
当所述剩余容量小于第一阈值且大于第二阈值时,将数据写入模式切换为第二写入模式,所述第二阈值小于第一阈值;
将实时采集的工业设备数据进行上报并提取上报失败数据,对所述上报失败数据进行标记后存储至所述数据存储单元;
对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据。
3.根据权利要求2所述的工业网关数据管理方法,其特征在于,所述将实时采集的工业设备数据进行上报并提取上报失败数据,包括:
将采集的工业设备数据转换为带有采集时间和上报状态字段的数据格式。
4.根据权利要求3所述的工业网关数据管理方法,其特征在于:
当所述剩余容量小于第二阈值大于第三阈值时,按预设规则对数据存储单元中的上传失败数据进行排序并删除占第一比例的在先数据,所述第三阈值位于第一阈值和第二阈值之间。
5.根据权利要求4所述的工业网关数据管理方法,其特征在于,所述按预设规则对数据存储单元中的上传失败数据进行排序并删除占第一比例的在先数据,具体包括:
根据上传失败数据中的采集时间字段,对占所述数据存储单元数据容量中第一比例的采集时间在前的上传失败数据进行删除。
6.根据权利要求1-5任一所述的工业网关数据管理方法,其特征在于:
当所述剩余容量小于第三阈值时,将数据写入模式切换为第三写入模式,所述第三阈值小于第二阈值;
对实时采集的工业设备数据进行上报,且不提取和存储上报失败数据;
对所述数据存储单元中的上报失败数据进行补报并删除补报成功数据,同时也不存储补报失败数据。
7.一种工业网关,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求1-6任一所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-6任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811180709.9A CN109413166B (zh) | 2018-10-09 | 2018-10-09 | 一种工业网关及其数据管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811180709.9A CN109413166B (zh) | 2018-10-09 | 2018-10-09 | 一种工业网关及其数据管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109413166A CN109413166A (zh) | 2019-03-01 |
CN109413166B true CN109413166B (zh) | 2021-07-27 |
Family
ID=65467571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811180709.9A Active CN109413166B (zh) | 2018-10-09 | 2018-10-09 | 一种工业网关及其数据管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109413166B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949558B (zh) * | 2019-05-16 | 2023-11-21 | 兆易创新科技集团股份有限公司 | 一种垃圾数据回收方法、装置和存储设备 |
CN112527809B (zh) * | 2020-12-10 | 2023-10-27 | 盛立安元科技(杭州)股份有限公司 | 一种数据库数据写入方法、装置、设备及存储介质 |
CN114205259B (zh) * | 2021-12-07 | 2024-06-07 | 施耐德电气(中国)有限公司 | 一种网关上数异常诊断方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794646A (zh) * | 2005-04-27 | 2006-06-28 | 华为技术有限公司 | 一种网络管理服务器从网元设备获取日志信息的方法 |
US7730260B2 (en) * | 2007-04-20 | 2010-06-01 | International Business Machines Corporation | Delete recycling of holographic data storage |
CN103685061A (zh) * | 2013-11-29 | 2014-03-26 | 华为技术有限公司 | 缓存数据控制方法和装置 |
CN105446893A (zh) * | 2014-07-14 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 数据存储方法及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273754A (zh) * | 2016-04-08 | 2017-10-20 | 中兴通讯股份有限公司 | 一种数据访问控制方法和装置 |
-
2018
- 2018-10-09 CN CN201811180709.9A patent/CN109413166B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1794646A (zh) * | 2005-04-27 | 2006-06-28 | 华为技术有限公司 | 一种网络管理服务器从网元设备获取日志信息的方法 |
US7730260B2 (en) * | 2007-04-20 | 2010-06-01 | International Business Machines Corporation | Delete recycling of holographic data storage |
CN103685061A (zh) * | 2013-11-29 | 2014-03-26 | 华为技术有限公司 | 缓存数据控制方法和装置 |
CN105446893A (zh) * | 2014-07-14 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 数据存储方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109413166A (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109413166B (zh) | 一种工业网关及其数据管理方法 | |
WO2019227689A1 (zh) | 数据监控方法、装置、计算机设备及存储介质 | |
CN107656807B (zh) | 一种虚拟资源的自动弹性伸缩方法及装置 | |
CN111061752B (zh) | 数据处理方法、装置及电子设备 | |
CN113495903B (zh) | 电力时序数据库缓存方法、系统、设备及可读存储介质 | |
CN110009347B (zh) | 一种区块链交易信息审计的方法及装置 | |
CN106549807A (zh) | 一种日志的分类上报方法及系统 | |
CN111427743A (zh) | 一种bmc监控日志处理方法、装置、设备和介质 | |
CN112988679A (zh) | 日志采集控制方法、装置、存储介质及服务器 | |
CN112527746A (zh) | 日志存储方法、装置、设备及存储介质 | |
CN116225609A (zh) | Kubernetes集群的Pod调度方法、装置、设备及计算机可读介质 | |
CN109918221B (zh) | 一种硬盘报错解析方法、系统、终端及存储介质 | |
CN108509322A (zh) | 避免过度回访的方法、电子装置及计算机可读存储介质 | |
CN111008107A (zh) | 一种大数据集群日志存储方法、装置、设备及存储介质 | |
CN110781166A (zh) | 存储系统中数据管理方法和装置 | |
CN109308245A (zh) | 一种服务器资源预警方法、装置、设备及可读存储介质 | |
CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
CN115499514A (zh) | 数据存储服务的访问方法、计算设备及计算机存储介质 | |
CN114978885A (zh) | 一种日志管理方法、装置、计算机设备及系统 | |
CN111885159B (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN109787225B (zh) | 一种配网模型导出方法及装置、设备、存储介质 | |
CN114253479A (zh) | 一种can总线入侵检测方法及系统 | |
CN113656358A (zh) | 一种数据库日志文件处理方法及系统 | |
CN113051143A (zh) | 服务负载均衡服务器的探测方法、装置、设备和存储介质 | |
CN114546268B (zh) | 一种大数据场景下的数据信息存储系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 310056 room 1701, 17th floor, building 3, No. 316, Jianghong South Road, Changhe street, Binjiang District, Hangzhou, Zhejiang Patentee after: Mingdu Zhiyun (Zhejiang) Technology Co.,Ltd. Address before: 310000 1, 3 building, No. 316 Jianghong Road, Changhe street, Binjiang District, Hangzhou, Zhejiang. Patentee before: ZHEJIANG MINGDU INTELLIGENT CONTROL TECHNOLOGY Co.,Ltd. |