CN114003379A - 一种提升物联网数据采集连续性的方法与装置 - Google Patents
一种提升物联网数据采集连续性的方法与装置 Download PDFInfo
- Publication number
- CN114003379A CN114003379A CN202111260098.0A CN202111260098A CN114003379A CN 114003379 A CN114003379 A CN 114003379A CN 202111260098 A CN202111260098 A CN 202111260098A CN 114003379 A CN114003379 A CN 114003379A
- Authority
- CN
- China
- Prior art keywords
- data
- internet
- things
- stored
- cloud platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明实施例公开了一种提升物联网数据采集连续性的方法与装置。该方法包括:实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在本地磁盘上;在网络中断的过程中,每采集到一条新设备数据时,首先判断新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则存储在本地磁盘上,若否,则再判断新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则存储在本地磁盘上,若否,则不对新设备数据进行存储;当网络连接恢复后,将本地磁盘上存储的设备数据续传到物联网云平台,从而保证了物联网云平台数据采集的连续性、全面性和准确性。
Description
技术领域
本发明实施例涉及物联网技术领域,尤其涉及一种提升物联网数据采集连续性的方法与装置。
背景技术
物联网的数据是时序的和结构化的,如在建筑物联网领域中,一般建筑内都有供配电、给排水、中央空调、通排风、电梯、消防等各种系统同时在运行,来保证人类在建筑内的正常活动。基于建筑的智能物联网,需要24小时实时在线监测每个系统里各种设备的运行情况,实时采集这些设施设备的参数,然后将数据传输到物联网云平台。
但是在现实中,很多系统的设施设备都是安装在建筑的地下室里,大部分没有设置光纤网络,而是在边缘网关设备采集了设施设备的数据后,通过蜂窝网络来进行传输。而在地下室会存在信号不稳定的情况,容易造成边缘网关网络波动,无法与物联网云平台通讯,从而影响了物联网云平台数据采集的连续性、全面性和准确性。
发明内容
本发明实施例提供一种提升物联网数据采集连续性的方法与装置,以提高物联网云平台数据采集的连续性、全面性和准确性。
第一方面,本发明实施例提供了一种提升物联网数据采集连续性的方法,该方法包括:
实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在所述边缘网关设备的本地磁盘上;
在网络中断的过程中,每采集到一条新设备数据时,首先判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则再判断所述新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则不对所述新设备数据进行存储;
当网络连接恢复后,将所述本地磁盘上存储的设备数据续传到所述物联网云平台。
可选的,在所述判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值之前,还包括:
预估所述本地磁盘的可持续存储数据时长,并根据所述可持续存储数据时长确定目标网络中断时长;
若当前网络中断时长超过所述目标网络中断时长,则计算所述本地磁盘的当前剩余空间;
若所述当前剩余空间小于预设空间阈值,则对所述预设时间阈值进行扩大,并将已存储的设备数据中,与所述新设备数据的时间差介于相邻两个整数倍的所述预设时间阈值之间不满足数值变化条件的设备数据删除,其中,所述数值变化条件为与上一条已存储的设备数据之间的数值偏差超过所述预设偏差阈值。
可选的,所述将所述本地磁盘上存储的设备数据续传到所述物联网云平台,包括:
计算已存储的设备数据所占用的磁盘空间大小;
若所述磁盘空间大小小于第一预设空间大小阈值,则将所有已存储的设备数据直接打包上传至所述物联网云平台;
若所述磁盘空间大小大于等于所述第一预设空间大小阈值但小于第二预设空间大小阈值,则将所有已存储的设备数据按照时间序列分组,使得每组数据容量小于所述第一预设空间大小阈值,并通过遍历分别将每组数据打包上传至所述物联网云平台;
若所述磁盘空间大小大于等于所述第二预设空间大小阈值,则将所有已存储的设备数据按照预设格式存储到数据文件中,并将所述数据文件压缩后上传至所述物联网云平台。
可选的,在所述将所有已存储的设备数据直接打包上传至所述物联网云平台之后,或者在所述将所述数据文件压缩后上传至所述物联网云平台之后,还包括:
接收所述物联网云平台返回的确认信息,并将本地存储的设备数据删除;
所述通过遍历分别将每组数据打包上传至所述物联网云平台,包括:
每完成一组数据的上传后,接收所述物联网云平台返回的确认信息,并将本地存储的当前组数据删除,然后等待预设时间间隔后再进行下一组数据的上传。
可选的,所述实时检测边缘网关设备与物联网云平台之间的网络连接状态,包括:
若为连接状态,则将实时采集的设备数据上报至所述物联网云平台,并接收所述物联网云平台返回的确认信息。
可选的,在所述将实时采集的设备数据上报至所述物联网云平台之后,还包括:
若等待超过预设时长还未接收到所述物联网云平台返回的确认信息,则将当前上报请求标记为超时;
根据预设超时重发次数不断重新尝试上报数据,并当超时次数超过所述预设超时重发次数时,将所述网络连接状态标记为中断。
可选的,在所述将所述网络连接状态标记为中断之后,还包括:
定期与所述物联网云平台进行重连,并在重连成功后,将所述网络连接状态标记为连接状态,同时停止进行本地存储。
第二方面,本发明实施例还提供了一种提升物联网数据采集连续性的装置,该装置包括:
网络状态检测模块,用于实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在所述边缘网关设备的本地磁盘上;
设备数据存储模块,用于在网络中断的过程中,每采集到一条新设备数据时,首先判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则再判断所述新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则不对所述新设备数据进行存储;
设备数据续传模块,用于当网络连接恢复后,将所述本地磁盘上存储的设备数据续传到所述物联网云平台。
第三方面,本发明实施例还提供了一种边缘网关设备,该边缘网关设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的提升物联网数据采集连续性的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所提供的提升物联网数据采集连续性的方法。
本发明实施例提供了一种提升物联网数据采集连续性的方法,首先实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在边缘网关设备的本地磁盘上,在后续的网络中断过程中,每采集到一条新设备数据时,首先判断该新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是则存储在本地磁盘,若否则再判断该新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是则存储在本地磁盘,若否则不进行存储。本发明实施例所提供的提升物联网数据采集连续性的方法,通过将网络中断过程中采集到的数据暂存在边缘网关设备上,并待网络恢复后再续传到物联网云平台,保证了物联网云平台数据采集的连续性、全面性和准确性,同时通过数值偏差与时间差的判断,对需要进行本地存储的数据进行了筛选,可防止因网络中断时间长产生大量的时序数据无效占用边缘网关设备的存储空间,从而降低运营成本。
附图说明
图1为本发明实施例一提供的提升物联网数据采集连续性的方法的流程图;
图2为本发明实施例二提供的提升物联网数据采集连续性的装置的结构示意图;
图3为本发明实施例三提供的边缘网关设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的提升物联网数据采集连续性的方法的流程图。本实施例可适用于物联网云平台对边缘网关设备数据进行采集的情况,该方法可以由本发明实施例所提供的提升物联网数据采集连续性的装置来执行,该装置可以由硬件和/或软件的方式来实现,一般可集成于边缘网关设备中。如图1所示,具体包括如下步骤:
S11、实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在所述边缘网关设备的本地磁盘上。
其中,可选的,所述实时检测边缘网关设备与物联网云平台之间的网络连接状态,包括:若为连接状态,则将实时采集的设备数据上报至所述物联网云平台,并接收所述物联网云平台返回的确认信息。具体的,在边缘网关设备正常工作时,即网络连接状态为正常连接时,边缘网关设备可以实时的将采集到的设备数据上报至物联网云平台,具体可以上报至物联网云平台的数据接收服务器,然后数据接收服务器在接收到相应的设备数据之后可以向边缘网关设备返回确认信息,边缘网关设备在接收到确认信息后,也可确定当前的网络连接状态仍为正常。
进一步可选的,在所述将实时采集的设备数据上报至所述物联网云平台之后,还包括:若等待超过预设时长还未接收到所述物联网云平台返回的确认信息,则将当前上报请求标记为超时;根据预设超时重发次数不断重新尝试上报数据,并当超时次数超过所述预设超时重发次数时,将所述网络连接状态标记为中断。具体的,若边缘网关设备在完成一次数据上报之后,等待超过预设时长还未接收到确认信息,则可以将此次上报请求标记为超时,然后可以继续不断尝试进行上报,直至接收到确认信息,每次上报后均可在未接收到确认信息的情况下标记一次超时,若连续标记的超时次数超过预设超时重发次数,则可以将边缘网关设备到物联网云平台数据接收服务器的网络连接状态标记为中断。
当网络连接状态被标记为中断时,即检测到了网络中断,此时可以开始将采集到的设备数据存储在边缘网关设备的本地磁盘上,其中,检测到网络中断时当前采集的设备数据即为第一条设备数据,该第一条设备数据可以作为后续设备数据的基准,对第一条设备数据不作判断,直接存储在本地磁盘上。
S12、在网络中断的过程中,每采集到一条新设备数据时,首先判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则再判断所述新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则不对所述新设备数据进行存储。
具体的,在将第一条设备数据存储在本地磁盘上之后,后续每采集到一条新设备数据进行存储之前,可以先判断新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值△S,其中的预设偏差阈值可以是具体的取值区间,也可以是百分比区间,若超过△S,则说明设备数据的变化较大,新设备数据更值得被记录,可以将新设备数据存储在本地磁盘上,若没有超过,则可以进一步判断新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值△T,若超过△T,则说明已较长时间未更新设备数据,可以将新设备数据存储在本地磁盘上,以实时记录最新数据。边缘网关设备正常运行时,数据采集的频率是很快的,如果网络中断的时间较长,会产生大量的时序数据,若将这些时序数据都存储在本地磁盘会占用很大的空间,而边缘网关设备的硬件资源有限,是无法存储大量数据的,因此,通过上述方式对需要存储的设备数据进行筛选,在保证必要数据存储的基础上,可以尽可能节约本地磁盘的空间。
可选的,在所述判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值之前,还包括:预估所述本地磁盘的可持续存储数据时长,并根据所述可持续存储数据时长确定目标网络中断时长;若当前网络中断时长超过所述目标网络中断时长,则计算所述本地磁盘的当前剩余空间;若所述当前剩余空间小于预设空间阈值,则对所述预设时间阈值进行扩大,并将已存储的设备数据中,与所述新设备数据的时间差介于相邻两个整数倍的所述预设时间阈值之间不满足数值变化条件的设备数据删除,其中,所述数值变化条件为与上一条已存储的设备数据之间的数值偏差超过所述预设偏差阈值。
具体的,在判断新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值△S之前,可以首先根据边缘网关设备的磁盘空间总容量、采集的数据点位数量以及采集频率等预估出本地磁盘的可持续存储数据时长T,并可根据可持续存储数据时长T确定一个目标网络中断时长,该目标网络中断时长具体可以是n/(n+1)*T,其中的n可以为根据经验设置的正整数。在当前网络中断时长超过目标网络中断时长时,本地磁盘空间可能不再充足,则此时可以计算一次本地磁盘的当前剩余空间,若当前剩余空间大于等于预设空间阈值M0,其中的预设空间阈值M0为根据边缘网关设备的磁盘空间总容量预设的值,则进一步开始上述判断数值偏差的流程,否则可以首先将预设时间阈值△T扩大一倍,即△T=2*△T,同时将之前已存储的设备数据中,与当前采集的新设备数据之间的时间差介于2*(i-1)*△T和2*i*△T之间且不满足数值变化条件的设备数据删除,其中的i为正整数,数值变化条件即与其上一条已存储的设备数据之间的数值偏差超过预设偏差阈值△S,然后即可进一步根据更新后的△T开始上述判断数值偏差的流程。在当前网络中断时长超过目标网络中断时长之后,若边缘网关设备与物联网云平台之间的网络连接继续中断,则后续每采集到一条新设备数据时,均按照上述方式判断是否需要调整△T以及删除不满足数值变化条件的设备数据,再开始判断数值偏差的流程,以确定是否需要存储,从而保证了物联网设备数据的变化趋势和连续性,并有效减少数据存储所占用的磁盘空间。特别的,随着边缘网关设备与物联网云平台之间的网络连接中断的时间变长,△T的值会越来越大,若△T大于一个特殊值(如24小时,可能是中断时间超过了几个月甚至更长,属小概率事件),则可以将存储条件直接修改为一天存储一条数据等等,并不再修改,从而更符合用户的存储习惯。
S13、当网络连接恢复后,将所述本地磁盘上存储的设备数据续传到所述物联网云平台。
可选的,在所述将所述网络连接状态标记为中断之后,还包括:定期与所述物联网云平台进行重连,并在重连成功后,将所述网络连接状态标记为连接状态,同时停止进行本地存储。具体的,在检测到网络中断之后,可以定期与物联网云平台的数据接收服务器进行重连,直到重连成功,并可在重连成功后将网络连接状态标记为连接状态,即网络连接已恢复,此时可以恢复将实时采集的设备数据上报至物联网云平台的过程,同时可以停止本地存储设备数据的过程,并可以启动一个新的线程开始执行网络中断期间存储的本地数据的续传任务,从而保证物联网云平台数据采集的连续性。
其中,可选的,所述将所述本地磁盘上存储的设备数据续传到所述物联网云平台,包括:计算已存储的设备数据所占用的磁盘空间大小;若所述磁盘空间大小小于第一预设空间大小阈值,则将所有已存储的设备数据直接打包上传至所述物联网云平台;若所述磁盘空间大小大于等于所述第一预设空间大小阈值但小于第二预设空间大小阈值,则将所有已存储的设备数据按照时间序列分组,使得每组数据容量小于所述第一预设空间大小阈值,并通过遍历分别将每组数据打包上传至所述物联网云平台;若所述磁盘空间大小大于等于所述第二预设空间大小阈值,则将所有已存储的设备数据按照预设格式存储到数据文件中,并将所述数据文件压缩后上传至所述物联网云平台。
进一步可选的,在所述将所有已存储的设备数据直接打包上传至所述物联网云平台之后,或者在所述将所述数据文件压缩后上传至所述物联网云平台之后,还包括:接收所述物联网云平台返回的确认信息,并将本地存储的设备数据删除;所述通过遍历分别将每组数据打包上传至所述物联网云平台,包括:每完成一组数据的上传后,接收所述物联网云平台返回的确认信息,并将本地存储的当前组数据删除,然后等待预设时间间隔后再进行下一组数据的上传。
具体的,在开启续传任务之后,可以根据网络中断后本地磁盘中已存储的的数据量的大小,采用不同的方式进行续传,以保证实时数据上报过程不受影响,同时提高网络中断期间数据的续传效率。则首先可以计算已存储的设备数据所占用的磁盘空间大小,若该磁盘空间大小小于第一预设空间大小阈值M1(M1为根据经验设置的较小的正值),则可以直接将所有已存储的设备数据打包上传至物联网云平台的数据接收服务器,并可以在接收到返回的确认信息之后将本地存储的设备数据删除。若该磁盘空间大小大于等于第一预设空间大小阈值M1,但小于第二预设空间大小阈值M2(M2为根据经验设置的较大的正值),则可以将所有已存储的设备数据按照时间序列分组,以使得每组数据的容量小于第一预设空间大小阈值M1,然后遍历每组数据,依次将每组数据打包上传至物联网云平台的数据接收服务器,并可以在每次接收到返回的确认信息之后,将本次上传的本地存储的当前组数据删除,删除后可以等待一个较短的预设时间间隔T1(T1为根据经验设置的正整数),再依次执行后续的每组数据上传。若该磁盘空间大小大于等于第二预设空间大小阈值M2,则可以将所有已存储的设备数据按照预设格式存储到数据文件中,并将整个数据文件压缩后上传至物联网云平台的文件服务器,在完成数据文件的传输过程之后,边缘网关设备还可以上报已传输完成的消息到物联网云平台的数据接收服务器,则数据接收服务器可以在收到消息后返回确认信息,并可以从文件服务器中读取数据文件,同时可以根据预设格式还原数据,从而获得所需的设备数据,边缘网关设备在接收到物联网云平台的数据接收服务器返回的确认信息之后,同样可以将本地存储的设备数据删除。
本发明实施例所提供的技术方案,首先实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在边缘网关设备的本地磁盘上,在后续的网络中断过程中,每采集到一条新设备数据时,首先判断该新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是则存储在本地磁盘,若否则再判断该新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是则存储在本地磁盘,若否则不进行存储。通过将网络中断过程中采集到的数据暂存在边缘网关设备上,并待网络恢复后再续传到物联网云平台,保证了物联网云平台数据采集的连续性、全面性和准确性,同时通过数值偏差与时间差的判断,对需要进行本地存储的数据进行了筛选,可防止因网络中断时间长产生大量的时序数据无效占用边缘网关设备的存储空间,从而降低运营成本。
实施例二
图2为本发明实施例二提供的提升物联网数据采集连续性的装置的结构示意图,该装置可以由硬件和/或软件的方式来实现,一般可集成于边缘网关设备中,用于执行本发明任意实施例所提供的提升物联网数据采集连续性的方法。
如图2所示,该装置包括:
网络状态检测模块21,用于实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在所述边缘网关设备的本地磁盘上;
设备数据存储模块22,用于在网络中断的过程中,每采集到一条新设备数据时,首先判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则再判断所述新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则不对所述新设备数据进行存储;
设备数据续传模块23,用于当网络连接恢复后,将所述本地磁盘上存储的设备数据续传到所述物联网云平台。
本发明实施例所提供的技术方案,首先实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在边缘网关设备的本地磁盘上,在后续的网络中断过程中,每采集到一条新设备数据时,首先判断该新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是则存储在本地磁盘,若否则再判断该新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是则存储在本地磁盘,若否则不进行存储。通过将网络中断过程中采集到的数据暂存在边缘网关设备上,并待网络恢复后再续传到物联网云平台,保证了物联网云平台数据采集的连续性、全面性和准确性,同时通过数值偏差与时间差的判断,对需要进行本地存储的数据进行了筛选,可防止因网络中断时间长产生大量的时序数据无效占用边缘网关设备的存储空间,从而降低运营成本。
在上述技术方案的基础上,可选的,该提升物联网数据采集连续性的装置,还包括:
可存储时长预估模块,用于在所述判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值之前,预估所述本地磁盘的可持续存储数据时长,并根据所述可持续存储数据时长确定目标网络中断时长;
剩余空间计算模块,用于若当前网络中断时长超过所述目标网络中断时长,则计算所述本地磁盘的当前剩余空间;
预设空间阈值更新模块,用于若所述当前剩余空间小于预设空间阈值,则对所述预设时间阈值进行扩大,并将已存储的设备数据中,与所述新设备数据的时间差介于相邻两个整数倍的所述预设时间阈值之间不满足数值变化条件的设备数据删除,其中,所述数值变化条件为与上一条已存储的设备数据之间的数值偏差超过所述预设偏差阈值。
在上述技术方案的基础上,可选的,设备数据续传模块23,包括:
占用空间计算单元,用于计算已存储的设备数据所占用的磁盘空间大小;
第一续传单元,用于若所述磁盘空间大小小于第一预设空间大小阈值,则将所有已存储的设备数据直接打包上传至所述物联网云平台;
第二续传单元,用于若所述磁盘空间大小大于等于所述第一预设空间大小阈值但小于第二预设空间大小阈值,则将所有已存储的设备数据按照时间序列分组,使得每组数据容量小于所述第一预设空间大小阈值,并通过遍历分别将每组数据打包上传至所述物联网云平台;
第三续传单元,用于若所述磁盘空间大小大于等于所述第二预设空间大小阈值,则将所有已存储的设备数据按照预设格式存储到数据文件中,并将所述数据文件压缩后上传至所述物联网云平台。
在上述技术方案的基础上,可选的,设备数据续传模块23,还包括:
第一数据删除单元,用于在所述将所有已存储的设备数据直接打包上传至所述物联网云平台之后,或者在所述将所述数据文件压缩后上传至所述物联网云平台之后,接收所述物联网云平台返回的确认信息,并将本地存储的设备数据删除;
第二续传单元具体用于:
每完成一组数据的上传后,接收所述物联网云平台返回的确认信息,并将本地存储的当前组数据删除,然后等待预设时间间隔后再进行下一组数据的上传。
在上述技术方案的基础上,可选的,网络状态检测模块21,包括:
数据实时上报单元,用于若为连接状态,则将实时采集的设备数据上报至所述物联网云平台,并接收所述物联网云平台返回的确认信息。
在上述技术方案的基础上,可选的,网络状态检测模块21,还包括:
超时标记单元,用于在所述将实时采集的设备数据上报至所述物联网云平台之后,若等待超过预设时长还未接收到所述物联网云平台返回的确认信息,则将当前上报请求标记为超时;
中断标记单元,用于根据预设超时重发次数不断重新尝试上报数据,并当超时次数超过所述预设超时重发次数时,将所述网络连接状态标记为中断。
在上述技术方案的基础上,可选的,网络状态检测模块21,还包括:
定期重连单元,用于在所述将所述网络连接状态标记为中断之后,定期与所述物联网云平台进行重连,并在重连成功后,将所述网络连接状态标记为连接状态,同时停止进行本地存储。
本发明实施例所提供的提升物联网数据采集连续性的装置可执行本发明任意实施例所提供的提升物联网数据采集连续性的方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,在上述提升物联网数据采集连续性的装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例三
图3为本发明实施例三提供的边缘网关设备的结构示意图,示出了适于用来实现本发明实施方式的示例性边缘网关设备的框图。图3显示的边缘网关设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。如图3所示,该边缘网关设备包括处理器31、存储器32、输入装置33及输出装置34;边缘网关设备中处理器31的数量可以是一个或多个,图3中以一个处理器31为例,边缘网关设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接,图3中以通过总线连接为例。
存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的提升物联网数据采集连续性的方法对应的程序指令/模块(例如,提升物联网数据采集连续性的装置中的网络状态检测模块21、设备数据存储模块22及设备数据续传模块23)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块,从而执行边缘网关设备的各种功能应用以及数据处理,即实现上述的提升物联网数据采集连续性的方法。
存储器32可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据边缘网关设备的使用所创建的数据等。此外,存储器32可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器32可进一步包括相对于处理器31远程设置的存储器,这些远程存储器可以通过网络连接至边缘网关设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于实时采集设备数据,以及产生与边缘网关设备的用户设置和功能控制有关的键信号输入等。输出装置34可用于向物联网云平台续传设备数据等等。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质,该计算机可执行指令在由计算机处理器执行时用于执行一种提升物联网数据采集连续性的方法,该方法包括:
实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在所述边缘网关设备的本地磁盘上;
在网络中断的过程中,每采集到一条新设备数据时,首先判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则再判断所述新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则不对所述新设备数据进行存储;
当网络连接恢复后,将所述本地磁盘上存储的设备数据续传到所述物联网云平台。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM、兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的提升物联网数据采集连续性的方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种提升物联网数据采集连续性的方法,其特征在于,包括:
实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在所述边缘网关设备的本地磁盘上;
在网络中断的过程中,每采集到一条新设备数据时,首先判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则再判断所述新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则不对所述新设备数据进行存储;
当网络连接恢复后,将所述本地磁盘上存储的设备数据续传到所述物联网云平台。
2.根据权利要求1所述的提升物联网数据采集连续性的方法,其特征在于,在所述判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值之前,还包括:
预估所述本地磁盘的可持续存储数据时长,并根据所述可持续存储数据时长确定目标网络中断时长;
若当前网络中断时长超过所述目标网络中断时长,则计算所述本地磁盘的当前剩余空间;
若所述当前剩余空间小于预设空间阈值,则对所述预设时间阈值进行扩大,并将已存储的设备数据中,与所述新设备数据的时间差介于相邻两个整数倍的所述预设时间阈值之间不满足数值变化条件的设备数据删除,其中,所述数值变化条件为与上一条已存储的设备数据之间的数值偏差超过所述预设偏差阈值。
3.根据权利要求1所述的提升物联网数据采集连续性的方法,其特征在于,所述将所述本地磁盘上存储的设备数据续传到所述物联网云平台,包括:
计算已存储的设备数据所占用的磁盘空间大小;
若所述磁盘空间大小小于第一预设空间大小阈值,则将所有已存储的设备数据直接打包上传至所述物联网云平台;
若所述磁盘空间大小大于等于所述第一预设空间大小阈值但小于第二预设空间大小阈值,则将所有已存储的设备数据按照时间序列分组,使得每组数据容量小于所述第一预设空间大小阈值,并通过遍历分别将每组数据打包上传至所述物联网云平台;
若所述磁盘空间大小大于等于所述第二预设空间大小阈值,则将所有已存储的设备数据按照预设格式存储到数据文件中,并将所述数据文件压缩后上传至所述物联网云平台。
4.根据权利要求3所述的提升物联网数据采集连续性的方法,其特征在于,在所述将所有已存储的设备数据直接打包上传至所述物联网云平台之后,或者在所述将所述数据文件压缩后上传至所述物联网云平台之后,还包括:
接收所述物联网云平台返回的确认信息,并将本地存储的设备数据删除;
所述通过遍历分别将每组数据打包上传至所述物联网云平台,包括:
每完成一组数据的上传后,接收所述物联网云平台返回的确认信息,并将本地存储的当前组数据删除,然后等待预设时间间隔后再进行下一组数据的上传。
5.根据权利要求1所述的提升物联网数据采集连续性的方法,其特征在于,所述实时检测边缘网关设备与物联网云平台之间的网络连接状态,包括:
若为连接状态,则将实时采集的设备数据上报至所述物联网云平台,并接收所述物联网云平台返回的确认信息。
6.根据权利要求5所述的提升物联网数据采集连续性的方法,其特征在于,在所述将实时采集的设备数据上报至所述物联网云平台之后,还包括:
若等待超过预设时长还未接收到所述物联网云平台返回的确认信息,则将当前上报请求标记为超时;
根据预设超时重发次数不断重新尝试上报数据,并当超时次数超过所述预设超时重发次数时,将所述网络连接状态标记为中断。
7.根据权利要求6所述的提升物联网数据采集连续性的方法,其特征在于,在所述将所述网络连接状态标记为中断之后,还包括:
定期与所述物联网云平台进行重连,并在重连成功后,将所述网络连接状态标记为连接状态,同时停止进行本地存储。
8.一种提升物联网数据采集连续性的装置,其特征在于,包括:
网络状态检测模块,用于实时检测边缘网关设备与物联网云平台之间的网络连接状态,若检测到网络中断,则将当前采集的设备数据存储在所述边缘网关设备的本地磁盘上;
设备数据存储模块,用于在网络中断的过程中,每采集到一条新设备数据时,首先判断所述新设备数据与上一条已存储的设备数据之间的数值偏差是否超过预设偏差阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则再判断所述新设备数据与上一条已存储的设备数据之间的时间差是否超过预设时间阈值,若是,则将所述新设备数据存储在所述本地磁盘上,若否,则不对所述新设备数据进行存储;
设备数据续传模块,用于当网络连接恢复后,将所述本地磁盘上存储的设备数据续传到所述物联网云平台。
9.一种边缘网关设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的提升物联网数据采集连续性的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的提升物联网数据采集连续性的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111260098.0A CN114003379A (zh) | 2021-10-28 | 2021-10-28 | 一种提升物联网数据采集连续性的方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111260098.0A CN114003379A (zh) | 2021-10-28 | 2021-10-28 | 一种提升物联网数据采集连续性的方法与装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114003379A true CN114003379A (zh) | 2022-02-01 |
Family
ID=79924539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111260098.0A Pending CN114003379A (zh) | 2021-10-28 | 2021-10-28 | 一种提升物联网数据采集连续性的方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114003379A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041305A (zh) * | 2023-10-10 | 2023-11-10 | 成都秦川物联网科技股份有限公司 | 基于物联网的气体流量计离线数据管理方法、设备及介质 |
-
2021
- 2021-10-28 CN CN202111260098.0A patent/CN114003379A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117041305A (zh) * | 2023-10-10 | 2023-11-10 | 成都秦川物联网科技股份有限公司 | 基于物联网的气体流量计离线数据管理方法、设备及介质 |
CN117041305B (zh) * | 2023-10-10 | 2024-01-23 | 成都秦川物联网科技股份有限公司 | 基于物联网的气体流量计离线数据管理方法、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110493116B (zh) | 一种车联网数据传输方法及装置 | |
CN101488887B (zh) | 监控方法和监控装置 | |
EP3873066A1 (en) | Method for managing resource state information, and resource downloading system | |
CN106685676B (zh) | 一种节点切换方法及装置 | |
CN111585837B (zh) | 物联网数据链路监控方法、装置、计算机设备和存储介质 | |
CN110221938A (zh) | 电子装置、区块链共识的方法及存储介质 | |
CN103713981A (zh) | 一种数据库服务器性能检测和预警方法 | |
CN104750596A (zh) | 一种告警信息处理方法及服务子系统 | |
CN107104820B (zh) | 基于f5服务器节点的动态扩容日常运维方法 | |
CN114003379A (zh) | 一种提升物联网数据采集连续性的方法与装置 | |
CN102142257B (zh) | 一种音频信号处理方法及装置 | |
CN111917588A (zh) | 边缘设备管理方法、装置、边缘网关设备和存储介质 | |
CN110750425A (zh) | 数据库监控方法、装置、系统和存储介质 | |
CN116634493A (zh) | 告警信息的处理方法及装置、设备、计算机可读存储介质 | |
CN107577433B (zh) | 一种存储介质和文件数据的迁移方法、装置及设备 | |
WO2023287357A2 (en) | Data transmission method, node and system | |
CN114661533A (zh) | 通过检测io时延检测硬盘的方法、系统、设备和存储介质 | |
US20200177313A1 (en) | Gap data collection for low energy devices | |
CN107317705B (zh) | 一种基于Agent感知区域的有限乐观并行仿真同步方法 | |
CN112073472A (zh) | 一种计数器软清零处理方法 | |
CN104506663B (zh) | 一种智能云计算运行管理系统 | |
CN118158770B (zh) | 一种电气设备工作环境自动化监测系统 | |
CN115021778B (zh) | 一种基于网络稳定性反馈监测信息的智能电缆 | |
JP2008152531A (ja) | 分散データストレージシステム、プログラム、移行クライアント、移行サーバ、ホームサーバ、及び車載サーバ | |
CN116089471A (zh) | 多机房的缓存数据更新方法、系统、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |