CN110572427A - 应用于数据网关的离线数据过滤存储的方法及系统 - Google Patents

应用于数据网关的离线数据过滤存储的方法及系统 Download PDF

Info

Publication number
CN110572427A
CN110572427A CN201910669324.7A CN201910669324A CN110572427A CN 110572427 A CN110572427 A CN 110572427A CN 201910669324 A CN201910669324 A CN 201910669324A CN 110572427 A CN110572427 A CN 110572427A
Authority
CN
China
Prior art keywords
data
filtering
interruption
gateway
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910669324.7A
Other languages
English (en)
Inventor
何斌
仲刚
高虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Intelligent Manufacturing Research Institute Co Ltd
Original Assignee
Nanjing Intelligent Manufacturing Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Intelligent Manufacturing Research Institute Co Ltd filed Critical Nanjing Intelligent Manufacturing Research Institute Co Ltd
Priority to CN201910669324.7A priority Critical patent/CN110572427A/zh
Priority to PCT/CN2019/100922 priority patent/WO2021012331A1/zh
Publication of CN110572427A publication Critical patent/CN110572427A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9063—Intermediate storage in different physical parts of a node or terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/59—Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及数据处理技术领域，公开了一种应用于数据网关的离线数据过滤存储的方法及系统，解决了通讯故障时数据缓存能力较差的技术问题，其技术方案要点是在云平台的计算中心上，数据网关上送的数据首先会通过一些数据过滤规则过滤掉一些数据，再把过滤后的数据上送给云平台以应用到后期高级应用中。把一些简单的、对性能消耗影响小的数据过滤规则下放给数据网关，使得数据网关在通讯故障时可进行数据过滤，一方面分担了云平台计算中心的计算压力，另一方面会增强数据网关的缓存能力。

Description

应用于数据网关的离线数据过滤存储的方法及系统
技术领域
本公开涉及数据处理技术领域,尤其涉及一种应用于数据网关的离线数据过滤存储的方法及系统。
背景技术
数据网关作为云生态的重要组成部分，主要任务之一是对接入设备进行数据采集和缓存。通常数据网关实时上送采集到的接入设备的数据，当通讯网络通路从故障断开恢复时，数据网关把缓存的且没有上送的数据，断点续传到边缘计算平台。由于存储能力是一定的，当数据网关的接入设备比较多或者采集的通道比较多的时候，数据网关所能缓存的时间可能会少于网络故障的时间长度，造成数据丢失，进一步影响后端的数据应用。目前流行的做法是“水平拓展”，通过增加数据网关的存储硬件的能力来解决，或者通过数据压缩的方法来解决该类问题。
通过扩展硬件能力的方法来增加缓存能力的做法一方面会增加成本，另一方面也会因为数据量的增加而影响数据的检索速度，虽然通过数据压缩的方法可以延长缓存时间，但是压缩和解压缩算法需要一定的硬件计算能力的消耗，更加严重的是数据网关的在线数据检索功能受到了很大影响。
发明内容
本公开提供了一种应用于数据网关的离线数据过滤存储的方法及系统，达到提高数据网关数据缓存能力的技术目的。
本公开的上述技术目的是通过以下技术方案得以实现的：
一种应用于数据网关的离线数据过滤存储的方法，包括：
云平台向数据网关下发配置指令；
所述数据网关根据所述配置指令完成配置，所述配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；
检测到通讯中断条件后，记录通讯中断时间点；
通讯中断后触发所述数据过滤服务，对中断数据集D进行过滤得到D'，将所述D'存储至数据缓存区；
检测到通讯恢复条件时，记录通讯连接时间点，所述数据网关重新建立与所述云平台的连接；
所述数据网关与所述云平台连接后，将所述D'上送给所述云平台；
所述D'全部上送完后，停止所述数据过滤服务；
其中，所述中断数据集D由中断数据点Di组成，i为正整数；所述数据过滤服务使用过滤算法进行过滤。
进一步地，所述过滤算法为基于动态阈值的过滤算法，所述基于动态阈值的过滤算法的参数包括参考值y、上边界阈值y1、下边界阈值y2和迟滞值z，且其算法引擎的状态包括正常状态、上越界状态和下越界状态。
进一步地，所述中断数据点Di对应有数据值a，所述算法引擎的状态为所述正常状态时，包括：
a>y1时，所述算法引擎更新为所述上越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'；
a<y2时，所述算法引擎更新为所述下越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'。
进一步地，所述算法引擎为所述上越界状态时，若a>y1-z，所述算法引擎维持所述上越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'。
进一步地，所述算法引擎为所述下越界状态时，若a<y2-z，所述算法引擎维持所述下越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'。
进一步地，所述通讯中断条件包括：所述数据网关在持续时间内没有收到所述云平台的同步心跳报文。
进一步地，所述持续时间至少为3s。
进一步地，所述通讯恢复条件包括：所述数据网关至少连续两次接收到所述云平台的重新连接请求报文。
一种应用于数据网关的离线数据过滤存储的系统，包括：
云平台，向数据网关下发配置指令；
所述数据网关包括：
数据交互单元，根据所述配置指令完成配置，所述配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；
第一检测单元，检测到通讯中断条件后，记录通讯中断时间点；
数据过滤单元，通讯中断后触发所述数据过滤服务，对中断数据集D进行过滤得到D'，将所述D'存储至数据缓存区；
第二检测单元，检测到通讯恢复条件时，记录通讯连接时间点，所述数据网关重新建立与所述云平台的连接；
数据缓存区，存储所述D'，所述数据网关与所述云平台恢复连接后，将所述D'传输给所述数据交互单元，所述数据交互单元再将D'上送给所述云平台；
所述D'全部上送完后，所述数据过滤单元停止所述数据过滤服务；
其中，所述中断数据集D由中断数据点Di组成，i为正整数；所述数据过滤服务使用过滤算法进行过滤。
综上所述，本公开的有益效果在于：在云平台的计算中心上，数据网关上送的数据首先会通过一些数据过滤规则过滤掉一些数据，再把过滤后的数据上送给云平台以应用到后期高级应用中。把一些简单的、对性能消耗影响小的数据过滤规则下放给数据网关，使得数据网关在通讯故障时可进行数据过滤，一方面分担了云平台计算中心的计算压力，另一方面会延长数据网关的缓存能力。
附图说明
图1为本公开方法流程图；
图2为本公开系统示意图；
图3为基于动态阈值过滤算法的实施例流程图；
图4为基于动态阈值过滤的示意图。
具体实施方式
以下结合附图对本公开作进一步详细说明。
需要理解地是，在本公开的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
图1为本公开方法流程图，图2为系统示意图，如图所示，云平台向数据网关下发配置指令，数据网关包括数据交互单元、第一检测单元、数据过滤单元、第二检测单元和数据缓存区，数据交互单元根据配置指令完成配置。第一检测单元检测到通讯中断条件后，记录通讯中断时间点，同时触发数据过滤单元的数据过滤服务，对中断数据集D进行过滤得到D'，将所述D'存储至数据缓存区。
第二检测单元检测到通讯恢复条件时，记录通讯连接时间点，重新建立与云平台的连接；数据网关与云平台重新连接后，数据缓存区将D'传输给数据交互单元，数据交互单元再将D'上送给云平台，D'全部上送完后，数据过滤单元则停止数据过滤服务。
这里，配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；中断数据集D由中断数据点Di组成，i为正整数；数据过滤服务使用过滤算法进行过滤。另外，通讯中断条件包括：数据网关在持续时间内没有收到云平台的同步心跳报文，该持续时间至少为3s；通讯恢复条件包括：数据网关至少连续两次接收到云平台的重新连接请求报文。
图3为本公开采用基于动态阈值的过滤算法的实施例流程图，获取算法参数后，初始化算法引擎，算法引擎的状态包括正常状态、上越界状态和下越界状态，将算法引擎设置为正常状态。算法参数包括参考值y、上边界阈值y1、下边界阈值y2和迟滞值z，算法参数的值都是根据实际数据采集过程的相关因素预设的，比如若参考值y为100，可将上边界阈值y1设为参考值的1.1倍，对应地将下边界阈值y2设为参考值的0.9倍，如图4。准备工作做完后，通讯中断时，获取中断数据点Di，Di对应有数据值a。当前状态为正常状态时，若Di大于上边界阈值y1，那么Di是满足过滤规则的中断数据点，过滤Di并且更新状态为上越界状态；若Di小于下边界阈值y2，那么Di是满足过滤规则的中断数据点，过滤Di并且更新状态为下越界状态。图4中，深色的中断数据点即为满足过滤规则的数据点，需要对其进行过滤；浅色的中断数据点则不需要过滤。
当前状态为上越界状态时，若Di大于上边界阈值y1减去迟滞值z，那么Di是满足过滤规则的中断数据点，过滤Di并保持当前的上越界状态。
当前状态为下越界状态时，若Di小于下边界阈值y2减去迟滞值z，那么Di是满足过滤规则的点，过滤Di并且保持当前的下越界状态；其余的情况仅更新状态为正常状态。过滤掉Di后中断数据集D就变为D'，并存储在数据缓存区，通讯恢复时，数据缓存区再将D'上送给云平台，D'全部上送完成时则停止数据过滤服务。
以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。

Claims (9)

1.一种应用于数据网关的离线数据过滤存储的方法，其特征在于，包括：
云平台向数据网关下发配置指令；
所述数据网关根据所述配置指令完成配置，所述配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；
检测到通讯中断条件后，记录通讯中断时间点；
通讯中断后触发所述数据过滤服务，对中断数据集D进行过滤得到D'，将所述D'存储至数据缓存区；
检测到通讯恢复条件时，记录通讯连接时间点，所述数据网关重新建立与所述云平台的连接；
所述数据网关与所述云平台连接后，将所述D'上送给所述云平台；
所述D'全部上送完后，停止所述数据过滤服务；
其中，所述中断数据集D由中断数据点Di组成，i为正整数；所述数据过滤服务使用过滤算法进行过滤。
2.如权利要求1所述的应用于数据网关的离线数据过滤存储的方法，其特征在于，所述过滤算法为基于动态阈值的过滤算法，所述基于动态阈值的过滤算法的参数包括参考值y、上边界阈值y1、下边界阈值y2和迟滞值z，且其算法引擎的状态包括正常状态、上越界状态和下越界状态。
3.如权利要求2所述的应用于数据网关的离线数据过滤存储的方法，其特征在于，所述中断数据点Di对应有数据值a，所述算法引擎的状态为所述正常状态时，包括：
a>y1时，所述算法引擎更新为所述上越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'；
a<y2时，所述算法引擎更新为所述下越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'。
4.如权利要求3所述的应用于数据网关的离线数据过滤存储的方法，其特征在于，所述算法引擎为所述上越界状态时，若a>y1-z，所述算法引擎维持所述上越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'。
5.如权利要求4所述的应用于数据网关的离线数据过滤存储的方法，其特征在于，所述算法引擎为所述下越界状态时，若a<y2-z，所述算法引擎维持所述下越界状态，过滤掉所述中断数据点Di，所述中断数据集D变为所述D'。
6.如权利要求1-5任一所述的应用于数据网关的离线数据过滤存储的方法，其特征在于，所述通讯中断条件包括：所述数据网关在持续时间内没有收到所述云平台的同步心跳报文。
7.如权利要求6所述的应用于数据网关的离线数据过滤存储的方法，其特征在于，所述持续时间至少为3s。
8.如权利要求1-5任一所述的应用于数据网关的离线数据过滤存储的方法，其特征在于，所述通讯恢复条件包括：所述数据网关至少连续两次接收到所述云平台的重新连接请求报文。
9.一种应用于数据网关的离线数据过滤存储的系统，其特征在于，包括：
云平台，向数据网关下发配置指令；
所述数据网关包括：
数据交互单元，根据所述配置指令完成配置，所述配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；
第一检测单元，检测到通讯中断条件后，记录通讯中断时间点；
数据过滤单元，通讯中断后触发所述数据过滤服务，对中断数据集D进行过滤得到D'，将所述D'存储至数据缓存区；
第二检测单元，检测到通讯恢复条件时，记录通讯连接时间点，所述数据网关重新建立与所述云平台的连接；
数据缓存区，存储所述D'，所述数据网关与所述云平台恢复连接后，将所述D'传输给所述数据交互单元，所述数据交互单元再将D'上送给所述云平台；
所述D'全部上送完后，所述数据过滤单元停止所述数据过滤服务；其中，所述中断数据集D由中断数据点Di组成，i为正整数；所述数据过滤服务使用过滤算法进行过滤。
CN201910669324.7A 2019-07-24 2019-07-24 应用于数据网关的离线数据过滤存储的方法及系统 Pending CN110572427A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910669324.7A CN110572427A (zh) 2019-07-24 2019-07-24 应用于数据网关的离线数据过滤存储的方法及系统
PCT/CN2019/100922 WO2021012331A1 (zh) 2019-07-24 2019-08-16 一种边缘计算系统及数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910669324.7A CN110572427A (zh) 2019-07-24 2019-07-24 应用于数据网关的离线数据过滤存储的方法及系统

Publications (1)

Publication Number Publication Date
CN110572427A true CN110572427A (zh) 2019-12-13

Family

ID=68773521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910669324.7A Pending CN110572427A (zh) 2019-07-24 2019-07-24 应用于数据网关的离线数据过滤存储的方法及系统

Country Status (1)

Country Link
CN (1) CN110572427A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769913A (zh) * 2020-12-30 2021-05-07 上海市政工程设计研究总院（集团）有限公司 微环境就地监控系统及电气箱柜微环境监控系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130290305A1 (en) * 2012-04-28 2013-10-31 International Business Machines Corporation Data filtering in the internet of things
CN205356378U (zh) * 2015-12-24 2016-06-29 济南市城市公共客运管理服务中心 一种大数据中心网关
CN108768843A (zh) * 2018-06-27 2018-11-06 安徽国讯芯微科技有限公司 一种多网融合边缘计算网关
US20180324500A1 (en) * 2006-11-21 2018-11-08 At&T Intellectual Property I, L.P. Methods and apparatus to provide voice communication error notifications
CN109088922A (zh) * 2018-07-25 2018-12-25 南京智能制造研究院有限公司 一种工业数据平台
CN109815164A (zh) * 2018-12-18 2019-05-28 航天信息股份有限公司 一种实现设备离线状态下的数据缓存的方法及系统
CN110048941A (zh) * 2019-05-07 2019-07-23 上海西码智能科技股份有限公司 智能网关装置及物联控制系统
CN110045696A (zh) * 2019-03-29 2019-07-23 山东钢铁集团日照有限公司 一种基于移动互联技术的智能环保与能源监控预警平台

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180324500A1 (en) * 2006-11-21 2018-11-08 At&T Intellectual Property I, L.P. Methods and apparatus to provide voice communication error notifications
US20130290305A1 (en) * 2012-04-28 2013-10-31 International Business Machines Corporation Data filtering in the internet of things
CN205356378U (zh) * 2015-12-24 2016-06-29 济南市城市公共客运管理服务中心 一种大数据中心网关
CN108768843A (zh) * 2018-06-27 2018-11-06 安徽国讯芯微科技有限公司 一种多网融合边缘计算网关
CN109088922A (zh) * 2018-07-25 2018-12-25 南京智能制造研究院有限公司 一种工业数据平台
CN109815164A (zh) * 2018-12-18 2019-05-28 航天信息股份有限公司 一种实现设备离线状态下的数据缓存的方法及系统
CN110045696A (zh) * 2019-03-29 2019-07-23 山东钢铁集团日照有限公司 一种基于移动互联技术的智能环保与能源监控预警平台
CN110048941A (zh) * 2019-05-07 2019-07-23 上海西码智能科技股份有限公司 智能网关装置及物联控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112769913A (zh) * 2020-12-30 2021-05-07 上海市政工程设计研究总院（集团）有限公司 微环境就地监控系统及电气箱柜微环境监控系统

Similar Documents

Publication Publication Date Title
CN106375342A (zh) 一种基于zookeeper技术的系统集群方法及系统
CN105792335B (zh) 一种提高续航时间的方法和终端设备
CN106791223B (zh) 一种监控终端掉线原因的检测方法及系统
CN103532731A (zh) 一种防止虚拟机网络配置丢失的方法和装置
JP5753030B2 (ja) キャッシュクラウド構造を利用したキャッシュシステムおよびキャッシングサービスの提供方法
CN110650060A (zh) 流量告警的处理方法、设备及存储介质
CN110572427A (zh) 应用于数据网关的离线数据过滤存储的方法及系统
CN109391691A (zh) 一种单节点故障下nas服务的恢复方法及相关装置
CN101662389B (zh) 一种统计性能数据的方法及装置
CN104581064B (zh) 一种摄像头报警信息整合的方法及装置
CN112118130A (zh) 自适应的分布式缓存主备状态信息切换方法及装置
CN107276839A (zh) 一种云平台的自监控方法和系统
WO2019218663A1 (zh) 一种故障数据采集方法及故障数据处理系统
EP1836865B1 (de) Verfahren und system zur datenübertragung bei mobilen netzwerknodes
CN103036808A (zh) 一种去除网络抖动的方法及系统
CN110224872B (zh) 一种通信方法、装置及存储介质
CN204291215U (zh) 一种现场监测系统
CN106793167A (zh) 一种移动网络环境下的vpn通信保障方法与装置
CN111787584B (zh) 一种基于物联网的数据采集方法及系统
CN107590032A (zh) 存储集群故障转移的方法及存储集群系统
CN112419524A (zh) 智慧停车一体机的热备方法
CN107087021A (zh) 主从服务器确定方法及装置
CN111026586B (zh) 一种集群设备的主备状态切换方法及装置
CN112839075A (zh) 一种应用于采集设备的数据传输方法及相关装置
CN104639499A (zh) 一种防火墙监控方法、装置和网管平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220715

AD01 Patent right deemed abandoned