CN110719577B - 一种基于数据帧格式优化和数据压缩的无线数据采集系统 - Google Patents
一种基于数据帧格式优化和数据压缩的无线数据采集系统 Download PDFInfo
- Publication number
- CN110719577B CN110719577B CN201910950130.4A CN201910950130A CN110719577B CN 110719577 B CN110719577 B CN 110719577B CN 201910950130 A CN201910950130 A CN 201910950130A CN 110719577 B CN110719577 B CN 110719577B
- Authority
- CN
- China
- Prior art keywords
- data
- data frame
- upper computer
- wireless sensing
- experiment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013144 data compression Methods 0.000 title claims abstract description 30
- 238000005457 optimization Methods 0.000 title claims abstract description 16
- 238000002474 experimental method Methods 0.000 claims abstract description 89
- 238000007906 compression Methods 0.000 claims abstract description 45
- 230000006835 compression Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006837 decompression Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于数据帧格式优化和数据压缩的无线数据采集系统,由现场上位机、远程上位机、多个无线传感设备、Wi‑Fi路由器、私有云数据库组成;现场上位机处理用户输入的各类数据帧格式和压缩信息,得到每个无线传感设备的最优数据帧格式和数据压缩方案;无线传感设备按照对应的最优数据帧格式和数据压缩方案,采集、压缩和打包数据,进而传输至私有云数据库或者现场上位机;远程上位机可远程连接私有云数据库获取特定实验名称的历史数据,最终进行数据解压缩和使用。本发明实现了方便的数据采集和管理;并利用工业时序数据的稳定性和时序性,实现Wi‑Fi网络数据帧格式优化和数据压缩,大大提高了数据帧利用率,减轻网络带宽和存储空间的压力。
Description
技术领域
本发明涉及测控领域,具体涉及一种基于数据帧格式优化和数据压缩的无线数据采集系统。
背景技术
随着制造产业和信息产业的发展,工业现场设备急剧增加,传统的有线数据采集系统面临着布线量越来越大,部署和维修越来越困难;工业规模越来越大,数据采集设备分布越来越广,对数据集中化需求越来越高的问题。Wi-Fi网络具备成本低,带宽高,无线通信等特性,可以较好解决传统有线数据采集系统部署和维修困难的问题;无线传感设备可通过Wi-Fi网络连接互联网,将数据发送至云端,实现了广域数据采集设备的数据集中化。
同时工业现场数据具备以下特点:1)海量性,数据无时无刻产生,并不断增加存储和管理压力;2)多样性,工业现场设备和数据种类多,每个数据通道采样速率差异大,有的达到分钟级,有的达到亚毫秒级;3)稳定性,通道数据变化率不高,突变几率小;4)时序性,每个数据都要带有时间戳。目前国内外提出的压缩算法大多针对大型数据包,对于Wi-Fi网络数据帧类似的小型实时数据帧压缩效果不佳;国内外提出的针对工业现场数据的压缩算法多利用稳定性和时序性,但未考虑工业现场数据的多样性特点和Wi-Fi网络的特点,即1)数据分帧发送;2)较高丢包率,造成了无法使用到Wi-Fi无线通信中。
综上所述,本发明最终解决以下问题:1)传统有线数据采集系统的部署和维修困难;2)数据采集设备分布广,需要实现数据集中化;3)一种适用于Wi-Fi无线通信的工业现场数据帧格式优化和数据压缩方法;4)Wi-Fi数据帧分帧发送,数据采集到发送存在较大时延,需要提高数据实时性。
发明内容
本发明提出了一种基于数据帧格式优化和数据压缩的无线数据采集系统;本发明可以实现无线传感设备的快速部署和维护,传感数据的集中化管理,以及高效地优化数据帧格式并进行数据压缩。
本发明采用的技术方案如下:一种基于数据帧格式优化和数据压缩的无线数据采集系统,主要由现场上位机、远程上位机、多个无线传感设备、Wi-Fi路由器、私有云数据库组成,无线传感设备和现场上位机接入Wi-Fi路由器网络进行通信,无线传感设备通过Wi-Fi路由器与私有云数据库通信,远程上位机通过互联网连接私有云数据库进行通信;该系统运行步骤包括:
步骤1,所述现场上位机输入实验名称、每个无线传感设备的系统时间最小单位,即系统时间每增加1所需要的实际时长(下述各类时间均以此为单位)、每个无线传感设备的数据帧字节长度L、每个无线传感设备的数据帧最长发送间隔、多个无线传感设备的最大编号、每个无线传感设备的数据通道数目N、第i个通道数据的位数Di、相邻最大变化量Ci及采样周期Ti,i最大值N,最小值1;
步骤2,所述现场上位机通过Wi-Fi路由器向所述私有云数据库注册所述实验名称,并获取当前未被其他实验使用的唯一实验编号;
步骤3,所述现场上位机确定数据帧格式,包括:根据所述每个无线传感设备的系统时间最小单位计算存储数据帧时间戳所需的最小位数B1,计算存储步骤2获得的实验编号所需的最小位数B2,计算存储所述数据帧字节长度所需的最小位数B3,根据多个无线传感设备的最大编号计算存储无线传感设备编号所需的最小位数B4,根据所述每个无线传感设备的数据通道数目计算存储数据通道编号所需的最小位数B5,根据所述每个无线传感设备的数据帧最长发送间隔,计算以所述数据帧时间戳为基准的每个数据的采集时间增量所需的最小位数B6;
步骤4,所述现场上位机以枚举法列举每个无线传感设备的N个通道是否使用压缩方法的2N种数据压缩方案,并模拟时间演化过程,演化至M个数据帧后结束,并得到M个数据帧中所有数据个数Z,选取每个无线传感设备的数据帧利用率最高时对应的数据压缩方案;
步骤5,所述现场上位机通过Wi-Fi路由器将所述实验名称、实验编号、数据帧格式、数据压缩方案发送至对应的无线传感设备和私有云数据库存储和使用;
步骤6,所述无线传感设备根据接收的数据帧格式和压缩方案,通过Wi-Fi路由器将经过格式优化和数据压缩的数据帧发送至私有云数据库或者现场上位机;
步骤7,所述现场上位机停止无线传感设备数据采集,并注销本次实验对应的私有云数据库中的实验编号;
步骤8,所述远程上位机可以通过连接私有云数据库获取历史数据和所述实验编号、数据帧格式、数据压缩方案等参数,最后进行解压缩和数据使用。
进一步地,所述数据帧分为帧头部分和数据部分;所述数据帧帧头部分包括B1位数据帧时间戳、B2位实验编号(TID)、B3位数据帧字节长度(DFL)、B4位无线传感设备编号(NID);所述数据帧时间戳包括年(YYYY)、月(MM)、日(DD)和计时值(TC),所述年占用14位,最大记录16384年,所述月占用4位,所述日占用5位,所述计时值占用位数(B1-23),支持最大计时时间不小于24小时;
所述数据帧数据部分每个数据都以2位压缩信息(F)、B5位数据通道编号(DID)、B6位数据采集时间增量(TINC)起始,后面跟随压缩数据或者非压缩数据:①压缩数据,该数据帧第一次加入该通道数据时,F为2,所述压缩数据包括所述压缩方法的数据预测增量(DINC1)、上一个数据数值(CD),和数据校正量(DINC2),非第一次加入该通道数据时,F为1,所述压缩数据只包括数据校正量(DINC2);②非压缩数据,F为0,只包含完整数据。
进一步地,步骤2所述唯一实验编号由所述私有云数据库的实验编号管理变量管理;在所述现场上位机注册实验名称时,实验编号管理变量自动加1(超过实验编号最大值则实验编号管理变量变为0),并校验是否正在被其他实验使用,如果未被其他实验使用,则注册实验名称和对应实验编号并下发至所述上位机,如果正被其他实验使用,则重复上述操作,直至找到可利用的实验编号,若寻找超时,则将超时信息下发至所述上位机;如果现场上位机发送停止命令或者私有云数据库长时间未收到实验数据,则会注销实验编号,后面可被其他实验使用。
进一步地,步骤3所述最小位数计算过程包括,首先获取存储对象的最大数值;然后所述最大数值按位右移K次使得结果等于0;最后将K作为最小位数。
进一步地,步骤4所述压缩方法分为计算校正量DINC2和更新数据预测增量DINC1两步,
α表示DINC1的更新速率,范围为(0,1];j表示第i个数据通道的第j次压缩;初始化DINC10和CD0为0;DINC1和DINC2均不超过所述对应第i个通道的数据的相邻最大变化量Ci。
进一步地,步骤4所述模拟时间演化过程表示所述现场上位机计时器向上计时,每次计时操作后,进行以下步骤,直至模拟完成M个数据帧,同时记录M个数据帧中所有数据个数Z:
步骤1,根据每个数据通道的采样周期,判断是否有新数据加入;
步骤2,如果有数据加入,则判断数据帧数据部分可用空间(可用空间表示数据帧字节长度除去数据帧的帧头部分和已存储的数据)是否可容纳该数据;否则进行步骤4;
步骤3,如果数据帧数据部分可用空间可容纳该数据,则数据帧数据部分可用空间长度减去该数据所占用的数据长度:对于压缩的数据,第一次加入该数据时,长度为2+B5+B6+2Ci+Di,非第一次加入该数据时,长度为2+B5+B6+Ci,对于不压缩的数据,长度为2+B5+B6+Di;如果数据帧数据部分可用空间不可容纳该通道数据,创建一个新的数据帧,重复步骤3;
步骤4,判断数据帧超过所述数据帧最长发送间隔,则创建新的数据帧。
进一步地,步骤8所述解压缩步骤包括:
步骤1,判断压缩信息F数值,如果等于2,则进行以下所有步骤;如果等于1,则跳过步骤2;如果等于0,则不需要解压缩数据,跳过步骤2和3。
步骤2,解析得到所述压缩方法的数据预测增量(DINC1)和上一个数据数值(CD),以此初始化DINC1j-1和CDj-1;
步骤3,解析得到数据校正量DINC2j,利用公式得到解压缩数据CDj,并更新DINC1j,
CDj=DINC2j+DINC1j-1+CDj-1
DINC1j=DINC1j-1+α·DINC2j
本发明的有益效果是:1)本发明采用无线数据传输方式,解决了传统有线数据采集系统的部署和维修困难问题;2)本发明通过将无线数据采集设备的数据上传至私有云数据库,实现数据集中化;3)本发明公开了一种适用于Wi-Fi无线通信的工业现场数据帧格式优化和数据压缩方法,提高了用于传输工业现场数据的数据帧利用率,适用于Wi-Fi无线通信等具备数据分帧发送、有较高丢包率特点的通信方式;4)本发明的无线传感设备将通道数据按照时序加入同一个Wi-Fi数据帧,加快单个时间帧的发送速率,进而提高数据实时性。
附图说明
图1是本发明的无线数据采集系统架构;
图2是本发明的运行流程图;
图3是Wi-Fi无线通信数据帧格式;
图4是私有云数据库注册实验名称和生成实验编号的流程图;
图5是现场上位机得到数据帧格式的流程图;
图6是现场上位机得到数据帧利用率最高的压缩方案的流程图;
图7是现场上位机进行模拟时间演化的流程图;
图8是无线传感设备数据帧加入数据的流程图;
图9是上位机获取、解压缩和处理数据的流程图。
具体实施方式
下面结合附图对本发明作进一步的说明。
如图1所示,本发明具体实施给出的一种基于数据帧格式优化和数据压缩的无线数据采集系统,主要由现场上位机、远程上位机、多个无线传感设备、Wi-Fi路由器、私有云数据库组成,无线传感设备和上位机接入Wi-Fi路由器网络进行通信,私有云数据库通过Wi-Fi路由器与无线传感设备和现场上位机通讯,远程上位机通过互联网连接私有云数据库进行通信。称直接通过Wi-Fi路由器和无线传感设备通信并实现实验参数配置的上位机为现场上位机,称通过互联网连接私有云数据库,并实现远程数据获取功能的上位机为远程上位机。
如图2所示,本发明的运行步骤包括:
步骤101,所述现场上位机输入各类参数,包括实验名称、每个无线传感设备的系统时间最小单位,即系统时间每增加1所需要的实际时长(下述各类时间均以此为单位)、每个无线传感设备的数据帧字节长度L、每个无线传感设备的数据帧最长发送间隔、多个无线传感设备的最大编号、每个无线传感设备的数据通道数目N、第i个通道数据的位数Di、相邻最大变化量Ci及采样周期Ti,i最大值N,最小值1;
步骤102,所述现场上位机请求私有云数据库注册实验名称;
步骤103,私有云数据库验证实验名称未重复,即查询数据库中是否有该实验名称的实验,并生成唯一实验编号下发至所述现场上位机;
步骤104,所述现场上位机计算数据帧各部分的位数,即得到数据帧格式:根据所述每个无线传感设备的系统时间最小单位计算存储数据帧时间戳所需的最小位数B1,计算存储步骤2获得的实验编号所需的最小位数B2,计算存储所述数据帧字节长度所需的最小位数B3,根据多个无线传感设备的最大编号计算存储无线传感设备编号所需的最小位数B4,根据所述每个无线传感设备的数据通道数目计算存储数据通道编号所需的最小位数B5,根据所述每个无线传感设备的数据帧最长发送间隔,计算以所述数据帧时间戳为基准的每个数据的采集时间增量所需的最小位数B6;
步骤105,所述现场上位机以枚举法列举每个无线传感设备的N个通道是否使用压缩方法的2N种方案,如N=2,则有4种方案:两个通道均不使用压缩,第一个通道使用压缩、第二个通道不使用压缩,第二个通道使用压缩、第一个通道不使用压缩,两个通道均使用压缩;并模拟时间演化过程,演化至M个数据帧后结束,得到M个数据帧中所有数据个数Z,选取每个无线传感设备的数据帧利用率最高的是否进行数据压缩的方案,其中M可取100;
步骤106,所述现场上位机将所述实验名称、实验编号、数据帧格式、数据压缩方案等参数发送至对应的无线传感设备和私有云数据库存储和使用;
步骤107,所述无线传感设备根据所述现场上位机指定的数据帧格式和压缩方案,进行数据采集、压缩,并传输至私有云数据库或者现场上位机;
步骤108,所述现场上位机获取无线传感设备的实时数据或者所属远程上位机获取私有云数据库的历史数据及实验名称、实验编号、数据帧格式、数据压缩方案等参数;
步骤109,所述现场上位机或者远程上位机根据实验名称、实验编号、数据帧格式、数据压缩方案等参数,进行数据帧的解压缩和处理。
如图3所示,本发明通过Wi-Fi无线通信方式通信,所述数据帧分为帧头部分和数据部分;所述数据帧帧头部分包括B1位数据帧时间戳、B2位实验编号(TID)、B3位数据帧字节长度(DFL)、B4位无线传感设备编号(NID);所述数据帧时间戳包括年(YYYY)、月(MM)、日(DD)和计时值(TC),所述年占用14位,最大记录16384年,所述月占用4位,所述日占用5位,所述计时值占用位数(B1-23),支持最大计时时间不小于24小时;所述数据帧数据部分每个数据都以2位压缩信息(F)、B5位数据通道编号(DID)、B6位数据采集时间增量(TINC)起始,后面跟随压缩数据或者非压缩数据:①压缩数据,该数据帧第一次加入该通道数据时,F为2,所述压缩数据包括所述压缩方法的数据预测增量(DINC1)、上一个数据数值(CD),和数据校正量(DINC2),非第一次加入该通道数据时,F为1,所述压缩数据只包括数据校正量(DINC2);②非压缩数据,F为0,只包含完整数据。
如图4所示,图2步骤103私有云数据库注册实验名称和生成实验编号的步骤包括:
步骤1031,判断现场上位机上传的实验名称是否已经被使用(实验名称是唯一确定对应数据和配置文件的索引),如果已经被使用则进行步骤1035,否则进行步骤1032;
步骤1032,如果实验名称未被使用,则实验编号管理变量加1,超过最大值则变为0;
步骤1033,检查步骤1032的实验编号管理变量是否未被使用,如果已经被使用则重复1032;否则进行步骤1034;
步骤1034,如果未被使用,则发送实验编号至所述现场上位机;如果寻找实验变量超时,则超时信号至所述现场上位机;
步骤1035,如果实验名称已被使用,则发送实验名称被使用的信息至所述现场上位机。
如图5所示,所述现场上位机计算数据帧各部分的位数,即得到数据帧格式,以某一个系统时间最小单位为1毫秒的无线传感设备为例,计算存储数据帧时间戳所需的最小位数步骤包括:
步骤1041,将24小时换算至1毫秒为单位的数值V等于8640000;
步骤1042,V更新为按位右移1的数值;
步骤1043,如果V不等于0,则继续运行步骤1042,如果V等于0则运行步骤1044;
步骤1044,将V按位右移次数加上年(14位)月(4位)日(5位)23位作为存储数据帧时间戳所需的最小位数。
如图6所示,所述现场上位机得到数据帧利用率最高的压缩方案的步骤包括:
步骤1051,所述现场上位机枚举压缩方案,形成列表,以2个数据通道为例,包括两个通道均不压缩、第一个通道压缩,第二个通道不压缩、第二个通道压缩,第一个通道不压缩、两个通道均压缩四个方案;
步骤1052,选择列表中的一种压缩方案进行模拟时间演化过程;
步骤1053,根据1052模拟得到的压缩方案的数据帧利用率,更新数据帧利用率最高的压缩方案;
步骤1054,将模拟过的压缩方案移出列表;
步骤1055,如果列表不为空,则继续运行步骤1052,如果列表为空,则运行步骤1056;
步骤1056,得到数据帧利用率最高的压缩方案。
如图7所示,所述现场上位机进行模拟时间演化的步骤包括:
步骤10521,计时器初始化为0,第一个数据帧可用空间为X(数据帧总长度除去所述帧头部分),数据帧个数P初始化为0个,总数据个数Z初始化为0个;
步骤10522,计时器加1;
步骤10523,判断数据采样周期是否到达,如果到达,则进行步骤10524,如果未到达,则进行步骤10528;
步骤10524,判断X是否大于数据长度,是则进行步骤10527,否则进行步骤10525;
步骤10525,数据帧个数P加1,数据帧可用空间初始化为X,即创建一个新的数据帧;
步骤10527,数据帧可用空间X更新为减去数据长度的值,对于压缩的数据,第一次加入该通道数据时,长度为2+B5+B6+2Ci+Di,非第一次加入该通道数据时,长度为2+B5+B6+Ci,对于不压缩的数据,长度为2+B5+B6+Di;
步骤10528,判断数据帧是否未超过发送间隔,是则继续进行步骤10522,否则进行步骤10525。
如图8所示,无线传感设备数据帧加入数据的步骤包括:
步骤1071,所述无线传感设备周期性采集数据;
步骤1072,所述无线传感设备根据所述现场上位机下发的压缩方案,判断是否需要压缩,是则进行步骤1073,否则进行步骤1078;
步骤1073,计算校正量DINC2j,
其中,DINC1j-1为上一步的数据预测增量,CDj-1为上一步采集到的数据,CDj为本次采集到的数据,DINC2j不超过所述对应通道数据的相邻最大变化量Ci;
步骤1074,判断采集到的数据通道是否第一次加入数据帧,是则进行步骤1075,否则进行步骤1076。
步骤1075,数据帧中加入等于2的2位压缩信息(F)、B5位数据通道编号(DID)、B6位相对于数据帧时间戳的每个数据的采集时间增量(TINC)、数据预测增量(DINC1)、上一步采集到的数据(CD)和数据校正量(DINC2);每一帧第一次加入某通道数据时,需要附带数据预测增量、上一步采集到的数据,是为了防止出现数据丢包造成解压缩时无法按顺序推测出数据预测增量、采集到的数据;
步骤1076,数据帧中加入等于1的2位压缩信息(F)、B5位数据通道编号(DID)、B6位相对于数据帧时间戳的每个数据的采集时间增量(TINC)和数据校正量(DINC2);
步骤1077,更新数据预测增量DINC1,
其中α是DINC1的更新速率,可以取(0,1],j表示第i个数据通道的第j次压缩;初始化DINC10和CD0为0;DINC1j不超过所述对应通道数据的相邻最大变化量Ci;
步骤1078,加入等于0的2位压缩信息(F)、B5位数据通道编号(DID)、B6位相对于数据帧时间戳的每个数据的采集时间增量(TINC)、采集到的数据(CD)。
如图9所示,上位机(现场上位机和远程上位机均可)获取数据帧,并进行解压缩和处理的步骤包括:
步骤1091,上位机获取数据帧;
步骤1092,解析出数据帧头中的数据帧时间戳;
步骤1093,获取数据帧数据部分的下一个数据的压缩信息;
步骤1094,根据压缩信息判断是否需要解压缩,如果压缩信息等于1或者2,则进行步骤1095,如果压缩信息等于等于0,则进行步骤1098;
步骤1095,根据压缩信息判断是否需要更新DINC1和CD,如果压缩信息等于2,则运行步骤1096,如果压缩信息等于1,则运行步骤1097;
步骤1096,解析出数据帧中的DINC1和CD,并更新压缩方法中的DINC1j-1和CDj-1。
DINC1j-1=DINC1
CDj-1=CD
步骤1097,解压缩数据并更新DINC1j,
CDj=DINC2j+DINC1j-1+CDj-1
DINC1j=DINC1j-1+α·DINC2j
其中j表示第i个数据通道的第j次解压缩。
步骤1098,获取数据,并处理数据;
步骤1099,判断数据帧是否解压缩完毕,是则结束该数据帧解压缩,否则继续进行步骤1093。
应当理解的是,本公开并不局限于上面已经描述并在附图中体现的精确结构,并且可以在不脱离其范围进行各种修改。本公开的范围仅由所附的权利要求来限制。
Claims (5)
1.一种基于数据帧格式优化和数据压缩的无线数据采集系统,其特征在于:由现场上位机、远程上位机、多个无线传感设备、Wi-Fi路由器、私有云数据库组成,无线传感设备和现场上位机接入Wi-Fi路由器网络进行通信,无线传感设备和现场上位机通过Wi-Fi路由器与私有云数据库通信,远程上位机通过互联网连接私有云数据库进行通信;该系统运行步骤包括:
步骤1,所述现场上位机输入实验名称、每个无线传感设备的系统时间最小单位,即系统时间每增加1所需要的实际时长、每个无线传感设备的数据帧字节长度L、每个无线传感设备的数据帧最长发送间隔、多个无线传感设备的最大编号、每个无线传感设备的数据通道数目N、第i个通道数据的位数Di、相邻最大变化量Ci及采样周期Ti,i最大值N,最小值1;
步骤2,所述现场上位机通过Wi-Fi路由器向所述私有云数据库注册所述实验名称,并获取当前未被其他实验使用的唯一实验编号;
步骤3,所述现场上位机确定数据帧格式,包括:根据所述每个无线传感设备的系统时间最小单位计算存储数据帧时间戳所需的最小位数B1,计算存储步骤2获得的实验编号所需的最小位数B2,计算存储所述数据帧字节长度所需的最小位数B3,根据多个无线传感设备的最大编号计算存储无线传感设备编号所需的最小位数B4,根据所述每个无线传感设备的数据通道数目计算存储数据通道编号所需的最小位数B5,根据所述每个无线传感设备的数据帧最长发送间隔,计算以所述数据帧时间戳为基准的每个数据的采集时间增量所需的最小位数B6;
步骤4,所述现场上位机以枚举法列举每个无线传感设备的N个通道是否使用压缩方法的2N种数据压缩方案,并模拟时间演化过程,即对M个数据帧的写入过程进行模拟,针对数据可用空间与写入数据属性和长度的关系,对压缩和非压缩数据采用不同的空间长度,以创建空间压缩的数据帧;演化至M个数据帧后结束,并得到M个数据帧中所有数据个数Z,选取每个无线传感设备的数据帧利用率最高时对应的数据压缩方案;所述压缩方法分为计算校正量DINC2和更新数据预测增量DINCl两步,
α表示DINCl的更新速率,范围为(0,1];j表示第i个数据通道的第j次压缩;初始化DINC10和CD0为0;DINC1和DINC2均不超过所述对应第i个通道的数据的相邻最大变化量Ci;
步骤5,所述现场上位机通过Wi-Fi路由器将所述实验名称、实验编号、数据帧格式、数据压缩方案发送至对应的无线传感设备和私有云数据库存储和使用;
步骤6,所述无线传感设备根据接收的数据帧格式和压缩方案,通过Wi-Fi路由器将经过格式优化和数据压缩的数据帧发送至私有云数据库或者现场上位机;
步骤7,所述现场上位机停止无线传感设备数据采集,并注销本次实验对应的私有云数据库中的实验编号;
步骤8,所述远程上位机可以通过连接私有云数据库获取历史数据和所述实验编号、数据帧格式、数据压缩方案等参数,最后进行解压缩和数据使用,所述解压缩步骤包括:
步骤1,判断压缩信息F数值,如果等于2,则进行以下所有步骤;如果等于1,则跳过步骤2;如果等于0,则不需要解压缩数据,跳过步骤2和3;
步骤2,解析得到所述压缩方法的数据预测增量(DINCl)和上一个数据数值(CD),以此初始化DINC1j-1和CDj-1;
步骤3,解析得到数据校正量DINC2j,利用公式得到解压缩数据CDj,并更新DINC1j,
CDj=DINC2j+DINC1j-1+CDj-1
DINC1j=DINC1j-1+α·DINC2j。
2.根据权利要求1所述的一种基于数据帧格式优化和数据压缩的无线数据采集系统,其特征在于,所述数据帧分为帧头部分和数据部分;
所述数据帧帧头部分包括B1位数据帧时间戳、B2位实验编号(TID)、B3位数据帧字节长度(DFL)、B4位无线传感设备编号(NID);所述数据帧时间戳包括年(YYYY)、月(MM)、日(DD)和计时值(TC),所述年占用14位,最大记录16384年,所述月占用4位,所述日占用5位,所述计时值占用位数(B1-23),支持最大计时时间不小于24小时;
所述数据帧数据部分每个数据都以2位压缩信息(F)、B5位数据通道编号(DID)、B6位数据采集时间增量(TINC)起始,后面跟随压缩数据或者非压缩数据:①压缩数据,该数据帧第一次加入该通道数据时,F为2,所述压缩数据包括所述压缩方法的数据预测增量(DINCl)、上一个数据数值(CD),和数据校正量(DINC2),非第一次加入该通道数据时,F为1,所述压缩数据只包括数据校正量(DINC2);②非压缩数据,F为0,只包含完整数据。
3.根据权利要求1所述的一种基于数据帧格式优化和数据压缩的无线数据采集系统,其特征在于,步骤2所述唯一实验编号由所述私有云数据库的实验编号管理变量管理;在所述现场上位机注册实验名称时,实验编号管理变量自动加1,并校验是否正在被其他实验使用,如果未被其他实验使用,则注册实验名称和对应实验编号并下发至所述上位机,如果正被其他实验使用,则重复上述步骤2操作,直至找到可利用的实验编号,若寻找超时,则将超时信息下发至所述上位机;如果现场上位机发送停止命令或者私有云数据库长时间未收到实验数据,则会注销实验编号,后面可被其他实验使用。
4.根据权利要求1所述的一种基于数据帧格式优化和数据压缩的无线数据采集系统,其特征在于,步骤3所述最小位数计算过程包括,首先获取存储对象的最大数值;然后所述最大数值按位右移K次使得结果等于0;最后将K作为最小位数。
5.根据权利要求1所述的一种基于数据帧格式优化和数据压缩的无线数据采集系统,其特征在于,步骤4所述模拟时间演化过程表示所述现场上位机计时器向上计时,每次计时操作后,进行以下步骤,直至模拟完成M个数据帧,同时记录M个数据帧中所有数据个数Z:
步骤1,根据每个数据通道的采样周期,判断是否有新数据加入;
步骤2,如果有数据加入,则判断数据帧数据部分可用空间是否可容纳该数据;否则进行步骤4;
步骤3,如果数据帧数据部分可用空间可容纳该数据,则数据帧数据部分可用空间长度减去该数据所占用的数据长度:对于压缩的数据,第一次加入该数据时,长度为2+B5+B6+2Ci+Di,非第一次加入该数据时,长度为2+B5+B6+Ci,对于不压缩的数据,长度为2+B5+B6+Di;如果数据帧数据部分可用空间不可容纳该通道数据,创建一个新的数据帧,重复步骤3;
步骤4,判断数据帧超过所述数据帧最长发送间隔,则创建新的数据帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910950130.4A CN110719577B (zh) | 2019-10-08 | 2019-10-08 | 一种基于数据帧格式优化和数据压缩的无线数据采集系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910950130.4A CN110719577B (zh) | 2019-10-08 | 2019-10-08 | 一种基于数据帧格式优化和数据压缩的无线数据采集系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110719577A CN110719577A (zh) | 2020-01-21 |
CN110719577B true CN110719577B (zh) | 2020-10-02 |
Family
ID=69212245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910950130.4A Active CN110719577B (zh) | 2019-10-08 | 2019-10-08 | 一种基于数据帧格式优化和数据压缩的无线数据采集系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110719577B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112533164B (zh) * | 2020-10-26 | 2023-10-10 | 中国人民解放军92942部队 | 一种提高可靠性测试中振动数据传输带宽的方法 |
CN113573273B (zh) * | 2021-08-02 | 2023-09-15 | 重庆优米工业自动化设备有限公司 | 一种基于蓝牙传输的无线智能采集同步方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1694429A (zh) * | 2005-05-20 | 2005-11-09 | 北京交通大学 | 一种IPv6传感器网络中支持压缩包并行传输的实现方法 |
WO2007019388A2 (en) * | 2005-08-08 | 2007-02-15 | Honeywell International Inc. | Data compression and abnormal situation detection in a wireless sensor network |
CN105300909A (zh) * | 2015-12-02 | 2016-02-03 | 重庆大学 | 基于直接光谱法的全天候长流域水质监测与预警系统 |
CN108900988A (zh) * | 2018-06-06 | 2018-11-27 | 天津大学 | 一种基于6LoWPAN的室内电子仪器温度监测方法 |
CN108965385A (zh) * | 2018-06-06 | 2018-12-07 | 中建八局第二建设有限公司 | 一种基于wsn的无线数据采集系统及采集方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101109605B1 (ko) * | 2007-04-18 | 2012-01-31 | 삼성전자주식회사 | 센서 네트워크에서의 헤더 압축 및 패킷 전달 방법 및 장치 |
CN102202349B (zh) * | 2011-05-18 | 2013-08-07 | 杭州电子科技大学 | 基于自适应最优消零的无线传感器网络数据压缩方法 |
CN105373583A (zh) * | 2015-10-12 | 2016-03-02 | 国家计算机网络与信息安全管理中心 | 基于数据压缩的支撑向量机建模方法 |
CN106603476B (zh) * | 2015-10-19 | 2021-02-12 | 中兴通讯股份有限公司 | 数据压缩方法及装置 |
CN108173620B (zh) * | 2016-12-08 | 2020-12-29 | 南京海道普数据技术有限公司 | 基于压缩网络编码的wsn异常数据发现系统实现方法 |
CN108495314A (zh) * | 2018-03-28 | 2018-09-04 | 燕山大学 | 基于混沌压缩感知加密的水下无线传感网络信息传输方法 |
-
2019
- 2019-10-08 CN CN201910950130.4A patent/CN110719577B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1694429A (zh) * | 2005-05-20 | 2005-11-09 | 北京交通大学 | 一种IPv6传感器网络中支持压缩包并行传输的实现方法 |
WO2007019388A2 (en) * | 2005-08-08 | 2007-02-15 | Honeywell International Inc. | Data compression and abnormal situation detection in a wireless sensor network |
CN105300909A (zh) * | 2015-12-02 | 2016-02-03 | 重庆大学 | 基于直接光谱法的全天候长流域水质监测与预警系统 |
CN108900988A (zh) * | 2018-06-06 | 2018-11-27 | 天津大学 | 一种基于6LoWPAN的室内电子仪器温度监测方法 |
CN108965385A (zh) * | 2018-06-06 | 2018-12-07 | 中建八局第二建设有限公司 | 一种基于wsn的无线数据采集系统及采集方法 |
Non-Patent Citations (1)
Title |
---|
无线传感器网络的信息处理研究;陈积明、林瑞仲、孙优贤;《仪器仪表学报》;20060930;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110719577A (zh) | 2020-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111125089B (zh) | 时序数据存储方法、装置、服务器及存储介质 | |
CN110719577B (zh) | 一种基于数据帧格式优化和数据压缩的无线数据采集系统 | |
CN110990159A (zh) | 一种基于历史数据分析的容器云平台资源配额预测方法 | |
CN102955977A (zh) | 一种基于云技术的能效服务方法及其能效服务平台 | |
CN111242807B (zh) | 一种变电站数据接入泛在电力物联网的方法 | |
CN109391629A (zh) | 轨道交通综合监控系统数据处理方法 | |
CN116582603B (zh) | 一种基于hplc+hrf通信的低压台区分钟级数据采集方法 | |
CN117834454B (zh) | 物联网设备协议适配的快速接入方法 | |
CN115278737B (zh) | 一种5g网络的数据采集方法 | |
CN117641157A (zh) | 一种用电信息采集终端的抄表方法 | |
CN107247797A (zh) | 基于Redis的电力调度自动化系统中时标量测数据存储系统和方法 | |
EP4092989B1 (en) | Measuring metrics of a computer network | |
CN117453398A (zh) | 一种提高供电可靠性的算力调度的智能优化方法及系统 | |
CN116132553A (zh) | 一种大数据传输优化方法及系统 | |
JP2019174872A (ja) | 情報取得装置、ゲートウェイ装置、プログラム、記録媒体、および方法 | |
CN112527805B (zh) | 一种无线电海量监测数据的实时回放方法 | |
WO2021147319A1 (zh) | 一种数据处理方法、装置、设备及介质 | |
JP2008219264A (ja) | データ圧縮転送装置、データ圧縮転送システム、データ圧縮転送方法、およびデータ圧縮転送プログラム | |
CN115307810A (zh) | 一种温度压力传感器的温度补偿方法及装置 | |
CN113947284B (zh) | 一种国土空间规划的数据合规性转换方法、装置及系统 | |
CN103353977A (zh) | 一种基于发电厂机组调节中优先选择重要遥测进行传输的方法 | |
CN115801598B (zh) | 一种物联网终端的远程管理方法及系统 | |
CN118093680B (zh) | 一种对热网计量数据的监管系统及方法 | |
US12126504B2 (en) | Measuring metrics of a computer network | |
CN115147008B (zh) | 基于数据湖技术电厂机组存储资源实时评估方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |