CN111835759B - 一种基于数据压缩的网络流量控制方法 - Google Patents

一种基于数据压缩的网络流量控制方法 Download PDF

Info

Publication number
CN111835759B
CN111835759B CN202010663372.8A CN202010663372A CN111835759B CN 111835759 B CN111835759 B CN 111835759B CN 202010663372 A CN202010663372 A CN 202010663372A CN 111835759 B CN111835759 B CN 111835759B
Authority
CN
China
Prior art keywords
data
field
length
uploaded
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010663372.8A
Other languages
English (en)
Other versions
CN111835759A (zh
Inventor
冯鸣
房明
王志双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhixin Yida Technology Co ltd
Guangdong Yuanyuan Technology Co ltd
Original Assignee
Beijing Zhixin Yida Technology Co ltd
Guangdong Yuanyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhixin Yida Technology Co ltd, Guangdong Yuanyuan Technology Co ltd filed Critical Beijing Zhixin Yida Technology Co ltd
Priority to CN202010663372.8A priority Critical patent/CN111835759B/zh
Publication of CN111835759A publication Critical patent/CN111835759A/zh
Application granted granted Critical
Publication of CN111835759B publication Critical patent/CN111835759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information

Abstract

本发明提供一种基于数据压缩的网络流量控制方法，目的在于实现对传输数据进行压缩、整合处理，提高传输效率，减少流量消耗，减轻基站负载压力，其特征在于：定义有用于数据上传的整合数据；设定每间隔时间T上传一次该整合数据；设备上电后按设定进行信息采集并生成若干组监测缓存数据；当到达上传时刻，设备读取需上传的配置类数据和监测缓存数据进行整合生成该整合数据，继而进行上传；其中，每次上传的若干组监测缓存数据为设备在对应的时间T内所获得。本申请通过定义传输数据格式、整合协议，将数据尽量压缩在最短，并将短数据合并整合成刚好一个网络数据包长度，极大限度的利用网络资源，减少流量消耗。

Description

一种基于数据压缩的网络流量控制方法
技术领域
本发明属于计算机网络技术领域，具体涉及一种基于数据压缩的网络流量控制方法。
背景技术
随着物联网技术的不断发展，越来越多的设备加入物联网阵营，其联网方式也较为多样，例如通过有线网络、wifi网络或者是移动运营商的2G/3G/4G/5G通讯基站进行联网；其中，基于移动运营商的联网方式具有较大的优势，相比于WiFi网络，其无需进行任何配网操作，设备通电即可自动联网在线；而相比于有线网络，其无需任何布线并且可以随意移动，在室外任何地方都可以使用，没有距离限制。
然而，基于移动运营商的联网方式的缺点也较为明显：由于目前移动流量费用相比宽带费用高，并且某些地区网络不稳定，不适合大量数据传输，若客户同时管理运营成千上万台设备，每年的流量费便是一笔不小的支出。同时，如果设备部署比较集中，全部都进行大量数据传输，对基站负载也会造成不小的压力，甚至使基站服务器宕机，影响其它基站资源。
发明内容
为了克服现有移动运营商基站联网方式存在的缺陷，本发明提供一种，目的在于实现对传输数据进行压缩、整合处理，使传输相同的数据量时数据长度更短、传输次数更少，提高传输效率，减少流量消耗，减轻基站负载压力。
本发明采用以下技术手段实现：
一种基于数据压缩的网络流量控制方法，其操作是：定义有用于数据上传的整合数据；设定每间隔时间T上传一次该整合数据；设备上电后按设定进行信息采集并生成若干组监测缓存数据；当到达上传时刻，设备读取需上传的配置类数据和监测缓存数据进行整合生成该整合数据，继而进行上传；其中，每次上传的若干组监测缓存数据为设备在对应的时间T内所获得。
于本发明的一个或多个实施例当中，该整合数据的格式包含有定长数据段和不定长数据段；该定长数据段对应存储若干组内容固定的配置类数据；该不定长数据段用于存储若干组由设备所获得的监测缓存数据，并于每组监测缓存数据的开头标记有其数据长度。
于本发明的一个或多个实施例当中，设定采样间隔为t，则每个整合数据中包含有
Figure BDA0002579439280000021
组监测缓存数据。
于本发明的一个或多个实施例当中，定义有用于标识数据类型的类型码，该些类型码至少包括用于标识配置类数据、监测缓存数据和整合数据的类型码；定义有各类型数据的内容字段及内容字段长度，各数据以“类型码+内容字段”的格式进行存储。
于本发明的一个或多个实施例当中，该配置类数据包括基站信息数据和配置信息数据；该基站信息数据的定义为：类型码字段、lac字段、ci字段、rssi字段和ta字段；该配置信息数据的定义为：类型码字段、collect_spac字段、upload_spac字段和version字段。
于本发明的一个或多个实施例当中，该监测缓存数据包括温度缓存数据或/和湿度缓存数据；该监测缓存数据的定义为：类型码字段、timestamp字段、collect_spac字段和data[n]字段，其中n为采样的数据点数；在对应温度缓存数据时，该data[n]字段的长度为n*2字节；在对应湿度缓存数据时，该data[n]字段的长度为n字节。
于本发明的一个或多个实施例当中，该整合数据的定义为：类型码字段、lbsData字段、configInfo字段和TempData字段和RHdata字段；该lbsData字段用于存储基站信息数据，该configInfo字段用于存储配置信息数据，该TempData字段用于存储温度缓存数据，该RHdata字段用于存储湿度缓存数据。
于本发明的一个或多个实施例当中，定义有ICCID信息数据，该ICCID信息数据仅在设备上电时上传。
于本发明的一个或多个实施例当中，该整合数据的长度少于或等于1K字节。
本发明的有益效果是：定义传输数据格式、整合协议，将数据尽量压缩在最短，并将短数据合并整合成刚好一个网络数据包长度(约1K字节)，极大限度的利用网络资源，减少流量消耗。根据实测统计，设定单个设备每5分钟监测一次温湿度数据，每2小时联网上报一次共24组历史温湿度数据的情况下，实现了每月消耗流量不超过0.4M，将流量费用降到了最低。
附图说明
图1为本发明的数据上传流程图。
具体实施方式
如下结合附图1，对本申请方案作进一步描述：
一种基于数据压缩的网络流量控制方法，其操作是：定义有用于数据上传的整合数据；设定每间隔时间T＝2小时上传一次该整合数据，设定采样间隔为t-5分钟，则每个整合数据中包含有24组监测缓存数据；
设备上电后按设定进行信息采集并生成若干组监测缓存数据；
当到达上传时刻，设备读取需上传的配置类数据和监测缓存数据进行整合生成该整合数据，继而进行上传；其中，每次上传的若干组监测缓存数据为设备在对应的时间T内所获得。具体的：
定义有用于标识数据类型的类型码，该些类型码至少包括用于标识ICCID信息数据(集成电路卡识别码，即Integrate circuit card identity，或称为SIM卡卡号)、基站信息数据、配置信息数据、温度缓存数据、湿度缓存和整合数据的类型码；参见下表1。
表1数据的类型码定义
Figure BDA0002579439280000041
定义有各类型数据的内容字段及内容字段长度，参见下表2。
表2数据格式长度定义
Figure BDA0002579439280000042
Figure BDA0002579439280000051
各数据以“类型码+内容字段”的格式进行存储。
1)该基站信息数据的定义为：类型码字段、lac字段(位置区编码)、ci字段(即CellID，基站编号)、rssi字段(移动网络信号强度)和ta字段；即，类型码0x01指向的基站信息数据定义：：
类型码 lac ci rssi ta
1字节 2字节 2字节 1字节 1字节
2)该配置信息数据的定义为：类型码字段、collect_spac字段、upload_spac字段和version字段；即，类型码0x03指向的配置信息数据定义：
Figure BDA0002579439280000052
Figure BDA0002579439280000061
3)该温度缓存数据和湿度缓存数据的定义为：类型码字段、timestamp字段、collect_spac字段和data[n]字段；其中，n为采样的数据点数；在对应温度缓存数据时，该data[n]字段的长度为n*2字节；在对应湿度缓存数据时，该data[n]字段的长度为n字节。
即，类型码0x07指向的温度缓存数据定义：
类型码 timestamp collect_spac data[n]
1字节 4字节 1字节 n*2字节
即，类型码0x08指向的湿度缓存数据定义：
类型码 timestamp collect_spac data[n]
1字节 4字节 1字节 n字节
4)该整合数据的定义为：类型码字段、lbsData字段、configInfo字段和TempData字段和RHdata字段；该lbsData字段用于存储基站信息数据，该configInfo字段用于存储配置信息数据，该TempData字段用于存储温度缓存数据，该RHdata字段用于存储湿度缓存数据；参见表3。
表3数据整合定义
Figure BDA0002579439280000062
Figure BDA0002579439280000071
表3中，TempData字段的“0010”表示温度缓存数据的长度，RHdata字段的“000”表示湿度缓存数据的长度。
现有的数据上传方案中，每条上传至云端的数据都会包含ICCID信息数据、基站信息数据、配置信息数据等内容固定的数据，显然增大了数据流量；对此，本申请的处理思路是：
对于固定不变的数据，如ICCID信息数据，设备仅在上电时上传，运行过程中不重发送；
在整合数据中，对于数据长度固定的配置类数据，如基站信息数据和配置信息数据，则定义“类型码+数据”的形式；对于数据长度不固定的监测缓存数据，则定义“数据长度+类型码+数据”的形式；这样，对于公用部分的配置类数据仅需发送一次，极大地节省了流量，而且通过数据长度则可以准确对监测缓存数据进行解释。
通过数据采集、整合、压缩，让整合数据的长度尽量接近但不超过1K，做到最优传输。
上述优选实施方式应视为本申请方案实施方式的举例说明，凡与本申请方案雷同、近似或以此为基础作出的技术推演、替换、改进等，均应视为本专利的保护范围。

Claims (4)

1.一种基于数据压缩的网络流量控制方法，其特征在于：
定义有用于数据上传的整合数据；
设定每间隔时间T上传一次该整合数据；
设备上电后按设定进行信息采集并生成若干组监测缓存数据；当到达上传时刻，设备读取需上传的配置类数据和监测缓存数据进行整合生成该整合数据，继而进行上传；其中，每次上传的若干组监测缓存数据为设备在对应的时间T内所获得；
该整合数据的格式包含有定长数据段和不定长数据段，并定义有用于标识数据类型的类型码，该些类型码至少包括用于标识配置类数据、监测缓存数据和整合数据的类型码；
该定长数据段对应存储若干组内容固定的配置类数据，其数据形式为“类型码+数据”，该配置类数据包括基站信息数据和配置信息数据；
该基站信息数据的定义为：类型码字段、lac字段、ci字段、rssi字段和ta字段，其中，lac字段为基站位置区编码，ci字段为基站编号，rssi字段为信号强度，ta字段为最大时间提前量；
该配置信息数据的定义为：类型码字段、collect_spac字段、upload_spac字段和version字段，其中，collect_spac字段为温湿度数据采集周期，upload_spac字段为温湿度上传周期，version字段为固件版本；
该不定长数据段用于存储若干组由设备所获得的监测缓存数据，并于每组监测缓存数据的开头标记有其数据长度，其数据形式为“数据长度+类型码+数据，该监测缓存数据包括温度缓存数据或/和湿度缓存数据；
该监测缓存数据的定义为：类型码字段、timestamp字段、collect_spac字段和data[n]字段，其中，timestamp字段为时间戳，collect_spac字段为温湿度数据采集周期，n为采样的数据点数，data[n]字段为第n个数据点处的温度缓存数据或湿度缓存数据；在对应温度缓存数据时，该data[n]字段的长度为n*2字节；在对应湿度缓存数据时，该data[n]字段的长度为n字节；
该整合数据的定义为：类型码字段、lbsData字段、configInfo字段和TempData字段和RHdata字段；
该lbsData字段用于存储基站信息数据，该configInfo字段用于存储配置信息数据，该TempData字段用于存储温度缓存数据，该RHdata字段用于存储湿度缓存数据。
2.根据权利要求1所述的基于数据压缩的网络流量控制方法，其特征在于：设定采样间隔为t，则每个整合数据中包含有
Figure FDA0003988239210000021
组监测缓存数据。
3.根据权利要求1或2所述的基于数据压缩的网络流量控制方法，其特征在于：定义有ICCID信息数据，该ICCID信息数据仅在设备上电时上传。
4.根据权利要求1或2所述的基于数据压缩的网络流量控制方法，其特征在于：该整合数据的长度少于或等于1K字节。
CN202010663372.8A 2020-07-10 2020-07-10 一种基于数据压缩的网络流量控制方法 Active CN111835759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010663372.8A CN111835759B (zh) 2020-07-10 2020-07-10 一种基于数据压缩的网络流量控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663372.8A CN111835759B (zh) 2020-07-10 2020-07-10 一种基于数据压缩的网络流量控制方法

Publications (2)

Publication Number Publication Date
CN111835759A CN111835759A (zh) 2020-10-27
CN111835759B true CN111835759B (zh) 2023-02-03

Family

ID=72900549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663372.8A Active CN111835759B (zh) 2020-07-10 2020-07-10 一种基于数据压缩的网络流量控制方法

Country Status (1)

Country Link
CN (1) CN111835759B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071384B (zh) * 2021-11-29 2022-11-04 国网北京市电力公司 短数据包传输方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167750A (zh) * 2018-07-06 2019-01-08 北京金山安全软件有限公司 一种数据包传输方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3013058A4 (en) * 2013-06-19 2017-02-15 LG Electronics Inc. Broadcasting transmission/reception apparatus and broadcasting transmission/reception method
CN105227634A (zh) * 2015-08-31 2016-01-06 徐州工程学院 一种基于居民健康档案的二进制数据压缩及加密方法
CN106877506B (zh) * 2017-03-23 2019-06-07 佛山电力设计院有限公司 一种配电网电压越限监测数据的传输协议压缩方法
CN110351681A (zh) * 2019-07-31 2019-10-18 鄂尔多斯市环境监测检验有限公司 一种用于环境监测的数据采集方法
CN110830437B (zh) * 2019-09-25 2022-06-10 平安科技（深圳）有限公司 高频业务数据的数据压缩方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167750A (zh) * 2018-07-06 2019-01-08 北京金山安全软件有限公司 一种数据包传输方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111835759A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US9752895B2 (en) Methods and systems of reading utility meters and methods and systems of transmitting utility meter data
CN111934751B (zh) 一种基于北斗短报文的农业环境数据采集系统及方法
CN106027678A (zh) 一种景区游客人流量实时统计和人流超限自动预警系统及方法
CN111835759B (zh) 一种基于数据压缩的网络流量控制方法
WO2006052459A1 (en) Data collector with wireless server connection
CN107332909B (zh) 一种实现数据传输的方法及装置
EP1772998A3 (en) Method for a wireless station to determine network metrics prior to associating with an access point
CN106230904A (zh) 空调机组的数据上传方法及装置
CN110943750A (zh) 一种列车远程无线通信装置及方法
CN101908265A (zh) 无线温湿度监测系统
CN103986635A (zh) 一种电动汽车充电分散桩组网系统及方法
CN102684844B (zh) Beacon帧的发送、接收方法及接入点AP、无线客户端
CN109525370B (zh) 基于zigbee的数据包发送方法
CN111897510A (zh) 多媒体设备的音量调节方法、装置及计算机可读存储介质
CN109831510A (zh) 物联网数据处理系统及方法
US20110131255A1 (en) Wireless base station device and operation information collection method for the same
CN103196489A (zh) 基于WiFi的粮库温湿度数据采集系统
CN106210107B (zh) 动物体温采集方法和系统
CN110012444B (zh) 一种用于珍贵植物保护的个体无线监测系统的工作方法
CN110798476A (zh) 燃料电池系统的can总线数据处理方法及系统
CN102882926B (zh) 燃气轮机传感器数据的远程传输系统及传输方法
CN104754038A (zh) 一种对分布式粮库中粮食的监测方法及装置
CN201181946Y (zh) 一种天气预报广告信息机
CN109729154B (zh) 一种基于控制器的简单消息订阅发布服务方法
CN109559155B (zh) 一种基于NB-Iot的广告更新系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Tangtou community, Shiyan street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: Guangdong Yuanyuan Technology Co.,Ltd.

Applicant after: Beijing Zhixin Yida Technology Co.,Ltd.

Address before: 518000 Tangtou community, Shiyan street, Bao'an District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Fountain Head Technology Development Co.,Ltd.

Applicant before: Beijing Zhixin Yida Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant