CN117041359A - 一种信息数据高效压缩传输方法 - Google Patents
一种信息数据高效压缩传输方法 Download PDFInfo
- Publication number
- CN117041359A CN117041359A CN202311301357.9A CN202311301357A CN117041359A CN 117041359 A CN117041359 A CN 117041359A CN 202311301357 A CN202311301357 A CN 202311301357A CN 117041359 A CN117041359 A CN 117041359A
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- compression
- environmental monitoring
- taking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 title claims abstract description 107
- 230000006835 compression Effects 0.000 title claims abstract description 106
- 230000005540 biological transmission Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012544 monitoring process Methods 0.000 claims abstract description 124
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000013144 data compression Methods 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims description 116
- 238000004458 analytical method Methods 0.000 claims description 16
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 15
- 229910052760 oxygen Inorganic materials 0.000 claims description 15
- 239000001301 oxygen Substances 0.000 claims description 15
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 14
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 10
- 230000001174 ascending effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 229910002092 carbon dioxide Inorganic materials 0.000 claims description 5
- 239000001569 carbon dioxide Substances 0.000 claims description 5
- 229910002091 carbon monoxide Inorganic materials 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 8
- 239000000126 substance Substances 0.000 description 18
- 241000196324 Embryophyta Species 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000007789 gas Substances 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241001048891 Jatropha curcas Species 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数字信息传输技术领域,提出了一种信息数据高效压缩传输方法,包括:获取环境监测数据的信息数据序列;根据环境监测数据的数据稳定性以及相互影响特征获取传输质量指数;根据环境监测序列中每个元素与其对应标准值以及传输质量指数获取环境警示指数;根据每个时刻确定的延时影响序列获取每个时刻的潜在警示系数;根据压缩字典中键值对出现时的压缩因子向量获取数据侧重度;根据键值对的数据侧重度的分类结果获取压缩字典的更新规则;利用数据压缩算法基于更新规则得到压缩后的监测信息数据,将监测信息数据作为传输内容。本发明有选择性的对压缩字典进行更新,解决了LZW压缩算法中固定压缩字典造成数据压缩效果较差的问题。
Description
技术领域
本发明涉及数字信息传输技术领域,具体涉及一种信息数据高效压缩传输方法。
背景技术
随着物联网技术的高速发展,物联网设备产生的数据量呈现指数爆炸式的增长趋势,对于物联网数据直接进行传输,一方面增加了物联网设备的数据传输和接收功耗,另一方面对云服务器的存储与计算带来了巨大挑战,故通常需要对物联网设备所产生的数据进行压缩处理后,再将其传输到云服务器中进行存储与计算。
传统的数据压缩算法如LZW压缩算法,是一种高效的无损压缩算法,压缩速度较快,适用于多种类型的数据,如文本、图像、音频等,且具有较高的压缩比,但在压缩与解压的过程中,需要建立和维护一个字典来存储已经出现过的数据,而字典的大小通常是固定的,在字典被填满后便不再向其中添加新的编码值,因此当压缩字典处于填满状态时如果没有进行合理的更新将会导致对后续数据的压缩效果较差,从而降低整体的数据压缩比。
发明内容
本发明提供一种信息数据高效压缩传输方法,以解决LZW压缩算法中压缩字典不更新导致数据压缩比低、压缩效果较差的问题,所采用的技术方案具体如下:
本发明一个实施例一种信息数据高效压缩传输方法,该方法包括以下步骤:
获取每种环境监测数据的信息数据序列,所述环境监测数据包括温度、相对湿度、氧气浓度、二氧化碳浓度、一氧化碳浓度、甲烷浓度;
根据信息数据序列的数据稳定性以及环境监测数据之间的相互影响特征获取每种环境监测数据的传输质量指数;
根据每个时刻环境监测序列中每个元素与其对应标准值以及所述传输质量指数获取每个时刻的环境警示指数;根据每个时刻确定的延时影响序列中每个延时时刻的环境警示指数获取每个时刻的潜在警示系数;
将每个时刻的环境警示指数、潜在警示系数构建的向量作为每个时刻的压缩因子向量,根据压缩字典中每个键值对每次出现时的压缩因子向量获取每个键值对的数据侧重度;根据所有键值对的数据侧重度的分类结果获取压缩字典的更新规则;利用数据压缩算法基于所述压缩字典的更新规则得到压缩后的监测信息数据,将监测信息数据作为传输内容。
优选的,所述根据信息数据序列的数据稳定性以及环境监测数据之间的相互影响特征获取每种环境监测数据的传输质量指数的方法为:
根据每种环境监测数据的信息数据序列及其预测序列获取每种环境监测数据的压缩质量指数;
将每种环境监测数据的差异序列的分布方差与预设参数的和作为分母,将所述压缩质量指数与分母的比值作为每种环境监测数据的传输质量指数。
优选的,所述根据每种环境监测数据的信息数据序列及其预测序列获取每种环境监测数据的压缩质量指数的方法为:
将每一种环境监测数据记为分析数据,将分析数据的信息数据序列与任意一种环境监测数据的信息数据序列之间的相似性度量结果作为第一相似度;
将分析数据的预测序列与任意一种环境监测数据的预测序列之间的相似性度量结果作为第二相似度;
将第一相似度与第二相似度之和在所有种环境监测数据上累加的均值作为分析数据的压缩质量指数。
优选的,所述每种环境监测数据的差异序列的获取方法为:
利用预测算法获取每种环境监测数据的预测序列,获取每种环境监测数据的预测序列与信息数据序列之间相同次序的元素之间的差值绝对值,将所述差值绝对值按照时间升序的顺序组成的序列作为每种环境监测数据的差异序列。
优选的,所述根据每个时刻环境监测序列中每个元素与其对应标准值以及所述传输质量指数获取每个时刻的环境警示指数的方法为:
将每个时刻下每种环境监测数据的信息数据序列中的元素值与每种环境监测数据的安全标准值之间的差值作为每个时刻下每种环境监测数据的警示值;
获取所述警示值与每种环境监测数据的传输质量指数的乘积,将以所述乘积在每个时刻上的累加为指数,以自然常数为底数的计算结果作为每个时刻的环境警示指数。
优选的,所述根据每个时刻确定的延时影响序列中每个延时时刻的环境警示指数获取每个时刻的潜在警示系数的方法为:
将每个时刻之前相邻的预设数量个时刻按照时间升序的顺序组成的序列作为每个时刻的延时影响序列,将所述延时影响序列中的每个元素标记为每个时刻的延时时刻;
将所述延时影响序列中后一延时时刻的环境警示指数与前一延时时刻的环境警示指数的比值与预设参数的差值作为映射函数的输入,将所述延时影响序列上所述映射函数的输出结果的均值作为每个时刻的潜在警示系数。
优选的,所述根据压缩字典中每个键值对每次出现时的压缩因子向量获取每个键值对的数据侧重度的方法为:
根据每个键值对中每个原始数据在原始信息传输序列中每次出现时的压缩因子向量获取每个键值对中每个原始数据的侧重距离;
将所述侧重距离在每个键值对中所有原始数据上的累加作为分子;
将每个键值对中所有原始数据组成的字符串记为原始数据串,将每个键值对中所有原始数据的数量与所述原始数据串在原始信息传输序列中出现次数的乘积作为分母;
将分子与分母的比值作为每个键值对的数据侧重度。
优选的,所述根据每个键值对中每个原始数据在原始信息传输序列中每次出现时的压缩因子向量获取每个键值对中每个原始数据的侧重距离的方法为:
分别利用所有时刻的环境警示指数、潜在警示系数构建横、纵坐标轴,将所述横、纵坐标轴组成的坐标系作为侧重坐标系;
获取每个键值对中每个原始数据在原始信息传输序列中每次出现时刻的压缩因子向量,将所述压缩因子向量与侧重坐标系原点之间的欧式距离作为所述每个原始数据的侧重距离。
优选的,所述根据所有键值对的数据侧重度的分类结果获取压缩字典的更新规则的方法为:
利用数据聚类算法获取所有键值对的数据侧重度的分类结果,根据每个聚类簇的中心点对应的数据侧重度获取每个聚类簇的侧重度等级;
将每个聚类簇中所有键值对组成的压缩字典作为一个字典块,当压缩字典处于填满状态时,将侧重等级中极低侧重度对应的字典块中删除预设比例的键值对作为压缩字典的更新规则。
优选的,所述利用数据聚类算法获取所有键值对的数据侧重度的分类结果,根据每个聚类簇的中心点对应的数据侧重度获取每个聚类簇的侧重度等级的方法为:
将所有键值对的数据侧重度作为聚类算法的输入,利用聚类算法得到预设数量个聚类簇;
获取所有聚类簇的中心点对应键值对的数据侧重度按照降序顺序的排列结果,根据所述排列结果标记每个聚类簇的侧重度等级;
所述侧重度等级由低到高分别标记为极低侧重度、低侧重度、中等侧重度、高侧重度、极高侧重度。
本发明的有益效果是:本发明通过分析化工厂环境监测数据的特点,根据不同种监测数据对人体的危害标准将化信息数据序列中的元素初步分为安全环境数据与异常环境数据,将安全环境数据统一替换为最低安全标准数据,提高原始信息传输序列中原始数据的重复率,其有益效果在于能够提高压缩时的压缩比,提高信息传输速度;其次通过分析环境监测数据的稳定性以及不同种环境监测数据之间的相互影响特征构建传输质量指数,传输质量指数反映了不同种环境监测数据的受重视程度;并基于传输质量指数得到环境警示指数以及潜在警示系数,便于后续对压缩字典的分块处理;其次构建数据侧重度,用于反映压缩字典中键值对的重要程度,其有益效果在于对原始信息传输序列中原始数据进行压缩时,选择性的对字典块中所存储的键值对进行更新处理,解决了传统的LZW压缩算法字典不更新导致对后续数据压缩效果较差的问题,提高了整体的数据压缩比。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种信息数据高效压缩传输方法的流程示意图;
图2为本发明一个实施例所提供的侧重坐标系的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明一个实施例提供的一种信息数据高效压缩传输方法流程图,该方法包括以下步骤:
步骤S001,获取每种环境监测数据的信息数据序列。
现阶段物联网设备应用在多个领域中,本发明以化工厂内的物联网设备为例进行描述,所述化工厂内物联网设备包括温度传感器、湿度传感器与气体浓度传感器,通过上述传感器获取每种环境监测数据的信息数据序列,所述环境监测数据包括温度、相对湿度、氧气浓度、二氧化碳浓度、一氧化碳浓度、甲烷浓度共6种环境监测数据。其中,通过温度传感器采集化工厂内温度数据,通过湿度传感器采集湿度数据,通过气体浓度传感器采集氧气浓度、二氧化碳浓度、一氧化碳浓度与甲烷浓度数据,相邻两次采集时刻的时间间隔为T,本发明中T的大小取经验值5s,采集次数为n,本发明中n的大小取经验值300。
其次对每种环境监测数据的信息数据序列进行预处理,所述预处理包括缺失值填充、归一化两个步骤。首先由于采集数据可能存在缺失值等异常情况,故需要对缺失值进行填充处理,常用的缺失值填充方法有众数填充、中位数填充、回归填充等,为保留数据间的变化关系,本发明使用回归填充法对缺失值进行填充处理,其次为避免数据量纲不同导致对后续计算结果产生影响,本发明对填充处理后的数据使用Z-score方法进行归一化处理。其中回归填充法与Z-score归一化方法为公知技术,具体过程本发明不再赘述。将预处理后第k种环境监测数据的信息数据序列记为,其中,/>是第k种环境监测数据第1个采集时刻的预处理后的数据,/>是第k种环境监测数据第2个采集时刻的预处理后的数据,/>是第k种环境监测数据第n个采集时刻的预处理后的数据。
至此,得到每种环境监测数据的信息数据序列,用于后续压缩字典更新规则的获取。
步骤S002,根据信息数据序列的数据稳定性以及环境监测数据之间的相互影响特征获取每种环境监测数据的传输质量指数。
在化工厂内的生产过程中,为保障生产活动的安全进行,应尽可能的传输有效信息数据,即传输信息量较多的数据,如环境突变、甲烷等有害气体浓度较高等,对于正常环境下的信息数据应当尽可能的进行压缩,达到较高的压缩比,而对于异常的监测信息数据应当尽可能的无损压缩,需要说明的是上述异常的监测信息数据是指对化工厂生产过程中员工有危害的数据,例如超过安全标准的甲烷气体浓度、过高的温度等,使得云服务器接收到的数据尽可能真实有效,从而进行合理的分析。
为了实现对环境监测数据的高效压缩传输,本发明通过分析每种环境监测数据的数据稳定性以及不同种环境监测数据之间的相关性大小评估每种环境监测数据的重要程度。
利用上述步骤中的传感器,分别获取每种环境监测数据m个历史时刻的数据,对于任意一种环境监测数据,将其对应信息数据序列中的每个时刻作为一个预测时刻,将m个历史时刻的数据作为预测算法的输入,首先利用指数移动平均EMA算法获取每个预测时刻每种环境数据的预测值,获取预测值与采集值的差值,通过差值评估每种环境数据的稳定性,指数移动平均EMA算法为公知技术,具体过程不再赘述,将第k种环境监测数据序列中每个采集时刻预测值按照时间升序组成的预测序列记为,其中,/>是k种环境监测数据序列中第2个采集时刻的预测值,获取每种环境监测数据同一时刻下采集数据与预测数据之间的差值绝对值,将所述差值绝对值按照时间升序组成的序列作为差异序列,将第k种环境监测数据的差异序列记为/>,其中,/>是k种环境监测数据序列中第2个采集时刻采集值与预测值之间的差值的绝对值。
其次分析每种环境数据之间的相关性,相关性越大,说明两种环境数据之间的相互影响越严重,当其中一种环境数据异常时,与此类环境数据相关性较大的环境数据也有较大可能出现异常。例如随着温度升高时,氧气浓度会降低;空气中的湿度越大,含氧量越小,氧气浓度越低。因此如果一种环境数据与每种环境数据都存在较强的相关性,那么此类环境数据越应该受到重视,在数据传输过程中,越应该保证此类环境数据的压缩效果。
基于上述分析,此处构建传输质量指数R,用于表征每种环境监测数据在压缩传输过程中传输质量的需求高低,计算第k种环境监测数据的传输质量指数:
式中,是第k种环境监测数据的压缩质量指数,K是本发明中采集的环境监测数据种类,K的大小取经验值6,/>、/>分别是第k种、第a种环境监测数据的信息数据序列,/>、分别是第k种、第a种环境监测数据的预测序列,/>和/>分别是序列/>与/>、与/>之间的皮尔逊相关系数,皮尔逊相关系数为公知技术,具体过程不再赘述;
是第k种环境监测数据的传输质量指数,/>是第k种环境监测数据的差异序列中所有元素的分布方差,/>是调参因子,/>的作用是防止分母为0的现象发生,/>的大小取经验值0.001。
其中,数据采集结果中第k种、第a种环境监测数据的信息数据序列越相似,第一相似度的值越大,说明数据采集结果中第k种、第a种环境监测数据的信息数据序列对应位置的元素数值较为接近或者相等;预测序列中元素的分布特征越相似,第二相似度的值越大,说明两个预测序列中对应位置的元素数值较为接近或者相等;第k种环境监测数据真实采集结果与预测结果的差异越小,数据的稳定性越强,差异序列中元素的分布方差越小,/>的值越小;即/>的值越大,第k种环境监测数据与其余监测环境数据的相关性越大,第k种环境监测数据越会受到重视,第k种环境监测数据的压缩质量应该越高。
至此,得到每种环境监测数据的传输质量指数,由于后续环境警示指数的计算。
步骤S003,基于传输质量指数得到环境警示指数,根据延时影响序列中每个延时时刻的环境警示指数确定潜在警示系数。
本发明根据化工厂生产过程中的相关现有规定,对每种环境监测序列中的信息数据序列中的元素进行初步划分,根据不同环境监测数据对应的安全标准,分别将温度、相对湿度、一氧化碳浓度、二氧化碳浓度、氧气浓度、甲烷的安全标准值设置为22℃、40%、、0.1%、19.5%、5.0vol%,根据每种环境监测数据的信息数据序列中每个元素与其对应安全标准值的大小将所述元素分为安全环境数据、异常环境数据,具体的,将每种环境监测数据的信息数据序列中大于等于其对应的安全标准值的元素划分为安全环境数据;将每种环境监测数据的信息数据序列中小于其对应的安全标准值的元素划分为异常环境数据。举例而言,第n个采集时刻的氧气浓度数据为22%,高于其对应的安全标准值19.5%,则将第n个采集时刻的氧气浓度数据划分为安全环境数据;第n-1个采集时刻的氧气浓度数据为18.2%,低于其对应的安全标准值19.5%,则将第n个采集时刻的氧气浓度数据划分为异常环境数据。
进一步的,为了在不影响云服务器最终决策结果的前提下达到较高的压缩效率,对于任意一种环境监测数据,本发明将每一种环境监测数据中的安全环境数据同一更新为安全标准值,对于异常环境数据不进行额外处理。举例而言,第n个采集时刻氧气浓度数据为22%,第n个采集时刻相对湿度数据为43%,则第n个采集时刻的氧气浓度数据、相对湿度数据都为安全环境数据,则分别将第n个采集时刻的氧气浓度数据、相对湿度数据更新为19.5%、40%。
基于上述划分后的信息数据序列中的元素计算环境警示指数,用于表征每个时刻化工厂中的环境对生产安全的异常程度,计算第t个采集时刻的环境警示指数:
式中,是第t个采集时刻的环境警示指数,/>是以自然常数为底数,以()内的数据为指数的指数函数,K是本发明中采集的环境监测数据种类,K的大小取经验值6,/>是第k种环境监测数据的传输质量指数,/>是信息数据序列/>中第t个元素,/>是第k种环境监测数据的安全标准值。
其中,第t个采集时刻下化工厂中环境与安全标准环境差异越大,化工厂环境越可能存在安全风险,的值越大,环境警示指数/>越大,如果第t个采集时刻下化工厂中多种环境监测数据与其对应的安全标准值均具有差异较大,此时化工厂内环境异常程度的增长趋势更大,第t个时刻的信息数据序列中的元素越应该进行高质量的压缩。
进一步的,化工厂内环境的变化通常不是一瞬间完成的,而是存在一个环境变化的过程,据此本发明通过上述步骤所得各时间点的环境警示指数构建化工厂环境在每个采集时刻的潜在警示系数V。对于任意一个采集时刻,每个采集时刻的环境受到之前采集时刻环境的影响,因此对于任意一个采集时刻,取每个采集时刻之前M个采集时刻,将所述M个采集时刻按照时间升序的顺序组成的序列作为每个采集时刻的延时影响序列,将延时影响序列中的每个时刻标记为每个采集时刻的延时时刻,将第t个采样时刻的延时影响序列记为,其中,/>是第t个采集时刻的第2个延时时刻,M的大小取经验值12。
根据上述分析,计算第t个采集时刻的潜在警示系数:
式中,第t个采集时刻的潜在警示系数,M是延时影响序列中的元素数量,/>、分别是延时影响序列记为/>中第j个、第j+1个延时时刻的环境警示指数,/>函数是映射函数,减一的目的在于/>函数对0附近的值比较敏感,可以更好的监测相邻时刻环境警示指数的变化。
其中,第j个、第j+1个延时时刻下化工厂内的环境情况变化越大,环境警示指数、/>的差异越大,/>与1之间的差值越大,映射函数的函数值/>越大,/>的值越大。
至此,得到每个采集时刻的环境警示指数、潜在警示系数,用于后续数据侧重度的计算。
步骤S004,基于压缩因子向量获取每个键值对的数据侧重度,根据数据侧重度获取压缩字典的更新规则,基于压缩字典的更新规则得到压缩后的监测信息数据。
本发明中,数据压缩的对象是上述初始划分后的数据,即每种环境监测数据的安全环境数据以及异常环境数据,对于所有环境监测数据的安全环境数据、异常环境数据,按照传输质量指数降序的顺序进行排序,将排列结果记为原始信息传输序列,将原始信息传输序列中的每个元素记为原始数据,将原始信息传输序列作为LZW压缩算法的压缩对象,利用LZW压缩算法获取原始信息传输序列压缩过程中的处于填满状态时的压缩字典D。对于压缩字典D而言,其中包含原始数据、原始数据串、原始数据对应的编码值、以及原始数据串对应的编码值,在本发明中,将每个原始数据及其对应的编码值作为一个键值对,将每个原始数据串及其对应的编码值同样作为一个键值对。举例而言,假设原始数据18对应的编码值为A,则原始数据18对应的键值对为;假设原始数据串181914对应的编码值为BGF,则原始数据串181914对应的键值对为/>。为了方便后续分析,以压缩字典中D中第p个键值对中为原始数据串为例,进行后续分析。键值对中为原始数据的分析与键值对中为原始数据串的分析过程相同,不再重复赘述。
进一步的,对于任意一个采集时刻,将每个采集时刻的环境警示指数、潜在警示系数组成的向量记为每个采集时刻的压缩因子向量,将第t个采集时刻的压缩因子向量记为,其次将所有采集时刻的环境警示指数组成横坐标、由所有采集时刻的潜在警示系数组成纵坐标,将所述横纵坐标组成的坐标系记为侧重坐标系,如图2所示。
根据上述分析,此处构建数据侧重度,用于表征压缩字典D中每个键值对的压缩重要程度,计算第p个键值对的数据侧重度:
式中,是压缩字典D中第p个键值对的数据侧重度,/>是压缩字典D中第p个键值对中原始数据串出现的次数,/>是压缩字典D中第p个键值对中原始数据的数量,/>是压缩字典D中第p个键值对第q次出现时第f个原始数据对应的采集时刻的压缩因子向量,是压缩因子向量/>的侧重距离,所述侧重距离的大小等于侧重坐标系中每个压缩因子向量到坐标原点的欧式距离。
其中,采集时刻环境警示指数、潜在警示系数的值越大,表面此采集时刻下化工厂内环境异常程度和异常变化区域越严重,此采集时刻的的压缩因子向量到坐标系原点的侧重距离越大,的值越大,该采集时刻的原始数据越应该被无损、高效压缩传输。
根据上述步骤,分别获取每个键值对的数据侧重度,其次将所有键值对的数据侧重度作为K-means算法的输入,K-means算法中聚类簇的数量设置为5,利用K-means算法获取数据侧重度的分类结果,K-means算法为公知技术,具体过程不再赘述。分别获取每个聚类簇的中心点对应的数据侧重度,将所有聚类簇的中心点的数据侧重度按照降序顺序的排列,根据排列结果标记每个聚类簇的侧重度等级,所述侧重度等级由低到高分别标记为极低侧重度、低侧重度、中等侧重度、高侧重度、极高侧重度,将排列结果中每个元素的侧重度按照上述侧重度等级由低到高的顺序标记,举例而言,将排列结果中第一个元素对应的聚类簇内的键值对的侧重度标记为极高侧重度,排列结果中最后一个元素对应的聚类簇内的键值对的侧重度标记为极低侧重度。
根据键值对的分类结果对压缩字典D进行分块处理,即每个聚类簇对应一个字典块,当LZW算法压缩原始信息传输序列过程中得到压缩字典D后,将字典块中侧重度为极低侧重度的键值对删除,便于后续压缩字典的更新。将利用LZW压缩算法得到的压缩结果记为监测信息数据,将监测信息数据作为传输内容上传至云端服务器,云端服务器根据接收到的监测信息数据生成决策信息,对化工厂中的环境进行智能调节。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种信息数据高效压缩传输方法,其特征在于,该方法包括以下步骤:
获取每种环境监测数据的信息数据序列,所述环境监测数据包括温度、相对湿度、氧气浓度、二氧化碳浓度、一氧化碳浓度、甲烷浓度;
根据信息数据序列的数据稳定性以及环境监测数据之间的相互影响特征获取每种环境监测数据的传输质量指数;
根据每个时刻环境监测序列中每个元素与其对应标准值以及所述传输质量指数获取每个时刻的环境警示指数;根据每个时刻确定的延时影响序列中每个延时时刻的环境警示指数获取每个时刻的潜在警示系数;
将每个时刻的环境警示指数、潜在警示系数构建的向量作为每个时刻的压缩因子向量,根据压缩字典中每个键值对每次出现时的压缩因子向量获取每个键值对的数据侧重度;根据所有键值对的数据侧重度的分类结果获取压缩字典的更新规则;利用数据压缩算法基于所述压缩字典的更新规则得到压缩后的监测信息数据,将监测信息数据作为传输内容。
2.根据权利要求1所述的一种信息数据高效压缩传输方法,其特征在于,所述根据信息数据序列的数据稳定性以及环境监测数据之间的相互影响特征获取每种环境监测数据的传输质量指数的方法为:
根据每种环境监测数据的信息数据序列及其预测序列获取每种环境监测数据的压缩质量指数;
将每种环境监测数据的差异序列的分布方差与预设参数的和作为分母,将所述压缩质量指数与分母的比值作为每种环境监测数据的传输质量指数。
3.根据权利要求2所述的一种信息数据高效压缩传输方法,其特征在于,所述根据每种环境监测数据的信息数据序列及其预测序列获取每种环境监测数据的压缩质量指数的方法为:
将每一种环境监测数据记为分析数据,将分析数据的信息数据序列与任意一种环境监测数据的信息数据序列之间的皮尔逊相关系数作为第一相似度;
将分析数据的预测序列与任意一种环境监测数据的预测序列之间的皮尔逊相关系数作为第二相似度;
将第一相似度与第二相似度之和在所有种环境监测数据上累加的均值作为分析数据的压缩质量指数。
4.根据权利要求2所述的一种信息数据高效压缩传输方法,其特征在于,所述每种环境监测数据的差异序列的获取方法为:
利用预测算法获取每种环境监测数据的预测序列,获取每种环境监测数据的预测序列与信息数据序列之间相同次序的元素之间的差值绝对值,将所述差值绝对值按照时间升序的顺序组成的序列作为每种环境监测数据的差异序列。
5.根据权利要求1所述的一种信息数据高效压缩传输方法,其特征在于,所述根据每个时刻环境监测序列中每个元素与其对应标准值以及所述传输质量指数获取每个时刻的环境警示指数的方法为:
将每个时刻下每种环境监测数据的信息数据序列中的元素值与每种环境监测数据的安全标准值之间的差值作为每个时刻下每种环境监测数据的警示值;
获取所述警示值与每种环境监测数据的传输质量指数的乘积,将以所述乘积在每个时刻上的累加为指数,以自然常数为底数的计算结果作为每个时刻的环境警示指数。
6.根据权利要求1所述的一种信息数据高效压缩传输方法,其特征在于,所述根据每个时刻确定的延时影响序列中每个延时时刻的环境警示指数获取每个时刻的潜在警示系数的方法为:
将每个时刻之前相邻的预设数量个时刻按照时间升序的顺序组成的序列作为每个时刻的延时影响序列,将所述延时影响序列中的每个元素标记为每个时刻的延时时刻;
将所述延时影响序列中后一延时时刻的环境警示指数与前一延时时刻的环境警示指数的比值与预设参数的差值作为映射函数的输入,将所述延时影响序列上所述映射函数的输出结果的均值作为每个时刻的潜在警示系数。
7.根据权利要求1所述的一种信息数据高效压缩传输方法,其特征在于,所述根据压缩字典中每个键值对每次出现时的压缩因子向量获取每个键值对的数据侧重度的方法为:
根据每个键值对中每个原始数据在原始信息传输序列中每次出现时的压缩因子向量获取每个键值对中每个原始数据的侧重距离;
将所述侧重距离在每个键值对中所有原始数据上的累加作为分子;
将每个键值对中所有原始数据组成的字符串记为原始数据串,将每个键值对中所有原始数据的数量与所述原始数据串在原始信息传输序列中出现次数的乘积作为分母;
将分子与分母的比值作为每个键值对的数据侧重度。
8.根据权利要求7所述的一种信息数据高效压缩传输方法,其特征在于,所述根据每个键值对中每个原始数据在原始信息传输序列中每次出现时的压缩因子向量获取每个键值对中每个原始数据的侧重距离的方法为:
分别利用所有时刻的环境警示指数、潜在警示系数构建横、纵坐标轴,将所述横、纵坐标轴组成的坐标系作为侧重坐标系;
获取每个键值对中每个原始数据在原始信息传输序列中每次出现时刻的压缩因子向量,将所述压缩因子向量与侧重坐标系原点之间的欧式距离作为所述每个原始数据的侧重距离。
9.根据权利要求1所述的一种信息数据高效压缩传输方法,其特征在于,所述根据所有键值对的数据侧重度的分类结果获取压缩字典的更新规则的方法为:
利用数据聚类算法获取所有键值对的数据侧重度的分类结果,根据每个聚类簇的中心点对应的数据侧重度获取每个聚类簇的侧重度等级;
将每个聚类簇中所有键值对组成的压缩字典作为一个字典块,当压缩字典处于填满状态时,将侧重等级中极低侧重度对应的字典块中删除预设比例的键值对作为压缩字典的更新规则。
10.根据权利要求9所述的一种信息数据高效压缩传输方法,其特征在于,所述利用数据聚类算法获取所有键值对的数据侧重度的分类结果,根据每个聚类簇的中心点对应的数据侧重度获取每个聚类簇的侧重度等级的方法为:
将所有键值对的数据侧重度作为聚类算法的输入,利用聚类算法得到预设数量个聚类簇;
获取所有聚类簇的中心点对应键值对的数据侧重度按照降序顺序的排列结果,根据所述排列结果标记每个聚类簇的侧重度等级;
所述侧重度等级由低到高分别标记为极低侧重度、低侧重度、中等侧重度、高侧重度、极高侧重度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311301357.9A CN117041359B (zh) | 2023-10-10 | 2023-10-10 | 一种信息数据高效压缩传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311301357.9A CN117041359B (zh) | 2023-10-10 | 2023-10-10 | 一种信息数据高效压缩传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117041359A true CN117041359A (zh) | 2023-11-10 |
CN117041359B CN117041359B (zh) | 2023-12-22 |
Family
ID=88639466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311301357.9A Active CN117041359B (zh) | 2023-10-10 | 2023-10-10 | 一种信息数据高效压缩传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117041359B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117294314A (zh) * | 2023-11-27 | 2023-12-26 | 微山信威食品有限公司 | 一种果蔬罐头生产信息数据记录管理方法 |
CN117743280A (zh) * | 2024-02-21 | 2024-03-22 | 盈客通天下科技(大连)有限公司 | 一种公路桥梁施工数据智能管理方法 |
CN117874049A (zh) * | 2024-03-08 | 2024-04-12 | 北京龙创悦动网络科技有限公司 | 一种手游数据更新方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070162236A1 (en) * | 2004-01-30 | 2007-07-12 | France Telecom | Dimensional vector and variable resolution quantization |
US20100277353A1 (en) * | 2009-05-04 | 2010-11-04 | Storwize Ltd. | Method and system for compression of logical data objects for storage |
US20180203082A1 (en) * | 2017-01-17 | 2018-07-19 | Case Western Reserve University | System and Method for Low Rank Approximation of High Resolution MRF Through Dictionary Fitting |
WO2019006835A1 (zh) * | 2017-07-06 | 2019-01-10 | 清华大学深圳研究生院 | 一种基于压缩感知的目标识别方法 |
US20220019562A1 (en) * | 2020-07-17 | 2022-01-20 | Alipay (Hangzhou) Information Technology Co., Ltd. | Data compression based on key-value store |
CN115276665A (zh) * | 2022-09-28 | 2022-11-01 | 江苏森信达生物科技有限公司 | 一种原料药的智能管理方法和系统 |
KR20230037830A (ko) * | 2021-09-10 | 2023-03-17 | 충북대학교 산학협력단 | 점진적 빈발패턴 기반의 그래프스트림 압축 방법 및 시스템 |
CN116185306A (zh) * | 2023-04-24 | 2023-05-30 | 山东爱福地生物股份有限公司 | 一种利用菹草的污水处理系统数据存储方法 |
CN116340384A (zh) * | 2023-02-13 | 2023-06-27 | 大连理工大学 | 基于规则演化的核递归最大相关熵时间序列在线预测方法 |
CN116346941A (zh) * | 2023-05-29 | 2023-06-27 | 东莞市驰铭精工科技有限公司 | 一种用于微波天线的通讯传输方法 |
-
2023
- 2023-10-10 CN CN202311301357.9A patent/CN117041359B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070162236A1 (en) * | 2004-01-30 | 2007-07-12 | France Telecom | Dimensional vector and variable resolution quantization |
US20100277353A1 (en) * | 2009-05-04 | 2010-11-04 | Storwize Ltd. | Method and system for compression of logical data objects for storage |
US20180203082A1 (en) * | 2017-01-17 | 2018-07-19 | Case Western Reserve University | System and Method for Low Rank Approximation of High Resolution MRF Through Dictionary Fitting |
WO2019006835A1 (zh) * | 2017-07-06 | 2019-01-10 | 清华大学深圳研究生院 | 一种基于压缩感知的目标识别方法 |
US20220019562A1 (en) * | 2020-07-17 | 2022-01-20 | Alipay (Hangzhou) Information Technology Co., Ltd. | Data compression based on key-value store |
KR20230037830A (ko) * | 2021-09-10 | 2023-03-17 | 충북대학교 산학협력단 | 점진적 빈발패턴 기반의 그래프스트림 압축 방법 및 시스템 |
CN115276665A (zh) * | 2022-09-28 | 2022-11-01 | 江苏森信达生物科技有限公司 | 一种原料药的智能管理方法和系统 |
CN116340384A (zh) * | 2023-02-13 | 2023-06-27 | 大连理工大学 | 基于规则演化的核递归最大相关熵时间序列在线预测方法 |
CN116185306A (zh) * | 2023-04-24 | 2023-05-30 | 山东爱福地生物股份有限公司 | 一种利用菹草的污水处理系统数据存储方法 |
CN116346941A (zh) * | 2023-05-29 | 2023-06-27 | 东莞市驰铭精工科技有限公司 | 一种用于微波天线的通讯传输方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117294314A (zh) * | 2023-11-27 | 2023-12-26 | 微山信威食品有限公司 | 一种果蔬罐头生产信息数据记录管理方法 |
CN117294314B (zh) * | 2023-11-27 | 2024-03-19 | 微山信威食品有限公司 | 一种果蔬罐头生产信息数据记录管理方法 |
CN117743280A (zh) * | 2024-02-21 | 2024-03-22 | 盈客通天下科技(大连)有限公司 | 一种公路桥梁施工数据智能管理方法 |
CN117874049A (zh) * | 2024-03-08 | 2024-04-12 | 北京龙创悦动网络科技有限公司 | 一种手游数据更新方法及系统 |
CN117874049B (zh) * | 2024-03-08 | 2024-06-11 | 北京龙创悦动网络科技有限公司 | 一种手游数据更新方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117041359B (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117041359B (zh) | 一种信息数据高效压缩传输方法 | |
CN112148955B (zh) | 一种物联网时序数据异常检测方法及系统 | |
CN109884419B (zh) | 一种智慧电网电能质量在线故障诊断方法 | |
CN117421687B (zh) | 一种数字化电力环网柜运行状态监测方法 | |
CN112070128A (zh) | 一种基于深度学习的变压器故障诊断方法 | |
CN110297469B (zh) | 基于重采样的集成特征选择算法的生产线故障判断方法 | |
CN111556016B (zh) | 一种基于自动编码器的网络流量异常行为识别方法 | |
CN109871749B (zh) | 一种基于深度哈希的行人重识别方法和装置、计算机系统 | |
CN116700630B (zh) | 基于物联网的有机无机复混肥料生产数据优化存储方法 | |
CN111078895B (zh) | 基于去噪卷积神经网络的远程监督实体关系抽取方法 | |
CN111428201A (zh) | 基于经验模态分解和前馈神经网络对时序数据的预测方法 | |
CN116304861A (zh) | 一种基于自注意力的时频特征融合故障诊断方法 | |
CN115452381A (zh) | 基于多重模态分解和长短期记忆网络的强噪声干扰下的滚动轴承故障诊断方法 | |
CN109919921A (zh) | 基于生成对抗网络的环境影响程度建模方法 | |
CN114842371B (zh) | 一种无监督视频异常检测方法 | |
Zeng et al. | Bearing fault diagnosis with denoising autoencoders in few labeled sample case | |
CN111401140A (zh) | 一种边缘计算环境下智能视频监控系统的离线学习方法 | |
CN117076408B (zh) | 一种温度监测大数据传输方法 | |
CN114330881A (zh) | 一种数据驱动的风机叶片结冰预测方法及装置 | |
CN113358346A (zh) | 基于小波包分解和bp神经网络的气阀故障诊断方法 | |
CN114626426A (zh) | 基于K-means优化算法的工业设备行为检测方法 | |
Rui et al. | Smart network maintenance in an edge cloud computing environment: An adaptive model compression algorithm based on model pruning and model clustering | |
CN115964347A (zh) | 一种市场监管监测中心数据的智能存储方法 | |
CN114420151B (zh) | 基于并联张量分解卷积神经网络的语音情感识别方法 | |
CN116304587A (zh) | 一种基于cae和agru的滚动轴承退化趋势预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |