CN115955513B - 一种物联网数据优化传输方法 - Google Patents
一种物联网数据优化传输方法 Download PDFInfo
- Publication number
- CN115955513B CN115955513B CN202310225800.2A CN202310225800A CN115955513B CN 115955513 B CN115955513 B CN 115955513B CN 202310225800 A CN202310225800 A CN 202310225800A CN 115955513 B CN115955513 B CN 115955513B
- Authority
- CN
- China
- Prior art keywords
- binary
- code
- target binary
- binary code
- codes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005457 optimization Methods 0.000 title claims description 4
- 238000007906 compression Methods 0.000 claims abstract description 128
- 230000006835 compression Effects 0.000 claims abstract description 128
- 239000011159 matrix material Substances 0.000 claims abstract description 64
- 238000012163 sequencing technique Methods 0.000 claims description 32
- 108091026890 Coding region Proteins 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013144 data compression Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据信息传输技术领域,具体涉及一种物联网数据优化传输方法,该方法通过获取待传输数据的二进制编码序列,并构造二维矩阵,根据二维矩阵中数值出现的频次,确定最优压缩区间以及目标二进制编码;根据每两个目标二进制编码的相似程度指标值,确定三类目标二进制编码,并根据二维矩阵中数值的位置,获取最优压缩区间二进制编码段以及对应的扫描路径;对最优压缩区间二进制编码段进行拆分,得到公共编码段和剩余编码段,进而得到剩余编码段对应的剩余编码压缩段;对公共编码段、剩余编码压缩段、扫描路径以及其余二进制编码进行传输。本发明通过提高数据压缩效率,有效提高了数据传输效率。
Description
技术领域
本发明涉及数据信息传输技术领域,具体涉及一种物联网数据优化传输方法。
背景技术
物联网的本质是互联网应用的延伸和扩展,物联网可以在更多的物与物之间进行信息的交换和通讯,将原本独立存在的设备相互连接起来,最终可以实现智能识别、定位、跟踪、监测以及管理等功能。由于物联网自身就是一个复杂的网络体系,加之应用领域遍及各行各业,不可避免地会存在庞大的数据体量。因此,在对物联网数据进行传输的过程中,应当采用有效的数据压缩方法以最大程度的避免数据信息冗余,从而提高数据传输的效率。
传统的数据压缩方法常常会使用游程编码进行压缩,游程编码是利用数据信息的重复实现数据压缩,但这种压缩方法对存在连续多个重复数值的数据集压缩效果较佳,例如计算机的显示图像压缩,而对于存在连续重复数值较少的数据集的压缩效果就相对较差,甚至可能会出现数据膨胀的情况,从而导致数据传输效率下降。
发明内容
本发明的目的在于提供一种物联网数据优化传输方法,用于解决现有由于连续重复数值较少的数据压缩效果差,导致数据传输效率的问题。
为解决上述技术问题,本发明提供了一种物联网数据优化传输方法,包括以下步骤:
获取待传输数据对应的二进制编码序列,根据二进制编码序列,构建二维矩阵;
确定二维矩阵中的元素值在各个设定取值区间内出现的频次,将最大频次对应的设定取值区间作为最优压缩区间,将属于最优压缩区间的元素值对应的二进制编码作为目标二进制编码;
确定每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值,并根据所述相似程度指标值,对各个目标二进制编码进行筛选,确定最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码;
根据二维矩阵中各个元素值的位置,按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,从而得到最优压缩区间二进制编码段以及最优压缩区间二进制编码段对应的扫描路径;
对最优压缩区间二进制编码段进行编码拆分处理,从而得到公共编码段和剩余编码段,对剩余编码段进行压缩处理,得到剩余编码压缩段,对公共编码段、剩余编码压缩段和扫描路径进行传输,并根据二维矩阵中各个元素值的位置,对目标二进制编码以外的其他二进制编码进行传输。
进一步的,确定最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码,包括:
根据每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值,确定每个目标二进制编码对应的不小于设定相似程度阈值的相似程度指标值的数目;
将最大的数目所对应的目标二进制编码确定为最优目标二进制编码,将与最优目标二进制编码之间的相似程度指标值不小于设定相似程度阈值的其余目标二进制编码确定为主相关目标二进制编码,并将与最优目标二进制编码之间的相似程度指标值小于设定相似程度阈值的其余目标二进制编码确定为次相关目标二进制编码。
进一步的,获取待传输数据对应的二进制编码序列,包括:
对待传输数据进行二进制转换,从而得到待传输数据中每个字符对应的原始的二进制编码;
判断原始的二进制编码是否小于设定编码长度,若小于设定编码长度,则对对应的二进制编码进行首位补零操作,从而使补零操作后的二进制编码达到设定编码长度,从而得到设定编码长度的二进制编码;
根据待传输数据中每个字符对应的设定编码长度的二进制编码,获得二进制编码序列。
进一步的,确定每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值对应的计算公式为:
其中,为第j个目标二进制编码与其余第k个目标二进制编码的相似程度指标值,为第j个目标二进制编码的第i位编码数值,为其余第k个目标二进制编码的第i位编码数值,为同或运算符号,为由最优压缩区间所确定的所有目标二进制编码的理论相同编码数值的总位数,L为设定编码长度。
进一步的,构建二维矩阵,包括:
将二进制编码序列中的每个二进制编码进行十进制转换,从而得到十进制数值序列;
将十进制数值序列进行分割排序,从而得到二维矩阵。
进一步的,各个设定取值区间为,为整数且。
进一步的,按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,从而得到最优压缩区间二进制编码段以及最优压缩区间二进制编码段对应的扫描路径,包括:
按照设定扫描规则,确定最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码对应的元素值在二维矩阵中的扫描位置编号;
按照对应的元素值的扫描位置编码从小到大的顺序,对最优目标二进制编码进行排序,在所有的最优目标二进制编码排序完成后,对主相关目标二进制编码进行排序并入,在所有的主相关目标二进制编码排序并入后,对次相关目标二进制编码进行排序并入,从而得到最优压缩区间二进制编码段;
按照最优压缩区间二进制编码段中所有二进制编码的排列次序,对最优压缩区间二进制编码段中所有二进制编码对应的元素值在二维矩阵中的扫描位置编号进行排序,从而得到最优压缩区间二进制编码段对应的扫描路径。
进一步的,对目标二进制编码以外的其他二进制编码进行传输,包括:
按照设定扫描规则,确定目标二进制编码以外的其他二进制编码对应的元素值在二维矩阵中的扫描位置编号;
按照对应的元素值的扫描位置编码从小到大的顺序,对目标二进制编码以外的其他二进制编码进行排序,得到非最优压缩区间二进制编码段,并对非最优压缩区间二进制编码段进行传输。
进一步的,设定扫描规则为光栅扫描规则。
进一步的,对最优压缩区间二进制编码段进行编码拆分处理,从而得到公共编码段和剩余编码段,包括:
将由最优压缩区间所确定的所有目标二进制编码的理论相同编码数值,确定为公共编码段;
对于最优压缩区间二进制编码段中的每个目标二进制编码,拆分出该目标二进制编码中的公共编码段,从而得到剩余编码段。
本发明具有如下有益效果:通过对传输数据进行二进制编码,以满足数据传输只能识别0和1的二值数据的要求,从而得到二进制编码序列。根据二进制编码序列,构建二维矩阵,并基于该二维矩阵中的元素值,确定最优压缩区间,进而确定数值较接近以便于后续实现高效压缩的目标二进制编码。基于任意两个目标二进制编码之间的相似程度指标值,进一步对目标二进制编码进行区分,从而得到最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码。后续按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,可以使数值更接近的目标二进制编码放置在一起,使得所得到的最优压缩区间二进制编码段可以实现更高效的压缩。由于最优压缩区间二进制编码段中的目标二进制编码均属于最优压缩区间,因此具有相同的编码段,将该相同的编码段拆分出来,从而得到公共编码段和剩余编码段。与最优压缩区间二进制编码段相比,剩余编码段的长度大幅度减小,有效降低了数据传输量,从而有利于提高数据传输效率。对剩余编码段进行压缩,由于该剩余编码段中的编码比较接近,存在较多的连续相同数值,有效提高了数据压缩效率。另外,为了实现数据的完整传输以及压缩数据的还原,还需要对目标二进制编码以外的其他二进制编码进行传输,最终对公共编码段、剩余编码压缩段、扫描路径以及目标二进制编码以外的其他二进制编码进行传输,有效提高了数据传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例的一种物联网数据优化传输方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。另外,本文所涉及公式中的所有参数或者指标均为归一化之后的消除了量纲影响的数值。
本实施例提供了一种物联网数据优化传输方法,该方法通过获取物联网数据,并对物联网数据进行二进制编码处理,将二进制编码处理后的数据映射到灰度值区间并转换成二维矩阵,结合各数据的二进制编码特征,构建二维矩阵的直方图,分析直方图得到当前物联网数据集中编码相似且数据量最大的最优压缩区域,再根据最优压缩区域自适应确定存在较大程度重复冗余数据的最优压缩区间二进制编码段,进而达到较优的压缩效果,从而提高数据传输效率。该物联网数据优化传输方法对应的流程图如图1所示,包括以下步骤:
步骤S1:获取待传输数据对应的二进制编码序列,根据二进制编码序列,构建二维矩阵。
获取待传输数据,在本实施例中,该待传输数据为本次预传输的物联网数据,即物联网中需要传输的数据。由于计算机在进行数据传输时一般只能识别0和1的二值数据,因此需要对该待传输数据进行二进制编码,从而获取二进制编码序列,实现步骤包括:
对待传输数据进行二进制转换,从而得到待传输数据中每个字符对应的原始的二进制编码;
判断原始的二进制编码是否小于设定编码长度,若小于设定编码长度,则对对应的二进制编码进行首位补零操作,从而使补零操作后的二进制编码达到设定编码长度,从而得到设定编码长度的二进制编码;
根据待传输数据中每个字符对应的设定编码长度的二进制编码,获得二进制编码序列。
具体的,对于待传输数据也就是物联网数据中的数值,将其直接转换为二进制编码,将数据中的英文字母以及标识符号等先对照ASC表转换成ASC码,再将得到的ASC码转换成二进制编码。按照这种方式,可以获取待传输数据中每个字符所对应的原始的二进制编码。
由于通常情况下,常用的字符在ASC码中对应的十进制数值转换后的二进制编码的长度最大为8位,因此为了规范数据中各字符的二进制编码子段的段长,设置设定编码长度,并将该设定编码长度设置为8。对于待传输数据中每个字符对应的原始的二进制编码,将子段段长不满8位的原始的二进制编码进行补位操作,也就是首位补零操作,从而使得所有二进制编码子段的段长均为8位。例如:若当前字符的ASC码为12,其转换为二进制编码为1100,此时的二进制编码子段段长为4位,则需要在其首位前补4个0,从而得到二进制编码00001100,以达到8位编码的规范要求。
通过上述方式,可以获取待传输数据中每个字符的满足8位编码的规范要求的二进制编码。如果待传输数据本身是一维数据序列,则按照该一维数据序列中每个字符的排列次序,直接对每个字符的满足8位编码的规范要求的二进制编码进行对应排列,从而得到二进制编码序列。如果待传输数据本身不是一维数据序列,则需要获取该待传输数据对应的一维数据序列,进而得到二进制编码序列。
在获得二进制编码序列之后,由于一维序列中的数值之间的关联性较弱,不易对其相互之间的特征进行分析和处理,因此根据二进制编码序列,构建二维矩阵,以便于后续根据该二维矩阵,对二进制编码序列进行分析,实现步骤包括:
将二进制编码序列中的每个二进制编码进行十进制转换,从而得到十进制数值序列;
将十进制数值序列进行分割排序,从而得到二维矩阵。
具体的,将二进制编码序列中的规范了段长的每个二进制编码先转换为对应的十进制数值,从而得到十进制数值序列。在十进制数值序列中,以个二进制编码对应的十进制数值为一行,将十进制数值序列从首位开始分割成行,从而可以得到尺寸为的二维矩阵。其中,的取值可以根据需要进行设定,当通常待传输的物联网数据的数据量较大时,可以将设置的大一些,当数据量较小时,可以将设置的小一些。需要说明的是,由于十进制数值序列中二进制编码对应的十进制数值并不一定是的整数倍,因此在尺寸为的二维矩阵中,第行中的每个元素位置并不一定均填充有十进制数值,即第行中最后的部分元素位置是空置的。
需要说明的是,本实施例在构建二维矩阵时,是将二进制编码序列先转换为十进制数值序列,并根据该十进制数值序列来构建二维矩阵,也就是二维矩阵的元素值为十进制数值,以便于后续进行数值频率的确定。作为其他的实施方式,也可以直接根据二进制编码序列来构建二维矩阵,也就是二维矩阵的元素值为二进制编码。
步骤S2:确定二维矩阵中的元素值在各个设定取值区间内出现的频次,将最大频次对应的设定取值区间作为最优压缩区间,将属于最优压缩区间的元素值对应的二进制编码作为目标二进制编码。
由于二进制编码序列中的二进制编码对应的十进制数值的取值范围为,当十进制数值越相邻时,除过编码进位情况,其对应的二进制编码从首位开始的连续相似数值个数越多。也就是,对于大部分的二进制编码来说,当其对应的十进制数值越相近,则对应的二进制编码相似性越高。例如:相邻的十进制数值126和127,其对应的二进制编码分别为:01111110和01111111,这两个二进制编码的前7个索引位置上的数值完全相同。但是对于另外两个相邻的十进制数值127和128,其对应的二进制编码分别为:01111111、10000000,其编码对应索引位置上的数值却由于进位的影响而完全不同。
根据上述分析可知,需要对十进制数值进行合理的区间划分,从而使得划分后的各区间满足十进制数值越相邻,对应的二进制编码相似性越高的规律,以便于后续实现数据的最优压缩,从而提高数据传输效率。通过分析进制转换规则可以得到结论:从十进制数值0开始,间隔15个数值的二进制编码的前四位符合对应索引位置数值相同的规律。例如:十进制数值区间为0~15,则其对应的二进制编码的前四位都为0000,十进制数值区间为16~31,则其对应的二进制编码的前四位都为0001。由此,对十进制数值进行区间的划分,得到各个设定取值区间,各个设定取值区间为,其中为整数且。也就是,各个设定取值区间分别为[0,15]、[16,31]、[32,47]、[48,63]……[240,255]。
在确定各个设定取值区间之后,确定二维矩阵中的元素值也就是十进制数值在各个设定取值区间出现的频次。在确定在各个设定取值区间出现的频次时,由于二维矩阵中的元素值的取值范围为,符合灰度值区间,因此获取二维矩阵中的元素值对应的直方图,该直方图的横坐标为各个设定取值区间,纵坐标为出现在各个设定取值区间内的十进制数值的数值个数,该数值个数即为十进制数值在各个设定取值区间出现的频次。根据该直方图,最高频次所对应的设定取值区间为高频区间,将该高频区间确定为最优压缩区间,并将位于该最优压缩区间的十进制数值所对应的所有二进制编码作为目标二进制编码,后续对这些目标二进制编码进行分析处理,从而提高数据压缩效果。
步骤S3:确定每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值,并根据所述相似程度指标值,对各个目标二进制编码进行筛选,确定最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码。
对于通过上述步骤S2所得到的目标二进制编码,这些目标二进制编码为前四位编码数值相等占总二进制编码个数比值较大的二进制编码,对这些目标二进制编码进行进一步的相似程度判断,确定每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值,对应的计算公式为:
其中,为第j个目标二进制编码与其余第k个目标二进制编码的相似程度指标值,为第j个目标二进制编码的第i位编码数值,为其余第k个目标二进制编码的第i位编码数值,为同或运算符号,为由最优压缩区间所确定的所有目标二进制编码的理论相同编码数值的总位数,L为设定编码长度。
在上述的相似程度指标值的计算公式中,由于所有目标二进制编码对应的十进制数值均位于最优压缩区间,因此所有目标二进制编码的第0~l-1位的编码数值相同,且由于所有目标二进制编码均为设定编码长度L,因此将第j个目标二进制编码与其余第k个目标二进制编码的第l~位编码数值进行同或运算,编码数值的取值为0或者1,同或运算的规则为编码数值相同则取值为1,编码数值不同则取值为0。在本实施例中,根据设定取值区间的设置方式,所有目标二进制编码的前四位编码数值相同,因此的取值为4,且由于所有目标二进制编码具有八位编码数值,因此设定编码长度L的取值为8。当第j个目标二进制编码的第l~位编码数值子段与其余第k个目标二进制编码的第l~位编码数值子段越接近时,则对应的相似程度指标值越接近于1,而当第j个目标二进制编码的第l~位编码数值子段与其余第k个目标二进制编码的第l~位编码数值子段越不接近时,则对应的相似程度指标值越接近于0。例如,当第j个目标二进制编码的第l~位编码数值子段的每一位编码数值与其余第k个目标二进制编码的第l~位编码数值子段的对应位编码数值均相同时,则对应的相似程度指标值等于1;而当第j个目标二进制编码的第l~位编码数值子段的每一位编码数值与其余第k个目标二进制编码的第l~位编码数值子段的对应位编码数值均不相同时,则对应的相似程度指标值等于0。
在通过上述计算公式,确定每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值之后,根据该相似程度指标值,对各个目标二进制编码进行筛选,确定最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码,实现步骤包括:
根据每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值,确定每个目标二进制编码对应的不小于设定相似程度阈值的相似程度指标值的数目;
将最大的数目所对应的目标二进制编码确定为最优目标二进制编码,将与最优目标二进制编码之间的相似程度指标值不小于设定相似程度阈值的其余目标二进制编码确定为主相关目标二进制编码,并将与最优目标二进制编码之间的相似程度指标值小于设定相似程度阈值的其余目标二进制编码确定为次相关目标二进制编码。
具体的,对于任意一个目标二进制编码,确定该目标二进制编码与其他目标二进制编码所对应的相似程度指标值不小于设定相似程度阈值的数目C,设定相似程度阈值可以根据需要进行设置,本实施例设置该设定相似程度阈值取值为0.5。然后将最大数目所对应的目标二进制编码确定为最优目标二进制编码,并将相似程度指标值不小于设定相似程度阈值所对应的其他目标二进制编码确定为主相关目标二进制编码,最后将不属于最优目标二进制编码且不属于主相关目标二进制编码的其他目标二进制编码,也就是相似程度指标值小于设定相似程度阈值所对应的其他目标二进制编码,确定为次相关目标二进制编码。需要说明的,由于待传输数据的数据量通常较大,且目标二进制编码为比较接近的二进制编码,因此所确定的最优目标二进制编码通常包括多类取值完全相同的二进制编码。
上述通过将十进制数值属于最优压缩区间的目标二进制编码再进行细分,便于后续将更相近的目标二进制编码放置在一起,从而实现更高效的压缩,进而提高数据传输效率。
步骤S4:根据二维矩阵中各个元素值的位置,按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,从而得到最优压缩区间二进制编码段以及最优压缩区间二进制编码段对应的扫描路径。
在通过上述步骤S3确定最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码之后,为了便于后续提高数据压缩效果,根据这些二进制编码对应的十进制数值在二维矩阵中的位置,按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,自适应确定最优压缩区间二进制编码段以及最优压缩区间二进制编码段对应的扫描路径,实现步骤包括:
按照设定扫描规则,确定最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码对应的元素值在二维矩阵中的扫描位置编号;
按照对应的元素值的扫描位置编码从小到大的顺序,对最优目标二进制编码进行排序,在所有的最优目标二进制编码排序完成后,对主相关目标二进制编码进行排序并入,在所有的主相关目标二进制编码排序并入后,对次相关目标二进制编码进行排序并入,从而得到最优压缩区间二进制编码段;
按照最优压缩区间二进制编码段中所有二进制编码的排列次序,对最优压缩区间二进制编码段中所有二进制编码对应的元素值在二维矩阵中的扫描位置编号进行排序,从而得到最优压缩区间二进制编码段对应的扫描路径。
具体的,按照光栅扫描规则,也就是从左到右、从上到下的逐行扫描方式,确定最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码对应的十进制数值在二维矩阵中的扫描位置编号。对于最优目标二进制编码,按照其对应的十进制数值在二维矩阵中的扫描位置编号从小到大的顺序,对这些最优目标二进制编码进行扫描排序,从而得到第一二进制编码段;然后对于主相关目标二进制编码,同样按照其对应的十进制数值在二维矩阵中的扫描位置编号从小到大的顺序,对这些主相关目标二进制编码进行扫描并且并入到第一二进制编码段的后面,从而得到第二二进制编码段;最后对于次相关目标二进制编码,同样按照其对应的十进制数值在二维矩阵中的扫描位置编号从小到大的顺序,对这些次相关目标二进制编码进行扫描并且并入到第二二进制编码段的后面,从而得到第三二进制编码段,也就是最优压缩区间二进制编码段。
在获取上述的最优压缩区间二进制编码段的过程中,通过按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的顺序进行二进制编码排序,可以使最优压缩区间二进制编码段中相近的目标二进制编码排列在一起,从而使数据存在重复冗余的程度较大,便于在传输该最优压缩区间二进制编码段时进行更高效的数据压缩处理,从而保证传输效率。同时,通过按照光栅扫描规则对最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码进行排序,可以较大程度地保留最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码中部分二进制编码段的排列次序,从而提高了对压缩传输的数据进行解压时的效率。当然,作为其他的实施方式,也可以采用其他的扫描规则,如Z字形扫描规则,来确定最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码对应的十进制数值在二维矩阵中的扫描位置编号,进而基于该扫描位置编号,进行目标二进制编码的排序,从而在提高数据压缩效果的同时,实现对目标二进制编码的加密。
为了便于后续对压缩传输后的数据进行还原,按照最优压缩区间二进制编码段中所有目标二进制编码的排列次序,对最优压缩区间二进制编码段中所有目标二进制编码对应的元素值在二维矩阵中的扫描位置编号进行排序,从而得到最优压缩区间二进制编码段对应的扫描路径。也就是,在获取最优压缩区间二进制编码段的过程中,在对最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码进行扫描排序的同时,对这些目标二进制编码对应的十进制数值在二维矩阵中的扫描位置编号也进行排序,从而得到最优压缩区间二进制编码段对应的扫描路径。
步骤S5:对最优压缩区间二进制编码段进行编码拆分处理,从而得到公共编码段和剩余编码段,对剩余编码段进行压缩处理,得到剩余编码压缩段,对公共编码段、剩余编码压缩段和扫描路径进行传输,并根据二维矩阵中各个元素值的位置,对目标二进制编码以外的其他二进制编码进行传输。
在通过上述步骤S4得到最优压缩区间二进制编码段之后,由于该最优压缩区间二进制编码段中的目标二进制编码的相似程度较高,因此为了减小数据传输量,从而提高数据传输效率,通过编码拆分的方式,将每个目标二进制编码从首位开始将相同的编码数值拆分出来,从而得到公共编码段和剩余编码段,实现步骤包括:
将由最优压缩区间所确定的所有目标二进制编码的理论相同编码数值,确定为公共编码段;
对于最优压缩区间二进制编码段中的每个目标二进制编码,拆分出该目标二进制编码中的公共编码段,从而得到剩余编码段。
具体的,由于最优压缩区间包括15个数值,因此最优压缩区间二进制编码段中的所有目标二进制编码的前四位编码均相同,也就是由最优压缩区间所确定的所有目标二进制编码的理论相同编码数值,为任意一个目标二进制编码的前四位编码,将该前四位编码确定为公共编码段。同时,对于最优压缩区间二进制编码段中的每个目标二进制编码,将该目标二进制编码中的前四位对应的公共编码段拆分出来,并将拆分后所剩余的二进制编码作为对应目标二进制编码的剩余二进制编码,将所有剩余二进制编码所构成的编码序列确定为剩余编码段。例如:最优压缩区间二进制编码段的部分编码段为000110110001100100011000,该部分编码段中的所有目标二进制编码的前四位编码相同,均为0001,则将0001确定为公共编码段,并将该公共编码段从该部分编码段中的所有目标二进制编码中拆分出来,从而得到剩余编码段,剩余编码段为1011 1001 1000。
对于剩余编码段,由于该剩余编码段的编码位数值相似程度较高,也就是数据冗余程度较高,因此对该剩余编码段进行压缩处理,从而得到剩余编码压缩段。在对该剩余编码段进行压缩处理时,为了获取更多连续重复数值,以便于提高压缩效率,对该剩余编码段中的所有剩余二进制编码,将任意相邻的两个剩余二进制编码进行异或操作,异或运算的规则为编码数值不同则取值为1,编码数值相同则取值为0,同时保留第一个剩余二进制编码,并将异或操作后得到的二进制编码替换任意相邻的两个剩余二进制编码中的后一个剩余二进制编码,从而得到异或操作后的剩余编码段。例如:剩余编码段为1011 1001 1000,则将第一个剩余二进制编码1011与第二个剩余二进制编码1001进行异或操作,异或操作后得到的二进制编码也就是四位编码数值替换第二个剩余二进制编码1001,同时将第二个剩余二进制编码1001与第三个剩余二进制编码1000进行异或操作,异或操作后得到的二进制编码也就是四位编码数值替换第三个剩余二进制编码1000,从而最终得到的异或操作后的剩余编码段为1011 0010 0001。由于异或操作后的剩余编码段存在大量的数据冗余,因此采用游程编码对该异或操作后的剩余编码段进行压缩处理,从而得到剩余编码压缩段,较大程度地提高了压缩效率。
在得到公共编码段和剩余编码压缩段后,对该公共编码段、剩余编码压缩段以及扫描路径进行传输。
为了实现所有待传输数据的传输以及压缩数据的还原,对目标二进制编码以外的其他二进制编码进行传输,实现步骤包括:
根据二维矩阵中各个元素值的位置,按照设定扫描规则,确定目标二进制编码以外的其他二进制编码对应的元素值在二维矩阵中的扫描位置编号;
按照对应的元素值的扫描位置编码从小到大的顺序,对目标二进制编码以外的其他二进制编码进行二进制编码排序,得到非最优压缩区间二进制编码段,并对非最优压缩区间二进制编码段进行传输。
具体的,同样按照光栅扫描规则,确定目标二进制编码以外的其他二进制编码对应的十进制数值在二维矩阵中的扫描位置编号。对于这些目标二进制编码以外的其他二进制编码,按照其对应的十进制数值在二维矩阵中的扫描位置编号从小到大的顺序,对这些其他二进制编码进行扫描排序,从而得到非最优压缩区间二进制编码段。通过按照光栅扫描规则对目标二进制编码以外的其他二进制编码进行排序,可以使得非最优压缩区间二进制编码段中较大程度地保留其他二进制编码中部分二进制编码段的排列次序,从而便于提高后续数据还原的效率。
对于非最优压缩区间二进制编码段,由于该非最优压缩区间二进制编码段中的二进制编码相似程度较低,因此对该非最优压缩区间二进制编码段进行常规的传输处理,即直接进行传输或者采用现有常规合适压缩方法进行压缩后再进行传输。
后续在进行数据还原时,对剩余编码压缩段进行解压,从而可以得到异或操作后的剩余编码段,对异或操作后的剩余编码段进行异或反操作,从而得到剩余编码段。根据公共编码段和剩余编码段,将剩余编码段中的剩余二进制编码与公共编码进行组合,从而得到最优压缩区间二进制编码段。按照预先约定的二维矩阵的尺寸大小,构造空置的二维矩阵,然后根据最优压缩区间二进制编码段以及扫描路径,将最优压缩区间二进制编码段中的目标二进制编码填充到空置的二维矩阵中,然后将非最优压缩区间二进制编码段中的二进制编码也填充到空置的二维矩阵中,最后根据填充后的二维矩阵,得到二进制编码序列,进而最终得到原始数据。
本发明通过对传输数据进行二进制编码,以满足数据传输只能识别0和1的二值数据的要求,从而得到二进制编码序列。根据二进制编码序列,构建二维矩阵,并基于该二维矩阵中的元素值,确定最优压缩区间,进而确定数值较接近以便于后续实现高效压缩的目标二进制编码。基于任意两个目标二进制编码之间的相似程度指标值,进一步对目标二进制编码进行区分,从而得到最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码。后续按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,可以使数值更接近的目标二进制编码放置在一起,使得所得到的最优压缩区间二进制编码段可以实现更高效的压缩。为了实现数据的完整传输,对数值接近程度较低的其他二进制编码进行二进制编码排序,从而得到非最优压缩区间二进制编码段。由于最优压缩区间二进制编码段中的目标二进制编码均属于最优压缩区间,因此具有相同的编码段,将该相同的编码段拆分出来,从而得到公共编码段和剩余编码段。与最优压缩区间二进制编码段相比,剩余编码段的长度大幅度减小,有效降低了数据传输量,从而有利于提高数据传输效率。对剩余编码段进行压缩,由于该剩余编码段中的编码比较接近,存在较多的连续相同数值,有效提高了数据压缩效率。最终对公共编码段、剩余编码压缩段、扫描路径以及非最优压缩区间二进制编码段进行传输,有效提高了数据传输效率。
需要说明的是:以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种物联网数据优化传输方法,其特征在于,包括以下步骤:
获取待传输数据对应的二进制编码序列,根据二进制编码序列,构建二维矩阵;
确定二维矩阵中的元素值在各个设定取值区间内出现的频次,将最大频次对应的设定取值区间作为最优压缩区间,将属于最优压缩区间的元素值对应的二进制编码作为目标二进制编码;
确定每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值,并根据所述相似程度指标值,对各个目标二进制编码进行筛选,确定最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码;
根据二维矩阵中各个元素值的位置,按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,从而得到最优压缩区间二进制编码段以及最优压缩区间二进制编码段对应的扫描路径;
对最优压缩区间二进制编码段进行编码拆分处理,从而得到公共编码段和剩余编码段,对剩余编码段进行压缩处理,得到剩余编码压缩段,对公共编码段、剩余编码压缩段和扫描路径进行传输,并根据二维矩阵中各个元素值的位置,对目标二进制编码以外的其他二进制编码进行传输。
2.根据权利要求1所述的一种物联网数据优化传输方法,其特征在于,确定最优目标二进制编码、主相关目标二进制编码和次相关目标二进制编码,包括:
根据每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值,确定每个目标二进制编码对应的不小于设定相似程度阈值的相似程度指标值的数目;
将最大的数目所对应的目标二进制编码确定为最优目标二进制编码,将与最优目标二进制编码之间的相似程度指标值不小于设定相似程度阈值的其余目标二进制编码确定为主相关目标二进制编码,并将与最优目标二进制编码之间的相似程度指标值小于设定相似程度阈值的其余目标二进制编码确定为次相关目标二进制编码。
3.根据权利要求1所述的一种物联网数据优化传输方法,其特征在于,获取待传输数据对应的二进制编码序列,包括:
对待传输数据进行二进制转换,从而得到待传输数据中每个字符对应的原始的二进制编码;
判断原始的二进制编码是否小于设定编码长度,若小于设定编码长度,则对对应的二进制编码进行首位补零操作,从而使补零操作后的二进制编码达到设定编码长度,从而得到设定编码长度的二进制编码;
根据待传输数据中每个字符对应的设定编码长度的二进制编码,获得二进制编码序列。
4.根据权利要求3所述的一种物联网数据优化传输方法,其特征在于,确定每个目标二进制编码与其余任意一个目标二进制编码的相似程度指标值对应的计算公式为:
其中,为第j个目标二进制编码与其余第k个目标二进制编码的相似程度指标值,为第j个目标二进制编码的第i位编码数值,为其余第k个目标二进制编码的第i位编码数值,为同或运算符号,为由最优压缩区间所确定的所有目标二进制编码的理论相同编码数值的总位数,L为设定编码长度。
5.根据权利要求1所述的一种物联网数据优化传输方法,其特征在于,构建二维矩阵,包括:
将二进制编码序列中的每个二进制编码进行十进制转换,从而得到十进制数值序列;
将十进制数值序列进行分割排序,从而得到二维矩阵。
6.根据权利要求5所述的一种物联网数据优化传输方法,其特征在于,各个设定取值区间为,为整数且。
7.根据权利要求1所述的一种物联网数据优化传输方法,其特征在于,按照最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码的次序进行二进制编码排序,从而得到最优压缩区间二进制编码段以及最优压缩区间二进制编码段对应的扫描路径,包括:
按照设定扫描规则,确定最优目标二进制编码、主相关目标二进制编码、次相关目标二进制编码对应的元素值在二维矩阵中的扫描位置编号;
按照对应的元素值的扫描位置编码从小到大的顺序,对最优目标二进制编码进行排序,在所有的最优目标二进制编码排序完成后,对主相关目标二进制编码进行排序并入,在所有的主相关目标二进制编码排序并入后,对次相关目标二进制编码进行排序并入,从而得到最优压缩区间二进制编码段;
按照最优压缩区间二进制编码段中所有二进制编码的排列次序,对最优压缩区间二进制编码段中所有二进制编码对应的元素值在二维矩阵中的扫描位置编号进行排序,从而得到最优压缩区间二进制编码段对应的扫描路径。
8.根据权利要求1所述的一种物联网数据优化传输方法,其特征在于,对目标二进制编码以外的其他二进制编码进行传输,包括:
根据二维矩阵中各个元素值的位置,按照设定扫描规则,确定目标二进制编码以外的其他二进制编码对应的元素值在二维矩阵中的扫描位置编号;
按照对应的元素值的扫描位置编码从小到大的顺序,对目标二进制编码以外的其他二进制编码进行排序,得到非最优压缩区间二进制编码段,并对非最优压缩区间二进制编码段进行传输。
9.根据权利要求7或8所述的一种物联网数据优化传输方法,其特征在于,设定扫描规则为光栅扫描规则。
10.根据权利要求1所述的一种物联网数据优化传输方法,其特征在于,对最优压缩区间二进制编码段进行编码拆分处理,从而得到公共编码段和剩余编码段,包括:
将由最优压缩区间所确定的所有目标二进制编码的理论相同编码数值,确定为公共编码段;
对于最优压缩区间二进制编码段中的每个目标二进制编码,拆分出该目标二进制编码中的公共编码段,从而得到剩余编码段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310225800.2A CN115955513B (zh) | 2023-03-10 | 2023-03-10 | 一种物联网数据优化传输方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310225800.2A CN115955513B (zh) | 2023-03-10 | 2023-03-10 | 一种物联网数据优化传输方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115955513A CN115955513A (zh) | 2023-04-11 |
CN115955513B true CN115955513B (zh) | 2023-05-05 |
Family
ID=85892967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310225800.2A Active CN115955513B (zh) | 2023-03-10 | 2023-03-10 | 一种物联网数据优化传输方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115955513B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116861271B (zh) * | 2023-09-05 | 2023-12-08 | 智联信通科技股份有限公司 | 基于大数据的数据分析处理方法 |
CN116915873B (zh) * | 2023-09-13 | 2023-11-24 | 通用电梯股份有限公司 | 基于物联网技术的高速电梯运行数据快速传输方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010070897A1 (ja) * | 2008-12-16 | 2010-06-24 | パナソニック株式会社 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路 |
CN113346911A (zh) * | 2021-06-18 | 2021-09-03 | 安谋科技(中国)有限公司 | 压缩编码方法、电子设备和存储介质 |
CN115276662A (zh) * | 2022-07-27 | 2022-11-01 | 杭州跃马森创信息科技有限公司 | 一种微服务用户信息高效压缩传输方法 |
CN115622570A (zh) * | 2022-12-14 | 2023-01-17 | 山东融汇通达网络科技有限公司 | 一种数据高效存储方法 |
CN115632661A (zh) * | 2022-12-22 | 2023-01-20 | 互丰科技(北京)有限公司 | 网络安全信息高效压缩传输方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4111591A1 (en) * | 2020-03-25 | 2023-01-04 | Huawei Technologies Co., Ltd. | Method and system of differential compression |
-
2023
- 2023-03-10 CN CN202310225800.2A patent/CN115955513B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010070897A1 (ja) * | 2008-12-16 | 2010-06-24 | パナソニック株式会社 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路 |
CN113346911A (zh) * | 2021-06-18 | 2021-09-03 | 安谋科技(中国)有限公司 | 压缩编码方法、电子设备和存储介质 |
CN115276662A (zh) * | 2022-07-27 | 2022-11-01 | 杭州跃马森创信息科技有限公司 | 一种微服务用户信息高效压缩传输方法 |
CN115622570A (zh) * | 2022-12-14 | 2023-01-17 | 山东融汇通达网络科技有限公司 | 一种数据高效存储方法 |
CN115632661A (zh) * | 2022-12-22 | 2023-01-20 | 互丰科技(北京)有限公司 | 网络安全信息高效压缩传输方法 |
Non-Patent Citations (1)
Title |
---|
基于压缩理论的区间概念格参数优化模型;李明霞;刘保相;张春英;;计算机应用(11);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115955513A (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115955513B (zh) | 一种物联网数据优化传输方法 | |
CN115914649B (zh) | 一种用于医疗视频的数据传输方法及系统 | |
CN116405574B (zh) | 一种远程医疗图像优化通讯方法及系统 | |
CN116016606B (zh) | 一种基于智慧云的污水处理运维数据高效管理系统 | |
CN112506879B (zh) | 数据处理方法及相关设备 | |
CN116978011B (zh) | 一种用于智能目标识别的图像语义通信方法及系统 | |
CN110569967A (zh) | 一种基于算术编码的神经网络模型压缩加密方法及系统 | |
CN115882866A (zh) | 一种基于数据差值特征的数据压缩方法 | |
CN112152634B (zh) | 分块压缩编码方法、装置、计算机设备及可读存储介质 | |
CN115529357B (zh) | 基于mes互通互联生产数据的更新异常匹配方法 | |
CN115620321A (zh) | 表格识别方法及装置、电子设备和存储介质 | |
CN116011403B (zh) | 一种用于计算机数据存储的重复数据识别方法 | |
CN116861271B (zh) | 基于大数据的数据分析处理方法 | |
CN116825259B (zh) | 一种基于物联网的医疗数据管理方法 | |
CN115865099B (zh) | 基于霍夫曼编码的多类型数据分段压缩方法及系统 | |
CN115861034B (zh) | 一种无线路由数据智能管理系统 | |
CN110111851B (zh) | 基因测序数据压缩方法、系统及计算机可读介质 | |
CN109698702B (zh) | 基因测序数据压缩预处理方法、系统及计算机可读介质 | |
CN108573069A (zh) | 一种加速压缩流量正则表达式匹配的Twins方法 | |
CN112612762B (zh) | 数据处理方法及相关设备 | |
Wang | A set of transformations for lossless image compression | |
CN113706639A (zh) | 一种基于矩形nam的图像压缩方法、装置、存储介质及计算设备 | |
CN115955250B (zh) | 一种高校科研数据采集管理系统 | |
JP2526783B2 (ja) | 領域形状符号化・復号化方式 | |
CN111008276A (zh) | 一种完整实体关系抽取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |