CN117394867A - 一种数据压缩方法、装置、电子设备及存储介质 - Google Patents
一种数据压缩方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117394867A CN117394867A CN202311329139.6A CN202311329139A CN117394867A CN 117394867 A CN117394867 A CN 117394867A CN 202311329139 A CN202311329139 A CN 202311329139A CN 117394867 A CN117394867 A CN 117394867A
- Authority
- CN
- China
- Prior art keywords
- data
- name
- mapping table
- object block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013144 data compression Methods 0.000 title claims abstract description 39
- 238000013506 data mapping Methods 0.000 claims abstract description 64
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000010606 normalization Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种数据压缩方法、装置、电子设备及存储介质。该方法包括:获取数据采集设备的采集数据;根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表;其中,数据名对象块用以表示数据名与数据值之间的映射关系;数据映射表用以表示数据名与第一预设数值组之间的映射关系,以及数据值与第二预设数值组之间的映射关系;根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据。采用本申请技术方案,使得在传输数据时,能够减少数据的传输量,并且减少数据量的同时,不会损害数据的准确性。
Description
技术领域
本发明涉及数据通信技术领域,尤其涉及一种数据压缩方法、装置、电子设备及存储介质。
背景技术
随着配电柜数据的采集监测和控制得到越来越高的重视,配电柜的智能化是今后配电柜的发展方向。
目前的配电柜终端虽具备一定的数据采集监控功能,但普遍存在数据实时性不高等问题。当与配电柜综合信息显示屏通讯使用485通讯方式时,由于485通讯波特率受限通常仅为9600bps,终端采集到的大量监测数据需要传输给配电柜综合信息显示屏将会非常的慢。因此急需一种能够减少数据传输量的同时,不会对数据造成损害的方法。
发明内容
本发明提供了一种数据压缩方法、装置、电子设备及存储介质,以解决485通讯传输过程中,数据传输量小的问题。
根据本发明的一方面,提供了一种数据压缩方法,该方法包括:
获取数据采集设备的采集数据;
根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表;其中,数据名对象块用以表示数据名与数据值之间的映射关系;数据映射表用以表示数据名与第一预设数值组之间的映射关系,以及数据值与第二预设数值组之间的映射关系;
根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据。
根据本发明的另一方面,提供了一种数据压缩装置,该装置包括:
数据采集模块,用于获取数据采集设备的采集数据;
映射关系确定模块,用于根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表;其中,数据名对象块用以表示数据名与数据值之间的映射关系;数据映射表用以表示数据名与第一预设数值组之间的映射关系,以及数据值与第二预设数值组之间的映射关系;
数据压缩模块,用于根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据。
根据本发明的另一方面,提供了一种电子设备,电子设备包括:
至少一个处理器;以及
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的数据压缩方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例的数据压缩方法。
本发明实施例的技术方案,通过获取数据采集设备的采集数据,根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表,以及根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据,使得在传输数据时,能够减少数据的传输量,并且减少数据量的同时,不会损害数据的准确性。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据压缩方法的流程图;
图2是根据本发明实施例二提供的另一种数据压缩方法的流程图;
图3是根据本发明实施例三提供的一种数据压缩装置的结构示意图;
图4是实现本发明实施例的数据压缩方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例提供了一种数据压缩方法的流程图,本实施例可适用于在传输数据时,需要保证数据准确传输,且需要减少数据传输的数据量的情形。该方法可以由数据压缩装置来执行,该数据压缩装置可以采用硬件和/或软件的形式实现,该数据压缩装置可配置于具有数据处理能力的电子设备中。如图1所示,本实施例的数据压缩方法,可包括以下步骤:
S110、获取数据采集设备的采集数据。
数据采集设备可以是负责采集环境数据,仪器工作状态以及设备当前电压以及电流等数据的设备。采集数据可以是数据采集设备采集到的数据。
在数据采集设备上传采集到的采集数据时,往往会直接上传至数据库中进行存储,进而实现采集数据的及时存储,因此在获取采集数据时,可以通过从数据库中直接获取。
此外,除了上述情况之外,也可以直接接收数据采集设备传输的采集数据。
示例性的,在配电柜应用中,可以通过多路485通信采集配电柜所连接的数据采集设备,并上传至数据库中。此时,直接通过数据库获取存储在数据库中的采集数据。
S120、根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表。
其中,数据名对象块用以表示数据名与数据值之间的映射关系;数据映射表用以表示数据名与第一预设数值组之间的映射关系,以及数据值与第二预设数值组之间的映射关系。
在得到采集数据后,可以根据采集数据中的数据名以及数据值,确定出采集数据中各个数据名与数据值的对应关系,并在保留对应关系的同时,删除掉重复的数据名,从而得到数据名对象块。
此外,采集数据中的部分数据名与数据值出现多次重复,且部分数据名与数据值所占存储空间的大小大于预先设定的阈值,此时,可以将部分数据名与数据值进行映射,从而映射为存储空间更为小的数据,从而得到数据映射表。
S130、根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据。
在得到数据名对象块后,可以根据数据名对象块对采集数据中的数据名进行删除,从而使得采集数据中数据名与数据值分开,并删除了重复的数据名。
此外,删除了重复的数据名后,可以通过数据映射表将数据名对象块以及数据值中的数据进行映射,从而将存储空间大于预先设定的阈值的数据名和数据值进行替换,从而得到得到压缩采集数据。
根据本发明实施例的技术方案,通过获取数据采集设备的采集数据,根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表,以及根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据,使得在传输数据时,能够减少数据的传输量,并且减少数据量的同时,不会损害数据的准确性。
实施例二
图2为本发明实施例提供了另一种数据压缩方法的流程图,本实施例在上述实施例的基础上对前述实施例中根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表,以及根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据的过程进行进一步优化,本实施例可以与上述一个或多个实施例中各个可选方案进行结合。如图2所示,本实施例的数据压缩方法,可包括以下步骤:
S210、获取数据采集设备的采集数据。
S220、对采集数据进行编码,得到至少一个数据项对象组。
其中,数据项对象组中至少包括一个数据项对象。
数据项对象中至少包括一个数据名、数据值以及数据名与数据值的对应关系。
数据名可以是用以描述数据值所表达含义的名称。数据值可以是数据名的具体数值。对应关系可以是用以确定数据值与数据名之间的对应。
在获取到采集数据后,需要对采集数据进行编码,从而使得对采集数据进行处理时能够较为清晰。
示例性的,在得到采集数据后,可以利用<>,将采集数据中的某个数据写为一个数据项对象<key:value>,key为数据名,value为数据值。数据项对象可只含数据名<key>或数据值<value>,或者可以通过赋空值等方式对数据名或数据值进行保留。
而数据项对象组中包含至少一个数据项对象。例如<key1:value1;key2:value2;key3:value3>。
例如,对采集数据进行编码,得到的结果可为:
<
<Address:123;Type:meter;Ua:220.1;Ub:220.1;Uc:220.1;Ia:5.2;Ib:5.3;Ic:6.0>
<Address:456;Type:meter;Ua:220.2;Ub:220.2;Uc:220.1;Ia:5.3;Ib:5.5;Ic:7.0>
<Address:789;Type:breaker;Ua:220.2;Ub:220.2;Uc:220.1;Ia:5.3;Ib:5.5;Ic:7.0>
>
S230、对采集数据中的数据名进行归一化处理,得到第一数据名对象块。
可选的,数据名对象块中至少包括一个数据名对象组;数据名对象组为仅包含数据名的数据项对象组。
S240、根据数据名以及数据值的数据量大小,确定数据映射表。
S250、根据第一数据名对象块以及数据映射表,确定数据名对象块。
第一数据名对象块可以是从采集数据中的数据名进行提取,并删除重复数据名的同时,仍保留与对应数据值的对应关系的对象块。数据名对象块可以是通过数据映射表对第一数据名对象块中的数据进行映射后得到的结果。
在数据传输过程中,往往存在多个数据值的数据名相同的情况,此时,若直接传输采集数据,则会造成一定的资源浪费,因此可以在保留数据名与数据值对应关系的同时,将采集数据中的数据名提取出来,并删除重复的数据名,此时将减少采集数据的整体数据量的同时,不会影响采集数据的完整性。
此外,由于部分数据名以及数据值的数据量可能预设阈值,此时,可以通过构建数据映射表,将部分数据名以及数据值进行映射,从而实现通过一个低于预设阈值的数据量的数值代替部分数据名以及数据值,进而减少采集数据的整体数据量的同时,不会影响采集数据的完整性。
在利用生成的数据映射表,对第一数据名对象块进行映射后,从而减少第一数据名对象块的数据量,从而得到数据名对象块。
示例性的,若编码后的采集数据为:
<
<key1:value1;key2:value2;key3:value3>
<key1:value4;key2:value5;key3:value6>
<key1:value7;key2:value8;key3:value9>
<key4:value10;key5:value11;key6:value12>
>
此时,对编码后的采集数据进行归一化处理,得到结果如下:
<
<<0;1;2:key1;key2;key3><3:key4;key5;key6>>
<value1;value2;value3>
<value4;value5;value6>
<value7;value8;value9>
<value10;value11;value12>
>
其中,<<0;1;2:key1;key2;key3><3:key4;key5;key6……>>中0,1,2表示<0;1;2:key1;key2;key3>对应数据值中的第一行,第二行以及第三行。
<<0;1;2:key1;key2;key3><3:key4;key5;key6>>为第一数据名对象块,
其中,<0;1;2:key1;key2;key3>与<3:key4;key5;key6>分别表示一个数据名对象组。
若key6与value12的数据量大于预设阈值时,可以将key6映射为+1,value12映射为+2;
此时,采集数据会变为:
<
<key6:+1;value12;+2>
<<0;1;2:key1;key2;key3><3:key4;key5;+1>>
<value1;value2;value3>
<value4;value5;value6>
<value7;value8;value9>
<value10;value11;+2>
>
此时,<key6:+1;value12;+2>为数据映射表。<<0;1;2:key1;key2;key3><3:key4;key5;+1>>为数据名对象块。
在一种可选方案中,对采集数据中的数据名进行归一化处理,得到第一数据名对象块,可包括步骤A1-A3:
步骤A1、对至少一个数据项对象组中的数据名进行提取,得到至少一个候选数据名对象组。
步骤A2、对至少一个候选数据名对象组进行归一化处理,得到至少一个目标数据名对象组。
步骤A3、根据至少一个目标数据名对象组,确定第一数据名对象块。
候选数据名对象组可以是对数据名进行提取后,存在相同的数据名对象组。目标数据名对象组可以是对数据名进行提取后,不存在相同的数据名对象组。
通过数据项对象组中的数据名进行提取,此时可以得到候选数据名对象组。通过对至少一个候选数据名对象组进行归一化处理,可以将得到的候选数据名对象组中重复的部分进行删除,从而得到至少一个目标数据名对象组。
将各个目标数据名对象组进行整合,从而得到第一数据名对象块。
示例性的,若编码后的采集数据为:
<
<key1:value1;key2:value2;key3:value3>
<key1:value4;key2:value5;key3:value6>
<key1:value7;key2:value8;key3:value9>
<key4:value10;key5:value11;key6:value12>
>
对至少一个数据项对象组中的数据名进行提取,此时可以得到:
<
<key1;key2;key3>
<key1;key2;key3>
<key1;key2;key3>
<key4;key5;key6>
>
此时,得到的<key1;key2;key3>、<key1;key2;key3>、<key1;key2;key3>以及<key4;key5;key6>为候选数据名对象组。
对候选数据名对象组进行归一化处理,从而得到:
<
<0;1;2:key1;key2;key3>
<3:key4;key5;key6>
>
此时得到的<0;1;2:key1;key2;key3>与<3:key4;key5;key6>为目标数据名对象组。
将<0;1;2:key1;key2;key3>与<3:key4;key5;key6>进行组合,从而得到第一数据名对象块:
<<0;1;2:key1;key2;key3><3:key4;key5;+1>>
可选的,根据数据名以及数据值的数据量大小,确定数据映射表,包括:
若采集数据中数据名以及数据值存在重复值,且数据名以及数据值的数据量大于第一预设阈值,则对数据名以及数据值进行提取,并生成数据映射表。
第一预设阈值可以是预先设定的数据值与数据名不被映射的最大数据量。
在构建数据映射表时,若将全部的数据进行替代,则难以保证采集数据的数据量的变化。因此,在构建数据映射表时,仅替代数据名以及数据值中重复且大于第一预设阈值的数据名和数据值。
示例性的,若构建数据映射表构建前的数据为:
<
<key1:value1;key2:value2;key3:value3>
<key1:value4;key2:value5;key3:value6>
<key1:value7;key2:value8;key3:value9>
<key4:value10;key5:value11;key6:value12>
>
其中,key1以及key3的数据量大于第一预设阈值,此时构建数据映射表的构建为:
<
<key1:+1;key3:+2>
<+1:value1;key2:value2;+2:value3>
<+1:value4;key2:value5;+2:value6>
<+1:value7;key2:value8;+2:value9>
<key4:value10;key5:value11;key6:value12>
>
S260、根据数据映射表,对至少一个数据项对象组中的数据名和数据值进行替换,得到第一压缩采集数据。
S270、根据数据名对象块,对第一压缩采集数据中数据名进行删除,得到第二压缩采集数据。
S280、根据数据名对象块、数据映射表以及第二压缩采集数据,确定压缩采集数据。
压缩采集数据可以是对采集数据进行压缩后的数据。
在得到数据映射表后,可以根据数据映射表中的映射关系,对数据项对象组中的数据名和数据值进行替换,从而得到替换后的第一压缩采集数据。在根据数据名对象块中的数据名,对第一压缩采集数据中的数据名进行删除,从而得到第二压缩采集数据。
为了保证接受方能够对压缩后的第二压缩采集数据进行准确的解压,需要将数据映射表作为传输数据的首部,数据名对象块作为中部,第二压缩采集数据作为尾部进行整理,得到压缩采集数据。
示例性的,在应用于配电柜时,可以对采集到的采集数据进行编码,得到如下结果:
<
<Address:123;Type:meter;Ua:220.1;Ub:220.1;Uc:220.1;Ia:5.2;Ib:5.3;Ic:6.0>
<Address:456;Type:meter;Ua:220.2;Ub:220.2;Uc:220.1;Ia:5.3;Ib:5.5;Ic:7.0>
<Address:789;Type:breaker;Ua:220.2;Ub:220.2;Uc:220.1;Ia:5.3;Ib:5.5;Ic:7.0>
>
对其进行归一化处理,从而得到如下结果:
<
<0;1;2:Address;Type;Ua;Ub;Uc;Ia;Ib;Ic>
<123;meter;220.1;220.1;220.1;5.2;5.3;6.0>
<456;meter;220.2;220.2;220.1;5.3;5.5;7.0>
<789;breaker;220.2;220.2;220.1;5.3;5.5;7.0>
>
利用数据映射表,对其进行数据替换,从而得到如下结果:
<
<meter:+1;220.1:+2;220.2:+3>
<0;1;2:Address;Type;Ua;Ub;Uc;Ia;Ib;Ic>
<123;+1;+2;+2;+2;5.2;5.3;6.0>
<456;+1;+3;+3;2;5.3;5.5;7.0>
<789;+1;+3;+2;+3;2;5.3;5.5;7.0>
>
其中,<meter:+1;220.1:+2;220.2:+3>为数据映射表,<0;1;2:Address;Type;Ua;Ub;Uc;Ia;Ib;Ic>为数据名对象块。
根据本发明实施例的技术方案,通过对采集数据进行编码,得到至少一个数据项对象组,使得对采集数据进行处理时能够较为清晰。通过数据名对象块、数据映射表对采集数据进行压缩,从而保证了数据在压缩时,不会影响数据的准确性。
实施例三
图3为本发明实施例提供了一种数据压缩装置的结构框图,本实施例可适用于在传输数据时,需要保证数据准确传输,且需要减少数据传输的数据量的情形。该数据压缩装置可以采用硬件和/或软件的形式实现,该数据压缩装置可配置于具有数据处理能力的电子设备中。如图3所示,本实施例的数据压缩装置,可包括:数据采集模块310、映射关系确定模块320以及数据压缩模块330。其中:
数据采集模块310,用于获取数据采集设备的采集数据;
映射关系确定模块320,用于根据采集数据中的数据名与数据值,确定数据名对象块与数据映射表;其中,数据名对象块用以表示数据名与数据值之间的映射关系;数据映射表用以表示数据名与第一预设数值组之间的映射关系,以及数据值与第二预设数值组之间的映射关系;
数据压缩模块330,用于根据数据名对象块与数据映射表,对采集数据进行压缩,得到压缩采集数据。
在上述实施例的基础上,可选的,在数据采集模块310之后,该装置还包括:
数据项对象组确定模块,用于对采集数据进行编码,得到至少一个数据项对象组;其中,数据项对象组中至少包括一个数据项对象;数据项对象中至少包括一个数据名、数据值以及数据名与数据值的对应关系。
在上述实施例的基础上,可选的,数据名对象块中至少包括一个数据名对象组;数据名对象组为仅包含数据名的数据项对象组。
在上述实施例的基础上,可选的,映射关系确定模块320,包括:
第一对象块确定单元,用于对采集数据中的数据名进行归一化处理,得到第一数据名对象块;
数据映射表确定单元,用于根据数据名以及数据值的数据量大小,确定数据映射表;
数据名对象块确定单元,用于根据第一数据名对象块以及数据映射表,确定数据名对象块。
在上述实施例的基础上,可选的,第一对象块确定单元,包括:
候选对象组确定子单元,用于对至少一个数据项对象组中的数据名进行提取,得到至少一个候选数据名对象组;
目标对象组确定子单元,用于对至少一个候选数据名对象组进行归一化处理,得到至少一个目标数据名对象组;
第一对象块确定获取子单元,用于根据至少一个目标数据名对象组,确定第一数据名对象块。
在上述实施例的基础上,可选的,数据映射表确定单元,具体用于:
若采集数据中数据名以及数据值存在重复值,且数据名以及数据值的数据量大于第一预设阈值,则对数据名以及数据值进行提取,并生成数据映射表。
在上述实施例的基础上,可选的,数据压缩模块330,包括:
第一压缩数据获取单元,用于根据数据映射表,对至少一个数据项对象组中的数据名和数据值进行替换,得到第一压缩采集数据;
第二压缩数据获取单元,用于根据数据名对象块,对第一压缩采集数据中数据名进行删除,得到第二压缩采集数据;
压缩数据获取单元,用于根据数据名对象块、数据映射表以及第二压缩采集数据,确定压缩采集数据。
本发明实施例所提供的数据压缩装置可执行本发明任意实施例所提供的数据压缩方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如数据压缩方法。
在一些实施例中,数据压缩方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的数据压缩方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据压缩方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种数据压缩方法,其特征在于,包括:
获取数据采集设备的采集数据;
根据所述采集数据中的数据名与数据值,确定数据名对象块与数据映射表;其中,所述数据名对象块用以表示所述数据名与所述数据值之间的映射关系;所述数据映射表用以表示所述数据名与第一预设数值组之间的映射关系,以及所述数据值与第二预设数值组之间的映射关系;
根据所述数据名对象块与所述数据映射表,对所述采集数据进行压缩,得到压缩采集数据。
2.根据权利要求1所述的方法,其特征在于,在所述获取数据采集设备的采集数据之后,所述方法还包括:
对所述采集数据进行编码,得到至少一个数据项对象组;其中,所述数据项对象组中至少包括一个数据项对象;数据项对象中至少包括一个所述数据名、所述数据值以及所述数据名与所述数据值的对应关系。
3.根据权利要求2所述的方法,其特征在于,所述数据名对象块中至少包括一个数据名对象组;所述数据名对象组为仅包含所述数据名的数据项对象组。
4.根据权利要求3所述的方法,其特征在于,所述根据所述采集数据中的数据名与数据值,确定数据名对象块与数据映射表,包括:
对所述采集数据中的数据名进行归一化处理,得到第一数据名对象块;
根据所述数据名以及所述数据值的数据量大小,确定所述数据映射表;
根据所述第一数据名对象块以及所述数据映射表,确定所述数据名对象块。
5.根据权利要求4所述的方法,其特征在于,所述对所述采集数据中的数据名进行归一化处理,得到第一数据名对象块,包括:
对所述至少一个数据项对象组中的所述数据名进行提取,得到至少一个候选数据名对象组;
对所述至少一个候选数据名对象组进行归一化处理,得到所述至少一个目标数据名对象组;
根据所述至少一个目标数据名对象组,确定所述第一数据名对象块。
6.根据权利要求4所述的方法,其特征在于,所述根据所述数据名以及所述数据值的数据量大小,确定所述数据映射表,包括:
若所述采集数据中所述数据名以及所述数据值存在重复值,且所述数据名以及所述数据值的数据量大于第一预设阈值,则对所述数据名以及所述数据值进行提取,并生成所述数据映射表。
7.根据权利要求2所述的方法,其特征在于,所述根据所述数据名对象块与所述数据映射表,对所述采集数据进行压缩,得到压缩采集数据,包括:
根据所述数据映射表,对所述至少一个数据项对象组中的所述数据名和所述数据值进行替换,得到第一压缩采集数据;
根据所述数据名对象块,对所述第一压缩采集数据中所述数据名进行删除,得到第二压缩采集数据;
根据所述数据名对象块、所述数据映射表以及所述第二压缩采集数据,确定所述压缩采集数据。
8.一种数据压缩装置,其特征在于,包括:
数据采集模块,用于获取数据采集设备的采集数据;
映射关系确定模块,用于根据所述采集数据中的数据名与数据值,确定数据名对象块与数据映射表;其中,所述数据名对象块用以表示所述数据名与所述数据值之间的映射关系;所述数据映射表用以表示所述数据名与第一预设数值组之间的映射关系,以及所述数据值与第二预设数值组之间的映射关系;
数据压缩模块,用于根据所述数据名对象块与所述数据映射表,对所述采集数据进行压缩,得到压缩采集数据。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据压缩方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据压缩方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311329139.6A CN117394867A (zh) | 2023-10-13 | 2023-10-13 | 一种数据压缩方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311329139.6A CN117394867A (zh) | 2023-10-13 | 2023-10-13 | 一种数据压缩方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117394867A true CN117394867A (zh) | 2024-01-12 |
Family
ID=89438435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311329139.6A Pending CN117394867A (zh) | 2023-10-13 | 2023-10-13 | 一种数据压缩方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117394867A (zh) |
-
2023
- 2023-10-13 CN CN202311329139.6A patent/CN117394867A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112560468B (zh) | 气象预警文本处理方法、相关装置及计算机程序产品 | |
CN116225769B (zh) | 一种系统故障根因的确定方法、装置、设备及介质 | |
CN115567589B (zh) | Json数据的压缩传输方法、装置、设备及存储介质 | |
CN113963197A (zh) | 图像识别方法、装置、电子设备和可读存储介质 | |
CN113904943B (zh) | 账号检测方法、装置、电子设备和存储介质 | |
CN116193296A (zh) | 一种容器化分布式数据采集处理方法、装置、设备及介质 | |
CN115048352B (zh) | 一种日志字段提取方法、装置、设备和存储介质 | |
CN117394867A (zh) | 一种数据压缩方法、装置、电子设备及存储介质 | |
CN115878914A (zh) | 一种域名匹配方法、装置、设备及存储介质 | |
CN115665285A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN118509485B (zh) | 传输数据的处理方法、装置、设备、介质和产品 | |
CN118509485A (zh) | 传输数据的处理方法、装置、设备、介质和产品 | |
CN117742900B (zh) | 一种服务调用图的构造方法、装置、设备及存储介质 | |
CN116974856B (zh) | 一种自动获取日志文件的方法、装置、设备及介质 | |
EP4099319A1 (en) | Wake-up index monitoring method and apparatus, and electronic device | |
CN112560992B (zh) | 优化图片分类模型的方法、装置、电子设备及存储介质 | |
CN115802438A (zh) | 一种数据处理方法、装置、设备及介质 | |
CN117540718A (zh) | 一种基于文档对象模型的巡检结果智能统计方法 | |
CN116225568A (zh) | 一种应用系统接口的管理方法、装置、设备及存储介质 | |
CN115208871A (zh) | 一种制氢设备监控系统、方法及存储介质 | |
CN117573491A (zh) | 一种性能瓶颈的定位方法、装置、设备及存储介质 | |
CN117827637A (zh) | 自动化测试方法、装置及电子设备 | |
CN118822113A (zh) | 电力物联网的多源数据处理方法、装置、设备及介质 | |
CN116933088A (zh) | 一种二次设备故障数据生成方法、装置、电子设备及介质 | |
CN117236313A (zh) | 测试数据解析方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |