CN114040028B - 一种基于三种模式的数据压缩方法和数据解压方法 - Google Patents
一种基于三种模式的数据压缩方法和数据解压方法 Download PDFInfo
- Publication number
- CN114040028B CN114040028B CN202111273357.3A CN202111273357A CN114040028B CN 114040028 B CN114040028 B CN 114040028B CN 202111273357 A CN202111273357 A CN 202111273357A CN 114040028 B CN114040028 B CN 114040028B
- Authority
- CN
- China
- Prior art keywords
- data
- abbreviated
- fragments
- pattern
- slices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000013144 data compression Methods 0.000 title claims abstract description 44
- 230000006837 decompression Effects 0.000 title claims abstract description 21
- 239000012634 fragment Substances 0.000 claims abstract description 233
- 230000005540 biological transmission Effects 0.000 claims abstract description 53
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims description 29
- 238000005192 partition Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请提供一种基于三种模式的数据压缩方法和数据解压方法,其中数据压缩方法的实现包括:获取原始数据;对原始数据进行二进制转换,得到二进制数据;将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;对多个数据分片进行缩写,获得多个缩写后的数据分片;发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。采用本申请实施例的数据压缩方法,原始数据经过二进制转换、拆分、缩写后,最终被压缩成包括多个缩写后的数据分片的缩写后数据,多个缩写后的数据分片中每个缩写后的数据分片包括三种不同的数据模式,从而极大地降低了数据传输量,提高数据传输效率。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种基于三种模式的数据压缩方法和数据解压方法。
背景技术
随着社会经济的快速发展和人民生活水平的不断提高,数据通信技术在各行各业都得到了大范围的普及应用,伴随着数据传输量的增长,市面上对于数据传输速度的要求也越来越高。
为了提高数据传输速度,通常会对数据进行拆分达到压缩数据的目的,目前的数据压缩方法通常只是将数据拆分成大小相同的多个数据分片来进行数据传输,然而在这种方法下,多个数据分片只能通过传统压缩算法进行进一步压缩,将会产生新的压缩冗余,且硬盘面对大量的数据分片需要花费一定时间进行索引而使得数据传输速度降低,因此,目前的数据压缩方法难以起到提高数据传输速度的作用。
发明内容
本申请实施例提供了一种基于三种模式的数据压缩方法和数据解压方法,实施本申请实施例的数据压缩方法,通过对原始数据进行压缩,从而提高数据传输速度。
第一方面,本申请实施例提供了一种基于三种模式的数据压缩方法,上述方法包括:
获取原始数据;
对原始数据进行二进制转换,得到二进制数据;
将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;
对多个数据分片进行缩写,获得多个缩写后的数据分片;
发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。
在一个可能的示例中,上述方法还包括:
在第一缩写后的数据分片中,确定第一子分片,第一子分片包括第一缩写后的数据分片中的第一缩写结果和第二缩写结果;
检测第一子分片与第三数据模式是否相同;
若是,则对第一缩写后的数据分片进行缩写,获得第二缩写后的数据分片。
第二方面,本申请实施例提供了一种基于三种模式的数据解压方法,上述方法包括:
接收缩写后的数据,缩写后的数据包括多个缩写后的数据分片,多个缩写后的数据分片中的每个缩写后的数据分片中包括两种不同的缩写结果和标识后的数据模式;
对多个缩写后的数据分片进行还原,得到多个还原后的数据分片,多个还原后的数据分片中的每个还原后的数据分片中包括三种不同的数据模式;
将多个还原后的数据分片进行拼接,得到二进制数据。
第三方面,本申请实施例提供了一种基于三种模式的数据压缩装置,上述装置包括:
获取单元,用于获取原始数据;
转换单元,用于对原始数据进行二进制转换,得到二进制数据;
拆分单元,用于将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;
缩写单元,用于对多个数据分片进行缩写,获得多个缩写后的数据分片;
发送单元,用于发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。
第四方面,本申请实施例提供了一种电子设备,包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令,当计算机执行指令被运行时,使得电子设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机指令,当计算机指令在通信装置上运行时,使得通信装置执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,计算机程序产品包括计算机程序,计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,获取原始数据;对原始数据进行二进制转换,得到二进制数据;将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;对多个数据分片进行缩写,获得多个缩写后的数据分片;发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。采用本申请实施例的数据压缩方法,原始数据经过二进制转换、拆分、缩写后,最终被压缩成包括多个缩写后的数据分片的缩写后数据,多个缩写后的数据分片中每个缩写后的数据分片包括三种不同的数据模式,从而极大地降低了数据传输量,提高数据传输效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是一种数据传输系统的结构部署图;
图1B是本申请实施例提供的一种基于三种模式的数据压缩方法的流程图;
图1C是本申请实施例应用的一种基于三种模式的数据压缩系统的部署图;
图1D是本申请实施例提供的一种基于三种模式的数据压缩方法的示意图;
图1E是本申请实施例提供的一种基于三种模式的数据压缩方法的示意图;
图1F是本申请实施例提供的一种基于三种模式的数据压缩方法的示意图;
图2是本申请实施例提供的一种基于三种模式的数据解压方法的流程图;
图3是本申请实施例提供的一种基于三种模式的数据压缩装置的结构图;
图4是本申请的实施例提供的一种电子设备的硬件运行环境的服务器结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤的过程、方法、系统、产品或设备没有限定于已列出的步骤,而是可选地还包括没有列出的步骤,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合附图对本申请实施例涉及的应用场景进行介绍。
图1A是一种数据传输系统的结构部署图。如图1A所示,该系统的第一端与数据发送方连接且第二端与数据接收方连接。
其中,数据发送方,指欲将原始数据发送给数据接收方从而将原始数据发送给数据传输系统进行压缩的角色;
其中,数据传输系统,用于接收数据发送方的原始数据,并通过将原始数据拆分成大小相同的多个数据分片以进行数据传输,从而将来自数据发送方的原始数据发送给数据接收方;
其中,数据接收方,指接收自数据传输系统的多个数据分片并对多个数据分片进行还原后得到原始数据的角色;
在上述系统进行数据传输的过程中,由于原始数据只是被拆分成大小相同的多个数据分片、只是通过传统压缩算法对多个数据分片进行进一步压缩,将会产生新的压缩冗余,并且,由于硬盘需要花费时间索引大量的数据分片,可以看出,上述过程对于数据传输速度并没有足够的提高作用。
基于此,本申请实施例提供了一种基于三种模式的数据压缩方法,请参阅图1B,图1B是本申请实施例提供的一种基于三种模式的数据压缩方法的流程图,如图1B所示,该方法包括以下步骤:
101:获取原始数据。
其中,原始数据的数据形式包括数值、文字、图像、声音等形式。
102:对原始数据进行二进制转换,得到二进制数据。
其中,对原始数据进行二进制转换,在具体实现中,可以是通过JavaScript、C#等程序代码的方式实现不同类型原始数据的二进制转换。
其中,二进制数据中包括0和1两种数字。
示例性地,原始数据是数值5,则对数值5进行二进制转换,得到二进制数据为0101。
103:将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式。
其中,数据模式,可以包括n位数据,且每种数据模式包括的n位数据与其他数据模式是不相同的,以表征不同的数据内容。在具体实现中,将二进制数据拆分为多个数据分片,可以是通过按照每n位数据为单位将二进制数据划分成多个数据模式,然后确保每个数据分片中包括三种不同的数据模式地将二进制数据拆分为多个数据分片。
示例性地,数据模式包括2位数据。若数据分片为000110,则根据数据模式包括2位数据的性质可知,数据分片中的00为第一种数据模式、01为第二种数据模式且10为第三种数据模式,即是说,000110中包括00、01和10三种数据模式。
其中,多个数据分片中的每个数据分片中包括三种不同的数据模式,目的是通过保证每个数据分片中只有三种数据模式,在确保每个数据分片具有一定长度的同时降低每个数据分片的数据复杂度。
104:对多个数据分片进行缩写,获得多个缩写后的数据分片。
其中,对多个数据分片进行缩写,在具体实现中,可以是根据多个数据分片中每个数据分片的内容来对每个数据分片进行缩写;还可以是根据每个数据分片中的三种不同的数据模式中每种数据模式的内容来对数据模式进行缩写,从而完成对每个数据分片的缩写。
示例性地,假设有1100、0011、1111共3个数据分片,假设每个数据模式包括4位数据,相当于是根据上述3个数据分片中每个数据分片的内容来对每个数据分片进行缩写,由于每个数据分片的内容不同,则可以将数据分片1100缩写为00、将数据分片0011缩写为01且将数据分片1111缩写为10从而完成对3个数据分片的缩写;假设每个数据模式包括2位数据,若是根据每个数据分片中的两种不同的数据模式中每种数据模式的内容来对数据模式进行缩写,由于每个数据模式的内容不同,则可以将数据模式11缩写为1且将数据模式00缩写为0,从而将数据分片1100缩写为10、将数据分片0011缩写为01且将数据分片1111缩写为11从而完成对3个数据分片的缩写;
又一示例性地,假设每个数据模式包括2位数据,对多个数据分片进行缩写的方式还可以是,将多个数据分片中的每个数据分片中的第一种数据模式转化为1、第二种数据模式转化为0且对第三种数据模式进行标识处理,则数据分片110001中的11缩写为1、00缩写为0且对01进行标识处理而得到缩写后的数据分片10(01),数据分片100100中的10缩写为1、01缩写为0且对00进行标识处理而得到缩写后的数据分片10(00),数据分片111000中的11缩写为1、10缩写为0且对00进行标识处理而得到缩写后的数据分片10(00),从而完成对3个数据分片的缩写。上述示例所采用的缩写方式,适用于希望缩写后的数据中只包括0和1两种数据、且希望每个缩写后的数据分片具有一定长度而减少缩写后的数据分片的个数,以避免硬盘需要花费时间索引大量的数据分片而使得数据传输速度降低的情况。
需要说明的是,上述仅作为对多个数据分片进行缩写的方式的个别示例,在具体的应用中,对多个数据分片进行缩写的方式还可以以其他方式的形式存在,在此不做限制。
105:发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。
其中,缩写后的数据,在具体实现中,可以是由多个缩写后的数据分片按照顺序拼接而成。
下面结合附图对本申请实施例中所涉及的设备进行介绍。
请参阅图1C,图1C是本申请实施例应用的一种基于三种模式的数据压缩系统的部署图,如图1C所示,该系统包括获取模块、转换模块、拆分模块、缩写模块和发送模块。该系统的第一端与数据发送方连接且第二端与数据接收方连接,其中,每个模块的功能可以由单独的服务器来实现,也可以是多个模块的功能由一个服务器实现。实现不同模块功能的多个服务器互相通信连接。服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中,数据发送方,指欲将原始数据发送给数据接收方,从而将原始数据发送给基于三种模式的数据压缩系统中的获取模块的角色。
其中,获取模块,用于接收数据发送方的原始数据,并将原始数据发送给转换模块。
其中,转换模块,用于在接收到来自获取模块的原始数据后,对原始数据进行二进制转换,得到二进制数据,并将二进制数据发送给拆分模块。
其中,拆分模块,用于在接收到来自转换模块的二进制数据后,将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式,并将多个数据分片发送给缩写模块。
其中,缩写模块,用于在接收到来自拆分模块的多个数据分片后,对多个数据分片进行缩写,获得多个缩写后的数据分片,并将多个缩写后的数据分片发送给发送模块。
其中,发送模块,用于在接收到来自缩写模块的多个缩写后的数据分片后,将多个缩写后的数据分片进行拼接得到缩写后的数据,并将包括多个缩写后的数据分片的缩写后的数据给数据接收方。
其中,数据接收方,指接收来自基于三种模式的数据压缩系统的缩写后的数据,并对缩写后的数据进行还原从而得到来自数据发送方的原始数据的角色。
示例性地,假设每个数据模式包括2位数据,且对多个数据分片进行缩写的方式是将多个数据分片中的每个数据分片中的第一种数据模式转化为1、第二种数据模式转化为0且对第三种数据模式进行标识处理。获取到原始数据,对原始数据进行二进制转换,得到二进制数据110010011110,按照每个数据模式中包括2位数据的方式对该二进制数据进行数据划分,可以得到11、00、10、01、11、10共6个数据模式,在确保每个数据分片中包括三种不同的数据模式的前提下对该6个数据模式进行拆分,可以获得110010、011110共2个数据分片,对该2个数据分片进行缩写,数据分片110010中的11缩写为1、00缩写为0且对10进行标识处理而得到缩写后的数据分片10(10),数据分片011110中的01缩写为1、11缩写为0且对10进行标识处理而得到缩写后的数据分片10(10),对该2个缩写后的数据分片进行拼接,得到缩写后的数据为10(10)10(10),可见,缩写后的数据的数据量相较于二进制数据有了极大程度的减少,有利于提高数据传输速度。
可以看出,本申请实施例中,获取原始数据;对原始数据进行二进制转换,得到二进制数据;将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;对多个数据分片进行缩写,获得多个缩写后的数据分片;发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。采用本申请实施例的数据压缩方法,原始数据经过二进制转换、拆分、缩写后,最终被压缩成包括多个缩写后的数据分片的缩写后数据,多个缩写后的数据分片中每个缩写后的数据分片包括三种不同的数据模式,从而极大地降低了数据传输量,提高数据传输效率。
在一个可能的示例中,上述将二进制数据拆分为多个数据分片,包括:对二进制数据进行数据划分,得到多个数据模式,多个数据模式中每个数据模式中包括n位数据;对多个数据模式进行拆分获得多个数据分片,多个数据分片中的每个数据分片包括三种数据模式。
其中,n可以是2、3或其他数字。
其中,多个数据分片中的每个数据分片包括三种数据模式,目的是使得每个数据分片中都有且只包括有三种数据模式,降低每个数据分片的数据复杂程度,同时通过确保每个数据分片具有一定长度减少了数据分片的个数,以避免硬盘需要花费时间索引大量的数据分片而使得数据传输速度降低的情况。
示例性地,n=2,则每个数据模式中包括2位数据。若二进制数据是110010011110,则对二进制数据进行数据划分,按照每个数据模式中包括2位数据的方式进行数据划分,可以得到11、00、10、01、11、10共6个数据模式,按照每个数据分片包括三种数据模式地对该6个数据模式进行拆分,获得110010、011110共2个数据分片,可见,每个数据分片包括三种数据模式且每个数据模式包括2位数据。
可以看出,本申请实施例中,按照每个数据模式中包括n位数据地对二进制数据进行数据划分,从而得到多个数据模式,且按照每个数据分片包括三种数据模式地对多个数据模式进行拆分,从而获得多个数据分片,保证了多个数据分片中的每个数据分片中包括有三种数据模式,极大地降低了每个数据分片的数据复杂程度且确保每个数据分片具有一定长度,通过简化每个数据分片的内容且减少数据分片的个数,进而提高了数据传输速度。
在一个可能的示例中,上述对多个数据模式进行拆分获得多个数据分片,包括:对多个数据模式进行扫描,并将读取到的第一数据模式和第二数据模式划分到第一数据分片;当读取到第三数据模式时,将第三数据模式划分到第一数据分片,并确定完成第一数据分片的划分,第一数据分片为多个数据分片中的一个。
其中,第一数据模式可以是第一数据分片中的第一种数据模式,第二数据模式可以是第一数据分片中的第二种数据模式,第三数据模式是不同于第一数据模式和第二数据模式的下一种数据模式。
其中,当读取到第三数据模式时,将第三数据模式划分到第一数据分片,并确定完成第一数据分片的划分,可以看出,多个数据分片中每个数据分片包括至少一个第一数据模式、至少一个第二数据模式和一个第三数据模式。
示例性地,假设每个数据模式中包括2位数据。若二进制数据为110010011110,则对二进制数据进行数据划分,按照每个数据模式中包括2位数据的方式进行数据划分,可以得到11、00、10、01、11、10共6个数据模式,对该6个数据模式进行扫描,可见,第一个11是读取到的第一数据模式、00是读取到的第二数据模式,因此,将11和00划分到第一数据分片中,当读取到10即第三数据模式时,将10也划分到第一数据分片中,并确定第一数据分片的划分,得到第一数据分片为110010。
可以看出,本申请实施例中,对多个数据模式进行扫描,并将读取到的第一数据模式和第二数据模式划分到第一数据分片;当读取到第三数据模式时,将第三数据模式划分到第一数据分片,并确定完成第一数据分片的划分,使得多个数据分片中每个数据分片中包括至少一个第一数据模式、至少一个第二数据模式和一个第三数据模式,极大地降低了每个数据分片的数据复杂程度且确保每个数据分片具有一定长度,通过简化每个数据分片的内容且减少数据分片的个数,避免硬盘需要花费时间索引大量的数据分片而使得数据传输速度降低的情况,进而提高了数据传输速度。
在一个可能的示例中,上述对多个数据模式进行拆分获得多个数据分片,包括:对多个数据模式进行扫描,并将读取到的第一数据模式、第二数据模式和第三数据模式划分到第一数据分片;当读取到第四数据模式时,将第四数据模式划分到下一个数据分片,并确定完成第一数据分片的划分,第一数据分片为多个数据分片中的一个。
其中,将读取到的第一数据模式、第二数据模式和第三数据模式划分到第一数据分片,当读取到第四数据模式时,将第四数据模式划分到下一个数据分片,并确定完成第一数据分片的划分,可以看出,多个数据分片中每个数据分片包括至少一个第一数据模式、至少一个第二数据模式和至少一个第三数据模式。
示例性地,请参阅图1D,图1D是本申请实施例提供的一种基于三种模式的数据压缩方法的示意图,如图1D所示,假设每个数据模式中包括2位数据。若二进制数据为110010101001,则对二进制数据进行数据划分,按照每个数据模式中包括2位数据的方式进行数据划分,可以得到11、00、10、10、10、01共6个数据模式,对该6个数据模式进行扫描,可见,11是读取到的第一数据模式、00是读取到的第二数据模式且10是读取到的第三数据模式,因此,将11、00、10、10、10划分到第一数据分片中,直到读取到01时是读取到了第四数据模式,因此,将01划分到下一个数据分片中,并确定完成第一数据分片的划分,得到第一数据分片为1100101010。
可以看出,本申请实施例中,对多个数据模式进行扫描,并将读取到的第一数据模式、第二数据模式和第三数据模式划分到第一数据分片;当读取到第四数据模式时,将第四数据模式划分到下一个数据分片,并确定完成第一数据分片的划分,使得多个数据分片中每个数据分片包括至少一个第一数据模式、至少一个第二数据模式和至少一个第三数据模式,极大地降低了每个数据分片的数据复杂程度且确保每个数据分片具有一定长度,通过简化每个数据分片的内容且减少数据分片的个数,避免硬盘需要花费时间索引大量的数据分片而使得数据传输速度降低的情况,进而提高了数据传输速度。
在一个可能的示例中,上述将二进制数据拆分为多个数据分片,包括:当完成对第N个数据分片的划分时,获取二进制数据中剩余数据的数据传输时长;若剩余数据的数据传输时长小于或等于预设时长,则对剩余数据进行标识处理,得到标识后的剩余数据;上述对多个数据分片进行缩写,获得多个缩写后的数据分片,包括:对前N个数据分片进行缩写,获得N个缩写后的数据分片;上述发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片,包括:发送缩写后的数据,缩写后的数据包括N个缩写后的数据分片和标识后的剩余数据。
其中,当完成对第N个数据分片的划分时,获取二进制数据中剩余数据的数据传输时长,在具体实现中,可以是每完成一个数据分片的划分时,便获取二进制数据中剩余数据的数据传输时长。
其中,预设时长,可以是1ms或其他时长。
其中,对剩余数据进行标识处理,得到标识后的剩余数据,目的是表征剩余数据没有进行缩写处理。
示例性地,假设N=5、预设时长为1ms,请参阅图1E,图1E是本申请实施例提供的一种基于三种模式的数据压缩方法的示意图,如图1E所示,当完成对第5个数据分片的划分时,二进制数据中剩余数据为01010110,获取到01010110的数据传输时长为0.5ms,可见剩余数据的数据传输时长小于预设时长,则对01010110进行标识处理,得到标识后的剩余数据即(01010110),从而在对多个数据分片进行缩写时只对前5个数据分片进行缩写得到5个缩写后的数据分片,而(01010110)则不进行缩写,数据发送方完成对二进制数据的缩写后,除了发送5个缩写后的数据分片还将直接发送(01010110)。在该示例中,当数据接收方接收到包括5个缩写后的数据分片和(01010110)、且(01010110)不包括在5个缩写后的数据分片中的缩写后的数据时,对(01010110)进行还原的方式是直接获取01010110作为还原后的数据分片。
可以看出,本申请实施例中,当完成对第N个数据分片的划分时,获取二进制数据中剩余数据的数据传输时长;若剩余数据的数据传输时长小于或等于预设时长,则对剩余数据进行标识处理,得到标识后的剩余数据,最终发送包括N个缩写后的数据分片和标识后的剩余数据的缩写后的数据。由于在剩余数据的数据传输时长小于或等于预设时长时,说明剩余数据的数据量较少,若此时对剩余数据再花时间进行缩写,将可能导致缩写后的数据传输时间相较于直接发送的传输时间还长,因此,对剩余数据不进行分片拆分、也不进行缩写地直接进行发送。可见,采用本申请实施例提供的方法,将会提高数据传输速度。
在一个可能的示例中,上述对多个数据分片进行缩写,获得多个缩写后的数据分片,包括:将每个数据分片中的第一数据模式转化为第一缩写结果、第二数据模式转化为第二缩写结果;得到标识后的第三数据模式,标识处理用于表征第三数据模式不存在对应的缩写结果;确定多个缩写后的数据分片,多个缩写后的数据分片中每个缩写后的数据分片包括第一缩写结果、第二缩写结果和标识后的第三数据模式。
其中,第一缩写结果可以是1或其他标识,第二缩写结果可以是0或其他标识,且第一缩写结果与第二缩写结果不同。
其中,对每个数据分片中的第三数据模式进行标识处理,在具体实现中,可以是对第三数据模式标识()符号或标识其他符号。
示例性地,将每个数据分片中的第一数据模式转化为第一缩写结果,是将每个数据分片中的第一数据模式转化为1、将第二数据模式转化为第二缩写结果,是将每个数据分片中的第二数据模式转化为0,且对第三数据模式标识()符号。如表1所示,若二进制数据是1100101010011110,假设每个数据分片包括三种数据模式且每个数据模式包括2位数据,且对多个数据模式进行拆分获得多个数据分片的方式是将读取到的第一数据模式、第二数据模式和第三数据模式划分到第一数据分片,当读取到第四数据模式时,将第四数据模式划分到下一个数据分片,并确定完成第一数据分片的划分,则由上述实施例可知,该二进制数据可以拆分为数据分片1:1100101010、数据分片2:011110共2个数据分片,其中,数据分片1中的11和数据分片2中的01是每个数据分片中的第一数据模式,数据分片1中的00和数据分片2中的11是每个数据分片中的第二数据模式,同理地,数据分片1中的10和数据分片中的10是每个数据分片中的第三数据模式,因此,将数据分片1中的11转化为1、00转化为0并对10进行标识处理,将数据分片2中的01转化为1、11转化为0并对10进行标识处理,则获得缩写后的数据分片1为10(101010)、缩写后的数据分片2为10(10),至此完成对2个数据分片的缩写,可见,由于标识后的第三数据模式的存在,每个缩写后的数据分片都具有一定长度,避免硬盘需要花费时间索引大量的数据分片而使得数据传输速度降低的情况,同时每个缩写后的数据分片的长度相较于缩写前都有了较大程度的减小,能够显著地提高数据传输速度。
表1
可以看出,本申请实施例中,在对多个数据分片进行缩写时,将每个数据分片中的第一数据模式转化为第一缩写结果、第二数据模式转化为第二缩写结果;对每个数据分片中的第三数据模式进行标识处理,得到标识后的第三数据模式,标识处理用于表征第三数据模式不存在对应的缩写结果;确定多个缩写后的数据分片,多个缩写后的数据分片中每个缩写后的数据分片包括第一缩写结果、第二缩写结果和标识后的第三数据模式。采用本申请实施例的数据压缩方法,原始数据经过二进制转换、拆分、缩写后,最终被压缩成包括多个缩写后的数据分片的缩写后数据,多个缩写后的数据分片中每个缩写后的数据分片包括三种不同的数据模式,从而极大地降低了数据传输量,提高数据传输效率。
在一个可能的示例中,上述对多个数据分片进行缩写,获得多个缩写后的数据分片,包括:分别获取每个数据分片中三种数据模式中每种数据模式的个数;确定目标标识数据模式,目标标识数据模式为三种数据模式中个数最少的一种数据模式;对每个数据分片中除目标标识数据模式之外的剩余两种数据模式进行缩写,获得第一缩写结果和第二缩写结果;对每个数据分片中的目标标识数据模式进行标识处理,得到标识后的数据模式;确定多个缩写后的数据分片,多个缩写后的数据分片中每个缩写后的数据分片包括第一缩写结果、第二缩写结果和标识后的数据模式。
其中,对每个数据分片中除目标标识数据模式之外的剩余两种数据模式进行缩写,获得第一缩写结果和第二缩写结果,在具体实现中,可以是将在三种数据模式中个数最多的数据模式转化为第一缩写结果、将个数居中的数据模式转化为第二缩写结果,反之同理。
其中,目标标识数据模式为三种数据模式中个数最少的一种数据模式,且对每个数据分片中的目标标识数据模式进行标识处理,得到标识后的数据模式,目的是使得每个数据分片中标识后的数据模式的个数较少、而被缩写的数据模式较多。
示例性地,将每个数据分片中的第一数据模式转化为第一缩写结果,是将每个数据分片中的第一数据模式转化为1,且将第二数据模式转化为第二缩写结果。若数据分片是111100101010,该数据分片有11、00和10三种数据模式,分别获取到11、00和10三种数据模式的个数为2、1、3,则数据模式10的个数>数据模式11的个数>数据模式00的个数,确定个数最少的数据模式00为目标标识数据模式,确定个数最多的数据模式10为第一数据模式、个数居中的数据模式11为第二数据模式,则对数据模式10、数据模式11分别进行缩写,将数据模式10缩写为1、将数据模式11缩写为0且对数据模式00进行标识处理,确定缩写后的数据分片为00(00)111。在该示例中,标识后的数据模式只有2位数据,而若只是将第一种数据模式11确定为第一数据模式、将第二种数据模式00确定为第二数据模式且将第三种数据模式10确定为第三数据模式,则对该数据分片的缩写结果为110(101010),可见,采用本申请实施例的方法,能够避免缩写后的数据分片中包括过多的标识后的数据模式的情况,通过提高每个数据分片的压缩效果进而提高数据传输速度。
可以看出,本申请实施例中,在对多个数据分片进行缩写时,分别获取每个数据分片中三种数据模式中每种数据模式的个数;确定三种数据模式中个数最少的一种数据模式为目标标识数据模式;对每个数据分片中除目标标识数据模式之外的剩余两种数据模式进行缩写,获得第一缩写结果和第二缩写结果;对每个数据分片中的目标标识数据模式进行标识处理,得到标识后的数据模式;确定多个缩写后的数据分片,多个缩写后的数据分片中每个缩写后的数据分片包括第一缩写结果、第二缩写结果和标识后的数据模式。采用本申请实施例的数据压缩方法,使得每个数据分片中标识后的数据模式的个数较少、而被缩写的数据模式较多,极大程度地提高了每个数据分片的压缩效果,进而提高数据传输速度。
在一个可能的示例中,上述方法还包括:根据多个数据分片生成多个数据字典,多个数据字典中每个数据字典与每个数据分片一一对应,每个数据字典表征对应的数据分片中的第一缩写结果对应的数据模式和第二缩写结果对应的数据模式;发送多个数据字典;或发送多个数据字典标识,多个数据字典标识中每个数据字典标识与每个数据分片对应,数据字典标识表征数据分片对应的数据字典。
其中,每个数据字典表征对应的数据分片中的第一缩写结果对应的数据模式和第二缩写结果对应的数据模式,在具体实现中,每个数据字典还可以表征第三数据模式对应的标识方式,以便于数据接收方根据数据字典即能确认第三数据模式。
示例性地,请参阅图1F,图1F是本申请实施例提供的一种基于三种模式的数据压缩方法的示意图,如图1F所示,若二进制数据是110010011110,每个数据分片包括三种数据模式且每个数据模式包括2位数据,第一数据模式是每个数据分片中的第一种数据模式、第二数据模式是每个数据分片中的第二种数据模式,且第一缩写结果为1、第二缩写结果为0,由上述实施例可知,该二进制数据可以拆分为数据分片1:110010、数据分片2:011110共2个数据分片,其中,数据分片1中的11和数据分片2中的01是每个数据分片中的第一数据模式,同理地,数据分片1中的00和数据分片2中的11是每个数据分片中的第二数据模式。则生成分别与数据分片1-2对应的数据字典1-2,其中,数据字典1表征数据分片1中的第一数据模式11对应的第一缩写结果为1且第二数据模式00对应的第二缩写结果为0,数据字典2表征数据分片2中的第一数据模式01对应的第一缩写结果为1且第二数据模式11对应的第二缩写结果为0。
其中,发送多个数据字典,是数据发送方在发送缩写后的数据时直接向数据接收方发送多个数据字典,且多个数据字典中的每个数据字典与每个数据分片一一对应;发送多个数据字典标识,是数据发送方在发送缩写后的数据时只向数据接收方发送多个表征数据分片对应的数据字典的数据字典标识,多个数据字典标识中的每个数据字典标识与每个数据分片对应。
在具体实现中,发送多个数据字典标识的数据传输量小于直接发送多个数据字典,若数据接收方本地存储有多个数据字典,可以采用发送多个数据字典标识的方式进一步提高数据传输速度。
可以看出,本申请实施例中,根据多个数据分片生成多个数据字典,多个数据字典中的每个数据字典与每个数据分片一一对应,每个数据字典表征对应的数据分片中的第一缩写结果对应的第一数据模式、第二缩写结果对应的第二数据模式;发送多个数据字典或发送多个表征数据分片对应的数据字典的数据字典标识,从而告知数据接收方在缩写后的数据中包括的多个缩写后的数据分片中的每个缩写后的数据分片的对应还原方式,以便于数据接收方根据数据字典对缩写后的数据进行还原得到原始数据。
在一个可能的示例中,上述方法还包括:在第一缩写后的数据分片中,确定第一子分片,第一子分片包括第一缩写后的数据分片中的第一缩写结果和第二缩写结果;检测第一子分片与第三数据模式是否相同;若是,则对第一缩写后的数据分片进行缩写,获得第二缩写后的数据分片。
其中,第一子分片,可以是包括一个第一缩写结果和一个第二缩写结果,也可以是包括第一缩写后的数据分片中除第三数据模式之外的所有剩余两种缩写结果。
示例性地,第一子分片包括一个第一缩写结果和一个第二缩写结果,第一缩写结果为1、第二缩写结果为0,第一缩写后的数据分片是10(10),确定到第一子分片为包括第一缩写后的数据分片中的第一缩写结果和第二缩写结果的10,第三数据模式为10,因此,检测到第一子分片与第三数据模式是相同的,确定10为第一缩写后的数据分片中的第一数据模式,将第一数据模式缩写为1,则对第一缩写后的数据分片进行缩写,获得第二缩写后的数据分片为11。
可以看出,本申请实施例中,在第一缩写后的数据分片中,确定包括第一缩写后的数据分片中的第一缩写结果和第二缩写结果的第一子分片,在检测到第一子分片与第三数据模式相同时,对第一缩写后的数据分片进行缩写,获得第二缩写后的数据分片。通过对数据分片进行多次压缩,极大程度地提高了数据分片的压缩效果,进一步地提高数据传输速度。
上述图1B所示的实施例应用于数据发送方,相对的数据接收方,本申请实施例提供了一种基于三种模式的数据解压方法,请参阅图2,图2是本申请实施例提供的一种基于三种模式的数据解压方法的流程图,如图2所示,该方法包括以下步骤:
201:接收缩写后的数据,缩写后的数据包括多个缩写后的数据分片,多个缩写后的数据分片中的每个缩写后的数据分片中包括两种不同的缩写结果和标识后的数据模式。
202:对多个缩写后的数据分片进行还原,得到多个还原后的数据分片,多个还原后的数据分片中的每个还原后的数据分片中包括三种不同的数据模式。
203:将多个还原后的数据分片进行拼接,得到二进制数据。
可以看出,本申请实施例中,接收缩写后的数据,缩写后的数据包括多个缩写后的数据分片,多个缩写后的数据分片中的每个缩写后的数据分片中包括两种不同的缩写结果和标识后的数据模式;对多个缩写后的数据分片进行还原,得到多个还原后的数据分片,多个还原后的数据分片中的每个还原后的数据分片中包括三种不同的数据模式;将多个还原后的数据分片进行拼接,得到二进制数据。采用本申请实施例的数据解压方法,将多个包括两种不同的缩写结果和标识后的数据模式的缩写后的数据分片经过还原、拼接后,最终得到二进制数据,通过数据解压还原出数据原貌,通过规定的还原方式确保了数据解压过程中不会造成数据损坏。
在一个可能的示例中,上述方法还包括:当接收到的数据为标识后的数据模式,且标识后的数据模式不包括在多个缩写后的数据分片中时,则获取标识后的数据模式作为还原后的数据分片。
其中,标识后的数据模式不包括在多个缩写后的数据分片中,可以是指标识后的数据模式没有对应的数据字典。
其中,获取标识后的数据模式作为还原后的数据分片,在具体实现中,可以是对标识后的数据模式进行标识去除处理,而得到还原后的数据分片。
可以看出,本申请实施例中,当接收到的数据为标识后的数据模式,且标识后的数据模式不包括在多个缩写后的数据分片中时,则获取标识后的数据模式作为还原后的数据分片。对于不包括在多个缩写后的数据分片中的标识后的数据模式,直接作为还原后的数据分片,从而在确保数据解压能够还原出数据原貌时提高了还原速度。
在一个可能的示例中,上述对多个缩写后的数据分片进行还原,得到多个还原后的数据分片,包括:
根据每个缩写后的数据分片对应的数据字典,对每个缩写后的数据分片进行还原,得到多个还原后的数据分片,数据字典表征两种不同的缩写结果中每种缩写结果对应的数据模式。
可以看出,本申请实施例中,根据每个缩写后的数据分片对应的数据字典,对每个缩写后的数据分片进行还原,得到多个还原后的数据分片,从而数据接收方能够根据数据字典对缩写后的数据进行还原得到原始数据。数据字典作为数据的还原依据,从而根据数据字典对每个缩写后的数据分片进行还原,不仅能够提高数据解压速度,还能够进一步确保数据解压过程中最大程度地还原出数据原貌而不会造成数据损坏。
在一个可能的示例中,上述接收缩写后的数据还包括:接收每个缩写后的数据分片对应的数据字典;
或接收每个缩写后的数据分片对应的数据字典标识,数据字典标识用于获取存储在本地的数据字典。
可以看出,本申请实施例中,接收缩写后的数据时,还可以接收到每个缩写后的数据分片对应的数据字典,或接收每个缩写后的数据分片对应的数据字典标识以获取存储在本地的数据字典,便于数据接收方根据数据字典对缩写后的数据进行还原得到原始数据。
与上述图1B所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种基于三种模式的数据压缩装置的结构图,如图3所示:
一种基于三种模式的数据压缩装置,上述装置包括:
301:获取单元,用于获取原始数据。
302:转换单元,用于对原始数据进行二进制转换,得到二进制数据。
303:拆分单元,用于将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式。
304:缩写单元,用于对多个数据分片进行缩写,获得多个缩写后的数据分片。
305:发送单元,用于发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。
可以看出,本申请实施例提供的装置中,获取单元获取原始数据;转换单元对原始数据进行二进制转换,得到二进制数据;拆分单元将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;缩写单元对多个数据分片进行缩写,获得多个缩写后的数据分片;发送单元发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。采用本申请实施例的数据压缩装置,原始数据经过二进制转换、拆分、缩写后,最终被压缩成包括多个缩写后的数据分片的缩写后数据,多个缩写后的数据分片中每个缩写后的数据分片包括三种不同的数据模式,从而极大地降低了数据传输量,提高数据传输效率。
具体地,本申请实施例可以根据上述方法示例对基于三种模式的数据压缩装置进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述图1B所示的实施例一致的,本申请实施例提供了一种电子设备,请参阅图4,图4是本申请的实施例提供的一种电子设备的硬件运行环境的服务器结构示意图,如图4所示,电子设备包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令,当计算机执行指令被运行时,使得电子设备执行包括任一项基于三种模式的数据压缩方法的步骤的指令。
其中,处理器为CPU。
其中,存储器,可选的,存储器可以为高速RAM存储器,也可以是稳定的存储器,例如磁盘存储器。
本领域技术人员可以理解,图4中示出的服务器的结构并不构成对其的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图4所示,存储器中可以包括操作系统、网络通信模块以及基于三种模式的数据压缩方法的计算机执行指令。操作系统用于管理和控制服务器硬件和软件资源,支持计算机执行指令的运行。网络通信模块用于实现存储器内部各组件之间的通信,以及与服务器内部其他硬件和软件之间通信,通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General PacketRadio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)等。
在图4所示的服务器中,处理器用于执行存储器中存储的人员管理的计算机执行指令,实现以下步骤:获取原始数据;对原始数据进行二进制转换,得到二进制数据;将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;对多个数据分片进行缩写,获得多个缩写后的数据分片;发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。
本申请涉及的服务器的具体实施可参见上述基于三种模式的数据压缩方法的各实施例,在此不做赘述。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机指令,当计算机指令在通信装置上运行时,使得通信装置执行以下步骤:获取原始数据;对原始数据进行二进制转换,得到二进制数据;将二进制数据拆分为多个数据分片,其中多个数据分片中的每个数据分片中包括三种不同的数据模式;对多个数据分片进行缩写,获得多个缩写后的数据分片;发送缩写后的数据,缩写后的数据包括多个缩写后的数据分片。上述计算机包括电子设备。
其中,电子终端设备包括手机、平板电脑、个人数字助理、穿戴式设备等。
其中,计算机可读存储介质可以是上述实施例所述的电子设备的内部存储单元,例如电子设备的硬盘或内存。计算机可读存储介质也可以是上述电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,计算机可读存储介质还可以既包括电子设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机执行指令以及电子设备所需的其他计算机执行指令和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请涉及的计算机可读存储介质的具体实施可参见上述基于三种模式的数据压缩方法的各实施例,在此不做赘述。
本申请实施例提供了一种计算机程序产品,其中,计算机程序产品包括计算机程序,计算机程序可操作来使计算机如上述方法实施例中记载的任何一种基于三种模式的数据压缩方法的部分或全部步骤,该计算机程序产品可以是一个软件安装包。
需要说明的是,对于前述的任一种基于三种模式的数据压缩方法的实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请所必须的。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请一种基于三种模式的数据压缩方法和数据解压方法的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请一种基于三种模式的数据压缩方法和数据解压方法的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
本申请是参照本申请实施例的方法、硬件产品和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现所公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
本领域普通技术人员可以理解上述任一种基于三种模式的数据压缩方法和数据解压方法的方法实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
显然,本领域的技术人员可以对本申请提供的一种基于三种模式的数据压缩方法和数据解压方法进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种基于三种模式的数据压缩方法,其特征在于,所述方法包括:
获取原始数据;
对所述原始数据进行二进制转换,得到二进制数据;
将所述二进制数据拆分为多个数据分片,其中,所述多个数据分片中的每个数据分片中包括三种不同的数据模式,包括:
对所述二进制数据进行数据划分,得到多个数据模式,所述多个数据模式中每个数据模式中包括n位数据;根据所述多个数据模式对所述原始数据进行拆分获得多个数据分片,所述多个数据分片中的每个数据分片包括三种数据模式;
当完成对第N个数据分片的划分时,获取所述二进制数据中剩余数据的数据传输时长;若所述剩余数据的数据传输时长小于或等于预设时长,则对所述剩余数据进行标识处理,得到标识后的剩余数据;
对所述多个数据分片进行缩写,获得多个缩写后的数据分片,包括:对前N个数据分片进行缩写,获得N个缩写后的数据分片;
发送缩写后的数据,所述缩写后的数据包括多个缩写后的数据分片,包括:发送所述缩写后的数据,所述缩写后的数据包括所述N个缩写后的数据分片和所述标识后的剩余数据。
2.根据权利要求1所述的方法,其特征在于,所述对所述多个数据模式进行拆分获得多个数据分片,包括:
对所述多个数据模式进行扫描,并将读取到的第一数据模式和第二数据模式划分到第一数据分片;
当读取到第三数据模式时,将所述第三数据模式划分到所述第一数据分片,并确定完成所述第一数据分片的划分,所述第一数据分片为所述多个数据分片中的一个。
3.根据权利要求1所述的方法,其特征在于,所述对所述多个数据模式进行拆分获得多个数据分片,包括:
对所述多个数据模式进行扫描,并将读取到的第一数据模式、第二数据模式和第三数据模式划分到第一数据分片;
当读取到第四数据模式时,将所述第四数据模式划分到下一个数据分片,并确定完成所述第一数据分片的划分,所述第一数据分片为所述多个数据分片中的一个。
4.根据权利要求1所述的方法,其特征在于,所述对所述多个数据分片进行缩写,获得多个缩写后的数据分片,包括:
将所述每个数据分片中的第一数据模式转化为第一缩写结果、第二数据模式转化为第二缩写结果;
对所述每个数据分片中的第三数据模式进行标识处理,得到标识后的第三数据模式,所述标识处理用于表征所述第三数据模式不存在对应的缩写结果;
确定所述多个缩写后的数据分片,所述多个缩写后的数据分片中每个缩写后的数据分片包括所述第一缩写结果、所述第二缩写结果和所述标识后的第三数据模式。
5.根据权利要求1所述的方法,其特征在于,所述对所述多个数据分片进行缩写,获得多个缩写后的数据分片,包括:
分别获取所述每个数据分片中三种数据模式中每种数据模式的个数;
确定目标标识数据模式,所述目标标识数据模式为所述三种数据模式中个数最少的一种数据模式;
对所述每个数据分片中除所述目标标识数据模式之外的剩余两种数据模式进行缩写,获得第一缩写结果和第二缩写结果;
对所述每个数据分片中的目标标识数据模式进行标识处理,得到标识后的数据模式;
确定所述多个缩写后的数据分片,所述多个缩写后的数据分片中每个缩写后的数据分片包括所述第一缩写结果、所述第二缩写结果和所述标识后的数据模式。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述多个数据分片生成多个数据字典,所述多个数据字典中每个数据字典与所述每个数据分片一一对应,所述每个数据字典表征对应的数据分片中的第一缩写结果对应的数据模式和第二缩写结果对应的数据模式;
发送所述多个数据字典;或
发送多个数据字典标识,所述多个数据字典标识中每个数据字典标识与所述每个数据分片对应,所述数据字典标识表征所述数据分片对应的数据字典。
7.一种基于三种模式的数据解压方法,其特征在于,所述方法包括:
接收缩写后的数据,所述缩写后的数据包括多个缩写后的数据分片,所述缩写后的数据分片包括N个缩写后的数据分片和标识后的剩余数据,该N个缩写后的数据分片为对二进制数据中的前N个数据分片进行缩写得到,且剩余数据的数据传输时长小于或等于预设时长,该二进制数据包括多个数据分片,该多个数据分片为对二进制数据中的多个数据模式进行拆分得到;其中,每个数据分片包括三种数据模式;
所述多个缩写后的数据分片中的每个缩写后的数据分片中包括两种不同的缩写结果和标识后的数据模式;
对所述多个缩写后的数据分片进行还原,得到多个还原后的数据分片,所述多个还原后的数据分片中的每个还原后的数据分片中包括三种不同的数据模式;
将所述多个还原后的数据分片进行拼接,得到二进制数据。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
当接收到的数据为标识后的数据模式,且所述标识后的数据模式不包括在所述多个缩写后的数据分片中时,则获取所述标识后的数据模式作为还原后的数据分片。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111273357.3A CN114040028B (zh) | 2021-10-29 | 2021-10-29 | 一种基于三种模式的数据压缩方法和数据解压方法 |
PCT/CN2022/126266 WO2023071893A1 (zh) | 2021-10-29 | 2022-10-19 | 一种基于三种模式的数据压缩方法和数据解压方法 |
EP22885771.0A EP4425898A1 (en) | 2021-10-29 | 2022-10-19 | Three mode-based data compression method and data decompression method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111273357.3A CN114040028B (zh) | 2021-10-29 | 2021-10-29 | 一种基于三种模式的数据压缩方法和数据解压方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114040028A CN114040028A (zh) | 2022-02-11 |
CN114040028B true CN114040028B (zh) | 2023-11-24 |
Family
ID=80142399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111273357.3A Active CN114040028B (zh) | 2021-10-29 | 2021-10-29 | 一种基于三种模式的数据压缩方法和数据解压方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4425898A1 (zh) |
CN (1) | CN114040028B (zh) |
WO (1) | WO2023071893A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114040028B (zh) * | 2021-10-29 | 2023-11-24 | 深圳智慧林网络科技有限公司 | 一种基于三种模式的数据压缩方法和数据解压方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1538248A (zh) * | 2003-04-14 | 2004-10-20 | 北京启迪时代科技有限公司 | 激光打印系统的图像编解码装置及方法 |
CN1777038A (zh) * | 2005-12-01 | 2006-05-24 | 武汉大学 | 一种二维矢量数据的压缩方法 |
WO2007049297A1 (en) * | 2005-10-24 | 2007-05-03 | Softjin Technologies Private Limited | Method and system for data compression and decompression |
EP1947861A2 (en) * | 2007-01-19 | 2008-07-23 | Samsung Electronics Co., Ltd. | Method, medium, and system effectively compressing and/or restoring binary images |
CN101317214A (zh) * | 2005-10-05 | 2008-12-03 | Lg电子株式会社 | 信号处理方法和装置 |
EP2773122A1 (en) * | 2013-03-01 | 2014-09-03 | intoPIX s.a. | Method and device for display stream compression |
CN105207678A (zh) * | 2015-09-29 | 2015-12-30 | 东南大学 | 一种改进型lz4压缩算法的硬件实现系统 |
EP2963926A1 (en) * | 2014-06-30 | 2016-01-06 | Nokia Technologies Oy | Method and apparatus for downscaling depth data for view plus depth data compression |
CN106021579A (zh) * | 2016-06-01 | 2016-10-12 | 南京国电南自美卓控制系统有限公司 | 一种历史数据库的压缩方法 |
CN106067824A (zh) * | 2016-06-02 | 2016-11-02 | 洛阳晶云信息科技有限公司 | 一种基于二联密码子的测序数据压缩方法 |
US10128868B1 (en) * | 2017-12-29 | 2018-11-13 | Intel Corporation | Efficient dictionary for lossless compression |
CN110474645A (zh) * | 2018-05-11 | 2019-11-19 | 英特尔公司 | 用于压缩浮点数据的系统 |
CN112070652A (zh) * | 2019-06-10 | 2020-12-11 | 上海赜睿信息科技有限公司 | 数据压缩、解压方法、可读存储介质和电子设备 |
CN112118010A (zh) * | 2020-08-25 | 2020-12-22 | 中电信用服务有限公司 | 一种字符串的压缩处理方法、装置和存储介质 |
EP3780612A1 (en) * | 2018-05-16 | 2021-02-17 | Huawei Technologies Co., Ltd. | Coding and decoding methods and devices |
CN113300715A (zh) * | 2021-05-20 | 2021-08-24 | 山东云海国创云计算装备产业创新中心有限公司 | 一种数据处理方法、装置、硬件压缩设备以及介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104868922B (zh) * | 2014-02-24 | 2018-05-29 | 华为技术有限公司 | 数据压缩方法及装置 |
CN110198171B (zh) * | 2018-03-15 | 2022-04-12 | 腾讯科技(深圳)有限公司 | 数据压缩方法、装置、计算机可读介质及电子设备 |
US11216984B2 (en) * | 2019-01-09 | 2022-01-04 | Samsung Electronics Co., Ltd. | Patch splitting for improving video-based point cloud compression performance |
KR102115372B1 (ko) * | 2019-11-08 | 2020-05-27 | 한국인터넷진흥원 | 그래프 데이터 축약 방법 및 그 장치 |
CN111510155B (zh) * | 2020-04-17 | 2023-09-26 | 深圳市科思科技股份有限公司 | 数据压缩方法、数据解压方法、电子设备及存储介质 |
CN113765620B (zh) * | 2020-06-01 | 2022-09-23 | 南京大学 | 分块压缩编码方法、装置、计算机设备及可读存储介质 |
CN114040028B (zh) * | 2021-10-29 | 2023-11-24 | 深圳智慧林网络科技有限公司 | 一种基于三种模式的数据压缩方法和数据解压方法 |
-
2021
- 2021-10-29 CN CN202111273357.3A patent/CN114040028B/zh active Active
-
2022
- 2022-10-19 WO PCT/CN2022/126266 patent/WO2023071893A1/zh active Application Filing
- 2022-10-19 EP EP22885771.0A patent/EP4425898A1/en active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1538248A (zh) * | 2003-04-14 | 2004-10-20 | 北京启迪时代科技有限公司 | 激光打印系统的图像编解码装置及方法 |
CN101317214A (zh) * | 2005-10-05 | 2008-12-03 | Lg电子株式会社 | 信号处理方法和装置 |
WO2007049297A1 (en) * | 2005-10-24 | 2007-05-03 | Softjin Technologies Private Limited | Method and system for data compression and decompression |
CN1777038A (zh) * | 2005-12-01 | 2006-05-24 | 武汉大学 | 一种二维矢量数据的压缩方法 |
EP1947861A2 (en) * | 2007-01-19 | 2008-07-23 | Samsung Electronics Co., Ltd. | Method, medium, and system effectively compressing and/or restoring binary images |
EP2773122A1 (en) * | 2013-03-01 | 2014-09-03 | intoPIX s.a. | Method and device for display stream compression |
EP2963926A1 (en) * | 2014-06-30 | 2016-01-06 | Nokia Technologies Oy | Method and apparatus for downscaling depth data for view plus depth data compression |
CN105207678A (zh) * | 2015-09-29 | 2015-12-30 | 东南大学 | 一种改进型lz4压缩算法的硬件实现系统 |
CN106021579A (zh) * | 2016-06-01 | 2016-10-12 | 南京国电南自美卓控制系统有限公司 | 一种历史数据库的压缩方法 |
CN106067824A (zh) * | 2016-06-02 | 2016-11-02 | 洛阳晶云信息科技有限公司 | 一种基于二联密码子的测序数据压缩方法 |
US10128868B1 (en) * | 2017-12-29 | 2018-11-13 | Intel Corporation | Efficient dictionary for lossless compression |
CN110474645A (zh) * | 2018-05-11 | 2019-11-19 | 英特尔公司 | 用于压缩浮点数据的系统 |
EP3780612A1 (en) * | 2018-05-16 | 2021-02-17 | Huawei Technologies Co., Ltd. | Coding and decoding methods and devices |
CN112070652A (zh) * | 2019-06-10 | 2020-12-11 | 上海赜睿信息科技有限公司 | 数据压缩、解压方法、可读存储介质和电子设备 |
CN112118010A (zh) * | 2020-08-25 | 2020-12-22 | 中电信用服务有限公司 | 一种字符串的压缩处理方法、装置和存储介质 |
CN113300715A (zh) * | 2021-05-20 | 2021-08-24 | 山东云海国创云计算装备产业创新中心有限公司 | 一种数据处理方法、装置、硬件压缩设备以及介质 |
Non-Patent Citations (2)
Title |
---|
Video Compression Using Generalized Binary Partitioning, Trellis Coded Quantization, Perceptually Optimized Encoding, and Advanced Prediction and Transform Coding;Jonathan Pfaff等;《IEEE Transactions on Circuits and Systems for Video Technology》;全文 * |
云环境下全文索引压缩关键技术研究;白福均;《中国优秀硕士学位论文全文数据库》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
EP4425898A1 (en) | 2024-09-04 |
CN114040028A (zh) | 2022-02-11 |
WO2023071893A1 (zh) | 2023-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114040030B (zh) | 一种基于预设规则的数据压缩方法、装置、设备和介质 | |
CN111262876B (zh) | 基于区块链的数据处理方法、装置、设备以及存储介质 | |
RU2725763C1 (ru) | Способы и устройства для кодирования и декодирования двоичных данных | |
WO2021073156A1 (zh) | 短链接的生成方法、服务器、存储介质及计算机设备 | |
US11955992B2 (en) | Rate matching method and apparatus for polar code | |
CN110224999A (zh) | 信息交互方法、装置及存储介质 | |
CN114040028B (zh) | 一种基于三种模式的数据压缩方法和数据解压方法 | |
CN110232633A (zh) | 一种电子签约方法、装置、存储介质和服务器 | |
CN112348596B (zh) | 基于区块链的投标报价方法、系统、设备及存储介质 | |
CN104081701A (zh) | 光网络系统的通信方法、系统及装置 | |
CN110717151A (zh) | 一种数字指纹处理及签名处理方法 | |
CN113176992A (zh) | A/b实验分流方法、装置、设备和计算机可读存储介质 | |
KR102271646B1 (ko) | 코딩 방법 및 디바이스 | |
CN114040027B (zh) | 一种基于双模式的数据压缩方法、装置和数据解压方法 | |
CN113904854A (zh) | 一种基于商密算法的区块链数据加密方法及装置 | |
CN113407702A (zh) | 员工合作关系强度量化方法、系统、计算机和存储介质 | |
CN105934759A (zh) | 一种数据更新的方法、装置、终端及服务器 | |
CN115952517A (zh) | 一种杂凑值计算方法及系统 | |
CN110602251B (zh) | 基于节点间数据共享的数据处理方法、设备、装置、介质 | |
CN114092577A (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
CN104518850B (zh) | 将参考模板同步到数据流的方法和信息处理系统 | |
CN115276889A (zh) | 解码处理方法、装置、计算机设备及存储介质 | |
CN105099571A (zh) | 一种音频通信方法 | |
CN116260896A (zh) | 基于函数的数据发送方法、装置、设备和数据接收方法 | |
CN109495208B (zh) | 编码方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |