CN115033544A - 一种基于关系数值的数据压缩方法、装置、设备和介质 - Google Patents

一种基于关系数值的数据压缩方法、装置、设备和介质 Download PDF

Info

Publication number
CN115033544A
CN115033544A CN202210515951.7A CN202210515951A CN115033544A CN 115033544 A CN115033544 A CN 115033544A CN 202210515951 A CN202210515951 A CN 202210515951A CN 115033544 A CN115033544 A CN 115033544A
Authority
CN
China
Prior art keywords
data
target
data block
numerical value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210515951.7A
Other languages
English (en)
Inventor
白智德
哈米德
白志得
丁晓端
黄坤
刘阳
张一�
殷燕
李俊标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhihuilin Network Technology Co ltd
Original Assignee
Shenzhen Zhihuilin Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhihuilin Network Technology Co ltd filed Critical Shenzhen Zhihuilin Network Technology Co ltd
Priority to CN202210515951.7A priority Critical patent/CN115033544A/zh
Publication of CN115033544A publication Critical patent/CN115033544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请提供一种基于关系数值的数据压缩方法、装置、设备和介质,其中方法的实现包括:获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。采用本申请实施例的方法,通过数据块的数值在数据字典中对应的关系数值即可确定压缩数值,从而根据压缩数值确定数据块对应的压缩数据块,极大程度地提高了数据压缩效率。

Description

一种基于关系数值的数据压缩方法、装置、设备和介质
技术领域
本申请涉及数据处理技术领域,特别是涉及一种基于关系数值的数据压缩方法、装置、设备和介质。
背景技术
随着网络技术以及媒体技术的快速发展,人们能接触到的媒体形式越来越丰富,同时,随着媒体形式的日益增多以及互联网的高度普及,信息量呈现出了前所未有的高速增长,从而,数据传输量也进入了空前增长时代。
在将数据传输给接收方之前,通常是采用传统的压缩方法对数据进行压缩,然而,目前各种媒体形式的数据所包含的信息量越来越大、内容也越来越丰富,这将会导致以后对数据进行压缩所花费的压缩时间变得越来越久,显然,这种变化趋势并不符合当前市面上对于数据通讯效率的要求。可见,若继续传统地采用传统的压缩方法对数据进行压缩,将难以提高数据压缩的效率。
发明内容
本申请实施例提供了一种基于关系数值的数据压缩方法、装置、设备和介质,实施本申请实施例,提高数据压缩效率。
第一方面,本申请实施例提供了一种基于关系数值的数据压缩方法,上述方法包括:
获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;
获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
第二方面,本申请实施例提供了一种基于关系数值的数据压缩装置,上述装置包括:
拆分单元,用于获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;
获取单元,用于获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
确定单元,用于根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令,当计算机执行指令被运行时,使得电子设备执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机指令,当计算机指令在通信装置上运行时,使得通信装置执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,计算机程序产品包括计算机程序,计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。采用本申请实施例的方法,通过数据块的数值在数据字典中对应的关系数值即可确定压缩数值,从而根据压缩数值确定数据块对应的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩,同时,该过程不需要读取数据块的具体内容、也不需要进行冗余确定,极大程度地提高了数据压缩效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一种数据压缩系统的结构部署图;
图2是本申请实施例提供的一种基于关系数值的数据压缩方法的流程示意图;
图3是本申请实施例提供的一种基于关系数值的数据压缩方法的举例示意图;
图4是本申请实施例提供的一种基于关系数值的数据压缩方法的举例示意图;
图5是本申请实施例提供的一种基于关系数值的数据压缩方法的举例示意图;
图6是本申请实施例提供的一种基于关系数值的数据压缩装置的结构示意图;
图7是本申请实施例提供的一种图6中所描述装置的获取单元的结构示意图;
图8是本申请的实施例提供的一种电子设备的硬件运行环境的服务器结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合附图对本申请实施例涉及的应用场景进行介绍。
图1是一种数据压缩系统的结构部署图。如图1所示,该系统的第一端与用户终端连接。
其中,用户终端,指欲对数据块进行压缩从而将数据块发送给数据压缩系统的角色;
其中,数据压缩系统,用于接收来自用户终端的数据块,通过传统的压缩方法对数据块进行压缩从而得到压缩数据块;
在上述系统进行数据压缩的过程中,由于只是通过传统的压缩方法对数据块进行压缩,显然,对数据块进行压缩是要花费时间的,并且,花费的时间长短通常跟数据块的大小呈现正相关关系,可以看出,上述过程对于数据压缩难以起到提高效率的作用,不符合当下市场对于数据压缩效率的要求。
基于此,本申请实施例提供了一种基于关系数值的数据压缩方法,请参阅图2,图2是本申请实施例提供的一种基于关系数值的数据压缩方法的流程示意图,如图2所示,该方法包括以下步骤:
101:获取待发送数据,并将待发送数据拆分为预设大小的多个数据块。
其中,待发送数据,可以是二进制数据,在具体实现中,可以是将原始数据对应的十进制或其他进制的数据通过进制转换成二进制数据,从而获得待发送数据。原始数据的数据形式包括数字、文字、图像、语音、视频等形式。
其中,预设大小,可以是100MB、50MB、10MB等大小;将待发送数据拆分为预设大小的多个数据块,是为了使得多个数据块中每个数据块的数值在后续步骤中能够被直接运用。
示例性地,假设预设大小有100MB、50MB、10MB,若待发送数据的大小为770MB,则可以将待发送数据拆分为7个100MB的数据块、1个50MB的数据块和2个10MB的数据块。
102:获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定。
其中,数据块的数值,即数据块对应的十进制数值,例如,若二进制的数据块内容为0000则其数值为0,若二进制的数据块内容为1111则其数值为15。在具体实现中,获取多个数据块中每个数据块的数值,可以通过对每个数据块进行进制转换得到每个数据块对应的十进制数值。
示例性地,在生成数据字典时,多个训练数据块的数值为1024,而该多个数值为1024的训练数据块对应的训练压缩数据块的数值为256,从而前后数值之间存在关系数值1024/256,该关系数值记录于数据字典中,因此,若有数据块的数值为1024,则该数据块的数值1024在数据字典中对应的关系数值为1024/256。
其中,由于通常情况下,同一个预设大小的数据块所对应的数值是存在不同情况的,因此,数据字典中可以记录有同一个预设大小的不同数值情况所对应的关系数值,从而能够覆盖住更多种数据情况,从而对于不同情况的预设大小的数据块都能够顺利进行后续方法步骤。
103:根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
其中,根据目标压缩数值确定目标数据块对应的目标压缩数据块,在具体实现中,可以是根据目标压缩数值生成目标压缩数据块,从而不需要再使用其他压缩软件或压缩算法对目标数据块进行压缩、不需要再读取数据块的具体内容(例如文本、视频、图像内容等),然后根据具体内容确定冗余,再针对冗余进行压缩。该过程由于不需要读取数据块的具体内容,以及不需要进行冗余确定和压缩,进而极大程度地提高了数据压缩效率。
示例性地,请参阅图3,图3是本申请实施例提供的一种基于关系数值的数据压缩方法的举例示意图,如图3所示,服务器获取待发送数据X、并将待发送数据X拆分为10个相同大小的数据块1-10,服务器获取10个相同大小的数据块中每个数据块的数值,其中,数据块1-5的数值为1024、且数据块6-10的数值为512,而数据字典中包括关系数值1024/256、关系数值512/128,因此,服务器获取到数据块1-5的数值1024在数据字典中对应的关系数值为1024/256、而数据块6-10的数值512在数据字典中对应的关系数值为512/128,因此,根据关系数值1024/256确定数据块1-5的数值1024对应的压缩数值为256,并且生成与数据块1-5对应的数值为256的压缩数据块1-5,同理可得到与数据块6-10对应的数值为128的压缩数据块6-10,至此,在没有实际对数据块进行压缩的情况下,也能够得到在采用传统的压缩方法对目标数据块进行压缩的情况下所对应得到的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩。
可以看出,本申请实施例中,获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。采用本申请实施例的方法,通过数据块的数值在数据字典中对应的关系数值即可确定压缩数值,从而根据压缩数值确定数据块对应的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩,同时,该过程不需要读取数据块的具体内容、也不需要进行冗余确定,极大程度地提高了数据压缩效率。
在一个可能的示例中,上述获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,包括:
将每个数据块的数值与数据字典中的数值进行匹配;
根据每个数据块的数值与数据字典中的数值的匹配关系确定每个数据块对应的关系数值。
其中,将每个数据块的数值与数据字典中的数值进行匹配,在具体实现中,指确定每个数据块的数值是否在数据字典中存在相同的数值;若有数据块的数值在数据字典中不存在相同的数值,可以是根据数据块的数值与数据字典中与其最接近的数值的匹配关系确定该数据块对应的关系数值。
示例性地,目标数据块的目标数值为1024,数据字典中存在数值1024且数值1024在数据字典中对应的目标关系数值为1024/256,因此,根据目标关系数值1024/256确定目标数据块的目标数值1024对应的目标压缩数值为256,进一步地,根据目标压缩数值256确定出目标数据块对应的目标压缩数据块,至此即可得到数值为256的目标压缩数据块,从而在没有实际对目标数据块进行压缩的情况下,也能够得到目标数据块使用传统的压缩方法进行压缩后所对应的目标压缩数据块。
可以看出,本申请实施例中,通过每个数据块的数值与数据字典中的数值的匹配关系确定每个数据块对应的关系数值,从而能够高效率地根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值、并根据目标压缩数值确定目标数据块对应的目标压缩数据块,提高数据压缩效率。
在一个可能的示例中,上述方法包括:
获取多个预设大小的训练数据块,采用预设压缩方法对多个训练数据块中每个训练数据块进行压缩,获得多个压缩后训练数据块;
获取每个训练数据块的数值,以及多个压缩后训练数据块中每个压缩后训练数据块的压缩后数值;
确定每个训练数据块的数值与对应的每个压缩后训练数据块压缩后数值的关系数值;
将目标训练数据块的数值与对应的关系数值存储在数据字典中。
其中,预设压缩方法,可以是根据训练数据块对应的原始数据的数据形式确定。示例性地,若训练数据块对应的原始数据为视频文件,则预设压缩方法可以是使用视频压缩软件FFMPEG(Fast Forward Mpeg)或其他的专门针对视频的压缩软件,同理地,若训练数据块对应的原始数据为其他数据形式,则预设压缩方法可以是根据对应的具体数据形式所采用的专门适用于该具体数据形式的压缩方法。
其中,训练数据块的数值,即训练数据块对应的十进制数值,同理地,压缩后训练数据块的压缩后数值,即经过压缩后的压缩后训练数据块对应的十进制数值。
其中,确定训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值,在具体实现中,可以是根据训练数据块的数值与压缩后训练数据块的压缩后数值之间满足的数学关系来确定,在具体实现中,可以将训练数据块的数值作为被除数、并且将压缩后训练数据块的压缩后数值作为除数所得的商作为关系数值。
示例性地,请参阅图4,图4是本申请实施例提供的一种基于关系数值的数据压缩方法的举例示意图,如图4所示,获取10000个100MB大小的训练数据块(训练数据块1、训练数据块2、训练数据块3……训练数据块10000),其中,10000个训练数据块对应的数值相同、均为N,采用预设压缩方法对该10000个训练数据块进行压缩,获得10000个压缩后训练数据块(压缩后训练数据块1、压缩后训练数据块2、压缩后训练数据块3……压缩后训练数据块10000),获取10000个训练数据块中每个训练数据块的数值,以及10000个压缩后训练数据块中每个压缩训练数据块的数值(n1、n2、n3……n10000),然后,确定每对训练数据块的数值以及压缩训练数据块的数值之间所存在的数学关系共同点,例如,若将每个训练数据块的数值作为被除数、并且将每个压缩后训练数据块的压缩后数值作为除数,则上述数值对可以得到N/n1=4.01、N/n2=3.99、N/n3=4.00……N/n10000=4.00,观察发现,在将每个训练数据块的数值作为被除数、并且将每个压缩后训练数据块的压缩后数值作为除数的情况下,数值之间所得的商大体收敛于4,因此,确定在采用预设压缩方法时,100MB的训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值为:训练数据块的数值/压缩后训练数据块的压缩后数值=4,即是说,压缩前的数据块的数值为压缩后的数据块的数值的4倍,例如,压缩前的数据块的数值为100,则压缩后的数据块的数值为25,从而将100MB的训练数据块的数值N与关系数值N/n=4对应存储在数据字典中。同理地,100MB大小、其他训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值也是通过上述过程确定得到,在此不再赘述;同理地,其他大小、不同数值的训练数据块与压缩后训练数据块的压缩后数值的关系数值也是通过上述过程确定得到,在此不再赘述。
基于上述示例性实施例,对于100MB的训练数据块的数值与压缩后训练数据块的压缩后数值的关系数值的确定,还可以在将每个训练数据块的数值作为被除数、并且将每个压缩后训练数据块的压缩后数值作为除数的情况下,将上述10000对数值对的商的平均值作为关系数值;同理地,关系数值还可以是上述10000对数值对的商的众数。
可以看出,本申请实施例中提供的关系数值训练过程,只有通过大量训练确定了同一大小的训练数据块的数值与对应的压缩后训练数据块压缩后数值之间所存在的数学关系共同点,才将训练数据块的数值与对应的关系数值存储在数据字典中,从而在根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块时,不仅能够快速确定目标压缩数据块从而提高数据压缩效率,还能够在没有实际对目标数据块进行压缩的情况下,最大程度地确保目标压缩数据块符合对应目标数据块使用传统的压缩方法进行压缩后所对应的数据质量。
在一个可能的示例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,上述方法还包括:
发送目标压缩数据块、目标数值关系在数据字典中对应的目标索引号、以及数据字典。
其中,目标数值关系在数据字典中对应的目标索引号,可以是目标索引号与目标数值关系之间是一一对应的,目标索引号用于指明目标数值关系;也可以是,目标索引号用于指引目标数值关系在数据字典中的位置,方便服务器在数据字典中快速定位到目标数值关系。
示例性地,目标索引号用于指明目标数值关系,在具体实现中,可以是对数据字典中的多个数值关系一一进行编号,例如,将数值关系512/128编号为0000,将数值关系1024/256编号为二进制数值0001,将数值关系2048/1024编号为0010……,从而,若目标数值关系为1024/256,则其在数据字典中对应的目标索引号为0001。
基于上述示例性实施例,目标索引号用于指明目标数值关系,若发送给接收端的目标压缩数据块的数值为256、目标索引号为0001,则接收端在接收到目标压缩数据块、目标索引号以及数据字典后,根据目标索引号0001在数据字典中确定到目标数值关系为1024/256,进而接收端只要根据目标数值关系1024/256和目标压缩数据块数值256,即可对目标压缩数据块进行还原得到数值为1024的目标数据块,从而完成数据在两端之间的传输。
又一示例性地,目标索引号用于指引目标数值关系在数据字典中的位置,在具体实现中,可以是将多个数值关系按照一定排列顺序记录在数据字典中,例如,目标数值关系1024/256被记录在数据字典中的第1页第2行第3列,则其在数据字典中对应的目标索引号的二进制形式为(0000,0001,0010),其中,0000代表第1页、0001代表第2行、且0010代表第3列。
可以看出,本申请实施例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,只需要发送目标压缩数据块、目标数值关系在数据字典中对应的目标索引号、以及数据字典,接收端便能够根据目标索引号和数据字典得知目标数值关系,进而可以根据目标压缩数据块和目标数值关系还原出目标数据块,通过发送最少量的信息便实现了数据在两端之间的传输。
在一个可能的示例中,若接收端本地存储有对应的数据字典,则可以通过数据字典标识替代数据字典,从而只将数据字典标识发送给接收端,数据字典标识表征目标索引号对应的数据字典,进而接收端只需要根据数据字典标识就能够读取对应的数据字典,最终通过目标索引号在数据字典中的目标数值关系对目标压缩数据块进行还原。
在一些应用场景中,可能存在有多个目标数据块对应的目标关系数值在数据字典中的目标索引号相同的情况,在这种情况下,若依然每发送一个目标压缩数据块就连同其目标索引号一并发送,那么将要发送大量的相同内容的目标索引号,为了进一步提高数据压缩之后的数据传输效率,显然地,针对上述情况,可以通过减少目标索引号的发送次数来提高数据传输效率。
因此,针对上述应用场景,本申请实施例提供了另一种基于关系数值的数据压缩方法,具体如下:
在一个可能的示例中,若存在多个目标数据块对应的目标关系数值在数据字典中的目标索引号相同,则上述方法还包括:
将多个目标压缩数据块划分到目标数据集合;
上述发送目标压缩数据块、目标数值关系在数据字典中对应的目标索引号、以及数据字典,包括:
发送目标数据集合、目标数值关系在数据字典中对应的目标索引号、以及数据字典。
其中,发送目标数据集合,在具体实现中,可以是在多个目标压缩数据块的首部和尾部进行标识处理,标识处理用于表明该多个目标压缩数据块位于同一个目标数据集合中、且只对应一个目标索引号。
示例性地,请参阅图5,图5是本申请实施例提供的一种基于关系数值的数据压缩方法的举例示意图,如图5所示,有目标压缩数据块1-5的目标数值关系在数据字典中对应有相同的目标索引号,若每次发送单个目标压缩数据块同时发送对应的目标索引号,可见,需要发送5次相同的目标索引号,而若采用本申请实施例提供的方法,将目标压缩数据块1-5划分到目标数据集合中,再发送目标数据集合同时发送对应的目标索引号,则此时只需要发送1次目标索引号,显著地减少了数据传输量。
可以看出,本申请实施例中,在存在多个目标数据块对应的目标关系数值在数据字典中的目标索引号相同的情况下,将多个目标压缩数据块划分到目标数据集合,再将目标数据集合、目标数值关系在数据字典中对应的目标索引号、以及数据字典发送给接收端,从而对于目标索引号相同的多个目标数据块只需要发送一次目标索引号即可,不再需要每发送一个目标数据块就要同时发送一个目标索引号,通过减少目标索引号的发送次数,大大地提高了数据传输效率。
在一些应用场景中,可能存在有数据字典占用空间较大、而欲发送的压缩数据块的个数较少的情况,在这种情况下,若依然发送数据字典,将会导致发送数据字典以及索引号的数据开销远远大于其对应的数值关系所花费的数据开销,显然地,针对上述情况,可以直接用发送数值关系替代发送数据字典以及对应索引号。
因此,针对上述应用场景,本申请实施例提供了另一种基于关系数值的数据压缩方法,具体如下:
在一个可能的示例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,上述方法还包括:
发送目标压缩数据块、以及目标数值关系。
示例性地,若发送给接收端的目标压缩数据块的数值为256、目标数值关系为1024/256,则接收端在接收到目标压缩数据块以及目标数值关系后,根据目标数值关系1024/256即可得知目标压缩数据块还原后的数据块数值为1024,从而将目标数值关系作为还原依据对目标压缩数据块进行还原得到数值为1024的目标数据块。
可以看出,本申请实施例中,在根据目标压缩数值确定目标数据块对应的目标压缩数据块之后,直接将目标压缩数据块以及目标数值关系发送给接收端,从而在不需要发送数据字典和目标索引号的情况下接收端也能够将目标压缩数据块还原成目标数据块,使得接收端不再需要根据目标索引号在数据字典中对应定位出目标数值关系,在数据字典占用空间较大、且欲发送的压缩数据块的个数较少的情况下能够大幅度减少数据传输量。
与上述图2所示的实施例一致的,请参阅图6,图6是本申请实施例提供的一种基于关系数值的数据压缩装置的结构示意图,如图6所示:
一种基于关系数值的数据压缩装置,上述装置包括:
201:拆分单元,用于获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;
202:获取单元,用于获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
203:确定单元,用于根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
可以看出,本申请实施例提供的装置中,获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。采用本申请实施例的装置,通过数据块的数值在数据字典中对应的关系数值即可确定压缩数值,从而根据压缩数值确定数据块对应的压缩数据块,不再需要采用传统的压缩方法花费大量的时间对数据进行压缩,同时,该过程不需要读取数据块的具体内容、也不需要进行冗余确定,极大程度地提高了数据压缩效率。
具体地,本申请实施例可以根据上述方法示例对基于关系数值的数据压缩装置进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参阅图7,图7是本申请实施例提供的一种图6中所描述装置的获取单元的结构示意图,如图7所示,在一个可能的示例中,上述获取单元,还包括:
2021:匹配模块,用于将每个数据块的数值与数据字典中的数值进行匹配;
2022:数值模块,用于根据每个数据块的数值与数值的匹配关系确定每个数据块对应的关系数值。
在本申请所提供的几个实施方式中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
上述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
与上述图2所示的实施例一致的,本申请实施例提供了一种电子设备,请参阅图8,图8是本申请的实施例提供的一种电子设备的硬件运行环境的服务器结构示意图,如图8所示,电子设备包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令,当计算机执行指令被运行时,使得电子设备执行包括任一项基于关系数值的数据压缩方法的步骤的指令。
其中,处理器为CPU(Central Processing Unit)。
其中,存储器,可选的,存储器可以为高速RAM存储器,也可以是稳定的存储器,例如磁盘存储器。
本领域技术人员可以理解,图8中示出的服务器的结构并不构成对其的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图8所示,存储器中可以包括操作系统、网络通信模块以及基于关系数值的数据压缩方法的计算机执行指令。操作系统用于管理和控制服务器硬件和软件资源,支持计算机执行指令的运行。网络通信模块用于实现存储器内部各组件之间的通信,以及与服务器内部其他硬件和软件之间通信,通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General PacketRadio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)等。
在图8所示的服务器中,处理器用于执行存储器中存储的人员管理的计算机执行指令,实现以下步骤:获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。
本申请涉及的服务器的具体实施可参见上述基于关系数值的数据压缩方法的各实施例,在此不做赘述。
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机指令,当计算机指令在通信装置上运行时,使得通信装置执行以下步骤:获取待发送数据,并将待发送数据拆分为预设大小的多个数据块;获取多个数据块中每个数据块的数值、以及每个数据块的数值在数据字典中对应的关系数值,数据字典中包括多个关系数值,多个关系数值根据多个训练数据块的数值与多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据目标压缩数值确定目标数据块对应的目标压缩数据块。上述计算机包括电子设备。
其中,电子终端设备包括手机、平板电脑、个人数字助理、穿戴式设备等。
其中,计算机可读存储介质可以是上述实施例所述的电子设备的内部存储单元,例如电子设备的硬盘或内存。计算机可读存储介质也可以是上述电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,计算机可读存储介质还可以既包括电子设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机执行指令以及电子设备所需的其他计算机执行指令和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请涉及的计算机可读存储介质的具体实施可参见上述基于关系数值的数据压缩方法的各实施例,在此不做赘述。
本申请实施例提供了一种计算机程序产品,其中,计算机程序产品包括计算机程序,计算机程序可操作来使计算机如上述方法实施例中记载的任何一种基于关系数值的数据压缩方法的部分或全部步骤,该计算机程序产品可以是一个软件安装包。
需要说明的是,对于前述的任一种基于关系数值的数据压缩方法的实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请所必须的。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请一种基于关系数值的数据压缩方法的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请一种基于关系数值的数据压缩方法的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现所公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
本领域普通技术人员可以理解上述任一种基于关系数值的数据压缩方法的方法实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-OnlyMemory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
显然,本领域的技术人员可以对本申请提供的一种基于关系数值的数据压缩方法进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于关系数值的数据压缩方法,其特征在于,所述方法包括:
获取待发送数据,并将所述待发送数据拆分为预设大小的多个数据块;
获取所述多个数据块中每个数据块的数值、以及所述每个数据块的数值在数据字典中对应的关系数值,所述数据字典中包括多个关系数值,所述多个关系数值根据多个训练数据块的数值与所述多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据所述目标压缩数值确定所述目标数据块对应的目标压缩数据块。
2.根据权利要求1所述的方法,其特征在于,所述获取所述多个数据块中每个数据块的数值、以及所述每个数据块的数值在数据字典中对应的关系数值,包括:
将所述每个数据块的数值与所述数据字典中的数值进行匹配;
根据所述每个数据块的数值与所述数据字典中的数值的匹配关系确定所述每个数据块对应的关系数值。
3.根据权利要求1或2所述的方法,其特征在于,所述方法包括:
获取多个预设大小的训练数据块,采用预设压缩方法对所述多个训练数据块中每个训练数据块进行压缩,获得多个压缩后训练数据块;
获取所述每个训练数据块的数值,以及所述多个压缩后训练数据块中每个压缩后训练数据块的压缩后数值;
确定所述每个训练数据块的数值与对应的所述每个压缩后训练数据块压缩后数值的关系数值;
将目标训练数据块的数值与对应的关系数值存储在所述数据字典中。
4.根据权利要求1-3任一项所述的方法,其特征在于,在所述根据所述目标压缩数值确定所述目标数据块对应的目标压缩数据块之后,所述方法还包括:
发送所述目标压缩数据块、所述目标数值关系在所述数据字典中对应的目标索引号、以及所述数据字典。
5.根据权利要求4所述的方法,其特征在于,若存在多个所述目标数据块对应的目标关系数值在所述数据字典中的所述目标索引号相同,则所述方法还包括:
将多个所述目标压缩数据块划分到目标数据集合;
所述发送所述目标压缩数据块、所述目标数值关系在所述数据字典中对应的目标索引号、以及所述数据字典,包括:
发送所述目标数据集合、所述目标数值关系在所述数据字典中对应的目标索引号、以及所述数据字典。
6.根据权利要求1-3任一项所述的方法,其特征在于,在所述根据所述目标压缩数值确定所述目标数据块对应的目标压缩数据块之后,所述方法还包括:
发送所述目标压缩数据块、以及所述目标数值关系。
7.一种基于关系数值的数据压缩装置,其特征在于,所述装置包括:
拆分单元,用于获取待发送数据,并将所述待发送数据拆分为预设大小的多个数据块;
获取单元,用于获取所述多个数据块中每个数据块的数值、以及所述每个数据块的数值在数据字典中对应的关系数值,所述数据字典中包括多个关系数值,所述多个关系数值根据多个训练数据块的数值与所述多个训练数据块对应的训练压缩数据块的数值之间的数值关系确定;
确定单元,用于根据目标关系数值确定目标数据块的目标数值对应的目标压缩数值,并根据所述目标压缩数值确定所述目标数据块对应的目标压缩数据块。
8.根据权利要求7所述的装置,其特征在于,所述获取单元,还包括:
匹配模块,用于将所述每个数据块的数值与所述数据字典中的数值进行匹配;
数值模块,用于根据所述每个数据块的数值与所述数值的匹配关系确定所述每个数据块对应的关系数值。
9.一种电子设备,其特征在于,包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机执行指令,当所述计算机执行指令被运行时,使得所述电子设备执行权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机指令,当所述计算机指令在通信装置上运行时,使得所述通信装置执行权利要求1-6任一项所述的方法。
CN202210515951.7A 2022-05-12 2022-05-12 一种基于关系数值的数据压缩方法、装置、设备和介质 Pending CN115033544A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210515951.7A CN115033544A (zh) 2022-05-12 2022-05-12 一种基于关系数值的数据压缩方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210515951.7A CN115033544A (zh) 2022-05-12 2022-05-12 一种基于关系数值的数据压缩方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN115033544A true CN115033544A (zh) 2022-09-09

Family

ID=83120428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210515951.7A Pending CN115033544A (zh) 2022-05-12 2022-05-12 一种基于关系数值的数据压缩方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN115033544A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329032A (zh) * 2022-10-14 2022-11-11 杭州海康威视数字技术股份有限公司 基于联邦字典学习数据传输方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115329032A (zh) * 2022-10-14 2022-11-11 杭州海康威视数字技术股份有限公司 基于联邦字典学习数据传输方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106936441B (zh) 一种数据压缩方法和装置
EP3376393A1 (en) Data storage method and apparatus
US11102322B2 (en) Data processing method and apparatus, server, and controller
CN113873255B (zh) 一种视频数据传输方法、视频数据解码方法及相关装置
CN112532998B (zh) 抽取视频帧的方法、装置、设备和可读存储介质
CN111935227A (zh) 通过浏览器上传文件的方法、浏览器和电子设备
JP2014526098A (ja) フォントファイルをダウンロードする方法およびシステム
US10817470B2 (en) Cloud file transmission method, terminal, and cloud server
CN116233111A (zh) 一种基于Minio的大文件上传方法
CN115033544A (zh) 一种基于关系数值的数据压缩方法、装置、设备和介质
CN109710502B (zh) 日志传输方法、装置及存储介质
CN110597461B (zh) 块链式账本中的数据存储方法、装置及设备
CN114337678A (zh) 数据压缩方法、装置、设备及存储介质
CN113138969A (zh) 数据传输方法、装置、电子设备和计算机可读存储介质
WO2023071893A1 (zh) 一种基于三种模式的数据压缩方法和数据解压方法
CN109617708B (zh) 一种埋点日志的压缩方法、设备及系统
CN107832341B (zh) Agnss用户去重统计方法
CN108234552B (zh) 一种数据存储方法及装置
CN110134547B (zh) 一种基于中间件的重复数据删除方法和相关装置
CN114978190A (zh) 一种基于数据值的数据压缩和还原方法及相关产品
CN102891732A (zh) 数据发送方法和装置以及数据接收方法和装置
CN108989813A (zh) 一种高效率压缩/解压缩方法、计算机装置和存储介质
CN106874285B (zh) 一种照片文件处理方法及终端设备
CN114040027B (zh) 一种基于双模式的数据压缩方法、装置和数据解压方法
WO2023130801A1 (zh) 基于函数的数据发送方法、装置、设备和数据接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination