CN112054805B - 一种模型数据压缩方法、系统及相关设备 - Google Patents

一种模型数据压缩方法、系统及相关设备 Download PDF

Info

Publication number
CN112054805B
CN112054805B CN202010961326.6A CN202010961326A CN112054805B CN 112054805 B CN112054805 B CN 112054805B CN 202010961326 A CN202010961326 A CN 202010961326A CN 112054805 B CN112054805 B CN 112054805B
Authority
CN
China
Prior art keywords
data
target
model
parameters
same type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010961326.6A
Other languages
English (en)
Other versions
CN112054805A (zh
Inventor
夏文
刘洋
张伟哲
胡甄博
邹翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202010961326.6A priority Critical patent/CN112054805B/zh
Publication of CN112054805A publication Critical patent/CN112054805A/zh
Application granted granted Critical
Publication of CN112054805B publication Critical patent/CN112054805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明实施例提供了一种模型数据压缩方法、系统及相关设备,用于节约网络传输资源,提高模型数据压缩率。本发明实施例方法包括:计算目标模型与参考模型中的同种类型参数之间的差量数据;采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件;将所述目标压缩文件发送给目标终端设备,以使得所述目标终端设备根据所述差量数据以及本地存储的所述参考模型恢复所述目标模型。

Description

一种模型数据压缩方法、系统及相关设备
技术领域
本发明涉及模型数据压缩技术领域,尤其涉及一种模型数据压缩方法、系统及相关设备。
背景技术
在大数据时代,随着数据产生速度的持续加快,数据的体量有了前所未有的增长,而需要分析的新的数据种类也在不断涌现,如文本的理解、文本情感的分析、图像的检索和理解、图形和网络数据的分析等。这使得大数据机器学习和数据挖掘等智能计算技术在大数据智能化分析处理应用中具有极其重要的作用。
现有的机器学习模型的训练过程中,往往需要对模型进行多轮训练,训练过程中需要模型数据在不同的终端设备之间进行多次传输。为了提高数据传输效率,往往需要对模型进行压缩处理。现有的模型压缩往往直接采用压缩算法,即对单个完整的模型进行压缩,其压缩率较为有限,数据传输效率有待进一步提高。
发明内容
本发明实施例提供了一种模型数据压缩方法、系统及相关设备,用于节约网络传输资源,提高模型数据压缩率。
本发明实施例第一方面提供了一种模型数据压缩方法,可包括:
计算目标模型与参考模型中的同种类型参数之间的差量数据;
采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件;
将所述目标压缩文件发送给目标终端设备,以使得所述目标终端设备根据所述差量数据以及本地存储的所述参考模型恢复所述目标模型。
可选的,作为一种可能的实施方式,本发明实施例中,所述计算目标模型与参考模型中的同种类型参数之间的差量数据,可以包括:
计算目标模型与参考模型中的同种类型参数之间的差值,并将所述同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据。
可选的,作为一种可能的实施方式,本发明实施例中,将所述同种类型参数之间的差值转换成整数类型数据,可以包括:
根据公式
Figure BDA0002680642530000021
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。
可选的,作为一种可能的实施方式,本发明实施例中,所述采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件,可以包括:
采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。
可选的,作为一种可能的实施方式,本发明实施例中,在将所述目标压缩文件发送给目标终端设备之前,还可以包括:
计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
根据公式Score=α〃Φ+β〃Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据所述最优参数计算所述目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
本发明实施例第二方面提供了一种模型数据压缩系统,可包括:
第一计算模块,用于计算目标模型与参考模型中的同种类型参数之间的差量数据;
压缩模块,采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件;
发送模块,用于将所述目标压缩文件发送给目标终端设备,以使得所述目标终端设备根据所述差量数据以及本地存储的所述参考模型恢复所述目标模型。
可选的,作为一种可能的实施方式,本发明实施例中的,第一计算模块可以包括:
计算单元,计算目标模型与参考模型中的同种类型参数之间的差值,并将所述同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据。
可选的,作为一种可能的实施方式,本发明实施例中的计算单元可以包括:
计算子单元,根据公式
Figure BDA0002680642530000031
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。
可选的,作为一种可能的实施方式,本发明实施例中的压缩模块可包括:
压缩单元,采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。
可选的,作为一种可能的实施方式,本发明实施例中的模型数据压缩系统还可以包括:
第二计算模块,用于在将所述目标压缩文件发送给目标终端设备之前,计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
选择模块,根据公式Score=α〃Φ+β〃Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据所述最优参数计算所述目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
本发明实施例第三方面提供了一种计算机装置,所述计算机装置包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
本发明实施例第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面及第一方面中任意一种可能的实施方式中的步骤。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,计算目标模型与参考模型中的同种类型参数之间的差量数据,然后采用预设压缩算法对差量数据进行压缩得到目标压缩文件,将目标压缩文件发送给目标终端设备,目标终端设备根据差量数据以及本地存储的参考模型恢复目标模型。相对于现有技术,仅仅对目标模型与参考模型中的同种类型参数之间的差量数据进行压缩,无需对完整的机器学习模型进行压缩,减小了需要传输的压缩文件占用的存储空间,节约了网络传输资源,提高了模型数据压缩率。
附图说明
图1为本发明实施例中一种模型数据压缩方法的一个实施例示意图;
图2为本发明实施例中一种模型数据压缩方法的另一个实施例示意图;
图3为本发明实施例中一种模型数据压缩方法的一个具体应用实施例示意图;
图4为本发明实施例中一种模型数据压缩系统的一个实施例示意图;
图5为本发明实施例中一种计算机装置的一个实施例示意图。
具体实施方式
本发明实施例提供了一种模型数据压缩方法、系统及相关设备,用于节约网络传输资源,提高模型数据压缩率。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有的机器学习模型至少包括参数数据及模型结构数据,现有的模型数据压缩过程往往是对整个模型数据(至少包括参数数据及模型结构数据)进行压缩之后进行传输,数据压缩率有待进一步提高。本发明实施例中,在发送方终端与接收方终端保存的相同的参考模型,对目标模型与参考模型中的同种类型参数之间的差量数据进行压缩,接收方终端可以根据本地存储的参考模型以及解压得到的差量数据恢复目标模型,实现目标模型数据的解压,提高了模型数据压缩率。
为了便于理解,下面对本发明实施例中的具体流程进行描述,请参阅图1,本发明实施例中一种模型数据压缩方法的一个实施例可包括:
101、计算目标模型与参考模型中的同种类型参数之间的差量数据;
实际运用中,机器学习模型在进行训练过程中,需要在不同的终端多次传输最新的模型数据。为了减少数据传输的占用的资源,本发明实施例中,模型数据压缩系统可以计算目标模型与参考模型中的同种类型参数之间的差量数据,仅仅对该差量数据进行压缩,无需对完整的机器学习模型进行压缩,减小需要传输的压缩文件占用的存储空间,提高了模型数据压缩率。
例如,目标模型与参考模型都包含1000种参数,同种类型的参数分别命名为参数A1与B1、参数A2与B2…参数A1000与B1000,则模型数据压缩系统需要分别计算目标模型的参数A1与参考模型的参数B1之间的差量数据、目标模型的参数A2与参考模型的参数B2之间的差量数据…等1000种参数之间的差量数据。
102、采用预设压缩算法对差量数据进行压缩得到目标压缩文件;
在获取到差量数据之后,模型数据压缩系统可以采用预设压缩算法对差量数据进行压缩得到目标压缩文件。
103、将目标压缩文件发送给目标终端设备,以使得目标终端设备根据差量数据以及本地存储的参考模型恢复目标模型。
在获取到目标压缩文件之后,模型数据压缩系统可以将目标压缩文件发送给目标终端设备,目标终端设备可以根据解压得到的差量数据计算得到各个模型参数的当前值,然后将本地存储的参考模型中的参数设置为计算得到的当前值即可以恢复目标模型,从而实现目标模型数据的解压过程。
本发明实施例中,计算目标模型与参考模型中的同种类型参数之间的差量数据,然后采用预设压缩算法对差量数据进行压缩得到目标压缩文件,将目标压缩文件发送给目标终端设备,目标终端设备根据差量数据以及本地存储的参考模型恢复目标模型。相对于现有技术,仅仅对目标模型与参考模型中的同种类型参数之间的差量数据进行压缩,无需对完整的机器学习模型进行压缩,减小了需要传输的压缩文件占用的存储空间,节约了网络传输资源,提高了模型数据压缩率。
在上述图1所示的实施例的基础上,申请人还注意到,仅仅对模型参数的值以及目标模型与参考模型中的同种类型参数之间的差值往往是浮点型数据,对浮点型数据进行直接压缩的压缩率有限,有待进一步提高。请参阅图2,本发明实施例中一种模型数据压缩方法的另一个实施例可包括:
201、计算目标模型与参考模型中的同种类型参数之间的差值,并将同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据;
目标模型与参考模型中的同种类型参数之间的差值往往是浮点型数据,由于整数类型数据的压缩率高于浮点型数据为了进一步提高压缩率,本发明实施例中,模型数据压缩系统可以将同种类型参数之间的差值转换成的整数类型数据,将该整数类型数据作为同种类型参数之间的差量数据,具体浮点型数据转换为整数类型数据的方式此处不做限定。
可选的,作为一种可能的实施方式,可以根据公式
Figure BDA0002680642530000061
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数(0至1之间的实数,越小误差越小),log运算的底数为2,q为-1至1之间的常数。
实际运用中,相对误差范围参数的选择可能直接影响解压之后的模型的准确率及压缩率,为了选择最优的相对误差范围参数,本发明实施例中,可以设置多个ε值(例如1%、2%...10%等),并通过压缩之后的压缩文件及精度综合选择最优的相对误差范围参数ε。可选的,作为一种可能的实施方式,本发明实施例中选择最优参数的步骤可以包括:
计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
根据公式Score=α〃Φ+β〃Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据最优参数计算目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
其中,若目标模型压缩之前的文件占用存储空间大小ori_file,压缩之后的目标压缩文件占用存储空间大小file,则压缩率Ω=(ori_file)/(file)。根据差量数据以及参考模型恢复目标模型解压恢复得到目标模型之后,可以采用测试数据压缩之前的目标模型A以及对恢复得到的目标模型A'进行测试,统计得到目标模型A的精度oriacc,目标模型A'的精度acc,则模型精确率参数Φ=1或[1-(|acc-oriacc|)/oriacc],其中acc≥oriacc时Φ=1,acc<oriacc时,Φ=1-(|acc-oriacc|)/oriacc
202、采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件;
本发明实施例中,对于整数型数据可以采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。其中,游程编码是把连续重复出现的数字进行压缩,例如连续出现了100次10,那么就只需要存一个10,再记个100,可以节省存储空间。
具体的无损压缩技术可以是LAZA压缩技术也可以是哈夫曼编码等,具体此处不做限定。
203、将目标压缩文件发送给目标终端设备,以使得目标终端设备根据差量数据以及本地存储的参考模型恢复目标模型。
为了便于理解,下面将结合神经网络模型的压缩处理过程,对本发明实施例中的模型数据压缩方法进行描述,如图3所示,具体可以包括如下步骤:
A、计算神经网络版本之间的差量数据;
首先可以接收用户的输入数据,可以包括:目标神经网络参数Ai,参考神经网络参数Bi,相对误差范围参数ε的集合,用于测试神经网络精度的测试数据集,原始的目标神经网络精度,用户设定的可接受的精度损失,用户设定的得分评价方法的权重参数α、β,其中α、β为0至1之间的实数,且α+β=1。
由于神经网络在训练过程中得到不同版本的模型参数文件,根据基于误差控制的有损压缩的思想,计算目标神经网络(即下式中Ai)和参考网络(即下式中Bi)间对应的参数的差量数据。具体的计算和量化神经网络的差量数据的公式如下:
Figure BDA0002680642530000071
式中∈是用于基于误差控制的有损压缩中的相对误差范围参数,Mi是用于记录Ai和Bi之间差量的整数(可称为“量化因子”)其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。而压缩后的量化因子可通过下式恢复原始的目标神经网络,并且全部的参数数据均满足设定的相对误差范围参数∈,即|Ai-Ai'|<∈。Ai'=2·Mi·log(1+∈)+Bi。
B、优化相对误差范围参数;
为在最大限度保证目标神经网络的原始精度的前提下,选择最优的相对误差参数,以最大化压缩效果。为此,设计了一种基于神经网络精度和压缩率两个关键指标的评价方法,见下面公式(1):
Score=α·Φ+β·Ω,(α+β=1) (1)
根据这一评价方法,对于每个待压缩的目标神经网络参数,测试其在不同的相对误差参数下的压缩率和推理精度,并计算相应的评价得分,从中筛选出最优的相对误差参数。
其中,若目标模型压缩之前的文件占用存储空间大小ori_file,压缩之后的目标压缩文件占用存储空间大小file,则压缩率Ω=(ori_file)/(file)。根据差量数据以及参考模型恢复目标模型解压恢复得到目标模型之后,可以采用测试数据压缩之前的目标模型A以及对恢复得到的目标模型A'进行测试,统计得到目标模型A的精度oriacc,目标模型A'的精度acc,则模型精确率参数Φ=1或[1-(|acc-oriacc|)/oriacc],其中acc≥oriacc时Φ=1,acc<oriacc时,Φ=1-(|acc-oriacc|)/oriacc。
下面为对应的流程图与伪代码:
Input:目标神经网络参数:N1;参考神经网络参数:N2;
可接受的精度损失:θ;可选择的相对误差参数集合:EB;
神经网络参数N在误差范围∈下的压缩率:Ω(N,∈);神经网络参数N在误差范围∈下的精度:Φ(N,∈).
Output:最优的相对误差参数:EBbest.
//α,β为公式(1)中的参数,可由用户调节。
//遍历可选择的相对误差参数集合中的全部误差参数,进行压缩操作,得到对应该误差参数下的压缩率,然后进行解压操作,并将解压后得到的模型在数据集上进行测试,得到对应该误差参数下的模型精度。保存误差参数、压缩率和模型精度的数据。
for∈in EB do
{Φ(N,∈),Ω(N,∈)}←Estimate(N,∈);
if abs(Φ(N,∈))<θthen
save{Φ(N,∈),Ω(N,∈)}in Sets;
//下面两行为数据初始化
SCOREbest←0;
EBbest←λ;//λ是由用户设定的一个默认的相对误差参数,因为可能存在相对误差参数集合EB中的参数均无法满足需求的情况,此时选择用户设定的相对误差参数进行压缩。
for{Φ(N,∈),Ω(N,∈)}in Sets do
Score←CalcScore(Φ(N,∈),Ω(N,∈),α,β);
if Score>SCOREbest then
SCOREbest←Score;
EBbest←∈;
return EBbest;//遍历上述过程得到的误差参数、压缩率和模型精度的数据,根据公式(1)计算对应不同误差参数下的得分,选择出得分最高的误差参数,即为选择出的最优误差参数。
C、压缩差量数据。
由于神经网络模型不同版本之间存在的相似性,通过计算差量数据可将所有的参数转化为数值及其接近的整数值。因此,考虑到差量数据具备的这种特性,在压缩差量数据的过程中,采用了游程编码技术和LZMA无损压缩技术对差量数据进行压缩处理,得到最终的二进制压缩文件。
原始方案中是直接对单个模型采用有损压缩技术,这种方法的压缩率较为有限,通常不超过5倍。为提升压缩率以实现减少资源开销的目的,该发明观察神经网络在训练过程中产生的多个版本之间存在相似性。对已有的有损压缩技术进行改进,实现针对于神经网络模型参数的有损差量压缩方法,且压缩率通常能够达到10倍以上,能够有效减少神经网络模型在网络传输中和数据存储中的资源开销。
请参阅图4,本发明实施例还提供了一种模型数据压缩系统,可包括:
第一计算模块401,用于计算目标模型与参考模型中的同种类型参数之间的差量数据;
压缩模块402,采用预设压缩算法对差量数据进行压缩得到目标压缩文件;
发送模块403,用于将目标压缩文件发送给目标终端设备,以使得目标终端设备根据差量数据以及本地存储的参考模型恢复目标模型。
可选的,作为一种可能的实施方式,本发明实施例中的,第一计算模块可以包括:
计算单元,计算目标模型与参考模型中的同种类型参数之间的差值,并将同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据。
可选的,作为一种可能的实施方式,本发明实施例中的计算单元可以包括:
计算子单元,根据公式
Figure BDA0002680642530000101
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。
可选的,作为一种可能的实施方式,本发明实施例中的压缩模块可包括:
压缩单元,采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。
可选的,作为一种可能的实施方式,本发明实施例中的模型数据压缩系统还可以包括:
第二计算模块,用于在将目标压缩文件发送给目标终端设备之前,计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
选择模块,根据公式Score=α〃Φ+β〃Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据最优参数计算目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上面从模块化功能实体的角度对本发明实施例中的模型数据压缩系统进行了描述,请参阅图5,下面从硬件处理的角度对本发明实施例中的计算机装置进行描述:
该计算机装置1可以包括存储器11、处理器12和输入输出总线13。处理器11执行计算机程序时实现上述图1所示的模型数据压缩方法实施例中的步骤,例如图1所示的步骤101至103。或者,处理器执行计算机程序时实现上述各装置实施例中各模块或单元的功能。
本发明的一些实施例中,处理器具体用于实现如下步骤:
计算目标模型与参考模型中的同种类型参数之间的差量数据;
采用预设压缩算法对差量数据进行压缩得到目标压缩文件;
将目标压缩文件发送给目标终端设备,以使得目标终端设备根据差量数据以及本地存储的参考模型恢复目标模型。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
计算目标模型与参考模型中的同种类型参数之间的差值,并将同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
根据公式
Figure BDA0002680642530000111
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
根据公式Score=α〃Φ+β〃Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据最优参数计算目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
其中,存储器11至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是计算机装置1的内部存储单元,例如该计算机装置1的硬盘。存储器11在另一些实施例中也可以是计算机装置1的外部存储设备,例如计算机装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器11还可以既包括计算机装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于计算机装置1的应用软件及各类数据,例如计算机程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行计算机程序01等。
该输入输出总线13可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。
进一步地,计算机装置还可以包括有线或无线网络接口14,网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该计算机装置1与其他电子设备之间建立通信连接。
可选地,该计算机装置1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的,用户接口还可以包括标准的有线接口、无线接口。可选的,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在计算机装置1中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有组件11-14以及计算机程序01的计算机装置1,本领域技术人员可以理解的是,图5示出的结构并不构成对计算机装置1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时,可以实现如下步骤:
计算目标模型与参考模型中的同种类型参数之间的差量数据;
采用预设压缩算法对差量数据进行压缩得到目标压缩文件;
将目标压缩文件发送给目标终端设备,以使得目标终端设备根据差量数据以及本地存储的参考模型恢复目标模型。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
计算目标模型与参考模型中的同种类型参数之间的差值,并将同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
根据公式
Figure BDA0002680642530000131
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。
可选的,作为一种可能的实施方式,处理器还可以用于实现如下步骤:
计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
根据公式Score=α〃Φ+β〃Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据最优参数计算目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种模型数据压缩方法,其特征在于,包括:
计算目标模型与参考模型中的同种类型参数之间的差量数据;
采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件;
将所述目标压缩文件发送给目标终端设备,以使得所述目标终端设备根据所述差量数据以及本地存储的所述参考模型恢复所述目标模型;
所述计算目标模型与参考模型中的同种类型参数之间的差量数据,包括:
计算目标模型与参考模型中的同种类型参数之间的差值,并将所述同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据;
将所述同种类型参数之间的差值转换成整数类型数据,包括:
根据公式
Figure FDA0004008037820000011
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。
2.根据权利要求1所述的方法,其特征在于,所述采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件,包括:
采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。
3.根据权利要求2所述的方法,其特征在于,在将所述目标压缩文件发送给目标终端设备之前,还包括:
计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
根据公式Score=α·Φ+β·Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据所述最优参数计算所述目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
4.一种模型数据压缩系统,其特征在于,包括:
第一计算模块,用于计算目标模型与参考模型中的同种类型参数之间的差量数据;
压缩模块,采用预设压缩算法对所述差量数据进行压缩得到目标压缩文件;
发送模块,用于将所述目标压缩文件发送给目标终端设备,以使得所述目标终端设备根据所述差量数据以及本地存储的所述参考模型恢复所述目标模型;
所述第一计算模块包括:
计算单元,计算目标模型与参考模型中的同种类型参数之间的差值,并将所述同种类型参数之间的差值转换成的整数类型数据作为同种类型参数之间的差量数据;
所述计算单元包括:
计算子单元,根据公式
Figure FDA0004008037820000021
对同种类型参数之间的差值转换成整数类型数据,其中Ai、Bi分别为目标模型与参考模型中的同种类型参数,ε为预先设定的相对误差范围参数,log运算的底数为2,q为-1至1之间的常数。
5.根据权利要求4所述的系统,其特征在于,所述压缩模块包括:
压缩单元,采用游程编码对差量数据进行压缩处理,并将压缩后数据采用无损压缩技术进行再次压缩,得到最终的目标压缩文件。
6.根据权利要求5所述的系统,其特征在于,还包括:
第二计算模块,用于在将所述目标压缩文件发送给目标终端设备之前,计算多个不同相对误差范围参数ε下的压缩率Ω以及模型精确率参数Φ;
选择模块,根据公式Score=α·Φ+β·Ω,计算多个相对误差范围参数ε下的评分,并确定最高得分对应的相对误差范围参数ε为最优参数,并根据所述最优参数计算所述目标压缩文件,其中α、β为0至1之间的实数,且α+β=1。
7.一种计算机装置,其特征在于,所述计算机装置包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至3中任意一项所述方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至3中任意一项所述方法的步骤。
CN202010961326.6A 2020-09-14 2020-09-14 一种模型数据压缩方法、系统及相关设备 Active CN112054805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010961326.6A CN112054805B (zh) 2020-09-14 2020-09-14 一种模型数据压缩方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010961326.6A CN112054805B (zh) 2020-09-14 2020-09-14 一种模型数据压缩方法、系统及相关设备

Publications (2)

Publication Number Publication Date
CN112054805A CN112054805A (zh) 2020-12-08
CN112054805B true CN112054805B (zh) 2023-03-31

Family

ID=73611289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010961326.6A Active CN112054805B (zh) 2020-09-14 2020-09-14 一种模型数据压缩方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN112054805B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113258934A (zh) * 2021-06-24 2021-08-13 北京海兰信数据科技股份有限公司 一种数据压缩方法、系统及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502514B2 (en) * 2004-11-15 2009-03-10 Smith Micro Software, Inc. System and method for lossless compression of already compressed files
EP2387004B1 (en) * 2010-05-11 2016-12-14 Dassault Systèmes Lossless compression of a structured set of floating point numbers, particularly for CAD systems
US9158686B2 (en) * 2012-03-30 2015-10-13 Altera Corporation Processing system and method including data compression API
JP2017513252A (ja) * 2014-01-29 2017-05-25 リリカン アナリティクス インコーポレイテッドRelican Analytics,Inc. 最適化されたデータ凝縮器及び方法
WO2017023332A1 (en) * 2015-08-06 2017-02-09 Hewlett Packard Enterprise Development Lp Difference datasets
GB2579399B (en) * 2018-11-30 2020-12-16 Imagination Tech Ltd Data compression and storage

Also Published As

Publication number Publication date
CN112054805A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN107682016B (zh) 一种数据压缩方法、数据解压方法及相关系统
CN108536753B (zh) 重复信息的确定方法及相关装置
US11704286B2 (en) High-density compression method and computing system
CN116506073B (zh) 一种工业计算机平台数据快速传输方法及系统
CN108628898B (zh) 数据入库的方法、装置和设备
CN112506879B (zh) 数据处理方法及相关设备
CN112003625A (zh) 一种霍夫曼编码方法、系统及设备
CN112506880B (zh) 数据处理方法及相关设备
CN112527752B (zh) 数据压缩方法、装置、计算机可读存储介质及电子设备
CN115208414A (zh) 数据压缩方法、数据压缩装置、计算机设备及存储介质
CN110995273A (zh) 电力数据库的数据压缩方法、装置、设备及介质
CN112054805B (zh) 一种模型数据压缩方法、系统及相关设备
CN113630125A (zh) 数据压缩、编码解压缩方法、装置、电子设备及存储介质
CN111491169A (zh) 一种数字图像压缩方法、装置、设备、介质
CN108255411A (zh) 一种数据压缩方法与装置和数据解压缩方法与装置
CN113220651B (zh) 运行数据压缩方法、装置、终端设备以及存储介质
CN113163198A (zh) 图像压缩方法、解压方法、装置、设备及存储介质
CN115905168B (zh) 基于数据库的自适应压缩方法和装置、设备、存储介质
CN110032432B (zh) 实例的压缩方法和装置、实例的解压方法和装置
CN116303297A (zh) 文件压缩处理方法、装置、设备及介质
CN105468603A (zh) 数据选择方法及装置
CN111782932B (zh) 数据关联的建立方法、装置和计算机可读存储介质
CN112527753B (zh) Dns解析记录无损压缩方法、装置、电子设备及存储介质
CN113949868B (zh) 一种熵编码方法及装置
CN112486976A (zh) 数据处理方法、装置、网络设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant