CN113887719B - 一种模型压缩方法及装置 - Google Patents

一种模型压缩方法及装置 Download PDF

Info

Publication number
CN113887719B
CN113887719B CN202111067265.XA CN202111067265A CN113887719B CN 113887719 B CN113887719 B CN 113887719B CN 202111067265 A CN202111067265 A CN 202111067265A CN 113887719 B CN113887719 B CN 113887719B
Authority
CN
China
Prior art keywords
matrix
index
embedded
determining
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111067265.XA
Other languages
English (en)
Other versions
CN113887719A (zh
Inventor
刘俊杰
祝升
陈晓涛
柴振华
刘哲
魏晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202111067265.XA priority Critical patent/CN113887719B/zh
Publication of CN113887719A publication Critical patent/CN113887719A/zh
Application granted granted Critical
Publication of CN113887719B publication Critical patent/CN113887719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Stored Programmes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书公开了一种模型压缩方法及装置，可先获取已训练完成的神经网络模型，并针对该神经网络模型中的每个嵌入层，确定该嵌入层的嵌入矩阵以及该嵌入层的基准矩阵。之后，以该嵌入矩阵的行数与基准矩阵的行数为约束，构建索引矩阵，并基于该嵌入层的索引矩阵与基准矩阵，确定该嵌入层的重构矩阵。最后，以最小化该嵌入层的嵌入矩阵与重构矩阵之间的差异为目标，调整基准矩阵与索引矩阵中的参数，并基于调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，用于部署至终端中执行业务。以模型中各嵌入层的嵌入矩阵与重构矩阵之间的差异为优化目标，得到各嵌入层压缩后的基准矩阵与索引矩阵，极大降低了模型压缩的数据量。

Description

一种模型压缩方法及装置
技术领域
本申请涉及机器学习技术领域，尤其涉及一种模型压缩方法及装置。
背景技术
随着人工智能技术的发展，神经网络模型也越来越多的应用于各业务领域中，如信息推荐、视觉定位等。
但训练完成的模型往往复杂度较高、数据量较大，尽管复杂的模型能够带来更好的性能，但是高额的存储空间以及大量计算资源的消耗，致使训练完成的神经网络模型难以有效应用于各硬件平台中。因此还需对训练完成的神经网络模型进行压缩处理，以将压缩后的模型部署至各硬件平台中。
目前，常见的神经网络模型压缩框架有Tensorflow Lite、TensorRT以及神经网络智能工具(Neural Network Intelligence，NNI)等，在基于各压缩框架进行模型压缩时，可将离线训练完成的模型输入至压缩框架中，通过压缩算法得到压缩后的轻量模型。若压缩后的轻量模型符合预设的算法指标，则压缩完成，否则继续压缩直至符合预设的算法指标为止。其中，压缩算法可以包含低秩分解、网络量化以及剪枝等，预设的算法指标可以包含模型大小、模型准确率等指标。
但是，通过上述模型压缩方法压缩后的模型数据量仍然较大，难以直接部署至手机、机器人等移动设备中。
发明内容
本说明书实施例提供一种模型压缩方法及装置，用于部分解决现有技术中的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种模型压缩方法，包括：
获取已训练完成的神经网络模型；
针对所述神经网络模型中的每个嵌入层，根据该嵌入层的网络参数，构建该嵌入层的嵌入矩阵，并对所述嵌入矩阵进行低秩分解，确定该嵌入层的基准矩阵；
以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵，所述索引矩阵表征所述嵌入矩阵的各行参数与所述基准矩阵的各行参数之间的映射关系；
根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵；
以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，调整所述基准矩阵与所述索引矩阵，并根据调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，所述压缩后的神经网络模型用于部署至终端中执行业务，实现与压缩前的神经网络模型相同的功能。
可选地，以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵，具体包括：
根据所述嵌入矩阵的行数以及所述基准矩阵的行数，确定索引矩阵的行数与列数；其中，所述索引矩阵的行数与所述嵌入矩阵的行数相同，所述索引矩阵的列数不大于所述基准矩阵的行数；
按照确定出的行数与列数，随机确定所述索引矩阵中的各参数。
可选地，根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵，具体包括：
针对所述嵌入矩阵中的每行参数，从所述索引矩阵中确定对应该行参数的一行参数，作为该行参数的索引参数；
根据所述嵌入矩阵中各行参数的索引参数，以及所述基准矩阵，确定所述嵌入矩阵的重构矩阵。
可选地，根据所述嵌入矩阵中各行参数的索引参数，以及所述基准矩阵，确定所述嵌入矩阵的重构矩阵，具体包括：
针对所述嵌入矩阵中的每行参数，根据该行参数的索引参数，从所述基准矩阵的各行参数中，确定与所述索引参数对应的若干行参数；
根据确定出的若干行参数，确定该行参数的重构参数；
根据所述嵌入矩阵的各行参数的重构参数，确定所述嵌入矩阵的重构矩阵。
可选地，所述方法还包括：
针对待部署的每种设备类型，根据该设备类型的设备参数，确定该设备类型对应的矩阵分解维度；其中，所述设备参数至少包含CPU，所述CPU性能越好，所述矩阵分解维度越大；
根据该设备类型对应的矩阵分解维度，确定该设备类型对应的索引矩阵的标准维度；
以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，根据该设备类型对应的索引矩阵的标准维度，调整所述基准矩阵与所述索引矩阵的参数，并根据调整后的所述基准矩阵与所述索引矩阵的参数，确定该设备类型对应的压缩后的神经网络模型。
可选地，所述神经网络模型为信息推荐模型；
所述方法还包括：
当接收到用户终端发送的信息获取请求后，根据所述信息获取请求中携带的设备标识，确定所述用户终端所属的设备类型以及在所述设备类型中的等级；
根据所述用户终端的设备类型，确定该设备类型对应的索引矩阵的标准维度，并根据所述用户终端在所述设备类型中的等级，以及确定出的标准维度，确定所述用户终端对应的索引矩阵的等级维度；
根据所述用户终端对应的各索引矩阵的等级维度，所述用户终端对应的各索引矩阵以及各嵌入层的各基准矩阵，确定所述用户终端对应的压缩后的信息推荐模型，并下发至所述用户终端，使所述用户终端根据实时监测到的用户行为数据，通过所述压缩后的信息推荐模型进行信息推荐。
可选地，所述索引矩阵的数据存储类型的数据存储量小于所述嵌入矩阵的数据存储类型的数据存储量。
本说明书提供一种模型压缩装置，包括：
获取模块，配置为获取已训练完成的神经网络模型；
第一确定模块，配置为针对所述神经网络模型中的每个嵌入层，根据该嵌入层的网络参数，构建该嵌入层的嵌入矩阵，并对所述嵌入矩阵进行低秩分解，确定该嵌入层的基准矩阵；
构建模块，配置为以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵，所述索引矩阵表征所述嵌入矩阵的各行参数与所述基准矩阵的各行参数之间的映射关系；
第二确定模块，配置为根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵；
调整模块，配置为以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，调整所述基准矩阵与所述索引矩阵，并根据调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，所述压缩后的神经网络模型用于部署至终端中执行业务，实现与压缩前的神经网络模型相同的功能。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型压缩方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型压缩方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书中，可先获取已训练完成的神经网络模型，并针对该神经网络模型中的每个嵌入层，确定该嵌入层的嵌入矩阵，以及对该嵌入矩阵进行低秩分解，得到该嵌入层的基准矩阵。之后，以该嵌入矩阵的行数与基准矩阵的行数为约束，构建索引矩阵，并基于该嵌入层的索引矩阵与基准矩阵，确定该嵌入层的重构矩阵。最后，以最小化该嵌入层的嵌入矩阵与重构矩阵之间的差异为目标，调整基准矩阵与索引矩阵中的参数，并基于调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，用于部署至终端中执行业务，实现与压缩前的神经网络模型相同的功能。以模型中各嵌入层的嵌入矩阵与重构矩阵之间的差异为优化目标，得到各嵌入层压缩后的基准矩阵与索引矩阵，极大降低了模型压缩的数据量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种模型压缩方法的流程图；
图2为本说明书实施例提供的一种重构嵌入矩阵中各行参数的方法示意图；
图3为本说明书实施例提供的一种信息推荐模型的压缩与应用示意图；
图4a为现有技术的一种数据量压缩的示意图；
图4b为本说明书实施例提供的一种数据量压缩的示意图；
图5为本说明书实施例提供的一种模型压缩装置的结构示意图；
图6为本说明书实施例提供的实现模型压缩方法的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本说明书提供一种模型压缩方法，以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本说明书实施例提供的一种模型压缩方法的流程示意图，具体可包括以下步骤：
S100：获取已训练完成的神经网络模型。
S102：针对所述神经网络模型中的每个嵌入层，根据该嵌入层的网络参数，构建该嵌入层的嵌入矩阵，并对所述嵌入矩阵进行低秩分解，确定该嵌入层的基准矩阵。
本说明书提供的模型压缩方法，通过压缩神经网络模型中各网络层的参数，来减少神经网络模型的数据量，以将压缩后的轻量级模型部署至移动终端执行业务。
具体的，在进行模型压缩时，可先获取待压缩的神经网络模型，且该神经网络模型为已训练完成的模型版本。之后，针对该待压缩的神经网络模型中的每个嵌入层，根据该嵌入层的网络参数，构建该嵌入层的嵌入矩阵。
为了降低该神经网络模型的数据量，可通过降低该模型中各网络层的参数维度来实现。于是可对该嵌入层的嵌入矩阵进行低秩分解，确定该嵌入层的基准矩阵。其中，低秩分解可以通过奇异值分解(Singular Value Decomposition，SVD)、对比度金字塔(contrast pyramid，CP)分解、Tucker分解等矩阵分解方式实现。
其中，为保证模型预测的准确性，模型中各网络层的参数通常以浮点型表示，因此进行低秩分解后的各基准矩阵中的参数也是以浮点型表示。
S104：以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵。
为了保障压缩后的模型预测的准确度，在得到该嵌入层的基准矩阵后，还需确定基准矩阵与嵌入矩阵之间的映射关系，以基于该映射关系与该基准矩阵，重构该嵌入矩阵。
具体的，可根据该嵌入矩阵的行数，确定索引矩阵的行数，并以该基准矩阵的行数为约束，确定索引矩阵的列数，根据确定出的行数与列数，构建索引矩阵。其中，该索引矩阵表征嵌入矩阵中各行参数与基准矩阵的各行参数之间的映射关系。
进一步的，由于索引矩阵表征嵌入矩阵与基准矩阵中各行参数的映射关系，因此该索引矩阵的行数应与该嵌入矩阵的行数相同，索引矩阵中的每行参数表征嵌入矩阵中对应行参数与基准矩阵中各行参数的映射关系。并且，该索引矩阵的列数不大于该基准矩阵的行数。
更进一步的，在确定出该索引矩阵的行数与列数后，可随机确定该索引矩阵中的参数，以通过后续优化目标进行调整。当然，也可以预设该索引矩阵中各参数的初始值。
S106：根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵。
S108：以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，调整所述基准矩阵与所述索引矩阵，并根据调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型。
在本说明书一种或多种实施例中，当通过压缩后的模型进行预测时，可通过压缩得到的基准矩阵与索引矩阵，重构该嵌入层的嵌入矩阵，以通过重构后的嵌入矩阵进行预测。
为了减少模型压缩前后的性能差异，可以最小化该嵌入层的嵌入矩阵与压缩后重构的重构矩阵之间的差异为优化目标，调整基准矩阵与索引矩阵中的参数。
具体的，可针对该嵌入矩阵中的每行参数，从该索引矩阵中确定对应该行参数的一行参数，作为该行参数的索引参数。之后，根据该嵌入矩阵中各行参数的索引参数，以及该嵌入层的基准矩阵，确定该嵌入矩阵的重构矩阵。最后，以最小化该嵌入层的嵌入矩阵与重构矩阵之间的差异为目标，调整基准矩阵以及索引矩阵中的参数，并基于调整后的基准矩阵与索引矩阵，确定压缩后的神经网络模型。以将压缩后的神经网络模型部署至移动终端中执行相应业务，实现与压缩前的神经网络模型相同的功能。
例如，假设压缩的神经网络模型为信息推荐模型，则可将压缩后的轻量级的信息推荐模型部署至移动终端，在移动终端中对各推荐信息进行排序并展示，实现与压缩前的信息推荐模型相同的功能。假设压缩的神经网络模型为图像识别模型，则可将压缩后的轻量级的图像识别模型部署到移动终端，在移动终端识别图像，实现与压缩前的图像识别模型相同的功能。
需要说明的是，压缩后的神经网络模型压缩前的神经网络模型实现相同的功能，指的是压缩前后的两个模型的作用相同，如，均是用于信息推荐，或均用于图像处理等。但两者在预测结果的精度上可能存在差异，压缩后的模型的精度往往小于压缩前的模型的精度。
本说明书提供的模型压缩方法，可将复杂度较高的模型压缩为轻量级模型，大大减少模型的数据量，便于直接部署至移动终端中执行相应业务，而对压缩的模型类型不做限制。
进一步的，在确定该嵌入矩阵的重构矩阵时，可针对该嵌入矩阵中的每行参数，根据该参数的索引参数，从该基准矩阵的各行参数中，确定与该索引参数对应的若干行参数。之后，根据确定出的若干行参数，进行线性组合，确定该行参数的重构参数。最后，基于该嵌入矩阵中各行参数的重构参数，确定该嵌入矩阵的重构矩阵。
更进一步的，在确定出该嵌入矩阵中各行参数的重构参数后，可以最小化该嵌入矩阵中各行参数与对应的重构参数之间的差异为目标，调整索引矩阵中的索引参数以及基准矩阵中对应行的参数。
假设该嵌入层的嵌入矩阵的形状大小为V×H，通过低秩分解得到的基准矩阵的形状大小为W×H，该嵌入层的索引矩阵的形状大小为V×K。则针对该嵌入矩阵中的每行参数1×H，可从索引矩阵中确定对应该行参数的索引参数1×K，并基于该索引参数1×K，从基准矩阵的各行参数W×H中，确定出K×H的参数子集。之后，对该K×H的参数进行线性组合，得到对应该嵌入矩阵中该行参数1×H对应的重构参数1×H。最后，以最小化该嵌入矩阵中各行参数与对应的重构参数之间的差异为目标，对该索引矩阵中的索引参数以及基准矩阵中的参数进行调整。
如图2所示，针对图中嵌入矩阵V×H中的第四行参数1×H，可从索引矩阵V×K中，确定对应的一行索引参数1×K。之后，基于该索引参数1×K，从基准矩阵W×H，确定K×H的参数子集，并对该K×H的参数子集进行线性组合，得到该行参数的重构参数1×H。最后，确定该嵌入矩阵中第四行参数1×H，与重构参数1×H之间的误差，并以最小化该误差为目标，调整索引矩阵与基准矩阵中的参数。
例如，假设嵌入层的嵌入矩阵为
Figure BDA0003258945740000091
该嵌入层对应的基准矩阵为
Figure BDA0003258945740000092
对应的索引矩阵为
Figure BDA0003258945740000093
则针对该嵌入层的第一行参数[a11 a12a13 a14]，可从索引矩阵中确定对应第一行参数的索引参数[2 1]，并基于该索引参数，从基准矩阵中查找与该索引参数对应的第二行参数[b21 b22 b23 b24]以及第一行参数[b11 b12b13 b14]。之后，对查找到的第二行参数[b21 b22 b23 b2]4与第一行参数[b11 b12 b13 b14]进行线性组合，得到[b11+b21 b12+b22 b13+b23 b14+b24]，作为[a11 a12 a13 a14]的重构参数。通过迭代上述步骤依次确定该嵌入矩阵中各行参数的重构参数，以构建该嵌入矩阵的重构矩阵。
需要说明的是，由于索引矩阵中的各索引参数，表征的是嵌入矩阵中的行参数，由基准矩阵中的哪行参数组合得到，于是索引矩阵中索引参数的数据存储类型可采用定点数表示，由于定点数的数据存储量小于浮点数的数据存储量，因此可显著降低模型的数据存储量。
基于图1所示的模型压缩方法，可先获取已训练完成的神经网络模型，并针对该神经网络模型中的每个嵌入层，确定该嵌入层的嵌入矩阵，以及对该嵌入矩阵进行低秩分解，得到该嵌入层的基准矩阵。之后，以该嵌入矩阵的行数与基准矩阵的行数为约束，构建索引矩阵，并基于该嵌入层的索引矩阵与基准矩阵，确定该嵌入层的重构矩阵。最后，以最小化该嵌入层的嵌入矩阵与重构矩阵之间的差异为目标，调整基准矩阵与索引矩阵中的参数，并基于调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，用于部署至终端中执行业务，实现与压缩前的神经网络模型相同的功能。以模型中各嵌入层的嵌入矩阵与重构矩阵之间的差异为优化目标，得到各嵌入层压缩后的基准矩阵与索引矩阵，极大降低了模型压缩的数据量。
另外，在本说明书一种或多种实施例中，考虑到待部署设备的性能差异，还可针对不同类型的设备，确定适配该设备类型的压缩模型。具体的，针对待部署的每种设备类型，可根据该设备类型的设备参数，确定该设备类型对应的矩阵分解维度。其中，设备参数至少包含CPU，设备类型的CPU性能越好，对应的矩阵分解维度越大。之后，根据该设备类型对应的矩阵分解维度，确定该设备类型对应的索引矩阵的标准维度。最后，以最小化该重构矩阵与该嵌入矩阵之间的差异为目标，根据该设备类型对应的索引矩阵的标准维度，调整该基准矩阵与该索引矩阵的参数，并根据调整后的该基准矩阵与该索引矩阵的参数，确定该设备类型对应的压缩后的神经网络模型。
进一步的，以移动终端为手机为例，由于同一设备类型下的手机还分为若干等级，如，苹果手机系列有iPhone 11、iPhone 8、iPhone 7等。尽管手机的设备类型相同，但设备性能上仍存在差异。于是，对于同一设备类型下的不同等级，可基于该设备类型的索引矩阵的标准维度，分别确定对应不同等级的索引矩阵的等级维度。如，假设苹果手机类型对应的索引矩阵的标准维度为K，则对于iPhone 11，可设置对应的索引矩阵的等级维度为K。对于iPhone 8，可设置对应的索引矩阵的等级维度为K/2。对于iPhone 7，可设置对应的索引矩阵的等级维度为K/4。
其中，设备性能越好，对应的索引矩阵的等级维度越大，模型的压缩量越小，模型的预测性能也就越好。
更进一步的，若该神经网络模型为信息推荐模型，则当接收到用户终端发送的信息获取请求后，可根据该信息获取请求中携带的设备标识，确定该用户终端所属的设备类型以及在该设备类型中的等级。之后，根据该用户终端的设备类型，确定该设备类型对应的索引矩阵的标准维度，并根据该用户终端在该设备类型中的等级，以及确定出的标准维度，确定该用户终端对应的索引矩阵的等级维度。
然后，根据该用户终端对应的各索引矩阵的等级维度，该用户终端对应的各索引矩阵以及各嵌入层的各基准矩阵，确定该用户终端对应的压缩后的信息推荐模型，并下发至该用户终端，使该用户终端根据实时监测到的用户行为数据，通过压缩后的信息推荐模型进行信息推荐。
如图3所示，在服务端侧，将已训练完成的信息推荐模型，输入至模型自动压缩框架(AI Model Automatic Compression，AMAC)中，并基于用户终端发送的信息获取请求中的设备标识，向该用户终端动态下发对应该终端设备的压缩的信息推荐模型以及信息推荐数据。在用户终端侧，该用户终端可实时监测用户行为数据，并基于用户行为数据提取用户行为特征，将提取到的用户行为特征以及获取到的信息推荐数据，输入至压缩后的信息推荐模型中，对信息推荐数据进行重新排序。
在本说明书一种或多种实施例中，当待压缩的神经网络模型中存在多个嵌入层时，可基于各嵌入层的嵌入矩阵的低秩分解结果，确定各嵌入矩阵的综合基准矩阵。并针对不同嵌入层的嵌入矩阵，构建不同的索引矩阵。以基于各嵌入层对应的索引矩阵，从综合基准矩阵中，确定对应各嵌入层的重构矩阵。
在本说明书其它实施例中，还可针对待部署的每种设备类型，根据该设备类型的设备参数，确定该设备类型对应的量化损失。其中，设备参数至少包含CPU，设备类型的CPU性能越好，量化损失越小。
例如，假设待压缩的神经网络模型中的参数以32比特浮点数存储，当设备类型的性能较好时，可将各参数由32比特量化为16比特，减少数据存储量以及数据计算量。当设备类型的性能较差时，可将各参数由32比特浮点数量化为8比特定点数，极大降低了数据存储量。当然，数据存储量压缩的越小，模型的预测性能越差。
在本说明书中需要说明的是，现有技术中常见的矩阵分解的压缩方法，通常是将嵌入矩阵分解为若干矩阵的乘积，如图4a所示，将嵌入矩阵V×H分解为矩阵1的V×E与矩阵2的E×H，以降低矩阵中参数的数据存储量。其中，矩阵1与矩阵2中各参数均以浮点数的形式存储。
而本申请中的模型压缩方法，如图4b所示，通过将嵌入矩阵V×H表示为：索引矩阵V×K与基准矩阵W×H的方式，以降低各嵌入层中参数的数据存储量。其中，索引矩阵中各参数以定点数存储，基准矩阵中各参数以浮点数存储。且K小于E，W小于E。因此通过本申请提供的模型压缩方法，可显著降低模型的数据量。
基于图1所示的一种模型压缩方法，本说明书实施例还对应提供一种模型压缩装置的结构示意图，如图5所示。
图5为本说明书实施例提供的一种模型压缩装置的结构示意图，包括：
获取模块200，配置为获取已训练完成的神经网络模型；
第一确定模块202，配置为针对所述神经网络模型中的每个嵌入层，根据该嵌入层的网络参数，构建该嵌入层的嵌入矩阵，并对所述嵌入矩阵进行低秩分解，确定该嵌入层的基准矩阵；
构建模块204，配置为以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵，所述索引矩阵表征所述嵌入矩阵的各行参数与所述基准矩阵的各行参数之间的映射关系；
第二确定模块206，配置为根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵；
调整模块208，配置为以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，调整所述基准矩阵与所述索引矩阵，并根据调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，所述压缩后的神经网络模型用于部署至终端中执行业务，实现与压缩前的神经网络模型相同的功能。
可选地，所述构建模块204具体用于，根据所述嵌入矩阵的行数以及所述基准矩阵的行数，确定索引矩阵的行数与列数；其中，所述索引矩阵的行数与所述嵌入矩阵的行数相同，所述索引矩阵的列数不大于所述基准矩阵的行数，按照确定出的行数与列数，随机确定所述索引矩阵中的各参数。
可选地，所述第二确定模块206具体用于，针对所述嵌入矩阵中的每行参数，从所述索引矩阵中确定对应该行参数的一行参数，作为该行参数的索引参数，根据所述嵌入矩阵中各行参数的索引参数，以及所述基准矩阵，确定所述嵌入矩阵的重构矩阵。
可选地，所述第二确定模块206具体用于，针对所述嵌入矩阵中的每行参数，根据该行参数的索引参数，从所述基准矩阵的各行参数中，确定与所述索引参数对应的若干行参数，根据确定出的若干行参数，确定该行参数的重构参数，根据所述嵌入矩阵的各行参数的重构参数，确定所述嵌入矩阵的重构矩阵。
可选地，所述调整模块208还用于，针对待部署的每种设备类型，根据该设备类型的设备参数，确定该设备类型对应的矩阵分解维度；其中，所述设备参数至少包含CPU，所述CPU性能越好，所述矩阵分解维度越大，根据该设备类型对应的矩阵分解维度，确定该设备类型对应的索引矩阵的标准维度，以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，根据该设备类型对应的索引矩阵的标准维度，调整所述基准矩阵与所述索引矩阵的参数，并根据调整后的所述基准矩阵与所述索引矩阵的参数，确定该设备类型对应的压缩后的神经网络模型。
可选地，所述神经网络模型为信息推荐模型，所述模型压缩装置还包含模型应用模块210，所述模型应用模块210具体用于，当接收到用户终端发送的信息获取请求后，根据所述信息获取请求中携带的设备标识，确定所述用户终端所属的设备类型以及在所述设备类型中的等级，根据所述用户终端的设备类型，确定该设备类型对应的索引矩阵的标准维度，并根据所述用户终端在所述设备类型中的等级，以及确定出的标准维度，确定所述用户终端对应的索引矩阵的等级维度，根据所述用户终端对应的各索引矩阵的等级维度，所述用户终端对应的各索引矩阵以及各嵌入层的各基准矩阵，确定所述用户终端对应的压缩后的信息推荐模型，并下发至所述用户终端，使所述用户终端根据实时监测到的用户行为数据，通过所述压缩后的信息推荐模型进行信息推荐。
可选地，所述索引矩阵的数据存储类型的数据存储量小于所述嵌入矩阵的数据存储类型的数据存储量。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的模型压缩方法。
根据图1所示的一种模型压缩方法，本说明书实施例还提出了图6所示的电子设备的示意结构图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的模型压缩方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和生成专用的集成电路芯片。而且，如今，取代手工地生成集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (8)

1.一种模型压缩方法，其特征在于，包括：
获取已训练完成的神经网络模型；所述神经网络模型为信息推荐模型；
针对所述神经网络模型中的每个嵌入层，根据该嵌入层的网络参数，构建该嵌入层的嵌入矩阵，并对所述嵌入矩阵进行低秩分解，确定该嵌入层的基准矩阵；
以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵，所述索引矩阵表征所述嵌入矩阵的各行参数与所述基准矩阵的各行参数之间的映射关系；
根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵；
以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，调整所述基准矩阵与所述索引矩阵，并根据调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，所述压缩后的神经网络模型用于部署至终端中执行业务，实现与压缩前的神经网络模型相同的功能；
其中，在构建索引矩阵之前，接收用户终端发送的信息获取请求，根据所述信息获取请求中携带的设备标识，确定所述用户终端所属的设备类型以及在所述设备类型中的等级；
根据所述用户终端的设备类型，确定该设备类型对应的索引矩阵的标准维度，并根据所述用户终端在所述设备类型中的等级，以及确定出的标准维度，确定所述用户终端对应的索引矩阵的等级维度；
根据所述用户终端对应的各索引矩阵的等级维度，所述用户终端对应的各索引矩阵以及各嵌入层的各基准矩阵，确定所述用户终端对应的压缩后的信息推荐模型，并下发至所述用户终端，使所述用户终端根据实时监测到的用户行为数据，通过所述压缩后的信息推荐模型进行信息推荐。
2.如权利要求1所述的方法，其特征在于，以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵，具体包括：
根据所述嵌入矩阵的行数以及所述基准矩阵的行数，确定索引矩阵的行数与列数；其中，所述索引矩阵的行数与所述嵌入矩阵的行数相同，所述索引矩阵的列数不大于所述基准矩阵的行数；
按照确定出的行数与列数，随机确定所述索引矩阵中的各参数。
3.如权利要求1所述的方法，其特征在于，根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵，具体包括：
针对所述嵌入矩阵中的每行参数，从所述索引矩阵中确定对应该行参数的一行参数，作为该行参数的索引参数；
根据所述嵌入矩阵中各行参数的索引参数，以及所述基准矩阵，确定所述嵌入矩阵的重构矩阵。
4.如权利要求3所述的方法，其特征在于，根据所述嵌入矩阵中各行参数的索引参数，以及所述基准矩阵，确定所述嵌入矩阵的重构矩阵，具体包括：
针对所述嵌入矩阵中的每行参数，根据该行参数的索引参数，从所述基准矩阵的各行参数中，确定与所述索引参数对应的若干行参数；
根据确定出的若干行参数，确定该行参数的重构参数；
根据所述嵌入矩阵的各行参数的重构参数，确定所述嵌入矩阵的重构矩阵。
5.如权利要求1所述的方法，其特征在于，所述索引矩阵的数据存储类型的数据存储量小于所述嵌入矩阵的数据存储类型的数据存储量。
6.一种模型压缩装置，其特征在于，包括：
获取模块，配置为获取已训练完成的神经网络模型；所述神经网络模型为信息推荐模型；
第一确定模块，配置为针对所述神经网络模型中的每个嵌入层，根据该嵌入层的网络参数，构建该嵌入层的嵌入矩阵，并对所述嵌入矩阵进行低秩分解，确定该嵌入层的基准矩阵；
构建模块，配置为以所述嵌入矩阵的行数与所述基准矩阵的行数为约束，构建索引矩阵，所述索引矩阵表征所述嵌入矩阵的各行参数与所述基准矩阵的各行参数之间的映射关系；
第二确定模块，配置为根据所述基准矩阵以及所述索引矩阵，确定所述嵌入矩阵的重构矩阵；
调整模块，配置为以最小化所述重构矩阵与所述嵌入矩阵之间的差异为目标，调整所述基准矩阵与所述索引矩阵，并根据调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，所述压缩后的神经网络模型用于部署至终端中执行业务，实现与压缩前的神经网络模型相同的功能；
模型应用模块，配置为其中，在构建索引矩阵之前，接收用户终端发送的信息获取请求，根据所述信息获取请求中携带的设备标识，确定所述用户终端所属的设备类型以及在所述设备类型中的等级；根据所述用户终端的设备类型，确定该设备类型对应的索引矩阵的标准维度，并根据所述用户终端在所述设备类型中的等级，以及确定出的标准维度，确定所述用户终端对应的索引矩阵的等级维度；根据所述用户终端对应的各索引矩阵的等级维度，所述用户终端对应的各索引矩阵以及各嵌入层的各基准矩阵，确定所述用户终端对应的压缩后的信息推荐模型，并下发至所述用户终端，使所述用户终端根据实时监测到的用户行为数据，通过所述压缩后的信息推荐模型进行信息推荐。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～5任一所述的方法。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～5任一所述的方法。
CN202111067265.XA 2021-09-13 2021-09-13 一种模型压缩方法及装置 Active CN113887719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111067265.XA CN113887719B (zh) 2021-09-13 2021-09-13 一种模型压缩方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111067265.XA CN113887719B (zh) 2021-09-13 2021-09-13 一种模型压缩方法及装置

Publications (2)

Publication Number Publication Date
CN113887719A CN113887719A (zh) 2022-01-04
CN113887719B true CN113887719B (zh) 2023-04-28

Family

ID=79009145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111067265.XA Active CN113887719B (zh) 2021-09-13 2021-09-13 一种模型压缩方法及装置

Country Status (1)

Country Link
CN (1) CN113887719B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115543945B (zh) * 2022-11-29 2023-06-20 支付宝(杭州)信息技术有限公司 一种模型压缩的方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308113A (zh) * 2020-09-23 2021-02-02 济南浪潮高新科技投资发展有限公司 一种基于半监督的目标识别方法、设备及介质
CN112464100A (zh) * 2020-12-14 2021-03-09 未来电视有限公司 信息推荐模型训练方法、信息推荐方法、装置及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104604B (zh) * 2019-11-25 2023-07-21 北京交通大学 基于哈希学习的轻量级社会化推荐方法
CN113378160A (zh) * 2021-06-11 2021-09-10 浙江工业大学 一种基于生成式对抗网络的图神经网络模型防御方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308113A (zh) * 2020-09-23 2021-02-02 济南浪潮高新科技投资发展有限公司 一种基于半监督的目标识别方法、设备及介质
CN112464100A (zh) * 2020-12-14 2021-03-09 未来电视有限公司 信息推荐模型训练方法、信息推荐方法、装置及设备

Also Published As

Publication number Publication date
CN113887719A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN111695375B (zh) 基于模型蒸馏的人脸识别模型压缩方法、介质及终端
CN112163601B (zh) 图像分类方法、系统、计算机设备及存储介质
CN116521380A (zh) 一种资源自适应协同的模型训练加速方法、装置及设备
CN117372631A (zh) 一种多视角图像生成模型的训练方法、应用方法
CN113887719B (zh) 一种模型压缩方法及装置
CN114429208A (zh) 基于残差结构剪枝的模型压缩方法、装置、设备及介质
CN117635822A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117009093B (zh) 降低神经网络推理所需内存占用量的重计算方法和系统
CN115543945B (zh) 一种模型压缩的方法、装置、存储介质及电子设备
CN114494006A (zh) 图像重建模型的训练方法、装置、电子设备及存储介质
CN117113174A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116091895B (zh) 一种面向多任务知识融合的模型训练方法及装置
CN114077885A (zh) 基于张量分解的模型压缩方法、装置和服务器
CN110751274A (zh) 一种基于随机投影哈希的神经网络压缩方法及系统
CN117911630B (zh) 一种三维人体建模的方法、装置、存储介质及电子设备
CN117808976B (zh) 一种三维模型构建方法、装置、存储介质及电子设备
CN112580772B (zh) 卷积神经网络的压缩方法及装置
CN110782003A (zh) 一种基于哈希学习的神经网络压缩方法及系统
CN117649568B (zh) 一种用于图像分类卷积神经网络的网络压缩方法及装置
CN117875413B (zh) 一种知识图谱本体中概念构建方法、装置、介质及设备
CN115953706B (zh) 虚拟形象处理方法及装置
CN117726760B (zh) 一种用于视频的三维人体重建模型的训练方法及装置
CN117201334B (zh) 一种多模态网络流量预测方法及装置
CN109299860A (zh) 一种数据的处理方法、装置及设备
CN117455015B (zh) 一种模型优化的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant