CN110163367A - 一种模型压缩方法和装置 - Google Patents
一种模型压缩方法和装置 Download PDFInfo
- Publication number
- CN110163367A CN110163367A CN201811150239.1A CN201811150239A CN110163367A CN 110163367 A CN110163367 A CN 110163367A CN 201811150239 A CN201811150239 A CN 201811150239A CN 110163367 A CN110163367 A CN 110163367A
- Authority
- CN
- China
- Prior art keywords
- compression
- model
- compressed
- algorithm
- algorithm component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请实施例公开了一种模型压缩方法及装置，在获取待压缩模型和针对该待压缩模型的压缩偏好配置时，可以根据待压缩模型的模型类型和压缩偏好配置确定出压缩算法组件和对应的算法超参数取值，并利用上述压缩算法组件和算法超参数取值对待压缩模型进行第一次压缩，得到第一次压缩对应的候选压缩结果。若第一次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度未满足预设条件，继续生成调参策略以调整下一次压缩所用的压缩算法组件和算法超参数取值，直到某一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件为止。不需要人工调整压缩算法，避免了人为经验带来的影响，提高了压缩效率。
Description
技术领域
本申请涉及数据处理领域，特别是涉及一种模型压缩方法和装置。
背景技术
网络模型可以部署在不同类型的处理设备上，处理设备可以通过所部署的网络模型实现特定的功能，例如图像识别，数据分类等。
然而一些情况下，在部署在处理设备之前，需要对网络模型进行压缩。一部分原因在于，一些网络模型的性能参数并不好，例如模型占用空间比较大，计算性能不高，运行速度低等，这类网络模型一般是基于人类经验设计的网络模型，或者开发经验不足的开发者所开发的网络模型。当这类网络模型部署到处理设备后不仅浪费系统资源，而且达不到相应计算性能。故需要对这类网络模型进行压缩，以优化网络模型的性能。或者，另一部分原因在于，一些需要部署网络模型的处理设备的处理能力并不高，难以支持部署高性能参数的网络模型，故需要对这类网络模型进行压缩，在不过多损失性能参数的情况下，达到能够被部署到低处理能力的处理设备中的条件。
传统的网络模型压缩方式主要依靠压缩人员的压缩经验，压缩人员需要根据自身经验，在压缩过程中基于压缩需求人工调整压缩算法的参数，严重影响压缩效率和导致不稳定的压缩精度。
发明内容
为了解决上述技术问题，本申请提供了一种模型压缩方法及装置。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供了一种模型压缩方法，所述方法包括：
获取待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数；
根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值；
根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果；
若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩；其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；
若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。
第二方面，本申请实施例提供了一种模型压缩装置，所述装置包括：
第一获取单元，用于获取待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数；
第一确定单元，用于根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值；
第一压缩单元，用于根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果；
第二压缩单元，用于若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩；其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；
压缩模型确定单元，用于若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。
第三方面，本申请实施例提供了一种用于深度学习网络的模型压缩设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行以上第一方面任一项所述的模型压缩方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行以上第一方面任一项所述的模型压缩方法。
由上述技术方案可以看出，在获取待压缩模型和针对该待压缩模型的压缩偏好配置时，可以根据待压缩模型的模型类型和压缩偏好配置确定出适用于压缩该待压缩模型、且符合压缩偏好配置的压缩算法组件和对应的算法超参数取值，接下来可以利用上述压缩算法组件和算法超参数取值对待压缩模型进行第一次压缩，得到第一次压缩对应的候选压缩结果。若第一次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度未满足预设条件，可以根据与压缩偏好配置的差距确定出针对第二次压缩的调参策略，并以此调整得到第二次压缩对应的压缩算法组件和算法超参数取值，若第二次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度仍未满足预设条件，则继续生成调参策略以调整下一次压缩所用的压缩算法组件和算法超参数取值，直到某一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件为止。由于压缩偏好配置能够标识待压缩模型被压缩后应该具有的性能参数，故可以将与压缩偏好配置较为符合的候选压缩模型作为待压缩模型对应的压缩模型。在压缩过程中，每一次压缩所采用的压缩算法组件和算法超参数取值可以通过根据上一次压缩自动生成的调参策略调整得到，不需要人工调整压缩算法，避免了人为经验带来的影响，提高了压缩效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种示例性场景示意图；
图2为本申请实施例提供的一种模型压缩方法的流程示意图；
图3为本申请实施例提供的一种得到第i次压缩对应的压缩算法组件和超参数取值的方法的流程示意图；
图4为本申请实施例提供的一种得到第i次压缩对应的候选压缩结果的方法的流程示意图；
图5为本申请实施例提供的一种示例性场景示意图；
图6为本申请实施例提供的一种获取待压缩模型的方法的流程示意图；
图7为本申请实施例提供的一种预测基本网络模型中的各个网络结构的示意图；
图8为本申请实施例提供的一种应用场景示意图；
图9为本申请实施例提供的一种模型压缩与加速模型的工作原理示意图；
图10a为本申请实施例提供的一种模型压缩装置的结构示意图；
图10b为本申请实施例提供的一种模型压缩装置的结构示意图；
图10c为本申请实施例提供的一种模型压缩装置的结构示意图；
图11为本申请实施例提供的一种模型压缩设备的结构示意图；
图12为本申请实施例提供的一种模型压缩设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有技术中，模型的压缩方式主要依靠压缩人员的压缩经验，压缩人员需要根据自身经验，在压缩过程中基于压缩需求人工调整压缩算法的参数，这种调整压缩算法的参数的方式会严重影响压缩效率和导致不稳定的压缩精度。
鉴于此，本申请实施例提供了一种模型压缩方法，在压缩过程中，每一次压缩所采用的压缩算法组件和算法超参数取值可以通过根据上一次压缩自动生成的调参策略调整得到，不需要人工调整压缩算法，避免了人为经验带来的影响，提高了压缩效率。
本申请实施例提供的模型压缩方法，可以应用于服务器，本申请实施例不具体限定所述服务器，作为一种示例，所述服务器可以为云服务器。具体地，模型压缩方法可以应用于终端侧的人工智能(Artificial Intelligence，AI)模型的设计与部署。可以理解的是，一般来讲，终端的数据处理性能有限、存储空间也有限。因此，终端侧无法支持部署高性能参数的模型，因此，需要对模型进行压缩。终端侧的AI模型开发者可以提交待压缩模型以及压缩偏好配置到云服务器，然后申请云服务器端的自动模型压缩(Auto ModelCompression，简称AutoMC)服务，由AutoMC对待压缩模型进行压缩，得到压缩后的压缩模型，并将所述压缩模型部署于终端侧。此处提及的终端，可以包括智能手机、平板电脑等移动终端，也可以包括台式计算机等终端设备，本申请实施例不做具体限定。
本申请实施例提供的模型压缩方法，可以应用于图1所示的应用场景。部署于服务器上的AutoMC服务101接收到待压缩模型和压缩偏好配置之后，根据待压缩模型的类型和所述压缩偏好配置，确定对所述待压缩模型进行压缩的压缩算法组件和各个压缩算法组件的算法超参数取值。然后基于所述第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待选压缩模型进行压缩，得到第一次压缩对应的候选压缩结果。若所述第一压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，则继续进行压缩，具体地，在后续压缩的过程中，可以对所述压缩算法组件和所述算法超参数取值进行更新，利用更新后的压缩算法组件和算法超参数取值进行压缩。
需要说明的是，本申请实施例不具体限定所述性能参数，一个模型的性能参数可以体现该模型在一个或多个方面的性能。在本申请实施例中，一个模型的性能参数，例如可以包括该模型对应的运行速度、该模型对应的计算精度、该模型所占存储空间的大小等中的任意一个或多个。在本申请实施例中，所述压缩偏好配置可以用于标识所述待压缩模型被压缩后具有的性能参数。
本申请实施例不具体限定所述压缩算法组件，所述压缩算法组件可以包括能够达到相应压缩效果的算法组件，本申请实施例中提及的压缩算法组件例如可以包括通道剪枝组件、权重稀疏化组件以及权重量化组件等任意一种或者多种组件。需要说明的是，在本申请实施例中，所述压缩算法组件还可以包含很多其它的组件，此处不再一一举例说明。
需要说明的是，压缩算法组件具有与其对应的算法超参数。在本申请实施例不具体限定所述压缩组件对应的算法超参数。举例说明，所述通道剪枝组件对应的算法超参数例如可以包括通道剪枝比例，所述权重稀疏化组件对应的算法超参数例如可以包括稀疏度，所述权重量化组件对应的算法超参数例如可以包括量化值的位数。
在本申请实施例中，在继续进行压缩的过程中，可能会包括多次压缩。在后续压缩的过程中，每次压缩之前可以先确定该次压缩对应的调参策略，然后根据该次压缩对应的调参策略，调整压缩算法组件和算法超参数取值，利用所述调整后的压缩算法组件和调整后的算法超参数取值进行压缩。第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，i为大于或者等于2的整数。
举例说明，在第二次压缩时，首先根据第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度，确定第二次压缩对应的调参策略，根据第二次压缩对应的调参策略调整压缩算法组件和算法超参数取值，并利用调整后的算法超参数取值，通过调整后的压缩算法组件对第一次压缩对应的候选压缩结果进行压缩。若第2次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，则将第二次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。若第2次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，则继续进行第三次压缩，第三次压缩的原理与第二次压缩的原理类似，此处不再赘述。
由此可见，采用本申请实施例的模型压缩方法，无需人工调参，从而避免了人为经验带来的影响，提高了压缩效率。
为了便于理解，下面通过实施例对本申请提供的信息处理方法进行介绍。
参见图2，该图为本申请实施例提供的一种模型压缩方法的流程示意图。
本申请实施例提供的模型压缩方法，例如可以通过如下S201-S205实现。
S201:获取待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数。
本申请实施例不具体限定获取待压缩模型的具体实现方式，作为一种示例，可以直接接收用户利用终端设备发送的待压缩模型和该待压缩模型对应的压缩偏好配置。作为又一种示例，可以接收用户输入的其它信息例如待训练数据以及与该待训练数据对应的压缩偏好配置，进一步地根据所述其它信息以及所述压缩偏好配置训练得到所述待压缩模型。
在本申请实施例中，所述压缩偏好配置可以是用户对待压缩模型被压缩后所能体现性能参数的期望，该期望可以与用户需求、待压缩模型的用途、应用场景、硬件环境相关。所述待压缩模型被压缩后具有的性能参数中，可以包括一种或多种参数，本申请实施例不具体限定。作为一种示例，所述待压缩模型被压缩后具有的性能参数，例如可以包括待压缩模型被压缩后的运行速度参数、计算精度参数、所占存储空间大小参数等参数中的任意一种或者多种。故服务器在获取该压缩偏好配置后，可以明确针对该待压缩模型的压缩方向。
S202:根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值。
需要说明的是，在实际应用中，由于不同类型的模型的网络结构不同，因此不同类型的模型适用的压缩算法组件不同。在压缩偏好配置相同的情况下，模型类型不同，适用的压缩算法组件也可能不同。鉴于此，在本申请实施例中，可以结合待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值。
本申请实施例不具体限定所述模型类型的划分方式。在本申请实施例的一种实现方式中，所述模型类型可以根据所述模型实现的功能来划分，例如所述模型类型可以包括“数据分类”、“图像识别”等类型。在本申请实施例的又一种实现方式中，所述模型类型也可以根据所述模型涉及的领域来划分，例如所述模型类型可以包括“医疗领域”、“计算机领域”等类型。
在本申请实施例中，S202可以有多种实现方式，以下介绍两种可能的实现方式。
在本申请实施例的一种可能的实现方式中，S202在具体实现时，可以首先根据所述模型类型，确定第一次压缩对应的压缩算法组件，然后根据所述压缩偏好配置，确定各个压缩算法组件对应的算法超参数取值。也就是说，首先根据所述模型类型，确定出可以适用于所述模型类型的压缩算法组件，然后，根据所述压缩偏好配置，进一步确定各个压缩算法组件对应的算法超参数取值。
考虑到在实际应用中，在压缩过程中，不同的压缩算法组件对待压缩模型的性能参数中的同一个参数的影响程度不同。例如，压缩算法组件“通道剪枝”和压缩算法组件“权重量化”对于待压缩模型的“计算精度”参数的影响程度不同。同一个压缩算法组件对待压缩模型的性能参数中的各个参数的影响程度不同。例如，压缩算法组件“通道剪枝”对于待压缩模型的“计算精度”参数和“运算速度”参数的影响程度不同。
鉴于此，在本申请实施例的又一种可能的实现方式中，S202在具体实现时，可以结合所述模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件，然后根据所述压缩偏好配置，确定各个压缩算法组件对应的算法超参数取值。也就是说，首先根据结合所述模型类型和所述压缩偏好配置，确定出适用于所述模型类型、且对所述压缩后的模型的性能参数影响比较大的压缩算法组件，然后，根据所述压缩偏好配置，进一步确定各个压缩算法组件对应的算法超参数取值。
S203:根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果。
在本申请实施例中，S203在具体实现时，可以采用训练的方式对所述待压缩模型进行压缩，以得到第一次压缩对应的候选压缩结果。具体地，本申请实施例不具体限定得到所述候选压缩结果的训练方式，在本申请实施例的一种实现方式中，可以基于所述第一次压缩对应的算法超参数取值结合少量数据的快速预训练的方式，得到第一次压缩对应的候选压缩结果；在本申请实施例的又一种实现方式中，可以基于所述第一次压缩对应的算法超参数取值结合大量数据的完整训练的方式，得到第一次压缩对应的候选压缩结果。
在本申请实施例中，在第一次压缩之后，可以基于第一次压缩对应的候选压缩结果继续进行压缩，直到某一次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度满足预设条件为止。
在本申请实施例中，得到第i次压缩对应的候选压缩结果的实现方式，与得到第一次压缩对应的候选压缩结果的实现方式类似。即可以基于第i次压缩对应的算法超参数取值结合少量数据的快速预训练的方式，得到第i次压缩对应的候选压缩结果；也可以基于第i次压缩对应的算法超参数取值结合大量数据的完整训练的方式，得到第i次压缩对应的候选压缩结果。
需要说明的是，在本申请实施例中，针对不同次的压缩，训练得到候选压缩结果所采用的训练方式可以相同，也可以不同，每一次压缩所采用的训练方式可以根据本次压缩的调参策略决定，也可以根据本次压缩所选择的压缩算法组件决定等。例如，若获得第i次压缩对应的候选压缩结果的训练方式为基于少量数据的预训练，则获得第j次压缩对应的候选压缩结果的训练方式可以为基于少量数据预训练，也可以为基于大量数据的完整训练。其中，j为大于或者等于2的整数，且不等于i。
需要说明的是，本申请实施例中提及的候选压缩结果，可以体现为候选压缩模型。
S204:若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩。其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的。
在本申请实施例中，所述第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度，在一定程度上可以体现为所述候选压缩结果的性能参数与所述压缩偏好配置的接近程度。若所述第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，可以表征所述第一次压缩对应的候选压缩结果的性能参数，没有达到所述压缩偏好配置标识的待压缩模型被压缩后具有的性能参数。
本申请实施例不具体限定所述预设条件，所述预设条件可以根据实际情况确定。例如，所述预设条件可以为所述符合程度大于或者等于95％。
需要说明的是，若所述压缩偏好配置对应的性能参数包括多个参数，则所述第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度，可以包括所述第一次压缩对应的候选压缩结果中各个参数与所述压缩偏好配置中对应参数的符合程度。例如：压缩偏好配置涉及“计算精度”和“运算速度”两个参数，则所述第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度，可以包括第一次压缩对应的候选压缩结果的“计算精度”参数和压缩偏好配置中“计算精度”参数的符合程度，以及第一次压缩对应的候选压缩结果的“运算速度”参数和压缩偏好配置中“运算速度”参数的符合程度。
在本申请实施例中，若所述符合程度不满足预设条件，则需要继续进行压缩。具体地，可以根据确定出的调参策略调整压缩算法和算法超参数取值进行压缩。
如前文，在继续进行压缩的过程中，可能会包括多次压缩。在后续压缩的过程中，每次压缩之前可以先确定该次压缩对应的调参策略。需要说明的是，第i次压缩对应调参策略，在一定程度上可以体现为第i次压缩的需要继续优化的性能参数，以及还可以进一步的体现出该需要继续优化的性能参数的优化幅度。例如，第i次压缩对应的调参策略可以为能够体现需要继续优化的性能参数为“计算精度”以及“计算精度”这个参数的优化幅度的策略。
在本申请实施例中，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的。第i次压缩对应的调参策略可以用于使得第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度，大于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度。
本申请实施例不具体限定基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定第i次压缩对应的调参策略的实现方式，在一种实现方式中，可以根据第i-1次压缩对应的候选压缩结果中各个参数与所述压缩偏好配置中对应参数的符合程度确定第i次压缩对应的调参策略。举例说明，压缩偏好配置涉及“计算精度”和“运算速度”两个参数，第i-1次压缩对应的候选压缩结果的“计算精度”参数和压缩偏好配置中“计算精度”参数的符合程度为98％，第i-1次压缩对应的候选压缩结果的“运算速度”参数和压缩偏好配置中“运算速度”参数的符合程度为50％，则可以确定第i次压缩对应的调参策略可以为能够表征第i次压缩需要继续优化的性能参数为“运算速度”、并且“运算速度”这个参数的优化幅度为45％的策略。
在本申请实施例中，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的。以下对S204中得到第i次压缩对应的压缩算法组件和超参数取值的方法进行介绍。
参见图3，该图为本申请实施例提供的一种得到第i次压缩对应的压缩算法组件和超参数取值的方法的流程示意图。该方法例如可以通过如下S301-S302实现。
S301:确定出符合针对第i次压缩的调参策略、且与所述模型类型相对应的压缩算法组件和待调超参数。
如前文，在压缩过程中，不同的压缩算法组件对待压缩模型的性能参数中的同一个参数的影响程度不同，同一个压缩算法组件对待压缩模型的性能参数中的各个参数的影响程度不同。而第i次压缩对应调参策略，可以体现为第i次压缩的需要继续优化的性能参数以及该需要继续优化的性能参数。因此，在本申请实施例中，可以利用所述调参策略，结合性能参数与对该性能参数影响比较大的压缩算法组件之间的对应关系，确定符合第i次压缩的调参策略的压缩算法组件。并结合所述模型类型确定第i次压缩对应的压缩算法组件。举例说明：例如，第i次压缩的调参策略指示第i次压缩需要继续优化的性能参数为“运算精度”，服务器中所能调用的压缩算法组件中对“运算精度”参数影响比较大的压缩算法组件为M和N，而基于所述模型类型判断，其中M对具有所述模型类型的模型的运算精度影响较大，则可以确定第i次压缩对应的压缩算法组件为M。
此处提及的待调超参数，是指，第i次压缩对应的压缩算法组件对应的超参数。例如，第i次压缩对应的压缩算法组件为M，则所述待调超参数为压缩算法组件M所使用的超参数。
S302:根据针对第i次压缩的调参策略调整所述待调超参数，得到第i次压缩对应的算法超参数取值。
如前文，第i次压缩对应调参策略，除了可以体现为第i次压缩的需要继续优化的性能参数之外，还可以体现该需要继续优化的性能参数的优化幅度。在本申请实施例中，可以根据所述需要继续优化的性能参数的优化幅度确定第i次压缩对应的算法超参数取值。
在本申请实施例中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果。例如，第3次的压缩对象为第2次压缩得到的候选压缩结果。也就是说，所述待压缩模型仅在第一次压缩时作为第一次压缩的压缩对象，在后续压缩过程中，不是直接对待压缩模型进行压缩，而是基于前一次压缩的候选压缩结果。
S205：若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。
可以理解的是，第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，可以表征第i次压缩对应的候选压缩结果的性能参数，达到了或者基本达到了所述压缩偏好配置标识的待压缩模型被压缩后具有的性能参数。因此，可以将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型，不再进行第i+1次压缩。
本申请实施例提供的一种模型压缩方法，在获取待压缩模型和针对该待压缩模型的压缩偏好配置时，可以根据待压缩模型的模型类型和压缩偏好配置确定出适用于压缩该待压缩模型、且符合压缩偏好配置的压缩算法组件和对应的算法超参数取值，接下来可以利用上述压缩算法组件和算法超参数取值对待压缩模型进行第一次压缩，得到第一次压缩对应的候选压缩结果。若第一次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度未满足预设条件，可以根据与压缩偏好配置的差距确定出针对第二次压缩的调参策略，并以此调整得到第二次压缩对应的压缩算法组件和算法超参数取值，若第二次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度仍未满足预设条件，则可以继续生成调参策略以调整下一次压缩所用的压缩算法组件和算法超参数取值，直到某一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件为止。由于压缩偏好配置能够标识待压缩模型被压缩后应该具有的性能参数，故可以将与压缩偏好配置较为符合的候选压缩模型作为待压缩模型对应的压缩模型。在压缩过程中，每一次压缩所采用的压缩算法组件和算法超参数取值可以通过根据上一次压缩自动生成的调参策略调整得到，不需要人工调整压缩算法，避免了人为经验带来的影响，提高了压缩效率。
本申请的发明人在研究中发现，传统技术中的模型压缩方法，往往仅采用一类压缩算法组件进行模型压缩，故而压缩效果不佳。在本申请实施例的一种可能得实现方式中，第i次压缩对应的压缩算法组件除了可以包括一类压缩算法组件外，还可以包括多类压缩算法组件。以下对在S204中，当第i次压缩对应的压缩算法组件包括多类压缩算法组件时，得到第i次压缩对应的候选压缩结果的实现方式进行介绍。
具体地，可以参见图4，该图为本申请实施例提供的一种得到第i次压缩对应的候选压缩结果的方法的流程示意图。所述方法例如可以通过如下S401-S403实现。
S401：选取第一个压缩算法组件，以及对应第一个压缩算法组件的算法超参数取值对第i-1次压缩的候选压缩结果进行压缩，得到第一压缩结果。
S402：对于未选取的压缩算法组件，继续选取压缩算法组件进行压缩；其中，第j个压缩算法组件对根据第j-1个压缩算法组件得到的压缩结果进行压缩。
S403：将最后一个选取的压缩算法组件所得到的压缩结果作为第i次压缩对应的候选压缩结果。
关于S401-S403，需要说明的是，在本申请实施例中，所述第一个压缩算法组件，可以是第i次压缩对应的多个压缩算法组件中的任意一个压缩算法组件。本申请实施例不具体限定所述若干个压缩算法组件的选取顺序，所述选取顺序可以是随机的，也可以是根据一定的规则按序选取的。其中，所述预设规则例如可以是根据第i次压缩对应的调参策略确定。
如前文，在本申请实施例中，得到第i次压缩对应的候选压缩结果的实现方式，可以是基于第i次压缩对应的算法超参数取值结合少量数据的快速预训练的方式；也可以基于第i次压缩对应的算法超参数取值结合大量数据的完整训练的方式。
在本申请实施例中，得到利用一个压缩算法组件进行压缩对应的压缩结果，相应的也可以有两种实现方式。在一种可能的实现方式中，可以利用该算法压缩组件的算法超参数取值结合少量数据的快速预训练的方式，得到利用该压缩算法组件进行压缩对应的压缩结果；在又一种可能的实现方式中，可以利用该算法压缩组件的算法超参数取值结合大量数据的完整训练的方式，得到利用该压缩算法组件进行压缩对应的压缩结果。
需要说明的是，在本申请实施例中，在第i次压缩中，针对选取的不同的压缩算法组件，例如第m次选取的压缩算法组件和第n次选取的压缩算法组件(为方便描述，以下将“第m次选取的压缩算法组件”称为第一压缩算法组件；将“第n次选取的压缩算法组件”称为第二压缩算法组件)，得到利用第一压缩算法组件进行压缩对应的压缩结果的实现方式，和得到利用第二压缩算法组件进行压缩对应的压缩结果的实现方式，可以相同，也可以不同，本申请实施例不具体限定。例如，若得到利用第一压缩算法组件进行压缩对应的压缩结果的实现方式为基于少量数据的预训练，则得到利用第二压缩算法组件进行压缩对应的压缩结果的实现方式可以为基于少量数据预训练，也可以为基于大量数据的完整训练。其中，m和n均为正整数，且m不等于n。
除了在第i次压缩中可以针对多个压缩算法组件进行上述的依次选取压缩的方式，若通过S202确定第一次压缩对应的压缩算法组件包括多类压缩算法组件，在S203中同样可以适用，这里不再一一赘述。
可见，在本申请实施例中，针对任意一次压缩例如第i次压缩，可以结合多类压缩算法组件进行压缩，有效的利用了不同种类压缩算法组件的压缩优势，增强了对待压缩模型的压缩能力，且能更好的满足用户的不同压缩偏好，从而扩大了本申请实施例的压缩适用范围。
而且，针对任意一次压缩例如第i次压缩，即使对应的压缩算法组件包括多类，在本申请实施例中采用的也是并行压缩的方式。即针对待压缩模型，并不是采用一类压缩算法组件迭代多个轮次完全压缩完成后，再采用另一类压缩算法组件继续迭代多个轮次进行压缩。而是在任意一次压缩中，就已经依次选取不同种类的压缩算法组件对候选压缩结果进行了压缩。这样仅需进行一个多伦次迭代就能对待压缩模型实施多个种类压缩算法组件的压缩，提高了压缩效率和优化了压缩效果。
如前文，第i次压缩对应的调参策略，在一定程度上可以体现为第i次压缩需要继续优化的性能参数以及该需要继续优化的性能参数的优化幅度，可以根据第i次压缩对应的调参策略调整第i次压缩对应的压缩算法组件和算法超参数取值。在本申请实施例中，针对S204提供了一种可能的实现方式，第i次压缩对应的压缩算法组件和算法超参数取值可以是根据强化学习控制器模型和/或自动机器学习模型对第i次压缩的调参策略确定得到的。
具体地，可结合图5进行理解。该图为本申请实施例提供的一种示例性场景示意图。
若第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型501对第i次压缩的调参策略确定得到的，则第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的奖励信号(Reward)。可以理解的是，Reward在一定程度上可以体现第i次压缩的需要继续优化的性能参数以及该需要继续优化的性能参数的优化幅度。强化学习控制器501可以根据Reward，确定出第i次压缩对应的压缩算法组件和超参数取值，具体地，强化学习控制器501可以利用Actor-Critic算法确定出第i次压缩对应的压缩算法组件和超参数取值(图5中所示的Action即表示强化学习控制器501确定的第i次压缩对应的压缩算法组件和超参数取值)。
若第i次压缩对应的压缩算法组件和算法超参数取值是根据自动机器学习模型502对第i次压缩的调参策略确定得到的，则第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的输入输出数据组(图5中未示出)。可以理解的是，所述输入输出数据组在一定程度上可以体现第i次压缩的需要继续优化的性能参数以及该需要继续优化的性能参数的优化幅度。自动机器学习模型502根据所述输入输出数据组，确定出第i次压缩对应的压缩算法组件和超参数取值。
需要说明的是，虽然图5所示的压缩算法组件仅包括“通道剪枝”、“权重稀疏化”和“权重量化”，但这仅是为方便理解而示出，并不构成对本申请实施例的限定。
在本申请实施例中，在前述图5所对应实施例的基础上，由于第i次压缩对应的压缩算法组件和算法超参数取值可以是根据强化学习控制器模型和/或自动机器学习模型对第i次压缩的调参策略确定得到的。而强化学习控制器模型和/或自动机器学习模型是通过自身模型的模型参数作为确定第i次压缩对应的压缩算法组件和算法超参数取值的计算依据。故为了进一步提升模型压缩过程中的调参精度，在确定第i次压缩的调参策略之后，还可以根据该调参策略调整所述强化学习控制器模型和/或自动机器学习模型中用于确定算法超参数取值的模型参数。
具体地，若第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型确定得到的，则可以根据前述奖励信号调整所述强化学习控制器模型的参数，对所述强化学习控制器模型的参数进行调整例如可以包括对强化学习算法例如Actor-Critic算法中的网络模型参数进行调整。若第i次压缩对应的压缩算法组件和算法超参数取值是根据自动机器学习模型确定得到的，则可以根据前述输入输出数据组调整所述自动机器学习模型的参数，对所述自动机器学习模型的参数进行调整例如可以包括对遗传编程(简称GP)算法中对于超参数空间的估计模型进行调整，例如可以包括对TPE(英文全称：Tree of Parzen Estimators)算法中对于超参数空间的估计模型进行调整。
接下来介绍S201中待压缩模型的可能获取方式，本申请实施例提供了多种可能的实现方式。
例如，该待压缩模型可以是基于服务器提供的多个基本模型之一训练得到，用户根据自身需求从该多个基本模型中选择对应的基本模型，用户还可以提供符合自身需求的训练数据，通过用户所提供的训练数据训练用户选择的基本模型后，得到S201中的待压缩模型。
又例如，由于服务器提供的多个基本模型可能不能满足用户的自身需求，故用户还可以提供符合自身需求的训练数据，以及符合本申请实施例接口规范的模型训练与评估代码。服务器可以根据用户提供的模型训练与评估代码构建模型，并通过用户提供的训练数据进行训练得到S201中的待压缩模型。
除了以上的获取方式以外，本申请实施例还提供了一种待压缩模型的可能获取方式，接下来对这一方式进行详细说明。
参见图6，该图为本申请实施例提供的一种获取待压缩模型的方法的流程示意图。该方法例如可以通过如下S601-S603实现，以得到S201的待压缩模型。
S601：获取训练数据、所述模型类型和所述压缩偏好配置。
此处提及的训练数据，用于训练所述待压缩模型，本申请实施例不具体限定所述训练数据，所述训练数据例如可以为携带标签的数据。
S602：根据所述模型类型和所述压缩偏好配置在搜索空间中搜索，确定出对应所述模型类型和所述压缩偏好配置的基本网络模型。
S603：根据所述训练数据训练所述基本网络模型，得到所述待压缩模型。
关于S602和S603，需要说明的是，所述搜索空间中包括若干个基础模块，这些基础模块之间互相组合可以用于构成基本网络模型。在本申请实施例中，可以利用一个控制器例如循环神经网络(Recurrent Neural Network，RNN)控制器，在所述搜索空间中搜索，以确定出符合所述模型类型和所述压缩偏好配置的基础模块组合，进一步地得到所述基本网络模型。
在确定出所述基本网络模型之后，可以基于所述训练数据对所述基本网络模型进行训练，以确定所述基本网络模型中的参数，从而得到所述待压缩模型。
考虑到神经网络是层级结构，故而可以将网络结构生成建模成一个序列问题，即按层去预测网络结构。因此，在本申请实施例中，S603在具体实现时，可以通过循环神经网络以所述训练数据训练所述基本网络模型，得到所述待压缩模型。具体地，在训练过程中，可以按照循环神经网络的层级结构依次预测所述基本网络模型中的各个网络结构。可以结合图7进行理解，以循环神经网络为只有卷积层的卷积神经网络为例说明，卷积神经网络700包括多个卷积层，每个卷积层包括5个参数，具体为：卷积核数目、卷积核高度、卷积核宽度、卷积核stride高度和卷积核stride宽度，在利用训练数据训练所述基本网络模型(即所述卷积神经网络模型)时，可以逐层预测各个卷基层的各个参数，如图7所示，先预测第N-1层(即图7中Layer N-1)的各个参数，然后预测第N层(即图7中Layer N)的各个参数，再预测第N+1层(即图7中Layer N+1)的各个参数，以得到最后的待训练模型。
由此可见，图6所述的获得待压缩模型的方法，可以为用户定制符合用户需求的待压缩模型，无需用户自己设计待压缩模型的网络结构，而用户自己设计待压缩模型的网络结构往往需要耗费大量的时间，一般设计一个比较好的待压缩模型的网络结构要耗费行业内顶级专家一年的时间。采用图6所示的方法，获得待压缩模型的过程可以自动化进行，并且可以快速的得到符合用户需求的待压缩模型，有效缩短了获得待压缩模型的时间，提升了获得待压缩模型的效率。
以上对本申请实施例提供的模型压缩方法进行了介绍，以下结合具体场景介绍该模型压缩方法。
参见图8，该图为本申请实施例提供的一种应用场景示意图。其中，模型压缩方法应用于所述自动模型压缩框架800中，所述自动模型框架包括两个模块，分别为精简网络设计模块801和模型压缩与加速模块802。用户例如移动端模型开发人员可以向所述自动模型压缩框架800提供用户数据和压缩偏好。所述用户数据即为上文提及的训练数据，所述压缩偏好即为上文提及的压缩偏好配置。所述自动模型压缩框架800中的精简网络设计模块801执行以上图6所述的方法，从而根据所述用户数据和压缩偏好，得到待压缩模型。然后所述模型压缩与加速模块802可以执行以上图1至图5所述的方法，对所述待压缩模型进行压缩，得到压缩高效模型803，从而部署在移动端804上。
以下以待压缩模型为卷积神经网络模型为例，介绍模型压缩与加速模块802的工作原理。参见图9，该图为模型压缩与加速模型802的工作原理示意图。
如图9所示，所述模型压缩与加速模型的输入为原始精简模型901(即前文所述的待压缩模型)和压缩偏好配置902。在压缩过程中，由超参数优化器903确定压缩算法组件和超参数取值，所述超参数优化器可以包括上文提及的强化学习控制器模型和/或自动机器学习模型。
如图9所示，超参数优化器903确定的压缩算法组件包括基于单个元素的权重剪枝、基于卷积Fliter的权重剪枝和权重定点量化这三类压缩算法组件，然后利用这三类压缩算法组件压缩得到候选模型904。关于利用图9所示的三类压缩算法组件压缩得到候选模型904的实现方式，可以参考以上图4所述的描述部分，此处不再赘述。
若所述候选模型904的性能参数与所述压缩配置的符合程度满足预设条件，则将所述候选模型作为所述原始精简模型901的压缩模型。若所述候选模型904的性能参数与所述压缩配置的符合程度不满足预设条件，则根据所述候选模型904的性能参数与所述压缩配置的符合程度，确定下一次压缩对应的调参策略，以使得超参数优化器903根据所述调参策略确定下一次压缩对应的压缩算法组件和算法超参数取值(即图9所示的超参选择)，并利用下一次压缩对应的压缩算法组件和算法超参数取值对所述候选模型904进行压缩，如此经过多次压缩，直至压缩得到的候选模型的性能参数与所述压缩配置的符合程度满足预设条件，确定出压缩模型为止。
需要说明的是，虽然图9示出的与卷积神经网络模型对应的压缩算法组件包括三类，但这仅是为了便于理解而示出，并不构成对本申请实施例的限定。
需要说明的是，考虑到在实际应用中，用户提出的压缩偏好配置可能并不合理或者并不切合实际，故对于这种情况，无论进行多少轮压缩，也无法得到满足用户提出的压缩偏好配置的压缩模型。鉴于此，在本申请实施例中，在执行S201之前，即在对待压缩模型进行压缩之前，还可以检测压缩偏好配置的合理性，若所述压缩偏好配置不合理，则可以提示用户修改压缩偏好配置，从而避免上述情况的发生。对于检测压缩偏好配置的合理性的具体实现，本申请实施例不做具体限定。
基于前述实施例提供的一种模型压缩方法，本实施例提供一种用模型压缩装置1000，参见图10a，所述装置1000包括第一获取单元1001、第一确定单元1002、第一压缩单元1003、第二压缩单元1004和第二确定单元1005。
第一获取单元1001，用于获取待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数；
第一确定单元1002，用于根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值；
第一压缩单元1003，用于根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果；
第二压缩单元1004，用于若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩；其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；
第二确定单元1005，用于若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。
可选的，第i次压缩对应的压缩算法组件包括至少一类压缩算法组件；
其中，若第i次压缩对应的压缩算法组件包括多类压缩算法组件，第i次压缩对应的候选压缩结果通过下列方式得到：
选取第一个压缩算法组件，以及对应第一个压缩算法组件的算法超参数取值对第i-1次压缩的候选压缩结果进行压缩，得到第一压缩结果；
对于未选取的压缩算法组件，继续选取压缩算法组件进行压缩；其中，第j个压缩算法组件对根据第j-1个压缩算法组件得到的压缩结果进行压缩；
将最后一个选取的压缩算法组件所得到的压缩结果作为第i次压缩对应的候选压缩结果。
可选的，第i次压缩对应的压缩算法组件和算法超参数取值根据下列方式得到：
确定出符合针对第i次压缩的调参策略、且与所述模型类型相对应的压缩算法组件和待调超参数；
根据针对第i次压缩的调参策略调整所述待调超参数，得到第i次压缩对应的算法超参数取值。
可选的，第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型和/或自动机器学习模型对第i次压缩的调参策略确定得到的；
其中，若第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的奖励信号；
若第i次压缩对应的压缩算法组件和算法超参数取值是根据自动机器学习模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的输入输出数据组。
在一种可能的实现方式中，参见图10b，所述装置1000还包括：第三确定单元1006。
第三确定单元1006，用于根据第i次压缩的调参策略调整所述强化学习控制器模型和/或自动机器学习模型中用于确定算法超参数取值的模型参数。
在一种可能的实现方式中，参见图10c，所述装置1000还包括：第二获取单元1007、第四确定单元1008和训练单元1009。
第二获取单元1007，用于获取训练数据、所述模型类型和所述压缩偏好配置；
第四确定单元1008，用于根据所述模型类型和所述压缩偏好配置在搜索空间中搜索，确定出对应所述模型类型和所述压缩偏好配置的基本网络模型；
训练单元1009，用于根据所述训练数据训练所述基本网络模型，得到所述待压缩模型。
可选的，所述训练单元1009，具体用于：
通过循环神经网络以所述训练数据训练所述基本网络模型，得到所述待压缩模型；在训练过程中，按照循环神经网络的层级结构依次预测所述基本网络模型中的各个网络结构。
由上述技术方案可以看出，在获取待压缩模型和针对该待压缩模型的压缩偏好配置时，可以根据待压缩模型的模型类型和压缩偏好配置确定出适用于压缩该待压缩模型、且符合压缩偏好配置的压缩算法组件和对应的算法超参数取值，接下来可以利用上述压缩算法组件和算法超参数取值对待压缩模型进行第一次压缩，得到第一次压缩对应的候选压缩结果。若第一次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度未满足预设条件，可以根据与压缩偏好配置的差距确定出针对第二次压缩的调参策略，并以此调整得到第二次压缩对应的压缩算法组件和算法超参数取值，若第二次压缩对应的候选压缩结果的性能参数与压缩偏好配置的符合程度仍未满足预设条件，则继续生成调参策略以调整下一次压缩所用的压缩算法组件和算法超参数取值，直到某一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件为止。由于压缩偏好配置能够标识待压缩模型被压缩后应该具有的性能参数，故可以将与压缩偏好配置较为符合的候选压缩模型作为待压缩模型对应的压缩模型。在压缩过程中，每一次压缩所采用的压缩算法组件和算法超参数取值可以通过根据上一次压缩自动生成的调参策略调整得到，不需要人工调整压缩算法，避免了人为经验带来的影响，提高了压缩效率。
本申请实施例还提供了一种模型压缩设备，下面结合附图对模型压缩设备进行介绍。请参见图11所示，本申请实施例提供了一种模型压缩设备1100，该设备1100可以是服务器，可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在模型压缩1100上执行存储介质1130中的一系列指令操作。
模型压缩设备1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器结构。
其中，CPU 1122用于执行如下步骤：
获取待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数；
根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值；
根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果；
若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩；其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；
若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。
请参见图12所示，本申请实施例提供了一种模型压缩设备1200，该设备1200还可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理(Personal DigitalAssistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意终端设备，以终端设备为手机为例：
图12示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图12，手机包括：射频(Radio Frequency，简称RF)电路1210、存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、无线保真(wireless fidelity，简称WiFi)模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解，图12中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图12对手机的各个构成部件进行具体的介绍：
RF电路1210可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1280处理；另外，将设计上行的数据发送给基站。通常，RF电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器1220可用于存储软件程序以及模块，处理器1280通过运行存储在存储器1220的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1230可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1230可包括触控面板1231以及其他输入设备1232。触控面板1231，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上或在触控面板1231附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1280，并能接收处理器1280发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231，输入单元1230还可以包括其他输入设备1232。具体地，其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1240可包括显示面板1241，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1241。进一步的，触控面板1231可覆盖显示面板1241，当触控面板1231检测到在其上或附近的触摸操作后，传送给处理器1280以确定触摸事件的类型，随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。虽然在图12中，触控面板1231与显示面板1241是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1231与显示面板1241集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1250，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1241和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1260、扬声器1261，传声器1262可提供用户与手机之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号，传输到扬声器1261，由扬声器1261转换为声音信号输出；另一方面，传声器1262将收集的声音信号转换为电信号，由音频电路1260接收后转换为音频数据，再将音频数据输出处理器1280处理后，经RF电路1210以发送给比如另一手机，或者将音频数据输出至存储器1220以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1270，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1280是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1220内的软件程序和/或模块，以及调用存储在存储器1220内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1280可包括一个或多个处理单元；优选的，处理器1280可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1280中。
手机还包括给各个部件供电的电源1290(比如电池)，优选的，电源可以通过电源管理系统与处理器1280逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种模型压缩方法中的任意一种实施方式。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-onlymemory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (15)
1.一种模型压缩方法，其特征在于，所述方法包括：
获取待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数；
根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值；
根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果；
若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩；其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；
若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。
2.根据权利要求1所述的方法，其特征在于，第i次压缩对应的压缩算法组件包括至少一类压缩算法组件；
其中，若第i次压缩对应的压缩算法组件包括多类压缩算法组件，第i次压缩对应的候选压缩结果通过下列方式得到：
选取第一个压缩算法组件，以及对应第一个压缩算法组件的算法超参数取值对第i-1次压缩的候选压缩结果进行压缩，得到第一压缩结果；
对于未选取的压缩算法组件，继续选取压缩算法组件进行压缩；其中，第j个压缩算法组件对根据第j-1个压缩算法组件得到的压缩结果进行压缩；
将最后一个选取的压缩算法组件所得到的压缩结果作为第i次压缩对应的候选压缩结果。
3.根据权利要求1所述的方法，其特征在于，第i次压缩对应的压缩算法组件和算法超参数取值根据下列方式得到：
确定出符合针对第i次压缩的调参策略、且与所述模型类型相对应的压缩算法组件和待调超参数；
根据针对第i次压缩的调参策略调整所述待调超参数，得到第i次压缩对应的算法超参数取值。
4.根据权利要求1-3任意一项所述的方法，其特征在于，第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型和/或自动机器学习模型对第i次压缩的调参策略确定得到的；
其中，若第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的奖励信号；
若第i次压缩对应的压缩算法组件和算法超参数取值是根据自动机器学习模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的输入输出数据组。
5.根据权利要求4所述的方法，其特征在于，在确定出针对第i次压缩的调参策略之后，所述方法还包括：
根据第i次压缩的调参策略调整所述强化学习控制器模型和/或自动机器学习模型中用于确定算法超参数取值的模型参数。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练数据、所述模型类型和所述压缩偏好配置；
根据所述模型类型和所述压缩偏好配置在搜索空间中搜索，确定出对应所述模型类型和所述压缩偏好配置的基本网络模型；
根据所述训练数据训练所述基本网络模型，得到所述待压缩模型。
7.根据权利要求6所述的方法，其特征在于，所述根据所述训练数据训练所述基本网络模型，得到所述待压缩模型，包括：
通过循环神经网络以所述训练数据训练所述基本网络模型，得到所述待压缩模型；在训练过程中，按照循环神经网络的层级结构依次预测所述基本网络模型中的各个网络结构。
8.一种模型压缩装置，其特征在于，所述装置包括：
第一获取单元，用于获取待压缩模型和压缩偏好配置，所述压缩偏好配置用于标识所述待压缩模型被压缩后具有的性能参数；
第一确定单元，用于根据所述待压缩模型的模型类型和所述压缩偏好配置，确定第一次压缩对应的压缩算法组件和算法超参数取值；
第一压缩单元，用于根据第一次压缩对应的算法超参数取值，通过第一次压缩对应的压缩算法组件对所述待压缩模型进行压缩，得到第一次压缩对应的候选压缩结果；
第二压缩单元，用于若第一次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度不满足预设条件，根据确定出的调参策略调整压缩算法组件和算法超参数取值继续进行压缩；其中，第i次压缩的压缩对象为第i-1次压缩得到的候选压缩结果，第i次压缩对应的压缩算法组件和算法超参数取值是根据第i次压缩对应的调参策略调整得到的，第i次压缩对应的调参策略是基于第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度确定的；
压缩模型确定单元，用于若第i次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度满足预设条件，将第i次压缩对应的候选压缩结果作为所述待压缩模型的压缩模型。
9.根据权利要求8所述的装置，其特征在于，第i次压缩对应的压缩算法组件包括至少一类压缩算法组件；
其中，若第i次压缩对应的压缩算法组件包括多类压缩算法组件，第i次压缩对应的候选压缩结果通过下列方式得到：
选取第一个压缩算法组件，以及对应第一个压缩算法组件的算法超参数取值对第i-1次压缩的候选压缩结果进行压缩，得到第一压缩结果；
对于未选取的压缩算法组件，继续选取压缩算法组件进行压缩；其中，第j个压缩算法组件对根据第j-1个压缩算法组件得到的压缩结果进行压缩；
将最后一个选取的压缩算法组件所得到的压缩结果作为第i次压缩对应的候选压缩结果。
10.根据权利要求8所述的装置，其特征在于，第i次压缩对应的压缩算法组件和算法超参数取值根据下列方式得到：
确定出符合针对第i次压缩的调参策略、且与所述模型类型相对应的压缩算法组件和待调超参数；
根据针对第i次压缩的调参策略调整所述待调超参数，得到第i次压缩对应的算法超参数取值。
11.根据权利要求8-10任意一项所述的装置，其特征在于，第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型和/或自动机器学习模型对第i次压缩的调参策略确定得到的；
其中，若第i次压缩对应的压缩算法组件和算法超参数取值是根据强化学习控制器模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的奖励信号；
若第i次压缩对应的压缩算法组件和算法超参数取值是根据自动机器学习模型对第i次压缩的调参策略确定得到的，第i次压缩的调参策略包括第i-1次压缩对应的候选压缩结果的性能参数与所述压缩偏好配置的符合程度计算出的输入输出数据组。
12.根据权利要求10所述的装置，其特征在于，在确定出针对第i次压缩的调参策略之后，所述装置还包括：
模型参数确定单元，用于根据第i次压缩的调参策略调整所述强化学习控制器模型和/或自动机器学习模型中用于确定算法超参数取值的模型参数。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取训练数据、所述模型类型和所述压缩偏好配置；
第二确定单元，用于根据所述模型类型和所述压缩偏好配置在搜索空间中搜索，确定出对应所述模型类型和所述压缩偏好配置的基本网络模型；
训练单元，用于根据所述训练数据训练所述基本网络模型，得到所述待压缩模型。
14.根据权利要求13所述的装置，其特征在于，所述训练单元，具体用于：
通过循环神经网络以所述训练数据训练所述基本网络模型，得到所述待压缩模型；在训练过程中，按照循环神经网络的层级结构依次预测所述基本网络模型中的各个网络结构。
15.一种用于深度学习网络的模型压缩设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的模型压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811150239.1A CN110163367B (zh) | 2018-09-29 | 2018-09-29 | 一种终端部署方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811150239.1A CN110163367B (zh) | 2018-09-29 | 2018-09-29 | 一种终端部署方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163367A true CN110163367A (zh) | 2019-08-23 |
| CN110163367B CN110163367B (zh) | 2023-04-07 |
Family
ID=67645091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811150239.1A Active CN110163367B (zh) | 2018-09-29 | 2018-09-29 | 一种终端部署方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163367B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221267A (zh) * | 2020-01-21 | 2020-06-02 | 东华大学 | 一种碳纤维凝固浴过程控制仿真方法 |
| CN111340219A (zh) * | 2020-02-25 | 2020-06-26 | 北京百度网讯科技有限公司 | 神经网络模型搜索方法及装置、图像处理方法及处理器 |
| CN111582476A (zh) * | 2020-05-09 | 2020-08-25 | 北京百度网讯科技有限公司 | 自动量化策略搜索方法、装置、设备以及存储介质 |
| CN112269769A (zh) * | 2020-11-18 | 2021-01-26 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
| CN112950221A (zh) * | 2021-03-26 | 2021-06-11 | 支付宝(杭州)信息技术有限公司 | 建立风控模型的方法和装置以及风险控制方法和装置 |
| WO2021179631A1 (zh) * | 2020-09-23 | 2021-09-16 | 平安科技（深圳）有限公司 | 卷积神经网络模型压缩方法、装置、设备及存储介质 |
| CN113435585A (zh) * | 2021-07-15 | 2021-09-24 | 支付宝(杭州)信息技术有限公司 | 一种业务处理方法、装置及设备 |
| CN113555008A (zh) * | 2020-04-17 | 2021-10-26 | 阿里巴巴集团控股有限公司 | 一种针对模型的调参方法及装置 |
| CN113657592A (zh) * | 2021-07-29 | 2021-11-16 | 中国科学院软件研究所 | 一种软件定义卫星自适应剪枝模型压缩方法 |
| WO2022012123A1 (zh) * | 2020-07-17 | 2022-01-20 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| EP3945471A1 (en) | 2020-07-28 | 2022-02-02 | Siemens Aktiengesellschaft | Method for automated determination of a model compression technique for compression of an artificial intelligence-based model |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102594360A (zh) * | 2012-02-01 | 2012-07-18 | 浪潮(北京)电子信息产业有限公司 | 一种计算机数据压缩方法及装置 |
| CN104348490A (zh) * | 2014-11-14 | 2015-02-11 | 北京东方国信科技股份有限公司 | 一种基于效果优选的组合数据压缩算法 |
| CN107172886A (zh) * | 2015-12-29 | 2017-09-15 | 华为技术有限公司 | 一种服务器以及服务器压缩数据的方法 |
| WO2018107414A1 (zh) * | 2016-12-15 | 2018-06-21 | 上海寒武纪信息科技有限公司 | 压缩/解压缩神经网络模型的装置、设备和方法 |
-
2018
- 2018-09-29 CN CN201811150239.1A patent/CN110163367B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102594360A (zh) * | 2012-02-01 | 2012-07-18 | 浪潮(北京)电子信息产业有限公司 | 一种计算机数据压缩方法及装置 |
| CN104348490A (zh) * | 2014-11-14 | 2015-02-11 | 北京东方国信科技股份有限公司 | 一种基于效果优选的组合数据压缩算法 |
| CN107172886A (zh) * | 2015-12-29 | 2017-09-15 | 华为技术有限公司 | 一种服务器以及服务器压缩数据的方法 |
| WO2018107414A1 (zh) * | 2016-12-15 | 2018-06-21 | 上海寒武纪信息科技有限公司 | 压缩/解压缩神经网络模型的装置、设备和方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王磊 等: "面向嵌入式应用的深度神经网络模型压缩技术综述" * |
| 雷杰 等: "深度网络模型压缩综述" * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111221267A (zh) * | 2020-01-21 | 2020-06-02 | 东华大学 | 一种碳纤维凝固浴过程控制仿真方法 |
| CN111340219A (zh) * | 2020-02-25 | 2020-06-26 | 北京百度网讯科技有限公司 | 神经网络模型搜索方法及装置、图像处理方法及处理器 |
| CN113555008A (zh) * | 2020-04-17 | 2021-10-26 | 阿里巴巴集团控股有限公司 | 一种针对模型的调参方法及装置 |
| CN111582476A (zh) * | 2020-05-09 | 2020-08-25 | 北京百度网讯科技有限公司 | 自动量化策略搜索方法、装置、设备以及存储介质 |
| WO2022012123A1 (zh) * | 2020-07-17 | 2022-01-20 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| WO2022023022A1 (en) | 2020-07-28 | 2022-02-03 | Siemens Aktiengesellschaft | Method for automated determination of a model compression technique for compression of an artificial intelligence-based model |
| EP3945471A1 (en) | 2020-07-28 | 2022-02-02 | Siemens Aktiengesellschaft | Method for automated determination of a model compression technique for compression of an artificial intelligence-based model |
| WO2021179631A1 (zh) * | 2020-09-23 | 2021-09-16 | 平安科技（深圳）有限公司 | 卷积神经网络模型压缩方法、装置、设备及存储介质 |
| CN112269769A (zh) * | 2020-11-18 | 2021-01-26 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
| CN112269769B (zh) * | 2020-11-18 | 2023-12-05 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
| CN112950221A (zh) * | 2021-03-26 | 2021-06-11 | 支付宝(杭州)信息技术有限公司 | 建立风控模型的方法和装置以及风险控制方法和装置 |
| CN113435585A (zh) * | 2021-07-15 | 2021-09-24 | 支付宝(杭州)信息技术有限公司 | 一种业务处理方法、装置及设备 |
| CN113435585B (zh) * | 2021-07-15 | 2023-03-10 | 支付宝(杭州)信息技术有限公司 | 一种业务处理方法、装置及设备 |
| CN113657592A (zh) * | 2021-07-29 | 2021-11-16 | 中国科学院软件研究所 | 一种软件定义卫星自适应剪枝模型压缩方法 |
| CN113657592B (zh) * | 2021-07-29 | 2024-03-05 | 中国科学院软件研究所 | 一种软件定义卫星自适应剪枝模型压缩方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163367B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163367A (zh) | 一种模型压缩方法和装置 | |
| CN109241431A (zh) | 一种资源推荐方法和装置 | |
| CN110009052A (zh) | 一种图像识别的方法、图像识别模型训练的方法及装置 | |
| CN109412900A (zh) | 一种网络状态识别的方法、模型训练的方法及装置 | |
| US11103162B2 (en) | Method, apparatus and computer program product for activity recognition | |
| CN110163342B (zh) | 一种模型压缩方法、装置、设备及存储介质 | |
| CN109918684A (zh) | 模型训练方法、翻译方法、相关装置、设备及存储介质 | |
| CN104239535A (zh) | 一种为文字配图的方法、服务器、终端及系统 | |
| CN113284142B (zh) | 图像检测方法、装置、计算机可读存储介质及计算机设备 | |
| CN109670174A (zh) | 一种事件识别模型的训练方法和装置 | |
| CN110163045A (zh) | 一种手势动作的识别方法、装置以及设备 | |
| CN109992367A (zh) | 应用处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110334124A (zh) | 压缩算法选择方法、装置以及设备 | |
| CN109550249A (zh) | 一种目标对象的控制方法以及相关装置 | |
| CN105447583A (zh) | 一种预测用户离网的方法及装置 | |
| CN110210605A (zh) | 硬件算子匹配方法及相关产品 | |
| CN109376781A (zh) | 一种图像识别模型的训练方法、图像识别方法和相关装置 | |
| CN110287466A (zh) | 一种实体模板生成方法和装置 | |
| CN110162603A (zh) | 一种智能对话方法、动态存储方法和装置 | |
| CN113723159A (zh) | 场景识别模型训练方法、场景识别方法及模型训练装置 | |
| CN113704008A (zh) | 一种异常检测方法、问题诊断方法和相关产品 | |
| CN112748899A (zh) | 一种数据处理方法和相关设备 | |
| CN110443852A (zh) | 一种图像定位的方法及相关装置 | |
| CN109544241A (zh) | 一种点击率预估模型的构建方法、点击率预估方法和装置 | |
| CN109284783A (zh) | 基于机器学习的大礼拜计数方法、装置、用户设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |