CN112132279B - 卷积神经网络模型压缩方法、装置、设备及存储介质 - Google Patents

卷积神经网络模型压缩方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112132279B
CN112132279B CN202011007742.9A CN202011007742A CN112132279B CN 112132279 B CN112132279 B CN 112132279B CN 202011007742 A CN202011007742 A CN 202011007742A CN 112132279 B CN112132279 B CN 112132279B
Authority
CN
China
Prior art keywords
model
neural network
convolutional neural
alternative
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011007742.9A
Other languages
English (en)
Other versions
CN112132279A (zh
Inventor
刘杰
王健宗
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011007742.9A priority Critical patent/CN112132279B/zh
Priority to PCT/CN2020/124667 priority patent/WO2021179631A1/zh
Publication of CN112132279A publication Critical patent/CN112132279A/zh
Application granted granted Critical
Publication of CN112132279B publication Critical patent/CN112132279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Telephone Function (AREA)

Abstract

本发明涉及人工智能技术领域，公开了卷积神经网络模型压缩方法、装置、设备及存储介质。该方法包括：对应用程序中的原始卷积神经网络模型进行复制，得到N个备选模型Mi；对各备选模型Mi的任意两层卷积核进行压缩并进行训练，得到调整后的备选模型Mi，并选择性能损失最少的最优备选模型Mk以运行该应用程序，得到移动终端的当前内部环境参数，并将满足预置的资源条件的最优备选模型Mk作为压缩后的卷积神经网络模型；否则将最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，重新进行压缩。本发明还涉及区块链技术，所述原始卷积神经网络模型存储于区块链中。本发明实现了卷积神经网络模型自动适配移动终端进行压缩。

Description

卷积神经网络模型压缩方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种卷积神经网络模型压缩方法、装置、设备及存储介质。
背景技术
在移动互联网时代，人们越来越依赖手机、平板电脑等移动设备来获取、使用和产生信息，特别是在4G和5G网络的普及后，人们在移动端对数字多媒体信息的需求也从纯文字逐渐进化到了图像和视频，越来越多的人使用移动端设备来处理图像和视频数据。而卷积神经网络模型(Convolutional Neural Network,CNN)已经发展成为计算机视觉任务的最先进技术之一，为图像与视频在移动设备上的处理提供了便利。
目前，实现模型轻量化的主要手段仍然是人工设计轻量化神经网络模型，这种方法依赖于研究人员的经验，且难以确定具体的压缩指标；而在训练过程中，亦需进行多次的模型迭代压缩，才能得到满足移动端性能的压缩模型。故现有卷积神经网络模型压缩方法存在无法自动适配移动终端的问题。
发明内容
本发明的主要目的在于解决现有卷积神经网络模型压缩方法存在无法自动适配移动终端的技术问题。
本发明第一方面提供了一种卷积神经网络模型压缩方法，包括：
S1、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
S2、对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
S3、依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
S4、从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
S5、运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
S6、判断当前内部环境参数是否满足预置的资源条件；
S7、若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行S8；
S8、将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并执行S2-S7。
可选的，在本发明第一方面的第一种实现方式中，所述依序对所述各备选模型Mi的任意两层卷积核进行压缩包括：
选取所述各备选模型Mi中的第i层卷积层，并对所述第i层卷积层中的各卷积核进行压缩；
选取所述各备选模型Mi中的第j层卷积层，并从所述第j层卷积层中选择一个或多个卷积核进行剔除，其中所述j取1到N的正整数，且j≠i；
可选的，在本发明第一方面的第二种实现方式中，所述对所述第i层卷积层中的各卷积核进行压缩包括：
统计所述第i卷积层中各卷积核的预设训练参数，得到对应的参数矩阵；
计算所述各训练参数的参数绝对值，并根据所述参数绝对值的大小顺序，对所述各训练参数进行排列；
从所述各参数矩阵中选取一个或多个排序靠后的训练参数进行置零。
可选的，在本发明第一方面的第三种实现方式中，所述从所述第j层卷积层中选择一个或多个卷积核进行剔除包括：
获取网络输出误差，并分别计算所述第j卷积层中各卷积核相对于所述网络输出误差的贡献值；
根据所述贡献值的大小顺序，对所述各卷积核进行排列，并从所述各卷积核中选取一个或多个排序靠后的卷积核进行剔除。
可选的，在本发明第一方面的第四种实现方式中，所述对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi包括：
获取预置训练任务和对应的预训练网络层；
分别将所述压缩卷积核后的备选模型Mi中的输出层替换为所述预训练网络层；
分别采用替换后的所述备选模型Mi执行所述训练任务，并对执行所述训练任务的备选模型Mi进行预设次数的迭代训练，得到调整后的备选模型Mi。
可选的，在本发明第一方面的第五种实现方式中，所述从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk包括：
计算所述调整后的备选模型Mi的损失值，并根据所述损失值的大小顺序，对所述调整后的备选模型Mi进行排列；
从所述调整后的备选模型Mi中选取排序最后的一个备选模型Mi作为最优备选模型Mk。
本发明第二方面提供了一种卷积神经网络模型压缩装置，包括：
提取模块，用于在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
复制模块，用于对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
压缩训练模块，用于依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
筛选模块，用于从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
运行模块，用于运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
判别模块，用于判断当前内部环境参数是否满足预置的资源条件；若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行循环压缩模块；
循环压缩模块，用于将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并跳转至复制模块。
可选的，在本发明第一方面的第一种实现方式中，所述压缩训练模块包括：
第一压缩单元，用于选取所述各备选模型Mi中的第i层卷积层，并对所述第i层卷积层中的各卷积核进行压缩；
第二压缩单元，用于选取所述各备选模型Mi中的第j层卷积层，并从所述第j层卷积层中选择一个或多个卷积核进行剔除，其中所述j取1到N的正整数，且j≠i。
可选的，在本发明第一方面的第二种实现方式中，所述第一压缩单元用于：
统计所述第i卷积层中各卷积核的预设训练参数，得到对应的参数矩阵；
计算所述各训练参数的参数绝对值，并根据所述参数绝对值的大小顺序，对所述各训练参数进行排列；
从所述各参数矩阵中选取一个或多个排序靠后的训练参数进行置零。
可选的，在本发明第一方面的第三种实现方式中，所述第二压缩单元用于：
获取网络输出误差，并分别计算所述第j卷积层中各卷积核相对于所述网络输出误差的贡献值；
根据所述贡献值的大小顺序，对所述各卷积核进行排列，并从所述各卷积核中选取一个或多个排序靠后的卷积核进行剔除。
可选的，在本发明第一方面的第四种实现方式中，所述压缩训练模块还包括：
获取单元，用于获取预置训练任务和对应的预训练网络层；
替换单元，用于分别将所述压缩卷积核后的备选模型Mi中的输出层替换为所述预训练网络层；
训练单元，用于分别采用替换后的所述备选模型Mi执行所述训练任务，并对执行所述训练任务的备选模型Mi进行预设次数的迭代训练，得到调整后的备选模型Mi。
可选的，在本发明第一方面的第五种实现方式中，所述判别模块包括：
计算单元，用于计算所述调整后的备选模型Mi的损失值，并根据所述损失值的大小顺序，对所述调整后的备选模型Mi进行排列；
选取单元，用于从所述调整后的备选模型Mi中选取排序最后的一个备选模型Mi作为最优备选模型Mk。
本发明第三方面提供了一种卷积神经网络模型压缩设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述卷积神经网络模型压缩设备执行上述的卷积神经网络模型压缩方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的卷积神经网络模型压缩方法。
本发明提供的技术方案中，对应用程序中的原始卷积神经网络模型进行复制，得到与卷积层数量相同的多个备选模型；然后对各备选模型的任意两层卷积核进行压缩并训练，得到调整后的备选模型；再从调整后的备选模型中，选择最优备选模型运行该应用程序，得到移动终端的当前内部环境参数，并将满足预置的资源条件的最优备选模型作为压缩后的卷积神经网络模型；否则将最优备选模型作为下一轮模型压缩的原始卷积神经网络模型，重新进行压缩，直到移动终端内部环境参数满足资源条件，即可得到压缩后的卷积神经网络，实现了卷积神经网络模型自动适配移动终端进行压缩。
附图说明
图1为本发明卷积神经网络模型压缩方法的第一个实施例示意图；
图2为本发明卷积神经网络模型压缩方法的第二个实施例示意图；
图3为本发明卷积神经网络模型压缩方法的第三个实施例示意图；
图4为本发明卷积神经网络模型压缩方法的第四个实施例示意图；
图5为本发明卷积神经网络模型压缩装置的一个实施例示意图；
图6为本发明卷积神经网络模型压缩装置的另一个实施例示意图；
图7为本发明卷积神经网络模型压缩设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种卷积神经网络模型压缩方法、装置、设备及存储介质，对应用程序中的原始卷积神经网络模型进行复制，得到N个备选模型Mi；对各备选模型Mi的任意两层卷积核进行压缩并进行训练，得到调整后的备选模型Mi；从调整后的备选模型Mi中，选择最优备选模型Mk以运行该应用程序，得到移动终端的当前内部环境参数，并将满足预置的资源条件的最优备选模型Mk作为压缩后的卷积神经网络模型；否则将最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，重新进行压缩。本发明还涉及区块链技术，所述待稽核数据存储于区块链中。本发明实现了卷积神经网络模型自动适配移动终端进行压缩。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中卷积神经网络模型压缩方法的第一个实施例包括：
101、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
可以理解的是，本发明的执行主体可以为卷积神经网络模型压缩装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。需要强调的是，为进一步保证上述原始卷积神经网络模型的私密和安全性，上述原始卷积神经网络模型还可以存储于一区块链的节点中。
本实施例中，移动终端包括手机、平板电脑、笔记本电脑、车载电脑、POS(Pointofsales，销售点情报管理系统)等。而应用程序部署有原始卷积神经网络模型(下面简称原始模型)，其数据处理的范围包括：目标检测、目标分类、人脸属性识别、人脸识别等。
当移动终端部署应用程序，如下载应用程序，或者内部环境发生变化，如进行相关的数据处理时，则自动调用数据库中的原始模型，此时原始模型体积较大，结构较为复杂，移动终端的硬件资源与算例无法满足原始模型的运行，故需进行模型压缩，自动适配手机的硬件资源和算力。
102、对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
本实施例中，将原始模型复制N个备选模型，即该原始模型的卷积层数量，其作用在于：在每个备选模型中选择不同的卷积层，以对比每一层卷积层参数优化后的加速效率，保留不同卷积层压缩优化后的备选模型。
103、依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
本实施例中，进行压缩的两层卷积核，其中一层以参数优化的方式进行压缩，具体可统计该层卷积核各参数对备选模型特征提取的贡献，将贡献最低的参数置零即可；另一层以卷积核删除的方式进行压缩，具体可通过备选模型的网络输出误差，反推该层卷积核中每一个卷积核对网络输出误差的贡献，以确定各卷积核对备选模型的重要性，并将重要性最低的卷积核删除即可。
其中，在同一个备选模型中，选择任意两层卷积核进行压缩，可以保证同时优化参数(参数优化)以及减少参数量(卷积核删除)，在减少备选模型压缩体积的同时，提升与移动终端的适配度。
另外，在不同备选模型中，压缩的任意两层卷积核可以各不相同，一方面保留多种卷积核压缩方式的结果，则从中筛选出适配移动终端的备选模型的几率更大，另一方面可以通过检测不同层卷积核压缩后，各备选模型与移动终端的适配度，避免对卷积核的过渡压缩，减少本次对各备选模型的卷积核压缩体积。
具体的，可使用AutoML(Automated Machine Learning，自动机器学习)进行备选模型的卷积核压缩。
本实施例中，目前计算机视觉存在通用的高性能网络结构，对备选模型的训练包括：将备选模型的输出层替换为训练任务所需要的网络层，然后在调整输出层后的备选模型上进行训练，训练时，特征提取网络(backbone)使用较小的学习率。
其中，训练调整的目的在于：计算模型在测试数据上的损失，根据不同计算机视觉任务而不同，如多分类任务可以是交叉熵损失函数的值，目标检测可以是mAP(meanAverage Precision，平均准确率)值等。通过损失评估各备选网络的训练性能。
104、从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
本实施例中，原始模型压缩的目的在于压缩模型体积，但仍需保证模型的训练性能，故根据调整后得到的各备选模型损失，选择损失最小的备选模型作为最优备选模型，即选择卷积核压缩后，训练性能最优的备选模型。
105、运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
本实施例中，通过当前的最优备选模型试运行该应用程序，并执行相应数据处理任务，记录移动终端调用该最优备选网络进行数据处理的资源消耗，通过内部环境参数进行呈现，以评价该最优备选网络的压缩体积是否适配移动终端，其中，内部环境参数包括最优备选模型所占空间大小，推断执行该数据处理任务所需时间，推断所需内存/显示内存等。
106、判断当前内部环境参数是否满足预置的资源条件；
107、若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行108；
本实施例中，根据不同移动终端具体的硬件资源和运算力，或者根据先验知识，设定最优备选模型在移动终端上运行时消耗的资源条件，包括模型所占空间大小，数据处理任务的时间，占用内存/显示内存等。
通过最优备选模型运行后记录的当前内部环境参数，判断其满足该资源条件，如果满足，直接将最优备选模型作为压缩后的卷积神经网络模型，以保证其适配移动终端的同时，模型压缩程度最小，保留最大训练性能。
108、将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并执行102-107。
本实施例中，如果当前内部环境参数不满足资源条件，则本轮模型的压缩幅度不足以适配移动终端，即模型体积仍然过大，则需重新对该最优备选模型进行循环压缩。
本实施例中，各备选模型的卷积核压缩幅度相同，此处再以最优备选模型进入下一轮的模型压缩，可以保证训练性能的最大程度保留。
然后，模型循环压缩的好处在于，单次模型压缩的幅度小，在保证压缩后的卷积神经网络模型适配移动终端的同时，性能削减程度最小。
本发明实施例中，通过对应用程序中的原始卷积神经网络模型进行复制，得到与卷积层数量相同的多个备选模型；然后对各备选模型的任意两层卷积核进行压缩并训练，得到调整后的备选模型；再从调整后的备选模型中，选择最优备选模型运行该应用程序，得到移动终端的当前内部环境参数，并将满足预置的资源条件的最优备选模型作为压缩后的卷积神经网络模型；否则将最优备选模型作为下一轮模型压缩的原始卷积神经网络模型，重新进行压缩，直到移动终端内部环境参数满足资源条件，即可得到压缩后的卷积神经网络，实现了卷积神经网络模型自动适配移动终端进行压缩。
请参阅图2，本发明实施例中卷积神经网络模型压缩方法的第二个实施例包括：
201、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
202、对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
203、选取所述各备选模型Mi中的第i层卷积层，并对所述第i层卷积层中的各卷积核进行压缩；
本实施例中，各备选模型包括两级卷积核压缩，第一级卷积核压缩为：选取备选模型Mi中的第i层卷积层，进行卷积核的压缩。第一级卷积核压缩可保证对各备选模型的不同卷积层进行参数优化压缩。第一级卷积核压缩具体操作如下所示：
(1)统计所述第i卷积层中各卷积核的预设训练参数，得到对应的参数矩阵；
(2)计算所述各训练参数的参数绝对值，并根据所述参数绝对值的大小顺序，对所述各训练参数进行排列；
(3)从所述各参数矩阵中选取一个或多个排序靠后的训练参数进行置零。
本实施例中，在备选模型中，卷积层是已经封装好的类，可以直接使用，同时考研通过相应的函数来读取卷积层中每个卷积核的各个参数，例如对于PyTorch框架，则可以使用模型类的变量Parameters来读取每个卷积核的参数，格式为tensor，结合torch.abs()来计算参数绝对值。
其中，参数绝对值的大小表示对应训练参数对模型特征提取的重要程度，参数绝对值越大，对应训练参数对模型特征提取越重要，参数绝对值越小，对应训练参数对模型特征提取越不重要。
另外，因卷积核的训练参数为矩阵形式，将最小的参数绝对值置零，可以构成稀疏矩阵，稀疏矩阵可以用非零位置的值和坐标表示比较简单，因此可以达到加速运算的目的。
204、选取所述各备选模型Mi中的第j层卷积层，并从所述第j层卷积层中选择一个或多个卷积核进行剔除，其中所述j取1到N的正整数，且j≠i；
本实施例中，从各备选模型Mi第j层卷积层中，选择一个或多个卷积核进行剔除，属于第二级卷积核压缩。前面第一级卷积核压缩是对训练参数进行优化压缩，其目的在于加速运算，而此处第二级卷积核压缩，其目的在于降低模型体积。
具体的，第二级卷积核压缩的操作如下所示：
(1)获取网络输出误差，并分别计算所述第j卷积层中各卷积核相对于所述网络输出误差的贡献值；
(2)根据所述贡献值的大小顺序，对所述各卷积核进行排列，并从所述各卷积核中选取一个或多个排序靠后的卷积核进行剔除。
本实施例中，贡献值的大小用于表示对模型输出的影响程度，贡献值越大，对模型输出的影响越大，贡献值越小，对模型输出的影响越小。此处旋转贡献值最小的卷积核进行剔除，即将对模型输出的影响最小的卷积核进行剔除，最大程度保证模型训练的有效性。
具体的，第j卷积层中各卷积核相对于网络输出误差的贡献值，其计算公式如下所示：
其中，Ck为第j卷积层中的第k个卷积核相对于网络输出误差的贡献值，En为网络输出误差，ɑk为第j卷积层中的第k个卷积核。
本实施例中，因压缩后的备选网络以矩阵乘法的方式来实现卷积操作，为了保证矩阵乘法正确，后一个卷积操作的参数矩阵必须要对应删去一行，即所有卷积核都要删去一个通道。
205、对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
206、从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
207、运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
208、判断当前内部环境参数是否满足预置的资源条件；
209、若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行210；
210、将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并执行202-209。
本发明实施例中，详细讲解了备份模型中卷积核的两级压缩，第一级压缩是对各备份模型不同的一层卷积层中的卷积核进行参数压缩，实现对卷积核的优化；第二级压缩是删除其他随机一层卷积层中，一个与特征训练关系最小的卷积核，实现对备卷积核的压缩。
请参阅图3，本发明实施例中卷积神经网络模型压缩方法的第三个实施例包括：
301、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
302、对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
303、依序对所述各备选模型Mi的任意两层卷积核进行压缩；
304、获取预置训练任务和对应的预训练网络层；
305、分别将所述压缩卷积核后的备选模型Mi中的输出层替换为所述预训练网络层；
本实施例中，备选模型作为一个通用的预训练模型，在执行具体任务(预置训练任务)时，通过将备选模型的输出层替换为执行任务所需的训练网络层，并对备选模型进行调参调整。
306、分别采用替换后的所述备选模型Mi执行所述训练任务，并对执行所述训练任务的备选模型Mi进行预设次数的迭代训练，得到调整后的备选模型Mi；
本实施例中，通过备选模型执行训练任务，比较各备选模型的损失，故此处迭代训练的预设次数可设置得较少，比如2000-20000，使用较小的学习率，比如0.1-0.5。
另外，因训练网络层对备选模型的资源消耗占比极小，故可通过运行目标任务，测试备选模型的训练性能。
307、从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
308、运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
309、判断当前内部环境参数是否满足预置的资源条件；
310、若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行311；
311、将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并执行302-310。
本发明实施例中，通过在卷积核压缩后的备份模型上部署预训练网络层，执行训练任务，使得模型初步适应应用场景中的移动终端应用程序，初步查看每一个卷积核压缩后的备份模型训练后对该移动终端的适配程度。
请参阅图4，本发明实施例中卷积神经网络模型压缩方法的第四个实施例包括：
401、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
402、对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
403、依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
404、计算所述调整后的备选模型Mi的损失值，并根据所述损失值的大小顺序，对所述调整后的备选模型Mi进行排列；
本实施例中，备选网络的调整即通过备选网络执行训练任务，通过输出结果可以计算其损失值，根据不同的训练任务，可以使用不同的损失函数进行计算，如多分类任务可以是交叉熵损失函数的值，目标检测可以是mAP值等。其中，损失值越小，备选模型的训练性能越优，损失值越大，备选模型的训练性能越差。
比如调整后的备选网络[M1,M2,M3,M4,]的mAP值分别为[0.4,0.6,0.3,0.5]，则对备选网络重新排序后得到[M2,M4,M1,M3]。
405、从所述调整后的备选模型Mi中选取排序最后的一个备选模型Mi作为最优备选模型Mk，其中，1≤k≤i且为正整数；
本实施例中，排序最后的一个备选模型损失值最小，即训练性能最优，则为最优备选模型。
比如对于备选网络[M2,M4,M1,M3]中，M3的mAP值最小，即为最优备选模型。
406、运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
407、判断当前内部环境参数是否满足预置的资源条件；
408、若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行409；
409、将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并执行402-408。
本发明实施例中，通过损失函数从调整后的备选网络中筛选一个最适配该移动终端的备选网络，而不需要对每一个备选网络均进行后续的适配性检验，可减少系统的计算量，提升压缩效率。
上面对本发明实施例中卷积神经网络模型压缩方法进行了描述，下面对本发明实施例中卷积神经网络模型压缩装置进行描述，请参阅图5，本发明实施例中卷积神经网络模型压缩装置一个实施例包括：
提取模块501，用于在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
复制模块502，用于对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
压缩训练模块503，用于依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
筛选模块504，用于从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
运行模块505，用于运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
判别模块506，用于判断当前内部环境参数是否满足预置的资源条件；若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行循环压缩模块；
循环压缩模块507，用于将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并跳转至复制模块。
本发明实施例中，对应用程序中的原始卷积神经网络模型进行复制，得到与卷积层数量相同的多个备选模型；然后对各备选模型的任意两层卷积核进行压缩并训练，得到调整后的备选模型；再从调整后的备选模型中，选择最优备选模型运行该应用程序，得到移动终端的当前内部环境参数，并将满足预置的资源条件的最优备选模型作为压缩后的卷积神经网络模型；否则将最优备选模型作为下一轮模型压缩的原始卷积神经网络模型，重新进行压缩，直到移动终端内部环境参数满足资源条件，即可得到压缩后的卷积神经网络，实现了卷积神经网络模型自动适配移动终端进行压缩。
请参阅图6，本发明实施例中卷积神经网络模型压缩装置的另一个实施例包括：
提取模块501，用于在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
复制模块502，用于对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
压缩训练模块503，用于依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
筛选模块504，用于从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
运行模块505，用于运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
判别模块506，用于判断当前内部环境参数是否满足预置的资源条件；若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行循环压缩模块；
循环压缩模块507，用于将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并跳转至复制模块。
具体的，所述压缩训练模块503包括：
第一压缩单元5031，用于选取所述各备选模型Mi中的第i层卷积层，并对所述第i层卷积层中的各卷积核进行压缩；
第二压缩单元5032，用于选取所述各备选模型Mi中的第j层卷积层，并从所述第j层卷积层中选择一个或多个卷积核进行剔除，其中所述j取1到N的正整数，且j≠i。
具体的，所述第一压缩单元用于：
统计所述第i卷积层中各卷积核的预设训练参数，得到对应的参数矩阵；
计算所述各训练参数的参数绝对值，并根据所述参数绝对值的大小顺序，对所述各训练参数进行排列；
从所述各参数矩阵中选取一个或多个排序靠后的训练参数进行置零。
具体的，所述第二压缩单元用于：
获取网络输出误差，并分别计算所述第j卷积层中各卷积核相对于所述网络输出误差的贡献值；
根据所述贡献值的大小顺序，对所述各卷积核进行排列，并从所述各卷积核中选取一个或多个排序靠后的卷积核进行剔除。
具体的，所述压缩训练模块503还包括：
获取单元5033，用于获取预置训练任务和对应的预训练网络层；
替换单元5034，用于分别将所述压缩卷积核后的备选模型Mi中的输出层替换为所述预训练网络层；
训练单元5035，用于分别采用替换后的所述备选模型Mi执行所述训练任务，并对执行所述训练任务的备选模型Mi进行预设次数的迭代训练，得到调整后的备选模型Mi。
具体的，所述判别模块506包括：
计算单元5061，用于计算所述调整后的备选模型Mi的损失值，并根据所述损失值的大小顺序，对所述调整后的备选模型Mi进行排列；
选取单元5062，用于从所述调整后的备选模型Mi中选取排序最后的一个备选模型Mi作为最优备选模型Mk。
本发明实施例中，本发明实施例中，详细讲解了备份模型中卷积核的两级压缩，第一级压缩是对各备份模型不同的一层卷积层中的卷积核进行参数压缩，实现对卷积核的优化；第二级压缩是删除其他随机一层卷积层中，一个与特征训练关系最小的卷积核，实现对备卷积核的压缩；再通过在卷积核压缩后的备份模型上部署预训练网络层，执行训练任务，使得模型初步适应应用场景中的移动终端应用程序，初步查看每一个卷积核压缩后的备份模型训练后对该移动终端的适配程度；接着通过损失函数从调整后的备选网络中筛选一个最适配该移动终端的备选网络，而不需要对每一个备选网络均进行后续的适配性检验，可减少系统的计算量，提升压缩效率。
上面图5和图6从模块化功能实体的角度对本发明实施例中的卷积神经网络模型压缩装置进行详细描述，下面从硬件处理的角度对本发明实施例中卷积神经网络模型压缩设备进行详细描述。
图7是本发明实施例提供的一种卷积神经网络模型压缩设备的结构示意图，该卷积神经网络模型压缩设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对卷积神经网络模型压缩设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在卷积神经网络模型压缩设备700上执行存储介质730中的一系列指令操作。
卷积神经网络模型压缩设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等。本领域技术人员可以理解，图7示出的卷积神经网络模型压缩设备结构并不构成对卷积神经网络模型压缩设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种卷积神经网络模型压缩设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述卷积神经网络模型压缩方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述卷积神经网络模型压缩方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种卷积神经网络模型压缩方法，所述卷积神经网络模型应用于移动终端的应用程序，其特征在于，所述卷积神经网络模型压缩方法包括以下步骤：
S1、在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
S2、对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
S3、依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
S4、从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
S5、运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
S6、判断当前内部环境参数是否满足预置的资源条件；
S7、若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行S8；
S8、将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并执行S2-S7。
2.根据权利要求1所述的卷积神经网络模型压缩方法，其特征在于，所述依序对所述各备选模型Mi的任意两层卷积核进行压缩包括：
选取所述各备选模型Mi中的第i层卷积层，并对所述第i层卷积层中的各卷积核进行压缩；
选取所述各备选模型Mi中的第j层卷积层，并从所述第j层卷积层中选择一个或多个卷积核进行剔除，其中所述j取1到N的正整数，且j≠i。
3.根据权利要求2所述的卷积神经网络模型压缩方法，其特征在于，所述对所述第i层卷积层中的各卷积核进行压缩包括：
统计所述第i卷积层中各卷积核的预设训练参数，得到对应的参数矩阵；
计算所述各训练参数的参数绝对值，并根据所述参数绝对值的大小顺序，对所述各训练参数进行排列；
从所述各参数矩阵中选取一个或多个排序靠后的训练参数进行置零。
4.根据权利要求2所述的卷积神经网络模型压缩方法，其特征在于，所述从所述第j层卷积层中选择一个或多个卷积核进行剔除包括：
获取网络输出误差，并分别计算所述第j卷积层中各卷积核相对于所述网络输出误差的贡献值；
根据所述贡献值的大小顺序，对所述各卷积核进行排列，并从所述各卷积核中选取一个或多个排序靠后的卷积核进行剔除。
5.根据权利要求1-4中任一项所述的卷积神经网络模型压缩方法，其特征在于，所述对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi包括：
获取预置训练任务和对应的预训练网络层；
分别将所述压缩卷积核后的备选模型Mi中的输出层替换为所述预训练网络层；
分别采用替换后的所述备选模型Mi执行所述训练任务，并对执行所述训练任务的备选模型Mi进行预设次数的迭代训练，得到调整后的备选模型Mi。
6.根据权利要求5所述的卷积神经网络模型压缩方法，其特征在于，所述从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk包括：
计算所述调整后的备选模型Mi的损失值，并根据所述损失值的大小顺序，对所述调整后的备选模型Mi进行排列；
从所述调整后的备选模型Mi中选取排序最后的一个备选模型Mi作为最优备选模型Mk。
7.一种卷积神经网络模型压缩装置，其特征在于，所述卷积神经网络模型压缩装置包括：
提取模块，用于在移动终端部署应用程序或移动终端内部环境发生变化时，提取所述应用程序中用于数据处理的原始卷积神经网络模型；
复制模块，用于对所述原始卷积神经网络模型进行复制，得到N个备选模型Mi，其中，N为所述原始卷积神经网络模型的卷积层数，i取1到N的正整数；
压缩训练模块，用于依序对所述各备选模型Mi的任意两层卷积核进行压缩，并对压缩卷积核后的备选模型Mi进行训练，得到调整后的备选模型Mi；
筛选模块，用于从所述调整后的备选模型Mi中，选择训练后性能损失最少的最优备选模型Mk，其中，1≤k≤i且为正整数；
运行模块，用于运行所述应用程序，以调用所述最优备选模型Mk进行数据处理，并获取所述移动终端的当前内部环境参数；
判别模块，用于判断当前内部环境参数是否满足预置的资源条件；若满足，则将最优备选模型Mk作为压缩后的卷积神经网络模型；若不满足，则执行循环压缩模块；
循环压缩模块，用于将所述最优备选模型Mk作为下一轮模型压缩的原始卷积神经网络模型，并跳转至复制模块。
8.根据权利要求7所述的卷积神经网络模型压缩装置，其特征在于，所述压缩训练模块包括：
第一压缩单元，用于选取所述各备选模型Mi中的第i层卷积层，并对所述第i层卷积层中的各卷积核进行压缩；
第二压缩单元，用于选取所述各备选模型Mi中的第j层卷积层，并从所述第j层卷积层中选择一个或多个卷积核进行剔除，其中所述j取1到N的正整数，且j≠i。
9.一种卷积神经网络模型压缩设备，其特征在于，所述卷积神经网络模型压缩设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述卷积神经网络模型压缩设备执行如权利要求1-6中任一项所述的卷积神经网络模型压缩方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述卷积神经网络模型压缩方法。
CN202011007742.9A 2020-09-23 2020-09-23 卷积神经网络模型压缩方法、装置、设备及存储介质 Active CN112132279B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011007742.9A CN112132279B (zh) 2020-09-23 2020-09-23 卷积神经网络模型压缩方法、装置、设备及存储介质
PCT/CN2020/124667 WO2021179631A1 (zh) 2020-09-23 2020-10-29 卷积神经网络模型压缩方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011007742.9A CN112132279B (zh) 2020-09-23 2020-09-23 卷积神经网络模型压缩方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112132279A CN112132279A (zh) 2020-12-25
CN112132279B true CN112132279B (zh) 2023-09-15

Family

ID=73842722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011007742.9A Active CN112132279B (zh) 2020-09-23 2020-09-23 卷积神经网络模型压缩方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112132279B (zh)
WO (1) WO2021179631A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869299B (zh) * 2021-09-30 2024-06-11 中国平安人寿保险股份有限公司 一种银行卡识别方法、装置、计算机设备及存储介质
CN114117010A (zh) * 2021-11-30 2022-03-01 中国平安人寿保险股份有限公司 Nlp任务的处理方法、装置、终端设备和存储介质
CN114492769B (zh) * 2022-04-11 2022-08-12 飞腾信息技术有限公司 数据处理方法、相关设备及系统
CN115062777B (zh) * 2022-08-17 2022-11-22 珠海亿智电子科技有限公司 卷积神经网络的量化方法、量化装置、设备及存储介质
CN115543945B (zh) * 2022-11-29 2023-06-20 支付宝(杭州)信息技术有限公司 一种模型压缩的方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
WO2019119301A1 (zh) * 2017-12-20 2019-06-27 华为技术有限公司 在卷积神经网络模型中确定特征图像的方法和装置
CN110852425A (zh) * 2019-11-15 2020-02-28 北京迈格威科技有限公司 基于优化的神经网络的处理方法、装置和电子系统
CN111401524A (zh) * 2020-03-17 2020-07-10 深圳市物语智联科技有限公司 卷积神经网络处理方法、装置、设备、存储介质及模型
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020004178A (ja) * 2018-06-29 2020-01-09 ルネサスエレクトロニクス株式会社 学習モデルの評価方法、学習方法、装置、及びプログラム
CN110163367B (zh) * 2018-09-29 2023-04-07 腾讯科技（深圳）有限公司 一种终端部署方法和装置
CN111126602A (zh) * 2019-12-25 2020-05-08 浙江大学 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法
CN111340223A (zh) * 2020-02-27 2020-06-26 上海商汤临港智能科技有限公司 神经网络压缩、目标检测、行驶控制方法以及装置
CN111488986B (zh) * 2020-04-13 2023-06-27 商汤集团有限公司 一种模型压缩方法、图像处理方法以及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019119301A1 (zh) * 2017-12-20 2019-06-27 华为技术有限公司 在卷积神经网络模型中确定特征图像的方法和装置
CN108898168A (zh) * 2018-06-19 2018-11-27 清华大学 用于目标检测的卷积神经网络模型的压缩方法和系统
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN110852425A (zh) * 2019-11-15 2020-02-28 北京迈格威科技有限公司 基于优化的神经网络的处理方法、装置和电子系统
CN111401524A (zh) * 2020-03-17 2020-07-10 深圳市物语智联科技有限公司 卷积神经网络处理方法、装置、设备、存储介质及模型

Also Published As

Publication number Publication date
WO2021179631A1 (zh) 2021-09-16
CN112132279A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132279B (zh) 卷积神经网络模型压缩方法、装置、设备及存储介质
CN110163234B (zh) 一种模型训练方法、装置和存储介质
CN110210560B (zh) 分类网络的增量训练方法、分类方法及装置、设备及介质
US8526728B2 (en) Establishing clusters of user preferences for image enhancement
CN111738357B (zh) 垃圾图片的识别方法、装置及设备
CN107679572B (zh) 一种图像判别方法、存储设备及移动终端
CN112101190A (zh) 一种遥感图像分类方法、存储介质及计算设备
CN113869282B (zh) 人脸识别方法、超分模型训练方法及相关设备
US20230401833A1 (en) Method, computer device, and storage medium, for feature fusion model training and sample retrieval
CN110298394B (zh) 一种图像识别方法和相关装置
CN110689056A (zh) 一种分类方法及装置、设备和存储介质
CN110135505A (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
US20230069999A1 (en) Method and apparatus for updating recommendation model, computer device and storage medium
CN113657421A (zh) 卷积神经网络压缩方法和装置、图像分类方法和装置
CN108229358B (zh) 索引建立方法和装置、电子设备、计算机存储介质
CN113782093B (zh) 一种基因表达填充数据的获取方法及装置、存储介质
CN105354228A (zh) 相似图搜索方法及装置
CN111598176A (zh) 一种图像匹配处理方法及装置
CN114547365A (zh) 一种图像检索方法和设备
CN114299304A (zh) 一种图像处理方法及相关设备
Gautam et al. Heritage Tourism and Religious Identity: A Deep Neural Network-Based Deductive Classification Approach
CN111860557A (zh) 图像处理方法及装置、电子设备及计算机存储介质
WO2022141094A1 (zh) 模型生成方法、图像处理方法、装置及可读存储介质
Qi et al. An efficient deep learning hashing neural network for mobile visual search
CN114359811A (zh) 数据鉴伪方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant