CN112396100A - 一种细粒度分类模型的优化方法、系统及相关装置 - Google Patents
一种细粒度分类模型的优化方法、系统及相关装置 Download PDFInfo
- Publication number
- CN112396100A CN112396100A CN202011277232.3A CN202011277232A CN112396100A CN 112396100 A CN112396100 A CN 112396100A CN 202011277232 A CN202011277232 A CN 202011277232A CN 112396100 A CN112396100 A CN 112396100A
- Authority
- CN
- China
- Prior art keywords
- fine
- classification model
- grained classification
- initial
- grained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005457 optimization Methods 0.000 title claims abstract description 28
- 238000013138 pruning Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims description 15
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种细粒度分类模型的优化方法、系统及相关装置，该方法包括将初始细粒度分类模型的初始准确率作为参考准确率，利用剪枝技术对前一细粒度分类模型进行剪枝，以通过前一次剪枝得到的细粒度分类模型对应的目标准确率与参考准确率的差值来确定剪枝次数，直到最终目标准确率与参考准确率的差值大于预设阈值时停止剪枝，从而得到目标细粒度分类模型。本发明旨在利用剪枝技术，将初始细粒度分类模型转化为体积更小更优的目标细粒度分类模型，使得内存占用减小，提高分类效率，并通过分类准确率与参考准确率的差值与预设阈值的比较来确保目标细粒度分类模型的分类效果与初始细粒度分类模型的分类效果保持一致，达到保持模型准确率的目的。
Description
技术领域
本发明涉及分类技术领域，尤其涉及一种细粒度分类模型的优化方法、系统及相关装置。
背景技术
细粒度分类对物体大类下的子类进行识别，从而区分物体大类下的不同子分类。细粒度分类任务相对通用分类任务的区别和难点在于其物体所属类别的粒度更为精细，因此，其广泛应用于目标检测、目标识别、目标分类，如图像识别等领域。
然而现有的细粒度分类模型的网络结构较为复杂且庞大，在海量目标分类中，计算量呈数量级，使得计算时间过长，功耗增大，并且由于其网络结构庞大，使得内存占用过大，给终端设备带来负担，导致分类效率低。
因此，现有技术还有待于发展和改进。
发明内容
基于此，有必要针对现有的细粒度分类模型网络结构复杂而导致分类效率低的技术问题，提出了一种细粒度分类模型的优化方法、系统及相关装置。
第一方面，本申请提供了一种细粒度分类模型的优化方法，所述细粒度分类模型的优化方法包括：
获取预先训练的初始细粒度分类模型以及所述初始细粒度分类模型的初始准确率；
对所述初始细粒度分类模型进行剪枝，得到第一细粒度分类模型；
对第一细粒度分类模型进行训练，得到所述第一细粒度分类模型的第一准确率；
若第一准确率与初始准确率的差值小于或等于预设阈值，则对第i个细粒度分类模型进行剪枝，以得到第i+1个细粒度分类模型；其中，第1个细粒度分类模型为所述第一细粒度分类模型，i的初始值为1；
确定第i+1个细粒度分类模型的第i+1个准确率与初始准确率的差值是否大于预设阈值；
若大于，则停止剪枝，将第i个细粒度分类模型作为目标细粒度分类模型；
若小于，则令i＝i+1，返回执行对第i个细粒度分类模型进行剪枝。
所述的细粒度分类模型的优化方法，其中，所述对所述初始细粒度分类模型进行剪枝，得到第一细粒度分类模型具体包括：
获取所述初始细粒度分类模型中网络结构层数m，m为正整数；
获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值，其中，n的初始值为1，n为正整数，且n≤m；
对每个卷积核对应的若干参数分别进行求和，得到每个卷积核对应的总参数值；
对所有总参数值进行排序，根据排序结果确定用于去除卷积核的参考值；
若没有卷积核的总参数值大于所述参考值，则令n＝n+1，返回执行执行获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值；
若存在某一卷积核的总参数值小于或等于所述参考值，则将所述卷积核删除，并令n＝n+1，则返回执行获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值；
将n＝m所得到的最终细粒度分类模型作为第一细粒度分类模型。
所述的细粒度分类模型的优化方法，其中，所述若存在某一卷积核的总参数值小于所述参考值，则将所述卷积核删除之后还包括：
删除第n+1层网络结构中与第n层网络结构中所述卷积核对应的通道数，其中，n＜m。
所述的细粒度分类模型的优化方法，其中，所述对所有总参数值进行排序，根据排序结果确定用于去除卷积核的参考值具体包括：
将所有总参数值进行排序，得到排序结果；
根据排序结果以及用户任务需求，确定所述排序结果对应的删除顺序以及将要删除卷积核的个数；
计算所述排序结果中对应的若干待删除卷积核的参考值。
所述的细粒度分类模型的优化方法，其中，所述第i细粒度分类模型与所述初始细粒度分类模型采用相同的训练集进行训练。
所述的细粒度分类模型的优化方法，其中，所述方法还包括：
若第一准确率与初始准确率的差值大于预设阈值，则更新所述初始细粒度分类模型的参数，对更新后的初始细粒度分类模型重新进行训练。
所述的细粒度分类模型的优化方法，其中，所述初始细粒度分类模型至少包括NTS细粒度分类模型，所述目标细粒度分类模型为所述初始细粒度分类模型的最小网络结构。
第二方面，本申请还提供一种细粒度分类模型的优化装置，所述细粒度分类模型的优化装置包括处理器与所述处理器连接的存储器，所述存储器存储有一个或多个程序，所述程序被处理器执行以实现所述的细粒度分类模型的优化方法中的步骤。
第三方面，本申请还提供一种细粒度分类模型的优化系统，所述细粒度分类模型的优化系统包括所述的细粒度分类模型的优化装置。
第四方面，本申请还提供一种计算机临时存储介质，该计算机临时存储介质存储有一个或多个程序，所述程序被处理器执行以实现所述的细粒度分类模型的优化方法中的步骤。
采用本发明实施例，具有如下有益效果：
本发明公开了一种细粒度分类模型的优化方法、系统及相关装置，旨在利用剪枝技术，将初始细粒度分类模型转化为体积更小更优的目标细粒度分类模型，使得内存占用减小，提高分类效率。同时由于目标细粒度分类模型的分类准确率与初始细粒度分类模型的分类准确率的差值满足预设阈值的要求，从而使得剪枝所得到的目标细粒度分类模型的分类效果与初始细粒度分类模型的分类效果保持一致，达到保持模型准确率的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明提供的一种细粒度分类模型的优化方法的一实施例的流程图。
图2为本发明提供的一种细粒度分类模型的优化装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1示例了本发明提供的一种细粒度分类模型的优化方法的一实施例的流程图。如图1所示，所述细粒度分类模型的优化方法包括：
S10、获取预先训练的初始细粒度分类模型以及所述初始细粒度分类模型的初始准确率。
在本实施例中，所述初始细粒度分类模型为NTS细粒度分类模型。该初始细粒度分类模型是经过训练地且符合预设标准的网络模型。为了保证后续剪枝得到的目标细粒度分类模型的分类准确率与初始细粒度分类模型的分类准确率一致，因此，需要通过预先训练的初始细粒度分类模型的初始准确率作为参考准确率，并且目标细粒度分类模型的训练所采用的训练集与初始细粒度分类模型所采用的训练集是相同的。
S20、对所述初始细粒度分类模型进行剪枝，得到第一细粒度分类模型。
具体地，剪枝技术的核心思想是裁剪不重要的部分，即裁剪对模型没有影响的网络结构。因此，通过剪枝技术可使得初始细粒度分类模型的体积减小，从而减小内存占用，简化初始细粒度分类模型的网络结构。
虽然剪枝技术可使得初始细粒度分类模型的体积减小，但剪枝后的细粒度分类模型的分类准确率低，不能保证与初始细粒度分类模型的初始分类准确率一致，因此，存在剪枝失败的可能，该分类准确率低的细粒度分类模型不能作为目标细粒度分类模型。
因此，如何利用剪枝技术有效裁剪初始细粒度分类模型，以使得裁剪后得到的目标细粒度分类模型的分类准确率保持与原有初始细粒度分类模型的初始分类准确率一致。
在本实施例中，利用初始细粒度分类模型的网络结构层中卷积核参数之和与去除卷积核的参考值的比对结果来删除卷积核，以减小初始细粒度分类模型的体积。简单来说，就是按参数(或特征输出)绝对值大小来评估重要性，然后用贪心法将不重要那部分删除。
示例性的，所述对所述初始细粒度分类模型进行剪枝，得到第一细粒度分类模型具体包括：
S21，获取所述初始细粒度分类模型中网络结构层数m，m为正整数；
S22，获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值，其中，n的初始值为1，n为正整数，且n≤m；
S23，对每个卷积核对应的若干参数分别进行求和，得到每个卷积核对应的总参数值；
S24，对所有总参数值进行排序，根据排序结果确定用于去除卷积核的参考值；
S25，若没有卷积核的总参数值大于所述参考值，则令n＝n+1，返回执行执行获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值；
S26，若存在某一卷积核的总参数值小于或等于所述参考值，则将所述卷积核删除，并令n＝n+1，则返回执行获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值；
S27，将n＝m所得到的最终细粒度分类模型作为第一细粒度分类模型。
其中，步骤S24包括：
S241，将所有总参数值进行排序，得到排序结果；
S242，根据排序结果以及用户任务需求，确定所述排序结果对应的删除顺序以及将要删除卷积核的个数；
S243，计算所述排序结果中对应的若干待删除卷积核的参考值。
举例来说，初始细粒度分类模型的网络结构层数m＝10，n＝1
第1层网络结构包含卷积核1，卷积核2，卷积核3，....卷积核100(即第1层100个卷积核)，其中，卷积核1的大小为3*3*3(通道数3)，卷积核2的大小为3*3*4(通道数4)，卷积核3的大小为3*3*5(通道数5).......卷积核100的大小为3*3*10(通道数10)。
那么，卷积核1对应的参数的个数为3*3*3＝27，卷积核2对应的参数的个数为3*3*4＝36，卷积核3对应的参数的个数为3*3*5＝45,.......卷积核100对应的参数的个数为3*3*10＝90。
需要说明的是，参数值有正负，因此，在本实施例中，计算每个卷积核的参数值之和是计算每个卷积核的参数的绝对值之和。
因此，卷积核1的总参数值为27个参数的绝对值之和，卷积核2的总参数值为36个参数的绝对值之和，卷积核3的总参数值为45个参数的绝对值之和,.....卷积核100的总参数值为90个参数的绝对值之和。
将总参数值按由大到小排序(也可由小到大排序等，并非限定，可根据需求自定义排序)，假设排序结果为卷积核2，卷积核1，卷积核3，.....卷积核100。根据经验或用户目标任务需求，需要删除100个卷积核中前N个卷积核，如N＝20，则计算排序结果前20卷积核的参数对应的值，将这个值作为去除卷积核的参考值。
若这100个卷积核的100个总参数值存在至少一个小于或等于所述参考值，说明该卷积核对细粒度分类模型的网络结构层不产生影响，则删除这个卷积核，若没有卷积核总参数小于或等于所述参数值，则不删除，继续下一网络结构层，即接着对第2层网络结构中所有的卷积核进行与第1层相同的操作。
直到第10层(初始细粒度分类模型的最后一层)同样执行与第1层相同的操作步骤后，得到的细粒度分类模型作为第一细粒度分类模型。
进一步地，由于第n层卷积核的个数会影响到第n+1层卷积核的通道数，因此，在删除第n层的某一个卷积核之后，需要同时删除第n+1层上卷积核对应的通道。也就是说，删除第n+1层网络结构中与第n层网络结构中所述卷积核对应的通道数，其中，n＜m。若第n层为细粒度分类模型的最后一层，则不存在n+1层，也就不需要删除第n+1对应的通道数。
需要说明的是，上述用于去除卷积核的参考值不是预先设置也不是固定的，其根据当前网络层所有卷积核的参数以及用户需求的不同而不同。
S30、对第一细粒度分类模型进行训练，得到所述第一细粒度分类模型的第一准确率。
在本实施例中，所述第一细粒度分类模型的网络结构的体积小于初始细粒度分类模型的体积。为了确保剪枝后的细粒度分类模型保持与原有初始细粒度分类模型的分类准确率一致，因此，需要对剪枝后的第一细粒度分类模型进行剪枝验证，以确定第一细粒度分类模型是剪枝成功，即与初始细粒度分类模型保持一致，还是剪枝失败。
在本实施例中，剪枝验证的方法是通过剪枝后模型得到的分类准确率与初始细粒度分类模型的初始分类准确率的差值与预设阈值的比对结果来验证剪枝成功或失败。
具体地，获取初始细粒度分类模型所输入的训练集。将该训练集输入至第一细粒度分类模型进行训练，采用相同的训练方法，得到所述第一细粒度分类模型的第一准确率。
S40、若第一准确率与初始准确率的差值小于或等于预设阈值，则对第i个细粒度分类模型进行剪枝，以得到第i+1个细粒度分类模型；其中，第1个细粒度分类模型为所述第一细粒度分类模型，i的初始值为1；
S50、确定第i+1个细粒度分类模型的第i+1个准确率与初始准确率的差值是否大于预设阈值
S60、若大于，则停止剪枝，将第i个细粒度分类模型作为目标细粒度分类模型；
S70、若小于，则令i＝i+1，返回执行对第i个细粒度分类模型进行剪枝。
举例来说，若第一准确率与初始准确率的差值小于或等于预设阈值，说明对初始细粒度分类模型剪枝成功。该第一细粒度分类模型可用于跟初始细粒度分类模型相同的应用场景。同样，第一细粒度分类模型的体积小于初始细粒度分类模型的体积。
在本实施例中，为了使得剪枝后的细粒度分类模型的体积达到最优，即最小体积，更进一步提高分类效率，更进一步减小内存占用，因此，在第一细粒度分类模型的基础上继续进行剪枝，以得到更小更优的细粒度分类模型。
具体地，i＝1，对第一细粒度分类模型进行剪枝，得到第2个细粒度分类模型，其对应的第2个分类准确率与初始准确率的差值再次与预设阈值比较，以确认差值是否大于预设阈值，若大于预设阈值，则第2个细粒度分类模型剪枝失败，停止剪枝，而其上一个剪枝的第一细粒度分类模型作为目标细粒度分类模型。
若小于或等于预设阈值，则i＝2，对第2个细粒度分类模型进行剪枝，得到第3个细粒度分类模型，执行与i＝1相同的操作，即其对应的第3个分类准确率与初始准确率的差值再次与预设阈值比较，以确认剪枝失败或成功。
当模型经过训练、剪枝、再训练迭代次数足够多之后，模型剪枝成功几率会逐步下降直至几乎无法成功，此时停止剪枝。举例来说，若连续i次剪枝成功，第i+1次剪枝失败，停止剪枝，并将第i次剪枝得到的细粒度分类模型作为目标细粒度分类模型。
需要说明的是，任意第i细粒度分类模型与所述初始细粒度分类模型采用相同的训练集进行训练，才能确保剪枝验证的准确性。
进一步地，在对初始细粒度分类模型的第1次剪枝得到第一细粒度分类模型，若第一细粒度分类模型的第一准确率与初始准确率的差值大于预设阈值，则说明对初始细粒度分类模型的第1次剪枝失败，需要对初始细粒度分类模型重新进行训练，即通过更新初始细粒度分类模型的参数，修正初始细粒度分类模型，从而使得修正后的初始细粒度分类模型能够至少剪枝成功1次，以得到目标细粒度分类模型。
需要说明的是，上述预设阈值在本实施例中设置为0.1，该阈值并非限定的，可根据用户需求自定义设置，如设置其预设范围区间0.05～0.1。
这样，基于步骤S10-S70，本发明旨在利用剪枝技术，将初始细粒度分类模型转化为体积更小更优的目标细粒度分类模型，使得内存占用减小，不仅提高分类效率，还可放到更低端的设备运行，扩大应用群里，利用推广。同时由于目标细粒度分类模型的分类准确率与初始细粒度分类模型的分类准确率的差值满足预设阈值的要求，从而使得剪枝所得到的目标细粒度分类模型的分类效果与初始细粒度分类模型的分类效果保持一致，达到保持模型准确率的目的。
在上述实施例中，可以全部或部分的通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或者数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或半导体介质(例如固态硬盘Solid S100a100e Disk(SSD))等。
基于上述方法，本申请还提供一种细粒度分类模型的优化装置，其应用于细粒度分类模型的优化系统。在一个实施例中，如图2所示，图2展示了一种细粒度分类模型的优化装置的结构框图。其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communica100ions In100erface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本发明实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作语音客服系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
在一个实施例中，本发明还提供一种细粒度分类模型的优化系统，所述细粒度分类模型的优化系统包括如图2所示的细粒度分类模型的优化装置。
在另一个实施例中，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器(本实施例为所述处理器10)执行，以实现本发明的细粒度分类模型的优化方法中的步骤，具体如上述方法所述。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种细粒度分类模型的优化方法，其特征在于，所述方法包括：
获取预先训练的初始细粒度分类模型以及所述初始细粒度分类模型的初始准确率；
对所述初始细粒度分类模型进行剪枝，得到第一细粒度分类模型；
对第一细粒度分类模型进行训练，得到所述第一细粒度分类模型的第一准确率；
若第一准确率与初始准确率的差值小于或等于预设阈值，则对第i个细粒度分类模型进行剪枝，以得到第i+1个细粒度分类模型；其中，第1个细粒度分类模型为所述第一细粒度分类模型，i的初始值为1；
确定第i+1个细粒度分类模型的第i+1个准确率与初始准确率的差值是否大于预设阈值；
若大于，则停止剪枝，将第i个细粒度分类模型作为目标细粒度分类模型；
若小于或等于，则令i＝i+1，返回执行对第i个细粒度分类模型进行剪枝。
2.根据权利要求1所述的细粒度分类模型的优化方法，其特征在于，所述对所述初始细粒度分类模型进行剪枝，得到第一细粒度分类模型具体包括：
获取所述初始细粒度分类模型中网络结构层数m，m为正整数；
获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值，其中，n的初始值为1，n为正整数，且n≤m；
对每个卷积核对应的若干参数分别进行求和，得到每个卷积核对应的总参数值；
对所有总参数值进行排序，根据排序结果确定用于去除卷积核的参考值；
若没有卷积核的总参数值大于所述参考值，则令n＝n+1，返回执行获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值；
若存在某一卷积核的总参数值小于或等于所述参考值，则将所述卷积核删除，并令n＝n+1，则返回执行获取所述初始细粒度分类模型中第n层网络结构所包含的所有卷积核对应的若干参数值；
将n＝m所得到的最终细粒度分类模型作为第一细粒度分类模型。
3.根据权利要求2所述的细粒度分类模型的优化方法，其特征在于，所述若存在某一卷积核的总参数值小于所述参考值，则将所述卷积核删除之后还包括：
删除第n+1层网络结构中与第n层网络结构中所述卷积核对应的通道数，其中，n＜m。
4.根据权利要求2所述的细粒度分类模型的优化方法，其特征在于，所述对所有总参数值进行排序，根据排序结果确定用于去除卷积核的参考值具体包括：
将所有总参数值进行排序，得到排序结果；
根据排序结果以及用户任务需求，确定所述排序结果对应的删除顺序以及将要删除卷积核的个数；
计算所述排序结果中对应的若干待删除卷积核的参考值。
5.根据权利要求1所述的细粒度分类模型的优化方法，其特征在于，所述第i细粒度分类模型与所述初始细粒度分类模型采用相同的训练集进行训练。
6.根据权利要求1所述的细粒度分类模型的优化方法，其特征在于，所述方法还包括：
若第一准确率与初始准确率的差值大于预设阈值，则更新所述初始细粒度分类模型的参数，对更新后的初始细粒度分类模型重新进行训练。
7.根据权利要求1所述的细粒度分类模型的优化方法，其特征在于，所述初始细粒度分类模型至少包括NTS细粒度分类模型，所述目标细粒度分类模型为所述初始细粒度分类模型的最小网络结构。
8.一种细粒度分类模型的优化装置，其特征在于，所述细粒度分类模型的优化装置包括处理器与所述处理器连接的存储器，所述存储器存储有一个或多个程序，所述程序被处理器执行以实现如权利要求1-7任一项所述的细粒度分类模型的优化方法中的步骤。
9.一种细粒度分类模型的优化系统，其特征在于，所述细粒度分类模型的优化系统包括如权利要求8所述的细粒度分类模型的优化装置。
10.一种计算机临时存储介质，其特征在于，该计算机临时存储介质存储有一个或多个程序，所述程序被处理器执行以实现如权利要求1-7任一项所述的细粒度分类模型的优化方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011277232.3A CN112396100B (zh) | 2020-11-16 | 一种细粒度分类模型的优化方法、系统及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011277232.3A CN112396100B (zh) | 2020-11-16 | 一种细粒度分类模型的优化方法、系统及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112396100A true CN112396100A (zh) | 2021-02-23 |
| CN112396100B CN112396100B (zh) | 2024-05-24 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843691A (zh) * | 2023-09-01 | 2023-10-03 | 尚特杰电力科技有限公司 | 光伏板热斑检测方法及存储介质、电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019154262A1 (zh) * | 2018-02-07 | 2019-08-15 | 腾讯科技（深圳）有限公司 | 一种图像分类方法及服务器、用户终端、存储介质 |
| CN110751212A (zh) * | 2019-10-21 | 2020-02-04 | 南京大学 | 一种移动设备上高效的细粒度图像识别方法 |
| CN111222629A (zh) * | 2019-12-31 | 2020-06-02 | 暗物智能科技(广州)有限公司 | 一种基于自适应批规范化的神经网络模型剪枝方法及系统 |
| CN111242287A (zh) * | 2020-01-15 | 2020-06-05 | 东南大学 | 一种基于通道l1范数剪枝的神经网络压缩方法 |
| CN111738357A (zh) * | 2020-07-24 | 2020-10-02 | 完美世界(北京)软件科技发展有限公司 | 垃圾图片的识别方法、装置及设备 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019154262A1 (zh) * | 2018-02-07 | 2019-08-15 | 腾讯科技（深圳）有限公司 | 一种图像分类方法及服务器、用户终端、存储介质 |
| CN110751212A (zh) * | 2019-10-21 | 2020-02-04 | 南京大学 | 一种移动设备上高效的细粒度图像识别方法 |
| CN111222629A (zh) * | 2019-12-31 | 2020-06-02 | 暗物智能科技(广州)有限公司 | 一种基于自适应批规范化的神经网络模型剪枝方法及系统 |
| CN111242287A (zh) * | 2020-01-15 | 2020-06-05 | 东南大学 | 一种基于通道l1范数剪枝的神经网络压缩方法 |
| CN111738357A (zh) * | 2020-07-24 | 2020-10-02 | 完美世界(北京)软件科技发展有限公司 | 垃圾图片的识别方法、装置及设备 |
Non-Patent Citations (3)
| Title |
|---|
| QIXIN XIE等: "L0 Regularization based Fine-grained Neural Network Pruning Method", 2019 11TH INTERNATIONAL CONFERENCE ON ELECTRONICS, COMPUTERS AND ARTIFICIAL INTELLIGENCE, pages 1 - 4 * |
| 昌晶: "细粒度模型剪枝算法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, no. 07, pages 140 - 106 * |
| 贾群: "深度神经网络压缩方法研究与实现", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, no. 12, pages 140 - 51 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843691A (zh) * | 2023-09-01 | 2023-10-03 | 尚特杰电力科技有限公司 | 光伏板热斑检测方法及存储介质、电子设备 |
| CN116843691B (zh) * | 2023-09-01 | 2024-01-26 | 尚特杰电力科技有限公司 | 光伏板热斑检测方法及存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10825447B2 (en) | Method and apparatus for optimizing model applicable to pattern recognition, and terminal device | |
| CN108573355B (zh) | 模型更新后替换运行的方法、装置、及业务服务器 | |
| US11455523B2 (en) | Risk evaluation method, computer-readable recording medium, and information processing apparatus | |
| CN111368887B (zh) | 雷雨天气预测模型的训练方法及雷雨天气预测方法 | |
| CN112579462B (zh) | 测试用例获取方法、系统、设备及计算机可读存储介质 | |
| CN112687266B (zh) | 语音识别方法、装置、计算机设备和存储介质 | |
| CN112631888A (zh) | 分布式系统的故障预测方法、装置、存储介质及电子设备 | |
| CN103324679B (zh) | 一种缓存服务器中数据更新的控制方法和设备 | |
| CN112396100A (zh) | 一种细粒度分类模型的优化方法、系统及相关装置 | |
| CN115660073B (zh) | 基于和声鲸鱼优化算法的入侵检测方法和系统 | |
| CN112396100B (zh) | 一种细粒度分类模型的优化方法、系统及相关装置 | |
| US11663184B2 (en) | Information processing method of grouping data, information processing system for grouping data, and non-transitory computer readable storage medium | |
| US9268809B2 (en) | Method and system for document update | |
| CN107783990B (zh) | 一种数据压缩方法及终端 | |
| CN114926706A (zh) | 数据处理方法、装置及设备 | |
| CN110021166B (zh) | 用于处理用户出行数据的方法、装置和计算设备 | |
| CN114168581A (zh) | 数据清洗方法、装置、计算机设备及存储介质 | |
| CN114281474A (zh) | 一种资源调节方法及装置 | |
| CN110928634B (zh) | 数据处理方法、装置及设备 | |
| CN112784165A (zh) | 关联关系预估模型的训练方法以及预估文件热度的方法 | |
| CN113705548B (zh) | 题目类型识别方法和装置 | |
| CN117194020B (zh) | 一种云计算的原始大数据处理方法、系统和存储介质 | |
| CN117435516B (zh) | 一种测试用例优先级排序方法和系统 | |
| CN114880164B (zh) | 一种管理存储页的方法和装置 | |
| US20220392267A1 (en) | Update method for face database, and face recognition method, apparatus and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |