CN111582446B - 用于神经网络剪枝的系统和神经网络的剪枝处理方法 - Google Patents
用于神经网络剪枝的系统和神经网络的剪枝处理方法 Download PDFInfo
- Publication number
- CN111582446B CN111582446B CN202010349768.5A CN202010349768A CN111582446B CN 111582446 B CN111582446 B CN 111582446B CN 202010349768 A CN202010349768 A CN 202010349768A CN 111582446 B CN111582446 B CN 111582446B
- Authority
- CN
- China
- Prior art keywords
- pruning
- neural network
- current
- rate
- pruning rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 533
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 283
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012216 screening Methods 0.000 claims abstract description 96
- 238000000034 method Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 29
- 230000035772 mutation Effects 0.000 claims description 13
- 238000012806 monitoring device Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 244000141353 Prunus domestica Species 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
本申请涉及神经网络技术领域，公开了一种用于神经网络剪枝的系统和神经网络的剪枝处理方法，用以筛选出能够减少神经网络的参数量和提高神经网络的运算速度的剪枝率组。该系统包括剪枝器、性能检测仪和控制器，其中，剪枝器用于在控制器的控制下，根据当前剪枝率组对当前神经网络进行剪枝；性能检测仪用于在控制器的控制下，对加载了剪枝后的神经网络的加速器进行检测，确定剪枝后的神经网络的运行速度；控制器用于控制剪枝器和性能检测仪执行相应的操作，检测并筛选出运行速度符合第一筛选条件和参数量符合第二筛选条件的当前剪枝率组。从多个当前剪枝率组中筛选出能够减少神经网络的参数量，和提高神经网络的运算速度的剪枝率组。
Description
技术领域
本申请涉及神经网络技术领域，特别涉及一种用于神经网络剪枝的系统和神经网络的剪枝处理方法。
背景技术
近年来，神经网络大量应用在计算机视觉、机器翻译、语音识别等领域中，然而随着神经网络技术的发展，其网络结构的设计愈发复杂，卷积核对应的权重矩阵中，所包含的权重数量也越来越多，增加了神经网络的运算工作量和参数量，使得神经网络难以部署在计算能力和存储空间有限的硬件资源上。因此，需要对神经网络进行剪枝处理。
但是，现有技术提供的神经网络的剪枝方法，由于采用根据人工经验手动配置固定的剪枝率组，但采用固定的剪枝率组对神经网络进行剪枝处理，只能减小剪枝后的神经网络的参数量，却无法提高剪枝后的神经网络的运行速度。
有鉴于此，需要设计一种新的用于神经网络剪枝的系统，以克服上述缺陷。
发明内容
本申请实施例提供一种用于神经网络剪枝的系统和神经网络的剪枝处理方法，用以筛选出能够减少神经网络的参数量和提高神经网络的运算速度的剪枝率组。
本申请实施例提供的具体技术方案如下：
第一方面，本申请实施例提供了一种用于神经网络剪枝的系统，包括：
剪枝器，用于在控制器的控制下，根据当前剪枝率组，对当前神经网络进行剪枝，得到剪枝后的神经网络，其中，所述当前剪枝率组包含用于对神经网络各层执行剪枝操作的剪枝率，所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
性能检测仪，用于在所述控制器的控制下，对加载了所述剪枝后的神经网络的加速器进行检测，确定所述剪枝后的神经网络的运行速度；
控制器，用于针对获取的当前剪枝率组，控制所述剪枝器对所述当前神经网络进行剪枝，并触发所述性能检测仪进行运行速度的检测；
所述控制器还用于，检测所述运行速度是否符合第一筛选条件，以及所述剪枝后的神经网络的参数量是否符合第二筛选条件，并在所述运行速度符合所述第一筛选条件，且所述参数量符合所述第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。
可选的，所述系统进一步包括：
识别率监测装置，用于在所述控制器的控制下，启动执行获取与所述候选剪枝率组对应的所述剪枝后的神经网络的识别率的操作；
所述控制器，进一步用于获取各个候选剪枝率组对应的识别率，并对所述各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
可选的，所述控制器，进一步用于：
若生成待选剪枝率集合的操作为第M次操作，则用于执行筛选操作的候选剪枝率组包括第M次操作得到的候选剪枝率组，和第(M-1)次操作输出的待选剪枝率集合中的剪枝率组，其中，M为大于等于1的自然数。
可选的，所述控制器，进一步用于：在控制所述剪枝器对所述当前神经网络进行剪枝之前，生成多个当前剪枝率组。
可选的，所述控制器通过如下方式生成多个当前剪枝率组：
若生成多个当前剪枝率组的操作为首次操作，则随机生成多个当前剪枝率组；
若生成多个当前剪枝率组的操作为第M次操作，则对第(M-1)次执行生成多个当前剪枝率组的操作而得到的识别率排在前N位的候选剪枝率组中的剪枝率进行预设变换操作，得到多个当前剪枝率组。
可选的，预设变换操作包括：突变和/或交叉。
可选的，所述控制器进一步用于：
在得到所述待选剪枝率集合之后，判断出系统当前状态符合确定目标剪枝率的状态，则通过下述方式确定目标剪枝率：
从待选剪枝率集合中，随机筛选一组剪枝率作为所述当前神经网络中各层对应的目标剪枝率；或者，
从待选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
可选的，所述识别率监测装置用于：
将所述剪枝后的神经网络的识别结果，与对应预测样本的标记结果进行匹配，确定所述剪枝后的神经网络的识别率。
第二方面，本申请实施例还提供了一种神经网络的剪枝处理方法，包括：
从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，所述候选剪枝率集合是利用用于神经网络剪枝的系统得到的，且所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
基于所述各层对应的目标剪枝率，确定所述当前神经网络中各层对应的剪枝阈值；
基于各个剪枝阈值，对所述当前神经网络的各层进行剪枝处理，其中，针对所述当前神经网络的任意一层，将所述任意一层中低于对应的剪枝阈值的特征提取权重剔除，所述特征提取权重是利用训练过程中学习的数据规则特征进行特征提取的权重参数。
可选的，从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，包括：
从所述候选剪枝率集合中，随机筛选所述剪枝后的神经网络的识别率排在前N位的一个候选剪枝率组，作为所述当前神经网络中各层对应的目标剪枝率；或者，
从所述候选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组候选剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
第三方面，本申请实施例还提供了一种用于神经网络剪枝的方法，应用于控制器，包括：
针对获取的当前剪枝率，对当前神经网络进行剪枝，所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
检测所述运行速度是否符合第一筛选条件，以及所述剪枝后的神经网络的参数量是否符合第二筛选条件，并在所述运行速度符合所述第一筛选条件，且所述参数量符合所述第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。
可选的，进一步包括：
获取各个候选剪枝率组对应的识别率，并对所述各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
可选的，进一步包括：
若生成待选剪枝率集合的操作为第M次操作，则用于执行筛选操作的候选剪枝率组包括第M次操作得到的候选剪枝率组，和第(M-1)次操作输出的待选剪枝率集合中的剪枝率组，其中，M为大于等于1的自然数。
可选的，在对当前神经网络进行剪枝之前，进一步包括：生成多个当前剪枝率组。
可选的，通过如下方式生成多个当前剪枝率组：
若生成多个当前剪枝率组的操作为首次操作，则随机生成多个当前剪枝率组；
若生成多个当前剪枝率组的操作为第M次操作，则对第(M-1)次执行生成多个当前剪枝率组的操作而得到的识别率排在前N位的候选剪枝率组中的剪枝率进行预设变换操作，得到多个当前剪枝率组。
可选的，预设变换操作包括：突变和/或交叉。
可选的，进一步包括：
在得到所述待选剪枝率集合之后，判断出系统当前状态符合确定目标剪枝率的状态，则通过下述方式确定目标剪枝率：
从待选剪枝率集合中，随机筛选一组剪枝率作为所述当前神经网络中各层对应的目标剪枝率；或者，
从待选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
第四方面，本申请实施例提供了一种神经网络的剪枝处理装置，包括：
目标剪枝率选择单元，用于从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，所述候选剪枝率集合是利用用于神经网络剪枝的系统得到的，且所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
剪枝阈值确定单元，用于基于所述各层对应的目标剪枝率，确定所述当前神经网络中各层对应的剪枝阈值；
剪枝单元，用于基于各个剪枝阈值，对所述当前神经网络的各层进行剪枝处理，其中，针对所述当前神经网络的任意一层，将所述任意一层中低于对应的剪枝阈值的特征提取权重剔除，所述特征提取权重是利用训练过程中学习的数据规则特征进行特征提取的权重参数。
第五方面，本申请实施例提供了一种用于神经网络剪枝的装置，应用于控制器，包括：
剪枝测试单元，用于针对获取的当前剪枝率，对当前神经网络进行剪枝，所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
筛选单元，用于检测所述运行速度是否符合第一筛选条件，以及所述剪枝后的神经网络的参数量是否符合第二筛选条件，并在所述运行速度符合所述第一筛选条件，且所述参数量符合所述第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。
可选的，所述筛选单元进一步用于：
获取各个候选剪枝率组对应的识别率，并对所述各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
可选的，所述筛选单元进一步用于：
若生成待选剪枝率集合的操作为第M次操作，则用于执行筛选操作的候选剪枝率组包括第M次操作得到的候选剪枝率组，和第(M-1)次操作输出的待选剪枝率集合中的剪枝率组，其中，M为大于等于1的自然数。
可选的，在对当前神经网络进行剪枝之前，所述剪枝测试单元进一步用于：生成多个当前剪枝率组。
可选的，通过如下方式生成多个当前剪枝率组：
若生成多个当前剪枝率组的操作为首次操作，则随机生成多个当前剪枝率组；
若生成多个当前剪枝率组的操作为第M次操作，则对第(M-1)次执行生成多个当前剪枝率组的操作而得到的识别率排在前N位的候选剪枝率组中的剪枝率进行预设变换操作，得到多个当前剪枝率组。
可选的，预设变换操作包括：突变和/或交叉。
可选的，所述筛选单元进一步用于：
在得到所述待选剪枝率集合之后，判断出系统当前状态符合确定目标剪枝率的状态，则通过下述方式确定目标剪枝率：
从待选剪枝率集合中，随机筛选一组剪枝率作为所述当前神经网络中各层对应的目标剪枝率；或者，
从待选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
第六方面，本申请实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一项神经网络的剪枝处理方法或者任一项用于神经网络剪枝的方法。
第七方面，本申请实施例还提供了一种存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述任一项神经网络的剪枝处理方法或者任一项用于神经网络剪枝的方法。
本申请有益效果如下：
本申请实施例的用于神经网络剪枝的系统，包括剪枝器、性能检测仪和控制器，其中，剪枝器用于在控制器的控制下，根据当前剪枝率组对当前神经网络进行剪枝；性能检测仪用于在控制器的控制下，对加载了剪枝后的神经网络的加速器进行检测，确定剪枝后的神经网络的运行速度；控制器用于控制剪枝器和性能检测仪执行相应的操作，检测并筛选出运行速度符合第一筛选条件和参数量符合第二筛选条件的当前剪枝率组。测试每个当前剪枝率组是否符合两个筛选条件，以筛选出能够减少神经网络的参数量和提高神经网络的运算速度的剪枝率组。
附图说明
图1为本申请实施例提供的用于神经网络剪枝的系统的架构示意图；
图2为本申请实施例提供的控制器基于首次生成的多个当前剪枝率组，确定目标剪枝率的流程示意图；
图3为本申请实施例提供的控制器基于第M次生成的多个当前剪枝率组，确定目标剪枝率的流程示意图；
图4为本申请实施例提供的神经网络的剪枝处理的流程示意图；
图5为本申请实施例提供的一种神经网络的剪枝处理装置的结构示意图；
图6为本申请实施例提供的一种用于神经网络剪枝的装置的结构示意图；
图7为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
为了筛选出能够修剪出参数量少且运算速度快的神经网络的剪枝率组，本申请实施例提出了一种用于神经网络剪枝的系统，参阅图1所示，该系统包括剪枝器、性能检测仪、识别率检测装置和控制器。
其中，剪枝器用于在控制器的控制下，根据当前剪枝率组对当前神经网络进行剪枝，得到剪枝后的神经网络，而当前剪枝率组包含用于对神经网络各层执行剪枝操作的剪枝率，当前神经网络是利用训练样本集合训练基础神经网络得到的。
性能检测仪用于在控制器的控制下，对加载了剪枝后的神经网络的加速器进行检测，确定剪枝后的神经网络的运行速度。具体地，性能检测仪可以通过加速器的应用程序接口(Application Programming Interface，API)，检测剪枝后的初始神经网络的运行速度。
识别率监测装置用于在控制器的控制下，启动执行获取与候选剪枝率组对应的剪枝后的神经网络的识别率的操作。具体地，识别率监测装置将剪枝后的神经网络的识别结果，与对应预测样本的标记结果进行匹配，确定剪枝后的神经网络的识别率。
控制器用于针对获取的当前剪枝率组，控制剪枝器对当前神经网络进行剪枝，并触发性能检测仪进行运行速度的检测，检测运行速度是否符合第一筛选条件，以及剪枝后的神经网络的参数量是否符合第二筛选条件，并在运行速度符合第一筛选条件，且参数量符合第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。控制器进一步用于获取各个候选剪枝率组对应的识别率，并对各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
参阅图2所示，本申请实施例的控制器，基于首次生成的多个当前剪枝率组，确定待选剪枝率集合的过程如下：
S201：随机生成多个当前剪枝率组。
采用组合高斯分布的方式，基于设定的组合高斯分布的平均值和方差，随机生成多个当前剪枝率组，其中一个当前剪枝率组包含用于对神经网络中各层执行剪枝操作的剪枝率。
例如，假设当前剪枝神经网络共有10层，随机生成了一组剪枝率[52％，19％，20％，25％，.......，36％，23％]，表示当前剪枝神经网络中第1层的剪枝率为52％，当前剪枝神经网络第2层的剪枝率为19％，当前剪枝神经网络第3层的剪枝率为20％，当前剪枝神经网络第4层的剪枝率为25％，以此类推，当前剪枝神经网络第9层的剪枝率为36％，当前剪枝神经网络第10层的剪枝率为23％。
S202：读取一个当前剪枝率组X。
S203：针对获取的当前剪枝率组X，控制剪枝器对当前神经网络进行剪枝。
具体地，剪枝器基于当前剪枝率组X，对当前神经网络剪枝的过程如下：
首先，基于当前剪枝率组X，确定各层对应的剪枝阈值。
采用公式(1)，确定各层对应的剪枝阈值。其中，Pi表征当前神经网络第i层的剪枝率，|Wi|表征当前枝神经网络第i层中的各个特征提取权重的绝对值；sort(|Wi|)表征当前神经网络第i层中，按序排列的各个特征提取权重矩阵的绝对值，其中，一个卷积核对应一个特征提取权重矩阵；select表征选择函数，Ti表征当前神经网络第i层的剪枝阈值。其中，特征提取权重是利用训练过程中学习的数据规则特征进行特征提取的权重参数。
Ti＝select(sort(|Wi|)，Pi 公式(1)；
其次，基于所述各层对应的剪枝阈值对当前神经网络剪枝，得到剪枝后的神经网络，其中，针对当前神经网络的任意一层，将所述任意一层中低于对应的剪枝阈值的特征提取权重剔除。
先使用公式(2)，确定各层对应的掩膜值。其中，|Wi|表征当前神经网络第i层中的各个特征提取权重矩阵的绝对值，其中，一个卷积核对应一个特征提取权重矩阵；Ti表征当前神经网络第i层的剪枝阈值，Mi表征当前神经网络第i层的掩膜值。
再使用公式(3)，得到剪枝后的神经网络。其中，Mi表征当前神经网络第i层的掩膜值，Wi表征当前神经网络第i层中的各个特征提取权重矩阵，其中，一个卷积核对应一个特征提取权重矩阵；Wi *表征剪枝后的神经网络第i层中保留的各个特征提取权重矩阵。
Wi *＝Wi×Mi 公式(3)；
在当前神经网络中，若任意一个特征提取权重的绝对值低于剪枝阈值，表征该特征提取权重对当前神经网络提取特征时的贡献度小，属于当前神经网络的冗余节点，因此，将该特征提取权重置为0。
进一步地，采用公式(4)和公式(5)计算剪枝后的神经网络的参数量。其中，公式(4)中的
表征剪枝后的神经网络中第i层的参数量占比率，Ni表征剪枝后的神经网络中第i层的卷积核数量，Ci表征剪枝后的神经网络中第i层中一个卷积核n对应的通道数量，Ki和K'i分别表征剪枝后的神经网络中第i层中一个卷积核n的长度和宽度；公式(5)中的Pi表征剪枝后的神经网络第i层的当前剪枝率组X，Rparam表征剪枝后的神经网络的参数量。
S204：控制性能检测仪，对加载了剪枝后的神经网络的加速器进行检测，确定剪枝后的神经网络的运行速度。
具体地，性能检测仪确定剪枝后的神经网络的运行速度的过程如下：
采用公式(6)和公式(7)，计算剪枝后的神经网络的运行速度。其中，公式(6)中的
表征剪枝后的神经网络中第i层的运算工作量占比率，Hi+1和Wi+1分别表征剪枝后的神经网络中第i+1层的输出特征图的长度和宽度；公式(7)中的Pi表征剪枝后的神经网络中第i层的当前剪枝率组X，ROPS表征剪枝后的神经网络的运行速度。
S205：检测剪枝后的神经网络的运行速度是否第一筛选条件，以及剪枝后的神经网路的参数量是否符合第二筛选条件，若是，执行步骤206；否则，返回步骤202。
本申请实施例的第一筛选规则为，剪枝后的神经网络的运行速度超过预设第一阈值；本申请实施例的第二筛选规则为，剪枝后的神经网络的参数量不超过预设第二阈值。
S206：将当前剪枝率组X记录为候选剪枝率组。
S207：控制识别率监测装置，启动执行获取与后选剪枝率组对应的剪枝后的神经网络的识别率的操作。
具体地，识别率监测装置将剪枝后的神经网络的识别结果，与对应预测样本的标记结果进行匹配，确定剪枝后的神经网络的识别率。例如，将多张预测样本图像输入到剪枝后的神经网络中，确定出各张预测样本图像对应的预测对象，再将各个预测对象与各张预测样本图像上预设的标记对象进行匹配，确定剪枝后的神经网络的识别率。
S208：判断所有当前剪枝率组是否均读取完毕，若是，执行步骤209；否则，返回步骤202。
S209：判断候选剪枝率组的数量是否达到设定数量阈值，若是，执行步骤210；否则，返回步骤201。
S210：获取各个候选剪枝率组对应的识别率，并对各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
S211：判断系统当前状态是否符合确定目标剪枝率的状态，若是，执行步骤212；否则，返回步骤201。
若系统生成多个当前剪枝率组的次数达到设定次数时，符合确定目标剪枝率的状态；或者，
若系统得到的候选剪枝率组对应的识别率超过设定阈值时，符合确定目标剪枝率的状态。
S212：从待选剪枝率集合中，确定目标剪枝率。
从待选剪枝率集合中，随机筛选一组剪枝率作为当前神经网络中各层对应的目标剪枝率；或者，
从待选剪枝率集合中，筛选剪枝后的神经网络的最大识别率对应的一组剪枝率，作为当前神经网络中各层对应的目标剪枝率。
这样，在第一轮中通过上述两次筛选，就可以把符合要求的当前剪枝率组挑选出来，有利于修剪得到参数量少、运行速度快且识别准确率高的神经网络。
参阅图3所示，本申请实施例的控制器，基于第M次生成的多个当前剪枝率组，确定待选剪枝率集合的过程如下：
S301：对第(M-1)次执行生成多个当前剪枝率组的操作而得到的识别率排在前N位的候选剪枝率组中的剪枝率进行预设变换操作，得到多个当前剪枝率组。
本申请实施例的变换操作包括突变和/或交叉三种操作。
具体地，第(M-1)次得到的识别率排在前N位的候选剪枝率组中的剪枝率，即第(M-1)次得到的待选剪枝率集合，从所述待选剪枝率集合中选取一个待选剪枝率组Y执行突变操作，生成第M次的一个当前剪枝率组Y’的过程如下。
先采用公式(8)确定待选剪枝率组Y对应的突变值βY。其中，公式(8)中的η为自定义的任意非负实数，表征突变强度；α为(0,1)内的随机数，表征突变的范围。
再采用公式(9)对待选剪枝率组Y执行突变操作，得到第M次的当前剪枝率组Y’。其中，公式(9)中的
表征一个待选剪枝率组，
表征突变生成的第M次的一个当前剪枝率组。
具体地，对第(M-1)次的待选剪枝率集合中的任意两个待选剪枝率组执行交叉操作，生成第M次的一个当前剪枝率组的过程如下。
从第(M-1)次的待选剪枝率集合中，选择任意两个待选剪枝率组作为交叉父辈，采用公式(10)，生成第M次的一个当前剪枝率组。其中，
表征作为第一个交叉父辈的待选剪枝率组，
表征作为第二个交叉父辈的待选剪枝率组，
表征交叉生成的第M次的一个当前剪枝率组，λ为[0,1]之间的随机数。
S302：读取一个当前剪枝率组Y＇。
S303：针对获取的当前剪枝率组Y＇，控制剪枝器对当前神经网络进行剪枝。
剪枝方法前述已经介绍过，在此不再赘述。
S304：控制性能检测仪，对加载了剪枝后的神经网络的加速器进行检测，确定剪枝后的神经网络的运行速度。
确定运行速度的方法前述已经介绍过，在此不再赘述。
S305：检测剪枝后的神经网络的运行速度是否第一筛选条件，以及剪枝后的神经网路的参数量是否符合第二筛选条件，若是，执行步骤306；否则，返回步骤302。
S306：将当前剪枝率组Y＇记录为候选剪枝率组。
S307：控制识别率监测装置，启动执行获取与候选剪枝率组对应的剪枝后的神经网络的识别率的操作。
确定识别率的方法前述已经介绍过，在此不再赘述。
S308：判断所有当前剪枝率组是否均读取完毕，若是，执行步骤309；否则，返回步骤302。
S209：判断候选剪枝率组的数量是否达到设定数量阈值，若是，执行步骤310；否则，返回步骤301。
S310：各个候选剪枝率组对应的识别率，并对各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
其中，各个候选剪枝率组包括获取第M次操作得到的候选剪枝率组，和第(M-1)次操作输出的待选剪枝率集合中的剪枝率组，其中，M为大于等于1的自然数。
S311：判断系统当前状态是否符合确定目标剪枝率的状态，若是，执行步骤312；否则，返回步骤301。
S312：从待选剪枝率集合中，确定目标剪枝率。
这样，在第M次中通过上述两次筛选，把可以修剪出符合要求的神经网络的当前剪枝率组挑选出来，从第M次的候选剪枝率组和第(M-1)次得到的待选剪枝率集合中，确定第M次的待选剪枝率集合，保证第M次的待选剪枝率集合更优，提高了在后续轮次中探索得到目标剪枝率的可能性，有利于修剪得到参数量少、运算工作量少且识别准确率高的神经网络。
参阅图4所示，本申请实施例提供了一种神经网络的剪枝处理方法，剪枝过程如下：
S401：从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，候选剪枝率集合是利用上述的系统得到的，且当前神经网络是利用训练样本集合训练基础神经网络得到的。
S402：基于各层对应的目标剪枝率，确定当前神经网络中各层对应的剪枝阈值。
采用上述公式(1)，确定各层的目标剪枝率对应的剪枝阈值。
S403：基于各个剪枝阈值，对当前神经网络的各层进行剪枝处理，其中，针对当前神经网络的任意一层，将任意一层中低于对应的剪枝阈值的特征提取权重剔除，特征提取权重是利用训练过程中学习的数据规则特征进行特征提取的权重参数。
根据上述公式(2)和各层对应的剪枝阈值，确定各层对应的掩膜值；最后，根据公式(3)对当前神经网络剪枝，得到剪枝后的神经网络。
基于同一发明构思，本申请实施例中，提供一种神经网络的剪枝处理装置，参阅图5所示，至少包括目标剪枝率选择单元501、剪枝阈值确定单元502和剪枝单元503，其中，
目标剪枝率选择单元501，用于从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，所述候选剪枝率集合是利用用于神经网络剪枝的系统得到的，且所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
剪枝阈值确定单元502，用于基于所述各层对应的目标剪枝率，确定所述当前神经网络中各层对应的剪枝阈值；
剪枝单元503，用于基于各个剪枝阈值，对所述当前神经网络的各层进行剪枝处理，其中，针对所述当前神经网络的任意一层，将所述任意一层中低于对应的剪枝阈值的特征提取权重剔除，所述特征提取权重是利用训练过程中学习的数据规则特征进行特征提取的权重参数。
基于同一发明构思，本申请实施例中，提供一种用于神经网络剪枝的装置。参阅图6所示，至少包括剪枝测试单元601和筛选单元602，其中，
剪枝测试单元601，用于针对获取的当前剪枝率，对当前神经网络进行剪枝，所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
筛选单元602，用于检测所述运行速度是否符合第一筛选条件，以及所述剪枝后的神经网络的参数量是否符合第二筛选条件，并在所述运行速度符合所述第一筛选条件，且所述参数量符合所述第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。
可选的，所述筛选单元602进一步用于：
获取各个候选剪枝率组对应的识别率，并对所述各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
可选的，所述筛选单元602进一步用于：
若生成待选剪枝率集合的操作为第M次操作，则用于执行筛选操作的候选剪枝率组包括第M次操作得到的候选剪枝率组，和第(M-1)次操作输出的待选剪枝率集合中的剪枝率组，其中，M为大于等于1的自然数。
可选的，在对当前神经网络进行剪枝之前，所述剪枝测试单元601进一步用于：生成多个当前剪枝率组。
可选的，通过如下方式生成多个当前剪枝率组：
若生成多个当前剪枝率组的操作为首次操作，则随机生成多个当前剪枝率组；
若生成多个当前剪枝率组的操作为第M次操作，则对第(M-1)次执行生成多个当前剪枝率组的操作而得到的识别率排在前N位的候选剪枝率组中的剪枝率进行预设变换操作，得到多个当前剪枝率组。
可选的，预设变换操作包括：突变和/或交叉。
可选的，所述筛选单元602进一步用于：
在得到所述待选剪枝率集合之后，判断出系统当前状态符合确定目标剪枝率的状态，则通过下述方式确定目标剪枝率：
从待选剪枝率集合中，随机筛选一组剪枝率作为所述当前神经网络中各层对应的目标剪枝率；或者，
从待选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
基于同一发明构思，本申请实施例中，提供一种计算设备，参阅图7所示，至少包括存储器701和至少一个处理器702，其中，存储器701和处理器702通过通信总线完成相互间的通信；
存储器701用于存储程序指令；
处理器702用于调用存储器701中存储的程序指令，按照获得的程序执行前述神经网络剪枝方法。
基于同一发明构思，本申请实施例中，提供一种存储介质，至少包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行前述神经网络的剪枝处理方法或者用于神经网络剪枝的方法。
综上所述，本申请实施例的用于神经网络剪枝的系统，包括剪枝器、性能检测仪和控制器，其中，剪枝器用于在控制器的控制下，根据当前剪枝率组对当前神经网络进行剪枝；性能检测仪用于在控制器的控制下，对加载了剪枝后的神经网络的加速器进行检测，确定剪枝后的神经网络的运行速度；控制器用于控制剪枝器和性能检测仪执行相应的操作，检测并筛选出运行速度符合第一筛选条件和参数量符合第二筛选条件的当前剪枝率组。测试每个当前剪枝率组是否符合两个筛选条件，以筛选出能够减少神经网络的参数量和提高神经网络的运算速度的剪枝率组。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (21)
1.一种图像处理系统，其特征在于，应用于图像处理场景，包括：
将多张待处理图像输入到剪枝后的神经网络中；
基于所述剪枝后的神经网络中的各层卷积核，对各张待处理图像进行图像处理，获得相应图像的处理结果；
其中，所述剪枝后的神经网络是采用以下方式，对训练完毕的当前神经网络进行多轮剪枝得到的：
剪枝器，用于在控制器的控制下，根据当前剪枝率组，对当前神经网络进行剪枝，得到剪枝后的神经网络，其中，所述当前剪枝率组包含用于对神经网络各层执行剪枝操作的剪枝率，所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
性能检测仪，用于在所述控制器的控制下，对加载了所述剪枝后的神经网络的加速器进行检测，确定所述剪枝后的神经网络的运行速度；
控制器，用于针对获取的当前剪枝率组，控制所述剪枝器对所述当前神经网络进行剪枝，并触发所述性能检测仪对所述剪枝后的神经网络进行运行速度的检测；
所述控制器还用于，检测所述运行速度是否符合第一筛选条件，以及所述剪枝后的神经网络的参数量是否符合第二筛选条件，并在所述运行速度符合所述第一筛选条件，且所述参数量符合所述第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。
2.如权利要求1所述的系统，其特征在于，所述系统进一步包括：
识别率监测装置，用于在所述控制器的控制下，启动执行获取与所述候选剪枝率组对应的所述剪枝后的神经网络的识别率的操作；
所述控制器，进一步用于获取各个候选剪枝率组对应的识别率，并对所述各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
3.如权利要求2所述的系统，其特征在于，所述控制器，进一步用于：
若生成待选剪枝率集合的操作为第M次操作，则用于执行筛选操作的候选剪枝率组包括第M次操作得到的候选剪枝率组，和第M-1次操作输出的待选剪枝率集合中的剪枝率组，其中，M为大于等于1的自然数。
4.如权利要求1或2任一项所述的系统，其特征在于，所述控制器，进一步用于：在控制所述剪枝器对所述当前神经网络进行剪枝之前，生成多个当前剪枝率组。
5.如权利要求4所述的系统，其特征在于，所述控制器通过如下方式生成多个当前剪枝率组：
若生成多个当前剪枝率组的操作为首次操作，则随机生成多个当前剪枝率组；
若生成多个当前剪枝率组的操作为第M次操作，则对第M-1次执行生成多个当前剪枝率组的操作而得到的识别率排在前N位的候选剪枝率组中的剪枝率进行预设变换操作，得到多个当前剪枝率组。
6.如权利要求5所述的系统，其特征在于，预设变换操作包括：突变和/或交叉。
7.如权利要求2所述的系统，其特征在于，所述控制器进一步用于：
在得到所述待选剪枝率集合之后，判断出系统当前状态符合确定目标剪枝率的状态，则通过下述方式确定目标剪枝率：
从待选剪枝率集合中，随机筛选一组剪枝率作为所述当前神经网络中各层对应的目标剪枝率；或者，
从待选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
8.如权利要求2所述的系统，其特征在于，所述识别率监测装置用于：
将所述剪枝后的神经网络的识别结果，与对应预测样本的标记结果进行匹配，确定所述剪枝后的神经网络的识别率。
9.一种图像处理方法，其特征在于，应用于图像处理场景，包括：
将多张待处理图像输入到剪枝后的神经网络中；
基于所述剪枝后的神经网络中的各层卷积核，对各张待处理图像进行图像处理，获得相应图像的处理结果；
其中，所述剪枝后的神经网络是采用以下方式，对训练完毕的当前神经网络进行多轮剪枝得到的：
从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，所述候选剪枝率集合是利用权利要求1-8任一项所述的系统得到的，且所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
基于所述各层对应的目标剪枝率，确定所述当前神经网络中各层对应的剪枝阈值；
基于各个剪枝阈值，对所述当前神经网络的各层进行剪枝处理，其中，针对所述当前神经网络的任意一层，将所述任意一层中低于对应的剪枝阈值的特征提取权重剔除，所述特征提取权重是利用训练过程中学习的数据规则特征进行特征提取的权重参数。
10.如权利要求9所述的方法，其特征在于，从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，包括：
从所述候选剪枝率集合中，随机筛选所述剪枝后的神经网络的识别率排在前N位的一个候选剪枝率组，作为所述当前神经网络中各层对应的目标剪枝率；或者，
从所述候选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组候选剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
11.一种图像处理方法，其特征在于，应用于图像处理场景，包括：
将多张待处理图像输入到剪枝后的神经网络中；
基于所述剪枝后的神经网络中的各层卷积核，对各张待处理图像进行图像处理，获得相应图像的处理结果；
其中，所述剪枝后的神经网络是采用以下方式，对训练完毕的当前神经网络进行多轮剪枝得到的：
针对获取的当前剪枝率组，对当前神经网络进行剪枝，所述当前神经网络是利用训练样本集合训练基础神经网络得到的，所述当前剪枝率组包含用于对神经网络各层执行剪枝操作的剪枝率；
检测所述剪枝后的神经网络的运行速度是否符合第一筛选条件，以及所述剪枝后的神经网络的参数量是否符合第二筛选条件，并在所述运行速度符合所述第一筛选条件，且所述参数量符合所述第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。
12.如权利要求11所述的方法，其特征在于，进一步包括：
获取各个候选剪枝率组对应的识别率，并对所述各个候选剪枝率组执行筛选操作，得到识别率排在前N位的候选剪枝率组，生成待选剪枝率集合，其中，N为大于等于1的自然数。
13.如权利要求12所述的方法，其特征在于，进一步包括：
若生成待选剪枝率集合的操作为第M次操作，则用于执行筛选操作的候选剪枝率组包括第M次操作得到的候选剪枝率组，和第M-1次操作输出的待选剪枝率集合中的剪枝率组，其中，M为大于等于1的自然数。
14.如权利要求11或12任一项所述的方法，其特征在于，在对当前神经网络进行剪枝之前，进一步包括：生成多个当前剪枝率组。
15.如权利要求14所述的方法，其特征在于，通过如下方式生成多个当前剪枝率组：
若生成多个当前剪枝率组的操作为首次操作，则随机生成多个当前剪枝率组；
若生成多个当前剪枝率组的操作为第M次操作，则对第M-1次执行生成多个当前剪枝率组的操作而得到的识别率排在前N位的候选剪枝率组中的剪枝率进行预设变换操作，得到多个当前剪枝率组。
16.如权利要求15所述的方法，其特征在于，预设变换操作包括：突变和/或交叉。
17.如权利要求12所述的方法，其特征在于，进一步包括：
在得到所述待选剪枝率集合之后，判断出系统当前状态符合确定目标剪枝率的状态，则通过下述方式确定目标剪枝率：
从待选剪枝率集合中，随机筛选一组剪枝率作为所述当前神经网络中各层对应的目标剪枝率；或者，
从待选剪枝率集合中，筛选所述剪枝后的神经网络的最大识别率对应的一组剪枝率，作为所述当前神经网络中各层对应的目标剪枝率。
18.一种图像处理装置，其特征在于，应用于图像处理场景，包括：
图像处理单元用于，将多张待处理图像输入到剪枝后的神经网络中；
基于所述剪枝后的神经网络中的各层卷积核，对各张待处理图像进行图像处理，获得相应图像的处理结果；
其中，所述剪枝后的神经网络是采用以下方式，对训练完毕的当前神经网络进行多轮剪枝得到的：
目标剪枝率选择单元，用于从候选剪枝率集合中选择一组剪枝率，作为当前神经网络中各层对应的目标剪枝率，所述候选剪枝率集合是利用权利要求1-8任一项所述的系统得到的，且所述当前神经网络是利用训练样本集合训练基础神经网络得到的；
剪枝阈值确定单元，用于基于所述各层对应的目标剪枝率，确定所述当前神经网络中各层对应的剪枝阈值；
剪枝单元，用于基于各个剪枝阈值，对所述当前神经网络的各层进行剪枝处理，其中，针对所述当前神经网络的任意一层，将所述任意一层中低于对应的剪枝阈值的特征提取权重剔除，所述特征提取权重是利用训练过程中学习的数据规则特征进行特征提取的权重参数。
19.一种图像处理装置，其特征在于，应用于图像处理场景，包括：
图像处理单元，用于将多张待处理图像输入到剪枝后的神经网络中；
基于所述剪枝后的神经网络中的各层卷积核，对各张待处理图像进行图像处理，获得相应图像的处理结果；
其中，所述剪枝后的神经网络是通过对训练完毕的当前神经网络进行多轮剪枝得到的，任意一轮的剪枝过程为：
剪枝测试单元，用于针对获取的当前剪枝率组，对当前神经网络进行剪枝，所述当前神经网络是利用训练样本集合训练基础神经网络得到的，所述当前剪枝率组包含用于对神经网络各层执行剪枝操作的剪枝率；
筛选单元，用于检测所述剪枝后的神经网络的运行速度是否符合第一筛选条件，以及所述剪枝后的神经网络的参数量是否符合第二筛选条件，并在所述运行速度符合所述第一筛选条件，且所述参数量符合所述第二筛选条件的情况下，将当前剪枝率组记录为候选剪枝率组。
20.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求9-10或者11-17任一项所述的方法。
21.一种存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求9-10或者11-17任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010349768.5A CN111582446B (zh) | 2020-04-28 | 2020-04-28 | 用于神经网络剪枝的系统和神经网络的剪枝处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010349768.5A CN111582446B (zh) | 2020-04-28 | 2020-04-28 | 用于神经网络剪枝的系统和神经网络的剪枝处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582446A CN111582446A (zh) | 2020-08-25 |
| CN111582446B true CN111582446B (zh) | 2022-12-06 |
Family
ID=72113136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010349768.5A Active CN111582446B (zh) | 2020-04-28 | 2020-04-28 | 用于神经网络剪枝的系统和神经网络的剪枝处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582446B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113627389B (zh) * | 2021-08-30 | 2024-08-23 | 京东方科技集团股份有限公司 | 一种目标检测的优化方法及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583586A (zh) * | 2018-12-05 | 2019-04-05 | 东软睿驰汽车技术（沈阳）有限公司 | 一种卷积核处理方法及装置 |
| CN109740619A (zh) * | 2018-12-27 | 2019-05-10 | 北京航天飞腾装备技术有限责任公司 | 用于目标识别的神经网络终端运行方法和装置 |
| CN109978142A (zh) * | 2019-03-29 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 神经网络模型的压缩方法和装置 |
| CN110020718A (zh) * | 2019-03-14 | 2019-07-16 | 上海交通大学 | 基于变分推断的逐层神经网络剪枝方法和系统 |
| CN110378468A (zh) * | 2019-07-08 | 2019-10-25 | 浙江大学 | 一种基于结构化剪枝和低比特量化的神经网络加速器 |
| CN110532859A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于深度进化剪枝卷积网的遥感图像目标检测方法 |
| CN110929836A (zh) * | 2018-09-20 | 2020-03-27 | 北京市商汤科技开发有限公司 | 神经网络训练及图像处理方法和装置、电子设备、介质 |
| CN111027693A (zh) * | 2019-11-26 | 2020-04-17 | 北京科技大学 | 一种基于去权重剪枝的神经网络压缩方法及系统 |
-
2020
- 2020-04-28 CN CN202010349768.5A patent/CN111582446B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929836A (zh) * | 2018-09-20 | 2020-03-27 | 北京市商汤科技开发有限公司 | 神经网络训练及图像处理方法和装置、电子设备、介质 |
| CN109583586A (zh) * | 2018-12-05 | 2019-04-05 | 东软睿驰汽车技术（沈阳）有限公司 | 一种卷积核处理方法及装置 |
| CN109740619A (zh) * | 2018-12-27 | 2019-05-10 | 北京航天飞腾装备技术有限责任公司 | 用于目标识别的神经网络终端运行方法和装置 |
| CN110020718A (zh) * | 2019-03-14 | 2019-07-16 | 上海交通大学 | 基于变分推断的逐层神经网络剪枝方法和系统 |
| CN109978142A (zh) * | 2019-03-29 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 神经网络模型的压缩方法和装置 |
| CN110378468A (zh) * | 2019-07-08 | 2019-10-25 | 浙江大学 | 一种基于结构化剪枝和低比特量化的神经网络加速器 |
| CN110532859A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于深度进化剪枝卷积网的遥感图像目标检测方法 |
| CN111027693A (zh) * | 2019-11-26 | 2020-04-17 | 北京科技大学 | 一种基于去权重剪枝的神经网络压缩方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582446A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633745B (zh) | 一种基于人工智能的图像分类训练方法、装置及存储介质 | |
| CN110991568B (zh) | 目标识别方法、装置、设备和存储介质 | |
| JP6722351B2 (ja) | 学習装置、画像認識装置、学習方法及びプログラム | |
| CN110852425A (zh) | 基于优化的神经网络的处理方法、装置和电子系统 | |
| CN109685805B (zh) | 一种图像分割方法及装置 | |
| CN111428639A (zh) | 手势识别模型的训练方法、手势识别方法及装置 | |
| CN113065379B (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
| CN114091594A (zh) | 模型训练方法及装置、设备、存储介质 | |
| CN111582446B (zh) | 用于神经网络剪枝的系统和神经网络的剪枝处理方法 | |
| CN117615359B (zh) | 基于多种规则引擎的蓝牙数据传输方法及系统 | |
| CN113283388A (zh) | 活体人脸检测模型的训练方法、装置、设备及存储介质 | |
| CN111539390A (zh) | 一种基于Yolov3的小目标图像识别方法、设备和系统 | |
| CN112183622A (zh) | 一种移动应用bots安装作弊检测方法、装置、设备及介质 | |
| CN114385876B (zh) | 一种模型搜索空间生成方法、装置及系统 | |
| CN113762382B (zh) | 模型的训练及场景识别方法、装置、设备及介质 | |
| CN113762403B (zh) | 图像处理模型量化方法、装置、电子设备及存储介质 | |
| CN115713669A (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 | |
| CN111950753A (zh) | 一种景区客流预测的方法及装置 | |
| CN109756494B (zh) | 一种负样本变换方法及装置 | |
| CN109409226B (zh) | 一种基于级联优化cnn的手指静脉图质量评估方法及其装置 | |
| CN113780444A (zh) | 基于渐进式学习的舌苔图像分类模型的训练方法 | |
| CN113688810A (zh) | 一种边缘设备的目标捕获方法、系统及相关设备 | |
| CN115204381A (zh) | 弱监督模型训练方法及装置、电子设备 | |
| CN115393914A (zh) | 多任务模型训练方法、装置、设备及存储介质 | |
| CN112861689A (zh) | 一种基于nas技术的坐标识别模型的搜索方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240411 Address after: Room 101, 7th Floor, Building 11, No.16 West Erqi Road, Haidian District, Beijing, 100085 Patentee after: Beijing Lingchuan Technology Co.,Ltd. Country or region after: China Address before: 101d1-7, 1st floor, building 1, No. 6, Shangdi West Road, Haidian District, Beijing 100085 Patentee before: Beijing Dajia Internet Information Technology Co.,Ltd. Country or region before: China |