CN116206188B - 一种图像识别方法、系统、设备及存储介质 - Google Patents
一种图像识别方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN116206188B CN116206188B CN202310484624.4A CN202310484624A CN116206188B CN 116206188 B CN116206188 B CN 116206188B CN 202310484624 A CN202310484624 A CN 202310484624A CN 116206188 B CN116206188 B CN 116206188B
- Authority
- CN
- China
- Prior art keywords
- convolution layer
- convolution
- compressed
- target
- image recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000013138 pruning Methods 0.000 claims abstract description 101
- 239000013598 vector Substances 0.000 claims description 74
- 238000005457 optimization Methods 0.000 claims description 45
- 238000005070 sampling Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 31
- 238000007906 compression Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 29
- 230000006835 compression Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000010410 layer Substances 0.000 description 443
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002365 multiple layer Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像识别方法、系统、设备及存储介质，应用于图像识别技术领域，包括：对训练完成的图像识别网络的目标卷积层进行剪枝，得到压缩卷积层并判断与目标卷积层的差异是否超出差异范围；若否，则按照结构重参数化的方式对压缩卷积层进行重构，得到第一重构卷积层；若是，则按照核集理论的重要性权重更新规则，对压缩卷积层的卷积核进行缩放，得到缩放卷积层，再对缩放卷积层进行重构，得到第二重构卷积层；使用第一或第二重构卷积层替换图像识别网络中的目标卷积层，得到压缩图像识别网络以进行图像识别。应用本申请的方案，采用结构重参数化结合核集理论的方式，有效地保障了所得到的压缩图像识别网络的图像识别准确率。
Description
技术领域
本发明涉及图像识别技术领域，特别是涉及一种图像识别方法、系统、设备及存储介质。
背景技术
由于过参数化的原因，图像识别网络难以直接应用在计算和存储资源受限的边缘设备上，需要进行神经网络压缩等轻量化处理操作，来减少图像识别网络的参数量和计算量，从而可以部署于边缘设备中。
对图像识别网络进行压缩的过程，本身就需要消耗大量的训练时间和计算资源，因此为了提高效率，提出了在图像识别网络的前向推理过程中进行剪枝的方法。这种推理时剪枝的方法，在前向推理过程中逐层进行启发式通道选择和卷积核重构，在剪枝完成之后，整个网络再通过微调来恢复准确率。这样的方式虽然减小了压缩造成的准确率损失。但采用的卷积核重构方法具有数据依赖性，且各层的重构误差逐层累积增大，压缩完成后微调整个网络仍然需要耗费可观的训练时间。还有的方案中，会使用结构重参数化技术向原网络模型添加额外的网络结构，仅对额外网络结构施加惩罚项并修改其梯度下降过程，训练结束后剪枝掉额外网络结构中的趋于零值的输出通道，即可对原网络模型实现低损失的压缩，实现知识的迁移与保存，但未使用在卷积层中，准确率也有限。
综上所述，如何有效地在边缘设备中实现图像识别，提高图像识别的准确率，是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种图像识别方法、系统、设备及存储介质，以有效地在边缘设备中实现图像识别，提高图像识别的准确率。
为解决上述技术问题，本发明提供如下技术方案：
一种图像识别方法，包括：
对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层；
判断所述压缩卷积层与所述目标卷积层之间的差异是否超出设定的差异范围；
如果否，则按照结构重参数化的方式对所述压缩卷积层进行重构，得到对应于所述压缩卷积层的第一重构卷积层；
如果是，则按照核集理论的重要性权重更新规则，对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，再按照结构重参数化的方式对所述缩放卷积层进行重构，得到对应于所述缩放卷积层的第二重构卷积层；
使用所述第一重构卷积层或者所述第二重构卷积层替换所述图像识别网络中的所述目标卷积层，得到压缩图像识别网络，以基于所述压缩图像识别网络进行图像识别。
在一种实施方式中，所述按照结构重参数化的方式对所述压缩卷积层进行重构，得到对应于所述压缩卷积层的第一重构卷积层，包括：
将第一图像数据分别输入至所述目标卷积层和所述压缩卷积层，并确定出所述目标卷积层所输出的特征图与所述压缩卷积层所输出的特征图之间的差△F；
按照结构重参数化的方式为所述压缩卷积层添加辅助卷积分支，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于所述压缩卷积层的第一重构卷积层，并删除为所述压缩卷积层添加的所述辅助卷积分支；
其中，X表示的是所述第一图像数据，W表示的是所述压缩卷积层的卷积核权重参数，表示的是所述第一重构卷积层的卷积核权重参数，优化函数表示的是将/>取值最低作为优化目标。
在一种实施方式中，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W，包括：
将作为优化函数，通过最小二乘法的求解方式，确定出所述辅助卷积分支的卷积核权重参数△W。
在一种实施方式中，所述对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层，包括：
对训练完成的图像识别网络的目标卷积层进行随机剪枝，得到剪枝后的压缩卷积层。
在一种实施方式中，所述对训练完成的图像识别网络的目标卷积层进行随机剪枝，得到剪枝后的压缩卷积层，包括：
对训练完成的图像识别网络的目标卷积层的输入通道进行随机剪枝，得到剪枝后的压缩卷积层。
在一种实施方式中，所述按照结构重参数化的方式对所述缩放卷积层进行重构，得到对应于所述缩放卷积层的第二重构卷积层，包括：
将第一图像数据分别输入至所述目标卷积层和所述缩放卷积层，并确定出所述目标卷积层所输出的特征图与所述缩放卷积层所输出的特征图之间的差△G；
按照结构重参数化的方式为所述缩放卷积层添加辅助卷积分支，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于所述缩放卷积层的第二重构卷积层，并删除为所述缩放卷积层添加的所述辅助卷积分支；
其中，X表示的是所述第一图像数据，A表示的是缩放系数矩阵，W表示的是所述压缩卷积层的卷积核权重参数，表示的是所述第二重构卷积层的卷积核权重参数，优化函数/>表示的是将/>取值最低作为优化目标。
在一种实施方式中，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W：
将作为优化函数，通过最小二乘法的求解方式，确定出所述辅助卷积分支的卷积核权重参数△W。
在一种实施方式中，所述按照核集理论的重要性权重更新规则，对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，包括：
按照核集理论的重要性权重更新规则，确定出所述压缩卷积层的缩放系数矩阵A；
通过缩放系数矩阵A对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层。
在一种实施方式中，所述按照核集理论的重要性权重更新规则，确定出所述压缩卷积层的缩放系数矩阵A，包括：
按照核集理论的重要性权重更新规则，确定出所述目标卷积层的各个输出通道的重要性向量；
针对所述目标卷积层的任意1个输出通道，将该输出通道的重要性向量中的各个数值作为相应输入通道的采样概率，进行多轮随机概率采样，将统计出的各个输入通道的被采样频次作为该输出通道的缩放系数向量；
将所有输出通道的缩放系数向量组成所述压缩卷积层的缩放系数矩阵A。
在一种实施方式中，所述按照核集理论的重要性权重更新规则，确定出所述目标卷积层的各个输出通道的重要性向量，包括：
针对所述目标卷积层的任意1个输出通道，确定出该输出通道的各个单位核的L1范数并进行降序排序，并且将排序中第D个单位核的L1范数作为该输出通道的第一阈值；
针对所述目标卷积层的任意1个输出通道的任意1个单位核，当该单位核的L1范数低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/（D+1），当该单位核的L1范数不低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/[（D+1）×（N-D）]；
确定出所述目标卷积层的各个输出通道的重要性向量；其中，针对所述目标卷积层的任意1个输出通道，将该输出通道的各个单位核的重要性数值组成该输出通道的重要性向量；D表示的是所述压缩卷积层的输入通道数量，N表示的是所述目标卷积层的输入通道数量。
在一种实施方式中，所述通过缩放系数矩阵A对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，包括：
将所述缩放系数矩阵A与所述压缩卷积层的卷积核相乘，得到经过缩放的缩放卷积层。
在一种实施方式中，所述判断所述压缩卷积层与所述目标卷积层之间的差异是否超出设定的差异范围，包括：
将第二图像数据输入至所述目标卷积层之后，将所述目标卷积层所输出的特征图F降维成特征向量U；
将所述第二图像数据输入至所述压缩卷积层之后，将所述压缩卷积层所输出的特征图降维成特征向量/>；
确定出与U之间的多核最大均值差异值d，并判断d小于等于设定的决策阈值是否成立；
如果成立，则判断出所述压缩卷积层与所述目标卷积层之间的差异未超出设定的差异范围；
如果不成立，则判断出所述压缩卷积层与所述目标卷积层之间的差异超出设定的差异范围。
在一种实施方式中，将所述目标卷积层所输出的特征图F降维成特征向量U，包括：
通过逐输出通道取均值的方式，将所述目标卷积层所输出的维度为B×C×S×S的特征图F降维成维度为B×C×1特征向量U；
其中，B表示的是所述第二图像数据的图像批量大小，C表示的是所述目标卷积层的输出通道数量，S表示的是每个输出通道的特征图的尺寸大小。
在一种实施方式中，所述决策阈值为通过以下操作确定出的数值：
对所述目标卷积层独立执行R次随机剪枝；R为不小于2的正整数；
每进行一次随机剪枝之后，将所述第二图像数据输入至本次随机剪枝所得到的卷积层中，再将该卷积层所输出的特征图降维成特征向量，并且计算出该卷积层所输出的特征图降维成的特征向量与U之间的多核最大均值差异值；
将R次随机剪枝之后得到的R个多核最大均值差异值的平均值，作为决策阈值。
在一种实施方式中，还包括：
判断d大于设定的告警阈值是否成立；
如果成立，则输出告警提示。
在一种实施方式中，还包括：
接收重剪枝指令，并返回执行所述对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层的操作。
在一种实施方式中，还包括：
在判断出d大于设定的告警阈值成立之后，进行事件记录。
一种图像识别系统，包括：
剪枝模块，用于对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层；
差异判断模块，用于判断所述压缩卷积层与所述目标卷积层之间的差异是否超出设定的差异范围；
如果否，则触发第一重构模块，所述第一重构模块用于按照结构重参数化的方式对所述压缩卷积层进行重构，得到对应于所述压缩卷积层的第一重构卷积层；
如果是，则触发第二重构模块，所述第二重构模块用于按照核集理论的重要性权重更新规则，对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，再按照结构重参数化的方式对所述缩放卷积层进行重构，得到对应于所述缩放卷积层的第二重构卷积层；
替换模块，用于使用所述第一重构卷积层或者所述第二重构卷积层替换所述图像识别网络中的所述目标卷积层，得到压缩图像识别网络，以基于所述压缩图像识别网络进行图像识别。
一种图像识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述所述的图像识别方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的图像识别方法的步骤。
应用本发明实施例所提供的技术方案，会对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层，后续再按照结构重参数化的方式，通过重构来实现知识的迁移与保存，降低剪枝导致的误差，提高了准确率。进一步的，本申请考虑到，如果压缩卷积层与目标卷积层之间的差异较小，可以直接按照结构重参数化的方式对压缩卷积层进行重构，来提高准确率，得到了对应于压缩卷积层的第一重构卷积层，后续便可以使用第一重构卷积层来替换图像识别网络中的目标卷积层，得到压缩图像识别网络。而如果压缩卷积层与目标卷积层之间的差异较大，即超出了设定的差异范围，说明目标域特征与原域特征之间的差异较大，此时如果仍然直接按照结构重参数化的方式进行重构，虽然也能够在一定程度上提高准确率，但是效果可能不好。对此，本申请的方案中，在重构之前先进行了缩放，即引入了核集理论，按照核集理论的重要性权重更新规则，对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层。然后再按照结构重参数化的方式对缩放卷积层进行重构，得到对应于缩放卷积层的第二重构卷积层。后续便可以使用第二重构卷积层替换图像识别网络中的目标卷积层，得到压缩图像识别网络。由于重构前进行了卷积核的缩放，有利于增强卷积核重构的优化目标函数的非线性拟合能力，也即有利于提高准确率。得到压缩图像识别网络之后，便可以基于压缩图像识别网络进行图像识别。
综上所述，本申请采用结构重参数化结合核集理论的方式，有效地保障了所得到的压缩图像识别网络的图像识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中一种图像识别方法的实施流程图；
图2为本发明中一种图像识别系统的结构示意图；
图3为本发明中一种图像识别设备的结构示意图；
图4为本发明中一种计算机可读存储介质的结构示意图。
具体实施方式
本发明的核心是提供一种图像识别方法，采用结构重参数化结合核集理论的方式，有效地保障了所得到的压缩图像识别网络的图像识别准确率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明中一种图像识别方法的实施流程图，该图像识别方法可以包括以下步骤：
步骤S101：对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层。
具体的，目标卷积层可以是图像识别网络中的任意1层卷积层，换句话说，图像识别网络中的任意1层卷积层，都可以使用本申请的方案实现重构。并且可以理解的是，本申请的方案中，描述的是图像识别网络的目标卷积层的重构过程，而在实际应用中，图像识别网络中可能会有1层或者多层卷积层，则可以根据实际需要，选取任意数量的卷积层来分别执行本申请的方案，例如在通常的实施方式中，可以将图像识别网络中的逐层卷积层先后作为目标卷积层来执行本申请的方案，即对于图像识别网络中每一层卷积层，均可以按照本申请的方案描述来实现重构。
为了实现目标卷积层的重构，首先需要进行目标卷积层的剪枝，从而得到剪枝之后的卷积层，本申请称其为压缩卷积层。
剪枝属于模型压缩方法的其中一种，实现剪枝的具体方式可以有多种，可以根据实际需要进行选取。例如根据网络元素类型，可以分为神经元剪枝和连接剪枝；根据剪枝前后网络结构是否是改变，可以分为结构化剪枝和非结构化剪枝，结构化剪枝例如又可以分为神经元剪枝和连接剪枝；根据在推理阶段是否有剪枝，可以分为静态剪枝和动态剪枝。
在本发明的一种具体实施方式中，步骤S101可以具体包括：对训练完成的图像识别网络的目标卷积层进行随机剪枝，得到剪枝后的压缩卷积层。
该种实施方式考虑到，后续通过重构可以提高图像识别的准确率，因此在剪枝时，可以进行随机剪枝来保障各种可能性，并且随机剪枝的方式也较为容易实现。
进一步的，对训练完成的图像识别网络的目标卷积层进行随机剪枝，得到剪枝后的压缩卷积层，可以具体包括：对训练完成的图像识别网络的目标卷积层的输入通道进行随机剪枝，得到剪枝后的压缩卷积层。
如上文的描述，实现剪枝的具体方式可以有多种，该种具体实施方式中，则采用的是输入通道随机剪枝的方式，即，对训练完成的图像识别网络的目标卷积层的输入通道进行随机剪枝，这样的剪枝方式能够有效地降低卷积层的复杂度。
步骤S102：判断压缩卷积层与目标卷积层之间的差异是否超出设定的差异范围；如果否，则执行步骤S103，如果是，则执行步骤S104。
由于压缩卷积层是通过对目标卷积层进行剪枝而得到的，因此，压缩卷积层与目标卷积层之间存在差异，本申请考虑到，如果二者的差异比较小，可以直接按照结构重参数化的方式进行重构，即执行步骤S103的操作，而如果二者的差异比较大，按照结构重参数化的方式直接进行重构可能无法保障较好的准确率，因此，会先缩放再重构来保障准确率，即执行步骤S104的操作。
衡量压缩卷积层与目标卷积层之间的差异的具体实现方式可以有多种，可以按照实现方式的不同，去相适应地设定差异范围，只要能够有效地判断出压缩卷积层与目标卷积层之间的差异即可。压缩卷积层与目标卷积层之间的差异，也即反映的是压缩后的目标域特征，相较于未压缩的原域特征之间的差异。
在本发明的一种具体实施方式中，步骤S102可以具体包括：
步骤一：将第二图像数据输入至目标卷积层之后，将目标卷积层所输出的特征图F降维成特征向量U；
步骤二：将第二图像数据输入至压缩卷积层之后，将压缩卷积层所输出的特征图降维成特征向量/>；
步骤三：确定出与U之间的多核最大均值差异值d，并判断d小于等于设定的决策阈值/>是否成立；
如果成立，则执行步骤四：判断出压缩卷积层与目标卷积层之间的差异未超出设定的差异范围；
如果不成立，则执行步骤五：判断出压缩卷积层与目标卷积层之间的差异超出设定的差异范围。
如上文的描述，衡量压缩卷积层与目标卷积层之间的差异的具体实现方式可以有多种，该种实施方式中，使用多核最大均值差异值来衡量，相应地，需要设置一个决策阈值。
具体的，该种实施方式中，需要将第二图像数据分别输入至压缩卷积层以及目标卷积层。输入至目标卷积层之后，目标卷积层所输出的特征图记为F，而输入至压缩卷积层之后，压缩卷积层所输出的特征图则记为。为了便于后续的比较，特征图F以及特征图均需要进行降维，得到降维后的特征向量U以及特征向量/>。
将特征图降维的具体实现方式也可以有多种，例如在本发明的一种具体实施方式中，上述步骤一可以具体包括：
通过逐输出通道取均值的方式，将目标卷积层所输出的维度为B×C×S×S的特征图F降维成维度为B×C×1特征向量U；
其中，B表示的是第二图像数据的图像批量大小，C表示的是目标卷积层的输出通道数量，S表示的是每个输出通道的特征图的尺寸大小。
该种实施方式中，考虑到可以通过逐输出通道取均值的方式实现降维，即对于目标卷积层的任意1个输出通道而言，将该输出通道输出的S×S大小的特征图中的各个元素取平均值，从而得到该输出通道的特征向量。因此，对于整个目标卷积层而言，每个输出通道均进行了这样的操作之后，便可以将降维之前的维度为B×C×S×S的特征图F，降维成维度为B×C×1特征向量U。
该实施方式的降维方式，也是实际应用中通常采用的方式，此外可以理解的是，该种实施方式中描述了特征图F降维成特征向量U的过程，对于特征图降维成特征向量/>的过程，原理可以与此相同，便不再重复说明。
完成了降维之后，便可以确定出与U之间的多核最大均值差异值d，并判断d小于等于设定的决策阈值/>是否成立。通常，可以基于高斯核函数，计算/>与U之间的多核MMD（Maximum Mean Discrepancy，最大均值差异）值。
确定出了与U之间的多核最大均值差异值d之后，便可以通过判断d与决策阈值之间的大小，来确定出压缩卷积层与目标卷积层之间的差异是否超出设定的差异范围。可以理解的是，如果计算出的d越小，则说明压缩卷积层与目标卷积层之间的差异越小，因此，当d小于等于决策阈值/>时，便可以判断出压缩卷积层与目标卷积层之间的差异未超出设定的差异范围，进而执行步骤S103的操作，否则执行步骤S104的操作。
此外，对于决策阈值，可以根据经验进行决策阈值/>的设定，并且也可以根据实际使用效果进行决策阈值/>的数值调整。
在本发明的一种具体实施方式中，决策阈值为通过以下操作确定出的数值：
对目标卷积层独立执行R次随机剪枝；
每进行一次随机剪枝之后，将第二图像数据输入至本次随机剪枝所得到的卷积层中，再将该卷积层所输出的特征图降维成特征向量，并且计算出该卷积层所输出的特征图降维成的特征向量与U之间的多核最大均值差异值；
将R次随机剪枝之后得到的R个多核最大均值差异值的平均值，作为决策阈值。
如上文的描述，对于决策阈值，可以根据经验进行决策阈值/>的设定，而该种实施方式则进一步地考虑到，可以对目标卷积层多次随机剪枝，基于这些剪枝结果与目标卷积层之间的平均差异，来进行决策阈值/>的设定。
此外还需要强调的是，如上文的描述，目标卷积层可以是图像识别网络中的任意1层卷积层，在实际应用中，图像识别网络中可能会有1层或者多层卷积层先后作为目标卷积层来执行本申请的方案。而该种实施方式中，确定出决策阈值的过程，需要使用目标卷积层所输出的特征图F降维而成的特征向量U，这也就意味着对于图像识别网络中的不同的卷积层，按照本申请的该种实施方式执行时，得到的决策阈值/>的取值可以是不同的，即该种实施方式中，实现了决策阈值/>的动态自适应设计，使得图像识别网络中不同的卷积层作为目标卷积层执行本申请的方案时，能够适应性地选取出最合适的重构方式，即具体是执行步骤S103的直接重构还是执行步骤S104的先缩放再重构。
该种实施方式中，会对目标卷积层分别进行多次随机剪枝，即独立执行R次随机剪枝，例如R为10，则是对目标卷积层进行10次随机剪枝，这10次随机剪枝相互独立，即剪枝对象均是未剪枝时的目标卷积层。
每进行一次随机剪枝之后，将第二图像数据输入至本次随机剪枝所得到的卷积层中，可以得到该卷积层所输出的特征图，进而按照与上文相同的原理，对该卷积层所输出的特征图进行降维，得到特征向量，最后再计算出该特征向量与U之间的多核最大均值差异值。
由于进行了R次随机剪枝，因此可以得到R个多核最大均值差异值，将这R个多核最大均值差异值的平均值作为决策阈值。
进一步的，在本发明的一种具体实施方式中，还可以包括：
判断d大于设定的告警阈值是否成立；
如果成立，则输出告警提示。
如上文的描述，通过与U之间的多核最大均值差异值d，可以来衡量压缩卷积层与目标卷积层之间的差异，该种实施方式进一步地考虑到，如果d的数值较大，使用本申请的先缩放再重构的方案仍然能够保障图像识别的准确率，但是如果d的数值过大，说明可能剪枝地不合理，因此可以输出告警提示以便工作人员注意到该情况，例如出现这种情况时可以重新剪枝。
即在本发明的一种具体实施方式中，还可以包括：
接收重剪枝指令，并返回执行对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层的操作。
该种实施方式中，工作人员可以发送重剪枝指令，当接收到重剪枝指令时，说明之前执行步骤S101时进行剪枝后得到的压缩卷积层可能不合理，即与目标卷积层差异过大，不利于实现良好的知识迁移，因此可以返回执行步骤S101的操作，来重新对目标卷积层进行剪枝，即重新得到压缩卷积层。当然，这样的实施方式通常应用在随机剪枝的场合中，即在执行步骤S101时是对目标卷积层进行随机剪枝。
进一步的，在本发明的一种具体实施方式中，还可以包括：在判断出d大于设定的告警阈值成立之后，进行事件记录。该种实施方式考虑到，如果d的数值过大，说明剪枝地不合理，因此可以进行事件记录，以便于协助工作人员后续的统计分析，例如，经过统计发现，进行的各次事件记录中，大都发生了对某个输入通道进行剪枝的情况，对此，可以在后续的剪枝重构过程中，禁止对该输入通道进行剪枝的情况。也就是说，可以根据事件记录，对于随机剪枝的操作进行一定的限定和调整，降低d过大的情况的发生概率。
步骤S103：按照结构重参数化的方式对压缩卷积层进行重构，得到对应于压缩卷积层的第一重构卷积层。
当压缩卷积层与目标卷积层之间的差异未超出设定的差异范围时，便可以直接按照结构重参数化的方式对压缩卷积层进行重构，得到的重构结果称为第一重构卷积层。通过重构，可以实现知识迁移，有效地减小了剪枝误差，也就减小了后续进行微调时所需的迭代次数，优化了本申请的压缩图像识别网络的构建效率。
进一步的，在本发明的一种具体实施方式中，步骤S103可以具体包括：
将第一图像数据分别输入至目标卷积层和压缩卷积层，并确定出目标卷积层所输出的特征图与压缩卷积层所输出的特征图之间的差△F；
按照结构重参数化的方式为压缩卷积层添加辅助卷积分支，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于压缩卷积层的第一重构卷积层，并删除为压缩卷积层添加的辅助卷积分支；
其中，X表示的是第一图像数据，W表示的是压缩卷积层的卷积核权重参数，表示的是第一重构卷积层的卷积核权重参数，优化函数/>表示的是将取值最低作为优化目标。
该种实施方式中，首先需要将第一图像数据X分别输入至目标卷积层和压缩卷积层，进而确定出目标卷积层所输出的特征图与压缩卷积层所输出的特征图之间的差△F，可以看出，△F能够反映出目标卷积层与压缩卷积层之间的差异。
随后，则是为压缩卷积层添加1条辅助卷积分支，可以理解的是，该辅助卷积分支的卷积核的输入、输出维度，分别与主分支上的压缩卷积层的卷积核的输入、输出维度相同。
以输出特征图的差分量△F为重构目标，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W。也就是说，计算出能够让/>取得最小值的△W。在理想情况下，△W * X的结果应当等于△F，表示的含义是理想情况下，将第一图像数据X输入至辅助卷积分支，该辅助卷积分支所输出的特征图为△F，这样在后续进行叠加之后，便能够抵消目标卷积层与压缩卷积层之间的差异。
最后，将辅助卷积分支的卷积核的权重参数整合到主分支的卷积核的权重参数中，便可以移除辅助卷积分支。用公式表示便是，也即，将辅助卷积分支的卷积核权重参数△W，直接与压缩卷积层的卷积核权重参数W叠加，得到的便是重构出的第一重构卷积层的卷积核权重参数/>。
该种实施方式中，按照结构重参数化的方式实现重构时，具体采用的方案是以直接叠加的方式，来整合辅助卷积分支和主分支，以保留目标卷积层的卷积核在大规模数据集上训练所得到的图像识别知识，简单方便地实现了知识迁移，不会出现如传统的重构方法中，由于数据依赖性所导致的压缩后网络的准确率下降的情况，即本申请的重构方案不存在数据依赖性。
进一步的，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W，可以具体包括：将/>作为优化函数，通过最小二乘法的求解方式，确定出辅助卷积分支的卷积核权重参数△W。该种实施方式中，考虑到求解该优化函数时，通过最小二乘法的求解方式较为简单方便，计算效率较高，便于方案的应用。
步骤S104：按照核集理论的重要性权重更新规则，对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，再按照结构重参数化的方式对缩放卷积层进行重构，得到对应于缩放卷积层的第二重构卷积层。
如果压缩卷积层与目标卷积层之间差异较大，直接进行重构可能无法保障较好的准确率，因此，会先缩放再重构来保障准确率，即执行步骤S104的操作。
本申请的方案将核集理论的重要性权重更新规则引入了剪枝后的卷积核的重构过程，且后文的实施方式中，给出了结合核集理论与结构重参数化技术形成通道级卷积核重构的具体方案。
在本发明的一种具体实施方式中，步骤S104描述的按照核集理论的重要性权重更新规则，对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，可以具体包括以下两个步骤：
第一个步骤：按照核集理论的重要性权重更新规则，确定出压缩卷积层的缩放系数矩阵A；
第二个步骤：通过缩放系数矩阵A对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层。
该种实施方式考虑到，按照核集理论的重要性权重更新规则，需要先确定出压缩卷积层的缩放系数矩阵A，进而才可以通过缩放系数矩阵A对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层。
实际应用中，上述第二个步骤可以具体包括：将缩放系数矩阵A与压缩卷积层的卷积核相乘，得到经过缩放的缩放卷积层，操作上较为简单方便，将缩放系数矩阵A与压缩卷积层的卷积核相乘，也即逐个输出通道，将输出通道的缩放系数向量与各输入通道相乘，从而获得经缩放的卷积核，也即得到了缩放卷积层。
进一步的，在本发明的一种具体实施方式中，第一个步骤可以具体包括：
按照核集理论的重要性权重更新规则，确定出目标卷积层的各个输出通道的重要性向量；
针对目标卷积层的任意1个输出通道，将该输出通道的重要性向量中的各个数值作为相应输入通道的采样概率，进行多轮随机概率采样，将统计出的各个输入通道的被采样频次作为该输出通道的缩放系数向量；
将所有输出通道的缩放系数向量组成压缩卷积层的缩放系数矩阵A。
该种实施方式中，首先需要按照核集理论的重要性权重更新规则，确定出目标卷积层的各个输出通道的重要性向量，即每个输出通道均有该输出通道的重要性向量，各个输出通道的重要性向量便可以构成重要性矩阵。之后，需要逐个输出通道进行缩放系数向量的计算。
在传统的核集理论的重要性权重更新规则中，依据核集理论，查询空间中每个采样点q具有一个损失函数和一个重要性权重v，每次查询即采样后核集中各采样点的重要性权重会被更新，更新规则可以表示为：。
其中的是第i个采样点更新后的重要性权重，/>是定义符号，/>是第i个采样点更新前的重要性权重，m是预设的总采样次数，pr(q)是采样点的采样概率，某个采样点的采样概率等于该采样点的重要性与所有点的重要性之和的比值。该更新规则的含义是在采样过程中，某个采样点的重要性权重不断累加，即某个采样点第k+1次被采样后，其重要性权重值等于该采样点第k次被采样后的重要性权重值累加一个增量，这个增量是由该采样点在采样开始前的重要性权重/>计算得到的。
本申请的该种实施方式中，是将重要性权重的更新规则，简化成只与核集构建过程中各采样点被采样频次相关，用公式可以表示为：。/>表示的是核集构建过程中采样点被采样频次，简化前的重要性权重的更新规则，相当于是有放回采样，总共采样m次，每次只采样1个点。而本申请简化后的重要性权重的更新规则公式，相当于是设定次数的无放回批量采样，每次采样预设数量的多个点，经过设定次数的采样后统计各采样点被采样频次/>，设定次数可以远远小于m，从而极大的提高核集构建效率。
因此，本申请的该种实施方式中，针对目标卷积层的任意1个输出通道，采用的方式便是直接将该输出通道的重要性向量中的各个数值作为相应输入通道的采样概率，进行多轮随机概率采样，即可将统计出的各个输入通道的被采样频次作为该输出通道的缩放系数向量。
例如对于目标卷积层的某个输出通道的重要性向量，其中包括5个数值，则将这5个数值分别作为第1至第5输入通道的采样概率，例如压缩卷积层的输入通道数量为3，则按照这5个输入通道的采样概率，每次采样目标卷积层的3个输入通道。经过多轮随机概率采样之后，便可以统计出目标卷积层的各个输入通道的被采样频次，也即得到了目标卷积层的该输出通道的缩放系数向量。
每个输出通道均按照该输出通道的重要性向量，进行了上述的多轮随机概率采样操作之后，便可以得到目标卷积层的所有输出通道的缩放系数向量，便组成了所需要的压缩卷积层的缩放系数矩阵A。
在本发明的一种具体实施方式中，按照核集理论的重要性权重更新规则，确定出目标卷积层的各个输出通道的重要性向量，可以具体包括：
针对目标卷积层的任意1个输出通道，确定出该输出通道的各个单位核的L1范数并进行降序排序，并且将排序中第D个单位核的L1范数作为该输出通道的第一阈值；
针对目标卷积层的任意1个输出通道的任意1个单位核，当该单位核的L1范数低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/（D+1），当该单位核的L1范数不低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/[（D+1）×（N-D）]；
确定出目标卷积层的各个输出通道的重要性向量；其中，针对目标卷积层的任意1个输出通道，将该输出通道的各个单位核的重要性数值组成该输出通道的重要性向量；D表示的是压缩卷积层的输入通道数量，N表示的是目标卷积层的输入通道数量。
例如一种场合中，目标卷积层的卷积核表示为4维的权值参数（N×C×K×K），此处的N表示的是目标卷积层的输入通道数量，C表示的是目标卷积层的输出通道数量。按照输出通道数可以划分为单个滤波器（N×1×K×K），即划分出的滤波器的数量便等于输出通道数量。之后，针对任意1个滤波器，即针对任意1个输出通道，可以分别确定出该输出通道的重要性向量。
该例子中，针对目标卷积层的任意1个输出通道，由于输入通道数量为N，因此1个输出通道可以划分为N个核，也即N个单位核，换句话说，1个滤波器可以划分为N个单位核，每个单位核大小均为K×K。针对该输出通道的N个单位核，需要计算出每一个单位核的L1范数，并进行降序排序，并且将排序中第D个单位核的L1范数作为该输出通道的第一阈值。可以看出，对于不同的输出通道，第一阈值的取值不同。
针对目标卷积层的任意1个输出通道，确定出该输出通道的第一阈值之后，便可以遍历该输出通道的N个单位核，依次与该输出通道的第一阈值进行比较，如果某一个单位核的L1范数低于该输出通道的第一阈值，则该单位核的重要性数值设置为1/（D+1），反之则将该单位核的重要性数值设置为1/[（D+1）×（N-D）]。
最后，针对目标卷积层的任意1个输出通道，该输出通道的各个单位核的重要性数值便可以组成该输出通道的重要性向量。逐个输出通道确定出重要性向量之后，可以构成重要性矩阵。
可以看出，本申请确定出各个输出通道的重要性向量的过程中，并未使用到图像数据输入至目标卷积层，因此，本申请的各个输出通道的重要性向量均具有数据无关性，也即该种实施方式中，每个输出通道的重要性向量的计算，采用的是无数据依赖性的计算方式。
步骤S105：使用第一重构卷积层或者第二重构卷积层替换图像识别网络中的目标卷积层，得到压缩图像识别网络，以基于压缩图像识别网络进行图像识别。
本申请有直接重构的方式，和缩放后再重构的方式，因此，如果执行的是步骤S103，则使用步骤S103中得到的第一重构卷积层替换图像识别网络中的目标卷积层，相应的，如果执行的是步骤S104，则使用步骤S104中得到的第二重构卷积层替换图像识别网络中的目标卷积层。
替换完成之后，便可以得到压缩图像识别网络。当然，在部分实施方式中，可以对图像识别网络中的多层卷积层分别执行本申请的方案，则这些卷积层均可以进行替换，得到相应实施方式中所需要的压缩图像识别网络。
得到压缩图像识别网络，便可以基于压缩图像识别网络进行图像识别，应用本申请的方案，可以有效地保障压缩图像识别网络进行图像识别的准确率。
在本发明的一种具体实施方式中，基于压缩图像识别网络进行图像识别，可以具体包括：基于部署于边缘设备中的压缩图像识别网络进行图像识别。
本申请的方案进行了卷积层的重构，通常是由于图像识别网络较为复杂，难以直接应用在计算和存储资源受限的边缘设备上所导致的，进行了重构之后，使得边缘设备上可以进行部署，也即可以基于部署于边缘设备中的压缩图像识别网络进行图像识别。
此外，实际应用中，可以将本申请的压缩图像识别网络部署在基于FPGA（FieldProgrammable Gate Array，现场可编程门阵列）的应用或者使用AI加速芯片的软件平台中，根据需要进行部署即可。
在本发明的一种具体实施方式中，步骤S104描述的按照结构重参数化的方式对缩放卷积层进行重构，得到对应于缩放卷积层的第二重构卷积层，可以具体包括：
将第一图像数据分别输入至目标卷积层和缩放卷积层，并确定出目标卷积层所输出的特征图与缩放卷积层所输出的特征图之间的差△G；
按照结构重参数化的方式为缩放卷积层添加辅助卷积分支，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于缩放卷积层的第二重构卷积层，并删除为缩放卷积层添加的辅助卷积分支；/>
其中，X表示的是第一图像数据，A表示的是缩放系数矩阵，W表示的是压缩卷积层的卷积核权重参数，表示的是第二重构卷积层的卷积核权重参数，优化函数表示的是将/>取值最低作为优化目标。
对缩放卷积层进行重构的过程，与上文描述的对压缩卷积层进行重构的过程类似，可与上文对应参照，在重构完成之后，得到的卷积层称为第二重构卷积层。
该种实施方式中，首先需要将第一图像数据X分别输入至目标卷积层和缩放卷积层，进而确定出目标卷积层所输出的特征图与缩放卷积层所输出的特征图之间的差△G，可以看出，△G能够反映出目标卷积层与缩放卷积层之间的差异。
随后，则是为缩放卷积层添加1条辅助卷积分支，再将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W。也就是说，计算出能够让取得最小值的△W。理想情况下，△W * X的结果应当等于△G，表示的含义是理想情况下，将第一图像数据X输入至辅助卷积分支，该辅助卷积分支所输出的特征图为△G，这样在后续进行叠加之后，能够抵消目标卷积层与缩放卷积层之间的差异。
最后，将辅助卷积分支的卷积核的权重参数整合到主分支的卷积核的权重参数中，便可以移除辅助分支。用公式表示便是，也即，利用缩放系数矩阵A对压缩卷积层的卷积核权重参数W进行缩放，得到经过缩放的缩放卷积层，然后与辅助卷积分支的卷积核权重参数△W叠加，得到的便是重构出的第二重构卷积层的卷积核权重参数/>。
该种实施方式中，按照结构重参数化的方式实现重构时，具体采用的方案是先缩放再叠加辅助卷积分支的方式，来整合辅助卷积分支和主分支，以保留目标卷积层的卷积核在大规模数据集上训练所得到的图像识别知识，简单方便地实现了知识迁移，不会出现如传统的重构方法中，由于数据依赖性所导致的压缩后网络的准确率下降的情况，即本申请的重构方案不存在数据依赖性。
进一步的，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W，可以具体包括：将/>作为优化函数，通过最小二乘法的求解方式，确定出辅助卷积分支的卷积核权重参数△W。该种实施方式中，考虑到求解该优化函数时，通过最小二乘法的求解方式较为简单方便，计算效率较高，便于方案的应用。
应用本发明实施例所提供的技术方案，会对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层，后续再按照结构重参数化的方式，通过重构来实现知识的迁移与保存，降低剪枝导致的误差，提高了准确率。进一步的，本申请考虑到，如果压缩卷积层与目标卷积层之间的差异较小，可以直接按照结构重参数化的方式对压缩卷积层进行重构，来提高准确率，得到了对应于压缩卷积层的第一重构卷积层，后续便可以使用第一重构卷积层来替换图像识别网络中的目标卷积层，得到压缩图像识别网络。而如果压缩卷积层与目标卷积层之间的差异较大，即超出了设定的差异范围，说明目标域特征与原域特征之间的差异较大，此时如果仍然直接按照结构重参数化的方式进行重构，虽然也能够在一定程度上提高准确率，但是效果可能不好。对此，本申请的方案中，在重构之前先进行了缩放，即引入了核集理论，按照核集理论的重要性权重更新规则，对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层。然后再按照结构重参数化的方式对缩放卷积层进行重构，得到对应于缩放卷积层的第二重构卷积层。后续便可以使用第二重构卷积层替换图像识别网络中的目标卷积层，得到压缩图像识别网络。由于重构前进行了卷积核的缩放，有利于增强卷积核重构的优化目标函数的非线性拟合能力，也即有利于提高准确率。得到压缩图像识别网络之后，便可以基于压缩图像识别网络进行图像识别。
综上所述，本申请采用结构重参数化结合核集理论的方式，有效地保障了所得到的压缩图像识别网络的图像识别准确率。
相应于上面的方法实施例，本发明实施例还提供了一种图像识别系统，可与上文相互对应参照。
参见图2所示，为本发明中一种图像识别系统的结构示意图，包括：
剪枝模块201，用于对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层；
差异判断模块202，用于判断压缩卷积层与目标卷积层之间的差异是否超出设定的差异范围；
如果否，则触发第一重构模块203，第一重构模块203用于按照结构重参数化的方式对压缩卷积层进行重构，得到对应于压缩卷积层的第一重构卷积层；
如果是，则触发第二重构模块204，第二重构模块204用于按照核集理论的重要性权重更新规则，对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，再按照结构重参数化的方式对缩放卷积层进行重构，得到对应于缩放卷积层的第二重构卷积层；
替换模块205，用于使用第一重构卷积层或者第二重构卷积层替换图像识别网络中的目标卷积层，得到压缩图像识别网络，以基于压缩图像识别网络进行图像识别。
在本发明的一种具体实施方式中，第一重构模块203具体用于：
将第一图像数据分别输入至目标卷积层和压缩卷积层，并确定出目标卷积层所输出的特征图与压缩卷积层所输出的特征图之间的差△F；
按照结构重参数化的方式为压缩卷积层添加辅助卷积分支，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于压缩卷积层的第一重构卷积层，并删除为压缩卷积层添加的辅助卷积分支；
其中，X表示的是第一图像数据，W表示的是压缩卷积层的卷积核权重参数，表示的是第一重构卷积层的卷积核权重参数，优化函数/>表示的是将取值最低作为优化目标。
在本发明的一种具体实施方式中，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W，包括：
将作为优化函数，通过最小二乘法的求解方式，确定出辅助卷积分支的卷积核权重参数△W。
在本发明的一种具体实施方式中，剪枝模块201具体用于：
对训练完成的图像识别网络的目标卷积层进行随机剪枝，得到剪枝后的压缩卷积层。
在本发明的一种具体实施方式中，剪枝模块201具体用于：
对训练完成的图像识别网络的目标卷积层的输入通道进行随机剪枝，得到剪枝后的压缩卷积层。
在本发明的一种具体实施方式中，第二重构模块204按照结构重参数化的方式对缩放卷积层进行重构，得到对应于缩放卷积层的第二重构卷积层，包括：
将第一图像数据分别输入至目标卷积层和缩放卷积层，并确定出目标卷积层所输出的特征图与缩放卷积层所输出的特征图之间的差△G；
按照结构重参数化的方式为缩放卷积层添加辅助卷积分支，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于缩放卷积层的第二重构卷积层，并删除为缩放卷积层添加的辅助卷积分支；
其中，X表示的是第一图像数据，A表示的是缩放系数矩阵，W表示的是压缩卷积层的卷积核权重参数，表示的是第二重构卷积层的卷积核权重参数，优化函数表示的是将/>取值最低作为优化目标。
在本发明的一种具体实施方式中，将作为优化函数，确定出辅助卷积分支的卷积核权重参数△W：
将作为优化函数，通过最小二乘法的求解方式，确定出辅助卷积分支的卷积核权重参数△W。
在本发明的一种具体实施方式中，第二重构模块204按照核集理论的重要性权重更新规则，对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，包括：
按照核集理论的重要性权重更新规则，确定出压缩卷积层的缩放系数矩阵A；
通过缩放系数矩阵A对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层。
在本发明的一种具体实施方式中，按照核集理论的重要性权重更新规则，确定出压缩卷积层的缩放系数矩阵A，包括：
按照核集理论的重要性权重更新规则，确定出目标卷积层的各个输出通道的重要性向量；
针对目标卷积层的任意1个输出通道，将该输出通道的重要性向量中的各个数值作为相应输入通道的采样概率，进行多轮随机概率采样，将统计出的各个输入通道的被采样频次作为该输出通道的缩放系数向量；
将所有输出通道的缩放系数向量组成压缩卷积层的缩放系数矩阵A。
在本发明的一种具体实施方式中，按照核集理论的重要性权重更新规则，确定出目标卷积层的各个输出通道的重要性向量，包括：
针对目标卷积层的任意1个输出通道，确定出该输出通道的各个单位核的L1范数并进行降序排序，并且将排序中第D个单位核的L1范数作为该输出通道的第一阈值；
针对目标卷积层的任意1个输出通道的任意1个单位核，当该单位核的L1范数低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/（D+1），当该单位核的L1范数不低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/[（D+1）×（N-D）]；
确定出目标卷积层的各个输出通道的重要性向量；其中，针对目标卷积层的任意1个输出通道，将该输出通道的各个单位核的重要性数值组成该输出通道的重要性向量；D表示的是压缩卷积层的输入通道数量，N表示的是目标卷积层的输入通道数量。
在本发明的一种具体实施方式中，通过缩放系数矩阵A对压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，包括：
将缩放系数矩阵A与压缩卷积层的卷积核相乘，得到经过缩放的缩放卷积层。
在本发明的一种具体实施方式中，基于压缩图像识别网络进行图像识别，包括：
基于部署于边缘设备中的压缩图像识别网络进行图像识别。
在本发明的一种具体实施方式中，差异判断模块202具体用于：
将第二图像数据输入至目标卷积层之后，将目标卷积层所输出的特征图F降维成特征向量U；
将第二图像数据输入至压缩卷积层之后，将压缩卷积层所输出的特征图降维成特征向量/>；
确定出与U之间的多核最大均值差异值d，并判断d小于等于设定的决策阈值是否成立；
如果成立，则判断出压缩卷积层与目标卷积层之间的差异未超出设定的差异范围；
如果不成立，则判断出压缩卷积层与目标卷积层之间的差异超出设定的差异范围。
在本发明的一种具体实施方式中，将目标卷积层所输出的特征图F降维成特征向量U，包括：
通过逐输出通道取均值的方式，将目标卷积层所输出的维度为B×C×S×S的特征图F降维成维度为B×C×1特征向量U；
其中，B表示的是第二图像数据的图像批量大小，C表示的是目标卷积层的输出通道数量，S表示的是每个输出通道的特征图的尺寸大小。
在本发明的一种具体实施方式中，决策阈值为通过以下操作确定出的数值：
对目标卷积层独立执行R次随机剪枝；R为不小于2的正整数；
每进行一次随机剪枝之后，将第二图像数据输入至本次随机剪枝所得到的卷积层中，再将该卷积层所输出的特征图降维成特征向量，并且计算出该卷积层所输出的特征图降维成的特征向量与U之间的多核最大均值差异值；
将R次随机剪枝之后得到的R个多核最大均值差异值的平均值，作为决策阈值。/>
在本发明的一种具体实施方式中，差异判断模块202还用于：
判断d大于设定的告警阈值是否成立；
如果成立，则输出告警提示。
在本发明的一种具体实施方式中，还包括重置模块，用于：
接收重剪枝指令，并返回执行对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层的操作。
在本发明的一种具体实施方式中，还包括记录模块，用于：
在判断出d大于设定的告警阈值成立之后，进行事件记录。
相应于上面的方法和系统实施例，本发明实施例还提供了一种图像识别设备以及一种计算机可读存储介质，可与上文相互对应参照。
可参阅图3，该图像识别设备可以包括：
存储器301，用于存储计算机程序；
处理器302，用于执行计算机程序以实现如上述任一实施例中的图像识别方法的步骤。
可参阅图4，该计算机可读存储介质40上存储有计算机程序41，计算机程序41被处理器执行时实现如上述任一实施例中的图像识别方法的步骤。这里所说的计算机可读存储介质40这里所说的计算机可读存储介质包括随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围内。
Claims (16)
1.一种图像识别方法，其特征在于，包括：
对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层；
判断所述压缩卷积层与所述目标卷积层之间的差异是否超出设定的差异范围；
如果否，则按照结构重参数化的方式对所述压缩卷积层进行重构，得到对应于所述压缩卷积层的第一重构卷积层；
如果是，则按照核集理论的重要性权重更新规则，对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，再按照结构重参数化的方式对所述缩放卷积层进行重构，得到对应于所述缩放卷积层的第二重构卷积层；
使用所述第一重构卷积层或者所述第二重构卷积层替换所述图像识别网络中的所述目标卷积层，得到压缩图像识别网络，以基于所述压缩图像识别网络进行图像识别；
所述按照结构重参数化的方式对所述压缩卷积层进行重构，得到对应于所述压缩卷积层的第一重构卷积层，包括：
将第一图像数据分别输入至所述目标卷积层和所述压缩卷积层，并确定出所述目标卷积层所输出的特征图与所述压缩卷积层所输出的特征图之间的差△F；
按照结构重参数化的方式为所述压缩卷积层添加辅助卷积分支，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于所述压缩卷积层的第一重构卷积层，并删除为所述压缩卷积层添加的所述辅助卷积分支；
其中，X表示的是所述第一图像数据，W表示的是所述压缩卷积层的卷积核权重参数，表示的是所述第一重构卷积层的卷积核权重参数，优化函数/>表示的是将/>取值最低作为优化目标；
所述按照核集理论的重要性权重更新规则，对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，包括：
按照核集理论的重要性权重更新规则，确定出所述压缩卷积层的缩放系数矩阵A；
通过缩放系数矩阵A对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层；
所述按照核集理论的重要性权重更新规则，确定出所述压缩卷积层的缩放系数矩阵A，包括：
按照核集理论的重要性权重更新规则，确定出所述目标卷积层的各个输出通道的重要性向量；
针对所述目标卷积层的任意1个输出通道，将该输出通道的重要性向量中的各个数值作为相应输入通道的采样概率，进行多轮随机概率采样，将统计出的各个输入通道的被采样频次作为该输出通道的缩放系数向量；
将所有输出通道的缩放系数向量组成所述压缩卷积层的缩放系数矩阵A；
所述按照核集理论的重要性权重更新规则，确定出所述目标卷积层的各个输出通道的重要性向量，包括：
针对所述目标卷积层的任意1个输出通道，确定出该输出通道的各个单位核的L1范数并进行降序排序，并且将排序中第D个单位核的L1范数作为该输出通道的第一阈值；
针对所述目标卷积层的任意1个输出通道的任意1个单位核，当该单位核的L1范数低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/（D+1），当该单位核的L1范数不低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/[（D+1）×（N-D）]；
确定出所述目标卷积层的各个输出通道的重要性向量；其中，针对所述目标卷积层的任意1个输出通道，将该输出通道的各个单位核的重要性数值组成该输出通道的重要性向量；D表示的是所述压缩卷积层的输入通道数量，N表示的是所述目标卷积层的输入通道数量。
2.根据权利要求1所述的图像识别方法，其特征在于，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W，包括：
将作为优化函数，通过最小二乘法的求解方式，确定出所述辅助卷积分支的卷积核权重参数△W。
3.根据权利要求1所述的图像识别方法，其特征在于，所述对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层，包括：
对训练完成的图像识别网络的目标卷积层进行随机剪枝，得到剪枝后的压缩卷积层。
4.根据权利要求3所述的图像识别方法，其特征在于，所述对训练完成的图像识别网络的目标卷积层进行随机剪枝，得到剪枝后的压缩卷积层，包括：
对训练完成的图像识别网络的目标卷积层的输入通道进行随机剪枝，得到剪枝后的压缩卷积层。
5.根据权利要求1所述的图像识别方法，其特征在于，所述按照结构重参数化的方式对所述缩放卷积层进行重构，得到对应于所述缩放卷积层的第二重构卷积层，包括：
将第一图像数据分别输入至所述目标卷积层和所述缩放卷积层，并确定出所述目标卷积层所输出的特征图与所述缩放卷积层所输出的特征图之间的差△G；
按照结构重参数化的方式为所述缩放卷积层添加辅助卷积分支，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于所述缩放卷积层的第二重构卷积层，并删除为所述缩放卷积层添加的所述辅助卷积分支；
其中，X表示的是所述第一图像数据，A表示的是缩放系数矩阵，W表示的是所述压缩卷积层的卷积核权重参数，表示的是所述第二重构卷积层的卷积核权重参数，优化函数表示的是将/>取值最低作为优化目标。
6.根据权利要求5所述的图像识别方法，其特征在于，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W：
将作为优化函数，通过最小二乘法的求解方式，确定出所述辅助卷积分支的卷积核权重参数△W。
7.根据权利要求1所述的图像识别方法，其特征在于，所述通过缩放系数矩阵A对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，包括：
将所述缩放系数矩阵A与所述压缩卷积层的卷积核相乘，得到经过缩放的缩放卷积层。
8.根据权利要求1至7任一项所述的图像识别方法，其特征在于，所述判断所述压缩卷积层与所述目标卷积层之间的差异是否超出设定的差异范围，包括：
将第二图像数据输入至所述目标卷积层之后，将所述目标卷积层所输出的特征图F降维成特征向量U；
将所述第二图像数据输入至所述压缩卷积层之后，将所述压缩卷积层所输出的特征图降维成特征向量/>；
确定出与U之间的多核最大均值差异值d，并判断d小于等于设定的决策阈值/>是否成立；
如果成立，则判断出所述压缩卷积层与所述目标卷积层之间的差异未超出设定的差异范围；
如果不成立，则判断出所述压缩卷积层与所述目标卷积层之间的差异超出设定的差异范围。
9.根据权利要求8所述的图像识别方法，其特征在于，将所述目标卷积层所输出的特征图F降维成特征向量U，包括：
通过逐输出通道取均值的方式，将所述目标卷积层所输出的维度为B×C×S×S的特征图F降维成维度为B×C×1特征向量U；
其中，B表示的是所述第二图像数据的图像批量大小，C表示的是所述目标卷积层的输出通道数量，S表示的是每个输出通道的特征图的尺寸大小。
10.根据权利要求8所述的图像识别方法，其特征在于，所述决策阈值为通过以下操作确定出的数值：
对所述目标卷积层独立执行R次随机剪枝；R为不小于2的正整数；
每进行一次随机剪枝之后，将所述第二图像数据输入至本次随机剪枝所得到的卷积层中，再将该卷积层所输出的特征图降维成特征向量，并且计算出该卷积层所输出的特征图降维成的特征向量与U之间的多核最大均值差异值；
将R次随机剪枝之后得到的R个多核最大均值差异值的平均值，作为决策阈值。
11.根据权利要求8所述的图像识别方法，其特征在于，还包括：
判断d大于设定的告警阈值是否成立；
如果成立，则输出告警提示。
12.根据权利要求11所述的图像识别方法，其特征在于，还包括：
接收重剪枝指令，并返回执行所述对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层的操作。
13.根据权利要求11所述的图像识别方法，其特征在于，还包括：
在判断出d大于设定的告警阈值成立之后，进行事件记录。
14.一种图像识别系统，其特征在于，包括：
剪枝模块，用于对训练完成的图像识别网络的目标卷积层进行剪枝，得到剪枝后的压缩卷积层；
差异判断模块，用于判断所述压缩卷积层与所述目标卷积层之间的差异是否超出设定的差异范围；
如果否，则触发第一重构模块，所述第一重构模块用于按照结构重参数化的方式对所述压缩卷积层进行重构，得到对应于所述压缩卷积层的第一重构卷积层；
如果是，则触发第二重构模块，所述第二重构模块用于按照核集理论的重要性权重更新规则，对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，再按照结构重参数化的方式对所述缩放卷积层进行重构，得到对应于所述缩放卷积层的第二重构卷积层；
替换模块，用于使用所述第一重构卷积层或者所述第二重构卷积层替换所述图像识别网络中的所述目标卷积层，得到压缩图像识别网络，以基于所述压缩图像识别网络进行图像识别；
所述按照结构重参数化的方式对所述压缩卷积层进行重构，得到对应于所述压缩卷积层的第一重构卷积层，包括：
将第一图像数据分别输入至所述目标卷积层和所述压缩卷积层，并确定出所述目标卷积层所输出的特征图与所述压缩卷积层所输出的特征图之间的差△F；
按照结构重参数化的方式为所述压缩卷积层添加辅助卷积分支，将作为优化函数，确定出所述辅助卷积分支的卷积核权重参数△W；
按照的计算方式，得到对应于所述压缩卷积层的第一重构卷积层，并删除为所述压缩卷积层添加的所述辅助卷积分支；
其中，X表示的是所述第一图像数据，W表示的是所述压缩卷积层的卷积核权重参数，表示的是所述第一重构卷积层的卷积核权重参数，优化函数/>表示的是将/>取值最低作为优化目标；
所述按照核集理论的重要性权重更新规则，对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层，包括：
按照核集理论的重要性权重更新规则，确定出所述压缩卷积层的缩放系数矩阵A；
通过缩放系数矩阵A对所述压缩卷积层的卷积核进行缩放，得到经过缩放的缩放卷积层；
所述按照核集理论的重要性权重更新规则，确定出所述压缩卷积层的缩放系数矩阵A，包括：
按照核集理论的重要性权重更新规则，确定出所述目标卷积层的各个输出通道的重要性向量；
针对所述目标卷积层的任意1个输出通道，将该输出通道的重要性向量中的各个数值作为相应输入通道的采样概率，进行多轮随机概率采样，将统计出的各个输入通道的被采样频次作为该输出通道的缩放系数向量；
将所有输出通道的缩放系数向量组成所述压缩卷积层的缩放系数矩阵A；
所述按照核集理论的重要性权重更新规则，确定出所述目标卷积层的各个输出通道的重要性向量，包括：
针对所述目标卷积层的任意1个输出通道，确定出该输出通道的各个单位核的L1范数并进行降序排序，并且将排序中第D个单位核的L1范数作为该输出通道的第一阈值；
针对所述目标卷积层的任意1个输出通道的任意1个单位核，当该单位核的L1范数低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/（D+1），当该单位核的L1范数不低于该输出通道的第一阈值时，将该单位核的重要性数值设置为1/[（D+1）×（N-D）]；
确定出所述目标卷积层的各个输出通道的重要性向量；其中，针对所述目标卷积层的任意1个输出通道，将该输出通道的各个单位核的重要性数值组成该输出通道的重要性向量；D表示的是所述压缩卷积层的输入通道数量，N表示的是所述目标卷积层的输入通道数量。
15.一种图像识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至13任一项所述的图像识别方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的图像识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310484624.4A CN116206188B (zh) | 2023-05-04 | 2023-05-04 | 一种图像识别方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310484624.4A CN116206188B (zh) | 2023-05-04 | 2023-05-04 | 一种图像识别方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116206188A CN116206188A (zh) | 2023-06-02 |
| CN116206188B true CN116206188B (zh) | 2023-07-21 |
Family
ID=86508029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310484624.4A Active CN116206188B (zh) | 2023-05-04 | 2023-05-04 | 一种图像识别方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116206188B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159173A (zh) * | 2021-04-20 | 2021-07-23 | 北京邮电大学 | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11403486B2 (en) * | 2019-11-13 | 2022-08-02 | Huawei Technologies Co., Ltd. | Methods and systems for training convolutional neural network using built-in attention |
| CN112116001B (zh) * | 2020-09-17 | 2022-06-07 | 苏州浪潮智能科技有限公司 | 图像识别方法、装置及计算机可读存储介质 |
| CN114611700A (zh) * | 2022-01-23 | 2022-06-10 | 杭州领见数字农业科技有限公司 | 一种基于结构重参数化的模型推理速度提升方法及装置 |
| CN115062159B (zh) * | 2022-06-13 | 2024-05-24 | 西南交通大学 | 基于联邦学习的多粒度事件预警动态知识图谱嵌入模型构造方法 |
| CN115410111A (zh) * | 2022-07-18 | 2022-11-29 | 同济大学 | 一种应用于边缘设备基于结构重参数化的安全帽检测方法 |
| CN115861646A (zh) * | 2022-11-22 | 2023-03-28 | 山东省计算中心（国家超级计算济南中心） | 一种基于结构重参数化的轻量级目标检测方法及系统 |
-
2023
- 2023-05-04 CN CN202310484624.4A patent/CN116206188B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159173A (zh) * | 2021-04-20 | 2021-07-23 | 北京邮电大学 | 一种结合剪枝与知识蒸馏的卷积神经网络模型压缩方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116206188A (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116001B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN108932548A (zh) | 一种基于fpga的稀疏度神经网络加速系统 | |
| CN112488070A (zh) | 一种面向遥感图像目标检测的神经网络压缩方法 | |
| CN115511177A (zh) | 基于ingo-swgmn混合模型的超短期风速预测方法 | |
| CN112884149B (zh) | 一种基于随机敏感度st-sm的深度神经网络剪枝方法及系统 | |
| CN113486303A (zh) | 一种基于修饰模型集成的长时间序列预测方法 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN114548532A (zh) | 一种基于vmd的tgcn-gru超短期负荷预测方法、装置和电子设备 | |
| CN113836823A (zh) | 一种基于负荷分解和优化双向长短期记忆网络的负荷组合预测方法 | |
| CN116206188B (zh) | 一种图像识别方法、系统、设备及存储介质 | |
| CN116503671B (zh) | 基于有效秩张量近似的残差网络压缩的图像分类方法 | |
| CN110111275B (zh) | 一种信号降噪的方法、系统及计算机存储介质 | |
| CN115392441A (zh) | 量化神经网络模型的片内适配方法、装置、设备及介质 | |
| US5420810A (en) | Adaptive input/output apparatus using selected sample data according to evaluation quantity | |
| CN115619563A (zh) | 一种基于神经网络的股票价格分析方法 | |
| CN115131646A (zh) | 基于离散系数的深度网络模型压缩方法 | |
| CN112906291B (zh) | 一种基于神经网络的建模方法及装置 | |
| CN114820326B (zh) | 基于可调节核稀疏化的高效单帧图像超分方法 | |
| Li et al. | Adaptive volume rendering using fuzzy logic control | |
| Oleshchenko | Digital Filters Optimization Modelling with Non-canonical Hypercomplex Number Systems | |
| CN115454988B (zh) | 基于随机森林网络的卫星电源系统缺失数据补全方法 | |
| Liu et al. | A selective quantization approach for optimizing quantized inference engine | |
| CN117273113A (zh) | 基于蒙特卡洛渲染和神经网络降噪的神经辐射场渲染方法 | |
| CN113902206A (zh) | 一种基于VMD-BiGRU的短期负荷预测方法 | |
| JP3220021B2 (ja) | ニューラルネットワークの学習加速システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |