CN116579409A - 基于重参数化的智能相机模型剪枝加速方法及加速系统 - Google Patents
基于重参数化的智能相机模型剪枝加速方法及加速系统 Download PDFInfo
- Publication number
- CN116579409A CN116579409A CN202310841719.7A CN202310841719A CN116579409A CN 116579409 A CN116579409 A CN 116579409A CN 202310841719 A CN202310841719 A CN 202310841719A CN 116579409 A CN116579409 A CN 116579409A
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- channel
- convolution layer
- parameterization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000001133 acceleration Effects 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000005520 cutting process Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于重参数化的智能相机模型剪枝加速方法及加速系统，属于图像处理技术领域，包括：S1、构建原始神经网络；S2、选择一个卷积层作为目标层，在目标层后加入一个权重为单位矩阵、卷积核尺寸为M*M的压缩器；S3、计算该目标层中每个通道内卷积核权重的绝对值之和s；选择s小于阈值的通道，作为待裁剪通道；S4、变更反向传播时的权重更新公式，所述变更包括为压缩器导数依次增加掩码和惩罚项；S5、裁剪压缩卷积层；S6、将目标层和裁剪后的压缩卷积层进行重参数化融合，得到新卷积层，用新卷积层替代S2中选择的卷积层。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于重参数化的智能相机模型剪枝加速方法及加速系统。
背景技术
众所周知，深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化，而对应的技术则被称为模型剪枝。
目前，现有技术主要是对训练后的模型进行通道剪枝操作，减少模型中的参数量，增快推理速度。其主要步骤如图1所示，将训练得到的一个基础网络作为输入，而后在模型训练中给loss加入额外的惩罚项，再次进行训练，在训练的过程当中，某些通道的权重会逐渐下降，将那些权重趋近于0的通道权重直接设置为0，这样在推理时，计算量就会大大减小，速度也相应地得以增加。
一般而言，现有的通道剪枝方式的损失函数可以用下式进行表达：
；
其中：为总的损失函数，/>为原有的损失函数，/>为惩罚项，/>为手动设置的转换系数，P则代表某种惩罚项（可以是L1，L2，lasso等），K代表参数量。
现有算法在训练时，由于一开始输入的是已经训练好的模型，在反向传播时，原有的损失函数产生的梯度也会极小，而惩罚项P产生的梯度则很大，总的损失函数/>会受后一项的主导，那么模型经过反向传播后，模型中的参数会倾向于使P（K）减小的方向更新，也就是参数量K减小，这也是工程师想要的。但是，模型也同时会远离原来的最高精度的参数，精度降低。
随着训练的继续，会产生如下问题：由于参数量K变得越来越小，某种惩罚项P(K)变得越来越小，而原有的损失函数变得越来越大，第一项导出的梯度和第二项导出的梯度变得量级相近，二者产生对抗，所以参数量K就不再减小；此时，模型性能既变差了，参数量K也没有很多通道变得接近0。剪掉这些“小了，但没有特别小”的通道，依然会造成性能损失。
因此，现有技术在进行剪枝操作之后，虽然会使模型的推理速度加快很多，但同时模型的精度也会受到很大的损失，导致实际落地时，无法满足使用的要求；例如：智能相机一个非常重要的应用场景位于工业质检领域，该领域的缺陷具有尺寸小、样本收集困难、环境复杂、检出困难等特点；因此难以使用大批量数据训练一个精度要求极高的模型，目前，传统的模型剪枝加速方案虽然具有加速的效果，但是，与此同时带来的是精度损失，这在实际工业生产中，可能会带来大量的错检误检，此时，反而会影响生产效率甚至危害生产安全，这种缺陷几乎是不可接受的。
发明内容
本发明为解决公知技术中存在的上述技术问题，提供一种基于重参数化的智能相机模型剪枝加速方法及加速系统，在提高模型推理速度的同时，能够很好地满足模型的精度需求。
本发明的第一目的是提供一种基于重参数化的智能相机模型剪枝加速方法，包括：
S1、构建原始神经网络：获取智能相机历史采集图像的数据集，对所述数据集进行卷积训练，得到原始神经网络，所述原始神经网络包括至少一个卷积层，每个卷积层包括至少两个通道，每个通道包括至少一个卷积核；
S2、选择一个卷积层作为目标层，在目标层后加入一个权重为单位矩阵、卷积核尺寸为M*M的压缩器，其中，M为大于0的自然数；
S3、计算该目标层中每个通道内卷积核权重的绝对值之和s；选择s小于阈值的通道，作为待裁剪通道；
S4、变更反向传播时的权重更新公式，所述变更包括为压缩器导数依次增加掩码和惩罚项；
S5、裁剪压缩卷积层：
调整压缩器参数，使掩码为0通道的权重逐渐减小，直到逼近为0；
选择性地裁剪权重逼近0的通道，使参数量下降到目标数量级，得到裁剪后的压缩卷积层；
S6、将目标层和裁剪后的压缩卷积层进行重参数化融合，得到新卷积层，用新卷积层替代S2中选择的卷积层。
本发明的第二目的是提供一种一种基于重参数化的智能相机模型剪枝加速系统，包括：
模型建立模块：获取智能相机历史采集图像的数据集，对所述数据集进行卷积训练，得到原始神经网络，所述原始神经网络包括至少一个卷积层，每个卷积层包括至少两个通道，每个通道包括至少一个卷积核；
解耦模块：选择一个卷积层作为目标层，在目标层后加入一个权重为单位矩阵、卷积核尺寸为M*M的压缩器，其中，M为大于0的自然数；
选择模块：计算该目标层中每个通道内卷积核权重的绝对值之和s；选择s小于阈值的通道，作为待裁剪通道；
更新模块：变更反向传播时的权重更新公式，所述变更包括为压缩器导数依次增加掩码和惩罚项；
裁剪模块：裁剪压缩卷积层；
调整压缩器参数，使掩码为0通道的权重逐渐减小，直到逼近为0；
选择性地裁剪权重逼近0的通道，使参数量下降到目标数量级，得到裁剪后的压缩卷积层；
融合模块：将目标层和裁剪后的压缩卷积层进行重参数化融合，得到新卷积层，用新卷积层替代选择模块中选择的卷积层。
本发明的第三目的是提供一种基于重参数化的智能相机模型剪枝加速方法在工业质检中的应用。
本发明的第四目的是提供一种信息数据处理终端，用于实现上述的基于重参数化的智能相机模型剪枝加速方法。
本发明具有的优点和积极效果是：
本发明对现有通道剪枝技术进行了改良，通过加入M*M的压缩器，可以解耦目标层中的记忆与遗忘，在剪枝时只对构建的压缩卷积层进行操作，几乎不影响原有模型已经学习到的信息，做到对模型进行无损压缩，在大幅降低模型参数量，提高模型推理速度的情况下，几乎没有精度损失。而最后将新加入的压缩卷积层与目标卷积层进行融合，又将因为新增卷积带来的计算量清除，不会因为解耦操作反而导致计算量的增长。
附图说明
图1为传统技术的流程图；
图2为本发明优选实施例的流程图；
图3为本发明优选实施例中对单一目标层的剪枝加速流程图。
具体实施方式
为了使本发明的上述目的、设计的控制系及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
基本概念阐述：
卷积（convolution）是一种数学运算，用于将两个函数之间的重叠部分进行加权平均，以生成一个新的函数。在计算机视觉中，卷积通常被用于图像处理和特征提取。
卷积层（convolutionallayer）是目标层中的一种基本层类型，它使用卷积操作来从输入图像中提取特征。卷积层包括多个卷积核，每个卷积核都可以检测输入图像中的不同特征。
卷积核（convolutionalkernel）是卷积操作中的一个关键元素，它是一个小的矩阵或张量，用于在输入数据上执行卷积操作。卷积核中的权重值用于计算输入数据和卷积核之间的加权平均，以产生输出特征图。在目标层中，每个卷积核都被训练为检测特定的图像特征，例如边缘、纹理、颜色等。
如图2所示：一种基于重参数化的智能相机模型剪枝加速方法，包括：
S1、构建原始神经网络：使用输入的数据集进行卷积类模型的训练，得到一个训练完成的原始神经网络；具体为：获取智能相机历史采集图像的数据集，对所述数据集进行卷积训练，得到原始神经网络，所述原始神经网络包括至少一个卷积层，每个卷积层包括至少两个通道，每个通道包括至少一个卷积核；请参阅图3，本申请的实施例包括多个卷积层，每个通道内的卷积核为3X3的卷积核
S2、选择一个卷积层作为目标层，在目标层后加入一个权重为单位矩阵、卷积核尺寸为M*M的压缩器，其中，M为大于0的自然数；在本实施例中，M选择的是1；
S3、计算该目标层中每个通道内卷积核权重的绝对值之和s；选择s小于阈值的通道，作为待裁剪通道；即计算目标层中，每个（各个）通道卷积核权重的绝对值之和s，并按大小顺序对s进行排序；s代表的是权重的和，权重越大，则代表其在整个神经网络中对结果的影响越大，此时对这个节点进行操作则越容易影响检出精度；即s越大，则说明其越重要，s越小则说明越不重要；根据阈值（例如10-15）条件，选择出s较小的几个通道，其为将被裁剪掉的通道；
在传统的剪枝方法中，“记忆”和“遗忘”是耦合的。例如，部分剪枝方法是在卷积层的卷积核中加入一个惩罚项，如L1/L2/Lasso等，先通过训练使一些通道的权重变小，再将这些权重较小的通道剪枝。这种解决方案是自然的，因为剪掉权重小的通道造成的精度损失自然就小；但问题是：在训练过程当中，每一个通道的参数既参与了“记忆”（计算原目标函数，导出与目标函数相关的梯度，用这部分梯度更新参数），又参与了“遗忘”（计算惩罚项，导出与惩罚项相关的梯度，用这部分梯度更新参数）；这就造成了一个左右为难的困境：模型既“记不好”（该变小的通道变小了，不该变小的也变小了，导致精度降低），又“忘不掉”（该变小的也没变得足够小，剪的时候依然有性能损失）。而本申请中新增加的压缩器将承担原始网络中的遗忘操作，即将原有神经网络训练过程中的记忆与遗忘完成了解耦，两个不同尺寸的卷积将分别承担不同的功能。在后续步骤进行剪枝时，只对新增加的压缩卷积层进行剪枝，这样能够保留原始层信息，不会在剪枝时导致信息的大量损失；
S4、变更反向传播时的权重更新公式，所述变更包括为压缩器导数依次增加掩码和惩罚项；而不是直接修改损失函数；
设G为原损失函数在反向传播时的梯度，F为某个特定的通道，则有
；
为第一项增加掩码m，m为值为0或1的矩阵。
；
L代表一次前向传播后计算得到的损失函数，为总的损失函数，/>是原来的损失函数，/>是设定的转换系数，/>是Lasso损失，/>是输入，具体的可以理解为x是样本，y是标签，/>是通用参数集；
此变更后的权重更新公式将只用于S3中新构建的压缩卷积层，也就是说“遗忘”的任务仅由压缩卷积层承担。其余部分权重更新公式不变，仅承担“记忆”任务；
S5、裁剪压缩卷积层：
调整压缩器参数，使掩码为0通道的权重逐渐减小，直到逼近为0；
选择性地裁剪权重逼近0的通道，使参数量下降到目标数量级，得到裁剪后的压缩卷积层；
在S5中，继续进行训练，通过调整，使得掩码为0通道的权重逐渐减小，直到逼近为0。此时该通道即可被裁剪，参数量也将随之降低。当参数量下降到目标数量级后，调整停止。此时将有部分通道权重极小，可以直接裁剪掉（训练的过程中不会裁剪任何通道，只是在训练时越来越多的通道的权重满足了裁剪的要求，若此时停止训练，裁剪通道后的总参数量也会变少，少到一定程度，训练才真正的终止，真正的裁剪通道，参数量也随之达标）。同时由于操作的始终是新构建的压缩卷积层，并没有对原始的目标层进行剪枝，因此目标层的信息不会有丢失；
S6、将目标层和裁剪后的压缩卷积层进行重参数化融合，得到新卷积层，用新卷积层替代S2中选择的卷积层；融合过程为：
根据卷积的可加性，首先将压缩器中尺寸为1*1的卷积核，使用0值填充为3*3尺寸的填充卷积核，然后将目标层中3*3尺寸的卷积核与填充卷积核相加，成为新卷积核；通过新卷积核得到新卷积层，该新卷积层即为原始卷积层和填充卷积核两层的融合，并对二者进行代替。
代替指的是：在神经网络中用融合层（由原始卷积层和填充卷积核融合而成）替换目标层的卷积层。
例如：原始卷积操作为A，填充卷积核为B，两者重参数化（融合）得到一个新的层Q。
那么有：输入x，经过A后，再经过B，得到输出y。
代替后：输入x，只经过Q，得到输出y。
经过重参数化融合之后，成功地将之前对压缩器进行的剪枝操作传导到了原始卷积操作上，而在这个过程中，A是没有进行任何剪枝操作，没有信息损失。而两者融合，等于只需要消耗剪枝后的卷积层的计算量即可，而不是原来的卷积层和剪枝后的压缩器的计算量。简而言之，获得了剪枝操作能减少的计算量，同时几乎没有承担剪枝操作导致的精度损失的代价。
一种基于重参数化的智能相机模型剪枝加速系统，包括：
模型建立模块：构建目标层，使用输入的数据集进行卷积类模型的训练，得到一个训练完成的目标层；获取智能相机历史采集图像的数据集，对所述数据集进行卷积训练，得到原始神经网络，所述原始神经网络包括至少一个卷积层，每个卷积层包括至少两个通道，每个通道包括至少一个卷积核；
解耦模块：选择一个卷积层作为目标层，在目标层后加入一个权重为单位矩阵、卷积核尺寸为M*M的压缩器，其中，M为大于0的自然数；在本实施例中，M选择的是1；
选择模块：计算该目标层中每个通道内卷积核权重的绝对值之和s；选择s小于阈值的通道，作为待裁剪通道；即计算每个（各个）通道卷积核权重的绝对值之和s，并按大小顺序对s进行排序；s越大，则说明其越重要，s越小则说明越不重要；根据阈值（例如10-15）条件，选择出s较小的几个通道，其为将被裁剪掉的通道；
在传统的剪枝方法中，“记忆”和“遗忘”是耦合的。例如，部分剪枝方法是在卷积层的卷积核中加入一个惩罚项，如L1/L2/Lasso等，先通过训练使一些通道的权重变小，再将这些权重较小的通道剪枝。这种解决方案是自然的，因为剪掉权重小的通道造成的精度损失自然就小；但问题是：在训练过程当中，每一个通道的参数既参与了“记忆”（计算原目标函数，导出与目标函数相关的梯度，用这部分梯度更新参数），又参与了“遗忘”（计算惩罚项，导出与惩罚项相关的梯度，用这部分梯度更新参数）；这就造成了一个左右为难的困境：模型既“记不好”（该变小的通道变小了，不该变小的也变小了，导致精度降低），又“忘不掉”（该变小的也没变得足够小，剪的时候依然有性能损失）。而本申请中新增加的压缩卷积层将承担原始网络中的遗忘操作，即将原有神经网络训练过程中的记忆与遗忘完成了解耦，两个不同尺寸的卷积将分别承担不同的功能。在后续步骤进行剪枝时，只对新增加的压缩卷积层进行剪枝，这样能够保留原始层信息，不会在剪枝时导致信息的大量损失；
更新模块：变更反向传播时的权重更新公式，所述变更包括为压缩器导数依次增加掩码和惩罚项；而不是直接修改损失函数；
设G为原损失函数在反向传播时的梯度，F为某个特定的通道，则有
；
为第一项增加掩码m，m为值为0或1的矩阵。
；
L代表一次前向传播后计算得到的损失函数，为总的损失函数，/>是原来的损失函数，/>是设定的转换系数，/>是Lasso损失，/>是输入，具体的可以理解为x是样本，y是标签，/>是通用参数集；
此变更后的权重更新公式将只用于新构建的压缩卷积层，也就是说“遗忘”的任务仅由压缩卷积层承担。其余部分权重更新公式不变，仅承担“记忆”任务；
裁剪模块：裁剪压缩卷积层；
调整压缩器参数，使掩码为0通道的权重逐渐减小，直到逼近为0；
选择性地裁剪权重逼近0的通道，使参数量下降到目标数量级，得到裁剪后的压缩卷积层；
在裁剪模块中，继续进行训练，通过调整，使得掩码为0通道的权重逐渐减小，直到逼近为0。此时该通道即可被裁剪，参数量也将随之降低。当参数量下降到目标数量级后，调整停止。此时将有部分通道权重极小，可以直接裁剪掉（训练的过程中不会裁剪任何通道，只是在训练时越来越多的通道的权重满足了裁剪的要求，若此时停止训练，裁剪通道后的总参数量也会变少，少到一定程度，训练才真正的终止，真正的裁剪通道，参数量也随之达标）。同时由于操作的始终是新构建的压缩卷积层，并没有对原始的目标层进行剪枝，因此目标层的信息不会有丢失；
融合模块：将目标层和裁剪后的压缩卷积层进行重参数化融合，得到新卷积层，用新卷积层替代选择模块中选择的卷积层；融合过程为：
根据卷积的可加性，首先将压缩卷积层中尺寸为1*1的卷积核，使用0值填充为3*3尺寸的填充卷积核，然后将目标层中3*3尺寸的卷积核与填充卷积核相加，成为新卷积核；通过新卷积核得到新卷积层，该新卷积层即为原始卷积层和填充卷积核两层的融合，并对二者进行代替。
一种基于重参数化的智能相机模型剪枝加速方法在工业质检中的应用。
在智能相机上的使用：智能相机在拍照完成以后，自动调用深度学习算法对拍摄图像进行检测。以智能相机支持的卷积系模型之一YOLOV5为例，本加速方式在YOLOV5算法的神经网络中有所应用。首先计算神经网络中每个卷积层的所有通道的权重的绝对值之和，并进行排序，绝对值之和越大，表示该卷积层的权重越大，也就越重要。因此选择权重绝对值之和最小的几个卷积层，套用本方法进行通道剪枝。剪枝以后，在减少了一半的计算量之后，仍能维持原有检测精度。其他剪枝方法在减少同等计算量的情况下，会带来一个点的精度损失。在智能相机这一算力相对有限的边缘设备中，使用本方法加速过的YOLOV5算法可以支持视频录制模式下的高精度实时检测。
一种信息数据处理终端，用于实现上述基于重参数化的智能相机模型剪枝加速方法。
一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述基于重参数化的智能相机模型剪枝加速方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输）。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘SolidStateDisk（SSD））等。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。
Claims (10)
1.一种基于重参数化的智能相机模型剪枝加速方法，其特征在于，包括：
S1、构建原始神经网络：获取智能相机历史采集图像的数据集，对所述数据集进行卷积训练，得到原始神经网络，所述原始神经网络包括至少一个卷积层，每个卷积层包括至少两个通道，每个通道包括至少一个卷积核；
S2、选择一个卷积层作为目标层，在目标层后加入一个权重为单位矩阵、卷积核尺寸为M*M的压缩器，其中，M为大于0的自然数；
S3、计算该目标层中每个通道内卷积核权重的绝对值之和s；选择s小于阈值的通道，作为待裁剪通道；
S4、变更反向传播时的权重更新公式，所述变更包括为压缩器导数依次增加掩码和惩罚项；
S5、裁剪压缩卷积层：
调整压缩器参数，使掩码为0通道的权重逐渐减小，直到逼近为0；
选择性地裁剪权重逼近0的通道，使参数量下降到目标数量级，得到裁剪后的压缩卷积层；
S6、将目标层和裁剪后的压缩卷积层进行重参数化融合，得到新卷积层，用新卷积层替代S2中选择的卷积层。
2.根据权利要求1所述的基于重参数化的智能相机模型剪枝加速方法，其特征在于，还包括S7，当原始神经网络包括至少两个卷积层时，返回S2，选择其他卷积层作为目标层，重复执行S2-S6。
3.根据权利要求1所述的基于重参数化的智能相机模型剪枝加速方法，其特征在于，S4具体为：
设G为原损失函数在反向传播时的梯度，F为某个特定的通道，则有
；
变更后，对于反向传播时模型权重的更新公式，为第一项增加掩码m，m是值为0或1的矩阵，增加转换系数为的Lasso损失作为惩罚项，则变更后的梯度/>为；
；
为总的损失函数，/>是原来的损失函数，/>是设定的转换系数，/>是Lasso损失，是输入。
4.根据权利要求3所述的基于重参数化的智能相机模型剪枝加速方法，其特征在于，S6中，重参数化融合过程为：首先将压缩器中尺寸为1*1的卷积核，使用0值填充为3*3尺寸的填充卷积核；然后将目标层中3*3尺寸的卷积核与填充卷积核相加，成为新卷积核，通过新卷积核得到新卷积层。
5.一种基于重参数化的智能相机模型剪枝加速系统，其特征在于，包括：
模型建立模块：获取智能相机历史采集图像的数据集，对所述数据集进行卷积训练，得到原始神经网络，所述原始神经网络包括至少一个卷积层，每个卷积层包括至少两个通道，每个通道包括至少一个卷积核；
解耦模块：选择一个卷积层作为目标层，在目标层后加入一个权重为单位矩阵、卷积核尺寸为M*M的压缩器，其中，M为大于0的自然数；
选择模块：计算该目标层中每个通道内卷积核权重的绝对值之和s；选择s小于阈值的通道，作为待裁剪通道；
更新模块：变更反向传播时的权重更新公式，所述变更包括为压缩器导数依次增加掩码和惩罚项；
裁剪模块：裁剪压缩卷积层；
调整压缩器参数，使掩码为0通道的权重逐渐减小，直到逼近为0；
选择性地裁剪权重逼近0的通道，使参数量下降到目标数量级，得到裁剪后的压缩卷积层；
融合模块：将目标层和裁剪后的压缩卷积层进行重参数化融合，得到新卷积层，用新卷积层替代选择模块中选择的卷积层。
6.根据权利要求5所述基于重参数化的智能相机模型剪枝加速系统，其特征在于，还包括循环模块，当原始神经网络包括至少两个卷积层时，返回选择模块，选择其他卷积层作为目标层。
7.根据权利要求5所述基于重参数化的智能相机模型剪枝加速系统，其特征在于，更新模块的具体更新过程为：
设G为原损失函数在反向传播时的梯度，F为某个特定的通道，则有
；
变更后，对于反向传播时模型权重的更新公式，为第一项增加掩码m，m是值为0或1的矩阵，增加转换系数为的Lasso损失作为惩罚项，则变更后的梯度/>为；
；
为总的损失函数，/>是原来的损失函数，/>是设定的转换系数，/>是Lasso损失，是输入。
8.根据权利要求7所述基于重参数化的智能相机模型剪枝加速系统，其特征在于，在融合模块中，重参数化融合过程为：首先将压缩器中尺寸为1*1的卷积核，使用0值填充为3*3尺寸的填充卷积核；然后将目标层中3*3尺寸的卷积核与填充卷积核相加，成为新卷积核，通过新卷积核得到新卷积层。
9.一种权利要求1-4任意一项所述的基于重参数化的智能相机模型剪枝加速方法在工业质检中的应用。
10.一种信息数据处理终端，其特征在于，用于实现权利要求1-4任一项所述的基于重参数化的智能相机模型剪枝加速方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310841719.7A CN116579409A (zh) | 2023-07-11 | 2023-07-11 | 基于重参数化的智能相机模型剪枝加速方法及加速系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310841719.7A CN116579409A (zh) | 2023-07-11 | 2023-07-11 | 基于重参数化的智能相机模型剪枝加速方法及加速系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116579409A true CN116579409A (zh) | 2023-08-11 |
Family
ID=87538169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310841719.7A Pending CN116579409A (zh) | 2023-07-11 | 2023-07-11 | 基于重参数化的智能相机模型剪枝加速方法及加速系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116579409A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117497194B (zh) * | 2023-12-28 | 2024-03-01 | 苏州元脑智能科技有限公司 | 一种生物信息处理方法、装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163628A (zh) * | 2020-10-10 | 2021-01-01 | 北京航空航天大学 | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 |
| CN114913441A (zh) * | 2022-06-28 | 2022-08-16 | 湖南大学 | 通道剪枝方法、目标检测方法及遥感图像车辆检测方法 |
-
2023
- 2023-07-11 CN CN202310841719.7A patent/CN116579409A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163628A (zh) * | 2020-10-10 | 2021-01-01 | 北京航空航天大学 | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 |
| CN114913441A (zh) * | 2022-06-28 | 2022-08-16 | 湖南大学 | 通道剪枝方法、目标检测方法及遥感图像车辆检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| XIAOHAN DING ET AL.: ""ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting"", 《ARXIV》, pages 1 - 11 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117497194B (zh) * | 2023-12-28 | 2024-03-01 | 苏州元脑智能科技有限公司 | 一种生物信息处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112101190B (zh) | 一种遥感图像分类方法、存储介质及计算设备 | |
| JP7074460B2 (ja) | 画像検査装置および方法 | |
| CN113515770A (zh) | 基于隐私保护确定目标业务模型的方法及装置 | |
| CN110969627B (zh) | 图像分割模型训练方法、图像处理方法及装置 | |
| CN112163628A (zh) | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 | |
| CN108257100A (zh) | 一种图像修复方法及服务器 | |
| CN116579409A (zh) | 基于重参数化的智能相机模型剪枝加速方法及加速系统 | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| CN110930429B (zh) | 一种目标跟踪处理方法、装置及设备、可读介质 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN111080746A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN115410030A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN111860405A (zh) | 图像识别模型的量化方法、装置、计算机设备及存储介质 | |
| CN110060264B (zh) | 神经网络训练方法、视频帧处理方法、装置及系统 | |
| CN113689383A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN116266387A (zh) | 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统 | |
| CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN114897214A (zh) | 一种基于图形化处理的金属增材制造时间预测系统和方法 | |
| WO2023086198A1 (en) | Robustifying nerf model novel view synthesis to sparse data | |
| CN116091823A (zh) | 一种基于快速分组残差模块的单特征无锚框目标检测方法 | |
| CN115272549A (zh) | 一种超大数字场景的存储和渲染调度方法及装置 | |
| CN113807541A (zh) | 决策系统的公平性修复方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |