CN113240090A - 图像处理模型生成方法、图像处理方法、装置及电子设备 - Google Patents
图像处理模型生成方法、图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113240090A CN113240090A CN202110584225.6A CN202110584225A CN113240090A CN 113240090 A CN113240090 A CN 113240090A CN 202110584225 A CN202110584225 A CN 202110584225A CN 113240090 A CN113240090 A CN 113240090A
- Authority
- CN
- China
- Prior art keywords
- image
- image processing
- convolution
- channel
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000003062 neural network model Methods 0.000 claims abstract description 84
- 238000000605 extraction Methods 0.000 claims abstract description 51
- 238000013138 pruning Methods 0.000 claims abstract description 40
- 230000015654 memory Effects 0.000 claims description 26
- 238000003672 processing method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012821 model calculation Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 35
- 230000008569 process Effects 0.000 description 28
- 230000006835 compression Effects 0.000 description 20
- 238000007906 compression Methods 0.000 description 20
- 230000001965 increasing effect Effects 0.000 description 18
- 230000009977 dual effect Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- MUPYMRJBEZFVMT-UHFFFAOYSA-N 1-chloro-4-dimethoxyphosphorylsulfanylbenzene Chemical compound COP(=O)(OC)SC1=CC=C(Cl)C=C1 MUPYMRJBEZFVMT-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种图像处理模型生成方法、图像处理方法、装置及电子设备，所述图像处理模型生成方法包括：将样本图像输入到初始神经网络模型执行一次迭代：利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据输出调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度；完成本次迭代时，根据输出确定满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型。这样，保证图像处理模型在实现可以提取图像特征功能的前提下，可以降低模型运算量。
Description
技术领域
本公开涉及图像处理领域，尤其涉及一种图像处理模型生成方法、图像处理方法、装置及电子设备。
背景技术
随着深度学习的迅速发展，卷积神经网络(CNN，Convolutional NeuralNetworks)在目标检测、识别、分类等等各种计算机视觉任务上占据着越来越重要的地位。目前应用CNN对图像进行特征提取，以根据提取的特征对图像进行处理。然而，CNN庞大的参数量与计算量，导致资源消耗量大，大大限制了其在移动端或者小型设备上的部署。
发明内容
本公开提供一种图像处理模型生成方法、图像处理方法、装置及电子设备，以至少解决相关技术中不降低图像特征提取精度的前提下，如何降低模型运算量，以保证资源消耗量满足给定设备的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理模型生成方法，包括：
将样本图像输入到初始神经网络模型执行一次迭代：
利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度；
完成本次迭代时，根据所述初始神经网络模型输出的图像特征确定是否满足迭代结束条件；
当满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型。
在一种可能的实现方式中，该方法还包括：
当不满足迭代结束条件时，获取新的样本图像输入到初始神经网络模型执行下次迭代。
在一种可能的实现方式中，所述迭代结束条件包括第一约束条件，以及第二约束条件和第三约束条件中的至少一种，其中：
所述第一约束条件为：所述初始神经网络模型输出的图像特征的特征提取精度满足预设精度要求；
所述第二约束条件为：根据所述至少一个所述卷积层提高稀疏度之后的卷积核的稀疏度所确定的模型运算资源消耗量，不大于第一预设阈值；
所述第三约束条件为：所述至少一个卷积层提高稀疏度之后的卷积核的待剪枝通道的通道总数，不小于第二预设阈值。
所述初始神经网络模型的图像特征的特征提取精度满足预设精度要求，包括：
根据至少一个卷积层的卷积核提高稀疏度之后的权重参数和通道的缩放系数，所确定的损失值小于预设损失阈值。
在一种可能的实现方式中，所述迭代结束条件包括所述第一约束条件、第二约束条件和第三约束条件时，所述确定是否满足迭代结束条件，包括：
确定在调整所述至少一个卷积层的卷积核的通道参数的多次迭代中，根据以下公式计算得到的取值逐渐变小后变大，及多次调整对偶变量过程中，根据以下公式计算得到的取值逐渐变大后变小时，满足所述迭代结束条件：
其中，在连续多次迭代过程中，每调整一次至少一个卷积层的卷积核的通道参数后，调整一次对偶变量，所述对偶变量包括y和z；
在一种可能的实现方式中，所述通过调整至少一个卷积层的卷积核的通道参数，提高至少一个卷积层的卷积核的稀疏度，包括：
计算所述至少一个卷积层的卷积核中各通道对应的向量的二范数；
按照各通道对应的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待调整通道；
调整所述待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度。
在一种可能的实现方式中，所述调整待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度，包括：
调整所述待调整通道的缩放系数，和/或调整所述待调整通道的权重参数，以减少所述待调整通道对应的向量的二范数。
在一种可能的实现方式中，所述确定各卷积层的卷积核中满足通道剪枝条件的待剪枝通道，包括：
确定各卷积层的卷积核中各通道对应的向量的二范数；
按照各通道的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待剪枝通道。
在一种可能的实现方式中，所述通道对应的向量采用如下方式确定：
将所述通道的缩放系数作为所述通道对应的向量；或者
根据以下公式计算所述通道对应的向量：
其中，当所述卷积层包含BN层时，所述γ为所述通道的归一化缩放系数，当所述卷积层未包含BN层时，所述γ为
所述w为所述通道的归一化权重参数。
根据本公开实施例的第二方面，提供一种图像处理方法，包括：
获取待处理图像；
将所述待处理图像输入到图像处理模型进行图像特征提取，其中，所述图像处理模型为上述第一方面提供的方法生成的图像处理模型；
根据所述初始神经网络模型输出的图像特征行图像处理。
根据本公开实施例的第三方面，提供一种图像处理模型生成装置，所述装置包括：
迭代单元，被配置为执行将样本图像输入到初始神经网络模型执行一次迭代：利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度；
结束判断单元，被配置为执行在完成本次迭代时，根据所述初始神经网络模型输出的图像特征确定是否满足迭代结束条件；
通道剪枝单元，被配置为执行当满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型。
在一种可能的实现方式中，该装置还包括：
迭代重复触发单元，被配置为执行当不满足迭代结束条件时，获取新的样本图像输入到初始神经网络模型执行下次迭代。
在一种可能的实现方式中，所述迭代结束条件包括第一约束条件，以及第二约束条件和第三约束条件中的至少一种，其中：
所述第一约束条件为：所述初始神经网络模型输出的图像特征的特征提取精度满足预设精度要求；
所述第二约束条件为：根据所述至少一个所述卷积层提高稀疏度之后的卷积核的稀疏度所确定的模型运算资源消耗量，不大于第一预设阈值；
所述第三约束条件为：所述至少一个卷积层提高稀疏度之后的卷积核的待剪枝通道的通道总数，不小于第二预设阈值。
在一种可能的实现方式中，所述初始神经网络模型的图像特征的特征提取精度满足预设精度要求，包括：
根据至少一个卷积层的卷积核提高稀疏度之后的权重参数和通道的缩放系数，所确定的损失值小于预设损失阈值。
在一种可能的实现方式中，所述迭代结束条件包括所述第一约束条件、第二约束条件和第三约束条件时，所述结束判断单元确定是否满足迭代结束条件，包括：
确定在调整所述至少一个卷积层的卷积核的通道参数的多次迭代中，根据以下公式计算得到的取值逐渐变小后变大，及多次调整对偶变量过程中，根据以下公式计算得到的取值逐渐变大后变小时，满足所述迭代结束条件：
其中，在连续多次迭代过程中，每调整一次至少一个卷积层的卷积核的通道参数后，调整一次对偶变量，所述对偶变量包括y和z；
在一种可能的实现方式中，迭代单元被配置执行所述通过调整至少一个卷积层的卷积核的通道参数，提高至少一个卷积层的卷积核的稀疏度，包括：
计算所述至少一个卷积层的卷积核中各通道对应的向量的二范数；
按照各通道对应的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待调整通道；
调整所述待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度。
在一种可能的实现方式中，所述迭代单元被配置执行调整待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度，包括：
调整所述待调整通道的缩放系数，和/或调整所述待调整通道的权重参数，以减少所述待调整通道对应的向量的二范数。
在一种可能的实现方式中，所述通道剪枝单元被配置为执行确定各卷积层的卷积核中满足通道剪枝条件的待剪枝通道，包括：
确定各卷积层的卷积核中各通道对应的向量的二范数；
按照各通道的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待剪枝通道。
在一种可能的实现方式中，所述通道对应的向量采用如下方式确定：
将所述通道的缩放系数作为所述通道对应的向量；或者
根据以下公式计算所述通道对应的向量：
其中，当所述卷积层包含BN层时，所述γ为所述通道的归一化缩放系数，当所述卷积层未包含BN层时，所述γ为
所述w为所述通道的归一化权重参数。
根据本公开实施例的第四方面，提供一种图像处理装置，包括：
图像获取单元，被配置为执行获取待处理图像；
特征提取单元，被配置为执行将所述待处理图像输入到图像处理模型进行图像特征提取，其中，所述图像处理模型为上述第一方面提供的所述方法生成的图像处理模型；
图像处理单元，被配置为执行根据所述初始神经网络模型输出的图像特征行图像处理。
根据本公开实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面提供的图像处理模型生成方法，或者实现上述第二方面提供的图像处理方法。
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面提供的图像处理模型生成方法，或者执行上述第二方面提供的图像处理方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现上述第一方面提供的图像处理模型生成方法，或者实现上述第二方面提供的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过降低初始神经网络模型中卷积核的稀疏度，并根据降低稀疏度的卷积核与各层特征图进行卷积计算，从而对初始神经网络模型进行剪枝，得到优化神经网络模型。这样，优化神经网络模型实现了在保证资源消耗量满足给定设备的前提下，提升了模型运算的处理精度，并降低了对部署设备的要求。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1为根据一示例性实施例示出的图像处理模型在移动终端上进行图片的风格迁移时所得到的图像示意图；
图2为根据一示例性实施例示出的第一种图像处理模型与其他模型压缩方案的效果对比示意图；
图3为根据一示例性实施例示出的第二种图像处理模型与其他模型压缩方案的效果对比示意图；
图4为根据一示例性实施例示出的图像处理方法的流程图；
图5为根据一示例性实施例示出的图像处理模型生成方法的流程示意图；
图6为根据一示例性实施例示出的在风格迁移任务的示意图；
图7为根据一示例性实施例示出的一种图像处理方法的流程示意图；
图8为根据一示例性实施例示出的一种图像处理的完整方法的流程示意图；
图9为根据一示例性实施例示出的一种图像处理模型生成装置的框图；
图10为根据一示例性实施例示出的一种图像处理装置的框图；
图11为根据一示例性实施例示出的电子设备结构示意图。
具体实施方式
为了以解决不降低图像特征提取精度的前提下，如何降低模型运算量，以保证资源消耗量满足给定设备的问题，本公开实施例中提供一种图像处理模型生成方法、图像处理方法、装置及电子设备。为了更好的理解本公开实施例提供的技术方案，这里对该方案的基本原理做一下简单说明：
为了便于本领域技术人员更好地理解本公开实施例中的技术方案，下面对本公开实施例涉及到的专业术语进行示例说明。
特征图：是神经网络模型中的卷积核对输入到神经网络模型的图像进行卷积后生成的图像特征。
模型剪枝：评估模型中不重要的部分，将其砍减掉，可以实现降低模型参数和计算量。
下面对本公开实施例的设计思想进行简要介绍。
如前所述，随着深度学习的迅速发展，CNN在目标检测、识别、分类等等各种计算机视觉任务上占据着越来越重要的地位。然而，CNN庞大的参数量与计算量大大限制了其在移动端或者小型设备上的部署。因此，如何在保持CNN预测精度尽可能不下降的前提下，将一个庞大、耗时的深度神经网络压缩至一个小巧、省时的神经网络，以利于其在低端设备上的部署，逐渐成为一个研究前沿。
一般来说，神经网络其庞大的参数量计算量以及资源消耗量，限制了其在低端设备的部署运行。或者消耗太多移动终端的电量，或者运行耗时较多或者占用内存较多，以至于迟迟不能加载出来。
在相关技术中，有诸多算法用于解决模型压缩问题，大体可以分为重要性排序类和启发式搜索类。在重要性排序类中，例如可以根据卷积核的L1范数进行排序，默认为L1范数小的卷积核对推理的重要性较小，在压缩过程中可以将其剪枝掉。
相关技术方案大多采用启发式的方法，逐渐对网络剪枝逐渐测量其资源消耗，直到满足给定的资源消耗的条件。而采用启发式的方案，缺乏严谨的数学理论依据，在保证资源消耗量满足给定设备的前提下，很难保持较高的推理精度。
有鉴于此，为了解决上述问题，本公开实施例提供一种图像处理模型生成方法、图像处理方法、装置及电子设备。该图像处理模型生成方法中，通过在对初始神经网络模型多次迭代训练的过程中，根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度，经过多次迭代过程逐渐提高卷积的稀疏度，并在迭代结束后再对初始神经网络模型进行剪枝，通过一次剪枝得到图像处理模型，不同于现有技术中逐渐剪枝得到图像处理模型的过程。本公开实施例提供的图像处理模型实现在不降低模型运算的处理精度的前提下，保证资源消耗量满足给定设备，降低了对部署设备的要求。
利用上述方法生成的图像处理模型可以对待处理图像进行图像特征提取，在保证图像特征提取效果的前提下，降低了模型运算量。如图1所示，为利用图像处理模型在移动终端上通过提取图像特征，实现图像的风格迁移时所得到的图像，其中，第一列是内容图片，第二列是利用通道剪枝前的预训练的初始神经模型处理后的图像，第三四五列依次是利用通道剪枝将模型的参数量压缩至原来的0.7倍、0.5倍、0.3倍后，利用图像处理模型处理后的图像。
利用上述方法生成的图像处理模型对待处理图像进行图像特征，可以实现不同目的的图像处理，具体可以训练中获取包括样本图像及样本标签，在将样本图像输入初始神经网络模型训练时，根据初始神经网络输出的图像特征及样本标签，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度并满足模型的特征提取精度。上述样本标签为图像分类标签，通过图像处理模型可以实现图像分类。
因此图像处理模型对图像的处理不限于图像的风格迁移，还实现诸多其他有定量指标的图像处理任务，且也取得了良好效果。例如：应用于手势分割任务，将一张手势的二维图片输入图像处理模型，输出是手的分割效果。如图2所示，为本公开实施例提供的图像处理模型进行图像分割时的效果，与其他模型压缩方案得到的图像处理模型进行图像分割的效果对比图。其中，横坐标是耗时延迟(Latency)，纵坐标是分割精度IoU。图2中，方式1为采用First_Order压缩方式得到的图像处理模型进行图像分割的分割精度；方式2为采用Meta_Prunning压缩方式得到的图像处理模型进行图像分割的分割精度；方式3为采用DMCP压缩方式得到的图像处理模型进行图像分割的分割精度；方式4为采用Group_Sparsity压缩方式得到的图像处理模型进行图像分割的分割精度；方式5为采用MetAdapt压缩方式得到的图像处理模型进行图像分割的分割精度；方式6为采用AMC压缩方式得到的图像处理模型进行图像分割的分割精度。
又例如：在图像增强的任务中，如图3所示，为本公开实施例提供的图像处理模型进行图像增强的效果，与其他模型压缩方案得到的图像处理模型进行图像增强的效果对比图，其中，横坐标是耗时延迟(Latency)，纵坐标是图像的图像处理模型输出的峰值信噪比PSNR，它衡量着增强后的图像与原始图像的相似性。图3中，方式1为采用First_Order压缩方式得到的图像处理模型进行图像增强的峰值信噪比PSNR；方式2为采用Meta_Prunning压缩方式得到的图像处理模型进行图像增强的PSNR；方式3为采用DMCP压缩方式得到的图像处理模型进行图像增强的PSNR；方式4为采用Group_Sparsity压缩方式得到的图像处理模型进行图像增强的PSNR；方式5为采用MetAdapt压缩方式得到的图像处理模型进行图像增强的PSNR；方式6为采用AMC压缩方式得到的图像处理模型进行图像增强的PSNR。
可以看出，利用本公开方案生成的图像处理模型相比比其他模型压缩方案有较大优越性。
为便于理解，下面结合附图对本公开提供的技术方案做进一步说明。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在本公开实施例中，本公开提供图像处理模型生成方法的基本流程图如图4所示，主要包括：
模型预训练得到初始神经网络模型，通过样本集输入到网络模型中，以使神经网络具有相应的网络模型功能，该部分为本公开的前期准备部分，任何训练好能够实现相应图像处理功能的卷积神经网络模型均可以作为本公开的初始神经网络模型；
通过多次迭代过程调整模型参数，提高初始神经网络模型的卷积层的卷积核的稀疏度；
迭代结束后进行通道剪枝得到图像处理模型，对图像处理模型进行微调。
上述模型预训练的过程中，为将样本集中的样本输入到神经网络模型中，根据神经网络输出的结果与标签确定损失值，根据损失值进行模型参数调整的过程，本公开实施例不再详述，本公开实施例提出对模型预训练得到初始神经网络模型进行优化的图像处理模型生成方法，如图5所示，包括以下步骤：
步骤501，将样本图像输入到初始神经网络模型，并执行步骤502实现执行一次迭代；
步骤502，利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度；
初始神经网络包括多个卷积层，样本图像输入到初始神经网络模型后，将样本图像与第一层卷积层进行卷积运算以实现图像特征提取，得到特征图并输入到下一层卷积层，利用下一层卷积层对输入的特征图进行卷积运算以实现图像特征提取，得到特征图输入到再下一层卷积层，直至最后一层卷积层对输入的特征图卷积运算以实现特征图特征提取后输出，得到初始神经网络模型输出的图像特征。例如，初始神经网络模型有3层卷积层；其中，第一层卷积层对样本图像进行特征提取，得到第一层卷积层的特征图；第二层卷积层对第一层特征图进行特征提取，得到第二层卷积层的特征图；第三层卷积层对第二层特征图进行特征提取，得到第三层卷积层的特征图。
在本公开实施例中，各卷积层的卷积核中具有多个通道，各卷积层进行卷积运算时，具体是利用卷积层的卷积核对输入的样本图像/特征图进行卷积运算。
需要说明的是，每层卷积层的卷积核的通道数可以相同可以不同，本公开对此不作限定。
在本公开实施例中，在初始神经网络中，卷积层的卷积核的通道包括输入通道和输出通道，其中一层卷积层的卷积核的输入通道连接上一层卷积层的卷积核的输出通道，如果剪掉某一层卷积层的卷积核的输出通道，则对应的下一层的输入通道也需要相应剪掉。这种通道剪枝，会使得网络变瘦，从而加速神经网络的推理过程。对于初始神经网络模型中第l层的卷积层，X(l)表示网络第l层卷积层的输入，X(l)∈Rc×h×w′表示第l层卷积层的输入为矩阵Rc×h×w′，W(l)∈Rc×d×r×r为第l层卷积层的卷积核。
,其中，c为第l层卷积层的卷积核的输入通道的数量，d为第l层卷积层的卷积核的输出通道的数量，h和w′代表第l层卷积层的卷积核的输入层的高宽，即输入通道的高和宽，r为第l层卷积层的卷积核的大小。
将输入数据输入到第l层卷积层后，BN(Batch Normalization，批归一化)中的第l层卷积层对输入数据进行如下运算以提取输入数据的特征，得到第l+1层卷积层的输入X(l +1)：
X(l+1)＝σ(g(X(l)*W(l))⊙γ(l))；
其中，⊙为逐通道的乘积，γ(l)是批归一化后第l层卷积层的卷积核的通道的缩放系数，
是归一化操作，其中μ是第l层卷积层对输入数据的均值，running_var是方差，∈是一个较小的数，避免分母为零，保证数值计算的稳定性。σ(.)是第l层卷积层激活函数。该公式就是“卷积-批归一化-激活函数”形式的结构。这样，便可以得到各卷积层的特征图。
本公开实施例利用上述过程得到初始神经网络模型输出的图像特征，从而可以确定输出的图像特征是否满足精度要求，在保证初始神经网络模型输出的图像特征满足精度要求的情况下，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度。
卷积运算为利用卷积核中的参数进行卷积运算，如前所述，第l层卷积层的卷积核为Rc×d×r×r，可见卷积核中的参数包括两个部分，一部分为c×d大小的与通道相关的参数，一部分为r×r大小的卷积核自身的参数。本实施例根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，并不改变卷积核自身的参数，上述通道参数包括输入通道参数和输出通道参数。通过调整c×d大小的与通道相关的参数，使W(l)的参数矩阵变得更加稀疏，从而提高所述至少一个卷积层的卷积核的稀疏度。
步骤503，完成本次迭代时，根据所述初始神经网络模型输出的图像特征确定是否满足迭代结束条件，若满足迭代结束条件，执行步骤504；
在多次迭代调整上述通道参数的过程中，调整的次数越多，卷积层的卷积核的稀疏度越高，但需要满足图像特征提取精度的要求，因此在满足图像特征提取特征精度的情况，迭代的次数越多越好。可以在初始神经网络模型输出的图像特征的特征提取精度达到预设精度时，确定满足迭代结束条件。
步骤504，当满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型。
经过上述多次迭代过程，所述至少一个卷积层的卷积核的稀疏度得到了不同程度的提高，在迭代结束后，可以对满足要求的待剪枝通道进行剪枝，确定待剪枝通道的原则为卷积核的通道参数卷积运算的结果越趋近于零，作为待剪枝通道的概率越大。本公开实施例在多次迭代调整过程中，并不进行通道剪枝，即仅与通道相关的模型参数的大小，并不删除对应的通道参数，在迭代结束后，确定将某个通道剪枝时，再删除W(l)中的与通道相关的参数，可以是删除输入通道的参数，也可以删除输出通道的参数，且删除其中输出通道的参数，下一层对应的输入通道参数也被删除。本公开实施例提供的方案，可以在保证图像特征提取精度的情况下，对网络模型进行最大程度的优化，减少模型的运算量，减少对设备的部署要求。
作为一种可能的实施方式，上述步骤503中，当确定不满足迭代结束条件时，执行步骤505；
步骤505，获取新的样本图像，并返回执行步骤501，将新的样本图像输入到初始神经网络模型执行下次迭代，本申请在每次迭代调整通道参数后并不进行通道剪枝，而是在迭代结束后再剪枝处理，可以避免一边调整一边剪枝造成的影响图像特征提取精度不够的问题。
本实施中调整卷积核的通道参数提高卷积核的稀疏度，以完成对卷积核进行优化。
在调整第l层的卷积核的通道参数时，可以先确定调整的通道，然后对第l层的第i个通道的通道参数进行调整，使按照如下公式计算的结果变小，：
其中，
为第l层的第i个通道对应的卷积核的参数，
为第l层的第i个通道的归一化缩放系数，该通道可以是输入通道也可以是输出通道。
完成迭代后，选择
或者
趋于零的通道作为待剪枝通道，例如如果第l层的第i个输出通道的上述计算结果趋于零，则将第l层的第i个输出通道进行剪枝处理，于是，该层的卷积核就变为了形如Rc×(d-1)×r×r的卷积核了，且同时对第l+1层对应的输入通道进行剪枝处理。
本实施例中上述迭代结束条件包括第一约束条件，以及第二约束条件和第三约束条件中的至少一种。
上述第一约束条件是与图像特征提取相关的约束条件，上述第二约束条件是与模型稀疏度相关的约束条件，上述第三约束条件是与模型运算量相关的约束条件。
实施中可以仅将上述第一约束条件作为迭代结束条件，也可以在满足第一约束条件的基础上，结合第一约束条件和第二约束条件中的至少一个确定迭代结束条件，下面给出本公开实施例中具体的约束条件：
1)第一约束条件
第一约束条件为：所述初始神经网络模型输出的图像特征的特征提取精度满足预设精度要求。
图像特征的特征提取精度可以采用初始神经网络模型的损失值衡量，实施中，根据至少一个卷积层的卷积核提高稀疏度之后的权重参数和通道的缩放系数，所确定的损失值小于预设损失阈值，从而可以确定是图像特征提取精度满足精度。
每次完成迭代时，根据当前初始神经网络模型的模型参数计算值，上述模型参数包括通道的权重参数和通道的缩放系数，具体计算损失值的损失函数可以采用现有的损失函数，这里不再详述。在上次迭代过程，每次迭代时损失值会变化，调整通道参数的目的是使损失值变小，可以认为损失值达到最小值，即向不同方向调整通道参数，上述损失值均变大，认为满足第一预设约束条件，可以采用如下公式表示：
2)第二约束条件
第二约束条件为：根据所述至少一个所述卷积层提高稀疏度之后的卷积核的稀疏度所确定的模型运算资源消耗量，不大于第一预设阈值。
在多次迭代调整过程中，初始神经网络模型逐渐变得稀疏，模型的运算量也逐渐减小，但至少要调整到模型运算资源消耗量可以满足设备部署要求时停止迭代，当模型运算资源消耗量不大于第一预设阈值时，认为满足设备部署要求，可以停止迭代，上述第一预设阈值可以设置为当前设备所允许的最大模型运算资源消耗量，或者设置为比当前设备所允许的最大模型运算资源消耗量小的数值，在调整过程中，在满足小于当前设备所允许的最大模型运算资源消耗量的情况下，且满足其他约束条件的情况下，期望当前的模型运算资源消耗量越小越好。
上述第二约束条件具体可以采用如下公式表示：
s.t.R(s)≤Rbudget
上述s.t.R(s)表示当前的模型运算资源消耗量，Rbudget表示当前设备所允许的最大模型运算资源消耗量。s.t.R(s)是初始神经网络的每一层的稀疏度s的函数。
3)第三约束条件
第三约束条件为：所述至少一个卷积层提高稀疏度之后的卷积核的待剪枝通道的通道总数，不小于第二预设阈值。
本公开实施例进行卷积核的通道参数调整时，目的是提高提高所述至少一个卷积层的卷积核的稀疏度，在迭代结束时对满足剪枝要求的待剪枝通道进行剪枝，为了使网络模型的稀疏度满足要求，本公开实施例中将待剪枝的通道总数不小于第二预设阈值作为约束条件。
上述第三约束条件可以采用如下公式表示：
其中
或者
上述s(l)为预设二预设阈值，可以是第l层的期望剪枝的通道数量，上述
为第l层的第i个通道对应的卷积核的参数，
为第l层的第i个通道的归一化缩放系数，该通道可以是输入通道也可以是输出通道，runningvar是第l层卷积层的输入数据的方差，∈是一个较小的数，I()是指示函数，如果里面的条件成立
则函数值为1，否则为0。
本申请将上述迭代结束条件，可以在初始神经网络模型训练的过程，使得训练的结果朝着图像特征的特征提取精度足够高、模型运算资源消耗量尽量小、待剪枝通道的通道总数足够多的方向调整，从而在满足图像特征的特征提取精度要求的情况下，使图像处理模型的稀疏度够大，模型运算资源消耗量能够满足设备的部署要求。
实施中，迭代结束条件包括上述第一约束条件、第二约束条件和第三约束条件时，可以将上述的三个约束条件并为如下公式，采用拉格朗日乘子法，确定该公式的极值。
如图6所示，上述公式可以理解为包括三部分损失值：
Style-transfer Loss为风格转换的损失值
Sparsity Loss为稀疏度损失值
Resource Loss为模型运算的资源消耗损失值z(R(s)-Rbudget)。
在迭代过程，期望损失值越小越好，模型运算资源消耗量越小越好，待剪枝通道的通道总数待剪枝的通道数越大越好。
则在上述公式中，期望通过卷积核的通道参数，具体可以调整w和γ，得到上述公式的关于w和γ的极小值，根据拉格朗日乘法极值求解原理，通过调整对偶变量y和z，得到上述公式的关于y和z的极大值，从而可以利用求解拉格朗日乘法极值的方法来判定初始神经网络过程中什么情况下同时满足上述三个条件，将判定方式进行了简化。具体可以采用如下公式表示：
在连续多次迭代过程中，每调整一次卷积核的通道参数后，计算一次上述公式的取值，得到上述公式的关于w和γ的取值，且调整一次卷积核的通道参数后，调整一次对偶变量，计算一次上述公式，得到上述公式的关于对偶变量y和z的取值。
本公开实施例确定是否满足迭代结束条件，包括：
确定在调整所述至少一个卷积层的卷积核的通道参数的多次迭代中，根据以下公式计算得到的关于w和γ的取值逐渐变小后变大，及多次调整对偶变量过程中，根据以下公式计算得到的关于w和γ的取值逐渐变大后变小时，说明得到上述公式的关于w和γ的极小值，及得到上述公式的关于y和z的极大值，则认为满足迭代调整结束条件。
具体地，在调整所述至少一个卷积层的卷积核的通道参数的多次迭代中，如果向某个方向调整参数后，上述公式关于w和γ的取值的变小，则后续迭代过程中，继续按照调整方向，如果发现上述公式关于w和γ的取值的变大，则改变调整方向，若改变调整方向后上述公式关于w和γ的取值的变大，则认为得到上述公式的关于w和γ的极小值。多次调整对偶变量过程中，如果向某个方向调整参数后，上述公式关于y和z的取值的变大，则后续迭代过程中，继续按照调整方向调整y和z，如果发现上述公式关于y和z的取值的变小，则改变y和z的调整方向，若改变调整方向后上述公式关于y和z的取值的变小，则认为得到上述公式的关于y和z的极大值。
在本公开实施例中，可以对上述公式进行优化，将未包含批归一化和包含归一化的情形统一起来；另外，通过把稀疏度s直接加入业务loss里面去，将剪枝与业务训练直接关联起来。于是优化的公式如下：
其中，如果神经网络有BN，便把实际的BN参数用于上述公式进行优化，
如果没有BN，则在上述公式中令γ＝
runing_std即可，这样就把网络中的有BN情形和无BN情形统一了起来。
完成迭代后，可以对卷积核进行优化了，但是由于卷积核存在多个通道，便需要选择通道进行剪枝。具体的，通过调整至少一个卷积层的卷积核的通道参数，提高至少一个卷积层的卷积核的稀疏度，包括：
计算所述至少一个卷积层的卷积核中各通道对应的向量的二范数；
按照各通道对应的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待调整通道；
调整所述待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度。
本申请通过选择二范数较小的通道的参数进行调整，可以减少迭代次数。
所述确定各卷积层的卷积核中满足通道剪枝条件的待剪枝通道，包括：
确定各卷积层的卷积核中各通道对应的向量的二范数；
按照各通道的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待剪枝通道。
本申请在进行通道剪枝处理时，通过选择二范数较小的通道作为待剪枝通道，可以保证剪枝处理后对图像处理模型的图像特征提取精度影响最小。
在本公开实施例中，以||u||s,2表示向量u中最小的s个元素值的二范数(L2Norm)，则有如下公式：
其中，γ(l)既可以表示第l层的通道的缩放系数，也可以表示第l层的通道
这样，根据卷积核中各通道的γ(l)中最小的s个元素值的二范数等于零，就等价于
本公开实施例中所述调整待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度，包括：
调整所述待调整通道的缩放系数，和/或调整所述待调整通道的权重参数，以减少所述待调整通道对应的向量的二范数。
本申请根据上述卷积核层进行卷积的公式，可以通过调整所述待调整通道的缩放系数，和/或调整所述待调整通道的权重参数，使分子趋于零从而使输出趋于零，将通道向符合剪枝条件的方向调整。
所述通道对应的向量采用如下方式确定：
将所述通道的缩放系数作为所述通道对应的向量；或者
根据以下公式计算所述通道对应的向量：
其中，当所述卷积层包含BN层时，所述γ为所述通道的归一化缩放系数，当所述卷积层未包含BN层时，所述γ为
所述w为所述通道的归一化权重参数。
本申请通过判定通道的向量的二范数来决策调整参数的通道及待剪枝通道，通过上述通道的向量，可以保证确定的调整参数的通道尽快满足待剪枝条件，及确定的待剪枝通道剪枝后对图像处理模型的图像特征提取精度影响最小。
这样，经过剪枝处理后得到图像处理模型，利用图像处理模型可以优化提取的图像特征，具体的可实施为：针对所述至少一层卷积层，将该卷积层的所述特征图与所述优化卷积核进行卷积计算，得到该卷积层下一卷积层的优化特征图；其中，该卷积层下一卷积层的优化特征图的稀疏度低于该卷积层下一卷积层的初始特征图的稀疏度。
这样，上述训练方法得到的图像处理模型实现了在保证资源消耗量满足给定设备的前提下，提升了模型运算的处理精度，并降低了对部署设备的要求。
在介绍完基于ADMM的模型压缩这一部分后，为了使图像处理模型的效果更好，可以对图像处理模型进行重新训练，微调finetune优化神经网络模型中的参数。
在本公开实施例中，对图像处理模型进行重新训练的方法与第一部分模型预训练的方法相同，将多个带标签的训练样本输入到优化神经网络模型中，并得到输出结果，根据输出结果与标签调整优化神经网络模型中的参数，当优化神经网络模型的输出结果符合要求后，完成图像处理模型的重新训练。这样，通过对图像处理模型重新进行训练，进一步提高了图像处理模型的效果。
在本公开实施例中，得到了优化神经网络模型后，便可以对图像进行处理了，如图7所示，其为一种图像处理方法的流程示意图，具体可实施为步骤701～702：
步骤701：获取待处理图像。
步骤702：将所述待处理图像输入到图像处理模型进行图像特征提取，其中，所述图像处理模型为根据上述实施例提供的方法生成的图像处理模型；
步骤703，根据所述初始神经网络模型输出的图像特征行图像处理。
这样，通过提高卷积核的稀疏度的图像处理模型进行图像特征提取，实现了在保证资源消耗量满足给定设备的前提下，提升了模型运算的处理精度，并降低了对部署设备的要求。
如图8所示，本公开实施例还提供了一种图像处理的完整方法，包括：
步骤801：将样本图像输入到初始神经网络模型，执行步骤802完成一次迭代；
步骤802，利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度。
步骤803：完成本次迭代时，根据所述初始神经网络模型输出的图像特征确定是否满足迭代结束条件，若满足，执行步骤804，否则执行步骤805。
步骤804：当满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型，执行步骤806。
步骤805：获取新的样本图像，返回执行步骤801。
步骤806：获取待处理图像；
步骤807：将所述待处理图像输入到图像处理模型进行图像特征提取；
步骤808：根据所述初始神经网络模型输出的图像特征行图像处理。
基于相同的发明构思，本公开还提供一种图像处理模型生成装置。如图9所示，为本公开提供的一种图像处理模型生成装置示意图，包括：
迭代单元901，被配置为执行将样本图像输入到初始神经网络模型执行一次迭代：利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度；
结束判断单元902，被配置为执行在完成本次迭代时，根据所述初始神经网络模型输出的图像特征确定是否满足迭代结束条件；
通道剪枝单元903，被配置为执行当满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型。
在一种可能的实现方式中，该装置还包括：
迭代重复触发单元，被配置为执行当不满足迭代结束条件时，获取新的样本图像输入到初始神经网络模型执行下次迭代。
在一种可能的实现方式中，所述迭代结束条件包括第一约束条件，以及第二约束条件和第三约束条件中的至少一种，其中：
所述第一约束条件为：所述初始神经网络模型输出的图像特征的特征提取精度满足预设精度要求；
所述第二约束条件为：根据所述至少一个所述卷积层提高稀疏度之后的卷积核的稀疏度所确定的模型运算资源消耗量，不大于第一预设阈值；
所述第三约束条件为：所述至少一个卷积层提高稀疏度之后的卷积核的待剪枝通道的通道总数，不小于第二预设阈值。
在一种可能的实现方式中，所述初始神经网络模型的图像特征的特征提取精度满足预设精度要求，包括：
根据至少一个卷积层的卷积核提高稀疏度之后的权重参数和通道的缩放系数，所确定的损失值小于预设损失阈值。
在一种可能的实现方式中，所述迭代结束条件包括所述第一约束条件、第二约束条件和第三约束条件时，所述结束判断单元确定是否满足迭代结束条件，包括：
确定在调整所述至少一个卷积层的卷积核的通道参数的多次迭代中，根据以下公式计算得到的取值逐渐变小后变大，及多次调整对偶变量过程中，根据以下公式计算得到的取值逐渐变大后变小时，满足所述迭代结束条件：
其中，在连续多次迭代过程中，每调整一次至少一个卷积层的卷积核的通道参数后，调整一次对偶变量，所述对偶变量包括y和z；
在一种可能的实现方式中，迭代单元被配置执行所述通过调整至少一个卷积层的卷积核的通道参数，提高至少一个卷积层的卷积核的稀疏度，包括：
计算所述至少一个卷积层的卷积核中各通道对应的向量的二范数；
按照各通道对应的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待调整通道；
调整所述待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度。
在一种可能的实现方式中，所述迭代单元被配置执行调整待调整通道的模型参数，提高至少一个卷积层的卷积核的稀疏度，包括：
调整所述待调整通道的缩放系数，和/或调整所述待调整通道的权重参数，以减少所述待调整通道对应的向量的二范数。
在一种可能的实现方式中，所述通道剪枝单元被配置为执行确定各卷积层的卷积核中满足通道剪枝条件的待剪枝通道，包括：
确定各卷积层的卷积核中各通道对应的向量的二范数；
按照各通道的向量的二范数从小到大的顺序，将预设数量的二范数对应的通道确定为待剪枝通道。
在一种可能的实现方式中，所述通道对应的向量采用如下方式确定：
将所述通道的缩放系数作为所述通道对应的向量；或者
根据以下公式计算所述通道对应的向量：
其中，当所述卷积层包含BN层时，所述γ为所述通道的归一化缩放系数，当所述卷积层未包含BN层时，所述γ为
所述w为所述通道的归一化权重参数。
基于相同的发明构思，本公开还提供一种图像处理装置。如图10所示，为本公开提供的一种图像处理装置示意图，包括：
图像获取单元1001，被配置为执行获取待处理图像；
特征提取单元1002，被配置为执行将所述待处理图像输入到图像处理模型进行图像特征提取，其中，所述图像处理模型为上述实施例提供的方法生成的图像处理模型；
图像处理单元1003，被配置为执行根据所述初始神经网络模型输出的图像特征行图像处理。
如图11所示，基于同一技术构思，本公开实施例还提供了一种电子设备110，可以包括存储器1101和处理器1102。
所述存储器1101，用于存储处理器1102执行的计算机程序。存储器1101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据任务管理装置的使用所创建的数据等。处理器1102，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。本公开实施例中不限定上述存储器1101和处理器1102之间的具体连接介质。本公开实施例在图11中以存储器1101和处理器1102之间通过总线1103连接，总线1103在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线1103可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1101可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1101也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1101是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1101可以是上述存储器的组合。
处理器1102，用于调用所述存储器1101中存储的计算机程序时执行上述实施例1提供的图像处理模型生成方法或者图像处理的方法。
在一些可能的实施方式中，本公开提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行上述实施例1提供的图像处理模型生成方法或者图像处理的方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像处理模型生成方法，其特征在于，所述方法包括：
将样本图像输入到初始神经网络模型执行一次迭代：
利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度；
完成本次迭代时，根据所述初始神经网络模型输出的图像特征确定是否满足迭代结束条件；
当满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型。
2.根据权利要求1所述的方法，其特征在于，还包括：
当不满足迭代结束条件时，获取新的样本图像输入到初始神经网络模型执行下次迭代。
3.根据权利要求1所述的方法，其特征在于，所述迭代结束条件包括第一约束条件，以及第二约束条件和第三约束条件中的至少一种，其中：
所述第一约束条件为：所述初始神经网络模型输出的图像特征的特征提取精度满足预设精度要求；
所述第二约束条件为：根据所述至少一个所述卷积层提高稀疏度之后的卷积核的稀疏度所确定的模型运算资源消耗量，不大于第一预设阈值；
所述第三约束条件为：所述至少一个卷积层提高稀疏度之后的卷积核的待剪枝通道的通道总数，不小于第二预设阈值。
4.根据权利要求3所述的方法，其特征在于，所述初始神经网络模型的图像特征的特征提取精度满足预设精度要求，包括：
根据至少一个卷积层的卷积核提高稀疏度之后的权重参数和通道的缩放系数，所确定的损失值小于预设损失阈值。
5.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入到图像处理模型进行图像特征提取，其中，所述图像处理模型为根据权利要求1～4任一所述方法生成的图像处理模型；
根据所述初始神经网络模型输出的图像特征行图像处理。
6.一种图像处理模型生成装置，其特征在于，所述装置包括：
迭代单元，被配置为执行将样本图像输入到初始神经网络模型执行一次迭代：利用所述初始神经网络模型中各个卷积层对所述样本图像进行图像特征提取；根据所述初始神经网络模型输出的图像特征，调整至少一个卷积层的卷积核的通道参数，以提高所述至少一个卷积层的卷积核的稀疏度；
结束判断单元，被配置为执行在完成本次迭代时，根据所述初始神经网络模型输出的图像特征确定是否满足迭代结束条件；
通道剪枝单元，被配置为执行当满足迭代结束条件时，确定所述至少一个卷积层提高稀疏度之后的卷积核中的待剪枝通道；对所述待剪枝通道作剪枝处理，得到图像处理模型。
7.一种图像处理装置，其特征在于，包括：
图像获取单元，被配置为执行获取待处理图像；
特征提取单元，被配置为执行将所述待处理图像输入到图像处理模型进行图像特征提取，其中，所述图像处理模型为根据权利要求1～4任一所述方法生成的图像处理模型；
图像处理单元，被配置为执行根据所述初始神经网络模型输出的图像特征行图像处理。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像处理模型生成方法，或者实现如权利要求5所述的图像处理方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像处理模型生成方法，或者执行如权利要求5所述的图像处理方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1至4中任一项所述的图像处理模型生成方法，或者实现如权利要求5所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584225.6A CN113240090B (zh) | 2021-05-27 | 2021-05-27 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584225.6A CN113240090B (zh) | 2021-05-27 | 2021-05-27 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113240090A true CN113240090A (zh) | 2021-08-10 |
| CN113240090B CN113240090B (zh) | 2024-05-14 |
Family
ID=77139103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110584225.6A Active CN113240090B (zh) | 2021-05-27 | 2021-05-27 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240090B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837104A (zh) * | 2021-09-26 | 2021-12-24 | 大连智慧渔业科技有限公司 | 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 |
| CN115577765A (zh) * | 2022-09-09 | 2023-01-06 | 美的集团(上海)有限公司 | 网络模型剪枝方法、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598731A (zh) * | 2019-07-31 | 2019-12-20 | 浙江大学 | 一种基于结构化剪枝的高效图像分类方法 |
| CN110874631A (zh) * | 2020-01-20 | 2020-03-10 | 浙江大学 | 一种基于特征图稀疏化的卷积神经网络剪枝方法 |
| CN111028301A (zh) * | 2019-11-13 | 2020-04-17 | 南京邮电大学 | 一种基于加权l1范数的卷积稀疏编码方法 |
| CN111062382A (zh) * | 2019-10-30 | 2020-04-24 | 北京交通大学 | 用于目标检测网络的通道剪枝方法 |
-
2021
- 2021-05-27 CN CN202110584225.6A patent/CN113240090B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598731A (zh) * | 2019-07-31 | 2019-12-20 | 浙江大学 | 一种基于结构化剪枝的高效图像分类方法 |
| US20210049423A1 (en) * | 2019-07-31 | 2021-02-18 | Zhejiang University | Efficient image classification method based on structured pruning |
| CN111062382A (zh) * | 2019-10-30 | 2020-04-24 | 北京交通大学 | 用于目标检测网络的通道剪枝方法 |
| CN111028301A (zh) * | 2019-11-13 | 2020-04-17 | 南京邮电大学 | 一种基于加权l1范数的卷积稀疏编码方法 |
| CN110874631A (zh) * | 2020-01-20 | 2020-03-10 | 浙江大学 | 一种基于特征图稀疏化的卷积神经网络剪枝方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIAYI SHEN ET.AL: "UMEC: UNIFIED MODEL AND EMBEDDING COMPRESSION FOR EFFICIENT RECOMMENDATION SYSTEMS", ICLR 2021 CONFERENCE, pages 1 - 13 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837104A (zh) * | 2021-09-26 | 2021-12-24 | 大连智慧渔业科技有限公司 | 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 |
| CN113837104B (zh) * | 2021-09-26 | 2024-03-15 | 大连智慧渔业科技有限公司 | 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质 |
| CN115577765A (zh) * | 2022-09-09 | 2023-01-06 | 美的集团(上海)有限公司 | 网络模型剪枝方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113240090B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Spatially adaptive inference with stochastic feature sampling and interpolation | |
| US10552737B2 (en) | Artificial neural network class-based pruning | |
| CN111950656B (zh) | 图像识别模型生成方法、装置、计算机设备和存储介质 | |
| CN107292352B (zh) | 基于卷积神经网络的图像分类方法和装置 | |
| CN112163601B (zh) | 图像分类方法、系统、计算机设备及存储介质 | |
| CN111079899A (zh) | 神经网络模型压缩方法、系统、设备及介质 | |
| CN113240090A (zh) | 图像处理模型生成方法、图像处理方法、装置及电子设备 | |
| CN110008853B (zh) | 行人检测网络及模型训练方法、检测方法、介质、设备 | |
| EP4287144A1 (en) | Video behavior recognition method and apparatus, and computer device and storage medium | |
| CN115600650A (zh) | 基于强化学习的自动化卷积神经网络量化剪枝方法、设备和存储介质 | |
| US20240135174A1 (en) | Data processing method, and neural network model training method and apparatus | |
| CN111325354B (zh) | 机器学习模型压缩方法、装置、计算机设备和存储介质 | |
| CN114677548A (zh) | 基于阻变存储器的神经网络图像分类系统及方法 | |
| CN113011532A (zh) | 分类模型训练方法、装置、计算设备及存储介质 | |
| CN113128664A (zh) | 神经网络压缩方法、装置、电子设备及存储介质 | |
| CN111126501B (zh) | 一种图像识别方法、终端设备及存储介质 | |
| CN116956997A (zh) | 用于时序数据处理的lstm模型量化重训练方法、系统及设备 | |
| CN112668608A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN117113174A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN113378866B (zh) | 图像分类方法、系统、存储介质及电子设备 | |
| CN116306808A (zh) | 一种联合动态剪枝和条件卷积的卷积神经网络压缩方法及装置 | |
| CN111062477B (zh) | 一种数据处理方法、装置及存储介质 | |
| CN114155388A (zh) | 一种图像识别方法、装置、计算机设备和存储介质 | |
| CN112862074A (zh) | 模型运行方法、装置、电子设备及存储介质 | |
| WO2021120036A1 (zh) | 数据处理装置和数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |