CN107680044A - 一种图像超分辨率卷积神经网络加速计算方法 - Google Patents
一种图像超分辨率卷积神经网络加速计算方法 Download PDFInfo
- Publication number
- CN107680044A CN107680044A CN201710940557.7A CN201710940557A CN107680044A CN 107680044 A CN107680044 A CN 107680044A CN 201710940557 A CN201710940557 A CN 201710940557A CN 107680044 A CN107680044 A CN 107680044A
- Authority
- CN
- China
- Prior art keywords
- convolution
- convolution kernel
- original
- group
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000006467 substitution reaction Methods 0.000 claims abstract description 4
- 230000001133 acceleration Effects 0.000 claims description 41
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种图像超分辨率卷积神经网络加速计算方法，其包括以下步骤：（1）获取已训练好的卷积核组，（2）将已训练好的卷积核组转化为易于卷积计算处理的矩阵形式的卷积核组；（3）解析出中间卷积层矩阵形式的卷积核组作为原始卷积核组；（4）基于原始卷积核组构造低秩学习模型：（5）通过低秩学习模型求解基卷积核组；（6）通过最小二乘模型求解重构系数；（7）将原始卷积核组的卷积计算利用基卷积核组以及对应的重构系数进行卷积计算等价代换，实现卷积计算加速。本发明对卷积核组进行重构，保证在准确率不降低的情况下，实现卷积计算加速，且该方法只是涉及卷积计算过程，未改变原有准确率，可进一步结合其他加速方法进一步加速。
Description
技术领域
本发明涉及人工智能技术中的卷积神经网络(CNNs)加速计算性能优化领域，尤其涉及一种图像超分辨率卷积神经网络加速计算方法。
背景技术
目前，卷积神经网络在计算机视觉，自然语言处理以及语音识别等领域已经成为一种流行的技术手段，并取得了巨大的技术突破。然而，在图片超分辨率运算过程中，由于卷积运算本身计算的复杂性以及网络层数越来越深，使得卷积层计算需要消耗大量时间，给利用卷积神经网络实现图片的超分辨率带来巨大的挑战。尽管，基于GPU群设计的专门针对卷积运算框架可以很大程度上满足深度卷积神经网络的训练阶段需求，但在应用阶段通常是基于本地计算能力有限的移动终端或者可嵌入设备，这样通常很难满足较大型网络计算需求，同时在应用阶段要求尽可能短的计算时间，比如手机端的图片超分辨率对实时性要求非常高。因此，关于卷积计算加速问题一直制约着卷积神经网络的应用。
针对上面问题，许多卷积神经网络加速方法相继被提出，例如常见的基于稀疏网络修剪方法、积量化方法、定点量化方法以及网络构造(MobileNets，LCCN)加速等方法，这些加速方法都能一定程度上实现卷积加速，但大部分加速方法都改变了原始卷积层数值的大小或者网络结构，这样势必会降低一定的准确率，并且部分加速方法还需要加大训练时间成本，比如基于稀疏的加速方法对网络模型修剪后，通常还需要对剩余的模型重新训练调整参数，造成训练时间成本的浪费。此外，对于图像超分辨应用中的结果评价指标PSNR对输出高清图像的数值大小较为敏感，通常上面加速方法直接用于图像超分率中，PSNR降低的更为突出。因此，如何在保证准确率不降低的情况下，对已训练好的卷积网络模型实现加速计算是个急需解决的问题。
经对现有技术的文献检索发现，中国专利公开号CN 106127297A，申请公布日2016.11.16，专利名称为：基于张量分解的深度卷积神经网络的加速与压缩方法。该专利通过对原始深度卷积神经网络中各层的权值张量进行张量分解，得到多个低秩子张量，然后用所述低秩子张量替换所述原始深度卷积神经网络中各层的权值张量，获得新的深度卷积神经网络，从而达到对卷积层的压缩与加速计算的目的。其不足之处是：该方法是直接对原始的卷积层通过张量分解的形式求得低秩子张量以及因子矩阵，是个张量近似的过程，并不能做到完全重构原始的卷积层，势必对造成准确率的降低，尤其若对于图像超分辨率应用效果降低更为明显。此外，对于卷积层3-D形式卷积层规模较大，张量分解也是个非常耗时的过程。而本发明通过构造一个低秩学习模型得到2-D形式的基卷积核组，然后通过最小二乘对原始的2-D卷积核进行重构，计算效率较高，对于3*3和1*1的卷积层可以做到完全重构且卷积计算加速的同时不降低原始的准确率。
此外另一相关专利是中国专利公开号CN 106919942 A，公开日为2017.07.04，专利名称为用于手写汉字识别的深度卷积神经网络的加速压缩方法。该专利采用对卷积层的低秩分解策略和对整个深度卷积神经网络的剪枝压缩策略，减少深度卷积神经网络计算量和存储量，达到对整个深度卷积神经网络的有效加速和压缩效果。其不足之处在于：该方法是低秩分解操作中是对原始卷积层中k*k卷积核低秩分解为k*1和1*k两个一维卷积核依次做卷积，这样由于未考虑对原始卷积核的重构误差，卷积后的结果和原始相差较大，并且后面还需要再训练去掉网络中冗余连接，对剩余连接的权值进行k-means聚类以及对层数进行编码等步骤，尽管加速较为明显，但步骤过于繁琐，且上述方法是针对手写汉子识别进行的卷积加速，若应用图像超分变率准确率下降较为明显。而我们的方法创新之处在于是逐层从原始的卷积层中通过低秩学习模型得到具有低秩特性的基卷积核，然后重构原始卷积核，计算方便快捷，不仅可以起到卷积计算加速的效果，还可以在超分辨率应用中保持原有PSNR不变。目前公开的专利并没有能针对图像超分辨率在保证PSNR指标不降低的情况下进行卷积计算加速。
发明内容
本发明的目的在于克服现有技术的不足，提供一种图像超分辨率卷积神经网络加速计算方法。本发明主要通过低秩学习的方法，对已训练过的卷积神经网络的卷积核实现完全线性重构，保证网络在图像超分辨率重建准确率不降低的情况下实现卷积计算加速，更加快速地对图片进行超分辨率处理。
本发明采用的技术方案是：
一种图像超分辨率卷积神经网络加速计算方法，其包括以下步骤：
(1)获取已训练好的卷积核组，
(2)将已训练好的卷积核组转化为易于卷积计算处理的矩阵形式的卷积核组；
(3)解析出中间卷积层矩阵形式的卷积核组作为原始卷积核组；
(4)基于原始卷积核组构造低秩学习模型：
(5)通过低秩学习模型求解基卷积核组；
(6)通过最小二乘模型求解重构系数；
(7)将原始卷积核组的卷积计算利用基卷积核组以及对应的重构系数进行卷积计算等价代换，实现卷积计算加速。
进一步地，所述步骤3中原始卷积核组F∈Rd×d×C×N,每个卷积核大小fij∈Rd×d,i＝1,...,C.j＝1,...,N，且输入特征图为Y1∈RW×H×C,C表示输入通道数，输出特征图为Y2∈RW '×H'×N,N表示输出通道数。
进一步地，所述步骤4具体包括以下步骤：
步骤4.1，根据步骤3中的原始卷积核组F，构建低秩学习模型：
其中fij表示原始卷积核组中的一个卷积核，sk∈Rd×d表示第k个基卷积核，||sk||*为核范数，表示矩阵sk的所有奇异值之和，表示重构系数，模型(1)中第一项表示重构误差项，表示重构误差项，第二项为正则约束项，λ为正则参数；步骤4.2，求解模型(1)获得M个基卷积核，M个基卷积核组成基卷积核组S，S＝[s1,s2,...,sM]，原始卷积核组中的每个卷积核fij均可由基卷积核线性表示，即
其中fij表示原始卷积核组中的一个卷积核，sk∈Rd×d表示第k个基卷积核，表示重构系数。
进一步地，所述步骤4.2中M的取值M＝d2。
进一步地，所述步骤5具体通过梯度下降法迭代求解模型(1)，再通过奇异值分解得到低秩特性的基卷积核组。
进一步地，所述步骤6具体包括以下步骤：
步骤6.1将模型(1)中重构误差项简化得到以下最小二乘模型：
其中F∈R(d*d)×(C*N)表示原始的卷积核组，其每一列对应一个d*d的卷积核；S∈R(d *d)×M表示求得的基卷积核组，每一列对应一个基卷积核；A∈RM×(C*N)为重构系数矩阵，每一列表示对应的原始卷积核在基卷积核组S下的重构系数；
步骤6.2，使用最小二乘法对(3)式目标函数求导并令导数等于零，求解得到以下重构系数A:
A＝(STS)-1STF (4)
其中F∈R(d*d)×(C*N)表示原始的卷积核组，其每一列对应一个d*d的卷积核；S∈R(d *d)×M表示求得的基卷积核组，每一列对应一个基卷积核；A∈RM×(C*N)为重构系数矩阵，每一列表示对应的原始卷积核在基卷积核组S下的重构系数。
进一步地，所述步骤7中卷积计算等价转换的输出公式为：
其中*号表示卷积运算，表示重构系数，j＝1,2,...,N，Y2,j表示通过卷积计算的第j张输出特征图。
本发明采用以上技术方案，对已训练好的网络模型中卷积核大小为3*3和1*1的一组卷积核组可以实现完全重构，从而保证在准确率不降低的情况下，实现卷积计算加速，并且该方法只是涉及到卷积计算过程，未改变原有的准确率，因此，它可以进一步结合其他加速方法实现进一步的加速。在图像超分辨率应用的实验结果显示，在卷积核大小为3*3可以实现不损失原有PSNR基础上加速1.5-2倍，在1*1的卷积核上运算加速效果最为明显，可以加速16-18倍左右且不降低PSNR指标。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种图像超分辨率卷积神经网络加速计算方法的中间卷积层结构示意图；
图2为本发明一种图像超分辨率卷积神经网络加速计算方法的卷积加速计算流程图；
图3为多种卷积计算加速前后butterfly图集的效果对比图；
图4为多种卷积计算加速前后bird图集的效果对比图。
具体实施方式
如图1-4之一所示，本发明其包括以下步骤：
(1)获取已训练好的卷积核组，
(2)将已训练好的卷积核组转化为易于卷积计算处理的矩阵形式的卷积核组；
(3)解析出中间卷积层矩阵形式的卷积核组作为原始卷积核组；
考虑到卷积层计算主要重要集中在中间卷积层部分，现只针对单个中间层即图1中COV1-COV2进行加速操作,暂且不考虑输入层和输出层的卷积计算加速。如图1所示，在COV1-COV2中：输入3-D(W×H)特征图(Feature map)Y1∈RW×H×C,C表示输入通道数(Inputchannel)卷积核组(origial filter bank)F∈Rd×d×C×N,每个卷积核大小fij∈Rd×d,i＝1,...,C.j＝1,...,N输出3-D(W'×H')特征图(Feature map)Y2∈RW'×H'×N,N表示输出通道数(Output channel)
(4)基于原始卷积核组构造低秩学习模型：
原始卷积核组F共有C*N个卷积核f参与卷积运算，
步骤4.1，根据步骤3中的原始卷积核组F，构建低秩学习模型：
其中fij表示原始卷积核组中的一个卷积核，sk∈Rd×d表示第k个基卷积核，||sk||*为核范数，表示矩阵sk的所有奇异值之和，表示重构系数，模型(1)中第一项表示重构误差项，表示重构误差项，第二项为正则约束项，λ为正则参数。
步骤4.2，求解模型(1)获得M个基卷积核，M个基卷积核组成基卷积核组S，S＝[s1,s2,...,sM]，原始卷积核组中的每个卷积核fij均可由基卷积核线性表示，即
其中fij表示原始卷积核组中的一个卷积核，sk∈Rd×d表示第k个基卷积核，表示重构系数。
进一步地，所述步骤4.2中M的取值M＝d2。
基卷积核个数M的选取至关重要，直接影响算法的运行时间和最后的准确率(PSNR)，理论上根据上面计算复杂度分析，若要实现加速，须满足O2(MCd2H'W'+NMCH'W')<O1(CNd2H'W')，即实际试验中，该算法计算复杂度重要集中在O2(MCd2H'W')卷积运算中，第二项重构复杂度由上面公式(5)可以看出其实是矩与向量乘积，计算复杂度远远小于O2(NMCH'W')，因此试验中当我们选取M＝d2时，对于3*3和1*1的卷积核组也能实现加速，此外模型求解重构系数时把每个基卷积核(basis filter)矩阵拉成d*d维向量参与计算，采用最小二乘方法求解，当选取M＝d2可以完全重构，重构误差为0，可以保证试验中PSNR不会下降，而当M<d2时，实验PSNR降低，算法运行时间减少，可进一步提速，本发明重点考虑PSNR不降低的前提下，实现卷积计算加速，因此，本专利用于图像超分选取M＝d2。
(5)通过低秩学习模型求解基卷积核组；
低秩约束使得学习得到的基过滤器sk具有低秩特性，求解上面低秩学习模型主要通过交替优化求解，其中求解基过滤器组S,首先通过梯度下降法迭代求解，然后通过奇异值分解(SVD)操作，得到的一组具有低秩特性的基卷积核。
(6)通过低秩学习模型求解重构系数；
步骤6.1将模型(1)中重构误差项简化得到以下最小二乘模型：
其中F∈R(d*d)×(C*N)表示原始的卷积核组，其每一列对应一个d*d的卷积核；S∈R(d *d)×M表示求得的基卷积核组，每一列对应一个基卷积核；A∈RM×(C*N)为重构系数矩阵，每一列表示对应的原始卷积核在基卷积核组S下的重构系数；
步骤6.2，求解上面模型可以也通过梯度下降法迭代求解，但这种该方法较慢且迭代阈值不容易选取，通常导致训练时间较长，并且不容易实现对原始卷积核组的完全重构。本文使用最小二乘法求得，对(3)式目标函数求导并令导数等于零，得到重构系数A:
A＝(STS)-1STF (4)
由(4)式可以看出，当矩阵S列满秩时，STS可逆，可以使得模型(3)达到最小化0，即可以实现对原始卷积核组完全重构。例如当卷积核大小为3*3时，若M＝9，即可实现对原始3*3的卷积核组完全重构。
(7)将原始卷积核组的卷积计算利用基卷积核组以及对应的重构系数进行等价代换，实现卷积计算加速，其等价的输出公式为：
其中*号表示卷积运算，表示重构系数，j＝1,2,...,N，Y2,j表示通过卷积计算的第j张输出特征图。
下面通过具体实例对本发明进行验证。
为保证图像超分辨率卷积加速计算方法前后图像的PSNR不变，选取基卷积核的个数M＝d2。基于已训练好SRCNN的3层卷神经网络模型，首先加载该模型，并将其读入为易于卷积计算处理的矩阵形式，得到每一卷积层参数数据，由于卷积计算的大部分时间主要集中在中间层的卷积计算，这里只替换中间层的卷积计算方法为上述所提的卷积计算加速方法，然后输入一张低分辨率的图片，通过3层卷积计算输出即为高分辨率图片，即为做图像超分辨率后的图片。
为进一步验证所提发明的有效性，这里主要利用SRNN中的Matlab代码验证所提方法在图像超分辨率应用领域关于卷积计算加速的有效性。
A1)实验环境：在Ubuntu16.04 LTS系统下，处理器为Xeon(R)CPU E5-2620v3@2.40GHz×24测试
A2)测试函数说明：将下载好的caffe model模型，载入到Matlab环境下，形成.mat数据格式文件，
demo_SR：测试算法PSNR和运行时间
手动调节输入im0，up_scale，model
主函数SRCNN：原始卷积计算函数，并计算对应的运行时间time_SRCNN以及评价指标PSNR_SRCNN；
主函数mySRCNN：通过低秩卷积加速计算，对应time_mySRCNN，表示通过低秩重构算法运行时间，对应评价指PSNR_mySRCNN。
A3)加速比计算：
这里为方便测试，通过直接计算总的运行时间-训练MM和coefficient时间(time_traincov2)，代码中计算speedup_ratio是代入计算的是实际mySRCNN运行时间。
实验(1)：
实验(1)数据：up_scale＝3
model：9-3-5(ImageNet)/x3.mat filter_size:3*3
im0：'Set5/butterfly_GT.bmp'
num_basic_filter＝9
PSNR_SRCNN＝PSNR_mySRCNN＝28.105696 dB
实验(1)的结果见下表1：
表1为实验(1)运行时间对比(s)。
实验(2)：
选用实验(1)同样的model，选用不同的图像测试,
实验(2)数据：up_scale＝3
model：9-3-5(ImageNet)/x3.mat filter_size:3*3
im0：'Set5/bird_GT.bmp'
num_basic_filter＝9
PSNR_SRCNN＝PSNR_mySRCNN＝35.146973dB
实验(2)结果见表2
表2
表2为实验(2)的运行时间对比(s)。
实验(3)：
实验(3)数据：up_scale＝2
model：model/9-1-5(91images)/x2.mat filter_size:1*1
im0：'Set5/butterfly_GT.bmp'
num_basic_filter＝1
PSNR_SRCNN＝PSNR_mySRCNN＝32.203103 dB
实验(3)的结果见表3
表3
表3为实验(3)的运行时间对比(s)。
A4)实验小结：
由上面实验结果看出：在保证评价指标PSNR不降低情况下，对于卷积核(卷积核)大小为1*1,加速效果最为明显平均18.1倍，对于卷积核(卷积核)大小为3*3，平均加速1.5-2倍之间。但若选择的基过滤器的个数M<d*d可进一步加速，但PSNR指标会降低，这里暂且没有给出实验结果。
本发明采用以上技术方案，对已训练好的网络模型中卷积核大小为3*3和1*1的一组卷积核组可以实现完全重构，从而保证在准确率不降低的情况下，实现卷积计算加速，并且该方法只是涉及到卷积计算过程，未改变原有的准确率，因此，它可以进一步结合其他加速方法实现进一步的加速。在图像超分辨率应用的实验结果显示，在卷积核大小为3*3可以实现不损失原有PSNR基础上加速1.5-2倍，在1*1的卷积核上运算加速效果最为明显，可以加速16-18倍左右且不降低PSNR指标。
本发明涉及的参考文献为：
1.Dong C,Loy C C,He K,et al.Image super-resolution using deepconvolutional networks[J].IEEE transactions on pattern analysis and machineintelligence,2016,38(2):295-307.
2.http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html。
Claims (7)
1.一种图像超分辨率卷积神经网络加速计算方法，其特征在于：其包括以下步骤：
(1)获取已训练好的卷积核组，
(2)将已训练好的卷积核组转化为易于卷积计算处理的矩阵形式的卷积核组；
(3)解析出中间卷积层矩阵形式的卷积核组作为原始卷积核组；
(4)基于原始卷积核组构造低秩学习模型：
(5)通过低秩学习模型求解基卷积核组；
(6)通过最小二乘模型求解重构系数；
(7)将原始卷积核组的卷积计算利用基卷积核组以及对应的重构系数进行卷积计算等价代换，实现卷积计算加速。
2.根据权利要求1所述的一种图像超分辨率卷积神经网络加速计算方法，其特征在于：所述步骤3中原始卷积核组F∈Rd×d×C×N,每个卷积核大小fij∈Rd×d,i＝1,...,C.j＝1,...,N，且输入特征图为Y1∈RW×H×C,C表示输入通道数，输出特征图为Y2∈RW'×H'×N,N表示输出通道数。
3.根据权利要求2所述的一种图像超分辨率卷积神经网络加速计算方法，其特征在于：所述步骤4具体包括以下步骤：
步骤4.1，根据步骤3中的原始卷积核组F，构建低秩学习模型：
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<mo>{</mo>
<msub>
<mi>s</mi>
<mi>m</mi>
</msub>
<mo>}</mo>
<mo>,</mo>
<mo>{</mo>
<msubsup>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
<mi>j</mi>
</msubsup>
<mo>}</mo>
</mrow>
</munder>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>C</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msubsup>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
<mi>j</mi>
</msubsup>
<msub>
<mi>s</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>s</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mo>*</mo>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中fij表示原始卷积核组中的一个卷积核，sk∈Rd×d表示第k个基卷积核，||sk||*为核范数，表示矩阵sk的所有奇异值之和，表示重构系数，模型(1)中第一项表示重构误差项，表示重构误差项，第二项为正则约束项，λ为正则参数；
步骤4.2，求解模型(1)获得M个基卷积核，M个基卷积核组成基卷积核组S，S＝[s1,s2,...,sM]，原始卷积核组中的每个卷积核fij均可由基卷积核线性表示，即
<mrow>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msubsup>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
<mi>j</mi>
</msubsup>
<msub>
<mi>s</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中fij表示原始卷积核组中的一个卷积核，sk∈Rd×d表示第k个基卷积核，表示重构系数。
4.根据权利要求3所述的一种图像超分辨率卷积神经网络加速计算方法，其特征在于：所述步骤4.2中M的取值M＝d2。
5.根据权利要求3所述的一种图像超分辨率卷积神经网络加速计算方法，其特征在于：所述步骤5具体通过梯度下降法迭代求解模型(1)，再通过奇异值分解得到低秩特性的基卷积核组。
6.根据权利要求5所述的一种图像超分辨率卷积神经网络加速计算方法，其特征在于：所述步骤6具体包括以下步骤：
步骤6.1将模型(1)中重构误差项简化得到以下最小二乘模型：
<mrow>
<munder>
<mi>min</mi>
<mi>A</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>F</mi>
<mo>-</mo>
<mi>S</mi>
<mi>A</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中F∈R(d*d)×(C*N)表示原始的卷积核组，其每一列对应一个d*d的卷积核；S∈R(d*d)×M表示求得的基卷积核组，每一列对应一个基卷积核；A∈RM×(C*N)为重构系数矩阵，每一列表示对应的原始卷积核在基卷积核组S下的重构系数；
步骤6.2，使用最小二乘法对(3)式目标函数求导并令导数等于零，求解得到以下重构系数
A＝(STS)-1STF (4)
其中F∈R(d*d)×(C*N)表示原始的卷积核组，其每一列对应一个d*d的卷积核；S∈R(d*d)×M表示求得的基卷积核组，每一列对应一个基卷积核；A∈RM×(C*N)为重构系数矩阵，每一列表示对应的原始卷积核在基卷积核组S下的重构系数。
7.根据权利要求6所述的一种图像超分辨率卷积神经网络加速计算方法，其特征在于：所述步骤7中卷积计算等价转换的输出公式为：
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Y</mi>
<mrow>
<mn>2</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>C</mi>
</munderover>
<msub>
<mi>Y</mi>
<mrow>
<mn>1</mn>
<mi>i</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>C</mi>
</munderover>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<msubsup>
<mi>a</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
<mi>j</mi>
</msubsup>
<msub>
<mi>Y</mi>
<mrow>
<mn>1</mn>
<mi>i</mi>
</mrow>
</msub>
<mo>*</mo>
<msub>
<mi>s</mi>
<mi>k</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mo>&lsqb;</mo>
<msub>
<mi>Y</mi>
<mrow>
<mn>11</mn>
<mo>*</mo>
</mrow>
</msub>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mn>11</mn>
<mo>*</mo>
</mrow>
</msub>
<msub>
<mi>s</mi>
<mi>M</mi>
</msub>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mn>12</mn>
<mo>*</mo>
</mrow>
</msub>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mn>12</mn>
<mo>*</mo>
</mrow>
</msub>
<msub>
<mi>s</mi>
<mi>M</mi>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mn>1</mn>
<mi>C</mi>
<mo>*</mo>
</mrow>
</msub>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mrow>
<mn>1</mn>
<mi>C</mi>
<mo>*</mo>
</mrow>
</msub>
<msub>
<mi>s</mi>
<mi>M</mi>
</msub>
<mo>&rsqb;</mo>
<mo>.</mo>
<msup>
<mi>a</mi>
<mi>j</mi>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中*号表示卷积运算，表示重构系数，j＝1,2,...,N，Y2,j表示通过卷积计算的第j张输出特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710940557.7A CN107680044B (zh) | 2017-09-30 | 2017-09-30 | 一种图像超分辨率卷积神经网络加速计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710940557.7A CN107680044B (zh) | 2017-09-30 | 2017-09-30 | 一种图像超分辨率卷积神经网络加速计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107680044A true CN107680044A (zh) | 2018-02-09 |
| CN107680044B CN107680044B (zh) | 2021-01-12 |
Family
ID=61140244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710940557.7A Active CN107680044B (zh) | 2017-09-30 | 2017-09-30 | 一种图像超分辨率卷积神经网络加速计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107680044B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978137A (zh) * | 2019-03-20 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种卷积神经网络的处理方法 |
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
| CN110858323A (zh) * | 2018-08-23 | 2020-03-03 | 北京京东金融科技控股有限公司 | 基于卷积的图像处理方法、装置、介质及电子设备 |
| CN111967574A (zh) * | 2020-07-20 | 2020-11-20 | 华南理工大学 | 一种基于张量奇异值定界的卷积神经网络训练方法 |
| CN112184557A (zh) * | 2020-11-04 | 2021-01-05 | 上海携旅信息技术有限公司 | 超分辨率网络模型压缩方法、系统、设备和介质 |
| US10949949B2 (en) | 2018-09-13 | 2021-03-16 | Samsung Electronics Co., Ltd. | Non-transitory computer-readable medium and method for monitoring a semiconductor fabrication process |
| WO2022057262A1 (zh) * | 2020-09-17 | 2022-03-24 | 苏州浪潮智能科技有限公司 | 图像识别方法、装置及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7941004B2 (en) * | 2008-04-30 | 2011-05-10 | Nec Laboratories America, Inc. | Super resolution using gaussian regression |
| CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
| CN105761216A (zh) * | 2016-01-25 | 2016-07-13 | 西北大学 | 一种图像去噪处理方法及装置 |
| CN106326985A (zh) * | 2016-08-18 | 2017-01-11 | 北京旷视科技有限公司 | 神经网络训练方法和装置及数据处理方法和装置 |
| CN107067380A (zh) * | 2017-03-28 | 2017-08-18 | 天津大学 | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 |
| CN107169560A (zh) * | 2017-04-19 | 2017-09-15 | 清华大学 | 一种自适应可重构的深度卷积神经网络计算方法和装置 |
-
2017
- 2017-09-30 CN CN201710940557.7A patent/CN107680044B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7941004B2 (en) * | 2008-04-30 | 2011-05-10 | Nec Laboratories America, Inc. | Super resolution using gaussian regression |
| CN103093444A (zh) * | 2013-01-17 | 2013-05-08 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
| CN105761216A (zh) * | 2016-01-25 | 2016-07-13 | 西北大学 | 一种图像去噪处理方法及装置 |
| CN106326985A (zh) * | 2016-08-18 | 2017-01-11 | 北京旷视科技有限公司 | 神经网络训练方法和装置及数据处理方法和装置 |
| CN107067380A (zh) * | 2017-03-28 | 2017-08-18 | 天津大学 | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 |
| CN107169560A (zh) * | 2017-04-19 | 2017-09-15 | 清华大学 | 一种自适应可重构的深度卷积神经网络计算方法和装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110858323A (zh) * | 2018-08-23 | 2020-03-03 | 北京京东金融科技控股有限公司 | 基于卷积的图像处理方法、装置、介质及电子设备 |
| US10949949B2 (en) | 2018-09-13 | 2021-03-16 | Samsung Electronics Co., Ltd. | Non-transitory computer-readable medium and method for monitoring a semiconductor fabrication process |
| CN110232653A (zh) * | 2018-12-12 | 2019-09-13 | 天津大学青岛海洋技术研究院 | 快速轻型超分辨率重建密集残差网络 |
| CN109978137A (zh) * | 2019-03-20 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种卷积神经网络的处理方法 |
| CN109978137B (zh) * | 2019-03-20 | 2021-03-16 | 厦门美图之家科技有限公司 | 一种卷积神经网络的处理方法 |
| CN111967574A (zh) * | 2020-07-20 | 2020-11-20 | 华南理工大学 | 一种基于张量奇异值定界的卷积神经网络训练方法 |
| CN111967574B (zh) * | 2020-07-20 | 2024-01-23 | 华南理工大学 | 一种基于张量奇异值定界的卷积神经网络训练方法 |
| WO2022057262A1 (zh) * | 2020-09-17 | 2022-03-24 | 苏州浪潮智能科技有限公司 | 图像识别方法、装置及计算机可读存储介质 |
| CN112184557A (zh) * | 2020-11-04 | 2021-01-05 | 上海携旅信息技术有限公司 | 超分辨率网络模型压缩方法、系统、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107680044B (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680044B (zh) | 一种图像超分辨率卷积神经网络加速计算方法 | |
| CN112465120A (zh) | 一种基于进化方法的快速注意力神经网络架构搜索方法 | |
| Li et al. | Hst: Hierarchical swin transformer for compressed image super-resolution | |
| CN108446766A (zh) | 一种快速训练堆栈自编码深度神经网络的方法 | |
| Liu et al. | Deep adaptive inference networks for single image super-resolution | |
| WO2018228399A1 (zh) | 运算装置和方法 | |
| CN114140469B (zh) | 一种基于多层注意力的深度分层图像语义分割方法 | |
| CN110163333A (zh) | 卷积神经网络的并行优化方法 | |
| CN115759237A (zh) | 端到端的深度神经网络模型压缩及异构转换系统及方法 | |
| CN114898171B (zh) | 一种适用于嵌入式平台的实时目标检测方法 | |
| CN114677548A (zh) | 基于阻变存储器的神经网络图像分类系统及方法 | |
| CN116740223A (zh) | 基于文本生成图像的方法 | |
| Yuan et al. | Low-res MobileNet: An efficient lightweight network for low-resolution image classification in resource-constrained scenarios | |
| CN116109868A (zh) | 基于轻量化神经网络的图像分类模型构建和小样本图像分类方法 | |
| CN116912268A (zh) | 一种皮肤病变图像分割方法、装置、设备及存储介质 | |
| CN116385454A (zh) | 一种基于多阶段聚合的医学图像分割方法 | |
| Trevino-Sanchez et al. | Hybrid pooling with wavelets for convolutional neural networks | |
| CN116095183A (zh) | 一种数据压缩方法以及相关设备 | |
| CN116301914A (zh) | 基于gap8微处理器的卷积神经网络部署方法 | |
| CN113298004B (zh) | 一种基于人脸特征学习的轻量级多头年龄估计方法 | |
| CN115035408A (zh) | 基于迁移学习和注意力机制的无人机影像树种分类方法 | |
| CN112116062B (zh) | 一种基于张量串分解的多层感知机非线性压缩方法 | |
| CN114565625A (zh) | 一种基于全局特征的矿物图像分割方法及装置 | |
| CN114332481A (zh) | 一种基于非负稀疏自编码器的盲端元提取与光谱解混方法 | |
| CN114283301A (zh) | 一种基于Transformer的自适应医学影像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |