CN107154021A - 基于深层门限卷积神经网络的图像超分辨方法 - Google Patents
基于深层门限卷积神经网络的图像超分辨方法 Download PDFInfo
- Publication number
- CN107154021A CN107154021A CN201710303554.2A CN201710303554A CN107154021A CN 107154021 A CN107154021 A CN 107154021A CN 201710303554 A CN201710303554 A CN 201710303554A CN 107154021 A CN107154021 A CN 107154021A
- Authority
- CN
- China
- Prior art keywords
- mrow
- thresholding
- mtd
- layer
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 11
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 7
- 230000007935 neutral effect Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深层门限卷积神经网络的图像超分辨方法,主要解决现有技术在网络加深时图像超分辨效果会降低的问题。其实现步骤是:1.获取成对的低分辨和高分辨图像数据作为训练数据;2.定义一种门限卷积层,用它取代现有的卷积层,构建一个端到端的深层门限卷积神经网络;3.将训练数据输入深层门限卷积神经网络用Adam优化方法进行训练;4.利用训练好的深层门限卷积神经网络进行图像超分辨。本发明有效的减小了深层神经网络的梯度衰减的问题,实现了深层网络的图像超分辨应用,增强了图像超分辨效果;提高了图像超分辨的速度,可用于卫星遥感领域,医学领域,交通监控及视频压缩。
Description
技术领域
本发明属于图像处理技术领域,具体是一种图像超分辨方法,可用于卫星遥感领域,医学领域,交通监控领域以及视频压缩领域等。
背景技术
图像超分辨是指从一个低分辨图片中学习恢复出高分辨图像的一种技术。相比较于低分辨图像来说,高分辨图像可以表达更多详细的信息,其细节表达能力更强,因此,图像超分辨在很多的领域都有着极大应用,如卫星遥感领域,医学领域,交通监控领域,以及视频压缩领域等。
目前为止,图像的超分辨方法主要有三个主要分类:基于插值,基于重建和基于学习的方法。而基于学习的方法由于引入了先验信息的样例,增加了更有效的约束,提高了重建图像的准确性,所以在近几年来取得了极大的发展,逐渐成为图像超分辨的主流方法,而且其性能也远远超过了另外两种方法。在基于学习的方法中大致又分为两大方向:基于字典学习的方法和基于神经网络的方法。
基于字典学习的方法主要是基于稀疏编码的超分辨算法SCSR,它是由Yang等人就是从压缩感知理论出发提出的,这种方法的流程是:首先从输入图像中有重合的提取图像块,并拉成一个向量,并进行减均值和归一化的预处理;然后经过低分辨学到的字典进行编码,学到他们的稀疏表示;接着,将稀疏参数对应到高分辨字典中,得到高分辨的图像块;最后,有重合的重构原图,对重合部分取平均,就得到了最终的高分辨图像。该方法的缺点是在应用时学习低分辨字典的稀疏表示的时候用时非常长。
基于神经网络的方法中最典型的就是基于卷积神经网络的图像超分辨方法SRCNN,它是由Chao Dong等人在2015年提出的,方法中构建了一种基于三层卷积神经网络的图像超分辨模型,该模型是一个由低分辨图像到高分辨图像的端到端的映射。在应用过程中,由于不需要另外学习参数,所以用时短;但该方法的弊端是在网络的层数加深时模型的学习效果会下降。
发明内容
本发明的目的在于针对上述现有技术的不足,提出了一种基于深度门限卷积神经网络的图像超分辨方法,以加快图像超分辨的速度,提高图像超分辨的性能。
本发明的技术方案是对原有的SRCNN方法进行改进,其一方面,是用门限卷积层取代传统的卷积层;另一方面,将原有三层网络的拓展到了更多层,其具体的实现步骤如下:
1)获取成对的低分辨和高分辨图像数据:
对自然图像先进行下采样处理,然后再用双线性三次插值法,得到与之对应的低分辨图像,最后随机采样,得到大小相同的成对低分辨图像和高分辨图像作为训练数据;
2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进,构建一个端到端的深层门限卷积神经网络:
2a)定义一种门限卷积层,并用它来代替SRCNN中的卷积层,得到浅层的门限卷积神经网络;
2b)将浅层的门限卷积神经网络拓展到更多层神经网络,且最后一层采用反卷积神经网络重构高分辨图像,得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络;
3)用Adam优化方法对深层门限卷积神经网络进行训练:
3a)将低分辨图像样本作为深层门限卷积神经网络的输入,计算其输出与高分辨图像样本之间的重构误差其中xhi为训练时第i幅高分辨图像,xli为训练时第i幅低分辨图像,M表示该深层门限卷积神经网络;
3b)将重构误差E作为目标函数,用Adam优化方法优化该目标函数,得到一组最优的深层门限卷积神经网络参数;
4)利用深层门限卷积神经网络进行图像超分辨:
4a)对于输入的低分辨图像,通过一次门限卷积后得到低分辨图像所对应的特征图像;
4b)由4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像;
4c)由4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到我们的高分辨图像。
本发明具有如下优点:
1.本发明由于是用门限卷积层来构建的深层门限卷积神经网络,有效的减少了深层神经网络的梯度消失的问题,解决了深层神经网络的训练问题,可以得到一个优化良好的深层神经网络;
2.本发明由于最终使用的深层门限卷积神经网络是一个优化良好的深层神经网络,特征提取的非常充分,故能更好地描述细节的信息,使图像超分辨效果更好;
3.本发明由于采用的深层门限卷积神经网络是一个端到端的模型,而端到端的的模型在实际应用中具有速度快的优点,所以本发明可以快速的得到高分辨图像。
附图说明
图1是本发明的实现流程图;
图2是本发明中的图像超分辨子流程图;
图3是本发明中的门限卷积层示意图;
图4是本发明与其他方法的训练重构误差比较图;
图5是本发明与其他方法对自然图像的超分辨结果比较图。
具体实施方式
下面将结合附图,对本发明的实施例和效果作进一步详细说明。
参照图1,本发明的实现步骤如下。
步骤一,获取成对的低分辨和高分辨图像数据。
1.1)获取低分辨图像:
对原始图像先进行下采样,再对下采样图像采用双线性三次插值法将图像恢复到原来大小,得到的图片即为低分辨图像;
所述双线性三次插值,通过如下公式进行:
f(i+u,j+v)=ABC
其中,u表示横向的插值位置,v表示纵向的插值位置,i为当前像素点的横坐标,j为当前像素点的纵坐标,f(i+u,j+v)表示图像在(i+u,j+v)处插值后的像素值;A是横向因子矩阵,B矩阵是包括像素值f(i,j)在内的周围共计16个点的像素值组成的矩阵,C是纵向因子矩阵,这三个矩阵分别表示如下:
A=[S(1+u)S(u)S(1-u)S(2-u)],S是插值基函数;
C=[S(1+v) S(v) S(1-v) S(2-v)]T。
1.2)获取同样大小的低分辨图像和高分辨图像:
由于模型训练时要求输入的图像要具有相同大小,故用随机采样的方式在低分辨图像和高分辨图像相对应的位置采集n个p×p的同样大小的图片块作为低分辨图像训练样本集Xl和高分辨图像训练样本集Xh;
低分辨图像训练样本集表示为Xl={xl1,xl2...xli...xln},xli表示第i个低分辨训练样本图像;高分辨图像训练样本集表示为Xh={xh1,xh2...xhi...xhn},xhi表示第i个高分辨训练样本图像,i=1...n。
步骤二,构建深层门限卷积神经网络。
2.1)构建浅层门限卷积神经网络:
(2.1a)参照图3,定义一种门限卷积层:
首先,设门限卷积层的输入为x,对该输入进行两路卷积操作,得到第一路卷积结果f(ω1*x+b1)和第二路卷积的结果g(ω2*x+b2),其中“*”表示卷积操作,ω1为第一路的卷积核,ω2为第二路的卷积核,b1是第一路的偏置,b2是第二路的偏置,f是第一路激活函数,g是第二路激活函数;
然后,将这两路卷积的结果经过一个点乘操作,得到门限卷积的输出g_conv(x),其数学表达形式为:
g_conv(x)=f(ω1*x+b1)·g(ω2*x+b2);
f函数常用的一种是f(x)=x,另一种是具有信息传递的作用;g函数选用sigmoid函数,具有门限控制作用。
(2.1b)用(2.1a)中的门限卷积层代替基于卷积神经网络的图像超分辨模型SRCNN中的卷积层conv(x)=f(ω*x+b),得到浅层门限卷积神经网络;
2.2)将浅层门限卷积神经网络拓展到深层门限卷积神经网络:
(2.2a)引入门限卷积层后,减小深层神经网络的梯度衰减:
根据分步求导准则,门限卷积层的输出对门限卷积层的输入的导数可表示为:
根据上式,如果有一路的出现梯度衰减问题,门限卷积层的梯度可以由另一路传导下去,所以门限卷积层可以减小深层神经网络的梯度衰减;
(2.2b)用多个门限卷积层级联,构建多层门限卷积神经网络;
(2.2c)为了更好地重构高分辨图片,在(2.2b)的多层门限卷积神经网络后面再加入一层反卷积网络,最终构建一个多层门限卷积神经网络与一层反卷积网络级联的深层门限卷积神经网络。
步骤三,训练基于图像超分辨应用的深层门限卷积神经网络。
3.1)将低分辨图像样本作为深层门限卷积神经网络的输入,计算其输出与高分辨图像样本之间的重构误差其中xhi为训练时第i幅高分辨图像,xli为训练时第i幅低分辨图像,M表示该深层门限卷积神经网络;
3.2)将重构误差E作为目标函数,用Adam优化方法优化该目标函数:
3.2a)初始化深层门限卷积神经网络参数θ,设定优化总次数T;
3.2b)计算出目标函数对每一个参数的梯度gt;
3.2c)根据求得的梯度gt求出如下几个参数:
梯度的一阶距:mt=αmt-1+(1-α)gt,其中α是第一个固定参数,取值为α=0.9;
校正后的梯度一阶距:
梯度的二阶距:其中β是第二个固定参数,取值为β=0.999;
校正后的梯度二阶距:
3.2d)根据3.2c)求出第t次参数θ微调的大小:其中η为设定的初始步长;
(3.2e)将深层门限卷积神经网络参数更新为:θt=θt-1+Δθt;
(3.2f)将当前更新次数t与训练总次数T比较:当t<T时,则重复3.2b)-3.2e)操作;当t=T时,训练结束,T次优化得到的参数θT即为最终的深层门限卷积神经网络的参数。
步骤四,利用深层门限卷积神经网络进行图像超分辨。
参照图2,本步骤的过程如下:
(4a)对于输入的低分辨图像,通过一层门限卷积层后得到低分辨图像的特征图像;
(4b)由(4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像;
(4c)由(4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到高分辨图像,完成对低分辨图像的超分辨。
本发明的效果可通过以下测试进一步说明:
一.测试条件
采用cifar-10数据集作为训练数据对深层门限卷积神经网络训练,用自然图像作为测试数据,用峰值信噪比psnr作为测试时的度量标准。
二.测试内容
测试1,用浅层门限卷积神经网络与SRCNN网络在进行加深时,测试其测试样本重构误差的变化,结果如图4所示。从图4可以看出SRCNN在模型加深时,测试样本的重构误差没有减小,反而会有一定的增大,而用本发明使用的浅层门限卷积神经网络在网络加深时,测试样本的重构误差会明显减小。
测试2,用本发明对自然图像进行超分辨,结果如图5所示,其中图5(a)原始图片,图5(b)为低分辨图像,图5(c)是SRCNN的超分辨结果,峰值信噪比为22.26dB,图5(d)为本发明的超分辨结果,峰值信噪比为22.42dB,可见,本发明的超分辨效果要优于SRCNN模型。
Claims (4)
1.基于深度门限卷积神经网络的图像超分辨方法,包括:
1)获取成对的低分辨和高分辨图像数据:
对自然图像先进行下采样处理,然后再用双线性三次插值法,得到与之对应的低分辨图像,最后随机采样,得到大小相同的成对低分辨图像和高分辨图像作为训练数据;
2)对基于卷积神经网络的图像超分辨模型SRCNN进行改进,构建一个端到端的深层门限卷积神经网络:
2a)定义一种门限卷积层,并用它来代替SRCNN中的卷积层,得到浅层的门限卷积神经网络;
2b)将浅层的门限卷积神经网络拓展到更多层神经网络,且最后一层采用反卷积神经网络重构高分辨图像,得到多层门限卷积神经网络和一层反卷积神经网络级联的深层门限卷积神经网络;
3)用Adam优化方法对深层门限卷积神经网络进行训练:
3a)将低分辨图像样本作为深层门限卷积神经网络的输入,计算其输出与高分辨图像样本之间的重构误差其中xhi为训练时第i幅高分辨图像,xli为训练时第i幅低分辨图像,M表示该深层门限卷积神经网络;
3b)将重构误差E作为目标函数,用Adam优化方法优化该目标函数,得到一组最优的深层门限卷积神经网络参数;
4)用3b)中得到的最优的深层门限卷积神经网络参数所对应的深层门限卷积神经网络实现对低分辨图像到高分辨图像的超分辨映射:
4a)对于输入的低分辨图像,通过一次门限卷积后得到低分辨图像所对应的特征图像;
4b)由4a)中得到的低分辨图像的特征图像再经过多层的门限卷积神经网络精确的映射到高分辨图像的特征图像;
4c)由4b)中得到的高分辨图像的特征图像经过一层反卷积网络重构得到我们的高分辨图像。
2.根据权利要求1所述的方法,其中步骤1)中的双线性三次插值法,得到与之对应的低分辨图像,通过下式进行:
f(i+u,j+v)=ABC
其中,u表示横向的插值位置,v表示纵向的插值位置,i为当前像素点的横坐标,j为当前像素点的纵坐标,f(i+u,j+v)表示图像在(i+u,j+v)处插值后的像素值;A是横向因子矩阵,B矩阵是包括像素值f(i,j)在内的周围共计16个点的像素值组成的矩阵,C是纵向因子矩阵,这三个矩阵分别表示如下:
A=[S(1+u) S(u) S(1-u) S(2-u)],S是插值基函数;
<mrow>
<mi>B</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>2</mn>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>2</mn>
<mo>,</mo>
<mi>j</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>2</mn>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>2</mn>
<mo>,</mo>
<mi>j</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
C=[S(1+v) S(v) S(1-v) S(2-v)]T。
3.根据权利要求1所述的方法,其中步骤2a)中定义一种门限卷积层,并用它来代替SRCNN中的卷积层,得到浅层的门限卷积神经网络,按如下步骤进行:
2a1)定义一个门限卷积层,它包括了两路卷积操作,其数学表达式为:
g_conv(x)=f(ω1*x+b1)·g(ω2*x+b2),
其中x表示门限卷积层的输入,ω1表示第一路卷积核,ω2表示第二路卷积核,b1表示第一路的偏置,b2表示第二路的偏置,f表示第一路的激活函数,g表示第二路的激活函数,“*”表示卷积操作,“·”表示点乘操作;
2a2)用2a1)中的门限卷积层代替SRCNN中的卷积层,构建门限卷积神经网络:
SRCNN中的卷积层只包括一路的卷积操作,其数学表达式为:
conv(x)=f(ω*x+b),
x表示该卷积层的输入,ω是卷积核,b是偏置,“*”表示卷积操作;
在该卷积层的基础上,再加入一路卷积就得到门限卷积层的数学表达形式式:ω表示门限卷积的第一路卷积核,等价于ω1,b表示门限卷积的第一路偏置,等价于b1,表示门限卷积的第二路卷积核,等价于ω2,表示门限卷积的第二路偏置,等价于b2;
将SRCNN中的每一个卷积层conv(x)都用门限卷积层g_conv(x)代替,得到浅层门限卷积神经网络;
4.根据权利要求1所述的方法,其中步骤3b)中的用Adam优化方法优化该目标函数,按如下步骤进行:
3b1)初始化深层门限卷积神经网络参数θ,设定优化总次数T;
3b2)计算出目标函数对每一个参数的梯度gt;
3b3)根据求得的梯度gt求出如下几个参数:
梯度的一阶距:mt=αmt-1+(1-α)gt,其中α是第一个固定参数,取值为α=0.9;
校正后的梯度一阶距:
梯度的二阶距:其中β是第二个固定参数,取值为β=0.999;
校正后的梯度二阶距:
3b4)根据3b3)求出第t次参数θ微调的大小:其中η为设定的初始步长;
3b5)设第t次更新后的深层门限卷积神经网络参数为:θt=θt-1+Δθt,其中θt-1为t-1次更新后的深层门限卷积神经网络参数;
3b6)将当前更新次数t与训练总次数T比较:当t<T时,则重复3b2)-3b5)操作;当t=T时,训练结束,T次优化得到的参数θT即为最终的深层门限卷积神经网络的参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710303554.2A CN107154021B (zh) | 2017-05-03 | 2017-05-03 | 基于深层门限卷积神经网络的图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710303554.2A CN107154021B (zh) | 2017-05-03 | 2017-05-03 | 基于深层门限卷积神经网络的图像超分辨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107154021A true CN107154021A (zh) | 2017-09-12 |
CN107154021B CN107154021B (zh) | 2019-08-13 |
Family
ID=59792636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710303554.2A Active CN107154021B (zh) | 2017-05-03 | 2017-05-03 | 基于深层门限卷积神经网络的图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107154021B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805808A (zh) * | 2018-04-04 | 2018-11-13 | 东南大学 | 一种利用卷积神经网络提高视频分辨率的方法 |
WO2019101140A1 (zh) * | 2017-11-24 | 2019-05-31 | 腾讯科技(深圳)有限公司 | 高分辨率图片生成方法、计算机设备及存储介质 |
CN110123367A (zh) * | 2019-04-04 | 2019-08-16 | 平安科技(深圳)有限公司 | 计算机设备、心音识别装置、方法、模型训练装置及存储介质 |
CN113033583A (zh) * | 2019-12-09 | 2021-06-25 | 京东数字科技控股有限公司 | 数据处理方法和装置、模型训练系统 |
CN113052239A (zh) * | 2021-03-25 | 2021-06-29 | 山东大学 | 基于梯度方向参数优化的神经网络的图像分类方法及系统 |
US11194592B2 (en) | 2013-03-15 | 2021-12-07 | Tencent Technology (Shenzhen) Company Limited | System for launching a social application page in a floating layer on a microblog page |
CN116705642A (zh) * | 2023-08-02 | 2023-09-05 | 西安邮电大学 | 一种半导体引线框架镀银缺陷检测方法、系统及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130051519A1 (en) * | 2011-08-31 | 2013-02-28 | Dong Yang | Methods and apparatus for super resolution scanning for cbct system and cone-beam image reconstruction |
CN104598920A (zh) * | 2014-12-30 | 2015-05-06 | 中国人民解放军国防科学技术大学 | 基于Gist特征与极限学习机的场景分类方法 |
CN106067161A (zh) * | 2016-05-24 | 2016-11-02 | 深圳市未来媒体技术研究院 | 一种对图像进行超分辨的方法 |
CN106599827A (zh) * | 2016-12-09 | 2017-04-26 | 浙江工商大学 | 一种基于深度卷积神经网络的小目标快速检测方法 |
-
2017
- 2017-05-03 CN CN201710303554.2A patent/CN107154021B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130051519A1 (en) * | 2011-08-31 | 2013-02-28 | Dong Yang | Methods and apparatus for super resolution scanning for cbct system and cone-beam image reconstruction |
CN104598920A (zh) * | 2014-12-30 | 2015-05-06 | 中国人民解放军国防科学技术大学 | 基于Gist特征与极限学习机的场景分类方法 |
CN106067161A (zh) * | 2016-05-24 | 2016-11-02 | 深圳市未来媒体技术研究院 | 一种对图像进行超分辨的方法 |
CN106599827A (zh) * | 2016-12-09 | 2017-04-26 | 浙江工商大学 | 一种基于深度卷积神经网络的小目标快速检测方法 |
Non-Patent Citations (1)
Title |
---|
欧阳宁等: "基于并列卷积神经网络的超分辨率重建", 《计算机应用》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11194592B2 (en) | 2013-03-15 | 2021-12-07 | Tencent Technology (Shenzhen) Company Limited | System for launching a social application page in a floating layer on a microblog page |
WO2019101140A1 (zh) * | 2017-11-24 | 2019-05-31 | 腾讯科技(深圳)有限公司 | 高分辨率图片生成方法、计算机设备及存储介质 |
US11373275B2 (en) | 2017-11-24 | 2022-06-28 | Tencent Technology (Shenzhen) Company Limited | Method for generating high-resolution picture, computer device, and storage medium |
CN108805808A (zh) * | 2018-04-04 | 2018-11-13 | 东南大学 | 一种利用卷积神经网络提高视频分辨率的方法 |
CN110123367A (zh) * | 2019-04-04 | 2019-08-16 | 平安科技(深圳)有限公司 | 计算机设备、心音识别装置、方法、模型训练装置及存储介质 |
CN113033583A (zh) * | 2019-12-09 | 2021-06-25 | 京东数字科技控股有限公司 | 数据处理方法和装置、模型训练系统 |
CN113052239A (zh) * | 2021-03-25 | 2021-06-29 | 山东大学 | 基于梯度方向参数优化的神经网络的图像分类方法及系统 |
CN116705642A (zh) * | 2023-08-02 | 2023-09-05 | 西安邮电大学 | 一种半导体引线框架镀银缺陷检测方法、系统及电子设备 |
CN116705642B (zh) * | 2023-08-02 | 2024-01-19 | 西安邮电大学 | 一种半导体引线框架镀银缺陷检测方法、系统及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107154021B (zh) | 2019-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107154021B (zh) | 基于深层门限卷积神经网络的图像超分辨方法 | |
CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
CN109389556A (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
CN109903301B (zh) | 一种基于多级特征信道优化编码的图像轮廓检测方法 | |
CN108764471A (zh) | 基于特征冗余分析的神经网络跨层剪枝方法 | |
CN106204449A (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
CN107563965A (zh) | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 | |
CN102332153B (zh) | 基于核回归的图像压缩感知重构方法 | |
CN110363290A (zh) | 一种基于混合神经网络模型的图像识别方法、装置及设备 | |
CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
CN103037212B (zh) | 基于视觉感知的自适应块压缩传感图像编码方法 | |
CN110717921B (zh) | 改进型编码解码结构的全卷积神经网络语义分割方法 | |
CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
CN1630876A (zh) | 空间优化的纹理映射 | |
CN111583384A (zh) | 一种基于自适应八叉树头发卷积神经网络的头发重建方法 | |
CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
CN104408697A (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 | |
CN117541505A (zh) | 基于跨层注意力特征交互和多尺度通道注意力的去雾方法 | |
CN109272450B (zh) | 一种基于卷积神经网络的图像超分方法 | |
CN111626296A (zh) | 基于深度神经网络的医学图像分割系统及方法、终端 | |
CN105931181A (zh) | 基于非耦合映射关系的影像超分辨率重建方法及系统 | |
CN112862946B (zh) | 基于级联条件生成对抗网络的灰度岩心图像三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |