CN110942424B - 一种基于深度学习的复合网络单图像超分辨率重建方法 - Google Patents
一种基于深度学习的复合网络单图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110942424B CN110942424B CN201911082371.8A CN201911082371A CN110942424B CN 110942424 B CN110942424 B CN 110942424B CN 201911082371 A CN201911082371 A CN 201911082371A CN 110942424 B CN110942424 B CN 110942424B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- network
- formula
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000002131 composite material Substances 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000000593 degrading effect Effects 0.000 claims abstract description 3
- 230000004913 activation Effects 0.000 claims description 33
- 230000008034 disappearance Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000013341 scale-up Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 230000000717 retained effect Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公示了一种基于深度学习的复合网络单图像超分辨率重建方法，属于计算机视觉技术领域。该方法首先使用特征提取层提取低分辨率图像的初始特征；然后将提取到的初始特征分别输入两个功能型子网络，一个子网络负责图像特征细节的提取与运算，另一子网络负责图像特征噪声的降解与消除；接着将两个子网络输出的深层次抽象特征与之前提取到的初始特征加权融合，最后通过重建层重建出超分辨率图像。在训练好的网络中，任意输入一张图像之后就可以得到期望尺寸的高分辨率图像，进而实现图像的超分辨重建。本发明能够有效处理传统图像超分辨重建方法过程中，因上采样过程出现随机噪声而造成图像重建效果不理想的情况，能在复杂情况下高效重建出单高分辨率图像，提升图像超分辨重建鲁棒性。
Description
技术领域
本发明涉及一种基于深度学习的复合网络单图像超分辨率重建方法，具体的是属于计算机视觉技术领域。
背景技术
图像超分辨率重建是计算机视觉重点研究方向之一。相较于低分辨率(LowResolution，LR)图像，高分辨率(High Resolution，HR)图像具有更高像素密度、更多细节信息、更细腻的画质，在医疗影像、卫星遥感、公共安全、视频监控等领域都有广泛的应用需求。
传统的图像超分辨率重建方法主要可以分为三类：(1)基于插值的方法。主要通过分解、插值和融合3个步骤实现的通用插值方法；(2)基于重建的超分辨率方法。按照频域和空域被分为两类，频域得到最广泛研究，是通过在频率域消除频谱混叠来改善图像的空间分辨率。(3)基于传统学习的超分辨率方法。它采用机器学习技术，通过事先给定的范例学习得到低分辨率和高分辨率图像块间的映射先验。
虽然这些基于传统图像超分辨重建的方法已经取得了较好的重建效果，但这些方法缺乏学习图像高层特征的能力，在重建效果与鲁棒性等方面存在着较大的缺陷，已不能满足日益增长的应用需求。
发明内容
为了弥补现有图像超分辨方法技术的不足，本发明在深度学习的思想基础上，以功能为主导，提出了一种基于深度学习的功能型子网络图像超分辨率重建方法。用于解决超分辨过程由于细节模糊、随机噪声导致重建结果过度平滑的问题。
为实现上述目的，本方法在神经网络中设计了四个部分：图像初始特征提取、功能子网络、特征融合和超分辨率图像重建。
其各个部分如下：
所述图像初始特征提取：通过建立最小化代价函数为每层神经网络训练一个卷积层，从输入的低分辨率图像中提取图像低级特征，并将每个特征表示为高维向量，合并为初始特征图组：
其中，输入X为经过插值变成目标尺寸的低分辨率图像，W1和b1分别表示卷积权值和偏置，
表示卷积运算,max(0,*)则是使用ReLU激活函数用于卷积特征的激活，F1是式(1)提取到的图像初始特征。
所述功能子网络，其具体工作可表现为：
初始特征图组分别输入两个功能子网络，子网络进行高维细节提取与噪声的抑制、消除任务。子网络1进行图像特征细节提取与学习，使用N层卷积层的卷积神经网络。首先将式(1)得到的图像初始特征F1送入由堆叠的N-1层由式(2)表示的卷积、激活复合迭代运算，进行高维特征提取与非线性映射得到图像深层特征；然后通过式(3)以局部跳跃连接方式融合图像深层特征与初始特征，以解决梯度消失问题；最后第N层通过式(4)输出子网络1运算结果；其公式表示如下：
式(2)为卷积、激活复合迭代运算，其中H1,s-1为前一层卷积、激活复合运算结果，s＝1,…,N-1，子网络1的输入为式(1)得到的图像初始特征F1，即H1,0＝F1；W1,s-1和b1,s-1分别表示当前层卷积运算的权值和偏置；
F1,N-1(H1,N-1)＝H1,N-1+F1 (3)
其中，H1,N-1为式(2)所表示的最后一层输出结果，加法为对应元素相加；
其中，F1,N-1为融合特征，即式(3)输出结果，W1,N-1和b1,N-1分别表示当前层卷积运算的权值和偏置。利用式(2)和式(4)进行卷积运算时，所有层内的卷积核尺寸一致，卷积时添加0边界,卷积步长为1，使得每一层输入、输出特征尺寸一致，最终使得子网络1的输出H1,N与输入F1尺寸一致。在子网络2进行图像特征噪声的抑制与消除。该部分网络交替使用卷积与反卷积，形成一个对称的网络结构，每个卷积层都有对应的反卷积层，形成一个M层的编解码结构；其中前(M-1)/2层为卷积、激活层，缩小图像特征尺寸同时获取图像特征的抽象内容，保留图像的主要信息并消除噪声点，得到较纯净的深层特征图；后(M-1)/2层为反卷积层，多个反卷积层对输入的特征图进行多次升尺度运算，将小尺度的深层纯净特征逐步恢复至初始图像尺寸，达到良好去噪效果的同时较好地保留图像内容。此外，子网络2使用了局部跳跃连接以解决梯度消失问题并提升重建效果。其公式表示如下：
其中，H2,c-1为前一层卷积、激活结果，c＝1,…,(M-1)/2，子网络2的输入为式(1)得到的图像初始特征F1，即H2,0＝F1；W2,c-1和b2,c-1分别表示当前层卷积运算的权值和偏置，卷积核尺寸与子网络1一致，但卷积时不添加0边界且卷积步长为2，使得式(5)输出尺寸变为输入一半；
其中，
表示反卷积运算，H2,d-1为前一层反卷积、激活后的结果，d＝(M-1)/2+1,…,M-1，式(5)最后一层的输出作为式(6)第一层的输入；反卷积运算可使输出变为输入尺寸的2倍。然后以局部跳跃连接方式融合式(6)结果和初始特征，以解决梯度消失问题并提升重建效果：
F2,M-1(H2,M-1)＝H2,M-1+F1 (7)
其中，H2,M-1为式(6)最后一层输出结果，F1为式(1)得到的图像初始特征，加法为对应元素相加；式(7)以局部跳跃连接方式融合式(6)结果和初始特征，以解决梯度消失问题；随后的第M层对式(7)结果F2,M-1进行卷积、激活，以输出子网络2的结果H2,M：
其中，W2,M-1和b2,M-1分别表示当前层卷积运算的权值和偏置。
所述的特征融合：
首先通过式(9)将前面两个子网络输出的H1,N与H2,M乘以一定的权值α、β，α+β＝1，相加得到加权和特征F3,1；然后在式(10)中将加权和特征进行一次卷积激活操作，进一步融合子网络输出特征，作为重建部分的输入，其公式表示：
F3,1＝αH1,N+βH2,M (9)
其中W3,2和b3,2分别表示卷积运算的权值和偏置，融合后特征F3,2作为重建部分的输入。
所述的超分辨率图像重建：
特征图重建为高分辨图像过程可看作特征提取阶段的逆运算。在传统的方法中，此过程通常平均化重叠高分辨率特征图以产生最终的完整图像。而在深度学习中，可将输入特征图相应位置看作高分辨图像对应像素不同维度的矢量形式。只需定义一个卷积层即可将特征图组重建生成最终的超分辨率图像。其原理、公式如下：
F4＝F3,2+F1 (11)
其中，F1是式(1)提取的图像初始特征，F3,2为式(10)得到的两个子网络融合特征，F4是融合初始特征及子网络融合特征后的深层次融合特征，W4 c和b4分别表示卷积运算的权值和偏置。式(11)是一个远程跳跃连接，将图像初始特征F1与深度抽象特征F3,2相加，其目的在于消除深度网络中出现的梯度消失问题，此外，也极大程度的保留了图像的浅层信息；式(12)为重建高分辨率图像表达式，Y为输出的高分辨率目标图像ISR，在重建网络卷积中，卷积核W4 c将作为一个反作用基底，将特征图投影到图像域中，重建出高分辨率图像。
本发明与现有的传统图像超分辨率重建方法相比，其优点在于：
1、提出一种用于图像超分辨率重建的复合深度神经网络。借助辅助子神经网络解决单图像超分辨率过程产生的噪声问题；
2、是一种端到端网络设计，除了一些必要的低分辨率图像三次插值预处理，不需要其他的人为干预。
附图说明
图1是本发明的方法流程图。
图2是本发明的网络架构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，下面结合附图说明本发明的具体实施方式。
图1是本发明的方法流程图：
步骤1：获取高-低分辨率对应训练图像对；
步骤2：搭建用于图像超分辨率重建的复合网络，根据步骤1获取的高-低分辨率图像对，将低分辨率图像使用双三次线性插值(Bicubic)插值法上采样至与高分辨率图像相同的大小，上采样后图像仍为低分辨率图像；
步骤3：使用卷积层提取步骤2上采样后低分辨率图像的特征，此时提取到的特征是初始特征，其原理公式如下：
其中，输入X为经过插值变成目标尺寸的低分辨率图像，W1和b1分别表示卷积权值和偏置，
表示卷积运算，本示例中所有卷积层皆为同一类型：64个大小为3×3×64的卷积核，卷积核在3×3的空间区域上运行，跨越64个特征通道；max(0,*)则是使用ReLU用于卷积特征激活，F1是式(13)提取到的图像初始特征。
通过上述卷积激活运算，可获得低分辨图像的初始特征，初始特征将作为两个功能型复合子网络的输入。
步骤4：两个子网络同步对图像特征进行操作，子网络1负责图像特征细节的提取与运算，子网络2对图像特征中含有的随机噪声进行降解与消除。通过设置不同的网络结构，两个子网络实现各自对应的不同功能，其过程如下：
子网络1：子网络1进行图像特征细节提取与学习，使用N层(实施时N取11)卷积层的卷积神经网络。首先将式(13)得到的图像初始特征F1送入由堆叠的N-1层由式(14)表示的卷积、激活复合运算，进行高维特征提取与非线性映射得到图像深层特征；然后通过式(15)以局部跳跃连接方式融合图像深层特征与初始特征同时解决梯度消失问题；最后，第N层通过式(16)输出子网络1运算结果；其公式表示如下：
式(14)为卷积、激活复合迭代运算，其中H1,s-1为前一层卷积激活复合运算结果，s＝1,…,N-1，子网络1的输入为式(13)得到的图像初始特征F1，即H1,0＝F1；W1,s-1和b1,s-1分别表示当前层卷积运算的权值和偏置；
F1,N-1(H1,N-1)＝H1,N-1+F1 (15)
其中，H1,N-1为式(14)所表示的最后一层输出结果，加法为对应元素相加；
其中，F1,N-1为融合特征，即式(15)输出结果，W1,N-1和b1,N-1分别表示当前层卷积运算的权值和偏置。利用式(14)和式(16)进行卷积运算时，所有层内的卷积核尺寸一致，卷积时添加0边界,卷积步长为1，使得每一层输入、输出特征尺寸一致，最终使得子网络1的输出H1,N与输入F1尺寸一致。
子网络2：在子网络2中，进行图像特征噪声的抑制与消除。该部分网络交替使用卷积与反卷积，形成一个对称的网络结构，每个卷积层都有对应的反卷积层，形成一个M层(实施时M与N一致，取11)的编解码结构；其中前(M-1)/2层为卷积、激活层，缩小图像特征尺寸同时获取图像特征的抽象内容，保留图像的主要信息并消除噪声点，得到较纯净的深层特征图；后(M-1)/2层为反卷积层，多个反卷积层对传入的初始特征进行多次卷积升尺度运算，将小尺度的深层纯净特征逐步恢复至初始图像尺寸。此外，子网络2使用了局部跳跃连接以解决梯度消失问题并提升重建效果。其公式表示如下：
其中，
表示反卷积运算,H2,d-1为前一层反卷积、激活后的结果，d＝(M-1)/2+1,…,M-1，式(17)最后一层的输出作为式(18)第一层的输入；反卷积运算可使输出变为输入尺寸的2倍。然后以局部跳跃连接方式融合式(18)结果和初始特征，得到融合有纯净深层特征和浅层特征的组合特征图同时解决梯度消失问题并提升重建效果：
F2,M-1(H2,M-1)＝H2,M-1+F1 (19)
其中，H2,M-1为式(18)最后一层输出结果，F1为式(13)得到的图像初始特征，加法为对应元素相加；随后的第M层对式(19)结果F2,M-1进行卷积、激活，以输出子网络2的结果H2,M：
其中，W2,M-1和b2,M-1分别表示当前层卷积运算的权值和偏置。
步骤5：首先通过式(21)将前面两个子网络输出的H1,N与H2,M乘以一定的权值α、β，α+β＝1，相加得到加权和特征F3,1；然后在式(22)中将加权和特征进行一次卷积激活操作，进一步融合子网络输出特征，作为重建部分的输入，其公式表示：
F3,1＝αH1,N+βH2,M (21)
其中W3,2和b3,2分别表示卷积运算的权值和偏置，融合后特征F3,2作为重建部分的输入。
需要说明的是，在步骤3中，通过特定卷积层获取图像的初始特征，并将这些特征送入两个设计不同的子网络，步骤3提取的初始特征几乎保留了原始图像中如轮廓、边界等所有图像局部信息；而在步骤4中两个子网络为多层的特定卷积神经网络，随着网络卷积层数的加深，每一层卷积输出的结果转化为更高层次的抽象概念表示，其特征图中含有的原始图像具体信息越来越少，特征信息开始聚集，特征信息也会更加抽象，逐渐丢失浅层特征信息，此时的特征更关注于纹理、类别等更加抽象的信息。因此，步骤5输出的高度抽象特征中已基本不含有步骤3的初始特征信息。为此，在下面步骤6重建高分辨率图像时，将步骤3的初始特征与步骤5输出的抽象特征进行融合，这样结合抽象特征与初始特征重建出的高分辨率图像可以达到更好的效果。
步骤6：使用卷积将步骤5得到的深层次融合特征结合步骤3得到的初始特征重建出具有单通道或者三通道高分辨率图像。其原理公式如下：
F4＝F3,2+F1 (23)
式(23)是一个远程跳跃连接，将式(13)得到的初始图像特征F1与式(22)得到的深层抽象特征F3,2加权相加，其目的在于消除深度网络中出现的梯度消失问题，此外，虽然深层抽象特征F3,2与初始特征F1含有的信息已经不同，但是二者间的特征图尺寸相同且信息互补，将二者融合后得到的融合特征F4包含了深层抽象特征和浅层原始信息；式(24)为重建高分辨率图像表达式，其中Y为输出的高分辨率目标图像ISR，W4 c和b4分别表示卷积运算的权值和偏置。在重建网络卷积中，卷积核W4 c作为一个反作用基底，将特征图投影到图像域中，重建出高分辨率图像。
以上仅是本发明的优选实施例，当然不可能限制本发明的范围。因此，在本发明的权利要求中进行的等同变化仍然在本发明的范围内。
Claims (6)
1.一种基于深度学习的复合网络图像超分辨率重建方法，其特征在于，所述方法的具体步骤如下：
步骤1：获取高-低分辨率对应训练图像对；
步骤2：搭建用于图像超分辨率重建的复合网络，根据步骤1获取到的高-低分辨率图像对，将低分辨率图像使用插值方法上采样至与高分辨率图像相同的大小，上采样后图像仍为低分辨率图像；
步骤3：使用卷积层提取步骤2上采样后的低分辨率图像特征，此时提取得到的特征是初始特征，之后将初始特征送入两个功能型复合子网络；
步骤4：两个子网络同步对图像初始特征进行运算操作，子网络1负责图像特征细节的提取与运算，子网络2负责对图像初始特征中含有的随机噪声进行降解与消除；
步骤5：将步骤4中两个子网络得到的图像高级抽象特征进行加权融合，得到深层次融合特征；
步骤6：使用卷积层将步骤5得到的深层次融合特征结合步骤3得到的初始特征重建出具有单通道或者三通道高分辨率图像。
2.根据权利要求1所述基于深度学习的复合网络图像超分辨率重建方法，其特征在于：所述步骤2具体步骤如下：
2.1：建立复合神经网络模型：使用python程序语言，TensorFlow深度学习框架，进行算法的编写；
2.2：引入参数更新策略：设置模型参数，设置迭代Epoch为10000次，每个Epoch含有的batch size为16，初始学习率设置为0.01,每隔100个Epoch学习率下降为原来的3/4，通过最后在训练集上体现的准确率；
2.3：上采样低分辨率图像：安装OpenCV计算机视觉库，调用OpenCV包读取文件夹下高—低分辨率图像对并将低分辨率图像使用双三次线性插值方法上采样至对应高分辨率图像相同大小，输入到复合神经网络模型算法中进行训练。
3.根据权利要求1所述基于深度学习的复合网络图像超分辨率重建方法，其特征在于：所述步骤3中使用卷积层提取上采样后的低分辨率图像特征，其公式如下：
其中，输入X为经过插值变成目标图像尺寸的低分辨率图像，W1和b1分别表示卷积权值和偏置,表示卷积运算,max(0,*)则是使用ReLU激活函数对卷积特征进行激活，F1是式(1)提取到的图像初始特征。
4.在权利要求3使用卷积层提取上采样后的低分辨率图像特征基础上，本项权利要求特征在于：权利要求1步骤4所述使用两个复合功能型子网络同步对图像初始特征进行操作，其原理公式如下：
子网络1：
子网络1进行图像特征细节提取与学习，使用N层卷积层的卷积神经网络，子网络1首先将权利要求3中式(1)得到的图像初始特征F1送入由N-1层式(2)表示的卷积、激活复合迭代运算，进行高维特征提取与非线性映射得到图像深层特征；然后通过式(3)以局部跳跃连接方式融合图像深层特征与初始特征，以解决梯度消失问题；最后，第N层通过式(4)输出子网络1运算结果；其公式表示如下：
式(2)为卷积、激活复合迭代运算，其中max(0,*)表示使用ReLU激活函数用于卷积特征的激活，H1,s-1为前一层卷积、激活复合运算结果，s＝1,…,N-1，子网络1的输入为式(1)得到的图像初始特征F1，即H1,0＝F1；W1,s-1和b1,s-1分别表示当前层卷积运算的权值和偏置；
F1,N-1(H1,N-1)＝H1,N-1+F1 (3)
其中，H1,N-1为式(2)所表示的最后一层输出结果，加法为对应元素相加；
其中，F1,N-1为融合特征，即式(3)输出结果，W1,N-1和b1,N-1分别表示当前层卷积运算的权值和偏置，利用式(2)和式(4)进行卷积运算时，所有层内的卷积核尺寸一致，卷积时添加0边界,卷积步长为1，使得每一层输入、输出特征尺寸一致，最终使得子网络1的输出H1,N与输入F1尺寸一致；
子网络2：
在子网络2中，进行图像噪声的抑制与消除，该部分网络交替使用卷积与反卷积，形成一个对称的网络结构，每个卷积层都有对应的反卷积层，形成一个M层的对称编解码网络结构，其中前(M-1)/2层为卷积、激活层，缩小图像特征尺寸同时获取图像特征的抽象内容，保留图像的主要信息并消除噪声点，得到较纯净的深层特征图；后(M-1)/2层为反卷积层，多个反卷积层对输入的特征图进行多次升尺度运算，将小尺度的深层纯净特征逐步恢复至初始图像尺寸，达到良好去噪效果的同时较好地保留图像内容，此外，子网络2使用了局部跳跃连接以解决梯度消失问题并提升重建效果，其公式表示如下：
其中，H2,c-1为前一层卷积、激活后结果，c＝1,…,(M-1)/2，子网络2的输入为式(1)得到的图像初始特征F1，即H2,0＝F1；W2,c-1和b2,c-1分别表示当前层卷积运算的权值和偏置，卷积核尺寸与子网络1一致，但卷积时不添加0边界且卷积步长为2，使得式(5)每一层输出尺寸变为输入的一半；
H2,d(H2,d-1)＝max(0,W2,d-1○H2,d-1+b2,d-1) (6)
其中，“○”表示反卷积运算,H2,d-1为前一层反卷积、激活后的结果，d＝(M-1)/2+1,…,M-1，式(5)最后一层的输出作为式(6)第一层的输入；反卷积运算可使输出变为输入尺寸的2倍，然后以局部跳跃连接方式融合式(6)结果和初始特征，以解决梯度消失问题并提升重建效果：
F2,M-1(H2,M-1)＝H2,M-1+F1 (7)
其中，H2,M-1为式(6)最后一层输出结果，F1为权利要求3中式(1)得到的图像初始特征，加法为对应元素相加；式(7)以局部跳跃连接方式融合式(6)结果和初始特征，以解决梯度消失问题；随后的第M层对式(7)结果F2,M-1进行卷积、激活，以输出子网络2的结果H2,M：
其中，W2,M-1和b2,M-1分别表示当前层卷积运算的权值和偏置。
5.根据权利要求1所述基于深度学习的复合网络图像超分辨率重建方法，其特征在于：获取网络深层次融合特征，其原理公式如下：
F3,1＝αH1,N+βH2,M (9)
式(9)表示将前面两个子网络输出的H1,N与H2,M乘以一定的权值α、β，α+β＝1，相加得到加权和特征F3,1；然后利用式(10)对加权和特征进行一次卷积、激活操作，进一步融合子网络输出特征，其中W3,2和b3,2分别表示卷积运算的权值和偏置，max(0,*)则是使用ReLU激活函数用于卷积特征的激活，进一步融合子网络加权和特征F3,1，融合后特征F3,2作为重建部分的输入。
6.根据权利要求1所述基于深度学习的复合网络图像超分辨率重建方法，其特征在于：将深层次融合特征重建为图像，其原理公式如下：
F4＝F3,2+F1 (11)
其中，F1是权利要求3中式(1)提取的图像初始特征，F3,2为权利要求5中式(10)得到的两个子网络融合特征，F4是融合初始特征及子网络融合特征后的深层次融合特征，和b4分别表示卷积运算的权值和偏置，式(11)是一个远程跳跃连接，将图像初始特征F1与深度抽象特征F3,2相加，其目的在于消除深度网络中出现的梯度消失问题，此外，也极大程度的保留了图像的浅层信息；式(12)为重建高分辨率图像表达式，Y为输出的高分辨率目标图像ISR，在重建网络卷积中，卷积核将作为一个反作用基底，将特征图投影到图像域中，重建出高分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082371.8A CN110942424B (zh) | 2019-11-07 | 2019-11-07 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911082371.8A CN110942424B (zh) | 2019-11-07 | 2019-11-07 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110942424A CN110942424A (zh) | 2020-03-31 |
| CN110942424B true CN110942424B (zh) | 2023-04-18 |
Family
ID=69907305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911082371.8A Active CN110942424B (zh) | 2019-11-07 | 2019-11-07 | 一种基于深度学习的复合网络单图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110942424B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070664B (zh) * | 2020-07-31 | 2023-11-03 | 华为技术有限公司 | 一种图像处理方法以及装置 |
| CN111970513A (zh) * | 2020-08-14 | 2020-11-20 | 成都数字天空科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN112116527B (zh) * | 2020-09-09 | 2024-02-23 | 北京航空航天大学杭州创新研究院 | 基于级联网络框架的图像超分辨率方法、级联网络 |
| CN112435162B (zh) * | 2020-11-13 | 2024-03-05 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112801868B (zh) * | 2021-01-04 | 2022-11-11 | 青岛信芯微电子科技股份有限公司 | 图像超分辨率重建的方法、电子设备及存储介质 |
| CN112767247A (zh) * | 2021-01-13 | 2021-05-07 | 京东方科技集团股份有限公司 | 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质 |
| CN113658046B (zh) * | 2021-08-18 | 2022-08-02 | 中科天网（广东）科技有限公司 | 基于特征分离的超分辨率图像生成方法、装置、设备和介质 |
| CN115082371B (zh) * | 2022-08-19 | 2022-12-06 | 深圳市灵明光子科技有限公司 | 图像融合方法、装置、移动终端设备及可读存储介质 |
| CN115564653A (zh) * | 2022-09-30 | 2023-01-03 | 江苏济远医疗科技有限公司 | 一种多因子融合的图像超分辨率方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231748A (zh) * | 2007-12-18 | 2008-07-30 | 西安电子科技大学 | 基于奇异值分解的图像融合方法 |
| CN102354394A (zh) * | 2011-09-22 | 2012-02-15 | 中国科学院深圳先进技术研究院 | 图像超分辨方法及系统 |
| CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7146055B2 (en) * | 2000-05-05 | 2006-12-05 | Hewlett-Packard Development Company, L.P. | Image processing decompression apparatus and method of using same different scaling algorithms simultaneously |
| KR20060123375A (ko) * | 2003-12-22 | 2006-12-01 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 호환 인터레이싱된 ｓｄｔｖ 및 순차 ｈｄｔｖ |
-
2019
- 2019-11-07 CN CN201911082371.8A patent/CN110942424B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231748A (zh) * | 2007-12-18 | 2008-07-30 | 西安电子科技大学 | 基于奇异值分解的图像融合方法 |
| CN102354394A (zh) * | 2011-09-22 | 2012-02-15 | 中国科学院深圳先进技术研究院 | 图像超分辨方法及系统 |
| CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于自监督深度学习的NVST图像去噪;陆县委，刘辉等;《激光与光电子进展》;20200916;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110942424A (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110942424B (zh) | 一种基于深度学习的复合网络单图像超分辨率重建方法 | |
| CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
| CN112288632B (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| CN111340744B (zh) | 基于注意力双流深度网络的低质量图像降采样方法及其系统 | |
| CN111583135A (zh) | 一种核预测神经网络蒙特卡罗渲染图像去噪方法 | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| KR20190059157A (ko) | 영상 화질 개선방법 및 그 장치 | |
| CN111986134B (zh) | 面阵相机遥感成像方法及装置 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN109785263A (zh) | 一种基于Retinex的逆色调映射图像转换方法 | |
| CN116152120B (zh) | 一种融合高低频特征信息的低光图像增强方法及装置 | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN111768340A (zh) | 一种基于密集多路径网络的超分辨图像重构方法和系统 | |
| CN112529776A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| CN108122262B (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| Mostafavi et al. | E2sri: Learning to super-resolve intensity images from events | |
| CN113793272B (zh) | 图像降噪方法及装置、存储介质、终端 | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及系统 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |