CN112884643A - 一种基于edsr网络的红外图像超分辨率重建方法 - Google Patents
一种基于edsr网络的红外图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN112884643A CN112884643A CN201911210392.3A CN201911210392A CN112884643A CN 112884643 A CN112884643 A CN 112884643A CN 201911210392 A CN201911210392 A CN 201911210392A CN 112884643 A CN112884643 A CN 112884643A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- residual
- loss function
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006870 function Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 34
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000001965 increasing effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000010008 shearing Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 238000004880 explosion Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于EDSR网络的红外图像超分辨率重建方法，并采用双损失函数训练网络，用于保护重建图像的边缘。包括以下步骤：对输入图像预处理，结合图像通道数对输入图像深度扩展；采用局部残差块级联和全局残差的方式构建深度学习网络结构，从而提取低分辨率图像和高分辨率图像的残差特征；采用L2损失和输入图像与输出图像的边缘图差值作为损失函数训练网络，从而保证较高的PSNR(Peak Signal‑Noise Ratio，峰值信噪比)和具有清晰边缘的高分辨率红外图像；将训练完成得到的特征恢复到输入图像通道数生成重建的超分辨红外图像。本发明采用双损失函数训练网络，可高质量、快速地完成红外图像的超分辨率重建，具有较高的应用价值。
Description
技术领域
本发明涉及一种基于EDSR网络的红外图像超分辨率重建方法，属于计算机视觉领域。
技术背景
近些年来，红外与可见光传感器作为两类最常用的图像源，广泛应用于医学、遥感、电力系统、人体探测和追踪等领域。可见光成像系统依靠光的反射成像，能提供背景信息，获得的图像有丰富的色彩、几何、纹理细节信息，但易受光照、烟雾等天气条件的影响。而红外相机依靠目标与背景的温差成像，可在光线不好的情况下检测到目标，但红外图像受探测单元尺寸、探测器阵列采样密度等固有因素的限制，存在分辨率与信噪比较低的特点，有时无法满足实际应用需求。
图像超分辨率重建(SRIR，Super Resolution Image Reconstruction)，是指用图像处理的方法，在不改变成像系统的情况下，通过软件算法的方式将已有的低分辨率(LR)图像转换成高分辨率(HR)图像的技术。超分辨率重建有传统的图像超分辨率重建技术和新兴的基于深度学习的超分辨率重建技术。前者通过插值，人工构建LR和SR图像间的映射字典等方法实现重建，后者则通过使用高分辨率图像监督训练网络，让网络自动去学习LR和HR/SR图像间的映射关系，从而实现重建，使得重建效果更加显著。
发明内容
本发明解决所要解决的技术问题是：提出一种基于EDSR网络的红外图像超分辨率重建方法，根据目前红外图像的空间分辨率低的问题，实现了对低分辨率红外图像3倍超分辨率重建，并通过双损失函数实现重建图像边缘保护，提高红外图像的图像质量和视觉效果。
为解决上述技术问题，本发明提供一种基于EDSR网络的红外图像超分辨率重建方法，包括以下处理过程：
1.构建网络：本网络在EDSR网络结构的基础上，优化了网络深度和残差块的数量，并去除了反卷积层，增加了双损失函数；
2.训练网络：采用单通道红外图像作为真实图像，并通过双立方插值算法对真实图像下采样构建训练集；采用随机梯度下降算法优化损失函数，加入自适应梯度剪切，保证取得最优解；
3.重建图像：根据完成训练得到的特征和权重，输入非数据集低分辨率图像，经网络处理后，输出边缘清晰的高分辨率输出图像。
与现有技术相比，本发明的有益效果是：
本发明在不提升硬件系统的条件下，采用深度学习的方法，实现了红外图像的超分辨率重建，显著提高了图像的空间分辨率，增加了图像细节信息，提高了图像质量；
本发明采用L2损失和输入输出图像边缘图的差值函数作为双损失函数来训练网络，在保证了超分辨率图像质量的同时，增加了边缘保护措施，增强了重建图像的边缘，便于处理应用，具有很高的工程应用价值。
附图说明
图1为网络结构图；
图2为残差块结构图；
图3为真值单通道红外图像例图。
具体实施方式
本发明提出的基于EDSR网络的红外图像超分辨率重建方法，网络结构如图1所示，输入为低分辨率红外图像，经双立方插值放大，输入到完成训练的模型，再经过预处理、深度扩展、局部残差学习和全局残差学习，深度复原等步骤，即可得到超分辨率图像。
如图1，本发明的基于EDSR网络的超分辨率重建方法具体运行流程为：
1.构建网络结构：网络结构以EDSR(Enhanced Deep Residual Networks forSingle Image Super-Resolution)网络为基础，并做了适当调整，包含放大层，预处理层，扩展层，残差模块和深度复原层，以低分辨率红外图像作为输入，经过上述各层，输出得到超分辨率重建的红外图像。以下为详细构建步骤：
1)放大层：采用双立方插值算法将输入的低分辨率图像放大到指定倍数(3倍)，放大后的图像为图像质量较低的高分辨率图像，但图像尺寸已经达到了的要求；
2)预处理层：预处理采用去均值操作，各维度都减对应维度的均值，使得输入数据各个维度都中心化；
3)扩展层：提高网络模型性能的最简单方法是增加网络参数。在卷积神经网络中，可以通过多层叠加或者增加滤波器的数目来提高模型的性能。通常具有深度(层数B和宽度(特征通道数)F的卷积神经网络结构，则其大致拥有O(BF2)个参数，且需要大致占据O(BF)内存。因此，当考虑有限的计算资源时，增加F而不是B可以使模型容量最大化。因此，在扩展层，通过卷积操作，将图像通道数(深度)扩展到适当的数值，增加模型的容量；该层滤波器的大小为3×3，深度为64，边缘处理方式为padding；
4)残差模块：由于输入图像和输出图像有着高度的相似性，所以可以改用学习输出与输入的残差特征取代直接学习全部特征。输入图像是x，f(x)是经过学习得到的残差，r＝y-x是实际的残差。那么损失函数为
当损失函数够小时，f(x)+x就能逼近y了。残差学习能提高收敛速度，加速训练过程；
该模块包含两个部分，局部残差和全局残差部分，分别用于学习局部残差和全局残差，并在输出时进行求和。局部残差由多个如图2所示的残差块级联构成，每个残差块的处理过程分为两部分，一部分对输入图像采取卷积、激活和卷积的操作，之后再经过一个缩放层，得到该部分的输出；另一部分则采用跳跃式连接，直接将输入图像作为该部分的输出；在经过求和层对两部分输出求和，即可得到一个局部残差块的输出。全局残差与局部残差类似，一部分同样采用跳跃式连接，将残差模块的输入直接作为输出，另一部分的输出即为局部残差的输出，两部分相加，即得到残差模块的输出；残差块的卷积核的参数为3×3，特征图的数量为64，16个相同的残差块级联构成残差模块；
5)深度复原层：由于经过残差模块后，并没有改变图像(特征图)的深度，图像的深度仍然为13)扩展后的深度，不是正常图像的单通道，因此，构建该深度复原层对图像深度进行缩减，相当于13)步骤的逆操作，目的为将输出图像恢复到正常深度；该层卷积核的大小为3×3，但深度为输入图像的通道数1；
6)边缘层：该层由经预训练的RCF网络构成，计算真值图像和超分辨率图像的边缘图，用于计算边缘差损失函数loss2。
2.训练网络：网络训练分为两个步骤，构建数据集和训练网络。以下为详细实现过程：
1)构建数据集：数据集真值图像(GT)采用单通道灰度红外图像，包含180张大小为640×480的图像，其中序号为1-164的图像为训练集真值图像，剩下的16张图像作为测试集真值图像，图3为数据集中的一张单通道红外图像。训练集和测试集图像则分别由训练集真值图像和测试集真值图像经双立方插值下采样3倍得到，大小为214×160，图像序号与真值图像对应；
2)网络训练：构建损失函数，本发明采用双损失函数训练网络，分别为均方差损失函数loss1和边缘差损失函数loss2；
均方差损失函数loss1的计算公式为
其中，m、n为图像的宽和高，IGT表示真值红外图像，ISR表示重建的超分辨率红外图像；
峰值信噪比(PSNR)的计算公式为
其中，MAX是表示图像点颜色的最大数值，针对灰度图像，MAX就是255；而MSE即为均方差，就等于均方差损失函数loss1。可见，选用均方差损失函数作为loss1，可以在一定程度上保证理想的峰值信噪比；
边缘差损失函数loss2的计算公式为
其中，m、n为图像的宽和高，EGT表示真值红外图像的边缘图，ESR表示重建的超分辨率红外图像的边缘图。
则总的损失函数loss为
loss＝α*loss1+β*loss2 (4)
因此，在优化总的损失函数loss时，原有的均方差损失函数loss1保证良好的峰值信噪比，增加的边缘差损失函数loss2实现了边缘保护，增强了重建图像的边缘特性。
训练方法：网络采用小批量梯度下降(MBGD)算法优化损失函数，每次迭代使用batch_size个样本来对参数进行更新，因此MBGD既有着较快的训练速度，同时也能避免出现局部最优解的问题；另外，训练加入了自适应梯度剪切算法，由于链式法则的计算，当网络的层数非常多时，经常出现梯度消失或者梯度爆炸的现象。体现在图像，就是损失函数有一个悬崖式的变化。如果设置的学习率太大，那么可能出现修改过度，甚至丢失已经优化好的数据。而自适应梯度剪切就是根据你的学习率，调整梯度的角度，确保收敛的稳定性。
3.图像重建：网络训练过程中，每经过一次迭代，都会输出所有测试集图像的重建图像的PSNR数值，当这些PSNR的均值高于给定PSNR阈值时，即可认为重建图像的质量相当好，可以停止训练，提取并保存模型和模型的权重偏置参数，完成训练；然后，使用保存的参数恢复模型，向模型输入非数据集的低分辨率红外图像，通过模型处理预测，就能够得到图像质量较好的3倍放大的高分辨率红外图像。
Claims (4)
1.一种基于EDSR网络的红外图像超分辨率重建方法，其特征在于，包括以下步骤：
1)构建网络：本网络在EDSR网络结构的基础上，优化了网络深度和残差块的数量，并去除了反卷积层，增加了双损失函数；
2)训练网络：采用单通道红外图像作为真实图像，并通过双立方插值算法对真实图像下采样构建训练集；采用随机梯度下降算法优化损失函数，加入自适应梯度剪切，保证取得最优解；
3)重建图像：根据完成训练得到的特征和权重，输入非数据集低分辨率图像，经本网络处理重建，得到边缘清晰的高分辨率输出图像。
2.根据权利要求1所述的基于EDSR网络的红外图像超分辨率重建方法，其特征在于，在所述步骤1)中，构建网络模型的具体步骤为：
1)放大层：采用双立方插值算法将输入低分辨率图像放大到指定倍数(3倍)，放大后的图像为图像质量较低的高分辨率图像，但图像尺寸已经达到了的要求；
2)预处理层：预处理采用去均值操作，各维度都减对应维度的均值，使得输入数据各个维度都中心化；
3)扩展层：提高网络模型性能的最简单方法是增加网络参数；在卷积神经网络中，可以通过多层叠加或者增加滤波器的数目来提高模型的性能；通常具有深度(层数)B和宽度(特征通道数)F的卷积神经网络结构，则其大致拥有O(BF2)个参数，且需要大致占据O(BF)内存；因此，当考虑有限的计算资源时，增加F而不是B可以使模型容量最大化；因此，在扩展层，通过卷积操作，将图像通道数(深度)扩展到适当的数值，增加模型的容量；该层滤波器的大小为3×3，深度为64，边缘处理方式为padding；
4)残差模块：由于输入图像和输出图像有着高度的相似性，所以可以改用学习输出与输入的残差特征取代直接学习全部特征；输入图像是x，f(x)是经过学习得到的残差，r＝y-x是实际的残差；那么损失函数为
当损失函数够小时，f(x)+x就能逼近y了；残差学习能提高收敛速度，加速训练过程；
该模块包含两个部分，局部残差和全局残差部分，分别用于学习局部残差和全局残差，并在输出时进行求和；局部残差由多个残差块级联构成，每个残差块的处理过程分为两部分，一部分对输入图像采取卷积、激活和卷积的操作，之后再经过一个缩放层，得到该部分的输出；另一部分则采用跳跃式连接，直接将输入图像作为该部分的输出；在经过求和层对两部分输出求和，即可得到一个局部残差块的输出；全局残差与局部残差类似，一部分同样采用跳跃式连接，将残差模块的输入直接作为输出，另一部分的输出即为局部残差的输出，两部分相加，即得到残差模块的输出；残差块的卷积核的参数为3×3，特征图的数量为64，16个相同的残差块级联构成残差模块；
5)深度复原层：由于经过残差模块后，并没有改变图像(特征图)的深度，图像的深度仍然为13)扩展后的深度，不是正常图像的单通道，因此，构建该深度复原层对图像深度进行缩减，相当于13)步骤的逆操作，目的为将输出图像恢复到正常深度；该层卷积核的大小为3×3，但深度为输入图像的通道数1；
6)边缘层：该层由经预训练的RCF网络构成，计算真值图像和超分辨率图像的边缘图，用于计算边缘差损失函数loss2。
3.根据权利要求1所述的基于EDSR网络的红外图像超分辨率重建方法，其特征在于，在所述步骤2)中，训练网络的过程中损失函数的构建和训练方法的选择具体步骤为：
构建损失函数，本发明采用双损失函数训练网络，分别为均方差损失函数loss1和边缘差损失函数loss2；
均方差损失函数loss1的计算公式为
其中，m、n为图像的宽和高，IGT表示真值红外图像，ISR表示重建的超分辨率红外图像；
峰值信噪比(PSNR)的计算公式为
其中，MAX是表示图像点颜色的最大数值，针对灰度图像，MAX就是255；而MSE即为均方差，就等于均方差损失函数loss1；可见，选用均方差损失函数作为loss1，可以在一定程度上保证理想的峰值信噪比；
边缘差损失函数loss2的计算公式为
其中，m、n为图像的宽和高，EGT表示真值红外图像的边缘图，ESR表示重建的超分辨率红外图像的边缘图；
则总的损失函数loss为
loss＝α*loss1+β*loss2
因此，在优化总的损失函数loss时，原有的均方差损失函数loss1保证良好的峰值信噪比，增加的边缘差损失函数loss2实现了边缘保护，增强了重建图像的边缘特性；
训练方法：网络采用小批量梯度下降(MBGD)算法优化损失函数，每次迭代使用batch-size个样本来对参数进行更新，因此MBGD既有着较快的训练速度，同时也能避免出现局部最优解的问题；另外，训练加入了自适应梯度剪切算法，由于链式法则的计算，当网络的层数非常多时，经常出现梯度消失或者梯度爆炸的现象；体现在图像，就是损失函数有一个悬崖式的变化；如果设置的学习率太大，那么可能出现修改过度，甚至丢失已经优化好的数据；而自适应梯度剪切就是根据你的学习率，调整梯度的角度，确保收敛的稳定性。
4.根据权利要求1所述的基于EDSR网络的红外图像超分辨率重建方法，其特征在于，在所述步骤3)中，所述PSNR阈值设定为30dB。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911210392.3A CN112884643A (zh) | 2019-11-29 | 2019-11-29 | 一种基于edsr网络的红外图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911210392.3A CN112884643A (zh) | 2019-11-29 | 2019-11-29 | 一种基于edsr网络的红外图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112884643A true CN112884643A (zh) | 2021-06-01 |
Family
ID=76039509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911210392.3A Pending CN112884643A (zh) | 2019-11-29 | 2019-11-29 | 一种基于edsr网络的红外图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884643A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793265A (zh) * | 2021-09-14 | 2021-12-14 | 南京理工大学 | 一种基于深度特征关联性的图像超分辨率方法及系统 |
| CN117994135A (zh) * | 2024-04-02 | 2024-05-07 | 中国科学院云南天文台 | 基于深度学习进行soho/mdi磁图超分辨率重建的方法 |
-
2019
- 2019-11-29 CN CN201911210392.3A patent/CN112884643A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793265A (zh) * | 2021-09-14 | 2021-12-14 | 南京理工大学 | 一种基于深度特征关联性的图像超分辨率方法及系统 |
| CN117994135A (zh) * | 2024-04-02 | 2024-05-07 | 中国科学院云南天文台 | 基于深度学习进行soho/mdi磁图超分辨率重建的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106204467B (zh) | 一种基于级联残差神经网络的图像去噪方法 | |
| CN111091045B (zh) | 一种基于时空注意力机制的手语识别方法 | |
| CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
| CN107123089A (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
| CN112232134B (zh) | 一种基于沙漏网络结合注意力机制的人体姿态估计方法 | |
| CN112686119B (zh) | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 | |
| CN112750201B (zh) | 三维重建方法及相关装置、设备 | |
| CN113989100B (zh) | 一种基于样式生成对抗网络的红外纹理样本扩充方法 | |
| CN115471423A (zh) | 一种基于生成对抗网络及自注意力机制的点云去噪方法 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN110809126A (zh) | 一种基于自适应可变形卷积的视频帧插值方法及系统 | |
| CN112884643A (zh) | 一种基于edsr网络的红外图像超分辨率重建方法 | |
| CN111160354B (zh) | 一种基于联合图像信息的海天背景下船舶图像分割方法 | |
| CN113705331A (zh) | 一种基于四元特征金字塔网络的sar船只检测方法 | |
| CN115984747A (zh) | 一种基于动态滤波器的视频显著性目标检测方法 | |
| CN112950505B (zh) | 一种基于生成对抗网络的图像处理方法、系统和介质 | |
| CN114529793A (zh) | 一种基于门控循环特征融合的深度图像修复系统及方法 | |
| CN112330572B (zh) | 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法 | |
| CN117593187A (zh) | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 | |
| CN114862699B (zh) | 基于生成对抗网络的人脸修复方法、装置及存储介质 | |
| CN116704367A (zh) | 一种多尺度特征融合耕地变化检测方法及系统 | |
| CN111179171A (zh) | 基于残差模块和注意力机制的图像超分辨率重建方法 | |
| CN110675381A (zh) | 一种基于串行结构网络的本征图像分解方法 | |
| CN113222016B (zh) | 一种基于高层和低层特征交叉增强的变化检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210601 |