CN112001843B - 一种基于深度学习的红外图像超分辨率重建方法 - Google Patents

一种基于深度学习的红外图像超分辨率重建方法 Download PDF

Info

Publication number
CN112001843B
CN112001843B CN202010734945.1A CN202010734945A CN112001843B CN 112001843 B CN112001843 B CN 112001843B CN 202010734945 A CN202010734945 A CN 202010734945A CN 112001843 B CN112001843 B CN 112001843B
Authority
CN
China
Prior art keywords
image
resolution
infrared
images
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010734945.1A
Other languages
English (en)
Other versions
CN112001843A (zh
Inventor
陈钱
展梦灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010734945.1A priority Critical patent/CN112001843B/zh
Publication of CN112001843A publication Critical patent/CN112001843A/zh
Application granted granted Critical
Publication of CN112001843B publication Critical patent/CN112001843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的红外图像超分辨率重建方法，首先将红外视频转化成连续的多帧红外图像并进行红外图像增强预处理，获得对比度更高、视觉效果更好的红外图像；同时建立基于深度学习的图像超分辨率重建算法模型；基于该模型，利用可见光数据集进行模型训练得到高低分辨率图像之间的关系模型；将红外图像输入该模型进行超分辨率重建，获得高分辨率的红外图像；最后整合红外图像得到信息更丰富的红外图像视频。本发明在红外图像的质量优化上具有十分优秀的效果，同时可以快速地将低质量的红外视频转换成高质量的视频，在军事、医学、安防等领域具有十分重要的作用。

Description

一种基于深度学习的红外图像超分辨率重建方法
技术领域
本发明属于图像处理领域，具体涉及一种基于深度学习的红外图像超分辨率重建方法。
背景技术
随着红外成像技术的不断发展，红外图像在军事、医学、公共安全等领域具有十分重要的作用。然而，红外图像相比可见光图像具有对比度低、细节信息不足、边缘模糊等特点，在实际应用中仍然存在很多问题。因此，对红外图像成像质量的优化成为了图像处理领域十分重要的分支。但是，直接通过红外成像设备获得高质量图片的过程往往存在很多干扰，对成像设备的要求也很高，这也意味着更高的硬件成本。所以，将图像超分辨率方法应用到红外图像上、对红外图像进行超分辨率重建从而获得更高的成像质量将是一个必要手段。
近几年，在可见光领域，已有大量科研工作者基于深度学习提出了许多超分辨率图像的算法，往往可以获得较好的成像结果。Dong C.et al.在2014年首次提出基于深度学习的图像超分辨率算法SRCNN，2015年何凯明提出了残差网络结构ResNet，解决了网络结构较深时无法训练的问题。这些算法提出将采集到的高分辨率图像进行压缩获得低分辨率图像，再进行图像重建，最后将获得的超分辨率图像与原图像进行比较，从而了解算法的图像重建能力。但是，基于红外图像本身分辨率较低、细节信息不足的特点，利用获得的红外图像进行压缩将进一步减少图像中的有用信息，不利于图像的重建；同时，目前并不存在相对权威的红外标准数据集，所以，很难利用红外图像数据集建立高低分辨率图像之间的模型。
发明内容
本发明的目的在于提供一种基于深度学习的红外图像超分辨率重建方法，解决红外图像本身具有的对比度低、分辨率低、视觉效果差等问题。
实现本发明目的的技术解决方案为：一种基于深度学习的红外图像超分辨率重建方法，步骤如下：
步骤1、采集一段红外视频，将其分为若干帧红外图像，转入步骤2；同时基于通道注意力机制残差学习图像超分辨率重建算法，建立低分辨率图像与高分辨率图像之间的关系模型，转入步骤3；
步骤2、将若干帧红外图像分别进行图像增强预处理，获得各帧对应的增强图像R(x，y)，转入步骤4；
步骤3、利用可见光数据集学习低分辨率图像与高分辨率图像之间的关系模型，获得图像超分辨率重建模型，转入步骤4；
步骤4、将各帧对应的增强图像R(x，y)依次输入图像超分辨率重建模型，进行超分辨率重建，从而得到分辨率更高的红外图像，转入步骤5；
步骤5、将各帧重建后的红外图像进行整合输出，得到信息更为丰富的红外图像视频。
本发明与现有技术相比，其显著优点在于：
1)本发明基于深度学习的思想，利用可见光数据集进行高低分辨率图像之间的模型训练，利用该模型进行红外图像的超分辨率重建，大大降低了对红外成像设备的成像技术要求；2)本发明通过对红外视频中的每一帧图像进行处理，可以快速获得成像质量更佳的红外视频，利于监测和追踪；3)本发明的方法对夜视红外图像也同样具有较高的图像信息识别能力；4)本发明的方法数据可靠，易于实施，操作简单。
附图说明
图1是本发明一种基于深度学习的红外图像超分辨率重建方法的流程图。
图2是本发明基于通道注意力机制的残差学习图像超分辨率重建算法示意图。
图3是本发明基于注意力机制的残差块结构示意图。
图4是红外图像测试对比图。图4是红外图像测试对比图，其中图(a)是低照度的红外图像在未处理之前的图，图(b)是经过本发明方法的处理之后的图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
结合图1，本发明一种基于深度学习的红外图像超分辨率重建方法，步骤如下：
步骤1、采集一段红外视频，将其输出为若干帧的红外图像；同时基于通道注意力机制残差学习图像超分辨率重建算法，建立低分辨率图像与高分辨率图像之间的关系模型，转入步骤3。
结合图2，基于通道注意力机制残差学习图像超分辨率重建算法，建立低分辨率图像与高分辨率图像之间的关系模型，具体步骤如下；
步骤1-1、利用Matlab的VideoReader函数将其分为若干帧红外图像，转入步骤2；
步骤1-2、选择一个可见光数据集(例如DIV2K可见光数据集)，选择一定的倍数(如2倍、3倍、4倍等)对其中的高分辨率图像IHR进行下采样，获得低分辨率图像ILR；
步骤1-3、将步骤1-2中获得的低分辨率图像ILR通过一个卷积层，该步骤对图像进行特征提取得到第一中间变量F0；
步骤1-4、步骤1-3中获得的第一中间变量F0通过32个残差块HB，得到第二中间变量Fb；残差块HB的结构基于通道注意力机制和残差网络，通道注意力机制对特征图中的通道赋予了不同的权重，增加了各通道之间的差异性，残差网络使网络结构加深，在训练过程中能够得到更好的收敛效果，具体计算如下：
结合图3，输入数据第五中间变量Fb-1通过一个卷积层Wb-1，1、一个ReLU层、一个卷积层Wb-1，2得到第六中间变量Xb-1，再通过由一个全局池化层、一个卷积层Wb-1，3、一个ReLU层、一个卷积层Wb-1，4和一个激活函数组成的通道注意力机制结构，获得第七中间中间变量s，s与第六中间变量Xb-1进行卷积得到第八中间变量Xb，将Xb与Fb-1相加得到第二中间变量Fb，具体公式如下：
Fb＝Fb-1+Xb；
Xb＝Xb-1*s；
s＝f(Wb-1，4δ(Wb-1，3Z)；
Z＝HGP(Xb-1)；
Xb-1＝Wb-1，2δ(Wb-1，1Fb-1)；
其中，HGP为全局池化函数，f为sigmoid激活函数，δ为ReLU函数。
步骤1-5、将步骤1-4中获得的第二中间变量Fb通过卷积层C2之后得到第三中间变量，将第三中间变量与第一中间变量F0相加得到第四中间变量FDF；
步骤1-6、将步骤1-5获得的结果FDF通过一个上采样函数HUP和一个卷积层C3得到图像重建后的超分辨率图像ISR，最终的计算公式如下：
Figure BDA0002604628680000041
Figure BDA0002604628680000042
Fb＝HBFb-1；
Figure BDA0002604628680000043
其中
Figure BDA0002604628680000044
为卷积层C3的函数；HUP为上采样层函数；
Figure BDA0002604628680000045
卷积层C2的函数，
Figure BDA0002604628680000046
为卷积层C1的函数。
将重建后的超分辨率图像ISR与用于训练的高分辨率图像IHR进行比较，通过反向传播过程修改低分辨率图像重建的模型参数的权重，通过多次学习最终获得泛化能力较高的深度学习模型，即低分辨率图像与高分辨率图像之间的关系模型。
步骤2、将若干帧红外图像分别进行图像增强预处理，获得各帧对应的增强图像R(x，y)，得到图像对比度更高的红外图像，对于一些低照度红外图像，经过红外增强预处理可以获得对比度更高、物体轮廓更明显的红外图像，转入步骤4，具体原理如下：
利用基于Retinex的图像增强算法对红外图像进行预处理，图像增强算法原理公式如下：
I(x，y)＝L(x，y)*R(x，y)；
I为红外图像，L为环境光的照射分量，R为携带图像细节的目标本身的反射分量，即为增强图像；环境光的照射分量L不能直接获得，通常利用高斯模糊来代替，公式如下：
Figure BDA0002604628680000047
其中，Gx，y)表示一个高斯核。
步骤3、由于红外图像缺少标准数据集且红外图像本身图像信息不足，不利于图像超分辨率模型的重建，所以利用可见光数据集DIV2K进行图像超分辨率重建算法的训练，学习基于该数据集的低分辨率图像与高分辨率图像之间的关系模型，获得图像超分辨率重建模型，转入步骤4。
步骤4、将各帧对应的增强图像R(x，y)依次输入图像超分辨率重建模型，进行超分辨率重建，从而得到重建后对比度和分辨率更高的红外图像，此时图像中包含更多人眼能够直接识别的有用信息，转入步骤5，结合图4测试红外图像可以看到，低照度的红外图像在未处理之前和经过此发明方法的处理之后的变化，图像对比度更高且恢复了更多图像细节信息。
步骤5、利用Matlab的VideoWriter函数将各帧重建后的红外图像进行整合输出，得到信息更为丰富的红外图像视频。
本发明的方法以深度学习中的卷积神经网络为基础，采用基于通道注意力机制的残差学习块进行模型训练，同时对红外图像进行预处理得到对比度更高的红外图像，最后对预处理之后的红外图像进行图像超分辨率重建得到放大相应倍数的红外图像，将处理之后的红外图像合成视频得到高分辨率、包含更多人眼可识别的有用信息的红外视频。通过本发明的方法，可以快速提高红外图像质量，也可以对红外监测视频质量进行改善。因此，本发明在各个领域对红外监测等活动都具有十分重要的意义。

Claims (1)

1.一种基于深度学习的红外图像超分辨率重建方法，其特征在于，步骤如下：
步骤1、采集一段红外视频，将其分为若干帧红外图像，转入步骤2；同时基于通道注意力机制残差学习图像超分辨率重建算法，建立低分辨率图像与高分辨率图像之间的关系模型，转入步骤3；
步骤2、将若干帧红外图像分别进行图像增强预处理，获得各帧对应的增强图像R(x，y)，转入步骤4；
步骤3、利用可见光数据集学习低分辨率图像与高分辨率图像之间的关系模型，获得图像超分辨率重建模型，转入步骤4；
步骤4、将各帧对应的增强图像R(x，y)依次输入图像超分辨率重建模型，进行超分辨率重建，从而得到分辨率更高的红外图像，转入步骤5；
步骤5、将各帧重建后的红外图像进行整合输出，得到信息更为丰富的红外图像视频；
步骤1中，基于通道注意力机制残差学习图像超分辨率重建算法，建立低分辨率图像与高分辨率图像之间的关系模型，具体步骤如下：
选择任意一个标准数据集，将所述标准数据集中的高分辨率图像IHR进行下采样获得低分辨率图像ILR，通过卷积层C1得到第一中间变量F0，F0通过若干个基于通道注意力机制的残差学习块HB得到第二中间变量Fb，再通过一个卷积层C2得到第三中间变量，第三中间变量与F0相加得到第四中间变量FDF，最后通过一个上采样层和一个卷积层C3获得超分辨率图像ISR，将ISR与用于训练的高分辨率图像IHR进行比较，通过反向传播过程修改低分辨率图像重建的模型参数的权重，通过多次学习最终获得泛化能力较高的深度学习模型，即低分辨率图像与高分辨率图像之间的关系模型，具体计算公式如下：
Figure FDA0003737814900000011
Figure FDA0003737814900000012
Fb＝HBFb-1；
Figure FDA0003737814900000013
其中
Figure FDA0003737814900000014
为卷积层C3的函数；HUP为上采样层函数；
Figure FDA0003737814900000015
卷积层C2的函数，
Figure FDA0003737814900000016
为卷积层C1的函数，Fb-1为第五中间变量；
所述基于通道注意力机制的残差学习块HB，具体计算如下：
输入数据第五中间变量Fb-1通过一个卷积层Wb-1，1、一个ReLU层、一个卷积层Wb-1，2得到第六中间变量Xb-1，再通过由一个全局池化层、一个卷积层Wb-1，3、一个ReLU层、一个卷积层Wb-1，4和一个激活函数组成的通道注意力机制结构，获得第七中间变量s，s与第六中间变量Xb-1进行卷积得到第八中间变量Xb，将Xb与Fb-1相加得到第二中间变量Fb，具体公式如下：
Fb＝Fb-1+Xb；
Xb＝Xb-1*s；
s＝f(Wb-1，4δ(Wb-1，3Z))；
Z＝HGP(Xb-1)；
Xb-1＝Wb-1，2δ(Wb-1，1Fb-1)；
其中，HGP为全局池化函数，Z为经过全局池化函数之后的第九中间变量，f为sigmoid激活函数，δ为ReLU函数；
步骤2中将若干帧红外图像分别进行图像增强预处理，获得增强图像R(x，y)，具体包括以下步骤：
步骤2-1、分别获取若干帧红外图像的像素；
步骤2-2、利用基于Retinex的图像增强算法对红外图像进行预处理，公式如下：
I(x，y)＝L(x，y)*R(x，y)；
I为红外图像，L为环境光的照射分量，R为携带图像细节的目标本身的反射分量，即为增强图像；环境光的照射分量L不能直接获得，通常利用高斯模糊来代替，公式如下：
Figure FDA0003737814900000021
其中，G(x，y)表示一个高斯核。
CN202010734945.1A 2020-07-28 2020-07-28 一种基于深度学习的红外图像超分辨率重建方法 Active CN112001843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010734945.1A CN112001843B (zh) 2020-07-28 2020-07-28 一种基于深度学习的红外图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010734945.1A CN112001843B (zh) 2020-07-28 2020-07-28 一种基于深度学习的红外图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN112001843A CN112001843A (zh) 2020-11-27
CN112001843B true CN112001843B (zh) 2022-09-06

Family

ID=73467247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010734945.1A Active CN112001843B (zh) 2020-07-28 2020-07-28 一种基于深度学习的红外图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN112001843B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379598B (zh) * 2021-05-20 2023-07-14 山东省科学院自动化研究所 基于残差通道注意力网络的太赫兹图像重建方法及系统
CN113222821A (zh) * 2021-05-24 2021-08-06 南京航空航天大学 一种面向环形靶标检测的图像超分辨率处理方法
CN113538229B (zh) * 2021-05-28 2023-12-12 华南师范大学 基于特征循环融合的多帧红外图像超分辨率方法和系统
CN113222825B (zh) * 2021-06-03 2023-04-18 北京理工大学 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN115754108B (zh) * 2022-11-23 2023-06-09 福建省杭氟电子材料有限公司 一种电子级六氟丁二烯的酸度测定系统及其方法
CN118134766B (zh) * 2024-05-07 2024-07-23 西安兵器工业科技产业开发有限公司 红外视频超分辨率重建方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089575B1 (en) * 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
CN111220958A (zh) * 2019-12-10 2020-06-02 西安宁远电子电工技术有限公司 基于一维卷积神经网络的雷达目标多普勒像分类识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089575B1 (en) * 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
CN111220958A (zh) * 2019-12-10 2020-06-02 西安宁远电子电工技术有限公司 基于一维卷积神经网络的雷达目标多普勒像分类识别方法

Also Published As

Publication number Publication date
CN112001843A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN112001843B (zh) 一种基于深度学习的红外图像超分辨率重建方法
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN101609549B (zh) 视频模糊图像的多尺度几何分析超分辨处理方法
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN116071243B (zh) 一种基于边缘增强的红外图像超分辨率重建方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN113658057B (zh) 一种Swin Transformer微光图像增强方法
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN115880225A (zh) 一种基于多尺度注意力机制的动态光照人脸图像质量增强方法
CN112614061A (zh) 基于双路编解码器的低照度图像亮度增强及超分辨率方法
CN116152120A (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN113610707B (zh) 一种基于时间注意力与循环反馈网络的视频超分辨率方法
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN117474764B (zh) 一种针对复杂退化模型下遥感图像的高分辨率重建方法
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
Han et al. Low-light images enhancement and denoising network based on unsupervised learning multi-stream feature modeling
Yibin et al. Terahertz image super-resolution reconstruction of passive safety inspection based on generative adversarial network
Yao et al. Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement
CN117196940A (zh) 一种基于卷积神经网络的适用于真实场景图像的超分辨率重构方法
Xu et al. Swin transformer and ResNet based deep networks for low-light image enhancement
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
CN116266336A (zh) 视频超分辨率重建方法、装置、计算设备及存储介质
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant