CN111932452B - 基于可见光图像增强的红外图像卷积神经网络超分辨方法 - Google Patents

基于可见光图像增强的红外图像卷积神经网络超分辨方法 Download PDF

Info

Publication number
CN111932452B
CN111932452B CN202010646515.4A CN202010646515A CN111932452B CN 111932452 B CN111932452 B CN 111932452B CN 202010646515 A CN202010646515 A CN 202010646515A CN 111932452 B CN111932452 B CN 111932452B
Authority
CN
China
Prior art keywords
image
infrared
neural network
resolution
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010646515.4A
Other languages
English (en)
Other versions
CN111932452A (zh
Inventor
徐之海
杨一帆
冯华君
李奇
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010646515.4A priority Critical patent/CN111932452B/zh
Publication of CN111932452A publication Critical patent/CN111932452A/zh
Application granted granted Critical
Publication of CN111932452B publication Critical patent/CN111932452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于可见光图像增强的红外图像卷积神经网络超分辨方法。利用红外可见光双分辨相机拍摄得到场景的红外图像和可见光图像，形成红外‑可见光图像对，并处理得到训练集；以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将红外相机拍摄到的红外图像输入训练后的卷积神经网络模型，得到超分辨的红外图像。本发明利用了可见光图像的信息，解决了超分辨过程中红外图像细节不丰富的问题，超分辨后的红外图像有更好的细节表现能力，卷积神经网络模型的鲁棒性强。

Description

基于可见光图像增强的红外图像卷积神经网络超分辨方法
技术领域
本发明属于数字图像处理领域的一种图像超分辨方法，涉及了一种利用可见光图像增强图像细节的卷积神经网络模型的图像超分辨处理方法。
背景技术
红外图像在很多领域例如热分析，视频监控，医疗诊断，远程遥感等提供了很多有价值的应用信息。红外图像质量和分辨率不高的主要原因是由于非理想光学和有限的探测器尺寸造成的模糊效应。一般来说，与可见光相比，红外图像质量较差，空间分辨率有限。为了实现高精度的热测量，红外探测器被封装在独立的真空封装中，这是一个耗时且昂贵的过程。对于低分辨率红外图像，通过解决非定向的病态问题来恢复细节，这对于实现可靠的目标检测和识别任务至关重要。
超分辨率算法是一种利用单个或多个低分辨率图像恢复对应的的高分辨率图像的技术。图像超分辨方法是提高红外图像分辨率的最佳方法之一。
发明内容
为了解决背景技术中存在的技术问题，针对红外成像系统，在成像过程中难以采用高效的方法获得高质量的红外图像，难以通过简单有效的办法提高红外图像的分辨率，现有的算法难以在红外图像的细节上有显著提升等问题，本发明采用了一种利用可见光图像增强图像细节的卷积神经网络模型的图像超分辨处理方法。
本发明利用了可见光图像的信息，解决了超分辨过程中红外图像细节不丰富的问题，超分辨后的红外图像有更好的细节表现能力，卷积神经网络模型的鲁棒性强。
本发明的目的是使用红外可见光图像成像系统拍摄实拍装置获得的各种情况下的相同场景的红外图像和可见光图像，然后将拍摄的得到的同一场景的红外可见光图像进行匹配得到用于卷积神经网络模型训练的训练集，最后以训练集迭代训练初始化后的卷积神经网络模型，训练完毕后将红外成像系统拍摄得到的红外图像输入该训练好的模型，得到超分辨后的图像。
为达到以上目的，本发明采用以下技术方案：
(1)使用红外可见光双分辨相机拍摄获得各种场景下的红外图像和可见光图像；
各种场景是指室内或者室外的景物/风景图像，其中包含人物或者不包含人物。
(1.1)根据图像内容和信息进行筛选，将相同场景的红外图像和可见光图像形成红外-可见光图像对；
(2)将拍摄得到的红外-可见光图像对根据场景内容整理得到用于训练卷积神经网络的训练集；
(3)以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将待测的红外相机拍摄得到的红外图像输入训练后的卷积神经网络模型，得到超分辨后的红外图像。
所述的红外可见光双分辨相机同时拥有红外成像系统和可见光成像系统，并且两个成像系统拥有平行或者相同的光轴，入射光通过分光棱镜分光后分别在两个成像系统上成像。
所述步骤(3)具体是：
(3.1)以固定的初始化方法初始化卷积神经网络模型的模型参数，使得服从特定的分布；
(3.2)获得训练集中的可见光图像IVIS和红外图像IHR，对其中的可见光图像IVIS进行高频特征提取得到高频图像FVIS，对红外图像IHR通过双三次插值的方法进行下采样获得低分辨图像ILR；
(3.3)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，通过解卷积的操作对低分辨图像ILR进行处理以提高图像的尺寸得到解卷积图像DI；
(3.4)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对解卷积图像DI进行特征提取获得红外图像的高频信息在可见光图像上的映射图像FIR-VIS；
(3.5)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对解卷积图像DI进行特征提取和上采样操作，输入红外图像并得到图像在各级卷积层上的特征图像FIR k，k＝1,2,....,n表示卷积层的级数；
(3.6)根据最后一级卷积层输出的特征图像和映射图像FIR-VIS进行逐像素相加，得到最终的高分辨红外图像ISR；
(3.7)根据步骤(3.4)得到的映射图像FIR-VIS和高频图像FVIS计算高频保真项误差LossVIS；
(3.8)根据步骤(3.6)得到的高分辨红外图像ISR和真实的红外图像IHR计算低分辨保真项误差LossIR；
(3.9)对计算得到的高频保真项误差LossVIS和低分辨保真项误差LossIR进行加权相加，得到总损失函数Loss，利用总损失函数Loss对卷积神经网络模型的模型参数进行优化调整；
(3.10)根据优化调整后的卷积神经网络模型的模型参数和多个低分辨图像ILR，继续进行步骤(3.3)至步骤(3.9)的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕；将数字成像系统拍摄得到的红外图像插值后输入训练好的卷积神经网络模型，得到高分辨率的红外图像。高分辨率的红外图像是原图像分辨率的整数倍。
所述(3.10)中的数字成像系统为红外相机。
所述步骤(3.1)具体为：卷积神经网络模型包含有二十八层卷积层以及解卷积层，将卷积神经网络模型的初始模型参数，即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值，初始化为32位浮点数，使所有初始模型参数服从(0,1)之间的均匀分布。
所述步骤(3.3)具体为：对于输入低分辨率的红外图像ILR，利用下式处理获得解卷积图像结果：
DI＝DConv3(ILR)
其中，DConvi(·)为初始化后的初始卷积核和初始偏置矩阵作卷积核为i×i的解卷积操作，DI为解卷积图像；
所述步骤(3.4)具体为：
Figure BDA0002573249730000033
其中，
Figure BDA0002573249730000034
为k个初始化后的初始卷积核和初始偏置矩阵作卷积核为i×i的解卷积操作。
所述步骤(3.5)具体为：对于输入的解卷积图像DI，分别利用下式处理获得不同的特征：
Figure BDA0002573249730000031
其中，Fi为处理得到的第i个特征；
然后通过不同层次的特征进行融合得到更好图像结果的红外特征图像FIR：
Figure BDA0002573249730000032
其中，cat为将多层特征在红外图像单通道(第四通道维度)上进行级联操作。具体实施冲如RGB图像为三通道，红外图像为单通道，第四通道维度为红外图像单通道。
所述步骤(3.6)具体为：通过融合红外图像的红外特征图像FIR以及其在可见光图像特征上的映射图像FIR-VIS得到最终的高分辨红外图像ISR：
Figure BDA0002573249730000041
所述步骤(3.7)具体为：在得到的红外图像的高频信息FVIS-IR后，通过下式利用高斯滤波器对可见光图像进行处理得到的高频图像FVIS：
FVIS＝GF(IVIS)
其中，GF为高斯滤波器；
计算高频保真项误差LossVIS：
Figure BDA0002573249730000042
其中，||||2表示二范数，x,y表示图像的横纵坐标；
所述步骤(3.8)具体为：根据得到高分辨红外图像ISR和真实的红外图像IHR计算低分辨保真项误差LossIR：
Figure BDA0002573249730000043
所述步骤(3.9)具体为：总损失函数Loss可以由下式计算得到：
Loss＝α·LossIR+β·LossVIS
其中，α和β分别为高频权重系数和低分辨权重系数；
再通过下式获得保真项误差Loss对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值，并利用卷积核权重和偏导数值对卷积核权重
Figure BDA0002573249730000044
和偏置参数
Figure BDA0002573249730000045
进行更新，具体处理如下：
Figure BDA0002573249730000046
Figure BDA0002573249730000047
其中，μ为学习速率，
Figure BDA0002573249730000048
和
Figure BDA0002573249730000049
分别为更新后的第k层网络单元卷积网络卷积层的卷积核权重和偏置参数。
本发明针对红外成像系统在成像过程中分辨率低，图像细节差，难以通过简单有效的方法在图像超分辨过程中恢复更加丰富的图像细节，现有的算法难以提高超分辨后图像的细节表达能力等问题，利用可见光图像增强图像细节的卷积神经网络模型的图像超分辨方法。
首先使用红外可见光双分辨相机成像系统获得各种场景下的红外图像可见光图像对，将获得的红外图像可见光图像对制成用于训练卷积神经网络模型的训练集，训练集包含了大量的红外图像可见光图像对，能描述自然场景下的红外图像和可见光图像的分布，然后以训练集中的大量红外和可见光图像对初始化后的卷积神经网络模型进行迭代训练，训练完毕后将红外相机拍摄的红外图像输入该训练好的模型，得到超分辨后的图像。
本发明的有益效果：
本发明方法对红外成像系统成像过程中图像超分辨的过程进行了模拟，并且利用可见光图像增加了红外图像的细节信息表达能力，并建立了数据集用于训练卷积神经网络模型以实现不同倍率的超分辨效果，超分辨后的图像细节表达能力更丰富，卷积神经网络模型的鲁棒性强。
本发明方法对于红外成像系统拍摄的图像，实现了更优越的超分辨效果，针对现有的红外图像超分辨方法细节不够丰富的情况，提出了使用可见光图像配以卷积神经网络的拟合能力来提高红外图像的细节丰富程度。
附图说明
图1为红外可见光相机成像系统示例。
图2为拍摄得到的红外可见光图像对。
图3为红外图像超分辨神经网络结构示意图。
图4是为利用训练完成的卷积神经网络模型对由红外成像系统拍摄的图像进行处理的结果.
图5是采用双三次插值、IDN以及本发明方法的对比客观评价结果；
具体实施方式
以下结合附图对本发明作进一步说明。
本发明的实施例及其实施情况如下：
步骤1.使用红外可见光双分辨相机成像系统获得各种场景下的红外图像可见光图像对，获得的图像对如图2所示。
具体实施的红外可见光双分辨相机成像系统如图1所示：颜色拜耳阵列电耦合器件成像系统和近红外电耦合器件成像系统拥有相同的光轴，用一个棱镜对入射光进行分光，在两个成像系统上进行成像，以保证成的像是相同的。
步骤2.将获得的红外图像可见光图像对制成用于训练卷积神经网络模型的训练集。
步骤3.以训练集中的大量红外和可见光图像对初始化后的卷积神经网络模型进行迭代训练，网络模型如图3所示，图中的数字为标记的滤波器的通道数，训练完毕后将红外相机拍摄的红外图像输入该训练好的模型，得到超分辨后的图像。
3-1卷积神经网络模型包含有二十八层卷积层以及解卷积层，将卷积神经网络模型的初始模型参数，即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值，初始化为32位浮点数，使所有初始模型参数服从(0,1)之间的均匀分布。
3-2获得训练集中的可见光图像IVIS和红外图像IHR，并对可见光图像进行高频特征提取得到FVIS，对红外图像通过双三次插值的方法先进行下采样获得低分辨图像ILR；在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对解卷积后的图像ILR进行特征提取和上采样操作，输入红外图像并得到图像在各级卷积层上的特征图像FIR k，k＝1,2,....,n表示卷积层的级数；
3-3根据卷积得到的红外图像的高频信息FVIS-IR，高斯滤波器对可见光图像进行处理得到的高频信息FVIS，高分辨红外图像ISR和真实的红外图像IHR，计算两个保真项误差LossVIS和LossIR以得到总保真项误差Loss。
3-4根据计算得到的总的保真项误差Loss，对待训练的卷积神经网络模型参数进行调整；
3-5根据调整后的卷积神经网络模型参数和多张红外图像继续进行步骤3-2至步骤3-5的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕，将红外相机拍摄得到的红外图像输入训练后的卷积神经网络模型，得到超分辨后的图像。
针对不同缩放倍数的分辨率要求，可以对输入图像进行相应倍率的插值操作，从而得到不同倍率的超分辨图像。
本发明使用图3所示结构，对图4所示的红外图像进行2倍分辨率成像，并在图5与双三次插值以及IDN算法在峰值信噪比和结构相似性上做了对比，说明本发明的效果。
如图4所示，对比本发明的方法与双三次插值所产生的超分辨图像，可以发现本发明的方法生成图像的纹理更加丰富，细节更加明显。
如图5所示，本发明的方法在客观评价指标上对比于其他算法有明显的提升。
在红外图像超分辨系统中，为了重建高分辨率的红外图像，提出利用可见光图像增强图像细节的卷积神经网络模型的图像超分辨方法，本发明显著改善了红外图像超分辨的成像质量。

Claims (5)

1.一种基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：该方法包括以下步骤：
(1)使用红外可见光双分辨相机拍摄获得各种场景下的红外图像和可见光图像；
(1.1)将相同场景的红外图像和可见光图像形成红外-可见光图像对；
(2)将拍摄得到的红外-可见光图像对整理得到用于训练卷积神经网络的训练集；
(3)以训练集迭代训练初始化后的卷积神经网络模型，直至迭代次数达到预设次数，卷积神经网络模型训练完毕，将待测的红外相机拍摄得到的红外图像输入训练后的卷积神经网络模型，得到超分辨后的红外图像；
所述步骤(3)具体是：
(3.1)以固定的初始化方法初始化卷积神经网络模型的模型参数，使得服从特定的分布；
(3.2)获得训练集中的可见光图像IVIS和红外图像IHR，对其中的可见光图像IVIS进行高频特征提取得到高频图像FVIS，对红外图像IHR通过双三次插值的方法进行下采样获得低分辨图像ILR；
(3.3)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，通过解卷积的操作对低分辨图像ILR进行处理以提高图像的尺寸得到解卷积图像DI；
(3.4)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对解卷积图像DI进行特征提取获得红外图像的高频信息在可见光图像上的映射图像FIR-VIS；
(3.5)在初始化后的卷积神经网络模型的各级卷积层上，使用各级卷积层上的初始卷积核和初始偏置矩阵，对解卷积图像DI进行特征提取和上采样操作，得到图像在各级卷积层上的特征图像FIR k，k＝1,2,....,n表示卷积层的级数；
(3.6)根据最后一级卷积层输出的特征图像和映射图像FIR-VIS进行逐像素相加，得到最终的高分辨红外图像ISR；
(3.7)根据步骤(3.4)得到的映射图像FIR-VIS和高频图像FVIS计算高频保真项误差LossVIS；
(3.8)根据步骤(3.6)得到的高分辨红外图像ISR和真实的红外图像IHR计算低分辨保真项误差LossIR；
(3.9)对计算得到的高频保真项误差LossVIS和低分辨保真项误差LossIR进行加权相加，得到总损失函数Loss，利用总损失函数Loss对卷积神经网络模型的模型参数进行优化调整；
(3.10)根据优化调整后的卷积神经网络模型的模型参数和低分辨图像ILR，继续进行步骤(3.3)至步骤(3.9)的操作，进行模型参数调整的过程，直至迭代次数达到预设次数，则模型训练完毕；将数字成像系统拍摄得到的红外图像插值后输入训练好的卷积神经网络模型，得到高分辨率的红外图像。
2.根据权利要求1所述的基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：
所述的红外可见光双分辨相机同时拥有红外成像系统和可见光成像系统，并且两个成像系统拥有平行或者相同的光轴，入射光通过分光棱镜分光后分别在两个成像系统上成像。
3.根据权利要求1所述的基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：所述(3.10)中的数字成像系统为红外相机。
4.根据权利要求1所述的基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：所述步骤(3.1)具体为：卷积神经网络模型包含有二十八层卷积层以及解卷积层，将卷积神经网络模型的初始模型参数，即卷积神经网络的各级卷积层的初始卷积核和所述各级卷积层的初始偏置矩阵中的所有元素值，初始化为32位浮点数，使所有初始模型参数服从(0,1)之间的均匀分布。
5.根据权利要求1所述的基于可见光图像增强细节的红外图像卷积神经网络超分辨方法，其特征在于：所述步骤(3.3)具体为：对于输入低分辨率的红外图像ILR，利用下式处理获得解卷积图像结果：
DI＝DConv3(ILR)
其中，DConva(·)为初始化后的初始卷积核和初始偏置矩阵作卷积核为a×a的解卷积操作，DI为解卷积图像；
所述步骤(3.4)具体为：
Figure FDA0003702427950000021
其中，
Figure FDA0003702427950000022
为g个初始化后的初始卷积核和初始偏置矩阵作卷积核为a×a的解卷积操作；
所述步骤(3.5)具体为：对于输入的解卷积图像DI，分别利用下式处理获得不同的特征：
Figure FDA0003702427950000023
Figure FDA0003702427950000024
Figure FDA0003702427950000031
其中，Fb为处理得到的第b个特征；
然后通过不同层次的特征进行融合得到更好图像结果的红外特征图像FIR：
Figure FDA0003702427950000032
其中，cat为将多层特征在红外图像单通道上进行级联操作；
所述步骤(3.6)具体为：通过融合红外图像的红外特征图像FIR以及其在可见光图像特征上的映射图像FIR-VIS得到最终的高分辨红外图像ISR：
Figure FDA0003702427950000033
所述步骤(3.7)具体为：在得到的红外图像的高频信息FVIS-IR后，通过下式利用高斯滤波器对可见光图像进行处理得到的高频图像FVIS：
FVIS＝GF(IVIS)
其中，GF为高斯滤波器；
计算高频保真项误差LossVIS：
Figure FDA0003702427950000034
其中，|| ||2表示二范数，x,y表示图像的横纵坐标；
所述步骤(3.8)具体为：根据得到高分辨红外图像ISR和真实的红外图像IHR计算低分辨保真项误差LossIR：
Figure FDA0003702427950000035
所述步骤(3.9)具体为：总损失函数Loss可以由下式计算得到：
Loss＝α·LossIR+β·LossVIS
其中，α和β分别为高频权重系数和低分辨权重系数；
再通过下式获得保真项误差Loss对所有卷积神经网络模型的卷积层的卷积核权重和偏置参数的偏导数值，并利用卷积核权重和偏导数值对卷积核权重
Figure FDA0003702427950000036
和偏置参数
Figure FDA0003702427950000037
进行更新，具体处理如下：
Figure FDA0003702427950000038
Figure FDA0003702427950000039
其中，μ 为学习速率，
Figure FDA0003702427950000041
和
Figure FDA0003702427950000042
分别为更新后的第k层网络单元卷积网络卷积层的卷积核权重和偏置参数。
CN202010646515.4A 2020-07-07 2020-07-07 基于可见光图像增强的红外图像卷积神经网络超分辨方法 Active CN111932452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010646515.4A CN111932452B (zh) 2020-07-07 2020-07-07 基于可见光图像增强的红外图像卷积神经网络超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010646515.4A CN111932452B (zh) 2020-07-07 2020-07-07 基于可见光图像增强的红外图像卷积神经网络超分辨方法

Publications (2)

Publication Number Publication Date
CN111932452A CN111932452A (zh) 2020-11-13
CN111932452B true CN111932452B (zh) 2022-08-19

Family

ID=73312366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010646515.4A Active CN111932452B (zh) 2020-07-07 2020-07-07 基于可见光图像增强的红外图像卷积神经网络超分辨方法

Country Status (1)

Country Link
CN (1) CN111932452B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446828B (zh) * 2021-01-29 2021-04-13 成都东方天呈智能科技有限公司 一种融合可见光图像梯度信息的热成像超分辨率重建方法
CN112862737B (zh) * 2021-02-07 2024-05-14 西北工业大学 一种基于自监督纹理特征指导的红外图像质量增强方法
CN113240583B (zh) * 2021-04-13 2022-09-16 浙江大学 一种基于卷积核预测的图像超分辨方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961180A (zh) * 2018-06-22 2018-12-07 理光软件研究所（北京）有限公司 红外图像增强方法及系统
CN110544205A (zh) * 2019-08-06 2019-12-06 西安电子科技大学 基于可见光与红外交叉输入的图像超分辨率重建方法
CN111340734A (zh) * 2020-03-02 2020-06-26 浙江大学 一种利用卷积神经网络模型的图像紫边校正方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780569B (zh) * 2016-01-08 2023-05-05 特利丹菲力尔有限责任公司 用于图像分辨率增强的系统和方法
US11229417B2 (en) * 2017-10-06 2022-01-25 Noreen F. Mian Non-visible radiation medical imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961180A (zh) * 2018-06-22 2018-12-07 理光软件研究所（北京）有限公司 红外图像增强方法及系统
CN110544205A (zh) * 2019-08-06 2019-12-06 西安电子科技大学 基于可见光与红外交叉输入的图像超分辨率重建方法
CN111340734A (zh) * 2020-03-02 2020-06-26 浙江大学 一种利用卷积神经网络模型的图像紫边校正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
shaowen liu.infrared image super resolution using GAN with infrared image prior.《IEEE》.2019, *
严利雄等.基于生成对抗网络的红外图像电力设备超分辨算法研究.《通信电源技术》.2020,(第03期), *

Also Published As

Publication number Publication date
CN111932452A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
CN111932452B (zh) 基于可见光图像增强的红外图像卷积神经网络超分辨方法
CN111080567B (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN107154023A (zh) 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN109146787B (zh) 一种基于插值的双相机光谱成像系统的实时重建方法
CN108288256B (zh) 一种多光谱马赛克图像复原方法
CN111815665B (zh) 基于深度信息与尺度感知信息的单张图像人群计数方法
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN112561807B (zh) 一种基于卷积神经网络的端到端径向畸变校正方法
CN112419171A (zh) 一种多残差块条件生成对抗网络的图像复原方法
CN111145102A (zh) 一种基于卷积神经网络的合成孔径雷达图像去噪方法
CN114841856A (zh) 基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法
CN116168067B (zh) 基于深度学习的有监督多模态光场深度估计方法
CN110111269A (zh) 基于多尺度上下文聚合网络的低照度成像算法及装置
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
CN112634184A (zh) 基于融合性卷积神经网络的rgb图像光谱反射率重建方法
CN111652815A (zh) 一种基于深度学习的掩膜板相机图像复原方法
CN114463196A (zh) 一种基于深度学习的图像校正方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
CN116469095A (zh) 雷视传感融合的天时场景自适应三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant