CN110544205B - 基于可见光与红外交叉输入的图像超分辨率重建方法 - Google Patents
基于可见光与红外交叉输入的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110544205B CN110544205B CN201910719987.5A CN201910719987A CN110544205B CN 110544205 B CN110544205 B CN 110544205B CN 201910719987 A CN201910719987 A CN 201910719987A CN 110544205 B CN110544205 B CN 110544205B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- visible light
- super
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
Abstract
本发明公开了一种基于可见光与红外交叉输入的图像超分辨率重建方法，步骤1：图像超分辨网络的训练；步骤2：超分辨图像的重建网络测试。本发明利用可见光图像有的丰富信息的特点，将其送入特征提取模块提取特征图后将特征图再和经过图像重构模块中引导滤波层的红外图像进行图像融合；通过亚像素卷积增加图像尺寸，并逐步添加特征信息；在网络中引入视觉图像特征和引导滤波层实现提高图像分辨率的目的。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于可见光与红外交叉输入的图像超分辨率重建方法。
背景技术
图像超分辨率重建是利用低分辨率的图像获取高分辨率图像的技术。对图像进行超分辨率重建可以提高图像的识别能力和识别精度，因为硬件配置的限制以及精度越高的器材的价格的限制，利用软件算法提高图像分辨率是现在的研究热点。各个超分辨率算法的提出使获取感兴趣区域更高分辨率的图像更加便捷。超分辨率图像重建有着宽广的应用领域，在军事、医学，公共安全和计算机视觉等方面都有着重要的应用前景。
目前，超分辨率重建技术主要分为两类，一类是基于重建的方法，一类是基于学习的方法；基于重建的超分辨率方法的基础是均衡及非均衡采样定理，假设低分辨率的输入采样图像能很好地预估出原始的高分辨率图像；基于学习的方法是近年来超分辨率算法研究的热点，它采用大量的高分辨率图像构造学习库学习模型，通过对低分辨率图像进行恢复的过程中引入从学习模型中获得的先验知识，得到图像的高频细节，获得较好的图像超分辨率效果。
近年来，由于深度学习在计算机视觉上的卓越表现，卷积神经网络在计算机视觉基础上获得的突出成就，使得深度学习在超分辨重建等计算机视觉任务上获得更为广泛的应用；Dong等人首次将卷积神经网络与超分辨算法结合，获得了比传统算法更好的性能。随后提出的快速SRCNN算法，相比原来的基于CN的算法具有更高的执行效率和更大的峰值信噪比，后来J.Kim等人提出了包含20个权重层和学习残差的高深度网络，虽然更深层次的网络方法可以提高图像质量，但是参数的选取会导致图像的过拟合问题，并且，网络越深，深度学习算法的速度也会受到影响。随后，提出了拉普拉斯金字塔超分辨率网络算法，该算法利用翻转卷积层进行图像的放大和预测特征，减少了大比例因子训练的难度，但是该算法对提高红外图像的质量敏感。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于可见光与红外交叉输入的图像超分辨率重建方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于可见光与红外交叉输入的图像超分辨率重建方法，该方法为：
步骤1：图像超分辨网络的训练；
具体为：对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理；
对预处理后的可见光图像与红外图像分别通过下采样缩小倍数获得低分辨率可见光图像和低分辨率红外图像；
对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图；
对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像；
将所述可见光特征提取图和低分辨率红外图像进行融合获得超分辨率重建的结果图；
对所述超分辨率重建的结果图与下采样之前的红外图像进行损失函数计算确定超分辨率重建的结果图与红外图像之间的损失；
根据所述损失确定图像超分辨网络训练是否完成，如果未完成图像超分辨网络训练，重复以上步骤继续对图像超分辨网络训练进行训练；
步骤2：超分辨图像的重建网络测试；
具体为：根据设定的损失和迭代次数确定图像超分辨网络训练完成之后，通过所述图像超分辨网络对输入图像进行超分辨率重建获取测试结果图。
上述方案中，所述对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理，具体为：
对可见光与红外图像数据集对中同一场景的可见光红外图像依据特征点进行配准；
对配准过的可见光与红外图像对选取特定的大小，并且进行裁剪；
对剪裁过的可见光与红外图像数据进行随机的翻转变换或者旋转操作，即沿水平或垂直方向进行图像翻转或者是对图像旋转，旋转度数为90度，180度和270度。
上述方案中，所述对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图，具体为：将可见光图像输入特征提取模块的亚像素上采样网络做特征提取，其中卷积层提取特征，激活层将其转换为非线性特征，亚像素层通过亚像素卷积实现图像的上采样，整个上采样网络包含了特征提取和放大的过程，并且每次将图像尺度放大两倍，获得可见光特征提取图。
上述方案中，所述对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图，具体为：
通过卷积核大小为3×3，卷积层数为3，数量为64的卷积核对低分辨率可见光图像进行计算，获得特征图F1；
将所述特征图F1送入激活层得到特征图F2；
通过卷积核大小为3×3，卷积层数为64，数量为64的卷积核对所述特征图F2进行计算，获得特征图F3；
将特征图F3送入激活层得到特征图F4；
通过卷积核大小为3×3，卷积层数为64，数量为256的卷积核对特征图F4进行计算，获得特征图F5；
将特征图F5送入激活层得到特征图F6；
将所述特征图F6送入亚像素卷积层进行图像上采样，获得可见光特征提取图F7。
上述方案中，所述对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像，具体为：对所述低分辨率红外图像通过引导滤波层消除噪声后，再经过反卷积尺度放大两倍，获得消除噪声的低分辨率红外图像。
上述方案中，所述如果图像超分辨网络训练，重复以上步骤继续对图像超分辨网络训练进行训练图像超分辨网络，具体为：重复图像超分辨网络训练的过程，直到实现图像重建的放大尺度N，重复N/2次，并且所述超分辨率重建的结果图与红外图像之间的损失满足要求。
上述方案中，所述通过所述图像超分辨网络对输入图像进行重建获取超分辨率图像重建的结果图，之后包括：判断所述超分辨率图像重建的结果图是否满足要求的放大尺度N，如果满足，则输出结果图；如果不满足，则重复特征提取和图像重建步骤，对重新获取的超分辨率图像重建的结果图再次进行判断。
上述方案中，通过所述损失确定卷积神经网络训练是否完成，具体为：如果损失小于10-3以及迭代次数等于1000，则确定图像超分辨网络训练完成，否则，确定图像超分辨网络训练未完成。
上述方案中，所述步骤1：图像超分辨率网络的训练之前，该方法还包括：构建可见光与红外图像数据集。
上述方案中，所述构建可见光与红外图像数据集，具体为：通过两台独立的相机，一台可见光相机，一台红外相机，采集大量且不同种类的图像，构建图像超分辨所需要的可见光与红外图像数据集；所述可见光与红外图像数据集包括日夜图像所述可见光和红外图像的视场大小一致，视场图像信息一致，图像尺寸一致。
与现有技术相比，本发明利用可见光图像有的丰富信息的特点，将其送入特征提取模块提取特征图后将特征图再和经过图像重构模块中引导滤波层的红外图像进行图像融合；通过亚像素卷积增加图像尺寸，并逐步添加特征信息；在网络中引入视觉图像特征和引导滤波层实现提高图像分辨率的目的。
附图说明
图1为本发明实施例提供一种基于可见光与红外交叉输入的图像超分辨率重建方法的流程图；
图2为本发明实施例提供一种基于可见光与红外交叉输入的图像超分辨率重建方法的最终结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于可见光与红外交叉输入的图像超分辨率重建方法，如图1所示，该方法为：
步骤1：构建可见光与红外图像数据集；
具体地，通过两台独立的相机，一台可见光相机，一台红外相机，采集大量且不同种类的图像，构建图像超分辨所需要的可见光与红外图像数据集；所述可见光与红外图像数据集包括日夜图像。
所述可见光和红外图像的视场大小一致，视场图像信息一致。
步骤2：图像超分辨的训练；
具体地，对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理；
对预处理后的可见光图像与红外图像分别通过下采样缩小倍数获得低分辨率可见光图像和低分辨率红外图像；
对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图；
对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像；
将所述可见光特征提取图和低分辨率红外图像进行融合获得超分辨率重建的结果图；
对所述超分辨率重建的结果图与下采样之前的红外图像进行损失函数计算确定超分辨率重建的结果图与红外图像之间的损失；
根据所述损失确定卷积神经网络训练是否完成，如果未完成重复以上步骤继续对图像超分辨网络训练进行训练；
通过所述损失确定图像超分辨网络训练是否完成，具体为：如果损失小于10-3以及迭代次数等于1000，则确定图像超分辨网络训练完成，否则，确定图像超分辨网络训练未完成。
重复图像超分辨网络训练的过程，直到实现图像重建的放大尺度N，重复N/2次，并且所述超分辨率重建的结果图与红外图像之间的损失满足要求。
其中，所述对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理，具体为：
对可见光与红外图像数据集对中同一场景的可见光红外图像依据特征点进行配准；
对配准过的可见光与红外图像对选取特定的大小，并且进行裁剪；
对剪裁过的可见光与红外图像数据进行随机的翻转变换或者旋转操作，即沿水平或垂直方向进行图像翻转或者是对图像旋转，旋转度数为90度，180度和270度。
所述对所述低分辨率可见光图像进行特征提取模块获得可见光特征提取图，具体为：将可见光图像输入特征提取模块的亚像素上采样网络做特征提取，其中卷积层提取特征，激活层将其转换为非线性特征，亚像素层通过亚像素卷积实现图像的上采样，整个上采样网络包含了特征提取和放大的过程，并且每次尺度放大两倍，获得可见光特征提取图。
所述对所述低分辨率可见光图像通过特征提取获得可见光特征提取图，具体为：
通过卷积核大小为3×3，卷积层数为3，数量为64的卷积核对低分辨率可见光图像进行计算，获得特征图F1；
将所述特征图F1送入激活层得到特征图F2；
通过卷积核大小为3×3，卷积层数为64，数量为64的卷积核对所述特征图F2进行计算，获得特征图F3；
将特征图F3送入激活层得到特征图F4；
通过卷积核大小为3×3，卷积层数为64，数量为256的卷积核对特征图F4进行计算，获得特征图F5；
将特征图F5送入激活层得到特征图F6；
将所述特征图F6送入亚像素卷积层进行图像上采样，获得可见光特征提取图F7。
将所述低分辨率红外图像送入引导滤波层消除噪声获得消除噪声的低分辨率红外图像，具体为：对所述低分辨率红外图像进行引导滤波层消除噪声后，获得消除噪声的低分辨率红外图像。
将消除噪声的低分辨率红外图像送入转置卷积层进行上采样，获得和特征图F7相同尺度的红外图像的上采样图像；
对从可见光图像中提取的特征图F7和与其尺度相同的红外图像进行融合，得到高分辨率图像。
步骤3：超分辨率图像的重建；
具体地，根据所述损失确定图像超分辨网络训练完成之后，通过所述图像超分辨网络对输入图像进行重建获取超分辨率图像重建的结果图。
之后，判断所述超分辨率图像重建的结果图是否满足要求的放大尺度N，如果满足，则输出结果图；如果不满足，则重复特征提取和图像重建步骤，对重新获取的超分辨率图像重建的结果图再次进行判断。
如图2所示，是尺度为2的图像超分辨率结果，并且和其他算法做了对比，本发明的算法有显著的优点。
发明提供的基于可见光与红外交叉输入的图像超分辨率重建方法，具有红外图像和可见光图像双输入的架构，充分利用可见光图像的丰富图像信息，将可见光图像作为引导，可以更好地重建红外图像，完全保留重建超分辨图像边缘。
本发明的重点在于引入了可见光图像来进行红外图像的超分辨重建，并配合以特征提取和图像重建网络结合的超分辨网络。在一个特征提取模块，使用若干个卷积层、若干个激活层和一个亚像素上采样层从输入的可见光图像获得特征图。在图像重建模块，利用一个引导滤波层和一个转置卷积上采样层对输入的红外图像消除噪声并将尺度放大两倍，然后与其相同尺度的特征图进行融合，实现超分辨率重建。
本发明使用亚像素卷积代替反卷积用于图像上采样来改进和优化网络结构，亚像素卷积避免了反卷积中大量零的危险，提升了超分辨网络的性能。
本发明提出了两个输入网络，采用拉普拉斯金字塔网络进行超分辨率。通过逐步进行训练学习和上采样，可以优化深度网络以更快地进行。通过使用可见光图像来引导红外输入图像并将可见光特征图像与红外特征图像融合，在视觉上显示出显著的改善。所提出的可见光与红外交叉输入和亚像素上采样网络通过添加可见光细节减少了红外图像噪声问题并提高了红外超分辨率图像质量。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (8)
1.一种基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，该方法为：
步骤1：图像超分辨网络的训练；
具体为：对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理；
对预处理后的可见光图像与红外图像分别通过下采样缩小倍数获得低分辨率可见光图像和低分辨率红外图像；
对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图；
具体为：将可见光图像输入特征提取模块的亚像素上采样网络做特征提取，其中卷积层提取特征，激活层将其转换为非线性特征，亚像素层通过亚像素卷积实现图像的上采样，整个上采样网络包含了特征提取和放大的过程，并且每次将图像尺度放大两倍，获得可见光特征提取图；
对所述低分辨率红外图像通过引导滤波层消除噪声获得消除噪声的低分辨率红外图像；
具体为：对所述低分辨率红外图像通过引导滤波层消除噪声后，再经过反卷积尺度放大两倍，获得消除噪声的低分辨率红外图像；
将所述可见光特征提取图和低分辨率红外图像进行融合获得超分辨率重建的结果图；
对所述超分辨率重建的结果图与下采样之前的红外图像进行损失函数计算确定超分辨率重建的结果图与红外图像之间的损失；
根据所述损失确定图像超分辨网络训练是否完成，如果未完成图像超分辨网络训练，重复进行前述特征提取、消除噪声、融合、损失函数计算步骤继续对图像超分辨网络进行训练；
步骤2：超分辨图像的重建网络测试；
具体为：根据设定的损失和迭代次数确定图像超分辨网络训练完成之后，通过所述图像超分辨网络对输入图像进行超分辨率重建获取测试结果图。
2.根据权利要求1所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述对可见光与红外图像数据集中同一场景的可见光图像与红外图像进行预处理，具体为：
对可见光与红外图像数据集对中同一场景的可见光红外图像依据特征点进行配准；
对配准过的可见光与红外图像对选取特定的大小，并且进行裁剪；
对剪裁过的可见光与红外图像数据进行随机的翻转变换或者旋转操作，即沿水平或垂直方向进行图像翻转或者是对图像旋转，旋转度数为90度，180度和270度。
3.根据权利要求1或2所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述对所述低分辨率可见光图像通过特征提取模块获得可见光特征提取图，具体为：
通过卷积核大小为3×3，卷积层数为3，数量为64的卷积核对低分辨率可见光图像进行计算，获得特征图F1；
将所述特征图F1送入激活层得到特征图F2；
通过卷积核大小为3×3，卷积层数为64，数量为64的卷积核对所述特征图F2进行计算，获得特征图F3；
将特征图F3送入激活层得到特征图F4；
通过卷积核大小为3×3，卷积层数为64，数量为256的卷积核对特征图F4进行计算，获得特征图F5；
将特征图F5送入激活层得到特征图F6；
将所述特征图F6送入亚像素卷积层进行图像上采样，获得可见光特征提取图F7。
4.根据权利要求3所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述如果图像未完成超分辨网络训练，重复进行特征提取、消除噪声、融合、损失函数计算继续对图像超分辨网络训练进行训练，具体为：重复进行特征提取、消除噪声、融合、损失函数计算对图像超分辨网络进行训练，直到图像重建的放大尺度N，重复N/2次，并且所述超分辨率重建的结果图与红外图像之间的损失满足要求。
5.根据权利要求4所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述通过所述图像超分辨网络对输入图像进行重建获取超分辨率图像重建的结果图，之后包括：判断所述超分辨率图像重建的结果图是否满足要求的放大尺度N，如果满足，则输出结果图；如果不满足，则重复特征提取和图像重建步骤，对重新获取的超分辨率图像重建的结果图再次进行判断。
6.根据权利要求5所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，通过所述损失确定卷积神经网络训练是否完成，具体为：如果损失小于10-3以及迭代次数等于1000，则确定图像超分辨网络训练完成，否则，确定图像超分辨网络训练未完成。
7.根据权利要求6所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述步骤1：图像超分辨率网络的训练之前，该方法还包括：构建可见光与红外图像数据集。
8.根据权利要求7所述的基于可见光与红外交叉输入的图像超分辨率重建方法，其特征在于，所述构建可见光与红外图像数据集，具体为：通过两台独立的相机，一台可见光相机，一台红外相机，采集大量且不同种类的图像，构建图像超分辨所需要的可见光与红外图像数据集；所述可见光与红外图像数据集包括日夜图像所述可见光和红外图像的视场大小一致，视场图像信息一致，图像尺寸一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910719987.5A CN110544205B (zh) | 2019-08-06 | 2019-08-06 | 基于可见光与红外交叉输入的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910719987.5A CN110544205B (zh) | 2019-08-06 | 2019-08-06 | 基于可见光与红外交叉输入的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110544205A CN110544205A (zh) | 2019-12-06 |
| CN110544205B true CN110544205B (zh) | 2021-05-07 |
Family
ID=68710235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910719987.5A Active CN110544205B (zh) | 2019-08-06 | 2019-08-06 | 基于可见光与红外交叉输入的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544205B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111681195B (zh) * | 2020-06-09 | 2023-06-30 | 中国人民解放军63811部队 | 红外图像和可见光图像的融合方法、装置及可读存储介质 |
| CN111667434B (zh) * | 2020-06-16 | 2023-05-09 | 南京大学 | 一种基于近红外增强的弱光彩色成像方法 |
| CN111709879B (zh) * | 2020-06-17 | 2023-05-26 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
| CN111932452B (zh) * | 2020-07-07 | 2022-08-19 | 浙江大学 | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 |
| CN112132753B (zh) * | 2020-11-06 | 2022-04-05 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及系统 |
| CN112669201B (zh) * | 2020-12-25 | 2023-09-12 | 知天(珠海横琴)气象科技有限公司 | 一种基于红外光的可见光云图转换方法、系统及其终端 |
| CN112446828B (zh) * | 2021-01-29 | 2021-04-13 | 成都东方天呈智能科技有限公司 | 一种融合可见光图像梯度信息的热成像超分辨率重建方法 |
| CN113538229B (zh) * | 2021-05-28 | 2023-12-12 | 华南师范大学 | 基于特征循环融合的多帧红外图像超分辨率方法和系统 |
| CN113222824B (zh) * | 2021-06-03 | 2022-08-30 | 北京理工大学 | 一种红外图像超分辨率及小目标检测方法 |
| CN115272083B (zh) * | 2022-09-27 | 2022-12-02 | 中国人民解放军国防科技大学 | 一种图像超分辨率方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567979A (zh) * | 2012-01-20 | 2012-07-11 | 南京航空航天大学 | 车载红外夜视系统及其多源图像融合方法 |
| CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
| CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN108510447A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种图像融合方法及装置 |
| CN109118466A (zh) * | 2018-08-29 | 2019-01-01 | 电子科技大学 | 一种红外图像与可见光图像融合的处理方法 |
| CN109447936A (zh) * | 2018-12-21 | 2019-03-08 | 江苏师范大学 | 一种红外和可见光图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9171361B2 (en) * | 2010-04-23 | 2015-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
-
2019
- 2019-08-06 CN CN201910719987.5A patent/CN110544205B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567979A (zh) * | 2012-01-20 | 2012-07-11 | 南京航空航天大学 | 车载红外夜视系统及其多源图像融合方法 |
| CN103971354A (zh) * | 2014-05-19 | 2014-08-06 | 四川大学 | 低分辨率红外图像重建高分辨率红外图像的方法 |
| CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN108510447A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种图像融合方法及装置 |
| CN109118466A (zh) * | 2018-08-29 | 2019-01-01 | 电子科技大学 | 一种红外图像与可见光图像融合的处理方法 |
| CN109447936A (zh) * | 2018-12-21 | 2019-03-08 | 江苏师范大学 | 一种红外和可见光图像融合方法 |
Non-Patent Citations (5)
| Title |
|---|
| "Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition";Wei Tan et al.;《Applied Optics》;20190420;第58卷(第12期);第3064-3073页 * |
| "Multimodal Sensor Fusion in Single Thermal Image Super-Resolution";Feras Almasri et al.;《Lecture Notes in Computer ence》;20190619;第418-433页 * |
| "基于多尺度自相似性和非局部均值的单幅图像超分辨率方法";刘哲等;《红外技术》;20170430;第39卷(第4期);第345-352页 * |
| "基于深度卷积网络的红外遥感图像超分辨率重建";张晓阳等;《黑龙江大学自然科学学报》;20180831;第35卷(第4期);第473-477页 * |
| "基于目标提取与引导滤波增强的红外与可见光图像融合";吴一全等;《光学学报》;20170831;第37卷(第8期);第1-11页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110544205A (zh) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110544205B (zh) | 基于可见光与红外交叉输入的图像超分辨率重建方法 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
| CN110969124B (zh) | 基于轻量级多分支网络的二维人体姿态估计方法及系统 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| CN107392852B (zh) | 深度图像的超分辨率重建方法、装置、设备及存储介质 | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN111462013B (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN112507997A (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
| CN113362223A (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN111652804B (zh) | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 | |
| CN115953303B (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN115937794B (zh) | 小目标对象检测方法、装置、电子设备及存储介质 | |
| CN112949636A (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| CN111260670A (zh) | 基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统 | |
| Hsu et al. | Pedestrian detection using multi-scale structure-enhanced super-resolution | |
| CN113379597A (zh) | 人脸超分辨率重构方法 | |
| CN113409190A (zh) | 一种基于多帧分组与反馈网络的视频超分辨率方法 | |
| CN116188272A (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN116029905A (zh) | 一种基于渐进差值互补的人脸超分辨率重构方法及系统 | |
| CN112529908B (zh) | 一种基于级联卷积网络的数字病理图像分割方法及其模型 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |