CN112927139B - 一种双目热成像系统及超分辨率图像获取方法 - Google Patents

一种双目热成像系统及超分辨率图像获取方法 Download PDF

Info

Publication number
CN112927139B
CN112927139B CN202110307799.9A CN202110307799A CN112927139B CN 112927139 B CN112927139 B CN 112927139B CN 202110307799 A CN202110307799 A CN 202110307799A CN 112927139 B CN112927139 B CN 112927139B
Authority
CN
China
Prior art keywords
image
thermal imaging
texture
visible light
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110307799.9A
Other languages
English (en)
Other versions
CN112927139A (zh
Inventor
程良伦
吴宇彬
吴衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110307799.9A priority Critical patent/CN112927139B/zh
Publication of CN112927139A publication Critical patent/CN112927139A/zh
Application granted granted Critical
Publication of CN112927139B publication Critical patent/CN112927139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种双目热成像系统及超分辨率图像获取方法，方法包括：获取多张可见光图像以及多张热成像图像；将热成像图像进行退化处理，得到退化热成像图像；将可见光图像以及退化热成像图像作为超分辨率网络的输入样本，将热成像图像作为训练标签；将插值后的退化热成像图像与可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合可见光图像的纹理特征以及退化热成像图像的内容特征的纹理迁移特征图；提取退化热成像图像的浅层特征，将浅层特征与纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。本申请解决了传统的热成像系统图像对比度低，分辨细节较差，且获取高分辨率图像成本极高的技术问题。

Description

一种双目热成像系统及超分辨率图像获取方法
技术领域
本申请涉及热成像技术领域，尤其涉及一种双目热成像系统及超分辨率图像获取方法。
背景技术
纹理迁移重构(Texture Transformer based Reconstruction)又称风格迁移重构(Style Transfer Reconstruction)，是一种自动将给定样本的样式化纹理迁移到目标图像的神经网络成像技术，近年来在计算机图像风格化迁移领域引发了广泛的关注，产生了许多令人印象深刻的样式化迁移效果。典型的神经网络图像超分辨率是通过学习网络学习低分辨率(LR)特征与高分辨率(HR)特征之间的映射关系，将低分辨率特征映射到高分辨率特征空间，并定义联合损失函数，均衡提升重建图像质量。在纹理参考重构中，通常使用高分辨率参考(Ref)图像来帮助共享相似视点的低分辨率(LR)图像进行超分辨率重构。算法的输入图像包含待重构低分辨率图像以及可见光纹理参考图像。待重构低分辨率图像负责提供图像内容特征，纹理参考图像则进行纹理建模，并通过纹理匹配网络与图像内容特征进行融合。由于纹理参考图像具备的高分辨率纹理细节，使得纹理参考重构技术在图像超分辨率重构领域具有巨大的应用价值。
热成像系统是一种通过红外传感器探测物体红外辐射，并经由信号处理、光电转化等方式，将目标物体温度分布可视化的系统，其具备测量精确量化、实时显示以及非接触式测量等功能，在设备检测、自然灾害监控和医疗体检领域发挥着举足轻重的作用。热成像系统的主体结构由光机组件、调焦/变倍组件、内部非均匀性校正组件、成像电路组件等硬件以及计算机图像处理软件组成。传统的热成像系统图像对比度低，分辨细节较差，且获取高分辨率图像成本极高。而纹理参考重构算法作为一种新型的神经网络重构技术，能有效解决传统热成像系统中存在的问题，如通过超分辨率技术实现低成本的高分辨率图像获取、增强图像对比度以及细化纹理细节等，能使热成像系统的应用领域进一步扩充。因此将纹理参考重构技术应用于热成像系统具有十分重要的意义。
发明内容
本申请提供了一种双目热成像系统及超分辨率图像获取方法，解决了传统的热成像系统图像对比度低，分辨细节较差，且获取高分辨率图像成本极高的技术问题。
有鉴于此，本申请第一方面提供了一种双目热成像系统，所述系统包括：可见光图像采集装置、热成像图像采集装置、用于控制所述可见光图像采集装置和热成像图像采集装置的控制器；
所述可见光图像采集装置用于采集可见光图像；
所述热成像图像采集装置用于采集热成像图像；
所述控制器用于控制所述可见光图像采集装置以及所述热成像图像采集装置，并与远程终端进行通信，使得所述远程终端通过所述控制器获取所述可见光图像采集装置以及所述热成像图像采集装置采集的图像数据。
可选的，所述可见光图像采集装置由依次连接的可见光物镜，可见光对焦环，可见光镜筒，可见光变焦环，可见光传感器以及可见光传感器底座构成；
所述热成像图像采集装置由依次连接的热成像物镜，热成像对焦环，热成像镜筒，热成像变焦环，热成像传感器以及热成像传感器底座构成。
本申请第二方面提供一种超分辨率图像获取方法，所述方法包括：
获取多张可见光图像以及多张热成像图像；
将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像；
将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像；
将裁剪后的所述可见光图像以及所述退化热成像图像作为超分辨率网络的输入样本，将所述热成像图像作为超分辨率网络的训练标签，所述超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；
将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致；
将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图；
提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。
可选的，所述将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像，包括：
裁剪出所述可见光图像的中心区域，使得裁剪得到的所述可见光图像的尺寸与所述热成像图像的尺寸相同。
可选的，所述将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像，包括：
将所述热成像图像依次进行模糊核卷积，平均池化下采样以及添加高斯噪声处理，得到退化热成像图像。
可选的，所述将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，包括：
将所述退化热成像图像进行双三次插值，使得所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，得到的双三次插值热成像图像为：
Figure BDA0002988571950000031
上式中v表示像素行数的偏差，u表示像素列数的偏差，S(row-v)与S(col-u)是卷积插值公式。
可选的，所述将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图，包括：
提取所述退化热成像图像的内容特征
Figure BDA0002988571950000032
以及所述可见光图像的参考纹理特征
Figure BDA0002988571950000033
将提取得到的内容特征图
Figure BDA0002988571950000034
和参考纹理特征图/>
Figure BDA0002988571950000035
都等分为两部分/>
Figure BDA00029885719500000310
Figure BDA0002988571950000036
将所述可见光图像的参考纹理特征图
Figure BDA0002988571950000037
融合到所述退化热成像图像的内容特征图/>
Figure BDA0002988571950000038
中，得到第一纹理迁移特征图/>
Figure BDA0002988571950000039
将所述第一纹理迁移特征图
Figure BDA0002988571950000041
分别与所述参考纹理特征图/>
Figure BDA0002988571950000042
以及所述内容特征图/>
Figure BDA0002988571950000043
进行拼接并提取特征，得到第二内容特征图/>
Figure BDA0002988571950000044
与第二纹理参考特征/>
Figure BDA0002988571950000045
将与所述第一纹理迁移特征图拼接并提取特征后的所述参考纹理特征图
Figure BDA0002988571950000046
以及所述内容特征图/>
Figure BDA0002988571950000047
都等分为两部分/>
Figure BDA0002988571950000048
将所述可见光图像的参考纹理特征图
Figure BDA0002988571950000049
融合到所述退化热成像图像的内容特征图/>
Figure BDA00029885719500000410
中，得到第二纹理迁移特征图/>
Figure BDA00029885719500000411
将所述第二纹理迁移特征图
Figure BDA00029885719500000412
分别与所述参考纹理特征图/>
Figure BDA00029885719500000413
以及所述内容特征图/>
Figure BDA00029885719500000414
进行拼接并提取特征，得到第三内容特征图/>
Figure BDA00029885719500000415
与第三纹理参考特征/>
Figure BDA00029885719500000416
将所述可见光图像的参考纹理特征图
Figure BDA00029885719500000417
融合到所述退化热成像图像的内容特征图/>
Figure BDA00029885719500000418
中，得到第三纹理迁移特征图/>
Figure BDA00029885719500000419
可选的，在所述将所述可见光图像的参考纹理特征图
Figure BDA00029885719500000420
融合到所述退化热成像图像的内容特征图/>
Figure BDA00029885719500000421
中，得到第一纹理迁移特征图/>
Figure BDA00029885719500000422
之前还包括：
分别对所述退化热成像图像的内容特征以及所述可见光图像的参考纹理特征进行残差特征提取。
可选的，所述将将所述可见光图像的参考纹理特征图
Figure BDA00029885719500000423
融合到所述退化热成像图像的内容特征图/>
Figure BDA00029885719500000424
中，得到第一纹理迁移特征图/>
Figure BDA00029885719500000425
包括：
计算所述可见光图像的参考纹理特征图和所述退化热成像图像的内容特征图的归一化特征，具体为：
Figure BDA00029885719500000426
式中，
Figure BDA00029885719500000427
表示内容特征图输入，/>
Figure BDA00029885719500000428
表示纹理特征输入，μ(·)函数表示特征均值，σ(·)函数表示特征方差；
将归一化特征Fa经通道注意力机制处理后得到第一纹理迁移特征图
Figure BDA00029885719500000429
计算公式为：/>
Figure BDA00029885719500000430
式中Sigmoid表示激活函数，Conv1D表示卷积核尺寸为k的1D卷积，AvgPool表示全局平均池化。
可选的，所述提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像，包括：
提取所述退化热成像图像的浅层特征；
将所述浅层特征与第三纹理迁移特征图进行重构，得到第一重构特征；
对所述第一重构特征进行β倍率上采样；
将二倍率采样后的所述第一重构特征与第二纹理迁移特征图进行重构，得到第二重构特征；
对所述第二重构特征进行β倍率上采样；
将二倍率采样后的所述第二重构特征与第一纹理迁移特征图进行重构，得到第三重构特征；
将所述第三重构特征与所述退化热成像图像的2β倍率上采样图像进行逐像素累加，得到热成像超分辨率红外图像。
从以上技术方案可以看出，本申请具有以下优点：
本申请中，提供了一种超分辨率图像获取方法，包括：获取多张可见光图像以及多张热成像图像；将可见光图像以及热成像图像裁剪成相同尺寸的图像；将裁剪后的热成像图像进行退化处理，得到退化热成像图像；将裁剪后的可见光图像以及退化热成像图像作为超分辨率网络的输入样本，将热成像图像作为超分辨率网络的训练标签，超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；将退化热成像图像进行插值，使得插值后的退化热成像图像的尺寸与裁剪后的可见光图像尺寸一致；将插值后的退化热成像图像与裁剪后的可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合可见光图像的纹理特征以及退化热成像图像的内容特征的纹理迁移特征图；提取退化热成像图像的浅层特征，将浅层特征与纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。
本申请通过采用纹理参考重构算法，将可见光图像以及退化热成像图像作为纹理迁移网络的输入，实现对热成像图像的内容特征与可见光图像的纹理特征的融合；并将融合后的特征与退化热成像图像输入到跨尺度残差聚合网络中，实现多尺度的残差融合，从而实现高分辨率的热成像图像的获取、增强了热成像图像的对比度以及细化纹理细节等。
附图说明
图1为本申请一种双目热成像系统的一个实施例的系统架构图；
图2为本申请一种双目热成像系统的另一个实施例的系统架构图；
图3为本申请一种超分辨率图像获取方法的一个实施例的方法流程图；
图4为本申请实施例中基于纹理迁移超分辨率网络结构示意图；
图5为本申请实施例中纹理迁移网络结构示意图；
图6为本申请实施例中重构模块的结构示意图；
图7为本申请实施例中第二特征提取模块的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供一种双目热成像系统，如图1所示，图1中包括可见光图像采集装置10、热成像图像采集装置20、用于控制可见光图像采集装置和热成像图像采集装置的控制器30；可见光图像采集装置用于采集可见光图像；热成像图像采集装置用于采集热成像图像；控制器用于控制可见光图像采集装置以及热成像图像采集装置，并与远程终端40进行通信，使得远程终端通过控制器获取可见光图像采集装置以及热成像图像采集装置采集的图像数据。
在一种具体的实施方式中，可见光图像采集装置10包括依次连接的可见光物镜101，可见光对焦环102，可见光镜筒103，可见光变焦环104，可见光传感器105以及可见光传感器底座106；热成像图像采集装置20包括依次连接的热成像物镜108，热成像对焦环109，热成像镜筒110，热成像变焦环111，热成像传感器112以及热成像传感器底座113；控制器30包括控制器主控板116和控制器芯片115；一种双目热成像系统还包括液晶显示屏118用于显示采集到的可见光图像以及热成像图像。具体可参考图2所示的一种双目热成像系统的实施例示意图。
在具体实施过程中，计算机117通过远程控制器实现对可见光图像采集装置10以及热成像图像采集装置20的控制，通过控制旋动热成像摄像头112的热成像对焦环109与热成像变焦环111完成热成像对焦，旋动可见光摄像头105的可见光对焦环102与可见光变焦环104完成可见光对焦，从而实现对可见光图像以及热成像图像的采集。
图3为本申请一种超分辨率图像获取方法的一个实施例的方法流程图，如图1所示，图3中包括：
31、获取多张可见光图像以及多张热成像图像；
需要说明的是，本申请可以通过远程终端控制可见光图像采集装置和热成像图像采集装置实现对可见光图像以及热成像图像的获取。具体的，可以分别拍摄室内、建筑外景、交通街道与公园绿化等环境场景，在阴天、晴天、白天与黑夜等不同光照场景下的可见光图像以及热成像图像。
32、将可见光图像以及热成像图像裁剪成相同尺寸的图像；
需要说明的是，由于可见光图像的分辨率较高，而热成像图像的分辨率较低，因此，可以将高分辨率的可见光图像的裁剪成与低分辨率的热成像图像相同尺寸的图像。例如，可见光图像的尺寸为1280x960，热成像图像的尺寸为320x240，则可以取可见光图像的中心区域，将可见光图像裁剪尺寸为320x240的图像。
33、将裁剪后的热成像图像进行退化处理，得到退化热成像图像；
需要说明的是，可以对裁剪后的热成像图像进行退化处理，获取作为超分辨率网络输入的低分辨率图像。具体的，热退化处理包括模糊核卷积，平均池化下采样以及添加高斯噪声处理。其中，经过模糊核处理后的图像为：
Figure BDA0002988571950000071
式中，Coni表示第i张热成像图像(在本申请中可以获取1000张热成像图像以及可见光图像，具体数量可根据实际需要进行选取)，Wb表示模糊核，具体的模糊处理可以采用尺寸为6x6，噪声等级为0.5的模糊核。
再经过平均池化下采样处理后得到的图像为：
Figure BDA0002988571950000081
式中，平均池化采用尺寸为4x4的池化窗口，win(4,4)表示下采样图像像素映射到图像BlurConi中的池化窗口区域，尺寸为4x4，
Figure BDA0002988571950000082
表示池化窗口区域中的像素值。
再进行添加高斯噪声处理后得到的图像为：
Figure BDA0002988571950000083
式中，
Figure BDA0002988571950000084
表示退化热成像图像，即图4中的降质图像201，Noisei表示高斯噪声。
34、将裁剪后的可见光图像以及退化热成像图像作为超分辨率网络的输入样本，将热成像图像作为超分辨率网络的训练标签，超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；
需要说明的是，本申请可以将裁剪后的可见光图像作为参考图像207，将退化热成像图像作为降质图像201输入到超分辨率网络中，将热成像图像作为超分辨率网络的训练标签。超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络，用于实现对超分辨率图像的处理。
35、将退化热成像图像进行插值，使得插值后的退化热成像图像的尺寸与裁剪后的可见光图像尺寸一致；
需要说明的是，由于退化热成像图像的尺寸相较于热成像小，因此，为了使退化热成像图像与可见光图像进行特征融合，可以将退化热成像图像进行差值，使得插值后的退化热成像图像的尺寸与裁剪后的可见光图像尺寸一致。
具体的，本申请中可以采用双三次差值的方法对退化热成像图像进行差值，具体差值过程为：
Figure BDA0002988571950000085
上式中row与col表示插值计算区域与目标插值图中对应像素点的偏差，v表示像素行数的偏差，u表示像素列数的偏差，S(row-v)与S(col-u)是卷积插值公式，表示如下：
Figure BDA0002988571950000086
上式中a表示取不同值时可以逼近不同的样条函数，计算过程中可以设置为a＝-0.5。
36、将插值后的退化热成像图像与裁剪后的可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合可见光图像的纹理特征以及退化热成像图像的内容特征的纹理迁移特征图；
需要说明的是，将
Figure BDA0002988571950000091
与Texi输入递进式纹理迁移网络中，首先将经过卷积提取退化热成像图像的内容特征/>
Figure BDA0002988571950000092
与可见光图像的参考纹理特征/>
Figure BDA0002988571950000093
特征尺寸可以为320×240×64，并对内容特征/>
Figure BDA0002988571950000094
与参考纹理特征/>
Figure BDA0002988571950000095
按通道维度等分分割成两部分，表示为：
Figure BDA0002988571950000096
Figure BDA0002988571950000097
上式中切割出来的特征尺寸可以为320×240×64，将分割出来的部分内容特征
Figure BDA0002988571950000098
与参考纹理特征/>
Figure BDA0002988571950000099
分别经第一特征提取模块Res208处理后传入纹理迁移模块209，得到第一纹理迁移特征图/>
Figure BDA00029885719500000910
纹理迁移模块的结构示意图可参考图5。其中第一特征提取模块Res208为两个卷积层构成的残差模块，提取后输出的特征Fout计算过程表示为
Fout＝F+Conv(Mish(Conv(F)))
上式中F表示待提取输入特征，Conv表示卷积核尺寸为k的卷积层，Mish表示Mish激活函数，其中Fout的尺寸为320×240×32。
将提取特征后的部分内容特征
Figure BDA00029885719500000911
与参考纹理特征/>
Figure BDA00029885719500000912
进行自适应实例归一化(AdaIN)301归一化后输出的特征Fa计算过程表示为：
Figure BDA00029885719500000913
式中，
Figure BDA00029885719500000914
表示内容特征图输入，/>
Figure BDA00029885719500000915
表示纹理特征输入，μ(·)函数表示特征均值，σ(·)函数表示特征方差；
将归一化特征Fa经通道注意力机制ECA处理后得到第一纹理迁移特征图
Figure BDA00029885719500000916
计算公式为：
Figure BDA00029885719500000917
式中Sigmoid表示激活函数，Conv1D表示卷积核尺寸为k的1D卷积，AvgPool表示全局平均池化。
将第一纹理迁移特征图
Figure BDA0002988571950000101
分别与另外一部分参考纹理特征图/>
Figure BDA0002988571950000102
以及内容特征图/>
Figure BDA0002988571950000103
进行拼接并提取特征，得到第二内容特征图/>
Figure BDA0002988571950000104
与第二纹理参考特征/>
Figure BDA0002988571950000105
计算公式表示为：
Figure BDA0002988571950000106
Figure BDA0002988571950000107
将与第一纹理迁移特征图拼接并提取特征后的参考纹理特征图
Figure BDA0002988571950000108
以及内容特征图/>
Figure BDA0002988571950000109
以及内容特征图/>
Figure BDA00029885719500001010
都等分为两部分/>
Figure BDA00029885719500001011
计算公式表示为：
Figure BDA00029885719500001012
Figure BDA00029885719500001013
将可见光图像的参考纹理特征图
Figure BDA00029885719500001014
融合到退化热成像图像的内容特征图/>
Figure BDA00029885719500001015
中，得到第二纹理迁移特征图/>
Figure BDA00029885719500001016
计算公式表示为：
Figure BDA00029885719500001017
将第二纹理迁移特征图
Figure BDA00029885719500001018
分别与参考纹理特征图/>
Figure BDA00029885719500001019
以及内容特征图/>
Figure BDA00029885719500001020
进行拼接并提取特征，得到第三内容特征图/>
Figure BDA00029885719500001021
与第三纹理参考特征/>
Figure BDA00029885719500001022
计算公式表示为：
Figure BDA00029885719500001023
Figure BDA00029885719500001024
将可见光图像的参考纹理特征图
Figure BDA00029885719500001025
融合到退化热成像图像的内容特征图/>
Figure BDA00029885719500001026
中，得到第三纹理迁移特征图/>
Figure BDA00029885719500001027
计算公式表示为：
Figure BDA00029885719500001028
37、提取退化热成像图像的浅层特征，将浅层特征与纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。
需要说明的是，可以将退化热成像图像输入第二特征提取模块202中，提取退化热成像图像的浅层特征，将浅层特征在跨尺度残差聚合网络的多层重构模块204中与纹理迁移特征图进行重构，最终输出热成像超分辨率红外图像，其中第二特征提取模块202的结构如图6所示，重构模块204的结构如图7所示。
具体的，本申请可以提取退化热成像图像的浅层特征，具体的，可以采用两个第二特征提取模块202对退化热成像图像进行特征提取，特征提取的过程包括：
[Fconv1,Fconv2]＝Conv(Fin)
Fout1＝Conv(Fconv1||Resn(Fconv2))+Fin
上式中Fin表示模块的输入特征，Fin由退化热成像图像经卷积操作得到，特征尺寸为80×60×64，Fconv1与Fconv2表示Fin卷积之后按通道方向分割的特征，Fout1表示第二特征提取模块202的输出特征，||表示特征按通道方向进行拼接，Resn表示残差运算中包括n个卷积模块的残差模块，每个卷积模块包含两个卷积核尺寸为3的卷积层。则降质图像
Figure BDA0002988571950000111
经过n＝1的第二特征提取模块及n＝2的第二特征提取模块202后得到浅层特征Fs，特征尺寸为80×60×64。
将浅层特征Fs与第三纹理迁移特征图进行重构，得到第一重构特征；对第一重构特征进行β倍率上采样；将二倍率采样后的第一重构特征与第二纹理迁移特征图进行重构，得到第二重构特征；对第二重构特征进行β倍率上采样；将二倍率采样后的第二重构特征与第一纹理迁移特征图进行重构，得到第三重构特征；将第三重构特征与退化热成像图像的2β倍率上采样图像进行逐像素累加，得到热成像超分辨率红外图像。
在一种具体的实施方式中，提取后的浅层特征Fs需经过三个重构模块204实现两次2倍率上采样，在此期间实现跨尺度的残差聚合，重构模块204的计算过程表示为：
Figure BDA0002988571950000112
上式中
Figure BDA0002988571950000113
表示重构模块204的输入特征，/>
Figure BDA0002988571950000114
表示重构模块204的输出特征，三个模块输出的特征尺寸分别为80×60×64，160×120×64与320×240×64，/>
Figure BDA0002988571950000115
表示纹理迁移网络生成的第一重构特征，||表示特征拼接，/>
Figure BDA0002988571950000116
表示当前分辨率的输入特征及前面的输入特征，↑β表示进行倍率为β的Bicubic上采样，其中βi＝1，βi-1＝2βi。
跨尺度残差聚合网络由三个重构模块中，网络的输入特征为Fs，前两个模块在提取特征之后通过卷积层及亚像素卷积203进行2倍率上采样，上采样后输出的特征
Figure BDA0002988571950000117
表示为：
Figure BDA0002988571950000121
上式中PS(·)表示为亚像素卷积函数，α表示缩放倍率，且α＝2，Conv表示卷积核尺寸为3的卷积层，其中经过卷积后的特征尺寸为80×60×256，经亚像素卷积后特征尺寸为160×120×64。相对于前两个重构模块，最后的重构模块不再连接亚像素卷积模块，而是通过三个卷积核尺寸为3的卷积层重构出最终的残差特征，并与降质图像
Figure BDA0002988571950000122
的4倍率上采样图像/>
Figure BDA0002988571950000123
逐像素累加后，得到尺寸为320×240×3的超分辨率红外图像/>
Figure BDA0002988571950000124
本申请通过采用纹理参考重构算法，将可见光图像以及退化热成像图像作为纹理迁移网络的输入，实现对热成像图像的内容特征与可见光图像的纹理特征的融合；并将融合后的特征与退化热成像图像输入到跨尺度残差聚合网络中，实现多尺度的残差融合，从而实现高分辨率的热成像图像的获取、增强了热成像图像的对比度以及细化纹理细节等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种双目热成像系统，其特征在于，包括可见光图像采集装置、热成像图像采集装置、用于控制所述可见光图像采集装置和热成像图像采集装置的控制器；
所述可见光图像采集装置用于采集可见光图像；
所述热成像图像采集装置用于采集热成像图像；
所述控制器用于控制所述可见光图像采集装置以及所述热成像图像采集装置，并与远程终端进行通信，使得所述远程终端通过所述控制器获取所述可见光图像采集装置以及所述热成像图像采集装置采集的图像数据；
所述双目热成像系统采用超分辨率图像获取方法获取图像，所述超分辨率图像获取方法包括：
获取多张可见光图像以及多张热成像图像；
将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像；
将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像；
将裁剪后的所述可见光图像以及所述退化热成像图像作为超分辨率网络的输入样本，将所述热成像图像作为超分辨率网络的训练标签，所述超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；
将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致；
将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图；
提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像；
所述将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图，包括：
提取所述退化热成像图像的内容特征
Figure FDA0004059897060000011
以及所述可见光图像的参考纹理特征/>
Figure FDA0004059897060000012
将提取得到的内容特征图
Figure FDA0004059897060000013
和参考纹理特征图/>
Figure FDA0004059897060000014
都等分为两部分/>
Figure FDA0004059897060000015
Figure FDA0004059897060000021
将所述可见光图像的参考纹理特征图
Figure FDA0004059897060000022
融合到所述退化热成像图像的内容特征图
Figure FDA0004059897060000023
中，得到第一纹理迁移特征图/>
Figure FDA0004059897060000024
将所述第一纹理迁移特征图
Figure FDA0004059897060000025
分别与所述参考纹理特征图/>
Figure FDA0004059897060000026
以及所述内容特征图
Figure FDA0004059897060000027
进行拼接并提取特征，得到第二内容特征图/>
Figure FDA0004059897060000028
与第二纹理参考特征/>
Figure FDA0004059897060000029
将与所述第一纹理迁移特征图拼接并提取特征后的所述参考纹理特征图
Figure FDA00040598970600000210
以及所述内容特征图/>
Figure FDA00040598970600000211
都等分为两部分/>
Figure FDA00040598970600000212
将所述可见光图像的参考纹理特征图
Figure FDA00040598970600000213
融合到所述退化热成像图像的内容特征图
Figure FDA00040598970600000214
中，得到第二纹理迁移特征图/>
Figure FDA00040598970600000215
/>
将所述第二纹理迁移特征图
Figure FDA00040598970600000216
分别与所述参考纹理特征图/>
Figure FDA00040598970600000217
以及所述内容特征图
Figure FDA00040598970600000218
进行拼接并提取特征，得到第三内容特征图/>
Figure FDA00040598970600000219
与第三纹理参考特征/>
Figure FDA00040598970600000220
将所述可见光图像的参考纹理特征图
Figure FDA00040598970600000221
融合到所述退化热成像图像的内容特征图
Figure FDA00040598970600000222
中，得到第三纹理迁移特征图/>
Figure FDA00040598970600000223
2.根据权利要求1所述的双目热成像系统，其特征在于，所述可见光图像采集装置由依次连接的可见光物镜，可见光对焦环，可见光镜筒，可见光变焦环，可见光传感器以及可见光传感器底座构成；
所述热成像图像采集装置由依次连接的热成像物镜，热成像对焦环，热成像镜筒，热成像变焦环，热成像传感器以及热成像传感器底座构成。
3.一种超分辨率图像获取方法，其特征在于，包括：
获取多张可见光图像以及多张热成像图像；
将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像；
将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像；
将裁剪后的所述可见光图像以及所述退化热成像图像作为超分辨率网络的输入样本，将所述热成像图像作为超分辨率网络的训练标签，所述超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；
将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致；
将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图；
提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像；
所述将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图，包括：
提取所述退化热成像图像的内容特征
Figure FDA0004059897060000031
以及所述可见光图像的参考纹理特征/>
Figure FDA0004059897060000032
将提取得到的内容特征图
Figure FDA0004059897060000033
和参考纹理特征图/>
Figure FDA0004059897060000034
都等分为两部分/>
Figure FDA0004059897060000035
Figure FDA0004059897060000036
将所述可见光图像的参考纹理特征图
Figure FDA0004059897060000037
融合到所述退化热成像图像的内容特征图
Figure FDA0004059897060000038
中，得到第一纹理迁移特征图/>
Figure FDA0004059897060000039
将所述第一纹理迁移特征图
Figure FDA00040598970600000310
分别与所述参考纹理特征图/>
Figure FDA00040598970600000311
以及所述内容特征图
Figure FDA00040598970600000312
进行拼接并提取特征，得到第二内容特征图/>
Figure FDA00040598970600000313
与第二纹理参考特征/>
Figure FDA00040598970600000314
将与所述第一纹理迁移特征图拼接并提取特征后的所述参考纹理特征图
Figure FDA00040598970600000315
以及所述内容特征图/>
Figure FDA00040598970600000316
都等分为两部分/>
Figure FDA00040598970600000317
将所述可见光图像的参考纹理特征图
Figure FDA00040598970600000318
融合到所述退化热成像图像的内容特征图/>
Figure FDA00040598970600000319
中，得到第二纹理迁移特征图/>
Figure FDA00040598970600000320
将所述第二纹理迁移特征图
Figure FDA00040598970600000321
分别与所述参考纹理特征图/>
Figure FDA00040598970600000328
以及所述内容特征图
Figure FDA00040598970600000322
进行拼接并提取特征，得到第三内容特征图/>
Figure FDA00040598970600000323
与第三纹理参考特征/>
Figure FDA00040598970600000324
将所述可见光图像的参考纹理特征图
Figure FDA00040598970600000325
融合到所述退化热成像图像的内容特征图
Figure FDA00040598970600000326
中，得到第三纹理迁移特征图/>
Figure FDA00040598970600000327
4.根据权利要求3所述的超分辨率图像获取方法，其特征在于，所述将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像，包括：
裁剪出所述可见光图像的中心区域，使得裁剪得到的所述可见光图像的尺寸与所述热成像图像的尺寸相同。
5.根据权利要求3所述的超分辨率图像获取方法，其特征在于，所述将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像，包括：
将所述热成像图像依次进行模糊核卷积，平均池化下采样以及添加高斯噪声处理，得到退化热成像图像。
6.根据权利要求3所述的超分辨率图像获取方法，其特征在于，所述将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，包括：
将所述退化热成像图像进行双三次插值，使得所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，得到的双三次插值热成像图像为：
Figure FDA0004059897060000041
上式中v表示像素行数的偏差，u表示像素列数的偏差，S(row-v)与S(col-u)是卷积插值公式，x表示水平像素大小，y表示垂直像素大小。
7.根据权利要求3所述的超分辨率图像获取方法，其特征在于，在所述将所述可见光图像的参考纹理特征图
Figure FDA0004059897060000042
融合到所述退化热成像图像的内容特征图/>
Figure FDA0004059897060000043
中，得到第一纹理迁移特征图/>
Figure FDA0004059897060000044
之前还包括：
分别对所述退化热成像图像的内容特征以及所述可见光图像的参考纹理特征进行残差特征提取。
8.根据权利要求3所述的超分辨率图像获取方法，其特征在于，所述将所述可见光图像的参考纹理特征图
Figure FDA0004059897060000045
融合到所述退化热成像图像的内容特征图/>
Figure FDA0004059897060000046
中，得到第一纹理迁移特征图/>
Figure FDA0004059897060000047
包括：
计算所述可见光图像的参考纹理特征图和所述退化热成像图像的内容特征图的归一化特征，具体为：
Figure FDA0004059897060000048
式中，
Figure FDA0004059897060000049
表示内容特征图，/>
Figure FDA00040598970600000410
表示参考纹理特征图，μ(·)函数表示特征均值，σ(·)函数表示特征方差；
将归一化特征Fa经通道注意力机制处理后得到第一纹理迁移特征图
Figure FDA00040598970600000411
计算公式为：
Figure FDA0004059897060000051
式中Sigmoid表示激活函数，Conv1D表示卷积核尺寸为k的1D卷积，AvgPool表示全局平均池化。
9.根据权利要求3所述的超分辨率图像获取方法，其特征在于，所述提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像，包括：
提取所述退化热成像图像的浅层特征；
将所述浅层特征与第三纹理迁移特征图进行重构，得到第一重构特征；
对所述第一重构特征进行β倍率上采样；
将二倍率采样后的所述第一重构特征与第二纹理迁移特征图进行重构，得到第二重构特征；
对所述第二重构特征进行β倍率上采样；
将二倍率采样后的所述第二重构特征与第一纹理迁移特征图进行重构，得到第三重构特征；
将所述第三重构特征与所述退化热成像图像的2β倍率上采样图像进行逐像素累加，得到热成像超分辨率红外图像。
CN202110307799.9A 2021-03-23 2021-03-23 一种双目热成像系统及超分辨率图像获取方法 Active CN112927139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110307799.9A CN112927139B (zh) 2021-03-23 2021-03-23 一种双目热成像系统及超分辨率图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110307799.9A CN112927139B (zh) 2021-03-23 2021-03-23 一种双目热成像系统及超分辨率图像获取方法

Publications (2)

Publication Number Publication Date
CN112927139A CN112927139A (zh) 2021-06-08
CN112927139B true CN112927139B (zh) 2023-06-02

Family

ID=76175505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110307799.9A Active CN112927139B (zh) 2021-03-23 2021-03-23 一种双目热成像系统及超分辨率图像获取方法

Country Status (1)

Country Link
CN (1) CN112927139B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781601B (zh) * 2022-04-06 2022-12-23 北京科技大学 图像超分辨率方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像系统、方法及介质
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN111986240A (zh) * 2020-09-01 2020-11-24 交通运输部水运科学研究所 基于可见光和热成像数据融合的落水人员检测方法及系统
CN112367472A (zh) * 2020-11-09 2021-02-12 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法
CN112446828A (zh) * 2021-01-29 2021-03-05 成都东方天呈智能科技有限公司 一种融合可见光图像梯度信息的热成像超分辨率重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885608B2 (en) * 2018-06-06 2021-01-05 Adobe Inc. Super-resolution with reference images
US11037312B2 (en) * 2019-06-29 2021-06-15 Intel Corporation Technologies for thermal enhanced semantic segmentation of two-dimensional images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410159A (zh) * 2018-09-11 2019-03-01 上海创客科技有限公司 双目可见光及红外热成像复合成像系统、方法及介质
CN110322423A (zh) * 2019-04-29 2019-10-11 天津大学 一种基于图像融合的多模态图像目标检测方法
CN111986240A (zh) * 2020-09-01 2020-11-24 交通运输部水运科学研究所 基于可见光和热成像数据融合的落水人员检测方法及系统
CN112367472A (zh) * 2020-11-09 2021-02-12 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法
CN112446828A (zh) * 2021-01-29 2021-03-05 成都东方天呈智能科技有限公司 一种融合可见光图像梯度信息的热成像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Infrared head pose estimation with multi-scales feature fusion on the IRHP database for human attention recognition;H Liu et al;《Neurocomputing》;20201231;第510–520页 *
红外成像光学系统进展与展望;王岭雪 等;《红外技术》;20191231;第1-12页 *

Also Published As

Publication number Publication date
CN112927139A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN107274445B (zh) 一种图像深度估计方法和系统
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN111062892B (zh) 一种基于复合残差网络和深层监督的单幅图像去雨方法
WO2021063341A1 (zh) 图像增强方法以及装置
CN115761472B (zh) 一种基于融合事件和rgb数据的水下暗光场景重建方法
CN109325915B (zh) 一种用于低分辨率监控视频的超分辨率重建方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN114241386A (zh) 一种基于实时视频流的输电线路隐患检测与识别的方法
CN112396053A (zh) 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN112949636A (zh) 一种车牌超分辨率识别方法、系统及计算机可读介质
WO2024002211A1 (zh) 一种图像处理方法及相关装置
CN112927139B (zh) 一种双目热成像系统及超分辨率图像获取方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质
CN113436130B (zh) 一种非结构光场智能感知系统与装置
CN111161156A (zh) 一种基于深度学习的水下桥墩病害图像分辨率增强方法
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
CN117593702A (zh) 远程监控方法、装置、设备及存储介质
CN113269672A (zh) 一种超分辨率的细胞图像构建方法和系统
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端
CN115100409B (zh) 一种基于孪生网络的视频人像分割算法
Wang et al. RGNAM: recurrent grid network with an attention mechanism for single-image dehazing
CN115984124A (zh) 一种神经形态脉冲信号去噪和超分辨方法及装置
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant