CN113222824B - 一种红外图像超分辨率及小目标检测方法 - Google Patents

一种红外图像超分辨率及小目标检测方法 Download PDF

Info

Publication number
CN113222824B
CN113222824B CN202110618368.4A CN202110618368A CN113222824B CN 113222824 B CN113222824 B CN 113222824B CN 202110618368 A CN202110618368 A CN 202110618368A CN 113222824 B CN113222824 B CN 113222824B
Authority
CN
China
Prior art keywords
image
resolution
features
layer
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110618368.4A
Other languages
English (en)
Other versions
CN113222824A (zh
Inventor
赵明晶
陶然
李伟
马鹏阁
揭斐然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Luoyang Institute of Electro Optical Equipment AVIC
Zhengzhou University of Aeronautics
Original Assignee
Beijing Institute of Technology BIT
Luoyang Institute of Electro Optical Equipment AVIC
Zhengzhou University of Aeronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Luoyang Institute of Electro Optical Equipment AVIC, Zhengzhou University of Aeronautics filed Critical Beijing Institute of Technology BIT
Priority to CN202110618368.4A priority Critical patent/CN113222824B/zh
Publication of CN113222824A publication Critical patent/CN113222824A/zh
Application granted granted Critical
Publication of CN113222824B publication Critical patent/CN113222824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种红外图像超分辨率及小目标检测方法，首先设计了通过可见光图像辅助红外图像的超分辨率重构算法，基于可见光图像的超分辨率技术来提高原始输入的红外图像的图像分辨率；将分辨率提升后的红外图像输入到所设计的生成对抗网络中，在所设计的生成器中，可以直接将原始图像输入到设计的网络中，所提出的级联残差融合块能够保证每一层特征信息的保留，结合提取到的高层特征和低层特征，尽可能保证图像细节纹理特征的完整性；通过生成器和判别器之间的博弈学习，来提高对小目标检测的正确率。本发明提高对红外图像中小目标的正确检测率，有效降低了背景杂波对目标正确检测的影响，虚警率大幅度降低。

Description

一种红外图像超分辨率及小目标检测方法
技术领域
本发明涉及图像处理技术领域，具体为一种红外图像超分辨率及小目标检测方法，尤其适用于现代机载装备上对红外传感器采集的多种不同类型的目标(如空对空、空对海、空对地等)进行精准检测。
背景技术
与主动雷达成像相比，红外成像具有隐蔽性强、便携性好、盲区可检测等优点；与可见光成像相比，红外成像具有抗干扰能力强，能穿透烟/云，可昼夜工作的优点。随着隐身和伪装技术的发展，主动雷达成像和可见光成像往往不能满足一些实际的探测需求，而红外成像可以有效地补充甚至替代传统的成像技术。鲁棒的小目标检测是红外搜索与跟踪应用中的关键技术之一，无疑已成为一个研究热点。但是当目标距离红外探测器十几公里甚至几十公里远时，再加上成像过程中的噪声以及其他因素的影响，会使得目标在成像平面上所占像素较少，信号较弱，且缺乏形状、细节、纹理等信息。而图像中的噪声强，信噪比低，小目标易于淹没在复杂的背景中，不容易被正确检测。
研究人员已经对红外图像中小目标的检测提出了不同种类的方法，如Max-Median滤波，Top-Hat滤波，二维最小均方差滤波，高通滤波等传统的方法，基于数据重构的低秩稀疏矩阵分解方法，基于目标和局部背景灰度值差别的局部对比测量方法等。然而，这些方法通常都是通过对目标与背景之间的一些初始假设来构建的。在实际应用中，目标检测方法的鲁棒性依赖于假设的质量。近年来，得益于深度学习技术特别是卷积神经网络(CNN)的发展，一些基于深度学习的方法在视觉领域中的目标检测和识别领域被提出，如R-CNN，fastR-CNN，faster R-CNN等。基于深度学习的方法能够从大量的训练数据中自动学习特征，比传统算法更有利于描述数据中丰富而独特的信息。但是，与其他领域中有着明显的形状、大小和颜色特征的目标不同，红外小目标的尺寸很小，只有灰度信息，缺乏形状、细节和纹理特征，所以现有的基于深度学习的红外小目标检测方法依然不能表现出良好的检测效果。针对以上问题，本发明首先改善红外图像的质量，提升图像的分辨率，补充红外图像本身缺乏的细节、纹理等信息，并针对分辨率提升后的图像设计了一种新型基于卷积神经网络的红外小目标检测方法。
发明内容
针对现有技术所存在的问题，本发明首先从源头出发，改善红外图像的质量，提升图像的分辨率，补充红外图像本身缺乏的细节、纹理等信息，并针对分辨率提升后的图像设计了一种红外图像超分辨率及小目标检测方法。
该发明具体包括以下步骤：
步骤1：通过对可见光图像构造高、低分辨率图像块作为训练集，以此来辅助低分辨率红外图像进行超分辨率重构的算法，基于视觉系统设计了一种将特征进行级联融合的卷积神经网络。通过基于可见光图像的超分辨率技术来提高现有红外图像的图像分辨率，改善图像质量，减少视觉盲点，增加图像的纹理、细节信息。
步骤2：将提升分辨率后的红外图像输入到所设计的生成网络中，该网络可以避免使用滑动窗口，直接将整幅图像进行输入，不需要考虑图像块的数目，减少了复杂度。此外，该网络能够保证每一层特征信息的保留，结合提取到的高层特征和低层特征，尽可能保证图像细节纹理特征的完整性。通过该网络提取小目标的显著特征，将目标与背景加以区分，生成将目标增强，同时将背景杂波进行抑制的图像。
步骤3：将生成的图像与真值图一同输入到判别器中，判别器与生成器进行博弈，将生成的图像与真值图进行对比，由判别器来决定生成器所生成的结果是否为想要的结果，如果是则输出图像，如果不是则继续进行迭代更新，重新进行生成器和判别器的博弈，直到生成器与判别器的实力相当。
所谓实力相当的标准为：当生成器生成的图像与真值图相差最小，且判别器认为生成器生成的图像为真图像时，即为生成器与判别器的实力相当的时刻。
具体而言，步骤1包括以下步骤：
步骤1.1：对可见光进行灰度化处理，将可见光图像转化为与红外图像相同的单波段图像；
步骤1.2：将可见光灰度化的图像与原始可见光图像进行波段的相加，此时预处理后的图像的波段数为四个波段；
步骤1.3：对预处理后的可见光图像进行分块处理，得到一系列尺寸为150×150的图像块，作为高分辨率可见光图像标签；
步骤1.4：对高分辨率的可见光图像进行兰索斯插值操作，然后对该结果再次进行插值，得到与分辨率的可见光图像尺寸相同的图像，此时的图像为低分辨率的可见光图像标签；将上述步骤所得到的高、低分辨率可光图像标签作为对红外图像进行超分辨率操作的训练集；
步骤1.5：对低分辨率可见光图像块进行卷积操作，卷积核大小为3×3×128，步长为1，以此来提取低分辨率可见光图像的浅层特征，并通过激活函数来提高所设计网络的表达能力；
步骤1.6：将浅层特征输入到基于视觉系统的级联融合块中，卷积核大小为3×3×128，步长为1，以此来提取更深层的特征，获得更多的细节纹理信息；
步骤1.7：将原始输入的低分辨率可见光图像块，通过卷积操作和激活函数提取的浅层特征，以及通过基于视觉系统的级联融合块所提取的深层特征进行融合；并将融合结果再次作为输入，进行卷积操作和激活函数，以此来实现低分辨率可见光图像块到高分辨率可见光图像块的转变，此时的卷积核为3×3×256，步长为1；
步骤1.8：将得到的高分辨率图像块作为输入，再次输入到卷积层，卷积核的大小为3×3×1，实现对超分辨率图像的重构；
步骤1.9：将超分辨率重构图像与原始高分辨率图像进行对比，并计算损失函数；不停迭代优化，将损失函数结果降到最低，产生并保存该训练模型；
步骤1.10：对红外图像进行预处理；将红外图像进行通道的叠加，使其成为与步骤1.2中的可见光图像有着相同波段数的图像；
步骤1.11：将预处理后的红外图像输入到上述所设计的网络中，并调用已经训练好的模型和参数，实现对低分辨率红外图像到高分辨率图像的实现；
步骤1.12：将提升分辨率后的有着四个波段的红外图像通过卷积神经网络变为通道数为一的图像，卷积核的大小为3×3×1。
步骤2具体包括以下步骤：
步骤2.1：首先将分辨率提升后的红外图像输入到所设计的生成网络中的下采样网络；下采样网络主要包含10个卷积层，卷积核的大小分别为3×3×64，3×3×64，3×3×128，3×3×128，3×3×256，3×3×256，3×3×256，3×3×512，3×3×512和3×3×512；为了提高所设计网络的表达能力，将卷积层和激活函数结合使用；然后，使用最大池化层来压缩数据和参数的量，减小过拟合；在第二层、第四层、第七层和第十层卷积层后分别有一个最大池化层，尺寸为2×2，步长为2；
步骤2.2：将得到的特征图进行反卷积操作，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.3：将步骤2.2中提取到的特征与步骤2.1第三层池化层得到的特征通过拼接操作进行融合作为输入，输入到的网络结构将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；该网络包括4个部分，每部分都是由3×3的卷积层和激活函数组成，能够避免使用池化层所带来的高层特征或低层特征的数据丢失问题，尽可能保证图像细节纹理特征的完整性；
步骤2.4：将步骤2.3得到的特征进行上采样采样，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.5：将步骤2.4中提取到的特征与步骤2.1第二层池化层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；
步骤2.6：将步骤2.5得到的特征进行上采样采样，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.7：将步骤2.6中提取到的特征与步骤2.1第一层池化层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构能够将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；
步骤2.8：将步骤2.7得到的特征进行上采样采样，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.9：将步骤2.8中提取到的特征与步骤2.1第一层卷积层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；
步骤2.10：输出图像G(vi)是通过对网络中的最后一层通过以下函数的计算得到的，
Figure BDA0003098633890000041
式中，vi(i∈1,2,3,...,h×w)代表着输入图像中的每一个像素，h×w代表着输入图像的尺寸。
步骤3包括以下步骤：
步骤3.1：对生成器生成的图像G(vi)和真值图y进行损失函数的计算，记为Lgen。
步骤3.2：将生成器生成的图像G(vi)和真值图y一同输入到判别器中，对判别器进行损失函数的计算，记为Ladv。
步骤3.3：综合上述生成器和判别器的损失函数，联合损失函数定义如下，
L＝Lgen+Ladv (2)
其中，Lgen代表生成器的损失函数，Ladv代表判别器的损失函数，L代表整个生成对抗网络的损失函数；
步骤3.4：针对上面所得到的生成器和判别器的联合损失函数，分别进行梯度回传，实现误差的修正，最终生成与真值图最为接近的结果图。
与现有技术相比，本发明的优点在于：
基于视觉系统所设计的将特征进行级联融合的卷积神经网络中，通过构造高分辨率和低分辨率可见光图像作为训练集对整个网络加以训练，将训练后的网络输入红外图像进行图像的超分辨率重构，改善红外图像的质量，以此来获取红外图像中更多的细节、纹理信息。据我们所知，在红外小目标检测领域，这是首次从源头上对红外图像的质量进行改善，通过弥补红外图像中的小目标本身所缺乏的信息来提高对于其检测的正确性，且降低背景杂波对小目标的干扰。
在所设计的生成器中，可以直接将原始图像输入到设计的网络中，不需要考虑图像块的数目，避免了传统深度学习方法使用滑动窗口操作的复杂性，减少了复杂度。除此以外，所设计的网络结构能够将层与层之间的连续特征和间隔层之间的跳跃特征加以结合，能够保证每一层特征信息的保留，结合提取到的高层特征和低层特征，尽可能保证图像细节纹理特征的完整性。通过生成器和判别器的博弈学习，能够进一步提高目标检测的正确率，降低背景杂波对目标检测的影响。
附图说明
图1是本发明对于红外小目标检测方法流程图；
图2是本发明通过构建可见光图像作为训练集，对红外图像进行超分辨率的流程图；
图3是本发明对红外图像进行超分辨率的网络结构图；
图4是本发明设计的生成器的网络结构图；
图5是本发明设计的连续特征和跳跃特征加以结合的网络结构图；
图6是本发明设计的判别器的网络结构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚详实，以下根据附图并列举实施例，对本发明做进一步详细说明。
图1是本发明的流程图。该网络通过对可见光图像构造高、低分辨率图像块作为训练集，以此来辅助低分辨率红外图像进行超分辨率重构的算法，基于视觉系统设计的一种将特征进行级联融合的卷积神经网络，能够更好的补充红外图像本身缺乏的细节、纹理信息。随后，将分辨率提升后的红外图像输入到所设计的生成对抗网络中，生成器用于生成目标增强而背景杂波被抑制的图像，判别器通过将生成的图像与真值图作对比，来判断所生成的图像是否为我们想要的图像。通过生成器和判别器之间的博弈学习，来提高对小目标检测的正确率。
图2是通过构造高、低分辨率可见光图像块作为训练集，以此来辅助红外图像进行超分辨率重构的结构图。以尺寸为1024×1024的可见光图像为例，具体包括以下步骤：
步骤1.1：对可见光图像进行灰度化处理，将可见光图像转化为与红外图像相同的单波段图像。
步骤1.2：将可见光灰度化的图像与原始可见光图像进行波段的相加，此时预处理后的图像的波段数为四个波段。
步骤1.3：对预处理后的可见光图像进行分块处理，得到一系列尺寸为150×150的图像块，作为高分辨率可见光图像标签。
步骤1.4：对高分辨率的可见光图像进行兰索斯插值操作，然后对该结果进行插值，得到与高分辨率可见光图像尺寸相同的图像，此时的图像为低分辨率的可见光图像标签。将上述步骤所得到的高、低分辨率可光图像标签作为对红外图像进行超分辨率操作的训练集。
步骤1.5：对低分辨率可见光图像块进行卷积操作，卷积核大小为3×3×128，步长为1，以此来提取低分辨率可见光图像的浅层特征，并通过激活函数来提高所设计网络的表达能力。
步骤1.6：将浅层特征输入到基于视觉系统的级联融合块中，卷积核大小为3×3×128，步长为1，如图3所示，以此来提取更深层的特征，获得更多的细节纹理等信息。
步骤1.7：将原始输入的低分辨率可见光图像块，通过卷积操作和激活函数提取的浅层特征，以及通过基于视觉系统的级联融合块所提取的深层特征进行融合。并将融合结果再次作为输入，进行卷积操作和激活函数，以此来实现低分辨率可见光图像块到高分辨率可见光图像块的转变，此时的卷积核为3×3×256，步长为1。
步骤1.8：将得到的高分辨率图像块作为输入，再次输入到卷积层，卷积核的大小为3×3×1，实现对超分辨率图像的重构。
步骤1.9：将超分辨率重构图像与原始高分辨率图像进行对比，并计算损失函数。不停迭代优化，将损失函数结果降到最低，产生并保存该训练模型。
步骤1.10：对红外图像进行预处理。将红外图像进行通道的叠加，使其成为与步骤1.2中的可见光图像有着相同波段数的图像。
步骤1.11：将预处理后的红外图像输入到上述所设计的网络中，并调用已经训练好的模型和参数，实现对低分辨率红外图像到高分辨率图像的实现。
步骤1.12：将提升分辨率后的有着四个波段的红外图像通过卷积神经网络变为通道数为一的图像，卷积核的大小为3×3×1。
通过上述基于视觉系统设计的一种将特征进行级联融合的卷积神经网络，通过对可见光图像构造高、低分辨率图像块作为训练集，以此来辅助低分辨率红外图像进行超分辨率重构，能够改善图像质量，减少视觉盲点，增加图像的纹理、细节信息，补充红外图像本身缺乏的细节、纹理信息。
随后，将提升分辨率后的红外图像输入到所设计的新型卷积神经网络中进行检测结果的生成，如图4所示，具体包括以下步骤：
步骤2.1：首先将分辨率提升后的红外图像输入到所设计的生成网络中的下采样网络。下采样网络主要包含10个卷积层，卷积核的大小分别为3×3×64，3×3×64，3×3×128，3×3×128，3×3×256，3×3×256，3×3×256，3×3×512，3×3×512和3×3×512。为了提高所设计网络的表达能力，将卷积层和激活函数结合使用。然后，使用最大池化层来压缩数据和参数的量，减小过拟合。在第二层、第四层、第七层和第十层卷积层后分别有一个最大池化层，尺寸为2×2，步长为2。
步骤2.2：将得到的特征图进行反卷积操作，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像。然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64。
步骤2.3：将步骤2.2中提取到的特征与步骤2.1第三层池化层得到的特征通过拼接操作进行融合作为输入，输入到的网络结构能够将层与层之间的连续特征和间隔层之间的跳跃特征加以结合，如图5所示。该网络包括4个部分，每部分都是由3×3的卷积层和激活函数组成，能够避免使用池化层所带来的高层特征或低层特征的数据丢失问题，尽可能保证图像细节纹理特征的完整性。
步骤2.4：将步骤2.3得到的特征进行反卷积操作，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像。然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64。
步骤2.5：将步骤2.4中提取到的特征与步骤2.1第二层池化层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构能够将层与层之间的连续特征和间隔层之间的跳跃特征加以结合。
步骤2.6：将步骤2.5得到的特征进行反卷积操作，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像。然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64。
步骤2.7：将步骤2.6中提取到的特征与步骤2.1第一层池化层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构能够将层与层之间的连续特征和间隔层之间的跳跃特征加以结合。
步骤2.8：将步骤2.7得到的特征进行反卷积操作，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像。然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64。
步骤2.9：将步骤2.8中提取到的特征与步骤2.1第一层卷积层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构能够将层与层之间的连续特征和间隔层之间的跳跃特征加以结合。
步骤2.10：输出图像G(vi)是通过对网络中的最后一层通过以下函数的计算得到的，
Figure BDA0003098633890000081
式中，vi(i∈1,2,3,...,h×w)代表着输入图像中的每一个像素，h×w代表着输入图像的尺寸。
随后，将生成器生成的图像输入到判别器中，判别器主要由4个卷积层、4个归一化函数和4个激活函数组成，卷积核的尺寸依次为3×3×64，3×3×128，3×3×256，3×3×512，步长都为2，如图6所示，具体包括以下步骤，
步骤3.1：对输出图像G(vi)和真值图y通过以下损失函数进行计算，
Lgen＝y*logf(G(vi))+(1-y)*(1-logf(G(vi))) (4)
随着上述损失函数的不断迭代更新降低，使得检测结果越来越接近于真值图，就得到了我们想要得到的结果。
步骤3.2：将输出图像G(vi)和真值图y一同输入到判别器中。判别器的目标是通过逻辑似然法来判断输入是否为真实的图像，通过以下损失函数进行计算，
Figure BDA0003098633890000082
式中，D代表生成器，通过生成器和判别器交替使用SGD联合优化的。
步骤3.3：综合上述生成器和判别器的损失函数，联合损失函数定义如下，
L＝Lgen+Ladv (6)
其中，Lgen代表生成器的损失函数，Ladv代表判别器的损失函数，L代表整个生成对抗网络的损失函数。
步骤3.4：针对上面所得到的生成器和判别器的联合损失函数，分别进行梯度回传，实现误差的修正，最终生成与真值图最为接近的结果图。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (1)

1.一种红外图像超分辨率及小目标检测方法，其特征在于，包括以下步骤：
步骤1：通过对可见光图像构造高、低分辨率图像块作为训练集，以此来辅助低分辨率红外图像进行超分辨率重构的算法，基于视觉系统设计一个将特征进行级联融合的卷积神经网络；通过基于可见光图像的超分辨率技术来提高现有红外图像的图像分辨率，改善图像质量，减少视觉盲点，增加图像的纹理、细节信息；
步骤1包括以下子步骤：
步骤1.1：对可见光进行灰度化处理，将可见光图像转化为与红外图像相同的单波段图像；
步骤1.2：将可见光灰度化的图像与原始可见光图像进行波段的相加，此时预处理后的图像的波段数为四个波段；
步骤1.3：对预处理后的可见光图像进行分块处理，得到一系列尺寸为150×150的图像块，作为高分辨率可见光图像标签；
步骤1.4：对高分辨率的可见光图像进行兰索斯插值操作，然后对该结果再次进行插值，得到与分辨率的可见光图像尺寸相同的图像，此时的图像为低分辨率的可见光图像标签；将上述步骤所得到的高、低分辨率可光图像标签作为对红外图像进行超分辨率操作的训练集；
步骤1.5：对低分辨率可见光图像块进行卷积操作，卷积核大小为3×3×128，步长为1，以此来提取低分辨率可见光图像的浅层特征，并通过激活函数来提高所设计网络的表达能力；
步骤1.6：将浅层特征输入到基于视觉系统的级联融合块中，卷积核大小为3×3×128，步长为1，以此来提取更深层的特征，获得更多的细节纹理信息；
步骤1.7：将原始输入的低分辨率可见光图像块，通过卷积操作和激活函数提取的浅层特征，以及通过基于视觉系统的级联融合块所提取的深层特征进行融合；并将融合结果再次作为输入，进行卷积操作和激活函数，以此来实现低分辨率可见光图像块到高分辨率可见光图像块的转变，此时的卷积核为3×3×256，步长为1；
步骤1.8：将得到的高分辨率图像块作为输入，再次输入到卷积层，卷积核的大小为3×3×1，实现对超分辨率图像的重构；
步骤1.9：将超分辨率重构图像与原始高分辨率图像进行对比，并计算损失函数；不停迭代优化，将损失函数结果降到最低，产生并保存训练模型；
步骤1.10：对红外图像进行预处理；将红外图像进行通道的叠加，使其成为与步骤1.2中的可见光图像有着相同波段数的图像；
步骤1.11：将预处理后的红外图像输入到上述所设计的网络中，并调用已经训练好的模型和参数，实现对低分辨率红外图像到高分辨率图像的实现；
步骤1.12：将提升分辨率后的有着四个波段的红外图像通过卷积神经网络变为通道数为一的图像，卷积核的大小为3×3×1；
步骤2：将提升分辨率后的红外图像输入到所设计的生成卷积神经网络中，直接将整幅图像进行输入，不需要考虑图像块的数目，保证每一层特征信息的保留，结合提取到的高层特征和低层特征，保证图像细节纹理特征的完整性；通过该卷积神经网络提取小目标的显著特征，将目标与背景加以区分，生成将目标增强，同时将背景杂波进行抑制的图像；
步骤2包括以下子步骤：
步骤2.1：首先将分辨率提升后的红外图像输入到所设计的生成网络中的下采样网络；下采样网络主要包含10个卷积层，卷积核的大小分别为3×3×64，3×3×64，3×3×128，3×3×128，3×3×256，3×3×256，3×3×256，3×3×512，3×3×512和3×3×512；为了提高所设计网络的表达能力，将卷积层和激活函数结合使用；然后，使用最大池化层来压缩数据和参数的量，减小过拟合；在第二层、第四层、第七层和第十层卷积层后分别有一个最大池化层，尺寸为2×2，步长为2；
步骤2.2：将得到的特征图进行反卷积操作，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.3：将步骤2.2中提取到的特征与步骤2.1第三层池化层得到的特征通过拼接操作进行融合作为输入，输入到的网络结构将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；该网络包括4个部分，每部分都是由3×3的卷积层和激活函数组成，能够避免使用池化层所带来的高层特征或低层特征的数据丢失问题，尽可能保证图像细节纹理特征的完整性；
步骤2.4：将步骤2.3得到的特征进行上采样采样，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.5：将步骤2.4中提取到的特征与步骤2.1第二层池化层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；
步骤2.6：将步骤2.5得到的特征进行上采样采样，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.7：将步骤2.6中提取到的特征与步骤2.1第一层池化层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构能够将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；
步骤2.8：将步骤2.7得到的特征进行上采样采样，反卷积核的尺寸为2×2，使得特征图变为与输入图像相同尺寸的图像；然后，使用卷积层对其再一次提取特征，卷积层的尺寸为3×3×64；
步骤2.9：将步骤2.8中提取到的特征与步骤2.1第一层卷积层得到的特征通过拼接操作进行融合作为输入，与步骤2.3一样，输入到的网络结构将层与层之间的连续特征和间隔层之间的跳跃特征加以结合；
步骤2.10：输出图像G(vi)是通过对网络中的最后一层通过以下函数的计算得到的，
Figure FDA0003719603970000031
式中，vi(i∈1,2,3,...,h×w)代表着输入图像中的每一个像素，h×w代表着输入图像的尺寸；
步骤3：将生成的图像与真值图一同输入到判别器中，判别器与生成器进行博弈，将生成的图像与真值图进行对比，由判别器来决定生成器所生成的结果是否为想要的结果，如果是则输出图像，如果不是则继续进行迭代更新，重新进行生成器和判别器的博弈，直到生成器与判别器的实力相当；
步骤3包括以下子步骤：
步骤3.1：对输出图像G(vi)和真值图y通过以下损失函数进行计算，记为Lgen；
Lgen＝y*logf(G(vi))+(1-y)*(1-logf(G(vi))) (4)
步骤3.2：将输出图像G(vi)和真值图y一同输入到判别器中，并将判别器进行损失函数的计算，记为Ladv；
步骤3.3：综合上述生成器和判别器的损失函数，联合损失函数定义如下，
L＝Lgen+Ladv (2)
其中，Lgen代表生成器的损失函数，Ladv代表判别器的损失函数，L代表整个生成对抗网络的损失函数；
步骤3.4：针对上面所得到的生成器和判别器的联合损失函数，分别进行梯度回传，实现误差的修正，最终生成与真值图最为接近的结果图。
CN202110618368.4A 2021-06-03 2021-06-03 一种红外图像超分辨率及小目标检测方法 Active CN113222824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110618368.4A CN113222824B (zh) 2021-06-03 2021-06-03 一种红外图像超分辨率及小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110618368.4A CN113222824B (zh) 2021-06-03 2021-06-03 一种红外图像超分辨率及小目标检测方法

Publications (2)

Publication Number Publication Date
CN113222824A CN113222824A (zh) 2021-08-06
CN113222824B true CN113222824B (zh) 2022-08-30

Family

ID=77082585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110618368.4A Active CN113222824B (zh) 2021-06-03 2021-06-03 一种红外图像超分辨率及小目标检测方法

Country Status (1)

Country Link
CN (1) CN113222824B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902947B (zh) * 2021-10-09 2023-08-25 南京航空航天大学 一种自然图像的对空目标红外图像生成式对抗网络构建方法
CN114120056B (zh) * 2021-10-29 2024-08-02 中国农业大学 小目标识别方法、装置、电子设备、介质及产品
CN114418895A (zh) * 2022-01-25 2022-04-29 合肥英睿系统技术有限公司 驾驶辅助方法及装置、车载设备及存储介质
CN114998567B (zh) * 2022-07-18 2022-11-01 中国科学院长春光学精密机械与物理研究所 一种基于多模态特征判别的红外点群目标识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
EP3799431A1 (en) * 2019-09-30 2021-03-31 iSize Limited Preprocessing image data

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544205B (zh) * 2019-08-06 2021-05-07 西安电子科技大学 基于可见光与红外交叉输入的图像超分辨率重建方法
CN112001847A (zh) * 2020-08-28 2020-11-27 徐州工程学院 相对生成对抗超分辨率重建模型生成高质量图像的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
EP3799431A1 (en) * 2019-09-30 2021-03-31 iSize Limited Preprocessing image data
CN111145131A (zh) * 2019-11-28 2020-05-12 中国矿业大学 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Infrared Small-Target Detection Based on Multiple Morphological Profiles;Mingjing Zhao等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20200918;第59卷(第7期);第6077-6091页 *
基于多结构元素形态滤波与自适应阈值;马文伟，揭斐然等;《光子学报》;20110731;第40卷(第7期);第1020-1024页 *
基于注意力生成对抗网络的图像超分辨率重建方法;丁明航等;《计算机系统应用》;20200215(第02期);第209-215页 *
结合双线性插值与局部均值的红外图像插值算法;黄元忠等;《计算技术与自动化》;20200628(第02期);第138-142页 *

Also Published As

Publication number Publication date
CN113222824A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113222824B (zh) 一种红外图像超分辨率及小目标检测方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109636742B (zh) 基于对抗生成网络的sar图像和可见光图像的模式转换方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN110288555B (zh) 一种基于改进的胶囊网络的低照度增强方法
Qi et al. FTC-Net: Fusion of transformer and CNN features for infrared small target detection
Liu et al. A night pavement crack detection method based on image‐to‐image translation
CN115713679A (zh) 基于多源信息融合、热红外和三维深度图的目标检测方法
Liu et al. Two-stage underwater object detection network using swin transformer
CN113487530B (zh) 一种基于深度学习的红外与可见光融合成像方法
CN111160354B (zh) 一种基于联合图像信息的海天背景下船舶图像分割方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN115272865A (zh) 一种基于自适应激活函数和注意力机制的目标检测方法
CN114926826A (zh) 场景文本检测系统
Zhao et al. ST-YOLOA: a Swin-transformer-based YOLO model with an attention mechanism for SAR ship detection under complex background
CN117521742B (zh) 基于深度神经网络模型的轻量化部署图像处理方法
Zhang et al. Enhanced visual perception for underwater images based on multistage generative adversarial network
CN116486183B (zh) 基于多种注意力权重融合特征的sar图像建筑区分类方法
CN111967292B (zh) 一种轻量级的sar图像船只检测方法
CN117576483A (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法
CN112330562A (zh) 一种异构遥感图像变换方法及系统
CN112115786A (zh) 基于注意力U-net的单目视觉里程计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant