CN113793268B - 序列图像红外小目标超分辨方法、装置、设备和存储介质 - Google Patents

序列图像红外小目标超分辨方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN113793268B
CN113793268B CN202111158811.0A CN202111158811A CN113793268B CN 113793268 B CN113793268 B CN 113793268B CN 202111158811 A CN202111158811 A CN 202111158811A CN 113793268 B CN113793268 B CN 113793268B
Authority
CN
China
Prior art keywords
convolution
module
image
sequence image
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111158811.0A
Other languages
English (en)
Other versions
CN113793268A (zh
Inventor
安玮
林再平
应昕怡
盛卫东
曾瑶源
李淼
周石琳
王龙光
王应谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111158811.0A priority Critical patent/CN113793268B/zh
Publication of CN113793268A publication Critical patent/CN113793268A/zh
Application granted granted Critical
Publication of CN113793268B publication Critical patent/CN113793268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种序列图像红外小目标超分辨方法、装置、设备和存储介质。所述方法获取多帧序列图像；构建序列图像红外小目标超分辨网络，该网络中：特征提取模块采用中心差分残差组对序列图像进行特征提取；注意力特征对齐模块对序列图像特征采用时空局部注意力模块进行帧间对齐；渐进融合模块利用时域距离先验将对齐的特征由粗到精进行融合；图像重构模块根据融合特征得到重构的高分辨率参考帧图像；采用多帧序列图像对该超分辨网络进行训练，利用训练得到序列图像红外小目标超分辨模型对序列图像进行处理，得到重构的高分辨率参考帧图像。本方法可提高图像分辨率，增大小目标对比度，恢复小目标高保真度细节信息，提升红外小目标检测性能。

Description

序列图像红外小目标超分辨方法、装置、设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种序列图像红外小目标超分辨方法、装置、设备和存储介质。
背景技术
红外成像系统具有全天时全天候，穿透力强，灵敏度高，隐蔽性强等特点，被广泛应用于安防监控，遥感侦查，空天攻防等国防军事领域。现如今，低分辨率的红外图像已经逐渐难以满足实际任务的高需求。因此，提高红外图像的分辨率是一项关键任务。直观考虑，采用大尺寸的红外传感器阵列可以提升红外图像的分辨率，但是，由于传感器的技术局限和大尺寸红外传感器阵列的高昂成本，在实际工程应用中需要研究价格低廉且可靠性较高的后处理技术(例如图像超分辨算法)来提高红外图像的分辨率。
红外成像系统特殊的成像机理，以及针对红外图像超分辨场景的任务需求，对红外图像超分辨任务提出如下要求：1)红外图像纹理信息不丰富，但是边缘信息很重要，因此，超分辨的主要任务为恢复图像中的高频边缘信息。2)对超分辨图像的保真度要求比较高，要求尽量少的噪声和伪轮廓。3)红外图像信噪比较低且存在复杂噪声，要求算法的鲁棒性高。4)红外图像数据集不丰富，缺少真实场景的红外高低分图像对。5)面向任务需求(目标检测和识别)，需要针对性提升目标的强度，轮廓边缘清晰度和细节纹理特征。
现有红外图像存在分辨率不高、红外小目标对比度较低，细节较少的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能提高图像的分辨率，增大小目标的对比度，恢复小目标的高保真度细节信息，从而提升红外弱小目标的检测性能的序列图像红外小目标超分辨方法、装置、设备和存储介质。
一种序列图像红外小目标超分辨方法，所述方法包括：
获取多帧序列图像。
构建序列图像红外小目标超分辨网络，所述序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；所述特征提取模块采用中心差分残差组对序列图像进行特征提取；所述注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，所述渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，所述图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。
将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型。
获取待测多帧序列图像，将所述待测多帧序列图像输入到所述序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。
一种序列图像红外小目标超分辨装置，所述装置包括：
图像获取模块，用于获取多帧序列图像。
序列图像红外小目标超分辨网络构建模块，用于构建序列图像红外小目标超分辨网络，所述序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；所述特征提取模块采用中心差分残差组对序列图像进行特征提取；所述注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，所述渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，所述图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。
序列图像红外小目标超分辨模型确定模块，用于将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型。
高分辨率参考帧图像重构模块，用于获取待测多帧序列图像，将所述待测多帧序列图像输入到所述序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。
上述序列图像红外小目标超分辨方法、装置、设备和存储介质，所述方法获取多帧序列图像；构建序列图像红外小目标超分辨网络，该网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；特征提取模块采用中心差分残差组对序列图像进行特征提取；注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像；将多帧序列图像作为训练样本对序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型，利用该模型对待测多帧序列图像进行处理，得到重构的高分辨率参考帧图像。本方法可以提高图像的分辨率，增大小目标的对比度，恢复小目标的高保真度细节信息，从而提升红外弱小目标的检测性能。
附图说明
图1为一个实施例中序列图像红外小目标超分辨方法的流程示意图；
图2为另一个实施例中序列图像红外小目标超分辨网络结构示意图；
图3为另一个实施例中中心差分残差组结构示意图，其中(a)为中心差分残差组，(b)为中心差分密集连接块，(c)为中心差分卷积；
图4为另一个实施例中时空局部注意力模块结构示意图；
图5为另一个实施例中不同参数下的时空局部注意力模块示意图，其中(a)为参考帧、(b)为局部邻域参数(kern＝3,dila＝1)时的时空局部注意力模块，(c)为局部邻域参数(kern＝3,dila＝2)时的时空局部注意力模块，(d)为局部邻域参数(kern＝3,dila＝4)时的时空局部注意力模块，(e)为局部邻域参数(kern＝5,dila＝1/2)时的时空局部注意力模块，(f)为局部邻域参数(kern＝9,dila＝1/4)时的时空局部注意力模块；
图6为另一个实施例中渐进融合模块结构示意图；
图7为一个实施例中序列图像红外小目标超分辨装置的结构框图；
图8为一个实施例中设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种序列图像红外小目标超分辨方法，该方法包括以下步骤：
步骤100：获取多帧序列图像。
将多帧序列图像中超分辨的图像作为为参考帧，其余帧序列图像按照时域顺序进行编号，得到多帧邻域帧序列图像。
步骤102：构建序列图像红外小目标超分辨网络。
序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块。
特征提取模块采用中心差分残差组对序列图像进行特征提取。
注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐。
渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合。
图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。
中心差分残差组利用了红外小目标的局部显著先验可以进行梯度感知、大感受野、密集采样率的特征提取，从而提升小目标的对比度。红外小目标的局部显著先验即目标在各个方向上的梯度都很大，而背景杂波仅仅在某一个或者某几个方向上比较大。
利用中心差分残差组，对输入的图像序列进行梯度感知、大感受野、密集采样率的特征提取。
时空局部注意力模块利用了红外小目标的时空局部邻域先验，可以进行隐式的帧间对齐，从而充分利用时空域的补充信息提升增强局部特征。红外小目标的时空局部邻域先验即由于目标与成像距离通常很远，且目标的机动性有限，则目标在邻域帧之间的运动较小。时空局部注意力模块利用帧间局部特征的补充信息提升对局部特征(尤其是小目标)的重建效果。
渐进融合模块利用了时域距离先验，可以进行由粗到精的特征融合，提升超分辨的性能。时域距离先验即参考帧和邻域帧之间的距离信息。
步骤104：将多帧序列图像作为训练样本对序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型。
步骤106：获取待测多帧序列图像，将待测多帧序列图像输入到序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。
上述序列图像红外小目标超分辨方法中，所述方法获取多帧序列图像；构建序列图像红外小目标超分辨网络，该网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；特征提取模块采用中心差分残差组对序列图像进行特征提取；注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像；将多帧序列图像作为训练样本对序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型，利用该模型对待测多帧序列图像进行处理，得到重构的高分辨率参考帧图像。本方法可以提高图像的分辨率，增大小目标的对比度，恢复小目标的高保真度细节信息，从而提升红外弱小目标的检测性能。
在其中一个实施例中，序列图像红外小目标超分辨网络结构图如图2所示。特征提取模块包括卷积网络和中心差分残差组；注意力特征对齐模块包括两个时空局部注意力模块；步骤104包括：将多帧序列图像作为训练样本；将训练样本输入到特征提取模块的卷积网络中，得到序列图像卷积特征；将序列图像卷积特征输入到中心差分残差组中，得到序列图像特征；将序列图像特征输入到第一个时空局部注意力模块中，并将得到的第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征；将时空局部注意力特征输入到渐进融合模块中，得到融合特征；将融合特征输入到图像重构模块中，得到预测重构高分辨率参考帧图像；根据预测重构高分辨率参考帧图像和训练样本，对序列图像红外小目标超分辨网络进行反向训练，得到序列图像红外小目标超分辨模型。
在其中一个实施例中，中心差分残差组包括：D个中心差分残差密集连接块和1个1×1卷积，其中D为大于1的整数；步骤104还包括：将序列图像卷积特征输入到中心差分残差组中，经过D个中心差分残差密集连接块提取分层特征；将D个中心差分残差密集连接块输出的分层特征级联后输入到1×1卷积中，得到序列图像特征。
在其中一个实施例中，中心差分残差密集连接块包括1个中心差分卷积模块、K个卷积模块和1个点卷积层；其中K为大于1的整数；卷积模块的卷积核为1×1，中心差分卷积模块的卷积核为1×1；步骤104包括：将序列图像卷积特征输入到第一个中心差分残差密集连接块的中心差分卷积模块中，得到第一个中心差分残差密集连接块的中心差分卷积模块的输出特征；将第一个中心差分残差密集连接块的中心差分卷积模块的输出特征、序列图像卷积特征串联后输入到第一个中心差分残差密集连接块的第一个卷积模块中，得到第一个中心差分残差密集连接块的第一个卷积模块的输出特征；依此类推，将序列图像卷积特征与第一个中心差分残差密集连接块的中心差分卷积模块和前k-1个卷积模块的输出特征串联后输入到第一个中心差分残差密集连接块中的第k个卷积模块中，得到第一个中心差分残差密集连接块的第k个卷积模块的输出特征；其中k为大于1且小于K的整数；将序列图像卷积特征、第一个中心差分残差密集连接块的中心差分卷积模块和K个卷积模块的输出特征输入到第一个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将得到的点卷积特征与序列图像卷积特征相加后得到第一分层特征；第一分层特征指的是第一个中心差分残差密集连接块提取的分层特征；将第d-1个中心差分残差密集连接块提取的分层特征与第d个中心差分残差密集连接块的中心差分卷积模块和前K-1个卷积模块的输出特征串联后输入到第d个中心差分残差密集连接块的第K个卷积模块中，得到第d个中心差分残差密集连接块的第K个卷积模块的输出特征；将第d个中心差分残差密集连接块的中心差分卷积模块前K个卷积模块的输出特征与第d-1个中心差分残差密集连接块提取的分层特征输入到第d个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将点卷积结果与序列图像卷积特征相加后得到第d分层特征；其中d为大于1且小于等于D的整数。
其中卷积模块包括卷积层和ReLU层。
具体的，利用中心差分残差组，对输入的图像序列进行梯度感知、大感受野、密集采样率的特征提取。具体流程如图3所示：
(1)中心差分残差组的结构如图3中(a)所示，输入的特征经过D个中心差分残差密集连接块提取分层特征，随后将这D个中心差分残差密集连接块输出的分层特征级联后输入到1×1卷积得到输出特征。
(2)中心差分残差组的核心模块是中心差分残差密集连接块，其结构如图3中(b)所示，输入特征经过1个3×3中心差分卷积模块和K个3×3卷积模块实现梯度感知、大感受野、密集采样的特征表示，其中每个卷积的增长率为G。具体来说，第d个中心差分残差密集连接块中的第k个卷积模块，其输入特征由d-1个中心差分残差密集连接块的输出特征与第d个中心差分残差密集连接块的中心差分卷积模块和前面k-1个卷积的输出特征串联而成，通道数为(C+G×(k-1))，其中C为特征通道数，例如：灰度图像的通道数C为1，RGB图像的通道数C为3，G为每个卷积的增长率，k为卷积的序号，最后一个1×1卷积将的前面所有层的输出特征级联后融合，并通过局部残差连接与输入特征相加后生成输出特征。
(3)中心差分卷积的结构如图3中(c)所示，3×3的感受野范围内，每一个像素首先减去中间像素，随后与权重相乘相加。中心卷积聚合了中心方向的梯度信息，实现梯度感知的特征提取。
在其中一个实施例中，序列图像特征包括：参考帧特征和邻域帧特征；时空局部注意力模块包括点卷积、点积以及softmax；步骤104还包括：采用点卷积将序列图像特征中的参考帧特征和邻域帧特征的特征维度进行压缩，得到参考帧压缩特征和邻域帧压缩特征；将参考帧压缩特征空域中任意一点与邻域帧压缩特征中对应点邻域内的所有点的相互作用，并将得到结果按特征维度相加后采用softmax进行归一化处理得到局部注意力特征；将邻域帧特征的空间坐标p0处提取局部邻域特征与局部注意力特征图对应位置点积，得到第一时空局部注意力特征坐标p0处的值；采用相同的方法得到第一时空局部注意力特征所有坐标处的值；将第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征。
具体的，利用时空局部注意模块生成参考帧和邻域帧之间的局部响应，隐式进行帧间对齐，利用帧间局部特征的补充信息提升对局部特征(尤其是小目标)的重建效果。具体流程如图4所示，其中图中＜·,·＞符号代表矩阵点乘，计算规则为：对应点相乘相加，例如：[a1,a2]与[b1,b2]做矩阵点乘为1*b1+a2*b2。
1)参考帧特征
Figure BDA0003289348360000081
和邻域帧特征/>
Figure BDA0003289348360000082
首先分别通过1×1卷积conv_q和conv_k对特征维度进行压缩生成特征/>
Figure BDA0003289348360000083
其中特征通道压缩比cr＝8。如下述公式：
F0＝Hconv_q(Fref)
F1＝Hconv_k(Fnbr)
2)首先计算特征F0空域中任意一点与F1中对应点邻域内的所有点的相互作用，随后按特征维度相加并用softmax归一化生成局部注意力特征M。如下述公式：
Figure BDA0003289348360000084
其中，p0为特征F0上任一空间坐标，pn代表以坐标p0为中心，窗口大小为kern，扩张率为dila的局部邻域G(p0,kern,dila)中的第n个坐标值。图4中3×3网格即为局部邻域参数(kern＝3,dila＝1)时生成的局部注意力特征图M。不同参数下的时空局部注意力模块示意图如图5所示，其中(a)为参考帧、(b)为局部邻域参数(kern＝3,dila＝1)时的时空局部注意力模块，(c)为局部邻域参数(kern＝3,dila＝2)时的时空局部注意力模块，(d)为局部邻域参数(kern＝3,dila＝4)时的时空局部注意力模块，(e)为局部邻域参数(kern＝5,dila＝1/2)时的时空局部注意力模块，(f)为局部邻域参数(kern＝9,dila＝1/4)时的时空局部注意力模块。如图5中(d)和(e)所示，dila＞1代表计算量不变的情况下扩大感受野，dila＜1能够捕获帧间的亚像元位移。
3)从输入的邻域帧特征Fnbr的空间坐标p0处提取局部邻域特征与局部注意力特征图M对应位置点积生成输出特征F′nbr坐标p0处的值。如下述公式：
Figure BDA0003289348360000091
在其中一个实施例中，渐进融合模块包括两级特征融合模块，特征融合模块包括残差组和点卷积层；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；步骤104还包括：将多帧序列图像的时空局部注意力特征按照与参考帧的时域距离分成三组；将得到的三组特征内的多个特征级联后分别输入到第一级特征融合模块的残差组和点卷积层中进行特征粗融合，得到三个粗融合特征；将三个粗融合特征级联后输入到第二级特征融合模块的残差组和卷积层中进行特征精融合，得到融合特征。
具体的，根据本发明的第三方面，可以利用渐进融合模块，基于邻域帧与参考帧之间的时域距离先验进行由粗到精的渐进式特征融合。具体流程如图6所示：
1)输入的7帧序列图像特征{F′nbr1,F′nbr2,F′nbr3,Fref,F′nbr4,F′nbr5,F′nbr6}，其中Fref为参考帧序列图像特征，F′nbri为第i个邻域帧序列图像特征，其中i＝1,2,3,4,5,6，首先按照与参考帧的时域距离分成三组，分别为{F′nbr2Fref,F′nbr5},{F′nbr1,Fref,F′nbr6},{F′nbr3,Fref,F′nbr6}。、
2)将得到的三组特征内的三个特征级联后分别输入到残差组和一个1×1卷积中进行特征粗融合。其中，残差组为中心差分残差组中的中心残差卷积全部替换为普通卷积。
3)将三个粗融合特征级联后输入到残差组和一个1×1卷积进行特征精融合生成输出特征。
在其中一个实施例中，图像重构模块包括残差组、卷积和像素混洗模块；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；步骤104还包括：将融合特征输入到残差组中，并将得到的输出特征输入到点卷积层中，得到点卷积特征；将点卷积特征输入到像素混洗模块中，将像素混洗得到的特征输入到点卷积层中，得到预测重构高分辨率参考帧图像。
在一个实施例中，如图2所示的网络结构，提供了一种序列图像红外小目标超分辨方法，具体包含以下步骤：
S1：将7帧序列图像输入超分辨网络，经过1×1卷积和参数为(D＝4,K＝5,G＝32)的中心差分残差组进行人特征提取。
S2：将提取出的特征输入两个参数分别为(kern＝3,dila＝3)，(kern＝3,dila＝1)时空局部注意力模块进行帧间对齐。
S3：将对齐后的特征输入渐进融合模块进行特征融合。其中，两个残差组的参数均设置为(D＝1,K＝3,G＝32)。
S4：融合后的特征输入到残差组、1×1卷积、像素混洗层、1×1卷积层中，重建高分辨率参考帧图像。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种序列图像红外小目标超分辨装置，包括：图像获取模块、序列图像红外小目标超分辨网络构建模块、序列图像红外小目标超分辨模型确定模块和高分辨率参考帧图像重构模块，其中：
图像获取模块，用于获取多帧序列图像。
序列图像红外小目标超分辨网络构建模块，用于构建序列图像红外小目标超分辨网络，序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；特征提取模块采用中心差分残差组对序列图像进行特征提取；注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。
序列图像红外小目标超分辨模型确定模块，用于将多帧序列图像作为训练样本对序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型。
高分辨率参考帧图像重构模块，用于获取待测多帧序列图像，将待测多帧序列图像输入到序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。
在其中一个实施例中，特征提取模块包括卷积网络和中心差分残差组；注意力特征对齐模块包括两个时空局部注意力模块；步骤104包括：将多帧序列图像作为训练样本；将训练样本输入到特征提取模块的卷积网络中，得到序列图像卷积特征；将序列图像卷积特征输入到中心差分残差组中，得到序列图像特征；将序列图像特征输入到第一个时空局部注意力模块中，并将得到的第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征；将时空局部注意力特征输入到渐进融合模块中，得到融合特征；将融合特征输入到图像重构模块中，得到预测重构高分辨率参考帧图像；根据预测重构高分辨率参考帧图像和训练样本，对序列图像红外小目标超分辨网络进行反向训练，得到序列图像红外小目标超分辨模型。
在其中一个实施例中，中心差分残差组包括：D个中心差分残差密集连接块和1个1×1卷积，其中D为大于1的整数；序列图像红外小目标超分辨模型确定模块，还用于将序列图像卷积特征输入到中心差分残差组中，经过D个中心差分残差密集连接块提取分层特征；将D个中心差分残差密集连接块输出的分层特征级联后输入到1×1卷积中，得到序列图像特征。
在其中一个实施例中，中心差分残差密集连接块包括1个中心差分卷积模块、K个卷积模块和1个点卷积层；其中K为大于1的整数；卷积模块的卷积核为3×3，中心差分卷积模块的卷积核为3×3；序列图像红外小目标超分辨模型确定模块，还用于
将序列图像卷积特征输入到第一个中心差分残差密集连接块的中心差分卷积模块中，得到第一个中心差分残差密集连接块的中心差分卷积模块的输出特征；将第一个中心差分残差密集连接块的中心差分卷积模块的输出特征、序列图像卷积特征串联后输入到第一个中心差分残差密集连接块的第一个卷积模块中，得到第一个中心差分残差密集连接块的第一个卷积模块的输出特征；依此类推，将序列图像卷积特征与第一个中心差分残差密集连接块的中心差分卷积模块和前k-1个卷积模块的输出特征串联后输入到第一个中心差分残差密集连接块中的第k个卷积模块中，得到第一个中心差分残差密集连接块的第k个卷积模块的输出特征；其中k为大于1且小于K的整数；将序列图像卷积特征、第一个中心差分残差密集连接块的中心差分卷积模块和K个卷积模块的输出特征输入到第一个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将得到的点卷积特征与序列图像卷积特征相加后得到第一分层特征；第一分层特征指的是第一个中心差分残差密集连接块提取的分层特征；将第d-1个中心差分残差密集连接块提取的分层特征与第d个中心差分残差密集连接块的中心差分卷积模块和前K-1个卷积模块的输出特征串联后输入到第d个中心差分残差密集连接块的第K个卷积模块中，得到第d个中心差分残差密集连接块的第K个卷积模块的输出特征；将第d个中心差分残差密集连接块的中心差分卷积模块前K个卷积模块的输出特征与第d-1个中心差分残差密集连接块提取的分层特征输入到第d个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将点卷积结果与序列图像卷积特征相加后得到第d分层特征；其中d为大于1且小于等于D的整数。
在其中一个实施例中，序列图像特征包括：参考帧特征和邻域帧特征；时空局部注意力模块包括点卷积、点积以及softmax；序列图像红外小目标超分辨模型确定模块，还用于
采用点卷积将序列图像特征中的参考帧特征和邻域帧特征的特征维度进行压缩，得到参考帧压缩特征和邻域帧压缩特征；将参考帧压缩特征空域中任意一点与邻域帧压缩特征中对应点邻域内的所有点的相互作用，并将得到结果按特征维度相加后采用softmax进行归一化处理得到局部注意力特征；将邻域帧特征的空间坐标p0处提取局部邻域特征与局部注意力特征图对应位置点积，得到第一时空局部注意力特征坐标p0处的值；采用相同的方法得到第一时空局部注意力特征所有坐标处的值；将第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征。
在其中一个实施例中，渐进融合模块包括两级特征融合模块，特征融合模块包括残差组和点卷积层；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；序列图像红外小目标超分辨模型确定模块，还用于将多帧序列图像的时空局部注意力特征按照与参考帧的时域距离分成三组；将得到的三组特征内的多个特征级联后分别输入到第一级特征融合模块的残差组和点卷积层中进行特征粗融合，得到三个粗融合特征；将三个粗融合特征级联后输入到第二级特征融合模块的残差组和卷积层中进行特征精融合，得到融合特征。
在其中一个实施例中，图像重构模块包括残差组、卷积和像素混洗模块；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；序列图像红外小目标超分辨模型确定模块，还用于将融合特征输入到残差组中，并将得到的输出特征输入到点卷积层中，得到点卷积特征；将点卷积特征输入到像素混洗模块中，将像素混洗得到的特征输入到点卷积层中，得到预测重构高分辨率参考帧图像。
关于序列图像红外小目标超分辨装置的具体限定可以参见上文中对于序列图像红外小目标超分辨方法的限定，在此不再赘述。上述序列图像红外小目标超分辨装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种设备，该设备可以是终端，其内部结构图可以如图8所示。该设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该设备的处理器用于提供计算和控制能力。该设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种序列图像红外小目标超分辨方法。该设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该设备的输入装置可以是显示屏上覆盖的触摸层，也可以是设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种序列图像红外小目标超分辨方法，其特征在于，所述方法包括：
获取多帧序列图像；
构建序列图像红外小目标超分辨网络，所述序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；所述特征提取模块采用中心差分残差组对序列图像进行特征提取；所述注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，所述渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，所述图像重构模块对融合后的特征进行重构得到重构的高分辨率参考帧图像；
将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型；
获取待测多帧序列图像，将所述待测多帧序列图像输入到所述序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像；
所述特征提取模块包括卷积网络和中心差分残差组；
所述中心差分残差组包括：D个中心差分残差密集连接块和1个1×1卷积，其中D为大于1的整数；
所述中心差分残差密集连接块包括1个中心差分卷积模块、K个卷积模块和1个点卷积层；其中K为大于1的整数；所述卷积模块的卷积核为3×3，所述中心差分卷积模块的卷积核为3×3；
所述序列图像特征包括：参考帧特征和邻域帧特征；
所述时空局部注意力模块，用于生成参考帧和领域帧之间的局部响应，隐式进行帧间对齐，根据帧间局部特征的补充信息提升对局部特征的重建效果。
2.根据权利要求1所述的方法，其特征在于，所述注意力特征对齐模块包括两个时空局部注意力模块；
将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型，包括：
将所述多帧序列图像作为训练样本；
将所述训练样本输入到所述特征提取模块的卷积网络中，得到序列图像卷积特征；
将所述序列图像卷积特征输入到中心差分残差组中，得到序列图像特征；
将所述序列图像特征输入到第一个时空局部注意力模块中，并将得到的第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征；
将所述时空局部注意力特征输入到所述渐进融合模块中，得到融合特征；将所述融合特征输入到所述图像重构模块中，得到预测重构高分辨率参考帧图像；
根据所述预测重构高分辨率参考帧图像和所述训练样本，对所述序列图像红外小目标超分辨网络进行反向训练，得到序列图像红外小目标超分辨模型。
3.根据权利要求2所述的方法，其特征在于，
将所述序列图像卷积特征输入到中心差分残差组中，得到序列图像特征，包括：
将所述序列图像卷积特征输入到中心差分残差组中，经过D个所述中心差分残差密集连接块提取分层特征；
将D个所述中心差分残差密集连接块输出的分层特征级联后输入到所述1×1卷积中，得到序列图像特征。
4.根据权利要求3所述的方法，其特征在于，
将所述序列图像卷积特征输入到中心差分残差组中，经过D个所述中心差分残差密集连接块提取分层特征，包括：
将所述序列图像卷积特征输入到第一个中心差分残差密集连接块的中心差分卷积模块中，得到第一个中心差分残差密集连接块的中心差分卷积模块的输出特征；
将第一个中心差分残差密集连接块的中心差分卷积模块的输出特征、所述序列图像卷积特征串联后输入到第一个中心差分残差密集连接块的第一个卷积模块中，得到第一个中心差分残差密集连接块的第一个卷积模块的输出特征；依此类推，将所述序列图像卷积特征与第一个中心差分残差密集连接块的中心差分卷积模块和前k-1个卷积模块的输出特征串联后输入到第一个中心差分残差密集连接块中的第k个卷积模块中，得到第一个中心差分残差密集连接块的第k个卷积模块的输出特征；其中k为大于1且小于K的整数；
将所述序列图像卷积特征、第一个中心差分残差密集连接块的中心差分卷积模块和K个卷积模块的输出特征输入到第一个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将得到的点卷积特征与所述序列图像卷积特征相加后得到第一分层特征；所述第一分层特征指的是第一个中心差分残差密集连接块提取的分层特征；
将第d-1个中心差分残差密集连接块提取的分层特征与第d个中心差分残差密集连接块的中心差分卷积模块和前K-1个卷积模块的输出特征串联后输入到第d个中心差分残差密集连接块的第K个卷积模块中，得到第d个中心差分残差密集连接块的第K个卷积模块的输出特征；将第d个中心差分残差密集连接块的中心差分卷积模块前K个卷积模块的输出特征与第d-1个中心差分残差密集连接块提取的分层特征输入到第d个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将点卷积结果与所述序列图像卷积特征相加后得到第d分层特征；其中d为大于1且小于等于D的整数。
5.根据权利要求2所述的方法，其特征在于，
时空局部注意力模块包括点卷积、点积以及softmax；
将所述序列图像特征输入到第一个时空局部注意力模块中，并将得到的第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征，包括：
采用点卷积将所述序列图像特征中的参考帧特征和邻域帧特征的特征维度进行压缩，得到参考帧压缩特征和邻域帧压缩特征；
将所述参考帧压缩特征空域中任意一点与所述邻域帧压缩特征中对应点邻域内的所有点的相互作用，并将得到结果按特征维度相加后采用softmax进行归一化处理得到局部注意力特征；
将所述邻域帧特征的空间坐标p0处提取局部邻域特征与所述局部注意力特征图对应位置点积，得到第一时空局部注意力特征坐标p0处的值；采用相同的方法得到第一时空局部注意力特征所有坐标处的值；
将所述第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征。
6.根据权利要求4所述的方法，其特征在于，所述渐进融合模块包括两级特征融合模块，所述特征融合模块包括残差组和点卷积层；所述残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；
将所述时空局部注意力特征输入到所述渐进融合模块中，得到融合特征，包括：
将多帧序列图像的时空局部注意力特征按照与参考帧的时域距离分成三组；
将得到的三组特征内的多个特征级联后分别输入到第一级特征融合模块的残差组和点卷积层中进行特征粗融合，得到三个粗融合特征；
将三个粗融合特征级联后输入到第二级特征融合模块的残差组和卷积层中进行特征精融合，得到融合特征。
7.根据权利要求2所述的方法，其特征在于，所述图像重构模块包括残差组、卷积和像素混洗模块；所述残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；将所述融合特征输入到所述图像重构模块中，得到预测重构高分辨率参考帧图像，包括：
将所述融合特征输入到残差组中，并将得到的输出特征输入到点卷积层中，得到点卷积特征；
将点卷积特征输入到像素混洗模块中，将像素混洗得到的特征输入到点卷积层中，得到预测重构高分辨率参考帧图像。
8.一种序列图像红外小目标超分辨装置，其特征在于，所述装置包括：
图像获取模块，用于获取多帧序列图像；
序列图像红外小目标超分辨网络构建模块，用于构建序列图像红外小目标超分辨网络，所述序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；
所述特征提取模块采用中心差分残差组对序列图像进行特征提取；所述注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，所述渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，所述图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像；
所述特征提取模块包括卷积网络和中心差分残差组；
所述中心差分残差组包括：D个中心差分残差密集连接块和1个1×1卷积，其中D为大于1的整数；
所述中心差分残差密集连接块包括1个中心差分卷积模块、K个卷积模块和1个点卷积层；其中K为大于1的整数；所述卷积模块的卷积核为3×3，所述中心差分卷积模块的卷积核为3×3；
所述序列图像特征包括：参考帧特征和邻域帧特征；
所述时空局部注意力模块，用于生成参考帧和领域帧之间的局部响应，隐式进行帧间对齐，根据帧间局部特征的补充信息提升对局部特征的重建效果；
序列图像红外小目标超分辨模型确定模块，用于将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型；
高分辨率参考帧图像重构模块，用于获取待测多帧序列图像，将所述待测多帧序列图像输入到所述序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。
9.一种计算设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111158811.0A 2021-09-30 2021-09-30 序列图像红外小目标超分辨方法、装置、设备和存储介质 Active CN113793268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111158811.0A CN113793268B (zh) 2021-09-30 2021-09-30 序列图像红外小目标超分辨方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111158811.0A CN113793268B (zh) 2021-09-30 2021-09-30 序列图像红外小目标超分辨方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN113793268A CN113793268A (zh) 2021-12-14
CN113793268B true CN113793268B (zh) 2023-07-14

Family

ID=78877622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111158811.0A Active CN113793268B (zh) 2021-09-30 2021-09-30 序列图像红外小目标超分辨方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN113793268B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN113222825A (zh) * 2021-06-03 2021-08-06 北京理工大学 基于可见光图像训练的红外图像超分辨率重构方法及应用

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN113222825A (zh) * 2021-06-03 2021-08-06 北京理工大学 基于可见光图像训练的红外图像超分辨率重构方法及应用

Also Published As

Publication number Publication date
CN113793268A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
Zhang et al. DCSR: Dilated convolutions for single image super-resolution
CN111028153B (zh) 图像处理和神经网络训练方法、装置及计算机设备
CN109325915B (zh) 一种用于低分辨率监控视频的超分辨率重建方法
Wang et al. Single-image super-resolution using active-sampling Gaussian process regression
Li et al. A two-channel convolutional neural network for image super-resolution
Wei et al. Improving resolution of medical images with deep dense convolutional neural network
CN111951165B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111696038A (zh) 图像超分辨率方法、装置、设备及计算机可读存储介质
Zhang et al. Image super-resolution via a novel cascaded convolutional neural network framework
CN113643333A (zh) 图像配准方法、装置、电子设备和计算机可读存储介质
CN105427243A (zh) 基于自适应插值核学习的视频超分辨率重建方法
CN116485834A (zh) 红外弱小目标检测方法、装置、设备和介质
Deng et al. Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution
Qin et al. Deep ResNet based remote sensing image super-resolution reconstruction in discrete wavelet domain
CN116523750A (zh) 一种基于通道注意力的单图像超分辨率重建方法和系统
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN113192101B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113793268B (zh) 序列图像红外小目标超分辨方法、装置、设备和存储介质
Shuai et al. Accurate image super-resolution using cascaded multi-column convolutional neural networks
Liu et al. Lightweight image super-resolution with a feature-refined network
Zhu et al. Multi-frame image super-resolution reconstruction via low-rank fusion combined with sparse coding
CN114359232B (zh) 一种基于上下文协方差矩阵的图像变化检测方法及装置
CN109615584B (zh) 一种基于单应性约束的sar图像序列map超分辨率重建方法
Han et al. Quaternion-based dynamic mode decomposition for background modeling in color videos
Zhang et al. Video satellite imagery super resolution for ‘Jilin-1’via a single-and-multi frame ensembled framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant