CN118037614A - 一种基于轻量化自监督网络的红外图像增强方法 - Google Patents

一种基于轻量化自监督网络的红外图像增强方法 Download PDF

Info

Publication number
CN118037614A
CN118037614A CN202410224275.7A CN202410224275A CN118037614A CN 118037614 A CN118037614 A CN 118037614A CN 202410224275 A CN202410224275 A CN 202410224275A CN 118037614 A CN118037614 A CN 118037614A
Authority
CN
China
Prior art keywords
infrared image
gradient map
map
image
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410224275.7A
Other languages
English (en)
Inventor
牛毅
劳义正
马明明
李甫
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202410224275.7A priority Critical patent/CN118037614A/zh
Publication of CN118037614A publication Critical patent/CN118037614A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轻量化自监督网络的红外图像增强方法，包括以下步骤；(1)获取目标梯度图，将其作为低质量红外图像梯度图所应当映射到的目标梯度图；(2)构建和训练神经网络，提取红外图像中的浅层和深层特征信息，得到高维特征图；(3)对高维特征图进行迭代计算，将红外图像中每个像素进行计算映射到满足目标梯度图中所需的像素值。本发明充分考虑红外图像中一阶信息的单一，利用自身的二阶梯度信息进行计算、约束和均衡化，解决红外图像增强过程中曝光不均匀的问题，再通过自监督学习方式，利用神经网路来对红外图像增强进行平滑约束，从而完成红外图像的有效增强，提升红外图像质量。

Description

一种基于轻量化自监督网络的红外图像增强方法
技术领域
本发明属于红外图像处理技术领域，具体涉及一种基于轻量化自监督网络的红外图像增强方法。
背景技术
红外图像增强技术是图像处理领域的一个重要分支，它主要处理由红外相机捕获的图像，这些图像通常用于夜视、热成像、医学成像等应用。红外图像往往存在对比度低、噪声高、细节不足等问题，因此，增强技术的目的是改善这些图像的质量，以便更好地用于分析和解释。
传统的红外图像增强方法主要基于图像的直方图处理。直方图均衡(HistogramEqualization，HE)是一种简单有效的方法，通过调整图像的直方图达到增强图像对比度的目的。首先，计算图像的直方图，即统计图像中每个亮度值或亮度区间内的像素数量；计算累积直方图，即对原始直方图的进行累积求和，它表示每个亮度值或亮度区间内的像素数量总和；接下来，使用累积直方图来创建一个映射函数，该函数将原始图像的亮度值映射到新的亮度值；最后，将映射函数应用到原始图像的每个像素上，以获得新的亮度值，这一步实际上是重新分配原始图像中的亮度值，以使整个图像的亮度分布更加均匀。这种方法对于某些类型的红外图像非常有效，尤其是在对比度不均匀的情况下。然而，它也有一些限制，例如可能会导致图像的某些区域过度增强，从而失去细节。为了解决这个问题，出现了对比度约束自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization，CLAHE)技术。CLAHE通过将图像分割成多个小区块，然后对每个小区块进行直方图均衡，以减少过度增强的问题。它提供了更好的局部对比度增强效果，但同时也增加了计算复杂性。
随着深度学习的发展，基于有监督学习的红外图像增强方法开始流行。这些方法通常使用大量的训练数据来训练一个深度神经网络，包括原始红外图像及其对应的高质量图像。通过学习这些数据之间的映射关系，网络能够对新的红外图像进行有效增强，比如IE-CGAN网络模型。这类方法在处理复杂场景和噪声方面表现出色，但也存在一些缺点，如需要大量的标注数据，训练过程资源消耗大，且模型通常较为庞大，难以实时处理红外图像。
尽管这些传统方法和有监督的深度学习方法各有优势，但它们也存在明显的局限性。传统方法在处理复杂或低质量的红外图像时往往效果有限，而有监督的深度学习方法则需要大量的标注数据和计算资源，通常不适用于实时图像处理场景，这限制了它们在某些应用领域的实用性。
一种基于直方图峰度的红外图像增强方法(公开号：CN116228562A，申请号：CN202211693647.8，申请日：2022年12月28日)中公开了一种利用统计信息约束子直方图均衡化来产生增强图像的方法。该方法先通过对输入图像进行预处理重新赋值，再依据峰度对频率直方图进行自适应分割获取子直方图，利用灰度频率和梯度密度的统计信息约束子直方图的灰度范围获取新灰度区间，再依据新灰度区间的梯度对子直方图进行均衡化得到增强图像。此方法解决了传统直方图均衡算法中图像局部细节被模糊的问题，改善了图像的视觉效果。但是存在的不足是，切割子直方图没有考虑全局信息，增强的图像具有明显的块效应。
一种基于深度全卷积神经网络的红外图像增强方法(公开号：CN116977188A，申请号：CN202210392582.7，申请日：2022年04月15日)中公开了一种利用深度全卷积神经网络来训练学习从低质量红外图像到高质量红外图像的映射关系，用来增强低质量红外图像的视觉效果。该方法首先采集和制作高低增益红外图像对的数据集，按比例划分训练样本集和测试集，再引入残差结构增强所提出的神经网络的学习能力，对该网络模型进行有监督学习从而获得一种红外图像增强网络模型。该专利的不足是，需要采集和制作红外图像对的数据集，手动标注图像对数据，且有监督学习对于其它数据集的泛化能力不足，难以适用于不同红外相机拍摄得到的红外图像。
综上所述，虽然现有方法可以在基于直方图均衡算法上进行优化，或者提出拟合能力更强的神经网络模型，但是没有考虑到红外图像的特性，如红外图像的像素值属于高动态范围，不同红外相机采集的红外图像分布具有巨大差异，在不同数据集上增强效果不一致等问题，因此，现有红外图像增强方法还有进步的空间。
发明内容
为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于轻量化自监督网络的红外图像增强方法，该方法充分考虑红外图像中一阶信息的单一，利用自身的二阶梯度信息进行计算、约束和均衡化，解决红外图像增强过程中曝光不均匀的问题，再通过自监督学习方式，利用神经网路来对红外图像增强进行平滑约束，从而完成红外图像的有效增强，提升红外图像质量。
为了实现上述目的，本发明采用的技术方案是：
一种基于轻量化自监督网络的红外图像增强方法，包括以下步骤；
(1)获取目标梯度图，将其作为低质量红外图像梯度图所应当映射到的目标梯度图；；对比度低、边缘模糊的红外图像即为低质量红外图像；
(2)构建和训练神经网络，提取红外图像中的浅层和深层特征信息，得到高维特征图；
(3)对高维特征图进行迭代计算，给红外图像中每个像素进行计算映射到满足目标梯度图中所需的像素值。计算映射过程改变红外图像中的像素值，这便是最后实现红外图像增强的过程。
所述步骤(1)具体为：
(1a)从公开的FLIR_ADAS红外图像数据集中随机选取红外图像作为训练集，此训练集中均为低质量红外图像；
(1b)为了防止出现伪影，对红外图像边缘采取镜像填充，再使用卷积核算子[[1，0，-1]，[2，0，-2]，[1，0，-1]]、[[-1，-2，-1]，[0，0，0]，[1，2，1]]分别计算红外图像中的x、y方向的梯度；
计算梯度的公式如下：
Gx＝1*f(i-1，j-1)+0*f(i，j-1)+(-1)*f(i+1，j-1)+2*f(i-1，j)
+0*f(i，j)+(-2)*f(i+1，j)+1*f(i-1，j+1)+0*f(i，j+1)
+(-1)*f(i+1，j+1)
Gy＝(-1)*f(i-1，j-1)+(-2)*f(i，j-1)+(-1)*f(i+1，j-1)+0
*f(i-1，j)+0*f(i，j)+0*f(i+1，j)+1*f(i-1，j+1)+2
*f(i，j+1)+1*f(i+1，j+1)
其中，Gx为x方向梯度图，Gy为y方向梯度图，f(i，j)为红外图像中坐标为(i，j)的像素值，f(i，j)前所乘上的系数值即为卷积核算子中的数值；
然后将Gx、Gy中小于设定阈值0.01的梯度值置为0，具体操作如下：
G′x、G′y即为修正的梯度图，再将G′x、G′y按绝对值相加，公式如下：
I＝|G′x|+|G′y|
其中I即为红外图像的梯度图；
(1c)将(1b)所得红外图像梯度图使用极大极小值归一化获得归一化梯度图，并将归一化梯度图量化到8位图；极大极小值归一化公式如下：
其中，I为输入的梯度图，Imin为I中的最小值，Imax为I中的最大值，I′即为归一化梯度图。量化公式如下：
Iu8＝255×I′
其中，I′为归一化梯度图，其值大小范围是[0，1]，因为计算机中8位图像的最大值是255，因此乘上255，Iu8即为位深度为8的图像，简称8位图。
(1d)使用OpenCV库中的createCLAHE函数对量化后的梯度图做CLAHE运算得到均衡化后的梯度图；
(1e)对均衡化后梯度图做阈值处理，将大于梯度图中最大值的一半的梯度值均除以2，即限制了梯度图的上限为原最大梯度图的一半，获得目标梯度图。所述步骤(2)具体为：
(2a)搭建神经网络模型，初始化网络参数；
(2b)设定损失函数为全变分损失和梯度图二范数损失，全变分损失公式如下：
其中，x为微小差分，即x＝f(i+1，j)-f(i，j)，y为微小差分，即y＝f(i，j+1)-f(i，j)，f(i，j)为输入图像u中(i，j)坐标的像素值；
梯度图二范数损失公式如下：
其中，go为原低质量红外图像梯度图，ge为目标梯度图，n为图像像素数量。(2c)将原低质量红外图像(公开的FLIR_ADAS红外图像数据集中随机选取红外图像作为训练集，此训练集中均为低质量红外图像)输入神经网络中训练，卷积层提取图像特征信息，最终神经网络模型输出一个含有映射关系的8通道的高维特征图。为保证网络轻量化，网络模型输出的高维特征图的通道数不可太多，过多通道数会增加网络训练推理所需的计算算力，经实验分析，得出8通道的特征图效果最优。
所述步骤(2)中的神经网络模型包含3层自适应平均池化层，10层卷积层，其中包括7层二维卷积层，3层一维卷积层。
网络结构中前4层二维卷积层(Conv2d_1、Conv2d_2、Conv2d_3、Conv2d_4)提取的是浅层特征，其余卷积层均提取是深层征；
输入的红外图像是1通道的二维图像，将卷积层运算后，扩充到32、64通道的“图像”，此“图像”为立体的的特征图，其中所蕴涵的信息即为高维特征信息，包括了浅层特征(32通道的特征图)、深层特征(64通道的特征图和最终的8通道特征图)，即网络模型中的前部分卷积层提取的是浅层，后部分是深层。
所述步骤(3)具体为：
(3a)将(2c)中高维特征图拆分8个单通道特征图An，每一个单通道特征图各用于一次迭代；拆分方法是直接使用Pytorch官方指令“torch.split(input_fmap,1,dim＝1)”即可，其中input_fmap是输入的高维特征图，1是使得拆分结果是在指定通道维度上只具有单通道，dim＝1是指定在通道维度上拆分，假定输入是8通道高维特征图，执行完指令即得到8个单通道的特征图；
(3b)迭代公式如下：
F(x)＝x+An(x2-x)
其中，x为输入的红外图像，An分别对应(3a)中的8个单通道特征图，每一次计算得到的F(x)作为下一次迭代计算的输入x；迭代计算8次后，最终输出的F(x)即为增强的红外图像。
所述步骤(1)中的浅层和深层特征信息；包括边缘细节信息、区域亮度信息。
本发明的有益效果：
1.本发明完成了基于轻量化神经网络对红外图像进行增强，解决了目前大网络模型对红外图像处理速度慢的问题，实现了红外图像的实时增强效果；
2.本发明完成了基于无监督学习方式对神经网络模型进行训练，解决了基于大量配对红外图像进行有监督学习的限制，无需标注样本图像，实现了训练集低成本获取；
3.本发明采用神经网络代替传统偏微分方程求解原梯度图和目标梯度图的匹配最优解，计算速度快且效率高；
4.本发明通过利用梯度图进行对比度自适应直方图均衡化，间接对红外图像进行增强，在提升图像对比度的同时保持图像自然的视觉效果，保留和强化图像细节。
附图说明
图1为轻量化自监督网络模型图。
图2为轻量化自监督网络模型具体结构关系图
图3为基于轻量化自监督网络的红外图像增强方法流程示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明中所提出的神经网络结构如附图1中所示，详细参数如表1所示。
表1神经网络模型各层参数表
从上表可看出，本发明中的神经网络模型仅包含3层自适应平均池化层，10层卷积层，其中包括7层二维卷积层，3层一维卷积层，网络模型参数少，属于轻量化网络范畴，且其中3层自适应平均池化层和一维卷积层模块实现通道注意力机制，网络性能更优。
神经网路模型更为详细的结构关系如图2所示，其中箭头方向代表上一层的输出作为下一层的输入，“concat”操作是将两个输入在通道维度上拼接叠加在一起。
本发明的原理基础是低质量红外图像的梯度图与高质量红外图像的梯度图分布不一致，利用神经网络学习求解使得低质量红外图像的梯度图向高质量红外图像的梯度图逼近，即可得到增强后的高质量红外图像。
本发明首先，计算原低质量的红外图像的梯度图，对梯度图的上下限限制大小，再对梯度图做自适应直方图均衡化得到目标梯度图，此梯度图即为假定的红外图像增强后的理想目标梯度图。其次，将原低质量的红外图像输入到神经网络模型中，网络的损失函数是将原低质量红外图像的梯度图与目标梯度图做二范数的约束，使得网络学习到红外图像的特征信息和梯度图之间的映射关系。最后，通过迭代方程，将原低质量的红外图像迭代计算得到增强的红外图像，从而提升红外图像质量。
如图3所示，本发明中的方法步骤详细如下：
一种基于轻量化自监督网络的红外图像增强方法，包括以下步骤；
(1)获取目标梯度图
(1a)从公开的FLIR_ADAS红外图像数据集中随机选取200张红外图像作为训练集。
(1b)为了防止出现伪影，对红外图像边缘采取镜像填充，再使用[[1,0,-1],[2,0,-2],[1,0,-1]]、[[-1,-2,-1],[0,0,0],[1,2,1]]分别计算红外图像中的x、y方向的梯度，将x、y方向中小于设定阈值0.01的梯度值置为0；置为0的作用是将图像中的小噪声去除。
(1c)将x、y方向梯度图相加，并使用极大极小值归一化获得归一化梯度图，并将归一化梯度图量化到8位图；相对于更高位深的图像(如16位或32位)，8位图像在处理时可以更快，这是因为计算机处理较小数据量时更加高效。
(1d)使用OpenCV库中的createCLAHE函数对量化后的梯度图做CLAHE运算得到均衡化后的梯度图，其中像素值的对比度阈值设置为2，栅格大小设置为8*8；经实验分析，过大的对比度阈值和栅格会导致图像过曝，过小的对比度阈值和栅格会使得最终的增强效果微乎其微。
(1e)对均衡化后梯度图做阈值处理，将大于梯度图中最大值的一半的梯度值均除以2，即限制了梯度图的上限为原最大梯度图的一半，这样做的目的是防止过大的梯度产生，间接防止图像边缘出现伪影和梯度反转现象；最后获得目标梯度图。
(2)构建和训练神经网络：
(2a)参照表1和图1搭建神经网络模型，初始化网络参数，设置迭代次数为200次、学习率为0.001、批的大小是1；
(2b)设定损失函数为全变分损失和梯度图二范数损失。全变分损失公式如下：
其中，x为微小差分，即x＝f(i+1，j)-f(i，j)，y为微小差分，即y＝f(i，j+1)-f(i，j)，f(i，j)为输入图像u中(i，j)坐标的像素值；梯度图二范数损失公式如下：
其中，go为原低质量红外图像梯度图，ge为目标梯度图，n为图像像素数量。
(2c)将原低质量红外图像输入神经网络中训练，卷积层提取图像特征信息，最终神经网络模型输出一个含有映射关系的8通道的高维特征图。
(3)迭代计算：
(3a)将(2c)中高维特征图拆分8个单通道的特征图，每一个单通道特征图各用于一次迭代；拆分方法是直接使用Pytorch官方指令“torch.split(input_fmap,1,dim＝1)”即可，其中input_fmap是输入的高维特征图，1是使得拆分结果是在指定通道维度上只具有单通道，dim＝1是指定在通道维度上拆分，假定输入是8通道高维特征图，执行完指令即得到8个单通道的特征图；
(3b)迭代公式如下：
F(x)＝x+An(x2-x)
其中，x为输入的红外图像，An分别对应(3a)中的8个单通道特征图。每一次计算得到的F(x)作为下一次迭代计算的输入x；迭代计算8次后，最终输出的F(x)即为增强的红外图像。
本发明解决了基于深度学习网络模型对红外图像处理速度慢的问题，适用于需要快速响应的场景，实现了红外图像的实时增强效果；
本发明解决了基于大量配对红外图像进行监督学习的限制，实现了训练集低成本获取，无需标注样本图像；
本发明解决了传统方法在提高红外图像对比度时损害图像自然观感的问题，实现了在提升对比度的同时保持图像自然的视觉效果；
本发明解决了在增强红外图像时模糊细节信息的问题，实现了在提高亮度的同时保留和强化图像细节。
本发明的效果可通过表2对比数据进一步说明：
表2数据对比表
其中，DE代表信息熵，是一种测度图像信息量丰富程度的无参考客观指标，越大越好；AG代表平均梯度，其能反映图像中细节反差和纹理变换，用于衡量图像的清晰程度，可以认为平均梯度越大，图像清晰度越好。T代表增强一张红外图像所需是时间，单位是秒，越小越好，从人眼视觉系统上考虑，当所需时间小于0.05秒时，即可认为该算法能够达到实时增强图像的效果。从上表数据可看出，本发明方法的有效性。
轻量化神经网络模型，包括7层卷积层，3个通道注意力机制，实现神经网路的性能提升；
实现基于无监督的深度学习方法，不需要数据集配对标注信息；
利用神经网络模型作为求解器，代替求解梯度图匹配的传统偏微分方程，实现计算速度快，效率高的特性；
基于在红外图像的梯度图上实施对比度自适应直方图均衡化作为神经网络学习和优化方向，实现红外图像增强效果。

Claims (10)

1.一种基于轻量化自监督网络的红外图像增强方法，其特征在于，包括以下步骤；
(1)获取目标梯度图，将其作为低质量红外图像梯度图所应当映射到的目标梯度图；
(2)构建和训练神经网络，提取红外图像中的浅层和深层特征信息，得到高维特征图；
(3)对高维特征图进行迭代计算，将红外图像中每个像素进行计算映射到满足目标梯度图中所需的像素值。
2.根据权利要求1所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，所述步骤(1)具体为：
(1a)从公开的FLIR_ADAS红外图像数据集中随机选取红外图像作为训练集，此训练集中均为低质量红外图像；
(1b)对红外图像边缘采取镜像填充，再使用卷积核算子[[1,0,-1],[2,0,-2],[1,0,-1]]、[[-1,-2,-1],[0,0,0],[1,2,1]]分别计算红外图像中的x、y方向的梯度；
(1c)将(1b)所得红外图像梯度图使用极大极小值归一化获得归一化梯度图，并将归一化梯度图量化到8位图；
(1d)使用OpenCV库中的createCLAHE函数对量化后的梯度图做CLAHE运算得到均衡化后的梯度图；
(1e)对均衡化后梯度图做阈值处理，将大于梯度图中最大值的一半的梯度值均除以2，即限制了梯度图的上限为原最大梯度图的一半，获得目标梯度图。
3.根据权利要求2所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，所述(1b)中：
计算梯度的公式如下：
Gx＝1*f(i-1,j-1)+0*f(i,j-1)+(-1)*f(i+1,j-1)+2*f(i-1,j)+0*f(i,j)+(-2)*f(i+1,j)+1*f(i-1,j+1)+0*f(i,j+1)+(-1)*f(i+1,j+1)
Gy＝(-1)*f(i-1,j-1)+(-2)*f(i,j-1)+(-1)*f(i+1,j-1)+0*f(i-1,j)+0*f(i,j)+0*f(i+1,j)+1*f(i-1,j+1)+2*f(i,j+1)+1*f(i+1,j+1)
其中，Gx为x方向梯度图，Gy为y方向梯度图，f(i,j)为红外图像中坐标为(i,j)的像素值，f(i,j)前所乘上的系数值即为卷积核算子中的数值；
然后将Gx、Gy中小于设定阈值0.01的梯度值置为0，具体操作如下：
G′x、G′y即为修正的梯度图，再将G′x、G′y按绝对值相加，公式如下：
I＝|G′x|+|G′y|
其中I即为红外图像的梯度图。
4.根据权利要求2所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，所述(1c)中，极大极小值归一化公式如下：
其中，I为输入的梯度图，Imin为I中的最小值，Imax为I中的最大值，I′即为归一化梯度图。量化公式如下：
Iu8＝255×I′
其中，I′为归一化梯度图，其值大小范围是[0,1]，因为计算机中8位图像的最大值是255，因此乘上255，Iu8即为位深度为8的图像，简称8位图。
5.根据权利要求2所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，所述步骤(2)具体为：
(2a)搭建神经网络模型，初始化网络参数；
(2b)设定损失函数为全变分损失和梯度图二范数损失，全变分损失公式如下：
其中，x为微小差分，即x＝f(u+1,j)-f(i,j)，y为微小差分，即y＝f(i,j+1)-f(i,j)，f(i,j)为输入图像u中(i,j)坐标的像素值；梯度图二范数损失公式如下：
其中，go为原低质量红外图像梯度图，ge为目标梯度图，n为图像像素数量；
(2c)将原低质量红外图像输入神经网络中训练，卷积层提取图像特征信息，最终神经网络模型输出一个含有映射关系的8通道的高维特征图。
6.根据权利要求5所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，所述步骤(2)中的神经网络模型包含3层自适应平均池化层，10层卷积层，其中包括7层二维卷积层，3层一维卷积层。
7.根据权利要求6所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，网络结构中前4层二维卷积层，Conv2d_1、Conv2d_2、Conv2d_3、Conv2d_4，提取的是浅层特征，其余卷积层均提取是深层征；
输入的红外图像是1通道的二维图像，将卷积层运算后，扩充到32、64通道的“图像”，此“图像”为立体的的特征图，其中所蕴涵的信息即为高维特征信息，包括了浅层特征、深层特征，即网络模型中的前部分卷积层提取的是浅层，后部分是深层。
8.根据权利要求5所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，所述步骤(3)具体为：
(3a)将(2c)中高维特征图拆分8个单通道特征图An，每一个单通道特征图各用于一次迭代；
(3b)迭代公式如下：
F(x)＝x+An(x2-x)
其中，x为输入的红外图像，An分别对应(3a)中的8个单通道特征图，每一次计算得到的F(x)作为下一次迭代计算的输入x；迭代计算8次后，最终输出的F(x)即为增强的红外图像。
9.根据权利要求8所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，拆分方法是直接使用Pytorch官方指令“torch.split(input_fmap,1,dim＝1)”即可，其中input_fmap是输入的高维特征图，1是使得拆分结果是在指定通道维度上只具有单通道，dim＝1是指定在通道维度上拆分，假定输入是8通道高维特征图，执行完指令即得到8个单通道的特征图。
10.根据权利要求1所述的一种基于轻量化自监督网络的红外图像增强方法，其特征在于，所述步骤(1)中的浅层和深层特征信息；包括边缘细节信息、区域亮度信息。
CN202410224275.7A 2024-02-29 2024-02-29 一种基于轻量化自监督网络的红外图像增强方法 Pending CN118037614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410224275.7A CN118037614A (zh) 2024-02-29 2024-02-29 一种基于轻量化自监督网络的红外图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410224275.7A CN118037614A (zh) 2024-02-29 2024-02-29 一种基于轻量化自监督网络的红外图像增强方法

Publications (1)

Publication Number Publication Date
CN118037614A true CN118037614A (zh) 2024-05-14

Family

ID=90994838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410224275.7A Pending CN118037614A (zh) 2024-02-29 2024-02-29 一种基于轻量化自监督网络的红外图像增强方法

Country Status (1)

Country Link
CN (1) CN118037614A (zh)

Similar Documents

Publication Publication Date Title
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
Kumar et al. Image smog restoration using oblique gradient profile prior and energy minimization
CN112257766B (zh) 一种基于频域滤波处理的自然场景下阴影识别检测方法
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
Yan et al. Enhanced network optimized generative adversarial network for image enhancement
Feng et al. URNet: A U-Net based residual network for image dehazing
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN113129236A (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN111553856A (zh) 基于深度估计辅助的图像去雾方法
CN117649368A (zh) 基于自适应稀疏注意力扩散模型的弱光增强方法
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN115797205A (zh) 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统
Li et al. An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network
CN117253184B (zh) 一种雾先验频域注意表征引导的雾天图像人群计数方法
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
Luo et al. A fast denoising fusion network using internal and external priors
CN116912114A (zh) 基于高阶曲线迭代的无参考低光照图像增强方法
CN116862809A (zh) 一种低曝光条件下的图像增强方法
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
CN114419341B (zh) 一种基于迁移学习改进的卷积神经网络图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination