CN113902625A - 一种基于深度学习的红外图像增强方法 - Google Patents
一种基于深度学习的红外图像增强方法 Download PDFInfo
- Publication number
- CN113902625A CN113902625A CN202110955946.3A CN202110955946A CN113902625A CN 113902625 A CN113902625 A CN 113902625A CN 202110955946 A CN202110955946 A CN 202110955946A CN 113902625 A CN113902625 A CN 113902625A
- Authority
- CN
- China
- Prior art keywords
- infrared image
- feature
- image
- infrared
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 45
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000001931 thermography Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的红外图像增强方法，涉及红外图像技术领域，包括如下步骤：采集红外图像对并按比例划分为训练样本集与测试样本集，对训练样本集进行数据增强获得丰富的训练集；针对低质量红外图像对比度低、细节模糊等问题，通过引入残差结构、通道注意力机制以及空间注意力机制设计一种全卷积红外图像增强网络；利用训练样本集对该网络进行监督训练获得红外图像增强模型，该模型适用于不同分辨率的红外图像；最后将待测试的低质量红外图像输入该模型，获得增强后的红外图像。
Description
技术领域
本发明涉及红外图像技术领域，具体是一种基于深度学习的红外图像增强方法。
背景技术
基于RGB相机的计算机视觉技术已经得到广泛的应用，如图像分类、目标检测、图像分割等，但是基于RGB相机的计算机视觉技术容易受到照明、天气等环境影响。针对以上问题，红外热成像相机可以在复杂的背景或者缺乏光照的环境中获得目标的温度信息，故基于红外图像的计算机视觉技术也越来越受到重视。一般来说，商用的、低成本的红外热成像相机采集的红外图像存在边缘模糊、低信噪比等问题。因此，对红外图像进行增强获得高质量的红外图像十分有意义。
目前，红外图像增强相关研究仍然较少。传统的图像增强方法如直方图均衡化(histogram equalization，HE)，该算法增强目标的同时，背景噪声也会被放大，效果较差。其改进算法对比度受限直方图均衡(contrast limited adaptive histogramequalization,CLAHE)能够抑制背景噪声，但是边缘容易被模糊。受到可见光的研究进展启发，本发明将基于深度学习完成红外图像增强，以获得高质量红外图像。
发明内容
鉴于上述技术缺点，本发明提供了一种基于深度学习的红外图像增强方法，包括如下步骤：
S1，采集不同场景的红外图像对获得数据集，将数据集划分为训练样本集与测试样本集；
S2，将S1得到的训练样本集进行数据增强；
S3，通过引入残差结构、通道注意力机制以及空间注意力机制构建红外图像增强网络；
S4，将S2得到的训练样本集监督训练红外图像增强网络，获得红外图像增强模型；
S5，将红外测试图像输入至S4训练完成的红外图像增强模型，获得增强后的红外图像。
作为优选的，S1中的采集不同场景的红外图像对为：
固定红外热成像相机拍摄位置与角度，选择不同的场景分别采集红外图像对，所有的红外图像对形成数据集，并按照设定的比例将数据集划分为训练样本集与测试样本集。
作为优选的，S2中的数据增强包括如下过程：
步骤一，利用滑动窗口裁剪算法对原始图像对进行裁切，固定并减小红外图像尺寸，且使得图像长宽相等；
步骤二，采用图像翻转、图像亮度变换、图像尺度缩放等方式对切割后的图像进行数据增强。
作为优选的，S3中构建的红外图像增强网络包括如下：
图像特征提取部分是利用3个卷积层进行红外图像特征的提取，得到3个特征图；其中的卷积层后面均使用relu激活函数，relu激活函数的数学表达式如下：
接着利用通道注意力机制与空间注意力机制筛选第三个特征图；其中所涉及全连接层使用卷积核为1×1的卷积层代替，所涉及的激活函数使用sigmoid激活函数，其数学表达式如下：
接着利用残差结构融合特征图，使得特征图含有丰富的细节信息以及语义信息；
接着利用反卷积层实现图像上采样，使得特征图分辨率与输入图像一致；
最后利用两个卷积层进一步学习与重组图像特征，其中最后一个卷积后面使用tanh激活函数，tanh激活函数的数学表达式如下：
其中，卷积后面增加批量归一化层，基于归一化使得特征服从单位高斯分布，同时通过γ和β两个超参数进一步缩放和平移归一化后的特征。
作为优选的，S3中的残差结构的数学表达式为：
y＝f(x)+x
其中，x和y分别表示输入和输出，f(x)表示特征提取层；通过引入残差结构融合红外图像增强模型的第一层卷积层提取的特征和第三层卷积层提取的特征；
S3中的通道注意力机制是利用全局平均池化操作将第三个卷积层提取的特征图压缩成特征向量，特征向量维度为特征图的通道数量，计算每一通道特征的均值，其数学表达式为：
其中，H和W分别表示特征图的高和宽，f(i，j)表示坐标(i，j)的特征值；
S3中的空间注意力机制的步骤为：
S31，统计与计算特征所有通道同一空间坐标的最大值与均值，分别生成两通道特征图，将两张特征图进行通道拼接；
S32，利用一个卷积层和sigmoid函数学习每一个空间坐标的重要性权重；
S33，将重要性权重与输入特征相乘完成从空间区域上筛选特征。
作为优选的，S4中的训练过程的超参数设置如下：
(1)初始学习率lr为1e-3，通过如下公式等间隔调整学习率：
其中，x表示迭代周期，γ调整倍数设置为0.1，调整间隔s设置为30；即每30个迭代周期学习率下降10倍；
(2)优化算法选择Adam优化算法，其中beta1、beta2参数分别设置为0.9和0.999；
(3)批次大小batch_size设置为32，总的迭代周期EPOCH设置为100，设定训练样本总数为S，最大迭代次数N如下所示：
作为优选的，S4中的监督训练过程如下：
S41，输入设定尺寸的红外图像，经过归一化的处理之后，输入第一个卷积层获得分辨率为输入图像的1/2的特征图；
S42，接着再利用两个卷积模块进一步提取深层特征，并利用通道注意力机制对提取的深层特征从特征通道数上进行筛选，以及利用空间注意力机制对提取的深层特征从特征空间尺寸上进行筛选，从而保留特征中有效信息，并抑制特征中的背景噪声；
S43，利用残差结构融合浅层特征与深层特征，获得语义信息与细节信息丰富的特征图；
S44，将融合后的红外图像特征进行反卷积操作调整特征尺寸和输入图像一致，并增加两层特征层对融合后的红外图像特征进一步地学习与重组，输出增强后的红外图像；
S45，计算增强后的红外图像相对于参考红外图像的损失值，损失函数使用均方误差函数，该均方误差函数的数学表达式为：
其中，m表示批量大小，W和H表示图像长和宽，fij表示参考红外图像坐标点(i，j)的像素值，f′ij表示预测的增强后的红外图像坐标点(i，j)的像素值；
S46，根据计算的损失值，反向计算梯度更新红外图像增强网络的参数；
S47，重复上述步骤，直至训练次数达到设定的最大迭次数N后停止训练；保存训练好的红外增强模型。
本发明的有益效果是：
1.基于深度学习设计的全卷积神经网络，使得输入图像尺寸不受限制，可以适用于不同分辨率的红外热成像相机；
2.仅8层的卷积神经网络，具有较少的参数，不仅节省了训练与推理时间，而且降低了对硬件平台的需求；
3.模型通过引入残差结构、通道注意力机制以及空间注意力机制，能够更好地拟合高质量 -低质量红外图像的映射关系，获得高质量红外图像。
附图说明
图1为；本发明提供的流程示意图；
图2为；本发明提供的红外增强网络结构图；
图3为；本发明提供的残差结构示意图；
图中，C:卷积层3×3；B：批量归一化层；R：relu激活函数；T：tanh激活函数；S：sigmoid 激活函数；F：concat通道拼接；D：反卷积3×3；GAP：全局平均池化；FC：全连接层。
具体实施方式
下面结合本发明的附图1-3，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于深度学习的红外图像增强方法，包括如下步骤：
S1，采集不同场景的红外图像对获得数据集，将数据集划分为训练样本集与测试样本集。
在具体实施时，固定红外热成像相机拍摄位置与角度，选择不同的场景分别采集高质量的红外图像和低质量的红外图像(低质量的红外图像存在对比度低、细节模糊等缺点)形成红外图像对，所有的红外图像对形成数据集，并按照8:2比例将数据集划分为训练样本集与测试样本集。
S2，将S1得到的训练样本集进行数据增强。
步骤一，利用滑动窗口裁剪算法对原始图像对进行裁切，固定并减小红外图像尺寸，且使得图像长宽相等。
利用滑动窗口算法将训练样本集中的红外图像裁剪至窗口大小为256×256，步长设置为 40×40，使得红外图像尺寸固定为256×256。不仅可以减少后续模型的计算量进而减少模型训练阶段使用时间；并且可以丰富红外图像训练样本；
步骤二，采用图像翻转、图像亮度变换、图像尺度缩放等方式对切割后的图像进行数据增强。
测试样本集中的红外图像保持原始尺寸不变，然后采用图像翻转、旋转等操作实现样本扩充，对裁剪后的训练样本集中的红外图像进行样本增强。
S3，通过引入残差结构、通道注意力机制以及空间注意力机制构建红外图像增强网络。
S3中构建的红外图像增强网络包括如下：
如图2所示，图像特征提取部分利用3个卷积层进行红外图像特征提取，得到3个特征图；第1个卷积层提取的浅层特征包含较多的细节，第3个卷积层提取的特征图包含较多的深层语义信息；其中所述的卷积层后面均使用relu激活函数，relu激活函数的数学表达式如下：
relu激活函数具有简单计算较快的作用。
接着利用通道注意力机制与空间注意力机制筛选第三个特征图，保留有效信息并抑制背景噪声；其中所涉及全连接层使用卷积核为1×1的卷积层代替，所涉及的激活函数使用 sigmoid激活函数，其数学表达式如下：
接着利用残差结构融合特征图，使得特征图含有丰富的细节信息以及语义信息；
接着利用反卷积层实现图像上采样，使得特征图分辨率与输入图像一致；
最后利用两个卷积层进一步学习与重组图像特征；其中最后一个卷积后面使用tanh激活函数，tanh激活函数的数学表达式如下：
其中，卷积后面增加批量归一化层，基于归一化使得特征服从单位高斯分布，可以减少特征尺度不统一造成的影响；同时通过γ和β两个超参数进一步缩放和平移归一化后的特征，，使其仍然保留原始特征表达能力。
该红外图像增强网络的第一个卷积对输入图像进行了2倍下采样，因此引入一个反卷积层进行图像尺寸恢复，同时利用两个卷积层进一步重组与学习。
如图3所示，S3中的残差结构的数学表达式为：
y＝f(x)+x
其中，x和y分别表示输入和输出，f(x)表示特征提取层；通过引入残差结构融合红外图像增强模型的第一层卷积层提取的特征和第三层卷积层提取的特征，避免了在映射过程中丢失图像细节；残差结构的融合操作需要输入维度和f(x)输出维度一致，否则残差结构的快捷通道将引入一个卷积对输入维度进行调整；红外图像增强模型中第二个和第三个卷积层没有改变特征维度，因此快捷通道边不需要引入额外的卷积；另外残差结构融合方式采用通道拼接，以较少的计算量增加特征维度。
特征维度包含特征空间尺寸与特征通道数，通道注意力机制和空间注意力机制分别从特征通道与特征空间进行有效信息筛选与无效信息的抑制。
S3中所述的通道注意力机制是利用全局平均池化操作将第三个卷积层提取的特征图压缩成特征向量，特征向量维度为特征图的通道数量，计算每一通道特征的均值，其数学表达式为：
其中，H和W分别表示特征图的高和宽，f(i，j)表示坐标(i，j)的特征值；然后利用两个全连接层、relu激活函数以及sigmoid激活函数学习每一层通道特征的重要性权重；最后将计算获得的重要性权重乘上对应的通道特征，从而过滤无效通道特征，保留有效通道特征。
S3中的空间注意力机制的步骤为：
S31，统计与计算特征所有通道同一空间坐标的最大值与均值，分别生成两通道特征图，将两张特征图进行通道拼接；
S32，利用一个卷积层和sigmoid函数学习每一个空间坐标的重要性权重；
S33，将重要性权重与输入特征相乘完成从空间区域上筛选特征。
S4，将S2得到的训练样本集监督训练红外图像增强网络，获得红外图像增强模型。
S4中的监督训练过程如下：
S41，输入设定尺寸的低质量红外图像，经过归一化的处理之后，输入第一个卷积层获得分辨率为输入图像的1/2的特征图；
S42，接着再利用两个卷积模块进一步提取深层特征，并利用通道注意力机制对提取的深层特征从特征通道数上进行筛选，以及利用空间注意力机制对提取的深层特征从特征空间尺寸上进行筛选，从而保留特征中有效信息，并抑制特征中的背景噪声；
S43，利用残差结构融合浅层特征与深层特征，获得语义信息与细节信息丰富的特征图；
S44，将融合后的红外图像特征进行反卷积操作调整特征尺寸和输入图像一致，并增加两层特征层对融合后的红外图像特征进一步地学习与重组，输出增强后的红外图像；
S45，计算增强后的红外图像相对于(上述参考即真实高质量)真实高质量红外图像的损失值，损失函数使用均方误差函数，该均方误差函数的数学表达式为：
其中，m表示批量大小，W和H表示图像长和宽，fij表示真实的高质量红外图像坐标点 (i，j)的像素值，f′ij表示预测的高质量红外图像坐标点(i，j)的像素值；
S46，根据计算的损失值，反向计算梯度更新红外图像增强网络的参数；
S47，重复上述步骤，直至训练次数达到设定的最大迭次数N后停止训练；保存训练好的红外增强模型。
S4中的训练过程的超参数设置如下：
(1)初始学习率lr为1e-3，通过如下公式等间隔调整学习率：
其中，x表示迭代周期，γ调整倍数设置为0.1，调整间隔s设置为30；即每30个迭代周期学习率下降10倍；
(2)优化算法选择Adam优化算法，其中beta1、beta2参数分别设置为0.9和0.999；
(3)批次大小batch_size设置为32，总的迭代周期EPOCH设置为100，设定训练样本总数为S，最大迭代次数N如下所示：
训练过程中，选择合适的超参数会加快训练阶段，提高训练速度，以及提高模型性能。
S5，将低质量的红外测试图像输入至S4训练完成的红外图像增强模型，获得增强后的红外图像。
设计的模型图中卷积层与全连接层是有参数的，训练过程就是调整这些参数，以达到模型输出的图像接近真实的高质量图像。在训练过程中，通过计算预测的高质量图像和真实的高质量图像距离差(均方误差函数)可以观察到每一次迭代模型的好坏，损失越小，预测的越接近高质量图像。反向传播，利用损失误差链式求导求梯度，依次更新模型参数(模型参数指的是卷积层的卷积核参数)。一次迭代包括一次前向传播和一次反向传播。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (7)
1.一种基于深度学习的红外图像增强方法，其特征在于，包括如下步骤：
S1，采集不同场景的红外图像对获得数据集，将数据集划分为训练样本集与测试样本集；
S2，将S1得到的训练样本集进行数据增强；
S3，通过引入残差结构、通道注意力机制以及空间注意力机制构建红外图像增强网络；
S4，将S2得到的训练样本集监督训练红外图像增强网络，获得红外图像增强模型；
S5，将红外测试图像输入至S4训练完成的红外图像增强模型，获得增强后的红外图像。
2.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S1中所述的采集不同场景的红外图像对为：
固定红外热成像相机拍摄位置与角度，选择不同的场景分别采集红外图像对，所有的红外图像对形成数据集，并按照设定的比例将数据集划分为训练样本集与测试样本集。
3.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S2中所述的数据增强包括如下过程：
步骤一，利用滑动窗口裁剪算法对原始图像对进行裁切，固定并减小红外图像尺寸，且使得图像长宽相等；
步骤二，采用图像翻转、图像亮度变换、图像尺度缩放等方式对切割后的图像进行数据增强。
4.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S3中所述构建的红外图像增强网络包括如下：
图像特征提取部分是利用3个卷积层进行红外图像特征的提取，得到3个特征图；其中所述的卷积层后面均使用relu激活函数，relu激活函数的数学表达式如下：
接着利用通道注意力机制与空间注意力机制筛选第三个特征图；其中通道注意力所涉及全连接层使用卷积核为1×1的卷积层代替，所涉及的激活函数使用sigmoid激活函数，其数学表达式如下：
接着利用残差结构融合特征图，使得特征图含有丰富的细节信息以及语义信息；
接着利用反卷积层实现图像上采样，使得特征图分辨率与输入图像一致；
最后利用两个卷积层进一步学习与重组图像特征，其中最后一个卷积后面使用tanh激活函数，tanh激活函数的数学表达式如下：
其中，卷积后面增加批量归一化层，基于归一化使得特征服从单位高斯分布，同时通过γ和β两个超参数进一步缩放和平移归一化后的特征。
5.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S3中所述的残差结构的数学表达式为：
其中，x和y分别表示输入和输出，
表示特征提取层；通过引入残差结构融合红外图像增强模型的第一层卷积层提取的特征和第三层卷积层提取的特征；
S3中所述的通道注意力机制是利用全局平均池化操作将第三个卷积层提取的特征图压缩成特征向量，特征向量维度为特征图的通道数量，计算每一通道特征的均值，其数学表达式为：
其中，H和W分别表示特征图的高和宽，
表示坐标（i，j）的特征值；
S3中所述的空间注意力机制的步骤为：
S31，统计与计算特征所有通道同一空间坐标的最大值与均值，分别生成两通道特征图，将两张特征图进行通道拼接；
S32，利用一个卷积层和sigmoid函数学习每一个空间坐标的重要性权重；
S33，将重要性权重与输入特征相乘完成从空间区域上筛选特征。
6.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S4中所述的训练过程的超参数设置如下：
（1）初始学习率lr为1e-3，通过如下公式等间隔调整学习率：
其中，x表示迭代周期，γ调整倍数设置为0.1，调整间隔
设置为30；即每30个迭代周期学习率下降10倍；
（2）优化算法选择Adam优化算法，其中beta1、beta2参数分别设置为0.9和0.999；
（3）批次大小batch_size设置为32，总的迭代周期EPOCH设置为100，设定训练样本总数为S，最大迭代次数N如下所示：
7.根据权利要求1所述的一种基于深度学习的红外图像增强方法，其特征在于，S4中所述的监督训练过程如下：
S41，输入设定尺寸的红外图像，经过归一化的处理之后，输入第一个卷积层获得分辨率为输入图像的1/2的特征图；
S42，接着再利用两个卷积模块进一步提取深层特征，并利用通道注意力机制对提取的深层特征从特征通道数上进行筛选，以及利用空间注意力机制对提取的深层特征从特征空间尺寸上进行筛选，从而保留特征中有效信息，并抑制特征中的背景噪声；
S43，利用残差结构融合浅层特征与深层特征，获得语义信息与细节信息丰富的特征图；
S44，将融合后的红外图像特征进行反卷积操作调整特征尺寸和输入图像一致，并增加两层特征层对融合后的红外图像特征进一步地学习与重组，输出增强后的红外图像；
S45，计算增强后的红外图像相对于参考红外图像的损失值，损失函数使用均方误差函数，该均方误差函数的数学表达式为：
其中，m表示批量大小，W和H表示图像长和宽，
表示参考红外图像坐标点（i，j）的像素值，
表示预测的增强后的红外图像坐标点（i，j）的像素值；
S46，根据计算的损失值，反向计算梯度更新红外图像增强网络的参数；
S47，重复上述步骤，直至训练次数达到设定的最大迭次数N后停止训练；保存训练好的红外增强模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955946.3A CN113902625A (zh) | 2021-08-19 | 2021-08-19 | 一种基于深度学习的红外图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955946.3A CN113902625A (zh) | 2021-08-19 | 2021-08-19 | 一种基于深度学习的红外图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113902625A true CN113902625A (zh) | 2022-01-07 |
Family
ID=79187590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110955946.3A Pending CN113902625A (zh) | 2021-08-19 | 2021-08-19 | 一种基于深度学习的红外图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902625A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612743A (zh) * | 2022-03-10 | 2022-06-10 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象识别方法和装置 |
| CN114913096A (zh) * | 2022-06-10 | 2022-08-16 | 中国科学院长春光学精密机械与物理研究所 | 一种特征初始化的非均匀校正方法及其系统 |
| CN115578615A (zh) * | 2022-10-31 | 2023-01-06 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN115754108A (zh) * | 2022-11-23 | 2023-03-07 | 福建省杭氟电子材料有限公司 | 一种电子级六氟丁二烯的酸度测定系统及其方法 |
| CN116152116A (zh) * | 2023-04-04 | 2023-05-23 | 青岛哈尔滨工程大学创新发展中心 | 一种基于视觉自注意力模型的水下图像增强方法 |
| CN116342432A (zh) * | 2023-05-22 | 2023-06-27 | 华侨大学 | 一种非标记细胞显微图像增强方法及系统 |
| CN116844192A (zh) * | 2023-07-19 | 2023-10-03 | 滁州学院 | 一种低质量指纹图像的增强处理方法 |
| CN117409083A (zh) * | 2023-12-14 | 2024-01-16 | 珠海市金锐电力科技有限公司 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
| CN117670753A (zh) * | 2024-01-30 | 2024-03-08 | 浙江大学金华研究院 | 基于深度多亮度映射无监督融合网络的红外图像增强方法 |
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及系统 |
-
2021
- 2021-08-19 CN CN202110955946.3A patent/CN113902625A/zh active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612743A (zh) * | 2022-03-10 | 2022-06-10 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象识别方法和装置 |
| CN114913096B (zh) * | 2022-06-10 | 2024-04-23 | 中国科学院长春光学精密机械与物理研究所 | 一种特征初始化的非均匀校正方法及其系统 |
| CN114913096A (zh) * | 2022-06-10 | 2022-08-16 | 中国科学院长春光学精密机械与物理研究所 | 一种特征初始化的非均匀校正方法及其系统 |
| CN115578615A (zh) * | 2022-10-31 | 2023-01-06 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN115578615B (zh) * | 2022-10-31 | 2023-05-09 | 成都信息工程大学 | 基于深度学习的夜间交通标志图像检测模型建立方法 |
| CN115754108A (zh) * | 2022-11-23 | 2023-03-07 | 福建省杭氟电子材料有限公司 | 一种电子级六氟丁二烯的酸度测定系统及其方法 |
| CN116152116A (zh) * | 2023-04-04 | 2023-05-23 | 青岛哈尔滨工程大学创新发展中心 | 一种基于视觉自注意力模型的水下图像增强方法 |
| CN116342432A (zh) * | 2023-05-22 | 2023-06-27 | 华侨大学 | 一种非标记细胞显微图像增强方法及系统 |
| CN116342432B (zh) * | 2023-05-22 | 2023-08-01 | 华侨大学 | 一种非标记细胞显微图像增强方法及系统 |
| CN116844192A (zh) * | 2023-07-19 | 2023-10-03 | 滁州学院 | 一种低质量指纹图像的增强处理方法 |
| CN116844192B (zh) * | 2023-07-19 | 2024-04-12 | 滁州学院 | 一种低质量指纹图像的增强处理方法 |
| CN117409083B (zh) * | 2023-12-14 | 2024-03-22 | 珠海市金锐电力科技有限公司 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
| CN117409083A (zh) * | 2023-12-14 | 2024-01-16 | 珠海市金锐电力科技有限公司 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
| CN117670753A (zh) * | 2024-01-30 | 2024-03-08 | 浙江大学金华研究院 | 基于深度多亮度映射无监督融合网络的红外图像增强方法 |
| CN117911798A (zh) * | 2024-03-19 | 2024-04-19 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及系统 |
| CN117911798B (zh) * | 2024-03-19 | 2024-05-28 | 青岛奥克生物开发有限公司 | 一种基于图像增强的干细胞质量分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113902625A (zh) | 一种基于深度学习的红外图像增强方法 | |
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| Oh et al. | Crowd counting with decomposed uncertainty | |
| CN106683048B (zh) | 一种图像超分辨率方法及设备 | |
| CN107818554B (zh) | 信息处理设备和信息处理方法 | |
| WO2017219263A1 (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| Xie et al. | Removing turbulence effect via hybrid total variation and deformation-guided kernel regression | |
| CN112232134B (zh) | 一种基于沙漏网络结合注意力机制的人体姿态估计方法 | |
| CN109003234B (zh) | 针对运动模糊图像复原的模糊核计算方法 | |
| CN111462012A (zh) | 一种基于条件生成对抗网络的sar图像仿真方法 | |
| CN112365514A (zh) | 基于改进PSPNet的语义分割方法 | |
| CN114898284B (zh) | 一种基于特征金字塔局部差异注意力机制的人群计数方法 | |
| CN112819853B (zh) | 一种基于语义先验的视觉里程计方法 | |
| CN111027382A (zh) | 一种基于注意力机制的轻量级人脸检测的方法及模型 | |
| Ding et al. | U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement | |
| CN114429555A (zh) | 由粗到细的图像稠密匹配方法、系统、设备及存储介质 | |
| Rai et al. | Removing atmospheric turbulence via deep adversarial learning | |
| Jia et al. | Effective meta-attention dehazing networks for vision-based outdoor industrial systems | |
| CN113205103A (zh) | 一种轻量级的文身检测方法 | |
| CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| Tan et al. | High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation | |
| Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
| CN116740362B (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |