CN117408911A - 一种无监督遥感红外焦平面成像非均匀校正方法 - Google Patents
一种无监督遥感红外焦平面成像非均匀校正方法 Download PDFInfo
- Publication number
- CN117408911A CN117408911A CN202311396165.0A CN202311396165A CN117408911A CN 117408911 A CN117408911 A CN 117408911A CN 202311396165 A CN202311396165 A CN 202311396165A CN 117408911 A CN117408911 A CN 117408911A
- Authority
- CN
- China
- Prior art keywords
- image
- denoising
- loss
- remote sensing
- focal plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012937 correction Methods 0.000 title claims abstract description 36
- 238000003384 imaging method Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims description 21
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 241001270131 Agaricus moelleri Species 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000002401 inhibitory effect Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000014759 maintenance of location Effects 0.000 abstract 1
- 230000001902 propagating effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 21
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0409—Adaptive resonance theory [ART] networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明涉及图像去噪技术领域，公开了一种无监督遥感红外焦平面成像非均匀校正方法，包括以下步骤：图像数据预处理，对输入图像进行线性截断拉伸；去噪模型构建，以多尺度采样模块和通道注意力所构成采样块为基本去噪单元建立去噪网络模型，用于抑制遥感图像中的非均匀噪声；去噪损失函数构建，损失函数分为两部分，一是去噪输出约束，用于约束图像保持细节，二是图像灰度平滑性评价，用于调整图像灰度，评价图像非均匀性；模型去噪，将输入图像进行下采样得到两组低分辨率图像，将低分辨图像和高分辨图像输入模型，利用损失函数反向传播模型梯度，不断迭代后输出去噪图像。能够有效提升对遥感红外图像非均匀校正效果。
Description
技术领域
本发明涉及图像去噪技术领域，尤其涉及一种无监督遥感红外焦平面成像非均匀校正方法。
背景技术
红外热成像通过测量目标温度与辐射差异引起的红外辐射变化而工作，因其烟雾透过能力强、可全天候工作的优点已成为一种常用的卫星遥感成像技术。但受到材料、工艺水平等因素的限制，红外焦平面阵列中的各个探测单元间存在响应不一致性，甚至出现坏元，使成像区域存在非均匀和盲元噪声，导致红外成像质量不佳。为此，对红外图像去噪处理就显得必不可少。
非均匀性校正和去除盲元方法主要可以分为三类：基于参考源的方法、基于场景的方法以及深度学习方法。基于参考源的非均匀性校正方法，通常使用红外辐射强度可确定的且表面均匀的平面作为参考源，理论上参考源的辐射出度一致。非均匀性可以通过参考源获取，然后根据获得的非均匀性信息实施合适的非均匀性校正方法来消除图像中的非均匀性。这类方法中最为经典的是一阶线性模型两点非均匀性校正，通过采集两幅具有不同红外辐射强度的均匀参考源的图像，计算出每个像素的校正参数。两点校正的模型简单，实现也很方便，应用广泛，但校正效果不佳。
基于场景的非均匀性校正算法较多，这里简要介绍两种典型的方法。一是认为图像中的噪声在时域上是一种低频信息，而变化的场景是一种时域高频信息，由此去除非均匀噪声。然而此方法容易产生鬼影，引起图像模糊。另一种则认为非均匀噪声主要在图像高频部分，例如荣生辉通过剪切波变换提取出图像空域高频信号，使用THPF得到噪声估计，以此去除非均匀噪声。然而噪声并不总是由空间高频成分构成，例如光学系统引起的渐晕和冷反射便主要属于图像中的低频成分。因此，基于场景的非均匀校正方法普遍存在泛化性不强的问题。
深度学习非均匀校正算法相较上述两种算法泛化性更强，去噪效果更好。近年来随着深度学习的发展，给红外非均匀校正带来了新的可能。例如樊凡针对鬼影问题提出了空时结合门限的自适应神经网络校正算法，此算法能够对处于局部均匀且存在相对运动的区域上的像素进行参数更新。刘哲提出一种基于自适应稀疏表示以及局部全局联合约束学习率的校正方法，有效提高了网络非均匀去噪能力。这些算法通过改变期望图像的估计方法和参数的更新速率及更新时机等提升神经网络校正算法的稳定性和效果。然而虽然深度学习有很多性能优势，但它有很强的数据依赖性。现实中遥感图像噪声复杂，尤其非均匀噪声具有随机性，深度学习所需有效数据集往往难以获的。
综上所述，如何挖掘深度学习算法的潜能，使其摆脱数据依赖性，是目前本领域技术人员有待解决的问题。
发明内容
本发明的目的是为了解决上述现有技术中存在的缺点,而提供了一种无监督遥感红外焦平面成像非均匀校正方法，通过以下技术方案实现：
一种无监督遥感红外焦平面成像非均匀校正方法，包括如下步骤：
S1：图像预处理，对输入图像进行线性截断拉伸；
S2：去噪模型构建，通过多尺度采样模块和通道注意力机制所构成的采样块为基本去噪单元来建立去噪网络模型；
S3：损失函数构建，包括去噪输出约束Losscst和图像灰度平滑性损失Losssmt；
S4：将所述输入图像进行下采样，将所述下采样图像和原始图像输入所述去噪网络模型，利用所述损失函数反向传播模型梯度，迭代去噪。
进一步地，在步骤S1中，所述预处理包括如下步骤：
S11：统计图像的灰度直方图；
S12：设置上下截止灰度百分比为0.3％和99.7％，从步所述灰度直方图中获取上下截止灰度；
S13：将图像中点依据如下公式进行线性拉伸：
进一步地，在步骤S2中，所述去噪模型构建通过两级所述基本去噪单元叠构成去噪网络，包括如下步骤：
S21：所述去噪网络将所述两级所述基本去噪单元所得特征图加构成残差结构，同时将高级语义信息与低级语义相结合；
S22：用通道注意力机制放大重要通道特征图的权值；
S23：使用1×1卷积融合各通道特征图，还原图像。
优选地，所述基本去噪单元包括多尺度采样模块和通道注意力机制，所述多尺度采样模块包括3×3、5×5和7×7三种卷积核；所述通道注意力机制负责给各通道特征赋权。
更优地，所述通道注意力机制包括压缩和激励两个部分，所述压缩部分将所述特征图通过全局池化压缩为一个1×1的值，再通过两级全连接层使用线性整流函数ReLU和S型函数Sigmod激活后获得特征图各通道权重；所述激励部分将所述压缩得到的通道权重与输入逐通道相乘。
进一步地，在步骤S3中，所述总损失函数Lossall包括所述去噪输出约束Losscst和图像平滑性损失Losssmt，所述总损失函数Lossall表达式如下：
优选地，所述去噪输出约束Losscst用于约束去噪网络，包括结构相似性损失LossAR和一致性损失Losscons，所述结构相似性损失LossAR用于保护去噪图像细节，所述一致性损失Losscons用于避免网络过拟合，所述去噪输出约束损失Losscst表达式如下：
所述结构相似性损失LossAR和所述一致性损失Losscons表达式如下：
Losscons＝SE(D1(M(y)),M(D1(y)))+MSE(D2(M(y)),M(D2(y)))，
其中，M为去噪模型，y为原始噪声图像，D1,D2为降采样卷积核；
去噪图像D的表达式为：D(y)＝y-N(y)。
更优地，所述图像平滑性损失Losssmt用于评价图像平滑程度，去除非均匀噪声，所述图像平滑性损失Losssmt通过计算所述去噪图像的列平均灰度梯度所得，表达式如下：
其中，E为获取图像的列平均灰度梯度，N为去噪模型，y为原始噪声图像，D1,D2为降采样卷积核。
更优地，所述列平均灰度梯度通过计算出图像的列平均灰度LG得出，其中所述列为卫星推扫方向，所述列平均灰度LG表达式如下：
所述列平均灰度梯度E由所述列平均灰度中的点与左右四点的灰度差加权所得，其表达式如下：
其中，n为卫星成像像元，k为成像行数，y为原始噪声图像。
进一步地，在步骤S3中，所述下采样采用非对称下采样卷积核，所述非对称性下采样卷积核需与所述卫星推扫方向一致。
与现有技术相比，本发明的有益效果是：
(1)本发明以两级多尺度去噪基本单元和通道注意力机制结合，使得网络可以更好的学习不同尺度的梯度，有效提高了网络的非均匀校正能力，且有效避免去噪后图像丢失细节；
(2)本发明所构造损失函数，使得深度学习非均匀去噪网络可以摆脱数据依赖，提高了网络的泛化能力和应用价值；
(3)去噪网络可以摆脱数据依赖自监督去除非均匀噪声，在有效抑制非均匀噪声的同时，能够较好地保留遥感红外图像的纹理细节。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明一种无监督遥感红外焦平面成像非均匀校正方法流程图；
图2为本发明一种去噪网络的结构图；
图3为本发明一种基本去噪单元的结构图；
图4为本发明一种通道注意力机制的结构图；
图5为本发明一种对称下采样卷积核和本文所用非对称下采样卷积核示意图；
图6为本发明一种无噪声图像；
图7为本发明基于图6无噪声图像所得遥感红外焦平面仿真图像；
图8为本发明一种仿真图像线性截断拉伸图像；
图9为本发明一种Zero-Shot Noise2Noise去噪图像；
图10为本发明一种申请算法去噪结果图像；
图11为本发明图7、图8、图9、图10各阶段图像的噪声等级表；
具体实施方式
使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
下面结合具体实施例对本发明做进一步详细的描述。
如图1所示，为本实施例提供的一种无监督遥感红外焦平面成像非均匀校正方法的流程图，技术方案包括步骤：
S1：图像预处理，对输入图像进行线性截断拉伸；
S2：去噪模型构建，通过多尺度采样模块和通道注意力机制所构成的采样块为基本去噪单元来建立去噪网络模型；
S3：损失函数构建，包括去噪输出约束Losscst和图像灰度平滑性损失Losssmt；
S4：将所述输入图像进行下采样，将所述下采样图像和原始图像输入所述去噪网络模型，利用所述损失函数反向传播模型梯度，迭代去噪。
进一步地，在步骤S1中，所述预处理包括如下步骤：
S11：统计图像的灰度直方图；
S12：设置上下截止灰度百分比为0.3％和99.7％，从步所述灰度直方图中获取上下截止灰度；
S13：将图像中点依据如下公式进行线性拉伸：
具体地，在本实施例中，假设需要去噪图像为一幅1024×1024的红外遥感焦平面图像y，需要对原始图像预处理，提高对比度。
首先统计图像y和灰度直方图h；其次，假设按照如下公式获取上下截止灰度百分比为0.3％和99.7％的灰度值a,b：
最后，将图像像素值依次带入步骤S13中的公式，线性截断拉伸，提高对比度。
进一步地，在步骤S2中，所述去噪模型构建如图2所示，以两级所述基本去噪单元叠构成去噪网络，包括如下步骤：
S21：所述去噪网络将所述两级所述基本去噪单元所得特征图加构成残差结构，同时将高级语义信息与低级语义相结合；
S22：用通道注意力机制放大重要通道特征图的权值；
S23：使用1×1卷积融合各通道特征图，还原图像。
其中，所述基本去噪单元如图3所示，包括多尺度采样模块和通道主力机制，所述多尺度采样模块包括3×3、5×5和7×7三种卷积核；所述通道注意力机制负责给各通道特征赋权。
其次，所述通道注意力机制如图4所示，包括压缩和激励两个部分，所述压缩部分将所述特征图通过全局池化压缩为一个1×1的值，再通过两级全连接层使用线性整流函数ReLU和S型函数Sigmod激活后获得特征图各通道权重；所述激励部分将所述压缩得到的通道权重与输入逐通道相乘。
具体地，在本实施例中，参阅图2：
首先，需要将[1024，1024]二维灰度图像y等比例从0-255映射至0-1区间内，并扩充维度变为[1，1，1024，1024]大小的多维矩阵y′；
其次，将输入到如图3的网络第一级去噪基本单元中。y′进入第一级去噪基本单元先分别使用3×3、5×5和7×7三种卷积核进行采样，卷积核步长为1，padding依次为1，2和3，分别经过BN层后由此得到三组[1，48，1024，1024]的多维特征图，将三组特征图依次拼接得到一个[1，144，1024，1024]多维特征图，由此完成对图像中多尺度灰度特征的提取。之后需去除无用特征，需增加注意力机制突出重要特征，对[1，144，1024，1024]多维特征图按通道进行全局平均池化，即对通道内1024×1024的值求和并除以1024×1024，得到一组[1，144，1，1]的多维矩阵，将结果通过全连接层得到[1，72，1，1]的多维矩阵，经过如下所示的ReLU激活函数后再次使用全连接层得到一组[1，144，1，1]的多维矩阵，再将该多维矩阵使用如下所示的Sigmod激活函数，将其结果[1，144，1，1]的多维矩阵与上述[1，144，1024，1024]多维特征图逐通道相乘，至此完成多维特征图的通道注意力机制添加。将添加注意力机制的后的特征图输经过一个1×1卷积和BN层后得到输出为[1，1，1024，1024]的特征图，由此图像输出第一级去噪基本单元。
再次将第一级去噪基本单元的输出输入至第二级去噪基本单元，其过程与第一级去噪基本单元一致。
最后将两级去噪基本单元的输出堆叠起来，将高级语义信息和低级语义信息相结合，得到一组[1，2，1024，1024]的多维特征图。将该多维特征图经过通道注意力机制放大重要通道特征图的权值，避免去噪图像丢失细节，即对[1，2，1024，1024]多维特征图按通道进行全局平均池化，即对通道内1024×1024的值求和并除以1024×1024，得到一组[1，2，1，1]的多维矩阵，将结果通过全连接层得到[1，1，1，1]的多维矩阵，经过RELU激活函数后再次使用全连接层得到一组[1，2，1，1]的多维矩阵，再将该多维矩阵使用Sigmod激活函数，将其结果[1，2，1，1]的多维矩阵与上述[1，2，1024，1024]多维特征图逐通道相乘。将结果经过一个1×1卷积和BN层后得到输出为[1，1，1024，1024]噪声输出特征。假设去噪图像为，去噪模型为，则去噪图像可表示为D(y′)＝(y′-N(y′))×255。
进一步地，在步骤S3中，需要构造损失函数。
具体的，在本实施例中，首先，总损失函数要求输入图像为一组原始图像和两组下采样图像。需要确定非对称下采样卷积核的方向，要求非对称性下采样卷积核需与卫星推扫方向一致。假设输入图像的非均匀条纹呈现自上而下的形式，则使用如图5中的非对称下采样卷积核即可。所需下采样图像可通过原始图像与非对称下采样卷积核分别做步长为2的卷积获得。
最后，总损失函数Lossall由两部分构成一是去噪输出约束Losscst，二是图像平滑性损失Losssmt，所述总损失函数Lossall表达式如下：
去噪输出约束损失Losscst主要用于约束去噪网络，可有效减少去噪后图像丢失细节信息。去噪输出约束损失Losscst包含两部分：结构相似性损失LossAR和一致性损失Losscons。
其中，结构相似性损失LossAR用于保护去噪图像细节，而一致性损失Losscons则用于避免网络过拟合。假设降采样卷积核为D1,D2,则去噪输出约束损失Losscst、结构相似性损失LossAR和一致性损失Losscons可表示为：
Losscons＝MSE(D1(M(y′)),M(D1(y′)))+MSE(D2(M(y′)),M(D2(y′)))
此外，图像平滑性损失Losssmt主要用于评价图像平滑程度，去除非均匀噪声。图像平滑性损失Losssmt通过计算去噪图像的列平均灰度梯度所得，假设E为获取图像的列平均灰度梯度，则图像平滑性损失Losssmt表达式如下所示：
计算列平均灰度梯度需先计算出图像的列平均灰度(此处的列为卫星推扫方向)，其表达式为：
列平均灰度梯度则由列平均灰度中的点与左右四点的灰度差加权所得，其表达式为：
进一步地，所述步骤S4输入下采样图像和原始图像，模型迭代至总损失函数收敛即可。
下面通过实验说明上述无监督遥感红外焦平面成像非均匀校正方法的非均匀校正效果。
(1)实验条件如下：
实验基于Windows10操作系统，13th Gen Intel(R)Core(TM)i7-13700KF处理器，32G内存，Pytorch 1.13.1框架，通过NVIDIA GeForce RTX 4090显卡训练。
训练迭代次数为1500，训练优化器为Adam，网络初始学习率为0.01，学习率调整策略采用ReduceLROnPlateau自适应方法，当网络损失50轮不发生变化，学习率降为原来的一半，学习率降低的最小学习率为0.0001。
(2)实验内容和结果如下：
参阅图11，为各阶段图像的噪声等级。
图7是基于图6无噪声图像所得遥感红外焦平面仿真图像。
图8是图像预处理线性截断拉伸结果，由图8可见遥感图像非均匀性强，图像PSNR为23.72，存在大量条纹噪声。
图9是Zero-Shot Noise2Noise去噪结果，由图9可见，虽然Zero-ShotNoise2Noise去噪结果在PSNR的指标下效果良好为28.04，但使用对称性模板在视觉上难以去除非均匀噪声。由图9框选出的油轮可见图像细节保存完好，证明了损失函数中去噪输出约束的有效性。
图10是本文申请算法去噪结果，由图10可见，本文算法可有效抑制强非均匀噪声，在PSNR指标下效果更佳为31.54，且由图10框选出的油轮可见本文算法能有效保留图像细节，相比之下去噪性能更佳。
最后应说明的是：以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
Claims (10)
1.一种无监督遥感红外焦平面成像非均匀校正方法，其特征在于，包括如下步骤：
S1：图像预处理，对输入图像进行线性截断拉伸；
S2：去噪模型构建，通过多尺度采样模块和通道注意力机制所构成的采样块为基本去噪单元来建立去噪网络模型；
S3：损失函数构建，包括去噪输出约束Losscst和图像灰度平滑性损失Losssmt；
S4：将所述输入图像进行下采样，将所述下采样图像和原始图像输入所述去噪网络模型，利用所述损失函数反向传播模型梯度，迭代去噪。
2.基于权利要求1所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，在步骤S1中，所述预处理包括如下步骤：
S11：统计图像的灰度直方图；
S12：设置上下截止灰度百分比为0.3％和99.7％，从步所述灰度直方图中获取上下截止灰度；
S13：将图像中点依据如下公式进行线性拉伸：
3.基于权利要求1所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，在步骤S2中，所述去噪模型构建通过两级所述基本去噪单元叠构成去噪网络，包括如下步骤：
S21：所述去噪网络将所述两级所述基本去噪单元所得特征图加构成残差结构，同时将高级语义信息与低级语义相结合；
S22：用通道注意力机制放大重要通道特征图的权值；
S23：使用1×1卷积融合各通道特征图，还原图像。
4.基于权利要求3所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，所述基本去噪单元包括多尺度采样模块和通道注意力机制，所述多尺度采样模块包括3×3、5×5和7×7三种卷积核；所述通道注意力机制负责给各通道特征赋权。
5.基于权利要求4所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，所述通道注意力机制包括压缩和激励两个部分，所述压缩部分将所述特征图通过全局池化压缩为一个1×1的值，再通过两级全连接层使用线性整流函数ReLU和S型函数Sigmod激活后获得特征图各通道权重；所述激励部分将所述压缩得到的通道权重与输入逐通道相乘。
6.基于权利要求1所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，在步骤S3中，所述总损失函数Lossall包括所述去噪输出约束Losscst和图像平滑性损失Losssmt，所述总损失函数Lossall表达式如下：
7.基于权利要求6所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，所述去噪输出约束Losscst用于约束去噪网络，包括结构相似性损失LossAR和一致性损失Losscons，所述结构相似性损失LossAR用于保护去噪图像细节，所述一致性损失Losscons用于避免网络过拟合，所述去噪输出约束损失Losscst表达式如下：
所述结构相似性损失LossAR和所述一致性损失Losscons表达式如下：
Losscons＝SE(D1(M(y)),M(D1(y)))+MSE(D2(M(y)),M(D2(y)))，
其中，N为去噪模型，y为原始噪声图像，D1,D2为降采样卷积核；
去噪图像D的表达式为：D(y)＝y-N(y)。
8.基于权利要求6所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，所述图像平滑性损失Losssmt用于评价图像平滑程度，去除非均匀噪声，所述图像平滑性损失Losssmt通过计算所述去噪图像的列平均灰度梯度所得，表达式如下：
其中，E为获取图像的列平均灰度梯度，N为去噪模型，y为原始噪声图像，D1,D2为降采样卷积核。
9.基于权利要求8所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，所述列平均灰度梯度通过计算出图像的列平均灰度LG得出，其中所述列为卫星推扫方向，所述列平均灰度LG表达式如下：
所述列平均灰度梯度E由所述列平均灰度中的点与左右四点的灰度差加权所得，其表达式如下：
其中，n为卫星成像像元，k为成像行数，y为原始噪声图像。
10.基于权利要求1或9所述的无监督遥感红外焦平面成像非均匀校正方法，其特征在于，在步骤S4中，所述下采样采用非对称下采样卷积核，所述非对称性下采样卷积核需与所述卫星推扫方向一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311396165.0A CN117408911A (zh) | 2023-10-26 | 2023-10-26 | 一种无监督遥感红外焦平面成像非均匀校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311396165.0A CN117408911A (zh) | 2023-10-26 | 2023-10-26 | 一种无监督遥感红外焦平面成像非均匀校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117408911A true CN117408911A (zh) | 2024-01-16 |
Family
ID=89490382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311396165.0A Pending CN117408911A (zh) | 2023-10-26 | 2023-10-26 | 一种无监督遥感红外焦平面成像非均匀校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117408911A (zh) |
-
2023
- 2023-10-26 CN CN202311396165.0A patent/CN117408911A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Image restoration using total variation with overlapping group sparsity | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
| CN110060204B (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| Chen et al. | Remote sensing image quality evaluation based on deep support value learning networks | |
| CN110782393A (zh) | 一种基于可逆网络的图像分辨率压缩及重建方法 | |
| CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN116402679B (zh) | 一种轻量级红外超分辨率自适应重建方法 | |
| Afonso et al. | A total variation recursive space-variant filter for image denoising | |
| Zhang et al. | Imaging through the atmosphere using turbulence mitigation transformer | |
| Liu et al. | Multi-filters guided low-rank tensor coding for image inpainting | |
| CN113989100A (zh) | 一种基于样式生成对抗网络的红外纹理样本扩充方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN115293966A (zh) | 一种人脸图像重建方法、装置以及存储介质 | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN117408911A (zh) | 一种无监督遥感红外焦平面成像非均匀校正方法 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
| CN115601260A (zh) | 一种神经网络和优化模型联合驱动的高光谱图像复原方法 | |
| Luo et al. | A stochastic image denoising method based on adaptive patch-size | |
| Ding et al. | Learning-based underwater image enhancement: An efficient two-stream approach | |
| Sun et al. | Complementary coded aperture set for compressive high-resolution imaging | |
| CN110084759B (zh) | 一种图像填补方法、终端设备及存储介质 | |
| Jia et al. | Learning rich information for quad bayer remosaicing and denoising | |
| CN114170087A (zh) | 一种基于跨尺度低秩约束的图像盲超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |