CN111369449A - 基于生成式对抗网络的红外盲元补偿方法 - Google Patents

基于生成式对抗网络的红外盲元补偿方法 Download PDF

Info

Publication number
CN111369449A
CN111369449A CN202010107191.7A CN202010107191A CN111369449A CN 111369449 A CN111369449 A CN 111369449A CN 202010107191 A CN202010107191 A CN 202010107191A CN 111369449 A CN111369449 A CN 111369449A
Authority
CN
China
Prior art keywords
image
blind pixel
infrared
pixel
blind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010107191.7A
Other languages
English (en)
Inventor
陈苏婷
金蒙
张艳艳
成泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010107191.7A priority Critical patent/CN111369449A/zh
Publication of CN111369449A publication Critical patent/CN111369449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的红外盲元补偿方法，用于红外成像技术领域，通过对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测。首先，基于生成式对抗网络构建盲元补偿网络模型，通过训练使得模型学习到红外盲元图像特征并对用于训练的盲元图像数据集实现较好的补偿效果；然后，对待补偿的盲元图像进行盲元检测生成二值矩阵，结合盲元补偿损失函数生成伪造图像；最后，通过泊松融合算法将盲元图像和生成的伪造图像融合，通过迭代来提高补偿精度，最终完成对红外盲元的补偿。本发明对盲元像素灰度值的预测更加准确，恢复的图像拥有较好的细节和纹理信息，对于大量孤立盲元和盲元簇有较强的适应性。

Description

基于生成式对抗网络的红外盲元补偿方法
技术领域
本发明属于红外成像技术领域，尤其涉及一种基于生成式对抗网络的红外盲元补偿方法。
背景技术
随着红外成像技术近几年的高速发展，已经在医疗领域、路政领域和电子领域发挥了巨大的作用。红外焦平面阵列(IRFPA)作为红外成像系统的核心硬件，因其材料与制作工艺的限制和外界环境的影响，拍摄的红外图像会受到非均匀性影响并且存在大量的噪声，这些因素导致了红外盲元的产生。红外盲元表现为图像中过亮或过暗的点，暗点被称为死像元，是指像元响应率小于各有效像元平均响应率1/10的像元；亮点被称为过热像元，定义为像元噪声电压大于各有效像元平均噪声电压的10倍的像元。红外盲元的存在会对后续的目标检测、识别与跟踪产生不利的影响。因此如何有效的对红外图像盲元进行补偿是自红外成像技术发展以来一直被研究的问题。
现有的盲元补偿算法通常采用盲元周围的有效信息或红外视频前后帧之间的图像信息对盲元信息进行预测。SBBPDC算法在自适应中值滤波盲元检测算法的基础上，提出改进的Nagao滤波算法，通过强方向性的子窗口中值滤波改善了图像边缘的清晰度并保留了场景细节。Tensorial-RLS算法通过递推最小二乘法和映射投影技术对像素的增益和偏置进行联合补偿，对噪声具有快速的收敛性和较强的鲁棒性。ARM算法首先对红外图像进行多尺度分解，通过构建的非参数回归模型对各尺度进行盲元补偿，然后对各尺度间构建自回归参数模型实现从低分辨到高分辨的学习，进一步提高补偿精确度，表现出了对盲元簇的适应性。基于神经网络的红外图像盲元补偿算法则是通过神经网络学习的方式实现校正，神经网络主要有中间层和校正层两部分组成，中间层用于计算某给定像素的理想期望输出，其作用是对增益和偏置系数进行自适应修正；校正层用修正过的系数对像元的输出进行校正。
发明内容
发明目的：针对以上问题，本发明提出一种基于生成式对抗网络(GAN,GenerativeAdversarial Networks)的红外盲元补偿方法。该方法通过预训练的对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测，提高红外图像的盲元补偿效果。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于生成式对抗网络的红外盲元补偿方法，包括以下步骤：
步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数；
步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像；
步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像；
步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期；
步骤五，若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。
进一步地，所述步骤一，生成式对抗网络模型由生成器和判别器组成；
所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构为原型，以全卷积结构作为生成器的卷积层，将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；生成器的输入为红外盲元图像；
所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。
进一步地，通过生成式对抗网络模型中生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；
所述损失函数由补偿损失(Compensation loss)和对抗损失(Adversarial loss)构成；
补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失(MSE loss)作为损失函数，结合掩膜矩阵的补偿损失函数表示为：
Figure BDA0002388772330000021
其中LC(x,M)为补偿损失函数，x为输入的红外盲元图像，训练过程中M为随机掩膜，测试过程中M为盲元检测算法生成的二值掩膜矩阵，G(x,M)为生成器对添加掩膜的输入图像的补偿结果，即生成器生成的红外图像；·表示element-wise乘法，
Figure BDA0002388772330000022
表示L2范数；选择L2范数的原因是L2范数比L1范数更有利于防止过拟合；
对抗损失：生成器仅通过补偿损失函数生成的红外图像因为缺少原图像的高频信息而缺乏图像的纹理细节，其原因是L2损失函数的极小化往往会导致生成模糊的图像，会对后续的盲元补偿效果产生不利的影响；因此，通过引入对抗损失函数实现对生成模糊图像的惩罚，并且能够指导模型进行更准确的预测，尤其是对不同个体的边缘信息；采用WGAN-GP判别模型的损失函数作为对抗损失函数，表示为：
Figure BDA0002388772330000031
其中
Figure BDA0002388772330000032
为对抗损失函数，E(*)表示数学期望，λ为梯度惩罚(gradientpenalty)的权重参数，
Figure BDA0002388772330000033
为梯度算子，·表示element-wise乘法，
Figure BDA0002388772330000034
表示在真实分布和生成分布的连线上随机插值采样所得到的样本分布，Dg和Dl分别表示全局判别器和局部判别器；由于只需对盲元像素进行梯度惩罚，因此，对梯度惩罚项取掩膜运算；
最终的目标函数表示为：
Figure BDA0002388772330000035
其中α为权重参数，用来平衡补偿损失和对抗损失。
进一步地，所述步骤三，由于红外焦平面阵列(IRFPA)受到非均匀性影响使得红外图像表现为区域灰度不一致而产生红外盲元，如果直接采用全局阈值进行判断，阈值太大容易造成漏检，阈值太小又会造成局部过检，因此，采用加窗3σ方法对红外盲元图像进行盲元检测，即基于滑动窗口的自适应阈值检测，方法如下：
以某一像元为中心，取大小为2(n+1)×2(n+1)的窗口，通过求窗内像元的均值与标准差σ判断该中心像元是否为盲元，n为半窗宽度；
采用3σ准则作为盲元判别标准，将灰度值不在阈值范围内的像元判别为盲元；所述阈值范围为窗口灰度平均值±3σ，标准差σ计算公式为：
Figure BDA0002388772330000036
Figure BDA0002388772330000037
其中f(k,l)为像元灰度值，(k,l)为窗口中心像素点的坐标，
Figure BDA0002388772330000038
为窗内像元灰度均值，(i,j)为窗口内除中心像素点外其他像素的坐标；
当
Figure BDA0002388772330000039
时，判断像元(i,j)为盲元，并以
Figure BDA00023887723300000310
替代像元(i,j)的灰度值，以提高后续检测精度；
盲元检测完成后，根据盲元检测结果生成二值掩膜矩阵M，其中盲元像素为1，非盲元像素为0，矩阵表达式为：
Figure BDA00023887723300000311
进一步地，所述步骤四，生成器对添加掩膜的输入图像的补偿结果，实现了对盲元像素灰度值的预测，将预测的灰度值填充入原始的红外盲元图像，就能完成最终的补偿任务；但是直接填充方式针对盲元尤其是盲元簇进行补偿时会出现补偿像素亮度与周围像素亮度不匹配的问题，导致盲元补偿质量的降低；针对这一问题，引入图像融合算法来解决。采用泊松图像融合算法将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像y表示为：
Figure BDA0002388772330000041
s.t x′(i,j)＝x(i,j) for M(i,j)＝0
其中
Figure BDA0002388772330000042
为梯度算子，G(x,M)为生成的红外图像，x′(i,j)为待补偿的红外盲元图像像素点坐标，x(i,j)为生成的红外图像像素点坐标。
进一步地，所述步骤五，若第t轮与第t-1轮迭代生成的二值掩膜矩阵相同，说明补偿后的图像质量满足预期。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明提出了加窗3σ方法进行红外图像盲元检测，避免了漏检与局部过检的问题，提高了盲元检测精度。设计了基于生成式对抗网络的红外盲元补偿算法(GAN-IRBPC)来实现红外图像的盲元补偿，通过对抗网络模型结合盲元补偿函数，以生成新图像的方式实现对原图像盲元像素灰度的预测，打破了现有补偿算法基于插值和滤波的传统思路。与传统算法相比，对盲元像素灰度值的预测更加准确，恢复的图像拥有较好的细节和纹理信息，对于大量孤立盲元和盲元簇有较强的适应性。
附图说明
图1是本发明方法的网络结构图；
图2是生成器与判别器结构图；
图3是扩张卷积层示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于生成式对抗网络的红外盲元补偿方法，网络结构如图1所示，分为两部分：(1)Blind-pixel detection:对红外盲元图像进行盲元检测，根据盲元检测结果编写二值掩膜矩阵；(2)Blind-pixel compensation:将盲元图像输入GAN模型，模型输出生成图像，将生成图像与输入盲元图像拟合完成对盲元的补偿。具体实现步骤如下：
步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数。
本发明方法是通过构建的GAN模型来实现对盲元灰度值的预测。在对构建的GAN模型进行训练的过程中，为使得模型能够更好地学习到红外图像的特征和训练数据的样本分布，提升训练的稳定性和缩短训练时间，以达到最优的补偿效果，GAN结构和损失函数的构建尤为重要。本实施例收集500张高分辨率红外图像，将这些图像进行裁剪，制作成由超过10000张图像组成的红外图像数据集。
所述生成式对抗网络模型由生成器和判别器组成；结构如图2所示，其中k表示卷积核大小，n表示feature map维度，s表示步长，W和H表示图像大小。
所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构(Encoder-encoder)为原型，以全卷积结构作为生成器的卷积层，全卷积与传统CNN结构相比将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，示意图如图3所示，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；在保持参数数量不变的情况下拥有比普通卷积更大的感受野，同时每层的特征图大小不变，保存了完整的图像信息，可以对更多数量的像素进行预测；因此，对于含有大量盲元的红外图像具有更好的补偿效果，对盲元簇也有更好的适应性；生成器的输入为红外盲元图像；
所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；由于单一判别器很难在保证全局信息真实的同时保证局部纹理清晰，因此，本发明的判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。
利用生成器生成足以欺骗判别器的伪造红外图像来实现盲元补偿，通过生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；
所述损失函数由补偿损失(Compensation loss)和对抗损失(Adversarial loss)构成；
补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失(MSE loss)作为损失函数，结合掩膜矩阵的补偿损失函数表示为：
Figure BDA0002388772330000051
其中LC(x,M)为补偿损失函数，x为输入的红外盲元图像，训练过程中M为随机掩膜，测试过程中M为盲元检测算法生成的二值掩膜矩阵，G(x,M)为生成器对添加掩膜的输入图像的补偿结果，即生成器生成的红外图像；·表示element-wise乘法，
Figure BDA0002388772330000052
表示L2范数；选择L2范数的原因是L2范数比L1范数更有利于防止过拟合；
对抗损失：生成器仅通过补偿损失函数生成的红外图像因为缺少原图像的高频信息而缺乏图像的纹理细节，其原因是L2损失函数的极小化往往会导致生成模糊的图像，会对后续的盲元补偿效果产生不利的影响；因此，通过引入对抗损失函数实现对生成模糊图像的惩罚，并且能够指导模型进行更准确的预测，尤其是对不同个体的边缘信息；采用WGAN-GP判别模型的损失函数作为对抗损失函数，表示为：
Figure BDA0002388772330000061
其中
Figure BDA0002388772330000062
为对抗损失函数，E(*)表示数学期望，λ为梯度惩罚(gradientpenalty)的权重参数，
Figure BDA0002388772330000063
为梯度算子，·表示element-wise乘法，
Figure BDA0002388772330000064
表示在真实分布和生成分布的连线上随机插值采样所得到的样本分布，Dg和Dl分别表示全局判别器和局部判别器；由于只需对盲元像素进行梯度惩罚，因此，对梯度惩罚项取掩膜运算；
最终的目标函数表示为：
Figure BDA0002388772330000065
其中α为权重参数，用来平衡补偿损失和对抗损失。
步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像。
步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像。
由于红外焦平面阵列(IRFPA)受到非均匀性影响使得红外图像表现为区域灰度不一致而产生红外盲元，如果直接采用全局阈值进行判断，阈值太大容易造成漏检，阈值太小又会造成局部过检，因此，采用加窗3σ方法对红外盲元图像进行盲元检测，即基于滑动窗口的自适应阈值检测，方法如下：
以某一像元为中心，取大小为2(n+1)×2(n+1)的窗口，通过求窗内像元的均值与标准差σ判断该中心像元是否为盲元，n为半窗宽度；本实施例中，n取值为4或5；
采用3σ准则作为盲元判别标准，将灰度值不在阈值范围内的像元判别为盲元；所述阈值范围为窗口灰度平均值±3σ，标准差σ计算公式为：
Figure BDA0002388772330000066
Figure BDA0002388772330000067
其中f(k,l)为像元灰度值，(k,l)为窗口中心像素点的坐标，
Figure BDA0002388772330000068
为窗内像元灰度均值，(i,j)为窗口内除中心像素点外其他像素的坐标；
当
Figure BDA0002388772330000069
时，判断像元(i,j)为盲元，并以
Figure BDA00023887723300000610
替代像元(i,j)的灰度值，以提高后续检测精度；
盲元检测完成后，根据盲元检测结果生成二值掩膜矩阵M，其中盲元像素为1，非盲元像素为0，矩阵表达式为：
Figure BDA0002388772330000071
步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期。
生成器对添加掩膜的输入图像的补偿结果，实现了对盲元像素灰度值的预测，将预测的灰度值填充入原始的红外盲元图像，就能完成最终的补偿任务；但是直接填充方式针对盲元尤其是盲元簇进行补偿时会出现补偿像素亮度与周围像素亮度不匹配的问题，导致盲元补偿质量的降低；针对这一问题，引入图像融合算法来解决。
本实施例中，采用泊松图像融合算法将生成的红外图像和待补偿的红外盲元图像进行融合，实现补偿效果的优化，得到补偿后的图像y表示为：
Figure BDA0002388772330000072
s.t x′(i,j)＝x(i,j) for M(i,j)＝0
其中
Figure BDA0002388772330000073
为梯度算子，G(x,M)为生成的红外图像，x′(i,j)为待补偿的红外盲元图像像素点坐标，x(i,j)为生成的红外图像像素点坐标。
步骤五，单次盲元补偿可能会因为盲元检测不准确，GAN模型生成图像质量不高，图像融合结果不理想等原因造成补偿精度与质量较低，因此，本发明方法是一个迭代过程；若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。
本实施例中，若第t轮与第t-1轮迭代生成的二值掩膜矩阵相同，说明补偿后的图像质量满足预期；最大迭代次数设为5次。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：包括以下步骤：
步骤一，收集红外图像数据集，构建生成式对抗网络模型，构建模型的损失函数；
步骤二，生成随机掩膜模拟盲元，将添加掩膜的红外图像数据集作为模型的输入，以损失函数达到最小值为目标训练模型，模型的输出为生成的红外图像；
步骤三，对待补偿的红外盲元图像进行盲元检测，生成二值掩膜矩阵，将红外盲元图像和二值掩膜矩阵输入训练好的模型，生成红外图像；
步骤四，将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像；判断补偿后的图像质量是否满足预期；
步骤五，若补偿后的图像质量未满足预期，则将补偿后的图像作为新的待补偿的红外盲元图像，重复执行步骤三和步骤四，直到质量满足预期或达到设定的最大迭代次数，输出最终的补偿后的图像。
2.根据权利要求1所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：所述步骤一，生成式对抗网络模型由生成器和判别器组成；
所述生成器用于生成红外图像，实现对红外盲元灰度值的预测，生成器以编解码结构为原型，以全卷积结构作为生成器的卷积层，将全连接层转化为卷积层，对输入图像大小不做限制，对任意分辨率的红外盲元图像进行补偿；同时在生成器结构中的卷积层和反卷积层之间加入扩张卷积层，扩张卷积是在原有卷积核中插入数值为0的参数来扩张卷积核的大小；生成器的输入为红外盲元图像；
所述判别器与生成器互补，实现与生成器的对抗，用于提高红外图像的生成质量，优化补偿效果；判别器包括全局判别器和局部判别器；全局判别器用于保证全局信息真实，其输入为生成器输出的完整生成图像；局部判别器用于保证局部纹理清晰，其输入为对完整生成图像截取随机大小的图像。
3.根据权利要求2所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：通过生成式对抗网络模型中生成器生成的红外图像实现对盲元像素灰度值的预测，通过构建相应的损失函数并进行最小值寻优，优化生成器生成的红外图像；
所述损失函数由补偿损失和对抗损失两部分构成；
补偿损失：通过掩膜矩阵提取红外图像盲元邻域的有效像素信息，生成器以均方差损失作为损失函数，结合掩膜矩阵的补偿损失函数表示为：
Figure FDA0002388772320000011
其中LC(x,M)为补偿损失函数，x为输入的红外盲元图像，训练过程中M为随机掩膜，测试过程中M为盲元检测算法生成的二值掩膜矩阵，G(x,M)为生成器对添加掩膜的输入图像的补偿结果，即生成器生成的红外图像；·表示element-wise乘法，
Figure FDA0002388772320000012
表示L2范数；
对抗损失：通过引入对抗损失函数实现对生成模糊图像的惩罚，采用WGAN-GP判别模型的损失函数作为对抗损失函数，表示为：
Figure FDA0002388772320000021
其中
Figure FDA0002388772320000022
为对抗损失函数，E(*)表示数学期望，λ为梯度惩罚的权重参数，
Figure FDA00023887723200000211
为梯度算子，·表示element-wise乘法，
Figure FDA0002388772320000023
表示在真实分布和生成分布的连线上随机插值采样所得到的样本分布，Dg和Dl分别表示全局判别器和局部判别器；
最终的目标函数表示为：
Figure FDA0002388772320000024
其中α为权重参数，用来平衡补偿损失和对抗损失。
4.根据权利要求1所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：所述步骤三，采用加窗3σ方法对红外盲元图像进行盲元检测，即基于滑动窗口的自适应阈值检测，方法如下：
以某一像元为中心，取大小为2(n+1)×2(n+1)的窗口，通过求窗内像元的均值与标准差σ判断该中心像元是否为盲元，n为半窗宽度；
采用3σ准则作为盲元判别标准，将灰度值不在阈值范围内的像元判别为盲元；所述阈值范围为窗口灰度平均值±3σ，标准差σ计算公式为：
Figure FDA0002388772320000025
Figure FDA0002388772320000026
其中f(k,l)为像元灰度值，(k,l)为窗口中心像素点的坐标，
Figure FDA0002388772320000027
为窗内像元灰度均值，(i,j)为窗口内除中心像素点外其他像素的坐标；
当
Figure FDA0002388772320000028
时，判断像元(i,j)为盲元，并以
Figure FDA0002388772320000029
替代像元(i,j)的灰度值；
盲元检测完成后，根据盲元检测结果生成二值掩膜矩阵M，其中盲元像素为1，非盲元像素为0，矩阵表达式为：
Figure FDA00023887723200000210
5.根据权利要求1所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：所述步骤四，采用泊松图像融合算法将生成的红外图像和待补偿的红外盲元图像进行融合，得到补偿后的图像y表示为：
Figure FDA0002388772320000031
s.t x′(i,j)＝x(i,j) for M(i,j)＝0
其中
Figure FDA0002388772320000032
为梯度算子，G(x,M)为生成的红外图像，x′(i,j)为待补偿的红外盲元图像像素点坐标，x(i,j)为生成的红外图像像素点坐标。
6.根据权利要求1-5任一所述的一种基于生成式对抗网络的红外盲元补偿方法，其特征在于：所述步骤五，若第t轮与第t-1轮迭代生成的二值掩膜矩阵相同，说明补偿后的图像质量满足预期。
CN202010107191.7A 2020-02-21 2020-02-21 基于生成式对抗网络的红外盲元补偿方法 Pending CN111369449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010107191.7A CN111369449A (zh) 2020-02-21 2020-02-21 基于生成式对抗网络的红外盲元补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010107191.7A CN111369449A (zh) 2020-02-21 2020-02-21 基于生成式对抗网络的红外盲元补偿方法

Publications (1)

Publication Number Publication Date
CN111369449A true CN111369449A (zh) 2020-07-03

Family

ID=71208094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010107191.7A Pending CN111369449A (zh) 2020-02-21 2020-02-21 基于生成式对抗网络的红外盲元补偿方法

Country Status (1)

Country Link
CN (1) CN111369449A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435178A (zh) * 2020-11-11 2021-03-02 湖北久之洋红外系统股份有限公司 一种基于fpga的线阵红外盲元的工程化处理方法及系统
CN112466320A (zh) * 2020-12-12 2021-03-09 中国人民解放军战略支援部队信息工程大学 一种基于生成对抗网络的水声信号降噪方法
CN113254891A (zh) * 2021-05-17 2021-08-13 山东大学 一种基于空洞空间金字塔的信息隐藏方法、装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980283A (zh) * 2010-10-21 2011-02-23 电子科技大学 一种动态盲元补偿方法
CN103793900A (zh) * 2014-01-24 2014-05-14 南京信息工程大学 一种基于混合自适应回归的红外盲元补偿方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980283A (zh) * 2010-10-21 2011-02-23 电子科技大学 一种动态盲元补偿方法
CN103793900A (zh) * 2014-01-24 2014-05-14 南京信息工程大学 一种基于混合自适应回归的红外盲元补偿方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUTING CHEN等: "Infrared blind-pixel compensation algorithm based on generative adversarial networks and Poisson image blending", 《SIGNAL, IMAGE AND VIDEO PROCESSING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435178A (zh) * 2020-11-11 2021-03-02 湖北久之洋红外系统股份有限公司 一种基于fpga的线阵红外盲元的工程化处理方法及系统
CN112435178B (zh) * 2020-11-11 2022-10-14 湖北久之洋红外系统股份有限公司 一种基于fpga的线阵红外盲元的工程化处理方法及系统
CN112466320A (zh) * 2020-12-12 2021-03-09 中国人民解放军战略支援部队信息工程大学 一种基于生成对抗网络的水声信号降噪方法
CN112466320B (zh) * 2020-12-12 2023-11-10 中国人民解放军战略支援部队信息工程大学 一种基于生成对抗网络的水声信号降噪方法
CN113254891A (zh) * 2021-05-17 2021-08-13 山东大学 一种基于空洞空间金字塔的信息隐藏方法、装置和系统

Similar Documents

Publication Publication Date Title
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN108364272A (zh) 一种高性能红外-可见光融合探测方法
CN111369449A (zh) 基于生成式对抗网络的红外盲元补偿方法
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN110210282B (zh) 一种基于非凸低秩稀疏分解的运动目标检测方法
CN111161306B (zh) 一种基于运动注意力的视频目标分割方法
Zhou et al. Infrared image segmentation based on Otsu and genetic algorithm
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
Kim et al. Learning color representations for low-light image enhancement
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN111127353B (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN116563146A (zh) 基于可学习曲率图的图像增强方法与系统
CN113781375B (zh) 一种基于多曝光融合的车载视觉增强方法
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
Lan et al. An optimized GAN method based on the Que-Attn and contrastive learning for underwater image enhancement
Tang et al. Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
Ye et al. Low-quality image object detection based on reinforcement learning adaptive enhancement
CN109002802B (zh) 基于自适应鲁棒主成分分析的视频前景分离方法和系统
CN116563157A (zh) 一种基于深度学习的面向空间卫星低照度图像增强方法
CN112508168B (zh) 基于预测框自动修正的边框回归神经网络构建方法
CN111986136A (zh) 一种基于泊松概率模型的模糊图像序列融合复原方法
Mahmoudabadi et al. Detecting sudden moving objects in a series of digital images with different exposure times
Wang et al. Three-channel cascade network for underwater image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703