CN112991200B - 一种红外图像自适应增强的方法与装置 - Google Patents

一种红外图像自适应增强的方法与装置 Download PDF

Info

Publication number
CN112991200B
CN112991200B CN202110183673.5A CN202110183673A CN112991200B CN 112991200 B CN112991200 B CN 112991200B CN 202110183673 A CN202110183673 A CN 202110183673A CN 112991200 B CN112991200 B CN 112991200B
Authority
CN
China
Prior art keywords
image
infrared
images
network
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110183673.5A
Other languages
English (en)
Other versions
CN112991200A (zh
Inventor
张辉
曹剑中
刘学斌
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202110183673.5A priority Critical patent/CN112991200B/zh
Publication of CN112991200A publication Critical patent/CN112991200A/zh
Application granted granted Critical
Publication of CN112991200B publication Critical patent/CN112991200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

为了解决现有的红外图像增强方法存在图像局部细节丢失，图像细节丰富程度不够以及无法形成端到端的解决方案，不具备发掘、丰富图像细节的能力，也不具备自动修复图像细节能力的技术问题，本发明提供了一种红外图像自适应增强的方法与装置。本发明设计了一种基于对抗生成网络的红外图像增强模型，充分利用对抗神经网络特征，通过神经网络设计、损失函数设计，实现生成子网络和鉴别子网络的动态平衡，能够实现端到端的红外图像增强处理；在模型训练过程中，以真实的可见光灰度图像为条件，依靠鉴别子网络D监督生成子网络G，以及生成子网络与鉴别子网络间的相互博弈，使得本网络模型具备良好的红外图像增强能力。

Description

一种红外图像自适应增强的方法与装置
技术领域
本发明涉及一种红外图像自适应增强的方法与装置。
背景技术
随着红外成像技术的发展与成熟，各种适用于民用的红外成像设备不断涌现，其在国民经济各个领域发挥越来越重要的作用。红外成像，其重要应用就是昼夜观察和热目标探测，其在安防监控、辅助驾驶、消防警用、工业监测、电力监测等领域得到广泛应用。但由于红外成像原理限制，红外图像存在整体偏暗、对比度偏低、边缘模糊、噪声较大、细节信息不明显、视觉效果参较差等特点。
为克服红外图像的上述缺陷，公布号为CN104252700B的专利文献中公开了一种红外图像的直方图均衡化方法，包括：读取红外图像，将红外图像分割成至少两个子图像，对每个子图像进行直方图均衡化处理，获得子图像的均衡化子图像，然后拼接直方图均衡化子图像；该方法的核心思想是将红外图像进行分割处理，得到多个子图像，然后并行对每个子图像进行直方图均衡化增强处理，将直方图均衡化之后的子图像拼接融合成最终的直方图均衡化后的红外图像；该方法的缺陷是：①整理图像对比度依赖原始红外图像，图像局部对比度不够，存在细节丢失等现象；②没有结合响应可见光图像特征，图像细节丰富程度不够，给后续目标检测等应用带来困难。
公布号为CN110009569A的专利文献中公开了一种基于轻量级卷积神经网络的红外可见光图像融合方法”，该方法首先将红外和可见光图像进行批处理，使得图像尺寸大小一致，然后构造了一个轻量级的卷积神经网络，分别提取红外和可见光特征，形成二维张量权值图，最后利用特征融合策略，将源图像进行融合，实现可见光和红外图像的融合。该方案的核心在于利用神经网络分别提取红外图像特征和可见光图像特征，进而构造特征权值图，再利用融合策略实现红外图像和可见光图像的融合。虽然该方案将红外图像和可见光图像进行了融合，但是在工程应用中不能形成端到端的解决方案，每一次提取的特征较为独立，不具备发掘、丰富图像细节的能力，也不具备自动修复图像细节的能力。
发明内容
为了解决现有的红外图像增强方法存在图像局部细节丢失，图像细节丰富程度不够以及无法形成端到端的解决方案，不具备发掘、丰富图像细节的能力，也不具备自动修复图像细节能力的技术问题，本发明提供了一种红外图像自适应增强的方法与装置。
本发明的技术方案是：
一种红外图像自适应增强的方法，其特殊之处在于，包括以下步骤：
步骤1：构建图像数据集
选用现有的ImageNet数据集作为图像数据集构建的基础，对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本；
步骤2：模型训练
构建对抗神经网络，将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练，得到红外图像增强模型；
步骤3：将步骤2得到的红外图像增强模型下装到并行处理模块中；
步骤4：红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像，当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10％时，用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本，然后返回步骤2；同时，将实时采集到的红外图像拷贝一份，发送给并行处理模块；
步骤5：利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理，输出相应的增强后图像。
进一步地，步骤2所构建的对抗神经网络包括生成子网络G和鉴别子网络D；
生成子网络用于生成增强红外图像；鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定，得到0～1的概率值，0代表增强红外图像质量很低无可信度，1代表增强红外图像质量很高逼近真实图像。
进一步地，生成子网络的网络结构为：
CR-CBR-CBR-D-Tanh
其中，C为卷积层，R为ReLu激活函数，B为批量归一化层，D为反卷积层，Tanh为：z为反卷积之后得到的特征图像；e为自然对数的底；
生成子网络的的损失函数为：
LG＝E[λ×Lcout+log(D(G(X),X)]
其中：
E为欧氏距离；
Lcont表示增强红外图像与可见光灰度图像的质量损失函数，其采用L2距离进行定义，
Y为输入红外图像对应的可见光灰度图像；
G(X)为利用生成子网络得到的增强红外图像；D为鉴别子网络的输出；
鉴别子网络D的网络结构为：
CL-CBL-CBL-CBL-C-Sigmoid；
其中：Sigmoid：C为卷积层，B为批量归一化层，L为Leaky ReLU激活函数；
鉴别子网络D的损失函数为：
其中：
X为红外图像，Y为可见光灰度图像，G(X)为利用生成子网络得到的增强红外图像。
本发明还提供了一种红外图像自适应增强装置，其特殊之处在于：包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块；
图像数据集用于为所述基于深度学习的红外图像增强模块提供模型训练的图像样本；
基于深度学习的红外图像增强模块用于深度学习训练，得到所述红外图像增强模型；
模型下装模块用于将所述红外图像增强模型，通过远程服务总线方式，下装到并行处理模块中；
红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像，并传输给图像传输模块和并行处理模块；
并行处理模块用于对其接收到的多张红外图像进行并行增强处理；
图像传输模块用于将红外及可见光图像采集装置采集的可见光灰度图像和红外图像传输至图像数据集。
进一步地，所述图像数据集是按照下述方法构建的：
对可见光图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本。
进一步地，基于深度学习的红外图像增强模块包括生成子网络G和鉴别子网络D；
生成子网络用于生成增强红外图像；鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定，得到0～1的概率值，0代表增强红外图像质量很低无可信度，1代表增强红外图像质量很高逼近真实图像。
进一步地，生成子网络的网络结构为：
CR-CBR-CBR-D-Tanh
其中，C为卷积层，R为ReLu激活函数，B为批量归一化层，D为反卷积层，Tanh为：z为反卷积之后得到的特征图像；e为自然对数的底；
生成子网络的的损失函数为：
LG＝E[λ×Lcout+log(D(G(X),X)]
其中：
E为欧氏距离；
Lcont表示增强红外图像与可见光灰度图像的质量损失函数，其采用L2距离进行定义，
Y为输入红外图像对应的可见光灰度图像；
G(X)为利用生成子网络得到的增强红外图像；D为鉴别子网络的输出；
鉴别子网络D的网络结构为：
CL-CBL-CBL-CBL-C-Sigmoid；
其中：Sigmoid：C为卷积层，B为批量归一化层，L为Leaky ReLU激活函数；
鉴别子网络D的损失函数为：
其中：
X为红外图像，Y为可见光灰度图像，G(X)为利用生成子网络得到的增强红外图像。
与现有技术相比，本发明的优点是：
1、利用本发明在模型训练过程中，以真实的可见光灰度图像为条件，依靠鉴别子网络D监督生成子网络G，以及生成子网络与鉴别子网络间的相互博弈，使得本网络模型具备良好的红外图像增强能力。
2、本发明设计了一种基于对抗生成网络的红外图像增强模型，充分利用对抗神经网络特征，通过神经网络设计、损失函数设计，实现生成子网络和鉴别子网络的动态平衡，能够实现端到端的红外图像增强处理。
3、本发明提供了一种红外图像增强训练与红外及可见光图像采集装置动态采集同步更新机制，实现红外图像增强模型的自动优化，进而进一步提高红外图像增强处理效果，最终实现“离线建模-在线应用-可持续更新”的红外图像增强应用。
4、本发明已在电力系统设备监控场景下进行系统验证，结果表明本发明能有效提升红外图像细节特征，通过自适应方式，提升图像对比度，通过引入可见光特征，有效地增强了图像细节层次，为后续设备监控的图像识别、状态监测提供了良好的图像基础。
附图说明
图1是本发明红外图像自适应增强装置的架构图。
图2是本发明中基于对抗生成网络的红外图像增强模型。
图3是经本发明增强前后的原始图像与增强后图像的效果对比图，(a)为原始红外图像；(b)为增强后红外图像。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1所示，本发明所提供的红外图像自适应增强的方法，包括以下步骤：
步骤1：构建图像数据集
选用现有的ImageNet数据集作为图像数据集构建的基础，对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本；
步骤2：模型训练
构建对抗神经网络，将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练，得到红外图像增强模型；
步骤3：将步骤2得到的红外图像增强模型下装到并行处理模块中；
步骤4：红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像，当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10％时，用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本，然后返回步骤2；同时，将实时采集到的红外图像拷贝一份，发送给并行处理模块；
步骤5：利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理，输出增强后图像。
如图1所示，本发明还提供了实现上述红外图像自适应增强方法的红外图像自适应增强装置，包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块。
1、图像数据集
图像数据集是用于基于深度学习的红外图像增强模块训练所用的图像集合，鉴于目前基于神经网络的红外图像增强中普遍缺乏红外图像，而红外图像是基于深度学习红外图像增强技术能达到较好图像处理效果的关键因素之一。因此本发明首要构建具有足够样本数量的图像数据集。
图像数据集的构建方法：
选用现有的ImageNet数据集作为图像数据集构建的基础，对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像，对灰度图像再采用对比度变换或者直方图变换技术得到红外图像，，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本；本实施例中基础数据集共10000个样本，其中可见光灰度图像分辨率为：512x512，红外图像分辨率为：512x512。
采用上述方法构建基础数据集的好处是可以解决红外图像匮乏的问题，为基于深度学习的红外图像增强模块提供具有足够样本数量的训练集，但是由于该方法所构建的基础数据集中的红外图像并非真正的红外图像，若仅利用基础数据集对基于深度学习的红外图像增强模块进行训练，则训练得到的红外图像增强模型涵盖红外图像特性不足，红外图像增强效果不够理想。为解决该问题，基于应用场景，本发明对图像数据集进行动态更新。
图像数据集的动态更新方法：
红外及可见光图像采集装置每设定时间(例如15分钟)采集一组可见光灰度图像和红外图像，每天采集时间为09:00～17:00，单套红外及可见光图像采集装置每天共采集32组红外及可见光灰度图像。采集时间段选择为09:00～17:00，主要考虑在成像条件较好的情况下，同时获取红外图像及对应可见光灰度图像，整个系统在应用时，部署不低于50套红外及可见光图像采集装置，分布在公路、森林、学校等不同场景，确保涵盖不同场景的应用画面，即：每天产生1600组新增图像。
当采集的图像数目大于当前图像数据集中图像数目的10％时，从当前图像数据集内随机抽取10％的图像，用采集的图像对其进行替换处理，替换过程中对用于替换的、由红外及可见光图像采集装置所采集的图像打上标记，在下一次更新替换时，对于已打标记的图像，不做替换，最终当整个图像数据集中所有图像都被标记过，则表示整个图像数据集更新完毕，整个图像数据集更新完毕后，将图像数据集中的当前样本图像所打的标记删除，然后按照相同的方法进入下一轮动态更新。
表1图像数据集的更新阈值选择
动态更新阈值 红外图像增强PSNR
3％ 25.36
6％ 25.78
9％ 26.02
10％ 26.39
表1是针对图像数据集动态更新时采用不同阈值所做的实验，每一次动态更新后，会触发基于深度学习的红外图像增强模块进行训练，得到新的红外图像增强模型，进而利用新的红外图像增强模型进行红外图像增强；通过对512幅红外图像增强训练的PSNR分析，发现随着阈值升高，红外图像增强后质量逐步提高，鉴于质量与速度的考虑，最终在动态更新时选择10％作为阈值。
2、基于深度学习的红外图像增强模块
基于深度学习的红外图像增强模块主要用于深度学习训练，其输入为图像数据集，其输出为训练好的红外图像增强模型。
如图2所示，基于深度学习的红外图像增强模块的网络架构基于对抗生成网络，共包括2个子网络：生成子网络G和鉴别子网络D。
2.1生成子网络
2.1.1网络构成
生成子网络由3个卷积层conv和1个反卷积层Deconv构成，在第二个卷积层和第三个卷积层后面各加上批归一化网络，即：Batch NN，在深度学习训练中，Batch NN是一种被实践证明的数据归一化方法，其作用可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，并起到一定的正则化作用。
2.1.2生成子网络设计：
①生成子网络输入图像分辨率为256x256，因而图像数据集中图像在输入生成子网络前需要先进行缩放处理；
②网络结构为：
CR-CBR-CBR-D-Tanh
其中，C为卷积层，R为ReLu激活函数，B为批量归一化层，D为反卷积层，Tanh为：z为反卷积之后得到的特征图像；e为自然对数的底；
第一个卷积层CR输入图像大小为256x256，经过卷积操作及ReLu处理，保留较好的特征，最终得到64个特征向量，之后跟随2个卷积层操作，进一步强化提取特征。
③如图2所示，为了减少图像细节的丢失，在卷积层1之后和卷积层2之后加入残差连接Skip Connection连接，加权处理之后得到特征向量与卷积层3再次进行残差连接，这样各卷积层得到不同维度的图像特征向量在生成子网络内各层进行流动，保留了图像细节特征；
④生成子网络用于生成增强图像(增强后的红外图像)；
⑤损失函数设计：LG＝E[λ×Lcout+log(D(G(X),X)]；其中：Lcont表示增强红外图像与可见光灰度图像的质量损失函数，其采用L2距离进行定义，E为欧氏距离；Y为输入红外图像对应的可见光灰度图像；G(X)为利用生成子网络得到的增强红外图像；D为鉴别子网络的输出；鉴别子网络用于对可见光灰度图像、增强红外图像进行真伪度判定，得到0～1的概率值，0代表增强红外图像质量很低无可信度，1代表增强红外图像质量很高逼近真实图像，LG使用数学期望来衡量生成子网络和鉴别子网络在红外图像增强方面的特性，公式中λ×Lcout鼓励生成子网络产生更加逼真的红外增强图像，公式中log(D(G(X),X)鼓励鉴别子网络能够区分红外增强图像，两者最终达成动态平衡。
2.1.3相关网络参数设置：
类型 卷积核 卷积步长 填充
conv 4×4 2×2 1×1
conv 3×3 1×1 1×1
conv 3×3 1×1 1×1
deconv 4×4 2×2 1×1
2.2鉴别子网络
2.2.1网络构成
鉴别子网络由5个卷积层conv构成。
2.2.2鉴别子网络设计：
①网络输入图像为：生成子网络输出的增强图像和该增强图像所对应的可见光灰度图像
②网络结构为：CL-CBL-CBL-CBL-C-Sigmoid，其中：Sigmoid：C为卷积层，B为批量归一化层，L为Leaky ReLU激活函数；
③网络采用5个卷积层得到特征图像，并利用Sigmoid函数做归一化处理，判断红外增强图像和可见光灰度图像相似程度[0-1]；
④损失函数设计：其中：LD为鉴别子网络的损失函数，X为红外图像，Y为可见光灰度图像，G(X)为利用生成子网络得到的增强红外图像；损失函数采用交叉熵损失函数进行设计，其目的在于，当鉴别子网络遇到可见光灰度图像这种真实数据时，损失函数的期望值要达到最大，而当鉴别子网络遇到红外增强图像这种生成数据时，要能判别出图像为生成图像，在整个训练过程中，对于鉴别子网络其目标是生成图像被鉴别出来，LD达到最大，而对于生成子网络其目标是生成图像不被鉴别出来，LD趋于最小，这种采用极大极小博弈方式的损失函数设计，能够使网络模型具备良好的红外图像增强能力。
2.2.3相关网络参数设置：
类型 卷积核 卷积步长 填充
conv 4×4 2×2 1×1
conv 4×4 2×2 1×1
conv 4×4 2×2 1×1
conv 4×4 1×1 1×1
conv 4×4 1×1 1×1
利用基于深度学习的红外图像增强模块对512幅红外测试图像进行增强后的图像质量数据如下表，随机测试512幅图像，利用上述方法进行红外图像处理后，图像评价指标PSNT和SSIM均有比较好表现，可见本发明具备良好的红外图像增强效果。
PSNR SSIM
512幅红外测试图像 26.67 0.974
3、红外图像增强模型
红外图像增强模型是基于深度学习的红外图像增强模块对图像数据集进行训练后，得到的结果。
4、模型下装模块
模型下装模块用于将基于深度学习的红外图像增强模块训练后输出的红外图像增强模型，通过远程服务总线方式，下装到并行处理模块中。
5、红外及可见光图像采集装置
红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像，采集到的红外图像本身用于送入并行处理模块中进行图像增强处理，另外红外图像和可见光灰度图像本身也通过图像传输模块发送给图像数据集，用于动态更新图像数据集。
6、并行处理模块
并行处理模块的输入是红外及可见光图像采集装置实时采集的红外图像，利用下装在其内的红外图像增强模型对接收到的红外图像进行增强处理；为了提高红外图像增强的实时处理速度，并行处理模块采用基于Cuda的加速技术，充分利用GPU运算能力，同时采用多线程并行技术，提高图像增强的处理速度。
7、图像传输模块
图像传输模块负责将红外及可见光图像采集装置所采集的可见光灰度图像与红外图像传输至图像数据集，当增量图像组的数目大于等于图像数据集的动态更新阈值时，触发基于深度学习的红外图像增强模块自动训练，实现下装在并行处理模块中的红外图像增强模型的自动更新，以便后续图像增强过程中，实现红外图像增强模型持续更新，不断优化红外图像增强效果，最终实现“离线建模-在线应用-可持续更新”的红外图像增强应用。
图3是经本发明增强前后的原始图像与增强后图像的效果对比图，左侧为原始红外图像，右侧为增强后红外图像，可以看出右侧图像画面内容更加丰富，纹理明显，细节突出，视觉效果更好。

Claims (3)

1.一种红外图像自适应增强装置，其特征在于：包括图像数据集、基于深度学习的红外图像增强模块、红外图像增强模型、模型下装模块、红外及可见光图像采集装置、图像传输模块和并行处理模块；
图像数据集用于为所述基于深度学习的红外图像增强模块提供模型训练的图像样本；图像数据集的更新方式为：当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10％时，用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本，替换过程中对用于替换的、由红外及可见光图像采集装置所采集的图像打上标记，在下一次更新替换时，对于已打标记的图像，不做替换；整个图像数据集更新完毕后，将图像数据集中的当前样本图像所打的标记删除，然后按照相同的方法进入下一轮动态更新；
基于深度学习的红外图像增强模块用于深度学习训练，得到所述红外图像增强模型；
所述基于深度学习的红外图像增强模块包括生成子网络G和鉴别子网络D；
生成子网络用于生成增强红外图像；鉴别子网络D用于对可见光灰度图像、增强红外图像进行真伪度判定，得到0～1的概率值，0代表增强红外图像质量很低无可信度，1代表增强红外图像质量很高逼近真实图像；
生成子网络的网络结构为：
CR-CBR-CBR-D-Tanh
其中，C为卷积层，R为ReLu激活函数，B为批量归一化层，D为反卷积层，Tanh为：z为反卷积之后得到的特征图像；e为自然对数的底；
生成子网络的损失函数为：
LG＝E[λ×Lcout+log(D(G(X),X)]
其中：
E为欧氏距离；
Lcont表示增强红外图像与可见光灰度图像的质量损失函数，其采用L2距离进行定义，
Y为输入红外图像对应的可见光灰度图像；
G(X)为利用生成子网络得到的增强红外图像；D为鉴别子网络的输出；
鉴别子网络D的网络结构为：
CL-CBL-CBL-CBL-C-Sigmoid；
其中：Sigmoid：C为卷积层，B为批量归一化层，L为Leaky ReLU激活函数；
鉴别子网络D的损失函数为：
其中：
X为红外图像，Y为可见光灰度图像，G(X)为利用生成子网络得到的增强红外图像；
模型下装模块用于将所述红外图像增强模型，通过远程服务总线方式，下装到并行处理模块中；
红外及可见光图像采集装置用于实时采集红外图像及对应的可见光灰度图像，并传输给图像传输模块和并行处理模块；
并行处理模块用于对其接收到的多张红外图像进行并行增强处理，利用多线程并行技术同时处理多幅，提高图像增强的处理速度；
图像传输模块用于将红外及可见光图像采集装置采集的可见光灰度图像和红外图像传输至图像数据集，当增量图像组的数目大于等于图像数据集的动态更新阈值时，触发红外图像增强模块自动训练，实现下装在并行处理模块中的红外图像增强模型的自动更新。
2.根据权利要求1所述的红外图像自适应增强装置，其特征在于：
所述图像数据集是按照下述方法构建的：
对可见光图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本。
3.一种红外图像自适应增强的方法，基于权利要求1或2任一所述红外图像自适应增强装置，其特征在于，包括以下步骤：
步骤1：构建图像数据集
选用现有的ImageNet数据集作为图像数据集构建的基础，对ImageNet数据集中的图像利用灰度变换将其转为可见光灰度图像，然后利用对比度变换或者直方图变换将灰度图像转为红外图像，将得到的每一张红外图像及其对应的可见光灰度图像作为图像数据集的一个样本；
步骤2：模型训练
构建对抗神经网络，将图像数据集中的样本输入构建的对抗神经网络对其进行深度学习训练，得到红外图像增强模型；
红外图像增强模型的生成子网络由3个卷积层和1个反卷积层构成，卷积层间使用残差处理模块，具体为：在第一个卷积层之后和第二个卷积层之后加入残差连接，加权处理之后得到特征向量与第三个卷积层再次进行残差连接，各卷积层得到不同维度的图像特征向量在生成子网络内各层进行流动，保留图像细节特征；
步骤3：将步骤2得到的红外图像增强模型下装到并行处理模块中；
步骤4：红外及可见光图像采集装置实时采集目标场景的红外图像和可见光图像，当采集的红外图像和可见光灰度图像的组数大于当前图像数据集中样本数目的10％时，用采集到的红外图像和可见光灰度图像随机替换图像数据集中相应数目的样本，替换过程中对用于替换的、由红外及可见光图像采集装置所采集的图像打上标记，在下一次更新替换时，对于已打标记的图像，不做替换，然后返回步骤2；整个图像数据集更新完毕后，将图像数据集中的当前样本图像所打的标记删除，然后按照相同的方法进入下一轮动态更新；同时，将实时采集到的红外图像拷贝一份，发送给并行处理模块；
步骤5：利用下装在并行处理模块内的红外图像增强模型同时对多张红外图像进行并行增强处理，输出相应的增强后图像。
CN202110183673.5A 2021-02-08 2021-02-08 一种红外图像自适应增强的方法与装置 Active CN112991200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110183673.5A CN112991200B (zh) 2021-02-08 2021-02-08 一种红外图像自适应增强的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110183673.5A CN112991200B (zh) 2021-02-08 2021-02-08 一种红外图像自适应增强的方法与装置

Publications (2)

Publication Number Publication Date
CN112991200A CN112991200A (zh) 2021-06-18
CN112991200B true CN112991200B (zh) 2024-02-02

Family

ID=76393138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110183673.5A Active CN112991200B (zh) 2021-02-08 2021-02-08 一种红外图像自适应增强的方法与装置

Country Status (1)

Country Link
CN (1) CN112991200B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154523A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种机载光电平台中的实时目标跟踪系统及方法
CN109544487A (zh) * 2018-09-30 2019-03-29 西安电子科技大学 一种基于卷积神经网络的红外图像增强方法
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法
CN110889813A (zh) * 2019-11-15 2020-03-17 安徽大学 基于红外信息的低光图像增强方法
CN111160307A (zh) * 2019-12-31 2020-05-15 帷幄匠心科技（杭州）有限公司 一种人脸识别方法及人脸识别打卡系统
CN111612725A (zh) * 2020-04-29 2020-09-01 中国科学院西安光学精密机械研究所 一种基于可见光图像对比度增强的图像融合方法
CN112116573A (zh) * 2020-09-16 2020-12-22 四川嘉能佳网创新能源科技有限责任公司 一种高精度的红外图像异常检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475174B2 (en) * 2017-04-06 2019-11-12 General Electric Company Visual anomaly detection system
CN108446617B (zh) * 2018-03-09 2022-04-22 华南理工大学 抗侧脸干扰的人脸快速检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154523A (zh) * 2017-12-25 2018-06-12 北京航空航天大学 一种机载光电平台中的实时目标跟踪系统及方法
CN109544487A (zh) * 2018-09-30 2019-03-29 西安电子科技大学 一种基于卷积神经网络的红外图像增强方法
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法
CN110889813A (zh) * 2019-11-15 2020-03-17 安徽大学 基于红外信息的低光图像增强方法
CN111160307A (zh) * 2019-12-31 2020-05-15 帷幄匠心科技（杭州）有限公司 一种人脸识别方法及人脸识别打卡系统
CN111612725A (zh) * 2020-04-29 2020-09-01 中国科学院西安光学精密机械研究所 一种基于可见光图像对比度增强的图像融合方法
CN112116573A (zh) * 2020-09-16 2020-12-22 四川嘉能佳网创新能源科技有限责任公司 一种高精度的红外图像异常检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Single infrared image enhancement using a deep convolutional neural network;Xiaodong Kuang, et.al;《Neurocomputing》;20190307;摘要，第1-10页 *
基于生成对抗网络的红外图像数据增强;陈佛计等;《计算机应用》;20200331(第07期);第228-232页 *

Also Published As

Publication number Publication date
CN112991200A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN113178255B (zh) 一种基于gan的医学诊断模型对抗攻击方法
CN113592736B (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN104809443A (zh) 基于卷积神经网络的车牌检测方法及系统
CN111539343B (zh) 一种基于卷积注意力网络的黑烟车检测方法
CN111696021B (zh) 一种基于显著性检测的图像自适应隐写分析系统及方法
CN109685772B (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN113689382A (zh) 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统
Zhou et al. Deep multi-scale features learning for distorted image quality assessment
CN110751591A (zh) 一种基于模糊推理系统的自适应彩色图像隐写方法
CN111242868B (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
CN116798070A (zh) 一种基于光谱感知和注意力机制的跨模态行人重识别方法
CN106355210A (zh) 基于深度神经元响应模式的绝缘子红外图像特征表达方法
CN113537110A (zh) 一种融合帧内帧间差异的虚假视频检测方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112102186A (zh) 一种水下视频图像实时增强方法
CN111091102B (zh) 一种视频分析装置、服务器、系统及保护身份隐私的方法
CN112991200B (zh) 一种红外图像自适应增强的方法与装置
CN112330562A (zh) 一种异构遥感图像变换方法及系统
CN112528788A (zh) 一种基于域不变特征和时空特征的重识别方法
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
CN115170985B (zh) 一种基于阈值注意力的遥感图像语义分割网络及分割方法
CN115630361A (zh) 一种基于注意力蒸馏的联邦学习后门防御方法
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant