CN116309213A - 一种基于生成对抗网络的高实时多源图像融合方法 - Google Patents

一种基于生成对抗网络的高实时多源图像融合方法 Download PDF

Info

Publication number
CN116309213A
CN116309213A CN202310116037.XA CN202310116037A CN116309213A CN 116309213 A CN116309213 A CN 116309213A CN 202310116037 A CN202310116037 A CN 202310116037A CN 116309213 A CN116309213 A CN 116309213A
Authority
CN
China
Prior art keywords
image
fusion
countermeasure network
generation
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310116037.XA
Other languages
English (en)
Inventor
李宁宁
倪华
何立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Fire Research Institute of MEM
Original Assignee
Shenyang Fire Research Institute of MEM
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Fire Research Institute of MEM filed Critical Shenyang Fire Research Institute of MEM
Priority to CN202310116037.XA priority Critical patent/CN116309213A/zh
Publication of CN116309213A publication Critical patent/CN116309213A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像融合技术领域，特别涉及一种基于生成对抗网络的高实时多源图像融合方法，包括以下四个步骤：图像预处理、生成对抗网络训练、模型压缩和算法部署。本发明的一种基于生成对抗网络的高实时多源图像融合方法，生成对抗网络训练采用了生成对抗网络进行设计，完成端到端的图像融合任务，避免过多的人工设计参与，利用判别器对融合图像进行判别，评判融合效果，神经网络根据结果对网络权重参数进行自适应调整；模型压缩便于将算法模型迁移到嵌入式等计算资源有限的设备上，从而完成高实时的图像融合算法；算法部署便于图像融合的实时性操作。

Description

一种基于生成对抗网络的高实时多源图像融合方法
技术领域
本发明涉及图像融合技术领域，特别涉及一种基于生成对抗网络的高实时多源图像融合方法。
背景技术
多源图像融合通过将同场景下不同传感器获得的图像信息进行提取分析，获取对场景目标物体更加准确可靠的图像，提升图像的感知能力和表达能力。尤其在一些复杂场景中，单一类型的传感器很难对场景信息做到完全覆盖。多源图像融合能够充分利用不同类型传感器的优势，增强对于场景信息的感知与表达，提升成像系统的成像鲁棒性。
红外与可见光图像的融合是多源图像融合领域最为典型的任务。红外图像传感器可以在低光照条件下成像，且具有一定的穿雾能力，但其图像为单通道图像，缺失颜色信息，同时其对细节的表现能力也较差；而可见光传感器颜色特征鲜明，场景细节清晰，但在光照较弱等环境下成像质量会受到严重影响。由此可见，红外图像与可见光互相具有一定的互补性，适合进行融合。
随着技术的发展，图像融合领域，越来越多的方法得以提出。但目前还存在诸多局限性：
①传统图像融合算法(例如图像变换、活动度测量、基于特征的融合)等主要依赖于人工设计，而随着任务的复杂，人工设计的策略也越来越复杂，计算成本也随之增加。
②今年来，深度神经网络也开始应用于图像融合领域，但目前图像融合领域的神经网络大多停留在卷积神经网络(CNN)阶段，对于其它神经网络涉及的较少，致使其融合效果不佳。
③由于深度神经网络参数量较大，大多很难直接部署在计算资源有限的嵌入式设备上，需要借助GPU等大规模算力实现。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于生成对抗网络的高实时多源图像融合方法，其目的是解决现有红外与可见光图像融合算法的融合效果不佳、实时性不高的问题。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于生成对抗网络的高实时多源图像融合方法，包括以下步骤：
步骤1：图像预处理，对数据集图像进行校正、去雾和去噪操作，同时为提升算法训练效率和性能，对数据集图像进行数据增广操作。
步骤2：生成对抗网络训练，图像融合部分采用生成对抗网络(GAN)进行设计，完成端到端的图像融合任务；
所述生成对抗网络通过生成器和判别器；
所述生成对抗网络训练整体流程为，将红外图像和可见光图像作为生成器输入，利用生成器输出融合图像；融合图像作为判别器输入，判别器根据源图像对融合图像进行判别，根据判别结果对生成器和判别器的权重参数进行自适应调整，直至网络收敛；训练结束后的进行测试和实际运行的为生成器部分；
生成对抗网络生成器部分的流程为，将红外图像和可见光图像作为输入，利用内容编码器提取图像内容信息，利用风格编码器提取图像特有信息，随后将红外图像和可见光图像的内容信息和和风格信息进行组合连接，作为解码器的输入，解码器最后输出融合图像；
生成对抗网络判别器部分的流程为，将融合图像作为输入，利用下采样或者上采样技术对图像进行多尺度转换，每一个尺度对应一个判别器进行分别训练，最后将判别结果组合；
步骤3：模型压缩，将步骤2训练好的生成对抗网络部署到嵌入式设备中，所述模型压缩包括包括以下步骤：剪枝、量化和共享、哈夫曼编码；
步骤4：算法部署，将步骤3压缩好的网路模型直接部署到嵌入式等计算资源有限的设备上，便于图像融合的实时性操作。
进一步的，步骤三中，所述剪枝操作用于对生成对抗网络中小于阈值的不必要连接进行删除。
进一步的，步骤三中，所述量化和共享操作将可以聚类的参数进行参数共享，进一步压缩模型，权重只在层内共享，不在层间共享。
进一步的，步骤三中，所述哈夫曼编码用于模型的存储，通过哈夫曼编码进一步降低模型的存储空间。
本发明的有益效果为：
本发明的一种基于生成对抗网络的高实时多源图像融合方法，生成对抗网络训练采用了生成对抗网络(GAN)进行设计，完成端到端的图像融合任务，避免过多的人工设计参与，利用判别器对融合图像进行判别，评判融合效果，神经网络根据结果对网络权重参数进行自适应调整，针对可见光图像和红外图像提取的内容编码和风格编码，进行组合操作，最后利用解码器输出融合图像；模型压缩便于将算法模型迁移到嵌入式等计算资源有限的设备上，从而完成高实时的图像融合算法；算法部署便于图像融合的实时性操作。
附图说明
图1为本发明的一种基于生成对抗网络的高实时多源图像融合方法具体流程图；
图2为本发明的图像融合算法整体流程；
图3为本发明的生成器输入输出流程图；
图4为本发明的编码器具体结构图；
图5为本发明的解码器结构图；
图6为本发明的判别器输入输出流程图
图7为本发明的判别器具体结构设计
图8为本发明的模型压缩具体流程。
具体实施方式
下面结合附图来进一步说明本发明的具体实施方式。其中相同的零部件用相同的附图标记表示。
为了使本发明的内容更容易被清楚地理解，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，一种基于生成对抗网络的高实时多源图像融合方法，主要包括四个步骤：图像预处理、生成对抗网络训练、模型压缩和算法部署，以下针对以上四个步骤结合附图进行具体说明。
(一)图像预处理。
图像预处理主要包括两部分，一是针对图像本身的校正、滤波、去噪、去雾等操作；二是为了提升算法泛化性能的数据增广操作，具体包括翻转、裁剪等。
(二)生成对抗网络训练。
图像融合部分本发明采用了生成对抗网络(GAN)进行设计，完成端到端的图像融合任务，避免过多的人工设计参与。
生成对抗网络是生成模型的一种，其通过生成器(G,Generator)和判别器(D,Discrimnator)的不断博弈进行训练；具体来说，生成器G对于目标任务进行生成操作，与传统神经网络比较类似，而判别器D对生成器的生成结果进行判定，一般是输出结果的真伪判定结果；由于目前生成对抗网络是一种比较广泛应用的神经网络，这里不再对其数学原理进行过多描述。
图2展示了生成对抗网络应用于图像融合的具体流程，输入为红外图像和可见光图像，首先输入的源图像进入生成对抗网络的生成器部分进行融合图像的生成，随后融合图像作为输入，源图像(本发明中指红外图像和可见光图像)作为图像标签，利用判别器对融合图像进行判别，评判融合效果；神经网络根据结果对网络权重参数进行自适应调整。
生成器设计：
图3展示了生成器的具体架构，生成器主要包括编码器和解码器两部分；编码器主要针对输入图像进行内容提取和风格提取，相对应的有内容编码器和风格编码器；内容编码器提取的是图像的内容信息，即图像的位置等空间信息，这部分多源图像应基本具有一致的内容信息，而风格编码器提取的是图像的特有信息，即不同图像传感器获取到的细节信息。
针对可见光图像和红外图像提取的内容编码和风格编码，进行组合操作，最后利用解码器输出融合图像。
以下分别对内容编码器、风格编码器和解码器的具体结构进行描述。
①内容编码器，内容编码器的具体结构如图4(a)所示，其主要有一个卷积层(Conv)、激活层(Relu)和归一化层(Norm)组成的基本块(block)构成；每个基本块下面的参数代表着卷积层的参数：k表示卷积核大小、n代表通道数、s代表步长，例如k7n16s1代表卷积核大小为7×7，通道数为16，步长为1。
对于输入图像，首先利用第一个block对图像进行整理，统一图像通道数，随后利用接下来的block对图像进行升维处理，输出64通道特征图，随后的block相比较前两个block多了残差连接；本发明这里设置的block数量为4，可根据需要进行增加或者删减。
对于每一个block，主要由三层组成：卷积层、激活层、归一化层；卷积层的参数设置如上所述；激活层这里统一选择Relu函数，归一化层的目的是为了解决深层网络连接时学习效率低下的问题；本发明归一化层选择实例归一化方法，以下进行具体解释。
对于一个批次输入数据：有N张图片，每张图片有C个通道，图像的尺寸为H×W。那么经过归一化层后输出为：
Figure BDA0004078678060000051
其中，
Figure BDA0004078678060000061
Figure BDA0004078678060000062
其中，xnchw表示第n个训练批次第c通道特征在(h,w)上的像素点；x∈RN×C×H×W；γ、ε、β表示训练参数。
风格编码器，风格编码器的具体结构如图4(b)所示。与内容编码器结构相似，风格编码器也是由几个基本块组成，与内容编码器不同的是缺少了归一化层。对于第一个block同样是对图像的整理操作，统一通道数，第二个block进行升维操作，接下来的block具备残差连接，这里设置残差block的数量为2，同样可以根据实际情况对数量进行增删操作。在最后为了便于风格表示，增加了全局池化层和全连接层。
全局池化层对一个通道的特征图进行均值池化，之所以选择均值池化，是为了增加算法的稳定性。
全连接层对池化层的输出进行抽象，将64个通道的池化层输出展开为长度为12的风格向量，表示图像的风格编码。
解码器，解码器的具体结构如图5所示。解码器主要对编码器的输出(风格向量和内容输出)进行解码操作，其中针对风格向量先利用全连接网络进行解码操作，随后也将结果送到所有的残差块中；针对内容输出直接输入到残差块中。
从图5中可以看到解码器基本与内容编码器操作相反。
以上是生成器设计的部分，接下来描述判别器的设计。
图6展示了判别器的输入输出流程。可见，判别器整体采用多尺度判别器构造，本发明将图像分为了三个尺度，每个尺度分别对应一个判别器，不同尺度的判别器网络结构一致。本发明图像按2和4倍率进行下采样，创建了三个图像尺度，当然也可按照实际情况选择倍率进行下采样或者上采样，增加尺度数量，尺度数量增加虽然能够更好提升判别器性能，但也会增加计算资源。
图7展示了单个判别器的具体结构。判别器也是由多个基本块组成，首先第一个block对图像进行整理，随后连接残差块，最后连接两个block对图像的输出进行整理，最后利用全连接层进行判别结果输出。
全连接层的输入为512通道的特征图，全连接层将特征图展开为线性并进行串联，得到向量形式的输出，与源图像标签作为判别结果进行计算。
(三)模型压缩
在进行完所述(二)的图像融合中的算法训练后，接下来进行模型压缩操作。便于将算法模型迁移到嵌入式等计算资源有限的设备上，从而完成高实时的图像融合算法。
其中模型压缩的原则为在尽量保证图像融合结果准确度可接受的情况下尽大可能对模型进行压缩。
图8展示了模型压缩的具体步骤，主要分为剪枝、量化和共享、哈夫曼编码三个步骤，以下进行具体说明。
剪枝，剪枝操作即将神经网络中权重小于阈值的连接将从网络模型中移除。对于本发明，将所述(二)中生成对抗网络中的生成器的网络连接层进行剪枝操作。剪枝操作完成后需要对网络权重进行重新训练，评判图像融合效果。根据评判结果对阈值进行进一步调整，直至算法不失准确度的条件下相关权重参数量降至最少。
量化和共享，在所述剪枝完成后，为进一步压缩网络，考虑让多个连接参数共享权重，本发明考虑利用聚类思想，将每一层神经网络的共享权重的连接参数成为一个聚类，本发明采用k-means聚类方法对共享权重的参数进行聚类，当然也可以选用其它聚类方法；由于此处聚类问题并不复杂，因此选择经典聚类方法即可；对于k-means聚类的原理这里不再赘述。
哈夫曼编码，在完成所述量化和共享后，即考虑算法模型的存储，为降低存储空间，本发明引入哈夫曼码对算法模型进行存储，进一步降低存储空间，哈夫曼码根据使用频率来节省字符编码的存储空间。
(四)算法部署
在完成所述图像预处理、模型融合、模型压缩操作后，即可将压缩后的模型算法部署到嵌入式设备上，便于图像融合的实时性操作。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (4)

1.一种基于生成对抗网络的高实时多源图像融合方法，其特征在于，包括以下步骤：
步骤1：图像预处理，对数据集图像进行校正、去雾和去噪操作，同时为提升算法训练效率和性能，对数据集图像进行数据增广操作。
步骤2：生成对抗网络训练，图像融合部分采用生成对抗网络(GAN)进行设计，完成端到端的图像融合任务；
所述生成对抗网络通过生成器和判别器；
所述生成对抗网络训练整体流程为，将红外图像和可见光图像作为生成器输入，利用生成器输出融合图像；融合图像作为判别器输入，判别器根据源图像对融合图像进行判别，根据判别结果对生成器和判别器的权重参数进行自适应调整，直至网络收敛；训练结束后的进行测试和实际运行的为生成器部分；
生成对抗网络生成器部分的流程为，将红外图像和可见光图像作为输入，利用内容编码器提取图像内容信息，利用风格编码器提取图像特有信息，随后将红外图像和可见光图像的内容信息和和风格信息进行组合连接，作为解码器的输入，解码器最后输出融合图像；
生成对抗网络判别器部分的流程为，将融合图像作为输入，利用下采样或者上采样技术对图像进行多尺度转换，每一个尺度对应一个判别器进行分别训练，最后将判别结果组合；
步骤3：模型压缩，将步骤2训练好的生成对抗网络部署到嵌入式设备中，所述模型压缩包括包括以下步骤：剪枝、量化和共享、哈夫曼编码；
步骤4：算法部署，将步骤3压缩好的网路模型直接部署到嵌入式等计算资源有限的设备上，便于图像融合的实时性操作。
2.根据权利要求1所述的一种基于生成对抗网络的高实时多源图像融合方法，其特征在于：步骤三中，所述剪枝操作用于对生成对抗网络中小于阈值的不必要连接进行删除。
3.根据权利要求2所述的一种基于生成对抗网络的高实时多源图像融合方法，其特征在于：步骤三中，所述量化和共享操作将可以聚类的参数进行参数共享，进一步压缩模型，权重只在层内共享，不在层间共享。
4.根据权利要求3所述的一种基于生成对抗网络的高实时多源图像融合方法，其特征在于：步骤三中，所述哈夫曼编码用于模型的存储，通过哈夫曼编码进一步降低模型的存储空间。
CN202310116037.XA 2023-02-15 2023-02-15 一种基于生成对抗网络的高实时多源图像融合方法 Pending CN116309213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310116037.XA CN116309213A (zh) 2023-02-15 2023-02-15 一种基于生成对抗网络的高实时多源图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310116037.XA CN116309213A (zh) 2023-02-15 2023-02-15 一种基于生成对抗网络的高实时多源图像融合方法

Publications (1)

Publication Number Publication Date
CN116309213A true CN116309213A (zh) 2023-06-23

Family

ID=86789799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310116037.XA Pending CN116309213A (zh) 2023-02-15 2023-02-15 一种基于生成对抗网络的高实时多源图像融合方法

Country Status (1)

Country Link
CN (1) CN116309213A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726979A (zh) * 2024-02-18 2024-03-19 合肥中盛水务发展有限公司 一种基于神经网络的管廊管线管理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726979A (zh) * 2024-02-18 2024-03-19 合肥中盛水务发展有限公司 一种基于神经网络的管廊管线管理方法

Similar Documents

Publication Publication Date Title
CN110689599B (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN109993137A (zh) 一种基于卷积神经网络的快速人脸矫正方法
CN112967178B (zh) 一种图像转换方法、装置、设备及存储介质
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN114283120B (zh) 一种基于领域自适应的端到端多源异质遥感影像变化检测方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN113095470A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN116863320B (zh) 基于物理模型的水下图像增强方法及系统
CN117557775B (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN113838064A (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
CN114639002A (zh) 一种基于多模式特征的红外与可见光图像融合方法
CN116485867A (zh) 一种面向自动驾驶的结构化场景深度估计方法
CN116434012A (zh) 一种基于边缘感知的轻量型棉铃检测方法及系统
CN114998373A (zh) 基于多尺度损失函数的改进型U-Net云图分割方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN113674231B (zh) 基于图像增强的轧制过程中氧化铁皮检测方法与系统
CN113112441B (zh) 基于密集网络和局部亮度遍历算子的多波段低分辨率图像同步融合方法
CN111539434B (zh) 基于相似度的红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination