CN111861949B - 一种基于生成对抗网络的多曝光图像融合方法及系统 - Google Patents

一种基于生成对抗网络的多曝光图像融合方法及系统 Download PDF

Info

Publication number
CN111861949B
CN111861949B CN202010318771.0A CN202010318771A CN111861949B CN 111861949 B CN111861949 B CN 111861949B CN 202010318771 A CN202010318771 A CN 202010318771A CN 111861949 B CN111861949 B CN 111861949B
Authority
CN
China
Prior art keywords
image
network
representing
loss
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010318771.0A
Other languages
English (en)
Other versions
CN111861949A (zh
Inventor
王金华
何宁
徐光美
张敬尊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Union University
Original Assignee
Beijing Union University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Union University filed Critical Beijing Union University
Priority to CN202010318771.0A priority Critical patent/CN111861949B/zh
Publication of CN111861949A publication Critical patent/CN111861949A/zh
Application granted granted Critical
Publication of CN111861949B publication Critical patent/CN111861949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于生成对抗网络的多曝光图像融合方法及系统，其中方法包括训练步骤和测试步骤，所述训练步骤包括初始化判别网络D的参数θd和生成网络G的参数θg、训练判别网络和训练生成网络，其中所述训练判别网络包括以下子步骤：从真实图像中采集N个图像，{I1，I2，…，IN}；定义
Figure DDA0002460511490000011
Figure DDA0002460511490000012
获取N个图像样本对应的多曝光图像序列，记作
Figure DDA0002460511490000013
跟据生成器G，获得融合结果图像，记作
Figure DDA0002460511490000014
定义
Figure DDA0002460511490000015
采用SGD更新所述判别网络参数θd，
Figure DDA0002460511490000016
本发明利用卷积神经网络实现端到端的多曝光融合技术，经过融合后得到的结果图像，不仅有助于人眼对场景的辨识，而且对边缘检测、图像分割、图像锐化等数字图像后续处理和计算机视觉系统研究也具有积极的意义。

Description

一种基于生成对抗网络的多曝光图像融合方法及系统
技术领域
本发明涉及图像处理的技术领域，特别是一种基于生成对抗网络 的多曝光图像融合方法及系统。
背景技术
在日常生活中，当我们用传统相机在室内拍摄有阳光射入的门、 窗等场景图像时，或对着有太阳、灯光的方向拍摄图像时，不管怎样 调整相机参数，都会存在严重丢失场景细节信息的现象。为什么会出 现这种信息严重丢失的现象呢？原因在于真实场景所展现的亮度范围 超出了相机本身所能显示的动态范围。真实场景具有非常宽广的动态范围，比如说，从夜空中的星光到耀眼的太阳，场景亮度变化涵盖了大 约九个数量级(109)的动态范围。但是，目前普通的显示/输出设备受 到软硬件水平的限制，使得数字图像的存储、传输、处理、显示等都 是基于8-bit整数来进行的，只能表示256(约102)个深度等级，图 像的亮度级别十分有限。正是由于动态范围的不匹配才导致所获取的 图像细节信息丢失。由于一组同一场景不同曝光度的图像序列要比单 一图像提供更多的信息。较暗的照片可以提供场景明亮处的细节，而 较亮的图像可以较好地显示暗处细节。那么可以对多幅图像直接进行融合，分别提取每幅图像的有用信息，然后进行融合得到一幅尽可能 多的包含场景信息的高质量图像进行显示。
现有技术存在着下列问题：1)利用多幅同一场景不同曝光的图 像序列合成一幅该场景的HDR图像。但是，现有的通用显示设备(如 CRT显示器)仅能显示约两个数量级动态范围的亮度，这一状况由于受 到硬件成本的制约，短时期内难以得到改变。所以，如何使已获得HDR 图像在低动态范围的显示设备上有效地进行显示输出，即高动态范围 图像的色调映射问题。该过程过于复杂，限制了方法的实际应用。2) 多曝光图像融合，输入图像序列的个数往往不确定，这就限制了许多 现有生成对抗网络的应用。3)标准的生成对抗网络忽略了先验知识， 即批量样本中有一半是假的。这样，使判别器的训练过程很难收敛， 并且判别器不会做出合理的预测。这意味着标准生成对抗网络中的判别器存在梯度消失情况，不能被训练到最佳状态。
2018年公开了一篇题目为《Deep Recursive HDRI：Inverse Tone Mapping usingGenerative Adversarial Networks》的论文，其内容为：高动态范围图像包含了物理世界的亮度信息，比传统的低动态范 围图像提供了更真实的体验。由于大多数图像的动态范围较低，因此 从单个低动态范围图像中恢复丢失的动态范围仍然很普遍。本文提出 了一种新的方法，通过深度神经网络从低动态范围恢复丢失的动态范 围，该方法是基于条件生成对抗网络结构的多曝光叠加的高动态范围 图像生成框架。在这种结构中，通过设置一个目标函数来训练网络，该目标函数是L1损失和生成性对抗性网络损失的组合。在实验结果中，与现有方法相比，该网络在避免公共基准上的伪影的同时，生成了一 个由具有不同曝光值的真实图像组成的多曝光堆栈。该论文提到的方 法是用多幅同一场景不同曝光的图像序列合成一幅该场景的HDR图像。但是，现有的通用显示设备(如CRT显示器)仅能显示约两个数量级动 态范围的亮度，这一状况由于受到硬件成本的制约，短时期内难以得 到改变，需要后续的色调映射算法才能解决使已获得HDR图像在低动 态范围的显示设备上有效地进行显示输出。
发明内容
为了解决上述的技术问题，本发明提出的基于生成对抗网络的多 曝光图像融合方法，利用卷积神经网络实现端到端的多曝光融合技术， 经过融合后得到的结果图像，不仅有助于人眼对场景的辨识，而且对 边缘检测、图像分割、图像锐化等数字图像后续处理和计算机视觉系统研究也具有积极的意义。
本发明的第一目的是提供一种基于生成对抗网络的多曝光图像 融合方法，包括训练步骤和测试步骤，所述训练步骤包括初始化判别 网络D的参数θd和生成网络G的参数θg、训练判别网络和训练生成网 络，其中所述训练判别网络包括以下子步骤：
步骤01：从真实图像中采集N个图像，记作{I1，I2，...，IN}；
步骤02：定义
Figure SMS_1
其中，/>
Figure SMS_2
表示批处理 中所有真实图像判别值的平均值，Ir表示真实图像，i表示输入图像序 列的第i个图像，C(·)表示当前判别器输出概率值，/>
Figure SMS_3
是批处理中所 有真实图像判别值的平均值的计算公式；
步骤03：获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_4
其中，Iseq表示输入多曝光图像序列；
步骤04：跟据生成器G，获得融合结果图像，记作
Figure SMS_5
其中，
Figure SMS_6
f表示由生成器G生成的假样本，θG表示生成网 络参数；
步骤05：定义
Figure SMS_7
其中，/>
Figure SMS_8
表示批处 理中所有假图像判别值的平均值，If表示假图像，/>
Figure SMS_9
是批处理中所 有假图像判别值的平均值的计算公式；
步骤06：采用SGD更新所述判别网络参数θd，
Figure SMS_10
其中， LOSSD为判别网络损失函数，
Figure SMS_11
其中，DRa表示相对平均判别器，/>
Figure SMS_12
σ表示 sigmoid函数。
优选的是，训练所述判别网络的过程要更新nD次，其中，nD表示 所述判别网络的迭代次数。
在上述任一方案中优选的是，所述训练生成网络包括以下子步骤： 步骤11：从真实图像中采集N个图像，记作{I1，I2，...，IN}；
步骤12：定义
Figure SMS_13
步骤13：获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_14
步骤14：根据生成器G，获得融合结果图像，记作
Figure SMS_15
其中，
Figure SMS_16
步骤15：定义
Figure SMS_17
步骤16：采用SGD更新所述生成网络参数θg，
Figure SMS_18
其中，LOSSVGG表示特征损失函数，LOSSPixel表示内容损失函数，LOSSGen表示对抗损 失函数，LOSSclarity表示清晰度损失函数。
在上述任一方案中优选的是，所述生成网络的目标函数定义为
Figure SMS_19
其中，LOSSG为生成网络的损失函数，所述生成网络的损失函数LOSSG由所述内容损失函数LOSSPixel、所述特征损失函数LOSSVGG、所述清晰 度损失函数LOSSclarity和所述对抗损失函数LOSSGen四组成。
在上述任一方案中优选的是，所述特征损失函数LOSSVGG是生成图 像的特征与真实图像特征的MSE值，公式为
Figure SMS_20
其中，Wij和Hij分别代表特征图像的宽度和高度，x、y表示特征的坐 标位置，φij表示VGG网络图中第j个最大池化层之前的第i个卷积神 经网络的输出。
在上述任一方案中优选的是，所述内容损失函数LOSSPixel用于体 现像素级的MSE损失，公式为
Figure SMS_21
其中，W和H表示图像的宽度和高度。
在上述任一方案中优选的是，所述对抗损失函数LOSSGen通过交叉 熵函数来定义，公式为：
Figure SMS_22
在上述任一方案中优选的是，所述清晰度损失函数LOSSclarity通过 分别提取生成图像和真实图像的清晰度特征，并计算两个特征的MSE 值，公式为：
Figure SMS_23
其中，Sh表示水平梯度图像，Sv表示垂直梯度图像，Lr表示真实图像 对应的灰度图像，
Figure SMS_24
表示生成图像对应的灰度图像，Ws和Hs表 示梯度图像的大小。
在上述任一方案中优选的是，所述测试步骤是指将K张图像序列 输入生成对抗网络，经过多曝光图像融合处理后得到结果图像，其中， K为不确定数值的常数。
本发明的第二目的是提供一种基于生成对抗网络的多曝光图像 融合系统，包括训练模块和测试模块，所述训练模块包括初始化子模 块、判别网络训练子模块和生成网络训练子模块，其中，所述判别网 络训练子模块的训练包括以下子步骤：
步骤01：从真实图像中采集N个图像，记作{I1，I2，...，IN}；
步骤02：定义
Figure SMS_25
其中，/>
Figure SMS_26
表示批处理 中所有真实图像判别值的平均值，Ir表示真实图像，i表示输入图像序 列的第i个图像，C(·)表示当前判别器输出概率值，/>
Figure SMS_27
表示是批处理 中所有真实图像判别值的平均值的计算公式；
步骤03：获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_28
其中，Iseq表示输入多曝光图像序列；
步骤04：跟据生成器G，获得融合结果图像，记作
Figure SMS_29
其中，
Figure SMS_30
f表示由生成器G生成的假样本，θG表示生成网 络参数；
步骤05：定义
Figure SMS_31
其中，/>
Figure SMS_32
表示批处 理中所有假图像判别值的平均值，If表示假图像，/>
Figure SMS_33
表示是批处理 中所有假图像判别值的平均值的计算公式；
步骤06：采用SGD更新所述判别网络参数θd，
Figure SMS_34
其中， LOSSD为判别网络损失函数，
Figure SMS_35
其中，DRa表示相对平均判别器，/>
Figure SMS_36
σ表示 sigmoid函数。
优选的是，训练所述判别网络的过程要更新nD次，其中，nD表示 所述判别网络的迭代次数。
在上述任一方案中优选的是，所述生成网络训练子模块的训练包 括以下子步骤：
步骤11：从真实图像中采集N个图像，记作{I1，I2，...，IN}；
步骤12：定义
Figure SMS_37
步骤13：获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_38
步骤14：根据生成器G，获得融合结果图像，记作
Figure SMS_39
其中，
Figure SMS_40
步骤15：定义
Figure SMS_41
步骤16：采用SGD更新所述生成网络参数θg，
Figure SMS_42
其中，LOSSVGG表示特征损失函数，LOSSPixel表示内容损失函数，LOSSGen表示对抗损 失函数，LOSSclarity表示清晰度损失函数。
在上述任一方案中优选的是，所述生成网络的目标函数定义为
Figure SMS_43
其中，LOSSG为生成网络的损失函数，所述生成网络的损失函数LOSSG由所述内容损失函数LOSSPixel、所述特征损失函数LOSSVGG、所述清晰 度损失函数LOSSclarity和所述对抗损失函数LOSSGen四组成。
在上述任一方案中优选的是，所述特征损失函数LOSSVGG是生成图 像的特征与真实图像特征的MSE值，公式为
Figure SMS_44
其中，Wij和Hij分别代表特征图像的宽度和高度，x、y表示特征 的坐标位置，φij表示VGG网络图中第j个最大池化层之前的第i个卷 积神经网络的输出。
在上述任一方案中优选的是，所述内容损失函数LOSSPixel用于体 现像素级的MSE损失，公式为
Figure SMS_45
其中，W和H表示图像的宽度和高度。
在上述任一方案中优选的是，所述对抗损失函数LOSSGen通过交叉 熵函数来定义，公式为：
Figure SMS_46
在上述任一方案中优选的是，所述清晰度损失函数LOSSclarity通过 分别提取生成图像和真实图像的清晰度特征，并计算两个特征的MSE 值，公式为：
Figure SMS_47
其中，Sh表示水平梯度图像，Sv表示垂直梯度图像，Lr表示真实图像 对应的灰度图像，
Figure SMS_48
表示生成图像对应的灰度图像，Ws和Hs表 示梯度图像的大小。
在上述任一方案中优选的是，所述测试模块用于将K张图像序列 输入生成对抗网络，经过多曝光图像融合处理后得到结果图像，其中， K为不确定数值的常数。
本发明提出了一种基于生成对抗网络的多曝光图像融合方法及 系统，能够获取更好的视频效果多曝光图像融合技术既具有实际的应 用价值，又具有理论研究价值。
附图说明
图1为按照本发明的基于生成对抗网络的多曝光图像融合方法的 一优选实施例的流程图。
图2为按照本发明的基于生成对抗网络的多曝光图像融合系统的 一优选实施例的模块图。
图3为按照本发明的基于生成对抗网络的多曝光图像融合方法的 一优选实施例的融合框架图。
图4为按照本发明的基于生成对抗网络的多曝光图像融合方法的 一优选实施例的生成网络过程图。
图5为按照本发明的基于生成对抗网络的多曝光图像融合方法的 一优选实施例的层间权重卷积过程图。
图6为按照本发明的基于生成对抗网络的多曝光图像融合方法的 一优选实施例的判别网络结构图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的阐述。
实施例一
如图1所示，一种基于生成对抗网络的多曝光图像融合方法，包 括训练步骤1000和测试步骤1100。
在训练步骤1000，执行步骤1010，初始化判别网络D的参数θd和 生成网络G的参数θg。
执行步骤1020，训练判别网络，训练所述判别网络的过程要更新 nD次，其中，nD表示所述判别网络的迭代次数。
在本步骤中，执行步骤1021，从真实图像中采集N个图像，记作{I1，I2，...，IN}。
执行步骤1022，定义
Figure SMS_49
其中，/>
Figure SMS_50
表 示批处理中所有真实图像判别值的平均值，Ir表示真实图像，i表示输 入图像序列的第i个图像，C(·)表示当前判别器输出概率值，/>
Figure SMS_51
表示 是批处理中所有真实图像判别值的平均值的计算公式。
执行步骤1023，获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_52
其中，Iseq表示输入多曝光图像序列。
执行步骤1024，跟据生成器G，获得融合结果图像，记作
Figure SMS_53
其中，/>
Figure SMS_54
f表示由生成器G生成的假 样本，θG表示生成网络参数。
执行步骤1025，定义
Figure SMS_55
其中，/>
Figure SMS_56
表示批处理中所有假图像判别值的平均值，If表示假图像，/>
Figure SMS_57
表示 是批处理中所有假图像判别值的平均值的计算公式。
执行步骤1026，采用SGD更新所述判别网络参数θd，
Figure SMS_58
其中，LOSSD为判别网络损失函数，
Figure SMS_59
其中，DRa表示相对平均判别器，/>
Figure SMS_60
σ表示 sigmoid函数。
执行步骤1030，训练生成网络。生成网络的目标函数定义为
Figure SMS_61
其中，LOSSG为生成网络的损失函数，所述生成网络的损失函数 LOSSG由内容损失函数LOSSPixel、特征损失函数LOSSVGG、清晰度损失 函数LOSSclarity和对抗损失函数LOSSGen四部分组成。
在本步骤中，执行步骤1031，从真实图像中采集N个图像，记作 {I1，I2，...，IN}。
执行步骤1032，定义
Figure SMS_62
执行步骤1033，获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_63
执行步骤1034，根据生成器G，获得融合结果图像，记作
Figure SMS_64
其中，/>
Figure SMS_65
执行步骤1035，定义
Figure SMS_66
执行步骤1036，采用SGD更新所述生成网络参数θg，
Figure SMS_67
其中，LOSSVGG表示特征损失函数，LOSSPixel表示内容损失函数，LOSSGen表示对抗损 失函数，LOSSclarity表示清晰度损失函数。
特征损失函数LOSSVGG是生成图像的特征与真实图像特征的MSE值，公 式为
Figure SMS_68
其中，Wij和Hij分别代表特征图像的宽度和高度，x、y表示特征 的坐标位置，φij表示VGG网络图中第j个最大池化层之前的第i个卷 积神经网络的输出。
内容损失函数LOSSPixel用于体现像素级的MSE损失，公式为
Figure SMS_69
其中，W和H表示图像的宽度和高度。
对抗损失函数LOSSGen通过交叉熵函数来定义，公式为：
Figure SMS_70
清晰度损失函数LOSSclarity通过分别提取生成图像和真实图像的 清晰度特征，并计算两个特征的MSE值，公式为：
Figure SMS_71
其中，Sh表示水平梯度图像，Sv表示垂直梯度图像，Lr表示真实 图像对应的灰度图像，
Figure SMS_72
表示生成图像对应的灰度图像，Ws和Hs表示梯度图像的大小。
测试步骤1100是指将K张图像序列输入生成对抗网络，经过多 曝光图像融合处理后得到结果图像，其中，K为不确定数值的常数。
实施例二
本专利利用相对生成对抗网络实现一种端到端的多曝光图像融 合方法，通过生成网络来实现多曝光图像的融合，通过判别网络判别 生成网络所融合图像的真伪，所提的生成对抗网络主要由生成网络、 判别网络、特征提取网络组成。
生成网络根据输入的多曝光图像序列生成一幅融合结果图像。
判别网络用于判断输入的图像是真实图像(拍摄的图像)还是生成 的假图像(由生成网络生成的图像)。
特征提取网络用于提取图像特征，辅助生成网络的训练，特征提取 网络采用预先训练的模型，对抗网络训练过程中不需要对特征提取网 络进行训练。
在训练过程中判别网络不断提升对输入图像的判别能力，生成网络 不断提升所生成图像的质量，使判别网络难以区分是否是生成图像。
所提出的生成对抗网络框架如图3所示。下面分训练样本、网络结 构(生成网络、判别网络)、损失函数(生成网络的损失函数、判别 网络的损失函数)、优化方法和训练过程进行阐述。
1、训练样本
本专利所设计的网络采用有监督学习。训练样本数据来源 ImageNet和2K_Resolution数据集，从原始图像采集一个子图像sub， 通过对子图像乘以一组随机系数来生成不同曝光的图像序列，包含低 曝光到高曝光的图像，不可以全是低曝光，或全是高曝光图像序列， 图像序列至少包含3张图像，子图像sub作为标签图像数据。在生成多曝光图像时，随机对部分样本采用下采样后再复原的方式，降低训 练图像质量。所有的样本数据归一化到[0，1]之间。
2、网络结构
对抗生成网络主要由生成网络和判别网络构成。
1)生成网络结构
生成网络是一个全卷积网络，输入是多曝光序列，通过网络输出一 个生成图像。具体网络结构如图4所示。
第一层：层间共享权重卷积层。对于多曝光图像融合，输入图像序 列的个数往往不确定，这就限制了许多现有生成网络的应用。本专利 提出一种层间共享权重卷积层，可以解决输入不确定的问题。不管多 少图像序列作为输入，在经过层间共享卷积操作后，可以得到固定数 量特征图，输出的特征图作为后续网络的输入。
层间共享权重卷积的公式：
Figure SMS_73
其中N表示图像序列个数，i表示输入图像序列的第i个图像。W1表示 滤波器，W1是n1个f1×f1卷积核，可以看出W1是对原始图像序列进行n1次卷积操作，每个卷积操作采用f1×f1大小的卷积核，第一层卷积输 出n1个特征图，该层可看做原始图像序列的一种非线性表示，max是 非线性函数。例如：如果是RGB彩色图像，卷积核大小是3×3×3×n1。 当n1＝1024时，图像序列经过一组3×3×3过滤器后，得到一个特征 图像；经过1024组过滤器就可以得到1024个特征图像，1024个过滤 器可以捕获足够的图像特征数据，从而使后续的网络训练有充足的信 息。权重共享过程如图5所示：
第二层：卷积层。卷积核大小3*3，stride为1，padding为1， 输出通道数512，采用Relu激活函数。
第三层：卷积层。卷积核大小为3*3，stride为1，padding为1， 输出通道数512，采用Relu激活函数。
第四层：卷积层。卷积核大小为1*1，stride为1，padding为0， 输出通道数256，采用Relu激活函数。
第五层：拼接层。通道合并将第一层的1024个输出特征图与第四 层输出256个特征图叠加到一起，形成1280个通道的特征图。利用第一层特征的重用，可以减少梯度消失情况的发生。
第六层：卷积层。卷积核大小为1*1，stride为1，padding为0， 输出通道数为3；采用Sigmod激活函数；本层的输出即为RGB融合结 果图像。
2)判别网络结构
判别网络用于判断输入图像是生成网络生成的假图像，还是真实 图像。网络输出是一个概率值。具体网络结构如图6所示：
中间有7个卷积层构成(每个单元有Conv+BN+Swith组成)。具 体描述如表1所示：
表1判别网络结构描述
输入 RGB图像
Conv+Swith激活 输入3通道；输出64通道；卷积核3×3；Stride：1；Padding：1
Conv+BN+Swith激活 输入64通道；输出64通道；卷积核3×3；Stride：2；Padding：1
Conv+BN+Swith激活 输入64通道；输出128通道；卷积核3×3；Stride：1；Padding：1
Conv+BN+Swith激活 输入128通道；输出128通道；卷积核3×3；Stride：2；Padding：1
Conv+BN+Swith激活 输入128通道；输出256通道；卷积核3×3；Stride：1；Padding：1
Conv+BN+Swith激活 输入256通道；输出256通道；卷积核3×3；Stride：2；Padding：1
Conv+BN+Swith激活 输入256通道；输出512通道；卷积核3×3；Stride：1；Padding：1
Conv+BN+Swith激活 输入512通道；输出512通道；卷积核3×3；Stride：2；Padding：1
Conv 输入512通道；输出3通道；卷积核1×1；Stride：1；Padding：0
Average池化+Sigmod激活 池化核为上层输出特征图大小，即特征图的平均值
表1
由上表可以看出，最后一层采用的Sigmod激活函数，其他激活层采用 了Swith激活函数，定义如下：
f(x)＝x×sigmod(x) (2)
3、损失函数
(1)生成网络的目标函数定义如下：
Figure SMS_74
其中N表示批处理图像样本个数，Iseq表示输入多曝光图像序列，Ir表示 真实图像。θG为生成网络参数。LOSSGen为生成网络的损失，它由内容 损失、特征损失、清晰度损失和生成对抗损失四部分组成。
1)内容损失
内容损失是指像素级的MSE损失，具体公式如下：
Figure SMS_75
其中W和H表示图像的宽度和高度。MSE损失可以解决图像融合后低频 信息的保持，但缺少高频信息，过于平滑，合成图像不够光滑，视觉 效果不够自然。
2)特征损失
特征损失是生成图像的特征与真实图像特征的MSE值。特征通过 VGG19来提取，损失通过分别提取生成图像和真实图像的VGG特征， 并计算两个特征的MSE值，将此值作为VGG特征损失。定义φij是VGG 网络图中第j个最大池化层之前的第i个卷积神经网络的输出。
Figure SMS_76
其中Wij和Hij分别代表特征图像的宽度和高度。
3)清晰度损失
清晰度损失通过分别提取生成图像和真实图像的清晰度特征，并 计算两个特征的MSE值。所提的清晰度损失可以通过计算梯度的方式 实现。梯度计算采用过滤器与灰度图像进行卷积得到，可以分别得到 垂直和水平两个方向的梯度图像。第一个卷积核如公式(6)所示，用 于提取水平方向的梯度：
Figure SMS_77
第二个卷积核如公式(7)所示，用于提取垂直方向的梯度：
Figure SMS_78
输入图像若是彩色图像时，需要转为灰度图像：Gray＝R*0.299 +G*O.587+B*0.114。
灰度图像经过水平和垂直卷积操作后，得到2个输出通道的特征 图。然后进行均值池化进行处理，获得局部梯度值，池化核大小设置 3×3，步长为3。计算真实图像的清晰度特征和生成图像的清晰度特 征的MSE，得到特征损失。
Figure SMS_79
Sh表示水平梯度图像，Sv表示垂直梯度图像，Lr表示真实图像对 应的灰度图像，
Figure SMS_80
表示生成图像对应的灰度图像，Ws和Hs表示 梯度图像的大小。
4)对抗损失
本专利采用相对生成对抗网络来设计对抗损失。与标准判别器 D估算一个输入图像I是真实的概率不同，相对判别器预测真实图像Ir比生成的假图像If(定义：
Figure SMS_81
相对更真实的概率。为了使相 对判别器更具全局性，将相对判别器定义在平均意义上，而不是在相 对类型数据的随机样本上。具体来说，采用相对平均判别器 (Relativisticaverage Discriminator，RaD)代替了标准鉴别器，记为DRa。 标准判别器可以表示为D(x)＝σ(C(x))D(x)＝σ(C(x))，其中σ是S型函 数，C(x)是未转换的判别器输出。DRa公式表示为
Figure SMS_82
Figure SMS_83
其中/>
Figure SMS_84
表示对批处理中所有假图像判别值的 平均值。
生成器对抗损失通过交叉熵函数来定义，公式为：
Figure SMS_85
(2)判别器损失：
判别器损失它不是测量“输入数据是真实的概率”，而是在测 量“输入数据比对立类型(如果输入是真实的，对立类型则为生成的 假数据；如果输入为假数据，对立类型则为真实数据)的随机采样数 据更真实的概率。判别器的损失为公式(9)的对称形式：
Figure SMS_86
可以看出，判别器损失能够估计给定真实数据比平均假数据更真实的 概率。此方法具有o(m)复杂度。
4、训练过程
优化方法选择Adam，初始学习率0.0001，训练2000轮后，学习率 降低为0.00001。训练过程每个批次64个样本，即N＝64。假设判别 器的迭代次数用nD表示，基于生成对抗网络的多曝光图像融合方法可 描述为：
(1)初始化判别器D的参数θd和生成网络G的参数θg
(2)每次迭代
训练判别器过程(更新nD次)：
·从真实图像中采样N个图像，记作{I1，I2，...，IN}。
·定义
Figure SMS_87
(C(·)表示当前判别器输出概率值)。
·获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_88
·根据生成器G，获得融合结果图像，记作
Figure SMS_89
Figure SMS_90
·定义
Figure SMS_91
·根据
Figure SMS_92
采用SGD更新判别器参数θd：
Figure SMS_93
训练生成器过程(更新一次)：
·从真实图像中采样N个图像，记作{I1，I2，...，IN}。
·定义
Figure SMS_94
(C(·)表示当前判别器输出概率值)
·获取N个图像样本对应的多曝光图像序列，记作
Figure SMS_95
·根据生成器G，获得融合结果图像，记作
Figure SMS_96
Figure SMS_97
·定义
Figure SMS_98
·根据LOSSD＝LOSSVGG+LOSSPixel+LOSSGen+LOSSclarity，根据公式 (4)，公式(5)，公式(8)和公式(9)，采用SGD更新判别器参数θg，
Figure SMS_99
多曝光图像融合技术已是计算机视觉领域里的一个研究热点。多 曝光融合算法的最终目标是使生成的结果图像在图形设备上显示时， 人类所获得的视觉感知与其置身于真实环境中相同，即被观察图像与 真实场景不但展现的信息一致，而且给人类带来的视觉感觉也是一致 的。经过多曝光图像融合处理后得到的结果图像，不仅有助于人眼对场景的辨识，而且对边缘检测、图像分割、物体检测及识别等计算机 视觉系统研究也具有积极的意义。本专利利用生成对抗网络，实现一 种端到端的多曝光融合方法，能够获取更好的视频效果。所以，本专 利提出的多曝光图像融合技术既具有实际的应用价值，又具有理论研 究价值。
本申请一种基于生成对抗网络的多曝光图像融合方法具有以下 特点：
1)能够对多幅不同曝光度的图像直接进行融合，生成一幅高质 量图像直接在通用显示设备上显示，不需后续处理。
2)层间共享权重卷积层。对于多曝光图像融合，输入图像序列 的个数往往不确定，这就限制了许多现有生成网络的应用。本专利提 出一种层间共享权重卷积层，可以解决输入不确定的问题。不管多少 图像序列作为输入，在经过层间共享卷积操作后，可以得到固定数量特征图，输出的特征图作为后续网络的输入。
3)生成网络的损失函数出除了内容损失，特征损失，对抗损失， 还增加了清晰度损失，构建总体损失函数能够获取更多的图像边缘信 息。
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述， 但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做 的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施 例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似 的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于生成对抗网络的多曝光图像融合方法，包括训练步骤和测试步骤，其特征在于，所述训练步骤包括初始化判别网络D的参数θd和生成网络G的参数θg、训练判别网络和训练生成网络，其中所述训练判别网络包括以下子步骤：
步骤01：从真实图像中采集N个图像，记作{I1，I2，…，IN}；
步骤02：定义
Figure FDA0002460511460000011
其中，/>
Figure FDA0002460511460000012
表示批处理中所有真实图像判别值的平均值，Ir表示真实图像，i表示输入图像序列的第i个图像，C(·)表示当前判别器输出概率值，/>
Figure FDA0002460511460000013
表示是批处理中所有真实图像判别值的平均值的计算公式；
步骤03：获取N个图像样本对应的多曝光图像序列，记作
Figure FDA0002460511460000014
其中，Iseq表示输入多曝光图像序列；
步骤04：跟据生成器G，获得融合结果图像，记作
Figure FDA0002460511460000015
其中，
Figure FDA0002460511460000016
f表示由生成器G生成的假样本，θG表示生成网络参数；
步骤05：定义
Figure FDA0002460511460000017
其中，/>
Figure FDA0002460511460000018
表示批处理中所有假图像判别值的平均值，If表示假图像，/>
Figure FDA0002460511460000019
是批处理中所有假图像判别值的平均值的计算公式；
步骤06：采用SGD更新所述判别网络参数θd，
Figure FDA00024605114600000110
其中，LOSSD为判别网络损失函数，
Figure FDA00024605114600000111
其中，DRa表示相对平均判别器，/>
Figure FDA00024605114600000112
σ表示sigmoid函数。
2.如权利要求1所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：训练所述判别网络的过程要更新nD次，其中，nD表示所述判别网络的迭代次数。
3.如权利要求1所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：所述训练生成网络包括以下子步骤：
步骤11：从真实图像中采集N个图像，记作{I1，I2，…，IN}；
步骤12：定义
Figure FDA0002460511460000021
步骤13：获取N个图像样本对应的多曝光图像序列，记作
Figure FDA0002460511460000022
步骤14：根据生成器G，获得融合结果图像，记作
Figure FDA0002460511460000023
其中，
Figure FDA0002460511460000024
步骤15：定义
Figure FDA0002460511460000025
步骤16：采用SGD更新所述生成网络参数θg，
Figure FDA0002460511460000026
其中，LOSSVGG表示特征损失函数，LOSSPixel表示内容损失函数，LOSSGen表示对抗损失函数，LOSSclarity表示清晰度损失函数。
4.如权利要求3所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：所述生成网络的目标函数定义为
Figure FDA0002460511460000027
其中，LOSSG为生成网络的损失函数，所述生成网络的损失函数LOSSG由所述内容损失函数LOSSPixel、所述特征损失函数LOSSVGG、所述清晰度损失函数LOSSclarity和所述对抗损失函数LOSSGen四组成。
5.如权利要求4所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：所述特征损失函数LOSSVGG是生成图像的特征与真实图像特征的MSE值，公式为
Figure FDA0002460511460000031
其中，Wij和Hij分别代表特征图像的宽度和高度，x、y表示特征的坐标位置，φij表示VGG网络图中第j个最大池化层之前的第i个卷积神经网络的输出。
6.如权利要求4所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：所述内容损失函数LOSSPixel用于体现像素级的MSE损失，公式为
Figure FDA0002460511460000032
其中，W和H表示图像的宽度和高度。
7.如权利要求5所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：所述对抗损失函数LOSSGen通过交叉熵函数来定义，公式为：
Figure FDA0002460511460000033
8.如权利要求6所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：所述清晰度损失函数LOSSclarity通过分别提取生成图像和真实图像的清晰度特征，并计算两个特征的MSE值，公式为：
Figure FDA0002460511460000034
其中，Sh表示水平梯度图像，Sv表示垂直梯度图像，Lr表示真实图像对应的灰度图像，
Figure FDA0002460511460000035
表示生成图像对应的灰度图像，Ws和Hs表示梯度图像的大小。
9.如权利要求1所述的基于生成对抗网络的多曝光图像融合方法，其特征在于：所述测试步骤是指将K张图像序列输入生成对抗网络，经过多曝光图像融合处理后得到结果图像，其中，K为不确定数值的常数。
10.一种基于生成对抗网络的多曝光图像融合系统，包括训练模块和测试模块，其特征在于，所述训练模块包括初始化子模块、判别网络训练子模块和生成网络训练子模块，其中，所述判别网络训练子模块的训练包括以下子步骤：
步骤01：从真实图像中采集N个图像，记作{I1，I2，…，IN}；
步骤02：定义
Figure FDA0002460511460000041
其中，/>
Figure FDA0002460511460000042
表示批处理中所有真实图像判别值的平均值，Ir表示真实图像，i表示输入图像序列的第i个图像，C(·)表示当前判别器输出概率值，/>
Figure FDA0002460511460000043
表示是批处理中所有真实图像判别值的平均值的计算公式；
步骤03：获取N个图像样本对应的多曝光图像序列，记作
Figure FDA0002460511460000044
其中，Iseq表示输入多曝光图像序列；
步骤04：跟据生成器G，获得融合结果图像，记作
Figure FDA0002460511460000045
其中，
Figure FDA0002460511460000046
f表示由生成器G生成的假样本，θG表示生成网络参数；
步骤05：定义
Figure FDA0002460511460000047
其中，/>
Figure FDA0002460511460000048
表示批处理中所有假图像判别值的平均值，If表示假图像，/>
Figure FDA0002460511460000049
表示是批处理中所有假图像判别值的平均值的计算公式；
步骤06：采用SGD更新所述判别网络参数θd，
Figure FDA00024605114600000410
其中，LOSSD为判别网络损失函数，
Figure FDA00024605114600000411
其中，DRa表示相对平均判别器，/>
Figure FDA0002460511460000051
σ表示sigmoid函数。
CN202010318771.0A 2020-04-21 2020-04-21 一种基于生成对抗网络的多曝光图像融合方法及系统 Active CN111861949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010318771.0A CN111861949B (zh) 2020-04-21 2020-04-21 一种基于生成对抗网络的多曝光图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010318771.0A CN111861949B (zh) 2020-04-21 2020-04-21 一种基于生成对抗网络的多曝光图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN111861949A CN111861949A (zh) 2020-10-30
CN111861949B true CN111861949B (zh) 2023-07-04

Family

ID=72985070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010318771.0A Active CN111861949B (zh) 2020-04-21 2020-04-21 一种基于生成对抗网络的多曝光图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN111861949B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270738B (zh) * 2020-11-16 2024-01-26 上海通途半导体科技有限公司 一种自适应的子像素渲染方法与装置
CN113762180B (zh) * 2021-09-13 2023-09-01 中国科学技术大学 基于毫米波雷达信号的人体活动成像的训练方法及系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法
CN107845062A (zh) * 2017-11-14 2018-03-27 北京小米移动软件有限公司 图像生成方法及装置
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108549850A (zh) * 2018-03-27 2018-09-18 联想(北京)有限公司 一种图像识别方法及电子设备
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN108875511A (zh) * 2017-12-01 2018-11-23 北京迈格威科技有限公司 图像生成的方法、装置、系统及计算机存储介质
CN109003297A (zh) * 2018-07-18 2018-12-14 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN109213876A (zh) * 2018-08-02 2019-01-15 宁夏大学 基于生成对抗网络的跨模态检索方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN109543827A (zh) * 2018-12-02 2019-03-29 清华大学 生成式对抗网络装置及训练方法
US10325201B1 (en) * 2019-01-31 2019-06-18 StradVision, Inc. Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
CN110070174A (zh) * 2019-04-10 2019-07-30 厦门美图之家科技有限公司 一种生成对抗网络的稳定训练方法
CN110225260A (zh) * 2019-05-24 2019-09-10 宁波大学 一种基于生成对抗网络的立体高动态范围成像方法
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151461A1 (en) * 2003-01-22 2004-08-05 Hill Steven E. Broadband optical pump source for optical amplifiers, planar optical amplifiers, planar optical circuits and planar optical lasers fabricated using group IV semiconductor nanocrystals

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法
CN107273936A (zh) * 2017-07-07 2017-10-20 广东工业大学 一种gan图像处理方法及系统
CN107437077A (zh) * 2017-08-04 2017-12-05 深圳市唯特视科技有限公司 一种基于生成对抗网络的旋转面部表示学习的方法
CN107845062A (zh) * 2017-11-14 2018-03-27 北京小米移动软件有限公司 图像生成方法及装置
CN108875511A (zh) * 2017-12-01 2018-11-23 北京迈格威科技有限公司 图像生成的方法、装置、系统及计算机存储介质
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108537743A (zh) * 2018-03-13 2018-09-14 杭州电子科技大学 一种基于生成对抗网络的面部图像增强方法
CN108549850A (zh) * 2018-03-27 2018-09-18 联想(北京)有限公司 一种图像识别方法及电子设备
CN108596267A (zh) * 2018-05-03 2018-09-28 Oppo广东移动通信有限公司 一种图像重建方法、终端设备及计算机可读存储介质
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109003297A (zh) * 2018-07-18 2018-12-14 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN109213876A (zh) * 2018-08-02 2019-01-15 宁夏大学 基于生成对抗网络的跨模态检索方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN109410239A (zh) * 2018-11-07 2019-03-01 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN109543827A (zh) * 2018-12-02 2019-03-29 清华大学 生成式对抗网络装置及训练方法
US10325201B1 (en) * 2019-01-31 2019-06-18 StradVision, Inc. Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
CN110070174A (zh) * 2019-04-10 2019-07-30 厦门美图之家科技有限公司 一种生成对抗网络的稳定训练方法
CN110225260A (zh) * 2019-05-24 2019-09-10 宁波大学 一种基于生成对抗网络的立体高动态范围成像方法
CN110675328A (zh) * 2019-08-02 2020-01-10 北京巨数数字技术开发有限公司 基于条件生成对抗网络的低照度图像增强方法及装置
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Segmenting lung fields in serial chest radiographs using both population-based and patient-specific shape statistics;Shi Y 等;《IEEE Transactions on Medical Imaging》;第481-494页 *
基于帧间差异的人脸篡改视频检测方法;张怡暄;李根;曹纭;赵险峰;;信息安全学报(02);第54-77页 *
神经网络在退化图像复原领域的进展综述;刘龙飞;李胜;赖舜男;;图学学报(02);第3-14页 *

Also Published As

Publication number Publication date
CN111861949A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN109284738B (zh) 不规则人脸矫正方法和系统
WO2021164731A1 (zh) 图像增强方法以及图像增强装置
CN111242868B (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
CN111861949B (zh) 一种基于生成对抗网络的多曝光图像融合方法及系统
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN115393227B (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN114862722B (zh) 一种图像亮度增强实现方法及处理终端
Zhang et al. Infrared thermal imaging super-resolution via multiscale spatio-temporal feature fusion network
CN113298744B (zh) 一种端到端的红外与可见光图像融合方法
CN112950521B (zh) 一种图像去雾方法及生成器网络
Guo et al. Reinforced depth-aware deep learning for single image dehazing
CN114202472A (zh) 一种高精度水下成像方法和装置
CN112927171A (zh) 一种基于生成对抗网络的单幅图像去模糊方法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN115331152B (zh) 一种消防识别方法和系统
CN116029954A (zh) 一种图像融合方法及装置
CN113674186A (zh) 基于自适应调整因子的图像合成方法、装置
Wang et al. RGNAM: recurrent grid network with an attention mechanism for single-image dehazing
CN114723611B (zh) 图像重建模型训练方法、重建方法、装置、设备及介质
Zhao et al. Single Image Dehazing Based on Enhanced Generative Adversarial Network
CN115456903B (zh) 一种基于深度学习的全彩夜视增强方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant