CN109447907A - 一种基于全卷积神经网络的单图像增强方法 - Google Patents

一种基于全卷积神经网络的单图像增强方法 Download PDF

Info

Publication number
CN109447907A
CN109447907A CN201811097909.8A CN201811097909A CN109447907A CN 109447907 A CN109447907 A CN 109447907A CN 201811097909 A CN201811097909 A CN 201811097909A CN 109447907 A CN109447907 A CN 109447907A
Authority
CN
China
Prior art keywords
convolutional layer
image
exposure
input
call number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811097909.8A
Other languages
English (en)
Other versions
CN109447907B (zh
Inventor
郁梅
陈晔曜
邵华
姜浩
蒋刚毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201811097909.8A priority Critical patent/CN109447907B/zh
Publication of CN109447907A publication Critical patent/CN109447907A/zh
Application granted granted Critical
Publication of CN109447907B publication Critical patent/CN109447907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于全卷积神经网络的单图像增强方法，首先，考虑到单曝光图像丢失的信息可由多曝光序列来描述，利用构建的预测曝光网络来产生与输入的图像曝光不同的低曝光图像和高曝光图像，以此构建出一个多曝光序列；接着，为避免手动提取融合特征导致增强方法鲁棒性低的问题，利用构建的曝光融合网络来完成特征提取、特征融合以及图像重建任务；最后，考虑到预测曝光网络中的反卷积层会造成输出的图像出现棋盘伪像，采用与人眼感知相关的结构相异性损失来训练预测曝光网络以减轻这种伪像；优点是其既能提高图像整体对比度，又能恢复一定的图像曝光不足和曝光过度区域的信息。

Description

一种基于全卷积神经网络的单图像增强方法
技术领域
本发明涉及一种单图像增强技术，尤其是涉及一种基于全卷积神经网络的单图像增强方法。
背景技术
由于相机传感器的动态范围限制，因此单次曝光的图像存在细节丢失现象，为提高图像质量，常采用多图像融合技术。但是，多图像的拍摄过程是对同一场景多次曝光，存在一定的时间间隔，对于动态场景会引入鬼影现象，因此多图像融合技术需要额外考虑鬼影的检测和去除。而单图像增强技术只需要调整单曝光图像的色调曲线，不会引入鬼影现象，所以实用性更强，但是单曝光图像无法表征整个场景的内容，其增强图像的质量会明显低于多图像融合技术得到的融合图像的质量。因此使单图像增强技术的性能接近多图像融合技术，已成为该技术走向应用的关键环节。
现有的单图像增强方法可以分为两大类：基于像素域和基于辐照域的增强方法。
基于像素域的增强方法是从原始图像域角度出发，通过调整图像的像素点的分布来增强图像整体的对比度。目前使用最广泛的方法是基于直方图和基于Retinex理论，例如Celik等人采用像素点间上下文信息来增强图像的对比度；Lee等人利用二维直方图分层差分表示来增强图像；Fu等人根据Retinex理论，通过加权变分模型估计图像的亮度分量和反射分量。但是这类方法能够利用的图像信息很有限，所以只能恢复图像隐藏的细节信息，无法恢复图像已丢失的细节信息。
单曝光图像丢失的细节信息存在对应的高动态范围(High dynamic range，HDR)数据中，因此基于辐照域的增强方法是通过色调曲线，将原始图像映射到HDR域，即辐照域以恢复图像的信息。Banterle等人提出的逆色调映射方法，其通过计算对数色调映射的逆函数，将原始图像映射到辐照域，但是对数色调映射是信息的有损压缩过程，其逆函数只能提高图像的整体亮度，无法恢复压缩过程中丢失的细节信息；Huo等人从人眼对图像的感知角度出发，提出了基于视网膜响应的逆色调映射方法，但是该方法的性能取决于多个自定义的参数，因此鲁棒性不强。随着深度神经网络在计算机视觉领域的成功应用，有研究者提出了利用深度卷积神经网络(Convolutional neural network，CNN)来学习单曝光图像的HDR重建。Eilertsen等人通过编码器提取原始低动态范围(Low dynamic range，LDR)图像的特征信息，再通过解码器重建HDR图像。由于LDR图像和HDR图像的动态范围不一致，所以采用对数映射来构造LDR图像和HDR图像之间的跳转连接。该方法能较好地提高图像的整体亮度，并恢复饱和区域的细节信息，但是考虑到图像低暗区域存在噪声，该方法无法恢复图像低暗区域的细节信息。
虽然相关研究已经取得了较好的单图像增强效果，但是在恢复图像曝光不足和曝光过度区域的信息上仍存在一定的不足。
发明内容
本发明所要解决的技术问题是提供一种基于全卷积神经网络的单图像增强方法，其能够有效地增强图像对比度，并且能够恢复出图像曝光不足和曝光过度区域的信息。
本发明解决上述技术问题所采用的技术方案为：一种基于全卷积神经网络的单图像增强方法，其特征在于包括以下步骤：
步骤一：构建两个级联网络，第一个网络为预测曝光网络、第二个网络为曝光融合网络；
预测曝光网络包括十二层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一反卷积层、第一跳转连接层、第二反卷积层、第二跳转连接层、第三反卷积层、第三跳转连接层、第四反卷积层、第五卷积层；
预测曝光网络中的第一卷积层至第四卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，将第一卷积层的输入记为Inormal，将第一卷积层的输出记为F1e，F1e＝A(W1e*Inormal+b1e)，其中，第一卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一卷积层的卷积步长为2，第一卷积层输入的通道数为m1e，第一卷积层输出的通道数为n1e，W1e表示第一卷积层的卷积核，W1e的维数为k1e×k1e，符号“*”为卷积操作符号，b1e表示维数为1×n1e的偏置项；令i表示卷积层的索引号，i＝2,3,4，i＝2时代表第二卷积层，i＝3时代表第三卷积层，i＝4时代表第四卷积层，索引号为i的卷积层的输入为F(i-1)e，将索引号为i的卷积层的输出记为Fie，Fie＝A(Wie*F(i-1)e+bie)，其中，索引号为i的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为i的卷积层的卷积步长为2，索引号为i的卷积层输入的通道数为mie，索引号为i的卷积层输出的通道数为nie，Wie表示索引号为i的卷积层的卷积核，Wie的维数为kie×kie，bie表示维数为1×nie的偏置项；
预测曝光网络中的第一反卷积层至第四反卷积层各自通过卷积核对输入的特征图进行上采样以恢复到第一卷积层输入的图像的尺寸，第一反卷积层的输入为F4e，将第一反卷积层的输出记为R1d，R1d＝A(W1d⊙F4e+b1d)，其中，第一反卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一反卷积层的反卷积步长为2，第一反卷积层输入的通道数为m1d，第一反卷积层输出的通道数为n1d，W1d表示第一反卷积层的卷积核，W1d的维数为k1d×k1d，符号“⊙”为反卷积操作符号，b1d表示维数为1×n1d的偏置项；令j表示反卷积层的索引号，j＝2,3,4，j＝2时代表第二反卷积层，j＝3时代表第三反卷积层，j＝4时代表第四反卷积层，索引号为j的反卷积层的输入为R(j-1)d，将索引号为j的反卷积层的输出记为Rjd，Rjd＝A(Wjd⊙R(j-1)d+bjd)，其中，索引号为j的反卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为j的反卷积层的反卷积步长为2，索引号为j的反卷积层输入的通道数为mjd，索引号为j的反卷积层输出的通道数为njd，Wjd表示索引号为j的反卷积层的卷积核，Wjd的维数为kjd×kjd，bjd表示维数为1×njd的偏置项；
预测曝光网络中的第一跳转连接层至第三跳转连接层各自通过连接算子和卷积核使输出的图像具有更多来自第一卷积层输入的图像的细节信息，令h表示跳转连接层的索引号，h＝1,2,3，h＝1时代表第一跳转连接层，h＝2时代表第二跳转连接层，h＝3时代表第三跳转连接层，索引号为h的跳转连接层的输入为F(4-h)e和Rhd，将索引号为h的跳转连接层的输出记为R'hd，R'hd＝A(Whs*concat[F(4-h)e,Rhd]+bhs)，再令Rhd＝R'hd，其中，索引号为h的跳转连接层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为h的跳转连接层的卷积步长为1，索引号为h的跳转连接层输入的通道数为mhs，索引号为h的跳转连接层输出的通道数为nhs，Whs表示索引号为h的跳转连接层的卷积核，Whs的维数为khs×khs，bhs表示维数为1×nhs的偏置项，concat[]表示连接算子，concat[F(4-h)e,Rhd]表示将索引号为4-h的卷积层的输出F(4-h)e与索引号为h的反卷积层的输出Rhd在通道数维度进行连接，Rhd＝R'hd中的“＝”为赋值符号；
预测曝光网络中的第五卷积层通过卷积核将输入的特征图重建为预测曝光后的图像，第五卷积层的输入为R4d，将第五卷积层的输出记为Iout，Iout＝A(Wp*R4d+bp)，其中，第五卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为mp，第五卷积层输出的通道数为np，Wp表示第五卷积层的卷积核，Wp的维数为kp×kp，bp表示维数为1×np的偏置项；
曝光融合网络包括七层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层；
曝光融合网络中的第一卷积层至第三卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，第一卷积层的输入有三幅图像，分别为Inormal、Ilow和Ihigh，将针对Inormal的第一卷积层的输出记为Fnormal,1，Fnormal,1＝A(W1E*Inormal+b1E)，将针对Ilow的第一卷积层的输出记为Flow,1，Flow,1＝A(W1E*Ilow+b1E)，将针对Ihigh的第一卷积层的输出记为Fhigh,1,Fhigh,1＝A(W1E*Ihigh+b1E)，其中，第一卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一卷积层的卷积步长为1，第一卷积层输入的通道数为m1E，第一卷积层输出的通道数为n1E，W1E表示第一卷积层的卷积核，W1E的维数为k1E×k1E，b1E表示维数为1×n1E的偏置项；令p表示卷积层的索引号，p＝2,3，p＝2时代表第二卷积层，p＝3时代表第三卷积层，针对Inormal的索引号为p的卷积层的输入为Fnormal,p-1，将针对Inormal的索引号为p的卷积层的输出记为Fnormal,p，Fnormal,p＝A(WpE*Fnormal,p-1+bpE)，针对Ilow的索引号为p的卷积层的输入为Flow,p-1，将针对Ilow的索引号为p的卷积层的输出记为Flow,p，Flow,p＝A(WpE*Flow,p-1+bpE)，针对Ihigh的索引号为p的卷积层的输入为Fhigh,p-1，将针对Ihigh的索引号为p的卷积层的输出记为Fhigh,p，Fhigh,p＝A(WpE*Fhigh,p-1+bpE)，其中，索引号为p的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为p的卷积层的卷积步长为1，索引号为p的卷积层输入的通道数为mpE，索引号为p的卷积层输出的通道数为npE，WpE表示索引号为p的卷积层的卷积核，WpE的维数为kpE×kpE，bpE表示维数为1×npE的偏置项；
曝光融合网络中的第四卷积层通过连接算子对输入的特征图在通道数维度进行连接，并通过卷积核进行特征融合，第四卷积层的输入有三类特征图，分别为Flow,3,Fnormal,3,Fhigh,3，将第四卷积层的输出记为Ffusion，Ffusion＝A(Wfusion*concat[Flow,3,Fnormal,3,Fhigh,3]+bfusion)，其中，第四卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为mfusion，第四卷积层输出的通道数为nfusion，Wfusion表示第四卷积层的卷积核，Wfusion的维数为kfusion×kfusion，bfusion表示维数为1×nfusion的偏置项，concat[]表示连接算子，concat[Flow,3,Fnormal,3,Fhigh,3]表示将Flow,3,Fnormal,3,Fhigh,3在通道数维度进行连接；
曝光融合网络中的第五卷积层至第七卷积层各自通过卷积核对输入的特征图进行重建，第五卷积层的输入为Ffusion，将第五卷积层的输出记为Ienhanced,5，Ienhanced,5＝A(W5D*Ffusion+b5D)，其中，第五卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为m5D，第五卷积层输出的通道数为n5D，W5D表示第五卷积层的卷积核，W5D的维数为k5D×k5D，b5D表示维数为1×n5D的偏置项；令g表示卷积层的索引号，g＝6,7，g＝6时代表第六卷积层，g＝7时代表第七卷积层，索引号为g的卷积层的输入为Ienhanced,g-1，将索引号为g的卷积层的输出记为Ienhanced,g，Ienhanced,g＝A(WgD*Ienhanced,g-1+bgD)，其中，索引号为g的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为g的卷积层的卷积步长为1，索引号为g的卷积层输入的通道数为mgD，索引号为g的卷积层输出的通道数为ngD，WgD表示索引号为g的卷积层的卷积核，WgD的维数为kgD×kgD，bgD表示维数为1×ngD的偏置项；
步骤二：选取个多曝光序列，且设定每个多曝光序列对应有一幅已知的高质量的融合图像，其中，然后将所有多曝光序列中的正常曝光图像和低曝光图像构成第一预测训练集，并将所有多曝光序列中的正常曝光图像和高曝光图像构成第二预测训练集；接着将第一预测训练集中的低曝光图像作为标签图像，将第一预测训练集中的正常曝光图像记为Inormal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测低曝光图像，记为Ilow，即Iout为Ilow；并将第二预测训练集中的高曝光图像作为标签图像，将第二预测训练集中的正常曝光图像记为Inormal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测高曝光图像，记为Ihigh，即Iout为Ihigh；之后将所有多曝光序列中的正常曝光图像Inormal、对应的预测低曝光图像Ilow、对应的预测高曝光图像Ihigh、对应的高质量的融合图像构成融合训练集；再将融合训练集中的高质量的融合图像作为标签图像，将融合训练集中的正常曝光图像Inormal、对应的预测低曝光图像Ilow、对应的预测高曝光图像Ihigh作为输入，输入到构建好的曝光融合网络中进行训练，训练得到对应的增强图像，记为Ienhanced，即Ienhanced,7为Ienhanced；训练结束后得到了预测曝光网络和曝光融合网络中的各卷积核的最佳参数及对应的最佳偏置项，得到了级联训练网络；
步骤三：选取一个多曝光序列作为测试序列；然后将测试序列中的正常曝光图像记为Itest,normal；接着将Itest,normal作为输入，输入到级联训练网络中，级联训练网络输出Itest,normal对应的增强图像，记为Itest,enhanced。
所述的步骤一中，取k1e＝7，m1e＝3，n1e＝32；k2e＝5，m2e＝32，n2e＝64；k3e＝3，m3e＝64，n3e＝128；k4e＝3，m4e＝128，n4e＝256；k1d＝3，m1d＝256，n1d＝128；k2d＝3，m2d＝128，n2d＝64；k3d＝5，m3d＝64，n3d＝32；k4d＝7，m4d＝32，n4d＝32；k1s＝1，m1s＝256，n1s＝128；k2s＝1，m2s＝128，n2s＝64；k3s＝1，m3s＝64，n3s＝32；kp＝1，mp＝32，np＝3；
取k1E＝3，m1E＝3，n1E＝16；k2E＝3，m2E＝16，n2E＝32；k3E＝3，m3E＝32，n3E＝32；kfusion＝1，mfusion＝96，nfusion＝32；k5D＝3，m5D＝32，n5D＝32；k6D＝3，m6D＝32，n6D＝16；k7D＝3，m7D＝16，n7D＝3。
与现有技术相比，本发明的优点在于：
1)本发明方法考虑到图像丢失的细节信息存在于对应的多曝光序列中，采用构建的预测曝光网络学习单图像与低曝光图像以及单图像与高曝光图像的映射关系，以此产生能表征场景高亮区域信息的低曝光图像和能表征场景低暗区域信息的高曝光图像，进而恢复图像丢失的细节信息，即能够恢复出图像曝光不足和曝光过度区域的信息。
2)本发明方法为避免手动提取融合特征造成增强方法鲁棒性低的问题，采用数据驱动方式，利用构建的曝光融合网络完成特征提取、特征融合以及图像重建任务，其中特征融合层采用1×1的卷积核能够学习多曝光图像之间的相对重要性，进而使重建图像包含更多来自每幅不同曝光图像在其良好曝光区域的信息，因此能够有效地增强图像对比度。
附图说明
图1为本发明方法的总体实现流程框图；
图2为本发明方法中构建的预测曝光网络的结构示意图；
图3为本发明方法中构建的曝光融合网络的结构示意图；
图4a为Balloons多曝光图像序列中的第7幅图像；
图4b为采用Huo提出的PITM模型对图4a所示的图像进行处理得到的增强图像；
图4c为采用Eilertsen提出的HDRCNN模型对图4a所示的图像进行处理得到的增强图像；
图4d为采用Fu提出的WVM模型对图4a所示的图像进行处理得到的增强图像；
图4e为采用Celik提出的CVC模型对图4a所示的图像进行处理得到的增强图像；
图4f为采用Lee提出的CE模型对图4a所示的图像进行处理得到的增强图像；
图4g为采用本发明方法对图4a所示的图像进行处理得到的增强图像；
图4h为图4a所示的图像对应的高质量的融合图像；
图5a为Lamp多曝光图像序列中的第3幅图像；
图5b为采用Huo提出的PITM模型对图5a所示的图像进行处理得到的增强图像；
图5c为采用Eilertsen提出的HDRCNN模型对图5a所示的图像进行处理得到的增强图像；
图5d为采用Fu提出的WVM模型对图5a所示的图像进行处理得到的增强图像；
图5e为采用Celik提出的CVC模型对图5a所示的图像进行处理得到的增强图像；
图5f为采用Lee提出的CE模型对图5a所示的图像进行处理得到的增强图像；
图5g为采用本发明方法对图5a所示的图像进行处理得到的增强图像；
图5h为图5a所示的图像对应的高质量的融合图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
由于相机传感器的动态范围限制，因此单次曝光图像存在信息丢失现象，针对此，本发明提出了一种基于全卷积神经网络的单图像增强方法，其首先考虑到自然场景的信息可由多曝光序列来描述，因此利用单曝光图像产生与其曝光不同的低/高曝光图像，以此恢复丢失的信息；再利用神经网络提取多曝光序列的融合特征，以此重建最终的增强图像。
本发明方法的总体实现流程框图如图1所示，本发明方法包括以下步骤：
步骤一：构建两个级联网络，第一个网络为预测曝光网络、第二个网络为曝光融合网络；
如图2所示，预测曝光网络包括十二层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一反卷积层、第一跳转连接层、第二反卷积层、第二跳转连接层、第三反卷积层、第三跳转连接层、第四反卷积层、第五卷积层；
预测曝光网络中的第一卷积层至第四卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，将第一卷积层的输入记为Inormal，将第一卷积层的输出记为F1e，F1e＝A(W1e*Inormal+b1e)，其中，第一卷积层的激活函数为指数线性单元(Exponential LinearUnit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，第一卷积层的卷积步长为2，第一卷积层输入的通道数为m1e，第一卷积层输出的通道数为n1e，W1e表示第一卷积层的卷积核，W1e的维数为k1e×k1e，符号“*”为卷积操作符号，b1e表示维数为1×n1e的偏置项；令i表示卷积层的索引号，i＝2,3,4，i＝2时代表第二卷积层，i＝3时代表第三卷积层，i＝4时代表第四卷积层，索引号为i的卷积层的输入为F(i-1)e，将索引号为i的卷积层的输出记为Fie，Fie＝A(Wie*F(i-1)e+bie)，其中，索引号为i的卷积层的激活函数为指数线性单元(Exponential Linear Unit，ELU)函数，A()表示指数线性单元(Exponential LinearUnit，ELU)函数，索引号为i的卷积层的卷积步长为2，索引号为i的卷积层输入的通道数为mie，索引号为i的卷积层输出的通道数为nie，Wie表示索引号为i的卷积层的卷积核，Wie的维数为kie×kie，bie表示维数为1×nie的偏置项；由于不同曝光图像的细节信息与图像亮度有关，即低曝光图像保留的信息主要存在其高亮区域，而高曝光图像保留的信息主要存在其低暗区域，这说明不同曝光图像的相关性不强，因此为恢复图像良好的细节信息，预测曝光网络中的前四层卷积层采用步长为2的卷积进行下采样以增大图像的感受野。
预测曝光网络中的第一反卷积层至第四反卷积层各自通过卷积核对输入的特征图进行上采样以恢复到第一卷积层输入的图像的尺寸，第一反卷积层的输入为F4e，将第一反卷积层的输出记为R1d，R1d＝A(W1d⊙F4e+b1d)，其中，第一反卷积层的激活函数为指数线性单元(Exponential Linear Unit，ELU)函数，A()表示指数线性单元(Exponential LinearUnit，ELU)函数，第一反卷积层的反卷积步长为2，第一反卷积层输入的通道数为m1d，第一反卷积层输出的通道数为n1d，W1d表示第一反卷积层的卷积核，W1d的维数为k1d×k1d，符号“⊙”为反卷积操作符号，b1d表示维数为1×n1d的偏置项；令j表示反卷积层的索引号，j＝2,3,4，j＝2时代表第二反卷积层，j＝3时代表第三反卷积层，j＝4时代表第四反卷积层，索引号为j的反卷积层的输入为R(j-1)d，将索引号为j的反卷积层的输出记为Rjd，Rjd＝A(Wjd⊙R(j-1)d+bjd)，其中，索引号为j的反卷积层的激活函数为指数线性单元(Exponential Linear Unit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，索引号为j的反卷积层的反卷积步长为2，索引号为j的反卷积层输入的通道数为mjd，索引号为j的反卷积层输出的通道数为njd，Wjd表示索引号为j的反卷积层的卷积核，Wjd的维数为kjd×kjd，bjd表示维数为1×njd的偏置项；
预测曝光网络中的第一跳转连接层至第三跳转连接层各自通过连接算子和卷积核使输出的图像具有更多来自第一卷积层输入的图像的细节信息，令h表示跳转连接层的索引号，h＝1,2,3，h＝1时代表第一跳转连接层，h＝2时代表第二跳转连接层，h＝3时代表第三跳转连接层，索引号为h的跳转连接层的输入为F(4-h)e和Rhd，将索引号为h的跳转连接层的输出记为R'hd，R'hd＝A(Whs*concat[F(4-h)e,Rhd]+bhs)，再令Rhd＝R'hd，其中，索引号为h的跳转连接层的激活函数为指数线性单元(Exponential Linear Unit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，索引号为h的跳转连接层的卷积步长为1，索引号为h的跳转连接层输入的通道数为mhs，索引号为h的跳转连接层输出的通道数为nhs，Whs表示索引号为h的跳转连接层的卷积核，Whs的维数为khs×khs，bhs表示维数为1×nhs的偏置项，concat[]表示连接算子，concat[F(4-h)e,Rhd]表示将索引号为4-h的卷积层的输出F(4-h)e与索引号为h的反卷积层的输出Rhd在通道数维度进行连接，Rhd＝R'hd中的“＝”为赋值符号；在此，跳转连接层通过卷积操作可以降低通道维度，并且增加预测曝光网络的非线性表达能力。
预测曝光网络中的第五卷积层通过卷积核将输入的特征图重建为预测曝光后的图像，第五卷积层的输入为R4d，将第五卷积层的输出记为Iout，Iout＝A(Wp*R4d+bp)，其中，第五卷积层的激活函数为指数线性单元(Exponential Linear Unit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为mp，第五卷积层输出的通道数为np，Wp表示第五卷积层的卷积核，Wp的维数为kp×kp，bp表示维数为1×np的偏置项；
如图3所示，曝光融合网络包括七层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层；
曝光融合网络中的第一卷积层至第三卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，第一卷积层的输入有三幅图像，分别为Inormal、Ilow和Ihigh，将针对Inormal的第一卷积层的输出记为Fnormal,1，Fnormal,1＝A(W1E*Inormal+b1E)，将针对Ilow的第一卷积层的输出记为Flow,1，Flow,1＝A(W1E*Ilow+b1E)，将针对Ihigh的第一卷积层的输出记为Fhigh,1,Fhigh,1＝A(W1E*Ihigh+b1E)，其中，第一卷积层的激活函数为指数线性单元(Exponential LinearUnit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，第一卷积层的卷积步长为1，第一卷积层输入的通道数为m1E，第一卷积层输出的通道数为n1E，W1E表示第一卷积层的卷积核，W1E的维数为k1E×k1E，b1E表示维数为1×n1E的偏置项；令p表示卷积层的索引号，p＝2,3，p＝2时代表第二卷积层，p＝3时代表第三卷积层，针对Inormal的索引号为p的卷积层的输入为Fnormal,p-1，将针对Inormal的索引号为p的卷积层的输出记为Fnormal,p，Fnormal,p＝A(WpE*Fnormal,p-1+bpE)，针对Ilow的索引号为p的卷积层的输入为Flow,p-1，将针对Ilow的索引号为p的卷积层的输出记为Flow,p，Flow,p＝A(WpE*Flow,p-1+bpE)，针对Ihigh的索引号为p的卷积层的输入为Fhigh,p-1，将针对Ihigh的索引号为p的卷积层的输出记为Fhigh,p，Fhigh,p＝A(WpE*Fhigh,p-1+bpE)，其中，索引号为p的卷积层的激活函数为指数线性单元(ExponentialLinear Unit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，索引号为p的卷积层的卷积步长为1，索引号为p的卷积层输入的通道数为mpE，索引号为p的卷积层输出的通道数为npE，WpE表示索引号为p的卷积层的卷积核，WpE的维数为kpE×kpE，bpE表示维数为1×npE的偏置项；
曝光融合网络中的第四卷积层通过连接算子对输入的特征图在通道数维度进行连接，并通过卷积核进行特征融合，第四卷积层的输入有三类特征图，分别为Flow,3,Fnormal,3,Fhigh,3，将第四卷积层的输出记为Ffusion，Ffusion＝A(Wfusion*concat[Flow,3,Fnormal,3,Fhigh,3]+bfusion)，其中，第四卷积层的激活函数为指数线性单元(Exponential LinearUnit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为mfusion，第四卷积层输出的通道数为nfusion，Wfusion表示第四卷积层的卷积核，Wfusion的维数为kfusion×kfusion，bfusion表示维数为1×nfusion的偏置项，concat[]表示连接算子，concat[Flow,3,Fnormal,3,Fhigh,3]表示将Flow,3,Fnormal,3,Fhigh,3在通道数维度进行连接；
曝光融合网络中的第五卷积层至第七卷积层各自通过卷积核对输入的特征图进行重建，第五卷积层的输入为Ffusion，将第五卷积层的输出记为Ienhanced,5，Ienhanced,5＝A(W5D*Ffusion+b5D)，其中，第五卷积层的激活函数为指数线性单元(Exponential Linear Unit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为m5D，第五卷积层输出的通道数为n5D，W5D表示第五卷积层的卷积核，W5D的维数为k5D×k5D，b5D表示维数为1×n5D的偏置项；令g表示卷积层的索引号，g＝6,7，g＝6时代表第六卷积层，g＝7时代表第七卷积层，索引号为g的卷积层的输入为Ienhanced,g-1，将索引号为g的卷积层的输出记为Ienhanced,g，Ienhanced,g＝A(WgD*Ienhanced,g-1+bgD)，其中，索引号为g的卷积层的激活函数为指数线性单元(Exponential Linear Unit，ELU)函数，A()表示指数线性单元(Exponential Linear Unit，ELU)函数，索引号为g的卷积层的卷积步长为1，索引号为g的卷积层输入的通道数为mgD，索引号为g的卷积层输出的通道数为ngD，WgD表示索引号为g的卷积层的卷积核，WgD的维数为kgD×kgD，bgD表示维数为1×ngD的偏置项；在此，由于曝光融合网络是完成图像信息的合理融合，所以不需要进行下采样，设置卷积步长为1，并通过零填充保证卷积后的图像尺寸保持不变。
在本实施例中，步骤一中，取k1e＝7，m1e＝3，n1e＝32；k2e＝5，m2e＝32，n2e＝64；k3e＝3，m3e＝64，n3e＝128；k4e＝3，m4e＝128，n4e＝256；k1d＝3，m1d＝256，n1d＝128；k2d＝3，m2d＝128，n2d＝64；k3d＝5，m3d＝64，n3d＝32；k4d＝7，m4d＝32，n4d＝32；k1s＝1，m1s＝256，n1s＝128；k2s＝1，m2s＝128，n2s＝64；k3s＝1，m3s＝64，n3s＝32；kp＝1，mp＝32，np＝3。取k1E＝3，m1E＝3，n1E＝16；k2E＝3，m2E＝16，n2E＝32；k3E＝3，m3E＝32，n3E＝32；kfusion＝1，mfusion＝96，nfusion＝32；k5D＝3，m5D＝32，n5D＝32；k6D＝3，m6D＝32，n6D＝16；k7D＝3，m7D＝16，n7D＝3。
步骤二：选取个多曝光序列，且设定每个多曝光序列对应有一幅已知的高质量的融合图像，其中，在本实施例中取多曝光序列可以采用现有的多曝光序列数据库中的多曝光序列，也可以自行构建，若多曝光序列直接采用现有的多曝光序列，则高质量的融合图像在相应的数据库中已提供，若多曝光序列是自行构建的，则可以采用现有的多种融合方法对多曝光序列进行处理得到高质量的融合图像；然后将所有多曝光序列中的正常曝光图像和低曝光图像构成第一预测训练集，并将所有多曝光序列中的正常曝光图像和高曝光图像构成第二预测训练集；接着将第一预测训练集中的低曝光图像作为标签图像，将第一预测训练集中的正常曝光图像记为Inormal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测低曝光图像，记为Ilow，即Iout为Ilow；并将第二预测训练集中的高曝光图像作为标签图像，将第二预测训练集中的正常曝光图像记为Inormal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测高曝光图像，记为Ihigh，即Iout为Ihigh；之后将所有多曝光序列中的正常曝光图像Inormal、对应的预测低曝光图像Ilow、对应的预测高曝光图像Ihigh、对应的高质量的融合图像构成融合训练集；再将融合训练集中的高质量的融合图像作为标签图像，将融合训练集中的正常曝光图像Inormal、对应的预测低曝光图像Ilow、对应的预测高曝光图像Ihigh作为输入，输入到构建好的曝光融合网络中进行训练，训练得到对应的增强图像，记为Ienhanced，即Ienhanced,7为Ienhanced；训练结束后得到了预测曝光网络和曝光融合网络中的各卷积核的最佳参数及对应的最佳偏置项，得到了级联训练网络。
步骤三：选取一个多曝光序列作为测试序列；然后将测试序列中的正常曝光图像记为Itest,normal；接着将Itest,normal作为输入，输入到级联训练网络中，级联训练网络输出Itest,normal对应的增强图像，记为Itest,enhanced。
为了进一步说明本发明方法的可行性和有效性，进行如下实验。
本发明方法采用TensorFlow框架实现。训练用的多曝光序列来自Cai等人提供的数据库，由于该数据库中的每个多曝光序列中的图像的数目超过3幅，所以定义正常曝光图像为多曝光序列中的中间曝光图像，即将多曝光序列中的图像按曝光时间进行排序，设图像的总幅数为M(M≥3)，挑选第幅图像作为正常曝光图像，并分别挑选曝光时间小于正常曝光图像的低曝光图像，以及曝光时间大于正常曝光图像的高曝光图像。为增加训练样本，并且避免大量训练样本的内容出现重复现象，对每幅正常曝光图像及其对应的低曝光图像和对应的高曝光图像进行下采样，使其分辨率降低为原来的1/4，并根据步长64，将每幅正常曝光图像及其对应的低曝光图像和对应的高曝光图像裁剪为128×128的图像块，同样，高质量的融合图像也进行相同处理，裁剪为128×128的图像块。
为测试本发明方法的普适性，采用不同于训练样本的图像进行测试。使用的测试图像包含室内、外场景，其基本信息如表1所示。
表1测试图像信息
多曝光序列名称 分辨率 图像数量 测试图像序号
Balloons 512×352 9 7
CadikLamp 512×384 15 6
Candle 512×352 10 5
Chinese_garden 512×352 3 2
Farmhouse 512×352 3 2
Lamp 512×352 6 3
MadisonCapitol 512×384 30 15
Office 512×352 6 4
Tower 352×512 3 2
设预测曝光网络和曝光融合网络的初始学习率均为10-3，并在完成一次训练后，以0.98的衰减系数衰减学习率。预测曝光网络和曝光融合网络中的所有卷积核的参数和偏置项的初始值均采用均值为0、标准差为0.1的高斯分布随机值。
为了说明本发明方法的性能，将本发明方法与现有的五种单图像增强方法进行对比，用于对比的五种单图像增强方法分别为三种基于像素域的方法：Celik提出的CVC模型、Lee提出的CE模型、Fu提出的WVM模型，以及两种基于辐照域的方法：Huo提出的PITM模型和Eilertsen提出的HDRCNN模型。实验中采用PSNR、SSIM和FSIM三种图像质量客观评价方式来评价各种单图像增强方法得到的增强图像的质量，其中，PSNR衡量增强图像与参考图像的像素差异，SSIM和FSIM从视觉感知角度出发，衡量增强图像与参考图像的结构差异。表2给出了分别采用本发明方法与现有的五种单图像增强方法对表1所列的多曝光序列进行处理得到的增强图像在PSNR指标上的对比结果，表3给出了分别采用本发明方法与现有的五种单图像增强方法对表1所列的多曝光序列进行处理得到的增强图像在SSIM指标上的对比结果，表4给出了分别采用本发明方法与现有的五种单图像增强方法对表1所列的多曝光序列进行处理得到的增强图像在FSIM指标上的对比结果。从表2至表4所列的数据可以看出，采用本发明方法在PSNR、SSIM和FSIM指标上均高于采用现有的五种单图像增强方法，其中，本发明方法相比于性能较好的Fu提出的WVM模型和Eilertsen提出的HDRCNN模型，在PSNR值上分别提升了2.4474dB和3.0259dB，在SSIM指标上分别提升了0.0356和0.1073，在FSIM指标上提升了0.0082和0.0505。
表2采用本发明方法与现有的五种单图像增强方法在PSNR(dB)指标上的对比
表3采用本发明方法与现有的五种单图像增强方法在SSIM指标上的对比
表4采用本发明方法与现有的五种单图像增强方法在FSIM指标上的对比
图4a给出了Balloons多曝光图像序列中的第7幅图像，图4b给出了采用Huo提出的PITM模型对图4a所示的图像进行处理得到的增强图像，图4c给出了采用Eilertsen提出的HDRCNN模型对图4a所示的图像进行处理得到的增强图像，图4d给出了采用Fu提出的WVM模型对图4a所示的图像进行处理得到的增强图像，图4e给出了采用Celik提出的CVC模型对图4a所示的图像进行处理得到的增强图像，图4f给出了采用Lee提出的CE模型对图4a所示的图像进行处理得到的增强图像，图4g给出了采用本发明方法对图4a所示的图像进行处理得到的增强图像，图4h给出了图4a所示的图像对应的高质量的融合图像；图5a给出了Lamp多曝光图像序列中的第3幅图像，图5b给出了采用Huo提出的PITM模型对图5a所示的图像进行处理得到的增强图像，图5c给出了采用Eilertsen提出的HDRCNN模型对图5a所示的图像进行处理得到的增强图像，图5d给出了采用Fu提出的WVM模型对图5a所示的图像进行处理得到的增强图像，图5e给出了采用Celik提出的CVC模型对图5a所示的图像进行处理得到的增强图像，图5f给出了采用Lee提出的CE模型对图5a所示的图像进行处理得到的增强图像，图5g给出了采用本发明方法对图5a所示的图像进行处理得到的增强图像，图5h给出了图5a所示的图像对应的高质量的融合图像。从图4a至图5h中可以看出，Huo提出的PITM模型、Celik提出的CVC模型和Lee提出的CE模型只能提高图像整体的对比度，无法恢复图像的细节，比如图4b、图4e、图4f的天空区域和图5b、图5e、图5f两侧的墙壁区域；Eilertsen提出的HDRCNN模型会造成图像颜色失真，比如图4c的太阳区域和图5c的整体色彩；Fu提出的WVM模型能恢复一定细节，但本发明方法增强的图像细节更丰富，并且颜色更自然，比如图4g的天空和气球区域。
本发明方法的创新性主要体现如下：传统的单图像增强方法只考虑恢复原图像中隐藏的细节信息，不包括由于相机传感器的动态范围限制而导致丢失的信息，本发明方法通过网络分别学习单图像与低曝光图像以及单图像与高曝光图像的映射关系，以此产生一个能较好表征整个场景信息的多曝光序列；同时针对自然场景内容的丰富性，采用数据驱动的方式，利用卷积神经网络来提取融合特征，使特征的鲁棒性和多样性更强。

Claims (2)

1.一种基于全卷积神经网络的单图像增强方法，其特征在于包括以下步骤：
步骤一：构建两个级联网络，第一个网络为预测曝光网络、第二个网络为曝光融合网络；
预测曝光网络包括十二层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第一反卷积层、第一跳转连接层、第二反卷积层、第二跳转连接层、第三反卷积层、第三跳转连接层、第四反卷积层、第五卷积层；
预测曝光网络中的第一卷积层至第四卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，将第一卷积层的输入记为Inormal，将第一卷积层的输出记为F1e，F1e＝A(W1e*Inormal+b1e)，其中，第一卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一卷积层的卷积步长为2，第一卷积层输入的通道数为m1e，第一卷积层输出的通道数为n1e，W1e表示第一卷积层的卷积核，W1e的维数为k1e×k1e，符号“*”为卷积操作符号，b1e表示维数为1×n1e的偏置项；令i表示卷积层的索引号，i＝2,3,4，i＝2时代表第二卷积层，i＝3时代表第三卷积层，i＝4时代表第四卷积层，索引号为i的卷积层的输入为F(i-1)e，将索引号为i的卷积层的输出记为Fie，Fie＝A(Wie*F(i-1)e+bie)，其中，索引号为i的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为i的卷积层的卷积步长为2，索引号为i的卷积层输入的通道数为mie，索引号为i的卷积层输出的通道数为nie，Wie表示索引号为i的卷积层的卷积核，Wie的维数为kie×kie，bie表示维数为1×nie的偏置项；
预测曝光网络中的第一反卷积层至第四反卷积层各自通过卷积核对输入的特征图进行上采样以恢复到第一卷积层输入的图像的尺寸，第一反卷积层的输入为F4e，将第一反卷积层的输出记为R1d，R1d＝A(W1d⊙F4e+b1d)，其中，第一反卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一反卷积层的反卷积步长为2，第一反卷积层输入的通道数为m1d，第一反卷积层输出的通道数为n1d，W1d表示第一反卷积层的卷积核，W1d的维数为k1d×k1d，符号“⊙”为反卷积操作符号，b1d表示维数为1×n1d的偏置项；令j表示反卷积层的索引号，j＝2,3,4，j＝2时代表第二反卷积层，j＝3时代表第三反卷积层，j＝4时代表第四反卷积层，索引号为j的反卷积层的输入为R(j-1)d，将索引号为j的反卷积层的输出记为Rjd，Rjd＝A(Wjd⊙R(j-1)d+bjd)，其中，索引号为j的反卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为j的反卷积层的反卷积步长为2，索引号为j的反卷积层输入的通道数为mjd，索引号为j的反卷积层输出的通道数为njd，Wjd表示索引号为j的反卷积层的卷积核，Wjd的维数为kjd×kjd，bjd表示维数为1×njd的偏置项；
预测曝光网络中的第一跳转连接层至第三跳转连接层各自通过连接算子和卷积核使输出的图像具有更多来自第一卷积层输入的图像的细节信息，令h表示跳转连接层的索引号，h＝1,2,3，h＝1时代表第一跳转连接层，h＝2时代表第二跳转连接层，h＝3时代表第三跳转连接层，索引号为h的跳转连接层的输入为F(4-h)e和Rhd，将索引号为h的跳转连接层的输出记为R'hd，R'hd＝A(Whs*concat[F(4-h)e,Rhd]+bhs)，再令Rhd＝R'hd，其中，索引号为h的跳转连接层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为h的跳转连接层的卷积步长为1，索引号为h的跳转连接层输入的通道数为mhs，索引号为h的跳转连接层输出的通道数为nhs，Whs表示索引号为h的跳转连接层的卷积核，Whs的维数为khs×khs，bhs表示维数为1×nhs的偏置项，concat[]表示连接算子，concat[F(4-h)e,Rhd]表示将索引号为4-h的卷积层的输出F(4-h)e与索引号为h的反卷积层的输出Rhd在通道数维度进行连接，Rhd＝R'hd中的“＝”为赋值符号；
预测曝光网络中的第五卷积层通过卷积核将输入的特征图重建为预测曝光后的图像，第五卷积层的输入为R4d，将第五卷积层的输出记为Iout，Iout＝A(Wp*R4d+bp)，其中，第五卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为mp，第五卷积层输出的通道数为np，Wp表示第五卷积层的卷积核，Wp的维数为kp×kp，bp表示维数为1×np的偏置项；
曝光融合网络包括七层，依次分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层；
曝光融合网络中的第一卷积层至第三卷积层各自通过卷积核对输入的图像进行卷积提取出特征图，第一卷积层的输入有三幅图像，分别为Inormal、Ilow和Ihigh，将针对Inormal的第一卷积层的输出记为Fnormal,1，Fnormal,1＝A(W1E*Inormal+b1E)，将针对Ilow的第一卷积层的输出记为Flow,1，Flow,1＝A(W1E*Ilow+b1E)，将针对Ihigh的第一卷积层的输出记为Fhigh,1,Fhigh,1＝A(W1E*Ihigh+b1E)，其中，第一卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第一卷积层的卷积步长为1，第一卷积层输入的通道数为m1E，第一卷积层输出的通道数为n1E，W1E表示第一卷积层的卷积核，W1E的维数为k1E×k1E，b1E表示维数为1×n1E的偏置项；令p表示卷积层的索引号，p＝2,3，p＝2时代表第二卷积层，p＝3时代表第三卷积层，针对Inormal的索引号为p的卷积层的输入为Fnormal,p-1，将针对Inormal的索引号为p的卷积层的输出记为Fnormal,p，Fnormal,p＝A(WpE*Fnormal,p-1+bpE)，针对Ilow的索引号为p的卷积层的输入为Flow,p-1，将针对Ilow的索引号为p的卷积层的输出记为Flow,p，Flow,p＝A(WpE*Flow,p-1+bpE)，针对Ihigh的索引号为p的卷积层的输入为Fhigh,p-1，将针对Ihigh的索引号为p的卷积层的输出记为Fhigh,p，Fhigh,p＝A(WpE*Fhigh,p-1+bpE)，其中，索引号为p的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为p的卷积层的卷积步长为1，索引号为p的卷积层输入的通道数为mpE，索引号为p的卷积层输出的通道数为npE，WpE表示索引号为p的卷积层的卷积核，WpE的维数为kpE×kpE，bpE表示维数为1×npE的偏置项；
曝光融合网络中的第四卷积层通过连接算子对输入的特征图在通道数维度进行连接，并通过卷积核进行特征融合，第四卷积层的输入有三类特征图，分别为Flow,3,Fnormal,3,Fhigh,3，将第四卷积层的输出记为Ffusion，Ffusion＝A(Wfusion*concat[Flow,3,Fnormal,3,Fhigh,3]+bfusion)，其中，第四卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第四卷积层的卷积步长为1，第四卷积层输入的通道数为mfusion，第四卷积层输出的通道数为nfusion，Wfusion表示第四卷积层的卷积核，Wfusion的维数为kfusion×kfusion，bfusion表示维数为1×nfusion的偏置项，concat[]表示连接算子，concat[Flow,3,Fnormal,3,Fhigh,3]表示将Flow,3,Fnormal,3,Fhigh,3在通道数维度进行连接；
曝光融合网络中的第五卷积层至第七卷积层各自通过卷积核对输入的特征图进行重建，第五卷积层的输入为Ffusion，将第五卷积层的输出记为Ienhanced,5，Ienhanced,5＝A(W5D*Ffusion+b5D)，其中，第五卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，第五卷积层的卷积步长为1，第五卷积层输入的通道数为m5D，第五卷积层输出的通道数为n5D，W5D表示第五卷积层的卷积核，W5D的维数为k5D×k5D，b5D表示维数为1×n5D的偏置项；令g表示卷积层的索引号，g＝6,7，g＝6时代表第六卷积层，g＝7时代表第七卷积层，索引号为g的卷积层的输入为Ienhanced,g-1，将索引号为g的卷积层的输出记为Ienhanced,g，Ienhanced,g＝A(WgD*Ienhanced,g-1+bgD)，其中，索引号为g的卷积层的激活函数为指数线性单元函数，A()表示指数线性单元函数，索引号为g的卷积层的卷积步长为1，索引号为g的卷积层输入的通道数为mgD，索引号为g的卷积层输出的通道数为ngD，WgD表示索引号为g的卷积层的卷积核，WgD的维数为kgD×kgD，bgD表示维数为1×ngD的偏置项；
步骤二：选取个多曝光序列，且设定每个多曝光序列对应有一幅已知的高质量的融合图像，其中，然后将所有多曝光序列中的正常曝光图像和低曝光图像构成第一预测训练集，并将所有多曝光序列中的正常曝光图像和高曝光图像构成第二预测训练集；接着将第一预测训练集中的低曝光图像作为标签图像，将第一预测训练集中的正常曝光图像记为Inormal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测低曝光图像，记为Ilow，即Iout为Ilow；并将第二预测训练集中的高曝光图像作为标签图像，将第二预测训练集中的正常曝光图像记为Inormal并作为输入，输入到构建好的预测曝光网络中进行训练，训练得到对应的预测高曝光图像，记为Ihigh，即Iout为Ihigh；之后将所有多曝光序列中的正常曝光图像Inormal、对应的预测低曝光图像Ilow、对应的预测高曝光图像Ihigh、对应的高质量的融合图像构成融合训练集；再将融合训练集中的高质量的融合图像作为标签图像，将融合训练集中的正常曝光图像Inormal、对应的预测低曝光图像Ilow、对应的预测高曝光图像Ihigh作为输入，输入到构建好的曝光融合网络中进行训练，训练得到对应的增强图像，记为Ienhanced，即Ienhanced,7为Ienhanced；训练结束后得到了预测曝光网络和曝光融合网络中的各卷积核的最佳参数及对应的最佳偏置项，得到了级联训练网络；
步骤三：选取一个多曝光序列作为测试序列；然后将测试序列中的正常曝光图像记为Itest,normal；接着将Itest,normal作为输入，输入到级联训练网络中，级联训练网络输出Itest,normal对应的增强图像，记为Itest,enhanced。
2.根据权利要求1所述的一种基于全卷积神经网络的单图像增强方法，其特征在于所述的步骤一中，取k1e＝7，m1e＝3，n1e＝32；k2e＝5，m2e＝32，n2e＝64；k3e＝3，m3e＝64，n3e＝128；k4e＝3，m4e＝128，n4e＝256；k1d＝3，m1d＝256，n1d＝128；k2d＝3，m2d＝128，n2d＝64；k3d＝5，m3d＝64，n3d＝32；k4d＝7，m4d＝32，n4d＝32；k1s＝1，m1s＝256，n1s＝128；k2s＝1，m2s＝128，n2s＝64；k3s＝1，m3s＝64，n3s＝32；kp＝1，mp＝32，np＝3；
取k1E＝3，m1E＝3，n1E＝16；k2E＝3，m2E＝16，n2E＝32；k3E＝3，m3E＝32，n3E＝32；kfusion＝1，mfusion＝96，nfusion＝32；k5D＝3，m5D＝32，n5D＝32；k6D＝3，m6D＝32，n6D＝16；k7D＝3，m7D＝16，n7D＝3。
CN201811097909.8A 2018-09-20 2018-09-20 一种基于全卷积神经网络的单图像增强方法 Active CN109447907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811097909.8A CN109447907B (zh) 2018-09-20 2018-09-20 一种基于全卷积神经网络的单图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811097909.8A CN109447907B (zh) 2018-09-20 2018-09-20 一种基于全卷积神经网络的单图像增强方法

Publications (2)

Publication Number Publication Date
CN109447907A true CN109447907A (zh) 2019-03-08
CN109447907B CN109447907B (zh) 2020-06-16

Family

ID=65533131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811097909.8A Active CN109447907B (zh) 2018-09-20 2018-09-20 一种基于全卷积神经网络的单图像增强方法

Country Status (1)

Country Link
CN (1) CN109447907B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163808A (zh) * 2019-03-28 2019-08-23 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN110717868A (zh) * 2019-09-06 2020-01-21 上海交通大学 视频高动态范围反色调映射模型构建、映射方法及装置
CN111091515A (zh) * 2019-12-24 2020-05-01 展讯通信(天津)有限公司 图像复原方法及装置、计算机可读存储介质
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111886625A (zh) * 2019-05-13 2020-11-03 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN112435306A (zh) * 2020-11-20 2021-03-02 上海北昂医药科技股份有限公司 G显带染色体hdr图像重建方法
CN112580672A (zh) * 2020-12-28 2021-03-30 安徽创世科技股份有限公司 一种适用于暗环境的车牌识别预处理方法、装置及存储介质
CN112885456A (zh) * 2021-01-20 2021-06-01 武汉爱尔眼科医院有限公司 基于深度学习的睑板腺量化分析及其在mgd诊疗中的应用
CN113095991A (zh) * 2021-04-15 2021-07-09 电子科技大学 一种基于深度学习的高动态范围图像隐写和恢复方法
CN113256501A (zh) * 2020-02-10 2021-08-13 武汉Tcl集团工业研究院有限公司 一种图像处理方法、存储介质及终端设备
CN113674222A (zh) * 2021-07-29 2021-11-19 宁波大学 基于改进fssd的汽车差速器壳体表面缺陷的快速检测方法
CN113784175A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种hdr视频转换方法、装置、设备及计算机存储介质
WO2022266955A1 (zh) * 2021-06-24 2022-12-29 Oppo广东移动通信有限公司 图像解码及处理方法、装置及设备
CN117876282A (zh) * 2024-03-08 2024-04-12 昆明理工大学 基于多任务交互促进的高动态范围成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063712A (zh) * 2010-11-04 2011-05-18 北京理工大学 基于子带结构的多曝光图像融合方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN106910192A (zh) * 2017-03-06 2017-06-30 长沙全度影像科技有限公司 一种基于卷积神经网络的图像融合效果评估方法
CN107657586A (zh) * 2017-10-13 2018-02-02 深圳市唯特视科技有限公司 一种基于深度残差网络的单照片超分辨增强方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063712A (zh) * 2010-11-04 2011-05-18 北京理工大学 基于子带结构的多曝光图像融合方法
CN106204467A (zh) * 2016-06-27 2016-12-07 深圳市未来媒体技术研究院 一种基于级联残差神经网络的图像去噪方法
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN106910192A (zh) * 2017-03-06 2017-06-30 长沙全度影像科技有限公司 一种基于卷积神经网络的图像融合效果评估方法
CN107657586A (zh) * 2017-10-13 2018-02-02 深圳市唯特视科技有限公司 一种基于深度残差网络的单照片超分辨增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANRUI CAI 等: "Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163808A (zh) * 2019-03-28 2019-08-23 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN110163808B (zh) * 2019-03-28 2022-06-10 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN111886625A (zh) * 2019-05-13 2020-11-03 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
WO2020227898A1 (zh) * 2019-05-13 2020-11-19 深圳市大疆创新科技有限公司 图像融合方法、图像采集设备、可移动平台
CN110717868A (zh) * 2019-09-06 2020-01-21 上海交通大学 视频高动态范围反色调映射模型构建、映射方法及装置
CN111105376A (zh) * 2019-12-19 2020-05-05 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111105376B (zh) * 2019-12-19 2022-08-02 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111091515A (zh) * 2019-12-24 2020-05-01 展讯通信(天津)有限公司 图像复原方法及装置、计算机可读存储介质
CN111091515B (zh) * 2019-12-24 2022-08-09 展讯通信(天津)有限公司 图像复原方法及装置、计算机可读存储介质
CN113256501A (zh) * 2020-02-10 2021-08-13 武汉Tcl集团工业研究院有限公司 一种图像处理方法、存储介质及终端设备
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN111986106B (zh) * 2020-07-30 2023-10-13 南京大学 一种基于神经网络的高动态图像重建方法
CN112435306A (zh) * 2020-11-20 2021-03-02 上海北昂医药科技股份有限公司 G显带染色体hdr图像重建方法
CN112580672A (zh) * 2020-12-28 2021-03-30 安徽创世科技股份有限公司 一种适用于暗环境的车牌识别预处理方法、装置及存储介质
CN112885456B (zh) * 2021-01-20 2022-08-16 武汉爱尔眼科医院有限公司 基于深度学习的睑板腺量化分析及其在mgd诊疗中的应用
CN112885456A (zh) * 2021-01-20 2021-06-01 武汉爱尔眼科医院有限公司 基于深度学习的睑板腺量化分析及其在mgd诊疗中的应用
CN113095991B (zh) * 2021-04-15 2022-08-05 电子科技大学 一种基于深度学习的高动态范围图像隐写和恢复方法
CN113095991A (zh) * 2021-04-15 2021-07-09 电子科技大学 一种基于深度学习的高动态范围图像隐写和恢复方法
WO2022266955A1 (zh) * 2021-06-24 2022-12-29 Oppo广东移动通信有限公司 图像解码及处理方法、装置及设备
CN113674222A (zh) * 2021-07-29 2021-11-19 宁波大学 基于改进fssd的汽车差速器壳体表面缺陷的快速检测方法
CN113784175A (zh) * 2021-08-02 2021-12-10 中国科学院深圳先进技术研究院 一种hdr视频转换方法、装置、设备及计算机存储介质
CN113784175B (zh) * 2021-08-02 2023-02-28 中国科学院深圳先进技术研究院 一种hdr视频转换方法、装置、设备及计算机存储介质
CN117876282A (zh) * 2024-03-08 2024-04-12 昆明理工大学 基于多任务交互促进的高动态范围成像方法
CN117876282B (zh) * 2024-03-08 2024-05-14 昆明理工大学 基于多任务交互促进的高动态范围成像方法

Also Published As

Publication number Publication date
CN109447907B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN109447907A (zh) 一种基于全卷积神经网络的单图像增强方法
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN109118467B (zh) 基于生成对抗网络的红外与可见光图像融合方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN110728633B (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN110458060A (zh) 一种基于对抗学习的车辆图像优化方法及系统
CN110570366A (zh) 基于双判别深度卷积生成式对抗网络的图像修复方法
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN110443763B (zh) 一种基于卷积神经网络的图像阴影去除方法
CN113313644B (zh) 一种基于残差双注意力网络的水下图像增强方法
CN111429433A (zh) 一种基于注意力生成对抗网络的多曝光图像融合方法
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN113392711B (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN111709900A (zh) 一种基于全局特征指导的高动态范围图像重建方法
CN113096029A (zh) 基于多分支编解码器神经网络的高动态范围图像生成方法
CN110070517A (zh) 基于退化成像机理和生成对抗机制的模糊图像合成方法
CN110225260A (zh) 一种基于生成对抗网络的立体高动态范围成像方法
CN113965659B (zh) 基于网络对网络的训练hevc视频隐写分析方法、系统
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
CN114022506B (zh) 一种边缘先验融合多头注意力机制的图像修复方法
CN110163855B (zh) 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN111325781B (zh) 一种基于轻量化网络的位深度提升方法及其系统
CN117152019A (zh) 一种基于双分支特征处理的低照度图像增强方法和系统
CN117670687A (zh) 一种基于CNN和Transformer混合结构的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant