CN110728633A - 多曝光度高动态范围反色调映射模型构建方法及装置 - Google Patents

多曝光度高动态范围反色调映射模型构建方法及装置 Download PDF

Info

Publication number
CN110728633A
CN110728633A CN201910840411.4A CN201910840411A CN110728633A CN 110728633 A CN110728633 A CN 110728633A CN 201910840411 A CN201910840411 A CN 201910840411A CN 110728633 A CN110728633 A CN 110728633A
Authority
CN
China
Prior art keywords
dynamic range
high dynamic
image
images
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910840411.4A
Other languages
English (en)
Other versions
CN110728633B (zh
Inventor
宋利
徐宇澄
解蓉
张文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910840411.4A priority Critical patent/CN110728633B/zh
Publication of CN110728633A publication Critical patent/CN110728633A/zh
Application granted granted Critical
Publication of CN110728633B publication Critical patent/CN110728633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种多曝光度高动态范围反色调映射模型构建方法及装置，包括：从原始高动态范围视频中截取的高动态范围图像，转化为标准动态范围图像，调整曝光时间产生多曝光度的标准动态范围图像，不同曝光度的标准动态范围图像与同一幅正常曝光度的高动态范围图像组成有监督的数据集，作为训练数据集；建立基于卷积神经网络和跳跃式连接的生成对抗网络；对生成对抗网络建立由图像内容特征、本征特征和感知特征综合的目标损失函数，采用训练数据集不断训练优化，得到最终模型。本发明能调节过曝光或欠曝光图像的亮度，提升生成的高动态范围图像的效果，且考虑到高动态范围图像的亮度特性与色度特性，更好地实现了对高动态范围的反色调映射。

Description

多曝光度高动态范围反色调映射模型构建方法及装置
技术领域
本发明涉及一种图像处理技术领域的方法，具体是一种多曝光度高动态范围反色调映射模型构建方法、采用构建得到的模型进行映射方法以及装置。
背景技术
在当今的电视显示和拍摄技术领域里，高动态范围(HDR)无疑是一大趋势，超高清电视(UHD TV)标准也将高动态范围技术纳入其中。高动态范围技术从亮度和颜色两方面提升了图像与视频的观看体验。在高动态范围的作用下，图像与视频的全局与局部对比度相比传统图像与视频有很大程度的提升，在明亮区域以及阴暗区域的细节也能得到提升。与此同时，画面的颜色范围也会被扩大，由应用广泛的标准色域BT.709标准扩大至广色域BT.2020标准。亮度是高动态范围的关键：市面上大多数的电视亮度在400尼特左右，部分机型达到了750尼特。但高动态范围电视的最高亮度可达1000尼特，亮度的提升可让场面显得更加真实，特别是户外场景。由于高动态范围内容的拍摄要求和拍摄代价极高，很难通过直接拍摄制作大量的高动态范围内容，因此利用现有的标准动态范围内容制作高动态范围内容成为一个很有价值的方向，这种转换被成为反色调映射。
由于现有的方法在处理过曝光和欠曝光的标准动态范围图像时，没有考虑到曝光度的因素，而是将这些图像也按照正常曝光度的图像进行处理，因此生成的高动态范围图像会呈现过亮(过曝光情况下)或过暗(欠曝光情况下)的现象，影响观看体验。
本申请人之前申请的发明专利：基于生成对抗网络的高动态范围反色调映射方法及系统，申请号：201810299749.9，通过采用基于卷积神经网络和跳跃式连接的生成对抗网络，改善了现有的非学习方法的非线性不足、参数调节复杂等问题，并考虑到高动态范围图像的一维特性和梯度特性。但是上述专利也一样没有考虑图像不同曝光可能带来的问题。
发明内容
针对现有的反色调映射技术无法应用到过曝光和欠曝光图像的缺陷，本发明提供一种多曝光度高动态范围反色调映射模型构建方法、映射方法以及相应的装置。
本发明的第一目的是提供一种多曝光度高动态范围反色调映射模型构建方法，包括：
从原始高动态范围视频中截取多幅正常曝光度的高动态范围图像，将所述高动态范围图像转化为标准动态范围图像，对所述标准动态范围图像采用相机响应方程调整曝光时间以产生多种曝光度的标准动态范围图像，这些不同曝光度的标准动态范围图像与同一幅正常曝光度的高动态范围图像组成有监督的数据集，作为后续的训练数据集；
建立基于卷积神经网络和跳跃式连接的生成对抗网络；
对所述生成对抗网络建立由图像内容特征、本征特征和感知特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到能完成反色调映射的生成对抗网络模型。
本发明上述方法通过考虑对输入的标准动态范围图像的亮度进行均衡化处理，并将多种曝光度图像(过曝光图像与欠曝光图像)均加入数据集中，同时采用生成对抗网络来弥补传统方法非线性的不足，达到了兼容多种曝光度图像的目的，并且在视觉上和客观评价上也实现了更好的转换效果。
优选地，所述数据集中部分作为验证数据集，进一步包括：
将所述验证数据集先进行亮度均衡化处理，再输入至得到的能完成反色调映射的生成对抗网络模型，映射得出高动态范围图像。
优选地，所述训练数据集在训练时，先对标准动态范围图像的亮度信息进行均衡化处理，再输入所述生成对抗网络进行训练。
优选地，所述有监督的数据集，建立时：从原始高动态范围视频截取出多幅高动态范围图像作为数据集中的高动态范围图像；再使用Reinhard色调映射算法，将高动态范围图像转化为标准动态范围图像；利用相机响应方程调整标准动态范围图像的曝光时间，生成额外的过曝光图像与欠曝光标准动态范围图像；生成的不同曝光时间标准动态范围图像与同一幅正常曝光的高动态范围图像组成多对一的数据集。
优选地，所述训练数据集包含多组不同曝光度的标准动态范围和对应的正常曝光的高动态范围图像，其中：
过曝光与欠曝光的标准动态范围图像由正常曝光的标准动态范围图像通过改变曝光时间得到，过曝光图像与欠曝光图像的数量相同。
优选地，所述生成对抗网络由生成器和判别器组成，将不同曝光度的标准动态范围图像输入生成器，得到预测的正常曝光度高动态范围图像输出；判别器用来分辨输入判别器的图像是生成的还是原生的高动态范围图像；
所述生成器由n层卷积神经网络构成，并且每层都有批归一化操作，其中第i层与第n-i层有跳跃式连接。
优选地，所述目标损失函数是一个极大极小问题：
其中，L、H分别表示标准动态范围输入和高动态范围输出，G、D分别表示生成器和判别器，
Figure BDA0002193523420000032
表示生成器的内容损失函数，
Figure BDA0002193523420000033
表示生成器和判别器的对抗损失函数，λ是超参数，控制两种损失函数的比重。
优选地，所述生成器的内容损失函数
Figure BDA0002193523420000034
为：
Figure BDA0002193523420000035
其中，L、H分别表示标准动态范围输入和高动态范围输出，
Figure BDA0002193523420000036
表示图像的内容损失，
Figure BDA0002193523420000037
表示本征损失，
Figure BDA0002193523420000038
为感知损失，α,β是超参数，控制三种损失的比重；
Figure BDA0002193523420000039
通过输出图像与真实图像的均方误差计算；
Figure BDA00021935234200000310
表示为：
Figure BDA00021935234200000311
其中E表示期望，(L,H)～pdata表示从训练数据集中采样出数据组(L,H)，G(L)表示生成的高动态范围图像，|| ||F表示该张量的F-范数；I，R分别表示经过本征图分解后得到的照度图与反射图；
表示为：
Figure BDA0002193523420000041
其中φ4表示在数据集上预训练好的网络第四层池化层的输出。
优选地，所述生成器和判别器的对抗损失函数由GAN网络的原理得出，具体是：
Figure BDA0002193523420000043
其中E表示期望，H～pdata和L～pdata分别表示从训练数据集中采样出高动态范围图像和标准动态范围图像；D(H)为真实的高动态范围图像输入判别器后的输出，D(G(L))为生成器生成的高动态范围图像输入判别器后得到的输出。
本发明的第二目的是提供一种多曝光度高动态范围反色调映射模型构建装置，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行上述任一项所述的多曝光度高动态范围反色调映射模型构建方法。
本发明的第三目的是提供一种多曝光度高动态范围反色调映射方法，采用上述得到的能完成反色调映射的生成对抗网络模型，完成从不同曝光度的标准动态范围向正常曝光度的高动态范围的映射。具体的，包括：
将待映射视频输入能完成反色调映射的生成对抗网络模型；
所述能完成反色调映射的生成对抗网络模型输出映射得到高动态范围视频。
本发明设计的多曝光度高动态范围反色调映射模型构建方法，考虑到不同曝光度图像的反色调映射问题，具体地，网络的训练集中包含了多种曝光度下的图像，为网络的训练提供了足够的信息；并且进一步的，通过对亮度进行预先均衡化处理的方式，提升了网络的效果。同时，在损失函数方面，考虑到图像本身内容特征的同时，还考虑到了图像的本征特征和感知特征。通过这些设定，在使用建立的训练数据集充分训练生成对抗网络之后，可以达到很好的曝光度还原效果，视觉效果和评价得分。部分实施例中，图像进行本征图分解，得到照度图和反射图，并分别对这两个子图进行损失计算；并且通过使预训练的VGG19网络，得到图像的感知特征。
本发明第二目的在于提供一种基于生成对抗网络的多曝光度高动态范围反色调映射系统，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行以上所述的多曝光度高动态范围反色调映射模型构建方法。
与现有技术相比，本发明具有如下的有益效果：
本发明所述方法和系统在考虑了现有的基于学习方法中反色调映射方法的同时，也兼顾了不同曝光度图像的恢复问题，在不影响正常曝光度图像反色调映射效果的同时，对过曝光和欠曝光图像也有着更好的映射效果。
与广泛使用的非学习方法相比，本发明所述方法和系统有着更好的非线性性能和多尺度变换性能。在保证了反色调映射的理论完整同时，提高了映射结果的视觉效果和客观评价指标。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例中多曝光度高动态范围反色调映射模型构建方法的流程图；
图2是本发明一优选实施例中多曝光度高动态范围反色调映射模型构建方法的流程图；
图3是本发明一实施例中生成对抗网络的网络结构框图；
图4是本发明一实施例中生成结果与现有方法的效果对比。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1是本发明一实施例中多曝光度高动态范围反色调映射模型构建方法的流程图；参照图1所示，包括：
S1，从原始高动态范围视频中截取多幅正常曝光度的高动态范围图像，将高动态范围图像转化为标准动态范围图像，对标准动态范围图像采用相机响应方程调整曝光时间以产生多种曝光度的标准动态范围图像，这些不同曝光度的标准动态范围图像与同一幅正常曝光度的高动态范围图像组成有监督的数据集，作为后续的训练数据集；
S2，建立基于卷积神经网络和跳跃式连接的生成对抗网络；
S3，对生成对抗网络建立由图像内容特征、本征特征和感知特征综合的目标损失函数，采用训练数据集不断训练优化，得到能完成反色调映射的生成对抗网络模型。
图2是本发明一优选实施例中多曝光度高动态范围反色调映射模型构建方法的流程图；参照图2所示，包括：
①将原始高动态范围视频剪切并转化为标准动态范围图像，通过相机响应方程调整曝光时间，产生多种曝光度的标准动态范围图像，这些不同曝光度的标准动态范围图像与同一幅正常曝光度的高动态范围图像组成有监督的数据集，用于③中训练和④中的验证；
②以卷积神经网络为基础，建立生成对抗网络，其中生成器包含跳跃式连接，得到的生成对抗网络经过③的训练即可完成多曝光度反色调映射操作，在④中验证结果；
③建立由内容特征，本征特征和感知特征综合的目标损失函数，采用①中建立的训练数据集，将标准动态范围输入先进行亮度均衡处理，再送入所述生成对抗网络，不断训练优化得到可以完成多曝光度反色调映射的生成对抗网络模型；
④将①中建立的用于验证的数据集输入至经①-③建立的生成对抗网络模型，映射得出高动态范围图像，并对输出结果进行评价。
其中第①、②步建立数据集和生成对抗网络，第③步通过设定的目标损失函数训练得到能完成多曝光度反色调映射的生成对抗网络模型，第④步对训练得到的生成对抗网络模型进行评估。
本发明上述实施例得到的生成对抗网络模型可以完成从不同曝光度的标准动态范围向正常曝光度的高动态范围的映射。本发明能够调节过曝光或欠曝光图像的亮度，提升该类图像生成的高动态范围图像的效果；并且，本发明考虑到高动态范围图像的亮度特性与色度特性，更好地实现了对高动态范围的反色调映射。
为了更好地理解上述技术方案，以下通过具体实施例对上述多曝光度高动态范围反色调映射生成对抗网络模型的建立各个步骤涉及的详细技术操作进行说明，应当理解的是，以下仅仅是本发明部分实施例。。
1.数据集的建立
建立数据集时，通过HDRTools将已有的HDR视频按场景抽出单帧高动态范围图像，并分块切割成低分辨率的图像用于网络训练。
在一具体实施例中，从4K分辨率的视频中截取出多幅512×512分辨率的高动态范围图像作为数据集中的高动态范围图像；再将高动态范围图像转化为标准动态范围图像；利用预设的相机响应方程，调整标准动态范围图像的曝光时间，生成额外的过曝光图像与欠曝光标准动态范围图像；生成的不同曝光时间标准动态范围图像与同一幅正常曝光的高动态范围图像组成多对一的数据集用于训练，进一步的，还有部分数据集用于验证。
在本发明部分实施例中，为了能够得到高质量的高动态范围图像，选用现有的高质量高动态范围演示片，其具有如下特征：10bit量化的exr格式文件、1000尼特峰值亮度、色域符合BT.2020标准，PQ曲线处理、使用HEVCMain10编码，颜色空间为YUV，采样率为4:2:0。然后通过HDRTools工具箱将以上选用视频按场景剪切为单帧3840×2160的图像，并切割成512×512分辨率，颜色空间转化为RGB空间，由此得到了数据集中的高动态范围图像。
在本发明部分实施例中，建立监督学习数据集中对应的标准动态范围图像时，标准动态范围内容使用Reinhard色调映射算子得到，映射得到的标准动态范围内容具有如下特征：8bit量化的png格式文件、100尼特峰值亮度、色域符合BT.709标准、颜色空间为RGB。
在本发明部分实施例中，使用相机响应方程处理标准动态范围图像，并修改曝光时间，以得到多种曝光度的输入图像。相机响应方程可以预先根据情况设定，如无法确定相机响应方程，可以使用默认的γ＝2.4的伽马函数。比如，在一实施例中，可以设正常曝光时间为1，调整曝光时间为t/τ2,t/τ,τ*t,τ2*t，以得到两幅过曝光图像和两幅欠曝光图像。进一步的，一实例中使用
Figure BDA0002193523420000071
根据实际情况，可以修改τ值以及不同曝光度图像的数量。
经过上述的操作，将得到的标准动态范围图像和高动态范围图像线性归一化到[0,1]之间。在一实施例所得到的数据集中，训练数据集由2660组图像构成，验证数据集由140组图像构成。每组包含5幅标准动态范围图像，其中两张欠曝光图像，一张正常曝光图像，两张过曝光图像；以及一幅正常曝光的高动态范围图像。
作为监督学习数据集，可以包含多组不同曝光度的标准动态范围和对应的正常曝光的高动态范围图像用于训练模型，或者，多组中部分用于训练，另外部分用于进一步验证。在部分实施例中，高动态范围图像是10比特量化的exr格式文件，使用BT.2020标准色域，最高亮度为1000尼特；标准动态范围图像是8比特量化的png格式文件，使用BT.709标准色域，最高亮度为100尼特；过曝光与欠曝光的标准动态范围图像由正常曝光的标准动态范围图像通过改变曝光时间得到。
以上数据集为本发明部分实施例时使用，也可选取其他高动态范围图像与其对应的标准动态范围图像构成数据集，但是需要使用同样的量化位数、色域范围和最高亮度；曝光时间也可以选取其他时间，图像数量也可进行调整，但应保证过曝光图像与欠曝光图像数量一致。
2.生成对抗网络的建立
生成对抗网络由两个网络构成即生成器、判别器，其中将标准动态范围图像输入生成器，得到预测的高动态范围图像输出，判别器用来分辨输入判别器的图像是生成的还是原生的高动态范围图像。
设计生成器时，其主要目的是提取标准动态范围图像的深层特征来代表整幅图像，然后再通过这个特征重构出高动态范围图像。因此本发明实施例中的生成器采用编解码器结构，其中输入的标准动态范围图像通过连续的卷积层不断的提取特征，这之中卷积层的卷积核大小不变，其通道数不断增加，每个通道的大小逐渐缩小，从而达到特征提取的操作，其过程类似于图像信息的编码。
随后，使用得到的深层特征通过与卷积层对应的去卷积层，不断地还原图像的高动态范围信息，图像通道还原为RGB三通道。特别地，对应的卷积层和去卷积层之间添加的跳跃式连接，为去卷积层提供了更原始的信息来还原图像。
如图3所示，为一实施例中的生成对抗网络结构图，其中conv表示卷积层，deconv表示去卷积层，k为卷积核大小，n表示通道数，s表示stride大小，FC表示全连接层。生成器由9层卷积神经网络构成，并且每层都有批归一化操作，其中第i层与第n-i层有跳跃式连接，n为9；判别器由5层卷积神经网络和2层全连接网络构成。
本发明优选实施例中，生成器是一种U-NET结构，其中各卷积层和去卷积层的卷积核的大小都是3×3，stride为2，每层卷积操作后都有批归一化层和leaky-RELU作为激活函数，但最后一层的激活函数是sigmoid，stride都为2。生成器5层卷积层的通道数分别为64、128、256、512、1024，另外4层去卷积层的通道数分别为512、256、128、64；另外，生成器的输入层通道数为3，输出层通道数为3。需要注意的是，本发明的网络结构中不含有Max-Pooling层。
生成对抗网络的另一部分，判别器是由卷积神经网络和全连接层构成，其主要完成对输入图像进行特征提取，并根据判别器最终输出判定输入图像是生成的高动态范围图像还是原生高动态范围图像，取值在0-1之间，一般认为取值越接近1，输入图像更可能是原生高动态范围图像；输入越接近0，输入图像更可能是生成的高动态范围图像。在优选实施例中，判别器由五层卷积层和两层全连接层构成，其中卷积层中前两层的卷积核大小是5×5，后三层的卷积核大小是3×3；前三层的stride是2，后两层的stride是1；与生成器类似，每个卷积层都有批归一化操作和leaky-RELU激活函数，其5层卷积层的通道数分别为64、128、128、256、1。卷积层之后，将其输出通过Flatten操作转换为向量，随后通过两层全连接层，节点数分别为1024和1。当然上述的网络结构属于优选结构，在其他实施例中也可以是其他的结构，并不局限于上述描述。
3.设定目标函数并训练网络，得到能完成多曝光度反色调映射的生成对抗网络模型
将不同曝光度的标准动态范围图像送入网络训练之前，先对图像进行亮度均衡化处理。在一实施例中，可以将图像从RGB转为YUV表示，并对Y通道进行直方图均衡化处理，再转回RGB表示。使用亮度均衡化处理后的图像进行训练。
生成对抗网络的训练原理是通过生成器生成“假”的高动态范围图像，将这个生成的高动态范围图像与原生的高动态范围图像输入判别器进行区分。训练过程一方面是让生成器生成的图像更接近原生图像，从而达到欺骗判别器的目的；另一方面是训练判别器使其判别生成图像和原生图像的准确率更好。由此生成对抗网络形成了一个博弈过程，目标损失函数也由此原理建立。
设L、H分别表示标准动态范围输入和高动态范围输出，G、D分别表示生成器和判别器，目标损失函数是一个极大极小问题：
Figure BDA0002193523420000101
其中，
Figure BDA0002193523420000102
表示生成器的内容损失函数，表示生成器和判别器的对抗损失函数，λ是超参数，控制两种损失函数的比重。在部分实施例中，λ可以设置为0.001，并在实际训练过程中进行微调，使
Figure BDA0002193523420000104
和
Figure BDA0002193523420000105
保持相同的数量级。
Figure BDA0002193523420000106
可以被写为：
Figure BDA0002193523420000107
其中，L、H分别表示标准动态范围输入和高动态范围输出，
Figure BDA0002193523420000108
表示图像的内容损失，
Figure BDA0002193523420000109
表示本征损失，
Figure BDA00021935234200001010
为感知损失，α,β是超参数，控制三种损失的比重。在部分实施例中，α可以设置为0.01，β可以设置为10-6，并通过微调保证
Figure BDA00021935234200001011
比
Figure BDA00021935234200001012
高一个数量级。
Figure BDA00021935234200001013
通过输出图像与真实图像的均方误差计算；
Figure BDA00021935234200001014
可以表示为：
Figure BDA00021935234200001015
其中E表示期望，(L,H)～pdata表示从训练数据集中采样出数据组(L,H)，G(L)表示生成的高动态范围图像，|| ||F表示该张量的F-范数。I，R分别表示经过本征图分解后得到的照度图与反射图。
Figure BDA00021935234200001016
可以表示为：
Figure BDA0002193523420000111
其中φ4表示在ImageNet数据集上预训练好的VGG-19网络第四层池化层的输出。
Figure BDA0002193523420000112
由GAN网络的原理得出，该计算项与生成器和判别器都有关，其具体形式是：
其中H～pdata和L～pdata分别表示从训练数据集中采样出高动态范围图像和标准动态范围图像。
生成对抗网络中的极大极小问题是生成更好的图像和更准确的区分生成图像之间的博弈问题，生成对抗网络需要随着训练的进行逐步更新生成器和判别器的参数。特别地，在针对生成器和判别器分别计算时，生成器和判别器的更新可以写为：
Figure BDA0002193523420000113
Figure BDA0002193523420000114
其中Gk和Dk分别表示在第k次迭代时的生成器G和判别器D。
这其中的原理是当训练生成器时，通过最小化生成器的内容损失函数其生成的高动态范围图像能够在像素级别接近原生高动态范围图像。通过最小化网络的对抗损失函数
Figure BDA0002193523420000116
生成器生成的图像尽量能够“蒙骗”判别器做出错误的判断，认为其生成的图像是原生高动态范围图像；同时判别器随着训练的进行，对生成的图像和原生图像的区分准确率逐渐增强，随后在下一次迭代时，将其判别结果用于训练生成器。
以上训练完成后，得到能完成多曝光度反色调映射的生成对抗网络模型。
在另一实施例中，还提供一种多曝光度高动态范围反色调映射方法，即：得到上述多曝光度反色调映射的生成对抗网络模型后，将待映射的视频输入该模型，即可完成从不同曝光度的标准动态范围向正常曝光度的高动态范围的映射。
在另一实施例中，还提供一种多曝光度高动态范围反色调映射构建装置，包括：处理器和存储器，存储器中存储有程序指令，处理器用于调取程序指令以执行图1、图2的多曝光度高动态范围反色调映射构建方法。
当然，基于上述的方法，还可以提供多曝光度高动态范围反色调映射装置的实施例，其包括处理器和存储器，存储器中存储有程序指令，处理器用于调取程序指令以执行上述的多曝光度高动态范围反色调映射方法。
以上所描述的各实施例，能够调节过曝光或欠曝光图像的亮度，提升该类图像生成的高动态范围图像的效果；并且，考虑到高动态范围图像的亮度特性与色度特性，更好地实现了对高动态范围的反色调映射。
4.实施条件与结果评估
在本发明部分实施例中，代码实现由Python完成，框架使用TensorFlow。训练过程中，选取的每次迭代的批次大小为4，优化方法选择RMSProp，其学习率由10-4起始，随着迭代次数的增加不断减小，在80,000次迭代后达到10-5。目标函数中的参数设置，λ设置为0.001，α设置为0.01，β设置为10-6。
高动态范围图像的评价指标与标准动态范围图像不同，一般采用HDR-VDP-2来进行客观评价，其质量分数反映的是生成的高动态范围图像相对于原生的高动态范围图像质量下降的程度，通过一个平均主观意见分得到对输出结果的客观评价指标。除此之外，评价指标也引入了mPSNR来评价像素级别的质量和SSIM来评价生成图像的结构相关性。
表1本发明实施例与现有方法的效果对比
表1中给出了本发明实施例得出的结果与现有方法的结果评价指标对比，其中KO是非学习方法，其参数设定除图像属性外，均按照默认设定执行；DrTM和HDRCNN为基于学习的方法，其代码实现来源于作者。从结果来看，本发明实施例的结果在三种评价指标中都具有最高的得分，可以认为本发明提出的方法相对于现有方法在生成质量上有提升，结果实例可以参照图4。
图4是本发明实施例的结果与现有方法的结果对比，可以看出本发明的结果在过曝光与欠曝光情况下，效果有明显的提升。
本发明所述方法和系统在考虑了现有的基于学习方法中反色调映射方法的同时，也兼顾了不同曝光度图像的恢复问题，在不影响正常曝光度图像反色调映射效果的同时，对过曝光和欠曝光图像也有着更好的映射效果。同时与广泛使用的非学习方法相比，本发明所述方法和系统有着更好的非线性性能和多尺度变换性能。在保证了反色调映射的理论完整同时，提高了映射结果的视觉效果和客观评价指标。
以上对本发明的具体实施例进行的描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种多曝光度高动态范围反色调映射模型构建方法，其特征在于，包括：
从原始高动态范围视频中截取多幅正常曝光度的高动态范围图像，将所述高动态范围图像转化为标准动态范围图像，对所述标准动态范围图像采用相机响应方程调整曝光时间以产生多种曝光度的标准动态范围图像，这些不同曝光度的标准动态范围图像与同一幅正常曝光度的高动态范围图像组成有监督的数据集，作为后续的训练数据集；
建立基于卷积神经网络和跳跃式连接的生成对抗网络；
对所述生成对抗网络建立由图像内容特征、本征特征和感知特征综合的目标损失函数，采用所述训练数据集不断训练优化，得到能完成反色调映射的生成对抗网络模型。
2.根据权利要求1所述的多曝光度高动态范围反色调映射模型构建方法，其特征在于，所述训练数据集在训练时，先对所述标准动态范围图像的亮度信息进行均衡化处理，再输入所述生成对抗网络进行训练。
3.根据权利要求1所述的多曝光度高动态范围反色调映射模型构建方法，其特征在于：所述有监督的数据集，建立时：
从所述原始高动态范围视频截取出多幅高动态范围图像作为数据集中的高动态范围图像；
再使用Reinhard色调映射算法，将所述高动态范围图像转化为标准动态范围图像；
利用相机响应方程调整所述标准动态范围图像的曝光时间，生成额外的过曝光图像与欠曝光标准动态范围图像；
生成的不同曝光时间标准动态范围图像与同一幅正常曝光的高动态范围图像组成多对一的数据集。
4.根据权利要求1所述的一种多曝光度高动态范围反色调映射模型构建方法，其特征在于：所述训练数据集包含多组不同曝光度的标准动态范围和对应的正常曝光的高动态范围图像，其中：
过曝光与欠曝光的标准动态范围图像由正常曝光的标准动态范围图像通过改变曝光时间得到，过曝光图像与欠曝光图像的数量相同。
5.根据权利要求1所述的一种多曝光度高动态范围反色调映射模型构建方法，其特征在于：所述生成对抗网络由生成器和判别器组成，将不同曝光度的标准动态范围图像输入生成器，得到预测的正常曝光度高动态范围图像输出；判别器用来分辨输入判别器的图像是生成的还是原生的高动态范围图像；
所述生成器由n层卷积神经网络构成，并且每层都有批归一化操作，其中第i层与第n-i层有跳跃式连接。
6.根据权利要求5所述的一种多曝光度高动态范围反色调映射模型构建方法，其特征在于：所述目标损失函数是一个极大极小问题：
Figure FDA0002193523410000021
其中，L、H分别表示标准动态范围输入和高动态范围输出，G、D分别表示生成器和判别器，
Figure FDA0002193523410000022
表示生成器的内容损失函数，
Figure FDA0002193523410000023
表示生成器和判别器的对抗损失函数，λ是超参数，控制两种损失函数的比重。
7.根据权利要求6所述的一种多曝光度高动态范围反色调映射模型构建方法，其特征在于：所述生成器的内容损失函数为：
Figure FDA0002193523410000025
其中，L、H分别表示标准动态范围输入和高动态范围输出，
Figure FDA0002193523410000026
表示图像的内容损失，
Figure FDA0002193523410000027
表示本征损失，
Figure FDA0002193523410000028
为感知损失，α，β是超参数，控制三种损失的比重；
Figure FDA0002193523410000029
通过输出图像与真实图像的均方误差计算；
Figure FDA00021935234100000210
表示为：
Figure FDA00021935234100000211
其中E表示期望，(L，H)～pdata表示从训练数据集中采样出数据组(L，H)，G(L)表示生成的高动态范围图像，|| ||F表示该张量的F-范数；I，R分别表示经过本征图分解后得到的照度图与反射图；
表示为：
Figure FDA00021935234100000213
其中φ4表示在数据集上预训练好的网络第四层池化层的输出。
8.根据权利要求5所述的一种多曝光度高动态范围反色调映射模型构建方法，其特征在于：所述生成器和判别器的对抗损失函数RG,D(L,H)，由GAN网络的原理得出，具体是：
Figure FDA0002193523410000031
其中E表示期望，H～pdata和L～pdata分别表示从训练数据集中采样出高动态范围图像和标准动态范围图像；D(H)为真实的高动态范围图像输入判别器后的输出，D(G(L))为生成器生成的高动态范围图像输入判别器后得到的输出。
9.一种多曝光度高动态范围反色调映射模型构建装置，包括：处理器和存储器，其特征在于：所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行权利要求1-8中任一项所述的多曝光度高动态范围反色调映射模型构建方法。
10.一种多曝光度高动态范围反色调映射方法，采用上述权利要求1-8任一项所述方法得到的能完成反色调映射的生成对抗网络模型。
CN201910840411.4A 2019-09-06 2019-09-06 多曝光度高动态范围反色调映射模型构建方法及装置 Active CN110728633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910840411.4A CN110728633B (zh) 2019-09-06 2019-09-06 多曝光度高动态范围反色调映射模型构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910840411.4A CN110728633B (zh) 2019-09-06 2019-09-06 多曝光度高动态范围反色调映射模型构建方法及装置

Publications (2)

Publication Number Publication Date
CN110728633A true CN110728633A (zh) 2020-01-24
CN110728633B CN110728633B (zh) 2022-08-02

Family

ID=69217878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910840411.4A Active CN110728633B (zh) 2019-09-06 2019-09-06 多曝光度高动态范围反色调映射模型构建方法及装置

Country Status (1)

Country Link
CN (1) CN110728633B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372006A (zh) * 2020-03-03 2020-07-03 山东大学 一种面向移动端的高动态范围成像方法及系统
CN111429436A (zh) * 2020-03-29 2020-07-17 西北工业大学 一种基于多尺度注意力和标签损失的本质图像分析方法
CN111563577A (zh) * 2020-04-21 2020-08-21 西北工业大学 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
CN111683269A (zh) * 2020-06-12 2020-09-18 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN111709896A (zh) * 2020-06-18 2020-09-25 三星电子（中国）研发中心 一种将ldr视频映射为hdr视频的方法和设备
CN111835983A (zh) * 2020-07-23 2020-10-27 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN111861949A (zh) * 2020-04-21 2020-10-30 北京联合大学 一种基于生成对抗网络的多曝光图像融合方法及系统
CN112085668A (zh) * 2020-08-14 2020-12-15 深圳大学 一种基于区域自适应自监督学习的图像色调映射的方法
CN112184550A (zh) * 2020-09-18 2021-01-05 北京航空航天大学 神经网络训练方法、图像融合方法、装置、设备和介质
CN112822426A (zh) * 2020-12-30 2021-05-18 上海掌门科技有限公司 一种用于生成高动态范围图像的方法与设备
CN113436105A (zh) * 2021-06-30 2021-09-24 北京百度网讯科技有限公司 模型训练和图像优化方法、装置、电子设备及存储介质
WO2021226769A1 (zh) * 2020-05-09 2021-11-18 华为技术有限公司 一种图像处理方法及装置
CN113838040A (zh) * 2021-09-29 2021-12-24 西安工程大学 一种针对彩色纹理织物缺陷区域的检测方法
CN117456313A (zh) * 2023-12-22 2024-01-26 中国科学院宁波材料技术与工程研究所 色调曲线估计网络的训练方法、估计、映射方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157078A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated High dynamic range image combining
CN107451970A (zh) * 2017-07-28 2017-12-08 电子科技大学 一种基于单帧图像的高动态范围图像生成方法
CN108416805A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于深度学习的本征图像分解方法及装置
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统
US20180365874A1 (en) * 2017-06-14 2018-12-20 Adobe Systems Incorporated Neural face editing with intrinsic image disentangling
US20190096046A1 (en) * 2017-09-25 2019-03-28 The Regents Of The University Of California Generation of high dynamic range visual media
WO2019112085A1 (en) * 2017-12-06 2019-06-13 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157078A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated High dynamic range image combining
US20180365874A1 (en) * 2017-06-14 2018-12-20 Adobe Systems Incorporated Neural face editing with intrinsic image disentangling
CN107451970A (zh) * 2017-07-28 2017-12-08 电子科技大学 一种基于单帧图像的高动态范围图像生成方法
US20190096046A1 (en) * 2017-09-25 2019-03-28 The Regents Of The University Of California Generation of high dynamic range visual media
WO2019112085A1 (en) * 2017-12-06 2019-06-13 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
CN108416805A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于深度学习的本征图像分解方法及装置
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LECHAO CHENG ET AL: "Intrinsic Image Transformation via Scale Space Decomposition", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372006A (zh) * 2020-03-03 2020-07-03 山东大学 一种面向移动端的高动态范围成像方法及系统
CN111429436A (zh) * 2020-03-29 2020-07-17 西北工业大学 一种基于多尺度注意力和标签损失的本质图像分析方法
CN111429436B (zh) * 2020-03-29 2022-03-15 西北工业大学 一种基于多尺度注意力和标签损失的本质图像分析方法
CN111563577A (zh) * 2020-04-21 2020-08-21 西北工业大学 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
CN111861949A (zh) * 2020-04-21 2020-10-30 北京联合大学 一种基于生成对抗网络的多曝光图像融合方法及系统
CN111861949B (zh) * 2020-04-21 2023-07-04 北京联合大学 一种基于生成对抗网络的多曝光图像融合方法及系统
CN111563577B (zh) * 2020-04-21 2022-03-11 西北工业大学 基于Unet的跳跃层分频和多尺度鉴别的本征图像分解方法
WO2021226769A1 (zh) * 2020-05-09 2021-11-18 华为技术有限公司 一种图像处理方法及装置
CN111683269A (zh) * 2020-06-12 2020-09-18 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN111709896A (zh) * 2020-06-18 2020-09-25 三星电子（中国）研发中心 一种将ldr视频映射为hdr视频的方法和设备
CN111709896B (zh) * 2020-06-18 2023-04-07 三星电子（中国）研发中心 一种将ldr视频映射为hdr视频的方法和设备
CN111835983A (zh) * 2020-07-23 2020-10-27 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN111835983B (zh) * 2020-07-23 2021-06-29 福州大学 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN112085668A (zh) * 2020-08-14 2020-12-15 深圳大学 一种基于区域自适应自监督学习的图像色调映射的方法
CN112085668B (zh) * 2020-08-14 2023-10-10 深圳大学 一种基于区域自适应自监督学习的图像色调映射的方法
CN112184550A (zh) * 2020-09-18 2021-01-05 北京航空航天大学 神经网络训练方法、图像融合方法、装置、设备和介质
CN112822426A (zh) * 2020-12-30 2021-05-18 上海掌门科技有限公司 一种用于生成高动态范围图像的方法与设备
CN113436105A (zh) * 2021-06-30 2021-09-24 北京百度网讯科技有限公司 模型训练和图像优化方法、装置、电子设备及存储介质
CN113838040A (zh) * 2021-09-29 2021-12-24 西安工程大学 一种针对彩色纹理织物缺陷区域的检测方法
CN117456313A (zh) * 2023-12-22 2024-01-26 中国科学院宁波材料技术与工程研究所 色调曲线估计网络的训练方法、估计、映射方法及系统
CN117456313B (zh) * 2023-12-22 2024-03-22 中国科学院宁波材料技术与工程研究所 色调曲线估计网络的训练方法、估计、映射方法及系统

Also Published As

Publication number Publication date
CN110728633B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN110728633B (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
JP2022519469A (ja) 画像品質評価方法及び装置
US20090317017A1 (en) Image characteristic oriented tone mapping for high dynamic range images
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN106875352A (zh) 一种低照度图像增强方法
CN110717868A (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN115223004A (zh) 基于改进的多尺度融合生成对抗网络图像增强方法
CN111047543A (zh) 图像增强方法、装置和存储介质
CN113096029A (zh) 基于多分支编解码器神经网络的高动态范围图像生成方法
Shutova et al. NTIRE 2023 challenge on night photography rendering
CN113822830A (zh) 基于深度感知增强的多曝光图像融合方法
CN114596238A (zh) 一种多曝光图像融合方法、系统及可存储介质
CN115641391A (zh) 一种基于密集残差和双流注意力的红外图像彩色化方法
US11138693B2 (en) Attention-driven image manipulation
US20130287299A1 (en) Image processing apparatus
Zhang et al. A real-time semi-supervised deep tone mapping network
CN111724447B (zh) 一种图像处理方法、系统及电子设备和存储介质
CN112991236B (zh) 一种基于模板的图像增强方法及装置
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
Li et al. Multi-exposure image fusion based on improved pyramid algorithm
CN114638764B (zh) 基于人工智能的多曝光图像融合方法及系统
Ko et al. IceNet for interactive contrast enhancement
TWI590192B (zh) 適應性高動態範圍影像合成演算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant