CN111105376A - 基于双分支神经网络的单曝光高动态范围图像生成方法 - Google Patents

基于双分支神经网络的单曝光高动态范围图像生成方法 Download PDF

Info

Publication number
CN111105376A
CN111105376A CN201911314158.5A CN201911314158A CN111105376A CN 111105376 A CN111105376 A CN 111105376A CN 201911314158 A CN201911314158 A CN 201911314158A CN 111105376 A CN111105376 A CN 111105376A
Authority
CN
China
Prior art keywords
branch
image
neural network
hdr
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911314158.5A
Other languages
English (en)
Other versions
CN111105376B (zh
Inventor
霍永青
叶年进
李翰林
武畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911314158.5A priority Critical patent/CN111105376B/zh
Publication of CN111105376A publication Critical patent/CN111105376A/zh
Application granted granted Critical
Publication of CN111105376B publication Critical patent/CN111105376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双分支神经网络的单曝光高动态范围图像生成方法，将现实场景中捕获的单帧LDR图像通过带有双分支的神经网络后输出高曝光区域与低曝光区域拥有更高成像质量的HDR图像。本发明通过双分支神经网络模型的两个分支分别对单帧LDR图像的高曝光与低曝光区域进行处理，最终得到的HDR图像在高曝光有更自然的色彩以及更丰富的细节，且在低曝光区域的噪声也能被有效的抑制。

Description

基于双分支神经网络的单曝光高动态范围图像生成方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于双分支神经网络的单曝光高动态范围 图像生成方法的设计。
背景技术
近年来，高动态范围(HDR)成像技术不仅受到了学术界的重视，也受到工业界广泛的关注，研究人员提出了许多获取高动态范围图像的方法。最常见的一种方法是利用捕获于同一个场景的多幅不同曝光的低动态范围(LDR)图像生成一帧高质量的高动态范围图像。然而，人们实际捕获的绝大多数图像往往只具有单次曝光，现实中存在海量的单曝光图像。因此，研究人员开始专注于研究从单帧低动态范围图像生成高动态范围图像的方法，并取得了一些进展。
从传统的方法来看，单曝光HDR图像生成简单来说是对单帧图像的亮度范围以特定方 法进行扩展拉伸，从而得到具有高对比度的HDR图像。单曝光HDR图像生成方法也可被分为两类，基于相机响应函数(Camera Response Function，CRF)的方法与基于反色调映射(Inverse Tone Mapping，ITM)的方法。第一类方法根据输入图像对相应的CRF进行估计，再通过CRF对原辐照域的像素值进行映射得到HDR图像。第二类方法是目前主流的 单帧HDR生成技术的主要方法，该方法通过对图像不同曝光区域进行分段映射或者使用特 定反色调映射算子进行处理，使得原LDR图像的动态范围得以扩展且能增强高曝光与低曝 光区域的细节信息，从而得到视觉效果更优的HDR图像。
随着深度学习的应用日渐深入和渗透，近年来，开始出现使用卷积神经网络生成HDR 图像的方法。深度网络不仅可以代替传统方法中各种复杂的算子进行LDR图像到HDR图像的非线性映射，还能改善传统方法泛化性不足、算法复杂难以通过硬件实现等缺点。对于基于单曝光的HDR图像生成方式而言，卷积神经网络通过提取并组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，拥有强大的拟合能力。使用深度学习的方法对单帧图像高亮度区域和低亮度区域的细节信息进行增强或恢复估计，能够极大的还原出单帧LDR图像所对应的原始场景光照，且相对于众多传统的HDR 图像重建方法，在得到一个训练完成的深度网络后，其计算复杂度要小得多，具有更好的 实时性。
现有的大多数高动态范围图像生成方法都集中在仅对高亮度区域进行图像扩展，若图 像在低亮度区域因动态范围不足而质量得不到保证时，这往往无法增强或恢复出在图像暗 亮度区域本应可见的一些细节。
发明内容
本发明的目的是为了解决现有高动态范围图像生成方法存在的问题，提出了一种基于 双分支神经网络的单曝光高动态范围图像生成方法，既能同时对图像高亮度区域和低亮度 区域进行比特增强，又考虑到图像成像机制，具有高效性能。
本发明的技术方案为：基于双分支神经网络的单曝光高动态范围图像生成方法，包括 以下步骤：
S1、采集现有的HDR图像，构建HDR图像数据集。
S2、对HDR图像数据集中的HDR图像进行预处理，得到训练LDR图像。
S3、将训练LDR图像输入双分支神经网络模型，对双分支神经网络模型进行训练。
S4、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像，输出 得到HDR图像。
S5、将双分支神经网络模型嵌入到移动设备或普通的PC端上，对其输出的HDR图像进行后处理。
进一步地，步骤S1具体为：使用相机的环绕曝光拍摄多帧合成的HDR图像或者采集已有的HDR图像资源，并通过人工或脚本筛选数据，剔除掉有较多坏像素或不符合要求的HDR图像数据，将剩余HDR图像数据构成HDR图像数据集。
进一步地，步骤S2包括以下分步骤：
S21、对HDR图像数据集中的HDR图像进行随机裁剪，得到随机裁剪图像。
S22、采用resize函数将随机裁剪图像处理为固定大小的图像。
S23、对固定大小的图像进行色调、饱和度的随机调整以及随机直方图裁剪，得到随机 直方图裁剪图像。
S24、对随机直方图裁剪图像进行随机参数的色调映射，得到训练LDR图像。
进一步地，步骤S21中随机裁剪的比例为整幅图片RGB三个通道中像素值最高的前3％～5％。
进一步地，步骤S3中的双分支神经网络模型包括亮分支和暗分支，在对双分支神经网 络模型进行训练时，亮分支和暗分支分别使用其对应的损失函数。
亮分支损失函数
Figure BDA0002325354470000021
的计算公式为：
Figure BDA0002325354470000022
其中
Figure BDA0002325354470000031
表示双分支神经网络输出值，Y表示Ground Truth值，下标i,c表示通道c中的 第i个像素，w,h分别表示图像的宽与高，ε为防止log内值为0的调整系数，αL表示亮分支损失函数中色调损失的权重，
Figure BDA0002325354470000032
表示
Figure BDA0002325354470000033
的第i个像素从RGB域转到HSV域的H通道的 值，Hi表示真实图像第i个像素从RGB域转到HSV域的H通道的值，
Figure BDA0002325354470000034
表示第i个像素 的亮分支掩模，其计算公式为：
Figure BDA0002325354470000035
其中ta为判定图像区域是否为高曝光的阈值，Ii表示图像第i个像素的亮度，其计算公 式为：
Ii＝0.299Xri+0.587Xgi+0.114Xbi
其中Xri,Xgi,Xbi分别表示第i个像素的RGB值。
暗分支损失函数
Figure BDA0002325354470000036
的计算公式为：
Figure BDA0002325354470000037
其中αD表示暗分支损失函数中色调损失的权重，
Figure BDA0002325354470000038
表示第i个像素的暗分支掩模，其 计算公式为：
Figure BDA0002325354470000039
其中tb为判定图像区域是否为欠曝光的阈值。
双分支神经网络模型的损失函数
Figure BDA00023253544700000310
的计算公式为：
Figure BDA00023253544700000311
其中ω1,ω2分别为用于平衡亮分支损失函数值和暗分支损失函数值的权重。
进一步地，步骤S4包括以下分步骤：
S41、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像。
S42、根据阈值ta和tb计算得到测试LDR图像的亮分支掩模和暗分支掩模。
S43、将测试LDR图像转至HDR域，并分别输入至双分支神经网络模型的亮分支和暗分支中。
S44、将亮分支掩模与亮分支的输出进行点乘，得到第一点乘结果，同时将暗分支掩模 与暗分支的输出进行点乘，得到第二点乘结果。
S45、根据亮分支掩模和暗分支掩模计算得到正常曝光掩模
Figure BDA0002325354470000041
并将其与测试LDR图 像转至HDR域的结果进行点乘，得到第三点乘结果。
S46、将第一点乘结果、第二点乘结果和第三点乘结果进行求和，得到HDR图像并输出。
进一步地，步骤S45中正常曝光掩模
Figure BDA0002325354470000042
的计算公式为：
Figure BDA0002325354470000043
其中下标i表示第i个像素。
进一步地，步骤S5中对双分支神经网络模型输出的HDR图像进行后处理包括直方图 调整和去噪。
本发明的有益效果是：
(1)本发明通过深度学习的方法对单帧LDR图像的高曝光与低曝光区域所丢失的细 节信息进行估计来重建HDR图像，能够实现高曝光与低曝光区域的丢失信息估计与线性化， 最后重建得到质量更优的HDR图像。
(2)本发明通过双分支神经网络模型的两个分支分别对单帧LDR图像的高曝光与低 曝光区域进行处理，最终得到的HDR图像在高曝光有更自然的色彩以及更丰富的细节，且 在低曝光区域的噪声也能被有效的抑制。
(3)本发明在将单帧LDR图像输入双分支神经网络模型之前首先对单帧LDR图像进行了预处理，使其可被网络有效学习并能得到一个明显的质量提升效果，同时还能保证图像不过亮，从而低曝光区域的值限制在一个较低的范围内，让其能在8比特量化后出现肉眼可见的信息丢失，供网络学习弥补这一量化误差。
附图说明
图1所示为本发明实施例提供的基于双分支神经网络的单曝光高动态范围图像生成方 法流程图。
图2所示为本发明实施例提供的训练LDR图像与HDR图像对比图。
图3所示为本发明实施例提供的双分支神经网络模型结构图。
图4所示为本发明实施例提供的双分支神经网络模型测试结果图。
图5所示为本发明实施例提供的第一组主观结果对比图。
图6所示为本发明实施例提供的第二组主观结果对比图。
图7所示为本发明实施例提供的第三组主观结果对比图。
图8所示为本发明实施例提供的客观结果测试图像原图。
图9所示为本发明实施例提供的HDR-VDP2可视化结果对比图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述 的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
本发明实施例提供了一种基于双分支神经网络的单曝光高动态范围图像生成方法，如 图1所示，包括以下步骤S1～S5：
S1、采集现有的HDR图像，构建HDR图像数据集。
本发明实施例中，使用相机的环绕曝光拍摄多帧合成的HDR图像或者采集已有的HDR 图像资源，并通过人工或脚本筛选数据，剔除掉有较多坏像素或不符合要求的HDR图像数 据，将剩余HDR图像数据构成HDR图像数据集。
S2、对HDR图像数据集中的HDR图像进行预处理，得到训练LDR图像。
步骤S2包括以下分步骤S21～S24：
S21、对HDR图像数据集中的HDR图像进行随机裁剪，得到随机裁剪图像。
一般来说高质量的HDR图像分辨率很大，因内存与运算能力限制，需要将原图进行随 机裁剪，本发明实施例中随机裁剪的比例为整幅图片RGB三个通道中像素值最高的前3％～5％，这样的数据退化可被网络有效学习并能得到一个明显的质量提升效果，同时还能 保证图像不过亮，从而低曝光区域的值限制在一个较低的范围内，让其能在8比特量化后 出现肉眼可见的信息丢失，供网络学习弥补这一量化误差。
S22、采用resize函数将随机裁剪图像处理为固定大小的图像。
本发明实施例中，模型使用的尺寸为320*320。
S23、对固定大小的图像进行色调、饱和度的随机调整以及随机直方图裁剪，得到随机 直方图裁剪图像。
S24、对随机直方图裁剪图像进行随机参数的色调映射，得到训练LDR图像。
经预处理得到的训练LDR图像对如图2所示，图2中(a)(b)两张为用于输入的LDR图像，(c)(d)两张为对应的HDR图像(经色调映射显示)，明显可见在较暗或较亮的区 域HDR图像的细节更优秀。
S3、将训练LDR图像输入双分支神经网络模型，对双分支神经网络模型进行训练。
本发明实施例中，训练过程需要关注数据对网络的影响以及相应训练设备的使用率， 以保证训练的效率。如图3所示，其中输入为预处理后得到的训练LDR图像，如左边第一张图所示。双分支神经网络模型结构包括两个分支(亮分支与暗分支)，可根据不同大小的特征图分为不同的卷积块，分别对图像的高曝光区域与低曝光区域进行处理，且这两个分支的结构基本一致。对于亮分支，即上半部分，相同大小的浅色方块指代同一个特征图， 代表从编码器通过跳远连接传过来的特征图。除此之外，相同大小方块之间均为步长为1， 卷积核大小为3的卷积操作。在编码器中，最大池化层用于特征图的下采样，形状为2*2， 步长为2。相应的，解码器中上采样的方法为双线性插值。网络模型中激活函数均使用 leaky-relu，每一个卷积块最后使用实力正则化层来实现对网络的正则化。
在对双分支神经网络模型进行训练时，亮分支和暗分支分别使用其对应的损失函数。 两个损失函数的构成类似，主要有两个部分，一个为L2距离损失，一个为在HSV域计算的H通道L2距离，相关计算公式如下：
亮分支损失函数
Figure BDA0002325354470000061
的计算公式为：
Figure BDA0002325354470000062
其中
Figure BDA0002325354470000063
表示双分支神经网络输出值，Y表示Ground Truth值，下标i,c表示通道c中的 第i个像素，w,h分别表示图像的宽与高，ε为防止log内值为0的调整系数，αL表示亮分支损失函数中色调损失的权重，
Figure BDA0002325354470000064
表示
Figure BDA0002325354470000065
的第i个像素从RGB域转到HSV域的H通道的 值，Hi表示真实图像第i个像素从RGB域转到HSV域的H通道的值，
Figure BDA0002325354470000066
表示第i个像素 的亮分支掩模，其计算公式为：
Figure BDA0002325354470000067
其中ta为判定图像区域是否为高曝光的阈值，Ii表示图像第i个像素的亮度，其计算公 式为：
Ii＝0.299Xri+0.587Xgi+0.114Xbi
其中Xri,Xgi,Xbi分别表示第i个像素的RGB值。
暗分支损失函数
Figure BDA0002325354470000068
的计算公式为：
Figure BDA0002325354470000069
其中αD表示暗分支损失函数中色调损失的权重，
Figure BDA00023253544700000610
表示第i个像素的暗分支掩模，其 计算公式为：
Figure BDA0002325354470000071
其中tb为判定图像区域是否为欠曝光的阈值。
双分支神经网络模型的损失函数
Figure BDA0002325354470000072
的计算公式为：
Figure BDA0002325354470000073
其中ω1,ω2分别为用于平衡亮分支损失函数值和暗分支损失函数值的权重。
S4、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像，输出 得到HDR图像。
步骤S4包括以下分步骤S41～S46：
S41、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像。
本发明实施例中，根据训练过程记录的训练集损失函数值与验证集损失函数值进行双 分支神经网络模型收敛的判断，当它们的值都逐渐变小后处于一个小幅度振荡时，可判断 为双分支神经网络模型收敛。
S42、根据阈值ta和tb计算得到测试LDR图像的亮分支掩模和暗分支掩模。
S43、将测试LDR图像转至HDR域(本发明实施例中使用gamma变换或是简单的反 色调映射算子)，并分别输入至双分支神经网络模型的亮分支和暗分支中。
S44、将亮分支掩模与亮分支的输出进行点乘，得到第一点乘结果，同时将暗分支掩模 与暗分支的输出进行点乘，得到第二点乘结果。
S45、根据亮分支掩模和暗分支掩模计算得到正常曝光掩模
Figure BDA0002325354470000074
并将其与测试LDR图 像转至HDR域的结果进行点乘，得到第三点乘结果。
本发明实施例中，正常曝光掩模
Figure BDA0002325354470000075
的计算公式为：
Figure BDA0002325354470000076
其中下标i表示第i个像素。
S46、将第一点乘结果、第二点乘结果和第三点乘结果进行求和，得到HDR图像并输出。
本发明实施例中，输入的测试LDR图像及输出结果如图4所示，图4中最左边第一列的3张图像为LDR图像转到HDR域经色调映射后显示的原图；第二列为只通过亮分支处 理的输出，可以看到在高曝光区域的细节会更好，但暗处的噪声没有得到处理；第三列为 只通过暗分支处理的输出，暗处噪声得到有效的压制；第四列为经过两个分支处理融合得 到的HDR图像，可见暗处噪声得到抑制，且过曝区域细节更清晰。
S5、将双分支神经网络模型嵌入到移动设备或普通的PC端上，对其输出的HDR图像进行直方图调整和去噪等后处理，以让最后的结果能有更优秀的表现效果。
为验证本发明的效果，下面以具体实验例对本发明提出的基于双分支神经网络的单曝 光高动态范围图像生成方法的主观结果和客观结果进行详细说明：
将本发明生成的HDR图像与Eilertsen G等在2017年提出的“HDR imagereconstruction from a single exposure using deep CNNs”(本实验例中简称为HDRnet2017)和Marnerides D 等在2018年提出的“ExpandNet:A Deep ConvolutionalNeural Network for High Dynamic Range Expansion from Low Dynamic RangeContent”(本实验例中简称为expandNet)进行比 较，对三种算法生成的HDR图像进行色调映射后给出了主观结果比较图，并采用 HDR-VDP2给出了客观比较结果。
(1)主观结果：
如图5～图7所示，各组主观结果对比图中的图(a)均为映射到HDR域的原图，图(b)均为HDRnet2017的结果图，图(c)均为ExpandNet结果图，图(d)均为本发明输出的结 果图。通过对比可看出，本发明的结果在过曝区域有更自然的色彩以及更丰富的细节，且 在低曝光区域的噪声也能被有效的抑制。
(2)客观结果：
本实验例使用HDR-VDP2作为客观指标的衡量，采用图8所示的测试图像，并分别给出了对应可视化结果图(图9)和Q值对比表(表1)。其中图8(a)(b)(c)(d)分别为 野外1、野外2、室内和室外傍晚的测试图像原图，测试图像均包含过曝与欠曝的情况。
如图9所示，图9(a)(d)(g)(j)为采用HDRnet2017生成的图8中四幅测试图像 原图的可视化结果图，图9(b)(e)(h)(k)为采用ExpandNet生成的图8中四幅测试图 像原图的可视化结果图，图9(c)(f)(i)(l)为采用本发明方法生成的图8中四幅测试图 像原图的可视化结果图，通过对比可以发现，本发明方法生成的可视化结果图具备更高的 图像质量。
表1
Figure BDA0002325354470000081
表1是HDR-VDP2中的评测指标Q值，该值越大表明生成的HDR图像与其真实HDR 图像拥有越低的感知差异。无论从可视化结果图还是具体Q值来看，本发明都有一定的优 势。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的 原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通 技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体 变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.基于双分支神经网络的单曝光高动态范围图像生成方法，其特征在于，包括以下步骤：
S1、采集现有的HDR图像，构建HDR图像数据集；
S2、对HDR图像数据集中的HDR图像进行预处理，得到训练LDR图像；
S3、将训练LDR图像输入双分支神经网络模型，对双分支神经网络模型进行训练；
S4、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像，输出得到HDR图像；
S5、将双分支神经网络模型嵌入到移动设备或普通的PC端上，对其输出的HDR图像进行后处理。
2.根据权利要求1所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S1具体为：使用相机的环绕曝光拍摄多帧合成的HDR图像或者采集已有的HDR图像资源，并通过人工或脚本筛选数据，剔除掉有较多坏像素或不符合要求的HDR图像数据，将剩余HDR图像数据构成HDR图像数据集。
3.根据权利要求1所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S2包括以下分步骤：
S21、对HDR图像数据集中的HDR图像进行随机裁剪，得到随机裁剪图像；
S22、采用resize函数将随机裁剪图像处理为固定大小的图像；
S23、对固定大小的图像进行色调、饱和度的随机调整以及随机直方图裁剪，得到随机直方图裁剪图像；
S24、对随机直方图裁剪图像进行随机参数的色调映射，得到LDR图像。
4.根据权利要求3所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S21中随机裁剪的比例为整幅图片RGB三个通道中像素值最高的前3％～5％。
5.根据权利要求1所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S3中的双分支神经网络模型包括亮分支和暗分支，在对双分支神经网络模型进行训练时，所述亮分支和暗分支分别使用其对应的损失函数；
亮分支损失函数
Figure FDA0002325354460000011
的计算公式为：
Figure FDA0002325354460000012
其中
Figure FDA0002325354460000013
表示双分支神经网络输出值，Y表示Ground Truth值，下标i,c表示通道c中的第i个像素，w,h分别表示图像的宽与高，ε为防止log内值为0的调整系数，αL表示亮分支损失函数中色调损失的权重，
Figure FDA0002325354460000021
表示
Figure FDA0002325354460000022
的第i个像素从RGB域转到HSV域的H通道的值，Hi表示真实图像第i个像素从RGB域转到HSV域的H通道的值，
Figure FDA0002325354460000023
表示第i个像素的亮分支掩模，其计算公式为：
Figure FDA0002325354460000024
其中ta为判定图像区域是否为高曝光的阈值，Ii表示图像第i个像素的亮度，其计算公式为：
Ii＝0.299Xri+0.587Xgi+0.114Xbi
其中Xri,Xgi,Xbi分别表示第i个像素的RGB值；
暗分支损失函数
Figure FDA0002325354460000025
的计算公式为：
Figure FDA0002325354460000026
其中αD表示暗分支损失函数中色调损失的权重，
Figure FDA0002325354460000027
表示第i个像素的暗分支掩模，其计算公式为：
Figure FDA0002325354460000028
其中tb为判定图像区域是否为欠曝光的阈值；
所述双分支神经网络模型的损失函数
Figure FDA0002325354460000029
的计算公式为：
Figure FDA00023253544600000210
其中ω1,ω2分别为用于平衡亮分支损失函数值和暗分支损失函数值的权重。
6.根据权利要求5所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S4包括以下分步骤：
S41、当双分支神经网络模型收敛后，向双分支神经网络模型输入测试LDR图像；
S42、根据阈值ta和tb计算得到测试LDR图像的亮分支掩模和暗分支掩模；
S43、将测试LDR图像转至HDR域，并分别输入至双分支神经网络模型的亮分支和暗分支中；
S44、将亮分支掩模与亮分支的输出进行点乘，得到第一点乘结果，同时将暗分支掩模与暗分支的输出进行点乘，得到第二点乘结果；
S45、根据亮分支掩模和暗分支掩模计算得到正常曝光掩模
Figure FDA00023253544600000211
并将其与测试LDR图像转至HDR域的结果进行点乘，得到第三点乘结果；
S46、将第一点乘结果、第二点乘结果和第三点乘结果进行求和，得到HDR图像并输出。
7.根据权利要求6所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S45中正常曝光掩模
Figure FDA0002325354460000031
的计算公式为：
Figure FDA0002325354460000032
其中下标i表示第i个像素。
8.根据权利要求1所述的单曝光高动态范围图像生成方法，其特征在于，所述步骤S5中对双分支神经网络模型输出的HDR图像进行后处理包括直方图调整和去噪。
CN201911314158.5A 2019-12-19 2019-12-19 基于双分支神经网络的单曝光高动态范围图像生成方法 Active CN111105376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911314158.5A CN111105376B (zh) 2019-12-19 2019-12-19 基于双分支神经网络的单曝光高动态范围图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911314158.5A CN111105376B (zh) 2019-12-19 2019-12-19 基于双分支神经网络的单曝光高动态范围图像生成方法

Publications (2)

Publication Number Publication Date
CN111105376A true CN111105376A (zh) 2020-05-05
CN111105376B CN111105376B (zh) 2022-08-02

Family

ID=70422258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911314158.5A Active CN111105376B (zh) 2019-12-19 2019-12-19 基于双分支神经网络的单曝光高动态范围图像生成方法

Country Status (1)

Country Link
CN (1) CN111105376B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111683269A (zh) * 2020-06-12 2020-09-18 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN111932471A (zh) * 2020-07-24 2020-11-13 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法
CN113065997A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN113096029A (zh) * 2021-03-05 2021-07-09 电子科技大学 基于多分支编解码器神经网络的高动态范围图像生成方法
WO2022000157A1 (en) * 2020-06-29 2022-01-06 Plantronics, Inc. Video systems with real-time dynamic range enhancement

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和系统
CN108305232A (zh) * 2018-03-01 2018-07-20 电子科技大学 一种单帧高动态范围图像生成方法
CN109447907A (zh) * 2018-09-20 2019-03-08 宁波大学 一种基于全卷积神经网络的单图像增强方法
US20190096046A1 (en) * 2017-09-25 2019-03-28 The Regents Of The University Of California Generation of high dynamic range visual media
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN110135501A (zh) * 2019-05-17 2019-08-16 电子科技大学 基于神经网络框架的高动态范围图像取证方法
CN110163808A (zh) * 2019-03-28 2019-08-23 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
US20190096046A1 (en) * 2017-09-25 2019-03-28 The Regents Of The University Of California Generation of high dynamic range visual media
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和系统
CN108305232A (zh) * 2018-03-01 2018-07-20 电子科技大学 一种单帧高动态范围图像生成方法
CN109447907A (zh) * 2018-09-20 2019-03-08 宁波大学 一种基于全卷积神经网络的单图像增强方法
CN110163808A (zh) * 2019-03-28 2019-08-23 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN110135501A (zh) * 2019-05-17 2019-08-16 电子科技大学 基于神经网络框架的高动态范围图像取证方法
CN110191291A (zh) * 2019-06-13 2019-08-30 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于娇文等: "基于流形学习的高动态范围图像质量评价", 《激光杂志》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111683269A (zh) * 2020-06-12 2020-09-18 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
CN111683269B (zh) * 2020-06-12 2021-08-17 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机设备和存储介质
WO2022000157A1 (en) * 2020-06-29 2022-01-06 Plantronics, Inc. Video systems with real-time dynamic range enhancement
CN111932471A (zh) * 2020-07-24 2020-11-13 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法
CN111932471B (zh) * 2020-07-24 2022-07-19 山西大学 用于低照度图像增强的双路曝光度融合网络模型及方法
CN113065997A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN113065997B (zh) * 2021-02-27 2023-11-17 华为技术有限公司 一种图像处理方法、神经网络的训练方法以及相关设备
CN113096029A (zh) * 2021-03-05 2021-07-09 电子科技大学 基于多分支编解码器神经网络的高动态范围图像生成方法

Also Published As

Publication number Publication date
CN111105376B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN109447907B (zh) 一种基于全卷积神经网络的单图像增强方法
CN110728633B (zh) 多曝光度高动态范围反色调映射模型构建方法及装置
CN113096029A (zh) 基于多分支编解码器神经网络的高动态范围图像生成方法
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
KR20120107429A (ko) 구역 기반의 톤 매핑
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN113344773B (zh) 基于多级对偶反馈的单张图片重构hdr方法
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
Ke et al. Perceptual multi-exposure image fusion with overall image quality index and local saturation
WO2023086194A1 (en) High dynamic range view synthesis from noisy raw images
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN115205160A (zh) 基于局部场景感知的无参考低照度图像增强方法
CN113409247B (zh) 一种多曝光融合图像质量评价方法
CN114299180A (zh) 图像重建方法、装置、设备及存储介质
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN112927160B (zh) 一种基于深度Retinex的单张低光图像增强方法
Zhang et al. Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video
CN111524060B (zh) 一种实时人像背景虚化的系统、方法、存储介质和设备
CN117197627A (zh) 一种基于高阶退化模型的多模态图像融合方法
Ye et al. Single exposure high dynamic range image reconstruction based on deep dual-branch network
CN111325781A (zh) 一种基于轻量化网络的位深度提升方法及其系统
CN111161189A (zh) 一种基于细节弥补网络的单幅图像再增强方法
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant