CN111835983A - 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 - Google Patents

一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 Download PDF

Info

Publication number
CN111835983A
CN111835983A CN202010719702.0A CN202010719702A CN111835983A CN 111835983 A CN111835983 A CN 111835983A CN 202010719702 A CN202010719702 A CN 202010719702A CN 111835983 A CN111835983 A CN 111835983A
Authority
CN
China
Prior art keywords
exposure
network
dynamic range
image block
exposure image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010719702.0A
Other languages
English (en)
Other versions
CN111835983B (zh
Inventor
牛玉贞
吴建斌
刘文犀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Jieyu Computer Technology Co ltd
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010719702.0A priority Critical patent/CN111835983B/zh
Publication of CN111835983A publication Critical patent/CN111835983A/zh
Application granted granted Critical
Publication of CN111835983B publication Critical patent/CN111835983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于生成对抗网络的多曝光图高动态范围成像方法及系统，首先对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光和高动态范围图像块；设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；使用成组的低曝光、正常曝光、高曝光和高动态范围图像块交替训练生成器网络和判别器网络收敛到纳什平衡；最后将用于测试的原始分辨率的低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。本发明能提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。

Description

一种基于生成对抗网络的多曝光图高动态范围成像方法及 系统
技术领域
本发明涉及图像和视频处理技术领域，特别是一种基于生成对抗网络的多曝光图高动态范围成像方法及系统。
背景技术
在不同的场景中，自然亮度的动态范围往往是不同的，但大多数现成的数码相机在拍摄时只能捕获到场景内有限的动态范围。有一些专门的硬件设备可用于直接拍摄场景的高动态范围图像，但这些设备通常过于昂贵而无法广泛使用。近年来，随着移动设备的盛行，人们非常期望使用轻量化和低成本的单目移动相机来捕捉场景中的高动态范围，以制作出覆盖广泛照度范围的满意照片。
完成高动态范围成像的一种流行方法是将几张以不同曝光度拍摄的低动态范围图像合并成一张高动态范围图像。在最近的高动态范围成像方法中，通常将其中一张中等曝光的低动态范围图像作为参考图像，其余的图像将被用来补偿参考图中由于局部区域曝光过度或曝光不足而导致的细节缺失。当这组低动态范围图像的像素是完全对齐时，这些方法可以很好地解决这个问题。但在实际应用中，由于相机运动或物体运动的原因，经常会出现前景和背景错位的现象，这样制作出来的高动态范围图像就会出现模糊和鬼影的伪影。之前的一些方法在预处理阶段对低动态范围图像进行对齐，如利用光流进行对齐。但光流往往是不准确的，特别是对于不同曝光级别拍摄的图像。因此仍然存在由于光流的估计误差造成的伪影问题。由于对于运动的物体来说，像素级的对齐精度很难达到，所以伪影还是很难克服的。
随着深度学习技术的进步，有人提出利用深度卷积神经网络来完成多曝光图的高动态范围成像。而多数方法在预处理阶段仍需要使用光流操作对输入的低动态范围图像进行对齐。此外，当低动态范围图像之间存在较大的运动或明显的错位，且运动区域存在较大的饱和区时，这些模型无法很好地还原其缺失的细节。
发明内容
有鉴于此，本发明的目的是提出一种基于生成对抗网络的多曝光图高动态范围成像方法及系统，能够提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。
本发明采用以下方案实现：一种基于生成对抗网络的多曝光图高动态范围成像方法，包括以下步骤：
步骤S1：对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块；
步骤S2：设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；
步骤S3：使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡，得到并保存训练好的生成器网络和判别器网络；
步骤S4：将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。
进一步地，所述步骤S1具体包括以下步骤：
步骤S11：将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块，得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块；
步骤S12：将得到的每组图像块进行统一的随机旋转和翻转，对数据进行增强，得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集，其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入，高动态范围图像块是标签。
进一步地，步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容：
所述生成器网络可分为三个部分，分别是编码器部分、特征融合部分和解码器部分；
编码器部分含有三路结构相同的分支，分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征，每路分支由三个串联的编码单元组成。编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块，编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接。编码器部分的两次下采样将网络划分为3个不同的尺度；
对应编码器部分的三个尺度，特征融合部分由三个尺度的融合模块组成，分别是
Figure BDA0002598391540000041
和
Figure BDA0002598391540000042
每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入，每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成，并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加，形成基于正常曝光图特征的残差结构；
解码器部分总共由三个解码器单元组成，分别是
Figure BDA0002598391540000043
和
Figure BDA0002598391540000044
其中
Figure BDA0002598391540000045
和
Figure BDA0002598391540000046
对应编码器中的第一个尺度，
Figure BDA0002598391540000047
对应编码器中的第二个尺度。解码器单元
Figure BDA0002598391540000048
和
Figure BDA0002598391540000049
的输入由三部分特征在通道维度上拼接组成，分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果。解码器单元
Figure BDA00025983915400000410
的输入由四部分特征在通道维度上拼接组成，具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元
Figure BDA00025983915400000411
的输出特征和解码器单元
Figure BDA00025983915400000412
输出特征的上采样结果。每个解码器单元的结构与编码器单元相同，是一个含有两层卷积核为3×3、步长为1的卷积的残差模块。解码器部分的上采样操作由最近邻插值完成；
生成器的编码器部分、特征融合部分和解码器部分的卷积层使用了普归一化，且卷积层后使用ReLU函数激活。对解码器单元
Figure BDA00025983915400000413
和
Figure BDA00025983915400000414
的输出特征使用卷积核为1×1、步长为1的卷积层输出通道数为3的高动态范围图像结果，故生成器总共输出两个预测的高动态范围图像结果
Figure BDA0002598391540000051
和
Figure BDA0002598391540000052
其中
Figure BDA0002598391540000053
作为最终的高动态范围图像结果。
进一步地，步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为：
判别器网络由串联的五层卷积层组成，其中前三层卷积层的卷积核大小为4×4、步长为2，后两层卷积层的卷积核大小为4×4、步长为1，所有的卷积层使用普归一化且卷积层之间使用Leaky ReLU函数激活；判别器网络的输出为判别结果矩阵M；判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域，代表该区域的判别结果。
进一步地，所述步骤S3具体包括以下步骤：
步骤S31：将成组的低曝光、正常曝光、高曝光和高动态范围图像块随机划分为多个批次，每个批次包含N个图像块；
步骤S32：使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域，公式如下：
Figure BDA0002598391540000054
其中Li(i＝{1,2,3})是输入的图像块，L1、L2、L3分别对应高曝光、中曝光、低曝光图像块；γ是系数，取值为2.2，ti(i＝{1,2,3})是图像块Li的曝光时间，Hi是图像块Li转成高动态范围域的结果；
步骤S33：使用成对的各个曝光图像块Li与其高动态范围域结果Hi在通道维度上的拼接结果Xi作为生成器网络第i路编码器分支的输入，得到生成器网络输出的两个高动态范围图像预测结果
Figure BDA0002598391540000061
和
Figure BDA0002598391540000062
步骤S34：对于每一组图像块，使用如下公式分别对生成器网络的预测结果
Figure BDA0002598391540000063
和参考高动态图像Hgt进行色调映射得到映射结果
Figure BDA0002598391540000064
和Tgt；
Figure BDA0002598391540000065
其中H是高动态范围域图像块，μ是系数，取值5000，
Figure BDA0002598391540000066
是高动态范围域图像块H的色调映射结果；当H分别为
Figure BDA0002598391540000067
Hgt时，得到的色调映射结果分别为
Figure BDA0002598391540000068
和Tgt；
步骤S35：使用色调映射结果
Figure BDA0002598391540000069
和Tgt分别输入判别器网络得到其输出的判别结果矩阵；
步骤S36：根据生成器网络的总目标损失函数，使用反向传播方法计算生成器网络中各参数的梯度，并利用随机梯度下降方法更新生成器网络的参数；
步骤S37：根据判别器网络的目标损失函数，使用反向传播方法计算判别器网络中各参数的梯度，并利用随机梯度下降方法更新判别器网络的参数；
步骤S38：以批次为单位重复进行上述步骤S32至步骤S37的生成器网络和判别器网络训练步骤，直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成器网络和判别器网络的训练过程。
进一步地，所述生成器网络的总目标损失函数计算如下：
Figure BDA0002598391540000071
其中
Figure BDA0002598391540000072
是L1损失，
Figure BDA0002598391540000073
是生成对抗网络下生成器网络的损失，λ1和λ2是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：
Figure BDA0002598391540000074
其中
Figure BDA0002598391540000075
和Tgt分别是生成器网络的预测结果
Figure BDA0002598391540000076
和参考高动态图像Hgt使用色调映射后的结果，||.||1是取绝对值操作；
Figure BDA0002598391540000077
是利用超球空间
Figure BDA0002598391540000078
来计算的生成对抗网络中生成器的损失，其中n为超球空间的维度，即判别器网络输出的判别结果矩阵的总维度。使用如下公式计算生成器的对抗损失
Figure BDA0002598391540000079
Figure BDA00025983915400000710
其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果，D和G分别表示判别器网络和生成器网络，G(X1,X2,X3)表示输入为X1、X2和X3时，生成器生成的高动态范围图像，D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure BDA00025983915400000711
Figure BDA00025983915400000712
表示计算均值，N是参考点
Figure BDA00025983915400000713
ds(.,.)为计算两个一维向量在超球空间上的距离，
Figure BDA00025983915400000714
为距离ds(.,.)的r阶矩。假设
Figure BDA00025983915400000715
和
Figure BDA00025983915400000716
为两个一维向量，ds(q1,q2)的计算公式如下：
Figure BDA0002598391540000081
其中，q1和q2为一维向量，||.||2表示计算欧几里得范数的平方，·为一维向量的点积运算。
进一步地，所述判别器网络的目标损失函数计算如下：
Figure BDA0002598391540000082
与生成器网络的对抗损失相似，
Figure BDA0002598391540000083
是利用超球空间
Figure BDA0002598391540000084
来计算的生成对抗网络中判别器的损失，其中n为超球空间的维度,即判别器网络输出的判别结果矩阵的总维度。z为参考高动态图像块，其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果，D和G分别表示判别器网络和生成器网络，G(X1,X2,X3)表示输入为X1、X2和X3时，生成器生成的高动态范围图像，D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure BDA0002598391540000085
D(z)表示判别器网络对参考高动态图像块z的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure BDA0002598391540000086
表示计算均值，N是参考点
Figure BDA0002598391540000087
ds(.,.)为计算两个一维向量在超球空间上的距离，
Figure BDA0002598391540000088
为距离ds(.,.)的r阶矩。假设
Figure BDA0002598391540000089
和
Figure BDA00025983915400000810
为两个一维向量，ds(q1,q2)的计算公式如下：
Figure BDA0002598391540000091
其中，q1和q2为一维向量，||.||2表示计算欧几里得范数的平方，·为一维向量的点积运算。
进一步地，本发明还提供了一种基于生成对抗网络的多曝光图高动态范围成像系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如上文所述的方法。
与现有技术相比，本发明有以下有益效果：
本发明使用独立的多尺度编码器和多尺度的特征融合模块，能够有效地将低曝光图和高曝光图的特征对齐到正常曝光图的特征，通过使用深度监督训练进一步强化了特征的对齐且促进网络训练。通过使用生成对抗网络的训练方式，使得模型生成的高动态范围图像更加真实，有效抑制了由于未对齐的多曝光图像导致的伪影，且能够恢复图像包和区域的结构和细节，具有较高地使用价值。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的生成器网络和判别器网络结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于生成对抗网络的多曝光图高动态范围成像方法，包括以下步骤：
步骤S1：对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块；
步骤S2：设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；
步骤S3：使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡，得到并保存训练好的生成器网络和判别器网络；
步骤S4：将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。
本实施例使用成组的低曝光图像、正常曝光图像和高曝光图像作为输入，通过设计独立的多尺度编码器用于提取各个曝光图像的多尺度特征，并且以正常曝光图为参考设计基于参考图特征的特征融合模块，将高曝光图和低曝光图的特征对齐到正常曝光图，再使用解码器网络输出高动态范围图像。并且通过引入深度监督和生成对抗网络的训练方式，进一步促进了特征图的对齐和网络的训练。对比现有多曝光图像的高动态范围成像方法，本实施例能够显著提升多曝光图像间具有明显背景移动或物体运动时生成的高动态范围图像的质量。
在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块，得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块；
步骤S12：将得到的每组图像块进行统一的随机旋转和翻转，对数据进行增强，得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集，其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入，高动态范围图像块是标签。
在本实施例中，步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容：
生成器网络可分为三个部分，如图2所示，分别是编码器部分、特征融合部分和解码器部分；
编码器部分含有三路结构相同的分支，分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征，每路分支由三个串联的编码单元组成。编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块，编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接。编码器部分的两次下采样将网络划分为3个不同的尺度；
对应编码器部分的三个尺度，特征融合部分由三个尺度的融合模块组成，分别是
Figure BDA0002598391540000121
和
Figure BDA0002598391540000122
每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入，每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成，并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加，形成基于正常曝光图特征的残差结构；
解码器部分总共由三个解码器单元组成，分别是
Figure BDA0002598391540000123
和
Figure BDA0002598391540000124
其中
Figure BDA0002598391540000125
和
Figure BDA0002598391540000126
对应编码器中的第一个尺度，
Figure BDA0002598391540000127
对应编码器中的第二个尺度。解码器单元
Figure BDA0002598391540000128
和
Figure BDA0002598391540000129
的输入由三部分特征在通道维度上拼接组成，分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果。解码器单元
Figure BDA00025983915400001210
的输入由四部分特征在通道维度上拼接组成，具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元
Figure BDA0002598391540000131
的输出特征和解码器单元
Figure BDA0002598391540000132
输出特征的上采样结果。每个解码器单元的结构与编码器单元相同，是一个含有两层卷积核为3×3、步长为1的卷积的残差模块。解码器部分的上采样操作由最近邻插值完成；
生成器的编码器部分、特征融合部分和解码器部分的卷积层使用了普归一化，且卷积层后使用ReLU函数激活。如图2所示，解码器单元
Figure BDA0002598391540000133
和
Figure BDA0002598391540000134
的输出特征分别使用卷积核为1×1、步长为1的卷积层输出通道数为3的高动态范围图像结果，故生成器总共输出两个预测的高动态范围图像结果
Figure BDA0002598391540000135
和
Figure BDA0002598391540000136
其中
Figure BDA0002598391540000137
作为最终的高动态范围图像结果。
在本实施例中，步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为：
如图2所示，判别器网络由串联的五层卷积层组成，其中前三层卷积层的卷积核大小为4×4、步长为2，后两层卷积层的卷积核大小为4×4、步长为1，所有的卷积层使用普归一化且卷积层之间使用Leaky ReLU函数激活。判别器网络的输出为判别结果矩阵M；判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域，代表该区域的判别结果。
在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：将成对的低曝光、正常曝光和高曝光图像块随机划分为多个批次，每个批次包含N个图像块；
步骤S32：使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域，公式如下：
Figure BDA0002598391540000141
其中Li(i＝{1,2,3})是输入的图像块，L1、L2、L3分别对应高曝光、中曝光、低曝光图像块；γ是系数，取值为2.2，ti(i＝{1,2,3})是图像块Li的曝光时间，Hi是图像块Li转成高动态范围域的结果；
步骤S33：使用成对的各个曝光图像块Li与其高动态范围域结果Hi在通道维度上的拼接结果Xi作为生成器网络第i路编码器分支的输入，得到生成器网络输出的两个高动态范围图像预测结果
Figure BDA0002598391540000142
和
Figure BDA0002598391540000143
步骤S34：对于每一组图像块，使用如下公式分别对生成器网络的预测结果
Figure BDA0002598391540000144
和参考高动态图像块Hgt进行色调映射得到映射结果
Figure BDA0002598391540000145
和Tgt；
Figure BDA0002598391540000146
其中H是高动态范围域图像块，μ是系数，取值5000，
Figure BDA0002598391540000147
是高动态范围域图像块H的色调映射结果；当H分别为
Figure BDA0002598391540000148
Hgt时，得到的色调映射结果分别为
Figure BDA0002598391540000149
和Tgt；
步骤S35：使用色调映射结果
Figure BDA00025983915400001410
和Tgt分别输入判别器网络得到其输出的判别结果矩阵；
步骤S36：根据生成器网络的总目标损失函数，使用反向传播方法计算生成器网络中各参数的梯度，并利用随机梯度下降方法更新生成器网络的参数；
步骤S37：根据判别器网络的目标损失函数，使用反向传播方法计算判别器网络中各参数的梯度，并利用随机梯度下降方法更新判别器网络的参数；
步骤S38：以批次为单位重复进行上述步骤S32至步骤S37的生成器网络和判别器网络训练步骤，直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成器网络和判别器网络的训练过程。
在本实施例中，所述生成器网络的总目标损失函数计算如下：
Figure BDA0002598391540000151
其中
Figure BDA0002598391540000152
是L1损失，
Figure BDA0002598391540000153
是生成对抗网络下生成器网络的损失，λ1和λ2是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：
Figure BDA0002598391540000154
其中
Figure BDA0002598391540000155
和Tgt分别是生成器网络的预测结果
Figure BDA0002598391540000156
和参考高动态图像Hgt使用色调映射后的结果，||.||1是取绝对值操作；
Figure BDA0002598391540000157
是利用超球空间
Figure BDA0002598391540000158
来计算的生成对抗网络中生成器的损失，其中n为超球空间的维度，即判别器网络输出的判别结果矩阵的总维度。使用如下公式计算生成器的对抗损失
Figure BDA0002598391540000159
Figure BDA0002598391540000161
其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果，D和G分别表示判别器网络和生成器网络，G(X1,X2,X3)表示输入为X1、X2和X3时，生成器生成的高动态范围图像，D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure BDA0002598391540000162
Figure BDA0002598391540000163
表示计算均值，N是参考点
Figure BDA0002598391540000164
ds(.,.)为计算两个一维向量在超球空间上的距离，
Figure BDA0002598391540000165
为距离ds(.,.)的r阶矩。假设
Figure BDA0002598391540000166
和
Figure BDA0002598391540000167
为两个一维向量，ds(q1,q2)的计算公式如下：
Figure BDA0002598391540000168
其中，q1和q2为一维向量，||.||2表示计算欧几里得范数的平方，·为一维向量的点积运算。
本实施例中，所述判别器网络的目标损失函数计算如下：
Figure BDA0002598391540000169
与生成器网络的对抗损失相似，
Figure BDA00025983915400001610
是利用超球空间
Figure BDA00025983915400001611
来计算的生成对抗网络中判别器的损失，其中n为超球空间的维度,即判别器网络输出的判别结果矩阵的总维度。z为参考高动态图像块，其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果，D和G分别表示判别器网络和生成器网络，G(X1,X2,X3)表示输入为X1、X2和X3时，生成器生成的高动态范围图像，D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure BDA0002598391540000171
D(z)表示判别器网络对参考高动态图像块z的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure BDA0002598391540000172
表示计算均值，N是参考点
Figure BDA0002598391540000173
ds(.,.)为计算两个一维向量在超球空间上的距离，
Figure BDA0002598391540000174
为距离ds(.,.)的r阶矩。假设
Figure BDA0002598391540000175
和
Figure BDA0002598391540000176
为两个一维向量，ds(q1,q2)的计算公式如下：
Figure BDA0002598391540000177
其中，q1和q2为一维向量，||.||2表示计算欧几里得范数的平方，·为一维向量的点积运算。
较佳的，本实施例还提供了一种基于生成对抗网络的多曝光图高动态范围成像系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如上文所述的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于，包括以下步骤：
步骤S1：对原始分辨率的低曝光图像、正常曝光图像、高曝光图像和用作标签的参考高动态范围图像进行预处理，得到用于训练的成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块；
步骤S2：设计用于多曝光图高动态范围成像的生成器网络和用于进行对抗训练的判别器网络；
步骤S3：使用成组的低曝光、正常曝光、高曝光图像块和高动态范围图像块交替训练生成器网络和判别器网络直至收敛到纳什平衡，得到并保存训练好的生成器网络和判别器网络；
步骤S4：将用于测试的原始低曝光图像、正常曝光图像和高曝光图像输入已收敛的生成器网络得到其输出的高动态范围图像预测结果。
2.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于：所述步骤S1具体包括以下步骤：
步骤S11：将每组原始分辨率的低曝光图像、正常曝光图像、高曝光图像和参考高动态范围图像进行统一的随机位置上的切块，得到多组低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块；
步骤S12：将得到的每组图像块进行统一的随机旋转和翻转，对数据进行增强，得到用于训练的成组的低曝光图像块、正常曝光图像块、高曝光图像块和高动态范围图像块数据集，其中每组中的低曝光图像块、正常曝光图像块和高曝光图像块是输入，高动态范围图像块是标签。
3.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于：步骤S2中所述设计用于多曝光图高动态范围成像的生成器网络具体包括以下内容：
所述生成器网络分为三个部分，分别是编码器部分、特征融合部分和解码器部分；
编码器部分含有三路结构相同的分支，分别用于提取低曝光图像块、正常曝光图像块和高曝光图像块的多尺度特征；每路分支由三个串联的编码单元组成，编码单元是一个含有两层卷积核为3×3、步长为1的卷积的残差模块，编码单元之间由卷积核为3×3、步长为2的下采样卷积层连接；编码器部分的两次下采样将网络划分为3个不同的尺度；
对应编码器部分的三个尺度，特征融合部分由三个尺度的融合模块组成，分别是
Figure FDA0002598391530000021
和
Figure FDA0002598391530000022
每个融合模块使用编码器中三路分支上对应尺度的编码器单元输出特征作为输入，每个融合模块由四个串联的卷积核为3×3、步长为1且空洞因子为2的空洞卷积组成，并且通过逐元素加法操作将第四个卷积的输出特征与编码器部分中正常曝光分支上对应尺度的编码器单元输出特征相加，形成基于正常曝光图特征的残差结构；
解码器部分总共由三个解码器单元组成，分别是
Figure FDA0002598391530000023
和
Figure FDA0002598391530000024
其中
Figure FDA0002598391530000025
和
Figure FDA0002598391530000026
对应编码器中的第一个尺度，
Figure FDA0002598391530000027
对应编码器中的第二个尺度；解码器单元
Figure FDA0002598391530000028
和
Figure FDA0002598391530000029
的输入由三部分特征在通道维度上拼接组成，分别为其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征和其对应下一尺度融合模块输出特征的上采样结果；解码器单元
Figure FDA00025983915300000210
的输入由四部分特征在通道维度上拼接组成，具体包括其对应尺度上编码器部分的正常曝光图像分支输出特征、其对应尺度的融合模块输出特征、解码器单元
Figure FDA00025983915300000211
的输出特征和解码器单元
Figure FDA00025983915300000212
输出特征的上采样结果；每个解码器单元的结构与编码器单元相同，是一个含有两层卷积核为3×3、步长为1的卷积的残差模块；解码器部分的上采样操作由最近邻插值完成；
生成器的编码器部分、特征融合部分和解码器部分的卷积层使用了普归一化，且卷积层后使用ReLU函数激活；对解码器单元
Figure FDA0002598391530000031
和
Figure FDA0002598391530000032
的输出特征使用卷积核为1×1、步长为1的卷积层输出通道数为3的高动态范围图像结果，故生成器总共输出两个预测的高动态范围图像结果
Figure FDA0002598391530000033
和
Figure FDA0002598391530000034
其中
Figure FDA0002598391530000035
作为最终的高动态范围图像结果。
4.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于：步骤S2中所述设计用于进行对抗训练的判别器网络的具体内容为：
判别器网络由串联的五层卷积层组成，其中前三层卷积层的卷积核大小为4×4、步长为2，后两层卷积层的卷积核大小为4×4、步长为1，所有的卷积层使用普归一化且卷积层之间使用LeakyReLU函数激活；判别器网络的输出为判别结果矩阵M；判别结果矩阵M中每个值Mi,j对应了输入图像上以(10i,10j)为左上角、大小为70×70的方形区域，代表该区域的判别结果。
5.根据权利要求1所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于，所述步骤S3具体包括以下步骤：
步骤S31：将成组的低曝光、正常曝光、高曝光和高动态范围图像块随机划分为多个批次，每个批次包含N个图像块；
步骤S32：使用伽马校正和各个输入图像块Li的曝光时间将图像块转到高动态范围图像域，公式如下：
Figure FDA0002598391530000041
其中Li(i＝{1,2,3})是输入的图像块，L1、L2、L3分别对应高曝光、中曝光、低曝光图像块；γ是系数，取值为2.2，ti(i＝{1,2,3})是图像块Li的曝光时间，Hi是图像块Li转成高动态范围域的结果；
步骤S33：使用成对的各个曝光图像块Li与其高动态范围域结果Hi在通道维度上的拼接结果Xi作为生成器网络第i路编码器分支的输入，得到生成器网络输出的两个高动态范围图像预测结果
Figure FDA0002598391530000042
和
Figure FDA0002598391530000043
步骤S34：对于每一组图像块，使用如下公式分别对生成器网络的预测结果
Figure FDA0002598391530000044
Figure FDA0002598391530000045
和参考高动态图像块Hgt进行色调映射得到映射结果
Figure FDA0002598391530000046
和Tgt；
Figure FDA0002598391530000047
其中，H是高动态范围域图像块，μ是系数，取值5000，
Figure FDA0002598391530000048
是高动态范围域图像块H的色调映射结果；当H分别为
Figure FDA0002598391530000049
Hgt时，得到的色调映射结果分别为
Figure FDA00025983915300000410
和Tgt；
步骤S35：使用色调映射结果
Figure FDA00025983915300000411
和Tgt分别输入判别器网络得到其输出的判别结果矩阵；
步骤S36：根据生成器网络的总目标损失函数，使用反向传播方法计算生成器网络中各参数的梯度，并利用随机梯度下降方法更新生成器网络的参数；
步骤S37：根据判别器网络的目标损失函数，使用反向传播方法计算判别器网络中各参数的梯度，并利用随机梯度下降方法更新判别器网络的参数；
步骤S38：以批次为单位重复进行上述步骤S32至步骤S37的生成器网络和判别器网络训练步骤，直至生成器网络的目标损失函数数值和判别器网络的目标损失函数数值收敛到纳什平衡，保存网络参数，完成生成器网络和判别器网络的训练过程。
6.根据权利要求5所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于，所述生成器网络的总目标损失函数计算如下：
Figure FDA0002598391530000051
其中，
Figure FDA0002598391530000052
是L1损失,
Figure FDA0002598391530000053
是生成对抗网络下生成器网络的损失，λ1和λ2是各项损失平衡系数，·为实数的点乘操作；其中各项损失具体的计算公式如下：
Figure FDA0002598391530000054
其中
Figure FDA0002598391530000055
和Tgt分别是生成器网络的预测结果
Figure FDA0002598391530000056
和参考高动态图像Hgt使用色调映射后的结果，||.||1是取绝对值操作；
Figure FDA0002598391530000057
是利用超球空间
Figure FDA0002598391530000058
来计算的生成对抗网络中生成器的损失，其中n为超球空间的维度，即判别器网络输出的判别结果矩阵的总维度；使用如下公式计算生成器的对抗损失
Figure FDA0002598391530000059
Figure FDA00025983915300000510
其中，X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果，D和G分别表示判别器网络和生成器网络，G(X1,X2,X3)表示输入为X1、X2和X3时，生成器生成的高动态范围图像，D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure FDA00025983915300000511
表示计算均值，N是参考点
Figure FDA00025983915300000512
ds(.,.)为计算两个一维向量在超球空间上的距离，
Figure FDA00025983915300000513
为距离ds(.,.)的r阶矩；假设
Figure FDA00025983915300000514
和
Figure FDA00025983915300000515
为两个一维向量，ds(q1,q2)的计算公式如下：
Figure FDA0002598391530000061
其中，q1和q2为一维向量，||.||2表示计算欧几里得范数的平方，·为一维向量的点积运算。
7.根据权利要求5所述的一种基于生成对抗网络的多曝光图高动态范围成像方法，其特征在于，所述判别器网络的目标损失函数计算如下：
Figure FDA0002598391530000062
与生成器网络的对抗损失相似，
Figure FDA0002598391530000063
是利用超球空间来计算的生成对抗网络中判别器的损失，其中n为超球空间的维度,即判别器网络输出的判别结果矩阵的总维度；z为参考高动态图像块，其中X1、X2和X3分别是低曝光图像块、正常曝光图像块和高曝光图像块与其各自在高动态范围域的转换结果在通道维度上的拼接结果，D和G分别表示判别器网络和生成器网络，G(X1,X2,X3)表示输入为X1、X2和X3时，生成器生成的高动态范围图像，D(G(X1,X2,X3))表示判别器网络对输入为X1、X2和X3时生成器生成的高动态范围图像计算的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure FDA0002598391530000065
D(z)表示判别器网络对参考高动态图像块z的判别结果矩阵，且该判别结果矩阵被进一步展平为一个一维向量
Figure FDA0002598391530000066
Figure FDA0002598391530000067
表示计算均值，N是参考点
Figure FDA0002598391530000068
ds(.,.)为计算两个一维向量在超球空间上的距离，
Figure FDA0002598391530000069
为距离ds(.,.)的r阶矩；假设
Figure FDA00025983915300000610
和
Figure FDA00025983915300000611
为两个一维向量，ds(q1,q2)的计算公式如下：
Figure FDA0002598391530000071
其中，q1和q2为一维向量，||.||2表示计算欧几里得范数的平方，·为一维向量的点积运算。
8.一种基于生成对抗网络的多曝光图高动态范围成像系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现如权利要求1-7任一项所述的方法步骤。
CN202010719702.0A 2020-07-23 2020-07-23 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 Active CN111835983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719702.0A CN111835983B (zh) 2020-07-23 2020-07-23 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719702.0A CN111835983B (zh) 2020-07-23 2020-07-23 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统

Publications (2)

Publication Number Publication Date
CN111835983A true CN111835983A (zh) 2020-10-27
CN111835983B CN111835983B (zh) 2021-06-29

Family

ID=72925350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719702.0A Active CN111835983B (zh) 2020-07-23 2020-07-23 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统

Country Status (1)

Country Link
CN (1) CN111835983B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381716A (zh) * 2020-11-18 2021-02-19 爱像素(深圳)智能科技有限公司 一种基于生成式对抗网络的图像增强方法
CN112950497A (zh) * 2021-02-22 2021-06-11 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113132655A (zh) * 2021-03-09 2021-07-16 浙江工业大学 一种基于深度学习的hdr视频合成方法
CN113643214A (zh) * 2021-10-12 2021-11-12 江苏维沛通信科技发展有限公司 一种基于人工智能的图像曝光校正方法及系统
CN113689344A (zh) * 2021-06-30 2021-11-23 中国矿业大学 基于特征解耦学习的低曝光图像增强方法
CN113852765A (zh) * 2021-05-31 2021-12-28 天翼智慧家庭科技有限公司 一种基于自编码机的hdr单帧合成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
WO2019199699A1 (en) * 2018-04-13 2019-10-17 Elekta, Inc. Image synthesis using adversarial networks
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
CN110889813A (zh) * 2019-11-15 2020-03-17 安徽大学 基于红外信息的低光图像增强方法
CN111402179A (zh) * 2020-03-12 2020-07-10 南昌航空大学 结合对抗自编码器和生成对抗网络的图像合成方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019199699A1 (en) * 2018-04-13 2019-10-17 Elekta, Inc. Image synthesis using adversarial networks
CN110211203A (zh) * 2019-06-10 2019-09-06 大连民族大学 基于条件生成对抗网络的汉字字体的方法
CN110728633A (zh) * 2019-09-06 2020-01-24 上海交通大学 多曝光度高动态范围反色调映射模型构建方法及装置
CN110889813A (zh) * 2019-11-15 2020-03-17 安徽大学 基于红外信息的低光图像增强方法
CN111402179A (zh) * 2020-03-12 2020-07-10 南昌航空大学 结合对抗自编码器和生成对抗网络的图像合成方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381716A (zh) * 2020-11-18 2021-02-19 爱像素(深圳)智能科技有限公司 一种基于生成式对抗网络的图像增强方法
CN112381716B (zh) * 2020-11-18 2023-08-18 爱像素(深圳)智能科技有限公司 一种基于生成式对抗网络的图像增强方法
CN112950497A (zh) * 2021-02-22 2021-06-11 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113132655A (zh) * 2021-03-09 2021-07-16 浙江工业大学 一种基于深度学习的hdr视频合成方法
CN113852765A (zh) * 2021-05-31 2021-12-28 天翼智慧家庭科技有限公司 一种基于自编码机的hdr单帧合成方法
CN113689344A (zh) * 2021-06-30 2021-11-23 中国矿业大学 基于特征解耦学习的低曝光图像增强方法
CN113643214A (zh) * 2021-10-12 2021-11-12 江苏维沛通信科技发展有限公司 一种基于人工智能的图像曝光校正方法及系统
CN113643214B (zh) * 2021-10-12 2022-02-11 江苏维沛通信科技发展有限公司 一种基于人工智能的图像曝光校正方法及系统

Also Published As

Publication number Publication date
CN111835983B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
Niu et al. Hdr-gan: Hdr image reconstruction from multi-exposed ldr images with large motions
CN115442515B (zh) 图像处理方法和设备
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN112308200B (zh) 神经网络的搜索方法及装置
CN111669514B (zh) 高动态范围成像方法和装置
CN111428575B (zh) 一种基于孪生网络的针对模糊目标的跟踪方法
CN112541877B (zh) 基于条件生成对抗网络的去模糊方法、系统、设备及介质
CN111402146A (zh) 图像处理方法以及图像处理装置
CN109389667B (zh) 一种基于深度学习的高效全局光照明绘制方法
CN110009573B (zh) 模型训练、图像处理方法、装置、电子设备及存储介质
CN111047543A (zh) 图像增强方法、装置和存储介质
CN111612722A (zh) 基于简化Unet全卷积神经网络的低照度图像处理方法
CN111652921A (zh) 一种单目深度预测模型的生成方法及单目深度预测方法
US20220156891A1 (en) Methods and systems for deblurring blurry images
KS et al. Deep multi-stage learning for hdr with large object motions
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
WO2021057091A1 (zh) 视点图像处理方法及相关设备
WO2023246392A1 (zh) 图像获取方法、装置、设备和非瞬态计算机存储介质
CN114885144B (zh) 基于数据融合的高帧率3d视频生成方法及装置
CN111861877A (zh) 视频超分变率的方法和装置
Wang et al. Exposure fusion using a relative generative adversarial network
CN114119428B (zh) 一种图像去模糊方法和装置
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN114581316A (zh) 图像重建方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230621

Address after: 350028 workshop 13b, Taijiang Park, Pushang Pian, Jinshan Industrial Zone, Cangshan District, Fuzhou City, Fujian Province (No. 27, Yangzhou Road, Jianxin town)

Patentee after: FUJIAN JIEYU COMPUTER TECHNOLOGY Co.,Ltd.

Address before: Fuzhou University, No.2, wulongjiang North Avenue, Fuzhou University Town, Minhou County, Fuzhou City, Fujian Province

Patentee before: FUZHOU University