CN115100043A - 一种基于深度学习的hdr图像重建方法 - Google Patents

一种基于深度学习的hdr图像重建方法 Download PDF

Info

Publication number
CN115100043A
CN115100043A CN202211023053.6A CN202211023053A CN115100043A CN 115100043 A CN115100043 A CN 115100043A CN 202211023053 A CN202211023053 A CN 202211023053A CN 115100043 A CN115100043 A CN 115100043A
Authority
CN
China
Prior art keywords
network
ldr
output
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211023053.6A
Other languages
English (en)
Other versions
CN115100043B (zh
Inventor
张涛
梁杰
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202211023053.6A priority Critical patent/CN115100043B/zh
Publication of CN115100043A publication Critical patent/CN115100043A/zh
Application granted granted Critical
Publication of CN115100043B publication Critical patent/CN115100043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的HDR图像重建方法，包括首先建立不同曝光时间LDR图像生成网络，然后建立多曝光LDR图像融合网络，最后把优化后的不同曝光时间LDR图像生成网络与优化后的多曝光LDR图像融合网络连接得到用于HDR图像重建的模型。本发明公开的一种基于深度学习的HDR图像重建方法，具有强大的特征提取能力，实现了包含细节信息丰富的高质量HDR图像重建，并且实现了端到端的HDR图像生成。

Description

一种基于深度学习的HDR图像重建方法
技术领域
本发明属于HDR图像重建领域，尤其是涉及一种基于深度学习的HDR图像重建方法。
背景技术
随着超高清视频业务的逐渐开展，HDR 图像的需求逐渐增多，所以对HDR图像的获取也更加迫切。常规的 HDR 图像获取方法是利用 HDR 相机来捕捉 HDR 图像，而这种相机对普通用户来说还是比较昂贵，在日常生活中还无法实现普遍的使用。另一种常见的方法是使用某种算法将大量的 LDR 图像重建为 HDR 图像，这个过程大致有两种方法，可以直接由单张LDR图像重建HDR图像，也可以使用多张不同曝光的LDR图像进行HDR图像的重建。
多张不同曝光的LDR图像重建为HDR图像的实现方法一般是首先使用低动态范围图像采集设备，在目标场景使用不同的曝光参数进行拍摄，然后将不同曝光参数下获得的图像按照一定的方法进行融合，其中每一张低动态范围图像记录的信息对应着真实场景中不同动态范围区间的内容，这样可以用尽可能多的细节信息来重建HDR图像，这种HDR图像重建方式的首要问题是需要多张图像的对齐，而在实际拍摄过程中，相机的轻微抖动或是各种运动对象在拍摄过程中的位移，都会使得多曝光图像中景物的位置无法对齐，如果使用未对齐或对齐不佳的图像进行融合就会导致重建的HDR图像会出现伪影的问题。
而基于单帧图像的HDR图像生成也可以通过深度学习的方法来实现，一般使用深度学习方法对 LDR 图像饱和区域的细节信息进行增强或恢复，能够极大的还原出 LDR 图像对应的原始场景的光照，而现有的基于深度学习的HDR图像生成方法，存在以下问题：一是当LDR图像饱和区域的细节丢失较多时，基于深度学习的方法利用LDR图像直接重建HDR图像存在训练困难问题，不易恢复丢失的细节信息。二是普遍无法实现端到端的HDR 图像生成，HDR 图像重建效果不好。
发明内容
有鉴于此，本发明旨在提出一种基于深度学习的HDR图像重建方法，具有强大的特征提取能力，实现了包含细节信息丰富的高质量HDR图像重建，并且实现了端到端的HDR 图像生成。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于深度学习的HDR图像重建方法，包括：
步骤1：建立不同曝光时间LDR 图像生成网络：不同曝光时间LDR 图像生成网络包括并行排列的多个相同全卷积神经网络，对应生成不同曝光时间的LDR图像，使用损失函数分别优化多个全卷积神经网络后，保存优化后的不同曝光时间LDR 图像生成网络；
步骤2：建立多曝光LDR 图像融合网络：多曝光LDR 图像融合网络包括多个按照曝光时间从低到高顺序并行排列的子网络，依次在每个子网络输入相邻曝光时间的两张LDR图像，两张LDR图像分别在这个子网络的两条相同分支上，先进行卷积处理，然后多次编码器处理，随后多次解码器处理，最后输出相邻曝光时间的两张LDR图像融合后结果
Figure 494732DEST_PATH_IMAGE001
；所有子网络输出结果
Figure 739769DEST_PATH_IMAGE001
拼接在一起，经过卷积处理，得到重建的 HDR图像
Figure 598134DEST_PATH_IMAGE002
；使用损失函数对多曝光LDR 图像融合网络进行优化，保存优化后的多曝光LDR 图像融合网络；
步骤3：把优化后的不同曝光时间LDR 图像生成网络与优化后的多曝光LDR 图像融合网络连接，不同曝光时间LDR 图像生成网络的输出是多曝光LDR 图像融合网络的输入，再使用联合训练损失函数微调整个网络，得到最终用于HDR图像重建的网络模型。
相对于现有技术，本发明所述的一种基于深度学习的HDR图像重建方法，具有以下优势：
第一，本发明公开的一种基于深度学习的HDR图像重建方法，通过建立不同曝光时间LDR 图像生成网络以及多曝光LDR 图像融合网络，可以实现基于深度学习的高质量HDR图像重建，具有特征提取能力强、包含细节信息丰富的特点。
第二，本发明公开的一种基于深度学习的HDR图像重建方法，把优化后的不同曝光时间LDR 图像生成网络与优化后的多曝光LDR 图像融合网络连接，不同曝光时间LDR 图像生成网络的输出是多曝光LDR 图像融合网络的输入，使整个网络具有端到端的特点。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为本发明实施例所述的一种基于深度学习的HDR图像重建方法建立不同曝光时间LDR 图像生成网络示意图；
图2为本发明实施例所述的一种基于深度学习的HDR图像重建方法建立多曝光LDR图像融合网络示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1-2所示，一种基于深度学习的HDR图像重建方法，包括：
步骤1：建立不同曝光时间LDR 图像生成网络：不同曝光时间LDR 图像生成网络包括并行排列的多个相同全卷积神经网络，对应生成不同曝光时间的LDR图像，使用损失函数分别优化多个全卷积神经网络后，保存优化后的不同曝光时间LDR 图像生成网络；
在本实施例中，不同曝光时间LDR 图像生成网络包括四个并行排列的相同全卷积神经网络，输入正常曝光的LDR图像，分别生成曝光时间更长和曝光时间更短的LDR图像，包括输入图像在内，总共输出五个不同曝光的 LDR 图像，形成一组多曝光LDR图像。
步骤2：建立多曝光LDR 图像融合网络：多曝光LDR 图像融合网络包括多个按照曝光时间从低到高顺序并行排列的子网络，依次在每个子网络输入相邻曝光时间的两张LDR图像，两张LDR图像分别在这个子网络的两条相同分支上，先进行卷积处理，然后多次编码器处理，随后多次解码器处理，最后输出相邻曝光时间的两张LDR图像融合后结果
Figure 55660DEST_PATH_IMAGE001
；所有子网络输出结果拼接在一起，经过卷积处理，得到重建的 HDR图像
Figure 945732DEST_PATH_IMAGE002
；使用损失函数对多曝光LDR 图像融合网络进行优化，保存优化后的多曝光LDR 图像融合网络；
在本实施例中，子网络的数量是四个。
步骤3：把优化后的不同曝光时间LDR 图像生成网络与优化后的多曝光LDR 图像融合网络连接，不同曝光时间LDR 图像生成网络的输出是多曝光LDR 图像融合网络的输入，再使用联合训练损失函数微调整个网络，得到最终用于HDR图像重建的网络模型。
如图1所示，在步骤1中，每个全卷积神经网络包括特征提取部分和重建部分；
特征提取部分包括卷积神经网络，将每个卷积层的输出在最后一层进行拼接，用下式表示：
Figure 971456DEST_PATH_IMAGE003
其中，
Figure 566386DEST_PATH_IMAGE004
，I为输入的原始LDR图像，
Figure 843915DEST_PATH_IMAGE005
和
Figure 840689DEST_PATH_IMAGE006
分别为第1个卷积层的权重和偏置，
Figure 302895DEST_PATH_IMAGE007
为第1个卷积层的输出，
Figure 135853DEST_PATH_IMAGE008
为第
Figure 200761DEST_PATH_IMAGE009
个卷积层的输出，
Figure 927408DEST_PATH_IMAGE010
和
Figure 170302DEST_PATH_IMAGE011
为第
Figure 739823DEST_PATH_IMAGE009
层卷积层的权重和偏置，
Figure 90646DEST_PATH_IMAGE012
为激活函数PreLU，F为拼接后的特征图；
如图1所示，在本实施例中，特征提取部分每个卷积层的参数为3*3*64。
重建部分由n个卷积层组成，将特征提取部分拼接后的特征图F作为重建部分的输入，经过n-1个卷积层的运算后与输入LDR图像I逐像素相加，再经过卷积计算，生成特定曝光时间的LDR图像
Figure 62013DEST_PATH_IMAGE013
，具体过程表示如下：
Figure 600442DEST_PATH_IMAGE014
其中，
Figure 407992DEST_PATH_IMAGE015
，
Figure 814702DEST_PATH_IMAGE016
为从特征图F中提取的特征，
Figure 781521DEST_PATH_IMAGE017
表示
Figure 366217DEST_PATH_IMAGE018
和输入LDR图像I逐像素相加，
Figure 644752DEST_PATH_IMAGE019
、
Figure 605886DEST_PATH_IMAGE020
以及
Figure 286266DEST_PATH_IMAGE021
是权重，
Figure 697656DEST_PATH_IMAGE022
、
Figure 234727DEST_PATH_IMAGE023
以及
Figure 983240DEST_PATH_IMAGE024
是偏置。
如图1所示，在本实施例中，重建部分由四个卷积层组成，前两个卷积层的参数为3*3*64，后两个卷积层的参数为3*3*3。
如图2所示，在步骤2中，编码器处理包括：
Figure 659072DEST_PATH_IMAGE025
其中，
Figure 851150DEST_PATH_IMAGE026
，
Figure 369856DEST_PATH_IMAGE027
表示使用Maxpooling方法对拼接后的
Figure 797426DEST_PATH_IMAGE028
进行下采样，
Figure 937552DEST_PATH_IMAGE029
表示第
Figure 815378DEST_PATH_IMAGE030
个交叉融合特征图，
Figure 431167DEST_PATH_IMAGE031
和
Figure 537794DEST_PATH_IMAGE032
表示编码器的进行下采样后的两个卷积层输出特征图，
Figure 312852DEST_PATH_IMAGE012
为激活函数PreLU，
Figure 705788DEST_PATH_IMAGE033
以及
Figure 681309DEST_PATH_IMAGE034
，
Figure 575316DEST_PATH_IMAGE035
以及
Figure 690034DEST_PATH_IMAGE036
分别表述权重和偏置；
Figure 378504DEST_PATH_IMAGE037
表示上一个编码器的最后卷积层输出特征图，如果没有上一个编码器，则是输入LDR图像进行卷积处理后的输出特征图；
交叉融合特征图
Figure 968885DEST_PATH_IMAGE029
是对
Figure 417315DEST_PATH_IMAGE038
以及
Figure 901386DEST_PATH_IMAGE039
拼接后再卷积输出的特征图，包括：
Figure 901703DEST_PATH_IMAGE040
，
Figure 323588DEST_PATH_IMAGE038
是在子网络两条分支上的两个对应
Figure 824977DEST_PATH_IMAGE037
的最大特征图；如果没有上一个编码器，则是子网络两条分支上的输入LDR图像进行卷积处理后的两个对应输出特征图的最大特征图；
Figure 176936DEST_PATH_IMAGE039
是子网络两条分支上的两个对应
Figure 348155DEST_PATH_IMAGE037
的平均特征输出图，如果没有上一个编码器，则是子网络两条分支上的输入LDR图像进行卷积处理后的两个对应输出特征图的平均特征输出图；
Figure 772183DEST_PATH_IMAGE041
是权重，
Figure 827995DEST_PATH_IMAGE042
是偏置。
如图2所示，在步骤2中，解码器处理包括：
第一个解码器
Figure 755499DEST_PATH_IMAGE043
：
Figure 363198DEST_PATH_IMAGE044
其中，
Figure 25255DEST_PATH_IMAGE045
是相邻的编码器最后卷积层输出特征图；
Figure 743812DEST_PATH_IMAGE046
是由子网络两条分支上的两个对应
Figure 56982DEST_PATH_IMAGE045
的最大特征图以及平均特征输出图拼接后卷积输出的交叉融合特征图；
其余解码器：
Figure 445369DEST_PATH_IMAGE047
其中，
Figure 843989DEST_PATH_IMAGE048
，
Figure 366237DEST_PATH_IMAGE049
表示使用bilinear方法对拼接后的
Figure 281716DEST_PATH_IMAGE050
进行上采样，
Figure 90272DEST_PATH_IMAGE051
是第
Figure 851555DEST_PATH_IMAGE030
个交叉融合特征图，
Figure 787281DEST_PATH_IMAGE052
表示上一个解码器的最后卷积层输出特征图；
Figure 809464DEST_PATH_IMAGE053
表示步骤2中对应的编码器的最后卷积层输出特征图；
Figure 664287DEST_PATH_IMAGE054
以及
Figure 53811DEST_PATH_IMAGE055
是解码器经过上采样后的两个卷积层输出特征图；
Figure 776917DEST_PATH_IMAGE056
以及
Figure 528972DEST_PATH_IMAGE057
、
Figure 757959DEST_PATH_IMAGE058
以及
Figure 100691DEST_PATH_IMAGE059
分别表述权重和偏置；
在本实施例中，采用双线性插值的方法进行上采样。
交叉融合特征图
Figure 627488DEST_PATH_IMAGE029
是对
Figure 234049DEST_PATH_IMAGE038
以及
Figure 571621DEST_PATH_IMAGE039
拼接后再卷积输出的特征图，包括：
Figure 388267DEST_PATH_IMAGE040
，
Figure 203908DEST_PATH_IMAGE038
是在子网络两条分支上的两个对应
Figure 55189DEST_PATH_IMAGE052
的最大特征图；
Figure 688296DEST_PATH_IMAGE039
是子网络两条分支上的两个对应
Figure 742971DEST_PATH_IMAGE052
的平均特征输出图，
Figure 611569DEST_PATH_IMAGE041
是权重，
Figure 330739DEST_PATH_IMAGE042
是偏置；
在步骤2中，
Figure 728222DEST_PATH_IMAGE060
是当j=15时，
Figure 270193DEST_PATH_IMAGE029
与子网络两条分支上的两个对应
Figure 552270DEST_PATH_IMAGE052
分别拼接后，在把两个拼接结果连接，最后再进行卷积后的输出。
如图2所示，在本实施例中，子网络两条分支上均是设有四个编码器和四个解码器。
在步骤1中，使用的损失函数
Figure 112565DEST_PATH_IMAGE061
如下：
Figure 431682DEST_PATH_IMAGE062
其中，m,n分别表示图像的宽和高，i,j表示像素点，
Figure 710216DEST_PATH_IMAGE063
表示由ImageNet训练好的VGG19网络参数；
Figure 405771DEST_PATH_IMAGE064
是采用网络预测的LDR图像，
Figure 820572DEST_PATH_IMAGE065
是对应的参考LDR图像。
在步骤2，使用的损失函数
Figure 432294DEST_PATH_IMAGE066
如下：
Figure 683278DEST_PATH_IMAGE067
Figure 307157DEST_PATH_IMAGE068
Figure 107623DEST_PATH_IMAGE069
Figure 34122DEST_PATH_IMAGE070
是感知损失映射函数；
Figure 287249DEST_PATH_IMAGE071
是用于压缩图片的映射函数，在本实施例中，压缩量设置为5000；
Figure 324606DEST_PATH_IMAGE072
是使用网络预测的HDR图像，
Figure 854944DEST_PATH_IMAGE073
对应真实的HDR图像。
在步骤3中，联合训练损失函数
Figure 480573DEST_PATH_IMAGE074
如下：
Figure 440570DEST_PATH_IMAGE075
其中，
Figure 265307DEST_PATH_IMAGE076
，
Figure 525518DEST_PATH_IMAGE077
，
Figure 43087DEST_PATH_IMAGE078
是步骤1中第i个的全卷积神经网络的损失函数
Figure 411751DEST_PATH_IMAGE079
。
在本实施例的实际应用中，使用最终得到的用于HDR图像重建的网络模型过程如下，首先输入原始的LDR 图像进入建立不同曝光时间LDR 图像生成网络，并行排列的四个相同全卷积神经网络，生产不同曝光时间的四张LDR图像，加上原始LDR 图像，得到五张不同曝光时间的LDR 图像组，进一步这五张不同曝光时间的LDR 图像组，按曝光时间从低到高的顺序，按第一张配合第二张、第二张配合第三张、第三张配合第四张以及第四张配合第五张的形式分别输入多曝光LDR 图像融合网络的四个子网络中，在每个子网中，两张相邻曝光时间LDR图像，分别经过交叉融合、多次编码器以及多次解码器，输出两张相邻曝光时间LDR图像的融合后结果
Figure 623919DEST_PATH_IMAGE001
，进一步把所有子网络输出结果
Figure 722325DEST_PATH_IMAGE001
拼接在一起，经过卷积处理，得到最终重建的 HDR图像
Figure 20582DEST_PATH_IMAGE002
。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的HDR图像重建方法，其特征在于：包括：
步骤1：建立不同曝光时间LDR 图像生成网络：不同曝光时间LDR 图像生成网络包括并行排列的多个相同全卷积神经网络，对应生成不同曝光时间的LDR图像，使用损失函数分别优化多个全卷积神经网络后，保存优化后的不同曝光时间LDR 图像生成网络；
步骤2：建立多曝光LDR 图像融合网络：多曝光LDR 图像融合网络包括多个按照曝光时间从低到高顺序并行排列的子网络，依次在每个子网络输入相邻曝光时间的两张LDR图像，两张LDR图像分别在这个子网络的两条相同分支上，先进行卷积处理，然后多次编码器处理，随后多次解码器处理，最后输出相邻曝光时间的两张LDR图像融合后结果
Figure 808000DEST_PATH_IMAGE001
；所有子网络输出结果
Figure 787589DEST_PATH_IMAGE001
拼接在一起，经过卷积处理，得到重建的 HDR图像
Figure 615868DEST_PATH_IMAGE002
；使用损失函数对多曝光LDR 图像融合网络进行优化，保存优化后的多曝光LDR 图像融合网络；
步骤3：把优化后的不同曝光时间LDR 图像生成网络与优化后的多曝光LDR 图像融合网络连接，不同曝光时间LDR 图像生成网络的输出是多曝光LDR 图像融合网络的输入，再使用联合训练损失函数微调整个网络，得到最终用于HDR图像重建的网络模型。
2.根据权利要求1所述的一种基于深度学习的HDR图像重建方法，其特征在于：
在步骤1中，每个全卷积神经网络包括特征提取部分和重建部分；
特征提取部分包括卷积神经网络，将每个卷积层的输出在最后一层进行拼接，用下式表示：
Figure 350605DEST_PATH_IMAGE003
其中，
Figure 162704DEST_PATH_IMAGE004
，I为输入的原始LDR图像，
Figure 273879DEST_PATH_IMAGE005
和
Figure 219314DEST_PATH_IMAGE006
分别为第1个卷积层的权重和偏置，
Figure 124953DEST_PATH_IMAGE007
为第1个卷积层的输出，
Figure 893189DEST_PATH_IMAGE008
为第
Figure 276897DEST_PATH_IMAGE009
个卷积层的输出，
Figure 204401DEST_PATH_IMAGE010
和
Figure 15363DEST_PATH_IMAGE011
为第
Figure 536474DEST_PATH_IMAGE009
层卷积层的权重和偏置，
Figure 458293DEST_PATH_IMAGE012
为激活函数PreLU，F为拼接后的特征图；
重建部分由n个卷积层组成，将特征提取部分拼接后的特征图F作为重建部分的输入，经过n-1个卷积层的运算后与输入LDR图像I逐像素相加，再经过卷积计算，生成特定曝光时间的LDR图像
Figure 974725DEST_PATH_IMAGE013
，具体过程表示如下：
Figure 222167DEST_PATH_IMAGE014
其中，
Figure 227645DEST_PATH_IMAGE015
，
Figure 218735DEST_PATH_IMAGE016
为从特征图F中提取的特征，
Figure 730618DEST_PATH_IMAGE017
表示
Figure 883382DEST_PATH_IMAGE018
和输入LDR图像I逐像素相加，
Figure 847927DEST_PATH_IMAGE019
、
Figure 501762DEST_PATH_IMAGE020
以及
Figure 868153DEST_PATH_IMAGE021
是权重，
Figure 191818DEST_PATH_IMAGE022
、
Figure 909238DEST_PATH_IMAGE023
以及
Figure 101185DEST_PATH_IMAGE024
是偏置。
3.根据权利要求2所述的一种基于深度学习的HDR图像重建方法，其特征在于：在步骤2中，编码器处理包括：
Figure 584732DEST_PATH_IMAGE025
其中，
Figure 344877DEST_PATH_IMAGE026
，
Figure 284014DEST_PATH_IMAGE027
表示使用Maxpooling方法对拼接后的
Figure 155018DEST_PATH_IMAGE028
进行下采样，
Figure 496001DEST_PATH_IMAGE029
表示第
Figure 489365DEST_PATH_IMAGE030
个交叉融合特征图，
Figure 915798DEST_PATH_IMAGE031
和
Figure 856072DEST_PATH_IMAGE032
表示编码器的进行下采样后的两个卷积层输出特征图，
Figure 9752DEST_PATH_IMAGE012
为激活函数PreLU，
Figure 377280DEST_PATH_IMAGE033
以及
Figure 556588DEST_PATH_IMAGE034
，
Figure 769395DEST_PATH_IMAGE035
以及
Figure 84970DEST_PATH_IMAGE036
分别表述权重和偏置；
Figure 357819DEST_PATH_IMAGE037
表示上一个编码器的最后卷积层输出特征图，如果没有上一个编码器，则是输入LDR图像进行卷积处理后的输出特征图；
交叉融合特征图
Figure 758845DEST_PATH_IMAGE029
是对
Figure 772413DEST_PATH_IMAGE038
以及
Figure 67128DEST_PATH_IMAGE039
拼接后再卷积输出的特征图，包括：
Figure 245299DEST_PATH_IMAGE040
，
Figure 399200DEST_PATH_IMAGE038
是在子网络两条分支上的两个对应
Figure 219388DEST_PATH_IMAGE037
的最大特征图；如果没有上一个编码器，则是子网络两条分支上的输入LDR图像进行卷积处理后的两个对应输出特征图的最大特征图；
Figure 509556DEST_PATH_IMAGE039
是子网络两条分支上的两个对应
Figure 858628DEST_PATH_IMAGE037
的平均特征输出图，如果没有上一个编码器，则是子网络两条分支上的输入LDR图像进行卷积处理后的两个对应输出特征图的平均特征输出图；
Figure 234246DEST_PATH_IMAGE041
是权重，
Figure 123705DEST_PATH_IMAGE042
是偏置。
4.根据权利要求3所述的一种基于深度学习的HDR图像重建方法，其特征在于：在步骤2中，解码器处理包括：
第一个解码器
Figure 531028DEST_PATH_IMAGE043
：
Figure 582160DEST_PATH_IMAGE044
其中，
Figure 179495DEST_PATH_IMAGE045
是相邻的编码器最后卷积层输出特征图；
Figure 75907DEST_PATH_IMAGE046
是由子网络两条分支上的两个对应
Figure 75087DEST_PATH_IMAGE045
的最大特征图以及平均特征输出图拼接后卷积输出的交叉融合特征图；
其余解码器：
Figure 156175DEST_PATH_IMAGE047
其中，
Figure 709647DEST_PATH_IMAGE048
，
Figure 409750DEST_PATH_IMAGE049
表示使用bilinear方法对拼接后的
Figure 388071DEST_PATH_IMAGE050
进行上采样，
Figure 781006DEST_PATH_IMAGE051
是第
Figure 350003DEST_PATH_IMAGE030
个交叉融合特征图，
Figure 588217DEST_PATH_IMAGE052
表示上一个解码器的最后卷积层输出特征图；
Figure 296410DEST_PATH_IMAGE053
表示步骤2中对应的编码器的最后卷积层输出特征图；
Figure 719301DEST_PATH_IMAGE054
以及
Figure 512945DEST_PATH_IMAGE055
是解码器经过上采样后的两个卷积层输出特征图；
Figure 86009DEST_PATH_IMAGE056
以及
Figure 914288DEST_PATH_IMAGE057
、
Figure 649025DEST_PATH_IMAGE058
以及
Figure 195544DEST_PATH_IMAGE059
分别表述权重和偏置；
交叉融合特征图
Figure 772632DEST_PATH_IMAGE029
是对
Figure 455417DEST_PATH_IMAGE038
以及
Figure 220111DEST_PATH_IMAGE039
拼接后再卷积输出的特征图，包括：
Figure 988346DEST_PATH_IMAGE040
，
Figure 637634DEST_PATH_IMAGE038
是在子网络两条分支上的两个对应
Figure 440504DEST_PATH_IMAGE052
的最大特征图；
Figure 517045DEST_PATH_IMAGE039
是子网络两条分支上的两个对应
Figure 506998DEST_PATH_IMAGE052
的平均特征输出图，
Figure 819030DEST_PATH_IMAGE041
是权重，
Figure 476408DEST_PATH_IMAGE042
是偏置；
在步骤2中，
Figure 455341DEST_PATH_IMAGE001
表示是当j=15时，
Figure 791644DEST_PATH_IMAGE029
与子网络两条分支上的两个对应
Figure 517154DEST_PATH_IMAGE052
分别拼接后，在把两个拼接结果连接，最后再进行卷积后的输出。
5.根据权利要求1所述的一种基于深度学习的HDR图像重建方法，其特征在于：在步骤1中，使用的损失函数
Figure 29038DEST_PATH_IMAGE060
如下：
Figure 40857DEST_PATH_IMAGE061
其中，m,n分别表示图像的宽和高，i,j表示像素点，
Figure 270981DEST_PATH_IMAGE062
表示由ImageNet训练好的VGG19网络参数；
Figure 534603DEST_PATH_IMAGE063
是采用网络预测的LDR图像，
Figure 166573DEST_PATH_IMAGE064
是对应的参考LDR图像。
6.根据权利要求5所述的一种基于深度学习的HDR图像重建方法，其特征在于：在步骤2，使用的损失函数
Figure 614872DEST_PATH_IMAGE065
如下：
Figure 801133DEST_PATH_IMAGE066
Figure 868447DEST_PATH_IMAGE067
Figure 213977DEST_PATH_IMAGE068
Figure 705614DEST_PATH_IMAGE069
是感知损失映射函数，
Figure 644751DEST_PATH_IMAGE070
是用于压缩图片的映射函数，
Figure 14290DEST_PATH_IMAGE071
是使用网络预测的HDR图像，
Figure 355273DEST_PATH_IMAGE072
对应真实的HDR图像。
7.根据权利要求6所述的一种基于深度学习的HDR图像重建方法，其特征在于：在步骤3中，联合训练损失函数
Figure 286320DEST_PATH_IMAGE073
如下：
Figure 712753DEST_PATH_IMAGE074
其中，
Figure 387448DEST_PATH_IMAGE075
，
Figure 707571DEST_PATH_IMAGE076
，
Figure 564448DEST_PATH_IMAGE077
是步骤1中第i个的全卷积神经网络的损失函数
Figure 212598DEST_PATH_IMAGE078
。
CN202211023053.6A 2022-08-25 2022-08-25 一种基于深度学习的hdr图像重建方法 Active CN115100043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211023053.6A CN115100043B (zh) 2022-08-25 2022-08-25 一种基于深度学习的hdr图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211023053.6A CN115100043B (zh) 2022-08-25 2022-08-25 一种基于深度学习的hdr图像重建方法

Publications (2)

Publication Number Publication Date
CN115100043A true CN115100043A (zh) 2022-09-23
CN115100043B CN115100043B (zh) 2022-11-15

Family

ID=83301034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211023053.6A Active CN115100043B (zh) 2022-08-25 2022-08-25 一种基于深度学习的hdr图像重建方法

Country Status (1)

Country Link
CN (1) CN115100043B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876282A (zh) * 2024-03-08 2024-04-12 昆明理工大学 基于多任务交互促进的高动态范围成像方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443846A (zh) * 2011-03-09 2013-12-11 杜比实验室特许公司 高对比度的灰度级显示器和彩色显示器
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
US9413980B1 (en) * 2015-03-17 2016-08-09 Via Alliance Semiconductor Co., Ltd. Methods for generating HDR (high dynamic range) images and apparatuses using the same
CN106131443A (zh) * 2016-05-30 2016-11-16 南京大学 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法
CN110910336A (zh) * 2019-10-30 2020-03-24 宁波大学 一种基于全卷积神经网络的立体高动态范围成像方法
CN111669514A (zh) * 2020-06-08 2020-09-15 北京大学 高动态范围成像方法和装置
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112184550A (zh) * 2020-09-18 2021-01-05 北京航空航天大学 神经网络训练方法、图像融合方法、装置、设备和介质
CN112995544A (zh) * 2019-12-02 2021-06-18 三星电子株式会社 根据单输入生成多曝光帧的系统和方法
CN113344773A (zh) * 2021-06-02 2021-09-03 电子科技大学 基于多级对偶反馈的单张图片重构hdr方法
CN113822830A (zh) * 2021-08-30 2021-12-21 天津大学 基于深度感知增强的多曝光图像融合方法
CN113973175A (zh) * 2021-08-27 2022-01-25 天津大学 一种快速的hdr视频重建方法
WO2022096104A1 (en) * 2020-11-05 2022-05-12 Huawei Technologies Co., Ltd. Permutation invariant high dynamic range imaging
CN114549373A (zh) * 2020-11-24 2022-05-27 深圳市万普拉斯科技有限公司 Hdr图像生成方法、装置、电子设备及可读存储介质
CN114648508A (zh) * 2022-03-25 2022-06-21 大连大学 一种基于多维协同细化网络的多曝光图像融合方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443846A (zh) * 2011-03-09 2013-12-11 杜比实验室特许公司 高对比度的灰度级显示器和彩色显示器
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
US9413980B1 (en) * 2015-03-17 2016-08-09 Via Alliance Semiconductor Co., Ltd. Methods for generating HDR (high dynamic range) images and apparatuses using the same
CN106131443A (zh) * 2016-05-30 2016-11-16 南京大学 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法
CN110910336A (zh) * 2019-10-30 2020-03-24 宁波大学 一种基于全卷积神经网络的立体高动态范围成像方法
CN112995544A (zh) * 2019-12-02 2021-06-18 三星电子株式会社 根据单输入生成多曝光帧的系统和方法
CN111669514A (zh) * 2020-06-08 2020-09-15 北京大学 高动态范围成像方法和装置
CN111950649A (zh) * 2020-08-20 2020-11-17 桂林电子科技大学 基于注意力机制与胶囊网络的低照度图像分类方法
CN112184550A (zh) * 2020-09-18 2021-01-05 北京航空航天大学 神经网络训练方法、图像融合方法、装置、设备和介质
WO2022096104A1 (en) * 2020-11-05 2022-05-12 Huawei Technologies Co., Ltd. Permutation invariant high dynamic range imaging
CN114549373A (zh) * 2020-11-24 2022-05-27 深圳市万普拉斯科技有限公司 Hdr图像生成方法、装置、电子设备及可读存储介质
CN113344773A (zh) * 2021-06-02 2021-09-03 电子科技大学 基于多级对偶反馈的单张图片重构hdr方法
CN113973175A (zh) * 2021-08-27 2022-01-25 天津大学 一种快速的hdr视频重建方法
CN113822830A (zh) * 2021-08-30 2021-12-21 天津大学 基于深度感知增强的多曝光图像融合方法
CN114648508A (zh) * 2022-03-25 2022-06-21 大连大学 一种基于多维协同细化网络的多曝光图像融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876282A (zh) * 2024-03-08 2024-04-12 昆明理工大学 基于多任务交互促进的高动态范围成像方法
CN117876282B (zh) * 2024-03-08 2024-05-14 昆明理工大学 基于多任务交互促进的高动态范围成像方法

Also Published As

Publication number Publication date
CN115100043B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
WO2022110638A1 (zh) 人像修复方法、装置、电子设备、存储介质和程序产品
CN104395928B (zh) 用于生成高分辨率视频流的方法和系统
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
CN103037215B (zh) 编码和重建高动态范围图像的方法和设备
CN111311490A (zh) 基于多帧融合光流的视频超分辨率重建方法
CN108510560B (zh) 图像处理方法、装置、存储介质和计算机设备
CN110910336B (zh) 一种基于全卷积神经网络的立体高动态范围成像方法
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
EP4156685A1 (en) Light field image processing method, light field image encoder and decoder, and storage medium
CN112750092A (zh) 训练数据获取方法、像质增强模型与方法及电子设备
CN113344773B (zh) 基于多级对偶反馈的单张图片重构hdr方法
CN112911304B (zh) 基于编码的双路视频压缩装置及压缩视频重建方法
CN111986106A (zh) 一种基于神经网络的高动态图像重建方法
CN113962884A (zh) Hdr视频获取方法、装置、电子设备以及存储介质
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
WO2022011571A1 (zh) 视频处理方法、装置、设备、解码器、系统及存储介质
CN115100043B (zh) 一种基于深度学习的hdr图像重建方法
Yang et al. Learning event guided high dynamic range video reconstruction
CN112767246B (zh) 光场图像多倍率空间超分辨方法及装置
CN107734271A (zh) 高动态范围十亿像素视频生成方法
CN107852456A (zh) 图像处理装置、摄像装置、图像处理方法及程序
Woo et al. Ghost-free deep high-dynamic-range imaging using focus pixels for complex motion scenes
JP2008294950A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
US7817870B2 (en) Method and apparatus for image processing with color constancy
CN116389912B (zh) 脉冲相机融合普通相机重构高帧率高动态范围视频的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant