CN117876282A - 基于多任务交互促进的高动态范围成像方法 - Google Patents
基于多任务交互促进的高动态范围成像方法 Download PDFInfo
- Publication number
- CN117876282A CN117876282A CN202410268067.7A CN202410268067A CN117876282A CN 117876282 A CN117876282 A CN 117876282A CN 202410268067 A CN202410268067 A CN 202410268067A CN 117876282 A CN117876282 A CN 117876282A
- Authority
- CN
- China
- Prior art keywords
- exposure
- reconstruction
- network
- image
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 25
- 230000003993 interaction Effects 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000002452 interceptive effect Effects 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000010354 integration Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于多任务交互促进的高动态范围成像方法，属于数字图像处理技术领域。本发明包括步骤：获取低动态范围图像，并对图像进行预处理；构建单曝光重建网络，将预处理好的低动态范围图像送入单曝光重建网络进行高动态范围图像的重建；构建多曝光融合网络，将预处理好的低动态范围图像序列送入多曝光融合网络进行多曝光图像的融合，从而生成高动态范围图像；构建交互学习块，让单曝光图像的曝光良好信息促进单曝光重建网络，让单曝光网络的无伪影特征促进多曝光融合网络；构建交互学习块，让两个网络相互促进；构建整合块对单曝光重建网络和多曝光融合网络的重建特征进行整合。本发明通过多任务之间的相互促进，提升了高动态范围成像的性能。
Description
技术领域
本发明涉及基于多任务交互促进的高动态范围成像方法，属于数字图像处理技术领域。
背景技术
对于数字成像来说，成像设备的动态范围远远低于人眼所见的动态范围，这会导致图像过曝光或者欠曝光。过曝光和欠曝光都会导致图像中部分区域信息丢失。高动态范围成像技术就是用来解决低动态范围图像信息丢失的问题，目前大多采用单曝光图像重建或多曝光图像融合来从低动态范围图像得到高动态范围图像。单曝光图像重建可以生成没有伪影的图像，但因为输入的图像无法提供足够多的曝光信息，最后重建结果的亮度信息容易与真实场景不一致；多曝光图像融合多张低动态范围图像，因此网络可以从输入中获得丰富的曝光信息，这能使得融合结果的亮度分布与真实场景更相似。但是多曝光图像融合时由于不同输入图像之间会存在前景运动和背景运动，导致最终生成的结果存在难以抑制的伪影。针对此问题，提出了基于多任务交互促进的高动态范围成像方法。
发明内容
为了解决现有方法的不足，本发明针对单曝光图像重建出来的图像曝光与真实场景不一致；而多曝光图像融合结果中存在难以抑制的伪影等问题，提出了基于多任务交互促进的高动态范围成像方法。
本发明的技术方案是：基于多任务交互促进的高动态范围成像方法，所述方法的具体步骤如下：
Step1：获取低动态范围LDR图像，并对图像进行预处理；
Step2：构建单曝光重建网络，将预处理好的低动态范围图像送入单曝光重建网络进行编码，构建多曝光融合网络，将预处理好的低动态范围图像序列送入多曝光融合网络进行编码并对特征进行对齐融合；
Step3：构建交互学习块，将单曝光重建网络编码好的特征和多曝光融合网络编码并对齐融合后的特征送入交互学习块。对两个网络的特征进行交互；
Step4：通过单曝光重建网络和多曝光融合网络的重建块，对交互学习后得到的特征进行特征重建；
Step5：将重建后特征输入交互学习块。交互得到的特征继续进行重建。
Step6：对多级重建并交互学习后的特征分别进行最后的重建和映射，得到单曝光重建网络和多曝光融合网络的高动态范围输出图像；
Step7：将两个网络多级重建后的特征进行整合，然后重建出最终的结果；
Setp8：构造损失函数来约束网络，在损失函数的约束下训练网络：
利用Adam优化器先对网络进行训练，通过损失约束高动态范围图像的生成，使其能生成高质量的高动态范围图像，其损失约束为：
其中表示计算图像梯度，N为交互学习块的个数，表示第n个交互学习块中
从多曝光融合网络的特征重建出来的梯度图，表示第n个交互学习块中从单曝光重建网
络的特征重建出来的梯度图，、、和为平衡各个损失的超参数，为单曝光重建
网络生成的高动态范围图像、为多曝光融合结果、为整合后的结果，为标签。
进一步地，所述Step1中，将不同曝光设置的图像随机裁剪到大小，然
后将伽马矫正后的结果拼接到原始输入图像上，在输入单曝光重建网络和多曝光融合网络
之前采用镜像翻转、强度变化、随机旋转进行数据增强。
进一步地，所述Step2中单曝光重建网络包括进行特征编码、特征重建和特征解码，单曝光重建网络首先对输入的单曝光图像进行编码，多曝光融合网络包括进行特征编码、对齐融合、特征重建和特征解码，多曝光融合网络首先对输入的多曝光图像序列进行编码、对齐和融合。
进一步地，所述Step2中单曝光重建网络和多曝光融合网络具体操作过程如下：
所述Step2中单曝光重建网络具体操作过程如下：
首先对输入图像进行编码。使用单曝光重建网络编码器对参考图像即进行
编码得到特征，参考图像为：不同曝光序列的低动态范围图像进行预处理后得到的中
间曝光图像。
进一步地，所述Step2中，多曝光融合网络的具体操作如下：
对预处理好的低动态范围图像序列三个输入分别使用编码器进行编码得到特
征，（i=1,2,3）表示由输入编码得到的特征。
然后对特征进行对齐并融合：
其中表示对齐块，表示先进行卷积然后再使用LeakReLu激活，
表示待重建的特征，[.]表示对输入进行通道维度上的拼接操作。
进一步地，所述Step3中交互学习具体操作步骤如下：
先将输入特征重建成梯度图。通过对标签进行梯度计算来得到梯度图的标签，标
签就是与参考图像在位置上对齐的高动态范围图像，即为地面真值标签GT（Ground
Truth,GT），参考图像为：不同曝光序列的低动态范围图像进行预处理后得到的中间曝
光图像，进而约束重建出来的梯度图与真实情况一致。再将梯度图转换成边缘细节信息丰
富的特征。然后对两个特征进行交互。当从单曝光重建网络得到的特征作为生成Q的特征
时，从多曝光融合网络得到的特征作为生成K和V的特征。当从多曝光融合网络得到的特征
作为生成Q的特征时，从单曝光重建网络得到的特征作为生成K和V的特征。经过交叉注意力
计算得到补充到单曝光重建网络的信息和补充到多曝光融合网络的信息。
进一步地，所述Step4中的特征重建步骤如下：
其中表示重建块，，（k=1,...,K）表示在单曝光重建网络和多曝光融
合网络中经过k-1次重建的特征。
进一步地，所述Step5中交互学习块的操作具体如下：
对重建后的特征，进行与Setp3相同的交互操作，通过交叉注意力计算可以得到补
充到单曝光重建网络的信息和补充到多曝光融合网络的信息。
进一步地，所述Step6生成高动态范围输出图像的过程具体为：得到最后的单曝光
重建网络的重建特征后，对其进行最后重建并映射成单曝光重建网络的最终HDR输出图
像。得到最后的多曝光融合网络的重建特征后，本文同样对其进行最后重建然后将
特征映射成多曝光融合网络的HDR输出图像。
进一步地，所述Step7中对单曝光重建网络和多曝光融合网络多级重建后的特征
进行整合，对于单曝光重建网络多级重建后的特征和多曝光融合网络多级重建后的特征，
先使用卷积激活操作分别对其进行简单整合，然后拼接两个整合好的特征并送入到一个重
建块中进行重建，最后将特征映射成HDR图像。
本发明的有益效果是：
1、在高动态范围成像任务中，因为通过多曝光融合可以得到更多的图像信息，融合出来的结果亮度信息也更为丰富，但在输入图像中间的前景运动和背景运动都会导致最终的结果图存在伪影。针对这一问题，本发明充分利用单曝光网络无伪影的特点。先通过简单的特征对齐，然后通过单曝光重建网络的无伪影的特征的引导，来促进多曝光融合网络进一步抑制伪影。通过单曝光重建网络的引导，多曝光融合网络可以跟好地抑制伪影；
2、在单曝光重建任务中，虽然因为只有一张输入图像可以避免因输入间的不对齐所产生的伪影，但输入图像所能提供的亮度信息是有限的，因此单曝光重建对过亮或过安、暗的区域不能很好的进行重建。针对这一问题，本发明充分利用多曝光融合任务曝光分布真实的特点。通过多曝光融合网络的引导，使得单曝光重建网络可以更好地重建于真实场景一致的图像；
3、为了使得网络能很好的重建出图像的边缘细节信息，本文在交互学习块中引入了梯度约束。梯度约束可以很好的约束重建块重建出来的特征尽可能的保留图像的边缘信息。因为重建过程是多级操作，本发明使其可以在不同深度上进行交互学习；
4、交互学习虽然可以在使两个任务相互学习，但重建网络和融合网络还是会有所侧重，如单曝光重建网络虽然从多曝光融合网络中学到了恢复真实曝光分布的能力，但其结果还是更偏向于无伪影。为了更好的兼顾两个网络的优点，本文对两个网络得到的特征加以整合，从而得到同时具有两个网络结果优点的HDR图像。
附图说明
下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图；
图1为本发明方法的流程结构示意图；
图2为本发明方法的初步对齐块；
图3为本发明方法的交互学习块；
图4为本发明与不同方法的效果对比图。
具体实施方式
实施例1：如图1-图4所示，基于多任务交互促进的高动态范围成像方法，所述方法的具体步骤如下：
Step1：获取低动态范围LDR图像，并对图像进行预处理。将不同曝光设置的图像随
机裁剪到大小，然后将伽马矫正后的结果拼接到原始输入图像上，在输入单曝
光重建网络和多曝光融合网络之前采用镜像翻转、强度变化、随机旋转进行数据增强。伽马
较正的计算方式如下：
其中[.]表示对输入进行通道维度上的拼接操作，代表伽马校正参数，代表低
动态范围输入图像的曝光时间，参照之前的工作经验，将设置为2.2。
Step2：构建单曝光重建网络，将预处理好的低动态范围图像送入单曝光重建网络进行编码，构建多曝光融合网络，将预处理好的低动态范围图像序列送入多曝光融合网络进行编码并对特征进行对齐融合；
所述Step2中单曝光重建网络具体操作过程如下：
首先对输入图像进行编码。使用单曝光重建网络编码器对参考图像即进行
编码得到特征，参考图像为：不同曝光序列的低动态范围图像进行预处理后得到的中
间曝光图像。
所述Step2中，多曝光融合网络的具体操作如下：
对预处理好的低动态范围图像序列三个输入分别使用编码器进行编码得到特
征，（i=1,2,3）表示由输入编码得到的特征。
然后对特征进行对齐并融合：
其中表示对齐块，表示先进行卷积然后再使用LeakReLu激活，
表示待重建的特征，[.]表示对输入进行通道维度上的拼接操作，初步对齐块如图2所示。
Step3：构建交互学习块，如图3所示，将单曝光重建网络编码好的特征和多曝光融合网络编码并对齐融合后的特征送入交互学习块。对两个网络的特征进行交互；
所述Step3中交互学习具体操作步骤如下：
先将输入特征重建成梯度图。通过对标签进行梯度计算来得到梯度图的标签，标
签就是与参考图像在位置上对齐的高动态范围图像，即为地面真值标签GT（Ground
Truth,GT），参考图像为：不同曝光序列的低动态范围图像进行预处理后得到的中间曝
光图像，进而约束重建出来的梯度图与真实情况一致。再将梯度图转换成边缘细节信息丰
富的特征。然后对两个特征进行交互。当从单曝光重建网络得到的特征作为生成Q的特征
时，从多曝光融合网络得到的特征作为生成K和V的特征。当从多曝光融合网络得到的特征
作为生成Q的特征时，从单曝光重建网络得到的特征作为生成K和V的特征。经过交叉注意力
计算得到补充到单曝光重建网络的信息和补充到多曝光融合网络的信息。
Step4：通过单曝光重建网络和多曝光融合网络的重建块，对交互学习后得到的特征进行特征重建；
所述Step4中的特征重建步骤如下：
其中表示重建块，，（k=1,...,K）表示在单曝光重建网络和多曝光融
合网络中经过k-1次重建的特征。
Step5：将重建后特征输入交互学习块。交互得到的特征继续进行重建；
所述Step5中交互学习块的操作具体如下：
对重建后的特征，进行与Setp3相同的交互操作，通过交叉注意力计算可以得到补
充到单曝光重建网络的信息和补充到多曝光融合网络的信息。
Step6：对多级重建并交互学习后的特征分别进行最后的重建和映射，得到单曝光重建网络和多曝光融合网络的高动态范围输出图像；
所述Step6生成高动态范围输出图像的过程具体为：得到最后的单曝光重建网络
的重建特征后，对其进行最后重建并将特征映射成单曝光重建网络的最终HDR输出图像。得到最后的多曝光融合网络的重建特征后，本文同样对其进行最后重建然后将特
征映射成多曝光融合网络的HDR输出图像。
Setp7：将两个网络多级重建后的特征进行整合，然后重建出最终的结果；
所述Step7中对单曝光重建网络和多曝光融合网络多级重建后的特征进行整合，
对于单曝光重建网络多级重建后的特征和多曝光融合网络多级重建后的特征，先使用卷积
激活操作分别对其进行简单整合，然后拼接两个整合好的特征并送入到一个重建块中进行
重建，最后使用卷积和Sigmoid激活操作将特征映射成HDR图像：
Setp8：构造损失函数来约束网络，在损失函数的约束下训练网络。
利用Adam优化器先对网络进行训练，通过损失约束高动态范围图像的生成，使其能生成高质量的高动态范围图像，其损失约束为：
其中表示计算图像梯度，N为交互学习块的个数，表示第n个交互学习块中
从多曝光融合网络的特征重建出来的梯度图，表示第n个交互学习块中从单曝光重建网
络的特征重建出来的梯度图，、、和为平衡各个损失的超参数，为单曝光重建
网络生成的高动态范围图像、为多曝光融合结果、为整合后的结果，为标签。
进一步地，为验证本发明方法的有效性，我们在Kalantari(Deep high dynamicrange imaging of dynamic scenes)数据集上评估了提出方法的性能。该数据集的共有74组图像用作训练，15组图像用作测试。每一组图像中有着三张低动态范围图像和与输入对应的曝光数据文件和标签。根据曝光设置的不同，可将输入依次分为低曝光、中曝光和高曝光图像，其中标签是与中曝光图像对齐的，因此我们以中曝光图像为参考图像。本发明算法是在Pytorch框架下开发的，并在两张NVIDIA GTX3090显卡上进行了训练。在训练中，我们使用AdamW优化器来对模型进行参数优化。
进一步地，本发明采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和结构相似度（Structural Similarity Index，SSIM）来评估模型生成的高动态范围图像的性能。PSNR可以用来衡量结果图中有效信息和噪声的比例的变量，可以定量的表述融合图像的失真程度。PSNR越大，图片的质量越好，失真程度越小。结构相似度评估的是两张图像的相似程度。所以如果融合得到的HDR与标签越一致，那么他们的相似程度应该也越高。因此SSIM在这里用以衡量融合图与标签的相似度。SSIM是介于0到1的，而且其值越高，说明融合图与标签越相似，融合得到的HDR也越好。同时，因为高动态范围图像都需要通过映射才能在正常显示在一般的图像显示设备上。因此我们对映射前和映射后的图像都进行评估。映射前的评估参数记为PSNR_L和SSIM_L，映射后记作PSNR_u和SSIM_u。
进一步地，在Kalantari数据集上，本发明方法和Sen、Kalantari、DeepHDR、NHDRR、HDRI和SGARN等同样使用Kalantari数据集进行训练的高动态范围方法进行了性能比较，实验结果如表1所示。从此可以看出，本发明方法在四个性能上都取得了最好的结果。这证明了本发明方法在高动态范围成像上的有效性。
表1为不同方法在Kalantari验证集上的客观评价比较
进一步地，本发明将Sen、Kalantari、DeepHDR、NHDRR、HDRI和SGARN结果进行了视觉效果对比，如图4所示。由此可以看出，提出的方法可以产生良好的高动态范围图像，而其他方法的结果容易存在伪影，而且其他方法因曝光问题导致的信息丢失也更为明显，图4中的GT即地面真值标签（Ground Truth,GT），就是与参考图像X2在位置上对齐的高动态范围图像。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (10)
1.基于多任务交互促进的高动态范围成像方法，其特征在于：所述方法的具体步骤如下：
Step1：获取低动态范围LDR图像，并对图像进行预处理；
Step2：构建单曝光重建网络，将预处理好的低动态范围图像送入单曝光重建网络进行编码，构建多曝光融合网络，将预处理好的低动态范围图像序列送入多曝光融合网络进行编码并对特征进行对齐融合；
Step3：构建交互学习块，将单曝光重建网络编码好的特征和多曝光融合网络编码并对齐融合后的特征送入交互学习块，对两个网络的特征进行交互；
Step4：通过单曝光重建网络和多曝光融合网络的重建块，对交互学习后得到的特征进行特征重建；
Step5：将重建后特征输入交互学习块，交互得到的特征继续进行重建；
Setp6：对多级重建并交互学习后的特征分别进行最后的重建和映射，得到单曝光重建网络和多曝光融合网络的高动态范围输出图像；
Setp7：将两个网络多级重建后的特征进行整合，然后重建出最终的结果；
Setp8：构造损失函数来约束网络，在损失函数的约束下训练网络。
2.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于：所述Step1中，将不同曝光设置的图像随机裁剪到大小，然后将伽马矫正后的结果拼接到原始输入图像上，在输入单曝光重建网络和多曝光融合网络之前采用镜像翻转、强度变化、随机旋转进行数据增强。
3.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step2中单曝光重建网络包括进行特征编码、特征重建和特征解码，单曝光重建网络首先对输入的单曝光图像进行编码，多曝光融合网络包括进行特征编码、对齐融合、特征重建和特征解码，多曝光融合网络首先对输入的多曝光图像序列进行编码、对齐和融合。
4.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step2中单曝光重建网络具体操作过程如下：
首先对输入图像进行编码，使用单曝光重建网络编码器对参考图像即/>进行编码得到特征/>，参考图像/>为：不同曝光序列的低动态范围图像进行预处理后得到的中间曝光图像。
5.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step2中，多曝光融合网络的具体操作如下：
对预处理好的低动态范围图像序列三个输入分别使用编码器进行编码得到特征，/>（i=1,2,3）表示由输入/>编码得到的特征；
然后对特征进行对齐并融合：
；
；
其中表示对齐块，/>表示先进行卷积然后再使用LeakReLu激活，/>表示待重建的特征，[.]表示对输入进行通道维度上的拼接操作。
6.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step3中交互学习具体操作步骤如下：
先将输入特征重建成梯度图；通过对标签进行梯度计算来得到梯度图的标签，标签就是与参考图像在位置上对齐的高动态范围图像，即为地面真值标签GT（Ground Truth,GT），参考图像/>为：不同曝光序列的低动态范围图像进行预处理后得到的中间曝光图像；进而约束重建出来的梯度图与真实情况一致，再将梯度图转换成边缘细节信息丰富的特征；然后对两个特征进行交互；当从单曝光重建网络得到的特征作为生成Q的特征时，从多曝光融合网络得到的特征作为生成K和V的特征；当从多曝光融合网络得到的特征作为生成Q的特征时，从单曝光重建网络得到的特征作为生成K和V的特征；经过交叉注意力计算得到补充到单曝光重建网络的信息/>和补充到多曝光融合网络的信息/>。
7.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step4中的特征重建步骤如下：
；
；
其中表示重建块，/>，/>（k=1,...,K）表示在单曝光重建网络和多曝光融合网络中经过k-1次重建的特征；
所述Step5中交互学习块的操作具体如下：
对重建后的特征，进行与Setp3相同的交互操作，通过交叉注意力计算得到补充到单曝光重建网络的信息和补充到多曝光融合网络的信息/>。
8.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step6生成高动态范围输出图像的过程具体为：得到最后的单曝光重建网络的重建特征后，对其进行最后重建并映射成单曝光重建网络的最终HDR输出图像/>；得到最后的多曝光融合网络的重建特征/>后，同样对其进行最后重建然后将特征映射成多曝光融合网络的HDR输出图像/>。
9.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step7中对单曝光重建网络和多曝光融合网络多级重建后的特征进行整合，对于单曝光重建网络多级重建后的特征和多曝光融合网络多级重建后的特征，先使用卷积激活操作分别进行简单整合，然后拼接两个整合好的特征并送入到一个重建块中进行重建，最后将特征映射成HDR图像。
10.根据权利要求1所述的基于多任务交互促进的高动态范围成像方法，其特征在于，所述Step8 中，通过损失约束高动态范围图像的生成，其损失表示如下：
；
；
；
；
；
其中表示计算图像梯度，N为交互学习块的个数，/>表示第n个交互学习块中从多曝光融合网络的特征重建出来的梯度图，/>表示第n个交互学习块中从单曝光重建网络的特征重建出来的梯度图，/>、/>、/>和/>为平衡各个损失的超参数，/>为单曝光重建网络生成的高动态范围图像、/>为多曝光融合结果、/>为整合后的结果，/>为标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410268067.7A CN117876282B (zh) | 2024-03-08 | 2024-03-08 | 基于多任务交互促进的高动态范围成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410268067.7A CN117876282B (zh) | 2024-03-08 | 2024-03-08 | 基于多任务交互促进的高动态范围成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117876282A true CN117876282A (zh) | 2024-04-12 |
| CN117876282B CN117876282B (zh) | 2024-05-14 |
Family
ID=90594972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410268067.7A Active CN117876282B (zh) | 2024-03-08 | 2024-03-08 | 基于多任务交互促进的高动态范围成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876282B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008092147A2 (en) * | 2007-01-26 | 2008-07-31 | Information Resources, Inc. | Analytic platform |
| US20130188852A1 (en) * | 2012-01-20 | 2013-07-25 | Annemarie Bakai | Acquisition device and a method for control thereof |
| CN109447907A (zh) * | 2018-09-20 | 2019-03-08 | 宁波大学 | 一种基于全卷积神经网络的单图像增强方法 |
| CN110163808A (zh) * | 2019-03-28 | 2019-08-23 | 西安电子科技大学 | 一种基于卷积神经网络的单帧高动态成像方法 |
| CN111242883A (zh) * | 2020-01-10 | 2020-06-05 | 西安电子科技大学 | 一种基于深度学习的动态场景hdr重建方法 |
| CN113222954A (zh) * | 2021-05-21 | 2021-08-06 | 大连海事大学 | 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法 |
| US11151702B1 (en) * | 2019-09-09 | 2021-10-19 | Apple Inc. | Deep learning-based image fusion for noise reduction and high dynamic range |
| US20210398257A1 (en) * | 2020-06-18 | 2021-12-23 | Samsung Electronics Co., Ltd. | Method and device for mapping ldr video into hdr video |
| CN115100043A (zh) * | 2022-08-25 | 2022-09-23 | 天津大学 | 一种基于深度学习的hdr图像重建方法 |
| US20230179871A1 (en) * | 2021-12-02 | 2023-06-08 | Centre For Intelligent Multidimensional Data Analysis Limited | System and a method for processing an image |
| CN116471486A (zh) * | 2023-04-19 | 2023-07-21 | 北京卓越电力建设有限公司 | 一种从单曝光电缆隧道图像生成高动态范围图像的方法 |
| CN117237207A (zh) * | 2023-08-15 | 2023-12-15 | 宁波大学 | 针对动态场景的无鬼影高动态范围光场成像方法 |
| CN117372272A (zh) * | 2023-09-27 | 2024-01-09 | 北京科技大学 | 一种基于注意力机制的多曝光的图像融合方法及系统 |
-
2024
- 2024-03-08 CN CN202410268067.7A patent/CN117876282B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008092147A2 (en) * | 2007-01-26 | 2008-07-31 | Information Resources, Inc. | Analytic platform |
| US20130188852A1 (en) * | 2012-01-20 | 2013-07-25 | Annemarie Bakai | Acquisition device and a method for control thereof |
| CN109447907A (zh) * | 2018-09-20 | 2019-03-08 | 宁波大学 | 一种基于全卷积神经网络的单图像增强方法 |
| CN110163808A (zh) * | 2019-03-28 | 2019-08-23 | 西安电子科技大学 | 一种基于卷积神经网络的单帧高动态成像方法 |
| US11151702B1 (en) * | 2019-09-09 | 2021-10-19 | Apple Inc. | Deep learning-based image fusion for noise reduction and high dynamic range |
| CN111242883A (zh) * | 2020-01-10 | 2020-06-05 | 西安电子科技大学 | 一种基于深度学习的动态场景hdr重建方法 |
| US20210398257A1 (en) * | 2020-06-18 | 2021-12-23 | Samsung Electronics Co., Ltd. | Method and device for mapping ldr video into hdr video |
| CN113222954A (zh) * | 2021-05-21 | 2021-08-06 | 大连海事大学 | 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法 |
| US20230179871A1 (en) * | 2021-12-02 | 2023-06-08 | Centre For Intelligent Multidimensional Data Analysis Limited | System and a method for processing an image |
| CN115100043A (zh) * | 2022-08-25 | 2022-09-23 | 天津大学 | 一种基于深度学习的hdr图像重建方法 |
| CN116471486A (zh) * | 2023-04-19 | 2023-07-21 | 北京卓越电力建设有限公司 | 一种从单曝光电缆隧道图像生成高动态范围图像的方法 |
| CN117237207A (zh) * | 2023-08-15 | 2023-12-15 | 宁波大学 | 针对动态场景的无鬼影高动态范围光场成像方法 |
| CN117372272A (zh) * | 2023-09-27 | 2024-01-09 | 北京科技大学 | 一种基于注意力机制的多曝光的图像融合方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| YUKI ENDO等: "Deep reverse tone mapping", ACM TRANSACTIONS ON GRAPHICS, 30 November 2017 (2017-11-30), pages 177 * |
| ZHIBAO QIN等: "Neural radiance fields-basedmulti-view endoscopic scene reconstruction for surgical simulation", INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY, 27 February 2024 (2024-02-27), pages 1 - 10 * |
| 王琴: "基于深度学习的多曝光HDR图像获取方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 6 July 2023 (2023-07-06), pages 25 * |
| 石学: "基于深度学习的HDR图像重构与识别技术研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 January 2022 (2022-01-15), pages 15 - 25 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117876282B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN111242883B (zh) | 一种基于深度学习的动态场景hdr重建方法 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN110612549A (zh) | 用于快速图像增强的基于机器学习的技术 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| US20220414838A1 (en) | Image dehazing method and system based on cyclegan | |
| CN110111251B (zh) | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 | |
| CN112001863A (zh) | 一种基于深度学习的欠曝光图像恢复方法 | |
| CN112365422B (zh) | 基于深层聚合网络的不规则缺失图像修复方法及其系统 | |
| CN110225260B (zh) | 一种基于生成对抗网络的立体高动态范围成像方法 | |
| CN113096029A (zh) | 基于多分支编解码器神经网络的高动态范围图像生成方法 | |
| CN113034413B (zh) | 一种基于多尺度融合残差编解码器的低照度图像增强方法 | |
| CN112200732B (zh) | 一种清晰特征融合的视频去模糊方法 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| CN111105376A (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
| CN116681584A (zh) | 一种多级扩散图像超分辨算法 | |
| CN116228550A (zh) | 一种基于生成对抗网络的图像自增强去雾算法 | |
| CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
| CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
| CN117876282B (zh) | 基于多任务交互促进的高动态范围成像方法 | |
| CN116389912B (zh) | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 | |
| Liang et al. | Method for reconstructing a high dynamic range image based on a single-shot filtered low dynamic range image | |
| CN117097853A (zh) | 一种基于深度学习的实时抠像方法及系统 | |
| CN116309171A (zh) | 一种输电线路监控图像增强方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |