CN115205177A - 图像获取方法、装置、设备和非瞬态计算机存储介质 - Google Patents

图像获取方法、装置、设备和非瞬态计算机存储介质 Download PDF

Info

Publication number
CN115205177A
CN115205177A CN202210713170.9A CN202210713170A CN115205177A CN 115205177 A CN115205177 A CN 115205177A CN 202210713170 A CN202210713170 A CN 202210713170A CN 115205177 A CN115205177 A CN 115205177A
Authority
CN
China
Prior art keywords
feature map
original
network
fusion
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210713170.9A
Other languages
English (en)
Inventor
孙梦笛
朱丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210713170.9A priority Critical patent/CN115205177A/zh
Publication of CN115205177A publication Critical patent/CN115205177A/zh
Priority to PCT/CN2023/095199 priority patent/WO2023246392A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像获取方法、装置、设备和计算机存储介质，属于图像技术领域。所述方法通过对同一场景拍摄得到的多个曝光度不同的原始图像进行融合，以获取多个原始图像对应的高动态范围图像。其中，通过将第一注意力网络引入多个原始图像的融合过程，并利用第一注意力网络来评估不同图像特征的重要性，突出对获取高动态范围图像有利的图像特征，抑制运动带来的干扰特征，如此可以减轻拍摄多个原始图像的过程中的运动对图像融合所带来的影响。

Description

图像获取方法、装置、设备和非瞬态计算机存储介质
技术领域
本申请涉及图像技术领域，特别涉及一种图像获取方法、装置、设备和非瞬态计算机存储介质。
背景技术
高动态范围成像(英文：High Dynamic Range Imaging；简写：HDR)是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的技术。高动态范围成像的目的是正确地表示真实世界中从太阳光直射到最暗的阴影的范围亮度，高动态范围成像形成的高动态范围图像可以提供更多的动态范围和图像细节。
一种图像获取方法中，先获取多个原始图像，再将每一张原始图像转换为特征图，对多张特征图进行特征融合，得到包含丰富信息的高动态范围图像。
但是，上述方法中，当拍摄多个原始图像的过程中存在微小运动时，通过该多个原始图像获取的高动态范围图像的清晰度较差。
发明内容
本申请实施例提供了一种图像获取方法。所述技术方案如下：
根据本申请的一方面，提供了一种图像获取方法，所述方法包括：
获取对同一场景拍摄得到的多个原始图像，所述多个原始图像的曝光度不同；
通过融合网络对所述多个原始图像进行融合，以得到第一融合特征图，所述融合网络中包括第一注意力网络；
基于所述第一融合特征图和所述多个原始图像，获取调整特征图；
基于所述调整特征图，获取所述多个原始图像对应的高动态范围图像。
可选地，所述融合网络包括第一融合子网络和第二融合子网络，所述第一融合子网络和所述第二融合子网络中均包括第一注意力网络；
所述通过融合网络对所述多个原始图像进行融合，以得到第一融合特征图，包括：
将所述多个原始图像中的一个原始图像确定为参考图像；
对所述参考图像进行特征提取，得到参考特征图；
分别对所述多个原始图像中除所述参考图像外的多个所述原始图像进行特征提取，得到多个原始特征图；
通过所述第一融合子网络将所述参考特征图分别和所述多个原始特征图进行融合，得到每个所述原始特征图对应的第二融合特征图；
通过第二融合子网络将多个所述第二融合特征图进行融合，得到所述第一融合特征图。
可选地，所述通过所述第一融合子网络将所述参考特征图分别和所述多个原始特征图进行融合，得到每个所述原始特征图对应的第二融合特征图，包括：
对所述参考特征图进行下采样处理，得到第一参考特征图；
对所述原始特征图进行下采样处理，得到第一原始特征图；
将所述第一参考特征图和所述第一原始特征图进行合并，并输入所述第一注意力网络，得到第一注意力特征图；
对所述第一注意力特征图进行上采样处理，得到所述第二融合特征图。
可选地，所述基于所述第一融合特征图和所述多个原始图像，获取调整特征图，包括：
将所述多个原始图像中的一个原始图像确定为参考图像；
分别对所述多个原始图像中除所述参考图像外的多个原始图像进行特征提取，得到多个原始特征图；
将所述第一融合特征图输入第二注意力网络，以得到第二注意力特征图；
将所述第二注意力特征图分别输入多个特征变换网络，并且将所述多个原始特征图分别输入所述多个空间特征变换网络，以得到所述多个原始特征图对应的多个调整特征图；
其中，所述空间特征变换网络用于根据所述原始特征图确定空间参数矩阵，并利用所述空间参数矩阵对所述第二注意力特征图进行空间变换，所述空间参数矩阵是通过对所述原始特征图进行卷积处理得到的。
可选地，所述基于所述调整特征图，获取所述多个原始图像对应的高动态范围图像，包括：
获取多个所述原始特征图对应的多个调整特征图；
对所述多个调整特征图进行合并，以得到合并特征图；
将所述合并特征图输入第三注意力网络，以得到重要特征图；
通过至少一个卷积层对所述重要特征图进行降维处理，得到所述高动态范围图像。
可选地，所述将所述多个原始图像中的一个原始图像确定为参考图像，包括：
将所述多个原始图像按照曝光度从高到低排序；
选取曝光度居中的原始图像作为所述参考图像。
可选地，所述对所述参考图像进行特征提取，得到参考特征图，包括：
将所述参考图像输入残差密集连接网络，得到所述参考特征图。
可选地，在所述通过对同一个拍摄场景进行多次拍摄，获取多个原始图像之前，还包括：
从样本集合中获取训练样本，所述训练集合中包括多个训练样本，所述训练样本包括对同一场景拍摄得到的多个样本图像，以及与所述多个样本图像对应的目标样本高动态范围图像，所述多个样本图像的曝光度不同；
通过待训练融合网络对所述多个样本图像进行融合，以得到第一融合特征图，所述融合网络中包括待训练的第一注意力网络；
基于所述第一融合特征图和所述多个样本图像，获取调整特征图；
基于所述调整特征图，获取所述多个样本图像对应的高动态范围图像；
将所述多个样本图像对应的高动态范围图像与所述目标样本高动态范围图像进行对比，得到对比差值；
若所述对比差值大于预设结果，则基于所述对比差值对所述待训练融合网络进行调整，并执行所述从样本集合中训练样本的步骤；
若所述对比差值小于或等于所述预设结果，将所述待训练融合网络确定为所述融合网络。
根据本申请的另一方面，提供了一种图像获取装置，所述装置包括：
获取模块，用于获取对同一场景拍摄得到的多个原始图像，所述多个原始图像的曝光度不同；
融合模块，用于通过融合网络对所述多个原始图像进行融合，以得到第一融合特征图，所述融合网络中包括第一注意力网络；
调整模块，用于基于所述第一融合特征图和所述多个原始图像，获取调整特征图；
重建模块，用于基于所述调整特征图，获取所述多个原始图像对应的高动态范围图像。
可选地，所述融合模块，包括：
第一确定模块，用于将所述多个原始图像中的一个原始图像确定为参考图像；
第一特征提取模块，用于对所述参考图像进行特征提取，得到参考特征图；
第二特征提取模块，用于分别对所述多个原始图像中除所述参考图像外的多个所述原始图像进行特征提取，得到多个原始特征图；
第一融合子模块，用于通过所述第一融合子网络将所述参考特征图分别和所述多个原始特征图进行融合，得到每个所述原始特征图像对应的第二融合特征图；
第二融合子模块，用于通过第二融合子网络将多个所述第二融合特征图进行融合，得到所述第一融合特征图。
可选地，所述第一融合子模块用于：
对所述参考特征图进行下采样处理，得到第一参考特征图；
对所述原始特征图进行下采样处理，得到第一原始特征图；
将所述第一参考特征图和所述第一原始特征图进行合并，并输入所述第一注意力网络，得到第一注意力特征图；
对所述第一注意力特征图进行上采样处理，得到所述第二融合特征图。
根据本申请的另一方面，提供了一种图像获取设备，所述图像获取设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的图像获取方法。
根据本申请的另一方面，提供了一种非瞬态计算机存储介质，所述非瞬态计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的图像获取方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像获取方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
提供了一种图像获取方法，通过对同一场景拍摄得到的多个曝光度不同的原始图像进行融合，以获取多个原始图像对应的高动态范围图像。其中，通过将第一注意力网络引入多个原始图像的融合过程，并利用第一注意力网络来评估不同图像特征的重要性，突出对获取高动态范围图像有利的图像特征，抑制运动带来的干扰特征，如此可以减轻拍摄多个原始图像的过程中的运动对图像融合所带来的影响，可以解决相关技术中获取的高动态范围图像的清晰度较差的问题，达到了提高获取的高动态范围图像的清晰度的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像获取方法的流程图；
图2是本申请实施例提供的另一种图像获取方法的流程图；
图3是本申请实施例提供的一种残差密集连接网络的结构示意图；
图4是本申请实施例提供的一种第一融合子网络的结构示意图；
图5是本申请实施例提供的一种获取第二融合特征图的流程图；
图6是本申请实施例提供的一种第一注意力网络的结构示意图；
图7是本申请实施例提供的一种空间变换网络的结构示意图；
图8是本申请实施例提供的一种获取高动态范围图像的流程图；
图9是本申请实施例提供的一种训练融合网络的流程图；
图10是本申请实施例提供的一种网络架构图；
图11是本申请实施例提供的一种图像获取装置的结构框图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请实施例所涉及的应用场景进行介绍。
随着影像技术的发展，随之而来的图像动态范围较低的问题也越来越受到关注。动态范围指的是一个设备能够捕捉的，或者能够显示的亮度范围，即最暗的黑色到最亮的白色的范围。为了解决上述问题，高动态范围成像技术得到了快速发展。示例性的，有些需要拍摄的场景包含了较大的动态范围，如风景拍摄、夜景拍摄和室内拍摄，这些场景通常相对稳定而又存在较大明暗反差，以致摄影设备无法通过一次拍摄将这个场景中所有的细节全部拍摄下来。高动态范围图像的获取过程可以包括：首先对同一场景按不同曝光度拍摄多张图像，其中每张图像能够获取该场景的整个动态范围的一部分，该多张图像均可以称作低动态范围图像，然后将多张低动态范围图像合成为一张高动态范围图像。高动态范围图像相比低动态范围图像，可以提供更多的动态范围和图像细节，能够更好地反映出真实环境中的视觉效果。
需要说明的是，本申请实施例描述的应用场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
该实施环境可以包括拍摄场景、拍摄组件、服务器以及显示终端。拍摄场景可以包括植物和风景等。拍摄组件可以包括相机。服务器包括处理器，服务器可以与拍摄组件之间建立有线或无线的连接，以根据拍摄组件采集的图像生成高动态范围图像，并在显示终端上显示该高动态范围图像。
图1是本申请实施例提供的一种图像获取方法的流程图。该方法可以应用于上述实施环境的服务器中。该方法可以包括下面几个步骤：
步骤101、获取对同一场景拍摄得到的多个原始图像，多个原始图像的曝光度不同。
步骤102、通过融合网络对多个原始图像进行融合，以得到第一融合特征图，融合网络中包括第一注意力网络。
步骤103、基于第一融合特征图和多个原始图像，获取调整特征图。
步骤104、基于调整特征图，获取多个原始图像对应的高动态范围图像。
综上所述，本申请实施例提供了一种图像获取方法，通过对同一场景拍摄得到的多个曝光度不同的原始图像进行融合，以获取多个原始图像对应的高动态范围图像。其中，通过将第一注意力网络引入多个原始图像的融合过程，并利用第一注意力网络来评估不同图像特征的重要性，突出对获取高动态范围图像有利的图像特征，抑制运动带来的干扰特征，如此可以减轻拍摄多个原始图像的过程中的运动对图像融合所带来的影响，可以解决相关技术中获取的高动态范围图像的清晰度较差的问题，达到了提高获取的高动态范围图像的清晰度的效果。
图2是本申请实施例提供的另一种图像获取方法的流程图。该方法可以应用于上述实施环境的服务器中。该方法可以包括下面几个步骤：
步骤201、获取对同一场景拍摄得到的多个原始图像，多个原始图像的曝光度不同。
可以通过对同一场景连续拍摄，以得到曝光度不同的多个原始图像。示例性的，可以通过相机在较短的时间内快速调整曝光度对同一场景进行拍摄，以得到多个曝光度不同的原始图像，如可以在相机中选取HDR模式，对同一场景连续进行三次拍摄，以获取低曝光原始图像、中曝光原始图像和高曝光原始图像。曝光度越大的原始图像的亮度越高，曝光度越小的原始图像的亮度越暗。
可选的，本申请实施例中多个原始图像的数量可以为N，其中N为大于或者等于3的整数。
步骤202、将多个原始图像中的一个原始图像确定为参考图像。
可以将多张原始图像中曝光度居中的原始图像作为参考图像，该参考图像的曝光度较为均衡，图像细节较为丰富，并从低曝光(相较于参考图像曝光不足)与高曝光(相较于参考图像曝光过度)的多张原始图像中获取曝光良好的部分，与参考图像进行融合，从而使得获取的高动态范围图像可以在较亮的高光和较暗的阴影中均记录相关图像细节，使高动态范围图像更加接近人眼所见的真实场景。
可选地，可以先将多个原始图像按照曝光度从高到低排序，该多个原始图像可以均为低动态范围图像，示例性的，将三个原始图像按照曝光度从高到低排序为第一原始图像、第二原始图像和第三原始图像。
之后，从排序后的多个原始图像中选取曝光度居中的原始图像作为参考图像，例如，选取第二原始图像作为参考图像。
步骤203、对参考图像进行特征提取，得到参考特征图。
可以通过特征提取网络对参考图像进行特征提取，例如可以通过卷积处理对参考图像进行特征提取，从而将参考图像转换为参考特征图。本申请实施例中的特征提取网络可以为残差密集连接网络(英文：Residual Dense Block；简写：RDB)，在提取参考特征图的过程中，可以将参考图像输入残差密集连接网络，以输出参考特征图。
如图3所示，图3是本申请实施例提供的一种残差密集连接网络的结构示意图。其中，Conv表示卷积层，C表示Concat，Concat用于表示矩阵的合并或排列运算，R表示Relu激活函数。Relu激活函数是一种线性整流函数，当输入小于0时，输出为0；当输入大于0时，输出就是输入的值，这个激活函数能使网络更快的收敛，可以减轻参数的相互依存关系。Fd-1表示第d个残差密集连接网络的输入，Fd表示第d个残差密集连接网络的输出，Fd,1表示第d个残差密集连接网络中的第1个卷积层的输出，Fd,c表示第d个残差密集连接网络中的第c个卷积层的输出，Fd,LF表示局部特征融合。
残差密集连接网络的输入为参考图像，输出为参考特征图，该参考特征图可以为一个矩阵。图3中所示的残差密集连接网络可以包括三个3×3的卷积层和三个激活层(Relu)，可以理解的是，残差密集连接网络可以认为是残差网络结构与密集网络结构的结合。由于残差密集连接网络中存在多个卷积层，因此引入残差网络结构可以进一步改善多个卷积层之间的信息流，降低残差密集连接网络的训练难度。密集网络结构能够有效缓解梯度消失的问题，可以加强特征传播，鼓励特征复用，以提高残差密集连接网络中的参数的利用率，减少不必要的计算量。
步骤204、分别对多个原始图像中除参考图像外的多个原始图像进行特征提取，得到多个原始特征图。
在提取参考特征图的过程中，可以将除参考图像外的多个原始图像分别输入残差密集连接网络，以输出多个原始特征图。该残差密集连接网络与步骤203中的残差密集连接网络的结构相同。并且，本实施例中的残差密集连接网络的数量是根据原始图像的数量确定的，即残差密集网络的数量与多个原始图像的数量相同，示例性的，本申请实施例中可以具有三个残差密集网络。
由于多个原始图像的曝光度不同，同一场景在曝光度不同的原始图像中的亮度、对比度、纹理和轮廓等信息存在不同。若经过同一残差密集网络对多个原始图像进行特征提取，生成的共享参数会破坏该场景在不同曝光度下的固有特征。因此，可以在特征提取的过程中采用多通道架构，多个残差密集网络之间不共享任何学习参数，且多个残差密集网络可以同时对多个原始图像进行特征提取。即就是，步骤203和步骤204可以同时执行。
步骤205、获取融合网络。
融合网络可以为经过训练后的融合网络，该融合网络可以包括多个卷积层以及第一注意力网络，其中，第一注意力网络也可以是经过训练得到的第一注意力网络。
步骤206、通过融合网络中的第一融合子网络将参考特征图分别和多个原始特征图进行融合，得到每个原始特征图对应的第二融合特征图。
可选地，在本申请实施例中，融合网络可以包括第一融合子网络和第二融合子网络，第一融合子网络和第二融合子网络中均可以包括第一注意力网络。该融合网络中的第一融合子网络和第二融合子网络的结构可以相同，均可以称为空间适应网络(英文：Spatial Attention Module；简写：SAM)，多个融合子网络之间不共享任何学习参数。
如图4所示，图4是本申请实施例提供的一种第一融合子网络的结构示意图。其中第一融合子网络的输入为参考特征图和多个原始特征图中的一个原始特征图，输出为第二融合特征图。其中，Conv表示卷积层，C表示矩阵的合并或排列运算，SConv表示跨步卷积，此处跨步卷积的步长为2，即就是，参考特征图和原始特征图分别经过跨步卷积后缩小了2倍，因此在后续的图像处理过程中，可以通过上采样(Up-sample)处理，以恢复参考特征图和原始特征图。
在图像融合的过程中，由于输入的多个原始图像的曝光度不同且不完全对齐，因此，将参考特征图和原始特征图直接合并在一起，并将合并后的特征输入之后的卷积层，可能会导致合并后的特征之间具有错位的问题。因此，本申请实施例中，在图像融合的过程中引入第一注意力网络，以突出对融合有利的重要图像特征，抑制错位、重影、欠饱和以及过饱和等低质量区域的图像特征。
如图5所示，步骤206可以包括以下四个子步骤：
子步骤2061、对参考特征图进行下采样处理，得到第一参考特征图。
对参考特征图进行下采样处理，可以降低参考特征图的维度并保留有效信息，以避免出现过拟合现象。
子步骤2062、对原始特征图进行下采样处理，得到第一原始特征图。
同理，对原始特征图进行下采样处理，可以降低参考特征图的维度并保留有效信息，可以避免过拟合现象。步骤2051和步骤2052可以同时进行，以提高图像融合的效率。
子步骤2063、将第一参考特征图和第一原始特征图进行合并，并输入第一注意力网络，得到第一注意力特征图。
如图6所示，图6是本申请实施例提供的一种第一注意力网络的结构示意图。其中，Conv表示卷积层，SConv表示跨步卷积，Max-Pool表示最大池化，Concat表示矩阵的合并或排列运算，DConv表示空洞卷积，DWConv表示深度卷积，S表示Sigmoid激活函数，Sigmoid激活函数是一种逻辑激活函数，也称为S型生长曲线，Sigmoid函数可以被用作神经网络的激活函数，以将变量映射到[0，1]之间。空洞卷积可以扩大感受野，有助于恢复过饱和区域和运动错位导致的图像细节缺失。
需要说明的是，本申请实施例中的第一注意力网络的结构可以为如图6所示的第一注意力网络，还可以为其他结构的注意力网络，本申请实施例对此不进行限制。
需要说明的是，本申请实施例中的参考特征图和原始特征图的本质都是一个矩阵，在图4所示的实施例中，第一参考特征图和第一原始特征图的合并，本质上是两个矩阵的合并，是在不改变两个矩阵本身顺序的前提下，将两个矩阵进行排列或合并的过程。
子步骤2064、对第一注意力特征图进行上采样处理，得到第二融合特征图。
上采用处理可以用于放大图像，该第二融合特征图可以为带有权重值的特征图。
步骤207、通过融合网络中的第二融合子网络将多个第二融合特征图进行融合，得到第一融合特征图。
第一融合子网络与特征提取网络相似，第一融合子网络也可以采用结构相同的多通道设计，即就是，可以先将多个原始特征图分别与参考特征图进行第一次融合，得到多个第二融合特征图，之后再对多个第二融合特征图进行第二次融合。其中，第二融合子网络的输入为多个第二融合特征图，输出为第一融合特征图。
步骤208、将第一融合特征图输入到第二注意力网络，以得到第二注意力特征图。
该第二注意力网络的结构可以与图6所示的第一注意力网络的结构相同。可以利用第二注意力网络对第一融合特征图进行处理，以保留第一融合特征图中的重要图像信息，突出对融合有利的图像特征。
步骤209、将第二注意力特征图分别输入多个特征变换网络，并且将多个原始特征图分别输入多个空间特征变换网络，以得到多个原始特征图对应的多个调整特征图。
其中，空间特征变换网络用于根据原始特征图确定空间参数矩阵，并利用空间参数矩阵对第二注意力特征图进行空间变换，空间参数矩阵可以通过对原始特征图进行卷积处理得到。
如图7所示，图7是本申请实施例提供的一种空间变换网络的结构示意图。其中，Conv表示卷积层，C表示矩阵的合并或排列运算。空间特征变换网络与特征提取网络相似，空间特征变换网络也可以采用结构相同的多通道设计，即就是，将多个原始特征图分别对第二注意力特征图进行空间变换，以分别得到多个原始特征图对应的多个调整特征图。
示例性的，原始特征图的数量和空间特征变换网络的数量可以相等，且原始特征图的数量和空间特征变换网络的数量可以均大于或者等于2。
空间特征变换网络能够通过空间参数矩阵对第二注意力特征图进行调制，以使得调制后的第二注意力特征图具有较多的与图像纹理相关的特征，可以校正第二注意力特征图的局部失真和信息丢失。
步骤210、基于调整特征图，获取多个原始图像对应的高动态范围图像。
由于多个原始特征图中的特征信息存在不同，因此，可以通过获取多个原始图像对应的多个调整特征图，以基于该多个调整特征图，获取图像细节较多的高动态范围图像。
如图8所示，步骤210可以包括以下四个子步骤：
子步骤2101、获取多个原始特征图对应的多个调整特征图。
由于多个原始特征图中的特征信息存在不同，因此，可以通过多个原始特征生成的多个空间参数矩阵分别对第二注意力特征图进行空间变换，以提高图像空间变换的准确性。
子步骤2102、对多个调整特征图进行合并，以得到合并特征图。
可以将上述的多个调整特征图通过Concat进行合并，以使得合并特征图具有较多的图像细节。
子步骤2103、将合并特征图输入第三注意力网络，以得到重要特征图。
该第三注意力网络的结构可以与图6所示的第一注意力网络的结构相同。通过第三注意力网络，可以再次评估合并特征图中不同图像特征的重要性，突出对获取高动态范围图像有利的图像特征，抑制运动带来的干扰特征，如此可以减轻拍摄多个原始图像的过程中的运动对图像融合所带来的影响，可以提高获取的高动态范围图像的清晰度。
子步骤2104、通过至少一个卷积层对重要特征图进行降维处理，得到高动态范围图像。
上述重要特征图中可能存在冗余信息，可以采用两个3x3的卷积与激活函数的组合，对重要特征图进行降维处理，以得到高动态范围图像。
综上所述，本申请实施例提供了一种图像获取方法，通过对同一场景拍摄得到的多个曝光度不同的原始图像进行融合，以获取多个原始图像对应的高动态范围图像。其中，通过将第一注意力网络引入多个原始图像的融合过程，并利用第一注意力网络来评估不同图像特征的重要性，突出对获取高动态范围图像有利的图像特征，抑制运动带来的干扰特征，如此可以减轻拍摄多个原始图像的过程中的运动对图像融合所带来的影响，可以解决相关技术中获取的高动态范围图像的清晰度较差的问题，达到了提高获取的高动态范围图像的清晰度的效果。
可选地，上述步骤205中的融合网络可以为提前训练好的融合网络，也可以在步骤205中对融合网络进行训练。需要说明的是，本申请实施例中所应用的各个网络(融合网络、第一注意力网络、第二注意力网络、第三注意力网络以及特征变换网络)均是经过训练的网络结构，可以通过深度学习对各个网络进行训练，深度学习为机器学习的一种方法。本申请实施例不限制这些网络的训练方式。
融合网络的训练可以采用低动态范围图像作为输入，以低动态范围图像对应的高动态范围图像作为真值，在训练的过程中，可以随机从样本库中抽取低动态范围图像输入融合网络进行训练，网络优化器可以采用Adam优化器，初始学习率为1e-4，损失函数(Loss)包括低动态范围图像与高动态范围图像的L1损失与PSNR损失，损失函数(Loss)的公式如下：
Figure BDA0003707713620000131
其中，L1损失也被称为最小绝对偏差，计算的是实际值与目标值之间绝对差值的总和。PSNR为峰值信噪比，用于衡量两张图像之间差异。
Figure BDA0003707713620000132
表示真值，Igt表示训练过程中的测试值。
如图9所示，本申请实施例中，融合网络的训练过程可以包括下面几个步骤：
步骤301、从样本集合中获取训练样本。
其中，训练集合中包括多个训练样本，训练样本包括对同一场景拍摄得到的多个样本图像，以及与多个样本图像对应的目标样本高动态范围图像，多个样本图像的曝光度不同。
该目标样本高动态范围图像为多个训练样本融合成的清晰度较高的高动态范围图像。
步骤302、通过待训练融合网络对多个样本图像进行融合，以得到第一融合特征图，融合网络中包括待训练的第一注意力网络。
在子步骤302中，包括对多个样本进行特征提取的残差密集连接网络，在训练的过程中，残差密集连接网络可以与融合网络同步进行训练。
步骤303、基于第一融合特征图和多个样本图像，获取调整特征图。
在步骤303中，可以包括第二注意力网络和空间特征变换网络，同理，第二注意力网络和空间特征变换网络可以与融合网络同步进行训练。
步骤304、基于调整特征图，获取多个样本图像对应的高动态范围图像。
在步骤304中，可以包括第三注意力网络，同理，第三注意力网络可以与融合网络同步进行训练。
步骤305、将多个样本图像对应的高动态范围图像与目标样本高动态范围图像进行对比，得到对比差值。
步骤306、若对比差值大于预设结果，则基于对比差值对待训练融合网络进行调整，并执行从样本集合中训练样本的步骤。
如果获取的高动态范围图像与目标样本高动态范围图像相比，差异较大，则可以说明该融合网络中的参数不够准确，可以通过多次训练，进一步调整融合网络中的参数。即在子步骤306后执行子步骤301。
步骤307、若对比差值小于或等于预设结果，将待训练融合网络确定为融合网络。
如果获取的高动态范围图像与目标样本高动态范围图像相比，差异较小，则可以说明该融合网络中的参数较为准确，可以结束融合网络的训练。
可选地，如图10所示，图10是本申请实施例提供的一种网络架构图。其中，多个输入(输入1、输入2和输入3)可以为多个曝光度不同的原始图像，其中，输入2可以为参考图像。
多个特征提取模块(特征提取模块1、特征提取模块2和特征提取模块3)可以用于对多个原始进行特征提取，如，可以执行上述图2所示的实施例中的步骤203和步骤204。
多个融合模块中的融合模块1和融合模块2可以用于分别将多个原始特征图与参考特征图进行第一次融合，以得到多个第二融合特征图，如，可以执行上述图2所示的实施例中的步骤206。多个融合模块中的融合模块3可以用于融合多个第二融合特征图，如，可以执行上述图2所示的实施例中的步骤207。
多个空间特征变换模块(空间特征变换模块1和空间特征变换模块2)以及多个注意力模块(注意力模块1和注意力模块2)，可以分别用于根据原始图像的图像特征对融合后的图像特征进行调整，如，可以执行上述图2所示的实施例中的步骤208和步骤209。
C表示矩阵的合并或排列运算。
注意力模块3和输出模块可以用于基于调整特征图，获取多个原始图像对应的高动态范围图像，如，可以执行上述图2所示的实施例中的步骤210。
图11是本申请实施例提供的一种图像获取装置的结构框图，该图像获取装置1100包括：
获取模块1110，用于获取对同一场景拍摄得到的多个原始图像，多个原始图像的曝光度不同；
融合模块1120，用于通过融合网络对多个原始图像进行融合，以得到第一融合特征图，融合网络中包括第一注意力网络；
调整模块1130，用于基于第一融合特征图和多个原始图像，获取调整特征图；
重建模块1140，用于基于调整特征图，获取多个原始图像对应的高动态范围图像。
可选地，融合模块1120，包括：
第一确定模块，用于将多个原始图像中的一个原始图像确定为参考图像；
第一特征提取模块，用于对参考图像进行特征提取，得到参考特征图；
第二特征提取模块，用于分别对多个原始图像中除参考图像外的多个原始图像进行特征提取，得到多个原始特征图；
第一融合子模块，用于通过第一融合子网络将参考特征图分别和多个原始特征图进行融合，得到每个原始特征图像对应的第二融合特征图；
第二融合子模块，用于通过第二融合子网络将多个第二融合特征图进行融合，得到第一融合特征图。
可选地，第一融合子模块用于：
对参考特征图进行下采样处理，得到第一参考特征图；
对原始特征图进行下采样处理，得到第一原始特征图；
将第一参考特征图和第一原始特征图进行合并，并输入第一注意力网络，得到第一注意力特征图；
对第一注意力特征图进行上采样处理，得到第二融合特征图。
可选地，调整模块1130，包括：
第一确定模块，用于将多个原始图像中的一个原始图像确定为参考图像，并分别对多个原始图像中除参考图像的每个原始图像进行特征提取得到原始特征图。
第一注意力模块，用于将第一融合特征图输入到第二注意力网络，以得到第二注意力特征图；
第一空间模块，用于将第二注意力特征图和原始特征图输入到空间特征变换网络，以得到原始特征图对应的调整特征图。
其中，空间特征变换网络用于根据原始特征图确定空间参数矩阵，并利用空间参数矩阵对第二注意力特征图进行空间变换，空间参数矩阵是通过对原始特征图进行卷积处理得到的。
可选地，重建模块1140，用于：
获取多个原始特征图对应的多个调整特征图；
对多个调整特征图进行合并，以得到合并特征图；
将合并特征图输入第三注意力网络，以得到重要特征图；
通过至少一个卷积层对重要特征图进行降维处理，得到高动态范围图像。
综上所述，本申请实施例提供了一种图像获取装置，通过对同一场景拍摄得到的多个曝光度不同的原始图像进行融合，以获取多个原始图像对应的高动态范围图像。其中，通过将第一注意力网络引入多个原始图像的融合过程，并利用第一注意力网络来评估不同图像特征的重要性，突出对获取高动态范围图像有利的图像特征，抑制运动带来的干扰特征，如此可以减轻拍摄多个原始图像的过程中的运动对图像融合所带来的影响，可以解决相关技术中获取的高动态范围图像的清晰度较差的问题，达到了提高获取的高动态范围图像的清晰度的效果。
此外，本申请实施例还提供了一种电子设备的结构示意图。该电子设备包括一个或多个处理器、摄像组件、存储器以及终端。存储器可以包括随机存取存储器(randomaccess memory，RAM)和只读存储器(read only memory，ROM)，摄像组件可以和终端为一体结构。上述图像获取方法中关于网络训练的部分可以应用于服务器，除网络训练的其他关于图像处理的部分既可以应用于服务器，也可以应用于终端。
此外，本申请实施例还提供了一种图像获取设备，该图像获取设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述任一实施例中的图像获取方法。
此外，本申请实施例还提供了一种非瞬态计算机存储介质，非瞬态计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上述任一实施例中的图像获取方法。
此外，本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例中的图像获取方法。
在本申请中，术语“第一”、“第二”和“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像获取方法，其特征在于，所述方法包括：
获取对同一场景拍摄得到的多个原始图像，所述多个原始图像的曝光度不同；
通过融合网络对所述多个原始图像进行融合，以得到第一融合特征图，所述融合网络中包括第一注意力网络；
基于所述第一融合特征图和所述多个原始图像，获取调整特征图；
基于所述调整特征图，获取所述多个原始图像对应的高动态范围图像。
2.根据权利要求1所述的方法，其特征在于，所述融合网络包括第一融合子网络和第二融合子网络，所述第一融合子网络和所述第二融合子网络中均包括第一注意力网络；
所述通过融合网络对所述多个原始图像进行融合，以得到第一融合特征图，包括：
将所述多个原始图像中的一个原始图像确定为参考图像；
对所述参考图像进行特征提取，得到参考特征图；
分别对所述多个原始图像中除所述参考图像外的多个所述原始图像进行特征提取，得到多个原始特征图；
通过所述第一融合子网络将所述参考特征图分别和所述多个原始特征图进行融合，得到每个所述原始特征图对应的第二融合特征图；
通过第二融合子网络将多个所述第二融合特征图进行融合，得到所述第一融合特征图。
3.根据权利要求2所述的方法，其特征在于，所述通过所述第一融合子网络将所述参考特征图分别和所述多个原始特征图进行融合，得到每个所述原始特征图对应的第二融合特征图，包括：
对所述参考特征图进行下采样处理，得到第一参考特征图；
对所述原始特征图进行下采样处理，得到第一原始特征图；
将所述第一参考特征图和所述第一原始特征图进行合并，并输入所述第一注意力网络，得到第一注意力特征图；
对所述第一注意力特征图进行上采样处理，得到所述第二融合特征图。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一融合特征图和所述多个原始图像，获取调整特征图，包括：
将所述多个原始图像中的一个原始图像确定为参考图像；
分别对所述多个原始图像中除所述参考图像外的多个原始图像进行特征提取，得到多个原始特征图；
将所述第一融合特征图输入第二注意力网络，以得到第二注意力特征图；
将所述第二注意力特征图分别输入多个特征变换网络，并且将所述多个原始特征图分别输入所述多个空间特征变换网络，以得到所述多个原始特征图对应的多个调整特征图；
其中，所述空间特征变换网络用于根据所述原始特征图确定空间参数矩阵，并利用所述空间参数矩阵对所述第二注意力特征图进行空间变换，所述空间参数矩阵是通过对所述原始特征图进行卷积处理得到的。
5.根据权利要求4所述的方法，其特征在于，所述基于所述调整特征图，获取所述多个原始图像对应的高动态范围图像，包括：
获取多个所述原始特征图对应的多个调整特征图；
对所述多个调整特征图进行合并，以得到合并特征图；
将所述合并特征图输入第三注意力网络，以得到重要特征图；
通过至少一个卷积层对所述重要特征图进行降维处理，得到所述高动态范围图像。
6.根据权利要求2所述的方法，其特征在于，所述将所述多个原始图像中的一个原始图像确定为参考图像，包括：
将所述多个原始图像按照曝光度从高到低排序；
选取曝光度居中的原始图像作为所述参考图像。
7.根据权利要求2所述的方法，其特征在于，所述对所述参考图像进行特征提取，得到参考特征图，包括：
将所述参考图像输入残差密集连接网络，得到所述参考特征图。
8.根据权利要求1所述的方法，其特征在于，在所述通过对同一个拍摄场景进行多次拍摄，获取多个原始图像之前，还包括：
从样本集合中获取训练样本，所述训练集合中包括多个训练样本，所述训练样本包括对同一场景拍摄得到的多个样本图像，以及与所述多个样本图像对应的目标样本高动态范围图像，所述多个样本图像的曝光度不同；
通过待训练融合网络对所述多个样本图像进行融合，以得到第一融合特征图，所述融合网络中包括待训练的第一注意力网络；
基于所述第一融合特征图和所述多个样本图像，获取调整特征图；
基于所述调整特征图，获取所述多个样本图像对应的高动态范围图像；
将所述多个样本图像对应的高动态范围图像与所述目标样本高动态范围图像进行对比，得到对比差值；
若所述对比差值大于预设结果，则基于所述对比差值对所述待训练融合网络进行调整，并执行所述从样本集合中训练样本的步骤；
若所述对比差值小于或等于所述预设结果，将所述待训练融合网络确定为所述融合网络。
9.一种图像获取装置，其特征在于，所述装置包括：
获取模块，用于获取对同一场景拍摄得到的多个原始图像，所述多个原始图像的曝光度不同；
融合模块，用于通过融合网络对所述多个原始图像进行融合，以得到第一融合特征图，所述融合网络中包括第一注意力网络；
调整模块，用于基于所述第一融合特征图和所述多个原始图像，获取调整特征图；
重建模块，用于基于所述调整特征图，获取所述多个原始图像对应的高动态范围图像。
10.根据权利要求9所述的装置，其特征在于，所述融合模块，包括：
第一确定模块，用于将所述多个原始图像中的一个原始图像确定为参考图像；
第一特征提取模块，用于对所述参考图像进行特征提取，得到参考特征图；
第二特征提取模块，用于分别对所述多个原始图像中除所述参考图像外的多个所述原始图像进行特征提取，得到多个原始特征图；
第一融合子模块，用于通过所述第一融合子网络将所述参考特征图分别和所述多个原始特征图进行融合，得到每个所述原始特征图像对应的第二融合特征图；
第二融合子模块，用于通过第二融合子网络将多个所述第二融合特征图进行融合，得到所述第一融合特征图。
11.根据权利要求10所述的装置，其特征在于，所述第一融合子模块用于：
对所述参考特征图进行下采样处理，得到第一参考特征图；
对所述原始特征图进行下采样处理，得到第一原始特征图；
将所述第一参考特征图和所述第一原始特征图进行合并，并输入所述第一注意力网络，得到第一注意力特征图；
对所述第一注意力特征图进行上采样处理，得到所述第二融合特征图。
12.一种图像获取设备，其特征在于，所述图像获取设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的图像获取方法。
13.一种非瞬态计算机存储介质，其特征在于，所述非瞬态计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的图像获取方法。
CN202210713170.9A 2022-06-22 2022-06-22 图像获取方法、装置、设备和非瞬态计算机存储介质 Pending CN115205177A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210713170.9A CN115205177A (zh) 2022-06-22 2022-06-22 图像获取方法、装置、设备和非瞬态计算机存储介质
PCT/CN2023/095199 WO2023246392A1 (zh) 2022-06-22 2023-05-19 图像获取方法、装置、设备和非瞬态计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210713170.9A CN115205177A (zh) 2022-06-22 2022-06-22 图像获取方法、装置、设备和非瞬态计算机存储介质

Publications (1)

Publication Number Publication Date
CN115205177A true CN115205177A (zh) 2022-10-18

Family

ID=83575443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210713170.9A Pending CN115205177A (zh) 2022-06-22 2022-06-22 图像获取方法、装置、设备和非瞬态计算机存储介质

Country Status (2)

Country Link
CN (1) CN115205177A (zh)
WO (1) WO2023246392A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246392A1 (zh) * 2022-06-22 2023-12-28 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162799B (zh) * 2018-11-28 2023-08-04 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法以及相关装置和设备
CN112166455A (zh) * 2019-09-26 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台及机器可读存储介质
CN110728648B (zh) * 2019-10-25 2022-07-19 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN111242883B (zh) * 2020-01-10 2023-03-28 西安电子科技大学 一种基于深度学习的动态场景hdr重建方法
CN113160178A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于注意力模块的高动态范围去重影成像系统及方法
CN114596238A (zh) * 2022-03-08 2022-06-07 安徽大学 一种多曝光图像融合方法、系统及可存储介质
CN114581355A (zh) * 2022-04-19 2022-06-03 京东方科技集团股份有限公司 一种重建hdr图像的方法、终端及电子设备
CN115205177A (zh) * 2022-06-22 2022-10-18 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246392A1 (zh) * 2022-06-22 2023-12-28 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质

Also Published As

Publication number Publication date
WO2023246392A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
JP6929047B2 (ja) 画像処理装置、情報処理方法及びプログラム
US10579908B2 (en) Machine-learning based technique for fast image enhancement
EP4198875A1 (en) Image fusion method, and training method and apparatus for image fusion model
US20200134787A1 (en) Image processing apparatus and method
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN111835983B (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统
CN111986106B (zh) 一种基于神经网络的高动态图像重建方法
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN115115516B (zh) 基于Raw域的真实世界视频超分辨率的构建方法
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
WO2023246392A1 (zh) 图像获取方法、装置、设备和非瞬态计算机存储介质
CN113379609B (zh) 一种图像处理方法、存储介质及终端设备
CN116188859A (zh) 一种基于超分和检测网络的茶叶病害无人机遥感监测方法
CN114581355A (zh) 一种重建hdr图像的方法、终端及电子设备
CN114862698A (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
Chen et al. Single-image hdr reconstruction with task-specific network based on channel adaptive RDN
CN110557572B (zh) 一种图像处理方法、装置及卷积神经网络系统
Chen et al. New stereo high dynamic range imaging method using generative adversarial networks
Chambe et al. HDR-LFNet: Inverse tone mapping using fusion network
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN116664407A (zh) 基于三元组非配对学习的人脸融合超分辨率方法及系统
CN114119428B (zh) 一种图像去模糊方法和装置
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN115699073A (zh) 神经网络支持的相机图像或视频处理流水线
Yang et al. Efficient hdr reconstruction from real-world raw images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination