CN114581355A - 一种重建hdr图像的方法、终端及电子设备 - Google Patents

一种重建hdr图像的方法、终端及电子设备 Download PDF

Info

Publication number
CN114581355A
CN114581355A CN202210411628.5A CN202210411628A CN114581355A CN 114581355 A CN114581355 A CN 114581355A CN 202210411628 A CN202210411628 A CN 202210411628A CN 114581355 A CN114581355 A CN 114581355A
Authority
CN
China
Prior art keywords
image
original
displacement
images
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210411628.5A
Other languages
English (en)
Inventor
朱丹
孙梦笛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210411628.5A priority Critical patent/CN114581355A/zh
Publication of CN114581355A publication Critical patent/CN114581355A/zh
Priority to US18/681,951 priority patent/US20240338796A1/en
Priority to PCT/CN2023/076883 priority patent/WO2023202200A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种重建HDR图像的方法、终端及电子设备，用于保证重建的HDR图像质量，同时降低硬件处理成本。该方法包括：获取拍摄场景相同且曝光度不同的多张原始图像；从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；根据所述增强图像，重建所述多张原始图像对应的HDR图像。

Description

一种重建HDR图像的方法、终端及电子设备
技术领域
本公开涉及图像处理技术领域，特别涉及一种重建HDR图像的方法、终端及电子设备。
背景技术
HDR(High Dynamic Range Imaging，高动态范围成像)是用来实现比普通数位图像技术更大曝光动态范围的一组技术。HDR的目的是正确地表示真实世界中从太阳光直射到最暗的阴影的范围亮度，HDR可以提供更多的动态范围和图像细节。
由于单幅图像的曝光度固定得到的场景动态范围非常有限，因此需要通过多次曝光来恢复出实际场景真实的照度数据，从而得到HDR图像。目前大多采用多张不同曝光度的普通数字图像来计算实际的场景亮度，经过计算机高速计算之后得到一幅HDR高动态范围图像，且通过压缩算法将HDR图像显示在低动态范围(LDR)的显示设备上。
但是目前生成HDR图像的方法由于计算量大，需要依赖较高的硬件处理能力，成本高、资源消耗较大，普适性较差。
发明内容
本公开提供一种重建HDR图像的方法、终端及电子设备，用于保证重建的HDR图像质量，同时降低硬件处理成本。
第一方面，本公开实施例提供的一种重建HDR图像的方法，包括：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，还包括：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，还包括：
执行至少一次图像增强操作；
其中，每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述所述根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述对下采样操作后的融合图像进行图像增强处理，包括：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述对所述下采图像进行图像增强处理，包括：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像，包括：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述从多张原始图像中筛选出的参考图像，包括：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述获取拍摄场景相同且曝光度不同的多张原始图像，包括：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还包括：
在显示器上显示重建的所述HDR图像。
第二方面，本公开实施例提供的一种重建HDR图像的终端，该终端包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，所述处理器具体还被配置为执行：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，所述处理器具体还被配置为执行：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述处理器具体被配置为执行：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，所述处理器具体还被配置为执行：
在显示器上显示重建的所述HDR图像。
第三方面，本公开实施例还提供一种重建HDR图像的电子设备，该电子设备包括摄像单元和控制电路，其中：
所述摄像单元用于获取不同曝光程度的原始图像；
所述控制电路包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
第四方面，本公开实施例还提供一种重建HDR图像的装置，包括：
获取图像单元，用于获取拍摄场景相同且曝光度不同的多张原始图像；
特征对齐单元，用于从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
特征增强单元，用于根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
特征重建单元，用于根据所述增强图像，重建所述多张原始图像对应的HDR图像。
第五方面，本公开实施例还提供非瞬态计算机存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现上述第一方面所述方法的步骤。
本公开的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种重建HDR图像的方法的实施流程图；
图2为本公开实施例提供的一种不同曝光度的原始图像的示意图；
图3为本公开实施例提供的一种应用于终端拍摄的场景的示意图；
图4为本公开实施例提供的一种注意力网络的结构示意图；
图5为本公开实施例提供的一种图像增强网络的结构示意图；
图6为本公开实施例提供的一种BNet网络结构的示意图；
图7为本公开实施例提供的一种ESA网络结构示意图；
图8为本公开实施例提供的一种下采样结构的示意图；
图9为本公开实施例提供的一种上采样结构的示意图；
图10为本公开实施例提供的一种特征重建网络的结构示意图；
图11为本公开实施例提供的一种重建HDR图像的补充方案实施流程图；
图12为本公开实施例提供的一种重建HDR图像的增强方案实施流程图；
图13A为本公开实施例提供的一种重建HDR图像的网络架构示意图；
图13B为本公开实施例提供的一种重建HDR图像的方法实施流程；
图14A为本公开实施例提供的另一种重建HDR图像的网络架构示意图；
图14B为本公开实施例提供的另一种重建HDR图像的方法实施流程；
图15A为本公开实施例提供的又一种重建HDR图像的网络架构示意图；
图15B为本公开实施例提供的又一种重建HDR图像的方法实施流程；
图16为本公开实施例提供的一种重建HDR图像的终端示意图；
图17为本公开实施例提供的一种重建HDR图像的电子设备示意图；
图18为本公开实施例提供的一种重建HDR图像的装置示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1、HDR(High Dynamic Range Imaging，高动态范围成像)是用来实现比普通数位图像技术更大曝光动态范围的一组技术。HDR的目的是正确地表示真实世界中从太阳光直射到最暗的阴影的范围亮度，HDR可以提供更多的动态范围和图像细节。由于单幅图像的曝光度固定得到的场景动态范围非常有限，因此需要通过多次曝光来恢复出实际场景真实的照度数据，从而得到HDR图像。目前大多采用多张不同曝光度的普通数字图像来计算实际的场景亮度，经过计算机高速计算之后得到一幅HDR高动态范围图像，且通过压缩算法将HDR图像显示在低动态范围(LDR)的显示设备上。但是目前生成HDR图像的方法由于计算量大，需要依赖较高的硬件处理能力，成本高、资源消耗较大，普适性较差。
本实施例提供的一种针对多张不同曝光图像的HDR重建方法，能够提取不同曝光图像中的不同明、暗细节并互相补充。本实施例中重建HDR图像的方法还可以在进行图像增强处理时对下采样操作后的融合图像进行图像增强处理，能够有效地节省算力，并通过特征对齐处理和图像增强处理保证重建的HDR图像的质量。
如图1所示，本实施例提供的一种重建HDR图像的方法的实施流程如下所示：
步骤100、获取拍摄场景相同且曝光度不同的多张原始图像；
在一些实施例中，本实例中的多张原始图像是拍摄组件针对同一拍摄场景连续拍摄不同曝光度的所述多张原始图像。需要说明的是，多张不同曝光度的原始图像是摄像机在极短时长内快速转换光圈进行拍摄得到的，如图2所示，本实施例提供的一种不同曝光度的原始图像的示意图，其中针对同一场景拍摄了3张曝光度不同的原始图像，从左到右分别是低曝光图像、中曝光图像和高曝光图像。曝光度越大原始图像的亮度越高，曝光度越小原始图像的亮度越暗。其中曝光度的大小可以根据原始图像的曝光参数确定。可选的，本实施例拍摄的原始图像的数量为N，其中N为大于等于3的整数。
在应用于手机终端的场景中，通过如下方式获取拍摄场景相同且曝光度不同的多张原始图像：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
实施中，如图3所示，本实施例提供的一种应用于终端拍摄的场景的示意图，用户打开终端的摄像机，选择是否进入HDR模式拍摄，如果不选择HDR模式拍摄，则仅按照普通摄像机拍摄当前画面；如果选择HDR模式拍摄，则在用户点击拍摄后能够快速得到连续多张不同曝光度的原始图像，并将得到的多张原始图像通过本实施例中的下述步骤进行处理，得到最终重建的HDR图像。
步骤101、从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
在一些实施例中，从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。例如，从低曝光原始图像、中曝光原始图像和高曝光原始图像中，选择中曝光原始图像作为参考图像。
在一些实施例中，本实施例通过如下方式执行所述特征对齐处理：
以所述参考图像作为基准，对筛选后剩余的每张原始图像的特征进行对齐处理，得到所述剩余的原始图像的位移图像。
在一些实施例中，本实施例通过如下方式得到原始图像的位移图像。
根据所述参考图像和筛选后剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
在一些实施例中，本实施例通过注意力网络进行特征对齐处理，具体实施过程如下所示：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
需要说明的是，本实施例中的参考特征图像和原始特征图像的本质都是一个矩阵，在一些实施例中，本实施例中的参考特征图像和所述原始特征图像的合并，本质上是两个矩阵的合并，是在不改变两个矩阵本身顺序的前提下，将两个矩阵进行排列或合并的过程，例如，将参考特征图像和原始特征图像进行concat操作。
在一些实施例中，对所述剩余的原始图像进行特征提取得到原始特征图像，其中可以通过特征提取网络对原始图像进行特征提取，例如可以通过一个3×3的卷积层进行特征提取，特征通道从3通道(即原始图像为RGB图像)扩展为nf通道(可以取nf＝64或者48、32等)，从而利用该卷积层将原始图像转换为原始特征图像。
在一些实施例中，本实施例中的注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
在一些实施例中，如图4所示，本实施例提供了一种注意力网络的结构示意图，其中注意力网络的输入为第一合并图像和原始特征图像。c表示输入的第一合并图像，f表示输入的原始特征图像。可选的，本实施例中的注意力网络的数量是根据剩余的原始图像的数量确定的。其中，S型函数是Sigmoid函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0，1之间。
步骤102、根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
实施中，首先对参考图像和所有剩余的原始图像的位移图像进行特征融合，得到一个融合图像；然后对融合图像进行下采样操作，最后对下采样操作后的融合图像进行图像增强处理，得到最终的增强图像。
在一些实施例中，本实施例中的下采样操作的采样倍数是根据硬件平台的算力确定的。
在一些实施例中，通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
实施中，本实施例中的位移图像的本质是一个矩阵，经过特征提取的参考图像也是一个矩阵，在一些实施例中，本实施例中的经过特征提取的参考特征图像和位移图像的合并，本质上是两个矩阵的合并，是在不改变两个矩阵本身顺序的前提下，将两个矩阵进行排列或合并的过程，例如，将位移图像和经过特征提取的参考特征图像进行concat操作。
在一些实施例中，可以通过一个3×3的卷积层对第二合并图像进行降维处理，其中特征从3×nf降到nf(可以取nf＝64或者48、32等)。
在一些实施例中，可以先对融合图像进行下采样操作，然后对下采样操作后的融合图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
在一些实施例中，利用图像增强网络进行图像增强处理，得到增强图像，具体实施流程如下所示：
将所述下采图像输入到图像增强网络，输出网络图像；对所述网络图像进行上采样操作，得到所述增强图像。其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
在一些实施例中，如图5所示，本实施例提供一种图像增强网络的结构示意图，包括三个BNet网络结构，其中图中的C表示concat运算。
如图6所示，本实施例提供的一种BNet网络结构的示意图，其中conv表示卷积层，k1表示卷积层大小为1×1，k3表示卷积层大小为3x3，f表示特征数，例如f64->32表示特征数是从64到32。Concat表示矩阵的合并或排列运算。
如图7所示，本实施例提供一种ESA网络结构示意图，其中，ESA是一种空间自注意力网络，仅对当前输入的特征进行自矫正。
如图8所示，本实施例还提供一种下采样结构的示意图，例如2倍的Mux下采样，其中a11、b11、c11、d11等都表示融合图像的像素值，其中融合图像是灰度图。卷积层Conv为k3f(nf×4->nf)，表示卷积层大小为3×3，特征从nf×4到nf，特征数降低了，nf是正整数。上采样结构采用同原理的DeMux结构。如图9所示，本实施例提供的一种上采样结构的示意图。
步骤103、根据所述增强图像，重建所述多张原始图像对应的HDR图像。
在一些实施例中，本实施例通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。实施中，由于增强图像是经过特征增强后的多维特征图像，因此重建的过程需要将增强图像进行降维处理，得到最终用于显示的HDR图像。
如图10所示，本实施例还提供一种特征重建网络的结构示意图，将增强图像输入到该特征重建网络后，输出HDR图像。其中conv表示卷积层，k1表示卷积层大小为1×1，k3表示卷积层大小为3×3，f表示特征数，例如f(nf->3)表示特征数是从nf到3。
在一些实施例中，根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还可以在显示器上显示重建的所述HDR图像。
在一些实施例中，如图11所示，本实施例还提供一种重建HDR图像的补充方案，该方案实施的具体流程如下所示：
步骤1100、获取拍摄场景相同且曝光度不同的多张原始图像；
步骤1101、从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
步骤1102、执行至少一次下采特征对齐处理；
其中，每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
实施中，对参考特征图像进行下采样操作，同时对每个位移图像都进行下采样操作。
根据下采样操作后的参考特征图像，对下采样操作后的位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。实施中，基于相同的特征对齐处理的实施原理，实施中，每次下采特征对齐处理都需要先执行下采样操作，然后执行特征对齐处理，特征对齐处理的过程具体如下所示：
根据下采样操作后的参考特征图像和每张位移图像的特征相似性，确定该位移图像对应的位移参数矩阵；根据所述位移参数矩阵对所述位移图像的特征再次进行位移，得到本次特征对齐处理后的位移图像。
步骤1103、根据执行至少一次下采特征对齐处理后的参考特征图像和位移图像，确定增强图像；
其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和位移图像进行特征融合得到的；基于同样的图像增强处理的实施原理，根据下采特征对齐处理后的参考图像和位移图像，确定增强图像。
步骤1104、对所述增强图像进行至少一次上采样操作，得到上采样操作后的增强图像；
步骤1105、根据上采样操作后的增强图像，重建所述多张原始图像对应的HDR图像。
在一些实施例中，如图12所示，本实施例还提供一种重建HDR图像的增强方案，该增强方案可以和上述补充方案结合实施，具体流程如下所示：
步骤1200、获取拍摄场景相同且曝光度不同的多张原始图像；
步骤1201、从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
步骤1202、执行至少一次下采特征对齐处理；
其中，每次下采特征对齐处理执行如下步骤：
对经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；实施中，对参考特征图像进行下采样操作，同时对每个位移图像都进行下采样操作。
根据下采样操作后的参考特征图像，对下采样操作后的位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。实施中，基于相同的特征对齐处理的实施原理，实施中，每次下采特征对齐处理都需要先执行下采样操作，然后执行特征对齐处理，特征对齐处理的过程具体如下所示：
根据下采样操作后的参考特征图像和每张位移图像的特征相似性，确定该位移图像对应的位移参数矩阵；根据所述位移参数矩阵对所述位移图像的特征再次进行位移，得到本次特征对齐处理后的位移图像。
步骤1203、根据执行至少一次下采特征对齐处理后的参考特征图像和位移图像，确定增强图像，对所述增强图像进行至少一次上采样操作，得到上采样操作后的增强图像；
其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和位移图像进行特征融合得到的；基于同样的图像增强处理的实施原理，根据下采特征对齐处理后的参考图像和位移图像，确定增强图像。
步骤1204、执行至少一次图像增强操作，得到本次的增强图像，对本次的增强图像进行至少一次上采样操作，得到上采样操作后的增强图像。
其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
步骤1205、根据上采样操作后的增强图像，重建所述多张原始图像对应的HDR图像。
如图13A所示，本实施例以三张不同曝光度的原始图像为例，提供一种重建HDR图像的网络架构示意图，如图13B所示，基于所述网络架构对本实施例提供的一种重建HDR图像的方法进行具体说明：
步骤1300、获取拍摄场景相同的低曝光图像、中曝光图像和高曝光图像；
步骤1301、将中曝光图像作为参考图像，分别对低曝光图像和高曝光图像进行特征对齐处理，得到对应的低曝光位移图像和高曝光位移图像；
其中特征对齐处理具体包括：
对参考图像进行特征提取得到参考特征图像，对低曝光图像进行特征提取得到低曝光特征图像，对高曝光图像进行特征提取得到高曝光特征图像；
将所述参考特征图像和低曝光特征图像进行合并，得到低曝光的第一合并图像，将所述第一合并图像和低曝光特征图像输入到注意力网络，输出低曝光特征图像的低曝光位移图像；
同理，将所述参考特征图像和高曝光特征图像进行合并，得到高曝光的第一合并图像，将所述第一合并图像和高曝光特征图像输入到注意力网络，输出高曝光特征图像的高曝光位移图像。
步骤1302、将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像输入到特征融合网络，输出融合图像；
其中特征融合网络用于对经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像进行特征融合，得到融合图像；其中特征融合的具体过程如下所示：
将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像进行合并，得到第二合并图像；通过卷积层降低第二合并图像的维度，得到融合图像。
步骤1303、对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像。
其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
步骤1304、将增强图像输入到特征重建网络，输出HDR图像。
其中，特征重建网络用于通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
如图14A所示，本实施例以三张不同曝光度的原始图像为例，提供一种重建HDR图像的网络架构示意图，如图14B所示，基于所述网络架构对本实施例提供的一种重建HDR图像的方法进行具体说明：
步骤1400、获取拍摄场景相同的低曝光图像、中曝光图像和高曝光图像；
步骤1401、将中曝光图像作为参考图像，分别对低曝光图像和高曝光图像进行特征对齐处理，得到对应的低曝光位移图像和高曝光位移图像；
其中特征对齐处理具体包括：
对参考图像进行特征提取得到参考特征图像，对低曝光图像进行特征提取得到低曝光特征图像，对高曝光图像进行特征提取得到高曝光特征图像；
将所述参考特征图像和低曝光特征图像进行合并，得到低曝光的第一合并图像，将所述第一合并图像和低曝光特征图像输入到注意力网络，输出低曝光特征图像的低曝光位移图像；
同理，将所述参考特征图像和高曝光特征图像进行合并，得到高曝光的第一合并图像，将所述第一合并图像和高曝光特征图像输入到注意力网络，输出高曝光特征图像的高曝光位移图像。
步骤1402、将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像都进行下采样操作，分别得到下采样操作后的下采参考特征图像、下采低曝光位移图像和下采高曝光位移图像；
步骤1403、将下采参考特征图像作为参考图像，分别对下采低曝光位移图像和下采高曝光位移图像进行特征对齐处理，得到本次特征对齐处理后的低曝光位移图像和高曝光位移图像；
其中，具体的特征对齐处理过程如下：
对下采参考特征图像、下采低曝光位移图像、下采高曝光位移图像进行特征提取；
将特征提取后的下采参考特征图像和下采低曝光位移图像进行合并，得到下采低曝光的第一合并图像，将所述第一合并图像和下采低曝光位移图像输入到注意力网络，输出下采低曝光位移图像的低曝光位移图像；
同理，将特征提取后的下采参考特征图像和下采高曝光特征图像进行合并，得到下采高曝光的第一合并图像，将所述第一合并图像和下采高曝光特征图像输入到注意力网络，输出下采高曝光特征图像的高曝光位移图像。
步骤1404、将下采参考特征图像、低曝光位移图像和高曝光位移图像输入到特征融合网络，输出融合图像；
其中特征融合网络用于对经过特征提取得到的下采参考特征图像、低曝光位移图像和高曝光位移图像进行特征融合，得到融合图像；其中特征融合的具体过程如下所示：
将下采参考特征图像、低曝光位移图像和高曝光位移图像进行合并，得到第二合并图像；通过卷积层降低第二合并图像的维度，得到融合图像。
步骤1405、对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像。
其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
步骤1406、对增强图像进行上采样操作，得到上采样操作后的增强图像；
步骤1407、将上采样操作后的增强图像输入到特征重建网络，输出HDR图像。
其中，特征重建网络用于通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
如图15A所示，本实施例以三张不同曝光度的原始图像为例，提供一种重建HDR图像的网络架构示意图，如图15B所示，基于所述网络架构对本实施例提供的一种重建HDR图像的方法进行具体说明：
步骤1500、获取拍摄场景相同的低曝光图像、中曝光图像和高曝光图像；
步骤1501、将中曝光图像作为参考图像，分别对低曝光图像和高曝光图像进行特征对齐处理，得到对应的低曝光位移图像和高曝光位移图像；
其中特征对齐处理具体包括：
对参考图像进行特征提取得到参考特征图像，对低曝光图像进行特征提取得到低曝光特征图像，对高曝光图像进行特征提取得到高曝光特征图像；
将所述参考特征图像和低曝光特征图像进行合并，得到低曝光的第一合并图像，将所述第一合并图像和低曝光特征图像输入到注意力网络，输出低曝光特征图像的低曝光位移图像；
同理，将所述参考特征图像和高曝光特征图像进行合并，得到高曝光的第一合并图像，将所述第一合并图像和高曝光特征图像输入到注意力网络，输出高曝光特征图像的高曝光位移图像。
步骤1502、将参考图像经过特征提取得到的参考特征图像、低曝光位移图像和高曝光位移图像都进行下采样操作，分别得到下采样操作后的下采参考特征图像、下采低曝光位移图像和下采高曝光位移图像；
步骤1503、将下采参考特征图像作为参考图像，分别对下采低曝光位移图像和下采高曝光位移图像进行特征对齐处理，得到本次特征对齐处理后的低曝光位移图像和高曝光位移图像；
其中，具体的特征对齐处理过程如下：
对下采参考特征图像、下采低曝光位移图像和下采高曝光位移图像进行特征提取；
将特征提取后的下采参考特征图像和下采低曝光位移图像进行合并，得到下采低曝光的第一合并图像，将所述第一合并图像和下采低曝光位移图像输入到注意力网络，输出下采低曝光位移图像的低曝光位移图像；
同理，将特征提取后的下采参考特征图像和下采高曝光特征图像进行合并，得到下采高曝光的第一合并图像，将所述第一合并图像和下采高曝光特征图像输入到注意力网络，输出下采高曝光特征图像的高曝光位移图像。
步骤1504、将下采参考特征图像、低曝光位移图像和高曝光位移图像再次进行下采样操作，分别得到第一下采参考特征图像、第一下采低曝光位移图像和第一下采高曝光位移图像；
步骤1505、将第一下采参考特征图像作为参考图像，分别对第一下采低曝光位移图像和第一下采高曝光位移图像进行特征对齐处理，得到本次特征对齐处理后的低曝光位移图像和高曝光位移图像；
步骤1506、将第一下采参考特征图像、低曝光位移图像和高曝光位移图像输入到特征融合网络，输出融合图像；
其中特征融合网络用于对第一下采参考特征图像、低曝光位移图像和高曝光位移图像进行特征融合，得到融合图像；其中特征融合的具体过程如下所示：
将第一下采参考特征图像、低曝光位移图像和高曝光位移图像进行合并，得到第二合并图像；通过卷积层降低第二合并图像的维度，得到融合图像。
步骤1507、对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像；对增强图像进行上采样操作，得到上采样操作后的增强图像。
其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
步骤1508、继续对融合图像进行下采样操作得到下采图像，将下采图像输入到图像增强网络输出网络图像，对网络图像进行上采样操作，得到增强图像；对增强图像进行上采样操作，得到上采样操作后的增强图像；
步骤1509、将上采样操作后的增强图像输入到特征重建网络，输出HDR图像。
其中，特征重建网络用于通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
实施例2、基于相同的公开构思，本公开实施例还提供了一种重建HDR图像的终端，由于该终端即是本公开实施例中的方法中的终端，并且该终端解决问题的原理与该方法相似，因此该终端的实施可以参见方法的实施，重复之处不再赘述。
如图16所示，该终端包括处理器1600和存储器1601，所述存储器1601用于存储所述处理器1600可执行的程序，所述处理器1600用于读取所述存储器1601中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，所述处理器1600具体还被配置为执行：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，所述处理器1600具体还被配置为执行：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述处理器1600具体被配置为通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述处理器1600具体被配置为执行：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，所述处理器1600具体还被配置为执行：
在显示器上显示重建的所述HDR图像。
实施例3、基于相同的公开构思，本公开实施例还提供了一种重建HDR图像的电子设备，由于该电子设备即是本公开实施例中的方法中的电子设备，并且该电子设备解决问题的原理与该方法相似，因此该电子设备的实施可以参见方法的实施，重复之处不再赘述。
如图17所示，该电子设备包括摄像单元1700和控制电路1701，其中：
所述摄像单元1700，用于获取不同曝光程度的原始图像；
所述控制电路1701包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，所述处理器具体还被配置为执行：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，所述处理器具体还被配置为执行：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述处理器具体被配置为执行：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述处理器具体被配置为执行：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，所述处理器具体还被配置为执行：
在显示器上显示重建的所述HDR图像。
实施例4、基于相同的公开构思，本公开实施例还提供了一种重建HDR图像的装置，由于该装置即是本公开实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图18所示，该装置包括：
获取图像单元1800，用于获取拍摄场景相同且曝光度不同的多张原始图像；
特征对齐单元1801，用于从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
特征增强单元1802，用于根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
特征重建单元1803，用于根据所述增强图像，重建所述多张原始图像对应的HDR图像。
作为一种可选的实施方式，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，还包括下采对齐处理单元具体用于：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
作为一种可选的实施方式，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，还包括图像增强处理单元具体用于：
执行至少一次图像增强操作，其中每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
作为一种可选的实施方式，所述特征对齐单元1801具体用于：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
作为一种可选的实施方式，所述特征对齐单元1801具体用于：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
作为一种可选的实施方式，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
作为一种可选的实施方式，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
作为一种可选的实施方式，所述特征增强单元1802具体用于通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
作为一种可选的实施方式，所述特征增强单元1802具体用于：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
作为一种可选的实施方式，所述特征增强单元1802具体用于：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
作为一种可选的实施方式，所述特征重建单元1803具体用于：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
作为一种可选的实施方式，所述特征对齐单元1801具体用于：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
作为一种可选的实施方式，所述获取图像单元1800具体用于：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
作为一种可选的实施方式，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还包括显示单元具体用于：
在显示器上显示重建的所述HDR图像。
基于相同的公开构思，本公开实施例还提供了一种非瞬态计算机存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现如下步骤：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上，使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (18)

1.一种重建HDR图像的方法，其中，该方法包括：
获取拍摄场景相同且曝光度不同的多张原始图像；
从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
根据所述增强图像，重建所述多张原始图像对应的HDR图像。
2.根据权利要求1所述的方法，其中，所述得到所述剩余的原始图像的位移图像之后，且根据所述参考图像和剩余的原始图像的位移图像，确定增强图像之前，还包括：
执行至少一次下采特征对齐处理，其中每次下采特征对齐处理执行如下步骤：
对参考特征图像和所述剩余的原始图像的位移图像进行下采样操作，得到下采样操作后的参考特征图像和位移图像；其中所述参考特征图像是对所述参考图像进行特征提取得到的；
根据下采样操作后的参考特征图像，对下采样操作后的所述位移图像进行特征对齐处理，得到本次特征对齐处理后的位移图像。
3.根据权利要求1所述的方法，其中，所述根据所述参考图像和所述位移图像，确定增强图像之后，且根据所述增强图像，重建所述多张原始图像对应的HDR图像之前，还包括：
执行至少一次图像增强操作；
其中，每次图像增强操作执行如下步骤：
将上次确定的增强图像作为本次的参考图像，根据所述本次的参考图像和所述位移图像，确定本次的增强图像。
4.根据权利要求1～3任一所述的方法，其中，所述根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
根据所述参考图像和剩余的每张原始图像的特征相似性，确定所述剩余的原始图像对应的位移参数矩阵；
根据所述位移参数矩阵对所述剩余的原始图像的特征进行位移，得到位移图像。
5.根据权利要求1～3任一所述的方法，其中，所述根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像，包括：
对所述参考图像进行特征提取得到参考特征图像，对每个剩余的原始图像进行特征提取得到原始特征图像；
将所述参考特征图像和每个原始特征图像分别进行合并，得到所述每个原始特征图像对应的第一合并图像；
将所述第一合并图像和对应的原始特征图像输入到注意力网络，输出所述原始特征图像的位移图像。
6.根据权利要求5所述的方法，其中，所述注意力网络用于根据所述第一合并图像确定所述对应的原始特征图像的位移参数矩阵，并利用所述位移参数矩阵对所述对应的原始特征图像的特征进行位移。
7.根据权利要求1所述的方法，其中，所述下采样操作的采样倍数是根据硬件平台的算力确定的。
8.根据权利要求1～3任一所述的方法，其中，通过如下方式确定所述融合图像：
将参考图像经过特征提取得到的参考特征图像和所述剩余的原始图像的位移图像，进行合并得到第二合并图像；
通过卷积层降低所述第二合并图像的维度，得到所述融合图像。
9.根据权利要求1～3任一所述的方法，其中，所述对下采样操作后的融合图像进行图像增强处理，包括：
对融合图像进行下采样操作，得到下采图像；
对所述下采图像进行图像增强处理，其中所述图像增强处理用于对齐下采图像中的相似特征，并对下采像中表征图像细节的特征进行增强。
10.根据权利要求9所述的方法，其中，所述对所述下采图像进行图像增强处理，包括：
将所述下采图像输入到图像增强网络，输出网络图像；其中所述图像增强网络用于对齐下采图像中的相似特征，并对下采图像中表征图像细节的特征进行增强；
对所述网络图像进行上采样操作，得到所述增强图像。
11.根据权利要求1～3任一所述的方法，其中，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像，包括：
通过多个卷积层对所述增强图像进行降维处理，得到所述HDR图像。
12.根据权利要求1～3任一所述的方法，其中，所述从多张原始图像中筛选出的参考图像，包括：
从多张原始图像中，选取曝光度居中的原始图像作为所述参考图像。
13.根据权利要求1～3任一所述的方法，其中，所述获取拍摄场景相同且曝光度不同的多张原始图像，包括：
响应于用户的拍摄指令，针对同一拍摄场景通过摄像组件连续拍摄不同曝光度的所述多张原始图像。
14.根据权利要求1～3任一所述的方法，其中，所述根据所述增强图像，重建所述多张原始图像对应的HDR图像之后，还包括：
在显示器上显示重建的所述HDR图像。
15.一种重建HDR图像的终端，其中，该终端包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如权利要求1～14任一所述方法的步骤。
16.一种重建HDR图像的电子设备，其中，该电子设备包括摄像单元和控制电路，其中：
所述摄像单元用于获取不同曝光程度的原始图像；
所述控制电路包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行权利要求1～14任一所述方法的步骤。
17.一种重建HDR图像的装置，其中，包括：
获取图像单元，用于获取拍摄场景相同且曝光度不同的多张原始图像；
特征对齐单元，用于从多张原始图像中筛选出参考图像，根据所述参考图像对剩余的原始图像进行特征对齐处理，得到所述剩余的原始图像的位移图像；
特征增强单元，用于根据所述参考图像和剩余的原始图像的位移图像，确定增强图像，其中所述增强图像是对下采样操作后的融合图像进行图像增强处理得到的，所述融合图像是对所述参考图像和剩余的原始图像的位移图像进行特征融合得到的；
特征重建单元，用于根据所述增强图像，重建所述多张原始图像对应的HDR图像。
18.一种非瞬态计算机存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1～14任一所述方法的步骤。
CN202210411628.5A 2022-04-19 2022-04-19 一种重建hdr图像的方法、终端及电子设备 Pending CN114581355A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210411628.5A CN114581355A (zh) 2022-04-19 2022-04-19 一种重建hdr图像的方法、终端及电子设备
US18/681,951 US20240338796A1 (en) 2022-04-19 2023-02-17 Method for reconstructing hdr images, terminal, and electronic device
PCT/CN2023/076883 WO2023202200A1 (zh) 2022-04-19 2023-02-17 一种重建hdr图像的方法、终端及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210411628.5A CN114581355A (zh) 2022-04-19 2022-04-19 一种重建hdr图像的方法、终端及电子设备

Publications (1)

Publication Number Publication Date
CN114581355A true CN114581355A (zh) 2022-06-03

Family

ID=81785536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210411628.5A Pending CN114581355A (zh) 2022-04-19 2022-04-19 一种重建hdr图像的方法、终端及电子设备

Country Status (3)

Country Link
US (1) US20240338796A1 (zh)
CN (1) CN114581355A (zh)
WO (1) WO2023202200A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023202200A1 (zh) * 2022-04-19 2023-10-26 京东方科技集团股份有限公司 一种重建hdr图像的方法、终端及电子设备
WO2023246392A1 (zh) * 2022-06-22 2023-12-28 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815546A (zh) * 2020-06-23 2020-10-23 浙江大华技术股份有限公司 图像重建方法以及相关设备、装置
CN112767247A (zh) * 2021-01-13 2021-05-07 京东方科技集团股份有限公司 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN113628134B (zh) * 2021-07-28 2024-06-14 商汤集团有限公司 图像降噪方法及装置、电子设备及存储介质
CN114202457A (zh) * 2021-09-18 2022-03-18 北京旷视科技有限公司 低分辨率图像的处理方法、电子设备及计算机程序产品
CN114581355A (zh) * 2022-04-19 2022-06-03 京东方科技集团股份有限公司 一种重建hdr图像的方法、终端及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023202200A1 (zh) * 2022-04-19 2023-10-26 京东方科技集团股份有限公司 一种重建hdr图像的方法、终端及电子设备
WO2023246392A1 (zh) * 2022-06-22 2023-12-28 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质

Also Published As

Publication number Publication date
US20240338796A1 (en) 2024-10-10
WO2023202200A1 (zh) 2023-10-26

Similar Documents

Publication Publication Date Title
US11055827B2 (en) Image processing apparatus and method
CN111476737B (zh) 一种图像处理方法、智能设备及计算机可读存储介质
US20230080693A1 (en) Image processing method, electronic device and readable storage medium
WO2023202200A1 (zh) 一种重建hdr图像的方法、终端及电子设备
CN113674159A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN111372006B (zh) 一种面向移动端的高动态范围成像方法及系统
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
CN111242860A (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
Chen et al. End-to-end single image enhancement based on a dual network cascade model
CN111383188B (zh) 一种图像处理方法、系统及终端设备
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN110351489B (zh) 生成hdr图像的方法、装置和移动终端
Shao et al. Hybrid conditional deep inverse tone mapping
CN116563190B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN111953888B (zh) 暗光成像方法、装置、计算机可读存储介质及终端设备
Akhil et al. Single Image HDR Synthesis Using a Densely Connected Dilated ConvNet.
CN117455785A (zh) 图像处理方法、装置及终端设备
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN116128707A (zh) 图像处理方法及装置、电子设备、计算可读存储介质
CN113538265A (zh) 图像去噪方法及装置、计算机可读介质、电子设备
Tomaszewska et al. Dynamic scenes HDRI acquisition
US20240155248A1 (en) Method and apparatus for generating high-dynamic-range image, and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination