CN110728648A - 图像融合的方法、装置、电子设备及可读存储介质 - Google Patents

图像融合的方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110728648A
CN110728648A CN201911024851.9A CN201911024851A CN110728648A CN 110728648 A CN110728648 A CN 110728648A CN 201911024851 A CN201911024851 A CN 201911024851A CN 110728648 A CN110728648 A CN 110728648A
Authority
CN
China
Prior art keywords
image
frame
processed
images
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911024851.9A
Other languages
English (en)
Other versions
CN110728648B (zh
Inventor
汪彧之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201911024851.9A priority Critical patent/CN110728648B/zh
Publication of CN110728648A publication Critical patent/CN110728648A/zh
Priority to PCT/CN2020/116487 priority patent/WO2021077963A1/zh
Priority to US17/768,143 priority patent/US20240296534A1/en
Application granted granted Critical
Publication of CN110728648B publication Critical patent/CN110728648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种图像融合的方法、装置、电子设备及可读存储介质。该方法包括：获取同一场景下的至少两张待处理RAW图像；将至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个补充帧与参考帧之间的亮度关系；针对每个补充帧，基于亮度关系，对补充帧中像素的亮度进行线性调整，得到调整后的补充帧；对调整后的各补充帧以及参考帧进行融合，得到融合图像。本申请实施例，由于调整后的各补充帧是基于参考帧的亮度调整的，因此调整后的各补充帧的亮度与参考帧的亮度之间的差异可以进一步减小，进而可以有效地解决了因图像中存在多种亮度，导致最终得到的图像容易出现亮度过渡不自然的问题。

Description

图像融合的方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，本发明涉及一种图像融合的方法、装置、电子设备及可读存储介质。
背景技术
多曝光高动态范围(HDR，High-Dynamic Range)合成是指相机同时或连续拍摄一组多种曝光参数的图像，典型拍摄策略是拍摄一张过度曝光的图像、一张欠曝光的图像、一张正常曝光的图像，然后通过算法对拍摄的多张图像进行融合后得到一张动态范围更广的图像。
但是在实际应用中，在对多种曝光图像进行融合时，由于待融合的图像中存在多种亮度的图像信息，因此，最终融合得到的图像很容易出现亮度过渡不自然的现象。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是最终融合得到的图像很容易出现亮度过渡不自然现象的技术缺陷。
第一方面，提供了一种图像融合的方法，该方法包括：
获取同一场景下的至少两张待处理RAW图像；
将至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个补充帧与参考帧之间的亮度关系；
针对每个补充帧，基于亮度关系，对补充帧中像素的亮度进行线性调整，得到调整后的补充帧；
对调整后的各补充帧以及参考帧进行融合，得到融合图像。
第一方面可选的实施例中，该方法还包括：
获取每个待处理RAW图像的权重特征图，其中，权重特征图包括待处理RAW图像中每个像素的权重值；
对调整后的各补充帧以及参考帧进行图像融合，包括：
基于每个待处理RAW图像的权重特征图，对调整后的各补充帧和参考帧进行融合。
第一方面可选的实施例中，当待处理RAW图像为高动态范围图像时，获取每个待处理RAW图像的权重特征图，包括：
将各待处理RAW图像分别转换为低动态范围图像，得到各转换后的待处理RAW图像；
将每个转换后的待处理RAW图像分别输入至神经网络，得到每个待处理RAW图像的权重特征图。
第一方面可选的实施例中，神经网络是通过下列方式训练得到的：
获取训练样本集，训练样本集包括对应于至少一个场景的训练图像，每个场景的训练图像为至少两张图像，对于每个场景的至少两张图像，将其中的一张图像作为样本参考帧，其它图像作为样本补充帧；
对各训练图像分别进行线性亮度变换，得到各变换后的训练图像，并基于各变换后的训练图像对初始网络进行训练，直至初始网络的损失函数收敛，将损失函数收敛时的初始网络确定为神经网络；
其中，初始网络是以图像为输入，以图像的权重特征图为输出的神经网络，损失函数表征了对应于同一场景的样本融合图像与样本参考帧的误差，样本融合图像是根据对应于同一场景的各训练图像的权重特征图，对各变换后的训练图像进行融合得到的。
第一方面可选的实施例中，获取训练样本集，包括：
获取初始训练样本集，初始训练样本集包括对应于至少一个场景的初始图像，每个场景的初始图像为至少两张图像；
当初始图像为低动态范围图像时，则将初始图像作为每个场景的训练图像；
当初始图像为高动态范围图像时，则将各初始图像分别转换为各初始图像对应的低动态范围图像；
将每个场景的各初始图像对应的低动态范围图像作为每个场景的训练图像。
第一方面可选的实施例中，分别确定每个补充帧与参考帧之间的亮度关系，包括：
获取每张待处理RAW图像的曝光参数；
针对于每一补充帧，根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系。
第一方面可选的实施例中，曝光参数包括光圈大小、快门时间和传感器增益；
根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系，包括：
确定补充帧与参考帧对应于各曝光参数的关联关系；
根据补充帧与参考帧对应于各曝光参数的关联关系，确定补充帧与参考帧之间的亮度关系。
第一方面可选的实施例中，若曝光参数为光圈大小，关联关系为补充帧的光圈大小的平方值与参考帧的光圈大小的平方值的比值；
若曝光参数为快门时间，关联关系为参考帧的快门时间与补充帧的快门时间的比值；
若曝光参数为传感器增益，关联关系为补充帧的传感器增益与参考帧的传感器增益的比值。
第一方面可选的实施例中，分别确定每个补充帧与参考帧之间的亮度关系，包括：
基于参考帧中每个像素的亮度，确定权重掩膜；
基于权重掩膜，分别对各待处理RAW图像中各像素的亮度进行调整；
对于每个待处理RAW图像，基于调整后的待处理RAW图像各像素的亮度，确定待处理RAW图像的亮度；
针对每个补充帧，基于补充帧的亮度与参考帧的亮度，确定补充帧与参考帧之间的亮度关系。
第二方面，提供了一种图像融合的装置，该装置包括：
图像获取模块，用于获取同一场景下的至少两张待处理RAW图像；
亮度关系确定模块，用于将至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个补充帧与参考帧之间的亮度关系；
亮度调整模块，用于针对每个补充帧，基于亮度关系，对补充帧中像素的亮度进行线性调整，得到调整后的补充帧；
图像融合模块，用于对调整后的各补充帧以及参考帧进行融合，得到融合图像。
第二方面可选的实施例中，该装置还包括权重特征图获取模块，具体用于：
获取每个待处理RAW图像的权重特征图，其中，权重特征图包括待处理RAW图像中每个像素的权重值；
图像融合模块在对调整后的各补充帧以及参考帧进行图像融合时，具体用于：
基于每个待处理RAW图像的权重特征图，对调整后的各补充帧和参考帧进行融合。
第二方面可选的实施例中，权重特征图获取模块在获取每个待处理RAW图像的权重特征图时，具体用于：
在待处理RAW图像为高动态范围图像时，将各待处理RAW图像分别转换为低动态范围图像，得到各转换后的待处理RAW图像；
将每个转换后的待处理RAW图像分别输入至神经网络，得到每个待处理RAW图像的权重特征图。
第二方面可选的实施例中，该装置还包括训练模块，其中，训练模块通过下列方式训练得到神经网络：
获取训练样本集，训练样本集包括对应于至少一个场景的训练图像，每个场景的训练图像为至少两张图像，对于每个场景的至少两张图像，将其中的一张图像作为样本参考帧，其它图像作为样本补充帧；
对各训练图像分别进行线性亮度变换，得到各变换后的训练图像，并基于各变换后的训练图像对初始网络进行训练，直至初始网络的损失函数收敛，将损失函数收敛时的初始网络确定为神经网络；
其中，初始网络是以图像为输入，以图像的权重特征图为输出的神经网络，损失函数表征了对应于同一场景的样本融合图像与样本参考帧的误差，样本融合图像是根据对应于同一场景的各训练图像的权重特征图，对各变换后的训练图像进行融合得到的。
第二方面可选的实施例中，训练模块在获取训练样本集时，具体用于：
获取初始训练样本集，初始训练样本集包括对应于至少一个场景的初始图像，每个场景的初始图像为至少两张图像；
当初始图像为低动态范围图像时，则将初始图像作为每个场景的训练图像；
当初始图像为高动态范围图像时，则将各初始图像分别转换为各初始图像对应的低动态范围图像；
将每个场景的各初始图像对应的低动态范围图像作为每个场景的训练图像。
第二方面可选的实施例中，亮度关系确定模块在分别确定每个补充帧与参考帧之间的亮度关系时，具体用于：
获取每张待处理RAW图像的曝光参数；
针对于每一补充帧，根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系。
第二方面可选的实施例中，曝光参数包括光圈大小、快门时间和传感器增益；
根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系，包括：
确定补充帧与参考帧对应于各曝光参数的关联关系；
根据补充帧与参考帧对应于各曝光参数的关联关系，确定补充帧与参考帧之间的亮度关系。
第二方面可选的实施例中，若曝光参数为光圈大小，关联关系为补充帧的光圈大小的平方值与参考帧的光圈大小的平方值的比值；
若曝光参数为快门时间，关联关系为参考帧的快门时间与补充帧的快门时间的比值；
若曝光参数为传感器增益，关联关系为补充帧的传感器增益与参考帧的传感器增益的比值。
第二方面可选的实施例中，亮度关系确定模块在分别确定每个补充帧与参考帧之间的亮度关系时，具体用于：
基于参考帧中每个像素的亮度，确定权重掩膜；
基于权重掩膜，分别对各待处理RAW图像中各像素的亮度进行调整；
对于每个待处理RAW图像，基于调整后的待处理RAW图像各像素的亮度，确定待处理RAW图像的亮度；
针对每个补充帧，基于补充帧的亮度与参考帧的亮度，确定补充帧与参考帧之间的亮度关系。
第三方面，提供了一种电子设备，该电子设备包括：
处理器以及存储器，该储器被配置用于存储机器可读指令，该指令在由该处理器执行时，使得该处理器执行第一方面中的任一项方法。
第四方面，提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中的任一项方法。
本申请实施例提供的技术方案带来的有益效果是：
在本申请实施例中，在获取到待处理RAW图像后，可以基于每个补充帧与参考帧之间的亮度关系，分别对各补充帧的亮度进行线性调整，并对调整后的各补充帧以及参考帧进行融合，进而得到融合图像。在本申请实施例中由于待处理RAW图像具备线性亮度关系，进而可以通过参考帧的亮度对各补充帧进行线性亮度变换，使得调整后的各补充帧的亮度与参考帧的亮度之间的差异可以进一步减小，处理后的各待处理RAW图像中的亮度几乎相等，并且得到的融合图像的图像数值与实际物体亮度仍保留线性关系，进而可以有效地解决了因图像中存在多种亮度，导致最终得到的图像容易出现亮度过渡不自然的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种图像融合的方法的流程示意图；
图2a为本申请实施例提供的一种参考帧的示意图；
图2b为本申请实施例提供的一种权重掩膜的示意图；
图3a为本申请实施例提供的一种待处理RAW图像的示意图；
图3b为本申请实施例提供的另一种待处理RAW图像的示意图；
图4为本申请实施例提供的一种图像融合的方法的完整流程示意图；
图5为本申请实施例提供的一种图像融合的装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种图像融合的方法，如图1所示，该方法包括：
步骤S101，获取同一场景下的至少两张待处理RAW图像。
其中，RAW图像也称为原始图像，是数码相机、扫描仪、终端摄像头等装置的图像传感器将捕捉到的光源信号转化为数字信号的原始数据。在实际应用中，RAW图像不会因为图像处理(如锐化、增加色彩对比等)和压缩而造成信息丢失，各RAW图像之间具备线性亮度关系。也就是说，当视频中的帧图像为RAW图像时，视频中相邻帧图像之间具备线性亮度关系。同一场景下的待处理RAW图像指的是不同待处理RAW图像中的图像内容基本相同，即各待处理RAW图像之间的图像内容的差异度小于一定阈值，也就是图像中画面的差异度满足预设条件。例如，用户在同一地点，同一姿势拍摄两张RAW图像，则该两张RAW图像只是拍摄时间不同，但是所包括的图像内容几乎完全相同(图像中画面的差异度满足预设条件)，此时该两张RAW图像即为同一场景下的图像。其中，获取同一场景下的待处理RAW图像的方式，本申请实施例不做限定，如可以是将同一视频中的若干相邻帧作为待处理RAW图像，或者将图像采集间隔小于设定间隔的图像作为待处理RAW图像，如可以将通过连拍方式得到的图像作为待处理RAW图像。
步骤S102，将至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个补充帧与参考帧之间的亮度关系。
其中，从待处理RAW图像中选取参考帧的方式，本申请实施例不做限定，如可以任选待处理RAW图像中的一张图像作为参考帧，还可以设置条件来确定参考帧。如当待处理RAW图像的曝光参数满足设定条件时，将该待处理RAW图像作为参考帧。例如，设定条件可以是曝光参数在特定范围内，若存在多张待处理RAW图像的曝光参数为特定的范围，则可以选取满足条件的任一帧作为参考帧，或者选取曝光参数与预设参数最接近的待处理RAW图像作为参考帧。进一步的，在选取一帧满足设定条件的图像作为参考帧后，可以将其它待处理RAW图像作为补充帧。
在一示例中，假如获取的待处理RAW图像包括图像1、图像2、……、和图像10，选择参考帧的设定条件为图像的曝光参数满足设定条件。其中，仅图像2的曝光参数满足设定条件，则将仅图像2作为参考帧，图像1、图像3、……、和图像10作为补充帧。
进一步的，在实际应用中，图像的图像信息中可以包括亮度，进而在确定出参考帧和补充帧后，还可以分别确定每个补充帧与参考帧之间的亮度关系。
其中，亮度关系可以采用多种方式表示，如可以采用比例的方式表示每个补充帧与参考帧之间的亮度关系，如当补充帧的亮度与参考帧的亮度相同时，该补充帧与参考帧之间的亮度关系为1:1时；当补充帧的亮度为参考帧的亮度的1/2时，该补充帧与参考帧之间的亮度关系为1:2。
步骤S103，针对每个补充帧，基于亮度关系，对补充帧中像素的亮度进行线性调整，得到调整后的补充帧。
在实际应用中，在确定出每个补充帧与参考帧之间的亮度关系后，可以根据每个补充帧与参考帧之间的亮度关系，分别对每个补充帧中像素的亮度进行线性调整，得到调整后的补充帧。其中，调整的具体实现方式本申请实施例不做限定。
在一示例中，假如补充帧包括补充帧1和补充帧2，且补充帧1与参考帧之间的亮度关系为1:4，补充帧2与参考帧之间的亮度关系为1:2；进一步，可以基于补充帧1与参考帧之间的亮度关系对补充帧1中的像素的亮度进行线性调整，如将补充帧1中的像素的亮度均乘4，得到调整后的补充帧1。基于补充帧2与参考帧之间的亮度关系对补充帧2中的像素的亮度进行线性调整，如将补充帧2中的像素的亮度均乘2，得到调整后的补充帧2。
步骤S104，对调整后的各补充帧以及参考帧进行融合，得到融合图像。
其中，在对调整后的各补充帧以及参考帧进行融合时，调整后的各补充帧和参考帧的图像大小是相同的，若存在大小不相同的图像，可以对该大小不同的图像进行处理，以使所有图像的大小是相同的。在实际应用中，若获取到待处理RAW图像时，即存在大小不相同的图像，也可以先对该大小不相同的图像进行预处理，再进行后续步骤。其中，处理图像大小的方式本申请实施例不做限定。
在实际应用中，在对各补充帧进行调整后，可以对调整后的各补充帧以及参考帧进行融合，得到融合图像。其中，具体的融合方式本申请实施例不做限定。
在本申请实施例中可以通过参考帧的亮度对各补充帧进行线性亮度变换，使得调整后的各补充帧的亮度与参考帧的亮度之间的差异可以进一步减小，以使处理后的各待处理RAW图像中的亮度几乎相等，进而可以有效地解决了因图像中存在多种亮度，导致最终得到的图像容易出现亮度过渡不自然的问题，并且保证了得到的融合图像的图像数值与实际物体亮度仍保留线性关系。
在本申请可选的实施中，该方法还包括：
获取每个待处理RAW图像的权重特征图，其中，权重特征图包括待处理RAW图像中每个像素的权重值；
对调整后的各补充帧以及参考帧进行图像融合，得到融合图像，包括：
基于每个待处理RAW图像的权重特征图，对调整后的各补充帧和参考帧进行融合，得到融合图像。
其中，权重特征图用于表征每个待处理RAW图像中每个像素的取值，即通过每个待处理RAW图像的权重特征图即可获知待处理RAW图像中的每个像素的权重，而获取每个待处理RAW图像的权重特征图时，可以将每个待处理RAW图像的权重特征图分别输入至神经网络，得到每个待处理RAW图像的权重特征图。
进一步的，在对图像进行融合时，可以根据每个待处理RAW图像对应的权重特征图，对各待处理RAW图像进行融合，得到融合图像。其中，具体的融合方式本申请实施例不做限定，如可以Alpha融合、金字塔融合、梯度融合等方式。
在一示例中，待处理RAW图像包括参考帧、补充帧1和补充帧2，可以分别将参考帧、补充帧1和补充帧2分别输入至神经网络，分别得到参考帧的权重特征图，补充帧1的权重特征图和补充帧2的权重特征图。进一步的，可以确定补充帧1与参考帧之间的亮度关系，以及补充帧2与参考帧之间的亮度关系，并基于补充帧1与参考帧之间的亮度关系对补充帧1中像素的亮度进行调整，得到调整后的补充帧1，基于补充帧2与参考帧之间的亮度关系对补充帧2中像素的亮度进行调整，得到调整后的补充帧2；然后，可以根据参考帧的权重特征图、补充帧1的权重特征图、补充帧2的权重特征图对参考帧、调整后的补充帧1和调整后的补充帧2进行融合。
在实际生活中，由于若同时获得多种曝光参数的图像，则图像中的运动物体可能在不同图像上会处于不同位置，这样融合出的图像中，运动物体可能出现半透明的伪像，也称为“鬼影”。在本申请实施例中，由于权重特征图来自于神经网络的语义识别，对于运动区域等传统方法难以判断和处理的区域能给出合理的权重，进而可以使得融合得到的图像无“鬼影”。
在本申请可选的实施中，神经网络是通过下列方式训练得到的：
获取训练样本集，训练样本集包括对应于至少一个场景的训练图像，每个场景的训练图像为至少两张图像，对于每个场景的至少两张图像，将其中的一张图像作为样本参考帧，其它图像作为样本补充帧；
对各训练图像分别进行线性亮度变换，得到各变换后的训练图像，并基于各变换后的训练图像对初始网络进行训练，直至初始网络的损失函数收敛，将损失函数收敛时的初始网络确定为神经网络；
其中，初始网络是以图像为输入，以图像的权重特征图为输出的神经网络，损失函数表征了对应于同一场景的样本融合图像与样本参考帧的误差，样本融合图像是根据对应于同一场景的各训练图像的权重特征图，对各变换后的训练图像进行融合得到的。
其中，初始网络可以为全卷积神经网络(Fully Convolutional Neural Network，FCN)、卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep NeuralNetwork，DNN)等，本申请实施例对初始网络的类型不作限定。另外，初始网络的网络结构可以根据计算机视觉任务设计，或者，初始网络的网络结构可以采用现有的网络结构的至少一部分，例如：深度残差网络(Deep Residual Network，ResNet)或密集卷积网络(DenseConvolutional Network，DenseNet)等，本申请实施例对初始网络的网络结构不作限定。下面以初始网络为全卷积神经网络为例，对本申请实施例进行说明。
训练样本集中的训练图像是用于训练神经网络的样本数据，该训练样本集中的训练图像至少对应于一个场景，并且每个场景的训练图像为至少两张图像，对于每个场景下的图像，选取其中的一张图像作为样本参考帧，将其它图像作为样本补充帧。其中，选取样本参考帧的方式，本申请实施例不做限定，如可以从训练图像中任选一张作为样本参考帧，也可以当训练图像的图像信息满意设定条件时，将该训练图像作为样本参考帧，并且获取同一场景下的训练图像的方式，本申请实施例不做限定，如可以选取同一视频中的若干相邻帧作为同一场景下的训练图像。
相应的，可以对各训练图像分别进行线性亮度变换，得到各变换后的训练图像，并通过各变换后的训练图像对获取到的初始网络进行训练，当初始网络的损失函数收敛时，将损失函数收敛时的初始网络确定为神经网络。其中，该初始网络是以图像为输入，以图像的权重特征图为输出的全卷积神经网络，线性亮度变换可以将训练图像转为动态范围减小的图像。
在训练过程中，可以将训练样本集中的训练图像分别输入至初始网络，得到每个训练图像的权重特征图，针对每一场景下的训练图像，根据输出的该场景下的训练图像的权重特征图，对该场景下的各变换后的训练图像进行融合得到样本融合图像。并判断得到样本融合图像和该场景下的样本参考帧之间的误差是否满足条件(判断根据样本融合图像和该场景下的样本参考帧所得到的损失函数值是否收敛)。若不满足条件，则调整初始网络中的参数，再次将训练样本集中的训练图像分别输入至初始网络，得到每个训练图像的权重特征图，针对每一场景下的训练图像，再次根据输出的该场景下的训练图像的权重特征图，对该场景下的各变换后的训练图像进行融合得到样本融合图像，并判断当前得到的样本融合图像和该场景下的参考帧之间的误差是否满足条件。若不满足，则再次基于训练样本集中的训练图像对该初始网络进行训练，直至对应于同一场景的样本融合图像与该场景的样本参考帧的误差满足条件。
在本申请可选的实施中，获取训练样本集，包括：
获取初始训练样本集，初始训练样本集包括对应于至少一个场景的初始图像，每个场景的初始图像为至少两张图像；
当初始图像为低动态范围图像时，则将初始图像作为每个场景的训练图像；
当初始图像为高动态范围图像时，则将各初始图像分别转换为各初始图像对应的低动态范围图像；
将每个场景的各初始图像对应的低动态范围图像作为每个场景的训练图像。
在实际应用中，可以获取初始训练样本集，该初始训练样本集中的初始训练图像也至少对应于一个场景，并且每个场景的初始图像为也至少两张图像。其中，若所获取到的初始图像为低动态范围图像，此时可以直接将获取到的初始体图像直接作为训练样本集中的训练图像；若所获取到的初始图像为高动态范围图像，还可以将各高动态范围图像，分别转换为对应的低动态范围图像，然后将每个场景的各高动态范围图像对应的低动态范围图像作为每个场景的训练图像。其中，将高动态范围图像转换为低动态范围图像的方式本申请实施例不做限定。
在本申请实施例中，在将高动态范围图像转为低动态范围图像后，再基于神经网络得到对应的权重特征图，可以进一步的对于运动区域等传统方法难以判断和处理的区域能给出合理的权重，进而可以使得融合得到的图像无“鬼影”。
在本申请可选的实施中，当待处理RAW图像为高动态范围图像时，获取每个待处理RAW图像的权重特征图，包括：
将各待处理RAW图像分别转换为低动态范围图像，得到各转换后的待处理RAW图像，并将每个转换后的待处理RAW图像分别输入至神经网络，得到每个待处理RAW图像的权重特征图。
在实际应用中，由于神经网络是基于训练样本集中的训练图像训练得到，而训练样本集中的训练图像是低动态范围图像，也就是说，训练得到的神经网络所输入图像也为低动态范围图像。进一步的，若所获取到的待处理RAW图像为高动态范围图像，此时可以将待处理RAW图像分别转换为低动态范围图像后，再将各转换后的待处理RAW图像分别输入至神经网络，得到每个待处理RAW图像的权重特征图。
进一步的，对于每一补充帧，可以基于确定的该补充帧与参考帧的亮度关系，对转换后的该补充帧中像素的亮度进行调整，得到调整后的补充帧；然后，基于输出的每个待处理RAW图像的权重特征图，对调整后的各补充帧以及转换后的参考帧进行融合，得到融合图像。
在本申请可选的实施中，分别确定每个补充帧与参考帧之间的亮度关系，包括：
获取每张待处理RAW图像的曝光参数；
针对于每一补充帧，根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系。
在实际应用中，可以存在多种方式确定每个补充帧与参考帧之间的亮度关系，作为一种可选的方式为：可以获取每张待处理RAW图像的曝光参数，该曝光参数指的是拍摄每张待处理RAW图像时的曝光参数，也就是说，若拍摄不同待处理RAW图像时设置的曝光参数不同，不同待处理RAW图像的曝光参数是不同的。其中，获取每张待处理RAW图像的曝光参数的方式，本申请实施例不做限定，如可以通过获取曝光参数的算法获取每张待处理RAW图像的曝光参数。
进一步的，在确定每个补充帧与参考帧之间的亮度关系时，对于每一补充帧，可以根据获取到的该补充帧的曝光参数与参考帧的曝光参数，得到该补充帧与参考帧之间的亮度关系。
在本申请可选的实施中，曝光参数包括光圈大小、快门时间和传感器增益；
根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系，包括：
确定补充帧与参考帧对应于各曝光参数的关联关系；
根据补充帧与参考帧对应于各曝光参数的关联关系，确定补充帧与参考帧之间的亮度关系。
在实际应用中，每个待处理RAW图像的曝光参数可以包括拍摄该待处理RAW图像时所设置的光圈大小、快门时间和传感器增益等。进一步的，对于每一补充帧，可以确定出该补充帧与参考帧对应于每一种曝光参数的关联关系，即对于每一补充帧，可以存在该补充帧的光圈大小与参考帧的光圈大小之间的关联关系、该补充帧的传感器增益与参考帧的传感器增益之间的关联关系、以及该补充帧的快门时间与参考帧的快门时间之间的关联关系。其中，各曝光参数的关联关系的表示方式，本申请实施例不做限定。如可以采用比例的方式表示，此时补充帧与参考帧对应于光圈大小的关联关系可以表示为R_{光圈大小}，补充帧与参考帧对应于光圈大小的关联关系可以表示为R_{快门时间}，补充帧与参考帧对应于光圈大小的关联关系可以表示为R_{传感器增益}。
相应的，对于每一补充帧，可以根据该补充帧与参考帧对应于每一种曝光参数的关联关系，确定出该补充帧与参考帧之间的亮度关系。其中，根据补充帧与参考帧对应于各曝光参数的关联关系，确定补充帧与参考帧之间的亮度关系的具体实现方式，本申请实施例不做限定。
在本申请的可选实施例中，若曝光参数为光圈大小，关联关系为补充帧的光圈大小的平方值与参考帧的光圈大小的平方值的比值；
若曝光参数为快门时间，关联关系为参考帧的快门时间与补充帧的快门时间的比值；
若曝光参数为传感器增益，关联关系为补充帧的传感器增益与参考帧的传感器增益的比值。
在实际应用中，若各曝光参数的关联关系采用了比值的方式表示，作为一种选的方式，可以将补充帧与参考帧对应于各曝光参数的关联关系的乘积作为补充帧与参考帧之间的亮度关系。
在一示例中，假如存在参考帧a和补充帧b，参考帧a的光圈大小用fa表示、快门时间用sa表示、传感器增益用ga表示，补充帧b的光圈大小用fb表示、快门时间用sb表示、传感器增益用gb表示；此时，对于补充帧b，补充帧b与参考帧a对应于光圈大小的关联关系为R_{光圈大小}(fa，fb)＝(fb)2/(fa)2，补充帧b与参考帧a对应于光圈大小的关联关系为R_{快门时间}(sa,sb)＝sa/sb，补充帧b与参考帧a对应于光圈大小的关联关系为R_{传感器增益}(ga,gb)＝gb/ga，此时补充帧b与参考帧a之间的亮度关系可以为Ratio(a,b)＝R_{光圈大小}*R_{快门时间}*R_{传感器增益}。
在本申请可选的实施中，分别确定每个补充帧与参考帧之间的亮度关系，还包括：
基于参考帧中每个像素的亮度，确定权重掩膜(mask)；
基于权重掩膜，分别对各待处理RAW图像中各像素的亮度进行调整；
对于每个待处理RAW图像，基于调整后的待处理RAW图像各像素的亮度，确定待处理RAW图像的亮度；
针对每一补充帧，基于补充帧的亮度与参考帧的亮度，确定补充帧与参考帧之间的亮度关系。
在实际应用中，若参考帧中像素的亮度满足预设条件，则权重mask中对应像素的像素值为1，若参考帧中像素的亮度不满足预设条件，则权重mask中对应像素的像素值为0。
其中，掩膜(即mask)指的是对预先制作的包含感兴趣区域的图像，可以使用mask对待处理的图像全部或局部进行遮挡，使其不参加处理或仅对屏蔽区做处理。其中，在本申请实施例中的mask中可以包括各待处理RAW图像中相对应的像素的亮度权重，因此将mask称为权重mask。
在实际应用中，若无法获取各待处理RAW图像的曝光参数，还可以根据参考帧中每个像素的亮度确定权重mask。其中，权重mask中包括各待处理RAW图像中相对应的像素的亮度权重，当参考帧中的像素的亮度满足预设条件时，权重mask中对应该像素的像素值为1，若参考帧中像素的亮度不满足预设条件，则权重mask中对应该像素的像素值为0。其中，预设条件本申请实施例不做限定，如可以是像素的亮度处于预设饱和值的20％至80％(包括20％和80％)之间。
在一示例中，如图2a所示，假如参考帧的像素尺寸为2*2(包括4个像素)的图像，其中，第1个像素与第4个像素的亮度处于预设饱和值的20％至80％之间，此时如图2b所示，权重mask中对应于第1个像素与第4个像素的像素值为1，对应于第2个像素与第3个像素的像素值为0。
进一步的，可以根据权重mask对每个待处理RAW图像中的各像素的亮度进行调整，即将待处理RAW图像中的各像素的亮度与权重mask进行位运算，当待处理RAW图像中的像素对应于权重mask中像素值为1的位置时，待处理RAW图像中的该像素的亮度保持原值，当待处理RAW图像中的像素对应于权重mask中像素值为0的位置时，待处理RAW图像中的该像素的亮度为0。
在一示例中，如图3a所示，假如待处理RAW图像的像素尺寸为2*2(包括4个像素)的图像，其中，第1个像素与第4个像素的亮度为50，第2个像素与第3个像素的亮度为100，并且权重mask如图2b所示；进一步的，由于待处理RAW图像中的第1个像素与第4个像素对应于权重mask中像素值为1的像素，待处理RAW图像中的第1个像素与第4个像素的亮度保持原值(即50)，而第2个像素与第3个像素对应于权重mask中像素值为0的像素，则待处理RAW图像中的第2个像素与第3个像素的亮度为0，此时得到的调整后的待处理RAW图像中各像素的亮度如图3b所示。
进一步的，对于每个待处理RAW图像，可以基于调整后的该待处理RAW图像中各像素的亮度，确定该待处理RAW图像的亮度。其中，确定待处理RAW图像的亮度的具体实现方式，本申请实施例不做限定，如可以采用调整后的像素的亮度加权平均的方式确定待处理RAW图像的亮度，具体公式如下所示：
L(X)＝average(X*mask)
其中，L(X)表示待处理RAW图像的亮度，X表示待处理RAW图像X，mask表示权重mask，X*mask表示基于权重mask对待处理RAW图像X中每个像素的亮度进行调整，得到待处理RAW图像X中每个像素调整后的亮度，然后对待处理RAW图像X中每个像素调整后的亮度进行加法运算，average(X*mask)表示将待处理RAW图像X中每个像素调整后的亮度进行平均运算。
在一示例中，假如待处理RAW图像G为2*2(包括4个像素)的图像，其中，第1个像素与第4个像的素调整后的亮度为50，第2个像素与第3个像素调整后的亮度为0，此时，待处理RAW图像G的亮度为L(G)＝(50+50+0+0)/4＝25。
相应的，针对每一补充帧，可以基于确定的补充帧的亮度与确定的参考帧的亮度，确定补充帧与参考帧之间的亮度关系。其中，如何确定亮度关系本申请实施例不做限定，如可以将每个补充帧与参考帧之间的比例关系直接作为每个补充帧与参考帧之间的亮度关系。例如，补充帧的亮度为50，参考帧的亮度为100，此时，该补充帧与参考帧之间的比例关系为1:2，则该补充帧与参考帧之间的亮度关系即为1:2。
如图4所示，下面结合具体应用场景对本申请实施例所提供的方案进行详细描述。
用单反相机、高动态工业相机等具有高动态RAW图像输出能力的设备拍摄1000段以上HDR视频，其中，对每一段HDR视频对应于一个场景，从每一段HDR视频中随机抽取邻近的若干帧图像(F1、F2、……、Fn)作为同一场景下的初始训练图像，从F1、F2、……、Fn中选取F1作为样本参考帧；进一步的，将若干帧图像(F1、F2、……、Fn)分别进行线性亮度变换，得到n帧低动态范围图像(LF1、LF2、……、LFn)，将n帧低动态范围图像(F1、F2、……、Fn)分别进行亮度变换逆变换，得到n帧待融合图像(FF1、FF2、……、FFn)。
进一步的，设计一个编码器-解码器(Encoder-Decoder)结构的全卷积神经网络，将到n帧低动态范围图像(LF1、LF2、……、LFn)分别输入至全卷积神经网络，输出n帧尺寸与(LF1、LF2、……、LFn)相同的权重特征图(W1,W2,...,Wn)，再根据输出的权重特征图对待融合图像(FF1、FF2、……、FFn)进行融合处理，得到融合图像Y(即Y＝FF1*W1+FF2*W2+...+FFn*Wn)，并基于对应于各场景的Y和各场景的参考帧计算误差损失函数值，当损失函数收敛的数量达到阈值时训练完成，得到本申请实施例中所描述的神经网络。
进一步的，获取N张待处理RAW图像，且N张待处理RAW图像为低动态范围图像(若N张待处理RAW图像为高动态范围图像，则将N张待处理RAW图像分别转换为低动态范围图像)，将N张待处理RAW图像分别输入至神经网络，得到对应于各待处理RAW图像的权重特征图(权重特征图1、权重特征图2、……、和权重特征图N)；在N张待处理RAW图像中选取曝光参数满足设定要求的一张待处理RAW图像作为参考帧，其它待处理RAW图像作为补充帧(即补充帧1、……、和补充帧N-1)；确定各补充帧与参考帧之间的亮度关系，并基于确定的补充帧与参考帧之间的亮度关系，对各补充帧的像素的亮度进行调整，得到各调整后的补充帧(即调整后的补充帧1、……、和调整后的补充帧N-1)；基于每个待处理RAW图像的权重特征图，对各调整后的补充帧以及参考帧进行融合，得到融合图像。
下面结合图像融合的系统对本申请实施例提供的方案进行描述，该图像融合的系统中可以包括RAW采集模块、神经网络模块、软件融合模块和后处理模块。
其中，RAW采集模块通过操作系统和驱动提供的接口与传感器通信来下发曝光策略(即采用哪些曝光参数变化拍摄待处理RAW图像)，并获取不同曝光参数的待处理RAW图像，然后将不同曝光参数的待处理RAW图像输入给神经网络模块(该神经网络模块可运行在CPU(central processing unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)、NPU(neural-network process units，网络处理器)、DSP(digital signalprocessing，数字信号处理器)等硬件上)，得到各待处理RAW图像的权重特征图，再由软件融合模块对各待处理RAW图像进行融合处理，得到融合图像(即得到高动态范围的RAW图像)，并将得到的融合图像输入给后处理模块，得到可视化图像。
在实际应用中，实现该图像融合的系统时可以包括传感器接口、内存接口、神经网络加速器、融合处理模、块ISP(Image Signal Processing，图像信号处理)接口或后处理模块。其中，传感器接口用于与图像传感器进行数据通信，其通信接口可以是直接通信，也可以是通过内存接口进行间接通信；在获得多帧不同曝光参数的待处理RAW图像后，将多帧不同曝光参数的待处理RAW图像输入给神经网络加速器得到各待处理RAW图像权重特征图，再将各待处理RAW图像和各待处理RAW图像权重特征图输入给融合处理模块，得到高动态范围的RAW图像，并通过ISP接口输入给ISP，或输入给后处理模块进行续处理，得到可视化图像。
图5为本申请实施例提供的一种图像融合的装置的结构示意图，如图5所示，该装置图像融合的装置60可以包括：图像获取模块601、亮度关系确定模块602、亮度调整模块603和图像融合模块604，其中：
图像获取模块601，用于获取同一场景下的至少两张待处理RAW图像；
亮度关系确定模块602，用于将至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个补充帧与参考帧之间的亮度关系；
亮度调整模块603，用于针对每个补充帧，基于亮度关系，对补充帧中像素的亮度进行线性调整，得到调整后的补充帧；
图像融合模块604，用于对调整后的各补充帧以及参考帧进行融合，得到融合图像。
本申请可选的实施例中，该装置还包括权重特征图获取模块605，具体用于：
获取每个待处理RAW图像分别的权重特征图，其中，权重特征图包括待处理RAW图像中每个像素的权重值；
图像融合模块在对调整后的各补充帧以及参考帧进行图像融合时，具体用于：
基于每个待处理RAW图像的权重特征图，对调整后的各补充帧和参考帧进行融合。
本申请可选的实施例中，权重特征图获取模块在获取每个待处理RAW图像的权重特征图时，具体用于：
在待处理RAW图像为高动态范围图像时，将各待处理RAW图像分别转换为低动态范围图像，得到各转换后的待处理RAW图像；
将每个转换后的待处理RAW图像分别输入至神经网络，得到每个待处理RAW图像的权重特征图。
本申请可选的实施例中，该装置还包括训练模块606，其中，训练模块606通过下列方式训练得到神经网络：
获取训练样本集，训练样本集包括对应于至少一个场景的训练图像，每个场景的训练图像为至少两张图像，对于每个场景的至少两张图像，将其中的一张图像作为样本参考帧，其它图像作为样本补充帧；
对各训练图像分别进行线性亮度变换，得到各变换后的训练图像，并基于各变换后的训练图像对初始网络进行训练，直至初始网络的损失函数收敛，将损失函数收敛时的初始网络确定为神经网络；
其中，初始网络是以图像为输入，以图像的权重特征图为输出的神经网络，损失函数表征了对应于同一场景的样本融合图像与样本参考帧的误差，样本融合图像是根据对应于同一场景的各训练图像的权重特征图，对各变换后的训练图像进行融合得到的。
本申请可选的实施例中，训练模块606在获取训练样本集时，具体用于：
获取初始训练样本集，初始训练样本集包括对应于至少一个场景的初始图像，每个场景的初始图像为至少两张图像；
当初始图像为低动态范围图像时，则将初始图像作为每个场景的训练图像；
当初始图像为高动态范围图像时，则将各初始图像分别转换为各初始图像对应的低动态范围图像；
将每个场景的各初始图像对应的低动态范围图像作为每个场景的训练图像。
本申请可选的实施例中，亮度关系确定602模块在分别确定每个补充帧与参考帧之间的亮度关系时，具体用于：
获取每张待处理RAW图像的曝光参数；
针对于每一补充帧，根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系。
本申请可选的实施例中，曝光参数包括光圈大小、快门时间和传感器增益；
根据参考帧的曝光参数与补充帧的曝光参数，确定补充帧与参考帧之间的亮度关系，包括：
确定补充帧与参考帧对应于各曝光参数的关联关系；
根据补充帧与参考帧对应于各曝光参数的关联关系，确定补充帧与参考帧之间的亮度关系。
本申请可选的实施例中，若曝光参数为光圈大小，关联关系为补充帧的光圈大小的平方值与参考帧的光圈大小的平方值的比值；
若曝光参数为快门时间，关联关系为参考帧的快门时间与补充帧的快门时间的比值；
若曝光参数为传感器增益，关联关系为补充帧的传感器增益与参考帧的传感器增益的比值。
本申请可选的实施例中，亮度关系确定模块602在分别确定每个补充帧与参考帧之间的亮度关系时，具体用于：
基于参考帧中每个像素的亮度，确定权重掩膜；
基于权重掩膜，分别对各待处理RAW图像中各像素的亮度进行调整；
对于每个待处理RAW图像，基于调整后的待处理RAW图像各像素的亮度，确定待处理RAW图像的亮度；
针对每一补充帧，基于补充帧的亮度与参考帧的亮度，确定补充帧与参考帧之间的亮度关系。
本实施例的图像融合的装置可执行本申请实施例所示的图像融合的方法，其实现原理相类似，此处不再赘述。
本申请实施例提供了一种电子设备，如图6所示，图6所示的电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选地，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。
其中，处理器2001应用于本申请实施例中，用于实现图5所示的各模块的功能。
处理器2001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现图5所示实施例提供的图像融合的装置的动作。
本申请实施例提供了一种电子设备，本申请实施例中的电子设备包括：处理器；以及存储器，存储器配置用于存储机器可读指令，该指令在由该处理器执行时，使得该处理器执行图像融合的方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上用于存储计算机指令，当计算机指令在计算机上运行时，使得计算机可以执行实现图像融合的方法。
本申请中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本申请实施例中的一种图像融合的方法，在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图像融合的方法，其特征在于，包括：
获取同一场景下的至少两张待处理RAW图像；
将所述至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个所述补充帧与所述参考帧之间的亮度关系；
针对每个所述补充帧，基于所述亮度关系，对所述补充帧中像素的亮度进行线性调整，得到调整后的补充帧；
对所述调整后的各补充帧以及所述参考帧进行融合，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取每个所述待处理RAW图像的权重特征图，其中，所述权重特征图包括所述待处理RAW图像中每个像素的权重值；
所述对所述调整后的各补充帧以及所述参考帧进行图像融合，包括：
基于每个所述待处理RAW图像的权重特征图，对所述调整后的各补充帧和所述参考帧进行融合。
3.根据权利要求2所述的方法，其特征在于，当所述待处理RAW图像为高动态范围图像时，所述获取每个所述待处理RAW图像的权重特征图，包括：
将各所述待处理RAW图像分别转换为低动态范围图像，得到各转换后的待处理RAW图像；
将每个所述转换后的待处理RAW图像分别输入至神经网络，得到每个所述待处理RAW图像的权重特征图。
4.根据权利要求3所述的方法，其特征在于，所述神经网络是通过下列方式训练得到的：
获取训练样本集，所述训练样本集包括对应于至少一个场景的训练图像，每个场景的训练图像为至少两张图像，对于每个场景的至少两张图像，将其中的一张图像作为样本参考帧，其它图像作为样本补充帧；
对各所述训练图像分别进行线性亮度变换，得到各变换后的训练图像，并基于所述各变换后的训练图像对初始网络进行训练，直至所述初始网络的损失函数收敛，将损失函数收敛时的所述初始网络确定为所述神经网络；
其中，所述初始网络是以图像为输入，以图像的权重特征图为输出的神经网络，所述损失函数表征了对应于同一场景的样本融合图像与样本参考帧的误差，所述样本融合图像是根据对应于同一场景的各训练图像的权重特征图，对各变换后的训练图像进行融合得到的。
5.根据权利要求4所述的方法，其特征在于，所述获取训练样本集，包括：
获取初始训练样本集，所述初始训练样本集包括对应于至少一个场景的初始图像，每个场景的初始图像为至少两张图像；
当所述初始图像为低动态范围图像时，将所述初始图像作为每个场景的训练图像；
当所述初始图像为高动态范围图像时，将各所述初始图像分别转换为各所述初始图像对应的低动态范围图像；
将每个场景的各所述初始图像对应的低动态范围图像作为每个场景的训练图像。
6.根据权利要求1所述的方法，其特征在于，所述分别确定每个所述补充帧与所述参考帧之间的亮度关系，包括：
获取每张待处理RAW图像的曝光参数；
针对于每一补充帧，根据所述参考帧的曝光参数与所述补充帧的曝光参数，确定所述补充帧与所述参考帧之间的亮度关系。
7.根据权利要求1所述的方法，其特征在于，所述分别确定每个所述补充帧与所述参考帧之间的亮度关系，包括：
基于所述参考帧中每个像素的亮度，确定权重掩膜；
基于所述权重掩膜，分别对各所述待处理RAW图像中各像素的亮度进行调整；
对于每个所述待处理RAW图像，基于调整后的所述待处理RAW图像各像素的亮度，确定所述待处理RAW图像的亮度；
针对每个所述补充帧，基于所述补充帧的亮度与所述参考帧的亮度，确定所述补充帧与所述参考帧之间的亮度关系。
8.一种图像融合的装置，其特征在于，包括：
图像获取模块，用于获取同一场景下的两张待处理RAW图像；
亮度关系确定模块，用于将所述至少两张待处理RAW图像中的一张图像作为参考帧，其它图像作为补充帧，并分别确定每个所述补充帧与所述参考帧之间的亮度关系；
亮度调整模块，用于针对每个所述补充帧，基于所述亮度关系，对所述补充帧中像素的亮度进行线性调整，得到调整后的补充帧；
图像融合模块，用于对所述调整后的各补充帧以及所述参考帧进行融合，得到融合图像。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器被配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1-7中任一项所述的方法。
CN201911024851.9A 2019-10-25 2019-10-25 图像融合的方法、装置、电子设备及可读存储介质 Active CN110728648B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911024851.9A CN110728648B (zh) 2019-10-25 2019-10-25 图像融合的方法、装置、电子设备及可读存储介质
PCT/CN2020/116487 WO2021077963A1 (zh) 2019-10-25 2020-09-21 图像融合的方法、装置、电子设备及可读存储介质
US17/768,143 US20240296534A1 (en) 2019-10-25 2020-09-21 Image fusion method and apparatus, electronic device, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911024851.9A CN110728648B (zh) 2019-10-25 2019-10-25 图像融合的方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110728648A true CN110728648A (zh) 2020-01-24
CN110728648B CN110728648B (zh) 2022-07-19

Family

ID=69223253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911024851.9A Active CN110728648B (zh) 2019-10-25 2019-10-25 图像融合的方法、装置、电子设备及可读存储介质

Country Status (3)

Country Link
US (1) US20240296534A1 (zh)
CN (1) CN110728648B (zh)
WO (1) WO2021077963A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311532A (zh) * 2020-03-26 2020-06-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备、存储介质
CN112418279A (zh) * 2020-11-05 2021-02-26 北京迈格威科技有限公司 图像融合方法、装置、电子设备及可读存储介质
CN112561847A (zh) * 2020-12-24 2021-03-26 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
WO2021077963A1 (zh) * 2019-10-25 2021-04-29 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN113313661A (zh) * 2021-05-26 2021-08-27 Oppo广东移动通信有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
WO2021238522A1 (zh) * 2020-05-29 2021-12-02 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备和图像处理方法
CN113744257A (zh) * 2021-09-09 2021-12-03 展讯通信（上海）有限公司 图像融合方法、装置、终端设备以及存储介质
WO2022033310A1 (zh) * 2020-08-11 2022-02-17 北京芯海视界三维科技有限公司 图像处理装置和虚拟现实设备
CN114708173A (zh) * 2022-02-22 2022-07-05 北京旷视科技有限公司 图像融合方法、计算机程序产品、存储介质及电子设备
CN115409754A (zh) * 2022-11-02 2022-11-29 深圳深知未来智能有限公司 一种基于图像区域有效性的多曝光图像融合方法及系统
WO2023020201A1 (zh) * 2021-08-19 2023-02-23 北京旷视科技有限公司 图像的增强方法和电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314627B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法、系统及摄像机
CN113344803B (zh) * 2021-05-08 2024-03-19 浙江大华技术股份有限公司 图像调节方法、装置、电子装置和存储介质
CN115696059A (zh) * 2021-07-28 2023-02-03 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN113706583B (zh) * 2021-09-01 2024-03-22 上海联影医疗科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN113888455A (zh) * 2021-11-05 2022-01-04 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
CN115205177A (zh) * 2022-06-22 2022-10-18 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质
CN115115518B (zh) * 2022-07-01 2024-04-09 腾讯科技（深圳）有限公司 高动态范围图像的生成方法、装置、设备、介质及产品
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN115689963B (zh) * 2022-11-21 2023-06-06 荣耀终端有限公司 一种图像处理方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103194A1 (en) * 2008-10-27 2010-04-29 Huawei Technologies Co., Ltd. Method and system for fusing images
US20150195441A1 (en) * 2012-09-20 2015-07-09 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
CN108288253A (zh) * 2018-01-08 2018-07-17 厦门美图之家科技有限公司 Hdr图像生成方法及装置
CN108989699A (zh) * 2018-08-06 2018-12-11 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110062160A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法和装置
CN110166707A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110248098A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520580A (zh) * 2000-07-06 2004-08-11 ŦԼ�и��ױ��Ǵ�ѧ�йܻ� 用于增强数据解析度的方法和设备
CN106204513B (zh) * 2016-08-15 2019-07-05 厦门美图之家科技有限公司 图像处理的方法、装置和系统
CN108335279B (zh) * 2017-01-20 2022-05-17 微软技术许可有限责任公司 图像融合和hdr成像
CN108510560B (zh) * 2018-04-11 2020-01-24 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109194872B (zh) * 2018-10-24 2020-12-11 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN109886906B (zh) * 2019-01-25 2020-09-08 武汉大学 一种细节敏感的实时弱光视频增强方法和系统
CN110728648B (zh) * 2019-10-25 2022-07-19 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103194A1 (en) * 2008-10-27 2010-04-29 Huawei Technologies Co., Ltd. Method and system for fusing images
US20150195441A1 (en) * 2012-09-20 2015-07-09 Huawei Technologies Co., Ltd. Image Processing Method and Apparatus
CN108288253A (zh) * 2018-01-08 2018-07-17 厦门美图之家科技有限公司 Hdr图像生成方法及装置
CN108989699A (zh) * 2018-08-06 2018-12-11 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110062160A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法和装置
CN110166707A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110248098A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEOLKON JUNG, LU WANG: "Power-constrained backlight scaling using brightness compensated contrast-tone mapping operation", 《2015 VISUAL COMMUNICATIONS AND IMAGE PROCESSING》 *
张淑芳等: "采用主成分分析与梯度金字塔的高动态范围图像生成方法", 《西安交通大学学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021077963A1 (zh) * 2019-10-25 2021-04-29 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN111311532A (zh) * 2020-03-26 2020-06-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备、存储介质
WO2021238522A1 (zh) * 2020-05-29 2021-12-02 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备和图像处理方法
WO2022033310A1 (zh) * 2020-08-11 2022-02-17 北京芯海视界三维科技有限公司 图像处理装置和虚拟现实设备
TWI820460B (zh) * 2020-08-11 2023-11-01 大陸商北京芯海視界三維科技有限公司 圖像處理裝置和虛擬實境設備
CN112418279A (zh) * 2020-11-05 2021-02-26 北京迈格威科技有限公司 图像融合方法、装置、电子设备及可读存储介质
CN112561847A (zh) * 2020-12-24 2021-03-26 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN112561847B (zh) * 2020-12-24 2024-04-12 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN113313661A (zh) * 2021-05-26 2021-08-27 Oppo广东移动通信有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
WO2023020201A1 (zh) * 2021-08-19 2023-02-23 北京旷视科技有限公司 图像的增强方法和电子设备
CN113744257A (zh) * 2021-09-09 2021-12-03 展讯通信（上海）有限公司 图像融合方法、装置、终端设备以及存储介质
CN114708173A (zh) * 2022-02-22 2022-07-05 北京旷视科技有限公司 图像融合方法、计算机程序产品、存储介质及电子设备
CN115409754A (zh) * 2022-11-02 2022-11-29 深圳深知未来智能有限公司 一种基于图像区域有效性的多曝光图像融合方法及系统

Also Published As

Publication number Publication date
CN110728648B (zh) 2022-07-19
WO2021077963A1 (zh) 2021-04-29
US20240296534A1 (en) 2024-09-05

Similar Documents

Publication Publication Date Title
CN110728648B (zh) 图像融合的方法、装置、电子设备及可读存储介质
JP6081726B2 (ja) 多重露出フュージョン基盤でゴーストブラーを除去したｈｄｒ映像生成装置及び方法
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
JP6218389B2 (ja) 画像処理装置及び画像処理方法
CN111028137B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Chang et al. Low-light image restoration with short-and long-exposure raw pairs
CN111986129A (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN105120247A (zh) 一种白平衡调整方法及电子设备
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
WO2020029679A1 (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
CN103237168A (zh) 一种基于综合增益的高动态范围图像视频处理方法
JP2015201842A (ja) 画像処理装置、その制御方法、および制御プログラム
CN111986106A (zh) 一种基于神经网络的高动态图像重建方法
CN105556957B (zh) 一种图像处理方法、计算机存储介质、装置及终端
JP4879363B1 (ja) 画像処理システム
JP7057079B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN112738410A (zh) 一种成像方法及装置、内窥镜设备
JP2012109849A (ja) 撮像装置
CN112750087A (zh) 图像处理方法和装置
KR101477505B1 (ko) 하이 다이나믹 레인지 영상 형성 방법
TWI590192B (zh) 適應性高動態範圍影像合成演算法
Anand et al. Hdrvideo-gan: deep generative hdr video reconstruction
JP2015080157A (ja) 画像処理装置、画像処理方法及びプログラム
JP6173027B2 (ja) 画像処理装置および画像処理方法
CN112418279A (zh) 图像融合方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant