CN115115518B - 高动态范围图像的生成方法、装置、设备、介质及产品 - Google Patents

高动态范围图像的生成方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN115115518B
CN115115518B CN202210774675.6A CN202210774675A CN115115518B CN 115115518 B CN115115518 B CN 115115518B CN 202210774675 A CN202210774675 A CN 202210774675A CN 115115518 B CN115115518 B CN 115115518B
Authority
CN
China
Prior art keywords
image
dynamic range
result
low dynamic
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210774675.6A
Other languages
English (en)
Other versions
CN115115518A (zh
Inventor
熊鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210774675.6A priority Critical patent/CN115115518B/zh
Publication of CN115115518A publication Critical patent/CN115115518A/zh
Application granted granted Critical
Publication of CN115115518B publication Critical patent/CN115115518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种高动态范围图像的生成方法、装置、设备、介质及产品；方法包括：获取低动态范围图像组，其中，所述低动态范围图像组包括针对相同目标对象、在不同时间点采集的至少两张低动态范围图像；对所述低动态范围图像组中的各所述低动态范围图像进行特征融合，得到中间图像；将所述中间图像和所述低动态范围图像组中的各所述低动态范围图像进行加权融合，得到融合图像；对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行图像重建，得到重建图像；基于所述重建图像和所述中间图像进行图像合成，得到高动态范围图像。通过本申请，能够提高所生成的高动态范围图像的准确度。

Description

高动态范围图像的生成方法、装置、设备、介质及产品
技术领域
本申请涉及人工智能技术领域，尤其涉及一种高动态范围图像的生成方法、装置、设备、介质及产品。
背景技术
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
在相关技术中，可以通过单张低动态范围图像直接恢复出高动态范围图像。这类方法基于深度学习模型从大量训练样本中直接恢复出高动态范围图像，但受限于单张图像重建精度，获得的高动态范围图像准确度往往不高。
发明内容
本申请实施例提供一种高动态范围图像的生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高所生成的高动态范围图像的准确度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种高动态范围图像的生成方法，包括：
获取低动态范围图像组，其中，所述低动态范围图像组包括针对相同目标对象、在不同时间点采集的至少两张低动态范围图像；
对所述低动态范围图像组中的各所述低动态范围图像进行特征融合，得到中间图像；
将所述中间图像和所述低动态范围图像组中的各所述低动态范围图像进行加权融合，得到融合图像；
对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行图像重建，得到重建图像；
基于所述重建图像和所述中间图像进行图像合成，得到高动态范围图像。
本申请实施例提供一种高动态范围图像的生成装置，包括：
获取模块，用于获取低动态范围图像组，其中，所述低动态范围图像组包括针对相同目标对象、在不同时间点采集的至少两张低动态范围图像；
特征融合模块，用于对所述低动态范围图像组中的各所述低动态范围图像进行特征融合，得到中间图像；
加权融合模块，用于将所述中间图像和所述低动态范围图像组中的各所述低动态范围图像进行加权融合，得到融合图像；
图像重建模块，用于对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行图像重建，得到重建图像；
图像合成模块，用于基于所述重建图像和所述中间图像进行图像合成，得到高动态范围图像。
在一些实施例中，所述特征融合通过融合网络实现，所述融合网络包括编码网络和解码网络；上述特征融合模块，还用于调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像进行融合编码，得到编码结果；调用所述解码网络，对所述编码结果进行解码，得到所述中间图像。
在一些实施例中，所述编码网络包括N层残差层，N为大于或等于2的整数；上述特征融合模块，还用于调用第1残差层，对所述低动态范围图像组中的各所述低动态范围图像进行第1次下采样，得到第1下采样结果；调用第i+1残差层，对第i下采样结果进行下采样，得到第i+1下采样结果，其中，1≤i≤N-1；将各个所述残差层执行下采样所得到的下采样结果，确定为所述编码结果。
在一些实施例中，所述解码网络包括N层解码层；上述特征融合模块，还用于调用第1解码层，对第N下采样结果进行解码，得到第1解码结果；将第i解码结果和第N-i下采样结果进行特征加和，得到第i特征加和结果；调用第i+1解码层，对所述第i特征加和结果进行解码，得到第i+1解码结果，并基于所述第i+1解码结果获取第N解码结果，将所述第N解码结果确定为所述中间图像。
在一些实施例中，所述低动态范围图像组包括一张参考图像和至少一张补充图像；上述加权融合模块，还用于将所述中间图像和所述参考图像进行加权，得到第一加权图像；根据所述中间图像和所述参考图像，确定所述中间图像对应的互补图像；将所述互补图像和各所述补充图像进行加权，得到各所述补充图像对应的第二加权图像；将所述第一加权图像和各所述第二加权图像进行融合，得到所述融合图像。
在一些实施例中，所述中间图像和所述参考图像的图像内容相同，像素点的透明度不同；上述加权融合模块，还用于针对所述参考图像的各第一像素点分别执行以下处理：确定所述第一像素点的透明度和所述中间图像中相应位置处第二像素点的透明度；将所述第一像素点的透明度和所述第二像素点的透明度相减，得到所述互补图像相应位置处第三像素点的透明度；将所述参考图像的各所述第一像素点的透明度，替换为所述互补图像相应位置处第三像素点的透明度，得到所述中间图像对应的互补图像。
在一些实施例中，所述图像重建通过图像重建网络实现，所述图像重建网络包括编码网络和解码网络；上述图像重建模块，还用于调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行编码处理，得到编码结果；调用所述解码网络，对所述编码结果进行解码处理，得到所述重建图像。
在一些实施例中，所述编码网络包括M层残差层，M为大于或等于2的整数；上述图像重建模块，还用于调用第1残差层，对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行第1次下采样，得到第1下采样结果；调用第j+1残差层，对第j下采样结果进行下采样，得到第j+1下采样结果，其中，1≤j≤M-1；将各个所述残差层执行下采样所得到的下采样结果，确定为所述编码结果。
在一些实施例中，所述解码网络包括M层解码层；上述图像重建模块，还用于调用第1解码层，对第M下采样结果进行解码处理，得到第1解码结果；将第j解码结果和第M-j下采样结果进行特征加和，得到第j特征加和结果；调用第j+1解码层，对所述第j特征加和结果进行解码处理，得到第j+1解码结果，并基于所述第j+1解码结果获取第M解码结果，将第M解码结果确定为所述重建图像。
在一些实施例中，上述图像合成模块，还用于将所述重建图像和所述中间图像进行补偿融合，得到补偿图像；调用至少两层卷积网络，对所述补偿图像、所述重建图像和所述中间图像进行图像合成，得到所述高动态范围图像。
在一些实施例中，上述图像合成模块，还用于针对所述重建图像的各第四像素点分别执行以下处理：将所述重建图像的第四像素点的像素值和所述中间图像中相应位置处第二像素点的像素值相乘，得到所述补偿图像相应位置处第五像素点的像素值；将所述重建图像的各所述第四像素点的像素值，替换为所述补偿图像相应位置处第五像素点的像素值，得到所述补偿图像。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的高动态范围图像的生成方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的高动态范围图像的生成方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的高动态范围图像的生成方法。
本申请实施例具有以下有益效果：
通过对低动态范围图像组中的各低动态范围图像进行特征融合，所得到的中间图像可以融合各低动态范围图像的特征，通过对中间图像和各低动态范围图像进行加权融合，所得到的融合图像能够充分融合各低动态范围图像的特征，对各低动态范围图像和融合图像进行图像重建，能够有效的对融合图像的特征进行补偿。基于重建图像和中间图像进行图像合成，进一步对重建图像的细节进行修复，得到高动态范围图像，从而能够提高所生成的高动态范围图像的准确度。
附图说明
图1是本申请实施例提供的高动态范围图像的生成系统架构的结构示意图；
图2是本申请实施例提供的高动态范围图像的生成装置的结构示意图；
图3A至图3H是本申请实施例提供的高动态范围图像的生成方法的流程示意图；
图4A是本申请实施例提供的高动态范围图像的生成方法的效果示意图；
图4B至图4D是本申请实施例提供的高动态范围图像的生成方法的原理示意图；
图4E是本申请实施例提供的高动态范围图像的生成方法的效果示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。
2)卷积神经网络(CNN，Convolutional Neural Networks)：是一类包含卷积计算且具有深度结构的前馈神经网络(FNN，Feed forward Neural Networks)，是深度学习(Deep Learning)的代表算法之一。卷积神经网络具有表征学习(RepresentationLearning)能力，能够按其阶层结构对输入图像进行平移不变分类(Shift-InvariantClassification)。
3)卷积层：卷积神经网络中每层卷积层(Convolutional Layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
4)池化层：在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。
5)高动态范围图像(High Dynamic Range Imaging，HDR)：在计算机图形学与电影摄影术中，是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。高动态范围图像的目的就是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度。HDR的特点是：画面信息含量大光影细节丰富；包含前期拍摄和后处理两部分；合成后的照片效果与次图像、直接输出的数码照片有很的不同；对摄影者有一定的技术要求HDR的这些特点，决定了它只适拍摄一些特定的题材。光摄影。由于风光摄影常面对大光比画面，很适合HDR技术。花草等静态摄影。这类题材于色彩变化和光影丰富，同时又相静止，利于前期拍摄。日落日出和夜景都是拍摄HDR的好题材。此类题材画面中天空和面景物明暗反差很大，数码相机的态范围满足不了如此大的动态范围是HDR最适合的应用题材。尤其是拍夜景，HDR可以很好地展现一般夜景无法记录下的天空微弱光线与地面源所产生的对比效果。室内拍摄时，画面中包括室较暗的场景和室外十分明亮的景物HDR可以使室内场景和室外景物在张照片中都得到很好地展现总之，只要是那些画面相对稳定而又存在较大明暗反差的场景，都以用HDR的手法来拍摄并通过HDR后期处理来合成。
6)峰值信噪比(Peak Signal-To-Noise Ratio，PSNR)：是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语。由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位来表示。峰值信噪比经常用作图像压缩等领域中信号重建质量的测量方法，它常简单地通过均方误差(MSE)进行定义。
7)信噪比(Signal-To-Noise Ratio，SNR)：是科学和工程中所用的一种度量，用于比较所需信号的强度与背景噪声的强度。其定义为信号功率与噪声功率的比率，以分贝(dB)为单位表示。信噪比通常用于描述电子信号，也可以应用在各种形式的信号，比如冰芯内的同位素量，或细胞间的生物化学信号、图像信号。
8)蒙版：是合成图像的重要工具，它的作用是在不破坏原始图像的基础上实现特殊的图层叠加效果，另外它还具有保护、隔离的功能，将图像中不需要编辑的图像区域进行保护。
在本申请实施例的实施过程中，申请人发现相关技术存在以下问题：
在相关技术中，可以通过专业设备采集，由于普通摄像头只有很窄的动态范围，因此采用照相更慢，非标准响应像素比的设备进行采集多张图像之后进行融合。这种方法的问题是很不实用，采集速度也非常慢。要求拍摄对象完全禁止，无法实现视频的拍摄；在相关技术中，通过算法解决图像之间的运动。先基于光流等方法，对图像进行对齐，然后再将对齐后的图像进行融合得到高动态范围图像。这类方法依赖于图像对齐算法的精度，而且对齐算法复杂度也限制了该方法的使用场景。
在相关技术中，可以通过单张低动态范围图像直接恢复出高动态范围图像。这类方法基于深度学习模型从大量训练样本中直接恢复出高动态范围图像，但受限于单张图像重建精度，获得的高动态范围图像准确度往往不高。
在相关技术中，往往需要同时解决两个问题，图像间的运动对齐和物体遮挡带来的图像重建。现有方法要么依赖于复杂的图像对齐先验，要么使用非常复杂的网络进行图像重建，使得在实际使用中，会存在大运动时，融合图像出现鬼影，或者高曝光区域重建不准确的问题。
本申请实施例提供一种高动态范围图像的生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高所生成的高动态范围图像的准确度，下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为服务器时示例性应用。
本申请实施例提供一种高动态范围图像的生成方法、装置、设备、计算机可读存储介质和计算机程序产品，能够显著提高视频目标检测的准确性，下面说明本申请实施例提供的高动态范围图像的生成设备的示例性应用，本申请实施例提供的设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。
参见图1，图1是本申请实施例提供的高动态范围图像的生成系统100的架构示意图，为实现视频花边处理的场景，终端(示例性示出了终端400)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
终端400用于供用户使用客户端410，在图形界面410-1(示例性示出了图形界面410-1)显示。终端400和服务器200通过有线或者无线网络相互连接。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
在一些实施例中，服务器200从终端400获取低动态范围图像组，并对低动态范围图像组进行处理，生成高动态范围图像。
在另一些实施例中，终端400获取低动态范围图像组，并对低动态范围图像组进行处理，生成高动态范围图像，并将高动态范围图像发送至终端400进行播放。
在另一些实施例中，本申请实施例可以借助于云技术(Cloud Technology)实现，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。
参见图2，图2是本申请实施例提供的高动态范围图像的生成方法的服务器200的一种结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他电子设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等。
在一些实施例中，本申请实施例提供的高动态范围图像的生成装置可以采用软件方式实现，图2示出了存储在存储器250中的高动态范围图像的生成装置255，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块2551、特征融合模块2552、加权融合模块2553、图像重建模块2554、图像合成模块2555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的高动态范围图像的生成装置可以采用硬件方式实现，作为示例，本申请实施例提供的高动态范围图像的生成装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的高动态范围图像的生成方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circui t)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
将结合本申请实施例提供的服务器或终端的示例性应用和实施，说明本申请实施例提供的高动态范围图像的生成方法。
参见图3A，图3A是本申请实施例提供的高动态范围图像的生成方法的流程示意图，将结合图3A示出的步骤101至步骤105进行说明，下述步骤101至步骤105的执行主体可以是服务器或终端，下面将以执行主体为服务器为例进行说明。
在步骤101中，获取低动态范围图像组。
在一些实施例中，低动态范围图像组包括针对相同目标对象、在不同时间点采集的至少两张低动态范围图像。
在一些实施例中，低动态范围图像(Low-Dynamic Range，LDR)是指针对单个曝光时间相对应最佳细节的低动态范围图像。目标对象可以是图像中的人物、草树木等各式各样的对象。
作为示例，低动态范围图像组包括针对相同的人物、且在不同时间点拍摄的三张低动态范围图像。
作为示例，参见图4A，图4A是本申请实施例提供的高动态范围图像的生成方法的效果示意图。如图4A所示出的低动态范围图像组，低动态范围图像组包括针对相同目标对象(图4A所示出的人物)、在不同时间点采集的低动态范围图像41和低动态范围图像42。
在步骤102中，对低动态范围图像组中的各低动态范围图像进行特征融合，得到中间图像。
在一些实施例中，特征融合用于将低动态范围图像组中的各低动态范围图像的特征进行融合，得到融合了所有低动态范围图像的特征的中间图像。
在一些实施例中，上述特征融合可以通过融合网络实现，融合网络包括编码网络和解码网络。其中，融合网络用于对低动态范围图像进行特征融合，编码网络用于对低动态范围图像进行编码，解码网络用于对低动态范围图像的编码特征进行解码，得到中间图像。
作为示例，参见图4B，图4B是本申请实施例提供的高动态范围图像的生成方法的原理示意图。上述特征融合可以通过图4B所示出的融合网络实现，融合网络包括编码网络44和解码网络45。
在一些实施例中，参见图3B，图3B是本申请实施例提供的高动态范围图像的生成方法的流程示意图，图3B所示出的步骤102可以通过执行以下步骤1021至步骤1022实现。
在步骤1021中，调用编码网络，对低动态范围图像组中的各低动态范围图像进行融合编码，得到编码结果。
在一些实施例中，参见图3C，图3C是本申请实施例提供的高动态范围图像的生成方法的流程示意图，编码网络包括N层残差层，N为大于或等于2的整数，图3C所示出的步骤1021可以通过执行以下步骤10211至步骤10213实现。
在一些实施例中，残差层可以有效解决梯度消失和梯度爆炸的问题，使得在训练编码网络的同时，有效减少训练误差，提升训练的准确性。残差层通过跳跃结构作为残差层的基础结构，残差层用于对低动态范围图像组中的各低动态范围图像进行下采样。
在一些实施例中，编码网络包括N层残差层，其中，第N层残差层是编码网络中尺寸最小的残差层，编码网络中的各残差层的尺寸逐渐减小。
在步骤10211中，调用第1残差层，对低动态范围图像组中的各低动态范围图像进行第1次下采样，得到第1下采样结果。
在一些实施例中，上述步骤10211可以通过如下方式实现：调用连接层，对低动态范围图像组中的各低动态范围图像进行连接处理，得到第一连接图像；调用第1残差层，对第一连接图像进行第1次下采样，得到第1下采样结果。
在一些实施例中，连接处理可以通过连接层实现，连接层用于将输入的至少两张图像进行连接，得到一张输出图像，其中，输出图像的特征包括所输入的至少两张图像的信息。
作为示例，参见图4B，调用连接层441，对低动态范围图像组中的各低动态范围图像进行连接处理，得到第一连接图像；调用第1残差层442，对第一连接图像进行第1次下采样，得到第1下采样结果。
在步骤10212中，调用第i+1残差层，对第i下采样结果进行下采样，得到第i+1下采样结果。
在一些实施例中，1≤i≤N-1。
作为示例，参见图4B，在图4B所示出的编码网络中，N＝4，1≤i≤3。
作为示例，参见图4B，当i＝1时，调用第2残差层443，对第1下采样结果进行下采样，得到第2下采样结果。
作为示例，参见图4B，当i＝2时，调用第3残差层444，对第2下采样结果进行下采样，得到第3下采样结果。
作为示例，参见图4B，当i＝3时，调用第4残差层445，对第3下采样结果进行下采样，得到第4下采样结果。
在步骤10213中，将各个残差层执行下采样所得到的下采样结果，确定为编码结果。
作为示例，参见图4B，将第1残差层442、第2残差层443、第3残差层444和第4残差层445执行下采样所得到的下采样结果，均确定为编码结果。
在步骤1022中，调用解码网络，对编码结果进行解码，得到中间图像。
在一些实施例中，解码网络用于对基于编码网络所得到的编码结果进行解码和特征加和，得到中间图像，其中，解码可以通过上采样处理实现。
在一些实施例中，参见图3D，图3D是本申请实施例提供的高动态范围图像的生成方法的流程示意图，解码网络包括N层解码层，图3D所示出的步骤1022可以通过执行以下步骤10221至步骤10223实现。
在步骤10221中，调用第1解码层，对第N下采样结果进行解码，得到第1解码结果。
作为示例，参见图4B，调用第1解码层451，对第N下采样结果进行解码，得到第1解码结果。
在一些实施例中，解码层包括上采样层、卷积层和激活层。上采样层，用于对输入数据进行上采样，上采样层的尺度与对应的下采样的尺度相同；卷积层用于对上采样层的输出结果进行卷积，激活层，用于调用激活函数对卷积层的输出结果进行激活。
在一些实施例中，上述步骤10221可以通过如下方式实现：调用上采样层，对所述第N下采样结果进行上采样，得到第1上采样结果；调用卷积层，对第1上采样结果进行卷积，得到第1卷积结果；调用激活层，对第1卷积结果进行激活，得到第1解码结果。
在步骤10222中，将第i解码结果和第N-i下采样结果进行特征加和，得到第i特征加和结果。
在一些实施例中，特征加和可以是将任意多个不相同的特征向量进行加和，得到加和结果的过程。
作为示例，参见图4B，当i＝1，N＝4时，将第1解码结果和第3下采样结果进行特征加和，得到第1特征加和结果。
作为示例，参见图4B，当i＝2时，将第2解码结果和第2下采样结果进行特征加和，得到第2特征加和结果。
作为示例，参见图4B，当i＝3时，将第3解码结果和第1下采样结果进行特征加和，得到第3特征加和结果。
在步骤10223中，调用第i+1解码层，对第i特征加和结果进行解码，得到第i+1解码结果，并基于第i+1解码结果获取第N解码结果，将第N解码结果确定为中间图像。
作为示例，参见图4B，当i＝1时，调用第2解码层452，对第1特征加和结果进行解码，得到第2解码结果。
作为示例，参见图4B，当i＝2时，调用第3解码层453，对第2特征加和结果进行解码，得到第3解码结果。
作为示例，参见图4B，当i＝3时，调用第4解码层454，对第3特征加和结果进行解码，得到第4解码结果，将第4解码结果确定为中间图像46。
如此，通过融合网络对低动态范围图像组中的各低动态范围图像进行特征融合，得到中间图像，由于融合网络多层编解码结构的设计，使得中间图像能够有效融合低动态范围图像组中的各低动态范围图像的特征，便于后续基于中间图像生成高范围动态范围图像，有效提高了所生成的高动态范围图像的准确度。
在步骤103中，将中间图像和低动态范围图像组中的各低动态范围图像进行加权融合，得到融合图像。
在一些实施例中，加权融合用于将中间图像和低动态范围图像组中的各低动态范围图像的特征进行融合，得到融合图像。
在一些实施例中，参见图3B，图3B是本申请实施例提供的高动态范围图像的生成方法的流程示意图，低动态范围图像组包括一张参考图像和至少一张补充图像，图3B所示出的步骤103可以通过执行以下步骤1031至步骤1034实现。
在一些实施例中，参考图像可以是低动态范围图像组中的任意一张图像，参考图像的图像内容和最终生成的高动态范围图像的封面内容相同，补充图像的图像内容和最终生成的高动态范围图像的封面内容不同。
在步骤1031中，将中间图像和参考图像进行加权，得到第一加权图像。
在一些实施例中，上述步骤1031可以通过以下方式实现：针对中间图像的各第二像素点执行以下处理：将中间图像的第二像素点的像素值和参考图像相应第一像素点的像素值进行相乘，得到第一乘积像素值；将中间图像各第二像素点的像素值，替换为相应像素点的第一乘积像素值，得到第一加权图像。
在步骤1032中，根据中间图像和参考图像，确定中间图像对应的互补图像。
在一些实施例中，参考图像的各第一像素点的透明度，等于中间图像中相应位置处第二像素点的透明度和互补图像相应位置处第三像素点的透明度的加和值。
作为示例，参考图像的任意一个第一像素点的透明度的表达式可以为：
X1＝X2+X3 (1)
其中，X1表征参考图像的任意一个第一像素点的透明度，X2表征中间图像中相应位置处第二像素点的透明度，X3互补图像相应位置处第三像素点的透明度。
在一些实施例中，参见图3E，图3E是本申请实施例提供的高动态范围图像的生成方法的流程示意图，中间图像和参考图像的图像内容相同，像素点的透明度不同，图3E所示出的步骤1032可以通过执行以下步骤10321至步骤10322实现。
在步骤10321中，针对参考图像的各第一像素点分别执行以下处理：确定第一像素点的透明度和中间图像中相应位置处第二像素点的透明度；将第一像素点的透明度和第二像素点的透明度相减，得到互补图像相应位置处第三像素点的透明度。
作为示例，互补图像相应位置处第三像素点的透明度的表达式可以为：
X3＝X1-X2 (2)
其中，X1表征参考图像的任意一个第一像素点的透明度，X2表征中间图像中相应位置处第二像素点的透明度，X3表征互补图像相应位置处第三像素点的透明度。
在步骤10322中，将参考图像的各第一像素点的透明度，替换为互补图像相应位置处第三像素点的透明度，得到中间图像对应的互补图像。
作为示例，由于中间图像和参考图像的图像内容相同，像素点的透明度不同，因此，可以将参考图像的各第一像素点的基本参数不变，将参考图像的各第一像素点的透明度，替换为互补图像相应位置处第三像素点的透明度，得到中间图像对应的互补图像。
如此，利用中间图像和参考图像之间的像素点的透明度的关系，准确确定出中间图像对应的互补图像，便于后续在加权的过程中充分利用互补图像的信息，能够通过互补图像的信息对后续生成的高动态范围图像进行有效的信息补充，从而能够有效提高所生成的高动态范围图像的准确度。
在步骤1033中，将互补图像和各补充图像进行加权，得到各补充图像对应的第二加权图像。
在一些实施例中，上述步骤1033可以通过以下方式实现：针对互补图像的各像素点分别执行以下处理：将互补图像的像素点的像素值和补充图像相应的第三像素点的像素值进行相乘，得到第二乘积像素值；将中间图像各第二像素点的像素值，替换为相应像素点的第二乘积像素值，得到第二加权图像。
在步骤1034中，将第一加权图像和各第二加权图像进行融合，得到融合图像。
在一些实施例中，融合可以通过图像拼接实现，上述步骤1034可以通过以下方式实现：将第一加权图像分别和各第二加权图像，按照时间点顺序，进行图像拼接，得到融合图像，其中，融合图像中各时间点上的图像各不相同。
作为示例，第一加权图像可以在融合图像中的第一时间点上，任意一张第二加权图像可以在融合图像中的第二时间点上。
如此，通过将中间图像和低动态范围图像组中与生成的高动态范围图像的内容一致的参考图像进行加权，得到第一加权图像；将基于中间图像和参考图像所确定的互补图像，和补充图像进行加权，得到补充图像对应的第二加权图像。然后将第一加权图像和第二加权图像进行融合，得到融合图像。从而使得所得到的融合图像充分融合了低动态范围图像组中的各低动态范围图像不同维度的特征，能够通过融合图像的信息对后续生成的高动态范围图像进行有效的信息补充，从而能够有效提高所生成的高动态范围图像的准确度。
在步骤104中，对低动态范围图像组中的各低动态范围图像和融合图像进行图像重建，得到重建图像。
在一些实施例中，图像重建通过图像重建网络实现，图像重建网络包括编码网络和解码网络，参见图3B，图3B是本申请实施例提供的高动态范围图像的生成方法的流程示意图，图3B所示出的步骤104可以通过执行以下步骤1041至步骤1042实现。
作为示例，参见图4D，图4D是本申请实施例提供的高动态范围图像的生成方法的原理示意图。图像重建通过图像重建网络实现，图像重建网络包括编码网络和解码网络。
在一些实施例中，上述图像重建网络和上述融合网络的网络结构相同。
在步骤1041中，调用编码网络，对低动态范围图像组中的各低动态范围图像和融合图像进行编码处理，得到编码结果。
参见图4C，图4C是本申请实施例提供的高动态范围图像的生成方法的原理示意图，调用编码网络47，对低动态范围图像组中的各低动态范围图像和融合图像46进行编码处理，得到编码结果。
在一些实施例中，参见图3F，图3F是本申请实施例提供的高动态范围图像的生成方法的流程示意图，编码网络包括M层残差层，M为大于或等于2的整数，图3F所示出的步骤1041可以通过执行以下步骤10411至步骤10413实现。
在一些实施例中，残差层可以有效解决梯度消失和梯度爆炸的问题，使得在训练编码网络的同时，有效减少训练误差，提升训练的准确性。残差层通过跳跃结构作为残差层的基础结构，残差层用于对低动态范围图像组中的各低动态范围图像进行下采样。
在一些实施例中，编码网络包括M层残差层，其中，第M层残差层是编码网络中尺寸最小的残差层，编码网络中的各残差层的尺寸逐渐减小。
作为示例，参见图4C，图4C所示出的编码网络包括4层残差层。
在步骤10411中，调用第1残差层，对低动态范围图像组中的各低动态范围图像和融合图像进行第1次下采样，得到第1下采样结果。
在一些实施例中，上述步骤10411可以通过如下方式实现：调用连接层，对低动态范围图像组中的各低动态范围图像和融合图像进行连接处理，得到第二连接图像；调用第1残差层，对第二连接图像进行第1次下采样，得到第1下采样结果。
在一些实施例中，连接处理可以通过连接层实现，连接层用于将输入的至少两张图像进行连接，得到一张输出图像，其中，输出图像的特征包括所输入的至少两张图像的信息。
作为示例，参见图4C，调用连接层471，对低动态范围图像组中的各低动态范围图像和融合图像进行连接处理，得到第二连接图像；调用第1残差层472，对第二连接图像进行第1次下采样，得到第1下采样结果。
在步骤10412中，调用第j+1残差层，对第j下采样结果进行下采样，得到第j+1下采样结果。
其中，1≤j≤M-1。
作为示例，参见图4C，在图4C所示出的编码网络中，N＝4，1≤i≤3。
作为示例，参见图4C，当i＝1时，调用第2残差层473，对第1下采样结果进行下采样，得到第2下采样结果。
作为示例，参见图4C，当i＝2时，调用第3残差层474，对第2下采样结果进行下采样，得到第3下采样结果。
作为示例，参见图4C，当i＝3时，调用第4残差层475，对第3下采样结果进行下采样，得到第4下采样结果。
在步骤10413中，将各个残差层执行下采样所得到的下采样结果，确定为编码结果。
作为示例，参见图4C，将第1残差层472、第2残差层473、第3残差层474和第4残差层475执行下采样所得到的下采样结果，均确定为编码结果。
在步骤1042中，调用解码网络，对编码结果进行解码处理，得到重建图像。
在一些实施例中，解码网络用于对基于编码网络所得到的编码结果进行解码和特征加和，得到中间图像，其中，解码可以通过上采样处理实现。
在一些实施例中，参见图3G，图3G是本申请实施例提供的高动态范围图像的生成方法的流程示意图，解码网络包括M层解码层，图3G所示出的步骤1042可以通过执行以下步骤10421至步骤10423实现。
在步骤10421中，调用第1解码层，对第M下采样结果进行解码处理，得到第1解码结果。
作为示例，参见图4C，调用第1解码层481，对第N下采样结果进行解码，得到第1解码结果。
在一些实施例中，解码层包括上采样层、卷积层和激活层。上采样层，用于对输入数据进行上采样，上采样层的尺度与对应的下采样的尺度相同；卷积层用于对上采样层的输出结果进行卷积，激活层，用于调用激活函数对卷积层的输出结果进行激活。
在一些实施例中，上述步骤10421可以通过如下方式实现：调用上采样层，对所述第M下采样结果进行上采样，得到第1上采样结果；调用卷积层，对第1上采样结果进行卷积，得到第1卷积结果；调用激活层，对第1卷积结果进行激活，得到第1解码结果。
在步骤10422中，将第j解码结果和第M-j下采样结果进行特征加和，得到第j特征加和结果。
在一些实施例中，特征加和可以是将任意多个不相同的特征向量进行加和，得到加和结果的过程。
作为示例，参见图4C，当i＝1，N＝4时，将第1解码结果和第3下采样结果进行特征加和，得到第1特征加和结果。
作为示例，参见图4C，当i＝2时，将第2解码结果和第2下采样结果进行特征加和，得到第2特征加和结果。
作为示例，参见图4C，当i＝3时，将第3解码结果和第1下采样结果进行特征加和，得到第3特征加和结果。
在步骤10423中，调用第j+1解码层，对第j特征加和结果进行解码处理，得到第j+1解码结果，并基于第j+1解码结果获取第M解码结果，将第M解码结果确定为重建图像。
作为示例，参见图4C，当i＝1时，调用第2解码层482，对第1特征加和结果进行解码，得到第2解码结果。
作为示例，参见图4C，当i＝2时，调用第3解码层483，对第2特征加和结果进行解码，得到第3解码结果。
作为示例，参见图4C，当i＝3时，调用第4解码层484，对第3特征加和结果进行解码，得到第4解码结果，将第4解码结果确定为重建图像49。
如此，通过图像重建网络对融合图像和各低动态范围图像进行图像重建，由于融合网络多层编解码结构的设计，使得重建图像能够有效融合低动态范围图像组中的各低动态范围图像和融合图像的特征，能够有效的对融合图像的特征进行补偿，便于后续基于重建图像生成高范围动态范围图像，有效提高了所生成的高动态范围图像的准确度。
在步骤105中，基于重建图像和中间图像进行图像合成，得到高动态范围图像。
在一些实施例中，图像合成用于对多张不同的输入图像进行合成，得到一张高动态范围图像的处理过程。
在一些实施例中，高动态范围图像(High Dynamic Range Imaging，HDR)：在计算机图形学与电影摄影术中，是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。高动态范围图像的目的就是要正确地表示真实世界中从太阳光直射到最暗的阴影这样大的范围亮度。
在一些实施例中，参见图3B，图3B是本申请实施例提供的高动态范围图像的生成方法的流程示意图，图3B所示出的步骤105可以通过执行以下步骤1051至步骤1052实现。
在步骤1051中，将重建图像和中间图像进行补偿融合，得到补偿图像。
作为示例，参见图4D，将重建图像和中间图像进行补偿融合，得到补偿图像。
在一些实施例中，参见图3H，图3H是本申请实施例提供的高动态范围图像的生成方法的流程示意图，图3H所示出的步骤1051可以通过执行以下步骤10511至步骤10512实现。
在步骤10511中，针对重建图像的各第四像素点分别执行以下处理：将重建图像的第四像素点的像素值和中间图像中相应位置处第二像素点的像素值相乘，得到补偿图像相应位置处第五像素点的像素值。
作为示例，补偿图像相应位置处第五像素点的像素值的表达式可以为：
Y5＝Y4×Y2 (4)
其中，Y5表征补偿图像相应位置处第五像素点的像素值，Y4表征重建图像的第四像素点的像素值，Y2表征中间图像中相应位置处第二像素点的像素值。
在步骤10512中，将重建图像的各第四像素点的像素值，替换为补偿图像相应位置处第五像素点的像素值，得到补偿图像。
作为示例，由于补偿图像中相应位置处第五像素点的像素值，是重建图像的第四像素点的像素值和中间图像中相应位置处第二像素点的像素值的乘积，故补偿图像中相应位置处第五像素点的像素值有效融合了重建图像和中间图像的像素特征，将重建图像的各第四像素点的像素值，替换为补偿图像相应位置处第五像素点的像素值，将重建图像的各第四像素点的其他参数(除像素值以外的参数)保持不变，从而得到补偿图像。
在步骤1052中，调用至少两层卷积网络，对补偿图像、重建图像和中间图像进行图像合成，得到高动态范围图像。
在一些实施例中，卷积网络用于对多张图像进行图像合成，得到对应的高动态范围图像。
在一些实施例中，卷积网络(Convolutional Network)是采用监督方式训练的一种面向两维形状不变性识别的特定多层感知机。
作为示例，参见图4D，调用至少两层卷积网络，对补偿图像、重建图像和中间图像进行图像合成，得到高动态范围图像。
如此，由于多层卷积网络的设计，对补偿图像、重建图像和中间图像进行图像合成，使得所生成的高动态范围图像的细节能够被有效修复，进一步提高了所生成的高动态范围图像的准确度。
如此，通过对低动态范围图像组中的各低动态范围图像进行特征融合，所得到的中间图像可以融合各低动态范围图像的特征，通过对中间图像和各低动态范围图像进行加权融合，所得到的融合图像能够充分融合各低动态范围图像的特征，对各低动态范围图像和融合图像进行图像重建，能够有效的对融合图像的特征进行补偿。基于重建图像和中间图像进行图像合成，进一步对重建图像的细节进行修复，得到高动态范围图像，从而能够提高所生成的高动态范围图像的准确度。
下面，将说明本申请实施例在一个实际的生成高动态范围图像的应用场景中的示例性应用。
高动态范围图像(High-Dynamic Range Image HDR)是通过组合多张地动态范围图像生成改善后图像的一种方法。在真实场景下，由于多种光源的存在，场景具有非常宽的动态范围，而摄像头捕捉到的图像范围有限，因此获得图像质量更低。参见图4A，图4A中分别为不同曝光下的低动态范围图像41和低动态范围图像42，以及对应的高动态范围图像43。
本申请实施例提供的一种层次网络结构，将图像融合和图像重建拆分为两个递进的步骤，进行分别解决，配合迭代学习的训练方法，使得在非常轻量级的网络结构下，也可以实现精确的HDR图像融合预重建。
本申请实施例能够应用在实际拍摄时视频质量增强，也可以用于视频剪辑时的视频质量提升。在典型的应用场景中，本发明可以直接将任意两张非完全同时拍摄的图像进行融合，得到一张更高质量的图像。
在一些实施例中，参见图4D，本申请实施例提供的层次网络结构包括融合网络(Mask Fusion Network)，图像重建网络(Mask Compensation Network)和卷积网络(Refine Network)。
在一些实施例中，参见图4D，在融合网络中，输入两张LDR图像，通过一个编码-解码的网络结构，先下采样，再每层上采样之后，经过卷积，输出一张透明度在0～1之间的蒙版图像。通过该输出，可以得到融合后的图像，将融合后的图像和输入的至少两张LDR图像(包括补充图像和参考图像)进行加权融合，得到融合图像。
作为示例，融合图像的表达式可以为：
Hmf＝Lr×Mmf+Ls×(1-Mmf) (5)
其中，Lr表征参考图像，Ls表征补充图像，Mmf表征融合后的图像，Hmf表征融合图像。
为了使得融合网络更加专注在图像已经对齐的像素点上，本申请实施例采用了一个训练网络，且训练网络的网络结构与融合网络的模型结构相同，得到对齐与未对齐的像素点。具体而言，基于和融合网络相同的网络结构，使用了一批完全对齐的低动态范围图像-高动态范围图像对，预训练得到一个预训练模型。基于该预训练模型，可以计算得到一个预训练的融合图像的损失。
作为示例，预训练的融合图像的损失的表达式可以为：
Mgs＝Npr(Lr,Ls)-Hgr (6)
其中，Mgs表征预训练的融合图像的损失，Npr(.)表征训练网络，Lr表征参考图像，Ls表征补充图像，Hgr表征低动态范围图像-高动态范围图像对中原始的低动态范围图像。
在一些实施例中，在训练融合网络的过程中，所采用的目标损失的表达式可以为：
Lossmf＝|(Npr(Lr,Ls)-Hgr)*(α-Mgs)| (7)
其中，Lossmf表征目标损失，(Npr(Lr,Ls)-Hgr)表征预训练的融合图像的损失，α表征设置参数。
通过所设计的目标损失，对融合网络进行训练，从而使得该融合网络更加专注在对齐区域，而忽略非对齐区域。
在一些实施例中，参见图4D，本申请实施例提供的图像重建网络和融合网络的网络结构相同，同样输出透明度在0至1之间的蒙版图像。基于输出的蒙版图像，图像重建网络的输出可以对融合网络的输出进行补偿，得到重建图像。其中，重建图像的表达式可以为：
Hmc＝Hmf×Mmc (8)
其中，Hmc表征重建图像，Hmf表征融合图像，Mmc表征图像重建网络的输出。
在一些实施例中，图像重建网络可以通过如下损失函数进行训练，训练图像重建网络的损失函数的表达式可以为：
Lossmc＝| (Hmc-Hgt)*Mgs| (9)
其中，Mgs表征预训练的融合图像的损失，Hmc表征重建图像，Hgt表征图像重建网络的预测结果，Lossmc表征图像重建网络的损失函数。
在一些实施例中，参见图4D，基于融合网络和图像重建网络的输出，经过修复网络(即卷积网络)的修复之后，得到层次网络结构的最终输出，即，与低动态范围图像组对应的高动态范围图像。其中，修复网络包括多层卷积层，通过多层卷积层的修复，使得图像细节能够更好的修复。
作为示例，高动态范围图像的表达式可以为：
Hrf＝Nrf(Hmc,Lr,Ls) (10)
其中，Hrf表征高动态范围图像，Nrf表征修复网络，Hmc表征重建图像，Lr表征参考图像，Ls表征补充图像。
在一些实施例中，修复网络可以通过如下损失函数进行训练，修复网络的损失函数的表达式可以为：
Lossrf＝| Hrf-Hgt| (11)
其中，Lossrf表征修复网络的损失函数，Hrf表征高动态范围图像，Hgt表征图像重建网络的预测结果。
在一些实施例中，训练过程中，基于通用数据集，搜集一批同时拍摄的不同曝光下的图像，来模拟视频连续两帧的图像运动。在通用的数据集上，针对该方法进行了测试。在采用不同的网络结构下，本申请实施例提供的高动态范围图像的生成方法相比与相关技术中最好的结果，取得了相近的峰值信噪比(PSNR，Peak Signal To Noise Ratio)甚至更高的峰值信噪比，而网络结构的复杂度降低到了原始的1/9和1/1.7，运行时间也降到了原始的1/3。
具体的，下表1是本申请实施例提供的高动态范围图像的生成方法的参数对比表。
表1本申请实施例提供的高动态范围图像的生成方法的参数对比表
在实际应用中，对于任意连续拍摄的两张LDR图像，通过本申请实施例都可以输出融合之后的HDR图像。甚至在视频场景下，可以采用视频的连续帧来进行融合，从而实现拍摄/编辑时的图像/视频质量增强。参见图4E，图4E是本申请实施例提供的高动态范围图像的生成方法的效果示意图。如下是相比于相关技术中的HDR图像结果对比。
通过本申请实施例提供的高动态范围图像的生成方法，将图像融合和图像重建拆分为两个递进的步骤，进行分别解决，配合迭代学习的训练方法，使得在非常轻量级的网络结构下，也可以实现精确的HDR图像融合预重建。相比于相关技术，精度提升明显，速度提速了一倍。
本申请实施例能够应用在实际拍摄时视频质量增强，也可以用于视频剪辑时的视频/图像质量提升。在典型的应用场景中，本申请实施例可以直接将任意两张非完全同时拍摄的图像进行融合，得到一张更高质量的高动态范围图像。
可以理解的是，在本申请实施例中，涉及到低动态范围图像组等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面继续说明本申请实施例提供的高动态范围图像的生成装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器240的高动态范围图像的生成装置255中的软件模块可以包括：获取模块2551，用于获取低动态范围图像组，其中，所述低动态范围图像组包括针对相同目标对象、在不同时间点采集的至少两张低动态范围图像；特征融合模块2552，用于对所述低动态范围图像组中的各所述低动态范围图像进行特征融合，得到中间图像；加权融合模块2553，用于将所述中间图像和所述低动态范围图像组中的各所述低动态范围图像进行加权融合，得到融合图像；图像重建模块2554，用于对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行图像重建，得到重建图像；图像合成模块2555，用于基于所述重建图像和所述中间图像进行图像合成，得到高动态范围图像。
在一些实施例中，所述特征融合通过融合网络实现，所述融合网络包括编码网络和解码网络；上述特征融合模块2552，还用于调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像进行融合编码，得到编码结果；调用所述解码网络，对所述编码结果进行解码，得到所述中间图像。
在一些实施例中，所述编码网络包括N层残差层，N为大于或等于2的整数；上述特征融合模块2552，还用于调用第1残差层，对所述低动态范围图像组中的各所述低动态范围图像进行第1次下采样，得到第1下采样结果；调用第i+1残差层，对第i下采样结果进行下采样，得到第i+1下采样结果，其中，1≤i≤N-1；将各个所述残差层执行下采样所得到的下采样结果，确定为所述编码结果。
在一些实施例中，所述解码网络包括N层解码层；上述特征融合模块2552，还用于调用第1解码层，对第N下采样结果进行解码，得到第1解码结果；将第i解码结果和第N-i下采样结果进行特征加和，得到第i特征加和结果；调用第i+1解码层，对所述第i特征加和结果进行解码，得到第i+1解码结果，并基于所述第i+1解码结果获取第N解码结果，将所述第N解码结果确定为所述中间图像。
在一些实施例中，所述低动态范围图像组包括一张参考图像和至少一张补充图像；上述加权融合模块2553，还用于将所述中间图像和所述参考图像进行加权，得到第一加权图像；根据所述中间图像和所述参考图像，确定所述中间图像对应的互补图像；将所述互补图像和各所述补充图像进行加权，得到各所述补充图像对应的第二加权图像；将所述第一加权图像和各所述第二加权图像进行融合，得到所述融合图像。
在一些实施例中，所述中间图像和所述参考图像的图像内容相同，像素点的透明度不同；上述加权融合模块2553，还用于针对所述参考图像的各第一像素点分别执行以下处理：确定所述第一像素点的透明度和所述中间图像中相应位置处第二像素点的透明度；将所述第一像素点的透明度和所述第二像素点的透明度相减，得到所述互补图像相应位置处第三像素点的透明度；将所述参考图像的各所述第一像素点的透明度，替换为所述互补图像相应位置处第三像素点的透明度，得到所述中间图像对应的互补图像。
在一些实施例中，所述图像重建通过图像重建网络实现，所述图像重建网络包括编码网络和解码网络；上述图像重建模块2554，还用于调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行编码处理，得到编码结果；调用所述解码网络，对所述编码结果进行解码处理，得到所述重建图像。
在一些实施例中，所述编码网络包括M层残差层，M为大于或等于2的整数；上述图像重建模块2554，还用于调用第1残差层，对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行第1次下采样，得到第1下采样结果；调用第j+1残差层，对第j下采样结果进行下采样，得到第j+1下采样结果，其中，1≤j≤M-1；将各个所述残差层执行下采样所得到的下采样结果，确定为所述编码结果。
在一些实施例中，所述解码网络包括M层解码层；上述图像重建模块2554，还用于调用第1解码层，对第M下采样结果进行解码处理，得到第1解码结果；将第j解码结果和第M-j下采样结果进行特征加和，得到第j特征加和结果；调用第j+1解码层，对所述第j特征加和结果进行解码处理，得到第j+1解码结果，并基于所述第j+1解码结果获取第M解码结果，将第M解码结果确定为所述重建图像。
在一些实施例中，上述图像合成模块2555，还用于将所述重建图像和所述中间图像进行补偿融合，得到补偿图像；调用至少两层卷积网络，对所述补偿图像、所述重建图像和所述中间图像进行图像合成，得到所述高动态范围图像。
在一些实施例中，上述图像合成模块2555，还用于针对所述重建图像的各第四像素点分别执行以下处理：将所述重建图像的第四像素点的像素值和所述中间图像中相应位置处第二像素点的像素值相乘，得到所述补偿图像相应位置处第五像素点的像素值；将所述重建图像的各所述第四像素点的像素值，替换为所述补偿图像相应位置处第五像素点的像素值，得到所述补偿图像。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的高动态范围图像的生成方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的高动态范围图像的生成方法，例如，如图3A示出的高动态范围图像的生成方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，本申请实施例具有如下有益效果：
(1)通过对低动态范围图像组中的各低动态范围图像进行特征融合，所得到的中间图像可以融合各低动态范围图像的特征，通过对中间图像和各低动态范围图像进行加权融合，所得到的融合图像能够充分融合各低动态范围图像的特征，对各低动态范围图像和融合图像进行图像重建，能够有效的对融合图像的特征进行补偿。基于重建图像和中间图像进行图像合成，进一步对重建图像的细节进行修复，得到高动态范围图像，从而能够提高所生成的高动态范围图像的准确度。
(2)残差层可以有效解决梯度消失和梯度爆炸的问题，使得在训练编码网络的同时，有效减少训练误差，提升训练的准确性。残差层通过跳跃结构作为残差层的基础结构，残差层用于对低动态范围图像组中的各低动态范围图像进行下采样。
(3)通过融合网络对低动态范围图像组中的各低动态范围图像进行特征融合，得到中间图像，由于融合网络多层编解码结构的设计，使得中间图像能够有效融合低动态范围图像组中的各低动态范围图像的特征，便于后续基于中间图像生成高范围动态范围图像，有效提高了所生成的高动态范围图像的准确度。
(4)利用中间图像和参考图像之间的像素点的透明度的关系，准确确定出中间图像对应的互补图像，便于后续在加权的过程中充分利用互补图像的信息，能够通过互补图像的信息对后续生成的高动态范围图像进行有效的信息补充，从而能够有效提高所生成的高动态范围图像的准确度。
(5)通过将中间图像和低动态范围图像组中与生成的高动态范围图像的内容一致的参考图像进行加权，得到第一加权图像；将基于中间图像和参考图像所确定的互补图像，和补充图像进行加权，得到补充图像对应的第二加权图像。然后将第一加权图像和第二加权图像进行融合，得到融合图像。从而使得所得到的融合图像充分融合了低动态范围图像组中的各低动态范围图像不同维度的特征，能够通过融合图像的信息对后续生成的高动态范围图像进行有效的信息补充，从而能够有效提高所生成的高动态范围图像的准确度。
(6)通过图像重建网络对融合图像和各低动态范围图像进行图像重建，由于融合网络多层编解码结构的设计，使得重建图像能够有效融合低动态范围图像组中的各低动态范围图像和融合图像的特征，能够有效的对融合图像的特征进行补偿，便于后续基于重建图像生成高范围动态范围图像，有效提高了所生成的高动态范围图像的准确度。
(7)由于多层卷积网络的设计，对补偿图像、重建图像和中间图像进行图像合成，使得所生成的高动态范围图像的细节能够被有效修复，进一步提高了所生成的高动态范围图像的准确度。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (14)

1.一种高动态范围图像的生成方法，其特征在于，所述方法包括：
获取低动态范围图像组，其中，所述低动态范围图像组包括针对相同目标对象、在不同时间点采集的至少两张低动态范围图像，所述低动态范围图像组包括一张参考图像和至少一张补充图像；
对所述低动态范围图像组中的各所述低动态范围图像进行特征融合，得到中间图像；
将所述中间图像和所述参考图像进行加权，得到第一加权图像；
根据所述中间图像和所述参考图像，确定所述中间图像对应的互补图像；
将所述互补图像和各所述补充图像进行加权，得到各所述补充图像对应的第二加权图像；
将所述第一加权图像和各所述第二加权图像进行融合，得到融合图像；
对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行图像重建，得到重建图像；
基于所述重建图像和所述中间图像进行图像合成，得到高动态范围图像。
2.根据权利要求1所述的方法，其特征在于，所述特征融合通过融合网络实现，所述融合网络包括编码网络和解码网络；
所述对所述低动态范围图像组中的各所述低动态范围图像进行特征融合，得到中间图像，包括：
调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像进行融合编码，得到编码结果；
调用所述解码网络，对所述编码结果进行解码，得到所述中间图像。
3.根据权利要求2所述的方法，其特征在于，所述编码网络包括N层残差层，N为大于或等于2的整数；所述调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像进行融合编码，得到编码结果，包括：
调用第1残差层，对所述低动态范围图像组中的各所述低动态范围图像进行第1次下采样，得到第1下采样结果；
调用第i+1残差层，对第i下采样结果进行下采样，得到第i+1下采样结果，其中，1≤i≤N-1；
将各个所述残差层执行下采样所得到的下采样结果，确定为所述编码结果。
4.根据权利要求3所述的方法，其特征在于，所述解码网络包括N层解码层；所述调用所述解码网络，对所述编码结果进行解码，得到所述中间图像，包括：
调用第1解码层，对第N下采样结果进行解码，得到第1解码结果；
将第i解码结果和第N-i下采样结果进行特征加和，得到第i特征加和结果；
调用第i+1解码层，对所述第i特征加和结果进行解码，得到第i+1解码结果，并基于所述第i+1解码结果获取第N解码结果，将所述第N解码结果确定为所述中间图像。
5.根据权利要求1所述的方法，其特征在于，所述中间图像和所述参考图像的图像内容相同，像素点的透明度不同；所述根据所述中间图像和所述参考图像，确定所述中间图像对应的互补图像，包括：
针对所述参考图像的各第一像素点分别执行以下处理：确定所述第一像素点的透明度和所述中间图像中相应位置处第二像素点的透明度；将所述第一像素点的透明度和所述第二像素点的透明度相减，得到所述互补图像相应位置处第三像素点的透明度；
将所述参考图像的各所述第一像素点的透明度，替换为所述互补图像相应位置处第三像素点的透明度，得到所述中间图像对应的互补图像。
6.根据权利要求1所述的方法，其特征在于，所述图像重建通过图像重建网络实现，所述图像重建网络包括编码网络和解码网络；
所述对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行图像重建，得到重建图像，包括：
调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行编码处理，得到编码结果；
调用所述解码网络，对所述编码结果进行解码处理，得到所述重建图像。
7.根据权利要求6所述的方法，其特征在于，所述编码网络包括M层残差层，M为大于或等于2的整数；所述调用所述编码网络，对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行编码处理，得到编码结果，包括：
调用第1残差层，对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行第1次下采样，得到第1下采样结果；
调用第j+1残差层，对第j下采样结果进行下采样，得到第j+1下采样结果，其中，1≤j≤M-1；
将各个所述残差层执行下采样所得到的下采样结果，确定为所述编码结果。
8.根据权利要求7所述的方法，其特征在于，所述解码网络包括M层解码层；所述调用所述解码网络，对所述编码结果进行解码处理，得到所述重建图像，包括：
调用第1解码层，对第M下采样结果进行解码处理，得到第1解码结果；
将第j解码结果和第M-j下采样结果进行特征加和，得到第j特征加和结果；
调用第j+1解码层，对所述第j特征加和结果进行解码处理，得到第j+1解码结果，并基于所述第j+1解码结果获取第M解码结果，将第M解码结果确定为所述重建图像。
9.根据权利要求1所述的方法，其特征在于，所述基于所述重建图像和所述中间图像进行图像合成，得到高动态范围图像，包括：
将所述重建图像和所述中间图像进行补偿融合，得到补偿图像；
调用至少两层卷积网络，对所述补偿图像、所述重建图像和所述中间图像进行图像合成，得到所述高动态范围图像。
10.根据权利要求9所述的方法，其特征在于，所述将所述重建图像和所述中间图像进行补偿融合，得到补偿图像，包括：
针对所述重建图像的各第四像素点分别执行以下处理：将所述重建图像的第四像素点的像素值和所述中间图像中相应位置处第二像素点的像素值相乘，得到所述补偿图像相应位置处第五像素点的像素值；
将所述重建图像的各所述第四像素点的像素值，替换为所述补偿图像相应位置处第五像素点的像素值，得到所述补偿图像。
11.一种高动态范围图像的生成装置，其特征在于，所述装置包括：
获取模块，用于获取低动态范围图像组，其中，所述低动态范围图像组包括针对相同目标对象、在不同时间点采集的至少两张低动态范围图像，所述低动态范围图像组包括一张参考图像和至少一张补充图像；
特征融合模块，用于对所述低动态范围图像组中的各所述低动态范围图像进行特征融合，得到中间图像；
加权融合模块，用于将所述中间图像和所述参考图像进行加权，得到第一加权图像；根据所述中间图像和所述参考图像，确定所述中间图像对应的互补图像；将所述互补图像和各所述补充图像进行加权，得到各所述补充图像对应的第二加权图像；将所述第一加权图像和各所述第二加权图像进行融合，得到融合图像；
图像重建模块，用于对所述低动态范围图像组中的各所述低动态范围图像和所述融合图像进行图像重建，得到重建图像；
图像合成模块，用于基于所述重建图像和所述中间图像进行图像合成，得到高动态范围图像。
12.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令或者计算机程序时，实现权利要求1至10任一项所述的高动态范围图像的生成方法。
13.一种计算机可读存储介质，存储有可执行指令或者计算机程序，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的高动态范围图像的生成方法。
14.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至10任一项所述的高动态范围图像的生成方法。
CN202210774675.6A 2022-07-01 2022-07-01 高动态范围图像的生成方法、装置、设备、介质及产品 Active CN115115518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210774675.6A CN115115518B (zh) 2022-07-01 2022-07-01 高动态范围图像的生成方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210774675.6A CN115115518B (zh) 2022-07-01 2022-07-01 高动态范围图像的生成方法、装置、设备、介质及产品

Publications (2)

Publication Number Publication Date
CN115115518A CN115115518A (zh) 2022-09-27
CN115115518B true CN115115518B (zh) 2024-04-09

Family

ID=83330276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210774675.6A Active CN115115518B (zh) 2022-07-01 2022-07-01 高动态范围图像的生成方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN115115518B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007082562A2 (en) * 2006-01-23 2007-07-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
WO2020117379A1 (en) * 2018-12-06 2020-06-11 Gopro, Inc. High dynamic range anti-ghosting and fusion
CN111340731A (zh) * 2020-02-27 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质
CN111669514A (zh) * 2020-06-08 2020-09-15 北京大学 高动态范围成像方法和装置
WO2021051996A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 一种图像处理的方法和装置
WO2021077963A1 (zh) * 2019-10-25 2021-04-29 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007082562A2 (en) * 2006-01-23 2007-07-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
WO2020117379A1 (en) * 2018-12-06 2020-06-11 Gopro, Inc. High dynamic range anti-ghosting and fusion
WO2021051996A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 一种图像处理的方法和装置
WO2021077963A1 (zh) * 2019-10-25 2021-04-29 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN111340731A (zh) * 2020-02-27 2020-06-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质
CN111669514A (zh) * 2020-06-08 2020-09-15 北京大学 高动态范围成像方法和装置
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hierarchical Fusion for Practical Ghost-free High Dynamic Range Imaging;Pengfei Xiong;《MM ’21》;第4025-4033页 *
一种人脸标准光照图像的线性重构方法;熊鹏飞;刘昌平;黄磊;;模式识别与人工智能(第04期);第102-109页 *
可提高相机动态范围的图像融合方法研究;李洪博;董岩;刘云清;赵馨;宋延嵩;;红外技术(第09期);第67-73页 *

Also Published As

Publication number Publication date
CN115115518A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
Deng et al. Deep coupled feedback network for joint exposure fusion and image super-resolution
Wang et al. Deep learning for hdr imaging: State-of-the-art and future trends
CN112308200B (zh) 神经网络的搜索方法及装置
CN111669514B (zh) 高动态范围成像方法和装置
CN113572962B (zh) 室外自然场景光照估计方法及装置
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN113592726A (zh) 高动态范围成像方法、装置、电子设备和存储介质
Yang et al. Learning event guided high dynamic range video reconstruction
CN114973049A (zh) 一种统一卷积与自注意力的轻量视频分类方法
CN115115518B (zh) 高动态范围图像的生成方法、装置、设备、介质及产品
CN112651911B (zh) 一种基于偏振图像的高动态范围成像生成方法
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
CN114298942A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN112241934B (zh) 一种图像处理方法以及相关设备
Chen et al. End-to-end single image enhancement based on a dual network cascade model
Zheng et al. Windowing decomposition convolutional neural network for image enhancement
CN113902631A (zh) 图像处理方法、电子设备和存储介质
CN113379600A (zh) 基于深度学习的短视频超分辨率转换方法、装置及介质
CN112184550A (zh) 神经网络训练方法、图像融合方法、装置、设备和介质
CN114898068B (zh) 三维建模方法、装置、设备及存储介质
CN111861877A (zh) 视频超分变率的方法和装置
CN111383171B (zh) 一种图片处理方法、系统及终端设备
CN114708143A (zh) 一种hdr图像生成方法、设备、产品及介质
CN114581316A (zh) 图像重建方法、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant