CN114708143A - 一种hdr图像生成方法、设备、产品及介质 - Google Patents

一种hdr图像生成方法、设备、产品及介质 Download PDF

Info

Publication number
CN114708143A
CN114708143A CN202210153086.6A CN202210153086A CN114708143A CN 114708143 A CN114708143 A CN 114708143A CN 202210153086 A CN202210153086 A CN 202210153086A CN 114708143 A CN114708143 A CN 114708143A
Authority
CN
China
Prior art keywords
images
image
frames
resolution level
ldr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210153086.6A
Other languages
English (en)
Inventor
陈远鹏
蒋霆
刘帅成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202210153086.6A priority Critical patent/CN114708143A/zh
Publication of CN114708143A publication Critical patent/CN114708143A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种HDR图像生成方法、设备、产品及介质，应用于图像处理技术领域，用以解决HDR图像成像的计算量大、效率低的问题，具体为：获取不同曝光时间的至少两帧LDR图像；分别对至少两帧LDR图像进行不同分辨率层级的下采样处理，得到至少两帧LDR图像在每一分辨率层级的下采样图像；针对每一分辨率层级，基于预先保存的融合权重字典，确定至少两帧LDR图像在该分辨率层级的下采样图像的融合权重，并基于融合权重对至少两帧LDR图像在该分辨率层级的下采样图像进行融合，得到该分辨率层级的融合图像；对多张不同分辨率层级的融合图像进行重建得到HDR图像，从而降低了HDR图像成像计算量，提升了HDR图像成像效率。

Description

一种HDR图像生成方法、设备、产品及介质
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种HDR图像生成方法、设备、产品及介质。
背景技术
实际应用中，由于传统图像传感器覆盖的动态范围有限，因此采集的得到的图像大都是低动态范围(Low Dynamic Range，LDR)图像，为了满足对图像亮度和细节的需求，出现了高动态范围(High Dynamic Range，HDR)图像。
目前，HDR图像可以基于单帧LDR图像生成，也可以基于多帧LDR图像生成，相比于基于单帧LDR图像的HDR图像生成方法，基于多帧LDR图像的HDR图像生成方法的成像效果和质量较为理想，但现有的基于多帧LDR图像的HDR图像生成方法的计算量较大、效率较低，无法在计算能力相对较弱的电子设备上达到实时应用。
发明内容
本申请实施例提供了一种HDR图像生成方法、设备、产品及介质，用以解决现有技术存在的HDR图像成像的计算量大、效率低的问题。
本申请实施例提供的技术方案如下：
一方面，本申请实施例提供了一种HDR图像生成方法，包括：
获取不同曝光时间的至少两帧LDR图像；
分别对至少两帧LDR图像进行不同分辨率层级的下采样处理，得到至少两帧LDR图像各自在每一分辨率层级的下采样图像；
针对每一分辨率层级，基于预先保存的融合权重字典，确定至少两帧LDR图像在分辨率层级的下采样图像对应的融合权重，并基于融合权重对至少两帧LDR图像在分辨率层级的下采样图像进行融合，得到分辨率层级的融合图像；
对多张不同分辨率层级的融合图像进行重建，得到HDR图像。
另一方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本申请实施例提供的HDR图像生成方法。
另一方面，本申请实施例提供了一种计算机程序产品，计算机程序产品包括程序代码，程序代码在处理器上运行时实现本申请实施例提供的HDR图像生成方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时实现本申请实施例提供的HDR图像生成方法。
本申请实施例的有益效果如下：
本申请实施例中，通过对至少两帧LDR图像进行不同分辨率层级的下采样处理后再对多张不同分辨率层级的融合图像进行重建，能够在满足HDR图像成像质量的同时，降低图像融合过程中的计算量，提高HDR图像的成像效率，而且，在图像融合过程中，通过利用预先保存的融合权重字典获取融合权重，能够减少大量的实时运算，进一步提高HDR图像的成像效率，进而可以在计算能力相对较弱的电子设备上达到实时应用。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的HDR图像生成方法的概况流程示意图；
图2为本申请实施例提供的融合权重字典生成方法的概况流程示意图；
图3a为本申请实施例提供的神经网络模型的结构示意图；
图3b为本申请实施例提供的神经网络模型的编码器模块的结构示意图；
图3c为本申请实施例提供的神经网络模型的解码器模块的结构示意图；
图3d为本申请实施例提供的神经网络模型的注意力机制模块的结构示意图；
图4为本申请实施例提供的神经网络模型训练方法的概况流程示意图；
图5为本申请实施例提供的HDR图像生成装置的功能结构示意图；
图6为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为便于本领域技术人员更好地理解本申请，下面先对本申请涉及的技术用语进行简单介绍。
分辨率层级，为图像金字塔中不同分辨率所对应的图像层。
像素值组合，为按照至少两个像素值为一组合的约束条件，对设定范围内(例如0-255)的各像素值进行排列组合获得的包含至少两个像素值的组合。
融合权重字典，为包含不同像素值组合所对应的融合权重的字典。本申请实施例中，融合权重字典包含的每一像素值组合所对应的融合权重可以是权重值，也可以是权重占比。例如，像素值组合(10，255)所对应的融合权重可以是(0.2，0.8)，表示像素值10的权重值为0.2，像素值255对应的权重值为0.8；又如，像素值组合(10，255)所对应的融合权重还可以是(1/5，4/5)，表示像素值10的权重占比为1/5，像素值255的权重占比为4/5，像素值10和像素值255的权重值可以根据各自的权重占比计算出来。在另一个实施方式中，像素值组合(10，255)所对应的融合权重还可以是0.8，表示像素值10和像素值255中的一个像素值的融合权重，另一个像素值的融合权重可以根据融合权重字典中的融合权重计算出来，例如，像素值10的融合权重为0.8，像素值255的融合权重为1-0.8＝0.2。
神经网络模型，为基于多个包含至少两帧样本图像的样本图像组合和多个样本图像组合所对应的标准权重图像，对初始神经网络模型进行训练获得的用于确定不同像素值组合的融合权重的模型。本申请实施例中，神经网络模型可以是但不限于是卷积神经网络模型、循环神经网络模型等。
在介绍了本申请涉及的技术用语后，接下来，对本申请实施例的设计思想进行简单介绍。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
传统的HDR图像生成方法也应用了人工智能技术，如基于神经网络模型的单帧LDR图像增强算法等，而这些传统的HDR图像生成方法的计算量较大，成像效率较低，无法在手机等计算能力相对较弱的电子设备达到实时应用。为此，本申请实施例中，预先通过神经网络模型获得不同像素值组合的融合权重并基于不同像素值组合的融合权重组成融合权重字典后，在HDR图像生成过程中，先分别对待融合的至少两帧LDR图像进行不同分辨率层级的下采样处理，得到该至少两帧LDR图像各自在每一分辨率层级的下采样图像后，针对每一分辨率层级，基于融合权重字典，确定该至少两帧LDR图像在该分辨率层级的下采样图像对应的融合权重，并基于该融合权重对该至少两帧LDR图像在该分辨率层级的下采样图像进行融合，得到该分辨率层级的融合图像，最后，对多张不同分辨率层级的融合图像进行重建即可获得HDR图像。这样，通过对至少两帧LDR图像进行不同分辨率层级的下采样处理后再对多张不同分辨率层级的融合图像进行重建，能够在满足HDR图像成像质量的同时，降低图像融合过程中的计算量，提高HDR图像的成像效率，而且，在图像融合过程中，通过利用预先保存的融合权重字典获取融合权重，能够减少大量的实时运算，进一步提高HDR图像的成像效率，进而可以在计算能力相对较弱的电子设备上达到实时应用。
在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行详细说明。
本申请实施例提供了一种HDR图像生成方法，该HDR图像生成方法可以应用于诸如手机、笔记本、个人数字助理(Personal Digital Assistant，PDA)、智能电视等计算能力相对较弱的电子设备，也可以应用于诸如计算机、虚拟机、服务器等计算能力相对较强的电子设备，参阅图1所示，本申请实施例提供的HDR图像生成方法的概况流程如下：
步骤110：电子设备获取不同曝光时间的至少两帧LDR图像。
实际应用中，电子设备可以通过摄像头拍摄至少两帧不同曝光时间的图像，也可以获取预先保存的不同曝光时间的至少两帧LDR图像。
步骤120：电子设备分别对该至少两帧LDR图像进行不同分辨率层级的下采样处理，得到该至少两帧LDR图像各自在每一分辨率层级的下采样图像。
实际应用中，电子设备针对该至少两帧LDR图像中的每一帧LDR图像，可以对该LDR图像迭代进行不同分辨率层级的下采样处理，从而得到该LDR图像在每一分辨率层级的下采样图像。例如，电子设备针对该至少两帧LDR图像中的每一帧LDR图像，可以采用下述公式(1)对该LDR图像迭代进行不同分辨率层级的高斯金字塔下采样处理，得到该LDR图像在每一分辨率层级的下采样图像。
Figure BDA0003511381560000061
其中，Gl表征第l个分辨率层级的下采样图像，Gl-1表征第l-1个分辨率层级的下采样图像，(i,j)表征第l个分辨率层级的下采样图像中的像素点，N表征分辨率层级的数量，Rl表征第l个分辨率层级的下采样图像中像素点行数，Cl表征第l个分辨率层级的下采样图像中像素点列数，w(m,n)表征窗口函数，m表征窗口函数的窗口长度，n表征窗口函数的窗口宽度。
步骤130：电子设备针对每一分辨率层级，基于预先保存的融合权重字典，确定该至少两帧LDR图像在该分辨率层级的下采样图像对应的融合权重，并基于融合权重对该至少两帧LDR图像在该分辨率层级的下采样图像进行融合，得到该分辨率层级的融合图像。
实际应用中，融合权重字典包含不同像素值组合的融合权重，每一像素值组合包含至少两个像素值，基于此，电子设备针对每一分辨率层级，在基于预先保存的融合权重字典，确定该至少两帧LDR图像在该分辨率层级的下采样图像对应的融合权重时，可以采用但不限于以下方式：
首先，电子设备确定该至少两帧LDR图像在该分辨率层级的下采样图像的各个目标像素值组合；其中，每一目标像素值组合包括至少两个像素点的像素值，该至少两个像素点分别属于该至少两帧LDR图像在该分辨率层级的下采样图像且该至少两个像素点在该至少两帧LDR图像在该分辨率层级的下采样图像中的位置具有对应关系。
然后，电子设备基于融合权重字典包含的不同像素值组合的融合权重，确定各个目标像素值组合的融合权重。
最后，电子设备将各个目标像素值组合的融合权重确定为该至少两帧LDR图像在该分辨率层级的下采样图像的融合权重。
进一步的，电子设备针对每一分辨率层级，基于预先保存的融合权重字典，确定该至少两帧LDR图像在该分辨率层级的下采样图像对应的融合权重后，即可基于融合权重对该至少两帧LDR图像在该分辨率层级的下采样图像进行融合，具体的，电子设备可以基于融合权重对该至少两帧LDR图像在该分辨率层级的下采样图像进行逐像素的加权融合，从而得到该分辨率层级的融合图像。例如，以两帧LDR图像为例，电子设备针对每一分辨率层级，可以采用下述公式(2)对该两帧LDR图像在该分辨率层级的下采样图像进行逐像素的加权融合，从而得到该分辨率层级的融合图像。
Gl12(i,j)＝Gl1(i,j)*mask+Gl2(i,j)*(1-mask)1≤l12≤N,1≤l1≤N,1≤l2≤N……公式(2)
其中，Gl12表征第l个分辨率层级的融合图像，Gl1表征一帧LDR图像在第l个分辨率层级的下采样图像，mask表征该一帧LDR图像在第l个分辨率层级的下采样图像的融合权重，Gl2表征另一帧LDR图像在第l个分辨率层级的下采样图像，1-mask表征另一帧LDR图像在第l个分辨率层级的下采样图像的融合权重，(i,j)表征下采样图像中的像素点，N表征分辨率层级的数量。
步骤140：电子设备对多张不同分辨率层级的融合图像进行重建，得到HDR图像。
实际应用中，电子设备可以按照各分辨率层级对应的分辨率从低到高的顺序，对各分辨率层级的融合图像迭代进行上采样处理，从而得到HDR图像。例如，电子设备可以按照各分辨率层级对应的分辨率从低到高的顺序，采用下述公式(3)对各分辨率层级的融合图像迭代进行拉普拉斯上采样处理，从而得到HDR图像。
Figure BDA0003511381560000081
其中，Li表征HDR图像，Gi表征第i个分辨率层的融合图像，Gi+1表征第i+1个分辨率层的融合图像，Up表征上采样函数，
Figure BDA0003511381560000082
表征卷积，k5×5表征5×5的卷积内核。
本申请实施例中，为了减少HDR图像生成过程中的实时运算，融合权重字典是预先基于不同像素值组合的融合权重生成的，接下来，对本申请实施例提供的融合权重字典的生成方法进行简单介绍，参阅图2所示，本申请实施例提供的融合权重字典的生成方法的概况流程如下：
步骤210：电子设备将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至神经网络模型，得到各个像素值组合的融合权重；其中，每一像素值组合对应的不同曝光时间的至少两帧单色图像分别为基于该像素值组合包含的至少两个像素值的单色图像，该至少两个像素值的单色图像的曝光时间不同。
实际应用中，电子设备可以将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至神经网络模型，得到各个像素值组合的权重图像后，基于各个像素值组合的权重图像的像素值均值，确定各个像素值组合的融合权重。
步骤220：电子设备将多个像素值组合的融合权重组成融合权重字典。
在上述实现过程中，通过神经网络模型获得多个像素值组合对应的融合权重，可以使得获得的融合权重更加鲁棒，使用范围更加广泛。并且，基于多个像素值组合的融合权重组成融合权重字典后，通过将融合权重字典预先存储在电子设备(如手机等移动终端)中，可以使电子设备无需运行神经网络模型即可来获得融合权重，从而可以减少电子设备的计算量，对于算力相对较弱的电子设备比较友好。
本申请实施例中，用于获取各个像素值组合的融合权重的神经网络模型可以是采用编解码和注意力机制的卷积神经网络模型，参阅图3a所示，该神经网络模型包括：依次连接的第一卷积层、池化层、第一编码模块、第二编码模块、第三编码模块、第一解码模块、第二解码模块和第二卷积层；并且，在第一编码模块和第二解码模块之间连接有第一注意力机制模块，在第二编码模块和第一解码模块之间连接有第二注意力机制模块；其中，参阅图3b所示，第一编码模块、第二编码模块和第三编码模块中的每一编码模块包括：依次连接的第一3×3Relu卷积层、第二3×3Relu卷积层和2×2最大池化层；参阅图3c所示，第一解码模块和第二解码模块中的每一解码模块包括：依次连接的2×2上采样卷积层、第一3×3Relu卷积层和第二3×3Relu卷积层；参阅图3d所示，第一注意力机制模块和第二注意力机制模块中的每一注意力机制模块包括：依次连接的第一1×1卷积层、BN批处理层、第二1×1卷积层和sigmoid函数层。
针对上述神经网络模型，本申请实施例提出了一种神经网络模型的训练方法，参阅图4所示，本申请实施例提供的神经网络模型的训练方法的概况流程如下：
步骤410：获取多个样本图像组合，并确定多个样本图像组合的标准融合权重图像；其中，每一样本图像组合包括至少两帧样本图像。
实际应用中，电子设备针对多个样本图像组合中的每一样本图像组合，可以先确定该样本图像组合包含的至少两帧样本图像融合后的标准HDR图像以及该样本图像组合包含的至少两帧样本图像对应的各样本像素值组合，再分别基于该标准HDR图像中与每一样本像素值组合对应的像素点的像素值，确定每一样本像素值组合的标准融合权重，并基于每一样本像素值组合的标准融合权重，确定该样本图像组合的标准融合权重图像。
步骤420：基于多个样本图像组合和多个样本图像组合的标准融合权重图像，对初始神经网络模型进行训练。
实际应用中，电子设备可以将多个样本图像组合作为初始神经网络模型的训练图像，将多个样本图像组合的标准融合权重图像作为初始神经网络模型训练过程中的标签图像，以此对初始神经网络模型进行迭代训练，以调整初始神经网络模型的各模型参数。
步骤430：确定满足训练结束条件时，获得神经网络模型。
实际应用中，电子设备可以在确定基于损失函数计算出的损失值小于设定阈值时或迭代训练次数达到设定次数时，判定满足训练结束条件，并基于最后一次迭代训练获得的各模型参数，获得神经网络模型。
基于同一发明构思，本申请实施例还提供了一种HDR图像生成装置，参阅图5所示，本申请实施例提供的HDR图像生成装置500至少包括：
图像获取单元501，用于获取不同曝光时间的至少两帧LDR图像；
下采样单元502，用于分别对至少两帧LDR图像进行不同分辨率层级的下采样处理，得到至少两帧LDR图像各自在每一分辨率层级的下采样图像；
图像融合单元503，用于针对每一分辨率层级，基于预先保存的融合权重字典，确定至少两帧LDR图像在分辨率层级的下采样图像对应的融合权重，并基于融合权重对至少两帧LDR图像在分辨率层级的下采样图像进行融合，得到分辨率层级的融合图像；
图像重建单元504，用于对多张不同分辨率层级的融合图像进行重建，得到HDR图像。
在一种可能的实施方式中，融合权重字典包含不同像素值组合的融合权重，每一像素值组合包含至少两个像素值；
基于预先保存的融合权重字典，确定至少两帧LDR图像在分辨率层级的下采样图像对应的融合权重时，图像融合单元503具体用于：
确定至少两帧LDR图像在分辨率层级的下采样图像的各个目标像素值组合；其中，每一目标像素值组合包括至少两个像素点的像素值，至少两个像素点分别属于至少两帧LDR图像在分辨率层级的下采样图像且至少两个像素点在至少两帧LDR图像在分辨率层级的下采样图像中的位置具有对应关系；
基于融合权重字典包含的不同像素值组合的融合权重，确定各个目标像素值组合的融合权重；
将各个目标像素值组合的融合权重确定为至少两帧LDR图像在分辨率层级的下采样图像的融合权重。
在一种可能的实施方式中，基于融合权重对至少两帧LDR图像在分辨率层级的下采样图像进行融合，得到分辨率层级的融合图像时，图像融合单元503具体用于：
基于融合权重对至少两帧LDR图像在分辨率层级的下采样图像进行逐像素的加权融合，得到分辨率层级的融合图像。
在一种可能的实施方式中，分别对至少两帧LDR图像进行不同分辨率层级的下采样处理，得到至少两帧LDR图像各自在每一分辨率层级的下采样图像时，下采样单元502具体用于：
针对至少两帧LDR图像中的每一帧LDR图像，对LDR图像迭代进行不同分辨率层级的下采样处理，得到LDR图像在每一分辨率层级的下采样图像。
在一种可能的实施方式中，对多张不同分辨率层的融合图像进行重建，得到HDR图像时，图像重建单元504具体用于：
按照各分辨率层级对应的分辨率从低到高的顺序，对各分辨率层级的融合图像迭代进行上采样处理，得到HDR图像。
在一种可能的实施方式中，本申请实施例提供的HDR图像生成装置500还包括：
字典生成单元505，用于将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至神经网络模型，得到各个像素值组合的融合权重，将多个像素值组合的融合权重组成融合权重字典；其中，每一像素值组合对应的不同曝光时间的至少两帧单色图像分别为基于像素值组合包含的至少两个像素值的单色图像，至少两个像素值的单色图像的曝光时间不同。
在一种可能的实施方式中，将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至神经网络模型，得到各个像素值组合的融合权重时，字典生成单元505具体用于：
将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至神经网络模型，得到各个像素值组合的权重图像；
基于各个像素值组合的权重图像的像素值均值，确定各个像素值组合的融合权重。
需要说明的是，由于本申请实施例提供的HDR图像生成装置500解决技术问题的原理与本申请实施例提供的HDR图像生成方法相似，因此，本申请实施例提供的HDR图像生成装置500的实施可以参见本申请实施例提供的HDR图像生成方法的实施，重复之处不再赘述。
在介绍了本申请实施例提供的HDR图像生成方法和装置之后，接下来，对本申请实施例提供的电子设备进行简单介绍。
参阅图6所示，本申请实施例提供的电子设备600至少包括：处理器601、存储器602和存储在存储器602上并可在处理器601上运行的计算机程序，处理器601执行计算机程序时实现本申请实施例提供的HDR图像生成方法。
本申请实施例提供的电子设备600还可以包括连接不同组件(包括处理器601和存储器602)的总线603。其中，总线603表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
存储器602可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)6021和/或高速缓存存储器6022，还可以进一步包括只读存储器(ReadOnly Memory，ROM)6023。
存储器602还可以包括具有一组(至少一个)程序模块6024的程序工具6025，程序模块6024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备600也可以与一个或多个外部设备604(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备600交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备600与一个或多个其它电子设备600进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口605进行。并且，电子设备600还可以通过网络适配器606与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器606通过总线603与电子设备600的其它模块通信。应当理解，尽管图6中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。
需要说明的是，图6所示的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
此外，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的HDR图像生成方法。具体地，该计算机指令可以内置在处理器中，这样，处理器就可以通过执行内置的计算机指令实现本申请实施例提供的HDR图像生成方法。
另外，本申请实施例提供的HDR图像生成方法还可以实现为一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码在处理器上运行时实现本申请实施例提供的HDR图像生成方法。
本申请实施例提供的计算机程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read OnlyMemory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供的计算机程序产品可以采用CD-ROM并包括程序代码，还可以在诸如手机、PDA、智能电视、计算机、服务器等电子设备上运行。然而，本申请实施例提供的计算机程序产品不限于此，本申请实施例中，可读存储介质可以是任何包含或存储程序代码的有形介质，该程序代码可以被指令执行系统、装置或者器件使用或者与其结合使用。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种HDR图像生成方法，其特征在于，包括：
获取不同曝光时间的至少两帧LDR图像；
分别对所述至少两帧LDR图像进行不同分辨率层级的下采样处理，得到所述至少两帧LDR图像各自在每一分辨率层级的下采样图像；
针对每一分辨率层级，基于预先保存的融合权重字典，确定所述至少两帧LDR图像在所述分辨率层级的下采样图像对应的融合权重，并基于所述融合权重对所述至少两帧LDR图像在所述分辨率层级的下采样图像进行融合，得到所述分辨率层级的融合图像；
对多张不同分辨率层级的融合图像进行重建，得到HDR图像。
2.如权利要求1所述的HDR图像生成方法，其特征在于，所述融合权重字典包含不同像素值组合的融合权重，每一像素值组合包含至少两个像素值；
基于预先保存的融合权重字典，确定所述至少两帧LDR图像在所述分辨率层级的下采样图像对应的融合权重，包括：
确定所述至少两帧LDR图像在所述分辨率层级的下采样图像的各个目标像素值组合；其中，每一目标像素值组合包括至少两个像素点的像素值，所述至少两个像素点分别属于所述至少两帧LDR图像在所述分辨率层级的下采样图像且所述至少两个像素点在所述至少两帧LDR图像在所述分辨率层级的下采样图像中的位置具有对应关系；
基于所述融合权重字典包含的不同像素值组合的融合权重，确定各个所述目标像素值组合的融合权重；
将各个所述目标像素值组合的融合权重确定为所述至少两帧LDR图像在所述分辨率层级的下采样图像的融合权重。
3.如权利要求2所述的HDR图像生成方法，其特征在于，基于所述融合权重对所述至少两帧LDR图像在所述分辨率层级的下采样图像进行融合，得到所述分辨率层级的融合图像，包括：
基于所述融合权重对所述至少两帧LDR图像在所述分辨率层级的下采样图像进行逐像素的加权融合，得到所述分辨率层级的融合图像。
4.如权利要求1-3任一项所述的HDR图像生成方法，其特征在于，分别对所述至少两帧LDR图像进行不同分辨率层级的下采样处理，得到所述至少两帧LDR图像各自在每一分辨率层级的下采样图像，包括：
针对所述至少两帧LDR图像中的每一帧LDR图像，对所述LDR图像迭代进行不同分辨率层级的下采样处理，得到所述LDR图像在每一分辨率层级的下采样图像。
5.如权利要求1-3任一项所述的HDR图像生成方法，其特征在于，对多张不同分辨率层的融合图像进行重建，得到HDR图像，包括：
按照各分辨率层级对应的分辨率从低到高的顺序，对各分辨率层级的融合图像迭代进行上采样处理，得到所述HDR图像。
6.如权利要求1-5任一项所述的HDR图像生成方法，其特征在于，所述融合权重字典的生成方法包括：
将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至神经网络模型，得到各个所述像素值组合的融合权重，将多个所述像素值组合的融合权重组成融合权重字典；其中，每一像素值组合对应的不同曝光时间的至少两帧单色图像分别为基于所述像素值组合包含的至少两个像素值的单色图像，所述至少两个像素值的单色图像的曝光时间不同。
7.如权利要求6所述的HDR图像生成方法，其特征在于，将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至神经网络模型，得到各个所述像素值组合的融合权重，包括：
将各个像素值组合对应的不同曝光时间的至少两帧单色图像输入至所述神经网络模型，得到各个所述像素值组合的权重图像；
基于各个所述像素值组合的权重图像的像素值均值，确定各个所述像素值组合的融合权重。
8.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的HDR图像生成方法。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码，所述程序代码在处理器上运行时实现如权利要求1-7任一项所述的HDR图像生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如权利要求1-7任一项所述的HDR图像生成方法。
CN202210153086.6A 2022-02-18 2022-02-18 一种hdr图像生成方法、设备、产品及介质 Pending CN114708143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210153086.6A CN114708143A (zh) 2022-02-18 2022-02-18 一种hdr图像生成方法、设备、产品及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210153086.6A CN114708143A (zh) 2022-02-18 2022-02-18 一种hdr图像生成方法、设备、产品及介质

Publications (1)

Publication Number Publication Date
CN114708143A true CN114708143A (zh) 2022-07-05

Family

ID=82167217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210153086.6A Pending CN114708143A (zh) 2022-02-18 2022-02-18 一种hdr图像生成方法、设备、产品及介质

Country Status (1)

Country Link
CN (1) CN114708143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293994A (zh) * 2022-09-30 2022-11-04 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293994A (zh) * 2022-09-30 2022-11-04 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN112308200B (zh) 神经网络的搜索方法及装置
CN110796111B (zh) 图像处理方法、装置、设备及存储介质
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN113011562A (zh) 一种模型训练方法及装置
CN114359289A (zh) 一种图像处理方法及相关装置
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN114283352A (zh) 一种视频语义分割装置、训练方法以及视频语义分割方法
CN113807361A (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN115577768A (zh) 半监督模型训练方法和装置
CN113066018A (zh) 一种图像增强方法及相关装置
CN116597260A (zh) 图像处理方法、电子设备、存储介质及计算机程序产品
CN115424318A (zh) 一种图像识别方法及设备
CN116012395A (zh) 一种基于深度可分离卷积的多尺度融合烟雾分割方法
CN115601820A (zh) 一种人脸伪造图像检测方法、装置、终端及存储介质
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN116630514A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
CN113011320B (zh) 视频处理方法、装置、电子设备及存储介质
CN114708143A (zh) 一种hdr图像生成方法、设备、产品及介质
CN114708173A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
CN115292439A (zh) 一种数据处理方法及相关设备
CN117541668A (zh) 虚拟角色的生成方法、装置、设备及存储介质
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination