CN112422837A - 合成高动态范围图像的方法、装置、设备及存储介质 - Google Patents

合成高动态范围图像的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112422837A
CN112422837A CN201910770944.XA CN201910770944A CN112422837A CN 112422837 A CN112422837 A CN 112422837A CN 201910770944 A CN201910770944 A CN 201910770944A CN 112422837 A CN112422837 A CN 112422837A
Authority
CN
China
Prior art keywords
image
fused
images
noise ratio
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910770944.XA
Other languages
English (en)
Other versions
CN112422837B (zh
Inventor
王涛
陈雪琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Core Ruishi Technology Co ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910770944.XA priority Critical patent/CN112422837B/zh
Publication of CN112422837A publication Critical patent/CN112422837A/zh
Application granted granted Critical
Publication of CN112422837B publication Critical patent/CN112422837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例涉及图像处理技术领域,提供了一种合成高动态范围图像的方法、装置、设备及存储介质,旨在合成整体清晰度更均匀的高动态范围图像,提高图像质量。所述方法包括:根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,每个待融合图集包括多帧整体亮度均匀且整体信噪比均匀的待融合图像;针对所述多种曝光模式中的每种曝光模式,对该种曝光模式对应的待融合图集中的各帧待融合图像进行融合,得到该种曝光模式对应的融合图像,其中,不同种曝光模式对应的融合图像的噪声水平相同;利用高动态范围HDR算法,将多种曝光模式各自对应的融合图像合成为高动态范围图像。

Description

合成高动态范围图像的方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域,具体而言,涉及一种合成高动态范围图像的方法、装置、设备及存储介质。
背景技术
随着图像处理技术的发展,以及具有拍摄功能的电子设备的普及,越来越多的专业或非专业用户借助相机、手机、平板电脑等电子设备拍摄、记录影像。有的电子设备中运行有图像处理软件,用户在拍摄完图像后,图像处理软件自动地对图像进行美化,从而输出美化后的图像。有的电子设备中没有安装图像处理软件,如果用户在拍摄完图像后,需要对图像进行美化,通常需要将图像从电子设备导入安装有图像处理软件的其他设备中,例如计算机,然后借助其他设备中的图像处理软件,对拍摄出的图像进行美化。
在数字图像处理领域,高动态范围图像(High-Dynamic Range,简称HDR)是一种经过美化后的图像。为了获得高动态范围图像,相关技术中,通常利用欠曝光、正常曝光和过曝光等多种曝光模式下的原始图像合成高动态范围图像。然而,采用上述方式所合成的高动态范围图像中,亮部区域和暗部区域的图像清晰度差异很大,导致图像的整体清晰度不均衡。
发明内容
本申请实施例提供一种合成高动态范围图像的方法、装置、设备及存储介质,旨在合成整体清晰度更均匀的高动态范围图像,提高图像质量。
本申请实施例第一方面提供一种合成高动态范围图像的方法,所述方法包括:
根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,每个待融合图集包括多帧整体亮度均匀且整体信噪比均匀的待融合图像;
针对所述多种曝光模式中的每种曝光模式,对该种曝光模式对应的待融合图集中的各帧待融合图像进行融合,得到该种曝光模式对应的融合图像,其中,不同种曝光模式对应的融合图像的噪声水平相同;
利用高动态范围HDR算法,将多种曝光模式各自对应的融合图像合成为高动态范围图像。
可选地,根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,包括:
针对所述多种曝光模式中的每种曝光模式,执行以下步骤:
根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到整体亮度均匀的图像;
对所述整体亮度均匀的图像进行多帧融合,得到整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,对所述整体亮度均匀的图像进行多帧融合,得到整体亮度均匀且整体信噪比均匀的待融合图像,包括:
根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述整体亮度均匀的图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,在镜头采集的原始图像的整体信噪比均匀的情况下,根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,包括:
针对所述多种曝光模式中的每种曝光模式,执行以下步骤:
根据预先确定的待融合图像数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,在镜头采集的原始图像的整体亮度均匀的情况下,根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,包括:
针对所述多种曝光模式中的每种曝光模式,执行以下步骤:
根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述原始图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,所述方法还包括:
按照以下步骤确定亮度补偿参数与图像各个边角区域的对应关系:
控制所述镜头进行图像采集,得到亮度补偿测试图像;
确定所述亮度补偿测试图像的各边角区域分别与中心区域的亮度差;
根据所述各帧边角区域分别对应的亮度差,确定所述各边角区域各自对应的亮度补偿参数。
可选地,所述方法还包括:
按照以下步骤确定待融合图像数量与曝光模式之间的对应关系:
针对所述多种曝光模式中的任一种目标曝光模式,获得该目标曝光模式对应的至少一帧整体亮度均匀且整体信噪比均匀的测试图像;
在所述目标曝光模式对应的任一帧测试图像的噪声水平达到预设噪声水平的情况下,确定所述目标曝光模式对应的待融合图像数量为一;
在所述目标曝光模式对应的任一帧测试图像的噪声水平未达到所述预设噪声水平的情况下,对所述目标曝光模式对应的至少一帧测试图像进行逐帧融合,直到融合后的测试图像的噪声水平达到预设噪声水平为止,并将参与融合的测试图像的数量确定为所述目标曝光模式对应的待融合图像数量。
可选地,所述方法还包括:
按照以下步骤确定信噪比融合图像数量与图像各个边角区域的对应关系:
获得同一场景下的多帧整体亮度均匀的信噪比测试图像;
以所述多帧信噪比测试图像中的任一帧信噪比测试图像为目标信噪比测试图像,确定所述目标信噪比图像的各个边角区域分别与中心区域的信噪比差;
将所述多帧信噪比图像中剩余的信噪比测试图像与所述目标信噪比测试图像进行逐帧融合,直到融合后的图像的各个边角区域与中心区域的信噪比差小于预设阈值为止;
针对每个边角区域,将得到融合后的图像的边角区域与中心区域的信噪比差小于预设阈值所参与融合的信噪比测试图像的数量,确定为该边角区域对应的信噪比融合图像数量。
可选地,所述方法还包括:
按照以下步骤确定图像采集数量与曝光模式之间的对应关系:
将各个图像边角区域各自对应的信噪比融合图像数量中的最大值,确定为所述镜头的信噪比补偿数值;
针对所述多种曝光模式中的每种曝光模式,将该种曝光模式对应的待融合图像数量与所述镜头的信噪比补偿数值的乘积,确定为该种曝光模式对应的图像采集数量。
本申请实施例第二方面提供一种合成高动态范围图像的装置,所述装置包括:
待融合图像获得模块,用于根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,每个待融合图集包括多帧整体亮度均匀且整体信噪比均匀的待融合图像;
图像融合模块,用于针对所述多种曝光模式中的每种曝光模式,对该种曝光模式对应的待融合图集中的各帧待融合图像进行融合,得到该种曝光模式对应的融合图像,其中,不同种曝光模式对应的融合图像的噪声水平相同;
高动态范围图像合成模块,用于利用高动态范围HDR算法,将多种曝光模式各自对应的融合图像合成为高动态范围图像。
可选地,所述待融合图像获得模块包括:
第一原始图像采集子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
第一亮度补偿子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到整体亮度均匀的图像;
第一边角区域融合子模块,用于针对所述多种曝光模式中的每种曝光模式,对所述整体亮度均匀的图像进行多帧融合,得到整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,所述第一边角区域融合子模块包括:
第一边角区域融合子单元,用于根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述整体亮度均匀的图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。可选地,在镜头采集的原始图像的整体信噪比均匀的情况下,所述待融合图像获得模块包括:
第二原始图像采集子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的待融合图像数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
第二亮度补偿子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,在镜头采集的原始图像的整体亮度均匀的情况下,所述待融合图像获得模块包括:
第三原始图像采集子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
第二边角区域融合子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述原始图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,所述装置还包括:
第一对应关系确定模块,用于确定亮度补偿参数与图像各个边角区域的对应关系;所述第一对应关系确定模块包括:
第一测试图像获得子模块,用于控制所述镜头进行图像采集,得到亮度补偿测试图像;
亮度差确定子模块,用于确定所述亮度补偿测试图像的各边角区域分别与中心区域的亮度差;
亮度补偿参数确定子模块,用于根据所述各帧边角区域分别对应的亮度差,确定所述各边角区域各自对应的亮度补偿参数。
可选地,所述装置还包括:
第二对应关系确定模块,用于确定待融合图像数量与曝光模式之间的对应关系;所述第二对应关系确定模块包括:
第二测试图像获得子模块,用于针对所述多种曝光模式中的任一种目标曝光模式,获得该目标曝光模式对应的至少一帧整体亮度均匀且整体信噪比均匀的测试图像;
第一图像数量确定子模块,用于在所述目标曝光模式对应的任一帧测试图像的噪声水平达到预设噪声水平的情况下,确定所述目标曝光模式对应的待融合图像数量为一;
第二图像数量确定子模块,用于在所述目标曝光模式对应的任一帧测试图像的噪声水平未达到所述预设噪声水平的情况下,对所述目标曝光模式对应的至少一帧测试图像进行逐帧融合,直到融合后的测试图像的噪声水平达到预设噪声水平为止,并将参与融合的测试图像的数量确定为所述目标曝光模式对应的待融合图像数量。
可选地,所述装置还包括:
第三对应关系确定模块,用于确定信噪比融合图像数量与图像各个边角区域的对应关系;所述第三对应关系确定模块包括:
第三测试图像获得子模块,用于获得同一场景下的多帧整体亮度均匀的信噪比测试图像;
信噪比差确定子模块,用于以所述多帧信噪比测试图像中的任一帧信噪比测试图像为目标信噪比测试图像,确定所述目标信噪比图像的各个边角区域分别与中心区域的信噪比差;
测试图像融合子模块,用于将所述多帧信噪比图像中剩余的信噪比测试图像与所述目标信噪比测试图像进行逐帧融合,直到融合后的图像的各个边角区域与中心区域的信噪比差小于预设阈值为止;
第三图像数量确定子模块,用于针对每个边角区域,将得到融合后的图像的边角区域与中心区域的信噪比差小于预设阈值所参与融合的信噪比测试图像的数量,确定为该边角区域对应的信噪比融合图像数量。
可选地,所述装置还包括:
第四对应关系确定模块,用于确定图像采集数量与曝光模式之间的对应关系;所述第四对应关系确定模块包括:
补偿数值确定子模块,用于将各个图像边角区域各自对应的信噪比融合图像数量中的最大值,确定为所述镜头的信噪比补偿数值;
采集数量确定子模块,用于针对所述多种曝光模式中的每种曝光模式,将该种曝光模式对应的待融合图像数量与所述镜头的信噪比补偿数值的乘积,确定为该种曝光模式对应的图像采集数量。
本申请实施例第三方面提供一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本申请第一方面所述的方法的步骤。
可选地,所述电子设备还包括镜头,所述镜头用于连续拍摄多帧原始图像。
采用本申请提供的合成高动态范围图像的方法,首先根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的多帧整体亮度均匀且整体信噪比均匀的待融合图像;然后针对每种曝光模式,将其对应帧数的多张待融合图像进行融合,得到其对应的融合图像,其中,不同曝光模式对应的融合图像的噪声水平相同;由于多帧融合图像的噪声水平相同,因此再以多帧融合图像为素材,执行高动态范围HDR算法,可以获得整体清晰度更均衡的高动态范围图像,提高了图像质量。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的合成高动态范围图像的方法的流程图;
图2是本申请另一实施例提出的合成高动态范围图像的方法的流程图;
图3是本申请一实施例提出的原始图像、待融合图像以及融合图像之间的数量关系示意图;
图4是本申请一实施例提出的合成高动态范围图像的装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在数字图像处理领域,高动态范围图像(High-Dynamic Range,简称HDR)是一种经过美化后的图像。相关技术中,为获得高动态范围图像,电子设备在拍摄多帧不同曝光强度的图像后,利用电子设备上运行的HDR算法类软件对这些图像进行处理,得到高动态范围图像。或者,电子设备将拍摄到的多帧不同曝光强度的图像导入其他设备,例如计算机,再通过其他设备上运行的HDR算法类软件对这些图像进行处理,得到高动态范围图像。
本申请发明人发现,无论是采取上述何种方式,得到的高动态范围图像总是存在整体清晰度不均衡的问题。例如在高动态范围图像的亮部区域,图像噪声较弱,而在高动态范围图像的暗部区域,则存在很严重的图像噪声。即使对暗部区域进行局部降噪处理,也会在暗部区域产生严重的涂抹感,图像质量明显低于亮部区域。
而这种整体清晰度不均衡的问题尤其在利用手机进行夜景拍摄时,更为明显。发明人通过分析,发现其原因主要在于,手机拍摄夜景时,无法调整光圈,也无法延长曝光时间,只能通过调整ISO值采集过曝和欠曝图像,采集的过曝图像和正常曝光图像相比,噪声严重。再通过传统的HDR算法对各曝光模式的图像进行融合后,容易产生暗部区域(暗部区域来自过曝图像)噪声特别严重,而亮部区域(亮区来自欠曝图像)基本没有噪声的奇怪现象。此外,在利用大广角摄像头进行拍摄时,在合成的高动态范围图像中,也特别容易产生整体清晰度不均衡的问题。
有鉴于此,为了合成整体清晰度更均匀的高动态范围图像,提高图像质量,本申请发明人预先针对每种曝光模式下的多帧整体亮度均匀且整体信噪比均匀的图像进行融合试验,确定出每种曝光模式分别需要融合多少帧图像,才能使得不同曝光模式对应的融合图像的噪声水平相同。发明人在确定出每种曝光模式对应的融合数量后,记录这些融合数量。
在进行图像处理的时候,针对每种曝光模式,用户手动地或软件自动地获得该曝光模式对应融合数量帧的待融合图像,然后对这些待融合图像进行融合,得到该曝光模式对应的融合图像。如此,得到多种曝光模式各自对应的融合图像,其中,不同种曝光模式各自对应的融合图像的噪声水平相同。最后,再将这些融合图像作为素材,执行高动态范围HDR算法,可以获得整体清晰度更均衡的高动态范围图像,提高图像质量。
本申请可应用于带有摄像功能的电子设备,尤其适用于在夜间环境中进行拍摄活动的手机,以改善夜间拍摄时,高动态范围图像整体清晰度不均衡的问题。此外,本申请也可应用于主要发挥图像处理作用的设备,例如计算机,计算机从带有拍摄功能的电子设备获得原始图像,再针对原始图像执行本申请,进而合成整体清晰度更均匀的高动态范围图像。
参考图1,图1是本申请一实施例提出的合成高动态范围图像的方法的流程图。如图1所示,该方法包括以下步骤:
步骤S11:根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,每个待融合图集包括多帧整体亮度均匀且整体信噪比均匀的待融合图像。
本实施例中,图像的整体亮度均匀可以是指:用于表征图像亮度不均匀程度的数值小于预设阈值。例如,数值a用于表征图像P1的亮度不均匀程度,如果数值a小于预设阈值A,则可以认为图像P1的整体亮度均匀。或者,图像的整体亮度均匀也可以是指:用于表征图像亮度均匀程度的数值大于预设阈值。例如,数值b用于表征图像P2的亮度均匀程度,如果数值b大于预设阈值B,则可以认为图像P2的整体亮度均匀。再例如,可以将图像划分为多个子区域,然后计算多个子区域各自的平均亮度,如果多个子区域中任意两个子区域的平均亮度之差均小于预设阈值(例如2、5或者10等等),则可以认为图像的整体亮度均匀。或者,预先通过肉眼的观察,确定某一镜头拍摄的原始图像的整体亮度均匀,则可以在该镜头被使用期间,默认为该镜头拍摄的原始图像的整体亮度均匀。
本实施例中,图像整体信噪比均匀可以是指:用于表征图像信噪比不均匀程度的数值小于预设阈值。例如,数值c用于表征图像P3的亮度不均匀程度,如果数值c小于预设阈值C,则可以认为图像P3的整体亮度均匀。或者,图像整体信噪比均匀可以是指:用于表征图像信噪比均匀程度的数值大于预设阈值。例如,数值d用于表征图像P4的亮度均匀程度,如果数值d大于预设阈值D,则可以认为图像P4的整体亮度均匀。再例如,可以将图像划分为多个子区域,然后计算多个子区域各自的峰值信噪比psnr,如果多个子区域中任意两个子区域的峰值信噪比psnr之差均小于预设阈值(例如1、2或者5等等),则可以认为图像的整体信噪比均匀。或者,预先通过肉眼的观察,确定某一镜头拍摄的原始图像的整体信噪比均匀,则可以在该镜头被使用期间,默认为该镜头拍摄的原始图像的整体信噪比均匀。
本实施例中,对于待融合图集中包括的每帧待融合图像,其曝光强度与该待融合图集对应的曝光模式相同。例如,欠曝光模式对应的待融合图集中,各帧待融合图像的曝光模式均为欠曝光模式。
在本申请在实施期间,通常情况下,不同曝光模式各自对应的待融合图集中包括的待融合图像的数量,一般是互不相同的。例如,欠曝光模式对应的待融合图集中包括2张待融合图像,正常曝光模式对应的待融合图集中包括4张待融合图像,过曝光模式对应的待融合图集中包括5张待融合图像。应当理解的,上述示例中的具体数据是示意性的,并不限定本申请。
本申请可被应用于多种场景中,例如,在电子设备的镜头所拍摄出的原始图像可以达到整体亮度均匀、且整体信噪比均匀的要求的情况下,如果该电子设备上运行有与本申请相关的软件,则该软件可以根据待融合图像数量与曝光模式之间的对应关系,控制该电子设备的镜头分别在各曝光模式下,连续拍摄曝光模式对应数量帧原始图像,作为待融合图像。
比如该软件首先控制该镜头在欠曝光模式下连续拍摄2帧原始图像,将这2帧原始图像确定为欠曝光模式对应的待融合图像;然后控制该镜头切换至正常曝光模式,并在正常曝光模式下连续拍摄4帧原始图像,将这4帧原始图像确定为正常曝光模式对应的待融合图像;再控制该镜头切换至过曝光模式,并在过曝光模式下连续拍摄5帧原始图像,将这5帧原始图像确定为过曝光模式对应的待融合图像。最后该软件针对所获得的待融合图像,执行后述步骤S12和S13,得到高动态范围图像。
又例如,在电子设备的镜头所拍摄出的原始图像可以达到整体亮度均匀、且整体信噪比均匀的要求的情况下,用户可以将电子设备拍摄的原始图像导入其他设备(比如计算机)中。该其他设备中运行有与本申请相关的软件,该软件针对每种曝光模式,获得相应数量的原始图像,并将获得的原始图像确定为该曝光模式对应的多帧待融合图像,以执行后述步骤S12和S13,得到高动态范围图像。
参考图2,图2是本申请另一实施例提出的合成高动态范围图像的方法的流程图。例如在电子设备的镜头所拍摄出的原始图像不能达到整体亮度均匀、且整体信噪比均匀的要求的情况下,如图2所示,为了针对多种曝光模式中的每种曝光模式,获得该曝光模式对应的待融合图集,可针对该曝光模式执行以下步骤:
步骤S11-1:根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
步骤S11-2:根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到整体亮度均匀的图像;
步骤S11-3:对所述整体亮度均匀的图像进行多帧融合,得到整体亮度均匀且整体信噪比均匀的待融合图像。
其中,针对步骤S11-3,提出一种具体的实施方式:根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述整体亮度均匀的图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
示例地,参考图3,图3是本申请一实施例提出的原始图像、待融合图像以及融合图像之间的数量关系示意图。
如图3所示,欠曝光模式与待融合图像数量之间的对应关系是:欠曝光模式对应2帧待融合图像数量。欠曝光模式与图像采集数量之间的对应关系是:欠曝光模式对应8帧原始图像。待融合图像与原始图像之间的对应关系是:一帧待融合图像来自于4帧原始图像。
在欠曝光模式下,通过镜头连续采集8帧原始图像。考虑到原始图像各边角的亮度与中心区域的亮度不一致,于是根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,针对欠曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到整体亮度均匀的图像。假设,原始图像左上角区域对应的亮度补偿参数是L1,右上角区域对应的亮度补偿参数是L2,则针对8帧原始图像中的每帧原始图像,利用L1对该帧原始图像的左上角区域进行亮度补偿,利用L2对该帧原始图像的右上角区域进行亮度补偿。
然后从8帧亮度补偿后的图像中取出前4帧图像,根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,基于这前4帧图像,针对各个边角区域进行融合,得到整体亮度均匀且整体信噪比均匀的待融合图像。假设,左上角区域与信噪比融合图像数量的对应关系是:左上角区域对应3帧图像;右上角区域与信噪比融合图像数量的对应关系是:右上角区域对应4帧图像。根据此对应关系,从上述前4帧图像中取出其中的3帧进行左上角区域的融合,从上述前4帧图像中取出全部的4帧进行右上角区域的融合,融合后的左上角区域的信噪比,与融合后的右上角区域的信噪比基本一致。
在针对多个边角分别执行多帧融合后,得到欠曝光模式下的一帧整体亮度均匀、且整体信噪比均匀的待融合图像。再从8帧亮度补偿后的图像中取出后4帧图像,通过相同的方式,得到欠曝光模式下的另一帧整体亮度均匀、且整体信噪比均匀的待融合图像,从而总共得到欠曝光模式下的2帧待融合图像。应当理解的,为了提高效率,可以采用并行处理的方式,同时获得欠曝光模式下的2帧待融合图像。
此外,又例如在电子设备的镜头所拍摄出的原始图像的整体信噪比均匀、而整体亮度不均匀的情况下,为了针对多种曝光模式中的每种曝光模式,获得该曝光模式对应的待融合图集,可针对该曝光模式执行以下步骤:
步骤S11-A:根据预先确定的待融合图像数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
步骤S11-B:根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
示例地,假设欠曝光模式与待融合图像数量之间的对应关系是:欠曝光模式对应2帧待融合图像数量。在欠曝光模式下,通过镜头连续拍摄2帧原始图像。然后对每帧原始图像的各个边角区域分别进行亮度补偿,具体的补偿方式可参考上述步骤S11-2所对应的示例。如此,总共得到欠曝光模式下的2帧待融合图像。
此外,又例如在电子设备的镜头所拍摄出的原始图像的整体亮度均匀、而整体信噪比不均匀的情况下,为了针对多种曝光模式中的每种曝光模式,获得该曝光模式对应的待融合图集,可针对该曝光模式执行以下步骤:
S11-X根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
S11-Y根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述原始图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
示例地,假设欠曝光模式与待融合图像数量之间的对应关系是:欠曝光模式对应2帧待融合图像数量。欠曝光模式与图像采集数量之间的对应关系是:欠曝光模式对应8帧原始图像。待融合图像与原始图像之间的对应关系是:一帧待融合图像来自于4帧原始图像。
在欠曝光模式下,通过镜头连续采集8帧原始图像。然后对每帧原始图像的各个边角区域进行融合处理,具体的处理方式可参考上述步骤S11-3所对应的示例。如此,总共得到欠曝光模式下的2帧待融合图像。步骤S12:针对所述多种曝光模式中的每种曝光模式,对该种曝光模式对应的待融合图集中的各帧待融合图像进行融合,得到该种曝光模式对应的融合图像,其中,不同种曝光模式对应的融合图像的噪声水平相同。
本实施例中,不同种曝光模式对应的融合图像的噪声水平相同可以是指:用于表征各融合图像的噪声水平差异程度的数值小于预设阈值。例如,数值e用于表征各融合图像的噪声水平差异程度,如果数值e小于预设阈值E,则可以认为各融合图像的噪声水平相同。或者,不同种曝光模式对应的融合图像的噪声水平相同也可以是指:用于表征各融合图像的噪声水平相似程度的数值大于预设阈值。例如,数值f用于表征各融合图像的噪声水平相似程度,如果数值f大于预设阈值F,则可以认为各融合图像的噪声水平相同。
示例地,如图3所示,在对欠曝光模式对应的2帧待融合图像进行融合后,得到欠曝光模式对应的融合图像。在对正常曝光模式对应的4帧待融合图像进行融合后,得到正常曝光模式对应的融合图像。在对过曝光模式对应的5帧待融合图像进行融合后,得到过曝光模式对应的融合图像。多种曝光模式各自对应的融合图像的噪声水平相同。
步骤S13:利用高动态范围HDR算法,将多种曝光模式各自对应的融合图像合成为高动态范围图像。
示例地,如图3所示,对三种曝光模式分别对应的融合图像执行高动态范围HDR算法,合成高动态范围图像。
应当理解的,图3所示的三种曝光模式是示意性的,并不用于限定本申请。例如,也可以针对严重欠曝光、欠曝光、过曝光以及严重过曝光等四种曝光模式,执行步骤S11至步骤S13,获得高动态范围图像。或者,还可以针对严重欠曝光、欠曝光、正常曝光以及过曝光等四种曝光模式,执行步骤S11至步骤S13,获得高动态范围图像。
一方面,通过执行包括上述步骤S11至步骤S13的合成高动态范围图像的方法,在经过步骤S11和步骤S12后,可以获得多种曝光模式各自对应的融合图像,由于多帧融合图像的噪声水平相同,因此再以多帧融合图像为素材,执行高动态范围HDR算法,可以获得整体清晰度更均衡的高动态范围图像,提高了图像质量。
另一方面,由于该合成高动态范围图像的方法采用融合的方式,获得多种曝光模式各自对应的融合图像,再针对各融合图像执行高动态范围HDR算法,合成高动态范围图像,此方式对算力的要求不高,并且每种曝光模式对应的待融合图像数量是预先确定的,因此可以加快执行速度,更高效地合成高动态范围图像。
此外,为了在上述步骤S11-1至步骤S11-3之前,预先确定亮度补偿参数与图像各个边角区域的对应关系,可以执行以下步骤:
步骤S01-1:控制所述镜头进行图像采集,得到亮度补偿测试图像;
步骤S01-2:确定所述亮度补偿测试图像的各边角区域分别与中心区域的亮度差;
步骤S01-3:根据所述各帧边角区域分别对应的亮度差,确定所述各边角区域各自对应的亮度补偿参数。
示例地,可以预先在实验室中,或者用户在使用电子设备前对电子设备进行调试时,控制镜头在任意曝光模式下拍摄灰卡或白墙,得到亮度补偿测试图像。然后计算该亮度补偿测试图像中心区域内各像素点的第一平均亮度,并针对该亮度补偿测试图像的每个边角区域,计算该边角区域中各像素点的第二平均亮度,如此,可以根据第一平均亮度和多个边角区域各自对应的第二平均亮度,确定多个边角区域分别与中心区域的亮度差。最后针对每个边角区域,根据该边角区域对应的亮度差,确定该边角区域对应的亮度补偿参数。通常情况下,亮度差越大,说明需要进行亮度补偿的力度越大,亮度补偿参数相应越大。
确定出的各边角区域各自对应的亮度补偿参数可写入软件中,电子设备在拍摄图像时运行该软件,可以自动为拍摄出的图像进行亮度补偿。
本申请在实施期间,通常情况下,各边角区域的亮度补偿参数是针对镜头缺陷的,对于不同的曝光模式下的相同边角区域,都可利用相同的亮度补偿参数进行亮度补偿。
此外,为了在上述步骤S11-1至步骤S11-3之前,预先确定信噪比融合图像数量与图像各个边角区域的对应关系,可以执行以下步骤:
步骤S02-1:获得同一场景下的多帧整体亮度均匀的信噪比测试图像;
步骤S02-2:以所述多帧信噪比测试图像中的任一帧信噪比测试图像为目标信噪比测试图像,确定所述目标信噪比图像的各个边角区域分别与中心区域的信噪比差;
步骤S02-3:将所述多帧信噪比图像中剩余的信噪比测试图像与所述目标信噪比测试图像进行逐帧融合,直到融合后的图像的各个边角区域与中心区域的信噪比差小于预设阈值为止;
步骤S02-4:针对每个边角区域,将得到融合后的图像的边角区域与中心区域的信噪比差小于预设阈值所参与融合的信噪比测试图像的数量,确定为该边角区域对应的信噪比融合图像数量。
示例地,可以预先在实验室中,或者用户在使用电子设备前对电子设备进行调试时,控制镜头在任意曝光模式下连续拍摄解析力卡和24色卡,获得多帧原始图像,然后针对每帧原始图像进行亮度补偿后,得到多帧整体亮度均匀的信噪比测试图像。然后以其中任一帧信噪比测试图像为目标信噪比测试图像,确定该目标信噪比测试图像的各个边角区域分别与中心区域的信噪比差。
假设其左上角区域与中心区域的信噪比差为h1,其右上角区域与中心区域的信噪比差为h2,其左下角区域与中心区域的信噪比差为h3,其右下角区域与中心区域的信噪比差为h4。然后利用其余的信噪比测试图像,逐帧地与目标信噪比测试图像进行融合,每融合一帧,确定各边角区域在融合后与原中心区域的信噪比差。假设在融合第一帧后,左下角区域与原中心区域的信噪比差h3’小于预设阈值,则可以确定左下角区域对应的信噪比融合图像数量为2。然后继续融合第二帧,在融合第二帧后,可以不必计算左下角区域与原中心区域的信噪比差,而仅关心其余三个边角区域分别与中心区域的信噪比差。如此逐帧地融合、叠加,即可确定出多个边角区域分别对应的信噪比融合图像数量。
如表1所示,表1示意性地示出了多个边角区域分别对应的信噪比融合图像数量。应当理解的,表1仅发挥示意性作用,不用于限定本申请。
表1信噪比融合图像数量与图像各个边角区域的对应关系
Figure BDA0002173536180000171
Figure BDA0002173536180000181
本申请在实施期间,通常情况下,各边角区域的信噪比融合图像数量是针对镜头缺陷的,对于不同的曝光模式下的相同边角区域,都可利用相同的信噪比融合图像数量进行信噪比调节。
此外,为了在上述步骤S11之前,预先确定待融合图像数量与曝光模式之间的对应关系,可以执行以下步骤:
S03-1:针对所述多种曝光模式中的任一种目标曝光模式,获得该目标曝光模式对应的至少一帧整体亮度均匀且整体信噪比均匀的测试图像;
S03-2:在所述目标曝光模式对应的任一帧测试图像的噪声水平达到预设噪声水平的情况下,确定所述目标曝光模式对应的待融合图像数量为一;
S03-3:在所述目标曝光模式对应的任一帧测试图像的噪声水平未达到所述预设噪声水平的情况下,对所述目标曝光模式对应的至少一帧测试图像进行逐帧融合,直到融合后的测试图像的噪声水平达到预设噪声水平为止,并将参与融合的测试图像的数量确定为所述目标曝光模式对应的待融合图像数量。
示例地,以目标曝光模式为欠曝光模式,剩余曝光模式包括正常曝光模式和过曝光模式为例,可以预先在实验室中,或者用户在使用电子设备前对电子设备进行调试时,获得欠曝光模式对应的至少一帧整体亮度均匀、且整体信噪比均匀的测试图像。比如,可以参考上述一些实施例所提供的方式,在欠曝光模式下控制镜头拍摄多帧原始图像,然后将多帧原始图像分为至少一个分组,每个分组中的各原始图像经过融合得到一帧测试图像,进而获得欠曝光模式对应的至少一帧测试图像。
然后针对欠曝光模式下的任一帧测试图像,判断其噪声水平是否达到达到预设噪声水平。如果达到,则说明一帧测试图像的图像噪声较低,可以将欠曝光模式对应的待融合图像数量确定为1。
如果欠曝光模式下的一帧测试图像的噪声水平未达到预设噪声水平,则说明一帧测试图像的图像噪声较高,于是逐帧地将各测试图像进行融合,每融合一帧,确定融合后的噪声水平是否达到预设噪声水平。如果达到,则说明融合后的图像噪声较低,可以将参与融合的测试图像的数量确定为欠曝光模式对应的待融合图像数量。
再针对其余曝光模式中的每种曝光模式,将该曝光模式作为目标曝光模式,获得其对应的至少一帧整体亮度均匀、且整体信噪比均匀的测试图像。例如针对过曝光模式,获得过曝光模式对应的至少一帧整体亮度均匀、且整体信噪比均匀的测试图像。比如,可以参考上述一些实施例所提供的方式,在过曝光模式下控制镜头拍摄多帧原始图像,然后将多帧原始图像分为至少一个分组,每个分组中的各原始图像经过融合得到一帧测试图像,进而获得过曝光模式对应的至少一帧测试图像。
接着逐帧地将各测试图像进行融合,每融合一帧,确定融合后的噪声水平是否达到预设噪声水平。如果达到,则说明融合后的图像噪声较低,可以将参与融合的测试图像的数量确定为过曝光模式对应的待融合图像数量。
如表2所示,表2示意性地示出了多种曝光模式分别对应的待融合图像数量。应当理解的,表2仅发挥示意性作用,不用于限定本申请。
表2待融合图像数量与曝光模式之间的对应关系
曝光模式 待融合图像数量(帧)
欠曝光模式 2
正常曝光模式 4
过曝光模式 5
通过执行步骤S03-1至步骤S03-5,确定了多种曝光模式分别对应的待融合图像数量,使得将来在合成高动态范围图像期间,不同曝光模式根据对应数量的待融合图像合成各自的融合图像后,各融合图像的噪声水平相同,并且噪声水平均大于预设阈值,换言之,噪声水平均较低,以至于进一步提高图像质量。
此外,为了在上述步骤S11-1至步骤S11-3之前,预先确定图像采集数量与曝光模式之间的对应关系,可以执行以下步骤:
S04-1:将各个图像边角区域各自对应的信噪比融合图像数量中的最大值,确定为所述镜头的信噪比补偿数值;
S04-2:针对所述多种曝光模式中的每种曝光模式,将该种曝光模式对应的待融合图像数量与所述镜头的信噪比补偿数值的乘积,确定为该种曝光模式对应的图像采集数量。
示例地,沿用上述表1和表2。如表1所示,各个图像边角区域各自对应的信噪比融合图像数量中的最大值是4,于是确定镜头的信噪比补偿数值是4。然后针对欠曝光模式,将其对应的待融合图像数量与信噪比补偿数值相乘,乘积为8。如此,确定出欠曝光模式对应的图像采集数量是8。基于同样的方式,确定出正常曝光模式对应的图像采集数量是16,过曝光模式对应的图像采集数量是20。
基于同一发明构思,本申请一实施例提供一种合成高动态范围图像的装置。参考图4,图4是本申请一实施例提出的合成高动态范围图像的装置的示意图。如图4所示,该装置包括:
待融合图像获得模块41,用于根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,每个待融合图集包括多帧整体亮度均匀且整体信噪比均匀的待融合图像;
图像融合模块42,用于针对所述多种曝光模式中的每种曝光模式,对该种曝光模式对应的待融合图集中的各帧待融合图像进行融合,得到该种曝光模式对应的融合图像,其中,不同种曝光模式对应的融合图像的噪声水平相同;
高动态范围图像合成模块43,用于利用高动态范围HDR算法,将多种曝光模式各自对应的融合图像合成为高动态范围图像。
可选地,所述待融合图像获得模块包括:
第一原始图像采集子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
第一亮度补偿子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到整体亮度均匀的图像;
第一边角区域融合子模块,用于针对所述多种曝光模式中的每种曝光模式,对所述整体亮度均匀的图像进行多帧融合,得到整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,所述第一边角区域融合子模块包括:
第一边角区域融合子单元,用于根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述整体亮度均匀的图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,在镜头采集的原始图像的整体信噪比均匀的情况下,所述待融合图像获得模块包括:
第二原始图像采集子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的待融合图像数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
第二亮度补偿子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,在镜头采集的原始图像的整体亮度均匀的情况下,所述待融合图像获得模块包括:
第三原始图像采集子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
第二边角区域融合子模块,用于针对所述多种曝光模式中的每种曝光模式,根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述原始图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
可选地,所述装置还包括:
第一对应关系确定模块,用于确定亮度补偿参数与图像各个边角区域的对应关系;所述第一对应关系确定模块包括:
第一测试图像获得子模块,用于控制所述镜头进行图像采集,得到亮度补偿测试图像;
亮度差确定子模块,用于确定所述亮度补偿测试图像的各边角区域分别与中心区域的亮度差;
亮度补偿参数确定子模块,用于根据所述各帧边角区域分别对应的亮度差,确定所述各边角区域各自对应的亮度补偿参数。
可选地,所述装置还包括:
第二对应关系确定模块,用于确定待融合图像数量与曝光模式之间的对应关系;所述第二对应关系确定模块包括:
第二测试图像获得子模块,用于针对所述多种曝光模式中的任一种目标曝光模式,获得该目标曝光模式对应的至少一帧整体亮度均匀且整体信噪比均匀的测试图像;
第一图像数量确定子模块,用于在所述目标曝光模式对应的任一帧测试图像的噪声水平达到预设噪声水平的情况下,确定所述目标曝光模式对应的待融合图像数量为一;
第二图像数量确定子模块,用于在所述目标曝光模式对应的任一帧测试图像的噪声水平未达到所述预设噪声水平的情况下,对所述目标曝光模式对应的至少一帧测试图像进行逐帧融合,直到融合后的测试图像的噪声水平达到预设噪声水平为止,并将参与融合的测试图像的数量确定为所述目标曝光模式对应的待融合图像数量。
可选地,所述装置还包括:
第三对应关系确定模块,用于确定信噪比融合图像数量与图像各个边角区域的对应关系;所述第三对应关系确定模块包括:
第三测试图像获得子模块,用于获得同一场景下的多帧整体亮度均匀的信噪比测试图像;
信噪比差确定子模块,用于以所述多帧信噪比测试图像中的任一帧信噪比测试图像为目标信噪比测试图像,确定所述目标信噪比图像的各个边角区域分别与中心区域的信噪比差;
测试图像融合子模块,用于将所述多帧信噪比图像中剩余的信噪比测试图像与所述目标信噪比测试图像进行逐帧融合,直到融合后的图像的各个边角区域与中心区域的信噪比差小于预设阈值为止;
第三图像数量确定子模块,用于针对每个边角区域,将得到融合后的图像的边角区域与中心区域的信噪比差小于预设阈值所参与融合的信噪比测试图像的数量,确定为该边角区域对应的信噪比融合图像数量。
可选地,所述装置还包括:
第四对应关系确定模块,用于确定图像采集数量与曝光模式之间的对应关系;所述第四对应关系确定模块包括:
补偿数值确定子模块,用于将各个图像边角区域各自对应的信噪比融合图像数量中的最大值,确定为所述镜头的信噪比补偿数值;
采集数量确定子模块,用于针对所述多种曝光模式中的每种曝光模式,将该种曝光模式对应的待融合图像数量与所述镜头的信噪比补偿数值的乘积,确定为该种曝光模式对应的图像采集数量。
基于同一发明构思,本申请另一实施例提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请上述任一实施例所述的合成高动态范围图像的方法中的步骤。
基于同一发明构思,本申请另一实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现本申请上述任一实施例所述的合成高动态范围图像的方法中的步骤。
可选地,所述电子设备还包括镜头,所述镜头用于连续拍摄多帧原始图像。
如果在某一曝光模式下,该镜头可以直接拍摄出整体亮度均匀且整体信噪比均匀的原始图像,则可以根据预先确定的待融合图像数量与该曝光模式之间的对应关系,控制该镜头在该曝光模式下拍摄对应数量帧原始图像。然后将这些原始图像作为待融合图像,进行融合,得到该曝光模式对应的融合图像。
如果在某一曝光模式下,该镜头不能直接拍摄出整体亮度均匀且整体信噪比均匀的原始图像,则可以根据图像采集数量与曝光模式之间的对应关系,控制该镜头在该曝光模式下拍摄对应数量帧原始图像,得到该曝光模式下的多帧原始图像。然后再将多帧原始图像划分为多个分组,对每个分组中的原始图像进行亮度补偿和边角融合,得到该曝光模式下的多帧整体亮度均匀且整体信噪比均匀的待融合图像。最后这些待融合图像进行融合,得到该曝光模式对应的融合图像。
此外,该镜头在某一曝光模式下连续拍摄多帧原始图像后,需要切换至另一曝光模式下又连续拍摄多帧原始图像,最终获得每种曝光模式分别对应的多帧原始图像,不同曝光模式各自对应的图像采集数量可能互不相同。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各帧实施例均采用递进的方式描述,每帧实施例重点说明的都是与其他实施例的不同之处,各帧实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一帧或多帧其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一帧机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一帧流程或多帧流程和/或方框图一帧方框或多帧方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一帧流程或多帧流程和/或方框图一帧方框或多帧方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一帧流程或多帧流程和/或方框图一帧方框或多帧方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一帧实体或者操作与另一帧实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一帧……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种合成高动态范围图像的方法、装置、设备及存储介质,进行了详细介绍,本文中应用了具体帧例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种合成高动态范围图像的方法,其特征在于,所述方法包括:
根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,每个待融合图集包括多帧整体亮度均匀且整体信噪比均匀的待融合图像;
针对所述多种曝光模式中的每种曝光模式,对该种曝光模式对应的待融合图集中的各帧待融合图像进行融合,得到该种曝光模式对应的融合图像,其中,不同种曝光模式对应的融合图像的噪声水平相同;
利用高动态范围HDR算法,将多种曝光模式各自对应的融合图像合成为高动态范围图像。
2.根据权利要求1所述的方法,其特征在于,根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,包括:
针对所述多种曝光模式中的每种曝光模式,执行以下步骤:
根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到整体亮度均匀的图像;
对所述整体亮度均匀的图像进行多帧融合,得到整体亮度均匀且整体信噪比均匀的待融合图像。
3.根据权利要求2所述的方法,其特征在于,对所述整体亮度均匀的图像进行多帧融合,得到整体亮度均匀且整体信噪比均匀的待融合图像,包括:
根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述整体亮度均匀的图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
4.根据权利要求1所述的方法,其特征在于,在镜头采集的原始图像的整体信噪比均匀的情况下,根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,包括:
针对所述多种曝光模式中的每种曝光模式,执行以下步骤:
根据预先确定的待融合图像数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
根据预先确定的亮度补偿参数与图像各个边角区域的对应关系,对该种曝光模式对应的每帧原始图像,按照相应的亮度补偿参数对该帧原始图像的各个边角区域分别进行亮度补偿,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
5.根据权利要求1所述的方法,其特征在于,在镜头采集的原始图像的整体亮度均匀的情况下,根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,包括:
针对所述多种曝光模式中的每种曝光模式,执行以下步骤:
根据预先确定的图像采集数量与曝光模式之间的对应关系,通过镜头在该种曝光模式下连续采集相应数量的原始图像;
根据预先确定的信噪比融合图像数量与图像各个边角区域的对应关系,对所述原始图像的各个边角区域,选择相应数量的整体亮度均匀的图像进行多帧融合,得到符合所述待融合图像数量的整体亮度均匀且整体信噪比均匀的待融合图像。
6.根据权利要求2至4任一所述的方法,其特征在于,所述方法还包括:
按照以下步骤确定亮度补偿参数与图像各个边角区域的对应关系:
控制所述镜头进行图像采集,得到亮度补偿测试图像;
确定所述亮度补偿测试图像的各边角区域分别与中心区域的亮度差;
根据所述各帧边角区域分别对应的亮度差,确定所述各边角区域各自对应的亮度补偿参数。
7.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
按照以下步骤确定待融合图像数量与曝光模式之间的对应关系:
针对所述多种曝光模式中的任一种目标曝光模式,获得该目标曝光模式对应的至少一帧整体亮度均匀且整体信噪比均匀的测试图像;
在所述目标曝光模式对应的任一帧测试图像的噪声水平达到预设噪声水平的情况下,确定所述目标曝光模式对应的待融合图像数量为一;
在所述目标曝光模式对应的任一帧测试图像的噪声水平未达到所述预设噪声水平的情况下,对所述目标曝光模式对应的至少一帧测试图像进行逐帧融合,直到融合后的测试图像的噪声水平达到预设噪声水平为止,并将参与融合的测试图像的数量确定为所述目标曝光模式对应的待融合图像数量。
8.根据权利要求3或5所述的方法,其特征在于,所述方法还包括:
按照以下步骤确定信噪比融合图像数量与图像各个边角区域的对应关系:
获得同一场景下的多帧整体亮度均匀的信噪比测试图像;
以所述多帧信噪比测试图像中的任一帧信噪比测试图像为目标信噪比测试图像,确定所述目标信噪比图像的各个边角区域分别与中心区域的信噪比差;
将所述多帧信噪比图像中剩余的信噪比测试图像与所述目标信噪比测试图像进行逐帧融合,直到融合后的图像的各个边角区域与中心区域的信噪比差小于预设阈值为止;
针对每个边角区域,将得到融合后的图像的边角区域与中心区域的信噪比差小于预设阈值所参与融合的信噪比测试图像的数量,确定为该边角区域对应的信噪比融合图像数量。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
按照以下步骤确定图像采集数量与曝光模式之间的对应关系:
将各个图像边角区域各自对应的信噪比融合图像数量中的最大值,确定为所述镜头的信噪比补偿数值;
针对所述多种曝光模式中的每种曝光模式,将该种曝光模式对应的待融合图像数量与所述镜头的信噪比补偿数值的乘积,确定为该种曝光模式对应的图像采集数量。
10.一种合成高动态范围图像的装置,其特征在于,所述装置包括:
待融合图像获得模块,用于根据预先确定的待融合图像数量与曝光模式之间的对应关系,获得多种曝光模式各自对应的待融合图集,每个待融合图集包括多帧整体亮度均匀且整体信噪比均匀的待融合图像;
图像融合模块,用于针对所述多种曝光模式中的每种曝光模式,对该种曝光模式对应的待融合图集中的各帧待融合图像进行融合,得到该种曝光模式对应的融合图像,其中,不同种曝光模式对应的融合图像的噪声水平相同;
高动态范围图像合成模块,用于利用高动态范围HDR算法,将多种曝光模式各自对应的融合图像合成为高动态范围图像。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1至9任一所述的方法中的步骤。
12.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至9任一所述的方法的步骤。
13.根据权利要求12所述的电子设备,其特征在于,所述电子设备还包括镜头,所述镜头用于连续拍摄多帧原始图像。
CN201910770944.XA 2019-08-20 2019-08-20 合成高动态范围图像的方法、装置、设备及存储介质 Active CN112422837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910770944.XA CN112422837B (zh) 2019-08-20 2019-08-20 合成高动态范围图像的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910770944.XA CN112422837B (zh) 2019-08-20 2019-08-20 合成高动态范围图像的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112422837A true CN112422837A (zh) 2021-02-26
CN112422837B CN112422837B (zh) 2022-07-05

Family

ID=74780294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910770944.XA Active CN112422837B (zh) 2019-08-20 2019-08-20 合成高动态范围图像的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112422837B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979504A (zh) * 2022-05-25 2022-08-30 深圳市汇顶科技股份有限公司 相机拍摄参数确定方法、装置及存储介质
WO2024098260A1 (zh) * 2022-11-08 2024-05-16 Oppo广东移动通信有限公司 图像确定方法和装置、图像处理方法和装置、电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592270A (zh) * 2015-12-18 2016-05-18 广东欧珀移动通信有限公司 图像亮度补偿方法、装置及终端设备
CN105791707A (zh) * 2015-12-31 2016-07-20 北京金山安全软件有限公司 一种图像处理的方法、装置及电子设备
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN107623820A (zh) * 2017-11-03 2018-01-23 维沃移动通信有限公司 一种拍摄方法、装置及移动终端
CN108337447A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 高动态范围图像曝光补偿值获取方法、装置、设备及介质
CN109218626A (zh) * 2018-11-23 2019-01-15 维沃移动通信有限公司 一种拍照方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592270A (zh) * 2015-12-18 2016-05-18 广东欧珀移动通信有限公司 图像亮度补偿方法、装置及终端设备
CN105791707A (zh) * 2015-12-31 2016-07-20 北京金山安全软件有限公司 一种图像处理的方法、装置及电子设备
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN107623820A (zh) * 2017-11-03 2018-01-23 维沃移动通信有限公司 一种拍摄方法、装置及移动终端
CN108337447A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 高动态范围图像曝光补偿值获取方法、装置、设备及介质
CN109218626A (zh) * 2018-11-23 2019-01-15 维沃移动通信有限公司 一种拍照方法及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979504A (zh) * 2022-05-25 2022-08-30 深圳市汇顶科技股份有限公司 相机拍摄参数确定方法、装置及存储介质
CN114979504B (zh) * 2022-05-25 2024-05-07 深圳市汇顶科技股份有限公司 相机拍摄参数确定方法、装置及存储介质
WO2024098260A1 (zh) * 2022-11-08 2024-05-16 Oppo广东移动通信有限公司 图像确定方法和装置、图像处理方法和装置、电子设备

Also Published As

Publication number Publication date
CN112422837B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
US8977073B2 (en) Apparatus and method for blending multiple images
CN109862282B (zh) 人物图像处理方法和装置
CN110225248B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN108337445B (zh) 拍照方法、相关设备及计算机存储介质
US11431915B2 (en) Image acquisition method, electronic device, and non-transitory computer readable storage medium
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
RU2562918C2 (ru) Устройство для съемки изображения, система для съемки изображения и способ управления устройством для съемки изображения
US8013909B2 (en) Method and apparatus for adjusting exposure in digital imaging
CN106464815B (zh) 高动态范围成像的快速自适应混合的系统以及方法
CN107534737B (zh) 一种拍摄图片的方法及装置
EP1924966A2 (en) Adaptive exposure control
CN108156369B (zh) 图像处理方法和装置
CN104144298A (zh) 一种宽动态图像合成方法
CN105578068A (zh) 一种高动态范围图像的生成方法、装置及移动终端
CN108335272B (zh) 一种拍摄图片的方法及设备
CN111316635B (zh) 相机控制方法及装置
CN110636227B (zh) 高动态范围hdr图像合成方法及集成该方法的高速相机
JP2014155001A (ja) 画像処理装置及び画像処理方法
CN112422837B (zh) 合成高动态范围图像的方法、装置、设备及存储介质
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
CN114531551B (zh) 图像处理方法及装置、电子设备、存储介质
JP6632724B2 (ja) ハイダイナミックレンジビデオ/イメージングのための、露光時間セットを低減するためのデバイスおよび方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220608

Address after: 518115 floor 201, floor 3-5, building 9 and floor 3-5, building 17, Silian industrial village, 228 Industrial Zone, Silian community, Henggang street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen core Ruishi Technology Co.,Ltd.

Address before: 100086 316-318, block a, Rongke Information Center, No.2, south academy of Sciences Road, Haidian District, Beijing

Applicant before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant