CN115147304A - 图像融合方法、装置、电子设备和存储介质、产品 - Google Patents
图像融合方法、装置、电子设备和存储介质、产品 Download PDFInfo
- Publication number
- CN115147304A CN115147304A CN202210768909.6A CN202210768909A CN115147304A CN 115147304 A CN115147304 A CN 115147304A CN 202210768909 A CN202210768909 A CN 202210768909A CN 115147304 A CN115147304 A CN 115147304A
- Authority
- CN
- China
- Prior art keywords
- image
- weight
- pyramid
- map
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 386
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 23
- 238000007499 fusion processing Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000003705 background correction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 25
- 238000010606 normalization Methods 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像融合方法、装置、电子设备和存储介质、产品，该方法包括：获取在不同曝光参数下所拍摄的多帧原始图像，将多帧原始图像进行拉伸处理，得到多帧中间图像；其中，中间图像的位宽大于原始图像的位宽。根据多帧原始图像计算多帧中间图像的融合权重，基于融合权重对多帧中间图像进行图像融合，得到目标图像。由于不同曝光参数下所拍摄的多帧原始图像可以分别捕捉到不同动态范围的图像细节，且对多帧原始图像进行拉伸处理，所得到的多帧中间图像的位宽更大，可以包含更多的图像信息。再根据多帧原始图像计算多帧中间图像的融合权重，基于融合权重对多帧中间图像进行图像融合，就可以得到包含更多图像信息的高动态范围的目标图像。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、电子设备和存储介质、产品。
背景技术
随着计算机技术的快速发展，图像处理相关技术也得到了较快发展。随之，各个不同领域都对高质量图像提出了广泛需求，而高质量图像可以是高动态范围图像即HDR(Hight Dynamic Range)图像。具体的，可以将电子设备在不同的曝光时间下所拍摄的普通图像进行合成，得到高动态范围图像。由于高动态范围图像为基于多帧普通图像进行合成所得到的图像，因此，高动态范围图像相比普通图像，可以提供更多的动态范围和图像细节，能够更好的还原人眼观察到的场景。
然而，采用传统方法所合成的高动态范围图像的图像质量仍然较低，不能满足人们对图像质量越来越高的要求。
发明内容
本申请实施例提供了一种图像融合方法、装置、电子设备、计算机可读存储介质，可以提高了所合成的高动态范围图像的图像质量。
一方面，提供了一种图像融合方法，所述方法包括：
获取在不同曝光参数下所拍摄的多帧原始图像；
将所述多帧原始图像进行拉伸处理，得到多帧中间图像；所述中间图像的位宽大于所述原始图像的位宽；
根据所述多帧原始图像计算所述多帧中间图像的融合权重，基于所述融合权重对所述多帧中间图像进行图像融合，得到目标图像。
另一方面，提供了一种图像融合装置，所述装置包括：
原始图像获取模块，用于获取在不同曝光参数下所拍摄的多帧原始图像；
中间图像获取模块，用于将所述多帧原始图像进行拉伸处理，得到多帧中间图像；所述中间图像的位宽大于所述原始图像的位宽；
图像融合模块，用于根据所述多帧原始图像计算所述多帧中间图像的融合权重，基于所述融合权重对所述多帧中间图像进行图像融合，得到目标图像。
另一方面，提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的图像融合方法的步骤。
另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像融合方法的步骤。
另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的图像融合方法的步骤。
上述图像融合方法、装置、电子设备和存储介质、产品，获取在不同曝光参数下所拍摄的多帧原始图像，将多帧原始图像进行拉伸处理，得到多帧中间图像；其中，中间图像的位宽大于原始图像的位宽。根据多帧原始图像计算多帧中间图像的融合权重，基于融合权重对多帧中间图像进行图像融合，得到目标图像。由于不同曝光参数下所拍摄的多帧原始图像可以分别捕捉到不同动态范围的图像细节，且对多帧原始图像进行拉伸处理，所得到的多帧中间图像的位宽更大，可以包含更多的图像信息，因此，再根据多帧原始图像计算多帧中间图像的融合权重，基于融合权重对多帧中间图像进行图像融合，就可以得到包含更多图像信息的高动态范围的目标图像。进而，提高了所合成的高动态范围图像的图像质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像融合方法的应用环境图；
图2为一个实施例中图像融合方法的流程图；
图3为一个实施例中针对同一场景拍摄得到的长曝图像、中曝图像及短曝图像的示意图；
图4为图2中进行图像融合，得到目标图像方法的流程图；
图5为一个实施例中，将长曝图像转化为灰度图，再将灰度图转化为图像金字塔过程的示意图；
图6为一个实施例中若融合权重图包括第一融合权重图，计算融合权重图方法的流程图；
图7为图6中计算与第一图像金字塔对应的第一权重金字塔方法的流程图；
图8为一个实施例中基于长曝图像的第一图像金字塔，计算与第一图像金字塔对应的第一权重金字塔过程的示意图；
图9为一个实施例中基于中曝图像的第一图像金字塔，计算与第一图像金字塔对应的第一权重金字塔过程的示意图；
图10为一个实施例中基于短曝图像的第一图像金字塔，计算与第一图像金字塔对应的第一权重金字塔过程的示意图；
图11为一个实施例中基于第一权重金字塔生成第一融合权重图过程的示意图；
图12为一个实施例中根据灰度图对应的图像金字塔及图像金字塔对应的权重金字塔，计算与灰度图对应的中间图像的融合权重图方法的流程图；
图13为一个实施例中对灰度图的亮度直方图进行均衡化处理过程的示意图；
图14为图12中根据第二图像金字塔结合与灰度图对应的第二高斯曲线，计算与第二图像金字塔对应的第二权重金字塔方法的流程图；
图15为一个实施例中基于第二权重金字塔生成第二融合权重图过程的示意图；
图16为一个实施例中将第一融合权重图及第二融合权重图进行相乘，得到新的融合权重图过程的示意图；
图17为一个实施例中生成多帧原始图像过程的示意图；
图18为另一个实施例中图像融合方法的流程图；
图19为一个具体的实施例中图像融合方法的示意图；
图20为一个实施例中图像融合装置的结构框图；
图21为图20中图像融合模块的结构框图；
图22为图21中融合权重图计算单元的结构框图；
图23为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像金字塔称为第二图像金字塔，且类似地，可将第二图像金字塔称为第一图像金字塔。第一图像金字塔和第二图像金字塔两者都是图像金字塔，但其不是同一图像金字塔。
图1为一个实施例中图像融合方法的应用环境示意图。如图1所示，该应用环境包括电子设备120，电子设备120获取在不同曝光参数下所拍摄的多帧原始图像；将多帧原始图像进行拉伸处理，得到多帧中间图像；中间图像的位宽大于原始图像的位宽；根据多帧原始图像计算多帧中间图像的融合权重，基于融合权重对多帧中间图像进行图像融合，得到目标图像。其中，电子设备120可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
图2为一个实施例中图像融合方法的流程图。本实施例中的图像融合方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像融合方法包括步骤220至步骤260，其中，
步骤220，获取在不同曝光参数下所拍摄的多帧原始图像。
拍摄场景的光线或亮度信息具有不确定性，为了拍摄出清晰的图像，便可以将摄像头的曝光参数设置为不同的数值，并进行拍摄得到多帧原始图像。此处的曝光参数包括但不限于感光度、曝光量、曝光时长等其中的一种或多种，当其他参数不变时，则增长曝时间即得到过曝(长曝)的曝光参数；当其他参数不变时，缩短曝时间即得到欠曝(短曝)的曝光参数。可以设置在按下拍摄按钮的时候，就对应在不同的拍摄参数下连续拍摄多帧原始图像，从而，获取到在不同曝光参数下所拍摄的多帧原始图像。如图3所示，从左到右依次为电子设备对同一场景在过曝曝光参数下所拍摄的长曝图像、在正常曝光参数下所拍摄的中曝图像及在欠曝曝光参数下所拍摄的短曝图像。
其中，不同曝光参数下所拍摄的多帧原始图像可以分别捕捉到场景中不同动态范围的图像细节。场景的“动态范围”是指画面中从最暗的阴影部分到最亮的高光部分的光度分布范围。
这里的多帧原始图像可以是RGB三通道图像(简称RGB图像)或RGBW四通道图像(简称RGBW图像)，本申请对此不做限定。其中，RGB三通道图像包括R通道(红色通道)、G通道(绿色通道)、B通道(蓝色通道)这三个通道的图像，即原始图像包括红色像素(R像素)、绿色像素(G像素)、蓝色像素(B像素)。其中，RGBW四通道图像包括R通道(红色通道)、G通道(绿色通道)、B通道(蓝色通道)、及W通道(白色通道)这四个通道的图像，即原始图像包括红色像素(R像素)、绿色像素(G像素)、蓝色像素(B像素)以及全色像素(或称之为W像素)。
步骤240，将多帧原始图像进行拉伸处理，得到多帧中间图像；其中，中间图像的位宽大于原始图像的位宽。
其中，拉伸处理是指对待调整图像进行线性拉伸，图像的线性拉伸就是将待调整图像中所有的像素点按照线性变换函数进行变换，线性拉伸可以包括直接线性拉伸、裁剪线性拉伸以及分段式拉伸等。线性拉伸的原理可以理解为：亮度值或者色度值的范围为0-127的一帧图像不能显示更清晰的细节，如果将该图像的亮度值或者色度值进行拉伸处理，即将亮度值或者色度值的范围由0-127拉伸至0-255，得到拉伸处理后的图像，该图像就能够显示更清晰的细节。
一般情况下，对原始图像进行拉伸处理后所得到的中间图像(Middle Image)的位宽大于原始图像的位宽。例如，在上述例子中，亮度值或者色度值的范围为0-255的一帧图像即为8Bit图像。例如，8Bit图像的输出格式为8Bit，即表示该图像的亮度值或者色度值是用位宽8Bit的变量存储的。相应地，亮度值或者色度值的范围为0-127的一帧图像即为6Bit图像。例如，6Bit图像的输出格式为6Bit，即表示该图像的亮度值或者色度值是用位宽6Bit的变量存储的。在该例子中，多帧原始图像均为6Bit图像，多帧中间图像(Middle Image)均为8Bit图像，因此，中间图像(Middle Image)的位宽大于原始图像的位宽。即多帧中间图像(Middle Image)相比较于多帧原始图像包含更多的图像信息。当然，在该例子中，多帧原始图像也可以均为10Bit图像，多帧中间图像(Middle Image)均为16Bit图像，本申请对此不做限定。
步骤260，根据多帧原始图像计算多帧中间图像的融合权重，基于融合权重对多帧中间图像进行图像融合，得到目标图像。
由于多帧中间图像(Middle Image)的位宽大于原始图像的位宽，因此，若采用多帧中间图像(Middle Image)计算多帧中间图像(Middle Image)的融合权重，则计算量较大、会造成CPU或GPU的负荷较大。这里，由于多帧原始图像的位宽小于中间图像(MiddleImage)的位宽，因此，可以根据多帧原始图像来计算多帧中间图像(Middle Image)的融合权重，使得计算量较小，可以避免出现CPU或GPU负荷较大的情况。
具体的，可以基于每帧原始图像计算与该原始图像对应的中间图像(MiddleImage)的融合权重图，然后基于各中间图像(Middle Image)的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。
本申请实施例中，获取在不同曝光参数下所拍摄的多帧原始图像，将多帧原始图像进行拉伸处理，得到多帧中间图像(Middle Image)；其中，中间图像(Middle Image)的位宽大于原始图像的位宽。根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，得到目标图像。由于不同曝光参数下所拍摄的多帧原始图像可以分别捕捉到不同动态范围的图像细节，且对多帧原始图像进行拉伸处理，所得到的多帧中间图像(Middle Image)的位宽更大，可以包含更多的图像信息，因此，再根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，就可以得到包含更多图像信息的高动态范围的目标图像。进而，提高了所合成的高动态范围图像的图像质量。
在上一个实施例中，描述了获取在不同曝光参数下所拍摄的多帧原始图像，将多帧原始图像进行拉伸处理，得到多帧中间图像(Middle Image)。并根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，得到目标图像的过程。在本实施例中，如图4所示，详细说明步骤260，根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，得到目标图像的具体实现步骤，包括：
步骤262，针对多帧原始图像中的各原始图像，将原始图像转化为灰度图。
由于不同曝光参数下所拍摄的多帧原始图像可以分别捕捉到场景中不同动态范围的图像细节，即多帧原始图像中的同一区域的亮度不同，因此，在对多帧中间图像(Middle Image)进行图像融合时，主要是为了得到亮度分布更加均匀的目标图像。而灰度图(Gray Image)就能够很好地体现出图像中的亮度分布情况，所以，在进行图像融合时，针对多帧原始图像中的各原始图像，可以先将原始图像转化为灰度图(Gray Image)。然后，根据灰度图(Gray Image)，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图。
假设原始图像为RGB图像，则在针对多帧原始图像中的各原始图像，将原始图像转化为灰度图(Gray Image)时，可以采用平均法、加权平均法等方法将RGB图像转换为灰度图(Gray Image)，本申请对此不做限定。这里所得到的灰度图(Gray Image)的位宽与原始图像的位宽一致，因此，为了减少计算量，可以对该灰度图(Gray Image)进行右移处理，得到位宽较小的灰度图(Gray Image)。
其中，平均法指的是将同一个像素对应的RGB三通道的值进行平均，得到该像素的灰度值的方法。
例如，采用平均法的公式如下所示：
I(x,y)＝1/3×I_R(x,y)+1/3×I_G(x,y)+1/3×I_B(x,y) 公式(1-1)
其中，I_R(x,y)、I_G(x,y)、I_B(x,y)为原始图像中位于(x,y)的像素I的R通道的值、G通道的值、B通道的值，I(x,y)表示像素I对应的转换后的灰度值。然后，对I(x,y)进行右移处理得到位宽较小的灰度值Gray_Y。例如，多帧原始图像为10Bit图像，假设Gray_Y＝I(x,y)>>2，表示对I(x,y)进行右移2位得到位宽为8的灰度值Gray_Y。即将10Bit的原始图像转化为了8Bit的灰度图(Gray Image)。
其中，加权平均法指的是将同一个像素对应的RGB三通道的值进行加权平均，得到该像素的灰度值的方法。例如，采用加权平均法的公式如下所示：
I(x,y)＝0.3×I_R(x,y)+0.59×I_G(x,y)+0.11×I_B(x,y) 公式(1-2)
然后，对I(x,y)进行右移处理得到位宽较小的灰度值Gray_Y。例如，多帧原始图像为10Bit图像，假设Gray_Y＝I(x,y)>>2，表示对I(x,y)进行右移2位得到位宽为8的灰度值Gray_Y。即将10Bit的原始图像转化为了8Bit的灰度图(Gray Image)。
当然，还可以采用如下公式将10Bit的原始图像转化为了8Bit的灰度图(GrayImage)：
Gray_Y＝([77,150,29]*[I_R(x,y),I_G(x,y),I_B(x,y)])>>10 公式(1-3)
这里，由于分别给I_R(x,y)、I_G(x,y)、I_B(x,y)乘以了77/150/29，然后再对相乘的结果进行求和，相当于将位宽为10的I_R(x,y)、I_G(x,y)、I_B(x,y)，扩大至位宽为18。因此，对([77,150,29]*[I_R(x,y),I_G(x,y),I_B(x,y)])进行右移10位得到位宽为8的灰度值Gray_Y。即将10Bit的原始图像转化为了8Bit的灰度图(Gray Image)。
步骤264，根据灰度图，计算与灰度图对应的中间图像的融合权重图。
在得到了位宽较小的灰度图(Gray Image)之后，就可以根据灰度图(GrayImage)，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图。由于得到了位宽较小的灰度图(Gray Image)，因此，根据灰度图(Gray Image)计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图，就可以大大减少计算融合权重图过程中的计算量。
具体的，可以结合灰度图(Gray Image)的图像金字塔来计算，与灰度图(GrayImage)对应的中间图像(Middle Image)的融合权重图。其中，图像金字塔是以一系列以金字塔形状排列的分辨率逐步降低的图像的集合。金字塔的底部为高分辨率的待处理图像(例如灰度图(Gray Image)的原图)，而顶部是低分辨率的待处理图像。当金字塔从底部向顶部移动时，图像的尺寸和分辨率都会降低。如图5所示，为一个实施例中，将长曝图像转化为灰度图(Gray Image)，再将灰度图(Gray Image)转化为图像金字塔(Gray Pyramid)过程的示意图。结合图5所示，为将金字塔进行倒置后的示意图，L1层图像为金字塔的底部(灰度图原图)，Ln层图像为金字塔的顶部，将灰度图(Gray Image)原图进行下采样就得到了不同层的图像。同理，可以得到中曝图像的图像金字塔、短曝图像的图像金字塔。
这里的图像金字塔可以是高斯金字塔，也可以是拉布拉斯金字塔，本申请对此不做限定。其中，高斯金字塔包括通过高斯平滑和亚采样获得的一系列下采样图像，也就是说第k层高斯金字塔通过平滑、亚采样就可以获得k+1层高斯图像。高斯金字塔包含了一系列低通滤波器，其截至频率从上一层到下一层是以因子2逐渐增加，所以高斯金字塔可以跨越很大的频率范围。而拉普拉斯金字塔包括将原图进行先缩小后再放大所得到的一系列图像，可以将拉普拉斯金字塔理解为高斯金字塔的逆形式。
步骤266，基于各中间图像的融合权重图对多帧中间图像进行加权融合处理，得到目标图像。
其中，各中间图像(Middle Image)的融合权重图中包含中间图像(Middle Image)中各像素对应的融合权重。因此，在得到了各中间图像(Middle Image)的融合权重图之后，就可以针对各中间图像(Middle Image)中处于同一位置的像素，从该中间图像(MiddleImage)的融合权重图中获取到与该像素对应的融合权重，然后，将该像素的像素值乘以该像素对应的融合权重，得到了待融合像素值。最后，将各中间图像(Middle Image)中同一位置的像素对应的待融合像素值相加，得到了该像素融合后的像素值。
最终，就可以基于各中间图像(Middle Image)中所有处于同一位置像素的融合后的像素值，得到了目标图像。
本申请实施例中，在对多帧中间图像(Middle Image)进行图像融合时，主要是为了得到亮度分布更加均匀的目标图像。而灰度图(Gray Image)就能够很好地体现出图像中的亮度分布情况，所以，在进行图像融合时，针对多帧原始图像中的各原始图像，可以先将原始图像转化为灰度图(Gray Image)。然后，再根据灰度图(Gray Image)，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图。最后，基于各中间图像(Middle Image)的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。如此，由于灰度图(Gray Image)能够很好地体现出图像中的亮度分布情况，因此，基于灰度图(Gray Image)计算出的中间图像(Middle Image)的融合权重图就能够对各中间图像(Middle Image)的亮度进行较好的融合。最终，基于各中间图像(Middle Image)的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像，就可以提高目标图像中亮度分布均匀性。即就可以得到包含更多图像信息的高动态范围的目标图像。进而，提高了所合成的高动态范围图像的图像质量。
在上一个实施例中，描述了根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，得到目标图像的具体实现步骤。本实施例中，进一步详细说明步骤264，根据灰度图(Gray Image)，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图的具体实现方式，包括：
根据灰度图(Gray Image)对应的图像金字塔及图像金字塔对应的权重金字塔，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图。
具体的，在得到了长曝图像的图像金字塔、中曝图像的图像金字塔、短曝图像的图像金字塔之后，结合高斯曲线计算图像金字塔对应的权重金字塔。其中，针对长曝图像的图像金字塔，预设与之对应的高斯曲线。同理，针对中曝图像的图像金字塔，预设与之对应的高斯曲线；针对短曝图像的图像金字塔，预设与之对应的高斯曲线。
其中，可以根据长曝图像的图像金字塔、中曝图像的图像金字塔、短曝图像的图像金字塔的亮度分布情况，基于经验设置与之对应的高斯曲线。具体的，可以采用以下公式来生成高斯曲线：
其中，σ是方差参数，μ是均值参数，这两个参数均为根据图像金字塔的亮度分布情况，基于经验所设置的。
基于高斯曲线，就可以得到查找表(Lut，Look-Up-Table)。假设长曝图像的灰度图(Gray Image)为8Bit图像，则该查找表上记录了将x∈[0,255]中的任意一个整数输入至上述公式(1-5)之后，输出y＝Weightexpo之间的映射关系。即Lut查找表中记录了256对(x,y)之间的映射关系。
然后，针对长曝图像的图像金字塔，结合与之对应的高斯曲线计算图像金字塔对应的权重金字塔。同理，针对中曝图像的图像金字塔，结合与之对应的高斯曲线计算图像金字塔对应的权重金字塔。针对短曝图像的图像金字塔，结合与之对应的高斯曲线计算图像金字塔对应的权重金字塔。此时，可以基于图像金字塔直接结合Lut查找表，计算图像金字塔对应的权重金字塔。因为Lut查找表中记录了高斯曲线中输入与输出之间的映射关系，所以基于图像金字塔直接结合Lut查找表，计算图像金字塔对应的权重金字塔，就可以基于图像金字塔中像素的像素值直接查询Lut查找表，得到与该像素的像素值对应的融合权重。进而，基于图像金字塔中所有像素的像素值对应的融合权重，得到与该图像金字塔对应的权重金字塔。相当于不需要基于图像金字塔中像素的像素值实际结合高斯曲线进行计算，直接查询Lut查找表就可以得到与该像素的像素值对应的融合权重。因此，可以加快图像融合处理的速度，提高图像处理效率。
本申请实施例中，根据长曝图像的图像金字塔、中曝图像的图像金字塔、短曝图像的图像金字塔的亮度分布情况，基于经验设置与之对应的高斯曲线。预先基于高斯曲线可以得出Lut查找表，因此，基于图像金字塔中像素的像素值直接查询Lut查找表就可以得到与该像素的像素值对应的权重。因此，可以加快图像融合处理的速度，提高图像处理效率。
在上一个实施例中，描述了根据灰度图(Gray Image)对应的图像金字塔及图像金字塔对应的权重金字塔，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图。本实施例中，如图6所示，详细描述了若融合权重图包括第一融合权重图(exposure_map)，则根据灰度图(Gray Image)对应的图像金字塔及图像金字塔对应的权重金字塔，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图的具体实现方式，包括：
步骤620，创建与灰度图对应的第一图像金字塔。
针对静止场景，获取在不同曝光参数下所拍摄的多帧原始图像，则由于多帧原始图像所拍摄的是静止场景，不存在运动物体，所以，多帧原始图像中并不会出现运动物体导致的鬼影。因此，若多帧原始图像所拍摄的是静止场景，则在基于融合权重对多帧中间图像(Middle Image)进行图像融合时，只需要基于普通的融合权重图(exposure_map)对多帧中间图像(Middle Image)进行图像融合，即可得到最终的目标图像，不需要考虑去鬼影权重图。
具体的，结合图5所示，为将长曝图像的灰度图(Gray Image)转化为第一图像金字塔的示意图。按照预设缩放比例依次对长曝图像的灰度图(Gray Image)进行缩放处理，生成与该长曝图像的灰度图(Gray Image)对应的第一图像金字塔(简称长曝图像的第一图像金字塔)；按照预设缩放比例依次对中曝图像的灰度图(Gray Image)进行缩放处理，生成与该中曝图像的灰度图(Gray Image)对应的第一图像金字塔(简称中曝图像的第一图像金字塔)；按照预设缩放比例依次对短曝图像的灰度图(Gray Image)进行缩放处理，生成与该短曝图像的灰度图(Gray Image)对应的第一图像金字塔(简称短曝图像的第一图像金字塔)。其中，第一图像金字塔包括n层第一参考图像，其中，第1层的第一参考图像为灰度图(GrayImage)原图。这里，预设缩放比例可以基于经验来确定，例如，假设预设缩放比例为1/2、灰度图(Gray Image)原图的分辨率为3840×2160，则第2层的第一参考图像的分辨率为1920×1080，则第3层的第一参考图像的分辨率为960×540，如此以此类推，直到生成第n层的第一参考图像。当然，本申请并不对此进行限定。
当然，在对灰度图(Gray Image)进行缩放处理，生成与灰度图(Gray Image)对应的第一图像金字塔时，也可以按照不同的预设缩放比例依次对灰度图(Gray Image)进行缩放处理。例如，在对第1层的第一参考图像进行缩放处理时，基于1/2的预设缩放比例进行缩放；而在对第2层的第一参考图像进行缩放处理时，基于1/5的预设缩放比例进行缩放；第3层的第一参考图像进行缩放处理时，基于1/4的预设缩放比例进行缩放；……，如此以此类推，直到生成第n层的第一参考图像。当然，本申请并不对此进行限定。
步骤640，根据第一图像金字塔结合与灰度图对应的第一高斯曲线，计算与第一图像金字塔对应的第一权重金字塔。
针对长曝图像、中曝图像、短曝图像，在分别得到了与之对应的灰度图(GrayImage)的第一图像金字塔之后，根据第一图像金字塔结合与该灰度图(Gray Image)对应的第一高斯曲线，计算与第一图像金字塔对应的第一权重金字塔。
具体的，首先，获取与灰度图(Gray Image)对应的第一高斯曲线。针对长曝图像、中曝图像、短曝图像的灰度图(Gray Image)，由于这三类图像的亮度分布情况不同，则基于经验所设置的第一高斯曲线的参数也并不同，进而，所生成的第一高斯曲线也不同。其次，根据第一图像金字塔中的各层第一参考图像结合第一高斯曲线，计算与各第一参考图像对应的第一权重图像。基于第一图像金字塔中第1层的第一参考图像直到第n层的第一参考图像中像素的像素值，结合第一高斯曲线，计算与该像素的像素值对应的融合权重，进而得到与各层第一参考图像对应的第一权重图像。当然，这里也可以基于第一图像金字塔中第1层的第一参考图像直到第n层的第一参考图像中像素的像素值，直接查询该第一图像金字塔对应的Lut查找表，得到与该像素的像素值对应的融合权重，进而得到与各层第一参考图像对应的第一权重图像。
最后，基于第一图像金字塔中各第一参考图像对应的第一权重图像，生成与第一图像金字塔对应的第一权重金字塔。即基于与第1层的第一参考图像直到第n层的第一参考图像分别对应的第一权重图像，生成与第一图像金字塔对应的第一权重金字塔。
步骤660，对第一权重金字塔进行重建，生成与灰度图对应的中间图像的第一融合权重图。
基于第一图像金字塔中第1层的第一参考图像直到第n层的第一参考图像，得到了第一权重金字塔包含第1层的第一权重图像直到第n层的第一权重图像，即得到了第一权重金字塔。第一权重金字塔包含了对灰度图(Gray Image)进行下采样所得到的各层第一参考图像的权重信息，那么，在需要得到与灰度图(Gray Image)对应的中间图像(MiddleImage)的第一融合权重图(exposure_map)时，就需要对第一权重金字塔中的各层第一权重图像进行上采样及累加处理，得到一帧与灰度图(Gray Image)分辨率相同的第一融合权重图(exposure_map)。
本申请实施例中，创建与灰度图(Gray Image)对应的第一图像金字塔，根据第一图像金字塔结合与灰度图(Gray Image)对应的第一高斯曲线，计算与第一图像金字塔对应的第一权重金字塔。对第一权重金字塔进行重建，生成与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)。
首先，对灰度图(Gray Image)进行下采样得到第1层的第一参考图像直到第n层的第一参考图像，基于第1层的第一参考图像直到第n层的第一参考图像得到灰度图(GrayImage)对应的第一图像金字塔。然后，基于第一图像金字塔中第1层的第一参考图像直到第n层的第一参考图像中像素的像素值，结合第一高斯曲线，计算与该像素的像素值对应的融合权重，进而得到与各层第一参考图像对应的第一权重图像，再基于各层第一权重图像生成与第一图像金字塔对应的第一权重金字塔。最后，对第一权重金字塔中的各层第一权重图像进行上采样及累加处理，得到一帧与灰度图(Gray Image)分辨率相同的第一融合权重图(exposure_map)。如此，一方面，先对灰度图(Gray Image)进行下采样结合第一高斯曲线，生成第一权重金字塔，因此，可以从不同分辨率的图像中提取出权重信息，提高了所提取出的权重信息的准确性。另一方面，再对第一权重金字塔中的各层第一权重图像进行上采样及累加处理，得到一帧与灰度图(Gray Image)分辨率相同的第一融合权重图(exposure_map)。如此，由于第一融合权重图与灰度图(Gray Image)的分辨率相同，所以，就可以基于第一融合权重图对灰度图(Gray Image)对应的中间图像(Middle Image)进行图像融合，得到目标图像。
在一个实施例中，如图7所示，步骤640，根据第一图像金字塔结合与灰度图(GrayImage)对应的第一高斯曲线，计算与第一图像金字塔对应的第一权重金字塔，包括：
步骤642，获取与灰度图对应的第一高斯曲线。
可以基于经验值设置与灰度图(Gray Image)对应的第一高斯曲线。具体的，可以采用以下公式来生成第一高斯曲线：
其中，σ是方差参数，μ是均值参数，这两个参数均为根据灰度图(Gray Image)的亮度分布情况，基于经验所设置的。
基于第一高斯曲线，就可以得到查找表(Lut，Look-Up-Table)。假设灰度图(GrayImage)为8Bit图像，则该查找表上记录了将x∈[0,255]中的任意一个整数输入至上述公式(1-5)之后，输出y＝Weightexpo之间的映射关系。即Lut查找表中记录了256对(x,y)之间的映射关系。
由于生成第一高斯曲线的方差参数、均值参数均是根据灰度图(Gray Image)的亮度分布情况，基于经验所设置的。那么，针对长曝图像、中曝图像、短曝图像的灰度图(GrayImage)，由于这三类图像的亮度分布情况不同，则基于经验所设置的方差参数、均值参数也并不同，进而，所生成的第一高斯曲线也不同。
具体的，针对长曝图像的灰度图(Gray Image)，与长曝图像的灰度图(GrayImage)对应的第一高斯曲线如图8中(a)所示，可知长曝图像的灰度图(Gray Image)对应的第一高斯曲线倾向于覆盖亮度较低的像素区域，以使最终融合生成的目标图像中的暗区主要取长曝图像中的信息。针对中曝图像的灰度图(Gray Image)，与中曝图像的灰度图(GrayImage)对应的第一高斯曲线如图9中(a)所示，可知中曝图像的灰度图(Gray Image)对应的第一高斯曲线倾向于覆盖亮度大小中等的像素区域，以使最终融合生成的目标图像中的亮度大小中等的区域主要取中曝图像中的信息。针对短曝图像的灰度图(Gray Image)，与短曝图像的灰度图(Gray Image)对应的第一高斯曲线如图10中(a)所示，可知短曝图像的灰度图(Gray Image)对应的第一高斯曲线倾向于覆盖亮度较高的像素区域，以使最终融合生成的目标图像中的亮区主要取短曝图像中的信息。
步骤644，根据第一图像金字塔中的各层第一参考图像结合第一高斯曲线，计算与各第一参考图像对应的第一权重图像；
步骤646，基于第一图像金字塔中各第一参考图像对应的第一权重图像，生成与第一图像金字塔对应的第一权重金字塔。
如图8所示，为一个实施例中基于长曝图像的第一图像金字塔生成第一权重金字塔的示意图。针对长曝图像的第一图像金字塔，基于第一图像金字塔中第1层的第一参考图像直到第n层的第一参考图像中像素的像素值，结合图8中(a)所示的第一高斯曲线，计算与该像素的像素值对应的融合权重，分别得到与第1层的第一参考图像直到第n层的第一参考图像对应的第一初始融合权重图(initial weight map)。再对第一初始融合权重图(initial weight map)进行归一化处理，生成归一化处理(normalization)后的第一初始融合权重图。基于第1层直到第n层的归一化处理(normalization)后的第一初始融合权重图，生成了与长曝图像的第一图像金字塔对应的第一权重金字塔。
如图9所示，为一个实施例中基于中曝图像的第一图像金字塔生成第一权重金字塔的示意图。针对中曝图像的第一图像金字塔，基于第一图像金字塔中第1层的第一参考图像直到第n层的第一参考图像中像素的像素值，结合图9中(a)所示的第一高斯曲线，计算与该像素的像素值对应的融合权重，分别得到与第1层的第一参考图像直到第n层的第一参考图像对应的第一初始融合权重图(initial weight map)。再对第一初始融合权重图(initial weight map)进行归一化处理，生成归一化处理(normalization)后的第一初始融合权重图。基于第1层直到第n层的归一化处理(normalization)后的第一初始融合权重图，生成了与中曝图像的第一图像金字塔对应的第一权重金字塔。
如图10所示，为一个实施例中基于短曝图像的第一图像金字塔生成第一权重金字塔的示意图。针对短曝图像的第一图像金字塔，基于第一图像金字塔中第1层的第一参考图像直到第n层的第一参考图像中像素的像素值，结合图10中(a)所示的第一高斯曲线，计算与该像素的像素值对应的融合权重，分别得到与第1层的第一参考图像直到第n层的第一参考图像对应的第一初始融合权重图(initial weight map)。再对第一初始融合权重图(initial weight map)进行归一化处理，生成归一化处理(normalization)后的第一初始融合权重图。基于第1层直到第n层的归一化处理(normalization)后的第一初始融合权重图，生成了与短曝图像的第一图像金字塔对应的第一权重金字塔。
本申请实施例中，首先，针对长曝图像、中曝图像、短曝图像的灰度图(GrayImage)，分别设置与之对应的不同的第一高斯曲线。其次，针对长曝图像的第一图像金字塔中的各层第一参考图像结合对应的第一高斯曲线，计算与长曝图像的第一图像金字塔对应的第一权重金字塔。同理，针对中曝图像、短曝图像的第一图像金字塔，分别计算与中曝图像的第一图像金字塔对应的第一权重金字塔、与短曝图像的第一图像金字塔对应的第一权重金字塔。如此，实现了从长曝图像、中曝图像、短曝图像的第一图像金字塔中，采用不同的第一高斯曲线提取不同亮度区域的不同第一权重。
例如，从长曝图像的第一图像金字塔中所提取的权重为暗区的权重较大；从中曝图像的第一图像金字塔中所提取的权重为亮度大小中等的区域的权重较大；从短曝图像的第一图像金字塔中所提取的权重为亮区的权重较大。进而，使最终融合生成的目标图像中的暗区主要取长曝图像中的信息、亮度大小中等的区域主要取中曝图像中的信息、亮区主要取短曝图像中的信息。最终，使得目标图像的融合效果较好。
在一个实施例中，步骤660，对第一权重金字塔进行重建，生成与灰度图(GrayImage)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)，包括：
将第一权重金字塔中各层第一权重图像，从第n层的第一权重图像开始依次向上进行上采样及累加处理，直到第1层的第一权重图像为止，生成与第一权重金字塔对应的第一融合权重图；
将与第一权重金字塔对应的第一融合权重图，作为与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)。
具体的，针对长曝图像、中曝图像、短曝图像的灰度图(Gray Image)对应的第一权重金字塔，分别进行重建生成与该灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)。即生成长曝图像的灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)；生成中曝图像的灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)；生成短曝图像的灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)。
如图11所示，以生成长曝图像的灰度图(Gray Image)对应的中间图像(MiddleImage)的第一融合权重图(exposure_map)来举例说明。图11左侧为长曝图像对应的第一权重金字塔，该第一权重金字塔包括n层第一权重图像。其中，L1层的第一权重图像为金字塔的底部，Ln层的第一权重图像为金字塔的顶部。第一步，从Ln层的第一权重图像开始依次向上进行上采样upscale及累加add处理，直到第1层的第一权重图像为止，生成与第一权重金字塔对应的第一融合权重图。可以理解为：从k＝n开始迭代执行以下操作：将第一权重金字塔中各层第一权重图像，从第k层的第一权重图像开始依次向上进行上采样处理，生成新的第一权重图像；将新的第一权重图像与第k-1层的第一权重图像进行叠加处理，生成新的第k-1层的第一权重图像；直到k＝1为止，生成与第一权重金字塔对应的第一融合权重图(exposure_map)；1≤k≤n，且k为正整数。
具体的，对Ln层的第一权重图像向上进行上采样，生成与Ln-1层的第一权重图像的分辨率一致的新的权重图像；再将该新的权重图像与Ln-1层的第一权重图像进行累加处理，将累加的结果作为Ln-1层新的第一权重图像；然后，针对该Ln-1层新的第一权重图像向上进行上采样，生成与Ln-2层的第一权重图像的分辨率一致的新的权重图像；再将该新的权重图像与Ln-2层的第一权重图像进行累加处理，将累加的结果作为Ln-2层新的第一权重图像；如此循环执行上述操作，直到第1层的第一权重图像为止，生成与第一权重金字塔对应的第一融合权重图。
此时，针对一个第一权重金字塔对应输出一帧第一融合权重图，即针对长曝图像对应的第一权重金字塔，输出一帧第一融合权重图；针对中曝图像对应的第一权重金字塔，输出一帧第一融合权重图；针对短曝图像对应的第一权重金字塔，输出一帧第一融合权重图。
第二步，将与第一权重金字塔对应的第一融合权重图，作为与灰度图(GrayImage)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)。即将针对长曝图像对应的第一权重金字塔所输出的一帧第一融合权重图，作为长曝图像对应的中间图像(Middle Image)的第一融合权重图(exposure_map)；将针对中曝图像对应的第一权重金字塔所输出的一帧第一融合权重图，作为中曝图像对应的中间图像(Middle Image)的第一融合权重图(exposure_map)；将针对短曝图像对应的第一权重金字塔所输出的一帧第一融合权重图，作为短曝图像对应的中间图像(Middle Image)的第一融合权重图(exposure_map)。最终，针对长曝图像、中曝图像及短曝图像这三类不同曝光参数的图像，生成了与之分别对应的三帧第一融合权重图(exposure_map)。
本申请实施例中，在生成了长曝图像、中曝图像、短曝图像的灰度图(Gray Image)对应的第一权重金字塔之后，由于第一权重金字塔中包含多层第一权重图像，因此，需要对多层第一权重图像进行处理生成一帧第一融合权重图。在这里，采用将第一权重金字塔中各层第一权重图像，从第n层的第一权重图像开始依次向上进行上采样及累加处理的方式，生成与第一权重金字塔对应的第一融合权重图。通过上采样的方式，能够保证累加的第一权重图像的分辨率一致；通过累加处理的方式，能够将多层第一权重图像的权重信息全部保留至最终输出的第一融合权重图中。最终，提高了第一融合权重图中权重信息的准确性及全面性。
在前述实施例中，描述了述融合权重图包括第一融合权重图(exposure_map)，在本实施例中，进一步描述了融合权重图还包括第二融合权重图(deghost_map)，则如图12所示，根据灰度图(Gray Image)对应的图像金字塔及图像金字塔对应的权重金字塔，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图，包括：
步骤1220，创建与灰度图对应的第二图像金字塔。
针对运动场景，获取在不同曝光参数下所拍摄的多帧原始图像，则由于多帧原始图像所拍摄的是运动场景，存在运动物体，而运动物体在不同帧的原始图像中的位置不同，所以，多帧原始图像中会出现运动物体导致的鬼影。因此，若多帧原始图像所拍摄的是运动场景，则在基于融合权重对多帧中间图像(Middle Image)进行图像融合时，不仅需要基于第一融合权重图(exposure_map)、还需要基于第二融合权重图(deghost_map)对多帧中间图像(Middle Image)进行图像融合，得到最终的目标图像，即需要考虑第二融合权重图(deghost_map)。其中，第二融合权重图(deghost_map)又可以称之为去鬼影权重图，主要用于去除图像中出现的鬼影。
为了准确地计算运动区域，就需要对输入的灰度图进行亮度对齐。然后，基于亮度对齐后的灰度图创建第二图像金字塔。针对亮度对齐后的灰度图创建第二图像金字塔的过程，与图5中所示，直接基于灰度图创建与灰度图(Gray Image)对应的第一图像金字塔的过程一致，在此不再赘述。其中，第二图像金字塔包括n层第二参考图像，其中，第1层的第二参考图像为亮度对齐后的灰度图原图。
步骤1240，根据第二图像金字塔结合与灰度图对应的第二高斯曲线，计算与第二图像金字塔对应的第二权重金字塔。
针对长曝图像、中曝图像、短曝图像，在分别得到了与之对应亮度对齐后的灰度图(Gray Image)的第二图像金字塔之后，根据第二图像金字塔结合与该灰度图(Gray Image)对应的第二高斯曲线，计算与第二图像金字塔对应的第二权重金字塔。
具体的，首先，获取与灰度图(Gray Image)对应的第二高斯曲线。其中，可以根据长曝图像的第二图像金字塔、中曝图像的第二图像金字塔、短曝图像的第二图像金字塔的运动区域分布情况，基于经验设置与之对应的第二高斯曲线。即得到了与长曝图像、中曝图像及短曝图像的灰度图(Gray Image)对应的第二高斯曲线。
然后，针对长曝图像的第二图像金字塔，获取与长曝图像的灰度图(Gray Image)对应的第二高斯曲线。根据长曝图像的第二图像金字塔结合与该长曝图像的灰度图(GrayImage)对应的第二高斯曲线，计算与长曝图像的第二图像金字塔对应的第二权重金字塔。同理，计算与中曝图像的第二图像金字塔对应的第二权重金字塔，计算与短曝图像的第二图像金字塔对应的第二权重金字塔。
步骤1260，对第二权重金字塔进行重建，生成与灰度图对应的中间图像的第二融合权重图。
基于第二图像金字塔中第1层的第二参考图像直到第n层的第二参考图像，得到了第二权重金字塔包含第1层的第二权重图像直到第n层的第二权重图像，即得到了第二权重金字塔。第二权重金字塔包含了对灰度图(Gray Image)进行下采样所得到的各层第二参考图像的权重信息，那么，在需要得到与灰度图(Gray Image)对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)时，就需要对第二权重金字塔中的各层第二权重图像进行上采样及累加处理，得到一帧与灰度图(Gray Image)分辨率相同的第二融合权重图(exposure_map)。
本申请实施例中，创建与灰度图(Gray Image)对应的第二图像金字塔，根据第二图像金字塔结合与灰度图(Gray Image)对应的第二高斯曲线，计算与第二图像金字塔对应的第二权重金字塔。对第二权重金字塔进行重建，生成与灰度图(Gray Image)对应的中间图像(Middle Image)的第二融合权重图(exposure_map)。
首先，对灰度图(Gray Image)进行下采样得到第1层的第二参考图像直到第n层的第二参考图像，基于第1层的第二参考图像直到第n层的第二参考图像得到灰度图(GrayImage)对应的第二图像金字塔。然后，基于第二图像金字塔中第1层的第二参考图像直到第n层的第二参考图像中像素的像素值，结合第二高斯曲线，计算与该像素的像素值对应的融合权重，进而得到与各层第二参考图像对应的第二权重图像，再基于各层第二权重图像生成与第二图像金字塔对应的第二权重金字塔。最后，对第二权重金字塔中的各层第二权重图像进行上采样及累加处理，得到一帧与灰度图(Gray Image)分辨率相同的第二融合权重图(exposure_map)。如此，一方面，先对灰度图(Gray Image)进行下采样结合第二高斯曲线，生成第二权重金字塔，因此，可以从不同分辨率的图像中提取出权重信息，提高了所提取出的权重信息的准确性。另一方面，再对第二权重金字塔中的各层第二权重图像进行上采样及累加处理，得到一帧与灰度图(Gray Image)分辨率相同的第二融合权重图(exposure_map)。如此，由于第二融合权重图与灰度图(Gray Image)的分辨率相同，所以，就可以基于第二融合权重图对灰度图(Gray Image)对应的中间图像(Middle Image)进行图像融合，得到目标图像。
在上一个实施例中，步骤1220，创建与灰度图(Gray Image)对应的第二图像金字塔，包括：
基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)；基准灰度图为第一原始图像对应的灰度图(Gray Image)，第一原始图像为过曝曝光参数对应的原始图像。
为了准确地计算运动区域，就需要对输入的灰度图进行亮度对齐。然后，基于亮度对齐后的灰度图创建第二图像金字塔。具体的，可以从输入的灰度图中筛选出基准灰度图，可以将输入的灰度图中的任意一帧作为基准灰度图。例如，将长曝图像对应的灰度图作为基准灰度图。其中，该长曝图像即为第一原始图像，即过曝曝光参数对应的原始图像。那么，基于长曝图像的灰度图(Gray Image)对所有输入的灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)。即基于长曝图像的灰度图(Gray Image)对长曝图像、中曝图像、短曝图像的灰度图(Gray Image)分别进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)。
按照预设缩放比例依次对亮度对齐后的灰度图(Gray Image)进行缩放处理，生成与亮度对齐后的灰度图(Gray Image)对应的第二图像金字塔；第二图像金字塔包括n层第二参考图像，其中，第1层的第二参考图像为亮度对齐后的灰度图(Gray Image)原图。
具体的，按照预设缩放比例依次对亮度对齐后的长曝图像、中曝图像、短曝图像的灰度图(Gray Image)，分别进行缩放处理，生成与亮度对齐后的长曝图像对应的第二图像金字塔(简称长曝图像的第二图像金字塔)、与亮度对齐后的中曝图像对应的第二图像金字塔(简称中曝图像的第二图像金字塔)、与亮度对齐后的短曝图像对应的第二图像金字塔(简称短曝图像的第二图像金字塔)。其中，第二图像金字塔包括n层第二参考图像，其中，第1层的第二参考图像为亮度对齐后的长曝图像对应的灰度图(Gray Image)原图、中曝图像对应的灰度图(Gray Image)原图、或短曝图像对应的灰度图(Gray Image)原图。
本申请实施例中，在创建与灰度图(Gray Image)对应的第二图像金字塔时，首先，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(GrayImage)。其次，按照预设缩放比例依次对亮度对齐后的灰度图(Gray Image)进行缩放处理，生成与亮度对齐后的灰度图(Gray Image)对应的第二图像金字塔。基于基准灰度图对灰度图(Gray Image)进行亮度对齐，后续基于亮度对齐后的灰度图创建第二图像金字塔，能够在第二图像金字塔中准确地体现出运动区域。进而，提高后续基于第二图像金字塔计算出第二权重金字塔(去鬼影权值金字塔)的准确性。最终，提高图像融合过程中的去鬼影效果。
在上一个实施例中，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的各灰度图(Gray Image)，包括：
采用亮度直方图均衡化方式，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)；或
采用曝光参数匹配方式，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)。
其中，采用亮度直方图均衡化方式的实现过程包括：首先，获取灰度图的亮度直方图，即分别获取长曝图像、中曝图像、短曝图像的灰度图的亮度直方图。其次，基于基准灰度图的亮度直方图，对其他灰度图的亮度直方图进行直方图均衡化处理，得到与其他灰度图对应的均衡化处理后的亮度直方图。最终，基于基准灰度图的亮度直方图、与其他灰度图对应的均衡化处理后的亮度直方图，就得到了亮度对齐后的灰度图的亮度直方图。再将亮度直方图转换为灰度图，就得到了亮度对齐后的灰度图(Gray Image)。
结合图13所示，为一个实施例中对灰度图的亮度直方图进行均衡化处理过程的示意图。假设基准灰度图为长曝图像的灰度图，则图13中上排依次为长曝图像、中曝图像、短曝图像的灰度图的亮度直方图，图13中下排依次为中曝图像、短曝图像的灰度图的亮度直方图。其中，由于基准灰度图为长曝图像的灰度图，因此，长曝图像的灰度图的亮度直方图在均衡化处理的过程中并未发生变化。
还可以采用曝光参数匹配方式，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)。具体的，首先，获取长曝图像、中曝图像、短曝图像拍摄时的曝光参数，例如，曝光参数包括快门时间(Shutter)和增益(SensorGain)等，当然，本申请对此不做限定。其次，若还是假设基准灰度图为长曝图像的灰度图，则可以基于以下公式计算中曝图像的亮度对齐系数BrightAlign、短曝图像的亮度对齐系数BrightAlign，例如：
最后，就可以基于中曝图像中各像素的像素值乘以BrightAlign中曝，就可以得到亮度对齐后中曝图像的灰度图。同理，就可以基于短曝图像中各像素的像素值乘以BrightAlign短曝，就可以得到亮度对齐后短曝图像的灰度图。
本申请实施例中，在基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的各灰度图(Gray Image)时，可以采用多种方式进行，例如，可以采用亮度直方图均衡化方式或曝光参数匹配方式，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)。其中，采用亮度直方图均衡化方式，可以用于增强灰度图的局部的对比度而不影响整体的对比度，从而，可以使得亮度可以更好地在亮度直方图上分布。而采用曝光参数匹配方式，则可以对灰度图进行全局亮度对齐。
在一个实施例中，如图14所示，步骤1240，根据第二图像金字塔结合与灰度图(Gray Image)对应的第二高斯曲线，计算与第二图像金字塔对应的第二权重金字塔，包括：
步骤1242，计算第二图像金字塔与目标第二图像金字塔之间的像素差异金字塔；目标第二图像金字塔为各第二图像金字塔中的任意一个第二图像金字塔；像素差异金字塔包括n层像素差异图像，第k层的像素差异图像为第二图像金字塔中第k层的第二参考图像与目标第二图像金字塔中第k层的第二参考图像之间的像素差异图像。
首先，需要从长曝图像、中曝图像、短曝图像的第二图像金字塔中，确定目标第二图像金字塔。其中，目标第二图像金字塔为各第二图像金字塔中的任意一个第二图像金字塔。然后，计算第二图像金字塔与目标第二图像金字塔之间的像素差异金字塔。例如，假设以中曝图像的第二图像金字塔作为目标第二图像金字塔，则计算长曝图像的第二图像金字塔与中曝图像的第二图像金字塔之间的像素差异金字塔；计算短曝图像的第二图像金字塔与中曝图像的第二图像金字塔之间的像素差异金字塔。而中曝图像的第二图像金字塔与自身之间的像素差异金字塔为0(全黑图像)。
具体的，在计算第二图像金字塔与目标第二图像金字塔之间的像素差异金字塔时，是计算第二图像金字塔中各层第二参考图像与目标第二图像金字塔中同层的目标第二参考图像之间的像素差异图像。然后，基于各层的像素差异图像，得到了像素差异金字塔。其中，在计算像素差异图像时，具体是计算第二参考图像与同层的目标第二参考图像上各像素的位置差异。其中，像素差异金字塔与第二图像金字塔相同，也包括n层像素差异图像，第k层的像素差异图像为第二图像金字塔中第k层的第二参考图像与目标第二图像金字塔中第k层的第二参考图像之间的像素差异图像(Diffmap)。
步骤1244，获取与像素差异金字塔对应的高斯曲线，将像素差异金字塔对应的高斯曲线作为灰度图对应的第二高斯曲线。
具体的，可以采用以下公式来生成第二高斯曲线：
其中，σ是方差参数，offset是阈值参数/偏移参数，这两个参数均为根据图像金字塔的运动区域分布情况，基于经验所设置的。阈值参数/偏移参数指的是不同第二图像金字塔中同层第二参考图像之间像素的位置差异/偏移阈值。diff为像素差异金字塔中各层像素差异图中像素值。
同理，基于第二高斯曲线，就可以得到查找表(Lut，Look-Up-Table)。假设长曝图像的灰度图(Gray Image)为8Bit图像，则该查找表上记录了将x∈[0,255]中的任意一个整数输入至上述公式(1-5)之后，输出y＝Weightdeghost之间的映射关系。即Lut(Look-Up-Table)查找表中记录了256对(x,y)之间的映射关系。
在通过上述公式得到了像素差异金字塔对应的高斯曲线之后，即为得到了灰度图对应的第二高斯曲线。
步骤1246，针对像素差异图像金字塔中的各层像素差异图像，根据像素差异图像结合与灰度图对应的第二高斯曲线，计算与像素差异图像对应的第二权重图像；
步骤1248，基于与各层像素差异图像对应的第二权重图像，生成与第二图像金字塔对应的第二权重金字塔。
将像素差异金字塔中各层像素差异图中的像素值输入上述第二高斯曲线的公式，针对各层像素差异图，就可以得到与像素差异图像中像素值对应的第二权重。然后，基于像素差异图像中像素值对应的第二权重，就可以得到与该像素差异图像对应的第二权重图像。
再对第二权重图像进行归一化处理，生成归一化处理(normalization)后的第二权重图像。基于第1层直到第n层的归一化处理(normalization)后的第二权重图像，生成了与第二图像金字塔对应的第二权重金字塔。如此，就可以得到长曝图像、中曝图像、短曝图像的第二图像金字塔分别对应的第二权重金字塔。
本申请实施例中，首先，需要从长曝图像、中曝图像、短曝图像的第二图像金字塔中，确定目标第二图像金字塔。然后，计算第二图像金字塔与目标第二图像金字塔之间的像素差异金字塔。且针对不同的像素差异金字塔设置不同的高斯曲线，作为灰度图对应的第二高斯曲线。其次，针对像素差异图像金字塔中的各层像素差异图像，根据像素差异图像结合与灰度图对应的第二高斯曲线，计算与像素差异图像对应的第二权重图像。最后，基于与各层像素差异图像对应的第二权重图像，生成与第二图像金字塔对应的第二权重金字塔。
因为，针对不同的像素差异金字塔设置不同的高斯曲线，作为灰度图对应的第二高斯曲线，所以，可以基于高斯曲线从像素差异图像金字塔中各层像素差异图像中提取出不同像素差异信息不同的第二权重。例如，像素差异信息超过一定阈值，则为该像素差异信息配置较高的权重。从而，基于不同的第二权重可以对图像进行去鬼影操作，可以很好地去除鬼影。最终，使得目标图像的融合效果较好。
在上一个实施例中，对第二权重金字塔进行重建，生成与灰度图(GrayImage)对应的中间图像(Middle Image)的第二融合权重图(exposure_map)，包括：
将第二权重金字塔中各层第二权重图像，从第n层的第二权重图像开始依次向上进行上采样及累加处理，直到第1层的第二权重图像为止，生成与第二权重金字塔对应的第二融合权重图；
将与第二权重金字塔对应的第二融合权重图，作为与灰度图(GrayImage)对应的中间图像(Middle Image)的第二融合权重图(exposure_map)。
具体的，针对长曝图像、中曝图像、短曝图像的灰度图(GrayImage)对应的第二权重金字塔，分别进行重建生成与该灰度图(GrayImage)对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)。即生成长曝图像的灰度图(GrayImage)对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)；生成中曝图像的灰度图(GrayImage)对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)；生成短曝图像的灰度图(GrayImage)对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)。
如图15所示，以生成长曝图像的灰度图(GrayImage)对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)来举例说明。图15左侧为长曝图像的第二图像金字塔与中曝图像的第二图像金字塔之间的像素差异金字塔。图15中间部分为长曝图像对应的第二权重金字塔，该第二权重金字塔包括n层第二权重图像。其中，L1层的第二权重图像为金字塔的底部，Ln层的第二权重图像为金字塔的顶部。第二步，从Ln层的第二权重图像开始依次向上进行上采样及累加处理，直到第1层的第二权重图像为止，生成与第二权重金字塔对应的第二融合权重图。可以理解为：从k＝n开始迭代执行以下操作：将第二权重金字塔中各层第二权重图像，从第k层的第二权重图像开始依次向上进行上采样处理，生成新的第二权重图像；将新的第二权重图像与第k-1层的第二权重图像进行叠加处理，生成新的第k-1层的第二权重图像；直到k＝1为止，生成与第二权重金字塔对应的第二融合权重图(exposure_map)；1≤k≤n，且k为正整数。
具体的，对Ln层的第二权重图像向上进行上采样，生成与Ln-1层的第二权重图像的分辨率一致的新的权重图像；再将该新的权重图像与Ln-1层的第二权重图像进行累加处理，将累加的结果作为Ln-1层新的第二权重图像；然后，针对该Ln-1层新的第二权重图像向上进行上采样，生成与Ln-2层的第二权重图像的分辨率一致的新的权重图像；再将该新的权重图像与Ln-2层的第二权重图像进行累加处理，将累加的结果作为Ln-2层新的第二权重图像；如此循环执行上述操作，直到第1层的第二权重图像为止，生成与第二权重金字塔对应的第二融合权重图。
此时，针对一个第二权重金字塔对应输出一帧第二融合权重图，即针对长曝图像对应的第二权重金字塔，输出一帧第二融合权重图；针对中曝图像对应的第二权重金字塔，输出一帧第二融合权重图；针对短曝图像对应的第二权重金字塔，输出一帧第二融合权重图。
第二步，将与第二权重金字塔对应的第二融合权重图，作为与灰度图(GrayImage)对应的中间图像(Middle Image)的第二融合权重图(exposure_map)。即将针对长曝图像对应的第二权重金字塔所输出的一帧第二融合权重图，作为长曝图像对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)；将针对中曝图像对应的第二权重金字塔所输出的一帧第二融合权重图，作为中曝图像对应的中间图像(Middle Image)的第二融合权重图(exposure_map)；将针对短曝图像对应的第二权重金字塔所输出的一帧第二融合权重图，作为短曝图像对应的中间图像(MiddleImage)的第二融合权重图(exposure_map)。最终，针对长曝图像、中曝图像及短曝图像这三类不同曝光参数的图像，生成了与之分别对应的三帧第二融合权重图(exposure_map)。
本申请实施例中，在生成了长曝图像、中曝图像、短曝图像的灰度图(Gray Image)对应的第二权重金字塔之后，由于第二权重金字塔中包含多层第二权重图像，因此，需要对多层第二权重图像进行处理生成一帧第二融合权重图。在这里，采用将第二权重金字塔中各层第二权重图像，从第n层的第二权重图像开始依次向上进行上采样及累加处理的方式，生成与第二权重金字塔对应的第二融合权重图。通过上采样的方式，能够保证累加的第二权重图像的分辨率一致；通过累加处理的方式，能够将多层第二权重图像的权重信息全部保留至最终输出的第二融合权重图中。最终，提高了第二融合权重图中权重信息的准确性及全面性。
在上一个实施例中，基于各中间图像(Middle Image)的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像，包括：
基于与灰度图(GrayImage)对应的中间图像(MiddleImage)的第一融合权重图(exposure_map)及与灰度图(GrayImage)对应的中间图像(Middle Image)的第二融合权重图(deghost_map)进行相乘，得到新的融合权重图(fusion_map)；
基于各中间图像(Middle Image)的新的融合权重图(fusion_map)对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。
具体的，在对与灰度图(GrayImage)对应的中间图像(MiddleImage)的第一融合权重图(exposure_map)及与灰度图(GrayImage)对应的中间图像(Middle Image)的第二融合权重图(deghost_map)进行相乘，得到新的融合权重图(fusion_map)时，可以采用以下公式进行相乘：
Weightfusion＝Weightexpo×Weightdeghost 公式(1-9)
其中，Weightexpo表示与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)中的第一权重，Weightdeghost表示与灰度图(GrayImage)对应的中间图像(Middle Image)的第二融合权重图(deghost_map)中的第二权重，Weightfution表示新的融合权重图(fusion_map)中的融合权重。
结合图16所示，为一个实施例中将第一融合权重图(exposure_map)及第二融合权重图(deghost_map)进行相乘，得到新的融合权重图(fusion_map)的示意图。
然后，就可以基于各中间图像(Middle Image)的新的融合权重图(fusion_map)对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。即基于与长曝图像的中间图像(Middle Image)的新的融合权重图(fusion_map)，与长曝图像的中间图像进行相乘得到第一结果；基于与中曝图像的中间图像(Middle Image)的新的融合权重图(fusion_map)，与中曝图像的中间图像进行相乘得到第二结果；基于与短曝图像的中间图像(MiddleImage)的新的融合权重图(fusion_map)，与短曝图像的中间图像进行相乘得到第三结果；再对第一结果、第二结果、第三结果进行求和，就得到了目标图像。
本申请实施例中，根据多帧原始图像计算出了多帧中间图像的第一融合权重图(exposure_map)及第二融合权重图deghost_map)，再将一融合权重图(exposure_map)及第二融合权重图deghost_map)进行相乘，得到新的融合权重图(fusion_map)。然后，基于新的融合权重图对多帧中间图像(Middle Image)进行图像融合，就可以得到包含更多图像信息的高动态范围的目标图像。进而，提高了所合成的高动态范围图像的图像质量。
在上一个实施例中，步骤220，获取在不同曝光参数下所拍摄的多帧原始图像，包括：
获取在不同曝光参数下所拍摄的多帧原始RAW图像；不同曝光参数包括正常曝光参数、过曝曝光参数及欠曝曝光参数中的至少两组参数；
对多帧原始RAW图像进行对齐，生成多帧对齐后的RAW图像；
对多帧对齐后的RAW图像进行预处理，生成多帧原始图像；预处理包括黑电平校正、镜头阴影校正、白平衡校正及去马赛克处理中的至少一项处理。
结合图17所示，为一个实施例中生成多帧原始图像的示意图。首先，电子设备通过CMOS SENSOR(CMOS传感器)在不同曝光参数下拍摄多帧原始RAW图像。其中，CMOS是Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)的缩写。假设原始RAW图像的位宽为10Bit。不同曝光参数包括正常曝光参数、过曝曝光参数及欠曝曝光参数三组曝光参数。当然，以上不同曝光参数也可以包括正常曝光参数、过曝曝光参数及欠曝曝光参数中的至少两组参数。例如，以上不同曝光参数包括正常曝光参数、过曝曝光参数，当然，本申请对此不做限定。相应地，这里的多帧原始图像可以包括至少两帧原始图像，且为原始RAW图像。其中，RAW图像即RAW文件，是一种记录了图像传感器的原始信息，同时也记录了拍摄图像时的一些拍摄参数(例如ISO数据、快门速度、光圈值、白平衡参数等)的文件。RAW文件可以最大限度地保持最原始的图像信息，以便后续进行精确地图像处理。
如图17所示，多帧原始RAW图像包括Long RAW图像(长曝RAW图像)、Middle RAW图像(中曝RAW图像)、ShortRAW图像(短曝RAW图像)。这里，Long RAW图像的数目不限定于一帧，也可以是多帧(例如3帧)。同理，Middle RAW图像的数目不限定于一帧，ShortRAW图像的数目也不限定于一帧。若Long RAW图像、Middle RAW图像、ShortRAW图像的数目中部分或全部不为一帧，则先分别将多帧Long RAW图像进行合成，生成一帧合成后的Long RAW图像；先分别将多帧Middle RAW图像进行合成，生成一帧合成后的Middle RAW图像；先分别将多帧Short RAW图像进行合成，生成一帧合成后的Short RAW图像。其中，采用多帧合成的方式可以达到图像去噪的效果。
其次，对多帧原始RAW图像进行对齐，生成多帧对齐后的RAW图像。这里，若LongRAW图像、Middle RAW图像、ShortRAW图像的数目均为一帧，则直接将Long RAW图像、MiddleRAW图像、Short RAW图像进行对齐，生成对齐后的LongRAW图像、Middle RAW图像、ShortRAW图像。若Long RAW图像、Middle RAW图像、Short RAW图像的数目不为一帧，则将合成后的Long RAW图像、合成后的Middle RAW图像、合成后的ShortRAW图像进行对齐，生成对齐后的Long RAW图像、Middle RAW图像、Short RAW图像。例如，若LongRAW图像为3帧、MiddleRAW图像为1帧、Short RAW图像的数目为1帧，则将合成后的Long RAW图像、1帧Middle RAW图像、1帧ShortRAW图像进行对齐。
最后，对多帧对齐后的RAW图像进行预处理，生成多帧原始图像；预处理包括黑电平校正(BLC，BlackLevel Correction)、镜头阴影校正(LSC，Lens Shading Correction)、白平衡校正(WB，White Balance)及去马赛克处理(Demosaic)中的至少一项处理。结合图17所示，对对齐后的Long RAW图像、Middle RAW图像、ShortRAW图像依次进行黑电平校正、镜头阴影校正、白平衡校正及去马赛克处理，生成了Long RGB图像、Middle RGB图像、ShortRGB图像。那么，LongRGB图像、Middle RGB图像、ShortRGB图像即为多帧原始图像，所得到的多帧原始图像的位宽也为10Bit。
对多帧10Bit原始图像基于融合权重图(fusion_map)进行图像融合，输出一帧16BitRGB图像。再将该16BitRGB图像进行色调映射(Tonemapping)，输出一帧10Bit RGB图像。
本申请实施例中，在获取在不同曝光参数下所拍摄的多帧原始图像时，首先，获取在不同曝光参数下所拍摄的多帧原始RAW图像；其次，对多帧原始RAW图像进行对齐，生成多帧对齐后的RAW图像；最后，对多帧对齐后的RAW图像进行预处理，生成多帧原始图像；预处理包括黑电平校正、镜头阴影校正、白平衡校正及去马赛克处理中的至少一项处理。通过对多帧原始RAW图像进行对齐及预处理操作，提高了所得到的多帧原始图像(RGB图像)的图像质量。
在前述实施例中，描述了述融合权重图包括第一融合权重图(exposure_map)，在本实施例中，进一步描述了融合权重图还包括第三融合权重图(deghost_map)，则如图18所示，提供了一种图像融合方法，还包括：
步骤1820，针对多帧对齐后的RAW图像中的各对齐后的RAW图像，将对齐后的RAW图像转化为灰度图。
在针对多帧对齐后的RAW图像中的各对齐后的RAW图像，将对齐后的RAW图像转化为灰度图(Gray Image)时，可以采用平均法、加权平均法等方法将对齐后的RAW图像转换为灰度图(Gray Image)，本申请对此不做限定。这里所得到的灰度图(Gray Image)的位宽与对齐后的RAW图像的位宽一致，因此，为了减少计算量，可以对该灰度图(Gray Image)进行右移处理，得到位宽较小的灰度图(Gray Image)。例如，即将10Bit对齐后的RAW图像转化为了8Bit的灰度图(Gray Image)。
步骤1840，创建与灰度图对应的第三图像金字塔。
针对运动场景，获取在不同曝光参数下所拍摄的多帧原始图像，则由于多帧原始图像所拍摄的是运动场景，存在运动物体，而运动物体在不同帧的原始图像中的位置不同，所以，多帧原始图像中会出现运动物体导致的鬼影。因此，若多帧原始图像所拍摄的是运动场景，则在基于融合权重对多帧中间图像(Middle Image)进行图像融合时，不仅需要基于第一融合权重图(exposure_map)、还需要基于第三融合权重图(deghost_map)对多帧中间图像(Middle Image)进行图像融合，得到最终的目标图像，即需要考虑第三融合权重图(deghost_map)。其中，第三融合权重图(deghost_map)也可以称之为另一种去鬼影权重图，主要用于去除图像中出现的鬼影。
为了准确地计算运动区域，就需要对输入的灰度图进行亮度对齐。然后，基于亮度对齐后的灰度图创建第三图像金字塔。针对亮度对齐后的灰度图创建第三图像金字塔的过程，与图5中所示，直接基于灰度图创建与灰度图(Gray Image)对应的第一图像金字塔的过程一致，在此不再赘述。其中，第三图像金字塔包括n层第三参考图像，其中，第1层的第三参考图像为亮度对齐后的灰度图原图。
步骤1860，根据第三图像金字塔结合与灰度图对应的第三高斯曲线，计算与第三图像金字塔对应的第三权重金字塔。
针对长曝图像、中曝图像、短曝图像，在分别得到了与之对应亮度对齐后的灰度图(Gray Image)的第三图像金字塔之后，根据第三图像金字塔结合与该灰度图(Gray Image)对应的第三高斯曲线，计算与第三图像金字塔对应的第三权重金字塔。
具体的，首先，获取与灰度图(Gray Image)对应的第三高斯曲线。其中，可以根据长曝图像的第三图像金字塔、中曝图像的第三图像金字塔、短曝图像的第三图像金字塔的运动区域分布情况，基于经验设置与之对应的第三高斯曲线。即得到了与长曝图像、中曝图像及短曝图像的灰度图(Gray Image)对应的第三高斯曲线。
然后，针对长曝图像的第三图像金字塔，获取与长曝图像的灰度图(Gray Image)对应的第三高斯曲线。根据长曝图像的第三图像金字塔结合与该长曝图像的灰度图(GrayImage)对应的第三高斯曲线，计算与长曝图像的第三图像金字塔对应的第三权重金字塔。同理，计算与中曝图像的第三图像金字塔对应的第三权重金字塔，计算与短曝图像的第三图像金字塔对应的第三权重金字塔。这里，第三权重金字塔也可以称之为另一种去鬼影权重金字塔。
步骤1880，对第三权重金字塔进行重建，生成与灰度图对应的中间图像的第三融合权重图。
基于第三图像金字塔中第1层的第三参考图像直到第n层的第三参考图像，得到了第三权重金字塔包含第1层的第三权重图像直到第n层的第三权重图像，即得到了第三权重金字塔。第三权重金字塔包含了对灰度图(GrayImage)进行下采样所得到的各层第三参考图像的权重信息，那么，在需要得到与灰度图(GrayImage)对应的中间图像(Middle Image)的第三融合权重图(deghost_map)时，就需要对第三权重金字塔中的各层第三权重图像进行上采样及累加处理，得到一帧与灰度图(Gray Image)分辨率相同的第三融合权重图(deghost_map)。
本申请实施例中，针对多帧对齐后的RAW图像中的各对齐后的RAW图像，将对齐后的RAW图像转化为灰度图(Gray Image)。创建与灰度图(GrayImage)对应的第三图像金字塔，根据第三图像金字塔结合与灰度图(GrayImage)对应的第三高斯曲线，计算与第三图像金字塔对应的第三权重金字塔。对第三权重金字塔进行重建，生成与灰度图(GrayImage)对应的中间图像(Middle Image)的第三融合权重图(deghost_map)。
因为第三权重金字塔也是一种去鬼影权重金字塔，而在对灰度图进行亮度对齐之后才能进行去鬼影操作，所以，可以将计算第三权重金字塔的过程放在RAW域进行，并将生成的第三融合权重图(deghost_map)传递至与第一融合权重图(exposure_map)进行相乘，得到新的融合权重图(fusion_map)。最后，基于新的融合权重图(fusion_map)对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。由于RAW域的线性优势将提高图像对齐的准确性，进而，可以提高后续计算出的第三融合权重图(deghost_map)的准确性。
在上一个实施例中，生成了与灰度图(GrayImage)对应的中间图像(MiddleImage)的第三融合权重图(deghost_map)，那么，基于各中间图像(MiddleImage)的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像，包括：
基于与灰度图(GrayImage)对应的中间图像(MiddleImage)的第一融合权重图(exposure_map)及与灰度图(GrayImage)对应的中间图像(Middle Image)的第三融合权重图(deghost_map)进行相乘，得到中间图像(MiddleImage)的新的融合权重图(fusion_map)；
基于各中间图像(Middle Image)的新的融合权重图(fusion_map)对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。
具体的，在对与灰度图(GrayImage)对应的中间图像(MiddleImage)的第一融合权重图(exposure_map)及与灰度图(GrayImage)对应的中间图像(Middle Image)的第三融合权重图(deghost_map)进行相乘，得到新的融合权重图(fusion_map)时，可以采用公式(1-10)进行相乘：
Weightfusion＝Weightexpo×Weightdeghost 公式(1-10)
其中，Weightexpo表示与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图(exposure_map)中的第一权重，Weightdeghost表示与灰度图(GrayImage)对应的中间图像(Middle Image)的第三融合权重图(deghost_map)中的第三权重，Weightfution表示新的融合权重图(fusion_map)中的融合权重。
然后，就可以基于各中间图像(MiddleImage)的新的融合权重图(fusion_map)对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。即基于与长曝图像的中间图像(Middle Image)的新的融合权重图(fusion_map)，与长曝图像的中间图像进行相乘得到第一结果；基于与中曝图像的中间图像(Middle Image)的新的融合权重图(fusion_map)，与中曝图像的中间图像进行相乘得到第二结果；基于与短曝图像的中间图像(MiddleImage)的新的融合权重图(fusion_map)，与短曝图像的中间图像进行相乘得到第三结果；再对第一结果、第二结果、第三结果进行求和，就得到了目标图像。
本申请实施例中，根据多帧原始图像计算出了多帧中间图像的第一融合权重图(exposure_map)及第三融合权重图deghost_map)，再将一融合权重图(exposure_map)及第三融合权重图deghost_map)进行相乘，得到新的融合权重图(fusion_map)。然后，基于新的融合权重图对多帧中间图像(Middle Image)进行图像融合，就可以得到包含更多图像信息的高动态范围的目标图像。进而，提高了所合成的高动态范围图像的图像质量。
在一个具体的实施例中，如图19所示，提供了一种图像融合方法，包括：
步骤1902，输入3帧分别在正常曝光参数、过曝曝光参数及欠曝曝光参数下拍摄的10Bit RGB图像；
步骤1904，可以查找映射表，将3帧10Bit RGB图像进行拉伸处理，得到3帧16BitRGB图像；
步骤1906，将3帧10Bit RGB图像转化为8Bit灰度图；
步骤1908，基于3帧8Bit灰度图创建第一图像金字塔；
步骤1910，根据第一图像金字塔结合与灰度图(Gray Image)对应的第一高斯曲线，计算与第一图像金字塔对应的第一权重金字塔；
步骤1912，对第一权重金字塔进行重建，生成16Bit RGB图像的第一融合权重图(exposure_map)；
步骤1914，采用亮度直方图均衡化方式，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)；其中，从3帧8Bit灰度图中先确定基准灰度图；
步骤1916，基于亮度对齐后的灰度图创建第二图像金字塔；
步骤1918，根据第二图像金字塔结合与灰度图对应的第二高斯曲线，计算与第二图像金字塔对应的第二权重金字塔；
步骤1920，对第二权重金字塔进行重建，生成16Bit RGB图像的第二融合权重图(exposure_map)；
步骤1922，将第一融合权重图(exposure_map)与第二融合权重图(deghost_map)进行相乘，得到新的融合权重图(fusion_map)；
步骤1924，基于3帧16Bit RGB图像对应的新的融合权重图(fusion_map)对3帧16BitRGB图像进行加权融合处理，得到一帧16Bit的目标图像。
本申请实施例中，获取在不同曝光参数下所拍摄的多帧原始图像，将多帧原始图像进行拉伸处理，得到多帧中间图像(Middle Image)；其中，中间图像(Middle Image)的位宽大于原始图像的位宽。根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，得到目标图像。由于不同曝光参数下所拍摄的多帧原始图像可以分别捕捉到不同动态范围的图像细节，且对多帧原始图像进行拉伸处理，所得到的多帧中间图像(Middle Image)的位宽更大，可以包含更多的图像信息，因此，再根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，就可以得到包含更多图像信息的高动态范围的目标图像。进而，提高了所合成的高动态范围图像的图像质量。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图20所示，提供了一种图像融合装置2000，装置包括：
原始图像获取模块2020，用于获取在不同曝光参数下所拍摄的多帧原始图像；
中间图像获取模块2040，用于将多帧原始图像进行拉伸处理，得到多帧中间图像(Middle Image)；中间图像(Middle Image)的位宽大于原始图像的位宽；
图像融合模块2060，用于根据多帧原始图像计算多帧中间图像(Middle Image)的融合权重，基于融合权重对多帧中间图像(Middle Image)进行图像融合，得到目标图像。
在一个实施例中，如图21所示，图像融合模块2060，包括：
灰度图转化单元2062，用于针对多帧原始图像中的各原始图像，将原始图像转化为灰度图(Gray Image)；
融合权重图计算单元2064，用于根据灰度图(Gray Image)，计算与灰度图(GrayImage)对应的中间图像(Middle Image)的融合权重图；
加权融合单元2066，用于基于各中间图像(Middle Image)的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。
在一个实施例中，融合权重图计算单元2066，还用于：根据灰度图(Gray Image)对应的图像金字塔及图像金字塔对应的权重金字塔，计算与灰度图(Gray Image)对应的中间图像(Middle Image)的融合权重图。
在一个实施例中，如图22所示，融合权重图包括第一融合权重图，则融合权重图计算单元2066，包括：
第一图像金字塔创建子单元2066a，用于创建与灰度图(Gray Image)对应的第一图像金字塔；
第一权重金字塔计算子单元2066b，用于根据第一图像金字塔结合与灰度图(GrayImage)对应的第一高斯曲线，计算与第一图像金字塔对应的第一权重金字塔；
第一融合权重图计算子单元2066c，用于对第一权重金字塔进行重建，生成与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图。
在一个实施例中，第一图像金字塔创建子单元，还用于按照预设缩放比例依次对灰度图(Gray Image)进行缩放处理，生成与灰度图(Gray Image)对应的第一图像金字塔；第一图像金字塔包括n层第一参考图像，其中，第1层的第一参考图像为灰度图(GrayImage)原图。
在一个实施例中，第一权重金字塔计算子单元2066b，还用于获取与灰度图(GrayImage)对应的第一高斯曲线；根据第一图像金字塔中的各层第一参考图像结合第一高斯曲线，计算与各第一参考图像对应的第一权重图像；基于第一图像金字塔中各第一参考图像对应的第一权重图像，生成与第一图像金字塔对应的第一权重金字塔。
在一个实施例中，第一融合权重图计算子单元2066c，还用于将第一权重金字塔中各层第一权重图像，从第n层的第一权重图像开始依次向上进行上采样及累加处理，直到第1层的第一权重图像为止，生成与第一权重金字塔对应的第一融合权重图；将与第一权重金字塔对应的第一融合权重图，作为与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图。
在一个实施例中，第一融合权重图计算子单元2066c，还用于从k＝n开始迭代执行以下操作：将第一权重金字塔中各层第一权重图像，从第k层的第一权重图像开始依次向上进行上采样处理，生成新的第一权重图像；将新的第一权重图像与第k-1层的第一权重图像进行叠加处理，生成新的第k-1层的第一权重图像；直到k＝1为止，生成与第一权重金字塔对应的第一融合权重图；1≤k≤n，且k为正整数。
在一个实施例中，融合权重图还包括第二融合权重图，则融合权重图计算单元2064，包括：
第二图像金字塔创建子单元，用于创建与灰度图(Gray Image)对应的第二图像金字塔；
第二权重金字塔计算子单元，用于根据第二图像金字塔结合与灰度图(GrayImage)对应的第二高斯曲线，计算与第二图像金字塔对应的第二权重金字塔；
第二融合权重图计算子单元，用于对第二权重金字塔进行重建，生成与灰度图(Gray Image)对应的中间图像(Middle Image)的第二融合权重图。
在一个实施例中，第二图像金字塔创建子单元，还用于基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)；基准灰度图为第一原始图像对应的灰度图(Gray Image)，第一原始图像为过曝曝光参数对应的原始图像；按照预设缩放比例依次对亮度对齐后的灰度图(Gray Image)进行缩放处理，生成与亮度对齐后的灰度图(Gray Image)对应的第二图像金字塔；第二图像金字塔包括n层第二参考图像，其中，第1层的第二参考图像为亮度对齐后的灰度图(Gray Image)原图。
在一个实施例中，第二图像金字塔创建子单元，还用于采用亮度直方图均衡化方式，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(GrayImage)；或采用曝光参数匹配方式，基于基准灰度图对灰度图(Gray Image)进行亮度对齐，生成亮度对齐后的灰度图(Gray Image)。
在一个实施例中，第二权重金字塔计算子单元，还用于计算第二图像金字塔与目标第二图像金字塔之间的像素差异金字塔；目标第二图像金字塔为各第二图像金字塔中的任意一个第二图像金字塔；像素差异金字塔包括n层像素差异图像，第k层的像素差异图像为第二图像金字塔中第k层的第二参考图像与目标第二图像金字塔中第k层的第二参考图像之间的像素差异图像；获取与像素差异金字塔对应的高斯曲线，将像素差异金字塔对应的高斯曲线作为灰度图对应的第二高斯曲线；针对像素差异图像金字塔中的各层像素差异图像，根据像素差异图像结合与灰度图(Gray Image)对应的第二高斯曲线，计算与像素差异图像对应的第二权重图像；基于与各层像素差异图像对应的第二权重图像，生成与第二图像金字塔对应的第二权重金字塔。
在一个实施例中，第二融合权重图计算子单元，还用于将第二权重金字塔中各层第二权重图像，从第n层的第二权重图像开始依次向上进行上采样及累加处理，直到第1层的第二权重图像为止，生成与第二权重金字塔对应的第二融合权重图；将与第二权重金字塔对应的第二融合权重图，作为与灰度图(Gray Image)对应的中间图像(Middle Image)的第二融合权重图。
在一个实施例中，第二融合权重图计算子单元，还用于从k＝n开始迭代执行以下操作：将第二权重金字塔中各层第二权重图像，从第k层的第二权重图像开始依次向上进行上采样处理，生成新的第二权重图像；将新的第二权重图像与第k-1层的第二权重图像进行叠加处理，生成新的第k-1层的第二权重图像；直到k＝1为止，生成与第二权重金字塔对应的第二融合权重图；1≤k≤n，且k为正整数。
在一个实施例中，加权融合单元2066，还用于基于与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图及与灰度图(Gray Image)对应的中间图像(Middle Image)的第二融合权重图进行相乘，得到新的融合权重图；基于各中间图像(Middle Image)的新的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。
在一个实施例中，原始图像获取模块2020，还用于获取在不同曝光参数下所拍摄的多帧原始RAW图像；不同曝光参数包括正常曝光参数、过曝曝光参数及欠曝曝光参数中的至少两组参数；对多帧原始RAW图像进行对齐，生成多帧对齐后的RAW图像；对多帧对齐后的RAW图像进行预处理，生成多帧原始图像；预处理包括黑电平校正、镜头阴影校正、白平衡校正及去马赛克处理中的至少一项处理。
在一个实施例中，融合权重图还包括第三融合权重图，则融合权重图计算单元2064，还包括：
第三融合权重图计算子单元，用于针对多帧对齐后的RAW图像中的各对齐后的RAW图像，将对齐后的RAW图像转化为灰度图(Gray Image)；创建与灰度图(Gray Image)对应的第三图像金字塔；根据第三图像金字塔结合与灰度图(Gray Image)对应的第三高斯曲线，计算与第三图像金字塔对应的第三权重金字塔；对第三权重金字塔进行重建，生成与灰度图(Gray Image)对应的中间图像(Middle Image)的第三融合权重图。
在一个实施例中，加权融合单元2066，还用于基于与灰度图(Gray Image)对应的中间图像(Middle Image)的第一融合权重图及与灰度图(Gray Image)对应的中间图像(Middle Image)的第三融合权重图进行相乘，得到中间图像(Middle Image)的新的融合权重图；基于各中间图像(Middle Image)的新的融合权重图对多帧中间图像(Middle Image)进行加权融合处理，得到目标图像。
上述图像融合装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像融合装置按照需要划分为不同的模块，以完成上述图像融合装置的全部或部分功能。
关于图像融合装置的具体限定可以参见上文中对于图像融合方法的限定，在此不再赘述。上述图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图23为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point ofSales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像融合方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像融合装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像融合方法的步骤。本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像融合方法。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory，只读存储器)、PROM(Programmable Read-only Memory，可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(RandomAccess Memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如SRAM(Static RandomAccess Memory，静态随机存取存储器)、DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)、SDRAM(SynchronousDynamic Random Access Memory，同步动态随机存取存储器)、双数据率DDR SDRAM(DoubleData Rate Synchronous Dynamic RandomAccess memory，双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic RandomAccess memory，增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory，同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic RandomAccess Memory，总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic RandomAccess Memory，接口动态随机存储器)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (22)
1.一种图像融合方法，其特征在于，所述方法包括：
获取在不同曝光参数下所拍摄的多帧原始图像；
将所述多帧原始图像进行拉伸处理，得到多帧中间图像；所述中间图像的位宽大于所述原始图像的位宽；
根据所述多帧原始图像计算所述多帧中间图像的融合权重，基于所述融合权重对所述多帧中间图像进行图像融合，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多帧原始图像计算所述多帧中间图像的融合权重，基于所述融合权重对所述多帧中间图像进行图像融合，得到目标图像，包括：
针对所述多帧原始图像中的各原始图像，将所述原始图像转化为灰度图；
根据所述灰度图，计算与所述灰度图对应的中间图像的融合权重图；
基于各中间图像的所述融合权重图对所述多帧中间图像进行加权融合处理，得到目标图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述灰度图，计算与所述灰度图对应的中间图像的融合权重图，包括：
根据所述灰度图对应的图像金字塔及所述图像金字塔对应的权重金字塔，计算与所述灰度图对应的中间图像的融合权重图。
4.根据权利要求3所述的方法，其特征在于，所述融合权重图包括第一融合权重图，则所述根据所述灰度图对应的图像金字塔及所述图像金字塔对应的权重金字塔，计算与所述灰度图对应的中间图像的融合权重图，包括：
创建与所述灰度图对应的第一图像金字塔；
根据所述第一图像金字塔结合与所述灰度图对应的第一高斯曲线，计算与所述第一图像金字塔对应的第一权重金字塔；
对所述第一权重金字塔进行重建，生成与所述灰度图对应的中间图像的第一融合权重图。
5.根据权利要求4所述的方法，其特征在于，所述创建与所述灰度图对应的第一图像金字塔，包括：
按照预设缩放比例依次对所述灰度图进行缩放处理，生成与所述灰度图对应的第一图像金字塔；所述第一图像金字塔包括n层第一参考图像，其中，第1层的第一参考图像为所述灰度图原图。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像金字塔结合与所述灰度图对应的第一高斯曲线，计算与所述第一图像金字塔对应的第一权重金字塔，包括：
获取与所述灰度图对应的第一高斯曲线；
根据所述第一图像金字塔中的各层第一参考图像结合所述第一高斯曲线，计算与各所述第一参考图像对应的第一权重图像；
基于所述第一图像金字塔中各所述第一参考图像对应的第一权重图像，生成与所述第一图像金字塔对应的第一权重金字塔。
7.根据权利要求4所述的方法，其特征在于，所述对所述第一权重金字塔进行重建，生成与所述灰度图对应的中间图像的第一融合权重图，包括：
将所述第一权重金字塔中各层第一权重图像，从第n层的第一权重图像开始依次向上进行上采样及累加处理，直到第1层的第一权重图像为止，生成与所述第一权重金字塔对应的第一融合权重图；
将与所述第一权重金字塔对应的第一融合权重图，作为与所述灰度图对应的中间图像的第一融合权重图。
8.根据权利要求7所述的方法，其特征在于，所述将所述第一权重金字塔中各层第一权重图像，从第n层的第一权重图像开始依次向上进行上采样及累加处理，直到第1层的第一权重图像为止，生成与所述第一权重金字塔对应的第一融合权重图，包括：
从k＝n开始迭代执行以下操作：将所述第一权重金字塔中各层第一权重图像，从第k层的第一权重图像开始依次向上进行上采样处理，生成新的第一权重图像；将所述新的第一权重图像与第k-1层的第一权重图像进行叠加处理，生成新的第k-1层的第一权重图像；直到k＝1为止，生成与所述第一权重金字塔对应的第一融合权重图；1≤k≤n，且k为正整数。
9.根据权利要求4所述的方法，其特征在于，所述融合权重图还包括第二融合权重图，则所述根据所述灰度图对应的图像金字塔及所述图像金字塔对应的权重金字塔，计算与所述灰度图对应的中间图像的融合权重图，包括：
创建与所述灰度图对应的第二图像金字塔；
根据所述第二图像金字塔结合与所述灰度图对应的第二高斯曲线，计算与所述第二图像金字塔对应的第二权重金字塔；
对所述第二权重金字塔进行重建，生成与所述灰度图对应的中间图像的第二融合权重图。
10.根据权利要求9所述的方法，其特征在于，所述创建与所述灰度图对应的第二图像金字塔，包括：
基于基准灰度图对所述灰度图进行亮度对齐，生成亮度对齐后的灰度图；所述基准灰度图为第一原始图像对应的灰度图，第一原始图像为过曝曝光参数对应的原始图像；
按照预设缩放比例依次对所述亮度对齐后的灰度图进行缩放处理，生成与所述亮度对齐后的灰度图对应的第二图像金字塔；所述第二图像金字塔包括n层第二参考图像，其中，第1层的第二参考图像为所述亮度对齐后的灰度图原图。
11.根据权利要求10所述的方法，其特征在于，所述基于基准灰度图对所述灰度图进行亮度对齐，生成亮度对齐后的各灰度图，包括：
采用亮度直方图均衡化方式，基于基准灰度图对所述灰度图进行亮度对齐，生成亮度对齐后的灰度图；或
采用曝光参数匹配方式，基于基准灰度图对所述灰度图进行亮度对齐，生成亮度对齐后的灰度图。
12.根据权利要求9所述的方法，其特征在于，所述根据所述第二图像金字塔结合与所述灰度图对应的第二高斯曲线，计算与所述第二图像金字塔对应的第二权重金字塔，包括：
计算所述第二图像金字塔与目标第二图像金字塔之间的像素差异金字塔；所述目标第二图像金字塔为各所述第二图像金字塔中的任意一个第二图像金字塔；所述像素差异金字塔包括n层像素差异图像，第k层的所述像素差异图像为所述第二图像金字塔中第k层的第二参考图像与所述目标第二图像金字塔中第k层的第二参考图像之间的像素差异图像；
获取与所述像素差异金字塔对应的高斯曲线，将所述像素差异金字塔对应的高斯曲线作为所述灰度图对应的第二高斯曲线；
针对所述像素差异图像金字塔中的各层像素差异图像，根据所述像素差异图像结合与所述灰度图对应的第二高斯曲线，计算与所述像素差异图像对应的第二权重图像；
基于与所述各层像素差异图像对应的第二权重图像，生成与所述第二图像金字塔对应的第二权重金字塔。
13.根据权利要求9所述的方法，其特征在于，所述对所述第二权重金字塔进行重建，生成与所述灰度图对应的中间图像的第二融合权重图，包括：
将所述第二权重金字塔中各层第二权重图像，从第n层的第二权重图像开始依次向上进行上采样及累加处理，直到第1层的第二权重图像为止，生成与所述第二权重金字塔对应的第二融合权重图；
将与所述第二权重金字塔对应的第二融合权重图，作为与所述灰度图对应的中间图像的第二融合权重图。
14.根据权利要求13所述的方法，其特征在于，所述将所述第二权重金字塔中各层第二权重图像，从第n层的第二权重图像开始依次向上进行上采样及累加处理，直到第1层的第二权重图像为止，生成与所述第二权重金字塔对应的第二融合权重图，包括：
从k＝n开始迭代执行以下操作：将所述第二权重金字塔中各层第二权重图像，从第k层的第二权重图像开始依次向上进行上采样处理，生成新的第二权重图像；将所述新的第二权重图像与第k-1层的第二权重图像进行叠加处理，生成新的第k-1层的第二权重图像；直到k＝1为止，生成与所述第二权重金字塔对应的第二融合权重图；1≤k≤n，且k为正整数。
15.根据权利要求9所述的方法，其特征在于，所述基于各中间图像的所述融合权重图对所述多帧中间图像进行加权融合处理，得到目标图像，包括：
基于与所述灰度图对应的中间图像的第一融合权重图及与所述灰度图对应的中间图像的第二融合权重图进行相乘，得到新的融合权重图；
基于各所述中间图像的新的融合权重图对所述多帧中间图像进行加权融合处理，得到目标图像。
16.根据权利要求4所述的方法，其特征在于，所述获取在不同曝光参数下所拍摄的多帧原始图像，包括：
获取在不同曝光参数下所拍摄的多帧原始RAW图像；所述不同曝光参数包括正常曝光参数、过曝曝光参数及欠曝曝光参数中的至少两组参数；
对所述多帧原始RAW图像进行对齐，生成多帧对齐后的RAW图像；
对所述多帧对齐后的RAW图像进行预处理，生成多帧原始图像；所述预处理包括黑电平校正、镜头阴影校正、白平衡校正及去马赛克处理中的至少一项处理。
17.根据权利要求16所述的方法，其特征在于，所述融合权重图还包括第三融合权重图，则所述方法还包括：
针对多帧对齐后的RAW图像中的各所述对齐后的RAW图像，将所述对齐后的RAW图像转化为灰度图；
创建与所述灰度图对应的第三图像金字塔；
根据所述第三图像金字塔结合与所述灰度图对应的第三高斯曲线，计算与所述第三图像金字塔对应的第三权重金字塔；
对所述第三权重金字塔进行重建，生成与所述灰度图对应的中间图像的第三融合权重图。
18.根据权利要求17所述的方法，其特征在于，所述基于各中间图像的所述融合权重图对所述多帧中间图像进行加权融合处理，得到目标图像，包括：
基于与所述灰度图对应的中间图像的第一融合权重图及与所述灰度图对应的中间图像的第三融合权重图进行相乘，得到所述中间图像的新的融合权重图；
基于各所述中间图像的新的融合权重图对所述多帧中间图像进行加权融合处理，得到目标图像。
19.一种图像融合装置，其特征在于，所述装置包括：
原始图像获取模块，用于获取在不同曝光参数下所拍摄的多帧原始图像；
中间图像获取模块，用于将所述多帧原始图像进行拉伸处理，得到多帧中间图像；所述中间图像的位宽大于所述原始图像的位宽；
图像融合模块，用于根据所述多帧原始图像计算所述多帧中间图像的融合权重，基于所述融合权重对所述多帧中间图像进行图像融合，得到目标图像。
20.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至18中任一项所述的图像融合方法的步骤。
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至18中任一项所述的图像融合方法的步骤。
22.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至18中任一项所述的图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210768909.6A CN115147304A (zh) | 2022-07-01 | 2022-07-01 | 图像融合方法、装置、电子设备和存储介质、产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210768909.6A CN115147304A (zh) | 2022-07-01 | 2022-07-01 | 图像融合方法、装置、电子设备和存储介质、产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115147304A true CN115147304A (zh) | 2022-10-04 |
Family
ID=83409737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210768909.6A Pending CN115147304A (zh) | 2022-07-01 | 2022-07-01 | 图像融合方法、装置、电子设备和存储介质、产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115147304A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409754A (zh) * | 2022-11-02 | 2022-11-29 | 深圳深知未来智能有限公司 | 一种基于图像区域有效性的多曝光图像融合方法及系统 |
| CN118015474A (zh) * | 2024-04-08 | 2024-05-10 | 北京理工大学 | 面向高位宽航天侦察影像情报分析的数据智能重量化方法 |
-
2022
- 2022-07-01 CN CN202210768909.6A patent/CN115147304A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115409754A (zh) * | 2022-11-02 | 2022-11-29 | 深圳深知未来智能有限公司 | 一种基于图像区域有效性的多曝光图像融合方法及系统 |
| CN118015474A (zh) * | 2024-04-08 | 2024-05-10 | 北京理工大学 | 面向高位宽航天侦察影像情报分析的数据智能重量化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2368226B1 (en) | High dynamic range image combining | |
| US9613408B2 (en) | High dynamic range image composition using multiple images | |
| KR101643122B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
| US9344638B2 (en) | Constant bracket high dynamic range (cHDR) operations | |
| CN112565636B (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN115147304A (zh) | 图像融合方法、装置、电子设备和存储介质、产品 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| WO2022116988A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN102970549A (zh) | 图像处理方法及装置 | |
| CN111242860B (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
| Park et al. | High dynamic range and super-resolution imaging from a single image | |
| KR20120114899A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| CN110706162A (zh) | 一种图像处理方法、装置及计算机存储介质 | |
| CN113781358A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
| CN115205168A (zh) | 图像处理方法、装置、电子设备和存储介质、产品 | |
| CN114049288A (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
| CN113674169A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| JP2022051097A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US20240169695A1 (en) | Image reconstructing method and image generation training method | |
| CN114972091A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN117876237A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN118134781A (zh) | 图像处理方法、装置、电子设备、存储介质和程序产品 | |
| CN118037558A (zh) | 图像融合方法、装置、电子设备和存储介质、产品 | |
| CN118096625A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |