CN112651918A - 图像处理方法及装置、电子设备、存储介质 - Google Patents
图像处理方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN112651918A CN112651918A CN202110055602.7A CN202110055602A CN112651918A CN 112651918 A CN112651918 A CN 112651918A CN 202110055602 A CN202110055602 A CN 202110055602A CN 112651918 A CN112651918 A CN 112651918A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- weight
- pyramid
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 56
- 238000005070 sampling Methods 0.000 claims description 44
- 230000000694 effects Effects 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开是关于一种图像处理方法及装置、电子设备、存储介质，所述方法包括：对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图；基于所述第一亮区图确定第一权重图；根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；其中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。本公开实现了拍摄图像时的图像效果，更适用于夜景的图像摄影，提升了图像或视频的显示效果，提升了用户体验。
Description
技术领域
本公开涉及图像融合技术，尤其涉及一种图像处理方法及装置、电子设备、存储介质。
背景技术
目前，为了提升拍摄图像的亮度，一般获取多张不同曝光的图像，将多帧不同曝光的图像根据相应的权重进行融合，生成一张动态范围、颜色、噪声、细节等更佳的融合图像，从而提升拍摄图像的质量，提升用户体验。但是，在夜景场景拍摄图像时，由于输入多帧图像的曝光差异较大，图像中的前景、背景亮度差异也较大，融合图像中亮度/对比度较高区域边缘容易产生黑边。
发明内容
本公开提供一种图像处理方法及装置、电子设备、存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图；
基于所述第一亮区图确定第一权重图；
根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；其中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。
可选的，基于所述第一亮区图确定第一权重图包括：
获取权重曲线、所述第一图像对应的第二图像；其中，所述权重曲线为权重与图像中像素亮度值之间的函数关系；
根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图。
可选的，根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图包括：
若所述第二图像中像素点的亮度值小于0，则将所述第一亮区图中像素点的亮度权重值作为所述第一权重图中对应的权重，其中，所述第一亮区图中像素点的亮度权重值为：计算所述第一亮区图中像素点的亮度与第一设定值差值的平方，计算所述平方与第二设定值的比值的相反数，将e为底求所述相反数的指数作为所述第一亮区图中像素点的亮度权重值；
若所述第二图像中像素点的亮度值大于或等于0，则大于或等于0的像素点的所述第一权重图中的权重为1。
可选的，根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像包括：
对所述第一融合图像进行上采样处理，得到上采样处理后的第一融合图像；
根据所述第一权重图、所述第一图像对应的原始权重图和所述第一图像对应的第二图像，得到第三图像；
将所述多帧图像中除所述第一图像的其他图像对应的原始权重图和第二图像，进行加权处理，得到第四图像；
将所述下采样处理后的第一融合图像、所述第三图像和所述第四图像进行融合，得到所述目标图像。
可选的，在根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像之前，所述方法还包括：
获取所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔；
根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像。
可选的，根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像包括：
针对所述每张图像对应的拉普拉斯金字塔的每一层，进行如下处理：获取所述每张图像对应的拉普拉斯金字塔中所述层的图像，得到所述每张图像在所述层对应的图像；获取所述每张图像对应的权重金字塔中所述层的权重图，得到所述每张图像在所述层对应的权重图；将所述每张图像在所述层对应的图像和所述每张图像在所述层对应的权重图进行加权，得到所述层对应的融合图像；其中，所有层对应的融合图像形成第一金字塔；
根据所述第一金字塔确定所述第一融合图像。
可选的，根据所述第一金字塔确定所述第一融合图像包括：
将N为第一指定数作为起点，循环执行以下步骤，直到N为第二指定数：
将所述第一金字塔中第N层对应的图像进行上采样，得到上采样后的图像；
将所述上采样后的图像与所述第一金字塔中第N-1层对应的图像进行融合，得到融合的第N-1层对应的图像；将所述第N-1层对应的图像更新为融合后的第N-1层对应的图像，执行N减一；
其中，所述第一指定数为所述第一金字塔中分辨率最低的层所在的层数，所述第二指定数为所述第一金字塔中分辨率最高的层所在的层数+1，所述N为大于第二指定数且小于第一指定数的整数，
所述第一融合图像为将循环结束后，得到的融合后的第N层对应的图像。
可选的，获取所述每张图像对应的拉普拉斯金字塔，包括：
对所述每张图像分别进行下采样，得到所述每张图像的高斯金字塔图层；
对于所述每张图像的当前拉普拉斯金字塔图层，通过以下方式获得：
对所述每张图像的当前图层的上一层高斯金字塔图层进行上采样，得到上采样图层，对所述上采样图层进行高斯模糊处理，得到第一高斯金字塔图层；
将所述每张图像的当前的高斯金字塔图层与所述第一高斯金字塔图层进行减法运算，得到当前拉普拉斯金字塔图层；
将逐层获取的拉普拉斯金字塔图层组合形成所述每张图像对应的拉普拉斯金字塔。
可选的，获取所述每张图像对应的权重金字塔，包括：
获取多帧图像中每张图像对应的原始权重图，对每张图像的所述原始权重图分别进行下采样，得到每张图像的第二层的权重图；
对每张图像的第二层的权重图分别再进行下采样，得到每张图像的第三层的权重图，直至得到与每张图像的拉普拉斯金字塔的各图层一一对应的权重图。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
滤波单元，用于对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图；
第一确定单元，用于基于所述第一亮区图确定第一权重图；
第二确定单元，用于根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；其中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。
可选的，所述第一确定单元，还用于：
获取权重曲线、所述第一图像对应的第二图像；其中，所述权重曲线为权重与图像中像素亮度值之间的函数关系；
根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图。
可选的，所述第一确定单元，还用于：
若所述第二图像中像素点的亮度值小于0，则将所述第一亮区图中像素点的亮度权重值作为所述第一权重图中对应的权重，其中，所述第一亮区图中像素点的亮度权重值为：计算所述第一亮区图中像素点的亮度与第一设定值差值的平方，计算所述平方与第二设定值的比值的相反数，将e为底求所述相反数的指数作为所述第一亮区图中像素点的亮度权重值；
若所述第二图像中像素点的亮度值大于或等于0，则大于或等于0的像素点的所述第一权重图中的权重为1。
可选的，所述第二确定单元，还用于：
对所述第一融合图像进行上采样处理，得到上采样处理后的第一融合图像；
根据所述第一权重图、所述第一图像对应的原始权重图和所述第一图像对应的第二图像，得到第三图像；
将所述多帧图像中除所述第一图像的其他图像对应的原始权重图和第二图像，进行加权处理，得到第四图像；
将所述下采样处理后的第一融合图像、所述第三图像和所述第四图像进行融合，得到所述目标图像。
可选的，所述装置还包括：
获取单元，用于获取所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔；
第三确定单元，用于根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像。
可选的，所述第三确定单元，还用于：
针对所述每张图像对应的拉普拉斯金字塔的每一层，进行如下处理：获取所述每张图像对应的拉普拉斯金字塔中所述层的图像，得到所述每张图像在所述层对应的图像；获取所述每张图像对应的权重金字塔中所述层的权重图，得到所述每张图像在所述层对应的权重图；将所述每张图像在所述层对应的图像和所述每张图像在所述层对应的权重图进行加权，得到所述层对应的融合图像；其中，所有层对应的融合图像形成第一金字塔；
根据所述第一金字塔确定所述第一融合图像。
可选的，所述第三确定单元，还用于：
将N为第一指定数作为起点，循环执行以下步骤，直到N为第二指定数：
将所述第一金字塔中第N层对应的图像进行上采样，得到上采样后的图像；
将所述上采样后的图像与所述第一金字塔中第N-1层对应的图像进行融合，得到融合的第N-1层对应的图像；将所述第N-1层对应的图像更新为融合后的第N-1层对应的图像，执行N减一；
其中，所述第一指定数为所述第一金字塔中分辨率最低的层所在的层数，所述第二指定数为所述第一金字塔中分辨率最高的层所在的层数+1，所述N为大于第二指定数且小于第一指定数的整数，
所述第一融合图像为将循环结束后，得到的融合后的第N层对应的图像。
可选的，所述获取单元，还用于：
对所述每张图像分别进行下采样，得到所述每张图像的高斯金字塔图层；
对于所述每张图像的当前拉普拉斯金字塔图层，通过以下方式获得：
对所述每张图像的当前图层的上一层高斯金字塔图层进行上采样，得到上采样图层，对所述上采样图层进行高斯模糊处理，得到第一高斯金字塔图层；
将所述每张图像的当前的高斯金字塔图层与所述第一高斯金字塔图层进行减法运算，得到当前拉普拉斯金字塔图层；
将逐层获取的拉普拉斯金字塔图层组合形成所述每张图像对应的拉普拉斯金字塔。
可选的，所述获取单元，还用于：
获取多帧图像中每张图像对应的原始权重图，对每张图像的所述原始权重图分别进行下采样，得到每张图像的第二层的权重图；
对每张图像的第二层的权重图分别再进行下采样，得到每张图像的第三层的权重图，直至得到与每张图像的拉普拉斯金字塔的各图层一一对应的权重图。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行上述的图像处理方法的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的图像处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开的实施例中，拍摄图像时若环境光过暗或当前为夜景拍摄时，在多帧曝光图像根中确定亮区图，基于所述第一亮区图确定第一权重图，根据第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；通过前述的融合处理，使融合后的图像的黑边现象大大降低，进一步提升了融合图像的显示效果。本公开的实施例实现了拍摄图像时的图像效果，更适用于夜景场景或光线较暗时的图像摄影及视频合成，从而提升了图像或视频的显示效果，提升了用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本公开实施例示出的一种图像处理方法流程示意图；
图2为两帧图像合成的示意图；
图3为高斯金字塔图层示意图；
图4为本公开实施例示出的一种图像处理方法流程示意图；
图5为本公开实施例示出的一种图像处理装置的组成结构示意图；
图6为本公开实施例示出的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和装置的例子。
图1为本公开实施例示出的一种图像处理方法流程示意图，如图1所示，本公开实施例的图像处理方法包括以下步骤：
S11，对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图。
将多帧曝光图像根据上采样方式从最高层融合至第二层，得到第一图像。
本公开实施例中，多帧曝光融合的第一图像是指经两张或两张以上的不同曝光图像进行融合后的图像，不同曝光图像中存在欠曝图像，也可以包含过曝图像等，根据不同曝光图像的亮度的权重值，对多帧图像进行融合而生成融合图像。
本公开实施例中，为所述多帧曝光图像中的每张图像分别构造亮度的拉普拉斯金字塔图层，这里，构造图像的拉普拉斯金字塔图层包括：
对所述每张图像分别进行下采样，得到所述每张图像的高斯金字塔图层；具体地，首先对所述多帧曝光图像中的每张图像的下一层的图像进行高斯模糊处理，再删除高斯模糊后的图像的偶数行和列，得到当前层的高斯金字塔图层。依次对所述每张图像进行设定次数的前述高斯金字塔图层处理，即得到所述每张图像的设定层数的高斯金字塔图层。如根据图像处理的精度要求，可以对任一图像进行高斯金字塔图层处理，如可以将图像处理为8层、4层、16层等的高斯金字塔图层。
对于所述每张图像的当前拉普拉斯金字塔图层，通过以下方式获得：
对所述每张图像的当前图层的上一层高斯金字塔图层进行上采样，得到上采样图层，对所述上采样图层进行高斯模糊处理，得到第一高斯金字塔图层；将所述每张图像的当前的高斯金字塔图层与所述第一高斯金字塔图层进行减法运算，得到当前拉普拉斯金字塔图层；将逐层获取的拉普拉斯金字塔图层组合形成所述每张图像对应的拉普拉斯金字塔。也就是说，拉普拉斯金字塔图层是通过源图像减去先缩小后再放大即上采样处理的图像的一系列图像构成的。这里的上采样处理包括：将待上采样的图像中位置为(x,y)的像素映射到目标图像的(2x+1,2y+1)位置，并在目标图像中未映射有像素的区域填0，即对待处理图像进行向上取样。如图3所示，图3示出了高斯金字塔图层示意图。
本公开实施例中，还包括获取所述每张图像对应的权重金字塔，具体包括：
获取多帧图像中每张图像对应的原始权重图，对每张图像的所述原始权重图分别进行下采样，得到每张图像的第二层的权重图；
对每张图像的第二层的权重图分别再进行下采样，得到每张图像的第三层的权重图，直至得到与每张图像的拉普拉斯金字塔的各图层一一对应的权重图。
本公开实施例中，还为所述多帧曝光图像中的拉普拉斯金字塔图层构造融合权重；进行图像融合时，根据融合权重逐图层进行融合，再将逐图层融合后的图像进行融合。图2为两帧图像合成的示意图，如图2所示，图中最左侧为输入的原始图像，将待处理图像进行拉普拉斯金字塔分解(laplacian pyramid decomposition)，参见图中左侧第二幅中的白色方框及其外部区域，对应地，并构造权重图对应的高斯金字塔，参见图中左侧第三幅中的白色方框及其外部区域，然后将权重金字塔与拉普拉斯金字塔融合，得到结果图像。本示例中，三帧图像及三帧以上图像融合的处理方式与图2所示的两帧图像的处理方式完全相同。这里的图像融合，是将两帧图像或多帧图像中的像素点的亮度值和其对应的权重值相乘后进行叠加而生成融合图像。
本公开实施例中，在对多帧图像进行融合时，从拉普拉斯金字塔图层的最上层开始，向下进行融合，融合到拉普拉斯金字塔图层中的第二层，即先不对拉普拉斯金字塔图层中第一层图像进行融合。
本公开实施例中，确定所述正常曝光图像的亮度图中的中心像素点的亮度值大于邻像素点中亮度值最大的像素点时，将中心像素点的亮度值设置为邻像素点中的最大亮度值。最大值滤波即是，首先按像素的亮度值对周围像素和中心像素进行排序，然后将中心像素的亮度值与亮度最大的像素进行比较，如果中心像素的亮度值比周围像素的亮度最大值大，则将中心像素的亮度值设置为周围像素的亮度最大值。
确定当前最大值滤波的次数未达到所述设定次数时，将前次最大值滤波后的亮区图中，中心像素点的亮度值设置为邻像素点中的最大亮度值，直至最大值滤波的次数达到所述设定次数，得到所述第一亮区图。
S12、基于所述第一亮区图确定第一权重图。
本公开实施例中，获取权重曲线、所述第一图像对应的第二图像；其中，所述权重曲线为权重与图像中像素亮度值之间的函数关系；
根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图，具体地，确定所述第一权重图包括：
若所述第二图像中像素点的亮度值小于0，则将所述第一亮区图中像素点的亮度权重值作为所述第一权重图中对应的权重，其中，所述第一亮区图中像素点的亮度权重值为：计算所述第一亮区图中像素点的亮度与第一设定值差值的平方，计算所述平方与第二设定值的比值的相反数，将e为底求所述相反数的指数作为所述第一亮区图中像素点的亮度权重值；
若所述第二图像中像素点的亮度值大于或等于0，则大于或等于0的像素点的所述第一权重图中的权重为1。
具体计算公式如下：
若L1[index]<0，则W[index]＝ylut(Ω1[index])；
否则，W[index]＝1。
W[index]为像素点index的权重，L1[index]为像素点index在所述第二图像中对应的像素点；ylut(Ω1[index])表示所述第一亮区图中像素点index的亮度权重值计算函数，Ω1[index]表示像素点index在所述第一亮区图中的像素点；
y_lut(x)＝exp(-(x-mu)*(x-mu)/sigma),x为当前像素亮度值，mu为第一设定值，sigma为第二设定值。
本公开实施例中，若所述正常曝光图像的拉普拉斯金字塔图层中的第一层图像的像素点的亮度值小于0，则计算第一设定常数与所述第一亮区图中与第一层图像中同坐标的像素点的亮度值的差值平方，以及所述差值平方与第二设定常数的比值，将第一层图像中亮度值小于0的像素点的抑制权重设置为以e为底求所述比值的相反数的指数；若所述正常曝光图像的第一层图像的像素点的亮度值大于或等于0，则大于或等于0的像素点的抑制权重设置为1。这里，所述第一设定值mu包括204，所述第二设定值sigma包括2×14×14。
本公开实施例中，确定第一权重图的目的，是对原始拍摄图像中的正常曝光的图像中的黑边形成区域进行抑制，特别是对其中负拉普拉斯亮度值进行抑制，以去除图像中的黑边现象。
S13、根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像。
本公开实施例中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。
确定目标图像，具体包括：对所述第一融合图像进行上采样处理，得到上采样处理后的第一融合图像；这里，第一融合图像可以是多帧图像中正常曝光图像的拉普拉斯金字塔图层融合图像。
根据所述第一权重图、所述第一图像对应的原始权重图和所述第一图像对应的第二图像，得到第三图像；这里，原始重图是所述第一图像的权重图，即未经下采样处理的权重图。第二图像是指多帧图像中正常曝光图像进行拉普拉斯金字塔图层处理后的第一层的拉普拉斯金字塔图层图像。
将所述多帧图像中除所述第一图像的其他图像对应的原始权重图和第二图像，进行加权处理，得到第四图像；
将所述下采样处理后的第一融合图像、所述第三图像和所述第四图像进行融合，得到所述目标图像。
本公开实施例中，确定目标图像之前，还包括：
获取所述每张图像对应的拉普拉斯金字塔图层和所述每张图像的拉普拉斯金字塔图层分别对应的权重金字塔；根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像。
确定所述第一融合图像，具体包括：
针对所述每张图像对应的拉普拉斯金字塔的每一层，进行如下处理：获取所述每张图像对应的拉普拉斯金字塔中所述层的图像，得到所述每张图像在所述层对应的图像；获取所述每张图像对应的权重金字塔中所述层的权重图，得到所述每张图像在所述层对应的权重图；将所述每张图像在所述层对应的图像和所述每张图像在所述层对应的权重图进行加权，得到所述层对应的融合图像；其中，所有层对应的融合图像形成第一金字塔；
根据所述第一金字塔确定所述第一融合图像。
根据所述第一金字塔确定所述第一融合图像包括：
将N为第一指定数作为起点，循环执行以下步骤，直到N为第二指定数：
将所述第一金字塔中第N层对应的图像进行上采样，得到上采样后的图像；
将所述上采样后的图像与所述第一金字塔中第N-1层对应的图像进行融合，得到融合的第N-1层对应的图像；将所述第N-1层对应的图像更新为融合后的第N-1层对应的图像，执行N减一；
其中，所述第一指定数为所述第一金字塔中分辨率最低的层所在的层数，所述第二指定数为所述第一金字塔中分辨率最高的层所在的层数+1，所述N为大于第二指定数且小于第一指定数的整数，
所述第一融合图像为将循环结束后，得到的融合后的第N层对应的图像。
本公开实施例中，得到目标图像后，叠加上相应的颜色通道信息如UV值后，即生成RGB图像，输出并显示。本公开实施例的技术方案可适应于图像拍摄或视频拍摄等场景中。
以下通过具体示例，进一步阐明本公开实施例的技术方案的本质。
图4为本公开实施例示出的一种图像处理方法流程示意图，如图4所示，本示例中使用三帧输入图像进行图像融合，三帧图像分别为欠曝图像ev-，正常曝光图像ev0，过曝图像ev+，需要说明的是，本公开仅以三帧图像为例进行了原理阐述，任何输入帧数量≥2帧时，可适用同样逻辑进行图像融合处理。本公开实施例中，也支持包含有部分相同内容的多帧图像融合，即多帧图像中每相邻两帧图像中包含相同内容，通过融合方式实现相当于广角拍摄的效果。其中，多帧图像中的相同内容可以依据本公开实施例的相关手段进行处理。
本公开实施例中，作为一种示例，ev表示图像的曝光值，其与镜头的光圈值以及快门速度有关。本公开实施例的图像处理方法，尤其适用于夜景场景下的图像融合，或者适用于环境光较暗场景下的图像融合。本公开实施例的图像处理方法包括以下处理步骤：
Step1.输入多帧曝光图像：ev-，ev0，ev+，输入图像帧对应的亮度图为y0,y1,y2，不考虑UV通道颜色信息；本公开实施例中，图像的曝光情况，电子设备的控制器可以通过拍摄镜头的进光量及拍摄时间来确定当前拍摄的图像属于正常曝光、过曝光还是欠曝光图像。
Step2.构造亮度图y的拉普拉斯金字塔pyrY0,pyrY1,pyrY2，根据权重曲线计算三帧输入的原始权重W0,W1,W2，并构造权重金字塔pyrW0,pyrW1,pyrW2；
Step3.按拉普拉斯金字塔图层，逐层进行3帧图像的融合，得到融合后的金字塔图像，从拉普拉斯金字塔图层的最高层开始，通过逐层上采样叠加方式，合成图像，本公开实施例仅上采样至拉普拉斯金字塔图层的第2层，得到的合成图像Y1，分辨率为原始拍摄图像大小的1/4；
Y1＝pyrMerge(pyrW02*pyrY02+pyrW12*pyrY12+pyrW22*pyrY22)，frommax_layerto 2nd layer；式中，pyrW02、pyrW12、pyrW22分别表示三帧图像ev-，ev0，ev+从拉普拉斯金字塔图层的最高层到第二层的融合权重；pyrY02、pyrY12、pyrY22分别表示三帧图像ev-，ev0，ev+从拉普拉斯金字塔图层的最高层到第二层的图像亮度图；
Step4.将输入ev0帧的亮度图作为夜景场景中的初始亮区图Ω0；
Step5.对亮区图Ω0进行设定次数的最大值滤波(max fliter)，得到覆盖黑边形成区域的亮区图Ω1；
Ω1＝max_filter(Ω0)。
最大值滤波即是，首先按像素的亮度值对周围像素和中心像素进行排序，然后将中心像素的亮度值与亮度最大的像素进行比较，如果中心像素的亮度值比周围像素的亮度最大值大，则将中心像素的亮度值设置为周围像素的亮度最大值。设定次数可以根据待处理图像的处理精度及处理器的运算能力而设定，可以设置为2、3、5等数值。
Step6.在亮区图Ω1中，亮度越高区域，需要进行黑边衰减的力度越强，根据构造的权重曲线y_lut与亮区图Ω1确定抑制黑边的抑制权重W。
y_lut(x)＝exp(-(x-mu)×(x-mu)/sigma),x为当前像素亮度值，mu默认值204，sigma默认值为2×14×14；mu和sigma的取值均为经验值，本公开实施例并不限于前述的取值，可以根据实际需要设置为其他数值，本领域技术人员应当理解，无论mu、sigma设置为何值，都是本公开实施例的技术方案的等效替换。
若L1[index]<0，则W[index]＝ylut(Ω1[index])；
否则，W[index]＝1。
W[index]为像素点index的权重，L1[index]为像素点index在所述第二图像中对应的像素点；ylut(Ω1[index])表示所述第一亮区图中像素点index的亮度权重值计算函数，Ω1[index]表示像素点index在所述第一亮区图中的像素点。
Step7.在金字塔融合上采样重建的过程中，在最大分辨率层即第一层，根据权重图W对ev0对应的负拉普拉斯图像层L1进行衰减,，达到去除黑线的目的。
Y01＝upscale(Y1)+w01×L01+W×w11×L11+w21×L21
其中，w01、w11、w21分别表示三帧图像ev-，ev0，ev+的拉普拉斯金字塔图层的第一层的融合权重；L01、L11、L21分别表示三帧图像ev-，ev0，ev+的拉普拉斯金字塔图层的第一层的图像亮度图。
Step8.输出没有黑边的Y001，叠加UV信息，得到理想的RGB图像。
本公开的实施例实现了拍摄图像时的图像效果，更适用于夜景场景或光线较暗时的图像摄影及视频合成，从而提升了图像或视频的显示效果，提升了用户体验。
图5为本公开实施例示出的一种图像处理装置的组成结构示意图，如图5所示，本公开实施例的图像处理装置包括：
滤波单元50，用于对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图；
第一确定单元51，用于基于所述第一亮区图确定第一权重图；
第二确定单元52，用于根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；其中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。
可选的，所述第一确定单元51，还用于：
获取权重曲线、所述第一图像对应的第二图像；其中，所述权重曲线为权重与图像中像素亮度值之间的函数关系；
根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图。
可选的，所述第一确定单元51，还用于：
若所述第二图像中像素点的亮度值小于0，则将所述第一亮区图中像素点的亮度权重值作为所述第一权重图中对应的权重，其中，所述第一亮区图中像素点的亮度权重值为：计算所述第一亮区图中像素点的亮度与第一设定值差值的平方，计算所述平方与第二设定值的比值的相反数，将e为底求所述相反数的指数作为所述第一亮区图中像素点的亮度权重值；
若所述第二图像中像素点的亮度值大于或等于0，则大于或等于0的像素点的所述第一权重图中的权重为1。
具体地，基于下式确定所述第一权重图：
若L1[index]<0，则W[index]＝ylut(Ω1[index])；
否则，W[index]＝1。
W[index]为像素点index的权重，L1[index]为像素点index在所述第二图像中对应的像素点；ylut(Ω1[index])表示所述第一亮区图中像素点index的亮度权重值计算函数，Ω1[index]表示像素点index在所述第一亮区图中的像素点；
y_lut(x)＝exp(-(x-mu)*(x-mu)/sigma),x为当前像素亮度值，mu为第一设定值，sigma为第二设定值。
可选的，所述第二确定单元52，还用于：
对所述第一融合图像进行上采样处理，得到上采样处理后的第一融合图像；
根据所述第一权重图、所述第一图像对应的原始权重图和所述第一图像对应的第二图像，得到第三图像；
将所述多帧图像中除所述第一图像的其他图像对应的原始权重图和第二图像，进行加权处理，得到第四图像；
将所述下采样处理后的第一融合图像、所述第三图像和所述第四图像进行融合，得到所述目标图像。
在图5所示的图像处理装置的基础上，本公开实施例的图像处理装置还包括：
获取单元(图5中未示出)，用于获取所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔；
第三确定单元(图5中未示出)，用于根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像。
可选的，所述第三确定单元，还用于：
针对所述每张图像对应的拉普拉斯金字塔的每一层，进行如下处理：获取所述每张图像对应的拉普拉斯金字塔中所述层的图像，得到所述每张图像在所述层对应的图像；获取所述每张图像对应的权重金字塔中所述层的权重图，得到所述每张图像在所述层对应的权重图；将所述每张图像在所述层对应的图像和所述每张图像在所述层对应的权重图进行加权，得到所述层对应的融合图像；其中，所有层对应的融合图像形成第一金字塔；
根据所述第一金字塔确定所述第一融合图像。
可选的，所述第三确定单元，还用于：
将N为第一指定数作为起点，循环执行以下步骤，直到N为第二指定数：
将所述第一金字塔中第N层对应的图像进行上采样，得到上采样后的图像；
将所述上采样后的图像与所述第一金字塔中第N-1层对应的图像进行融合，得到融合的第N-1层对应的图像；将所述第N-1层对应的图像更新为融合后的第N-1层对应的图像，执行N减一；
其中，所述第一指定数为所述第一金字塔中分辨率最低的层所在的层数，所述第二指定数为所述第一金字塔中分辨率最高的层所在的层数+1，所述N为大于第二指定数且小于第一指定数的整数，
所述第一融合图像为将循环结束后，得到的融合后的第N层对应的图像。
可选的，所述获取单元，还用于：
对所述每张图像分别进行下采样，得到所述每张图像的高斯金字塔图层；
对于所述每张图像的当前拉普拉斯金字塔图层，通过以下方式获得：
对所述每张图像的当前图层的上一层高斯金字塔图层进行上采样，得到上采样图层，对所述上采样图层进行高斯模糊处理，得到第一高斯金字塔图层；
将所述每张图像的当前的高斯金字塔图层与所述第一高斯金字塔图层进行减法运算，得到当前拉普拉斯金字塔图层；
将逐层获取的拉普拉斯金字塔图层组合形成所述每张图像对应的拉普拉斯金字塔。
可选的，所述获取单元，还用于：
获取多帧图像中每张图像对应的原始权重图，对每张图像的所述原始权重图分别进行下采样，得到每张图像的第二层的权重图；
对每张图像的第二层的权重图分别再进行下采样，得到每张图像的第三层的权重图，直至得到与每张图像的拉普拉斯金字塔的各图层一一对应的权重图。
在示例性实施例中，滤波单元50、第一确定单元51、第二确定单元52、第三确定单元和获取单元等可以被一个或多个中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics Processing Unit)、基带处理器(BP，base频带processor)、应用专用集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、可编程逻辑器件(PLD，Programmable LogicDevice)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，MicroController Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述图像处理方法。
关于上述实施例中的图像处理装置，其中各个模块及单元执行操作的具体方式已经在有关该装置的实施例中进行了详细描述，此处将不做详细阐述说明。
图6为根据一示例性实施例示出的一种电子设备800的框图，如图6所示，电子设备800支持多屏输出，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如Wi-Fi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例的图像处理的步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述实施例的图像处理方法的步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例还记载了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的控制方法，所述方法包括：
对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图；
基于所述第一亮区图确定第一权重图；
根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；其中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。
可选的，基于所述第一亮区图确定第一权重图包括：
获取权重曲线、所述第一图像对应的第二图像；其中，所述权重曲线为权重与图像中像素亮度值之间的函数关系；
根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图。
可选的，根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图包括：
若所述第二图像中像素点的亮度值小于0，则将所述第一亮区图中像素点的亮度权重值作为所述第一权重图中对应的权重，其中，所述第一亮区图中像素点的亮度权重值为：计算所述第一亮区图中像素点的亮度与第一设定值差值的平方，计算所述平方与第二设定值的比值的相反数，将e为底求所述相反数的指数作为所述第一亮区图中像素点的亮度权重值；
若所述第二图像中像素点的亮度值大于或等于0，则大于或等于0的像素点的所述第一权重图中的权重为1。
所述第一权重图具体计算方式如下：
若L1[index]<0，则W[index]＝ylut(Ω1[index])；
否则，W[index]＝1。
W[index]为像素点index的权重，L1[index]为像素点index在所述第二图像中对应的像素点；ylut(Ω1[index])表示所述第一亮区图中像素点index的亮度权重值计算函数，Ω1[index]表示像素点index在所述第一亮区图中的像素点；
y_lut(x)＝exp(-(x-mu)*(x-mu)/sigma),x为当前像素亮度值，mu为第一设定值，sigma为第二设定值。
可选的，根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像包括：
对所述第一融合图像进行上采样处理，得到上采样处理后的第一融合图像；
根据所述第一权重图、所述第一图像对应的原始权重图和所述第一图像对应的第二图像，得到第三图像；
将所述多帧图像中除所述第一图像的其他图像对应的原始权重图和第二图像，进行加权处理，得到第四图像；
将所述下采样处理后的第一融合图像、所述第三图像和所述第四图像进行融合，得到所述目标图像。
可选的，在根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像之前，所述方法还包括：
获取所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔；
根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像。
可选的，根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像包括：
针对所述每张图像对应的拉普拉斯金字塔的每一层，进行如下处理：获取所述每张图像对应的拉普拉斯金字塔中所述层的图像，得到所述每张图像在所述层对应的图像；获取所述每张图像对应的权重金字塔中所述层的权重图，得到所述每张图像在所述层对应的权重图；将所述每张图像在所述层对应的图像和所述每张图像在所述层对应的权重图进行加权，得到所述层对应的融合图像；其中，所有层对应的融合图像形成第一金字塔；
根据所述第一金字塔确定所述第一融合图像。
可选的，根据所述第一金字塔确定所述第一融合图像包括：
将N为第一指定数作为起点，循环执行以下步骤，直到N为第二指定数：
将所述第一金字塔中第N层对应的图像进行上采样，得到上采样后的图像；
将所述上采样后的图像与所述第一金字塔中第N-1层对应的图像进行融合，得到融合的第N-1层对应的图像；将所述第N-1层对应的图像更新为融合后的第N-1层对应的图像，执行N减一；
其中，所述第一指定数为所述第一金字塔中分辨率最低的层所在的层数，所述第二指定数为所述第一金字塔中分辨率最高的层所在的层数+1，所述N为大于第二指定数且小于第一指定数的整数，
所述第一融合图像为将循环结束后，得到的融合后的第N层对应的图像。
可选的，获取所述每张图像对应的拉普拉斯金字塔，包括：
对所述每张图像分别进行下采样，得到所述每张图像的高斯金字塔图层；
对于所述每张图像的当前拉普拉斯金字塔图层，通过以下方式获得：
对所述每张图像的当前图层的上一层高斯金字塔图层进行上采样，得到上采样图层，对所述上采样图层进行高斯模糊处理，得到第一高斯金字塔图层；
将所述每张图像的当前的高斯金字塔图层与所述第一高斯金字塔图层进行减法运算，得到当前拉普拉斯金字塔图层；
将逐层获取的拉普拉斯金字塔图层组合形成所述每张图像对应的拉普拉斯金字塔。
可选的，获取所述每张图像对应的权重金字塔，包括：
获取多帧图像中每张图像对应的原始权重图，对每张图像的所述原始权重图分别进行下采样，得到每张图像的第二层的权重图；
对每张图像的第二层的权重图分别再进行下采样，得到每张图像的第三层的权重图，直至得到与每张图像的拉普拉斯金字塔的各图层一一对应的权重图。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (20)
1.一种图像处理方法，其特征在于，所述方法包括：
对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图；
基于所述第一亮区图确定第一权重图；
根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；其中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。
2.根据权利要求1所述的方法，其特征在于，基于所述第一亮区图确定第一权重图包括：
获取权重曲线、所述第一图像对应的第二图像；其中，所述权重曲线为权重与图像中像素亮度值之间的函数关系；
根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图。
3.根据权利要求2所述的方法，其特征在于，根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图包括：
若所述第二图像中像素点的亮度值小于0，则将所述第一亮区图中像素点的亮度权重值作为所述第一权重图中对应的权重，其中，所述第一亮区图中像素点的亮度权重值为：计算所述第一亮区图中像素点的亮度与第一设定值差值的平方，计算所述平方与第二设定值的比值的相反数，将e为底求所述相反数的指数作为所述第一亮区图中像素点的亮度权重值；
若所述第二图像中像素点的亮度值大于或等于0，则大于或等于0的像素点的所述第一权重图中的权重为1。
4.根据权利要求1所述的方法，其特征在于，根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像包括：
对所述第一融合图像进行上采样处理，得到上采样处理后的第一融合图像；
根据所述第一权重图、所述第一图像对应的原始权重图和所述第一图像对应的第二图像，得到第三图像；
将所述多帧图像中除所述第一图像的其他图像对应的原始权重图和第二图像，进行加权处理，得到第四图像；
将所述下采样处理后的第一融合图像、所述第三图像和所述第四图像进行融合，得到所述目标图像。
5.根据权利要求1所述的方法，其特征在于，在根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像之前，所述方法还包括：
获取所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔；
根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像。
6.根据权利要求5所述的方法，其特征在于，根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像包括：
针对所述每张图像对应的拉普拉斯金字塔的每一层，进行如下处理：获取所述每张图像对应的拉普拉斯金字塔中所述层的图像，得到所述每张图像在所述层对应的图像；获取所述每张图像对应的权重金字塔中所述层的权重图，得到所述每张图像在所述层对应的权重图；将所述每张图像在所述层对应的图像和所述每张图像在所述层对应的权重图进行加权，得到所述层对应的融合图像；其中，所有层对应的融合图像形成第一金字塔；
根据所述第一金字塔确定所述第一融合图像。
7.根据权利要求6所述的方法，其特征在于，根据所述第一金字塔确定所述第一融合图像包括：
将N为第一指定数作为起点，循环执行以下步骤，直到N为第二指定数：
将所述第一金字塔中第N层对应的图像进行上采样，得到上采样后的图像；
将所述上采样后的图像与所述第一金字塔中第N-1层对应的图像进行融合，得到融合的第N-1层对应的图像；将所述第N-1层对应的图像更新为融合后的第N-1层对应的图像，执行N减一；
其中，所述第一指定数为所述第一金字塔中分辨率最低的层所在的层数，所述第二指定数为所述第一金字塔中分辨率最高的层所在的层数+1，所述N为大于第二指定数且小于第一指定数的整数，
所述第一融合图像为将循环结束后，得到的融合后的第N层对应的图像。
8.根据权利要求5或6所述的方法，其特征在于，获取所述每张图像对应的拉普拉斯金字塔，包括：
对所述每张图像分别进行下采样，得到所述每张图像的高斯金字塔图层；
对于所述每张图像的当前拉普拉斯金字塔图层，通过以下方式获得：
对所述每张图像的当前图层的上一层高斯金字塔图层进行上采样，得到上采样图层，对所述上采样图层进行高斯模糊处理，得到第一高斯金字塔图层；
将所述每张图像的当前的高斯金字塔图层与所述第一高斯金字塔图层进行减法运算，得到当前拉普拉斯金字塔图层；
将逐层获取的拉普拉斯金字塔图层组合形成所述每张图像对应的拉普拉斯金字塔。
9.根据权利要求5或6所述的方法，其特征在于，获取所述每张图像对应的权重金字塔，包括：
获取多帧图像中每张图像对应的原始权重图，对每张图像的所述原始权重图分别进行下采样，得到每张图像的第二层的权重图；
对每张图像的第二层的权重图分别再进行下采样，得到每张图像的第三层的权重图，直至得到与每张图像的拉普拉斯金字塔的各图层一一对应的权重图。
10.一种图像处理装置，其特征在于，所述装置包括：
滤波单元，用于对多帧图像中第一图像的亮度图进行预定次数的最大值滤波，得到第一亮区图；
第一确定单元，用于基于所述第一亮区图确定第一权重图；
第二确定单元，用于根据所述第一权重图、第一融合图像、所述多帧图像中每张图像对应的原始权重图以及所述多帧图像中每张图像对应的第二图像，确定目标图像；其中，所述每张图像对应的第二图像为所述每张图像对应的拉普拉斯金字塔中图像分辨率最大的层对应的图像；所述第一融合图像为根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔确定的。
11.根据权利要求10所述的装置，其特征在于，所述第一确定单元，还用于：
获取权重曲线、所述第一图像对应的第二图像；其中，所述权重曲线为权重与图像中像素亮度值之间的函数关系；
根据所述第二图像，所述第一亮区图和所述权重曲线确定所述第一权重图。
12.根据权利要求11所述的装置，其特征在于，所述第一确定单元，还用于：
若所述第二图像中像素点的亮度值小于0，则将所述第一亮区图中像素点的亮度权重值作为所述第一权重图中对应的权重，其中，所述第一亮区图中像素点的亮度权重值为：计算所述第一亮区图中像素点的亮度与第一设定值差值的平方，计算所述平方与第二设定值的比值的相反数，将e为底求所述相反数的指数作为所述第一亮区图中像素点的亮度权重值；
若所述第二图像中像素点的亮度值大于或等于0，则大于或等于0的像素点的所述第一权重图中的权重为1。
13.根据权利要求10所述的装置，其特征在于，所述第二确定单元，还用于：
对所述第一融合图像进行上采样处理，得到上采样处理后的第一融合图像；
根据所述第一权重图、所述第一图像对应的原始权重图和所述第一图像对应的第二图像，得到第三图像；
将所述多帧图像中除所述第一图像的其他图像对应的原始权重图和第二图像，进行加权处理，得到第四图像；
将所述下采样处理后的第一融合图像、所述第三图像和所述第四图像进行融合，得到所述目标图像。
14.根据权利要求10所述的装置，其特征在于，所述装置还包括：
获取单元，用于获取所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔；
第三确定单元，用于根据所述每张图像对应的拉普拉斯金字塔和所述每张图像对应的权重金字塔，确定所述第一融合图像。
15.根据权利要求14所述的装置，其特征在于，所述第三确定单元，还用于：
针对所述每张图像对应的拉普拉斯金字塔的每一层，进行如下处理：获取所述每张图像对应的拉普拉斯金字塔中所述层的图像，得到所述每张图像在所述层对应的图像；获取所述每张图像对应的权重金字塔中所述层的权重图，得到所述每张图像在所述层对应的权重图；将所述每张图像在所述层对应的图像和所述每张图像在所述层对应的权重图进行加权，得到所述层对应的融合图像；其中，所有层对应的融合图像形成第一金字塔；
根据所述第一金字塔确定所述第一融合图像。
16.根据权利要求15所述的装置，其特征在于，所述第三确定单元，还用于：
将N为第一指定数作为起点，循环执行以下步骤，直到N为第二指定数：
将所述第一金字塔中第N层对应的图像进行上采样，得到上采样后的图像；
将所述上采样后的图像与所述第一金字塔中第N-1层对应的图像进行融合，得到融合的第N-1层对应的图像；将所述第N-1层对应的图像更新为融合后的第N-1层对应的图像，执行N减一；
其中，所述第一指定数为所述第一金字塔中分辨率最低的层所在的层数，所述第二指定数为所述第一金字塔中分辨率最高的层所在的层数+1，所述N为大于第二指定数且小于第一指定数的整数，
所述第一融合图像为将循环结束后，得到的融合后的第N层对应的图像。
17.根据权利要求14或15所述的装置，其特征在于，所述获取单元，还用于：
对所述每张图像分别进行下采样，得到所述每张图像的高斯金字塔图层；
对于所述每张图像的当前拉普拉斯金字塔图层，通过以下方式获得：
对所述每张图像的当前图层的上一层高斯金字塔图层进行上采样，得到上采样图层，对所述上采样图层进行高斯模糊处理，得到第一高斯金字塔图层；
将所述每张图像的当前的高斯金字塔图层与所述第一高斯金字塔图层进行减法运算，得到当前拉普拉斯金字塔图层；
将逐层获取的拉普拉斯金字塔图层组合形成所述每张图像对应的拉普拉斯金字塔。
18.根据权利要求14或15所述的装置，其特征在于，所述获取单元，还用于：
获取多帧图像中每张图像对应的原始权重图，对每张图像的所述原始权重图分别进行下采样，得到每张图像的第二层的权重图；
对每张图像的第二层的权重图分别再进行下采样，得到每张图像的第三层的权重图，直至得到与每张图像的拉普拉斯金字塔的各图层一一对应的权重图。
19.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储处理器可执行指令的存储器，其中，所述处理器被配置为在调用存储器中的可执行指令时，能够执行如权利要求1至9中任一项所述的图像处理方法的步骤。
20.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至9中任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110055602.7A CN112651918A (zh) | 2021-01-15 | 2021-01-15 | 图像处理方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110055602.7A CN112651918A (zh) | 2021-01-15 | 2021-01-15 | 图像处理方法及装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651918A true CN112651918A (zh) | 2021-04-13 |
Family
ID=75368394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110055602.7A Pending CN112651918A (zh) | 2021-01-15 | 2021-01-15 | 图像处理方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651918A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191994A (zh) * | 2021-04-26 | 2021-07-30 | 北京小米移动软件有限公司 | 图像处理方法、装置及存储介质 |
| CN113284063A (zh) * | 2021-05-24 | 2021-08-20 | 维沃移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514583A (zh) * | 2012-06-30 | 2014-01-15 | 华为技术有限公司 | 图像锐化方法及设备 |
| US8885976B1 (en) * | 2013-06-20 | 2014-11-11 | Cyberlink Corp. | Systems and methods for performing image fusion |
| CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、系统、设备、存储介质 |
| CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
| CN110246108A (zh) * | 2018-11-21 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| CN110751608A (zh) * | 2019-10-23 | 2020-02-04 | 北京迈格威科技有限公司 | 一种夜景高动态范围图像融合方法、装置和电子设备 |
| WO2020052084A1 (zh) * | 2018-09-13 | 2020-03-19 | 北京字节跳动网络技术有限公司 | 视频封面选择方法、装置和计算机可读存储介质 |
| CN111986129A (zh) * | 2020-06-30 | 2020-11-24 | 普联技术有限公司 | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 |
-
2021
- 2021-01-15 CN CN202110055602.7A patent/CN112651918A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514583A (zh) * | 2012-06-30 | 2014-01-15 | 华为技术有限公司 | 图像锐化方法及设备 |
| US8885976B1 (en) * | 2013-06-20 | 2014-11-11 | Cyberlink Corp. | Systems and methods for performing image fusion |
| CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、系统、设备、存储介质 |
| WO2020052084A1 (zh) * | 2018-09-13 | 2020-03-19 | 北京字节跳动网络技术有限公司 | 视频封面选择方法、装置和计算机可读存储介质 |
| CN110246108A (zh) * | 2018-11-21 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
| CN110751608A (zh) * | 2019-10-23 | 2020-02-04 | 北京迈格威科技有限公司 | 一种夜景高动态范围图像融合方法、装置和电子设备 |
| CN111986129A (zh) * | 2020-06-30 | 2020-11-24 | 普联技术有限公司 | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| ZHENGGUO LI ET AL.: "Detail-Enhanced Multi-Scale Exposure Fusion", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 26, no. 3, 31 March 2017 (2017-03-31), pages 1243 - 1252, XP011641381, DOI: 10.1109/TIP.2017.2651366 * |
| 付争方等: "多尺度细节融合的多曝光高动态图像重建", 《计算机工程与应用》, vol. 54, no. 24, 8 April 2018 (2018-04-08), pages 182 - 187 * |
| 江铁等: "基于金字塔变换的多曝光图像融合", 《计算机技术与发展》, vol. 23, no. 01, 10 January 2013 (2013-01-10), pages 95 - 98 * |
| 沙鸣之: "基于金字塔的多曝光图像融合系统", 《电子制作》, no. 17, 12 September 2018 (2018-09-12), pages 88 - 89 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191994A (zh) * | 2021-04-26 | 2021-07-30 | 北京小米移动软件有限公司 | 图像处理方法、装置及存储介质 |
| CN113191994B (zh) * | 2021-04-26 | 2023-11-21 | 北京小米移动软件有限公司 | 图像处理方法、装置及存储介质 |
| CN113284063A (zh) * | 2021-05-24 | 2021-08-20 | 维沃移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111418201B (zh) | 一种拍摄方法及设备 | |
| CN109345485B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| CN106131441B (zh) | 拍照方法及装置、电子设备 | |
| CN108040204B (zh) | 一种基于多摄像头的图像拍摄方法、装置及存储介质 | |
| CN112651918A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| US20110242367A1 (en) | Image processing method and photographing apparatus using the same | |
| WO2022127174A1 (zh) | 图像处理方法及电子设备 | |
| CN112312035B (zh) | 曝光参数调节方法、曝光参数调节装置和电子设备 | |
| CN112085686A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112634160A (zh) | 拍照方法及装置、终端、存储介质 | |
| CN113689361B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN113177890B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106878606B (zh) | 一种基于电子设备的图像生成方法和电子设备 | |
| CN112651899A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN114066738A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107451972B (zh) | 图像增强方法、装置及计算机可读存储介质 | |
| US11989863B2 (en) | Method and device for processing image, and storage medium | |
| CN116866495A (zh) | 图像获取方法、装置、终端设备及存储介质 | |
| CN114070998B (zh) | 一种拍摄月亮的方法、装置、电子设备及介质 | |
| CN114240792A (zh) | 图像曝光融合方法、装置及存储介质 | |
| CN113191994B (zh) | 图像处理方法、装置及存储介质 | |
| CN116167924A (zh) | 图像处理方法、装置及存储介质 | |
| WO2023236215A1 (zh) | 图像处理方法、装置及存储介质 | |
| CN114511450A (zh) | 图像降噪方法、图像降噪装置、终端及存储介质 | |
| CN117455782A (zh) | 图像增强方法、图像增强装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |