CN117440253B - 图像处理方法和相关装置 - Google Patents

Abstract

本申请实施例提供图像处理方法和相关装置，涉及终端技术领域。该方法包括：响应于拍照操作，获取第一类帧图像和第二类帧图像，第一类帧图像的曝光时长和第二类帧图像的曝光时长不同，第一类帧图像的曝光值为0EV；对第一类帧图像和第二类帧图像进行融合，得到目标图像；其中，第一类帧图像的融合权重为第一值，第二类帧图像的融合权重为第二值，第一值和第二值的和为第一固定值，第二值与第二类帧图像的清晰程度，以及偏离程度相关；偏离程度为第一类帧图像与第二类帧图像的偏离程度。这样，在偏离程度较大时优先使用第二类帧图像进行融合，减少由于第一类帧图像和第二类帧图像偏离导致的鬼影。

Description

图像处理方法和相关装置

技术领域

本申请涉及终端技术领域，尤其涉及图像处理方法和相关装置。

背景技术

随着终端设备的普及以及基于相机应用的拍摄功能的增多，用户可以使用各种方式记录所见，比如通过相机应用中的特定功能实现新的记录方式，如夜景拍照、长焦拍照、高动态范围（high dynamicrange，HDR）以及延时摄影等。

HDR图像可以提供更多的动态范围和图像细节。具体的，电子设备可以根据不同的曝光时间的低动态范围（low dynamic range，LDR）图像，利用每个曝光时间相对应最佳细节的LDR图像融合得到HDR图像。

但是，由于每帧图像的获取时间之间存在时间差，HDR图像可能会存在运动鬼影的问题。

发明内容

本申请实施例提供一种图像处理方法和相关装置，应用于终端技术领域。N帧第一权重图与N帧完全对齐、S帧第一权重图与S帧完全对齐；在鬼影值较小的区域使用N帧第一权重，保证更好的噪声细节表现，鬼影值较大的区域使用S帧第一权重，减少鬼影。这样能够在对齐较好的区域优先使用N帧，保证噪声细节表现，在对齐不好的区域优先使用S帧，减少鬼影。

第一方面，本申请实施例提出一种图像处理方法和相关装置。该方法包括：响应于拍照操作，获取第一类帧图像和第二类帧图像，第一类帧图像的曝光时长和第二类帧图像的曝光时长不同，第一类帧图像的曝光值为0EV；对第一类帧图像和第二类帧图像进行融合，得到目标图像；其中，第一类帧图像的融合权重为第一值，第二类帧图像的融合权重为第二值，第一值和第二值的和为第一固定值，第二值与第二类帧图像的清晰程度，以及偏离程度相关；偏离程度为第一类帧图像与第二类帧图像的偏离程度。

第一类帧图像可以对应于下文中的N帧图像，第二类帧图像可以对应于下文中的S帧图像或L帧图像。清晰程度可以理解为曝光程度。

这样，在偏离程度较大时优先使用第二类帧图像进行融合，减少由于第一类帧图像和第二类帧图像偏离导致的鬼影。

在一种可能的实现方式中，第二值为第三值与第四值之积，第三值用于描述第二类帧图像的清晰程度，第四值用于描述偏离程度。

第四值可以是通过一个或多个显示参数得到的。显示参数包括下述一种或多种：亮度、对比度、差异度、饱和度或图像梯度。此处不做具体限定。

这样，融合权重与偏离程度正相关，偏离程度越大，第二类帧图像的融合权重越大，减少图像融合时的鬼影。

在一种可能的实现方式中，第二值为第五值与第六值之和，第五值为第三值与第四值之积，第六值为第七值与第八值之积，第七值与第三值之和为第二固定值，第八值与第四值之和为第三固定值。

这样，在偏离程度较小的区域第一类帧图像的融合权重大，可以保留第一类帧图像的噪声细节表现，偏离程度较小的区域第二类帧图像的融合权重大，减少鬼影。

在一种可能的实现方式中，在第二类帧图像的曝光时长大于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值正相关，第二类帧图像的灰度值是通过第二类帧图像的亮度；

或者，在第二类帧图像的曝光时长小于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值负相关。

在第二类帧图像为S帧图像时，灰度值越大，S帧图像越清晰，对应的S帧图像的融合权重越大。这样，可以通过S帧图像消除鬼影，以及对N帧图像的过曝区域进行细节补充，提升目标图像的暗部细节。在第二类帧图像为L帧图像时，灰度值越小，L帧图像越清晰，对应的L帧图像的融合权重越大。这样，可以对N帧图像的欠曝区域进行细节补充，提升目标图像的亮部细节。

在一种可能的实现方式中，在第二类帧图像的灰度值大于或等于第一阈值时，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为1，第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

可以理解的是，S帧图像中，灰度值过低时，图像的亮度可能较低，图像的细节较少。

这样，S帧图像中灰度值过低的区域对应的融合权重为0，该区域N帧图像对应的融合权重较大，该区域在目标图像中可以保留更多的图像细节。

在一种可能的实现方式中，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为0；在第二类帧图像的灰度值大于第二阈值时，第三值为1；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

这样，S帧图像中灰度值较高的区域对应的融合权重为1，该区域不使用N帧图像进行融合。目标图像中可以保留S帧图像中的图像细节，提升融合效果。

在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

这样，通过线性方式进行计算，简单易于实现。

在一种可能的实现方式中，第一阈值为第一类帧图像中欠曝点对应的灰度值，第二阈值为第一类帧图像中过曝点对应的灰度值。欠曝点可以理解为图像曝光不足时对应的亮度阈值，过曝点可以理解为图像曝光过度时对应的亮度阈值。

这样，通过N帧图像的欠曝点和过曝点设置阈值区间，逐步提高相同偏离程度下S帧图像的融合权重，更好的消除鬼影。

在一种可能的实现方式中，第一阈值为第二类帧图像中欠曝点对应的灰度值，第二阈值为第二类帧图像中过曝点对应的灰度值。

这样，通过S帧图像的欠曝点和过曝点设置阈值区间，逐步提高相同偏离程度下S帧图像的融合权重，更好的消除鬼影。

在一种可能的实现方式中，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为0；在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

可以理解的是，L帧图像中，灰度值过高时，图像的亮度可能较高，图像的细节较少。

这样，L帧图像中灰度值过高的区域对应的融合权重为0，该区域N帧图像对应的融合权重较大，该区域在目标图像中可以保留更多的图像细节。

在一种可能的实现方式中，在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为1；在第二类帧图像的灰度值大于第二阈值时，第三值为0；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

这样，L帧图像中灰度值较低的区域对应的融合权重为1，该区域不使用N帧图像进行融合。目标图像中可以保留L帧图像中的图像细节，提升融合效果。

在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

这样，通过线性方式进行计算，简单易于实现。

在一种可能的实现方式中，偏离程度是通过第一类帧图像与第三类帧图像得到的，第三类帧图像是通过调整第二类帧图像的亮度得到的，第三类帧图像的亮度与第一类帧图像的亮度相同。

这样，在第二类帧图像亮度调整后进行偏离程度的计算，提升特征点匹配的准确度，使得偏离程度计算更加准确。

在一种可能的实现方式中，偏离程度与第一帧图像的灰度值，以及第三类帧图像的灰度值相关；偏离程度满足：；其中，为第一类帧图像的灰度值；为第三类帧图像的灰度值，H为偏离程度。

这样，可以通过灰度值实现对偏离程度的评估。此外，归一化处理，方便后续计算。

第二方面，本申请实施例提供一种图像处理装置，该图像处理装置可以是电子设备，也可以是电子设备内的芯片或者芯片系统。该图像处理装置可以包括通信单元和处理单元。当该图像处理装置是电子设备时，该通信单元用于执行第一类帧图像和第二类帧图像的获取的步骤，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备时，该处理单元可以是处理器。该图像处理装置还可以包括存储单元，该存储单元可以是存储器。该存储单元用于存储指令，该处理单元执行该存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。当该图像处理装置是电子设备内的芯片或者芯片系统时，该处理单元可以是处理器。该处理单元执行存储单元所存储的指令，以使该电子设备实现第一方面或第一方面的任意一种可能的实现方式中描述的一种图像处理方法。该存储单元可以是该芯片内的存储单元（例如，寄存器、缓存等），也可以是该电子设备内的位于该芯片外部的存储单元（例如，只读存储器、随机存取存储器等）。

示例性的，通信单元，用于获取第一类帧图像和第二类帧图像；第一类帧图像的曝光时长和第二类帧图像的曝光时长不同，第一类帧图像的曝光值为0EV。

处理单元，用于对第一类帧图像和第二类帧图像进行融合，得到目标图像。其中，第一类帧图像的融合权重为第一值，第二类帧图像的融合权重为第二值，第一值和第二值的和为第一固定值，第二值与第二类帧图像的清晰程度，以及偏离程度相关；偏离程度为第一类帧图像与第二类帧图像的偏离程度。

在一种可能的实现方式中，第二值为第三值与第四值之积，第三值用于描述第二类帧图像的清晰程度，第四值用于描述偏离程度。这样，融合权重与偏离程度正相关，偏离程度越大，第二类帧图像的融合权重越大，减少图像融合时的鬼影。

在一种可能的实现方式中，第二值为第五值与第六值之和，第五值为第三值与第四值之积，第六值为第七值与第八值之积，第七值与第三值之和为第二固定值，第八值与第四值之和为第三固定值。

在一种可能的实现方式中，在第二类帧图像的曝光时长大于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值正相关；第二类帧图像的灰度值是通过第二类帧图像的亮度得到的。或者，在第二类帧图像的曝光时长小于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值负相关。

在一种可能的实现方式中，在第二类帧图像的灰度值大于或等于第一阈值时，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为1，第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

在一种可能的实现方式中，第一阈值为第一类帧图像中欠曝点对应的灰度值，第二阈值为第一类帧图像中过曝点对应的灰度值。

在一种可能的实现方式中，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为0；在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

在一种可能的实现方式中，在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为1；在第二类帧图像的灰度值大于第二阈值时，第三值为0；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

在一种可能的实现方式中，偏离程度是通过第一类帧图像与第三类帧图像得到的，第三类帧图像是通过调整第二类帧图像的亮度得到的，第三类帧图像的亮度与第一类帧图像的亮度相同。

在一种可能的实现方式中，偏离程度与第一帧图像的灰度值，以及第三类帧图像的灰度值相关；偏离程度满足：；其中，为第一类帧图像的灰度值；为第三类帧图像的灰度值，H为偏离程度。

第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，存储器用于存储代码指令，处理器用于运行代码指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

第五方面，本申请实施例提供一种包括计算机程序的计算机程序产品，当计算机程序在计算机上运行时，使得计算机执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。

第六方面，本申请提供一种芯片或者芯片系统，该芯片或者芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行第一方面或第一方面的任意一种可能的实现方式中描述的方法。其中，芯片中的通信接口可以为输入/输出接口、管脚或电路等。

在一种可能的实现中，本申请中上述描述的芯片或者芯片系统还包括至少一个存储器，该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元，例如，寄存器、缓存等，也可以是该芯片的存储单元（例如，只读存储器、随机存取存储器等）。

应当理解的是，本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的一种不同曝光度下的图像的示意图；

图2为本申请实施例提供的一种电子设备的界面示意图；

图3为本申请实施例提供的另一种电子设备的界面示意图；

图4为本申请实施例提供的又一种电子设备的界面示意图；

图5为本申请实施例提供的一种电子设备的结构示意图；

图6是本申请实施例提供的一种电子设备的软件结构示意图；

图7为本申请实施例提供的一种图像处理方法的流程示意图；

图8为本申请实施例提供的一种第一权重图示意图；

图9为本申请实施例提供的另一种图像处理方法的流程示意图；

图10为本申请实施例提供的又一种图像处理方法的流程示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，以下，对本申请实施例中所涉及的部分术语和技术进行简单介绍：

1、预览图像以及拍照图像

预览图像可以为基于电子设备的摄像头实时采集到的、且允许显示在预览画面中的数据。例如，当电子设备接收到用户开启相机应用的操作时，电子设备可以采集摄像头捕捉到的预览图像，并实时显示在相机应用的预览画面中。

拍照图像可以为基于电子设备中的拍照按钮获取的数据。例如，当电子设备接收到用户针对拍照按钮的触发操作时，电子设备可以获取拍照时刻下基于摄像头获取到的拍照图像。

2、曝光度：指的是相机感受到光亮的强弱及时间的长短。当通过相机拍摄时，由于受到动态范围的限制，曝光度可能过高或者过低，可能会导致被拍摄对象和背景发生过曝或者欠曝。如果曝光过度，那么图像会太亮；如果曝光不足或欠曝光，那么图像会偏暗。

示例性的，当在明暗对比相差较大的拍摄环境下使用相机的普通模式拍照时，如图1中a的虚线框内所示，曝光不足的图像会出现暗部欠曝，无法体现暗部细节；如图1中b的虚线框内所示，曝光过度的图像会出现亮部过曝，无法体现亮部细节。

3、曝光参数：包括光圈、快门速度和感光度。电子设备可以通过控制光圈、快门速度和感光度这三个参数中的任一种或多种得到合适的曝光度。

可以理解的是，电子设备通过控制快门速度调整曝光时间。快门速度越快，曝光时间越短，曝光量就越少，图像亮度减少；相反，快门速度越慢，曝光时间越长，曝光量就越多，图像亮度增加。

光圈大小也会影响图像亮度。具体的，光圈越大、光圈数值越小（例如F2.8）曝光量越多、图像亮度增加。光圈越小、光圈数值越大（例如F16），曝光量减少、图像亮度降低。

感光度用于衡量感光元器件对于光线的敏感程度。具体地，感光度越高，对光线的解析能力越强，感应到的光线越多，图像亮度增加；相反，感光度越低，对光线的解析能力越弱，感应到的光线就越少，图像亮度降低。

感光度可以通过感光值（ISO）表示。ISO可以分为若干个档位，示例性的，以相邻档位的曝光量相差一倍为例，ISO可以分为：50、100、200、400、800、1600、3200等档位。ISO感光值越高，说明感光元器件的感光能力越强。

本申请实施例中，可以通过设置或者调整光圈、快门速度或感光度等参数，控制拍摄时的曝光量，从而可以控制拍摄效果。通过合理调整曝光参数，可以使得生成的HDR图像色彩更鲜明、对比度更高、图像细节更清晰。

具体的，可以通过调整曝光时间控制曝光参数变化，也可以通过调整ISO控制曝光参数变化，还可以通过调整光圈大小控制曝光参数变化。为了便于说明，本文中以通过调整曝光时间来控制曝光参数变化为例进行示例性说明。

4、自动曝光(auto explsure，AE)算法：通过自动控制光圈、ISO和快门速度等曝光参数来调整曝光度。

5、高动态范围（high dynamic range，HDR）：是一种提高影像亮度和对比度的处理技术。与普通图像相比，HDR图像可以提供更多的动态范围和图像细节。电子设备可以利用每个曝光时间相对应最佳细节的图像来合成最终HDR图像，以提升图像反映出真实环境中的视觉效果。

示例性的，相机中可以设置有HDR模式或者功能。在手机开启相机的HDR模式之后，相机采用AE算法对曝光参数进行调整，快速连续地拍摄多帧图像，例如包括欠曝光的图像和过曝光的图像，并将这些图像进行合成，得到HDR图像。相比较与合成前的图像，HDR图像中亮部不过曝，暗部细节清晰。

6、第一类帧图像：或称为N帧图像，其是摄像头在曝光值为0EV的情况下，拍摄得到的图像。也就是说，第一类帧图像的曝光值为0EV。

需要说明的是，0EV是相对值，0EV对应的曝光量不一定为0。示例性的，曝光量＝曝光时间*感光度。若第一类帧图像是在ISO是200，曝光时间是50毫秒的情况下，拍摄得到的，0EV实际对应的曝光量是200与50毫秒的乘积，即10000。N帧图像也可以称为标准帧图像，此处不做具体限定。

7、短帧图像：或称为S帧图像，其是摄像头在曝光值小于0EV的情况下，拍摄得到的图像。也就是说，短帧图像的曝光值小于0EV。示例性的，短帧图像的曝光值可以为-2EV，-4EV等。

8、长帧图像：或称为L帧图像，其是摄像头在曝光值大于0EV的情况下，拍摄得到的图像。也就是说，短帧图像的曝光值大于0EV。示例性的，长帧图像的曝光值可以为2EV，4EV等。

本申请实施例中，为了便于描述，将曝光时间长的图像称为长帧图像、长曝光图像或L帧图像，将曝光时间短的图像称为短帧图像、短曝光图像或N帧图像。需要说明的是，这里曝光时间的长短是相对而言的，具体曝光时间的取值可以根据实际使用需求确定，本申请实施例不作限定。

9、其他术语

在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a--c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

10、电子设备

本申请实施例的电子设备可以包括具有拍摄功能的手持式设备、车载设备等。例如，一些电子设备为：手机（mobile phone）、平板电脑、掌上电脑、笔记本电脑、移动互联网设备（mobile internet device，MID）、可穿戴设备，虚拟现实（virtual reality，VR）设备、增强现实（augmented reality，AR）设备、工业控制（industrial control）中的无线终端、无人驾驶（self driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端、蜂窝电话、无绳电话、会话启动协议（session initiation protocol，SIP）电话、无线本地环路（wireless local loop，WLL）站、个人数字助理（personal digitalassistant，PDA）、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备，5G网络中的终端设备或者未来演进的公用陆地移动通信网络（public landmobile network，PLMN）中的终端设备等，本申请实施例对此并不限定。

作为示例而非限定，在本申请实施例中，该电子设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

此外，在本申请实施例中，电子设备还可以是物联网（internet of things，IoT）系统中的终端设备，IoT是未来信息技术发展的重要组成部分，其主要技术特点是将物品通过通信技术与网络连接，从而实现人机互连，物物互连的智能化网络。

本申请实施例中的电子设备也可以称为：终端设备、用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。

在本申请实施例中，电子设备或各个网络设备包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。该硬件层包括中央处理器（centralprocessing unit，CPU）、内存管理单元（memory management unit，MMU）和内存（也称为主存）等硬件。该操作系统可以是任意一种或多种通过进程（process）实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。

为方便理解，下面结合图2至图4对本申请实施例涉及的应用场景进行说明。

示例性的，图2至图4均为本申请实施例提供的一种电子设备的界面示意图。在图2至图4对应的实施例中，以电子设备为手机为例进行示例说明，该示例并不构成对本申请实施例的限定。

电子设备可以在检测到用户打开相机应用时显示如图2所示的界面，该界面中可以包括：拍照控件201、缩略图202、预览画面203、用于切换摄像头的控件、拍摄模式选择项等。拍摄模式选择项包括但不限于：人像、拍照、录像、专业或更多204。

响应于用户针对更多204的触发操作，电子设备显示如图3所示的界面，该界面中可以包括：拍摄模式选择项。拍摄模式选择项包括但不限于：专业、全景、HDR 205、延时摄影、水印、文档矫正、高像素、微电影或其他类型拍摄模式选择项。

响应于用户针对HDR 205的触发操作，电子设备显示如图4所示的界面，该界面中可以包括：HDR提示信息206、预览画面、拍照控件207、缩略图等，该界面中显示的其他内容与图2所示的界面类似，在此不再赘述。

响应于用户对该拍照控件207的点击操作，电子设备可以采用HDR功能，拍摄不同曝光量的图像，得到第一类帧图像和第二类帧图像，该第二类帧图像可以包括短帧图像和长帧图像。之后，电子设备可以对该第一类帧图像和第二类帧图像进行融合，生成HDR图像。

上述图2至图4所示的场景中是通过相机界面中更多控件触发用于打开HDR功能的控件以及其他功能控件显示，进而通过触发用于打开HDR功能的控件开启HDR功能。本申请实施例还可以提供过其他任意方式开启HDR功能。示例性的，电子设备在接收到用户打开相机应用的操作时，在相机应用的界限显示用于打开HDR功能的控件。本申请实施例对于HDR功能的开启方式不做具体限定。

可能的设计中，由于第一类帧图像和第二类帧图像之间存在时间间隔，对于移动的对象（例如，人物、车辆）可能会无法进行空间对齐，进而融合生成的HDR图像可能会出现重影、色块等伪像。伪像可以理解为与实际拍摄的场景出现差异的图像。

有鉴于此，本申请实施例提供一种图像处理方法，使用第一类帧图像和第二类帧图像计算一个鬼影图，在鬼影值较小的区域使用第一类帧图像的第一权重，以提升细节表现，在鬼影值较大的区域使用第二类帧图像的第一权重，以减少鬼影。其中，第一类帧图像的第一权重与第一类帧图像对齐，第二类帧图像的第一权重与第二类帧图像对齐。

这样，电子设备可以在能够在两帧图像（第一类帧图像和第二类帧图像）中，对齐较好的区域使用第一类帧图像的区域，以提升细节表现，在对齐不好的区域使用第二类帧图像的区域，以鬼影表现。提升HDR图像的效果。

为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍。示例性的，图5为本申请实施例提供的一种电子设备的结构示意图。

电子设备可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，指示器192，摄像头193，以及显示屏194等。

其中，传感器模块180可以包括下述一种或多种：压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，或骨传导传感器（图中未示出）等，本申请实施例中对此不做具体限定。

可以理解的是，本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。例如，处理器110用于实现本申请实施例提供的图像处理方法中执行的步骤，以及存储与图像处理方法相关的指令和数据。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

电子设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

电子设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。例如，GPU用于执行图像处理方法中的图形渲染过程。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备可以包括1个或N个显示屏194，N为大于1的正整数。例如，显示屏194用于显示相机应用中的拍摄界面、以及响应于用户针对HDR模式的触发后显示预览图像和拍照图像。

电子设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。在一些实施例中，电子设备可以包括1个或N个摄像头193，N为大于1的正整数。例如，响应于用户的拍照操作后，摄像头193可以用于获取原始图像序列。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。例如，内部存储器121可以用于存储图像处理方法中的可执行程序代码。

电子设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，或称“触控屏”。例如，触摸传感器用于接收用户针对拍照控件的触发操作、以及接收用户针对HDR模式的触发操作等。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入，产生与电子设备的用户设置以及功能控制有关的键信号输入。在一些场景中，电子设备也可以响应于用户针对按键190中的一个或多个按键实现拍照操作，本申请实施例中对拍照操作的具体方式不做限定。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等，在此不再赘述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现，也可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图6是本申请实施例提供的电子设备的软件结构示意图。

分层架构将系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为五层，从上至下分别为应用（application，APP），应用框架层（framework，FWK）、硬件抽象层（hardware abstraction layer，HAL）、驱动层以及硬件层等。

应用层可以包括一系列应用程序包。在本申请实施例中，应用程序包可以包括：相机、图库等。相机可以实现对于图像的拍摄、以及对于拍照图像的显示。图库也可以称为相册等，图库可以实现对于图像的存储和访问。

应用框架层为应用层的应用程序提供应用编程接口（application programminginterface，API）和编程框架。应用框架层包括一些预先定义的函数。在本申请实施例中，应用框架层可以包括相机访问接口，其中，相机访问接口可以包括相机管理以及相机设备。相机访问接口用于为相机应用提供应用编程接口和编程框架。

硬件抽象层为位于应用框架层以及驱动层之间的接口层，为操作系统提供虚拟硬件平台。本申请实施例中，硬件抽象层可以包括相机硬件抽象层以及相机算法库。

其中，相机硬件抽象层可以提供相机设备1、相机设备2或更多的相机设备的虚拟硬件。相机算法库可包括实现本申请实施例提供的图像处理方法的运行代码和数据。

驱动层为硬件和软件之间的层。驱动层包括各种硬件的驱动。驱动层可以包括相机设备驱动、数字信号处理器驱动以及图像处理器驱动等。

其中，相机设备驱动用于驱动摄像头的传感器采集图像以及驱动图像信号处理器对图像进行预处理。数字信号处理器驱动用于驱动数字信号处理器处理图像。图像处理器驱动用于驱动图形处理器处理图像。

可以理解的是，本申请实施例提供的软件架构仅作为一种示例，并不能构成对本申请实施例的限定。

下面结合上述系统结构，对本申请实施例中的图像处理方法进行具体描述：

响应于用户打开相机应用的操作，例如点击相机应用图标的操作，相机应用调用应用框架层的相机访问接口，启动相机应用，进而通过调用相机硬件抽象层中的相机设备（相机设备1和/或其他相机设备）发送启动摄像头的指令。相机硬件抽象层将该指令发送到内核层的相机设备驱动。该相机设备驱动可以启动相应的摄像头传感器，并通过传感器采集图像光信号。相机硬件抽象层中的一个相机设备对应硬件层的一个摄像头传感器。

然后，摄像头传感器可将采集到的图像光信号传输到图像信号处理器进行预处理，得到图像电信号（原始图像），并将上述原始图像通过相机设备驱动传输至相机硬件抽象。

相机硬件抽象可将原始图像发送的相机算法库。相机算法库中存储有实现本申请实施例提供的图像处理方法的程序代码。基于数字信号处理器、图像处理器，相机算法库执行上述代码，可实现本申请实施例中描述的图像处理方法。

相机算法库可将对原始图像处理后得到的HDR图像发送到相机硬件抽象。然后，相机硬件抽象可以将其通过相机访问接口传输至应用层进行送显。

本申请实施例中，电子设备得到HDR图像的流程包括：出帧、配准、计算第一权重、计算鬼影图、计算融合权重图、非正常曝光帧融合等步骤。下面结合图7对各个步骤进行说明。

示例性的，图7为本申请实施例提供的一种图像处理方法的流程示意图。如图7所示，以第二类帧图像为S帧图像为例，图像处理方法包括：

S701、电子设备通过HDR模式采集图像，得到N帧图像和S帧图像。

HDR模式、N帧图像和S帧图像可以参照上述相应说明，此处不再赘述。

本申请实施例中，电子设备可以根据采集到的N帧图像的亮度，确认S帧图像的曝光参数并根据该曝光参数采集S帧图像；电子设备也可以在确认N帧图像的曝光参数后，根据预设值确认S帧图像的曝光参数，并根据两个曝光参数分别采集N帧图像和S帧图像。本申请实施例对于S帧图像的曝光参数的确认方式不做具体限定。

一些实施例中，电子设备可以通过AE方法对相机采集的图像，确认N帧图像的曝光参数，并根据该曝光参数采集N帧图像；电子设备根据N帧图像的亮度，以及图像亮度和曝光参数之间的对应关系，得到S帧图像的曝光参数。并根据该曝光参数采集S帧图像。图像亮度和曝光参数之间的对应关系可以以表格的方式或任意方式存储在电子设备中，此处不做具体限定。

另一些实施例中，电子设备可以根据AE方法得到确认N帧图像的曝光参数，并根据N帧图像的曝光参数与预设值确认S帧图像的曝光参数。电子设备根据两个曝光参数采集N帧图像和S帧图像。示例性的，以调整曝光时间，预设值可以为0.5为例，S帧图像的曝光时间可以为N帧图像的曝光时间的一半。

S702、电子设备将N帧图像和S帧图像进行配准处理，得到配准后的S帧图像。

本申请实施例中，配准是指将多帧图像在空间位置上对准。电子设备可以采用刚性配准、或非刚性配准等方式进行配准处理。

示例性的，电子设备可以对N帧图像和S帧图像进行特征提取得到N帧图像的图像特征，以及S帧图像的图像特征。电子设备对N帧图像的图像特征，以及S帧图像的图像特征进行特征匹配得到配准系数，并将配准系数作用在S帧图像上得到配准后的S帧图像。配准系数可以为单应性矩阵，此处不做限定。

下述S703-S706均使用配准后的S帧图像进行计算。

一些实施例中，电子设备可以通过对图像进行特征提取，并将各图像提取到的特征点进行特征点匹配，得到配准后的S帧图像。

电子设备可以通过加速鲁棒特征（speed uprobust features，SURF）、尺度不变特征变换（scale-invariant feature transform，SIFT）、Harris角点计算、阿里斯特计算，托马斯计算等方法，对各图像进行特征提取。电子设备可以通过对特征点进行旋转、平移等操作，实现特征点匹配；电子设备还可以通过光流等方式实现特征点匹配，此处不做具体限定。本申请实施例对于特征点的提取方式，以及匹配方式不做具体限定。

本申请实施例中，还可以通过其他图像特征进行匹配，得到配准后的图像。其他图像特征可以为直线段、边缘、轮廓、重心等。此处不做具体限定。

一些实施例中，电子设备可以对S帧图像进行提亮处理，使得提亮后的S帧图像的亮度与N帧图像的亮度一致。电子设备可以对N帧图像和提亮后的S帧图像进行特征点匹配，得到配准系数，并根据特征系数得到配准后的S帧图像。这样，N帧图像和提亮后的S帧图像亮度一致，提升特征匹配的准确度，提升配准效果。

S703、计算配准后的S帧图像的第一权重图。

本申请实施例中，配准后的S帧图像的第一权重图用于指示配准后的S帧图像中各个像素的清晰程度。清晰程度也可以理解为曝光程度。

一些实施例中，配准后的S帧图像的第一权重图与配准后的S帧图像的灰度图相关。S帧图像中各个像素的第一权重与其各自对应的灰度值相关。

以S帧图像为例，当图像的灰度值小于阈值A时，第一权重为0；当灰度值大于或等于阈值A，且灰度值小于或等于阈值B时，第一权重随灰度值增加而增加；当灰度值大于阈值B时，第一权重为1。适应性的，N帧图像的第一权重为1与配准后的S帧图像的第一权重之差。这样，在N帧图像过曝时，以配准后的S帧图像为准进行融合；在N帧图像未过曝时，第一权重与灰度值相对应；在可以实现从欠曝到过曝的配准后的S帧图像融合时的平滑过渡。

本申请实施例中，阈值B大于阈值A，阈值B、阈值A可以为任意值，此处不做具体限定。

一些实施例中，阈值B为N帧图像的过曝点对应的灰度值，阈值A为欠曝点对应的灰度值。欠曝点可以理解为图像曝光不足时对应的亮度阈值，过曝点可以理解为图像曝光过度时对应的亮度阈值。

一些实施例中，过曝点和欠曝点可以通过N帧图像的最大亮度确认。示例性的，以过曝点为N帧图像的最大亮度的90%为例，阈值A为N帧图像的最大亮度的10%的情况下对应的灰度值，阈值B为N帧图像的最大亮度的90%的情况下对应的灰度值。

本申请实施例中，电子设备可以通过线性变换实现平滑过渡，还可以通过任意曲线实现平滑过渡。

示例性的，以线性变换为例，配准后的S帧图像的第一权重满足：。N帧图像的第一权重满足：。其中，为配准后的S帧图像的第一权重，为配准后的S帧图像的灰度值，为阈值A，为阈值B。为N帧图像的第一权重。

示例性的，以多项式变化为例，配准后的S帧图像的第一权重满足：。N帧图像的第一权重满足：。其中，为配准后的S帧图像的第一权重，为配准后的S帧图像的灰度值，为阈值A，为阈值B。为N帧图像的第一权重

示例性的，配准后的S帧图像的第一权重可以如图8中的b所示，N帧图像的第一权重可以如图8中的a所示。

本申请实施例中，相机采集到采集到的N帧图像和S帧图像为拜耳原始图像（bayerraw）。电子设备将图像从拜耳原始图像（bayer raw）转换为灰度图，得到图像的灰度图，得到图像的灰度值。

可以理解的是，拜耳原始图像包含绿色、红色、蓝色等三种颜色信息，可以通过该三种颜色信息中的一种或多种实现灰度图的转换。

一些实施例中，可以采用绿色信息的参数计算图像的灰度值，进而计算图像的第一权重。参数可以为均值、中位数等，此处不做具体限定。示例性的，采用S帧图像中绿色信息的均值计算S帧图像的灰度图，进而计算S帧图像对应的第一权重；采用N帧图像中绿色信息的均值计算N帧图像的灰度图，进而计算N帧图像对应的第一权重。

需要说明的是，由于人眼对绿色波段的色彩比较敏感，拜耳原始图像中包含的绿色信息较多。示例性的，bayer数据格式中可以包含50%的绿色信息、25%的红色信息和25%的蓝色信息。这样，绿色信息较多，可以准确反映图像的灰度。

另一些实施例中，也可以每个颜色信息设置一定的权重，通过各个颜色信息对应的权重综合多个颜色信息计算图像的灰度图，进而计算图像的第一权重。示例性的，以绿色、红色和蓝色分别对应于0.5、0.25和025为例，采用S帧图像中绿色信息的均值计算S帧图像的灰度图，进而计算S帧图像对应的第一权重。

S704、计算鬼影图。

本申请实施例中，鬼影图是指N帧图像与配准后的S帧图像之间的偏离（未对齐的图像）。偏差可以是由于运动对象引起的。其中，运动对象是指在N帧图像所对应的场景中存在的运动的人、运动的物或其他因相机移动引起的帧间内容变化等。此处不做具体限定。

一些实施例中，电子设备将配准后的S帧图像进行提亮处理，使得提亮后的配准后的S帧图像与N帧图像的亮度相同。鬼影图满足：。H为鬼影图，，为提亮后的配准后的S帧图像。

本申请实施例中，可以通过图像的一种或多种颜色信息计算鬼影图。示例性的，以通过图像中的绿色信息计算鬼影图为例，鬼影图满足：。H为鬼影图，为N帧图像的绿色信息对应的灰度图，为提亮后的配准后的S帧图像的绿色信息对应的灰度图；

另一些实施例中，鬼影图用于指示N帧图像与提亮后的配准后的S帧图像的偏离程度的图像。鬼影图满足：。可以理解的是，偏离程度越大，鬼影图对应的值越大，偏离越小，鬼影图对应的值越小。

这样，可以实现归一化处理，简化后续计算。示例性的，以通过图像中的绿色信息计算鬼影图为例，鬼影图满足：。为N帧图像中绿色信息对应的灰度图，为提亮后的配准后的S帧图像中绿色信息对应的灰度图。示例性的，鬼影图可以如图8中的c所示。

上述实施例是通过与亮度相关的颜色信息对鬼影图进行计算的，还可以通过除颜色信息外的显示参数（例如，对比度、差异度、饱和度、梯度）等实现鬼影图的计算。

本申请实施例中，电子设备还可以综合任意多种显示参数计算鬼影图。多种显示参数包括但不限于：亮度、对比度、差异度、饱和度或图像梯度等。示例性的，以亮度、对比度、差异度、饱和度和图像梯度为例，每个参数各自对应有权重，电子设备计算各个参数对应的偏离程度，将每个参数的偏离程度与各自对应的权重相乘后叠加，得到图像的鬼影图。该偏离程度为N帧图像与S帧图像的偏离程度；该偏离程度也可以为N帧图像与提亮后的配准后的S帧图像的偏离程度。

S705、计算融合权重图。融合权重图用于指示配准后的S帧图像中各个像素的融合权重。N帧图像的融合权重和配准后的S帧图像的融合权重为1。

一些实施例中，融合权重图为：配准后的S帧图像的第一权重与鬼影图之积。示例性的，融合权重图W满足：。这样，通过配准后的S帧图像的第一权重图对鬼影图进行处理，可以减少鬼影图中未对齐部分的鬼影。

示例性的，如图8所示，在车辆尾部801中的白色区域对应的鬼影值较大，采用配准后的S帧图像对应的第一权重图。而车辆尾部区域中的白色区域对应的配准后的S帧图像的第一权重为0，采用N帧图像进行融合。可以理解的是，融合后的图像中车辆尾部区域中的白色区域为黑色，鬼影减少。

另一些实施例中，融合权重图W满足：。这样，在鬼影值较大时，多采用配准后的S帧图像对应的第一权重图对鬼影图进行处理，减小鬼影；在鬼影值较小时，多采用N帧图像对应的第一权重图对鬼影图进行处理，保留N帧图像的噪声细节。

S706、根据融合权重图将N帧图像与配准后的S帧图像进行融合，得到HDR图像。

本申请实施例中，HDR图像R满足：。其中，为配准后的S帧图像对应的拜耳原始图像；为N帧图像对应的拜耳原始图像。

这样，在N帧图像与S帧图像对齐较好的区域优先使用N帧，提升噪声细节表现，在N帧图像与S帧图像对齐不好的区域优先使用配准后的S帧，减少N帧图像与配准后的S帧图像融合时的鬼影。

上述实施例中，电子设备对N帧图像和S帧图像进行配准处理，并通过N帧图像和配准后的S帧图像进行融合处理得到HDR图像。电子设备也可以不对N帧图像和S帧图像进行配准处理，通过N帧图像和S帧图像进行融合处理得到HDR图像（即，不执行S702，将S703-S705中的配准后的S帧图像替换为S帧图像）。适应性的，鬼影图用于表示N帧图像与S帧图像的偏离程度；此处不做具体限定。

电子设备还可以进行多尺度融合、小波变换等方式实现N帧图像和配准后的S帧图像的融合。多尺度融合方式包括但不限于：高斯金字塔、拉普拉斯金字塔。

示例性的，以高斯金字塔为例，电子设备可以对N帧图像和配准后的S帧图像进行一次或多次下采样，得到不同尺度的N帧图像以及不同尺度的配准后的S帧图像。针对每个尺度下的N帧图像和配准后的S帧图像采用上述S703-S705的方式进行融合，并对融合后的图像进行一次或多次上采样处理，得到HDR图像。

示例性的，以拉普拉斯金字塔为例，电子设备可以将N帧图像分为多个频率分量下的图像，将配准后的S帧图像分为多个频率分量下的图像；并对相同频率分量下的N帧图像和配准后的S帧图像采用上述S703-S705的方式进行融合。再将多个频率分量下的融合后的图像进行融合，得到HDR图像。

上述实施例是以N帧图像和S帧图像为例对HDR图像进行说明的。下面结合图9对N帧图像和L帧图像生成HDR图像的过程进行说明。

示例性的，图9为本申请实施例提供的一种图像处理方法的流程示意图。如图9所示，方法包括：

S901、电子设备通过HDR模式采集图像，得到N帧图像和L帧图像。

HDR模式、N帧图像和L帧图像可以参照上述相应说明，此处不再赘述。

本申请实施例中，电子设备可以根据采集到的N帧图像的亮度，确认L帧图像的曝光参数并根据该曝光参数采集L帧图像；电子设备也可以在确认N帧图像的曝光参数后，根据预设值确认L帧图像的曝光参数，并根据两个曝光参数分别采集N帧图像和L帧图像。本申请实施例对于L帧图像的曝光参数的确认方式不做具体限定。

L帧图像的曝光参数的确认方式与S帧图像的曝光参数的确认方式类似，此处不再详细赘述。

S902、电子设备将N帧图像和L帧图像进行配准处理，得到配准后的L帧图像。

一些实施例中，电子设备可以通过对图像进行特征提取，并将各图像提取到的特征点进行特征点匹配，得到配准后的L帧图像。配准方式可以参照上述相应说明，此处不再赘述。

S903、计算配准后的L帧图像的第一权重图。

本申请实施例中，配准后的L帧图像的第一权重用于指示配准后的L帧图像的清晰程度。一些实施例中，配准后的L帧图像的第一权重与配准后的L帧图像的灰度值相关。

以配准后的L帧图像为例，当图像的灰度值小于阈值A时，第一权重为1；当灰度值大于或等于阈值A，且灰度值小于或等于阈值B时，第一权重随灰度值增加而减小；当灰度值大于阈值B时，第一权重为0。适应性的，N帧图像的第一权重为1与配准后的L帧图像的第一权重之差。这样，在N帧图像欠曝时，以配准后的L帧图像为准进行融合；在N帧图像未欠曝时，第一权重与灰度值相对应；在可以实现从欠曝到过曝时配准后的L帧图像融合时的平滑过渡。

本申请实施例中，电子设备可以通过线性变换实现平滑过渡，还可以通过任意曲线实现平滑过渡。

示例性的，以线性变换为例，配准后的L帧图像的第一权重满足：。N帧图像的第一权重满足：。其中，为配准后的L帧图像的第一权重，为配准后的L帧图像的灰度值，为阈值A，为阈值B。为N帧图像的第一权重。

S904、计算鬼影图。

本申请实施例中，鬼影图是指N帧图像与配准后的L帧图像的偏离（未对齐的图像）。

一些实施例中，电子设备将配准后的L帧图像进行提亮处理，使得N帧图像的亮度与降低亮度后的配准后的L帧图像的亮度相同。鬼影图满足：。。H为鬼影图，为降低亮度后的配准后的L帧图像。

本申请实施例中，可以通过图像的一种或多种颜色信息计算鬼影图。示例性的，以通过图像中的绿色信息计算鬼影图为例，鬼影图满足：。H为鬼影图，为N帧图像的绿色信息，为降低亮度后的配准后的L帧图像的绿色信息；

另一些实施例中，鬼影图用于指示N帧图像与降低亮度后的配准后的L帧图像的偏离程度的图像。鬼影图满足：。可以理解的是，偏离程度越大，鬼影图对应的值越大，偏离越小，鬼影图对应的值越小。

这样，可以实现归一化处理，简化后续计算。示例性的，以通过图像中的绿色信息计算鬼影图为例，鬼影图满足：。为N帧图像中绿色信息对应的灰度图；为提亮后的配准后的L帧图像中绿色信息对应的灰度图。

S905、计算融合权重图。N帧图像的融合权重和配准后的L帧图像的融合权重为1。

一些实施例中，融合权重图为：配准后的L帧图像的第一权重与鬼影图之积。示例性的，分区融合权重图满足：。这样，通过配准后的L帧图像的第一权重图对鬼影图进行处理，可以减少鬼影图中未对齐部分的鬼影。

另一些实施例中，融合权重图满足：。这样，在鬼影值较大时，采用L帧图像对应的第一权重图对鬼影图进行处理，减小鬼影在鬼影值较小时，采用N帧图像对应的第一权重图对鬼影图进行处理，保留N帧图像的噪声细节。

S906、通过融合权重图对N帧图像与配准后的L帧图像进行融合，得到HDR图像。

本申请实施例中，HDR图像满足：。其中，配准后的L帧图像对应的拜耳原始图像；为N帧图像对应的拜耳原始图像。

这样，在N帧图像与L帧图像对齐较好的区域优先使用N帧，提升噪声细节表现，在N帧图像与L帧图像对齐不好的区域优先使用配准后的L帧，减少N帧图像与配准后的L帧图像融合时的鬼影。

上述实施例中，电子设备对N帧图像和L帧图像进行配准处理，并通过N帧图像和配准后的L帧图像进行融合处理得到HDR图像。电子设备也可以不对N帧图像和L帧图像进行配准处理，通过N帧图像和L帧图像进行融合处理得到HDR图像（即，不执行S702，将S903-S905中的配准后的L帧图像替换为L帧图像）。此处不做具体限定。

上述实施例是以一个N帧图像和一个S帧图像合成HDR图像，或者一个N帧图像和一个L帧图像为例进行说明的。电子设备也可以以一个N帧图像和一个或多个S帧图像，以及一个或多个L帧图像合成HDR图像。示例性的，以一个N帧图像、一个S帧图像和一个L帧图像合成HDR图像为例，电子设备可以先对N帧图像和S帧图像进行融合处理（执行上述图7所示的流程），得到融合后的图像。再将融合后的图像作为第一类帧图像与L帧图像进行融合处理（执行上述图9所示的流程），得到HDR图像。本申请实施例对于一个第一类帧图像和多个第二类帧图像合成HDR图像的具体过程不做限定。

示例性的，图10为本申请实施例提供的一种图像处理方法的流程示意图。如图10所示，方法包括：

S1001、响应于拍照操作，获取第一类帧图像和第二类帧图像，第一类帧图像的曝光时长和第二类帧图像的曝光时长不同，第一类帧图像的曝光值为0EV。适应性的，第二类帧图像的曝光值不为0EV。

第一类帧图像可以为相机采集的图像（例如，N帧图像），第二帧图像可以为相机采集的图像（例如，S帧图像、L帧图像），也可以为与第一类帧图像做配准处理后的图像（例如，配准后的S帧图像、配准后的L帧图像等）。可以理解的是，对相机拍摄的图像进行配准处理，可以提升图像融合的准确性，提升图像融合的效果。

示例性的，第一类帧图像可以对应于上文中的N帧图像，第二类帧图像可以对应于上文中配准后的S帧图像或配准后L帧图像。

S1002、对第一类帧图像和第二类帧图像进行融合，得到目标图像。

其中，第一类帧图像的融合权重为第一值，第二类帧图像的融合权重为第二值，第一值和第二值的和为第一固定值，第二值与第二类帧图像的清晰程度，以及偏离程度相关；偏离程度为第一类帧图像与第二类帧图像的偏离程度。

第一固定值可以为1或任意值，此处不做具体限定。第一固定值可以为1时，计算更加简便。

本申请实施例中，相同偏离程度下，融合权重与图像的清晰程度正相关；相同清晰程度下，融合权重与偏离程度正相关。

这样，融合权重与图像的清晰程度、偏离程度相关，综合考虑偏离程度和图像的清晰度对图像融合的影响，提升图像融合的效果。在偏离程度较大时优先使用第二类帧图像进行融合，减少由于第一类帧图像和第二类帧图像偏离导致的鬼影。

在一种可能的实现方式中，第二值为第三值与第四值之积，第三值用于描述第二类帧图像的清晰程度，第四值用于描述偏离程度。这样，融合权重与偏离程度正相关，偏离程度越大，第二类帧图像的融合权重越大，减少图像融合时的鬼影。

在一种可能的实现方式中，第二值为第五值与第六值之和，第五值为第三值与第四值之积，第六值为第七值与第八值之积，第七值与第三值之和为第二固定值，第八值与第四值之和为第三固定值。第二固定值可以为1或任意值，此处不做具体限定。第二固定值可以为1时，计算更加简便。

第三固定值可以为1或任意值，此处不做具体限定。第三固定值可以为1时，计算更加简便。

这样，在偏离程度较小的区域第一类帧图像的融合权重大，可以保留第一类帧图像的噪声细节表现，偏离程度较小的区域第二类帧图像的融合权重大，减少鬼影。

在一种可能的实现方式中，在第二类帧图像的曝光时长大于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值正相关；第二类帧图像的灰度值是通过第二类帧图像的亮度得到的；或者，在第二类帧图像的曝光时长小于第一类帧图像的曝光时长时，第三值与第二类帧图像的灰度值负相关。

在第二类帧图像为配准后的S帧图像时，灰度值越大，配准后的S帧图像越清晰，对应的配准后的S帧图像的融合权重越大。这样，可以通过配准后的S帧图像消除鬼影，以及对N帧图像的过曝区域进行细节补充，提升目标图像的暗部细节。在第二类帧图像为配准后的L帧图像时，灰度值越小，配准后的L帧图像越清晰，对应的L帧图像的融合权重越大。这样，可以对N帧图像的欠曝区域进行细节补充，提升目标图像的亮部细节。

在一种可能的实现方式中，在第二类帧图像的灰度值大于或等于第一阈值时，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为1，第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

本申请实施例中，第二阈值大于第一阈值，第二阈值、第一阈值可以为任意值，此处不做具体限定。

可以理解的是，配准后的S帧图像中，灰度值过低时，图像的亮度可能较低，图像的细节较少。

这样，配准后的S帧图像中灰度值过低的区域对应的融合权重为0，该区域N帧图像对应的融合权重较大，该区域在目标图像中可以保留更多的图像细节。

在一种可能的实现方式中，第三值与第二类帧图像的灰度值正相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为0；在第二类帧图像的灰度值大于第二阈值时，第三值为1；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值正相关。

正相关可以为线性正相关，也可以非线性正相关，此处不做具体限定。

这样，配准后的S帧图像中灰度值较高的区域对应的融合权重为1，该区域不使用N帧图像进行融合。目标图像中可以保留配准后的S帧图像中的图像细节，提升融合效果。

在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。这样，通过线性方式进行计算，简单易于实现。

在一种可能的实现方式中，第一阈值为第一类帧图像中欠曝点对应的灰度值，第二阈值为第一类帧图像中过曝点对应的灰度值。欠曝点可以理解为图像曝光不足时对应的亮度阈值，过曝点可以理解为图像曝光过度时对应的亮度阈值。

这样，通过N帧图像的欠曝点和过曝点设置阈值区间，逐步提高相同偏离程度下S帧图像的融合权重，更好的消除鬼影。

在一种可能的实现方式中，第一阈值为第二类帧图像中欠曝点对应的灰度值，第二阈值为第二类帧图像中过曝点对应的灰度值。

这样，通过S帧图像的欠曝点和过曝点设置阈值区间，逐步提高相同偏离程度下S帧图像的融合权重，更好的消除鬼影。

在一种可能的实现方式中，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值大于第二阈值时，第三值为0；在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

可以理解的是，配准后的L帧图像中，灰度值过高时，图像的亮度可能较高，图像的细节较少。

这样，配准后的L帧图像中灰度值过高的区域对应的融合权重为0，该区域N帧图像对应的融合权重较大，该区域在目标图像中可以保留更多的图像细节。

在一种可能的实现方式中，在第二类帧图像的灰度值小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关，包括：在第二类帧图像的灰度值小于第一阈值时，第三值为1；在第二类帧图像的灰度值大于第二阈值时，第三值为0；第二阈值大于第一阈值；在第二类帧图像的灰度值大于或等于第一阈值，且小于或等于第二阈值时，第三值与第二类帧图像的灰度值负相关。

第三值与第二类帧图像的灰度值负相关。负相关可以为线性负相关，也可以非线性负相关，此处不做具体限定。

这样，配准后的L帧图像中灰度值较低的区域对应的融合权重为1，该区域不使用N帧图像进行融合。目标图像中可以保留配准后的L帧图像中的图像细节，提升融合效果。

在一种可能的实现方式中，第三值满足：；其中，为第三值，为第二类帧图像的灰度值，为第一阈值，为第二阈值。

这样，通过线性方式进行计算，简单易于实现。

在一种可能的实现方式中，偏离程度是通过第一类帧图像与第三类帧图像得到的，第三类帧图像是通过调整第二类帧图像的亮度得到的，第三类帧图像的亮度与第一类帧图像的亮度相同。

这样，在第二类帧图像亮度调整后进行偏离程度的计算，提升特征点匹配的准确度，使得偏离程度计算更加准确。

在一种可能的实现方式中，偏离程度满足：，H为偏离程度。这样，归一化处理，方便后续计算。

在一种可能的实现方式中，偏离程度与第一帧图像的灰度值，以及第三类帧图像的灰度值相关；偏离程度满足：；其中，为第一类帧图像的灰度值；为第三类帧图像的灰度值，H为偏离程度。

这样，可以通过灰度值实现对偏离程度的评估。

本申请实施例中，电子设备还可以综合任意多种显示参数计算偏离程度。多种显示参数包括但不限于：亮度、对比度、差异度、饱和度或图像梯度等。示例性的，以亮度、对比度、差异度、饱和度和图像梯度为例，每个参数各自对应有权重，电子设备计算各个参数对应的偏离程度，将每个参数的偏离程度与各自对应的权重相乘后叠加，得到图像的偏离程度。以N帧图像和S帧图像为例，该偏离程度为N帧图像与S帧图像的偏离程度；该偏离程度也可以为N帧图像与提亮后的配准后的S帧图像的偏离程度。

上面已对本申请实施例的图像处理方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本申请实施例提供的相关装置可以执行上述方法中的步骤。

本申请实施例提供的图像处理方法，可以应用在具备通信功能的电子设备中。电子设备包括终端设备，终端设备的具体设备形态等可以参照上述相关说明，此处不再赘述。

本申请实施例提供一种电子设备，该电子设备包括：处理器和存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得电子设备执行上述方法。

本申请实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

一种可能的实现方式中，计算机可读介质可以包括RAM，ROM，只读光盘（compactdisc read-only memory，CD-ROM）或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线（digital subscriber line，DSL）或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘（digital versatile disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行上述方法。

本申请实施例是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

需要说明的是，本申请实施例所涉及的模块名称均可以定义为其他的名称，能够实现各模块的作用即可，不对模块的名称做具体限制。

需要说明的是，本申请实施例所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

响应于拍照操作，获取第一类帧图像和第二类帧图像，所述第一类帧图像的曝光时长和所述第二类帧图像的曝光时长不同，所述第一类帧图像的曝光值为0EV；

对所述第一类帧图像和所述第二类帧图像进行融合，得到目标图像；

其中，所述第一类帧图像的融合权重为第一值，所述第二类帧图像的融合权重为第二值，所述第一值和所述第二值的和为第一固定值，所述第二值与所述第二类帧图像的清晰程度，以及偏离程度相关；所述偏离程度为所述第一类帧图像与所述第二类帧图像的偏离程度；

其中，所述第二值为第五值与第六值之和，所述第五值为第三值与第四值之积，所述第六值为第七值与第八值之积，所述第七值与所述第三值之和为第二固定值且为1，所述第八值与所述第四值之和为第三固定值且为1，所述第三值为第二类帧图像的第一权重，所述第七值为第一类帧图像的第一权重，所述第三值用于描述所述第二类帧图像的清晰程度，所述第三值与所述第二类帧图像的灰度值相关，所述第二类帧图像的灰度值是根据所述第二类帧图像中包括的绿色信息的参数计算得到的，所述第四值用于描述所述偏离程度，所述偏离程度是通过所述第一类帧图像与第三类帧图像得到的，所述第三类帧图像是通过调整所述第二类帧图像的亮度得到的，所述第三类帧图像的亮度与所述第一类帧图像的亮度相同，所述偏离程度与所述第一类帧图像的灰度值，以及所述第三类帧图像的灰度值相关，所述第一类帧图像的灰度值是所述第一类帧图像中包括的绿色信息对应的灰度值，所述第三类帧图像的灰度值是所述第三类帧图像中包括的绿色信息对应的灰度值。

2.根据权利要求1所述的方法，其特征在于，

在所述第二类帧图像的曝光时长小于所述第一类帧图像的曝光时长时，所述第三值与所述第二类帧图像的灰度值正相关；

或者，在所述第二类帧图像的曝光时长大于所述第一类帧图像的曝光时长时，所述第三值与所述第二类帧图像的灰度值负相关。

3.根据权利要求2所述的方法，其特征在于，所述第三值与所述第二类帧图像的灰度值正相关，包括：

在所述第二类帧图像的灰度值小于第一阈值时，所述第三值为0；

在所述第二类帧图像的灰度值大于或等于所述第一阈值时，所述第三值与所述第二类帧图像的灰度值正相关。

4.根据权利要求3所述的方法，其特征在于，所述在所述第二类帧图像的灰度值大于或等于所述第一阈值时，所述第三值与所述第二类帧图像的灰度值正相关，包括：

在所述第二类帧图像的灰度值大于第二阈值时，所述第三值为1，所述第二阈值大于所述第一阈值；

在所述第二类帧图像的灰度值大于或等于所述第一阈值，且小于或等于所述第二阈值时，所述第三值与所述第二类帧图像的灰度值正相关。

5.根据权利要求4所述的方法，其特征在于，

所述第三值满足：其中，所述W_s为所述第三值，所述x为所述第二类帧图像的灰度值，所述t₁为所述第一阈值，所述t₂为所述第二阈值。

6.根据权利要求5所述的方法，其特征在于，所述第一阈值为所述第一类帧图像中欠曝点对应的灰度值，所述第二阈值为所述第一类帧图像中过曝点对应的灰度值。

7.根据权利要求2所述的方法，其特征在于，所述第三值与所述第二类帧图像的灰度值负相关，包括：

在所述第二类帧图像的灰度值大于第二阈值时，所述第三值为0；

在所述第二类帧图像的灰度值小于或等于所述第二阈值时，所述第三值与所述第二类帧图像的灰度值负相关。

8.根据权利要求7所述的方法，其特征在于，所述在所述第二类帧图像的灰度值小于或等于所述第二阈值时，所述第三值与所述第二类帧图像的灰度值负相关，包括：

在所述第二类帧图像的灰度值小于第一阈值时，所述第三值为1；

在所述第二类帧图像的灰度值大于第二阈值时，所述第三值为0；所述第二阈值大于所述第一阈值；

在所述第二类帧图像的灰度值大于或等于所述第一阈值，且小于或等于所述第二阈值时，所述第三值与所述第二类帧图像的灰度值负相关。

9.根据权利要求8所述的方法，其特征在于，

所述第三值满足：其中，所述w_l为所述第三值，所述x为所述第二类帧图像的灰度值，所述t₁为所述第一阈值，所述t₂为所述第二阈值。

10.根据权利要求1所述的方法，其特征在于，

所述偏离程度满足：其中，所述G₁为所述第一类帧图像的灰度值；所述G₃为所述第三类帧图像的灰度值，所述H为所述偏离程度。

11.一种电子设备，其特征在于，包括：处理器和存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行如权利要求1-10任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的方法。

13.一种芯片系统，其特征在于，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行计算机程序或指令，以执行如权利要求1-10任一项所述的方法。