CN116452437B - 高动态范围图像处理方法及电子设备 - Google Patents

Abstract

本申请提供一种高动态范围图像处理方法及电子设备，涉及终端技术领域。在拍摄得到初始HDR图像后，电子设备可以分别提高该初始HDR图像、该初始HDR图像对应的长帧图像、短帧图像的对比度，该初始HDR图像对应的长帧图像和短帧图像可以是电子设备实际拍摄得到的图像，也可以是利用初始HDR图像模拟得到的图像。之后，电子设备可以利用深度神经网络模型，对提高对比度后的HDR图像、提高对比度后的短帧图像、提高对比度后的长帧图像进行融合，得到高对比度的HDR图像，且该高对比的HDR图像的暗区、亮区的细节信息损失程度较小，从而实现对初始HDR图像的对比度增强处理，提高了HDR图像的通透性，进而提高了电子设备输出的HDR图像的质量。

Description

高动态范围图像处理方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种高动态范围图像处理方法及电子设备。

背景技术

随着电子设备(如手机)的发展，手机的拍摄功能也得到了快速发展。为了提高拍摄的图像质量，部分手机已经集成了高动态范围(HighDynamicRange，HDR)功能。HDR的原理是，手机摄像头分别在不同曝光量EV下拍摄图像。然后将不同曝光量EV下拍摄的进行融合，得到HDR图像。然而，融合得到的HDR图像的细节可能会不清晰，通透性较差，因此，需要提高HDR图像的对比度，以提高HDR图像的通透性。

目前，在调整HDR图像的对比度时，一般是开发人员手动调整HDR图像的对比度，但容易导致出现HDR图像中的亮区过曝、暗区过暗的问题，从而造成HDR图像的细节信息(如亮区、暗区细节信息)损失，导致HDR图像质量较低。

发明内容

有鉴于此，本申请提供了一种高动态范围图像处理方法及电子设备，提高HDR图像的质量。

第一方面，本申请提供一种HDR图像处理方法。在接收到用户对电子设备的第一操作后，表明电子设备需要采用HDR图像，拍摄图像，该电子设备可以响应于该第一操作，拍摄初始HDR图像。之后，该电子设备可以提高该初始HDR图像的对比度，得到高对比度初始HDR图像，并且该电子设备可以提高该初始HDR图像对应的非正常曝光图像的对比度，得到高对比度非正常曝光图像。其中，该非正常曝光图像表示曝光量不为0EV的图像，其包括短帧图像和/或长帧图像；该高对比度非正常曝光图像包括短帧图像对应的高对比度短帧图像和/或长帧图像对应的高对比度长帧图像；

之后，上述电子设备可以对该高对比度初始HDR图像和该高对比度非正常曝光图像进行融合，得到目标HDR图像，显示该目标HDR图像。

本申请中，提高初始HDR图像的对比度，以对提高初始HDR图像的通透性、立体感。并且通过将高对比度非正常曝光图像与高对比度初始HDR图像融合，可以将高对比度非正常曝光图像的亮区、暗区信息补充到高对比度初始HDR图像，从而实现高对比度初始HDR图像的亮区、暗区的细节信息的还原，降低由于提高初始HDR图像的对比度导致HDR图像的亮区、暗区的细节信息损失程度，进而相较于初始HDR图像，融合得到的目标HDR图像的对比度较高，通透性较高，且亮区、暗区的细节信息损失程度较低。同时，通过提高非正常曝光图像的对比度，可以使得将提高对比度后的非正常曝光图像(即高对比度非正常曝光图像)融合至高对比度初始HDR图像时，可以保证融合得到的图像的对比度较高，从而提高电子设备输出的HDR图像的质量。

在一些实施例中，如果图像(如初始HDR图像、非正常曝光图像)的对比度本身较高，如大于预设标准值，可以无需提高对比度。

在一种可能的设计方式中，上述非正常曝光图像包括短帧图像，短帧图像主要负责提供亮区信息，上述高对比度非正常曝光图像包括高对比度短帧图像。相应的，电子设备可以对高对比度初始HDR图像和该高对比度短帧图像进行融合，得到目标HDR图像，实现HDR图像的对比度的提高，并实现亮区细节信息的保留。

在另一种可能的设计方式中，上述非正常曝光图像包括长帧图像，长帧图像主要负责提供暗区信息，上述高对比度非正常曝光图像包括高对比度长帧图像。相应的，电子设备可以对高对比度初始HDR图像和该高对比度长帧图像进行融合，得到目标HDR图像，实现HDR图像的对比度的提高，并实现暗区细节信息的保留。

在另一种可能的设计方式中，上述非正常曝光图像包括短帧图像和长帧图像，长帧图像主要负责提供暗区信息，短帧图像主要负责提供亮区信息，上述高对比度非正常曝光图像包括高对比度短帧图像和高对比度长帧图像。相应的，电子设备可以对高对比度初始HDR图像和该高对比度短帧图像、高对比度长帧图像进行融合，得到目标HDR图像，实现HDR图像的对比度的提高，并实现亮区和暗区细节信息的保留。

示例性的，上述短帧图像包括第一短帧图像(又称为实际短帧图像)或第二短帧图像(又称为模拟短帧图像)，该长帧图像包括第一长帧图像(又称为实际长帧图像)或第二长帧图像(又称为模拟长帧图像)；该第一短帧图像表示该电子设备生成该初始HDR图像所利用的该电子设备实际拍摄的短帧图像，该第二短帧图像表示该电子设备基于该初始HDR图像模拟得到的短帧图像；该第一长帧图像表示该电子设备生成该初始HDR图像所利用的该电子设备实际拍摄的长帧图像，该第二长帧图像表示该电子设备基于该初始HDR图像模拟得到的长帧图像。

在一种可能的设计方式中，上述第二长帧图像可以是通过提亮初始HDR图像中的暗区的亮度得到的；初始HDR图像的暗区包括初始HDR图像中像素值小于第一预设亮度值的像素点所在的区域，也就是说暗区中的像素点的像素值小于第一预设亮度值，实现长帧图像的生成。

在一种可能的设计方式中，上述第二短帧图像是通过降低初始HDR图像中的亮区的亮度得到的；初始HDR图像的亮区包括初始HDR图像中像素值大于或等于第二预设亮度值的像素点所在的区域，也就是说亮区中的像素点的像素值大于或等于第二预设亮度值，实现短帧图像的生成。

在一种可能的设计方式中，电子设备可以将初始HDR图像中的各个像素点的像素值乘以第一亮度调整系数，得到第二短帧图像，该第一亮度调整系数大于0，且小于1，实现初始HDR图像的亮度的降低，从而实现HDR图像中的亮区的亮度的降低，得到与实际短帧图像的成像效果相似的第二短帧图像。

示例性的，上述第一亮度调整系数的确定过程可以包括：

上述电子设备计算初始HDR图像中的正常区的所有像素点的像素值的平均值与初始HDR图像中的亮区的所有像素点的像素值的平均值之间的比值，得到第一亮度调整系数，实现基于初始HDR图像的亮度情况确定第一亮度调整系数，实现第一亮度调整系数的准确确定，也即实现初始HDR图像亮度降低程度的准确确定。

其中，初始HDR图像正常区包括初始HDR图像中像素点的像素值大于或等于所述第一预设亮度值，且小于所述第二预设亮度值的像素点所在的区域，也就是说上述正常区中的像素点的像素值大于或等于所述第一预设亮度值，且小于所述第二预设亮度值。

在一种可能的设计方式中，电子设备可以将初始HDR图像中的各个像素点的像素值乘以第二亮度调整系数，得到第二长帧图像，该第二亮度调整系数大于1，实现初始HDR图像的亮度的提高，从而实现HDR图像中的暗区的亮度的提高，得到与实际长帧图像的成像效果相似的第二长帧图像。

示例性的，上述第二亮度调整系数的确定过程可以包括：

上述电子设备计算初始HDR图像中的正常区的所有像素点的像素值的平均值与初始HDR图像中的暗区的所有像素点的像素值的平均值之间的比值，得到第二亮度调整系数，实现基于初始HDR图像的亮度情况确定第二亮度调整系数，实现第二亮度调整系数的准确确定，也即实现初始HDR图像亮度提高程度的准确确定。

在一种可能的设计方式中，上述提高初始HDR图像的对比度，得到高对比度初始HDR图像的过程可以包括：

上述电子设备确定该初始HDR图像的低频图像(或称为初始HDR图像对应的低频图像)和该初始HDR图像的高频图像(或称为初始HDR图像对应的高频图像)；上述电子设备调节该初始HDR图像的高频图像的亮度；该电子设备将调节后的初始HDR图像的高频图像与该初始HDR图像的低频图像中的处于相同位置上的像素点的像素值相加，得到高对比度初始HDR图像，实现初始HDR图像的对比度的提高。

同理，上述提高非正常曝光图像的对比度，得到高对比度初始HDR图像的过程可以包括：

上述电子设备确定该非正常曝光图像的低频图像(或称为非正常曝光图像对应的低频图像)和该非正常曝光图像的高频图像(或称为非正常曝光图像对应的高频图像)；上述电子设备调节该非正常曝光图像的高频图像的亮度；该电子设备将调节后的非正常曝光图像的高频图像与该非正常曝光图像的低频图像中的处于相同位置上的像素点的像素值相加，得到高对比度非正常曝光图像，实现初始HDR图像的对比度的提高。

示例性的额，上述正常曝光图像包括实际长帧图像和实际短帧图像。电子设备确定该实际长帧图像的低频图像和该实际长帧图像的高频图像；上述电子设备调节该实际长帧图像的高频图像的亮度；该电子设备将调节后的实际长帧图像的高频图像与该实际长帧图像的低频图像中的处于相同位置上的像素点的像素值相加，得到高对比度实际长帧图像，实现实际长帧图像的对比度的提高。

电子设备确定该实际短帧图像的低频图像和该实际短帧图像的高频图像；上述电子设备调节该实际短帧图像的高频图像的亮度；该电子设备将调节后的实际短帧图像的高频图像与该实际短帧图像的低频图像中的处于相同位置上的像素点的像素值相加，得到高对比度实际短帧图像，实现实际短帧图像的对比度的提高。

在一种可能的设计方式中，电子设备可以通过采用双边网格算法或双边滤波算法，对所述初始HDR图像进行处理后得到上述始HDR图像的低频图像，实现低频图像的生成，并保留了图像边缘信息。

在一种可能的设计方式中，上述初始HDR图像的高频图像是通过将初始HDR图像与初始HDR图像的低频图像中的处于相同位置上的像素点的像素值相减得到的，实现高频图像的生成。

在一种可能的设计方式中，上述电子设备调节初始HDR图像的高频图像的亮度的过程可以包括：

上述电子设备将该初始HDR图像的高频图像中的各个像素点的像素值乘以各个像素点对应的第一预设系数，调节初始HDR图像的高频图像的亮度，加大图像的像素值之间的差值，从而提高高频图像的对比度。其中，像素点对应的第一预设系数是根据初始HDR图像的低频图像上的该像素点的位置上的像素值确定的。示例性的，电子设备可以确定该像素值所属的像素值范围，并将其确定为目标像素值范围。根据该目标像素值范围的最大值对应的预设系数，最小值对应的预设系数，确定该像素点对应的第一预设系数。其中，该像素点对应的第一预设系数在最大值对应的预设系数和最小值对应的预设系数之间插值。

在一种可能的设计方式中，为了提高图像处理速度，该电子设备可以先对初始HDR图像的灰度图进行下采样。之后，该电子设备可以提高下采样后的该初始HDR图像的对比度，得到该高对比度初始HDR图像；

同理，电子设备可以对该非正常曝光图像的灰度图进行下采样，之后，该电子设备提高下采样后的该非正常曝光图像的对比度，得到该高对比度非正常曝光图像。

在一种可能的设计方式中，在得到高对比度初始HDR图像和高对比度非正常曝光图像后，电子设备可以将该高对比度初始HDR图像和该高对比度非正常曝光图像输入至深度神经网络模型，以使该深度神经网络模型对该高对比度初始HDR图像和高对比度非正常曝光图像进行融合，也就是将高对比度非正常曝光图像的亮暗区信息融合到高对比度初始HDR图像，实现高对比度初始HDR图像的亮暗区的细节信息的还原，降低亮暗区信息的细节信息损失程度。

之后，电子设备可以将上述深度神经网络模型输出的高对比度灰度图进行彩色图转换处理以及上采样处理，得到该目标HDR图像，该目标HDR图像的分辨率与该初始HDR图像的分辨率相同，且该目标HDR图像是彩色图，实现高对比度的HDR图像的生成，并且保留了亮暗区的细节信息。

在一种可能的设计方式中，上述电子设备将该高对比度灰度图进行彩色图转换处理以及上采样处理，得到该目标HDR图像的过程可以包括：

电子设备计算高对比度灰度图与下采样后的初始HDR图像中的处于相同位置上的像素点的像素值之间的比值，得到映射系数图像；所述映射系数图像包括下采样后的初始HDR图像中的各个像素点对应的对比度调整系数；

之后，由于下采样后的初始HDR图像与初始HDR图像的分辨率不同，因此，该电子设备可以对映射系数图像进行上采样处理，得到上采样后的该映射系数图像；该上采样后的映射系数图像的分辨率与该初始HDR图像质的分辨率相同；映射系数图像可以包括下采样后的初始HDR图像中的各个像素点对应的对比度调整系数。通过该映射系数图像可以实现由初始HDR图像到目标HDR图像的映射。

该电子设备计算该初始HDR图像与该上采样后的映射系数图像中的处于相同位置上的像素点的像素值的乘积，得到该目标HDR图像，实现目标HDR图像的生成。

第二方面，本申请提供一种电子设备，所述电子设备包括显示屏、摄像头、存储器和一个或多个处理器；所述显示屏、所述摄像头、所述存储器和所述处理器耦合；所述摄像头用于采集图像，所述显示屏用于显示所述处理器生成的图像以及所述摄像头采集的图像，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行如上第一方面及其任一种可能的设计方式所述的方法。

第三方面，本申请提供一种计算机可读存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如上第一方面及其任一种可能的设计方式所述的方法。

第四方面，本申请提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如上第一方面及其任一种可能的设计方式所述的方法。

可以理解地，上述提供的第二方面所述的电子设备，第三方面所述的计算机存储介质，第四方面所述的计算机程序产品所能达到的有益效果，可参考第一方面及其任一种可能的实现方式中的有益效果，此处不再赘述。

附图说明

图1A为本申请实施例提供的一种HDR图像拍摄显示示意图一；

图1B为本申请实施例提供的一种HDR图像拍摄显示示意图二；

图1C为本申请实施例提供的一种HDR图像拍摄显示示意图三；

图1D为本申请实施例提供的一种HDR图像的显示示意图一；

图2A为本申请实施例提供的一种HDR图像的显示示意图二；

图2B为本申请实施例提供的一种HDR图像的显示示意图三；

图2C为本申请实施例提供的一种亮区显示示意图一；

图2D为本申请实施例提供的一种亮区显示示意图二；

图2E为本申请实施例提供的一种暗区显示示意图一；

图2F为本申请实施例提供的一种暗区显示示意图二；

图3A为本申请实施例提供的一种电子设备的硬件结构示意图；

图3B为本申请实施例提供的一种电子设备摄像头示意图一；

图3C为本申请实施例提供的一种电子设备摄像头示意图二；

图4为本申请实施例提供的一种HDR图像处理方法的流程示意图一；

图5为本申请实施例提供的一种HDR图像的显示示意图四；

图6为本申请实施例提供的一种HDR图像处理方法的流程示意图二；

图7A为本申请实施例提供的一种HDR图像的显示示意图五；

图7B为本申请实施例提供的一种HDR图像的显示示意图六；

图7C为本申请实施例提供的一种HDR图像的显示示意图七；

图7D为本申请实施例提供的一种HDR图像的显示示意图八；

图8为本申请实施例提供的一种HDR图像处理方法的流程示意图三；

图9为本申请实施例提供的一种HDR图像处理方法的流程示意图四。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了方便理解，下面先介绍本申请涉及的专业名词。

正常曝光图像：或称为N帧图像，其是摄像头在曝光量为0EV的情况下，拍摄得到的图像。也就是说，正常曝光图像的曝光量为0EV。这里的0EV是相对值，而不是是说曝光量为0。示例性的，曝光量＝曝光时间*感光度(ISO)。假设正常曝光图像是在ISO是200，曝光时间是50毫秒的情况下，拍摄得到的，0EV实际对应的曝光量是200与50毫秒的乘积。

短帧图像：或称为S帧图像，其是摄像头在曝光量小于0EV的情况下，拍摄得到的图像。也就是说，短帧图像的曝光量小于0EV，如短帧图像的曝光量为-2EV，-4EV等。

长帧图像：或称为L帧图像，其是摄像头在曝光量大于0EV的情况下，拍摄得到的图像。也就是说，短帧图像的曝光量大于0EV，如长帧图像的曝光量为2EV，4EV等。

对比度：表示一张图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，差异范围越大表示图像的对比度越大，差异范围越小表示图像的对比度越小。

上面介绍了本申请所涉及的专业名词，下面将开始介绍本申请的技术方案。

在一些拍摄场景中，拍摄画面可能明暗相差太大，拍摄得到的图像容易出现亮处过亮或者暗处过暗的情况，影响图像的质量。为了提高图像质量，电子设备可以采用HDR功能拍摄图像，生成HDR图像。举例来说，用户启动相机应用，电子设备响应于该相机应用的启动操作，可以显示如图1A所示的拍摄界面，该拍摄界面包括电子设备当前采集的预览图像。之后，当用户需要使用电子设备的HDR功能拍摄图像时，用户可以选择电子设备显示的如图1B所示的HDR控件。响应于用户对HDR控件的点击操作，电子设备可以显示如图1C所示的拍摄界面，该拍摄界面可以包括HDR提示信息1和拍照控件2，该HDR提示信息1可以提示用户电子设备处于HDR模式下。之后，响应于用户对该拍照控件2的点击操作，电子设备可以采用HDR功能，拍摄不同曝光量的图像，得到正常曝光图像和非正常曝光图像，该非正常曝光图像可以包括短帧图像和长帧图像。之后，电子设备可以对该正常曝光图像和非正常曝光图像进行融合，生成如图1D所示的HDR图像10。

其中，上述HDR图像中的亮区的信息是由短帧图像提供的，HDR图像中的暗区的信息是由长帧图像提供的。换句话来说，HDR图像中的亮区所呈现的内容是由短帧图像决定的，HDR图像中的暗区所呈现的内容是由长帧图像决定的。

然而，在融合HDR图像的过程中，电子设备会降低图像(如短帧图像)中亮区的亮度，提亮图像(如长帧图像)中暗区，使得融合得到的HDR图像对比度可能会较低，从而造成HDR图像的细节清晰度较低，从用户感知上来讲，通透度较低，立体感较差。因此，为了提高HDR图像的通透度，可以通过调整HDR图像的对比度提高HDR图像的通透性，立体感。

应理解，电子设备的摄像头(如摄像头中的图像传感器)一般是高位宽采样位宽，然而电子设备(如手机)存储的图像的位宽一般是8位宽。因此，电子设备会对摄像头采集的高位宽的图像进行压缩，生成8比特数据，实现将图像从高位宽降低为低位宽。在压缩过程中，会将图像的亮区压暗，暗区提亮，降低图像的对比度，使得电子设备输出的图像(如HDR图像)对比度较低。

在一些实施例中，开发人员可以通过手动调整HDR图像的对比度，如开发人员可以通过设置参数来实现对比度的调整。当对比度调整程度不合适时，调整后的HDR图像(如图2A所示的HDR图像20或如图2B所示的HDR图像30)容易出现亮区过曝和/或暗区过暗的情况，导致图像中的亮区的细节信息损失和/或图像中的暗区的细节信息损失，也就是导致图像中的细节信息损失，从而影响HDR图像的画质，降低HDR图像的质量。例如，较于如图2C所示的HDR图像10中的亮区12，上述图2A或图2D所示的HDR图像20中的亮区21过曝，细节存在丢失(如亮区21中的拍摄对象包括天空云朵，但由于云朵部分过亮，导致云朵的信息存在丢失)。相较于如图2E所示的HDR图像10中的暗区13，上述图2B或图2F所示的HDR图像30中的暗区31过暗，细节存在丢失(如暗区31中的拍摄对象包括树木，但由于树木部分过暗，导致树木不太清晰，信息存在丢失)。

因此，针对上述问题，本申请提出一种HDR图像处理方法，在接收到用户输入的第一操作的情况下，表明电子设备需要拍摄HDR图像，该电子设备可以拍摄不同曝光量的图像，得到正常曝光图像和非正常曝光图像(或称为实际非正常曝光图像)。其中，实际非正常曝光图像包括短帧图像和/或长帧图像。该短帧图像的曝光量小于0EV，正常曝光图像的曝光量为0EV，该长帧图像的曝光量大于0EV。之后，电子设备可以融合上述正常曝光图像和实际非正常曝光图像，得到HDR图像(或称为初始HDR图像)。该初始HDR图像的通透性较低，对比度较低。因此，为了提高初始HDR图像的对比度，电子设备可以利用初始HDR图像的灰度图确定初始HDR图像的高频图像和低频图像，利用非正常曝光图像的灰度图确定非正常曝光图像的高频图像和低频图像。该非正常曝光图像可以是实际非正常曝光图像，即电子设备实际拍摄得到的非正常曝光图像，也可以是模拟非正常曝光图像，即电子设备通过初始HDR图像模拟得到的非正常曝光图像。之后，电子设备可以确定初始HDR图像的高频图像和低频图像，确定非正常曝光图像的高频图像和低频图像。

之后，电子设备可以调节初始HDR图像的高频图像的亮度，调节非正常曝光图像的高频图像的亮度。之后，电子设备可以将调节后的初始HDR图像的高频图像与初始HDR图像的低频图像相加，得到高对比度初始HDR图像，以提高初始HDR图像的对比度，该高对比度初始HDR图像可能会存在亮区过亮，暗区过暗的问题，也就是存在亮区信息和/或暗区信息丢失的问题。因此，为了避免亮区和/或暗区信息丢失，电子设备可以将调节后的非正常曝光图像的高频图像与非正常曝光图像的低频图像相加，得到高对比度非正常曝光图像，实现非正常曝光图像的对比度的提高，从而可以提高亮区和/或暗区的对比度，保留亮区和/或暗区的细节信息。例如，非正常曝光图像包括短帧图像，该高对比度非正常曝光图像可以包括高对比度短帧图像，由于短帧图像的曝光量较小，其主要负责图像亮区信息，因此，通过得到高对比度短帧图像，并实现亮区细节信息的保留。又例如，非正常曝光图像包括长帧图像，该高对比度非正常曝光图像可以包括高对比度长帧图像，由于长帧图像的曝光量较大，其主要负责图像暗区信息，因此，通过得到高对比度长帧图像，并且实现暗区细节信息的保留。

之后，电子设备可以对上述高对比度初始HDR图像和高对比度非正常曝光图像进行融合，得到高对比度灰度图。由于高对比度非正常曝光图像可以保留亮区和/或暗区的细节信息，通过将高对比度初始HDR图像与高对比度非正常曝光图像融合，可以将高对比度非正常曝光图像中的亮区和/暗区融合到高对比度初始HDR图像，使得融合得到的高对比度灰度图相较于高对比度初始HDR图像保留了亮区和/或暗区的细节信息。

之后，电子设备可以将该高对比灰度图转换为彩色图，得到目标HDR图像，该目标HDR图像的对比度较高，并且亮区和/或暗区的细节信息的损失程度较小，实现HDR图像的对比度的自动提高，并提高了HDR图像的质量。

示例性的，本申请实施例中的电子设备可以是手机、平板电脑、可穿戴设备、个人数字助理(personaldigitalassistant，PDA)、车载终端、物联网设备等具有拍摄功能的设备，本申请实施例对该电子设备的具体形态不作特殊限制。

图3A示出了电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentificationmodule，SIM)卡接口195等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessingunit，GPU)，图像信号处理器(imagesignalprocessor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digitalsignalprocessor，DSP)，基带处理器，和/或神经网络处理器(neural-network processingunit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integratedcircuit，I2C)接口，集成电路内置音频(inter-integratedcircuitsound，I2S)接口，脉冲编码调制(pulsecodemodulation，PCM)接口，通用异步收发传输器(universalasynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identitymodule，SIM)接口，和/或通用串行总线(universalserialbus，USB)接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noiseamplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalarea networks，WLAN)(如无线保真(wirelessfidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(globalnavigationsatellitesystem，GNSS)，调频(frequencymodulation，FM)，近距离无线通信技术(nearfieldcommunication，NFC)，红外技术(infraRed，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，GSM)，通用分组无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultiple access，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，WCDMA)，时分码分多址(time-divisioncodedivisionmultipleaccess，TD-SCDMA)，长期演进(longtermevolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(globalpositioningsystem，GPS)，全球导航卫星系统(globalnavigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigationsatellitesystem，BDS)，准天顶卫星系统(quasi-zenithsatellitesystem，QZSS)和/或星基增强系统(satellitebasedaugmentationsystems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件(或称为图像传感器)。感光元件可以是电荷耦合器件(chargecoupleddevice，CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

示例性的，上述N个摄像头193可以包括：一个或多个前置摄像头和一个或多个后置摄像头。例如，以上述电子设备100是手机为例。图3B所示的手机包括一个前置摄像头，如前置摄像头40。图3C所示的手机包括三个后置摄像头，如后置摄像头41、42和43。当然，上述手机中摄像头的数量包括但不限于上述实例中所述的数量。

其中，上述摄像头193可以包括以下一种或多种摄像头：主摄像头、长焦摄像头、广角摄像头、超广角摄像头、微距摄像头、鱼眼摄像头、红外摄像头、深度摄像头和黑白摄像头。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(movingpictureexpertsgroup，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如MicroSD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflashstorage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130。

上述传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

按键190包括开机键，音量键等。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。

本申请实施例提供一种HDR图像处理方法。本申请实施例的方法可以应用到电子设备拍摄HDR图像的场景中。电子设备在拍摄得到HDR图像(或称为初始HDR图像)后，可以提高该初始HDR图像对应的非正常曝光图像的对比度，得到高对比度非正常曝光图像，以保留非正常曝光图像的暗区、亮区的细节信息，并提高该初始HDR图像的对比度，得到高对比度初始HDR图像。之后，电子设备可以将该高对比度HDR图像与高对比度非正常曝光图像进行融合，以将非正常曝光图像的暗区、亮区融合到高对比度初始HDR图像中，得到目标HDR图像，且该目标HDR图像的对比度较高，以及暗区、亮区的细节信息损失程度较低，实现HDR图像的对比度的自动调整，并且提高了HDR图像的质量。

其中，上述初始HDR图像对应的非正常曝光图像可以是电子设备融合得到该初始HDR图像所利用的非正常曝光图像，即可以是电子设备实际拍摄得到的非正常曝光图像(或称为第一非正常曝光图像、实际非正常曝光图像)。或者，该初始HDR图像对应的非正常曝光图像可以是电子设备基于该初始HDR图像模拟得到的非正常曝光图像(或称为第二非正常曝光图像、模拟非正常曝光图像)。

下面将上述电子设备是手机，以及上述非正常曝光图像包括短帧图像和长帧图像为例，将本申请实施例提供的HDR图像处理方法分为两个实施例进行介绍。其中，实施例一用于介绍电子设备利用第一非正常曝光图像以及初始HDR图像生成目标HDR图像的过程。实施例二用于介绍电子设备利用第二非正常曝光图像以及初始HDR图像生成目标HDR图像的过程。

实施例一

本申请实施例提供一种HDR图像处理方法。在该实施例中，在拍摄得到初始HDR图像后，手机可以提高实际短帧图像的对比度，以提高实际短帧图像中的亮区的对比度，并保留亮区细节信息；手机可以提高实际长帧图像的对比度，以提高实际长帧图像中的暗区的对比度，并保留暗区细节信息；以及手机可以提高初始HDR图像的对比度。之后，手机可以将提高对比度后的实际短帧图像(即高对比度实际短帧图像)、提高对比度后的实际长帧图像(即高对比度实际长帧图像)与提高对比度后的初始HDR图像(即高对比度初始HDR图像)进行融合，以将高对比度实际短帧图像中的亮区信息融合到高对比度初始HDR图像的亮区，将高对比度实际长帧图像中的暗区信息融合到高对比度初始HDR图像的暗区，使得融合得到的目标HDR图像相较于初始HDR图像，对比度得到了提高，并且保留了暗区、亮区的细节信息，提高了目标HDR图像的质量。具体的，如图4所示，本申请实施例提供的图像处理方法可以包括S501-S513。

S501、响应于用户对手机的第一操作，该手机拍摄正常曝光图像和实际非正常曝光图像。其中，实际非正常曝光图像包括实际短帧图像和实际长帧图像。第一操作触发手机拍摄HDR图像。

示例性的，一种情况下，上述HDR图像可以是HDR照片。也就是说，第一操作可以触发手机拍摄HDR照片，换言之，第一操作可以触发手机在HDR模式下，拍摄照片。另一种情况下，上述HDR图像可以是HDR视频中的图像，也就是说，该第一操作可以触发手机拍摄HDR视频，换言之，第一操作可以触发手机在HDR模式下，拍摄视频。

在一些实施例中，上述第一操作可以是用户对手机显示的拍摄界面上的相关控件的点击操作。例如，第一操作可以是手机在处于HDR模式下时，用户对拍摄界面上的拍照控件的点击操作。又例如，第一操作可以是手机在处于HDR模式下时，用户对拍摄界面上的录像控件的点击操作，以触发手机拍摄HDR视频。

上述第一操作也可以是用户在拍摄界面输入的预设手势(如S型手势、√型手势等)。该预设手机可以包括第一手势和/第二手势。第一手势可以触发手机拍摄HDR照片，第二手机可以触发手机拍摄HDR视频。其中，第一手势和第二手势可以不同。当用户在手机显示的拍摄界面上输入第一手势时，该第一手势便为该第一操作，其触发手机拍摄HDR照片。当用户在手机显示的拍摄界面上输入第二手势时，该手机便为该第一操作，其触发手机拍摄HDR视频。

其中，上述预设手势可以预设配置在手机中。并且，手机可以在拍摄界面向用户提示该预设手势，以及该预设手势所触发的功能(即第一手势可以触发手机拍摄HDR照片；第二手势可以触发手机拍摄HDR视频)，以使用户可以根据需求在手机的拍摄界面上输入相应的手势。

示例性的，上述正常曝光图像的数量(即手机拍摄的正常曝光图像的数量)可以为至少一个。上述实际短帧图像(即手机拍摄得到的短帧图像)的数量(即手机拍摄的实际短帧图像的数量)可以为至少一个。在手机拍摄的实际短帧图像的数量为多个的情况下，该实际短帧图像可以包括多个曝光量相同的短帧图像和/或不同曝光量的短帧图像。例如，实际短帧图像可以包括两张曝光量均为-2EV的短帧图像。又例如，实际短帧图像可以包括一张曝光量为-2EV的短帧图像和一张曝光量为-4EV的短帧图像。又例如，实际短帧图像可以包括两张曝光量为-2EV的短帧图像和一张曝光量为-4EV的短帧图像。

在一些实施例中，上述实际长帧图像(即手机拍摄得到的短帧图像)的数量也可以为一个或多个。在手机拍摄的实际长帧图像的数量为多个的情况下，该实际长帧图像可以包括多个曝光量相同的长帧图像和/或不同曝光量的长帧图像。例如，实际长帧图像可以包括两张曝光量均为2EV的长帧图像。又例如，实际长帧图像可以包括一张曝光量为2EV的长帧图像和一张曝光量为4EV的长帧图像。又例如，实际长帧图像可以包括两张曝光量为2EV的长帧图像和一张曝光量为4EV的长帧图像。

应理解，上述实际非正常曝光图像(如实际短帧图像)和正常曝光图像可以是手机中的摄像头采集的原始图像(即RAW图像)，也就是未经过加工的图像。示例性的，上述实际非正常曝光图像和正常曝光图像可以是手机中的摄像头中的感光元件采集的原始数据。

S502、上述手机对实际非正常曝光图像和正常曝光图像进行融合，得到初始HDR图像。

在一些实施例中，手机对拍摄的不同曝光量的图像进行融合，也就是融合手机拍摄的非正常曝光图和正常曝光图像，得到HDR图像(或称为初始HDR图像)，该初始HDR图像的通透度可能会较低，需要提高该初始HDR图像的对比度以提高该初始HDR图像的通透度，该手机可以确定该HDR图像的灰度图。并且，为了避免由于提高初始HDR图像的对比度导致HDR图像的亮区、暗区细节损失程度较高的情况，该手机可以分别确定短帧图像的灰度图和短帧图像的灰度图，以供利用短帧图像的灰度图还原亮区细节信息，利用长帧图像的灰度图还原暗区细节信息。

示例性的，上述灰度图可以是Y通道灰度图，其可以是通过rgb2gary函数，将初始HDR图像由彩色图像转换为灰度图。

在一些实施例中，手机在得到实际非正常曝光图像后，可以将其保存至预设位置(如缓存)。在需要利用实际非正常曝光图像提高初始HDR的对比度时，手机可以从该预设位置中读取该实际非正常曝光图像。

S503、上述手机对初始HDR图像的灰度图进行下采样处理。

S504、上述手机对实际长帧图像的灰度图进行下采样处理。

S505、上述手机对实际短帧图像的灰度图进行下采样处理。

示例性的，为了提高图像处理速率，手机可以对初始HDR图像的灰度图进行下采样，以及对实际非正常曝光图像的灰度图进行下采样，以缩小原图，从而减少数据处理量。

在一些实施例中，为了保证计算精度，手机可以对图像中的各个像素点的像素值进行数据类型的转换。示例性的，手机可以将下采样后的初始HDR图像中的各个像素点的像素值由整型转换为浮点数类型，将下采样后的实际非正常曝光图像中的各个像素点的像素值由整型转换为浮点数类型，避免在对像素值进行相关计算时，由于像素值是整型导致精度的损失。例如，像素值为3，需要将像素值乘以1.5，但由于像素值是整型，因此，乘以1.5后的像素值变为4，而不是4.5，造成计算精度的损失。

S506、上述手机确定下采样后的初始HDR图像的高频图像和低频图像。

S507、上述手机确定下采样后的实际长帧图像的高频图像和低频图像。

S508、上述手机确定下采样后的实际短帧图像的高频图像和低频图像。

示例性的，下采样后的初始HDR图像的高频图像可以包括该下采样后的初始HDR图像的高频信息，即灰度值变化频率较快的分量。该初始HDR图像的低频图像可以包括该初始HDR图像的低频信息，即灰度值变化频率较慢的分量。该高频信息和低频信息组成了该下采样后的初始HDR图像的全部信息。

同理，下采样后的实际长帧图像的高频图像可以包括该下采样后的实际长帧图像的高频信息。下采样后的实际长帧图像的低频图像可以包括该下采样后的实际长帧图像的低频信息。

下采样后的实际短帧图像的高频图像可以包括该下采样后的实际短帧图像的高频信息。下采样后的实际短帧图像的低频图像可以包括该下采样后的实际短帧图像的低频信息。

在一些实施例中，手机可以利用双边网格算法确定图像的低频图像，该低频图像会保留图像中的边缘信息，避免细节损失，实现低频图像的快速生成。示例性的，对于下采样后的初始HDR图像，手机可以基于双边网格算法，对该下采样后的初始HDR图像进行处理，得到该下采样后的初始HDR图像的低频图像。对于下采样后的实际非正常曝光图像，如对于下采样后的实际短帧图像，该手机可以基于双边网格算法，对该下采样后的实际短帧图像进行处理，得到该下采样后的实际短帧图像的低频图像，对于下采样后的实际长帧图像，该手机可以基于双边网格算法，对该下采样后的实际长帧图像进行处理，得到该下采样后的实际长帧图像的低频图像。

应理解，双边网格算法主要对应三个操作，即splat，blur和slice。splat操作表示对图像下采样构建双边网格，blur操作表示对双边网格进行平滑滤波，slice操作表示将滤波后的双边网格上采样到高分辨率。slice操作主要涉及在高分辨率引导图的指引下进行线性插值。

在另一些实施例中，手机可以利用双边滤波算法确定图像的低频图像，该低频图像也会保留图像中的边缘信息，避免细节损失。示例性的，对于下采样后的初始HDR图像，手机可以基于双边滤波算法，对该下采样后的初始HDR图像进行处理，得到该下采样后的初始HDR图像的低频图像。对于下采样后的实际非正常曝光图像，该手机可以基于双边滤波算法，对该下采样后的实际非正常曝光图像进行处理，得到该下采样后的实际非正常曝光图像的低频图像。

本申请实施例中，手机可以利用双边网格算法或者双边滤波算法确定图像(如上述下采样后的初始HDR图像、上述下采样后的实际非正常曝光图像)的低频图像，实现低频图像的确定，并且确定的低频图像可以保持图像的边缘，避免细节信息的损失。其中，相较于利用双边滤波算法确定低频图像，利用双边网格算法确定低频图像，可以提高低频图像的确定速度。

上面介绍了确定图像的低频图像的过程，下面将继续介绍确定图像的高频图像的一种可能的实现方式。

在一种可能的实现方式中，上述高频图像可以是基于低频图像确定的。对于下采样后的初始HDR图像，手机可以将该下采样后的初始HDR图像与下采样后的初始HDR图像的低频图像相减，得到该下采样后的初始HDR图像的高频图像。对于下采样后的实际非正常曝光图像，如对于下采样后的实际短帧图像，该手机可以将该下采样后的实际短帧图像与该下采样后的实际短帧图像的低频图像相减，得到该下采样后的实际短帧图像的高频图像；对于下采样后的实际长帧图像，该手机可以将该下采样后的实际长帧图像与该下采样后的实际长帧图像的低频图像相减，得到该下采样后的实际长帧图像的高频图像。

其中，两个图像相减表示两个图像中的处于相同位置上的像素点的像素值相减。具体的，上述将下采样后的初始HDR图像与下采样后的初始HDR图像的低频图像相减的过程可以包括：对于下采样后的初始HDR图像中的每个像素点(或称为第一初始像素点)，手机可以确定该下采样后的初始HDR图像的低频图像上的该第一初始像素点对应的第一低频像素点。该第一初始像素点在下采样后的初始HDR图像上的位置与该第一初始像素点对应的第一低频像素点在下采样后的初始HDR图像的低频图像上的位置相同。之后，手机可以计算该第一初始像素点的像素值与其对应的第一低频像素点的像素值之间的差值，得到该第一初始像素点对应的第一高频像素点的像素值，该第一初始像素点在下采样后的初始HDR图像上的位置与该第一初始像素点对应的第一高频像素点在下采样后的初始HDR图像的高频图像上的位置相同，从而可以得到下采样后的初始HDR图像的高频图像中的各个像素点(即第一高频像素点)的像素值，实现下采样后的初始HDR图像的高频图像的确定。

例如，下采样后的初始HDR图像包括像素点a，该像素点a为下采样后的初始HDR图像中的第一个像素点。该像素点a对应的第一低频像素点为下采样后的初始HDR图像的低频图像上的第一个像素点。手机可以将像素点a的像素值减去该低频图像上的第一个像素点的像素值，得到该下采样后的初始HDR图像的高频图像上的第一个像素点的像素值。应理解，这里通过第一个表示像素点的位置表示方式仅为一种示例，像素点的位置还可以是坐标值，本申请不对其限制。

同理，上述将该下采样后的实际短帧图像与该下采样后的实际短帧图像的低频图像相减，得到该下采样后的实际短帧图像的高频图像的过程、上述将该下采样后的实际长帧图像与该下采样后的实际长帧图像的低频图像相减，得到该下采样后的实际长帧图像的高频图像的过程与上述将下采样后的初始HDR图像与下采样后的初始HDR图像的低频图像相减的过程类似。例如，对于下采样后的实际短帧图像中的每个像素点(或称为第二像素点)，手机可以确定该下采样后的实际短帧图像的低频图像上的该第二像素点对应的第二低频像素点。该第二像素点在该下采样后的实际短帧图像上的位置与该第二像素点对应的第二低频像素点在该下采样后的实际短帧图像的低频图像上的位置相同。手机计算该第二像素点的像素值与其对应的第二低频像素点的像素值之间的差值，得到该第二像素点对应的第二高频像素点的像素值，该第二像素点在该下采样后的实际短帧图像上的位置与该第二像素点对应的第二高频像素点在该下采样后的实际短帧图像的高频图像上的位置相同，从而可以得到下采样后的实际短帧图像的高频图像中的各个像素点(即第二高频像素点)的像素值，实现下采样后的实际短帧图像的高频图像的确定。

应理解，图像的高频图像可以包括细节信息，也就是可以包括暗区、亮区的细节信息。相应的，由于长帧图像(如上述实际长帧图像)的曝光量较大，因此，长帧图像所呈现的亮区是过曝的，亮区所呈现的内容可能是不清楚的，而暗区的亮度会比较亮，呈现细节信息的效果较好，因此，长帧图像的高频图像主要呈现的是暗区信息。由于短帧图像的曝光量较小，因此，短帧图像所呈现的暗区可能是黑色的，亮区所呈现的内容会比较亮，但没有过曝，即亮区呈现的细节信息效果较好，因此，短帧图像的高频图像呈现的是亮区信息。

S509、上述手机调节下采样后的初始HDR图像的高频图像的亮度，将调节后的初始HDR图像的高频图像与下采样后的初始HDR图像的低频图像相加，得到高对比度初始HDR图像。

示例性的，对于下采样后的初始HDR图像的高频图像中的每个像素点，手机可以通过将该像素点的像素值乘以该像素点对应的第一预设系数(如LocalGain_N)，从而调整下采样后的初始HDR图像的高频图像的亮度，得到调节后的初始HDR图像的高频图像。

其中，上述下采样后的初始HDR图像的高频图像中的像素点对应的第一预设系数是根据下采样后的初始HDR图像的低频图像上的该像素点的位置上的像素值确定的。示例性的，电子设备可以确定该像素值所属的像素值范围，并将其确定为目标像素值范围。根据该目标像素值范围的最大值对应的预设系数，最小值对应的预设系数，确定该像素点对应的第一预设系数。其中，该像素点对应的第一预设系数在最大值对应的预设系数和最小值对应的预设系数之间插值。例如，在确定上述下采样后的初始HDR图像的高频图像中的第一个像素点对应的第一预设系数时，手机查找该下采样后的初始HDR图像的低频图像中的第一个像素点的像素值为75，其所述的目标像素值范围为50-100。50对应的预设系数为1,100对应的预设系数为2，则75对应的第一预设系数可以是1-2之间的插值，如为1.5，即高频图像中的第一个像素点对应的第一预设系数可以是1.5。

在一种示例中，上述下采样后的初始HDR图像的高频图像、下采样后的初始HDR图像的低频图像分别与下采样后的初始HDR图像的分辨率相同，也就是调节后的初始HDR图像的高频图像的分辨率与下采样后的初始HDR图像的低频图像的分辨率相同，即包括的像素点的数量相同。上述将调节后的的初始HDR图像的高频图像与下采样后的初始HDR图像的低频图像相加表示分别将该高频图像与该低频图像中的相同位置上的像素点的像素值相加，得到高对比度初始HDR图像中的像素点的像素值，实现初始HDR图像的对比度的调节。例如，像素点b为调节后的初始HDR图像的高频图像中的第二个像素点。像素点c为下采样后的初始HDR图像的低频图像中的第二个像素点，将像素点b的像素值与像素点c的像素值相加，得到高对比度初始HDR图像中的第二个像素点的像素值。

应理解，上述下采样后的初始HDR图像的高频图像是下采样后的初始HDR图像与下采样后的初始HDR图像的低频图像相减得到的，该高频图像中的像素值可能是正数，也可能是负数。通过将高频图像乘以第一预设系数，可能会加大初始HDR图像和低频图像之间的像素值之间的差值，如第一预设系数是大于1的数值，将该高频图像中的像素点的像素值乘以各个像素点对应的第一预设系数，增加该高频图像中的大于0的像素值，也就是提高像素值大于0的像素点的亮度，实现高频图像的像素值的调节。之后再将调节后的像素值加回到该下采样后的初始HDR图像的低频图像上，得到的高对比度初始HDR图像中的像素值相对于初始HDR图像中的同一位置上的像素值是增大的，亮度是提高的。同理，对于该高频图像中的像素点小于0的像素值来说，通过将像素值乘以大于1的第一预设系数，可以使得该高频图像中的小于0的像素值越小，也就是降低像素值小于0的像素点的亮度，之后再将调节后的像素值加回到该下采样后的初始HDR图像的低频图像上，得到的高对比度初始HDR图像中的像素值相对于初始HDR图像中的同一位置上的像素值是降低的，亮度是降低的。从而使得暗的像素点的亮度越暗，亮的像素点的亮度越亮，进而提高初始HDR图像的对比度。

其中，亮的像素点可以是高频图像中像素值大于0的像素点。暗的像素点可以是指高频图像中像素值小于0的像素点。

在一些实施例中，一般来说，像素点的灰度值处于0到255之间。在将调节后的初始HDR图像的高频图像与下采样后的初始HDR图像的低频图像相加，相加得到的像素值如果大于255，则可以将该像素值更新为255。相加得到的像素值如果小于0，可以将该像素值更新为0，使得得到的高对比度初始HDR图像中的像素点的像素值处于0到255之间。

S510、上述手机调节下采样后的实际短帧图像的高频图像的亮度，将调节后的下采样后的实际短帧图像的高频图像与下采样后的实际短帧图像的低频图像相加，得到高对比度实际短帧图像。

示例性的，对于下采样后的实际短帧图像的高频图像中的每个像素点，手机可以通过将该像素点乘以该像素点对应的第二预设系数(如LocalGain_S)，从而调整下采样后的实际短帧图像的高频图像的亮度，得到调节后的实际短帧图像的高频图像，

其中，手机确定高对比度实际短帧图像的过程为与上述确定高对比度初始HDR图像的过程类似，此处不再对其赘述。

S511、上述手机调节下采样后的实际长帧图像的高频图像的亮度，将调节后的实际长帧图像的高频图像与下采样后的实际长帧图像的低频图像相加，得到高对比度实际长帧图像。

示例性的，对于下采样后的实际长帧图像的高频图像中的每个像素点，手机可以通过将该像素点的像素值乘以第三预设系数(如LocalGain_L)，从而调整下采样后的实际长帧图像的高频图像的亮度，得到调节后的实际长帧图像的高频图像。

其中，手机确定高对比度实际长帧图像的过程为与上述确定高对比度初始HDR图像的过程类似，此处不再对其赘述。

需要说明的是，上述LocalGain(如LocalGain_N、LocalGain_S、LocalGain_L)为大于1的数值。在将高频图像中的像素点的像素值乘以LocalGain后，会提高高频图像中的像素值大于0的像素点的亮度，降低高频图像中的像素值小于0的像素点的亮度。之后，再将调节后的高频图像加回到低频图像上，得到的像素值相对于原图中的相同位置上的像素值来说是变大或降低的，从而使得得到的高对比图像相对于原图来说，亮的像素点的像素值变大，即亮度变大，暗的像素点的像素值变小，即亮度变小。例如，下采样后的初始HDR图像中的第一个像素点的像素值为80，该下采样后的初始HDR图像的低频图像中的第一个像素点的像素值为60，则对应高频图像中的第一个像素点的像素值为20，该第一像素点对应的第一预设系数为1.5，将其乘以1.5后，得到30。之后，将调节后的初始HDR图像的高频图像加回低频图像上，得到的第一个像素点的像素值为30+60＝90，大于80。

如果LocalGain值过大，在将高频图像乘以LocalGain后，可能会使图像过曝。利用LocalGain调节图像，实际是调节图像的对比度。由于短帧图像负责提供亮区信息，短帧图像本身亮度较低，在确定短帧图像(即下采样后的实际短帧图像)对应的LocalGain_S的值时，应优先保证短帧图像中的亮区所呈现的效果较优，暗区效果过暗可以接受。在确定长帧图像对应的LocalGain_L的值时，应优先保证长帧图像中的暗区所呈现的效果较优，亮区效果过曝可以接受。

S512、上述手机对上述高对比度初始HDR图像、高对比度实际长帧图像和高对比度实际短帧图像进行融合，得到高对比度灰度图。

示例性的，手机可以将高对比度初始HDR图像、高对比度实际长帧图像和高对比度实际短帧图像输入至深度神经网络模型中，以使深度神经网络模型对其进行融合，即将高对比度实际长帧图像中的暗区融合到高对比度初始HDR图像的暗区上，将高对比度实际短帧图像中的亮区融合到高对比度初始HDR图像的亮区上，使得融合得到的高对比度灰度图保留了暗区、亮区的细节信息，且该高对比灰度图的对比度也较高，避免出现由于提高初始HDR图像的对比度导致提高对比度后的初始HDR图像的暗区、亮区的细节信息损失的问题。

其中，上述深度神经网络模型可以根据实际需求选择，例如，深度神经网络模型为Unet模型。

本申请中，高对比度初始HDR图像是提高了对比度的初始HDR图像，但高对比度初始HDR图像中的亮区可能过曝，暗区非常黑，导致高对比度初始HDR图像虽然相较于初始DHR图像，对比度得到了提高，但亮区、暗区细节信息可能会损失。因此，为了减少亮区的细节信息损失程度，手机可以将高对比度短帧图像的亮区信息融合到高对比度初始HDR图像，可简单理解为将高对比度短帧图像的亮区补充到高对比度初始HDR图像的亮区，还原由于对比度的提高导致的高对比度初始HDR图像损失的亮区细节信息。同理，为了减少暗区的细节信息损失程度，手机可以将高对比度长帧图像的亮区信息融合到高对比度初始HDR图像，可简单理解为将高对比度长帧图像的亮区补充到高对比度初始HDR图像的暗区，还原由于对比度的提高导致的高对比度初始HDR图像损失的暗区细节信息。

在一些实施例中，在上述实际短帧图像的数量为多个的情况下，手机可以从多个实际短帧图像中的选取一个实际短帧图像，以利用该实际短帧图像确定高对比度短帧图像。示例性的，手机可以从多个实际短帧图像中任意选取一个实际短帧图像，或者，手机可以从多个实际短帧图像中选取目标短帧图像(如曝光量最小的实际短帧图像，即最短帧)。

当然，手机也可以对于每个实际短帧图像，手机可以确定该实际短帧图像对应的高对比度短帧图像，得到多个高对比度短帧图像。之后，手机可以对高对比度初始HDR图像、高对比度实际长帧图像和多个高对比度实际短帧图像进行融合，得到高对比灰度图。

在一些实施例中，在上述实际长帧图像的数量为多个的情况下，手机可以从多个实际长帧图像中的选取一个实际长帧图像，以利用该实际长帧图像确定高对比度长帧图像。示例性的，手机可以从多个实际长帧图像中任意选取一个实际长帧图像，或者，手机可以从多个实际长帧图像中选取目标长帧图像(如曝光量最大的实际长帧图像，即最长帧)。

当然，手机也可以对于每个实际长帧图像，手机可以确定该实际长帧图像对应的高对比度长帧图像，得到多个高对比度长帧图像。之后，手机可以对高对比度初始HDR图像、多个高对比度实际长帧图像和高对比度实际短帧图像进行融合，得到高对比灰度图。

S513、上述手机对高对比度灰度图进行彩色图转换处理以及上采样处理，得到目标HDR图像。其中，该目标HDR图像的分辨率与上述初始HDR图像的分辨率相同，且目标HDR图像是彩色图。

示例性的，上述S513的一种可能的实现方式可以包括如上述图4所示的S513a-S513c。

S513a、手机计算高对比度灰度图与下采样后的初始HDR图像之间的比值，得到GianMap，该GainMap包括下采样后的初始HDR图像中的各个像素点对应的对比度调整系数。

示例性的，高对比度灰度图与下采样后的初始HDR图像之间的比值表示两个图像中的处于相同位置上的像素点的像素值的比值。具体的，对于下采样后的初始HDR图像中的各个像素点(即第一初始像素点)，手机可以确定该高对比度灰度图上的该第一初始像素点对应的第一高对比度像素点。该第一初始像素点在该下采样后的初始HDR图像上的位置与该第一初始像素点对应的第一高对比度像素点在该高对比度灰度图上的位置相同。手机计算该第一初始像素点对应的第一高对比度像素点的像素值与该第一初始像素点之间的比值，得到该第一初始像素点对应的对比度调整系数，该第一初始像素点对应的对比度调节系数表示该第一初始像素点与该第一初始像素点对应的第一高对比度像素点之间的映射关系。

例如，下采样后的初始HDR图像包括像素点c，该像素点c为下采样后的初始HDR图像中的第三个像素点。该像素点c对应的第一高对比度像素点为高对比度灰度图上的第三个像素点。手机可以计算高对比度灰度图上的第三个像素点的像素值与像素点c的像素值之间的壁纸，得到该像素点c对应的对比度调整系数。

S513b、上述手机对GainMap进行上采样，上采样后的GainMap的分辨率与上述初始HDR图像的分辨率相同。

S513c、上述手机计算上述初始HDR图像与上采样后的GainMap的乘积，得到目标HDR图像。

由于下采样后的初始HDR图像的分辨率小于初始HDR图像的分辨率不同，因此，手机可以先对GainMap(或称为映射系数图像)进行上采样，以使上采样后的GainMap的分辨率与初始HDR图像的分辨率相同，即使上采样后的GainMap所包括的对比度调整系数的数量与初始HDR图像所包括的像素点的数量相同，也就是使上采样后的GainMap可以包括初始HDR图像中的各个像素点对应的对比度调整系数。

之后，对于初始HDR图像中的每个像素点，手机可以计算该像素点与上采样后的GainMap中的该像素点对应的对比度调整系数，实现各个像素点的像素值的调整，实现将初始HDR图像映射调整为与上述高对比度灰度图相似的高对比度的图像(即目标HDR图像)，且由于高对比度灰度图的暗区、亮区的细节信息损失程度较小，相应的，该目标HDR图像的暗区、亮区的细节损失程度也较小，提高了电子设备输出的目标HDR图像的质量。

在一些实施例中，上述电子设备得到目标HDR图像后，可以将显示该目标HDR图像(如图5所示的HDR图像60)，而不输出对比度较低的初始HDR图像，提高用户的感知，从而提高用户拍摄体验。

应理解，上述GainMap的计算过程可以简单理解为y＝k*x中的k的计算过程，该y可以简单理解为高对比度灰度图，该x可以简单理解为下采样后的初始HDR图像。相应的，确定目标HDR图像可以简单理解为y1＝k*x1，该y1表示目标HDR图像，x1表示初始HDR图像。

在一些实施例中，手机在得到高对比度灰度图之后，也可以先对高对比度灰度图进行上采样，以使上采样后的高对比度灰度图的分辨率与初始HDR图像的分辨率相同；手机可以对下采样后的初始HDR图像的灰度图进行上采样，以使上采样后的初始HDR图像的分辨率与初始HDR图像的分辨率相同。之后，手机可以计算上采样后的高对比度灰度图与上采样后的初始HDR图像的灰度图之间的比值，得到GianMap，该GainMap包括初始HDR图像的灰度图中的各个像素点对应的对比度调整系数，即包括初始HDR图像中的各个像素点对应的对比度调整系数。之后，手机可以直接计算初始HDR图像与该GainMap的乘积，得到目标HDR图像。

在一些实施例中，上述图4所示的S513a-S513c仅为实现上述S513的一种方式，也就是实现利用高对比度灰度图得到目标HDR图像的一种方式，手机也可以利用其它实现方式实现利用高对比度灰度图得到高对比度灰度图。例如，手机可以先将高对比度灰度图转换为彩色图(如RGB格式的图像)。之后，手机可以将该彩色图进行上采样处理，得到全分辨率的目标HDR图像。又例如，手机可以先对高对比度灰度图进行上采样处理，得到上采样后的高对比度灰度图，该上采样后的高对比图的分辨率与上述初始HDR图像的分辨率相同。之后，手机可以将该上采样后的高对比度灰度图转换为彩色图，得到目标HDR图像，实现初始HDR图像的对比度的自动准确提高。

本申请中，为了提高图像处理速度，手机在提高初始HDR图像的对比度的过程中，可以对初始HDR图像和实际非正常曝光图像进行下采样处理，以降低图像的分辨率。相较于手机利用初始HDR图像和实际非正常曝光图像确定目标HDR图像，手机利用下采样后的初始HDR图像和下采样后的实际非正常曝光图像确定目标HDR图像的过程可以减少关于像素点的计算量，也就是减少数据计算量，提高目标HDR图像的生成效率。

在一些实施例中，如图6所示，手机在拍摄得到低对比度的初始HDR图像后，可以利用rgb2gray函数，提取该初始HDR图像的Y通道灰度图，并对该灰度图进行下采样。并且可以利用rgb2gray函数，提取该初始HDR图像对应的实际长帧图像的Y通道灰度图，并对该灰度图进行下采样；可以利用rgb2gray函数，提取该初始HDR图像对应的实际短帧图像的Y通道灰度图，并对该灰度图进行下采样。

之后，手机可以分别调整下采样后的初始HDR图像、下采样后的实际长帧图像、下采样后的实际短帧图像的对比度。示例性的，手机可以利用双边网格算法，确定下采样后的实际短帧图像的低频图像S_base，该低频图像会保留该下采样后的实际短帧图像的边缘信息，避免细节信息的丢失。并且，手机可以利用双边网格算法，确定下采样后的实际长帧图像的低频图像L_base，该低频图像会保留该下采样后的实际长帧图像的边缘信息，避免细节信息的丢失。手机可以利用双边网格算法，确定下采样后的初始HDR图像的低频图像HDR_base，该低频图像会保留该下采样后的初始HDR图像的边缘信息，避免信息的丢失。

之后，手机可以将上述下采样后的实际短帧图像与下采样后的实际短帧图像的低频图像相减，得到该下采样后的实际短帧图像的高频图像S_detail。并且手机可以将上述下采样后的实际长帧图像与下采样后的实际长帧图像的低频图像相减，得到该下采样后的实际长帧图像的高频图像L_detail。手机可以将上述下采样后的初始HDR图像与下采样后的初始HDR图像的低频图像相减，得到该下采样后的初始HDR图像的高频图像HDR_detail。该高频图像S_detail、L_detail和HDR_detail中的像素值可能为正数，也可能是负数。

之后，手机可以将上述S_detail乘以第二预设系数，以调节S_detail中的各个像素点的亮度，增大S_detail的灰度差，并且手机可以将调节后的S_detail与S_base相加，得到高对比度实际短帧图像。本申请中通过利用双边网格算法调整短帧图像的对比度，可以保留短帧图像的边缘信息，并且没有光晕halo问题，同时还可以提高对比度调整的速度。

以及手机可以将上述L_detail乘以第三预设系数，以调节L_detail中的各个像素点的亮度，增大L_detail的灰度差，并且手机可以将调节后的L_detail与L_base相加，得到高对比度实际长帧图像。手机可以将上述HDR_detail乘以第一预设系数，以调节HDR_detail中的各个像素点的亮度，增大HDR_detail的灰度差，并且手机可以将调节后的HDR_detail与HDR_base相加，得到高对比度初始HDR图像。

在对比度调整完成后，手机可以将高对比度实际短帧图像、高对比度实际长帧图像和高对比度输入至深度神经网络模型，以供利用该深度神经网络模型对其进行融合，输出高对比度灰度图，该高对比度图像保留了亮暗区细节信息，避免由于提高HDR图像的对比度导致HDR图像的亮暗区信息损失。

之后，手机可以将上述高对比度灰度图除以下采样后的初始HDR图像，得到GainMap。

之后，手机可以对该GainMap进行保边上采样，得到全分辨率的GainMap，即得到上采样后的GainMap。该上采样后的GainMap可以包括初始HDR图像中的各个像素点对应的对比度调整系数。

之后，手机可以将初始HDR图像的三通道(如R通道、G通道、B通道)分别乘以该上采样后的GainMap，即初始HDR图像中的像素点的像素值(如red值、green值和blue值)分别乘以采样后的GainMap中的对应位置所对应的对比度调整系数，得到目标HDR图像，即得到高对比度的RGB图像。相较于上述初始HDR图像，目标HDR图像的对比度较高，通透性较高(如图1D或图7A所示的HDR图像)，并且保留了亮暗区的细节信息，不存在亮区过曝、暗区过暗的问题。同时，即使初始HDR图像的对比度调节过高(如LocalGain_N的数值过大)，也即高对比度初始HDR图像的对比度过大，导致高对比度初始HDR图像的亮区过曝，暗区过暗，也可以通过将高对比度实际长帧图像的暗区融合到高对比度初始HDR图像的暗区，将高对比度实际短帧图像的亮区融合到高对比度初始HDR图像的亮区，还原高对比度初始HDR图像的亮暗区损失的细节信息，从而使得相较于开发人员手动调整初始HDR图像的对比度，通过本申请所述的技术方案可以使图像的对比度调节上限更大，进而输出对比度更高、细节损失更少、动态范围更好的HDR图像(如图5或图7D所示的HDR图像)，避免由于手动调整初始HDR图像的对比度不合适，导致电子设备显示如图7B或图7C所示的细节信息丢失的HDR图像。

其中，上述图7A-图7D所示的HDR图像的左上角为HDR图像中的像素点的像素值的分布范围。

在一些实施例中，为了提高图像处理效果，手机在提高初始HDR图像的对比度的过程中，也可以不对初始HDR图像和实际非正常曝光图像进行下采样处理，而是直接利用初始HDR图像和实际非正常曝光图像，即直接利用原图得到目标HDR图像。其中，手机利用初始HDR图像和实际非正常曝光图像的原图得到目标HDR图像的过程与上述手机利用下采样后的初始HDR图像和下采样后的实际非正常曝光图像得到目标HDR图像的过程类似，只不过无需进行下采样以及上采样处理。示例性的，手机利用原图得到目标HDR图像的过程可以包括：在得到初始HDR图像后，手机可以确定初始HDR图像的灰度图的高频图像，并将其作为初始HDR图像的高频图像，以及手机可以确定初始HDR图像的灰度图的低频图像，并将其作为初始HDR图像的低频图像。

手机可以确定实际长帧图像的灰度图的高频图像，并将其作为实际长帧图像的高频图像，以及手机可以确定实际长帧图像的灰度图的低频图像，并将其作为实际长帧图像的低频图像。

手机可以确定实际短帧图像的灰度图的高频图像，并将其作为实际短帧图像的高频图像，以及手机可以确定实际短帧图像的灰度图的低频图像，并将其作为实际短帧图像的低频图像。

之后，手机可以调节上述初始HDR图像的高频图像的亮度，将调节后的初始HDR图像的高频图像与上述初始HDR图像的低频图像相加，得到高对比度初始HDR图像。

上述手机调节上述实际短帧图像的高频图像的亮度，将调节后的实际短帧图像的高频图像与上述实际短帧图像的低频图像相加，得到高对比度实际短帧图像。

上述手机调节上述实际长帧图像的高频图像的亮度，将调节后的实际长帧图像的高频图像与上述实际长帧图像的低频图像相加，得到高对比度实际长帧图像。

之后，上述手机可以对上述高对比度初始HDR图像、高对比度实际长帧图像和高对比度实际短帧图像进行融合，得到高对比度灰度图。之后，手机可以将高对比度灰度图转换为彩色图，得到目标HDR图像。由于无需对图像进行下采样处理，可以降低图像信息的损失程度，从而可以提高目标HDR图像的图像质量。

在一种实施例中，上面介绍了实际非正常曝光图像包括实际长帧图像和实际短帧图像，以供利用该实际长帧图像和实际短帧图像确定目标HDR图像的情况。当然还存在实际非正常曝光图像包括实际长帧图像或实际短帧图像的情况，也就是仅需利用实际长帧图像或实际短帧图像生成目标HDR图像。例如，为了避免由于对比度的提高导致亮区的细节信息的损失程度较大，该手机可以利用实际短帧图像确定相应的高对比度实际短帧图像，利用初始HDR图像确定相应的高对比度初始HDR图像。之后，手机可以将高对比度实际短帧图像与高对比度初始HDR图像进行融合，得到高对比度灰度图，相较于初始HDR图像，该高对比灰度图的对比度得到了提高，且保留了亮区的细节信息，从而提高HDR图像的通透度，并且降低亮区的细节信息损失程度，提高了HDR图像质量。

又例如，为了避免由于对比度的提高导致暗区的细节信息的损失，该手机可以利用实际长帧图像确定相应的高对比度实际长帧图像，利用初始HDR图像确定相应的高对比度初始HDR图像。之后，手机可以将高对比度实际长帧图像与高对比度初始HDR图像进行融合，得到高对比度灰度图，相较于初始HDR图像，该高对比灰度图的对比度得到了提高，且保留了暗区的细节信息，从而提高HDR图像的通透度，并且降低暗区的细节信息损失，提高了HDR图像质量。

可以理解的是，上面所介绍的手机确定高对比度实际长帧图像、高对比度短帧图像以及高对比度初始HDR图像的过程仅为一种示例，如上述S506-S511所介绍的确定高对比度实际长帧图像、高对比度短帧图像以及高对比度初始HDR图像的过程仅为一种示例，其是可选步骤，手机也可以采用其它方式得到高对比度实际长帧图像、高对比度短帧图像以及高对比度初始HDR图像。例如，手机可以通过采用预设对比度增强算法(如对比度增强算法)调节下采样后的实际长帧图像的对比度，以使实际长帧图像的暗区的对比度得到增强，并且保留了该实际长帧图像的暗区细节信息，得到高对比度实际长帧图像；采用预设对比度增强算法调节下采样后的实际短帧图像的对比度，以使实际短帧图像的亮区的对比度得到增强，并且保留了该实际短帧图像的亮区细节信息，得到高对比度实际短帧图像；采用预设对比度增强算法调节下采样后的初始HDR图像的对比度，以使实际长帧图像的整体对比度得到增强，得到高对比度初始HDR图像。

又例如，手机也可以直接利用频域滤波算法，将图像分解成高频分量和低频分量。这里的高频分量相当于上述的高频图像，低频分量相当于上述的低频图像。之后，手机可以根据上面介绍的方法，利用高频图像和低频图像确定对应的高对比度图像(如上述高对比度实际长帧图像、高对比度实际短帧图像、高对比度初始HDR图像)，以供该高对比度图像确定目标HDR图像。

实施例二

本申请实施例提供一种HDR图像处理方法。在该实施例中，在拍摄得到初始HDR图像后，手机可以利用初始HDR图像模拟得到长帧图像(即模拟长帧图像)和短帧图像(即模拟短帧图像)。之后，手机可以提高模拟短帧图像的对比度，以提高模拟短帧图像中的亮区的对比度，并保留亮区细节信息；手机可以利用提高模拟长帧图像的对比度，以提高实际模拟图像中的暗区的对比度，并保留暗区细节信息；以及手机可以提高初始HDR图像的对比度。之后，手机可以将提高对比度后的模拟短帧图像(即高对比度模拟短帧图像)、提高对比度后的模拟长帧图像(即高对比度模拟长帧图像)与提高对比度后的初始HDR图像(即高对比度初始HDR图像)进行融合，以将高对比度模拟短帧图像中的亮区信息融合到高对比度初始HDR图像的亮区，将高对比度模拟长帧图像中的暗区信息融合到高对比度初始HDR图像的暗区，使得融合得到的目标HDR图像相较于初始HDR图像，对比度得到了提高，并且保留了暗区、亮区的细节信息，提高了目标HDR图像的质量。具体的，如图8所示，本申请实施例提供的图像处理方法可以包括S701-S716。

S701、响应于用户对手机的第一操作，该手机拍摄正常曝光图像和实际非正常曝光图像。

S702、上述手机对实际非正常曝光图像和正常曝光图像进行融合，得到初始HDR图像。

S703、上述手机对初始HDR图像的灰度图进行下采样处理，得到下采样后的初始HDR图像。

其中，上述S701-S703的实现过程与上述图4中的S501-S503的实现过程类似，此处不再对其赘述。

S704、上述手机确定下采样后的初始HDR图像的亮区和暗区。

示例性的，手机可以对下采样后的初始HDR图像进行划分，得到下采样后的初始HDR图像的亮区、暗区和正常区(即Normal区)。该亮区表示该初始HDR图像中的亮度较高的区域，暗区表示该初始HDR图像中的亮度较暗的区域，正常区表示该初始HDR图像中的亮度一般的区域。

示例性的，对于下采样后的初始HDR图像中的各个像素点，在该像素点的像素值(如灰度值)小于第一预设亮度值的情况下，手机可以确定该像素点属于暗区；在该像素点的像素值大于或等于第一预设亮度值，且小于第二预设亮度值的情况下，手机可以确定该像素点属于正常区。在该像素点的像素值大于或等于第二预设亮度值的情况下，手机可以确定该像素点属于亮区。

S705、上述手机对下采样后的初始HDR图像的亮区进行压暗处理，得到下采样后的模拟短帧图像。

本申请中，由于短帧图像的曝光量较小，亮度较低，且短帧图像主要负责提供亮区内容，因此，手机可以降低上述下采样后的初始HDR图像的亮区的亮度，得到下采样后的模拟短帧图像。

在一些实施例中，手机可以利用上述正常区中的像素点的像素值与上述亮区中的像素点的像素值确定亮区对应的第一亮度调整系数，以供利用该第一亮度调整系数降低该亮区的亮度。示例性的，手机可以计算该正常区中的所有像素点的像素值的平均值(或称为第一平均值)，计算该亮区中的所有像素点的像素值的第二平均值。之后，手机可以计算该第一平均值与该第二平均值之间的比值，得到第一亮度调整系数(即GainL)，由于亮区中的像素点的像素值较大，因此，第二平均值大于第一平均值，使得第一亮度调整系数是小于1，且大于0的。之后，对于下采样后的初始HDR图像中的每个像素点，将该像素点的像素值乘以第一亮度调整系数，以降低该像素点的像素值，即降低该下采样后的初始HDR图像的亮度，从而降低下采样后的初始HDR图像的亮区的亮度，降低后的初始HDR图像便为模拟短帧图像，实现短帧图像的生成，避免由于无法获取到实际短帧图像到时HDR图像的对比度无法调整。并且通过基于初始HDR图像的亮度情况降低初始HDR图像中的亮区的亮度，可以实现亮区的亮度的准确降低，进而实现模拟短帧图像的准确确定。

当然，手机也可以采样其它方式确定亮区对应的第一亮度调整系数，如手机可以直接将第一预设亮度系数作为该第一亮度调整系数，该第一预设亮度系数可以为小于1的数值。

S706、上述手机对下采样后的初始HDR图像的暗区进行提亮处理，得到下采样后的模拟长帧图像。

本申请中，由于长帧图像的曝光量较大，亮度较高，且长帧图像主要提供负责暗区内容，因此，手机可以提高上述下采样后的初始HDR图像的暗区的亮度，得到下采样后的模拟长帧图像。

在一些实施例中，手机可以利用上述正常区中的像素点的像素值与上述亮区中的像素点的像素值确定暗区对应的第二亮度调整系数，以供利用该第二亮度调整系数提高该暗区的亮度。示例性的，手机可以计算该暗区中的所有像素点的像素值的第三平均值。之后，手机可以计算上述第一平均值与该第三平均值之间的比值，得到第二亮度调整系数(即GainH)，由于暗区中的像素点的像素值较小，因此，第三平均值小于第一平均值，使得第二亮度调整系数是大于1的。之后，对于下采样后的初始HDR图像中的每个像素点，将该像素点的像素值乘以第二亮度调整系数，以增大该像素点的像素值，即提高该下采样后的初始HDR图像的亮度，从而提高下采样后的初始HDR图像的暗区的亮度，提高对比度后的初始HDR图像便为模拟长帧图像，实现长帧图像的生成。并且通过基于初始HDR图像的亮度情况提高初始HDR图像中的暗区的亮度，可以实现暗区的亮度的准确降低，进而实现模拟长帧图像的准确确定。

当然，手机也可以采样其它方式确定亮区对应的第二亮度调整系数，如手机可以直接将第二预设亮度系数作为该第二亮度调整系数，该第二预设亮度系数可以为大于1的数值。

S707、上述手机对模拟长帧图像的灰度图进行下采样处理。

S708、上述手机对模拟短帧图像的灰度图进行下采样处理。

S709、上述手机确定下采样后的初始HDR图像的高频图像和低频图像。

S710、上述手机确定下采样后的模拟长帧图像的高频图像和低频图像。

S711、上述手机确定下采样后的模拟短帧图像的高频图像和低频图像。

S712、上述手机调节下采样后的初始HDR图像的高频图像的亮度，将调节后的初始HDR图像的高频图像与下采样后的初始HDR图像的低频图像相加，得到高对比度初始HDR图像。

S713、上述手机调节下采样后的模拟短帧图像的高频图像的亮度，将调节后的下采样后的模拟短帧图像的高频图像与下采样后的模拟短帧图像的低频图像相加，得到高对比度模拟短帧图像。

S714、上述手机调节下采样后的模拟长帧图像的高频图像的亮度，将调节后的模拟长帧图像的高频图像与下采样后的模拟长帧图像的低频图像相加，得到高对比度模拟长帧图像。

S715、上述手机对上述高对比度初始HDR图像、高对比度模拟长帧图像和高对比度模拟短帧图像进行融合，得到高对比度灰度图。

S716、上述手机对高对比度灰度图进行彩色图转换处理以及上采样处理，得到目标HDR图像。其中，该目标HDR图像的分辨率与上述初始HDR图像的分辨率相同，且目标HDR图像是彩色图。

其中，上述S707-S716的实现过程与上述图4中的S504-S513的实现过程类似，此处不再对其赘述。

在一些实施例中，如图9所示，手机在拍摄得到低对比度的初始HDR图像后，可以利用rgb2gray函数，提取该初始HDR图像的Y通道灰度图，并对其该灰度图进行下采样(即Resize)。之后，手机可以划分下采样后的初始HDR图像的亮区、暗区和正常区，并计算该亮区的平均值(即该亮区中的所有像素点的像素值的平均值)、该暗区的平均值和该正常区的平均值。

之后，手机可以将正常区与亮区的平均值的比值作为GainL，将该GainL乘以下采样后的初始HDR图像，以压暗该初始HDR图像的亮区，得到下采样后的模拟短帧图像(即Low图像)。并且，手机可以将1作为GainM，将该GainM乘以下采样后的初始HDR图像，即将下采样后的初始HDR图像作为Mid图像。手机可以将正常区与暗区的平均值的比值作为GainH，将该GainH乘以下采样后的初始HDR图像，以提亮该初始HDR图像的暗区，得到下采样后的模拟长帧图像(即High图像)。

之后，手机可以分别调整下采样后的初始HDR图像的对比度以得到高对比度初始HDR图像，调整下采样后的模拟长帧图像的对比度以得到高对比度模拟长帧图像，调整下采样后的模拟短帧图像的对比度以得到高对比度模拟短帧图像。其中，这里对比度的调整可以参考上述图6所示的调整对比度的过程，此处不再对其进行赘述。

在对比度调整完成后，手机可以将高对比度模拟短帧图像、高对比度模拟长帧图像和高对比度输入至深度神经网络模型，以供利用该深度神经网络模型对其进行融合，输出高对比度灰度图，该高对比度图像保留了亮暗区细节信息，避免由于提高HDR图像的对比度导致HDR图像的亮暗区信息损失。

之后，手机可以将上述高对比度灰度图除以下采样后的初始HDR图像，得到GainMap。

之后，手机可以对该GainMap进行保边上采样，得到全分辨率的GainMap，即得到上采样后的GainMap。之后，手机可以将初始HDR图像的三通道(如R通道、G通道、B通道)分别乘以该上采样后的GainMap，得到目标HDR图像，即得到高对比度的RGB图像。

本申请中，通过利用初始HDR图像的暗区、亮区和正常区的平均值，估计亮度调整系数(即Gain值，如GainL、GainH)。之后，手机可以基于下采样后的初始HDR图像，结合GainL、GainH，得到三帧不同亮度的图像，其分别为下采样后的初始HDR图像、下采样后的模拟长帧图像、下采样后的模拟短帧图像。之后，手机可以分别调整下采样的初始HDR图像、下采样后的模拟长帧图像、下采样后的短帧图像的对比度，得到高对比度初始HDR图像，高对比度模拟长帧图像和高对比度短帧图像。之后，即使高对比度初始HDR图像由于对比度的调整导致出现亮区过曝、暗区过暗的问题，造成亮暗区的细节出现损失，手机也可以通过将高对比度模拟长帧图像、高对比度模拟短帧图像和高对比度初始HDR图像输入至深度神经网络模型中，通过利用深度神经网络模型的多曝光融合能力，实现对高对比度初始HDR图像中的亮暗区的细节信息的还原，降低细节信息损失的程度。

本申请中，为了减少数据计算量，手机可以对图像(如上述初始HDR图像)进行下采样处理，以供利用下采样后的图像确定目标HDR图像。而在一些实施例中，为了保证图像处理效果，手机在提高初始HDR图像的对比度的过程中，也可以不对初始HDR图像和模拟非正常曝光图像进行下采样处理，而是直接利用初始HDR图像和模拟非正常曝光图像，即直接利用原图得到目标HDR图像。其中，手机利用初始HDR图像和模拟非正常曝光图像的原图得到目标HDR图像的过程与上述手机利用下采样后的初始HDR图像和下采样后的模拟非正常曝光图像得到目标HDR图像的过程类似，只不过无需进行下采样以及上采样处理。或者，手机利用初始HDR图像和模拟非正常曝光图像的原图得到目标HDR图像的过程与上述手机利用初始HDR图像和实际非正常曝光图像的原图得到目标HDR图像的过程类似，此处不再对其进行赘述。

在一些实施例中，上面介绍了模拟非正常曝光图像包括模拟长帧图像和模拟短帧图像，以供利用该模拟长帧图像和模拟短帧图像确定目标HDR图像的情况。当然还存在模拟非正常曝光图像包括模拟长帧图像或模拟短帧图像的情况，即仅需利用模拟长帧图像或模拟短帧图像生成目标HDR图像。也就是说，手机在得到初始HDR图像后，可以利用初始HDR图像对应的长帧图像或短帧图像，得到目标HDR图像。该长帧图像可以是模拟长帧图像或实际长帧图像，该短帧图像可以是模拟短帧图像或实际短帧图像。

在一些实施例中，上面实施一介绍手机利用实际长帧图像、实际短帧图像和初始HDR图像得到目标HDR图像的过程，上面实施二介绍手机利用模拟长帧图像、模拟短帧图像和初始HDR图像得到目标HDR图像的过程。手机也可以利用实际长帧图像、模拟短帧图像和初始HDR图像得到目标HDR图像，或者利用模拟长帧图像、实际短帧图像和初始HDR图像得到目标HDR图像，如手机没有拍摄得到长帧图像，手机可以利用初始HDR图像模拟长帧图像，以得到模拟长帧图像，从而利用该模拟长帧图像确定目标HDR图像。

在一些实施例中，如果设备拍摄得到的HDR图像的对比度较高、通透性较好，且不存在亮区过曝、暗区过暗的问题，并且通过查看该设备的日志，如果该日志存在与对比度调整、图像融合相关的关键词(如LocalContrastAdjust、HDRFusion)，则该设备可能是采用了本申请所介绍的HDR图像处理方法。

在一些实施例中，本申请提供一种计算机可读存储介质，包括计算机指令，当计算机指令在蓝牙设备上运行时，使得电子设备执行如上所述的HDR图像处理方法。

在一些实施例中，本申请提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如上所述的HDR图像处理方法。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(readonlymemory，ROM)、随机存取存储器(random accessmemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种高动态范围HDR图像处理方法，其特征在于，包括：

响应于用户对电子设备的第一操作，所述电子设备拍摄初始HDR图像；

所述电子设备调节所述初始HDR图像对应的高频图像的亮度；

所述电子设备将调节后的初始HDR图像对应的高频图像与所述初始HDR图像对应的低频图像中的处于相同位置上的像素点的像素值相加，得到高对比度初始HDR图像；

所述电子设备调节所述初始HDR图像对应的非正常曝光图像的高频图像的亮度；

所述电子设备将调节后的非正常曝光图像的高频图像与所述非正常曝光图像的低频图像中的处于相同位置上的像素点的像素值相加，得到高对比度非正常曝光图像；其中，所述非正常曝光图像包括短帧图像和/或长帧图像；

所述电子设备对所述高对比度初始HDR图像和所述高对比度非正常曝光图像进行融合，得到目标HDR图像，显示所述目标HDR图像。

2.根据权利要求1所述的方法，其特征在于，所述初始HDR图像对应的低频图像包括采用双边网格算法或双边滤波算法，对所述初始HDR图像处理得到的图像。

3.根据权利要求1所述的方法，其特征在于，所述初始HDR图像对应的高频图像是通过将所述初始HDR图像与所述初始HDR图像对应的低频图像中的处于相同位置上的像素点的像素值相减得到的。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述电子设备调节所述初始HDR图像对应的高频图像的亮度，包括：

对于所述初始HDR图像对应的高频图像中的各个像素点，将所述像素点的像素值乘以所述像素点对应的第一预设系数；其中，所述像素点对应的第一预设系数是根据所述初始HDR图像的低频图像上的所述像素点的位置上的像素值确定的。

5.根据权利要求1至3中任一项所述的方法，其特征在于，在所述电子设备调节所述初始HDR图像对应的高频图像的亮度之前，所述方法还包括：

所述电子设备对所述初始HDR图像的灰度图进行下采样；

在所述电子设备调节所述初始HDR图像对应的非正常曝光图像的高频图像的亮度之前，所述方法还包括：

所述电子设备对所述非正常曝光图像的灰度图进行下采样。

6.根据权利要求5所述的方法，其特征在于，所述电子设备对所述高对比度初始HDR图像和所述高对比度非正常曝光图像进行融合，得到目标HDR图像，包括：

所述电子设备将所述高对比度初始HDR图像和所述高对比度非正常曝光图像作为深度神经网络模型的输入，运行所述深度神经网络模型输出高对比度灰度图；所述深度神经网络模型用于融合图像；

所述电子设备将所述高对比度灰度图进行彩色图转换处理以及上采样处理，得到所述目标HDR图像，所述目标HDR图像的分辨率与所述初始HDR图像的分辨率相同，且所述目标HDR图像是彩色图。

7.根据权利要求6所述的方法，其特征在于，所述电子设备将所述高对比度灰度图进行彩色图转换处理以及上采样处理，得到所述目标HDR图像，包括：

所述电子设备对映射系数图像进行上采样处理，得到上采样后的所述映射系数图像；所述映射系数图像中的第一像素点的像素值是所述高对比度灰度图与所述下采样后的初始HDR图像中的所述第一像素点的位置上的像素点的像素值之间的比值；所述上采样后的映射系数图像的分辨率与所述初始HDR图像的分辨率相同；

所述电子设备计算所述初始HDR图像与所述上采样后的映射系数图像中的处于相同位置上的像素点的像素值的乘积，得到所述目标HDR图像。

8.根据权利要求1至3中任一项所述的方法，其特征在于，所述短帧图像包括第一短帧图像或第二短帧图像，所述长帧图像包括第一长帧图像或第二长帧图像；所述第一短帧图像表示所述电子设备生成所述初始HDR图像所利用的所述电子设备实际拍摄的短帧图像，所述第二短帧图像表示所述电子设备基于所述初始HDR图像模拟得到的短帧图像；所述第一长帧图像表示所述电子设备生成所述初始HDR图像所利用的所述电子设备实际拍摄的长帧图像，所述第二长帧图像表示所述电子设备基于所述初始HDR图像模拟得到的长帧图像。

9.根据权利要求8所述的方法，其特征在于，所述第二长帧图像是通过提亮所述初始HDR图像中的暗区中的所有像素点得到的；所述暗区包括所述初始HDR图像中像素值小于第一预设亮度值的像素点所在的区域；

所述第二短帧图像是通过降低所述初始HDR图像中的亮区中的所有像素点的亮度得到的；所述亮区包括所述初始HDR图像中像素值大于或等于第二预设亮度值的像素点所在的区域。

10.根据权利要求9所述的方法，其特征在于，所述第二短帧图像是通过将所述初始HDR图像乘以第一亮度调整系数得到的，所述第一亮度调整系数大于0，且小于1；

所述第二长帧图像是通过将所述初始HDR图像乘以第二亮度调整系数得到的，所述第二亮度调整系数大于1。

11.根据权利要求10所述的方法，其特征在于，所述第一亮度调整系数是所述初始HDR图像中的正常区的所有像素点的像素值的平均值与所述亮区的所有像素点的像素值的平均值之间的比值；所述正常区包括所述初始HDR图像中像素点的像素值大于或等于所述第一预设亮度值，且小于所述第二预设亮度值的像素点所在的区域；

所述第二亮度调整系数是所述初始HDR图像中的正常区的所有像素点的像素值的平均值与所述暗区的所有像素点的像素值的平均值之间的比值。

12.一种电子设备，其特征在于，所述电子设备包括显示屏、摄像头、存储器和一个或多个处理器；所述显示屏、所述摄像头、所述存储器和所述处理器耦合；所述摄像头用于采集图像，所述显示屏用于显示所述处理器生成的图像以及所述摄像头采集的图像，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1至11中任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至11中任一项所述的方法。