CN114092364A - 图像处理方法及其相关设备 - Google Patents

Abstract

本申请提供了一种图像处理方法及其相关设备，涉及图像处理领域，该图像处理方法包括：第一摄像头采集第一图像和第二摄像头采集第二图像；根据所述第一图像得到掩膜块；将第一图像和第二图像进行融合，得到第一融合图像；根据掩膜块，确定第一图像中的第一图像块和确定第二图像中的第二图像块；将第一图像块和第二图像块进行融合，得到融合图像块；将第一融合图像与融合图像块进行融合，得到第三图像。本申请通过利用较清晰的第二图像中的内容，与低清晰的第一图像中的相同区域进行融合，以恢复缺失的细节，然后进行多次融合，得到高清晰度的图像。

Description

图像处理方法及其相关设备

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及其相关设备。

背景技术

随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，随之出现了各种多帧图像合成算法以提升图像质量的技术，例如：多帧降噪、多帧超分辨率等。

但是，在一些高动态范围(high dynamic range，HDR)场景中或者逆光场景中，由于待拍摄场景中的物体表面的部分区域产生了高光反射，导致这些高亮度区域细节丢失，相关技术却无法有效处理这种情况。因此，如何对图像的高亮度区域中的细节进行复原成为一个亟需解决的问题。

发明内容

本申请提供一种图像处理方法及其相关设备，能够对图像中的低清晰度区域进行图像复原处理，恢复细节，从而提高用户体验。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种图像处理方法，应用于包括第一摄像头和第二摄像头的电子设备，该方法包括：

电子设备启动相机；显示预览界面，预览界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，第一摄像头采集第一图像和第二摄像头采集第二图像，第一图像的清晰度低于第二图像的清晰度，第一图像包括第一区域，第一区域为第一图像中清晰度小于预设阈值的区域；根据第一图像得到掩膜块，掩膜块与第一区域对应；将第一图像和第二图像进行融合，得到第一融合图像；根据掩膜块，确定第一图像中的第一图像块和确定第二图像中的第二图像块，第一图像块与掩膜块对应，第二图像块与掩膜块对应；将第一图像块和第二图像块进行融合，得到融合图像块；将第一融合图像与融合图像块进行融合，得到第三图像。

示例性的，第一控件可以为拍摄键11。

本申请实施例提供了一种图像处理方法，通过从低清晰度的第一图像中确定出缺失细节的第一区域所对应的掩膜块，然后从第一图像中获取掩膜块对应的第一图像块，以及从高清晰度、包含丰富细节的第二图像中获取掩膜块对应的第二图像块，并将第一图像块和第二图像块进行融合，得到清晰的融合图像块；再将第一图像、第二图像融合成的第一融合图像与融合图像块进一步进行融合，以修复缺失的细节，得到高清晰度的第三图像。

在第一方面一种可能的实现方式中，根据第一图像得到掩膜块，包括：将第一图像输入分割模型进行分割，并生成掩膜块；分割模型用于对第一图像中的第一区域进行分割，并生成与第一区域对应的掩膜块。

示例性的，分割模型可以为：全卷积神经网络。

在该实现方式中，通过分割模型可以对第一图像进行精细化分割，得到分割后的多个图像区域，从而便于后续对第一图像中局部缺失细节严重的区域独立进行修复，而不影第一区域周边的图像。

在第一方面一种可能的实现方式中，将第一图像和第二图像进行融合，得到第一融合图像，包括：将第一图像和第二图像利用第一融合模型进行融合，得到第一融合图像。

在该实现方式中，由于第二图像相对于第一图像清晰度高，由此，将第一图像和第二图像融合后，可以提高图像整体的清晰度，得到较高清晰度的第一融合图像。

在第一方面一种可能的实现方式中，将第一图像块和第二图像块进行融合，得到融合图像块，包括：将第一图像块和第二图像块利用第二融合模型进行融合，得到融合图像块。

在该实现方式中，由于第一图像的清晰度低于第二图像的清晰度，所以第一图像块的清晰度也低于第二图像块的清晰度，甚至于，第一图像块中没有任何细节，由此，将不清晰、缺失细节的第一图像块与清晰的、细节丰富的第二图像块进行融合，可以得到较高清晰度的融合图像块。

在第一方面一种可能的实现方式中，将第一融合图像和融合图像块进行融合，得到第三图像，包括：将第一融合图像和融合图像块利用第三融合模型进行融合，得到第三图像。

在该实现方式中，第一融合图像相对于第一图像进行了整体上的清晰度的提高，融合图像块相对于第一图像中的第一图像块进行了局部的清晰度的提高，将第一融合图像和融合图像块进行融合，可以对第一融合图像中的局部进一步进行修复，得到更高清晰度的第三图像。

在第一方面一种可能的实现方式中，该方法还包括：当根据第一图像没得到掩膜块时，将第一图像和第二图像利用第一融合模型进行融合，得到第一融合图像。

在该实现方式中，没有得到掩膜块，说明第一图像没有局部缺失细节特别严重的区域，但是，第一图像的整体清晰度依然很低，由此，可以将第一图像和第二图像进行融合，以提高图像的清晰度。

在第一方面一种可能的实现方式中，该方法还包括：对第一图像和第二图像进行配准。在该实现方式中，通过配准，可以提高第一图像和第二图像融合时的精确度。

在第一方面一种可能的实现方式中，该方法还包括：对第一图像块和第二图像块进行配准。在该实现方式中，通过配准，可以提高第一图像块和第二图像块融合时的精确度。

在第一方面一种可能的实现方式中，配准包括：全局配准和/或局部配准，全局配准用于表示将多个图像中的全部内容进行配准，局部配准用于表示将多个图像中的局部内容进行配准。在该实现方式中，通过全局配准可以提高多个图像中全部内容的对位精准度，通过局部配准可以提高多个图像中局部内容的对位精准度。

在第一方面一种可能的实现方式中，该方法还包括：利用训练图像集，并加入随机高光噪声，对第一融合模型进行训练，得到第二融合模型，其中，训练图像集包括原始图像，原始图像标注有掩膜块。在该实现方式中，由于在训练时加入了随机高光噪声，使得后续在利用训练好的第二融合模型将第一图像块和第二图像块进行融合时，清晰度较高的第二图像块比第一图像块的权重占比要大，从而使得融合得到的融合图像块从第二图像块中获取更多细节。

在第一方面一种可能的实现方式中，第三融合模型为拉普拉斯融合模型。在该实现方式中，在利用拉普拉斯融合模型进行融合时，拉普拉斯融合模型可以先将第一融合图像与融合图像块分解到不同的空间频带上，然后在各个空间频带层上分别进行融合，由此，通过分频处理，可以使得第一融合图像和融合图像块融合的更加自然，衔接处更细腻，得到的第三图像质量更高。

第二方面，提供了一种图像处理装置，该装置包括用于执行以上第一方面或第一方面的任意可能的实现方式中各个步骤的单元。

第三方面，提供了一种电子设备，包括摄像头模组、处理器和存储器；摄像头模组，用于采集第一图像和第二图像，第一图像的清晰度低于第二图像的清晰度，第一图像包括第一区域，第一区域为第一图像中清晰度小于预设阈值的区域；存储器，用于存储可在处理器上运行的计算机程序；处理器，用于执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。

在第三方面一种可能的实现方式中，摄像头模组包括广角摄像头、主摄摄像头和长焦摄像头；广角摄像头，用于在处理器获取拍照指令后，获取第一图像；主摄摄像头，用于在处理器获取拍照指令后，获取第二图像，或者；主摄摄像头，用于在处理器获取拍照指令后，获取第一图像；长焦摄像头，用于在处理器获取拍照指令后，获取第二图像。

第四方面，提供了一种芯片，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。

第五方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，使处理器执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。

第六方面，提供了一种计算机程序产品，计算机程序产品包括存储了计算机程序的计算机可读存储介质，计算机程序使得计算机执行如第一方面或第一方面的任意可能的实现方式中提供的图像处理方法中进行处理的步骤。

第二方面至第六方面的有益效果，可以参考上述第一方面的有益效果，在此不再赘述。

附图说明

图1是利用相关技术拍摄得到的一张图像的示意图；

图2是本申请实施例提供的应用场景的示意图；

图3是本申请实施例提供的一种图像处理方法的示意图；

图4是本申请实施例提供的另一种图像处理方法的流程示意图；

图5是本申请实施例提供的分割模型处理图像的示意图；

图6是本申请实施例提供的得到掩膜块时处理图像的示意图；

图7是本申请实施例提供的拍照预览时变焦的显示界面示意图；

图8是本申请实施例提供的拍照预览时多摄变焦的进程示意图；

图9是一种适用于本申请的装置的硬件系统的示意图；

图10是一种适用于本申请的装置的软件系统的示意图；

图11为本申请实施例提供的一种图像处理装置的结构示意图；

图12为申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、RGB(red，green，blue)颜色空间，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。

2、像素值，指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量R、绿色分量G和蓝色分量B。

3、配准(image registration)，指的是在同一区域内以不同成像手段所获得的不同图像的地理坐标的匹配。其中，包括几何纠正、投影变换与统一比例尺三方面的处理。

4、视场角(field of view，FOV)，用于指示摄像头所能拍摄到的最大的角度范围。若待拍摄物体处于这个角度范围内，该待拍摄物体便会被摄像头捕捉到。若待拍摄物体处于这个角度范围之外，该待拍摄物体便不会被摄像头捕捉到。

通常，摄像头的视场角越大，则拍摄范围就越大，焦距就越短；而摄像头的视场角越小，则拍摄范围就越小，焦距就越长。因此，摄像头因视场角的不同可以被划分主摄像头、广角摄像头和长焦摄像头。其中，广角摄像头的视场角相对于主摄像头的视场角较大，焦距较小，适合近景拍摄；而长焦摄像头的视场角相对于主摄像头的视场角较小，焦距较长，适合远景拍摄。

5、逆光，逆光是一种由于被摄主体恰好处于光源和相机之间的状况。在该状态下，容易造成被摄主体曝光不充分的问题，因此，在一般情况下用户应尽量避免在逆光条件下拍摄物体。

以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。

随着电子设备的广泛使用，使用电子设备进行拍照已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，随之出现了各种多帧图像合成算法以提升图像质量的技术，例如：多帧降噪、多帧超分辨率等。

但是，在一些高动态范围(high dynamic range，HDR)场景中或者逆光场景中，由于待拍摄场景中的物体表面的部分区域产生了高光反射，导致这些高亮度区域细节丢失，相关技术却无法有效处理这种情况。

例如，图1是利用相关技术拍摄得到的一张图像。如图1所示，待拍摄场景中有3个人在阳光下等待用户进行拍照，由于阳光照到人脸区域，并且，阳光非常强烈，导致人脸区域产生了高光反射，人脸区域即为高亮度区域。此时，用户利用相关技术对该3个人进行拍摄时，拍摄出的图像丢失了人脸区域的细节，从而导致拍摄出的图像质量较差，看不清人脸区域的内容，影响用户体验。

有鉴于此，本申请实施例提供了一种图像处理方法，通过采集清晰度不同的第一图像和第二图像，利用较清晰的第二图像中对应高亮度区域的内容，与低清晰的第一图像中的高亮度区域进行融合，从而可以恢复出第一图像中高亮度区域中缺失的细节，再通过多次融合得到质量较高的拍摄图像，提升用户体验。

首先对本申请实施例的应用场景进行简要说明。

图2是本申请实施例提供的一种应用场景的示意图。本申请提供的图像处理方法可以应用于复原图像中的高亮度区域的细节。

示例性的，如图2中的(a)所示，为电子设备的图形用户界面(graphical userinterface，GUI)。当电子设备检测到用户点击界面上的相机应用的图标的操作后，可以启动相机应用，显示如图2中的(b)所示的另一GUI，该GUI可以称为预览界面。

该预览界面上可以包括取景窗口21。在预览状态下，该取景窗口21内可以实时显示预览图像。该预览界面还可以包括多种拍摄模式选项以及第一控件，即，拍摄键11。该多种拍摄模式选项例如包括：拍照模式、录像模式等，拍摄键11用于指示当前拍摄模式为拍照模式、录像模式或者为其他模式。其中，相机应用打开时一般默认处于拍照模式。

示例性的，如图2中的(b)所示，当电子设备启动相机应用后，电子设备运行图像处理方法对应的程序，响应于用户对拍摄键11的点击操作，获取并存储拍摄图像。

应理解，待拍摄场景中有3个人，由于阳光照在3个人的脸部区域，并且阳光非常强烈，导致3个人的脸部区域产生高光反射，从而在对3个人进行拍照时，利用相关技术通常无法获取到3个人的脸部特征。但是，通过本申请的图像处理方法可以检测出高亮的脸部区域，进而对脸部区域的细节进行复原，得到高质量的拍摄图像。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景进行任何限制。

下面结合说明书附图，对本申请实施例所提供的图像处理方法进行详细介绍。

图3为本申请实施例提供的图像处理方法的流程示意图。如图3所示，该图像处理方法包括以下S10～S60。

电子设备启动相机，显示如图2中的(b)所示的预览界面，预览界面包括第一控件，该第一控件可以为拍摄键11。

S10、当电子设备检测到用户对拍摄键11的第一操作后，响应于第一操作，第一摄像头采集第一图像，第二摄像头采集第二图像。

其中，第一图像和第二图像为对相同的待拍摄场景拍摄的图像。第一图像的清晰度低于第二图像的清晰度，第一图像包括第一区域，第一区域为第一图像中清晰度小于预设阈值的区域。

其中，预设阈值可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。

应理解，第一图像和第二图像均为拜耳格式图像，也可以称为位于RAW域的图像。

应理解，第一区域用于表示第一图像中不清晰、缺失细节的区域。示例性的，第一区域可以是指获取第一图像时，由于光照强烈导致缺失细节的高亮度区域，或者，也可以是指获取第一图像时，缺失细节的关键区域，例如，人脸、人体、五官等。

S20、根据第一图像得到掩膜(mask)块，掩膜块与第一区域对应。

应理解，掩膜块指的是对第一图像中的第一区域对应的掩膜图像。通过对第一图像中的缺失细节的第一区域进行替换或融合，来控制对第一图像中需要恢复细节的第一区域的处理。

S30、将第一图像和第二图像进行融合，得到第一融合图像。

应理解，由于第二图像相对于第一图像清晰度高，由此，将第一图像和第二图像融合后，可以提高图像整体的清晰度，得到较高清晰度的第一融合图像。

S40、根据掩膜块，确定第一图像中的第一图像块和确定第二图像中的第二图像块，第一图像块与掩膜块对应，第二图像块与掩膜块对应。

例如，用户使用电子设备对三个同事进行拍照时，第一区域可以是指该三个同事分别被强光照射导致看不清面部特征的人脸区域，生成的掩膜块与第一区域对应，用于表示人脸区域。第一图像块即从第一图像中确定出的人脸区域，第二图像块即从第二图像中确定出的人脸区域。

S50、将第一图像块和第二图像块进行融合，得到融合图像块。

应理解，由于第一图像的清晰度低于第二图像的清晰度，所以第一图像块的清晰度也低于第二图像块的清晰度，甚至于，第一图像块中没有任何细节，由此，将不清晰、缺失细节的第一图像块与清晰的、细节丰富的第二图像块进行融合，可以得到较高清晰度的融合图像块。

S60、将第一融合图像和融合图像块进行融合，得到第三图像。

应理解，第一融合图像相对于第一图像进行了整体上的清晰度的提高，融合图像块相对于第一图像中的第一图像块进行了局部的清晰度的提高，将第一融合图像和融合图像块进行融合，可以对第一融合图像中的局部进一步进行修复，得到更高清晰度的第三图像。

本申请实施例提供一种图像处理方法，通过从低清晰度的第一图像中确定出缺失细节的第一区域所对应的掩膜块，然后从第一图像中获取掩膜块对应的第一图像块，以及从高清晰度、包含丰富细节的第二图像中获取掩膜块对应的第二图像块，并将第一图像块和第二图像块进行融合，得到清晰的融合图像块；再将第一图像、第二图像融合成的第一融合图像与融合图像块进一步进行融合，以修复缺失的细节，得到高清晰度的第三图像。

图4是本申请实施例提供的另一种图像处理方法的流程示意图。

如图4所示，该图像处理方法10包括：S110至S190。

S110、获取第一图像和第二图像。第一图像和第二图像为对相同的待拍摄场景拍摄的图像。第一图像的清晰度低于第二图像的清晰度。

应理解，第一图像和第二图像是电子设备通过摄像头拍摄得到的图像，或者，第一图像和第二图像还可以是从电子设备内部获取的图像，例如，电子设备中存储的图像，或者，电子设备从云端获取的图像。其中，第一图像和第二图像均为拜耳格式图像。

应理解，当利用摄像头获取第一图像和第二图像时，通常两个图像中对应的清晰度低的图像称为第一图像；而清晰度高的图像称为第二图像。由于清晰度高低是相对的，所以，第一图像和第二图像也是相对的。

例如，当图像a对应的清晰度比图像b对应的清晰度低时，利用本申请实施例提供的图像处理方法对图像a和图像b进行图像处理时，图像a即为第一图像，图像b即为第二图像。

当图像b对应的清晰度比图像c对应的清晰度低时，利用本申请实施例提供的图像处理方法对图像b和图像c进行图像处理时，图像b即为第一图像，图像c即为第二图像。

例如，第一图像为广角摄像头所采集的图像，第二图像为长焦摄像头所采集的图像，广角摄像头和长焦摄像头在同一时刻采集图像；同理，第一图像为广角摄像头所采集的图像，第二图像为超广角摄像头所采集的图像，广角摄像头和超广角摄像头在同一时刻采集图像。

应理解，第一图像可以是具有细节缺失区域的图像，通过本申请实施例的图像处理方法可以将第一图像中缺失的细节进行恢复。

S120、将第一图像输入分割模型进行分割，若第一图像可分割，则根据分割的第一区域生成对应的掩膜块，若不可分割，则说明第一图像中没有包括第一区域，由此，得不到掩膜块。

其中，分割模型用于对第一图像中的第一区域进行分割，并生成与第一区域对应的掩膜块。第一区域用于表示第一图像中清晰度小于预设阈值的区域，也即，缺失一定细节的区域。

可选地，分割模型可以为：全卷积神经网络(fully convolutional networks，FCN)等。

应理解，分割模型可以对第一图像进行分割，得到分割后的多个图像区域，该多个图像区域包括一些包含细节的区域，也可能包括一些缺失细节的区域。当第一图像包含1个或多个缺失细节的区域时，分割模型可以分割出该1个或多个缺失细节的区域，并生成对应的1个或多个掩膜块。而当第一图像没有包含缺失细节的区域时，分割模型则不会分割出缺失细节的区域，更不会生成对应的掩膜块。

应理解，第一区域可以是指获取第一图像时，例如在HDR场景中，由于光照强烈导致缺失细节的高亮度区域，或者，也可以是指获取第一图像时，缺失细节的关键区域，例如，人脸、人体、五官等。

还应理解，第一区域的数量与掩膜块的数量相同，每个第一区域对应的掩膜块的视场角范围与该第一区域对应的视场角范围相同。

示例性的，图5示出了本申请实施例提供的分割模型处理图像的示意图。如图5所示，将第一图像输入分割模型，由于第一图像中包含有3个被强光照射导致缺失细节的人脸区域，因此，分割模型可以分割出3个第一区域并生成对应的3个掩膜块。例如图1中的人脸区域对应的3个掩膜块。

示例性的，掩膜块对应的每个像素的像素值均为0。

S130、当得到掩膜块或者没得到掩膜块时，都将第一图像和第二图像进行配准。

应理解，当没得到掩膜块时，说明第一图像虽然清晰度低，但没有包括第一区域，即没有低于预设阈值、严重缺失细节的区域。

可选地，作为一种示例，该配准可以为全局配准。

全局配准用于表示将多个图像中的全部内容进行配准，也就是说，此处可以将第一图像和第二图像中的全部内容进行配准，使得第一图像和第二图像在后续融合时，能更精准对应。

可选地，作为一种示例，该配准可以包括全局配准和局部配准。

局部配准用于表示将多个图像中的局部内容进行配准。示例性的，利用分割模型虽然没有从第一图像中分割出第一区域，但是，可以分割出一些其他区域，例如，人体区域和除人体区域之外的背景区域，由此，可以将第一图像中的人体区域与第二图像中的人体区域进行局部配准，而不对第一图像中的背景区域和第二图像中的背景区域进行配准。

示例性的，可以先进行全局配准，再进行局部配准，或者，也可以先进行局部配准，再进行全局配准，配准顺序可以根据需要进行设置和调整，本申请实施例对此不进行限制。

应理解，将第一图像和第二图像进行配准后，可以提高后续融合时的准确度，融合后的效果更好。

S140、将配准后的第一图像和第二图像，利用第一融合模型进行融合，得到第一融合图像。

应理解，配准后的第一图像和第二图像的清晰度依然不同，第一融合模型可以对不同清晰度的图像进行融合。其中，第一融合模型可以为VGG net模型。

应理解，由于第二图像相对于第一图像清晰度较高，由此，将配准后的第一图像和第二图像进行融合后，可以提升第一图像中对应第二图像视场角范围中的内容的清晰度，从而得到清晰度较高的第一融合图像。

其中，第一融合图像的视场角范围与第一图像的视场角范围相同。

当然，也可以对第一图像和第二图像不配准，将获取的第一图像和第二图像，利用第一融合模型进行融合，得到第一融合图像。

S150、当得到掩膜块时，根据掩膜块，确定第一图像中的第一图像块和确定第二图像中的第二图像块。

应理解，当利用分割模型从第一图像中确定出1个掩膜块时，根据该掩膜块，可以从第一图像中确定出与该掩膜块对应的1个第一图像块。其中，第一图像块和该掩膜块的视场角范围相同。

同理，根据该掩膜块，可以从第二图像中确定出对应的1个第二图像块。其中，第二图像块和该掩膜块的视场角范围相同。

基于此，当利用分割模型从第一图像中确定出多个掩膜块时，根据该多个掩膜块，可以从第一图像中确定出与多个掩膜块中的每一个掩膜块对应的一个第一图像块，也就是说，可以从第一图像中确定出相同数量的多个第一图像块，且第一图像块与掩膜块一一对应。

同理，根据该多个掩膜块，也可以从第二图像中确定出与多个掩膜块中的每一个掩膜块对应的一个第二图像块，也就是说，可以从第二图像中确定出相同数量的多个第二图像块，且第二图像块与掩膜块、第一图像块一一对应。

S160、将第一图像块和第二图像块进行配准。

应理解，根据掩膜块，获取到的第一图像块和第二图像块一一对应，对应的第一图像块和第二图像块可以组成一组图像块。由此，将第一图像块和第二图像块进行配准，指的是将每组图像块中的第一图像块和第二图像块进行配准。

可选地，作为一种示例，该配准可以为全局配准。

将每组图像块中的第一图像块和第二图像块进行全局配准。此处，指的是将每组图像块中的第一图像块的全部内容与第二图像块的全部内容进行配准。

可选地，作为另一种示例，该配准可以包括全局配准和局部配准。

示例性的，将每组图像块中的第一图像块和第二图像块先进行全局配准，再进行局部配准。此处，局部配准指的是将将每组图像块中的第一图像块的局部内容与第二图像块中的局部内容进行配准。例如，第一图像块和第二图像块均包括一个人脸，则将该人脸中的眼睛分别在第一图像块和第二图像块中所对应的区域进行配准，将人脸中的嘴巴分别在第一图像块和第二图像块中所对应的区域进行配准。

应理解，全局配准和局部配准是相对的，当图像面积减小时，进行全局配准和局部配准的精度更高、效果更好。

此外，还需要说明的是，由于对第一图像和第二图像进行局部配准时，例如对第一图像和第二图像中的人体区域进行局部配准时，相应的，旁边的背景区域会因此受到影响，反而变得不准，产生误差。由此，为了避免对背景区域产生不必要的影响，本申请将第一图像块从第一图像中提取出，将第二图像块从第二图像中提取出，然后，再将第一图像块和第二图像块进行全局配准，这样就将背景区域隔离开，不会影响周边的背景区域。而且，可以继续对第一图像块和第二图像块进行局部配准，以提高配准精度，得到配准准确度更高的第一图像块和第二图像块。

S170、将配准后的每组图像块中的第一图像块和第二图像块，利用第二融合模型进行融合，得到融合图像块。

应理解，配准后的第一图像块和第二图像块依然清晰度不同，第二融合模型可以对不同清晰度的图像块进行融合。

应理解，由于第二图像相对于第一图像的清晰度较高，第二图像块相对于第一图像块的清晰度较高，由此，将配准后的第一图像块和第二图像块进行融合后，可以得到清晰度较高的融合图像块。

其中，融合图像块的视场角范围和第一图像块、第二图像块的视场角范围相同。

在本申请的实施例中，第二融合模型是一个预先训练的融合模型。训练图像集可以包括原始图像以及人工标注出的掩膜块，掩膜块用于标识原始图像中缺失细节的第一区域。例如，原始图像是指各种HDR场景下的图像。在每个原始图像上，有人工标注出的1个或多个指示高亮度区域(即缺失细节的第一区域)的掩膜块。

在一个示例中，第二融合模型是由第一融合模型训练得到的。

在另一个示例中，第二融合模型是由第一融合模型，并且加入随机高光噪声训练得到的。

由于在训练时加入了随机高光噪声，使得后续在利用训练好的第二融合模型将第一图像块和第二图像块进行融合时，清晰度较高的第二图像块比第一图像块的权重占比要大，从而使得融合得到的融合图像块从第二图像块中获取更多细节。

S180、将第一融合图像与融合图像块，利用第三融合模型进行融合，得到第三图像。

可选地，第三融合模型可以为拉普拉斯融合(laplacian blending)模型。

在利用拉普拉斯融合模型进行融合时，拉普拉斯融合模型可以先将第一融合图像与融合图像块分解到不同的空间频带上，然后在各个空间频带层上分别进行融合，由此，通过分频处理，可以使得第一融合图像和融合图像块融合的更加自然，衔接处更细腻，得到的第三图像质量更高。

应理解，由于融合图像块相对于第一融合图像中对应区域的清晰度更高，由此，利用第三融合模型进行融合之后，可以得到清晰度更高的第三图像。

S190、当没得到掩膜块时，将第一融合图像作为拍摄图像输出。当得到掩膜块时，将第三图像作为拍摄图像输出。

示例性的，图6示出了本申请实施例提供的得到掩膜块时处理图像的示意图。如图6所示，将第一图像输入分割模型，由于第一图像中包含有3个被强光照射导致缺失细节的人脸区域，因此，分割模型可以分割出3个第一区域并生成对应的3个掩膜块。

此时，将第一图像和第二图像进行配准，并将配准的第一图像和第二图像利用第一融合模型进行融合，得到第一融合图像。

同时，根据该3个掩膜块，获取第一图像中对应的3个第一图像块，获取第二图像中对应的3个第二图像块，接着，将对应同一掩膜块的第一图像块和第二图像块进行配准并利用第二融合模型进行融合得到融合图像块，由此，可以得到3个融合图像块。

再将第一融合图像和该3个融合图像块利用第三融合模型进行融合，得到第三图像。

在本申请的实施例中，当利用分割模型从第一图像中未得到掩膜块时，只利用第一融合模型将第一图像和第二图像进行配准和融合，并将得到的第一融合图像作为拍摄图像。而当利用分割模型从第一图像中得到掩膜块时，说明第一图像中对应有缺失细节的区域，此时，先将第一图像和第二图像进行融合，得到一个大范围清晰度提高的第一融合图像，然后，根据掩膜块，从第一图像中获取第一图像块，从第二图像中获取第二图像块，并将第一图像块和第二图像块进行配准和融合，由此可以得到清晰度、细节有效恢复的融合图像块，接着，再将第一融合图像与融合图像块进一步进行融合，以修复缺失的细节，得到高清晰度、高质量的拍摄图像。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

上文结合图2至图6，详细描述了本申请实施例的图像处理方法，结合上述内容，第一图像和第二图像由两个摄像头获取，但是，目前电子设备通常包括有3个及以上摄像头，由此，需要在不同焦段触发不同的两个摄像头来获取第一图像和第二图像。

以电子设备包括广角摄像头、主摄摄像头和长焦摄像头为例，下面对本申请提供的触发方法进行详细说明。

示例性的，设定电子设备对应的变焦倍数范围为[0.4,100]。该变焦倍数范围划分为3个变焦倍数范围，该3个变焦倍数范围分别为第一变焦倍数范围、第二变焦倍数范围、第三变焦倍数范围，且该3个变焦倍数范围包含的变焦倍数依次增大。

示例性的，假设第一变焦倍数范围F1为[0.4,0.9)，第二变焦倍数范围F2为[0.9,3.5)，第三变焦倍数范围F3为[3.5,100]。应理解，此处，各个数字仅为示意，具体可以根据需要进行设置和更改，本申请实施例对此不进行任何限制。

示例性的，广角摄像头自身适用的变焦倍数范围为[0.4,1]，主摄摄像头自身适用的变焦倍数范围为[0.6,3.5]，而长焦摄像头自身适用的变焦倍数范围为[2.0,100]。

基于此，设定第一变焦倍数范围对应的目标摄像头为广角摄像头，第二变焦倍数范围对应的目标摄像头为主摄摄像头，第三变焦倍数范围对应的目标摄像头为长焦摄像头。

图7示出了本申请实施例提供的一种拍照预览时变焦的界面示意图。图8示出了本申请实施例提供的一种拍照预览时多摄变焦的进程示意图。

示例性的，响应于用户的触摸操作，当电子设备100运行相机应用时，电子设备100显示如图7中的(a)所示的预览界面。在该预览界面上，拍摄键11指示当前拍摄模式为拍照模式。该预览界面中还包括取景窗口21，取景窗口21可用于实时显示拍照前的预览画面。另外，预览画面中还显示有变焦选项22。用户可以在变焦选项22中选择当前拍照的变焦倍数，例如，0.4倍、2倍或50倍等。如图7中的(b)所示，响应于用户的变焦操作，预览画面可以根据当前选择的变焦倍数放大或缩小，随着变焦倍数放大或缩小，取景窗口21中的预览画面也变大或缩小。当变焦至某一切换点时，调用不同的两个摄像头，利用本申请实施例提供的图像处理方法获取拍摄图像。

如图8所示，在进行拍照预览时，当在第一变焦倍数范围F1内从小到大变焦时，第一变焦倍数范围对应的广角摄像头为前台送显状态，将获取的图像发送至显示屏显示。

当变焦至第一变焦切换点(例如0.6X)，广角摄像头继续为前台送显状态，而第二变焦倍数范围F2对应的主摄摄像头开始进入后台运行状态。

由于广角摄像头相对于主摄摄像头获取的图像视场角大、清晰度低，由此，在[0.6,0.9]的变焦倍数范围F11内，响应于用户对拍摄键11的操作，广角摄像头获取的图像作为第一图像，主摄摄像头获取的图像作为第二图像，然后，基于广角摄像头获取的第一图像和主摄摄像头获取的第二图像，利用本申请实施例提供的图像处理方法，得到清晰度高、细节丰富的拍摄图像。

当变焦至0.9X时，广角摄像头关闭，主摄摄像头转换为前台送显状态，即，主摄摄像头将获取的图像发送至显示屏显示。

当变焦至第二变焦切换点时(例如2.0X)，广角摄像头继续为前台送显状态，而第三变焦倍数范围F3对应的长焦摄像头开始进入后台运行状态。

由于主摄摄像头相对于长焦摄像头获取的图像清晰度低、视场角大，由此，在[2.0,3.5]的变焦倍数范围F21内，响应于用户对拍摄键11的操作，主摄摄像头获取的图像作为第一图像，长焦摄像头获取的图像作为第二图像，然后，基于主摄摄像头获取的第一图像和长焦摄像头获取的第二图像，利用本申请实施例提供的图像处理方法，得到清晰度高、细节丰富的拍摄图像。

当变焦至3.5X时，主摄摄像头关闭，长焦摄像头转换为前台送显状态，即，长焦摄像头将获取的图像发送至显示屏显示。

上文结合图2至图8，对本申请实施例的图像处理方法以及不同摄像头的触发条件进行了详细描述，下面将结合图9至图12，详细描述本申请适用的电子设备的软件系统、硬件系统、装置以及芯片。应理解，本申请实施例中的软件系统、硬件系统、装置以及芯片可以执行前述本申请实施例的各种图像处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

本申请实施例提供的图像处理方法可以适用于各种电子设备，对应的，本申请实施例提供的图像处理装置可以为多种形态的电子设备。

在本申请的一些实施例中，该电子设备可以为单反相机、卡片机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等，或者可以为其他能够进行图像处理的设备或装置，对于电子设备的具体类型，本申请实施例不作任何限制。

下文以电子设备为手机为例，图9示出了本申请实施例提供的一种电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

处理器110可以运行本申请实施例提供的图像处理方法的软件代码，拍摄得到清晰度较高的图像。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的电流。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收电磁波(电流路径如虚线所示)。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的无线通信的解决方案，例如下列方案中的至少一个：第二代(2^th generation，2G)移动通信解决方案、第三代(3^thgeneration，3G)移动通信解决方案、第四代(4^th generation，5G)移动通信解决方案、第五代(5^th generation，5G)、第六代(6^th generation，6G)移动通信解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

摄像头193用于捕获图像或视频。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头的具体个数以及排布方式可以根据需求设置，本申请不做任何限制。

示例性的，电子设备100包括前置摄像头和后置摄像头。例如，前置摄像头或者后置摄像头，均可以包括1个或多个摄像头。以电子设备100具有3个后置摄像头为例，这样，电子设备100启动3个后置摄像头中的2个摄像头进行拍摄时，可以使用本申请实施例提供的图像处理方法。或者，摄像头设置于电子设备100的外置配件上，该外置配件可旋转的连接于手机的边框，该外置配件与电子设备100的显示屏194之间所形成的角度为0-360度之间的任意角度。比如，当电子设备100自拍时，外置配件带动摄像头旋转到朝向用户的位置。当然，手机具有多个摄像头时，也可以只有部分摄像头设置在外置配件上，剩余的摄像头设置在电子设备100本体上，本申请实施例对此不进行任何限制。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

内部存储器121还可以存储本申请实施例提供的图像处理方法的软件代码，当处理器110运行所述软件代码时，执行图像处理方法的流程步骤，得到清晰度较高的图像。

内部存储器121还可以存储拍摄得到的图像。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐等文件保存在外部存储卡中。

当然，本申请实施例提供的图像处理方法的软件代码也可以存储在外部存储器中，处理器110可以通过外部存储器接口120运行所述软件代码，执行图像处理方法的流程步骤，得到清晰度较高的图像。电子设备100拍摄得到的图像也可以存储在外部存储器中。

应理解，用户可以指定将图像存储在内部存储器121还是外部存储器中。比如，电子设备100当前与外部存储器相连接时，若电子设备100拍摄得到1帧图像时，可以弹出提示信息，以提示用户将图像存储在外部存储器还是内部存储器；当然，还可以有其他指定方式，本申请实施例对此不进行任何限制；或者，电子设备100检测到内部存储器121的内存量小于预设量时，可以自动将图像存储在外部存储器中。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构，本申请实施例以分层架构为例，示例性地描述电子设备100的软件系统。

如图10所示，采用分层架构的软件系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，软件系统可以分为五层，从上至下分别为应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机、图库应用程序，还可以包括日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层210的应用程序提供应用程序访问接口和编程框架。

例如，应用框架层包括相机访问接口，该相机访问接口用于通过相机管理和相机设备来提供相机的拍摄服务。

应用框架层中的相机管理用于管理相机。相机管理可以获取相机的参数，例如判断相机的工作状态等。

应用框架层中的相机设备用于提供不用相机设备以及相机管理之间的数据访问接口。

硬件抽象层430用于将硬件抽象化。比如，硬件抽象层可以包相机硬件抽象层以及其他硬件设备抽象层；相机硬件抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。

驱动层440用于为不同的硬件设备提供驱动。比如，驱动层可以包括相机驱动；数字信号处理器驱动以及图形处理器驱动。

硬件层450可以包括传感器、图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。其中，传感器可以包括传感器1、传感器2等，还可以包括深度传感器(timeof flight，TOF)和多光谱传感器。

下面结合显示拍照场景，示例性说明电子设备100的软件系统的工作流程。

当用户在触摸传感器180K上进行单击操作时，相机APP被单击操作唤醒后，通过相机访问接口调用相机硬件抽象层的各个相机设备。示例性的，相机硬件抽象层判断出当前变焦倍数处于[0.6，0.9]变焦倍数范围之间，由此，可以通过向相机设备驱动下发调用广角摄像头和主摄摄像头的指令，同时相机算法库开始加载本申请实施例所利用的网络模型中的算法。

当硬件层的传感器被调用后，例如，调用广角摄像头中的传感器1获取第一图像，主摄摄像头中的传感器2获取第二图像后，将第一图像和第二图像发送给图像信号处理进行配准等初步处理，处理后经相机设备驱动返回硬件抽象层，再利用加载的相机算法库中的算法进行处理，例如利用分割模型、第一融合模型、第二融合模型和第三融合模型按照本申请实施例提供的相关处理步骤进行处理，得到拍摄图像。其中，分割模型、第一融合模型、第二融合模型和第三融合模型可以通过数字信号处理器驱动调用数字信号处理器、图形处理器驱动调用图形处理器进行处理。

将得到的拍摄图像经相机硬件抽象层、相机访问接口发送回相机应用进行显示和存储。

图11为本申请实施例提供的一种图像处理装置的结构示意图。如图11所示，该图像处理装置300包括获取模块310和处理模块320。

该图像处理装置300可以执行以下方案：

获取模块310，用于采集第一图像和第二图像，第一图像的清晰度低于第二图像的清晰度，第一图像包括第一区域，第一区域为第一图像中清晰度小于预设阈值的区域。

处理模块320，用于将第一图像输入分割模型，确定是否得到掩膜块，其中，分割模型用于对第一图像中的第一区域进行分割，并生成与第一区域对应的掩膜块，第一区域用于表示第一图像中缺失细节的区域。

处理模块320还用于将第一图像和第二图像利用第一融合模型进行融合，得到第一融合图像。

当得到掩膜块时，处理模块320还用于根据掩膜块，确定第一图像中的第一图像块，确定第二图像中的第二图像块，并将第一图像块和第二图像块利用第二融合模型进行融合，得到融合图像块。

处理模块320还用于将第一融合图像与融合图像块，利用第三融合模型进行融合，得到拍摄图像。

可选地，作为一个实施例，当没得到掩膜块时，处理模块320将将第一图像和第二图像利用第一融合模型进行融合，得到第一融合图像。

可选地，作为一个实施例，处理模块320还用于对第一图像和第二图像进行配准。

可选地，作为一个实施例，处理模块320还用于对第一图像块和第二图像块进行配准。

配准包括：全局配准和/或局部配准，全局配准用于表示将多个图像中的全部内容进行配准，局部配准用于表示将多个图像中的局部内容进行配准。

可选地，作为一个实施例，处理模块320还用于利用训练图像集，并加入随机高光噪声，对第一融合模型进行训练，得到第二融合模型，其中，训练图像集包括原始图像，原始图像标注有掩膜块。

可选地，作为一个实施例，述第三融合模型为拉普拉斯融合模型。

需要说明的是，上述图像处理装置300以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供另一种电子设备，包括摄像头模组、处理器和存储器。

摄像头模组，用于获取第一图像和第二图像，第一图像和第二图像为对相同的待拍摄场景拍摄的图像，第一图像的清晰度低于第二图像的清晰度。

存储器，用于存储可在处理器上运行的计算机程序。

处理器，用于执行如上述所述的图像处理方法中进行处理的步骤。

可选地，摄像头模组包括广角摄像头、主摄摄像头和长焦摄像头；广角摄像头，用于在处理器获取拍照指令后，获取第一图像；主摄摄像头，用于在处理器获取拍照指令后，获取第二图像；或者，主摄摄像头，用于在处理器获取所述拍照指令后，获取第一图像；长焦摄像头，用于在处理器获取拍照指令后，获取第二图像。

严格来说，是通过彩色摄像头和黑白摄像头中的图像处理器来获取图像。其中，图像传感器例如可以为电荷耦合元件(charge-coupled device，CCD)、互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)等。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在图像处理装置上运行时，使得该图像处理装置执行如图3和/或图4所示的方法。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种包含计算机指令的计算机程序产品，当其在图像处理装置上运行时，使得图像处理装置可以执行图3和/或图4所示的方法。

图12为本申请实施例提供的一种芯片的结构示意图。图12所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器401。其中，处理器401用于支持图像处理装置执行图3和/或图4所示的技术方案。

可选的，该芯片还包括收发器402，收发器402用于接受处理器401的控制，用于支持通信装置执行图3和/或图4所示的技术方案。

可选的，图12所示的芯片还可以包括：存储介质403。

需要说明的是，图12所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

上述本申请实施例提供的电子设备、图像处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。

应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，应用于包括第一摄像头和第二摄像头的电子设备，所述方法包括：

所述电子设备启动相机；

显示预览界面，所述预览界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，所述第一摄像头采集第一图像和所述第二摄像头采集第二图像，所述第一图像的清晰度低于所述第二图像的清晰度，所述第一图像包括第一区域，所述第一区域为所述第一图像中清晰度小于预设阈值的区域；

根据所述第一图像得到掩膜块，所述掩膜块与第一区域对应；

将所述第一图像和所述第二图像进行融合，得到第一融合图像；

根据所述掩膜块，确定所述第一图像中的第一图像块和确定所述第二图像中的第二图像块，所述第一图像块与所述掩膜块对应，所述第二图像块与所述掩膜块对应；

将所述第一图像块和所述第二图像块进行融合，得到融合图像块；

将所述第一融合图像与所述融合图像块进行融合，得到第三图像。

2.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一图像得到掩膜块，包括：

将所述第一图像输入分割模型进行分割，并生成所述掩膜块；所述分割模型用于对所述第一图像中的所述第一区域进行分割，并生成与所述第一区域对应的所述掩膜块。

3.根据权利要求1或2所述的图像处理方法，其特征在于，将所述第一图像和所述第二图像进行融合，得到第一融合图像，包括：

将所述第一图像和所述第二图像利用第一融合模型进行融合，得到所述第一融合图像。

4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，将所述第一图像块和所述第二图像块进行融合，得到融合图像块，包括：

将所述第一图像块和所述第二图像块利用第二融合模型进行融合，得到所述融合图像块。

5.根据权利要求1-4任一项所述的图像处理方法，其特征在于，将所述第一融合图像和所述融合图像块进行融合，得到第三图像，包括：

将所述第一融合图像和所述融合图像块利用第三融合模型进行融合，得到所述第三图像。

6.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述方法还包括：

当根据所述第一图像没得到所述掩膜块时，将所述第一图像和所述第二图像利用所述第一融合模型进行融合，得到所述第一融合图像。

7.根据权利要求3或6所述的图像处理方法，其特征在于，所述方法还包括：

对所述第一图像和所述第二图像进行配准。

8.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：对所述第一图像块和所述第二图像块进行配准。

9.根据权利要求7或8所述的图像处理方法，其特征在于，所述配准包括：全局配准和/或局部配准，所述全局配准用于表示将多个图像中的全部内容进行配准，所述局部配准用于表示将多个图像中的局部内容进行配准。

10.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：

利用训练图像集，并加入随机高光噪声，对所述第一融合模型进行训练，得到所述第二融合模型，其中，所述训练图像集包括原始图像，所述原始图像标注有掩膜块。

11.根据权利要求5所述的图像处理方法，其特征在于，所述第三融合模型为拉普拉斯融合模型。

12.一种电子设备，其特征在于，包括摄像头模组、处理器和存储器；

所述摄像头模组，用于采集第一图像和第二图像，所述第一图像的清晰度低于所述第二图像的清晰度，所述第一图像包括第一区域，所述第一区域为所述第一图像中清晰度小于预设阈值的区域；

所述存储器，用于存储可在所述处理器上运行的计算机程序；

所述处理器，用于执行如权利要求1至11中任一项所述的图像处理方法中进行处理的步骤。

13.根据权利要求12所述的电子设备，其特征在于，所述摄像头模组包括广角摄像头、主摄摄像头和长焦摄像头；

所述广角摄像头，用于在所述处理器获取拍照指令后，获取所述第一图像；

所述主摄摄像头，用于在所述处理器获取所述拍照指令后，获取所述第二图像，或者；

所述主摄摄像头，用于在所述处理器获取所述拍照指令后，获取所述第一图像；

所述长焦摄像头，用于在所述处理器获取所述拍照指令后，获取所述第二图像。

14.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至11中任一项所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至11中任一项所述的图像处理方法。

Images