CN116437198A - 图像处理方法与电子设备 - Google Patents

Abstract

本申请涉及图像处理领域，提供了一种图像处理方法与电子设备，该方法应用于电子设备，电子设备包括第一相机模组与第二相机模组，第一相机模组为近红外相机模组或者红外相机模组，该方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取第一图像与第二图像；对第一图像进行第一图像处理，得到第三图像；对第二图像进行第二图像处理，得到第四图像；基于至少两个掩膜对第三图像与第四图像进行融合处理，得到融合图像，至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项。基于本申请的方案，能够避免主摄像头相机模组获取的图像中存在部分图像细节信息丢失的问题，提高图像质量。

Description

图像处理方法与电子设备

技术领域

本申请涉及图像处理领域，具体地，涉及一种图像处理方法与电子设备。

背景技术

随着多媒体技术和网络技术的飞速发展和广泛应用，人们在日常生活和生产活动中大量的使用图像信息。在一些拍照场景中，例如，光照条件较差的拍摄场景中，比如，夜晚场景或者浓雾场景中，由于拍摄场景的光线条件较差，电子设备的进光量较少，导致主摄像头相机模组获取的图像中存在部分图像细节信息丢失的问题；为了提高图像质量，通常可以采用图像增强处理；图像增强处理是一种用于增强图像中的有用信息，改善图像的视觉效果的方法。

因此，如何对主摄像头相机模组获取的图像进行图像增强，提高图像质量成为一个亟需解决的问题。

发明内容

本申请提供了一种图像处理方法与电子设备，能够对主摄像头相机模组获取的图像进行图像增强，提高图像质量。

第一方面，提供了一种图像处理方法，应用于电子设备，所述电子设备包括第一相机模组与第二相机模组，所述第一相机模组为近红外相机模组或者红外相机模组，所述图像处理方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取第一图像与第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像，所述第一图像与所述第二图像为第一颜色空间的图像；

对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为第二颜色空间的图像；

对所述第二图像进行第二图像处理，得到所述第二颜色空间的第四图像；

基于至少两个掩膜对所述第三图像与所述第四图像进行融合处理，得到融合图像，其中，所述至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项，所述第一掩膜用于标记所述第三图像中清晰度优于所述第四图像的图像区域，所述第二掩膜用于标记所述第三图像中的鬼影区域，所述第三掩膜用于标记所述第三图像中目标类别的拍摄对象所在的图像区域，所述融合图像的细节信息优于所述第二图像的细节信息。

在一种可能的实现方式中，第二相机模组可以为可见光相机模组(例如，获取的光谱范围为400nm～700nm)，或者第二相机模组为其他可以获取可见光的相机模组。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第一相机模组为近红外相机模组或者红外相机模组；通过第一相机模组可以采集第一图像，通过第二相机模组可以采集第二图像；对第一图像与第二图像分别进行图像处理，可以得到第三图像与第四图像；基于至少两个掩膜可以对第三图像与第四图像进行融合处理，得到融合图像；由于第三图像为近红外图像或者红外图像，因此第三图像中可以包括第四图像中无法获取的信息，通过对第三图像与第四图像进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；此外，在本申请的实施例中，是基于至少两个掩膜对第三图像与第四图像进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；从而实现对第二相机模组获取(例如，主摄像头相机模组)的第二图像进行图像增强，增强图像中的细节信息，提高图像质量。

应理解，在本申请的实施例中，由于第三图像中并非所有像素点的清晰度均优于第四图像；通过第一掩膜(例如，清晰度掩膜)可以从第三图像中获取清晰度优于第四图像的图像区域；将该图像区域与第四图像进行融合，从而能够提高融合图像的清晰度。

应理解，在本申请的实施例中，由于第三图像与第四图像中可能存在部分区域可能无法配准；通过第二掩膜(例如，鬼影掩膜)可以剔除第三图像中无法与第四图像配准的区域；从而能够有效地避免融合图像中出现鬼影。

应理解，在本申请的实施例中，由于近红外光对不同类别的物体反射率不同，从而导致对于不同的物体第三图像中包括的细节信息不同；因此，根据第三掩膜(例如，语义分割掩膜)可以从第三图像中获取目标类别(例如，绿色植物、远山等)的拍摄对象所在的图像区域；通过该图像区域与第四图像进行融合处理，能够提高融合图像中的局部细节信息。

在一种可能的实现方式中，第一颜色空间可以是指Raw颜色空间。

在一种可能的实现方式中，第二颜色空间可以是指YUV颜色空间。

在本申请的实施例中，第三图像与第四图像可以是指YUV颜色空间的图像，可以在YUV颜色空间进行融合处理；由于YUV颜色空间进行融合处理时对算例的需求较小，因此，在YUV颜色空间基于至少两个掩膜对第三图像与第四图像进行融合处理，能够提高融合处理的效率。

结合第一方面，在第一方面的某些实现方式中，所述基于至少两个掩膜对所述第三图像与所述第四图像进行融合处理，得到融合图像，包括：

根据所述至少两个掩膜的交集得到目标掩膜；

根据所述目标掩膜对所述第三图像与所述第四图像进行融合处理，得到所述融合图像。

在一种可能的实现方式中，可以根据至少两个掩膜的交集得到目标掩膜；根据目标掩膜可以获取第三图像中的局部图像区域；将第三图像中的局部图像区域与第四图像进行融合处理，得到融合图像。

结合第一方面，在第一方面的某些实现方式中，所述对所述第一图像进行第一图像处理，得到第三图像，包括：

将所述第一图像转换至所述第二颜色空间，得到第五图像；

以所述第四图像为基准对所述第五图像进行全局配准处理，得到第六图像；

以所述第四图像为基准对所述第六图像进行局部配准处理，得到所述第三图像。

在本申请的实施例中，可以对第五图像进行全局配准处理得到第六图像；进一步，可以对第六图像区域进行局部配准处理，使得第三图像与第四图像实现配准；从而能够避免第三图像与第四图像融合处理时，由于未完全配准导致融合图像中出现鬼影区域。

在一种可能的实现方式中，可以以第三图像为基准，对第四图像进行全局配准与局部配准处理。

结合第一方面，在第一方面的某些实现方式中，所述以所述第四图像为基准对所述第五图像进行全局配准处理，得到第六图像，包括：

对所述第四图像进行深度估计，得到深度信息，所述深度信息用于表示所述第四图像中的拍摄对象与所述电子设备的距离；

基于所述深度信息，筛选所述第四图像中满足预设条件的目标特征点；

以所述目标特征点为基准对所述第五图像进行全局配准处理，得到所述第六图像。

在本申请的实施例中，可以基于深度信息进行全局配准处理；由于第三图像(例如，NIR图像)与第四图像(例如，RGB图像)相比并非所有的像素位置均具有较好的效果；例如，对于拍摄对象中的近景，第三图像中的细节信息低于第四图像中的细节信息；若从第三图像中提取较多近景对应的特征点，可能导致第三图像中的远景与第四图像无法配准，使得融合图像中容易出现鬼影问题；因此，在对第三图像进行全局配准时，可以基于深度信息从第四图中选取远景的目标特征点；以第四图像中的目标特征点为基准对第三图像进行全局配准处理；从而提高全局配准的准确性。

结合第一方面，在第一方面的某些实现方式中，所述预设条件为所述拍摄对象与所述电子设备的距离大于第一预设阈值。

结合第一方面，在第一方面的某些实现方式中，所述以所述第四图像为基准对所述第六图像进行局部配准处理，得到所述第三图像，包括：

以所述第四图像对应的亮度通道图像为基准，对所述第六图像进行局部配准处理，得到所述第三图像。

在本申请的实施例中，由于第六图像(例如，全局配准后的NIR图像)与第四图像(例如，RGB图像)的亮度可能差别较大；通过对第六图像进行局部配准处理，即可以对第六图像进行亮度处理，使得第三图像与第四图像的亮度接近；由于第三图像与第四图像的亮度接近，因此在对第三图像与第四图像进行融合处理时，能够有效地降低融合图像出现颜色失真的问题。

结合第一方面，在第一方面的某些实现方式中，所述以所述第四图像为基准对所述第六图像进行局部配准处理，得到所述第三图像，包括：

根据所述第四图像的高频信息与所述第六图像的高频信息的并集，得到第七图像；

基于所述第七图像确定所述第四图像中的第一图像区域；

基于所述第七图像确定所述第六图像中的第二图像区域；

以所述第一图像区域为基准对所述第二图像区域进行所述局部配准处理，得到所述第三图像。

在本申请的实施例中，由于第六图像的高频信息与第四图像的高频可能存在差异，即第六图像中拍摄对象的边缘区域与第四图像中拍摄对象的边缘区域可能存在差异；因此，可以对第六图像的边缘区域进行局部配准处理，从而能够有效地减少融合图像中的边缘区域出现鬼影。

在一种可能的实现方式中，第一颜色空间可以是指Raw颜色空间。

在一种可能的实现方式中，第二颜色空间可以是指YUV颜色空间。

在本申请的实施例中，第三图像与第四图像可以是指YUV颜色空间的图像，可以在YUV颜色空间进行融合处理；由于YUV颜色空间进行融合处理时对算例的需求较小，因此，在YUV颜色空间基于至少两个掩膜对第三图像与第四图像进行融合处理，能够提高融合处理的效率。

结合第一方面，在第一方面的某些实现方式中，所述至少两个掩膜为所述第一掩膜与所述第三掩膜。

结合第一方面，在第一方面的某些实现方式中，所述至少两个掩膜为所述第一掩膜、所述第二掩膜与所述第三掩膜。

结合第一方面，在第一方面的某些实现方式中，所述电子设备还包括红外闪光灯，所述图像处理方法还包括：

在暗光场景下，开启所述红外闪光灯，所述暗光场景是指所述电子设备所处的拍摄环境的环境亮度小于第二预设阈值；

所述响应于所述第一操作，获取第一图像与第二图像，包括：

在开启所述红外闪光灯的情况下，获取所述第一图像与所述第二图像。

在本申请的实施例中，可以开启电子设备中的红外闪光灯；由于电子设备中可以包括第一相机模组与第二模组，在红外闪光灯开启的情况下，拍摄对象的反射光增加，使得第一相机模组的进光量增加；由于第一相机模组的进光量增加，通过第一相机模组采集的第一图像中包括的细节信息增加；通过本申请实施例的图像处理方法对第一相机模组与第二相机模组采集的图像进行融合处理，能够对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。此外，红外闪光灯是用户无法感知的，在用户无感知的情况下，提高图像中的细节信息。

结合第一方面，在第一方面的某些实现方式中，所述第一界面包括第二控件；所述在暗光场景下，开启所述红外闪光灯，包括：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

可选地，第一操作可以是指对拍照界面中指示拍照的控件的点击操作。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

可选地，第一操作可以是指对视频录制界面中指示录制视频的控件的点击操作。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

可选地，第一操作可以是指对视频通话界面中指示视频通话的控件的点击操作。

应理解，上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本申请作任何限定。

第二方面，提供了一种电子设备，所述电子设备包括一个或多个处理器、存储器、第一相机模组与第二相机模组；所述第一相机模组为近红外相机模组或者红外相机模组，所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取第一图像与第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像；

对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为第一颜色空间的图像；

对所述第二图像进行第二图像处理，得到所述第二颜色空间的第四图像；

基于至少两个掩膜对所述第三图像与所述第四图像进行融合处理，得到融合图像，其中，所述至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项，所述第一掩膜用于标记所述第三图像中清晰度优于所述第四图像的图像区域，所述第二掩膜用于标记所述第三图像中的鬼影区域，所述第三掩膜用于标记所述第三图像中目标类别的拍摄对象所在的图像区域，所述融合图像的细节信息优于所述第二图像的细节信息。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

根据所述至少两个掩膜的交集得到目标掩膜；

根据所述目标掩膜对所述第三图像与所述第四图像进行融合处理，得到所述融合图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

将所述第一图像转换至第二颜色空间，得到第五图像；

以所述第四图像为基准对所述第五图像进行全局配准处理，得到第六图像；

以所述第四图像为基准对所述第六图像进行局部配准处理，得到所述第三图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

对所述第四图像进行深度估计，得到深度信息，所述深度信息用于表示所述第四图像中的拍摄对象与所述电子设备的距离信息；

基于所述深度信息，筛选所述第四图像中满足预设条件的目标特征点；

以所述目标特征点为基准对所述第五图像进行全局配准处理，得到所述第六图像。

结合第二方面，在第二方面的某些实现方式中，所述预设条件为所述拍摄对象与所述电子设备的距离大于第一预设阈值。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

以所述第四图像对应的亮度通道图像为基准，对所述第六图像进行局部配准处理，得到所述第三图像。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

根据所述第四图像的高频信息与所述第六图像的高频信息的并集，得到第七图像；

基于所述第七图像确定所述第四图像中的第一图像区域；

基于所述第七图像确定所述第六图像中的第二图像区域；

以所述第一图像区域为基准对所述第二图像区域进行所述局部配准处理，得到所述第三图像。

结合第二方面，在第二方面的某些实现方式中，所述至少两个掩膜为所述第一掩膜与所述第三掩膜。

结合第二方面，在第二方面的某些实现方式中，所述至少两个掩膜为所述第一掩膜、所述第二掩膜与所述第三掩膜。

结合第二方面，在第二方面的某些实现方式中，所述电子设备还包括红外闪光灯，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

在暗光场景下，开启所述红外闪光灯，所述暗光场景是指所述电子设备所处的拍摄环境的环境亮度小于第二预设阈值；

在开启所述红外闪光灯的情况下，获取所述第一图像与所述第二图像。

结合第二方面，在第二方面的某些实现方式中，所述第一界面包括第二控件；所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

结合第二方面，在第二方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

结合第二方面，在第二方面的某些实现方式中，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

结合第二方面，在第二方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中任一种图像处理方法的模块/单元。

第四方面，提供一种电子设备，所述电子设备包括一个或多个处理器、存储器、第一相机模组与第二相机模组；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种方法。

第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种方法。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中的任一种方法。

第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一面中的任一种方法。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第一相机模组为近红外相机模组或者红外相机模组；通过第一相机模组可以采集第一图像，通过第二相机模组可以采集第二图像；对第一图像与第二图像分别进行图像处理，可以得到第三图像与第四图像；基于至少两个掩膜可以对第三图像与第四图像进行融合处理，得到融合图像；由于第三图像为近红外图像或者红外图像，因此第三图像中可以包括第四图像中无法获取的信息，通过对第三图像与第四图像进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；此外，在本申请的实施例中，是基于至少两个掩膜对第三图像与第四图像进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；从而实现对第二相机模组获取(例如，主摄像头相机模组)的第二图像进行图像增强，增强图像中的细节信息，提高图像质量。

附图说明

图1是一种适用于本申请的电子设备的硬件系统的示意图；

图2是一种适用于本申请的电子设备的电子设备的软件系统的示意图；

图3是一种适用于本申请实施例的应用场景的示意图；

图4是一种适用于本申请实施例的应用场景的示意图；

图5是本申请实施例提供的图像处理方法的示意性流程图；

图6是本申请实施例提供的图像处理方法的示意性流程图；

图7是本申请实施例提供的图像处理方法的示意性流程图；

图8是本申请实施例提供的图像处理方法的示意性流程图；

图9是本申请实施例提供的目标掩膜的示意图；

图10是本申请实施例提供的一种全局配准方法的示意性流程图；

图11是本申请实施例提供的一种局部配准方法的示意性流程图；

图12是本申请实施例提供的一种局部配准方法的示意性流程图；

图13是根据是本申请实施例提供的图像处理方法的效果示意图；

图14是一种适用于本申请实施例的图形用户界面的示意图；

图15是一种适用于本申请实施例的拍摄场景的光路示意图；

图16是本申请实施例提供的一种电子设备的结构示意图；

图17是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

在本申请的实施例中，以下术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。

1、近红外光(near infrared，NIR)

近红外光是指介于可见光与中红外光之间的电磁波；可以将近红外光区划分为近红外短波(780nm～1100nm)和近红外长波(1100nm～2526nm)两个区域。

2、主摄相机模组

主摄相机模组是指接收光谱范围为可见光的相机模组；例如，主摄相机模组中包括的传感器接收的光谱范围为400nm～700nm。

3、近红外相机模组

近红外相机模组是指接收光谱范围为近红外光的相机模组；例如，近红外相机模组中包括的传感器接收的光谱范围为700nm～1100nm。

4、图像的高频信息

图像的高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

5、图像的低频信息

图像的低频信息是指图像中灰度值变化缓慢的区域；对于一幅图像而言，除去高频信息外的部分为低频信息；例如，图像的低频信息可以包括物体边缘以内的内容信息。

6、图像配准(Image registration)

图像配准是指就是将不同时间、不同传感器(成像设备)或者不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。

7、亮度值(Lighting Value，LV)

亮度值用于估计环境亮度，其具体计算公式如下：

其中，Exposure为曝光时间；Aperture为光圈大小；Iso为感光度；Luma为图像在XYZ空间中，Y的平均值。

8、特征点

图像处理中，(例如，两个边缘的交点)。

9、颜色校正矩阵(color correctionmatrix，CCM)

颜色校正矩阵用于校准除白色以外其他颜色的准确度。

10、三维查找表(Threedimensionlook up table，3DLUT)

三维查找表广泛应用于图像处理；例如，查找表可以用于图像颜色校正、图像增强或者图像伽马校正等；例如，可以在图像信号处理器中加载LUT，根据LUT表可以对原始图像进行图像处理，实现原始图像帧的像素值映射改变图像的颜色风格，从而实现不同的图像效果。

11、全局色调映射(Global tone Mapping，GTM)

全局色调映射用于解决高动态图像的灰度值分布不均匀的问题。

12、伽马处理

伽马处理用于通过调整伽马曲线来调整图像的亮度、对比度与动态范围等。

13、神经网络

神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

14、反向传播算法

神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。

下面将结合附图，对本申请实施例中图像处理方法与电子设备进行描述。

图1示出了一种适用于本申请的电子设备的硬件系统。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

示例性地，处理器110可以用于执行本申请实施例的图像处理方法；例如，显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取第一图像与第二图像，第一图像为第一相机模组采集的图像，第二图像为第二相机模组采集的图像，第一图像与第二图像为第一颜色空间的图像；对第一图像进行第一图像处理，得到第三图像，第三图像为第二颜色空间的图像；对第二图像进行第二图像处理，得到第二颜色空间的第四图像；基于至少两个掩膜对第三图像与第四图像进行融合处理，得到融合图像，其中，至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项，第一掩膜用于标记第三图像中清晰度优于第四图像的图像区域，第二掩膜用于标记第三图像中的鬼影区域，第三掩膜用于标记第三图像中目标类别的拍摄对象所在的图像区域，融合图像的细节信息优于第二图像的细节信息。

图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

上文详细描述了电子设备100的硬件系统，下面介绍图像电子设备100的软件系统。

图2是本申请实施例提供的装置的软件系统的示意图。

如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机应用程序、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架；应用框架层可以包括一些预定义的函数。

例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法库中的算法。

例如，相机算法库中可以包括用于图像处理的软件算法。

驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动；数字信号处理器驱动、图形处理器驱动或者中央处理器驱动。

硬件层250可以包括相机设备以及其他硬件设备。

例如，硬件层250包括相机设备、数字信号处理器、图形处理器或者中央处理器；示例性地，相机设备中可以包括图像信号处理器，图像信号处理器可以用于图像处理。

目前，终端设备上的主摄像头相机模组获取的光谱范围为可见光(400nm～700nm)；在一些拍照场景中，例如，光照条件较差的拍摄场景中；比如，夜晚场景或者浓雾场景中，由于拍摄场景的光线条件较差，电子设备的进光量较少，导致主摄像头相机模组获取的图像中存在部分图像细节信息丢失的问题。

有鉴于此，本申请的实施例提供了一种图像处理方法，该图像处理方法可以应用于电子设备；电子设备中可以包括第一相机模组与第二相机模组，其中，第一相机模组为近红外相机模组或者红外相机模组；通过第一相机模组可以采集第一图像，通过第二相机模组可以采集第二图像；对第一图像与第二图像分别进行图像处理，可以得到第三图像与第四图像；基于至少两个掩膜可以对第三图像与第四图像进行融合处理，得到融合图像；由于第三图像为近红外图像或者红外图像，因此第三图像中可以包括第四图像中无法获取的信息，通过对第三图像与第四图像进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；此外，在本申请的实施例中，是基于至少两个掩膜对第三图像与第四图像进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；从而实现对第二相机模组获取(例如，主摄像头相机模组)的第二图像进行图像增强，增强图像中的细节信息，提高图像质量。

下面结合图3对本申请实施例提供的图像处理方法的应用场景进行举例说明。

示例性地，本申请实施例中的图像处理方法可以应用于拍照领域(例如，单景拍照、双景拍照等)、录制视频领域、视频通话领域或者其他图像处理领域；由于本申请实施例中采用的是双相机模组，双相机模组包括可以获取近红外光的第一相机模组(例如，近红外相机模组，或者，红外相机模组)与可以获取可见光的第二相机模组；通过基于至少两个掩膜(例如，清晰度掩膜、鬼影掩膜或者语音分割掩膜)可以对可见光图像与近红外光图像进行图像处理与融合处理，得到画质增强的图像；通过本申请实施例中的图像处理方法对图像进行处理，能够增强图像中的细节信息，提高图像质量。

在一个示例中，如图3所示，本申请实施例应用于阳光下拍摄风景(例如，云雾场景)时，由于近红外相机模组可以获取的光谱范围为近红外光，与可见光光谱范围相比近红外相机模组可以获取的光谱的波长较长，因此绕射能力较强，例如，波长较长的光谱的穿透性更强，采集的图像的画面通透感更强；通过主摄像头相机模组与近红外相机模组采集图像，通过本申请实施例提供的图像处理方法对两个相机模组采集的图像进行融合处理，得到的融合图像，如图3所示；图3所示的融合图像的细节信息较丰富，可以清晰的显示山脉的细节信息；通过本申请实施例提供的图像处理方法可以对主摄像头模组获取的图像进行图像增强，增强图像中的细节信息。

示例性地，图3所示的终端设备可以包括第一相机模组、第二相机模组以及红外闪光灯；其中，第一相机模组可以获取的光谱范围为近红外光(700nm～1100nm)；第二相机模组可以获取的光谱范围包括但不限于可见光(400nm～700nm)。

在一个示例中，本申请实施例应用于包括绿色景物的场景拍照时，对于进光量较少的暗光区域，由于近红外光对绿色景物的反射率较高，因此通过主摄像头相机模组与近红外相机模组拍摄得到的绿色景物的细节信息更多，能够增强图像中暗光区域中绿色景物的细节信息。

在一个示例中，本申请实施例提供的图像处理方法可以应用于夜景人像拍摄；在夜景人像拍摄时，可以开启电子设备中的红外闪光灯；例如，人像可以包括拍摄对象面部的脸、眼睛、鼻子、嘴巴、耳朵、眉毛等；由于电子设备中包括主摄像头相机模组与近红外相机模组，在红外闪光灯开启的情况下，拍摄对象的反射光增加，使得近红外相机模组的进光量增加；从而使得通过近红外相机模组拍摄的人像的细节信息增加，通过本申请实施例的图像处理方法对主摄像头相机模组与近红外相机模组采集的图像进行融合处理，能够对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。此外，红外闪光灯是用户无法感知的，在用户无感知的情况下，提高图像中的细节信息。

可选地，在本申请的实施例中，电子设备在检测到食物或者人像时可以关闭近红外相机模组。

例如，在食物拍摄场景中可以包括多个食物，近红外相机模组可以采集多个食物中部分食物的图像；例如，多个食物可以为桃子、苹果或者西瓜等，近红外相机模组可以采集桃子和苹果的图像，且不采集西瓜的图像。

可选地，近红外相机模组可以显示提示信息，提示用于是否开启近红外相机模组；在用户授权开启近红外相机模组后，近红外相机模组才能够开启采集图像。

在一个示例中，本申请实施例中的图像处理方法可以应用于折叠屏终端设备中；例如，折叠屏终端设备可以包括外屏与内屏；在折叠屏终端设备的外屏与内屏之间的夹角为零度时，可以在外屏上显示预览图像，如图4中的(a)所示；在折叠屏终端设备的外屏与内屏之间的夹角为锐角时，可以在外屏上显示预览图像，如图4中的(b)所示；在折叠屏终端设备的外屏与内屏之间的夹角为钝角时，可以在内屏上的一侧显示预览图像，另一侧显示用于指示拍摄的控件，如图4中的(c)所示；在折叠屏终端设备的外屏与内屏之间的夹角为180度时，可以在内屏上显示预览图像，如图4中的(d)所示；上述预览图像可以是通过本申请实施例提供的图像处理方法对采集的图像进行处理得到的。示例性地，图4所示的折叠屏终端设备可以包括第一相机模组、第二相机模组以及红外闪光灯；其中，第一相机模组可以获取的光谱范围为可见光(400nm～700nm)；第一相机模组为近红外相机模组或者红外相机模组；第二相机模组可以为可见光相机模组，或者，其他可以获取但不限于可见光的相机模组。

应理解，上述为对本申请实施例的应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合图5至图15对本申请实施例提供的图像处理方法进行详细描述。

图5是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该方法200包括步骤S201至步骤S206，下面分别对步骤S201至步骤S206进行详细的描述。

应理解，图5所示的图像处理方法应用于电子设备，电子设备中包括第一相机模组与第二相机模组，第一相机模组获取的光谱为近红外相机模组或者红外相机模组(例如，获取的光谱范围为700nm～1100nm)。

可选地，第二相机模组可以为可见光相机模组(例如，获取的光谱范围为400nm～700nm)，或者第二相机模组为其他可以获取可见光的相机模组(例如，获取的光谱范围包括400nm～700nm)。

步骤S201、显示第一界面，第一界面包括第一控件。

可选地，第一界面可以是指电子设备的拍照界面，第一控件可以是指拍照界面中用于指示拍照的控件，如图3或者图4所示。

可选地，第一界面可以是指电子设备的视频录制界面，第一控件可以是指视频录制界面中用于指示录制视频的控件。

可选地，第一界面可以是指电子设备的视频通话界面，第一控件可以是指视频通话界面用于指示视频通话的控件。

步骤S202、检测到对第一控件的第一操作。

可选地，第一操作可以是指对拍照界面中指示拍照的控件的点击操作。

可选地，第一操作可以是指对视频录制界面中指示录制视频的控件的点击操作。

可选地，第一操作可以是指对视频通话界面中指示视频通话的控件的点击操作。

应理解，上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本申请作任何限定。

步骤S203、响应于第一操作，获取第一图像与第二图像。

其中，第一图像为第一相机模组采集的图像；第二图像为第二相机模组采集的图像；第一图像与第二图像为第一颜色空间的图像。

示例性地，响应于第一操作，第一相机模组可以采集第一图像，第二相机模组可以采集第二图像；例如，第一相机模组与第二相机模组可以同时采集图像。

可选地，第一颜色空间可以是指Raw颜色空间；第一图像与第二图像可以是指Raw颜色空间的图像。

例如，第一图像可以是指Raw颜色空间的NIR图像；第二图像可以是指Raw颜色空间的RGB图像。

应理解，在本申请的实施例中，Raw颜色空间的NIR图像可以是指NIRRaw；NIRRaw可以是指单通道的图像；NIR Raw图像用于表示光子叠加在一起的强度信息；例如，NIR Raw图像可以是在单通道的灰度图像。

步骤S204、对第一图像进行第一图像处理，得到第三图像。

其中，第三图像为第二颜色空间的图像。

可选地，第二颜色空间可以是指YUV颜色空间，或者其他颜色空间。

可选地，对第一图像进行第一图像处理，得到第三图像，包括：

将第一图像转换至第二颜色空间，得到第五图像；以第四图像为基准对第五图像进行全局配准处理，得到第六图像；以第四图像为基准对第六图像进行局部配准处理，得到第三图像。

在本申请的实施例中，由于第一相机模组与第二相机模组分别设置在电子设备中的不同位置，因此第一相机模组与第二相机模组之间存在一定的基线距离，即通过第一相机模组采集的图像与通过第二相机模组采集的图像之间存在一定的视差，通过全局配准处理与局部配准处理可以消除第三图像与第四图像之间的视差；从而在对第三图像与第四图像进行融合处理时，能够降低融合图像中的鬼影。

可选地，上述以第四图像为基准对第五图像进行全局配准处理，得到第六图像，包括：

对第四图像进行深度估计，得到深度信息，深度信息用于表示第四图像中的拍摄对象与所述电子设备的距离信息；基于深度信息，筛选第四图像中满足预设条件的目标特征点；以目标特征点为基准对第五图像进行全局配准处理，得到第六图像。

应理解，特征点是指图像灰度值发生剧烈变化的点，或者在图像边缘上曲率较大的点；目标特征点可以是指第四图像中满足预设条件的特征点。

例如，预设条件可以为拍摄对象与电子设备的距离大于第一预设阈值；即筛选第四图像中拍摄对象中远景对应的特征点作为目标特征点；以目标特征点为基准对第五图像进行全局配准处理。

应理解，全局配准处理是为了使得对第三图像与第四图像进行融合处理时，避免融合图像中出现鬼影区域；由于第三图像中拍摄对象的远景区域的图像细节优于第四图像中拍摄对象的远景区域的图像细节，第四图像中拍摄对象的近景区域的图像细节优于第三图像中拍摄对象的近景区域的图像细节；因此，可以从第三图像中选取远景区域对应的图像区域与第四图像进行融合；则对于第三图像进行全局配准时，可以不考虑第三图像中拍摄对象的近景区域，将第三图像中拍摄对象的远景区域与第四图像中拍摄对象的远景区域(例如，目标特征点对应的局部图像区域)进行配准处理，从而实现第三图像与第四图像的全局配准。

在本申请的实施例中，可以基于深度信息进行全局配准处理；由于第三图像(例如，NIR图像)与第四图像(例如，RGB图像)相比并非所有的像素位置均具有较好的效果；例如，对于拍摄对象中的近景，第三图像中的细节信息低于第四图像中的细节信息；若从第三图像中提取较多近景对应的特征点，可能导致第三图像中的远景与第四图像无法配准，使得融合图像中容易出现鬼影问题；因此，在对第三图像进行全局配准时，可以基于深度信息选取第四图像中的目标特征点；以第四图像中的目标特征点为基准对第三图像进行配准处理。

可选地，以第四图像为基准对第六图像进行局部配准处理，得到第三图像，包括：

以第四图像对应的亮度通道图像为基准，对第六图像进行局部配准处理，得到第三图像。

在本申请的实施例中，由于第六图像(例如，全局配准后的NIR图像)与第四图像(例如，RGB图像)的亮度可能差别较大；通过对第六图像进行局部配准处理，即可以对第六图像进行亮度处理，使得第三图像与第四图像的亮度接近；由于第三图像与第四图像的亮度接近，因此在对第三图像与第四图像进行融合处理时，能够有效地降低融合图像出现颜色失真的问题。

可选地，以第四图像为基准对第六图像进行局部配准处理，得到第三图像，包括：

根据第四图像的高频信息与第六图像的高频信息的并集，得到第七图像；基于第七图像确定第四图像中的第一图像区域；基于第七图像确定第六图像中的第二图像区域；以第一图像区域为基准对第二图像区域进行局部配准处理，得到第三图像。

在本申请的实施例中，由于第六图像的高频信息与第四图像的高频可能存在差异，即第六图像中拍摄对象的边缘区域与第四图像中拍摄对象的边缘区域可能存在差异；因此，可以对第六图像的边缘区域进行局部配准处理，从而能够有效地减少融合图像中的边缘区域出现鬼影。

步骤S205、对第二图像进行第二图像处理，得到第二颜色空间的第四图像。

可选地，可以将第二图像转换至第二颜色空间，得到第四图像。

示例性地，第二颜色空间可以是指YUV颜色空间，或者其他颜色空间。

可选地，第二图像处理可以包括ISP图像处理；ISP处理可以包括Raw算法处理、RGB算法处理或者YUV算法处理。

例如，Raw算法处理可以包括但不限于：

黑电平校正(blacklevelcorrection，BLC)、镜头阴影校正(lensshadingcorrection，LSC)、自动白平衡(autowhitebalance，AWB)或者去马赛克等。

其中，黑电平校正用于对黑电平进行校正处理；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能呈现出白色。

需要说明的是，上述以黑电平校正、镜头阴影校正、自动白平衡、去马赛克为例进行举例说明；本申请对Raw算法处理并不作任何限定。

例如，RGB算法处理包括但不限于：

颜色校正矩阵处理，或者三维查找表处理等。

其中，颜色校正矩阵(color correctionmatrix，CCM)，用于校准除白色以外其他颜色的准确度。三维查找表(Look Up Table，LUT)广泛应用于图像处理；例如，查找表可以用于图像颜色校正、图像增强或者图像伽马校正等；例如，可以在图像信号处理器中加载LUT，根据LUT表可以对原始图像进行图像处理，实现原始图像映射到其他图像的颜色风格，从而实现不同的图像效果。

需要说明的是，上述以颜色校正矩阵处理与三维查找表处理为例进行举例说明；本申请对RGB图像处理并不作任何限定。

例如，YUV算法处理包括但不限于：

全局色调映射处理或者伽马处理等。

其中，全局色调映射(Global tone Mapping，GTM)用于解决高动态图像的灰度值分布不均匀的问题。伽马处理用于通过调整伽马曲线来调整图像的亮度、对比度与动态范围等。

需要说明的是，上述以全局色调映射处理与伽马处理为例进行举例说明；本申请对YUV图像处理并不作任何限定。

步骤S206、基于至少两个掩膜对第三图像与第四图像进行融合处理，得到融合图像。

其中，至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项，第一掩膜用于标记第三图像中清晰度优于第四图像的图像区域，第二掩膜用于标记第三图像中的鬼影区域，第三掩膜用于标第三图像中目标类别的拍摄对象所在的图像区域，融合图像的细节信息优于第二图像的细节信息。

应理解，融合图像的细节信息优于第二图像的细节信息可以是指融合图像中的细节信息多于第二图像中的细节信息；或者，融合图像的细节信息优于第二图像的细节信息可以是指融合图像的清晰度优于第二图像的清晰度。也可以是其他情况，本申请不进行限定。例如，细节信息可以包括拍摄对象的边缘信息、纹理信息等(例如，发丝边缘，人脸细节，衣服褶皱、大量树木的每颗树木边缘，绿植的枝叶脉络等)。

应理解，在本申请的实施例中，由于第三图像中并非所有像素点的清晰度均优于第四图像；通过第一掩膜(例如，清晰度掩膜)可以从第三图像中获取清晰度优于第四图像的图像区域；将该图像区域与第四图像进行融合，从而能够提高融合图像的清晰度。

应理解，在本申请的实施例中，由于第三图像与第四图像中可能存在部分区域可能无法配准；通过第二掩膜(例如，鬼影掩膜)可以剔除第三图像中无法与第四图像配准的区域；从而能够有效地避免融合图像中出现鬼影。

应理解，在本申请的实施例中，由于近红外光对不同类别的物体反射率不同，从而导致对于不同的物体第三图像中包括的细节信息不同；因此，根据第三掩膜(例如，语义分割掩膜)可以从第三图像中获取目标类别(例如，绿色植物、远山等)的拍摄对象所在的图像区域；通过该图像区域与第四图像进行融合处理，能够提高融合图像中的局部细节信息。

可选地，至少两个掩膜为第一掩膜与第三掩膜；例如，可以获取清晰度掩膜与语义分割掩膜；基于清晰度掩膜与语义分割掩膜对第三图像与第四图像进行融合处理，得到融合图像。

可选地，至少两个掩膜为第一掩膜、第二掩膜与第三掩膜；可以获取清晰度掩膜、鬼影掩膜与语义分割掩膜；基于清晰度掩膜、鬼影掩膜与语义分割掩膜对第三图像与第四图像进行融合处理，得到融合图像。

可选地，第三图像与第四图像可以是指YUV颜色空间的图像，可以在YUV颜色空间进行融合处理；由于YUV颜色空间进行融合处理时对算例的需求较小，因此，在YUV颜色空间基于至少两个掩膜对第三图像与第四图像进行融合处理，能够提高融合处理的效率。

可选地，基于至少两个掩膜对第三图像与第四图像进行融合处理，得到融合图像，包括：

根据至少两个掩膜的交集得到目标掩膜；根据目标掩膜对第三图像与第四图像进行融合处理，得到融合图像。

例如，可以获取清晰度掩膜、鬼影掩膜与语义分割掩膜；根据清晰度掩膜、鬼影掩膜与语义分割掩膜的交集，得到目标掩膜；如图9所示，清晰度掩膜中像素为1的位置可以表示该区域第三图像的清晰度大于第四图像的清晰度的置信度为1；清晰度掩膜中像素为0的位置可以表示该区域第三图像的清晰度大于第四图像的清晰度的置信度为0；鬼影掩膜中像素为1的位置可以表示该区域为相对于第四图像为鬼影区域的置信度为1；鬼影掩膜中像素为0的位置可以表示该区域为相对于第四图像为鬼影区域的置信度为0；语义分割掩膜中像素为1的位置可以表示第三图像中该区域为目标类别的拍摄对象的置信度为1；语义分割掩膜中像素为0的位置可以表示第三图像中该区域为目标类别的拍摄对象的置信度为0；基于清晰度掩膜、鬼影掩膜与语义分割掩膜的交集，得到目标掩膜；例如，对于清晰度掩膜、鬼影掩膜与语义分割掩膜中均为1的区域，目标掩膜对应的该区域的像素值为1；对于清晰度掩膜、鬼影掩膜与语义分割掩膜中均为0的区域，目标掩膜对应的该区域的像素值为0；对于清晰度掩膜、鬼影掩膜与语义分割掩膜中部分为1的区域，目标掩膜对应的该区域的像素值为0。

可选地，可以根据目标掩膜获取第三图像中的局部图像区域；将第三图像的局部图像区域与第四图像进行融合处理，得到融合图像。

例如，将目标掩膜与第三图像进行逐像素相乘，基于目标掩膜中不同区域的像素值，可以确定第三图像中的局部图像区域；比如，可以得到目标掩膜的像素为1所在的图像区域对应的第三图像的局部图像区域；将第三图像的局部图像区域与第四图像进行融合处理，可以得到融合图像。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第一相机模组为近红外相机模组或者红外相机模组；通过第一相机模组可以采集第一图像，通过第二相机模组可以采集第二图像；对第一图像与第二图像分别进行图像处理，可以得到第三图像与第四图像；基于至少两个掩膜可以对第三图像与第四图像进行融合处理，得到融合图像；由于第三图像为近红外图像或者红外图像，因此第三图像中可以包括第四图像中无法获取的信息，通过对第三图像与第四图像进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；此外，在本申请的实施例中，是基于至少两个掩膜对第三图像与第四图像进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；从而实现对第二相机模组获取(例如，主摄像头相机模组)的第二图像进行图像增强，增强图像中的细节信息，提高图像质量。

图6是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该方法300包括步骤S301至步骤S306，下面分别对步骤S301至步骤S306进行详细的描述。

应理解，图6所示的图像处理方法可以应用于如图1所示的电子设备，该电子设备包括第一相机模组与第二相机模组；其中，第一相机模组为近红外相机模组，或者红外相机模组(例如，获取的光谱范围为700nm～1100nm)；第二相机模组可以为可见光相机模组，或者其他可以获取可见光的相机模组(例如，获取的光谱范围包括400nm～700nm)。

步骤S301、第一相机模组采集NIRRaw图像(第一图像的一个示例)。

其中，NIRRaw图像可以是指Raw颜色空间的NIR图像。

示例性地，第一相机模组可以是近红外相机模组，或者红外相机模组；第一相机模组可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为近红外光(700nm～1100nm)。

应理解，第一镜片可以是指滤光镜片；第一镜片可以用于吸收某些特定波段的光，让近红外光波段的光通过。

还应理解，在本申请的实施例中第一相机模组采集的NIRRaw图像可以是指单通道的图像；NIRRaw图像用于表示光子叠加在一起的强度信息；例如，NIRRaw图像可以是在单通道的灰度图像。

步骤S302、第二相机模组采集RGBRaw图像(第二图像的一个示例)。

其中，RGBRaw图像可以是指Raw颜色空间的RGB图像。

示例性地，第二相机模组可以为可见光相机模组，或者其他可以获取可见光的相机模组(例如，获取的光谱范围包括400nm～700nm)；第二相机模组可以包括第二镜片、第二镜头与图像传感器，第二镜片可以通过的光谱范围包括可见光(400nm～700nm)。

可选地，上述步骤S301与步骤S302可以是同步执行的；即第一相机模组与第二相机模组可以同步出帧，分别获取NIRRaw图像与RGBRaw图像。

步骤S303、对NIRRaw图像进行ISP处理，得到NIR图像(第三图像的一个示例)。

步骤S304、对RGBRaw图像进行ISP处理，得到RGB图像(第四图像的一个示例)。

可选地，步骤S303与步骤S304可以没有时序要求；例如，步骤S303与步骤S304也可以是同时执行的。

可选地，步骤S303与步骤S304可以部分相同，或者完全相同。

可选地，ISP处理可以包括Raw算法处理、RGB算法处理或者YUV算法处理。

例如，Raw算法处理可以包括但不限于：

黑电平校正(blacklevelcorrection，BLC)、镜头阴影校正(lensshadingcorrection，LSC)、自动白平衡(autowhitebalance，AWB)、去马赛克等。

其中，黑电平校正用于对黑电平进行校正处理；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能呈现出白色。

需要说明的是，上述以黑电平校正、镜头阴影校正、自动白平衡、去马赛克为例进行举例说明；本申请对Raw算法处理并不作任何限定。

例如，RGB算法处理包括但不限于：

颜色校正矩阵处理，或者三维查找表处理等。

其中，颜色校正矩阵(color correctionmatrix，CCM)，用于校准除白色以外其他颜色的准确度。三维查找表(Look Up Table，LUT)广泛应用于图像处理；例如，查找表可以用于图像颜色校正、图像增强或者图像伽马校正等；例如，可以在图像信号处理器中加载LUT，根据LUT表可以对原始图像进行图像处理，实现原始图像映射到其他图像的颜色风格，从而实现不同的图像效果。

需要说明的是，上述以颜色校正矩阵处理与三维查找表处理为例进行举例说明；本申请对RGB图像处理并不作任何限定。

例如，YUV算法处理包括但不限于：

全局色调映射处理或者伽马处理等。

其中，全局色调映射(Global tone Mapping，GTM)用于解决高动态图像的灰度值分布不均匀的问题。伽马处理用于通过调整伽马曲线来调整图像的亮度、对比度与动态范围等。

需要说明的是，上述以全局色调映射处理与伽马处理为例进行举例说明；本申请对YUV图像处理并不作任何限定。

步骤S305、获取至少两个掩膜。

可选地，至少两个掩膜可以为清晰度掩膜与语义分割掩膜；例如，基于清晰度掩膜与语义分割掩膜对第三图像与第四图像进行融合处理，得到融合图像。

可选地，至少两个掩膜可以为清晰度掩膜、鬼影掩膜与语义分割掩膜。

示例性地，清晰度掩膜可以用于标记NIR图像中清晰度优于RGB图像的图像区域，鬼影掩膜可以用于标记NIR图像中的鬼影区域，语义分割掩膜用于标NIR图像中目标类别的拍摄对象所在的图像区域。

示例性地，可以对NIR图像进行分块处理，得到N个NIR图像块；计算N个NIR图像块中每一个NIR图像块的方差A；对RGB图像进行分块处理，得到N个RGB图像块；计算N个RGB图像块中每一个RGB图像块的方差B；在一个NIR图像块的方差A大于对应的RGB图像块的方差B时，该图像块位置对应的清晰度掩膜为1，1可以用于表示NIR图像清晰度大于RGB图像的置信度为1；在一个NIR图像块的方差A小于或者等于对应的RGB图像块的方差B时，该图像块位置对应的清晰度掩膜为0，0可以用于表示NIR图像清晰度大于RGB图像的置信度为0。

应理解，在本申请的实施例中，通过清晰度掩膜可以确定NIR图像中清晰度优于RGB图像的图像区域；将NIR图像中的局部区域(例如，清晰度优于RGB图像的图像区域)与RGB图像进行融合处理，从而能够提高融合图像的清晰度，提高融合图像的图像质量。

示例性地，可以对NIR图像与RGB图像进行鬼影检测，得到鬼影掩膜。

示例性地，可以通过索贝尔算子对NIR图像与RGB图像进行滤波处理，得到NIR图像的梯度图像与RGB图像的梯度图像；其中，梯度图像用于表示纹理信息的变化快慢；通过对两个梯度图像作差，可以得到鬼影掩膜。

需要说明的是，索贝尔算子(Sobel operator)主要用作边缘检测；它是一种离散性差分算子，用来运算图像亮度函数的梯度之近似值；在图像的任何一点使用此算子，将会产生对应的梯度矢量或是其法矢量。

应理解，在本申请的实施例中，通过鬼影掩膜可以在NIR图像中选取局部区域(例如，非鬼影的图像区域)与RGB图像进行融合处理，从而避免融合图像中出现鬼影区域，提高融合图像的图像质量。

示例性地，可以获取第四图像对应的语义分割图像，从语义分割图像中选取部分标签，得到语义分割掩膜；例如，语义分割图像中包括5个标签分别为标签0～标签4；其中，标签0用于标记人像；标签1用于标记动物；标签2用于标记植物(例如，绿色植物)；标签3用于标签远处景物(例如，远山)；标签4用于标记天空；可以从语义分割图像中多个标签中选取部分标签，比如，选取标签2与标签3的图像区域标记为1，其余图像区域标记为0，得到语义分割掩膜。

应理解，对于部分景物(例如，绿色植物或者远山)NIR图像中具有更多的细节信息；例如，由于近红外光对绿色景物的反射率较高，因此NIR图像与RGB图像相比，具有更多绿色景物的细节信息更多；例如，由于近红外光与可见光相比波长较长，因此近红外光的绕射能力较强；此外，波长较长的光的穿透性更强，采集的图像的画面通透感更强；因此，NIR图像与RGB图像相比，对于远处景物(例如，远山)NIR图像中包括更多的细节信息(例如，远山的纹理信息)；通过选取NIR图像中的局部区域(例如，包括更多细节信息的图像区域)与RGB图像进行融合处理，能够增强融合图像的局部细节信息，提高融合图像的图像质量。

步骤S306、基于至少两个掩膜对NIR图像与RGB图像进行融合处理，得到融合图像。

应理解，基于至少两个掩膜对NIR图像与RGB图像进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；从而实现对RGB图像进行图像增强，增强图像中的细节信息，提高图像质量。

可选地，在电子设备处于非暗光场景(例如，电子设备所处的拍摄环境的环境亮度大于或者等于第二预设阈值)时，可以通过上述步骤S301至步骤S306执行本申请实施例提供的图像处理方法。

可选地，电子设备中还可以包括红外闪光灯；在电子设备处于暗光场景时，即电子设备所处的拍摄环境的环境亮度小于第二预设阈值的情况下(例如，可以根据亮度值进行判断)，电子设备可以执行图7所示的方法400；例如，可以执行步骤S400开启红外闪光灯；在红外闪光灯开启之后，可以通过第一相机模组获取NIRRaw图像，通过第二相机模组获取RGBRaw图像，执行如图7所示的步骤S401至步骤S406；应理解，步骤S401至步骤S406适用于步骤S301至步骤S306的相关描述，此处不再赘述。

可选地，由于电子设备的亮度值越大，表示电子设备的环境亮度越高；可以通过电子设备的亮度值确定电子设备所处的拍摄环境的环境亮度，在电子设备的亮度值小于第二预设阈值时，则可以电子设备开启红外闪光灯。

其中，亮度值用于估计环境亮度，其具体计算公式如下：

其中，Exposure为曝光时间；Aperture为光圈大小；Iso为感光度；Luma为图像在XYZ空间中，Y的平均值。

示例性地，在暗光场景下，电子设备在检测到拍摄指示后可以先进行对焦，同步进行场景检测；识别到暗光场景并完成对焦后可以开启红外闪光灯，红外闪光灯开启后，NIRRaw图像与RGBRaw图像可以同步出帧。

应理解，对于暗光场景电子设备所处的拍摄环境的环境亮度较低；电子设备开启红外闪光灯后，可以使得第一相机模组获取的反射光增加，从而增加第一相机模组的进光量；使得第一相机模组采集的NIRRaw图像的清晰度增加；由于NIRRaw图像的清晰度增加，使得NIR图像的清晰度增加；由于NIR图像的清晰度增加，使得融合图像的清晰度增加。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第一相机模组为近红外相机模组或者红外相机模组；通过第一相机模组可以采集NIR Raw图像，通过第二相机模组可以采集RGB Raw图像；对NIR Raw图像与RGB Raw图像分别进行图像处理，可以得到NIR图像与RGB图像；基于至少两个掩膜可以对NIR图像与RGB图像进行融合处理，得到融合图像；由于NIR图像为近红外图像或者红外图像，因此NIR图像中可以包括RGB图像中无法获取的信息，通过对NIR图像与RGB图像进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；此外，在本申请的实施例中，是基于至少两个掩膜对NIR图像与RGB图像进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；从而实现对第二相机模组获取(例如，主摄像头相机模组)的RGB进行图像增强，增强图像中的细节信息，提高图像质量。

图8是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该方法500包括步骤S501至步骤S512，下面分别对步骤S501至步骤S512进行详细的描述。

应理解，图8所示的图像处理方法可以应用于如图1所示的电子设备，该电子设备包括第一相机模组与第二相机模组；其中，第一相机模组为近红外相机模组，或者红外相机模组(例如，获取的光谱范围为700nm～1100nm)；第二相机模组可以为可见光相机模组，或者其他可以获取可见光的相机模组(例如，获取的光谱范围包括但不限于400nm～700nm)。

步骤S501、第一相机模组采集NIRRaw图像(第一图像的一个示例)。

其中，NIRRaw图像可以是指Raw颜色空间的NIR图像。

示例性地，第一相机模组可以是近红外相机模组，或者红外相机模组；第一相机模组可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为近红外光(700nm～1100nm)。

应理解，第一镜片可以是指滤光镜片；第一镜片可以用于吸收某些特定波段的光，让近红外光波段的光通过。

还应理解，在本申请的实施例中第一相机模组采集的NIRRaw图像可以是指单通道的图像；NIRRaw图像用于表示光子叠加在一起的强度信息；例如，NIRRaw图像可以是在单通道的灰度图像。

步骤S502、第二相机模组采集RGBRaw图像(第二图像的一个示例)。

其中，RGBRaw图像可以是指Raw颜色空间的RGB图像。

示例性地，第二相机模组可以为可见光相机模组，或者其他可以获取可见光的相机模组(例如，获取的光谱范围包括400nm～700nm)；第二相机模组可以包括第二镜片、第二镜头与图像传感器，第二镜片可以通过的光谱范围包括但不限于可见光(400nm～700nm)。

可选地，上述步骤S501与步骤S502可以是同步执行的；即第一相机模组与第二相机模组可以同步出帧，分别获取NIRRaw图像与RGBRaw图像。

步骤S503、对NIRRaw图像进行ISP处理。

步骤S504、对RGBRaw图像进行ISP处理。

可选地，步骤S503与步骤S504可以没有时序要求；例如，步骤S503与步骤S504也可以是同时执行的。

可选地，步骤S503与步骤S504可以部分相同或者全部相同。

可选地，ISP处理可以包括Raw算法处理、RGB算法处理或者YUV算法处理。

例如，Raw算法处理可以包括但不限于：

黑电平校正(blacklevelcorrection，BLC)、镜头阴影校正(lensshadingcorrection，LSC)、自动白平衡(autowhitebalance，AWB)或者去马赛克等。

其中，黑电平校正用于对黑电平进行校正处理；镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题；自动白平衡用于使得白色在任何色温下相机均能呈现出白色。

需要说明的是，上述以黑电平校正、镜头阴影校正、自动白平衡、去马赛克为例进行举例说明；本申请对Raw算法处理并不作任何限定。

例如，RGB算法处理包括但不限于：

颜色校正矩阵处理，或者三维查找表处理等。

其中，颜色校正矩阵(color correctionmatrix，CCM)，用于校准除白色以外其他颜色的准确度。三维查找表(Look Up Table，LUT)广泛应用于图像处理；例如，查找表可以用于图像颜色校正、图像增强或者图像伽马校正等；例如，可以在图像信号处理器中加载LUT，根据LUT表可以对原始图像进行图像处理，实现原始图像映射到其他图像的颜色风格，从而实现不同的图像效果。

需要说明的是，上述以颜色校正矩阵处理与三维查找表处理为例进行举例说明；本申请对RGB图像处理并不作任何限定。

例如，YUV算法处理包括但不限于：

全局色调映射处理或者伽马处理等。

其中，全局色调映射(Global tone Mapping，GTM)用于解决高动态图像的灰度值分布不均匀的问题。伽马处理用于通过调整伽马曲线来调整图像的亮度、对比度与动态范围等。

需要说明的是，上述以全局色调映射处理与伽马处理为例进行举例说明；本申请对YUV图像处理并不作任何限定。

可选地，上述步骤S503为举例说明；也可以通过其他方法得到NIR图像；上述步骤S504为举例说明；也可以通过其他方法得到RGB图像；本申请对此不作任何限定。

步骤S505、得到NIR图像(第五图像的一个示例)。

可选地，NIR图像可以是指YUV颜色空间的NIR图像。

步骤S506、得到RGB图像(第四图像的一个示例)。

可选地，RGB图像可以是指YUV颜色空间的RGB图像。

步骤S507、全局配准处理。

应理解，由于第一相机模组与第二相机模组分别设置在电子设备中的不同位置，因此第一相机模组与第二相机模组之间存在一定的基线距离，即通过第一相机模组采集的图像与通过第二相机模组采集的图像之间存在一定的视差，通过全局配准处理可以消除NIR图像与RGB图像之间的视差。

可选地，通过全局配准处理是以RGB图像为基准，将NIR图像的整体映射到RGB图像的坐标系为例进行举例说明；或者，全局配准处理也可以是以NIR图像为基准，将RGB图像的整体映射到NIR图像的坐标系。

可选地，可以基于深度信息选取RGB图像中的目标像素位置；基于目标像素位置，得到RGB图像中的目标特征点；以RGB图像中的目标特征点为基准对NIR图像进行全局配准处理；可选地，全局配准处理的具体流程可以参见图10所示。

应理解，特征点是指图像灰度值发生剧烈变化的点，或者在图像边缘上曲率较大的点；目标特征点是指RGB中满足预设条件的特征点；例如，目标特征点可以是指RGB图像中深度信息大于第一预设阈值的特征点。

在本申请的实施例中，可以基于深度信息进行全局配准处理；由于NIR图像与RGB图像相比并非所有的像素位置均具有较好的效果；例如，对于拍摄对象中的近景，NIR图像中的细节信息低于RGB图像中的细节信息；若从NIR图像中提取较多近景对应的特征点，可能导致NIR图像中的远景与RGB图像无法配准，使得融合图像中容易出现鬼影问题；因此，在对NIR图像进行全局配准时，可以基于深度信息选取RGB图像中的目标像素位置；基于RGB图像中的目标像素位置得到RGB图像中的目标特征点，以RGB图像中的目标特征点为基准对NIR图像进行全局配准处理。

步骤S508、得到全局配准的NIR图像(第六图像的一个示例)。

步骤S509、对全局配准的NIR图像进行局部配准处理。

在本申请的实施例中，在全局配准处理的基础上可以进一步执行局部配准处理，使得全局配准的NIR图像中的局部细节进行再次图像配准处理；从而能够提高融合图像的局部细节信息。

步骤S510、得到局部配准的NIR图像(第三图像的一个示例)。

可选地，可以通过图11或者图12所示的局部配准方法对全局配准后的NIR图像进行局部配准处理，得到局部配准后的NIR图像。

步骤S511、获取至少两个掩膜。

应理解，在本申请的实施例可以获取至少两个掩膜的信息；在对NIR图像与RGB图像进行融合处理时，可以基于至少两个掩膜的信息进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；能够提高融合图像的图像质量。

可选地，在本申请的实施例中，至少两个掩膜可以包括但不限于：清晰度掩膜、鬼影掩膜，或者语义分割掩膜中的至少两项。

应理解，在本申请的实施例中，由于NIR图像中并非所有像素点的清晰度均优于RGB图像；通过清晰度掩膜可以从NIR图像中获取清晰度优于RGB图像的图像区域；将该图像区域与RGB图像进行融合，从而能够提高融合图像的清晰度。

还应理解，在本申请的实施例中，由于在全局配准处理与局部配准处理后，NIR图像与RGB图像中可能依然存在部分区域可能无法配准；通过鬼影掩膜可以剔除NIR图像中无法与RGB图像配准的区域；进一步，基于鬼影掩膜对NIR图像与RGB图像进行融合处理，从而能够有效减少融合图像中出现鬼影区域。

还应理解，在本申请的实施例中，由于近红外光对不同类别的物体，反射率不同，从而导致对于不同的物体NIR图像中包括的细节信息不同；因此，基于语义分割掩膜可以从NIR图像中获取目标类别物体的图像区域；通过该图像区域与RGB图像进行融合处理，能够提高融合图像中的局部细节信息。

可选地，可以获取清晰度掩膜与语义分割掩膜；基于清晰度掩膜与语义分割掩膜对局部配准后的NIR图像与RGB图像进行融合处理。

可选地，可以获取清晰度掩膜、鬼影掩膜与语义分割掩膜；基于清晰度掩膜、鬼影掩膜与语义分割掩膜对局部配准后的NIR图像与RGB图像进行融合处理。

例如，可以获取清晰度掩膜、鬼影掩膜与语义分割掩膜；根据清晰度掩膜、鬼影掩膜与语义分割掩膜的交集，得到目标掩膜，如图9所示此处不再赘述；基于目标掩膜对局部配准后的NIR图像(第三图像的一个示例)与RGB图像(第四图像的一个示例)进行融合处理。

在本申请的实施例中，通过清晰度掩膜可以在NIR图像中标记NIR图像优于RGB图像的局部图像区域；通过鬼影掩膜可以在NIR图像中标记NIR图像中的非鬼影的局部区域或者鬼影区域；通过语义分割图像可以在NIR图像中标记NIR图像中具有更多细节信息的局部图像区域。

示例性地，可以对NIR图像进行分块处理，得到N个NIR图像块；计算N个NIR图像块中每一个NIR图像块的方差A；对RGB图像进行分块处理，得到N个RGB图像块；计算N个RGB图像块中每一个RGB图像块的方差B；在一个NIR图像块的方差A大于对应的RGB图像块的方差B时，该图像块位置对应的清晰度掩膜为1，1可以用于表示NIR图像的清晰度大于RGB图像的清晰度的置信度为1；在一个NIR图像块的方差A小于或者等于对应RGB图像块的方差B时，该图像块位置对应的清晰度掩膜为0，0可以用于表示NIR图像的清晰度大于RGB图像的清晰度的置信度为0。

应理解，在本申请的实施例中，通过清晰度掩膜可以确定NIR图像中清晰度优于RGB图像的图像区域；将NIR图像中的局部区域(例如，清晰度优于RGB图像的图像区域)与RGB图像进行融合处理，从而能够提高融合图像的清晰度，提高融合图像的图像质量。

示例性地，可以对NIR图像与RGB图像进行鬼影检测，得到鬼影掩膜。

示例性地，可以通过索贝尔算子对NIR图像与RGB图像进行滤波处理，得到NIR图像的梯度图像与RGB图像的梯度图像；其中，梯度图像用于表示纹理信息的变化快慢；通过对两个梯度图像作差，可以得到鬼影掩膜。

需要说明的是，索贝尔算子(Sobel operator)主要用作边缘检测。它是一离散性差分算子，用来运算图像亮度函数的梯度之近似值；在图像的任何一点使用此算子，将会产生对应的梯度矢量或是其法矢量。

应理解，在本申请的实施例中，通过鬼影掩膜可以在NIR图像中选取局部图像区域(例如，非鬼影的图像区域)与RGB图像进行融合处理，从而避免融合图像中出现鬼影区域，提供融合图像的图像质量。

示例性地，可以从语义分割图像中选取部分标签，得到语义分割掩膜；例如，语义分割图像中包括5个标签分别为标签0～标签4；其中，标签0用于标记人像；标签1用于标记动物；标签2用于标记植物(例如，绿色植物)；标签3用于标签远处景物(例如，远山)；标签4用于标记天空；可以从语义分割图像中多个标签中选取部分标签，比如，选取标签2与标签3的图像区域标记为1，其余图像区域标记为0，得到语义分割掩膜。

应理解，对于部分景物(例如，绿色植物或者远山)NIR图像中具有更多的细节信息；例如，由于近红外光对绿色景物的反射率较高，因此NIR图像与RGB图像相比，具有更多绿色景物的细节信息更多；例如，由于近红外光与可见光相比波长较长，因此近红外光的绕射能力较强；此外，波长较长的光的穿透性更强，采集的图像的画面通透感更强；因此，NIR图像与RGB图像相比，对于远处景物(例如，远山)NIR图像中包括更多的细节信息(例如，远山的纹理信息)；通过选取NIR图像中的局部区域(例如，包括更多细节信息的图像区域)与RGB图像进行融合处理，能够增强融合图像的局部细节信息，提高融合图像的图像质量。

步骤S512、基于至少两个掩膜对局部配准后的NIR图像(第三图像的一个示例)与RGB图像(第四图像的一个示例)进行融合处理，得到融合图像。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第一相机模组为近红外相机模组或者红外相机模组；通过第一相机模组可以采集NIR Raw图像，通过第二相机模组可以采集RGB Raw图像；对NIR Raw图像与RGB Raw图像分别进行图像处理，可以得到NIR图像与RGB图像；基于至少两个掩膜可以对NIR图像与RGB图像进行融合处理，得到融合图像；由于NIR图像为近红外图像或者红外图像，因此NIR图像中可以包括RGB图像中无法获取的信息，通过对NIR图像与RGB图像进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；此外，在本申请的实施例中，是基于至少两个掩膜对NIR图像与RGB图像进行融合处理，可以从清晰度、去鬼影或者局部细节等至少两个方面进行图像增强；从而实现对第二相机模组获取(例如，主摄像头相机模组)的RGB图像进行图像增强，增强图像中的细节信息，提高图像质量。

下面对上述图8所示的步骤S507全局配准处理进行举例说明。

图10是本申请实施例提供的一种全局配准方法的示意图。该方法600包括步骤S601至步骤S604，下面分别对步骤S601至步骤S604进行详细的描述。

步骤S601、对RGB图像进行深度估计，得到深度信息。

应理解，深度估计可以是指估计图像中每个像素相对于相机模组的距离信息。

可选地，可以通过深度估计算法得到RGB图像的深度信息；通过RGB图像的深度信息可以区分RGB图像中的近景区域与远景区域。

示例性地，深度估计算法是指获取图像中场景里的每个点到相机的距离信息的算法；深度估计算法可以包括单目深度估计算法、双目深度估计算法等。

步骤S602、根据深度信息，获取RGB图像中部分像素的位置信息。

可选地，可以将深度信息与第一预设阈值进行比较，可以确定RGB图像中深度信息大于第一预设阈值的部分像素的位置信息。

步骤S603、根据位置信息提取RGB图像中的部分特征点。

可选地，根据位置信息还可以提取NIR图像中的部分特征点；或者，对NIR图像进行深度估计，得到NIR图像的深度信息；基于NIR图像的深度信息，确定NIR图像中深度信息大于第一预设阈值的部分像素位置；本申请对此不作任何限定。

步骤S604、以RGB图像中的部分特征点为基准，对NIR图像中的部分特征点进行配准处理得到全局配准的NIR图像。

应理解，全局配准处理是为了使得对NIR图像与RGB图像进行融合处理时，避免融合图像中出现鬼影区域；由于NIR图像中拍摄对象的远景区域的图像细节优于RGB图像中拍摄对象的远景区域的图像细节，RGB图像中拍摄对象的近景区域的图像细节优于NIR图像中拍摄对象的近景区域的图像细节；因此，可以从NIR图像中选取远景区域对应的图像区域与RGB图像进行融合；即对于NIR图像进行全局配准时，可以不考虑NIR图像中拍摄对象的近景区域，将NIR图像中拍摄对象的远景区域与RGB图像中拍摄对象的远景区域进行配准处理，从而实现NIR图像与RGB图像的全局配准。

可选地，提取NIR图像中的部分特征点与RGB图像中的部分特征点，通过单应性矩阵将NIR图像中的部分特征点映射到RGB图像的部分特征点。

可选地，图8所示的步骤S509局部配准处理的方法可以如图11所示。

在本申请的实施例中，由于全局配准后的NIR图像的亮度与RGB图像的亮度可能差别较大，若直接对全局配准后的NIR图像与RGB图像进行融合处理，则融合图像会出现亮度失真的问题；比如，融合图像可能会出现颜色发灰，或者融合图像颜色不自然等问题。因此，可以对全局配准后的NIR图像进行局部配准处理，即可以对全局配准后的NIR图像进行亮度处理，使得全局配准后的NIR图像的亮度与RGB图像的亮度接近；由于NIR图像的亮度与RGB图像的亮度接近，使得融合处理后的融合图像的颜色准确性更高，提高图像质量。

图11是本申请实施例提供的一种局部配准方法的示意图。该方法700包括步骤S701至步骤S706，下面分别对步骤S701至步骤S706进行详细的描述。

步骤S701、获取NIR图像(第五图像的一个示例)。

可选地，可以通过第一相机模组采集NIRRaw图像；对NIRRaw图像进行图像处理，得到NIR图像。

示例性地，第一相机模组可以为近红外相机模组，或者第一相机模组为红外光相机模组。

例如，第一相机模组可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为近红外光(700nm～1100nm)。

应理解，第一镜片可以是指滤光镜片；第一镜片可以用于吸收某些特定波段的光，让近红外光波段的光通过。

步骤S702、获取RGB图像并进行颜色空间转换，得到YUV图像。

应理解，局部配准可以基于图像中的亮度值进行的配准处理；因此，需要将RGB图像转换至其他能够抽取亮度通道图像的颜色空间，从而获取RGB图像对应的亮度通道图像。

可选地，可以通过第二相机模组采集RGBRaw图像；对RGBRaw图像进行图像处理，得到RGB图像；将RGB图像转换至YUV颜色空间，得到YUV图像。

示例性地，第二相机模组可以为可见光相机模组；或者第二相机模组可以为其他可以获取可见光的相机模组；本申请对此不作任何限定。

例如，第二相机模组可以包括第二镜片、第二镜头与图像传感器，第二镜片可以通过的光谱范围为可见光(400nm～700nm)，或者，第二镜片可以通过的光谱范围包括但不限于可见光(400nm～700nm)。

应理解，第二镜片可以是指滤光镜片；第一镜片可以用于吸收某些特定波段的光，让可见光波段的光通过。

步骤S703、提取YUV图像的Y通道。

步骤S704、通过神经网络模型对NIR图像进行亮度处理。

应理解，通常可以通过光流图对图像进行局部配准处理，光流图的精度会受到灰阶的影响；对于同一拍摄场景(例如，绿色植物的场景)RGB图像的灰阶可能在150以下，而NIR图像的灰阶可能在200以上；对于相同的拍摄场景，RGB图像与NIR图像的灰阶差异较大；通过神经网络模型可以对NIR图像的亮度进行处理，使得NIR图像中亮度灰阶过高的区域亮度灰阶降低，且亮度灰阶过低的区域亮度灰阶增加。

可选地，神经网络模型可以是通过反向传播算法预先训练得到的神经网络。

步骤S705、得到亮度映射后的NIR图像。

应理解，亮度映射后的NIR图像的图像内容与NIR图像保持一致，亮度映射后的NIR图像的图像亮度与RGB图像保持一致。

步骤S706、以Y通道图像为基准，对亮度映射后的NIR图像进行配准处理，得到局部配准后的NIR图像(第三图像的一个示例)。

在本申请的实施例中，通过对NIR图像的亮度与RGB图像的亮度进行配准处理，使得对于同一拍摄对象，NIR图像的亮度与RGB图像的亮度接近；例如，可以对NIR图像的亮度进行映射处理，得到亮度映射后的NIR图像；获取RGB图像对应的亮度通道，对亮度映射后的NIR图像与RGB图像的亮度通道进行配准处理；由于NIR图像的亮度与RGB图像的亮度接近，使得融合处理后的融合图像的颜色准确性更高，提高图像质量。

可选地，在本申请的实施例中，图8所示的步骤S509局部配准处理的方法可以如图12所示。

在本申请的实施例中，由于全局配准后的NIR图像与RGB图像的边缘区域可能存在差异，若直接对全局配准后的NIR图像与RGB图像进行融合处理，则融合图像的边缘区域可能会出现鬼影；因此，可以对全局配准后的NIR图像的边缘区域进行局部配准处理，从而减少融合图像边缘区域出现鬼影。

图12是本申请实施例提供的一种局部配准处理方法的示意图。该方法800包括步骤S801至步骤S808；下面分别对步骤S801至步骤S808进行详细的描述。

步骤S801、获取NIR图像(第五图像的一个示例)。

示例性地，可以通过第一相机模组采集NIRRaw图像；对NIRRaw图像进行图像处理，得到NIR图像。其中，第一相机模组可以为近红外相机模组，或者第一相机模组为红外光相机模组。

例如，第一相机模组可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为近红外光(700nm～1100nm)。

应理解，第一镜片可以是指滤光镜片；第一镜片可以用于吸收某些特定波段的光，让近红外光波段的光通过。

步骤S802、提取NIR图像的高频信息。

应理解，图像的高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

步骤S803、获取RGB图像(第四图像的一个示例)。

示例性地，可以通过第二相机模组采集RGBRaw图像；对RGBRaw图像进行图像处理，得到RGB图像。其中，第二相机模组为可见光相机模组；或者第二相机模组可以为其他相机模组；本申请对此不作任何限定。

例如，第二相机模组可以包括第二镜片、第二镜头与图像传感器，第二镜片可以通过的光谱范围为可见光(400nm～700nm)，或者，第二镜片可以通过的光谱范围包括但不限于可见光(400nm～700nm)以及其他光。

步骤S804、提取RGB图像的高频信息。

应理解，图像的高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

步骤S805、根据NIR图像的高频信息与RGB图像的高频信息，得到边缘差异图像(第七图像的一个示例)。

其中，边缘差异图像用于表示NIR图像与RGB图像中的所有高频信息。

可选地，可以根据NIR图像的高频信息与RGB图像的高频信息的并集，得到边缘差异图像。

步骤S806、基于边缘差异图像获取NIR图像中的局部图像区域(第一图像区域的一个示例)。

可选地，可以将边缘差异图像与NIR图像相乘，得到NIR图像中的局部区域。

例如，将边缘差异图像与NIR图像相乘可以是指将边缘差异图像与NIR图像中对应的像素点的像素值进行相乘。

步骤S807、基于边缘差异图像获取RGB图像中的局部图像区域(第二图像区域的一个示例)。

可选地，可以将边缘差异图像与RGB图像相乘，得到RGB图像中的局部区域。

例如，将边缘差异图像与RGB图像相乘可以是指将边缘差异图像与RGB图像中对应的像素点的像素值进行相乘。

步骤S808、以RGB图像中的局部图像区域为基准，对NIR图像中的局部图像区域进行配准处理，得到局部配准后的NIR图像(第三图像的一个示例)。

在本申请的实施例中，通过获取NIR图像与RGB图像中的高频信息，可以得到边缘差异图像；边缘差异图像中包括NIR图像与RGB图像中的全部高频信息，通过边缘差异图像可以分别从NIR图像与RGB图像中获取局部图像区域；通过对两个局部区域进行配准处理，例如，以RGB图像中的局部图像区域为基准，对NIR图像中的局部区域进行配准处理，从而能够使得NIR图像中的高频信息与RGB图像中的高频信息配准，从而在一定程度上能够避免融合图像中出现鬼影。

可选地，图12所示的步骤S801至步骤S808也可以在图11所示的步骤S706之后的进一步处理；即可以通过图11对全局配准处理的NIR图像进行亮度处理；进一步，可以采用图12所示的方法对亮度处理后的NIR图像进行边缘区域配准，从而得到局部配准后的NIR图像。

图13根据是本申请实施例提供的图像处理方法的效果示意图。

如图13所示，图13中的(a)是通过现有的主摄像头相机模组得到的输出图像；图13中的(b)是通过本申请实施例提供的图像处理方法得到的输出图像；如图13中的(a)所示的图像可以看出山脉中的细节信息出现了严重失真；与图13中的(a)所示的输出图像相比，图13中的(b)所示的输出图像的细节信息较丰富，可以清晰的显示山脉的细节信息；通过本申请实施例提供的图像处理方法可以对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。

在一个示例中，在暗光场景下，用户可以开启电子设备中的红外闪光灯；通过主摄像头相机模组与近红外相机模组采集图像，并通过本申请实施例提供的图像处理方法对采集的图像进行处理，从而输出处理后的图像或者视频。

图14示出了电子设备的一种图形用户界面(graphical user interface，GUI)。

图14中的(a)所示的GUI为电子设备的桌面910；当电子设备检测到用户点击桌面910上的相机应用(application，APP)的图标920的操作后，可以启动相机应用，显示如图14中的(b)所示的另一GUI；图14中的(b)所示的GUI可以是相机APP在拍照模式下的显示界面，在GUI可以包括拍摄界面930；拍摄界面930中可以包括取景框931与控件；比如，拍摄界面930中可以包括用于指示拍照的控件932与用于指示开启红外闪光灯的控件933；在预览状态下，该取景框931内可以实时显示预览图像；其中，预览状态下可以是指用户打开相机且未按下拍照/录像按钮之前，此时取景框内可以实时显示预览图。

在电子设备检测到用户点击指示开启红外闪光灯的控件933的操作后，显示如图14中的(c)所示的拍摄界面；在红外闪光灯开启的情况下，可以通过主摄像头相机模组与近红外相机模组采集图像，并通过本申请实施例提供的图像处理方法对采集的图像进行融合处理，输出处理后的融合图像。

图15是一种适用于本申请实施例的拍摄场景的光路示意图。

如图15所示，电子设备还包括红外闪光灯；在暗光场景下，电子设备可以开启红外闪光灯；在开启红外闪光灯的情况下，拍摄环境中的光照可以包括路灯与红外闪光灯；拍摄对象可以对拍摄环境中的光照进行反射，使得电子设备得到拍摄对象的图像。

在本申请的实施例中，在红外闪光灯开启的情况下，拍摄对象的反射光增加，使得电子设备中近红外相机模组的进光量增加；从而使得通过近红外相机模组拍摄的图像的细节信息增加，通过本申请实施例的图像处理方法对主摄像头相机模组与近红外相机模组采集的图像进行融合处理，能够对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。此外，红外闪光灯是用户无法感知的，在用户无感知的情况下，提高图像中的细节信息。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

上文结合图1至图15详细描述了本申请实施例提供的图像处理方法；下面将结合图16与图17详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图16是本申请实施例提供的一种电子设备的结构示意图。该电子设备1000包括显示模块1010与处理模块1020。该电子设备中包括第一相机模组与第二相机模组，第一相机模组为近红外相机模组或者红外相机模组。

其中，所述显示模块1010用于显示第一界面，所述第一界面包括第一控件；处理模块1020用于检测到对所述第一控件的第一操作；响应于所述第一操作，获取第一图像与第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像，所述第一图像与所述第二图像为第一颜色空间的图像；对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为第二颜色空间的图像；对所述第二图像进行第二图像处理，得到所述第二颜色空间的第四图像；基于至少两个掩膜对所述第三图像与所述第四图像进行融合处理，得到融合图像，其中，所述至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项，所述第一掩膜用于标记所述第三图像中清晰度优于所述第四图像的图像区域，所述第二掩膜用于标记所述第三图像中的鬼影区域，所述第三掩膜用于标记所述第三图像中目标类别的拍摄对象所在的图像区域，所述融合图像的细节信息优于所述第二图像的细节信息。

可选地，作为一个实施例，所述处理模块1020具体用于：

根据所述至少两个掩膜的交集得到目标掩膜；

根据所述目标掩膜对所述第三图像与所述第四图像进行融合处理，得到所述融合图像。

可选地，作为一个实施例，所述处理模块1020具体用于：

将所述第一图像转换至第二颜色空间，得到第五图像；

以所述第四图像为基准对所述第五图像进行全局配准处理，得到第六图像；

以所述第四图像为基准对所述第六图像进行局部配准处理，得到所述第三图像。

可选地，作为一个实施例，所述处理模块1020具体用于：

对所述第四图像进行深度估计，得到深度信息，所述深度信息用于表示所述第四图像中的拍摄对象与所述电子设备的距离信息；

基于所述深度信息，筛选所述第四图像中满足预设条件的目标特征点；

以所述目标特征点为基准对所述第五图像进行全局配准处理，得到所述第六图像。

可选地，作为一个实施例，所述预设条件为所述拍摄对象与所述电子设备的距离大于第一预设阈值。

可选地，作为一个实施例，所述处理模块1020具体用于：

以所述第四图像对应的亮度通道图像为基准，对所述第六图像进行局部配准处理，得到所述第三图像。

可选地，作为一个实施例，所述处理模块1020具体用于：

根据所述第四图像的高频信息与所述第六图像的高频信息的并集，得到第七图像；

基于所述第七图像确定所述第四图像中的第一图像区域；

基于所述第七图像确定所述第六图像中的第二图像区域；

以所述第一图像区域为基准对所述第二图像区域进行所述局部配准处理，得到所述第三图像。

可选地，作为一个实施例，所述至少两个掩膜为所述第一掩膜与所述第三掩膜。

可选地，作为一个实施例，所述至少两个掩膜为所述第一掩膜、所述第二掩膜与所述第三掩膜。

可选地，作为一个实施例，所述电子设备还包括红外闪光灯，所述处理模块1020具体用于：

在暗光场景下，开启所述红外闪光灯，所述暗光场景是指所述电子设备所处的拍摄环境的环境亮度小于第二预设阈值；

在开启所述红外闪光灯的情况下，获取所述第一图像与所述第二图像。

可选地，作为一个实施例，所述第一界面包括第二控件；所述处理模块1020具体用于：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

可选地，作为一个实施例，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

可选地，作为一个实施例，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

可选地，作为一个实施例，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

需要说明的是，上述电子设备1000以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图17示出了本申请提供的一种电子设备的结构示意图。图17中的虚线表示该单元或该模块为可选的；电子设备1100可以用于实现上述方法实施例中描述的方法。

电子设备1100包括一个或多个处理器1101，该一个或多个处理器1101可支持电子设备1100实现方法实施例中的图像处理方法。处理器1101可以是通用处理器或者专用处理器。例如，处理器1101可以是中央处理器(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器1101可以用于对电子设备1100进行控制，执行软件程序，处理软件程序的数据。电子设备1100还可以包括通信单元1105，用以实现信号的输入(接收)和输出(发送)。

例如，电子设备1100可以是芯片，通信单元1105可以是该芯片的输入和/或输出电路，或者，通信单元1105可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备1100可以是终端设备，通信单元1105可以是该终端设备的收发器，或者，通信单元1105可以是该终端设备的收发电路。

电子设备1100中可以包括一个或多个存储器1102，其上存有程序1104，程序1104可被处理器1101运行，生成指令1103，使得处理器1101根据指令1103执行上述方法实施例中描述的图像处理方法。

可选地，存储器11002中还可以存储有数据。

可选地，处理器1101还可以读取存储器1102中存储的数据，该数据可以与程序1104存储在相同的存储地址，该数据也可以与程序1104存储在不同的存储地址。

处理器1101和存储器1102可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片(system on chip，SOC)上。

示例性地，存储器1102可以用于存储本申请实施例中提供的图像处理方法的相关程序1104，处理器1101可以用于在执行图像处理时调用存储器1102中存储的图像处理方法的相关程序1104，执行本申请实施例的图像处理方法；例如，显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取第一图像与第二图像，第一图像为第一相机模组采集的图像，第二图像为第二相机模组采集的图像，第一图像与第二图像为第一颜色空间的图像；对第一图像进行第一图像处理，得到第三图像，第三图像为第二颜色空间的图像；对第二图像进行第二图像处理，得到第二颜色空间的第四图像；基于至少两个掩膜对第三图像与第四图像进行融合处理，得到融合图像，其中，至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项，第一掩膜用于标记第三图像中清晰度优于第四图像的图像区域，第二掩膜用于标记第三图像中的鬼影区域，第三掩膜用于标记第三图像中目标类别的拍摄对象所在的图像区域，融合图像的细节信息优于第二图像的细节信息。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器1101执行时实现本申请中任一方法实施例的图像处理方法。

该计算机程序产品可以存储在存储器1102中，例如是程序1104，程序1104经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器1101执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器1102。存储器1102可以是易失性存储器或非易失性存储器，或者，存储器1102可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括第一相机模组与第二相机模组，所述第一相机模组为近红外相机模组或者红外相机模组，所述图像处理方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取第一图像与第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像，所述第一图像与所述第二图像为第一颜色空间的图像；

对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为第二颜色空间的图像；

对所述第二图像进行第二图像处理，得到所述第二颜色空间的第四图像；

基于至少两个掩膜对所述第三图像与所述第四图像进行融合处理，得到融合图像，其中，所述至少两个掩膜包括第一掩膜、第二掩膜或者第三掩膜中的至少两项，所述第一掩膜用于标记所述第三图像中清晰度优于所述第四图像的图像区域，所述第二掩膜用于标记所述第三图像中的鬼影区域，所述第三掩膜用于标记所述第三图像中目标类别的拍摄对象所在的图像区域，所述融合图像的细节信息优于所述第二图像的细节信息。

2.如权利要求1所述的图像处理方法，其特征在于，所述基于至少两个掩膜对所述第三图像与所述第四图像进行融合处理，得到融合图像，包括：

根据所述至少两个掩膜的交集得到目标掩膜；

根据所述目标掩膜对所述第三图像与所述第四图像进行融合处理，得到所述融合图像。

3.如权利要求1或2所述的图像处理方法，其特征在于，所述对所述第一图像进行第一图像处理，得到第三图像，包括：

将所述第一图像转换至所述第二颜色空间，得到第五图像；

以所述第四图像为基准对所述第五图像进行全局配准处理，得到第六图像；

以所述第四图像为基准对所述第六图像进行局部配准处理，得到所述第三图像。

4.如权利要求3所述的图像处理方法，其特征在于，所述以所述第四图像为基准对所述第五图像进行全局配准处理，得到第六图像，包括：

对所述第四图像进行深度估计，得到深度信息，所述深度信息用于表示所述第四图像中的拍摄对象与所述电子设备的距离；

基于所述深度信息，筛选所述第四图像中满足预设条件的目标特征点；

以所述目标特征点为基准对所述第五图像进行所述全局配准处理，得到所述第六图像。

5.如权利要求4所述的图像处理方法，其特征在于，所述预设条件为所述拍摄对象与所述电子设备的距离大于第一预设阈值。

6.如权利要求3至5中任一项所述的图像处理方法，其特征在于，所述以所述第四图像为基准对所述第六图像进行所述局部配准处理，得到所述第三图像，包括：

以所述第四图像对应的亮度通道图像为基准，对所述第六图像进行局部配准处理，得到所述第三图像。

7.如权利要求3至5中任一项所述的图像处理方法，其特征在于，所述以所述第四图像为基准对所述第六图像进行局部配准处理，得到所述第三图像，包括：

根据所述第四图像的高频信息与所述第六图像的高频信息的并集，得到第七图像；

基于所述第七图像确定所述第四图像中的第一图像区域；

基于所述第七图像确定所述第六图像中的第二图像区域；

以所述第一图像区域为基准对所述第二图像区域进行所述局部配准处理，得到所述第三图像。

8.如权利要求1至7中任一项所述的图像处理方法，其特征在于，所述至少两个掩膜为所述第一掩膜与所述第三掩膜。

9.如权利要求1至7中任一项所述的图像处理方法，其特征在于，所述至少两个掩膜为所述第一掩膜、所述第二掩膜与所述第三掩膜。

10.如权利要求1至9中任一项所述的图像处理方法，其特征在于，所述电子设备还包括红外闪光灯，所述图像处理方法还包括：

在暗光场景下，开启所述红外闪光灯，所述暗光场景是指所述电子设备所处的拍摄环境的环境亮度小于第二预设阈值；

所述响应于所述第一操作，获取第一图像与第二图像，包括：

在开启所述红外闪光灯的情况下，获取所述第一图像与所述第二图像。

11.如权利要求10所述的图像处理方法，其特征在于，所述第一界面包括第二控件；所述在暗光场景下，开启所述红外闪光灯，包括：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

12.如权利要求1至11中任一项所述的图像处理方法，其特征在于，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

13.如权利要求1至11中任一项所述的图像处理方法，其特征在于，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

14.如权利要求1至11中任一项所述的图像处理方法，其特征在于，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

15.一种电子设备，其特征在于，包括：

一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至14中任一项所述的图像处理方法。

16.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至14中任一项所述的图像处理方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至14中任一项所述的图像处理方法。

18.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被处理器执行时，使得处理器执行权利要求1至14中任一项所述的图像处理方法。

Images