CN115550570B

CN115550570B - 图像处理方法与电子设备

Info

Publication number: CN115550570B
Application number: CN202210023611.2A
Authority: CN
Inventors: 肖斌; 乔晓磊; 朱聪超; 王宇; 邵涛
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-01-10
Filing date: 2022-01-10
Publication date: 2023-09-01
Anticipated expiration: 2042-01-10
Also published as: WO2023130922A1; CN115550570A

Abstract

一种图像处理方法与电子设备，涉及图像处理领域，该图像处理方法应用于电子设备，电子设备包括第一相机模组与第二相机模组，第二相机模组为近红外相机模组或者红外相机模组，该图像处理方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于所述第一操作，获取N帧第一图像与M帧第二图像，第一图像为第一相机模组采集的图像，第二图像为第二相机模组采集的图像，N和M均为大于或者等于1的正整数；基于N帧第一图像和M帧第二图像，得到目标图像；保存目标图像。基于本申请的技术方案，能够对电子设备中主摄像头相机模组获取的图像进行图像增强，提高图像质量。

Description

图像处理方法与电子设备

技术领域

本申请涉及图像处理领域，具体地，涉及一种图像处理方法与电子设备。

背景技术

随着多媒体技术和网络技术的飞速发展和广泛应用，人们在日常生活和生产活动中大量使用图像信息。在一些拍照场景中，例如，光照条件不好的拍摄场景中，比如，夜晚场景或者浓雾场景中，由于拍摄场景的光线条件较差，电子设备的进光量较少，导致主摄像头相机模组获取的图像中存在部分图像细节信息丢失的问题；为了提高图像质量，通常可以采用图像增强处理；图像增强处理是一种用于增强图像中的有用信息，改善图像的视觉效果的方法。

因此，如何对主摄像头相机模组获取的图像进行图像增强，提高图像质量成为一个亟需解决的问题。

发明内容

本申请提供了一种图像处理方法与电子设备，能够对主摄像头相机模组获取的图像进行图像增强，提高图像质量。

第一方面，提供了一种图像处理方法，应用于电子设备，所述电子设备包括第一相机模组与第二相机模组，所述第二相机模组为近红外相机模组或者红外相机模组，所述图像处理方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取N帧第一图像与M帧第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像，N和M均为大于或者等于1的正整数；

基于所述N帧第一图像和所述M帧第二图像，得到目标图像；

保存所述目标图像；

其中，所述基于所述N帧第一图像和所述M帧第二图像，得到目标图像，包括：

对所述N帧第一图像进行第一图像处理，得到N帧第三图像，所述N帧第三图像的图像质量高于所述N帧第一图像的图像质量；

对所述M帧第二图像进行第二图像处理，得到M帧第四图像，所述M帧第四图像的图像质量高于所述M帧第二图像的图像质量；

基于语义分割图像，对所述N帧第三图像和所述M帧第四图像进行融合处理，得到融合图像，所述语义分割图像为基于所述N帧第一图像中任一帧图像或者所述M帧第二图像中任一帧图像得到的，所述融合图像的细节信息优于所述N帧第一图像的细节信息；

对所述融合图像进行第三图像处理，得到目标图像。

可选地，第一相机模组可以为可见光相机模组，或者第一相机模组为其他可以获取可见光的相机模组；本申请对第一相机模组不作任何限定。

可选地，第一相机模组中可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为可见光(400nm～700nm)。

应理解，第一镜片可以是指滤光镜片；第一镜片可以用于吸收某些特定波段的光，让可见光波段的光通过。

示例性地，第二相机模组中可以包括第二镜片、第二镜头与图像传感器，第二镜片可以通过的光谱范围为近红外光(700nm～1100nm)。

应理解，第二镜片可以是指滤光镜片；第二镜片可以用于吸收某些特定波段的光，让近红外光波段的光通过。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第二相机模组为近红外相机模组或者红外相机模组(例如，获取的光谱范围为700nm～1100nm)；通过第一相机模组采集第一图像，通过第二相机模组采集第二图像；由于第二图像(例如，近红外图像)中包括的图像信息是第一图像中(例如，可见光图像)无法获取到的；同理，第三图像中包括的图像信息是第四图像无法获取到的；因此，通过对第三图像(例如，可见光图像)与第四图像(例如，近红外光图像)进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；因此，通过本申请实施例提供的图像处理方法，能够对主摄像头相机模组获取的图像进行图像增强，增强图像中的细节信息，提高图像质量。

应理解，N帧第三图像的图像质量高于N帧第一图像的图像质量可以是指N帧第三图像中的噪声少于N帧第一图像中的噪声；或者，通过图像质量的评估算法对N帧第三图像与N帧第一图像进行评估，得到的评估结果为N帧第三图像的图像质量高于N帧第一图像等，本申请对此不作任何限定。

还应理解，M帧第四图像的图像质量高于M帧第二图像的图像质量可以是指M帧第四图像中的噪声少于M帧第二图像中的噪声；或者，通过图像质量的评估算法对M帧第四图像与M帧第二图像进行评估，得到的评估结果为M帧第四图像的图像质量高于M帧第二图像等，本申请对此作任何限定。

还应理解，融合图像的细节信息优于N帧第一图像的细节信息可以是指融合图像中的细节信息多于N帧第一图像中任意一帧第一图像中的细节信息；或者，融合图像的细节信息优于N帧第一图像的细节信息可以是指融合图像的清晰度优于N帧第一图像中任意一帧第一图像的清晰度。例如，细节信息可以包括拍摄对象的边缘信息、纹理信息等。

在本申请的实施例中，可以基于语义分割图像，对N帧第三图像和M帧第四图像进行融合处理，得到融合图像；通过在融合处理中引入语义分割图像可以确定融合的局部图像信息；比如，可以通过语义分割图像选取N帧第三图像与M帧第四图像中的局部图像信息进行融合处理，从而能够增加融合图像的局部细节信息。此外，通过对第三图像(例如，可见光图像)与第四图像(例如，近红外光图像)进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息，能够增强图像中的细节信息。

可选地，M帧第四图像为近红外相机模组或者红外相机模组采集的第二图像进行第二图像处理得到的；因此，M帧第四图像包括拍摄对象对近红外光的反射信息；由于近红外光对绿色景物的反射率较高，因此通过近红外相机模组或者红外模组拍摄得到的绿色景物的细节信息更多；通过语义分割图像可以从第四图像中选取绿色景物图像区域进行融合处理，从而能够增强图像中暗光区域中绿色景物的细节信息。

可选地，M帧第四图像为近红外相机模组或者红外相机模组采集的第二图像进行第二图像处理得到的；由于近红外相机模组或者红外相机模组可以获取的光谱范围为近红外光，近红外光的光谱的波长较长，因此近红外光的绕射能力较强；对于云雾拍摄场景或者拍摄较远物体的拍摄场景，近红外相机模组或者红外相机模组采集的图像的通透感更强，即图像中包括更多远处拍摄对象的细节信息(例如，远处山脉的纹理信息)；可以对通过语义分割图像从第四图像中选取远处的图像区域，与通过语义分割图像从第三图像中选取近处的图像区域进行融合处理，从而增强融合图像中的细节信息。

结合第一方面，在第一方面的某些实现方式中，所述对所述M帧第二图像进行第二图像处理，得到M帧第四图像，包括：

对所述M帧第二图像进行黑电平校正处理和/或相位坏点校正处理，得到M帧第五图像；

以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行第一配准处理，得到所述N帧第四图像。

可选地，全局配准处理可以是指以第一帧第三图像为基准，将M帧第四图像中的每一张第四图像的整体映射到第一帧第三图像中。

可选地，黑电平校正(black level correction，BLC)用于对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。相位坏点校正(phase defection pixel correction，PDPC)可以包括相位点校正(phasedefection correction，PDC)与坏点校正(bad pixel correction，BPC)；其中，BPC中的坏点是位置随机的亮点或暗点，数量相对比较少，BPC可以通过滤波算法实现；相对普通像素点而言，相位点就是固定位置的坏点，而且数量比较多；PDC需要通过已知的相位点列表进行相位点去除。

可选地，第二图像处理还可以包括但不限于：

自动白平衡处理(Automatic white balance，AWB)、镜头阴影校正(Lens ShadingCorrection，LSC)等。

其中，自动白平衡处理用于使得白色在任何色温下相机均能把它还原成白；由于色温的影响，白纸在低色温下会偏黄，高色温下会偏蓝；白平衡的目的在于使得白色物体在任何色温下均为R＝G＝B呈现出白色。镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题。

应理解，第二图像处理可以包括黑电平校正、相位坏点校正以及其他Raw域图像处理算法；上述以自动白平衡处理与镜头阴影校正对其他Raw域图像处理算法进行举例描述，本申请对其他Raw域图像处理算法不作任何限定。

结合第一方面，在第一方面的某些实现方式中，所述以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行所述第一配准处理，得到所述N帧第四图像，包括：

以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行所述第一配准处理与上采样处理，得到所述N帧第四图像。

在本申请的实施例中，可以将第四图像的分辨率大小调整至与第三图像相同；从而便于对N帧第三图像与M帧第四图像进行融合处理。

以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行第一配准处理，得到M帧第一配准图像；

以所述任意一帧第三图像为基准，对所述M帧第一配准图像进行第二配准处理，得到所述M帧第四图像。

结合第一方面，在第一方面的某些实现方式中，所述以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行第一配准处理，得到M帧第一配准图像，包括：

以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行所述第一配准处理与上采样处理，得到所述M帧第一配准图像。

结合第一方面，在第一方面的某些实现方式中，所述第一配准处理为全局配准处理。

结合第一方面，在第一方面的某些实现方式中，所述第二配准处理为局部配准处理。

结合第一方面，在第一方面的某些实现方式中，所述对所述N帧第一图像进行第一图像处理，得到N帧第三图像，包括：

对所述N帧第一图像进行黑电平校正处理和/或相位坏点校正处理，得到所述N帧第三图像。

可选地，第一图像处理还可以包括但不限于：

应理解，第一图像处理可以包括黑电平校正、相位坏点校正以及其他Raw域图像处理算法；上述以自动白平衡处理与镜头阴影校正对其他Raw域图像处理算法进行举例描述，本申请对其他Raw域图像处理算法不作任何限定。

结合第一方面，在第一方面的某些实现方式中，所述电子设备还包括红外闪光灯，所述图像处理方法还包括：

在暗光场景下，开启所述红外闪光灯，所述暗光场景是指所述电子设备的进光量小于预设阈值的拍摄场景；

所述响应于所述第一操作，获取N帧第一图像与M帧第二图像，包括：

在开启所述红外闪光灯的情况下，获取所述N帧第一图像与所述M帧第二图像。

结合第一方面，在第一方面的某些实现方式中，所述第一界面包括第二控件；所述在暗光场景下，开启所述红外闪光灯，包括：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

在本申请的实施例中，可以开启电子设备中的红外闪光灯；由于电子设备中可以包括第一相机模组与第二模组，在红外闪光灯开启的情况下，拍摄对象的反射光增加，使得第二相机模组的进光量增加；从而使得通过第二相机模组获取的第二图像的细节信息增加；通过本申请实施例的图像处理方法对第一相机模组与第二相机模组采集的图像进行融合处理，能够对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。此外，红外闪光灯是用户无法感知的，在用户无感知的情况下，提高图像中的细节信息。

结合第一方面，在第一方面的某些实现方式中，所述基于所述语义分割图像，对所述N帧第三图像与所述M帧第四图像进行融合处理，得到融合图像，包括：

基于所述语义分割图像，通过图像处理模型对所述N帧第三图像与所述M帧第四图像进行融合处理，得到所述融合图像，所述图像处理模型为预先训练的神经网络。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

可选地，第一操作可以是指对拍照界面中指示拍照的控件的点击操作。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

可选地，第一操作可以是指对视频录制界面中指示录制视频的控件的点击操作。

结合第一方面，在第一方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

可选地，第一操作可以是指对视频通话界面中指示视频通话的控件的点击操作。

应理解，上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者视频通话的操作；上述为举例说明，并不对本申请作任何限定。

第二方面，提供了一种电子设备，所述电子设备包括一个或多个处理器、存储器、第一相机模组与第二相机模组；所述第二相机模组为近红外相机模组或者红外相机模组，所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述装置执行：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

基于所述N帧第一图像和所述M帧第二图像，得到目标图像；

保存所述目标图像；其中，

所述基于所述N帧第一图像和所述M帧第二图像，得到目标图像，包括：

对所述融合图像进行第三图像处理，得到目标图像。

可选地，第一相机模组可以为可见光相机模组，或者，第一相机模组为其他可以获取可见光的相机模组；本申请对第一相机模组不作任何限定。

可选地，第一相机模组中可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围包括可见光(400nm～700nm)。

结合第二方面，在第二方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

可选地，第二图像处理还可以包括但不限于：

结合第二方面，在第二方面的某些实现方式中，所述第一配准处理为全局配准处理。

结合第二方面，在第二方面的某些实现方式中，所述第二配准处理为局部配准处理。

可选地，第一图像处理还可以包括但不限于：

结合第二方面，在第二方面的某些实现方式中，所述电子设备包括红外闪光灯，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

在开启红外闪光灯的情况下，获取所述N帧第一图像与所述M帧第二图像。

结合第二方面，在第二方面的某些实现方式中，所述第一界面包括第二控件，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

结合第二方面，在第二方面的某些实现方式中，所述语义分割图像为通过语义分割算法对所述N帧第三图像中的第一帧第三图像进行处理得到的。

结合第二方面，在第二方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

结合第二方面，在第二方面的某些实现方式中，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

结合第二方面，在第二方面的某些实现方式中，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中任一种图像处理方法的模块/单元。

第四方面，提供一种电子设备，所述电子设备包括：一个或多个处理器、存储器、第一相机模组与第二相机模组；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种方法。

第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种方法。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中的任一种方法。

第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一面中的任一种方法。

此外，在本申请的实施例中，由于第二相机模组可以获取的光谱范围为近红外光，通过第二相机模组采集的红外光图像是灰度图，灰度图像用于表示的是亮度的真实值；由于第一相机模组可以获取的光谱范围为可见光，通过第一相机模组采集的可见光图像中亮度值是不连续的，通常需要对不连续的亮度值进行预测；通过近红外光图像(亮度的真实值)作为引导对可见光图像进行去马赛克处理时，能够有效减少图像中出现的伪纹理。

附图说明

图1是一种适用于本申请的电子设备的硬件系统的示意图；

图2是一种适用于本申请的电子设备的电子设备的软件系统的示意图；

图3是一种适用于本申请实施例的应用场景的示意图；

图4是一种适用于本申请实施例的应用场景的示意图；

图5是本申请实施例提供的图像处理方法的示意性流程图；

图6是本申请实施例提供的图像处理方法的示意性流程图；

图7是本申请实施例提供的图像处理方法的示意性流程图；

图8是本申请实施例提供的第一配准处理与的上采样处理的示意图；

图9是本申请实施例提供的图像处理方法的示意性流程图；

图10是本申请实施例提供的图像处理方法的示意性流程图；

图11是本申请实施例提供的图像处理方法的示意性流程图；

图12是本申请实施例提供的图像处理方法的示意性流程图；

图13是根据是本申请实施例提供的图像处理方法的效果示意图；

图14是一种适用于本申请实施例的图形用户界面的示意图；

图15是一种适用于本申请实施例的拍摄场景的光路示意图；

图16是本申请实施例提供的一种电子设备的结构示意图；

图17是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

在本申请的实施例中，以下术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。

1、近红外光(near infrared，NIR)

近红外光是指介于可见光与中红外光之间的电磁波；可以将近红外光区划分为近红外短波(780nm～1100nm)和近红外长波(1100nm～2526nm)两个区域。

2、主摄相机模组

主摄相机模组是指接收光谱范围为可见光的相机模组；例如，主摄相机模组中包括的传感器接收的光谱范围为400nm～700nm。

3、近红外相机模组

近红外相机模组是指接收光谱范围为近红外光的相机模组；例如，近红外相机模组中包括的传感器接收的光谱范围为700nm～1100nm。

4、图像的高频信息

图像的高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

5、图像的低频信息

图像的低频信息是指图像中灰度值变化缓慢的区域；对于一幅图像而言，除去高频信息外的部分为低频信息；例如，图像的低频信息可以包括物体边缘以内的内容信息。

6、图像的细节层

图像的细节层中包括图像的高频信息；例如，图像的细节层包括物体的边缘信息、纹理信息等。

7、图像的基础层

图像的基础层中包括图像的低频信息；对于一幅图像来说，除去细节层外的部分为基础层；例如，图像的基础层包括物体边缘以内的内容信息。

8、图像配准(Image registration)

图像配准是指就是将不同时间、不同传感器(成像设备)或者不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。

9、亮度值(Lighting Value，LV)

亮度值用于估计环境亮度，其具体计算公式如下：

其中，Exposure为曝光时间；Aperture为光圈大小；Iso为感光度；Luma为图像在XYZ空间中，Y的平均值。

10、颜色校正矩阵(color correctionmatrix，CCM)

颜色校正矩阵用于校准除白色以外其他颜色的准确度。

11、三维查找表(Threedimensionlook up table，3DLUT)

三维查找表广泛应用于图像处理；例如，查找表可以用于图像颜色校正、图像增强或者图像伽马校正等；例如，可以在图像信号处理器中加载LUT，根据LUT表可以对原始图像进行图像处理，实现原始图像帧的像素值映射改变图像的颜色风格，从而实现不同的图像效果。

12、全局色调映射(Global tone Mapping，GTM)

全局色调映射用于解决高动态图像的灰度值分布不均匀的问题。

13、伽马处理

伽马处理用于通过调整伽马曲线来调整图像的亮度、对比度与动态范围等。

14、神经网络

神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

15、反向传播算法

神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。

下面将结合附图，对本申请实施例中图像处理方法与电子设备进行描述。

图1示出了一种适用于本申请的电子设备的硬件系统。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图2所示的部件更多或更少的部件，或者，电子设备100可以包括图2所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

示例性地，处理器110可以用于执行本申请实施例的图像处理方法；例如，显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，获取N帧第一图像与M帧第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像，N和M均为大于或者等于1的正整数；基于所述N帧第一图像和所述M帧第二图像，得到目标图像；保存所述目标图像；其中，所述基于所述N帧第一图像和所述M帧第二图像，得到目标图像，包括：

对所述N帧第一图像进行第一图像处理，得到N帧第三图像，所述N帧第三图像的图像质量高于所述N帧第一图像的图像质量；对所述M帧第二图像进行第二图像处理，得到M帧第四图像，所述M帧第四图像的图像质量高于所述M帧第二图像的图像质量；基于语义分割图像，对所述N帧第三图像和所述M帧第四图像进行融合处理，得到融合图像，所述语义分割图像为基于所述N帧第一图像中任一帧图像或者所述M帧第二图像中任一帧图像得到的，所述融合图像的细节信息优于所述N帧第一图像的细节信息；对所述融合图像进行第三图像处理，得到目标图像。

图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

上文详细描述了电子设备100的硬件系统，下面介绍图像电子设备100的软件系统。

图2是本申请实施例提供的装置的软件系统的示意图。

如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机应用程序、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架；应用框架层可以包括一些预定义的函数。

例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法库中的算法。

例如，相机算法库中可以包括用于图像处理的软件算法。

驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动；数字信号处理器驱动、图形处理器驱动或者中央处理器驱动。

硬件层250可以包括相机设备以及其他硬件设备。

例如，硬件层250包括相机设备、数字信号处理器、图形处理器或者中央处理器；示例性地，相机设备中可以包括图像信号处理器，图像信号处理器可以用于图像处理。

目前，终端设备上的主摄像头相机模组获取的光谱范围为可见光(400nm～700nm)；在一些拍照场景中，例如，光照条件不好的拍摄场景中，比如，夜晚场景或者浓雾场景中，由于拍摄场景的光线条件较差，电子设备的进光量较少，导致主摄像头相机模组获取的图像中存在部分图像细节信息丢失的问题。

有鉴于此，本申请实施例提供了一种图像处理方法，应用于电子设备；电子设备中可以包括主摄像头相机模组与近红外相机模组，其中，主摄像头相机模组可以获取的光谱范围包括可见光(400nm～700nm)；近红外相机模组可以获取的光谱范围为近红外光(700nm～1100nm)；由于近红外相机模组采集的图像包括拍摄对象对近红外光的反射信息；通过对主摄像头模组采集的图像与近红外相机模组采集的图像进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；因此，通过本申请实施例提供的图像处理方法，能够增强图像中的细节信息。

下面结合图3对本申请实施例提供的图像处理方法的应用场景进行举例说明。

示例性地，本申请实施例中的图像处理方法可以应用于拍照领域(例如，单景拍照、双景拍照等)、录制视频领域、视频通话领域或者其他图像处理领域；由于本申请实施例中采用的是双相机模组，双相机模组包括可以获取可见光的相机模组与可以获取近红外光的相机模组(例如，近红外相机模组，或者，红外相机模组)；对获取的可见光图像与近红外光图像进行图像处理与融合处理，得到画质增强的图像；通过本申请实施例中的图像处理方法对图像进行处理，能够增强图像中的细节信息，提高图像质量。

在一个示例中，如图3所示，本申请实施例应用于阳光下拍摄风景(例如，云雾场景)时，由于近红外相机模组可以获取的光谱范围为近红外光，与可见光光谱范围相比近红外相机模组可以获取的光谱的波长较长，因此绕射能力较强，例如，波长较长的光谱的穿透性更强，采集的图像的画面通透感更强；图3所示为通过主摄像头相机模组与近红外相机模组采集图像后通过本申请实施例提供的图像处理方法得到的图像；图3所示的图像的细节信息较丰富，可以清晰的显示山脉的细节信息；通过本申请实施例提供的图像处理方法可以对主摄像头模组获取的图像进行图像增强，增强图像中的细节信息。

示例性地，图3所示的终端设备可以包括第一相机模组、第二相机模组以及红外闪光灯；其中，第一相机模组可以获取的光谱范围为可见光(400nm～700nm)；第二相机模组可以获取的光谱范围为近红外光(700nm～1100nm)。

在一个示例中，本申请实施例应用于包括绿色景物的场景拍照时，对于进光量较少的暗光区域，由于近红外光对绿色景物的反射率较高，因此通过主摄像头相机模组与近红外相机模组拍摄得到的绿色景物的细节信息更多，能够增强图像中暗光区域中绿色景物的细节信息。

在一个示例中，本申请实施例应用于夜景人像拍摄时，可以开启电子设备中的红外闪光灯，例如，人像可以包括拍摄对象面部的脸、眼睛、鼻子、嘴巴、耳朵、眉毛等；由于电子设备中包括主摄像头相机模组与近红外相机模组，在红外闪光灯开启的情况下，拍摄对象的反射光增加，使得近红外相机模组的进光量增加；从而使得通过近红外相机模组拍摄的人像的细节信息增加，通过本申请实施例的图像处理方法对主摄像头相机模组与近红外相机模组采集的图像进行融合处理，能够对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。此外，红外闪光灯是用户无法感知的，在用户无感知的情况下，提高图像中的细节信息。

可选地，电子设备在检测到食物或者人像时可以关闭近红外相机模组。

例如，在食物拍摄场景中可以包括多个食物，近红外相机模组可以采集多个食物中部分食物的图像；例如，多个食物可以为桃子、苹果或者西瓜等，近红外相机模组可以采集桃子和苹果的图像，且不采集西瓜的图像。

可选地，近红外相机模组可以显示提示信息，提示用于是否开启近红外相机模组；在用户授权开启近红外相机模组后，近红外相机模组才能够开启采集图像。

在一个示例中，本申请的图像处理方法可以应用于折叠屏终端设备中；例如，折叠屏终端设备可以包括外屏与内屏；在折叠屏终端设备的外屏与内屏之间的夹角为零度时，可以在外屏上显示预览图像，如图4中的(a)所示；在折叠屏终端设备的外屏与内屏之间的夹角为锐角时，可以在外屏上显示预览图像，如图4中的(b)所示；在折叠屏终端设备的外屏与内屏之间的夹角为钝角时，可以在内屏上的一侧显示预览图像，另一侧显示用于指示拍摄的控件，如图4中的(c)所示；在折叠屏终端设备的外屏与内屏之间的夹角为180度时，可以在内屏上显示预览图像，如图4中的(d)所示；上述预览图像可以是通过本申请实施例提供的图像处理方法对采集的图像进行处理得到的。示例性地，图4所示的折叠屏终端设备可以包括第一相机模组、第二相机模组以及红外闪光灯；其中，第一相机模组可以获取的光谱范围为可见光(400nm～700nm)；第二相机模组可以获取的光谱范围为近红外光(700nm～1100nm)。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合图5与图15对本申请实施例提供的图像处理方法进行详细描述。

图5是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该方法200包括步骤S201至步骤S205，下面分别对步骤S201至步骤S205进行详细的描述。

应理解，图5所示的图像处理方法应用于电子设备，电子设备中包括第一相机模组与第二相机模组，第二相机模组获取的光谱为近红外相机模组或者红外相机模组(例如，获取的光谱范围为700nm～1100nm)。

可选地，第一相机模组可以为可见光相机模组(例如，获取的光谱范围为400nm～700nm)，或者第一相机模组为其他可以获取可见光的相机模组。

步骤S201、显示第一界面，第一界面包括第一控件。

可选地，第一界面可以是指电子设备的拍照界面，第一控件可以是指拍照界面中用于指示拍照的控件，如图3或者图4所示。

可选地，第一界面可以是指电子设备的视频录制界面，第一控件可以是指视频录制界面中用于指示录制视频的控件。

可选地，第一界面可以是指电子设备的视频通话界面，第一控件可以是指视频通话界面用于指示视频通话的控件。

步骤S202、检测到对第一控件的第一操作。

步骤S203、响应于第一操作，获取N帧第一图像与M帧第二图像。

其中，N帧第一图像可以是通过第一相机模组采集的图像，M帧第二图像是通过所述第二相机模组采集的图像；第二相机模组为近红外相机模组或者红外相机模组(例如，获取的光谱范围为700nm～1100nm)；N、M为大于1的正整数。

可选地，第一图像与第二图像可以是指Raw颜色空间的图像。

例如，第一图像可以是指Raw颜色空间的RGB图像；第二图像可以是指Raw颜色空间的NIR图像。

步骤S204、基于N帧第一图像和M帧第二图像，得到目标图像。

其中，基于N帧第一图像和M帧第二图像，得到目标图像可以包括以下步骤：

对N帧第一图像进行第一图像处理，得到N帧第三图像，N帧第三图像的图像质量高于N帧第一图像的图像质量；对M帧第二图像进行第二图像处理，得到M帧第四图像，M帧第四图像的图像质量高于所述M帧第二图像的图像质量；基于语义分割图像，对N帧第三图像和M帧第四图像进行融合处理，得到融合图像，所述语义分割图像为基于N帧第一图像中任一帧图像或者M帧第二图像中任一帧图像得到的，融合图像的细节信息优于N帧第一图像的细节信息；对融合图像进行第三图像处理，得到目标图像。

应理解，N帧第三图像的图像质量高于N帧第一图像的图像质量可以是指N帧第三图像中的噪声少于N帧第一图像中的噪声；或者，通过图像质量的评估算法对N帧第三图像与N帧第一图像进行评估，得到的评估结果为N帧第三图像的图像质量高于N帧第一图像等，本申请对此不作任何限定。图像质量的评估例如可以包括像曝光、清晰度、颜色、质感、噪音、防手抖、闪光灯、对焦和/或伪像等方面的评估。

还应理解，融合图像的细节信息优于N帧第一图像的细节信息可以是指融合图像中的细节信息多于N帧第一图像中任意一帧第一图像中的细节信息；或者，融合图像的细节信息优于N帧第一图像的细节信息可以是指融合图像的清晰度优于N帧第一图像中任意一帧第一图像的清晰度。也可以是其他情况，本申请不进行限定。例如，细节信息可以包括拍摄对象的边缘信息、纹理信息等(例如，发丝边缘，人脸细节，衣服褶皱、大量树木的每颗树木边缘，绿植的枝叶脉络等)。

例如，M帧第四图像为近红外相机模组或者红外相机模组采集的第二图像进行第二图像处理得到的；因此，M帧第四图像包括拍摄对象对近红外光的反射信息；由于近红外光对绿色景物的反射率较高，因此通过近红外相机模组或者红外模组拍摄得到的绿色景物的细节信息更多；通过语义分割图像可以从第四图像中选取绿色景物图像区域进行融合处理，从而能够增强图像中暗光区域中绿色景物的细节信息。

例如，M帧第四图像为近红外相机模组或者红外相机模组采集的第二图像进行第二图像处理得到的；由于近红外相机模组或者红外相机模组可以获取的光谱范围为近红外光，近红外光的光谱的波长较长，因此近红外光的绕射能力较强；对于云雾拍摄场景或者拍摄较远物体的拍摄场景，近红外相机模组或者红外相机模组采集的图像的通透感更强，即图像中包括更多远处拍摄对象的细节信息(例如，远处山脉的纹理信息)；可以对通过语义分割图像从第四图像中选取远处的图像区域，与通过语义分割图像从第三图像中选取近处的图像区域进行融合处理，从而增强融合图像中的细节信息。

可选地，N帧第一图像可以是指第一相机模组采集的N帧Raw图像(例如，RGGB图像)；对N帧第一图像进行第一图像处理，可以得到N帧第三图像；其中，第一图像处理可以包括黑电平校正处理和/或相位坏点校正处理。

其中，黑电平校正(black level correction，BLC)用于对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。相位坏点校正(phase defection pixel correction，PDPC)可以包括相位点校正(phase defectioncorrection，PDC)与坏点校正(bad pixel correction，BPC)；其中，BPC中的坏点是位置随机的亮点或暗点，数量相对比较少，BPC可以通过滤波算法实现；相对普通像素点而言，相位点就是固定位置的坏点，而且数量比较多；PDC需要通过已知的相位点列表进行相位点去除。

可选地，第一图像处理还可以包括但不限于：

可选地，对M帧第二图像进行第二图像处理，得到M帧第四图像，包括：

对M帧第二图像进行黑电平校正处理和/或相位坏点校正处理，得到M帧第五图像；以N帧第三图像中的任意一帧第三图像为基准，对M帧第五图像进行第一配准处理，得到N帧第四图像。

可选地，第二图像处理还可以包括但不限于：

在一个示例中，第一相机模组为可见光相机模组，第二相机模组为近红外相机模组或者红外光相机模组；通过第一相机模组可以采集N帧RGBRaw图像，通过第二相机模组可以采集M帧NIRRaw图像；对N帧RGBRaw图像进行黑电平校正处理和/或相位坏点校正处理，得到N帧处理后的RGBRaw图像；对M帧NIRRaw图像进行黑电平校正处理和/或相位坏点校正处理，可以得到M帧处理后的NIRRaw图像；由于两个相机模组未设置在同一位置，对于同一拍摄场景第一相机模组与第二相机模组的存在一定基线距离；因此，可以以N帧处理后的RGBRaw图像中的任意一帧图像为基准，对M帧处理后的NIRRaw图像进行全局配准处理，得到M帧配准后的图像；基于语义分割图像，对N帧处理后的RGBRaw图像与M帧配准后的图像进行融合处理，得到融合图像。可选地，具体步骤可以参见后续图9所示。

可选地，全局配准处理可以是指以N帧处理后的RGB Raw图像中的任意一帧图像为基准，对M帧处理后的NIR Raw图像进行的全局配准处理；或者，全局处理也可以是指以M帧处理后的NIR Raw图像中的任意一帧图像为基准，对N帧处理后的RGB Raw图像进行的全局配准处理。

可选地，为了便于融合处理，可以将M帧第四图像的图像分辨率大小调整至与N帧第三图像的图像分辨率大小相同；例如，通过以N帧第三图像中任意一帧第三图像为基准，对M帧配准后的图像进行上采样处理或者下采样处理，得到M帧第四图像；或者，可以通过以M帧第四图像中任意一帧第三图像为基准，对N帧处理后的RGBRaw图像进行上采样处理或者下采样处理，得到N帧第三图像。

可选地，以N帧第三图像中任意一帧第三图像为基准，对M帧配准后的图像进行上采样处理或者下采样处理，得到M帧第四图像的具体流程，可以参见后续图像8所示。

对M帧第二图像进行黑电平校正处理和/或相位坏点校正处理，得到M帧第五图像；以N帧第三图像中的任意一帧第三图像为基准，对M帧第五图像进行第一配准处理，得到M帧第一配准图像；以任意一帧第三图像为基准，对M帧第一配准图像进行第二配准处理，得到M帧第四图像。

在一个示例中，第一相机模组可以为可见光相机模组，第二相机模组为近红外相机模组或者红外光相机模组；通过第一相机模组可以采集N帧RGBRaw图像，通过第二相机模组可以采集M帧NIRRaw图像；对N帧RGBRaw图像进行黑电平校正处理和/或相位坏点校正处理，得到N帧处理后的RGBRaw图像；对M帧NIRRaw图像进行黑电平校正处理和/或相位坏点校正处理，可以得到M帧处理后的NIRRaw图像；由于两个相机模组未设置在同一位置，对于同一拍摄场景第一相机模组与第二相机模组的存在一定基线距离；因此，可以以N帧处理后的RGBRaw图像中的任意一帧图像为基准，对M帧处理后的NIRRaw图像进行全局配准处理，得到M帧第一配准图像；进一步地，可以以N帧处理后的RGBRaw图像中的任意一帧图像为基准，对M帧第一配准图像进行局部配准处理，得到第二配准图像；

基于语义分割图像，对N帧处理后的RGBRaw图像与第二配准图像进行融合处理，得到融合图像。可选地，具体步骤可以参见后续图10所示。

可选地，在全局配准处理的基础上进一步进行局部配准处理，使得M帧第一配准图像中的局部细节进行再次图像配准处理；能够提高融合处理图像的局部细节信息。

可选地，基于语义分割图像，对N帧第三图像与M帧第四图像进行融合处理，得到融合图像，包括：

基于语义分割图像，通过图像处理模型对N帧第三图像与所述M帧第四图像进行融合处理，得到融合图像。

示例性地，图像处理模型为预先训练的神经网络。

例如，可以通过大量的样本数据与损失函数通过反向传播算法迭代更新神经网络的参数，得到图像处理模型。

步骤S205、保存目标图像。

可选地，可以对融合图像进行第三图像处理，可以得到目标图像；目标图像可以是指电子设备的显示屏中显示的图像。

示例性地，融合图像可以是指RGB颜色空间的图像；目标图像可以是指电子设备发送至屏幕中显示的图像；第三图像处理可以包括但不限于：RGB域图像算法，或者YUV域图像算法；可选地，可以参见后续图6所示的步骤S308与步骤S309。

可选地，电子设备中还可以包括红外闪光灯；在暗光场景下，可以开启红外闪光灯；在开启红外闪光灯的情况下，可以获取N帧第一图像与M帧第二图像；其中，暗光场景是指所述电子设备的进光量小于预设阈值的拍摄场景。

应理解，对于暗光场景，电子设备的进光量较少；电子设备开启红外闪光灯后，可以使得第二相机模组获取的反射光增加，从而增加第二相机模组的进光量；使得第二相机模组采集的第二图像的清晰度增加；由于第二图像的清晰度增加，使得第一图像处理后的第三图像的清晰度增加；由于第三图像的清晰度增加，使得通过图像处理模型对第三图像与第四图像处理后的融合图像的清晰度增加。

可选地，由于电子设备的亮度值越大，表示电子设备的进光量越多；可以通过电子设备的亮度值确定电子设备的进光量大小，在电子设备的亮度值小于预设亮度阈值时，则电子设备开启红外闪光灯。

其中，亮度值用于估计环境亮度，其具体计算公式如下：

可选地，电子设备的第一界面中还可以包括第二控件；在暗光场景下，电子设备检测到对第二控件的第二操作；响应于第二操作电子设备可以开启红外闪光灯。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第二相机模组为近红外相机模组，或者红外相机模组；例如，可以获取的光谱范围为近红外光(700nm～1100nm)；通过第一相机模组采集第一图像，通过第二相机模组采集第二图像；由于第二图像(例如，近红外图像)中包括的图像信息是第一图像中(例如，可见光图像)无法获取到的；同理，第三图像中包括的图像信息是第四图像无法获取到的；因此，通过对第三图像(例如，可见光图像)与第四图像(例如，近红外光图像)进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；因此，通过本申请实施例提供的图像处理方法，能够增强图像中的细节信息。

图6是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该图像处理方法包括步骤S301至步骤S309，下面分别对步骤S301至步骤S309进行详细的描述。

应理解，图6所示的图像处理方法可以应用于如图1所示的电子设备，该电子设备包括第一相机模组与第二相机模组；第一相机模组可以获取的光谱范围为可见光(400nm～700nm)；第二相机模组可以获取的光谱范围为近红外光(700nm～1100nm)。

步骤S301、通过第一相机模组获取第一Raw图像(例如，第一图像的一个示例)。

示例性地，第一相机模组中可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为可见光(400nm～700nm)。

可选地，步骤301中可以获取多帧第一Raw图像(例如，N帧第一图像)。

步骤S302、通过第二相机模组获取第二Raw图像(第二图像的一个示例)。

需要说明的是，在本申请的实施例中第二相机模组采集的第二Raw图像可以是指单通道的图像；第二Raw图像用于表示光子叠加在一起的强度信息；例如，第二Raw图像可以是在单通道的灰度图像。

可选地，步骤302中获取的第二Raw图像可以是指多帧第二Raw图像(例如，M帧第二图像)。

可选地，上述步骤S301与步骤S302可以是同步执行的；即第一相机模组与第二相机模组可以同步出帧，分别获取第一Raw图像与第二Raw图像。

步骤S303、对第一Raw图像进行黑电平校正与相位坏点校正，得到第三Raw图像(第三图像的一个示例)。

其中，黑电平校正(black level correction，BLC)用于对黑电平进行校正处理，黑电平是指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平。相位坏点校正(phase defectionpixel correction，PDPC)可以包括相位点校正(phasedefectioncorrection，PDC)和坏点校正(bad pixel correction，BPC)；BPC中的坏点是位置随机的亮点或暗点，数量相对比较少；BPC可以通过滤波算法实现，PDC需要通过一个已知的相位点列表对进行相位点。

可选地，上述以黑电平校正与相位坏点校正进行举例说明；还可以对第一Raw图像进行其他图像处理算法；例如，还可以对第一Raw图像进行自动白平衡处理(Automaticwhite balance，AWB)或者镜头阴影校正(Lens Shading Correction，LSC)等。

其中，自动白平衡处理用于使得白色在任何色温下相机均能把它还原成白；由于色温的影响，白纸在低色温下会偏黄，高色温下会偏蓝；白平衡的目的在于使得白色物体在任何色温下均为R＝G＝B呈现出白色。镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题。应理解，上述以自动白平衡处理与镜头阴影校正对其他图像处理算法进行举例描述，本申请对其他图像处理算法不作任何限定。

步骤S304、对第二Raw图像进行黑电平校正与相位坏点校正，得到第四Raw图像(第五图像的一个示例)。

可选地，步骤S303与步骤S304可以没有时序要求，或者，步骤S303与步骤S304也可以是同时执行的。

步骤S305、获取语义分割图像。

示例性地，可以通过语义分割算法对第一帧第三Raw图像进行处理，得到语义分割图像。

可选地，语义分割算法可以包括多实例分割算法；通过语义分割算法可以输出图像中各个区域的标签。在本申请的实施例中，可以获取语义分割图像，语义分割图像用于步骤S307图像处理模型进行融合处理；通过在融合处理中引入语义分割图像，可以从不同的图像中选取部分图像区域用于融合处理，从而增加融合图像的局部细节信息。

示例性地，可以通过语义分割算法对第一帧第四Raw图像进行处理，得到语义分割图像。

可选地，在本申请的实施例中，可以通过第四Raw图像即近红外图像得到语义分割图像；由于近红外图像对细节的描述能力较好，因此通过近红外图像得到语义分割图像细节信息更加丰富。

步骤S306、对第三Raw图像、第四Raw图像以及语义分割图像进行预处理。

可选地，预处理可以包括对第四Raw图像进行上采样处理与配准处理。例如，可以以第一帧第三Raw图像为基准对第四Raw图像进行上采样处理与配准处理，得到第五图像。

可选地，预处理还可以包括特征拼接处理；特征拼接处理是指对图像的通道数量进行叠加的处理。

应理解，由于第四Raw图像的分辨率小于第三Raw图像，因此需要对第四Raw图像进行上采样处理，使得第四Raw图像与第三Raw图像的分辨率相同；此外，由于第四Raw图像是通过第二相机模组采集的，第三Raw图像是通过第一相机模组采集的；由于第一相机模组与第二相机模组分别设置在电子设备中的不同位置，因此第一相机模组与第二相机模组之间存在一定的基线距离，即通过第一相机模组采集的图像与通过第二相机模组采集的图像之间存在一定的视差，需要对两者采集的图像进行配准处理。

应理解，上述通过对上采样处理进行举例说明；若第四Raw图像的分辨率大于第三Raw图像的分辨率，预处理过程中可以包括下采样处理与配准处理；若第四Raw图像的分辨率等于第三Raw图像的分辨率，预处理过程中可以包括配准处理；本申请实施例对此不作任何限定。

示例性地，以预处理过程包括上采样与配准处理进行举例说明；下面结合图8对步骤S306中的预处理进行详细的描述。

应理解，第四Raw图像是指对第二Raw图像进行黑电平校正与相位坏点校正后的Raw图像，第二Raw图像是指第二相机模组采集的Raw图像；第三Raw图像是指对第一Raw图像进行黑电平校正与相位坏点校正后的Raw图像，第一Raw图像是指第一相机模组采集的Raw图像。

步骤S320、获取第四Raw图像。

例如，第四Raw图像的分辨率大小为7M。

步骤S330、获取第三Raw图像。

例如，第三Raw图像的分辨率大小为10M。

步骤S340、以第三Raw图像为基准对第四Raw图像进行配准处理。

示例性地，步骤S330配准处理可以用于从第四Raw图像中获取与第三Raw图像中相同的像素；例如，第三Raw图像为10M，第四Raw图像为7M，第三Raw图像与第四Raw图像中相同像素为80％；配准处理可以用于从7M第四Raw图像中获取与10M第三Raw图像相同的80％的像素。可选地，可以以多帧第三Raw图像中的第一帧Raw图像为基准对多帧第四Raw图像进行配准处理。

步骤S350、对第四Raw图像进行校正处理，得到第五Raw图像。

示例性地，步骤S340用于对步骤S330获取的第四Raw图像中与第三Raw图像相同的像素部分像素进行上采样处理，得到与第四Raw图像相同分辨率大小的第五Raw图像。

可选地，可以通过图像变换矩阵(例如，单应性矩阵)对第四Raw图像进行图像转换，使得第四Raw图像中的部分像素映射到与第三Raw图像相同大小的图像上；其中，单应性矩阵是指图像的两个平面投影之间的映射。示例性地，如图8所示10M的第三Raw图像中黑色的区域表示空像素。

可选地，预处理可以还包括对第三Raw图像、第五Raw图像与语义分割图像进行特征提取与拼接处理(contact)。

应理解，特征拼接处理是指对图像的通道数量进行叠加的处理。

例如，假设第五Raw图像为3通道图像、第三Raw图像为3通道图像、语义分割图像为单通道图像，则通过特征提取与拼接处理后得到7通道图像。

步骤S307、将预处理后的图像输入至图像处理模型中得到输出的RGB图像(融合图像的一个示例)。

在一个示例中，经过预处理后可以将N帧第三Raw图像(第三图像的一个示例)、语义分割图像与M帧第五Raw图像(第四图像的一个示例)输入至图像处理模型进行融合处理；具体步骤如图9所示。

在一个示例中，经过预处理后可以将N帧第三Raw图像(第三图像的一个示例)、语义分割图像与第六Raw图像(第四图像的一个示例)输入至图像处理模型进行融合处理，其中，第六Raw图像为单帧图像，为图10中的以第三Raw图像为基准的多帧第五Raw图像融合后的单帧图像；具体步骤如图10所示。

可以理解的，图6和图7中的第五Raw图像/第六Raw图像表示为第五Raw图像或者第六Raw图像。

可选地，图像处理模型为预先训练的神经网络；图像处理模型可以用于融合处理与去马赛克处理；例如，图像处理模型可以基于语义分割图像对输入的Raw图像进行融合处理与去马赛克处理，得到RGB图像。

可选地，图像处理模型为预先训练的神经网络。

可选地，图像处理模型可以用于融合处理与去马赛克处理；例如，图像处理模型可以基于语义分割图像对输入的Raw图像进行融合处理与去马赛克处理，得到RGB图像。

可选地，图像处理模型还可以用于去噪处理；由于图像的噪声主要来源于泊松分布与高斯分布，通过多帧图像进行去噪处理时，多帧图像进行叠加取平均时高斯分布可以近似为0；因此，通过多帧图像进行去噪处理可以提高图像的去噪效果。

示例性地，在本申请的实施例中，输入图像处理模型中的图像可以包括N帧第三Raw图像(可见光图像)与M帧第五Raw图像(近红外光图像)；或者，N帧第三Raw图像(可见光图像)与第六Raw图像(近红外光图像)；在进行去马赛克处理时，由于红外光图像是灰度图表示的是亮度的真实值；可见光图像为拜耳格式的Raw图像，拜耳格式的Raw图像中亮度值是不连续的，通常通过插值方法对不连续区域的亮度进行预测；因此，通过近红外图像中亮度的真实值可以引导拜耳格式的Raw图像进行去马赛克，从而能够有效减少图像中出现的伪纹理。

在本申请的实施例中，近红外图像的光谱范围为700nm～1100nm，可见光图像的光谱范围为400nm～700nm，由于近红外图像中包括的图像信息是可见光图像中无法获取到的；因此，通过对第一相机模组采集的Raw图像(可见光图像)与第二相机模组采集的Raw图像(近红外光图像)处理后进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息。

可选的，S307也可以输出Raw图像(Raw颜色空间)，然后再通过其他步骤将Raw图像转换为RGB图像(RGB颜色空间)。

步骤S308、对RGB图像进行RGB域算法处理。

可选地，RGB域算法处理可以包括但不限于：

颜色校正矩阵处理，或者三维查找表处理等。

其中，颜色校正矩阵(color correctionmatrix，CCM)，用于校准除白色以外其他颜色的准确度。三维查找表(Look Up Table，LUT)广泛应用于图像处理；例如，查找表可以用于图像颜色校正、图像增强或者图像伽马校正等；例如，可以在图像信号处理器中加载LUT，根据LUT表可以对原始图像进行图像处理，实现原始图像映射到其他图像的颜色风格，从而实现不同的图像效果。

可选地，可以根据语义分割图像进行RGB图像处理；比如，可以根据语义分割图像对RGB图像中的不同区域进行亮度处理。

需要说明的是，上述以颜色校正矩阵处理与三维查找表处理为例进行举例说明；本申请对RGB图像处理并不作任何限定。

步骤S309、将RGB图像转换至YUV域并进行YUV域算法处理，得到目标图像。

可选地，YUV域算法处理可以包括但不限于：

全局色调映射处理或者伽马处理等。

其中，全局色调映射(Global tone Mapping，GTM)用于解决高动态图像的灰度值分布不均匀的问题。伽马处理用于通过调整伽马曲线来调整图像的亮度、对比度与动态范围等。

需要说明的是，上述以全局色调映射处理与伽马处理为例进行举例说明；本申请对YUV图像处理并不作任何限定。

可选地，步骤S307、步骤S308与步骤S309中的部分或者全部可以在图像处理模型中执行。

应理解，在电子设备处于非暗光场景时，可以通过上述步骤S301至步骤S309执行本申请实施例提供的图像处理方法。

可选地，电子设备中还可以包括红外闪光灯；在电子设备处于暗光场景时，即电子设备的进光量小于预设阈值的情况下(例如，可以根据亮度值进行判断)，电子设备可以执行图7所示的步骤S310开启红外闪光灯；在红外闪光灯开启后，通过第一相机模组获取第一Raw图像，通过第二相机模组获取第二Raw图像，执行如图7所示的步骤S311至步骤S319；应理解，步骤S310至步骤S319适用于步骤S301至步骤S309的相关描述，此处不再赘述。

其中，亮度值用于估计环境亮度，其具体计算公式如下：

/>

其中，Exposure为曝光时间；Aperture为光圈大小；Iso为感光度；Luma为图像在XYZ空间中，Y的平均值。示例性地，在暗光场景下，电子设备在检测到拍摄指示后可以先进行对焦，同步进行场景检测；识别到暗光场景并完成对焦后可以开启红外闪光灯，红外闪光灯开启后，第一Raw图像与第二Raw图像可以同步出帧。

应理解，对于暗光场景电子设备的进光量较少；电子设备开启红外闪光灯后，可以使得第二相机模组获取的反射光增加，从而增加第二相机模组的进光量；使得第二相机模组采集的第二Raw图像的清晰度增加；由于第二Raw图像的清晰度增加，使得通过第二Raw图像得到的第四Raw图像的清晰度增加；由于第四Raw图像的清晰度增加，使得融合图像的清晰度增加。

在本申请的实施例中，电子设备中可以包括第一相机模组与第二相机模组，其中，第一相机模组可以获取的光谱范围包括可见光(400nm～700nm)；第二相机模组可以获取的光谱范围为近红外光(700nm～1100nm)；通过第一相机模组采集第一图像，通过第二相机模组采集第二图像；由于第二图像(例如，近红外图像)中包括的图像信息是第一图像中(例如，可见光图像)无法获取到的；同理，第三图像中包括的图像信息是第四图像无法获取到的；因此，通过对第三图像(例如，可见光图像)与第四图像(例如，近红外光图像)进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；因此，通过本申请实施例提供的图像处理方法，能够增强图像中的细节信息。

下面结合图9与图10对图6所示的步骤S306至步骤S307进行详细描述。

实现方式一

在一个示例中，可以对第一相机模组采集的多帧第一Raw图像与第二相机模组采集的多帧第二Raw图像进行图像处理，从而得到细节信息增强的图像；其中，图像处理可以包括但不限于：降噪处理、去马赛克处理或者融合处理。

图9是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该图像处理方法包括步骤S401至步骤S406，下面分别对步骤S401至步骤S406进行详细的描述。

步骤S401、获取多帧第三Raw图像(第三图像的一个示例)。

示例性地，可以通过第一相机模组(400nm～700nm)获取多帧第一Raw图像，对多帧第一Raw图像进行黑电平校正与相位坏点校正处理，得到多帧第三Raw图像。

步骤S402、获取多帧第五Raw图像(第四图像的一个示例)。

示例性地，可以通过第二相机模组(700nm～1100nm)获取多帧第二Raw图像；对多帧第二Raw图像进行黑电平校正与相位坏点校正处理，得到多帧第四Raw图像；以第三Raw图像为基准对第四Raw图像进行配准处理，得到第五Raw图像。

步骤S403、获取语义分割图像。

示例性地，可以通过语义分割算法得到语义分割图像。

可选地，可以通过语义分割算法对多帧第三Raw图像中的第一帧第三Raw图像进行处理，得到语义分割图像。

可选地，可以根据语义分割算法对多帧第四Raw图像中的第一帧第四Raw图像进行处理，得到语义分割图像。

在本申请的实施例中，可以基于语义分割图像，对多帧第三Raw图像和多帧第五Raw图像进行融合处理，得到融合图像；通过在融合处理中引入语义分割图像可以确定融合的局部图像信息；比如，可以通过语义分割图像选取多帧第三Raw图像与多帧第五Raw图像中的局部图像信息进行融合处理，从而能够增加融合图像的局部细节信息。此外，通过对第三Raw图像(例如，可见光图像)与第五Raw图像(例如，近红外光图像)进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息，能够增强图像中的细节信息。

步骤S404、对多帧第五Raw图像、多帧第三Raw图像与语义分割图像进行特征拼接处理，得到多通道的图像特征。

例如，假设第五aw图像为单通道图像、第三Raw图像为3通道图像、语义分割图像为单通道图像，则通过特征拼接处理后可以得到5通道的图像特征。

步骤S405、将多通道的图像特征输入至图像处理模型进行融合处理。

示例性地，图像处理模型可以用于对Raw颜色空间的图像进行融合处理；图像处理模型为预先训练的神经网络。

可选地，图像处理模型还可以用于去噪处理与去马赛克处理；例如，图像处理模型可以基于语义分割图像对多帧第三Raw图像与多帧第五Raw图像进行去噪处理、去马赛克处理与融合处理。

应理解，由于图像的噪声主要来源于泊松分布与高斯分布，通过多帧图像进行去噪处理时，多帧图像进行叠加取平均时高斯分布可以近似为0；因此，通过多帧图像进行去噪处理可以提高图像的去噪效果。

在本申请的实施例中，多帧第五Raw图像是红外光图像；近红外光图像为单通道的灰度图，灰度图像用于表示的是亮度的真实值；多帧第三Raw图像是可见光图像；可见光图像中亮度值是不连续的，通常需要对不连续的亮度值进行预测；通过近红外光图像(亮度的真实值)作为引导对可见光图像进行去马赛克处理时，能够有效减少图像中出现的伪纹理。

步骤S406、图像处理模型输出RGB图像(融合图像的一个示例)。

在本申请的实施例中，第一相机模组可以获取的光谱范围为可见光400nm～700nm，第二相机模组可以获取的光谱范围为近红外光700nm～1100nm；由于近红外图像中包括的图像信息是可见光图像中无法获取到的；因此通过对第一相机模组采集的Raw图像(可见光图像)与第二相机模组采集的Raw图像(近红外光图像)处理后进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；即通过本申请实施例提供的图像处理方法，能够对主摄像头相机模组获取的图像进行图像增强，增强图像中的细节信息，提高图像质量。

实现方式二

在一个示例中，可以根据第三Raw图像对多帧第五Raw图像进行多帧降噪、超分辨率处理或者局部配准处理(例如，第二配准处理的一个示例)等，得到第六Raw图像(例如，单帧第六Raw图像)；第六Raw图像与第五Raw图像相比，第六Raw图像可以是指无噪声局部配准的Raw图像；通过图像处理模型对第六Raw图像、多帧第三Raw图像与语义分割图像进行融合处理。

应理解，在实现方式一中通过如图8所示的方法以第三Raw图像为基准对第四Raw图像进行全局配准，得到第五Raw图像；在实现方式二中，通过以第三Raw图像为基准，进一步对第五Raw图像进行局部配准，局部配准处理可以增强第五Raw图像中的细节信息，从而使得融合处理后的图像局部细节信息增强。

图10是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该图像处理方法包括步骤S501至步骤S510，下面分别对步骤S501至步骤S510进行详细的描述。

步骤S501、获取多帧第五Raw图像(第一配准图像的一个示例)。

示例性地，可以通过第二相机模组获取多帧第二Raw图像；对多帧第二Raw图像进行黑电平校正与相位坏点校正处理，得到多帧第四Raw图像；以第三Raw图像为基准对第四Raw图像进行配准处理，得到第五Raw图像。

例如，第二相机模组中可以包括第二镜片、第二镜头与图像传感器，第二镜片可以通过的光谱范围为近红外光(700nm～1100nm)。

步骤S502、获取第三Raw图像(第三图像的一个示例)。

可选地，第三Raw图像可以是指多帧第三Raw图像中的第一帧Raw图像。

示例性地，可以通过第一相机模组获取多帧第一Raw图像，对多帧第一Raw图像进行黑电平校正与相位坏点校正处理，得到多帧第三Raw图像。

步骤S503、对多帧第五Raw图像与第三Raw图像进行特征拼接处理，得到图像特征。

应理解，S503中的特征拼接处理，同S404在此不再进行赘述。

步骤S504、对图像特征进行图像处理。

示例性地，图像处理可以包括但不限于：多帧降噪、超分辨率处理、局部配准处理或者融合处理中的一项或者多项。

步骤S505、得到第六Raw图像(第四图像的一个示例)。

应理解，第六Raw图像与第五Raw图像相比，第六Raw图像可以是指无噪声局部配准的Raw图像。

步骤S506、获取多帧第三Raw图像。

例如，第一相机模组中可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为可见光(400nm～700nm)。

步骤S507、获取语义分割图像。

可选地，语义分割算法可以包括多实例分割算法；通过语义分割算法可以输出图像中各个区域的标签。

步骤S508、对单帧第六Raw图像、多帧第三Raw图像与语义分割图像进行特征拼接处理，得到多通道的图像特征。

例如，假设第六Raw图像为单通道图像、第三Raw图像为3通道图像、语义分割图像为单通道图像，则通过特征提取与拼接处理后得到5通道图像。

步骤S509、将多通道的图像特征输入至图像处理模型进行融合处理。

可选地，图像处理模型可以用于去噪处理、去马赛克处理与融合处理；例如，图像处理模型可以基于语义分割图像对多帧第三Raw图像与多帧第五Raw图像进行去噪处理、去马赛克处理与融合处理。

步骤S510、图像处理模型输出RGB图像(融合图像的一个示例)。

在本申请的实施例中，电子设备中包括第一相机模组与第二相机模组；第一相机模组可以获取的光谱范围为可见光400nm～700nm，第二相机模组可以获取的光谱范围为近红外光700nm～1100nm；由于近红外图像中包括的图像信息是可见光图像中无法获取到的；因此通过对第一相机模组采集的Raw图像(可见光图像)与第二相机模组采集的Raw图像(近红外光图像)处理后进行融合处理，可以实现近红外光的图像信息与可见光的图像信息的多光谱信息融合，使得融合后的图像中包括更多的细节信息；即通过本申请实施例提供的图像处理方法，能够对主摄像头相机模组获取的图像进行图像增强，增强图像中的细节信息，提高图像质量。

可选地，在本申请的实施例中可以采用图5或者图6所示的图像处理方法对第一相机模组与第二相机模组采集的图像进行融合处理；此外，为了增强融合处理后图像中的局部细节信息，还可以采用图11所示的图像处理方法对第一相机模组与第二相机模组采集的图像进行融合处理；例如，通过第一相机采集的RGB图像，通过第二相机采集的NIR图像；通过语义分割图像在NIR图像的细节层中选择局部区域，通过NIR图像的细节层中的局部区域与RGB图像的细节层、RGB图像的基础层进行融合，从而实现可选择性的对可见光图像中局部区域的细节增强。

图11是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该图像处理方法包括步骤S601至步骤S619，下面分别对步骤S601至步骤S619进行详细的描述。

步骤S601、获取第一Raw图像。

示例性地，可以通过第一相机模组获取第一Raw图像；例如，例如，第一相机模组中可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为可见光(400nm～700nm)。

步骤S602、对第一Raw图像进行降噪处理，得到降噪处理后的第一Raw图像。

示例性地，通过对第一Raw图像进行降噪处理可以有效的降低图像中的噪声信息，从而使得后续通过第一Raw图像进行融合处理时，提高融合处理后图像的图像质量。

可选地，可以在执行步骤S601后执行步骤S603。

步骤S603、对降噪处理后的第一Raw图像进行去马赛克处理。

应理解，上述以步骤S602与步骤S603进行举例说明；也可以通过其他方式将第一Raw图像转换为RGB图像；本申请对此不作任何限定。

步骤S604、得到RGB图像。

步骤S605、将RGB图像转换至HSV颜色空间得到HSV图像；提取HSV图像的V通道图像。

在本申请的实施例中，为了获取RGB图像对应的亮度通道，可以将RGB图像转换至其他可颜色空间，从而获取RGB图像对应的亮度通道。

可选地，上述HSV图像颜色空间进行举例说明；还可以是YUV颜色空间，或者其他能够获取图像的亮度通道的颜色空间。

步骤S606、将V通道图像通过保边平滑滤波器进行处理。

示例性地，保边平滑滤波器可以包括但不限于：导向滤波器、双边滤波器、最小二乘法滤波器。

应理解，在本申请的实施例中通过保边平滑滤波器对V通道图像进行处理时，在滤波过程中能够有效的保留图像中的边缘信息。

步骤S607、V通道的图像通过保边平滑滤波器的处理得到第一细节层图像。

示例性地，图像的细节层中包括图像的高频信息；例如，图像的细节层包括物体的边缘信息、纹理信息等。

步骤S608、V通道的图像通过保边平滑滤波器的处理得到第一基础层图像。

例性地，图像的基础层中包括图像的低频信息；对于一幅图像来说，除去细节层外的部分为基础层；例如，图像的基础层包括物体边缘以内的内容信息。

步骤S609、获取第二Raw图像。

示例性地，可以通过第二相机模组获取第二Raw图像；例如，第二相机模组中可以包括第二镜片、第二镜头与图像传感器，第二镜片可以通过的光谱范围为近红外光(700nm～1100nm)。

步骤S610、对第二Raw图像进行降噪处理，得到降噪处理后的第二Raw图像。

示例性地，通过对第二Raw图像进行降噪处理可以有效的降低图像中的噪声信息，从而使得后续通过第二Raw图像进行融合处理时，提高融合处理后图像的图像质量。

可选地，可以在执行步骤S609后执行步骤S612。

应理解，上述以步骤S610进行举例说明；也可以通过其他方式将第二Raw图像转换为NIR图像；本申请对此不作任何限定。

步骤S611、得到NIR图像。

步骤S612、将NIR图像通过保边平滑滤波器进行处理。

步骤S613、NIR图像通过保边平滑滤波器的处理得到第二细节层图像。

步骤S614、NIR图像通过保边平滑滤波器的处理得到第二基础层图像。

步骤S615、获取语义分割图像。

在本申请的实施例中，可以基于语义分割图像获取第二细节层图像中局部区域信息；通过第二细节层图像中局部的图像信息与第一细节层图像进行融合处理，从而实现可选择性的对图像中局部区域的细节增强。

步骤S616、将第二细节层图像与语义分割图像进行相乘，得到NIR图像中的细节层信息。

例如，将第二细节层图像与语义分割图像进行相乘可以是指将第二细节层图像与语义分割图像中对应的像素点的像素值进行相乘。

示例性地，第二细节层图像中包括NIR图像中的高频信息；可以根据语义分割图像选择性的增强图像中的局部细节信息。

应理解，第二细节层中包括NIR图像中的所有细节信息；由于可见光图像在拍摄景物时，对与电子设备距离较远的景物可能会存在部分图像细节信息丢失；因此，可以通过语义分割图像与第二细节层相乘选择出第二细节层图像中的局部区域，通过第二细节层图像中的局部区域与第一细节层图像进行融合，从而实现可选择性的对图像中局部区域的细节增强。

步骤S617、对NIR图像的细节层信息、第一细节层图像与第一基础层图像进行融合处理。

示例性地，将NIR图像的细节层信息叠加至第一细节层图像中；将第一细节层图像与第一基础层图像进行叠加。

步骤S618、得到融合处理后的HSV图像。

可选地，上述HSV图像还可以是其他颜色空间；比如，可以是HSL颜色空间的图像。

可选地，上述HSV图像还可以是YUV颜色空间的图像；或者，其他能抽离出亮度通道的颜色空间的图像。

步骤S619、将融合处理后的HSV图像转换至RGB颜色空间，得到融合处理后的RGB图像。

在本申请的实施例中，通过保边平滑滤波器对第一相机模组采集的RGB图像与第二相机模组采集的NIR图像进行滤波，分别得到RGB图像中包括的第一细节层图像与第一基础层图像；NIR图像中包括的第二细节层图像与第二基础层图像，由于近红外光的光谱范围比可见光的光谱范围更宽，使得近红外图像中可以获取更多的图像细节；因此，可以通过语义分割图像在第二细节层图像中选择局部区域，通过第二细节层图像中的局部区域与第一细节层图像、第一基础层图像进行融合，从而实现可选择性的对可见光图像中局部区域的细节增强。

可选地，在本申请的实施例中可以采用图5、图6或者图11所示的图像处理方法对第一相机模组与第二相机模组采集的图像进行融合处理；此外，在本申请的实施例中，为了降低融合处理后图像中出现的鬼影问题，还可以采用图12所示的图像处理方法对第一相机模组与第二相机模组采集的图像进行融合处理；例如，通过对RGB图像与NIR图像中相似的图像信息进行融合处理，有效地避免融合处理后图像中出现鬼影问题。例如，通过对RGB图像中的低频信息与NIR图像进行图像融合处理，使得图像的低频信息部分增强；通过将RGB图像转换至YUV颜色空间，将Y通道的高频信息与低频信息部分增强的图像进行叠加，使得对图像的高频信息部分也得到增强。

图12是本申请实施例提供的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该图像处理方法包括步骤S701至步骤S715，下面分别对步骤S701至步骤S715进行详细的描述。

步骤S701、获取第一Raw图像。

示例性地，可以通过第一相机模组获取第一Raw图像；例如，第一相机模组中可以包括第一镜片、第一镜头与图像传感器，第一镜片可以通过的光谱范围为可见光(400nm～700nm)。

步骤S702、对第一Raw图像进行降噪处理，得到降噪处理后的第一Raw图像。

可选地，可以在执行步骤S701后执行步骤S703。

步骤S703、对降噪处理后的第一Raw图像进行去马赛克处理，得到第一RGB图像。

应理解，上述以步骤S702与步骤S703进行举例说明；也可以通过其他方式将第一Raw图像转换为RGB图像；本申请对此不作任何限定。

步骤S704、通过高斯低通滤波器对第一RGB图像进行处理，得到第一RGB图像中的低频信息。

示例性地，通过高斯低通滤波器对第一RGB图进行处理，过滤掉第一RGB图像的高频细节特征，得到第一RGB图像的低频信息。

应理解，图像的低频信息是指图像中灰度值变化缓慢的区域；对于一幅图像来说，除去高频信息外的部分为低频信息；例如，图像的低频信息可以包括物体边缘以内的内容信息。

步骤S705、获取第二Raw图像。

步骤S706、对第二Raw图像进行降噪处理。

可选地，可以在执行步骤S705后执行步骤S708。

步骤S707、得到NIR图像。

应理解，上述以步骤S706进行举例说明；也可以通过其他方式将第二Raw图像转换为NIR图像；本申请对此不作任何限定。

步骤S708、对NIR图像进行配准处理，得到配准处理后的NIR图像。

示例性地，以第一RGB图像为基准对NIR图像进行配准处理，得到配准处理后的NIR图像。

应理解，由于第一相机模组与第二相机模组分别设置在电子设备中的不同位置，因此第一相机模组与第二相机模组之间存在一定的基线距离，即通过第一相机模组采集的图像与通过第二相机模组采集的图像之间存在一定的视差，需要对两者采集的图像进行配准处理。

步骤S709、将第一RGB图像的低频信息与配准处理后的NIR图像输入至融合模型进行处理。

步骤S710、融合模型输出第二RGB图像。

示例性地，融合模型可以是指通过大量样本数据预先训练的神经网络；融合模型用于对输入的图像进行融合处理，输出融合处理后的图像。

应理解，NIR图像中包括的大量的图像低频信息；由于NIR图像与第一RGB图像对应的光谱范围不同，通过NIR图像与第一RGB图像的低频信息进行融合能够使得NIR图像的低频信息对第一RGB图像的低频信息进行补充；从而对第一RGB图像中的低频信息进行增强。此外，通过相似的图像信息进行融合，即NIR图像中包括的低频信息与第一RGB图像的低频信息进行融合，能够有效地降低融合处理后图像中出现的鬼影。

步骤S711、将第二RGB图像转换至YUV颜色空间，得到第一YUV图像；提取第一YUV图像中Y通道的图像。

在本申请的实施例中，为了获取RGB图像对应的亮度通道，可以将RGB图像转换至YUV颜色空间，得到第一YUV图像，提取第一YUV图像的Y通道。

应理解，上述是以YUV颜色空间进行举例说明；还可以将RGB图像转换至其他能够抽取亮度通道的颜色空间，本申请对此不作任何限定。

步骤S712、将第一RGB图像转换至YUV颜色空间，得到第二YUV图像。

步骤S713、对第二YUV图像的Y通道进行处理。

示例性地，在第二YUV图像的Y通道进行高斯模糊，得到Y通道的模糊图像(Y通道的blur图像)；Y通道的模糊图像中包括Y通道的低频信息；通过Y通道的图像减去Y通道的模糊图像，得到Y通道的高频信息。

应理解，图像的高频信息是指图像中灰度值变化剧烈的区域；例如，图像中的高频信息包括物体的边缘信息、纹理信息等。

可选地，可以根据用户选择的不同拍照模式，确定不同的增益系数；可以根据以下公式对第二YUV图像的Y通道进行处理：

处理后的Y通道＝(Y通道的图像-Y通道的模糊图像)*增益系数。

步骤S714、将第一YUV图像的Y通道与处理后的第二YUV图像的Y通道进行相加得到处理后的YUV图像。

应理解，在步骤S710中对NIR图像与第一RGB图像的低频信息进行了融合处理，得到第二RGB图像；在步骤S713与步骤S714中需要对图像的高频信息部分进行处理。

步骤S715、将处理后的YUV图像转换至RGB颜色空间，得到第三RGB图像。

在本申请的实施例中，通过第一相机模组采集RGB图像，通过第二相机模组采集NIR图像，通过对RGB图像与NIR图像中相似的图像信息进行融合处理，有效地避免融合处理后图像中出现鬼影问题；例如，通过对RGB图像中的低频信息与NIR图像进行图像融合处理，使得图像的低频信息部分增强；通过将RGB图像转换至YUV颜色空间，将Y通道的高频信息与低频信息部分增强的图像进行叠加，使得对图像的高频信息部分也得到增强；由于是通过对RGB图像与NIR图像中的相似的图像信息进行融合处理，因此能够有效地降低融合处理后图像中出现的鬼影。

图13根据是本申请实施例提供的图像处理方法的效果示意图。

如图13所示，图13中的(a)是通过现有的主摄像头相机模组得到的输出图像；图13中的(b)是通过本申请实施例提供的图像处理方法得到的输出图像；如图13中的(a)所示的图像可以看出山脉中的细节信息出现了严重失真；与图13中的(a)所示的输出图像相比，图13中的(b)所示的输出图像的细节信息较丰富，可以清晰的显示山脉的细节信息；通过本申请实施例提供的图像处理方法可以对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。

在一个示例中，在暗光场景下，用户可以开启电子设备中的红外闪光灯；通过主摄像头相机模组与近红外相机模组采集图像，并通过本申请实施例提供的图像处理方法对采集的图像进行处理，从而输出处理后的图像或者视频。

图14示出了电子设备的一种图形用户界面(graphical user interface，GUI)。

图14中的(a)所示的GUI为电子设备的桌面810；当电子设备检测到用户点击桌面810上的相机应用(application，APP)的图标820的操作后，可以启动相机应用，显示如图14中的(b)所示的另一GUI；图14中的(b)所示的GUI可以是相机APP在拍照模式下的显示界面，在GUI可以包括拍摄界面830；拍摄界面830中可以包括取景框831与控件；比如，拍摄界面830中可以包括用于指示拍摄的控件832与用于指示开启红外闪光灯的控件833；在预览状态下，该取景框831内可以实时显示预览图像；其中，预览状态下可以是指用户打开相机且未按下拍照/录像按钮之前，此时取景框内可以实时显示预览图。

在电子设备检测到用户点击指示开启红外闪光灯的控件833的操作后，显示如图14中的(c)所示的拍摄界面；在红外闪光灯开启的情况下，通过主摄像头相机模组与近红外相机模组采集图像，并通过本申请实施例提供的图像处理方法对采集的图像进行处理，输出处理后的画质增强的图像。

图15是一种适用于本申请实施例的拍摄场景的光路示意图。

如图15所示，电子设备还包括红外闪光灯；在暗光场景下，电子设备可以开启红外闪光灯；在开启红外闪光灯的情况下，拍摄环境中的光照可以包括路灯与红外闪光灯；拍摄对象可以对拍摄环境中的光照进行反射，使得电子设备得到拍摄对象的图像。

在本申请的实施例中，在红外闪光灯开启的情况下，拍摄对象的反射光增加，使得电子设备中近红外相机模组的进光量增加；从而使得通过近红外相机模组拍摄的图像的细节信息增加，通过本申请实施例的图像处理方法对主摄像头相机模组与近红外相机模组采集的图像进行融合处理，能够对主摄像头相机模组获取的图像进行图像增强，提高图像中的细节信息。此外，红外闪光灯是用户无法感知的，在用户无感知的情况下，提高图像中的细节信息。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

上文结合图1至图15详细描述了本申请实施例提供的图像处理方法；下面将结合图16与图17详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图16是本申请实施例提供的一种电子设备的结构示意图。该装置900包括显示模块910与处理模块920。该电子设备中包括第一相机模组与第二相机模组，第二相机模组为近红外相机模组或者红外相机模组。

其中，所述显示模块910用于显示第一界面，所述第一界面包括第一控件；所述处理模块920用于检测到对所述第一控件的第一操作；响应于所述第一操作，获取N帧第一图像与M帧第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像，N和M均为大于或者等于1的正整数；基于所述N帧第一图像和所述M帧第二图像，得到目标图像；保存所述目标图像；其中，所述处理模块920具体用于：

可选地，作为一个实施例，所述处理模块920具体用于：

可选地，作为一个实施例，所述第一配准处理为全局配准处理。

可选地，作为一个实施例，所述第二配准处理为局部配准处理。

可选地，作为一个实施例，所述处理模块920具体用于：

可选地，作为一个实施例，所述电子设备还包括红外闪光灯，所述处理模块920还用于：

可选地，作为一个实施例，所述第一界面包括第二控件；所述处理模块920具体用于：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

可选地，作为一个实施例，所述处理模块920具体用于：

可选地，作为一个实施例，所述语义分割图像为通过语义分割算法对所述N帧第三图像中的第一帧第三图像进行处理得到的。

可选地，作为一个实施例，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

可选地，作为一个实施例，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

可选地，作为一个实施例，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

需要说明的是，上述电子设备900以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图17示出了本申请提供的一种电子设备的结构示意图。图17中的虚线表示该单元或该模块为可选的；电子设备1000可以用于实现上述方法实施例中描述的方法。

电子设备1000包括一个或多个处理器1001，该一个或多个处理器1001可支持电子设备1000实现方法实施例中的图像处理方法。处理器1001可以是通用处理器或者专用处理器。例如，处理器1001可以是中央处理器(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器1001可以用于对电子设备1000进行控制，执行软件程序，处理软件程序的数据。电子设备1000还可以包括通信单元1005，用以实现信号的输入(接收)和输出(发送)。

例如，电子设备1000可以是芯片，通信单元1005可以是该芯片的输入和/或输出电路，或者，通信单元1005可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备1000可以是终端设备，通信单元1005可以是该终端设备的收发器，或者，通信单元1005可以是该终端设备的收发电路。

电子设备1000中可以包括一个或多个存储器1002，其上存有程序1004，程序1004可被处理器1001运行，生成指令1003，使得处理器1001根据指令1003执行上述方法实施例中描述的图像处理方法。

可选地，存储器1002中还可以存储有数据。

可选地，处理器1001还可以读取存储器1002中存储的数据，该数据可以与程序1004存储在相同的存储地址，该数据也可以与程序1004存储在不同的存储地址。

处理器1001和存储器1002可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片(system on chip，SOC)上。

示例性地，存储器1002可以用于存储本申请实施例中提供的图像处理方法的相关程序1004，处理器1001可以用于在执行图像处理时调用存储器1002中存储的图像处理方法的相关程序1004，执行本申请实施例的图像处理方法；例如，显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，获取N帧第一图像与M帧第二图像，所述第一图像为所述第一相机模组采集的图像，所述第二图像为所述第二相机模组采集的图像，N和M均为大于或者等于1的正整数；基于所述N帧第一图像和所述M帧第二图像，得到目标图像；保存所述目标图像；其中，所述基于所述N帧第一图像和所述M帧第二图像，得到目标图像，包括：

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器1001执行时实现本申请中任一方法实施例的方法。

该计算机程序产品可以存储在存储器1002中，例如是程序1004，程序1004经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器1001执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器1002。存储器1002可以是易失性存储器或非易失性存储器，或者，存储器1002可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括第一相机模组与第二相机模组，所述第二相机模组为近红外相机模组或者红外相机模组，所述图像处理方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取N帧第一图像与M帧第二图像，所述第一图像为所述第一相机模组采集的RAW图像，所述第二图像为所述第二相机模组采集的RAW图像，N和M均为大于或者等于1的正整数；

基于所述N帧第一图像和所述M帧第二图像，得到目标图像；

保存所述目标图像；其中，

对所述融合图像进行第三图像处理，得到所述目标图像，其中，所述第三图像处理包括RGB域算法处理和YUV域算法处理；

其中，所述对所述M帧第二图像进行第二图像处理，得到M帧第四图像，包括：

以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行第一配准处理，得到所述M帧第四图像；

或者，所述对所述M帧第二图像进行第二图像处理，得到M帧第四图像，包括：

2.如权利要求1所述的图像处理方法，其特征在于，所述以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行第一配准处理，得到所述M帧第四图像，包括：

以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行所述第一配准处理与上采样处理，得到所述M帧第四图像。

3.如权利要求1所述的图像处理方法，其特征在于，所述以所述N帧第三图像中的任意一帧第三图像为基准，对所述M帧第五图像进行第一配准处理，得到M帧第一配准图像，包括：

4.如权利要求1至3中任一项所述的图像处理方法，其特征在于，所述第一配准处理为全局配准处理。

5.如权利要求1或3所述的图像处理方法，其特征在于，所述第二配准处理为局部配准处理。

6.如权利要求1至3中任一项所述的图像处理方法，其特征在于，所述对所述N帧第一图像进行第一图像处理，得到N帧第三图像，包括：

7.如权利要求1至3中任一项所述的图像处理方法，其特征在于，所述电子设备还包括红外闪光灯，所述图像处理方法还包括：

8.如权利要求7所述的图像处理方法，其特征在于，所述第一界面包括第二控件；所述在暗光场景下，开启所述红外闪光灯，包括：

检测到对所述第二控件的第二操作；

响应于所述第二操作开启所述红外闪光灯。

9.如权利要求1至3、或8中任一项所述的图像处理方法，其特征在于，所述基于所述语义分割图像，对所述N帧第三图像与所述M帧第四图像进行融合处理，得到融合图像，包括：

10.如权利要求1至3或8中任一项所述的图像处理方法，其特征在于，所述语义分割图像为通过语义分割算法对所述N帧第三图像中的第一帧第三图像进行处理得到的。

11.如权利要求1至3或8中任一项所述的图像处理方法，其特征在于，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。

12.如权利要求1至3或8中任一项所述的图像处理方法，其特征在于，所述第一界面是指视频录制界面，所述第一控件是指用于指示录制视频的控件。

13.如权利要求1至3或8中任一项所述的图像处理方法，其特征在于，所述第一界面是指视频通话界面，所述第一控件是指用于指示视频通话的控件。

14.一种电子设备，其特征在于，包括：

一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至13中任一项所述的图像处理方法。

15.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至13中任一项所述的图像处理方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至13中任一项所述的图像处理方法。