CN115550575A

CN115550575A - 图像处理方法及其相关设备

Info

Publication number: CN115550575A
Application number: CN202210423522.7A
Authority: CN
Inventors: 钱彦霖; 张莫; 金萌; 罗钢
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-04-21
Filing date: 2022-04-21
Publication date: 2022-12-30
Anticipated expiration: 2042-04-21
Also published as: CN115550575B

Abstract

本申请提供了一种图像处理方法及其相关设备，涉及图像处理领域，该图像处理方法包括：显示第一界面；检测到对第一控件的第一操作；响应于第一操作，获取多帧初始图像，多帧初始图像包括至少1帧第一初始图像和至少1帧第二初始图像；分别对第一初始图像和第二初始图像进行前端处理，得到各自对应的位于YUV域的前端处理图像；将位于YUV域的前端处理图像分别包括的UV图层进行融合处理，得到UV融合图层；根据第一初始图像对应的位于YUV域的前端处理图像中所包括的Y图层，以及UV融合图层，得到目标图像。本申请利用通道信息的不同，在YUV域利用UV图层完成图像动态融合，并结合原有Y图层生成目标图像，从而可以实现色彩的较好还原和信噪比的良好表现。

Description

图像处理方法及其相关设备

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法及其相关设备。

背景技术

目前用于可见光成像的互补金属氧化物半导体(complementary metal oxidesemiconductor，CMOS)图像传感器大部分皆为传统的RGB(red，green，blue)传感器，也即是说，这种图像传感器只能接收红色通道信号、绿色通道信号和蓝色通道信号。

由于其较少的光谱响应通道数量制约着成像的颜色还原的上限，因此，市场上出现了一些多光谱响应的可见光成像CMOS图像传感器，又称多光谱传感器，希望以此来解决成像色彩还原的问题，但利用该多光谱传感器成像时又会出现噪声问题，目前并没有成熟的处理方案来利用好这种多光谱传感器，实现精准颜色还原且降低噪声这一目标。由此，亟待一种新的处理方案。

发明内容

本申请提供一种图像处理方法及其相关设备，利用通道信息的不同，在YUV域利用UV图层完成图像动态融合，并结合原有Y图层生成目标图像，从而可以实现图像色彩的较好还原和信噪比的良好表现。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种图像处理方法，该方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取多帧初始图像，所述多帧初始图像包括至少1帧第一初始图像和至少1帧第二初始图像，所述第一初始图像包括红色通道信号、绿色通道信号和蓝色通道信号，所述第二初始图像包括至少四种颜色的通道信号；

分别对所述第一初始图像和所述第二初始图像进行前端处理，得到各自对应的位于YUV域的前端处理图像；

将位于YUV域的所述前端处理图像分别包括的UV图层进行融合处理，得到UV融合图层；

根据所述第一初始图像对应的位于YUV域的前端处理图像中所包括的Y图层，以及所述UV融合图层，得到目标图像。

本申请实施例提供了一种图像处理方法，通过获取包括3种颜色的通道信号的第一初始图像和至少包括4种颜色的通道信号的第二初始图像，利用通道信息的不同，在YUV域利用UV图层完成图像动态融合，再结合第一初始图像对应的YUV域上的图像所包括的Y图层，生成目标图像，从而可以实现图像色彩的较好还原和信噪比的良好表现。

在第一方面一种可能的实现方式中，将两帧位于YUV域的所述前端处理图像分别包括的UV图层进行融合处理，得到UV融合图层，包括：

将两帧位于YUV域的所述前端处理图像分别包括的UV图层，利用目标网络模型进行融合处理，得到所述UV融合图层。

在该实现方式中，利用目标网络模型进行融合处理，相对于其他融合方式更简单，效率更高。

在第一方面一种可能的实现方式中，所述图像处理方法还包括：

利用多对UV训练图层，对初始网络模型进行训练，得到所述目标网络模型，其中，所述UV训练图层包括UV通道信息。

在该实现方式中，利用包括UV通道信息的UV训练图像对初始网络模型进行训练，以便于生成的目标网络模型能实现对UV图层的融合。

在第一方面一种可能的实现方式中，利用多对UV训练图层，对初始网络模型进行训练，得到所述目标网络模型，包括：

将每对所述UV训练图层输入所述初始网络模型进行处理，确定所述UV训练融合图层；

确定所述UV训练融合图层与目标真值图像包括的目标UV图层之间的损失值，所述目标真值图像位于YUV域；

根据所述损失值，调整所述初始网络模型，得到所述目标网络模型。

在该实现方式中，将UV训练融合图像与目标真值图像包括的目标UV图层进行对比，然后根据两者的差异也即损失值，对初始网络模型进行调整，从而使得初始网络模型的融合能力更强。然后，将调整好的初始网络模型作为目标网络模型，以使得后续处理过程中，目标网络模型融合出的UV融合图层更真实。

利用高光谱相机获取第一高光谱图像；

利用光谱仪获取当前光源光谱向量；

根据所述第一高光谱图像、所述当前光源光谱向量和参考光源光谱向量，确定位于XYZ域的参考图像；

根据位于XYZ域的所述参考图像，确定位于sRGB域的初始真值图像；

根据位于sRGB域的所述初始真值图像，确定位于YUV域的所述目标真值图像。

在该实现方式中，将位于XYZ域的参考图像转换至sRGB域，再转换至YUV域，以作为训练初始网络模型确定损失值时，所利用的目标UV图层对应的目标真值图像。由于目标真值图像更能反应参考光源下人眼视觉的观看效果，因此，利用目标真值图像所确定出的目标网络模型在融合时，也能更适应自动白平衡和颜色校正处理后接近参考光源下人眼感知效果的第一UV图层和第二UV图层，对两者进行更好的融合。

在第一方面一种可能的实现方式中，根据所述第一高光谱图像、所述当前光源光谱向量和参考光源光谱向量，确定位于XYZ域的参考图像，包括：

将所述第一高光谱图像与所述当前光源光谱向量相除，确定光谱反射率；

将所述光谱反射率与所述参考光源光谱向量相乘，确定第二高光谱图像；

根据所述第二高光谱图像，利用CIE1931 XYZ光谱三刺激值积分公式进行积分，确定位于XYZ域的所述参考图像。

在该实现方式中，将第一高光谱图像与当前光源光谱向量相除，再与参考光源光谱向量相乘，相当于在待拍摄场景中利用参考光源替换了当前光源，由此，得到的第二高光谱图像可以认为为参考光源下高光谱相机获取到的图像。但是，此时该第二高光谱图像仅满足机器的的光谱响应，并不能反应人眼视觉的观看效果，因此，还需要对该第二高光谱图像进行调整。由此，可以结合CIE1931XYZ光谱三刺激值积分公式进行积分，以确定出满足人眼视觉要求的位于XYZ域的参考图像。

在第一方面一种可能的实现方式中，所述初始网络模型以U-net为基模型，所述初始网络模型还包括上采样层和拼接层；

其中，所述上采样层用于每对所述UV训练图层的尺寸统一，所述拼接层用于尺寸统一后的每对所述UV训练图层进行拼接。

在第一方面一种可能的实现方式中，所述电子设备包括多光谱传感器；所述响应于所述第一操作，获取多帧初始图像，包括：

响应于所述第一操作，利用所述多光谱传感器获取多光谱图像；

对所述多光谱图像进行分解处理，得到多帧所述初始图像。

其中，在本申请实施例中，多光谱传感器指的是比RGB传感器的光谱响应范围宽的其他多光谱传感器。

在第一方面一种可能的实现方式中，所述前端处理包括自动白平衡、去马赛克、颜色校正和sRGB域转YUV域。

在第一方面一种可能的实现方式中，所述第一初始图像包括红色通道信号、黄色通道信号和蓝色通道信号，或者，所述第一初始图像包括红色通道信号、白色通道信号和蓝色通道信号。

在第一方面一种可能的实现方式中，所述第二初始图像包括红色通道信号、绿色通道信号、蓝色通道信号、青色通道信号、品红色通道信号和黄色通道信号。

在第一方面一种可能的实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。

可选地，在一种可能的实现方式中，第一操作是指点击相机应用程序的操作。

在第一方面一种可能的实现方式中，所述第一界面是指所述电子设备的拍照界面，所述第一控件是指用于指示拍照的控件。

可选地，在一种可能的实现方式中，第一操作是指点击用于指示拍照的控件的操作。在第一方面一种可能的实现方式中，所述第一界面是指所述电子设备的拍摄视频界面，所述第一控件是指用于指示拍摄视频的控件。

可选地，在一种可能的实现方式中，第一操作是指点击指示拍摄视频的控件的操作。

上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者拍摄视频的操作；上述为举例说明，并不对本申请作任何限定。

第二方面，提供了一种电子设备，包括用于执行第一方面或第一方面中任一种方法的模块/单元。

第三方面，提供了一种电子设备，包括一个或多个处理器和存储器；

所述存储器与一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或第一方面中任一种方法。

第四方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中任一种方法。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行第一方面或第一方面中任一种方法。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中任一种方法。

在本申请的实施例中，通过获取包括红色、绿色和蓝色通道信号的第一初始图像和包括红色、绿色、蓝色、青色、品红色和黄色通道信号6种颜色的通道信号的第二初始图像，经前端处理后在YUV域上，根据第一初始图像和第二初始图像各自对应的YUV域上的图像所包括的UV图层，利用目标网络模型完成图像动态融合，得到UV融合图层；再结合第一初始图像对应的YUV域上的图像所包括的Y图层，根据该Y图层和UV融合图像，经后端处理后生成位于sRGB域的目标图像。

由于相对于第二初始图像对应的Y图层，第一初始图像对应的Y图层噪声较小，细节更丰富，因此选择保留第一初始图像对应的Y图层，以降低噪声；而第一初始图像和第二初始图像对应的UV图层噪声均比较小，第二初始图像对应的UV图层颜色信息更丰富，因此选择将两者对应的UV图层进行融合，以提高色准，基于此，利用本申请提供的上述图像处理方法可以实现图像色彩的较好还原和信噪比的良好表现。

附图说明

图1为一种RGBCMY传感器的成像示意图；

图2为一种RGBCMY的光谱响应曲线；

图3为一种利用24色块确定CCM矩阵的示意图；

图4为一种应用场景的示意图；

图5为本申请实施例提供的一种图像处理方法的流程示意图；

图6为本申请实施例提供的一种获取到的第一初始图像和第二初始图像的示意图；

图7为本申请实施例提供的另一种图像处理方法的流程示意图；

图8为本申请实施例提供的一种第一前端处理和第二前端处理的示意图；

图9为本申请实施例提供的一种后端处理的示意图；

图10为本申请实施例提供的又一种图像处理方法的流程示意图；

图11为本申请实施例提供的一种训练目标网络模型的流程示意图；

图12为本申请实施例提供的一种确定目标真值图像的流程示意图；

图13为一种CIE1931 XYZ三刺激值曲线示意图；

图14为本申请实施例提供的另一种确定目标真值图像的流程示意图；

图15为本申请实施例提供的一种电子设备的显示界面的示意图；

图16为本申请实施例提供的另一种电子设备的显示界面的示意图；

图17为一种适用于本申请的电子设备的硬件系统的示意图；

图18为一种适用于本申请的电子设备的软件系统的示意图；

图19为本申请实施例提供的一种图像处理装置的结构示意图；

图20为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、RGB(red，green，blue)颜色空间或RGB域，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。红色、绿色和蓝色称为三基色。应理解，基色指的是通过其他颜色的混合无法得到的“基本色”。

2、YUV颜色空间或YUV域，指的是一种颜色编码方法，Y表示亮度，U和V表示的则是色度。上述RGB颜色空间着重于人眼对色彩的感应，YUV颜色空间则着重于视觉对亮度的敏感程度，RGB颜色空间和YUV颜色空间可以互相转换。

3、像素值，指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量R、绿色分量G和蓝色分量B。

4、拜耳格式(bayer pattern)彩色滤波阵列(color filter array，CFA)，图像由实际的景物转换为图像数据时，通常是图像传感器分别接收红色通道信号、绿色通道信号和蓝色通道信号，三个通道信号的信息，然后将三个通道信号的信息合成彩色图像，但是，这种方案中每个像素位置处都对应需要三块滤镜，价格昂贵且不好制作，因此，可以在图像传感器表面覆盖一层彩色滤波阵列，以获取三个通道信号的信息。拜耳格式彩色滤波阵列指的是滤镜以棋盘格式进行排布。例如，该拜耳格式彩色滤波阵列中的最小重复单元为：一个获取红色通道信号的滤镜、两个获取绿色通道信号的滤镜、一个获取蓝色通道信号的滤镜以2×2的方式排布。

5、拜耳格式图像(bayer image)，即基于拜耳格式彩色滤波阵列的图像传感器输出的图像。该图像中的多种颜色的像素以拜耳格式进行排布。其中，拜耳格式图像中的每个像素仅对应一种颜色的通道信号。示例性的，由于人的视觉对绿色较为敏感，所以，可以设定绿色像素(对应绿色通道信号的像素)占全部像素的50％，蓝色像素(对应蓝色通道信号的像素)和红色像素(对应红色通道信号的像素)各占全部像素的25％。其中，拜耳格式图像的最小重复单元为：一个红色像素、两个绿色像素和一个蓝色像素以2×2的方式排布。应理解，RAW域为RAW颜色空间，为拜耳格式图像的图像即可以称为位于RAW域的图像。

6、灰阶图像(gray image)，灰阶图像是单通道图像，用于表示不同亮度程度，最亮为全白，最暗为全黑。也就是说，灰阶图像中的每个像素对应黑色到白色之间的不同程度的亮度。通常为了对最亮到最暗之间的亮度变化进行描述，将其进行划分，例如划分为256份，即代表256个等级的亮度，并称之为256个灰阶(第0灰阶～第255灰阶)。

7、光谱响应度(spectral response)，也可以称为光谱灵敏度，光谱响应度表示图像传感器对不同波长入射光能转换成电能的能力。其中，若将某一波长的光入射到图像传感器的光能量转换成光子数目，而图像传感器产生、传递到外部电路的电流以电子数来表示，则代表每一入射的光子能够转换成传输到外部电路的电子的能力，称为量子效率(quantum efficiency，QE)，单位以百分比来表示，图像传感器的光谱响应度则取决于该量子效率、以及波长和积分时间等参数。

8、自动白平衡(auto white balance，AWB)

人眼具有颜色恒常性特点，大部分情况下在各种光源场景下看到相同物体的颜色是一致的，例如白纸是白色观感。那么，为了消除光源对图像传感器成像的影响，模拟人类视觉的颜色恒常性，保证在任何场景下看到的白色是真正的白色，因此，需要对色温进行校正，自动将白平衡调到合适的位置。

不同的相机有着各自的彩色滤波阵列，不同彩色滤波阵列的滤镜颜色就构成了相机颜色空间(RAW域或RAW颜色空间)，因此，相机颜色空间不是一个通用的色彩空间。例如，滤镜颜色为RGGB的彩色滤波阵列，构成的相机颜色空间为RAW RGB，如果直接显示该彩色滤波阵列生成的拜耳格式图像或者说RAW图，该图像则会是偏绿色的。而一般显示器是以标准色彩空间(sRGB)为准来进行显示的，其参考光源为D65，因此，自动白平衡算法需要将RAW域的图像校正到D65参考光源下。其中，D65指的是色温为6500K的标准光源，D65光源下一般规定白色为R＝G＝B。

9、颜色校正，由于摄像头获取的图像，与人们期望的颜色会存在一定差距，因此需要对颜色进行校正。又因为自动白平衡已经将白色校准了，因此，可以通过颜色校正来校准除白色以外的其他颜色。

10、颜色校正矩阵(color correction matrix，CCM)

CCM矩阵主要用于将自动白平衡获取得图像数据转换到标准颜色空间(sRGB)。由于CMOS传感器的频谱响应和人眼对可见光的频谱响应存在较大差异，导致相机的色彩还原与观察者感知到的物体颜色存在很大差异，因此，需要通过CCM矩阵提高颜色饱和度，使得相机拍摄出的图像颜色更加接近人眼的感知效果。其中，利用CCM矩阵进行校正的过程即为颜色校正的过程。

以上是对本申请实施例所涉及名词的简单介绍，以下不再赘述。

目前用于可见光成像的CMOS图像传感器大部分皆为传统的RGB传感器，由于硬件的限制，导致这种图像传感器只能接收红色通道信号、绿色通道信号和蓝色通道信号。这样，该图像传感器的光谱响应通道数量是十分有限的，而较少的光谱响应通道数量会限制图像传感器的颜色还原能力，影响还原出的图像的颜色等信息。

由于RGB传感器较少的光谱响应通道数量制约着成像的颜色还原的上限，因此，市场上出现了一些多光谱响应的可见光成像CMOS传感器，又称多光谱传感器，希望以此解决成像色彩还原的问题，但利用多光谱传感器成像时又会出现噪声问题，目前并没有成熟的处理方案来利用好这种传感器，以实现精准颜色还原且降低噪声这一目标。

应理解，多光谱指的是用于成像的光谱波段包括2个及2个以上数量的波段。根据此定义，由于RGB传感器利用了红色、绿色和蓝色三个波段，所以，RGB传感器严格来说也是属于多光谱响应的，但是，需要说明的是，本申请所指的多光谱响应的可见光CMOS传感器，其实指的是比RGB传感器的光谱响应通道数量多的其他多光谱传感器。

例如，所述多光谱传感器可以为RYYB传感器、RWWB传感器、RGBC传感器、RGBM传感器、RGBY传感器，RGBCM传感器、RGBCY传感器、RGBMY传感器、RGBCMY传感器等。应理解，该RYYB传感器接收的是红色通道信号、黄色通道信号和蓝色通道信号。该RWWB传感器接收的是红色通道信号、白色通道信号、白色通道信号和蓝色通道信号。该RGBCMY传感器接收的是红色通道信号、绿色通道信号、蓝色通道信号、青色(cyan)通道信号、品红(magenta)通道信号和黄色(yellow)通道信号。其他传感器所接收的通道颜色依次类推，在此不再赘述。

当然，多光谱传感器也可以为接收其他颜色通道信号的传感器，具体可以根据需要进行选择和设置，本申请实施例对此不进行任何限制。

示例性的，图1提供了一种RGBCMY传感器的成像示意图。RGBCMY传感器表面覆盖的彩色滤波阵列可以获取六种颜色通道信号的信息。例如，该拜耳格式彩色滤波阵列中的最小重复单元为：两个获取红色通道信号的滤镜、四个获取绿色通道信号的滤镜、两个获取蓝色通道信号的滤镜、两个获取青色通道信号的滤镜、两个获取品红通道信号的滤镜、四个获取黄色通道信号的滤镜，且以4×4的方式排布。

相应的，如图1所示，利用RGBCMY传感器获取的拜耳格式图像的最小重复单元为：两个红色像素、四个绿色像素、两个蓝色像素、两个青色像素、两个品红像素、四个黄色像素，且以4×4的排布方式排布。

图2提供了一种RGBCMY的光谱响应曲线的示意图。横轴表示波长，纵轴表示不同光谱所对应的光谱响应度。其中，R所指示的光谱响应曲线表示红光在不同波长所对应的不同光谱响应度，G所指示的光谱响应曲线表示绿光在不同波长所对应的不同光谱响应度，B所指示的光谱响应曲线表示蓝光在不同波长所对应的不同光谱响应度；C所指示的光谱响应曲线表示青光在不同波长所对应的不同光谱响应度，M所指示的光谱响应曲线表示品红光在不同波长所对应的不同光谱响应度，Y所指示的光谱响应曲线表示黄光在不同波长所对应的不同光谱响应度。

以RGBCMY传感器为例，相对于RGB传感器来说，由于基色数量提升，光谱响应通道数量变多，所以RGBCMY传感器一般能获得相对更好的颜色还原能力，即色准。

相关技术中通常是通过自动白平衡和CCM矩阵来对传感器获取的拜耳格式图像进行处理以恢复场景颜色的，那么，对于RGBCMY传感器获取的拜耳格式图像来说，通常也可以通过自动白平衡和CCM矩阵来进行处理以恢复场景颜色。在该处理过程中所利用的CCM矩阵则需要提前拟合出来。

但是，针对RGBCMY传感器，通常在拟合CCM矩阵时会遇到过拟合现象，从而会导致拟合出的CCM矩阵中部分参数值过大，这样在实际使用该CCM矩阵处理时，就会将RGBCMY传感器获取的拜耳格式图像中的噪声放大；而如果在拟合CCM矩阵时加入正则项进行修正，又会导致拟合能力下降，进而导致使用该CCM矩阵处理后的场景颜色恢复不足。

图3提供了一种利用24色块确定CCM矩阵的示意图。

示例性的，以6500K色温为例，如图3中的(a)所示的，为该6500K色温下，对RGBCMY传感器获取的图像数据进行自动白平衡处理和去马赛克(demosaic，DM)后生成的24色卡。如图3中的(b)所示的，为该6500K色温下的标准24色卡。

利用图3中的(a)和(b)所示的24色卡进行矩阵拟合，可以获取6500K色温下对应的CCM矩阵，该CCM矩阵表示将图3中的(a)所示的24色卡校正成图3中的(b)所示的标准24色卡时，所需相乘的系数矩阵。

由于图3中的(a)所示的每种颜色对应R、G、B、C、M和Y这6个基色值，而图3中的(b)所示的每种颜色仅对应R、G和B这3个基色值，所以，拟合出的CCM矩阵为6×3的矩阵，也即拟合出的CCM矩阵包括18个参数值。由于在该拟合过程中，通常会遇到过拟合现象，导致CCM矩阵中包括的18个参数值中的部分参数值过大，进而就会导致在实际处理时，利用该拟合出的CCM矩阵处理后的图像的噪声被放大。

如果在上述拟合CCM矩阵的过程中，增加正则项进行修正，又会导致拟合能力下降，进而导致在实际处理时，利用该拟合出的CCM矩阵处理后的图像的色彩还原能力不足。

需要说明的是，在拟合CCM矩阵时，一般利用最小二乘法或求解CCM矩阵的伪逆来确定CCM矩阵，该两种方法通常都是没有正则项的，由此，可以增加正则项进行修正。其中，正则项指的是对损失函数中的矩阵元素做一些限制。

由此，亟待一种新的处理方案，能对以上多个问题均进行有效的解决。

有鉴于此，本申请实施例提供了一种图像处理方法，通过获取包括3种颜色的通道信号的第一初始图像和至少包括4种颜色的通道信号的第二初始图像，利用通道信息的不同，在YUV域利用UV图层完成图像动态融合，再结合第一初始图像对应的YUV域上的图像所包括的Y图层，生成目标图像，从而可以实现图像色彩的较好还原和信噪比的良好表现。

下面结合图4对本申请实施例提供的图像处理方法的应用场景进行举例说明。

本申请实施例提供的图像处理方法可以应用于拍摄领域。例如，可以应用于在暗光环境下拍摄图像或者录制视频。

图4示出了本申请实施例提供的一种应用场景的示意图。在一个示例中，以电子设备为手机进行举例说明，该手机包括非RGB传感器的多光谱传感器。

如图4所示，响应于用户的操作，电子设备可以启动相机应用，显示如图4中所示的图形用户界面(graphical user interface，GUI)，该GUI界面可以称为第一界面。该第一界面包括多种拍摄模式选项和第一控件。该多种拍摄模式例如包括：拍照模式、录像模式等，该第一控件例如为拍摄键11，拍摄键11用于指示当前拍摄模式为多种拍摄模式中的其中一种。

示例性的，如图4所示，当用户启动相机应用，想在夜晚对户外草地、树木进行拍照时，用户点击第一界面上的拍摄键11，电子设备检测到用户对拍摄键11的点击操作后，响应于该点击操作，运行本申请实施例提供的图像处理方法对应的程序，获取图像。

应理解，该电子设备包括的多光谱传感器不是RGB传感器，例如为RGBCMY传感器，该电子设备的光谱响应范围相对于现有技术有所扩大，也就是说，颜色还原能力有所提高，但是，由于CCM矩阵可能出现过拟合问题，所以在利用CCM矩阵进行处理后，图像的噪声可能会被放大，导致信噪比降低。对此，若该电子设备采用本申请实施例提供的图像处理方法进行处理，则能够保证颜色还原度，又能降低噪声，提高信噪比，进而提高拍摄出的图像或视频的质量。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合说明书附图，对本申请实施例提供的图像处理方法进行详细描述。

图5示出了本申请实施例提供的一种图像处理方法的流程示意图。如图5所示，本申请实施例提供了一种图像处理方法1，该图像处理方法1包括以下S11至S16。

S11、显示第一界面，第一界面包括第一控件。

S12、检测到对第一控件的第一操作。

第一控件例如为图4中所示的拍摄键11，第一操作例如为点击操作，当然，第一操作也可以为其他操作，本申请实施例对此不进行任何限制。

S13、响应于第一操作，获取多帧初始图像。该多帧初始图像包括至少1帧第一初始图像和至少1帧第二初始图像，其中，第一初始图像包括红色通道信号、绿色通道信号和蓝色通道信号，第二初始图像包括至少四种颜色的通道信号。

多帧初始图像指的是2帧、3帧或3帧以上的初始图像。当电子设备获取了2帧初始图像时，1帧为第一初始图像，1帧为第二初始图像。当电子设备获取了3帧初始图像时，1帧为第一初始图像，2帧为第二初始图像，或者，2帧为第一初始图像，1帧为第二初始图像。当电子设备获取3帧以上初始图像时，1帧为第一初始图像，其他帧均为第二初始图像，或者，1帧为第二初始图像，其他帧均为第一初始图像，或者，第一初始图像和第二初始图像均至少有2帧。具体可以根据需要进行获取，本申请实施例对此不进行任何限制。

应理解，该多帧初始图像均为拜耳格式图像，或者说，均位于RAW域。该多帧初始图像中，第二初始图像所包括的通道信号可与第一初始图像所包括的通道信号均不同，或者，第二初始图像所包括的通道信号与第一初始图像所包括的通道信号部分相同，本申请实施例对此不进行任何限制。其中，第一初始图像所包括的通信信号与第二初始图像所包括的通道信号均不同是指第一初始图像以拜耳格式进行排布的像素所对应的多种颜色和第二初始图像以拜耳格式进行排布的像素所对应的多种颜色不相同。

应理解，该多帧初始图像可以是利用电子设备自身包括的多光谱传感器采集的或从其他设备获取的，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

应理解，当利用自身多光谱传感器获取多帧初始图像时，该多光谱传感器可以同时输出多帧初始图像，或者，也可以串行输出多帧初始图像，具体可以需要进行选择和设置，本申请实施例对此不作任何限制。

还应理解，虽然从多光谱传感器输出多帧初始图像时，可以是同时输出或串行输出，但无论如何输出，该多帧初始图像其实都是对待拍摄场景进行同一次拍摄所生成的图像。待拍摄场景指的是相机拍摄视角中的所有物体，待拍摄场景又可称为目标场景，也可以理解成用户期待拍摄的场景。

在上述步骤中，由于包括有红色通道信号、绿色通道信号和蓝色通道信号的第一初始图像噪声小，细节丰富，因此，为了保证颜色还原度可以利用第一初始图像进行处理，以在后期恢复场景颜色时，保证恢复出的图像具有良好的信噪比。

可选地，作为另一种可实现的方式，第一初始图像可以分别包括红色通道信号、黄色通道信号和蓝色通道信号，或者，第一初始图像可以分别包括红色通道信号、白色通道信号和蓝色通道信号。

需要说明的是，黄色通道信号相当于是红色通道信号和绿色通道信号的叠加，这样，第一初始图像虽然包括的是红色通道信号、黄色通道信号和蓝色通道信号，但是还是相当于包括的是红色通道信号、绿色通道信号和蓝色通道信号，这样依然可以在恢复场景颜色时，保证恢复出的图像具有良好的信噪比。

同理，白色通道信号相当于所有颜色通道信号的叠加，当然包括绿色通道信号，由此，第一初始图像虽然包括的是红色通道信号、白色通道信号和蓝色通道信号，但是还是相当于包括的是红色通道信号、绿色通道信号和蓝色通信信号，这样依然也可以在恢复场景颜色时，保证恢复出的图像具有良好的信噪比。

除此之外，第一初始图像还可以包括其他颜色的通道信号，但为了提高后续恢复出的图像的信噪比，该第一初始图像需包括红色通道信号、绿色通道信号和蓝色通道信号，可以直接包括，也可以间接包括，比如，该第一初始图像包括的三种通道信号分别是红色通道信号、绿色通信信号或蓝色通信信号，或者该第一初始图像中的任意一种颜色通道信号是由红色通信信号、绿色通信信号和蓝色通道信号中的至少两种颜色通道信号叠加而成的，具体可以根据需要进行设置和修改，本申请实施例对此不进行任何限制。

图6示出了一种第一初始图像和第二初始图像的示意图。

例如，电子设备获取2帧初始图像，如图6中的(a)所示，其中第一初始图像P1包括3种颜色的通道信号，例如，分别为通道信号T1、通道信号T2和通道信号T3；如图6中的(b)所示，第二初始图像P2可以包括4种颜色的通道信号(例如为T1、T2、T3和T4)，或者，如图6中的(c)所示，第二初始图像P2可以包括5种颜色的通道信号(例如为T1、T2、T3、T4和T5)，或者，如图6中的(d)所示，第二初始图像P2还可以包括6种颜色的通道信号(例如为T1、T2、T3、T4、T5和T6)。当然，第二初始图像P2也可以包括更多种颜色的通道信号，本申请实施例对此不进行任何限制。

其中，第一初始图像和第二初始图像分别包括的通道信号的排布方式可以根据需要进行设置和修改，上述图6所示的排布方式仅为一种示例，本申请实施例对此不进行任何限制。

示例性一，第一初始图像P1包括的3种颜色的通道信号分别为红色通道信号(R)、绿色通道信号(G)和蓝色通道信号(B)，该3种颜色以2×2的排布方式，且以RGGB为最小重复单元进行重复。

示例性二，第一初始图像P1包括的3种颜色的通道信号分别为红色通道信号(R)、黄色通道信号(Y)和蓝色通道信号(B)，该3种颜色以2×2的排布方式，且以RYYB为最小重复单元进行重复。

示例性三，第一初始图像P1包括的3种颜色的通道信号分别为红色通道信号(R)、白色通道信号(W)和蓝色通道信号(B)，该3种颜色以2×2的排布方式，且以RWWB为最小重复单元进行重复。

示例性四，第二初始图像P2包括6种颜色的通道信号时，该6种颜色的通道信号分别为红色通道信号(R)、绿色通道信号(G)、蓝色通道信号(B)、青色通道信号(C)、品红色通道信号(M)和黄色通道信号(Y)，该6种颜色以4×4的排布方式，且以如图1所示的最小重复单元进行重复。

应理解，上述为对通道信号的举例说明，并不对本申请的通道信号作任何限定。

此处，需要说明的是，当第一初始图像和第二初始图像分别包括的通道信号颜色越不同时，后续处理过程中对颜色还原的能力更好；当第一初始图像和第二初始图像分别包括的通道信号具有部分颜色相同时，后续处理过程中对信噪比的提升效果更好。

S14、分别对第一初始图像和第二初始图像进行前端处理，得到各自对应的位于YUV域的前端处理图像。

此处，需要说明的是，本申请所述的前端处理仅表示该步骤位于融合之前，因此称为“前端”处理，并无其他含义。前端处理也可以称为第一处理等，本申请实施例对此不进行任何限制。

S15、将两帧位于YUV域的前端处理图像分别包括的UV图层进行融合处理，得到UV融合图层。

应理解，位于YUV域的前端处理图像包括Y图层和UV图层，其中，Y图层用于表示图像在YUV域中包含的Y通道信息；UV图层用于表示图像在YUV域中包含的UV通道信息。位于YUV域的前端处理图像的每个像素位置处对应一个Y值和UV值，这样，根据所有像素对应的Y值生成的图层即为Y图层，根据所有像素对应的UV值生成的图层即为UV图层。

除此之外，UV图层也可以包括两个图层，分别为U图层和V图层，U图层用于表示图像在YUV域中包含的U通道信息，V图层用于表示图像在YUV域中包含的V通道信息。位于YUV域的前端处理图像的每个像素位置处对应一个Y值、U值和V值，这样，根据所有像素对应的Y值生成的图层即为Y图层，根据所有像素对应的U值生成的图层即为U图层，根据所有像素对应的V值生成的图层即为V图层。

UV图层表示一个图层或两个图层，可以根据需要进行选择和更改，本申请实施例对此不进行任何限制。

应理解，由于第一初始图像和第二初始图像分别包括的通道信号不同，因此，转换成位于YUV域的前端处理图像后，各自包括的UV图层所对应的信息也不同。

此处，将两帧位于YUV域的前端处理图像分别包括的UV图层进行融合处理，可以将其对应相同像素位置处的UV值进行相加或按不同权重进行相乘，或者，也可以利用网络模型进行融合；当然，还可以利用其它方式进行融合处理，具体可以根据需要进行选择和设置，本申请实施例对此不进行任何限制。

当第一初始图像和第二初始图像之间的尺寸不同时，对应生成的两帧位于YUV域的前端处理图像的尺寸也不同，相应的，该两帧位于YUV域的前端处理图像所分别包括的UV图层的尺寸也不同。此时，在融合之前，则需要对待融合的UV图层的尺寸进行统一。例如，可以将尺寸相对较小的UV图层，利用上采样的方式，将其变更成与另一较大的UV图层尺寸相同的UV图层；然后，在将尺寸统一的两个UV图层进行融合处理，得到UV融合图层。

S16、根据第一初始图像对应的位于YUV域的前端处理图像中所包括的Y图层，以及UV融合图层，得到目标图像。

由于第二初始图像中的噪声相对较大，且主要集中在YUV域的Y通道上，而第一初始图像中的噪声相对较小，Y通道上的细节又相对丰富，因此，可以去除第二初始图像对应的位于YUV域的前端处理图像中所包括的Y通道信息，仅保留第一初始图像对应的位于YUV域的前端处理图像中所包括的Y通道信息，并将其直接作为目标图像对应的Y通道信息，由此，可以降低目标图像的噪声，提高细节丰富度。

又因为UV通道上的噪声相对较少，所以可以将第一初始图像和第二初始图像各自对应的位于YUV域的前端处理图像分别包括的UV图层进行融合处理，以利用第二初始图像包括通道信号颜色多，色准良好的特点，来提高目标图像的色彩还原度。

由第一初始图像对应的位于YUV域的前端处理图像中所包括的Y图层，以及UV融合图层，可组成位于YUV域的目标图像。在此基础上，可对位于YUV域的目标图像进行转域处理，将其转换成位于sRGB域的目标图像，或者，将其转换成jpeg格式的目标图像，然后，再在电子设备的显示屏上进行显示，或者进行存储。其中，sRGB域用于指示色温为6500K标准光源的标准颜色空间。

本申请实施例提供的图像处理方法，通过获取包括红色通道信号、绿色通道信号和蓝色通道信号的第一初始图像和至少包括4种颜色的通道信号的第二初始图像，结合利用第一初始图像恢复成的图像具有良好信噪比的特点，利用第二初始图像恢复成的图像具有良好色准的特点，在YUV域上，根据第一初始图像和第二初始图像各自对应的YUV域上的图像所包括的UV图层完成图像动态融合，得到UV融合图层；再结合第一初始图像对应的YUV域上的图像所包括的Y图层，生成目标图像，从而可以实现图像色彩的较好还原和信噪比的良好表现。

图7示出了本申请实施例提供的一种图像处理方法的流程示意图。如图7所示，本申请实施例提供了一种图像处理方法2，应用于包括有多光谱传感器的电子设备中。该图像处理方法2包括以下S21至S26。

S21、显示第一界面，第一界面包括第一控件。

S22、检测到对第一控件的第一操作。

第一控件和第一操作的描述与上述S11、S12中的描述相同，在此不再赘述。其中，S21、S22在图7中未示出。

S23、响应于第一操作，利用多光谱传感器，获取第一初始图像和第二初始图像。

其中，第一初始图像包括3种颜色的通道信号，分别为红色通道信号(R)、绿色通道信号(G)和蓝色通道信号(B)。第二初始图像包括6种颜色的通道信号，分别为红色通道信号(R)、绿色通道信号(G)、蓝色通道信号(B)、青色通道信号(C)、品红色通道信号(M)和黄色通道信号(Y)。

应理解，此处仅为一种示例，第一初始图像和第二初始图像所包括的通道信号也可以为其他颜色的通道信号，本申请实施例对此不进行任何限制。

需要说明的是，该多光谱传感器可以获取的通道信号的数量应该大于或等于第一初始图像和第二初始图像对应的通道信号的颜色种类之和。例如，当第一初始图像包含红色通道信号(R)、绿色通道信号(G)和蓝色通道信号(B)，第二初始图像包含红色通道信号(R)、绿色通道信号(G)、蓝色通道信号(B)、青色通道信号(C)、品红色通道信号(M)和黄色通道信号(Y)时，该多光谱传感器至少可以获取6种不同颜色的通道信号，分别为红色通道信号(R)、绿色通道信号(G)、蓝色通道信号(B)、青色通道信号(C)、品红色通道信号(M)和黄色通道信号(Y)，由此，才可以生成第一初始图像和第二初始图像。

此处，还需要说明的是，由于CFA限制，上述第二初始图像通常仅为第一初始图像的尺寸的1/16，当然，第二初始图像的尺寸也可以为第一初始图像的尺寸的1/8，或者，1/4；当然，第二初始图像的尺寸还可以和第一初始图像的尺寸相同，具体根据需要进行设置，本申请实施例对此不进行任何限制。

应理解，在本申请实施例中，利用多光谱传感器获取的第一初始图像和第二初始图像的数量，可以根据需要进行设置和更改，本申请实施例对此不进行任何限制，在本实施例中仅以1帧第一初始图像和1帧第二初始图像为例进行示意。

应理解，多光谱传感器可以通过一路数据通路，输出第一初始图像和第二初始图像，或者，也可以通过两路数据通路，分别输出第一初始图像和第二初始图像，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。图7以两路数据通路进行传输进行示意。

可选地，图10示出了另一种图像处理方法的流程示意图。以图10为例，在上述S23中，响应于第一操作，利用多光谱传感器获取第一初始图像和第二初始图像时，可以包括：

S231、响应于第一操作，利用多光谱传感器获取多光谱图像。

多光谱图像为位于RAW域的图像。

S232、对多光谱图像进行分解处理，得到第一初始图像和第二初始图像。

其中，多光谱图像指的是包括多种通道信号的图像。由于要通过多光谱图像分解出第一初始图像和第二初始图像，因此，多光谱图像包括的通道应至少包括第一初始图像和第二初始图像各自所包括的通道。

分解处理指的是将多光谱图像中的通道信息进行拆分的处理。例如，可以通过对多光谱图像进行remosaic，来得到第一初始图像和第二初始图像。

S24、对第一初始图像进行第一前端处理，得到位于YUV域的第一前端处理图像；对第二初始图像进行第二前端处理，得到位于YUV域的第二前端处理图像。

应理解，第一前端处理和第二前端处理可以在同一图像信号处理器(imagesignal processing，ISP)中进行处理，或者，也可以分开在两个图像信号处理器中进行处理，或者，也可以在多光谱传感器中进行处理，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

当本申请实施例提供的前端处理方法包括上述S231和S232时，上述分解处理与第一前端处理可以在同一ISP中进行处理，或者，与第二前端处理可以在同一ISP进行处理，或者，也可以在另一不同的ISP中进行处理，当然，也可以在多光谱传感器中进行处理，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

可选地，图8示出了本申请实施例提供的一种第一前端处理和第二前端处理的示意图。如图8中的(a)和(b)所示，第一前端处理和第二前端处理均可以包括：自动白平衡、去马赛克、颜色校正和sRGB域转YUV域。

其中，sRGB域转YUV域指的是将位于sRGB域的图像转换成位于YUV域的图像。

应理解，在本申请中，自动白平衡用于将位于RAW域的第一初始图像和位于RAW域的第二初始图像，校正到D65参考光源下，使其白色呈现出真正的白色。

在本申请中，第一初始图像和第二初始图像可以以绿色通道信号对应的像素值为基准做白平衡。即，以G＝1为基准，使得R＝G＝B，R＝G＝B＝C＝M＝Y。

针对第一初始图像，在自动白平衡算法中，通过计算G/R，确定R对应的gain值为gain_R1；通过计算G/B，确定B对应的gain值为gain_B1；然后，将第一初始图像原有的红色像素值与gain_R1相乘，即可确定出自动白平衡校正后的红色像素值；将第一初始图像原有的蓝色像素值与gain_B1相乘，即可确定出自动白平衡校正后的蓝色像素值。

同理，针对第二初始图像，在自动白平衡算法中，通过计算G/R，确定R对应的gain值为gain_R2；通过计算G/B，确定B对应的gain值为gain_B2；通过计算G/C，确定C对应的gain值为gain_C；通过计算G/M，确定M对应的gain值为gain_M；通过计算G/Y，确定Y对应的gain值为gain_Y。然后，将第二初始图像原有的红色像素值与gain_R2相乘，即可确定出自动白平衡校正后的红色像素值；将第二初始图像原有的蓝色像素值与gain_B2相乘，即可确定出自动白平衡校正后的蓝色像素值；将第二初始图像原有的青色像素值与gain_C相乘，即可确定出自动白平衡校正后的青色像素值；将第二初始图像原有的品红色像素值与gain_M相乘，即可确定出自动白平衡校正后的品红色像素值；将第二初始图像原有的黄色像素值与gain_Y相乘，即可确定出自动白平衡校正后的黄色像素值。通过对第一初始图像和第二初始图像以绿色通道信号对应的像素值为基准进行自动白平衡后，可以第一初始图像和第二初始图像的亮度进行统一。

在本申请中，去马赛克用于将每个像素中的单通道信号补充成多通道信号，也即根据位于RAW域的图像重建出彩色图像。

例如，针对包括红色通道信号、绿色通道信号和蓝色通道信号的第一初始图像，在去马赛克之前，图像中某个像素仅对应一种颜色通道信号，比如仅对应红色通道信号；而进行了去马赛克之后，该像素对应3种颜色通道信号，分别为红色、绿色和蓝色通道信号，也即是说，针对仅有红色通道信号的像素，补充了绿色通道信号和蓝色通道信号。其他颜色的像素的补充情况依次类推，在此不再赘述。

针对包括红色、绿色、蓝色、青色、品红色和黄色通道信号的第二初始图像，在去马赛克之前，图像中某个像素仅对应一种颜色通道信号，比如仅对应红色通道信号；而进行了去马赛克之后，该像素对应6种颜色通道信号，分别为红色、绿色、蓝色、青色、品红色和黄色通道信号，也即是说，针对仅有红色通道信号的像素，补充了绿色、蓝色、青色、品红色和黄色通道信号。其他颜色的像素的补充情况依次类推，在此不再赘述。

结合图8中的(a)所示，第一初始图像经自动白平衡和去马赛克处理后，可还原出第一初始图像对应的第一初始彩色图像；结合图8中的(b)所示，第二初始图像经自动白平衡和去马赛克处理后，可还原出第二初始图像对应的第二初始彩色图像。但是该还原出的第一初始彩色图像和第二初始彩色图像仅将白色进行了校正，除了白色以外的其他颜色还没校正，因此，可以对第一初始图像对应的第一初始彩色图像继续进行颜色校正，得到位于sRGB域的第一中间彩色图像；以及对第二初始图像对应的第二初始彩色图像继续进行颜色校正，得到位于sRGB域的第一中间彩色图像。

其中，进行颜色校正时，所使用的CCM矩阵，可以使用在先拟合好的CCM矩阵。当没有D65参考光源下的CCM矩阵时，可以利用其它色温对应的CCM矩阵插值确定出D65参考光源下的CCM矩阵。

此处，需要说明的是，由于第一初始图像对应的第一初始彩色图像和第二初始图像对应的第二初始彩色图像分别包括的通道信号数量和颜色不同，因此，进行颜色校正时，所使用的CCM矩阵是不同的。比如，针对第一初始图像对应的第一初始彩色图像，由于第一初始彩色图像包括的是红色、绿色和蓝色通道信号，进行颜色校正时，使用的CCM矩阵则为包括3×3个参数值的矩阵。针对第二初始图像对应的第二初始彩色图像，由于第二初始彩色图像包括的是红色、绿色、蓝色、青色、品红色和黄色通道信号，进行颜色校正时，使用的CCM矩阵则为包括6×3个参数值的矩阵。该两个CCM矩阵包括的参数值也不一定相同。

应理解，去马赛克之后得到的第一初始彩色图像中的每个像素分别包含红色、绿色和蓝色3通道信号，第二初始彩色图像中的每个像素分别包含红色、绿色、蓝色、青色、品红色和黄色6通道信号，颜色校正后得到的第一中间彩色图像和第二中间彩色图像均位于sRGB域，也即每个像素均包含红色、绿色和蓝色3通道信号；而经过sRGB域转YUV域之后，位于sRGB域的第一中间彩色图像可以转换成位于YUV域的第一前端处理图像，位于sRGB域的第二中间彩色图像可以转换成位于YUV域的第二前端处理图像。

在此基础上，第一前端处理和第二前端处理均还可以包括：动态坏点补偿(defectpixel correction，DPC)、降噪(denoising)、镜头阴影校正(lens shading correction，LSC)和宽动态范围调整(wide range compression，WDR)中的至少一项。

应理解，动态坏点补偿用于解决多光谱传感器上光线采集的点形成的阵列所存在的缺陷，或者光信号进行转化的过程中存在的错误；通常通过在亮度域上取其他周围像素点均值来消除坏点。

应理解，降噪用于减少图像中噪声，一般方法有均值滤波、高斯滤波、双边滤波等。镜头阴影校正用于消除由于镜头光学系统原因造成的图像四周颜色以及亮度与图像中心不一致的问题。

宽动态范围调整指的是：当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。因此，可以在同一场景中对最亮区域及较暗区域进行调整，例如使暗区在图像中变亮，亮区在图像变暗，从而使得处理后的图像可以呈现暗区和亮区中的更多细节。

应理解，第一前端处理和第二前端处理均可以包括上述一个或多个处理步骤，当第一前端处理或第二前端处理包括多个处理步骤时，该多个处理步骤的顺序可以根据需要进行调整，本申请实施例对此不进行任何限制。第一前端处理和第二前端处理可以相同也可以不相同。此外，第一前端处理和第二前端处理均还可以包括其他步骤，具体可以根据需要进行增加，本申请实施例对此不进行任何限制。

S25、将第一前端处理图像中的第一UV图层和第二前端处理图像中的第二UV图层利用目标网络模型进行融合处理，得到UV融合图层。

如图7所示，位于YUV域的第一前端处理图像可以包括第一Y图层和第一UV图层，其中，第一Y图层用于表示第一前端处理图像在YUV域中包括的Y通道信息；第一UV图层用于表示图像在YUV域包括的UV通道信息。其中，第一UV图层可以包括表示U通道信息的U图层和表示V通道信息的V图层，或者第一UV图层可以包括表示UV通道信息的一个图层。

如图7所示，位于YUV域的第二前端处理图像可以包括第二Y图层和第二UV图层，其中，第二Y图层用于表示第二前端处理图像在YUV域中包括的Y通道信息；第二UV图层用于表示图像在YUV域包括的UV通道信息。其中，第二UV图层可以包括表示U通道信息的U图层和表示V通道信息的V图层，或者第二UV图层可以包括表示UV通道信息的一个图层。

第一UV图层和第二UV图层表示一个图层或两个图层，可以根据需要进行选择和更改，本申请实施例对此不进行任何限制。

此处，可以利用本申请提供的目标网络模型进行融合处理。该目标网络模型为基于U-net模型训练而成的网络模型，当然，目标网络模型也可以利用其它模型训练而成，本申请实施例对此不进行任何限制。

以由U-net模型训练而成的目标网络模型为例，将第一UV图层和第二UV图层输入目标网络模型之后，目标网络模型可以通过上采样对第一UV图层和第二UV图层的尺寸进行统一，然后，经过解码、特征提取和编码处理后，得到融合后的UV融合图层。

示例性的，若第一初始图像的尺寸为1600×1600，而第二初始图像的尺寸为400×400，那么，第一初始图像对应的位于YUV域的第一前端处理图像中所包括的第一UV图层尺寸也为1600×1600，而第二初始图像对应的位于YUV域的第二前端处理图像中所包括的第二UV图层尺寸为400×400，此时，在融合之前，目标网络模型可以通过上采样可以将第二UV图层的尺寸也调整为1600×1600，从而使第一UV图层和第二UV图层的尺寸相同，然后再进行融合。

S26、根据第一前端处理图像包括的第一Y图层和UV融合图层，经后端处理后得到位于sRGB域的目标图像。

此处，需要说明的是，本申请所述的后端处理仅表示该步骤位于融合之后，因此称为“后端”处理，并无其他含义。后端处理也可以称为第二处理等，本申请实施例对此不进行任何限制。

可选地，图9提供了一种后端处理的示意图，如图9所示，后端处理可以包括YUV域转sRGB域。

其中，YUV域转sRGB域指的是将位于YUV域的图像转换成位于sRGB域的图像。

在本申请中，由于第一Y图层包含Y通道信息，UV融合图层包含UV通道信息，因此，根据第一Y图层和UV融合图层，相当于可以组成一个位于YUV域的目标图像，基于此，可以对其进行YUV域转sRGB域的处理，从而得到位于sRGB域的目标图像。

应理解，后端处理还可以包括其他处理步骤，当后端处理包括多个处理步骤时，该多个处理步骤的顺序可以根据需要进行调整，本申请实施例对此不进行任何限制。

应理解，后端处理可以与第一前端处理和/或第二前端处理在同一图像信号处理器中进行处理，或者，后端处理也可以分开在其他图像信号处理器中进行处理，具体可以根据需要进行设置，本申请实施例对此不进行任何限制。

应理解，目标图像将被作为拍摄图像在电子设备的界面上进行显示，或者，仅进行存储，具体可以根据需要进行选择，本申请实施例对此不进行任何限制。

还应理解，上述过程仅为一种示例，具体可以根据需要进行顺序上的调整，当然，还可以增加或减少步骤，本申请实施例对此不进行任何限制。

在本申请实施例中，通过获取包括红色、绿色和蓝色通道信号的第一初始图像和包括红色、绿色、蓝色、青色、品红色和黄色通道信号6种颜色的通道信号的第二初始图像，经前端处理后在YUV域上，根据第一初始图像和第二初始图像各自对应的YUV域上的图像所包括的UV图层，利用目标网络模型完成图像动态融合，得到UV融合图层；再结合第一初始图像对应的YUV域上的图像所包括的Y图层，根据该Y图层和UV融合图像，经后端处理后生成位于sRGB域的目标图像。

上述介绍了本申请提供的图像处理方法，在该图像处理方法中，会使用目标网络模型进行融合处理。那么，在使用之前，通常还需要进行训练，以生成上述所需的目标网络模型。也就是说，在S25之前，上述方法1通常还包括S27。

S27、利用多对UV训练图层，对初始网络模型进行训练，确定目标网络模型。

其中，UV训练图层包括UV通道信息。也可以认为，UV训练图层为位于YUV域的训练图像中包括的UV训练图层。

初始网络模型例如可以以U-net为基模型，U-net用于实现编码、特征提取和解码。在此基础上，初始网络模型还包括：上采样层和拼接层。

其中，上采样层用于通过反卷积(deconvolution)放大图像的尺寸，提高图像分辨率。比如，上采样可以是指采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。

拼接层指的是对尺寸统一后的UV训练图层进行拼接，在本申请中，拼接指的是将尺寸统一后的UV训练图层重叠放在一起。

U-net用于将拼接后的UV训练图层进行融合，得到UV融合图层。

下面结合图11对目标网络模型的训练过程进行详细介绍。图11为本申请实施例提供的一种训练目标网络模型的流程示意图。

如图11所示，上述S27可以包括以下S271至S273。

S271、将多对UV训练图层中的每对UV训练图层输入初始网络模型进行处理，确定对应的UV训练融合图层。

示例性的，可以通过多光谱传感器获取多帧包括不同通道数量和颜色的训练图像，该多帧训练图像均位于RAW域；将多帧位于RAW域的训练图像转换成位于YUV域的训练图像；然后，将位于YUV域的训练图像包括的UV图层作为UV训练图层。

其中，在训练时，可以将任意两帧UV训练图层作为一对UV训练图层。

例如，可以通过多光谱传感器获取多帧包括红色、绿色和蓝色通道信号的第一训练图像，以及多帧包括红色、绿色、蓝色、青色、品红色和黄色的第二训练图像，此时，第一训练图像和第二训练图像均位于RAW域；将位于RAW域第一训练图像转换成位于YUV域的第一训练图像，以及将位于RAW域的第二训练图像转换成位于YUV域的第二训练图像；然后，将位于YUV域的第一训练图像包括的UV图层和位于YUV域的第二训练图像包括的UV图层作为一对UV训练图层。

为了提高训练成的目标网络模型的融合能力，可以增加训练图像包括的通道数量，丰富训练图像包括的通道颜色。

S272、确定UV训练融合图层与目标真值图像包括的目标UV图层之间的损失值。

其中，目标真值图像位于YUV域。损失值可以为L2 loss。

S273、根据损失值，调整初始网络模型，得到目标网络模型。

应理解，根据损失值，调整初始网络模型，得到目标网络模型的过程即为利用反向传播(back propagation，BP)算法得到目标网络模型。其中，反向传播算法指的是在训练过程中修正初始网络模型中参数的大小，使得初始网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始网络模型中的参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的初始网络模型的参数，例如权重矩阵。

误差损失即为本申请所述的损失值。当损失值不满足预设条件时，例如大于预设阈值，则调整初始网络模型中的参数，然后继续利用UV训练图层，依照上述训练步骤对调整参数后的初始网络模型继续进行训练，循环重复多次，直至确定出的损失值满足预设条件，即小于预设阈值。此时，说明融合得到的UV训练融合图层与目标真值图像包括的目标UV图层比较像，进而说明初始网络模型已经训练好了，可以将该训练好的初始网络模型作为目标网络模型进行使用。

在上述S272中，需要以目标真值图像包括的目标UV图层作为对比，来判断初始网络模型有没有训练好，那么，在该步骤之前，则需要先确定目标真值图像。图12为本申请实施例提供的一种确定目标真值图像的流程示意图。

如图12所示，上述S27还可以包括以下S274至S280。

S274、利用高光谱相机获取第一高光谱图像。

其中，高光谱相机指的是可以分别接收十几种或者几十种通道信号的成像设备，相对于多光谱传感器可接收的通道信号数量和颜色更多。通常高光谱相机获取的是窄带的图像数据。例如，高光谱相机可以在400nm～720nm的波段之间，每隔10nm宽度产生一次光谱响应，也就是说，将收集的该波长及其附近一个小范围的波段对应的信息，形成一个通道。相应的，高光谱图像即为包括十几种或者几十种通道信号的图像。

S275、利用光谱仪获取当前光源光谱向量。

其中，当前光源光谱向量用于表示待拍摄场景中，当前光源所对应的光谱信息。

应理解，利用高光谱相机获取的高光谱图像和利用光谱仪获取的当前光源光谱向量，以及利用多光谱传感器获取的UV训练图层，为从同一待拍摄场景中所获取到的数据。

S276、将高光谱图像与当前光源光谱向量相除，确定光谱反射率。

应理解，在成像过程中，当前光源照射待拍摄场景，然后待拍摄场景反射光源产生的光线到高光谱相机中，这样，高光谱相机对待拍摄场景进行拍摄，获取高光谱图像时，进入高光谱相机镜头的光线为待拍摄场景中的物体反射当前光源所产生的光线，可以理解为高光谱获取的高光谱图像为光源信息与光谱反射率的乘积，由此，将高光谱图像与表示光源信息的当前光源光谱向量相除后，即可确定出相应的光谱反射率。

S277、将光谱反射率与参考光源光谱向量相乘，确定第二高光谱图像。

S278、根据第二高光谱图像，利用CIE1931XYZ光谱三刺激值积分公式进行积分，确定位于XYZ域的参考图像。

应理解，将第一高光谱图像与当前光源光谱向量相除，再与参考光源光谱向量相乘，相当于在待拍摄场景中利用参考光源替换了当前光源，由此，得到的第二高光谱图像可以认为为参考光源下高光谱相机获取到的图像。但是，此时该第二高光谱图像仅满足机器的的光谱响应，并不能反应人眼视觉的观看效果，因此，还需要对该第二高光谱图像进行调整。由此，可以结合CIE1931XYZ光谱三刺激值积分公式进行积分，以确定出满足人眼视觉要求的位于XYZ域的参考图像。

其中，参考光源通常指的是色温为6500K的标准光源，参考光源光谱向量即为标准光源所对应的光谱向量。

CIE1931XYZ光谱三刺激值中的X、Y、Z，表示引起人眼视网膜对某种颜色感觉的三种原色的刺激程度。由于从实际光谱中选定的红、绿、蓝三原色光不可能调配出存在于自然界的所有色彩，所以，国际照明委员会(International Commission on illumination，CIE)于1931年从理论上假设了并不存在于自然界的三种原色，即理论三原色，以X、Y、Z表示，以期从理论上来调配一切色彩。其中，X表示红原色刺激量，Y表示绿原色刺激量，Z表示蓝原色刺激量。

图13示出了一种CIE1931 XYZ三刺激值曲线。

示例性的，如图13所示，横轴表示波长，纵轴表示光谱反射率；

分别代表各波长等能光谱刺激所需的红色、绿色、蓝色刺激值。然后，使用以下CIE1931 XYZ光谱三刺激值积分公式即可确定参考图像对应的XYZ值。

CIE1931 XYZ光谱三刺激值积分公式为：

其中，k表示常数，

表示第二高光谱图像。

根据上述公式，即可确定出第二高光谱图像对应的参考图像在XYZ颜色空间下的值。

S279、根据位于XYZ域的参考图像，确定位于sRGB域的初始真值图像。

将位于XYZ域的参考图像进行XYZ域转换至sRGB域的处理，由此，可以确定出对应的位于sRGB域的初始真值图像。

S280、根据位于sRGB域的初始真值图像，确定位于YUV域的目标真值图像。

将位于sRGB域的初始真值图像进行sRGB域转换至YUV域的处理，由此，可以确定出对应的位于YUV域的目标真值图像。该目标真值图像所包括的UV图层即为目标UV图层，用于在训练初始网络模型的过程中，与UV训练融合图层进行对比，确定损失值。

在此基础上，为了减小目标真值图像包括的目标UV图层与UV训练融合图层在融合之外的误差，如图14所示，在上述S280之前，上述S27还可以包括以下S281。

S281、将初始真值图像，与第一UV训练图层对应的位于sRGB域的第一训练图像进行配准，确定位于sRGB域的中间真值图像。

然后，根据位于sRGB域的中间真值图像，确定位于YUV域的目标真值图像。

比如，将位于sRGB域的中间真值图像进行sRGB域转YUV域的处理，由此，可以确定出位于YUV域的目标真值图像。

上述对本申请实施例提供的图像处理方法进行了详细介绍，下面结合电子设备的显示界面介绍一下用户如何启用本申请实施例提供的图像处理方法。

图15为本申请实施例提供的一种电子设备的显示界面的示意图。

示例性的，响应于用户的点击操作，当电子设备100运行相机应用时，电子设备100显示如图15中的(a)所示的拍摄界面。用户可以在该界面上进行滑动操作，使得拍摄键11指示拍摄选项“更多”上。

响应于用户针对拍摄选项“更多”的点击操作，电子设备100显示如图15中的(b)所示的拍摄界面，在该界面上显示有多个拍摄模式选项，例如：专业模式、全景模式、HDR模式、延时摄影模式、水印模式、色彩还原模式等。应理解，上述拍摄模式选项仅为示例，具体可以根据需要进行设定和修改，本申请实施例对此不进行任何限制。

响应于用户针对“色彩还原”模式的点击操作，电子设备100可以在拍摄启用本申请实施例提供的图像处理方法相关的程序。

图16为本申请实施例提供的另一种电子设备的显示界面的示意图。

示例性的，响应于用户的点击操作，当电子设备100运行相机应用时，电子设备100显示如图16中的(a)所示的拍摄界面，在该拍摄界面的右上角显示有“设置”按钮。用户可以在该界面上点击“设置”按钮，进入设置界面进行相关功能的设置。

响应于用户针对“设置”按钮的点击操作，电子设备100显示如图16中的(b)所示的设置界面，在该界面上显示有多个功能，例如，照片比例用于实现拍照模式下对照片比例的设定，声控拍照用于实现拍照模式下是否通过声音进行触发的设定，视频分辨率用于实现对视频分辨率的调整，视频帧率用于实现对视频帧率的调整，此外还有通用的参考线、水平仪、色彩还原等。

响应于用户针对“色彩还原”对应的开关按钮的拖动操作，电子设备100可以在拍摄时启用本申请实施例提供的图像处理方法相关的程序。

应理解，上述仅为用户从电子设备的显示界面启用本申请实施例提供的图像处理方法的两种示例，当然也可以通过其他方式来启用本申请实施例提供的图像处理方法，或者，也可以在拍摄过程默认直接使用本申请实施例提供的图像处理方法，本申请实施例对此不进行任何限制。

上文结合图1至图16详细描述了本申请实施例提供的图像处理方法以及相关的显示界面和效果图；下面将结合图17至图20详细描述本申请实施例提供的电子设备、装置和芯片。应理解，本申请实施例中的电子设备、装置和芯片可以执行前述本申请实施例的各种图像处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图17示出了一种适用于本申请的电子设备的硬件系统。电子设备100可用于实现上述方法实施例中描述的图像处理方法。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图17所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图17所示的部件更多或更少的部件，或者，电子设备100可以包括图17所示的部件中某些部件的组合，或者，电子设备100可以包括图17所示的部件中某些部件的子部件。图17示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在本申请实施例中，处理器110可以执行显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取多帧初始图像，多帧初始图像包括至少1帧第一初始图像和至少1帧第二初始图像，第一初始图像包括红色通道信号、绿色通道信号和蓝色通道信号，第二初始图像包括至少四种颜色的通道信号。分别对第一初始图像和第二初始图像进行前端处理，得到各自对应的位于YUV域的前端处理图像；将位于YUV域的前端处理图像分别包括的UV图层进行融合处理，得到UV融合图层；根据第一初始图像对应的位于YUV域的前端处理图像中所包括的Y图层，以及UV融合图层，得到目标图像。

图17所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。

图18是本申请实施例提供的电子设备的软件系统的示意图。

如图18所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机应用程序或者其他应用程序，其他应用程序包括但不限于：相机、图库等应用程序。

应用框架层220可以向应用层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架；应用框架层可以包括一些预定义的函数。

例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备；其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法库中的相机算法。

例如，硬件抽象层230中包括相机硬件抽象层2301与相机算法库；相机算法库中可以包括软件算法；比如，算法1、算法2等可以是用于图像处理的软件算法。

驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动、数字信号处理器驱动和图形处理器驱动。

硬件层250可以包括多个图像传感器(sensor)、多个图像信号处理器、数字信号处理器、图形处理器以及其他硬件设备。

例如，硬件层250包括传感器和图像信号处理器；传感器中可以包括传感器1、传感器2、深度传感器(time of flight，TOF)、多光谱传感器等。图像信号处理器中可以包括图像信号处理器1、图像信号处理器2等。

在本申请中，通过调用硬件抽象层230中的硬件抽象层接口，可以实现硬件抽象层230上方的应用程序层210、应用程序框架层220与下方的驱动层240、硬件层250的连接，实现摄像头数据传输及功能控制。

其中，在硬件抽象层230中的摄像头硬件接口层中，厂商可以根据需求在此定制功能。摄像头硬件接口层相比硬件抽象层接口，更加高效、灵活、低延迟，也能更加丰富的调用ISP和GPU，来实现图像处理。其中，输入硬件抽象层230中的的图像可以来自图像传感器，也可以来自存储的图片。

硬件抽象层230中的调度层，包含了通用功能性接口，用于实现管理和控制。

硬件抽象层230中的摄像头服务层，用于访问ISP和其他硬件的接口。

下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

应用程序层中的相机应用可以以图标的方式显示在电子设备100的屏幕上。当相机应用的图标被用户点击以进行触发时，电子设备100开始运行相机应用。当相机应用运行在电子设备100上时，相机应用调用应用程序框架层210中的相机应用对应的接口，然后，通过调用硬件抽象层230启动摄像头驱动，开启电子设备100上的包含多光谱传感器的摄像头193，并通过多光谱传感器采集多帧初始图像。此时，多光谱传感器可按一定工作频率进行采集，并将采集的图像在多光谱传感器内部或传输至1路或多路图像信号处理器中进行处理，然后，再将处理后的目标图像进行保存和/或传输至显示屏进行显示。

下面介绍本申请实施例提供的一种用于实现上述图像处理方法的图像处理装置300。图19是本申请实施例提供的图像处理装置300的示意图。

如图19所示，图像处理装置300包括显示单元310、获取单元320和处理单元330。

其中，显示单元310用于显示第一界面，第一界面包括第一控件。

获取单元320用于检测到对第一控件的第一操作。

处理单元330用于响应于第一操作，获取多帧初始图像，多帧初始图像包括至少1帧第一初始图像和至少1帧第二初始图像，第一初始图像包括红色通道信号、绿色通道信号和蓝色通道信号，第二初始图像包括至少4种颜色的通道信号。

处理单元330还用于分别对第一初始图像和第二初始图像进行前端处理，得到各自对应的位于YUV域的前端处理图像；根据第一初始图像对应的位于YUV域的前端处理图像中所包括的Y图层，以及UV融合图层，得到目标图像。

需要说明的是，上述图像处理装置300以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在图像处理装置300上运行时，使得该图像处理装置300执行前述所示的图像处理方法。

所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。

本申请实施例还提供了一种包含计算机指令的计算机程序产品，当其在图像处理装置300上运行时，使得图像处理装置300可以执行前述所示的图像处理方法。

图20为本申请实施例提供的一种芯片的结构示意图。图20所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器401。其中，处理器401用于支持图像处理装置300执行前述所示的技术方案。

可选的，该芯片还包括收发器402，收发器402用于接受处理器401的控制，用于支持图像处理装置300执行前述所示的技术方案。

可选的，图20所示的芯片还可以包括：存储介质403。

需要说明的是，图20所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

上述本申请实施例提供的电子设备、图像处理装置300、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。

应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

显示第一界面，所述第一界面包括第一控件；

检测到对所述第一控件的第一操作；

响应于所述第一操作，获取多帧初始图像，所述多帧初始图像包括至少1帧第一初始图像和至少1帧第二初始图像，所述第一初始图像包括红色通道信号、绿色通道信号和蓝色通道信号，所述第二初始图像包括至少4种颜色的通道信号；

2.根据权利要求1所述的图像处理方法，其特征在于，将两帧位于YUV域的所述前端处理图像分别包括的UV图层进行融合处理，得到UV融合图层，包括：

3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：

4.根据权利要求3所述的图像处理方法，其特征在于，利用多对UV训练图层，对初始网络模型进行训练，得到所述目标网络模型，包括：

5.根据权利要求4所述的图像处理方法，其特征在于，所述图像处理方法还包括：

利用高光谱相机获取第一高光谱图像；

利用光谱仪获取当前光源光谱向量；

6.根据权利要求5所述的图像处理方法，其特征在于，根据所述第一高光谱图像、所述当前光源光谱向量和参考光源光谱向量，确定位于XYZ域的参考图像，包括：

7.根据权利要求3至6中的任一项所述的图像处理方法，其特征在于，所述初始网络模型以U-net为基模型，所述初始网络模型还包括上采样层和拼接层；

8.根据权利要求1至7中任一项所述的图像处理方法，其特征在于，所述电子设备包括多光谱传感器；所述响应于所述第一操作，获取多帧初始图像，包括：

对所述多光谱图像进行分解处理，得到多帧所述初始图像。

9.根据权利要求1至8中的任一项所述的图像处理方法，其特征在于，所述前端处理包括自动白平衡、去马赛克、颜色校正和sRGB域转YUV域。

10.根据权利要求1至9中任一项所述的图像处理方法，其特征在于，所述第一初始图像包括红色通道信号、黄色通道信号和蓝色通道信号，或者，所述第一初始图像包括红色通道信号、白色通道信号和蓝色通道信号。

11.根据权利要求1至10中任一项所述的图像处理方法，其特征在于，所述第二初始图像包括红色通道信号、绿色通道信号、蓝色通道信号、青色通道信号、品红色通道信号和黄色通道信号。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器和存储器；

所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至11中任一项所述的图像处理方法。

13.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至11中任一项所述的图像处理方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至11中任一项所述的图像处理方法。