CN116048323A - 图像处理方法及电子设备 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法及电子设备。在该图像处理方法中，使用经ISP通路处理得到的YUV图像，对经AI图像处理算法处理得到的YUV图像进行颜色增强，不仅能够保证图像清晰度和图像细节显示效果，也能提升图像颜色显示效果。

Description

图像处理方法及电子设备

技术领域

本申请涉及智能终端技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

当前，诸如手机等电子设备的拍照功能越来越完善，用户对拍照的体验要求也越来越高。但是，在使用电子设备进行拍照时，在某些环境光亮度比较低的场景下(例如夜晚)拍摄出的照片会存在暗区。

然而，基于AI(Artificial Intelligence，人工智能)图像处理网络增强照片暗区颜色的调试难度很大。因此，如何对照片中暗区的颜色进行增强，提升照片效果，以拍摄出令用户满意的照片，提升用户的拍照体验感，是当前需要解决的技术问题。

发明内容

为了解决上述技术问题，本申请实施例提供一种图像处理方法及电子设备。在该方法中，使用经ISP通路处理得到的YUV图像，对经AI图像处理算法处理得到的YUV图像进行颜色增强，不仅能够保证图像清晰度和图像细节显示效果，也能提升图像颜色显示效果。

第一方面，本申请实施例提供一种图像处理方法。该图像处理方法包括：电子设备获取RAW图像；电子设备基于ISP对RAW图像进行处理，得到第一YUV图像；其中，ISP的通路参数是预先调试确定的；电子设备基于AI图像处理算法模块对RAW图像进行处理，得到第二YUV图像；电子设备根据第一YUV图像，对第二YUV图像进行颜色增强，得到与RAW图像对应的目标YUV图像。

其中，RAW图像是电子设备通过摄像头中的图像传感器采集的。

其中，ISP可以是芯片平台原生ISP通路，也可以是简单的传统ISP通路。ISP的通路参数是预先调试确定的，可以理解为经过该ISP处理得到的YUV图像在颜色上是满足用户预期的。

其中，第一YUV图像可以理解为满足用户颜色预期的YUV图像，第二YUV图像可以理解为需要进行颜色增强的YUV图像。

这样，使用经ISP通路处理得到的YUV图像，对经AI图像处理算法处理得到的YUV图像进行颜色增强，不仅能够保证图像清晰度和图像细节显示效果，也能提升图像颜色显示效果。而且，由于ISP通路参数的调试方法简单，所以该图像处理方法解决了AI图像处理算法针对图像颜色调试困难的问题。

根据第一方面，电子设备根据第一YUV图像，对第二YUV图像进行颜色增强，得到与RAW图像对应的目标YUV图像，可以包括：电子设备融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像。

这样，将基于ISP所得的图像和基于AI图像处理算法所得的图像在YUV域进行图像融合，不仅图像存储控件占用比较小，而且还能保证融合后图像的清晰度和细节显示。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像，可以包括：电子设备在UV域融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像。

这样，在UV域将第一YUV图像和第二YUV图像进行融合，既可以保留第二YUV图像的明亮度，又可以提升第二YUV图像的影像色彩及饱和度。也即，仅在UV域将第一YUV图像和第二YUV图像进行融合，不会影响目标YUV图像的清晰度和细节显示，且目标YUV图像的颜色也会增强。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在UV域融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像，可以包括：电子设备依次将第二YUV图像中的每个像素点作为当前处理像素点，并获取第二YUV图像当前处理像素点的Y值；如果当前处理像素点的Y值小于等于第一阈值，则电子设备将第一YUV图像中当前处理像素点的UV值，作为当前处理像素点的目标UV值；如果当前处理像素点的Y值大于第一阈值且小于第二阈值，则电子设备将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合，得到当前处理像素点的目标UV值；如果当前处理像素点的Y值大于第二阈值，则电子设备将第二YUV图像中当前处理像素点的UV值，作为当前处理像素点的目标UV值。

在本实现方式中，第一YUV图像和第二YUV图像中的像素点是一一对应的。如果第一YUV图像和第二YUV图像中的像素点不是一一对应的，可以首先将第一YUV图像和第二YUV图像进行图像配准，以使第一YUV图像和第二YUV图像中的像素点是一一对应的。

这样，考虑到ISP通路绝大多数不支持高动态场景，所以基于预设的融合策略在UV域融合第一YUV图像和第二YUV图像，提升了图像处理方法的泛化性，能够避免融合操作对高动态场景下图像(如第二YUV图像)产生像素过曝的问题。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合，包括：电子设备利用滤波算法确定第一YUV图像和第二YUV图像在UV域的融合系数；电子设备根据融合系数将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合。

这样，利用滤波算法确定第一YUV图像和第二YUV图像在UV域的融合系数，能够有效提高融合系数的精准性，提升图像UV的融合效果。

根据第一方面，或者以上第一方面的任意一种实现方式，滤波算法包括盒式滤波算法。

这样，采用盒式滤波算法计算第一YUV图像和第二YUV图像在UV域的融合系数，极大缩短计算时长，提升了图像处理性能。

根据第一方面，或者以上第一方面的任意一种实现方式，RAW图像为单帧RAW图像。

由此，该图像处理方法能够适用于对单帧RAW图像处理。

根据第一方面，或者以上第一方面的任意一种实现方式，RAW图像为多帧RAW图像。其中，电子设备基于ISP对RAW图像进行处理，得到第一YUV图像，可以包括：电子设备获取多帧RAW图像中的参考帧图像；电子设备基于ISP对参考帧图像进行处理，得到第一YUV图像；相应的，电子设备基于AI图像处理算法模块对RAW图像进行处理，得到第二YUV图像，可以包括：电子设备基于AI图像处理算法模块对多帧RAW图像进行处理，得到第二YUV图像。

由此，该图像处理方法能够适用于对单帧RAW图像处理。

根据第一方面，或者以上第一方面的任意一种实现方式，RAW图像是摄像头在局部暗光环境下或全局暗光环境下或极暗环境下采集的。相应的，电子设备根据第一YUV图像对第二YUV图像进行颜色增强，可以具体为：电子设备根据第一YUV图像对第二YUV图像进行暗区颜色增强。

由此，该图像处理方法适用于暗光场景，能够有效增强图像暗区的颜色。

根据第一方面，或者以上第一方面的任意一种实现方式，在电子设备得到与RAW图像对应的目标YUV图像之后，还包括：电子设备将目标YUV图像转换为RGB图像；电子设备显示RGB图像。

第二方面，本申请实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：电子设备获取RAW图像；电子设备基于ISP对RAW图像进行处理，得到第一YUV图像；其中，ISP的通路参数是预先调试确定的；电子设备基于AI图像处理算法模块对RAW图像进行处理，得到第二YUV图像；电子设备根据第一YUV图像，对第二YUV图像进行颜色增强，得到与RAW图像对应的目标YUV图像。

根据第二方面，当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：电子设备融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像。

根据第二方面，或者以上第二方面的任意一种实现方式，当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：电子设备在UV域融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像。

根据第二方面，或者以上第二方面的任意一种实现方式，当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：电子设备依次将第二YUV图像中的每个像素点作为当前处理像素点，并获取第二YUV图像当前处理像素点的Y值；如果当前处理像素点的Y值小于等于第一阈值，则电子设备将第一YUV图像中当前处理像素点的UV值，作为当前处理像素点的目标UV值；如果当前处理像素点的Y值大于第一阈值且小于第二阈值，则电子设备将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合，得到当前处理像素点的目标UV值；如果当前处理像素点的Y值大于第二阈值，则电子设备将第二YUV图像中当前处理像素点的UV值，作为当前处理像素点的目标UV值。其中，在本实现方式中，第一YUV图像和第二YUV图像中的像素点是一一对应的。

根据第二方面，或者以上第二方面的任意一种实现方式，当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：电子设备利用滤波算法确定第一YUV图像和第二YUV图像在UV域的融合系数；电子设备根据融合系数将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合。

根据第二方面，或者以上第二方面的任意一种实现方式，滤波算法包括盒式滤波算法。

根据第二方面，或者以上第二方面的任意一种实现方式，RAW图像为单帧RAW图像。

根据第二方面，或者以上第二方面的任意一种实现方式，RAW图像为多帧RAW图像。当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：电子设备获取多帧RAW图像中的参考帧图像；电子设备基于ISP对参考帧图像进行处理，得到第一YUV图像；电子设备基于AI图像处理算法模块对多帧RAW图像进行处理，得到第二YUV图像。

根据第二方面，或者以上第二方面的任意一种实现方式，RAW图像是摄像头在局部暗光环境下或全局暗光环境下或极暗环境下采集的。相应的，当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：电子设备根据第一YUV图像，对第二YUV图像进行暗区颜色增强。

根据第二方面，或者以上第二方面的任意一种实现方式，当计算机程序被一个或多个处理器执行时，使得电子设备执行以下步骤：在电子设备得到与RAW图像对应的目标YUV图像之后，电子设备将目标YUV图像转换为RGB图像；电子设备显示RGB图像。

第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第三方面，本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第一方面以及第一方面中任意一项的图像处理方法。

第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面中任意一项的图像处理方法。

第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第五方面，本申请提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚和该处理电路通过内部连接通路互相通信，该处理电路执行如第一方面或第一方面中任意一项的图像处理方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

附图说明

图1a-图1c为示例性示出的一种应用场景示意图；

图2a为示例性示出的一种拍摄场景；

图2b为示例性示出的基于AI图像处理算法处理得到的图像；

图2c为示例性示出的基于ISP通路处理得到的图像；

图3为示例性示出的电子设备的硬件结构示意图；

图4为示例性示出的电子设备的软件结构示意图；

图5为示例性示出的模块交互示意图；

图6为示例性示出的YUV图像融合流程示意图；

图7为示例性示出的图像处理示例；

图8为示例性示出的针对单帧RAW图像的处理流程示意图；

图9为示例性示出的针对多帧RAW图像的处理流程示意图；

图10为本申请实施例提供的一种图像处理方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。

拍照场景是手机等电子设备常见的应用场景之一。随着用户对手机拍照的体验要求越来越高，手机的拍照功能也越来越完善。下述以手机为例，对电子设备的拍照功能进行相关解释说明。

图1a示例性的示出了一个手机界面。参照图1a，该手机界面上显示有多个应用程序的图标，例如相机应用的图标101、图库应用的图标102等。在一些实施方式中，如图1a所示的手机界面可以称之为主界面。其中，用户点击界面中的相机应用图标时，即可使用相机应用实现拍摄功能；用户点击界面中的图库应用图标时，即可使用图库应用查看手机中存储的图片(或照片)、视频等。

示例性的，参照图1a，用户点击相机应用的图标101。手机响应于用户操作，识别出用户点击操作对应的控件为相机应用的控件，进而调用应用框架层中相应的接口启动相机应用，并通过调用内核层启动摄像头驱动，以及通过摄像头采集图像。此时，手机显示相机应用的界面，例如图1b所示的手机界面。

随着手机的拍照功能的完善，相机应用支持的拍摄模式也越来越多。示例性的，拍摄模式至少包括光圈模式、夜景模式、人像模式、拍照模式、录像模式、专业模式等，可以参见图1b中拍摄模式列表103。当用户点击某个拍摄模式对应的图标选项时，手机显示相应拍摄模式下的相机应用界面。例如，若用户点击拍照模式的图标选项1031，手机则显示相机应用采用拍照模式时的界面，可以参照图1b所示。再例如，若用户点击专业模式的图标选项1032，手机则显示相机应用采用专业模式时的界面，可以参照图1c所示。在一些实施例中，手机在启动相机应用后，相机应用默认开启拍照模式，也即拍照模式为相机应用的默认拍摄模式。

如图1b所示的拍照模式显示界面，该界面中至少包括拍摄模式列表103，预览窗口104，功能选项列表105和快门控件106。其中，预览窗口104可以显示摄像头实时采集的图像。快门控件106可以监听触发拍照的用户操作。手机可以检测到作用于快门控件106的用户操作，并响应于该操作进行拍照，将拍摄所得的图像存储于图库应用中。功能选项列表105中展示的是拍摄模式下支持的功能选项，例如闪光灯功能、AI功能、设置功能等。在一些实现方式中，拍照模式中集成了手机厂商的图像处理算法，例如可以是AI图像处理算法。示例性的，用户可以选择是否采用手机厂商预先集成的AI图像处理算法对拍摄图像进行处理。如图1b所示，功能选项列表105中包括AI功能选项1051。用户点击AI功能选项1051即可选择开启或关闭AI功能，也即选择是否采用手机厂商预先集成的AI图像处理算法对拍摄图像进行处理。当AI功能开启时，相机应用在拍照模式下拍摄所得的图像会经过预设AI图像处理算法的处理，以提高图像质量，提升用户拍摄体验。又示例性的，拍照模式下的AI功能默认开启，相机应用在拍照模式下拍摄所得的图像都会经过预设AI图像处理算法的处理。

如图1c所示的专业模式显示界面，该界面中还包括拍摄参数列表107，以显示专业模式下的当前拍摄参数。专业模式是一种支持用户调整拍摄参数的拍摄模式，在该模式下，手机可以提供多个可供用户调节的拍摄参数，例如测光、曝光度、亮度、快门速度、对焦方式、白平衡参数等等。用户可以通过自行调整这些拍摄参数来获取自己想要的图像显示效果。

需要指出的是，相机应用处于专业模式时，对拍摄图像的图像处理流程完全依托于芯片平台原生的ISP(Image Signal Processor，图像信号处理器)(或者称ISP通路)实现。其中，不同芯片平台原生的ISP通路中涉及的模块不尽相同。

其中，ISP可以认为是一个SOC(system of chip，片上系统)，能够运行各种算法程序，实时处理图像信号。在一种实现方式中，ISP的处理流程包括：黑电平补偿(black levelcompensation，BLC)、镜头阴影矫正(lens shading correction，LSC)、坏像素矫正(badpixel correction)、颜色插值(demosaic)、Bayer噪声去除、自动白平衡(automatic whitebalance，AWB)矫正、色彩矫正(color correction matrix，CCM)、gamma矫正、色彩空间转换(RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制(automatic exposure control，AEC)等，然后输出YUV(或者RGB)格式的数据，再通过I/O接口传输到CPU中处理。

在手机拍摄图像的过程中，摄像头中的图像传感器可以采集原始RAW域图像，RAW域图像被转换为彩色模式(Red Green Blue，RGB)图像后，即可在显示屏上进行显示。其中，RAW域图像可以是指拜耳(Bayer)格式的图像，则RAW域图像也可以称为Bayer格式RAW图。

在一种应用场景下，例如使用相机应用拍照模式进行拍照时，摄像头中图像传感器采集的原始RAW域图像在经过ISP基本处理后，再基于预设的AI图像处理算法模块进行后续图像处理，以提升图像清晰度、增强图像显示细节。示例性的，ISP基本处理至少可以包括：黑电平补偿。其中，黑电平是指图像数据为0时对应的信号电平。由于图像传感器的电路本身会存在暗电流(物理器件不可能是绝对理想的，由于杂质、受热等影响，即使没有光照射到像素，像素值也会产生电荷，这些电荷产生暗电流)，导致在没有光线照射的时候，像素单位也有一定的输出电压，图像传感器传出的图像数据不为0，因此需要对RAW图像进行黑电平补偿(或称黑电平校正)。在一种实现方式中，在图像传感器输出的RAW图像上减去一个黑电平的值，以此实现黑电平补偿。

但是，当手机在暗光场景或者无光场景下拍照时，暗光区受进光量和像素数的影响，RAW图像在黑电平补偿处理后会出现RAW图像暗区像素值截断的现象。其中，在手机在暗光场景或者无光场景下，RAW图像暗区的像素值可能会小于黑电平的值，减掉黑电平的值后像素值为负数，此时会进行像素值截断，将像素值设置为0。由此，当出现RAW图像暗区像素值截断的现象时，AI图像处理算法模块接收到的RAW图像存在像素值不准确的情况，进而导致AI图像处理算法模块对于存在像素值截断现象的暗区的调试难度增大。

在一种实现方式中，AI图像处理算法，在网络训练时，不易用数据生成模拟还原截断现象，故AI图像处理算法模块可能会对这些存在像素值截断现象的暗区的像素值进行盲猜，由此进一步增加了图像处理的误差，无法得到用户较为满意的颜色调试结果。而且，AI图像处理算法的参数调试是非线性的，且对于网络训练的调试控制，也不像调试传统算法显性，故通过调整AI图像处理算法的参数来校准图像暗区颜色的难度也是较大的。

因此，在基于AI图像处理算法进行图像处理以提升图像清晰度、增强图像显示细节时，如何对图像暗区进行颜色增强，提升图像颜色显示效果，是需要解决的问题。

为了解决上述问题，本申请实施例提供了一种图像处理方法。在该方法中，使用经ISP通路处理得到的图像，对经AI图像处理算法处理得到的图像进行颜色增强，不仅能够提升图像清晰度、增强图像细节显示效果，也能提升图像颜色显示效果。

其中，本申请实施例所提及的ISP通路可以是芯片平台原生的ISP通路，也可以是简单的传统ISP通路。

图2a示例性示出了一种拍摄场景。在该拍摄场景中存在暗区，参照图2a中区域201所示。当基于AI图像处理算法进行图像处理时，例如在相机应用处于拍照模式下进行拍照，所得图像中暗区可以如图2b所示。当基于ISP通路进行图像处理时，例如在相机应用处于专业模式下进行拍照，所得图像中暗区可以如图2c所示。需要指出的是，图2a～图2c均以灰度图形式示出。对比图2b和图2c的原图可知，图2b所示图像暗区存在颜色发红的现象，而图2c所示的图像暗区的颜色显示效果较好。

由于芯片平台原生的ISP通路在进行图像处理时，受像素值截断现象的影响较小，而且ISP通路进行图像处理时对图像暗区存在保护机制，故经ISP通路处理得到的图像暗区颜色的显示效果较好。而且，ISP通路的参数调试简单，容易得到用户较为满意的颜色调试结果。因此，使用经ISP通路处理得到的图像，对经AI图像处理算法处理得到的图像进行颜色增强，得到图像的清晰度、显示细节以及颜色显示效果均较佳。

如图3所示为电子设备100的结构示意图。可选地，电子设备100可以为终端，也可以称为终端设备，终端可以为蜂窝电话(cellular phone)或平板电脑(pad)等具有摄像头的设备，本申请不做限定。需要说明的是，电子设备100的结构示意图可以适用于上述应用场景中提及的手机。应该理解的是，图3所示的电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图3中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，加速度传感器，温度传感器，运动传感器，气压传感器，磁传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器，骨传导传感器等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。在一种实现方式中，感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：MPEG(moving picture experts group，动态图像专家组)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理，例如使得电子设备100实现本申请实施例中的图像处理方法。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。

陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。

加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时加速度传感器可检测出重力的大小及方向。加速度传感器还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。

按键190包括开机键(或称电源键)，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图4是本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android Runtime)和系统库，硬件抽象层(hardware abstraction layer，HAL)以及内核层。

应用程序层可以包括一系列应用程序包。

如图4所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，视频等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图4所示，应用程序框架层可包括视图系统、窗口管理器、资源管理器、内容提供器、通知管理器、摄像头服务等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

摄像头服务用于响应于应用的请求，调用摄像头(包括前置摄像头和/或后置摄像头)。

Android Runtime包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等，此处不再一一列举，本申请对此不作限制。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

可理解的，上述所说的2D图形引擎是2D绘图的绘图引擎。

HAL层为位于操作系统内核与硬件电路之间的接口层。HAL层包括但不限于：音频硬件抽象层(Audio HAL)和摄像头硬件抽象层(Camera HAL)。其中，Audio HAL用于对音频流进行处理，例如，对音频流进行降噪、定向增强等处理，Camera HAL用于对图像流进行处理。

在本申请实施例中，HAL层还包括图像融合模块和AI图像处理算法模块。其中，图像融合模块用于根据融合策略将YUV图像在UV域进行图像融合。AI图像处理算法模块用于根据预设的AI算法对RAW图像进行处理，以得到相应的YUV图像。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，音频驱动，摄像头驱动，传感器驱动等。其中，硬件至少包括处理器、显示屏、摄像头、传感器等。

可以理解的是，图4示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

可以理解的是，电子设备为了实现本申请实施例中的图像处理方法，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

下述以手机为例，对本申请技术方案进行详细解释说明。

如图5所示为各模块的交互示意图。参照图5，本申请实施例提供的图像处理方法的流程，具体包括：

S501,摄像头获取目标对象的RAW图像。

当用户使用手机中相机应用针对目标对象进行图像拍摄时，手机摄像头中的图像传感器采集目标对象的RAW图像。

其中，目标对象可以是任意对象。在一种可能的实施方式中，摄像头采集目标对象的场景为局部暗光场景或全局暗光环境或极暗环境，相应的RAW图像中存在暗区。

在本实施例中，相机应用的拍摄模式可以为拍照模式，且基于拍摄模式进行图像拍摄时，图像会基于AI图像处理算法进行处理，以提升图像的清晰度，增强图像的细节显示。

手机摄像头中的图像传感器采集到目标对象的RAW图像时，可以通过传感器驱动、摄像头驱动、摄像头硬件抽象层等，将RAW图像分别发送给ISP和AI图像处理算法模块进行图像处理。关于RAW图像的传输流程可以参照已有技术，在此不再赘述。

S502,ISP根据RAW图像生成目标对象的第一YUV图像。

一般来说，ISP通路没有非常严格的流程，各家平台在具体实现方案上或多或少都有些差异，但大致涉及如下处理模块：BLC模块、LSC模块、BPC模块、Demosaic模块、Bayer噪声去除模块、AWB模块、CCM模块、CSC(色彩空间转换)模块、颜色降噪/锐化模块、AEC模块、AFC(automatic focus control，自动对焦)模块、EE(边缘增强)模块。其中，根据处理的数据不同，又可以将ISP通路分成BPS(Bayer process segment)和IPE(image processengine)，分别用于处理RAW域数据和YUV域数据。

关于ISP的图像处理流程未尽详细解释之处可以参见已有技术，在此不再赘述。

需要强调的是，ISP通路的参数是预先调试确定的，基于该ISP通路处理得到的YUV图像的暗区颜色是符合用户需求的。

在本实施例中，将仅基于ISP通路处理得到的YUV图像称之为第一YUV图像，用于对基于AI图像处理算法得到的YUV图像进行颜色增强。

S503,AI图像处理算法模块根据RAW图像生成目标对象的第二YUV图像。

在本步骤中，AI图像处理算法模块可以单独完成根据RAW图像生成YUV图像的处理流程，也可以与其他模块共同完成根据RAW图像生成YUV图像的处理流程，本实施例对此不做限定。

在本实施例中，将基于AI图像处理算法模块处理得到的YUV图像称之为第二YUV图像，也即需要进行颜色增强的YUV图像。

在一种可能的实现方式中，AI图像处理算法模块与ISP中的至少一个模块共同完成根据RAW图像生成YUV图像的处理流程。

示例性的，AI图像处理算法模块中集成的AI图像处理算法，可以对RAW域数据进行处理。其中，手机摄像头获取到目标对象的RAW图像，可以先发送至ISP进行基本处理，例如黑电平校正处理、坏点处理等；ISP将基本处理后的RAW图像发送至AI图像处理算法模块进行处理；AI图像处理算法模块再将算法处理后的RAW图像反馈给ISP进行后续YUV域处理，以得到最终的YUV图像作为第二YUV图像。

又示例性的，AI图像处理算法模块中集成的AI图像处理算法，可以对YUV域数据进行处理。其中，手机摄像头获取到目标对象的RAW图像，可以先发送至ISP进行RAW域数据处理，并生成YUV图像发送至AI图像处理算法模块进行处理；AI图像处理算法模块再基于算法对YUV图像进一步处理，以得到最终的YUV图像作为第二YUV图像。

再示例性的，AI图像处理算法模块中集成的AI图像处理算法，可以实现RAW域-YUV域的数据处理。其中，手机摄像头获取到目标对象的RAW图像，可以先发送至ISP进行基本处理，例如黑电平校正处理、坏点处理等；ISP将基本处理后的RAW图像发送至AI图像处理算法模块进行处理；AI图像处理算法模块再基于算法得到YUV图像，直接作为第二YUV图像，或者将基于算法得到YUV图像反馈给ISP进行后续YUV域处理，以得到最终的YUV图像作为第二YUV图像。

需要注意的是，本实施例对AI图像处理算法模块中集成的AI图像处理算法不做限定，只要根据RAW图像生成YUV图像的处理流程中涉及AI图像处理算法模块的处理，则最终生成的YUV图像均可以理解为需要进行颜色增强的第二YUV图像。

本实施例对S502和S503的执行顺序不做限定。

S504,图像融合模块根据融合策略将第一YUV图像和第二YUV图像进行融合，确定目标对象的目标YUV图像。

在得到目标对象的第一YUV图像和第二YUV图像之后，由于第一YUV图像的暗区颜色显示较佳，第二YUV图像的清晰度和细节显示较佳，则图像融合模块可以使用第一YUV图像对第二YUV图像进行颜色增强，以得到目标YUV图像。其中，目标YUV图像可以理解本实施例提供的图像处理方法输出的YUV图像，也即可以发送至显示屏进行显示的YUV图像。

在一种实现方式中，图像融合模块可以将第一YUV图像和第二YUV图像进行融合，以得到目标对象的目标YUV图像。

在本实施例中，选择在YUV域进行图像融合，不仅图像存储空间占用比较小，而且还能保证融合后图像的清晰度和细节显示。

在本实施例中，之所以不选择在RAW域进行图像融合，主要是RAW域数据处理流程在ISP处理流程中比较靠前，此时图像暗区还不十分明确，有可能造成图像暗区颜色增强出现偏差的问题。

在本实施例中，图像融合模块可以在UV域将第一YUV图像和第二YUV图像进行融合，以得到目标对象的目标YUV图像。在YUV图像中，“Y”分量表示明亮度(Luminance或Luma)，也就是灰阶值，“U”分量和“V”分量表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

因此，图像融合模块在UV域将第一YUV图像和第二YUV图像进行融合，既可以保留第二YUV图像的明亮度，又可以提升第二YUV图像中暗区的影像色彩及饱和度。也即，图像融合模块仅在UV域将第一YUV图像和第二YUV图像进行融合，不会影响目标YUV图像的清晰度和细节显示，且目标YUV图像的暗区颜色也会增强。

由于ISP通路一般不支持高动态场景，故图像融合模块可以基于预设的融合策略对目标对象的第一YUV图像和第二YUV图像进行UV域融合，以避免融合操作对高动态场景下图像(如第二YUV图像)产生像素过曝的问题，也提升本方法的泛化性。其中，场景的最大亮度与最小亮度的跨度称作动态范围。如果一个场景既有非常明亮的物体，也有非常黑暗的物体，亮度跨度很大，我们就称之为“高动态范围(High Dynamic Range，HDR)”场景。然而，具体对于多大的跨度才算高动态，目前还没有一个标准的定义，一般情况下只要比传统的照相机/显示器可以拍摄/显示的动态范围高就可以认为是高动态。

需要指出的是，图像融合模块对第一YUV图像和第二YUV图像进行融合前，可以先将第一YUV图像和第二YUV图像进行配准，使第一YUV图像和第二YUV图像中的像素点是一一对应的。关于图像配准的相关解释可以参照已有技术，在此不再赘述。在本实施例的相关解释中，默认第一YUV图像和第二YUV图像已完成配准。

图6示出了在UV域融合YUV图像的流程示意图。如图6所示，在UV域融合第一YUV图像和第二YUV图像的流程，具体包括：

S5041,图像融合模块获取第一YUV图像和第二YUV图像。

其中，第二YUV图像可以理解为YUV图像融合的基准。也即，第二YUV图像为待颜色增强或者待暗区颜色增强的YUV图像，第一YUV图像用于对第二YUV图像进行颜色增强或者暗区颜色增强。

S5042,图像融合模块依次将第二YUV图像中的每个像素点作为当前处理像素点。

图像融合模块在对第一YUV图像和第二YUV图像进行图像融合时，以像素点为融合处理单元。针对每个像素点，分别基于预设融合策略在UV域进行数值融合。

S5043,图像融合模块判断第二YUV图像中当前处理像素点的Y值，如果Y值小于等于第一阈值，则执行S5043，如果Y值大于第一阈值且小于第二阈值，则执行S5044，如果Y值大于等于第二阈值，则执行S5045。

针对第二YUV图像中的每个像素点，判断其Y值与第一阈值和第二阈值的关系，并根据判断结果确定执行匹配的UV值融合操作。

需要指出的是，在将第一YUV图像和第二YUV图像进行图像融合时，第二YVU图像各个像素点的Y值是不变的，也即保留了图像清晰度，不再对图像清晰度进行调整。换言之，在将第一YUV图像和第二YUV图像进行图像融合时，保留了第二YUV图像的Y分量，或者说，融合得到的目标YUV图像的Y分量和第二YUV图像的Y分量是相同的。

S5043,图像融合模块将第一YUV图像中当前处理像素点的UV值，作为当前处理像素点的目标UV值。

如果第二YUV图像中当前处理像素的Y值小于等于第一阈值，则可以表面当前处理像素点的明亮度较低，该像素点在第一YUV图像中的色度值为期望色度值，此时可以将该像素点在第一YUV图像中的色度值作为目标YUV图像中该像素点的色度值，也即将该像素点在第一YUV图像中的色度值迁移至目标YUV图像中。

S5044,图像融合模块将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合，得出当前处理像素点的目标UV值。

如果第二YUV图像中当前处理像素的Y值大于第一阈值且小于第二阈值，则可以表面当前处理像素点的明亮度不是太高也不是太低，此时可以将该像素点在第一YUV图像中的色度值以及该像素点在第二YUV图像中的色度值进行融合，融合后得到的色度值作为目标YUV图像中该像素点的色度值。

示例性的，假设第一YUV图像的融合系数为α，第二YUV图像的融合系数为(1-α)，当前处理像素点在第一YUV图像的色度值为UV1，当前处理像素点在第二YUV图像的色度值为UV2，则目标YUV图像中该像素点的色度值为：

UV＝UV1*α+UV2*(1-α)。

在一种可选的实施方式中，可以使用滤波算法计算第一YUV图像和第二YUV图像在UV域的融合系数，例如可以是使用高斯滤波算法计算第一YUV图像和第二YUV图像在UV域的融合系数。

考虑到图像处理性能，在本实施例中，图像融合模块可以采用盒式滤波算法(boxfilter)计算第一YUV图像和第二YUV图像在UV域的融合系数，这样可以极大缩短计算时长。

其中，图像融合模块在接收到第一YUV图像和第二YUV图像之后，可以首先基于盒式滤波算法(boxfilter)计算第一YUV图像和第二YUV图像在UV域的融合系数。

进而，在当前处理像素点最终的UV值需要根据该像素点在第一YUV图像和第二YUV图像中的UV值融合确定时，则可以直接根据计算得到的融合系数进行UV值融合计算。

S5045,图像融合模块将第二YUV图像中当前处理像素点的UV值，作为当前处理像素点的目标UV值。

如果第二YUV图像中当前处理像素的Y值大于等于第二阈值，则可以表面当前处理像素点的明亮度较高，该像素点在第一YUV图像中的色度值可能会出现过曝的情形，无法作为期望色度值，此时可以将该像素点在第二YUV图像中的色度值作为目标YUV图像中该像素点的色度值，也即保留第二YUV图像中该像素点的色度值。

也即，在第二YUV图像中当前处理像素的Y值大于等于第二阈值时，该像素点可能为高动态场景下高亮点。由于，ISP通路不支持高动态场景，则此时需要撇弃该像素点在第一YUV图中的色度值，以此避免引入异常颜色的问题。

在本实施例中，第一阈值可以设置为30(8bit)，第二阈值可以设置为70(8bit)。

也即，当第二YUV图像中当前处理像素的Y值小于30(8bit)时，将第一YUV图像中当前处理像素的UV值作为当前处理像素的目标UV值。这样，目标YUV图像中暗区像素的色度值采用了第一YUV图像中暗区像素的色度值，提升了图像暗区颜色的显示效果。

当第二YUV图像中当前处理像素的Y值大于等于30(8bit)且小于等于70(8bit)时，将第一YUV图像中当前处理像素的UV值和第二YUV图像中当前处理像素的UV值的融合结果，作为当前处理像素的目标UV值。这样，目标YUV图像中中亮区域像素的色度值采用第一YUV图像和第二YUV图像中亮区域色度值的融合值，使图像色度值的过滤效果更好。

当第二YUV图像中当前处理像素的Y值大于70(8bit)时，将第二YUV图像中当前处理像素的UV值作为当前处理像素的目标UV值。这样，目标YUV图像中高亮像素的色度值采用了第二YUV图像中暗区像素的色度值，能够避免出现像素点颜色过曝的问题。

S5046,图像融合模块判断是否处理完所有像素点，若否，则执行S5042，若是，则流程结束。

当图像融合模块针对一个像素点完成UV域融合操作之后，继续对下一个像素点进行UV域融合操作。当图像融合模块针对所有像素点均完成UV域融合操作之后，流程结束，此时可以得到融合后的目标YUV图像。

在一种可能的实施方式中，图像融合模块在UV域融合第一YUV图像和第二YUV图像时，可以首先创建一张空白的目标YUV图像。其中，该目标YUV图像的尺寸与第二YUV图像相同。当图像融合模块针对每个像素点进行UV数值融合处理时，将该像素点在第二YUV图像中的Y值，以及基于融合策略确定的目标UV值，作为该像素点在目标YUV图像中的Y值和UV值。当图像融合模块针对每个像素点均完成UV数值融合处理时，目标YUV图像中各个像素点的Y值和UV值均可以确定，此时即可得到信息完整的目标YUV图像。

S505,图像融合模块将目标YUV图像发送至显示屏进行显示。

图像融合模块得到目标对象的目标YUV图像之后，即可将其发送至显示屏进行显示。

示例性的，图像融合模块可以将目标YUV图像发送至图像编码模块，通过图像编码模块进行送显。其中，图像编码模块可以将YUV图像转换为RGB图像之后，再将RGB图像转换为图像信号向显示屏传输。

S506,显示屏显示目标对象的图像信号。

此时，显示屏显示的目标对象的图像，不仅清晰度高、细节显示效果良好，图像暗区颜色的显示效果也较佳。

图7示例性的示出了一组图像处理示例。其中，图7中(1)示出的是基于AI图像处理算法进行图像处理时得到的暗区图像，图7中(2)示出的是基于ISP通路进行图像处理时得到的暗区图像，图7中(3)示出的是基于本申请提供的图像处理方法进行图像处理时得到的暗区图像。需要指出的是，图7中(1)、(2)、(3)均以灰度图形式示出。对比图7中(1)、(2)、(3)的原图可知，图7中(1)所示的暗区图像存在颜色发红的现象，而图7中(2)所示的暗区图像的颜色显示效果较好，图7中(3)所示的暗区图像不仅保留了图7中(1)所示的暗区图像清晰度和显示细节，颜色显示效果也较好。

本实施例提供的图像处理方法，平衡了ISP通路修改适配难度可行性以及处理性能等，利用ISP通路的传统算法受RAW域黑电平补偿影响较小的优势，以及ISP通路的传统算法调试相对灵活的优点，对基于AI图像处理算法得到的图像以及基于ISP通路得到的图像在YUV域的部分区域进行颜色融合，以此得到合理的符合用户预期的颜色调试结果。其中，该方法解决了AI图像处理算法针对受像素截断影响的暗区颜色调试困难的问题，而且只在部分区域(暗区)进行颜色迁移，只在部分区域(中亮区域)进行颜色融合，能够避免高动态场景图像中出现颜色过曝的问题。另外，该方法的性能消耗小，能够满足商用需求。

需要指出的是，本实施例提供的图像处理方法既适用于单帧RAW图像，又适用于多帧RAW图像。关于相机应用处于拍照模式时，摄像头采集的是单帧RAW图像还是多帧RAW图像，与拍照模式中集成的AI图像处理算法有关，本实施例对此不做限定。

如图8所示，当摄像头采集的目标对象的RAW图像为单帧RAW图像时，将该单帧RAW图像分别经由ISP和AI图像处理算法模块进行图像处理，得到第一YUV图像和第二YUV图像。图像融合模块在UV域对第一YUV图像和第二YUV图像进行融合，即可得到目标对象的YUV图像。进而，该目标YUV图像转换为RGB图像后即可在显示屏进行显示。

需要指出的是，当单帧RAW图像经由AI图像处理算法模块进行处理时，AI图像处理算法模块可以和至少一个其他处理模块共同完成第二YUV图像的生成流程。在第二YUV图像的生成流程中，其他处理模块可以设置于AI图像处理算法模块之前，也可以设置于AI图像处理算法模块之后，本实施例对此不做限定。示例性的，其他处理模块可以为ISP中的处理模块。

如图9所示，当摄像头采集的目标对象的RAW图像为多帧RAW图像时，这多帧RAW图像中的参考帧经由ISP进行图像处理，得到第一YUV图像。其中，参考帧可以理解为这多帧RAW图像中清晰度最高的一个帧RAW图。同时，这多帧RAW图像共同经由AI图像处理算法模块进行处理，得到第二YUV图像。图像融合模块在UV域对第一YUV图像和第二YUV图像进行融合，即可得到目标对象的YUV图像。进而，该目标YUV图像转换为RGB图像后即可在显示屏进行显示。

当摄像头采集的目标对象的RAW图像为多帧RAW图像时，仅将参考帧输入ISP通路进行处理，可以保证输入一致性，避免ISP通路重复出帧，以及融合时重复配准的问题。

需要指出的是，当多帧RAW图像经由AI图像处理算法模块进行处理时，AI图像处理算法模块可以和至少一个其他处理模块共同完成第二YUV图像的生成流程。在第二YUV图像的生成流程中，其他处理模块可以设置于AI图像处理算法模块之前，也可以设置于AI图像处理算法模块之后，本实施例对此不做限定。示例性的，其他处理模块可以为ISP中的处理模块。其中，AI图像处理算法模块的输出可以是单帧RAW图像，也可以是单帧RGB图像，也可以是单帧YUV图像(如第二YUV图像)，本实施例对比不做限定。当AI图像处理算法模块的输出是单帧RAW图像时，该RAW图像的帧大小与多帧RAW图像中任一帧图像相同，但该RAW图像的信息量大于多帧RAW图像中任一帧图像，可以理解为该RAW图像包含的信息包括多帧RAW图像中包含的信息。

关于图8和图9未尽详细解释之处可以参见上文，在此不再赘述。

需要强调的是，上述实施例以暗区颜色增强为例对本申请提供的图像处理方法进行解释说明。类似的，除了暗光场景，针对AI图像处理算法存在颜色调试难度的其他场景，或者是基于传统算法的ISP通路相对AI图像处理算法在颜色调试上更具优势的其他场景，均可以采用本申请提供的图像处理方法，只需预先将ISP通路的参数调试好，使其出图满足用户预期。

由于ISP通路的参数调试方法简单，除了色值，本申请提供的图像处理方法也可以泛化到其他参数的融合。其中，以AI图像处理算法为主，以基于传统算法的ISP通路为辅，设定参数融合阈值，即可实现其他参数的融合，以此达到提升图像质量的效果。

需要指出的是，在不考虑设备性能的前提下，本实施例提供的技术方案也适用于对视频进行颜色增强处理。其中，可以依据本实施例提供的技术方案分别对每个视频帧对应的RAW数据进行处理，在此不再赘述。

本申请实施例提供了一种图像处理方法。如图10所示，该图像处理方法的流程具体包括：

S601,电子设备获取RAW图像。

其中，电子设备可以通过其摄像头中的图像传感器采集目标对象的RAW图像，电子设备也可以读取已存储的目标对象的RAW图像，本实施例对此不做限定。

在一种可选的实施方式中，电子设备获取的RAW图像是摄像头在暗光环境下采集的。

S602,电子设备基于ISP对RAW图像进行处理，得到第一YUV图像。

其中，ISP指的是电子设备芯片平台原生的ISP通路，或者是简单的传统ISP通路。

其中，ISP的通路参数是预先调试确定的，且该ISP输出的YUV图像的颜色是符合用户预期的。

示例性的，若电子设备获取的RAW图像是摄像头在局部暗光环境或全局暗光环境或极暗环境下采集的，则该ISP输出的YUV图像的暗区颜色是符合用户预期的。

S603,电子设备基于AI图像处理算法模块对RAW图像进行处理，得到第二YUV图像。

在本步骤中，AI图像处理算法模块可以单独完成根据RAW图像生成YUV图像的处理流程，也可以与其他模块共同完成根据RAW图像生成YUV图像的处理流程，本实施例对此不做限定。

在一种可能的实现方式中，AI图像处理算法模块与ISP中的至少一个模块共同完成根据RAW图像生成YUV图像的处理流程。其中，在该处理流程中，ISP中模块可以设置于AI图像处理算法模块之前，也可以设置于AI图像处理算法模块之后。

本实施例对S602和S603的执行顺序不做限定。

S604,电子设备根据第一YUV图像，对第二YUV图像进行颜色增强，得到与RAW图像对应的目标YUV图像。

由于第一YUV图像的颜色或暗区颜色显示较佳，第二YUV图像的清晰度和细节显示较佳，则电子设备可以使用第一YUV图像对第二YUV图像进行颜色增强。

示例性的，使用第一YUV图像相关区域(如暗区)像素点的YUV值或UV值，对第二YUV图像中匹配像素点的YUV值或UV值进行替换。

其中，在电子设备得到与RAW图像对应的目标YUV图像之后，该图像处理方法还可以包括：电子设备将目标YUV图像转换为RGB图像，并显示该RGB图像。

在一种可能的实现方式中，电子设备根据第一YUV图像，对第二YUV图像进行颜色增强，得到与RAW图像对应的目标YUV图像，可以具体为：

电子设备融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像。

在一种可能的实现方式中，电子设备融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像，可以具体为：

电子设备在UV域融合第一YUV图像和第二YUV图像，得到与RAW图像对应的目标YUV图像。

在一种可能的实现方式中，电子设备在UV域融合所述第一YUV图像和所述第二YUV图像，得到与所述RAW图像对应的目标YUV图像，可以具体为：

电子设备依次将第二YUV图像中的每个像素点作为当前处理像素点，并获取第二YUV图像当前处理像素点的Y值；

如果当前处理像素点的Y值小于等于第一阈值，则电子设备将第一YUV图像中当前处理像素点的UV值，作为所述当前处理像素点的目标UV值；

如果当前处理像素点的Y值大于所述第一阈值且小于第二阈值，则电子设备将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合，得到当前处理像素点的目标UV值；

如果当前处理像素点的Y值大于第二阈值，则电子设备将第二YUV图像中当前处理像素点的UV值，作为当前处理像素点的目标UV值。

在一种可能的实现方式中，电子设备将第一YUV图像和第二YUV图像中当前处理像素点的UV值进行融合，可以具体为：

电子设备利用滤波算法确定所述第一YUV图像和所述第二YUV图像在UV域的融合系数；电子设备根据融合系数将第一YUV图像中当前处理像素点的UV值和第二YUV图像中当前处理像素点的UV值进行融合。

在一种可能的实现方式中，滤波算法可以为盒式滤波算法。

需要指出的是，如果第一YUV图像和第二YUV图像的像素点是一一对应的，则无需对第一YUV图像和第二YUV图像进行配准；如果第一YUV图像和第二YUV图像的像素点不是一一对应的，则首先需要对第一YUV图像和第二YUV图像进行配准。进而，电子设备对已经配准后的第一YUV图像和第二YUV图像进行融合操作。

本实施例未尽详细解释之处可以参见上文，在此不再赘述。

需要指出的是，本实施例提供的图像处理方法既适用于单帧RAW图像，又适用于多帧RAW图像。关于相机应用处于拍照模式时，摄像头采集的是单帧RAW图像还是多帧RAW图像，与拍照模式中集成的AI图像处理算法有关，本实施例对此不做限定。

在一种可能的实施方式中，该图像处理方法的流程具体包括：

S701,电子设备获取单帧RAW图像。

S702,电子设备基于ISP对单帧RAW图像进行处理，得到第一YUV图像。

S703,电子设备基于AI图像处理算法模块对单帧RAW图像进行处理，得到第二YUV图像。

需要指出的是，当单帧RAW图像经由AI图像处理算法模块进行处理时，AI图像处理算法模块可以和至少一个其他处理模块共同完成第二YUV图像的生成流程。在第二YUV图像的生成流程中，其他处理模块可以设置于AI图像处理算法模块之前，也可以设置于AI图像处理算法模块之后，本实施例对此不做限定。示例性的，其他处理模块可以为ISP中的处理模块。

本实施例对S702和S703的执行顺序不做限定。

S704,电子设备根据第一YUV图像，对第二YUV图像进行颜色增强，得到与单帧RAW图像对应的目标YUV图像。

S705,电子设备将目标YUV图像转换为RGB图像，并显示该RGB图像。

本实施方式未尽详细解释之处可以参见上文，在此不再赘述。

在一种可能的实施方式中，该图像处理方法的流程具体包括：

S801,电子设备获取多帧RAW图像。

S802,电子设备获取多帧RAW图像中的参考帧图像，并基于ISP对参考帧图像进行处理，得到第一YUV图像。

S803,电子设备基于AI图像处理算法模块对多帧RAW图像进行处理，得到第二YUV图像。

需要指出的是，当多帧RAW图像经由AI图像处理算法模块进行处理时，AI图像处理算法模块可以和至少一个其他处理模块共同完成第二YUV图像的生成流程。在第二YUV图像的生成流程中，其他处理模块可以设置于AI图像处理算法模块之前，也可以设置于AI图像处理算法模块之后，本实施例对此不做限定。示例性的，其他处理模块可以为ISP中的处理模块。其中，AI图像处理算法模块的输出可以是单帧RAW图像，也可以是单帧RGB图像，也可以是单帧YUV图像(如第二YUV图像)，本实施例对比不做限定。当AI图像处理算法模块的输出是单帧RAW图像时，该RAW图像的帧大小与多帧RAW图像中任一帧图像相同，但该RAW图像的信息量大于多帧RAW图像中任一帧图像，可以理解为该RAW图像包含的信息包括多帧RAW图像中包含的信息。

本实施例对S802和S803的执行顺序不做限定。

S804,电子设备根据第一YUV图像，对第二YUV图像进行颜色增强，得到与单帧RAW图像对应的目标YUV图像。

S805,电子设备将目标YUV图像转换为RGB图像，并显示该RGB图像。

本实施方式未尽详细解释之处可以参见上文，在此不再赘述。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像处理方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的图像处理方法。

其中，本实施例提供的电子设备(如手机等)、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取RAW图像；

基于ISP对所述RAW图像进行处理，得到第一YUV图像；其中，所述ISP的通路参数是预先调试确定的；

基于AI图像处理算法模块对所述RAW图像进行处理，得到第二YUV图像；

根据所述第一YUV图像，对所述第二YUV图像进行颜色增强，得到与所述RAW图像对应的目标YUV图像。

2.根据权利要求1所述的方法，其特征在于，根据所述第一YUV图像，对所述第二YUV图像进行颜色增强，得到与所述RAW图像对应的目标YUV图像，包括：

融合所述第一YUV图像和所述第二YUV图像，得到与所述RAW图像对应的目标YUV图像。

3.根据权利要求2所述的方法，其特征在于，融合所述第一YUV图像和所述第二YUV图像，得到与所述RAW图像对应的目标YUV图像，包括：

在UV域融合所述第一YUV图像和所述第二YUV图像，得到与所述RAW图像对应的目标YUV图像。

4.根据权利要求3所述的方法，其特征在于，所述第一YUV图像和所述第二YUV图像中的像素点是一一对应的；

在UV域融合所述第一YUV图像和所述第二YUV图像，得到与所述RAW图像对应的目标YUV图像，包括：

依次将所述第二YUV图像中的每个像素点作为当前处理像素点，并获取所述第二YUV图像所述当前处理像素点的Y值；

如果所述当前处理像素点的Y值小于等于第一阈值，则将所述第一YUV图像中所述当前处理像素点的UV值，作为所述当前处理像素点的目标UV值；

如果所述当前处理像素点的Y值大于所述第一阈值且小于第二阈值，则将所述第一YUV图像中所述当前处理像素点的UV值和所述第二YUV图像中所述当前处理像素点的UV值进行融合，得到所述当前处理像素点的目标UV值；

如果所述当前处理像素点的Y值大于所述第二阈值，则将所述第二YUV图像中所述当前处理像素点的UV值，作为所述当前处理像素点的目标UV值。

5.根据权利要求4所述的方法，其特征在于，将所述第一YUV图像中所述当前处理像素点的UV值和所述第二YUV图像中所述当前处理像素点的UV值进行融合，包括：

利用滤波算法确定所述第一YUV图像和所述第二YUV图像在UV域的融合系数；

根据所述融合系数将所述第一YUV图像中所述当前处理像素点的UV值和所述第二YUV图像中所述当前处理像素点的UV值进行融合。

6.根据权利要求5所述的方法，其特征在于，所述滤波算法包括盒式滤波算法。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述RAW图像为单帧RAW图像。

8.根据权利要求1-6任一项所述的方法，其特征在于，所述RAW图像为多帧RAW图像；

所述基于ISP对所述RAW图像进行处理，得到第一YUV图像，包括：

获取所述多帧RAW图像中的参考帧图像；

基于ISP对所述参考帧图像进行处理，得到所述第一YUV图像；

所述基于AI图像处理算法模块对所述RAW图像进行处理，得到第二YUV图像，包括：

基于AI图像处理算法模块对所述多帧RAW图像进行处理，得到所述第二YUV图像。

9.根据权利要求1-6任一项所述的方法，其特征在于，所述RAW图像是摄像头在局部暗光或全局暗光环境或极暗光环境下采集的；

根据所述第一YUV图像，对所述第二YUV图像进行颜色增强，包括：

根据所述第一YUV图像，对所述第二YUV图像进行暗区颜色增强。

10.根据权利要求1-6任一项所述的方法，其特征在于，在得到与所述RAW图像对应的目标YUV图像之后，还包括：

将所述目标YUV图像转换为RGB图像；

显示所述RGB图像。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

以及一个或多个计算机程序，其中所述一个或多个计算机程序存储在所述存储器上，当所述计算机程序被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1-10中任一项所述的图像处理方法。

12.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任一项所述的图像处理方法。

Images