CN112738493B - 图像处理方法、图像处理装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。像传感器包括像素阵列，像素阵列包括全色感光像素及彩色感光像素。图像处理方法包括：获取像素阵列曝光得到的原始图像，原始图像包括彩色图像像素及全色图像像素；根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素获取全色图像；对彩色图像进行色彩空间转换以获得YUV初始图像，YUV初始图像包括多个初始亮度信息、多个第一色度信息及多个第二色度信息；根据全色图像对初始亮度信息进行处理以获得目标亮度信息，根据目标亮度信息、第一色度信息及第二色度信息以获得YUV目标图像。

Description

图像处理方法、图像处理装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。

背景技术

手机等终端中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。为了提高手机等终端获取图像的信噪比，会采用四合一像素排列的图像传感器。然而采用四合一像素排列的图像传感器曝光以binning模式输出获得以拜耳阵列排布的图像后，需要插值获得全排列图像后才能传输至图像处理装置进行后续处理，如此会导致解析力下降，影响最终获得的图像效果。

发明内容

本申请实施方式提供了一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。

本申请实施方式提供一种用于图像传感器的图像处理方法。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；所述图像处理方法包括：获取所述像素阵列曝光得到的原始图像，所述原始图像包括彩色图像像素及全色图像像素；根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像；对所述彩色图像进行色彩空间转换以获得YUV初始图像，所述YUV初始图像包括多个初始亮度信息、多个第一色度信息及多个第二色度信息；根据全色图像对初始亮度信息进行处理以获得目标亮度信息，根据目标亮度信息、第一色度信息及第二色度信息以获得YUV目标图像。

本申请实施方式提供一种图像处理装置。所述图像处理装置包括图像传感器及处理。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素。所述处理器用于获取所述像素阵列曝光得到的原始图像，所述原始图像包括彩色图像像素及全色图像像素，根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像；对所述彩色图像进行色彩空间转换以获得YUV初始图像，所述YUV初始图像包括多个初始亮度信息、多个第一色度信息及多个第二色度信息；根据全色图像对初始亮度信息进行处理以获得目标亮度信息，根据目标亮度信息、第一色度信息及第二色度信息以获得YUV目标图像。

本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的图像处理装置。所述镜头、所述图像处理装置与所述壳体结合，所述镜头与所述图像处理装置的图像传感器配合成像。

本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的图像处理方法。

本申请实施方式中的图像处理方法、图像处理装置、电子设备及计算机可读存储介质，通过对同一子单元内的所有彩色图像像素融合为彩色图像；对同一子单元内的所有全色图像像素融合为全色图像，并对彩色图像进行色彩空间转换获得YUV初始图像后，再根据全色图像对YUV初始图像中的初始亮度信息进行处理，以获得含有全色图像信息的目标初始亮度信息。如此能够直接输出含有全色图像信息且为YUV域的图像，从而既能提高图像的解析力和信噪比，还能在不影响图像观看效果的同时减小图像的信息量，以提高图像的传输效率及整体拍照效果。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图；

图2是本申请某些实施方式的图像处理装置的结构示意图；

图3是本申请某些实施方式的像素阵列的示意图；

图4是本申请某些实施方式的感光像素的截面示意图；

图5是本申请某些实施方式的感光像素的像素电路图；

图6至图8是本申请某些实施方式像素阵列中最小重复单元的排布示意图；

图9是本申请某些实施方式的获取彩色图像及全色图像的原理示意图；

图10是本申请某些实施方式的图像处理方法的流程示意图；

图11是本申请某些实施方式的获取第一颜色中间图像、第二颜色中间图像及第三颜色中间图像的原理示意图；

图12至图14是本申请某些实施方式的获取第二颜色中间图像像素的原理示意图；

图15是本申请某些实施方式的图像处理方法的流程示意图；

图16是本申请某些实施方式的根据第一颜色中间图像、第二颜色中间图像及第三颜色中间图像获取YUV初始图像的原理示意图；

图17是本申请某些实施方式的根据YUV初始图像获取初始亮度图像的原理示意图；

图18是本申请某些实施方式的图像处理方法的流程示意图；

图19是本申请某些实施方式的根据全色图像及初始亮度图像获取目标亮度图像的原理示意图；

图20是本申请某些实施方式的图像处理方法的流程示意图；

图21是本申请某些实施方式的根据初始亮度图像中第一窗口获取第一矩阵的原理示意图；

图22是本申请某些实施方式的图像处理方法的流程示意图；

图23是本申请某些实施方式的根据全色图像中第二窗口获取第二矩阵的原理示意图；

图24是本申请某些实施方式的图像处理方法的流程示意图；

图25是本申请某些实施方式的根据目标亮度图像及YUV初始图像获取YUV目标图像的原理示意图；

图26是本申请某些实施方式的图像处理方法的流程示意图；

图27本申请实施方式的一种终端的结构示意图；

图28是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1及图2，本申请提供一种用于图像传感器20的图像处理方法。图像传感器10包括像素阵列11(如图3所示)，像素阵列11包括多个全色感光像素W和多个彩色感光像素。彩色感光像素包括具有不同光谱响应的第一颜色感光像素A、第二颜色感光像素B及第三颜色光感像素C，其中彩色感光像素具有比全色光感像素W更窄的光谱响应，且第一颜色感光像素A及第三颜色感光像素C具有比第二颜色感光像素B更窄的光谱响应。像素阵列11包括多个最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括至少一个单颜色感光像素及至少一个全色感光像素W。图像处理方法包括：

01：获取像素阵列11曝光得到的原始图像，原始图像包括彩色图像像素及全色图像像素；

02：根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素W获取全色图像；

03：对所彩色图像进行色彩空间转换以获得YUV初始图像，YUV初始图像包括多个初始亮度信息Y、多个第一色度信息U及多个第二色度信息V；

04：根据全色图像对初始亮度信息Y进行处理以获得目标亮度信息Y’，根据目标亮度信息Y’、第一色度信息U及第二色度信息V以获得YUV目标图像。

请参阅图1及图2，本申请还提供一种图像处理装置100。图像处理装置100包括图像传感器10及处理器20。图像传感器10包括素阵列11(图3所示)，像素阵列11包括多个全色感光像素W和多个彩色感光像素。彩色感光像素包括具有不同光谱响应的第一颜色感光像素A、第二颜色感光像素B及第三颜色感光像素C，彩色感光像素具有比全色感光像素W更窄的光谱响应，且第一颜色感光像素A及第三颜色感光像素C均具有比第二颜色感光像素B更窄的光谱响应。像素阵列11包括多个最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括至少一个单颜色感光像素及至少一个全色感光像素W。步骤01、步骤02、步骤03及步骤04均可以有处理器20实现。也即是说，处理器20用于：获取像素阵列11曝光得到的原始图像，原始图像包括彩色图像像素及全色图像像素；根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素W获取全色图像；对所彩色图像进行色彩空间转换以获得YUV初始图像，YUV初始图像包括多个初始亮度信息Y、多个第一色度信息U及多个第二色度信息V；及根据全色图像对初始亮度信息Y进行处理以获得目标亮度信息Y’，根据目标亮度信息Y’、第一色度信息U及第二色度信息V以获得YUV目标图像。

本申请实施方式中的图像处理方法及图像处理装置100，通过对同一子单元内的所有彩色图像像素融合为彩色图像；对同一子单元内的所有全色图像像素W融合为全色图像，并对彩色图像进行色彩空间转换获得YUV初始图像后，再根据全色图像对YUV初始图像中的初始亮度信息Y进行处理，以获得含有全色图像信息的目标初始亮度信息Y’。如此能够直接输出含有全色图像信息且为YUV域的图像，无需再次插值即可直接传输至图像处理器(图未示)进行后续处理，从而既能提高图像的解析力和信噪比，还能在不影响图像观看效果的同时减小图像的信息量，以提高图像的传输效率及整体拍照效果。

图3是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图4所示)，每个感光像素110包括光电转换元件1111(图5所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图4是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图3所示的列处理单元14。

图5是本申请实施方式中一种感光像素110的像素电路111的示意图。图5中像素电路111可应用在图3所示的像素阵列11内的每个感光像素110(图4所示)中。下面结合图3至图5对像素电路111的工作原理进行说明。

如图5所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。

例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。

例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。

例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图3中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。

需要说明的是，本申请实施例中像素电路111的像素结构并不限于图5所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。

图6至图8是本申请某些实施方式的像素阵列11(图3所示)中的感光像素110(图4所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。对图6至图8所示的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个最小重复单元均由多个全色感光像素W和多个彩色感光像素组成。每个最小重复单元包括多个子单元。每个子单元内包括多个单颜色感光像素和多个全色感光像素W。

具体地，例如，图6为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图6中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图6中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图7及图8中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。

再例如，图7为本申请另一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图8为本申请又一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图8所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图8所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图6至图8所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图6至图8所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图6至图8所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。

需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图3所示)中的光电转换元件1111(图5所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

为了方便说明，以下实施例均以第一颜色感光像素为红色感光像素R；第二颜色感光像素B为绿色感光像素G；第三颜色感光像素C为蓝色感光像素Bu进行说明。

请参阅图9，在某些实施方式中，处理器20获取像素阵列11曝光得到原始图像，原始图像中包括彩色图像像素及全色图像像素W。在某些实施方式中，处理器20根据同一子单元内的所有彩色图像像素获取彩色图像，根据同一子单元内的所有的全色图像像素获取全色图像。

示例地，请参阅图9，假设像素阵列11(图3所示)曝光后生成的原始图像包括16*16个图像像素，其中彩色图像像素P1(1,1)、彩色图像像素P1(2,2)、全色图像像素P1(1,2)及全色图像像素P1(2,1)构成子单元U1；彩色图像像素P1(1,3)、彩色图像像素P1(2,4)、全色图像像素P1(1,4)及全色图像像素P1(2,3)构成子单元U2；彩色图像像素P1(1,5)、彩色图像像素P1(2,6)、全色图像像素P1(1,6)及全色图像像素P1(2,5)构成子单元U3；彩色图像像素P1(1,7)、彩色图像像素P1(2,8)、全色图像像素P1(1,8)及全色图像像素P1(2,7)构成子单元U4，彩色图像像素P1(1,9)、彩色图像像素P1(2,10)、全色图像像素P1(1,10)及全色图像像素P1(2,11)构成子单元U5；彩色图像像素P1(1,11)、彩色图像像素P1(2,12)、全色图像像素P1(1,12)及全色图像像素P1(2,11)构成子单元U6；彩色图像像素P1(1,13)、彩色图像像素P1(2,14)、全色图像像素P1(1,14)及全色图像像素P1(2,13)构成子单元U7；彩色图像像素P1(1,15)、彩色图像像素P1(2,16)、全色图像像素P1(1,16)及全色图像像素P1(2,15)构成子单元U8，子单元U1、子单元U2、子单元U3、子单元U4、子单元U5、子单元U6、子单元U7、子单元U8位于同一行。

处理器20将子单元U1中的彩色图像像素P1(1,1)及彩色图像像素P1(2,2)的像素值的均值作为融合后的彩色图像像素P2(1,1)的像素值，该融合后的彩色图像像素P2(1,1)位于彩色图像的第1行第1列；随后，处理器20将子单元U2中的彩色图像像素P1(1,3)及彩色图像像素P1(2,4)的像素值的均值作为融合后的彩色图像像素P2(1,2)的像素值，该融合后的彩色图像像素P2(1,2)位于彩色图像的第1行第2列；随后，处理器20将子单元U3中的彩色图像像素P1(1,5)及彩色图像像素P1(2,6)的像素值的均值作为融合后的彩色图像像素P2(1,3)的像素值，该融合后的彩色图像像素P2(1,3)位于彩色图像的第1行第3列；随后，处理器20将子单元U4中的彩色图像像素P1(1,7)及彩色图像像素P1(2,8)的像素值的均值作为融合后的彩色图像像素P2(1,4)的像素值，该融合后的彩色图像像素P2(1,4)位于彩色图像的第1行第4列；随后，处理器20将子单元U5中的彩色图像像素P1(1,9)及彩色图像像素P1(2,10)的像素值的均值作为融合后的彩色图像像素P2(1,5)的像素值，该融合后的彩色图像像素P2(1,5)位于彩色图像的第1行第5列；随后，处理器20将子单元U6中的彩色图像像素P1(1,11)及彩色图像像素P1(2,12)的像素值的均值作为融合后的彩色图像像素P2(1,6)的像素值，该融合后的彩色图像像素P2(1,6)位于彩色图像的第1行第6列；随后，处理器20将子单元U7中的彩色图像像素P1(1,13)及彩色图像像素P1(2,14)的像素值的均值作为融合后的彩色图像像素P2(1,7)的像素值，该融合后的彩色图像像素P2(1,7)位于彩色图像的第1行第7列；随后，处理器20将子单元U8中的彩色图像像素P1(1,15)、彩色图像像素P1(2,16)的像素值的均值作为融合后的彩色图像像素P2(1,8)的像素值，该融合后的彩色图像像素P2(1,8)位于彩色图像的第1行第8列。至此，处理器20已经将原始图像中处于第一行的多个子单元的彩色图像像素融合完毕。随后，处理器20再对处于第二行的多个子单元对应的多个彩色图像像素融合以获得对应的融合后的彩色图像像素，处于第二行的多个子单元对应的多个彩色图像像素融合以获得对应的融合后的彩色图像像素的具体方式与处于第一行的多个子单元对应的多个彩色图像像素融合以获得对应的融合后的彩色图像像素的具体方式相同，在此不再赘述。以此类推，直至处理器20将原始图像中所有子单元的彩色图像像素融合完毕。如此，同一个子单元内的所有彩色图像像素融合以获得融合后的彩色图像像素，多个融合后的彩色图像像素排列形成彩色图像。在彩色图像中的彩色图像像素呈拜耳阵列排布。当然，处理器20也可以同时将多个子单元中的彩色图像像素求均值以获得多个融合后的彩色图像像素，再将多个融合后的彩色图像像素排列生成彩色图像，在此不作限制。

由于彩色图像中的融合后的彩色图像像素是由原始图像中同一个子单元内的所有彩色图像像素求均值获得的，即原始图像中同一个子单元内的所有彩色图像像素的均值作为彩色图像中的融合后的彩色图像像素，如此，获得的彩色图像具有比原始图像更大的动态范围，从而能够扩展利用彩色图像做后续处理后获得的彩色图像的动态范围。

同样地，请参阅图9，处理器20根据同一子单元内的所有的全色图像像素获取全色图像。处理器20根据同一子单元内的所有的全色图像像素获取全色图像的具体实施方式，与处理器20根据同一子单元内的所有彩色图像像素获取彩色图像的具体实施方式相同，在此不作赘述。

处理器20在获取到彩色图像及全色图像后，处理器20对彩色图像进行色彩空间转换以获得YUV初始图像。示例地，请参阅图1及图10，在一些实施例中，对彩色图像进行色彩空间转换以获得YUV初始图像，包括：

031：对彩色图像进行去马赛克插值处理，以获得全排列的第一颜色中间图像、全排列的第二颜色中间图像、及全排列的第三颜色中间图像；

032：根据第一颜色中间图像、第二颜色中间图像及第三颜色中间图像进行色彩空间转换以获得YUV初始图像。

请参阅图2及图10，步骤031及步骤032均可以由处理器20执行实现。也即是说，处理器20还用于：对彩色图像进行去马赛克插值处理，以获得全排列的第一颜色中间图像、全排列的第二颜色中间图像、及全排列的第三颜色中间图像；及根据第一颜色中间图像、第二颜色中间图像及第三颜色中间图像进行色彩空间转换以获得YUV初始图像。

示例地，请参阅图11，在获取到彩色图像和全色图像后，处理器20对彩色图像中的第一颜色图像像素A、第二颜色图像像素B及第三颜色图像像素C进行分离处理，获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像。其中，第一颜色初始图像中的图像像素包括第一颜色图像像素A及空像素N；第二颜色初始图像中的图像像素包括第二颜色图像像素B及空像素N；第三颜色初始图像中的图像像素包括第三颜色图像像素C及空像素N。

以下以获取第一颜色初始图像为例进行说明，处理器20再获取到彩色图像后，处理器20抽取彩色图像中的第一颜色图像像素A并将抽取的第一颜色图像像素A设置在第一颜色初始图像的对应位置。例如，如图11所示，处理器20抽取第一颜色图像像素A位于彩色图像的第1行第1列，则处理器20将该第一颜色图像像素A设置在第一颜色初始图像的第1行第1列，随后处理器20再在彩色图像中抽取下一个第一颜色图像像素A，并重复以上步骤直至彩色图像中的所有第一颜色图像像素A均被抽取过一次。处理器20再在第一颜色初始图像中没有设置第一颜色图像像素A的位置上均为空像素N。需要说明的是，空像素N(NULL)既不为全色像素，也不为彩色像素，第一颜色初始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素N的像素值视为零。处理器20获取第二颜色初始图像及第三颜色初始图像的具体实施方式与获取第一颜色初始图像的具体实施方式相同，就不再一一举例说明。

处理器20在获取到第一颜色初始图像、第二颜色初始图像及第三颜色初始图像后，对第一颜色初始图像、第二颜色初始图像及第三颜色初始图像进行插值处理，以获得全排列的第一颜色中间图像、第二颜色中间图像及第三颜色中间图像。

在一些实施例中，处理器20可以分别对第一颜色初始图像、第二颜色初始图像及第三颜色初始图像进行插值计算，以补齐第一颜色初始图像、第二颜色初始图像及第三颜色初始图像中的空像素N，从而获取全排列的第一颜色中间图像、第二颜色中间图像及第三颜色中间图像。

下面以处理器20对第二颜色初始图像进行插值处理获得第二颜色中间图像为例进行说明。在一些实施例中，处理器20可以采用线性插值的方法来计算第二颜色初始图像中空像素N转换为第二颜色中间图像像素B’对应的像素值。示例地，处理器20可以根据第二颜色初始图像中空像素N周围的第二颜色图像像素B及预设的方向权值，计算第二颜色初始图像中空像素N转换为第二颜色中间图像像素B’对应的像素值。例如，如图11所示，排列在第二颜色初始图像中第2行第2列的图像像素D0为空像素N，并且在该图像像素的第一方向上有第二颜色图像像素B1，第二颜色图像像素B1排列在第二颜色初始图像的第1行第2列；在该图像像素D0的第二方向上有第二颜色图像像素B2，第二颜色图像像素B2排列在第二颜色初始图像的第3行第2列；在该图像像素D0的第三方向上有第二颜色图像像素B3，第二颜色图像像素B3排列在第二颜色初始图像的第2行第1列；在该图像像素D0的第四方向上有第二颜色图像像素B4，第二颜色图像像素B4排列在第二颜色初始图像的第2行第3列。该图像像素D0对应的第二颜色中间图像像素B’的像素值可以根据第二颜色图像像素B1、第二颜色图像像素B2、第二颜色图像像素B3、第二颜色图像像素B4、预设的第一方向权重、预设的第二方向权重、预设的第三方向权重及预设的第四方向权重获得。示例地，该图像像素D0对应的第二颜色中间图像像素B’的像素值等于第二颜色图像像素B1与预设的第一方向权重的乘积、第二颜色图像像素B2与预设的第二方向权重的乘积、第二颜色图像像素B3与预设的第三方向权重的乘积、及第二颜色图像像素B4与预设的第四方向权重的乘积的和。需要说明的是，处理器20还将第二颜色初始图像中，第二颜色图像像素B的像素值，作为其在第二颜色中间图像中对应位置的第二中间图像像素B’的像素值。例如，排列在第二颜色初始图像的第3行第4列图像像素为第二颜色图像像素B，则将该第二颜色图像像素B的像素值，作为排列在第二颜色中间图像的第3行第4列的第二颜色中间图像像素B’的像素值。也即是说，若第二颜色中间图像中第二颜色中间图像像素B’，在第二颜色图像中对应位置上的图像像素是第二颜色图像像素B，则该第二中间图像像素B’的像素值等于对应的第二颜色图像像素B的像素值；若第二颜色中间图像中第二颜色中间图像像素B’，在第二颜色图像中对应位置上的图像像素是空像素N，则通过第二颜色初始图像中对应的空像素N周围的第二颜色图像像素B及预设的方向权值，计算该第二中间图像像素B’的像素值。同样地，第一颜色中间图像与第三颜色中间图像可以采用同样地方法将其内的空像素N补齐，以获得全排列的第一颜色中间图像及第三颜色中间图像。

在一些实施例中，处理器20还可以根据色差恒常原理对第一颜色初始图像、第二颜色初始图像及第三颜色初始图像进行插值计算，以获得全排列的第一颜色中间图像、第二颜色中间图像及第三颜色中间图像。

示例地，若待更新的图像像素D0是第二颜色图像像素B时，则将第二颜色图像像素B的原像素值作为待更新的图像像素D0更新后第二颜色中间图像像素B’0的像素值。例如，如图12所示，排列在第3行第2列的待更新的图像像素D0为第二颜色图像像素B，则待更新的图像像素D0的原像素值作为对应的第二颜色中间图像像素B’的像素值，并且该第二中间图像像素B’0位于第二中间图像的第3行的2列。若待更新的图像像素D0不是第二颜色图像像素B时，即待更新的图像像素D0是空像素N时，判断第一颜色初始图像中与待更新的图像像素D0对应的位置的图像像素是否为第一颜色图像像素A，若第一颜色初始图像中与待更新的图像像素D0对应的位置的图像像素为第一颜色图像像素A，则根据第一颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色中间图像像素B’0的像素值。例如，如图13所示，排列在第二颜色初始图像的第5行第5列的图像像素为空像素N，且位于第一颜色初始图像的第5行第5列的图像像素为第一颜色图像像素A，则根据第一颜色初始图像对第二颜色初始图像进行插值处理，以获得排列在第二颜色初始图像的第5行第5列的图像像素对应的第二颜色中间图像像素B’的像素值，并且该第二颜色中间图像像素位于第二颜色中间图像的第5行第5列。若待更新的图像像素D0不是第二颜色图像像素B时，即待更新的图像像素D0是空像素N时，且第三颜色初始图像中与待更新的图像像素D0对应的位置的图像像素是第三图像像素C时，则根据第三颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色中间图像像素B’0的像素值。例如，如图14所示，排列在第二颜色初始图像的第2行第2列的图像像素为空像素N，且位于第三颜色初始图像的第2行第2列的图像像素为第三颜色图像像素C，则根据第三颜色初始图像对第二颜色初始图像进行插值处理，以获得排列在第二颜色初始图像的第2行第2列的图像像素对应的第二颜色中间图像像素B’的像素值，并且该第二颜色中间图像像素位于第二颜色中间图像的第2行第2列。

其中，根据第三颜色初始图像对第二颜色初始图像进行插值处理的具体实施方法，与根据第一颜色初始图像对第二颜色初始图像进行插值处理的具体实施方法相同，为了方面说明，以下以根据第一颜色初始图像对第二颜色初始图像进行插值处理为例进行说明，请参阅图10及图15，在一些实施例中，将第一颜色初始图像中与待更新的图像像素D0对应位置的第一颜色图像像素A定义为映射的第一颜色图像像素A0，根据色差恒定理论利用第一颜色初始图像对待更新的图像像素D0更新后的第二颜色中间图像像素B’0的像素值，包括：

0311：根据第二颜色初始图像中图像像素的像素值、及第一颜色初始图像中图像像素的像素值，以计算第二颜色初始图像中每一个图像像素对应的在第一方向H1的第一差值E1及在第二方向H2的第二差值E2；

0312：根据第二颜色初始图像中每一个的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1计算与该图像像素对应的第一方向差值V1，根据第二颜色初始图像中每一个的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2计算与该图像像素对应的第二方向差值V2；

0313：根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、及其周围的图像像素的第一方向差值V1及第二方向差值V2，计算第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4；

0314：根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、与待更新的图像像素D0在第一方向H1上的第一侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第一方向H1上的第二侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第二方向H2上的第一侧相邻的四个图像像素的第二方向差值V2、与待更新的图像像素D0在第二方向H2上的第二侧相邻的四个图像像素的第二方向差值V2、第一权值g1、第二权值g2、第三权值g3及第四权值g4，计算以获取总差值K；及

0315：根据映射的第一颜色图像像素A0、及与待更新的图像像素D0对应的总差值K，以获取待更新的图像像素D0对应的第二颜色中间图像像素B’0的像素值。

请结合图2及图15，步骤0311、步骤0312、步骤0313、步骤0314及步骤0315均可以由处理器20实现。也即是说，处理器20还用于根据第二颜色初始图像中图像像素的像素值、及第一颜色初始图像中图像像素的像素值，以计算第二颜色初始图像中每一个图像像素对应的在第一方向H1的第一差值E1及在第二方向H2的第二差值E2；根据第二颜色初始图像中每一个的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1计算与该图像像素对应的第一方向差值V1，根据第二颜色初始图像中每一个的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2计算与该图像像素对应的第二方向差值V2；根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、及其周围的图像像素的第一方向差值V1及第二方向差值V2，计算第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4；根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、与待更新的图像像素D0在第一方向H1上的第一侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第一方向H1上的第二侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第二方向H2上的第一侧相邻的四个图像像素的第二方向差值V2、与待更新的图像像素D0在第二方向H2上的第二侧相邻的四个图像像素的第二方向差值V2、第一权值g1、第二权值g2、第三权值g3及第四权值g4，计算以获取总差值K；及根据映射的第一颜色图像像素A0、及与待更新的图像像素D0对应的总差值K，以获取待更新的图像像素D0对应的第二颜色中间图像像素B’0的像素值。

处理器20根据第二颜色初始图像中图像像素的像素值、及第一颜色初始图像中图像像素的像素值，以计算第二颜色初始图像中每一个图像像素对应的在第一方向H1的第一差值E1及在第二方向H2的第二差值E2。需要说明的是第一方向H1和第二方向H2垂直，为了方面说明，以下实施例中均以第一方向H1为与图像像素的列平行的方向、第二方向H2为与图像像素的行平行的方向进行说明。示例地，假设待计算的图像像素位于第二颜色初始图像的第i行第j列，其对应的第一差值E1可以通过计算公式E1(i，j)＝(B_(i，j-1)+B_(i，j+1))/2+(2×A_(i，j)-A_(i，j-2)-A_(i，j+2))/4-A_(i，j)]获得。其中，B_(i，j-1)表示位于第二颜色初始图像第i行第j-1列的图像像素的像素值、B_(i，j+1)表示位于第二颜色初始图像第i行第j+1列的图像像素的像素值、A_(i，j)表示位于第一颜色初始图像第i行第j列的图像像素的像素值、A_(i，j-2)表示位于第一颜色初始图像第i行第j-2列的图像像素的像素值、及A_(i，j+2)表示位于第一颜色初始图像第i行第j+2列的图像像素的像素值。也即是说，第一颜色初始图像上与待计算的图像像素对应的图像像素的像素值的两倍与其在第一方向H1两侧间隔的图像像素的像素值差的均值，加上待计算的图像像素在第一方向H1两侧的图像像素的像素值和的均值，减去第一颜色初始图像上与待计算的图像像素对应图像像素的像素值，以获得第一差值E1。待计算的图像像素的第二差值E2可以通过计算公式E2(i，j)＝(B_(i-1，j)+B_(i+1，j))/2+(2×A_(i，j)-A_(i-2，j)-A_(i+2，j))/4-A_(i，j)]获得。其中，B_(i-1，j)表示位于第二颜色初始图像第i-1行第j列的图像像素的像素值、B_(i+1，j)表示位于第二颜色初始图像第i+1行第j列的图像像素的像素值、A_(i，j)表示位于第一颜色初始图像第i行第j列的图像像素的像素值、A_(i-2，j)表示位于第一颜色初始图像第i-2行第j列的图像像素的像素值、及A_(i+2，j)表示位于第一颜色初始图像第i+2行第j列的图像像素的像素值。也即是说，第一颜色初始图像上与待计算的图像像素对应的图像像素的像素值的两倍与其在第二方向H2两侧间隔的图像像素的像素值差的均值，加上待计算的图像像素在第二方向H2两侧的图像像素的像素值和的均值，减去第一颜色初始图像上与待计算的图像像素对应图像像素的像素值，以获得第二差值E2。例如，请参阅图13，待计算的图像像素位于第二颜色初始图像的第5行第5列，即需要计算位于第5行第5列图像像素的第一差值E1及第二差值E2。待计算的图像像素对应的第一差值E1可以通过计算公式E1(5，5)＝[(B_(5，4)+B_(5，6))/2+(2×A_(5，5)-A_(5，3)-A_(5，7))/4-A_(5，5)]获得。第二差值E2可以通过计算公式E2(5，5)＝[(B_(4，5)+B_(6，5))/2+(2×A_(5，5)-A_(3，5)-A_(7，5))/4-A_(5，5)]获得。

处理器20在获得第二颜色初始图像上每个图像像素对应的第一差值E1及第二差值E2后，根据第二颜色初始图像中每一个的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1计算与该图像像素对应的第一方向差值V1，根据第二颜色初始图像中每一个的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2计算与该图像像素对应的第二方向差值V2。示例地，假设待计算的图像像素位于第二颜色初始图像的第i行第j列，其对应的第一方向差值V1可以通过计算公式V1(i，j)＝|E1(i，j-1)-E1(i，j+1)|，其中E1(i，j-1)表示位于第二颜色初始图像上第i行第j-1列的图像像素对应的第一差值E1、及E1(i，j+1)表示位于第二颜色初始图像上第i行第j+1列的图像像素对应的第一差值E1。也即是说，待计算的图像像素的第一方向差值V1等于待计算的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1差的绝对值。待计算的图像像素对应的第二方向差值V2可以通过计算公式V2(i，j)＝|E2(i-1，j)-E2(i+1，j)|，其中E2(i+1，j)表示位于第二颜色初始图像上第i+1行第j列的图像像素对应的第二差值E2、及E1(i，j+1)表示位于第二颜色初始图像上第i行第j+1列的图像像素对应的第二差值E2。也即是说，待计算的图像像素的第二方向差值V2等于待计算的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2差的绝对值。

处理器20在获取到第二颜色初始图像中图像像素的第一方向差值V1及第二方向差值V2后，根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、及其周围的图像像素的第一方向差值V1及第二方向差值V2，计算第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4。示例地，第一权重值g1可以通过计算公式

即将位于待更新的图像像素D0左侧四列且位于待更新的图像像素D0上侧两行、及位于待更新的图像像素D0上侧两行范围内的图像像素对应的第二方向差值V2求和，再用1除于该结果的平方，以获得第一权重值g1；第二权重值g2可以通过计算公式

即将位于待更新的图像像素D0右侧四列且位于待更新的图像像素D0上侧两行、及位于待更新的图像像素D0上侧两行范围内的图像像素对应的第二方向差值V2求和，再用1除于该结果的平方，以获得第二权重值g2；第三权重值g3可以通过计算公式

即将位于待更新的图像像素D0下侧四行且位于待更新的图像像素D0左侧两列、及位于待更新的图像像素D0右侧两例范围内的图像像素对应的第一方向差值V1求和，再用1除于该结果的平方，以获得第三权重值g3；及第四权重值g4可以通过计算公式

即将位于待更新的图像像素D0上侧四行且位于待更新的图像像素D0左侧两列、及位于待更新的图像像素D0右侧两例范围内的图像像素对应的第一方向差值V1求和，再用1除于该结果的平方，以获得第四权重值g4。

处理器20在获取到待更新图像的第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4后，处理器20根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、与待更新的图像像素D0在第一方向H1上的第一侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第一方向H1上的第二侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第二方向H2上的第一侧相邻的四个图像像素的第二方向差值V2、与待更新的图像像素D0在第二方向H2上的第二侧相邻的四个图像像素的第二方向差值V2、第一权值g1、第二权值g2、第三权值g3及第四权值g4，计算以获取总差值K。示例地，根据待更新图像像素D0及其下侧相邻的4个图像像素的第二差值E2排列形成第一权重矩阵S1、根据待更新图像像素D0及其上侧相邻的4个图像像素的第二差值E2排列形成第二权重矩阵S2、根据待更新图像像素D0及其左侧相邻的4个图像像素的第一差值E1排列形成第三权重矩阵S3、根据待更新图像像素D0及其右侧相邻的4个图像像素的第一差值E1排列形成第四权重矩阵S4，总差值K可以通过计算公式K＝(g1×f×S1+g2×f×S2+g3×f’×S3+g4×f’×S4)/(g1+g+g3+g4)，其中f表示预设矩阵，f’表示预设矩阵的转置，在一些实施例中，预设矩阵f＝[11111]/5。例如，请参阅图13，假设待更新的图像像素D0位于第二颜色初始图像的第5行第5列，则第一权重矩阵

第二权重矩阵

第三权重矩阵S3＝[E1(5,1)E1(5,2)E1(5,3)E1(5,4)E1(5,5)]；第四权重矩阵S4＝[E1(5,5)E1(5,6)E1(5,7)E1(5,8)E1(5,9)]总差值

处理器20获得总差值K后，根据映射的第一颜色图像像素A0、及与待更新的图像像素D0对应的总差值K，以获取待更新的图像像素D0对应的第二颜色中间图像像素B’0的像素值。示例地，待更新的图像像素D0对应的第二颜色中间图像像素B’0的像素值等于根据映射的第一颜色图像像素A0及与待更新的图像像素D0对应的总差值K的和。同样地，第一颜色中间图像与第三颜色中间图像可以采用同样地方法将其内的空像素N补齐，以获得全排列的第一颜色中间图像及第三颜色中间图像。

在一些实施例中，处理器20先对第二颜色初始图像进行处理，以获得全排列的第二颜色中间图像后，处理器20再根据第二颜色中间图像对第一颜色初始图像进行处理以获得全排列的第一颜色中间图像，及根据第二颜色中间图像对第三颜色初始图像进行处理以获得全排列的第三颜色中间图像。例如，处理器20可以采用上述任意一实施例所述的计算方法对第二颜色初始图像进行图像处理，获得全排列的第二颜色中间图像后，处理器20根据全排列的第二颜色中间图像对第一颜色初始图像进行双边滤波处理，以获取全排列的第一颜色中间图像；及根据全排列的第二颜色中间图像对第三颜色初始图像进行双边滤波处理，以获取全排列的第三颜色中间图像。当然，在一些实施例中，还可以采用其他的插值处理的方法对第一颜色初始图像、第二颜色初始图像及第三颜色初始图像进行插值处理，以获得全排列的第一颜色中间图像、第二颜色中间图像及第三颜色中间图像，在此不作限制。

请参阅图16，处理器20再获得第一颜色中间图像、第二颜色中间图像及第三颜色中间图像后，处理器20根据第一颜色中间图像、第二颜色中间图像及第三颜色中间图像进行色彩空间转换，以获得YUV初始图像。色彩转换处理是将图像由一个色彩空间转换成另一个色彩空间，从而具有更广泛的应用场景或者具有更高效率的传输格式。以第一颜色A为红色R、第二颜色B为绿色G、第三颜色C为蓝色Bu为例，处理器20根据第一颜色中间图像、第二颜色中间图像及第三颜色中间图像进行色彩空间转换以获得YUV图像，即处理器20将图像由RGB色彩空间转换为YUV色彩空间。示例地，在具体的实施例中，色彩转换处理的步骤可以为对图像中的所有像素值的R、G和B通道像素值进行如下公式转换得到Y、U和V通道像素值：(1)Y＝0.30R+0.59G+0.11B；(2)U＝0.493(B－Y)；(3)V＝0.877(R－Y)；从而将该图像由RGB色彩空间转换为YUV色彩空间，以获得YUV初始图像。需要说明的是，在YUV初始图像中，Y通道的像素值即为初始亮度信息、U通道的像素值即为第一色度信息、及V通道的像素值即为第二色度信息。并且在图16及图17中，YUV初始图像中的Y+U+V并不表示直接将初始亮度信息Y、第一色度信息U及第二色度信息V相加，仅表示图像像素包括初始亮度信息Y、第一色度信息U及第二色度信息V三个分量。此外下文中Y’+U+V(图25所示)也是如此，不再赘述。

在获取到YUV初始图像后，处理器20根据全色图像对YUV初始图像中的初始亮度信息Y进行处理以获得目标亮度信息。示例地，在一些实施例中，处理器20将YUV初始图像中的多个初始亮度信息Y排列以形成初始亮度图像。例如，如图17所示，提取排列在YUV初始图像第1行第1列中的初始亮度信息Y，并将该初始亮度信息Y放置在初始亮度图像的第1行第1列；随后提取排列在YUV初始图像第1行第2列中的初始亮度信息Y，并将该初始亮度信息Y放置在初始亮度图像的第1行第2列，如此反复，直至YUV初始图像中的所有初始亮度信息Y均被提取并放置在初始亮度图像的对应位置，如此便获得了初始亮度图像。

请参阅图1及图18，在一些实施例中，根据全色图像对初始亮度信息Y进行处理以获得目标亮度信息Y’，包括：

041：若全色图像中与初始亮度图像中待更新的初始亮度信息Y对应的全色图像像素W过曝，则待更新的初始亮度信息Y更新后的目标亮度信息Y’，与待更新的初始亮度信息Y更新前的初始亮度信息Y相同；

042：若全色图像中与初始亮度图像中待更新的初始亮度信息Y对应的全色图像像素W未过曝，则根据全色图像及初始亮度图像计算待更新的初始亮度信息更新后的目标亮度信息Y’。

请参阅图2及图18，步骤041及步骤042均可以由处理器20执行实现。也即是说，处理器20还用于若全色图像中与初始亮度图像中待更新的初始亮度信息Y对应的全色图像像素W过曝，则待更新的初始亮度信息Y更新后的目标亮度信息Y’，与待更新的初始亮度信息Y更新前的初始亮度信息Y相同；及若全色图像中与初始亮度图像中待更新的初始亮度信息Y对应的全色图像像素W未过曝，则根据全色图像及初始亮度图像计算待更新的初始亮度信息更新后的目标亮度信息Y’。

请结合图19，在一些实施例中，处理器20任意抽取初始亮度图像中任意一个初始亮度信息Y作为待更新的初始亮度信息Y0，处理器20首先判断全色图像中与初始亮度图像中待更新的初始亮度信息Y0对应的全色图像像素W0是否过曝，若对应的全色图像像素W0是过曝，则待更新的初始亮度信息Y0更新后的目标亮度信息Y'0，与待更新的初始亮度信息Y0更新前的初始亮度信息Y0相同，即直接将待更新的初始亮度信息Y0作为更新后的目标亮度信息Y'0；若对应的全色图像像素W0是未过曝，则根据全色图像及初始亮度图像计算待更新的初始亮度信息Y0更新后的目标亮度信息Y'0。随后，处理器20在初始亮度图像中抽取下一个初始亮度信息Y作为待更新的初始亮度信息Y0进行处理，循环上述步骤直至对初始亮度图像中所有初始亮度信息Y都被进行处理，如此便获得了目标亮度图像。

具体地，处理器20首先判断全色图像中与初始亮度图像中待更新的初始亮度信息Y0对应的全色图像像素W0是否过曝。例如，请参阅图19，待更新的初始亮度信息Y0位于初始亮度图像的第3行第4列，则判断位于全色图像的第3行第4列的全色像素W0的像素值是否大预设值，若该全色像素W0的像素值大于预设值则可以认为该全色像素W0过曝；若该全色像素W0的像素值小于预设值则可以认为该全色像素W0未过曝，若该全色像素W0的像素值等于预设值则既可以认为该全色像素W0过曝也可以认为该全色像素W0未过曝。当然，在其他实施例中也可以采用其他方式判断与初始亮度图像中待更新的初始亮度信息Y0对应的全色图像像素W0是否过曝，在此不再一一例举。

若全色图像中与初始亮度图像中待更新的初始亮度信息Y0对应的全色图像像素W0过曝，则直接将初始亮度信息Y0的原像素值作为待更新的初始亮度信息更新后的目标亮度信息Y'0。例如，请继续参阅图19，待更新的初始亮度信息Y0对应的图像像素位于初始亮度图像的第3行第4列，并且位于全色图像的第3行第4列的全色像素W0过曝，则将位于初始亮度图像的第3行第4列的目标亮度信息Y0的像素值作为更新后的目标亮度信息Y'0，并且该目标亮度信息Y'0位于目标亮度图像的第3行第4列。

若全色图像中与初始亮度图像中待更新的初始亮度信息Y0对应的全色图像像素W0未过曝，则根据全色图像及初始亮度图像计算待更新的初始亮度信息Y0更新后的目标亮度信息Y'0。示例地，请参阅图18、图19及图20，在某些实施例中，根据全色图像及初始亮度图像计算待更新的初始亮度信息Y0更新后的目标亮度信息Y'0，包括：

0421：在初始亮度图像中选取以待更新的初始亮度信息Y0为中心的第一窗口C1，并在全色图像中选取与第一窗口C1对应的第二窗口C2，第二窗口C2中心处的全色图像像素W与待更新的初始亮度信息Y0对应并定义为映射的全色图像像素W0；

0422：根据第一窗口C1中获取第一矩阵I1，第一矩阵I1中与第一窗口C1中初始亮度信息Y对应位置的取值均记为预设数值；

0423：根据映射的全色图像像素W0的像素值、第二窗口C2中所有全色图像像素W的像素值、第一矩阵I1及预设的权重函数F(x)获取第二矩阵I2；及

0424：根据映射的全色图像像素W0的像素值、第一窗口C1中所有初始亮度信息Y、第二窗口C2中所有全色图像像素W的像素值、第二矩阵I2，获取待更新的初始亮度信息Y0更新后的目标亮度信息Y'0。

请结合图2、图19及图20，步骤0421、步骤0422、步骤0423及步骤0424均可以由处理器20实现。也即是说，处理器20还用于在初始亮度图像中选取以待更新的初始亮度信息Y0为中心的第一窗口C1，并在全色图像中选取与第一窗口C1对应的第二窗口C2，第二窗口C2中心处的全色图像像素W与待更新的初始亮度信息Y0对应并定义为映射的全色图像像素W0；根据第一窗口C1中获取第一矩阵I1，第一矩阵I1中与第一窗口C1中初始亮度信息Y对应位置的取值均记为预设数值；根据映射的全色图像像素W0的像素值、第二窗口C2中所有全色图像像素W的像素值、第一矩阵I1及预设的权重函数F(x)获取第二矩阵I2；及根据映射的全色图像像素W0的像素值、第一窗口C1中所有初始亮度信息Y、第二窗口C2中所有全色图像像素W的像素值、第二矩阵I2，获取待更新的初始亮度信息Y0更新后的目标亮度信息Y'0

请参阅图19，若全色图像中与初始亮度图像中待更新的初始亮度信息Y0对应的全色图像像素W0未过曝，处理器20在初始亮度图像中选取一待更新的初始亮度信息Y0为中心的第一窗口C1，并在全色图像中选取与第一窗口C1对应的第二窗口C2，第二窗口C2中心处的全色图像像素W与待更新的初始亮度信息Y0对应并定义为映射的全色图像像素W0。例如，待更新的初始亮度信息Y0在第一颜色初始图像中位于第3行第4列，则与待更新的初始亮度信息Y0对应的全色图像像素W位于全色图像的第3行第4列，即映射的全色图像像素W0位于全色图像的第3行第4列，且待更新的初始亮度信息Y0位于第一窗口C1的中心位置，映射的全色图像像素W0位于第二窗口C2的中心位置。

需要说明的是，第一窗口C1及第二窗口C2是虚拟的计算窗口，并不是实际存在的结构；并且第一窗口C1及第二窗口C2的大小可以根据实际需要任意更改，在一些实施例中，第一窗口C1与第二窗口C2中的图像像素均呈M*M排列，M为奇数，例如M可以是3、5、7、9等，对应的第一窗口C1及第二窗口C2可以是3*3、5*5、7*7或9*9等，在此不做限制。为了方便说明，以下实施例均以第一窗口C1及第二窗口C2均为5*5大小进行说明。

处理器20在第一颜色初始图像中设置第一窗口C1及在全色图像中设置第二窗口C2后，处理器20根据第一窗口C1获取第一矩阵I1。其中，第一矩阵I1中与第一窗口C1中初始亮度信息Y对应位置的取值均记为预设数值。如图21所示，处理器20将第一窗口C1中的图像像素的阵列排布映射为第一矩阵I1的阵列排布，即第一矩阵I1中元素的行数与第一窗口C1中图像像素的行数相同，且第一矩阵I1中元素的列数与第一窗口C1中图像像素的列数相同，第一窗口C1中任意一个初始亮度信息在第一矩阵I1中都有一个元素与其对应。第一矩阵I1中与第一窗口C1中初始亮度信息Y对应位置的取值均记为预设数值，即第一矩阵I1中所有元素均为预设数值。在一些实施例中，预设数值为1，也即是说，第一矩阵I1中所有元素均为1。例如，第一窗口C1内有5*5的初始亮度信息，则第一矩阵I1也为5*5的矩阵阵列。在第一矩阵I1中，元素X11、X12、X13、X14、X15、X21、X22、X23、X24、X25、X31、X32、X33、X34、X35、X41、X42、X43、X44、X45、X51、X52、X53、X54、X55的取值记为1，以此获得第一矩阵I1。

请参阅图20及图22，在一些实施例中，步骤0423：根据映射的全色图像像素W0的像素值、第二窗口C2中所有全色图像像素W的像素值、第一矩阵I1及预设的权重函数F(x)获取第二矩阵I2，包括：

04231：将第二窗口C2中全色图像像素W的矩阵排布映射为第二矩阵I2的阵列排布；

04232：根据第二窗口C2中每个全色图像像素W的像素值及映射的全色图像像素W0的像素值获取第二矩阵I2中与该全色图像像素W对应位置的偏差值L1；及

04233：根据偏差值L1、预设函数F(x)及第一矩阵I1中相同位置的取值，获取第二矩阵I2中该对应位置的取值。

请结合图2及图22，步骤04231、步骤04232及步骤04233均可以由处理器20实现。也即是说，处理器20还用于将第二窗口C2中全色图像像素W的矩阵排布映射为第二矩阵I2的阵列排布；根据第二窗口C2中每个全色图像像素W的像素值及映射的全色图像像素W0的像素值获取第二矩阵I2中与该全色图像像素W对应位置的偏差值L1；及根据偏差值L1、预设函数F(x)及第一矩阵I1中相同位置的取值，获取第二矩阵I2中该对应位置的取值。

处理器20在获取到第一矩阵I1后，处理器20将第二窗口C2中全色图像像素W的阵列排布映射为第二矩阵I2的阵列排布。也即是说，第二矩阵I2中元素的行数与第二窗口C2中图像像素的行数相同，且第二矩阵I2中元素的列数与第二窗口C2中图像像素的列数相同，第二窗口C2中任意一个全色图像像素W在第二矩阵I2中都有一个元素与其对应。

处理器20根据第二窗口C2中每个全色图像像素W的像素值及映射的全色图像像素W0的像素值获取第二矩阵I2中与该全色图像像素W对应位置的偏差值L1。具体地，第二矩阵I2中与第二窗口C2中的全色图像像素W对应位置的偏差值L1，等于该全色图像像素W的像素值减去映射的全色图像像素W0的像素值。例如第二矩阵I2的第1行第2列对应的偏差值L1(1,2)，等于排列在全色图像的第1行第2列的全色图像像素W(1,2)的像素值与映射的全色图像像素W0的像素值之间差的绝对值。

处理器20在获取到第二矩阵I2中所有位置对应的偏差值L1后，处理器20根据偏差值L1、预设函数F(x)及第一矩阵I1中相同位置的取值，获取第二矩阵I2中对应位置的取值。具体地，将第二矩阵I2待计算位置对应的偏差值L1代入预设函数F(x)中进行计算得到第一结果F(L1)后，再将第一结果F(L1)乘以第一矩阵I1中相同位置的取值，以获得第二矩阵I2中对应位置的取值。例如，请参阅图23，假设要计算第二矩阵I2的第1行第2列位置Y12的取值，首先将与第二矩阵I2的第1行第2列位置对应的偏差值L1(1,2)代入预设函数F(x)中进行计算得到第一结果F(L1(1,2))，再获取第一矩阵I1中与Y12对应位置的取值，即获取位于第一矩阵I1第1行第2列的X12的取值。第二矩阵I2的第1行第2列位置Y12的取值等于第一结果F(L1(1,2))乘以第一矩阵I1中X12的取值。需要说明的是，预设函数F(x)可以是指数函数、对数函数或者幂函数，只需要满足输入值越小，输出的权重越大即可，在此不作限制。

请参阅图20及图24，在某些实施例中，步骤0424：根据映射的全色图像像素W0的像素值、第一窗口C1中所有初始亮度信息Y、第二窗口C2中所有全色图像像素W的像素值、第二矩阵I2，获取待更新的初始亮度信息Y0更新后的目标亮度信息Y'0，包括：

04241：根据第一窗口中C1所有初始亮度信息Y及第二矩阵I2计算第一加权值M1，根据第二窗口C2中所有全色图像像素W的像素值及第二矩阵I2计算第二加权值M2；及

04242：根据映射的全色图像像素W0的像素值、第一加权值M1及第二加权值M2获取待更新的初始亮度信息Y0更新后的目标亮度信息Y'0。

请结合图2及图24，步骤04241及步骤04242均可以由处理器20实现。也即是说，处理器20还用于据第一窗口中C1所有初始亮度信息Y及第二矩阵I2计算第一加权值M1，根据第二窗口C2中所有全色图像像素W的像素值及第二矩阵I2计算第二加权值M2；及根据映射的全色图像像素W0的像素值、第一加权值M1及第二加权值M2获取待更新的初始亮度信息Y0更新后的目标亮度信息Y'0。

处理器20在获取到第二矩阵I2后，处理器根据第一窗口C1中所有初始亮度信息Y形成第一窗口矩阵N1，根据第二窗口C2中所有全色图像像素W的像素值形成第二窗口矩阵N2。需要说明的是，第一窗口矩阵N1中任意一个位置的取值都与第一窗口C1中对应位置的初始亮度信息Y相同，第二窗口矩阵N2中任意一个位置的取值都与第二窗口C2中对应位置的全色图像像素W的像素值相同。

处理器20根据第一窗口矩阵N1及第二矩阵I2计算第一加权值M1。示例地，第一加权值M1可以通过计算公式M1＝sum(sum(H1×I2))获得。也即是说，第一窗口C1内每个初始亮度信息Y乘以第二矩阵I2内对应位置的数值后获得多个新像素值，将多个新像素相加以获得第一加权值M1。第二加权值M2可以通过计算公式M2＝sum(sum(H2×I2))获得。也即是说，第二窗口C1内每个全色图像像素W的像素值乘以第二矩阵I2内对应位置的数值后获得多个新像素值，将多个新像素相加以获得第二加权值M2。

处理器20在获取到第一加权值M1及第二加权值M2后，处理器20根据映射的全色图像像素W0的像素值、第一加权值M1及第二加权值M2获取目标亮度信息Y'0。示例地，目标亮度信息Y'0可以通过计算公式(Y'0)’＝W0’×M1/M2，其中(Y'0)’为目标亮度信息Y'0、及W0’为映射的全色图像像素W0的像素值。也即是说，映射的全色图像像素W0的像素值乘以第一加权值M1后，再除第二加权值M2，以获得待更新的初始亮度信息Y0更新后的目标亮度信息Y'0。

处理器20再获得初始亮度图中所有初始亮度信息Y更新后的目标亮度信息Y'后，处理器20根据目标亮度信息Y'、第一色度信息U及第二色度信息V以获得目标图像。示例地，处理器20将多个目标亮度信息Y按照其对应的初始亮度信息Y排列，以形成目标亮度图像；处理器20将目标亮度图像中的目标亮度信息Y排列在YUV目标图像的对应位置，并且将YUV初始图像中第一色度信息U及第二色度信息V也排列至YUV目标图像的对应位置，如此便获得了YUV目标图像。例如，请参阅图25，排列在目标亮度图像的第1行第1列的目标亮度信息Y'，是排列在初始亮度图像的第1行第1列的初始亮度信息Y更新获得的，则处理器20将排列在目标亮度图像的第1行第1列的目标亮度信息Y'，排列在YUV目标图像的第1行第1列，并将YUV初始图像的第1行第1列内的第一色度信息U及第二色度信息V也排列至YUV目标图像的第1行第1列，如此YUV目标图像的第1行第1列的图像像素包含目标亮度信息Y'、第一色度信息U及第二色度信息V三个分量。当然，在一些实施例中，处理器20也可以无需获取YUV目标图像，直接将目标亮度信息Y'、第一色度信息U及第二色度信息V输入图像处理器(图未示)进行后续处理，在此不作限制。

请参阅图26，在某些实施例中，图像处理方法还包括：

05：对彩色图像做彩色图像处理以获取处理后的彩色图像，对全色图像做全色图像处理以获取处理后的全色图像；

033：对处理后的彩色图像进行色彩空间转换以获得YUV初始图像，YUV初始图像包括多个初始亮度信息Y、多个第一色度信息U及多个第二色度信息V；

043：根据处理后的全色图像对初始亮度信息进行处理以获得目标亮度信息Y’，根据目标亮度信息Y’、第一色度信息U及第二色度信息V以获得YUV目标图像。

请参阅图2及图26，步骤05、步骤033及步骤043均可以由处理器20执行。也即是说，处理器20还用于对彩色图像做彩色图像处理以获取处理后的彩色图像，对全色图像做全色图像处理以获取处理后的全色图像；对处理后的彩色图像进行色彩空间转换以获得YUV初始图像，YUV初始图像包括多个初始亮度信息Y、多个第一色度信息U及多个第二色度信息V；及根据处理后的全色图像对初始亮度信息进行处理以获得目标亮度信息Y’，根据目标亮度信息Y’、第一色度信息U及第二色度信息V以获得YUV目标图像。

处理器20在获得彩色图像及全色图像后，处理器20对彩色图像进行彩色图像处理以获得处理后的彩色图像，对全色图像进行全色图像处理以获得处理后的全色图像。需要说明的是，在一些实施例中，彩色图像处理包括坏点补偿处理、暗角补偿处理、白平衡处理中至少一种；全色图像处理包括坏点补偿处理。

处理器20在获得处理后的彩色图像及处理后的全色图像后，对处理后的彩色图像进行色彩空间转换以获得YUV初始图像，YUV初始图像包括多个初始亮度信息Y、多个第一色度信息U及多个第二色度信息V；并根据处理后的全色图像对初始亮度信息进行处理以获得目标亮度信息Y’，根据目标亮度信息Y’、第一色度信息U及第二色度信息V以获得YUV目标图像。其中，处理器20对处理后的彩色图像进行色彩空间转换以获得YUV初始图像的具体实施方式，与对彩色图像进行色彩空间转换以获得YUV初始图像的具体实施方式相同；处理器20根据处理后的全色图像对初始亮度信息进行处理以获得目标亮度信息Y’的具体实施方式，与处理器20根据全色图像对初始亮度信息进行处理以获得目标亮度信息Y’的具体实施方式相同，在此不作赘述。

请参阅图27，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的图像处理装置100。镜头300、图像处理装置100与壳体200结合。镜头300与图像处理装置100的图像传感器10配合成像。

电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。

本申请实施方式中的电子设备1000中的图像处理装置100，通过对同一子单元内的所有彩色图像像素融合为彩色图像；对同一子单元内的所有全色图像像素W融合为全色图像，并对彩色图像进行色彩空间转换获得YUV初始图像后，再根据全色图像对YUV初始图像中的初始亮度信息Y进行处理，以获得含有全色图像信息的目标初始亮度信息Y’。如此能够直接输出含有全色图像信息且为YUV域的图像，从而既能提高图像的解析力和信噪比，还能在不影响图像观看效果的同时减小图像的信息量，以提高图像的传输效率及整体拍照效果。

请参阅图1及图27，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一个实施方式的图像处理方法。

例如，请参阅图1、图27及图28，计算机程序被处理器60执行时，使得处理器60执行以下步骤：

01：获取像素阵列11曝光得到的原始图像，原始图像包括彩色图像像素及全色图像像素；

02：根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素W获取全色图像；

03：对所彩色图像进行色彩空间转换以获得YUV初始图像，YUV初始图像包括多个初始亮度信息Y、多个第一色度信息U及多个第二色度信息V；

04：根据全色图像对初始亮度信息Y进行处理以获得目标亮度信息Y’，根据目标亮度信息Y’、第一色度信息U及第二色度信息V以获得YUV目标图像。

需要说明的是，处理器60可以与设置在图像处理装置100内的处理器20为同一个处理器，处理器60也可以设置在终端1000内，即处理器60也可以与设置在图像处理装置100内的处理器20不为同一个处理器，在此不作限制。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (16)

1.一种图像处理方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；所述图像处理方法包括：

获取所述像素阵列曝光得到的原始图像，所述原始图像包括彩色图像像素及全色图像像素；

根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像；

对所述彩色图像进行色彩空间转换以获得YUV初始图像，所述YUV初始图像包括多个初始亮度信息、多个第一色度信息及多个第二色度信息；

根据所述全色图像对所述初始亮度信息进行处理以获得目标亮度信息，根据所述目标亮度信息、所述第一色度信息及所述第二色度信息以获得YUV目标图像；

多个所述初始亮度信息排列以形成初始亮度图像，所述根据全色图像对初始亮度信息进行处理以获得目标亮度信息，包括：

若所述全色图像中与所述初始亮度图像中待更新的初始亮度信息对应的全色图像像素未过曝，则根据所述全色图像及所述初始亮度图像计算待更新的所述初始亮度信息更新后的所述目标亮度信息；

所述根据所述全色图像及所述初始亮度图像计算待更新的所述初始亮度信息更新后的所述目标亮度信息，包括：

在所述初始亮度图像中选取以待更新的所述初始亮度信息为中心的第一窗口，并在所述全色图像中选取与所述第一窗口对应的第二窗口，所述第二窗口中心处的所述全色图像像素与待更新的所述初始亮度信息对应并定义为映射的全色图像像素；

根据所述第一窗口获取第一矩阵，所述第一矩阵中与所述第一窗口中第二颜色中间图像像素对应位置的取值均记为预设数值；

根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵；及

根据映射的全色图像像素的像素值、所述第一窗口中所有初始亮度信息、所述第二窗口中所有的全色图像像素的像素值、及所述第二矩阵，获取待更新的所述初始亮度信息更新后的所述目标亮度信息。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述彩色图像进行色彩空间转换以获得YUV初始图像，所述YUV初始图像包括初始亮度信息、第一色度信息及第二色度信息，包括：

对所述彩色图像进行去马赛克插值处理，以获得全排列的第一颜色中间图像、全排列的第二颜色中间图像、及全排列的第三颜色中间图像；

根据所述第一颜色中间图像、所述第二颜色中间图像及所述第三颜色中间图像进行色彩空间转换以获得所述YUV初始图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述根据全色图像对初始亮度信息进行处理以获得目标亮度信息，还包括：

若所述全色图像中与所述初始亮度图像中待更新的初始亮度信息对应的全色图像像素过曝，则待更新的所述初始亮度信息更新后的所述目标亮度信息，与待更新的所述初始亮度信息更新前的初始亮度信息相同。

4.根据权利要求1所述的图像处理方法，其特征在于，所述第一窗口与所述第二窗口中的图像像素均呈M*M排列，M为奇数，所述第一矩阵呈M*M排列。

5.根据权利要求1所述的图像处理方法，其特征在于，所述根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵，包括：

将所述第二窗口中图像像素的矩阵排布映射为所述第二矩阵的阵列排布；

根据所述第二窗口中每个全色图像像素的像素值及映射的全色图像像素的像素值获取所述第二矩阵中与该全色图像像素对应位置的偏差值；

根据所述偏差值、预设函数及第一矩阵中相同位置的取值，获取所述第二矩阵中该对应位置的取值。

6.根据权利要求1所述的图像处理方法，其特征在于，所述根据映射的全色图像像素的像素值、所述第一窗口中所有初始亮度信息、所述第二窗口中所有全色图像像素的像素值、及所述第二矩阵，获取待更新的所述初始亮度信息更新后的所述目标亮度信息，包括：

根据所述第一窗口中所有初始亮度信息及所述第二矩阵计算第一加权值，根据所述第二窗口中所有全色图像像素及所述第二矩阵计算第二加权值；

根据映射的全色图像像素的像素值、所述第一加权值及所述第二加权值获取待更新的所述初始亮度信息更新后的所述目标亮度信息。

7.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对所述彩色图像做彩色图像处理以获取处理后的彩色图像，对所述全色图像做全色图像处理以获取处理后的全色图像；

对处理后的所述彩色图像进行色彩空间转换以获得YUV初始图像，所述YUV初始图像包括多个初始亮度信息、多个第一色度信息及多个第二色度信息；

根据处理后的所述全色图像对初始亮度信息进行处理以获得目标亮度信息，根据目标亮度信息、第一色度信息及第二色度信息以获得YUV目标图像。

8.一种图像处理装置，其特征在于，包括：

图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；及

处理器，所述处理器用于：

获取所述像素阵列曝光得到的原始图像，所述原始图像包括彩色图像像素及全色图像像素；

根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像；

对所述彩色图像进行色彩空间转换以获得YUV初始图像，所述YUV初始图像包括多个初始亮度信息、多个第一色度信息及多个第二色度信息；

根据所述全色图像对所述初始亮度信息进行处理以获得目标亮度信息，根据所述目标亮度信息、所述第一色度信息及所述第二色度信息以获得YUV目标图像；

多个所述初始亮度信息排列以形成初始亮度图像，所述处理器还用于：

若所述全色图像中与所述初始亮度图像中待更新的初始亮度信息对应的全色图像像素未过曝，则根据所述全色图像及所述初始亮度图像计算待更新的所述初始亮度信息更新后的所述目标亮度信息；

在所述初始亮度图像中选取以待更新的所述初始亮度信息为中心的第一窗口，并在所述全色图像中选取与所述第一窗口对应的第二窗口，所述第二窗口中心处的所述全色图像像素与待更新的所述初始亮度信息对应并定义为映射的全色图像像素；

根据所述第一窗口中获取第一矩阵，所述第一矩阵中与所述第一窗口中第二颜色中间图像像素对应位置的取值均记为预设数值；

根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵；及

根据映射的全色图像像素的像素值、所述第一窗口中所有初始亮度信息、所述第二窗口中所有的全色图像像素的像素值、及所述第二矩阵，获取待更新的所述初始亮度信息更新后的所述目标亮度信息。

9.根据权利要求8所述的图像处理装置，其特征在于，所述处理器还用于：

对所述彩色图像进行去马赛克插值处理，以获得全排列的第一颜色中间图像、全排列的第二颜色中间图像、及全排列的第三颜色中间图像；

根据所述第一颜色中间图像、所述第二颜色中间图像及所述第三颜色中间图像进行色彩空间转换以获得所述YUV初始图像。

10.根据权利要求8所述的图像处理装置，其特征在于，所述处理器还用于：

若所述全色图像中与所述初始亮度图像中待更新的初始亮度信息对应的全色图像像素过曝，则待更新的所述初始亮度信息更新后的所述目标亮度信息，与待更新的所述初始亮度信息更新前的初始亮度信息相同。

11.根据权利要求8所述的图像处理装置，其特征在于，所述第一窗口与所述第二窗口中的图像像素均呈M*M排列，M为奇数，所述第一矩阵呈M*M排列。

12.根据权利要求8所述的图像处理装置，其特征在于，所述处理器还用于：

将所述第二窗口中图像像素的矩阵排布映射为所述第二矩阵的阵列排布；

根据所述第二窗口中每个全色图像像素的像素值及映射的全色图像像素的像素值获取所述第二矩阵中与该全色图像像素对应位置的偏差值；

根据所述偏差值、预设函数及第一矩阵中相同位置的取值，获取所述第二矩阵中该对应位置的取值。

13.根据权利要求8所述的图像处理装置，其特征在于，所述处理器还用于：

根据所述第一窗口中所有初始亮度信息及所述第二矩阵计算第一加权值，根据所述第二窗口中所有全色图像像素及所述第二矩阵计算第二加权值；

根据映射的全色图像像素的像素值、所述第一加权值及所述第二加权值获取待更新的所述初始亮度信息更新后的所述目标亮度信息。

14.根据权利要求8所述的图像处理装置，其特征在于，所述处理器还用于：

对所述彩色图像做彩色图像处理以获取处理后的彩色图像，对所述全色图像做全色图像处理以获取处理后的全色图像；

对处理后的所述彩色图像进行色彩空间转换以获得YUV初始图像，所述YUV初始图像包括多个初始亮度信息、多个第一色度信息及多个第二色度信息；

根据处理后的所述全色图像对初始亮度信息进行处理以获得目标亮度信息，根据目标亮度信息、第一色度信息及第二色度信息以获得YUV目标图像。

15.一种电子设备，其特征在于，包括：

镜头；

壳体；及

权利要求8至14任意一项所述的图像处理装置，所述镜头、所述图像处理装置与所述壳体结合，所述镜头与所述图像处理装置的图像传感器配合成像。

16.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至7任意一项所述的图像处理方法。

Images