CN111246064B - 图像处理方法、摄像头组件及移动终端 - Google Patents

Abstract

本申请公开了一种图像处理方法、摄像头组件及移动终端。图像处理方法包括：控制像素阵列曝光以获取原始图像；处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像；根据一帧全色中间图像及多帧第一单颜色中间图像计算出多帧第二单颜色中间图像，任意一帧第二单颜色中间图像与任意一帧第一单颜色中间图像的颜色通道不同；处理第一单颜色中间图像及第二单颜色中间图像以得到多光谱图像。本申请利用全色中间图像与第一单颜色中间图像计算出第二单颜色中间图像，并且由第一单颜色中间图像及第二单颜色中间图像得到多光谱图像，从而实现多光谱相机的功能。由于无需增加其他结构，降低了摄像头组件的结构复杂度，同时提高图像重叠的精准度。

Description

图像处理方法、摄像头组件及移动终端

技术领域

本申请涉及影像技术领域，特别涉及一种图像处理方法、摄像头组件及移动终端。

背景技术

多光谱相机多镜头型多光谱照相机及多相机型多光谱照相机。多镜头型多光谱照相机包括多个镜头，每个镜头各有一个滤光片，分别让一种较窄光谱的光通过，多个镜头同时拍摄同一景物，用一张胶片同时记录几个不同光谱带的图像信息。多相机型多光谱照相机是由几台照相机组合在一起，各台照相机分别带有不同的滤光片，分别接收景物的不同光谱带上的信息，同时拍摄同一景物，各获得一套特定光谱带的胶片。利用多镜头或多相机设置的多光谱相机在获取光谱图像时，需要将多个镜头或相机对准同一个地方，导致重叠精度和成像质量均较差。

发明内容

本申请实施方式提供一种图像处理方法、摄像头组件及移动终端。

本申请一个方面提供一种用于图像传感器的图像处理方法。图像传感器包括像素阵列，所述像素阵列包括多个全色像素及多个彩色像素。所述彩色像素具有比所述全色像素更窄的光谱响应，且所述彩色像素包括多类，不同类别的所述彩色像素具有不同的颜色通道。图像处理方法包括：控制所述像素阵列曝光以获取原始图像；处理所述原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的所述第一单颜色中间图像对应不同的颜色通道；根据一帧所述全色中间图像及多帧所述第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的所述第二单颜色中间图像对应不同的颜色通道，且任意一帧所述第二单颜色中间图像与任意一帧所述第一单颜色中间图像的颜色通道不同；及处理多帧所述第一单颜色中间图像及多帧所述第二单颜色中间图像以得到多光谱图像。

在另一个方面，本申请还提供一种摄像头组件。摄像头组件包括图像传感器及处理芯片。所述图像传感器包括像素阵列，所述像素阵列包括多个全色像素及多个彩色像素。所述彩色像素具有比所述全色像素更窄的光谱响应，且所述彩色像素包括多类，不同类别的所述彩色像素具有不同的颜色通道。所述图像传感器中的所述像素阵列曝光以获取原始图像。所述处理芯片用于：处理所述原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的所述第一单颜色中间图像对应不同的颜色通道；根据一帧所述全色中间图像及多帧所述第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的所述第二单颜色中间图像对应不同的颜色通道，且任意一帧所述第二单颜色中间图像与任意一帧所述第一单颜色中间图像的颜色通道不同；及处理多帧所述第一单颜色中间图像及多帧所述第二单颜色中间图像以得到多光谱图像。

在又一个方面，本申请还提供一种移动终端。移动终端包括壳体及摄像头组件，所述摄像头组件与所述壳体结合。所述摄像头组件包括图像传感器及处理芯片。所述图像传感器包括像素阵列，所述像素阵列包括多个全色像素及多个彩色像素。所述彩色像素具有比所述全色像素更窄的光谱响应，且所述彩色像素包括多类，不同类别的所述彩色像素具有不同的颜色通道。所述图像传感器中的所述像素阵列曝光以获取原始图像。所述处理芯片用于：处理所述原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的所述第一单颜色中间图像对应不同的颜色通道；根据一帧所述全色中间图像及多帧所述第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的所述第二单颜色中间图像对应不同的颜色通道，且任意一帧所述第二单颜色中间图像与任意一帧所述第一单颜色中间图像的颜色通道不同；及处理多帧所述第一单颜色中间图像及多帧所述第二单颜色中间图像以得到多光谱图像。

本申请实施方式的图像处理方法、摄像头组件及移动终端中，摄像头组件内的图像传感器同时布置有全色像素及不同类别的彩色像素，全色像素及不同类别的彩色像素同时曝光以获得原始图像。摄像头组件中的处理芯片处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，并利用全色中间图像与多帧第一单颜色中间图像计算出多帧第二单颜色中间图像，从而可以利用多帧第一单颜色中间图像及多帧第二单颜色中间图像来得到多光谱图像。一方面，摄像头组件仅需要一个镜头并且拍摄一次即可获得多光谱图像，无需利用多镜头来同时对准同一个地方，提高了图像重叠的精准度，从而提高成像质量；另一方面，摄像头组件不需要增加其他结构，也能获得质量高的多光谱图像，降低了摄像头组件的结构复杂度和制造难度。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式中图像传感器的示意图；

图2是本申请实施方式中一种像素电路的示意图；

图3是本申请实施方式中一种最小重复单元像素排布的示意图；

图4是本申请实施方式中又一种最小重复单元像素排布的示意图；

图5是本申请实施方式中又一种最小重复单元像素排布的示意图；

图6是本申请实施方式中又一种最小重复单元像素排布的示意图；

图7是本申请实施方式中又一种最小重复单元像素排布的示意图；

图8是本申请实施方式中又一种最小重复单元像素排布的示意图；

图9是本申请实施方式中又一种最小重复单元像素排布的示意图；

图10是本申请实施方式中又一种最小重复单元像素排布的示意图；

图11是本申请实施方式中又一种最小重复单元像素排布的示意图；

图12是本申请实施方式中又一种最小重复单元像素排布的示意图；

图13是本申请实施方式中又一种最小重复单元像素排布的示意图；

图14是本申请实施方式中又一种最小重复单元像素排布的示意图；

图15是本申请实施方式中又一种最小重复单元像素排布的示意图；

图16是本申请实施方式中又一种最小重复单元像素排布的示意图；

图17是本申请实施方式的摄像头组件的示意图；

图18是本申请实施方式中一种图像处理方法的流程示意图；

图19是本申请实施方式中又一种图像处理方法的流程示意图；

图20是本申请某些实施方式的图像处理方法的一个原理示意图；

图21是本申请某些实施方式的图像处理方法的又一个原理示意图；

图22是本申请某些实施方式的图像处理方法的又一个原理示意图；

图23是本申请实施方式中又一种图像处理方法的流程示意图；

图24是本申请某些实施方式的图像处理方法的又一个原理示意图；

图25A是本申请某些实施方式的图像处理方法的又一个原理示意图；

图25B是本申请某些实施方式的图像处理方法的又一个原理示意图；

图26是本申请实施方式中又一种图像处理方法的流程示意图；

图27是本申请某些实施方式的图像处理方法的又一个原理示意图；

图28是多种颜色光的混色原理示意图；

图29是本申请某些实施方式的图像处理方法的又一个原理示意图；

图30是本申请实施方式中又一种图像处理方法的流程示意图；

图31是本申请实施方式的移动终端的示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1及图18，本申请提供一种用于图像传感器10的图像处理方法。图像传感器10包括像素阵列11。像素阵列11包括多个全色像素及多个彩色像素。彩色像素具有比全色像素更窄的光谱响应，且彩色像素包括多类，不同类别的彩色像素具有不同的颜色通道。图像处理方法包括：

01：控制像素阵列11曝光以获取原始图像；

02：处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的第一单颜色中间图像对应不同的颜色通道；

03：根据一帧全色中间图像及多帧第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的第二单颜色中间图像对应不同的颜色通道，且任意一帧第二单颜色中间图像与任意一帧第一单颜色中间图像的颜色通道不同；及

04：处理多帧第一单颜色中间图像及多帧第二单颜色中间图像以得到多光谱图像。

请参阅图1、图17及图18，本申请还提供一种摄像头组件40。摄像头组件40包括图像传感器10和处理芯片20。图像传感器10包括像素阵列11。像素阵列11包括多个全色像素及多个彩色像素。彩色像素具有比全色像素更窄的光谱响应，且彩色像素包括多类，不同类别的彩色像素具有不同的颜色通道。图像传感器10中的像素阵列11曝光以获取原始图像。处理芯片20用于：处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的第一单颜色中间图像对应不同的颜色通道；根据一帧全色中间图像及多帧第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的第二单颜色中间图像对应不同的颜色通道，且任意一帧第二单颜色中间图像与任意一帧第一单颜色中间图像的颜色通道不同；及处理多帧第一单颜色中间图像及多帧第二单颜色中间图像以得到多光谱图像。

请参阅图1、图17、图18及图31，本申请还提供一种移动终端60。移动终端60包括壳体50及摄像头组件40。摄像头组件40与壳体50结合。摄像头组件40包括图像传感器10及处理芯片20。图像传感器10包括像素阵列11。像素阵列11包括多个全色像素及多个彩色像素。彩色像素具有比全色像素更窄的光谱响应，且彩色像素包括多类，不同类别的彩色像素具有不同的颜色通道。图像传感器10中的像素阵列11曝光以获取原始图像。处理芯片20用于：处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的第一单颜色中间图像对应不同的颜色通道；根据一帧全色中间图像及多帧第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的第二单颜色中间图像对应不同的颜色通道，且任意一帧第二单颜色中间图像与任意一帧第一单颜色中间图像的颜色通道不同；及处理多帧第一单颜色中间图像及多帧第二单颜色中间图像以得到多光谱图像。

下面结合附图对本申请作进一步说明。

现有的多光谱相机通常分为多镜头型、多相机型及光束分离型。多镜头型多光谱相机及多相机型相机都需要将多个镜头或多个相机同时对准同一景物，以获取多帧包含不同光谱的图像，随后，再将多帧包含不同光谱的图像进行重叠匹配以获取多光谱图像。由于多镜头和多相机型照相机很难准确地对准同一地方，导致获取的多光谱图像重叠精度差，同时图像重叠的处理时间也较长。光束分离型多光谱相机虽然只需要一个镜头拍摄景物，但其需要设置多个三棱镜分光器将来自景物的光线分离为若干波段的光束，这会导致光束分离型多光谱相机的结构复杂化，并且现有的光束分离型多光谱相机获取的多光谱图像的质量也不佳。

本申请提供一种摄像头组件40(图17所示)，摄像头组件40中的图像传感器10同时布置有全色像素及不同类别的彩色像素，全色像素及不同类别的彩色像素同时曝光以获得原始图像。摄像头组件40中的处理芯片20处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，并利用全色中间图像与多帧第一单颜色中间图像计算出多帧第二单颜色中间图像，从而可以利用多帧第一单颜色中间图像及多帧第二单颜色中间图像来得到多光谱图像。一方面，本申请的摄像头组件40仅需要一个镜头并且拍摄一次即可获得多光谱图像，无需利用多镜头来同时对准同一个地方，提高了图像重叠的精准度，从而提高成像质量；另一方面，摄像头组件40不需要增加其他结构，也能获得质量高的多光谱图像，降低了摄像头组件40的结构复杂度和制造难度。

接下来首先介绍一下摄像头组件40(图17所示)中的图像传感器10的基本结构。请参阅图1，图1是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列的多个像素(图中未示出)，每个像素均包括光电转换元件117(图2所示)。每个像素根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指扫描各行及各列的像素，从这些像素读取信号。例如，被选择并被扫描的像素行中的像素输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件117的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选像素行中的每一像素输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的像素的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15按预定规则扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一像素列被列处理单元14处理，并且被输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图像传感器10还包括设置在二维像素阵列11上的滤光片(图未示)。二维像素阵列11中的每一个像素的光谱响应(即像素能够接收的光线的颜色)由对应该像素的滤光片的颜色决定。本申请全文的彩色像素和全色像素指的是能够响应颜色与对应的滤光片颜色相同的光线的像素。

图2是本申请实施方式中一种像素电路110的示意图。图2中像素电路110应用在图1所示像素阵列11内的每个像素中。下面结合图1和图2对像素电路110的工作原理进行说明。

如图2所示，像素电路110包括光电转换元件117(例如，光电二极管PD)、曝光控制电路116(例如，转移晶体管112)、复位电路(例如，复位晶体管113)、放大电路(例如，放大晶体管114)和选择电路(例如，选择晶体管115)。在本申请的实施例中，转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管，但不限于此。

例如，参见图1和图2，转移晶体管112的栅极TG通过曝光控制线(图中未示出)连接垂直驱动单元12；复位晶体管113的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元12；选择晶体管115的栅极SEL通过选择线(图中未示出)连接垂直驱动单元12。每个像素电路110中的曝光控制电路116(例如，转移晶体管112)与光电转换元件117电连接，用于转移光电转换元件117经光照后积累的电势。例如，光电转换元件117包括光电二极管PD，光电二极管PD的阳极例如连接到地。光电二极管PD将所接收的光转换为电荷。光电二极管PD的阴极经由曝光控制电路116(例如，转移晶体管112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管114的栅极、复位晶体管113的源极连接。

例如，曝光控制电路116为转移晶体管112，曝光控制电路116的控制端TG为转移晶体管112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管112的栅极时，转移晶体管112导通。转移晶体管112将光电二极管PD光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位控制线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管114的栅极连接到浮动扩散单元FD。放大晶体管114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管113复位之后，放大晶体管114经由选择晶体管115通过输出端OUT输出复位电平。在光电二极管PD的电荷被转移晶体管112转移之后，放大晶体管114经由选择晶体管115通过输出端OUT输出信号电平。

例如，选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极通过输出端OUT连接到图1中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到列处理单元14。

需要说明的是，本申请实施例中像素电路110的像素结构并不限于图2所示的结构。例如，像素电路110可以具有三晶体管像素结构，其中放大晶体管114和选择晶体管115的功能由一个晶体管完成。例如，曝光控制电路116也不局限于单个转移晶体管112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，单个转移晶体管112的实施方式简单、成本低、易于控制。

图3至图16示出了多种图像传感器10(图1所示)中像素排布的示例。请参阅图1、及图3至图16，图像传感器10包括由多个彩色像素和多个全色像素W组成的二维像素阵列(即图2所示的像素阵列11)。彩色像素具有比全色像素更窄的光谱响应，并且彩色像素包括多类，不同类别的彩色像素具有不同的颜色通道。其中，彩色像素例如包括具有第一颜色通道的第一颜色像素A、具有第二颜色通道的第二颜色像素B、及具有第三颜色通道的第三颜色像素C。彩色像素的响应光谱例如为全色像素W响应光谱中的部分。二维像素阵列包括最小重复单元(图3至图16示出了多种图像传感器10中像素最小重复单元的示例)，二维像素阵列由多个最小重复单元组成，最小重复单元在行和列上复制并排列。在每个最小重复单元中，全色像素W设置在第一对角线方向D1，彩色像素设置在第二对角线方向D2，第一对角线方向D1与第二对角线方向D2不同。最小重复单元中有多个子单元，每个子单元均包括多个单颜色像素及多个全色像素。

例如，最小重复单元行和列的像素数量相等。例如最小重复单元包括但不限于，4行4列、6行6列、8行8列、10行10列的最小重复单元。例如，最小重复单元中的子单元行和列的像素数量相等。例如，子单元包括但不限于，2行2列、3行3列、4行4列、5行5列的子单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现，提高显示效果。

例如，图3是本申请实施方式中一种最小重复单元1181像素排布的示意图；最小重复单元为4行4列16个像素，子单元为2行2列4个像素，排布方式为：

W A W B

A W B W

W B W C

B W C W

W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。

例如，如图3所示，全色像素W设置在第一对角线方向D1(即图3中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图3中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图3所示，位于左上角的子单元包括2个单颜色像素(即第一颜色像素A)及2个全色像素W。位于右上角和左下角的两个子单元均包括2个单颜色像素(即第二颜色像素B)及2个全色像素W。位于右下角的子单元包括2个单颜色像素(即第三颜色像素C)及2个全色像素W。在每个子单元中，单颜色像素和全色像素W交替排布。

需要说明的是，第一对角线方向D1和第二对角线方向D2并不局限于对角线，还包括平行于对角线的方向，下文图4至图16中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。

需要理解的是，此处以及下文中的术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

例如，图4是本申请实施方式中又一种最小重复单元1182像素排布的示意图。最小重复单元为4行4列16个像素，子单元为2行2列4个像素，排布方式为：

A W B W

W A W B

B W C W

W B W C

W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。

例如，如图4所示，全色像素W设置在第一对角线方向D1(即图4中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图4中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图4所示，位于左上角的子单元包括2个单颜色像素(即第一颜色像素A)及2个全色像素W。位于右上角和左下角的两个子单元均包括2个单颜色像素(即第二颜色像素B)及2个全色像素W。位于右下角的子单元包括2个单颜色像素(即第三颜色像素C)及2个全色像素W。在每个子单元中，单颜色像素和全色像素W交替排布。

例如，图5是本申请实施方式中又一种最小重复单元1183像素排布的示意图。图6是本申请实施方式中又一种最小重复单元1184像素排布的示意图。在图5和图6的实施例中，分别对应图3和图4的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。

需要说明的是，在一些实施例中，全色像素W的响应波段为可见光波段(例如，400nm-760nm)。例如，全色像素W上设置有红外滤光片，以实现红外光的滤除。在一些实施例中，全色像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10中的光电转换元件117(例如光电二极管PD)响应波段相匹配。例如，全色像素W可以不设置滤光片或设置有能够透过所有波段的光的滤光片，全色像素W的响应波段由光电二极管的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

例如，图7是本申请实施方式中又一种最小重复单元1187像素排布的示意图。图8是本申请实施方式中又一种最小重复单元1188像素排布的示意图。在图7和图8的实施例中，分别对应图3和图4的排布方式，第一颜色像素A为青色像素Cy；第二颜色像素B为品红色像素M；第三颜色像素C为黄色像素Y。

例如，图9是本申请实施方式中又一种最小重复单元1191像素排布的示意图。最小重复单元为6行6列36个像素，子单元为3行3列9个像素，排布方式为：

W A W B W B

A W A W B W

W A W B W B

B W B W C W

W B W C W C

B W B W C W

W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。

例如，如图9所示，全色像素W设置在第一对角线方向D1(即图9中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图9中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图9所示，位于左上角的子单元包括4个单颜色像素(即第一颜色像素A)及5个全色像素W。位于右上角和左下角的两个子单元均包括5个单颜色像素(即第二颜色像素B)及4个全色像素W。位于右下角的子单元包括4个单颜色像素(即第三颜色像素C)及5个全色像素W。在每个子单元中，单颜色像素和全色像素W交替排布。

例如，图10是本申请实施方式中又一种最小重复单元1192像素排布的示意图。最小重复单元为6行6列36个像素，子单元为3行3列9个像素，排布方式为：

A W A W B W

W A W B W B

A W A W B W

W B W C W C

B W B W C W

W B W C W C

W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。

例如，如图10所示，全色像素W设置在第一对角线方向D1(即图10中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图10中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图10所示，位于左上角的子单元包括5个单颜色像素(即第一颜色像素A)及4个全色像素W。位于右上角和左下角的两个子单元均包括4个单颜色像素(即第二颜色像素B)及5个全色像素W。位于右下角的子单元包括5个单颜色像素(即第三颜色像素C)及4个全色像素W。在每个子单元中，单颜色像素和全色像素W交替排布。

例如，图11是本申请实施方式中又一种最小重复单元1193像素排布的示意图。图12是本申请实施方式中又一种最小重复单元1194像素排布的示意图。在图11和图12的实施例中，分别对应图9和图10的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。

例如，在其它实施方式中，第一颜色像素A为青色像素Cy；第二颜色像素B为品红色像素M；第三颜色像素C为黄色像素Y。本申请的实施例包括但不局限于此。

例如，图13是本申请实施方式中又一种最小重复单元1195像素排布的示意图。最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：

W A W A W B W B

A W A W B W B W

W A W A W B W B

A W A W B W B W

W B W B W C W C

B W B W C W C W

W B W B W C W C

B W B W C W C W

W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。

例如，如图13所示，全色像素W设置在第一对角线方向D1(即图13中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图13中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图13所示，位于左上角的子单元包括8个单颜色像素(即第一颜色像素A)及8个全色像素W。位于右上角和左下角的两个子单元均包括8个单颜色像素(即第二颜色像素B)及8个全色像素W。位于右下角的子单元包括8个单颜色像素(即第三颜色像素C)及8个全色像素W。在每个子单元中，单颜色像素和全色像素W交替排布。

例如，图14是本申请实施方式中又一种最小重复单元1196像素排布的示意图。最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：

A W A W B W B W

W A W A W B W B

A W A W B W B W

W A W A W B W B

B W B W C W C W

W B W B W C W C

B W B W C W C W

W B W B W C W C

W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。

例如，如图14所示，全色像素W设置在第一对角线方向D1(即图14中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图14中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图14所示，位于左上角的子单元包括8个单颜色像素(即第一颜色像素A)及8个全色像素W。位于右上角和左下角的两个子单元均包括8个单颜色像素(即第二颜色像素B)及8个全色像素W。位于右下角的子单元包括8个单颜色像素(即第三颜色像素C)及8个全色像素W。在每个子单元中，单颜色像素和全色像素W交替排布。

例如，图15是本申请实施方式中又一种最小重复单元1197像素排布的示意图。图16是本申请实施方式中又一种最小重复单元1198像素排布的示意图。在图15和图16的实施例中，分别对应图13和图14的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。

例如，第一颜色像素A为青色像素Cy；第二颜色像素B为品红色像素M；第三颜色像素C为黄色像素Y。本申请的实施例包括但不局限于此。电路具体连接方式参见上文说明，在此不再赘述。

请参阅图17，本申请提供一种摄像头组件40。摄像头组件40包括上述任意一项实施方式所述的图像传感器10、处理芯片20及镜头30。图像传感器10与处理芯片20电连接。镜头30设置在图像传感器10的光路上。图像传感器10可以接收穿过镜头30的光线以获取原始图像。处理芯片20可以接收图像传感器10输出的原始图像，并对原始图像做后续处理。

本申请还提供一种可以用于图1所示的图像传感器10的图像处理方法。如图18所示，图像处理方法包括：

01：控制像素阵列11曝光以获取原始图像；

02：处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的第一单颜色中间图像对应不同的颜色通道；

03：根据一帧全色中间图像及多帧第一单颜色中间图像计算出第二单颜色中间图像，不同的第二单颜色中间图像对应不同的颜色通道，且任意一帧第二单颜色中间图像与任意一帧第一单颜色中间图像的颜色通道不同；及

04：处理多帧第一单颜色中间图像及多帧第二单颜色中间图像以得到多光谱图像。

请参阅图1、图17及图18，本申请的图像处理方法可以由摄像头组件40实现。其中步骤01可以由图像传感器10内的控制单元13实现。步骤02、步骤03及步骤04可以由处理芯片20实现。也即是说，控制单元13可以用于控制像素阵列11曝光以获取原始图像，处理芯片20可以用于处理原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像、根据一帧全色中间图像及多帧第一单颜色中间图像计算出第二单颜色中间图像、及处理多帧第一单颜色中间图像及多帧第二单颜色中间图像以得到多光谱图像。其中，不同的第一单颜色中间图像对应不同的颜色通道，不同的第二单颜色中间图像对应不同的颜色通道，且任意一帧第二单颜色中间图像与任意一帧第一单颜色中间图像的颜色通道不同。

相关技术中多采用多个镜头或多个相机分别获取同一景物的多帧包含不同光谱的图像，再将多帧包含不同光谱的图像进行重叠匹配以获取多光谱图像。然而，该方法不仅硬件系统复杂，并且在后续的图像重叠的处理过程也较长，获得的多光谱图像的重叠精度也不高。此外，相关技术中还常在摄像设备中添加多个三棱镜分光器将来自景物的光线分离为若干波段的光束，以此来获得多光谱图像。该方法虽然提高了获得的图像的重叠匹配度，但硬件系统复杂，获得的图像质量也较差。

本申请实施方式的图像处理方法通过理原始图像以到一帧全色中间图像及多帧第一单颜色中间图像，并利用全色中间图像与多帧第一单颜色中间图像计算出多帧第二单颜色中间图像，从而可以利用多帧第一单颜色中间图像及多帧第二单颜色中间图像来得到多光谱图像。一方面，本申请的图像处理方法仅需要一个镜头，并且拍摄一次即可获得多光谱图像，无需利用多镜头来同时对准同一个地方，提高了图像重叠的精准度；另一方面，本申请的图像处理方法所利用到的摄像头组件40不需要增加其他结构，也能获得质量高的多光谱图像，降低了摄像头组件40的结构复杂度和制造难度。

请参阅图18及图19，在某些实施例中，步骤02包括：

021：分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像；

022：对一帧全色原始图像进行插值处理以得到全色中间图像；及

023：对多帧第一单颜色原始图像进行插值处理以得到多帧第一单颜色中间图像。

请参阅图17及图19，在某些实施例中，步骤021、步骤022及步骤023均可由处理芯片20实现。也即是说，处理芯片20还可用于分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像、对一帧全色原始图像进行插值处理以得到全色中间图像、及对多帧第一单颜色原始图像进行插值处理以得到多帧第一单颜色中间图像。

具体地，请结合图20，图像传感器10(图1所示)获得的原始图像包括全色像素W及彩色像素，其中彩色像素包括彩色像素包括多类，不同类别的彩色像素具有不同的颜色通道。例如，彩色像素包括具有第一颜色通道的第一颜色像素A、具有第二颜色通道的第二颜色像素B、及具有第三颜色通道的第三颜色像素C。处理芯片20从图像传感器10获得原始图像后，对原始图像中各颜色通道(例如包括全色通道、第一颜色通道、第二颜色通道、及第三颜色通道)的像素的像素值进行分离，以得到一帧全色原始图像及多帧第一单颜色原始图像。其中第一单颜色原始图像包括：仅具有第一颜色像素A的第一颜色原始图像、仅具有第二颜色像素B的第二颜色原始图像、及仅具有第三颜色像素C的第三颜色原始图像。

全色原始图像包括多个全色像素W及多个空像素N(NULL)，其中，空像素既不为全色像素，也不为彩色像素，全色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较原始图像与全色原始图像可知，对于原始图像中的每一个子单元，该子单元包括两个全色像素W和两个彩色像素(彩色像素A、彩色像素B、或彩色像素C)。全色原始图像中也具有与原始图像中的每一个子单元对应的一个子单元，全色原始图像的子单元包括两个全色像素W和两个空像素N，两个空像素N所处位置与原始图像的子单元中的两个彩色像素所处的位置对应。并且，全色原始图像中的任一全色像素W的像素值与原始图像中对应位置的全色像素W的像素值相同。

同样地，第一单颜色原始图像包括多个单一颜色像素及多个空像素N。其中，空像素既不为全色像素，也不为彩色像素，第一单颜色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。并且，第一单颜色原始图像中的任一彩色像素的像素值与原始图像中对应位置的彩色像素的像素值相同。本申请以第一颜色原始图像为例对第一颜色原始图像中的像素值构成进行说明，第二颜色原始图像及第三颜色原始图像的像素值构成与第一颜色原始图像的像素值构成类似，在此不作赘述。第一颜色原始图像包括多个第一颜色像素A及多个空像素N。比较原始图像及第一颜色原始图像可知，第一颜色原始图像中第一颜色像素A设置的位置与原始图像中第一颜色像素A设置的位置相对应，第一颜色原始图像中空像素N设置的位置与原始图像中没有设置第一颜色像素A的位置相对应。并且第一颜色原始图像中的任一第一颜色像素A的像素值与原始图像中对应位置的第一颜色像素A的像素值相同。

处理芯片20获取到全色原始图像及多帧第一单颜色原始图像后，可对全色原始图像进行插值处理以获得全色中间图像，并对多帧第一单颜色原始图像进行插值处理以获得第一单颜色中间图像。

对于全色原始图像，处理芯片20对全色原始图像进行插补以获得全色中间图像。具体地，如图21所示，对于每一个子单元，处理芯片20根据该子单元中的两个全色像素W的像素值估测两个空像素N的像素值，以使得每个子单元中的空像素N均具有像素值，从而得到分辨率与原始图像的分辨率相等的全色中间图像。

同样的，如图22所示，对多帧第一单颜色原始图像进行插值处理以得到多帧第一单颜色中间图像。具体地，对第一颜色原始图像进行插值处理以得到分辨率与原始图像的分辨率相等的第一颜色图像；对第二颜色原始图像进行插值处理以得到分辨率与原始图像的分辨率相等的第二颜色图像；对第三颜色原始图像进行插值处理以得到分辨率与原始图像的分辨率相等的第三颜色图像。其中，第一单颜色中间图像包括第一颜色图像、第二颜色图像、及第三颜色图像。

由于全色中间图像及多帧第一单颜色中间图像的分辨率与原始图像的分辨率相同，则后续利用全色中间图像及多帧第一单颜色中间图像获取的第二单颜色中间图像的分辨率也能够与原始图像的分辨率相同，从而利用第一单颜色中间图像及第二单颜色中间图像获得的多光谱图像的分辨率也能够与原始图像的分辨率一样，多光谱图像可以具有较高的清晰度。

请参阅图18及图23，在某些实施例中，步骤02还包括：

021：分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像；

024：融合每个子单元中的多个全色像素的像素值以得到全色中间图像；及

025：对于每一帧第一单颜色原始图像，融合每个子单元中的多个单颜色像素的像素值，并对融合后得到的图像进行插值处理以得到第一单颜色中间图像。

请参阅图17及图23，在某些实施例中，步骤021、步骤024及步骤025均可由处理芯片20实现。也即是说，处理芯片20还用于分离原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像。处理芯片20还用于融合每个子单元中的多个全色像素的像素值以得到全色中间图像；对于每一帧第一单颜色原始图像，处理芯片20还用于融合每个子单元中的多个单颜色像素的像素值，并对融合后得到的图像进行插值处理以得到第一单颜色中间图像。

处理芯片20获得一帧全色原始图像与多帧第一单颜色原始图像的方法与图20所示的方法相同，在此不再赘述。

处理芯片20获取到一帧全色原始图像及多帧第一单颜色原始图像后，可对全色原始图像进一步处理得到全色中间图像，并对多帧第一单颜色原始图像进一步处理得到多帧第一单颜色中间图像。

具体地，请参阅图24，对于全色原始图像，全色原始图像包括多个子单元，每个子单元都包括多个空像素N和多个全色像素。具体地，每个子单元包括两个空像素N和两个全色像素W，处理芯片20可以将包括空像素N和全色像素W的子单元中的所有像素作为与该子单元对应的全色大像素W。例如，处理芯片20可以将包括空像素N和全色像素W的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的全色大像素W的像素值，其中，空像素N的像素值可以视为零。由此，处理芯片20可获得分辨率低于原始图像的分辨率的全色中间图像。

请参阅图25A，对于每一帧第一单颜色原始图像，处理芯片20将每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并将子单元中的所有单颜色像素的像素值融合，并将融合后的像素值作为对应的单色大像素的像素值。例如，处理芯片20可以将包括空像素N和单颜色像素的子单元中的所有像素的像素值相加，并将相加的结果作为与该子单元中单颜色对应的单色大像素的像素值，其中，空像素N的像素值可以视为零。处理芯片20对像素值融合后的多帧第一单颜色原始图像进行插值处理补齐所有颜色通道的像素值，以获得多帧第一单颜色中间图像。具体地，请参阅图25B像素值融合后的多帧第一单颜色原始图像包括像素值融合后的第一颜色原始图像、像素值融合后的第二颜色原始图像、及像素值融合后的第三颜色原始图像。处理芯片20对像素值融合后的第一颜色原始图像进行插值处理以得到分辨率小于原始图像的分辨率的第一颜色图像。处理芯片20对像素值融合后的第二颜色原始图像进行插值处理以得到分辨率小于原始图像的分辨率的第二颜色图像。处理芯片20对像素值融合后的第三颜色原始图像进行插值处理以得到分辨率小于原始图像的分辨率的第三颜色图像。

在某些实施例中，处理芯片20也可以直接对原始图像进行去马赛克插值计算，以使得每个像素均具有全色通道的像素值、第一颜色通道的像素值、第二颜色通道的像素值、及第三颜色通道的像素，如此，多个全色通道的像素值可以形成一帧全色中间图像，多个第一颜色通道的像素值可以形成一帧第一颜色图像，多个第二颜色通道的像素值可以形成第二颜色图像，多个第三颜色通道的像素值可以形成第三颜色图像。例如，处理芯片20可采用近邻内插法、三次插值法、高质量线性插值法、平滑色调过渡插值、图案识别插值、自适应彩色平面插值、基于方向加权梯度的插值等方法对原始图像进行去马赛克插值处理，在此不作限制。

请参阅图18、图26及图27，在某些实施例中，第一单颜色中间图像包括仅具有第一颜色像素A的第一颜色图像、仅具有第二颜色像素B的第二颜色图像、及仅具有第三颜色像素C的第三颜色图像。第二单颜色中间图像包括仅具有第四颜色像素D的第四颜色图像、仅具有第五颜色像素E的第五颜色图像、及仅具有第六颜色像素F的第六颜色图像。步骤03，包括：

031：根据全色中间图像及第一颜色图像计算出第四颜色图像，第四颜色图像对应于第四颜色通道；

032：根据全色中间图像及第二颜色图像计算出第五颜色图像，第五颜色图像对应于第五颜色通道；及

033：根据全色中间图像及第三颜色图像计算出第六颜色图像，第六颜色图像对应于第六颜色通道。

请参阅图17及图26，在某些实施例中，步骤031、步骤032及步骤033均可以由处理芯片20实现。也即是说，处理芯片20还可用于根据全色中间图像及第一颜色图像计算出第四颜色图像，第四颜色图像对应于第四颜色通道。处理芯片20还可用于根据全色中间图像及第二颜色图像计算出第五颜色图像，第五颜色图像对应于第五颜色通道。处理芯片20还可用于根据全色中间图像及第三颜色图像计算出第六颜色图像，第六颜色图像对应于第六颜色通道。

具体地，根据互补色的相关原理，在光学中，两种色光以适当的比例混合而能产生白光时，则这两种颜色就称为“互为补色”。那么，处理芯片20可根据全色中间图像及第一颜色图像计算出第四颜色图像，其中，第四颜色图像中的第四颜色通道与第一颜色图像中的第一颜色通道互为补色。处理芯片20可根据全色中间图像及第二颜色图像计算出第五颜色图像，其中，第五颜色图像中的第五颜色通道与第二颜色图像中的第二颜色通道互为补色。处理芯片20即可根据全色中间图像及第三颜色图像计算出第六颜色图像，其中，第六颜色图像中的第六颜色通道与第三颜色图像中的第三颜色通道互为补色。

作为一个示例，图28为红色光R、蓝色光Bu、绿色光G、青色光Cy、黄色光Y、品红色光M混合的原理图。从图28可知，红色光R、蓝色光Bu、及绿色光G三者混合可以得到全色光(也可理解为白光)，青色光Cy、黄色光Y、品红色光M三者混合也可以得到全色光。图28中，红色光R和青色光Cy混合可以产生全色光，红色光R和青色光Cy互补；蓝色光Bu和黄色光Y混合可以产生全色光，蓝色光Bu和黄色光Y互补；绿色光G和品红色光M混合可以产生全色光，绿色光G和品红色光M互补。

假设第一颜色通道为红色R，第二颜色通道为绿色G，第三颜色通道为蓝色Bu，第四颜色通道为青色Cy，第五颜色通道为品红色M，第六颜色通道为黄色Y。也即是说，第一颜色图像为红色图像，第二颜色图像为绿色图像，第三颜色图像为蓝色图像，第四图像为青色图像，第五图像为品红色图像，第六图像为黄色图像。处理芯片20根据全色中间图像及第一颜色图像(红色图像)计算出第四颜色图像(青色图像)；处理芯片20根据全色中间图像及第二颜色图像(绿色图像)计算出第五颜色图像(品红色图像)；处理芯片20根据全色中间图像及第三颜色图像(蓝色图像)计算出第六颜色图像(黄色图像)。具体地，本申请实施方式以处理芯片20根据全色中间图像及红色图像计算出青色图像为例进行说明。请参阅图29，处理芯片20读取全色中间图像中全色像素W(i，j)的像素值及红色图像中红色像素R(i，j)的像素值；并且用全色像素W(i，j)的像素值减去红色像素R(i，j)的像素值可获得青色图像中青色像素Cy(i，j)的像素值。以这种方法获得青色图像中所有位置对应的青色像素Cy的像素值，从而得到青色图像。品红图像及黄色图像的计算方法与青色图像的计算方法相同，在此不作赘述.

需要说明的是，全色像素W(i，j)的像素值是指位置在全色中间图像中第i列第j行的全色像素W的像素值；红色像素R(i，j)的像素值是指位置在红色图像中第i列第j行的红色像素R的像素值；青色像素Cy(i，j)的像素值是指位置在青色图像中第i列第j行的青色像素Cy的像素值。其中，i和j为大于等于1的自然数。

在某些实施例中，第一颜色通道为青色Cy，第二颜色通道为品红色M，第三颜色通道为黄色Y，第四颜色通道为红色R，第五颜色通道为绿色G，第六颜色通道为蓝色Bu。也即是说，第一图像为青色图像，第二图像为品红色图像，第三图像为黄色图像，第四颜色图像为红色图像，第五颜色图像为绿色图像，第六颜色图像为蓝色图像。处理芯片20根据全色中间图像及第一颜色图像(青色图像)计算出第四颜色图像(红色图像)；处理芯片20根据全色中间图像及第二颜色图像(品红色图像)计算出第五颜色图像(绿色图像)；处理芯片20根据全色中间图像及第三颜色图像(黄色图像)计算出第六颜色图像(蓝色图像)。具体计算方式与图29所示的计算方式相同，在此不做赘述。

请参阅图18及图30，在某些实施例中，步骤04包括：

041：处理第一颜色图像、第二颜色图像、第三颜色图像、第四颜色图像、第五颜色图像、及第六颜色图像以得到多光谱图像。

请参阅图17及图30，在某些实施例中，步骤041可由处理芯片20实现。也即是说，处理芯片20还可用于处理第一颜色图像、第二颜色图像、第三颜色图像、第四颜色图像、第五颜色图像、及第六颜色图像以得到多光谱图像。

本申请提供的图像处理方法利用全色中间图像及第一颜色图像、第二颜色图像、第三颜色图像分别计算出第四颜色图像、第五颜色图像及第六颜色图像，再将第一颜色图像、第二颜色图像、第三颜色图像、第四颜色图像、第五颜色图像及第六颜色图像进行匹配融合最终得到包括六个光谱信息的多光谱图像。这种方法仅需要一个镜头，并且拍摄一次即可获得多光谱图像，无需使用多镜头来同时对准同一个地方，摄像头组件40的结构简单，并且获得的图像重叠精度高。

请参阅图31，本申请还提供一种移动终端60。移动终端60可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等，在此不做限制。

移动终端60包括壳体50和摄像头组件40。壳体50和摄像头组件40结合。示例地，摄像头组件40可以安装在壳体50上。移动终端60中还可以包括处理器(图未示)。摄像头组件40中的处理芯片20与处理器可为同一个处理器，也可为两个独立的处理器，在此不作限制。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (13)

1.一种图像处理方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个全色像素及多个彩色像素；所述彩色像素具有比所述全色像素更窄的光谱响应，且所述彩色像素包括多类，不同类别的所述彩色像素具有不同的颜色通道；所述图像处理方法包括：

控制所述像素阵列曝光以获取原始图像；

处理所述原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的所述第一单颜色中间图像对应不同的颜色通道；

根据一帧所述全色中间图像及多帧所述第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的所述第二单颜色中间图像对应不同的颜色通道，且任意一帧所述第二单颜色中间图像与任意一帧所述第一单颜色中间图像的颜色通道不同；及

处理多帧所述第一单颜色中间图像及多帧所述第二单颜色中间图像以得到多光谱图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述处理所述原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，包括：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像；

对一帧所述全色原始图像进行插值处理以得到全色中间图像；及

对多帧所述第一单颜色原始图像进行插值处理以得到多帧所述第一单颜色中间图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个子单元，每个所述子单元包括多个所述全色像素及多个单颜色像素；所述处理所述原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，包括：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像；

融合每个所述子单元中的多个所述全色像素的像素值以得到所述全色中间图像；及

对于每一帧所述第一单颜色原始图像，融合每个所述子单元中的多个单颜色像素的像素值，并对融合后得到的图像进行插值处理以得到所述第一单颜色中间图像。

4.根据权利要求1所述的图像处理方法，其特征在于，所述彩色像素包括具有第一颜色通道的第一颜色像素、具有第二颜色通道的第二颜色像素、及具有第三颜色通道的第三颜色像素，所述第一单颜色中间图像包括与所述第一颜色像素对应的第一颜色图像、与所述第二颜色像素对应的第二颜色图像、及与所述第三颜色像素对应的第三颜色图像；所述根据一帧所述全色中间图像及多帧所述第一单颜色中间图像计算出多帧第二单颜色中间图像，包括：

根据所述全色中间图像及所述第一颜色图像计算出第四颜色图像，所述第四颜色图像对应于第四颜色通道；

根据所述全色中间图像及所述第二颜色图像计算出第五颜色图像，所述第五颜色图像对应于第五颜色通道；及

根据所述全色中间图像及所述第三颜色图像计算出第六颜色图像，所述第六颜色图像对应于第六颜色通道，所述第二单颜色中间图像包括所述第四颜色图像、所述第五颜色图像及所述第六颜色图像。

5.根据权利要求4所述的图像处理方法，其特征在于，所述处理多帧所述第一单颜色中间图像及多帧所述第二单颜色中间图像以得到多光谱图像，包括：

处理所述第一颜色图像、所述第二颜色图像、所述第三颜色图像、所述第四颜色图像、所述第五颜色图像、及所述第六颜色图像以得到所述多光谱图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述第一颜色通道为红色，所述第二颜色通道为绿色，所述第三颜色通道为蓝色，所述第四颜色通道为青色，所述第五颜色通道为品红色，所述第六颜色通道为黄色；或

所述第一颜色通道为青色，所述第二颜色通道为品红色，所述第三颜色通道为黄色，所述第四颜色通道为红色，所述第五颜色通道为绿色，所述第六颜色通道为蓝色。

7.一种摄像头组件，其特征在于，所述摄像头组件包括：

图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色像素及多个彩色像素；所述彩色像素具有比所述全色像素更窄的光谱响应，且所述彩色像素包括多类，不同类别的所述彩色像素具有不同的颜色通道；所述图像传感器中的所述像素阵列曝光以获取原始图像；及

处理芯片，所述处理芯片用于：

处理所述原始图像以得到一帧全色中间图像及多帧第一单颜色中间图像，不同的所述第一单颜色中间图像对应不同的颜色通道；

根据一帧所述全色中间图像及多帧所述第一单颜色中间图像计算出多帧第二单颜色中间图像，不同的所述第二单颜色中间图像对应不同的颜色通道，且任意一帧所述第二单颜色中间图像与任意一帧所述第一单颜色中间图像的颜色通道不同；及

处理多帧所述第一单颜色中间图像及多帧所述第二单颜色中间图像以得到多光谱图像。

8.根据权利要求7所述的摄像头组件，其特征在于，所述处理芯片还用于：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像；

对一帧所述全色原始图像进行插值处理以得到全色中间图像；及

对多帧所述第一单颜色原始图像进行插值处理以得到多帧所述第一单颜色中间图像。

9.根据权利要求7所述的摄像头组件，其特征在于，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个子单元，每个所述子单元包括多个所述全色像素及多个单颜色像素；所述处理芯片还用于：

分离所述原始图像中各颜色通道的像素的像素值以得到一帧全色原始图像及多帧第一单颜色原始图像；

融合每个所述子单元中的多个所述全色像素的像素值以得到所述全色中间图像；及

对于每一帧所述第一单颜色原始图像，融合每个所述子单元中的多个单颜色像素的像素值，并对融合后得到的图像进行插值处理以得到所述第一单颜色中间图像。

10.根据权利要求7所述的摄像头组件，其特征在于，所述彩色像素包括具有第一颜色通道的第一颜色像素、具有第二颜色通道的第二颜色像素、及具有第三颜色通道的第三颜色像素，所述第一单颜色中间图像包括与所述第一颜色像素对应的第一颜色图像、与所述第二颜色像素对应的第二颜色图像、及与所述第三颜色像素对应的第三颜色图像；所述处理芯片还用于：

根据所述全色中间图像及所述第一颜色图像计算出第四颜色图像，所述第四颜色图像对应于第四颜色通道；

根据所述全色中间图像及所述第二颜色图像计算出第五颜色图像，所述第五颜色图像对应于第五颜色通道；及

根据所述全色中间图像及所述第三颜色图像计算出第六颜色图像，所述第六颜色图像对应于第六颜色通道，所述第二单颜色中间图像包括所述第四颜色图像、所述第五颜色图像及所述第六颜色图像。

11.根据权利要求10所述的摄像头组件，其特征在于，所述处理芯片还用于：

处理所述第一颜色图像、所述第二颜色图像、所述第三颜色图像、所述第四颜色图像、所述第五颜色图像、及所述第六颜色图像以得到所述多光谱图像。

12.根据权利要求11所述的摄像头组件，其特征在于，所述第一颜色通道为红色，所述第二颜色通道为绿色，所述第三颜色通道为蓝色，所述第四颜色通道为青色，所述第五颜色通道为品红色，所述第六颜色通道为黄色；或

所述第一颜色通道为青红色，所述第二颜色通道为品红色，所述第三颜色通道为黄色，所述第四颜色通道为红色，所述第五颜色通道为绿色，所述第六颜色通道为蓝色。

13.一种移动终端，其特征在于，包括：

壳体；及

权利要求7至12任一项所述的摄像头组件，所述摄像头组件与所述壳体结合。

Images