CN113676628A - 多光谱传感器、成像装置和图像处理方法 - Google Patents

Abstract

本申请公开了一种多光谱传感器、成像装置和图像处理方法。该多光谱传感器包括：像素单元阵列和滤光片单元阵列。像素单元阵列包括多个像素单元，每个像素单元包括多个感光像素。滤光片单元阵列包括多个滤光片单元。每个滤光片单元包括至少六种带通滤光片，至少六种带通滤光片的带宽在预设光谱范围内连续。预设光谱至少包括可见光谱，滤光片单元的每个带通滤光片覆盖对应像素单元的一个感光像素。多光谱传感器用于采集第一光线信号以获取光谱信息。本申请结合目前成熟的染料工艺，将色彩光谱通道扩展到6个及以上，提供多维度光谱信息，以更加准确、精度更高的色温云图，代替目前的色温传感器的整体光源判断，实现更精确的白平衡判断。

Description

多光谱传感器、成像装置和图像处理方法

技术领域

本申请涉及图像处理技术领域，特别涉及一种多光谱传感器、成像装置和图像处理方法。

背景技术

近年来随着移动终端的迅速普及和手机影像技术的不断发展，智能手机越来越成为大众最常用的拍摄设备。手机的接触式图像传感器(Contact image sensor，CIS)利用其表面覆盖的彩色滤光片阵列(CFA)对颜色进行筛选，将捕捉到的光分为红、绿、蓝三种颜色的强度信息通过一系列计算转换为三原色分量并最终合成为一种颜色。其中，白平衡作为整个手机图像信号处理(Image Signal Processing，ISP)中与色彩表现强相关的第一个流程，对拍摄的整体色调起至关重要的作用。

目前手机的白平衡算法主要依赖的硬件有两个：一是原始的CIS，通过RGB通道的强度关系来大致估计图片中的灰区位置，通过该位置计算R_gain，B_gain并分别乘在整个图片中的R通道和B通道上。二是通过一个附加的色温传感器估算整个光源场景的色温值，并输入给ISP做出相应的白平衡调整。目前的色温传感器仅通过红绿蓝三个通道是很难准确还原色温的，进而很难实现精准的白平衡判断。

发明内容

有鉴于此，本发明旨在至少在一定程度上解决相关技术中的问题之一。为此，本申请的目的在于提供一种多光谱传感器、成像装置和图像处理方法。

本申请实施方式的多光谱传感器。所述多光谱传感器包括：像素单元阵列和滤光片单元阵列。所述像素单元阵列包括多个像素单元，每个所述像素单元包括多个感光像素；所述滤光片单元阵列包括多个滤光片单元，每个所述滤光片单元包括至少六种带通滤光片，所述至少六种带通滤光片的带宽在预设光谱范围内连续，所述预设光谱至少包括可见光谱，所述滤光片单元的每个所述带通滤光片覆盖对应所述像素单元的一个所述感光像素；所述多光谱传感器用于采集第一光线信号以获取光谱信息。

本申请实施方式的成像装置包括上述实施方式所述的多光谱传感器和成像传感器。所述成像传感器用于采集第二光线信号以生成待处理图像以及获取所述成像传感器的对焦参数、曝光参数和第一白平衡参数；所述多光谱传感器用于根据所述对焦参数和所述曝光参数采集所述第一光线信号以获取所述光谱信息，以及根据所述光谱信息和所述第一白平衡参数获取第二白平衡参数；所述成像传感器用于根据所述第二白平衡参数对待处理图像进行白平衡处理。

本申请实施方式的图像处理方法，用于上述实施方式所述的成像装置。图像处理方法包括：控制所述成像传感器采集第二光线信号以生成待处理图像以及获取所述对焦参数、所述曝光参数和所述第一白平衡参数；控制所述多光谱传感器根据所述对焦参数、所述曝光参数采集所述第一光线信号以获取所述光谱信息；根据所述光谱信息和所述第一白平衡参数获取第二白平衡参数；根据所述第二白平衡参数对所述待处理图像进行白平衡处理。

本申请结合目前成熟的染料工艺，将色彩光谱通道扩展到6个及以上，提供多维度光谱信息，以更加准确、精度更高的色温云图，代替目前的色温传感器的整体光源判断，辅助主摄进行白平衡判断，数据更丰富，策略更灵活，保证稳定的色彩表现。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的多光谱传感器的结构示意图；

图2是本申请某些实施方式的中多光谱传感器中滤光片单元的6种带通滤光片的中心波长分布示意图；

图3是本申请某些实施方式的多光谱传感器中四像素合一阵列的滤光片单元阵列的结构示意图；

图4是本申请某些实施方式中将多光谱传感器直接作为成像镜头使用得到彩色图像的流程示意图；

图5是本申请某些实施方式的成像装置的结构示意图；

图6是本申请某些实施方式的多光谱传感器与成像传感器搭配使用的场景及效果示意图；

图7是本申请某些实施方式的图像处理方法的流程示意图；

图8是本申请某些实施方式的图像处理装置的结构示意图；

图9是本申请某些实施方式的图像处理方法的流程示意图；

图10是本申请某些实施方式的图像处理装置中第二获取模块的结构示意图；

图11是本申请某些实施方式的图像处理方法的流程示意图；

图12是本申请某些实施方式的图像处理装置的第二获取模块中色温拟合单元的结构示意图；

图13是本申请某些实施方式的图像处理方法的流程示意图；

图14是本申请某些实施方式的图像处理装置中处理模块的结构示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体地限定。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

目前的色温传感器仅通过红绿蓝三个通道是很难准确还原色温的，进而很难实现精准的白平衡判断。另外，目前的色温传感器存在以下缺陷：(1)通道收窄，造成进光量降低，在低光条件下很难保持色温判断的准确性；(2)目前的颜色过滤主要通过镀膜方式实现，随入射角度的变化中心波长的位置同时变化造成误差，同时会导致成本大幅提升。(3)色温传感器不具备成像功能，只能同时接收整个拍摄范围的全部光线并统一分析，在大面积纯色、混合光源等复杂场景下会错判。

有鉴于此，本申请实施方式提供一种多光谱传感器、成像装置和图像处理方法。

请参阅图1，本申请实施方式提供了一种多光谱传感器100。多光谱传感器100包括：像素单元阵列110和滤光片单元阵列120。像素单元阵列110包括多个像素单元111，每个像素单元111包括多个感光像素1111。滤光片单元阵列120包括多个滤光片单元121，每个滤光片单元121包括至少六种带通滤光片1211，至少六种带通滤光片1211的带宽在预设光谱范围内连续，预设光谱至少包括可见光谱，滤光片单元121的每个带通滤光片1211覆盖对应像素单元111的一个感光像素1111。多光谱传感器100用于采集第一光线信号以获取光谱信息。

可以理解地，滤光片单元阵列120可以是在像素单元阵列110上方采用染料形成相应的彩色滤波阵列。在其他实施方式中，滤光片单元阵列120还可以通过超表面结构、干涉薄膜结构或谐振腔结构形成。

预设光谱可以指的是红光、橙光、黄光、绿光、青光、蓝光或紫光各种色光构成的光学频谱信息。

带通滤光片1211的带宽表示光线可以透过该滤光片的光线频率(波长)范围，至少六种带通滤光片1211的带宽在预设光谱范围内连续，可以使得通过滤光片单元阵列120可采集到预设光谱对应的所有频率的光线，通过不同带通滤光片1211采集到的第一光线信号可以分析得到第一光学信号对应光线的频率组成，确定拍摄的光谱信息。将带通滤光片1211对应的光谱通道扩展到6个及以上，提供多维度光谱信息，以更加准确、精度更高的色温云图，代替目前的色温传感器的整体光源判断，可以实现精准的白平衡判断。可以理解地，连续分布包含从红光到紫光各种色光的光谱叫做连续光谱。

另外，在每个滤光片单元121中均设置六种带通滤光片1211对应覆盖感光像素1111，通过滤光片单元阵列120中重复排列的滤光片单元121设计，这会将目前常用的多光谱色温传感器拓展为面阵的排布情况，从而可以更准确的还原光谱信息，进而提升光源分析、图像分割的准确度和效率。

请参阅图2，在本申请的其他实施例中，每个滤光片单元121包括至少六种带通滤光片，至少六种带通滤光片的中心波长在预设光谱范围内均匀分布。可以理解，带通滤光片的中心波长指的是可透过带通滤光片的峰值透射波长，至少6种滤光片的中心波长在预设光谱范围内均匀分布，使得各个带通滤光片对于各个频段的光线具有不同的透过率且均匀分布在预设光谱范围内，从而有利于对光谱的分析。在一个例子中，至少六种带通滤光片的带宽基本相同。

在某些实施方式中，至少六种带通滤光片包括第一颜色空间对应的滤光片、第二颜色空间对应的滤光片、红外滤光片和全透滤光片。第一颜色空间包括红色(R)、绿色(G)和蓝色(B)，第二颜色空间包括青色(C)、品红色(M)和黄色(Y)，即本申请以第一颜色空间为RGB颜色空间，第二颜色空间为CMY颜色空间为例进行说明，当然，第一颜色空间与第二颜色空间也可以是其他颜色空间，在此不一一说明。此时，多光谱传感器100具有8个光谱通道(RGBCMY)，相较于之前的RGB三色，可以大大提高拟合人眼响应曲线的匹配度，这也意味着色彩还原的表现更准确、更贴近人眼实际观感。

请参阅图3，在某些实施例中，每个滤光片单元121包括第一滤光片子单元1212和第二滤光片子单元1213，第一滤光片子单元1212包括第一颜色空间对应的滤光片(RGB滤光片)和红外滤光片(IR滤光片)，第二滤光片子单元1213包括第二颜色空间对应的滤光片(CMY滤光片)和全透滤光片(Clear滤光片)。请再次参阅图3，两个第一滤光片子单元1212和两个第二子单元1213构成一个滤光片单元121，多个滤光片单元121周期排布构成滤光片阵列120。

此时，多光谱传感器100具有8个光谱通道(RGBCMY、IR、Clear)，相较于之前的RGB三色，可以大大提高拟合人眼响应曲线的匹配度，这也意味着色彩还原的表现更准确、更贴近人眼实际观感。

其中，红外滤光片(IR滤光片)指的是可以让红外光透过通过的滤光片。全透滤光片(Clear滤光片)指的是可以透过所有的可见光，过滤不可见光(例如紫外线)的滤光片。

可以理解地，相较于传统的色温传感器，本申请所提出的多光谱传感器基于吸收式滤波材料，且选用目前工业界最为成熟的RGBCMY+IR七种材料，是目前为止该技术路线所能达到的最多的光谱通道个数。吸收式滤波带来稳定的滤波特性，可以有效解决滤波特性随光线入射角度、环境温度变化的问题。目前成熟的工艺同时保证了该方案针对不同的使用需求可以适配不同像素尺寸和像素数量的传感器。

另外，此时的多光谱传感器提供了RGBCMY+clear+IR总计8个通道信息，可以更简单、更高效的对图像中需要重点调色的区域(例如人脸、天空、绿植等)分割出来。一方面，节约了传统图像分割必需的计算能力，另一方面，可以更准确的将更多同色异谱、容易混淆的区域分割开，进而提升主摄镜头的局部色调映射(Local Tone Mapping，LTM)的技术效果。其中，色调映射算法可以在降低高动态图像(HDR)范围的同时着力保护捕捉到的原始图像的外观。

本申请的多光谱传感器100结合目前成熟的染料工艺，将色彩光谱通道扩展到6个及以上，提供多维度光谱信息，以更加准确、精度更高的色温云图，代替目前的色温传感器的整体光源判断，可以实现更精确的白平衡判断。

请再次参阅图3，在本申请的某些实施例中，滤光片子单元1212和1213可以在行方向和列方向上均交替设置。也即是，两种滤光片子单元交替排布，滤光片分布均匀且规律，可以使得本申请的多光谱传感器采集的光线信号的精确度更高，提升获取的光谱信息的准确度。

在本申请某些实施例中，第一颜色空间包括红色(R)、绿色(G)和蓝色(B)，第二颜色空间包括青色(C)、品红色(M)和黄色(Y)。或者，在本申请其他实施例中，第一颜色空间包括青色(C)、品红色(M)和黄色(Y)，第二颜色空间包括红色(R)、绿色(G)和蓝色(B)。也即是说，本申请的第一颜色空间和第二颜色空间仅表示两种不同颜色空间，所指的具体的颜色空间可以互换，可以根据具体情况分别对应设置第一颜色空间和第二颜色空间，在此不作限制。

在某些实施例中，多光谱传感器100还用于对第一光线信号进行处理以得到彩色图像。具体地，请参阅图4，此时，多光谱传感器100包括6个或6个以上通道信息经过智能马赛克处理后，可以参与白平衡处理过程的颜色还原。例如，多光谱传感器100的6通道信息(RGBCMY)可以参与白平衡处理过程的颜色还原过程，将原有的用于颜色校正过程的颜色校正矩阵(Color Correction Matrix，CCM)从3x3拓展为6x3(即得到新的颜色校正矩阵)，可以更好的贴近人眼响应曲线，进而大幅度提升白平衡处理中颜色还原的准确度。

本申请通过使用多光谱传感器100直接作为成像镜头，取代传统的RGB图像传感器，可以支持更准确的色彩还原和更丰富的色彩空间

请参阅图5，本申请还提供一种成像装置1000。成像装置1000包括上述实施例所述的多光谱传感器100和成像传感器200。成像传感器200用于采集第二光线信号以生成待处理图像以及获取成像传感器200的对焦参数、曝光参数和第一白平衡参数。多光谱传感器100用于根据对焦参数和曝光参数采集第一光线信号以获取光谱信息，以及根据光谱信息和第一白平衡参数获取第二白平衡参数。成像传感器200用于根据第二白平衡参数对待处理图像进行白平衡处理。

具体地，在一个实施例中，多光谱传感器100(即图6中的多光谱镜头)搭配较大视场角的成像传感器200，例如，成像传感器200包括主摄/广角/长焦3颗镜头，多光谱传感器100配合手机最常用的主摄/广角/长焦3颗镜头同时使用，由于多光谱传感器100(即图6中的多光谱镜头)的多光谱通道以马赛克的形式周期性排列，在与主摄镜头配准后，所得到的图片中任意一个很小区域内都可以包含多个通道的光谱信息(如图6所示)，基于该信息，多光谱传感器100可以较为准确的计算出一张色温云图(map)，在不同的区域计算出不同的色温值并映射给主摄镜头，可以为分区的自动白平衡调节(AWB)、大面积纯色场景的识别，提供数据支撑和更加灵活的策略，解决目前拍照中的难点问题。

也即是，主摄像头、广角摄像头和长焦摄像头可以采集与多光谱传感器100采集的第一光线信号不同的第二光线信号生成待处理图像，此时的待处理图像即为用于获取详细和精确的色温信息以进行白平衡判断的图像。

第一光线信号指的是前文所述的红色光线信号、绿色光线信号、蓝色光线信号、青色光线信号、品红色光线信号和黄色光线信号，或其他颜色的光线信号，可以根据第一光线信号获取光谱信息。而第二光线信号则指的是红色光线信号、绿色光线信号、蓝色光线信号。

主摄像头、广角摄像头和长焦摄像头可以采集第二光线信号生成待处理图像，并获取此时的对焦参数、曝光参数和第一白平衡参数。对焦参数包括调节焦距的相关参数，例如对焦角度、对焦时间等参数，曝光参数包括曝光时间等参数，第一白平衡参数包括由第一光线信号获取的待处理图像对应的色温等判断白平衡的参数。

另外，多光谱传感器100可以根据前文所述的三个摄像头获取的对焦参数和曝光参数采集第二光线信号，从而可以得到相同焦距和曝光时间下的第二光线信号对应的光谱信息，并根据该光谱信息和第一白平衡参数可以获得第二白平衡参数。此时的第二白平衡参数指的是由第二光线信号对应获取的光谱信息与第一光线信号生成的第一白平衡参数拟合后的白平衡参数，包括拟合后的色温值等参数。

最后，成像传感器200根据第二白平衡参数对待处理图像进行白平衡处理，能够得到色彩还原度更高的白平衡处理后的图像。

可以理解地，多光谱传感器100可以与主摄或其他镜头同步使用，主摄或其他镜头可以为多光谱传感器100提供3A信息。3A信息指的是自动曝光控制(AE)信息、自动聚焦控制(AF)信息和自动白平衡控制(AWB)信息。也即是，多光谱传感器100作为辅助传感器可以不实际成像，3A信息可以根据其他镜头的相关信息得到，本申请以主摄镜头获取3A信息为例进行说明。多光谱传感器100只需要简单的预处理、对齐配准和色温标定，即可结合主摄镜头提供的白平衡判断信息进行色温拟合，并将更为详细和精确的色温信息反馈给主摄以辅助白平衡判断。

本申请使用多光谱传感器100直接作为成像镜头，取代传统的只获取红、绿、蓝三色的图像传感器(RGB CIS)，支持更准确的色彩还原和更丰富的色彩空间。

请参阅图7，本申请还提供一种图像处理方法，用于前文所述的成像装置1000。图像处理方法包括：

01：控制成像传感器采集第二光线信号以生成待处理图像以及获取对焦参数、曝光参数和第一白平衡参数；

02：控制多光谱传感器根据对焦参数、曝光参数采集第一光线信号以获取光谱信息；

03：根据光谱信息和第一白平衡参数获取第二白平衡参数；

04：根据第二白平衡参数对待处理图像进行白平衡处理。

请结合图8，本申请还提供一种图像处理装置10，图像处理装置10包括控制模块11、第一获取模块12、第二获取模块13和处理模块14。

步骤01可以由控制模块11实现，步骤02可以由第一获取模块12实现，步骤03可以由第二获取模块13实现，步骤04可以由处理模块14实现。也即是说，控制模块11用于控制成像传感器采集第二光线信号以生成待处理图像以及获取对焦参数、曝光参数和第一白平衡参数；第一获取模块12用于控制多光谱传感器根据对焦参数、曝光参数采集第一光线信号以获取光谱信息；第二获取模块13用于根据光谱信息和第一白平衡参数获取第二白平衡参数；处理模块14用于根据第二白平衡参数对待处理图像进行白平衡处理。

具体地，成像传感器200包括前文所述的三个摄像头(主摄像头、广角摄像头和长焦摄像头)。多光谱传感器100即为前文所述的结构，在此不再赘述。

第一光线信号、第二光线信号、第一白平衡参数和第二白平衡参数前文均有描述，在此不再赘述。

本申请的图像处理方法和图像处理装置10中利用多光谱传感器100结合成像传感器200(主摄镜头)提供的白平衡信息(第一白平衡参数)与多光谱传感器100自身多通道响应值，可以实现分区域计算光源色温，可以生成色彩丰富、精度更高的色温云图(map图)，从而实现更精确的白平衡判断。

此外，本申请的图像处理方法和图像处理装置10利用多光谱传感器100(即图6中的多光谱镜头)搭配较大视场角的成像传感器200，例如，成像传感器200包括主摄/广角/长焦3颗镜头，多光谱传感器100配合手机最常用的主摄/广角/长焦3颗镜头同时使用，由于多光谱传感器100(即图6中的多光谱镜头)的多光谱通道以马赛克的形式周期性排列，在与主摄镜头配准后，所得到的图片中任意一个很小区域内都可以包含多个通道的光谱信息(如图6所示)，基于该信息，多光谱传感器100可以较为准确的计算出一张色温云图(map)，在不同的区域计算出不同的色温值并映射给主摄镜头，可以为分区的自动白平衡调节(AWB)、大面积纯色场景的识别，提供数据支撑和更加灵活的策略，可以解决目前拍照中的难点问题。

请参阅图9，步骤03包括：

031：根据第一光线信号生成多光谱图像；

032：对多光谱图像进行预处理得到预处理图像；

033：根据待处理图像对预处理图像进行对齐配准；

034：对对齐配准后的预处理图像进行色温标定得到色温标定参数；

035：根据预处理图像、色温标定参数和第一白平衡参数进行色温拟合以得到第二白平衡参数。

请结合图10，本申请的第二获取模块13包括多光谱图像生成单元131、预处理单元132、配准单元133、色温标定单元134、色温拟合单元135。

步骤031可以由多光谱图像生成单元131实现，步骤032可以由预处理单元132实现，步骤033可以由配准单元133实现，步骤134可以由色温标定单元134实现，步骤135可以由色温拟合单元135实现。也即是，多光谱图像生成单元131用于根据第一光线信号生成多光谱图像；预处理单元132用于对多光谱图像进行预处理得到预处理图像；配准单元133用于根据待处理图像对预处理图像进行对齐配准；色温标定单元134用于对对齐配准后的预处理图像进行色温标定得到色温标定参数；色温拟合单元135用于根据预处理图像、色温标定参数和第一白平衡参数进行色温拟合以得到第二白平衡参数。

具体地，多光谱图像生成单元131根据第一光线信号生成多光谱图像。可以理解地，一般而言，多光谱图像是指包含很多光谱的彩色图像，有时只有3个光谱(R、G、B三个颜色的光谱图像)即可构成彩色图像，但有时要多得多，甚至上百个。

在本申请的实施例中，由于第一光线信号包括上述6个及6个以上(前文所述的为7个或8个)光谱，因此，所生成的多光谱图像可以为6个光谱(红色(R)、绿色(G)、蓝色(B)、青色(C)、品红色(M)和黄色(Y))构成的彩色图像，也可以7个光谱(红色(R)、绿色(G)、蓝色(B)、青色(C)、品红色(M)、黄色(Y)和红外光谱(IR))构成的彩色图像，还可以为8个光谱(红色(R)、绿色(G)、蓝色(B)、青色(C)、品红色(M)、黄色(Y)、红外光谱(IR)和全透滤光片(Clear滤光片))构成的彩色图像，或更多数量的光谱构成的彩色图像。

对多光谱图像进行预处理得到预处理图像，预处理方式包括黑电平补偿处理、镜头矫正处理和/或坏点补偿处理，即预处理方式可以是其中一种、两种或两种以上。在本申请的其他实施例中，预处理方式还可以包括去噪、高动态、镜头矫正等处理过程，可以根据用户需求添加所需要的预处理方式，在此不一一说明。

图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。

预处理流程可以包括灰度化、几何变换和图像增强三个过程。

具体地，灰度化：例如在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。一般有分量法最大值法平均值法加权平均法四种方法对彩色图像进行灰度化。对彩色图像进行处理时，我们往往需要对三个通道依次进行处理。

几何变换：图像几何变换又称为图像空间变换，通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于改正图像采集系统的系统误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差。此外，还需要使用灰度插值算法，因为按照这种变换关系进行计算，输出图像的像素可能被映射到输入图像的非整数坐标上。通常采用的方法有最近邻插值、双线性插值和双三次插值。

图像增强：增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。图像增强算法可分成两大类：空间域法和频率域法。空间域法是一种直接图像增强算法，分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换(又叫对比度拉伸)和直方图修正等。邻域增强算法分为图像平滑和锐化两种。平滑常用算法有均值滤波、中值滤波、空域滤波。锐化常用算法有梯度算子法、二阶导数算子法、高通滤波、掩模匹配法等。频率域法是一种间接图像增强算法，常用的频域增强方法有低通滤波器和高通滤波器。低频滤波器有理想低通滤波器、巴特沃斯低通滤波器、高斯低通滤波器、指数滤波器等。高通滤波器有理想高通滤波器、巴特沃斯高通滤波器、高斯高通滤波器、指数滤波器。

然后，根据待处理图像对预处理图像进行对齐配准。对齐配准的具体过程为提取两幅图像各自的特征点，对两幅图像的特征点集进行匹配，得到最优匹配，再利用仿射变换或透视变换等方式优化两幅图像之间的对应关系，从而求得变换参数，最终可利用最优化参数，将其中一幅图像变形为与另外一幅图像同样的空间布局。根据两张图像对待处理图像进行对齐配准后可以实现多张图像融合、超分辨率放大、图像拼接或目标识别等目的。

最后，对对齐配准后的预处理图像进行色温标定得到色温标定参数，再根据预处理图像、色温标定参数和第一白平衡参数进行色温拟合以得到第二白平衡参数。色温标定指的是用绝对黑体(这是一种量子物理学中提出的理想物理模型)在不同温度下辐射出来的光的颜色来标定白光的色温。色温拟合指的是根据色温标定参数和第一白平衡参数对预处理图像进行色温曲线拟合的过程，从而色温拟合后可以得到第二白平衡参数。

请参阅图11，在某些实施例中，步骤035包括：

0351：根据色温标定参数和第一白平衡参数确定色温分布信息；

0352：对预处理图像进行图像分割得到图像分区信息；

0353：将色温分布信息和图像分区信息作为第二白平衡参数。

请结合图12，色温拟合单元135包括色温信息确定单元1351、分割单元1352和白平衡参数确定单元1353。

步骤0351可以由色温信息确定单元1351实现，步骤0352可以由分割单元1352实现，步骤0353可以由白平衡参数确定单元1353实现。也即是说，色温信息确定单元1351用于根据色温标定参数和第一白平衡参数确定色温分布信息；分割单元1352用于对预处理图像进行图像分割得到图像分区信息；白平衡参数确定单元1353用于将色温分布信息和图像分区信息作为第二白平衡参数。

可以理解地，本申请的多光谱传感器100，由于其多光谱通道以马赛克的形式周期性排列，在与主摄镜头配准后，图片中任意一个很小区域内都可以包含多个通道(可以包括CMY三个通道、IR红外通道和clear全透通道其中三个及以上通道)的光谱信息(如图6所示的曲线图所示)。

具体地，基于该多个通道的光谱信息，多光谱传感器可以较为准确的计算出一张色温云图(具有色温分布信息)。然后，对多光谱图像经预处理后的预处理图像进行图像分割，例如，可以将图像中需要重点调色的区域(例如人脸、天空、绿植等)高效分割出来，并对图像的不同区域计算不同的色温值(图像分区信息)。最后，将包含不同色温值的图像分区信息和色温分布信息映射给主摄镜头，为分区白平衡判断、大面积纯色场景的识别提供数据支撑和更加灵活的策略，解决目前拍照中的难点问题。

本申请的多光谱镜头结合主摄镜头提供的白平衡信息(第一白平衡参数)与自身多通道响应值，分区域计算光源色温，可以生成色彩丰富、精度更高的色温云图(map图)，能够实现更精确的白平衡判断。

请参阅图13，在某些实施例中，步骤04包括：

041：根据色温分布信息中各个区域的色温信息对待处理图像中的相应区域进行白平衡处理；

042：根据图像分区信息对待处理图像中的相应区域进行局部调色处理。

请结合图14，处理模块14包括白平衡处理单元141和调色处理单元142。

步骤041可以由白平衡处理单元141实现，步骤042可以由调色处理单元142实现。也即是说，白平衡处理单元141用于根据色温分布信息中各个区域的色温信息对待处理图像中的相应区域进行白平衡处理；调色处理单元142用于根据图像分区信息对待处理图像中的相应区域进行局部调色处理。

具体地，所谓的白平衡是通过对白色被摄物的颜色还原(产生纯白的色彩效果)，进而达到其他物体色彩准确还原的一种数字图像色彩处理的计算方法。

本申请中根据多光谱传感器多通道的光谱信息计算得到精确的色温云图，并从该色温云图中可以获得色温分布信息，并将色温信息对应的各个区域与成像传感器获得的待处理图像中的相应区域进行匹配，可以根据该色温分布信息对待处理图像的相应区域进行白平衡处理，即利用多光谱传感器用于辅助白平衡的图像处理，该流程非常简单，对图像处理过程整体功耗的影响不存在风险，且可以实现在权衡工艺条件、优化数据逻辑和性能提升的同时，将成本、内存占用等其他风险降至最低。

另外，通过多光谱镜头配合其他镜头(主摄、广角、长焦镜头)进行白平衡处理的过程，能够通过多个镜头分别同时接收整个拍摄范围的各种光线并分别分析，可以解决拍照易出错场景，提供稳定、准确的色彩表现。此外，通过多光谱镜头配合其他镜头(主摄、广角、长焦镜头)进行白平衡处理的过程不会增加成像装置1000的内存占用，不影响拍照性能。

最后，根据图像分区信息对待处理图像中的相应区域进行局部调色处理的过程，需要先通过对多光谱图像经预处理后的预处理图像进行图像分割，并对图像的不同区域计算不同的色温值(图像分区信息)，达到高效、更准确的图像分区，得到精确的图像分区信息。然后，再根据该图像分区信息对待处理图像中的相应区域进行局部调色处理，即利用图像分区信息辅助主摄镜头局部色调映射(Local Tone Mapping，LTM)过程，可以提升局部色调映射的效果，使得最终待处理图像经过处理后得到的图像更贴近原始图像的外观。

可以理解地，重建视觉外观是色调映射的终极目标。色调映射算法在降低高动态图像(HDR)范围的同时着力保护捕捉到的原始图像的外观。色调映射算法分两种策略，一种是全局的，另一种是局部的，本申请中为进行局部色调映射的策略。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多光谱传感器，其特征在于，包括：

像素单元阵列，所述像素单元阵列包括多个像素单元，每个所述像素单元包括多个感光像素；和

滤光片单元阵列，所述滤光片单元阵列包括多个滤光片单元，每个所述滤光片单元包括至少六种带通滤光片，所述至少六种带通滤光片的带宽在预设光谱范围内连续，所述预设光谱至少包括可见光谱，所述滤光片单元的每个所述带通滤光片覆盖对应所述像素单元的一个所述感光像素；

所述多光谱传感器用于采集第一光线信号以获取光谱信息。

2.根据权利要求1所述的多光谱传感器，其特征在于，所述至少六种带通滤光片包括第一颜色空间对应的滤光片、第二颜色空间对应的滤光片、红外滤光片和全透滤光片。

3.根据权利要求2所述的多光谱传感器，其特征在于，每个所述滤光片单元包括第一滤光片子单元和第二滤光片子单元，所述第一滤光片子单元包括所述第一颜色空间对应的滤光片和所述红外滤光片，所述第二滤光片子单元包括所述第二颜色空间对应的滤光片和所述全透滤光片。

4.根据权利要求2或3所述的多光谱传感器，其特征在于，所述第一颜色空间包括红色、绿色和蓝色，所述第二颜色空间包括青色、品红色和黄色；或

所述第一颜色空间包括青色、品红色和黄色，所述第二颜色空间包括红色、绿色和蓝色。

5.根据权利要求4所述的多光谱传感器，其特征在于，所述多光谱传感器还用于对所述第一光线信号进行处理以得到彩色图像。

6.一种成像装置，包括；

权利要求1-5任一项所述的多光谱传感器；和

成像传感器，所述成像传感器用于采集第二光线信号以生成待处理图像以及获取所述成像传感器的对焦参数、曝光参数和第一白平衡参数；

所述多光谱传感器用于根据所述对焦参数和所述曝光参数采集所述第一光线信号以获取所述光谱信息，以及根据所述光谱信息和所述第一白平衡参数获取第二白平衡参数；

所述成像传感器用于根据所述第二白平衡参数对待处理图像进行白平衡处理。

7.一种图像处理方法，用于权利要求6所述的成像装置，其特征在于，图像处理方法包括：

控制所述成像传感器采集第二光线信号以生成待处理图像以及获取所述对焦参数、所述曝光参数和所述第一白平衡参数；

控制所述多光谱传感器根据所述对焦参数、所述曝光参数采集所述第一光线信号以获取所述光谱信息；

根据所述光谱信息和所述第一白平衡参数获取第二白平衡参数；

根据所述第二白平衡参数对所述待处理图像进行白平衡处理。

8.根据权利要求7所述的图像处理方法，其特征在于，所述根据所述光谱信息和所述第一白平衡参数获取第二白平衡参数，包括：

根据所述第一光线信号生成多光谱图像；

对所述多光谱图像进行预处理得到预处理图像；

根据所述待处理图像对所述预处理图像进行对齐配准；

对所述对齐配准后的预处理图像进行色温标定得到色温标定参数；

根据所述预处理图像、所述色温标定参数和所述第一白平衡参数进行色温拟合以得到所述第二白平衡参数。

9.根据权利要求8所述的图像处理方法，其特征在于，所述根据所述预处理图像、所述色温标定参数和所述第一白平衡参数进行色温拟合以得到所述第二白平衡参数，包括：

根据所述色温标定参数和所述第一白平衡参数确定色温分布信息；

对所述预处理图像进行图像分割得到图像分区信息；

将所述色温分布信息和所述图像分区信息作为所述第二白平衡参数。

10.根据权利要求9所述的图像处理方法，其特征在于，所述根据所述第二白平衡参数对所述待处理图像进行白平衡处理，包括：

根据所述色温分布信息中各个区域的色温信息对所述待处理图像中的相应区域进行白平衡处理；

根据所述图像分区信息对所述待处理图像中的相应区域进行局部调色处理。

Images