CN114079754A - 一种图像传感器、信号处理方法以及设备 - Google Patents

Abstract

本申请实施例公开一种图像传感器、信号处理方法以及设备，该方法可用于图像处理领域中。图像传感器包括至少一个高光谱或多光谱的滤光阵列，通过m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；将m个滤光片获取到的光信号转换为电信号；对与m个滤光片所对应的电信号进行合并处理，以得到合并后的电信号；合并后的电信号用于生成目标对象的图像。将高光谱或多光谱滤光阵列获取的至少两个不同的光谱波段的电信号进行合并，可以将多光谱或高光谱的N个光谱波段映射至H个光谱通道中，H的数量小于N，从而可以实现高光谱或多光谱的滤光阵列与低光谱成像技术的兼容。

Description

一种图像传感器、信号处理方法以及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像传感器、信号处理方法以及设备。

背景技术

红绿蓝(red green blue，RGB)成像技术指的是采集目标对象在可见光光谱波段中的红色光谱信息、绿色光谱信息和蓝色光谱信息，进而生成目标对象的图像。

高光谱成像技术或者多光谱成像技术具有更多的光谱波段，能够采集到目标对象在更多光谱波段的光信号，具有光谱分辨率高、光谱范围广等特点，采集到的图像的信息量更为丰富。

但人眼三基色为红色、绿色和蓝色，为了能够呈现人眼方便观看的图像，在通过高光谱或多光谱的滤光片阵列采集目标对象的光谱信息之后，需要最终输出RGB图像。因此，一种在采用高光谱或多光谱的滤光片阵列采集目标对象的光信号，并兼容RGB成像技术的方案亟待推出。

发明内容

本申请实施例提供了一种图像传感器、信号处理方法以及设备，通过将高光谱或多光谱滤光阵列获取的至少两个不同的光谱波段的电信号进行合并，可以将多光谱或高光谱的N个光谱波段映射至H个光谱通道中，H的数量小于N，从而可以实现高光谱或多光谱的滤光阵列与低光谱成像技术的兼容。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种图像传感器，可用于图像处理领域中。图像传感器包括至少一个滤光阵列，滤光阵列为高光谱或多光谱的滤光阵列，滤光阵列包括m个滤光片和光电转换模块，光电转换模块包括光电转换单元和合并单元。其中，光电转换单元可以表现为光电转换电路，合并单元可以表现为合并电路。m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号，该至少两个不同的光谱波段可以为同一光谱通道范围内的光谱波段，例如该至少两个不同的光谱波段包括R1和R2两个不同的光谱波段，R1和R2两个光谱波段均位于RGB通道中R这一光谱通道的光谱波段范围内。光电转换单元用于将m个滤光片获取到的光信号转换为电信号，合并单元用于对与m个滤光片所对应的电信号进行合并处理，以得到合并后的电信号，合并的方式可以为取最大值、取平均值或叠加。光电转换模块，用于输出合并后的电信号，合并后的电信号用于生成目标对象的图像。

本实现方式中，高光谱成像技术或者多光谱成像技术中包括的滤光阵列能够获取目标对象在多个光谱波段的光信号，当需要输出非高光谱图像或者多光谱图像时，可以对与至少两个不同的光谱波段对应的电信号进行合并，以得到合并后的电信号，也即可以将多光谱或高光谱的N个光谱波段映射至H个光谱通道中，H的数量小于N，从而可以实现高光谱或多光谱的滤光阵列与低光谱成像技术的兼容；当需要输出的为RGB图像时，H的取值为3，3个光谱通道分别对应与生成RGB图像时所需要的三种类型的电信号，通过前述方式，能够实现在采用高光谱或多光谱的滤光片阵列采集目标对象的光谱信息的情况下，兼容RGB成像技术。

在第一方面的一种可能实现方式中，合并单元，具体用于将与m个滤光片对应的电信号进行叠加，以得到合并后的电信号。本实现方式中，通过将与每个滤光片对应的电信号进行叠加的方式，来实现将与m个滤光片对应的电信号进行合并的操作，方案简单，易于实现。

在第一方面的一种可能实现方式中，滤光阵列包括M个滤光片，M个滤光片被划分为K组，K组中的任一组滤光片用于获取目标对象在至少一个光谱波段的光信号，需要说明的是，K组中的每个组别都仅用于获取目标对象在一个光谱波段的光信号的情况是不可以实现的，也即K组中至少一个组别用于获取目标对象在至少两个光谱波段的光信号。K组中的一个组别中包括m个滤光片，K为大于1的整数。K组滤光片与H个光谱通道具有映射关系，H个光谱通道为根据RGB通道、RGGB通道、RYB通道、RYYB通道、RWWB通道或RBGIR通道中的任意一种进行划分的。作为示例，例如N个光谱波段的光信号是按照RGB通道进行划分的，N个光谱波段中可以包括R1、R2、G1、G2、G3、G4、B1和B2这6个不同的光谱波段。其中，目标对象在R1和R2这两个光谱波段的光信号被映射至RGB通道中的R通道中，目标对象在G1、G2、G3和G4这四个光谱波段的光信号被映射至RGB通道中的G通道中，目标对象在B1和B2这两个光谱波段的光信号被映射至RGB通道中的B通道中。

本实现方式中，列举了与K组滤光片对应的H个光谱通道的多种划分方式，提高了本方案的实现灵活性，扩展了本方案的应用场景。

在第一方面的一种可能实现方式中，m个滤光片与H个光谱通道中的第一光谱通道具有映射关系，第一光谱通道为H个光谱通道中的一个光谱通道，第一光谱通道对应第一光谱波段。与m个滤光片对应的至少两个不同的光谱波段位于第一光谱波段范围内，作为示例，例如与m个滤光片对应的至少两个不同的光谱波段分别为G1和G2这两个不同的光谱波段，第一光谱通道为RGGB通道中的G通道，G1和G2这两个不同的光谱波段均位于G通道的光谱范围内。或者，与m个滤光片对应的至少两个不同的光谱波段中大于或等于预设比例的光谱波段位于第一光谱波段范围内。其中，预设比例的取值可以为百分之九十八、百分之九十五或百分之九十。作为示例，例如与m个滤光片对应的至少两个不同的光谱波段分别为B1和B2这两个不同的光谱波段，第一光谱通道为RBBB通道中的B通道，B1和B2这两个不同的光谱波段中超过百分之九十的光谱波段均位于B通道的光谱范围内。

本实现方式中，与m个滤光片对应的至少两个不同的光谱波段位于第一光谱波段范围内，或者，与m个滤光片对应的至少两个不同的光谱波段中大于或等于预设比例的光谱波段位于第一光谱波段范围内，也即高光谱或多光谱的光谱波段与映射后的H个光谱波段的相似性很高，有利于提高最后获取到的图像的质量。

在第一方面的一种可能实现方式中，m个滤光片组成的一组滤光片的形状为矩形；进一步地，K组中任一组滤光片的形状为矩形。本实现方式中，由于RGB通道、RGGB通道、RYB通道、RYYB通道、RWWB通道或RBGIR通道等技术中，每组滤光片的形状为矩形，K组中任一组滤光片的形状也设置为矩形，有利于降低映射过程的难度。

在第一方面的一种可能实现方式中，m个滤光片为相邻的滤光片；进一步地，K组中任一组滤光片中均包括至少一个滤光片，前述至少一个滤光片中包括的为相邻的滤光片。本实现方式中，通过一个组别获取到的光信号被映射为一个通道的光信号，由于在RGB、RYB、RWWB或RBGIR等成像技术中，与同一个通道对应的至少一个滤光片中包括的为相邻的滤光片，也即在滤光片位置分配的维度增加与RGB、RYB、RWWB或RBGIR等成像技术的相似性，有利于降低后续信号处理过程中的难度。

在第一方面的一种可能实现方式中，K组滤光片中不同组别包括的滤光片完全不同，也即K组滤光片中不同组别包括的滤光片不存在任何重叠的滤光片。本实现方式中，由于K组滤光片中不同组别包括的滤光片不存在任何重叠的滤光片，则每个滤光片获取到的信息都不会被重复利用，不存在信息冗余的问题，有利于节省计算机资源。

在第一方面的一种可能实现方式中，K组滤光片中不同组别之间存在相同的滤光片且不完全相同，也即不同组别之间存在至少一个重叠的滤光片。本实现方式中，由于K组滤光片中不同组别之间存在相同的滤光片，空间结构更为紧凑，有利于降低后续信号处理过程的难度。

在第一方面的一种可能实现方式中，K组中任一组滤光片用于获取目标对象在至少一个光谱波段的光信号，与不同组别对应的光谱波段的数量相同，或者，与不同组别对应的光谱波段的数量不同。本实现方式中，增强了对M个滤光片划分过程中的灵活性。

在第一方面的一种可能实现方式中，M个滤光片用于获取目标对象在12个不同的子光谱波段的光信号，K组滤光片用于映射至3个光谱通道，K组中每组滤光片用于获取目标对象在4个不同的子光谱波段的光谱信息，也即3个光谱通道中每个光谱通道均对应4个不同的子光谱波段，4个不同的子光谱波段均位于与之对应的光谱通道的光谱波段范围内。作为示例，例如12个不同的子光谱波段分别为R1、R2、R3、R4、G1、G2、G3、G4、B1、B2、B3和B4，3个光谱通道分别为R通道、G通道和B通道，R1、R2、R3、R4这四个不同的光谱波段均位于R通道的光谱波段内，G1、G2、G3、G4这四个不同的光谱波段均位于G通道的光谱波段内，B1、B2、B3、B4这四个不同的光谱波段均位于B通道的光谱波段内。或者，M个滤光片用于获取目标对象在6个不同的子光谱波段的光信号，K组滤光片用于映射至3个光谱通道，K组中每组滤光片用于获取目标对象在2个不同的子光谱波段的光谱信息，也即3个光谱通道中每个光谱通道均对应2个不同的子光谱波段，2个不同的子光谱波段均位于与之对应的光谱通道的光谱波段范围内。或者，M个滤光片用于获取目标对象在6个不同的子光谱波段的光信号，K组滤光片用于映射至3个光谱通道，K组包括第二组别和第三组别，第二组别中的滤光片用于获取目标对象在4个光谱波段的光谱信息，4个不同的子光谱波段均位于与之对应的光谱通道的光谱波段范围内，第三组别中的滤光片用于获取目标对象在2个光谱波段的光谱信息，2个不同的子光谱波段均位于与之对应的光谱通道的光谱波段范围内，第二组别和第三组别为K组中不同的两个组别。

本实现方式中，提供了不同组别对应的光谱波段的分配情况，提高了本方案的实现灵活性。此外，由于与同一组别对应的光谱波段的数量越多，该组别中获取到的光谱信息就越丰富，但后续处理过程中需要的计算机资源就越多。而在与K组对应的H个通道中，不同通道的重要程度可能不同，则为与重要程度高的通道对应的组别分配更多数量的子光谱波段，为与重要程度低的通道对应的组别分配数量较少的子光谱波段，有利于在节省计算机资源的前提下，增加获取到的光谱信息的丰富度。

在第一方面的一种可能实现方式中，K组滤光片中不同组别包括的滤光片完全不同，M的取值为16，K的取值为4，K组中每组滤光片中包括4个滤光片。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中。本实现方式中，提供了滤光阵列的多种具体实现方式，提高了本方案的实现灵活性，扩展了本方案的应用场景，且上述几种实现方式中不同组别包括的滤光片完全不同，避免了对容易信息的处理，避免了计算机资源的浪费。

在第一方面的一种可能实现方式中，K组滤光片中不同组别包括的滤光片中存在相同的滤光片且不完全相同，M的取值为9，N的取值为6，K的取值为4，K组中每组滤光片用于获取目标对象在4个光谱波段的光谱信息，K组中每组滤光片中包括4个滤光片，K组中一组滤光片呈矩阵型。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中。本实现方式中，又提供了滤光阵列的一种具体实现方式，进一步提高了本方案的实现灵活性；此外，不同组别包括的滤光片中存在相同的滤光片且不完全相同，降低了后续信号处理过程的难度。

在第一方面的一种可能实现方式中，M个滤光片用于获取目标对象在N个子光谱波段的光信号。K组滤光片中不同组别包括的滤光片中存在相同的滤光片且不完全相同，M的取值为9，N的取值为9，K的取值为4，K组中每组滤光片中包括4个滤光片，K组中每组滤光片用于获取目标对象在3个光谱波段的光谱信息，K组中一组滤光片呈L形、倒L形或反L形。或者，K组滤光片中不同组别包括的滤光片完全不同，M的取值为8，N的取值为6，K的取值为4，K组中每组滤光片中包括2个滤光片，K组中每组滤光片用于获取目标对象在2个光谱波段的光谱信息。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中。本实现方式中，又提供了滤光阵列的两种具体实现方式，进一步提高了本方案的实现灵活性。

在第一方面的一种可能实现方式中，当H个通道中不包括W通道(也即白色通道)时，滤光阵列中还可以包括全透明透光片，全透明透光片位于滤光阵列的中心区域。M的取值为8，K的取值为4，K组中每组滤光片中包括2个滤光片，全透明透光片位于8个滤光片的中心位置。进一步地，N的取值为6。

本实现方式中，通过全透明透光片可以获取到目标对象的轮廓信息，为后续信号处理过程中进行马赛克处理时提供辅助；且通过全透明透光片采集到的光信号可以作为光源光谱的辅助传感器，为后续信号处理过程中进行白平衡处理时提供辅助。

第二方面，本申请实施例提供了一种电子设备，可用于图像处理领域中。电子设备包括至少一个滤光阵列和处理器，滤光阵列为高光谱或多光谱的滤光阵列，滤光阵列包括m个滤光片和光电转换单元；m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；光电转换单元用于将m个滤光片获取到的光信号转换为电信号；处理器用于对与m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据合并后的电信号，生成目标对象的图像。第二方面的滤光阵列与第一方面的滤光阵列相比，区别仅在于第二方面的滤光阵列中不存在合并单元。

本实现方式中，不在滤光阵列中增设合并单元，而是通过处理器在数据处理过程中对与一组中所有滤光片对应的电信号进行合并处理，提供了在采用高光谱或多光谱的滤光片阵列采集目标对象的光谱信息的情况下，兼容RGB成像技术的又一种实现方案，提高了本方案的实现灵活性；且本实现方案中，不需要进行硬件方面的改变，有利于降低成本。

在第二方面的一种可能实现方式中，电子设备还包括模数转换单元，模数转换单元用于将光电转换单元生成的模拟电信号转换为数字电信号；处理器具体用于对与第一组别中所有滤光片对应的数字电信号进行叠加，以得到一个合并后的数字电信号，也即将与第一组别中所有滤光片对应的数字电信号进行相加，以得到一个合并后的数字电信号。处理器对K组中每组滤光片均执行前述操作，以得到K个合并后的数字电信号。其中，一个数字电信号具体可以表现为一个数值，数字电信号的取值范围与模数转换的位宽相关。

在第二方面的一种可能实现方式中，电子设备为以下中任一种设备：图像传感器、摄像机、移动终端、智能汽车、监控设备。

在第二方面的一种可能实现方式中，K组滤光片与H个光谱波段具有映射关系，H为小于或等于K的正整数，H个光谱通道为RGB通道、RGGB通道、RYB通道、RYYB通道、RWWB通道或RBGIR通道中的任意一种；其中，R为红色通道，G为绿色通道，B为蓝色通道，Y为黄色通道，W为白色通道，IR为近红外通道。

在第二方面的一种可能实现方式中，K组滤光片与H个光谱通道具有映射关系，与H个光谱通道对应的H个光谱波段组成第一光谱波段，N个光谱波段位于第一光谱波段范围内，或者，N个光谱波段中大于或等于预设比例的光谱波段位于第一光谱波段范围内。

在第二方面的一种可能实现方式中，K组中任一组滤光片的形状为矩形。

在第二方面的一种可能实现方式中，K组中任一组滤光片包括的为相邻的滤光片。

在第二方面的一种可能实现方式中，K组滤光片中不同组别包括的滤光片完全不同。

对于本申请实施例第二方面以及第二方面的部分可能实现方式中名词的概念、具体实现步骤以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第三方面，本申请实施例提供了一种图像传感器，可用于图像处理领域中。图像传感器包括至少一个滤光阵列，滤光阵列为上述第一方面的滤光阵列。滤光阵列为高光谱或多光谱的滤光阵列，滤光阵列包括m个滤光片和光电转换模块；m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；光电转换模块用于在图像传感器处于图像拍摄模式的情况下，将m个滤光片获取到的光信号转换为电信号，对与m个滤光片所对应的电信号进行合并处理，以得到合并后的电信号，并输出合并后的电信号，合并后的电信号用于生成目标对象的图像；光电转换模块用于在图像传感器处于非图像拍摄模式的情况下，将m个滤光片获取到的光信号转换为电信号，并输出与m个滤光片对应的电信号，以生成目标对象的高光谱图像或目标对象的多光谱图像。进一步地，若图像传感器中不配置有处理器，图像传感器所在的电子设备可以确定电子设备是否为基于图像拍摄模式来启动图像传感器的。在电子设备确定处于图像拍摄模式的情况下，也即图像传感器工作于图像拍摄模式下，则控制合并单元打开，也即控制合并单元工作，从而合并单元可以对与m个滤光片对应的电信号进行合并处理；在电子设备确定处于非图像拍摄模式的情况下，也即图像传感器工作于非图像拍摄模式下，则控制合并单元关闭，也即控制合并单元不工作，从而图像传感器中的光电转换模块会直接输出与m个滤光片对应的电信号。若图像传感器中配置有处理器，在电子设备确定处于图像拍摄模式的情况下，电子设备向图像传感器发送第一指令，图像传感器响应于第一指令，控制合并单元打开，也即控制合并单元工作，从而合并单元可以对与m个滤光片对应的电信号进行合并处理。在电子设备确定处于非图像拍摄模式的情况下，电子设备向图像传感器发送第二指令，图像传感器响应于第二指令，控制合并单元关闭，也即控制合并单元不工作，从而图像传感器中的光电转换模块会直接输出与m个滤光片对应的电信号。

本实现方式中，不仅能够实现在采用高光谱或多光谱的滤光片阵列采集目标对象的光谱信息的情况下，兼容RGB成像技术，而且还能够在光电转换单元将N个光谱波段的光信号转换为电信号之后，直接输出光电转换单元生成的电信号，也即输出的电信号中可以携带高光谱或多光谱信息，扩展了本方案的应用场景。

在第三方面的一种可能实现方式中，非图像拍摄模式为以下中的任一种模式：物体识别模式、光源估计模式和深度检测模式。

第三方面的图像传感器还可以执行第一方面中图像传感器执行的步骤，对于本申请实施例第三方面以及第三方面的部分可能实现方式中名词的概念、具体实现步骤以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第四方面，本申请实施例提供了一种电子设备，电子设备包括图像传感器和处理器，图像传感器中包括至少一个滤光阵列，滤光阵列为上述第二方面的滤光阵列。滤光阵列为高光谱或多光谱的滤光阵列，滤光阵列包括m个滤光片和光电转换单元；m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；光电转换单元用于将m个滤光片获取到的光信号转换为电信号；处理器用于在电子设备处于图像拍摄模式的情况下，对与m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据合并后的电信号，生成目标对象的图像；处理器用于在电子设备处于非图像拍摄模式的情况下，不再对于m个滤光片对应的电信号执行合并操作，根据与m个滤光片对应的电信号，生成目标对象的高光谱图像或多光谱图像。进一步地，图像传感器所在的电子设备可以确定电子设备是否为基于图像拍摄模式来启动图像传感器的。在电子设备确定处于图像拍摄模式的情况下，也即图像传感器工作于图像拍摄模式下，则控制合并单元打开，也即控制合并单元工作，从而合并单元可以对与m个滤光片对应的电信号进行合并处理；在电子设备确定处于非图像拍摄模式的情况下，也即图像传感器工作于非图像拍摄模式下，则控制合并单元关闭，也即控制合并单元不工作，从而图像传感器中的光电转换模块会直接输出与m个滤光片对应的电信号。

在第四方面的一种可能实现方式中，非图像拍摄模式为以下中的任一种模式：物体识别模式、光源估计模式和深度检测模式。

第四方面的图像传感器还可以执行第二方面中图像传感器执行的步骤，对于本申请实施例第四方面以及第四方面的部分可能实现方式中名词的概念、具体实现步骤以及每种可能实现方式所带来的有益效果，均可以参考第二方面中各种可能的实现方式中的描述，此处不再一一赘述。

第五方面，本申请实施例提供了一种电子设备，可用于图像处理领域中。电子设备包括图像传感器和处理器，图像传感器包括至少一个滤光阵列，图像传感器包括至少一个滤光阵列，图像传感器为上述第一方面的图像传感器，处理器用于根据每个滤光阵列输出的电信号，生成目标对象的图像。

第六方面，本申请实施例提供了一种信号处理方法，方法应用于电子设备中电子设备包括至少一个滤光阵列，滤光阵列为高光谱或多光谱的滤光阵列，滤光阵列包括m个滤光片，方法包括：通过m个滤光片获取目标对象在至少两个不同的光谱波段的光信号；将m个滤光片获取到的光信号转换为电信号；对与m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据合并后的电信号，生成目标对象的图像。

在第六方面的一种可能实现方式中，通过处理器对与m个滤光片对应的电信号进行合并处理，包括：将与m个滤光片对应的电信号进行叠加，以得到合并后的电信号。

对于本申请实施例第六方面的可能实现方式中名词的概念、具体实现步骤以及每种可能实现方式所带来的有益效果，均可以参考第一方面和第二方面中各种可能的实现方式中的描述，此处不再一一赘述。

第七方面，本申请实施例提供了一种信号处理方法，方法应用于电子设备中，电子设备包括至少一个滤光阵列，滤光阵列为高光谱或多光谱的滤光阵列，滤光阵列包括m个滤光片，方法包括：通过m个滤光片获取目标对象在至少两个不同的光谱波段的光信号；将m个滤光片获取到的光信号转换为电信号；在电子设备处于图像拍摄模式的情况下，对与m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据合并后的电信号，生成目标对象的图像；在电子设备处于非图像拍摄模式的情况下，根据与m个滤光片对应的电信号，生成目标对象的高光谱图像或多光谱图像。

在第七方面的一种可能实现方式中，非图像拍摄模式为以下中的任一种模式：物体识别模式、光源估计模式和深度检测模式。

对于本申请实施例第七方面的可能实现方式中名词的概念、具体实现步骤以及每种可能实现方式所带来的有益效果，均可以参考第一方面和第二方面中各种可能的实现方式中的描述，此处不再一一赘述。

第八方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第六方面或第七方面所述的信号处理方法。

第九方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第六方面或第七方面所述的信号处理方法。

第十方面，本申请实施例提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行上述第六方面或第七方面所述的信号处理方法。

第十一方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1为本申请实施例提供的滤光阵列的一种结构示意图；

图2为本申请实施例提供的滤光阵列中滤光片的三种结构示意图；

图3为本申请实施例提供的滤光阵列中滤光片和光电转换单元之间对应关系的两种关系示意图；

图4为本申请实施例提供的滤光阵列中N个光谱波段与H个光谱通道的光谱波段之间的一种对应关系的示意图；

图5为本申请实施例提供的滤光阵列中N个光谱波段与H个光谱通道的光谱波段之间的另一种对应关系的示意图；

图6为本申请实施例提供的滤光阵列中N个光谱波段与H个光谱通道的光谱波段之间的又一种对应关系的示意图；

图7为本申请实施例提供的滤光阵列中N个光谱波段与H个光谱通道的光谱波段之间的再一种对应关系的示意图；

图8为本申请实施例提供的滤光阵列中一组滤光片中多个滤光片之间位置关系的三种示意图；

图9为本申请实施例提供的滤光阵列中不同组别包括的滤光片之间位置关系的一种示意图；

图10为本申请实施例提供的滤光阵列中不同组别包括的滤光片之间位置关系的另一种示意图；

图11为本申请实施例提供的滤光阵列中不同组别包括的滤光片之间位置关系的一种示意图；

图12为本申请实施例提供的滤光阵列中不同组别包括的滤光片之间位置关系的另一种示意图；

图13为本申请实施例提供的滤光阵列的一种分组示意图；

图14为本申请实施例提供的滤光阵列的另一种分组示意图；

图15为本申请实施例提供的滤光阵列的又一种分组示意图；

图16为本申请实施例提供的滤光阵列的再一种分组示意图；

图17为本申请实施例提供的电子设备的一种结构示意图；

图18为本申请实施例提供的电子设备的另一种结构示意图；

图19为本申请实施例提供的图像传感器的一种结构示意图；

图20为本申请实施例提供的电子设备的又一种结构示意图；

图21为本申请实施例提供的信号处理方法的一种流程示意图。

具体实施方式

本申请实施例提供了一种图像传感器、信号处理方法以及设备，通过将高光谱或多光谱滤光阵列获取的至少两个不同的光谱波段的电信号进行合并，可以将多光谱或高光谱的N个光谱波段映射至H个光谱通道中，H的数量小于N，从而可以实现高光谱或多光谱的滤光阵列与低光谱成像技术的兼容。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“设置”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对申请的限制。

在说明书及权利要求当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及后权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在说明书及权利要求当中所提及的包含或者包括是为一开放式的用语，故应解释成包含但不限定于或者包括但不限于。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请实施例可应用于各种需要进行图像采集的应用场景中。作为示例，例如在智能手机中，手机可以用来对目标对象进行图像拍摄，也可以用来对目标对象进行物质识别，当手机用来进行物质识别时，需要采集到目标对象更丰富的信息量，则手机的图像传感模块中会配置有高光谱或多光谱的滤光阵列，当手机用来对目标对象进行图像拍摄时，手机并不需要获取目标对象在太多光谱谱段的光谱信息，也即手机只需要生成目标对象的RGB图像。作为另一示例，例如在智能汽车中，智能汽车可以用来对周围对象进行图像拍摄，也可以用来通过多光谱信息提取周围对象的本征反射率以进行精确物体识别，需要采集到周围对象更丰富的光谱信息，则智能汽车的图像传感模块中会配置有高光谱或多光谱的滤光阵列，当智能汽车用来对周围对象进行图像拍摄时，智能汽车并不需要获取目标对象在太多光谱谱段的光谱信息，也即智能汽车只需要生成周围对象的RGB图像即可。在前述两种应用场景下，均需要在采用高光谱或多光谱的滤光片阵列获取目标对象的光信号的基础上，兼容RGB成像技术。应理解，此处不对本申请实施例的应用场景进行穷举，前述示出的RGB图像也仅为一种示例。

为了解决上述问题，本申请实施例提供了一种图像传感器，该图像传感器包括至少一个滤光阵列，该滤光阵列为高光谱或多光谱的滤光阵列，也即该滤光阵列能够获取目标对象在N个第一光谱波段的光信号，N为大于3的整数。该滤光阵列中包括m个滤光片和至少一个光电转换单元，m个滤光片能够获取到目标对象在至少两个不同的光谱波段的光信号，光电转换单元能够将滤光片获取到的光信号转换为电信号。当不需要获取目标对象的高光谱或多光谱信息时，将与该m个滤光片对应的电信号进行合并，以得到合并后的电信号，将高光谱或多光谱的滤光阵列中至少两个不同的光谱波段的电信号进行合并处理，从而能够实现N个第一光谱波段的光信号与H个光谱通道之间的映射，H的取值小于N。其中，H的取值可以根据需要输出的图像类型进行设定，若输出的为RGB图像，则H可以为3，3个光谱通道分别用于得到RGB通道中红色通道的光信号、绿色通道的光信号和蓝色通道的光信号，应理解，此处以RGB图像进行举例仅为方便理解本方案，不用于限定本方案。

配置有上述图像传感器的电子设备在得到合并后的电信号之后，还需要对合并后的信号进行光照度估计、去马赛克处理以及降噪处理，能够得到raw格式的图片，接着进行白平衡处理等，才能获取到目标对象的图像。以下先对滤光阵列、图像传感模块、电子设备等硬件的结构进行介绍，再介绍对得到电信号后生成目标对象的图像的过程进行介绍。

进一步地，一个图像传感器中可以包括一个或多个滤光阵列，可以通过在滤光阵列设置合并单元，以实现对与一组滤光片对应的电信号进行合并；也可以为在处理器获取到与每个滤光片对应的电信号之后，再执行合并操作，前述两种情况有所不同，以下分别对前述两种情况进行介绍。

一、在滤光阵列中设置合并单元，以实现对与一组滤光片对应的电信号进行合并

本申请实施例中，请参阅图1，图1为本申请实施例提供的滤光阵列的一种结构示意图。该滤光阵列100为高光谱的滤光阵列，或者，该滤光阵列100为多光谱的滤光阵列。一个滤光阵列100中包括M个滤光片和光电转换模块，光电转换模块包括至少一个光电转换单元和至少一个合并单元。M个滤光片用于获取目标对象在N个不同的光谱波段的光信号，N为大于3的整数。光电转换单元用于将M个滤光片获取到的光信号转换为电信号。

在第一情况下，M个滤光片被划分为K组，K组中的任一组滤光片用于获取目标对象在至少一个光谱波段的光信号，需要说明的是，K组中的每个组别都仅用于获取目标对象在一个光谱波段的光信号的情况是不可以实现的，也即K组中至少一个组别用于获取目标对象在至少两个光谱波段的光信号。K组中的一个组别中包括m个滤光片，m个滤光片用于获取目标对象在至少两个光谱波段的光信号，合并单元用于对与m个滤光片对应的电信号进行合并处理，以得到一个合并后的电信号；也可以称为对与m个滤光片对应的像素单元进行像素合并，以得到一个合并后的电信号。

第一情况指的是不需要高光谱或多光谱的光信号的情况，在前述情况下，合并单元呈现为开启状态。作为示例，例如当手机调用“照相机”功能进行拍照时，也即图像传感器处于图像拍摄模式的情况下，为不需要高光谱或多光谱的光信号的情况，应理解，此处举例仅为方便理解本方案。

本申请实施例中，高光谱成像技术或者多光谱成像技术中包括的滤光阵列100能够获取目标对象在多个光谱波段的光信号，当需要输出非高光谱图像或者多光谱图像时，可以对与至少两个不同的光谱波段对应的电信号进行合并，以得到合并后的电信号，也即可以将多光谱或高光谱的N个光谱波段映射至H个光谱通道中，H的数量小于N，从而可以实现高光谱或多光谱的滤光阵列与低光谱成像技术的兼容；当需要输出的为RGB图像时，H的取值为3，3个光谱通道分别对应与生成RGB图像时所需要的三种类型的电信号，通过前述方式，能够实现在采用高光谱或多光谱的滤光片阵列采集目标对象的光谱信息的情况下，兼容RGB成像技术。

可选地，在第二情况下，合并单元呈关闭状态，光电转换模块用于输出光电转换单元生成的与M个滤光片对应的电信号。其中，第二情况指的是需要高光谱或多光谱的光信号的情况。作为示例，例如滤光阵列100所在的电子设备执行物体识别、深度检测、光源估计或其他需要丰富的光谱信息的任务的情况下，均视为处于第二情况下，也即第二情况下指的是非图像拍摄模式的情况下，非图像拍摄模式可以为以下中的任一种模式：物体识别模式、光源估计模式、深度检测模式或其他模式，此处不进行穷举。物体识别指的是对目标对象的种类进行识别。深度检测指的是对目标对象的深度值进行检测。

当滤光阵列100配置于电子设备中时，若光电转换单元具体表现为光电转换电路，电子设备中还配置有模数转换单元，模数转换单元用于将光电转换单元生成的与M个滤光片对应的模拟电信号转换为数字电信号，以执行后续光照度估计、去马赛克处理、降噪处理以及白平衡处理等操作。

进一步地，若图像传感器中未配置处理器，则图像传感器所在的电子设备可以确定电子设备是否为基于图像拍摄模式来启动图像传感器的。在电子设备确定处于图像拍摄模式的情况下，也即图像传感器工作于图像拍摄模式下，则控制合并单元打开，也即控制合并单元工作，从而合并单元可以对与m个滤光片对应的电信号进行合并处理；在电子设备确定处于非图像拍摄模式的情况下，也即图像传感器工作于非图像拍摄模式下，则控制合并单元关闭，也即控制合并单元不工作，从而图像传感器中的光电转换模块会直接输出与m个滤光片对应的电信号。

若图像传感器中配置有处理器，在电子设备确定处于图像拍摄模式的情况下，电子设备向图像传感器发送第一指令，图像传感器响应于第一指令，控制合并单元打开，也即控制合并单元工作，从而合并单元可以对与m个滤光片对应的电信号进行合并处理。在电子设备确定处于非图像拍摄模式的情况下，电子设备向图像传感器发送第二指令，图像传感器响应于第二指令，控制合并单元关闭，也即控制合并单元不工作，从而图像传感器中的光电转换模块会直接输出与m个滤光片对应的电信号。

本申请实施例中，不仅能够实现在采用高光谱或多光谱的滤光片阵列采集目标对象的光谱信息的情况下，兼容RGB成像技术，而且还能够在光电转换单元将N个光谱波段的光信号转换为电信号之后，直接输出光电转换单元生成的电信号，也即输出的电信号中可以携带高光谱或多光谱信息，扩展了本方案的应用场景。

其中，针对滤光片的结构。滤光片有时也被称为滤色片，是用来选取所需光谱波段的光学器件，滤光片中可以透过哪个光谱波段范围内的光，则视为该滤光片能够获取到目标对象在哪个光谱波段范围内的光信号。

在一种实现方式中，滤光片是由结构光学制作而成的，比如滤光片可以是纳米孔洞结构，可以是波导光栅结构，可以是多层干涉薄膜结构等，此处不做限定。

为了更直观的理解本方案，请参阅图2，图2为本申请实施例提供的滤光阵列100中滤光片的三种结构示意图。图2包括(a)、(b)和(c)三个子示意图，图2的(a)子示意图中，滤光片为纳米孔洞结构，相邻孔洞的表面等离极化激元的干涉作为引发对光的选择透过。纳米孔洞型通过调节金属材料加工的纳米孔的孔径大小，以及纳米孔之间的间距来设计不同的滤光片。图2的(b)子示意图中，滤光片为波导光栅结构。微纳光栅结构引入表面等离激元金属，使得微纳光栅在光学衍射基础上还叠加了表面等离激元的吸收和散射等作用，微纳周期光栅结构可以作为色散媒介对波段进行选择。通过改变光栅结构的周期和占空比等参数，可以控制光的吸收、散射、衍射和偏振等特性，从而实现滤波特性。

图2的(c)子示意图中，滤光片为多层干涉薄膜结构，根据引起光学滤波的主要物理机制的不同，这种结构可分为基于局域表面等离激元共振的金属/介质/金属(metalinsulator metal，MIM)型，和，基于多光束干涉的法布-里珀罗(fabry-perot，FP)型。MIM型滤波结构顶层金属一般具有微纳结构，顶层局域表面等离激元共振和上下两层金属反平行表面电流共同作用，使得MIM结构对特定波段的光具有吸收特性，从而实现滤波功能。FP型滤波结构利用两层半透半反膜构成反射层，中间夹截止层构成谐振器，利用多光束干涉，使干涉相长的光透过或反射。这种模式不需要顶层的纳米结构，一般只考虑各膜层的光学性能和制造工艺。应理解，图2中的示例仅为方便理解本方案，不用于限定本方案。

在另一种实现方式中，滤光片是通过化学染料材料制作而成。具体的，滤光片可以为塑料或玻璃片再加入特种染料制成。进一步地，玻璃片的透射率原本与空气差不多，所有的有色光都可以通过，所以是透明的，但是染了染料后，分子结构变化，折射率也发生变化，对某些色光的通过就有变化了。作为示例，例如红色的塑料滤光片只能让红光通过；作为另一示例，例如一束白光通过蓝色的玻璃滤光片，射出的是一束蓝光。

M为大于或等于N的整数，N为大于3的整数。作为示例，例如N的取值可以为4、6、8、9、12、16、27、36或其他数值等等。M的取值可以4、8、9、12、16、20、36或其他数值等等。可选地，N为大于3且小于或等于25的整数，对应的，M的取值可以为大于3且小于或等于25的整数。其中，N的取值越大，获取到的光谱信息就越丰富，但对应的，生成图像过程的复杂度就越高，则M和N的取值均可以结合实际应用场景中对光谱信息的丰富度的要求程度、处理器的处理能力等因此确定，此处不做限定。

一个滤光阵列100可以为矩形、“L”型、“凹”型、“E”型或其他形状等，此处不做限定。

M个滤光片中每个滤光片与至少一个光电转换单元对应。光电转换单元可以具体表现为光电转换电路，也可以为计算机代码，具体光电转换单元的表现形式，此处不做限定。若光电转换单元具体表现为光电转换电路，则光电转换单元输出的为模拟电信号。在一种情况下，每个滤光片与一个光电转换单元对应，也即每个光电转换单元用于将一个滤光片获取到的光信号转换为电信号。或者，M个滤光片中每个滤光片与多个光电转换单元对应，也即多个光电转换单元共同将一个滤光片获取到的光信号转换为电信号。

为更直观的理解本方案，请参阅图3，图3为本申请实施例提供的滤光阵列中滤光片和光电转换单元之间对应关系的两种关系示意图。图3包括(a)和(b)两个子示意图，图3的(a)子示意图中，光电转换单元的上方设置有滤光片，滤光片和光电转换单元是一一对应的关系，即一个光电转换单元的上方设置一个滤光片。图3的(b)子示意图中，多个光电转换单元的上方设置有一个滤光片，图3中示出的为每两个光电转换单元的上方设置一个滤光片。应理解，图3中的示例仅为方便理解本方案，不用于限定本方案。

一个滤光阵列100中可以包括与K组滤光片对应的K个合并单元，每个合并单元具体可以表现为合并电路，也可以表现为计算机代码，具体合并单元的表现形式，此处不做限定。合并的方式可以为取最大值、取平均值和叠加。可选地，合并单元具体用于将与第一组别中所有滤光片对应的电信号进行叠加，以得到一个合并后的模拟电信号；K个合并单元中每个合并单元均执行前述操作，从而可以得到K个合并后的模拟电信号。K组中的任一组中包括至少两个滤光片，K组中不同组别中包括的滤光片的数量可以相同或不同。本申请实施例中，通过将与每个滤光片对应的电信号进行叠加的方式，来实现对与第一组别中所有滤光片对应的电信号的合并操作，方案简单，易于实现。

当滤光阵列100配置于电子设备中时，电子设备中还可以配置有模数转换单元，模数转换单元用于将合并单元输出的K个合并后的模拟电信号转换为K个合并后的数字电信号，以执行后续光照度估计、去马赛克处理、降噪处理以及白平衡处理等信号处理操作。

通过M个滤光片获取到的目标对象在N个光谱波段的光信号需要映射至H个光谱通道，H个光谱通道为根据RGB通道、RGGB通道、RYB通道、RYYB通道、RWWB通道或RBGIR通道中的任意一种进行划分的。作为示例，例如N个光谱波段的光信号是按照RGB通道进行划分的，N个光谱波段中可以包括R1、R2、G1、G2、G3、G4、B1和B2这6个不同的光谱波段。其中，目标对象在R1和R2这两个光谱波段的光信号被映射至RGB通道中的R通道中，目标对象在G1、G2、G3和G4这四个光谱波段的光信号被映射至RGB通道中的G通道中，目标对象在B1和B2这两个光谱波段的光信号被映射至RGB通道中的B通道中，应理解，此处举例仅为方便理解本方案，不用于限定本方案。本申请实施例中，列举了与K组滤光片对应的H个光谱通道的多种划分方式，提高了本方案的实现灵活性，扩展了本方案的应用场景。

其中，将M个滤光片分为K组，从而M个滤光片获取到的目标对象在N个光谱波段的光信号也被划分为了K组。光谱通道的概念是用于反映滤光阵列100获取光谱波段的能力，滤光阵列100的每一个工作波段都称为一个通道，滤光阵列100能够生成目标对象在几个光谱波段的信息，则称之为几光谱通道的滤光阵列100，由于虽然该滤光阵列100能够获取目标对象在N个光谱波段的光信号，但由于需要将N个光谱波段的光信号映射至H个光谱波段里，也即将N个光谱波段的光信号需要映射至H个光谱通道。

K为大于或等于1且小于N的整数，作为示例，例如K的取值可以为3、4或5等，具体K的取值需要结合实际应用场景中需要输出什么类型的图像决定，此处不做限定。R为红色通道，G为绿色通道，B为蓝色通道，Y为黄色通道，W为白色通道，IR为近红外通道。与白色通道对应的滤光片可以为全透明的透光片，通过全透明的透光片能够采集到目标对象的轮廓信息。

进一步地，上述K组滤光片对应的为H个光谱波段，不同组别的滤光片可以对应相同的光谱波段，也即K组中不同组别的滤光片可以对应不同种类的光谱通道，也可以对应相同种类的光谱通道。作为示例，例如将通过M个滤光片获取到的目标对象在N个光谱波段的光信号映射至RGGB通道时，也即K的取值为4，H的取值为3，4个组别分别映射至R通道、G通道、G通道和B通道，与R通道对应的光谱波段为波长为0.630-0.680的红色可见光波段，与G通道对应的光谱波段为波长为0.525-0.600的绿色可见光波段，与B通道对应的光谱波段为波长为0.450-0.515的蓝色可见光波段；则两组映射至G通道的滤光片对应的光谱波段相同。应理解，此处举例仅为方便理解K组滤光片与H个光谱波段之间的对应关系，不用于限定本方案。

接下来介绍N个光谱波段和H个光谱通道之间的对应关系。与H个光谱通道对应的H个光谱波段能够组成第一光谱波段。在一种情况下，N个光谱波段位于第一光谱波段范围内，N个光谱波段为对H个光谱波段的细分，或者，N个光谱波段是H个光谱波段的子光谱波段。则m个滤光片与所述H个光谱通道中的第一光谱通道具有映射关系，所述第一光谱通道为所述H个光谱通道中的一个光谱通道，所述第一光谱通道对应第一光谱波段，与所述m个滤光片对应的所述至少两个不同的光谱波段位于所述第一光谱波段范围内。

为更为直观的理解本方案，请参阅图4至图7，图4至图7为本申请实施例提供的滤光阵列中N个光谱波段与H个光谱通道的光谱波段之间的四种对应关系的示意图，图4至图7中均以H个光谱通道对应于3个光谱波段为例。先参阅图4，图4以H的取值为3，N的取值为12为例，3个光谱通道分别用于采集目标对象在蓝色可见光的光谱波段、绿色可见光的光谱波段和红色可见光的光谱波段的光信号，通过M个滤光片能够获取到目标对象在12个光谱波段中的光信号，12个光谱波段均位于待映射的3个光谱波段内，也即N个光谱波段均位于第一光谱波段内，图4中以与绿色可见光的光谱波段对应4个子光谱波段(也即图4中的G1、G2、G4和G4)为例。虽然图4中未示出，蓝色可见光的光谱波段和红色可见光的光谱波段与子光谱波段之间的对应关系，与，绿色可见光的光谱波段与子光谱波段之间的对应关系类似。

继续参阅图5，图5以H的取值为3，N的取值为6为例，3个光谱通道分别用于采集目标对象在蓝色可见光的光谱波段、绿色可见光的光谱波段和红色可见光的光谱波段的光信号，通过M个滤光片能够获取到目标对象在6个光谱波段中的光信号，6个光谱波段均位于待映射的3个光谱波段内。蓝色可见光的光谱波段、绿色可见光的光谱波段和红色可见光的光谱波段均各自对应2个子光谱波段。

继续参阅图6，图6以H的取值为3，N的取值为8为例，3个光谱通道分别用于采集目标对象在蓝色可见光的光谱波段、绿色可见光的光谱波段和红色可见光的光谱波段的光信号，通过M个滤光片能够获取到目标对象在8个光谱波段中的光信号，8个光谱波段均位于待映射的3个光谱波段内。绿色可见光的光谱波段对应4个子光谱波段，蓝色可见光的光谱波段和红色可见光的光谱波段均各自对应2个子光谱波段。

继续参阅图7，图7以H的取值为3，N的取值为8为例，3个光谱通道分别用于采集目标对象在蓝色可见光的光谱波段、绿色可见光的光谱波段和红色可见光的光谱波段的光信号，通过M个滤光片能够获取到目标对象在8个光谱波段中的光信号，8个光谱波段均位于待映射的3个光谱波段内。蓝色可见光的光谱波段、绿色可见光的光谱波段和红色可见光的光谱波段均各自对应3个子光谱波段。应理解，图4至图7中的示例均仅为方便理解本方案，不用于限定本方案。

综上可知，K组中的第三组别的滤光片对应H个光谱通道中的第二光谱通道，第三组别为K组中的任意一个组别，第二光谱通道为H个光谱通道中第三组别所对应的光谱通道，第三组别的滤光片用于获取目标对象在至少一个光谱波段的光信号，与第三组别对应的至少一个光谱波段均位于第二光谱通道的光谱波段范围内。

在另一种情况下，N个光谱波段中大于或等于预设比例的光谱波段位于第一光谱波段范围内，与m个滤光片对应的所述至少两个不同的光谱波段中大于或等于预设比例的光谱波段位于第一光谱波段范围内。其中，预设比例的取值可以为百分之九十八、百分之九十五、百分之九十或其他数值等，也即N个光谱波段中大部分的光谱波段均位于第一光谱波段内。本申请实施例中，与m个滤光片对应的至少两个不同的光谱波段位于第一光谱波段范围内，或者，与m个滤光片对应的至少两个不同的光谱波段中大于或等于预设比例的光谱波段位于第一光谱波段范围内，也即N个光谱波段与映射后的H个光谱波段的相似性很高，有利于提高最后获取到的图像的质量。

在另一种情况下，N个光谱波段与第一光谱波段的关系为随机的，或者，N个光谱波段中小于预设比例的光谱波段位于第一光谱波段范围内。

进一步地，K组滤光片共用于获取目标图像在H个光谱波段中的光信号，K组中任一组滤光片用于获取目标对象在至少一个光谱波段的光信号，与不同组别对应的光谱波段的数量相同，或者，与不同组别对应的光谱波段的数量不同。

更进一步地，在一种实现方式中，N的取值为12，K组中每组滤光片用于获取目标对象在4个光谱波段的光谱信息。由于与不同组别对应的光谱波段可以相同，则本实现方式中K的取值可以为3、4、5或其他数值等。作为示例，请参阅图4，具体对图4的理解可参阅上述描述，此处不做赘述。

在另一种实现方式中，N的取值为6，K组中每组滤光片用于获取目标对象在2个光谱波段的光谱信息。同理，本实现方式中K的取值可以为3、4、5或其他数值等。作为示例，请参阅图5，具体对图5的理解可参阅上述描述，此处不做赘述。

在另一种实现方式中，N的取值为8，K组包括至少一个第一组别和至少一个第二组别，第一组别中的滤光片用于获取目标对象在4个光谱波段的光谱信息，第二组别中的滤光片用于获取目标对象在2个光谱波段的光谱信息，第一组别和第二组别为K组中不同的两个组别。作为示例，请参阅图6，具体对图6的理解可参阅上述描述，此处不做赘述。

本申请实施例中，提供了N的不同取值下，不同组别对应的光谱波段的分配情况，提高了本方案的实现灵活性。此外，由于与同一组别对应的光谱波段的数量越多，该组别中获取到的光谱信息就越丰富，但后续处理过程中需要的计算机资源就越多。而在与K组对应的H个通道中，不同通道的重要程度可能不同，则为与重要程度高的通道对应的组别分配更多数量的子光谱波段，为与重要程度低的通道对应的组别分配数量较少的子光谱波段，有利于在节省计算机资源的前提下，增加获取到的光谱信息的丰富度。

作为示例，例如当需要生成RGB图像时，与K组对应的三个通道分别为R通道、G通道和B通道，在实际成像中，G通道是主要的亮度通道，也是决定图像的颜色还原性效果的重要信息通道，也即G通道的重要度要高于R通道和B通道，则可以为与G通道具有映射关系的组别分配更多数量的子光谱波段，应理解，此处举例仅为方便理解本方案。当与K组对应的三个通道分别为RYB通道、RWWB通道或RBGIR通道时，可按照实际情况调整N个子光谱波段与K个光谱通道之间的映射关系。

K组中任一组滤光片中均包括至少一个滤光片，前述至少一个滤光片中包括的为相邻的滤光片。本申请实施例中，通过一个组别获取到的光信号被映射为一个通道的光信号，由于在RGB、RYB、RWWB或RBGIR等成像技术中，与同一个通道对应的至少一个滤光片中包括的为相邻的滤光片，也即在滤光片位置分配的维度增加与RGB、RYB、RWWB或RBGIR等成像技术的相似性，有利于降低后续信号处理过程中的难度。

为更直观的理解本方案，请参阅图8，图8为本申请实施例提供的滤光阵列中一组滤光片中多个滤光片之间位置关系的三种示意图，A1和A2两组中包括的均为相邻的滤光片，A3示出的一组滤光片中存在不相邻的滤光片，应理解，图8中的示例均仅为方便理解本方案，不用于限定本方案。

针对K组滤光片中不同组别包括的滤光片之间的位置关系。在一种实现方式中，K组滤光片中不同组别包括的滤光片完全不同，也即K组滤光片中不同组别包括的滤光片不存在任何重叠的滤光片。本申请实施例中，由于K组滤光片中不同组别包括的滤光片不存在任何重叠的滤光片，则每个滤光片获取到的信息都不会被重复利用，不存在信息冗余的问题，有利于节省计算机资源。

为更直观的理解本方案，请参阅图9和图10，图9和图10为本申请实施例提供的滤光阵列中不同组别包括的滤光片之间位置关系的两种示意图，先参阅图9，图9和图10中均以K的取值为4为例，左上角的四个滤光片归属于第一个组别，右上角的四个滤光片归属于第二个组别，左下角的四个滤光片归属于第三个组别，右下角的四个滤光片归属于第四个组别，四个组别包括的滤光片中不存在任何重叠的滤光片。再参阅图10，C1、C2、C3、C4分别代表四个组别，四个组别包括的滤光片中不存在任何重叠的滤光片。应理解，图9和图10中的示例均仅为方便理解本方案，不用于限定本方案。

在另一种实现方式中，K组滤光片中不同组别之间存在相同的滤光片且不完全相同，也即不同组别之间存在至少一个重叠的滤光片。本申请实施例中，由于K组滤光片中不同组别之间存在相同的滤光片，空间结构更为紧凑，有利于降低后续信号处理过程的难度。

为更直观的理解本方案，请参阅图11和图12，图11和图12为本申请实施例提供的滤光阵列中不同组别包括的滤光片之间位置关系的两种示意图。先参阅图11，图11中以M的取值为9，N的取值为8，K的取值为4为例，D1、D2、D3、D4分别代表四个组别，但D1所代表的组别和D3所代表的组别中均包括标号为2的滤光片，D2所代表的组别和D4所代表的组别中均包括标号为6的滤光片，也即D1所代表的组别和D3所代表的组别中存在相同的滤光片且不完全相同，D2所代表的组别和D4所代表的组别中存在相同的滤光片且不完全相同。

继续参阅图12，图12中以M的取值为9，N的取值为6，K的取值为4为例，E1、E2、E3、E4分别代表四个组别，E1所代表的组别和E2所代表的组别中均包括E5中的两个滤光片，E1所代表的组别和E3所代表的组别中均包括E6中的两个滤光片，E1所代表的组别和E4所代表的组别中均包括标号为4的滤光片，E2所代表的组别和E3所代表的组别中均包括标号为4的滤光片，E2所代表的组别和E4所代表的组别中均包括E7中的两个滤光片，也即E1、E2、E3、E4所代表的组别之间存在相同的滤光片且不完全相同，应理解，图10和图11中的示例均仅为方便理解本方案，不用于限定本方案。

K组中任一组滤光片的形状可以为矩形、竖“一”字型、横“一”型、正“L”型、反“L”型、倒“L”型、“凹”型或其他形状等，具体每组滤光片呈现的形状，此处不做限定。本申请实施例中，由于RGB通道、RGGB通道、RYB通道、RYYB通道、RWWB通道或RBGIR通道等技术中，每组滤光片的形状为矩形，K组中任一组滤光片的形状也设置为矩形，有利于降低映射过程的难度。

为更直观地理解本方案，请参阅上述图10至图11，图10和图11中每组滤光片的形状均为矩形，图10中每组滤光片的形状为竖“一”字型或横“一”型，图11中D1代表的组别中一组滤光片的形状为倒“L”型，D2代表的组别中一组滤光片的形状为反“L”型、D3和D4代表的组别中一组滤光片的形状为“L”型，应理解，此处举例仅为更方便的理解本方案，不用于限定本方案。

更进一步地，以下公开滤光阵列100的具体几种不同的实现方式。

在一种实现方式中，K组滤光片中不同组别包括的滤光片完全不同，M的取值为16，N的取值为12，K的取值为4，K组中每组滤光片中包括4个滤光片，K组中每组滤光片用于获取目标对象在4个光谱波段的光谱信息。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中，当H取3时，3个光谱通道为RGB通道、RGGB通道、RYB通道、RYYB通道或RWWB通道中的任意一种，当H取4时，4个光谱通道为RBGIR通道或其他类型的光谱通道。

为更直观的理解本方案，请参阅图4和图9，在本实现方式中，12个子光谱波段与3个光谱通道之间的对应关系如图4所示，4组滤光片的分组情况如图9所示，图9中以H取3为例，4组滤光片映射至R、G和B三种通道中，图9中的G1、G2、G3和G4分别能够采集目标对象在4个光谱波段的光信号，与G1、G2、G3和G4对应的4个光谱波段均位于绿色可见光的光谱波段内。对应的，图9中的R1、R2、R3和R4分别能够采集目标对象在4个光谱波段的光信号，与R1、R2、R3和R4对应的4个光谱波段均位于红色可见光的光谱波段内。图9中的B1、B2、B3和B4分别能够采集目标对象在4个光谱波段的光信号，与B1、B2、B3和B4对应的4个光谱波段均位于蓝色可见光的光谱波段内，应理解，RGGB通道也可以替换为RYYB通道或RWWB通道，或者，在其他实施例中H的取值还可以为4，上述举例仅为方便理解本方案，不用于限定本方案。

在另一种实现方式中，K组滤光片中不同组别包括的滤光片完全不同，M的取值为16，N的取值为6，K的取值为4，K组中每组滤光片用于获取目标对象在2个光谱波段的光谱信息。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中。

为更直观的理解本方案，请参阅图13，图13为本申请实施例提供的滤光阵列的一种分组示意图。图13包括左子示意图和右子示意图，左子示意图与上述图5一样，示出了6个子光谱波段与3个光谱通道之间的对应关系，此处不做赘述。图13的右子示意图中示出的为4组滤光片的分组情况，左上角的四个滤光片归属于第一个组别，右上角的四个滤光片归属于第二个组别，左下角的四个滤光片归属于第三个组别，右下角的四个滤光片归属于第四个组别，四个组别不存在任何重叠的滤光片。图13中以H取3为例，4组滤光片映射至R、G和B三种通道中，图13中的G1和G2分别能够采集目标对象在2个光谱波段的光信号，与G1和G2对应的2个光谱波段均位于绿色可见光的光谱波段内。对应的，图13中的R1和R2分别能够采集目标对象在2个光谱波段的光信号，与R1和R2对应的2个光谱波段均位于红色可见光的光谱波段内。图13中的B1和B2分别能够采集目标对象在2个光谱波段的光信号，与B1和B2对应的2个光谱波段均位于蓝色可见光的光谱波段内。应理解，RGGB通道也可以替换为RYYB通道或RWWB通道，或者，在其他实施例中H的取值还可以为4，上述举例仅为方便理解本方案，不用于限定本方案。

在另一种实现方式中，K组滤光片中不同组别包括的滤光片完全不同，M的取值为16，N的取值为8，K的取值为4，K组包括第一组别和第二组别，第一组别中的滤光片用于获取目标对象在4个光谱波段的光谱信息，第二组别中的滤光片用于获取目标对象在2个光谱波段的光谱信息，第一组别和第二组别为K组中不同的两个组别。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中。

为更直观的理解本方案，请参阅图14，图14为本申请实施例提供的滤光阵列的一种分组示意图。图14包括左子示意图和右子示意图，左子示意图与上述图6一样，示出了8个子光谱波段与3个光谱通道之间的对应关系，此处不做赘述。图14的右子示意图中示出的为4组滤光片的分组情况，左上角的四个滤光片归属于第一个组别，右上角的四个滤光片归属于第二个组别，左下角的四个滤光片归属于第三个组别，右下角的四个滤光片归属于第四个组别，四个组别不存在任何重叠的滤光片。图14中以H取3为例，4组滤光片映射至R、G和B三种通道中，图14中的G1、G2、G3和G4分别能够采集目标对象在4个光谱波段的光信号，与G1、G2、G3和G4对应的4个光谱波段均位于绿色可见光的光谱波段内。对应的，图14中的R1和R2分别能够采集目标对象在2个光谱波段的光信号，与R1和R2对应的2个光谱波段均位于红色可见光的光谱波段内。图14中的B1和B2分别能够采集目标对象在2个光谱波段的光信号，与B1和B2对应的2个光谱波段均位于蓝色可见光的光谱波段内，应理解，RGGB通道也可以替换为RYYB通道或RWWB通道，或者，在其他实施例中H的取值还可以为4，上述举例仅为方便理解本方案，不用于限定本方案。

本申请实施例中，提供了滤光阵列100的多种具体实现方式，提高了本方案的实现灵活性，扩展了本方案的应用场景，且上述几种实现方式中不同组别包括的滤光片完全不同，避免了对容易信息的处理，避免了计算机资源的浪费。

在另一种实现方式中，K组滤光片中不同组别包括的滤光片中存在相同的滤光片且不完全相同，M的取值为9，N的取值为6，K的取值为4，K组中每组滤光片用于获取目标对象在4个光谱波段的光谱信息，K组中每组滤光片中包括4个滤光片，K组中一组滤光片呈矩阵型。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中。

为更直观的理解本方案，请参阅图12，图12中E1、E2、E3、E4分别代表四个组别，图12中的标号1-6分别代表6个子光谱波段，E1代表的组别所包括的滤光片用于获取目标对象在3、2、5和4这4个光谱波段的光信号，对于E2、E3和E4的理解可参阅前述对于E1的说明，此处不做赘述，图12中以H的取值为3为例，E1和E4映射的是相同的光谱通道，应理解，图12中的示例仅为方便理解本方案，不用于限定本方案。

本申请实施例中，又提供了滤光阵列100的一种具体实现方式，进一步提高了本方案的实现灵活性；此外，不同组别包括的滤光片中存在相同的滤光片且不完全相同，降低了后续信号处理过程的难度。

在另一种实现方式中，K组滤光片中不同组别包括的滤光片中存在相同的滤光片且不完全相同，M的取值为9，N的取值为9，K的取值为4，K组中每组滤光片中包括4个滤光片，K组中每组滤光片用于获取目标对象在3个光谱波段的光谱信息，K组中一组滤光片呈L形、倒L形或反L形。H的取值为3或4，也即K组滤光片映射至3种光谱通道或4种光谱通道中。

为更直观的理解本方案，请参阅图11，图11中D1、D2、D3、D4分别代表四个组别，图11中的标号1-8分别代表8个子光谱波段，D1代表的组别所包括的滤光片用于获取目标对象在4、5和2这3个光谱波段的光信号，对于D2、D3和D4的理解可参阅前述对于D1的说明，此处不做赘述，图11中仍以H的取值为3为例，D1和D4映射的是相同的光谱通道，但与相同的光谱通道对应的为两组不同的光谱波段，应理解，图11中的示例仅为方便理解本方案，不用于限定本方案。

在另一种实现方式中，K组滤光片中不同组别包括的滤光片完全不同，M的取值为8，N的取值为6，K的取值为4，K组中每组滤光片中包括2个滤光片，K组中每组滤光片用于获取目标对象在2个光谱波段的光谱信息。

为更直观的理解本方案，请参阅图10和图5，图10中C1、C2、C3、C4分别代表四个组别，图10中的标号1-6分别代表6个子光谱波段，C1代表的组别所包括的滤光片用于获取目标对象在3和4这2个光谱波段的光信号，对于C2、C3和C4的理解可参阅前述对于C1的说明，此处不做赘述，图10和图5中仍以H的取值为3为例，C1和C4映射的是相同的光谱通道，应理解，图10和图5中的示例仅为方便理解本方案，不用于限定本方案。

本申请实施例中，又提供了滤光阵列100的两种具体实现方式，进一步提高了本方案的实现灵活性。

可选地，当H个通道中不包括W通道(也即白色通道)时，滤光阵列100中还可以包括全透明透光片，全透明透光片位于滤光阵列100的中心区域。具体的，在一种实现方式中，M的取值为8，K的取值为4，K组中每组滤光片中包括2个滤光片，全透明透光片位于8个滤光片的中心位置。为更直观的理解本方案，请参阅图15，图15为本申请实施例提供的滤光阵列的一种分组示意图。图15中4个组别的分组方式可参阅上述对图10的介绍，此处不做赘述。图15与图10的区别在于，在8个滤光片的中心位置设置有全透明透光片，应理解，图15中的示例仅为方便理解本方案，不用于限定本方案。

在一种实现方式中，M的取值为16，K的取值为4，K组中每组滤光片中包括4个滤光片，全透明透光片位于8个滤光片的中心位置。为更直观的理解本方案，请参阅图16，图16为本申请实施例提供的滤光阵列的一种分组示意图。F1、F2、F3、F4分别代表四个组别，在16个滤光片的中心位置设置有全透明透光片，应理解，图16中的示例仅为方便理解本方案，不用于限定本方案。

更进一步地，以下公开滤光阵列100的又一种实现方式。N的取值为6，K的取值为4，M的取值为8，滤光阵列100还包括全透明透光片，全透明透光片位于所述8个滤光片的中心区域。本申请实施例中，通过全透明透光片可以获取到目标对象的轮廓信息，为后续信号处理过程中进行马赛克处理时提供辅助；且通过全透明透光片采集到的光信号可以作为光源光谱的辅助传感器，为后续信号处理过程中进行白平衡处理时提供辅助。

滤光阵列100所在的电子设备在得到数字电信号或者得到合并后的数字电信号之后，需要进行信号处理，以生成目标对象的图像。前述信号处理过程包括但不限于以下步骤：光照度估计、去马赛克(demosaicing)处理、降噪以及白平衡处理等。需要说明的是，在实际情况中，信号处理过程可以包括更多或更少的步骤，此处不做限定。

其中，光照度估计是为了使信号满足预设的标准(internationalstandardization organization，ISO)。作为示例，例如电子设备为相机，该标准为相机的感光度的标准，为了达到预设标准，相机的处理器会将合并后的数字信号进行增益。

根据每个像素单元周围的颜色来近似恢复它原来的值，最后得到彩色图像的过程叫做去马赛克。去马赛克有不同的实现方法，简单的内插法，作为示例，例如包括绿色过滤片的像素单元精确测量了绿色成分，包括绿色过滤片的像素单元的红色数值可由相邻两个红色像素单元内插计算出来。

降噪的方法由很多，比如噪音往往比较突兀，因此可以使用模糊来减小噪音。但模糊也会影响细节，因此考虑将去掉部分中信号较强的区域补回图像。

通过白平衡处理可以修正色彩偏差，比如以H个光谱通道为RGB通道为例，白平衡也就是矫正RGB相等的点(白点)，可以通过对三个通道分别进行放缩实现矫正。白平衡处理就是针对不同色温条件下，通过调摄像头内部的色彩电路使拍摄出来的影像抵消偏色，更接近人眼的视觉习惯。白平衡也可以简单地理解为在任意色温条件下，摄像头所拍摄的标准白色经过电路的调整，使之成像后仍然为白色。需要说明的是，上述过程仅为示例性说明，在实际应用场景中可以包括更多的步骤。通过上述方法对通过第一类型的滤光阵列获取的数据进行处理，对第二类型的滤光阵列获取的数据进行处理，并对处理后的数据进行融合，就可以获取的高光谱高分辨率的图像。示例性的，下面给出一种对处理后的数据进行融合，获取高光谱高分辨率的图像的方法。

二、在滤光阵列中实现对与一组滤光片对应的电信号进行合并

本申请实施例中，请参阅图17，图17为本申请实施例提供的电子设备的一种结构示意图。电子设备2包括至少一个滤光阵列20和处理器21，滤光阵列20与图1至图17描述的滤光阵列100的区别在于，本实施例中的滤光阵列20不包括滤光阵列100中合并单元，其余部分可参阅上述描述，此处不做赘述。电子设备2具体可以表现为以下中任一种设备：图像传感器、摄像机、移动终端、智能汽车、监控设备。

处理器21用于在第一情况下，对与m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据合并后的电信号，生成目标对象的图像；处理器用于在第二情况下，根据与m个滤光片对应的电信号，生成目标对象的高光谱图像或多光谱图像。本申请实施例中，不在滤光阵列中增设合并单元，而是通过处理器在数据处理过程中对与一组中所有滤光片对应的电信号进行合并处理，提供了在采用高光谱或多光谱的滤光片阵列采集目标对象的光谱信息的情况下，兼容RGB成像技术的又一种实现方案，提高了本方案的实现灵活性；且本实现方案中，不需要进行复杂的信号处理，有利于降低成本。

具体的，请参阅图18，图18为本申请实施例提供的电子设备的一种结构示意图。电子设备2还包括模数转换单元22，模数转换单元22用于将滤光阵列20中光电转换单元生成的模拟电信号转换为数字电信号。处理器21具体用于在第一情况下，对与m个滤光片对应的数字电信号进行叠加，也即将与m个滤光片对应的数字电信号进行相加，以得到一个合并后的数字电信号。处理器21对K组中每组滤光片均执行前述操作，以得到K个合并后的数字电信号，进而可以根据K个合并后的数值电信号进行后续信号处理，以生成目标对象的图像。其中，一个数字电信号具体可以表现为一个数值，数字电信号的取值范围与模数转换的位宽有关系，若位宽为8，则数字电信号的取值范围为0-255。若位宽为12，则数字电信号的取值范围为0-4096。

在第二情况下，模数转换单元22将滤光阵列20中光电转换单元生成的模拟电信号转换为数字电信号之后，处理器21不需要对数据电信号进行合并处理，而是直接根据获取到的携带有N个光谱波段的信息的数字电信号，生成目标对象的高光谱图像或多光谱图像。

进一步地，对于第一情况和第二情况的介绍，可参阅图1至图16中的描述，此处不做赘述。

在图1至图18所对应的实施例的基础上，本申请实施例还提供一种图像传感器，请参阅图19，图19为本申请实施例提供的图像传感器的一种结构示意图。图像传感器10包括至少一个滤光阵列100，不同的滤光阵列100之间固定连接，滤光阵列100可参阅上述图1至图16对应的实施例中的描述，此处不做赘述。可选地，图像传感器10还可以包括低光谱的滤光阵列，滤光阵列100和低光谱的滤光阵列之间固定连接。

图像传感器10可以配置于各种类型的电子设备中，电子设备为以下中任一种设备：摄像机、移动终端、智能汽车、监控设备。

进一步可选地，图像传感器还可以包括处理器，处理器用于在第一情况下，基于滤光阵列100生成的合并后的电信号，生成目标对象的图像。可选地，处理器11用于基于每个滤光阵列100生成的合并后的电信号和低光谱的滤光阵列生成的电信号，生成目标对象的图像。处理器还用于在第二情况下，基于滤光阵列100中的光电转换单元生成的与M个滤光片对应的电信号，生成目标对象的高光谱图像或多光谱图像。具体实现过程可参阅上述图1至图16对应的实施例中的描述，此处不做赘述。

本申请实施例还提供一种电子设备，请参阅图20，图20为本申请实施例提供的电子设备的一种结构示意图。电子设备1包括图像传感器10和处理器11，图像传感器10包括至少一个滤光阵列100，滤光阵列100可参阅上述图1至图16对应的实施例中的描述，此处不做赘述。可选地，图像传感器10还可以包括低光谱的滤光阵列，滤光阵列100和低光谱的滤光阵列之间固定连接。

处理器11用于在第一情况下，基于滤光阵列100生成的合并后的电信号，生成目标对象的图像。可选地，处理器11用于基于每个滤光阵列100生成的合并后的电信号和低光谱的滤光阵列生成的电信号，生成目标对象的图像。处理器11还用于在第二情况下，基于滤光阵列100中的光电转换单元生成的与M个滤光片对应的电信号，生成目标对象的高光谱图像或多光谱图像。具体实现过程可参阅上述图1至图16对应的实施例中的描述，此处不做赘述。

其中，处理器21和处理器11均包括但不限于中央处理器(central processingunit，CPU)，网络处理器(network processor，NP)，专用集成电路(application-specificintegrated circuit，ASIC)或者可编程逻辑器件(programmable logic device，PLD)中的一个或多个。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。

本申请实施例还提供一种信号处理方法，方法应用于电子设备2中，电子设备2包括至少一个滤光阵列，前述滤光阵列可以为图1至图16中的滤光阵列100，也可以为图17和图18中的滤光阵列20，滤光阵列100和滤光阵列20的具体结构可参阅上述图1至图16对应实施例中的描述。请参阅图21，图21为本申请实施例提供的信号处理方法的一种流程示意图。本申请实施例提供的信号处理方法可以包括：

2101、电子设备通过M个滤光片获取目标对象在N个光谱波段的光信号。

2102、电子设备将M个滤光片获取到的光信号转换为电信号。

本申请实施例中，对于步骤2102至步骤2102的具体实现方式可参阅上述图1至图18对应实施例中的描述。若本实施例中的滤光阵列为滤光阵列100，则步骤2102中的电信号指的是光电转换单元生成的电信号。若本实施例中的滤光阵列为滤光阵列20，则步骤2102中的电信号指的可以为模数转换单元生成的电信号。

2103、在第一情况下，电子设备对与m个滤光片对应的电信号进行合并处理，以得到合并后的电信号。

本申请实施例中，对于步骤2102至步骤2103的具体实现方式可参阅上述图1至图18对应实施例中的描述。

其中，M个滤光片被划分为K组，K组中的任一组中包括至少两个滤光片，K组中的任一组滤光片用于获取目标对象在一个光谱波段的光信号，需要说明的是，K组中的每个组别都仅用于获取目标对象在一个光谱波段的光信号的情况是不可以实现的，也即K组中至少一个组别用于获取目标对象在至少两个光谱波段的光信号。K组中的一个组别中包括m个滤光片，m个滤光片用于获取目标对象在至少两个光谱波段的光信号。

具体的，若本实施例中的滤光阵列为图1至图16中的滤光阵列100，则步骤2103可以包括：在第一情况下，电子设备通过滤光阵列中的合并单元对与m个滤光片对应的电信号进行叠加，以得到一个合并后的电信号，电子设备通过滤光阵列中的合并单元对K组中每个组别均执行前述操作，得到K个合并后的电信号。

若本实施例中的滤光阵列为图17和图18中的滤光阵列20，则步骤2103可以包括：在第一情况下，电子设备通过处理器对与m个滤光片对应的电信号进行叠加，以得到一个合并后的电信号，电子设备通过处理器对K组中每个组别均执行前述操作，得到K个合并后的电信号。

2104、电子设备基于合并后的电信号，生成目标对象的图像。

本申请实施例中，对于步骤2104的具体实现方式可参阅上述图1至图18对应实施例中的描述，此处不做赘述。

2105、在第二情况下，电子设备根据与m个滤光片对应的电信号，生成目标对象的高光谱图像或多光谱图像。

本申请实施例中，在第二情况下，电子设备不再对与m个滤光片对应的电信号进行合并处理。对于步骤2104和2105中，电子设备根据电信号生成目标对象的图像的过程已经在图1至图16对应的实施例中进行了描述，电子设备中处理器与图像传感器之间的交互过程，以及步骤2101至2105中各种名词的概念均可参阅上述实施例中的描述，此处均不做赘述。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序，当其在计算机上运行时，使得计算机执行如前述图21所示实施例描述的方法中处理器21所执行的步骤。

本申请实施例中还提供一种计算机程序，当其在计算机上运行时，使得计算机执行如前述图21所示实施例描述的方法中处理器21所执行的步骤。

本申请实施例中还提供一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行如前述图21所示实施例描述的方法中处理器21所执行的步骤。

本申请实施例提供的处理器21和处理器11具体均可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使芯片执行上述前述图21所示实施例描述的方法中电子设备所执行的步骤，或者，执行如上述图21所示实施例描述的方法中输入设备所执行的步骤。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CLU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序的形式实现。

所述计算机程序包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (23)

1.一种图像传感器，其特征在于，所述图像传感器包括至少一个滤光阵列，所述滤光阵列为高光谱或多光谱的滤光阵列，所述滤光阵列包括m个滤光片和光电转换模块，所述光电转换模块包括光电转换单元和合并单元；

所述m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；

所述光电转换单元用于将所述m个滤光片获取到的光信号转换为电信号；

所述合并单元用于对与所述m个滤光片所对应的电信号进行合并处理，以得到合并后的电信号；

所述光电转换模块，用于输出所述合并后的电信号，所述合并后的电信号用于生成目标对象的图像。

2.根据权利要求1所述的图像传感器，其特征在于，

所述合并单元，具体用于将与所述m个滤光片对应的电信号进行叠加，以得到所述合并后的电信号。

3.根据权利要求1或2所述的图像传感器，其特征在于，

所述滤光阵列包括M个滤光片，所述M个滤光片被划分为K组，所述m个滤光片归属于所述K组中的一组滤光片，所述K为大于1的整数；

所述K组滤光片与H个光谱通道具有映射关系，所述H个光谱通道为根据RGB通道、RGGB通道、RYB通道、RYYB通道、RWWB通道或RBGIR通道中的任意一种进行划分的。

4.根据权利要求3所述的图像传感器，其特征在于，

所述m个滤光片与所述H个光谱通道中的第一光谱通道具有映射关系，所述第一光谱通道为所述H个光谱通道中的一个光谱通道，所述第一光谱通道对应第一光谱波段；

与所述m个滤光片对应的所述至少两个不同的光谱波段位于所述第一光谱波段范围内，或者，与所述m个滤光片对应的所述至少两个不同的光谱波段中大于或等于预设比例的光谱波段位于所述第一光谱波段范围内。

5.根据权利要求1或2所述的图像传感器，其特征在于，所述m个滤光片组成的一组滤光片的形状为矩形。

6.根据权利要求1或2所述的图像传感器，其特征在于，所述m个滤光片为相邻的滤光片。

7.根据权利要求3所述的图像传感器，其特征在于，

所述K组滤光片中不同组别包括的滤光片完全不同。

8.一种电子设备，其特征在于，所述电子设备包括至少一个滤光阵列和处理器，所述滤光阵列为高光谱或多光谱的滤光阵列，所述滤光阵列包括m个滤光片和光电转换单元；

所述m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；

所述光电转换单元用于将所述m个滤光片获取到的光信号转换为电信号；

所述处理器用于对与所述m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据所述合并后的电信号，生成目标对象的图像。

9.根据权利要求8所述的电子设备，其特征在于，

所述处理器，具体用于将与所述m个滤光片对应的电信号进行叠加，以得到所述合并后的电信号。

10.根据权利要8或9所述的电子设备，其特征在于，

所述滤光阵列包括M个滤光片，所述M个滤光片被划分为K组，所述m个滤光片归属于所述K组中的一组滤光片，所述K为大于1的整数；

所述K组滤光片与H个光谱通道具有映射关系，所述H个光谱通道为根据RGB通道、RGGB通道、RYB通道、RYYB通道、RWWB通道或RBGIR通道中的任意一种进行划分的。

11.根据权利要求10所述的电子设备，其特征在于，

所述m个滤光片与所述H个光谱通道中的第一光谱通道具有映射关系，所述第一光谱通道为所述H个光谱通道中的一个光谱通道，所述第一光谱通道对应第一光谱波段；

与所述m个滤光片对应的所述至少两个不同的光谱波段位于所述第一光谱波段范围内，或者，与所述m个滤光片对应的所述至少两个不同的光谱波段中大于或等于预设比例的光谱波段位于所述第一光谱波段范围内。

12.根据权利要求8或9所述的电子设备，其特征在于，所述电子设备为以下中任一种设备：图像传感器、摄像机、移动终端、智能汽车、监控设备。

13.一种图像传感器，其特征在于，所述图像传感器包括至少一个滤光阵列，所述滤光阵列为高光谱或多光谱的滤光阵列，所述滤光阵列包括m个滤光片和光电转换模块；

所述m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；

所述光电转换模块用于在所述图像传感器处于图像拍摄模式的情况下，将所述m个滤光片获取到的光信号转换为电信号，对与所述m个滤光片所对应的电信号进行合并处理，以得到合并后的电信号，并输出所述合并后的电信号，所述合并后的电信号用于生成目标对象的图像；

所述光电转换模块用于在所述图像传感器处于非图像拍摄模式的情况下，将所述m个滤光片获取到的光信号转换为电信号，并输出与所述m个滤光片对应的电信号，以生成目标对象的高光谱图像或目标对象的多光谱图像。

14.根据权利要求13所述的图像传感器，其特征在于，所述非图像拍摄模式为以下中的任一种模式：物体识别模式、光源估计模式和深度检测模式。

15.一种电子设备，其特征在于，所述电子设备包括至少一个滤光阵列和处理器，所述滤光阵列为高光谱或多光谱的滤光阵列，所述滤光阵列包括m个滤光片和光电转换单元；

所述m个滤光片用于获取目标对象在至少两个不同的光谱波段的光信号；

所述光电转换单元用于将所述m个滤光片获取到的光信号转换为电信号；

所述处理器用于在所述电子设备处于图像拍摄模式的情况下，对与所述m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据所述合并后的电信号，生成目标对象的图像；

所述处理器用于在所述电子设备处于非图像拍摄模式的情况下，根据与所述m个滤光片对应的电信号，生成目标对象的高光谱图像或多光谱图像。

16.根据权利要求15所述的电子设备，其特征在于，所述非图像拍摄模式为以下中的任一种模式：物体识别模式、光源估计模式和深度检测模式。

17.一种电子设备，其特征在于，所述电子设备包括图像传感器和处理器，所述图像传感器包括至少一个滤光阵列，

所述图像传感器为权利要求1至权利要求7中任一项所述的图像传感器；

所述处理器用于根据每个滤光阵列输出的电信号，生成目标对象的图像。

18.根据权利要求17所述的电子设备，其特征在于，所述电子设备为以下中任一种设备：摄像机、移动终端、智能汽车、监控设备。

19.一种信号处理方法，其特征在于，所述方法应用于电子设备中，所述电子设备包括至少一个滤光阵列，所述滤光阵列为高光谱或多光谱的滤光阵列，所述滤光阵列包括m个滤光片，所述方法包括：

通过所述m个滤光片获取目标对象在至少两个不同的光谱波段的光信号；

将所述m个滤光片获取到的光信号转换为电信号；

对与所述m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据所述合并后的电信号，生成目标对象的图像。

20.根据权利要求19所述的方法，其特征在于，所述对与所述m个滤光片对应的电信号进行合并处理，包括：

将与所述m个滤光片对应的电信号进行叠加，以得到所述合并后的电信号。

21.一种信号处理方法，其特征在于，所述方法应用于电子设备中，所述电子设备包括至少一个滤光阵列，所述滤光阵列为高光谱或多光谱的滤光阵列，所述滤光阵列包括m个滤光片，所述方法包括：

通过所述m个滤光片获取目标对象在至少两个不同的光谱波段的光信号；

将所述m个滤光片获取到的光信号转换为电信号；

在所述电子设备处于图像拍摄模式的情况下，对与所述m个滤光片对应的电信号进行合并处理，以得到合并后的电信号，根据所述合并后的电信号，生成目标对象的图像；

在所述电子设备处于非图像拍摄模式的情况下，根据与所述m个滤光片对应的电信号，生成所述目标对象的高光谱图像或多光谱图像。

22.根据权利要求21所述的方法，其特征在于，所述非图像拍摄模式为以下中的任一种模式：物体识别模式、光源估计模式和深度检测模式。

23.一种计算机程序，其特征在于，当其在计算机上运行时，使得计算机执行如权利要求19或20所述的方法，或者，使得计算机执行如权利要求21或22所述的方法。

Images