CN117130082A - 多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备 - Google Patents

多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备 Download PDF

Info

Publication number
CN117130082A
CN117130082A CN202310289731.1A CN202310289731A CN117130082A CN 117130082 A CN117130082 A CN 117130082A CN 202310289731 A CN202310289731 A CN 202310289731A CN 117130082 A CN117130082 A CN 117130082A
Authority
CN
China
Prior art keywords
filter
band
array
subunits
subunit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310289731.1A
Other languages
English (en)
Inventor
眭新雨
叶凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310289731.1A priority Critical patent/CN117130082A/zh
Publication of CN117130082A publication Critical patent/CN117130082A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G03B11/04—Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Abstract

本申请提供一种多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备，涉及图像处理技术领域。本方案用于解决电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件所导致的电子设备功耗以及配置成本较高的问题。多光谱滤光片阵列包括多个滤光片子阵列；每个滤光片子阵列包括按照行列形式矩阵排列的多个像素单元；一部分像素单元包括单波段的滤光片子单元，另一部分像素单元包括单波段的滤光片子单元和多个光谱感知滤光片子单元。该些光谱感知滤光片子单元被设置为用于采集光线信号多个波段光谱的多组光谱感知滤光片子单元。这样，一个多光谱滤光片阵列能同时实现单波段成像结构件和多光谱成像结构件的功能，降低功耗及配置成本。

Description

多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备。
背景技术
颜色是由光线信号的波长决定的，波长不同的光线信号,引起人眼的颜色感觉不同。具体的，人眼对400至700纳米(Nanometer，nm)之间的波长敏感，这被称为可见光谱，在此可见光谱范围内，人眼可以感受到从紫色到红色的各种颜色。在此可见光谱范围外，光的波长可以比人眼可见的更短(紫外)或更长(红外)。
多波段(multiband)，也即多光谱，是电子设备对物体反射的光信号中多个波段(三个波段以上)光线信号的摄取，得到的多个波段的光谱。例如，图1示出了一种光谱示意图。如图1中的(a)所示，以可见光为例，从单波段光谱来看，传统的三原色(Red，Green，Blue，RGB)成像组件可以检测到红色(1)，绿色(2)和蓝色(3)三个光学频谱波段的信息。如图1中的(b)所示，以可见光为例，从多光谱上看，多光谱成像结构件可以检测到多种色彩对应的多个波段(例如1至6)的光谱。多个波段的光谱可以反应物体更多的颜色特征。随着影像技术的不断发展，在个人移动终端、虚拟现实技术(Virtual Reality，VR)眼镜、扫地机器人、工农医检测、安防等领域的成像应用中对多光谱环境感知的需求愈加旺盛。
目前，单波段成像结构件用于采集光线信号中三原色分别对应的单个波段的光谱，多光谱成像结构件用于采集光线信号的多个波段的光谱，基于多个波段的光谱的成像，在清晰度、对比度等成像效果方面优于仅仅基于三原色分别对应的单个波段的光谱的成像。为了基于多个波段的光谱得到更好的成像效果，则电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件。这样，会增加电子设备的功耗以及电子设备的配置成本。
发明内容
本申请实施例提供一种多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备，用于解决现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件所导致的电子设备功耗以及电子设备的配置成本较高的问题。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种多光谱滤光片阵列，包括：多个滤光片子阵列，多个滤光片子阵列按照行列形式的矩阵排列；每个滤光片子阵列包括多个第一像素单元和多个第二像素单元，多个第一像素单元和多个第二像素单元按照行列形式的矩阵排列；每个第一像素单元包括至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元和至少一个单波段的蓝色滤光片子单元；至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元和至少一个单波段的蓝色滤光片子单元按照行列形式的矩阵排列；每个第二像素单元包括至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元、至少一个单波段的蓝色滤光片子单元以及至少一个光谱感知滤光片子单元；至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元、至少一个单波段的蓝色滤光片子单元以及至少一个光谱感知滤光片子单元按照行列形式的矩阵排列；
其中，每个滤光片子阵列包括多组光谱感知滤光片子单元，每组光谱感知滤光片子单元包括至少一个光谱感知滤光片子单元，多组光谱感知滤光片子单元用于采集光线信号的多个波段的光谱，每组光谱感知滤光片子单元和每个波段一一对应。
本申请实施例提供的多光谱滤光片阵列既包括三原色(红、绿和蓝)分别对应的单波段的滤光片子单元，又包括光谱感知滤光片子单元。这样，三原色(红、绿和蓝)分别对应的单波段的滤光片子单元可以用于采集光线信号中三原色分别对应的单个波段的光谱，以及多组光谱感知滤光片子单元可以用于采集光线信号的多个波段的光谱。如此，本申请实施例提供的一个多光谱滤光片阵列能同时实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能，也就是说，本申请实施例提供的一个多光谱滤光片阵列能同时实现单波段成像结构件和多光谱成像结构件的功能。与现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件相比，本申请实施例只需要配置一个多光谱滤光片阵列就能实现前述两个结构件的功能，如此，降低了电子设备的配置成本。更进一步，与电子设备需要驱动单波段成像结构件和多光谱成像结构件这两个结构件，实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能相比，本申请实施例中，电子设备可以仅驱动一个多光谱滤光片阵列就能实现前述两个结构件的功能，如此，降低了电子设备的功耗。
在第一方面的一种可能的实现方式中，至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元和至少一个单波段的蓝色滤光片子单元按照行列形式的矩阵排列，包括：每个第一像素单元包括一个单波段的红色滤光片子单元、两个单波段的绿色滤光片子单元和一个单波段的蓝色滤光片子单元，两个单波段的绿色滤光片子单元按照行列形式设置在矩阵的一条对角线上，一个单波段的红色滤光片子单元和一个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。
在第一方面的一种可能的实现方式中，至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元、至少一个单波段的蓝色滤光片子单元以及至少一个光谱感知滤光片子单元按照行列形式的矩阵排列，包括：每个第二像素单元包括一个单波段的红色滤光片子单元、一个单波段的绿色滤光片子单元、一个单波段的蓝色滤光片子单元以及一个光谱感知滤光片子单元；一个单波段的绿色滤光片子单元和一个光谱感知滤光片子单元按照行列形式设置在矩阵的一条对角线上，一个单波段的红色滤光片子单元和一个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。相当于光谱感知滤光片替代两个单波段的绿色滤光片中的任意一个设置。
绿色滤光片数量较多，绿色滤光片数量是红色滤光片数量的两倍，绿色滤光片数量是蓝色滤光片数量的两倍。牺牲绿色滤光片并不会对拍摄出的彩色图像造成较大的影响。因此，光谱感知滤光片子单元可以替代两个单波段的绿色滤光片子单元中的任意一个设置。这样，同一个多光谱滤光片阵列既有彩色成像能力，又能获得多光谱。
在第一方面的一种可能的实现方式中，至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元和至少一个单波段的蓝色滤光片子单元按照行列形式的矩阵排列，包括：每个第一像素单元包括四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元和四个单波段的蓝色滤光片子单元；八个单波段的绿色滤光片子单元平均分两组分别按照行列形式设置在矩阵的一条对角线上，四个单波段的红色滤光片子单元和四个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。
在第一方面的一种可能的实现方式中，至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元、至少一个单波段的蓝色滤光片子单元以及至少一个光谱感知滤光片子单元按照行列形式的矩阵排列，包括：每个第二像素单元包括四个单波段的红色滤光片子单元、e个单波段的绿色滤光片子单元、f个单波段的蓝色滤光片子单元以及g个光谱感知滤光片子单元，其中，e为大于等于1且小于等于8的整数，f和g分别为大于等于1且小于等于4的整数，且e、f和g之和等于12；四个单波段的红色滤光片子单元、e个单波段的绿色滤光片子单元、f个单波段的蓝色滤光片子单元和g个光谱感知滤光片子单元按照行列形式的矩阵排列。相当于光谱感知滤光片替代单波段的绿色滤光片和单波段的蓝色滤光片中的任意一种或两种设置。
绿色滤光片数量较多，绿色滤光片数量是红色滤光片数量的两倍，绿色滤光片数量是蓝色滤光片数量的两倍。牺牲绿色滤光片并不会对拍摄出的彩色图像造成较大的影响。因此，光谱感知滤光片子单元可以替代四个单波段的绿色滤光片子单元中的任意一个设置。这样，同一个多光谱滤光片阵列既有彩色成像能力，又能获得多光谱。
在第一方面的一种可能的实现方式中，f为4。相当于光谱感知滤光片替代八个单波段的绿色滤光片中的任意一个或多个设置。
蓝色滤光片对彩色图像的贡献较低，牺牲蓝色滤光片并不会对拍摄出的彩色图像造成较大的影响。因此，光谱感知滤光片子单元替代四个单波段的蓝色滤光片子单元中的任意一个或多个设置。这样，同一个多光谱滤光片阵列既有彩色成像能力，又能获得多光谱。
在第一方面的一种可能的实现方式中，e小于8，f小于4。相当于光谱感知滤光片子单元可以替代八个单波段的绿色滤光片子单元中的任意一个或多个设置，光谱感知滤光片子单元替代四个单波段的蓝色滤光片子单元中的任意一个或多个设置。
绿色滤光片数量较多，绿色滤光片数量是红色滤光片数量的两倍，绿色滤光片数量是蓝色滤光片数量的两倍。牺牲绿色滤光片并不会对拍摄出的彩色图像造成较大的影响。且蓝色滤光片对彩色图像的贡献较低，牺牲蓝色滤光片并不会对拍摄出的彩色图像造成较大的影响。因此，光谱感知滤光片子单元替代八个单波段的绿色滤光片子单元中的任意一个或多个设置，光谱感知滤光片子单元替代四个单波段的蓝色滤光片子单元中的任意一个或多个设置。这样，同一个多光谱滤光片阵列既有较好的彩色成像能力，又能获得多光谱。
在第一方面的一种可能的实现方式中，滤光片子阵列中所有光谱感知滤光片子单元的数量与滤光片子阵列中所有滤光片数量的比值在预设比例范围，例如，预设比例范围可以为3％-6％。
多光谱滤光片阵列中光谱感知滤光片子单元的数量不宜设置过多，这样，可以在一定程度上避免多光谱滤光片阵列中光谱感知滤光片子单元的数量设置太多，则电子设备拍摄彩色图像的过程中可能会因为缺失较多像素点的完整彩色信息(R、G、B三原色分别对应的单波段的光谱)，导致无法拍摄到质量较好的彩色图像的问题。为了解决该问题，本申请实施例提供的滤光片子阵列中所有光谱感知滤光片子单元的数量与滤光片子阵列中所有滤光片数量的比值在预设比例范围。这样，本申请实施例提供的多光谱滤光片阵列可以通过降低像素点完整彩色信息的缺失数量，达到更进一步提高彩色成像的目的。
第二方面，提供了一种多光谱成像组件，该多光谱成像组件包括：感光元阵列；感光元阵列用于采集光线并将光线信号转化为用于表示光线信号强度的电信号；和第一方面中任一种可能的实现方式中的多光谱滤光片阵列；该多光谱滤光片阵列设置于感光元阵列上。
本申请实施例提供的多光谱成像组件既包括三原色(红、绿和蓝)分别对应的单波段的滤光片子单元，又包括光谱感知滤光片子单元。这样，三原色(红、绿和蓝)分别对应的单波段的滤光片子单元可以用于采集光线信号中三原色分别对应的单个波段的光谱，以及多组光谱感知滤光片子单元可以用于采集光线信号的多个波段的光谱。如此，本申请实施例提供的一个多光谱成像组件能同时实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能，也就是说，本申请实施例提供的一个多光谱成像组件能同时实现单波段成像结构件和多光谱成像结构件的功能。与现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件相比，本申请实施例只需要配置一个多光谱成像组件就能实现前述两个结构件的功能，如此，降低了电子设备的配置成本。更进一步，与电子设备需要驱动单波段成像结构件和多光谱成像结构件这两个结构件，实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能相比，本申请实施例中，电子设备可以仅驱动一个多光谱成像组件就能实现前述两个结构件的功能，如此，降低了电子设备的功耗。
第三方面，提供了一种摄像头，摄像头包括如第一方面中任一种可能的实现方式，或如第二方面中任一种可能的实现方式。
第四方面，提供了一种电子设备，包括摄像头，摄像头包括如第一方面中任一种可能的实现方式，或如第二方面中任一种可能的实现方式。
其中，第三方面和第四方面中任一种设计方式所带来的技术效果可参见第一方面和第二方面中不同设计方式所带来的技术效果，此处不再赘述。
附图说明
图1示出了一种光谱示意图；
图2示出了同色异谱示意图；
图3示出了一种手机的示意图；
图4示出了一种手机的示意图；
图5a示出了一种手机的结构示意图；
图5b示出了一种摄像头的截面示意图；
图6根据本申请的一些实施例，示出了一种手机中设置的前述多光谱滤光片阵列和感光元阵列组合结构(多光谱成像组件)的示意图；
图7示出了一种多光谱滤光片阵列的结构示意图；
图8示出了一种滤光片子阵列的结构示意图；
图9示出了一种本申请实施例提供的滤光片子阵列的结构示意图；
图10示出了一种本申请实施例提供的光谱感知滤光片子单元的透射光谱图；
图11示出了一种本申请实施例提供的光谱感知滤光片子单元的透射光谱图；
图12示出了一种现有技术中的多光谱滤光片阵列的结构示意图；
图13示出了一种本申请实施例提供的滤光片子阵列的结构示意图；
图14示出了一种本申请实施例提供的光谱感知滤光片子单元的透射光谱图；
图15示出了又一种本申请实施例提供的滤光片子阵列的结构示意图；
图16示出了又一种本申请实施例提供的滤光片子阵列的结构示意图；
图17示出了又一种本申请实施例提供的滤光片子阵列的结构示意图；
图18示出了一种根据环境光的多光谱调整显示屏的色温以匹配环境光的流程示意图；
图19示出了一种优化显示屏的流程示意图；
图20示出了一种手机所显示的相机应用的UI界面示意图；
图21示出了一种可以采集多光谱的多光谱成像组件的工作流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。
在本申请实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请实施例中，“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
为了便于更好的说明本申请的技术方案，下面对本申请涉及到的术语做简要概述。
(1)光谱(Spectrum)：是复色光经过色散系统(如棱镜、光栅)分光后，被色散分离成的单色光，通过成像系统，投射在探测器上成为按波长(或频率)大小依次排列的图案，既称为光学频谱。
(2)多光谱技术(Multispectral)：是指能同时获取多个光学频谱波段(通常大于等于3个)，并可以在可见光的基础上向红外光和紫外光两个方向扩展的光谱探测技术。多光谱可以反应更加丰富的色彩细节信息。例如，图2示出了同色异谱示意图。
(3)同色异谱:同色异谱是指颜色相同，而光谱组成不同，例如，图2示出了同色异谱示意图。如图2中的(a)所示，该黄色是黄色波段的光谱反应的色彩。如图2中的(b)所示，该黄色是红色波段的光谱和绿色波段的光谱的混合反应的色彩；或者同色异谱是指在光谱上不同的刺激可以产生相同的视觉反应。具体的，某两种物质在一种光源下呈现相同的颜色，但在另一种光源下，却呈现不同的颜色。
在视觉上人眼无法看出同一颜色的具有的不同光谱，电子设备可以利用前述介绍的多光谱技术可以检测出同一颜色的具有的不同光谱。而且，本申请实施例中，电子设备可以利用多光谱技术检测出光线信号的光谱，利用多光谱辅助摄像头拍摄的彩色图像完成白平衡校正功能，去除环境色温引起的偏色现象等，可以恢复拍摄物体本来的颜色进行显示，提高电子设备的成像效果。可以理解的是，感光元阵列可以感受光强度，而无法感知频率或波段反应的颜色，只能拍出黑白照片，也就是灰度图。若是需要拍摄出彩色图像，则感光元阵列上需要设置能够感知颜色的滤光片阵列。因此，在能够拍摄彩色图像的电子设备中，一般会在感光元阵列上设置滤光片阵列。一般情况下，滤光片阵列中仅仅设置单波段滤光片子单元，每个单波段滤光片子单元包括三原色对应的滤波片子单元：单波段的红色滤光片子单元、单波段的红色滤光片子单元、单波段的红色滤光片子单元。这三种滤光片子单元用于采集光线信号中三原色分别对应的单个波段的光谱的滤波片。
为了解决现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件所导致的电子设备功耗以及电子设备的配置成本较高的问题，本申请提供的多光谱滤光片阵列除了设置单波段滤光片子单元，还设置多个光谱感知滤光片子单元，多个光谱感知滤光片子单元可以分为多组光谱感知滤光片子单元，该多组光谱感知滤光片子单元被设置为用于采集光线信号的多个波段的光谱。这是因为，本申请实施例提供的多光谱滤光片阵列既包括三原色(红、绿和蓝)分别对应的单波段的滤光片子单元，又包括光谱感知滤光片子单元。这样，三原色(红、绿和蓝)分别对应的单波段的滤光片子单元可以用于采集光线信号中三原色分别对应的单个波段的光谱，以及多组光谱感知滤光片子单元可以用于采集光线信号的多个波段的光谱。如此，本申请实施例提供的一个多光谱滤光片阵列能同时实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能，也就是说，本申请实施例提供的一个多光谱滤光片阵列能同时实现单波段成像结构件和多光谱成像结构件的功能。与现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件相比，本申请实施例只需要配置一个多光谱滤光片阵列就能实现前述两个结构件的功能，如此，降低了电子设备的配置成本。更进一步，与电子设备需要驱动单波段成像结构件和多光谱成像结构件这两个结构件，实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能相比，本申请实施例中，电子设备可以仅驱动一个多光谱滤光片阵列就能实现前述两个结构件的功能，如此，降低了电子设备的功耗。本申请实施例提供的多光谱滤光片阵列可以应用于各种可以成像的电子设备。多光谱滤光片阵列可以应用在电子设备中的摄像头中，将外界的光信号转换为电子设备可以识别的电子信号，用于实现快照式拍照、摄影等功能。
示例性的，本申请实施例中的电子设备可以是手机、无人机、汽车、可穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、增强现实(augmented reality，AR)、虚拟现实(virtual reality，VR)、混合现实(Mixed Reality,MR)设备等具备上述功能的设备，本申请实施例对该电子设备的具体形态不作特殊限制。
本申请实施例提供的多光谱滤光片阵列可以设置于电子设备的摄像头中。摄像头可以是电子设备中的前置摄像头和/或后置摄像头。例如，图3示出了一种手机的示意图。如图3所示，手机100可以包括前置摄像头1931，本申请实施例提供的多光谱滤光片阵列可以设置于手机100的前置摄像头1931中。又如，图4示出了一种手机的示意图。如图4所示，手机100还可以包括后置摄像头1932，本申请实施例提供的多光谱滤光片阵列可以设置于手机100的后置摄像头1932中。
请继续参阅图4，为了方便后文各实施例的描述，针对本实施例以及下文各实施例所述的手机100建立XYZ坐标系。具体的，定义手机100的厚度方向为Z轴方向，与Z轴方向垂直的平面为XY平面；在XY平面内，手机100宽度方向为X轴方向，手机100长度方向为Y轴方向，X轴方向与Y轴方向垂直。可以理解的是，手机100的坐标系设置可以根据实际需要进行灵活设置，在此不做具体限定。
本申请实施例以电子设备为手机为例进行说明。图5a示出了一种手机的结构示意图。如图5a所示，手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏(触摸屏)194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。
可以理解的是，本实施例示意的结构并不构成对手机100的具体限定。在另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传播器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机100的结构限定。在另一些实施例中，手机100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为手机100供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。在一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如，可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。
移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括WLAN(如无线保真(wirelessfidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigationsatellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(nearfield communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于等于1的正整数。图5b示出了一种摄像头的截面示意图。如图5b所示，摄像头193可以包括镜头193-1、固定器193-2、多光谱滤光片阵列193-3、感光元阵列193-4、印制电路板(Printed Circuit Board，PCB)193-5、数字信号处理器(Digital Signal Processing，DSP)(图中未示出)等部件。
摄像头193的工作原理：拍摄景物通过镜头193-1，将生成的光学图像投射到传感器(感光元阵列193-4)上，然后光学图像被转换成电信号，电信号再经过模数转换变为数字信号，数字信号经过DSP加工处理，再被送到处理器110中进行处理，最终转换成显示屏194上能够看到的图像。
下面分别介绍镜头193-1、固定器193-2、多光谱滤光片阵列193-3、感光元阵列193-4、PCB板193-5的功能。
镜头193-1是将拍摄景物在传感器上成像的器件，它通常由几片透镜组成。从材质上看，摄像头193的镜头193-1可分为塑胶透镜和玻璃透镜。镜头193-1有两个较为重要的参数：光圈和焦距。其中，光圈是安装在镜头193-1上控制通过镜头193-1到达传感器的光线多少的装置，除了控制通光量，光圈还具有控制景深的功能，光圈越大，景深越小，平时在拍人像时背景朦胧效果就是小景深的一种体现。光圈越大，景深越小，主体背景虚化越大；光圈越小，景深越大，主体前后越清晰。焦距是从镜头193-1的中心点到传感器平面上所形成的清晰影像之间的距离。
固定器193-2用于固定镜头193-1。
多光谱滤光片阵列193-3的作用是把色彩滤掉，保证每个感光元(二极管)采集到的光是单色的。滤成单色光的原因是：因为感光二极管只能输出不同的电平，也就是只能表示光的强度而已，没办法表示颜色信息，例如，黄色光和红色光，只要对应的亮度相同，二极管都会输出一样的电平信息。
感光元阵列193-4是摄像头193组成的核心。它是一种用来接收通过镜头193-1的光线，并且将这些光信号转换成为电信号的装置。感光元的类型可以是各种光电二极管，例如，电荷耦合元件(Charge-coupled Device，CCD)类型的，互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)类型的。
PCB板193-5用于连接感光元阵列193-4以及DSP。
多光谱滤光片阵列和感光元阵列之间层叠设置。例如，图6根据本申请的一些实施例，示出了一种手机中设置的前述多光谱滤光片阵列和感光元阵列组合结构(多光谱成像组件)的示意图。如图6所示，在该图中，多光谱成像组件a1包括多光谱滤光片阵列a11和感光元阵列a12。可以理解的是，因为页面及画图受限，图6中只示例性示出了8*8尺寸的多光谱滤光片阵列a11，需要说明的是，在实际产品中，多光谱滤光片阵列a11一般为比图6中尺寸更大的结构。
感光元阵列a12包括在X轴方向依次排列设置的多列感光元，以及在Y轴方向依次排列设置的多行感光元,感光元用于采集光线并将光线信号转化为用于表示光线信号强度的电信号。也即感光元阵列a12包括多个感光元，多个感光元按照行列形式的矩阵排列。
多光谱滤光片阵列a11设置于感光元阵列a12上。多光谱滤光片阵列a11包括与每个感光元对应设置的多个滤光片子单元。多光谱滤光片阵列a11包括多个滤光片子阵列a111，多个滤光片子阵列a111按照行和列阵列排布。例如，基于图6的结构，图7示出了一种多光谱滤光片阵列的结构示意图。如图7所示，多光谱滤光片阵列a11包括多个滤光片子阵列a111，多个滤光片子阵列a111按照行和列阵列排布。
每个滤光片子阵列a111包括多个像素单元a1111，多个像素单元a1111按照行和列阵列排布。为了解决前述背景技术中的技术问题，本申请提供的多光谱滤光片阵列中的部分像素单元a1111除了设置三原色对应的滤波片子单元(单波段的红色滤光片子单元、单波段的红色滤光片子单元、单波段的红色滤光片子单元)之外，还设置多个光谱感知滤光片子单元，多个光谱感知滤光片子单元可以分为多组光谱感知滤光片子单元，多组光谱感知滤光片子单元被设置为用于采集光线信号的多个波段的光谱。
本申请实施例提供的多光谱成像组件既包括三原色(红、绿和蓝)分别对应的单波段的滤光片子单元，又包括光谱感知滤光片子单元。这样，三原色(红、绿和蓝)分别对应的单波段的滤光片子单元可以用于采集光线信号中三原色分别对应的单个波段的光谱，以及多组光谱感知滤光片子单元可以用于采集光线信号的多个波段的光谱。如此，本申请实施例提供的一个多光谱成像组件能同时实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能，也就是说，本申请实施例提供的一个多光谱成像组件能同时实现单波段成像结构件和多光谱成像结构件的功能。与现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件相比，本申请实施例只需要配置一个多光谱成像组件就能实现前述两个结构件的功能，如此，降低了电子设备的配置成本。更进一步，与电子设备需要驱动单波段成像结构件和多光谱成像结构件这两个结构件，实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能相比，本申请实施例中，电子设备可以仅驱动一个多光谱成像组件就能实现前述两个结构件的功能，如此，降低了电子设备的功耗。
DSP芯片又叫数字信号处理芯片：它的功能是通过一系列复杂的数学算法运算，对数字图像信号进行优化处理，最后把处理后的信号传到显示器上。
DSP芯片包括图像信号处理ISP(Image Signal Processing)芯片。ISP芯片的作用就是对从多光谱成像组件得到信号进行运算处理，最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果，在显示屏194上呈现优化色彩、色调、对比度、去除噪点后的图像。
手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。该显示屏194包括显示面板。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。
其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，业务抢占功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。
手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口，N为大于等于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。
本申请实施例提供的多光谱滤光片阵列既包括三原色(红、绿和蓝)分别对应的单波段的滤光片子单元，又包括光谱感知滤光片子单元。这样，三原色(红、绿和蓝)分别对应的单波段的滤光片子单元可以用于采集光线信号中三原色分别对应的单个波段的光谱，以及多组光谱感知滤光片子单元可以用于采集光线信号的多个波段的光谱。如此，本申请实施例提供的一个多光谱滤光片阵列能同时实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能，也就是说，本申请实施例提供的一个多光谱滤光片阵列能同时实现单波段成像结构件和多光谱成像结构件的功能。与现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件相比，本申请实施例只需要配置一个多光谱滤光片阵列就能实现前述两个结构件的功能，如此，降低了电子设备的配置成本。更进一步，与电子设备需要驱动单波段成像结构件和多光谱成像结构件这两个结构件，实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能相比，本申请实施例中，电子设备可以仅驱动一个多光谱滤光片阵列就能实现前述两个结构件的功能，如此，降低了电子设备的功耗。下面具体介绍几种本申请实施例提供的多光谱滤光片阵列的结构。
首先，先介绍一个最小单元(像素)中有一个单波段的红色滤光片子单元、两个单波段的绿色滤光片子单元和一个单波段的蓝色滤光片子单元的滤光片阵列，以及基于该结构介绍本申请实施例提供的多光谱滤光片阵列的结构。
图8示出了一种现有技术中滤光片子阵列的结构示意图。该滤光片子阵列a111为拜耳阵列，在一般情况下，该拜耳阵列是电荷耦合元件(charge coupled device，CCD)或者互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)器件作为光传感器的时候，采集数字图像时用到的一种结构。
如图8所示，滤光片子阵列a111为16*32尺寸的像素块结构，需要说明的是，16*32只是为了说明滤光片子阵列a111结构的示例性尺寸，在其他实施例中，滤光片子阵列a111还可以为其他尺寸的像素块结构，在此不作限制。
滤光片子阵列a111包括多个像素单元a1111，多个像素单元a1111按照行和列阵列排布。每个像素单元a1111包括一个单波段的红色滤光片子单元、两个单波段的绿色滤光片子单元和一个单波段的蓝色滤光片子单元，即一个单波段的红色滤光片子单元、两个单波段的绿色滤光片子单元和一个单波段的蓝色滤光片子单元为一组。一个单波段的红色滤光片子单元与一个单波段的绿色滤光片子单元在X轴方向相邻设置,前述单波段的红色滤光片子单元与另一个单波段的绿色滤光片子单元在Y轴方向相邻设置,前述单波段的绿色滤光片子单元与一个单波段的蓝色滤光片子单元在X轴方向相邻设置,前述另一个单波段的绿色滤光片子单元与前述单波段的蓝色滤光片子单元在Y轴方向相邻设置。多个像素单元a1111沿X轴方向的行和Y轴方向的列阵列排布。其中，相邻是指：两个滤光片或者两个像素单元a1111的间距小于预设值、大于或者等于0。
需要说明的是，为了便于说明滤光片子阵列a111的结构，本申请将光谱感知通道定义为只要Y轴方向上具有光谱感知滤光片子单元，且Y轴方向上具有的光谱感知滤光片子单元用于采集光线信号同一波段的光谱，则该列可以被称为光谱感知通道。例如，基于图8的结构，图9示出了一种本申请实施例提供的滤光片子阵列的结构示意图。如图9所示，滤光片子阵列a111包括6个光谱感知通道，该6个光谱感知通道用于采集光线信号6个波段(波段1至波段6)的光谱。
滤光片子阵列a111的6个光谱感知通道可以采集光线信号的6个波段的光谱。图10示出了一种本申请实施例提供的光谱感知滤光片子单元的透射光谱图。如图10所示，横坐标多为波长(频率)，纵坐标为光线强度，6组光谱感知滤光片子单元可以采集光线信号的6个波段的光谱，6个光谱感知通道中每个通道对应一个波段，6个波段覆盖400nm至800nm波长。在其他一些实施例中，6个波段也可以覆盖420nm至750nm波长，但不限于此。
前述实施例中，滤光片子阵列a111有6个光谱感知通道。在其他一些实施例中，滤光片子阵列a111还可以包括其他数量的光谱感知通道，例如12个光谱感知通道，在此不做限制。例如，图11示出了一种本申请实施例提供的光谱感知滤光片子单元的透射光谱图。如图11所示，12个光谱感知通道可以采集光线信号的12个波段的光谱，12个波段覆盖400nm至800nm波长。在其他一些实施例中，12个波段也可以覆盖420nm至750nm波长，但不限于此。
在前述描述中，Y轴方向上具有的光谱感知滤光片子单元用于采集光线信号同一波段的光谱称为一个光谱感知通道，可以采集光线信号同一波段的光谱的光谱感知滤光片子单元可以为一组光谱感知滤光片子单元。在其他实施例，无论光谱感知滤光片子单元在滤光片子阵列中的排布如何，均可以将用于采集光线信号同一波段的光谱的多个光谱感知滤光片子单元称为一个光谱感知通道，或者称为一组光谱感知滤光片子单元。在一些实施例中，为了获取光线信号的多光谱，滤光片子阵列中的多个光谱感知滤光片子单元可以分为多组光谱感知滤光片子单元，并将多组光谱感知滤光片子单元设置为用于采集光线信号的多个波段的光谱，每个波段覆盖预设范围的波长，每组光谱感知滤光片子单元和每个波段一一对应，在此不做限制。
需要说明的是，一般情况下，绿色滤光片数量较多，绿色滤光片数量是红色滤光片数量的两倍，绿色滤光片数量是蓝色滤光片数量的两倍。牺牲绿色滤光片并不会对拍摄出的彩色图像造成较大的影响。因此，在图8这种结构的基础上，光谱感知滤光片子单元可以替代两个单波段的绿色滤光片子单元中的任意一个设置。这样，同一个多光谱滤光片阵列既有彩色成像能力，又能获得多光谱。
例如，请继续参阅图9，滤光片子阵列a111包括多个像素单元a1111(第一像素单元)和多个像素单元A1111(第二像素单元)，多个像素单元a1111和多个像素单元A1111按照行列形式的矩阵排列，多个像素单元A1111间隔排列。每个像素单元a1111包括一个单波段的红色滤光片子单元、两个单波段的绿色滤光片子单元和一个单波段的蓝色滤光片子单元，两个单波段的绿色滤光片子单元按照行列形式设置在矩阵的一条对角线上，一个单波段的红色滤光片子单元和一个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上；每个像素单元A1111包括一个单波段的红色滤光片子单元、一个单波段的绿色滤光片子单元、一个单波段的蓝色滤光片子单元以及一个光谱感知滤光片子单元；一个单波段的绿色滤光片子单元和一个光谱感知滤光片子单元按照行列形式设置在矩阵的一条对角线上，一个单波段的红色滤光片子单元和一个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。
具体的，滤光片子阵列a111内每个滤光片子单元对应的像素坐标可以从(1，1)编号至(16，32)。滤光片子阵列a111中光谱感知滤光片的坐标为：
滤光片子阵列a111中第四行和第八行的6个光谱感知滤光片子单元为：(3,4),(7,4),(11,4),(5,8),(9,8),(13,8)；
滤光片子阵列a111中第十二行和第十六行的6个光谱感知滤光片子单元的坐标为：(3,12),(7,12),(11,12),(5,16),(9,16),(13,16)；
滤光片子阵列a111中第二十行和第二十四行的6个光谱感知滤光片子单元的坐标为：(3,20),(7,20),(11,20),(5,24),(9,24),(13,24)；
滤光片子阵列a111中第二十八行和第三十二行的6个光谱感知滤光片子单元的坐标为：(3,28),(7,28),(11,28),(5,32),(9,32),(13,32)。
手机100可以通过多光谱滤光片阵列a11采集到每个像素点RGB三个通道对应的三个波段的彩色信息，从而形成彩色图像。若多光谱滤光片阵列a11中光谱感知滤光片子单元的数量设置太多，则手机100拍摄彩色图像的过程中可能会因为缺失较多像素点的完整彩色信息(R、G、B三原色分别对应的单波段的光谱)，导致无法拍摄到质量较好的彩色图像。因此，为了解决该技术问题，本申请实施例提供的多光谱滤光片阵列a11中光谱感知滤光片子单元的数量不宜设置过多，需要设置在一定数量范围。具体的，多光谱滤光片阵列a11(或者滤光片子阵列a111)中光谱感知滤光片子单元的数量与多光谱滤光片阵列a11(或者滤光片子阵列a111)中所有滤光片子单元的数量(所有单波段的滤光片子单元的数量与多光谱滤光片阵列a11中光谱感知滤光片子单元的数量之和)的比值在预设比例范围。例如，预设比例范围可以为3％-6％。这样，本申请实施例提供的多光谱滤光片阵列可以通过降低像素点完整彩色信息的缺失数量，达到更进一步提高彩色成像的目的。
接下来，再介绍一个最小单元(像素)中有四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元和四个单波段的蓝色滤光片子单元的多光谱滤光片阵列，以及基于该结构介绍本申请实施例提供的多光谱滤光片阵列的结构。
图12示出了一种现有技术中的多光谱滤光片阵列的结构示意图。如图12所示，滤光片子阵列a111为16*32尺寸的像素块结构，需要说明的是，16*32只是为了说明滤光片子阵列a111结构的示例性尺寸，在其他实施例中，滤光片子阵列a111还可以为其他尺寸的像素块结构，在此不作限制。
滤光片子阵列a111包括多个像素单元a1111’，多个像素单元a1111’按照行和列阵列排布。像素单元a1111’包括四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元和四个单波段的蓝色滤光片子单元，八个单波段的绿色滤光片子单元平均分两组分别设置在每一个子阵列对角线上，四个单波段的红色滤光片子单元和四个单波段的蓝色滤光片子单元在每个子阵列的另一条对角线上。也即四个单波段的红色滤光片子单元按照行和列阵列排布，四个单波段的绿色滤光片子单元按照行和列阵列排布，另外四个单波段的绿色滤光片子单元按照行和列阵列排布，四个单波段的蓝色滤光片子单元按照行和列阵列排布。四个单波段的红色滤光片子单元组成的阵列、四个单波段的绿色滤光片子单元组成的阵列、另外四个单波段的绿色滤光片子单元组成的阵列，以及四个单波段的蓝色滤光片子单元组成的阵列，又按照行和列阵列排布。
具体的，前述四个单波段的红色滤光片子单元组成的阵列与前述四个单波段的绿色滤光片子单元组成的阵列在X轴方向相邻设置,前述四个单波段的红色滤光片子单元组成的阵列与前述四个单波段的绿色滤光片子单元组成的阵列在Y轴方向相邻设置,前述四个单波段的绿色滤光片子单元组成的阵列与前述四个单波段的蓝色滤光片子单元组成的阵列在X轴方向相邻设置,前述另一个四个单波段的绿色滤光片子单元组成的阵列与前述四个单波段的蓝色滤光片子单元组成的阵列在Y轴方向相邻设置。多个像素单元a1111沿X轴方向的行和Y轴方向的列阵列排布。其中，相邻是指：两个滤光片或者两个像素单元a1111的间距小于预设值、大于或者等于0。
基于图12的结构，图13示出了一种本申请实施例提供的滤光片子阵列的结构示意图。如图13所示，滤光片子阵列a111包括10个光谱感知通道。需要说明的是，为了便于说明滤光片子阵列a111的结构，本申请将光谱感知通道定义为只要Y轴方向上具有光谱感知滤光片子单元，且Y轴方向上具有的光谱感知滤光片子单元用于采集光线信号同一波段的光谱，则该列可以被称为光谱感知通道。若相邻两个光谱感知通道可以识别相同波段的光线，则也称为一组光谱感知通道。图13所示的10个光谱感知通道中每两个光谱感知通道中的光谱感知滤光片子单元所采集的光线信号的光谱波段相同，则滤光片子阵列a111包括5组光谱感知通道。
滤光片子阵列a111的5组光谱感知通道可以采集光线信号的5个波段的光谱。图14示出了一种本申请实施例提供的光谱感知滤光片子单元的透射光谱图。如图14所示，横坐标多为波长(频率)，纵坐标为光线强度，前述每个光谱感知滤光片子单元包括5组光谱感知通道，5个光谱感知通道可以采集光线信号的5个波段的光谱，5个光谱感知通道中每个通道对应一个波段，5个波段覆盖400nm至800nm波长。在其他一些实施例中，5个波段也可以覆盖420nm至750nm波长，但不限于此。
本申请实施例的前述描述中，Y轴方向上具有的光谱感知滤光片子单元用于采集光线信号同一波段的光谱称为一个光谱感知通道，可以采集光线信号同一波段的光谱的光谱感知滤光片子单元可以为一组光谱感知滤光片子单元。在其他实施例，无论光谱感知滤光片子单元在滤光片子阵列中的排布如何，均可以将用于采集光线信号同一波段的光谱的多个光谱感知滤光片子单元称为一个光谱感知通道，或者称为一组光谱感知滤光片子单元。在一些实施例中，为了获取光线信号的多光谱，滤光片子阵列中的多个光谱感知滤光片子单元可以分为多组光谱感知滤光片子单元，并将多组光谱感知滤光片子单元设置为用于采集光线信号的多个波段的光谱，每个波段覆盖预设范围的波长，每组光谱感知滤光片子单元和每个波段一一对应，在此不做限制。
绿色滤光片数量较多，绿色滤光片数量是红色滤光片数量的两倍，绿色滤光片数量是蓝色滤光片数量的两倍。牺牲绿色滤光片并不会对拍摄出的彩色图像造成较大的影响。且蓝色滤光片对彩色图像的贡献较低，牺牲蓝色滤光片并不会对拍摄出的彩色图像造成较大的影响。因此，具体的，在一些实施例中，在图12这种结构的基础上，光谱感知滤光片子单元可以替代八个单波段的绿色滤光片子单元中的任意一个或多个设置和/或光谱感知滤光片子单元可以替代四个单波段的蓝色滤光片子单元中的任意一个或多个设置。这样，同一个多光谱滤光片阵列既有彩色成像能力，又能获得多光谱。具体的，像素单元A1111’可以包括四个单波段的红色滤光片子单元、e个单波段的绿色滤光片子单元、f个单波段的蓝色滤光片子单元以及g个光谱感知滤光片子单元，其中，e为大于等于1且小于等于8的整数，f和g分别为大于等于1且小于等于4的整数，且e、f和g之和等于12；四个单波段的红色滤光片子单元、e个单波段的绿色滤光片子单元、f个单波段的蓝色滤光片子单元和g个光谱感知滤光片子单元按照行列形式的矩阵排列。
例如，请继续参阅图13，滤光片子阵列a111包括多个像素单元a1111’(第一像素单元)和多个像素单元A1111’(第二像素单元)，多个像素单元a1111’和多个像素单元A1111’按照行列形式的矩阵排列,像素单元a1111’包括四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元和四个单波段的蓝色滤光片子单元；八个单波段的绿色滤光片子单元平均分两组分别按照行列形式设置在矩阵的一条对角线上，四个单波段的红色滤光片子单元和四个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。像素单元A1111’包括四个单波段的红色滤光片子单元、七个单波段的绿色滤光片子单元、四个单波段的蓝色滤光片子单元以及一个光谱感知滤光片子单元；四个单波段的红色滤光片子单元、七个单波段的绿色滤光片子单元、四个单波段的蓝色滤光片子单元以及一个光谱感知滤光片子单元按照行列形式的矩阵排列。
又如，图15示出了又一种本申请实施例提供的滤光片子阵列的结构示意图。如图15所示，滤光片子阵列a111包括多个像素单元a1111’(第一像素单元)和多个像素单元A1111’(第二像素单元)，多个像素单元a1111’和多个像素单元A1111’按照行列形式的矩阵排列,像素单元a1111’包括四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元和四个单波段的蓝色滤光片子单元；八个单波段的绿色滤光片子单元平均分两组分别按照行列形式设置在矩阵的一条对角线上，四个单波段的红色滤光片子单元和四个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。像素单元A1111’包括四个单波段的红色滤光片子单元、六个单波段的绿色滤光片子单元、四个单波段的蓝色滤光片子单元以及两个光谱感知滤光片子单元；四个单波段的红色滤光片子单元、六个单波段的绿色滤光片子单元、四个单波段的蓝色滤光片子单元以及两个光谱感知滤光片子单元按照行列形式的矩阵排列。
在一些实施例中，感知同一波段光谱的光谱感知滤光片子单元的数量可以设置为多个，因为多个光谱感知滤光片子单元可以提高感光面积以提升信号信噪比。例如，请继续参阅15，相邻两个光谱感知滤光片子单元可以用于感知同一波段的光谱。
可以理解，图13和图15分别示出了，在图12这种结构的基础上，光谱感知滤光片子单元可以替代八个单波段的绿色滤光片子单元中的一个或两个设置，但并不限于此。在其他实施例中，f为4，f为4表示光谱感知滤光片子单元可以替代八个单波段的绿色滤光片子单元中的一个或两个设置。
又如，图16示出了又一种本申请实施例提供的滤光片子阵列的结构示意图。如图16所示，滤光片子阵列a111包括多个像素单元a1111’(第一像素单元)和多个像素单元A1111’(第二像素单元)，多个像素单元a1111’和多个像素单元A1111’按照行列形式的矩阵排列,像素单元a1111’包括四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元和四个单波段的蓝色滤光片子单元；八个单波段的绿色滤光片子单元平均分两组分别按照行列形式设置在矩阵的一条对角线上，四个单波段的红色滤光片子单元和四个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。像素单元A1111’包括四个单波段的红色滤光片子单元、七个单波段的绿色滤光片子单元、三个单波段的蓝色滤光片子单元以及两个光谱感知滤光片子单元；四个单波段的红色滤光片子单元、七个单波段的绿色滤光片子单元、三个单波段的蓝色滤光片子单元以及两个光谱感知滤光片子单元按照行列形式的矩阵排列。
在一些实施例中，感知同一波段光谱的光谱感知滤光片子单元的数量可以设置为多个，因为多个光谱感知滤光片子单元可以提高感光面积以提升信号信噪比。例如，请继续参阅图16，相邻两个光谱感知滤光片子单元可以用于感知同一波段的光谱。
可以理解，图16示出了，在图12这种结构的基础上，光谱感知滤光片子单元可以替代八个单波段的绿色滤光片子单元中的任意一个设置，以及光谱感知滤光片子单元可以替代四个单波段的蓝色滤光片子单元中的任意一个设置，但并不限于此。在其他实施例中，e小于8，f小于4，e小于8，f小于4表示光谱感知滤光片子单元可以替代八个单波段的绿色滤光片子单元中的任意一个或多个设置，以及光谱感知滤光片子单元可以替代四个单波段的蓝色滤光片子单元中的任意一个或多个设置。
又如，图17示出了又一种本申请实施例提供的滤光片子阵列的结构示意图。如图17所示，滤光片子阵列a111包括多个像素单元a1111’(第一像素单元)和多个像素单元A1111’(第二像素单元)，多个像素单元a1111’和多个像素单元A1111’按照行列形式的矩阵排列,像素单元a1111’包括四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元和四个单波段的蓝色滤光片子单元；八个单波段的绿色滤光片子单元平均分两组分别按照行列形式设置在矩阵的一条对角线上，四个单波段的红色滤光片子单元和四个单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。像素单元A1111’包括四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元、三个单波段的蓝色滤光片子单元以及一个光谱感知滤光片子单元；四个单波段的红色滤光片子单元、八个单波段的绿色滤光片子单元、三个单波段的蓝色滤光片子单元以及两个光谱感知滤光片子单元按照行列形式的矩阵排列。
可以理解，图17示出了，在图12这种结构的基础上，光谱感知滤光片子单元可以替代四个单波段的蓝色滤光片子单元中的任意一个设置，但并不限于此。在其他实施例中，光谱感知滤光片子单元可以替代四个单波段的蓝色滤光片子单元中的任意一个或多个设置。
手机100可以通过多光谱滤光片阵列a11采集到每个像素点RGB三个通道对应的三个波段的彩色信息，从而形成彩色图像。若多光谱滤光片阵列a11中光谱感知滤光片子单元的数量设置太多，则手机100拍摄彩色图像的过程中可能会因为缺失较多像素点的完整彩色信息，导致无法拍摄到质量较好的彩色图像。因此，为了解决该技术问题，本申请实施例提供的多光谱滤光片阵列a11中光谱感知滤光片子单元的数量不宜设置过多，需要设置在一定数量范围。具体的，多光谱滤光片阵列a11(或者滤光片子阵列a111)中光谱感知滤光片子单元的数量与多光谱滤光片阵列a11(或者滤光片子阵列a111)中所有滤光片子单元的数量(所有单波段的滤光片子单元的数量与多光谱滤光片阵列a11中光谱感知滤光片子单元的数量之和)的比值在预设比例范围。例如，预设比例范围可以为3％-6％。
这样，本申请实施例提供的多光谱滤光片阵列可以通过降低像素点完整彩色信息的缺失数量，达到更进一步提高彩色成像的目的。
手机100处于亮屏状态的过程中，可能处于各种色温的环境中。若手机100的显示屏194一直处于一种色温中，则手机100的显示屏194无法与环境中的色温匹配，如手机100的显示屏194的色温比环境光的色温较暖，则用户看到的手机100的显示屏会有较刺眼的感觉；或者手机100的显示屏194的色温比环境光的色温较冷，则用户看到的手机100的显示屏会有较暗的感觉。如此，用户视觉体验感较差。在一种应用场景中，手机100可以通过摄像头193，采集环境光的多光谱，即该摄像头193可以作色温传感器功能感知环境光，根据环境光的多光谱调整显示屏194的色温，以匹配环境光，优化显示屏194显示效果。
具体的，参见图18，图18示出了一种根据环境光的多光谱调整显示屏的色温以匹配环境光的流程示意图。如图18所示，该流程包括如下步骤：
1801：手机100响应于用户的第一操作，在显示屏194显示用户界面(UserInterface Design,UI)。
第一操作可以是用户将手机100调整为亮屏状态的操作，亮屏状态即手机正常工作时显示UI界面的状态。一般情况下，若手机100为锁屏状态，则手机100可以响应于用户的数字解锁、手势解锁、指纹解锁和人脸识别解锁等操作使得手机100进入亮屏状态。
1802：手机100启动摄像头193，其中，该摄像头193包括多光谱滤光片阵列。
为了解决手机100的显示屏194无法与环境中的色温匹配造成的用户视觉体验感较差的问题，手机100可以启动具有前述多光谱滤光片阵列的摄像头193，该摄像头193可以作色温传感器功能感知环境光，调整显示屏194的色温匹配环境光。
1803：手机100获取多光谱图像数据。
手机100可以获取多光谱图像数据，并基于多光谱图像数据调整显示屏194的色温匹配环境光。
1804：手机100对多光谱图像数据进行色温测量。
色温和光谱具有关联关系。具体的，色温是表征光谱能量分布的指标，色温高，光谱能量分布于短波的成分略多，颜色偏蓝。色温低，光谱能量分布于长波的成分略多，颜色偏黄。因此，手机100可以基于多光谱图像数据对环境光进行色温测量。
色温测量过程如下：
多光谱图像数据为待采集环境光光谱，待采集环境光光谱可以用符号spectrum表示：
spectrum＝[λ1 λ2 … λn] (公式1)
其中，光谱采集的间隔为Δnm，n为等间隔的采样个数。
人眼的色彩匹配响应(Color match function，CMF)：
对于本申请实施例所叙述的m组光谱感知通道，其对光谱的响应可表示为F：
记F的Moore-Penrose逆为R。
该m组光谱感知通道对环境光的采样结果为：
signal＝spectrum×F＝[S1 S2 … Sm] (公式4)
结合公式4，公式2，XYZ色彩空间的颜色[X,Y,Z]可以表示为：
[X，Y，Z]＝[s1，s2，…sm]×R×CMF (公式5)
为了得到准确的色温值，色温是判断光源白度的参考，将XYZ色彩空间上的颜色投影至xyz色度空间可以得到准确的色温映射，映射关系如下公式描述：
色度可以由x＝X/(X+Y+Z),y＝Y(X+Y+Z)，z＝1-x-y来表示。
色温值可以由(x，y)→CIE1931XYZ彩空间的映射所定义。
1805：手机100基于色温测量结果，对显示屏194进行色温匹配处理。
手机100基于色温测量结果，对显示屏194进行色温匹配处理，这样，手机100向用户呈现经过色温匹配处理的显示屏194。
在一些实施例中，手机100可以基于色温测量结果，将显示屏194调整为目标色温，以实现对显示屏194的色温匹配处理。
1806：手机100向用户呈现经过色温匹配处理的显示屏194。
手机100可以向用户呈现经过色温同步的显示屏194，这样，即使手机100的显示屏194一直处于一种色温中，则手机100的显示屏194可以与环境中的色温动态匹配，如手机100的显示屏194的色温比环境光的色温较暖，用户看到的手机100的显示屏会有较刺眼的感觉，手机100便会降低显示屏194的色温；或者手机100的显示屏194的色温比环境光的色温较冷，用户看到的手机100的显示屏会有较暗的感觉，则手机100便会提高显示屏194的色温。如此，提高用户视觉体验感。
需要说明的是，白平衡的英文为White Balance，其基本概念是“不管在任何光源下，都能将白色物体还原为白色”，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。摄像头193的白平衡调节可以通过校准图像的色温偏差来实现，在拍摄时调整图像的白平衡来达到想要的画面效果。在另一种应用场景中，手机100可以利用多光谱数据，对拍摄的图像进行白平衡调节，以达到更好的拍摄效果。
具体的，参见图19，图19示出了一种优化显示屏的流程示意图。如图19所示，该流程包括如下步骤：
1901：手机100响应于用户的第一操作，在显示屏194显示UI界面。
第一操作可以是用户将手机100调整为亮屏状态的操作，亮屏即手机正常工作时显示UI界面的状态。一般情况下，若手机100为锁屏状态，则手机100可以响应于用户的数字解锁、手势解锁、指纹解锁和人脸识别解锁等操作使得手机100进入亮屏状态。
1902：手机100响应于用户的第二操作，启动摄像头193，其中，该摄像头193包括多光谱滤光片阵列。
手机100的UI界面有相机应用，第二操作可以是用户打开相机应用的操作，具体的，第二操作可以是用户点击相机应用的操作。相机应用具有预览、拍照、视频等多种模式，在其他一些实施例中，第二操作可以是用户点击相机应用界面中的预览、拍照、视频模式对应的图标的操作。例如，图20示出了一种手机所显示的相机应用的UI界面示意图。如图20所示，第二操作可以是用户点击相机应用界面中的拍照对应的图标的操作，且用户执行第二操作的时候，相机应用已经开启了光谱成像模式，若没有，则手机100可以响应于用户在相机应用的设置菜单中开启该模式，当然，手机100也可以通过其他方式开启该模式，在此不做限制。
1903：手机100获取单光谱图像数据和多光谱图像数据。
在一些实施例中，单光谱图像数据和多光谱图像数据的大小可以由分辨率决定。若分辨率为6528*4896，请继续参阅图9所示的多光谱滤光片阵列的结构，多光谱滤光片子阵列的尺寸为16*32，包括6个光谱感知通道。则手机100获取的单光谱图像数据和多光谱图像数据的尺寸可以分别为6528*4896和408*612*6。其中，6为光谱感知通道，408为6528除以16得到，612为4896除以32后再乘以4得到，乘以4是因为图9中的滤光片子阵列a111中第四行和第八行的6个光谱感知滤光片子单元可以作为第一组光谱感知滤光片；滤光片子阵列a111中第十二行和第十六行的6个光谱感知滤光片子单元可以作为第二组光谱感知滤光片；滤光片子阵列a111中第二十行和第二十四行的6个光谱感知滤光片子单元可以作为第三组光谱感知滤光片；滤光片子阵列a111中第二十八行和第三十二行的6个光谱感知滤光片子单元可以作为第四组光谱感知滤光片，一个多光谱滤光片子阵列可以输出4组多波段光谱。
同理，若分辨率为6528*4896，多光谱滤光片子阵列的尺寸为16*32，且每个多光谱滤光片子阵列具有两组在Y轴重复的结构，包括12个光谱感知通道。则手机100获取的单光谱图像数据和多光谱图像数据的尺寸可以分别为6528*4896和408*306*12。其中，12为光谱感知通道，408为6528除以16得到，306为4896除以32后再乘以2得到。
同理，若分辨率为6528*4896，多光谱滤光片子阵列的尺寸为16*32，且每个多光谱滤光片子阵列具有一组在Y轴重复的结构，包括5个光谱感知通道。则手机100获取的单光谱图像数据和多光谱图像数据的尺寸可以分别为6528*4896和408*306*12。其中，5为光谱感知通道，408为6528除以16得到，306为4896除以32后再乘以1得到。
在一些实施例中，手机100获取单光谱图像数据和多光谱图像数据可以通过下列技术方案实现。具体的，图21示出了一种可以采集多光谱的多光谱成像组件的工作流程示意图。如图21所示，该流程包括如下步骤：
2101：驱动多光谱成像组件上电。
上电是指从电源接通后到系统稳定到可以工作的这个过程。
2102：驱动多光谱成像组件内进行一次性烧录项(OTP)加载，加载内容包括光谱感知滤光片子单元坐标和光谱感知滤光片子单元近邻点的补偿增益。
OTP(One Time Programmable)是单片机的一种存储器类型,意思是一次性可编程：程序烧入单片机后，将不可再次更改和清除。
近邻点的补偿增益是指新增多光谱滤镜通道影响了周围RGB通道像素的最近邻环境，需对近邻点作数字增益补偿，改善出图图像固定噪声，提升画面均匀度。
2103：驱动多光谱成像组件起流。
多光谱成像组件起流即多光谱成像组件采集单光谱图像数据和多光谱图像数据的过程。
2104：驱动多光谱成像组件中所有像素(不区分成像像素和光谱像素)从MIPI通道打包成MIPI Raw送出至手机100的ISP，ISP按照OTP加载内容拆分单光谱图像数据和多光谱图像数据。
单光谱图像数据所包含的光谱pixel按照坏点补偿，光谱pixel的临近像素加载OTP中的补偿增益。本申请所说的“坏点”，是光谱感知滤光片子单元所在的点。以图9为例，图9中的四组光谱感知滤光片可以按照坏点处理，其余滤光片子阵列a111依次类推，RGB图像出图时需将这些坐标点按照坏点处理，使用中值滤波等坏点补偿算法修正。
1904：手机100对单光谱图像数据进行前处理,对多光谱图像数据进行色温测量。
前处理的目的是为了去除硬件环境对图像的影响，为了获得更还原的图像效果。前处理至少包括：黑电平校准，光镜头晕影校准，谱像素近邻像素增益补偿，坏点去除等步骤。
对多光谱图像数据进行色温测量与前述步骤中的技术方案相同，在此不再赘述。
1905：手机100基于色温测量结果对经过前处理后的单光谱图像数据进行自动白平衡处理。
单光谱图像数据相比多光谱图像数据，其多光谱图像数据提供了光线信号更为准确的色温信息，即具备更好的色彩-光谱对应关系，多光谱图像数据可作为修正项协同输入给单光谱图像数据的自动白平衡处理过程，优化图像整体白平衡效果。
1906：手机100对经过自动白平衡处理的单光谱图像数据进行去拜尔阵列马赛克。
去拜尔马赛克阵列是一种数字图像过程，用于从覆盖有RGC多光谱滤光片阵列的图像传感器输出的原始信息中重建全彩色图像的方法，它也被称为CFA插值或色彩重建。
1907：手机100对经过去拜尔阵列马赛克处理后的单光谱图像数据进行色彩匹配矩阵加载。
色彩匹配矩阵加载的方法如下：
其中，为输出的目标色彩，/>为色彩匹配矩阵，
为自动白平衡参数矩阵，/>为传感器端去拜尔整列马赛克后得到的RGB分量，γ为Gamma值，将线性亮度空间映射至显示亮度空间。
1908:手机100对多光谱图像数据进行色彩映射算法处理。
单光谱图像数据相比多光谱图像数据，其多光谱图像数据提供了光线信号更为准确的色温信息，即具备更好的色彩-光谱对应关系，手机100可以借助色彩映射算法优化单光谱图像数据中的局部色彩信息，优化图像色彩饱和度和准确度。
手机100可以借助多光谱图像数据，通过公式1到公式5，映射更为准确的XYZ色彩数据。
1909:手机100基于经过色彩映射算法处理后的多光谱图像数据对经过色彩匹配矩阵加载的单光谱图像数据进行局部色彩优化。
同色异谱现象就是颜色相同，而光谱组成不同，或者在光谱上不同的刺激可以产生相同的视觉反应。例如，某两种物质在一种光源下呈现相同的颜色，但在另一种光源下，却呈现不同的颜色，这种现象就叫同色异谱现象。
多光谱成像具有更多的光谱通道，进而有助于获得物体真正的光谱。有了上述的色彩映射结果，手机100可以更为准确地区分在某些特定光源照射下RGB彩色通道难以区分的色彩，从而缓解减轻了RGB成像中同色异谱的问题。
1910:手机100输出处理后的图像。
本申请实施例中，手机100通过前述步骤辅助摄像头拍摄的彩色图像完成白平衡校正功能，去除环境色温引起的偏色现象等，可以恢复拍摄物体本来的颜色进行显示，提高手机100的成像效果。
本申请另一实施例提供了一种多光谱成像组件，该多光谱成像组件包括：感光元阵列；感光元阵列用于采集光线并将光线信号转化为用于表示光线信号强度的电信号；以及多光谱滤光片阵列；多光谱滤光片阵列设置于感光元阵列上，多光谱滤光片阵列包括多个滤光片子阵列，多个滤光片子阵列按照行列形式的矩阵排列；每个滤光片子阵列包括多个第一像素单元和多个第二像素单元，多个第一像素单元和多个第二像素单元按照行列形式的矩阵排列；每个第一像素单元包括至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元和至少一个单波段的蓝色滤光片子单元；至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元和至少一个单波段的蓝色滤光片子单元按照行列形式的矩阵排列；每个第二像素单元包括至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元、至少一个单波段的蓝色滤光片子单元以及至少一个光谱感知滤光片子单元；至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元、至少一个单波段的蓝色滤光片子单元以及至少一个光谱感知滤光片子单元按照行列形式的矩阵排列；其中，每个滤光片子阵列包括多组光谱感知滤光片子单元，每组光谱感知滤光片子单元包括至少一个光谱感知滤光片子单元，多组光谱感知滤光片子单元用于采集光线信号的多个波段的光谱，每组光谱感知滤光片子单元和每个波段一一对应。而且，多光谱滤光片阵列还可以包括前述各种实施例所描述的结构，且并不限于此。
本申请实施例提供的多光谱成像组件既包括三原色(红、绿和蓝)分别对应的单波段的滤光片子单元，又包括光谱感知滤光片子单元。这样，三原色(红、绿和蓝)分别对应的单波段的滤光片子单元可以用于采集光线信号中三原色分别对应的单个波段的光谱，以及多组光谱感知滤光片子单元可以用于采集光线信号的多个波段的光谱。如此，本申请实施例提供的一个多光谱成像组件能同时实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能，也就是说，本申请实施例提供的一个多光谱成像组件能同时实现单波段成像结构件和多光谱成像结构件的功能。与现有技术中电子设备中既需要配置单波段成像结构件又需要配置多光谱成像结构件相比，本申请实施例只需要配置一个多光谱成像组件就能实现前述两个结构件的功能，如此，降低了电子设备的配置成本。更进一步，与电子设备需要驱动单波段成像结构件和多光谱成像结构件这两个结构件，实现采集光线信号中三原色分别对应的单个波段的光谱的功能以及采集光线信号的多个波段的光谱的功能相比，本申请实施例中，电子设备可以仅驱动一个多光谱成像组件就能实现前述两个结构件的功能，如此，降低了电子设备的功耗。本申请另一实施例提供了一种电子设备，该电子设备包括：存储器和一个或多个处理器。该存储器与处理器耦合。其中，上述存储器中还存储有计算机程序代码，该计算机程序代码包括计算机指令。当计算机指令被处理器执行时，电子设备可执行上述方法实施例中手机100执行的各个功能或者步骤。该电子设备的结构可以参考图5a所示的手机100的结构。
本申请实施例还提供一种计算机可读存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机100执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机100执行的各个功能或者步骤。该计算机可以是上述电子设备(如手机100)。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(Digital Signal Processor，DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读存储介质分发。因此，机器可读存储介质可以包括用于以机器(例如，计算机)可读的形式存储或传播信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、磁卡或光卡、闪存、或用于基于因特网以电、光、声或其他形式的传播信号来传播信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读存储介质包括适合于以机器(例如计算机)可读的形式存储或传播电子指令或信息的任何类型的机器可读存储介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种多光谱滤光片阵列，其特征在于，包括：
多个滤光片子阵列，所述多个滤光片子阵列按照行列形式的矩阵排列；每个所述滤光片子阵列包括多个第一像素单元和多个第二像素单元，所述多个第一像素单元和所述多个第二像素单元按照行列形式的矩阵排列；每个所述第一像素单元包括至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元和至少一个单波段的蓝色滤光片子单元；所述至少一个单波段的红色滤光片子单元、所述至少一个单波段的绿色滤光片子单元和所述至少一个单波段的蓝色滤光片子单元按照行列形式的矩阵排列；每个所述第二像素单元包括至少一个单波段的红色滤光片子单元、至少一个单波段的绿色滤光片子单元、至少一个单波段的蓝色滤光片子单元以及至少一个光谱感知滤光片子单元；所述至少一个单波段的红色滤光片子单元、所述至少一个单波段的绿色滤光片子单元、所述至少一个单波段的蓝色滤光片子单元以及至少一个所述光谱感知滤光片子单元按照行列形式的矩阵排列；
其中，每个所述滤光片子阵列包括多组光谱感知滤光片子单元，每组光谱感知滤光片子单元包括至少一个所述光谱感知滤光片子单元，所述多组光谱感知滤光片子单元用于采集光线信号的多个波段的光谱，每组光谱感知滤光片子单元和每个波段一一对应。
2.根据权利要求1所述的多光谱滤光片阵列，其特征在于，所述至少一个单波段的红色滤光片子单元、所述至少一个单波段的绿色滤光片子单元和所述至少一个单波段的蓝色滤光片子单元按照行列形式的矩阵排列，包括：每个所述第一像素单元包括一个所述单波段的红色滤光片子单元、两个所述单波段的绿色滤光片子单元和一个所述单波段的蓝色滤光片子单元，两个所述单波段的绿色滤光片子单元按照行列形式设置在矩阵的一条对角线上，一个所述单波段的红色滤光片子单元和一个所述单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。
3.根据权利要求2所述的多光谱滤光片阵列，其特征在于，所述至少一个单波段的红色滤光片子单元、所述至少一个单波段的绿色滤光片子单元、所述至少一个单波段的蓝色滤光片子单元以及至少一个所述光谱感知滤光片子单元按照行列形式的矩阵排列，包括：每个所述第二像素单元包括一个所述单波段的红色滤光片子单元、一个所述单波段的绿色滤光片子单元、一个所述单波段的蓝色滤光片子单元以及一个所述光谱感知滤光片子单元；一个所述单波段的绿色滤光片子单元和一个所述光谱感知滤光片子单元按照行列形式设置在矩阵的一条对角线上，一个所述单波段的红色滤光片子单元和一个所述单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。
4.根据权利要求1所述的多光谱滤光片阵列，其特征在于，所述至少一个单波段的红色滤光片子单元、所述至少一个单波段的绿色滤光片子单元和所述至少一个单波段的蓝色滤光片子单元按照行列形式的矩阵排列，包括：每个所述第一像素单元包括四个所述单波段的红色滤光片子单元、八个所述单波段的绿色滤光片子单元和四个所述单波段的蓝色滤光片子单元；八个所述单波段的绿色滤光片子单元平均分两组分别按照行列形式设置在矩阵的一条对角线上，四个所述单波段的红色滤光片子单元和四个所述单波段的蓝色滤光片子单元按照行列形式设置在矩阵的另一条对角线上。
5.根据权利要求4所述的多光谱滤光片阵列，其特征在于，所述至少一个单波段的红色滤光片子单元、所述至少一个单波段的绿色滤光片子单元、所述至少一个单波段的蓝色滤光片子单元以及至少一个所述光谱感知滤光片子单元按照行列形式的矩阵排列，包括：每个所述第二像素单元包括四个所述单波段的红色滤光片子单元、e个所述单波段的绿色滤光片子单元、f个所述单波段的蓝色滤光片子单元以及g个所述光谱感知滤光片子单元，其中，e为大于等于1且小于等于8的整数，f和g分别为大于等于1且小于等于4的整数，且e、f和g之和等于12；四个所述单波段的红色滤光片子单元、e个所述单波段的绿色滤光片子单元、f个所述单波段的蓝色滤光片子单元和g个所述光谱感知滤光片子单元按照行列形式的矩阵排列。
6.根据权利要求4所述的多光谱滤光片阵列，其特征在于，f为4。
7.根据权利要求4所述的多光谱滤光片阵列，其特征在于，e小于8，f小于4。
8.根据权利要求1-7中任一项所述的多光谱滤光片阵列，其特征在于，所述滤光片子阵列中所有所述光谱感知滤光片子单元的数量与所述滤光片子阵列中所有滤光片数量的比值在预设比例范围，所述预设比例范围为3％-6％。
9.一种多光谱成像组件，其特征在于，包括：
感光元阵列；所述感光元阵列用于采集光线并将光线信号转化为用于表示光线信号强度的电信号；
和权利要求1-8中任一项所述的多光谱滤光片阵列；所述多光谱滤光片阵列设置于所述感光元阵列上。
10.一种摄像头，其特征在于，所述摄像头包括如权利要求1-8中任一项所述的多光谱滤光片阵列，或如权利要求9所述的多光谱成像组件。
11.一种电子设备，其特征在于，包括摄像头，所述摄像头包括如权利要求1-8中任一项所述的多光谱滤光片阵列，或如权利要求9所述的多光谱成像组件。
CN202310289731.1A 2023-03-16 2023-03-16 多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备 Pending CN117130082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310289731.1A CN117130082A (zh) 2023-03-16 2023-03-16 多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310289731.1A CN117130082A (zh) 2023-03-16 2023-03-16 多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备

Publications (1)

Publication Number Publication Date
CN117130082A true CN117130082A (zh) 2023-11-28

Family

ID=88849715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310289731.1A Pending CN117130082A (zh) 2023-03-16 2023-03-16 多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备

Country Status (1)

Country Link
CN (1) CN117130082A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900750A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种图像传感器及移动终端
CN108965665A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器及移动终端
CN113691716A (zh) * 2021-08-26 2021-11-23 维沃移动通信有限公司 图像传感器、图像处理方法、装置、电子设备和存储介质
CN115696078A (zh) * 2022-08-01 2023-02-03 荣耀终端有限公司 色彩滤波阵列、图像传感器、摄像头模组和电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900750A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种图像传感器及移动终端
CN108965665A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器及移动终端
CN113691716A (zh) * 2021-08-26 2021-11-23 维沃移动通信有限公司 图像传感器、图像处理方法、装置、电子设备和存储介质
CN115696078A (zh) * 2022-08-01 2023-02-03 荣耀终端有限公司 色彩滤波阵列、图像传感器、摄像头模组和电子设备

Similar Documents

Publication Publication Date Title
US10070104B2 (en) Imaging systems with clear filter pixels
US20170374282A1 (en) Imaging device, and image processing method and program for imaging device
US8599282B2 (en) Method and apparatus for generating image
CN112672054B (zh) 对焦方法、装置及电子设备
US20120127301A1 (en) Adaptive spectral imaging by using an imaging assembly with tunable spectral sensitivities
WO2023124607A1 (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN115802183B (zh) 图像处理方法及其相关设备
US11558587B2 (en) Camera module comprising complementary color filter array and electronic device comprising same
US11238279B2 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
EP3675477B1 (en) Electronic device for providing function by using rgb image and ir image acquired through one image sensor
US20230135693A1 (en) Electronic device including image sensor
CN117130082A (zh) 多光谱滤光片阵列、多光谱成像组件、摄像头和电子设备
EP4171019A1 (en) Electronic device comprising image sensor, and method for controlling same
CN115883980A (zh) 提供白平衡功能的图像获取装置及电子装置
EP3993399A1 (en) Color filter structure, related photographing method, device, terminal, and storage medium
CN114650359A (zh) 摄像模组以及电子设备
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
EP4270928A1 (en) Electronic device comprising image sensor and operating method therefor
EP4333445A1 (en) Electronic device and control method therefor
US20230066267A1 (en) Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus
CN116896673A (zh) 用于使用多光谱传感器获取图像的方法和装置
KR20220058218A (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
CN115355988A (zh) 一种轻小型多光谱望远镜系统
KR20230105295A (ko) 영상 획득 장치 및 이를 포함하는 전자 장치
KR20210151613A (ko) 이미지 처리 장치 및 이미지 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination