CN116929554A - 一种多光谱处理方法和多光谱探测装置 - Google Patents

一种多光谱处理方法和多光谱探测装置 Download PDF

Info

Publication number
CN116929554A
CN116929554A CN202210357214.9A CN202210357214A CN116929554A CN 116929554 A CN116929554 A CN 116929554A CN 202210357214 A CN202210357214 A CN 202210357214A CN 116929554 A CN116929554 A CN 116929554A
Authority
CN
China
Prior art keywords
switching device
spectrum
control circuit
row
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210357214.9A
Other languages
English (en)
Inventor
胡佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210357214.9A priority Critical patent/CN116929554A/zh
Priority to PCT/CN2023/086214 priority patent/WO2023193712A1/zh
Publication of CN116929554A publication Critical patent/CN116929554A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本申请实施例提供一种多光谱处理方法和多光谱探测装置，涉及芯片技术领域，能够在多光谱处理中支持小像素、低噪声的高质量多光谱成像，实现高分辨率信号采集和提升暗光性能。具体方案为：在多个频谱阵列中，每个像素单元包括PD、电压探测电路和电流探测电路，电压探测电路包括第一开关器件，电流探测电路包括第二开关器件；逻辑控制电路，用于控制每个像素单元中的第一开关器件和第二开关器件在不同的工作模式下进行成像或环境光探测；逻辑控制电路，还用于控制行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强。本申请实施例用于多光谱成像和多光谱环境光探测。

Description

一种多光谱处理方法和多光谱探测装置
技术领域
本申请实施例涉及芯片技术领域，尤其涉及一种多光谱处理方法和多光谱探测装置。
背景技术
多光谱技术逐渐被应用于环境光检测和物质识别，并且为精准的颜色还原提供更加丰富的信息。目前，多见基于标准的成像光子探测器(Imaging Photon Detector，IPD)结构进行光电转化，形成电流，并采集电流的模数转换器(Analog-to-Digital Converter，ADC)进行电流信号数据的量化，得到光谱信息。其中，每个IPD的Si表面进行了干涉滤波镀膜，并针对设计的带通频谱进行膜系层数和厚度设计和制造，形成最终的多光谱探测器。
但是，对于多光谱传感器所在的芯片来说，芯片的总面积是固定的，每个像素(pixel)占用的面积包括IPD结构，每个pixel需要占用较大的面积。因此，像素的数量受到限制，图像的分辨率较低，无法实现手机等架构的芯片可接受靶面下的高分辨率信号采集。而且，ADC的高增益是为暗光环境服务的，在暗光环境下，采集电流的ADC及上述光电转化过程，没有抑制噪声的手段(如相关双采样等)，暗电流等因素导致的噪声水平较差，暗光性能较差，无法实现超夜环境的有效亮度以及光谱信息的探测和高质量成像。
发明内容
本申请实施例提供一种多光谱处理方法和多光谱探测装置，能够在多光谱处理中支持小像素、低噪声的高质量多光谱成像，实现高分辨率信号采集和提升暗光性能。
为达到上述目的，本申请实施例采用如下技术方案。
第一方面，提供一种多光谱探测装置，多光谱探测装置包括逻辑控制电路、多个频谱阵列、行列控制电路、多个采集电流的模数转换器ADC(积分型ADC2)和多个采集电压的ADC(阶跃，ADC1)；每个频谱阵列包括多个单通道光谱单元，多个单通道光谱单元中的每个单通道光谱单元包括多个像素单元；对于多个像素单元中的每个像素单元，每个像素单元与行列控制电路、多个采集电流的ADC中的一个采集电流的ADC和多个采集电压的ADC中的一个采集电压的ADC耦合；每个像素单元包括光电探测器PD、电压探测电路和电流探测电路，电压探测电路包括第一开关器件，电流探测电路包括第二开关器件；逻辑控制电路，用于控制每个像素单元中的第一开关器件和第二开关器件在不同的工作模式下进行成像或环境光探测；逻辑控制电路，还用于控制行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强。
由此，在本申请中，通过新设计的一种像素单元的电路结构，可使得像素单元的的工作模式可根据需要进行切换，具体可通过第一开关器件和第二开关器件的导通和关断确定每个像素单元的工作模式用于成像或环境光探测。在此基础上，本申请通过对多个频率阵列中的像素单元通过行列控制电路进行合并，在多种合并方式下进行环境光探测增强或成像增强。这样，通过新像素单元在多个频率阵列中的多种合并方式读出，可实现高分辨率下的高质量成像和高动态的环境光探测，即在多光谱处理中支持小像素、低噪声的高质量多光谱成像，实现高分辨率信号采集和提升暗光性能。
在一种可能的设计中，逻辑控制电路，用于控制每个像素单元中的第一开关器件导通，第二开关器件关断，以便将每个像素单元中的PD进行光电转化后的电流信号通过第一开关器件传输至采集电压的ADC进行成像；或，逻辑控制电路，用于控制每个像素单元中的第一开关器件关断，第二开关器件导通，以便将每个像素单元中的PD进行光电转化后的电流信号通过第二开关器件传输至采集电流的ADC进行环境光探测。也就是说，在进行多光谱成像时，可通过电压探测电路中的第一开关器件的导通将光电转换后的电流信号进行合并输入到采集电压的ADC中；在进行多光谱的环境光探测时，可通过电流探测电路中的第二卡关器件的导通将光电转换后的电流信号进行合并输入到采集电流的ADC中，以实现过多光谱的高质量成像和高动态的环境光探测。
在一种可能的设计中，每个像素单元中的电流探测电路还包括电流镜，每个像素单元中的电压探测电路还包括复位管、源跟随管和行选管；对于每个像素单元，PD的输出端与第一开关器件的第一端和第二开关器件的第一端耦合，第一开关器件的第二端与复位管的第一端和源跟随管的第一端耦合，源跟随管的第二端与行选管的第一端耦合，行选管的第二端与行列控制电路的第一输入端耦合，行列控制电路的第一输出端与采集电压的ADC耦合，行列控制电路的第二输出端与采集电流的ADC耦合；第二开关器件的第二端与电流镜的第一端耦合，电流镜的第一输出端与行列控制电路的第二输入端耦合。对于每个像素单元来说，通过电流探测电路和电压探测电路的切换，可实现多光谱成像或环境光探测等多种目的。
在一种可能的设计中，逻辑控制电路，用于：在确定进行环境光强度探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通；以单个频谱阵列为单位，控制行列控制电路将每个频谱阵列中的所有单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。由此，通过本申请提供的环境光强探测方法，对于每个像素单元，该像素单元中与第一开关器件耦合的部分电路(包括电容C)并未工作，不会产生信号钳位(clamp)带来的饱和问题，适用于高动态范围的光感探测。而且，本申请还可以通过不同的电流加和方式，可用于不同强度的环境光的探测需要。
在一种可能的设计中，逻辑控制电路，用于：在确定进行环境光强度探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通；控制行列控制电路对多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中的单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。这样，通过对多个频谱阵列进一步的合并划分，可降噪或者增加光强度探测感度。
在一种可能的设计中，逻辑控制电路，用于：在确定进行环境光类型探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通；控制行列控制电路对多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中相同的单通道光谱单元作为一个分组进行信号合并，得到每个区域中每种单通道光谱单元的合并信号，每个区域中的一个分组进行信号合并后的信号用于指示一种环境光类型。由此，本申请提供的超高动态场景的环境光类型探测方法，可通过对多个频谱阵列进行分区，借助灵活的信号合并方式，可适用于不同环境光亮度场景，达成环境光类型的探测精度和分辨率的平衡选择，且不会产生信号clamp带来的饱和问题，适用于高动态光感探测。这种多区域高动态多通道光谱信息，可以用于辅助其他camera进行分区域的环境类型检测和分区域的AWB参数适配，辅助更精准的单一或混合色温场景的颜色还原。
在一种可能的设计中，逻辑控制电路，用于：在确定进行多光谱成像时，控制每个像素单元中的第一开关器件导通，第二开关器件关闭；控制行列控制电路将多个频谱阵列中每个频谱阵列的每个单通道光谱单元的多个像素单元作为一个分组进行信号合并，得到每个频谱阵列的每个单通道光谱单元的合并信号，每个频谱阵列的每个单通道光谱单元的合并信号用于进行多光谱成像。
由此，本申请提供的多光谱成像方法，可用于高光谱成像，通过高分辨高动态多光谱信息，可实现更高色域的颜色还原和图像效果。相比现有的方案中，无法有效和灵活地兼顾多光谱和高动态效果，本申请可实现高分辨高光谱成像，兼顾解析力和颜色精度，实现低噪声，适用于高质量图像还原以及夜景效果提升。
在一种可能的设计中，逻辑控制电路，用于：在确定进行多光谱成像时，控制每个像素单元中的第一开关器件导通，第二开关器件关闭；控制行列控制电路将多个频谱阵列中每个频谱阵列的多个单通道光谱单元进行分组，每个分组包括相邻的多个单通道光谱单元；控制行列控制电路将每个频谱阵列的每个分组进行信号合并，得到每个频谱阵列的每个分组的合并信号，每个频谱阵列的每个分组的合并信号用于进行多光谱成像。这种通过不同频谱通道相邻再做合并的方式，虽然牺牲一定的色域空间，但是可以兼顾多光谱成像时颜色和动态范围的提升。
在一种可能的设计中，信号合并包括：电荷合并、或模拟域合并或数字域合并。但不限于这三种合并方式。
在一种可能的设计中，逻辑控制电路还用于：确定前一帧图像的环境光强度大于或等于预设阈值时，在获取后一帧图像的每个像素单元的信号时，降低每个像素单元的曝光和/或增益；确定前一帧图像的环境光强度小于预设阈值时，在获取后一帧图像的每个像素单元的信号时，抬高每个像素单元的曝光和/或增益。这样，最底层每像素单元的读出方式可以根据上一帧的亮度探测信息，动态的适配低增益或者高增益，进一步满足光强探测动态范围的需求。
第二方面，提供一种多光谱处理方法，应用于多光谱探测装置，多光谱探测装置包括逻辑控制电路、多个频谱阵列、行列控制电路、多个采集电流的模数转换器ADC和多个采集电压的ADC；每个频谱阵列包括多个单通道光谱单元，多个单通道光谱单元中的每个单通道光谱单元包括多个像素单元；对于多个像素单元中的每个像素单元，每个像素单元与行列控制电路、多个采集电流的ADC中的一个采集电流的ADC和多个采集电压的ADC中的一个采集电压的ADC耦合；每个像素单元包括光电探测器PD、电压探测电路和电流探测电路，电压探测电路包括第一开关器件，电流探测电路包括第二开关器件。该方法包括：多光谱探测装置控制逻辑控制电路用于每个像素单元中的第一开关器件和第二开关器件在不同的工作模式下进行成像或环境光探测；多光谱探测装置控制逻辑控制电路对行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强。
在一种可能的设计中，多光谱探测装置控制逻辑控制电路用于每个像素单元中的第一开关器件和第二开关器件在不同的工作模式下进行成像或环境光探测包括：多光谱探测装置控制逻辑控制电路用于每个像素单元中的第一开关器件导通，第二开关器件关断，以便将每个像素单元中的PD进行光电转化后的电流信号通过第一开关器件传输至采集电压的ADC进行成像；或，多光谱探测装置控制逻辑控制电路用于每个像素单元中的第一开关器件关断，第二开关器件导通，以便将每个像素单元中的PD进行光电转化后的电流信号通过第二开关器件传输至采集电流的ADC进行环境光探测。
在一种可能的设计中，每个像素单元中的电流探测电路还包括电流镜，每个像素单元中的电压探测电路还包括复位管、源跟随管和行选管；对于每个像素单元，PD的输出端与第一开关器件的第一端和第二开关器件的第一端耦合，第一开关器件的第二端与复位管的第一端和源跟随管的第一端耦合，源跟随管的第二端与行选管的第一端耦合，行选管的第二端与行列控制电路的第一输入端耦合，行列控制电路的第一输出端与采集电压的ADC耦合，行列控制电路的第二输出端与采集电流的ADC耦合；第二开关器件的第二端与电流镜的第一端耦合，电流镜的第一输出端与行列控制电路的第二输入端耦合。
在一种可能的设计中，多对行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：在确定进行环境光强度探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通；以单个频谱阵列为单位，控制行列控制电路将每个频谱阵列中的所有单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。在一种可能的设计中，多对行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：在确定进行环境光强度探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通；控制行列控制电路对多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中的单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。
在一种可能的设计中，多对行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：在确定进行环境光类型探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通；控制行列控制电路对多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中相同的单通道光谱单元作为一个分组进行信号合并，得到每个区域中每种单通道光谱单元的合并信号，每个区域中的一个分组进行信号合并后的信号用于指示一种环境光类型。
在一种可能的设计中，多对行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：在确定进行多光谱成像时，控制每个像素单元中的第一开关器件导通，第二开关器件关闭；控制行列控制电路将多个频谱阵列中每个频谱阵列的每个单通道光谱单元的多个像素单元作为一个分组进行信号合并，得到每个频谱阵列的每个单通道光谱单元的合并信号，每个频谱阵列的每个单通道光谱单元的合并信号用于进行多光谱成像。
在一种可能的设计中，多对行列控制电路对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：在确定进行多光谱成像时，控制每个像素单元中的第一开关器件导通，第二开关器件关闭；控制行列控制电路将多个频谱阵列中每个频谱阵列的多个单通道光谱单元进行分组，每个分组包括相邻的多个单通道光谱单元；控制行列控制电路将每个频谱阵列的每个分组进行信号合并，得到每个频谱阵列的每个分组的合并信号，每个频谱阵列的每个分组的合并信号用于进行多光谱成像。
在一种可能的设计中，信号合并包括：电荷合并、或模拟域合并或数字域合并。
该方法还包括：确定前一帧图像的环境光强度大于或等于预设阈值时，在获取后一帧图像的每个像素单元的信号时，降低每个像素单元的曝光和/或增益；确定前一帧图像的环境光强度小于预设阈值时，在获取后一帧图像的每个像素单元的信号时，抬高每个像素单元的曝光和/或增益。
第三方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第二方面及第二方面任一项可能的实现方式中的多光谱处理方法。
第四方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述第二方面及第二方面任一项可能的实现方式中的多光谱处理方法。
第五方面，提供一种芯片，包括如第一方面及第一方面任一项可能的实现方式中的多光谱探测装置。
可以理解的是，上述提供的任一多光谱探测装置、芯、计算机可读存储介质或计算机程序产品等均可以应用于上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种拍摄图像的系统架构示意图；
图2为本申请实施例提供的一种图像传感器中的多光谱探测器部分电路结构示意图；
图3为本申请实施例提供的一种多光谱探测器部分电路结构示意图；
图4为本申请实施例提供的一种多光谱探测装置的结构示意图；
图5为本申请实施例提供的一种多光谱探测装置的结构示意图；
图6为本申请实施例提供的一种多光谱探测装置的结构示意图；
图7为本申请实施例提供的一种多光谱探测装置中每个像素单元的结构示意图；
图8为本申请实施例提供的一种环境光强探测方法流程示意图；
图9为本申请实施例提供的一种将每个频谱阵列中的单通道光谱单元合并为全通通道后的示意图；
图10为本申请实施例提供的一种环境光类型探测方法流程示意图；
图11为本申请实施例提供的一种将每个频谱阵列中的单通道光谱单元合并示意图；
图12为本申请实施例提供的一种相同的单通道光谱单元合并示意图；
图13为本申请实施例提供的一种多光谱成像方法流程示意图；
图14为本申请实施例提供的一种频谱阵列中像素单元的合并示意图；
图15为本申请实施例提供的一种频谱阵列中不同的单通道光谱单元进行信号合并的示意图；
图16为本申请实施例提供的一种多光谱探测装置架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在拍摄图像时，如图1所示，景物可通过透镜装置(Lens)生成的光学图像投射到图像传感器的表面，然后转化为电信号，经过预中放电路放大，自动色度控制(AutomaticChroma Control，ACC)和模拟数字转换器(analog to digital，A/D)转换后的数字图像信号传输给数字信号处理芯片进行加工处理，再经过输入/输出(Input/Output，I/O)接口传输到中央处理器(Central Processing Unit，CPU)中处理，最后将图像输出到显示屏上。
在图像拍摄过程中，需要进行白平衡，白平衡是指摄像头在不同光源照明条件下还原白色物体的能力，摄像头所拍摄的物理的影像还原应具有与人眼在相同照明条件下观察被测物体色彩相符合。因此，在白平衡过程中，需要进行环境光检测，以为图像提供精准的颜色还原。
目前，多光谱技术逐渐被应用于环境光检测，此外，还可以应用于物质识别等过程，为精准的颜色还原提供更加丰富的信息。例如，在科研物质检测设备、美妆行业肤质检测设备、产业界光谱测试设备和手机行业摄像头等领域，多光谱技术逐渐称为主流的解决方案。
例如，在一些多光谱技术中，可基于IPD和采集电流的ADC实现环境光检测，每个感光通道借助于干涉滤波实现特定频谱筛选。如图2所示，为图像传感器的部分电路，这部分电路可理解为多光谱探测器的核心电路，此外，还可以包括该核心电路外围的逻辑控制电路。图中的PD用于响应接收到的透过的波段的光信号，即将筛选到的频谱打到IPD上，IPD可响应光信号，将光信号进行光电转换，得到电流信号传输到该部分电路中，当电流信号传输至采集电流的ADC时，采集电流的ADC可将电流信号转换为数字信号，数字信号被传输至数字信号处理芯片进行处理。在图像传感器中，每个像素位置可对应一个IPD，图2示出的电路中除IPD以外的电路可认为是采集电流的ADC电路，多光谱探测器包括多个IPD和多个采集电流的ADC电路，每个IPD与一个采集电流的ADC电路耦合，一个采集电流的ADC电路可与多个IPD耦合。
其中，每个IPD的硅(Si)表面可进行干涉滤波镀膜，针对设计的带通频谱进行膜系层数和厚度的设计与制造，形成最终的多光谱探测器。
但是，对于单个像素(pixel)来说，最为最小的感光单元，需要占用较大的面积，且在暗光场景下，ADC的高增益噪声水平较差，因此无法实现手机等架构可接受靶面下的高分辨率信号采集，同时暗光性能交较差，无法实现超夜环境的有效亮度以及光谱信息的探测。
在另一些多光谱技术中，如图3所示，多光谱探测器可基于PIN光电二极管(pin-photodiode)、4T读出结构和ramp型ADC实现高分辨低噪声的光电转化和信号量化。但是，图3示出的多光谱探测器的动态范围受到FD电容的限制，即使依靠多电容切换设计，也无法在有限的面积下实现太阳光下不饱和的高动态能力。
其中，动态范围可理解为摄像头能够拍摄的从最黑到最白之间的最大的影调范围，表示摄像头记录影响灰阶等级的能力，动态范围越大，说明被捕捉下来的层次越丰富。
由此，本申请提出一种多光谱探测装置，单个像素的电路和像素外围的电路结构与现有的不同，可通过开关控制实现光电转换后的电流信号流向，支持小像素、低噪声的高质量多光谱成像，以及太阳光下不饱和的超高动态范围的环境光源类型探测和环境光强度探测，同时拓展了暗态的探测能力。
其次，本申请可提供一种更高分辨率的多光谱器件，且为多功能的多光谱器件，可兼具成像、光源类型探测和光源强度探测。具体可通过本申请提供的新型的像素结构搭配新型的组合读出方式实现。也就是说，在本申请提出的新型的像素组合读出方式，可实现多种功能，例如包括高分辨多光谱高动态成像，可实现成像时更好的颜色效果、安全和健康检测；高动态多区域环境光强检测，可用于辅助高动态范围图像(High-Dynamic Range，HDR)的效果升级；高动态多区域环境光类型检测，用于辅助分区颜色还原精度和效果升级。这样，可带来现有多光谱器件的升级，作为一颗独立的多功能摄像机(camera)，给系统级的高动态、准确颜色带来收益，并且成本可控。
本申请提供的多光谱探测装置可应用于在高分辨、多功能高光谱探测器，具体可应用于多种使用场景中。例如应用于手机应用的多光谱camera中，可实现高分辨的多光谱成像、提升颜色精度；可依据场景灵活配置的多分区的环境光类型检测，辅助实现精细分区的自动白平衡(Automatic white balance，AWB)，实现混合色温场景的精准颜色还原；可依据场景灵活配置的多分区的环境光强度探测，辅助实现更准确的自动曝光(Autoexposure，AE)控制，辅助实现高动态场景更准确的高动态范围比率(High Dynamic Rangeratio，HDR)配置。还可在手机上，实现基于多光谱的肤质检测，人脸防伪检测等。
再例如，还可以应用于手机、手表、配件应用的多光谱camera，实现物质成分检测、血糖、血氧和血压等健康检测。
再例如，还可以应用于全屋智能以及车载领域，实现活体检测，辅助提供安全场景所需的信息。
本申请提供的多光谱探测装置可应用于图像传感器等感光类传感器件中。
下面对本申请提供的多光谱探测装置进行介绍。
如图4所示为本申请提供的一种多光谱探测装置40，该多光谱探测装置包括逻辑控制电路、多个频谱阵列、行列控制电路(SWAP SEL)、多个采集电流的ADC和多个采集电压的ADC。
本申请中采集电流的ADC例如可以为积分型ADC，或为其他采集电流类型的ADC；本申请中采集电压的ADC例如可以为阶跃式ADC，或为其他采集电压类型的ADC。
每个频谱阵列包括多个单通道光谱单元，多个单通道光谱单元中的每个单通道光谱单元包括多个像素单元。
本申请中，每个频谱阵列可理解为环境光类型探测最小单元和环境光强度探测最小单元。
如图5所示，C11、C12、C13、…、Cmn组成的阵列可理解为一个频谱阵列，其中的单个C11或C12、…、或Cmn等为一个单通道光谱单元，或者称为一个频谱通道，m和n为等于或等于1的整数。每个C11或C12、…、或Cmn包括多个相同频谱通道的像素单元：(1,1)、(1，2)、…、(h，k)，即(h，k)表示一个最小像素单元，指示像素单元的位置信息。
ADC组(group)1表示多个采集电压的ADC，ADC组(group)2表示多个采集电流的数模转换器ADC。
如图6所示，对于多个像素单元中的每个像素单元，每个像素单元与行列控制电路、多个采集电流的ADC中的一个采集电流的ADC(ADC2)和多个采集电压的ADC中的一个采集电压的ADC(ADC1)耦合。
每个像素单元包括光电探测器PD、电压探测电路和电流探测电路，所述电压探测电路包括第一开关器件TX1，电流探测电路包括第二开关器件TX2；
逻辑控制电路，用于控制每个像素单元中的第一开关器件TX1和第二开关器件TX2在不同的工作模式下进行成像或环境光探测；
逻辑控制电路，还用于控制行列控制电路SWAP SEL对多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强。
由此，在本申请中，通过新设计的一种像素单元的电路结构，可使得像素单元的的工作模式可根据需要进行切换，具体可通过第一开关器件TX1和第二开关器件TX2的导通和关断确定每个像素单元的工作模式用于成像或环境光探测。
在此基础上，本申请通过对多个频率阵列中的像素单元通过行列控制电路进行合并，在多种合并方式下进行环境光探测增强或成像增强。这样，通过新像素单元在多个频率阵列中的多种合并方式读出，可实现高分辨率下的高质量成像和高动态的环境光探测，即在多光谱处理中支持小像素、低噪声的高质量多光谱成像，实现高分辨率信号采集和提升暗光性能。
在一些实施例中，逻辑控制电路，用于控制每个像素单元中的第一开关器件TX1导通，第二开关器件TX2关断，以便将每个像素单元中的PD进行光电转化后的电流信号通过第一开关器件TX1传输至采集电压的ADC(ADC1)进行成像；或，逻辑控制电路，用于控制每个像素单元中的第一开关器件TX1关断，第二开关器件TX2导通，以便将每个像素单元中的PD进行光电转化后的电流信号通过第二开关器件TX2传输至采集电流的ADC(ADC2)进行环境光探测。
也就是说，本申请可通过多个频谱阵列的排列，提升手机等架构可接受靶面下的高分辨率信号采集。而且，本申请提供的单个像素单元的电路结构与现有的单个像素的电路结构不同。本申请提供的单个像素单元中的PD进行光电转化后的电流信号可通过第一开关器件TX1向ADC1传输，或通过第二开关器件TX2向ADC2传输，并不是如现有技术中，单个像素单元的电路结构的电流信号只能通过一种类型的ADC传输。
并且，本申请中可通过对多个频谱阵列中的单通道光谱单元按照预设的分组类型进行信号合并，也就是说，结合本申请提供的单个像素单元的新型电路结构，得到基于单通道光谱单元的多种分组类型，可实现多种分组类型下对环境光类型或强度的探测，还可以实现超高动态范围的环境光探测，解决现有的无法进行高分辨率成像问题，和太阳光等超高动态范围的环境光探测问题。
在一些实施例中，在图6示出的像素单元的电路结构的基础上，本申请中，如图7所示，每个像素单元中的电流探测电路还包括电流镜M，每个像素单元中的电压探测电路还包括复位管RST、源跟随管SF、电容C和行选管SEL1。
对于每个像素单元，PD的输出端a与第一开关器件TX1的第一端b和第二开关器件TX2的第一端c耦合，第一开关器件TX1的第二端d与复位管RST的第一端e和源跟随管SF的第一端f耦合，源跟随管SF的第二端g与行选管SEL1的第一端h耦合，行选管SEL1的第二端i与行列控制电路(SWAP SEL)的第一输入端j耦合，行列控制电路(SWAP SEL)的第一输出端k与采集电压的ADC(ADC1)耦合，行列控制电路(SWAP SEL)的第二输出端l与采集电流的ADC(ADC2)耦合；第二开关器件TX2的第二端m与电流镜M的第一端n耦合，电流镜M的第一输出端o与行列控制电路(SWAP SEL)的第二输入端p耦合。电容C耦合在PD的输入端和第一开关器件TX1的第二端d间。
需要说明的是，图7中示出的两个行列控制电路SWAP SEL实际上为同一个，即同一个SWAP SEL与至少一个ADC1耦合和与至少一个ADC2耦合。图7中的bitLine是指与源跟随管SF的第二端g相连的列向信号线、iLine是指与电流镜M的o端相连的列向信号线。
也就是说，根据图7的电路结构，对于每个像素单元，包括PD、第一开关器件TX1和第二开关器件TX2以外，还包括电流镜M、复位管RST、源跟随管SF、电容C和行选管SEL1。行列控制电路(SWAP SEL)的数量也可以为至少一个，每个像素单元和至少一个行列控制电路(SWAP SEL)中的一个耦合，至少一个行列控制电路(SWAP SEL)中的每个行列控制电路(SWAP SEL)与多个ADC1中的一个耦合，且与多个ADC2中的一个耦合。
对于单个像素单元来说，逻辑控制电路可控制像素单元中的PD经过光电转换后的电流信号流经第一开关器件TX1或第二开关器件TX2。当电流信号流经第一开关器件TX1时，电流信号可通过TX1传输至源跟随管SF，源跟随管SF可将接收到的电流信号无损的输出给行选管SEL1。行选管SEL1用于在频谱阵列中，根据逻辑控制电路的指示确定某一行的像素单元根据被选中时，该行的像素单元的电流信号可输出给行列控制电路(SWAP SEL)。行列控制电路(SWAP SEL)用于在频谱阵列中，根据逻辑控制电路的指示进行单通道频谱单元按照预设的组合类型进行信号合并。
当电流信号流经第二开关器件TX2时，电流信号可通过电流镜M镜像传输至行列控制电路(SWAP SEL)，以便行列控制电路(SWAP SEL)根据逻辑控制电路的指示进行单通道频谱单元按照预设的组合类型进行信号合并。
基于本申请提供的多光谱探测装置，下面对多光谱探测装置应用于超高动态场景的环境光强探测场景、超高动态场景的环境光类型探测场景和高分辨高动态多光谱成像的场景分别进行介绍。当然，本申请提供的多光谱探测装置不局限应用于这三种场景，还可以应用于其他场景中，本申请不做限定。
本申请实施例提供一种超高动态场景的环境光强探测方法，如图8所示，该方法包括：
801、多光谱探测装置确定执行环境光强探测时，将多个频谱阵列中每个频谱阵列中的单通道光谱单元合并为一个全通通道，得到多个全通通道的合并信号并读出。
在一些实施例中，多光谱探测装置中的逻辑控制电路接收到环境光强探测指示时，由于采集电流的数模转换器ADC具备更高动态范围的检测能力，逻辑控制电路可控制多个频谱阵列中，每个像素单元的第一开关器件TX1关断，第二开关器件TX2导通，并指示行列控制电路SWAP SEL以单个频谱阵列为单位，控制行列控制电路将每个频谱阵列中的所有单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频率阵列区域的环境光强度。
示例性的，假设将每个频谱阵列中的单通道光谱单元合并为全通通道后的示意图如图9所示，可理解，将一个频谱阵列中的单通道光谱单元C11、C12、C13、…、Cmn合并为一个全通通道，得到图9中的全通通道(1,1)，将另一个频谱阵列中的单通道光谱单元C11、C12、C13、…、Cmn合并为一个全通通道，得到图9中的全通通道(1,2)，这样在执行多个频谱阵列的单通道光谱单元C11、C12、C13、…、Cmn合并后，可得到的全通通道包括(1,1)、(1,2)、…、(x,y)。
在一些实施例中，合并方式不限于电荷合并、模拟域合并和数字域合并。
其中，以一个频谱阵列来说，电荷合并，可理解为C11、C12、C13、…、Cmn这多个单通道光谱单元的电荷合并，具体为单通道光谱单元C11中的像素单元(1,1)、(1，2)、…、(h，k)的电荷、单通道光谱单元C12中的像素单元(1,1)、(1，2)、…、(h，k)的电荷、单通道光谱单元C13中的像素单元(1,1)、(1，2)、…、(h，k)的电荷、…、单通道光谱单元Cmn中的像素单元(1,1)、(1，2)、…、(h，k)的电荷的合并。其中，两个像素单元的电荷的合并可理解为，将与两个像素单元耦合的第二开关器件TX2同时导通，使得两个像素单元的进行光电转换后的电流信号传输到同一个电流路径上传输至行列控制电路SWAP SEL。同理，将每个频谱阵列中涉及到的像素单元的电流信号进行电流信号的合并，可得到同一个频谱阵列中每个单通道光谱单元进行电荷合并后的全通通道的电流信号。
以一个频谱阵列来说，模拟域合并，可理解为C11、C12、C13、…、Cmn这多个单通道光谱单元的模拟域合并，具体为单通道光谱单元C11中的像素单元(1,1)、(1，2)、…、(h，k)的模拟域信号、单通道光谱单元C12中的像素单元(1,1)、(1，2)、…、(h，k)的模拟域信号、单通道光谱单元C13中的像素单元(1,1)、(1，2)、…、(h，k)的模拟域信号、…、单通道光谱单元Cmn中的像素单元(1,1)、(1，2)、…、(h，k)的模拟域信号的合并。其中，两个像素单元的模拟域合并可理解为，每个像素单元进行光电转换后的电流信号可在各自的电流路径上传输，但是在传输至ADC2时进行了模拟信号合并。同理，将每个频谱阵列中涉及到的像素单元的模拟信号在ADC2处进行模拟信号的合并，可得到同一个频谱阵列中每个单通道光谱单元进行模拟信号合并后的全通通道的模拟信号输入给至少一个ADC2。
以一个频谱阵列来说，数字域合并，可理解为C11、C12、C13、…、Cmn这多个单通道光谱单元的数字域合并，具体为单通道光谱单元C11中的像素单元(1,1)、(1，2)、…、(h，k)的数字域信号、单通道光谱单元C12中的像素单元(1,1)、(1，2)、…、(h，k)的数字域信号、单通道光谱单元C13中的像素单元(1,1)、(1，2)、…、(h，k)的数字域信号、…、单通道光谱单元Cmn中的像素单元(1,1)、(1，2)、…、(h，k)的数字域信号的合并。其中，两个像素单元的数字域合并可理解为，每个像素单元进行光电转换后的电流信号可在各自的电流路径上传输至ADC2，经过ADC2进行模数转换后的数字信号的合并(例如执行加权平均后的结果)。同理，将每个频谱阵列中涉及到的像素单元的电流信号在ADC2中经过模数转换后的数字信号进行累加(合并)，可得到同一个频谱阵列中每个单通道光谱单元进行数字信号累加后的全通通道的数字信号。
802、多光谱探测装置确定每个全通通道读出的合并后的信号小于或等于预设阈值时，对多个全通通道继续进行等间隔划分，得到多个分组合并后信号并读出。
如果多光谱探测装置中的逻辑控制电路在确定了每个全通通道读出的合并后的信号小于预设阈值时，可认为一个全通通道中的C11、C12、…、Cmn的信号合并后的结果判断的环境光强度依然很弱，还可以对图9中的得到的多个全通通道(1,1)、(1,2)、…、(x,y)进一步进行等间隔划分，得到多个分组，划分结果可示意为(x/k1,y/k2)，(k1,k2＝1,2,3……)个分组，或者称为(x/k1,y/k2)个像素区域，以达到降噪或者增加感度，合并方式不限于电荷合并、模拟域合并和数字域合并等。
这样，划分后得到的(x/k1,y/k2)个分组(像素区域)合并后的信号可通过ADC组2中的至少一个ADC2进行量化，得到不同分组或像素区域的环境光强度，或者称为环境光亮度。
步骤802也就相当于，在逻辑控制电路，用于确定进行环境光强度探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通。控制行列控制电路对多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中的单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。
在一些实施例中，本申请的逻辑控制电路，在用于执行底层每个像素单元的信号读出时，可根据上一帧图像的环境光强度，动态的适配低增益或高增益，以进一步满足光强探测动态范围的需求。
即逻辑控制电路确定前一帧图像的环境光强度大于或等于预设阈值时，在获取后一帧图像的每个像素单元的信号时，降低每个像素单元的曝光和/或增益；
确定前一帧图像的环境光强度小于预设阈值时，在获取后一帧图像的每个像素单元的信号时，抬高每个像素单元的曝光和/或增益。
也就是说，多个频谱阵列中的多个像素单元的增益不完全相同，当逻辑控制电路确定上一帧图像的环境光强度较强时，可在得到下一帧图像前，即采集下一帧图像所需的像素单元的光信号时，可将像素单元的增益适当调低；反之，上一帧图像的环境光强度较弱时，可将像素单元的增益适当增高。这种底层像素单元的多增益读取方式，可以进一步增强环境光可探测的动态范围能力。
由此，通过本申请提供的环境光强探测方法，对于每个像素单元，该像素单元中与第一开关器件TX1耦合的部分电路(包括电容C)并未工作，不会产生信号钳位(clamp)带来的饱和问题，适用于高动态范围的光感探测。而且，本申请还可以通过不同的电流加和方式(步骤801或步骤802)，可用于不同强度的环境光的探测需要。
相对目前现有的环境光强探测方案，现有的只能实现单点(单个像素单元)环境光强的检测，无法有效地探测到环境的实际动态范围，因此无法有效地辅助视频后期制作软件(After Effect，AE)精准迅速配置或者不同高动态范围(High Dynamic Range，HDR)比率(ratio)精准配置。而本申请可实现多种像素单元的分区(分组)，借助灵活的信号合并方式，适用于不同的环境光亮度场景，从而达成环境光探测精度和分辨率的平衡选择。
本申请提供的环境光强探测方案中这种多区域的高动态环境光强信息可以用于辅助其他camera进行AE的精准迅速判断或者HDR模式的不同HDR ratio的AE精准配置，还可以辅助HDR融合算法，适配更加合适的压缩曲线。
本申请实施例提供一种超高动态场景的环境光类型探测方法，如图10所示，该方法包括：
1001、多光谱探测装置确定执行环境光类型探测时，控制每个像素单元中的第一开关器件关断，第二开关器件导通。
即当逻辑控制单元确定执行环境光类型探测时，可控制每个像素单元中的第一开关器件TX1关断，第二开关器件TX2导通，将每个像素单元中的PD进行光电转换后的电流信号通过TX2和电流镜M流向行列控制电路。
1002、多光谱探测装置对多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中相同的单通道光谱单元作为一个分组进行信号合并，得到每个区域中每种单通道光谱单元的合并信号，每个区域中的一个分组进行信号合并后的信号用于指示一种环境光类型。
在一些实施例中，逻辑控制电路可指示行列控制电路将多个频谱阵列进行区域划分，这里的划分可理解为是对图9示出的(1,1)、(1,2)、…、(x,y)个频谱阵列按照(x/k1,y/k2)(k1,k2＝1,2,3……)阵列合并读出。与步骤801不同的是，行列控制电路不需要将每个频谱阵列中的多个单通道光谱单元进行合并，而是将每个区域中相同的单通道光谱单元的信号合并。
如图11所示，假设x＝y＝4，k1＝k2＝2，共16个频谱阵列，被划分为4个分区，或者称为4个分组：①、②、③和④。其中，①分区包括(1,1)、(1,2)、(2,1)和(2,2)4个频谱阵列，②分区包括(1,3)、(1,4)、(2,3)和(2,4)4个频谱阵列，③分区包括(3,1)、(3,2)、(4,1)和(4,2)4个频谱阵列，④分区包括(3,3)、(3,4)、(4,3)和(4,4)4个频谱阵列。
如图12所示，以①分区的4个频谱阵列为例，可将这4个频谱阵列中相同的单通道光谱单元作为一个分组进行信号合并。也就是说，将这4个频谱阵列中的4个单通道光谱单元C11中的像素单元进行信号合并，将这4个频谱阵列中的4个单通道光谱单元C21中的像素单元进行信号合并，将这4个频谱阵列中的4个单通道光谱单元C31中的像素单元进行信号合并，…，将这4个频谱阵列中的4个单通道光谱单元Cmn中的像素单元进行信号合并。这样，可得到①分区中每种单通道光谱单元的合并信号。对于其他3个分区，也进行类似的信号合并即可。
其中，每个分区中相同的单通道光谱单元或者说相同的频谱通道的合并方式不限于上述电荷合并、模拟域合并和数字域合并。
在一些实施例中，逻辑控制电路可根据动态范围和环境光类型探测精度的需求，适配划分合并方式，即适当的确定k1和k2的值。例如，在上一帧图像成像时，确定的环境光强度较强，k1和k2的值可适当增大，即每个分区的频谱阵列的数量较少。当上一帧图像成像时，确定的环境光强度较弱时，k1和k2的值可适当减小，即每个分区的频谱阵列的数量较多，以提升环境光类型探测精度。
可理解，合并后的信号经过ADC2量化，可得到不同分区的频谱响应信息。
在一些实施例中，在暗光场景，或者动态范围较低的场景，或者光源复杂的场景，逻辑控制单元也可以控制第一开关器件TX1导通，第二开关器件TX2关断。这样，步骤1002合并后的信号经过ADC1量化。这是由于ADC1对于暗光的量化能力较强。
在一些实施例中，最底层每个像素单元的信号读出方式可根据上一帧图像的环境光亮度探测信息，动态地适配低增益或高增益，进一步满足光强探测动态范围的需求。具体实现与步骤802中的增益适配过程类似。
由此，本申请提供的超高动态场景的环境光类型探测方法，可通过对多个频谱阵列进行分区，借助灵活的信号合并方式，可适用于不同环境光亮度场景，达成环境光类型的探测精度和分辨率的平衡选择，且不会产生信号clamp带来的饱和问题，适用于高动态光感探测。这种多区域高动态多通道光谱信息，可以用于辅助其他camera进行分区域的环境类型检测和分区域的AWB参数适配，辅助更精准的单一或混合色温场景的颜色还原。
本申请实施例提供一种多光谱成像方法，如图13所示，该方法包括：
1301、多光谱探测装置在确定进行多光谱成像时，控制每个像素单元中的第一开关器件导通，第二开关器件关闭。
由于采集电压的ADC，即本申请中的ADC1可用于电压信号的相关双采样量化，因此，在逻辑控制电路确定要进行多光谱成像时，可使得频谱阵列中的每个单通道光谱单元中的像素单元进行光电转换后的电流信号流向采集电压的ADC组1。
1302、控制行列控制电路将多个频谱阵列中每个频谱阵列的每个单通道光谱单元的多个像素单元作为一个分组进行信号合并，得到每个频谱阵列的每个单通道光谱单元的合并信号，每个频谱阵列的每个单通道光谱单元的合并信号用于进行多光谱成像。
在一些实施例中，逻辑控制电路可控制每个频谱阵列的每个单通道光谱单元的每个像素单元进行光电转换后的电流信号单独输入到ADC1被读出，得到数字信号。即相同频谱通道的底层像素单元进行光电转换后的电流信号可单独输出至ADC1并量化，以在高亮场景提升图像分辨率。
在一些实施例中，为了实现更高色域的颜色还原和图像效果，逻辑控制电路可控制行列控制电路将多个频谱阵列中每个频谱阵列的每个单通道光谱单元中的多个像素单元(像素单元阵列)进行分组或分区，对分组或分组进行信号合并。如图14所示，行列控制电路可将每个单通道光谱单元中的多个像素每4个相邻的像素单元为一组进行信号合并，如图14中像素单元(1,1)、(1,2)(2,1)和(2,2)为一组进行信号合并，像素单元(1,k-1)、(1,k)(2,k-1)和(2,k)为一组进行信号合并，合并方式不限于电荷合并、模拟域合并或数字域合并。
在一些实施例中，为了实现更高色域的颜色还原和图像效果，逻辑控制电路可控制行列控制电路将多个频谱阵列中每个频谱阵列的多个单通道光谱单元进行分组，每个分组包括相邻的多个单通道光谱单元。
控制行列控制电路将每个频谱阵列的每个分组进行信号合并，得到每个频谱阵列的每个分组的合并信号，每个频谱阵列的每个分组的合并信号用于进行多光谱成像。
也就是说，行列控制电路可将每个频谱阵列中不同的单通道光谱单元进行信号合并。如图15所示，以一个频谱阵列来说，行列控制电路可将一个频谱阵列中的4个相邻的单通道光谱单元C11、C12、C22和C22为一组进行信号合并，单通道光谱单元C13、C14、C23和C24为一组进行信号合并。虽然这样会牺牲一定的色域空间，但是可以兼顾图像的颜色和动态范围的提升。
在一些实施例中，最底层的每个像素单元的信号读出方式可以根据上一帧图像的亮度信息，为每个像素单元动态地适配低增益或高增益，或者高低增益的融合。
在一些实施例中，相同的单通道光谱单元的底层像素单元还可以配置不同的曝光或增益，并进行高动态合成压缩。
在一些实施例中，多个单通道光谱单元的拜耳图像再生成(remosaic)可在片上或平台侧完成。
由此，本申请提供的多光谱成像方法，可用于高光谱成像，通过高分辨高动态多光谱信息，可实现更高色域的颜色还原和图像效果。相比现有的方案中，无法有效和灵活地兼顾多光谱和高动态效果，本申请可实现高分辨高光谱成像，兼顾解析力和颜色精度，实现低噪声，适用于高质量图像还原以及夜景效果提升。
可以理解的是，为了实现上述功能，多光谱探测装置包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图16示出了上述实施例中涉及的多光谱探测装置160的一种可能的组成示意图，如图16所示，该多光谱探测装置160可以包括：开关控制单元1601和信号合并单元1602。
其中，信号合并单元1602可以用于支持多光谱探测装置160执行上述步骤801、步骤802、步骤1002和步骤1302等，和/或用于本文所描述的技术的其他过程。
开关控制单元1601可以用于支持多光谱探测装置160执行上述步骤1001和步骤1301等，和/或用于本文所描述的技术的其他过程。
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本实施例提供的多光谱探测装置160，用于执行上述多光谱处理方法，因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下，多光谱探测装置160可以包括处理模块、存储模块和通信模块。其中，处理模块可以用于对多光谱探测装置160的动作进行控制管理，例如，可以用于支持多光谱探测装置160执行上述开关控制单元1601和信号合并单元1602执行的步骤。存储模块可以用于支持多光谱探测装置160存储程序代码和数据等。通信模块，可以用于支持多光谱探测装置160与其他设备的通信。
其中，处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
本申请的实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的天线增益调整方法。
本申请的实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中电子设备执行的天线增益调整方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中电子设备执行的多光谱处理方法。
其中，本实施例提供的多光谱探测装置、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种多光谱探测装置，其特征在于，所述多光谱探测装置包括逻辑控制电路、多个频谱阵列、行列控制电路、多个采集电流的模数转换器ADC和多个采集电压的ADC；
每个所述频谱阵列包括多个单通道光谱单元，所述多个单通道光谱单元中的每个单通道光谱单元包括多个像素单元；
对于所述多个像素单元中的每个像素单元，所述每个像素单元与所述行列控制电路、所述多个采集电流的ADC中的一个采集电流的ADC和所述多个采集电压的ADC中的一个采集电压的ADC耦合；
所述每个像素单元包括光电探测器PD、电压探测电路和电流探测电路，所述电压探测电路包括第一开关器件，所述电流探测电路包括第二开关器件；
所述逻辑控制电路，用于控制所述每个像素单元中的第一开关器件和第二开关器件在不同的工作模式下进行成像或环境光探测；
所述逻辑控制电路，还用于控制所述行列控制电路对所述多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强。
2.根据权利要求1所述的多光谱探测装置，其特征在于，
所述逻辑控制电路，用于控制所述每个像素单元中的第一开关器件导通，第二开关器件关断，以便将所述每个像素单元中的PD进行光电转化后的电流信号通过第一开关器件传输至所述采集电压的ADC进行成像；或，所述逻辑控制电路，用于控制所述每个像素单元中的第一开关器件关断，第二开关器件导通，以便将所述每个像素单元中的PD进行光电转化后的电流信号通过第二开关器件传输至所述采集电流的ADC进行环境光探测。
3.根据权利要求2所述的多光谱探测装置，其特征在于，所述每个像素单元中的电流探测电路还包括电流镜，所述每个像素单元中的电压探测电路还包括复位管、源跟随管和行选管；
对于所述每个像素单元，PD的输出端与所述第一开关器件的第一端和所述第二开关器件的第一端耦合，所述第一开关器件的第二端与所述复位管的第一端和所述源跟随管的第一端耦合，所述源跟随管的第二端与所述行选管的第一端耦合，所述行选管的第二端与所述行列控制电路的第一输入端耦合，所述行列控制电路的第一输出端与所述采集电压的ADC耦合，所述行列控制电路的第二输出端与所述采集电流的ADC耦合；所述第二开关器件的第二端与所述电流镜的第一端耦合，所述电流镜的第一输出端与所述行列控制电路的第二输入端耦合。
4.根据权利要求1-3任一项所述的多光谱探测装置，其特征在于，所述逻辑控制电路，用于：
在确定进行环境光强度探测时，控制所述每个像素单元中的第一开关器件关断，第二开关器件导通；
以单个频谱阵列为单位，控制所述行列控制电路将所述每个频谱阵列中的所有单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。
5.根据权利要求1-3任一项所述的多光谱探测装置，其特征在于，所述逻辑控制电路，用于：
在确定进行环境光强度探测时，控制所述每个像素单元中的第一开关器件关断，第二开关器件导通；
控制所述行列控制电路对所述多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中的单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。
6.根据权利要求1-3任一项所述的多光谱探测装置，其特征在于，所述逻辑控制电路，用于：
在确定进行环境光类型探测时，控制所述每个像素单元中的第一开关器件关断，第二开关器件导通；
控制所述行列控制电路对所述多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中相同的单通道光谱单元作为一个分组进行信号合并，得到每个区域中每种单通道光谱单元的合并信号，每个区域中的一个分组进行信号合并后的信号用于指示一种环境光类型。
7.根据权利要求1-3任一项所述的多光谱探测装置，其特征在于，所述逻辑控制电路，用于：
在确定进行多光谱成像时，控制所述每个像素单元中的第一开关器件导通，第二开关器件关闭；
控制所述行列控制电路将所述多个频谱阵列中每个频谱阵列的每个单通道光谱单元的多个像素单元作为一个分组进行信号合并，得到所述每个频谱阵列的每个单通道光谱单元的合并信号，所述每个频谱阵列的每个单通道光谱单元的合并信号用于进行多光谱成像。
8.根据权利要求7所述的多光谱探测装置，其特征在于，所述逻辑控制电路，用于：
在确定进行多光谱成像时，控制所述每个像素单元中的第一开关器件导通，第二开关器件关闭；
控制所述行列控制电路将所述多个频谱阵列中每个频谱阵列的多个单通道光谱单元进行分组，每个分组包括相邻的多个单通道光谱单元；
控制所述行列控制电路将所述每个频谱阵列的每个分组进行信号合并，得到所述每个频谱阵列的每个分组的合并信号，所述每个频谱阵列的每个分组的合并信号用于进行多光谱成像。
9.根据权利要求4-8任一项所述的多光谱探测装置，其特征在于，所述信号合并包括：
电荷合并、或模拟域合并或数字域合并。
10.根据权利要求4-8任一项所述的多光谱探测装置，其特征在于，所述逻辑控制电路还用于：
确定前一帧图像的环境光强度大于或等于预设阈值时，在获取后一帧图像的每个像素单元的信号时，降低所述每个像素单元的曝光和/或增益；
确定前一帧图像的环境光强度小于所述预设阈值时，在获取后一帧图像的每个像素单元的信号时，抬高所述每个像素单元的曝光和/或增益。
11.一种多光谱处理方法，其特征在于，应用于多光谱探测装置，所述多光谱探测装置包括逻辑控制电路、多个频谱阵列、行列控制电路、多个采集电流的模数转换器ADC和多个采集电压的ADC；
每个所述频谱阵列包括多个单通道光谱单元，所述多个单通道光谱单元中的每个单通道光谱单元包括多个像素单元；
对于所述多个像素单元中的每个像素单元，所述每个像素单元与所述行列控制电路、所述多个采集电流的ADC中的一个采集电流的ADC和所述多个采集电压的ADC中的一个采集电压的ADC耦合；
所述每个像素单元包括光电探测器PD、电压探测电路和电流探测电路，所述电压探测电路包括第一开关器件，所述电流探测电路包括第二开关器件；
所述方法包括：
所述多光谱探测装置控制所述逻辑控制电路用于所述每个像素单元中的第一开关器件和第二开关器件在不同的工作模式下进行成像或环境光探测；
所述多光谱探测装置控制所述逻辑控制电路对所述行列控制电路对所述多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强。
12.根据权利要求11所述的方法，其特征在于，所述多光谱探测装置控制所述逻辑控制电路用于所述每个像素单元中的第一开关器件和第二开关器件在不同的工作模式下进行成像或环境光探测包括：
所述多光谱探测装置控制所述逻辑控制电路用于所述每个像素单元中的第一开关器件导通，第二开关器件关断，以便将所述每个像素单元中的PD进行光电转化后的电流信号通过第一开关器件传输至所述采集电压的ADC进行成像；
或，所述多光谱探测装置控制所述逻辑控制电路用于所述每个像素单元中的第一开关器件关断，第二开关器件导通，以便将所述每个像素单元中的PD进行光电转化后的电流信号通过第二开关器件传输至所述采集电流的ADC进行环境光探测。
13.根据权利要求11所述的方法，其特征在于，所述每个像素单元中的电流探测电路还包括电流镜，所述每个像素单元中的电压探测电路还包括复位管、源跟随管和行选管；
对于所述每个像素单元，PD的输出端与所述第一开关器件的第一端和所述第二开关器件的第一端耦合，所述第一开关器件的第二端与所述复位管的第一端和所述源跟随管的第一端耦合，所述源跟随管的第二端与所述行选管的第一端耦合，所述行选管的第二端与所述行列控制电路的第一输入端耦合，所述行列控制电路的第一输出端与所述采集电压的ADC耦合，所述行列控制电路的第二输出端与所述采集电流的ADC耦合；所述第二开关器件的第二端与所述电流镜的第一端耦合，所述电流镜的第一输出端与所述行列控制电路的第二输入端耦合。
14.根据权利要求11-13任一项所述的方法，其特征在于，所述多对所述行列控制电路对所述多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：
在确定进行环境光强度探测时，控制所述每个像素单元中的第一开关器件关断，第二开关器件导通；
以单个频谱阵列为单位，控制所述行列控制电路将所述每个频谱阵列中的所有单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。
15.根据权利要求11-13任一项所述的方法，其特征在于，所述多对所述行列控制电路对所述多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：
在确定进行环境光强度探测时，控制所述每个像素单元中的第一开关器件关断，第二开关器件导通；
控制所述行列控制电路对所述多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中的单通道光谱单元作为一个分组进行信号合并，一个分组进行信号合并后的信号用于指示一个频谱阵列区域的环境光强度。
16.根据权利要求11-13任一项所述的方法，其特征在于，所述多对所述行列控制电路对所述多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：
在确定进行环境光类型探测时，控制所述每个像素单元中的第一开关器件关断，第二开关器件导通；
控制所述行列控制电路对所述多个频谱阵列进行区域划分，将每个区域的所有频谱阵列中相同的单通道光谱单元作为一个分组进行信号合并，得到每个区域中每种单通道光谱单元的合并信号，每个区域中的一个分组进行信号合并后的信号用于指示一种环境光类型。
17.根据权利要求11-13任一项所述的方法，其特征在于，所述多对所述行列控制电路对所述多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：
在确定进行多光谱成像时，控制所述每个像素单元中的第一开关器件导通，第二开关器件关闭；
控制所述行列控制电路将所述多个频谱阵列中每个频谱阵列的每个单通道光谱单元的多个像素单元作为一个分组进行信号合并，得到所述每个频谱阵列的每个单通道光谱单元的合并信号，所述每个频谱阵列的每个单通道光谱单元的合并信号用于进行多光谱成像。
18.根据权利要求17所述的方法，其特征在于，所述多对所述行列控制电路对所述多个频谱阵列中的多个像素单元采用不同的信号合并方式，进行成像增强或环境光探测增强包括：
在确定进行多光谱成像时，控制所述每个像素单元中的第一开关器件导通，第二开关器件关闭；
控制所述行列控制电路将所述多个频谱阵列中每个频谱阵列的多个单通道光谱单元进行分组，每个分组包括相邻的多个单通道光谱单元；
控制所述行列控制电路将所述每个频谱阵列的每个分组进行信号合并，得到所述每个频谱阵列的每个分组的合并信号，所述每个频谱阵列的每个分组的合并信号用于进行多光谱成像。
19.根据权利要求14-18任一项所述的方法，其特征在于，所述信号合并包括：
电荷合并、或模拟域合并或数字域合并；
所述方法还包括：确定前一帧图像的环境光强度大于或等于预设阈值时，在获取后一帧图像的每个像素单元的信号时，降低所述每个像素单元的曝光和/或增益；
确定前一帧图像的环境光强度小于所述预设阈值时，在获取后一帧图像的每个像素单元的信号时，抬高所述每个像素单元的曝光和/或增益。
20.一种计算机可读存储介质，其特征在于，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述权利要求11-19中的任一项所述的方法。
CN202210357214.9A 2022-04-06 2022-04-06 一种多光谱处理方法和多光谱探测装置 Pending CN116929554A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210357214.9A CN116929554A (zh) 2022-04-06 2022-04-06 一种多光谱处理方法和多光谱探测装置
PCT/CN2023/086214 WO2023193712A1 (zh) 2022-04-06 2023-04-04 一种多光谱处理方法和多光谱探测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357214.9A CN116929554A (zh) 2022-04-06 2022-04-06 一种多光谱处理方法和多光谱探测装置

Publications (1)

Publication Number Publication Date
CN116929554A true CN116929554A (zh) 2023-10-24

Family

ID=88244036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357214.9A Pending CN116929554A (zh) 2022-04-06 2022-04-06 一种多光谱处理方法和多光谱探测装置

Country Status (2)

Country Link
CN (1) CN116929554A (zh)
WO (1) WO2023193712A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101696335B1 (ko) * 2012-01-10 2017-01-13 소프트키네틱 센서스 엔브이 다중 스펙트럼 센서
US10444415B2 (en) * 2017-02-14 2019-10-15 Cista System Corp. Multispectral sensing system and method
US11223783B2 (en) * 2017-05-22 2022-01-11 Washington University Multispectral imaging sensors and systems
US10859436B2 (en) * 2019-02-19 2020-12-08 Renesas Electronics America Inc. Spectrometer on a chip
CN113048907B (zh) * 2021-02-08 2022-04-22 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置

Also Published As

Publication number Publication date
WO2023193712A1 (zh) 2023-10-12

Similar Documents

Publication Publication Date Title
EP2179591B1 (en) Multiple component readout of image sensor
US8368792B2 (en) Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation
US8164651B2 (en) Concentric exposure sequence for image sensor
EP2446476B1 (en) Color filters for sub-diffraction limit sensors
EP2642757A2 (en) Imaging systems with clear filter pixels
US20080068477A1 (en) Solid-state imaging device
US20150138366A1 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US20100321532A1 (en) Solid-state imaging device, imaging system, and method of driving solid-state imaging device
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像系统
US11637975B2 (en) Solid state image sensor and electronic equipment
EP3358821B1 (en) Imaging device and image processing device
US20100141822A1 (en) Analog multiplexer configured to reduce kickback perturbation in image sensor readout
CN111343396A (zh) 具有可控转换增益的图像传感器
US20200314362A1 (en) Image sensor and operation method thereof
EP3439282A1 (en) Image pickup device, image processing device, and electronic apparatus
CN114650377A (zh) 摄像模组、摄像模组的控制方法以及电子设备
JP2003304544A (ja) 撮像装置
KR20180094837A (ko) 이미지 센서, 제어 방법 및 전자 장치
US20170251135A1 (en) Imaging device and imaging method
CN116929554A (zh) 一种多光谱处理方法和多光谱探测装置
US8692899B2 (en) Imaging apparatus with an input/output unit and a lens moving mechanism
CN108432239B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US20180048871A1 (en) Methods and devices for increasing the spectral response of an image sensor
CN114339001A (zh) 图像传感器、曝光控制方法、摄像模组和电子设备
US20240107134A1 (en) Image acquisition apparatus and electronic apparatus including same, and method of controlling image acquisition apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination