CN111565305A - 一种图像传感器、信号处理方法及存储介质 - Google Patents
一种图像传感器、信号处理方法及存储介质 Download PDFInfo
- Publication number
- CN111565305A CN111565305A CN202010395514.7A CN202010395514A CN111565305A CN 111565305 A CN111565305 A CN 111565305A CN 202010395514 A CN202010395514 A CN 202010395514A CN 111565305 A CN111565305 A CN 111565305A
- Authority
- CN
- China
- Prior art keywords
- imaging
- color filter
- target
- color
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 135
- 230000003287 optical effect Effects 0.000 claims abstract description 89
- 238000006243 chemical reaction Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000000701 chemical imaging Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000003491 array Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 239000002184 metal Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请实施例公开了一种图像传感器、信号处理方法及存储介质，图像传感器包括：由多个滤色片组成的滤色阵列；滤色阵列，用于通过入射光线中多个波长的光信号；多个滤色片中，每个滤色片用于通过入射光线中一种波长的光信号；设置在滤色阵列出光侧的像素阵列；像素阵列包括多个光电二极管PD柱，多个PD柱与多个滤色片一一对应；像素阵列，用于吸收多个波长的光信号，并对多个波长的光信号进行光电转换，得到多个成像电信号；与像素阵列连接的图像处理模块；图像处理模块，用于利用多个成像电信号生成目标彩色图像和/或目标高光谱图像。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像传感器、信号处理方法及存储介质。
背景技术
多光谱相机，是指在可见光的基础上向红外光和紫外光两个方向扩展，并通过各种滤光片或分光器与多种感光胶片的组合，能够同时分别接收同一目标在不同窄光谱带上所辐射或反射的信息。
目前，多光谱相机可以分为三类，分别为：多镜头型多光谱照相机、多相机型多光谱照相机，以及光束分离型多光谱照相机。当光谱信息比较多时，多光谱成像可以称为高光谱成像。
然而，针对于上述三类多光谱相机，仅能实现高光谱成像，功能单一。
发明内容
本申请实施例提供一种图像传感器、信号处理方法及存储介质，将用于通过不同波长的光信号的滤色片排布成滤色阵列，从而能够获取到不同波长的光信号，并利用获取到的光信号进行高光谱成像和/或彩色成像处理，提高了图像传感器功能的多样性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种图像传感器，所述图像传感器包括：
由多个滤色片组成的滤色阵列；所述滤色阵列，用于通过入射光线中多个波长的光信号；所述多个滤色片中，每个滤色片用于通过所述入射光线中一种波长的光信号；
设置在所述滤色阵列出光侧的像素阵列；所述像素阵列包括多个光电二极管PD柱，所述多个PD柱与所述多个滤色片一一对应；所述像素阵列，用于吸收所述多个波长的光信号，并对所述多个波长的光信号进行光电转换，得到多个成像电信号；
与所述像素阵列连接的图像处理模块；所述图像处理模块，用于利用所述多个成像电信号生成目标彩色图像和/或目标高光谱图像。
在上述图像传感器中，还包括：片上透镜；
所述片上透镜，设置在所述滤色阵列的入光侧，用于聚集所述入射光线。
在上述图像传感器中，所述滤色阵列包括：第一滤色片方阵、第二滤色片方阵，以及第三滤色片方阵；
所述第一滤色片方阵，由所述多个滤色片中，用于通过所述入射光线中波长属于蓝光波段的第一类型光信号的滤色片组成；
所述第二滤色片方阵，由所述多个滤色片中，用于通过所述入射光线中波长属于绿光波段的第二类型光信号的滤色片组成；
所述第三滤色片方阵，由所述多个滤色片中，用于通过所述入射光线中波长属于红光波段的第三类型光信号的滤色片组成。
在上述图像传感器中，所述图像处理模块，具体用于从所述多个成像电信号中，获取所述第一类型光信号对应的第一类型成像电信号、所述第二类型光信号对应的第二类型成像电信号，以及所述第三类型光信号对应的第三类型成像电信号；利用所述第一类型成像电信号合成蓝光成像电信号；利用所述第二类型成像电信号合成绿光成像电信号；利用所述第三类型成像电信号合成红光成像电信号；利用所述蓝光成像电信号、所述绿光成像电信号和所述红光成像电信号进行彩色成像处理，得到所述目标彩色图像。
在上述图像传感器中，所述图像处理模块，具体用于利用所述多个成像电信号进行高光谱去马赛克处理，得到高光谱成像信息；利用所述高光谱成像信息进行高光谱成像处理，得到所述目标高光谱图像。
在上述图像传感器中，所述像素阵列还包括多个读出电路；
所述多个读出电路与所述多个PD柱一一对应连接，且所述多个读出电路与所述图像处理模块连接；
所述多个读出电路，用于将所述多个成像电信号放大并读出至所述图像处理模块。
在上述图像传感器中，所述多个PD柱中包括目标PD柱，所述目标PD柱为所述多个PD柱中任意一个PD柱；所述多个读出电路中包括目标读出电路，所述目标读出电路与所述目标PD柱对应连接；
所述目标读出电路包括：与所述目标PD柱连接的转移晶体管、与所述转移晶体管连接的读出区和与所述读出区连接的选通管；
所述选通管，用于按照预设读出顺序，选通所述转移晶体管；
所述转移晶体管，用于将目标成像电信号从所述目标PD柱转移至所述读出区，以从所述读出区读出所述目标成像电信号；所述目标成像电信号为所述多个成像电信号中，所述目标PD柱得到的电信号。
在上述图像传感器中，所述目标读出电路还包括：与所述读出区和所述选通管连接的放大管，所述选通管还与所述图像处理模块连接；
所述放大管，用于将所述读出区读出的所述目标成像电信号进行放大；
所述选通管，还用于将放大的所述目标成像电信号传输至所述图像处理模块。
本申请实施例提供了一种信号处理方法，应用于上述图像传感器，所述方法包括：
通过由多个滤色片组成的滤色阵列，通过入射光线中多个波长的光信号；所述多个滤色片中，每个滤色片通过所述入射光线中一种波长的光信号；
通过设置在所述滤色阵列出光侧，包括多个PD柱的像素阵列，吸收所述多个波长的光信号，并对所述多个波长的光信号进行光电转换，得到多个成像电信号；所述多个PD柱与所述多个滤色片一一对应；
通过与所述像素阵列连接的图像处理模块，利用所述多个成像电信号生成目标彩色图像和/或目标高光谱图像。
本申请实施例提供了一种存储介质，其上存储有计算机程序，应用于上述图像传感器，该计算机程序被处理器执行时实现上述信号处理方法。
本申请实施例提供了一种图像传感器、信号处理方法及存储介质，图像处理器包括：由多个滤色片组成的滤色阵列；滤色阵列，用于通过入射光线中多个波长的光信号；多个滤色片中，每个滤色片用于通过入射光线中一种波长的光信号；设置在滤色阵列出光侧的像素阵列；像素阵列包括多个光电二极管PD柱，多个PD柱与多个滤色片一一对应；像素阵列，用于吸收多个波长的光信号，并对多个波长的光信号进行光电转换，得到多个成像电信号；与像素阵列连接的图像处理模块；图像处理模块，用于利用多个成像电信号生成目标彩色图像和/或目标高光谱图像。本申请实施例提供的图像传感器，将用于通过不同波长的光信号的滤色片排布成滤色阵列，从而能够获取到不同波长的光信号，并利用获取到的光信号进行高光谱成像和/或彩色成像处理，提高了图像传感器功能的多样性。
附图说明
图1为本申请实施例提供的一种图像传感器的结构示意图；
图2为本申请实施例提供的一种示例性的一个滤色阵列的排布示意图；
图3为本申请实施例提供的一种示例性的滤色片方阵示意图；
图4为本申请实施例提供的一种示例性的多个滤色阵列的排布示意图；
图5为本申请实施例提供的一种示例性的图像传感器的截面示意图；
图6为本申请实施例提供的一种读出电路的结构示意图；
图7为本申请实施例提供的一种信号处理方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
本申请实施例提供了一种图像传感器。图1为本申请实施例提供的一种图像传感器的结构示意图。如图1所示，在本申请的实施例中，图像传感器包括：
由多个滤色片组成的滤色阵列10；滤色阵列10，用于通过入射光线中多个波长的光信号；多个滤色片中，每个滤色片用于通过入射光线中一种波长的光信号；
设置在滤色阵列10出光侧的像素阵列11；像素阵列11包括多个光电二极管PD柱，多个PD柱与多个滤色片一一对应；像素阵列11，用于吸收多个波长的光信号，并对多个波长的光信号进行光电转换，得到多个成像电信号；
与像素阵列11连接的图像处理模块12；图像处理模块12，用于利用多个成像电信号生成目标彩色图像和/或目标高光谱图像。
可以理解的是，在本申请的实施例中，图像传感器设置有滤色阵列10和像素阵列11，其中，滤色阵列10中每个滤色片用于通过入射光线中一种波长的光信号，从而可以实现入射光线中多个波长的光信号的获取，之后，多个波长的光信号中每个波长的光信号，被自身通过的滤色片下设置的对应的PD柱吸收，以实现光电转换，得到相应的电信号。也就是说，对应设置的一组滤色片和PD柱，可以实现入射光线中一种波长的光信号的获取和转换。
需要说明的是，在本申请的实施例中，PD柱为百纳米级别的光电二极管，而非传统像素对应一个厚度大概在2um以上的PD结构。
需要说明的是，在本申请的实施例中，组成滤色阵列10的滤色片的数量，以及每个滤色片用于通过的光信号的波长，可以根据实际需求选择，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像传感器还包括：片上透镜；片上透镜，设置在滤色阵列10的入光侧，用于聚集入射光线。
图2为本申请实施例提供的一种示例性的一个滤色阵列的排布示意图。如图2所示，在本申请的实施例中，滤色阵列10包括16个滤色片，16个滤色片通过的光信号的波长从400nm-700nm均匀分布，间隔波长为20nm，分别为：400nm、420nm、440nm、460nm、480nm、500nm、520nm、540nm、560nm、580nm、600nm、620nm、640nm、660nm、680nm和700nm。此外，16个滤色片共用一个片上透镜，如图2所示，一个圆形区域实际上就是一个滤色片上方覆盖的片上透镜的一部分。
需要说明的是，在本申请的实施例中，组成滤色阵列10的多个滤色片，其通过的光信号的波长可以是均匀分布的，如图2所示，当然，也可以根据实际需求进行滤色片的选择，提供其它波长的光信号的通道。此外，如图2所示，滤色阵列10的多个滤色片采用的是400nm-700nm的可见光波段，也可以根据实际需求扩展到紫外和红外波段，选择相应的滤色片组成滤色阵列10，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像传感器中包括的滤色阵列10的数量可以为多个，多个滤色阵列10可以拼接在一起，相应的，像素阵列11也可以包括多个，一个像素阵列11对应一个滤色阵列10。具体的滤色阵列10和像素阵列11的数量本申请实施例不作限定。
具体的，在本申请的实施例中，滤色阵列10包括：第一滤色片方阵、第二滤色片方阵，以及第三滤色片方阵；
第一滤色片方阵，由多个滤色片中，用于通过入射光线中波长属于蓝光波段的第一类型光信号的滤色片组成；
第二滤色片方阵，由多个滤色片中，用于通过入射光线中波长属于绿光波段的第二类型光信号的滤色片组成；
第三滤色片方阵，由多个滤色片中，用于通过入射光线中波长属于红光波段的第三类型光信号的滤色片组成。
可以理解的是，在本申请的实施例中，在滤色阵列10中，可以将用于通过入射光线中属于特定波段的光信号的滤色片组成特定的滤色片方阵。此外，对于第一滤色片方阵、第二滤色片方阵和第三滤色片方阵的数量，以及滤色片方阵中滤色片的数量可以根据实际需求设置，本申请实施例不作限定。
图3为本申请实施例提供的一种示例性的滤色片方阵示意图。如图3所示，在本申请的实施例中，滤色阵列10包括16个滤色片，16个滤色片通过的光信号的波长从400nm-700nm均匀分布，间隔波长为20nm。400nm、420nm、440nm和460nm均属于蓝光波段，相应的滤色片可以通过入射光线中波长400nm、420nm、440nm和460nm的光信号，该光信号均为第一类型光信号，因此，可以将这些滤色片拼接成一个方阵，得到第一滤色片方阵。80nm、500nm、520nm、540nm、560nm、580nm、600nm和620nm均属于绿光波段，相应的滤色片可以通过入射光线中波长480nm、500nm、520nm、540nm、560nm、580nm、600nm和620nm的光信号，该光信号均为第二类型光信号，因此，可以将这些滤色片拼接成两个方阵，得到两个第二滤色片方阵。其中，一个第二滤色片方阵由480nm、500nm、600nm和620nm的滤色片组成，另一个第二滤色片方阵由520nm、540nm、560nm和580nm的滤色片组成。640nm、660nm、680nm和700nm均属于红光波段，相应的滤色片可以通过入射光线中波长640nm、660nm、680nm和700nm的光信号，该光信号均为第三类型光信号，因此，可以将这些滤色片拼接成一个方阵，得到第三滤色片方阵。
需要说明的是，在本申请的实施例中，滤色阵列10可以为上述图2和图3所示的4×4结构，当然，由于滤色片数量不限定，因此，如果设计6×6、8×8等结构的滤色阵列10，则其中滤色片方阵可以设计为3×3、4×4等，本申请实施例不作限定。
在本申请的实施例中，基于上述的滤色片方阵，图像处理模块12，具体用于从多个成像电信号中，获取第一类型光信号对应的第一类型成像电信号、第二类型光信号对应的第二类型成像电信号，以及第三类型光信号对应的第三类型成像电信号；利用第一类型成像电信号合成蓝光成像电信号；利用第二类型成像电信号合成绿光成像电信号；利用第三类型成像电信号合成红光成像电信号；利用蓝光成像电信号、绿光成像电信号和红光成像电信号进行彩色成像处理，得到目标彩色图像。
可以理解的是，在本申请的实施例中，如图3所示，第一滤色片方阵实际上可以吸收入射光线中属于蓝光波段的四个波长的光信号，这四个波长的光信号均为第一类型光信号，相应的，第一滤色片方阵中四个滤色片对应的四个PD柱将吸收四个波长的光信号，从而转换成四个成像电信号，这四个成像电信号即为第一类型成像电信号。图像处理模块12可以从接收到的多个成像电信号中，获取到第一类型成像电信号，即相应的四个成像电信号，从而合成为蓝光成像电信号，此外，图像处理模块12还可以获取第二类型成像电信号和第三类型成像电信号并进行相应的合成。
需要说明的是，在本申请的实施例中，如图3所示，其相当于一个BGGR的滤色阵列10，图像处理模块12可以利用得到的蓝光成像电信号、绿光成像电信号和红光成像电信号，通过去马赛克过程获得目标彩色图像。具体的彩色成像处理为现有技术，在此不再赘述。
在本申请的实施例中，图像处理模块12，具体用于利用多个成像电信号进行高光谱去马赛克处理，得到高光谱成像信息；利用高光谱成像信息进行高光谱成像处理，得到目标高光谱图像。
图4为本申请实施例提供的一种示例性的多个滤色阵列的排布示意图。如图4所示，四个4×4的滤色阵列10相互拼接，对于一个4×4的滤色阵列10中，每个滤色片仅通过一种波长的光信号，例如，400nm的滤色片，相应的，得到一个成像电信号，即每个滤色片仅对应一个采样，所以需要利用高光谱去马赛克算法去补齐其他滤色片位置上未以该特定波长进行采样的信息，从而得到完整的高光谱成像信息。高光谱去马赛克算法与传统的算法也有些类似，可以借鉴传统去马赛克算法的方法，例如近邻内插法、三次插值法、高质量线性插值法、平滑色调过渡插值、图案识别插值、自适应彩色平面插值、基于方向加权梯度的插值等。具体的高光谱去马赛克处理的方式可以根据实际需求选择，本申请实施例不作限定。
需要说明的是，在本申请的实施例中，图像处理模块12利用高光谱成像信息进行高光谱成像处理，其处理方式为现有技术，在此不再赘述。
在本申请的实施例中，像素阵列11还包括多个读出电路；
多个读出电路与多个PD柱一一对应连接，且多个读出电路与图像处理模块12连接；
多个读出电路，用于将多个成像电信号放大并读出至图像处理模块12。
需要说明的是，在本申请的实施例中，像素阵列11的多个PD柱光电转换得到的多个成像电信号通过多个读出电路读出，从而提供给图像处理模块12以进行图像处理。其中，一个PD柱与一个读出电路对应连接，即读出电路的数量与像素阵列11中PD柱的数量相同。具体的读出电路的数量本申请实施例不作限定。
图5为本申请实施例提供的一种示例性的图像传感器的截面示意图。如图5所示，在本申请的实施例中，在滤色片上方设置有片上透镜，滤色片下方设置有PD柱，此外，每个PD柱对应连接有相应的金属布线，在金属布线上部署有相应的读出电路，即实现一个PD柱与一个读出电路连接。
在本申请的实施例中，多个PD柱中包括目标PD柱，目标PD柱为多个PD柱中任意一个PD柱；多个读出电路中包括目标读出电路，目标读出电路与目标PD柱对应连接。
图6为本申请实施例提供的一种读出电路的结构示意图。如图6所示，目标读出电路包括：与目标PD柱连接的转移晶体管、与转移晶体管连接的读出区和与读出区连接的选通管；
选通管，用于按照预设读出顺序，选通转移晶体管；
转移晶体管，用于将目标成像电信号从目标PD柱转移至读出区，以从读出区读出目标成像电信号；目标成像电信号为多个成像电信号中，目标PD柱得到的电信号。
需要说明的是，本申请的实施例中，转移晶体管的源极与目标PD柱的n区连接，转移晶体管的漏极与读出区连接，目标PD柱将获得的目标成像电信号聚焦到n+区，并经过转移晶体管转移到读出区。
需要说明的是，在本申请的实施例中，目标PD柱将吸收到的光信号，在目标PD柱的耗尽区发生光电转换成目标成像电信号，之后转移晶体管将目标成像电信号聚集到转移晶体管的n+区沟道中，并将n+区沟道中的目标成像电信号转移到读出区。
需要说明的是，在本申请的实施例中，可以预先向图像传感器设定读出顺序，不同PD柱连接的选通管根据预设读出顺序，选通连接的转移晶体管，以供读出区读出成像电信号。
在本申请的实施例中，如图6所示，目标读出电路还包括：与读出区和选通管连接的放大管，选通管还与图像处理模块12连接；
放大管，用于将读出区读出的目标成像电信号进行放大；
选通管，还用于将放大的目标成像电信号传输至图像处理模块12。
需要说明的是，在本申请的实施例中，如图6所示，目标读出电路还包括：与读出区和放大管连接的复位晶体管；
读出区，还用于读出复位晶体管中的复位电平；
放大管，还用于对复位电平进行放大。
需要说明的是，在本申请的实施例中，复位晶体管的源极和电源连接；复位晶体管的漏极和读出区连接，其中，复位晶体管中存储有复位电平，通过读出区读出复位电平。
可以理解的是，在本申请的实施例中，分别从复位晶体管读出复位电平、从转移晶体管读出目标电信号，之后，对复位电平和目标成像电信号进行放大之后，对放大的目标成像电信号和放大的复位电平进行相关双采样，从而可以降低读出目标成像电信号的噪声。
本申请实施例提供了一种图像传感器，包括：由多个滤色片组成的滤色阵列；滤色阵列，用于通过入射光线中多个波长的光信号；多个滤色片中，每个滤色片用于通过入射光线中一种波长的光信号；设置在滤色阵列出光侧的像素阵列；像素阵列包括多个光电二极管PD柱，多个PD柱与多个滤色片一一对应；像素阵列，用于吸收多个波长的光信号，并对多个波长的光信号进行光电转换，得到多个成像电信号；与像素阵列连接的图像处理模块；图像处理模块，用于利用多个成像电信号生成目标高光谱图像。本申请实施例提供的图像传感器，将用于通过不同波长的光信号的滤色片排布成滤色阵列，从而能够获取到不同波长的光信号，并利用获取到的光信号进行高光谱成像和/或彩色成像处理，提高了图像传感器功能的多样性。
本申请实施例还提供了一种信号处理方法，应用于上述图像传感器中。图7为本申请实施例提供的一种信号处理方法的流程示意图。如图7所示，主要包括以下步骤：
S701、通过由多个滤色片组成的滤色阵列，通过入射光线中多个波长的光信号；多个滤色片中，每个滤色片通过入射光线中一种波长的光信号。
在本申请的实施例中，如图1所示，图像传感器包括滤色阵列10，图像传感器通过滤色阵列10，通过入射光线中多个波长的光信号；多个滤色片中，每个滤色片通过入射光线中一种波长的光信号。
需要说明的是，在本申请的实施例中，滤色阵列10由多个滤色片组成，其中，每个滤色片用于通过入射光线中一种波长的光信号，从而可以实现入射光线中多个波长的光信号的获取。
需要说明的是，在本申请的实施例中，图像传感器还包括：片上透镜；片上透镜，设置在滤色阵列10的入光侧。因此，图像传感器在通过由多个滤色片组成的滤色阵列10，通过入射光线中多个波长的光信号之前，还可以执行以下步骤：通过片上透镜，聚集入射光线。
S702、通过设置在滤色阵列出光侧，包括多个PD柱的像素阵列，吸收多个波长的光信号，并对多个波长的光信号进行光电转换，得到多个成像电信号；多个PD柱与多个滤色片一一对应。
在本申请的实施例中，如图1所示，图像传感器中，滤色阵列10的出光侧设置有像素阵列11，通过像素阵列11，可以吸收多个波长的光信号，并对多个波长的光信号进行光电转换，得到多个成像电信号。
需要说明的是，在本申请的实施例中，PD柱为百纳米级别的光电二极管，而非传统像素对应一个厚度大概在2um以上的PD结构。
需要说明的是，在本申请的实施例中，像素阵列11包括多个PD柱，每个PD柱与滤色阵列10中的一个滤色片对应，从而吸收通过对应滤色片的光信号，并进行光电转换，得到相应的一个成像电信号。
S703、通过与像素阵列连接的图像处理模块，利用多个成像电信号生成目标彩色图像和/或目标高光谱图像。
在本申请的实施例中，如图1所示，图像传感器还包括图像处理模块12，图像传感器通过图像处理模块12，利用多个成像电信号生成目标彩色图像和/或目标高光谱图像。
需要说明的是，在本申请的实施例中，滤色阵列10包括：第一滤色片方阵、第二滤色片方阵，以及第三滤色片方阵；第一滤色片方阵，由多个滤色片中，用于通过入射光线中波长属于蓝光波段的第一类型光信号的滤色片组成；第二滤色片方阵，由多个滤色片中，用于通过入射光线中波长属于绿光波段的第二类型光信号的滤色片组成；第三滤色片方阵，由多个滤色片中，用于通过入射光线中波长属于红光波段的第三类型光信号的滤色片组成。因此，图像传感器具体用于从多个成像电信号中，获取第一类型光信号对应的第一类型成像电信号、第二类型光信号对应的第二类型成像电信号，以及第三类型光信号对应的第三类型成像电信号；利用第一类型成像电信号合成蓝光成像电信号；利用第二类型成像电信号合成绿光成像电信号；利用第三类型成像电信号合成红光成像电信号；利用蓝光成像电信号、绿光成像电信号和红光成像电信号进行彩色成像处理，得到目标彩色图像。
具体的，在本申请的实施例中，图像处理器通过图像处理模块12，利用多个成像电信号进行高光谱去马赛克处理，得到高光谱成像信息；利用高光谱成像信息进行高光谱成像处理，得到目标高光谱图像。
需要说明的是，在本申请的实施例中，像素阵列11还包括多个读出电路；多个读出电路与多个PD柱一一对应连接，且多个读出电路与图像处理模块12连接；图像传感器通过多个读出电路，将多个成像电信号放大并读出至图像处理模块12。
本申请实施例提供了一种信号处理方法，应用于上述图像传感器，该方法包括：通过由多个滤色片组成的滤色阵列，通过入射光线中多个波长的光信号；多个滤色片中，每个滤色片通过入射光线中一种波长的光信号；通过设置在滤色阵列出光侧，包括多个PD柱的像素阵列，吸收多个波长的光信号，并对多个波长的光信号进行光电转换，得到多个成像电信号；多个PD柱与多个滤色片一一对应；通过与像素阵列连接的图像处理模块，利用多个成像电信号生成目标彩色图像和/或目标高光谱图像。本申请实施例提供的信号处理方法，利用于通过不同波长的光信号的滤色片排布成滤色阵列，获取到不同波长的光信号，并利用获取到的光信号进行高光谱成像和/或彩色成像处理，提高了图像传感器功能的多样性。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，应用于，该计算机程序被处理器执行时实现上述信号处理方法。计算机可读存储介质可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像传感器，其特征在于，所述图像传感器包括：
由多个滤色片组成的滤色阵列；所述滤色阵列，用于通过入射光线中多个波长的光信号；所述多个滤色片中，每个滤色片用于通过所述入射光线中一种波长的光信号；
设置在所述滤色阵列出光侧的像素阵列；所述像素阵列包括多个光电二极管PD柱，所述多个PD柱与所述多个滤色片一一对应；所述像素阵列，用于吸收所述多个波长的光信号，并对所述多个波长的光信号进行光电转换，得到多个成像电信号；
与所述像素阵列连接的图像处理模块；所述图像处理模块，用于利用所述多个成像电信号生成目标彩色图像和/或目标高光谱图像。
2.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括：片上透镜；
所述片上透镜，设置在所述滤色阵列的入光侧，用于聚集所述入射光线。
3.根据权利要求1所述的图像传感器，其特征在于，所述滤色阵列包括：第一滤色片方阵、第二滤色片方阵，以及第三滤色片方阵；
所述第一滤色片方阵，由所述多个滤色片中，用于通过所述入射光线中波长属于蓝光波段的第一类型光信号的滤色片组成；
所述第二滤色片方阵，由所述多个滤色片中，用于通过所述入射光线中波长属于绿光波段的第二类型光信号的滤色片组成；
所述第三滤色片方阵，由所述多个滤色片中，用于通过所述入射光线中波长属于红光波段的第三类型光信号的滤色片组成。
4.根据权利要求3所述的图像传感器，其特征在于，
所述图像处理模块，具体用于从所述多个成像电信号中，获取所述第一类型光信号对应的第一类型成像电信号、所述第二类型光信号对应的第二类型成像电信号，以及所述第三类型光信号对应的第三类型成像电信号；利用所述第一类型成像电信号合成蓝光成像电信号；利用所述第二类型成像电信号合成绿光成像电信号；利用所述第三类型成像电信号合成红光成像电信号；利用所述蓝光成像电信号、所述绿光成像电信号和所述红光成像电信号进行彩色成像处理，得到所述目标彩色图像。
5.根据权利要求1所述的图像传感器，其特征在于，
所述图像处理模块，具体用于利用所述多个成像电信号进行高光谱去马赛克处理，得到高光谱成像信息；利用所述高光谱成像信息进行高光谱成像处理，得到所述目标高光谱图像。
6.根据权利要求1所述的图像传感器，其特征在于，所述像素阵列还包括多个读出电路；
所述多个读出电路与所述多个PD柱一一对应连接，且所述多个读出电路与所述图像处理模块连接；
所述多个读出电路，用于将所述多个成像电信号放大并读出至所述图像处理模块。
7.根据权利要求6所述的图像传感器，其特征在于，所述多个PD柱中包括目标PD柱，所述目标PD柱为所述多个PD柱中任意一个PD柱；所述多个读出电路中包括目标读出电路，所述目标读出电路与所述目标PD柱对应连接；
所述目标读出电路包括：与所述目标PD柱连接的转移晶体管、与所述转移晶体管连接的读出区和与所述读出区连接的选通管；
所述选通管，用于按照预设读出顺序，选通所述转移晶体管；
所述转移晶体管，用于将目标成像电信号从所述目标PD柱转移至所述读出区，以从所述读出区读出所述目标成像电信号；所述目标成像电信号为所述多个成像电信号中，所述目标PD柱得到的电信号。
8.根据权利要求7所述的图像传感器，其特征在于，所述目标读出电路还包括：与所述读出区和所述选通管连接的放大管，所述选通管还与所述图像处理模块连接；
所述放大管，用于将所述读出区读出的所述目标成像电信号进行放大；
所述选通管，还用于将放大的所述目标成像电信号传输至所述图像处理模块。
9.一种信号处理方法，应用于如权利要求1-8任一项所述的图像传感器，其特征在于，所述方法包括：
通过由多个滤色片组成的滤色阵列，通过入射光线中多个波长的光信号；所述多个滤色片中，每个滤色片通过所述入射光线中一种波长的光信号；
通过设置在所述滤色阵列出光侧，包括多个PD柱的像素阵列，吸收所述多个波长的光信号，并对所述多个波长的光信号进行光电转换，得到多个成像电信号；所述多个PD柱与所述多个滤色片一一对应；
通过与所述像素阵列连接的图像处理模块，利用所述多个成像电信号生成目标彩色图像和/或目标高光谱图像。
10.一种存储介质，其上存储有计算机程序，应用于如权利要求1-8任一项所述的图像传感器，其特征在于，该计算机程序被处理器执行时实现如权利要求9所述的信号处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010395514.7A CN111565305A (zh) | 2020-05-12 | 2020-05-12 | 一种图像传感器、信号处理方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010395514.7A CN111565305A (zh) | 2020-05-12 | 2020-05-12 | 一种图像传感器、信号处理方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111565305A true CN111565305A (zh) | 2020-08-21 |
Family
ID=72073330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010395514.7A Pending CN111565305A (zh) | 2020-05-12 | 2020-05-12 | 一种图像传感器、信号处理方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111565305A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691716A (zh) * | 2021-08-26 | 2021-11-23 | 维沃移动通信有限公司 | 图像传感器、图像处理方法、装置、电子设备和存储介质 |
| WO2022221825A1 (en) * | 2021-04-12 | 2022-10-20 | Viavi Solutions Inc. | Optical filter for an optical sensor device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104819941A (zh) * | 2015-05-07 | 2015-08-05 | 武汉呵尔医疗科技发展有限公司 | 一种多波段光谱成像方法 |
| CN108426639A (zh) * | 2017-02-14 | 2018-08-21 | 芯视达系统公司 | 多光谱传感系统和方法 |
| CN110225319A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 一种图像传感器、图像处理方法及存储介质 |
| CN110719447A (zh) * | 2019-10-12 | 2020-01-21 | 南京威派视半导体技术有限公司 | 一种具有多通道窄带滤色片阵列的图像传感器 |
-
2020
- 2020-05-12 CN CN202010395514.7A patent/CN111565305A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104819941A (zh) * | 2015-05-07 | 2015-08-05 | 武汉呵尔医疗科技发展有限公司 | 一种多波段光谱成像方法 |
| CN108426639A (zh) * | 2017-02-14 | 2018-08-21 | 芯视达系统公司 | 多光谱传感系统和方法 |
| CN110225319A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 一种图像传感器、图像处理方法及存储介质 |
| CN110719447A (zh) * | 2019-10-12 | 2020-01-21 | 南京威派视半导体技术有限公司 | 一种具有多通道窄带滤色片阵列的图像传感器 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022221825A1 (en) * | 2021-04-12 | 2022-10-20 | Viavi Solutions Inc. | Optical filter for an optical sensor device |
| US11624656B2 (en) | 2021-04-12 | 2023-04-11 | Viavi Solutions Inc. | Optical filter for an optical sensor device |
| US12092522B2 (en) | 2021-04-12 | 2024-09-17 | Viavi Solutions Inc. | Optical filter for an optical sensor device |
| CN113691716A (zh) * | 2021-08-26 | 2021-11-23 | 维沃移动通信有限公司 | 图像传感器、图像处理方法、装置、电子设备和存储介质 |
| CN113691716B (zh) * | 2021-08-26 | 2023-07-11 | 维沃移动通信有限公司 | 图像传感器、图像处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10297629B2 (en) | Image sensors with in-pixel lens arrays | |
| KR101129128B1 (ko) | 후면 조사 이미지 센서를 위한 회로 및 광센서 오버랩 | |
| US8878969B2 (en) | Imaging systems with color filter barriers | |
| CN113709382B (zh) | 一种图像传感器、图像处理方法及存储介质 | |
| EP3171587A1 (en) | Compound-eye imaging device | |
| KR20080091023A (ko) | 고체 촬상 장치 및 촬상 장치 | |
| CN110225319B (zh) | 一种图像传感器、图像处理方法及存储介质 | |
| CN110740277B (zh) | 图像传感器及电子设备、成像方法 | |
| CN110650301B (zh) | 图像传感器及成像方法、设备 | |
| CN111565305A (zh) | 一种图像传感器、信号处理方法及存储介质 | |
| US20230230986A1 (en) | Solid-state imaging element and electronic device | |
| US9392198B2 (en) | Backside illuminated imaging systems having auto-focus pixels | |
| CN212012776U (zh) | 用于生成颜色信息和脉冲光信息的成像系统和图像传感器 | |
| US20010013898A1 (en) | Infrared filterless pixel structure | |
| CN110312088B (zh) | 一种像素单元电路及图像处理方法、存储介质 | |
| JP2003529955A (ja) | 蛍光物質を使用したイメージ・センサの応答向上 | |
| US11917272B2 (en) | Imaging systems for multi-spectral imaging | |
| US20230197748A1 (en) | Solid-state imaging element and electronic device | |
| CN110290334B (zh) | 像素单元电路及图像处理方法、存储介质及cmos图像传感器 | |
| JP3495979B2 (ja) | 固体撮像素子及び撮像装置 | |
| JP2007066962A (ja) | カラー固体撮像装置及びデジタルカメラ | |
| CN110336964B (zh) | 一种cmos图像传感器及图像处理方法、存储介质 | |
| US20210280624A1 (en) | Imaging systems with improved microlenses for enhanced near-infrared detection | |
| CN110677605B (zh) | 一种叠层cis、图像处理方法及存储介质和终端设备 | |
| JP5253856B2 (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200821 |
|
| RJ01 | Rejection of invention patent application after publication |