CN110445998B - 一种彩色偏振式cis及图像处理方法、存储介质 - Google Patents
一种彩色偏振式cis及图像处理方法、存储介质 Download PDFInfo
- Publication number
- CN110445998B CN110445998B CN201910817778.4A CN201910817778A CN110445998B CN 110445998 B CN110445998 B CN 110445998B CN 201910817778 A CN201910817778 A CN 201910817778A CN 110445998 B CN110445998 B CN 110445998B
- Authority
- CN
- China
- Prior art keywords
- color
- sub
- pixel units
- polarized
- wavelength pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 132
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 59
- 230000003287 optical effect Effects 0.000 claims abstract description 42
- 238000012546 transfer Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 3
- 229910044991 metal oxide Inorganic materials 0.000 claims description 3
- 150000004706 metal oxides Chemical class 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 30
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 8
- 238000010521 absorption reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 101150073480 CIS1 gene Proteins 0.000 description 5
- 101100110279 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ATG31 gene Proteins 0.000 description 5
- 238000011084 recovery Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013041 optical simulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本申请实施例提供了一种彩色偏振式CIS及图像处理方法、存储介质，该彩色偏振式CIS包括：多组亚波长像素单元，多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱，多组PD柱的尺寸相同；多组亚波长像素单元用于利用三种尺寸的PD柱吸收成像光信号在多个预设方向偏振的RGB三色光，其中，多组亚波长像素单元中的一组亚波长像素点单元利用多组PD柱吸收成像光信号在多个预设方向偏振的RGB单色光；与多组亚波长像素单元输出端连接的图像处理器，用于利用RGB三色光确定出偏振信息和色彩信息；并基于偏振信息和色彩信息得到成像光信号对应的彩色偏振图像。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种彩色偏振式CIS及图像处理方法、存储介质。
背景技术
互补金属氧化物半导体(CMOS，Complementary Metal-Oxide Semiconductor)图像传感器(CIS，CMOS Image Sensor)具有集成度高、功耗小、速度快和成本低等特点，在高分辨率像素产品方面应用广泛。CIS包括单色偏振和多色偏振这两种形式，而彩色偏振由于获取到的色彩更加丰富，使得彩色偏振较单色偏振而言，生成的图像色彩更加鲜艳。
现有的偏振式CIS的结构如图1所示，包括微透镜阵列、偏振器阵列和像素阵列，其中，每个像素包括一个光电二极管(PD，Photo Diode)结构，在PD结构上放置一个角度的偏振片以及一个微透镜，每四个像素分别放置了四个不同角度的偏振片，将每四个像素作为一个计算单元，通过不同方向偏振器之间的关联计算偏振程度和偏振方向，进而根据偏振程度和偏振方向得到偏振图像。
然而，现有的偏振式CIS需要在四个PD结构上放置四个不同角度的偏振片，且需要微透镜阵列实现对成像光信号进行聚光的操作，导致彩色偏振式CIS的结构复杂。
发明内容
本申请实施例提供一种彩色偏振式CIS及图像处理方法、存储介质，能够简化彩色偏振式CIS的结构。
本申请的技术方案是这样实现的：
本申请实施例提供一种彩色偏振式互补金属氧化物半导体图像传感器CIS，所述彩色偏振式CIS包括：
多组亚波长像素单元，所述多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱，所述多组PD柱的尺寸相同；所述多组亚波长像素单元用于利用三种尺寸的PD柱吸收成像光信号在所述多个预设方向偏振的RGB三色光，其中，所述多组亚波长像素单元中的一组亚波长像素点单元利用所述多组PD柱吸收所述成像光信号在所述多个预设方向偏振的RGB单色光；
与所述多组亚波长像素单元输出端连接的图像处理器，用于利用所述RGB三色光确定出偏振信息和色彩信息；并基于所述偏振信息和所述色彩信息得到所述成像光信号对应的彩色偏振图像。
在上述彩色偏振式CIS中，所述彩色偏振式CIS还包括多个滤色片，其中，所述多个滤色片与所述多组亚波长像素单元的输入端连接、且与RGB三色光对应，所述多个滤色片按照预设色彩阵列进行排布，一组亚波长像素单元对应RGB单色光对应的一个滤色片；
所述一个滤色片，用于从成像光信号中过滤出所述一个滤色片对应的RGB单色光。
在上述彩色偏振式CIS中，所述一组亚波长像素单元在一个预设方向排布一组PD柱，所述一组PD柱中相邻两个PD柱之间的距离为预设距离，所述一组PD柱的个数由所述一组亚波长像素单元中的一个亚波长像素单元的大小及预设距离确定。
在上述彩色偏振式CIS中，所述PD柱的尺寸是基于RGB单色光的共振波长和所述成像光信号的折射率确定的，所述PD柱的形状至少包括长方体、圆柱体和椭圆柱体。
在上述彩色偏振式CIS中，所述PD柱的尺寸度量级别为百纳米级，所述多组PD柱的尺寸和形状相同。
在上述彩色偏振式CIS中，所述多个预设方向至少包括0度、20度、40度、60度、80度、100度、120度、140度和160度。
在上述彩色偏振式CIS中，所述彩色偏振式CIS还包括：与所述多组亚波长像素单元连接的多个CMOS像素读出电路，所述多个CMOS像素读出电路与所述图像传感器相连接；
所述多组亚波长像素单元，还用于将在所述多个预设方向偏振的RGB三色光转换成在所述多个预设方向偏振的电信号；
所述多个CMOS像素读出电路，用于对所述多个预设方向偏振的电信号进行信号放大并读出至所述图像处理器。
在上述彩色偏振式CIS中，所述CMOS像素读出电路包括：分别与所述一组亚波长像素单元连接的转移晶体管、与所述转移晶体管连接的读出区和与所述读出区连接的选通管；
所述选通管，用于按照预设读出顺序，选通所述转移晶体管；
所述转移晶体管，用于将对应的所述多个预设方向偏振的电信号转移至所述读出区。
在上述彩色偏振式CIS中，所述CMOS像素读出电路还包括：与所述读出区和所述选通管连接的放大晶体管；所述选通管还与所述图像处理电路连接；
所述放大晶体管，用于将所述读出区读出的所述多个预设方向偏振的电信号进行放大；
所述选通管，还用于将所述放大的所述多个预设方向偏振的电信号传输至所述图像处理电路，以供所述图像处理电路利用所述多个预设方向偏振的电信号确定出所述偏振信息和色彩信息。
本申请实施例提供一种图像处理方法，应用于彩色偏振式CIS，所述彩色偏振式CIS包括多组亚波长像素单元，所述多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱，所述方法包括：
当获取到成像光信号时，利用所述多组亚波长像素单元的三种尺寸的PD柱吸收所述成像光信号在所述多个预设方向偏振的RGB三色光；
将在所述多个预设方向偏振的RGB三色光转换成在所述多个预设方向偏振的电信号；
利用所述多个预设方向偏振的电信号确定出偏振信息和色彩信息，并基于所述偏振信息和所述色彩信息得到所述成像光信号对应的彩色的偏振图像。
在上述方法中，所述利用所述多个预设方向偏振的电信号确定出偏振信息，包括：
将所述预设方向偏振的电信号转换为数字信号，得到RAW数据；
通过预设关联方式，将所述RAW数据进行关联，得到所述偏振信息。
本申请实施例提供一种存储介质，其上存储有计算机程序，应用于彩色偏振式CIS，该计算机程序被处理器执行时实现如上述任一项所述的图像处理方法。
本申请实施例提供了一种彩色偏振式CIS及图像处理方法、存储介质，该彩色偏振式CIS包括：多组亚波长像素单元，多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱，多组PD柱的尺寸相同；多组亚波长像素单元用于利用三种尺寸的PD柱吸收成像光信号在多个预设方向偏振的RGB三色光，其中，多组亚波长像素单元中的一组亚波长像素点单元利用多组PD柱吸收成像光信号在多个预设方向偏振的RGB单色光；与多组亚波长像素单元输出端连接的图像处理器，用于利用RGB三色光确定出偏振信息和色彩信息；并基于偏振信息和色彩信息得到成像光信号对应的彩色偏振图像。采用上述彩色偏振式CIS实现方案，彩色偏振式CIS通过利用具有偏振吸收特性的亚波长PD柱吸收成像光信号在所述多个预设方向偏振的RGB三色光，且亚波长PD柱对成像光信号的吸收力强，进而简化了彩色偏振式CIS的结构。
附图说明
图1为现有技术提出的一种彩色偏振式CIS的结构示意图；
图2为本申请实施例提供的一种彩色偏振式CIS的结构示意图；
图3为本申请实施例提供的一种示例性的彩色偏振式CIS的截面电路示意图；
图4为本申请实施例提供的一种示例性的四组亚波长像素单元的像素阵列排布示意图；
图5为本申请实施例提供的一种示例性的四组亚波长像素单元的PD柱排布图；
图6为本申请实施例提供的一种示例性的彩色偏振式CIS的CMOS像素读出电路的电路结构示意图；
图7为本申请实施例提供的一种图像处理方法的流程图。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
实施例一
本申请实施例提供一种彩色偏振式互补金属氧化物半导体图像传感器CIS1，如图2所示，该彩色偏振式CIS1可以包括：
多组亚波长像素单元10，所述多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱100，所述多组PD柱的尺寸相同；所述多组亚波长像素单元用于利用三种尺寸的PD柱吸收成像光信号在所述多个预设方向偏振的RGB三色光，其中，所述多组亚波长像素单元中的一组亚波长像素点单元利用所述多组PD柱吸收所述成像光信号在所述多个预设方向偏振的RGB单色光；
与所述多组亚波长像素单元10输出端连接的图像处理器11，用于利用所述RGB三色光确定出偏振信息和色彩信息；并基于所述偏振信息和所述色彩信息得到所述成像光信号对应的彩色偏振图像。
本申请实施例中，亚波长像素单元10的像素尺寸小于成像光信号对应的预设波长；示例性的，在实际情况下，成像光信号对应的预设波长为400nm，故，亚波长像素单元10的像素小于或者等于400nm。
本申请实施例中，多组亚波长像素单元中的每组亚波长像素单元包括在多个预设方向吸收RGB单色光的多个亚波长像素单元，其中，一个亚波长像素单元沿一个预设方向排布多个PD柱，一组亚波长像素单元中的PD柱的尺寸相同，此时，通过一组亚波长像素单元获取到成像光信号在多个预设方向偏振的RGB单色光。
本申请实施例中，不同尺寸的PD柱用于吸收不同的RGB单色光，多组亚波长像素单元通过在预设方向排布的三种尺寸的PD柱，吸收成像光信号在多个预设方向偏振的RGB三色光。
本申请实施例中，多组亚波长像素单元组成了亚波长像素阵列，该亚波长像素阵列按照预设色彩阵列进行排布，其中，预设色彩阵列可以为RGGB、RYYB等，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
可选的，所述彩色偏振式CIS1还包括：多个滤色片12，其中，所述多个滤色片12与所述多组亚波长像素单元10的输入端连接、且与RGB三色光对应，所述多个滤色片12按照预设色彩阵列进行排布，一组亚波长像素单元对应RGB单色光对应的一个滤色片；
所述一个滤色片12，用于从成像光信号中过滤出所述一个滤色片对应的RGB单色光。
本申请实施例中，在每组亚波长像素单元10的输入端还设置有一个滤色片12，其中，该滤色片的颜色与对应的一组亚波长像素单元所吸收的RGB单色光相同，如当一组亚波长像素单元吸收R光，则该组亚波长像素单元的输入端覆盖一片红色滤色片，该红色滤色片用于从成像光信号中过滤出红色光，以供该组亚波长像素单元获取红光在多个预设方向的偏振信息。
示例性的，如图3所示，彩色偏振式CIS在多组亚波长像素单元靠近光源的一侧设置有滤色片，相应的，图像处理器设置在多组亚波长像素单元远离光源的一侧。成像光信号经过滤色片之后，被具有偏振选择吸收的多组亚波长像素单元吸收，得到向多个预设角度偏振的成像光信号，之后，图像处理器对多个预设角度偏振的成像光信号进行图像处理，得到偏振图像。
本申请实施例中，多组亚波长像素单元输入的多个滤色片的排布规则也是按照预设色彩阵列进行排布的，如，多组亚波长像素单元按照RGGB像素阵列进行排布，则多组亚波长像素单元上的多个滤色片也相应的按照RGGB像素阵列进行排布。
示例性的，如图4所示，四组亚波长像素单元按照RGGB像素阵列进行排布，其中，每一组亚波长像素单元包括9个亚波长像素单元，第一组亚波长像素单元对应R光滤色片、第二组亚波长像素单元和第三组亚波长像素单元对应G光滤色片、第四组亚波长像素单元对应B光滤色片。
可选的，所述一组亚波长像素单元10在一个预设方向排布一组PD柱，所述一组PD柱中相邻两个PD柱之间的距离为预设距离，所述一组PD柱的个数由所述一组亚波长像素单元中一个亚波长像素单元的大小及预设距离确定。
本申请实施例中，一组亚波长像素单元包括多个亚波长像素单元，其中，每个亚波长像素单元在一个预设方向排布一组PD柱，则一组亚波长像素单元在多个预设方向排布多组PD柱。
本申请实施例中，一个亚波长像素单元中排布的一组PD柱的个数由一个亚波长像素单元的大小及相邻两个PD柱之间的预设距离确定，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
在实际应用中，一个亚波长像素单元中相邻两个PD柱之间的距离大于或者等于50nm，由此可以避免相邻PD柱之间的相互干扰。
可选的，所述PD柱的尺寸是基于RGB单色光的共振波长和所述成像光信号的折射率确定的，所述PD柱的形状至少包括长方体、圆柱体和椭圆柱体。
本申请实施例中，PD柱的尺寸是基于单色的共振波长和成像光信号的折射率确定的，或者通过光学模拟得到的，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，利用公式(1)确定PD柱的尺寸
PD柱的尺寸＝(共振波长-预设常数)/折射率 (1)
其中，RGB单色光对应不同的共振波长，折射率为透镜的折射率。
本申请实施例中，PD柱的形状至少包括长方体、圆柱体和椭圆柱体等，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
示例性的，PD柱对应的B，G，R的尺寸分别为：蓝光对应的PD柱的尺寸大小为70nm*50nm，绿光对应的PD柱的尺寸大小为90nm*50nm，红光对应的PD柱的尺寸大小为110nm*50nm。
可选的，所述PD柱的尺寸度量级别为百纳米级，所述多组PD柱的尺寸和形状相同。
可选的，所述多个预设方向至少包括0度、20度、40度、60度、80度、100度、120度、140度和160度。
示例性的，如图5所示，彩色偏振式CIS利用四组亚波长像素单元吸收成像光分别在0度、20度、40度、60度、80度、100度、120度、140度和160度偏振的RGB三色光，其中，四组亚波长像素单元按照RGGB排布，每组亚波长像素单元包括9个亚波长像素单元，9个亚波长像素单元分别按照0度、20度、40度、60度、80度、100度、120度、140度和160度排布4×4的PD柱，第一组亚波长像素单元利用4×4的PD柱吸收成像光在0度、20度、40度、60度、80度、100度、120度、140度和160度偏振的R光，第一组亚波长像素单元中PD柱的尺寸为110nm*50nm；第二组亚波长像素单元和第三组亚波长像素单元利用4×4的PD柱吸收成像光在0度、20度、40度、60度、80度、100度、120度、140度和160度偏振的G光，第二组亚波长像素单元和第三组亚波长像素单元中PD柱的尺寸为90nm*50nm；第四组亚波长像素单元利用4×4的PD柱吸收成像光在0度、20度、40度、60度、80度、100度、120度、140度和160度偏振的B光，第四组亚波长像素单元中PD柱的尺寸为70nm*50nm。
可选的，所述彩色偏振式CIS1还包括：与所述多组亚波长像素单元10连接的多个CMOS像素读出电路13，所述多个CMOS像素读出电路13与所述图像传感器相连接11；
所述多组亚波长像素单元10，还用于将在所述多个预设方向偏振的RGB三色光转换成在所述多个预设方向偏振的电信号；
所述多个CMOS像素读出电路13，用于对所述多个预设方向偏振的电信号进行信号放大并读出至所述图像处理器11。
本申请实施例中，多组亚波长像素单元采集到在多个预设方向偏振的RGB三色光之后，多组亚波长像素单元利用PD柱的光电转换，将在多个预设方向偏振的RGB三色光转换成在多个预设方向偏振的电信号。
本申请实施例中，在一组亚波长像素单元和图像传感器之间还设置有CMOS像素读出电路，该CMOS像素读出电路用于对多个预设方向偏振的电信号进行信号放大并将放大的多个预设方向偏振的电信号进行信号读出至图像处理器。
本申请实施例中，预设方向的多组PD柱将对应的多个预设方向偏振的光信号转换为多个预设方向偏振的电信号，并将多个预设方向偏振的电信号传输至CMOS像素读出电路，CMOS像素读出电路将预设方向的电信号转换为数字信号，得到RAW数据，并将RAW数据传输至图像处理器；图像处理器通过预设关联方式将RAW数据进行关联，得到偏振程度和偏振方向，将偏振程度和偏振方向作为偏振信息，按照预设色彩恢复方法对RAW数据进行色彩恢复，得到色彩信息，并根据偏振信息和色彩信息得到偏振图像。
本申请实施例中，读出电路利用模数转化器(ADC，Analog-to-DigitalConverter)将预设方向的电信号转换为数字信号。
本申请实施例中，预设关联方式可以为矢量相加的方式，读出电路通过将预设方向的电信号进行矢量相加，进而得到成像光信号的偏振程度和偏振方向，之后，读出电路过滤掉不同偏振的反射光和透射光，进而确定出拍摄对象的材质属性，由此能够提供更加清晰的图像。
需要说明的是，彩色偏振图像中对应的待成像偏正角度可以为任意角度，图像处理器通过将偏振角度映射成待成像偏振信息，来将RAW数据映射成彩色偏振图像。
可选的，所述CMOS像素读出电路13包括：分别与所述一组亚波长像素单元10连接的转移晶体管130、与所述转移晶体管130连接的读出区131和与所述读出区131连接的选通管132；
所述选通管132，用于按照预设读出顺序，选通所述转移晶体管；
所述转移晶体管130，用于将对应的所述多个预设方向偏振的电信号转移至所述读出区。
本申请实施例中，一组亚波长像素单元对应一个转移晶体管，一个转移晶体管连接一个读出区，且读出区与选通管连接；预先向彩色偏振式CIS中设定读出顺序，选通管根据读出顺序，依次选通转移晶体管，以供读出区依次读出所述转移晶体管对应的多个预设方向偏振的电信号，其中，转移晶体管用于将对应的多个预设方向偏振的电信号转移至读出区。
本申请实施例中，转移晶体管的源极与PD柱的n区连接；转移晶体管的漏极与FD连接。
可选的，所述CMOS像素读出电路13还包括：与所述读出区131和所述选通管132连接的放大晶体管133；所述选通管132还与所述图像处理电路11连接；
所述放大晶体管133，用于将所述读出区读出的所述多个预设方向偏振的电信号进行放大；
所述选通管132，还用于将所述放大的所述多个预设方向偏振的电信号传输至所述图像处理电路11，以供所述图像处理电路11利用所述多个预设方向偏振的电信号确定出所述偏振信息和色彩信息。
本申请实施例中，在读出区和选通管之间还设置有放大晶体管，该放大晶体管用于将读出区读出的多个预设方向偏振的电信号进行放大，选通管的漏极与图像处理电路相连接，选通管将放大的多个预设方向偏振的电信号传输至图像处理电路，以供图像处理电路利用多个预设方向偏振的电信号得到预设色彩的RAW图像。
本申请实施例中，读出区和放大晶体管的栅极连接，放大晶体管的源极接电源，放大晶体管的漏极和选通管的源极连接，选通管的漏极与输出端连接，输出端连接图像处理电路；其中，输出端和图像处理电路之间可以存在缓存区，该缓存区用于缓存放大的多个电信号。
进一步地，像素读出电路还包括与读出区和放大管连接的复位晶体管；其中，读出区，还用于读出复位晶体管中的复位电平；放大管，还用于对复位电平进行放大。
本申请实施例中，复位管的源极和电源连接；复位管的漏极和FD连接，其中，复位管中存储有复位电平，通过FD读出复位电平。
本申请实施例中，分别从复位管读出复位电平、从转移晶体管读出电信号，之后，对复位电平和电信号进行放大之后，对放大的电信号和放大的复位电平进行相关双采样，从而降低读出电信号的噪声。
示例性的，如图6所示，彩色偏振式CIS的CMOS像素读出电路的电路简化示意图，其中，四个PD柱共用一个n区，该n区和转移晶体管的源极连接，转移晶体管的漏极与FD(读出区)连接；FD还与复位管的漏极连接，复位管的源极和电源连接；FD还与BSF(放大晶体管)的栅极连接，BSF的源极和电源连接，BSF的漏极与选通管的源极连接，选通管的漏极和输出端连接。
可以理解的是，彩色偏振式CIS通过利用具有偏振吸收特性的亚波长PD柱吸收成像光信号在所述多个预设方向偏振的RGB三色光，且亚波长PD柱对成像光信号的吸收力强，进而简化了单色偏振式CIS的结构。
实施例二
本申请实施例提供一种图像处理方法，应用于彩色偏振式CIS，彩色偏振式CIS包括多组亚波长像素单元，多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱，如图7所示，该方法可以包括：
S101、当获取到成像光信号时，利用多组亚波长像素单元的三种尺寸的PD柱吸收成像光信号在多个预设方向偏振的RGB三色光。
本申请实施例提供的一种图像处理方法适用于利用彩色偏振式CIS进行图像处理的场景下。
本申请实施例中，多组亚波长像素单元利用三种尺寸的PD柱吸收成像光信号在多个预设方向偏振的RGB三色光，其中，多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组PD柱，一组亚波长像素单元利用在多个预设方向排布的多组PD柱，吸收多个成像光信号在所述多个预设方向偏振的RGB单色光。
本申请实施例中，多组亚波长像素单元组成了亚波长像素阵列，该亚波长像素阵列按照预设色彩阵列进行排布，其中，预设色彩阵列可以为RGGB、RYYB等，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，在每组亚波长像素单元10的输入端还设置有一个滤色片12，其中，该滤色片的颜色与对应的一组亚波长像素单元所吸收的RGB单色光相同，如当一组亚波长像素单元吸收R光，则该组亚波长像素单元的输入端覆盖一片红色滤色片，该红色滤色片用于从成像光信号中过滤出红色光，以供该组亚波长像素单元获取红光在多个预设方向的偏振信息。
本申请实施例中，多组亚波长像素单元输入的多个滤色片的排布规则也是按照预设色彩阵列进行排布的，如，多组亚波长像素单元按照RGGB像素阵列进行排布，则多组亚波长像素单元上的多个滤色片也相应的按照RGGB像素阵列进行排布。
本申请实施例中，一组PD柱相邻两个PD柱之间的距离为预设距离，可以避免相邻光电二极管之间的相互干扰。
示例性的，相邻两个PD柱之间的距离大于等于50nm。
本申请实施例中，根据亚波长像素单元的大小和亚波长像素单元中相邻两个PD柱之间的预设距离，确定出亚波长像素单元中排布的一组PD柱的个数。
本申请实施例中，预设方向的划分可以包括0度、20度、40度、60度、80度、100度、120度、140度和160度等，具体的可根据实际情况进行选择，本申请实施例不做具体的限定。
可选的，PD柱的形状至少包括长方体、圆柱体和椭圆主体，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，PD柱的尺寸是基于RGB单色光的共振波长和成像光信号的折射率确定的，或者通过光学模拟得到的，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，利用公式(1)确定PD柱的尺寸
PD柱的尺寸＝(共振波长-预设常数)/折射率 (1)
其中，RGB单色光对应不同的共振波长，折射率为成像光信号的折射率。
本申请实施例中，蓝光对应的长方体PD柱的尺寸大小为70nm*50nm，绿光对应的长方体PD柱的尺寸大小为90nm*50nm，红光对应的长方体PD柱的尺寸大小为110nm*50nm。
S102、将在多个预设方向偏振的RGB三色光转换成在多个预设方向偏振的电信号。
当彩色偏振式CIS利用多组亚波长像素单元的三种尺寸的PD柱吸收成像光信号在多个预设方向偏振的RGB三色光之后，彩色偏振式CIS将在多个预设方向偏振的RGB三色光转换为多个预设方向偏振的电信号。
本申请实施例中，利用PD柱的光电转换原理，在多组PD柱中分别将多个预设方向偏振的RGB三色光转化为多个预设方向偏振的电信号。
S103、利用多个预设方向偏振的电信号确定出偏振信息和色彩信息，并基于偏振信息和色彩信息得到成像光信号对应的彩色的偏振图像。
当彩色偏振式CIS将在多个预设方向偏振的RGB三色光转换为多个预设方向偏振的电信号之后，彩色偏振式CIS利用多个预设方向偏振的电信号确定出偏振信息，并基于偏振信息得到成像光信号对应的偏振图像。
本申请实施例中，彩色偏振式CIS将多个预设方向偏振的电信号转换为数字信号，得到RAW数据，并通过预设关联方式，将RAW数据进行关联，得到偏振信息。
本申请实施例中，预设方向的多组PD柱将对应的多个预设方向偏振的光信号转换为多个预设方向偏振的电信号，并将多个预设方向偏振的电信号传输至CMOS像素读出电路，CMOS像素读出电路将预设方向的电信号转换为数字信号，得到RAW数据，，并将RAW数据传输至图像处理器；图像处理器通过预设关联方式将RAW数据进行关联，得到偏振程度和偏振方向，将偏振程度和偏振方向作为偏振信息，按照预设色彩恢复方法对RAW数据进行色彩恢复，得到色彩信息，并根据偏振信息和色彩信息得到偏振图像。
本申请实施例中，读出电路利用模数转化器(ADC，Analog-to-DigitalConverter)将预设方向的电信号转换为数字信号。
本申请实施例中，预设关联方式可以为矢量相加的方式，读出电路通过将预设方向的电信号进行矢量相加，进而得到成像光信号的偏振程度和偏振方向，之后，读出电路过滤掉不同偏振的反射光和透射光，进而确定出拍摄对象的材质属性，由此能够提供更加清晰的图像。
需要说明的是，彩色偏振图像中对应的待成像偏正角度可以为任意角度，图像处理器通过将偏振角度映射成待成像偏振信息，来将RAW数据映射成彩色偏振图像。
可以理解的是，彩色偏振式CIS通过利用具有偏振吸收特性的亚波长PD柱吸收成像光信号在所述多个预设方向偏振的RGB三色光，且亚波长PD柱对成像光信号的吸收力强，进而简化了单色偏振式CIS的结构。
实施例三
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于彩色偏振式CIS1中，该计算机程序实现如实施例二所述的图像处理方法。
具体来讲，本实施例中的一种图像处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
当获取到成像光信号时，利用所述多组亚波长像素单元的三种尺寸的PD柱吸收所述成像光信号在所述多个预设方向偏振的RGB三色光；
将在所述多个预设方向偏振的RGB三色光转换成在所述多个预设方向偏振的电信号；
利用所述多个预设方向偏振的电信号确定出偏振信息和色彩信息，并基于所述偏振信息和所述色彩信息得到所述成像光信号对应的彩色的偏振图像。
在本发明的实施例中，进一步地，利用所述多个预设方向偏振的电信号确定出偏振信息，上述一个或者多个程序被上述一个或者多个处理器执行，具体实现以下步骤：
将所述多个预设方向偏振的电信号转换为数字信号，得到RAW数据；
通过预设关联方式，将所述RAW数据进行关联，得到所述偏振信息。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (11)
1.一种彩色偏振式互补金属氧化物半导体图像传感器CIS，其特征在于，所述彩色偏振式CIS包括：
多组亚波长像素单元，所述多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱，所述多组PD柱的尺寸相同；所述多组亚波长像素单元用于利用三种尺寸的PD柱吸收成像光信号在所述多个预设方向偏振的RGB三色光，其中，所述多组亚波长像素单元中的一组亚波长像素点单元利用所述多组PD柱吸收所述成像光信号在所述多个预设方向偏振的RGB单色光；
与所述多组亚波长像素单元输出端连接的图像处理器，用于利用所述RGB三色光确定出偏振信息和色彩信息；并基于所述偏振信息和所述色彩信息得到所述成像光信号对应的彩色偏振图像；
其中，所述彩色偏振式CIS还包括多个滤色片，其中，所述多个滤色片与所述多组亚波长像素单元的输入端连接、且与RGB三色光对应，所述多个滤色片按照预设色彩阵列进行排布，一组亚波长像素单元对应RGB单色光对应的一个滤色片；
所述一个滤色片，用于从成像光信号中过滤出所述一个滤色片对应的RGB单色光。
2.根据权利要求1所述的彩色偏振式CIS，其特征在于，所述一组亚波长像素单元在一个预设方向排布一组PD柱，所述一组PD柱中相邻两个PD柱之间的距离为预设距离，所述一组PD柱的个数由所述一组亚波长像素单元中的一个亚波长像素单元的大小及预设距离确定。
3.根据权利要求1所述的彩色偏振式CIS，其特征在于，所述PD柱的尺寸是基于RGB单色光的共振波长和所述成像光信号的折射率确定的，所述PD柱的形状至少包括长方体、圆柱体和椭圆柱体。
4.根据权利要求1所述的彩色偏振式CIS，其特征在于，所述PD柱的尺寸度量级别为百纳米级，所述多组PD柱的尺寸和形状相同。
5.根据权利要求1所述的彩色偏振式CIS，其特征在于，所述多个预设方向至少包括0度、20度、40度、60度、80度、100度、120度、140度和160度。
6.根据权利要求1所述的彩色偏振式CIS，其特征在于，所述彩色偏振式CIS还包括：与所述多组亚波长像素单元连接的多个CMOS像素读出电路，所述多个CMOS像素读出电路与所述图像传感器相连接；
所述多组亚波长像素单元，还用于将在所述多个预设方向偏振的RGB三色光转换成在所述多个预设方向偏振的电信号；
所述多个CMOS像素读出电路，用于对所述多个预设方向偏振的电信号进行信号放大并读出至所述图像处理器。
7.根据权利要求6所述的彩色偏振式CIS，其特征在于，所述CMOS像素读出电路包括：分别与所述一组亚波长像素单元连接的转移晶体管、与所述转移晶体管连接的读出区和与所述读出区连接的选通管；
所述选通管，用于按照预设读出顺序，选通所述转移晶体管；
所述转移晶体管，用于将对应的所述多个预设方向偏振的电信号转移至所述读出区。
8.根据权利要求6或7所述的彩色偏振式CIS，其特征在于，所述CMOS像素读出电路还包括：与所述读出区和所述选通管连接的放大晶体管；所述选通管还与所述图像处理电路连接；
所述放大晶体管，用于将所述读出区读出的所述多个预设方向偏振的电信号进行放大；
所述选通管，还用于将所述放大的所述多个预设方向偏振的电信号传输至所述图像处理电路，以供所述图像处理电路利用所述多个预设方向偏振的电信号确定出所述偏振信息和色彩信息。
9.一种图像处理方法，其特征在于，应用于彩色偏振式CIS，所述彩色偏振式CIS包括多组亚波长像素单元，所述多组亚波长像素单元中的每一组亚波长像素单元在多个预设方向排布多组光电二极管PD柱，所述多组PD柱的尺寸相同，所述彩色偏振式CIS还包括多个滤色片，其中，所述多个滤色片与所述多组亚波长像素单元的输入端连接、且与RGB三色光对应，所述多个滤色片按照预设色彩阵列进行排布，一组亚波长像素单元对应RGB单色光对应的一个滤色片；所述方法包括：
当获取到成像光信号时，利用所述多组亚波长像素单元的三种尺寸的PD柱吸收所述成像光信号在所述多个预设方向偏振的RGB三色光；
将在所述多个预设方向偏振的RGB三色光转换成在所述多个预设方向偏振的电信号；
利用所述多个预设方向偏振的电信号确定出偏振信息和色彩信息，并基于所述偏振信息和所述色彩信息得到所述成像光信号对应的彩色的偏振图像；
其中，所述当获取到成像光信号时，利用所述多组亚波长像素单元的三种尺寸的PD柱吸收所述成像光信号在所述多个预设方向偏振的RGB三色光，包括：
当获取到成像光信号时，利用所述多个滤色片从所述成像光信号中获取初始RGB三色光；
利用所述多组亚波长像素单元的三种尺寸的PD柱吸收所述初始RGB三色光在所述多个预设方向偏振的RGB三色光。
10.根据权利要求9所述的方法，其特征在于，所述利用所述多个预设方向偏振的电信号确定出偏振信息，包括：
将所述预设方向偏振的电信号转换为数字信号，得到RAW数据；
通过预设关联方式，将所述RAW数据进行关联，得到所述偏振信息。
11.一种存储介质，其上存储有计算机程序，应用于彩色偏振式CIS，其特征在于，该计算机程序被处理器执行时实现如权利要求9-10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910817778.4A CN110445998B (zh) | 2019-08-30 | 2019-08-30 | 一种彩色偏振式cis及图像处理方法、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910817778.4A CN110445998B (zh) | 2019-08-30 | 2019-08-30 | 一种彩色偏振式cis及图像处理方法、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110445998A CN110445998A (zh) | 2019-11-12 |
| CN110445998B true CN110445998B (zh) | 2022-02-25 |
Family
ID=68438635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910817778.4A Active CN110445998B (zh) | 2019-08-30 | 2019-08-30 | 一种彩色偏振式cis及图像处理方法、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110445998B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110891137A (zh) * | 2019-11-15 | 2020-03-17 | Oppo广东移动通信有限公司 | 图像传感器及电子设备、图像处理方法和存储介质 |
| CN111193886A (zh) * | 2020-01-09 | 2020-05-22 | Oppo广东移动通信有限公司 | 一种像素结构、图像传感器及终端 |
| CN111182245A (zh) * | 2020-01-10 | 2020-05-19 | Oppo广东移动通信有限公司 | 一种偏振式cis、图像处理方法及存储介质和终端设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887900A (zh) * | 2009-05-11 | 2010-11-17 | 索尼公司 | 二维固态摄像装置及其偏光数据处理方法 |
| CN105049690A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院遥感与数字地球研究所 | 便携式偏振数字相机及其成像方法 |
| CN110087005A (zh) * | 2019-04-23 | 2019-08-02 | Oppo广东移动通信有限公司 | 一种彩色偏振式cis及图像处理方法、存储介质 |
| CN110087004A (zh) * | 2019-04-23 | 2019-08-02 | Oppo广东移动通信有限公司 | 一种单色偏振式cis及图像处理方法、存储介质 |
| CN110137198A (zh) * | 2019-05-31 | 2019-08-16 | 中国计量大学 | 一种彩色偏振cmos图像传感器及其制作方法 |
-
2019
- 2019-08-30 CN CN201910817778.4A patent/CN110445998B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101887900A (zh) * | 2009-05-11 | 2010-11-17 | 索尼公司 | 二维固态摄像装置及其偏光数据处理方法 |
| CN105049690A (zh) * | 2015-07-06 | 2015-11-11 | 中国科学院遥感与数字地球研究所 | 便携式偏振数字相机及其成像方法 |
| CN110087005A (zh) * | 2019-04-23 | 2019-08-02 | Oppo广东移动通信有限公司 | 一种彩色偏振式cis及图像处理方法、存储介质 |
| CN110087004A (zh) * | 2019-04-23 | 2019-08-02 | Oppo广东移动通信有限公司 | 一种单色偏振式cis及图像处理方法、存储介质 |
| CN110137198A (zh) * | 2019-05-31 | 2019-08-16 | 中国计量大学 | 一种彩色偏振cmos图像传感器及其制作方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110445998A (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110087005B (zh) | 一种彩色偏振式cis及图像处理方法、存储介质 | |
| CN110445998B (zh) | 一种彩色偏振式cis及图像处理方法、存储介质 | |
| KR100871688B1 (ko) | 고체 촬상 장치 및 그 구동 방법 | |
| CN110087004B (zh) | 一种单色偏振式cis及图像处理方法、存储介质 | |
| CN110504279A (zh) | 一种偏振式cis、图像处理方法及存储介质和终端设备 | |
| KR20110084367A (ko) | 촬상 장치 | |
| CN110225319B (zh) | 一种图像传感器、图像处理方法及存储介质 | |
| CN110740277B (zh) | 图像传感器及电子设备、成像方法 | |
| US9185375B2 (en) | Color imaging element and imaging device | |
| WO2014007280A1 (ja) | カラー撮像素子および撮像装置 | |
| CN110740236A (zh) | 图像传感器及电子设备、图像处理方法和存储介质 | |
| CN110312088B (zh) | 一种像素单元电路及图像处理方法、存储介质 | |
| JP2007288294A (ja) | 固体撮像装置およびカメラ | |
| CN207251823U (zh) | 成像设备和成像系统 | |
| CN110505422A (zh) | 一种cis和终端 | |
| CN110572594B (zh) | 叠层互补金属氧化物半导体图像传感器及图像处理方法 | |
| CN110290334B (zh) | 像素单元电路及图像处理方法、存储介质及cmos图像传感器 | |
| CN111223882B (zh) | 一种图像传感器及图像处理方法、存储介质 | |
| CN110677606B (zh) | 一种像素结构、cis和终端 | |
| CN205901917U (zh) | 成像装置 | |
| CN110336964B (zh) | 一种cmos图像传感器及图像处理方法、存储介质 | |
| CN110460788A (zh) | 一种单色偏振式cis及图像处理方法、存储介质 | |
| CN110691207A (zh) | 一种图像传感器及图像处理方法、存储介质 | |
| CN110690237B (zh) | 一种图像传感器、信号处理方法及存储介质 | |
| CN110891137A (zh) | 图像传感器及电子设备、图像处理方法和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |