CN110336964B - 一种cmos图像传感器及图像处理方法、存储介质 - Google Patents

一种cmos图像传感器及图像处理方法、存储介质 Download PDF

Info

Publication number
CN110336964B
CN110336964B CN201910501193.1A CN201910501193A CN110336964B CN 110336964 B CN110336964 B CN 110336964B CN 201910501193 A CN201910501193 A CN 201910501193A CN 110336964 B CN110336964 B CN 110336964B
Authority
CN
China
Prior art keywords
preset
column
signals
image sensor
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910501193.1A
Other languages
English (en)
Other versions
CN110336964A (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910501193.1A priority Critical patent/CN110336964B/zh
Publication of CN110336964A publication Critical patent/CN110336964A/zh
Application granted granted Critical
Publication of CN110336964B publication Critical patent/CN110336964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请实施例提供了一种CMOS图像传感器及图像处理方法、存储介质，包括：多个光电二极管PD柱，用于分别吸收多个预设波段的光信号，并将多个预设波段的光信号转换成多个电信号，多个预设波段的光信号和多个电信号一一对应；与多个光电二极管PD柱连接的CMOS像素读出电路，用于按照预设读出顺序，依次累加读出多个电信号；与CMOS像素读出电路连接的图像处理电路，用于按照预设组合方式，对多个电信号进行组合，输出预设组合方式对应的预设色彩的未经加工RAW图像。

Description

一种CMOS图像传感器及图像处理方法、存储介质
技术领域
本申请涉及图像处理领域，尤其涉及一种CMOS图像传感器及图像处理方法、存储介质。
背景技术
现有的CMOS图像传感器(CIS，CMOS Image Sensor)由像素单元电路和图像处理电路构成，其中，像素单元电路包括感光二极管(PD，Photo Diode)结构和CMOS像素读出电路。相对于CCD图像传感器，CMOS图像传感器因为采用CMOS标准制作工艺，因此具有更好的可集成度，可以与其他数模运算和控制电路集成在同一块芯片上，更适应未来的发展。
现有的CMOS图像传感器，例如基于Bayer滤色阵列的CIS来说，CMOS像素读出电路读取出R、G、G、B四个通道的信号值至图像处理电路，然后图像处理电路进行demosaic处理，使得每个像素都具有R、G、B分量。
然而，当需要分别获取多个色彩的RAW图像时，现有的CMOS图像传感器需要进行多次信号读取，导致获取多个色彩的RAW图像的智能性低。
发明内容
本申请实施例提供一种CMOS图像传感器及图像处理方法、存储介质，能够提高获取多个色彩的RAW图像的智能性。
本申请的技术方案是这样实现的：
本申请实施例提供一种CMOS图像传感器，所述CMOS图像传感器包括：
多个光电二极管PD柱，用于分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，所述多个预设波段的光信号和所述多个电信号一一对应；
与所述多个光电二极管PD柱连接的CMOS像素读出电路，用于按照预设读出顺序，依次累加读出所述多个电信号；
与所述CMOS像素读出电路连接的图像处理电路，用于按照预设组合方式，对所述多个电信号进行组合，输出所述预设组合方式对应的预设色彩的未经加工RAW图像。
在上述CMOS图像传感器中，所述多个PD柱包括：RGB单色光对应的预设尺寸的PD柱和/或组合PD柱，所述组合PD柱由至少两种所述预设尺寸的PD柱组成。
在上述CMOS图像传感器中，所述PD柱，用于吸收第一预设波段的光信号，所述第一预设波段为所述多个预设波段中RGB单色光对应的波段；
所述组合PD柱，用于利用至少两种所述预设尺寸的PD柱共同吸收第二预设波段的光信号，所述第二预设波段为所述多个预设波段中RGB组合光对应的波段。
在上述CMOS图像传感器中，所述CMOS像素读出电路包括：分别与所述多个PD柱连接的多个转移晶体管、与所述多个转移晶体管连接的读出区和与所述读出区连接的选通管；
所述选通管，用于按照预设读出顺序，依次叠加选通所述多个转移晶体管；
所述多个转移晶体管，用于在所述选通管选通时，将对应的所述多个电信号转移至所述读出区。
在上述CMOS图像传感器中，所述CMOS像素读出电路还包括：与所述读出区和所述选通管连接的放大晶体管；所述选通管还与所述图像处理电路连接；
所述放大晶体管，用于将所述读出区读出的所述多个电信号进行放大；
所述选通管，还用于将所述放大的所述多个电信号传输至所述图像处理电路。
在上述CMOS图像传感器中，所述多个PD柱包括：第一PD柱、第二PD柱和第三PD柱；
所述第一PD柱，用于吸收第一RGB单色光的第一光信号，并将所述第一光信号转换成第一电信号；
所述第二PD柱，用于吸收第二RGB单色光的第二光信号，所述RGB两色光包括所述第一RGB单色光，并将所述第二光信号转换成第二电信号；
所述第三PD柱，用于吸收第三RGB单色光的第三光信号，并将所述第三光信号转换成第三电信号。
在上述CMOS图像传感器中，所述CMOS像素读出电路，还用于选通所述第一PD柱对应的第一转移晶体管，读出所述第一电信号；累加选通所述第二PD柱对应的第二转移晶体管，读出第一组合电信号，所述第一组合电信号由所述第一电信号加所述第二电信号得到；累加选通所述第三PD柱对应的第三转移晶体管，读出第二组合电信号，所述第二组合电信号由所述第一电信号加所述第二电信号加所述第三电信号得到；
所述图像处理电路，还用于利用所述第二组合电信号，得到黑白RAW图像；利用所述第一电信号、所述第一组合电信号和所述第二组合电信号，分别得到RGB三通道的电信号，并利用所述RGB三通道的电信号得到彩色RAW图像，所述黑白RAW图像和所述彩色RAW图像组成所述预设色彩的RAW图像。
在上述CMOS图像传感器中，所述PD柱对应的三种尺寸分别是基于RGB单色光的共振波长和所述光信号的折射率确定。
在上述CMOS图像传感器中，所述PD柱的形状至少包括长方形、圆形、平行四边形和菱形。
本申请实施例提供一种图像处理方法，应用于CMOS图像传感器，所述CMOS图像传感器包括多个PD柱，所述方法包括：
利用所述多个PD柱分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，所述多个预设波段的光信号和所述多个电信号一一对应；
按照预设读出顺序，依次累加读出所述多个电信号；
按照预设组合方式，对所述多个电信号进行组合，输出所述预设组合方式对应的预设色彩的RAW图像。
在上述方法中，所述按照预设读出顺序，依次累加读出所述多个电信号，包括：
按照预设读出顺序，依次叠加选通所述多个电信号对应的多个色彩通道；
从所述多个色彩通道中，依次累加读出所述多个电信号。
在上述方法中，所述多个PD柱包括：RGB单色光对应的预设尺寸的PD柱和/或由至少两种所述预设尺寸的PD柱组成的组合PD柱，所述利用所述多个PD柱分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，包括：
利用所述PD柱吸收第一预设波段的光信号，所述第一预设波段为所述多个预设波段中RGB单色光对应的波段；
利用至少两种所述预设尺寸的PD柱共同吸收第二预设波段的光信号，所述第二预设波段为所述多个预设波段中RGB组合光对应的波段。
本申请实施例提供一种存储介质，其上存储有计算机程序，应用于CMOS图像传感器，该计算机程序被处理器执行时实现如上述任一项所述的方法。
本申请实施例提供了一种CMOS图像传感器及图像处理方法、存储介质，包括：多个光电二极管PD柱，用于分别吸收多个预设波段的光信号，并将多个预设波段的光信号转换成多个电信号，多个预设波段的光信号和多个电信号一一对应；与多个光电二极管PD柱连接的CMOS像素读出电路，用于按照预设读出顺序，依次累加读出多个电信号；与CMOS像素读出电路连接的图像处理电路，用于按照预设组合方式，对多个电信号进行组合，输出预设组合方式对应的预设色彩的未经加工RAW图像。采用上述实现方案，CMOS图像传感器利用一个CMOS像素读出电路累加读出多个PD柱对应的多个电信号，之后图像处理电路按照预设组合方式对多个电信号进行组合，得到预设色彩的RAW图像，由此，CMOS图像传感器只需获取一次信号，并利用不同的预设组合方式得到对应的预设色彩的RAW图像，由此，提高了获取多个色彩的RAW图像的智能性。
附图说明
图1为本申请实施例提供的一种CMOS图像传感器的结构示意图；
图2为本申请实施例提供的一种示例性的RGB像素的结构俯视图；
图3为本申请实施例提供的一种示例性的RGB像素的CMOS图像传感器示意图；
图4为本申请实施例提供的一种示例性的图像处理器对R、RG和RGB进行组合得到RGB RAW图像和黑白RAW图像的流程示意图；
图5为本申请实施例提供的一种图像处理方法的流程图。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
实施例一
本申请实施例提供一种CMOS图像传感器，如图1所示，该CMOS图像传感器包括：
多个光电二极管PD柱，用于分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，所述多个预设波段的光信号和所述多个电信号一一对应；
与所述多个光电二极管PD柱连接的CMOS像素读出电路，用于按照预设读出顺序，依次累加读出所述多个电信号；
与所述CMOS像素读出电路连接的图像处理电路，用于按照预设组合方式，对所述多个电信号进行组合，输出所述预设组合方式对应的预设色彩的未经加工RAW图像。
本申请实施例提供的一种CMOS图像传感器适用于进行一次信号读取同时获取多种颜色的RAW图像的场景下。
本申请实施例中，CMOS图像传感器由像素单元电路和图像处理电路组成，其中，像素单元电路包括多个PD柱，且该多个PD柱均与一个CMOS像素读出电路连接。
本申请实施例中，PD柱的尺寸是根据需要吸收的预设波段所决定的，多个PD柱能够吸收多个预设波段的光信号，并将多个预设波段的光信号转换成多个电信号，像素读出电路根据预设读出顺序，依次累加读出多个电信号。
示例性的，直径为60nm的PD柱用于吸收蓝光、直径为90nm的PD柱用于吸收绿光、直径为120nm的PD柱用于吸收红光。
可选的，所述多个PD柱包括：RGB单色光对应的预设尺寸的PD柱和/或组合PD柱，所述组合PD柱由至少两种所述预设尺寸的PD柱组成。
本申请实施例中，PD柱可以为吸收RGB单色光的PD柱，也可以为由至少两种预设尺寸的PD柱组成的组合PD柱，或者同时包括吸收RGB单色光的D柱和组合PD柱，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
需要说明的是，本申请实施例可以应用于RGB亚波长CMOS图像传感器、彩色偏振式亚波长CMOS图像传感器、RYYB亚波长CMOS图像传感器、RWWB亚波长CMOS图像传感器等亚波长像素结构没具体的根据实际情况进行选择，本申请实施例不做具体的限定。
示例性的，如图2所示，CMOS图像传感器中单个像素结构中包括三个PD柱，分别用于吸收R光(红光)、G光(绿光)和B光(蓝光)。
可选的，所述PD柱，用于吸收第一预设波段的光信号，所述第一预设波段为所述多个预设波段中RGB单色光对应的波段；
所述组合PD柱，用于利用至少两种所述预设尺寸的PD柱共同吸收第二预设波段的光信号，所述第二预设波段为所述多个预设波段中RGB组合光对应的波段。
本申请实施例中，利用单个PD柱吸收RGB单色光、将至少两种预设尺寸的PD柱进行组合吸收RGB组合光。
示例性的，在RYB像素结构中，利用直径为60nm的PD柱吸收蓝光，利用直径为120nm的PD柱吸收红光、利用直径为90nm的PD柱和直径为120nm的PD柱吸收黄光。
可选的，所述CMOS像素读出电路包括：分别与所述多个PD柱连接的多个转移晶体管、与所述多个转移晶体管连接的读出区和与所述读出区连接的选通管；
所述选通管，用于按照预设读出顺序，依次叠加选通所述多个转移晶体管；
所述多个转移晶体管，用于在所述选通管选通时，将对应的所述多个电信号转移至所述读出区。
本申请实施例中，多个PD柱中的每一个PD柱对应一个转移晶体管，多个转移晶体管共同连接一个读出区，且读出区与选通管连接；预先向CMOS图像传感器中设定读出顺序，选通管根据读出顺序，依次叠加选通多个转移晶体管，以供读出区依次叠加读出所述多个转移晶体管对应的多个电信号，其中，多个转移晶体管用于将对应的多个PD柱中的电信号转移至读出区。
本申请实施例中，转移晶体管的源极与PD柱的n区连接；转移晶体管的漏极与FD连接。
可选的，所述CMOS像素读出电路还包括：与所述读出区和所述选通管连接的放大晶体管；所述选通管还与所述图像处理电路连接；
所述放大晶体管，用于将所述读出区读出的所述多个电信号进行放大；
所述选通管，还用于将所述放大的所述多个电信号传输至所述图像处理电路。
本申请实施例中，在读出区和选通管之间还设置有放大晶体管，该放大晶体管用于将读出区读出的多个电信号进行放大，选通管的漏极与图像处理电路相连接，选通管将放大的多个电信号传输至图像处理电路，以供图像处理电路利用多个电信号得到预设色彩的RAW图像。
本申请实施例中，读出区和放大晶体管的栅极连接，放大晶体管的源极接电源，放大晶体管的漏极和选通管的源极连接，选通管的漏极与输出端连接，输出端连接图像处理电路；其中，输出端和图像处理电路之间可以存在缓存区，该缓存区用于缓存放大的多个电信号。
进一步地，像素读出电路还包括与读出区和放大管连接的复位晶体管；其中，读出区，还用于读出复位晶体管中的复位电平；放大管，还用于对复位电平进行放大。
本申请实施例中，复位管的源极和电源连接；复位管的漏极和FD连接，其中，复位管中存储有复位电平，通过FD读出复位电平。
本申请实施例中，分别从复位管读出复位电平、从转移晶体管读出电信号，之后，对复位电平和电信号进行放大之后，对放大的电信号和放大的复位电平进行相关双采样，从而降低读出电信号的噪声。
以下，以RGB像素结构为例说明CMOS图像传感器的模块处理流程。
可选的，所述多个PD柱包括：第一PD柱、第二PD柱和第三PD柱；
所述第一PD柱，用于吸收第一RGB单色光的第一光信号，并将所述第一光信号转换成第一电信号；
所述第二PD柱，用于吸收第二RGB单色光的第二光信号，所述RGB两色光包括所述第一RGB单色光，并将所述第二光信号转换成第二电信号；
所述第三PD柱，用于吸收第三RGB单色光的第三光信号，并将所述第三光信号转换成第三电信号。
本申请实施例中，CMOS图像传感器中的每一个像素单元电路包括三个PD柱(第一PD柱、第二PD柱和第三PD柱)，分别用来吸收R光(第一光信号)、G光(第二光信号)和B光(第三光信号)，之后，分别在三个PD柱中进行光电转换，将R光转换成第一电信号，并将第一电信号存储在第一PD柱的n+区、将G光转换成第二电信号，并将第二电信号存储在第二PD柱的n+区、将B光转换成第三电信号，并将第三电信号存储在第三PD柱的n+区。
本申请实施例中，三个PD柱分别对应三个转移晶体管，三个转移晶体管与读出区连接，以供读出区读出三个PD柱中的电信号。
可选的，所述CMOS像素读出电路，还用于选通所述第一PD柱对应的第一转移晶体管，读出所述第一电信号；累加选通所述第二PD柱对应的第二转移晶体管，读出第一组合电信号，所述第一组合电信号由所述第一电信号加所述第二电信号得到；累加选通所述第三PD柱对应的第三转移晶体管，读出第二组合电信号，所述第二组合电信号由所述第一电信号加所述第二电信号加所述第三电信号得到；
所述图像处理电路，还用于利用所述第二组合电信号，得到黑白RAW图像；利用所述第一电信号、所述第一组合电信号和所述第二组合电信号，分别得到RGB三通道的电信号，并利用所述RGB三通道的电信号得到彩色RAW图像，所述黑白RAW图像和所述彩色RAW图像组成所述预设色彩的RAW图像。
本申请实施例中，预设读出顺序为依次累加选通第一转移晶体管、第二转移晶体管和第三转移晶体管，选通管先选通第一转移晶体管，此时读出区从第一转移晶体管中读出第一电信号，之后，选通管累加选通第二转移晶体管，此时，读出区分别从第一转移晶体管和第二转移晶体管中读出第一电信号和第二电信号，并将第一电信号和第二电信号组成第一组合电信号，之后，选通管累加选通第三转移晶体管，此时，读出区分别从第一转移晶体管、第二转移晶体管和第三转移晶体管中读出第一电信号、第二电信号和第三电信号，并将第一电信号、第二电信号和第三电信号组成第二组合电信号。
本申请实施例中，由于第二组合电信号能够直接得到彩色RAW图像，故，图像处理单元对第二组合电信号进行图像处理，得到彩色RAW图像；图像处理单元用第一组合电信号减去第一电信号，得到第二电信号、用第二组合电信号减去第一组合电信号，得到第三电信号，之后，图像处理单元对第一电信号、第二电信号和第三电信号进行图像处理，得到黑白RAW图像。
如图3所示，为R、G、B三个通道的PD柱共享读出电路示意图，其中，R通道对应TX1(转移晶体管1)、G通道对应TX2(转移晶体管2)、B通道对应TX3(转移晶体管3)，入射光经过光电转换后，将对应的电信号存储在光电二极管的n+区，然后依次累加选通TX1、TX2和TX3。TX1选通时，R通道的信号转移到FD点后经过放大管放大后存入缓存；接着选通TX2，G通道的信号转移到FD点后，G通道的信号和R通道的信号叠加后经过放大管放大后存入缓存；最后选通TX3，B通道的信号转移到FD点后，B通道的信号、G通道的信号和R通道的信号叠加后经过放大管放大后存入缓存，从而分别读出R、R+G、R+G+B三种输出信号。
如图4所示，为R、R+G、R+G+B三种输出信号的处理方法，首先从R+G+B与R+G的信号之差获得B通道的信号，然后利用R+G与R信号之差获得G通道的信号，这样就获得了R,B,G三个通道的信号这三个信号组合可以输出彩色RGB RAW，而R+G+B信号则可以输出成黑白的RAW图像，从而实现了彩色RGB RAW和黑白RAW图像的同时输出，通过利用这两个图像进行融合，来提高输出图像的分辨率。
可选的，所述PD柱对应的三种尺寸分别是基于RGB单色光的共振波长和所述光信号的折射率确定。
本申请实施例中，D柱的直径是基于RGB单色光的共振波长和所述光信号的折射率确定的，或者通过光学模拟得到的，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，利用公式(1)确定PD柱的尺寸
PD柱的尺寸＝(共振波长-预设常数)/折射率(1)
本申请实施例中，像素单元电路利用PD柱的光学共振，实现了对RGB单色光和RGB组合光的共振吸收。
可选的，所述PD柱的形状至少包括长方形、圆形、平行四边形和菱形，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
可以理解的是，CMOS图像传感器利用一个CMOS像素读出电路累加读出多个PD柱对应的多个电信号，之后图像处理电路按照预设组合方式对多个电信号进行组合，得到预设色彩的RAW图像，由此，CMOS图像传感器只需获取一次信号，并利用不同的预设组合方式得到对应的预设色彩的RAW图像，由此，提高了获取多个色彩的RAW图像的智能性。
实施例二
本申请实施例提供一种图像处理方法，应用于CMOS图像传感器，该COMS图像传感器包括多个PD柱，如图5所示，该方法可以包括：
S101、利用多个PD柱分别吸收多个预设波段的光信号，并将多个预设波段的光信号转换成多个电信号，多个预设波段的光信号和多个电信号一一对应。
本申请实施例提供的一种图像处理方法适用于CMOS图像传感器进行一次信号读取同时获取多种颜色的RAW图像的场景下。
本申请实施例中，，CMOS图像传感器由像素单元电路和图像处理电路组成，其中，像素单元电路包括多个PD柱和CMOS像素读出电路，且多个PD柱均与一个CMOS像素读出电路连接。
本申请实施例中，PD柱的尺寸是根据需要吸收的预设波段所决定的，多个PD柱能够吸收多个预设波段的光信号。
示例性的，直径为60nm的PD柱用于吸收蓝光、直径为90nm的PD柱用于吸收绿光、直径为120nm的PD柱用于吸收红光。
本申请实施例中，多个PD柱包括：RGB单色光对应的预设尺寸的PD柱和/或由至少两种预设尺寸的PD柱组成的组合PD柱。
本申请实施例中，PD柱可以为吸收RGB单色光的PD柱，也可以为由至少两种预设尺寸的PD柱组成的组合PD柱，或者同时包括吸收RGB单色光的D柱和组合PD柱，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
需要说明的是，本申请实施例可以应用于RGB亚波长CMOS图像传感器、彩色偏振式亚波长CMOS图像传感器、RYYB亚波长CMOS图像传感器、RWWB亚波长CMOS图像传感器等亚波长像素结构没具体的根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，CMOS图像传感器利用PD柱吸收第一预设波段的光信号，其中，第一预设波段为多个预设波段中RGB单色光对应的波段；之后利用至少两种预设尺寸的PD柱共同吸收第二预设波段的光信号，其中，第二预设波段为多个预设波段中RGB组合光对应的波段。
本申请实施例中，利用单个PD柱吸收RGB单色光、将至少两种预设尺寸的PD柱进行组合吸收RGB组合光。
示例性的，在RYB像素结构中，利用直径为60nm的PD柱吸收蓝光，利用直径为120nm的PD柱吸收红光、利用直径为90nm的PD柱和直径为120nm的PD柱吸收黄光。
S102、按照预设读出顺序，依次累加读出多个电信号。
当CMOS图像传感器将多个预设波段的光信号转换成多个电信号之后，CMOS图像传感器按照预设读出顺序，依次累加读出多个电信号。
本申请实施例中，CMOS图像传感器按照预设读出顺序，依次叠加选通多个电信号对应的多个色彩通道；之后从多个色彩通道中，依次累加读出多个电信号。
本申请实施例中，CMOS像素读出电路包括：分别与多个PD柱连接的多个转移晶体管、与多个转移晶体管连接的读出区和与读出区连接的放大晶体管和复位管，与放大晶体管连接的选通管；选通管还与图像处理电路连接；其中，多个PD柱和对应的多个转移晶体管组成了多个色彩通道。
选通管，用于按照预设读出顺序，依次叠加选通多个转移晶体管；
多个转移晶体管，用于在选通管选通时，将对应的多个电信号转移至读出区。
读出区，还用于读出复位晶体管中的复位电平；
放大晶体管，用于将读出区读出的多个电信号和复位管中的复位电平进行放大；
选通管，还用于将放大的多个电信号和放大的复位电平传输至图像处理电路。
本申请实施例中，多个PD柱中的每一个PD柱对应一个转移晶体管，多个转移晶体管共同连接一个读出区，且读出区与选通管连接；预先向CMOS图像传感器中设定读出顺序，选通管根据读出顺序，依次叠加选通多个转移晶体管，以供读出区依次叠加读出多个转移晶体管对应的多个电信号，其中，多个转移晶体管用于将对应的多个PD柱中的电信号转移至读出区。
本申请实施例中，转移晶体管的源极与PD柱的n区连接；转移晶体管的漏极与FD连接。
本申请实施例中，在读出区和选通管之间还设置有放大晶体管，该放大晶体管用于将读出区读出的多个电信号进行放大，选通管的漏极与图像处理电路相连接，选通管将放大的多个电信号传输至图像处理电路，以供图像处理电路利用多个电信号得到预设色彩的RAW图像。
本申请实施例中，读出区和放大晶体管的栅极连接，放大晶体管的源极接电源，放大晶体管的漏极和选通管的源极连接，选通管的漏极与输出端连接，输出端连接图像处理电路；其中，输出端和图像处理电路之间可以存在缓存区，该缓存区用于缓存放大的多个电信号。
本申请实施例中，复位管的源极和电源连接；复位管的漏极和FD连接，其中，复位管中存储有复位电平，通过FD读出复位电平。
本申请实施例中，分别从复位管读出复位电平、从转移晶体管读出电信号，之后，对复位电平和电信号进行放大之后，对放大的电信号和放大的复位电平进行相关双采样，从而降低读出电信号的噪声。
S103、按照预设组合方式，对多个电信号进行组合，输出预设组合方式对应的预设色彩的RAW图像。
当CMOS图像传感器按照预设读出顺序，依次累加读出多个电信号之后，CMOS图像传感器按照预设组合方式，对多个电信号进行组合，并输出预设组合方式对应的预设色彩的RAW图像。
本申请实施例中，CMOS图像传感器根据所需的预设色彩预先设置不同的预设组合方式，之后，CMOS图像传感器按照预设组合方式，对多个电信号进行组合，进而得到预设色彩的RAW图像。
可以理解的是，CMOS图像传感器利用一个CMOS像素读出电路累加读出多个PD柱对应的多个电信号，之后图像处理电路按照预设组合方式对多个电信号进行组合，得到预设色彩的RAW图像，由此，CMOS图像传感器只需获取一次信号，并利用不同的预设组合方式得到对应的预设色彩的RAW图像，由此，提高了获取多个色彩的RAW图像的智能性。
实施例三
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于CMOS图像传感器中，所述CMOS图像传感器包括多个PD柱，该计算机程序实现如实施例二所述的图像处理方法。
具体来讲，本实施例中的一种图像处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
利用所述多个PD柱分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，所述多个预设波段的光信号和所述多个电信号一一对应；
按照预设读出顺序，依次累加读出所述多个电信号；
按照预设组合方式，对所述多个电信号进行组合，输出所述预设组合方式对应的预设色彩的RAW图像。
在本发明的实施例中，进一步地，上述一个或者多个程序被上述一个或者多个处理器执行，还实现以下步骤：
按照预设读出顺序，依次叠加选通所述多个电信号对应的多个色彩通道；
从所述多个色彩通道中，依次累加读出所述多个电信号。
在本发明的实施例中，进一步地，所述多个PD柱包括：RGB单色光对应的预设尺寸的PD柱和/或由至少两种所述预设尺寸的PD柱组成的组合PD柱；上述一个或者多个程序被上述一个或者多个处理器执行，还实现以下步骤：
利用所述PD柱吸收第一预设波段的光信号，所述第一预设波段为所述多个预设波段中RGB单色光对应的波段；
利用至少两种所述预设尺寸的PD柱共同吸收第二预设波段的光信号，所述第二预设波段为所述多个预设波段中RGB组合光对应的波段。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (12)

1.一种CMOS图像传感器，其特征在于，所述CMOS图像传感器包括：
多个光电二极管PD柱，用于分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，所述多个预设波段的光信号和所述多个电信号一一对应；其中，所述PD柱对应的三种尺寸分别是基于RGB单色光的共振波长和所述光信号的折射率确定；
与所述多个光电二极管PD柱连接的CMOS像素读出电路，用于按照预设读出顺序，依次累加读出所述多个电信号；
与所述CMOS像素读出电路连接的图像处理电路，用于按照预设组合方式，对所述多个电信号进行组合，输出所述预设组合方式对应的预设色彩的未经加工RAW图像。
2.根据权利要求1所述的CMOS图像传感器，其特征在于，所述多个光电二极管PD柱包括：RGB单色光对应的预设尺寸的PD柱和/或组合PD柱，所述组合PD柱由至少两种所述预设尺寸的PD柱组成。
3.根据权利要求2所述的CMOS图像传感器，其特征在于，
所述PD柱，用于吸收第一预设波段的光信号，所述第一预设波段为所述多个预设波段中RGB单色光对应的波段；
所述组合PD柱，用于利用至少两种所述预设尺寸的PD柱共同吸收第二预设波段的光信号，所述第二预设波段为所述多个预设波段中RGB组合光对应的波段。
4.根据权利要求1所述的CMOS图像传感器，其特征在于，所述CMOS像素读出电路包括：分别与所述多个光电二极管PD柱连接的多个转移晶体管、与所述多个转移晶体管连接的读出区和与所述读出区连接的选通管；
所述选通管，用于按照预设读出顺序，依次叠加选通所述多个转移晶体管；
所述多个转移晶体管，用于在所述选通管选通时，将对应的所述多个电信号转移至所述读出区。
5.根据权利要求4所述的CMOS图像传感器，其特征在于，所述CMOS像素读出电路还包括：与所述读出区和所述选通管连接的放大晶体管；所述选通管还与所述图像处理电路连接；
所述放大晶体管，用于将所述读出区读出的所述多个电信号进行放大；
所述选通管，还用于将所述放大的所述多个电信号传输至所述图像处理电路。
6.根据权利要求2所述的CMOS图像传感器，其特征在于，所述多个光电二极管PD柱包括：第一PD柱、第二PD柱和第三PD柱；
所述第一PD柱，用于吸收第一RGB单色光的第一光信号，并将所述第一光信号转换成第一电信号；
所述第二PD柱，用于吸收第二RGB单色光的第二光信号，RGB两色光包括所述第一RGB单色光，并将所述第二光信号转换成第二电信号；
所述第三PD柱，用于吸收第三RGB单色光的第三光信号，并将所述第三光信号转换成第三电信号。
7.根据权利要求6所述的CMOS图像传感器，其特征在于，
所述CMOS像素读出电路，还用于选通所述第一PD柱对应的第一转移晶体管，读出所述第一电信号；累加选通所述第二PD柱对应的第二转移晶体管，读出第一组合电信号，所述第一组合电信号由所述第一电信号加所述第二电信号得到；累加选通所述第三PD柱对应的第三转移晶体管，读出第二组合电信号，所述第二组合电信号由所述第一电信号加所述第二电信号加所述第三电信号得到；
所述图像处理电路，还用于利用所述第二组合电信号，得到黑白RAW图像；利用所述第一电信号、所述第一组合电信号和所述第二组合电信号，分别得到RGB三通道的电信号，并利用所述RGB三通道的电信号得到彩色RAW图像，所述黑白RAW图像和所述彩色RAW图像组成所述预设色彩的RAW图像。
8.根据权利要求1所述的CMOS图像传感器，其特征在于，所述PD柱的形状至少包括长方形、圆形、平行四边形和菱形。
9.一种图像处理方法，应用于CMOS图像传感器，所述CMOS图像传感器包括多个PD柱，其特征在于，所述方法包括：
利用所述多个PD柱分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，所述多个预设波段的光信号和所述多个电信号一一对应；其中，所述PD柱对应的三种尺寸分别是基于RGB单色光的共振波长和所述光信号的折射率确定；
按照预设读出顺序，依次累加读出所述多个电信号；
按照预设组合方式，对所述多个电信号进行组合，输出所述预设组合方式对应的预设色彩的RAW图像。
10.根据权利要求9所述的方法，其特征在于，所述按照预设读出顺序，依次累加读出所述多个电信号，包括：
按照预设读出顺序，依次叠加选通所述多个电信号对应的多个色彩通道；
从所述多个色彩通道中，依次累加读出所述多个电信号。
11.根据权利要求9或10所述的方法，其特征在于，所述多个PD柱包括：RGB单色光对应的预设尺寸的PD柱和/或由至少两种所述预设尺寸的PD柱组成的组合PD柱，所述利用所述多个PD柱分别吸收多个预设波段的光信号，并将所述多个预设波段的光信号转换成多个电信号，包括：
利用所述PD柱吸收第一预设波段的光信号，所述第一预设波段为所述多个预设波段中RGB单色光对应的波段；
利用至少两种所述预设尺寸的PD柱共同吸收第二预设波段的光信号，所述第二预设波段为所述多个预设波段中RGB组合光对应的波段。
12.一种存储介质，其上存储有计算机程序，应用于CMOS图像传感器，其特征在于，该计算机程序被处理器执行时实现如权利要求9-11任一项所述的方法。
CN201910501193.1A 2019-06-11 2019-06-11 一种cmos图像传感器及图像处理方法、存储介质 Active CN110336964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910501193.1A CN110336964B (zh) 2019-06-11 2019-06-11 一种cmos图像传感器及图像处理方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910501193.1A CN110336964B (zh) 2019-06-11 2019-06-11 一种cmos图像传感器及图像处理方法、存储介质

Publications (2)

Publication Number Publication Date
CN110336964A CN110336964A (zh) 2019-10-15
CN110336964B true CN110336964B (zh) 2022-03-25

Family

ID=68140978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910501193.1A Active CN110336964B (zh) 2019-06-11 2019-06-11 一种cmos图像传感器及图像处理方法、存储介质

Country Status (1)

Country Link
CN (1) CN110336964B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246133A (zh) * 2020-01-09 2020-06-05 Oppo广东移动通信有限公司 一种图像传感器及图像处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339839A (zh) * 2010-07-16 2012-02-01 美商豪威科技股份有限公司 具有改良的光电二极管区域分配的cmos图像传感器
CN102348075A (zh) * 2010-07-23 2012-02-08 美商豪威科技股份有限公司 具有双元件彩色滤波器阵列和三信道彩色输出的图像传感器
CN105556680A (zh) * 2013-05-22 2016-05-04 王士原 微结构增强型吸收光敏装置
CN108257990A (zh) * 2016-12-29 2018-07-06 三星电子株式会社 图像传感器和包括其的电子设备
CN108507678A (zh) * 2018-03-01 2018-09-07 东南大学 一种等离激元多谐振机制增强的可调超光谱探测芯片
WO2018218354A1 (en) * 2017-05-30 2018-12-06 Grass Valley Canada Shared photodiode reset in a 5 transistor - four shared pixel
CN109479105A (zh) * 2016-07-13 2019-03-15 罗伯特·博世有限公司 Cmos像素、图像传感器、摄像机和用于读取cmos像素的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008010292A1 (fr) * 2006-07-21 2008-01-24 Renesas Technology Corp. Dispositif de conversion photoélectrique et dispositif d'imagerie

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339839A (zh) * 2010-07-16 2012-02-01 美商豪威科技股份有限公司 具有改良的光电二极管区域分配的cmos图像传感器
CN102348075A (zh) * 2010-07-23 2012-02-08 美商豪威科技股份有限公司 具有双元件彩色滤波器阵列和三信道彩色输出的图像传感器
CN105556680A (zh) * 2013-05-22 2016-05-04 王士原 微结构增强型吸收光敏装置
CN109479105A (zh) * 2016-07-13 2019-03-15 罗伯特·博世有限公司 Cmos像素、图像传感器、摄像机和用于读取cmos像素的方法
CN108257990A (zh) * 2016-12-29 2018-07-06 三星电子株式会社 图像传感器和包括其的电子设备
WO2018218354A1 (en) * 2017-05-30 2018-12-06 Grass Valley Canada Shared photodiode reset in a 5 transistor - four shared pixel
CN108507678A (zh) * 2018-03-01 2018-09-07 东南大学 一种等离激元多谐振机制增强的可调超光谱探测芯片

Also Published As

Publication number Publication date
CN110336964A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
US11211411B2 (en) Solid-state image sensing device having a photoelectric conversion unit outside a semiconductor substrate and electronic device having the same
US20190166317A1 (en) Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
US20120236190A1 (en) Solid-state imaging device and camera module
KR20110084367A (ko) 촬상 장치
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN109981940B (zh) 固体摄像装置、用于驱动固体摄像装置的方法和电子设备
US20100128149A1 (en) Color filter array, image sensor including the color filter array and system including the image sensor
US20180295336A1 (en) IMAGING SYSTEM FOR SENSING 3D image
CN110225319B (zh) 一种图像传感器、图像处理方法及存储介质
US9219894B2 (en) Color imaging element and imaging device
US9185375B2 (en) Color imaging element and imaging device
US9143747B2 (en) Color imaging element and imaging device
CN110445998B (zh) 一种彩色偏振式cis及图像处理方法、存储介质
CN110312088B (zh) 一种像素单元电路及图像处理方法、存储介质
CN110336964B (zh) 一种cmos图像传感器及图像处理方法、存储介质
US8547458B2 (en) Solid-state image pickup device
CN110290334B (zh) 像素单元电路及图像处理方法、存储介质及cmos图像传感器
CN111565305A (zh) 一种图像传感器、信号处理方法及存储介质
CN111223882B (zh) 一种图像传感器及图像处理方法、存储介质
CN110691207A (zh) 一种图像传感器及图像处理方法、存储介质
CN111212212A (zh) 摄像头组件、移动终端及控制方法
CN111835971A (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN110690237B (zh) 一种图像传感器、信号处理方法及存储介质
CN110418088B (zh) 一种像素结构、图像传感器及终端
JP7478201B2 (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant