CN110460781B - 一种图像传感器、图像处理方法及存储介质 - Google Patents

一种图像传感器、图像处理方法及存储介质 Download PDF

Info

Publication number
CN110460781B
CN110460781B CN201910791077.8A CN201910791077A CN110460781B CN 110460781 B CN110460781 B CN 110460781B CN 201910791077 A CN201910791077 A CN 201910791077A CN 110460781 B CN110460781 B CN 110460781B
Authority
CN
China
Prior art keywords
exposure
image
columns
short
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910791077.8A
Other languages
English (en)
Other versions
CN110460781A (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110955166.9A priority Critical patent/CN113709382B/zh
Priority to CN201910791077.8A priority patent/CN110460781B/zh
Publication of CN110460781A publication Critical patent/CN110460781A/zh
Priority to PCT/CN2020/109616 priority patent/WO2021036850A1/zh
Application granted granted Critical
Publication of CN110460781B publication Critical patent/CN110460781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请实施例公开了一种图像传感器，包括：多个像素单元、多个曝光控制模块和图像处理模块；多个像素单元，包括用于吸收RGB单色光的三种不同尺寸的光电二极管PD柱，多个像素单元按照预设方式排布，形成多行PD柱；多个曝光控制模块中，每一个曝光控制模块与多行PD柱中一行PD柱对应连接；多个曝光控制模块，用于控制多行PD柱按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；图像处理模块与多行PD柱连接，用于利用长曝光电信号和短曝光电信号，生成高动态范围图像。

Description

一种图像传感器、图像处理方法及存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像传感器、图像处理方法及存储介质。
背景技术
利用高动态范围(High Dynamic Range，HDR)技术生成的图像，层次丰富，画面真实感强，可以真实还原出逼近真实场景的光影效果。
在现有技术中，可以通过长曝光、中曝光，以及短曝光三种不同曝光时间，利用互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)影像传感器结合图像处理器，合成高动态范围图像。如图1所示，对于三重曝光的方案，针对RGB每一种色光，需要设置相应的四个像素单元组成的像素结构，以分别按照不同的曝光时间进行曝光，其中，L表示长曝光，M表示中曝光，S表示短曝光。此外，还可以采用数字重叠(DigitalOvelap，DOL)HDR方案，以多次获得的图像合成高动态范围图像。
然而，上述方案由于在图像生成过程中，实际上是将全部像素单元划分成了三部分，以分别进行不同方式的曝光生成相应的图像，因此，得到的图像的分辨率较低。而对于DOL HDR方案，将损失图像传感器的帧率。
发明内容
本申请实施例提供一种图像传感器、图像处理方法及存储介质，对每一个像素单元一部分PD柱进行长曝光，一部分PD柱进行短曝光，从而获得长曝光图像和短曝光图像，并根据长曝光图像和短曝光图像生成的高动态范围图像，不仅分辨率较高，而且避免损失帧率。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种图像传感器，所述图像传感器包括：多个像素单元、多个曝光控制模块和图像处理模块；
所述多个像素单元，包括用于吸收RGB单色光的三种不同尺寸的光电二极管PD柱，所述多个像素单元中每个像素单元包括至少两行PD柱，所述多个像素单元按照预设方式排布，形成多行PD柱；
所述多个曝光控制模块中，每一个曝光控制模块与所述多行PD柱中一行PD柱对应连接；
所述多个曝光控制模块，用于控制所述多行PD柱按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；
所述图像处理模块与所述多行PD柱连接，用于利用所述长曝光电信号和所述短曝光电信号，生成高动态范围图像。
在上述图像传感器中，所述三种不同尺寸的PD柱包括用于吸收所述RGB单色光中红光的第一尺寸PD柱、蓝光的第二尺寸PD柱和绿光的第三尺寸PD柱；
所述多个像素单元中包括第一类型像素单元和第二类型像素单元；
所述第一类型像素单元中，每行PD柱包括一个所述第一尺寸PD柱和一个所述第二尺寸PD柱；
所述第二类型像素单元中，每行PD柱包括两个所述第三尺寸PD柱。
在上述图像传感器中，所述第一类型像素单元的吸收侧设置有第一滤色片，用于通过所述红光和所述蓝光；
所述第二类型像素单元的吸收侧设置有第二滤色片，用于通过所述绿光。
在上述图像传感器中，所述多行PD柱中包括第一PD柱，所述第一PD柱为所述多行PD柱中任意一个PD柱，所述图像传感器还包括与所述第一PD柱对应的第一读出电路；
所述第一PD柱通过所述第一读出电路与第一曝光控制模块连接；
所述第一曝光控制模块为所述多个曝光控制模块中，用于控制所述第一PD柱，以及所述多行PD柱中与所述第一PD柱同一行的PD柱进行长曝光或短曝光的模块。
在上述图像传感器中，所述第一读出电路包括与所述第一PD柱连接的转移晶体管、与所述转移晶体管连接的读出区、与所述读出区连接的放大管，以及与所述读出区和所述放大管连接的复位晶体管；
所述第一曝光控制模块与所述转移晶体管和所述复位晶体管连接，以控制所述第一PD柱进行长曝光或短曝光，实现所述第一PD柱获得第一电信号；所述第一电信号为所述长曝光电信号或所述短曝光带电信号中的部分电信号。
在上述图像传感器中，所述转移晶体管，用于将所述第一电信号从所述第一PD柱中转移至所述读出区，以从所述读出区读取所述第一电信号；
所述放大管，用于将所述读出区的所述第一电信号放大；
所述读出区，还用于读出所述复位晶体管中的复位电平；
所述放大管，还用于对所述复位电平进行放大。
在上述图像传感器中，所述图像处理模块，用于利用所述长曝光电信号生成长曝光图像，并利用所述短曝光电信号生成短曝光图像；对所述长曝光图像和所述短曝光图像进行对齐融合处理，生成所述高动态范围图像。
本申请实施例提供了一种图像处理方法，应用于如上述图像传感器，所述方法包括：
通过多个曝光控制模块，控制由多个像素单元形成的多行光电二极管PD柱，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；
通过图像处理模块，利用所述长曝光电信号和所述短曝光电信号，生成高动态范围图像。
在上述图像处理方法中，所述通过图像处理模块，利用所述长曝光电信号和所述短曝光电信号，生成高动态范围图像，包括：
通过所述图像处理模块，利用所述长曝光电信号生成长曝光图像，并利用所述短曝光电信号生成短曝光图像；
通过所述图像处理模块，对所述长曝光图像和所述短曝光图像进行对齐融合处理，生成所述高动态范围图像。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，应用于图像传感器，该计算机程序被处理器执行时实现上述图像处理方法。
本申请实施例提供了一种图像传感器，包括：多个像素单元、多个曝光控制模块和图像处理模块；多个像素单元，包括用于吸收RGB单色光的三种不同尺寸的光电二极管PD柱，多个像素单元按照预设方式排布，形成多行PD柱；多个曝光控制模块中，每一个曝光控制模块与多行PD柱中一行PD柱对应连接；多个曝光控制模块，用于控制多行PD柱按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；图像处理模块与多行PD柱连接，用于利用长曝光电信号和短曝光电信号，生成高动态范围图像。本申请实施例提出的图像传感器，对每一个像素单元一部分PD柱进行长曝光，一部分PD柱进行短曝光，从而获得长曝光图像和短曝光图像，并根据长曝光图像和短曝光图像生成的高动态范围图像，不仅分辨率较高，而且避免损失帧率。
附图说明
图1为现有技术提出的像素单元三重曝光示意图；
图2为本申请实施例提供的一种图像传感器的结构示意图；
图3为本申请实施例提供的一种像素单元排布示意图；
图4为本申请实施例提供的第一读出电路的结构示意图；
图5为本申请实施例提供的一种多行PD柱的金属走线示意图；
图6为本申请实施例提供的一种多行PD柱的曝光示意图；
图7为本申请实施例提供的一种图像处理方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
实施例一
本申请实施例提供了一种图像传感器。图2为本申请实施例提供的一种图像传感器的结构示意图。如图2所示，图像传感器包括：多个像素单元、多个曝光控制模块和图像处理模块；
多个像素单元，包括用于吸收RGB单色光的三种不同尺寸的光电二极管PD柱，多个像素单元中每个像素单元包括至少两行PD柱，多个像素单元按照预设方式排布，形成多行PD柱；
多个曝光控制模块中，每一个曝光控制模块与多行PD柱中一行PD柱对应连接；
多个曝光控制模块，用于控制多行PD柱按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；
图像处理模块与多行PD柱连接，用于利用长曝光电信号和短曝光电信号，生成高动态范围图像。
需要说明的是，在本申请的实施例中，图像传感器具体可以为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器。
需要说明的是，在本申请的实施例中，多个像素单元中包括用于吸收RGB单色光的三种不同尺寸的PD柱，PD柱为百纳米级别的光电二极管，一个像素单元中可以包括多个PD柱，而非传统的一个像素对应一个厚度大概在2um以上的PD结构。PD柱曝光可以吸收相应的光信号，并对光信号进行光电转换，获得电信号。
具体的，在本申请的实施例中，三种不同尺寸的PD柱包括用于吸收RGB单色光中红光的第一尺寸PD柱、蓝光的第二尺寸PD柱和绿光的第三尺寸PD柱；
多个像素单元中包括第一类型像素单元和第二类型像素单元；
第一类型像素单元中，每行PD柱包括一个第一尺寸PD柱和一个第二尺寸PD柱；
第二类型像素单元中，每行PD柱包括两个第三尺寸PD柱。
需要说明的是，在本申请的实施例中，第一尺寸PD柱直径具体为120nm，可以用于吸收红光，第二尺寸PD柱直径具体为60nm，可以用于吸收蓝光，第三尺寸PD柱直径具体为90nm，可以用于吸收绿光。
需要说明的是，在本申请的实施例中，三种尺寸的PD柱分别是基于RGB单色光的共振波长和光信号的折射率确定。
需要说明的是，在本申请的实施例中，三种不同尺寸的PD柱的直径是基于红、绿、蓝单色光的共振波长和对应光信号的折射率确定的，或者通过光学模拟得到的，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
在本申请的实施例中，利用公式(1)确定PD柱的尺寸
PD柱的尺寸＝(共振波长-预设常数)/折射率 (1)
示例性的，吸收蓝光时对应的PD柱的直径为60nm左右；吸收绿光时对应的PD柱的直径为90nm；吸收红光时对应的PD柱的直径为120nm。
可选的，在本申请的实施例中，三种不同尺寸的PD柱的形状至少包括长方形、圆形、平行四边形和菱形，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
需要说明的是，在本申请的实施例中，多个像素单元的具体数量本申请实施例不作限定，此外，多个像素单元实际上包括两种类型的像素单元，即第一类型像素单元和第二类型像素单元，像素单元阵列实际上是利用第一类型像素单元和第二类型像素单元排布出的阵列。
可以理解的是，在本申请的实施例中，第一类型像素单元中，每行包括一个第一尺寸PD柱和一个第二尺寸PD柱，从而可以在以一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光时，既可以获得曝光时间较长的红光电信号和蓝光电信号，还可以获得曝光时间较短的红光电信号和蓝光电信号。第二类型像素单元中，每行包括两个第三尺寸PD柱，从而可以在以一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光时，可以获得曝光时间较长和曝光时间较短的绿光电信号。本申请实施例不作限定。
图3为本申请实施例提供的一种像素单元排布示意图。如图3所示，第一类型像素单元具体包括四个PD柱，其中，两个PD柱为第一尺寸的PD柱，两个PD柱为第二尺寸的PD柱，每行包括一个第一尺寸PD柱和一个第二尺寸PD柱。第二类型像素单元包括四个第三尺寸PD柱，排布成两行。两个第一类型像素单元和两个第二类型像素单元按照交叉方式进行排布，形成4行PD柱，每行4个PD柱。此外，图3仅为一种示例性的多个像素单元的排布方式，还可以按照实际需求确定像素单元的排布，具体的多个像素单元的预设排布方式本申请实施例不作限定。
需要说明的是，在本申请的实施例中，第一类型像素单元的吸收侧设置有第一滤色片，用于通过红光和蓝光；第二类型像素单元的吸收侧设置有第二滤色片，用于通过绿光。
具体的，在本申请的实施例中，多行PD柱中包括第一PD柱，第一PD柱为多行PD柱中任意一个PD柱，图像传感器还包括与第一PD柱对应的第一读出电路；
第一PD柱通过第一读出电路与第一曝光控制模块连接；
第一曝光控制模块为多个曝光控制模块中，用于控制第一PD柱，以及多行PD柱中与第一PD柱同一行的PD柱进行长曝光或短曝光的模块。
需要说明的是，在本申请的实施例中，第一曝光控制模块，可以控制第一PD柱，以及多行PD柱中与第一PD柱同一行的PD柱，均进行长曝光或短曝光。其中，多行PD柱中，当第一PD柱所在行的相邻行PD柱进行长曝光时，第一曝光控制模块实际上就控制第一PD柱所在一行的PD柱进行短曝光，当第一PD柱所在行的相邻行PD柱进行短曝光时，第一曝光控制模块实际上就控制第一PD柱所在一行的PD柱进行长曝光。
需要说明的是，在本申请的实施例中，每一个PD柱均对应有一个读出电路，以进行电信号的读出，以及连接对应一行的曝光控制模块。
图4为本申请实施例提供的第一读出电路的结构示意图。如图4所示，第一读出电路包括与第一PD柱连接的转移晶体管、与转移晶体管连接的读出区、与读出区连接的放大管，以及与读出区和放大管连接的复位晶体管。
需要说明的是，在本申请的实施例中，第一曝光控制模块与转移晶体管和复位晶体管连接，以控制第一PD柱进行长曝光或短曝光，实现第一PD柱获得第一电信号；第一电信号为长曝光电信号或短曝光电信号中的部分电信号。
可以理解的是，在本申请的实施例中，如果第一曝光控制模块在控制第一PD柱进行长曝光，第一PD柱获得的第一电信号就是长曝光电信号中的部分电信号，当然，如果第一曝光控制模块在控制第一PD柱进行短曝光，第一PD柱获得的第一电信号就是短曝光电信号中的部分电信号。
需要说明的是，在本申请的实施例中，第一PD柱在进行曝光后需要通过对应的第一读出电路进行电信号的读取。
具体的，在本申请的实施例中，转移晶体管，用于将第一电信号从第一PD柱中转移至读出区，以从读出区读取第一电信号；
放大管，用于将读出区的第一电信号放大；
读出区，还用于读出复位晶体管中的复位电平；
放大管，还用于对复位电平进行放大。
需要说明的是，本申请的实施例中，转移晶体管的源极与目标像素单元的n区连接，转移晶体管的漏极与读出区连接，第一PD柱将第一电信号聚焦到转移晶体管的n+区，并经过转移晶体管转移到读出区。
需要说明的是，在本申请的实施例中，光线在耗尽区发生光电转换，将吸收到的光信号转换成第一电信号，之后转移晶体管将第一电信号聚集到转移晶体管的n+区沟道中；并将n+区沟道中的目标电信号转移到读出区。
需要说明的是，在本申请的实施例中，复位晶体管的源极和电源连接；复位晶体管的漏极和读出区连接，其中，复位晶体管中存储有复位电平，通过读出区读出复位电平。
在本申请的实施例中，分别从复位晶体管读出复位电平、从转移晶体管读出第一电信号，之后，对复位电平和第一电信号进行放大之后，对放大的第一电信号和放大的复位电平进行相关双采样，从而降低读出第一电信号的噪声。
图5为本申请实施例提供的一种多行PD柱的金属走线示意图。如图5所示，将针对每一行PD柱，通过金属走线，将其中每一个PD柱对应的读出电路中的晶体转移管连在一起，晶体复位管连在一起，从而进一步将晶体复位管和晶体转移管与控制该行PD柱曝光时长的曝光控制模块连接，也就是实现了一行PD柱连接一个曝光控制模块。此外，对于每一列PD柱，实际上可以通过金属走线将每一个PD柱对应的读出电路的选通管连接在一起，以控制每一个PD柱电信号的读出顺序。
图6为本申请实施例提供的一种多行PD柱的曝光示意图。如图6所示，为图3所示的像素单元排布形成的多行PD柱对应的曝光方式，其中，第一行PD柱长曝光，第二行PD柱短曝光，第三行PD柱长曝光，第四行PD柱短曝光。
具体的，在本申请的实施例中，图像处理模块，用于利用长曝光电信号生成长曝光图像，并利用短曝光电信号生成短曝光图像；对长曝光图像和短曝光图像进行对齐融合处理，生成高动态范围图像。
需要说明的是，在本申请的实施例中，图像处理模块，实际上与多行PD柱中每一个PD柱对应的读出电路的输出端连接，从而得到长曝光电信号和短曝光电信号。
可以理解的是，在本申请的实施例中，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，实际上就获得了RGB单色光中每一种色光两种类型的曝光电信号，即长曝光和短曝光处理下的电信号。因此，多行PD柱长曝光处理下的电信号即组成长曝光电信号，相应的，多行PD柱短曝光处理下的电信号即组成短曝光电信号，长曝光电信号和短曝光电信号中均包括对RGB单色光中每一种色光吸收并光电转换后的电信号，区别仅在于电信号产生的曝光时长不同。
示例性的，在本申请的实施例中，如图6所示，图像处理模块可以利用第一行和第三行PD柱获得的长曝光电信号，生成长曝光图像，利用第二行和第四行PD柱获得的短曝光电信号，生成短曝光电信号。
可以理解的是，在本申请的实施例中，由于利用长曝光电信号生成的长曝光图像中，某些区域会出现过曝现象，因此，图像处理模块对长曝光图像和短曝光图像进行对齐融合处理，即将短曝光图像的亮度，与长曝光图像中未出现过曝现象的区域进行亮度对齐，用短曝光图像中的部分区域替换长曝光图像中出现曝光现象的区域，从而生成高动态范围图像。
本申请实施例提供了一种图像传感器，包括：多个像素单元、多个曝光控制模块和图像处理模块；多个像素单元，包括用于吸收RGB单色光的三种不同尺寸的光电二极管PD柱，多个像素单元按照预设方式排布，形成多行PD柱；多个曝光控制模块中，每一个曝光控制模块与多行PD柱中一行PD柱对应连接；多个曝光控制模块，用于控制多行PD柱按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；图像处理模块与多行PD柱连接，用于利用长曝光电信号和短曝光电信号，生成高动态范围图像。本申请实施例提出的图像传感器，对每一个像素单元一部分PD柱进行长曝光，一部分PD柱进行短曝光，从而获得长曝光图像和短曝光图像，并根据长曝光图像和短曝光图像生成的高动态范围图像，不仅分辨率较高，而且避免损失帧率。
实施例二
本申请实施例提供了一种图像处理方法，应用于如实施例一所述的图像传感器。图7为本申请实施例提供的一种图像处理方法的流程示意图。如图7所示，主要包括以下步骤：
S701、通过多个曝光控制模块，控制由多个像素单元形成的多行光电二极管PD柱，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号。
在本申请的实施例中，图像传感器包括多个像素单元、多个曝光控制模块和图像处理模块，可以通过多个曝光控制模块，控制多行PD柱，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号。
需要说明的是，在本申请的实施例中，图像传感器中，多个曝光控制模块中，每一个曝光控制模块与多行PD柱中一行PD柱对应连接，即一个曝光控制模块可以控制多行PD柱中一行PD柱的曝光时长，从而通过多个曝光控制模块，控制多行PD柱，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号。
需要说明的是，在本申请的实施例中，多个像素单元中每个像素单元包括至少两行PD柱，因此，在按照行之间交叉曝光的方式进行PD柱曝光，可以实现每个像素单元部分PD柱长曝光，部分PD柱短曝光。
需要说明的是，在本申请的实施例中，多个像素单元中包括第一类型像素单元和第二类型像素单元。第一类型像素单元中，每行包括一个第一尺寸PD柱和一个第二尺寸PD柱，从而可以在以一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光时，既可以获得曝光时间较长的红光电信号和蓝光电信号，还可以获得曝光时间较短的红光电信号和蓝光电信号。第二类型像素单元中，每行包括两个第三尺寸PD柱，从而可以在以一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光时，可以获得曝光时间较长和曝光时间较短的绿光电信号。本申请实施例不作限定。
需要说明的是，在本申请的实施例中，由于多个像素单元中包括第一类型像素单元和第二类型像素单元，而第一类型像素单元和第二类型像素单元包括三种不同尺寸PD柱。因此，多行PD柱实际上有三种不同尺寸PD柱组成，其中，第一尺寸PD柱直径具体为120nm，可以用于吸收红光，第二尺寸PD柱直径具体为60nm，可以用于吸收蓝光，第三尺寸PD柱直径具体为90nm，可以用于吸收绿光。
可以理解的是，在本申请的实施例中，图像传感器通过多个曝光处理模块，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式控制多行PD柱进行曝光，实际上就获得了RGB单色光中每一种色光两种类型的曝光电信号，即长曝光和短曝光处理下的电信号。因此，多行PD柱长曝光处理下的电信号即组成长曝光电信号，相应的，多行PD柱短曝光处理下的电信号即组成短曝光电信号，长曝光电信号和短曝光电信号中均包括对RGB单色光中每一种色光吸收并光电转换后的电信号，区别仅在于电信号产生的曝光时长不同。
S702、通过图像处理模块，利用长曝光电信号和短曝光电信号，生成高动态范围图像。
在本申请的实施例中，图像传感器中，图像处理模块与多行PD柱连接，从而可以利用多行PD柱曝光后获得的曝光电信号和短曝光电信号，生成高动态范围图像。
具体的，在本申请的实施例中，图像传感器通过图像处理模块，利用长曝光电信号和短曝光电信号，生成高动态范围图像，包括：通过图像处理模块，利用长曝光电信号生成长曝光图像，并利用短曝光电信号生成短曝光图像；通过图像处理模块，对长曝光图像和短曝光图像进行对齐融合处理，生成高动态范围图像。
需要说明的是，在本申请的实施例中，图像传感器通过图像处理模块可以利用多行PD柱中进行长曝光处理的至少一行PD柱产生的长曝光电信号，生成长曝光图像，利用多行PD柱中进行短曝光处理的至少一行PD柱产生的短曝光电信号，生成短曝光电信号。
可以理解的是，在本申请的实施例中，由于利用长曝光电信号生成的长曝光图像中，某些区域会出现过曝现象，因此，图像处理模块对长曝光图像和短曝光图像进行对齐融合处理，即将短曝光图像的亮度，与长曝光图像中未出现过曝现象的区域进行亮度对齐，用短曝光图像中的部分区域替换长曝光图像中出现曝光现象的区域，从而生成高动态范围图像。
本申请实施例提供了一种图像处理方法，通过多个曝光控制模块，控制由多个像素单元形成的多行光电二极管PD柱，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；通过图像处理模块，利用长曝光电信号和短曝光电信号，生成高动态范围图像。本申请实施例提出的技术方案，控制每一个像素单元一部分PD柱进行长曝光，一部分PD柱进行短曝光，从而获得长曝光图像和短曝光图像，并根据长曝光图像和短曝光图像生成的高动态范围图像，不仅分辨率较高，而且避免损失帧率。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，应用于图像传感器，该计算机程序被处理器执行时实现上述图像处理方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种图像传感器，其特征在于，所述图像传感器包括：多个像素单元、多个曝光控制模块和图像处理模块；
所述多个像素单元，包括用于吸收RGB单色光中红光的第一尺寸PD柱、蓝光的第二尺寸PD柱和绿光的第三尺寸PD柱；所述多个像素单元中包括第一类型像素单元和第二类型像素单元；所述第一类型像素单元中，每行PD柱包括一个所述第一尺寸PD柱和一个所述第二尺寸PD柱；所述第二类型像素单元中，每行PD柱包括两个所述第三尺寸PD柱；所述多个像素单元按照预设方式排布，形成多行PD柱；
其中，所述第一类型像素单元的吸收侧设置有第一滤色片，用于通过所述红光和所述蓝光；所述第二类型像素单元的吸收侧设置有第二滤色片，用于通过所述绿光；
所述多个曝光控制模块中，每一个曝光控制模块与所述多行PD柱中一行PD柱对应连接；
所述多个曝光控制模块，用于控制所述多行PD柱按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；
所述图像处理模块与所述多行PD柱连接，用于利用所述长曝光电信号和所述短曝光电信号，生成高动态范围图像。
2.根据权利要求1所述的图像传感器，其特征在于，所述多行PD柱中包括第一PD柱，所述第一PD柱为所述多行PD柱中任意一个PD柱，所述图像传感器还包括与所述第一PD柱对应的第一读出电路；
所述第一PD柱通过所述第一读出电路与第一曝光控制模块连接；
所述第一曝光控制模块为所述多个曝光控制模块中，用于控制所述第一PD柱，以及所述多行PD柱中与所述第一PD柱同一行的PD柱进行长曝光或短曝光的模块。
3.根据权利要求2所述的图像传感器，其特征在于，
所述第一读出电路包括与所述第一PD柱连接的转移晶体管、与所述转移晶体管连接的读出区、与所述读出区连接的放大管，以及与所述读出区和所述放大管连接的复位晶体管；
所述第一曝光控制模块与所述转移晶体管和所述复位晶体管连接，以控制所述第一PD柱进行长曝光或短曝光，实现所述第一PD柱获得第一电信号；所述第一电信号为所述长曝光电信号或所述短曝光带电信号中的部分电信号。
4.根据权利要求3所述的图像传感器，其特征在于，
所述转移晶体管，用于将所述第一电信号从所述第一PD柱中转移至所述读出区，以从所述读出区读取所述第一电信号；
所述放大管，用于将所述读出区的所述第一电信号放大；
所述读出区，还用于读出所述复位晶体管中的复位电平；
所述放大管，还用于对所述复位电平进行放大。
5.根据权利要求1所述的图像传感器，其特征在于，
所述图像处理模块，用于利用所述长曝光电信号生成长曝光图像，并利用所述短曝光电信号生成短曝光图像；对所述长曝光图像和所述短曝光图像进行对齐融合处理，生成所述高动态范围图像。
6.一种图像处理方法，应用于如权利要求1-5任一项所述的图像传感器，其特征在于，所述方法包括：
通过多个曝光控制模块，控制由所述多个像素单元形成的多行光电二极管PD柱，按照一行PD柱长曝光，一行PD柱短曝光的交叉曝光方式进行曝光，获得长曝光电信号和短曝光电信号；
通过图像处理模块，利用所述长曝光电信号和所述短曝光电信号，生成高动态范围图像。
7.根据权利要求6所述的方法，其特征在于，所述通过图像处理模块，利用所述长曝光电信号和所述短曝光电信号，生成高动态范围图像，包括：
通过所述图像处理模块，利用所述长曝光电信号生成长曝光图像，并利用所述短曝光电信号生成短曝光图像；
通过所述图像处理模块，对所述长曝光图像和所述短曝光图像进行对齐融合处理，生成所述高动态范围图像。
8.一种计算机可读存储介质，其上存储有计算机程序，应用于图像传感器，其特征在于，该计算机程序被处理器执行时实现如权利要求6-7任一项所述的方法。
CN201910791077.8A 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质 Active CN110460781B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110955166.9A CN113709382B (zh) 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质
CN201910791077.8A CN110460781B (zh) 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质
PCT/CN2020/109616 WO2021036850A1 (zh) 2019-08-26 2020-08-17 一种图像传感器、图像处理方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910791077.8A CN110460781B (zh) 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110955166.9A Division CN113709382B (zh) 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质

Publications (2)

Publication Number Publication Date
CN110460781A CN110460781A (zh) 2019-11-15
CN110460781B true CN110460781B (zh) 2021-10-12

Family

ID=68489087

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910791077.8A Active CN110460781B (zh) 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质
CN202110955166.9A Active CN113709382B (zh) 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110955166.9A Active CN113709382B (zh) 2019-08-26 2019-08-26 一种图像传感器、图像处理方法及存储介质

Country Status (2)

Country Link
CN (2) CN110460781B (zh)
WO (1) WO2021036850A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110460781B (zh) * 2019-08-26 2021-10-12 Oppo广东移动通信有限公司 一种图像传感器、图像处理方法及存储介质
CN112135017A (zh) * 2020-09-01 2020-12-25 Oppo（重庆）智能科技有限公司 图像传感器、图像处理方法及装置、成像模组、存储介质
CN112243095B (zh) * 2020-09-29 2023-07-25 格科微电子（上海）有限公司 像素合成模式下的pd像素的读取方法及装置、存储介质、图像采集设备
CN113676635B (zh) * 2021-08-16 2023-05-05 Oppo广东移动通信有限公司 高动态范围图像的生成方法、装置、电子设备和存储介质
CN117336623B (zh) * 2023-11-24 2024-02-20 上海芯歌智能科技有限公司 机器视觉测量系统与传感器芯片模拟参数调整方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963923A1 (en) * 2014-07-03 2016-01-06 Samsung Electronics Co., Ltd Image sensor including color separation element and image pickup apparatus including the image sensor
CN105990378A (zh) * 2014-10-06 2016-10-05 采钰科技股份有限公司 影像感测器及其形成方法
CN106454148A (zh) * 2016-11-15 2017-02-22 天津大学 分块独立曝光cmos图像传感器像素结构及其控制方法
CN107786814A (zh) * 2016-08-24 2018-03-09 杭州海康威视数字技术股份有限公司 一种基于宽动态的图像处理方法、装置及曝光电路
CN108347551A (zh) * 2017-01-25 2018-07-31 芯视达系统公司 高动态范围的图像传感器件
CN110087005A (zh) * 2019-04-23 2019-08-02 Oppo广东移动通信有限公司 一种彩色偏振式cis及图像处理方法、存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202713478U (zh) * 2012-03-26 2013-01-30 徐辰 成像装置
US10520769B2 (en) * 2014-10-31 2019-12-31 eLux, Inc. Emissive display with printed light modification structures
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
KR102356706B1 (ko) * 2015-07-07 2022-01-27 삼성전자주식회사 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US10110840B2 (en) * 2016-10-25 2018-10-23 Semiconductor Components Industries, Llc Image sensor pixels with overflow capabilities
US10306191B2 (en) * 2016-11-29 2019-05-28 Cista System Corp. System and method for high dynamic range image sensing
US10187600B2 (en) * 2017-06-15 2019-01-22 SmartSens Technology (U.S.), Inc. Four shared pixel with phase detection and full array readout modes
CN109345464B (zh) * 2018-07-30 2024-10-18 深圳市艾为智能有限公司 一种在Bayer数据域实现HDR的图像处理的方法和系统
CN110061019B (zh) * 2019-04-23 2021-03-16 Oppo广东移动通信有限公司 互补金属氧化物图像传感器、图像处理方法及存储介质
CN110460781B (zh) * 2019-08-26 2021-10-12 Oppo广东移动通信有限公司 一种图像传感器、图像处理方法及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963923A1 (en) * 2014-07-03 2016-01-06 Samsung Electronics Co., Ltd Image sensor including color separation element and image pickup apparatus including the image sensor
CN105990378A (zh) * 2014-10-06 2016-10-05 采钰科技股份有限公司 影像感测器及其形成方法
CN107786814A (zh) * 2016-08-24 2018-03-09 杭州海康威视数字技术股份有限公司 一种基于宽动态的图像处理方法、装置及曝光电路
CN106454148A (zh) * 2016-11-15 2017-02-22 天津大学 分块独立曝光cmos图像传感器像素结构及其控制方法
CN108347551A (zh) * 2017-01-25 2018-07-31 芯视达系统公司 高动态范围的图像传感器件
CN110087005A (zh) * 2019-04-23 2019-08-02 Oppo广东移动通信有限公司 一种彩色偏振式cis及图像处理方法、存储介质

Also Published As

Publication number Publication date
CN113709382B (zh) 2024-05-31
CN110460781A (zh) 2019-11-15
CN113709382A (zh) 2021-11-26
WO2021036850A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
CN110460781B (zh) 一种图像传感器、图像处理方法及存储介质
US9967472B2 (en) Image sensor combining high dynamic range techniques
CN108174128B (zh) 成像装置和电子设备
JP5959829B2 (ja) 固体撮像装置
JP5585208B2 (ja) 固体撮像装置及び電子機器
CN110225319B (zh) 一种图像传感器、图像处理方法及存储介质
JP5130946B2 (ja) 固体撮像装置、カメラ及び電子機器
TWI618231B (zh) 紅外偵測器陣列之緩衝式直接注射像素
US20130033631A1 (en) Solid-state imaging device and imaging device
JP2017220896A (ja) 撮像装置、撮像装置の制御方法、及び撮像システム
KR20060090349A (ko) 핑거드 타입 소스 폴로워 트랜지스터를 이용한 상보성금속 산화막 반도체 액티브 픽셀 센서
CN108155199A (zh) 摄像器件及其驱动方法和摄像装置
JP2008099073A (ja) 固体撮像装置および撮像装置
US7679115B2 (en) Image sensor and controlling method thereof
CN110312088B (zh) 一种像素单元电路及图像处理方法、存储介质
US9426391B2 (en) Solid-state imaging apparatus, method of controlling the same, and imaging system
CN110099227B (zh) 一种像素单元电路及图像处理方法、存储介质
CN116156298A (zh) 基于感存算一体化的内窥镜高清视频处理系统及方法
Sun et al. A novel readout integrated circuit with a dual-mode design for single-and dual-band infrared focal plane array
CN110290334B (zh) 像素单元电路及图像处理方法、存储介质及cmos图像传感器
CN110233980B (zh) 一种有源像素图像传感器及图像处理方法、存储介质
CN111405209B (zh) 一种像素单元、信号处理方法及存储介质
CN115866426A (zh) 基于横向溢流集成电容的多模式复用像素结构
Meynants Global shutter imagers for industrial applications
JP5789109B2 (ja) 固体撮像素子および撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant