CN111201781B - 摄像器件和诊断方法 - Google Patents

摄像器件和诊断方法 Download PDF

Info

Publication number
CN111201781B
CN111201781B CN201880065718.5A CN201880065718A CN111201781B CN 111201781 B CN111201781 B CN 111201781B CN 201880065718 A CN201880065718 A CN 201880065718A CN 111201781 B CN111201781 B CN 111201781B
Authority
CN
China
Prior art keywords
pixel
image pickup
section
pixels
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880065718.5A
Other languages
English (en)
Other versions
CN111201781A (zh
Inventor
河津直树
佐佐木庆太
冈巧
穆罕默德·穆尼鲁尔·哈克
本桥裕一
铃木敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN111201781A publication Critical patent/CN111201781A/zh
Application granted granted Critical
Publication of CN111201781B publication Critical patent/CN111201781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

根据本公开的摄像器件包括:多个像素,其均包括第一受光元件和第二受光元件,所述多个像素包括第一像素;生成部,其能够基于所述多个像素中每个像素的所述第一受光元件的光接收结果生成第一检测值,并且能够基于所述多个像素中每个像素的所述第二受光元件的光接收结果生成第二检测值;以及诊断部,其能够基于检测比率执行诊断处理,所述检测比率是所述第一像素中的所述第一检测值与所述第二检测值的比率。

Description

摄像器件和诊断方法
技术领域
本公开涉及拍摄图像的摄像器件以及该摄像器件的诊断方法。
背景技术
通常,在摄像器件中,各自具有光电二极管的像素以矩阵形式布置,并且各像素生成与光接收量相对应的电信号。例如,在像素中,可能发生缺陷。例如,专利文献1公开了一种图像数据处理器件,其使得存储部存储图像传感器上的特定像素的地址,并校正该特定像素的像素数据,从而执行缺陷校正。
引用列表
专利文献
专利文献1:日本未审查专利申请公开第2003-259220号
发明内容
技术问题
期望摄像器件增强所拍摄的图像的可靠性,并且期望进一步改善可靠性。
期望提供能够增强所拍摄的图像的可靠性的摄像器件和诊断方法。
技术问题的解决方案
根据本公开的实施例的第一摄像器件包括多个像素、生成部和诊断部。多个像素均包括第一受光元件和第二受光元件,并且包括第一像素。生成部能够基于多个像素中每个像素的第一受光元件的光接收结果生成第一检测值,并且能够基于多个像素中每个像素的第二受光元件的光接收结果生成第二检测值。诊断部能够基于作为第一像素中的第一检测值与第二检测值的比率的检测比率执行诊断处理。
根据本公开的实施例的第二摄像器件包括多个像素、生成部和诊断部。多个像素均包括受光元件,并且被分为第一像素组和第二像素组。生成部能够基于属于第一像素组的多个像素中每个像素的受光元件的光接收结果生成第一检测值,并且能够基于属于第二像素组的多个像素中每个像素的受光元件的光接收结果生成第二检测值。属于第一像素组的多个像素和属于第二像素组的多个像素分别彼此关联以形成多个像素对。多个像素对包括第一像素对。诊断部能够基于作为第一像素对中的第一检测值与第二检测值的比率的检测比率来执行诊断处理。
根据本公开的实施例的第一诊断方法包括:基于各自包括第一受光元件和第二受光元件的多个像素中每个像素的第一受光元件的光接收结果生成第一检测值;基于多个像素中每个像素的第二受光元件的光接收结果生成第二检测值;以及基于作为多个像素中的第一像素中的第一检测值与第二检测值的比率的检测比率进行诊断处理。
根据本公开的实施例的第二诊断方法包括:基于属于多个像素的第一像素组的多个像素中每个像素的受光元件的光接收结果生成第一检测值,所述多个像素各自包括受光元件且被分为第一像素组和第二像素组;基于属于第二像素组的多个像素中每个像素的受光元件的光接收结果生成第二检测值;根据检测比率执行诊断处理,检测比率为多个像素对的第一像素对中所述第一检测值和所述第二检测值的比率,所述多个像素对由分别彼此关联的属于所述第一像素组的多个像素和属于所述第二像素组的多个像素形成。
在根据本公开的各实施例的第一摄像器件和第一诊断方法中,第一检测值基于多个像素中每个像素的第一受光元件的光接收结果生成,第二检测值基于多个像素中每个像素的第二受光元件的光接收结果生成。此外,基于作为第一像素中的第一检测值与第二检测值的比率的检测比率来执行诊断处理。
在根据本公开的各实施例的第二摄像器件和第二诊断方法中,第一检测值基于属于第一像素组的多个像素中每个像素的受光元件的光接收结果生成,并且第二检测值基于属于第二像素组的多个像素中每个像素的受光元件的光接收结果生成。属于第一像素组的多个像素和属于第二像素组的多个像素分别彼此关联以形成多个像素对。此外,基于作为第一像素对中的第一检测值与第二检测值的比率的检测比率来执行诊断处理。
本发明的有益效果
根据本公开的各实施例中的第一摄像器件和第一诊断方法,基于作为第一像素中的第一检测值和第二检测值的比率的检测比率来执行诊断处理,从而使得能够增强拍摄图像的可靠性。
根据本公开的各实施例中的第二摄像器件和第二诊断方法,基于作为第一像素对中的第一检测值与第二检测值的比率的检测比率来执行诊断处理,从而使得能够增强拍摄图像的可靠性。
要注意的是,本文描述的效果并不是限制性的,可以是本公开中描述的任何效果。
附图说明
图1是示出根据本公开的实施例的摄像器件的配置示例的框图。
图2是示出图1所示的像素阵列的配置示例的电路图。
图3是示出图1所示的像素阵列的配置示例的说明图。
图4是示出图1所示的读出部的配置示例的电路图。
图5A是示出光晕的示例的说明图。
图5B是示出光晕的示例的另一说明图。
图5C是示出光晕的示例的又一说明图。
图6是示出图1所示的光晕检测器的配置示例的框图。
图7是示出其中安装了图1所示的摄像器件的示例的说明图。
图8是示出图1所示的摄像器件的操作示例的时序图。
图9是示出图1所示的摄像器件的操作示例的时序波形图。
图10A是示出图1所示的摄像器件的操作示例的另一时序波形图。
图10B是示出图1所示的摄像器件的操作示例的又一时序波形图。
图11A是示出图1所示的摄像器件的操作状态的说明图。
图11B是示出图1所示的摄像器件的另一操作状态的说明图。
图11C是示出图1所示的摄像器件的又一操作状态的说明图。
图12是示出图1所示的摄像器件中的图像合成的示例的说明图。
图13是示出图1所示的摄像器件中的光晕检测的示例的说明图。
图14是示出参考模式的示例的说明图。
图15是示出图6所示的光晕检测器的操作示例的时序图。
图16是示出根据变形例的摄像系统的配置示例的配置图。
图17是示出根据另一变形例的摄像器件的配置示例的框图。
图18是示出图17中所示的像素阵列的配置示例的电路图。
图19是示出图17所示的像素阵列的配置示例的说明图。
图20是示出图17所示的摄像器件的操作示例的时序波形图。
图21是示出图17所示的摄像器件的操作示例的另一时序波形图。
图22是根据另一变形例的摄像器件的配置示例的框图。
图23是根据另一变形例的摄像器件的配置示例的框图。
图24是根据另一变形例的摄像器件的配置示例的框图。
图25是示出其中安装有根据另一变形例的摄像器件的示例的说明图。
图26是示出其中安装有根据另一变形例的摄像器件的示例的说明图。
图27是示出摄像器件的使用示例的说明图。
图28是描述车辆控制系统的示意性配置的示例的框图。
图29是辅助说明车外信息检测部和摄像部的安装位置的示例的图。
具体实施方式
在下文中,参考附图详细描述本公开的一些实施例。要注意的是,以下面的顺序进行描述。
1.实施例
2.摄像器件的使用示例
3.应用于移动体的示例
<1.实施例>
配置示例
图1示出了根据实施例的摄像器件(摄像器件1)的配置示例。摄像器件1包括像素阵列9、扫描部10、读出部20、摄像控制部30和信号处理部40。
在像素阵列9中,多个像素P以矩阵形式布置。多个像素P包括多个摄像像素P1和多个遮光像素P2。摄像像素P1包括光电二极管,并且生成与光接收量相对应的像素电压VP。遮光像素P2是被遮光的像素,如后所述,用于检测光电二极管的暗电流。像素阵列9设置有普通像素区域R1和遮光像素区域R2。多个摄像像素P1设置在普通像素区域R1中,并且多个遮光像素P2设置在遮光像素区域R2中。在该示例中,遮光像素区域R2在垂直方向(图1中的纵向方向)上设置在普通像素区域R1上方。
下面将详细描述摄像像素P1和遮光像素P2。
图2示出了普通像素区域R1中的摄像像素P1的配置示例。像素阵列9在普通像素区域R1中包括多条控制线TGLL、多条控制线FDGL、多条控制线RSTL、多条控制线FCGL、多条控制线TGSL、多条控制线SELL和多条信号线SGL。控制线TGLL沿水平方向(图1中的横向方向)延伸,并且信号STGL通过扫描部10施加到控制线TGLL。控制线FDGL沿水平方向延伸,并且信号SFDG通过扫描部10施加到控制线FDGL。控制线RSTL沿水平方向延伸,并且信号SRST通过扫描部10施加到控制线RSTL。控制线FCGL沿水平方向延伸,并且信号SFCG通过扫描部10施加到控制线FCGL。控制线TGSL沿水平方向延伸,并且信号STGS通过扫描部10施加到控制线TGSL。控制线SELL沿水平方向延伸,并且信号SSEL通过扫描部10施加到控制线SELL。信号线SGL沿垂直方向(图1中的纵向方向)延伸,并耦合到读出部20。多条信号线SGL分别被设置为贯穿普通像素区域R1和遮光像素区域R2。
摄像像素P1包括光电二极管PD1、晶体管TGL、光电二极管PD2、晶体管TGS、电容器元件FC、晶体管FCG、晶体管RST、晶体管FDG、浮动扩散部FD以及晶体管AMP和晶体管SEL。在该示例中,晶体管TGL、晶体管TGS、晶体管FCG、晶体管RST、晶体管FDG、晶体管AMP和晶体管SEL均是N型MOS晶体管。
光电二极管PD1是光电转换元件,其生成与光接收量相对应量的电荷并将其存储在内部。光电二极管PD1的可以接收光的受光区域比光电二极管PD2的可以接收光的受光区域宽。光电二极管PD1的阳极接地,并且其阴极耦合至晶体管TGL的源极。
晶体管TGL的栅极耦合至控制线TGLL,其源极耦合至光电二极管PD1的阴极,并且其漏极耦合至浮动扩散部FD。
光电二极管PD2是光电转换元件,其生成与光接收量相对应量的电荷并将其存储在内部。光电二极管PD2的可以接收光的受光区域比光电二极管PD1的可以接收光的受光区域窄。光电二极管PD2的阳极接地,并且其阴极耦合到晶体管TGS的源极。
晶体管TGS的栅极耦合到控制线TGSL,其源极耦合到光电二极管PD2的阴极,其漏极耦合到电容器元件FC的一端并耦合到晶体管FCG的源极。
电容器元件FC的一端耦合到晶体管TGS的漏极并且耦合到晶体管FCG的源极,并且电源电压VDD被提供到电容器元件FC的另一端。
晶体管FCG的栅极耦合到控制线FCGL,其源极耦合到电容器元件FC的一端并耦合到晶体管TGS的漏极,其漏极耦合到晶体管RST的源极并耦合到FDG的漏极。
晶体管RST的栅极耦合至控制线RSTL,电源电压VDD被提供至其漏极,并且其源极耦合至晶体管FCG和晶体管FDG的相应漏极。
晶体管FDG的栅极耦合到控制线FDGL,其漏极耦合到晶体管RST的源极并耦合到晶体管FCG的漏极,并且其源极耦合到浮动扩散部FD。
浮动扩散部FD存储从光电二极管PD1和光电二极管PD2提供的电荷,并且例如由形成在半导体基板的表面上的扩散层构成。在图2中,浮动扩散部FD由电容器元件的符号表示。
晶体管AMP的栅极耦合至浮动扩散部FD,电源电压VDD被提供至其漏极,并且其源极耦合至晶体管SEL的漏极。
晶体管SEL的栅极耦合至控制线SELL,其漏极耦合至晶体管AMP的源极,并且其源极耦合至信号线SGL。
这种配置基于施加到控制线SELL的信号SSEL使摄像像素P1中的晶体管SEL进入导通状态,从而使摄像像素P1电耦合到信号线SGL。这使得晶体管AMP耦合到读出部20的电流源23(稍后描述),并且因此用作源极跟随器。此外,摄像像素P1将与浮动扩散部FD中的电压相对应的像素电压VP作为信号SIG输出至信号线SGL。具体而言,如后所述,摄像像素P1在所谓的水平时段H内的八个时段(转换时段T1至T8)期间依次输出八个像素电压VP(VP1至VP8)。
图3示出了普通像素区域R1中的光电二极管PD1和光电二极管PD2的布置的示例。在图3中,“R”表示红色滤色器,“G”表示绿色滤色器,“B”表示蓝色滤色器。在该示例中,光电二极管PD1具有八边形形状,并且光电二极管PD2具有四边形形状。如该图所示,光电二极管PD1的可以接收光的受光区域比光电二极管PD2的可以接收光的受光区域宽。在每个摄像像素P1中,光电二极管PD2形成在光电二极管PD1的右上方。在每个摄像像素P1中,相同颜色的滤色器形成在相应的两个光电二极管PD1和光电二极管PD2上。
接下来说明在遮光像素区域R2中的遮光像素P2。类似于普通像素区域R1(图2),像素阵列9在遮光像素区域R2中包括多条控制线TGLL、多条控制线FDGL、多条控制线RSTL、多条控制线FCGL、多条控制线TGSL、多条控制线SELL和多条信号线SGL。
类似于摄像像素P1(图2),遮光像素P2包括光电二极管PD1、晶体管TGL、光电二极管PD2、晶体管TGS、电容器元件FC、晶体管FCG、晶体管RST、晶体管FDG、浮动扩散部FD以及晶体管AMP和晶体管SEL。与摄像像素P1不同,遮光像素P2被遮光,以防止光进入光电二极管PD1和光电二极管PD2。
类似于摄像像素P1,该配置基于施加到控制线SELL的信号SSEL使得遮光像素P2中的晶体管SEL进入导通状态,从而使遮光像素P2电耦合到信号线SGL。此外,遮光像素P2将与浮动扩散部FD中的电压相对应的像素电压VP作为信号SIG输出至信号线SGL。遮光像素P2被遮光,因此输出与光电二极管PD1和光电二极管PD2中的每个的暗电流相对应的信号SIG。
扫描部10(图1)基于来自摄像控制部30的指令以像素线L为单位依次驱动像素阵列9中的摄像像素P1和遮光像素P2。扫描部10包括地址解码器11、逻辑部12和驱动器部13。
地址解码器11基于从摄像控制部30提供的地址信号在像素阵列9中选择对应于该地址信号所表示的地址的像素线L。逻辑部12基于来自地址解码器11的指令生成与各像素线L相对应的信号STGL1、信号SFDG1、信号SRST1、信号SFCG1、信号STGS1和信号SSEL1。驱动器部13基于与各像素线L相对应的信号STGL1、SFDG1、SRST1、SFCG1、STGS1和SSEL1,生成与各像素线L相对应的信号STGL、信号SFDG、信号SRST、信号SFCG、信号STGS和信号SSEL。
读出部20基于通过信号线SGL从像素阵列9提供的信号SIG,通过执行AD转换生成图像信号DATA0。
图4示出了读出部20的配置示例。要注意的是,除了读出部20之外,图4还示出了摄像控制部30和信号处理部40。读出部20包括多个AD(模数)转换部ADC(AD转换部ADC[0]、ADC[1]、ADC[2]…)、多个开关部SW(开关部SW[0]、SW[1]、SW[2]…)和总线布线BUS。
AD转换部ADC通过基于从像素阵列9提供的信号SIG执行AD转换来将信号SIG的电压转换为数字代码CODE。多个AD转换部ADC以对应于相应的多条信号线SGL的方式设置。具体地,以与第0信号线SGL[0]对应的方式设置第0AD转换部ADC[0]。以与第1信号线SGL[1]对应的方式设置第1AD转换部ADC[1]。以与第2信号线SGL[2]对应的方式设置第2AD转换部ADC[2]。
AD转换部ADC包括电容器元件21和电容器元件22、电流源23、比较器24、计数器25和锁存器26。参考信号REF被提供给电容器元件21的一端,而其另一端耦合到比较器24的正输入端。参考信号REF由摄像控制部30的参考信号生成器31(稍后描述)生成,并且具有所谓的斜坡波形,如后文所述,其中电压电平在执行AD转换的八个时段(转换时段T1至T8)期间随着时间的流逝逐渐降低。电容器元件22的一端耦合到信号线SGL,并且其另一端耦合到比较器24的负输入端。电流源23将预定电流值的电流从信号线SGL接地。比较器24将正输入端的输入电压和负输入端的输入电压彼此进行比较,并且将比较结果作为信号CMP输出。参考信号REF通过电容器元件21提供给比较器24的正输入端,信号SIG通过电容器元件22提供给比较器24的负输入端。比较器24还具有执行零位调整的功能,其中,在稍后描述的预定时段内,正输入端和负输入端电耦合在一起。计数器25基于从比较器24提供的信号CMP以及基于从摄像控制部30提供的时钟信号CLK和控制信号CC执行计数操作。锁存器26保持由计数器25获得的计数值CNT,作为具有多个位的数字代码CODE。
开关部SW基于从摄像控制部30提供的控制信号SSW,将从AD转换部ADC输出的数字代码CODE提供给总线布线BUS。多个开关部SW以对应于相应的多个AD转换部ADC的方式设置。具体地,以对应于第0AD转换部ADC[0]的方式设置第0开关部SW[0]。以对应于第1AD转换部ADC[1]的方式设置第1开关部SW[1]。以对应于第2AD转换部ADC[2]的方式设置第2开关部SW[2]。
在该示例中,使用与数字代码CODE的位数相同数量的晶体管配置开关部SW。基于从摄像控制部30提供的控制信号SSW(控制信号SSW[0]、SSW[1]、SSW[2]…)的每个位,将这些晶体管分别控制为导通或截止。具体地,例如,当每个晶体管基于控制信号SSW[0]进入导通状态时,第0开关部SW[0]将从第0AD转换部ADC[0]输出的数字代码CODE提供给总线布线BUS。同样地,例如,当每个晶体管基于控制信号SSW[1]进入导通状态时,第1开关部SW[1]将从第1AD转换部ADC[1]输出的数字代码CODE提供给总线布线BUS。其他开关部SW也一样。
总线布线BUS包括多条布线,并传输从AD转换部ADC输出的数字代码CODE。读出部20使用总线布线BUS将从AD转换部ADC提供的多个数字代码CODE依次传输到信号处理部40作为图像信号DATA0(数据传输操作)。
摄像控制部30(图1)将控制信号提供给扫描部10、读出部20和信号处理部40,并控制这些电路的操作,从而控制摄像器件1的操作。
摄像控制部30包括参考信号生成器31。参考信号生成器31生成参考信号REF。参考信号REF具有所谓的斜坡波形,其中,在用于执行AD转换的八个时段(转换时段T1至T8)期间,电压电平随着时间的流逝而逐渐降低。此外,参考信号生成器31将生成的参考信号REF提供给读出部20的AD转换部ADC。
这种配置例如允许摄像控制部30向扫描部10提供地址信号,从而控制扫描部10以在像素阵列9中以像素线L为单位依次驱动摄像像素P1和遮光像素P2。此外,摄像控制部30将参考信号REF、时钟信号CLK、控制信号CC以及控制信号SSW(控制信号SSW[0]、SSW[1]、SSW[2]…)提供给读出部20,从而控制读出部20基于信号SIG生成图像信号DATA0。此外,摄像控制部30将控制信号提供给信号处理部40,从而控制信号处理部40的操作。
信号处理部40对由图像信号DATA0表示的图像进行信号处理。信号处理部40包括图像处理器41和光晕检测器42。
图像处理器41对由图像信号DATA0表示的图像执行预定的图像处理。预定图像处理例如包括暗电流校正处理和图像合成处理。在暗电流校正处理中,图像处理器41从图像信号DATA0中包括的数字代码CODE中减去光电二极管PD1和光电二极管PD2每个的暗电流的贡献部分。具体地,信号处理部40基于遮光像素P2的数字代码CODE,通过校正摄像像素P1的数字代码CODE来进行暗电流校正处理。在图像合成处理中,图像处理器41基于从读出部20提供的并且在执行AD转换的八个时段(转换时段T1到T8)期间获得的八个数字代码CODE(数字代码CODE1至CODE8)生成四个图像PIC(图像PIC1、图像PIC2、图像PIC3、图像PIC4)。此外,图像处理器41合成四个图像PIC,从而生成一个拍摄图像PICA。此后,图像处理器41输出拍摄图像PICA作为图像信号DATA。
光晕检测器42检测所谓的光晕,其中,由于光电二极管PD1和光电二极管PD2中的每一个的暗电流,摄像像素P1和遮光像素P2处于饱和状态。
图5A至图5C均示意性地示出了光晕,并且示出了每个像素的像素值。在图5A至图5C中,具有高像素值的像素被绘制为白色,而具有低像素值的像素被绘制为黑色。例如,在摄像器件1长时间工作的情况下,光电二极管的暗电流可能会在后级增加。拍摄图像中每个像素的像素值是由光接收量生成的像素值与由暗电流生成的像素值之和。因此,在光电二极管的暗电流增加的情况下,包括光电二极管的像素的像素值导致高于期望的像素值。特别地,由光电二极管的暗电流生成的电荷被累积到像素不再能够累积电荷的状态(饱和状态),包括光电二极管的像素(例如,图5A中的像素W1)饱和。由光电二极管的暗电流生成的电荷泄漏到像素W1附近的像素(例如,图5A中的像素W2),导致像素W2的像素值增加。之后,随着时间的流逝,像素W2也进入饱和状态,并且像素W2中的电荷泄漏到像素W2附近的像素(例如,图5B中的像素W3),从而导致像素W3的像素值增加。之后,随着时间的流逝,像素W3也进入饱和状态,并且像素W3中的电荷泄漏到像素W3附近的像素(例如,图5C中的像素W4),从而导致像素W4的像素值增加。以这种方式,光晕随着时间的流逝各向同性地扩大。光晕检测器42可以检测一个或多个像素中的光晕。
基于图像信号DATA0中包括的数字代码CODE,在多个摄像像素P1和多个遮光像素P2的每一个中,光晕检测器42例如通过检测光电二极管PD1是否处于饱和状态、光电二极管PD2是否处于饱和状态以及由光电二极管PD1引起的电荷量和由光电二极管PD2引起的电荷量之间的比率(电荷比RQ)是否在预定范围内来执行光晕检测。也就是说,例如,光晕检测器42可以在光电二极管PD1饱和的情况下确定光电二极管PD1发生了光晕,并且可以在光电二极管PD2饱和的情况下确定光电二极管PD2发生了光晕。此外,在电荷比RQ在预定范围之外的情况下,光晕检测器42可以确定包括光电二极管PD1和光电二极管PD2的像素P(摄像像素P1或遮光像素P2)发生了光晕。即,在光电二极管PD1和光电二极管PD2之间的电荷累积时间相同的情况下,期望电荷比RQ是预定值,该预定值主要由光电二极管PD1和光电二极管PD2的受光区域之间的面积比以及由光电二极管PD1和光电二极管PD2中的每个的材料和形状来确定。因此,在电荷比RQ在预定范围之外的情况下,光晕检测器42可以确定包括光电二极管PD1和光电二极管PD2的像素P发生了光晕。
光晕检测器42基于拍摄图像确定照度(亮度),并且在照度在预定范围内的情况下执行光晕检测。即,例如,在照度高的情况下,存在例如由光电二极管PD1引起的电荷量饱和的可能性,因此可能导致无法准确检测到光晕。此外,例如,在照度低的情况下,由光电二极管PD2引起的S/N比降低,因此可能导致无法准确检测到光晕。因此,光晕检测器42在不使由光电二极管PD1引起的电荷量饱和且不降低由光电二极管PD2引起的S/N比的照度范围内进行光晕检测。
图6示出了光晕检测器42的配置示例。如后所述,当基于读出部20所提供的、在用于执行AD转换的八个时段(转换时段T1至T8)期间获得的八个数字代码CODE(数字代码CODE1至CODE8)生成四个图像PIC(图像PIC1至PIC4)时,图像处理器41基于数字代码CODE1和CODE4生成像素值VAL2,并且基于数字代码CODE5和CODE6生成像素值VAL3。像素值VAL2是与由光电二极管PD1引起的电荷量相对应的值,像素值VAL3是与由光电二极管PD2引起的电荷量相对应的值。光晕检测器42基于像素值VAL2和像素值VAL3执行光晕检测。光晕检测器42包括饱和度确定器43、电荷比确定器44、模式确定器45以及寄存器46和寄存器47。在该示例中,使用逻辑电路配置光晕检测器42。
饱和度确定器43基于像素值VAL2确定光电二极管PD1是否处于饱和状态,并且基于像素值VAL3确定光电二极管PD2是否处于饱和状态。此外,饱和度确定器43输出确定结果作为确定结果信号S43。
电荷比确定器44基于像素值VAL2和像素值VAL3检测由光电二极管PD1引起的电荷量与由光电二极管PD2引起的电荷量之间的比率(电荷比RQ)是否在预定范围内。电荷比确定器44包括乘法电路51、比较器52、乘法电路53、比较器54和或电路55。
乘法电路51将像素值VAL3和阈值THmax相乘。比较器52将像素值VAL2与乘法电路51的输出值彼此进行比较。像素值VAL2被提供给比较器52的正输入端,并且乘法电路51的输出值被提供给比较器52的负输入端。该配置允许比较器52在像素值VAL2大于乘法电路51的输出值(VAL3×THmax)的情况下输出“1”,并在像素值VAL2小于乘法电路51的输出值(VAL3×THmax)的情况下输出“0”。
乘法电路53将像素值VAL3和阈值THmin相乘。比较器54将像素值VAL2与乘法电路53的输出值彼此进行比较。乘法电路53的输出值被提供给比较器54的正输入端,并且像素值VAL2被提供给其负输入端。这种配置允许比较器54在像素值VAL2小于乘法电路53的输出值(VAL3×THmin)的情况下输出“1”,并在像素值VAL2大于乘法电路53的输出值(VAL3×THmin)的情况下输出“0”。
或电路55确定比较器52的输出信号与比较器54的输出信号的逻辑和(OR)。此外,或电路55输出运算结果作为确定结果信号S44。
该配置使得电荷比确定器44在像素值VAL2大于乘法电路51的输出值(VAL3×THmax)的情况下以及在像素值VAL2小于乘法电路53的输出值(VAL3×THmin)的情况下将确定结果信号S44设置为“1”。此外,该配置使得该电荷比确定器44在像素值VAL2大于乘法电路53的输出值(VAL3×THmin)的情况下并且在像素值VAL2小于乘法电路51的输出值(VAL3×THmax)的情况下将确定结果信号S44设置为“1”。这样,电荷比确定器44检测由光电二极管FD1引起的电荷量与由光电二极管FD2引起的电荷量之间的比率(电荷比RQ)是否在预定范围内。
如稍后所述,模式确定器45通过基于确定结果信号S43和确定结果信号S44生成与一行中的像素线L相对应的确定结果模式PAT,并且通过确定确定结果模式PAT是否包括与从外部提供的设定值信息INF相对应的参考模式PATR(稍后描述)来检测光晕。此外,模式确定器45输出检测结果作为检测标记信号ER。
寄存器46存储阈值THmax,寄存器47存储阈值THmin。
在摄像器件1中,例如,图1所示的每个块可以形成在一个半导体基板上。
图7示出了半导体基板200中的电路布置的示例。像素阵列9形成在半导体基板200上。此外,在图7中,扫描部10形成在像素阵列9的左侧,而读出部20和逻辑电路部201按顺序形成在像素阵列9上。逻辑电路部201对应于摄像控制部30和信号处理部40。此外,包括多个端子的端子部202形成在半导体基板200的左端。同样地,包括多个端子的端子部203形成在半导体基板200的右端。如图7中的箭头所示,从信号处理部40(逻辑电路部201)输出的检测标记信号ER从摄像器件1例如通过端子部202中的最靠近信号处理部40的端子输出。
在此,摄像像素P1和遮光像素P2对应于本公开中的“像素”的具体示例。读出部20对应于本公开中的“生成部”的具体示例。光晕检测器42对应于本公开中的“诊断部”的具体示例。电荷比RQ对应于本公开中的“检测比率”的具体示例。控制线TGLL对应于本公开中的“第一控制线”的具体示例。控制线RSTL对应于本公开中的“第二控制线”的具体示例。控制线FDGL对应于本公开中的“第三控制线”的具体示例。控制线TGSL对应于本公开中的“第四控制线”的具体示例。控制线FCGL对应于本公开中的“第五控制线”的具体示例。浮动扩散部FD对应于本公开中的“第一累积部”的具体示例。电容器元件FC对应于本公开中的“第二累积部”的具体示例。晶体管TGL对应于本公开中的“第一晶体管”的具体示例。晶体管RST对应于本公开中的“第二晶体管”的具体示例。晶体管FDG对应于本公开中的“第三晶体管”的具体示例。晶体管TGS对应于本公开中的“第四晶体管”的具体示例。晶体管FCG对应于本公开中的“第五晶体管”的具体示例。晶体管AMP和SEL对应于本公开中的“输出部”的具体示例。
操作和工作
接下来,说明本实施例的摄像器件1的操作和工作。
(整体操作概述)
首先,参照图1和图4,对摄像器件1的整体操作的概要进行说明。扫描部10以像素线L为单位依次驱动像素阵列9中的摄像像素P1和遮光像素P2。摄像像素P1和遮光像素P2在T1到T8的八个转换时段中分别依次输出八个像素电压VP1至VP8。读出部20的AD转换部ADC分别基于这八个像素电压VP1至VP8执行AD转换,并且各自输出八个数字代码CODE(数字代码CODE1至CODE8)。信号处理部40基于从读出部20提供的八个数字代码CODE1至CODE8生成四个图像PIC(图像PIC1至PIC4)。此外,信号处理部40合成四个图像PIC从而生成一个拍摄图像PICA,并输出拍摄图像PICA作为图像信号DATA。信号处理部40的光晕检测器42检测所谓的光晕,其中由于光电二极管PD1和光电二极管PD2中的每个的暗电流,摄像像素P1和遮光像素P2处于饱和状态,并且光晕检测器42将检测结果作为检测标记信号ER输出。
(详细操作)
在摄像器件1中,像素阵列9中的多个像素P(摄像像素P1和遮光像素P2)分别累积与光接收量相对应的电荷,并输出与光接收量相对应的像素电压VP作为信号SIG。下面,详细描述该操作。
图8示出了在像素阵列9中扫描多个像素P的操作的示例。
在时刻t0至时刻t1的时段内,摄像器件1在垂直方向上从上方起依次对像素阵列9中的多个像素P执行累积开始驱动D1。具体地,扫描部10例如在水平时段H内的预定时段内,以像素线L为单位在垂直方向上从上方起依次将晶体管TGL、晶体管RST、晶体管FDG、晶体管TGS和晶体管FCG设置为导通状态。这允许在持续到执行读出驱动D2的累积时段T10期间在多个像素P的每个中累积电荷。
此外,在时刻t10至时刻t11的时段内,摄像器件1在垂直方向上从上方起依次对多个像素P执行读出驱动D2。这允许多个像素P中的每一个依次输出八个像素电压VP1至VP8。读出部20基于这八个像素电压VP1至VP8中的每个进行AD转换,并且输出八个数字代码CODE(CODE1至CODE8)中的每个。
此后,信号处理部40基于从读出部20提供的八个数字代码CODE1至CODE8生成四个图像PIC(图像PIC1、图像PIC2、图像PIC3和图像PIC4),并合成四个图像PIC从而生成一个拍摄图像PICA。
摄像器件1以这种方式重复累积开始驱动D1和读出驱动D2。具体地,如图8所示,摄像器件1在时刻t2至时刻t3的时段内执行累积开始驱动D1,并在时刻t12至时刻t13的时段内执行读出驱动D2。此外,摄像器件1在时刻t4至时刻t5的时段内执行累积开始驱动D1,并且在时刻t14至时刻t15的时段内执行读出驱动D2。
(关于读出驱动D2)
接下来,详细描述读出驱动D2。下面,针对多个摄像像素P1中的摄像像素P1A来详细描述摄像像素P1A的操作。
图9、图10A和图10B分别示出了摄像器件1的操作示例,其中,(A)表示水平同步信号XHS的波形,(B)表示要提供给摄像像素P1A的信号SSEL的波形,(C)表示要提供给摄像像素P1A的信号SRST的波形,(D)表示要提供给摄像像素P1A的信号SFDG的波形,(E)表示要提供给摄像像素P1A的信号STGL的波形,(F)表示要提供给摄像像素P1A的信号SFCG的波形,(G)表示要提供给摄像像素P1A的信号STGS的波形,(H)表示参考信号REF的波形,(I)表示要从摄像像素P1A输出的信号SIG的波形,(J)表示AD转换部ADC中耦合到摄像像素P1A的计数器25的操作。图10A示出了图9所示的操作的前一半操作,并且图10B示出了图9所示的操作的后一半操作。在图9的(H)和(I)、图10A的(H)和(I)以及图10B的(H)和(I)中,在相同的电压轴上表示各个信号的波形。图9的(H)、图10A的(H)和图10B的(H)的每个中的参考信号REF表示比较器24在正输入端的波形,并且图9的(I)、图10A的(I)和图10B的(I)的每个中的信号SIG表示比较器24在负输入端的波形。此外,在图9的(J)、图10A的(J)和图10B的(J)中,阴影线表示由计数器25执行的计数操作。
图11A至图11C分别表示摄像像素P1A的状态。图11A至图11C均使用响应于晶体管的操作状态的相应开关示出了晶体管TGL、晶体管RST、晶体管FDG、晶体管TGS、晶体管FCG和晶体管SEL。
在摄像器件1中,在某一水平时段H中,扫描部10首先通过信号SSEL选择包括摄像像素P1A的像素线L,并将摄像像素P1A电耦合至与摄像像素P1A相对应的信号线SGL。此外,扫描部10使用信号SRST、信号SFDG、信号STGL、信号SFCG和信号STGS来控制摄像像素P1A的操作,并且在八个转换时段T1至T8期间,摄像像素P1A依次输出八个像素电压VP1至VP8。此外,读出部20的AD转换部ADC分别基于这八个像素电压VP1至VP8执行AD转换,并输出八个数字代码CODE1至CODE8。下面详细描述该操作。
首先,当在时刻t1水平时段H开始时,扫描部10在时刻t2将信号SSEL的电压从低电平改变为高电平(图10A的(B))。这使得摄像像素P1A中的晶体管SEL进入导通状态,从而使摄像像素P1A电耦合到信号线SGL。
在直到时刻t11为止的时段中,扫描部10使信号SRST和信号SFDG都成为高电平(图10A的(C)和(D))。这使得摄像像素P1A中的晶体管RST和晶体管FDG均进入导通状态,从而使浮动扩散部FD的电压被设置在电源电压VDD,并且浮动扩散部FD被复位。
(时刻t11至时刻t21的操作)
接下来,在时刻t11,扫描部10将信号SFDG的电压从高电平改变为低电平(图10A的(D))。这使得摄像像素P1A中的晶体管FDG进入截止状态。接下来,在时刻t12,扫描部10将信号SRST的电压从高电平改变为低电平(图10A的(C))。这使摄像像素P1A中的晶体管RST进入截止状态。接下来,在时刻t13,扫描部10将信号SFDG的电压从低电平改变为高电平(图10A的(D))。这使得摄像像素P1A中的晶体管FDG进入导通状态。此外,比较器24执行零位调整,其中,在时刻t13至时刻t14的时段中,正输入端和负输入端电耦合在一起。
接下来,在时刻t14,比较器24结束零位调整以将正输入端和负输入端彼此电性断开。此外,在时刻t14,参考信号生成器31将参考信号REF的电压改变为电压V1(图10A的(H))。
如图11A所示,在摄像像素P1A中,这使晶体管FDG和晶体管SEL进入导通状态,并且使所有其他晶体管进入截止状态。由于晶体管FDG的导通状态,浮动扩散部FD和晶体管FDG构成组合电容。该组合电容用作转换电容,在摄像像素P1A中可将电荷转换为电压。以这种方式,在摄像像素P1A中晶体管FDG处于导通状态,因此摄像像素P1A中的转换电容的电容值较大,从而导致从电荷到电压的转换效率低。在直到时刻t12为止的时段内,浮动扩散部FD被复位时,该转换电容保持电荷。摄像像素P1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP1)。
接下来,在时刻t15至时刻t17(转换时段T1)的时段内,AD转换部ADC基于像素电压VP1执行AD转换。具体地,在时刻t15,摄像控制部30开始生成时钟信号CLK。同时,参考信号生成器31以预定的变化程度开始从电压V1降低参考信号REF的电压(图10A的(H))。AD转换部ADC的计数器25因此开始计数操作(图10A的(J))。
此外,在时刻t16,参考信号REF的电压下降到信号SIG的电压(像素电压VP1)以下(图10A的(H)和(I))。AD转换部ADC的比较器24因此改变信号CMP的电压。结果,计数器25停止计数操作(图10A的(J))。计数操作停止时的计数器25的计数值CNT对应于像素电压VP1。因此,AD转换部ADC基于像素电压VP1执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE1(图10A的(J))。
此后,在时刻t17,摄像控制部30随着转换时段T1的结束停止生成时钟信号CLK,参考信号生成器31停止改变参考信号REF的电压(图10A的(H)),并且计数器25复位计数值CNT。
(时刻t21至时刻t31的操作)
接下来,在时刻t21,扫描部10将信号SFDG的电压从高电平改变为低电平(图10A的(D))。这使得摄像像素P1A中的晶体管FDG进入截止状态。此外,比较器24执行零位调整,其中,在时刻t21至时刻t22的时段中,正输入端和负输入端电耦合在一起。
接下来,在时刻t22,比较器24结束零位调整以将正输入端和负输入端彼此电性断开。此外,在时刻t22,参考信号生成器31将参考信号REF的电压改变为电压V1(图10的(H))。
如图11B中所示,在摄像像素P1A中,这使晶体管SEL进入导通状态,并且使所有其他晶体管进入截止状态。以这种方式,在摄像像素P1A中的晶体管FDG处于截止状态,并且因此摄像像素P1A中的转换电容的电容值较小,从而导致从电荷到电压的高转换效率。在直到时刻t12为止的时段内,在浮动扩散部FD被复位时,该转换电容保持电荷。摄像像素P1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP2)。
接下来,在时刻t23至时刻t25的时段(转换时段T2)中,AD转换部ADC基于像素电压VP2执行AD转换。此操作与转换时段T1中的操作类似。AD转换部ADC基于像素电压VP2执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE2(图10A的(J))。
(时刻t31至时刻t41的操作)
接下来,在时刻t31,扫描部10将信号STGL的电压从低电平改变为高电平(图10A的(E))。这使得摄像像素P1A中的晶体管TGL进入导通状态。这允许在光电二极管PD1处生成的电荷被传输到浮动扩散部FD。此外,在时刻t31,参考信号生成器31将参考信号REF的电压改变为电压V1(图10A的(H))。
接下来,在时刻t32,扫描部10将信号STGL的电压从高电平改变为低电平(图10A的(E))。这使得摄像像素P1A中的晶体管TGL进入截止状态。
如图11B所示,这使得摄像像素P1A中的晶体管FDG处于截止状态,并且因此摄像像素P1A中的转换电容的电容值较小,从而导致从电荷到电压的高转换效率。该转换电容在时刻t31至时刻t32保持从光电二极管PD1传输来的电荷。摄像像素P1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP3)。
接下来,在时刻t33至时刻t35的时段(转换时段T3)内,AD转换部ADC基于像素电压VP3执行AD转换。此操作与转换时段T1中的操作类似。AD转换部ADC基于像素电压VP3执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE3(图10A的(J))。数字代码CODE3对应于在转换效率高时(转换时段T2)以相同方式获得的数字代码CODE2。
(时刻t41至时刻t51的操作)
接下来,在时刻t41,扫描部10将信号SFDG的电压从低电平改变为高电平,并且将信号STGL的电压从低电平改变为高电平(图10A的(D)和(E)。这会使摄像像素P1A中的晶体管FDG和晶体管TGL都进入导通状态。此外,在时刻t41,参考信号生成器31将参考信号REF的电压改变为电压V1(图10A的(H))。接下来,在时刻t42,扫描部10将信号STGL的电压从高电平改变为低电平(图10A的(E))。这使得摄像像素P1A中的晶体管TGL进入截止状态。
如图11A所示,这使得摄像像素P1A中的晶体管FDG处于导通状态,因此浮动扩散部FD和晶体管FDG构成了组合电容(转换电容)。因此,摄像像素P1A中的转换电容的电容值大,导致从电荷到电压的转换效率低。该转换电容保持在时刻t31至时刻t32和时刻t41至时刻t42从光电二极管PD1传输来的电荷。像素1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP4)。
接着,在时刻t43至时刻t45的时段(转换时段T4)内,AD转换部ADC基于像素电压VP4执行AD转换。此操作与转换时段T1中的操作类似。AD转换部ADC基于像素电压VP4执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE4(图10A的(J))。数字代码CODE4对应于在转换效率低时(转换时段T1)以相同方式获得的数字代码CODE1。
(时刻t51至时刻t61的操作)
接下来,在时刻t51,扫描部10将信号SRST的电压从低电平改变为高电平(图10B的(C))。这使得摄像像素P1A中的晶体管RST进入导通状态。由于晶体管FDG的导通状态,这使得浮动扩散部FD的电压被设置在电源电压VDD,并且浮动扩散部FD被复位。接下来,在时刻t52,扫描部10将信号SRST的电压从高电平改变为低电平(图10B的(C))。这使摄像像素P1A中的晶体管RST进入截止状态。此外,在时刻t52,参考信号生成器31将参考信号REF的电压改变为电压V1(图10B的(H))。
接下来,在时刻t53,扫描部10将信号SFCG的电压从低电平改变为高电平(图10B的(F))。这使得摄像像素P1A中的晶体管FCG进入导通状态。此外,比较器24执行零位调整,其中,在时刻t53至时刻t54的时段中,正输入端和负输入端电耦合在一起。
接下来,在时刻t54,比较器24结束零位调整以将正输入端和负输入端彼此电性断开。此外,在时刻t54,参考信号生成器31将参考信号REF的电压改变为电压V1(图10A的(H))。
如图11C所示,在摄像像素P1A中,这使晶体管FDG、晶体管FCG和晶体管SEL进入导通状态,并且使所有其他晶体管进入截止状态。晶体管FDG和晶体管FCG均处于导通状态,因此浮动扩散部FD、晶体管FDG和晶体管FCG以及电容器元件FC构成组合电容(转换电容)。该转换电容保持在时刻t53之前在光电二极管PD2处生成并且已通过晶体管TGS被提供并累积在电容器元件FC中的电荷。摄像像素P1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP5)。
接下来,在时刻t55至时刻t57的时段(转换时段T5)内,AD转换部ADC基于像素电压VP5执行AD转换。此操作与转换时段T1中的操作类似。AD转换部ADC基于像素电压VP5执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE5(图10B的(J))。
(时刻t61至t71的操作)
接下来,在时刻t61,扫描部10将信号STGS的电压从低电平改变为高电平(图10B的(G))。这使得摄像像素P1A中的晶体管TGS进入导通状态。这使得在光电二极管PD2处生成的电荷被传输到浮动扩散部FD和电容器元件FC。此外,在时刻t61,参考信号生成器31将参考信号REF的电压改变为电压V1(图10B的(H))。
接下来,在时刻t62,扫描部10将信号STGS的电压从高电平改变为低电平(图10B的(G))。这使得摄像像素P1A中的晶体管TGS进入截止状态。
如图11C所示,在摄像像素P1A中,这会使晶体管FDG和晶体管FCG都处于导通状态,因此浮动扩散部FD、晶体管FDG和晶体管FCG以及电容器元件FC构成了组合电容(转换电容)。除了在时刻t53之前在光电二极管PD2处生成并且已通过晶体管TGS提供并累积在电容器元件FC中的电荷之外,转换电容还保持在时刻t61至时刻t62从光电二极管PD2传输来的电荷。摄像像素P1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP6)。
接着,在时刻t63至时刻t65的时段(转换时段T6)内,AD转换部ADC基于像素电压VP6执行AD转换。此操作与转换时段T1中的操作类似。AD转换部ADC基于像素电压VP6执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE6(图10B的(J))。数字代码CODE6对应于在浮动扩散部FD、晶体管FDG和晶体管FCG以及电容器元件FC构成组合电容时获得的数字代码CODE5。
(时刻t71至时刻t81的操作)
接下来,比较器24执行零位调整,其中,在时刻t71至时刻t72的时段中将正输入端和负输入端电耦合在一起。
接下来,在时刻t72,比较器24结束零位调整以将正输入端和负输入端彼此电性断开。此外,在时刻t72,参考信号生成器31将参考信号REF的电压改变为电压V1(图10A的(H))。
如图11C所示,在摄像像素P1A中,这会使晶体管FDG和晶体管FCG都处于导通状态,因此浮动扩散部FD、晶体管FDG和晶体管FCG以及电容器元件FC构成了组合电容(转换电容)。除了在时刻t53之前在光电二极管PD2处生成并且已通过晶体管TGS提供并累积在电容器元件FC中的电荷之外,转换电容还保持在时刻t61至t62从光电二极管PD2传输来的电荷。摄像像素P1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP7)。
接下来,在时刻t73至时刻t75的时段(转换时段T7)内,AD转换部ADC基于像素电压VP7执行AD转换。此操作与转换时段T1中的操作类似。AD转换部ADC基于像素电压VP7执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE7(图10B的(J))。
(时刻t81至时刻t7的操作)
接下来,在时刻t81,扫描部10将信号SRST的电压从低电平改变为高电平(图10B的(C))。这使得摄像像素P1A中的晶体管RST进入导通状态。由于晶体管FDG和晶体管FCG的导通状态,浮动扩散部FD的电压和电容器元件FC的电压分别被设置在电源电压VDD,并且浮动扩散部FD和电容器元件FC被复位。
接下来,在时刻t82,扫描部10将信号SFCG的电压从高电平改变为低电平(图10B的(F))。这使得摄像像素P1A中的晶体管FCG进入截止状态。
接下来,在时刻t83,扫描部10将信号SRST的电压从高电平改变为低电平(图10B的(C))。这使得摄像像素P1A中的晶体管RST进入截止状态。
接下来,在时刻t84,扫描部10将信号SFCG的电压从低电平改变为高电平(图10B的(F))。这使得摄像像素P1A中的晶体管FCG进入导通状态。此外,在时刻t84,参考信号生成器31将参考信号REF的电压改变为电压V1(图10B的(H))。
如图11C所示,在摄像像素P1A中,这会使晶体管FDG和晶体管FCG都处于导通状态,因此浮动扩散部FD、晶体管FDG和晶体管FCG以及电容器元件FC构成组合电容(转换电容)。该转换电容保持在时刻t81和时刻t82浮动扩散部FD和电容器元件FC被复位时的电荷。摄像像素P1A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP8)。
接下来,在时刻t85至时刻t87的时段(转换时段T8)内,AD转换部ADC基于像素电压VP8执行AD转换。此操作与转换时段T1中的操作类似。AD转换部ADC基于像素电压VP8执行AD转换,并且AD转换部ADC的锁存器26输出计数器25的计数值CNT作为数字代码CODE8(图10B的(J))。数字代码CODE8对应于在浮动扩散部FD、晶体管FDG和晶体管FCG以及电容器元件FC构成组合电容时获得的数字代码CODE7。
接下来,在时刻t7,扫描部10将信号SFDG的电压从高电平改变为低电平,并且将信号SFCG的电压从高电平改变为低电平(图10B的(D)和(F)。这会使摄像像素P1A中的晶体管FDG和晶体管FCG进入截止状态。
之后,在时刻t8,扫描部10将信号SSEL的电压从高电平改变为低电平(图10B的(B))。这使摄像像素P1A中的晶体管SEL进入截止状态,从而使摄像像素P1A与信号线SGL电隔离。
接下来说明图像处理器41中的图像合成处理。图像处理器41基于从读出部20提供的数字代码CODE生成四个图像PIC(图像PIC1至PIC4)。此外,图像处理器41合成四个图像PIC,从而生成一个拍摄图像PICA。
图12示意性地示出了图像合成处理。图12的(A)至(G)所示的波形类似于图9的(A)至(G)所示的波形。如参照图9、图10A和图10B所示,读出部20基于在时刻t11至时刻t21的时段期间的操作生成数字代码CODE1,读出部20基于时刻t21至时刻t31的时段期间的操作生成数字代码CODE2,读出部20基于时刻t31至时刻t41的时段期间的操作生成数字代码CODE3,读出部20基于时刻t41至时刻t51的时段期间的操作生成数字代码CODE4,读出部20基于时刻t51至时刻t61的时段期间的操作生成数字代码CODE5,读出部20基于时刻t61至时刻t71的时段期间的操作生成数字代码CODE6,读出部20基于时刻t71至时刻t81的时段期间的操作生成数字代码CODE7,读出部20基于时刻t81至时刻t7的时段期间的操作生成数字代码CODE8。
图像处理器41基于数字代码CODE2和数字代码CODE3生成像素值VAL1。具体地,图像处理器41通过从数字代码CODE3中减去数字代码CODE2(CODE3-CODE2)来计算像素值VAL1。即,摄像器件1通过利用所谓的相关双采样(CDS,Correlated Double Sampling)原理,使用与P相(预充电阶段)数据相对应的数字代码CODE2和与D相(数据阶段)数据相对应的数字代码CODE3来计算像素值VAL1。
同样地,图像处理器41基于数字代码CODE1和数字代码CODE4生成像素值VAL2。具体地,图像处理器41通过从数字代码CODE4中减去数字代码CODE1(CODE4-CODE1)来计算像素值VAL2。即,摄像器件1通过利用相关双采样的原理,使用与P相数据相对应的数字代码CODE1和与D相数据相对应的数字代码CODE4来计算像素值VAL2。
同样地,图像处理器41基于数字代码CODE5和数字代码CODE6生成像素值VAL3。具体地,图像处理器41通过从数字代码CODE6中减去数字代码CODE5(CODE6-CODE5)来计算像素值VAL3。即,摄像器件1通过利用相关双采样的原理,使用与P相数据相对应的数字代码CODE5和与D相数据相对应的数字代码CODE6来计算像素值VAL3。
图像处理器41基于数字代码CODE7和数字代码CODE8生成像素值VAL4。具体地,图像处理器41通过从数字代码CODE7中减去数字代码CODE8(CODE7-CODE8)来计算像素值VAL4。即,摄像器件1利用所谓的双数据采样(DDS,Double Data Sampling)原理,使用复位浮动扩散部FD和电容器元件FC之前的数字代码CODE7以及复位浮动扩散部FD和电容器元件FC之后的数字代码CODE8来计算像素值VAL4。
此外,图像处理器41基于像素阵列9中的所有摄像像素P1的各个像素值VAL1生成图像PIC1。图像处理器41基于像素阵列9中的所有摄像像素P1的各个像素值VAL2生成图像PIC2。图像处理器41基于像素阵列9中的所有摄像像素P1的各个像素值VAL3生成图像PIC3。图像处理器41基于像素阵列9中的所有摄像像素P1的各个像素值VAL4生成图像PIC4。此后,图像处理器41通过合成这些图像PIC1至PIC4来合成拍摄图像PICA。
(关于光晕检测)
在照度在预定范围内的情况下,光晕检测器42基于从读出部20提供的数字代码CODE执行光晕检测。
图13示意性地示出了光晕。在该示例中,像素W1中的光电二极管的暗电流增加,导致像素W13饱和。此后,由该光电二极管的暗电流生成的电荷泄漏到像素W13附近的像素(例如,图13中的像素W12和像素W14),导致像素W12和像素W14也饱和。此外,像素W12中的电荷泄漏到像素W12附近的像素(例如,图13中的像素W11),导致像素W11的像素值增加。同样地,像素W14中的电荷泄漏到像素W14附近的像素(例如,图13中的像素W15),导致像素W15的像素值增加。
光晕检测器42基于与由光电二极管PD1引起的电荷量相对应的像素值VAL2和与由光电二极管PD2引起的电荷量相对应的像素值VAL3,以像素线L为单位检测这种光晕。具体地,饱和度确定器43基于像素值VAL2确定光电二极管PD1是否处于饱和状态,并且基于像素值VAL3确定光电二极管PD2是否处于饱和状态。电荷比确定器44基于像素值VAL2和像素值VAL3检测由光电二极管PD1引起的电荷量与由光电二极管PD2引起的电荷量之间的比率(电荷比RQ)是否在预定范围内。此外,模式确定器45通过基于从饱和度确定器43输出的确定结果信号S43和从电荷比确定器44输出的确定结果信号S44生成与一行中的像素线L相对应的确定结果模式PAT,并且通过确定确定结果模式PAT是否包括与从外部提供的设定值信息INF相对应的参考模式PATR来检测光晕。
图14示出了设定值信息INF和参考模式PATR之间的对应关系。在该图14中,用宽阴影线表示的数据A表明光电二极管PD1和光电二极管PD2中的至少一个不处于饱和状态,并且电荷比RQ在预定范围之外。用细阴影线表示的数据B表明光电二极管PD1和光电二极管PD2都处于饱和状态。
例如,在设定值信息INF为“1”的情况下,参考模式PATR是仅由“A”构成的一种类型的模式。此外,例如,在设定值信息INF为“2”的情况下,参考模式PATR包括由“AA”、“AB”和“BA”组成的三种类型的模式。此外,例如,在设定值信息INF为“3”的情况下,参考模式PATR包括由“ABA”、“ABB”和“BBA”组成的三种类型的模式。此外,例如,在设定值信息INF为“4”的情况下,参考模式PATR包括由“ABBA”、“ABBB”和“BBBA”组成的三种类型的模式。此外,例如,在设定值信息INF为“5”的情况下,参考模式PATR包括由“ABBBA”、“ABBBB”和“BBBBA”组成的三种类型的模式。此外,例如,在设定值信息INF为“6”的情况下,参考模式PATR包括由“ABBBBA”、“ABBBBB”和“BBBBBA”组成的三种类型的模式。此外,例如,在设定值信息INF为“7”的情况下,参考模式PATR包括由“ABBBBBA”、“ABBBBBB”和“BBBBBBA”组成的三种类型的模式。
模式确定器45基于从外部提供的设定值信息INF来设置用于模式确定的参考模式PATR。此外,模式确定器45确定在一行中与像素线L相对应的确定结果模式PAT中是否包括设置的参考模式PATR中的一个或多个。
图15示出了光晕检测器42的操作示例,其中,(A)表示水平同步信号XHS的波形,(B)示意性地表示像素值VAL2,(C)示意性地表示像素值VAL3,(D)示意性地表示确定结果模式PAT,并且(E)表示检测标记信号ER的波形。包括五个像素W21至W25的多个像素的像素值VAL2和像素值VAL3以像素线L为单位被提供给光晕检测器42。在该示例中,设定值信息INF被设置为“5”。因此,模式确定器45使用由“ABBBA”、“ABBBB”和“BBBBA”组成的三种类型的参考模式PATR来执行模式确定。
在该示例中,饱和度确定器43基于像素W21的像素值VAL2确定光电二极管PD1不处于饱和状态,并且基于像素W21的像素值VAL3确定光电二极管PD2处于饱和状态。此外,基于像素W21的像素值VAL2和像素值VAL3,电荷比确定器44确定由光电二极管PD1引起的电荷量与由光电二极管PD2引起的电荷量之间的比率(电荷比RQ)在预定范围外。因此,数据A出现在确定结果模式PAT中。
此外,饱和度确定器43基于像素W22的像素值VAL2确定光电二极管PD1处于饱和状态,并且基于像素W22的像素值VAL3确定光电二极管PD2处于饱和状态。因此,数据B出现在确定结果模式PAT中。
此外,饱和度确定器43基于像素W23的像素值VAL2确定光电二极管PD1处于饱和状态,并且基于像素W23的像素值VAL3确定光电二极管PD2处于饱和状态。因此,数据B出现在确定结果模式PAT中。
此外,饱和度确定器43基于像素W24的像素值VAL2确定光电二极管PD1处于饱和状态,并且基于像素W24的像素值VAL3确定光电二极管PD2处于饱和状态。因此,数据B出现在确定结果模式PAT中。
此外,饱和度确定器43基于像素W25的像素值VAL2确定光电二极管PD1处于饱和状态,并且基于像素W25的像素值VAL3确定光电二极管PD2不处于饱和状态。此外,电荷比确定器44基于像素W25的像素值VAL2和像素值VAL3确定电荷比RQ在预定范围外。因此,数据A出现在确定结果模式PAT中。
模式确定器45确认确定结果模式PAT是否包括三种类型的参考模式PATR(“ABBBA”、“ABBBB”和“BBBBA”)中的任一种。在该示例中,在像素W21至像素W25中确定结果模式PAT包括“ABBBA”。因此,模式确定器45使得检测标记信号ER有效。
以这种方式,光晕检测器42执行光晕检测。
如上所述,在摄像器件1中,在普通摄像操作期间执行光晕检测,因此使得可以检测在稍后阶段可能发生的可能的光电二极管异常,从而可以增强拍摄图像的可靠性。
此外,在摄像器件1中,基于在多个摄像像素P1和多个遮光像素P2的每个中由光电二极管PD1引起的电荷量与由光电二极管PD2引起的电荷量之间的比率(电荷比RQ)来执行光晕检测,因此可以提高光晕检测的精度。
也就是说,例如,在基于特定摄像像素P1A的光电二极管PD1中的电荷量与另一与摄像像素P1属于同一列的摄像像素P1B的光电二极管PD1中的电荷量之间的比率进行光晕检测的情况下,累积时段T10(图8)偏离,因此存在累积时段T10的偏离对电荷量的比率的影响会降低光晕检测的精度的可能性。此外,例如,在基于特定摄像像素P1A的光电二极管PD1中的电荷量与另一与摄像像素P1属于同一行的摄像像素P1C的光电二极管PD1中的电荷量之间的比率进行光晕检测的情况下,与各摄像像素P1A和P1C相对应的AD转换部ADC互不相同,因此存在AD转换部ADC之间的差异对电荷量的比率的影响会降低光晕检测的精度的可能性。此外,在摄像像素P1A的形成位置与摄像像素P1B的形成位置相距较远的情况下,或者在摄像像素P1A的形成位置与摄像像素P1C的形成位置相距较远的情况下,电荷量的比率根据物体而变化,从而导致存在光晕检测的精度降低的可能性。
同时,在摄像器件1中,基于相同摄像像素P1A的光电二极管PD1和光电二极管PD2之间的电荷量的比率来执行光晕检测。因此,光电二极管PD1和光电二极管PD2具有相同的累积时段T10,并且具有将要使用的相同的AD转换部ADC。光电二极管PD1的形成位置和光电二极管PD2的形成位置彼此靠近。因此,在摄像器件1中,可以提高光晕检测的精度。
此外,在摄像器件1中,以像素线L为单位执行光晕检测,从而使得电路配置简单。即,例如,在获得一个拍摄图像并且基于该拍摄图像执行光晕检测的情况下,例如由于帧存储器的必要性等,可能增加电路组件。同时,在摄像器件1中,以像素线L为单位执行光晕检测,因此例如可以省略帧存储器等,从而使得电路配置简单。
此外,在摄像器件1中,基于拍摄图像来确定照度(亮度),并且在照度在预定范围内的情况下执行光晕检测,从而使得可以提高光晕检测的精度。也就是说,例如在照度高的情况下,例如,存在由光电二极管PD1引起的电荷量饱和的可能性,从而导致存在不能准确地检测光晕的可能性。此外,例如在照度较低的情况下,由光电二极管PD2引起的S/N比降低,从而导致存在无法正确检测光晕的可能性。在摄像器件1中,在照度在预定范围内的情况下执行光晕检测。因此,在不使由光电二极管PD1引起的电荷量饱和并且不降低由光电二极管PD2引起的S/N比的范围内执行光晕检测,从而使得可以提高光晕检测的精度。
效果
如上所述,在本实施例中,在普通摄像操作时段执行光晕检测,因此使得可以检测在稍后阶段可能发生的可能的光电二极管异常,从而可以增强拍摄图像的可靠性。
在本实施例中,基于在多个像素中的每个像素中由光电二极管PD1引起的电荷量与由光电二极管PD2引起的电荷量之间的比率来执行光晕检测,因此可以提高光晕检测的精度。
在本实施例中,以像素线为单位执行光晕检测,因此使得电路配置简单。
在本实施例中,基于拍摄图像确定照度,并且在照度在预定范围内的情况下执行光晕检测,因此可以提高光晕检测的精度。
变形例1-1
在前述实施例中,在照度在预定范围内的情况下执行光晕检测,但是并不限于此。例如,在执行光晕检测的情况下,可以通过机械快门等进行调整以使照度在预定范围内。图16示出了根据本变形例的摄像系统100的配置示例。摄像系统100包括镜头101、快门102、摄像部103和控制器104。镜头101在摄像部103的成像表面上形成图像。快门102是根据来自控制器104的指令进行操作的机械快门。摄像部103拍摄图像,并且对应于前述实施例的摄像器件1。控制器104控制快门102和摄像部103中的每一个的操作。控制器104控制快门102的操作以在例如摄像部103执行光晕检测的情况下允许照度在预定范围内。
变形例1-2
在前述实施例中,为多个摄像像素P1和多个遮光像素P2中的每一个设置两个光电二极管PD1和光电二极管PD2,但这并非是限制性的。下面,详细描述根据本变形例的摄像器件2。
图17示出了摄像器件2的配置示例。摄像器件2包括像素阵列109、扫描部110、读出部20、摄像控制部130和信号处理部140。
在像素阵列109中,多个像素P以矩阵形式布置。多个像素P包括多个摄像像素P11和多个遮光像素P12。多个摄像像素P11设置在普通像素区域R1中,多个遮光像素P12设置在遮光像素区域R2中。
图18示出了普通像素区域R1中的摄像像素P11的配置示例。像素阵列109在普通像素区域R1中包括多条控制线TGLL、多条控制线RSTL、多条控制线SELL和多条信号线SGL。控制线TGLL沿水平方向(图18中的横向方向)延伸,并且信号STG由扫描部110施加到控制线TGLL。控制线RSTL沿水平方向延伸,并且信号SRST由扫描部110施加到控制线RSTL。控制线SELL沿水平方向延伸,并且信号SSEL由扫描部110施加到控制线SELL。信号线SGL在垂直方向(图18中的纵向方向)上延伸,并耦合到读出部20。
摄像像素P11包括光电二极管PD、晶体管TG、晶体管RST、浮动扩散部FD以及晶体管AMP和晶体管SEL。在该示例中,晶体管TG、晶体管RST和晶体管SEL均是N型MOS晶体管。光电二极管PD是光电转换元件,其生成与光接收量相对应的量的电荷并将其存储在内部。光电二极管PD的阳极接地,并且其阴极耦合到晶体管TG的源极。晶体管TG的栅极耦合至控制线TGLL,其源极耦合至光电二极管PD的阴极,并且其漏极耦合至浮动扩散部FD。晶体管RST的栅极耦合至控制线RSTL,并且电源电压VDD被提供至其漏极,并且其源极耦合至浮动扩散部FD。
该配置基于施加到控制线SELL的信号SSEL使摄像像素P11中的晶体管SEL进入导通状态,从而使摄像像素P11电耦合到信号线SGL。此外,摄像像素P11将与浮动扩散部FD中的电压相对应的像素电压VP作为信号SIG输出至信号线SGL。具体地,如下所述,摄像像素P11在所谓的水平时段H内的两个时段(P相时段TP和D相时段TD)期间依次输出两个像素电压VP(VP11和VP12)。
图19示出了普通像素区域R1中的光电二极管PD的布置的示例。在图19中,“R”表示红色滤色器,“G”表示绿色滤色器,“B”表示蓝色滤色器。光电二极管PD以矩阵形式布置。
接下来说明遮光像素区域R2中的遮光像素P12。类似于普通像素区域R1(图2),在遮光像素区域R2中,像素阵列109包括多条控制线TGLL、多条控制线RSTL、多条控制线SELL和多条信号线SGL。类似于摄像像素P11(图18),遮光像素P12包括光电二极管PD、晶体管TG、晶体管RST、浮动扩散部FD以及晶体管AMP和晶体管SEL。与摄像像素P11不同,遮光像素P12被遮光,以防止光进入光电二极管PD。
扫描部110(图17)基于来自摄像控制部130的指令以像素线L为单位依次驱动像素阵列109中的摄像像素P11和遮光像素P12。扫描部110包括地址解码器11、逻辑部112和驱动器部113。逻辑部112基于来自地址解码器11的指令生成对应于各个像素线L的信号STG1、信号SRST1和信号SSEL1中的每一个。驱动器部113基于与各像素线L相对应的信号STG1、信号SRST1和信号SSEL1生成与各像素线L相对应的信号STG、信号SRST和信号SSEL中的每一个。
摄像控制部130(图17)向扫描部110、读出部20和信号处理部140提供控制信号,并控制这些电路的操作,从而控制摄像器件2的操作。摄像控制部130包括参考信号生成器131。参考信号生成器131生成参考信号REF。参考信号REF具有所谓的斜坡波形,其中,在用于执行AD转换的两个时段(P相时段TP和D相时段TD)期间,电压电平随着时间的流逝而逐渐降低。
信号处理部140包括图像处理器141和光晕检测器142。
图像处理器141对由图像信号DATA0表示的图像执行预定的图像处理。预定图像处理包括例如暗电流校正处理。在暗电流校正处理中,图像处理器141从图像信号DATA0中包括的数字代码CODE中减去光电二极管PD的暗电流的贡献部分。此后,图像处理器141输出已经经过预定图像处理的拍摄图像作为图像信号DATA。
光晕检测器142针对属于同一列的两个摄像像素P11A和摄像像素P11B(图19),通过基于图像信号DATA0中包括的数字代码CODE检测摄像像素P11A的光电二极管PD是否处于饱和状态、摄像像素P11B的光电二极管PD是否处于饱和状态以及由摄像像素P11A的光电二极管PD引起的电荷量和由摄像像素P11B的光电二极管PD引起的电荷量之间的比率(电荷比RQ)是否在预定范围内,进行光晕检测。两个摄像像素P11A和摄像像素P11B是耦合到相同信号线SGL的像素,并且是其中形成有如图19所示的相同颜色的滤色器的像素。期望摄像像素P11A和摄像像素P11B彼此靠近。
例如,当将摄像像素P11A所属的像素线L中的多个摄像像素设置为第一像素组并且将摄像像素P11B所属的像素线L中的多个摄像像素设置为第二像素组,第一像素组中的多个像素和第二像素组中的多个像素彼此关联以形成多个像素对。例如,摄像像素P11A和摄像像素P11B形成像素对。例如,在图19中,属于第一像素组的绿色(G)的像素P11C和属于第二像素组的绿色(G)的像素P11D形成像素对。例如,属于第一像素组的红色(R)的像素P11E和属于第二像素组的红色(R)的像素P11F形成像素对。光晕检测器142能够针对多个像素对中的每一对,通过检测属于第一像素组的摄像像素P11的光电二极管PD是否处于饱和状态、属于第二像素组的摄像像素P11的光电二极管PD是否处于饱和状态以及两个光电二极管PD之间的电荷量的比率是否在预定范围内来进行光晕检测。
类似地,光晕检测器142针对属于同一列的两个遮光像素P12A和遮光像素P12B,通过基于图像信号DATA0中包括的数字代码CODE检测遮光像素P12A的光电二极管PD是否处于饱和状态、遮光像素P12B的光电二极管PD是否处于饱和状态以及由遮光像素P12A的光电二极管PD引起的电荷量和由遮光像素P12B的光电二极管PD引起的电荷量之间的比率(电荷比RQ)是否在预定范围内来进行光晕检测。
如图6所示,光晕检测器142基于摄像像素P11A的数字代码CODE(数字代码CODEA)和摄像像素P11B的数字代码CODE(数字代码CODEB)进行光晕检测。同样地,光晕检测器142基于遮光像素P12A的数字代码CODE(数字代码CODEA)和遮光像素P12B的数字代码CODE(数字代码CODEB)进行光晕检测。
在此,摄像像素P11和遮光像素P12对应于本公开中的“像素”的具体示例。光晕检测器142对应于本公开中的“诊断部”的具体示例。控制线TGLL对应于本公开中的“控制线”的具体示例。信号线SGL对应于本公开中的“信号线”的具体示例。浮动扩散部FD对应于本公开中的“累积部”的具体示例。晶体管TG对应于本公开中的“晶体管”的具体示例。
与摄像器件1(图8)的情况类似,在摄像器件2中,执行累积开始驱动D1和读出驱动D2。
图20示出了摄像器件2的操作示例,其中,(A)表示水平同步信号XHS的波形,(B)表示第0像素线L的控制线RSTL(0)中的信号SRST(0)的波形,(C)表示第0像素线L的控制线TGLL(0)中的信号STG(0)的波形,(D)表示第0像素线L的控制线SELL(0)中的信号SSEL(0)的波形,(E)表示第1像素线L的控制线RSTL(1)中的信号SRST(1)的波形,(F)表示第1像素线L的控制线TGLL(1)中的信号STG(1)的波形,(G)表示第1像素线L的控制线SELL(1)中的信号SSEL(1)的波形,(H)表示第2像素线L的控制线RSTL(2)中的信号SRST(2)的波形,(I)表示第2像素线L的控制线TGLL(2)中的信号STG(2)的波形,(J)表示第2像素线L的控制线SELL(2)中的信号SSEL(2)的波形。
在累积开始驱动D1中,扫描部110例如在水平时段H内的预定时段期间以像素线L为单位在垂直方向上从上方起依次将晶体管TG和晶体管RST设定为导通状态。这使得电荷能够在持续到执行读出驱动D2的累积时段T10期间在多个像素P的每个中累积。
此外,在读出驱动D2中,扫描部110例如以像素线L为单位在垂直方向上从上方起依次控制晶体管TG、晶体管RST和晶体管SEL的操作。这使得多个像素P均能够依次输出三个像素电压(VP11和VP12)。读出部120基于这两个像素电压VP11和VP12至VP8中的每一个执行AD转换,并且输出数字代码CODE。
图21示出了针对摄像像素P11A中的读出驱动D2的操作示例,其中,(A)表示水平同步信号XHS的波形,(B)表示信号SRST的波形,(C)表示信号STG的波形,(D)表示信号SSEL的波形,(E)表示参考信号REF的波形,(F)表示信号SIG的波形,(G)表示从AD转换部ADC的比较器24输出的信号CMP的波形,(H)表示时钟信号CLK的波形,(I)表示AD转换部ADC的计数器25中的计数值CNT。在此,在图21的(E)和(F)中,各个信号的波形在同一电压轴上表示。图21的(E)的参考信号REF表示比较器24的正输入端的波形,图22的(F)的信号SIG表示比较器24的负输入端的波形。
在摄像器件2中,在特定水平时段(H)中,扫描部110首先对摄像像素P11A进行复位操作,并且AD转换部ADC基于在随后的P相时段TP期间摄像像素P11A输出的像素电压VP1进行AD转换。之后,扫描部110对摄像像素P11A进行电荷传输操作,AD转换部ADC基于在D相时段TD期间摄像像素P11A输出的像素电压VP2进行AD转换。下面,详细描述该操作。
首先,当水平时段H在时刻t91开始时,扫描部110在时刻t92将信号SSEL的电压从低电平改变为高电平(图21的(D))。这使得摄像像素P11A中的晶体管SEL进入导通状态,从而使摄像像素P11A电耦合到信号线SGL。
接下来,在时刻t93,扫描部110将信号SRST的电压从低电平改变为高电平(图21的(B))。这使得摄像像素P11A中的晶体管RST进入导通状态,导致浮动扩散部FD的电压被设置为电源电压VDD(复位操作)。
接下来,在时刻t94,扫描部110将信号SRST的电压从高电平改变为低电平(图21的(B))。这使摄像像素P11A中的晶体管RST成为截止状态。此外,比较器24执行零位调整,其中,在时刻t94至时刻t95的时段期间正输入端和负输入端电耦合在一起。
接下来,在时刻t95,比较器24结束零位调整以将正输入端和负输入端彼此电性断开。此外,在时刻t95,参考信号生成器131将参考信号REF的电压改变为电压V1(图21的(E))。
在摄像像素P11A中,这使晶体管SEL进入导通状态,并且使晶体管TG和晶体管RST中的每一个进入截止状态。浮动扩散部FD在时刻t93到时刻94的时段内保持浮动扩散部FD复位时的电荷。摄像像素P11A输出对应于当时的浮动扩散部FD的电压的像素电压VP(像素电压VP11)。
接下来,在时刻t96至时刻t98的时段(P相时段TP)期间,读出部20基于像素电压VP11执行AD转换。具体地,首先,在时刻t96,摄像控制部130开始生成时钟信号CLK(图21的(H))。同时,参考信号生成器131以预定的变化程度开始从电压V1降低参考信号REF的电压(图21的(E))。因此,AD转换部ADC的计数器25开始计数操作,并依次改变计数值CNT(图21的(I))。
此外,在时刻t97,参考信号REF的电压下降到像素电压VP11以下(图21的(E)和(F))。因此,AD转换部ADC的比较器24将信号CMP的电压从高电平改变为低电平(图21的(G))。结果,计数器25停止计数操作(图21的(I))。
接下来,在时刻t98,摄像控制部130随着P相时段TP的结束停止生成时钟信号CLK(图21的(H))。同时,参考信号生成器131停止改变参考信号REF的电压,并且随后在时刻t99将参考信号REF的电压改变为电压V1(图21的(E))。随之,参考信号REF的电压超过了像素电压VP11(图21的(E)和(F)),因此AD转换部ADC的比较器24将信号CMP的电压从低电平变为高电平(图21的(G))。
接下来,在时刻t100,AD转换部ADC的计数器25基于控制信号CC使计数值CNT的极性反转(图21的(I))。
接下来,在时刻t101,扫描部110将信号STG的电压从低电平改变为高电平(图21的(C))。这使得摄像像素P11A中的晶体管TG进入导通状态。结果,在光电二极管PD处生成的电荷被传输到浮动扩散部FD(电荷传输操作)。信号SIG的电压因此降低(图21的(F))。
之后,在时刻t102,扫描部110将信号STG的电压从高电平改变为低电平(图21的(C))。这使摄像像素P11A中的晶体管TG进入截止状态。
在摄像像素P11A中,这使晶体管SEL进入导通状态,并且使晶体管TG和晶体管RST中的每一个进入截止状态。浮动扩散部FD保持在时刻t101至时刻102的时段期间从光电二极管PD传输来的电荷。摄像像素P11A输出与当时的浮动扩散部FD中的电压相对应的像素电压VP(像素电压VP12)。
接下来,在时刻t103至时刻t105的时段(D相时段TD)期间,读出部20基于像素电压VP12执行AD转换。具体地,首先,在时刻t103,摄像控制部130开始生成时钟信号CLK(图21的(H))。同时,参考信号生成器131以预定的变化程度开始从电压V1降低参考信号REF的电压(图21的(E))。因此,AD转换部ADC的计数器25开始计数操作,并依次改变计数值CNT(图21的(I))。
此外,在时刻t104,参考信号REF的电压下降到像素电压VP12以下(图21的(E)和(F))。因此,AD转换部ADC的比较器24将信号CMP的电压从高电平改变为低电平(图21的(G))。结果,计数器25停止计数操作(图21的(I))。以这种方式,AD转换部ADC获得与像素电压VP11和像素电压VP12之间的差相对应的计数值CNT。此后,AD转换部ADC的锁存器26输出该计数值CNT作为数字代码CODE。
接下来,在时刻t105,摄像控制部130随着D相时段TD的结束而停止生成时钟信号CLK(图21的(H))。同时,参考信号生成器131停止改变参考信号REF的电压,并且此后在时刻t106将参考信号REF的电压改变为电压V2(图21的(E))。随之,参考信号REF的电压超过了像素电压VP12(图21的(E)和(F)),因此AD转换部ADC的比较器24将信号CMP的电压从低电平变为高电平(图21的(G))。
接下来,在时刻t107,扫描部110将信号SSEL的电压从高电平改变为低电平(图21的(D))。这使摄像像素P11A中的晶体管SEL进入截止状态,从而使摄像像素P11A与信号线SGL电隔离。
此后,在时刻t108,AD转换部ADC的计数器25基于控制信号CC将计数值CNT复位为“0”(图21的(I))。
以此方式,在摄像器件2中,在P相时段TP期间基于像素电压VP11执行计数操作,使计数值CNT的极性反转,然后,在D相时段TD期间基于像素电压VP12执行计数操作。这使得摄像器件2能够获得与像素电压VP11和像素电压VP12之间的电压差相对应的数字代码CODE。在摄像器件2中,执行这样的相关双采样,从而使得能够去除像素电压VP12中包括的噪声分量。因此,能够提高拍摄图像的图像质量。
变形例1-3
在前述实施例中,例如,耦合至相同的控制线TGLL、控制线FDGL、控制线RSTL、控制线FCGL、控制线TGSL和控制线SELL的多个像素在像素阵列9中沿水平方向布置,但是,这不是限制性的。可替代地,例如,如图22所示的摄像器件1C中,可以将耦合到相同控制线TGLL、控制线FDGL、控制线RSTL、控制线FCGL、控制线TGSL和控制线SELL的多个(在该示例中为四个)像素沿垂直方向布置。摄像器件1C包括:像素阵列9C、扫描部10C、读出部20C1和读出部20C2、摄像控制部30C以及信号处理部40C。像素阵列9C的偶数(第0、第2、第4…)信号线SGL耦合至读出部20C1,而像素阵列9C的奇数(第1、第3、第5…)信号线SGL耦合至读出部20C2。控制线TGLL、控制线FDGL、控制线RSTL、控制线FCGL、控制线TGSL和控制线SELL耦合至扫描部10C。在该示例中,耦合至相同控制线TGLL、控制线FDGL、控制线RSTL、控制线FCGL、控制线TGSL和控制线SELL的四个像素P沿垂直方向(图22中的纵向)布置。扫描部10C包括逻辑部12C和驱动器部13C。读出部20C1基于从像素阵列9通过偶数信号线SGL提供的信号SIG执行AD转换,从而生成图像信号DATAC1。读出部20C2基于从像素阵列9通过奇数信号线SGL提供的信号SIG执行AD转换,从而生成图像信号DATAC2。信号处理部40C对由图像信号DATAC1和图像信号DATAC2中的每一个表示的图像执行信号处理。
变形例1-4
在上述实施例中,例如,信号处理部40的光晕检测器42进行光晕检测,但是,这不是限制性的。另外,例如,可以校正拍摄图像中被检测到光晕的像素的像素值。图23示出根据本变形例的摄像器件1D的配置示例。摄像器件1D包括信号处理部40D。信号处理部40D包括光晕检测器42D和图像处理器41D。与根据前述实施例的光晕检测器42类似,光晕检测器42D检测光晕。此外,光晕检测器42D还具有将用于指定被检测到光晕的一个或多个像素的坐标信息INF2提供给图像处理器41D的功能。图像处理器41D具有以下功能:基于该坐标信息INF2指定被检测到光晕的一个或多个像素,并且基于围绕该一个或多个像素的多个像素的像素值来校正被检测到光晕的该一个或多个像素的像素值。
在该示例中,摄像器件1D校正被检测到光晕的像素的像素值,但是,这不是限制性的。摄像器件1D的后级的电路可以校正被检测到光晕的像素的像素值。图24示出根据本变形例的摄像器件1E的配置示例。摄像器件1E包括信号处理部40E。信号处理部40E包括光晕检测器42D和图像处理器41。光晕检测器42D还具有输出用于指定被检测到光晕的一个或多个像素的坐标信息INF2的功能。摄像器件1D的后级的处理器件5基于摄像器件1E提供的该坐标信息INF2来指定被检测到光晕的一个或多个像素,并基于摄像器件1E提供的图像信号DATA中包括的围绕该一个或多个像素的多个像素的像素值来校正被检测到光晕的该一个或多个像素的像素值。例如,可以使用应用处理器等来配置处理器件5。
变形例1-5
在前述实施例中,如图7所示,摄像器件1形成在一个半导体基板200上,但是,这不是限制性的。可替代地,例如,如图25中所示的摄像器件1F,可以在多个(在该示例中为两个)半导体基板(半导体基板301和半导体基板302)上形成。在该示例中,半导体基板301和半导体基板302彼此重叠,并且通过多个通孔303彼此耦合。例如,可以在半导体基板301上形成像素阵列9。此外,可以在半导体基板302上形成扫描部10、读出部20、摄像控制部30以及信号处理部40。例如,半导体基板301上的多条控制线TGLL、控制线FDGL、控制线RSTL、控制线FCGL、控制线TGSL和控制线SELL通过多个通孔303A耦合到半导体基板302上的扫描部10。此外,例如,半导体基板301上的多条信号线SGL通过多个通孔303B耦合至半导体基板302上的读出部20。要注意的是,每个电路的布置不限于此,例如,可以在半导体基板301上形成扫描部10。
变形例1-6
在前述实施例中,每个AD转换部ADC耦合到像素阵列9中的一列的多个像素P,但是,这不是限制性的。可替代地,例如,如图26所示的摄像器件1G,每个AD转换部ADC可以耦合到属于预定区域的多个像素P。摄像器件1G形成在两个半导体基板401和半导体基板402上。像素阵列9形成在半导体基板401上。像素阵列9分为多个(在此示例中为21个)区域AR,每个区域AR包括多个(在该示例中为160个)像素P。读出部20形成在半导体基板402上。具体地,在半导体基板402上,耦合到属于区域AR的多个像素P的AD转换部ADC形成在与对应于半导体基板401上的相应多个区域AR的多个区域中的每个区域上。半导体基板401和半导体基板402彼此重叠,并且例如通过使用Cu-Cu耦合的耦合部403彼此电耦合。要注意的是,在该示例中,像素阵列9被划分为21个区域AR,但是,这不是限制性的。可替代地,可以划分成20个或更少的区域AR,或划分成22个或更多的区域AR。此外,在该示例中,在每个区域AR中设置160个像素P,但是,这不是限制性的。可替代地,例如,可以设置159个以下的像素P或161个以上的像素P。
其他变形例
此外,可以组合这些变形例中的两个或更多个。
<2.摄像器件的使用示例>
图27示出根据前述实施例的摄像器件1等的使用示例。如下所述,上述摄像器件1等可以用于各种情况,例如感测诸如可见光、红外光、紫外光和X射线等光。
拍摄要用于欣赏的图像的设备,例如数码相机和配备相机功能的手机。
·用于交通安全驾驶的设备,包括自动停止以及用于识别驾驶员的状态等,例如拍摄车辆前方、后方、周围、内部等的车载传感器,监视行驶中的车辆和道路的监视相机,以及测量车辆之间的距离的距离测量传感器等。
·用于家用电器的设备,如电视机、冰箱和空调等,用于拍摄用户的手势并根据该手势执行设备操作。
·用于医疗保健的设备,例如内窥镜和通过接收红外光来拍摄血管的设备。
·用于安全的设备,例如用于犯罪预防应用的监视相机和用于人员认证应用的相机。
·用于美容的设备,例如拍摄皮肤的皮肤测量仪器和拍摄头皮的显微镜。
·用于运动的设备,例如用于运动应用的运动相机和可穿戴式相机等。
·用于农业的设备,例如用于监视田地和农作物状态的相机。
<3.应用于移动体的示例>
根据本公开的技术(本技术)可以应用于各种产品。例如,根据本公开的技术可以实现为一种安装在任何类型的移动体上的设备,例如汽车、电动汽车、混合动力电动汽车、两轮车、自行车、个人移动装置、飞机、无人机、船只和机器人。
图28是示出作为可应用根据本公开实施例的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的框图。
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图28所示的示例中,车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。另外,示出微型计算机12051、声音/图像输出部12052和车载网络接口(I/F)12053作为集成控制单元12050的功能配置。
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统有关的设备的操作。例如,驱动系统控制单元12010用作以下设备的控制装置:诸如内燃机、驱动马达等用于生成车辆的驱动力的驱动力生成设备,用于将驱动力传递给车轮的驱动力传递机构,用于调节车辆的转向角的转向机构,用于生成车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序控制设置在车身的各种装置的操作。例如,车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗设备或各种灯(如前大灯、倒车灯、制动灯、转向灯、雾灯等)的控制设备。在这种情况下,可以将从移动设备发送的无线电波替代钥匙或各种开关的信号输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号,并且控制车辆的门锁设备、电动车窗设备、灯等。
车外信息检测单元12030检测关于包括车辆控制系统12000的车辆外部的信息。例如,车外信息检测单元12030与摄像部12031连接。车外信息检测单元12030使摄像部12031对车辆外部的图像进行拍摄,并接收所拍摄的图像。车外信息检测单元12030可以基于接收到的图像进行诸如路面上的人、车辆、障碍物、标志、符号等物体的检测处理,或者进行到其距离的检测处理。
摄像部12031是接收光的光学传感器,并且输出与光的接收光量相对应的电信号。摄像部12031可以将电信号输出为图像,或者可以将电信号输出为关于所测距离的信息。另外,由摄像部12031接收的光可以是可见光,或者可以是诸如红外线等不可见光。
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测部12041连接。驾驶员状态检测部12041例如包括对驾驶员进行拍摄的相机。基于从驾驶员状态检测部12041输入的检测信息,车内信息检测单元12040可以计算出驾驶员的疲劳度或驾驶员的专注度,或者可以判断驾驶员是否在打瞌睡。
微型计算机12051可以基于通过车外信息检测单元12030或车内信息检测单元12040获得的有关车辆内部或外部的信息来计算驱动力生成设备、转向机构或制动设备的控制目标值,并向驱动系统控制单元12010输出控制命令。例如,微型计算机12051可以执行协作控制,以实现高级驾驶员辅助系统(ADAS)的功能,该功能包括车辆碰撞避免或减震、基于跟随距离的跟随驾驶、车辆速度保持驾驶、车辆碰撞警告、车辆偏离车道警告等。
另外,微型计算机12051可以通过基于车外信息检测单元12030或车内信息检测单元12040获得的有关车辆外部或内部的信息控制驱动力生成设备、转向机构、制动设备等,来执行旨在自动驾驶的协同控制,使车辆不依赖驾驶员的操作等而自主行驶。
另外,微型计算机12051可以基于车外信息检测单元12030获得的关于车辆外部的信息向车身系统控制单元12020输出控制命令。例如,微型计算机12051可以通过根据车外信息检测单元12030所检测到的在前车辆或迎面车辆的位置例如控制前照灯从远光变为近光,进行旨在防止眩光的协同控制。
声音/图像输出部12052将声音和图像中的至少一个的输出信号传输到能够在视觉上或听觉上将信息通知给车辆的乘客或车辆外部的输出设备。在图28的示例中,示出音频扬声器12061、显示部12062和仪表盘12063作为输出设备。显示部12062可以例如包括车载显示器和抬头显示器(head-up display)中的至少一者。
图29是示出摄像部12031的安装位置的示例的图。
在图29中,摄像部12031包括摄像部12101、摄像部12102、摄像部12103、摄像部12104和摄像部12105。
摄像部12101、摄像部12102、摄像部12103、摄像部12104和摄像部12105例如设置在车辆12100的前鼻、后视镜、后保险杠和后门上的位置以及车辆内部的挡风玻璃上部的位置。设置在前鼻的摄像部12101和设置在车辆内部的挡风玻璃上部的摄像部12105主要获得车辆12100的前部的图像。设置在后视镜的摄像部12102和摄像部12103主要获得车辆12100侧面的图像。设置在后保险杠或后门上的摄像部12104主要获得车辆12100后部的图像。设置在车辆内部的挡风玻璃上部的摄像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及,图29示出了摄像部12101至摄像部12104的摄像范围的示例。摄像范围12111表示设置在前鼻的摄像部12101的摄像范围。摄像范围12112和摄像范围12113分别表示设置在后视镜的摄像部12102和摄像部12103的摄像范围。摄像范围12114表示设置在后保险杠或后门的摄像部12104的摄像范围。例如,通过叠加由摄像部12101至摄像部12104拍摄的图像数据来获得从上方观看的车辆12100的鸟瞰图像。
摄像部12101至摄像部12104中的至少一个可以具有获得距离信息的功能。例如,摄像部12101至摄像部12104中的至少一个可以是由多个摄像元件构成的立体相机,或者可以是具有用于相位差检测的像素的摄像元件。
例如,微型计算机12051可以基于从摄像部12101至摄像部12104获得的距离信息来确定距摄像范围12111至摄像范围12114内的每个三维物体的距离以及该距离的时间变化(相对于车辆12100的相对速度),从而提取特别是在车辆12100的行进路径上并且在以预定速度(例如,等于或大于0km/h)沿与车辆12100基本相同的方向行进的最近三维物体作为前车。此外,微型计算机12051可以预先设定要保持在前方车辆前方的跟随距离,并执行自动制动控制(包括跟随停止控制)、自动加速控制(包括跟随起动控制)等。因此,可以执行旨在用于自动驾驶的协同控制,该协同控制使车辆自主地行驶而无需依赖驾驶员等的操作。
例如,微型计算机12051可以基于从摄像部12101至摄像部12104获得的距离信息,将三维物体的三维物体数据分类为两轮车、标准尺寸车辆、大型车辆、行人、电线杆和其它三维物体的三维物体数据,提取分类的三维物体数据,并将提取的三维物体数据用于自动避开障碍物。例如,微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以视觉识别的障碍物以及车辆12100的驾驶员难以视觉识别的障碍物。然后,微型计算机12051确定表示与每个障碍物发生碰撞的危险的碰撞风险。在碰撞风险等于或高于设定值并可能发生碰撞的情况下,微型计算机12051会通过音频扬声器12061或显示部12062向驾驶员发出警告,并通过驱动系统控制单元12010执行强制减速或规避转向。微型计算机12051由此可以协助驾驶以避免碰撞。
摄像部12101至摄像部12104中的至少一个可以是检测红外线的红外相机。微型计算机12051可以例如通过确定摄像部12101至摄像部12104的拍摄图像中是否存在行人来识别行人。对行人的这种识别例如通过以下步骤来执行:提取作为红外相机的摄像部12101至摄像部12104的拍摄图像中的特征点的步骤,以及通过对代表对象轮廓的一系列特征点执行模式匹配处理来确定是否为行人的步骤。当微型计算机12051确定在摄像部12101至摄像部12104的拍摄图像中有行人,从而识别出该行人时,声音/图像输出部12052控制显示部12062,使得显示用于强调的方形轮廓线以叠加在识别出的行人上。声音/图像输出部12052还可以控制显示部12062,使得表示行人的图标等被显示在期望的位置。
上面已经给出了可以应用本公开的技术的车辆控制系统的示例的说明。可以将根据本公开的技术应用于如上所述的配置中的摄像部12031。这使得车辆控制系统12000能够通过执行诊断处理来诊断摄像部12031是否正常工作。此外,例如,在摄像部12031发生故障的情况下,将诊断结果通知给微型计算机12051,使得车辆控制系统12000能够掌握摄像部12031已发生故障。例如,这使得能够在车辆控制系统12000中执行诸如引起驾驶员的注意之类的适当处理,从而可以提高可靠性。此外,在车辆控制系统12000中,可以基于诊断处理的结果来限制控制车辆的功能。控制车辆的功能的具体示例包括车辆的避免碰撞或减轻冲击的功能、基于跟随距离的跟随驾驶功能、车速保持驾驶功能、警告车辆碰撞的功能、警告车辆偏离车道的功能等。在由于诊断处理而确定摄像部12031已经发生故障的情况下,可以限制或禁止控制车辆的功能。具体地,车辆控制系统12000可以控制刹车、发动机输出和变速器。这使得在车辆控制系统12000中能够防止由于基于摄像部12031的故障的检测错误而引起的事故。
此外,例如,在车辆控制系统12000包括两个冗余摄像部12031(摄像部12031A和摄像部12031B)的情况下,当确定一个摄像部12031A发生故障时,可以操作另一个摄像部12031B。此外,例如,在车辆控制系统12000除了摄像部12031之外还包括检测距目标物体的距离的测距部(例如,LIDAR设备(光检测测距)或TOF(飞行时间)图像传感器)的情况下,当确定摄像部12031已经发生故障时,可以操作测距部。即使在这种情况下,也可以至少检测距目标物体的距离,从而可以防止由基于摄像部12031的故障的检测错误而引起的事故。
上文已经参考实施例、变形例及其具体应用示例对本技术进行了说明。然而,本技术不限于该实施例等,并且可以以各种方式进行改变。
例如,如图12所示,在摄像器件1中,读出部20输出数字代码CODE2和数字代码CODE3,并且图像处理器41从数字代码CODE3中减去数字代码CODE2(CODE3-CODE2),从而计算像素值VAL1,但是,这不是限制性的。可替代地,类似于根据第二实施例的摄像器件2的情况(图21),读出部20可以在转换时段T2后通过反转计数值CNT的极性来输出与数字代码CODE2和数字代码CODE3之间的差相对应的数字代码CODE。数字代码CODE5和数字代码CODE6也是如此,数字代码CODE7和数字代码CODE8也是如此。
此外,例如,如图12所示,在摄像器件1中,读出部20输出数字代码CODE1和数字代码CODE4,并且图像处理器41从数字代码CODE4中减去数字代码CODE1(CODE4-CODE1),从而计算像素值VAL2,但是,这不是限制性的。可替代地,在转换时段T1之后,读出部20可以将此时的计数值CNT存储在内部,并且,在转换时段T4之前,可以设置计数器25中的计数值CNT并且反转计数值CNT的极性。即使在这种情况下,类似于根据第二实施例的摄像器件2的情况(图21),读出部20也可以输出与数字代码CODE1和数字代码CODE4之间的差相对应的数字代码CODE。
此外,例如,摄像器件1不限于图1等所示的配置,并且可以适当改变。同样地,例如,摄像器件2不限于图17等所示的配置,并且可以适当改变。
要注意的是,本文描述的效果仅是示例性的而不是限制性的,并且可以具有其他效果。
要注意的是,本技术可以包括以下配置。
(1)
一种摄像器件,其包括:
多个像素,其均包括第一受光元件和第二受光元件,所述多个像素包括第一像素;
生成部,其能够基于所述多个像素中每个像素的所述第一受光元件的光接收结果生成第一检测值,并且能够基于所述多个像素中每个像素的所述第二受光元件的光接收结果生成第二检测值;以及
诊断部,其能够基于检测比率执行诊断处理,所述检测比率是所述第一像素中的所述第一检测值与所述第二检测值的比率。
(2)
根据(1)所述的摄像器件,其中,除了基于所述第一像素中的所述检测比率,所述诊断部还能够基于所述第一像素中的所述第一检测值是否饱和以及所述第一像素中的所述第二检测值是否饱和来执行所述诊断处理。
(3)
根据(2)所述的摄像器件,其中,
所述多个像素还包括第二像素,并且
所述诊断部还能够基于所述第二像素中的所述检测比率、所述第二像素中的所述第一检测值是否饱和以及所述第二像素中的所述第二检测值是否饱和来执行诊断处理。
(4)
根据(2)或(3)所述的摄像器件,其中,所述诊断部能够通过基于在所述多个像素的每个像素中所述检测比率是否在预定的检测比率范围内、所述第一检测值是否饱和以及所述第二检测值是否饱和生成检测模式,并且通过将所述检测模式与预定参考模式进行比较,来执行所述诊断处理。
(5)
根据(1)至(4)中任一项所述的摄像器件,还包括第一控制线,其中,所述多个像素各自还包括:
第一累积部,其能够累积电荷,
第一晶体管,其能够基于所述第一控制线中的电压将所述第一受光元件耦合至所述第一累积部;以及
输出部,其能够输出与所述第一累积部中的电压相对应的信号。
(6)
根据(5)所述的摄像器件,还包括:第二控制线;第三控制线;第四控制线;第五控制线,其中,所述多个像素均还包括:
第二晶体管,其能够基于所述第二控制线中的电压向预定节点施加预定电压,
第三晶体管,其能够基于所述第三控制线中的电压将所述预定节点和所述第一累积部彼此耦合,
第二累积部,其能够累积电荷,
第四晶体管,其能够基于所述第四控制线中的电压将所述第二受光元件和所述第二累积部彼此耦合,以及
第五晶体管,其能够基于所述第五控制线中的电压将所述第二累积部和所述预定节点彼此耦合。
(7)
根据(1)至(6)中的任一项所述的摄像器件,其中,所述第一受光元件的受光区域的尺寸与所述第二受光元件的受光区域的尺寸不同。
(8)
根据(1)至(7)中的任一项所述的摄像器件,其中,在每个像素中,所述第一受光元件可接收的光的颜色与所述第二受光元件可接收的光的颜色相同。
(9)
根据(1)至(8)中的任一项所述的摄像器件,其中,所述诊断部能够在照度在预定范围内的情况下执行所述诊断处理。
(10)
根据(1)至(9)中的任一项所述的摄像器件,其中,所述生成部包括转换电路,所述转换电路能够通过基于所述多个像素中每个像素的所述第一受光元件的所述光接收结果执行AD转换生成所述第一检测值,并且能够通过基于所述多个像素中每个像素的所述第二受光元件的所述光接收结果执行AD转换生成所述第二检测值。
(11)
一种摄像器件,其包括:
多个像素,其均包括受光元件,所述多个像素被分为第一像素组和第二像素组;
生成部,其能够基于属于所述第一像素组的所述多个像素中每个像素的所述受光元件的光接收结果生成第一检测值,并且能够基于属于所述第二像素组的所述多个像素中每个像素的所述受光元件的光接收结果生成第二检测值;以及
诊断部,其中,
属于所述第一像素组的所述多个像素和属于所述第二像素组的所述多个像素分别彼此关联以形成多个像素对,
所述多个像素对包括第一像素对,并且
所述诊断部能够基于检测比率执行诊断处理,所述检测比率为所述第一像素对中的所述第一检测值与所述第二检测值的比率。
(12)
根据(11)所述的摄像器件,其中,除了基于所述第一像素对中的所述检测比率,所述诊断部还能够基于所述第一像素对中的所述第一检测值是否饱和以及所述第一像素对中的所述第二检测值是否饱和来执行所述诊断处理。
(13)
根据(12)所述的摄像器件,其中,
所述多个像素对包括第二像素对,以及
所述诊断部还能够基于所述第二像素对中的所述检测比率、所述第二像素对中的所述第一检测值是否饱和以及所述第二像素对中的所述第二检测值是否饱和来执行所述诊断处理。
(14)
根据(12)或(13)所述的摄像器件,其中,所述诊断部能够通过基于在所述多个像素对的每个像素对中所述检测比率是否在预定的检测比率范围内、所述第一检测值是否饱和以及所述第二检测值是否饱和生成检测模式,并且通过将所述检测模式与预定参考模式进行比较,来执行所述诊断处理。
(15)
根据(11)至(14)中的任一项所述的摄像器件,还包括信号线,其中,所述第一像素对的两个像素中的每个像素均还包括:
累积部,其能够累积电荷,
晶体管,其能够通过进入导通状态将所述受光元件耦合到所述累积部,以及
输出部,其能够将与所述累积部中的电压相对应的信号输出到所述信号线。
(16)
根据(11)至(15)中的任一项所述的摄像器件,其中,每个所述像素对中的两个像素的各受光元件可接收的光束的颜色彼此相同。
(17)
根据(11)至(16)中的任一项所述的摄像器件,还包括控制线,其中,属于所述第一像素组的所述多个像素各自还包括:
累积部,其能够累积电荷,
晶体管,其能够基于所述控制线中的电压将所述受光元件耦合到所述累积部,以及
输出部,其能够输出与所述累积部中的电压相对应的信号。
(18)
一种诊断方法,其包括:
基于各自包括第一受光元件和第二受光元件的多个像素中每个像素的所述第一受光元件的光接收结果生成第一检测值;
基于所述多个像素中每个像素的所述第二受光元件的光接收结果生成第二检测值;以及
基于检测比率执行诊断处理,所述检测比率为所述多个像素中的第一像素中的所述第一检测值与所述第二检测值的比率。
(19)
一种诊断方法,其包括:
基于属于多个像素的第一像素组的多个像素的每个像素的受光元件的光接收结果生成第一检测值,所述多个像素各自包括所述受光元件并且被分为所述第一像素组和第二像素组;
基于属于所述第二像素组的多个像素的每个像素的所述受光元件的光接收结果生成第二检测值;以及
基于检测比率执行诊断处理,所述检测比率为多个像素对的第一像素对中的所述第一检测值和所述第二检测值的比率,所述多个像素对由分别彼此关联的属于所述第一像素组的所述多个像素和属于所述第二像素组的所述多个像素形成。
相关申请的交叉引用
本申请要求于2017年12月28日提交的临时申请序列号62/611118的优先权的权益,其全部内容通过引用并入本文中。
附图标记列表
1、1C、1D、1E、1F、1G、2 摄像器件
5 处理器件
9、9C、109 像素阵列
10、10C、110 扫描部
11 地址解码器
12、12C、112 逻辑部
13、13C、113 驱动器部
20、20C1、20C2 读出部
21和22 电容器元件
23 电流源
24 比较器
25 计数器
26 锁存器
30、30C、130 摄像控制部
31和131 参考信号生成器
40、40C、40D、40E、140 信号处理部
41、41D、141 图像处理器
42、42D、142 光晕检测器
43 饱和度确定器
44 电荷比确定器
45 模式确定器
46和47 寄存器
51和53 乘法电路
52和54 比较器
55 或电路
100 摄像系统
101 镜头
102 快门
103 摄像部
104 控制器
200 半导体基板
201 逻辑电路部
202和203 端子部
301和302 半导体基板
303 通孔
401和402 半导体基板
AMP、FCG、FDG、RST、SEL、TG、TGL、TGS 晶体管
BUS 总线布线
CC 控制信号
CLK 时钟信号
CODE和CODE1至CODE8 数字代码
DATA、DATA0、DATAC1、DATAC2 图像信号
D1 累积开始驱动
D2 读出驱动
ER 检测标记信号
FC 电容器元件
FCGL、FDGL、RSTL、SELL、TGLL、TGSL 控制线
FD 浮动扩散部
INF 设定值信息
INF2 坐标信息
L 像素线
P 像素
P1和P11 摄像像素
P2和P12 遮光像素
PAT 确定结果模式
PATR 参考模式
PD、PD1、PD2 光电二极管
REF 参考信号
R1 普通像素区域
R2 遮光像素区域
SFCG、SFDG、SIG、SRST、SSEL、STG、STGL、STGS 信号
SSW 控制信号
SW 开关部
THmax和THmin 阈值
T10 累积时段
T20 空时段
VAL1至VAL4 像素值
VP1至VP8、VP11、VP12 像素电压
XHS 水平同步信号

Claims (16)

1.一种摄像器件,其包括:
多个像素,其均包括第一受光元件和第二受光元件,所述多个像素包括第一像素;
生成部,其能够基于所述多个像素中每个像素的所述第一受光元件的光接收结果生成第一检测值,并且能够基于所述多个像素中每个像素的所述第二受光元件的光接收结果生成第二检测值;以及
诊断部,其能够基于所述第一像素中的所述第一检测值是否饱和、所述第一像素中的所述第二检测值是否饱和以及检测比率执行诊断处理,所述检测比率是所述第一像素中的所述第一检测值与所述第二检测值的比率,
其中,所述第一受光元件的受光区域的尺寸与所述第二受光元件的受光区域的尺寸不同。
2.根据权利要求1所述的摄像器件,其中,
所述多个像素还包括第二像素,并且
所述诊断部还能够基于所述第二像素中的所述检测比率、所述第二像素中的所述第一检测值是否饱和以及所述第二像素中的所述第二检测值是否饱和来执行诊断处理。
3.根据权利要求1所述的摄像器件,其中,所述诊断部能够通过基于在所述多个像素的每个像素中所述检测比率是否在预定的检测比率范围内、所述第一检测值是否饱和以及所述第二检测值是否饱和生成检测模式,并且通过将所述检测模式与预定参考模式进行比较,来执行所述诊断处理。
4.根据权利要求1~3中任一项所述的摄像器件,还包括第一控制线,其中,所述多个像素各自还包括:
第一累积部,其能够累积电荷;
第一晶体管,其能够基于所述第一控制线中的电压将所述第一受光元件耦合至所述第一累积部;以及
输出部,其能够输出与所述第一累积部中的电压相对应的信号。
5.根据权利要求4所述的摄像器件,还包括:第二控制线,第三控制线,第四控制线,第五控制线,其中,所述多个像素各自还包括:
第二晶体管,其能够基于所述第二控制线中的电压向预定节点施加预定电压;
第三晶体管,其能够基于所述第三控制线中的电压将所述预定节点和所述第一累积部彼此耦合;
第二累积部,其能够累积电荷;
第四晶体管,其能够基于所述第四控制线中的电压将所述第二受光元件和所述第二累积部彼此耦合;以及
第五晶体管,其能够基于所述第五控制线中的电压将所述第二累积部和所述预定节点彼此耦合。
6.根据权利要求1~3中任一项所述的摄像器件,其中,在每个所述像素中,所述第一受光元件可接收的光的颜色与所述第二受光元件可接收的光的颜色相同。
7.根据权利要求1~3中任一项所述的摄像器件,其中,所述诊断部能够在照度在预定范围内的情况下执行所述诊断处理。
8.根据权利要求1~3中任一项所述的摄像器件,其中,所述生成部包括转换电路,所述转换电路能够通过基于所述多个像素中每个像素的所述第一受光元件的所述光接收结果执行AD转换生成所述第一检测值,并且能够通过基于所述多个像素中每个像素的所述第二受光元件的所述光接收结果执行AD转换生成所述第二检测值。
9.一种摄像器件,其包括:
多个像素,其均包括受光元件,所述多个像素被分为第一像素组和第二像素组;
生成部,其能够基于属于所述第一像素组的所述多个像素中每个像素的所述受光元件的光接收结果生成第一检测值,并且能够基于属于所述第二像素组的所述多个像素中每个像素的所述受光元件的光接收结果生成第二检测值;以及
诊断部,其中,
属于所述第一像素组的所述多个像素和属于所述第二像素组的所述多个像素分别彼此关联以形成多个像素对,属于每个所述像素对中的两个像素属于同一列,
所述多个像素对包括第一像素对,并且
所述诊断部能够基于所述第一像素对中的所述第一检测值是否饱和、所述第一像素对中的所述第二检测值是否饱和以及检测比率执行诊断处理,所述检测比率为所述第一像素对中的所述第一检测值与所述第二检测值的比率。
10.根据权利要求9所述的摄像器件,其中,
所述多个像素对包括第二像素对,并且
所述诊断部还能够基于所述第二像素对中的所述检测比率、所述第二像素对中的所述第一检测值是否饱和以及所述第二像素对中的所述第二检测值是否饱和来执行所述诊断处理。
11.根据权利要求9所述的摄像器件,其中,所述诊断部能够通过基于在所述多个像素对的每个像素对中所述检测比率是否在预定的检测比率范围内、所述第一检测值是否饱和以及所述第二检测值是否饱和生成检测模式,并且通过将所述检测模式与预定参考模式进行比较,来执行所述诊断处理。
12.根据权利要求9-11中任一项所述的摄像器件,还包括信号线,其中,所述第一像素对的两个像素中的每个像素均还包括:
累积部,其能够累积电荷;
晶体管,其能够通过进入导通状态将所述受光元件耦合到所述累积部;以及
输出部,其能够将与所述累积部中的电压相对应的信号输出到所述信号线。
13.根据权利要求9-11中任一项所述的摄像器件,其中,每个所述像素对中的两个像素的各受光元件可接收的光束的颜色彼此相同。
14.根据权利要求9-11中任一项所述的摄像器件,还包括控制线,其中,属于所述第一像素组的所述多个像素各自还包括:
累积部,其能够累积电荷;
晶体管,其能够基于所述控制线中的电压将所述受光元件耦合到所述累积部;以及
输出部,其能够输出与所述累积部中的电压相对应的信号。
15.一种诊断方法,其包括:
基于各自包括第一受光元件和第二受光元件的多个像素中每个像素的所述第一受光元件的光接收结果生成第一检测值;
基于所述多个像素中每个像素的所述第二受光元件的光接收结果生成第二检测值;以及
基于所述第一检测值是否饱和、所述第二检测值是否饱和以及检测比率执行诊断处理,所述检测比率为所述多个像素中的第一像素中的所述第一检测值与所述第二检测值的比率,
其中,所述第一受光元件的受光区域的尺寸与所述第二受光元件的受光区域的尺寸不同。
16.一种诊断方法,其包括:
基于属于多个像素的第一像素组的多个像素的每个像素的受光元件的光接收结果生成第一检测值,所述多个像素各自包括所述受光元件并且被分为所述第一像素组和第二像素组;
基于属于所述第二像素组的多个像素的每个像素的所述受光元件的光接收结果生成第二检测值;以及
基于检测比率执行诊断处理,所述检测比率为多个像素对的第一像素对中的所述第一检测值和所述第二检测值的比率,所述多个像素对由分别彼此关联的属于所述第一像素组的所述多个像素和属于所述第二像素组的所述多个像素形成。
CN201880065718.5A 2017-12-28 2018-10-15 摄像器件和诊断方法 Active CN111201781B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762611118P 2017-12-28 2017-12-28
US62/611,118 2017-12-28
PCT/JP2018/038300 WO2019130731A1 (en) 2017-12-28 2018-10-15 Imaging device and diagnosis method

Publications (2)

Publication Number Publication Date
CN111201781A CN111201781A (zh) 2020-05-26
CN111201781B true CN111201781B (zh) 2023-06-20

Family

ID=64083125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065718.5A Active CN111201781B (zh) 2017-12-28 2018-10-15 摄像器件和诊断方法

Country Status (4)

Country Link
US (1) US11330212B2 (zh)
EP (1) EP3732876B1 (zh)
CN (1) CN111201781B (zh)
WO (1) WO2019130731A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017163010A (ja) * 2016-03-10 2017-09-14 ソニー株式会社 撮像装置、電子機器
US11362121B2 (en) * 2020-01-28 2022-06-14 Omnivision Technologies, Inc. Light attenuation layer fabrication method and structure for image sensor

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4343484B2 (ja) 2002-02-26 2009-10-14 キヤノン株式会社 イメージデータ処理装置及び撮像システム
US7301571B2 (en) * 2003-01-17 2007-11-27 Fujifilm Corporation Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information
JP5158340B2 (ja) 2007-12-12 2013-03-06 ライオン株式会社 内服液組成物
JP5454894B2 (ja) 2009-12-16 2014-03-26 株式会社東芝 固体撮像装置およびその製造方法
JP2014106476A (ja) * 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法
JP6158340B2 (ja) * 2013-09-30 2017-07-05 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2016147885A1 (ja) * 2015-03-16 2016-09-22 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
KR102437588B1 (ko) * 2015-09-22 2022-08-30 삼성전자주식회사 영상 캡처 장치

Also Published As

Publication number Publication date
WO2019130731A1 (en) 2019-07-04
EP3732876A1 (en) 2020-11-04
CN111201781A (zh) 2020-05-26
US11330212B2 (en) 2022-05-10
EP3732876B1 (en) 2023-04-19
US20200404204A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
US11888004B2 (en) Imaging apparatus having phase difference detection pixels receiving light transmitted through a same color filter
EP3758366B1 (en) Image pickup device, image pickup system, and image pickup method
US11284024B2 (en) Solid-state imaging device, driving method, and electronic device
US20200382735A1 (en) Solid-stage image sensor, imaging device, and method of controlling solid-state image sensor
JP2020156070A (ja) 固体撮像装置、電子機器、および、固体撮像装置の制御方法
CN111684790B (zh) 成像设备、成像系统和成像方法
CN111201781B (zh) 摄像器件和诊断方法
EP3723361B1 (en) Imaging device
TW202231056A (zh) 攝像裝置
CN110226325B (zh) 摄像系统和摄像装置
CN115604558A (zh) 光检测装置和电子器件
WO2020121699A1 (ja) 撮像装置
CN111630853B (zh) 摄像装置、摄像系统和方法
WO2020183809A1 (ja) 固体撮像装置、電子機器、および、固体撮像装置の制御方法
US11523070B2 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
TWI840454B (zh) 攝像裝置
WO2023243222A1 (ja) 撮像装置
WO2024042896A1 (ja) 光検出素子および電子機器
JP2023027618A (ja) 撮像装置及び電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Kawazu Naoki

Inventor after: Sasaki ryota

Inventor after: Gang Qiao

Inventor after: Muhammad munirur HAQ

Inventor after: Motohashi Yuichi

Inventor after: Suzuki Atushi

Inventor before: Kawazu Naoki

Inventor before: Sasaki ryota

Inventor before: Gang Qiao

Inventor before: Mohamed Munir hack

Inventor before: Motohashi Yuichi

Inventor before: Suzuki Atushi

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant