CN110036630B - 固体摄像装置以及摄像装置、输送设备的反射镜 - Google Patents

固体摄像装置以及摄像装置、输送设备的反射镜 Download PDF

Info

Publication number
CN110036630B
CN110036630B CN201780074535.5A CN201780074535A CN110036630B CN 110036630 B CN110036630 B CN 110036630B CN 201780074535 A CN201780074535 A CN 201780074535A CN 110036630 B CN110036630 B CN 110036630B
Authority
CN
China
Prior art keywords
sensitivity
signal
low
pixel
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780074535.5A
Other languages
English (en)
Other versions
CN110036630A (zh
Inventor
生熊诚
网川裕之
鬼头崇泰
荻田进一
松尾纯一
远藤康行
德山克巳
阿部哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Publication of CN110036630A publication Critical patent/CN110036630A/zh
Application granted granted Critical
Publication of CN110036630B publication Critical patent/CN110036630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/142—Energy conversion devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0033—Rear-view mirrors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Abstract

本公开提供一种固体摄像装置以及摄像装置。固体摄像装置(1)具备：多个高灵敏度像素，以矩阵状配置并以给定的灵敏度进行光电转换；多个低灵敏度像素，以矩阵状配置在所述多个高灵敏度像素的间隙中，并以比所述给定的灵敏度低的灵敏度进行光电转换；以及信号处理部(70)，检测来自所述高灵敏度像素的信号和来自所述低灵敏度像素的信号的差分信号，根据所述差分信号修正所述高灵敏度像素的信号，从而生成像素信号。

Description

固体摄像装置以及摄像装置、输送设备的反射镜
技术领域
本公开涉及固体摄像装置以及摄像装置。
背景技术
以往，在固体摄像装置中，为了扩大动态范围，例如提出了如专利文献1所示的固体摄像装置。专利文献1的固体摄像装置具有高灵敏度像素和灵敏度比高灵敏度像素低的低灵敏度像素这两者，例如在段落0059中，“通过在高灵敏度像素中较深地形成电荷蓄积区域，在低灵敏度像素中较浅地形成电荷蓄积区域，从而从高灵敏度侧和低灵敏度侧这两者实现宽动态范围化”。
在先技术文献
专利文献
专利文献1：日本特开2007-266556号公报
发明内容
发明要解决的课题
然而，根据该专利文献1，存在难以兼顾扩大动态范围和抑制闪烁的课题。
在此，首先对抑制闪烁进行说明。近年来，LED光源(发光二极管光源)、LD光源(激光二极管光源)得到普及。这些光源大多进行以人眼无法感知的程度的速度反复点亮和熄灭的动态点亮。换言之，产生人眼无法感知的速度的闪烁。例如，LED光源除了被用于照明器具以外，还被用于信号机、车的车头灯、停车灯等。在动态点亮中，人眼可看到的是光源始终点亮，但在固体摄像装置中闪烁会产生影响。在固体摄像装置摄像这样的光源的情况下，或者，在使用这样的光源的照明环境下进行摄像的情况下，有得到光源点亮的图像的情况(或者得到明亮的图像的情况)和得到光源熄灭的图像的情况(或者得到暗的图像的情况)。即，产生在摄像图像本身出现闪烁的现象。后者，即得到光源熄灭的图像的情况(或者得到暗的图像的情况)可以说是摄像不合格。以下，将抑制这种闪烁引起的摄像不合格称为抑制闪烁。
根据专利文献1，为了扩大动态范围，在低照度时，使用高灵敏度像素来延长曝光时间，在高照度时，使用低灵敏度像素来缩短曝光时间。
因此，在高照度时由于曝光时间短，因此存在难以抑制闪烁的课题。相反，如果延长曝光时间，则虽然能够抑制闪烁，但由于像素饱和，因此动态范围变窄。
另一方面，由于在低照度时曝光时间长，因此能够期待抑制闪烁，但由于像素饱和，因此存在动态范围窄这样的课题。相反，若缩短曝光时间，则虽然能够抑制动态范围变窄的课题，但无法期待抑制闪烁。
鉴于上述课题，本公开提供一种兼顾抑制闪烁和动态范围的扩大的固体摄像装置以及摄像装置。
用于解决课题的手段
为了解决上述课题，本公开中的固体摄像装置具备：多个高灵敏度像素，以矩阵状配置并以给定的灵敏度进行光电转换；多个低灵敏度像素，以矩阵状配置在所述多个高灵敏度像素的间隙中，并以比所述给定的灵敏度低的灵敏度进行光电转换；以及信号处理部，检测来自所述高灵敏度像素的信号和来自所述低灵敏度像素的信号的差分信号，根据所述差分信号修正所述高灵敏度像素的信号，从而生成像素信号。
发明效果
根据本公开的固体摄像装置以及摄像装置，能够兼顾抑制闪烁和动态范围的扩大。
附图说明
图1是表示实施方式1所涉及的固体摄像装置的结构例的框图。
图2是表示实施方式1所涉及的像素电路的电路例的图。
图3是表示实施方式1所涉及的像素读出的动作例的时序图。
图4是LED闪烁的说明图。
图5是表示伴随实施方式1所涉及的增益控制的像素读出的动作例的时序图。
图6A是表示实施方式1所涉及的低灵敏度像素的控制电压和像素饱和电平的图。
图6B是表示实施方式1所涉及的照度/曝光时间和电荷蓄积电平的图。
图7是表示实施方式1所涉及的高灵敏度像素以及低灵敏度像素的配置例的图。
图8A是表示实施方式1所涉及的高灵敏度像素以及低灵敏度像素的曝光动作的一例的图。
图8B是表示实施方式1所涉及的高灵敏度像素以及低灵敏度像素的曝光动作和行扫描的一例的图。
图9A是表示实施方式1所涉及的信号处理部的结构例的图。
图9B是表示实施方式1所涉及的修正电路的结构例的图。
图9C是表示实施方式1所涉及的图9A的信号处理部的动作例的说明图。
图10是表示实施方式1所涉及的相对于被摄物照度的高灵敏度像素以及低灵敏度像素的特性例的图。
图11是表示实施方式1所涉及的图9A的信号处理部中的WDR合成例的说明图。
图12A是表示实施方式1所涉及的信号处理部的其他结构例的图。
图12B是表示实施方式1所涉及的图12A的信号处理部的动作例的说明图。
图13是表示实施方式1所涉及的图12A的信号处理部中的WDR合成例的说明图。
图14是表示实施方式2所涉及的像素电路的电路例的图。
图15是表示伴随实施方式2所涉及的增益控制的像素读出的动作例的时序图。
图16A是表示实施方式2所涉及的低灵敏度像素的控制电压和像素饱和电平的图。
图16B是表示实施方式2所涉及的照度/曝光时间和电荷蓄积电平的图。
图17是表示实施方式2所涉及的高灵敏度像素以及低灵敏度像素的配置例的图。
图18A是表示实施方式2所涉及的高灵敏度像素以及低灵敏度像素的曝光时间的一例的图。
图18B是表示实施方式2所涉及的高灵敏度像素以及低灵敏度像素的曝光时间和行扫描的一例的图。
图19A是表示实施方式2所涉及的信号处理部的结构例的图。
图19B是表示实施方式2所涉及的图19A的信号处理部的动作例的说明图。
图20是表示实施方式2所涉及的相对于被摄物照度的高灵敏度像素以及低灵敏度像素的特性的图。
图21是表示实施方式2所涉及的图19A的信号处理部中的WDR合成例的说明图。
图22A是表示实施方式3所涉及的通常曝光和中间曝光的时序图。
图22B是表示实施方式3所涉及的通常曝光和中间曝光的动作例的说明图。
图23A是表示实施方式3所涉及的高灵敏度像素以及低灵敏度像素的曝光时间的一例的图。
图23B是表示实施方式3所涉及的高灵敏度像素以及低灵敏度像素的曝光时间和行扫描的一例的图。
图24A是表示实施方式3所涉及的高灵敏度像素以及低灵敏度像素的曝光时间的其他例子的图。
图24B是表示实施方式3所涉及的高灵敏度像素以及低灵敏度像素的曝光时间和行扫描的其他例子的图。
图25A是表示实施方式4所涉及的摄像装置的结构例的框图。
图25B是表示实施方式4所涉及的摄像装置的其他结构例的框图。
图26A是表示实施方式4所涉及的摄像装置向机动车的搭载例的图。
图26B是表示实施方式4所涉及的图26A的搭载例中的摄像范围的一例的图。
具体实施方式
(完成本公开的经过)
首先，对背景技术中叙述的课题，使用图4进行说明。
图4是LED闪烁的说明图。图4的横轴表示闪烁的频率，也就是将LED的点亮与熄灭设为一个周期的频率。纵轴表示闪烁的占空比，也就是点亮与熄灭的周期中的点亮的比例。例如，信号机的闪烁频率为90Hz左右，车的车头灯的闪烁频率为1000Hz左右。
一般而言，为了抑制LED闪烁，如文献1那样，设置多个灵敏度不同的像素，通过这些多个像素的输出信号的处理来输出准确的图像。
此时，第一个课题是LED光(反复点亮和熄灭的发光、脉冲光)的损失(课题1)。原因在于，特别是在明亮时曝光时间短时，滚动快门的曝光定时与LED点亮定时不一致(原因1)。针对于此，能够通过延长饱和/灵敏度比高的低灵敏度像素曝光时间(例如一个垂直扫描期间)来解决(对策1)。
第二个课题是像素饱和(课题2)。原因在于，在LED闪烁的占空比大的情况或者曝光时间长的情况下，像素达到饱和电平，白平衡被破坏(原因2)。针对于此，搭载饱和/灵敏度比不同的多个像素而使得不易产生像素饱和，扩大低灵敏度像素的动态范围(对策2)。
换言之，关于对LED光进行摄像的低灵敏度像素，针对上述课题1、2，始终曝光(对策1)和搭载饱和/灵敏度比不同的多个像素(对策2)即可。
进而，摄像该非连续的LED光的低灵敏度像素的曝光时间、增益的参数也可以与摄像连续的光的高灵敏度像素的曝光时间、增益的参数独立地设定。
由此，在利用固体摄像装置摄像输送设备(作为一例为机动车)时，能够完全独立地设定抑制闪烁和宽动态范围功能(WDR功能)的参数，从而能够实现兼顾。
这样，扩大动态范围和抑制闪烁的兼顾能够通过下述方法来实现，即，具备灵敏度不同的高灵敏度像素和低灵敏度像素，高灵敏度像素和低灵敏度像素平行地曝光，低灵敏度像素的曝光时间比高灵敏度像素的曝光时间长，通过利用低感像素的信号修正高灵敏度像素的信号而生成一个像素信号。进而，作为该低灵敏度像素的规格，为了提高饱和电平而使用光栅结构，为了降低灵敏度，也可以使用ND滤光器(灰色滤光器)，提高饱和/灵敏度比。
根据这样的方法，例如在低照度时，也可以通过使用高灵敏度像素，提高像素内增益，对于由像素放大晶体管或模拟电路产生的噪声，增大与受光量对应的电压(像素信号)。即，对于暗的被摄物，能够输出SN(Signal to Noise ratio：信噪比)高的高画质的图像。
另一方面，在高照度时，通过使用饱和/灵敏度比高的低灵敏度像素来降低像素内增益，从而扩大动态范围，能够实现长期间的曝光时间。即，对于明亮的被摄物，能够准确地再现与被摄物对应的灰度而输出不存在发白的图像，进而能够抑制闪烁。
因此，作为扩大动态范围和抑制闪烁的技术，本发明者们想到了通过使用饱和/灵敏度比高的低灵敏度像素，从而兼顾低照度时的高画质化和高照度时的扩大动态范围与抑制闪烁的固体摄像装置等。
以下，参照附图，对用于实施本公开的方式所涉及的固体摄像装置进行说明。
但是，有时省略必要以上的详细说明。
例如，存在省略对已经公知的事项的详细说明或实质上相同的结构的重复说明的情况。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员容易理解。另外，附图以及以下的说明用于本领域技术人员能够充分理解本公开，并不意图通过这些来限定权利要求所记载的主题。即，以下的实施方式均表示本公开的一个具体例，数值、形状、结构要素、结构要素的配置位置以及连接方式、处理的顺序等是一个例子，并不限定本公开。
(实施方式1)
首先，对本实施方式所涉及的固体摄像装置的结构例进行说明。
[固体摄像装置1的结构例]
图1是表示实施方式所涉及的固体摄像装置1的结构例的框图。
图1所示的固体摄像装置1具备像素阵列部10、水平扫描电路12、垂直扫描电路14、多个垂直信号线19、定时控制部20、列处理部26、参考信号生成部27、输出电路28以及信号处理部70。此外，固体摄像装置1具备从外部接受主时钟信号的输入的MCLK端子、用于与外部之间发送接收指令或者数据的DATA端子、用于向外部发送影像数据的D1端子等，除此之外还具备供给电源电压、接地电压的端子类。
像素阵列部10具有以矩阵状配置的多个像素电路3。多个像素电路3在图1中被配置为n行m列。各像素电路3至少包括一对高灵敏度像素和低灵敏度像素。即，各像素电路3包括以给定的灵敏度进行光电转换的至少一个高灵敏度像素、和以比给定的灵敏度低的灵敏度进行光电转换的至少一个低灵敏度像素。
水平扫描电路12依次扫描多个列AD电路25内的存储器256，从而将AD转换后的像素信号输出至水平信号线18。该扫描可以与列AD电路25的排列顺序相同。
垂直扫描电路14以行为单位来扫描按像素阵列部10内的像素电路3的每行设置的水平扫描线组(也称为行控制线组)15。由此，垂直扫描电路14以行为单位来选择像素电路3，从属于所选择的行的像素电路3同时向m条垂直信号线19输出像素信号。水平扫描线组15与像素电路3的行数目相同地设置。在图1中设置有n个水平扫描线组15(在图1中为V1、V2、···、Vn)。每个水平扫描线组15包括复位控制线φRS、读出控制线φTR1、φTR2、增益控制线φGC以及选择控制线φSEL。
垂直信号线19按像素阵列部10内的像素电路3的每列设置，将来自属于所选择的行的像素电路3的像素信号向列AD电路25传递。多条垂直信号线19在图1中由m条垂直信号线H1～Hm构成。多条ADC输入线在图1中由m条ADC输入线ADIN1～ADINm构成。
定时控制部20通过生成各种控制信号组来控制固体摄像装置1的整体。在各种控制信号组中包括控制信号组CN1、CN2、CN4、CN5、CN8、计数时钟信号CK0。例如，定时控制部20经由端子接受主时钟MCLK，生成各种内部时钟，控制水平扫描电路12、垂直扫描电路14等。
列处理部26具备按每列设置的列AD电路25。各列AD电路25对来自垂直信号线19的像素信号进行AD转换。
每个列AD电路25具备电压比较器252、计数部254以及存储器256。
电压比较器252将来自垂直信号线19的模拟的像素信号与由参考信号生成部27生成的包括斜坡波形(即三角波)的参考信号RAMP进行比较，例如，在前者比后者大时，将表示比较结果的输出信号反转。
计数部254对从参考信号RAMP中的三角波的变化开始到电压比较器252的输出信号反转为止的时间进行计数。由于直到反转为止的时间根据模拟像素信号的值而确定，因此计数值成为数字化后的像素信号的值。
存储器256保持计数部254的计数值即数字的像素信号。
参考信号生成部27生成包括三角波的参考信号RAMP，并向各列AD电路25内的电压比较器252的正输入端子输出参考信号RAMP。
输出电路28将数字的像素信号输出到影像数据端子D1。
信号处理部70具有修正部75和WDR合成电路76，检测来自高灵敏度像素的信号和来自低灵敏度像素的信号的差分信号，根据差分信号修正高灵敏度像素的信号，由此生成像素信号。由此，信号处理部70实现动态范围的扩大和抑制闪烁的兼顾。
[像素电路3的结构例]
接下来，对像素电路3的结构例进行说明。
图2是表示实施方式1所涉及的像素电路3的电路例的图。图2的像素电路3具备一对高灵敏度像素PD以及低灵敏度像素K、浮动扩散层FD、第1传输晶体管TR1、第2传输晶体管TR2、复位晶体管RS、增益控制晶体管GC、放大晶体管SF以及选择晶体管SEL。
高灵敏度像素PD是光电二级管等光电转换元件，以给定的灵敏度进行光电转换、即产生与受光量对应的电荷。
低灵敏度像素K是光电二级管等光电转换元件，以比给定的灵敏度低的灵敏度进行光电转换。例如，低灵敏度像素K的受光面积小于高灵敏度像素PD的受光面积。
此外，在低灵敏度像素K设置有覆盖低灵敏度像素K的一部分的控制电极PG。控制电极PG根据施加于控制电极PG的电压(在图2中为控制电压φPG)来控制对应的低灵敏度像素K的表面的电位。由此，控制电极PG能够使低灵敏度像素K的饱和电平增减。
浮动扩散层FD保持从高灵敏度像素PD或者低灵敏度像素K传输的信号电荷(例如电子)，将保持的信号电荷转换为电压，并将转换后的电压供给至放大晶体管SF的栅极。浮动扩散层FD的实际电容不仅包括浮动扩散层FD本身的电容，还包括放大晶体管SF的栅极电容Cfdl、放大晶体管SF的栅极-漏极之间的电容Cp1以及增益控制晶体管GC导通时的增益控制晶体管GC的漏极布线的杂散电容Cfd2。
第1传输晶体管TR1是根据读出控制信号φTR1而导通以及截止的开关晶体管。当读出控制信号φTR1处于高电平时，第1传输晶体管TR1将高灵敏度像素PD光电转换后的信号电荷传输(换言之读出)到浮动扩散层FD。
第2传输晶体管TR2是根据读出控制信号φTR2而导通以及截止的开关晶体管。当读出控制信号φTR2处于高电平时，第2传输晶体管TR2将低灵敏度像素K光电转换后的信号电荷经由增益控制晶体管GC传输(换言之读出)到浮动扩散层FD。
复位晶体管RS是根据复位控制信号φRS而导通以及截止的开关晶体管。当复位控制信号φRS处于高电平时，复位晶体管RS将施加于漏极的电源电压作为复位电平，经由增益控制晶体管GC设定于浮动扩散层FD。即，当复位控制信号φRS处于高电平时，复位晶体管RS将浮动扩散层FD复位到复位电平。
增益控制晶体管GC根据增益控制信号φGC将第2传输晶体管TR2和浮动扩散层FD电切断或者电连接。由此，进行将浮动扩散层FD中的信号电荷转换为电压的转换增益变更。即，在从高灵敏度像素PD向浮动扩散层FD的信号电荷的传输中，若使增益控制晶体管GC截止则可进一步提高浮动扩散层FD的转换增益。此外，在从低灵敏度像素K向浮动扩散层FD的信号电荷的传输中，通过导通增益控制晶体管GC来降低浮动扩散层FD的转换增益。
放大晶体管SF构成与连接于垂直信号线19的负载电流源30成对地构成源极跟随器，将栅极的电压即浮动扩散层FD的电压作为模拟像素信号输出到垂直信号线19。
选择晶体管SEL是根据选择控制信号φSEL导通以及截止的开关晶体管。当选择控制信号φSEL处于高电平时，选择晶体管SEL将放大晶体管SF的源极与垂直信号线19电连接。
另外，图2所示的像素电路3表示两个像素一个单元结构的例子。这里所说的“两个像素”是指高灵敏度像素PD和低灵敏度像素K这两个、即有两个光电二级管等光电转换元件。“一个单元”与具备该“两个像素”所共有的浮动扩散层FD、复位晶体管RS、放大晶体管SF以及选择晶体管SEL的电路单位对应。
[基于相关双检测的读出动作例]
接下来，对读出模拟像素信号的复位电平和信号电平并进行相关双检测的动作进行说明。
图3是表示实施方式所涉及的固体摄像装置1的伴随一次曝光动作的信号读出动作例的时序图。固体摄像装置1对高灵敏度像素在一个垂直扫描期间内进行曝光时间不同的多次曝光动作。此外，固体摄像装置1对于低灵敏度像素在一个垂直扫描期间内进行一次曝光动作。
参考信号RAMP在图3的递减计数期间(t10到t14)以及递增计数期间(t20到t24)中分别变为三角波。
递减计数期间是用于对从放大晶体管SF输出的模拟像素信号中的复位分量Vrst的电平进行AD转换的期间。从递减计数期间的开始(三角波的变化开始)到电压比较器252的输出反转为止的时间由计数部254进行递减计数。该计数值是模拟像素信号的复位分量Vrst的AD转换结果本身。
递增计数期间是用于对从放大晶体管SF输出的模拟像素信号中的数据分量(信号分量Vsig+复位分量Vrst)的电平进行AD转换的期间。从递增计数期间的开始(三角波的变化开始)到电压比较器252的输出反转为止的时间由计数部进行递增计数。该递增计数将模拟像素信号中的数据分量(Vsig+Vrst)转换为数字值。由于该递增计数是将表示复位分量Vrst的递减计数值设为初始值，因此递增计数期间结束时的计数值表示从数据分量中减去复位分量CDS(Correlated Double Sampling：相关双检测)的结果。即，递增计数期间结束时的计数值是表示信号分量Vsig的数字值本身。这样，列AD电路25排除成为误差的各列的时钟脉冲相位差或计数延迟等的偏差，仅取出真正的信号分量Vsig、即进行数字CDS。
[伴随增益控制的读出动作]
图5是表示伴随实施方式1所涉及的增益控制的像素读出的动作例的时序图。将浮动扩散层FD中的信号电荷转换为电压的增益能够根据增益控制晶体管GC的导通以及截止而切换为高的增益和低的增益。图5的(a)表示浮动扩散层FD的转换增益高的状态下的从高灵敏度像素PD向浮动扩散层FD的信号电荷的读出动作。图5的(b)表示在浮动扩散层FD的转换增益低的状态下从低灵敏度像素K向浮动扩散层FD的信号电荷的读出动作。
在图5的(a)中，浮动扩散层FD通过复位控制信号φRS的正脉冲被复位，通过读出控制信号φTR1的正脉冲从高灵敏度像素PD传输信号电荷。在读出控制信号φTR1处于高电平时，增益控制信号φGC为低电平，增益控制晶体管GC截止。即，浮动扩散层FD的电容主要为Cfd1，FD转换增益变高。
在图5的(b)中，浮动扩散层FD由复位控制信号φRS的正脉冲复位，通过读出控制信号φTR2的正脉冲从低灵敏度像素K传输信号电荷。在读出控制信号φTR2处于高电平时，增益控制信号φGC为高电平，增益控制晶体管GC导通。即，浮动扩散层FD的电容主要为Cfdl+Cfd2，FD转换增益变低。
这样，增益控制晶体管GC根据增益控制信号φGC，若在读出时为低电平则浮动扩散层FD的转换增益变高。相反，若在读出时为高电平则变低。
进而，低灵敏度像素K能够根据控制电压φPG使能够蓄积在低灵敏度像素K的表面附近的信号电荷量乃至饱和电平可变。如图5的(b)所示，在曝光时间中，控制电压φPG为高电平，蓄积更多的信号电荷。在读出时，控制电压φPG为低电平，排出信号电荷。
接下来，使用图6A、图6B对低灵敏度像素K的饱和电平以及灵敏度进行说明。
图6A是表示实施方式1所涉及的低灵敏度像素K的控制电压φPG和像素饱和电平的图。图6A的横轴表示控制电压φPG，纵轴表示像素饱和电平。此外，图6B是表示实施方式1所涉及的照度/曝光时间和电荷蓄积电平的图。图6B的横轴表示照度与曝光时间的积、一定时间的照度、或者一定照度下的曝光时间。纵轴表示电荷蓄积电平。
低灵敏度像素K的电荷蓄积区域由与没有控制电极PG的以往的光电二级管同样较深地形成的区域和通过控制电极PG新形成在表面附近的区域构成。在控制电压ΦPG为较低电压时，主要在较深的区域蓄积电荷，若控制电压ΦPG变高，则在表面附近的浅的区域也蓄积电荷。这样，根据控制电压ΦPG的电位，低灵敏度像素K的饱和电平如图6A、图6B所示是可变的。
此外，低灵敏度像素K的灵敏度能够通过在(R、Gr、B、Gb)的片上滤光器层叠ND(Neutral Density：中性灰)滤光器、例如灰色滤光器，调整该灰色滤光器的厚度或者层叠区域来进行调整。此外，作为ND滤光器的替代手段，能够进行金属遮光，调整开口面积来调整灵敏度。此外，快门和读出使用滚动驱动。此外，如图6B所示，低灵敏度像素K的饱和电平比高灵敏度像素PD大，低灵敏度像素K的灵敏度比高灵敏度像素PD小。
这样，由于能够分别调整饱和电平和灵敏度电平，因此电荷蓄积电平的斜率和饱和电平能够相对于照度和曝光时间的积设定为适当的值。其结果是，能够调整饱和/灵敏度比，能够任意地调整像素的动态范围。
[像素配置例]
接下来，对固体摄像装置1的像素配置进行说明。
图7是表示实施方式1所涉及的高灵敏度像素以及低灵敏度像素的配置例的图。如图7所示，固体摄像装置1具有以矩阵状配置的多个像素组G0。像素组G0具有配置在正方形区域的四个高灵敏度像素PD和配置在该正方形区域的四个低灵敏度像素K。图7的像素组G0内的R、Gr、B、Gb表示四个高灵敏度像素PD。图7的像素组G0内的四个K表示四个低灵敏度像素K。根据图7，本实施方式所涉及的固体摄像装置1将一个高灵敏度像素PD1和一个低灵敏度像素K1设为1对。
四个高灵敏度像素PD(图的R、Gr、B、Gb)和分别对应的四个低灵敏度像素K分别成为基本拜尔排列。在此，灵敏度能够通过在(R、Gr、B、Gb)的片上滤光器层叠灰色滤光器而使入射光衰减来降低灵敏度。
如上所述，能够使低灵敏度像素K的饱和电平大于高灵敏度像素PD，并且能够使低灵敏度像素K的灵敏度小于高灵敏度像素PD。
由此，能够提高相对于低灵敏度像素的点亮信号的动态范围，例如，对于反复点亮和熄灭的发光源(脉冲发光源、LED光源)，能够在相同帧中接收从比较低照度的信号机到高照度的车头灯的信号。
另外，图2所示的两个像素一个单元的像素电路3与图7中的GS1～GS4对应。
[高灵敏度像素PD以及低灵敏度像素K的曝光动作]
接下来，对固体摄像装置1中的高灵敏度像素PD以及低灵敏度像素K的曝光动作进行说明。
本实施方式中的固体摄像装置1通过对高灵敏度像素PD在一个垂直扫描期间内进行曝光时间不同的多次曝光动作，从而生成多个高灵敏度帧，通过对低灵敏度像素K在一个垂直扫描期间内进行一次曝光动作，从而生成低灵敏度帧。信号处理部70根据来自低灵敏度像素K的信号对多个高灵敏度帧各自的信号进行修正，并合成修正后的多个高灵敏度帧。
图8A是表示实施方式1所涉及的高灵敏度像素以及低灵敏度像素的曝光动作的一例的图。此外，图8B是表示实施方式1所涉及的高灵敏度像素以及低灵敏度像素的曝光动作和行扫描的一例的图。
如图8A、图8B所示，固体摄像装置1通过对高灵敏度像素PD在一个垂直扫描期间1V内进行仅曝光第1曝光时间(tL)的第1曝光动作(长)、仅曝光第2曝光时间(tM)的第2曝光动作(中)以及仅曝光第3曝光时间tS的第3曝光动作(短)，从而生成第1高灵敏度帧(L)、第2高灵敏度帧(M)以及第3高灵敏度帧(S)。此外，固体摄像装置1对低灵敏度像素K在一个垂直扫描期间1V内进行仅曝光相当于一个垂直扫描期间的曝光期间(tK)的曝光动作，生成低灵敏度帧(K)。在第1曝光动作、第2曝光动作、第3曝光动作、低灵敏度像素K的曝光动作中，分别进行图3所示的读出动作。
这样，本实施方式所涉及的固体摄像装置1为了对高灵敏度像素PD扩大动态范围，分时地以不同的曝光时间(tL、tM、tS)进行三次曝光。对低灵敏度像素K并行地以比高灵敏度像素PD长的曝光时间tK进行曝光。
在此，可知图8A中的LED光在高灵敏度像素PD的曝光动作(长、中、短)中不能曝光(×符号)，在低灵敏度像素K中能够曝光(○符号)，若利用低灵敏度像素K的信号修正高灵敏度像素PD的信号，则能够抑制闪烁。
另外，图8B示出了高灵敏度像素PD和低灵敏度像素K的输出序列，作为基于行扫描的滚动快门驱动。高灵敏度像素PD以及低灵敏度像素K的各曝光时间能够任意地设定。
通过使低灵敏度像素K的曝光时间tK与大致一个垂直扫描期间相同，在对周期性地反复点亮和熄灭的发光源(脉冲发光源、LED光源)进行摄像时，能够可靠地以低灵敏度像素K捕捉点亮信号。
对于像素饱和的问题，与高灵敏度像素PD比较，在饱和/灵敏度比高的低灵敏度像素的光电二级管K中，能够捕捉从低照度至高照度的外部光(脉冲光、LED光、LD光)。即，对于点亮信号的课题，在时间轴上连续地进行受光，此外，对于动态范围的课题，能够以低灵敏度像素K进行广泛地受光。
另外，饱和/灵敏度比高的意思如下。即，低灵敏度像素K的饱和电平大于高灵敏度像素PD，和/或灵敏度小于高灵敏度像素PD。
[信号处理部70的结构例]
接下来，对信号处理部70的结构进行说明。
图9A是表示实施方式1所涉及的信号处理部70的结构例的图。如图9A所示，信号处理部70具备低灵敏度信号生成电路742、低灵敏度信号生成电路743、修正部75以及WDR合成电路76。修正部75具备修正电路752和修正电路753。图9B是表示实施方式1所涉及的修正电路752的结构例的图。此外，图9C是表示实施方式1所涉及的图9A的信号处理部70的动作例的说明图。另外，修正电路753也可以是与图9B相同的结构。
如图9A以及图9C所示，低灵敏度信号生成电路742通过对低灵敏度像素K的像素信号(K)乘以第2系数，从而生成新的第2低灵敏度帧的信号。在此，第2系数是用于将低灵敏度像素K的像素信号(K)与第2高灵敏度帧的像素信号(M)进行比例匹配的系数。例如，第2系数根据曝光时间tK、第2曝光时间tM、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K的增益以及灵敏度来确定。
低灵敏度信号生成电路743通过对低灵敏度像素K的像素信号(K)乘以第3系数，从而生成新的第3低灵敏度帧的信号。在此，第3系数是用于将低灵敏度像素K的像素信号(K)与第3高灵敏度帧的像素信号(S)进行比例匹配的系数。例如，第3系数根据曝光时间tK、第2曝光时间tM、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K的增益以及灵敏度来确定。
修正电路752检测表示来自第2高灵敏度帧的像素信号(M)和来自低灵敏度信号生成电路742中生成的第2低灵敏度帧的信号的差分的差分信号，根据差分信号修正来自第2高灵敏度帧的像素信号(M)，由此生成第2修正信号。
如图9B所示，修正电路752具备差分检测电路757和加法电路758。
差分检测电路757检测第2高灵敏度帧的像素信号(M)和第2低灵敏度帧的信号的差分信号。
加法电路758将来自差分检测电路757的差分信号与第2高灵敏度帧的像素信号(M)相加，并将加法结果作为第2修正信号输出。
修正电路753检测来自第3高灵敏度帧的像素信号(S)和来自第3低灵敏度帧的信号的差分信号，根据差分信号修正来自第3高灵敏度帧的像素信号(S)，由此生成第3修正信号。修正电路753可以与图9B相同，检测第2高灵敏度帧的像素信号(S)和第3低灵敏度帧的信号的差分，将差分与该像素信号(S)相加，将加法结果作为第3修正信号输出。
WDR合成电路76通过合成来自第1高灵敏度帧的像素信号(L)、来自修正电路752的第2修正信号以及来自修正电路753的第3修正信号，从而生成合成像素信号。
如图9C所示，低灵敏度信号生成电路742、低灵敏度信号生成电路743从低灵敏度像素K的像素信号(K)生成宽动态范围功能(WDR功能)用的第2低灵敏度帧、第3低灵敏度帧，即，为了扩大动态范围而生成与第2高灵敏度帧(M)、第3高灵敏度帧(S)对应的第2低灵敏度帧、第3低灵敏度帧。
另一方面，通过实施曝光时间不同的第1曝光动作、第2曝光动作以及第3曝光动作，从高灵敏度像素PD生成第1高灵敏度像素帧(L)、第2高灵敏度帧(M)以及第3高灵敏度帧(S)。
然后，修正部75利用第2低灵敏度帧以及第3低灵敏度帧来修正第2高灵敏度帧(M)以及第3高灵敏度帧(S)，并且生成修正后的第2高灵敏度帧(M)以及修正后的第3高灵敏度帧(S)。
之后，WDR合成电路76将未修正的第1高灵敏度帧的像素信号(L)、修正后的第2高灵敏度帧的修正像素信号(M)和修正后的第3高灵敏度帧的修正像素信号(S)进行合成。通过该合成，实现宽动态范围功能(WDR功能)，即扩大动态范围。
接下来，对高灵敏度像素PD以及低灵敏度像素K的特性例和合成后的像素信号的动态范围进行说明。
图10是表示实施方式1所涉及的相对于被摄物照度的高灵敏度像素以及低灵敏度像素的光电转换特性的例子的图。
图10是将来自图9C的高灵敏度像素PD的像素信号(L)、像素信号(M)和像素信号(S)的输出信号连接来表示相对于被摄物照度的图像的SN的图。此外，关于低灵敏度像素K，对于像素信号(K)的输出信号，也表示了相对于被摄物照度的图像的SN。
在图10中，在满足各曝光的边界(Knee点)的SN的状态下，能够确保宽的动态范围。
这样，关于曝光时间，为了兼顾高的SN和WDR，从高灵敏度像素PD分时地生成曝光时间不同的像素信号(L)、像素信号(M)、像素信号(S)。例如，也可以将各个曝光时间tL：tM：tS设为256：16：1左右。此外，可以使低灵敏度像素K与高灵敏度像素PD平行地曝光，曝光时间设为tK＞tL+tM+tS。tK例如可以设为与一个垂直同步期间大致相同的时间，也可以设为从一个垂直同步期间的16.6ms(＝1/60fps)左右至与LED的最小频率对应的11ms(＝1/90Hz)左右之间。
图11是表示实施方式1所涉及的图9A的信号处理部中的合成例的说明图。如图9C所示，在WDR合成电路76中输入来自第1高灵敏度帧的像素信号(L)、来自低灵敏度信号生成电路742的第2修正信号(即修正像素信号(M))、来自低灵敏度信号生成电路743的第3修正信号(即修正像素信号(S))，并对它们进行合成。在图11的合成例中，WDR合成电路76通过将像素信号(L)、使修正像素信号(M)乘以合成系数G1后的信号和使修正像素信号(S)乘以合成系数G2后的信号相加，从而生成合成后的像素信号。
由此，能够得到兼顾了抑制闪烁和动态范围的扩大的像素信号。
如上所述，实施方式1中的固体摄像装置1具备：多个高灵敏度像素，以矩阵状配置并以给定的灵敏度进行光电转换；多个低灵敏度像素，以矩阵状配置在所述多个高灵敏度像素间隙中，并以比所述给定的灵敏度低的灵敏度进行光电转换；以及信号处理部70，检测来自所述高灵敏度像素的信号和来自所述低灵敏度像素的信号的差分信号，根据所述差分信号修正所述高灵敏度像素的信号，由此生成像素信号。
由此，容易进行抑制闪烁和动态范围的扩大。
在此，所述高灵敏度像素可以与所述低灵敏度像素平行地进行曝光，所述低灵敏度像素的曝光时间可以比所述高灵敏度像素的曝光时间长，并且可以比一个垂直同步期间短、比给定的闪烁周期长。
由此，能够对比给定的闪烁周期短的周期的闪烁充分地进行抑制闪烁。给定的闪烁周期例如可以是LED交通信号机等一般的LED光源的亮灭周期中最长的亮灭周期。
在此，作为所述修正，所述信号处理部70也可以将所述差分信号与所述高灵敏度像素的信号相加。
由此，修正能够仅通过不伴随判定作用的单纯的加减运算来进行，因此使修正电路的结构简单化，也适于高速化。
在此，所述固体摄像装置1也可以通过对所述高灵敏度像素在一个垂直扫描期间内进行曝光时间不同的多次曝光动作从而生成多个高灵敏度帧，所述信号处理部70根据来自所述低灵敏度像素的信号修正所述多个高灵敏度帧各自的信号，并合成修正后的多个高灵敏度帧。
由此，通过来自高灵敏度像素的一个垂直期间内的曝光时间不同的多个信号，使动态范围的扩大变得容易。此外，通过修正也能够抑制闪烁。
在此，所述固体摄像装置1可以通过对所述高灵敏度像素在一个垂直扫描期间内进行仅曝光第1曝光时间的第1曝光动作、仅曝光第2曝光时间的第2曝光动作以及仅曝光第3曝光时间的第3曝光动作，从而生成第1高灵敏度帧、第2高灵敏度帧以及第3高灵敏度帧，第1曝光时间比第2曝光时间长，第2曝光时间比第3曝光时间长，所述信号处理部70对于由所述低灵敏度像素的信号构成的帧，可以通过分别乘以与第2曝光时间以及第3曝光时间对应的第2系数以及第3系数，从而生成第2低灵敏度帧以及第3低灵敏度帧，检测来自所述第2高灵敏度帧的信号和来自所述第2低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第2高灵敏度帧的信号，从而生成第2修正信号，检测来自所述第3高灵敏度帧的信号和来自所述第3低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第3高灵敏度帧的信号从而生成第3修正信号，可以通过将来自所述第1高灵敏度帧的信号、所述第2修正信号以及第3修正信号进行合成，从而生成所述像素信号。
由此，通过来自高灵敏度像素的一个垂直期间内的曝光时间不同的三个信号，使动态范围的扩大变得容易。此外，通过修正也能够抑制闪烁。
在此，所述固体摄像装置1可以具备以矩阵状配置的多个像素电路3，所述多个像素电路3各自具备：至少一个所述高灵敏度像素；保持信号电荷的浮动扩散层FD；第1传输晶体管，与所述至少一个所述高灵敏度像素分别对应地设置，并将对应的高灵敏度像素的信号电荷传输至所述浮动扩散层；至少一个所述低灵敏度像素；第2传输晶体管，与所述至少一个所述低灵敏度像素分别对应地设置，并将对应的低灵敏度像素的信号电荷传输至所述浮动扩散层；以及晶体管GC，将所述第2传输晶体管与所述浮动扩散层电切断或者电连接。
在此，所述固体摄像装置1可以还具有控制电极PG，该控制电极PG按所述多个低灵敏度像素的每一个来设置，覆盖对应的低灵敏度像素的一部分，所述控制电极PG根据施加在所述控制电极PG的电压来控制对应的低灵敏度像素的表面的电位。
接下来，对实施方式1中的信号处理部70的其他结构例进行说明。
图12A是表示实施方式1所涉及的信号处理部70的其他结构例的图。此外，图12B是表示图12A的信号处理部70的动作例的说明图。
图12A与图9A相比，不同点主要在于追加了低灵敏度信号生成电路741和修正电路751。以下，以不同点为中心进行说明。
低灵敏度信号生成电路741从低灵敏度像素K的像素信号(K)生成第1低灵敏度帧。具体而言，信号处理部70通过将由低灵敏度像素K的像素信号(K)构成的帧分别乘以与第1曝光时间(tL)、第2曝光时间(tM)、第3曝光时间(tS)对应的第1系数、第2系数以及第3系数，从而生成第1低灵敏度帧、第2低灵敏度帧以及第3低灵敏度帧。第1系数是用于将低灵敏度像素K的像素信号(K)与第1高灵敏度帧的像素信号(L)进行比例匹配的系数。例如，第1系数根据曝光时间tK、第1曝光时间tL、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K的增益以及灵敏度来确定。
修正电路751是与修正电路752相同的内部结构，检测表示来自第1高灵敏度帧的像素信号(L)与来自低灵敏度信号生成电路741中生成的第1低灵敏度帧的信号的差分的差分信号，根据差分信号修正来自第1高灵敏度帧的像素信号(L)，从而生成第1修正信号。
WDR合成电路76通过合成来自修正电路751的第1修正信号、来自修正电路752的第2修正信号以及来自修正电路753的第3修正信号，从而生成合成像素信号。
如图12B所示，图12A的低灵敏度信号生成电路741、742、743根据低灵敏度像素K的像素信号(K)，为了用于宽动态范围功能(WDR功能)而生成从第1低灵敏度帧到第3低灵敏度帧的三帧。
另一方面，从高灵敏度像素PD，根据改变了曝光时间的第1高灵敏度帧生成第3高灵敏度帧的三帧。
之后，修正部75利用第1低灵敏度帧、第2低灵敏度帧以及第3低灵敏度帧分别修正第1高灵敏度帧(L)、第2高灵敏度帧(M)以及第3高灵敏度帧(S)，并且生成修正后的第1高灵敏度帧(L)、修正后的第2高灵敏度帧(M)以及修正后的第3高灵敏度帧(S)。
之后，WDR合成电路76将修正后的第1高灵敏度帧的修正像素信号(L)、修正后的第2高灵敏度帧的修正像素信号(M)、修正后的第3高灵敏度帧的修正像素信号(S)进行合成。通过该合成，从而实现宽动态范围功能(WDR功能)，即扩大动态范围。
图13是表示实施方式2所涉及的图12A的信号处理部70中的合成例的说明图。如图12A所示，对WDR合成电路76输入来自低灵敏度信号生成电路741的第1修正信号(即修正像素信号(L)、来自低灵敏度信号生成电路742的第2修正信号(即修正后的像素信号(M))、来自低灵敏度信号生成电路743的第3修正信号(即修正像素信号(S))，并将这些进行合成。在图13的合成例中，WDR合成电路76通过将修正像素信号(L)、使修正像素信号(M)乘以合成系数G1后的信号、使修正像素信号(S)乘以合成系数G2后的信号相加，从而生成合成后的像素信号。
由此，能够得到兼顾抑制闪烁和动态范围的扩大的像素信号。此外，与图11相比，图13的合成像素信号使用修正像素信号(L)来代替像素信号(L)，因此能够更可靠地抑制闪烁。
如上所述，在实施方式1的其他结构例中的固体摄像装置1中，所述固体摄像装置1通过对所述高灵敏度像素在一个垂直扫描期间内进行仅曝光第1曝光时间的第1曝光动作、仅曝光第2曝光时间的第2曝光动作以及仅曝光第3曝光时间的第3曝光动作，从而生成第1高灵敏度帧、第2高灵敏度帧以及第3高灵敏度帧，第1曝光时间比第2曝光时间长，第2曝光时间比第3曝光时间长，所述信号处理部70通过对由所述低灵敏度像素的信号构成的帧分别乘以与第1曝光时间至第3曝光时间对应的第1系数、第2系数以及第3系数，从而生成第1低灵敏度帧、第2低灵敏度帧以及第3低灵敏度帧，检测来自所述第1高灵敏度帧的信号和来自所述第1低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第1高灵敏度帧的信号，从而生成第1修正信号，检测来自所述第2高灵敏度帧的信号和来自所述第2低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第2高灵敏度帧的信号，从而生成第2修正信号，检测来自所述第3高灵敏度帧的信号和来自所述第3低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第3高灵敏度帧的信号，从而生成第3修正信号，通过合成所述第1修正信号、所述第2修正信号以及第3修正信号从而生成所述像素信号。
(实施方式2)
接下来，对实施方式2中的固体摄像装置1进行说明。在实施方式2中，对代替低灵敏度像素K而具备两种低灵敏度像素K1、K2的固体摄像装置1的结构例进行说明。
图14是表示实施方式2所涉及的像素电路3的电路例的图。
在图14中，像素电路3作为四个像素一个单元结构具备高灵敏度像素PD1、PD2；低灵敏度像素K1、K2；与高灵敏度像素PD1、PD2对应的读出晶体管TR11、TR12；与低灵敏度像素K1、K2对应的读出晶体管TR21、TR22；复位晶体管RS；增益控制晶体管GC；浮动扩散层FD；放大晶体管SF以及选择晶体管SEL。
高灵敏度像素PD1、PD2、低灵敏度像素K1、K2分别是进行光电转换的受光元件，生成与受光量对应的电荷。此外，高灵敏度像素PD1和高灵敏度像素PD2的灵敏度是相同的。低灵敏度像素K1和低灵敏度像素K2的灵敏度不同。高灵敏度像素PD1和低灵敏度像素K1为一对，高灵敏度像素PD2和低灵敏度像素K2为一对。
浮动扩散层FD暂时保持由读出晶体管TR11、TR12、TR21、TR22从高灵敏度像素PD1、PD2、低灵敏度像素K1、K2分别读出的电荷。
图15是表示伴随增益控制的像素读出的动作例的时序图。将浮动扩散层FD中的信号电荷转换为电压的增益能够根据增益控制晶体管GC的导通以及截止而切换为高的增益和低增益。图15的(a)表示在浮动扩散层FD的转换增益处于高的状态下的从高灵敏度像素PD1或者PD2向浮动扩散层FD的信号电荷的读出动作。图15的(b)表示在浮动扩散层FD的转换增益处于低的状态下的从低灵敏度像素K1或者K2向浮动扩散层FD的信号电荷的读出动作。
在图15的(a)中，浮动扩散层FD由复位控制信号φRS的正脉冲复位，通过读出控制信号φTR11或者φTR12的正脉冲从高灵敏度像素PD1或者PD2传输信号电荷。在读出控制信号φTR11或者φTR12为高电平时，增益控制信号φGC为低电平，增益控制晶体管GC截止。即，浮动扩散层FD的电容主要为Cfd1，FD转换增益变高。
在图15的(b)中，浮动扩散层FD由复位控制信号φRS的正脉冲复位，通过读出控制信号φTR21或者φTR22的正脉冲从低灵敏度像素K1或者K2传输信号电荷。在读出控制信号φTR21或者φTR22为高电平时，增益控制信号φGC为高电平，增益控制晶体管GC导通。即，浮动扩散层FD的电容主要为Cfd1+Cfd2，FD转换增益变低。
这样，增益控制晶体管GC通过增益控制信号φGC，若在读出时为低电平，则浮动扩散层FD的转换增益变高。相反，若在读出时为高电平则变低。
进而，低灵敏度像素K1以及K2能够通过控制电压φPG使能够蓄积在低灵敏度像素K的表面附近的信号电荷量乃至饱和电平可变。如图15的(b)所示，曝光时间中控制电压φPG为高电平，蓄积更多的信号电荷。在读出时，控制电压φPG为低电平，排出信号电荷。
另外，在图14中，示出了所谓的四个像素一个单元结构的像素电路3的例子，但像素电路3也可以是四个像素一个单元以外的多个像素个单元结构。多像素一个单元结构的单位像素例如可以是具有多个光电转换元件，在单位单元内共享浮动扩散层FD、复位晶体管RS、放大晶体管SF以及选择晶体管SEL中的任一个或者全部的结构。
图16A是表示实施方式2所涉及的低灵敏度像素K1、K2的控制电压和像素饱和电平的图。此外，图16B是表示实施方式2所涉及的照度/曝光时间与电荷蓄积电平的图。
图16A与图6A同样地表示低灵敏度像素K1、K2的饱和电平根据控制电压φPG1、φPG2可变。由于低灵敏度像素K的控制电极PG具有这样的特征，因此如图16B所示，为了使(低灵敏度像素K1的饱和/灵敏度比)＜(低灵敏度像素K2的饱和/灵敏度比)，设为(控制电压ΦPG1<控制电压ΦPG2)即可。
此外，低灵敏度像素K1、K2的灵敏度能够通过在(R、Gr、B、Gb)的片上滤光器层叠ND滤光器，例如灰色滤光器，调整该灰色滤光器的厚度或者层叠区域来调整灵敏度。此外，作为ND滤光器的替代手段，能够进行金属遮光，调整开口面积来调整灵敏度。此外，快门和读出使用滚动驱动。
图16B中的饱和电平和灵敏度电平能够分别调整，因此电荷蓄积电平的斜率和饱和电平能够相对于照度和曝光时间的积设定为适当的值。其结果是，能够调整饱和/灵敏度比，能够任意地调整像素的动态范围。
图17是表示实施方式2所涉及的高灵敏度像素PD1、PD2以及低灵敏度像素K1、K2的配置例的图。
如图17所示，本实施方式所涉及的固体摄像装置1具有多个第1像素组G1和多个第2像素组G2。第1像素组G1具有配置于正方形区域的四个高灵敏度像素PD1和配置于该正方形区域的四个低灵敏度像素K1。第2像素组G2具有配置于正方形区域的四个高灵敏度像素PD2和配置于该正方形区域的四个低灵敏度像素K2。第1像素组G1和第2像素组G2在行方向以及列方向上交替地配置。
换言之，第1像素组G1、G2分别将四个高灵敏度像素和四个低灵敏度像素作为基本结构。
四个高灵敏度像素PD1或者PD2由(R、Gr、B、Gb)表示。将饱和/灵敏度比小的低灵敏度像素总称为K1，将大的像素总称为K2。而且，第1像素组G1由四个高灵敏度像素(R、Gr、B、Gb)和与其对应的四个低灵敏度像素K1构成。第2像素组G2由四个高灵敏度像素(R、Gr、B、Gb)和与其对应的四个低灵敏度像素K2构成。第1像素组G1或者第2像素组内的四个高灵敏度像素PD1或者PD2成为拜尔排列。同样地，四个低灵敏度像素K1也成为拜尔排列。此外，四个低灵敏度像素K2也同样地成为拜尔排列。
低灵敏度像素K1和低灵敏度像素K2具有不同的饱和/灵敏度比。例如，低灵敏度像素K1的饱和/灵敏度比小于低灵敏度像素K2。
由此，能够提高相对于低灵敏度像素K1、K2的点亮信号的动态范围，例如对于反复点亮和熄灭的发光源(脉冲发光源、LED光源)，能够在同一帧中接收从比较低照度的信号机到高照度的车头灯的信号。另外，图14所示的像素电路3的结构例与图17中的像素组GS5以及GS6对应。
接下来，对固体摄像装置1中的高灵敏度像素PD1、PD2以及低灵敏度像素K1、K2的曝光动作进行说明。
图18A是表示实施方式2所涉及的高灵敏度像素PD1、PD2以及低灵敏度像素K1、K2的曝光时间的一例的图。此外，图18B是表示实施方式2所涉及的高灵敏度像素PD1、PD2以及低灵敏度像素的曝光时间和行扫描的一例的图。
高灵敏度像素PD1具有与高灵敏度像素PD2相同的灵敏度、相同的饱和电平。高灵敏度像素PD1以及PD2与图8A、图8B所示的高灵敏度像素PD同样地通过在一个垂直扫描期间1V内进行仅曝光第1曝光时间(tL)的第1曝光动作(长)、仅曝光第2曝光时间(tM)的第2曝光动作(中)以及仅曝光第3曝光时间tS的第3曝光动作(短)，从而生成第1高灵敏度帧(L)、第2高灵敏度帧(M)以及第3高灵敏度帧(S)。
此外，固体摄像装置1对低灵敏度像素K1在一个垂直扫描期间1V内进行仅曝光相当于一个垂直扫描期间的期间(tK1)的曝光动作，生成低灵敏度帧(K1)。同样地，固体摄像装置1对低灵敏度像素K2在一个垂直扫描期间1V内进行仅曝光相当于一个垂直扫描期间的曝光期间(tK2)的曝光动作，生成低灵敏度帧(K2)。
另外，在图18B中，由于低灵敏度像素K1和低灵敏度像素K存在于相同的行内，因此能够在相同的定时进行低灵敏度像素K1的读出和低灵敏度像素K2的读出。
在本实施方式所涉及的固体摄像装置中，为了扩大动态范围，高灵敏度像素分时地以不同的曝光时间(tL、tM、tS)进行三次曝光。低灵敏度像素K1、K2并行地分别以比高灵敏度像素长的曝光时间进行曝光。即，tK1＞tL+tM+tS，tK2＞tL+tM+tS。
在此，可知图中的LED光在高灵敏度像素的曝光期间(长、中、短)中不能曝光(×符号)，在低灵敏度像素K1、K2中能够曝光(○符号)，若利用低灵敏度像素的信号修正高灵敏度像素的信号，则能够抑制闪烁。
另外，图18B是高灵敏度像素与低灵敏度像素的输出序列作为滚动快门驱动，各曝光时间均能够任意地设定为K1、K2。
通过使低灵敏度像素K1、K2的曝光时间tK1、tK2与大致一个垂直扫描期间相同，从而在受光反复点亮和熄灭的发光源(脉冲发光源、LED光源)时，能够可靠地以低灵敏度像素捕捉点亮信号。
此外，低灵敏度像素K1的饱和/灵敏度比小于低灵敏度像素K2。对于像素饱和的问题，在低灵敏度像素K1(饱和/灵敏度比：小)中，能够捕捉低照度的外部光(脉冲光、LED光、LD光)。另一方面，在低灵敏度像素K2(饱和/灵敏度比：大)中，能够捕捉高照度的外部光(脉冲光、LED光、LD光)。即，对于点亮信号的课题，在时间轴中连续地受光，此外，对于动态范围的课题，能够以低灵敏度像素K1和K2广泛地受光。
[信号处理部70的结构例]
接下来，对信号处理部70的结构进行说明。
图19A是表示实施方式2所涉及的信号处理部70的结构例的图。此外，图19B是表示实施方式2所涉及的图19A的信号处理部70的动作例的说明图。另外，修正电路751、753可以是与图9B相同的结构。
图19A与图12A相比，不同点主要在于追加了分割电路721、插值电路731、插值电路732这一点和进行与低灵敏度信号生成电路741～743不同的动作这一点。以下，以不同点为中心进行说明。
如图19B所示，分割电路721将低灵敏度像素K1的像素信号(K1)和来自低灵敏度像素K2的像素信号(K2)混合存在的低灵敏度帧，分割为由像素信号(K1)构成的低灵敏度帧(K1)和由像素信号(K2)构成的低灵敏度帧(K2)。
插值电路731对低灵敏度帧(K1)中缺失的像素信号进行插值，生成插值低灵敏度帧(K1)。换言之，生成由从多个低灵敏度像素K1得到的多个像素信号(K1)、和通过使用了多个像素信号(K1)的插值得到的多个插值信号(P1)构成的插值低灵敏度帧(K1)。插值信号P1通过使用周围的至少四个像素信号(K1)进行与重心位置对应的加权插值而生成。
插值电路732对在低灵敏度帧(K2)中缺失的像素信号进行插值，生成插值低灵敏度帧(K2)。换言之，生成由从多个低灵敏度像素K2得到的多个像素信号(K2)、和通过使用了多个像素信号(K2)的插值得到的多个插值信号(P2)构成的插值低灵敏度帧(K2)。插值信号P2通过使用周围的至少四个像素信号(K2)进行与重心位置对应的加权插值而生成。
低灵敏度信号生成电路741通过对插值低灵敏度帧(K1)的像素信号(K1或者P1)和插值低灵敏度帧(K2)的像素信号(P2或者K2)进行合成，从而生成用于修正第1高灵敏度帧(L)的第1低灵敏度帧(L)。具体而言，低灵敏度信号生成电路741使插值低灵敏度帧(K1)的像素信号(K1或者P1)乘以第1种第1系数，使插值低灵敏度帧(K2)的像素信号(P2或者K2)乘以第2种第1系数。
在此，第1种第1系数是与第1曝光时间(tL)以及低灵敏度像素K1的曝光时间(tKl)相应的系数，是用于将插值低灵敏度帧(K1)的像素信号(K1或者P1)与第1高灵敏度帧的像素信号(L)进行比例匹配的系数。例如，第1种第1系数根据曝光时间tK1、第1曝光时间tL、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K1的增益以及灵敏度来确定。同样，第2种第1系数是与第1曝光时间(tL)以及低灵敏度像素K2的曝光时间(tK2)相应的系数，是用于将插值低灵敏度帧(K2)的像素信号(K2或者P2)与第1高灵敏度帧的像素信号(L)进行比例匹配的系数。例如，第2种第1系数根据曝光时间tK2、第1曝光时间tL、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K2的增益以及灵敏度来确定。
进而，低灵敏度信号生成电路741通过合成乘以第1种第1系数后的插值低灵敏度帧(K1)和乘以第2种第1系数后的插值低灵敏度帧(K2)，从而生成第1低灵敏度帧(L)。
低灵敏度信号生成电路742通过对插值低灵敏度帧(K1)的像素信号(K1或者P1)和插值低灵敏度帧(K2)的像素信号(P2或者K2)进行合成，从而生成用于修正第2高灵敏度帧(M)的第2低灵敏度帧(M)。具体而言，低灵敏度信号生成电路742使插值低灵敏度帧(K1)的像素信号(K1或者P1)乘以第1种第2系数，使插值低灵敏度帧(K2)的像素信号(P2或者K2)乘以第2种第2系数。
在此，第1种第2系数是与第2曝光时间(tM)以及低灵敏度像素K1的曝光时间(tK1)相应的系数，是用于将插值低灵敏度帧(K1)的像素信号(K1或者P1)与第2高灵敏度帧的像素信号(M)进行比例匹配的系数。例如，第1种第2系数根据曝光时间tK1、第2曝光时间tM、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K1的增益以及灵敏度来确定。同样，第2种第2系数是与第2曝光时间(tM)以及低灵敏度像素K2的曝光时间(tK2)相应的系数，是用于将插值低灵敏度帧(K2)的像素信号(K2或者P2)与第2高灵敏度帧的像素信号(M)进行比例匹配的系数。例如，第2种第2系数根据曝光时间tK2、第2曝光时间tM、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K2的增益以及灵敏度来确定。
进而，低灵敏度信号生成电路742通过对乘以第1种第2系数后的插值低灵敏度帧(K1)和乘以第2种第2系数后的插值低灵敏度帧(K2)进行合成，从而生成第2低灵敏度帧(M)。
低灵敏度信号生成电路743通过对插值低灵敏度帧(K1)的像素信号(K1或者P1)和插值低灵敏度帧(K2)的像素信号(P2或者K2)进行合成，从而生成用于修正第3高灵敏度帧(S)的第3低灵敏度帧(S)。具体而言，低灵敏度信号生成电路742使插值低灵敏度帧(K1)的像素信号(K1或者P1)乘以第1种第3系数，使插值低灵敏度帧(K2)的像素信号(P2或者K2)乘以第2种第3系数。
在此，第1种第3系数是与第3曝光时间(tS)以及低灵敏度像素K1的曝光时间(tK1)相应的系数，是用于将插值低灵敏度帧(K1)的像素信号(K1或者P1)与第2高灵敏度帧的像素信号(S)进行比例匹配的系数。例如，第1种第3系数根据曝光时间tK1、第3曝光时间tS、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K1的增益以及灵敏度来确定。同样，第2种第3系数是与第3曝光时间(tS)以及低灵敏度像素K2的曝光时间(tK2)相应的系数，是用于将插值低灵敏度帧(K2)的像素信号(K2或者P2)与第3高灵敏度帧的像素信号(S)进行比例匹配的系数。例如，第2种第3系数根据曝光时间tK2、第3曝光时间tS、高灵敏度像素PD的增益以及灵敏度、低灵敏度像素K2的增益以及灵敏度来确定。
进而，低灵敏度信号生成电路743通过对乘以第1种第3系数后的插值低灵敏度帧(K1)和乘以第2种第3系数后的插值低灵敏度帧(K2)进行合成，从而生成第3低灵敏度帧(S)。
修正部75以及WDR合成电路76与图12A相同。
图20是表示实施方式2所涉及的相对于被摄物照度的高灵敏度像素以及低灵敏度像素的特性的图。此外，图21是表示实施方式2所涉及的图19A的信号处理部70中的WDR合成例的说明图。图20以及图21与图10以及图11相比，由于代替像素信号(K)而采用了像素信号(K1)和像素信号(K2)，因此动态范围的扩大更有效。
另外，低灵敏度像素K1、K2的曝光时间设为tK1＞tL+tM+tS，tK2＞tL+tM+tS，tK1、tK2也可以设为从1V同步期间的16.6ms(＝1/60fps)左右至与LED的最小频率对应的11ms(＝1/90Hz)左右。
此外，关于低灵敏度像素K1、K2的饱和/灵敏度比，“低灵敏度像素K1的饱和/灵敏度比：低灵敏度像素K2的饱和/灵敏度比”例如可以是1：20，也可以设为即使接收最大被摄物照度(太阳光的照度)的10万lux也不饱和。
此外，此时，高灵敏度像素的动态范围(DR)通过简单计算如下。
WDR的DR＝1帧的DR+最大/最小曝光比
＝72dB(AD12bit)+48dB(256/1倍)
＝120dB
另外，在此，关于1帧的DR，假设像素的DR(＝饱和/噪声比)超过ADbit精度，以ADbit精度受到制约。
此外，关于低灵敏度像素K1以及K2的DR，通过简单计算同样地如下。
WDR的DR＝1帧的DR+饱和/灵敏度比的K2/K1的比
＝72dB(AD12bit)+26dB(20倍)
＝98dB≈100dB
低灵敏度像素K1以及K2的DR设定为从10万lux描绘SN曲线。
此外，本实施方式所涉及的固体摄像装置能够在低灵敏度像素的信号处理中，调整控制电极PG的控制电压ΦPG来实施自动曝光控制(AE)、白平衡，使得低灵敏度像素不会饱和且饱和电平不会过低。
此外，在插值电路731以及732的插值中，实施重心修正而使得像素的重心不偏移。
由此，对于低灵敏度像素也能够成为最佳的曝光状态。
此外，控制电极PG为了在表面附近蓄积电荷而存在暗电流的课题，画质(S/N)差，特别是作为重视S/N的低照度的画质存在不能容许的情况。
然而，在实施方式1、2中，由于具有控制电极PG的低灵敏度像素用于抑制闪烁的高灵敏度像素信号的修正，因此，不存在S/N恶化这样的课题。
另外，虽然示出了低灵敏度像素K、K1、K2作为饱和电平的调整单元而具有光栅结构的控制电极PG的例子，但只要能够仅通过灵敏度调整来调整所希望的饱和/灵敏度比，则也可以不具有光栅的结构。
此外，示出了高灵敏度像素生成三个高灵敏度帧(L、M、S)的例子，但并不限定于此。
此外，作为高灵敏度像素的排列，示出了拜尔排列(R、Gr、B、Gb)的例子，但并不限定于此，也可以设为(R、C、C、B)，(R、C、C、C)、(R、G、B、Ir)。
如上所述，在实施方式2中的固体摄像装置1中，所述多个低灵敏度像素包括多个第1低灵敏度像素K1和多个第2低灵敏度像素K2，所述第1低灵敏度像素K1的信号饱和电平以及灵敏度的至少一方与第2低灵敏度像素K2不同。
在此，所述固体摄像装置1具有多个第1像素组G1和多个第2像素组G2，所述第1像素组G1具有配置于正方形区域的四个所述高灵敏度像素和配置于该正方形区域的四个所述第1低灵敏度像素，所述第2像素组G2具有配置于正方形区域的四个所述高灵敏度像素和配置于该正方形区域的四个所述第2低灵敏度像素，所述第1像素组G1和所述第2像素组G2也可以在行方向以及列方向上交替地配置。
在此，所述信号处理部70可以生成由从所述多个第1低灵敏度像素得到的多个第1像素信号、和通过使用了所述多个第1像素信号的插值而得到的多个第1插值信号构成的第1插值帧，可以生成由从所述多个第2低灵敏度像素得到的多个第2像素信号、和通过使用了所述多个第2像素信号的插值而得到的多个第2插值信号构成的第2插值帧，可以检测来自所述高灵敏度像素的信号和通过所述第1插值帧与所述第2插值帧的合成而得到的信号的差分信号，根据所述差分信号修正所述高灵敏度像素的信号，从而生成所述像素信号。
在此，所述固体摄像装置1可以通过对所述高灵敏度像素在一个垂直扫描期间内进行仅曝光第1曝光时间的第1曝光动作、仅曝光第2曝光时间的第2曝光动作以及仅曝光第3曝光时间的第3曝光动作，从而生成第1高灵敏度帧、第2高灵敏度帧以及第3高灵敏度帧，第1曝光时间比第2曝光时间长，第2曝光时间比第3曝光时间长，所述信号处理部70可以通过分别使用与第1曝光时间至第3曝光时间对应的第1系数至第3系数合成所述第1插值帧和所述第2插值帧，从而生成第1低灵敏度帧、第2低灵敏度帧以及第3低灵敏度帧，可以检测来自所述第1高灵敏度帧的信号和来自所述第1低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第1高灵敏度帧的信号，从而生成第1修正信号，可以检测来自所述第2高灵敏度帧的信号和来自所述第2低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第2高灵敏度帧的信号，从而生成第2修正信号，可以检测来自所述第3高灵敏度帧的信号和来自所述第3低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第3高灵敏度帧的信号，从而生成第3修正信号，可以通过对所述第1修正信号、所述第2修正信号以及第3修正信号进行合成从而生成所述像素信号。
(实施方式3)
在实施方式3中，作为上述实施方式1所涉及的固体摄像装置的变形例，说明能够通过反复进行通常曝光和中间曝光的时间分配来调整低灵敏度像素K的灵敏度的固体摄像装置1。另外，以下，以与实施方式1的不同为中心进行说明，省略重复的说明。
图22A是表示实施方式3所涉及的通常曝光与中间曝光的时序图。此外，图22B是表示实施方式3所涉及的通常曝光与中间曝光的动作例的说明图。
如图22A、图22B所示，在通常曝光中，作为传输电压ΦTR＝L、光栅的控制电压ΦPG＝H，在与低灵敏度像素K的表面附近的电荷蓄积区域和深的电荷蓄积区域中蓄积电荷。另一方面，在中间曝光中，作为ΦTR＝H(高电平)或者M(中间电平)、ΦPG＝H，在低灵敏度像素K的表面附近的电荷蓄积区域中持续蓄积电荷，但在深的电荷蓄积区域中不蓄积电荷。通过交替地反复控制这样的通常曝光和中间曝光(称为多重曝光)，能够调整低灵敏度像素K的灵敏度、即受光量产生的电荷量。
即，低灵敏度像素K的灵敏度通过调整上述光电二级管的控制电压ΦPG和传输电压ΦTR的脉冲的占空比，反复控制通常曝光和中间曝光(电荷排出)来改变蓄积电荷。
在此，例如，如实施方式2那样，若具有两种低灵敏度像素K1、K2，若灵敏度的大小关系为K1的通常曝光时间＞K2的通常曝光时间，则成为K1的灵敏度＞K2的灵敏度，能够设为K1的饱和/灵敏度比＜K2的饱和/灵敏度比。
由此，饱和电平为φPG的电压电平，灵敏度电平能够以通常曝光时间和中间曝光时间的分配来调整。由此，能够任意地确定任意设定饱和/灵敏度比的动态范围。
此外，该多重曝光时的低灵敏度像素K的灵敏度能够用下式表示。
多重曝光的灵敏度＝(灵敏度1×通常曝光时间+灵敏度2×中间曝光时间)/1V。
灵敏度1是每1V通常曝光的灵敏度。此外，灵敏度2是每1V的中间曝光的灵敏度。
进而，通常曝光和中间曝光(电荷排出)的定时优选为所有行同时驱动。这是因为在滚动快门驱动中垂直扫描电路14的地址解码部的设计变得复杂。
图23A是表示实施方式3所涉及的高灵敏度像素以及低灵敏度像素的曝光时间的一例的图。图23B是表示实施方式3所涉及的高灵敏度像素以及低灵敏度像素的曝光时间和行扫描的一例的图。
如图23A所示，实施方式所涉及的固体摄像装置1为了对高灵敏度像素扩大动态范围，分时地以不同的曝光时间(tL、tM、tS)进行三次曝光。低灵敏度像素K并行地以比高灵敏度像素长的曝光时间tK进行多重曝光。多重曝光例如是通常曝光和中间曝光的反复。
另外，图23B表示高灵敏度像素输出序列作为滚动快门驱动，能够任意地设定各曝光时间。此外，低灵敏度像素K的灵敏度能够根据通常曝光时间E1～En的合计和中间曝光时间M1～Mm的合计的比例，根据上述的式子设定。
由此，对于动态范围的课题，能够通过低灵敏度像素K的多重曝光从而较宽地调整灵敏度。
关于多重曝光，能够调整低灵敏度像素的光电二级管K的曝光时间与中间曝光时间的比。作为一个例子，能够设定1H曝光时间和3H中间曝光时间、1H曝光时间和7H中间曝光时间、1H曝光时间和15H中间曝光时间、1H曝光时间和31H中间曝光时间。此外，在同时进行信号读出驱动和中间曝光驱动时，进行设计以使信号读出驱动优先。
如上所述，在实施方式3中的固体摄像装置1中，所述固体摄像装置1具备以矩阵状配置的多个像素电路3，所述多个像素电路3各自具备：至少一个所述高灵敏度像素；保持信号电荷的浮动扩散层FD；第1传输晶体管，与所述至少一个所述高灵敏度像素分别对应地设置，将对应的高灵敏度像素的信号电荷传输到所述浮动扩散层；至少个所述低灵敏度像素；以及第2传输晶体管，与所述至少一个所述低灵敏度像素分别对应地设置，将对应的低灵敏度像素的信号电荷传输到所述浮动扩散层，所述固体摄像装置1对所述低灵敏度像素在一个垂直扫描期间内反复进行通常曝光动作和中间曝光动作，在所述通常曝光动作中，所述第2传输晶体管的栅极电极为低电平，在所述中间曝光动作中，所述第2传输晶体管的栅极电极为高电平或者中电平，所有行同时进行从所述通常曝光动作向中间曝光动作的切换，所有行同时进行从所述中间曝光动作向所述通常曝光动作的切换。
由此，能够通过低灵敏度像素K的多重曝光较宽地调整灵敏度。
(实施方式4)
以下，参照附图，对实施方式4所涉及的摄像装置进行说明。另外，本实施方式所具备的摄像装置具备一个以上的上述实施方式1～3所涉及的固体摄像装置1。以下，说明详细内容。
图25A是表示实施方式4所涉及的摄像装置的结构例的框图。图25A的摄像装置具备CIS(CMOS Image Sensor：CMOS图像传感器)91、ISP(Image Signal Processor：图像信号处理器)92以及监视器93，例如是数码照相机、智能手机的照相机。
CIS91是各实施方式所示的固体摄像装置1。
ISP92接收来自CIS91的图像信号，进行图像的放大、缩小、压缩编码、解码等的图像处理。
监视器93是摄像时用户确认用的监视器。
另外，CIS91和ISP92可以是一个芯片的SoC(System on Chip：片上系统)90，也可以是不同的芯片。在CIS91和ISP92为不同芯片的情况下，信号处理部70可以设置于CIS91，也可以设置于ISP92。
此外，信号处理部70的一部分也可以不是通过电路而是通过软件来实现。
进而，图25B是表示实施方式4所涉及的摄像装置的其他结构例的框图。图25B的摄像装置具备CIS(CMOS Image Sensor)91、ISP(Image Signal Processor)92、传感器94、传感器ECU(Electronic Control Unit：电控单元)95、警告部96以及控制部97，例如是搭载于机动车的照相机系统。
CIS91和ISP92与图25A相同。
传感器94例如是测距用的雷达(radar)传感器、测距用的激光雷达(Lidar：LightDetection and Ranging)传感器。
传感器ECU95接收来自ISP92、传感器94的信号来控制警告部96以及控制部97。
警告部96例如是机动车的仪表板内的各种状态显示灯、警告灯等。
控制部97例如控制使机动车的方向盘、制动器等移动的制动器等。
另外，图25B的摄像装置是观测系统、ADAS(Advanced Driver AssistanceSystem：先进驾驶辅助系统)、自动驾驶等的感测系统，在观测系统中与监视器连接，在所述感测系统中经由传感器ECU，实施警告或者控制(转向、制动器等)。
图26A是表示实施方式4所涉及的摄像装置向机动车M1的搭载例的图。图26B是表示实施方式4所涉及的图26A的搭载例中的摄像范围的一例的图。
在图26A中，例如图25A的摄像装置分别安装于多个安装位置C1～C9。安装位置C1是机动车M1的前方部分。安装位置C2是机动车M1的车身左侧部分。安装位置C3是机动车M1的车身右侧部分。安装位置C4是左侧车门后视镜。安装位置C5是右侧车门后视镜。安装位置C6是室内镜。安装位置C7是机动车M1的后方中央部分。安装位置C8是机动车M1的后方左侧部分。安装位置C9是机动车M1的后方右侧部分。
此外，图26B所示的摄像范围S1～S9对应于安装位置C1～C9的摄像照相机。
如图26A、图26B所示，作为观测用照相机、传感用照相机的摄像装置根据摄像的对象范围，能够将输送设备(车辆、机动车)的前方、周围、侧部、后部、智能后端设为安装位置。
如上所述，实施方式4中的摄像装置具备上述的固体摄像装置1，构成观测系统、ADAS(先进驾驶辅助系统)的感测系统以及自动驾驶的感测系统中的任一个系统。
在此，所述摄像装置也可以搭载于所述输送设备的前方、左侧、右侧、室内镜中的一处以上。
(其他实施方式)
以上，基于上述实施方式对本公开的固体摄像装置以及使用了该固体摄像装置的摄像装置进行了说明，但本公开的固体摄像装置以及使用了该固体摄像装置的摄像装置并不限定于上述实施方式。通过对上述实施方式中的任意的结构要素组合而实现的其他实施方式、在不脱离本公开的主旨的范围内对上述实施方式实施本领域技术人员想到的各种变形而得到的变形例、本公开的固体摄像装置以及内置有使用该摄像装置的各种设备也包括在本发明中。
产业上的可利用性
本公开能够用于固体摄像装置以及摄像装置。
符号说明
1 固体摄像装置，
3 像素电路，
10 像素阵列部，
12 水平扫描电路，
14 垂直扫描电路，
15 水平扫描线组，
18 水平信号线，
19 垂直信号线，
20 定时控制部，
25 列AD电路，
26 列处理部，
27 参考信号生成部，
70 信号处理部，
72 WDR合成电路，
75 修正部，
76 WDR合成电路，
711、712、713 修正电路，
721 分割电路，
731、732 插值电路，
741、742、743 低灵敏度信号生成电路，
751、752、753 修正电路，
757 差分检测电路，
758 加法电路。

Claims (13)

1.一种固体摄像装置，具备：
多个高灵敏度像素，以矩阵状配置并以给定的灵敏度进行光电转换；以及
多个低灵敏度像素，以矩阵状配置在所述多个高灵敏度像素的间隙中，并以比所述给定的灵敏度低的灵敏度进行光电转换，
所述固体摄像装置通过对所述多个高灵敏度像素在一个垂直扫描期间内进行曝光时间不同的多次曝光动作，从而生成多个高灵敏度帧，并且，与所述低灵敏度像素并行地曝光所述高灵敏度像素，所述低灵敏度像素的曝光时间比所述高灵敏度像素的曝光时间长，并且比一个垂直同步期间短、比给定的闪烁周期长，
所述固体摄像装置还具备：
信号处理部，检测来自所述高灵敏度像素的信号和来自所述低灵敏度像素的信号的差分信号，通过将所述差分信号与来自所述高灵敏度像素的信号相加来修正来自所述多个高灵敏度帧的至少一个的高灵敏度像素的信号，由此抑制比所述给定的闪烁周期短的周期的闪烁，并且从至少一个被修正的所述多个高灵敏度帧合成像素信号，从而生成像素信号。
2.根据权利要求1所述的固体摄像装置，其中，
所述信号处理部根据来自所述低灵敏度像素的信号修正所述多个高灵敏度帧各自的信号，并对修正后的多个高灵敏度帧进行合成。
3.根据权利要求1所述的固体摄像装置，其中，
所述固体摄像装置通过对所述高灵敏度像素在一个垂直扫描期间内进行仅曝光第1曝光时间的第1曝光动作、仅曝光第2曝光时间的第2曝光动作以及仅曝光第3曝光时间的第3曝光动作，从而生成第1高灵敏度帧、第2高灵敏度帧以及第3高灵敏度帧，
第1曝光时间比第2曝光时间长，第2曝光时间比第3曝光时间长，
所述信号处理部进行如下处理：
通过对由所述低灵敏度像素的信号构成的帧分别乘以与第2曝光时间以及第3曝光时间对应的第2系数以及第3系数，从而生成第2低灵敏度帧以及第3低灵敏度帧，
检测来自所述第2高灵敏度帧的信号和来自所述第2低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第2高灵敏度帧的信号，从而生成第2修正信号，
检测来自所述第3高灵敏度帧的信号和来自所述第3低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第3高灵敏度帧的信号，从而生成第3修正信号，
通过对来自所述第1高灵敏度帧的信号、所述第2修正信号以及第3修正信号进行合成，从而生成所述像素信号。
4.根据权利要求1所述的固体摄像装置，其中，
所述固体摄像装置通过对所述高灵敏度像素在一个垂直扫描期间内进行仅曝光第1曝光时间的第1曝光动作、仅曝光第2曝光时间的第2曝光动作以及仅曝光第3曝光时间的第3曝光动作，从而生成第1高灵敏度帧、第2高灵敏度帧以及第3高灵敏度帧，
第1曝光时间比第2曝光时间长，第2曝光时间比第3曝光时间长，
所述信号处理部进行如下处理：
通过对由所述低灵敏度像素的信号构成的帧分别乘以与第1曝光时间至第3曝光时间对应的第1系数、第2系数以及第3系数，从而生成第1低灵敏度帧、第2低灵敏度帧以及第3低灵敏度帧，
检测来自所述第1高灵敏度帧的信号和来自所述第1低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第1高灵敏度帧的信号，从而生成第1修正信号，
检测来自所述第2高灵敏度帧的信号和来自所述第2低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第2高灵敏度帧的信号，从而生成第2修正信号，
检测来自所述第3高灵敏度帧的信号和来自所述第3低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第3高灵敏度帧的信号，从而生成第3修正信号，
通过对所述第1修正信号、所述第2修正信号以及第3修正信号进行合成，从而生成所述像素信号。
5.根据权利要求1所述的固体摄像装置，其中，
所述多个低灵敏度像素包括多个第1低灵敏度像素和多个第2低灵敏度像素，
所述第1低灵敏度像素的信号饱和电平以及灵敏度的至少一者与第2低灵敏度像素不同。
6.根据权利要求5所述的固体摄像装置，其中，
所述固体摄像装置具有多个第1像素组和多个第2像素组，
所述第1像素组具有配置于正方形区域的四个所述高灵敏度像素和配置于该正方形区域的四个所述第1低灵敏度像素，
所述第2像素组具有配置于正方形区域的四个所述高灵敏度像素和配置于该正方形区域的四个所述第2低灵敏度像素，
所述第1像素组和所述第2像素组在行方向以及列方向上交替地配置。
7.根据权利要求6所述的固体摄像装置，其中，
所述信号处理部进行如下处理：
生成由从所述多个第1低灵敏度像素得到的多个第1像素信号、和通过使用了所述多个第1像素信号的插值而得到的多个第1插值信号构成的第1插值帧，
生成由从所述多个第2低灵敏度像素得到的多个第2像素信号、和通过使用了所述多个第2像素信号的插值而得到的多个第2插值信号构成的第2插值帧，
检测来自所述高灵敏度像素的信号和通过所述第1插值帧与所述第2插值帧的合成而得到的信号的差分信号，根据所述差分信号修正所述高灵敏度像素的信号，从而生成所述像素信号。
8.根据权利要求7所述的固体摄像装置，其中，
所述固体摄像装置通过对所述高灵敏度像素在一个垂直扫描期间内进行仅曝光第1曝光时间的第1曝光动作、仅曝光第2曝光时间的第2曝光动作以及仅曝光第3曝光时间的第3曝光动作，从而生成第1高灵敏度帧、第2高灵敏度帧以及第3高灵敏度帧，
第1曝光时间比第2曝光时间长，第2曝光时间比第3曝光时间长，
所述信号处理部进行如下处理：
通过分别使用与第1曝光时间至第3曝光时间对应的第1系数至第3系数合成所述第1插值帧和所述第2插值帧，从而生成第1低灵敏度帧、第2低灵敏度帧以及第3低灵敏度帧，
检测来自所述第1高灵敏度帧的信号和来自所述第1低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第1高灵敏度帧的信号，从而生成第1修正信号，
检测来自所述第2高灵敏度帧的信号和来自所述第2低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第2高灵敏度帧的信号，从而生成第2修正信号，
检测来自所述第3高灵敏度帧的信号和来自所述第3低灵敏度帧的信号的差分信号，根据所述差分信号修正来自所述第3高灵敏度帧的信号，从而生成第3修正信号，
通过对所述第1修正信号、所述第2修正信号以及第3修正信号进行合成，从而生成所述像素信号。
9.根据权利要求1所述的固体摄像装置，其中，
所述固体摄像装置具备以矩阵状配置的多个像素电路，
所述多个像素电路各自具备：
至少一个所述高灵敏度像素；
浮动扩散层，保持信号电荷；
第1传输晶体管，与所述至少一个所述高灵敏度像素分别对应地设置，将对应的高灵敏度像素的信号电荷传输至所述浮动扩散层；
至少一个所述低灵敏度像素；
第2传输晶体管，与所述至少一个所述低灵敏度像素分别对应地设置，将对应的低灵敏度像素的信号电荷传输至所述浮动扩散层；以及
晶体管，将所述第2传输晶体管和所述浮动扩散层电切断或者电连接。
10.根据权利要求1所述的固体摄像装置，其中，
所述固体摄像装置还具有控制电极，该控制电极按所述多个低灵敏度像素的每一个来设置，覆盖对应的低灵敏度像素的一部分，
所述控制电极根据施加于所述控制电极的电压来控制对应的低灵敏度像素的表面的电位。
11.根据权利要求1所述的固体摄像装置，其中，
所述固体摄像装置具备以矩阵状配置的多个像素电路，
所述多个像素电路各自具备：
至少一个所述高灵敏度像素；
浮动扩散层，保持信号电荷；
第1传输晶体管，与所述至少一个所述高灵敏度像素分别对应地设置，将对应的高灵敏度像素的信号电荷传输至所述浮动扩散层；
至少一个所述低灵敏度像素；以及
第2传输晶体管，与所述至少一个所述低灵敏度像素分别对应地设置，将对应的低灵敏度像素的信号电荷传输至所述浮动扩散层，
所述固体摄像装置对所述低灵敏度像素在一个垂直扫描期间内反复进行通常曝光动作和中间曝光动作，
在所述通常曝光动作中，所述第2传输晶体管的栅极电极为低电平，
在所述中间曝光动作中，所述第2传输晶体管的栅极电极为高电平或者中电平，
所有行同时进行从所述通常曝光动作向中间曝光动作的切换，所有行同时进行从所述中间曝光动作向所述通常曝光动作的切换。
12.一种摄像装置，
具备权利要求1所述的固体摄像装置，
构成观测系统、先进驾驶辅助系统ADAS的感测系统、以及自动驾驶的感测系统中的任一个系统。
13.一种输送设备的反射镜，
具备权利要求12所述的摄像装置，
所述摄像装置作为观测用照相机或传感用照相机而搭载于所述输送设备的前方、左侧、右侧、室内镜中的一处以上。
CN201780074535.5A 2016-12-08 2017-11-30 固体摄像装置以及摄像装置、输送设备的反射镜 Active CN110036630B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662431603P 2016-12-08 2016-12-08
US62/431,603 2016-12-08
PCT/JP2017/042988 WO2018105474A1 (ja) 2016-12-08 2017-11-30 固体撮像装置および撮像装置

Publications (2)

Publication Number Publication Date
CN110036630A CN110036630A (zh) 2019-07-19
CN110036630B true CN110036630B (zh) 2021-08-20

Family

ID=62491024

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780074535.5A Active CN110036630B (zh) 2016-12-08 2017-11-30 固体摄像装置以及摄像装置、输送设备的反射镜
CN201780075076.2A Active CN110036632B (zh) 2016-12-08 2017-11-30 固体摄像装置以及使用该固体摄像装置的摄像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780075076.2A Active CN110036632B (zh) 2016-12-08 2017-11-30 固体摄像装置以及使用该固体摄像装置的摄像装置

Country Status (5)

Country Link
US (2) US10685997B2 (zh)
EP (1) EP3554065B1 (zh)
JP (2) JP7014734B2 (zh)
CN (2) CN110036630B (zh)
WO (2) WO2018105475A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110036630B (zh) * 2016-12-08 2021-08-20 新唐科技日本株式会社 固体摄像装置以及摄像装置、输送设备的反射镜
JP6748622B2 (ja) * 2017-02-16 2020-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像システムおよび撮像装置
DE102017118160A1 (de) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Ermitteln der maximalen Reichweite eines LIDAR-Sensors
CN109005346B (zh) * 2018-08-13 2020-04-03 Oppo广东移动通信有限公司 控制方法、装置、电子设备和计算机可读存储介质
US11172142B2 (en) 2018-09-25 2021-11-09 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor for sensing LED light with reduced flickering
JP7362651B2 (ja) 2018-11-07 2023-10-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CN111246051B (zh) 2018-11-09 2021-06-29 浙江宇视科技有限公司 自动检测条纹并抑制的方法、装置、设备及存储介质
JP2020188310A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
US10999549B2 (en) * 2019-06-20 2021-05-04 Pixart Imaging Incorporation Image sensor, column parallel ADC circuit and A/D conversion method thereof
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US10863106B1 (en) * 2019-10-21 2020-12-08 GM Global Technology Operations LLC Systems and methods for LED flickering and banding detection
US11196937B2 (en) 2019-11-25 2021-12-07 Qualcomm Incorporated High frame rate in high dynamic range processing
WO2021199807A1 (ja) * 2020-03-31 2021-10-07 パナソニックＩｐマネジメント株式会社 撮像装置および撮像方法
DE102021113883A1 (de) * 2020-06-04 2021-12-09 Samsung Electronics Co., Ltd. Bildsensor, elektronische vorrichtung, und betriebsverfahren eines bildsensors
JP2022020553A (ja) * 2020-07-20 2022-02-01 株式会社ユピテル システム及びプログラム等
CN111683212B (zh) * 2020-07-20 2021-05-04 成都微光集电科技有限公司 一种图像传感器及其测试方法
CN112165586A (zh) * 2020-09-28 2021-01-01 成都微光集电科技有限公司 Adc功能安全校验装置和方法、cmos图像传感器、参考像素单元
CN114743226A (zh) * 2020-12-23 2022-07-12 京东方科技集团股份有限公司 图像采集结构及其驱动方法、显示装置
JP2022100908A (ja) * 2020-12-24 2022-07-06 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の信号処理方法、および電子機器
KR20230000673A (ko) 2021-06-25 2023-01-03 삼성전자주식회사 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법
US11444630B1 (en) * 2021-06-30 2022-09-13 Novatek Microelectronics Corp. Column analog-to-digital converter and local counting method thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333421A (ja) * 2002-05-14 2003-11-21 Fuji Photo Film Co Ltd ディジタルカメラおよびそのシェーディング補正方法
JP2004222183A (ja) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd 露出補正機能付きデジタルカメラ
CN101079966A (zh) * 2006-02-09 2007-11-28 索尼株式会社 固态成像设备、用于驱动固态成像设备的方法和相机
CN101316325A (zh) * 2007-05-30 2008-12-03 三星电子株式会社 图像拍摄设备和方法
CN101556965A (zh) * 2008-04-07 2009-10-14 索尼株式会社 固体摄像器件、固体摄像器件的信号处理方法和电子装置
CN101998040A (zh) * 2009-08-19 2011-03-30 株式会社东芝 图像处理装置、固体摄像装置及摄像机模组
CN102740005A (zh) * 2011-04-06 2012-10-17 索尼公司 固体摄像器件及其驱动方法和电子装置
JP2015201834A (ja) * 2014-03-31 2015-11-12 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264488A (ja) * 1995-02-15 1995-10-13 Olympus Optical Co Ltd 電子的撮像装置
JP3031606B2 (ja) * 1995-08-02 2000-04-10 キヤノン株式会社 固体撮像装置と画像撮像装置
JP2000083261A (ja) * 1998-09-04 2000-03-21 Advantest Corp 画像切出装置及びこれを搭載した画像入力ボード
JP3730442B2 (ja) 1999-05-14 2006-01-05 株式会社東芝 固体撮像装置
JP2002027196A (ja) 2000-07-04 2002-01-25 Ricoh Co Ltd 画像読取装置及び画像形成装置
JP2004112742A (ja) * 2002-07-25 2004-04-08 Fujitsu Ltd 画像歪みを抑制したイメージセンサ
JP4468657B2 (ja) * 2003-04-28 2010-05-26 オリンパス株式会社 撮像素子
US7224388B2 (en) * 2003-05-08 2007-05-29 Micron Technology, Inc. Wide dynamic range active pixel with knee response
JP4466319B2 (ja) * 2004-10-25 2010-05-26 パナソニック電工株式会社 空間情報の検出装置
JP4654857B2 (ja) 2005-09-26 2011-03-23 ソニー株式会社 Ｄａ変換装置、ａｄ変換装置、半導体装置
JP4846409B2 (ja) 2006-03-30 2011-12-28 富士フイルム株式会社 固体撮像装置
US7825966B2 (en) * 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
JP2009278236A (ja) 2008-05-13 2009-11-26 Panasonic Corp 固体撮像装置
JP5115335B2 (ja) * 2008-05-27 2013-01-09 ソニー株式会社 固体撮像素子及びカメラシステム
JP4975700B2 (ja) 2008-08-06 2012-07-11 シャープ株式会社 Ｄａｃ測定方法および固体撮像装置
ATE543215T1 (de) * 2009-03-24 2012-02-15 Sony Corp Festkörper-abbildungsvorrichtung, ansteuerverfahren für festkörper- abbildungsvorrichtung und elektronische vorrichtung
JP2011091775A (ja) * 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
JP5091964B2 (ja) * 2010-03-05 2012-12-05 株式会社東芝 固体撮像装置
JP2012039299A (ja) * 2010-08-05 2012-02-23 Toshiba Corp 固体撮像装置
US8823850B2 (en) 2010-12-30 2014-09-02 Hynix Semiconductor Inc. Image processing system with on-chip test mode for column ADCs
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP6000589B2 (ja) * 2012-03-21 2016-09-28 キヤノン株式会社 固体撮像装置
JP5980080B2 (ja) * 2012-10-02 2016-08-31 キヤノン株式会社 光電変換装置、撮像システム、光電変換装置の検査方法および撮像システムの製造方法
JP5813067B2 (ja) * 2012-12-20 2015-11-17 キヤノン株式会社 撮像装置の駆動方法、デジタル信号の補正方法、撮像装置、撮像システムの駆動方法、撮像システム
WO2015033497A1 (ja) * 2013-09-06 2015-03-12 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
EP3079353B1 (en) * 2013-12-04 2021-03-03 Sony Semiconductor Solutions Corporation Image processing device, image processing method, electronic apparatus, and program
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6406888B2 (ja) 2014-06-17 2018-10-17 キヤノン株式会社 アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法
JP6448340B2 (ja) 2014-12-10 2019-01-09 キヤノン株式会社 固体撮像装置、撮像システム及び固体撮像装置の駆動方法
JP6700723B2 (ja) * 2014-12-17 2020-05-27 キヤノン株式会社 撮像装置及び撮像素子の駆動方法
US9467633B2 (en) * 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
US10498983B2 (en) * 2015-03-16 2019-12-03 Sony Corporation Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
TWI717450B (zh) * 2016-02-18 2021-02-01 日商新力股份有限公司 固體攝像裝置、固體攝像裝置之驅動方法、及電子機器
JP2017183563A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 撮像装置、駆動方法、および、電子機器
JP6969539B2 (ja) * 2016-03-31 2021-11-24 ソニーグループ株式会社 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器
CN110036630B (zh) 2016-12-08 2021-08-20 新唐科技日本株式会社 固体摄像装置以及摄像装置、输送设备的反射镜

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333421A (ja) * 2002-05-14 2003-11-21 Fuji Photo Film Co Ltd ディジタルカメラおよびそのシェーディング補正方法
JP2004222183A (ja) * 2003-01-17 2004-08-05 Fuji Photo Film Co Ltd 露出補正機能付きデジタルカメラ
CN101079966A (zh) * 2006-02-09 2007-11-28 索尼株式会社 固态成像设备、用于驱动固态成像设备的方法和相机
CN101316325A (zh) * 2007-05-30 2008-12-03 三星电子株式会社 图像拍摄设备和方法
CN101556965A (zh) * 2008-04-07 2009-10-14 索尼株式会社 固体摄像器件、固体摄像器件的信号处理方法和电子装置
CN101998040A (zh) * 2009-08-19 2011-03-30 株式会社东芝 图像处理装置、固体摄像装置及摄像机模组
CN102740005A (zh) * 2011-04-06 2012-10-17 索尼公司 固体摄像器件及其驱动方法和电子装置
JP2015201834A (ja) * 2014-03-31 2015-11-12 ソニー株式会社 固体撮像装置及びその駆動制御方法、画像処理方法、並びに、電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于多次曝光技术的大动态范围CMOS图像传感器研究";高志远;《中国博士学位论文全文数据库（电子期刊）》;20160815;全文 *

Also Published As

Publication number Publication date
JP7064444B2 (ja) 2022-05-10
US20190289238A1 (en) 2019-09-19
JPWO2018105475A1 (ja) 2019-10-24
US10685997B2 (en) 2020-06-16
US20190288020A1 (en) 2019-09-19
JP7014734B2 (ja) 2022-02-01
CN110036632A (zh) 2019-07-19
CN110036630A (zh) 2019-07-19
JPWO2018105474A1 (ja) 2019-10-24
WO2018105475A1 (ja) 2018-06-14
WO2018105474A1 (ja) 2018-06-14
EP3554065B1 (en) 2021-12-29
CN110036632B (zh) 2021-07-09
EP3554065A4 (en) 2020-01-01
EP3554065A1 (en) 2019-10-16
US10847556B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110036630B (zh) 固体摄像装置以及摄像装置、输送设备的反射镜
CN107920214B (zh) 固态成像设备、其驱动方法、成像系统和可移动物体
CN107409179B (zh) 固态成像装置、固态成像装置的驱动方法和电子设备
US11336844B2 (en) Imaging device, imaging system, and movable object
US10841517B2 (en) Solid-state imaging device and imaging system
CN108605105B (zh) 固体摄像装置以及摄像装置
KR20170006206A (ko) 넓은 다이나믹 레인지를 갖는 이미지 센서, 이미지 센서의 픽셀 회로 및 이미지 센서의 동작방법
US20220367557A1 (en) Solid-state imaging apparatus and imaging apparatus including the same
US20140204253A1 (en) Solid-state imaging device
US11070755B2 (en) Imaging device and signal processing device
JP2017118191A (ja) 撮像素子及びその駆動方法、並びに撮像装置
CN108432238B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US20220070396A1 (en) Solid-state imaging apparatus, imaging apparatus, and imaging method
JP2016090785A (ja) 撮像装置及びその制御方法
JP7204480B2 (ja) 撮像装置、撮像システム、移動体及び撮像装置の制御方法
JP2019193169A (ja) 撮像装置、撮像システム、および、移動体
US20050264663A1 (en) Image pickup apparatus and image pickup method
US20220053152A1 (en) Solid-state imaging apparatus and imaging apparatus including the same
KR20120122165A (ko) 광역 동적범위를 가지는 이미지 센서, 그 화소 회로 및 구동 방법
CN108432239B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
KR20150012992A (ko) 고체 촬상 장치
JP2017055244A (ja) 固体撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200602

Address after: Kyoto Japan

Applicant after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Prefecture, Japan

Applicant before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: Nuvoton Technology Corporation Japan

Address before: Kyoto Japan

Applicant before: Panasonic semiconductor solutions Co.,Ltd.

GR01 Patent grant
GR01 Patent grant