CN105580351B - 固态摄像元件和电子装置 - Google Patents

固态摄像元件和电子装置 Download PDF

Info

Publication number
CN105580351B
CN105580351B CN201480050780.9A CN201480050780A CN105580351B CN 105580351 B CN105580351 B CN 105580351B CN 201480050780 A CN201480050780 A CN 201480050780A CN 105580351 B CN105580351 B CN 105580351B
Authority
CN
China
Prior art keywords
pixel
value
long
exposure
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480050780.9A
Other languages
English (en)
Other versions
CN105580351A (zh
Inventor
池田裕介
庄山英树
坂本贤政
有働勇一
熊谷央一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN105580351A publication Critical patent/CN105580351A/zh
Application granted granted Critical
Publication of CN105580351B publication Critical patent/CN105580351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明涉及能够改善照度值线性度的固态摄像元件和电子装置。动态范围扩展器(118)基于多个像素的具有不同曝光时间的像素值来扩展各所述像素的像素值的动态范围。积分器(119)对具有被动态范围扩展器(118)扩展的动态范围的像素值进行积分且产生照度值。本发明例如能够应用于诸如用于照度计中的互补金属氧化物半导体(CMOS)图像传感器等。

Description

固态摄像元件和电子装置
技术领域
本发明涉及固态摄像元件和电子装置，特别地，涉及能够改善照度 值的线性度的固态摄像元件和电子装置。
背景技术
一般而言，在图像传感器中，输出的数量和模拟数字转换器(ADC) 分辨率分别是几兆(M)至几十兆(M)的输出以及10位。另一方面， 在照度计中，输出的数量和ADC分辨率分别是1输出和16位。因此， 当图像传感器用于照度计时，需要对输出值进行加运算并且需要对动态 范围进行扩展(例如，参照专利文献1)。
因此，在用于照度计的图像传感器中(以下，被称为照度用图像传 感器)，通常对各帧进行多次曝光。
具体地，照度用图像传感器首先用较长的曝光时间进行成像且对获 得的长期累积图像的各像素值进行积分来产生长期累积值。然后，照度 用图像传感器用较短的曝光时间进行成像且对获得的短期累积图像的各 像素值进行积分来产生短期累积值。照度用图像传感器将长期累积图像 的曝光时间与短期累积图像的曝光时间的比设定为增益，并且将短期累 积值乘以该增益。根据摄取长期累积图像时在所有像素中是否存在累积 电荷的饱和，照度用图像传感器将通过乘以增益后获得的短期累积值或 长期累积值选作照度值。这使得能够扩展照度值的动态范围。
然而，当摄取长期累积图像时仅仅一些像素中的累积电荷饱和时， 因为将长期累积值选作照度值，所以照度值的线性度劣化。此外，短期 累积值乘以增益，且因此当A/D转换等造成的噪声出现在像素值中时， 通过乘以增益而获得的短期累积值的噪声大于长期累积值的噪声。因此， 当长期累积值被替换为乘以增益后获得的短期累积值时，照度值的线性 度劣化。
引用列表
专利文献
专利文献1：特开JP 2007-221624号公报
发明内容
技术问题
如上所述，在照度用图像传感器中，在一些情况下，照度值的线性 度劣化。
鉴于这些情况做出了本发明，本发明的目的是改善照度值的线性度。
问题的解决方案
根据本发明的第一方面，提出一种固态摄像元件，其包括：动态范 围扩展器，所述动态范围扩展器被构造为根据多个像素的具有不同曝光 时间的像素值来扩展各像素的像素值的动态范围；和积分器，所述积分 器被构造为对具有被所述动态范围扩展器扩展的动态范围的像素值进行 积分且产生照度值。
根据本发明第一实施例的电子装置对应于根据本发明第一实施例的 固态摄像元件。
在本发明的第一实施例中，根据多个像素的具有不同曝光时间的像 素值来扩展各像素的像素值的动态范围，且对具有扩展的动态范围的像 素值进行积分，从而产生照度值。
根据本发明的第二方面，提出一种固态摄像元件，其包括：动态范 围扩展器，所述动态范围扩展器被构造为根据多个像素的第一曝光时间 的像素值和第二曝光时间的像素值来扩展所述多个像素的像素值的积分 值的动态范围；乘法器，所述乘法器被构造为生成如下的值作为照度值： 所述值是通过将具有被所述动态范围扩展器扩展的动态范围的积分值乘 以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的 值；和选择器，所述选择器被构造为根据所述照度值从预定对的多个倍 数中选择与所述乘法器产生的照度值相对应的帧的下一帧的所述一对所 述第一曝光时间和所述第二曝光时间。
根据本发明第二实施例的电子装置对应于根据本发明第二实施例的 固态摄像元件。
在本发明的第二实施例中，根据多个像素的第一曝光时间的像素值 和第二曝光时间的像素值来扩展所述多个像素的像素值的积分值的动态 范围，将通过将具有扩展的动态范围的积分值乘以与一对所述第一曝光 时间和所述第二曝光时间相对应的增益而获得的值产生为照度值，且根 据所述照度值从预定对的倍数中选择与所述乘法器产生的照度值相对应 的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间。
本发明的有益效果
根据本发明，能够产生照度值。此外，根据本发明，能够改善照度 值的线性度。
注意，未必限于此处所述的效果，而是能够实现本文中所公开的任 何效果。
附图说明
图1用来说明多次曝光图像传感器的长期累积图像和短期累积图像 的曝光。
图2图示了多次曝光图像传感器中的照度值计算器的示例性构造。
图3用来说明图2的选择器输出的照度值。
图4用来说明照度值的线性度的劣化。
图5用来说明照度值的线性度的劣化。
图6用来说明照度值的线性度的劣化的另一个示例。
图7图示了作为应用本发明的固态摄像元件的CMOS图像传感器的 第一实施例的第一构造例。
图8图示了图7的短期累积像素和长期累积像素的示例性构造。
图9图示了动态范围扩展器和积分器的示例性构造。
图10用来说明图7的CMOS图像传感器输出的照度值。
图11是用来说明图7的CMOS图像传感器进行的照度值计算处理 的流程图。
图12图示了作为应用本发明的固态摄像元件的CMOS图像传感器 的第一实施例的第二构造例。
图13是用来说明图12的CMOS图像传感器进行的照度值计算处理 的流程图。
图14是图示了作为应用本发明的固态摄像元件的CMOS图像传感 器的第二实施例的示例性构造的框图。
图15用来说明图14的判定单元的阈值。
图16是用来说明由图14的CMOS图像传感器进行的照度值计算处 理的流程图。
图17是图示了作为应用本发明的固态摄像元件的CMOS图像传感 器的第三实施例的示例性构造的框图。
图18图示了像素阵列部的短期累积像素和长期累积像素的另一示例 性构造。
图19是图示了用作应用本发明的电子装置的照度计的示例性构造的 框图。
具体实施方式
<本发明的前提>
(每帧进行多次曝光的照度用图像传感器的曝光的说明)
图1用来说明对每帧进行多次曝光的照度用图像传感器(以下，被 称为多次曝光图像传感器)的长期累积图像和短期累积图像的曝光。
在图1所示的图形中，横轴表示时间，且纵轴表示从多次曝光图像 传感器中的像素阵列部的各行的起始算起的行数。
如图1所示，多次曝光图像传感器以帧为单位顺序地摄取长期累积 图像和短期累积图像。在图1的示例中，多次曝光图像传感器以长期累 积图像和短期累积图像这样的顺序进行摄像。
此外，在图1的示例中，长期累积图像的曝光时间是短期累积图像 的曝光时间的64倍。换言之，从以行为单位对长期累积图像的各像素的 累积电荷进行复位(长期累积快门)至以行为单位进行读取(长期累积 读取)的时间是从以行为单位对短期累积图像的各像素的累积电荷进行 复位(短期累积快门)至以行为单位进行读取(短期累积读取)的时间的64倍。
(多次曝光图像传感器中的照度值计算器的示例性构造)
图2图示了多次曝光图像传感器的从长期累积图像和短期累积图像 中计算照度值的照度值计算器的示例性构造。
图2的照度值计算器10被构造为包括加法器11、寄存器12、乘法 器13、饱和检测器14、加法器15、寄存器16、乘法器17和选择器18。
加法器11顺序地接收在图1所示的曝光时间内摄取的长期累积图像 的各像素值作为该加法器的输入。加法器11将输入的像素值与保持于寄 存器12中的像素值相加。加法器11将相加而获得的值供给至寄存器12。 寄存器12保持加法器11供给来的加法值。寄存器12将保持的加法值供 给至加法器11。因此，输入至加法器11的长期累积图像像素值被顺序地 积分。当所有的长期累积图像的像素值被积分时，保持于寄存器12的加 法值被供给至乘法器13。
乘法器13将从寄存器12供给来的加法值乘以作为增益的1。乘法器 13将通过乘法而获得的值供给至饱和检测器14和选择器18。
例如，饱和检测器14将下述值设定为阈值，所述值接近于通过针对 所有像素值对长期累积图像的像素值的最大值进行积分而获得的值，并 且饱和检测器14将所述阈值与从乘法器13供给的乘法值进行比较。当 所述乘法值小于阈值时，饱和检测器14生成代表饱和不存在的0作为用 于表示存在或不存在饱和的饱和信号。另一方面，当所述乘法值大于或 等于阈值时，饱和检测器14生成代表饱和存在的1作为所述饱和信号。 饱和检测器14将饱和信号供给至选择器18。
加法器15顺序地接收在图1所示的曝光时间内摄取的短期累积图像 的各像素值作为该加法器的输入。加法器15将输入的像素值与保持于寄 存器16的像素值相加。加法器15将通过加法而获得的值供给至寄存器 16。寄存器16保持加法器15供给来的加法值。寄存器16将保持的加法 值供给至加法器15。因此，输入至加法器15的短期累积图像像素值被顺序地积分。当所有的短期累积图像的像素值被积分时，保持于寄存器16 的加法值被供给至乘法器17。
乘法器17将从寄存器16供给来的加法值乘以作为增益的64。乘法 器17将通过乘法而获得的值供给至选择器18。
当从饱和检测器14供给来的饱和信号设定为0时，选择器18选择 从乘法器13供给来的乘法值且将选择的该乘法值除以多次曝光图像传感 器的像素数。选择器18输出由此产生的像素值的平均值作为照度值。另 一方面，当饱和信号设定为1时，选择器18选择从乘法器17供给来的 乘法值且将选择的该乘法值除以多次曝光图像传感器的像素数。选择器18输出由此产生的像素值的平均值作为照度值。这样，以图像为单位进 行了照度值的动态范围扩展。
如图2所示，照度值计算器10不必设置用于存储第一曝光时的图像 (图1示例中的长期累积图像)的帧存储器以对像素值进行积分。
(照度值的说明)
图3用来说明图2的选择器18输出的照度值。
在图3中，横轴表示入射至多次曝光图像传感器的各像素的光(以 下，被称为入射光)的照度，且纵轴表示各像素的像素值或选择器18输 出的照度值。在图3的示例中，假设：各像素的入射光的照度是相同的 且各像素的像素值也是相同的。
如图3所示，当摄取长期累积图像时所有像素的累积电荷未饱和时， 选择器18输出具有高信噪比(SNR)的长期累积图像的像素值的平均值 作为照度值。此外，当摄取长期累积图像时的所有像素的累积电荷饱和 时，选择器18输出短期累积图像的像素值的平均值作为照度值以扩展动 态范围。因此，照度值的动态范围变成64倍。因此，例如，当像素值的 位数是10位时，照度值的位数变成16位。
(照度值的线性度的劣化的说明)
然后，参照图4和图5说明从图2的选择器18输出的照度值的线性 度的劣化。
图4图示了这样的长期累积图像的示例，其中，在摄像期间仅一些 像素组中的累积电荷饱和。
图4图示出：浓度越高，像素值越小。在图4的示例中，仅与长期 累积图像30的左下区域31相对应的像素组中的累积电荷饱和，且不管 入射光的照度如何，区域31的像素值都变成最大值。
在这种情况下，摄取长期累积图像30时不是所有像素的累积电荷都 饱和，且因此，选择器18选择长期累积图像的乘法值。然而，累积电荷 的饱和使区域31的像素值无法与入射光的照度成比例。因此，如图5所 示，相比于与入射光的照度成比例的理想的照度值52的线性度相比，照 度值51的线性度劣化。在图5中，横轴表示照度且纵轴表示照度值。
(照度值的线性度的另一劣化的说明)
然后，参照图6说明照度值的线性度的另一劣化。
在图6中，横轴表示各像素的入射光的照度且纵轴表示照度值或各 像素的像素值。在图6的示例中，假设：各像素的入射光的照度是相同 的且各像素的像素值也是相同的。此外，当长期累积图像的乘法值大于 或等于960LSB时，饱和信号被设定为1，而当长期累积图像的乘法值小 于960LSB时，饱和信号被设定为0。
线性度劣化因素(诸如对摄像信号(即，各像素的累积电荷的模拟 信号)进行A/D转换的列ADC内的噪声等)被包含在作为与各像素的 累积电荷相对应的数字值的像素值内。在多次曝光图像传感器中，对所 有像素的像素值进行积分，从而消除了除了列ADC内的噪声以外的各像 素的不同噪声，因此，由除了列ADC内的噪声以外的上述不同噪声造成 的误差小。然而，对于各像素而言一致地出现的噪声(例如列ADC内的 噪声等)随着像素值的积分而增大，因此，由这样的噪声造成的误差大。
例如，当由于列ADC内的噪声等造成的像素值误差是±1LSB时，如 图6所示，增益为1的长期累积图像的乘法值的平均值的误差是±1LSB。 然而，增益为64的短期累积图像的乘法值的平均值的误差是±64LSB。 因此，当切换选择器18的选择时(即，当切换饱和信号时)，照度值的 误差变化显著，因此，线性度劣化。
换言之，当切换选择器18的选择时，长期累积图像的乘法值的平均 值的误差在960LSB±1LSB的范围内变化。另一方面，短期累积图像的像 素值在15LSB±1LSB的范围内变化，但是该范围被乘以作为增益的64 且因此短期累积图像的乘法值的平均值在960LSB±64LSB的范围内变 化。因此，当切换选择器18的选择时，照度值从960LSB±1LSB的范围变化至960LSB±64LSB的范围，从而使照度值的线性度劣化。
通过减小短期累积图像与长期累积图像之间的曝光比来改善线性度 的这样的劣化，但是短期累积图像与长期累积图像之间的曝光比的减小 导致照度值的动态范围变小。换言之，在多次曝光图像传感器中，在照 度值的线性度的改善与照度值的动态范围的扩展之间存在着效益背反 (trade-off)的关系。
<第一实施例>
(CMOS图像传感器的第一实施例的第一构造例)
图7图示了作为应用本发明的固态摄像元件的CMOS图像传感器的 第一实施例的第一构造例。
CMOS图像传感器100被构造为包括数字模拟转换器(DAC)110、 像素阵列部111、垂直驱动器112、列ADC 113-1和113-2、水平驱动器 114-1和114-2、系统控制器115、像素驱动线116、垂直信号线117-1和 117-2、动态范围扩展器118和积分器119。
DAC 110、像素阵列部111、垂直驱动器112、列ADC 113-1和113-2、 水平驱动器114-1和114-2、系统控制器115、像素驱动线116、垂直信 号线117-1和117-2、动态范围扩展器118和积分器119形成在半导体基 板(未示出)上。
动态范围扩展器118和积分器119不被包含于CMOS图像传感器100 中，且动态范围扩展器118和积分器119例如可以作为诸如数字信号处 理器(DSP)等外部信号处理器而被设置在与CMOS图像传感器100不 同的基板上。
CMOS图像传感器100拍摄被摄体的图像且输出拍摄图像的照度值。
具体地，DAC 110对预定数字值进行A/D转换，并且产生与通过列 ADC 113-1和113-2进行A/D转换而获得的10位数字值相对应的基准电 压。在这种情况下，从数字值1顺序地产生基准电压。DAC 110将产生 的基准电压供给至列ADC 113-1和113-2。
像素阵列部111包括以矩阵形式二维地布置在内部的像素131。像素 131均包括较短曝光时间的短期累积像素131A和较长曝光时间的长期累 积像素131B。短期累积像素131A和长期累积像素131B均具有用作产 生电荷且将电荷累积其中的光电转换器件的光电二极管，所述电荷的电 荷量取决于曝光时间内入射的光量(照度)的电荷。长期累积像素131B 的曝光时间是短期累积像素131A的曝光时间的64倍。
像素阵列部111的短期累积像素131A和长期累积像素131B以行为 单位规则地布置。具体地，对于各行，短期累积像素131A和长期累积像 素131B交替地、彼此等量地布置。在图7的示例中，短期累积像素131A 和长期累积像素131B以四行九列的方式布置于像素阵列部111，但是短 期累积像素131A和长期累积像素131B的数量不限于此。
在像素阵列部111中，相对于短期累积像素131A和长期累积像素 131B，像素驱动线116针对各行形成在图的左右方向(行方向)且垂直 信号线117针对各列形成在图的上下方向(列方向)。像素驱动线116的 一端连接至垂直驱动器112的与各行短期累积像素131A或长期累积像素 131B相对应的输出端(未示出)。
垂直驱动器112被构造为包括移位寄存器或地址解码器等。垂直驱 动器112是以行为单位对像素阵列部111的短期累积像素131A和长期累 积像素131B进行驱动的像素驱动单元。未图示垂直驱动器112的具体构 造，但是垂直驱动器112被构造为包括读取扫描系统和扫除扫描系统这 两个扫描系统。
在读取扫描系统中，从顶部分别顺序地选择各行短期累积像素131A 和各行长期累积像素131B，从而以行为单位从顶部顺序地将分别累积在 短期累积像素131A和长期累积像素131B中的电荷的模拟信号同时读取 为成像信号。在读取扫描系统中，从与所选行中的像素驱动线116连接 的输出端输出传输脉冲。
比读取系统进行的扫描提前了曝光时间，扫除扫描系统从与各行中 的像素驱动线116连接的输出端输出控制脉冲以扫除(复位)来自短期 累积像素131A和长期累积像素131B的光电二极管的不必要的电荷。扫 除扫描系统进行的扫描可以对各行的短期累积像素131A和长期累积像 素131B顺序地进行所谓的电子快门操作。在这里，所述电子快门操作指 的是这样的操作：丢弃掉光电二极管的电荷且开始新的曝光处理(开始 电荷的累积)。
从垂直驱动器112的读取扫描系统选择的行中的短期累积像素131A 输出的成像信号通过各个对应的垂直信号线117-1供给至列ADC 113-1。 此外，从垂直驱动器112的读取扫描系统选择的行中的长期累积像素 131B输出的成像信号通过各个对应的垂直信号线117-2供给至列ADC 113-2。
列ADC 113-1包括针对像素阵列部111的每一列的比较器141和计 数器142。列ADC113-1起到短期累积转换器的作用，并且对通过垂直 信号线117-1从选择行中的短期累积像素131A输出的成像信号进行A/D 转换处理。
具体地，作为比较器的输入，比较器141通过垂直信号线117-1接 收选择行中的各像素的成像信号并且也接收来自DAC 110的基准电压。 比较器141将成像信号与基准电压进行比较。当成像信号大于基准电压 时，比较器141将该信号输入至计数器142。当接收到来自比较器141 的信号时，计数器142递增自身的计数值。计数器142的初始值设定为0。
每当基准电压被输入时，列ADC 113-1就进行如上所述的处理。因 此，计数值变成与各像素的成像信号相对应的10位数字值。计数器142 将与所有的10位数字值相对应的基准电压都被输入之后被保持的10位 计数值供给至水平驱动器114-1作为像素值，并且使计数值复位至初始 值。
水平驱动器114-1被构造为包括移位寄存器或地址解码器等，并且 从左列起顺序地选择列ADC 113-1的计数器142。水平驱动器114-1进行 的选择性扫描使得列ADC 113-1的计数器142输出的短期累积像素131A 的像素值能够从左列起被顺序地输出至动态范围扩展器118。
列ADC 113-2具有针对像素阵列部111的每一列的比较器151和计 数器152。列ADC113-2起到长期累积转换器的作用，并且以与列ADC 113-1类似的方式对通过垂直信号线117-2从选择行的长期累积像素 131B输出的成像信号进行A/D转换处理。列ADC 113-2的计数器152 将通过进行A/D转换处理而获得的10位像素值供给至水平驱动器114-2， 并且使计数值复位至初始值。
水平驱动器114-2被构造为包括移位寄存器或地址解码器等，并且 与水平驱动器114-1同时地从左列起顺序地选择列ADC 113-2的计数器 152。水平驱动器114-2进行的选择性扫描使列ADC 113-2的计数器152 输出的长期累积像素131B的像素值能够与短期累积像素131A的像素值 同时地从左列起顺序地被输出至动态范围扩展器118。
系统控制器115被构造为包括产生各种时序信号的时序发生器等。 系统控制器115基于时序发生器产生的各种时序信号来控制垂直驱动器 112、列ADC 113-1和113-2以及水平驱动器114-1和114-2。
动态范围扩展器118将水平驱动器114-1供给来的短期累积像素 131A的10位像素值乘以作为增益的64来获得16位乘法值，作为增益 的64是长期累积像素131B的曝光时间与短期累积像素131A的曝光时 间的比值。动态范围扩展器118根据从水平驱动器114-2供给来的长期 累积像素131B的像素值来判定长期累积像素131B的光电二极管的累积 电荷是否饱和。
动态范围扩展器118根据判定结果来选择短期累积像素131A的16 位乘法值或长期累积像素131B的10位像素值。这样，以像素为单位对 像素值进行了动态范围的扩展。动态范围扩展器118将选择的短期累积 像素131A的16位乘法值或选择的长期累积像素131B的10位像素值供 给至积分器119。
积分器119根据短期累积像素131A(长期累积像素131B)的数量 对从动态范围扩展器118供给来的短期累积像素131A的16位乘法值或 长期累积像素131B的10位像素值进行积分。积分器119将产生的积分 值除以短期累积像素131A(长期累积像素131B)的数量，并且输出得 到的16位平均值作为照度值。
(短期累积像素131A和长期累积像素131B的示例性构造)
图8图示了图7的短期累积像素131A和长期累积像素131B的示例 性构造。
在图8中，白色正方形表示长期累积像素131B且灰色正方形表示短 期累积像素131A。
如图8所示，短期累积像素131A和长期累积像素131B例如是以拜 耳(Bayer)阵列的方式排列的像素。换言之，短期累积像素131A和长 期累积像素131B均由四个子像素161至164组成。在左上的子像素161 中，它的表面形成有红色(R)滤色器且子像素161的光电二极管累积入 射光中的红光。在右上的子像素162和左下的子像素163中，它们的表 面形成有绿色(G)滤色器且子像素162和子像素163的光电二极管分别 累积入射光中的绿光。在右下的子像素164中，它的表面形成有蓝色(B) 滤色器且子像素164的光电二极管累积入射光中的蓝光。
短期累积像素131A(长期累积像素131B)的子像素161至164在 这里统称为短期累积像素131A(长期累积像素131B)。此外，子像素161 至164的像素值和成像信号被统称为短期累积像素131A(长期累积像素 131B)的像素值和成像信号。
(动态范围扩展器118和积分器119的示例性构造)
图9图示了动态范围扩展器118和积分器119的示例性构造。
图9的动态范围扩展器118被构造为包括乘法器171、饱和检测器 172和选择器173。
动态范围扩展器118的乘法器171将从水平驱动器114-1供给来的 短期累积像素131A的像素值乘以作为增益的64，并且将得到的乘法值 供给至选择器173。
饱和检测器172将从水平驱动器114-2供给来的长期累积像素131B 的像素值与长期累积像素131B的像素值的最大值进行比较，并且判定长 期累积像素131B的光电二极管中的累积电荷是否饱和。饱和检测器172 将表示判定结果的饱和信号供给至选择器173。
选择器173根据从饱和检测器172供给来的饱和信号来选择从乘法 器171供给来的乘法值和从水平驱动器114-2供给来的长期累积像素 131B的像素值中的一者。关于此，像素阵列部111的排列如图8所示， 且从顶行中的左列起顺序地分别读取短期累积像素131A和长期累积像 素131B。因此，与输入至选择器173的短期累积像素131A的乘法值相 对应的颜色和与输入至选择器173的长期累积像素131B的像素值相对应 的颜色是相同的。选择器173将选择的短期累积像素131A的乘法值或选 择的长期累积像素131B的像素值供给至积分器119。
积分器119被构造为包括加法器181和寄存器182。积分器119的加 法器181将从选择器173供给来的短期累积像素131A的乘法值或从选择 器173供给来的长期累积像素131B的像素值与从寄存器182供给来的加 法值相加。加法器181将获得的加法值供给至寄存器182。
寄存器182保持从加法器181供给来的加法值。当加法器181进行 加法时，寄存器182将保持的加法值供给至加法器181。当短期累积像素 131A的乘法值或长期累积像素131B的像素值依据布置在像素阵列部 111中的短期累积像素131A(长期累积像素131B)的数量而被相加后， 寄存器182将保持的加法值除以短期累积像素131A(长期累积像素131B)的数量，并且输出被除值的平均值作为照度值。
(照度值的说明)
图10用来说明CMOS图像传感器100输出的照度值。
在图10的示例中，像素阵列部111中的长期累积像素131B拍摄的 长期累积图像是如图4中所示的长期累积图像30，其中，仅一些长期累 积像素131B中的累积电荷饱和。
在这种情况下，如参照图5所述，与理想照度值52的线性度相比， 设置有图2的照度值计算器10的多次曝光图像传感器输出的照度值51 的线性度劣化。
与此相比，在CMOS图像传感器100中，针对各个长期累积像素131B 判断累积电荷是否饱和。因此，累积电荷不饱和的短期累积像素131A的 积分值被选作通过对与累积电荷饱和的长期累积像素131B相对应的区 域31进行动态范围扩展而获得的像素值。这使得对用来计算照度值的区 域31进行动态范围扩展而获得的像素值与入射光的照度成比例。
因此，从CMOS图像传感器100输出的照度值191的线性度与照度 值51的线性度相比得到改善，并且接近于理想照度值52的线性度。
此外，在多次曝光图像传感器中，当对各像素进行累积电荷是否饱 和的判断时，需要设置对第一曝光期间的图像进行保持的帧存储器。然 而，CMOS图像传感器100同时地获得短期累积像素131A和长期累积像 素131B的像素值，因此不必设置帧存储器。因此，CMOS图像传感器 100能够在不增大尺寸和耗电量的情况下改善照度值的线性度。
(CMOS图像传感器100进行的处理的说明)
图11是用来说明图7的CMOS图像传感器100进行的照度值计算 处理的流程图。照度值计算处理是以帧为单位进行的。
在图11的步骤S11中，比读取系统进行的扫描提前了曝光时间，长 期累积像素131B根据通过像素驱动线116从垂直驱动器112的扫除扫描 系统供给来的控制脉冲以行为单位进行电子快门操作。
在步骤S12中，比读取系统进行的扫描提前了曝光时间，短期累积 像素131A根据通过像素驱动线116从垂直驱动器112的扫除扫描系统供 给来的控制脉冲以行为单位进行电子快门操作。
在步骤S13中，垂直驱动器112的读取扫描系统选择短期累积像素 131A和长期累积像素131B的行。首先，在步骤S13的处理中，读取扫 描系统分别选择短期累积像素131A和长期累积像素131B的顶行。读取 扫描系统从与选择行中的像素驱动线116连接的输出端输出传输脉冲。
在步骤S14中，所选行中的短期累积像素131A根据由像素驱动线 116供给的传输脉冲来读取成像信号，并且通过垂直信号线117-1将该信 号供给至列ADC 113-1。同时，所选行中的长期累积像素131B根据由像 素驱动线116供给来的传输脉冲来读取成像信号，并且通过垂直信号线 117-2将该信号供给至列ADC 113-2。
在步骤S15中，列ADC 113-1和列ADC 113-2对输入的成像信号进 行A/D转换处理。列ADC 113-1将通过进行A/D转换处理而获得的像素 值供给至水平驱动器114-1。列ADC113-2将通过进行A/D转换处理而 获得的像素值供给至水平驱动器114-2。
在步骤S16中，水平驱动器114-1选择列ADC 113-1的计数器142 的列。此外，水平驱动器142-2选择列ADC 113-2的计数器152的列。 在紧接步骤S15中的处理之后的步骤S16中将要进行的处理中，水平驱 动器114-1和水平驱动器114-2选择最左边的列。
在步骤S17中，水平驱动器114-1将从所选列中的计数器142输出 的短期累积像素131A的像素值输出至动态范围扩展器118。此外，水平 驱动器114-2将从所选列中的计数器152输出的长期累积像素131B的像 素值输出至动态范围扩展器118。
在步骤S18中，动态范围扩展器118的乘法器171(图9)将从水平 驱动器114-1供给来的短期累积像素131A的像素值乘以作为增益的64， 并且将得到的乘法值供给至选择器173。
在步骤S19中，饱和检测器172基于长期累积像素131B的像素值的 最大值和从水平驱动器114-2供给来的长期累积像素131B的像素值，判 定长期累积像素131B的光电二极管的累积电荷是否饱和。
具体地，如果长期累积像素131B的像素值小于长期累积像素131B 的像素值的最大值，那么饱和检测器172就判定长期累积像素131B的光 电二极管的累积电荷不饱和。另一方面，如果长期累积像素131B的像素 值是长期累积像素131B的像素值的最大值，那么饱和检测器172就判定 长期累积像素131B的光电二极管的累积电荷饱和。
如果在步骤S19中判定长期累积像素131B的光电二极管的累积电荷 饱和，那么饱和检测器172产生表示存在饱和的值为1的值作为饱和信 号，并且将该值供给至选择器173。然后，在步骤S20中，选择器173 根据从饱和检测器172供给来的作为饱和信号的值为1的值而选择从乘 法器171供给来的短期累积像素131A的乘法值，并且将该乘法值供给至积分器119。然后，处理进入步骤S22。
另一方面，如果在步骤S19中判定长期累积像素131B的光电二极管 的累积电荷不饱和，那么饱和检测器172产生表示不存在饱和的值为0 的值作为饱和信号，并且将该值供给至选择器173。然后，在步骤S21 中，选择器173根据从饱和检测器172供给来的作为饱和信号的值为0 的值而选择从水平驱动器114-2供给来的长期累积像素131B的乘法值， 并且将该乘法值供给至积分器119。然后，处理进入步骤S22。
在步骤S22中，积分器119的加法器181(图9)将由选择器173选 择的短期累积像素131A的乘法值或长期累积像素131B的像素值与从寄 存器182供给来的加法值相加。加法器181将得到的加法值供给至寄存 器182。
在步骤S23中，寄存器182保持从加法器181供给来的加法值。该 加法值被加至在下一个步骤S22中由选择器173选择的短期累积像素 131A的乘法值或长期累积像素131B的像素值。
在步骤S24中，水平驱动器114-1和水平驱动器114-2判定在步骤 S16的处理中是否已经选择了像素阵列部111中的短期累积像素131A和 长期累积像素131B的所有列。
如果在步骤S24中判定还没有选择所有列，那么处理返回至步骤S16 且选择在前一个步骤S16中选择的列的右列。然后，重复步骤S17至S24 的处理直至选择了所有列。
另一方面，如果在步骤S24中判定已经选择了所有列，那么在步骤 S25中，垂直驱动器112的读取扫描系统判断是否已经选择了像素阵列 部111的短期累积像素131A和长期累积像素131B的所有行。
如果在步骤S25中判定还没有选择所有行，那么处理返回至步骤S13 且选择在前一个步骤S13中选择的行下方的行。重复步骤S14至S25的 处理直至选择了所有行。
另一方面，如果在步骤S25中判定已经选择了所有行，那么寄存器 182输出通过将保持的加法值除以短期累积像素131A(长期累积像素 131B)的数量而获得的平均值作为照度值。然后，处理终止。
如上所述，图7的图像传感器100基于具有不同曝光时间的像素值 来扩展各像素的像素值的动态范围，并且对具有扩展的动态范围的像素 值进行积分，从而产生照度值。因此，能够改善照度值的线性度。
此外，图像传感器100分离地设置有短期累积像素131A和长期累积 像素131B，且因此能够同时地获得具有不同曝光时间的像素值。因此， 能够在不设置用来保持具有任一曝光时间的图像的帧存储器的情况下， 对各像素的像素值的动态范围进行扩展。因此，能够在不增大尺寸和耗 电量的情况下改善照度值的线性度。
(CMOS图像传感器的第一实施例的第二构造例)
图12图示了应用本发明的用作固态摄像元件的CMOS图像传感器 的第一实施例的第二构造例。
在图12所示的构造中，使用相同的参考符号来标示与图7相同的组 件。适当地省略相同组件的重复说明。
图12中的CMOS图像传感器200的构造与图7中的CMOS图像传 感器的构造的不同之处在于：分别设置垂直驱动器201、列ADC 202、 水平驱动器203、系统控制器205和垂直信号线206来替代垂直驱动器 112、列ADC 113-1和113-2、水平驱动器114-1和114-2、系统控制器115 和垂直信号线117-1和117-2，并且还设置有线存储器204。
在CMOS图像传感器200中，列ADC 113-1、113-2和水平驱动器 114-1、114-2分别被共用化。
具体地，与图7所示的垂直驱动器112类似，CMOS图像传感器200 的垂直驱动器201被构造为包括移位寄存器或地址解码器等。垂直驱动 器201是以行为单位对像素阵列部111的短期累积像素131A和长期累积 像素131B进行驱动的像素驱动单元。未图示垂直驱动器201的具体构造， 但是垂直驱动器201被构造为包括读取扫描系统和扫除扫描系统这两个 扫描系统。
在读取扫描系统中，从顶部以交替的方式顺序地选择短期累积像素 131A的各行和长期累积像素131B的各行，使得同时以行为单位地将分 别累积于短期累积像素131A和长期累积像素131B中的电荷的模拟信号 交替地读取为成像信号。在读取扫描系统中，从与所选行中的像素驱动 线116连接的输出端输出传输脉冲。垂直驱动器201的扫除扫描系统类 似于垂直驱动器112的扫除扫描系统。
垂直驱动器201的读取扫描系统所选行的短期累积像素131A或长期 累积像素131B输出的成像信号通过各自的垂直信号线206供给至列 ADC 202。
与图7所示的列ADC 113-1和113-2类似，列ADC 202包括针对像 素阵列部111的每一列的比较器221和计数器222。列ADC 202起到转 换器的作用，并且对通过垂直信号线206从所选行的短期累积像素131A 或长期累积像素131B输出的成像信号进行A/D转换处理。列ADC 202 将通过进行A/D转换处理获得的10位像素值供给至水平驱动器203。
与图7所示的水平驱动器114-1和114-2类似，水平驱动器203被构 造为包括移位寄存器或地址解码器等。水平驱动器203从左列顺序地选 择列ADC 202的计数器222。由水平驱动器203进行的选择性扫描使从 列ADC 202的计数器222输出的短期累积像素131A的像素值能够从左 列顺序地被输出至线存储器204。此外，从列ADC 202的计数器222输 出的长期累积像素131B的像素值从左列顺序地被输出至动态范围扩展 器118。
线存储器204起到存储单元的作用，并且保持从水平驱动器203顺 序地供给来的一行短期累积像素131A的像素值。线存储器204从最先一 个起顺序地读取被保持的短期累积像素131A的像素值，并且与来自水平 驱动器203的长期累积像素131B的像素值的输出同时地，将读取的上述 像素值地输出至动态范围扩展器118。
系统控制器205被构造为包括用来产生各种时序信号的时序发生器 等。系统控制器205根据时序发生器产生的各种时序信号来控制垂直驱 动器201、列ADC 202和水平驱动器203。
(CMOS图像传感器200进行的处理的说明)
图13是用来说明待由图12所示的CMOS图像传感器200进行的照 度值计算处理的流程图。照度值计算处理的说明是以帧为单位进行的。
图13的步骤S40和S41的处理类似于图11的步骤S11和S12的处 理，且因此省略它们的说明。
在步骤S42中，垂直驱动器201的读取扫描系统选择短期累积像素 131A的行。首先，在步骤S42的处理中，读取扫描系统选择短期累积像 素131A的顶行。读取扫描系统从与所选行中的像素驱动线116连接的输 出端输出传输脉冲。
在步骤S43中，所选行中的短期累积像素131A根据像素驱动线116 供给来的传输脉冲读取成像信号，并且通过垂直信号线206将该成像信 号供给至列ADC 202。
在步骤S44中，列ADC 202对从所选行的短期累积像素131A供给 来的成像信号进行A/D转换处理，并且将通过进行A/D转换处理获得的 像素值供给至水平驱动器203。
在步骤S45中，水平驱动器203选择列ADC 202的计数器222的列。 在将要在紧接步骤S44中的处理之后的步骤S45进行的处理中，水平驱 动器203选择最左边的列。
在步骤S46中，水平驱动器203将从所选列中的计数器222输出的 短期累积像素131A的像素值输出至线存储器204，并且使线存储器204 存储该像素值。
在步骤S47中，水平驱动器203判定是否已经选择了短期累积像素 131A的所有列。如果在步骤S47中判定还没有选择短期累积像素131A 的所有列，那么处理返回至步骤S45，并且选择在上一个步骤S45中所 选列的右列。然后，重复步骤S46和S47的处理直至选择了所有列。
另一方面，如果在步骤S47中判定已经选择了短期累积像素131A 的所有列，那么在步骤S48中，垂直驱动器201的读取扫描系统选择长 期累积像素131B的行。首先，在步骤S48的处理中，读取扫描系统选择 长期累积像素131B的顶行。读取扫描系统从与所选行中的像素驱动线 116连接的输出端输出传输脉冲。
在步骤S49中，所选行中的长期累积像素131B根据由像素驱动线 116供给来的传输脉冲读取成像信号，并且通过垂直信号线206将该成像 信号供给至列ADC 202。
在步骤S50中，列ADC 202对从所选行中的长期累积像素131B供 给来的成像信号进行A/D转换处理，并且将通过进行A/D转换处理而获 得的像素值供给至水平驱动器203。
在步骤S51中，水平驱动器203选择列ADC 202的计数器222的列。 在紧接着步骤S50中的处理之后的步骤S51的处理中，水平驱动器203 选择最左边的列。
在步骤S52中，水平驱动器203将从所选列中的计数器222输出的 所选列的长期累积像素131B的像素值输出至动态范围扩展器118。同时， 线存储器204读取与所述长期累积像素131B的列相同的列(即，所选列 中的短期累积像素131A的像素值)，并且将其输出至动态范围扩展器 118。
步骤S53至S59的处理类似于图11的步骤S18至S24的处理，且因 此省略它们的说明。
如果在步骤S59中判定还没有选择所有列，那么处理返回至步骤 S51，并且选择在上一个步骤S51中所选列的右列。然后，重复步骤S52 至S59的处理直至选择了所有列。
另一方面，如果在步骤S59中判定已经选择了所有列，那么处理进 入步骤S60。步骤S60和S61中的处理类似于图11的步骤S25和S26中 的处理，且因此省略它们的说明。当步骤S61的处理完成时，处理终止。
如上所述，图12的设置有线存储器204的CMOS图像传感器200 使短期累积像素131A与长期累积像素131B能够共用列ADC和水平驱 动器。因此，能够减小电路的尺寸。
CMOS图像传感器100和CMOS图像传感器200可以被构造为扩展 每多个像素131的像素值的动态范围而不是扩展每个像素131的像素值 的动态范围。在这种情况下，根据通过对所述多个长期累积像素131B的 像素值进行积分而获得的积分值来判定所述多个长期累积像素131B中 的累积电荷的饱和度。根据这样的判定结果针对每多个像素选择短期累积像素131A的乘法值和长期累积像素131B的像素值。
<第二实施例>
(CMOS图像传感器的第二实施例的示例性构造)
图14是图示了作为应用本发明的固态摄像元件的CMOS图像传感 器的第二实施例的示例性构造的框图。
在图14所示的构造中，使用相同的附图标记来标示与图7相同的组 件。适当地省略相同组件的重复说明。
图14的CMOS图像传感器300的构造与图7的CMOS图像传感器 100的构造的不同之处在于：设置垂直驱动器301来替代垂直驱动器112， 不设置动态范围扩展器118和积分器119，并且还设置有照度值计算器 302、乘法器303-1和303-2、选择器304、判定单元305、寄存器306、 存储器307、乘法器308-1和308-2以及选择器309。
照度值计算器302、乘法器303-1和303-2、选择器304、判定单元 305、寄存器306、存储器307、乘法器308-1和308-2以及选择器309 不包含在CMOS图像传感器300内，且它们例如可以作为诸如DSP等外 部信号处理器而被设置在与CMOS图像传感器300不同的基板上。
在CMOS图像传感器300中，短期累积像素131A的曝光时间与长 期累积像素131B的曝光时间之间的比是1:16。CMOS图像传感器300 根据前一帧的照度值选择一对短期累积像素131A和长期累积像素131B 的曝光时间。
具体地，与图7所示的垂直驱动器112类似，CMOS图像传感器300 的垂直驱动器301被构造为包括移位寄存器或地址解码器等。垂直驱动 器301是以行为单位对像素阵列部111的短期累积像素131A和长期累积 像素131B进行驱动的像素驱动单元。未图示垂直驱动器301的具体构造， 但是垂直驱动器301被构造为包括读取扫描系统和扫除扫描系统这两个 扫描系统。
读取扫描系统构被造为类似于图7的垂直驱动器112的读取扫描系 统。扫除扫描系统从选择器309获取短期累积像素131A和长期累积像素 131B的一对曝光时间。比读取系统进行的扫描提前了获取的短期累积像 素131A的曝光时间，扫除扫描系统从与短期累积像素131A的各行的像 素驱动线116连接的输出端输出控制脉冲，以扫出来自短期累积像素131A的光电二极管的不必要电荷。扫除扫描系统进行的扫描使得能够对 各短期累积像素131A顺序地进行所谓的电子快门操作。
此外，比读取系统进行的扫描提前了获取的长期累积像素131B的曝 光时间，扫除扫描系统从与长期累积像素131B的各行的像素驱动线116 连接的输出端输出控制脉冲，以扫出来自长期累积像素131B的光电二极 管的不必要电荷。扫除扫描系统进行的扫描使得能够对各长期累积像素 131B顺序地进行所谓的电子快门操作。
从由垂直驱动器301的读取扫描系统选择的行中的短期累积像素 131A输出的成像信号通过各个垂直信号线117-1被供给至列ADC 113-1。 此外，从由垂直驱动器301的读取扫描系统选择的行中的长期累积像素 131B输出的成像信号通过各个垂直信号线117-2被供给至列ADC 113-2。
照度值计算器302起到动态范围扩展器的作用，并且被构造为类似 于图2的照度值计算器10。然而，在CMOS图像传感器300中，短期累 积像素131A的曝光时间与长期累积像素131B的曝光时间之间的比是 1:16，且因此照度值计算器302的乘法器的增益是1和16。这使得照度 值的位数从10位(这是像素值的位数)被扩展至14位。照度值计算器 302将通过作为照度值而被计算的短期累积像素131A的加法值乘以16 而获得的乘法值或通过长期累积像素131B的加法值乘以1而获得的乘法 值供给至乘法器303-1和303-2。
乘法器303-1将从照度值计算器302供给来的14位照度值乘以作为 增益的4并且将16位乘法值供给至选择器304。乘法器303-2将从照度 值计算器302供给来的14位照度值乘以作为增益的1并且将14位乘法 值供给至选择器304。
选择器304根据从寄存器306输出的表示照度高水平或低水平的照 度模式信号来选择从乘法器303-1供给来的16位照度值或从乘法器 303-2供给来的14位照度值。选择器304输出所选的照度值且也将它输 出至判定单元305。这使得从判定单元305输出的照度值的位数(动态范 围)是16位。
判定单元305将选择器304供给来的照度值与阈值进行比较并且判 定照度值的高或低水平。判定单元305将表示判定结果的照度模式信号 供给至寄存器306。照度模式信号对于高照度水平被设定为1且对于低照 度水平被设定为0。
寄存器306保持从判定单元305供给来的照度模式信号。此外，寄 存器306将保持的照度模式信号供给至选择器304和选择器309。
存储器307存储短期累积像素131A和长期累积像素131B的一对曝 光时间。这里，存储器307存储这样的一对曝光时间：被设定为通过将 时间T乘以1而获得的值的短期累积像素131A的曝光时间和被设定为 通过将时间T乘以16而获得的值的长期累积像素131B的曝光时间。存 储器307将被保持的一对曝光时间供给至乘法器308-1和308-2。
乘法器308-2将从存储器307供给来的一对乘以作为增益的4。乘法 器308-2将通过乘法运算而获得的一对供给至选择器309。待被供给的一 对曝光时间由被设定为通过将时间T乘以4而获得的值的短期累积像素 131A的曝光时间和被设定为通过将时间T乘以64而获得的值的长期累 积像素131B的曝光时间组成。
乘法器308-2将从存储器307供给来的一对乘以作为增益的4。乘法 器308-1将通过乘法运算而获得的一对供给至选择器309。待被供给的一 对曝光时间由被设定为通过将时间T乘以4而获得的值的短期累积像素 131A的曝光时间和被设定为通过将时间T乘以64而获得的值的长期累 积像素131B的曝光时间组成。
选择器309起到选择单元的作用，并且根据从寄存器306供给来的 照度模式信号选择从乘法器308-1供给来的一对或从乘法器308-2供给来 的一对。具体地，当照度模式信号设定为1时(即，当照度高时)，选择 从乘法器308-1供给来的具有较小放大因子的一对。另一方面，当照度 模式信号设定为0时(即，当照度低时)，选择从乘法器308-2供给来的 具有较大放大因子的一对。
关于此，当照度模式信号设定为1时，选择器304选择来自增益为4 的乘法器303-1的照度值，并且4同样是一对曝光时间的倍数。此外， 当照度模式信号设定为0时，选择器304选择来自增益为1的乘法器303-2 的照度值，并且1同样是一对曝光时间的倍数。因此，不管照度模式信 号如何，与照度值相对应的曝光时间变得相等。选择器309将短期累积 像素131A和长期累积像素131B的被选择的一对曝光时间供给至垂直驱 动器301。
如上所述，在CMOS图像传感器300中，短期累积像素131A的曝 光时间与长期累积像素131B的曝光时间之间的比是1:16，且因此短期累 积像素131A的像素值的增益是16。因此，由于列ADC 113-1内的噪声 等而造成的照度值误差仅是16倍。照度值误差小于这样情况下的照度值 误差：短期累积像素131A的曝光时间与长期累积像素131B的曝光时间 之间的比是1:64。因此，用于照度值计算的长期累积像素131B的乘法值 和短期累积像素131A的乘法值被彼此切换时的照度值线性度得到改善。
例如，如参照图6所述，当由于列ADC 113-1和113-2内的噪声等 而造成的像素值误差是±1LSB时，如果短期累积像素131A的曝光时间 与长期累积像素131B的曝光时间之间的比是1:64，那么当切换用于照度 值计算的值时，照度值误差从±1LSB变化至±64LSB。然而，在CMOS 图像传感器300中，短期累积像素131A的曝光时间与长期累积像素131B 的曝光时间之间的比是1:16，且因此照度值误差仅从±1LSB变化至 ±16LSB。
(判定单元305中的阈值的说明)
图15用来说明图14的判定单元305中的阈值。
图15的横轴表示时间。
如图15所示，判定单元305中的阈值具有迟滞。换言之，HL阈值 (即，当照度模式信号从1变化至0时的阈值)小于LH阈值(即，当 照度模式信号从0变化至1时的阈值)。
因此，如图15所示，例如，当t1时间的帧照度值大于LH阈值时， 帧照度模式信号被设定为1。然后，当t2(t2＞t1)时间的帧照度值小于 LH阈值且大于HL阈值时，帧照度模式信号保持为1不变。然后，当t3 (t3＞t2)时间的帧照度值小于HL阈值时，帧照度模式信号变化至0。然 后，当t4(t4＞t3)时间的帧照度值小于LH阈值且大于HL阈值时，帧 照度模式信号保持为0不变。然后，当t5(t5＞t4)时间的帧照度值大于 LH阈值时，帧照度模式信号变化至1。然后，当t6(t6＞t5)时间的帧照 度值大于LH阈值时，帧照度模式信号保持为1不变。
以这样的方式，判定单元305的阈值具有迟滞，且因此当照度信号 大于或等于HL阈值且小于或等于LH阈值时，照度模式信号被保持不变。 因此，能够防止发生照度模式信号的频繁切换。
(CMOS图像传感器300进行的处理的说明)
图16是用来说明由图14的CMOS图像传感器300进行的照度值计 算处理的流程图。照度值计算处理是以帧为单位进行的。
在图16的步骤S80中，比由读取系统进行的扫描提前了从选择器 309输出的长期累积像素131B的曝光时间，长期累积像素131B根据通 过像素驱动线116供给的控制脉冲以行为单位地进行电子快门操作。
在步骤S81中，比由读取系统进行的扫描提前了从选择器309输出 的短期累积像素131A的曝光时间，短期累积像素131A根据通过像素驱 动线116供给的控制脉冲以行为单位地进行电子快门操作。
在步骤S82中，短期累积像素131A和长期累积像素131B根据通过 像素驱动线116供给的传输脉冲以行为单位同时读取成像信号。短期累 积像素131A将读取的成像信号供给至列ADC 113-1且长期累积像素 131B将读取的成像信号供给至列ADC 113-2。
在步骤S83中，列ADC 113-1和列ADC 113-2对输入的成像信号进 行A/D转换处理。列ADC 113-1将通过进行A/D转换处理而获得的像素 值供给至水平驱动器114-1。列ADC113-2将通过进行A/D转换处理而 获得的像素值供给至水平驱动器114-2。
在步骤S84中，水平驱动器114-1以列为单位将从计数器142输出 的短期累积像素131A的像素值输出至照度值计算器302。此外，水平驱 动器114-2以列为单位将从计数器152输出的长期累积像素131B的像素 值输出至照度值计算器302。
在步骤S85中，照度值计算器302基于从水平驱动器114-1和水平 驱动器114-2供给来的10位像素值来计算14位照度值。照度值计算器 302将计算出的14位照度值供给至乘法器303-1和乘法器303-2。
在步骤S86中，乘法器303-1将从照度值计算器302供给来的14位 照度值乘以作为增益的4并且将16位乘法值供给至选择器304。乘法器 303-2将从照度值计算器302供给来的14位照度值乘以作为增益的1并 且将14位乘法值供给至选择器304。
在步骤S87中，选择器304判定从寄存器306输出的照度模式信号 是否被设定为1。如果在步骤S87中判定照度模式信号被设定为1，那么 处理进入步骤S88。
在步骤S88中，选择器304选择从乘法器303-1供给来的被乘以4 而得到的16位照度值，且处理进行步骤S90。
另一方面，如果在步骤S87中判定照度模式信号设定为0，那么在 步骤S89中，选择器304选择从乘法器303-2供给来的被乘以1而得到 的14位照度值。然后，处理进入步骤S90。
在步骤S90中，选择器304输出所选的照度值且也将它供给至判定 单元305。
在步骤S91中，判定单元305判断待被处理的帧的前一帧的照度模 式信号是否被设定为1。例如，当照度模式信号的初始值被设定为1且待 被处理的帧是头帧(leadingframe)时，在步骤S91的处理中判定照度模 式信号被设定为1。
如果在步骤S91中判定待被处理的帧的前一帧的照度模式信号被设 定为1，那么判定单元305在步骤S92中判断从选择器304供给来的照 度值是否小于HL阈值。
如果在步骤S92中判定照度值小于HL阈值，那么判定单元305在 步骤S93中判定照度值为低并且将照度模式信号变为0。然后，判定单 元305将变化后的照度模式信号供给至寄存器306以将它保持在寄存器 中。当步骤S93的处理完成时，处理进入步骤S96。
另一方面，如果在步骤S92中判定照度值大于或等于HL阈值，那 么判定单元305判定照度值为高并且照度模式信号保持为1不变。然后， 判定单元305将照度模式信号供给至寄存器306以将它保持在寄存器中。 处理进入步骤S96。
此外，如果在步骤S91中判定待被处理的帧的前一帧的照度模式信 号未被设定为1，那么判定单元305在步骤S94中判断从选择器304供 给来的照度值是否大于LH阈值。
如果在步骤S94中判定照度值大于LH阈值，那么判定单元305在 步骤S95中判定照度值为高并且将照度模式信号变化至1。然后，判定 单元305将变化后的照度模式信号供给至寄存器306以将它保持在寄存 器中。步骤S95的处理完成，处理进入步骤S96。
另一方面，如果在步骤S94中判定照度值小于或等于LH阈值，那 么判定单元305判定照度值为低，并且照度模式信号保持为0不变。然 后，判定单元305将照度模式信号供给至寄存器306以将它保持在寄存 器中。处理进入步骤S96。
保持于寄存器306中的照度模式信号被供给至选择器304，并且当目 前被处理帧的下一帧是将要被重新处理的帧时，该照度模式信号被用于 步骤S87的处理。此外，保持于寄存器306的照度模式信号被供给至选 择器309且用于下一个步骤S96的处理。
在步骤S96中，选择器309判断寄存器306供给来的照度模式信号 是否被设定为1。如果在步骤S96中判定照度模式信号被设定为1，那么 处理进入步骤S97。
在步骤S97中，选择器309选择从乘法器308-1供给来的如下的一 对曝光时间并且将它供给至垂直驱动器301，在所述一对曝光时间中，短 期累积像素131A的曝光时间设被定为时间T，长期累积像素131B的曝 光时间被设定为通过将时间T乘以4而获得的值。
另一方面，如果在步骤S96中判定照度模式信号未被设定为1，那 么处理进入步骤S98。在步骤S98中，选择器309选择从乘法器308-2 供给来的如下的一对曝光时间并且将它供给至垂直驱动器301，在所述一 对曝光时间中，短期累积像素131A的曝光时间被设定为通过将时间T 乘以4而获得的值，长期累积像素131B的曝光时间被设定为通过将时间 T乘以16而获得的值。
在步骤S97或步骤S98的处理中的待被供给至垂直驱动器301的一 对曝光时间是当目前被处理帧的下一帧是待被重新处理的帧时在步骤 S80和步骤S81的处理中的曝光时间。当步骤S97或步骤S98的处理完 成时，处理终止。
如上所述，图14的CMOS图像传感器300根据前一帧的照度值选 择短期累积像素131A和长期累积像素131B的一对曝光时间。因此， CMOS图像传感器300能够使短期累积像素131A与长期累积像素131B 之间的曝光比随着照度值的动态范围的扩展而减小。
换言之，当照度值位数的动态范围从10位被扩展至16位时，通常 需要短期累积像素131A与长期累积像素131B之间的曝光比为1:64。然 而，CMOS图像传感器300根据照度值选择T和16T或4T和64T中的 任一对作为短期累积像素131A和长期累积像素131B的曝光时间。这使 得能够在短期累积像素131A与长期累积像素131B之间的曝光比为1:16 的情况下使照度值的动态范围从10位被扩展至16位。
因此，由于列ADC 113-1内的噪声等而造成的短期累积像素131A 的乘法值的误差小于短期累积像素131A与长期累积像素131B之间的曝 光比为1:64的情况下的该误差，从而改善照度值的线性度。
在CMOS图像传感器300中，照度值被分成高和低两个阶段，但是 它可以被分为三个或更多阶段。
在这种情况下，例如，能够在不改变短期累积像素131A与长期累积 像素131B之间的曝光时间比的情况下，通过设置将一对曝光时间乘以大 于4的增益的乘法器来扩展照度值的动态范围。
此外，能够在不改变长期累积像素131B的最大曝光时间的情况下， 通过将短期累积像素131A与长期累积像素131B之间的曝光时间比设定 为小于1:16(例如设定为1:8)，在维持宽动态范围的同时降低由于列ADC 113-1内的噪声等而造成的误差。因此，能够更加改善照度值的线性度。
此外，能够在不改变短期累积像素131A与长期累积像素131B之间 的曝光时间比并且不改变长期累积像素131B的最大曝光时间的情况下， 通过还设置将一对曝光时间乘以小于4的增益的乘法器来选择更加适合 于照度值的一对曝光时间。因此，能够更加改善照度值的线性度。
<第三实施例>
(CMOS图像传感器的第三实施例的示例性构造)
图17是图示了应用本发明的用作固态摄像元件的CMOS图像传感 器的第三实施例的示例性构造的框图。
在图17所示的构造中，使用相同的附图标记来标示与图7和图14 相同的组件。适当地省略相同组件的重复说明。
图17的CMOS图像传感器400的构造与图14的CMOS图像传感器 300的构造的不同之处在于：设置动态范围扩展器401和积分器119来替 代照度值计算器302。
动态范围扩展器401、积分器119、乘法器303-1和303-2、选择器 304、判定单元305、寄存器306、存储器307、乘法器308-1和308-2以 及选择器309不包含在CMOS图像传感器400内，且它们例如可以作为 诸如DSP等外部信号处理器而被设置在与CMOS图像传感器400不同的 基板上。
CMOS图像传感器400是第一实施例和第二实施例的组合。换言之， CMOS图像传感器400根据前一帧的照度值选择短期累积像素131A和长 期累积像素131B的一对曝光时间，并且扩展各像素的像素值的动态范 围。
具体地，除了乘法器171的增益是16以外，CMOS图像传感器400 的动态范围扩展器401的构造类似于图9的动态范围扩展器118的构造。 动态范围扩展器401根据长期累积像素131B的像素值判断长期累积像素 131B的累积电荷是否饱和。然后，动态范围扩展器401根据判定结果选 择被乘了16的短期累积像素131A的像素值或长期累积像素131B的像 素值，并且将所选的像素值供给至积分器119。
尽管未示出，但是在CMOS图像传感器400进行的照度值计算处理 中，进行图13中的步骤S42至S61的处理来代替图16中的步骤S82至 S85的处理。
如上所述，图17的CMOS图像传感器400根据具有不同曝光时间 的像素值扩展各像素的像素值的动态范围，并且对具有扩展的动态范围 的像素值进行积分，从而产生照度值。因此，能够改善在一些长期累积 像素131B中的累积电荷是饱和的情况下的照度值的线性度。
此外，CMOS图像传感器400通过根据前一帧的照度值选择短期累 积像素131A和长期累积像素131B的一对曝光时间，能够使短期累积像 素131A与长期累积像素131B之间的曝光比随着照度值的动态范围的扩 展而减小。因此，能够防止由长期累积像素131B的像素值的误差与短期 累积像素131A的乘法值的误差之间的差异而造成的照度值的线性度劣化。
<像素阵列部111的另一构造例>
图18图示了像素阵列部111的短期累积像素和长期累积像素的另一 构造例。
在图18中，白色正方形表示长期累积像素且灰色正方形表示短期累 积像素。
在如上所述的像素阵列部111中，短期累积像素131A和长期累积像 素131B以行为单位规则地排列。然而，在图18中，短期累积像素451A 的具有各颜色的子像素和长期累积像素451B的具有各颜色的子像素以 空间均匀的方式排列。
具体地，在图18的示例中，短期累积像素451A和长期累积像素451B 以这样的方式形成：绿色(G)子像素461、红色(R)子像素462和绿 色(G)子像素463布置在水平方向(行方向)上且蓝色(B)子像素464 在垂直方向(列方向)上与子像素461相邻。换言之，短期累积像素451A 和长期累积像素451B均是包括有四个子像素461至464的L形子像素 组。
被布置为彼此面对的短期累积像素451A和长期累积像素451B形成 一个长方状的像素450。在图18的像素阵列部111中，这样的像素450 均被规则地布置。换言之，短期累积像素451A和长期累积像素451B规 则地布置。图18的阵列被称为均匀曝光阵列。
<第四实施例的示例性构造>
(电子装置的一个实施例的示例性构造)
图19是图示了应用本发明的用作电子装置的照度计的示例性构造的 框图。
图19的照度计500被构造为包括光学单元501、固态摄像元件502、 DSP电路503、存储器504、显示单元505、操作单元506和电源507。 DSP电路503、存储器504、显示单元505、操作单元506和电源507经 由总线508互连。
光学单元501被构造为包括透镜组等，且摄取来自被摄体的入射光 (成像光)并且将图像形成在固态摄像元件502的成像表面。固态摄像 元件502被构造为包括根据上述的第一至第三实施例的CMOS图像传感 器的一部分。固态摄像元件502将与通过光学单元501而成像在成像表 面的入射光的光量相对应的像素值供给至DSP电路503。
DSP电路503被构造为包括形成根据上述的第一至第三实施例的 CMOS图像传感器的固态摄像元件502的部分以外的部分。DSP电路503 根据从固态摄像元件502供给来的像素值计算照度值。DSP电路503将 计算出的照度值供给至存储器504且也将它供给至显示单元505。
存储器504构造为包括闪存等，并且存储从DSP电路503供给来的 照度值。
显示单元505被构造为包括液晶面板等面板型显示装置，并且显示 从DSP电路503供给来的照度值。
操作单元506在用户的操作下发出与照度计500的各种功能相关的 操作指令。电源507以适当的方式向DSP电路503、存储器504、显示 单元505和操作单元506供电。
根据上述的第一至第三实施例的CMOS图像传感器可以被形成为一 个芯片或者可以被形成为包括封装在其中的光学单元等且具有摄像功能 的类似模块的构造。
本文中所述的有益效果仅是说明性的而并非是限制性的。可以获得 其它有益效果。
本发明的实施例不是旨在限制于上述的实施例，并且能够在不偏离 本发明主旨的情况下做出各种变型和变化。
例如，短期累积像素131A与长期累积像素131B之间的曝光比不限 于上述的示例，且能够根据像素值和照度值的位数(动态范围)来确定。 此外，像素值的积分可以通过模拟加法而不是数字加法来进行。
此外，在CMOS图像传感器300或400中，与CMOS图像传感器 200类似地，列ADC 113-1和113-2以及水平驱动器114-1和114-2可以 是共用的。
此外，本发明也可以构造如下。
(1)一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具 有不同曝光时间的像素值来扩展各所述像素的所述像素值的动态范围； 和
积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的 所述动态范围的所述像素值进行积分并且产生照度值。
(2)
根据(1)所述的固态摄像元件，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积 像素用来累积与第一曝光时间内入射的光量相对应的电荷，所述长期累 积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射的光 量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据与累积于所述短期累积像 素中的电荷相对应的像素值和与累积于所述长期累积像素中的电荷相对 应的像素值，来扩展由所述短期累积像素和所述长期累积像素形成的各 所述像素的所述像素值的动态范围。
(3)
根据(2)所述的固态摄像元件，
其中，所述动态范围扩展器被构造为：当不是每个所述像素的累积 于所述长期累积像素中的电荷都饱和的时候，将所述长期累积像素的像 素值设定为具有扩展的所述动态范围的所述像素值；并且当每个所述像 素的累积于所述长期累积像素中的电荷都饱和的时候，将乘以了所述第 二曝光时间与所述第一曝光时间的比的所述短期累积像素的像素值设定 为具有扩展的所述动态范围的所述像素值。
(4)
根据(2)或(3)所述的固态摄像元件，还包括：
短期累积转换器，所述短期累积转换器被构造为对累积于所述短期 累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积 于所述短期累积像素中的电荷相对应的数字值的像素值；和
长期累积转换器，所述长期累积转换器被构造为对累积于所述长期 累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积 于所述长期累积像素中的电荷相对应的数字值的像素值，
其中，所述动态范围扩展器被构造为根据所述短期累积转换器产生 的像素值和所述长期累积转换器产生的像素值来扩展各所述像素的所述 像素值的动态范围。
(5)
根据(2)或(3)所述的固态摄像元件，还包括：
转换器，所述转换器被构造为对累积于所述短期累积像素中的电荷 的模拟信号和累积于所述长期累积像素中的电荷的模拟信号进行A/D转 换处理，并且产生分别与累积于所述短期累积像素的电荷和累积于所述 长期累积像素的电荷相对应的像素值；和
存储单元，所述存储单元被构造为存储由所述转换器产生的所述短 期累积像素的像素值和由所述转换器产生的所述长期累积像素的像素值 中的一者，
其中，像素选择器被构造为根据由所述转换器转换来的且未被保存 于所述存储单元中的像素值和由所述转换器转换来的且保存于所述存储 单元中的像素值，来扩展各所述像素的所述像素值的动态范围。
(6)
根据(2)至(5)中任一项所述的固态摄像元件，还包括：
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数 中选择与由所述积分器产生的所述照度值相对应的帧的下一帧的一对所 述第一曝光时间和所述第二曝光时间，
其中，所述短期累积像素被构造为累积与在由所述选择器选择的一 对中的所述第一曝光时间内入射的光量相对应的电荷，且
其中，所述长期累积像素被构造为累积与在由所述选择器选择的一 对中的所述第二曝光时间内入射的光量相对应的电荷。
(7)
根据(1)至(6)中任一项所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位 规则地排列。
(8)
根据(1)至(7)中任一项所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地 排列为L形像素组。
(9)
一种电子装置，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具 有不同曝光时间的像素值来扩展各所述像素的所述像素值的动态范围； 和
积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的 所述动态范围的所述像素值进行积分且产生照度值。
(10)
一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第 一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的所 述像素值的积分值的动态范围；
乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是 通过将具有被所述动态范围扩展器扩展的所述动态范围的所述积分值乘 以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的 值；和
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数 中选择与由所述乘法器产生的所述照度值相对应的帧的下一帧的所述一 对所述第一曝光时间和所述第二曝光时间。
(11)
根据(10)所述的固态摄像元件，
其中，所述选择器被构造为：当所述照度值大于或等于阈值时，选 择具有小放大因子的所述预定对的倍数，且当所述照度值小于所述阈值 时，选择具有大放大因子的所述预定对的倍数。
(12)
根据(11)所述的固态摄像元件，
其中，所述选择器被构造为将当选择具有所述小放大因子的所述预 定对的倍数时的所述阈值设定为小于当选择具有所述大放大因子的所述 预定对的倍数时的所述阈值。
(13)
根据(10)至(12)中任一项所述的固态摄像元件，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积 像素用来累积与所述第一曝光时间内入射的光量相对应的电荷，所述长 期累积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射 的光量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据所述多个像素的各者的与 累积于所述短期累积像素内的电荷相对应的像素值和所述多个像素的各 者的与累积于所述长期累积像素内的电荷相对应的像素值，来扩展所述 积分值的所述动态范围。
(14)
根据(13)所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位 规则地排列。
(15)
根据(13)所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地 排列为L形像素组。
(16)
一种电子装置，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第 一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的所 述像素值的积分值的动态范围；
乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是 通过将具有被所述动态范围扩展器扩展的所述动态范围的所述积分值乘 以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的 值；和
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数 中选择与由所述乘法器产生的所述照度值相对应的帧的下一帧的所述一 对所述第一曝光时间和所述第二曝光时间。
附图标记列表
100 CMOS图像传感器
113-1、113-2 列ADC
118 动态范围扩展器
119 积分器
131 像素
131A 短期累积像素
131B 长期累积像素
200 CMOS图像传感器
202 列ADC
300 CMOS图像传感器
302 照度值计算器
303-1、303-2 乘法器
309 选择器
451A 短期累积像素
451B 长期累积像素
500 照度计
502 固态摄像元件
503 DSP电路

Claims (13)

1.一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具有不同曝光时间的像素值来扩展各所述像素的所述像素值的动态范围；和
积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的所述动态范围的所述像素值进行积分并且产生照度值，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积像素用来累积与第一曝光时间内入射的光量相对应的电荷，所述长期累积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射的光量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据与累积于所述短期累积像素中的电荷相对应的像素值和与累积于所述长期累积像素中的电荷相对应的像素值，来扩展由所述短期累积像素和所述长期累积像素形成的各所述像素的所述像素值的动态范围，
所述固态摄像元件还包括：
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述积分器产生的所述照度值相对应的帧的下一帧的一对所述第一曝光时间和所述第二曝光时间，
其中，所述短期累积像素被构造为累积与在由所述选择器选择的一对中的所述第一曝光时间内入射的光量相对应的电荷，且
其中，所述长期累积像素被构造为累积与在由所述选择器选择的一对中的所述第二曝光时间内入射的光量相对应的电荷，并且
其中，所述选择器被构造为：当所述照度值大于或等于阈值时，选择具有小放大因子的所述预定对的倍数，且当所述照度值小于所述阈值时，选择具有大放大因子的所述预定对的倍数。
2.根据权利要求1所述的固态摄像元件，
其中，所述动态范围扩展器被构造为：当不是每个所述像素的累积于所述长期累积像素中的电荷都饱和的时候，将所述长期累积像素的像素值设定为具有扩展的所述动态范围的所述像素值；并且当每个所述像素的累积于所述长期累积像素中的电荷都饱和的时候，将乘以了所述第二曝光时间与所述第一曝光时间的比的所述短期累积像素的像素值设定为具有扩展的所述动态范围的所述像素值。
3.根据权利要求1所述的固态摄像元件，还包括：
短期累积转换器，所述短期累积转换器被构造为对累积于所述短期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积于所述短期累积像素中的电荷相对应的数字值的像素值；和
长期累积转换器，所述长期累积转换器被构造为对累积于所述长期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积于所述长期累积像素中的电荷相对应的数字值的像素值，
其中，所述动态范围扩展器被构造为根据所述短期累积转换器产生的像素值和所述长期累积转换器产生的像素值来扩展各所述像素的所述像素值的动态范围。
4.根据权利要求1所述的固态摄像元件，还包括：
转换器，所述转换器被构造为对累积于所述短期累积像素中的电荷的模拟信号和累积于所述长期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生分别与累积于所述短期累积像素的电荷和累积于所述长期累积像素的电荷相对应的像素值；和
存储单元，所述存储单元被构造为存储由所述转换器产生的所述短期累积像素的像素值和由所述转换器产生的所述长期累积像素的像素值中的一者，
其中，所述动态范围扩展器被构造为根据由所述转换器转换来的且未被保存于所述存储单元中的像素值和由所述转换器转换来的且保存于所述存储单元中的像素值，来扩展各所述像素的所述像素值的动态范围。
5.根据权利要求1所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位规则地排列。
6.根据权利要求1所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地排列为L形像素组。
7.一种电子装置，其包括：
如权利要求1至6中任一项所述的固态摄像元件。
8.一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的所述像素值的积分值的动态范围；
乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是通过将具有被所述动态范围扩展器扩展的所述动态范围的所述积分值乘以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的值；和
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述乘法器产生的所述照度值相对应的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间，并且被构造为：当所述照度值大于或等于阈值时，选择具有小放大因子的所述预定对的倍数，且当所述照度值小于所述阈值时，选择具有大放大因子的所述预定对的倍数。
9.根据权利要求8所述的固态摄像元件，
其中，所述选择器被构造为将当选择具有所述小放大因子的所述预定对的倍数时的所述阈值设定为小于当选择具有所述大放大因子的所述预定对的倍数时的所述阈值。
10.根据权利要求8所述的固态摄像元件，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积像素用来累积与所述第一曝光时间内入射的光量相对应的电荷，所述长期累积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射的光量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据所述多个像素的各者的与累积于所述短期累积像素内的电荷相对应的像素值和所述多个像素的各者的与累积于所述长期累积像素内的电荷相对应的像素值，来扩展所述积分值的所述动态范围。
11.根据权利要求10所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位规则地排列。
12.根据权利要求10所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地排列为L形像素组。
13.一种电子装置，其包括：
如权利要求8至12中任一项所述的固态摄像元件。
CN201480050780.9A 2013-10-21 2014-10-10 固态摄像元件和电子装置 Active CN105580351B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-218066 2013-10-21
JP2013218066 2013-10-21
PCT/JP2014/077171 WO2015060143A1 (ja) 2013-10-21 2014-10-10 固体撮像素子および電子機器

Publications (2)

Publication Number Publication Date
CN105580351A CN105580351A (zh) 2016-05-11
CN105580351B true CN105580351B (zh) 2019-08-09

Family

ID=52992743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480050780.9A Active CN105580351B (zh) 2013-10-21 2014-10-10 固态摄像元件和电子装置

Country Status (6)

Country Link
US (1) US9961278B2 (zh)
JP (1) JP6546531B2 (zh)
KR (1) KR102277598B1 (zh)
CN (1) CN105580351B (zh)
TW (1) TWI645707B (zh)
WO (1) WO2015060143A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10227387B2 (en) * 2011-05-18 2019-03-12 Children's Hospital Medical Center Targeted delivery of proteins across the blood-brain barrier
US9948874B2 (en) 2015-05-19 2018-04-17 Magic Leap, Inc. Semi-global shutter imager
JP2017126964A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 撮像制御装置、および撮像装置
WO2017208638A1 (ja) * 2016-05-30 2017-12-07 ソニー株式会社 撮像装置、固体撮像素子、および、撮像装置の制御方法
CN108881906B (zh) * 2017-05-15 2021-03-19 北京大学 一种图像重构方法及装置
JP7260990B2 (ja) * 2018-10-26 2023-04-19 キヤノン株式会社 撮像装置及び撮像システム
CN111193882A (zh) * 2018-11-15 2020-05-22 格科微电子（上海）有限公司 单帧高动态范围图像传感器的实现方法
KR20220092488A (ko) * 2019-11-01 2022-07-01 엘지전자 주식회사 이미지 센서, 및 이를 구비하는 카메라, 전자 기기
JP7407416B2 (ja) * 2019-11-26 2024-01-04 パナソニックＩｐマネジメント株式会社 撮像装置およびカメラ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0967729A3 (en) * 1998-06-24 2004-03-17 Taiwan Advanced Sensors Corporation Autocalibration of an A/D converter within a CMOS type image sensor
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序
CN102833488A (zh) * 2011-06-13 2012-12-19 索尼公司 图像摄取装置、图像摄取装置控制方法和程序
JP2013175897A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 画像処理装置及び固体撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2574829B2 (ja) * 1987-12-23 1997-01-22 株式会社日立製作所 テレビカメラ装置
JP2001036816A (ja) * 1999-06-23 2001-02-09 Taiwan Advanced Sensors Corp Ｃｍｏｓ型イメージセンサ内のａ／ｄ変換器の自動較正
JP4466584B2 (ja) 2006-02-20 2010-05-26 セイコーエプソン株式会社 照度取得装置、照度取得方法および照度取得プログラム
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
JP2011254125A (ja) * 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
EP2606637B1 (en) * 2010-08-23 2016-09-21 Red.Com, Inc. High dynamic range video
JP2013026722A (ja) * 2011-07-19 2013-02-04 Toshiba Corp 画像処理装置
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0967729A3 (en) * 1998-06-24 2004-03-17 Taiwan Advanced Sensors Corporation Autocalibration of an A/D converter within a CMOS type image sensor
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序
CN102833488A (zh) * 2011-06-13 2012-12-19 索尼公司 图像摄取装置、图像摄取装置控制方法和程序
JP2013175897A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 画像処理装置及び固体撮像装置

Also Published As

Publication number Publication date
TW201524190A (zh) 2015-06-16
CN105580351A (zh) 2016-05-11
KR20160074484A (ko) 2016-06-28
US9961278B2 (en) 2018-05-01
WO2015060143A1 (ja) 2015-04-30
US20160269659A1 (en) 2016-09-15
KR102277598B1 (ko) 2021-07-15
JP6546531B2 (ja) 2019-07-17
TWI645707B (zh) 2018-12-21
JPWO2015060143A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
CN105580351B (zh) 固态摄像元件和电子装置
US7786921B2 (en) Data processing method, data processing apparatus, semiconductor device, and electronic apparatus
CN101312504B (zh) 固态成像装置、信号处理装置和信号处理方法和成像设备
US7859447B2 (en) Image processing method, semiconductor device for detecting physical quantity distribution, and electronic apparatus
JP4416959B2 (ja) Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
US10992878B2 (en) Method of obtaining wide dynamic range image and image pickup device performing the same
CN103581579B (zh) 固态成像装置、信号读取方法以及电子装置
CN101296304B (zh) 固态成像装置、其信号处理方法和成像设备
US20070120982A1 (en) Imaging Device
KR20140047501A (ko) 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 상기 이미지 처리 시스템의 동작 방법
KR20080007937A (ko) Ｃｍｏｓ 이미지 센서와 이를 이용한 이미지 센싱 방법
JP2009212909A (ja) 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
CN101309361A (zh) 固态图像捕获设备和电子信息装置
CN102845066A (zh) 图像拾取设备和图像拾取设备控制方法、以及程序
US10616509B2 (en) Imaging device and control method thereof, and electronic apparatus
US11190716B2 (en) Image processing system, image sensor, and method for driving image sensor
US20230199335A1 (en) Image sensor
CA2541466C (en) Image scanning device
CN106165401A (zh) 成像元件、增益控制方法、程序和电子设备
CN104486563A (zh) 带电荷倾倒功能的帧转移ccd曝光时间短至零的实现方法
KR102620348B1 (ko) 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템
JP2001054022A (ja) 固体撮像装置
JP2008288946A (ja) アドレス生成装置及び撮像素子
CN101232582B (zh) 相位调整装置和数码相机
CN101160955B (zh) 具有校准功能的成像装置以及操作该装置的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160912

Address after: Kanagawa

Applicant after: SONY semiconductor solutions

Address before: Tokyo, Japan

Applicant before: Sony Corp

GR01 Patent grant
GR01 Patent grant