CN105580351A - 固态摄像元件和电子装置 - Google Patents

固态摄像元件和电子装置 Download PDF

Info

Publication number
CN105580351A
CN105580351A CN201480050780.9A CN201480050780A CN105580351A CN 105580351 A CN105580351 A CN 105580351A CN 201480050780 A CN201480050780 A CN 201480050780A CN 105580351 A CN105580351 A CN 105580351A
Authority
CN
China
Prior art keywords
pixel
value
exposure
dynamic range
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480050780.9A
Other languages
English (en)
Other versions
CN105580351B (zh
Inventor
池田裕介
庄山英树
坂本贤政
有働勇一
熊谷央一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105580351A publication Critical patent/CN105580351A/zh
Application granted granted Critical
Publication of CN105580351B publication Critical patent/CN105580351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明涉及能够改善照度值线性度的固态摄像元件和电子装置。动态范围扩展器(118)基于多个像素的具有不同曝光时间的像素值来扩展各所述像素的像素值的动态范围。积分器(119)对具有被动态范围扩展器(118)扩展的动态范围的像素值进行积分且产生照度值。本发明例如能够应用于诸如用于照度计中的互补金属氧化物半导体(CMOS)图像传感器等。

Description

固态摄像元件和电子装置
技术领域
本发明涉及固态摄像元件和电子装置，特别地，涉及能够改善照度值的线性度的固态摄像元件和电子装置。
背景技术
一般而言，在图像传感器中，输出的数量和模拟数字转换器(ADC)分辨率分别是几兆(M)至几十兆(M)的输出以及10位。另一方面，在照度计中，输出的数量和ADC分辨率分别是1输出和16位。因此，当图像传感器用于照度计时，需要对输出值进行加运算并且需要对动态范围进行扩展(例如，参照专利文献1)。
因此，在用于照度计的图像传感器中(以下，被称为照度用图像传感器)，通常对各帧进行多次曝光。
具体地，照度用图像传感器首先用较长的曝光时间进行成像且对获得的长期累积图像的各像素值进行积分来产生长期累积值。然后，照度用图像传感器用较短的曝光时间进行成像且对获得的短期累积图像的各像素值进行积分来产生短期累积值。照度用图像传感器将长期累积图像的曝光时间与短期累积图像的曝光时间的比设定为增益，并且将短期累积值乘以该增益。根据摄取长期累积图像时在所有像素中是否存在累积电荷的饱和，照度用图像传感器将通过乘以增益后获得的短期累积值或长期累积值选作照度值。这使得能够扩展照度值的动态范围。
然而，当摄取长期累积图像时仅仅一些像素中的累积电荷饱和时，因为将长期累积值选作照度值，所以照度值的线性度劣化。此外，短期累积值乘以增益，且因此当A/D转换等造成的噪声出现在像素值中时，通过乘以增益而获得的短期累积值的噪声大于长期累积值的噪声。因此，当长期累积值被替换为乘以增益后获得的短期累积值时，照度值的线性度劣化。
引用列表
专利文献
专利文献1：特开JP2007-221624号公报
发明内容
技术问题
如上所述，在照度用图像传感器中，在一些情况下，照度值的线性度劣化。
鉴于这些情况做出了本发明，本发明的目的是改善照度值的线性度。
问题的解决方案
根据本发明的第一方面，提出一种固态摄像元件，其包括：动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具有不同曝光时间的像素值来扩展各像素的像素值的动态范围；和积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的动态范围的像素值进行积分且产生照度值。
根据本发明第一实施例的电子装置对应于根据本发明第一实施例的固态摄像元件。
在本发明的第一实施例中，根据多个像素的具有不同曝光时间的像素值来扩展各像素的像素值的动态范围，且对具有扩展的动态范围的像素值进行积分，从而产生照度值。
根据本发明的第二方面，提出一种固态摄像元件，其包括：动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的像素值的积分值的动态范围；乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是通过将具有被所述动态范围扩展器扩展的动态范围的积分值乘以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的值；和选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与所述乘法器产生的照度值相对应的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间。
根据本发明第二实施例的电子装置对应于根据本发明第二实施例的固态摄像元件。
在本发明的第二实施例中，根据多个像素的第一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的像素值的积分值的动态范围，将通过将具有扩展的动态范围的积分值乘以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的值产生为照度值，且根据所述照度值从预定对的倍数中选择与所述乘法器产生的照度值相对应的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间。
本发明的有益效果
根据本发明，能够产生照度值。此外，根据本发明，能够改善照度值的线性度。
注意，未必限于此处所述的效果，而是能够实现本文中所公开的任何效果。
附图说明
图1用来说明多次曝光图像传感器的长期累积图像和短期累积图像的曝光。
图2图示了多次曝光图像传感器中的照度值计算器的示例性构造。
图3用来说明图2的选择器输出的照度值。
图4用来说明照度值的线性度的劣化。
图5用来说明照度值的线性度的劣化。
图6用来说明照度值的线性度的劣化的另一个示例。
图7图示了作为应用本发明的固态摄像元件的CMOS图像传感器的第一实施例的第一构造例。
图8图示了图7的短期累积像素和长期累积像素的示例性构造。
图9图示了动态范围扩展器和积分器的示例性构造。
图10用来说明图7的CMOS图像传感器输出的照度值。
图11是用来说明图7的CMOS图像传感器进行的照度值计算处理的流程图。
图12图示了作为应用本发明的固态摄像元件的CMOS图像传感器的第一实施例的第二构造例。
图13是用来说明图12的CMOS图像传感器进行的照度值计算处理的流程图。
图14是图示了作为应用本发明的固态摄像元件的CMOS图像传感器的第二实施例的示例性构造的框图。
图15用来说明图14的判定单元的阈值。
图16是用来说明由图14的CMOS图像传感器进行的照度值计算处理的流程图。
图17是图示了作为应用本发明的固态摄像元件的CMOS图像传感器的第三实施例的示例性构造的框图。
图18图示了像素阵列部的短期累积像素和长期累积像素的另一示例性构造。
图19是图示了用作应用本发明的电子装置的照度计的示例性构造的框图。
具体实施方式
<本发明的前提>
(每帧进行多次曝光的照度用图像传感器的曝光的说明)
图1用来说明对每帧进行多次曝光的照度用图像传感器(以下，被称为多次曝光图像传感器)的长期累积图像和短期累积图像的曝光。
在图1所示的图形中，横轴表示时间，且纵轴表示从多次曝光图像传感器中的像素阵列部的各行的起始算起的行数。
如图1所示，多次曝光图像传感器以帧为单位顺序地摄取长期累积图像和短期累积图像。在图1的示例中，多次曝光图像传感器以长期累积图像和短期累积图像这样的顺序进行摄像。
此外，在图1的示例中，长期累积图像的曝光时间是短期累积图像的曝光时间的64倍。换言之，从以行为单位对长期累积图像的各像素的累积电荷进行复位(长期累积快门)至以行为单位进行读取(长期累积读取)的时间是从以行为单位对短期累积图像的各像素的累积电荷进行复位(短期累积快门)至以行为单位进行读取(短期累积读取)的时间的64倍。
(多次曝光图像传感器中的照度值计算器的示例性构造)
图2图示了多次曝光图像传感器的从长期累积图像和短期累积图像中计算照度值的照度值计算器的示例性构造。
图2的照度值计算器10被构造为包括加法器11、寄存器12、乘法器13、饱和检测器14、加法器15、寄存器16、乘法器17和选择器18。
加法器11顺序地接收在图1所示的曝光时间内摄取的长期累积图像的各像素值作为该加法器的输入。加法器11将输入的像素值与保持于寄存器12中的像素值相加。加法器11将相加而获得的值供给至寄存器12。寄存器12保持加法器11供给来的加法值。寄存器12将保持的加法值供给至加法器11。因此，输入至加法器11的长期累积图像像素值被顺序地积分。当所有的长期累积图像的像素值被积分时，保持于寄存器12的加法值被供给至乘法器13。
乘法器13将从寄存器12供给来的加法值乘以作为增益的1。乘法器13将通过乘法而获得的值供给至饱和检测器14和选择器18。
例如，饱和检测器14将下述值设定为阈值，所述值接近于通过针对所有像素值对长期累积图像的像素值的最大值进行积分而获得的值，并且饱和检测器14将所述阈值与从乘法器13供给的乘法值进行比较。当所述乘法值小于阈值时，饱和检测器14生成代表饱和不存在的0作为用于表示存在或不存在饱和的饱和信号。另一方面，当所述乘法值大于或等于阈值时，饱和检测器14生成代表饱和存在的1作为所述饱和信号。饱和检测器14将饱和信号供给至选择器18。
加法器15顺序地接收在图1所示的曝光时间内摄取的短期累积图像的各像素值作为该加法器的输入。加法器15将输入的像素值与保持于寄存器16的像素值相加。加法器15将通过加法而获得的值供给至寄存器16。寄存器16保持加法器15供给来的加法值。寄存器16将保持的加法值供给至加法器15。因此，输入至加法器15的短期累积图像像素值被顺序地积分。当所有的短期累积图像的像素值被积分时，保持于寄存器16的加法值被供给至乘法器17。
乘法器17将从寄存器16供给来的加法值乘以作为增益的64。乘法器17将通过乘法而获得的值供给至选择器18。
当从饱和检测器14供给来的饱和信号设定为0时，选择器18选择从乘法器13供给来的乘法值且将选择的该乘法值除以多次曝光图像传感器的像素数。选择器18输出由此产生的像素值的平均值作为照度值。另一方面，当饱和信号设定为1时，选择器18选择从乘法器17供给来的乘法值且将选择的该乘法值除以多次曝光图像传感器的像素数。选择器18输出由此产生的像素值的平均值作为照度值。这样，以图像为单位进行了照度值的动态范围扩展。
如图2所示，照度值计算器10不必设置用于存储第一曝光时的图像(图1示例中的长期累积图像)的帧存储器以对像素值进行积分。
(照度值的说明)
图3用来说明图2的选择器18输出的照度值。
在图3中，横轴表示入射至多次曝光图像传感器的各像素的光(以下，被称为入射光)的照度，且纵轴表示各像素的像素值或选择器18输出的照度值。在图3的示例中，假设：各像素的入射光的照度是相同的且各像素的像素值也是相同的。
如图3所示，当摄取长期累积图像时所有像素的累积电荷未饱和时，选择器18输出具有高信噪比(SNR)的长期累积图像的像素值的平均值作为照度值。此外，当摄取长期累积图像时的所有像素的累积电荷饱和时，选择器18输出短期累积图像的像素值的平均值作为照度值以扩展动态范围。因此，照度值的动态范围变成64倍。因此，例如，当像素值的位数是10位时，照度值的位数变成16位。
(照度值的线性度的劣化的说明)
然后，参照图4和图5说明从图2的选择器18输出的照度值的线性度的劣化。
图4图示了这样的长期累积图像的示例，其中，在摄像期间仅一些像素组中的累积电荷饱和。
图4图示出：浓度越高，像素值越小。在图4的示例中，仅与长期累积图像30的左下区域31相对应的像素组中的累积电荷饱和，且不管入射光的照度如何，区域31的像素值都变成最大值。
在这种情况下，摄取长期累积图像30时不是所有像素的累积电荷都饱和，且因此，选择器18选择长期累积图像的乘法值。然而，累积电荷的饱和使区域31的像素值无法与入射光的照度成比例。因此，如图5所示，相比于与入射光的照度成比例的理想的照度值52的线性度相比，照度值51的线性度劣化。在图5中，横轴表示照度且纵轴表示照度值。
(照度值的线性度的另一劣化的说明)
然后，参照图6说明照度值的线性度的另一劣化。
在图6中，横轴表示各像素的入射光的照度且纵轴表示照度值或各像素的像素值。在图6的示例中，假设：各像素的入射光的照度是相同的且各像素的像素值也是相同的。此外，当长期累积图像的乘法值大于或等于960LSB时，饱和信号被设定为1，而当长期累积图像的乘法值小于960LSB时，饱和信号被设定为0。
线性度劣化因素(诸如对摄像信号(即，各像素的累积电荷的模拟信号)进行A/D转换的列ADC内的噪声等)被包含在作为与各像素的累积电荷相对应的数字值的像素值内。在多次曝光图像传感器中，对所有像素的像素值进行积分，从而消除了除了列ADC内的噪声以外的各像素的不同噪声，因此，由除了列ADC内的噪声以外的上述不同噪声造成的误差小。然而，对于各像素而言一致地出现的噪声(例如列ADC内的噪声等)随着像素值的积分而增大，因此，由这样的噪声造成的误差大。
例如，当由于列ADC内的噪声等造成的像素值误差是±1LSB时，如图6所示，增益为1的长期累积图像的乘法值的平均值的误差是±1LSB。然而，增益为64的短期累积图像的乘法值的平均值的误差是±64LSB。因此，当切换选择器18的选择时(即，当切换饱和信号时)，照度值的误差变化显著，因此，线性度劣化。
换言之，当切换选择器18的选择时，长期累积图像的乘法值的平均值的误差在960LSB±1LSB的范围内变化。另一方面，短期累积图像的像素值在15LSB±1LSB的范围内变化，但是该范围被乘以作为增益的64且因此短期累积图像的乘法值的平均值在960LSB±64LSB的范围内变化。因此，当切换选择器18的选择时，照度值从960LSB±1LSB的范围变化至960LSB±64LSB的范围，从而使照度值的线性度劣化。
通过减小短期累积图像与长期累积图像之间的曝光比来改善线性度的这样的劣化，但是短期累积图像与长期累积图像之间的曝光比的减小导致照度值的动态范围变小。换言之，在多次曝光图像传感器中，在照度值的线性度的改善与照度值的动态范围的扩展之间存在着效益背反(trade-off)的关系。
<第一实施例>
(CMOS图像传感器的第一实施例的第一构造例)
图7图示了作为应用本发明的固态摄像元件的CMOS图像传感器的第一实施例的第一构造例。
CMOS图像传感器100被构造为包括数字模拟转换器(DAC)110、像素阵列部111、垂直驱动器112、列ADC113-1和113-2、水平驱动器114-1和114-2、系统控制器115、像素驱动线116、垂直信号线117-1和117-2、动态范围扩展器118和积分器119。
DAC110、像素阵列部111、垂直驱动器112、列ADC113-1和113-2、水平驱动器114-1和114-2、系统控制器115、像素驱动线116、垂直信号线117-1和117-2、动态范围扩展器118和积分器119形成在半导体基板(未示出)上。
动态范围扩展器118和积分器119不被包含于CMOS图像传感器100中，且动态范围扩展器118和积分器119例如可以作为诸如数字信号处理器(DSP)等外部信号处理器而被设置在与CMOS图像传感器100不同的基板上。
CMOS图像传感器100拍摄被摄体的图像且输出拍摄图像的照度值。
具体地，DAC110对预定数字值进行A/D转换，并且产生与通过列ADC113-1和113-2进行A/D转换而获得的10位数字值相对应的基准电压。在这种情况下，从数字值1顺序地产生基准电压。DAC110将产生的基准电压供给至列ADC113-1和113-2。
像素阵列部111包括以矩阵形式二维地布置在内部的像素131。像素131均包括较短曝光时间的短期累积像素131A和较长曝光时间的长期累积像素131B。短期累积像素131A和长期累积像素131B均具有用作产生电荷且将电荷累积其中的光电转换器件的光电二极管，所述电荷的电荷量取决于曝光时间内入射的光量(照度)的电荷。长期累积像素131B的曝光时间是短期累积像素131A的曝光时间的64倍。
像素阵列部111的短期累积像素131A和长期累积像素131B以行为单位规则地布置。具体地，对于各行，短期累积像素131A和长期累积像素131B交替地、彼此等量地布置。在图7的示例中，短期累积像素131A和长期累积像素131B以四行九列的方式布置于像素阵列部111，但是短期累积像素131A和长期累积像素131B的数量不限于此。
在像素阵列部111中，相对于短期累积像素131A和长期累积像素131B，像素驱动线116针对各行形成在图的左右方向(行方向)且垂直信号线117针对各列形成在图的上下方向(列方向)。像素驱动线116的一端连接至垂直驱动器112的与各行短期累积像素131A或长期累积像素131B相对应的输出端(未示出)。
垂直驱动器112被构造为包括移位寄存器或地址解码器等。垂直驱动器112是以行为单位对像素阵列部111的短期累积像素131A和长期累积像素131B进行驱动的像素驱动单元。未图示垂直驱动器112的具体构造，但是垂直驱动器112被构造为包括读取扫描系统和扫除扫描系统这两个扫描系统。
在读取扫描系统中，从顶部分别顺序地选择各行短期累积像素131A和各行长期累积像素131B，从而以行为单位从顶部顺序地将分别累积在短期累积像素131A和长期累积像素131B中的电荷的模拟信号同时读取为成像信号。在读取扫描系统中，从与所选行中的像素驱动线116连接的输出端输出传输脉冲。
比读取系统进行的扫描提前了曝光时间，扫除扫描系统从与各行中的像素驱动线116连接的输出端输出控制脉冲以扫除(复位)来自短期累积像素131A和长期累积像素131B的光电二极管的不必要的电荷。扫除扫描系统进行的扫描可以对各行的短期累积像素131A和长期累积像素131B顺序地进行所谓的电子快门操作。在这里，所述电子快门操作指的是这样的操作：丢弃掉光电二极管的电荷且开始新的曝光处理(开始电荷的累积)。
从垂直驱动器112的读取扫描系统选择的行中的短期累积像素131A输出的成像信号通过各个对应的垂直信号线117-1供给至列ADC113-1。此外，从垂直驱动器112的读取扫描系统选择的行中的长期累积像素131B输出的成像信号通过各个对应的垂直信号线117-2供给至列ADC113-2。
列ADC113-1包括针对像素阵列部111的每一列的比较器141和计数器142。列ADC113-1起到短期累积转换器的作用，并且对通过垂直信号线117-1从选择行中的短期累积像素131A输出的成像信号进行A/D转换处理。
具体地，作为比较器的输入，比较器141通过垂直信号线117-1接收选择行中的各像素的成像信号并且也接收来自DAC110的基准电压。比较器141将成像信号与基准电压进行比较。当成像信号大于基准电压时，比较器141将该信号输入至计数器142。当接收到来自比较器141的信号时，计数器142递增自身的计数值。计数器142的初始值设定为0。
每当基准电压被输入时，列ADC113-1就进行如上所述的处理。因此，计数值变成与各像素的成像信号相对应的10位数字值。计数器142将与所有的10位数字值相对应的基准电压都被输入之后被保持的10位计数值供给至水平驱动器114-1作为像素值，并且使计数值复位至初始值。
水平驱动器114-1被构造为包括移位寄存器或地址解码器等，并且从左列起顺序地选择列ADC113-1的计数器142。水平驱动器114-1进行的选择性扫描使得列ADC113-1的计数器142输出的短期累积像素131A的像素值能够从左列起被顺序地输出至动态范围扩展器118。
列ADC113-2具有针对像素阵列部111的每一列的比较器151和计数器152。列ADC113-2起到长期累积转换器的作用，并且以与列ADC113-1类似的方式对通过垂直信号线117-2从选择行的长期累积像素131B输出的成像信号进行A/D转换处理。列ADC113-2的计数器152将通过进行A/D转换处理而获得的10位像素值供给至水平驱动器114-2，并且使计数值复位至初始值。
水平驱动器114-2被构造为包括移位寄存器或地址解码器等，并且与水平驱动器114-1同时地从左列起顺序地选择列ADC113-2的计数器152。水平驱动器114-2进行的选择性扫描使列ADC113-2的计数器152输出的长期累积像素131B的像素值能够与短期累积像素131A的像素值同时地从左列起顺序地被输出至动态范围扩展器118。
系统控制器115被构造为包括产生各种时序信号的时序发生器等。系统控制器115基于时序发生器产生的各种时序信号来控制垂直驱动器112、列ADC113-1和113-2以及水平驱动器114-1和114-2。
动态范围扩展器118将水平驱动器114-1供给来的短期累积像素131A的10位像素值乘以作为增益的64来获得16位乘法值，作为增益的64是长期累积像素131B的曝光时间与短期累积像素131A的曝光时间的比值。动态范围扩展器118根据从水平驱动器114-2供给来的长期累积像素131B的像素值来判定长期累积像素131B的光电二极管的累积电荷是否饱和。
动态范围扩展器118根据判定结果来选择短期累积像素131A的16位乘法值或长期累积像素131B的10位像素值。这样，以像素为单位对像素值进行了动态范围的扩展。动态范围扩展器118将选择的短期累积像素131A的16位乘法值或选择的长期累积像素131B的10位像素值供给至积分器119。
积分器119根据短期累积像素131A(长期累积像素131B)的数量对从动态范围扩展器118供给来的短期累积像素131A的16位乘法值或长期累积像素131B的10位像素值进行积分。积分器119将产生的积分值除以短期累积像素131A(长期累积像素131B)的数量，并且输出得到的16位平均值作为照度值。
(短期累积像素131A和长期累积像素131B的示例性构造)
图8图示了图7的短期累积像素131A和长期累积像素131B的示例性构造。
在图8中，白色正方形表示长期累积像素131B且灰色正方形表示短期累积像素131A。
如图8所示，短期累积像素131A和长期累积像素131B例如是以拜耳(Bayer)阵列的方式排列的像素。换言之，短期累积像素131A和长期累积像素131B均由四个子像素161至164组成。在左上的子像素161中，它的表面形成有红色(R)滤色器且子像素161的光电二极管累积入射光中的红光。在右上的子像素162和左下的子像素163中，它们的表面形成有绿色(G)滤色器且子像素162和子像素163的光电二极管分别累积入射光中的绿光。在右下的子像素164中，它的表面形成有蓝色(B)滤色器且子像素164的光电二极管累积入射光中的蓝光。
短期累积像素131A(长期累积像素131B)的子像素161至164在这里统称为短期累积像素131A(长期累积像素131B)。此外，子像素161至164的像素值和成像信号被统称为短期累积像素131A(长期累积像素131B)的像素值和成像信号。
(动态范围扩展器118和积分器119的示例性构造)
图9图示了动态范围扩展器118和积分器119的示例性构造。
图9的动态范围扩展器118被构造为包括乘法器171、饱和检测器172和选择器173。
动态范围扩展器118的乘法器171将从水平驱动器114-1供给来的短期累积像素131A的像素值乘以作为增益的64，并且将得到的乘法值供给至选择器173。
饱和检测器172将从水平驱动器114-2供给来的长期累积像素131B的像素值与长期累积像素131B的像素值的最大值进行比较，并且判定长期累积像素131B的光电二极管中的累积电荷是否饱和。饱和检测器172将表示判定结果的饱和信号供给至选择器173。
选择器173根据从饱和检测器172供给来的饱和信号来选择从乘法器171供给来的乘法值和从水平驱动器114-2供给来的长期累积像素131B的像素值中的一者。关于此，像素阵列部111的排列如图8所示，且从顶行中的左列起顺序地分别读取短期累积像素131A和长期累积像素131B。因此，与输入至选择器173的短期累积像素131A的乘法值相对应的颜色和与输入至选择器173的长期累积像素131B的像素值相对应的颜色是相同的。选择器173将选择的短期累积像素131A的乘法值或选择的长期累积像素131B的像素值供给至积分器119。
积分器119被构造为包括加法器181和寄存器182。积分器119的加法器181将从选择器173供给来的短期累积像素131A的乘法值或从选择器173供给来的长期累积像素131B的像素值与从寄存器182供给来的加法值相加。加法器181将获得的加法值供给至寄存器182。
寄存器182保持从加法器181供给来的加法值。当加法器181进行加法时，寄存器182将保持的加法值供给至加法器181。当短期累积像素131A的乘法值或长期累积像素131B的像素值依据布置在像素阵列部111中的短期累积像素131A(长期累积像素131B)的数量而被相加后，寄存器182将保持的加法值除以短期累积像素131A(长期累积像素131B)的数量，并且输出被除值的平均值作为照度值。
(照度值的说明)
图10用来说明CMOS图像传感器100输出的照度值。
在图10的示例中，像素阵列部111中的长期累积像素131B拍摄的长期累积图像是如图4中所示的长期累积图像30，其中，仅一些长期累积像素131B中的累积电荷饱和。
在这种情况下，如参照图5所述，与理想照度值52的线性度相比，设置有图2的照度值计算器10的多次曝光图像传感器输出的照度值51的线性度劣化。
与此相比，在CMOS图像传感器100中，针对各个长期累积像素131B判断累积电荷是否饱和。因此，累积电荷不饱和的短期累积像素131A的积分值被选作通过对与累积电荷饱和的长期累积像素131B相对应的区域31进行动态范围扩展而获得的像素值。这使得对用来计算照度值的区域31进行动态范围扩展而获得的像素值与入射光的照度成比例。
因此，从CMOS图像传感器100输出的照度值191的线性度与照度值51的线性度相比得到改善，并且接近于理想照度值52的线性度。
此外，在多次曝光图像传感器中，当对各像素进行累积电荷是否饱和的判断时，需要设置对第一曝光期间的图像进行保持的帧存储器。然而，CMOS图像传感器100同时地获得短期累积像素131A和长期累积像素131B的像素值，因此不必设置帧存储器。因此，CMOS图像传感器100能够在不增大尺寸和耗电量的情况下改善照度值的线性度。
(CMOS图像传感器100进行的处理的说明)
图11是用来说明图7的CMOS图像传感器100进行的照度值计算处理的流程图。照度值计算处理是以帧为单位进行的。
在图11的步骤S11中，比读取系统进行的扫描提前了曝光时间，长期累积像素131B根据通过像素驱动线116从垂直驱动器112的扫除扫描系统供给来的控制脉冲以行为单位进行电子快门操作。
在步骤S12中，比读取系统进行的扫描提前了曝光时间，短期累积像素131A根据通过像素驱动线116从垂直驱动器112的扫除扫描系统供给来的控制脉冲以行为单位进行电子快门操作。
在步骤S13中，垂直驱动器112的读取扫描系统选择短期累积像素131A和长期累积像素131B的行。首先，在步骤S13的处理中，读取扫描系统分别选择短期累积像素131A和长期累积像素131B的顶行。读取扫描系统从与选择行中的像素驱动线116连接的输出端输出传输脉冲。
在步骤S14中，所选行中的短期累积像素131A根据由像素驱动线116供给的传输脉冲来读取成像信号，并且通过垂直信号线117-1将该信号供给至列ADC113-1。同时，所选行中的长期累积像素131B根据由像素驱动线116供给来的传输脉冲来读取成像信号，并且通过垂直信号线117-2将该信号供给至列ADC113-2。
在步骤S15中，列ADC113-1和列ADC113-2对输入的成像信号进行A/D转换处理。列ADC113-1将通过进行A/D转换处理而获得的像素值供给至水平驱动器114-1。列ADC113-2将通过进行A/D转换处理而获得的像素值供给至水平驱动器114-2。
在步骤S16中，水平驱动器114-1选择列ADC113-1的计数器142的列。此外，水平驱动器142-2选择列ADC113-2的计数器152的列。在紧接步骤S15中的处理之后的步骤S16中将要进行的处理中，水平驱动器114-1和水平驱动器114-2选择最左边的列。
在步骤S17中，水平驱动器114-1将从所选列中的计数器142输出的短期累积像素131A的像素值输出至动态范围扩展器118。此外，水平驱动器114-2将从所选列中的计数器152输出的长期累积像素131B的像素值输出至动态范围扩展器118。
在步骤S18中，动态范围扩展器118的乘法器171(图9)将从水平驱动器114-1供给来的短期累积像素131A的像素值乘以作为增益的64，并且将得到的乘法值供给至选择器173。
在步骤S19中，饱和检测器172基于长期累积像素131B的像素值的最大值和从水平驱动器114-2供给来的长期累积像素131B的像素值，判定长期累积像素131B的光电二极管的累积电荷是否饱和。
具体地，如果长期累积像素131B的像素值小于长期累积像素131B的像素值的最大值，那么饱和检测器172就判定长期累积像素131B的光电二极管的累积电荷不饱和。另一方面，如果长期累积像素131B的像素值是长期累积像素131B的像素值的最大值，那么饱和检测器172就判定长期累积像素131B的光电二极管的累积电荷饱和。
如果在步骤S19中判定长期累积像素131B的光电二极管的累积电荷饱和，那么饱和检测器172产生表示存在饱和的值为1的值作为饱和信号，并且将该值供给至选择器173。然后，在步骤S20中，选择器173根据从饱和检测器172供给来的作为饱和信号的值为1的值而选择从乘法器171供给来的短期累积像素131A的乘法值，并且将该乘法值供给至积分器119。然后，处理进入步骤S22。
另一方面，如果在步骤S19中判定长期累积像素131B的光电二极管的累积电荷不饱和，那么饱和检测器172产生表示不存在饱和的值为0的值作为饱和信号，并且将该值供给至选择器173。然后，在步骤S21中，选择器173根据从饱和检测器172供给来的作为饱和信号的值为0的值而选择从水平驱动器114-2供给来的长期累积像素131B的乘法值，并且将该乘法值供给至积分器119。然后，处理进入步骤S22。
在步骤S22中，积分器119的加法器181(图9)将由选择器173选择的短期累积像素131A的乘法值或长期累积像素131B的像素值与从寄存器182供给来的加法值相加。加法器181将得到的加法值供给至寄存器182。
在步骤S23中，寄存器182保持从加法器181供给来的加法值。该加法值被加至在下一个步骤S22中由选择器173选择的短期累积像素131A的乘法值或长期累积像素131B的像素值。
在步骤S24中，水平驱动器114-1和水平驱动器114-2判定在步骤S16的处理中是否已经选择了像素阵列部111中的短期累积像素131A和长期累积像素131B的所有列。
如果在步骤S24中判定还没有选择所有列，那么处理返回至步骤S16且选择在前一个步骤S16中选择的列的右列。然后，重复步骤S17至S24的处理直至选择了所有列。
另一方面，如果在步骤S24中判定已经选择了所有列，那么在步骤S25中，垂直驱动器112的读取扫描系统判断是否已经选择了像素阵列部111的短期累积像素131A和长期累积像素131B的所有行。
如果在步骤S25中判定还没有选择所有行，那么处理返回至步骤S13且选择在前一个步骤S13中选择的行下方的列。重复步骤S14至S25的处理直至选择了所有行。
另一方面，如果在步骤S25中判定已经选择了所有行，那么寄存器182输出通过将保持的加法值除以短期累积像素131A(长期累积像素131B)的数量而获得的平均值作为照度值。然后，处理终止。
如上所述，图7的图像传感器100基于具有不同曝光时间的像素值来扩展各像素的像素值的动态范围，并且对具有扩展的动态范围的像素值进行积分，从而产生照度值。因此，能够改善照度值的线性度。
此外，图像传感器100分离地设置有短期累积像素131A和长期累积像素131B，且因此能够同时地获得具有不同曝光时间的像素值。因此，能够在不设置用来保持具有任一曝光时间的图像的帧存储器的情况下，对各像素的像素值的动态范围进行扩展。因此，能够在不增大尺寸和耗电量的情况下改善照度值的线性度。
(CMOS图像传感器的第一实施例的第二构造例)
图12图示了应用本发明的用作固态摄像元件的CMOS图像传感器的第一实施例的第二构造例。
在图12所示的构造中，使用相同的参考符号来标示与图7相同的组件。适当地省略相同组件的重复说明。
图12中的CMOS图像传感器200的构造与图7中的CMOS图像传感器的构造的不同之处在于：分别设置垂直驱动器201、列ADC202、水平驱动器203、系统控制器205和垂直信号线206来替代垂直驱动器112、列ADC113-1和113-2、水平驱动器114-1和114-2、系统控制器115和垂直信号线117-1和117-2，并且还设置有线存储器204。
在CMOS图像传感器200中，列ADC113-1、113-2和水平驱动器114-1、114-2分别被共用化。
具体地，与图7所示的垂直驱动器112类似，CMOS图像传感器200的垂直驱动器201被构造为包括移位寄存器或地址解码器等。垂直驱动器201是以行为单位对像素阵列部111的短期累积像素131A和长期累积像素131B进行驱动的像素驱动单元。未图示垂直驱动器201的具体构造，但是垂直驱动器201被构造为包括读取扫描系统和扫除扫描系统这两个扫描系统。
在读取扫描系统中，从顶部以交替的方式顺序地选择短期累积像素131A的各行和长期累积像素131B的各行，使得同时以行为单位地将分别累积于短期累积像素131A和长期累积像素131B中的电荷的模拟信号交替地读取为成像信号。在读取扫描系统中，从与所选行中的像素驱动线116连接的输出端输出传输脉冲。垂直驱动器201的扫除扫描系统类似于垂直驱动器112的扫除扫描系统。
垂直驱动器201的读取扫描系统所选行的短期累积像素131A或长期累积像素131B输出的成像信号通过各自的垂直信号线206供给至列ADC202。
与图7所示的列ADC113-1和113-2类似，列ADC202包括针对像素阵列部111的每一列的比较器221和计数器222。列ADC202起到转换器的作用，并且对通过垂直信号线206从所选行的短期累积像素131A或长期累积像素131B输出的成像信号进行A/D转换处理。列ADC202将通过进行A/D转换处理获得的10位像素值供给至水平驱动器203。
与图7所示的水平驱动器114-1和114-2类似，水平驱动器203被构造为包括移位寄存器或地址解码器等。水平驱动器203从左列顺序地选择列ADC202的计数器222。由水平驱动器203进行的选择性扫描使从列ADC202的计数器222输出的短期累积像素131A的像素值能够从左列顺序地被输出至线存储器204。此外，从列ADC202的计数器222输出的长期累积像素131B的像素值从左列顺序地被输出至动态范围扩展器118。
线存储器204起到存储单元的作用，并且保持从水平驱动器203顺序地供给来的一行短期累积像素131A的像素值。线存储器204从最先一个起顺序地读取被保持的短期累积像素131A的像素值，并且与来自水平驱动器203的长期累积像素131B的像素值的输出同时地，将读取的上述像素值地输出至动态范围扩展器118。
系统控制器205被构造为包括用来产生各种时序信号的时序发生器等。系统控制器205根据时序发生器产生的各种时序信号来控制垂直驱动器201、列ADC202和水平驱动器203。
(CMOS图像传感器200进行的处理的说明)
图13是用来说明待由图12所示的CMOS图像传感器200进行的照度值计算处理的流程图。照度值计算处理的说明是以帧为单位进行的。
图13的步骤S40和S41的处理类似于图11的步骤S11和S12的处理，且因此省略它们的说明。
在步骤S42中，垂直驱动器201的读取扫描系统选择短期累积像素131A的行。首先，在步骤S42的处理中，读取扫描系统选择短期累积像素131A的顶行。读取扫描系统从与所选行中的像素驱动线116连接的输出端输出传输脉冲。
在步骤S43中，所选行中的短期累积像素131A根据像素驱动线116供给来的传输脉冲读取成像信号，并且通过垂直信号线206将该成像信号供给至列ADC202。
在步骤S44中，列ADC202对从所选行的短期累积像素131A供给来的成像信号进行A/D转换处理，并且将通过进行A/D转换处理获得的像素值供给至水平驱动器203。
在步骤S45中，水平驱动器203选择列ADC202的计数器222的列。在将要在紧接步骤S44中的处理之后的步骤S45进行的处理中，水平驱动器203选择最左边的列。
在步骤S46中，水平驱动器203将从所选列中的计数器222输出的短期累积像素131A的像素值输出至线存储器204，并且使线存储器204存储该像素值。
在步骤S47中，水平驱动器203判定是否已经选择了短期累积像素131A的所有列。如果在步骤S47中判定还没有选择短期累积像素131A的所有列，那么处理返回至步骤S45，并且选择在上一个步骤S45中所选列的右列。然后，重复步骤S46和S47的处理直至选择了所有列。
另一方面，如果在步骤S47中判定已经选择了短期累积像素131A的所有列，那么在步骤S48中，垂直驱动器201的读取扫描系统选择长期累积像素131B的行。首先，在步骤S48的处理中，读取扫描系统选择长期累积像素131B的顶行。读取扫描系统从与所选行中的像素驱动线116连接的输出端输出传输脉冲。
在步骤S49中，所选行中的长期累积像素131B根据由像素驱动线116供给来的传输脉冲读取成像信号，并且通过垂直信号线206将该成像信号供给至列ADC202。
在步骤S50中，列ADC202对从所选行中的长期累积像素131B供给来的成像信号进行A/D转换处理，并且将通过进行A/D转换处理而获得的像素值供给至水平驱动器203。
在步骤S51中，水平驱动器203选择列ADC202的计数器222的列。在紧接着步骤S50中的处理之后的步骤S51的处理中，水平驱动器203选择最左边的列。
在步骤S52中，水平驱动器203将从所选列中的计数器222输出的所选列的长期累积像素131B的像素值输出至动态范围扩展器118。同时，线存储器204读取与所述长期累积像素131B的列相同的列(即，所选列中的短期累积像素131A的像素值)，并且将其输出至动态范围扩展器118。
步骤S53至S59的处理类似于图11的步骤S18至S24的处理，且因此省略它们的说明。
如果在步骤S59中判定还没有选择所有列，那么处理返回至步骤S51，并且选择在上一个步骤S51中所选列的右列。然后，重复步骤S52至S59的处理直至选择了所有列。
另一方面，如果在步骤S59中判定已经选择了所有列，那么处理进入步骤S60。步骤S60和S61中的处理类似于图11的步骤S25和S26中的处理，且因此省略它们的说明。当步骤S61的处理完成时，处理终止。
如上所述，图12的设置有线存储器204的CMOS图像传感器200使短期累积像素131A与长期累积像素131B能够共用列ADC和水平驱动器。因此，能够减小电路的尺寸。
CMOS图像传感器100和CMOS图像传感器200可以被构造为扩展每多个像素131的像素值的动态范围而不是扩展每个像素131的像素值的动态范围。在这种情况下，根据通过对所述多个长期累积像素131B的像素值进行积分而获得的积分值来判定所述多个长期累积像素131B中的累积电荷的饱和度。根据这样的判定结果针对每多个像素选择短期累积像素131A的乘法值和长期累积像素131B的像素值。
<第二实施例>
(CMOS图像传感器的第二实施例的示例性构造)
图14是图示了作为应用本发明的固态摄像元件的CMOS图像传感器的第二实施例的示例性构造的框图。
在图14所示的构造中，使用相同的附图标记来标示与图7相同的组件。适当地省略相同组件的重复说明。
图14的CMOS图像传感器300的构造与图7的CMOS图像传感器100的构造的不同之处在于：设置垂直驱动器301来替代垂直驱动器112，不设置动态范围扩展器118和积分器119，并且还设置有照度值计算器302、乘法器303-1和303-2、选择器304、判定单元305、寄存器306、存储器307、乘法器308-1和308-2以及选择器309。
照度值计算器302、乘法器303-1和303-2、选择器304、判定单元305、寄存器306、存储器307、乘法器308-1和308-2以及选择器309不包含在CMOS图像传感器300内，且它们例如可以作为诸如DSP等外部信号处理器而被设置在与CMOS图像传感器300不同的基板上。
在CMOS图像传感器300中，短期累积像素131A的曝光时间与长期累积像素131B的曝光时间之间的比是1:16。CMOS图像传感器300根据前一帧的照度值选择一对短期累积像素131A和长期累积像素131B的曝光时间。
具体地，与图7所示的垂直驱动器112类似，CMOS图像传感器300的垂直驱动器301被构造为包括移位寄存器或地址解码器等。垂直驱动器301是以行为单位对像素阵列部111的短期累积像素131A和长期累积像素131B进行驱动的像素驱动单元。未图示垂直驱动器301的具体构造，但是垂直驱动器301被构造为包括读取扫描系统和扫除扫描系统这两个扫描系统。
读取扫描系统构被造为类似于图7的垂直驱动器112的读取扫描系统。扫除扫描系统从选择器309获取短期累积像素131A和长期累积像素131B的一对曝光时间。比读取系统进行的扫描提前了获取的短期累积像素131A的曝光时间，扫除扫描系统从与短期累积像素131A的各行的像素驱动线116连接的输出端输出控制脉冲，以扫出来自短期累积像素131A的光电二极管的不必要电荷。扫除扫描系统进行的扫描使得能够对各短期累积像素131A顺序地进行所谓的电子快门操作。
此外，比读取系统进行的扫描提前了获取的长期累积像素131B的曝光时间，扫除扫描系统从与长期累积像素131B的各行的像素驱动线116连接的输出端输出控制脉冲，以扫出来自长期累积像素131B的光电二极管的不必要电荷。扫除扫描系统进行的扫描使得能够对各长期累积像素131B顺序地进行所谓的电子快门操作。
从由垂直驱动器301的读取扫描系统选择的行中的短期累积像素131A输出的成像信号通过各个垂直信号线117-1被供给至列ADC113-1。此外，从由垂直驱动器301的读取扫描系统选择的行中的长期累积像素131B输出的成像信号通过各个垂直信号线117-2被供给至列ADC113-2。
照度值计算器302起到动态范围扩展器的作用，并且被构造为类似于图2的照度值计算器10。然而，在CMOS图像传感器300中，短期累积像素131A的曝光时间与长期累积像素131B的曝光时间之间的比是1:16，且因此照度值计算器302的乘法器的增益是1和16。这使得照度值的位数从10位(这是像素值的位数)被扩展至14位。照度值计算器302将通过作为照度值而被计算的短期累积像素131A的加法值乘以16而获得的乘法值或通过长期累积像素131B的加法值乘以1而获得的乘法值供给至乘法器303-1和303-2。
乘法器303-1将从照度值计算器302供给来的14位照度值乘以作为增益的4并且将16位乘法值供给至选择器304。乘法器303-2将从照度值计算器302供给来的14位照度值乘以作为增益的1并且将14位乘法值供给至选择器304。
选择器304根据从寄存器306输出的表示照度高水平或低水平的照度模式信号来选择从乘法器303-1供给来的16位照度值或从乘法器303-2供给来的14位照度值。选择器304输出所选的照度值且也将它输出至判定单元305。这使得从判定单元305输出的照度值的位数(动态范围)是16位。
判定单元305将选择器304供给来的照度值与阈值进行比较并且判定照度值的高或低水平。判定单元305将表示判定结果的照度模式信号供给至寄存器306。照度模式信号对于高照度水平被设定为1且对于低照度水平被设定为0。
寄存器306保持从判定单元305供给来的照度模式信号。此外，寄存器306将保持的照度模式信号供给至选择器304和选择器309。
存储器307存储短期累积像素131A和长期累积像素131B的一对曝光时间。这里，存储器307存储这样的一对曝光时间：被设定为通过将时间T乘以1而获得的值的短期累积像素131A的曝光时间和被设定为通过将时间T乘以16而获得的值的长期累积像素131B的曝光时间。存储器307将被保持的一对曝光时间供给至乘法器308-1和308-2。
乘法器308-1将从存储器307供给来的一对乘以作为增益的1。乘法器308-1将通过乘法运算而获得的一对供给至选择器309。待被供给的一对曝光时间由被设定为时间T的短期累积像素131A的曝光时间和被设定为通过将时间T乘以16而获得的值的长期累积像素131B的曝光时间组成。
乘法器308-2将从存储器307供给来的一对乘以作为增益的4。乘法器308-1将通过乘法运算而获得的一对供给至选择器309。待被供给的一对曝光时间由被设定为通过将时间T乘以4而获得的值的短期累积像素131A的曝光时间和被设定为通过将时间T乘以64而获得的值的长期累积像素131B的曝光时间组成。
选择器309起到选择单元的作用，并且根据从寄存器306供给来的照度模式信号选择从乘法器308-1供给来的一对或从乘法器308-2供给来的一对。具体地，当照度模式信号设定为1时(即，当照度高时)，选择从乘法器308-1供给来的具有较小放大因子的一对。另一方面，当照度模式信号设定为0时(即，当照度低时)，选择从乘法器308-2供给来的具有较大放大因子的一对。
关于此，当照度模式信号设定为1时，选择器304选择来自增益为4的乘法器303-1的照度值，并且4同样是一对曝光时间的倍数。此外，当照度模式信号设定为0时，选择器304选择来自增益为1的乘法器303-2的照度值，并且1同样是一对曝光时间的倍数。因此，不管照度模式信号如何，与照度值相对应的曝光时间变得相等。选择器309将短期累积像素131A和长期累积像素131B的被选择的一对曝光时间供给至垂直驱动器301。
如上所述，在CMOS图像传感器300中，短期累积像素131A的曝光时间与长期累积像素131B的曝光时间之间的比是1:16，且因此短期累积像素131A的像素值的增益是16。因此，由于列ADC113-1内的噪声等而造成的照度值误差仅是16倍。照度值误差小于这样情况下的照度值误差：短期累积像素131A的曝光时间与长期累积像素131B的曝光时间之间的比是1:64。因此，用于照度值计算的长期累积像素131B的乘法值和短期累积像素131A的乘法值被彼此切换时的照度值线性度得到改善。
例如，如参照图6所述，当由于列ADC113-1和113-2内的噪声等而造成的像素值误差是±1LSB时，如果短期累积像素131A的曝光时间与长期累积像素131B的曝光时间之间的比是1:64，那么当切换用于照度值计算的值时，照度值误差从±1LSB变化至±64LSB。然而，在CMOS图像传感器300中，短期累积像素131A的曝光时间与长期累积像素131B的曝光时间之间的比是1:16，且因此照度值误差仅从±1LSB变化至±16LSB。
(判定单元305中的阈值的说明)
图15用来说明图14的判定单元305中的阈值。
图15的横轴表示时间。
如图15所示，判定单元305中的阈值具有迟滞。换言之，HL阈值(即，当照度模式信号从1变化至0时的阈值)小于LH阈值(即，当照度模式信号从0变化至1时的阈值)。
因此，如图15所示，例如，当t1时间的帧照度值大于LH阈值时，帧照度模式信号被设定为1。然后，当t2(t2＞t1)时间的帧照度值小于LH阈值且大于HL阈值时，帧照度模式信号保持为1不变。然后，当t3(t3＞t2)时间的帧照度值小于HL阈值时，帧照度模式信号变化至0。然后，当t4(t4＞t3)时间的帧照度值小于LH阈值且大于HL阈值时，帧照度模式信号保持为0不变。然后，当t5(t5＞t4)时间的帧照度值大于LH阈值时，帧照度模式信号变化至1。然后，当t6(t6＞t5)时间的帧照度值大于LH阈值时，帧照度模式信号保持为1不变。
以这样的方式，判定单元305的阈值具有迟滞，且因此当照度信号大于或等于HL阈值且小于或等于LH阈值时，照度模式信号被保持不变。因此，能够防止发生照度模式信号的频繁切换。
(CMOS图像传感器300进行的处理的说明)
图16是用来说明由图14的CMOS图像传感器300进行的照度值计算处理的流程图。照度值计算处理是以帧为单位进行的。
在图16的步骤S80中，比由读取系统进行的扫描提前了从选择器309输出的长期累积像素131B的曝光时间，长期累积像素131B根据通过像素驱动线116供给的控制脉冲以行为单位地进行电子快门操作。
在步骤S81中，比由读取系统进行的扫描提前了从选择器309输出的短期累积像素131A的曝光时间，短期累积像素131A根据通过像素驱动线116供给的控制脉冲以行为单位地进行电子快门操作。
在步骤S82中，短期累积像素131A和长期累积像素131B根据通过像素驱动线116供给的传输脉冲以行为单位同时读取成像信号。短期累积像素131A将读取的成像信号供给至列ADC113-1且长期累积像素131B将读取的成像信号供给至列ADC113-2。
在步骤S83中，列ADC113-1和列ADC113-2对输入的成像信号进行A/D转换处理。列ADC113-1将通过进行A/D转换处理而获得的像素值供给至水平驱动器114-1。列ADC113-2将通过进行A/D转换处理而获得的像素值供给至水平驱动器114-2。
在步骤S84中，水平驱动器114-1以列为单位将从计数器142输出的短期累积像素131A的像素值输出至照度值计算器302。此外，水平驱动器114-2以列为单位将从计数器152输出的长期累积像素131B的像素值输出至照度值计算器302。
在步骤S85中，照度值计算器302基于从水平驱动器114-1和水平驱动器114-2供给来的10位像素值来计算14位照度值。照度值计算器302将计算出的14位照度值供给至乘法器303-1和乘法器303-2。
在步骤S86中，乘法器303-1将从照度值计算器302供给来的14位照度值乘以作为增益的4并且将16位乘法值供给至选择器304。乘法器303-2将从照度值计算器302供给来的14位照度值乘以作为增益的1并且将14位乘法值供给至选择器304。
在步骤S87中，选择器304判定从寄存器306输出的照度模式信号是否被设定为1。如果在步骤S87中判定照度模式信号被设定为1，那么处理进入步骤S88。
在步骤S88中，选择器304选择从乘法器303-1供给来的被乘以4而得到的16位照度值，且处理进行步骤S90。
另一方面，如果在步骤S87中判定照度模式信号设定为0，那么在步骤S89中，选择器304选择从乘法器303-2供给来的被乘以1而得到的14位照度值。然后，处理进入步骤S90。
在步骤S90中，选择器304输出所选的照度值且也将它供给至判定单元305。
在步骤S91中，判定单元305判断待被处理的帧的前一帧的照度模式信号是否被设定为1。例如，当照度模式信号的初始值被设定为1且待被处理的帧是头帧(leadingframe)时，在步骤S91的处理中判定照度模式信号被设定为1。
如果在步骤S91中判定待被处理的帧的前一帧的照度模式信号被设定为1，那么判定单元305在步骤S92中判断从选择器304供给来的照度值是否小于HL阈值。
如果在步骤S92中判定照度值小于HL阈值，那么判定单元305在步骤S93中判定照度值为低并且将照度模式信号变为0。然后，判定单元305将变化后的照度模式信号供给至寄存器306以将它保持在寄存器中。当步骤S93的处理完成时，处理进入步骤S96。
另一方面，如果在步骤S92中判定照度值大于或等于HL阈值，那么判定单元305判定照度值为高并且照度模式信号保持为1不变。然后，判定单元305将照度模式信号供给至寄存器306以将它保持在寄存器中。处理进入步骤S96。
此外，如果在步骤S91中判定待被处理的帧的前一帧的照度模式信号未被设定为1，那么判定单元305在步骤S94中判断从选择器304供给来的照度值是否大于LH阈值。
如果在步骤S94中判定照度值大于LH阈值，那么判定单元305在步骤S95中判定照度值为高并且将照度模式信号变化至1。然后，判定单元305将变化后的照度模式信号供给至寄存器306以将它保持在寄存器中。步骤S95的处理完成，处理进入步骤S96。
另一方面，如果在步骤S94中判定照度值小于或等于LH阈值，那么判定单元305判定照度值为低，并且照度模式信号保持为0不变。然后，判定单元305将照度模式信号供给至寄存器306以将它保持在寄存器中。处理进入步骤S96。
保持于寄存器306中的照度模式信号被供给至选择器304，并且当目前被处理帧的下一帧是将要被重新处理的帧时，该照度模式信号被用于步骤S87的处理。此外，保持于寄存器306的照度模式信号被供给至选择器309且用于下一个步骤S96的处理。
在步骤S96中，选择器309判断寄存器306供给来的照度模式信号是否被设定为1。如果在步骤S96中判定照度模式信号被设定为1，那么处理进入步骤S97。
在步骤S97中，选择器309选择从乘法器308-1供给来的如下的一对曝光时间并且将它供给至垂直驱动器301，在所述一对曝光时间中，短期累积像素131A的曝光时间设被定为时间T，长期累积像素131B的曝光时间被设定为通过将时间T乘以4而获得的值。
另一方面，如果在步骤S96中判定照度模式信号未被设定为1，那么处理进入步骤S98。在步骤S98中，选择器309选择从乘法器308-2供给来的如下的一对曝光时间并且将它供给至垂直驱动器301，在所述一对曝光时间中，短期累积像素131A的曝光时间被设定为通过将时间T乘以4而获得的值，长期累积像素131B的曝光时间被设定为通过将时间T乘以16而获得的值。
在步骤S97或步骤S98的处理中的待被供给至垂直驱动器301的一对曝光时间是当目前被处理帧的下一帧是待被重新处理的帧时在步骤S80和步骤S81的处理中的曝光时间。当步骤S97或步骤S98的处理完成时，处理终止。
如上所述，图14的CMOS图像传感器300根据前一帧的照度值选择短期累积像素131A和长期累积像素131B的一对曝光时间。因此，CMOS图像传感器300能够使短期累积像素131A与长期累积像素131B之间的曝光比随着照度值的动态范围的扩展而减小。
换言之，当照度值位数的动态范围从10位被扩展至16位时，通常需要短期累积像素131A与长期累积像素131B之间的曝光比为1:64。然而，CMOS图像传感器300根据照度值选择T和16T或4T和64T中的任一对作为短期累积像素131A和长期累积像素131B的曝光时间。这使得能够在短期累积像素131A与长期累积像素131B之间的曝光比为1:16的情况下使照度值的动态范围从10位被扩展至16位。
因此，由于列ADC113-1内的噪声等而造成的短期累积像素131A的乘法值的误差小于短期累积像素131A与长期累积像素131B之间的曝光比为1:64的情况下的该误差，从而改善照度值的线性度。
在CMOS图像传感器300中，照度值被分成高和低两个阶段，但是它可以被分为三个或更多阶段。
在这种情况下，例如，能够在不改变短期累积像素131A与长期累积像素131B之间的曝光时间比的情况下，通过设置将一对曝光时间乘以大于4的增益的乘法器来扩展照度值的动态范围。
此外，能够在不改变长期累积像素131B的最大曝光时间的情况下，通过将短期累积像素131A与长期累积像素131B之间的曝光时间比设定为小于1:16(例如设定为1:8)，在维持宽动态范围的同时降低由于列ADC113-1内的噪声等而造成的误差。因此，能够更加改善照度值的线性度。
此外，能够在不改变短期累积像素131A与长期累积像素131B之间的曝光时间比并且不改变长期累积像素131B的最大曝光时间的情况下，通过还设置将一对曝光时间乘以小于4的增益的乘法器来选择更加适合于照度值的一对曝光时间。因此，能够更加改善照度值的线性度。
<第三实施例>
(CMOS图像传感器的第三实施例的示例性构造)
图17是图示了应用本发明的用作固态摄像元件的CMOS图像传感器的第三实施例的示例性构造的框图。
在图17所示的构造中，使用相同的附图标记来标示与图7和图14相同的组件。适当地省略相同组件的重复说明。
图17的CMOS图像传感器400的构造与图14的CMOS图像传感器300的构造的不同之处在于：设置动态范围扩展器401和积分器119来替代照度值计算器302。
动态范围扩展器401、积分器119、乘法器303-1和303-2、选择器304、判定单元305、寄存器306、存储器307、乘法器308-1和308-2以及选择器309不包含在CMOS图像传感器400内，且它们例如可以作为诸如DSP等外部信号处理器而被设置在与CMOS图像传感器400不同的基板上。
CMOS图像传感器400是第一实施例和第二实施例的组合。换言之，CMOS图像传感器400根据前一帧的照度值选择短期累积像素131A和长期累积像素131B的一对曝光时间，并且扩展各像素的像素值的动态范围。
具体地，除了乘法器171的增益是16以外，CMOS图像传感器400的动态范围扩展器401的构造类似于图9的动态范围扩展器118的构造。动态范围扩展器401根据长期累积像素131B的像素值判断长期累积像素131B的累积电荷是否饱和。然后，动态范围扩展器401根据判定结果选择被乘了16的短期累积像素131A的像素值或长期累积像素131B的像素值，并且将所选的像素值供给至积分器119。
尽管未示出，但是在CMOS图像传感器400进行的照度值计算处理中，进行图13中的步骤S42至S61的处理来代替图16中的步骤S82至S85的处理。
如上所述，图17的CMOS图像传感器400根据具有不同曝光时间的像素值扩展各像素的像素值的动态范围，并且对具有扩展的动态范围的像素值进行积分，从而产生照度值。因此，能够改善在一些长期累积像素131B中的累积电荷是饱和的情况下的照度值的线性度。
此外，CMOS图像传感器400通过根据前一帧的照度值选择短期累积像素131A和长期累积像素131B的一对曝光时间，能够使短期累积像素131A与长期累积像素131B之间的曝光比随着照度值的动态范围的扩展而减小。因此，能够防止由长期累积像素131B的像素值的误差与短期累积像素131A的乘法值的误差之间的差异而造成的照度值的线性度劣化。
<像素阵列部111的另一构造例>
图18图示了像素阵列部111的短期累积像素和长期累积像素的另一构造例。
在图18中，白色正方形表示长期累积像素且灰色正方形表示短期累积像素。
在如上所述的像素阵列部111中，短期累积像素131A和长期累积像素131B以行为单位规则地排列。然而，在图18中，短期累积像素451A的具有各颜色的子像素和长期累积像素451B的具有各颜色的子像素以空间均匀的方式排列。
具体地，在图18的示例中，短期累积像素451A和长期累积像素451B以这样的方式形成：绿色(G)子像素461、红色(R)子像素462和绿色(G)子像素463布置在水平方向(行方向)上且蓝色(B)子像素464在垂直方向(列方向)上与子像素461相邻。换言之，短期累积像素451A和长期累积像素451B均是包括有四个子像素461至464的L形子像素组。
被布置为彼此面对的短期累积像素451A和长期累积像素451B形成一个长方状的像素450。在图18的像素阵列部111中，这样的像素450均被规则地布置。换言之，短期累积像素451A和长期累积像素451B规则地布置。图18的阵列被称为均匀曝光阵列。
<第四实施例的示例性构造>
(电子装置的一个实施例的示例性构造)
图19是图示了应用本发明的用作电子装置的照度计的示例性构造的框图。
图19的照度计500被构造为包括光学单元501、固态摄像元件502、DSP电路503、存储器504、显示单元505、操作单元506和电源507。DSP电路503、存储器504、显示单元505、操作单元506和电源507经由总线508互连。
光学单元501被构造为包括透镜组等，且摄取来自被摄体的入射光(成像光)并且将图像形成在固态摄像元件502的成像表面。固态摄像元件502被构造为包括根据上述的第一至第三实施例的CMOS图像传感器的一部分。固态摄像元件502将与通过光学单元501而成像在成像表面的入射光的光量相对应的像素值供给至DSP电路503。
DSP电路503被构造为包括形成根据上述的第一至第三实施例的CMOS图像传感器的固态摄像元件502的部分以外的部分。DSP电路503根据从固态摄像元件502供给来的像素值计算照度值。DSP电路503将计算出的照度值供给至存储器504且也将它供给至显示单元505。
存储器504构造为包括闪存等，并且存储从DSP电路503供给来的照度值。
显示单元505被构造为包括液晶面板等面板型显示装置，并且显示从DSP电路503供给来的照度值。
操作单元506在用户的操作下发出与照度计500的各种功能相关的操作指令。电源507以适当的方式向DSP电路503、存储器504、显示单元505和操作单元506供电。
根据上述的第一至第三实施例的CMOS图像传感器可以被形成为一个芯片或者可以被形成为包括封装在其中的光学单元等且具有摄像功能的类似模块的构造。
本文中所述的有益效果仅是说明性的而并非是限制性的。可以获得其它有益效果。
本发明的实施例不是旨在限制于上述的实施例，并且能够在不偏离本发明主旨的情况下做出各种变型和变化。
例如，短期累积像素131A与长期累积像素131B之间的曝光比不限于上述的示例，且能够根据像素值和照度值的位数(动态范围)来确定。此外，像素值的积分可以通过模拟加法而不是数字加法来进行。
此外，在CMOS图像传感器300或400中，与CMOS图像传感器200类似地，列ADC113-1和113-2以及水平驱动器114-1和114-2可以是共用的。
此外，本发明也可以构造如下。
(1)一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具有不同曝光时间的像素值来扩展各所述像素的所述像素值的动态范围；和
积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的所述动态范围的所述像素值进行积分并且产生照度值。
(2)
根据(1)所述的固态摄像元件，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积像素用来累积与第一曝光时间内入射的光量相对应的电荷，所述长期累积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射的光量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据与累积于所述短期累积像素中的电荷相对应的像素值和与累积于所述长期累积像素中的电荷相对应的像素值，来扩展由所述短期累积像素和所述长期累积像素形成的各所述像素的所述像素值的动态范围。
(3)
根据(2)所述的固态摄像元件，
其中，所述动态范围扩展器被构造为：当不是每个所述像素的累积于所述长期累积像素中的电荷都饱和的时候，将所述长期累积像素的像素值设定为具有扩展的所述动态范围的所述像素值；并且当每个所述像素的累积于所述长期累积像素中的电荷都饱和的时候，将乘以了所述第二曝光时间与所述第一曝光时间的比的所述短期累积像素的像素值设定为具有扩展的所述动态范围的所述像素值。
(4)
根据(2)或(3)所述的固态摄像元件，还包括：
短期累积转换器，所述短期累积转换器被构造为对累积于所述短期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积于所述短期累积像素中的电荷相对应的数字值的像素值；和
长期累积转换器，所述长期累积转换器被构造为对累积于所述长期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积于所述长期累积像素中的电荷相对应的数字值的像素值，
其中，所述动态范围扩展器被构造为根据所述短期累积转换器产生的像素值和所述长期累积转换器产生的像素值来扩展各所述像素的所述像素值的动态范围。
(5)
根据(2)或(3)所述的固态摄像元件，还包括：
转换器，所述转换器被构造为对累积于所述短期累积像素中的电荷的模拟信号和累积于所述长期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生分别与累积于所述短期累积像素的电荷和累积于所述长期累积像素的电荷相对应的像素值；和
存储单元，所述存储单元被构造为存储由所述转换器产生的所述短期累积像素的像素值和由所述转换器产生的所述长期累积像素的像素值中的一者，
其中，像素选择器被构造为根据由所述转换器转换来的且未被保存于所述存储单元中的像素值和由所述转换器转换来的且保存于所述存储单元中的像素值，来扩展各所述像素的所述像素值的动态范围。
(6)
根据(2)至(5)中任一项所述的固态摄像元件，还包括：
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述积分器产生的所述照度值相对应的帧的下一帧的一对所述第一曝光时间和所述第二曝光时间，
其中，所述短期累积像素被构造为累积与在由所述选择器选择的一对中的所述第一曝光时间内入射的光量相对应的电荷，且
其中，所述长期累积像素被构造为累积与在由所述选择器选择的一对中的所述第二曝光时间内入射的光量相对应的电荷。
(7)
根据(1)至(6)中任一项所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位规则地排列。
(8)
根据(1)至(7)中任一项所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地排列为L形像素组。
(9)
一种电子装置，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具有不同曝光时间的像素值来扩展各所述像素的所述像素值的动态范围；和
积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的所述动态范围的所述像素值进行积分且产生照度值。
(10)
一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的所述像素值的积分值的动态范围；
乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是通过将具有被所述动态范围扩展器扩展的所述动态范围的所述积分值乘以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的值；和
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述乘法器产生的所述照度值相对应的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间。
(11)
根据(10)所述的固态摄像元件，
其中，所述选择器被构造为：当所述照度值大于或等于阈值时，选择具有小放大因子的所述预定对的倍数，且当所述照度值小于所述阈值时，选择具有大放大因子的所述预定对的倍数。
(12)
根据(11)所述的固态摄像元件，
其中，所述选择器被构造为将当选择具有所述小放大因子的所述预定对的倍数时的所述阈值设定为小于当选择具有所述大放大因子的所述预定对的倍数时的所述阈值。
(13)
根据(10)至(12)中任一项所述的固态摄像元件，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积像素用来累积与所述第一曝光时间内入射的光量相对应的电荷，所述长期累积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射的光量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据所述多个像素的各者的与累积于所述短期累积像素内的电荷相对应的像素值和所述多个像素的各者的与累积于所述长期累积像素内的电荷相对应的像素值，来扩展所述积分值的所述动态范围。
(14)
根据(13)所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位规则地排列。
(15)
根据(13)所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地排列为L形像素组。
(16)
一种电子装置，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的所述像素值的积分值的动态范围；
乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是通过将具有被所述动态范围扩展器扩展的所述动态范围的所述积分值乘以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的值；和
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述乘法器产生的所述照度值相对应的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间。
附图标记列表
100CMOS图像传感器
113-1、113-2列ADC
118动态范围扩展器
119积分器
131像素
131A短期累积像素
131B长期累积像素
200CMOS图像传感器
202列ADC
300CMOS图像传感器
302照度值计算器
303-1、303-2乘法器
309选择器
451A短期累积像素
451B长期累积像素
500照度计
502固态摄像元件
503DSP电路

Claims (16)

1.一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具有不同曝光时间的像素值来扩展各所述像素的所述像素值的动态范围；和
积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的所述动态范围的所述像素值进行积分并且产生照度值。
2.根据权利要求1所述的固态摄像元件，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积像素用来累积与第一曝光时间内入射的光量相对应的电荷，所述长期累积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射的光量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据与累积于所述短期累积像素中的电荷相对应的像素值和与累积于所述长期累积像素中的电荷相对应的像素值，来扩展由所述短期累积像素和所述长期累积像素形成的各所述像素的所述像素值的动态范围。
3.根据权利要求2所述的固态摄像元件，
其中，所述动态范围扩展器被构造为：当不是每个所述像素的累积于所述长期累积像素中的电荷都饱和的时候，将所述长期累积像素的像素值设定为具有扩展的所述动态范围的所述像素值；并且当每个所述像素的累积于所述长期累积像素中的电荷都饱和的时候，将乘以了所述第二曝光时间与所述第一曝光时间的比的所述短期累积像素的像素值设定为具有扩展的所述动态范围的所述像素值。
4.根据权利要求2所述的固态摄像元件，还包括：
短期累积转换器，所述短期累积转换器被构造为对累积于所述短期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积于所述短期累积像素中的电荷相对应的数字值的像素值；和
长期累积转换器，所述长期累积转换器被构造为对累积于所述长期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生作为与累积于所述长期累积像素中的电荷相对应的数字值的像素值，
其中，所述动态范围扩展器被构造为根据所述短期累积转换器产生的像素值和所述长期累积转换器产生的像素值来扩展各所述像素的所述像素值的动态范围。
5.根据权利要求2所述的固态摄像元件，还包括：
转换器，所述转换器被构造为对累积于所述短期累积像素中的电荷的模拟信号和累积于所述长期累积像素中的电荷的模拟信号进行A/D转换处理，并且产生分别与累积于所述短期累积像素的电荷和累积于所述长期累积像素的电荷相对应的像素值；和
存储单元，所述存储单元被构造为存储由所述转换器产生的所述短期累积像素的像素值和由所述转换器产生的所述长期累积像素的像素值中的一者，
其中，像素选择器被构造为根据由所述转换器转换来的且未被保存于所述存储单元中的像素值和由所述转换器转换来的且保存于所述存储单元中的像素值，来扩展各所述像素的所述像素值的动态范围。
6.根据权利要求2所述的固态摄像元件，还包括：
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述积分器产生的所述照度值相对应的帧的下一帧的一对所述第一曝光时间和所述第二曝光时间，
其中，所述短期累积像素被构造为累积与在由所述选择器选择的一对中的所述第一曝光时间内入射的光量相对应的电荷，且
其中，所述长期累积像素被构造为累积与在由所述选择器选择的一对中的所述第二曝光时间内入射的光量相对应的电荷。
7.根据权利要求1所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位规则地排列。
8.根据权利要求1所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地排列为L形像素组。
9.一种电子装置，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的具有不同曝光时间的像素值来扩展各所述像素的所述像素值的动态范围；和
积分器，所述积分器被构造为对具有被所述动态范围扩展器扩展的所述动态范围的所述像素值进行积分且产生照度值。
10.一种固态摄像元件，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的所述像素值的积分值的动态范围；
乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是通过将具有被所述动态范围扩展器扩展的所述动态范围的所述积分值乘以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的值；和
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述乘法器产生的所述照度值相对应的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间。
11.根据权利要求10所述的固态摄像元件，
其中，所述选择器被构造为：当所述照度值大于或等于阈值时，选择具有小放大因子的所述预定对的倍数，且当所述照度值小于所述阈值时，选择具有大放大因子的所述预定对的倍数。
12.根据权利要求11所述的固态摄像元件，
其中，所述选择器被构造为将当选择具有所述小放大因子的所述预定对的倍数时的所述阈值设定为小于当选择具有所述大放大因子的所述预定对的倍数时的所述阈值。
13.根据权利要求10所述的固态摄像元件，
其中，所述像素包括短期累积像素和长期累积像素，所述短期累积像素用来累积与所述第一曝光时间内入射的光量相对应的电荷，所述长期累积像素用来累积与在长于所述第一曝光时间的第二曝光时间内入射的光量相对应的电荷，且
其中，所述动态范围扩展器被构造为根据所述多个像素的各者的与累积于所述短期累积像素内的电荷相对应的像素值和所述多个像素的各者的与累积于所述长期累积像素内的电荷相对应的像素值，来扩展所述积分值的所述动态范围。
14.根据权利要求13所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素被构造为以行为单位规则地排列。
15.根据权利要求13所述的固态摄像元件，
其中，所述短期累积像素和所述长期累积像素分别被构造为规则地排列为L形像素组。
16.一种电子装置，其包括：
动态范围扩展器，所述动态范围扩展器被构造为根据多个像素的第一曝光时间的像素值和第二曝光时间的像素值来扩展所述多个像素的所述像素值的积分值的动态范围；
乘法器，所述乘法器被构造为生成如下的值作为照度值：所述值是通过将具有被所述动态范围扩展器扩展的所述动态范围的所述积分值乘以与一对所述第一曝光时间和所述第二曝光时间相对应的增益而获得的值；和
选择器，所述选择器被构造为根据所述照度值从预定对的多个倍数中选择与由所述乘法器产生的所述照度值相对应的帧的下一帧的所述一对所述第一曝光时间和所述第二曝光时间。
CN201480050780.9A 2013-10-21 2014-10-10 固态摄像元件和电子装置 Active CN105580351B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013218066 2013-10-21
JP2013-218066 2013-10-21
PCT/JP2014/077171 WO2015060143A1 (ja) 2013-10-21 2014-10-10 固体撮像素子および電子機器

Publications (2)

Publication Number Publication Date
CN105580351A true CN105580351A (zh) 2016-05-11
CN105580351B CN105580351B (zh) 2019-08-09

Family

ID=52992743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480050780.9A Active CN105580351B (zh) 2013-10-21 2014-10-10 固态摄像元件和电子装置

Country Status (6)

Country Link
US (1) US9961278B2 (zh)
JP (1) JP6546531B2 (zh)
KR (1) KR102277598B1 (zh)
CN (1) CN105580351B (zh)
TW (1) TWI645707B (zh)
WO (1) WO2015060143A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881906A (zh) * 2017-05-15 2018-11-23 北京大学 一种图像重构方法及装置
CN109076177A (zh) * 2016-05-30 2018-12-21 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
CN111193882A (zh) * 2018-11-15 2020-05-22 格科微电子（上海）有限公司 单帧高动态范围图像传感器的实现方法
CN111953908A (zh) * 2019-05-17 2020-11-17 三星电子株式会社 用于生成高动态范围图像的成像系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012159052A2 (en) * 2011-05-18 2012-11-22 Children's Hospital Medical Center Targeted delivery of proteins across the blood brain barrier
JP7029961B2 (ja) * 2015-05-19 2022-03-04 マジック リープ， インコーポレイテッド セミグローバルシャッタイメージャ
JP2017126964A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 撮像制御装置、および撮像装置
JP7260990B2 (ja) * 2018-10-26 2023-04-19 キヤノン株式会社 撮像装置及び撮像システム
US20240171836A1 (en) * 2019-11-01 2024-05-23 Lg Electronics Inc. Image sensor, camera, and electronic apparatus including the same
JP7407416B2 (ja) * 2019-11-26 2024-01-04 パナソニックＩｐマネジメント株式会社 撮像装置およびカメラ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0967729A3 (en) * 1998-06-24 2004-03-17 Taiwan Advanced Sensors Corporation Autocalibration of an A/D converter within a CMOS type image sensor
US20090135263A1 (en) * 2007-11-27 2009-05-28 Noam Sorek Method and Apparatus for Expanded Dynamic Range Imaging
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序
CN102833488A (zh) * 2011-06-13 2012-12-19 索尼公司 图像摄取装置、图像摄取装置控制方法和程序
JP2013175897A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 画像処理装置及び固体撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2574829B2 (ja) * 1987-12-23 1997-01-22 株式会社日立製作所 テレビカメラ装置
JP2001036816A (ja) * 1999-06-23 2001-02-09 Taiwan Advanced Sensors Corp Ｃｍｏｓ型イメージセンサ内のａ／ｄ変換器の自動較正
JP4466584B2 (ja) 2006-02-20 2010-05-26 セイコーエプソン株式会社 照度取得装置、照度取得方法および照度取得プログラム
JP2011254125A (ja) * 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
EP2606637B1 (en) * 2010-08-23 2016-09-21 Red.Com, Inc. High dynamic range video
JP2013026722A (ja) * 2011-07-19 2013-02-04 Toshiba Corp 画像処理装置
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0967729A3 (en) * 1998-06-24 2004-03-17 Taiwan Advanced Sensors Corporation Autocalibration of an A/D converter within a CMOS type image sensor
US20090135263A1 (en) * 2007-11-27 2009-05-28 Noam Sorek Method and Apparatus for Expanded Dynamic Range Imaging
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序
CN102833488A (zh) * 2011-06-13 2012-12-19 索尼公司 图像摄取装置、图像摄取装置控制方法和程序
JP2013175897A (ja) * 2012-02-24 2013-09-05 Toshiba Corp 画像処理装置及び固体撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076177A (zh) * 2016-05-30 2018-12-21 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
CN109076177B (zh) * 2016-05-30 2021-06-15 索尼公司 图像拾取装置、固态图像拾取元件和图像拾取装置的控制方法
CN108881906A (zh) * 2017-05-15 2018-11-23 北京大学 一种图像重构方法及装置
CN111193882A (zh) * 2018-11-15 2020-05-22 格科微电子（上海）有限公司 单帧高动态范围图像传感器的实现方法
CN111953908A (zh) * 2019-05-17 2020-11-17 三星电子株式会社 用于生成高动态范围图像的成像系统

Also Published As

Publication number Publication date
US20160269659A1 (en) 2016-09-15
US9961278B2 (en) 2018-05-01
JP6546531B2 (ja) 2019-07-17
TWI645707B (zh) 2018-12-21
JPWO2015060143A1 (ja) 2017-03-09
CN105580351B (zh) 2019-08-09
KR20160074484A (ko) 2016-06-28
WO2015060143A1 (ja) 2015-04-30
KR102277598B1 (ko) 2021-07-15
TW201524190A (zh) 2015-06-16

Similar Documents

Publication Publication Date Title
CN105580351A (zh) 固态摄像元件和电子装置
US20210227159A1 (en) Image pickup apparatus, control method, and computer program storage medium
US7786921B2 (en) Data processing method, data processing apparatus, semiconductor device, and electronic apparatus
CN102984472B (zh) 固态成像设备和相机系统
US7859447B2 (en) Image processing method, semiconductor device for detecting physical quantity distribution, and electronic apparatus
US9060134B2 (en) Imaging apparatus, image sensor, imaging control method, and program
RU2010136266A (ru) Устройство формирования изображения и система камеры
US20010030700A1 (en) Solid-state image pickup apparatus, its driving method, and camera system
CN102984468A (zh) 固态成像设备和相机系统
US20070120982A1 (en) Imaging Device
US9253427B2 (en) Solid-state image pickup apparatus capable of realizing image pickup with wide dynamic range and at high frame rate, control method therefor, and storage medium
JP2009232446A (ja) 撮像装置、撮像システム、及び撮像装置の駆動方法
US10616509B2 (en) Imaging device and control method thereof, and electronic apparatus
US8947565B2 (en) Solid-state image capture element and image capture device comprising said solid-state image capture element, and image capture control method and image capture control program
JP2009212909A (ja) 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
CN204906538U (zh) 生成噪声校正的像素值的电子设备、减小噪声信号的电子设备和成像系统
CN107431775B (zh) 图像传感器、处理方法和电子设备
KR102620348B1 (ko) 픽셀 파라미터의 픽셀 단위 코딩을 사용하여 이미지 다이나믹 레인지를 확장하기 위한 방법 및 시스템
KR20150137984A (ko) 고체 촬상 장치 및 촬상 방법
US10136093B2 (en) Solid-state imaging apparatus and method of controlling the same
JP2023046661A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
CN106165400B (zh) 成像元件、控制方法、程序和电子设备
CN109246369B (zh) 摄像装置及照相机系统
JP6167473B2 (ja) 撮像装置
JP2016021657A (ja) 固体撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160912

Address after: Kanagawa

Applicant after: SONY semiconductor solutions

Address before: Tokyo, Japan

Applicant before: Sony Corp

GR01 Patent grant
GR01 Patent grant