CN105409205B - 摄像装置、摄像方法及存储器 - Google Patents

摄像装置、摄像方法及存储器 Download PDF

Info

Publication number
CN105409205B
CN105409205B CN201480040407.5A CN201480040407A CN105409205B CN 105409205 B CN105409205 B CN 105409205B CN 201480040407 A CN201480040407 A CN 201480040407A CN 105409205 B CN105409205 B CN 105409205B
Authority
CN
China
Prior art keywords
pixel
pixels
exposure
spectral sensitivity
control signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480040407.5A
Other languages
English (en)
Other versions
CN105409205A (zh
Inventor
光永知生
海津俊
栗田哲平
西亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105409205A publication Critical patent/CN105409205A/zh
Application granted granted Critical
Publication of CN105409205B publication Critical patent/CN105409205B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nonlinear Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明涉及能够进行控制以改变对4种不同光谱灵敏度类型的像素的曝光时间的摄像装置、摄像方法以及程序。4种不同光谱灵敏度类型的像素布置在摄像面上，所述像素包括具有全色光谱灵敏度的像素，并且对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上。此外，具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置。此外，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置。

Description

摄像装置、摄像方法及存储器
技术领域
本发明涉及摄像装置、摄像方法以及程序，并且更具体地涉及适于通过以多个曝光时序读取多个像素来扩大动态范围的摄像装置、摄像方法以及程序。
背景技术
近年来，拍摄诸如人物等主体以产生图像(图像数据)并记录所产生的诸如图像内容(图像文件)等图像(图像数据)的诸如摄像设备等电子设备得到了普及，例如，数字静态照相机是摄像设备的示例。作为用于这种电子设备的摄像装置，CCD(电荷耦合器件)传感器、CMOS(互补金属氧化物半导体)传感器等得到了广泛地应用。
动态范围是图像传感器的性能轴之一。动态范围是可以被变换成有效图像信号的入射光的亮度的宽度。动态范围越大，性能越佳，这是因为暗光至亮光都能够变换成图像信号。
例如，专利文献1提出了一种被称为空间变化曝光(Spatially VaryingExposure，SVE)的用于扩大图像传感器的动态范围的系统。
普通图像传感器的像素包括通过光电变换将入射光变换成电荷的光电二极管(PD)。由于像素的可累积电荷量是确定的，所以相对于过强的入射光会产生电荷溢出，且无法拾取更多的信号。另外，由于在像素和读取电路中产生的噪声的原因，相对于过弱的入射光产生的电荷被掩埋在噪声中，从而无法拾取信号。
为此，在SVE系统中，具有不同灵敏度的像素以预定布置图案进行布置，使得可以从位于场景的黑暗部分中的具有高灵敏度的像素和位于场景的明亮部分中的具有低灵敏度的像素获取信号。作为改变各像素的灵敏度的方法，除改变像素孔径比的方法以及使用具有不同光透射率的片上滤光器的方法之外，还存在使用图像传感器的电子快门控制机构的方法。专利文献1提出了在CCD图像传感器中使用电子快门控制机构的方法。
专利文献2提出了一种布置有4种类型的像素的图像传感器，这些像素包括具有用于获取亮度信号的光谱灵敏度的像素和具有用于获取3种类型的颜色信号的光谱灵敏度的像素。作为这种颜色布置的示例，在专利文献2披露的布置中，用于获取亮度信号的像素布置成棋盘格布置(checkerboard arrangement)，并且具有R、G和B光谱灵敏度的用于获取颜色信号的像素布置在棋盘格布置中的其余位置。
专利文献3披露了一个在专利文献2所公开的像素布置中使用SVE系统来拍摄图像的情况下的曝光图案的示例。
专利文献1：日本专利申请特开号2007-135200
专利文献2：日本专利申请特开号2007-243334
专利文献3：日本专利申请特开号2012-257193
发明内容
技术问题
专利文献1说明了一种在具有RGB(红、绿和蓝)3颜色的颜色布置的图像传感器中使用SVE系统来拍摄图像的像素控制方法。专利文献2说明了一种将1个用于获取亮度信号的像素和3个用于获取颜色信号的像素进行组合的技术。专利文献3披露了一种在专利文献2所公开的像素布置中使用SVE系统来拍摄图像的情况下的曝光图案。
然而，在使用1个用于获取亮度信号的像素和3个用于获取颜色信号的像素的组合的图像传感器中，没有对使用SVE系统来实现摄像的像素控制方法或结构进行说明。即使在使用4个像素时，也期望使用SVE系统来实现摄像的像素控制。通过利用4个像素的SVE系统能够进行图像拍摄，期望扩大动态范围，并且同时改善性能。
本发明是鉴于如上所述的情况而提出的，且因此旨在扩大动态范围并同时改善性能。
技术方案
根据本发明的方面，提供了一种摄像装置，所述摄像装置包括4种光谱灵敏度类型的像素，这些像素包括具有全色光谱灵敏度的像素并布置在摄像面上，对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上。
具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，并且，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置。
摄像装置可以还包括每排的三条像素传输控制信号线，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序，所述第一排的所述像素传输控制信号线之中的第一像素传输控制信号线可向所述第一排中的以2个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第一排的所述像素传输控制信号线之中的第二像素传输控制信号线可向所述第一排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第一排的所述像素传输控制信号线之中的第三像素传输控制信号线可向所述第一排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第二排的所述像素传输控制信号线之中的第一像素传输控制信号线可向所述第二排中的以2个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第二排的所述像素传输控制信号线之中的第二像素传输控制信号线可向所述第二排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第二排的所述像素传输控制信号线之中的第三像素传输控制信号线可向所述第二排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；并且每条所述像素传输控制信号线可按照用于实现所述第一曝光的第一时序或者用于实现所述第二曝光的第二时序来传送像素传输控制信号。
所述特定方向上的两个邻近像素可共用一个A/D变换器；并且可使用所述像素传输控制信号线之中的至少两条像素传输控制信号线使所述两个邻近像素的曝光时序错开。
由多个像素构成的像素组可共用一个浮动扩散部。
所述4×4像素周期性布置可包括在与所述特定方向正交的方向上交替地布置的所述第一排和所述第二排，在所述第一排中，所述第一像素和具有第二光谱灵敏度的第二像素在所述特定方向上交替地布置，在所述第二排中，所述第一像素以2个像素为周期进行布置并且具有第三光谱灵敏度的第三像素和具有第四光谱灵敏度的第四像素以4个像素为周期布置在其余像素位置。
所述第一排的所述第一像素传输控制信号线和所述第二排的所述第一像素传输控制信号线可被控制以便以不同的时序传送控制信号；所述第一排的所述第二像素传输控制信号线和所述第三像素传输控制信号线可被控制以便以不同的时序传送控制信号；所述第二排的所述第二像素传输控制信号线和第四排的与所述第三像素有关的像素传输控制信号线可被控制以便以不同的时序传送控制信号；并且所述第二排的与所述第四像素有关的像素传输控制信号线和所述第四排的与所述第四像素有关的像素传输控制信号线可被控制以便以不同的时序传送控制信号。
摄像装置在各像素位置可在每个像素位置处还包括：第一处理部，其计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；第二处理部，其计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；第三处理部，其计算第二光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；第四处理部，其计算所述第二光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；第五处理部，其计算第三光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；第六处理部，其计算所述第三光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；第七处理部，其计算第四光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；以及第八处理部，其计算所述第四光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值。
摄像装置还可包括：第九处理部，其基于由所述第一处理部至所述第八处理部计算的所述第一光谱灵敏度至所述第四光谱灵敏度的所述第一曝光的所述信号或所述第二曝光的所述信号在所述像素位置处的所述插值，计算所述第二光谱灵敏度、所述第三光谱灵敏度和所述第四光谱灵敏度中的每者的组合插值。
摄像装置还可包括：变换部，其将从所述第九处理部输出的插值变换成拜耳布置。
第九处理部还可包括将从像素中读取的信号变换成非线性刻度的处理。
将信号变换成非线性刻度的所述处理可以包括基于向上凸的幂函数特性来变换信号的处理。
将信号变换成非线性刻度的所述处理可以包括基于对数刻度特性来变换信号的处理。
摄像装置还可包括：对数变换处理部，其将来自布置在所述摄像面上的像素的信号进行对数变换；以及对数逆变换处理部，其将从所述第九处理部输出的所述插值进行对数逆变换，并且所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获得的值进行处理。
摄像装置还可包括：对数变换处理部，其将来自布置在所述摄像面上的像素的信号进行对数变换；以及对数逆变换处理部，其将从所述变换部输出的所述插值进行对数逆变换，并且所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获得的值进行处理。
根据本发明的方面，提供了一种用于摄像装置的摄像方法，所述摄像装置包括4种光谱灵敏度类型的的像素，这些像素包括具有全色光谱灵敏度的像素并布置在摄像面上，对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置，所述方法包括如下步骤：以用于实现第一曝光的第一时序或者以用于实现第二曝光的第二时序向针对每排设置的三条像素传输控制信号线传送像素传输控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序。
根据本发明的方面，提供了一种使计算机控制摄像装置的程序，所述摄像装置包括4种光谱灵敏度类型的的像素，这些像素包括具有全色光谱灵敏度的像素并布置在摄像面上，对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置，所述程序包含具有以下步骤的处理：以用于实现第一曝光的第一时序或者以用于实现第二曝光的第二时序向针对每排设置的三条像素传输控制信号线传送像素传输控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序。
在根据本发明的方面的摄像装置、摄像方法和程序中，4种光谱灵敏度类型的像素布置在摄像面上，这些像素包括具有全色光谱灵敏度的像素，并且对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，以实现第一曝光和第二曝光。
有益效果
根据本发明的方面，可以扩大动态范围，并且同时可以改善性能。
附图说明
图1示出安装在摄像装置的受光部上的颜色滤光器的布置示例。
图2示出根据本发明实施例的关于安装在摄像装置的受光部上的颜色滤光器的像素布置与曝光时间。
图3示出摄像装置中的用于实现曝光时间控制的控制信号线的接线。
图4示出表示安装在摄像装置的受光部上的颜色滤光器的像素布置与曝光时间的示例。
图5示出表示安装在摄像装置的受光部上的颜色滤光器的像素布置与曝光时间的示例。
图6示出表示安装在摄像装置的受光部上的颜色滤光器的像素布置与曝光时间的示例。
图7示出根据第一实施例的摄像装置中包含的像素的基本电路的结构示例。
图8示出根据第一实施例的摄像装置中的像素控制电路和像素接线的结构示例。
图9是示意地示出根据第一实施例的去往用于构成摄像装置的像素的控制信号的时序图。
图10是示意地示出根据第一实施例的去往用于构成摄像装置的像素的控制信号的时序图。
图11是示意地示出根据第一实施例的去往用于构成摄像装置的像素的控制信号的时序图。
图12是示意地示出根据第一实施例的构成摄像装置的像素的控制信号的时序图。
图13示出根据第二实施例的摄像装置中的像素控制电路和像素接线的结构示例。
图14是示意地示出根据第二实施例的去往用于构成摄像装置的像素的控制信号的时序图。
图15示出根据第三实施例的摄像装置中包含的像素的基本电路的结构示例。
图16示出根据第三实施例的摄像装置中的像素控制电路和像素接线的结构示例。
图17是示意地示出根据第三实施例的去往用于构成摄像装置的像素的控制信号的时序图。
图18示出根据第四实施例的摄像装置中包含的像素的基本电路的结构示例。
图19示出根据第四实施例的摄像装置中像素控制电路和像素接线的结构示例。
图20是示意地示出根据第四实施例的去往用于构成摄像装置的像素的控制信号的时序图。
图21是示出根据第五实施例的摄像设备的功能性结构示例的框图。
图22是示出根据第五实施例的图像处理部的功能性结构示例的框图。
图23示出根据第五实施例的被WL高频插值部和WS高频插值部使用的插值滤波器系数的示例。
图24示出根据第五实施例的被WL低频插值部、WS低频插值部、GL低频插值部、GS低频插值部、RL低频插值部、RS低频插值部、BL低频插值部以及BS低频插值部使用的插值滤波器系数的示例。
图25是示出根据第五实施例的HDR合成部的功能性结构示例的框图。
图26示意地说明根据第五实施例的HDR合成部的操作。
图27示出根据第五实施例的HDR合成部的权重值特性。
图28是示出根据另一个应用示例的摄像装置中的至RGB拜耳(Bayer)数据的变换处理的功能性结构示例的框图。
图29是示出根据第五实施例的在图像处理部中改变对数变换(logarithmconversion)的处理位置的功能性结构示例的框图。
图30是示出根据另一个应用示例的在摄像装置中的至RGB拜耳数据的变换处理中改变对数变换的处理位置的功能性结构示例的框图。
图31示出安装在可应用的摄像装置的受光部上的颜色滤光器的布置的另一个示例。
图32示出安装至可应用的摄像装置的受光部上的颜色滤光器的布置的另一个示例。
图33示出可应用的摄像装置的曝光控制图案的示例。
图34示出可应用的摄像装置的曝光控制图案的示例。
图35示出可应用的摄像装置的曝光控制图案的示例。
图36示出可应用的摄像装置的曝光控制图案的示例。
图37示出可应用的摄像装置的曝光控制图案的示例。
图38示出可应用的摄像装置的曝光控制图案的示例。
图39示出可应用的摄像装置的曝光控制图案的示例。
图40示出可应用的摄像装置的曝光控制图案的示例。
具体实施方式
在下文中，将说明本发明的实施结构(在下文中，被称为实施例)。应当注意，将按照以下顺序进行说明。
1.第一实施例(在水平方向上将三条像素传输控制信号线设置成1行的示例)
2.第二实施例(使水平方向上的2个像素共用单个A/D变换器的摄像装置的示例)
3.第三实施例(使垂直方向上的4个像素共用单个FD的摄像装置的示例)
4.第四实施例(使8个像素共用FD的摄像装置的示例)
5.第五实施例(摄像设备的示例)
6.其它应用示例
本发明可以应用于摄像装置。作为摄像装置，存在有电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器等。本发明还可以应用于布置有用于输出R(红)、G(绿)、B(蓝)和W(白)颜色光的4个像素的图像传感器。
例如，如图1所示，用于输出R(红)、G(绿)、B(蓝)和W(白)颜色光的4个像素在显示区域中布置成矩阵。在图1中，矩形均示意地表示像素。另外，在矩形内部，示出了均用于表示颜色滤光器的类型(由各像素输出的颜色光)的符号。例如，G像素被标注有"G"，R像素被标注有"R"，B像素被标注有"B"，并且W像素被标注有"W"。这同样适用于下面的说明。
W像素用作具有全色光谱灵敏度的像素，并且R、G和B像素用作具有各自颜色特性的光谱灵敏度的像素。本发明可以应用于如上所述的在摄像面上布置具有4种类型的光谱灵敏度(包括全色光谱灵敏度)的像素的摄像装置(图像传感器)。
图1所示的图像传感器具有如下布置：R像素、G像素、B像素和W像素布置在第一行至第八行以及第一列至第八列中。图1示出图像传感器的一部分，并且除布置在第一行至第八行以及第一列至第八列中的R像素、G像素、B像素和W像素之外的布置在其它行和列中的R像素、G像素、B像素和W像素的结构也是如此。
当在下文中例如以像素10(m，n)的方式进行说明时，m表示行，并且n表示列。此外，行表示布置有水平信号线(未示出)的水平方向，且列表示布置有垂直信号线(未示出)的垂直方向。例如，像素10(2，1)表示位于第二行第一列的像素。此外，使用左上像素10(1，1)作为参考来描述像素的位置。这同样适用于其它附图。
将说明水平方向(图1中的横向方向或行方向)上的图像传感器的结构。在第一行中，布置有W像素10(1，1)、G像素10(1，2)、W像素10(1，3)、G像素10(1，4)、W像素10(1，5)、G像素10(1，6)、W像素10(1，7)和G像素10(1，8)。在这种情况下，在第一行中布置有W像素和G像素。
在第二行中，布置有R像素10(2，1)、W像素10(2，2)、B像素10(2，3)、W像素10(2，4)、R像素10(2，5)、W像素10(2，6)、B像素10(2，7)和W像素10(2，8)。在这种情况下，在第二行中布置有R像素、W像素和B像素。
在第三行中，如同在第一行中，W像素和G像素交替地布置。
在第四行中，虽然如同在第二行中布置有R像素、W像素和B像素，但是第一个像素不是R像素而是B像素。具体地，在第四行中，布置有B像素10(4，1)、W像素10(4，2)、R像素10(4，3)、W像素10(4，4)、B像素10(4，5)、W像素10(4，6)、R像素10(4，7)和W像素10(4，8)。
在第五行和第七行中，如同在第一行中，W像素和G像素交替地布置。在第六行中，如同在第二行中，布置有R像素、W像素和B像素。在第八行中，如同在第四行中，布置有B像素、W像素和R像素。
当在图1所示的颜色布置中将行方向设定为特定方向，且关注该特定方向上的具有全色光谱灵敏度的W像素时，存在有如下的第一排和第二排，在第一排中，W像素以2个像素为周期进行布置，且在第二排中，W像素以从第一排沿该特定方向错开一个像素的方式进行布置。此外，第一排和第二排在与该特定方向正交的方向(列方向)上交替地布置。
具有与W像素的光谱灵敏度不同的光谱灵敏度的R像素、G像素和B像素针对各光谱灵敏度在该特定方向上以2个像素或4个像素为周期进行布置。例如，在第一排中，G像素以2个像素为周期布置，在第二排中，R像素和B像素以4个像素为周期布置。
如上所述，按照获得使W像素布置成棋盘格布置的4×4像素的周期性布置的方式进行颜色布置。
当将空间变化曝光(Spatially Varying Exposure，SVE)系统应用至上述图像传感器(其中如上所述地布置有包括RGBW这4种颜色的颜色滤光器(CF)、接收通过颜色滤光器传送的光并输出颜色光的像素)时，将不同灵敏度的像素布置成图2所示的像素布置。
第一实施例
关于颜色滤光器的像素布置示例和曝光时间
图2示出根据本发明的第一实施例的关于安装在摄像装置的受光部上的颜色滤光器的像素布置的示例。除布置有具有不同灵敏度的像素之外，图2所示的像素布置基本上与图1所示的像素布置相同。
在图2中，无阴影矩形表示长时间曝光像素，且阴影矩形表示短时间曝光像素。此外，在各矩形内部示出用于表示颜色滤光器类型的符号和用于表示长时间曝光或短时间曝光的符号。
例如，在G像素之中，被描述为GL像素的长时间曝光像素被标注有"GL"，且被描述为GS像素的短时间曝光像素被标注有"GS"。类似地，在R像素之中，被描述为RL像素的长时间曝光像素被标注有"RL"，且被描述为RS像素的短时间曝光像素被标注有"RS"。
另外，在B像素之中，被描述为BL像素的长时间曝光像素被标注有"BL"，且被描述为BS像素的短时间曝光像素被标注有"BS"。另外，在W像素之中，被描述为WL像素的长时间曝光像素被标注有"WL"，且被描述为WS像素的短时间曝光像素被标注有"WS"。
通过在一定的曝光时段内对长时间曝光像素进行连续地曝光(长时间曝光)来读取长时间曝光像素，而在一定的曝光时段内从短时间曝光像素仅获得通过短于预定曝光时间的曝光获得的信号。
应当注意，尽管本实施例例示了在摄像面上布置有用于实现两种类型曝光(即，长时间曝光和短时间曝光)的像素的情况，但是这不意味着本发明仅可以应用于实现这两种类型曝光的情况。本发明也可以应用于实现两种或更多种类型曝光的情况。
本发明不局限于两种类型的曝光，即不局限于长时间曝光和短时间曝光，并且即使当第一曝光和第二曝光均在时间上被分类为长时间曝光时，也可以应用于诸如具有不同曝光时间的第一曝光和第二曝光等不同类型的曝光。
如图2所示，根据本发明的第一实施例的颜色滤光器的颜色布置与图1所示的4颜色布置相同。在本发明中，对于颜色布置，针对各种颜色形成由两种类型的曝光时间(即长时间曝光和短时间曝光)控制的像素。
将说明水平方向(图2中的横向方向或行方向)上的图像传感器的结构。在第一行中，布置有WL像素20(1，1)、GL像素20(1，2)、WL像素20(1，3)、GS像素20(1，4)、WL像素20(1，5)、GL像素20(1，6)、WL像素20(1，7)和GS像素20(1，8)。在这种情况下，在第一行中布置有作为长时间曝光像素的WL像素、作为长时间曝光像素的GL像素和作为短时间曝光像素的GS像素。
在第二行中，布置有RL像素20(2，1)、WS像素20(2，2)、BL像素20(2，3)、WS像素20(2，4)、RL像素20(2，5)、WS像素20(2，6)、BL像素20(2，7)和WS像素20(2，8)。在这种情况下，在第二行中布置有作为短时间曝光像素的WS像素、作为长时间曝光像素的RL像素和作为长时间曝光像素的BL像素。
在第三行中，如同在第一行中，W像素和G像素交替地布置，但是不同之处在于第一行中的作为长时间曝光像素的GL像素变成第三行中的作为短时间曝光像素的GS像素，并且第一行中的作为短时间曝光像素的GS像素变成第三中的作为长时间曝光像素的GL像素。具体地，布置有WL像素20(3，1)、GS像素20(3，2)、WL像素20(3，3)、GL像素20(3，4)、WL像素20(3，5)、GS像素20(3，6)、WL像素20(3，7)和GL像素20(3，8)。
如上所述，相同列中的G像素，例如，布置在第一列中的GL像素20(1，2)和GS像素20(3，2)具有不同的曝光时间。如上所述，长时间曝光像素和短时间曝光像素相对均匀地分散。
在第四行中，如同在第二行中布置有R像素、W像素和B像素，但是第四行的不同之处在于第一像素不是R像素，而是B像素，并且所有像素被设定为短时间曝光像素。具体地，在第四行中，布置有BS像素20(4，1)、WS像素20(4，2)、RS像素20(4，3)、WS像素20(4，4)、BS像素20(4，5)、WS像素20(4，6)、RS像素20(4，7)和WS像素20(4，8)。
如同G像素，对于相同列中的R像素和B像素，邻近的R像素和G像素具有不同的曝光时间。如上所述，长时间曝光像素和短时间曝光像素相对均匀地分散在布置中。
第五行至第八行具有与第一行至第四行相同的像素布置，这意味着布置每4行重复一次。
进一步说明这种像素布置。在图2所示的像素布置中，在从顶部开始的奇数行(第一行、第三行和第五行)中，W像素和G像素交替地布置，并且这些像素中的W像素均被设定为作为长时间曝光像素的WL像素，而G像素被设定为交替地布置的作为长时间曝光像素的GL像素和作为短时间曝光像素的GS像素。
在偶数行中，W像素每隔一个像素位置地布置，而R像素和B像素交替地布置在其余像素位置处。另外，偶数行的W像素均是作为短时间曝光像素的WS像素。在相同行中，R像素和B像素是作为长时间曝光像素的RL像素和BL像素，或者是作为短时间曝光像素的RS像素和BS像素，并且每2行地交替布置。
虽然图2所示的像素布置看似具有复杂的用于曝光的空间图案，但是如下文所述，当针对颜色和曝光观察该像素布置时，像素具有各向同性布置(isotropic arrangement)，并且因此可以期望能够容易地执行诸如插值滤波器等信号处理的效果。
曝光控制的接线示例
图3示意地示出用于实现图2的曝光时间控制的控制信号线的接线。在图3中，沿着水平方向(附图中的横向方向)延伸的实线表示用于控制像素的曝光的像素传输控制信号线。此外，像素传输控制信号线上的黑点均表示在该位置处与像素的连接。
尽管未在图3中示出，但像素布置与图2所示的相同，并且阴影部分表示短时间曝光像素。在适当地参照图2的同时对像素布置进行说明。
如图3所示，每排布置有三条像素传输控制信号线。像素传输控制信号线21-1至21-3布置在第一行中，像素传输控制信号线22-1至22-3布置在第二行中，像素传输控制信号线23-1至23-3布置在第三行中，像素传输控制信号线24-1至24-3布置在第四行中，像素传输控制信号线25-1至25-3布置在第五行中，像素传输控制信号线26-1至26-3布置在第六行中，像素传输控制信号线27-1至27-3布置在第七行中，并且像素传输控制信号线28-1至28-3布置在第八行中。
将关注第一行中的像素20和像素传输控制信号线21。像素传输控制信号线21-1连接至WL像素20(1，1)、WL像素20(1，3)、WL像素20(1，5)和WL像素20(1，7)。换言之，像素传输控制信号线21-1连接至作为长时间曝光像素的WL像素，并且控制这些像素的曝光。
像素传输控制信号线21-2连接至GL像素20(1，2)和GL像素20(1，6)。换言之，像素传输控制信号线21-2连接至作为长时间曝光像素的GL像素，并且控制这些像素的曝光。像素传输控制信号线21-3连接至GS像素20(1，4)和GS像素20(1，8)。换言之，像素传输控制信号线21-3连接至作为短时间曝光像素的GS像素，并且控制这些像素的曝光。
接着，关注第二行中的像素20和像素传输控制信号线22。像素传输控制信号线22-1连接至WS像素20(2，2)、WS像素20(2，4)、WS像素20(2，6)和WS像素20(2，8)。换言之，像素传输控制信号线22-1连接至作为短时间曝光像素的WS像素，并且控制这些像素的曝光。
像素传输控制信号线22-2连接至RL像素20(2，1)和RL像素20(2，5)。换言之，像素传输控制信号线22-2连接至作为长时间曝光像素的RL像素，并且控制这些像素的曝光。像素传输控制信号线22-3连接至BL像素20(2，3)和BL像素20(2，7)。换言之，像素传输控制信号线22-3连接至作为长时间曝光像素的BL像素，并且控制这些像素的曝光。
接着，关注第三行中的像素20和像素传输控制信号线23。像素传输控制信号线23-1连接至WL像素20(3，1)、WL像素20(3，3)、WL像素20(3，5)和WL像素20(3，7)。换言之，像素传输控制信号线23-1连接至作为长时间曝光像素的WL像素，并且控制这些像素的曝光。
像素传输控制信号线23-2连接至GL像素20(3，4)和GL像素20(3，8)。换言之，像素传输控制信号线23-2连接至作为长时间曝光像素的GL像素，并且控制这些像素的曝光。像素传输控制信号线23-3连接至GS像素20(3，2)和GS像素20(3，6)。换言之，像素传输控制信号线23-3连接至作为短时间曝光像素的GS像素，并且控制这些像素的曝光。
接着，关注第四行中的像素20和像素传输控制信号线24。像素传输控制信号线24-1连接至WS像素20(4，2)、WS像素20(4，4)、WS像素20(4，6)和WS像素20(4，8)。换言之，像素传输控制信号线24-1连接至作为短时间曝光像素的WS像素，并且控制这些像素的曝光。
像素传输控制信号线24-2连接至RS像素20(4，3)和RS像素20(4，7)。换言之，像素传输控制信号线24-2连接至作为短时间曝光像素的RS像素，并且控制这些像素的曝光。像素传输控制信号线24-3连接至BS像素20(4，1)和BS像素20(4，5)。换言之，像素传输控制信号线24-3连接至作为短时间曝光像素的BS像素，并且控制这些像素的曝光。
第五行至第八行中的像素布置和像素传输控制信号线连接与第一行至第四行相同。因此，将省略其说明。
通过如上所述地针对每行布置多条像素传输控制信号线(在这种情况下为三条)，即使在同一行中既存在长时间曝光像素和短时间曝光像素二者，也可以分别进行控制。另外，通过针对每行布置三条像素传输控制信号线，除了控制长时间曝光和短时间曝光之外，还能够针对每种颜色进行独立控制。
在某些情况下，与R、G和B像素相比，W像素具有大约两倍的灵敏度，这是因为W像素具有遍及可见光全波段的灵敏度。因此，仅W像素容易饱和。根据本发明，可以针对每种颜色进行曝光控制。因此，例如，能够进行如下控制：仅W像素的曝光时间短于R、G和B像素的曝光时间，使得W像素不饱和。
当将图3所示的像素传输控制信号线的接线应用至图1所示的像素布置(颜色布置)时，长时间曝光像素和短时间曝光像素(曝光图案)的布置不局限于图2所示的曝光图案。图4至图6示出曝光图案的其它示例。应当注意，除图2、图4至图6之外，尽管未示出，但是图3所示的像素传输控制信号线的接线也可以应用于具有相位差的图案、判定长时间曝光和短时间曝光的图案等。
图4至图6所示的颜色布置与图1(图2)的颜色布置相同。此外，如同在图1所示的示例中，由于重复第一行至第四行，因此下面将说明第一行至第四行中的像素。
参照图4，在第一行中布置有WL像素40(1，1)、GL像素40(1，2)、WL像素40(1，3)、GS像素40(1，4)、WL像素40(1，5)、GL像素40(1，6)、WL像素40(1，7)和GS像素40(1，8)。在这种情况下，在第一行中布置有作为长时间曝光像素的WL像素、作为长时间曝光像素的GL像素和作为短时间曝光像素的GS像素。
在第二行中，布置有RL像素40(2，1)、WS像素40(2，2)、BS像素40(2，3)、WS像素40(2，4)、RL像素40(2，5)、WS像素40(2，6)、BS像素40(2，7)和WS像素40(2，8)。在这种情况下，在第二行中布置有作为短时间曝光像素的WS像素、作为长时间曝光像素的RL像素和作为短时间曝光像素的BS像素。
在第三行中，布置有WL像素40(3，1)、GS像素40(3，2)、WL像素40(3，3)、GL像素40(3，4)、WL像素40(3，5)、GS像素40(3，6)、WL像素40(3，7)和GL像素40(3，8)。在这种情况下，在第三行中布置有作为长时间曝光像素的WL像素、作为长时间曝光像素的GL像素和作为短时间曝光像素的GS像素。
在第四行中，布置有BL像素40(4，1)、WS像素40(4，2)、RS像素40(4，3)、WS像素40(4，4)、BL像素40(4，5)、WS像素40(4，6)、RS像素40(4，7)和WS像素40(4，8)。在这种情况下，在第四行中布置有作为短时间曝光像素的WS像素、作为长时间曝光像素的BL像素和作为短时间曝光像素的RS像素。
如同在图2所示的曝光图案中，在图4所示的曝光图案中，长时间曝光像素和短时间曝光像素也存在于同一行中。同样，在图4所示的曝光图案中，如图3所示，通过针对每行设置三条像素传输控制信号线，可以分别地进行控制。此外，除了控制长时间曝光和短时间曝光之外，还能够针对每种颜色进行独立控制。
参照图5，在第一行中布置有WL像素50(1，1)、GL像素50(1，2)、WL像素50(1，3)、GL像素50(1，4)、WL像素50(1，5)、GL像素50(1，6)、WL像素50(1，7)和GL像素50(1，8)。在这种情况下，在第一行中布置有作为长时间曝光像素的WL像素和GL像素。
在第二行中，布置有RL像素50(2，1)、WS像素50(2，2)、BL像素50(2，3)、WS像素50(2，4)、RL像素50(2，5)、WS像素50(2，6)、BL像素50(2，7)和WS像素50(2，8)。在这种情况下，在第二行中布置有作为短时间曝光像素的WS像素、作为长时间曝光像素的RL像素和作为长时间曝光像素的BL像素。
在第三行中，布置有WL像素50(3，1)、GS像素50(3，2)、WL像素50(3，3)、GS像素50(3，4)、WL像素50(3，5)、GS像素50(3，6)、WL像素50(3，7)和GS像素50(3，8)。在这种情况下，在第三行中布置有作为长时间曝光像素的WL像素和作为短时间曝光像素的GS像素。
在第四行中，布置有BS像素50(4，1)、WS像素50(4，2)、RS像素50(4，3)、WS像素50(4，4)、BS像素50(4，5)、WS像素50(4，6)、RS像素50(4，7)和WS像素50(4，8)。在这种情况下，在第四行中布置有作为短时间曝光像素的WS像素、BS像素和RS像素。
如同在图2所示的曝光图案中，在图5所示的曝光图案中，长时间曝光像素和短时间曝光像素也存在于同一行中。同样，在图5所示的曝光图案中，如图3所示，通过针对每行设置三条像素传输控制信号线，可以分别地进行控制。此外，除了控制长时间曝光和短时间曝光之外，还能够针对每种颜色进行独立控制。
参照图6，在第一行中布置有WL像素60(1，1)、GL像素60(1，2)、WL像素60(1，3)、GL像素60(1，4)、WL像素60(1，5)、GL像素60(1，6)、WL像素60(1，7)和GL像素60(1，8)。在这种情况下，在第一行中布置有作为长时间曝光像素的WL像素和GL像素。
在第二行中，布置有RL像素60(2，1)、WS像素60(2，2)、BS像素60(2，3)、WS像素60(2，4)、RL像素60(2，5)、WS像素60(2，6)、BS像素60(2，7)和WS像素60(2，8)。在这种情况下，在第二行中布置有作为短时间曝光像素的WS像素、作为长时间曝光像素的RL像素和作为短时间曝光像素的BS像素。
在第三行中，布置有WL像素60(3，1)、GS像素60(3，2)、WL像素60(3，3)、GS像素60(3，4)、WL像素60(3，5)，GS像素60(3，6)、WL像素60(3，7)和GS像素60(3，8)。在这种情况下，在第三行中布置有作为长时间曝光像素的WL像素和作为短时间曝光像素的GS像素。
在第四行中，布置有BL像素60(4，1)、WS像素60(4，2)、RS像素60(4，3)、WS像素60(4，4)、BL像素60(4，5)、WS像素60(4，6)、RS像素60(4，7)和WS像素60(4，8)。在这种情况下，在第四行中布置有作为短时间曝光像素的WS像素、作为长时间曝光像素的BL像素和作为短时间曝光像素的RS像素。
如同在图2所示的曝光图案中，在图6所示的曝光图案中，长时间曝光像素和短时间曝光像素也存在于同一行中。同样，在图6所示的曝光图案中，如图3所示，通过针对每行设置三条像素传输控制信号线，可以分别地进行控制。此外，除了控制长时间曝光和短时间曝光之外，还能够针对每种颜色进行独立控制。
像素的基本电路的结构示例
图7示出根据本发明的第一实施例的摄像装置中包含的像素的基本电路的结构示例。图7示出具有未执行像素共用的4Tr(晶体管)结构的CIS(CMOS图像传感器)像素电路的结构示例。
在图7中，由矩形虚线围绕的等效电路表示像素的结构元件。像素由作为受光部的光电二极管PD 71、浮动扩散FD 72以及四个MOSFET 73-1至73-4构成。像素连接至像素传输控制信号线(像素传输栅极控制信号线)TRG 74、像素读取选择控制信号线SEL 75、垂直信号线(读取线)VSL 76以及像素复位控制信号线RST 77。
照射在像素上的光经由PD 71变换成电子，并且与光量相对应的电荷累积在PD 71中。MOSFET 73-1控制PD 71和FD 72之间的电荷传输。通过将像素传输控制信号线TRG 74的信号施加至MOSFET 73-1的栅电极，将在PD 71中累积的电荷传输至FD 72。
FD 72连接至MOSFET 73-3的栅电极。由于将像素读取选择控制信号线SEL 75的控制信号施加至MOSFET 73-4的栅电极，因此可以从垂直信号线VSL 76读取与在PD 72中累积的电荷相对应的电压，以作为信号。由于将像素复位控制信号线RST 77的复位信号施加至MOSFET 73-2的栅电极，所以累积在FD 72中的电荷经由MOSFET 73-2流动，从而对电荷累积状态进行复位。
单个像素具有这种基本结构，并且获得与接收的光量相对应的信号。
像素控制电路和像素接线的结构示例
图8示出根据本发明的第一实施例的摄像装置中的像素控制电路和像素接线的结构示例。
图8所示的摄像装置例示了图2所示的摄像装置的第一行至第四行。由于已经参照图2说明了该布置，因此这里将省略其说明。例如，左上WL像素是WL像素20(1，1)。说明继续假定其它像素标注有与图2所示的像素相同的符号。如图8所示，多个像素布置成2D方形网格。
另外，各像素具有如图7所示的电路结构。图7中的像素传输控制信号线TRG 74对应于图3所示的像素传输控制信号线。如参照图3所进行的说明，由于针对每行布置有三条像素传输控制信号线，因此标注了与图3相同的符号。
摄像装置还包括垂直扫描控制电路(V扫描电路)81、水平传输电路(H传输电路)82以及针对每一列的A/D(Analog/Digital)变换器(ADC)83和存储器(MEM)84。
垂直扫描控制电路81控制布置在行方向上的信号线(RST 77、TRG 21至24以及SEL75)，以接通/断开各像素20与垂直信号线VSL 76之间的开关。应当注意，稍后将说明信号线的控制。
水平传输电路82用于水平地传输各列的存储器84中存储的数字数据。各列的A/D变换器83将来自像素的作为模拟值的图像数据变换成数字数据(数字值)。各列的存储器84依次存储通过各列的A/D变换器83进行变换而获得的数字数据。
垂直信号线VSL 76布置在垂直方向上，并且相同列中的像素共用一条垂直信号线VSL 76。另外，垂直信号线VSL 76经由水平传输电路82仅连接至输出端子(OUT)。
如上所述，通过垂直扫描控制电路81的选择性控制，可以将某个像素连接至输出端子(OUT)。因此，通过依次地选择像素20，可以分时地读取所有像素的信号。同样，在摄像装置中，在水平方向上，各行中布置有三条像素传输控制信号线TRG 21至24、像素读取选择控制信号线SEL 75和像素复位控制信号线RST 77。三条像素传输控制信号线TRG 21至24连接至图3所示的图案中的像素。
控制信号的时序图示例
图9是示意地示出根据本发明的第一实施例的去往用于构成摄像装置的像素的控制信号的时序图。图9示出去往图8所示的四行像素的控制信号的时序图。横轴为时间轴。
图上部中的由双箭头ExpL1至ExpL4和ExpS1至ExpS4表示的时段为曝光时段。ExpL1至ExpL4表示长时间曝光像素的曝光时段，并且ExpS1至ExpS4表示短时间曝光像素的曝光时段。编号分别对应于行号。
电子像素快门接通像素复位控制信号线RST 77(高电平，这是因为复位晶体管73-2为NMOS)，并且同时激活像素传输控制信号线TRG。通过电子像素快门，将作为目标的PD(光电二极管)71的累积电荷复位。因此，即使在像素复位控制信号线RST 77接通时，如果将像素传输控制信号线TRG 21至24断开，不能将作为目标的PD 71复位。
例如，由于在时间t1处像素复位控制信号线RST 77-1和像素传输控制信号线TRG21-1和21-2接通，因此第一行中的WL像素20(1，1)、WL像素20(1，3)、WL像素20(1，5)、WL像素20(1，7)、GL像素20(1，2)和GL像素20(1，6)的电子像素快门被释放(released)。
另外，对于那些像素，由于在时间t9处像素传输控制信号线TRG 21-1和21-2接通并传输在PD 71中累积的电荷，因此从时间t1至时间t9的时段(ExpL1)成为曝光时段。
另外，由于在时间t5处像素复位控制信号线RST 77-1和像素传输控制信号线TRG21-3接通，因此第一行中的GS像素20(1，4)和GS像素20(1，8)的电子像素快门被释放。此外，对于那些像素，由于在时间t9处像素传输控制信号线TRG 21-3接通并传输在PD 71中累积的电荷，因此从时间t5至时间t9的时段(ExpS1)成为曝光时段。
如上所述，可以对水平方向上的1排中的多个像素进行控制，使得以不同的曝光时段使各像素曝光。
可以针对第二行进行相同的控制。例如，由于在时间t2处像素复位控制信号线RST77-2和像素传输控制信号线TRG 22-2和22-3接通，所以第二行中的RL像素20(2，1)、RL像素20(2，5)、BL像素20(2，3)和BL像素20(2，7)的电子像素快门被释放。另外，对于那些像素，由于在时间t10处像素传输控制信号线TRG 22-2和22-3接通并传输在PD 71中累积的电荷，因此从时间t2至时间t10的时段(ExpL2)成为曝光时段。
另外，由于在时间t6处像素复位控制信号线RST 77-2和像素传输控制信号线TRG22-1接通，所以第二行中的WS像素20(2，2)、WS像素20(2，4)、WS像素20(2，6)和WS像素20(2，8)的电子像素快门被释放。此外，对于那些像素，由于在时间t10处像素传输控制信号线TRG22-1接通并传输在PD 71中累积的电荷，因此从时间t6至时间t10的时段(ExpS2)成为曝光时段。
可以针对第三行进行相同的控制。例如，由于在时间t3处像素复位控制信号线RST77-3和像素传输控制信号线TRG 23-1和23-2接通，因此第三行中的WL像素20(3，1)、WL像素20(3，3)、WL像素20(3，5)、WL像素20(3，7)、GL像素20(3，4)和GL像素20(3，8)的电子像素快门被释放。
另外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-1和23-2接通并传输在PD 71中累积的电荷，因此从时间t3至时间t11的时段(ExpL3)成为曝光时段。
另外，由于在时间t7处像素复位控制信号线RST 77-3和像素传输控制信号线TRG23-3接通，因此第三行中的GS像素20(3，2)和GS像素20(3，6)的电子像素快门被释放。此外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-3接通并传输在PD 71中累积的电荷，因此从时间t7至时间t11的时段(ExpS3)成为曝光时段。
可以针对第四行进行相同的控制。应当注意，对于第四行，虽然在时间t4处像素复位控制信号线RST 77-4接通，但是由于在同一时间没有接通像素传输控制信号线24，因此在时间t4处不存在电子像素快门被释放的像素。
由于在时间t8处像素复位控制信号线RST 77-4和像素传输控制信号线TRG 24-1、24-2以及24-3接通，因此第四行中的所有像素的电子像素快门被释放。换言之，BS像素20(4，1)、WS像素20(4，2)、RS像素20(4，3)、WS像素20(4，4)、BS像素20(4，5)、WS像素20(4，6)、RS像素20(4，7)和WS像素20(4，8)的电子像素快门被释放。
另外，对于那些像素，由于在时间t12处像素传输控制信号线TRG 24-3接通并传输在PD 71中累积的电荷，因此从时间t8至时间t12的时段(ExpS4)成为曝光时段。
应当注意，由于时间t1、t2、t3、t4、t5、t6、t7、t8、t9、t10、t11和t12的间隔均被设定为1H(读取对应于1行的像素数据所需要的时间)，因此，各行的长时间曝光时间ExpL1至ExpL4以及各行的短时间曝光时间ExpS1至ExpS4是相同的。
如上所述，通过按照像素复位时序适当地控制水平方向上的每行的三条像素传输控制信号线TRG的接通/断开，可以产生期望的灵敏度图案。
此外，通过在时间t1至t8处切换像素传输控制信号线TRG的接通/断开，可以调换长时间曝光像素的布置和短时间曝光像素的布置。作为示例，图10、图11和图12分别示出用于实现图4、图5和图6所示的曝光控制图案的时序图。
图10示出用于实现图4所示的曝光控制图案的时序图。在图4所示的曝光控制图案中，第一行和第三行与图2所示的曝光控制图案的第一行和第三行相同，并且时序也与图10所示的时序图中的第一行和第三行的时序相同。因此，将省略其说明。
应当注意，在假定针对像素的像素传输控制信号线TRG 21至24的接线与图8所示的接线相同的情况下给出说明。
将说明针对第二行的控制。例如，由于在时间t2处像素复位控制信号线RST 77-2和像素传输控制信号线TRG 22-2接通，因此第二行中的RL像素40(2，1)和RL像素40(2，5)的电子像素快门被释放。另外，对于那些像素，由于在时间t10处像素传输控制信号线TRG 22-2接通并传输在PD 71中累积的电荷，因此从时间t2至时间t10的时段(ExpL2)成为曝光时段。
另外，由于在时间t6处像素复位控制信号线RST 77-2和像素传输控制信号线TRG22-1和22-3接通，因此第二行中的WS像素40(2，2)、WS像素40(2，4)、WS像素40(2，6)、WS像素40(2，8)、BS像素40(2，3)和BS像素40(2，7)的电子像素快门被释放。此外，对于那些像素，由于在时间t10处像素传输控制信号线TRG 22-1和22-3接通并传输在PD 71中累积的电荷，因此从时间t6至时间t10的时段(ExpS2)成为曝光时段。
将说明针对第四行的控制。由于在时间t4处像素复位控制信号线RST 77-4和像素传输控制信号线TRG 24-3接通，因此第四行中的BL像素40(4，1)和BL像素40(4，5)的电子像素快门被释放。另外，对于那些像素，由于在时间t12处像素传输控制信号线TRG 24-3接通并传输在PD 71中累积的电荷，因此从时间t4至时间t12的时段(ExpL4)成为曝光时段。
此外，由于在时间t8处像素复位控制信号线RST 77-4和像素传输控制信号线TRG24-1和24-2接通，因此第四行中的WS像素40(4，2)、WS像素40(4，4)、WS像素40(4，6)、WS像素40(4，8)、RS像素40(4，3)和RS像素40(4，7)的电子像素快门被释放。另外，对于那些像素，由于在时间t12处像素传输控制信号线TRG 24-1和24-2接通并传输在PD 71中累积的电荷，因此从时间t8至时间t12的时段(ExpS4)成为曝光时段。
如上所述，通过按照像素复位时序适当在水平方向上控制每行的三条像素传输控制信号线TRG的接通/断开，可以产生期望的灵敏度图案。
图11示出用于实现图5所示的曝光控制图案的时序图。在图5所示的曝光控制图案中，第二行和第四行与图2所示的曝光控制图案的第二行和第四行相同，并且时序也与图11所示的时序图中的第二行和第四行的时序相同。因此，将省略其说明。
应当注意，在假定针对像素的像素传输控制信号线TRG 21至24的接线与图8所示的接线相同的情况下给出说明。
将说明针对第一行的控制。例如，由于在时间t1处像素复位控制信号线RST 77-1以及像素传输控制信号线TRG 21-1、21-2和21-3接通，因此第一行中的所有像素的电子像素快门被释放。另外，对于那些像素，由于在时间t9处像素传输控制信号线TRG 21-1、21-2和21-3接通并传输在PD 71中累积的电荷，因此从时间t1至时间t9的时段(ExpL1)成为曝光时段。
将说明针对第三行的控制。由于在时间t3处像素复位控制信号线RST 77-3和像素传输控制信号线TRG 23-1接通，因此第三行中的WL像素50(3，1)、WL像素50(3，3)、WL像素50(3，5)和WL像素50(3，7)的电子像素快门被释放。此外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-1接通并传输在PD 71中累积的电荷，因此从时间t3至时间t1的时段(ExpL3)成为曝光时段。
另外，由于在时间t7处，像素复位控制信号线RST 77-3以及像素传输控制信号线TRG 23-2和23-3接通，因此第三行中的GS像素50(3，2)、GS像素50(3，4)、GS像素50(3，6)和GS像素50(3，8)的电子像素快门被释放。此外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-2和23-3接通并传输在PD 71中累积的电荷，因此从时间t7至时间t1的时段(ExpS3)成为曝光时段。
如上所述，通过以像素复位时序适当地控制水平方向上的每行的三条像素传输控制信号线TRG的接通/断开，可以产生期望的灵敏度图案。
图12示出用于实现图6所示的曝光控制图案的时序图。应当注意，在假定针对像素的像素传输控制信号线TRG 21至24的接线与图8所示的接线相同的情况下给出说明。
将说明针对第一行的控制。例如，由于在时间t1处像素复位控制信号线RST 77-1以及像素传输控制信号线TRG 21-1、21-2和21-3接通，因此第一行中的所有像素的电子像素快门被释放。另外，对于那些像素，由于在时间t9处像素传输控制信号线TRG 21-1、21-2和21-3接通并传输在PD 71中累积的电荷，因此从时间t1至时间t9的时段(ExpL1)成为曝光时段。
将说明针对第二行的控制。例如，由于在时间t2处像素复位控制信号线RST 77-2和像素传输控制信号线TRG 22-2接通，因此第二行中的RL像素60(2，1)和RL像素60(2，5)的电子像素快门被释放。另外，对于那些像素，由于在时间t10处像素传输控制信号线TRG 22-2接通并传输在PD 71中累积的电荷，因此从时间t2至时间t10的时段(ExpL2)成为曝光时段。
另外，由于在时间t6处像素复位控制信号线RST 77-2和像素传输控制信号线TRG22-1和22-3接通，因此第二行中的WS像素60(2，2)、WS像素60(2，4)、WS像素60(2，6)、WS像素60(2，8)、BS像素60(2，3)和BS像素60(2，7)的电子像素快门被释放。此外，对于那些像素，由于在时间t10处像素传输控制信号线TRG 22-1和22-3接通并传输在PD 71中累积的电荷，因此从时间t6至时间t10的时段(ExpS2)成为曝光时段。
将说明针对第三行的控制。由于在时间t3处像素复位控制信号线RST 77-3和像素传输控制信号线TRG 23-1接通，因此第三行中的WL像素60(3，1)、WL像素60(3，3)、WL像素60(3，5)和WL像素60(3，7)的电子像素快门被释放。此外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-1接通并传输在PD 71中累积的电荷，因此从时间t3至时间t1的时段(ExpL3)成为曝光时段。
另外，由于在时间t7处像素复位控制信号线RST 77-3以及像素传输控制信号线TRG 23-2和23-3接通，因此第三行中的GS像素60(3，2)、GS像素60(3，4)、GS像素60(3，6)和GS像素60(3，8)的电子像素快门被释放。此外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-2和23-3接通并传输在PD 71中累积的电荷，因此从时间t7至时间t11的时段(ExpS3)成为曝光时段。
将说明针对第四行的控制。由于在时间t4处像素复位控制信号线RST 77-4和像素传输控制信号线TRG 24-3接通，因此第四行中的BL像素60(4，1)和BL像素60(4，5)的电子像素快门被释放。另外，对于那些像素，由于在时间t12处像素传输控制信号线TRG 24-3接通并传输在PD 71中累积的电荷，因此从时间t4至时间t12的时段(ExpL4)成为曝光时段。
此外，由于在时间t8处像素复位控制信号线RST 77-4和像素传输控制信号线TRG24-1和24-2接通，因此第四行中的WS像素60(4，2)、WS像素60(4，4)、WS像素60(4，6)、WS像素60(4，8)、RS像素60(4，3)和RS像素60(4，7)的电子像素快门被释放。另外，对于那些像素，由于在时间t12处像素传输控制信号线TRG 24-1和24-2接通并传输在PD 71中累积的电荷，因此从时间t8至时间t12的时段(ExpS4)成为曝光时段。
如上所述，通过按照像素复位时序适当地控制水平方向上的每行的三条像素传输控制信号线TRG的接通/断开，可产生期望的灵敏度图案。
如上所述，在本发明的第一实施例中，针对具有包括W像素的颜色滤光器布置的CIS，通过针对水平方向上的每行设置三条像素传输控制信号线TRG并控制这些像素传输控制信号线TRG，能够在同一行中混合具有不同曝光时间的像素，并且实现高动态范围的摄像。此外，这也与用于补偿颜色滤光器灵敏度差值的颜色快门兼容。
第二实施例
在本发明的第二实施例中，将说明其上安装有由水平方向上的2个像素共用的一个A/D变换器的电路结构。应当注意，在以下说明中，将部分地省略对与根据第一实施例的摄像装置共同的部件的说明。
像素控制电路和像素接线的结构示例
图13示出根据本发明的第二实施例的摄像装置中的像素控制电路和像素接线的结构示例。摄像装置包括垂直扫描控制电路(V扫描电路)81、水平传输电路(H传输电路)82、每两列地设置的列开关(SW)101、每两列地设置的A/D变换器(ADC)83、存储器(MEM)84和多个像素20。
应注意，使用相同的符号表示与图8所示的摄像装置的像素控制电路和像素接线的结构示例相同的部分。具体地，图13所示的摄像装置的像素控制电路和像素接线的结构示例与图8所示的摄像装置的像素控制电路和像素接线的结构示例的不同之处在于，每两列增加有用于执行处理的列开关101，并且对于每两列地执行处理的结构，A/D变换器83的数量和存储器84的数量减少至一半。另外，与图8相同，由于像素具有与图2所示的像素相同的颜色布置，将在说明中使用与图2相同的符号。
基于来自控制部(未示出)的信号，列开关101选择来自2个像素的信号中的一者，并将其输出至A/D变换器83。A/D变换器83将来自列开关101的图像数据(模拟值)变换成数字数据(数字值)。存储器84依次存储通过A/D变换器83的变换而获得的数字数据。
如图8所示，可以根据像素间距来安装A/D变换器83，但是由于像素微型化的影响等的原因，小型化的A/D变换器83由于设计约束而无法符合像素间距。因此，图13所示的将A/D变换器83设置在2个像素的间距中的摄像装置能够应对像素小型化。
应当注意，由于一个A/D变换器83一次仅能读取一个像素，因此当一个A/D变换器83读取位于同一行的2个像素时，需要将2个像素的读取时间错开，从而一次读取一个像素。在这种情况下，A/D变换器读取一行像素花费的时间变成两倍。
控制信号的时序图示例
图14是示意地示出根据本发明的第二实施例的去往用于构成摄像装置的像素的控制信号的时序图。图14示出去往与图13所示的四行相对应的像素的控制信号的时序图。横轴为时间轴。图上部中的由双箭头ExpL1至ExpL4和ExpS1至ExpS4表示的时段均表示曝光时段，ExpL1至ExpL4表示长时间曝光像素的曝光时段，并且ExpS1至ExpS4表示短时间曝光像素的曝光时段，且编号分别对应于行号。
与图9所示的第一实施例的不同之处在于，将共用A/D变换器83的同一行中的邻近像素的控制时序错开预定时间。在图14中，以预定时间错开的时序由'表示。例如，相对于时间t1错开预定时间的时间为t1'。例如，用于错开控制时序的方法包含在时间t1时控制相对于A/D变换器83的左侧相邻列中的像素，并且在时间t1'时控制相对于同一A/D变换器83的右侧相邻列中的像素。
例如，由于在时间t1处像素复位控制信号线RST 77-1和像素传输控制信号线TRG21-1接通，因此第一行中的WL像素20(1，1)、WL像素20(1，3)、WL像素20(1，5)和WL像素20(1，7)的电子像素快门被释放。
继而，由于在时间t1'处像素复位控制信号线RST 77-1和像素传输控制信号线TRG21-2接通，因此第一行中的GL像素20(1，2)和GL像素20(1，6)的电子像素快门被释放。
另外，对于那些像素，由于在时间t9和t9'处像素传输控制信号线TRG 21-1和像素传输控制信号线TRG 21-2分别接通并且传输在PD 71中累积的电荷，因此仅在曝光时段ExpL1进行曝光。
另外，由于时间t5'处像素复位控制信号线RST 77-1和像素传输控制信号线TRG21-3接通，因此第一行中的GS像素20(1，4)和GS像素20(1，8)的电子像素快门被释放。另外，对于那些像素，由于在时间t9'处像素传输控制信号线TRG 21-3接通并传输在PD 71中累积的电荷，因此仅在曝光时段ExpS1进行曝光。
如上所述，A/D变换器83各者可以被水平方向上的1排中的多个像素分时地共用，并且可以进行控制以使像素以不同的曝光时段曝光。
针对第二行可以进行相同的控制。例如，由于在时间t2处像素复位控制信号线RST77-2和像素传输控制信号线TRG 22-2和22-3接通，因此第二行中的RL像素20(2，1)、BL像素20(2，3)、RL像素20(2，5)和BL像素20(2，7)的电子像素快门被释放。另外，对于那些像素，由于在时间t10处像素传输控制信号线TRG 22-2和22-3接通并传输在PD 71中累积的电荷，因此仅在曝光时段ExpL2进行曝光。
另外，由于在时间t6'处像素复位控制信号线RST 77-2和像素传输控制信号线TRG22-1接通，因此第二行中的WS像素20(2，2)、WS像素20(2，4)、WS像素20(2，6)和WS像素20(2，8)的电子像素快门被释放。另外，对于那些像素，由于在时间t10'处像素传输控制信号线TRG 22-1接通，因此仅在曝光时段ExpS2进行曝光。
针对第三行可以进行相同的控制。例如，由于在时间t3处像素复位控制信号线RST77-3和像素传输控制信号线TRG 23-1接通，因此第三行中的WL像素20(3，1)、WL像素20(3，3)、WL像素20(3，5)和WL像素20(3，7)的电子像素快门被释放。
继而，由于在时间t3'处像素复位控制信号线RST 77-3和像素传输控制信号线TRG23-2接通，因此第三行中的GL像素20(3，4)和GL像素20(3，8)的电子像素快门被释放。另外，由于在时间t11和t11'处，像素传输控制信号线TRG 23-1和像素传输控制信号线TRG 23-2分别接通并且传输在PD 71中累积的电荷，因此仅在曝光时段ExpL3进行曝光。
另外，由于在时间t7'处像素复位控制信号线RST 77-3和像素传输控制信号线TRG23-3接通，因此第三行中的GS像素20(3，2)和GS像素20(3，6)的电子像素快门被释放。另外，对于那些像素，由于在时间t11'处像素传输控制信号线TRG 23-3接通，并传输在PD 71中累积的电荷，因此仅在曝光时段ExpS3进行曝光。
针对第四行可以进行相同的控制。应当注意，对于第四行，虽然在时间t4和t4'处像素复位控制信号线RST 77-4接通，但不存在在同一时间接通的像素传输控制信号线24，因此在时间t4和t4'处不存在电子像素快门被释放的像素。
另一方面，由于在时间t8处像素复位控制信号线RST 77-4和像素传输控制信号线TRG 24-2和24-3接通，因此第四行中的BS像素20(4，1)、RS像素20(4，3)、BS像素20(4，5)和RS像素20(4，7)的电子像素快门被释放。
继而，由于在时间t8'处像素复位控制信号线RST 77-4和像素传输控制信号线TRG24-1接通，因此第四行中的WS像素20(4，2)、WS像素20(4，4)、WS像素20(4，6)和WS像素20(4，8)的电子像素快门被释放。另外，由于在时间t12处像素传输控制信号线TRG 24-2和24-3接通，因此在时间t12'处像素传输控制信号线TRG 24-1接通并传输在PD 71中累积的电荷，且仅在曝光时段ExpS4进行曝光。
如上所述，根据本发明的第二实施例，针对具有包括W像素的颜色滤光器布置的CIS，通过针对水平方向上的每行设置三条像素传输控制信号线TRG并控制这些像素传输控制信号线TRG，并且通过设置使邻近两列共用同一A/D变换器的结构，能够在同一行中混合曝光时间不同的像素，并且因此可以实现高动态范围的摄像。此外，这也与用于补偿颜色滤光器灵敏度差值的颜色快门兼容。
应当注意，尽管在上述说明中将图2所示的曝光控制图案作为示例，但是在第二实施例中，如同在第一实施例中，通过切换像素传输控制信号线TRG的接通/断开，可以通过调换长时间曝光像素和短时间曝光像素的布置来实现图4、图5和图6所示的曝光控制图案。该方法与第一实施例中说明的方法基本相同，因此将省略其说明。
第三实施例
在本发明的第三实施例中，将说明使垂直方向上的4个像素共用一个FD(浮动扩散部)的电路结构。应当注意，在以下说明中，将部分地省略对与根据第一实施例的摄像装置相同的部件的说明。
垂直方向4像素共用像素电路的结构示例
图15示出根据本发明的第三实施例的摄像装置中包含的像素的基本电路的结构示例。图15示出垂直方向4像素共用像素电路，其中，在垂直方向上连续地布置的4个像素经由像素传输晶体管73-11至73-14连接至一个FD 72，并共用FD 72之后的电路结构CMN 131。
像素连接至像素传输控制信号线TRG 21至24、像素读取选择控制信号线SEL 75、垂直信号线(读取线)VSL 76和像素复位控制信号线RST 77。应当注意，除4像素共用的方面之外的结构和操作与图7所示的像素电路的结构和操作基本相同。因此，这里将省略详细的说明。
像素控制电路和像素接线的结构示例
图16示出根据本发明的第三实施例的摄像装置中的像素控制电路和像素接线的结构示例。图16所示的摄像装置中的像素控制电路和像素接线的基本结构与图8所示的根据第一实施例的摄像装置中的像素控制电路像素接线的基本结构相同。因此，使用相同的符号表示相同的部件，并且将省略其说明。
在参照图8说明的第一实施例中，在垂直方向上布置的4个像素具有独立的电路结构。然而，在图16中，由于FD 72之后的结构CMN 131被那些像素共用，因此每4行地设置像素读取选择控制信号线SEL 75和像素复位控制信号线RST 77。此外，关于垂直信号线(读取线)VSL 76的连接也被认为是关于垂直4个像素的经由CMN 131的单个连接。
控制信号的时序图示例
图17是示意地示出根据本发明的第三实施例的去往用于构成摄像装置的像素的控制信号的时序图。图17示出关于与图16所示的四行相对应的像素的控制信号线的时序图。横轴为时间轴。图上部中的由双箭头ExpL1至ExpL4和ExpS1至ExpS4表示的期间均表示曝光时段，ExpL1至ExpL4表示长时间曝光像素的曝光时段，ExpS1至ExpS4表示短时间曝光像素的曝光时段，且编号分别对应于行号。
与图9所示的第一实施例的不同之处在于，经由各行的像素复位控制信号线RST77-1以及各行的像素读取选择控制信号线SEL 75-1提供的像素复位控制信号和像素读取选择控制信号是从一条像素复位控制信号线RST 77和一条像素读取选择控制信号线SEL75提供的。
由于共用那些信号线，因此出现在信号彼此叠加的时序处无法提供信号的限制，但是在限制范围内，如同在第一实施例中，通过按照像素复位时序适当地控制水平方向上的每行的三条像素传输控制信号线TRG的接通/断开，可以产生期望的灵敏度图案。
参照图17所示的时序图，将说明根据第三实施例的去往用于构成摄像装置的像素的控制信号的时序和像素的读取。
将说明针对图16所示的第一行的像素的控制。例如，由于在时间t1处像素复位控制信号线RST 77和像素传输控制信号线TRG 21-1和21-2接通，因此第一行中的WL像素20(1，1)、WL像素20(1，3)、WL像素20(1，5)、WL像素20(1，7)、GL像素20(1，2)和GL像素20(1，6)的电子像素快门被释放。
另外，对于那些像素，由于在时间t9处像素传输控制信号线TRG 21-1和21-2接通并传输在PD 71中累积的电荷，因此从时间t1至时间t9的时段(ExpL1)成为曝光时段。
另外，由于在时间t5处像素复位控制信号线RST 77和像素传输控制信号线TRG21-3接通，因此第一行中的GS像素20(1，4)和GS像素20(1，8)的电子像素快门被释放。此外，对于那些像素，由于在时间t9处像素传输控制信号线TRG 21-3接通并传输在PD 71中累积的电荷，因此从时间t5至时间t9的时段(ExpS1)成为曝光时段。
针对第二行可以进行相同的控制。例如，由于在时间t2处像素复位控制信号线RST77和像素传输控制信号线TRG 22-2和22-3接通，因此第二行中的RL像素20(2，1)、RL像素20(2，5)、BL像素20(2，3)和BL像素20(2，7)的电子像素快门被释放。另外，对于那些像素，由于在时间t10处像素传输控制信号线TRG 22-2和22-3接通并传输在PD 71中累积的电荷，因此从时间t2至时间t10的时段(ExpL2)成为曝光时段。
另外，由于在时间t6处像素复位控制信号线RST 77和像素传输控制信号线TRG22-1接通，因此第二行中的WS像素20(2，2)、WS像素20(2，4)、WS像素20(2，6)和WS像素20(2，8)的电子像素快门被释放。此外，对于那些像素，由于在时间t10处像素传输控制信号线TRG22-1接通并传输在PD 71中累积的电荷，因此从时间t6至时间t10的时段(ExpS2)成为曝光时段。
针对第三行可以进行相同的控制。例如，由于在时间t3处像素复位控制信号线RST77和像素传输控制信号线TRG 23-1和23-2接通，因此第三行中的WL像素20(3，1)、WL像素20(3，3)、WL像素20(3，5)、WL像素20(3，7)、GL像素20(3，4)和GL像素20(3，8)的电子像素快门被释放。
另外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-1和23-2接通并传输在PD 71中累积的电荷，因此从时间t3至时间t11的时段(ExpL3)成为曝光时段。
另外，由于在时间t7处像素复位控制信号线RST 77和像素传输控制信号线TRG23-3接通，因此第三行中的GS像素20(3，2)和GS像素20(3，6)的电子像素快门被释放。此外，对于那些像素，由于在时间t11处像素传输控制信号线TRG 23-3接通并传输在PD 71中累积的电荷，因此从时间t7至时间t11的时段(ExpS3)成为曝光时段。
针对第四行可以进行相同的控制。应当注意，对于第四行，虽然在时间t4处像素复位控制信号线RST 77接通，但不存在在同一时间接通的像素传输控制信号线24，因此在时间t4和处不存在电子像素快门被释放的像素。
由于在时间t8处像素复位控制信号线RST 77和像素传输控制信号线TRG 24-1、24-2和24-3接通，因此第四行中的所有像素的电子像素快门被释放。换言之，BS像素20(4，1)、WS像素20(4，2)、RS像素20(4，3)、WS像素20(4，4)、BS像素20(4，5)、WS像素20(4，6)、RS像素20(4，7)和WS像素20(4，8)的电子像素快门被释放。
另外，对于那些像素，由于在时间t12处像素传输控制信号线TRG 24-1、24-2和24-3接通并传输在PD 71中累积的电荷，因此从时间t8至时间t12的时段(ExpS4)成为曝光时段。
如上所述，通过按照像素复位时序适当地控制水平方向上的每行的三条像素传输控制信号线TRG的接通/断开，可以产生期望的灵敏度图案。
应当注意，尽管在上述说明中，将图2所示的曝光控制图案作为示例，但是在第三实施例中，如同在第一实施例中，通过切换像素传输控制信号线TRG的接通/断开，可以通过调换长时间曝光像素和短时间曝光像素的布置来实现图4、图5和图6所示的曝光控制图案。该方法与第一实施例中说明的方法基本相同，因此将省略其说明。
第四实施例
在本发明的第四实施例中，将说明使4×2(垂直方向×水平方向)＝8个像素共用一个FD(浮动扩散部)的电路结构。应当注意，在以下说明中，将部分地省略对与根据第一实施例的摄像装置相同的部件的说明。
8像素共用像素电路的结构示例
图18示出根据本发明的第四实施例的摄像装置中包含的像素的基本电路的结构示例。图18示出8个像素共用像素电路，其中，在垂直方向和水平方向上连续地布置的4×2＝8个像素经由像素传输晶体管73-11至73-18连接至一个FD 72，并共用FD 72之后的电路结构CMN 131。
像素连接至像素传输控制信号线TRG 21至24、像素读取选择控制信号线SEL 75、垂直信号线(读取线)VSL 76和像素复位控制信号线RST 77。应当注意，除8像素共用的方面之外的结构和操作与图7所示的像素电路的结构和操作基本相同。因此，这里将省略详细的说明。
像素控制电路和像素接线的结构示例
图19示出根据本发明的第四实施例的摄像装置中的像素控制电路和像素接线的结构示例。在参照图8说明的第一实施例中，在垂直方向和水平方向上布置的4×2＝8像素具有独立的电路结构。然而，在图19中，由于FD 72之后的结构CMN 131被那些像素共用，因此每4行地设置像素读取选择控制信号线SEL 75和像素复位控制信号线RST 77。此外，每两列地设置垂直信号线(读取线)VSL 76，并且关于垂直信号线(读取线)VSL 76的连接也被认为是关于4×2个像素的单个连接。
控制信号的时序图示例
图20是示意地示出根据本发明的第四实施例的去往用于构成摄像装置的像素的控制信号的时序图。图20示出关于与图19所示的四行相对应的像素的控制信号线的时序图。横轴为时间轴。图上部中的由双箭头ExpL1至ExpL4和ExpS1至ExpS4表示的期间均表示曝光时段，ExpL1至ExpL4表示长时间曝光像素的曝光时段，ExpS1至ExpS4表示短时间曝光像素的曝光时段，并且编号分别对应于行号。
在第四实施例中，由于垂直信号线(读取线)VSL 76被两个邻近列共用，因此A/D变换器83也被两个邻近列共用。因此，如同在使两个邻近列共用A/D变换器83的第二实施例中，需要进行控制使得能够按照不同的时序分时地读取水平方向上邻近的2个像素。在第二实施例中，如同在图14所示的情况下，使邻近列的像素传输控制信号错开预定时间，以实现分时读取。
在第四实施例中，如同在第二实施例中，使邻近列的像素传输控制信号错开预定时间，并提供这些信号。
例如，在时间t1处，将像素传输控制信号从像素传输控制信号线TRG 21-1提供至第一行中的WL像素20(1，1)、WL像素20(1，3)、WL像素20(1，5)和WL像素20(1，7)，并且在时间t1'处，将像素传输控制信号从像素传输控制信号线TRG 21-2提供至第一行中的GL像素20(1，2)和GL像素20(1，6)。
另外，在时间t9处，通过在向像素读取选择控制信号线SEL 75提供像素读取选择控制信号的同时从像素传输控制信号线TRG 21-1向第一行中的WL像素20(1，1)、WL像素20(1，3)、WL像素20(1，5)和WL像素20(1，7)提供像素传输控制信号，可以读取WL像素20的信号。另外，在时间t9'处，通过从像素传输控制信号线TRG 21-2向第一行中的GL像素提供像素传输控制信号，可以读取GL像素20(1，2)和GL像素20(1，6)的信号。
由于时间t1与时间t1'以及时间t9与时间t9'仅以相同的预定时间错开，因此第一行中的WL像素20和GL像素20仅在曝光时段ExpL1曝光。另外，在第四实施例中，由于4行中的像素共用像素读取选择控制信号线SEL 75和像素复位控制信号线RST 77，因此，如同图17所示的第三实施例的控制，从一条像素读取选择控制信号线SEL 75和一条像素复位控制信号线RST 77提供4行的像素复位控制信号和像素读取选择控制信号。
应当注意，尽管在上述说明中，将图2所示的曝光控制图案作为示例，但是在第四实施例中，如同在第一实施例中，通过切换像素传输控制信号线TRG的接通/断开，可以通过调换长时间曝光像素和短时间曝光像素的布置来实现图4、图5和图6所示的曝光控制图案。该方法与第一实施例中说明的方法基本相同，因此将省略其说明。
第五实施例
本发明的第一实施例至第四实施例已经说明了使至少三条像素传输控制信号线连接至用于构成1排并具有不同曝光时序的多个像素的摄像装置的示例。在下文中，将说明包括那些摄像装置的摄像设备的示例。
摄像设备的功能性结构示例
图21是示出根据本发明的第五实施例的摄像设备的功能性结构示例的框图。摄像设备300包括摄像装置310、图像处理部311、记录控制部312、内容存储部313、显示控制部314、显示部315、控制部316以及操作接收部317。
摄像装置310基于来自控制部316的指令产生图像信号，并将产生的图像信号输出至图像处理部311。具体地，摄像装置310将经由光学系统(未示出)进入的物体光变换成电信号。应当注意，摄像装置310对应于根据本发明的第一实施例至第四实施例的摄像装置。此外，光学系统由收集来自物体的入射光的透镜组和光圈构成，由透镜组收集的光经由光圈进入摄像装置310。
图像处理部311基于来自控制部316的指令对从摄像装置310输出的图像信号(数字信号)执行各种类型的图像处理。接着，图像处理部311将经过各种类型图像处理的图像信号(图像数据)输出至记录控制部312和显示控制部314。记录控制部312基于来自控制部316的指令对内容存储部313进行记录控制。例如，记录控制部312使内容存储部313将从图像处理部311输出的图像(图像数据)记录为图像内容(静态图像文件或动态图像文件)。
内容存储部313是在记录控制部312的控制下存储各种类型信息的记录媒体。应当注意，内容存储部313可以被包含在摄像设备300中或能够从摄像设备300拆卸下来。
基于来自控制部316的指令，显示控制部314使显示部315显示从图像处理部311输出的图像。例如，显示控制部314使显示部315显示用于进行与摄像操作相关的各种操作的显示画面以及由摄像装置310产生的图像(所谓的直通图像(through image))。
显示部315是在显示控制部314的控制下显示各种图像的显示面板。控制部316基于存储在存储器(未示出)中的控制程序来控制摄像设备300的各部分。例如，控制部316对经过图像处理部311的图像处理的图像信号(图像数据)进行输出控制(显示控制)或记录控制。操作接收部317是用于接收使用者操作并将与接收的操作内容相对应的控制信号(操作信号)输出至控制部316的操作接收部。
图像处理部的操作
下面，将说明图像处理部311的操作。本发明的摄像装置输出RAW数据，在RAW数据中，在包括W像素的4行颜色布置中混合有经过两种类型曝光(即，长时间曝光和短时间曝光)的像素。图像处理部311基于RAW数据执行用于产生RGB图像数据的处理。
图22是示出根据本发明的第五实施例的图像处理部311的功能性结构示例的框图。图像处理部311输入RAW数据，并输出RGB图像数据(即，所有像素的包括R、G和B的图像)，在该RAW数据中，包括W像素的4行颜色布置中混合有经过两种类型曝光(即，长时间曝光和短时间曝光)的像素。
应当注意，包括W像素的4行是指RGB+W，并且颜色布置和曝光控制图案为图2所示的布置和图案。图像处理部311由WL高频插值部351、WS高频插值部352、WL低频插值部353、WS低频插值部354、GL低频插值部355、GS低频插值部356、RL低频插值部357、RS低频插值部358、BL低频插值部359、BS低频插值部360、W高频HDR合成部361、W低频HDR合成部362、G低频HDR合成部363、R低频HDR合成部364、B低频HDR合成部365、W-GCh相关处理部366、W-RCh相关处理部367以及W-BCh相关处理部368构成。
WL高频插值部351使用插值滤波器将交替地布置在方形网格中的WL像素20的信号插值至所有像素中。例如，将具有如图23所示的系数的2D有限冲激响应(Finite ImpulseResponse，FIR)滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在WL像素的像素位置使用相应系数，并且在除WL像素之外的像素位置将系数设定成0来进行滤波器计算。应当注意，图23所示的系数仅为示例，并且不局限于此。
WS高频插值部352使用插值滤波器将以2像素间距布置在方形网格中的WS像素20的信号插值至所有像素中。例如，将具有如图23所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在WS像素的像素位置使用相应系数，并且在除WS像素之外的像素位置将系数设定成0来进行滤波器计算。
WL低频插值部353使用插值滤波器将以2像素间距布置在方形网格中的WL像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在WL像素的像素位置使用相应系数，并且在除WL像素之外的像素位置将系数设定成0来进行滤波器计算。应当注意，图24所示的系数仅为示例，并且不局限于此。
WS高频低频插值部354使用插值滤波器将以2像素间距布置在方形网格中的WS像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在WS像素的像素位置使用相应系数，并且在除WS像素之外的像素位置将系数设定成0来进行滤波器计算。
GL低频插值部355使用插值滤波器将以4像素间距布置在棋盘网格中的GL像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在GL像素的像素位置使用相应系数，并且在除GL像素之外的像素位置将系数设定成0来进行滤波器计算。
GS低频插值部356使用插值滤波器将以4像素间距布置在棋盘网格中的GS像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在GS像素的像素位置使用相应系数，并且在除GS像素之外的像素位置将系数设定成0来进行滤波器计算。
RL低频插值部357使用插值滤波器将以4像素间距布置在方形网格中的RL像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在RL像素的像素位置使用相应系数，并且在除RL像素之外的像素位置将系数设定成0来进行滤波器计算。
RS低频插值部358使用插值滤波器将以4像素间距布置在方形网格中的RS像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在RS像素的像素位置使用相应系数，并且在除RS像素之外的像素位置将系数设定成0来进行滤波器计算。
BL低频插值部359使用插值滤波器将以4像素间距布置在方形网格中的BL像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在BL像素的像素位置使用相应系数，并且在除BL像素之外的像素位置将系数设定成0来进行滤波器计算。
BS低频插值部360使用插值滤波器将以4像素间距布置在方形网格中的BS像素20的信号插值至所有像素中。例如，将具有如图24所示的系数的2D FIR滤光器应用至所有像素位置。这里，为了使9×9系数的中心位置对应于插值待被计算的像素位置(插值像素位置)，针对插值像素位置周围的9×9像素的范围内的存在BS像素的像素位置使用相应系数，并且在除BS像素之外的像素位置将系数设定成0来进行滤波器计算。
W高频HDR合成部361执行如下处理：将从WL高频插值部351输出的被插值在所有像素中的WL高频像素值与从WS高频插值部352输出的WS高频像素值进行合成，并且在所有像素中产生高动态范围的像素值。
W低频HDR合成部362执行如下处理：将从WL低频插值部353输出的被插值在所有像素中的WL低频像素值与从WS低频插值部354输出的WS低频像素值合成，并在所有像素中产生高动态范围的像素值。
G低频HDR合成部363执行如下处理：将从GL低频插值部355输出的被插值在所有像素中的GL低频像素值与从GS低频插值部356输出的GL低频像素值合成，并且在所有像素中产生高动态范围的像素值。
R低频HDR合成部364执行如下处理：将从RL低频插值部357输出的被插值在所有像素中的RL低频像素值与从RS低频插值部358输出的RS低频像素值合成，并且在所有像素中产生高动态范围的像素值。
B低频HDR合成部365执行如下处理：将从BL低频插值部359输出的被插值在所有像素中的RL低频像素值与从BS低频插值部360输出的BS低频像素值合成，并且在所有像素中产生高动态范围的像素值。
由于仅输入信号不同，且处理的操作相同，因此以G低频HDR合成部363作为示例概括地说明操作。
图25是示出根据本发明的第五实施例的G低频HDR合成部363的功能性结构示例的框图。通过输入被插值在所有像素位置中的GL像素值信号和被插值在所有像素位置中的GS像素值信号，G低频HDR合成部363将通过合成那些值而获得的高动态范围G像素值输出至所有像素位置。
G低频HDR合成部363由两个对数变换处理部381和382、权重值确定处理部383、曝光校正处理部384、混合处理部385以及对数逆变换处理部386构成。
两个对数变换处理部381和382输出通过将各像素的GL像素值和GS像素值进行对数变换而获得的值。曝光校正处理部384将与长时间曝光和短时间曝光的曝光比率相对应的对数值添加至从对数变换处理部382输出的经对数变换的GS像素值，以使经对数变换的GS像素值和经对数变换的GL像素值的水平一致。
基于从对数变换处理部381输出的经对数变换的GL像素值，权重值确定处理部383确定经对数变换的GL像素值和在曝光校正之后获得的经对数变换的GS像素值的混合系数。
基于由权重值确定处理部383确定的混合系数，混合处理部385将从对数变换处理部381输出的经对数变换的GL像素值和从曝光校正处理部384输出的在曝光校正之后获得的经对数变换的GS像素值进行混合组合。
对数逆变换处理部386使通过混合处理部385的混合组合获得的G像素值恢复至原来的线性特性。
图26示意地解释诸如G低频HDR合成部363等HDR合成部的系列操作。横轴表示物体的亮度，纵轴表示G像素值灰度，且二者均为对数刻度(logarithm gradation)。实线L1表示GL像素特性，并且实线L2表示GS像素特性。由于GL像素具有更长的曝光时间，因此相对于相同的物体亮度，GL像素显示比GS值更大的值。
这二者之间的差值恰好是对数刻度中的与曝光比率相对应的量。获得高动态范围的亮度特性意味着获得相对于宽范围物体亮度的线性像素特性。因此，HDR合成部的目的在于联合GL像素的特性和GS像素的特性，从而获得一个长的线性特性。因此，曝光校正处理部将与曝光比率相对应的偏离量添加至GS像素特性，从而获得与GL像素特性线性地对齐的特性。
虚线L3表示以与曝光比率相对应的量偏离的GS像素特性。混合处理部385执行如下处理：将由线L1表示的GL像素特性和由实线L2表示的经曝光校正的GS像素特性进行合成，以获得高动态范围的G像素特性。
这里，在暗物体亮度的区域中，GS像素被掩埋在噪声中，因此仅期望使用GL像素的特性。相反地，在亮物体亮度区域中，GL像素饱和，因此仅期望使用经曝光校正的GS像素的特性。因此，对混合权重进行控制，使得在两个亮度特性的重叠区域中的贡献逐渐改变。
权重值确定处理部383基于(经对数变换的)输入GL像素值来估计物体亮度，并且计算遵循根据如上所述要求而预设的特性的权重值。例如，可以使用如图27所示的权重值特性。在图27所示的权重值特性中，logG的值在达到第一值之前取值1，当超过第一值时逐渐变小，并且当超过第二值时取值0。
上述HDR合成部的处理可以由以下表达式(1)表示。
[表达式1]
如上所述，HDR合成部包括将从像素中读取的信号变换成非线性刻度(nonlinearygradation)的处理，并且将信号变换成非线性刻度的处理包括基于向上凸的幂函数特性(upwardly-convex power function characteristics)变换信号的处理。
将返回说明图22所示的图像处理部311的结构。通过输入从W高频HDR合成部361输出的HDR合成W高频亮度值、从W低频HDR合成部362输出的HDR合成W低频亮度值以及从G低频HDR合成部363输出的G低频亮度值，W-GCh相关处理部366计算并输出包括经校正的高频分量的G亮度值。
通过输入从W高频HDR合成部361输出的HDR合成W高频亮度值、从W低频HDR合成部362输出的HDR合成W低频亮度值以及从R低频HDR合成部364输出的R低频亮度值，W-RCh相关处理部367计算并输出包括经校正的高频分量的R亮度值。
通过输入从W高频HDR合成部361输出的HDR合成W高频亮度值、从W低频HDR合成部362输出的HDR合成W低频亮度值以及从B低频HDR合成部365输出的B低频亮度值以及从B低频HDR合成部365输出的B低频亮度值，W-BCh相关处理部368计算并输出包括经校正的高频分量的B亮度值。
这里，将说明W-GCh相关处理部366的操作。W-RCh相关处理部367和W-BCh相关处理部368的操作与W-GCh相关处理部366的操作相同，因此这里将以W-GCh相关处理部366的操作作为示例进行说明。
在作为本发明的对象的如同RGB+W的4行布置中，W像素能够以相对小间距进行采样，因此通过插值处理能够再现微小图案等。然而，由于R、G和B像素具有较大(rough)像素间距，因此不能再现微小图案。然而，在自然图像中，凭经验可知，以不同的可见光光谱灵敏度获得的图像信号具有较强的关联。
因此，使用这种性质，使用从W像素获得的高频分量来估计R、G和B像素的高频分量。具体地，基于W高频HDR合成部361的可被再现至高频的输出和由于滤波器的平滑化效应而无高频分量的W低频HDR合成部362的输出之间的差值来计算W像素的高频分量。
另外，在基于Ch相关性质假定G像素的高频分量与W像素的高频分量大致相同的情况下，将W像素的高频分量添加至R、G和B低频HDR合成部的输出。
这可以由以下表达式(2)表示。
[表达式2]
GICC＝GLowFreq+(WHighFreq-WLowFreq)···(2)
在表达式(2)中，左侧为输出值，右侧的三项为输入值。
如上所述，本发明的第五实施例说明了包括如下图像处理的摄像设备的结构，根据从具有除RGB之外还包括W的4行颜色布置并针对每种颜色进行长时间曝光和短时间曝光的摄像装置的输出RAW数据，该图像处理能够产生高动态范围的RGB图像数据。
其它应用示例
本发明的第五实施例说明了从摄像装置输出包括4行RGB+W的RAW数据之后将数据由图像处理部变换成RGB数据的结构。然而，也能够采用使摄像装置输出在摄像装置内变换成RGB拜耳布置的数据的结构。在这种情况下，图像处理部的操作包括将普通相机系统中执行的RGB拜耳布置变换成RGB数据的信号处理部。
图28示出图像处理部311(图21)的另一个结构。图28所示的图像处理部311′(标注′以将其与图22所示的图像处理部311区分)具有如下结构：在图22所示的图像处理部311中增加下采样部401。使用这种结构，可以执行将数据变换成摄像装置中的RGB拜耳布置的处理。
图28所示的图像处理部311'包括下采样部401，在经由对WL高频插值部351至W-BCh相关处理部368的处理而获得像素中的HDR合成RGB像素值之后，下采样部401对像素值进行重新采样，使得那些像素值成为拜耳布置。通过下采样部401进行重新采样，可以输出被变换为摄像装置中的RGB拜耳布置的数据。
另外，在图22所示的图像处理部311和图28所示的图像处理部311'二者中，能够改变包括在HDR合成部361至365中的对数变换处理部381和382以及对数逆变换处理部386(均在图25中示出)的位置，以便在插值器件之前执行对数变换处理，并在Ch相关处理部366至368之后(或下采样部401之后)执行对数逆变换处理。
图29示出如下情况下的图像处理部311的结构：改变包括在HDR合成部361至365中的对数变换处理部381和382以及对数逆变换处理部386(均在图25中示出)的位置，以便在插值器件之前执行对数变换处理，并在Ch相关处理部366至368之后执行对数逆变换处理。
将对图22所示的图像处理部311和图29所示的图像处理部311”(标注"以将其与其它图像处理部311区分)进行比较。在图像处理部311”中，在WL高频插值部351至BS低频插值部360之前设置对数变换处理部421，对数变换处理部421对如下RAW数据执行对数变换处理，在该RAW数据中，在包括输入W像素的4行颜色布置中混合有经过两种类型曝光(即，长时间曝光和短时间曝光)的像素。
因此，WL高频插值部351至BS低频插值部360的插值部使用经过对数变换处理的数据执行插值处理。由于对数变换处理部421设置在插值部之前，因此虽然未示出，但是W高频HDR合成部361至B低频HDR合成部365不包括对数变换处理部381和382。而且，也没有包括对数逆变换处理部386。
在图29所示的图像处理部311"中，在W高频HDR合成部361至B低频HDR合成部365各者中设置的对数逆变换处理部386设置在W-GCh相关处理部366t至W-BCh相关处理部368各者之后。
具体地，对数逆变换处理部422设置在W-GCh相关处理部366之后，对数逆变换处理部423设置在W-RCh相关处理部367之后，并且对数逆变换处理部424设置在W-BCh相关处理部368之后。
作为这种结构，也可以采用用于产生并输出各RGB数据的结构。
图30示出如下情况下的图像处理部311的结构：改变包括在HDR合成部361至365中的对数变换处理部381和382以及对数逆变换处理部386的位置，以便在插值器件之前执行对数变换处理，并在下采样部401之后执行对数逆变换处理。
将对图22所示的图像处理部311和图30所示的图像处理部311"'(标注"'以将其与其它图像处理部311区分)进行比较。在图像处理部311"'中，在WL高频插值部351至BS低频插值部360之前设置对数变换处理部451，对数变换处理部451对如下RAW数据执行对数变换处理，在该RAW数据中，在包括输入W像素的4行颜色布置中混合有经过两种类型曝光(即，长时间曝光和短时间曝光)的像素。这点与图29所示的图像处理部311"相同。
在图像处理部311"'中，下采样部452设置在W-GCh相关处理部366至W-BCh相关处理部368之后。类似于图28所示的图像处理部311'的下采样部401，下采样部452对来自W-GCh相关处理部366至W-BCh相关处理部368的输出进行下采样，以产生并输出被变换成摄像装置中的RGB拜耳布置的数据。
将来自下采样部452的输出提供至对数逆变换处理部453以进行对数逆变换处理。
对于这种结构，也可以采用用于产生并输出被变换成摄像装置中的RGB拜耳布置的数据的结构。
应当注意，在图30所示的图像处理部311"'的结构中，也能够不在摄像装置中进行对数逆变换，而在将拜耳数据从摄像装置(未示出)输出之后在图像处理部中进行对数逆变换。
另外，虽然在本发明的第五实施例中列示了摄像设备，但是本发明的实施例可以应用于包括具有摄像装置的摄像部的电子设备(例如具有内置摄像部的手机设备)。
此外，在本发明的实施例中，虽然以图1所示的RGB+W颜色布置为前提对针对每行设置的三条控制线及其操作进行了说明，但是颜色布置不局限于图1所示的布置，并且存在以相同结构造成相同效果的其它颜色布置。本发明不局限于图1所示的颜色布置。在下文中，将对除图1所示的示例之外的可以应用本发明的颜色布置的示例进行说明。
图31示出可以应用本发明的颜色布置的另一个示例。将对水平方向(图31的横向方向或行方向)上的图像传感器的结构进行说明。在第一行中，布置有W像素600(1，1)、G像素600(1，2)、W像素600(1，3)、R像素600(1，4)、W像素600(1，5)、G像素600(1，6)、W像素600(1，7)和R像素600(1，8)。在这种情况下，第一行中布置有W像素、G像素和R像素。
在第二行中，布置有G像素600(2，1)、W像素600(2，2)、R像素600(2，3)、W像素600(2，4)、G像素600(2，5)、W像素600(2，6)、R像素600(2，7)和W像素600(2，8)。在这种情况下，在第二行中布置有W像素、G像素和R像素。
在第三行中，布置有W像素600(3，1)、B像素600(3，2)、W像素600(3，3)、G像素600(3，4)、W像素600(3，5)、B像素600(3，6)、W像素600(3，7)和G像素600(3，8)。在这种情况下，在第三行中布置有W像素、G像素和R像素。
在第四行中，布置有B像素600(4，1)、W像素600(4，2)、G像素600(4，3)、W像素600(4，4)、B像素600(4，5)、W像素600(4，6)、G像素600(4，7)和W像素600(4，8)。在这种情况下，在第四行中布置有W像素、G像素和R像素。
第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种颜色布置。
图32示出可以应用本发明的颜色布置的另一个示例。将对水平方向(图32的横向方向或行方向)上的图像传感器的结构进行说明。在第一行中，布置有W像素610(1，1)、R像素610(1，2)、W像素610(1，3)、G像素610(1，4)、W像素610(1，5)、R像素610(1，6)、W像素610(1，7)和G像素610(1，8)。在这种情况下，在第一行中布置有W像素、G像素和R像素。
在第二行中，布置有B像素610(2，1)、W像素610(2，2)、G像素610(2，3)、W像素610(2，4)、B像素610(2，5)、W像素610(2，6)、G像素610(2，7)和W像素610(2，8)。在这种情况下，第二行中布置有W像素、G像素和B像素。
在第三行中，布置有W像素610(3，1)、G像素610(3，2)、W像素610(3，3)、R像素610(3，4)、W像素610(3，5)、G像素610(3，6)、W像素610(3，7)和R像素610(3，8)。在这种情况下，第三行中布置有W像素、G像素和B像素。
在第四行中，布置有G像素610(4，1)、W像素610(4，2)、B像素610(4，3)、W像素610(4，4)、G像素610(4，5)、W像素610(4，6)、B像素610(4，7)和W像素610(4，8)。在这种情况下，第四行中布置有W像素、G像素和B像素。
第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种颜色布置。
在以上实施例中说明的针对每排设置的三条控制线及其操作也可以应用于图31和图32所示的颜色布置。
本发明也可以应用于除图2、图4、图5和图6所示的图案之外的曝光图案。在下文中，将参照图33至图40来说明通过在本发明的实施例中说明的针对每排设置的三条控制线而实现的曝光控制图案的示例。
通过组合图33至图40所示的曝光图案和图1、图31和图32所示的颜色布置而可以实现的曝光图案和颜色布置的组合均落入本发明的可应用范围内。另外，本发明也可以应用于未图示的曝光图案和颜色布置的组合，并且这些组合也均落入本发明的可应用范围内。
图33示出曝光图案的另一个示例。图33至图40仅示出曝光图案，而未示出颜色布置。因此，在图33至图40中，长时间曝光像素由"L"表示，并描述为L像素，而短时间曝光像素由"S"表示，并描述为S像素。
图33所示的曝光图案是在行上交替地布置长时间曝光像素和短时间曝光像素的示例，即长时间曝光像素和短时间曝光像素以行为单位进行布置。具体地，长时间曝光像素布置在第一行、第三行、第五行和第七行中，而短时间曝光像素布置在第二行、第四行、第六行和第八行中。上述本发明也可以应用于这种曝光图案。
图34示出曝光图案的另一示例。图34所示的曝光图案是在列上交替地布置长时间曝光像素和短时间曝光像素的示例，即长时间曝光像素和短时间曝光像素以列为单位进行布置。具体地，长时间曝光像素布置在第一列、第三列、第五列和第七列中，而短时间曝光像素布置在第二列、第四列、第六列和第八列中。上述本发明也可以应用于此曝光图案。
图35示出曝光图案的另一示例。在图35所示的曝光图案的第一行中，布置有L像素640(1，1)、L像素640(1，2)、L像素640(1，3)、S像素640(1，4)、L像素640(1，5)、L像素640(1，6)、L像素640(1，7)和S像素640(1，8)。
在第二行中，布置有S像素640(2，1)、S像素640(2，2)、L像素640(2，3、S像素640(2，4)、S像素640(2，5)、S像素640(2，6)、L像素640(2，7)和S像素640(2，8)。
在第三行中，布置有L像素640(3，1)、S像素640(3，2)、L像素640(3，3)、L像素640(3，4)、L像素640(3，5)、S像素640(3，6)、L像素640(3，7)和L像素640(3，8)。
在第四行中，布置有L像素640(4，1)、S像素640(4，2)、S像素640(4，3)、S像素640(4，4)、L像素640(4，5)、S像素640(4，6)、S像素640(4，7)和S像素640(4，8)。
第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种曝光图案。
图36示出曝光图案的另一示例。在图36所示的曝光图案的第一行中，布置有L像素650(1，1)、S像素650(1，2)、L像素650(1，3)、L像素650(1，4)、L像素650(1，5)、S像素650(1，6)、L像素650(1，7)和L像素650(1，8)。
在第二行中，布置有L像素650(2，1)、S像素650(2，2)、S像素650(2，3)、S像素650(2，4)、L像素650(2，5)、S像素650(2，6)、S像素650(2，7)和S像素650(2，8)。
在第三行中，像素均为L像素。在第四行中，像素均为S像素。
第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种曝光图案。
图37示出曝光图案的另一示例。在图37所示的曝光图案的第一行中，布置有L像素660(1，1)、L像素660(1，2)、L像素660(1，3)、S像素660(1，4)、L像素660(1，5)、L像素660(1，6)、L像素660(1，7)和S像素660(1，8)。
在第二行中，布置有S像素660(2，1)、S像素660(2，2)、L像素660(2，3)、S像素660(2，4)、S像素660(2，5)、S像素660(2，6)、L像素660(2，7)和S像素660(2，8)。
在第三行中，布置有L像素660(3，1)、S像素660(3，2)、L像素660(3，3)、L像素660(3，4)、L像素660(3，5)、S像素660(3，6)、L像素660(3，7)和L像素660(3，8)。
在第四行中，布置有S像素660(4，1)、S像素660(4，2)、L像素660(4，3)、S像素660(4，4)、S像素660(4，5)、S像素660(4，6)、L像素660(4，7)和S像素660(4，8)。
第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种曝光图案。
图38示出曝光图案的另一示例。在图38所示的曝光图案的第一行中，布置有L像素670(1，2)、L像素670(1，3)、S像素670(1，4)、L像素670(1，5)、L像素670(1，6)、L像素670(1，7)和S像素670(1，8)。
在第二行中，布置有L像素670(2，1)、S像素670(2，2)、L像素670(2，3)、S像素670(2，4)、L像素670(2，5)、S像素670(2，6)、L像素670(2，7)和S像素670(2，8)。
在第三行中，布置有L像素670(3，1)、S像素670(3，2)、L像素670(3，3)、L像素670(3，4)、L像素670(3，5)、S像素670(3，6)、L像素670(3，7)和L像素670(3，8)。
在第四行中，像素均为S像素。第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种曝光图案。
图39示出曝光图案的另一个示例。在图39所示的曝光图案的第一行中，像素均为L像素。
在第二行中，布置有L像素680(2，1)、S像素680(2，2)、S像素680(2，3)、S像素680(2，4)、L像素680(2，5)、S像素680(2，6)、S像素680(2，7)和S像素680(2，8)。
在第三行中，布置有L像素680(3，1)、S像素680(3，2)、L像素680(3，3)、S像素680(3，4)、L像素680(3，5)、S像素680(3，6)、L像素680(3，7)和S像素680(3，8)。
在第四行中，布置有L像素680(4，1)、S像素680(4，2)、S像素680(4，3)、S像素680(4，4)、L像素680(4，5)、S像素680(4，6)、S像素680(4，7)和S像素680(4，8)。
第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种曝光图案。
图40示出曝光图案的另一个示例。在图40所示的曝光图案的第一行中，布置有L像素690(1，1)、S像素690(1，2)、L像素690(1，3)、S像素690(1，4)、L像素690(1，5)、S像素690(1，6)、L像素690(1，7)和S像素690(1，8)。
在第二行中，像素均为S像素。在第三行中，像素均为L像素。在第四行中，如同在第一行中，布置有L像素690(4，1)、S像素690(4，2)、L像素690(4，3)、S像素690(4，4)、L像素690(4，5)、S像素690(4，6)、L像素690(4，7)和S像素690(4，8)。
第五行至第八行具有与第一行至第四行相同的布置。本发明也可以应用于这种曝光图案。
应当注意，在上述实施例中，虽然例示出摄像装置的像素的光谱灵敏度为RGB+W的情况，但是在应用本发明时，不对光谱灵敏度的类型进行限制。换言之，可以使用具有除RGB+W之外的光谱灵敏度的像素。例如，可以使用将G添加至诸如Y(黄色)、C(青色)和M(品红色)等补色的4行的组合。
应当注意，本发明的实施例不局限于上述实施例，并且在不背离本发明的精神的情况下，可以进行各种修改。
本发明也可以采用以下结构。
(1)一种摄像装置，其包括：
4种光谱灵敏度类型的像素，这些像素包括具有全色光谱灵敏度的像素并布置在摄像面上，
对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上。
(2)根据上述(1)的摄像装置，
其中，具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，并且
其中，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置。
(3)根据上述(2)的摄像装置，其还包括：
每排的三条像素传输控制信号线，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序，
其中，
所述第一排的所述像素传输控制信号线之中的第一像素传输控制信号线向所述第一排中的以2个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第一排的所述像素传输控制信号线之中的第二像素传输控制信号线向所述第一排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第一排的所述像素传输控制信号线之中的第三像素传输控制信号线向所述第一排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第二排的所述像素传输控制信号线之中的第一像素传输控制信号线向所述第二排中的以2个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第二排的所述像素传输控制信号线之中的第二像素传输控制信号线向所述第二排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第二排的所述像素传输控制信号线之中的第三像素传输控制信号线向所述第二排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；并且
每条所述像素传输控制信号线按照用于实现所述第一曝光的第一时序或者用于实现所述第二曝光的第二时序来传送像素传输控制信号。
(4)根据上述(3)的摄像装置，其中，
所述特定方向上的两个邻近像素共用一个A/D变换器；并且
使用所述像素传输控制信号线之中的至少两条像素传输控制信号线使所述两个邻近像素的曝光时序错开。
(5)根据上述(1)至(4)任一者的摄像装置，
其中，由多个像素构成的像素组共用一个浮动扩散部。
(6)根据上述(3)的摄像装置，其中，
所述4×4像素周期性布置包括在与所述特定方向正交的方向上交替地布置的所述第一排和所述第二排，在所述第一排中，所述第一像素和具有第二光谱灵敏度的第二像素在所述特定方向上交替地布置，在所述第二排中，所述第一像素以2个像素为周期进行布置并且具有第三光谱灵敏度的第三像素和具有第四光谱灵敏度的第四像素以4个像素为周期布置在其余像素位置。
(7)根据上述(6)的摄像装置，其中，
所述第一排的所述第一像素传输控制信号线和所述第二排的所述第一像素传输控制信号线被控制以便以不同的时序传送控制信号；
所述第一排的所述第二像素传输控制信号线和所述第三像素传输控制信号线被控制以便以不同的时序传送控制信号；
所述第二排的所述第二像素传输控制信号线和第四排的与所述第三像素有关的像素传输控制信号线被控制以便以不同的时序传送控制信号；并且
所述第二排的与所述第四像素有关的像素传输控制信号线和所述第四排的与所述第四像素有关的像素传输控制信号线被控制以便以不同的时序传送控制信号。
(8)根据上述(1)至(7)任一者的摄像装置，其在每个像素位置还包括：
第一处理部，其计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
第二处理部，其计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
第三处理部，其计算第二光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
第四处理部，其计算所述第二光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
第五处理部，其计算第三光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
第六处理部，其计算所述第三光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
第七处理部，其计算第四光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；以及
第八处理部，其计算所述第四光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值。
(9)根据上述(8)的摄像装置，其还包括：
第九处理部，其基于由所述第一处理部至所述第八处理部计算的所述第一光谱灵敏度至所述第四光谱灵敏度的所述第一曝光的所述信号或所述第二曝光的所述信号在所述像素位置处的所述插值，计算所述第二光谱灵敏度、所述第三光谱灵敏度和所述第四光谱灵敏度中的每者的组合插值。
(10)根据上述(9)的摄像装置，其还包括：
变换部，其将从所述第九处理部输出的插值变换成拜耳布置。
(11)根据上述(9)的摄像装置，
其中，所述第九处理部包括将从像素中读取的信号变换成非线性刻度的处理。
(12)根据上述(11)的摄像装置，其中，
将信号变换成非线性刻度的所述处理包括基于向上凸的幂函数特性来变换信号的处理。
(13)根据上述(11)的摄像装置，其中，
将信号变换成非线性刻度的所述处理包括基于对数刻度特性来变换信号的处理。
(14)根据上述(9)的摄像装置，其还包括：
对数变换处理部，其将来自布置在所述摄像面上的像素的信号进行对数变换；以及
对数逆变换处理部，其将从所述第九处理部输出的所述插值进行对数逆变换，并且
所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获得的值进行处理。
(15)根据上述(10)的摄像装置，其还包括：
对数变换处理部，其将来自布置在所述摄像面上的像素的信号进行对数变换；以及
对数逆变换处理部，其将从所述变换部输出的所述插值进行对数逆变换，并且
所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获得的值进行处理。
(16)一种用于摄像装置的摄像方法，所述摄像装置包括4种光谱灵敏度类型的的像素，这些像素包括具有全色光谱灵敏度的像素并布置在摄像面上，
对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，
具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，
对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置，
所述方法包括如下步骤：
以用于实现第一曝光的第一时序或者以用于实现第二曝光的第二时序向针对每排设置的三条像素传输控制信号线传送像素传输控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序。
(17)一种使计算机控制摄像装置的程序，所述摄像装置包括4种光谱灵敏度类型的的像素，这些像素包括具有全色光谱灵敏度的像素并布置在摄像面上，
对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，
具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，
对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置，
所述程序包含具有以下步骤的处理：
以用于实现第一曝光的第一时序或者以用于实现第二曝光的第二时序向针对每排设置的三条像素传输控制信号线传送像素传输控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序。
附图标记说明
20 像素 21-24 像素传输控制信号线
300 摄像设备 310 摄像装置
311 图像处理部 312 记录控制部
313 内容存储部 314 显示控制部
315 显示部 316 控制部
317 操作接收部 351 WL高频插值部
352 WS高频插值部 353 WL低频插值部
354 WS低频插值部 355 GL低频插值部
356 GS低频插值部 357 RL低频插值部
358 RS低频插值部 359 BL低频插值部
360 BS低频插值部 361 W高频HDR合成部
362 W低频HDR合成部 363 G低频HDR合成部
364 R低频HDR合成部 365 B低频HDR合成部
366 W-GCh相关处理部 367 W-RCh相关处理部
368 W-BCh相关处理部

Claims (16)

1.一种摄像装置，其包括：
4种光谱灵敏度类型的像素，这些像素包括具有作为全色光谱灵敏度的第一光谱灵敏度的像素并布置在摄像面上，
对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，
所述摄像装置在每个像素位置处还包括：
第一高频处理部，其计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
第二高频处理部，其计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
第一低频处理部，其计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
第二低频处理部，其计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
第三处理部，其计算第二光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
第四处理部，其计算所述第二光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
第五处理部，其计算第三光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
第六处理部，其计算所述第三光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
第七处理部，其计算第四光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；以及
第八处理部，其计算所述第四光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值。
2.根据权利要求1所述的摄像装置，
其中，具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，并且
其中，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一像素布置成棋盘格布置。
3.根据权利要求2所述的摄像装置，其还包括：
每排的三条像素传输控制信号线，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序，
其中，
所述第一排的所述像素传输控制信号线之中的第一像素传输控制信号线向所述第一排中的以2个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第一排的所述像素传输控制信号线之中的第二像素传输控制信号线向所述第一排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第一排的所述像素传输控制信号线之中的第三像素传输控制信号线向所述第一排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第二排的所述像素传输控制信号线之中的第一像素传输控制信号线向所述第二排中的以2个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第二排的所述像素传输控制信号线之中的第二像素传输控制信号线向所述第二排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；
所述第二排的所述像素传输控制信号线之中的第三像素传输控制信号线向所述第二排中的以4个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；并且
每条所述像素传输控制信号线按照用于实现所述第一曝光的第一时序或者用于实现所述第二曝光的第二时序来传送像素传输控制信号。
4.根据权利要求3所述的摄像装置，其中，
所述特定方向上的两个邻近像素共用一个A/D变换器；并且
使用所述像素传输控制信号线之中的至少两条像素传输控制信号线使所述两个邻近像素的曝光时序错开。
5.根据权利要求1所述的摄像装置，
其中，由多个像素构成的像素组共用一个浮动扩散部。
6.根据权利要求3所述的摄像装置，其中，
所述4×4像素周期性布置包括在与所述特定方向正交的方向上交替地布置的所述第一排和所述第二排，在所述第一排中，所述第一像素和具有第二光谱灵敏度的第二像素在所述特定方向上交替地布置，在所述第二排中，所述第一像素以2个像素为周期进行布置并且具有第三光谱灵敏度的第三像素和具有第四光谱灵敏度的第四像素以4个像素为周期布置在其余像素位置。
7.根据权利要求6所述的摄像装置，其中，
所述第一排的所述第一像素传输控制信号线和所述第二排的所述第一像素传输控制信号线被控制以便以不同的时序传送控制信号；
所述第一排的所述第二像素传输控制信号线和所述第三像素传输控制信号线被控制以便以不同的时序传送控制信号；
所述第二排的所述第二像素传输控制信号线和下一个所述第二排的所述第二像素传输控制信号线被控制以便以不同的时序传送控制信号；并且
所述第二排的所述第三像素传输控制信号线和下一个所述第二排的所述第三像素传输控制信号线被控制以便以不同的时序传送控制信号。
8.根据权利要求1所述的摄像装置，其还包括：
第九处理部，其基于由所述第一处理部至所述第八处理部计算的所述第一光谱灵敏度至所述第四光谱灵敏度的所述第一曝光的所述信号或所述第二曝光的所述信号在所述像素位置处的所述插值，计算所述第二光谱灵敏度、所述第三光谱灵敏度和所述第四光谱灵敏度中的每者的组合插值。
9.根据权利要求8所述的摄像装置，其还包括：
变换部，其将从所述第九处理部输出的插值变换成拜耳布置。
10.根据权利要求8所述的摄像装置，
其中，所述第九处理部包括将从像素中读取的信号变换成非线性刻度的处理。
11.根据权利要求10所述的摄像装置，其中，
将信号变换成非线性刻度的所述处理包括基于向上凸的幂函数特性来变换信号的处理。
12.根据权利要求10所述的摄像装置，其中，
将信号变换成非线性刻度的所述处理包括基于对数刻度特性来变换信号的处理。
13.根据权利要求8所述的摄像装置，其还包括：
对数变换处理部，其将来自布置在所述摄像面上的像素的信号进行对数变换；以及
对数逆变换处理部，其将从所述第九处理部输出的所述插值进行对数逆变换，并且
所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获得的值进行处理。
14.根据权利要求9所述的摄像装置，其还包括：
对数变换处理部，其将来自布置在所述摄像面上的像素的信号进行对数变换；以及
对数逆变换处理部，其将从所述变换部输出的所述插值进行对数逆变换，并且
所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获得的值进行处理。
15.一种用于摄像装置的摄像方法，所述摄像装置包括4种光谱灵敏度类型的像素，这些像素包括具有作为全色光谱灵敏度的第一光谱灵敏度的像素并布置在摄像面上，
对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，
具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，
对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一像素布置成棋盘格布置，
所述方法包括如下步骤：
以用于实现第一曝光的第一时序或者以用于实现第二曝光的第二时序向针对每排设置的三条像素传输控制信号线传送像素传输控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序，并且
所述方法还包括如下步骤：
在每个像素位置处：
使用第一高频处理部计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第二高频处理部计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第一低频处理部计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第二低频处理部计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第三处理部计算第二光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第四处理部计算所述第二光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第五处理部计算第三光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第六处理部计算所述第三光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第七处理部计算第四光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；以及
使用第八处理部计算所述第四光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值。
16.一种存储器，其存储有使计算机控制摄像装置的程序，所述摄像装置包括4种光谱灵敏度类型的像素，这些像素包括具有作为全色光谱灵敏度的第一光谱灵敏度的像素并布置在摄像面上，
对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布置在所述摄像面上，
具有所述全色光谱灵敏度的第一像素在特定方向上以2个像素为周期布置在第一排中，所述第一像素在所述特定方向上以从所述第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，
对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所述特定方向上以2个像素或4个像素为周期进行布置并且二维地构成4×4像素周期性布置，在所述4×4像素周期性布置中，所述第一像素布置成棋盘格布置，
所述程序包含具有以下步骤的处理：
以用于实现第一曝光的第一时序或者以用于实现第二曝光的第二时序向针对每排设置的三条像素传输控制信号线传送像素传输控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序，并且
所述程序还包含具有以下步骤的处理：
在每个像素位置处：
使用第一高频处理部计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第二高频处理部计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第一低频处理部计算所述第一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第二低频处理部计算所述第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第三处理部计算第二光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第四处理部计算所述第二光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第五处理部计算第三光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；
使用第六处理部计算所述第三光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；
使用第七处理部计算第四光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；以及
使用第八处理部计算所述第四光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值。
CN201480040407.5A 2013-07-23 2014-07-11 摄像装置、摄像方法及存储器 Expired - Fee Related CN105409205B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-152898 2013-07-23
JP2013152898 2013-07-23
PCT/JP2014/068543 WO2015012121A1 (ja) 2013-07-23 2014-07-11 撮像素子、撮像方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN105409205A CN105409205A (zh) 2016-03-16
CN105409205B true CN105409205B (zh) 2019-08-09

Family

ID=52393167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040407.5A Expired - Fee Related CN105409205B (zh) 2013-07-23 2014-07-11 摄像装置、摄像方法及存储器

Country Status (7)

Country Link
US (3) US10015417B2 (zh)
EP (1) EP3026891A4 (zh)
JP (1) JP6528974B2 (zh)
KR (1) KR102221341B1 (zh)
CN (1) CN105409205B (zh)
TW (1) TWI644568B (zh)
WO (1) WO2015012121A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2016072863A (ja) * 2014-09-30 2016-05-09 株式会社ニコン 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
JP6516446B2 (ja) * 2014-11-14 2019-05-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
US9286502B1 (en) * 2015-04-28 2016-03-15 The Code Corporation Barcode reader
KR102407036B1 (ko) * 2015-11-03 2022-06-10 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
CN105516697B (zh) * 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
JP6724982B2 (ja) * 2016-04-13 2020-07-15 ソニー株式会社 信号処理装置および撮像装置
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
JP7198507B2 (ja) * 2017-08-08 2023-01-04 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
CN109640009B (zh) * 2017-10-09 2021-01-19 比亚迪股份有限公司 像素电路、像素阵列、图像传感器及其曝光控制方法
JP6938352B2 (ja) * 2017-12-08 2021-09-22 キヤノン株式会社 撮像装置及び撮像システム
US11470286B2 (en) * 2019-07-16 2022-10-11 Mritunjay Singh Image sensors with color, panchromatic and infrared pixels
WO2021046690A1 (zh) * 2019-09-09 2021-03-18 Oppo广东移动通信有限公司 图像传感器、摄像头模组、移动终端及图像采集方法
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
EP4060986A4 (en) * 2019-11-20 2022-11-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SENSOR, CONTROL METHOD, CAMERA ASSEMBLY, AND MOBILE TERMINAL
CN111405204B (zh) * 2020-03-11 2022-07-26 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111432099B (zh) * 2020-03-30 2021-04-30 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质
CN111491110B (zh) * 2020-04-17 2021-09-17 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
CN111491111B (zh) * 2020-04-20 2021-03-26 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
KR20220111770A (ko) * 2021-02-01 2022-08-10 삼성전자주식회사 이미지 센서 및 그를 포함하는 전자 장치
JP2022122682A (ja) * 2021-02-10 2022-08-23 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム
JP2023042081A (ja) * 2021-09-14 2023-03-27 キヤノン株式会社 光電変換装置
WO2023234705A1 (ko) * 2022-05-31 2023-12-07 삼성전자 주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
US20240089618A1 (en) * 2022-09-08 2024-03-14 Arriver Software Ab Image sensor with red-clear-clear-green (rccg) color filter array (cfa) for vehicle sensing applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854488A (zh) * 2009-03-31 2010-10-06 索尼公司 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
CN102970488A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法以及程序
CN103053164A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 摄像装置及图像处理装置
CN103209308A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP2007135200A (ja) 2005-10-14 2007-05-31 Sony Corp 撮像方法および撮像装置並びに駆動装置
JP4796871B2 (ja) 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置
JP4187004B2 (ja) * 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7777804B2 (en) * 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
JP5002421B2 (ja) * 2007-11-14 2012-08-15 富士フイルム株式会社 撮像装置及び撮像方法
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
US8174603B2 (en) * 2008-05-01 2012-05-08 Alexander Krymski Image sensors and methods with antiblooming channels and two side driving of control signals
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
CN101656259A (zh) * 2008-08-20 2010-02-24 鸿富锦精密工业（深圳）有限公司 影像感测器封装结构、封装方法及相机模组
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5304410B2 (ja) * 2009-04-17 2013-10-02 ソニー株式会社 Ａｄ変換装置、固体撮像素子、およびカメラシステム
JP2011114558A (ja) * 2009-11-26 2011-06-09 Fujifilm Corp 撮像装置及び撮像方法
JP5552858B2 (ja) * 2010-03-26 2014-07-16 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP5585208B2 (ja) * 2010-05-20 2014-09-10 ソニー株式会社 固体撮像装置及び電子機器
JP2011250554A (ja) * 2010-05-26 2011-12-08 Sony Corp 電源回路、集積回路装置、固体撮像装置および電子機器
US20130308021A1 (en) * 2010-06-16 2013-11-21 Aptina Imaging Corporation Systems and methods for adaptive control and dynamic range extension of image sensors
US8514322B2 (en) * 2010-06-16 2013-08-20 Aptina Imaging Corporation Systems and methods for adaptive control and dynamic range extension of image sensors
JP5442571B2 (ja) * 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
JP2012175234A (ja) 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012182657A (ja) 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
WO2012127772A1 (ja) * 2011-03-24 2012-09-27 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
JP2012234393A (ja) 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013005017A (ja) 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013021660A (ja) 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013066145A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9137432B2 (en) * 2011-09-16 2015-09-15 Samsung Electronics Co., Ltd. Backside illumination image sensor, operating method thereof, image processing system and method of processing image using the same
US8599284B2 (en) * 2011-10-11 2013-12-03 Omnivision Technologies, Inc. High dynamic range sub-sampling architecture
WO2013145487A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9040892B2 (en) * 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
JP2014175832A (ja) * 2013-03-08 2014-09-22 Toshiba Corp 固体撮像装置
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器
TWI690209B (zh) * 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
KR102184714B1 (ko) * 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置
US9883128B2 (en) * 2016-05-20 2018-01-30 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
KR20180031288A (ko) * 2016-09-19 2018-03-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854488A (zh) * 2009-03-31 2010-10-06 索尼公司 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
CN103053164A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 摄像装置及图像处理装置
CN102970488A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法以及程序
CN103209308A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法

Also Published As

Publication number Publication date
CN105409205A (zh) 2016-03-16
US20160173793A1 (en) 2016-06-16
US10015417B2 (en) 2018-07-03
JPWO2015012121A1 (ja) 2017-03-02
US20180160060A1 (en) 2018-06-07
EP3026891A4 (en) 2017-04-19
US20190124281A1 (en) 2019-04-25
TWI644568B (zh) 2018-12-11
US10638065B2 (en) 2020-04-28
JP6528974B2 (ja) 2019-06-12
US10200639B2 (en) 2019-02-05
KR102221341B1 (ko) 2021-02-26
TW201505440A (zh) 2015-02-01
EP3026891A1 (en) 2016-06-01
WO2015012121A1 (ja) 2015-01-29
KR20160034897A (ko) 2016-03-30
US20170034460A9 (en) 2017-02-02

Similar Documents

Publication Publication Date Title
CN105409205B (zh) 摄像装置、摄像方法及存储器
KR101136222B1 (ko) 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치
US20180176444A1 (en) Image sensor with transfer gate control signal lines
US9392241B2 (en) Image processing apparatus and image processing method
US8508625B2 (en) Image processing apparatus
KR100468169B1 (ko) 위색(僞色)신호발생이억제가능한단판식컬러카메라
TW201545556A (zh) 在產生數位影像中曝光像素群組
JP4600315B2 (ja) カメラ装置の制御方法及びこれを用いたカメラ装置
US8111298B2 (en) Imaging circuit and image pickup device
JP2007019641A (ja) 固体撮像素子の信号読み出し方法及び画像信号処理方法
JP2007274599A (ja) 撮像装置
JP2011066637A (ja) 固体撮像装置及び電子機器
JP2004357335A (ja) 固体撮像装置
JP2016034055A (ja) 画像処理装置、画像処理方法、及び、撮像装置
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2004336468A (ja) 撮像装置及び画像処理方法
JP4852490B2 (ja) 撮像装置及びそのポストビュー画像生成方法
JP2007088640A (ja) 固体撮像装置及び画像信号処理方法
JP2006340065A (ja) 画像データ取込装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190809

CF01 Termination of patent right due to non-payment of annual fee