CN104025566B - 摄像装置及摄像装置的控制方法 - Google Patents

摄像装置及摄像装置的控制方法 Download PDF

Info

Publication number
CN104025566B
CN104025566B CN201280065347.3A CN201280065347A CN104025566B CN 104025566 B CN104025566 B CN 104025566B CN 201280065347 A CN201280065347 A CN 201280065347A CN 104025566 B CN104025566 B CN 104025566B
Authority
CN
China
Prior art keywords
pixel
filter
arrangement
row
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280065347.3A
Other languages
English (en)
Other versions
CN104025566A (zh
Inventor
仓桥秀和
林健吉
田中诚二
河合智行
河村典子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104025566A publication Critical patent/CN104025566A/zh
Application granted granted Critical
Publication of CN104025566B publication Critical patent/CN104025566B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1506—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements
    • H04N3/1512—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements for MOS image-sensors, e.g. MOS-CCD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/648—Video amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Abstract

本发明提供摄像装置及摄像装置的控制方法，在多个像素中共有放大器的情况下，即使进行间拔而读出图像数据时也能防止曝光时机产生大的差别。摄像装置(10)具备：摄像元件(14)包含沿第1、第2方向排列的多个光电转换元件；放大单元，将(K×L)像素设为共有像素，按照各共有像素来将摄像信号放大；滤色器，将第1、第2滤光片以(N×M)像素的预先规定的图案配置的基本排列图案重复配置而成；图像处理部(20)，对于摄像元件(14)，对每个像素、每个扫描行及扫描行上的每多个像素中的每个像素依次施加快门脉冲而进行电荷的扫出，以设定的周期读出多个像素的像素信号，根据所读出的像素信号来生成以在第1方向上为K像素以上且N像素以下的周期沿第2方向排列的像素的行图像数据，并基于行图像数据而生成图像数据；及驱动部(22)。

Description

摄像装置及摄像装置的控制方法
技术领域
本发明涉及摄像装置、摄像装置的控制方法、及控制程序，尤其是涉及具备彩色摄像元件的摄像装置、摄像装置的控制方法及控制程序。
背景技术
在彩色摄像元件中广泛采用的颜色排列即原色系拜耳排列(例如参照专利文献1～3)将人眼比较敏感且最有助于获得亮度信号的绿(G)像素配置成双色相间方格状，并将红(R)、蓝(B)按照线序配置。
专利文献1：日本特开2002-135793号公报
专利文献2：日本专利第3960965号公报
专利文献3：日本特开2004-266369号公报
发明内容
然而，作为彩色摄像元件，使用例如CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等。在其中的CMOS等MOS型的图像传感器中，通过针对各光电二极管设置开关，对每个扫描行、扫描行上的每多个像素、每个像素依次施加快门脉冲而进行蓄积于光电二极管的电荷的扫出的所谓滚动快门方式，在动画摄影等时进行电荷的扫出。
具体而言，对于一个画面内的全部像素，不是一齐进行复位，而是对每个扫描行、扫描行上的每多个像素、每个像素依次进行复位而开始曝光，执行摄像信号的读出。在该滚动快门方式的情况下，例如按照各扫描行反复进行复位、曝光、读出。
另外，在MOS型的图像传感器中，为了实现装置的高精细化，有时在多个像素共有一个放大器等。这种情况下，仅能读出共有像素内的一个像素。这是例如沿垂直方向对图像数据进行间拔读出的情况下，在垂直方向的共有像素内欲读出多个行图像数据时，在共有像素内最初读出的行上的像素的复位、曝光、读出结束之后，在共有像素内必须进行下一读出行上的像素的复位、曝光、读出，曝光时机产生大的差别，有时对图像产生伪色等的对画质造成坏影响。
以往，通常是在例如2×2像素中共有一个放大器，但是在以往的拜耳排列的情况下，滤色器排列的最小重复单位即基本排列图案为2×2像素，放大器的共有像素的尺寸与基本排列图案的像素的尺寸一致。在拜耳排列中，为了获得R、G、B的像素信号，用于将由G像素和R像素构成的行及由G像素和B像素构成的行交替读出的最小周期的间拔读出是进行每三行读出一行的图像数据的的垂直方向1/3间拔。这种情况下，在共有像素内不读出多个行图像，不会产生上述的问题。
此外，即使假设进行每两行读出一行的图像数据的情况下(垂直方向1/2间拔)，在共有像素内也不读出多个行图像，不会产生上述的问题。
另一方面，在基本排列图案为3×3以上的情况下，共有放大器等的尺寸出于以下的理由而本来优选与基本排列图案的尺寸一致。
根据以共有放大器为基准的像素的相对位置，由于基底的布局的区别等而导致灵敏度发生变动，因此即便是同一区域内的同色的像素之间，信号量也会产生差别。因此，为了对在多个像素中由共有放大器等电路元件的结构引起的信号量的变动、及由摄像元件的滤色器的颜色排列引起的混色等的信号量的变动这双方进行修正，考虑预先存储基本排列图案的重复周期(N×M)与放大器共有结构的重复周期(K×L)的最小公倍数所相当的个数(NK×ML)的修正系数，从其中按照各像素选择适当的修正系数，并将该选择出的修正系数乘以各像素的信号量。然而，在滤色器为2×2的拜耳排列且放大器共有结构也为2×2的四个像素正方排列时，只要是四个修正系数即可，但是例如滤色器排列为3×3排列或6×6排列时，修正系数的个数(NK×ML)变得庞大，导致修正处理的时间或电路规模增大。因此，为了减少修正系数的个数而优选使放大器的共有结构与基本排列图案的尺寸一致。
然而，在基本排列图案为3×3以上的情况下，滤色器的排列与拜耳排列不同，因此即使以垂直方向1/2间拔来读出行图像数据，有时也能够取得R、G、B的像素信号。因此，本来优选的上述的使放大器的共有结构与基本排列图案的尺寸一致的摄像元件中，存在如下问题：在为了获得所期望的分辨率而以垂直方向1/2间拔读出行图像数据时，在共有像素内读出多个行图像数据，上述的曝光时机产生大的差别。
本发明为了解决上述问题而作出，目的在于提供一种在多个像素中共有放大器的情况下，即使在读出间拔图像数据时也能够防止曝光时机产生大的差别的摄像装置及摄像装置的控制方法。
为了解决上述问题，本发明的摄像装置的特征在于，具备：摄像元件，包含沿预先规定的第1方向及与所述第1方向交叉的第2方向排列的多个光电转换元件；放大单元，沿所述第1方向及所述第2方向将K×L像素设为共有像素，按照各该共有像素来将摄像信号放大，其中K、L为2以上的整数；滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片沿着所述第1方向及所述第2方向以N×M像素的预先规定的图案进行配置，其中N>K，M>L；行图像数据生成单元，对于所述摄像元件，对每个所述像素、沿着所述第2方向的每个扫描行及沿着所述第2方向的扫描行上的每多个像素中的每个像素依次施加快门脉冲而进行电荷的扫出，并且，以设定的周期从所述摄像元件读出所述多个像素的像素信号，根据所读出的所述像素信号来生成所述多个像素中的在所述第1方向上以K像素以上且N像素以下的周期沿所述第2方向排列的像素的行图像数据；及图像数据生成单元，基于所述行图像数据而生成图像数据。
根据本发明，放大单元沿第1方向及第2方向将(K×L)像素设为共有像素，按照各共有像素来将摄像信号放大，滤色器重复配置有基本排列图案，所述基本排列图案将第1滤光片及第2滤光片沿着第1方向及第2方向以(N×M)像素的预先规定的图案进行配置，在具备该放大单元和该滤色器的结构中，对于摄像元件，对每个像素、沿着第2方向的每个扫描行及沿着第2方向的扫描行上的每多个像素的每个像素依次施加快门脉冲而进行电荷的扫出，并且，从摄像元件读出以在第1方向上为K像素以上且N像素以下的周期沿第2方向排列的行图像数据。由此，在第1方向的共有像素内无法读出多个行的行图像数据，因此即使在第1方向上间拔而读出行图像数据的情况下，也能够防止曝光时机产生大的差别。
此外，行图像数据生成单元可以生成在第2方向上为L像素以上且M像素以下的周期的像素的像素数据。
根据本发明，不仅是第1方向，而且在第2方向的共有像素内也没有生成沿第1方向的多个行的行图像数据，因此即使在第2方向上间拔而生成行图像数据的情况下，也能够防止曝光时机产生大的差别。
另外，可以是，行图像数据生成单元以从所述摄像元件读出所述多个像素的像素信号的所述设定的周期，来读出多个像素中的以在第1方向上为K像素以上且N像素以下的周期沿第2方向排列的像素的像素信号而生成行图像数据。
另外，可以是，行图像数据生成单元以从摄像元件读出所述多个像素的像素信号的所述设定的周期，来读出多个像素中的以在第2方向上为L像素以上且M像素以下的周期排列的像素的像素信号而生成行图像数据。
另外，可以是，第1滤光片在滤色器内在第1方向、第2方向、与第1方向及第2方向交叉的第3方向上的各行内配置一个以上，第2色的各种颜色所对应的第2滤光片在基本排列图案内在第1方向及第2方向上的各行内分别配置一个以上。
根据本发明，最有助于获得亮度信号的第1色所对应的第1滤光片在滤色器内配置于第1方向～第3方向上的各行内，因此能够提高高频区域的同时化处理的重现精度。而且，关于除第1色以外的两种颜色以上的第2色这各种颜色所对应的第2滤光片，在基本排列图案内在第1方向及第2方向上的各行内配置一个以上，因此能够减少彩色莫尔条纹(伪色)的发生而实现高分辨率化。
另外，可以是，滤色器包含由第1滤光片构成的对应于2×2像素的正方排列。
根据本发明，能够基于与2×2像素对应的正方排列的四个像素的各像素间的像素值的差值而以最小像素间隔来判定亮度的相关方向为四个方向中的哪一方向。
另外，可以是，第1色是绿(G)色，第2色是红(R)色及蓝(B)色。
另外，可以是，滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，滤色器将第1排列和第2排列交替地沿第1方向及第2方向排列而构成，该第1排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置B滤光片，且隔着中心的G滤光片而在左右排列有R滤光片，该第2排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置R滤光片，隔着中心的G滤光片而在左右排列有B滤光片。
根据本发明，以第1排列或第2排列为中心而提取出5×5像素(马赛克图像的局部区域)时，在5×5像素的四角存在2×2像素的G像素。能够在四个方向的相关方向的判定中使用这些2×2像素的G像素的像素值。
另外，可以是，滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，滤色器将第1排列和第2排列交替地沿第1方向及第2方向排列而构成，该第1排列对应于3×3像素，在中心配置R滤光片，在四角配置B滤光片，隔着中心的R滤光片而在上下左右配置G滤光片，该第2排列对应于3×3像素，在中心配置B滤光片，在四角配置R滤光片，隔着中心的B滤光片而在上下左右配置G滤光片。
根据本发明，在以第1排列或第2排列为中心提取出5×5像素(马赛克图像的局部区域)时，隔着5×5像素的中心的像素(R像素或B像素)存在沿水平及垂直方向分别相邻的G像素。能够在四个方向的相关方向的判定中使用上述的G像素(共计八个像素)的像素值。
本发明的摄像装置的控制方法中，该摄像装置具备：摄像元件，包含沿预先规定的第1方向及与所述第1方向交叉的第2方向排列的多个光电转换元件；放大单元，沿所述第1方向及所述第2方向将(K×L)像素(K、L：2以上的整数)设为共有像素，按照各该共有像素将摄像信号放大；及滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，该基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片沿着所述第1方向及所述第2方向以(N×M)像素(N>K，M>L)的预先规定的图案进行配置，所述摄像装置的控制方法的特征在于，对于所述摄像元件，对每个所述像素、沿着所述第2方向的各扫描行、及沿着所述第2方向的扫描行上的每多个像素中的每个像素依次施加快门脉冲而进行电荷的扫出，并且，以设定的周期从所述摄像元件读出所述多个像素的像素信号，根据所读出的所述像素信号来生成所述多个像素中的以在所述第1方向上为K像素以上且N像素以下的周期沿所述第2方向排列的像素的行图像数据，基于所述行图像数据来生成图像数据。
本发明的控制程序的特征在于，用于使计算机执行处理，该计算机对摄像装置进行控制，该摄像装置具备：摄像元件，包含沿预先规定的第1方向及与所述第1方向交叉的第2方向排列的多个光电转换元件；放大单元，沿所述第1方向及所述第2方向将(K×L)像素(K、L：2以上的整数)设为共有像素，按照各该共有像素将摄像信号放大；滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，该基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片沿着所述第1方向及所述第2方向以(N×M)像素(N>K，M>L)的预先规定的图案进行配置，该处理包括如下步骤：对于所述摄像元件，对每个所述像素、沿着所述第2方向的各扫描行、及沿着所述第2方向的扫描行上的每多个像素中的每个像素依次施加快门脉冲而进行电荷的扫出，并且，以设定的周期从所述摄像元件读出所述多个像素的像素信号；根据所读出的所述像素信号来生成所述多个像素中的以在所述第1方向上为K像素以上且N像素以下的周期沿所述第2方向排列的像素的行图像数据；基于所述行图像数据来生成图像数据。
发明效果
根据本发明，具有在多个像素中共有放大器的情况下，即使进行间拔而读出图像数据时也能够防止曝光时机产生大的差别这样的效果。
附图说明
图1是第1实施方式的摄像装置的概略框图。
图2是第1实施方式的滤色器的结构图。
图3是表示第1实施方式的滤色器所包含的基本排列图案的图。
图4是表示将第1实施方式的滤色器所包含的6×6像素的基本排列图案分割成3×3像素的A排列和B排列、并将它们沿水平及垂直方向重复配置而成的滤色器的图。
图5是表示第1实施方式的滤色器的G像素的特征性的配置的图。
图6是第4实施方式的由CMOS传感器构成的摄像元件的概略结构图。
图7是表示像素共有的结构的结构图。
图8是用于说明各扫描行的曝光等的时机的图。
图9是用于说明垂直方向及水平方向均以1/2间拔读出的情况的图。
图10是用于说明以往的各扫描行的曝光等的时机的图。
图11是用于说明间拔后的图像的图。
图12是表示由控制部执行的处理的流程图。
图13是用于说明第1实施方式的各扫描行的曝光等的时机的图。
图14是用于说明第1实施方式的各扫描行的曝光等的时机的图。
图15是用于说明第1实施方式的间拔后的图像的图。
图16是表示共有像素与读出像素的位置关系的图。
图17是表示共有像素与读出像素的位置关系的图。
图18是第2实施方式的滤色器的结构图。
图19是表示第2实施方式的滤色器所包含的基本排列图案的图。
图20A是表示将第2实施方式的滤色器所包含的6×6像素的基本排列图案分割成3×3像素的A排列和B排列、并将它们沿水平及垂直方向重复配置而成的滤色器的图。
图20B是表示第2实施方式的滤色器的G像素的特征性的配置的图。
图21是用于说明第2实施方式的间拔后的图像的图。
图22是表示滤色器的变形例的图。
图23是表示滤色器的变形例的图。
图24是表示滤色器的变形例的图。
图25是表示滤色器的变形例的图。
图26是表示滤色器的变形例的图。
图27是表示滤色器的变形例的图。
图28是表示滤色器的变形例的图。
图29是表示滤色器的变形例的图。
具体实施方式
以下，参照附图，说明本发明的实施方式。
(第1实施方式)
图1示出了本实施方式的摄像装置10的概略框图。摄像装置10构成为，包括光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
光学系统12构成为，包括例如由多个光学透镜构成的透镜组、光圈调整机构、变焦机构及自动调焦机构等。
摄像元件14是在包括沿水平方向及垂直方向排列的多个光电转换元件在内的摄像元件、例如由CMOS(Complementary Metal OxideSemiconductor)等MOS型图像传感器构成的摄像元件上配置有滤色器的结构的所谓单板式的摄像元件。
图2示出本实施方式的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝(B)这三原色的滤色器中的任一个。
<滤色器排列的特征>
第1实施方式的滤色器具有下述的特征(1)～(6)。
〔特征(1)〕
滤色器排列成为将基本排列图案重复配置的结构，该基本排列图案是将红(R)、绿(G)、蓝(B)这三原色的滤光片沿着垂直方向及水平方向以(N×M)像素(N、M：3以上的整数)的预先规定的图案进行配置、且将绿(G)的滤光片与红(R)及蓝(B)中的至少一个颜色的滤光片沿着垂直方向及水平方向配置而成的基本排列图案。
作为本实施方式的图2所示的滤色器的一例，包含由对应于6×6像素(N＝M＝6)的正方排列图案构成的基本排列图案P(由粗框表示的图案)，并将该基本排列图案P沿垂直方向(第1方向)及水平方向(第2方向)重复配置。即，该滤色器将R、G、B各种颜色的滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性进行排列。
这样一来，R滤光片、G滤光片、B滤光片以规定的周期性进行排列，因此在进行从彩色摄像元件读出的R、G、B信号的同时化处理(也称为去马赛克处理。以下相同)等时，能够反复按照图案进行处理。
〔特征(2)〕
图2所示的滤色器排列中，最有助于获得亮度信号的颜色(在本实施方式中为G色)所对应的G滤光片配置于滤色器排列的作为第1方向的垂直方向、作为第2方向的水平方向及在滤色器面内与第1方向及第2方向交叉的第3方向即倾斜(NE、NW)方向(第3方向)上的各行内。此外，NE表示斜右上方向，NW表示斜右下方向。例如，在正方形像素的排列的情况下，斜右上及斜右下方向相对于水平方向分别成为45°的方向，但若是长方形像素的排列，则是长方形的对角线的方向，根据长边/短边的长度而其角度可能改变。
对应于亮度系像素的G滤光片配置于滤色器排列的垂直方向、水平方向及倾斜(NE、NW)方向上的各行内，因此无论成为高频的方向如何都能够提高高频区域的同时化处理的重现精度。
〔特征(3)〕
图2所示的滤色器排列中，除上述G色以外的两种颜色以上的其他颜色(在本实施方式中为R、B的颜色)所对应的R滤光片、B滤光片在基本排列图案P内的滤色器排列的垂直方向及水平方向上的各行内配置一个以上。
R滤光片、B滤光片配置于滤色器排列的垂直方向及水平方向上的各行内，因此能够减少彩色莫尔条纹(伪色)的发生。
由此，能够将用于抑制伪色的发生的光学低通滤波器不配置于光学系统的从入射面到摄像面的光路上，或者即使在应用光学低通滤波器的情况下也可以应用将用于防止伪色的发生的高频率成分截止的作用弱的滤波器，能够避免有损分辨率。
〔特征(4)〕
图3示出将图2所示的基本排列图案P分割成四个3×3像素的状态。
如图3所示，基本排列图案P可以被当作由实线的框包围的3×3像素的A排列和由虚线的框包围的3×3像素的B排列沿水平、垂直方向交替排列而成的排列。
A排列及B排列分别将作为亮度系像素的G滤光片配置于四角和中央，且配置于两对角线上。而且，A排列中，隔着中央的G滤光片而将R滤光片排列于水平方向，并隔着中央的G滤光片而将B滤光片排列于垂直方向，另一方面，B排列中，隔着中央的G滤光片而将B滤光片排列于水平方向，并隔着中央的G滤光片而将R滤光片排列于垂直方向。即，A排列与B排列的R滤光片与B滤光片的位置关系相反，但是其他的配置也同样。
另外，如图4所示，A排列和B排列沿水平、垂直方向交替配置，由此A排列和B排列的四角的G滤光片成为对应于2×2像素的正方排列的G滤光片。
即，图2所示的滤色器排列(基本排列图案P)包含由G滤光片构成的对应于2×2像素的正方排列。
当前，如图5所示，从摄像元件14输出的马赛克图像以A排列为中心而提取出5×5像素的局部区域时，该局部区域内的四角的2×2像素的G像素成为图5所示的配置。
如图5所示，将2×2像素的G像素的像素值按照从左上至右下的顺序设为G1、G2、G3、G4时，这些G像素的像素值的垂直方向上的差量绝对值成为(|G1-G3|+|G2-G4|)/2，水平方向上的差量绝对值成为(|G1-G2|+|G3-G4|)/2，右上斜方向上的差量绝对值成为|G2-G3|，左上斜方向的差量绝对值成为|G1-G4|。
能够判定为与获取这四个相关绝对值中的最小的差量绝对值的方向存在相关性(相关方向)。
当前，如图4或图5所示，以3×3像素的A排列位于中央的方式从马赛克图像提取出5×5像素的局部区域时，2×2像素的G像素配置于四角。因此，在将上述局部区域内的A排列的3×3像素作为同时化处理的对象像素时，求出四角的按各方向的相关绝对值的总和(或平均值)，将获取按各方向的相关绝对值的总和(或平均值)中的最小的值的方向判定为同时化处理的对象像素中的亮度的相关方向。在进行同时化处理等时能够利用所判定的相关方向。
〔特征(5)〕
构成图2所示的滤色器排列基本排列图案P相对于该基本排列图案的中心(四个G滤光片的中心)呈点对称。而且，如图3所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片而呈点对称，且上下左右对称(线对称)。
由于这样的对称性，能够减小或简化后段的处理电路的电路规模。
〔特征(6)〕
如上所述，构成图2所示的滤色器排列的基本排列图案P的尺寸是(N×M)像素(N、M：3以上的整数)。而且，一个放大器中共有多个像素的共有像素的尺寸为(K×L)像素(K、L：2以上的整数)，详细情况在后文叙述。并且，基本排列图案P的尺寸大于共有像素的尺寸。即，满足N>K，M>L。
如上所述，摄像元件14由CMOS图像传感器构成。图6示出由CMOS图像传感器构成的摄像元件14的概略结构。如该图所示，摄像元件14构成为，包括形成于半导体基板的像素阵列30、垂直驱动扫描电路32、列信号处理电路34、水平驱动扫描电路36、信号线38及放大器40。
像素阵列30包括垂直方向及水平方向的二维状地排列的多个像素而构成。
垂直驱动扫描电路32将沿水平方向的扫描行上的多个像素一并选择而进行驱动。此外，也可以将扫描行上的像素逐个地选择而进行驱动。
列信号处理电路34由未图示的多个信号处理电路构成。针对水平方向上的每个共有像素设置该信号处理电路。各信号处理电路包括未图示的ADC(模拟-数字转换)电路而构成。该ADC电路将与来自各像素的像素值对应的摄像信号分别转换成数字信号。
水平驱动扫描电路36由包含于列信号处理电路34的多个信号处理电路分别连接的未图示的开关、对该开关进行通断控制的未图示的控制电路构成。通过将该开关接通，将由信号处理电路处理后的摄像信号向信号线38输出，该摄像信号经由放大器40而向摄像元件14的外部输出。
此外，垂直驱动扫描电路32、列信号处理电路34及水平驱动扫描电路36由驱动部22控制。
另外，像素阵列30沿垂直方向及水平方向将(K×L)像素(K、L：2以上的整数)设为共有像素，并针对每个该共有像素将对摄像信号进行放大的放大器设于各共有像素。
图7示出沿垂直方向及水平方向将2×2像素的共计四个像素设为共有像素、并利用同一放大器将这四个像素放大时的结构。
如图7所示，在作为像素的光电二极管PD1～PD4的阴极分别连接有分别由MOS晶体管等构成的开关SW1～SW4的一端。并且，开关SW1～SW4的另一端与复位开关RST及放大器AP的输入端连接，放大器AP的输出端与信号线S连接。信号线S与列信号处理电路34的未图示的信号处理电路连接。
电荷传送控制信号VT1～VT4从垂直驱动扫描电路32向开关SW1～SW4分别输入。垂直驱动扫描电路32将欲读出电荷的开关接通，由此，连接有该开关的光电二极管中所蓄积的电荷由放大器AP放大而向信号线S输出。
在本实施方式中，如图7所示，成为每2×2像素连接有一个放大器AP的结构，因此能够减少开关的个数，能够实现高精细化。此外，像素共有的像素数并不局限于2×2像素，可以为3×3像素以上，与沿垂直方向共有的像素数和沿水平方向共有的像素数也可以不同。
另外，如图7所示，在针对各光电二极管设有开关的MOS型图像传感器中，通过对每个扫描行、扫描行上的每多个像素及每多个像素中的每个像素依次施加快门脉冲而进行蓄积于光电二极管的电荷的扫出的所谓滚动快门方式来进行电荷的扫出。
具体而言，对于一个画面内的全部像素不是一齐进行复位，而是按照每个扫描行、扫描行上的每多个像素及每多个像素中的每个像素依次进行复位而开始曝光，执行摄像信号的读出。
在滚动快门方式的情况下，如图8所示，例如按照各扫描行反复进行复位、曝光、读出。
因此，例如在沿垂直方向对图像数据进行间拔读出的情况下，当在垂直方向的共有像素内欲读出多个行图像数据时，在共有像素内最初读出行上的像素的复位、曝光、读出结束之后，在共有像素内必须进行下一读出行上的像素的复位、曝光、读出。因此，曝光时机产生大的差别，给图像带来产生伪色等的坏影响。
例如图9所示，将共有像素设为3×3像素(图中粗线框所示)，考虑以垂直方向1/2间拔及水平方向1/2间拔来读出行图像数据的情况。如图9所示，将垂直方向的位置设为行，将水平方向的位置设为列，将各共有像素内的各像素设为像素1～9时，在垂直方向1/2间拔的情况下，每两行读出各像素的像素数据。而且，在水平方向1/2间拔的情况下，每两列读出各像素的像素数据。因此，读出图9的阴影线所示的像素的像素值。
在此，例如第1行第1列的像素1、第1行第3列的像素3、第3行第1列的像素7、第3行第3列的像素9成为3×3像素的共有像素内的像素。在共有像素内，共有一个放大器，因此无法一次读出这四个像素的像素数据。
因此，如图10所示，在最初的扫描中，如第1行第1列的像素1、第1行第7列的像素1、第1行第13列的像素1、···那样，对于第1行的各像素1中的以水平方向1/2间拔读出的位置的像素1进行扫描、即复位(R)、曝光(1_曝光)、读取(取)。
然后，如图10所示，当最初的扫描的复位结束时，开始下一扫描。即，如第1行第5列的像素2、第1行第11列的像素2、第1行第17列的像素2、···那样，对于第1行的各像素2中的以水平方向1/2间拔读出的位置的像素2进行复位(R)、曝光(2_曝光)、读取(取)。
当第2次的扫描的复位结束时，开始下一扫描。即，如第1行第3列的像素3、第1行第9列的像素3、第1行第15列的像素3、···那样，对于第1行的各像素3中的以水平方向1/2间拔读出的位置的像素3进行复位(R)、曝光(3_曝光)、读取(取)。
以后，如图10所示，第3行、第5行也与第1行同样地各进行3次扫描。这样一来，将3×3像素设为共有像素并沿垂直方向及水平方向均以1/2间拔读出各像素的像素数据时，沿垂直方向及水平方向均在共有像素内必须读出多个像素，因此每1行必须进行3次扫描。由此，即便是同一行的像素，曝光时机也不同，因此例如在对快速移动的被拍摄体进行动画摄影的情况下，在像素单位由于信号量变动而造成同时化处理等插补处理的精度变差，有时会产生伪色。
尤其是在图2所示的滤色器的情况下，在以垂直方向1/2间拔及水平方向1/2间拔来读取各像素的像素数据时，间拔后的像素的配置成为图11所示那样的配置。这种情况下，同一共有像素内的四角的像素1、3、5、7、9是G像素，曝光时机各不相同。因此，尤其是虚线区域所示的像素1、3、7、9以2×2像素相邻配置，因此曝光时机不同引起的信号量阶梯差所造成的坏影响增大。
因此，在本实施方式中，驱动摄像元件14以读出以在垂直方向上为K像素以上的周期沿着水平方向的行的行图像数据，详细情况在后文叙述。而且，此时，仅读出沿着水平方向的行上的各像素中的在水平方向上为L像素以上的周期的像素。在本实施方式中，由于共有像素为2×2像素(K＝L＝2)，因此读出以在垂直方向上为两行周期以上的周期沿水平方向的行图像数据。由此，在垂直方向的共有像素内不读出多个沿水平方向的行图像数据，能够防止曝光时机产生大的差别。而且，在水平方向上，沿水平方向仅读出L像素以上的周期的像素，因此在水平方向的共有像素内不读出多个像素的像素数据，能够防止曝光时机产生大的差别的情况。
即，在本实施方式中，分别沿着垂直方向及水平方向而在共有像素内仅读出一个像素，因此能够防止曝光时机产生大的差别。
另外，在本实施方式中，滤色器排列的特征(2)、(3)中，G滤光片、R滤光片、B滤光片在基本排列图案P内在滤色器排列的垂直方向及水平方向上的各行内配置至少一个以上，因此即使读出以基本排列图案的尺寸N×M以下的周期沿着水平方向和/或垂直方向的行的行图像数据，由于能获得R、G、B的各像素信号，因此也能够进行颜色重现。
摄像处理部16对从摄像元件14输出的摄像信号实施放大处理或相关双重采样处理、A/D转换处理等预先规定的处理，作为图像数据向图像处理部20输出。
图像处理部20对从摄像处理部16输出的图像数据实施所谓同时化处理。即，对于全部像素，将除对应的颜色以外的颜色的图像数据从周围的像素的像素数据进行插补，生成全部像素的R、G、B的图像数据。并且，对生成的R、G、B的图像数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行将这些信号再定尺寸为与摄影模式相应的尺寸的再定尺寸处理。
驱动部22根据来自控制部24的指示而进行从摄像元件14的摄像信号的读出驱动等。
控制部24根据摄影模式等而统一控制驱动部22及图像处理部20等。详细情况在后文叙述，控制部24对驱动部22发出指示以利用与摄影模式对应的读出方法来读出摄像信号，或者对图像处理部20发出指示以进行与摄影模式对应的图像处理。
根据摄影模式的不同，需要对来自摄像元件14的摄像信号进行间拔读出，因此控制部24对驱动部22发出指示以利用与指示的摄影模式对应的间拔方法来间拔地读出摄像信号。
作为摄影模式，包括拍摄静止图像的静止图像模式、对拍摄到的图像进行间拔而生成较高分辨率的HD(高精细)动画数据并记录到未图示的存储卡等记录介质中的HD动画模式、对拍摄到的图像进行间拔而将较低分辨率的取景动画(实时取景图像)向未图示的显示部输出的取景动画模式(实时取景模式)等动画模式，但摄影模式的种类并不局限于此。
接下来，作为本实施方式的作用，参照图12所示的流程图对由控制部24执行的处理进行说明。
此外，图12所示的处理是在被指示以执行与摄影模式对应的摄影的情况下执行的。而且，以下，说明以在垂直方向上为预先规定的周期来读出行图像数据的情况，即，对垂直方向上的预先规定的周期的行以外的行进行间拔(去除)读出的情况。而且，这种情况下的行图像数据是沿着水平方向排列的像素的像素数据的集合。
首先，在步骤100中，对驱动部22发出指示以利用与摄影模式对应的间拔方法来读出图像数据。
在本实施方式中，驱动摄像元件14以读出以在垂直方向上为两行以上的周期沿着水平方向的行的行图像数据，并且沿着水平方向的行上的各像素中，沿水平方向仅读出两个像素以上的周期的像素。即，控制部24发出指示以沿着垂直方向及水平方向均以1/2间拔读出(在本实施方式中，驱动部22及控制部24对应于行图像数据生成单元)。
由此，读出图13所示的阴影线表示的像素的像素数据。即，沿着垂直方向及水平方向均以两个像素周期来读出像素数据。
具体而言，如图13所示，在将垂直方向的位置设为行、将水平方向的位置设为列、将2×2像素(图中粗线框所示)的各共有像素内的各像素设为像素1～4时，在最初的扫描中，如第1行第1列的像素1、第1行第3列的像素1、第1行第5列的像素1、···那样，对第1行的全部像素1进行扫描。即，如图14所示，对第1行的全部的像素1进行复位(R)、曝光(1_曝光)、读取(取)。
并且，如图14所示，当最初的扫描的复位结束时，开始下一扫描。即，如第3行第1列的像素1、第3行第3列的像素1、第3行第5列的像素1、···那样，对第3行的全部像素1进行复位(R)、曝光(2_曝光)、读取(取)。
当第2次的扫描的复位结束时，开始下一扫描。即，如第5行第1列的像素1、第5行第3列的像素1、第5行第5列的像素1、···那样，对第5行的全部像素1进行复位(R)、曝光(3_曝光)、读取(取)。
以后，如图14所示，第5行、第7行、第9行等也与第1行同样地，各进行一次扫描。这样一来，即使将2×2像素设为共有像素而沿垂直方向及水平方向均以1/2间拔读出各像素的像素数据，沿垂直方向及水平方向均以共有像素的像素数以上的周期进行读出，因此每一行进行一次的扫描即可。
由此，同行的像素的曝光时机全部相同，因此例如将快速移动的被拍摄体设为动画摄影的情况下，在像素单位中，信号量也不会变动，能够防止同时化处理等插补处理的精度变差而产生伪色的情况。
此外，当沿垂直方向及水平方向均以1/2间拔读出时，成为图15所示的图像。
在步骤102中，对图像处理部20发出指示以对间拔读出的图像数据执行与摄影模式对应的图像处理(例如同时化处理、YC转换处理、再定尺寸处理等)(在本实施方式中，图像处理部20及控制部24对应于图像数据生成单元)。
此外，控制部24及图像处理部20可以由包括CPU、ROM、RAM、非易失性ROM等的计算机构成。这种情况下，将上述的处理的处理程序例如预先存储于非易失性ROM，CPU能够将其读入而执行。
这样一来，在本实施方式中，分别沿着垂直方向及水平方向而在共有像素内仅读出一个像素，因此一行的扫描进行一次即可，能够防止同行的像素的曝光时机产生差别。因此，例如即使将快速移动的被拍摄体设为动画摄影的情况下，也能够防止由于像素单位中信号量变动而造成同时化处理等插补处理的精度变差，从而防止伪色的发生。
此外，在本实施方式中，说明了如下情况：驱动摄像元件14以读出以在垂直方向上为K像素以上的周期沿着水平方向的行的行图像数据，并且驱动摄像元件14以使得沿着水平方向的行上的各像素中的、沿着水平方向仅读出L像素以上的周期的像素，但是也可以驱动摄像元件14以读出以在垂直方向上不足K像素的周期沿着水平方向的行的行图像数据。
即，如图16所示，在本实施方式中，说明了沿垂直方向及水平方向均在共有像素C内仅读出一个像素D的情况，但也可以如图17所示，沿着垂直方向在共有像素内读出多个像素D。
(第2实施方式)
接下来，说明本发明的第2实施方式。在本实施方式中，说明滤色器的变形例。
图18示出了本实施方式的滤色器。如该图所示，本实施方式的滤色器包含由对应于6×6像素的正方排列图案构成的基本排列图案P(由粗框表示的图案)，沿水平方向及垂直方向重复配置该基本排列图案P。即，该滤色器排列将R、G、B的各种颜色的滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性来排列。
另外，图18所示的滤色器排列中，将G滤光片配置于滤色器排列的垂直方向及水平方向上的各行内。
另外，图18所示的滤色器排列中，R滤光片、B滤光片在基本排列图案P内在滤色器排列的垂直方向及水平方向上的各行内配置一个以上。
图19示出将图18所示的基本排列图案P分割成四个3×3像素的状态。
如图19所示，基本排列图案P可以当作由实线的框包围的3×3像素的A排列和由虚线的框包围的3×3像素的B排列沿水平、垂直方向交替排列而成的排列。
A排列中，在中心配置R滤光片，在四角配置B滤光片，隔着中心的R滤光片而在上下左右配置G滤光片。另一方面，B排列中，在中心配置B滤光片，在四角配置R滤光片，隔着中心的B滤光片而在上下左右配置G滤光片。上述的A排列和B排列中，虽然R滤光片与B滤光片的位置关系相反，但是其他的配置同样。
如图20A所示，第2实施方式的滤色器可以当作上述A排列和B排列沿水平及垂直方向交替配置的情况。
当前，如图20A所示，对于从摄像元件14输出的马赛克图像以A排列为中心而提取出5×5像素的局部区域(由粗框表示的区域)提取的情况下，该局部区域内的八个G像素如图20B所示配置成十字形状。将这些G像素按照从左至右的顺序设为G1、G2、G3、G4、并按照从上至下的顺序设为G5、G6、G7、G8时，像素G1G2、像素G3G4在水平方向上相邻，像素G5G6、像素G7G8在垂直方向上相邻，像素G6G3、像素G2G7在左上斜方向上相邻，像素G6G2、像素G3G7在右上斜方向上相邻。
因此，通过求出上述的相邻的像素的像素值的差量绝对值，能够以最小像素间隔判定水平、垂直及倾斜(NE、NW)方向的各方向中的、亮度的变化最小的方向(相关性高的相关方向)。
即，水平方向的差量绝对值之和成为|G1-G2|+|G3-G4|，垂直方向的差量绝对值之和成为|G5-G6|+|G7-G8|，右上斜方向的差量绝对值之和成为|G6-G2|+|G3-G7|，左上斜方向的差量绝对值之和成为|G6-G3|+|G2-G7|。
能够判定为与获取这四个相关绝对值中的最小的差量绝对值的方向存在相关性(相关方向)。此外，可以在进行同时化处理等时利用所判定相关方向。
另外，构成图18所示的滤色器的基本排列图案P相对于该基本排列图案P的中心呈点对称。
如图19所示，基本排列图案内的A排列及B排列分别相对于中心的R滤光片或B滤光片呈点对称，且上下左右对称(线对称)。
另外，构成图18所示的滤色器排列的基本排列图案P的尺寸是(N×M)像素(N、M：3以上的整数)，比共有像素的尺寸(K×L)像素(K、L：2以上的整数)大。即，满足N>K、M>L。
这样一来，第2实施方式的滤色器具有与第1实施方式的滤色器的特征(1)、(3)～(6)相同的特征(关于特征(2)、(3)，具有如下特征：G滤光片、R滤光片、B滤光片在基本排列图案P内在滤色器排列的垂直方向及水平方向上的各行内配置一个以上)。
在这样的滤色器的情况下，与第1实施方式同样地沿垂直方向及水平方向均以1/2间拔进行读出时，间拔后的图像成为图21所示的图像。
此外，滤色器排列并不局限于上述各实施方式中说明的结构，在具有以下那样的滤色器排列的摄像元件的摄像装置中也可以应用本发明。
例如，作为具有上述特征(1)、(2)、(3)、(6)的滤色器排列，存在例如图22所示的基本排列图案P为3×3像素的滤色器。该滤色器排列是在3×3像素中的中心和四角配置G滤光片且在其余的四个像素处配置同数的R或B所得到的基本排列图案重复而成的结构。而且，沿垂直方向及水平方向均进行1/2间拔时的图像成为图22所示那样的图像。
另外，作为具有上述特征(1)、(2)、(3)、(6)的滤色器排列，如图23所示的基本排列图案P具有5×5像素的滤色器排列。该滤色器排列被配置成：在5×5像素中的两条对角线上配置G，而在其余的像素位置处在将R、B像素在5×5像素中的水平及垂直方向上的各行内配置一个以上，且该滤色器排列是将以G的个数多于R、B的个数的方式设定的基本排列图案重复而成的。而且，沿垂直方向及水平方向均进行1/2间拔时的图像成为如图23所示的图像。
除此以外，作为具有上述特征(1)、(3)、(4)、(5)、(6)的滤色器排列，存在如图24所示基本排列图案P为4×4像素的滤色器排列。该滤色器排列被配置成：在4×4像素中的两条对角线上配置G，而在其余的像素位置处将R、B像素在4×4像素中的水平及垂直方向上的各行内配置一个以上，且该滤色器排列是将以G的个数多于R、B的个数的方式设定的基本排列图案重复而成的。
另外，存在如图25所示基本排列图案P为5×5像素的滤色器排列。
另外，如图26所示，存在基本排列图案P为6×6像素的滤色器排列。该滤色器排列是G在R或B的外周呈矩形形状配置的第1子排列与G配置于中央部配置的第2子排列分别各两个地沿水平方向、垂直方向彼此交替相邻地配置的基本排列图案重复而成的。在该排列中，在特征(3)中，还具有R及B在滤色器排列的倾斜(NE、NW)方向(第3方向)上的各行内配置一个以上的特征。
另外，存在如图27所示基本排列图案P为7×7像素的滤色器排列、如图28所示基本排列图案P为8×8像素的滤色器排列等。
此外，当考虑到同时化处理或动画摄影时的间拔处理等的图像处理的容易度时，N、M优选为10以下。
另外，在上述实施方式中，说明了具有RGB的三原色的滤色器的彩色摄像元件，但本发明并不局限于此，也能够应用到RGB的三原色+其他颜色(例如，翠绿(E))这四种颜色的滤色器例如图29所示那样的滤色器。而且，在具有白色或透明(W)滤光片作为其他颜色的滤色器中也可以应用本发明。例如可以取代图29的翠绿而配置W滤光片。这种情况下，W与G的组合、或W成为最有助于亮度信号的第1色。
另外，在具有作为原色RGB的补色的C(青绿)、M(洋红)、Y(黄)中加入了G的四种颜色的补色系的滤色器的彩色摄像元件中也可以应用本发明。
另外，在本实施方式中，说明了以在垂直方向及水平方向均为两像素周期来读出而生成图像数据的情况，但也可以读出全像素量的像素的像素信号，沿垂直方向及水平方向均选择性地使用两个像素周期的像素的像素数据(不使用或不存储其他像素的像素数据)，来生成图像数据。而且，也可以读出全像素量的像素的像素信号而暂时存储于RAM等存储器，沿垂直方向及水平方向均选择性地使用两个像素周期的像素的像素数据而生成图像数据(在该方式的情况下，摄像处理部16或图像处理部20对应于行图像数据生成单元)。
此外，本发明并未限定为上述的实施方式，在不脱离本发明的主旨的范围内当然能够进行各种变形。
附图标记说明
10   摄像装置
12   光学系统
14   摄像元件
16   摄像处理部
20   图像处理部
22   驱动部
24   控制部
30   像素阵列
32   垂直驱动扫描电路
34   列信号处理电路
36   水平驱动扫描电路
38   信号线
40   放大器
AP   放大器
P   基本排列图案
PD1～PD4  光电二极管
RST   复位开关
S   信号线
SW1～SW4  开关

Claims (8)

1.一种摄像装置，具备：
摄像元件，包含沿预先规定的第1方向即垂直方向及与所述第1方向交叉的第2方向即水平方向排列的多个光电转换元件；
放大单元，沿所述第1方向及所述第2方向将K×L像素设为共有像素，按照各该共有像素来将摄像信号放大，其中K、L为2以上的整数；
滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片沿着所述第1方向及所述第2方向以N×M像素的预先规定的图案进行配置，其中N>K，M>L；
行图像数据生成单元，对于所述摄像元件，对每个所述像素、沿着所述第2方向的每个扫描行及沿着所述第2方向的扫描行上的每多个像素中的每个像素依次施加快门脉冲而进行电荷的扫出，并且，以设定的周期从所述摄像元件读出所述多个像素的像素信号，根据所读出的所述像素信号来生成所述多个像素中的以在所述第1方向上为K像素以上且N像素以下的周期沿所述第2方向排列的像素的行图像数据；及
图像数据生成单元，基于所述行图像数据而生成图像数据。
2.根据权利要求1所述的摄像装置，其中，
所述行图像数据生成单元生成沿所述第2方向以L像素以上且M像素以下的周期排列的像素的像素数据。
3.根据权利要求1所述的摄像装置，其中，
所述第1滤光片在所述滤色器内在所述第1方向、所述第2方向、与所述第1方向及所述第2方向交叉的第3方向即倾斜方向上的各行内配置一个以上，
所述第2色的各种颜色所对应的所述第2滤光片在所述基本排列图案内在所述第1方向及所述第2方向上的各行内分别配置一个以上。
4.根据权利要求1所述的摄像装置，其中，
所述滤色器包含由所述第1滤光片构成的与2×2像素对应的正方排列。
5.根据权利要求1所述的摄像装置，其中，
所述第1色是绿(G)色，所述第2色是红(R)色及蓝(B)色。
6.根据权利要求5所述的摄像装置，其中，
所述滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，
所述滤色器将第1排列和第2排列交替地沿所述第1方向及所述第2方向排列而构成，
所述第1排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置B滤光片，且隔着中心的G滤光片而在左右排列有R滤光片，
所述第2排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置R滤光片，且隔着中心的G滤光片而在左右排列有B滤光片。
7.根据权利要求5所述的摄像装置，其中，
所述滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，
所述滤色器将第1排列和第2排列交替地沿所述第1方向及所述第2方向排列而构成，
所述第1排列对应于3×3像素，在中心配置R滤光片，在四角配置B滤光片，隔着中心的R滤光片而在上下左右配置G滤光片，
所述第2排列对应于3×3像素，在中心配置B滤光片，在四角配置R滤光片，隔着中心的B滤光片而在上下左右配置G滤光片。
8.一种摄像装置的控制方法，该摄像装置具备：
摄像元件，包含沿预先规定的第1方向即垂直方向及与所述第1方向交叉的第2方向即水平方向排列的多个光电转换元件；
放大单元，沿所述第1方向及所述第2方向将K×L像素设为共有像素，按照各该共有像素将摄像信号放大，其中K、L为2以上的整数；及
滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片沿着所述第1方向及所述第2方向以N×M像素的预先规定的图案进行配置的，其中N>K，M>L，
所述摄像装置的控制方法包括如下步骤：
对于所述摄像元件，对每个所述像素、沿着所述第2方向的每个扫描行及沿着所述第2方向的扫描行上的每多个像素中的每个像素依次施加快门脉冲而进行电荷的扫出，并且，以设定的周期从所述摄像元件读出所述多个像素的像素信号，
根据所读出的所述像素信号来生成所述多个像素中的以在所述第1方向上为K像素以上且N像素以下的周期沿所述第2方向排列的像素的行图像数据，
基于所述行图像数据来生成图像数据。
CN201280065347.3A 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法 Expired - Fee Related CN104025566B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-286688 2011-12-27
JP2011286688 2011-12-27
PCT/JP2012/083973 WO2013100093A1 (ja) 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
CN104025566A CN104025566A (zh) 2014-09-03
CN104025566B true CN104025566B (zh) 2015-10-14

Family

ID=48697572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280065347.3A Expired - Fee Related CN104025566B (zh) 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法

Country Status (5)

Country Link
US (1) US8964087B2 (zh)
EP (1) EP2800355B1 (zh)
JP (1) JP5607265B2 (zh)
CN (1) CN104025566B (zh)
WO (1) WO2013100093A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5702895B2 (ja) * 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
JP2015201724A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置および画像処理方法
US10151862B2 (en) * 2016-04-27 2018-12-11 Visera Technologies Company Limited Color filter array having low density of blue color
CN116863869B (zh) * 2023-09-04 2023-12-12 长春希达电子技术有限公司 一种亚像素的排布结构及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011004318A (ja) * 2009-06-22 2011-01-06 Sony Corp 撮像素子、電荷読み出し方法、撮像装置
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ
JP2011082768A (ja) * 2009-10-06 2011-04-21 Canon Inc 固体撮像装置および撮像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876590A (en) * 1988-06-17 1989-10-24 Eastman Kodak Company Low resolution verifier for a still video image
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
DE102006038646B4 (de) * 2006-08-17 2011-03-24 Baumer Optronic Gmbh Bildverarbeitungsvorrichtung für Farb-Bilddaten
WO2008067472A2 (en) * 2006-11-29 2008-06-05 President And Fellows Of Harvard College A new spatio-spectral sampling paradigm for imaging and a novel color filter array design
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5400406B2 (ja) * 2009-02-06 2014-01-29 キヤノン株式会社 撮像装置
US20110009041A1 (en) 2009-07-07 2011-01-13 Ross Industries, Inc. Food conditioner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011004318A (ja) * 2009-06-22 2011-01-06 Sony Corp 撮像素子、電荷読み出し方法、撮像装置
JP2011029379A (ja) * 2009-07-24 2011-02-10 Sony Corp 固体撮像装置とその製造方法並びにカメラ
JP2011082768A (ja) * 2009-10-06 2011-04-21 Canon Inc 固体撮像装置および撮像装置

Also Published As

Publication number Publication date
US8964087B2 (en) 2015-02-24
JPWO2013100093A1 (ja) 2015-05-11
WO2013100093A1 (ja) 2013-07-04
JP5607265B2 (ja) 2014-10-15
EP2800355A4 (en) 2015-08-12
CN104025566A (zh) 2014-09-03
US20140327797A1 (en) 2014-11-06
EP2800355B1 (en) 2017-12-20
EP2800355A1 (en) 2014-11-05

Similar Documents

Publication Publication Date Title
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
JP6380974B2 (ja) 撮像素子、撮像装置
CN103563361B (zh) 图像处理设备和方法以及成像设备
CN103444183B (zh) 彩色摄像元件及摄像装置
JP5600814B2 (ja) 画像処理装置及び方法並びに撮像装置
CN104025566B (zh) 摄像装置及摄像装置的控制方法
CN103621070B (zh) 摄像装置及摄像装置的控制方法
CN103430552B (zh) 摄像装置
JPH09238355A (ja) 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
EP2731335A1 (en) Imaging device, imaging method, and imaging program
JP2009021985A (ja) 撮像装置及び撮像装置の駆動方法
CN104041019B (zh) 摄像装置及摄像装置的控制方法
CN104012083B (zh) 摄像装置及摄像装置的控制方法
JP5411390B2 (ja) カラー撮像素子
CN104025576B (zh) 摄像装置及摄像装置的控制方法
JP6069857B2 (ja) 撮像装置
JP2007088732A (ja) 固体撮像素子
US20130038772A1 (en) Image processing apparatus and image processing method
JP2018207502A (ja) 撮像素子、撮像装置
CN104011575B (zh) 摄像装置及摄像装置的控制方法
CN104025575B (zh) 摄像装置及摄像装置的控制方法
JP6010943B2 (ja) 撮像装置
JP2019161384A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151014

Termination date: 20191227