CN104025576B - 摄像装置及摄像装置的控制方法 - Google Patents

摄像装置及摄像装置的控制方法 Download PDF

Info

Publication number
CN104025576B
CN104025576B CN201280064783.9A CN201280064783A CN104025576B CN 104025576 B CN104025576 B CN 104025576B CN 201280064783 A CN201280064783 A CN 201280064783A CN 104025576 B CN104025576 B CN 104025576B
Authority
CN
China
Prior art keywords
row
pixel
view data
color
optical filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280064783.9A
Other languages
English (en)
Other versions
CN104025576A (zh
Inventor
田中诚二
林健吉
河合智行
仓桥秀和
河村典子
堀井洋史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104025576A publication Critical patent/CN104025576A/zh
Application granted granted Critical
Publication of CN104025576B publication Critical patent/CN104025576B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供摄像装置及摄像装置的控制方法，能够在使用了具备拜耳排列以外的排列的滤色器的摄像元件的情况下进行有效的间拔读出。摄像装置具备：摄像元件(14)，包括排列于第1方向及第2方向的多个光电转换元件；滤色器，重复配置有第1滤光片和第2滤光片以(N×M)像素(N、M：3以上的整数)的预先规定的图案配置而得到的基本排列图案；行图像数据生成单元，从摄像元件(14)以设定的周期读出多个像素中的像素信号，并根据读出的像素信号，生成多个像素中的在第1方向上以(N－k)(0<k<N)行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据；图像数据生成单元，基于行图像数据来生成图像数据。

Description

摄像装置及摄像装置的控制方法
技术领域
本发明涉及摄像装置、摄像装置的控制方法、及控制程序，尤其是涉及具备彩色摄像元件的摄像装置、摄像装置的控制方法、及控制程序。
背景技术
在彩色摄像元件中广泛采用的颜色排列即原色系拜耳排列(例如参照专利文献1～3)将对人眼敏感且最有助于获得亮度信号的绿(G)像素配置成相间方格状，并将红(R)、蓝(B)配置成线型顺序。
专利文献1：日本特开2002－135793号公报
专利文献2：日本专利第3960965号公报
专利文献3：日本特开2004－266369号公报
发明内容
发明要解决的课题
然而，在以往的采用了拜耳排列的彩色摄像元件中，例如为了生成动画用的图像数据，在垂直方向上进行间拔读出的情况下，例如在垂直方向上每2n(n为自然数)行读出1行量的图像数据时(垂直方向1/2n间拔、偶数间拔)，读出的是仅包含G和R、或G和B这2色的行图像数据，无法进行颜色再现。因此，通常是每(2n+1)行读出1行量的图像数据的间拔读出(垂直方向1/(2n+1)间拔、奇数间拔)。而且，即使在进行除此以外的间拔读出的情况下，为了得到颜色再现，也需要交替地读出包含G和R的水平行与包含G和B的水平行，读出方式非常受限制。
另外，在拜耳排列中，在生成G信号为倾斜方向、R、B信号为水平、垂直方向的高频信号时的再现精度存在问题，对于高频信号存在无法抑制彩色莫尔条纹(伪色)的发生的问题，但是在进行了前述的那样的间拔读出的情况下，成为与原来的拜耳排列相同的彩色排列，因此产生相同问题。
本发明为了解决上述问题点而作出，目的在于提供在使用了具备拜耳排列以外的排列的滤色器的摄像元件的情况下，能够进行有效的间拔读出的摄像装置、摄像装置的控制方法、及控制程序。
用于解决课题的方法
为了解决上述课题，本发明的摄像装置的特征在于，具备：摄像元件，包括在预先规定的第1方向及与第1方向交叉的第2方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下的基本排列图案：与最有助于获得亮度信号的第1色对应的第1滤光片和与第1色以外的两色以上的第2色对应的第2滤光片在第1方向及第2方向上以(N×M)像素(N、M：3以上的整数)的预先规定的图案配置；行图像数据生成单元，从摄像元件以设定的周期读出多个像素中的像素信号，并根据读出的像素信号，生成多个像素中的在第1方向上以(N－k)(0<k<N，k为自然数)行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据；图像数据生成单元，基于行图像数据来生成图像数据。
根据本发明，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第1方向上以(N－k)行(0<k<N，k为自然数)周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据。即，以小于基本排列图案的第1方向的像素数N的周期来生成行图像数据，因此与以基本排列图案的第1方向的像素数以上的周期来生成行图像数据的情况相比，间拔率可以减小，能够抑制画质的劣化。
此外，可以是，行图像数据生成单元以第1方向上(N－k)行周期作为设定的周期从摄像元件读出像素信号而生成行图像数据。
根据本发明，从摄像元件沿第1方向间拔读出像素信号，因此与将全部行的量的像素信号读出后将在第1方向上以(N－k)行周期排列的行图像数据抽出来生成图像数据的情况相比，能够缩短从摄像元件读出像素信号的时间。
另外，可以是，基本排列图案在该基本排列图案的整个区域中相对于第1方向为线对称或者在该基本排列图案的第1方向的2个一半周期的区域中相对于第1方向分别为线对称，行图像数据生成单元生成以(N－1)行周期作为设定的周期而在第1方向上排列且沿第2方向排列的像素的像素信号所构成的行图像数据。
根据本发明，间拔后的图像也与间拔前同样地成为包含基本排列图案重复而成的图像这样的图像，因此能够与静止图像摄影那样不进行图像数据的间拔的情况共通地进行图像处理。
另外，可以是，行图像数据生成单元生成以(N－k)行(0<k≤N/2)周期作为设定的周期而在第1方向上排列且沿第2方向排列的像素的像素信号构成的行图像数据，并根据该行图像数据，生成在第1方向上以N行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据，摄像装置具备像素混合单元，该像素混合单元对第1方向上以(N－k)行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在第1方向上以N行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据同色像素彼此分别进行像素混合。
根据本发明，对在第1方向上以(N－k)行周期沿第2方向读出的行图像数据与从行图像数据起在第1方向上以N行周期沿第2方向读出的行图像数据同色像素彼此分别进行像素混合，因此与未进行像素混合的情况相比，能够提高图像的S/N比。
另外，可以是，摄像元件包括放大单元，该放大单元将第1方向上(N－k)像素以下的多个像素作为共有像素，对每个该共有像素放大摄像信号。
根据本发明，在第1方向的共有像素内不会读出多个行图像数据，因此能够防止各行的曝光时机较大地错动的情况。
另外，可以是，摄像元件具备切换单元，切换第1生成方法和第2生成方法的，该第1生成方法生成在第1方向上以(N－k)行(0<k<N)周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据，该第2生成方法生成在第1方向上以(N+k)行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据。
根据本发明，例如根据摄影模式能够切换是利用第1生成方法进行生成还是利用第2生成方法进行生成，因此根据摄影模式能够适当地控制图像的分辨率或S/N比，并且在AWB(自动白平衡)控制或AE(自动露出)控制中能够进行适当的设定。
另外，可以是，第1滤光片在滤色器面内在第1方向、第2方向、与第1方向及第2方向交叉的第3方向的各行内配置1个以上，与第2色的各色对应的第2滤光片在基本排列图案内在第1方向及第2方向的各行内分别配置1个以上。
根据本发明，与最有助于得到亮度信号的第1色对应的第1滤光片在滤色器内配置在第1方向～第3方向的各行内，因此能够提高高频区域的去马赛克算法处理的再现精度。而且，关于第1色以外的两色以上的第2色所对应的第2滤光片，在基本排列图案内，在第1方向及第2方向的各行内配置1个以上，因此能够减少彩色莫尔条纹(伪色)的发生而实现高分辨率化。
另外，可以是，滤色器包含由第1滤光片构成的与2×2像素对应的正方排列。
根据本发明，基于与2×2像素对应的正方排列的4像素的各像素间的像素值的差量值能够以最小像素间隔判别亮度的相关方向为4方向中的哪一方向。
另外，可以是，第1色是绿(G)色，第2色是红(R)色及蓝(B)色。
另外，可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，滤色器由第1排列和第2排列交替地排列于第1方向及第2方向上而构成，该第1排列对应于3×3像素，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，该第2排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。
根据本发明，以第1排列或第2排列为中心而提取5×5像素(马赛克图像的局部区域)时，在5×5像素的四角存在2×2像素的G像素。这些2×2像素的G像素的像素值在4方向的相关方向的判别中能够使用。
另外，可以是，滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，滤色器由第1排列和第2排列交替地排列于第1方向及第2方向上而构成，该第1排列对应于3×3像素，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片上下左右配置有G滤光片，该第2排列对应于3×3像素，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片上下左右配置G滤光片。
根据本发明，在以第1排列或第2排列为中心提取5×5像素(马赛克图像的局部区域)时，隔着5×5像素的中心的像素(R像素或B像素)存在沿水平及垂直方向分别相邻的G像素。上述的G像素(总计8像素)的像素值在4方向的相关方向的判别中能够使用。
另外，可以是，滤色器相对于基本排列图案的中心而点对称。
根据本发明，能够减小后段的处理电路的电路规模。
本发明的摄像装置的控制方法中，该摄像装置具备：摄像元件，包括在预先规定的第1方向及与第1方向交叉的第2方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案：与最有助于获得亮度信号的第1色对应的第1滤光片和与第1色以外的两色以上的第2色对应的第2滤光片在第1方向及第2方向上以(N×M)像素(N、M：3以上的整数)的预先规定的图案配置，摄像装置的控制方法的特征在于，从摄像元件以设定的周期读出多个像素中的像素信号，根据读出的像素信号，生成多个像素中的在第1方向上以(N－k)(0<k<N，k为自然数)行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据，基于行图像数据来生成图像数据。
另外，本发明的控制程序的特征在于，用于使控制摄像装置的计算机执行处理，该摄像装置具备：摄像元件，包括在预先规定的第1方向及与第1方向交叉的第2方向上排列的多个光电转换元件；滤色器，设于由多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案：与最有助于获得亮度信号的第1色对应的第1滤光片和与第1色以外的两色以上的第2色对应的第2滤光片在第1方向及第2方向上以(N×M)像素(N、M：3以上的整数)的预先规定的图案配置，该处理包括以下步骤：从摄像元件以设定的周期读出多个像素中的像素信号；根据读出的像素信号，生成多个像素中的在第1方向上以(N－k)(0<k<N，k为自然数)行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据；基于行图像数据来生成图像数据。
本发明的控制程序的特征在于，用于使计算机执行处理，所述处理包括以下步骤：根据从包括在预先规定的第1方向及与第1方向交叉的第2方向上排列的多个光电转换元件和设于由多个光电转换元件构成的多个像素上的滤色器的摄像元件以设定的周期读出多个像素中的像素信号而得到的像素信号，生成多个像素中的在第1方向上以(N－k)(0<k<N，k为自然数)行周期排列且沿第2方向排列的像素的像素信号所构成的行图像数据，所述滤色器重复配置有以下基本排列图案：与最有助于获得亮度信号的第1色对应的第1滤光片和与第1色以外的两色以上的第2色对应的第2滤光片在第1方向及第2方向上以(N×M)像素(N、M：3以上的整数)的预先规定的图案配置；基于行图像数据来生成图像数据。
发明效果
根据本发明，具有以下的效果：能够在使用了具备拜耳排列以外的排列的滤色器的摄像元件的情况下进行有效的间拔读出。
附图说明
图1是第1实施方式的摄像装置的概略框图。
图2是第1实施方式的滤色器的构成图。
图3是表示第1实施方式的滤色器包含的基本排列图案的图。
图4是表示将第1实施方式的滤色器包含的6×6像素的基本排列图案分割成3×3像素的A排列和B排列，并将它们沿水平及垂直方向重复配置而成的滤色器的图。
图5是表示第1实施方式的滤色器的G像素的特征性的配置的图。
图6是用于对沿垂直方向每(N－1)行读出1行量的图像数据时的图像进行说明的图。
图7是用于对沿垂直方向为线对称的滤色器进行说明的图。
图8是用于对沿垂直方向为线对称的滤色器进行说明的图。
图9是用于对沿垂直方向为线对称的滤色器进行说明的图。
图10是表示由控制部执行的处理的流程图。
图11是第2实施方式的滤色器的构成图。
图12是表示第2实施方式的滤色器包含的基本排列图案的图。
图13A是表示将第2实施方式的滤色器包含的6×6像素的基本排列图案分割成3×3像素的A排列和B排列，并将它们沿水平及垂直方向重复配置而成的滤色器的图。
图13B是表示第2实施方式的滤色器的G像素的特征性的配置的图。
图14是用于对第3实施方式的像素加法运算处理进行说明的图。
图15是第4实施方式的由CMOS传感器构成的摄像元件的概略构成图。
图16是表示像素共有的结构的构成图。
图17是用于对各扫描行的曝光等的时机进行说明的图。
图18是用于对第5实施方式的读出行的切换进行说明的图。
图19是用于对第5实施方式的读出行的切换进行说明的图。
图20是表示滤色器的变形例的图。
图21是表示滤色器的变形例的图。
图22是表示滤色器的变形例的图。
图23是表示滤色器的变形例的图。
图24是表示滤色器的变形例的图。
图25是表示滤色器的变形例的图。
图26是表示滤色器的变形例的图。
图27是表示滤色器的变形例的图。
具体实施方式
以下，参照附图，说明本发明的实施方式。
(第1实施方式)
图1示出了本实施方式的摄像装置10的概略框图。摄像装置10包含光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22、及控制部24而构成。
光学系统12包含例如由多个光学透镜构成的透镜组、光圈调整机构、变焦机构、及自动焦点调节机构等而构成。
摄像元件14是在包含排列于水平方向及垂直方向的多个光电转换元件的摄像元件例如CCD(Charge Coupled Device)或CMOS(Complementary Metal OxideSemiconductor)等摄像元件上配置有滤色器的结构的所谓单板式的摄像元件。
图2示出本实施方式的滤色器的一部分。在各像素上，配置有红(R)、绿(G)、蓝(B)这3原色的滤色器中的任一个。
<滤色器排列的特征>
第1实施方式的滤色器具有下述的特征(1)～(6)。
〔特征(1)〕
滤色器排列成为将基本排列图案重复配置的结构，该基本排列图案是将红(R)、绿(G)、蓝(B)这3原色的滤光片沿着垂直方向及水平方向以(N×M)像素(N、M：3以上的整数)的预先规定的图案配置，并将绿(G)的滤光片与红(R)及蓝(B)中的至少一方的颜色的滤光片沿着垂直方向及水平方向配置而成的基本排列图案。
本实施方式的图2所示的滤色器作为一例包含由对应于6×6像素(N＝M＝6)的正方排列图案构成的基本排列图案P(由粗框表示的图案)，并将该基本排列图案P沿垂直方向(第1方向)及水平方向(第2方向)重复配置。即，该滤色器将R、G、B这各色的滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性进行排列。
这样，R滤光片、G滤光片、B滤光片以规定的周期性进行排列，因此在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法处理(也称为去马赛克处理。以下相同)等时，能够按照重复图案进行处理。
〔特征(2)〕
图2所示的滤色器排列中，与最有助于获得亮度信号的颜色(在本实施方式中为G色)对应的G滤光片配置于滤色器排列的作为第1方向的垂直方向、作为第2方向的水平方向、及在滤色器面内与第1方向及第2方向交叉的第3方向即倾斜(NE、NW)方向(第3方向)的各行内。需要说明的是，NE表示斜右上方向，NW表示斜右下方向。例如，在正方形的像素的排列的情况下，斜右上及斜右下方向相对于水平方向分别成为45°的方向，但若是长方形的像素的排列，则是长方形的对角线的方向，根据长边/短边的长度而其角度改变。
与亮度系像素对应的G滤光片配置在滤色器排列的垂直方向、水平方向及倾斜(NE、NW)方向的各行内，因此无论成为高频的方向如何都能够提高高频区域的去马赛克算法处理的再现精度。
〔特征(3)〕
图2所示的滤色器排列中，与上述G色以外的两色以上的其他的颜色(在本实施方式中为R、B的颜色)对应的R滤光片、B滤光片在基本排列图案P内的滤色器排列的垂直方向及水平方向的各行内配置1个以上。
R滤光片、B滤光片配置在滤色器排列的垂直方向及水平方向的各行内，因此能够减少彩色莫尔条纹(伪色)的发生。
由此，能够将用于抑制伪色的发生的光学低通滤波器不配置在光学系统的从入射面到摄像面的光路上，或者即使在应用光学低通滤波器的情况下也可以适用用于防止伪色产生的截止高频率成分的作用弱的装置，能够避免损害分辨率。
〔特征(4)〕
图3示出将图2所示的基本排列图案P四分为3×3像素的状态。
如图3所示，基本排列图案P可以被当作由实线的框包围的3×3像素的A排列和由虚线的框包围的3×3像素的B排列沿水平、垂直方向交替排成的排列。
A排列及B排列分别将作为亮度系像素的G滤光片配置在四角和中央，且配置在两对角线上。而且，A排列隔着中央的G滤光片在水平方向上排列有R滤光片，在垂直方向上排列有B滤光片，另一方面，B排列隔着中央的G滤光片在水平方向上排列有B滤光片，在垂直方向上排列有R滤光片。即，A排列与B排列的R滤光片与B滤光片的位置关系颠倒，但是其他的配置也同样。
另外，A排列和B排列的四角的G滤光片如图4所示，A排列和B排列沿水平、垂直方向交替配置，由此成为对应于2×2像素的正方排列的G滤光片。
即，图2所示的滤色器排列(基本排列图案P)包含由G滤光片构成的对应于2×2像素的正方排列。
现在，如图5所示，从摄像元件14输出的马赛克图像以A排列为中心而提取5×5像素的局部区域时，该局部区域内的四角的2×2像素的G像素成为图5所示的配置。
如图5所示，将2×2像素的G像素的像素值按照从左上至右下的顺序设为G1、G2、G3、G4时，这些G像素的像素值的垂直方向的差的绝对值为(|G1－G3|+|G2－G4|)/2，水平方向的差的绝对值为(|G1－G2|+|G3－G4|)/2，右上斜方向的差的绝对值为|G2－G3|，左上斜方向的差的绝对值为|G1－G4|。
能够判别为这4个相关绝对值中差的绝对值为最小的方向具有相关性(相关方向)。
现在，如图4或图5所示，以3×3像素的A排列位于中央的方式从马赛克图像提取5×5像素的局部区域时，2×2像素的G像素配置在四角。因此，在将上述局部区域内的A排列的3×3像素作为去马赛克算法处理的对象像素时，求出四角的各方向的相关绝对值的总和(或平均值)，将各方向的相关绝对值的总和(或平均值)中值为最小的的方向判别为去马赛克算法处理的对象像素中的亮度的相关方向。判别的相关方向在进行去马赛克算法处理等时能够利用。
〔特征(5)〕
构成图2所示的滤色器排列基本排列图案P相对于该基本排列图案的中心(4个G滤光片的中心)而点对称。而且，如图3所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片而点对称，且上下左右成为对称(线对称)。
由于这样的对称性，能够减小或简化后段的处理电路的电路规模。
〔特征(6)〕
构成图2所示的滤色器排列的基本排列图案P在从摄像元件14沿垂直方向以(N－1)行周期读出沿水平方向的行的行图像数据时，成为基本排列图案P重复而成的图像。即，在图2的滤色器的情况下，间拔后的图像成为基本排列图案P重复而成的图像。图2的滤色器的基本排列图案为6×6像素，因此如图6的箭头所示，在垂直方向上以5行周期读出行图像数据(垂直方向1/5间拔)，由此间拔后的图像成为基本排列图案P重复而成的图像。
即，当基本排列图案P的垂直方向的行从上方起设为1～6行时，沿垂直方向以5行周期读出时的顺序成为1、6、5、4、3、2、1、6、5、4、3、2、1…的顺序。因此，在间拔后的图像中，虽然相位错动，但由于包含基本排列图案P，因此与间拔前同样地包含基本排列图案重复而成的图像。
这样，在沿垂直方向以(N－1)行周期读出沿水平方向的行的行图像数据时，作为成为基本排列图案P重复而成的图像的条件是以下情况：在滤色器排列的基本排列图案的整个区域内相对于垂直方向为线对称，或者在该基本排列图案的垂直方向的2个一半周期的区域内相对于垂直方向分别为线对称。
例如，图2所示的滤色器在基本排列图案的垂直方向的一半周期的区域即垂直方向上的1～3行的区域内，以第2行为中心沿垂直方向为线对称，在垂直方向上的4～6行的区域内，以第5行为中心而为线对称。
在这样的滤色器的情况下，沿垂直方向以(N－1)行周期读出行图像数据时，虽然相位错动但成为基本排列图案重复而成的图像。在图7中，示出了在N＝6的滤色器的基本排列图案的垂直方向的2个一半周期的区域内分别成为线对称时的图像图。
另外，在图8中，示出了在N＝6的情况下，以第3、4行为中心而成为线对称的基本排列图案的图像图，在图9中，示出了在N＝5的情况下，以第3行为中心成为线对称的基本排列图案的图像图。这些情况下，在沿垂直方向以(N－1)行周期读出行图像数据时，间拔后的图像也为包含基本排列图案重复而成的图像这样的图像。
另外，例如图2所示的基本排列图案那样，可以还相对于水平方向为线对称，或者在该基本排列图案的水平方向的2个一半周期的区域内相对于水平方向分别为线对称。
摄像处理部16对从摄像元件14输出的摄像信号实施放大处理或相关双重采样处理、A/D转换处理等的预先确定的处理，作为图像数据向图像处理部20输出。
图像处理部20对从摄像处理部16输出的图像数据实施所谓去马赛克算法处理。即，关于全部像素，对对应的颜色以外的颜色的图像数据根据周围的像素的像素数据进行插补，生成全部像素的R、G、B的图像数据。并且，对生成的R、G、B的图像数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行将这些信号缩放为与摄影模式相应的尺寸的缩放处理。
驱动部22按照来自控制部24的指示而进行从摄像元件14读出摄像信号的读出驱动等。
控制部24根据摄影模式等而统一控制驱动部22及图像处理部20等。详细情况后述，控制部24指示驱动部22使得以与摄影模式对应的读出方法来读出摄像信号，或者指示图像处理部20以进行与摄影模式对应的图像处理。
根据摄影模式的不同，有时需要对来自摄像元件14的摄像信号进行间拔读出，因此控制部24指示驱动部22以与所指示的摄影模式对应的间拔方法间拔地读出摄像信号。
作为摄影模式包括：拍摄静止图像的静止图像模式、对拍摄到的图像进行间拔而生成较高分辨率的HD(高清)动画数据并记录在未图示的存储卡等记录介质中的HD动画模式、对拍摄到的图像进行间拔而将较低分辨率的实时取景动画(实时取景图像)输出到未图示的显示部的实时取景动画模式(实时取景模式)等动画模式，但摄影模式的种类并不局限于此。
接下来，作为本实施方式的作用，对于由控制部24执行的处理，参照图10所示的流程图进行说明。
需要说明的是，图10所示的处理在指示了执行与摄影模式对应的摄影的情况下执行。而且，以下，说明在垂直方向上以预先规定的周期读出行图像数据的情况，即，对垂直方向上的预先规定的周期的行以外的行进行间拔(去除)而读出的情况。而且，这种情况的行图像数据是沿水平方向排列的像素的像素数据的集合。
首先，在步骤100中，以通过与摄影模式对应的间拔方法读出图像数据的方式对驱动部22作出指示。
在本实施方式中，指示驱动部22以从摄像元件14在垂直方向上以(N－k)行(0<k<N)周期读出沿水平方向的行的行图像数据。即，指示驱动部22使得以基本排列图案P的垂直方向的周期以下的周期读出沿水平方向的行的行图像数据(在本实施方式中，驱动部22及控制部24对应于行图像数据生成单元)。
例如图2所示的滤色器为N＝M＝6，为了使间拔后的图像成为包含基本排列图案P的图像而设为k＝1。因此，指示驱动部22以在垂直方向上以5行周期仅读出沿水平方向的行的行图像数据。由此，垂直方向每5行读出1行量的图像数据，该图像成为包含基本排列图案P重复而成的图像这样的图像。
在步骤102中，指示图像处理部20以对间拔读出后的图像数据执行与摄影模式对应的图像处理(例如去马赛克算法处理、YC转换处理、重定尺寸处理等)(在本实施方式中，图像处理部20及控制部24对应于图像数据生成单元)。
需要说明的是，控制部24及图像处理部20可以由包含CPU、ROM、RAM、非易失性ROM等的计算机构成。这种情况下，可以将上述的处理的处理程序例如预先存储在非易失性ROM中，CPU将其读入并执行。
这样，在本实施方式中，以小于基本排列图案P的垂直方向的像素数的周期来读出行图像数据，因此与以基本排列图案P的垂直方向的像素数以上的周期来读出行图像数据的情况相比，间拔率可以减小，能够抑制画质劣化。
另外，本实施方式的滤色器将G滤光片、R滤光片及B滤光片沿垂直方向及水平方向分别配置，因此即使以(N－k)行周期进行读出，读出的各行图像数据中也包含G滤光片、R滤光片及B滤光片。
因此，不是如在以往的拜耳排列中进行1/2间拔的情况那样，读出的行图像数据仅包含G和R、或G和B这2色的行图像数据，因此在读出任意的行图像数据都能够进行颜色再现。而且，即使基本排列图案的尺寸变大，也能够以低间拔率进行间拔。
另外，在本实施方式中，由于沿垂直方向以(N－1)行周期进行读出，因此间拔后的图像也与间拔前同样地成为包含基本排列图案重复而成的图像这样的图像。
因此，能够和静止图像摄影那样未对图像数据进行间拔的情况共通地进行图像处理。
(第2实施方式)
接下来，说明本发明的第2实施方式。在本实施方式中，说明滤色器的变形例。
图11示出了本实施方式的滤色器。如该图所示，本实施方式的滤色器包含由与6×6像素对应的正方排列图案构成的基本排列图案P(由粗框表示的图案)，该基本排列图案P沿水平方向及垂直方向重复配置。即，该滤色器排列将R、G、B的各色的滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性来排列。
另外，图11所示的滤色器排列中，G滤光片配置在滤色器排列的垂直方向及水平方向的各行内。
另外，图11所示的滤色器排列中，R滤光片、B滤光片在基本排列图案P内在滤色器排列的垂直方向及水平方向的各行内配置1个以上。
图12示出将图11所示的基本排列图案P四分成3×3像素的状态。
如图12所示，基本排列图案P可以当作由实线的框包围的3×3像素的A排列和由虚线的框包围的3×3像素的B排列沿水平、垂直方向交替排成的排列。
A排列在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片上下左右配置有G滤光片。另一方面，B排列在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片上下左右配置有G滤光片。上述的A排列和B排列使R滤光片与B滤光片的位置关系颠倒，但是其他的配置同样。
如图13A所示，第2实施方式的滤色器也可以当作是上述A排列和B排列沿水平及垂直方向交替配置。
现在，如图13A所示，在从摄像元件14输出的马赛克图像以A排列为中心而提取5×5像素的局部区域(由粗框表示的区域)的情况下，该局部区域内的8个G像素如图13B所示配置成十字形状。这些G像素按照从左至右的顺序设为G1、G2、G3、G4，按照从上至下的顺序设为G5、G6、G7、G8时，像素G1G2、像素G3G4在水平方向上相邻，像素G5G6、像素G7G8在垂直方向上相邻，像素G6G3、像素G2G7在左上斜方向上相邻，像素G6G2、像素G3G7在右上斜方向上相邻。
因此，通过求出上述的相邻的像素的像素值的差的绝对值，能够以最小像素间隔判别水平、垂直及倾斜(NE、NW)方向的各方向中的、亮度的变化最小的方向(相关性高的相关方向)。
即，水平方向的差的绝对值之和为|G1－G2|+|G3－G4|，垂直方向的差的绝对值之和为|G5－G6|+|G7－G8|，右上斜方向的差的绝对值之和为|G6－G2|+|G3－G7|，左上斜方向的差的绝对值之和为|G6－G3|+|G2－G7|。
能够判别为这4个相关绝对值中差的绝对值最小的方向具有相关性(相关方向)。需要说明的是，判别的相关方向可以在进行去马赛克算法处理等时被利用。
另外，构成图11所示的滤色器的基本排列图案P相对于该基本排列图案P的中心而点对称。
如图12所示，基本排列图案内的A排列及B排列分别相对于中心的R滤光片或B滤光片成为点对称，且上下左右成为对称(线对称)。
另外，构成图11所示的滤色器排列的基本排列图案P在从摄像元件14沿垂直方向以(N－1)行周期读出沿水平方向的行的行图像数据时，成为基本排列图案P重复而成的图像。即，图11所示的滤色器在基本排列图案的垂直方向的一半周期的区域即垂直方向的1～3行的区域内，以第2行为中心沿垂直方向为线对称，在垂直方向的4～6行的区域内，以第5行为中心而为线对称。
这样，第2实施方式的滤色器具有与第1实施方式的滤色器的特征(1)、(3)～(6)相同的特征。
(第3实施方式)
接下来，说明本发明的第3实施方式。在本实施方式中，说明沿垂直方向以预先规定的周期读出行图像数据并读出与所读出的行图像数据为同一排列的行图像数据而进行像素混合(例如像素加算)的情况。
在本实施方式中，控制部24在图10的步骤100中，指示驱动部22以从摄像元件14沿垂直方向以(N－k)行(0<k≤N/2)周期读出沿水平方向的行图像数据，并读出从该行图像数据起在垂直方向上以N行周期沿水平方向读出的行图像数据。
另外，控制部24在图10的步骤102中，指示图像处理部20以执行以下的图像处理：对以垂直方向(N－k)行周期沿水平方向读出的行图像数据和从该行图像数据起在垂直方向上以N行周期沿水平方向读出的行图像数据同色像素彼此分别进行像素混合。
图14示出了如下情况：在6×6像素的基本排列图案P重复配置的滤色器中，沿垂直方向以(N－2)行周期读出行图像数据，即如图14的实线的箭头所示，以4行周期读出行图像数据(垂直方向1/4间拔)，并读出从以4行周期读出的行图像数据起沿垂直方向以N行周期即如图14的虚线的箭头所示以6行周期读出的行图像数据，并将它们同色像素彼此分别进行像素加算。
如图14所示，以4行周期读出的行图像数据的排列与从该行图像数据起的6行后的行图像数据的排列相同。
这样，对于以4行周期读出的行图像数据和从该行图像数据起垂直方向上6行后的同一排列的行图像数据，相同的颜色彼此进行像素加算，即沿水平方向为同一位置的像素彼此进行像素加算，由此与不进行像素加法运算的情况相比，能够提高图像的S/N比。
需要说明的是，在使用了图14所示的滤色器的情况下，在k>N/2时，例如，k＝4时，以2行周期读出行图像数据(沿垂直方向为1/2间拔)，并从该行图像数据起以6行周期读出行图像数据。这种情况下，以2行周期读出的行图像数据与从该行图像数据起以6行周期读出的行图像数据在垂直方向上成为相同位置，因此不优选。因此，在进行像素混合的情况下，优选为k≤N/2。
需要说明的是，在本实施方式中，说明了将同一排列的行图像数据的同色彼此的像素值单纯进行加算的情况，但并不局限于此，也可以赋以权重地进行加算。
(第4实施方式)
接下来，说明本发明的第4实施方式。在本实施方式中，对以下情况进行说明：摄像元件14由CMOS传感器构成，将多个像素作为共有像素，并按照各共有像素将信号放大。
图15示出了由MOS型(例如CMOS)图像传感器构成的摄像元件14的概略结构。
图15所示的摄像元件14包括形成在半导体基板上的像素阵列30、垂直驱动扫描电路32、列信号处理电路34、水平驱动扫描电路36、信号线38及放大器40而构成。
像素阵列30包含垂直方向及水平方向的呈二维状排列的多个像素而构成。
垂直驱动扫描电路32一并选择沿水平方向的扫描行上的多个像素而进行驱动。需要说明的是，也可以逐个地选择扫描行上的像素而进行驱动。
列信号处理电路34由未图示的多个信号处理电路构成。该信号处理电路按照水平方向的各共有像素而设置。各信号处理电路包含未图示的ADC(模拟－数字转换)电路而构成。该ADC电路将来自各像素的对应于像素值的摄像信号分别转换成数字信号。
水平驱动扫描电路36包括：与列信号处理电路34包含的多个信号处理电路分别连接的未图示的开关；对该开关进行通断控制的未图示的控制电路。通过将该开关接通，将由信号处理电路处理后的摄像信号向信号线38输出，该摄像信号经由放大器40而向摄像元件14的外部输出。
需要说明的是，垂直驱动扫描电路32、列信号处理电路34及水平驱动扫描电路36由驱动部22控制。
在本实施方式中，将多个像素作为共有像素，按照各共有像素将信号放大。在图16中，示出了沿垂直方向及水平方向将2×2像素的总计4像素作为共有像素，并将这4像素利用同一放大器进行放大时的结构。
如图16所示，分别由MOS晶体管等构成的开关SW1～SW4的一端与作为像素的光电二极管PD1～PD4的阴极分别连接。并且，开关SW1～SW4的另一端与复位开关RST及放大器AP的输入端连接，放大器AP的输出端与信号线S连接。信号线S与列信号处理电路34的未图示的信号处理电路连接。
电荷传送控制信号VT1～VT4从垂直驱动扫描电路32向开关SW1～SW4分别输入。垂直驱动扫描电路32将欲读出电荷的开关接通，由此将连接有该开关的光电二极管中蓄积的电荷利用放大器AP放大而向信号线S输出。
在本实施方式中，如图16所示，成为每2×2像素连接有1个放大器AP的结构，因此能够减少开关的个数，能够实现高精细化。需要说明的是，像素共有的像素数并不局限于2×2像素，也可以为3×3像素以上，在垂直方向上共有的像素数与在水平方向上共有的像素数可以不同。
另外，如图16所示，在各光电二极管设有开关的MOS型图像传感器中，通过向扫描行上的每多个像素或每1像素依次施加快门脉冲而进行蓄积于光电二极管的电荷的扫出的所谓旋转快门方式，来进行电荷的扫出。
具体而言，不是对于1画面内的全部像素一齐进行复位，而是对于扫描行上的每多个像素或每1像素依次进行复位而开始曝光，执行摄像信号的读出。
在旋转快门方式的情况下，如图17所示，例如按照各扫描行重复进行复位、曝光、读出。
另外，由于多个像素共有1个放大器，因此在共有像素内，仅能读出1个像素。因此，在沿垂直方向对图像数据进行间拔读出的情况下，在垂直方向上的共有像素内欲读出多个行图像数据时，必须在共有像素内首先读出的行上的像素的复位、曝光、读出结束之后，才进行共有像素内的下一读出的行上的像素的复位、曝光、读出。因此，曝光时机产生大的差别，给图像造成产生伪色等的坏影响。例如，将共有像素设为3×3像素，以垂直方向1/2间拔来读出第1行、第3行的行图像数据的情况下，若不是在第1行的像素的复位、曝光、读出结束之后，则无法进行第3行的像素的复位、曝光、读出。
因此，在像素共有的情况下，优选沿垂直方向将(N－k)像素以下的多个像素作为共有像素，按照各该共有像素将摄像信号放大的结构。或者，优选构成为，在沿垂直方向像素共有L像素量的情况下，优选沿垂直方向进行间拔读出的像素周期(N－k)大于L。
例如第1实施方式中说明那样，在使用了6×6像素的基本排列图案重复的图2所示的滤色器的情况下，在k＝1而沿垂直方向以(N－1)行周期即以5行周期读出沿水平方向的行图像数据时，优选沿垂直方向以(N－k)＝5像素以下进行像素共有。例如若以2×2像素进行像素共有，则在垂直方向上的共有像素内不会读出多个行图像数据，因此能够防止各行的曝光时机较大错动的情况。
(第5实施方式)
接下来，说明本发明的第5实施方式。在本实施方式中，说明根据摄影模式对读出的行进行切换即对间拔方法进行切换的情况。
在图18所示的6×6像素的基本排列图案P重复的滤色器的情况下，第2行、第5行、第8行、第11行的行图像数据包含的R、B比G多。因此，在选择了对含有较多的R、B的被摄体进行拍摄的摄影模式的情况下，控制部24指示驱动部22以将第2行作为开头而沿垂直方向以1/3间拔来读出行图像数据。由此，在拍摄R、B多的被摄体的情况下，能够提高析像感。而且，在拍摄R、B极少的被摄体的情况下，能够提高图像的S/N比。
另外，如图18所示，第1行目、第4行、第7行、第10行的行图像数据所包含的G比R、B多。因此，在选择了对包含较多的G的被摄体进行拍摄的摄影模式的情况下，控制部24指示驱动部22以将第1行作为开头而沿垂直方向以1/3间拔来读出行图像数据。由此，在拍摄G多的被摄体时，能够提高图像的S/N比。
另外，如图18所示，第2行、第4行、第7行、第11行的行图像数据的R、B、G的比率为相同程度。因此，在选择了对含有较多黑白成分的被摄体进行拍摄的摄影模式的情况下，控制部24指示驱动部22以按照第2行、第4行、第7行、第11行…的顺序读出行图像数据。由此，在拍摄黑白成分多的被摄体时，能够提高图像的S/N比。
另外，在未要求比较高的分辨率的摄影模式的情况下，控制部24可以如图19所示指示驱动部22使得沿垂直方向以(N+k)行(0<k<N)周期读出沿水平方向的行图像数据。在图19的情况下，N＝6，k＝1，沿垂直方向以7行周期读出行图像数据。这种情况下，如图19所示，间拔后的图像也成为基本排列图案P重复而成的图像。因此，能够对间拔后的图像数据实施与静止图像摄影那样没有对图像数据进行间拔时的图像处理共通的处理。
这样，在本实施方式中，根据摄影模式能够对读出的行进行切换，即对间拔方法进行切换，因此根据摄影模式能够适当地控制图像的分辨率、S/N比，并且在AWB(自动白平衡)控制或AE(自动露出)控制中能够进行适当的设定。
另外，如前述那样，在以往的拜耳排列的滤色器中，沿垂直方向每偶数行读出1行量的图像数据时(例如垂直方向1/2间拔)，成为仅读出G和R、或G和B这2色的行图像数据，因此沿垂直方向每奇数行仅能读出1行量的图像数据。
相对于此，在本实施方式的滤色器中，既能够沿垂直方向每偶数行读出1行量的图像数据，也能够沿垂直方向每奇数行读出1行量的图像数据。
这样，垂直方向的任何行的图像数据都能够读出，因此能够应对各种分辨率或帧率。例如，根据摄影模式，在欲优先提高帧率的情况下，使分辨率下降，在优先提高分辨率的情况下，降低帧率等，从而能够应对各种摄影模式。
另外，也可以根据被摄体的动作来对读出的行进行切换。例如，在使摄像装置摇摄的情况下，使用被摄体信息(例如帧间信息)或者使用陀螺传感器等外部传感器来检测被摄体移动量。
并且，根据被摄体移动量来设定分辨率或帧率，通过与设定的分辨率或帧率对应的间拔方法来读出图像数据。由此，能够得到被摄体的动作的延迟与析像感的最佳平衡。
需要说明的是，滤色器排列并不局限于上述各实施方式中说明的结构，在具有以下那样的滤色器排列的摄像元件的摄像装置中也可以应用本发明。
例如，作为具有上述特征(1)、(2)、(4)、(5)、(6)的滤色器排列，例如图20所示，有基本排列图案P为3×3像素的滤色器排列。该滤色器排列是由以下的基本排列图案重复而成：在3×3像素中的中心和四角配置有G滤光片且在其余的4像素配置有同数的R或B。作为具有上述特征(1)、(2)、(3)、(4)、(5)、(6)的滤色器排列，如图21所示，有基本排列图案P为5×5像素的滤色器排列。该滤色器排列由如下设定的基本排列图案重复而成：在5×5像素中的2条对角线上配置有G，在其余的像素位置R、B像素配置为在5×5像素中的水平及垂直方向的各行内配置1个以上，且G的个数比R、B的个数多。上述的滤色器具有特征(6)，因此如图20、21所示，在沿垂直方向以(N－1)行周期读出行图像数据时，间拔后的图像成为包含基本排列图案重复而成的图像这样的图像。
另外，作为具有上述特征(1)、(3)、(4)、(5)、(6)的滤色器排列，存在如图22所示基本排列图案P为4×4像素的滤色器排列。该滤色器排列由如下设定的基本排列图案重复而成：在4×4像素中的2条对角线上配置有G，在其余的像素位置R、B像素配置为在4×4像素中的水平及垂直方向的各行内配置1个以上，且G的个数比R、B的个数多。另外，作为具有上述特征(1)、(2)、(3)、(6)的滤色器排列，存在如图23所示基本排列图案P为5×5像素的滤色器排列。另外，作为具有上述特征(1)、(2)、(3)的滤色器排列，存在如图24所示基本排列图案P为6×6像素的滤色器排列。该滤色器排列由如下配置的基本排列图案重复而成：G呈矩形形状地配置于R或B的外周的第1子排列和G配置于中央部的第2子排列分别各2个地沿水平方向、垂直方向交替地彼此相邻。在该排列中，在特征(3)中，还具有R及B在滤色器排列的倾斜(NE、NW)方向(第3方向)的各行内配置1个以上的特征。另外，作为具有上述特征(1)、(2)、(3)、(4)、(5)、(6)的滤色器排列，如图25所示，存在基本排列图案P为7×7像素的滤色器排列，作为具有上述特征(1)、(2)、(3)的滤色器排列，如图26所示，有基本排列图案P为8×8像素的滤色器等。
需要说明的是，当考虑到去马赛克算法处理或动画摄影时的间拔处理等的图像处理的容易度时，N、M优选为10以下。
另外，在上述实施方式中，说明了具有RGB的3原色的滤色器的彩色摄像元件，但本发明并不局限于此，也可以适用于RGB的3原色+其他的颜色(例如，翠绿(E))这4色的滤色器例如图27所示那样的滤色器。而且，也可以将本发明适用于作为其他的颜色而具有白色或透明(W)滤光片的滤色器。例如可以取代图27的翠绿而配置W滤光片。这种情况下，W与G的组合、或W成为对亮度信号最有助的第1色。
另外，本发明也可以适用于具有作为原色RGB的互补色的C(青色)、M(品红)、Y(黄色)中加入了G的4色的互补色系的滤色器的彩色摄像元件。
另外，在上述各实施方式中，说明了沿垂直方向以预先规定的周期读出沿水平方向的行图像数据的情况，但是也可以将本发明适用于沿水平方向以预先规定的周期读出沿垂直方向的行图像数据的情况。
另外，在本实施方式中，说明了从摄像元件14沿垂直方向以(N－k)行周期读出沿水平方向的行的像素的像素信号来生成行图像数据，并基于这些行图像数据来生成图像数据的情况，但也可以读出全部行量的像素的像素信号，选择性地使用(N－k)行周期的行的行图像数据(不使用或不存储其他的行的行图像数据)，来生成图像数据。而且，还可以读出全部行量的像素的像素信号而暂时存储于RAM等存储器，选择性地使用(N－k)行周期的行的行图像数据来作成图像数据(在此方式的情况下，摄像处理部16或图像处理部20对应于行图像数据生成单元)。
此外，本发明并未限定为上述的实施方式，在不脱离本发明的主旨的范围内能够进行各种变形，这是不言而喻的。
附图标记说明
10 摄像装置
12 光学系统
14 摄像元件
16 摄像处理部
20 图像处理部
22 驱动部
24 控制部
30 像素阵列
32 垂直驱动扫描电路
34 列信号处理电路
36 水平驱动扫描电路
38 信号线
40 放大器
AP 放大器
P 基本排列图案
PD1～PD4 光电二极管
RST 复位开关
S 信号线
SW1～SW4 开关

Claims (12)

1.一种摄像装置，具备：
摄像元件，包括在预先规定的第1方向及与所述第1方向交叉的第2方向上排列的多个光电转换元件；
滤色器，设于由所述多个光电转换元件构成的多个像素上，并重复配置有以下的基本排列图案：与最有助于获得亮度信号的第1色对应的第1滤光片和与所述第1色以外的两色以上的第2色对应的第2滤光片在所述第1方向及所述第2方向上以N×M像素的预先规定的图案配置，其中N、M为3以上的整数；
行图像数据生成单元，从所述摄像元件以设定的周期读出所述多个像素中的像素信号，并根据读出的所述像素信号，生成所述多个像素中的在第1方向上以N－k行周期排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据，其中0<k<N，k为自然数；
图像数据生成单元，基于所述行图像数据来生成图像数据，
所述基本排列图案在该基本排列图案的所述第1方向上的2个一半周期的区域中相对于所述第1方向分别为线对称，
所述行图像数据生成单元生成以N－1行周期作为所述设定的周期而在所述第1方向上排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据。
2.根据权利要求1所述的摄像装置，其中，具备：
所述行图像数据生成单元生成以N－k行周期作为所述设定的周期而在所述第1方向上排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据，并且根据该行图像数据，生成在所述第1方向上以N行周期排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据，其中，0<k≤N/2，
所述摄像装置具备像素混合单元，该像素混合单元对所述第1方向上以N－k行周期排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据和从该行图像数据起在所述第1方向上以N行周期排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据同色像素彼此分别进行像素混合。
3.根据权利要求1所述的摄像装置，其中，具备：
所述第1滤光片在所述滤色器面内在所述第1方向、所述第2方向、与所述第1方向及所述第2方向交叉的第3方向的各行内配置1个以上，
与所述第2色的各色对应的所述第2滤光片在所述基本排列图案内在所述第1方向及所述第2方向的各行内分别配置1个以上。
4.根据权利要求1所述的摄像装置，具备：
所述滤色器包含由所述第1滤光片构成的与2×2像素对应的正方排列。
5.根据权利要求1～4中任一项所述的摄像装置，其中，
所述行图像数据生成单元以所述第1方向上N－k行周期作为所述设定的周期从所述摄像元件读出所述像素信号而生成所述行图像数据。
6.根据权利要求1～4中任一项所述的摄像装置，其中，
所述摄像元件包括放大单元，该放大单元将所述第1方向上N－k像素以下的多个像素作为共有像素，对每个该共有像素放大摄像信号。
7.根据权利要求1～4中任一项所述的摄像装置，其中，
具备切换单元，切换第1生成方法和第2生成方法，该第1生成方法生成在所述第1方向上以N－k行周期排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据，该第2生成方法生成在所述第1方向上以N+k行周期排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据，其中，0<k<N。
8.根据权利要求1～4中任一项所述的摄像装置，其中，
所述第1色是绿(G)色，所述第2色是红(R)色及蓝(B)色。
9.根据权利要求8所述的摄像装置，其中，
所述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，
所述滤色器由第1排列和第2排列交替地排列于所述第1方向及所述第2方向上而构成，该第1排列对应于3×3像素，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，该第2排列对应于3×3像素，在中心和四角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。
10.根据权利要求8所述的摄像装置，其中，
所述滤色器具有与红(R)色、绿(G)色、蓝(B)色对应的R滤光片、G滤光片及B滤光片，并且，
所述滤色器由第1排列和第2排列交替地排列于所述第1方向及所述第2方向上而构成，该第1排列对应于3×3像素，在中心配置有R滤光片，在四角配置有B滤光片，隔着中心的R滤光片上下左右配置有G滤光片，该第2排列对应于3×3像素，在中心配置有B滤光片，在四角配置有R滤光片，隔着中心的B滤光片上下左右配置有G滤光片。
11.根据权利要求1～4中任一项所述的摄像装置，其中，
所述滤色器相对于所述基本排列图案的中心而点对称。
12.一种摄像装置的控制方法，
该摄像装置具备：
摄像元件，包括在预先规定的第1方向及与所述第1方向交叉的第2方向上排列的多个光电转换元件；
滤色器，设于由所述多个光电转换元件构成的多个像素上，并重复配置有以下基本排列图案：与最有助于获得亮度信号的第1色对应的第1滤光片和与所述第1色以外的两色以上的第2色对应的第2滤光片在所述第1方向及所述第2方向上以N×M像素的预先规定的图案配置，其中N、M为3以上的整数，
所述摄像装置的控制方法中，
从所述摄像元件以设定的周期读出所述多个像素中的像素信号，
根据读出的所述像素信号，生成所述多个像素中的在第1方向上以N－k行周期排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据，其中0<k<N，k为自然数，
基于所述行图像数据来生成图像数据，
所述基本排列图案在该基本排列图案的所述第1方向上的2个一半周期的区域中相对于所述第1方向分别为线对称，在基于所述行图像数据来生成图像数据中，生成以N－1行周期作为所述设定的周期而在所述第1方向上排列且沿所述第2方向排列的像素的像素信号所构成的行图像数据。
CN201280064783.9A 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法 Expired - Fee Related CN104025576B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011286693 2011-12-27
JP2011-286693 2011-12-27
PCT/JP2012/083977 WO2013100097A1 (ja) 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
CN104025576A CN104025576A (zh) 2014-09-03
CN104025576B true CN104025576B (zh) 2017-07-11

Family

ID=48697576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280064783.9A Expired - Fee Related CN104025576B (zh) 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法

Country Status (5)

Country Link
US (1) US20140320710A1 (zh)
EP (1) EP2800374A4 (zh)
JP (1) JP5624228B2 (zh)
CN (1) CN104025576B (zh)
WO (1) WO2013100097A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11056521B2 (en) * 2017-03-27 2021-07-06 Nikon Corporation Imaging device and image sensor
CN108323208A (zh) * 2018-02-12 2018-07-24 深圳市汇顶科技股份有限公司 图像获取方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371591A (zh) * 2006-01-27 2009-02-18 伊斯曼柯达公司 具有改进感光度的图像传感器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP2002135793A (ja) 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP4556102B2 (ja) * 2004-01-20 2010-10-06 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US7633538B2 (en) * 2006-09-11 2009-12-15 Aptina Imaging Corporation Color filter device and method for eliminating or reducing non-uniform color error caused by asymmetric color cross-talk in image sensor devices
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
US20090189232A1 (en) * 2008-01-28 2009-07-30 Micron Technology, Inc. Methods and apparatuses providing color filter patterns arranged to reduce the effect of crosstalk in image signals
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5446282B2 (ja) * 2009-01-21 2014-03-19 ソニー株式会社 固体撮像素子およびカメラシステム
JP2011097568A (ja) * 2009-10-02 2011-05-12 Sanyo Electric Co Ltd 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371591A (zh) * 2006-01-27 2009-02-18 伊斯曼柯达公司 具有改进感光度的图像传感器

Also Published As

Publication number Publication date
CN104025576A (zh) 2014-09-03
JP5624228B2 (ja) 2014-11-12
JPWO2013100097A1 (ja) 2015-05-11
EP2800374A1 (en) 2014-11-05
US20140320710A1 (en) 2014-10-30
EP2800374A4 (en) 2015-10-14
WO2013100097A1 (ja) 2013-07-04

Similar Documents

Publication Publication Date Title
EP1675408B1 (en) Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus
CN103416067B (zh) 摄像装置
CN103430552B (zh) 摄像装置
CN103621070B (zh) 摄像装置及摄像装置的控制方法
CN104025566B (zh) 摄像装置及摄像装置的控制方法
CN104041019B (zh) 摄像装置及摄像装置的控制方法
CN104025576B (zh) 摄像装置及摄像装置的控制方法
JP2004023683A (ja) 固体撮像素子の欠陥補正装置及び方法
JP5411390B2 (ja) カラー撮像素子
CN104025575B (zh) 摄像装置及摄像装置的控制方法
CN104011575B (zh) 摄像装置及摄像装置的控制方法
JP2006074360A (ja) 撮像装置及び信号処理方法
JP2008042737A (ja) 固体撮像素子およびカメラ
JP2007150589A (ja) 固体撮像素子の駆動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170711

Termination date: 20191227