CN104429061A - 彩色摄像元件和摄像装置 - Google Patents

彩色摄像元件和摄像装置 Download PDF

Info

Publication number
CN104429061A
CN104429061A CN201380036089.0A CN201380036089A CN104429061A CN 104429061 A CN104429061 A CN 104429061A CN 201380036089 A CN201380036089 A CN 201380036089A CN 104429061 A CN104429061 A CN 104429061A
Authority
CN
China
Prior art keywords
filter
pareto diagram
look
arrangement
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380036089.0A
Other languages
English (en)
Other versions
CN104429061B (zh
Inventor
田中诚二
林健吉
河村典子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104429061A publication Critical patent/CN104429061A/zh
Application granted granted Critical
Publication of CN104429061B publication Critical patent/CN104429061B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)

Abstract

本发明提供能够降低伪色的发生和实现高分辨率化并且与以往的随机排列相比能够简化后段的处理的彩色摄像元件和具备这种彩色摄像元件的摄像装置。在本发明的一个方式所涉及的彩色摄像元件中，基本排列图案(P1)沿第一方向(H)和第二方向(V)重复配置，基本排列图案(P1)具有四个以上由第一滤光片(23G)组成的与3×2像素对应的矩形图案(Q)，在滤色器排列(22)内，配置包围矩形图案(Q)的四方的格子行(HG、VG)，在滤色器排列(22)内第一滤光片(23G)配置在第一方向(H)、第二方向(V)、第三方向(NE)和第四方向(NW)的各行内，在基本排列图案(P1)内各色的第二滤光片(23R、23B)在第一方向(H)和第二方向(V)的各行内配置一个以上。

Description

彩色摄像元件和摄像装置
技术领域
本发明涉及彩色摄像元件和摄像装置，特别是涉及能够降低彩色莫尔条纹的发生和实现高分辨率化的彩色摄像元件以及使用了那样的彩色摄像元件的摄像装置。
背景技术
在单板式彩色摄像元件中，在各像素上分别设置单色的滤色器，因此各像素仅具有单色的颜色信息。因此，单板彩色摄像元件的输出图像成为RAW图像(马赛克图像)，因此通过根据周围的像素对欠缺的颜色的像素进行插值的处理(去马赛克算法处理)而得到多通道图像。在该情况下成为问题的是高频的图像信号的再现特性，彩色摄像元件与白黑用的摄像元件相比，在所摄像的图像中容易发生混淆，因此降低彩色莫尔条纹(伪色)的产生并扩展再现频带而进行高分辨率化是重要的课题。
在单板式彩色摄像元件中最为广泛使用的滤色器的颜色排列即原色系拜耳排列将绿色(G)像素以交错相间棋盘格纹状配置，并线性地依次配置红色(R)、蓝色(B)，因此在G信号生成倾斜方向的高频信号时，R、B信号生成水平、垂直方向的高频信号时的再现精度成为问题。
在图14(A)所示的白黑的纵条纹图案(高频图像)入射到图14(B)所示的具有拜耳排列的滤色器的彩色摄像元件的情况下，如果将其分成拜耳颜色排列而对每色进行比较，则如图14(C)至(E)所示成为R为浅且平坦、B为浓且平坦、G为浓淡的马赛克状的彩色图像，与本来是白黑图像相对，尽管是RGB间未出现浓度差(电平差)的图像，但根据颜色排列和输入频率会成为着了色的状态。
同样，在图15(A)所示的倾斜的白黑的高频图像入射到图15(B)所示的具有拜耳排列的滤色器的摄像元件的情况下，如果将其分成拜耳颜色排列而对每色进行比较，则如图15(C)至(E)所示成为R和B为浅且平坦、G为浓且平坦的彩色图像，假设黑的值为0，白的值为255，则倾斜的白黑的高频图像中，仅G为255，因此会成为绿色。如此，在拜耳排列中，无法准确地对倾斜的高频图像进行再现。
通常，在使用单板式彩色摄像元件的摄像装置中，将由水晶等双折射物质构成的光学低通滤光片配置于彩色摄像元件的前表面，通过对高频光学性地进行降低而回避。可是，在该方法中，存在如下问题：虽然能够降低因高频信号的重叠而引起的着色，但是分辨率会因该弊端而降低。
为了解决这种问题，提出了将彩色摄像元件的滤色器排列设为三色随机排列的彩色摄像元件，该三色随机排列满足下述排列限制条件：任意的关注像素与包含关注像素的颜色的三种颜色在关注像素的四边中的任一边相邻(专利文献1)。
另外，提出了如下的滤色器排列的图像传感器(彩色摄像元件)：具有分光灵敏度不同的多个滤光片，其中第一滤光片和第二滤光片在图像传感器的像素格子的一对角方向上以第一周期交替地配置并且在另一对角方向上以第二周期交替地配置(专利文献2)。
此外，提出了如下的颜色排列：在RGB的三原色的彩色固体摄像元件(彩色摄像元件)中，将水平地配置有R、G、B的三个像素的组在垂直方向上锯齿形地错开而配置，从而使RGB各自的出现频率均等，且使摄像面上的任意的直线(水平、垂直、倾斜的直线)通过全部颜色(专利文献3)。
此外，另外，提出了如下的彩色摄像元件：将RGB的三原色中的R、B在水平方向和垂直方向上分别隔着三个像素而配置，在这些R、B之间配置G(专利文献4)。
专利文献
专利文献1：日本特开2000－308080号公报
专利文献2：日本特开2005－136766号公报
专利文献3：日本特开平11－285012号公报
专利文献4：日本特开平8－23543号公报
发明内容
发明要解决的课题
专利文献1记载的彩色摄像元件存在如下问题：由于滤色器排列变得随机，因此在进行后段的去马赛克算法处理时，需要对应每个随机图案成为最佳，去马赛克算法处理变得复杂。在此，所谓去马赛克算法处理是根据与单板式彩色摄像元件的滤色器排列相伴的RGB的马赛克图像对应每个像素算出(以去马赛克算法的方式转换)RGB的全部的颜色信息的处理，也称作去马赛克化处理、或去马赛克算法处理(在本说明书内相同)。
另外，专利文献2记载的彩色摄像元件中，将G像素(亮度像素)配置成交错相间的棋盘格纹状，因此存在极限分辨率区域(特别是倾斜方向)中的像素再现精度不良的问题。
专利文献3记载的彩色摄像元件中，由于RGB的像素数的比率相等，因此存在高频再现性与拜耳排列相比降低的问题。另外，在拜耳排列的情况下，最有助于得到亮度信号的G的像素数的比率成为R、B各自的像素数的2倍。
另一方面，专利文献4所记载的彩色摄像元件中，G的像素数相对于R、B各自的像素数的比率为6倍，比拜耳排列高，在水平或垂直方向上仅存在G像素的滤光片行，因此在水平或垂直方向上，对于高频部的伪色并非有效。
本发明鉴于这种情形而提出，目的在于提供一种能够降低伪色的发生和实现高分辨率化并且与以往的随机排列相比能够简化后段的处理的彩色摄像元件。另外本发明的目的在于提供一种使用了这种彩色摄像元件的摄像装置。
用于解决课题的手段
用于达成本发明的目的的彩色摄像元件是在由排列于第一方向和与第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，滤色器的排列包含将滤色器沿第一方向和第二方向以与M×N(M为8以上，N为6以上)像素对应的排列图案排列而成的基本排列图案，且基本排列图案沿第一方向和第二方向重复配置，基本排列图案包含与一种颜色以上的第一色对应的第一滤光片和与用于得到亮度信号的贡献率比第一色低的两种颜色以上的第二色对应的第二滤光片，基本排列图案具有四个以上由第一滤光片组成的与3×2像素对应的矩形图案，在滤色器的排列内，包围矩形图案的四方，配置排列有第一滤光片和第二滤光片的第一方向的格子滤光片行和第二方向的格子滤光片行，在滤色器的排列内，第一滤光片配置在滤色器的排列的第一方向和第二方向以及相对于第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，在基本排列图案内，与第二色的各色对应的第二滤光片在第一方向和第二方向的各滤光片行内配置一个以上。
另外，用于达成本发明的目的的彩色摄像元件是在由排列于第一方向和与第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，滤色器的排列包含将滤色器沿第一方向和第二方向以与M×N(M为8以上，N为6以上)像素对应的排列图案排列而成的基本排列图案，且基本排列图案沿第一方向和第二方向重复配置，基本排列图案包含透过率的峰值处于480nm以上且570nm以下的范围内的与一种颜色以上的第一色对应的第一滤光片和透过率的峰值处于480nm以上且570nm以下的范围之外的与两种颜色以上的第二色对应的第二滤光片，基本排列图案具有四个以上由第一滤光片组成的与3×2像素对应的矩形图案，在滤色器的排列内，包围矩形图案的四方，配置排列有第一滤光片和第二滤光片的第一方向的格子滤光片行和第二方向的格子滤光片行，在滤色器的排列内，与第一色中的任一颜色对应的第一滤光片配置在滤色器的排列的第一方向和第二方向以及相对于第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，在基本排列图案内，与第二色的各色对应的第二滤光片在基本排列图案内的第一方向和第二方向的各滤光片行内配置一个以上。
另外，用于达成本发明的目的的彩色摄像元件是在由排列于第一方向和与第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，滤色器的排列包含将滤色器沿第一方向和第二方向以与M×N(M为8以上，N为6以上)像素对应的排列图案排列而成的基本排列图案，且基本排列图案沿第一方向和第二方向重复配置，基本排列图案包含与一种颜色以上的第一色对应的第一滤光片和在波长为500nm以上且560nm以下的范围内透过率比第一滤光片低的与两种颜色以上的第二色对应的第二滤光片，基本排列图案具有四个以上由第一滤光片组成的与3×2像素对应的矩形图案，在滤色器的排列内，包围矩形图案的四方，配置排列有第一滤光片和第二滤光片的第一方向的格子滤光片行和第二方向的格子滤光片行，在滤色器的排列内，与第一色中的任一颜色对应的第一滤光片配置在滤色器的排列的第一方向和第二方向以及相对于第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，在基本排列图案内，与第二色的各色对应的第二滤光片在基本排列图案内的第一方向和第二方向的各滤光片行内配置一个以上。
另外，用于达成本发明的目的的彩色摄像元件是在由排列于第一方向和与第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，滤色器的排列包含将滤色器沿第一方向和第二方向以与M×N(M为8以上，N为6以上)像素对应的排列图案排列而成的基本排列图案，且基本排列图案沿第一方向和第二方向重复配置，基本排列图案包括与包含三原色中对亮度信号贡献最大的颜色和颜色不同于三原色的第四色在内的两种颜色以上的第一色对应的第一滤光片以及与第一色以外的两种颜色以上的第二色对应的第二滤光片，基本排列图案具有四个以上由第一滤光片组成的与3×2像素对应的矩形图案，在滤色器的排列内，包围矩形图案的四方，配置排列有第一滤光片和第二滤光片的第一方向的格子滤光片行和第二方向的格子滤光片行，在滤色器的排列内，第一滤光片配置在滤色器的排列的第一方向和第二方向以及相对于第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，在基本排列图案内，与第二色的各色对应的第二滤光片在基本排列图案内的第一方向和第二方向的各滤光片行内配置一个以上。
根据本发明，在滤色器的排列内，第一滤光片在第一方向至第四方向的各方向的滤光片行内配置一个以上，因此能够提高高频区域的去马赛克算法处理的再现精度。
另外，滤色器的排列中，将基本排列图案沿第一方向和第二方向重复配置，因此在进行去马赛克算法处理等后段的处理时，能够按照重复图案进行处理，与以往的随机排列相比能够简化后段的处理。
另外，在基本排列图案内，与第二色的各色对应的第二滤光片在第一方向和第二方向的各滤光片行内配置一个以上。由此，能够降低可能由具有高频成分的输入像产生的彩色莫尔条纹(伪色)。
另外，由于通过由第一滤光片组成的与3×2像素对应的矩形图案、包围该矩形图案的四方而排列有第一滤光片和与第二色的各色对应的第二滤光片的第一方向的格子滤光片行和第二方向的格子滤光片行来构成基本排列图案，因此易于由矩形图案和其周围的格子滤光片行的结合而产生排列图案的规则性，易于使与第一滤光片对应的第一色的像素数的存在比率大于与第二滤光片对应的第二色的各色的像素数各自的存在比率，并且能够容易将第二滤光片均等地配置于滤色器排列的整体，且能够容易地进行后段的信号处理并提高图像的再现精度、可靠性。
优选为，在第一方向和第二方向的格子滤光片行中，第一滤光片配置于矩形图案的对角线上的位置。由此，能够不增大基本排列图案的尺寸而将第一滤光片高效地配置于滤色器排列内。
例如，基本排列图案的M×N是8×6，基本排列图案具有四个矩形图案，第一方向的格子滤光片行和第二方向的格子滤光片行为一个像素宽度。由此，能够使基本排列图案的尺寸为最小限度，并能够兼顾画质提高和信号处理的简化。
优选为，在基本排列图案内，第一方向的格子滤光片行和第二方向的格子滤光片行中第二色的各色的滤光片以同比率存在。
优选为，与矩形图案的四边的各一边相邻而配置至少一个第二色的各色的滤光片。
优选为，在滤色器的排列内，与第二色的各色对应的第二滤光片在第三方向和第四方向的各滤光片行内配置一个以上。
优选为，第一色包含绿色和透明中的至少任一种。
优选为，第二色包含红色和蓝色。
用于达成本发明的目的的摄像装置具备：摄影光学系统；彩色摄像元件，经由摄影光学系统而使被摄体像成像；以及图像数据生成部，生成表示成像后的被摄体像的图像数据，彩色摄像元件是上述方式中的任一方式的彩色摄像元件。
发明效果
根据本发明的彩色摄像元件和摄像装置，能够提高高频区域中的去马赛克算法处理的再现精度，且能够抑制混淆。另外，能够降低彩色莫尔条纹(伪色)的发生而实现高分辨率化。此外，能够抑制后段的处理的复杂化。
附图说明
图1是表示数码相机的电气结构的框图。
图2是彩色摄像元件的摄像面的主视图。
图3是第一实施方式的滤色器排列的主视图。
图4是图3中的基本排列图案的放大图。
图5是用于对第一实施方式中的多种基本排列图案进行说明的说明图。
图6是第二实施方式的滤色器排列的主视图。
图7是表示第二实施方式的滤色器排列的分光灵敏度特性的坐标图。
图8是第三实施方式的滤色器排列的主视图。
图9是表示第三实施方式的滤色器排列的分光灵敏度特性的坐标图。
图10是第四实施方式的滤色器排列的主视图。
图11是表示第四实施方式的滤色器排列的分光灵敏度特性的坐标图。
图12是表示具有与8×8像素对应的基本排列图案的滤色器排列的一例的主视图。
图13是表示将滤色器排列设为蜂窝配置的其他实施方式的滤色器排列的一例的主视图。
图14是为了对以往的具有拜耳排列的滤色器的彩色摄像元件的课题进行说明而使用的图。
图15是为了对以往的具有拜耳排列的滤色器的彩色摄像元件的课题进行说明而使用的其他的图。
具体实施方式
[数码相机的整体结构]
图1是具备本发明所涉及的彩色摄像元件的数码相机9(摄像装置)的框图。数码相机9大体具备摄影光学系统10、彩色摄像元件12、摄影处理部14、图像处理部16、驱动部18和控制部20等。
摄影光学系统10使被摄体像在彩色摄像元件12的摄像面上成像。彩色摄像元件12是具备由在其摄像面上沿图中水平方向和垂直方向排列(二维排列)的光电转换元件构成的多个像素和在各像素的受光面的上方设置的滤色器的、所谓单板式彩色摄像元件。在此，所谓“～上”、“上方”是指相对于彩色摄像元件12的摄像面而言入射来被摄体光这一侧的方向。
在彩色摄像元件12上成像的被摄体像利用各像素的光电转换元件而转换为与入射光量对应的信号电荷。在各光电转换元件中蓄积的信号电荷基于按照控制部20的指令而从驱动部18赋予的驱动脉冲，作为与信号电荷对应的电压信号(图像信号)而从彩色摄像元件12依次读出。从彩色摄像元件12读出的图像信号是表示与彩色摄像元件12的滤色器排列对应的红色(R)、绿色(G)、蓝色(B)的马赛克图像的R、G、B信号。另外，彩色摄像元件12也可以是CCD(ChargeCoupled Device)型摄像元件、CMOS(Complementary Metal OxideSemiconductor)型摄像元件等其他种类的摄像元件。
从彩色摄像元件12读出的图像信号被输入到摄影处理部14(图像数据生成部)。摄影处理部14具有用于将图像信号所包含的复位噪音除去的相关双采样电路(CDS)、用于对图像信号进行放大而控制成一定电平的大小的AGC电路以及A/D转换器。该摄影处理部14对所输入的图像信号进行相关双采样处理并且放大后，将转换为数字的图像信号的RAW数据输出到图像处理部16。另外，在彩色摄像元件12是MOS型摄像元件的情况下，A/D转换器也较多地内置于摄像元件内，另外，也存在不需要上述相关双采样的情况。
图像处理部16(图像数据生成部)具有白平衡校正电路、伽玛校正电路、去马赛克算法处理电路(根据与单板式彩色摄像元件12的滤色器排列相伴的RGB的马赛克图像对应每个像素算出(以去马赛克算法的方式转换)RGB的全部颜色信息的处理电路)、亮度/色差信号生成电路、轮廓校正电路和颜色校正电路等。图像处理部16按照来自控制部20的指令，对从摄影处理部14输入的马赛克图像的RAW数据实施所需的信号处理，并对应每个像素生成具有RGB全部的颜色信息的RGB像素信号，并基于此生成由亮度数据(Y数据)和色差数据(Cr、Cb数据)构成的图像数据(YUV数据)。
由图像处理部16生成的图像数据利用压缩/扩展处理电路对静止画面实施基于JPEG标准的压缩处理，对动态图像实施基于MPEG2标准的压缩处理后，记录于未图示的记录介质(例如存储卡)，另外，输出到液晶监视器等显示单元(未图示)而显示。另外，在本实施方式中，记录介质不限于能够在数码相机9中进行装卸的器件，也可以是内置式的光磁记录介质，显示单元不限于数码相机9所具备的器件，也可以是与数码相机9连接的外部的显示器。
[彩色摄像元件]
如图2所示，在彩色摄像元件12的摄像面上设置由沿水平方向和垂直方向二维排列的光电转换元件PD构成的多个像素21。在此，水平方向H与本发明的第一方向和第二方向中的一方向相当，垂直方向V与本发明的第一方向和第二方向中的另一方向相当。以下，将水平方向H设为第一方向并将垂直方向V设为第二方向而进行说明。
如图3所示，在彩色摄像元件12的摄像面上，设置由配置于各像素21上的滤色器构成的滤色器排列22。滤色器排列22由红色(R)、绿色(G)、蓝色(B)这三原色的滤色器(以下，称作R滤光片、G滤光片、B滤光片)23R、23G、23B构成。并且，在各像素21上，配置R滤光片23R、G滤光片23G和B滤光片23B中的任一个。以下，将配置有R滤光片23R的像素称作“R像素”，将配置有G滤光片23G的像素称作“G像素”，将配置有B滤光片23B的像素称作“B像素”。
在此，G色与本发明的第一色相当，G滤光片23G与本发明的第一滤光片相当。另外，R色和B色与本发明的第二色相当，R滤光片23R和B滤光片23B与本发明的第二滤光片相当。以下将属于第二色的滤光片的R滤光片23R和B滤光片23B中的任一个滤光片也称作“RB滤光片”。
[第一实施方式的滤色器排列]
滤色器排列22具有下述的特征(1)、(2)、(3)、(4)、(5)、(6)和(7)。
〔特征(1)〕
如图3和图4所示，滤色器排列22包含与8×6像素对应的排列图案即基本排列图案P1，该基本排列图案P1沿彼此正交的第一方向H和第二方向V重复配置。即，在滤色器排列22中，各色的R滤光片23R、G滤光片23G、B滤光片23B保持周期性而排列。因此，在进行从彩色摄像元件12读出的R、G、B信号的去马赛克算法处理等时，能够按照重复图案进行处理。其结果为，与以往的随机排列相比能够简化后段的处理。
另外，在以基本排列图案P1为单位进行间拔处理而将图像缩小的情况下，间拔处理后的滤色器排列能够与间拔处理前的滤色器排列相同，能够使用共通的处理电路。
在基本排列图案P1，以满足下述特征(2)～(7)的方式决定滤色器(R滤光片23R、G滤光片23G、B滤光片23B)的配置。
〔特征(2)〕
在滤色器排列22内，G滤光片23G(第一滤光片)在第一方向H、第二方向V、第三方向NE和第四方向NW的各滤光片行内配置一个以上。在本例中，第一方向H是水平方向，第二方向V是垂直方向，第三方向NE是斜右上(左下)方向，第四方向NW是斜右下(左上)方向。第一方向H和第二方向正交。本例的滤色器(R滤光片23R、G滤光片23G和B滤光片23B)是正方形形状，因此第三方向NE和第四方向NW是相对于第一方向H、第二方向V分别成45°的方向。另外，该角度能够根据滤色器的第一方向H、第二方向V的各边的长度的增减而增减。例如，在使用正方形形状以外的矩形形状的滤色器的情况下，该对角线方向成为倾斜方向(第三方向NE、第四方向NW)。另外，即使滤色器是正方形形状以外的矩形形状，在将该滤色器或像素配置为正方格子状的情况下，第三方向NE和第四方向NW也成为相对于第一方向H、第二方向V分别成45°的方向。
G色的用于得到亮度(Y)信号(上述的亮度数据)的贡献率比R色、B色高。即，与G色相比，R色和B色的贡献率较低。具体来说，上述的图像处理部16对应每个像素生成具有RGB全部的颜色信息的RGB像素信号，并基于该RGB像素信号，按照下述式(1)生成Y信号。下述式(1)是通常用于彩色摄像元件12中的Y信号的生成的式子。在该式(1)中G色的贡献率为60％，因此G色与R色(贡献率30％)、B色(贡献率10％)相比贡献率变高。因此，G色成为三原色中对亮度信号贡献最大的颜色。
Y＝0.3R+0.6G+0.1B…式(1)
这种G滤光片23G配置于滤色器排列22的第一方向H、第二方向V、第三方向NE和第四方向NW的各滤光片行内，因此无论输入像中成为高频的方向如何都能够提高高频区域的去马赛克算法处理的再现精度。
〔特征(3)〕
基本排列图案P1内的与RGB滤光片23R、23G、23B对应的R像素、G像素、B像素的像素数分别为10像素、28像素、10像素。因此，RGB像素的各像素数的比率为5：14：5，因此为了得到亮度信号而贡献最大的G像素的像素数的比率大于R像素、B像素各自的像素数的比率。
如此，由于G像素的像素数与R、B像素的各像素数的比率不同，特别是由于使为了得到亮度信号而贡献最大的G像素的像素数的存在比率大于R、B像素的各像素数的存在比率，因此能够抑制去马赛克算法处理时的混淆，且能够使得高频再现性也良好。
〔特征(4)〕
R滤光片23R和B滤光片23B分别在基本排列图案P1内在滤色器排列22的第一方向H和第二方向V的各滤光片行内配置一个以上。
R滤光片23R和B滤光片23B分别配置在滤色器排列22的第一方向H和第二方向V的各滤光片行内，因此能够降低彩色莫尔条纹(伪色)的发生。由此，能够不将用于降低伪色的发生的光学低通滤光片配置于从摄影光学系统10的入射面到彩色摄像元件12的摄像面的光路，或者即使在适用光学低通滤光片的情况下，也能够适用用于防止伪色的发生的、将高频成分截止的作用较弱的光学低通滤光片。其结果为，能够不有损分辨率。
〔特征(5)〕
满足上述的特征(4)的R滤光片23R在其第一方向H和第二方向V的各方向上相邻地配置G滤光片23G或者B滤光片23B。另外，满足上述的特征(4)的B滤光片23B在其第一方向H和第二方向V的各方向上相邻地配置G滤光片23G或者R滤光片23R。因此，将分别不同色的滤光片沿第一方向H和第二方向V相邻地配置于R滤光片23R和B滤光片23B。即，同色的R滤光片23R彼此或者同色的B滤光片23B彼此不在第一方向H和第二方向V上相邻地配置。
另外，R滤光片23R和B滤光片23B也在滤色器排列22中的第三方向NE和第四方向NW的各滤光片行上分别配置一个以上。即，在倾斜方向(第三方向NE和第四方向NW)的各方向上，包含R滤光片23R和B滤光片23B的滤光片行相邻而周期性地排列。因此，除了G滤光片，包含R滤光片23R和B滤光片23B的倾斜方向(NE、NW)的滤光片行相邻地配置，因此能够有效地抑制可能由于具有高频成分的输入像发生的彩色莫尔条纹(伪色)。在此，所谓滤光片行在倾斜方向上相邻，表示在使用1边的长度是1的正方形的滤光片的情况下，滤光片行与滤光片行之间是√2/2像素间隔。
如此，在以满足上述的特征(4)、(5)的方式将RB滤光片23R、23B配置在滤色器排列22内的情况下，在滤色器排列22内分别均等地配置RB滤光片23R、23B。由此，能够精度良好地进行R像素和B像素的去马赛克算法处理。
另外，本例的滤色器排列22如图3和图4所示，具有以下的特征(6)。
〔特征(6)〕基本排列图案P1如图4所示具有与3×2像素对应的四个矩形图案Q。一个矩形图案Q由6个G滤光片23G构成。
从这种与矩形图案Q对应的3×2像素中至少取出2×2像素的G像素，求出第一方向H的多个G像素的像素值的差的绝对值、第二方向V的多个G像素的像素值的差的绝对值、第三方向NE的多个G像素的像素值的差的绝对值、第四方向NW的多个G像素的像素值的差的绝对值，从而能够判定为在第一方向H、第二方向V、第三方向NE、第四方向NW中差的绝对值最小的方向上存在相关性。即，在滤色器排列22中，能够使用矩形图案Q内的最小像素间隔的G像素的信息，对第一方向、第二方向V、第三方向NE和第四方向NW中的相关性高的方向进行判别。该方向判别结果能够使用于根据周围的像素进行插值的处理(去马赛克算法处理)。另外，在该情况下，也可以例如在前述的图像处理部16(包含去马赛克算法处理电路)内设置方向判别处理部，在该方向判别处理部进行方向判别。
另外，本例的滤色器排列22如图3和图4所示，具有以下的特征(7)。
〔特征(7)〕滤色器排列22具有对各自的矩形图案Q的四方(图中的上方向、右方向、下方向、左方向)进行包围的、第一方向H的格子滤光片行HG(25和26)和第二方向V的格子滤光片行VG(27和28)。分别排列G滤光片(与第一色对应的第一滤光片)、R滤光片和B滤光片(与第二色的各色对应的第二滤光片)而构成第一方向H的格子滤光片行HG和第二方向V的格子滤光片行VG。
另外，本例的格子滤光片行HG、VG如图3和图4所示具有以下的追加性的特征(7－1)、特征(7－2)和特征(7－3)。
〔特征(7－1)〕在基本排列图案P1内，第一方向H的格子滤光片行HG和第二方向V的格子滤光片行VG中，R滤光片23R和B滤光片23B分别以相同的比率存在。即，在本例中，在各基本排列图案P1内，在第一方向H的格子滤光片行HG中，滤光片23R和B滤光片23B存在相同的数量，且在第二方向V的格子滤光片行VG中R滤光片23R和B滤光片23B存在相同的数量。
〔特征(7－2)〕与矩形图案Q的四边(图中的上边、右边、下边、左边)的各一边相邻而至少配置一个R滤光片23R和B滤光片23B(第二色的各色的滤光片)。即，在本例中，与矩形图案Q的四边的各一边相邻而配置一个或两个R滤光片23R，且，与矩形图案Q的四边的各一边相邻而配置一个或两个B滤光片23B。
〔特征(7－3)〕
如图3所示，第一方向H的格子滤光片行HG由一个像素宽度的一个滤光片行25或26构成。第二方向V的格子滤光片行VG由一个像素宽度的一个滤光片行27或28构成。即，相互正交的格子滤光片行HG和VG均是一个像素宽度。
〔特征(7－4)〕
如图3所示，在第一方向H的格子滤光片行HG和第二方向V的格子滤光片行VG中，在矩形图案Q的对角线上的位置配置G滤光片23G(第一滤光片)。由此，能够不增大基本排列图案P1的尺寸而将G滤光片23G在滤色器排列22中在第一方向H和第二方向V上均等地配置。
在本例中，在格子滤光片行HG、VG中，G滤光片23G仅配置于矩形图案Q的对角线上的位置，由此，G滤光片23G在第一方向H和第二方向V上，在矩形图案Q间，G滤光片23不连续。
另外，本例的滤色器排列22如图3所示具有以下的特征(8)。
〔特征(8)〕
在滤色器排列22内，R滤光片23R和B滤光片23B(与第二色的各色对应的第二滤光片)分别在第三方向NE和第四方向NW的各滤光片行内配置一个以上。
在图3所示的9个基本排列图案P中，在关注于中央的基本排列图案P的各滤光片而对NE方向和NW方向的各方向进行观察时，可知在NE、NW的各方向上一定配置R滤光片23R、B滤光片23B。
另外，如图5所示，将使基本排列图案P1沿水平方向和垂直方向各移位一个像素所得的基本排列图案设为P1’，将分别各移位两个像素所得的基本排列图案设为P1”，则即使将这些基本排列图案P1’、P1”在水平方向和垂直方向上重复配置，也成为相同的滤色器排列22。如此，能够构成图3所示的滤色器排列22的基本排列图案存在多个。在第一实施方式中，出于方便将图4所示的基本排列图案P1称作基本排列图案。
如以上那样，本实施方式的滤色器排列22具有前述的特征，因此能够实现后段的去马赛克算法处理的简化、高频区域中的去马赛克算法处理的再现精度的提高、去马赛克算法处理时的混淆的抑制和高频再现性的提高、高分辨率化、R像素的去马赛克算法处理的精度提高、相关性高的方向的判别。
＜第一滤光片(第一色)的条件＞
在上述各实施方式中，作为具有本发明的第一色的第一滤光片列举G色的G滤光片23G为例而进行了说明，但是也可以替代G滤光片23G或替代G滤光片23G的一部分，使用满足下述条件(1)至条件(4)的任一个条件的滤光片。
〔条件(1)〕
条件(1)是用于得到亮度信号的贡献率是50％以上。该贡献率50％是为了对本发明的第一色(G色等)和第二色(R、B色等)进行区别而确定的值，是以用于得到亮度数据的贡献率与R色、B色等相比相对变高的颜色包含于“第一色”的方式所确定的值。G色的贡献率如上述式(1)所示成为60％，因而满足条件(1)。另外，关于G色以外的颜色的贡献率，也能够通过实验、模拟所取得。因此，关于在G色以外具有贡献率为50％以上的颜色的滤光片，能够作为本发明的第一滤光片而使用。另外，贡献率小于50％的颜色成为本发明的第二色(R色、B色等)，具有该色的滤光片成为本发明的第二滤光片。
〔条件(2)〕
条件(2)是滤光片的透过率的峰值处于波长480nm以上且570nm以下的范围内。滤光片的透过率例如使用由分光光度计所测定的值。关于该波长范围，是为了对本发明的第一色(G色等)和第二色(R、B色等)进行区别而确定的范围，是以不包含前述的贡献率相对变低的R色、B色等的峰值且包含贡献率相对变高的G色等的峰值的方式确定的范围。因此，能够使用透过率的峰值处于波长480nm以上且570nm以下的范围内的滤光片作为第一滤光片。另外，透过率的峰值成为波长480nm以上且570nm以下的范围外的滤光片成为本发明的第二滤光片(R滤光片23R、B滤光片23B)。
〔条件(3)〕
条件(3)是波长500nm以上且560nm以下的范围内的透过率比第二滤光片(R滤光片23R、B滤光片23B)的透过率高。在该条件(3)中，滤光片的透过率也使用由例如分光光度计所测定的值。该条件(3)的波长范围也是为了对本发明的第一色(G色等)和第二色(R、B色等)进行区别而确定的范围，是具有与R色、B色等相比前述的贡献率相对变高的颜色的滤光片的透过率比RB滤光片23R、23B等的透过率高的范围。因此，能够使用透过率在波长500nm以上且560nm以下的范围内相对较高的滤光片作为第一滤光片，使用透过率相对较低的滤光片作为第二滤光片。
〔条件(4)〕
条件(4)是使用包含三原色中对亮度信号贡献最大的颜色(例如RGB中的G色)和与该三原色不同的颜色在内的两种颜色以上的滤光片作为第一滤光片。在该情况下，与第一滤光片的各色以外的颜色对应的滤光片成为第二滤光片。
[第二实施方式的彩色摄像元件]
接下来，使用图6对本发明的第七实施方式的彩色摄像元件进行说明。另外，第二实施方式的彩色摄像元件除了在RGB像素以外具备接受白色光(可见光波长区域的光)的白色像素(也称作透明像素)这一点外，是与上述第一实施方式基本相同的结构。因此，针对与上述第一实施方式在功能/结构上相同的器件，标注相同附图标记而省略其说明。
[第二实施方式的滤色器排列]
第二实施方式的彩色摄像元件具备与第一实施方式不同的滤色器排列32。滤色器排列32包含将前述的RGB滤光片23R、23G、23B以及透明滤光片23W(第一滤光片)以与8×6像素对应的排列图案排列而成的基本排列图案P2，该基本排列图案P2沿水平和垂直方向(H、V)重复配置。因此，滤色器排列32具有前述的特征(1)。
基本排列图案P2具有将基本排列图案P1的一部分的G滤光片23G置换为透明滤光片23W的排列图案。例如，将在水平和垂直方向(H、V)上与其他G滤光片23G相邻的G滤光片23G置换为透明滤光片23W。如此，在第二实施方式的彩色摄像元件中，将G像素的一部分置换为白色像素。由此，即使将像素尺寸微细化也能够抑制颜色再现性的变差。
透明滤光片23W是透明色(第一色)的滤光片。透明滤光片23W能够透过与可见光波长区域对应的光，是例如RGB的各色的光的透过率为50％以上的滤光片。透明滤光片23W的透过率比G滤光片23G高，因此用于得到亮度信号的贡献率也比G色(60％)高，满足前述的条件(1)。
在表示滤色器排列32的分光灵敏度特性的图7中，透明滤光片23W的透过率的峰值(白色像素的灵敏度的峰值)处于波长480nm以上且570nm以下的范围内。另外，在透明滤光片23W的透过率在波长500nm以上且560nm以下的范围内，比RB滤光片23R、23B的透过率高。因此，透明滤光片23W也满足前述的条件(2)、(3)。另外，关于G滤光片23G，也与透明滤光片23W同样满足前述的条件(1)～(3)。
如此，透明滤光片23W满足前述的条件(1)～(3)，因此能够作为本发明的第一滤光片而使用。另外，在滤色器排列32中，将与RGB的三原色中对亮度信号贡献最大的G色对应的G滤光片23G的一部分置换为透明滤光片23W，因此也满足前述的条件(4)。
返回到图6，滤色器排列32如上述那样，除了将G滤光片23G的一部分置换成透明滤光片23W这一点外，基本上与第一实施方式的滤色器排列22相同，因此具有与第一实施方式同样的特征(2)～(6)。因此，能够得到与由第一实施方式所说明的效果同样的效果。
另外，透明滤光片23W的配置、个数不限于图6所示的实施方式，也可以适当进行变更。在该情况下，若包含G滤光片23G和透明滤光片23W的第一滤光片在滤色器排列32的水平方向、垂直方向、倾斜方向(NE、NW)的各方向的各滤光片行上包含1个以上，则满足前述的特征(2)。
[第三实施方式的彩色摄像元件]
接下来，使用图8对本发明的第三实施方式的彩色摄像元件进行说明。另外，第三实施方式的彩色摄像元件除了具备两种G像素这一点外，是与上述第一实施方式基本上相同的结构。因此，针对与上述第一实施方式在功能/结构上相同的器件，标注相同附图标记而省略其说明。
[第三实施方式的滤色器排列]
第三实施方式的彩色摄像元件具备与第一实施方式不同的滤色器排列42。滤色器排列42包含将R滤光片23R、第一G滤光片23G1、和第二G滤光片23G2(第一滤光片)、B滤光片23B以与8×6像素对应的排列图案排列而成的基本排列图案P3，该基本排列图案P3沿水平和垂直方向(H、V)重复配置。因此，滤色器排列42具有前述的特征(1)。
基本排列图案P3具有将第一实施方式的基本排列图案P1的各G滤光片23G置换为第一G滤光片23G1或者第二G滤光片23G2所得的排列图案。例如，在本实施方式中，第一G滤光片23G1和第二G滤光片23G2以相同的比率配置在图4的各矩形图案Q，且以相同的比率配置在第二方向V的格子滤光片行VG上。
第一G滤光片23G1透过第一波长区域的G光，第二G滤光片23G2透过与第一G滤光片23G1相关性高的第二波长区域的G光(参照图9)。作为第一G滤光片23G1，能够使用已知的G滤光片(例如第一实施方式的G滤光片23G)。另外，作为第二G滤光片23G2，能够使用与第一G滤光片23G1相关性高的滤光片。在该情况下，优选为，第二G滤光片23G2的分光灵敏度曲线的峰值例如处于波长500nm至535nm的范围(已知的G滤光片的分光灵敏度曲线的峰值附近)。另外，决定四种颜色的滤色器的方法例如能够使用日本特开2003－284084号中记载的方法。
如此将由第三实施方式的彩色摄像元件取得的图像的颜色设为4种，增加所取得的颜色信息，从而与仅取得三种颜色(RGB)的情况相比，能够更准确地对颜色进行表现。即，能够将眼睛看起来不同的颜色再现为不同的颜色，将看起来相同的颜色再现为相同的颜色(提高“颜色的判别性”)。
第一和第二G滤光片23G1、23G2的透过率与第一实施方式的G滤光片23G的透过率基本上相同，因此用于得到亮度信号的贡献率比50％高。因此，第一和第二G滤光片23G1、23G2满足前述的条件(1)。
另外，在表示滤色器排列42的分光灵敏度特性的图9中，各G滤光片23G1、23G2的透过率的峰值(各G像素的灵敏度的峰值)处于波长480nm以上且570nm以下的范围内。各G滤光片23G1、23G2的透过率在波长500nm以上且560nm以下的范围内比RB滤光片23R、23B的透过率高。因此，各G滤光片23G1、23G2也满足前述的条件(2)、(3)。
返回到图8，滤色器排列42如上述那样，除了具有各G滤光片23G1、23G2这一点外，基本上与第一实施方式的滤色器排列22相同，因此具有与第一实施方式同样的特征(2)～(6)。因此，能够得到与由第一实施方式所说明的效果同样的效果。
另外，各G滤光片23G1、23G2的配置、个数不限于图8所示的实施方式，也可以适当进行变更。另外，也可以将G滤光片的种类增加到三种以上。
[第四实施方式的彩色摄像元件]
接下来，使用图10对本发明的第五实施方式的彩色摄像元件进行说明。另外，第四实施方式的彩色摄像元件除了不但具备RGB像素而且还具备接受与本发明的第四色对应的翠绿(E)色的光的E像素这一点外，是与上述第一实施方式基本相同的结构。因此，针对与上述第一实施方式在功能/结构上相同的器件，标注相同附图标记而省略其说明。
[第四实施方式的滤色器排列]
第四实施方式的彩色摄像元件具备与第一实施方式不同的滤色器排列52。滤色器排列52包含将前述的RGB滤光片23R、23G、23B和E滤光片23E(第一滤光片)以与8×6像素对应的排列图案排列而成的基本排列图案P4，该基本排列图案P4沿水平和垂直方向(H、V)重复配置。因此，滤色器排列52具有前述的特征(1)。
基本排列图案P4具有将图6所示的第二实施方式的基本排列图案P2的透明滤光片23W置换为E滤光片23E的排列图案。如此，通过使用将G滤光片23G的一部分置换为E滤光片23E的四种颜色的滤色器排列52，能够提高亮度高的区域成分的再现，减少锯齿并能够实现分辨率感的提高。
在表示滤色器排列52的分光灵敏度特性的图11中，E滤光片23E的透过率的峰值(E像素的灵敏度的峰值)处于波长480nm以上且570nm以下的范围内。另外，E滤光片23E的透过率在波长500nm以上且560nm以下的范围内，比RB滤光片23R、23B的透过率高。因此，E滤光片23E满足前述的条件(2)、(3)。另外，在滤色器排列52中，将与RGB的三原色中对亮度信号贡献最大的G色对应的G滤光片23G的一部分置换为E滤光片23E，因此也满足前述的条件(4)。
另外，在图11所示的分光特性中，E滤光片23E与G滤光片23G相比在短波长侧具有峰值，但是也有时与G滤光片23G相比在长波长侧具有峰值(看起来稍微偏黄的颜色)。如此，作为E滤光片23E，能够对满足本发明的各条件的E滤光片进行选择，例如，也能够对满足条件(1)那样的E滤光片23E进行选择。
返回到图10，滤色器排列52如上述那样，除了将G滤光片23G的一部分置换为E滤光片23E这一点外，基本上与第一实施方式的滤色器排列22相同，因此具有与第一实施方式同样的特征(2)～(6)。因此，能够得到与第一实施方式中说明的效果同样的效果。
另外，E滤光片23E的配置、个数也可以变更为与图10所示的实施方式不同的配置、个数。在该情况下，如果包含G滤光片23G和E滤光片23E的第一滤光片在滤色器排列52的水平方向、垂直方向、倾斜方向(NE、NW)的各方向的滤光片行上包含1个以上，则满足前述的特征(2)。
另外，在上述第四实施方式中，使用E滤光片23E作为本发明的第一滤光片，但是有时在E滤光片23E中也不满足例如前述的条件(1)～(4)。因此，也可以使用这种E滤光片23E作为本发明的第二滤光片。
[其他]
上述各施形态的各滤色器排列中，其基本排列图案以与8×6像素对应的排列图案进行排列，但是也可以是以与在第一方向H上排列数目比八个像素多的像素且在第二方向V上排列数目比六个像素多的像素对应的排列图案排列而成的基本排列图案。例如，也可以设为包括与8×8像素对应的基本排列图案的滤色器排列。
图12所例示的滤色器排列62的基本排列图案P5是8×8像素的排列图案。
基本排列图案P5除了将第一实施方式的基本排列图案P1扩展为8×8像素这一点外，基本上与基本排列图案P1同样。因此，滤色器排列62具有与第一实施方式的滤色器排列22同样的特征(1)～(8)。
另外，虽然省略了图示，但是也可以将各实施方式的基本排列图案变更为与其他的M像素×N像素(M为8以上，N为6以上)对应的排列图案。但是，若基本排列图案的像素数增加，则与去马赛克算法等信号处理复杂化相对，无法得到由增大基本排列图案的尺寸引起的特别的效果。因此，从防止信号处理的复杂化的观点出发，优选为基本排列图案的尺寸不会过大的8像素以下×8像素以下，从使信号处理简单化的观点出发，更优选为与8×6像素对应的基本排列图案。
上述各实施方式的各滤色器排列包含将各色的滤色器沿水平方向(H)和垂直方向(V)二维排列而成的基本排列图案，且该基本排列图案沿水平方向(H)和垂直方向(V)重复配置，但是本发明不限于此。
例如，也可以是如图13所示的滤色器排列72那样包含将RGB滤光片23R、23G、23B沿倾斜方向(NE、NW)二维排列而成的所谓蜂窝排列状(蜂窝配置)的基本排列图案P9且将基本排列图案P6沿倾斜方向(NE、NW)重复配置而成的排列图案。在该情况下，倾斜方向(NE、NW)成为本发明的第一和第二方向，水平和垂直方向成为本发明的第三和第四方向。
这种滤色器排列52是使第一实施方式的滤色器排列22绕摄影光学系统10的光轴旋转45°后的排列图案，因此具有与上述第一实施方式同样的特征(1)～(8)。另外，虽然省略了图示，但是对于基本排列图案P2～P5，也可以设为上述的蜂窝排列。
在上述第一实施方式中，对由原色RGB的滤色器构成的滤色器排列进行了说明，但是也能够将本发明适用于例如在作为原色RGB的互补色的C(青色)、M(品红)、Y(黄色)中加入了G后的四种颜色的互补色系的滤色器的滤色器排列。在该情况下，将满足上述条件(1)～(4)的任一个条件的滤色器作为本发明的第一滤光片，将其他滤色器作为第二滤光片。
如以上那样，本发明的滤色器排列22能够实现(A)后段的去马赛克算法处理的简化、(B)高频区域中的去马赛克算法处理的再现精度的提高、(C)去马赛克算法处理时的混淆的抑制和高频再现性的提高、(D)R像素和B像素的去马赛克算法处理的精度提高、高分辨率化。
另外，本发明的彩色摄像元件的滤色器排列不限于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种的变形，这是不言而喻的。例如，也可以将上述各实施方式的滤色器排列适当组合。另外，作为本发明的第一滤光片，也可以使用将G滤光片23G、透明滤光片23W、第一和第二G滤光片23G1、23G2、E滤光片23E等的至少任两种组合后的滤光片，或者也可以使用满足上述条件(1)～(4)中的任一个条件那样的其他颜色的滤光片。此外，作为本发明的第二滤光片，也可以使用RB滤光片23R、23B以外的颜色的滤光片。
在上述各实施方式中，对搭载于数码相机的彩色摄像元件进行了说明，但是例如也能够将本发明适用于搭载于智能手机、手机、PDA等具有摄影功能的各种的电子设备(摄像装置)的彩色摄像元件。
附图标记说明
9…数码相机，12…彩色摄像元件，21…光电转换元件，22、32、42、52、62、72…滤色器排列，23R…R滤光片，23G…G滤光片，23G1…第一G滤光片，23G2…第二G滤光片，23B…B滤光片，23W…透明滤光片，23E…E滤光片，Q…矩形图案，P1～P6…基本排列图案

Claims (13)

1.一种彩色摄像元件，是在由排列于第一方向和与该第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，
所述滤色器的排列包含将所述滤色器沿所述第一方向和所述第二方向以与M×N像素对应的排列图案排列而成的基本排列图案，且该基本排列图案沿所述第一方向和所述第二方向重复配置，其中M为8以上，N为6以上，
所述基本排列图案包含与一种颜色以上的第一色对应的第一滤光片和与用于得到亮度信号的贡献率比所述第一色低的两种颜色以上的第二色对应的第二滤光片，
所述基本排列图案具有四个以上由所述第一滤光片组成的与3×2像素对应的矩形图案，
在所述滤色器的排列内，包围所述矩形图案的四方，配置第一方向的格子滤光片行和第二方向的格子滤光片行，所述第一方向的格子滤光片行和第二方向的格子滤光片行排列有所述第一滤光片和与所述第二色的各色对应的所述第二滤光片，
在所述滤色器的排列内，所述第一滤光片配置在所述滤色器的排列的第一方向和第二方向以及相对于所述第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，
在所述基本排列图案内，与所述第二色的各色对应的所述第二滤光片在所述第一方向和第二方向的各滤光片行内配置一个以上。
2.一种彩色摄像元件，是在由排列于第一方向和与该第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，
所述滤色器的排列包含将所述滤色器沿所述第一方向和所述第二方向以与M×N像素对应的排列图案排列而成的基本排列图案，且该基本排列图案沿所述第一方向和所述第二方向重复配置，其中M为8以上，N为6以上，
所述基本排列图案包含透过率的峰值处于480nm以上且570nm以下的范围内的与一种颜色以上的第一色对应的第一滤光片和透过率的峰值处于所述范围之外的与两种颜色以上的第二色对应的第二滤光片，
所述基本排列图案具有四个以上由所述第一滤光片组成的与3×2像素对应的矩形图案，
在所述滤色器的排列内，包围所述矩形图案的四方，配置第一方向的格子滤光片行和第二方向的格子滤光片行，所述第一方向的格子滤光片行和第二方向的格子滤光片行排列有所述第一滤光片和与所述第二色的各色对应的所述第二滤光片，
在所述滤色器的排列内，与所述第一色中的任一颜色对应的所述第一滤光片配置在所述滤色器的排列的第一方向和第二方向以及相对于所述第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，
在所述基本排列图案内，与所述第二色的各色对应的所述第二滤光片在所述基本排列图案内的所述第一方向和第二方向的各滤光片行内配置一个以上。
3.一种彩色摄像元件，是在由排列于第一方向和与该第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，
所述滤色器的排列包含将所述滤色器沿所述第一方向和所述第二方向以与M×N像素对应的排列图案排列而成的基本排列图案，且该基本排列图案沿所述第一方向和所述第二方向重复配置，其中M为8以上，N为6以上，
所述基本排列图案包含与一种颜色以上的第一色对应的第一滤光片和在波长为500nm以上且560nm以下的范围内透过率比所述第一滤光片低的与两种颜色以上的第二色对应的第二滤光片，
所述基本排列图案具有四个以上由所述第一滤光片组成的与3×2像素对应的矩形图案，
在所述滤色器的排列内，包围所述矩形图案的四方，配置第一方向的格子滤光片行和第二方向的格子滤光片行，所述第一方向的格子滤光片行和第二方向的格子滤光片行排列有所述第一滤光片和与所述第二色的各色对应的所述第二滤光片，
在所述滤色器的排列内，与所述第一色中的任一颜色对应的所述第一滤光片配置在所述滤色器的排列的第一方向和第二方向以及相对于所述第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，
在所述基本排列图案内，与所述第二色的各色对应的所述第二滤光片在所述基本排列图案内的所述第一方向和第二方向的各滤光片行内配置一个以上。
4.一种彩色摄像元件，是在由排列于第一方向和与该第一方向垂直的第二方向上的光电转换元件构成的多个像素上配置滤色器而成的单板式彩色摄像元件，
所述滤色器的排列包含将所述滤色器沿所述第一方向和所述第二方向以与M×N像素对应的排列图案排列而成的基本排列图案，且该基本排列图案沿所述第一方向和所述第二方向重复配置，其中M为8以上，N为6以上，
所述基本排列图案包括与包含三原色中对亮度信号贡献最大的颜色和颜色不同于所述三原色的第四色在内的两种颜色以上的第一色对应的第一滤光片以及与所述第一色以外的两种颜色以上的第二色对应的第二滤光片，
所述基本排列图案具有四个以上由所述第一滤光片组成的与3×2像素对应的矩形图案，
在所述滤色器的排列内，包围所述矩形图案的四方，配置第一方向的格子滤光片行和第二方向的格子滤光片行，所述第一方向的格子滤光片行和第二方向的格子滤光片行排列有所述第一滤光片和与所述第二色的各色对应的所述第二滤光片，
在所述滤色器的排列内，所述第一滤光片配置在所述滤色器的排列的第一方向和第二方向以及相对于所述第一方向和第二方向而倾斜的第三方向和第四方向的各滤光片行内，
在所述基本排列图案内，与所述第二色的各色对应的所述第二滤光片在所述基本排列图案内的所述第一方向和第二方向的各滤光片行内配置一个以上。
5.根据权利要求1～4中任一项所述的彩色摄像元件，其中，
在所述第一方向和所述第二方向的格子滤光片行中，所述第一滤光片配置于所述矩形图案的对角线上的位置。
6.根据权利要求1～5中任一项所述的彩色摄像元件，其中，
所述基本排列图案的所述M×N是8×6，所述基本排列图案具有四个所述矩形图案，所述第一方向的格子滤光片行和第二方向的格子滤光片行为一个像素宽度。
7.根据权利要求1～6中任一项所述的彩色摄像元件，其中，
在所述基本排列图案内，所述第一方向的格子滤光片行和第二方向的格子滤光片行中所述第二色的各色的滤光片以同比率存在。
8.根据权利要求1～7中任一项所述的彩色摄像元件，其中，
与所述矩形图案的四边的各一边相邻而配置有至少一个所述第二色的各色的滤光片。
9.根据权利要求1～8中任一项所述的彩色摄像元件，其中，
在所述滤色器的排列内，与所述第二色的各色对应的所述第二滤光片在所述第三方向和第四方向的各滤光片行内配置一个以上。
10.根据权利要求1～9中任一项所述的彩色摄像元件，其中，
在所述滤色器是正方形形状的情况下，所述第三方向和第四方向相对于所述第一方向和第二方向分别成45°。
11.根据权利要求1～10中任一项所述的彩色摄像元件，其中，
所述第一色包含绿色和透明中的至少任一种。
12.根据权利要求1～11中任一项所述的彩色摄像元件，其中，
所述第二色包含红色和蓝色。
13.一种摄像装置，具备：
摄影光学系统；
彩色摄像元件，经由所述摄影光学系统而使被摄体像成像；及
图像数据生成部，生成表示成像后的所述被摄体像的图像数据，
所述彩色摄像元件是权利要求1～12中任一项所述的彩色摄像元件。
CN201380036089.0A 2012-07-06 2013-07-03 彩色摄像元件和摄像装置 Expired - Fee Related CN104429061B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012152676 2012-07-06
JP2012-152676 2012-07-06
PCT/JP2013/068230 WO2014007279A1 (ja) 2012-07-06 2013-07-03 カラー撮像素子および撮像装置

Publications (2)

Publication Number Publication Date
CN104429061A true CN104429061A (zh) 2015-03-18
CN104429061B CN104429061B (zh) 2016-04-13

Family

ID=49882031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036089.0A Expired - Fee Related CN104429061B (zh) 2012-07-06 2013-07-03 彩色摄像元件和摄像装置

Country Status (4)

Country Link
US (1) US9143747B2 (zh)
JP (1) JP5702895B2 (zh)
CN (1) CN104429061B (zh)
WO (1) WO2014007279A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887636B2 (en) 2015-09-10 2021-01-05 Sony Corporation AV server system and AV server
WO2022257084A1 (en) * 2021-06-10 2022-12-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging apparatus, imaging system and method for enhancing expected color, and medium storing software for implementing the method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
US9467665B1 (en) * 2015-06-29 2016-10-11 Omnivision Technologies, Inc. Color filter array patterns for reduction of color aliasing
WO2017043501A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 Ａｖサーバシステムおよびａｖサーバ
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5251019A (en) * 1991-01-25 1993-10-05 Eastman Kodak Company Solid state color image sensor using a field-staggered color filter pattern
JP2000308080A (ja) * 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
US20020149686A1 (en) * 1998-01-20 2002-10-17 Taubman David S. Image sensor for digital cameras
JP2005136766A (ja) * 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
CN102450020A (zh) * 2009-05-28 2012-05-09 美商豪威科技股份有限公司 四通道滤色器阵列内插

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPS58219889A (ja) * 1982-06-14 1983-12-21 Shoichi Tanaka 固体撮像装置
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
WO1992013423A1 (en) * 1991-01-25 1992-08-06 Eastman Kodak Company A solid state color image sensor using a field-staggered color filter pattern
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
JP3980782B2 (ja) * 1999-02-03 2007-09-26 富士フイルム株式会社 撮像制御装置および撮像制御方法
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
JP4658401B2 (ja) * 2001-07-27 2011-03-23 オリンパス株式会社 撮像装置
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7872681B2 (en) * 2005-10-13 2011-01-18 Rjs Technology, Inc. System and method for a high performance color filter mosaic array
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
EP1874034A3 (en) * 2006-06-26 2011-12-21 Samsung Electro-Mechanics Co., Ltd. Apparatus and method of recovering high pixel image
US7701496B2 (en) * 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP2009026808A (ja) * 2007-07-17 2009-02-05 Fujifilm Corp 固体撮像装置
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
JP5442571B2 (ja) * 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
JP5054856B1 (ja) * 2011-02-21 2012-10-24 富士フイルム株式会社 カラー撮像素子
WO2012114992A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子
EP2680592B1 (en) * 2011-02-21 2016-04-06 FUJIFILM Corporation Color imaging device
WO2012117584A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置
BR112012029513A2 (pt) * 2011-03-09 2016-12-06 Fujifilm Corp elemento de imageamento de cor.
EP2690873A4 (en) * 2011-03-24 2014-10-08 Fujifilm Corp IMAGING ELEMENT, IMAGING DEVICE AND IMAGING PROGRAM
CN103650487B (zh) * 2011-07-13 2015-04-29 富士胶片株式会社 图像拾取设备、图像拾取元件，和用于校正灵敏度差异的方法
BR112014000041A2 (pt) * 2011-07-13 2017-02-07 Fujifilm Corp aparelho de captação de imagem de correção de valor de sinal
WO2013100034A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
CN104025566B (zh) * 2011-12-27 2015-10-14 富士胶片株式会社 摄像装置及摄像装置的控制方法
JP5621058B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
EP2800378A4 (en) * 2011-12-27 2015-06-17 Fujifilm Corp COLOR IMAGING ELEMENT
JP5621059B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子及び撮像装置
CN104025578B (zh) * 2011-12-27 2015-09-02 富士胶片株式会社 彩色摄像元件
WO2013100036A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
CN104396227B (zh) * 2012-06-01 2016-10-12 富士胶片株式会社 摄像装置
WO2013183378A1 (ja) * 2012-06-07 2013-12-12 富士フイルム株式会社 撮像装置、画像処理装置、及び画像処理方法
WO2013187132A1 (ja) * 2012-06-11 2013-12-19 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
WO2014007281A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
WO2014006929A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014006783A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
JP5927068B2 (ja) * 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子
WO2014007280A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
DE112013003422B4 (de) * 2012-07-06 2017-09-07 Fujifilm Corporation Farbbildaufnahmeelement und Bildaufnahmevorrichtung
CN104429061B (zh) * 2012-07-06 2016-04-13 富士胶片株式会社 彩色摄像元件和摄像装置
WO2014007282A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子及び撮像装置
CN104412583B (zh) * 2012-07-06 2016-03-30 富士胶片株式会社 彩色摄像元件和摄像装置
WO2014006784A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
JP5698875B2 (ja) * 2012-07-06 2015-04-08 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5687676B2 (ja) * 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5251019A (en) * 1991-01-25 1993-10-05 Eastman Kodak Company Solid state color image sensor using a field-staggered color filter pattern
US20020149686A1 (en) * 1998-01-20 2002-10-17 Taubman David S. Image sensor for digital cameras
JP2000308080A (ja) * 1999-04-15 2000-11-02 Olympus Optical Co Ltd カラー撮像素子及びカラー撮像装置
JP2005136766A (ja) * 2003-10-31 2005-05-26 Sony Corp 画像処理装置および画像処理方法
CN102450020A (zh) * 2009-05-28 2012-05-09 美商豪威科技股份有限公司 四通道滤色器阵列内插

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887636B2 (en) 2015-09-10 2021-01-05 Sony Corporation AV server system and AV server
WO2022257084A1 (en) * 2021-06-10 2022-12-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging apparatus, imaging system and method for enhancing expected color, and medium storing software for implementing the method

Also Published As

Publication number Publication date
WO2014007279A1 (ja) 2014-01-09
JP5702895B2 (ja) 2015-04-15
US20150116554A1 (en) 2015-04-30
US9143747B2 (en) 2015-09-22
JPWO2014007279A1 (ja) 2016-06-02
CN104429061B (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN104412583B (zh) 彩色摄像元件和摄像装置
CN104412580B (zh) 彩色摄像元件以及摄像装置
CN104429060B (zh) 彩色摄像元件及摄像装置
US9159758B2 (en) Color imaging element and imaging device
CN104412581B (zh) 彩色摄像元件及摄像装置
CN104429061B (zh) 彩色摄像元件和摄像装置
CN104471929B (zh) 彩色摄像元件及摄像装置
CN104412582B (zh) 彩色摄像元件和摄像装置
US20140307135A1 (en) Color imaging element
US8976275B2 (en) Color imaging element

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160413

Termination date: 20190703