CN112514377B - 摄像装置和摄像系统 - Google Patents

摄像装置和摄像系统 Download PDF

Info

Publication number
CN112514377B
CN112514377B CN201980050011.1A CN201980050011A CN112514377B CN 112514377 B CN112514377 B CN 112514377B CN 201980050011 A CN201980050011 A CN 201980050011A CN 112514377 B CN112514377 B CN 112514377B
Authority
CN
China
Prior art keywords
pixel
infrared light
color filter
pixels
modification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980050011.1A
Other languages
English (en)
Other versions
CN112514377A (zh
Inventor
杉山寿伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN112514377A publication Critical patent/CN112514377A/zh
Application granted granted Critical
Publication of CN112514377B publication Critical patent/CN112514377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Studio Devices (AREA)

Abstract

该摄像装置包括：第一像素，其具有第一颜色滤色器和红外光截止滤色器，所述第一颜色滤色器透过对应于作为可见光的第一颜色光的波长带，所述红外光截止滤色器限制红外光波长带透过；第二像素，其具有第二颜色滤色器和所述红外光截止滤色器，所述第二颜色滤色器透过对应于作为可见光的第二颜色光的波长带；第三像素，其具有第三颜色滤色器和所述红外光截止滤色器，所述第三颜色滤色器透过对应于作为可见光的第三颜色光的波长带；第四像素，其具有透过所述红外光波长带的透射特性；以及第五像素，其具有不同于所述第一像素、所述第二像素、所述第三像素、和所述第四像素中任一者的波长透射特性。

Description

摄像装置和摄像系统
技术领域
本公开涉及摄像装置和摄像系统，特别地，涉及能够同时获取可见光和红外光(IR，infrared)的摄像装置和使用该摄像装置的摄像系统。
背景技术
近年来，能够同时获取可见光和红外光(红外线)的摄像装置得到关注。对于个人计算机、智能手机等中所使用的诸如人脸验证或虹膜验证等安全相关用途以及车载方式或监控、游戏等中所使用的诸如距离测量或黑暗中的物体识别等用途，这种摄像装置能够同时实现通常的对彩色图像的摄像功能以及利用红外光的针对这些用途的感测功能。
在能够同时获取可见光和红外光的摄像装置中，为了避免红外光进入到用于接收可见光的像素中，在作为接收单位的各单位像素阵列中设有用于获取可见光的R(红色)、G(绿色)和B(蓝色)滤色器以及用于获取红外光的IR(红外光)滤色器(例如参见专利文献1)。
传统技术的前提是能够透过可见光和特定的红外光(产生的红外光)的波长带的双(双重的)带通滤色器设置在摄像装置的前面。并且，进一步地在R、G和B滤色器上形成具有吸收几乎与上述特定的红外光波长带相同的波长区域的特性的选择性红外光截止滤色器，使得仅可见光的波长带透射到可见光像素，同时另一方面，仅上述特定的红外光波长带的光透射到红外光像素。
引用列表
专利文献
专利文献1：JP 2017-216678A
发明内容
技术问题
在上述专利文献1所述的传统技术中，选择性红外光截止滤色器的截止波长区域的透射率的值通常并不完全为0％，大约为10％至20％。另外，通常，选择性红外光截止滤色器的截止特性具有不稳定性，红外光在摄像装置的表面内的透射率往往不同并且随时间变化。正因为如此，在可见光分量和红外光分量之间的分离的计算中，会出现诸如不期望的可见光和红外光之间的分离精度劣化或者不期望的分离计算的解的发散等现象。因此，图像质量劣化。
本公开的目的是提供一种摄像装置：即使在选择性红外光截止滤色器的红外光透射率未知或者在空间或时间上不稳定的情况下，该摄像装置也能够更精确地分离可见光和红外光。
技术方案
用于实现上述目的的本公开的摄像装置具有：第一像素，其具有第一颜色滤色器和红外光截止滤色器，所述第一颜色滤色器透过对应于作为可见光的第一颜色光的波长带，所述红外光截止滤色器限制红外光波长带透过；第二像素，其具有第二颜色滤色器和所述红外光截止滤色器，所述第二颜色滤色器透过对应于作为可见光的第二颜色光的波长带；第三像素，其具有第三颜色滤色器和所述红外光截止滤色器，所述第三颜色滤色器透过对应于作为可见光的第三颜色光的波长带；第四像素，其具有透过所述红外光波长带的透射特性；以及第五像素，其具有不同于所有的所述第一像素、所述第二像素、所述第三像素、和所述第四像素的波长透射特性。另外，用于实现上述目的的本公开的摄像系统使用具有上述配置的摄像装置。
附图说明
图1是示出使用本公开的摄像装置的摄像系统(相机系统)的构造的概况的框图。
图2A是示出布置在摄像装置前面的双带通滤色器的光谱特性的一个示例的图，图2B是示出R-G-B-W滤色器阵列的图。
图3A是示出根据第一示例的滤色器的单位像素阵列的图，图3B是示出选择性红外光截止滤色器的光谱特性的一个示例的图。
图4是示出像素阵列部的各像素的滤色器的配置的截面图。
图5A是示出根据第一示例的第一变形例的滤色器阵列的图，图5B是示出根据第一示例的第二变形例的滤色器阵列的图。
图6A是示出根据第一示例的第三变形例的滤色器阵列的图，图6B是示出根据第一示例的第四变形例的滤色器阵列的图。
图7A是示出根据第一示例的第五变形例的滤色器阵列的图，图7B是示出根据第一示例的第六变形例的滤色器阵列的图。
图8A是示出根据第二示例的滤色器阵列的图，图8B是示出根据第二示例的变形例的滤色器阵列的图。
图9是示出根据第三示例的滤色器的单位像素阵列的图。
图10A是示出根据第三示例的第一变形例的滤色器阵列的图，图10B是示出根据第三示例的第二变形例的滤色器阵列的图。
图11是示出根据第四示例的滤色器阵列的图。
图12A是示出根据第四示例的第一变形例的滤色器阵列的图，图12B是示出根据第四示例的第二变形例的滤色器阵列的图
图13A是示出根据第五示例的滤色器阵列的图，图13B是示出根据第五示例的变形例的滤色器阵列的图。
图14A是示出根据第六示例的滤色器阵列的图，图14B是示出根据第六示例的变形例的滤色器阵列的图。
图15是示出根据第七示例的滤色器阵列的图。
图16A是示出根据第七示例的第一变形例的滤色器阵列的图，图16B是示出根据第七示例的第二变形例的滤色器阵列的图。
图17是示出根据第八示例的滤色器阵列的图。
图18A是示出根据第八示例的第一变形例的滤色器阵列的图，图18B是示出根据第八示例的第二变形例的滤色器阵列的图。
图19A是示出根据第九示例的滤色器阵列的图，图19B是示出根据第九示例的第一变形例的滤色器阵列的图。
图20A是示出根据第九示例的第二变形例的滤色器阵列的图，图20B是示出根据第九示例的第三变形例的滤色器阵列的图。
图21A是示出根据第十示例的滤色器阵列的图，图21B是示出根据第十示例的第一变形例的滤色器阵列的图。
图22A是示出根据第十示例的第二变形例的滤色器阵列的图，图22B是示出根据第十示例的第三变形例的滤色器阵列的图。
图23A是示出根据第十示例的第四变形例的滤色器阵列的图，图23B是示出根据第十示例的第五变形例的滤色器阵列的图。
图24A是示出根据第十一示例的滤色器阵列的图，图24B是示出根据第十一示例的第一变形例的滤色器阵列的图。
图25A是示出根据第十一示例的第二变形例的滤色器阵列的图，图25B是示出根据第十一示例的第三变形例的滤色器阵列的图。
图26A是示出根据第十一示例的第四变形例的滤色器阵列的图，图26B是示出根据第十一示例的第五变形例的滤色器阵列的图。
图27A是示出根据第十二示例的滤色器阵列的图，图27B是示出根据第十二示例的第一变形例的滤色器阵列的图。
图28A是示出根据第十二示例的第二变形例的滤色器阵列的图，图28B是示出根据第十二示例的第三变形例的滤色器阵列的图。
图29A是示出根据第十二示例的第四变形例的滤色器阵列的图，图29B是示出根据第十二示例的第五变形例的滤色器阵列的图。
图30是示出根据第十三示例的滤色器阵列的图。
图31A是示出不能用来确定各像素信号和透射率k的滤色器阵列的图，图31B是示出在该滤色器阵列的情况下变换公式的图。
图32A是示出根据第一变形例的滤色器阵列的图，图32B是示出根据第二变形例的滤色器阵列的图。
图33A是示出根据第三变形例的滤色器阵列的图，图33B是示出根据第四变形例的滤色器阵列的图。
图34A是示出根据第五变形例的滤色器阵列的图，图34B是示出根据第六变形例的滤色器阵列的图。
图35A是示出根据第七变形例的滤色器阵列的图，图35B是示出根据第八变形例的滤色器阵列的图。
图36A是示出根据第九变形例的滤色器阵列的图，图36B是示出根据第十变形例的滤色器阵列的图。
图37A是示出根据第十一变形例的滤色器阵列的图，图37B是示出根据第十二变形例的滤色器阵列的图。
图38A是示出根据第十三变形例的滤色器阵列的图，图38B是示出根据第十四变形例的滤色器阵列的图。
图39A是示出根据第十五变形例的滤色器阵列的图，图39B是示出根据第十六变形例的滤色器阵列的图。
图40是示出根据第十七变形例的滤色器阵列的图。
具体实施方式
下文利用附图具体说明实现本公开的技术的方式(下文称为实施例)。本公开的技术不限于这些实施例。在以下说明中，用相同的附图标记表示相同的元件或具有相同功能的元件，省略了重复性说明。应当指出，按以下顺序进行说明。
1.关于本公开的摄像装置和摄像系统的总体说明
2.使用本公开的摄像装置的摄像系统(相机系统)
2-1.系统构造
2-2.根据传统示例的R-G-B-W滤色器阵列
3.本公开的实施例
3-1.第一示例(基于R-G-B-W像素阵列的示例)
3-2.第二示例(基于R-G-B-W像素阵列的示例，其中，GI像素代替了一半的W像素)
3-3.第三示例(基于R-G-B-IR像素阵列的示例)
3-4.第四示例(基于R-G-B-IR像素阵列的示例，其中，增加了G像素的个数)
3-5.第五示例(基于R-G-B-IR像素阵列的示例，其中，WS像素代替了一半的G像素)
3-6.第六示例(基于R-G-B-IR像素阵列的示例，其中，kIR像素代替了一半的IR像素)
3-7.第七示例(R-G-B-IR像素阵列的示例，其中，W像素代替了一半的IR像素)
3-8.第八示例(R-G-B-W像素阵列的示例，其中，IR像素代替了一半的G像素)
3-9.第九示例(基于R-B-W-WS-IR像素阵列的示例)
3-10.第十示例(基于R-G-B-IR像素阵列的示例，其中，YI像素代替了一半的R像素)
3-11.第十一示例(基于R-G-B-IR像素阵列的示例，其中，Ye像素代替了一半的R像素)
3-12.第十二示例(用互补色滤色器代替了所有滤色器的示例)
3-13.第十三示例(用于透射率计算的单位像素阵列分散排列的示例)
4.实施例的变形例
5.本公开能够采用的配置
<关于本公开的摄像装置和摄像系统的总体说明>
本公开的摄像装置和摄像系统的可行配置还包括带通滤色器，该带通滤色器透过对应于红色的波长带、对应于绿色的波长带、对应于蓝色的波长带和第一红外光波长带，所述第一红外光波长带为波长长于对应于红色的所述波长带的波长的带域。该带通滤色器具有阻断第一波长带和第二波长带的功能，所述第一波长带为在对应于红色的所述波长带与所述第一红外光波长带之间的波长带，所述第二波长带为波长长于所述第一红外光波长带的波长的带域。并且，作为带通滤色器，优选使用限制所述第一红外光波长带透过的选择性红外光截止滤色器。
在包括上述优选配置的本公开的摄像装置和摄像系统的可行配置中，第一颜色滤色器为红色滤色器，第二颜色滤色器为绿色滤色器，第三颜色滤色器为蓝色滤色器。
而且，在包括上述优选配置的本公开的摄像装置和摄像系统的可行配置中，第四像素为其上未形成有滤色器的白色像素或者具有透过红外光波长带的透射特性的红外光像素。另外，在可行配置中，第五像素为其上未形成有选择性红外光截止滤色器的绿色像素、其上形成有所述选择性红外光截止滤色器的白色像素、其上形成有所述选择性红外光截止滤色器的红外光像素或者其上未形成有所述选择性红外光截止滤色器的互补色像素。
或者，在包括上述优选配置的本公开的摄像装置和摄像系统的可行配置中，所述第一颜色滤色器、所述第二颜色滤色器和所述第三颜色滤色器为互补色滤色器。并且，在可行配置中，所述第一颜色滤色器为黄色滤色器，所述第二颜色滤色器为品红色滤色器，所述第三颜色滤色器为青色滤色器。
而且，在包括上述优选配置的本公开的摄像装置和摄像系统的可行配置中，所述第四像素为具有透过红外光波长带的透射特性的红外光像素。另外，在可行配置中，所述第五像素是其上未形成有所述选择性红外光截止滤色器的黄色滤色器、品红色滤色器或青色滤色器。
另外，在包括上述优选配置的本公开的摄像装置和摄像系统的可行配置中，各自包括所述第一像素、所述第二像素、所述第三像素、所述第四像素和所述第五像素的单位像素阵列分散地布置在其上布置有像素的矩阵的像素阵列部上。
<摄像系统>
首先，说明使用本公开的摄像装置的摄像系统(相机系统)的构造。
[系统构造]
图1示出了使用本公开的摄像装置的相机系统的构造的概况。如图1所示，根据本示例的相机系统1的构造为：具有产生红外光(IR)的光源部10、拍摄图像的摄像部20以及相机信号处理部30。
光源部10包括作为发出红外光(IR)的光源的IR-LED 11以及驱动IR-LED 11的IR-LED驱动器12。例如，发出850nm波长的红外光的发光二极管(LED)用作IR-LED 11。
摄像部20包括透镜21、双带通滤色器22和摄像装置23。另外，下文提及的本公开的摄像装置用作摄像装置23。本公开的摄像装置的示例包括例如作为一种X-Y地址型摄像装置的互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)图像传感器。CMOS图像传感器是通过采用或者通过部分地采用CMOS工艺制成的图像传感器。
双带通滤色器22是这样的带通滤色器，其透过对应于红色(R)的波长带、对应于绿色(G)的波长带、对应于蓝色(B)的波长带以及作为波长比对应于红色的波长带更长的波长带的第一红外光波长带。双带通滤色器22具有阻断第二波长带和第三波长带的功能，第二波长带是在对应于红色的波长带和第一红外光波长带之间的波长带，第三波长带是波长比红外光波长带的波长更长的波长带。图2A示出了双带通滤色器22的光谱特性的一个示例。如图2A所示，此处作为示例示出的双带通滤色器22具有透过可见光的带域以及对应于850nm波长的红外光的第一红外光波长带的特性。
摄像装置23是能够同时获取可见光和红外光的摄像装置。如前文所述，这种摄像装置使用具有R-G-B-IR像素阵列的滤色器，以避免红外光进入用于接收可见光的像素。除了这种具有R-G-B-IR像素阵列的滤色器之外，具有R-G-B-W像素阵列的滤色器也被称为能够同时获取可见光和红外光的滤色器。
这里，W表示其上未形成有滤色器的白色像素。通过在W像素上不设置滤色器，使得W像素对与其上形成有像素阵列的硅基板自身的灵敏度对应的包括可见光和红外光的所有带域具有灵敏性。
[根据传统示例的R-G-B-W滤色器阵列]
这里，说明根据传统示例的R-G-B-W滤色器阵列。图2B示出了根据传统示例的R-G-B-W滤色器阵列。
因为在根据传统示例的R-G-B-W滤色器阵列(像素阵列)中没有专用于只接收红外光的像素，针对各像素的接收光信号建立如同下面的公式(1)中示出的联立方程，执行逆运算以由此执行各颜色的信号强度的计算。
尽管通常能够解析地处理公式(1)的联立方程，但是在该滤色器配置中，在强红外光混入到可见光像素中或者在其它情形下计算误差增大，会导致在颜色再现方面图像质量劣化、噪声等。
另一方面，为了避免出现这种噪声，在一种可行的技术中，只在R-G-B-W滤色器矩阵中的R像素、G像素和B像素上形成选择性红外光截止滤色器。关于上述的联立方程，下面的公式(2)示出了表示只在R像素、G像素和B像素上方安装透射率为k的选择性红外光截止滤色器的情况下的矩阵的变换式。
通过确定公式(2)的计算公式中矩阵的逆矩阵并进行逆运算，能够分离对应于各滤色器的像素信号。如此，R像素、G像素和B像素包括的信号中的红外光的信号分量降低了对应于透射率k的倍数的量，因此能够实现抑制噪声的效果。然而，在大约透射率k＝1/3(33％)处，变换式中的行列式(1-3k)为0，逆运算的解出现不期望的发散，不能获得精确的信号强度。
如前文所述，因为透射率表现出在空间上和时间上的不稳定性，所以也可以预料选择性红外光截止滤色器的透射率会处于33％附近。因此，假设发生了这种变化，则难以在R-G-B-W滤色器阵列(像素阵列)中使用具有限定的透射率的选择性红外光截止滤色器。
<本公开的实施例>
鉴于上述问题，即使选择性红外光截止滤色器的红外光透射率k是未知的或者在空间上和时间上不稳定，本公开的实施例也使得能够将可见光和红外光更精确地分离。另外，本公开的实施例使得能够在R-G-B-W滤色器阵列(像素阵列)中也使用选择性红外光截止滤色器，同样地能够将可见光和红外光更精确地分离。
为了使得能够将可见光和红外光更精确地分离，在本实施例中，在本公开的摄像装置的滤色器的单位像素阵列中通过组合选择性红外光截止滤色器的有无来增加新的像素配置，并且针对各单位像素阵列计算输入信号和选择性红外光截止滤色器的透射率。
更具体地，根据本实施例的摄像装置的特征在于，在滤色器的单位像素阵列中具有五种类型的像素，这些像素为具有以下功能的第一像素、第二像素、第三像素、第四像素和第五像素。
第一像素具有第一滤色器和限制红外光波长带透过的红外光截止滤色器，第一滤色器透过对应于作为可见光的第一颜色光的波长带。第二像素具有第二滤色器和红外光截止滤色器，第二滤色器透过对应于作为可见光的第二颜色光的波长带。第三像素具有第三滤色器和红外光截止滤色器，第三滤色器透过对应于作为可见光的第三颜色光的波长带。第四像素具有透过红外光波长带的透射特性。第五像素具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
当使用红外光透射率k在空间上或在时间上变化的选择性红外光截止滤色器时，通过计算红外光透射率k能够提高各信号分量的计算精度。因此，能够促进改善诸如颜色再现或S/N等图像质量指标。另外，如果通常执行用于分离可见光和红外光的计算，则即使在根据红外光透射率k的值而用于确定各颜色的信号分量的矩阵发散的情况下，也能够确定各颜色的信号分量。
另外，因为能够使用具有不稳定的红外光透射率k的选择性红外光截止滤色器，所以能够将具有较低成本的膜用作选择性红外光截止滤色器，因此能够有助于降低装置自身的成本。
以下说明本实施例的具体示例。为了更精确地分离可见光和红外光，通过组合选择性红外光截止滤色器的有无，这些具体示例在滤色器的单位像素阵列中具有新的像素配置。
[第一示例]
第一示例是基于R-G-B-W像素阵列的示例。图3A示出了根据第一示例的滤色器的单位像素阵列。在第一示例中，通过使用图3A所示的四行×四列滤色器阵列(像素阵列)作为单位，各滤色器重复地布置在像素阵列部的各像素上。
应当指出，在该配置中，在R-G-B-W单位像素阵列的四个G像素中的两个G像素上形成有选择性红外光截止滤色器，在另两个G像素上未形成有选择性红外光截止滤色器。选择性红外光截止滤色器是具有吸收与产生的红外光的波长带几乎相同的波长区域的特性的滤色器。
图4示出了其上排列有像素矩阵的像素阵列部的各像素的滤色器的配置。图4是沿着图3A中的X-X线截取的B像素、G像素、R像素和GI像素的截面图，并且是W像素的截面图。
这里，GI像素是其上未形成有选择性红外光截止滤色器的G像素。以下，其上未形成有选择性红外光截止滤色器的G像素表示为GI像素。GI像素是对两个波长带具有灵敏度的像素，这两个波长带为G波长带和透过双带通滤色器22的红外光波长带。
图3B示出了选择性红外光截止滤色器的光谱特性的一个示例。尽管在图3B所示的光谱特性中红外光在850nm周围的透射率约为12％，但是透射率在摄像装置23的表面内易于变化或者随时间变化。
在像素阵列部231中的B像素、G像素和R像素上，形成有用于阻断红外光(IR)的红外光截止滤色器，例如，具有吸收与光源产生的红外光的波长带(即，第一红外光波长带)几乎相同的波长区域的特性并且限制第一波长带透过的选择性红外光截止滤色器232。并且，在选择性红外光截止滤色器232上形成有对应于各像素的滤色器233。
在GI像素上未形成有用于限制第一红外光波长带透过的选择性红外光截止滤色器232，只形成有G滤色器。W像素上未形成有滤色器，W像素对与硅基板自身的灵敏度对应的包括可见光和红外光的所有带域灵敏。并且，在像素阵列部231的各像素的最上部针对各像素形成片上透镜234。
在根据上述第一示例的滤色器阵列中，R、G和B像素是第一像素、第二像素和第三像素，具有选择性红外光截止滤色器232以及透过分别对应于作为可见光的第一颜色光(红光)、第二颜色光(绿光)和第三颜色光(蓝光)的波长带的滤色器。W像素是第四像素，具有透过红外光波长带的透射特性。GI像素是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射性。
在使用上述滤色器阵列(像素阵列)的前提下，将进入构成单位像素阵列的各像素的光学信号分为对应于滤色器的层配置的R、G、B、IR和kIR五种类型。这里，kIR表示透过了选择性红外光截止滤色器232的红外光，并且其强度为红外光的强度IR与红外光透射率k的乘积。
另外，如果在接收这些类型的光时各像素产生的信号强度为Ri、Gi、Bi、Wi和GIi，则上述信号类型和各颜色分量的输入信号之间的关系由如同以下公式(3)所示的矩阵计算(变换矩阵A)表示。
应当指出，尽管为了便于说明变换矩阵A只包括1和0的行，但是具体地，也可以基于各滤色器的光谱特性利用实数来描述分量。这也适用于下文提及的各示例。
这里，与上文提到的根据传统示例的R-G-B-W滤色器阵列(见图2B)的区别在于，存在另一种类型的像素，即GI像素，与此对应，通过将kIR的强度也设为未知的系数，进入信号强度和像素信号的变换矩阵A具有五行×五列。因此，如果存在变换矩阵A的逆矩阵(行列式detA≠0)，则能够通过执行逆矩阵运算来计算根据五种类型的进入信号值分离的R、G、B、IR和kIR的信号值。
在以下所示的公式(4)中，实际确定变换矩阵A的逆矩阵以给出用于根据像素信号分离R、G、B、kIR和IR的各进入信号强度的计算公式。在该配置中，因为存在变换矩阵A的逆矩阵(行列式detA＝2)，所以能够算出各信号强度。由此，也能够针对各单位像素阵列确定选择性红外光截止滤色器232的红外光透射率k。
根据上述第一示例，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR，因此能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算，而这是根据前文所述的传统示例的R-G-B-W滤色器阵列存在的问题。另外，还能够避免根据传统示例的R-G-B-W滤色器阵列的解发散的问题。
(第一示例的变形例)
利用其它阵列也能够获得类似于根据第一示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR(红外光)和透过所有类型的光(W)的像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(3)的变换矩阵具有逆矩阵(行列式det≠0)即可。图5A和图5B示出了包括四行×四列重复排列的滤色器阵列的变形例，图6A、图6B、图7A和图7B示出了包括两行×两列重复排列的滤色器阵列的变形例。
-第一变形例
图5A示出了根据第一示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有类似于根据第一示例的滤色器阵列(见图3A)的配置，而不同之处在于，G像素代替了GI像素，其上未形成有选择性红外光截止滤色器的RI像素代替了第三列第三行的R像素。RI像素是对两个波长带灵敏的R像素，这两个波长带为R波长带和透过双带通滤色器22的红外光波长带。
-第二变形例
图5B示出了根据第一示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有类似于根据第一示例的滤色器阵列(见图3A)的配置，而不同之处在于，G像素代替了GI像素，其上未形成有选择性红外光截止滤色器的BI像素代替了第一列第三行的B像素。BI像素是对两个波长带灵敏的B像素，这两个波长带为B波长带和透过双带通滤色器22的红外光波长带。
-第三变形例
图6A示出了根据第一示例的第三变形例的滤色器阵列。根据第三变形例的滤色器阵列具有两行×两列的R-W-G-B像素单位和两行×两列的R-W-GI-B像素单位交替排列的单位像素阵列配置。GI像素是对两个波长带灵敏的像素，这两个波长带为G波长带和透过双带通滤色器22的红外光波长带。
-第四变形例
图6B示出了根据第一示例的第四变形例的滤色器阵列。根据第四变形例的滤色器阵列具有两行×两列的R-W-G-B像素单位和两行×两列的RI-W-G-B像素单位交替排列的单位像素阵列配置。RI像素是对两个波长带灵敏的R像素，这两个波长带为R波长带和透过双带通滤色器22的红外光波长带。
-第五变形例
图7A示出了根据第一示例的第五变形例的滤色器阵列。根据第五变形例的滤色器阵列具有两行×两列的R-W-G-B像素单位和两行×两列的R-W-G-BI像素单位交替排列的单位像素阵列配置。BI像素是对两个波长带灵敏的B像素，这两个波长带为B波长带和透过双带通滤色器22的红外光波长带。
-第六变形例
图7B示出了根据第一示例的第六变形例的滤色器阵列。根据第六变形例的滤色器阵列具有两行×两列的R-W-G-B像素单位和两行×两列的R-WS-G-B像素单位交替排列的单位像素阵列配置。WS像素是其上形成有选择性红外光截止滤色器的W像素。
[第二示例]
第二示例是基于R-G-B-W像素阵列的滤色器阵列的示例，其中，GI像素代替了一半的W像素，GI像素对G波长带和透过双带通滤色器22的红外光波长带这两个波长带灵敏。图8A示出了根据第二示例的滤色器阵列。
如图8A所示，在根据第二示例的滤色器阵列中，四行×四列像素阵列具有以下配置：第一行包括R像素、GI像素、B像素和GI像素，第二行和第四行各自包括W像素、G像素、W像素和G像素，第三行包括G像素、GI像素、R像素和GI像素。这里，R像素、G像素和B像素是其上形成有选择性红外光截止滤色器的像素，GI像素和W像素是其上未形成有选择性红外光截止滤色器的像素。根据第二示例的滤色器阵列的变换矩阵计算公式与第一示例中的情况相同。
在第一示例中，GI像素代替了一半的G像素。在第一示例的情况下，当红外光的强度高时，根据GI像素算出的G信号的噪声增加，因此在一些情况下彩色图像的质量受到影响。相比之下，在根据第二示例的滤色器阵列中，R、G和B像素的滤色器配置类似于根据传统示例的R-G-B-W滤色器阵列(见图2B)中的滤色器配置，因此即使在红外光的强度高时也能够将彩色图像的质量保持在相同的水平。
根据上述的第二示例，类似于第一示例的情况，能够在不受选择性红外光截止滤色器的透射率k在时间上或空间上变化的影响的情况下更精确地执行可见光和红外光分量之间分离的运算，除此之外，还能够在即使红外光的强度高时也可以将彩色图像的质量保持在相同的水平。
(第二示例的变形例)
图8B示出了根据第二示例的变形例的滤色器阵列。根据第二示例的变形例的滤色器阵列是这样的示例，WS像素代替了基于R-G-B-W像素阵列的四行×四列重复排列的滤色器阵列中一半的W像素，WS像素是其上形成有选择性红外光截止滤色器232的W像素。
在根据第二示例的变形例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Gi、Bi、WSi或Wi，则各颜色分量的强度与各像素的信号强度之间的关系由如同以下公式(5)所示的矩阵计算来表示。
并且，如以下公式(6)所示，通过确定变换矩阵的逆矩阵并且执行逆变换，能够执行根据各像素的信号强度的R、G、B、kIR或IR的各信号分量的分离计算。
在根据第二示例的滤色器阵列中，因为用GI像素代替了一半的W像素，所以对可见光(R，B)的分量的灵敏度不期望地降低。相比之下，在根据第二示例的变形例的滤色器阵列中，因为用WS像素代替了一半的W像素，所以能够保持对可见光(R，G，B)的分量的灵敏度。
[第三示例]
第三示例是基于R-G-B-IR(红外光)像素阵列的两行×两列重复排列的滤色器阵列的示例。图9示出了根据第三示例的滤色器阵列。
根据第三示例的滤色器阵列与根据第一示例的滤色器阵列的不同之处在于，从图9中可以明显看出没有W像素。即，第三示例中的像素阵列是这样的像素阵列，其中，用IR像素代替W像素，并且，通过使用四行×四列的像素阵列为单位，各滤色器重复地布置在像素阵列部的各像素上。IR像素是具有透过红外光波长带的透射特性的像素。
根据第三示例的滤色器阵列的配置为：在各R、G或B像素上形成有选择性红外光截止滤色器，在滤色器阵列中四个G像素中的两个G像素上形成有选择性红外光截止滤色器，在另外两个G像素(即，GI像素)上未形成有选择性红外光截止滤色器。
具体地，如图9所示，在第三示例中，四行×四列的像素阵列具有以下配置：第一行包括R像素、GI像素、R像素和G像素，第二行和第四行各自包括IR像素、B像素、IR像素和B像素，第三行包括R像素、G像素、R像素和GI像素。这里，R像素、G像素、B像素和IR像素是其上形成有选择性红外光截止滤色器的像素，GI像素是其上未形成有选择性红外光截止滤色器的像素。
在上述根据第三示例的滤色器阵列中，R、G和B像素分别是第一像素、第二像素和第三像素，具有选择性红外光截止滤色器以及透过分别对应于作为可见光的第一颜色光(红光)、第二颜色光(绿光)和第三颜色光(蓝光)的波长带的滤色器。IR像素是第四像素，具有透过红外光波长带的透射特性。GI像素是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
在根据第三示例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Gi、Bi、GIi或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(7)所示的矩阵计算表示。类似于第一示例的情况，通过将kIR(选择性红外光截止滤色器的红外光透射率k与红外光的强度的乘积)设置为未知值，得到五行×五列的变换公式。
并且，如以下的公式(8)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地在上述的基于R-G-B-IR像素阵列的第三示例中，能够获得类似于基于R-G-B-W像素阵列的第一示例的情况的效果和优点。即，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR，因此能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算。
(第三示例的变形例)
利用其它阵列也能够获得类似于根据第三示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR(红外光)像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(7)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图10A示出了根据第三示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有类似于根据第三示例的滤色器阵列(见图9)的配置，而不同之处在于，其上未形成有选择性红外光截止滤色器的RI像素(即，RI像素是对两个波长带灵敏的像素，这两个波长带为R波长带和透过双带通滤色器22的红外光波长带)代替了第一列第三行和第三列第一行的R像素。
-第二变形例
图10B示出了根据第三示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有类似于根据第三示例的滤色器阵列(见图9)的配置，而不同之处在于，其上未形成有选择性红外光截止滤色器的BI像素(即，BI像素是对两个波长带灵敏的像素，这两个波长带为B波长带和透过双带通滤色器22的红外光波长带)代替了第二列第四行和第四列第二行的B像素。
[第四示例]
第四示例是这样的示例，在基于R-G-B-IR像素阵列的四行×四列重复排列的滤色器阵列中，在分辨率方面更具优势的G像素的个数增加，在分辨率方面较少优势的R像素和B像素的个数减少。图11示出了根据第四示例的滤色器阵列。
如图11所示，第四示例中的R-G-B-IR像素阵列的配置为：四行×四列共16个像素中的八个(一半)像素为G像素，在八个G像素中的四个G像素上形成有选择性红外光截止滤色器，在另外的四个G像素上未形成有选择性红外光截止滤色器。并且，类似于第三示例的情况，能够通过变换公式计算各滤色器的信号值。
具体地，四行×四列像素阵列具有以下配置：第一行包括R像素、G像素、B像素和G像素，第二行和第四行各自包括GI像素、IR像素、GI像素和IR像素，第三行包括B像素、G像素、R像素和G像素。这里，R像素、G像素、B像素和IR像素是其上形成有选择性红外光截止滤色器的像素，GI像素是其上未形成有选择性红外光截止滤色器的像素。
根据上述的第四示例，因为是基于R-G-B-IR像素阵列，所以能够获得类似于第三示例的情况的效果和优点。在第四示例中，除了这些效果和优点之外，因为在分辨率方面更具优势的G像素的个数比R像素和B像素的个数多，所以还能够争取更高的分辨率。
(第四示例的变形例)
利用其它阵列也能够获得类似于根据第四示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR(红外光)像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(7)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图12A示出了根据第四示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有类似于根据第四示例的滤色器阵列(见图11)的配置，而不同之处在于，G像素代替了GI像素，其上未形成有选择性红外光截止滤色器的RI像素代替了第三列第三行的R像素。
-第二变形例
图12B示出了根据第四示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有类似于根据第四示例的滤色器阵列(见图11)的配置，而不同之处在于，G像素代替了GI像素，其上未形成有选择性红外光截止滤色器的GI像素代替了第一列第三行的B像素。
[第五示例]
第五示例是这样的示例，其上形成有选择性红外光截止滤色器的WS像素代替了基于R-G-B-IR像素阵列的四行×四列重复排列的滤色器阵列中一半的G像素。图13A示出了根据第五示例的滤色器阵列。
如图13A所示，根据第五示例的滤色器阵列的配置为：WS像素代替了R-G-B-IR像素阵列中一半的G像素，布置有四个G像素、四个WS像素和四个IR像素。具体地，四行×四列像素阵列具有以下配置：第一行包括R像素、G像素、B像素和G像素，第二行和第四行各自包括WS像素、IR像素、WS像素和IR像素，第三行包括B像素、G像素、R像素和G像素。WS像素是其上具有选择性红外光截止滤色器的W像素。
在上述根据第五示例的滤色器阵列中，R、G和B像素分别是第一像素、第二像素和第三像素，具有选择性红外光截止滤色器以及透过分别对应于作为可见光的第一颜色光(红光)、第二颜色光(绿光)和第三颜色光(蓝光)的波长带的滤色器。IR像素是第四像素，具有透过红外光波长带的透射特性。WS像素是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
在根据第五示例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Gi、Bi、WSi或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(9)所示的矩阵计算表示。
并且，如以下的公式(10)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地根据上述第五示例，因为是基于R-G-B-IR像素阵列，所以能够获得类似于第三示例的情况的效果和优点。另外，在第五示例的情况下，尽管相比于第四示例因WS像素代替了一半的G像素而降低了红外光的分辨率，但能够争取提高可见光的灵敏度。
(第五示例的变形例)
图13B示出了根据第五示例的变形例的滤色器阵列。如图13B所示，第五示例的变形例在第二行和第四行的颜色阵列方面与第五示例(图13A)的像素阵列不同。具体地，在第五示例的像素阵列中，第二行和第四行各自具有WS像素、IR像素、WS像素和IR像素的阵列。相比之下，在第五示例的变形例的像素阵列中，第二行具有WS像素、B像素、IR像素和B像素的阵列，第四行具有IR像素、B像素、WS像素和B像素的阵列。
[第六示例]
第六示例是这样的示例，作为其上形成有选择性红外光截止滤色器的IR像素的kIR像素代替了基于R-G-B-IR像素阵列的滤色器阵列中一半的IR像素。图14A示出了根据第六示例的滤色器阵列。
根据第六示例的滤色器阵列的配置为，四行×四列的像素阵列：第一行和第三行各自包括R像素、G像素、B像素和G像素，第二行包括kIR像素、B像素、IR像素和B像素，第四行包括IR像素、kIR像素、R像素和B像素。
在上述根据第六示例的滤色器阵列中，R、G和B像素分别是第一像素、第二像素和第三像素，具有选择性红外光截止滤色器以及透过分别对应于作为可见光的第一颜色光(红光)、第二颜色光(绿光)和第三颜色光(蓝光)的波长带的滤色器。IR像素是第四像素，具有透过红外光波长带的透射特性。kIR像素是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
在根据第六示例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Gi、Bi、kIRi或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(11)所示的矩阵计算表示。
并且，如以下的公式(12)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地根据上述第六示例，因为是基于R-G-B-IR像素阵列，所以能够获得类似于第三示例的情况的效果和优点。另外，尽管由于kIR像素代替了一半的IR像素而使红外光的分辨率变差，但是能够利用IR像素和kIR像素来计算选择性红外光截止滤色器的红外光透射率k。
(第六示例的变形例)
图14B示出了根据第六示例的变形例的滤色器阵列。
根据本变形例的滤色器阵列的配置为，四行×四列的像素矩阵：第一行包括R像素、G像素、B像素和G像素，第二行包括G像素、kIR像素、G像素和IR像素，第三行包括B像素、G像素、IR像素和G像素，第四行包括G像素、IR像素、G像素和kIR像素。
[第七示例]
第七示例是基于R-G-B-W-IR像素阵列的滤色器阵列的示例。图15示出了根据第七示例的滤色器阵列。
根据第七示例的滤色器阵列的配置为，在根据第四示例(见图11)的R-G-B-IR像素阵列中用W像素代替了一半的IR像素。具体地，根据第七示例的滤色器阵列具有这样的单位像素阵列配置，两行×两列的R-G-G-IR像素单元和两行×两列的B-G-G-W像素单元交替排列。
在根据第七示例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Gi、Bi、Wi或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(13)所示的矩阵计算表示。
并且，如以下的公式(14)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地在上述的基于R-G-B-W-IR像素阵列的第七示例中，能够获得类似于基于R-G-B-W像素阵列的第一示例和基于R-G-B-IR像素阵列的第三示例的情况的效果和优点。即，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR，因此能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算。
(第七示例的变形例)
利用其它阵列也能够获得类似于根据第七示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR像素和W像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(13)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图16A示出了根据第七示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有两行×两列的R-IR-G-B像素单元和两行×两列的R-W-G-B像素单元交替排列的单位像素阵列配置。
-第二变形例
图16B示出了根据第七示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有两行×两列的R-kIR-G-B像素单元和两行×两列的R-W-G-B像素单元交替排列的单位像素阵列配置。
[第八示例]
类似于第七示例，第八示例也是基于R-G-B-W-IR像素阵列的滤色器阵列。图17示出了根据第八示例的滤色器阵列。
根据第八示例的滤色器阵列具有用IR像素代替了R-G-B-W像素阵列中一半的G像素的配置。具体地，根据第八示例的滤色器阵列具有两行×两列的R-W-W-IR像素单元和两行×两列的B-W-W-G像素单元交替排列的单位像素阵列配置。根据第八示例的滤色器阵列的变换矩阵计算公式与第七示例的情况相同。
同样地在上述的基于R-G-B-W-IR像素阵列的第八示例中，能够获得类似于基于R-G-B-W像素阵列的第一示例和基于R-G-B-IR像素阵列的第三示例的情况的效果和优点。即，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR，因此能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算。
(第八示例的变形例)
利用其它阵列也能够获得类似于根据第八示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR像素和W像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(13)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图18A示出了根据第八示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有这样的配置：用G像素代替IR像素，用根据第八示例(见图17)的滤色器阵列中的IR像素代替一半的W像素。具体地，根据第一变形例的滤色器阵列具有两行×两列的R-W-IR-G像素单元和两行×两列的B-W-IR-G像素单元交替排列的单位像素阵列配置。
-第二变形例
图18B示出了根据第八示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有这样的配置：用G像素代替IR像素，用根据第八示例(见图17)的滤色器阵列中的kIR像素代替一半的W像素。具体地，根据第二变形例的滤色器阵列具有两行×两列的R-W-kIR-G像素单元和两行×两列的B-W-kIR-G像素单元交替排列的单位像素阵列配置。
[第九示例]
第九示例是基于R-B-W-WS-IR像素阵列的滤色器阵列的示例。图19A示出了根据第九示例的滤色器阵列。根据第九示例的滤色器阵列具有这样的配置：用WS像素代替G像素，用根据第四示例(见图11)的滤色器阵列中的W像素代替GI像素。具体地，根据第九示例的滤色器阵列具有两行×两列的R-W-WS-IR像素单元和两行×两列的B-W-WS-IR像素单元交替排列的单位像素阵列配置。根据其它像素信号计算G信号。
在根据第九示例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Bi、WSi、Wi或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(15)所示的矩阵计算表示。
并且，如以下的公式(16)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地在上述的基于R-B-W-WS-IR像素阵列的第九示例中，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR。因此，能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算。另外，因为用WS像素代替G像素，并且用W像素代替GI像素，所以更加能够比不进行这种替换的情况争取到提高的灵敏度。
(第九示例的变形例)
利用其它阵列也能够获得类似于根据第九示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR像素和W像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(15)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图19B示出了根据第九示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有两行×两列的R-W-WS-B像素单元和两行×两列的R-IR-WS-B像素单元交替排列的单位像素阵列配置。
-第二变形例
图20A示出了根据第九示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有这样的配置：用根据第一变形例(见图19B)的滤色器阵列中的kIR像素代替IR像素。具体地，根据第二变形例的滤色器阵列具有两行×两列的R-W-WS-B像素单元和两行×两列的R-kIR-WS-B像素单元交替排列的单位像素阵列配置。
-第三变形例
图20B示出了根据第九示例的第三变形例的滤色器阵列。根据第三变形例的滤色器阵列具有这样的配置：用根据第九变形例(见图19A)的滤色器阵列中的kIR像素代替一半的IR像素。具体地，根据第三变形例的滤色器阵列具有两行×两列的R-W-WS-IR像素单元和两行×两列的B-W-WS-kIR像素单元交替排列的单位像素阵列配置。
[第十示例]
第十示例是这样的滤色器阵列的示例，互补色滤色器代替R、G和B滤色器。互补色滤色器的示例包括Ye(黄色)、Mg(品红色)和Cy(青色)滤色器。图21A示出了根据第十示例的滤色器阵列。
根据第十示例的滤色器阵列的配置为：在基于R-G-B-IR像素阵列的滤色器阵列中用YI像素代替R、G和B像素中一半的R像素。具体地，根据第十示例的滤色器阵列具有这样的单位像素阵列配置，两行×两列的R-IR-G-B像素单元和两行×两列的YI-IR-G-B像素单元交替排列。这里，YI像素是其上未形成有选择性红外光截止滤色器的Ye像素。
在上述根据第十示例的滤色器阵列中，R、G和B像素分别是第一像素、第二像素和第三像素，具有选择性红外光截止滤色器232以及透过分别对应于作为可见光的第一颜色光(红光)、第二颜色光(绿光)和第三颜色光(蓝光)的波长带的滤色器。IR像素是第四像素，具有透过红外光波长带的透射特性。作为互补色像素的YI像素是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
在根据第十示例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Gi、Bi、YIi或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(17)所示的矩阵计算表示。
并且，如以下的公式(18)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地，在上述的R-G-B-IR滤色器阵列中用YI像素代替一半的R像素的第十示例中，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR。因此，能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算。另外，通过采用利用互补色滤色器的配置，相比于使用R、G和B滤色器的情况，能够提高对可见光的灵敏度。
(第十示例的变形例)
利用其它阵列也能够获得类似于根据第十示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR像素和YI像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(17)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图21B示出了根据第十示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有这样的配置：在根据第十示例(见图21A)的滤色器阵列中用MI像素代替YI像素。具体地，根据第一变形例的滤色器阵列具有两行×两列的R-IR-G-B像素单元和两行×两列的MI-IR-G-B像素单元交替排列的单位像素阵列配置。这里，作为互补色像素的MI像素是其上未形成有选择性红外光截止滤色器的MG像素，并且是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
-第二变形例
图22A示出了根据第十示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有这样的配置：在根据第十示例(见图21A)的滤色器阵列中用CI像素代替YI像素。具体地，根据第二变形例的滤色器阵列具有两行×两列的R-IR-G-B像素单元和两行×两列的CI-IR-G-B像素单元交替排列的单位像素阵列配置。这里，作为互补色像素的CI像素是其上未形成有选择性红外光截止滤色器的Cy像素，并且是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
-第三变形例
图22B示出了根据第十示例的第三变形例的滤色器阵列。根据第三变形例的滤色器阵列具有这样的配置：在根据第四示例(见图11)的滤色器阵列中用YI像素代替GI像素。具体地，根据第三变形例的滤色器阵列具有两行×两列的R-YI-G-IR像素单元和两行×两列的B-YI-G-IR像素单元交替排列的单位像素阵列配置。
-第四变形例
图23A示出了根据第十示例的第四变形例的滤色器阵列。根据第四变形例的滤色器阵列具有这样的配置：在根据第四示例(见图11)的滤色器阵列中用MI像素代替GI像素。具体地，根据第四变形例的滤色器阵列具有两行×两列的R-MI-G-IR像素单元和两行×两列的B-MI-G-IR像素单元交替排列的单位像素阵列配置。
-第五变形例
图23B示出了根据第十示例的第五变形例的滤色器阵列。根据第五变形例的滤色器阵列具有这样的配置：在根据第四示例(见图11)的滤色器阵列中用CI像素代替GI像素。具体地，根据第五变形例的滤色器阵列具有两行×两列的R-CI-G-IR像素单元和两行×两列的B-CI-G-IR像素单元交替排列的单位像素阵列配置。
[第十一示例]
第十一示例是这样的示例，在基于R-G-B-IR像素阵列的滤色器阵列中用Ye像素代替R、G和B像素中一半的R像素。这里，Ye像素是其上形成有选择性红外光截止滤色器的像素。图24A示出了根据第十一示例的滤色器阵列。
根据第十一变形例的滤色器阵列具有这样的配置：在根据第十示例(见图21A)的滤色器阵列中用Ye像素代替YI像素。具体地，根据第十一变形例的滤色器阵列具有两行×两列的R-IR-G-B像素单元和两行×两列的Ye-IR-G-B像素单元交替排列的单位像素阵列配置。Ye像素是其上形成有选择性红外光截止滤色器的像素。
在根据第十一示例的滤色器阵列中，如果由各像素产生的各信号的强度为Ri、Gi、Bi、Yei或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(19)所示的矩阵计算表示。
并且，如以下的公式(20)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地在第十一示例中，即，在滤色器阵列中，在上述的R-G-B-IR滤色器阵列中用Ye像素代替一半的R像素，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR。因此，能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算。另外，类似于第十示例的情况，通过采用利用互补色滤色器的配置，相比于使用R、G和B滤色器的情况，能够提高对可见光的灵敏度。
(第十一示例的变形例)
利用其它阵列也能够获得类似于根据第十一示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR像素和Ye像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(19)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图24B示出了根据第十一示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有这样的配置：在根据第十一示例(见图24A)的滤色器阵列中用M像素代替Ye像素。具体地，根据第一变形例的滤色器阵列具有两行×两列的R-IR-G-B像素单元和两行×两列的Mg-IR-G-B像素单元交替排列的单位像素阵列配置。MG像素是其上形成有选择性红外光截止滤色器的像素。
-第二变形例
图25A示出了根据第十一示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有这样的配置：在根据第十一示例(见图24A)的滤色器阵列中用Cy像素代替Ye像素。具体地，根据第二变形例的滤色器阵列具有两行×两列的R-IR-G-B像素单元和两行×两列的Cy-IR-G-B像素单元交替排列的单位像素阵列配置。Cy像素是其上形成有选择性红外光截止滤色器的像素。
-第三变形例
图25B示出了根据第十一示例的第三变形例的滤色器阵列。根据第三变形例的滤色器阵列具有这样的配置：在根据第四示例(见图11)的滤色器阵列中用Ye像素代替GI像素。具体地，根据第三变形例的滤色器阵列具有两行×两列的R-Ye-G-IR像素单元和两行×两列的B-Ye-G-IR像素单元交替排列的单位像素阵列配置。
-第四变形例
图26A示出了根据第十一示例的第四变形例的滤色器阵列。根据第四变形例的滤色器阵列具有这样的配置：在根据第四示例(见图11)的滤色器阵列中用MG像素代替GI像素。具体地，根据第四变形例的滤色器阵列具有两行×两列的R-Mg-G-IR像素单元和两行×两列的B-Mg-G-IR像素单元交替排列的单位像素阵列配置。
-第五变形例
图26B示出了根据第十一示例的第五变形例的滤色器阵列。根据第五变形例的滤色器阵列具有这样的配置：在根据第四示例(见图11)的滤色器阵列中用Cy像素代替GI像素。具体地，根据第五变形例的滤色器阵列具有两行×两列的R-Cy-G-IR像素单元和两行×两列的B-Cy-G-IR像素单元交替排列的单位像素阵列配置。
[第十二示例]
第十二示例是用互补色滤色器代替所有滤色器的示例。类似于第十示例和第十一示例的情况，互补色滤色器的示例包括Ye(黄色)、Mg(品红色)和Cy(青色)滤色器。图27A示出了根据第十二示例的滤色器阵列。
根据第十二示例的滤色器阵列具有这样的配置：在根据第十示例(见图21A)的滤色器阵列中用Ye像素代替R像素，用MG像素代替G像素，用Cy像素代替B像素。具体地，根据第十二示例的滤色器阵列具有两行×两列的Ye-IR-Mg-Cy像素单元和两行×两列的YI-IR-Mg-Cy像素单元交替排列的单位像素阵列配置。这里，Ye像素、MG像素和Cy像素是其上形成有选择性红外光截止滤色器的像素，YI像素和Ye像素是其上未形成有选择性红外光截止滤色器的像素。
在上述根据第十二示例的滤色器阵列中，Ye像素、Mg像素和Cy像素是第一像素、第二像素和第三像素，具有选择性红外光截止滤色器232以及透过分别对应于作为可见光的第一颜色光(黄光)、第二颜色光(品红色光)和第三颜色光(青色光)的波长带的滤色器。IR像素是第四像素，具有透过红外光波长带的透射特性。YI像素是第五像素，具有不同于所有的第一像素、第二像素、第三像素和第四像素的波长透射特性。
在根据第十二示例的滤色器阵列中，如果由各像素产生的各信号的强度为Yei、Mgi、Cyi、YIi或IRi，则各颜色分量的强度与各像素的信号强度之间的关系由如同下面的公式(21)所示的矩阵计算表示。
并且，如以下的公式(22)所示，通过确定变换矩阵的逆矩阵并执行逆变换，能够根据各像素的信号强度执行R、G、B、kIR或IR的各信号分量以及选择性红外光截止滤色器的红外光透射率k的分离计算。
同样地，在上述的第十二示例中，即，在用互补色滤色器代替所有滤色器的滤色器阵列中，也能够针对各单位像素阵列确定选择性红外光截止滤色器的红外光透射率k或者与红外光透射率k相乘的红外光分量kIR。因此，能够在不受选择性红外光截止滤色器的红外光透射率k的空间或时间变化影响的情况下更精确地执行可见光和红外光分量间的分离的计算。
(第十二示例的变形例)
利用其它阵列也能够获得类似于根据第十二示例的滤色器阵列的优点，只要单位像素阵列中包括的各颜色的像素(包括IR像素和YI像素)包括具有选择性红外光截止滤色器和无选择性红外光截止滤色器的像素并且像素的对应于公式(21)的变换矩阵具有逆矩阵(行列式det≠0)即可。
-第一变形例
图27B示出了根据第十二示例的第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有这样的配置：在根据第十二示例(见图27A)的滤色器阵列中用Ye像素代替YI像素，用MI像素代替一半的MG像素。具体地，根据第一变形例的滤色器阵列具有两行×两列的Ye-IR-Mg-Cy像素单元和两行×两列的Ye-IR-MI-Cy像素单元交替排列的单位像素阵列配置。
-第二变形例
图28A示出了根据第十二示例的第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有这样的配置：在根据第十二示例(见图27A)的滤色器阵列中用Ye像素代替YI像素，用CI像素代替一半的Cy像素。具体地，根据第二变形例的滤色器阵列具有两行×两列的Ye-IR-Mg-Cy像素单元和两行×两列的Ye-IR-Mg-CI像素单元交替排列的单位像素阵列配置。
-第三变形例
图28B示出了根据第十二示例的第三变形例的滤色器阵列。根据第三变形例的滤色器阵列具有这样的配置：在根据第十二示例(见图27A)的滤色器阵列中用Ye像素代替YI像素，用W像素代替一半的IR像素。具体地，根据第三变形例的滤色器阵列具有两行×两列的Ye-IR-Mg-Cy像素单元和两行×两列的Ye-W-Mg-Cy像素单元交替排列的单位像素阵列配置。
-第四变形例
图29A示出了根据第十二示例的第四变形例的滤色器阵列。根据第四变形例的滤色器阵列具有这样的配置：在根据第十二示例(见图27A)的滤色器阵列中用Ye像素代替YI像素，用WS像素代替一半的IR像素。具体地，根据第四变形例的滤色器阵列具有两行×两列的Ye-IR-Mg-Cy像素单元和两行×两列的Ye-WS-Mg-Cy像素单元交替排列的单位像素阵列配置。
-第五变形例
图29B示出了根据第十二示例的第五变形例的滤色器阵列。根据第五变形例的滤色器阵列具有这样的配置：在根据第十二示例(见图27A)的滤色器阵列中用Ye像素代替YI像素，用kIR像素代替一半的IR像素。具体地，根据第五变形例的滤色器阵列具有两行×两列的Ye-IR-Mg-Cy像素单元和两行×两列的Ye-kIR-Mg-Cy像素单元交替排列的单位像素阵列配置。
[第十三示例]
在上述各示例中，针对各单位像素阵列计算各颜色信号分量和选择性红外光截止滤色器232的红外光透射率k。相比之下，第十三示例是这样的示例，用于透射率计算的单位像素阵列分散地布置在布置有像素矩阵的像素阵列部上。第十三示例用于这样的情况，针对像素阵列部上(摄像装置的摄像表面上)的各区域以低精度获得选择性红外光截止滤色器232的红外光透射率k足够。
图30示出了根据第十三示例的滤色器阵列。这里，例如，示出了这样的情况：针对单位像素阵列的各5×5单元排列根据第一示例(见图3A)的单位像素阵列。这里，除了用于确定选择性红外光截止滤色器232的红外光透射率k的透射率计算用的单位像素阵列，还布置有普通的R-G-B-W单位像素阵列。并且，对于针对普通的单位像素阵列执行矩阵计算时的红外光透射率k，使用通过处于5×5单位区域的中心的透射率计算用的单位像素阵列算出的红外光透射率k的值。
对于透射率计算，在根据第一示例的滤色器阵列的配置中，因为红外光进入一半的G像素，所以G分量计算中的噪声增加，使得产生像素劣化的缺点。相比之下，在第十三示例中，用于透射率计算的单位像素阵列分散地布置在摄像装置的摄像表面上，以将用于透射率计算的单位像素阵列的数目减少到最低需要的数目。因此，能够抑制由G分量计算中的噪声所致的图像质量劣化。
<实施例的变形例>
尽管到此为止基于优选实施例说明本公开的技术，但是本公开的技术不限于这些实施例。上述实施例中说明的摄像装置和摄像系统的配置和结构是作为示例给出的，可以适当地改变。
例如，在上述实施例中，只是将由于选择性红外光截止滤色器的红外光透射率k所致的分量(kIR)考虑为红外光(IR)混入到具有选择性红外光截止滤色器的像素中，这不是唯一的示例。即，除此之外，可能发生从未形成有选择性红外光截止滤色器的像素到形成有选择性红外光截止滤色器的像素的颜色混合(在摄像装置的基板上因红外光所致的信号电荷的泄漏)。因此，可以认为上述的实施例中说明的红外光透射率k包括由于颜色混合所致的颜色分量。
另外，尽管上述实施例是基于一种类型的膜作为选择性红外光截止滤色器的前提，但是也可以形成有两种以上的膜，通过在尺寸等于或大于5×5的矩阵配置中处理作为未知值的两种以上的红外光透射率k来确定各信号带的信号分量。
另外，另一方面，即使包括一组具有相同颜色的滤色器以及有无选择性红外光截止滤色器的像素，也会有不能用来确定各像素信号和红外光透射率k的滤色器阵列。图31A示出了这种滤色器阵列的示例。对于这种配置的滤色器阵列，行列式必然为0，并且不能在图31B所示的变换公式中确定逆矩阵。因此，为了实现本公开的技术，需要选择使得变换矩阵的行列式不为0的选择性红外光截止滤色器的排列组合。
另外，尽管针对上述实施例中的各示例示出了各种变形例，但是变形例不限于这些变形例。例如，下文说明了使用互补色滤色器时的变形例。
(基于R、G、B和W的情况)
-第一变形例
图32A示出了根据第一变形例的滤色器阵列。根据第一变形例的滤色器阵列具有两行×两列的R-W-G-B像素单元和两行×两列的YI-W-G-B像素单元交替排列的单位像素阵列配置。
-第二变形例
图32B示出了根据第二变形例的滤色器阵列。根据第二变形例的滤色器阵列具有两行×两列的R-W-G-B像素单元和两行×两列的MI-W-G-B像素单元交替排列的单位像素阵列配置。
-第三变形例
图33A示出了根据第三变形例的滤色器阵列。根据第三变形例的滤色器阵列具有两行×两列的R-W-G-B像素单元和两行×两列的CI-W-G-B像素单元交替排列的单位像素阵列配置。
-第四变形例
图33B示出了根据第四变形例的滤色器阵列。根据第四变形例的滤色器阵列具有两行×两列的R-W-G-B像素单元和两行×两列的Ye-W-G-B像素单元交替排列的单位像素阵列配置。
-第五变形例
图34A示出了根据第五变形例的滤色器阵列。根据第五变形例的滤色器阵列具有两行×两列的R-W-G-B像素单元和两行×两列的Mg-W-G-B像素单元交替排列的单位像素阵列配置。
-第六变形例
图34B示出了根据第六变形例的滤色器阵列。根据第六变形例的滤色器阵列具有两行×两列的R-W-G-B像素单元和两行×两列的Cy-W-G-B像素单元交替排列的单位像素阵列配置。
-第七变形例
图35A示出了根据第七变形例的滤色器阵列。根据第七变形例的滤色器阵列具有两行×两列的R-W-W-G像素单元和两行×两列的B-W-W-YI像素单元交替排列的单位像素阵列配置。
-第八变形例
图35B示出了根据第八变形例的滤色器阵列。根据第八变形例的滤色器阵列具有两行×两列的R-W-W-G像素单元和两行×两列的B-W-W-MI像素单元交替排列的单位像素阵列配置。
-第九变形例
图36A示出了根据第九变形例的滤色器阵列。根据第九变形例的滤色器阵列具有两行×两列的R-W-W-G像素单元和两行×两列的B-W-W-CI像素单元交替排列的单位像素阵列配置。
-第十变形例
图36B示出了根据第十变形例的滤色器阵列。根据第十变形例的滤色器阵列具有两行×两列的R-W-W-G像素单元和两行×两列的B-W-W-Ye像素单元交替排列的单位像素阵列配置。
-第十一变形例
图37A示出了根据第十一变形例的滤色器阵列。根据第十一变形例的滤色器阵列具有两行×两列的R-W-W-G像素单元和两行×两列的B-W-W-MG像素单元交替排列的单位像素阵列配置。
-第十二变形例
图37B示出了根据第十二变形例的滤色器阵列。根据第十二变形例的滤色器阵列具有两行×两列的R-W-W-G像素单元和两行×两列的B-W-W-Cy像素单元交替排列的单位像素阵列配置。
(基于Ye、Mg、Cy和W的情况)
-第十三变形例
图38A示出了根据第十三变形例的滤色器阵列。根据第十三变形例的滤色器阵列具有两行×两列的Ye-W-Mg-Cy像素单元和两行×两列的MI-W-Mg-Cy像素单元交替排列的单位像素阵列配置。
-第十四变形例
图38B示出了根据第十四变形例的滤色器阵列。根据第十四变形例的滤色器阵列具有两行×两列的Ye-W-Mg-Cy像素单元和两行×两列的Ye-W-MI-Cy像素单元交替排列的单位像素阵列配置。
-第十五变形例
图39A示出了根据第十五变形例的滤色器阵列。根据第十五变形例的滤色器阵列具有两行×两列的Ye-W-Mg-Cy像素单元和两行×两列的Ye-W-Mg-CI像素单元交替排列的单位像素阵列配置。
-第十六变形例
图39B示出了根据第十六变形例的滤色器阵列。根据第十六变形例的滤色器阵列具有两行×两列的Ye-W-Mg-Cy像素单元和两行×两列的Ye-WS-Mg-Cy像素单元交替排列的单位像素阵列配置。
-第十七变形例
图40示出了根据第十七变形例的滤色器阵列。根据第十七变形例的滤色器阵列具有两行×两列的Ye-W-Mg-Cy像素单元和两行×两列的Ye-kIR-Mg-Cy像素单元交替排列的单位像素阵列配置。
<本公开能够采用的配置>
应当指出，本公开也能够采用如同以下所述的配置。
<<A.摄像装置>>
[A-1]
一种摄像装置，包括：
第一像素，其具有第一颜色滤色器和红外光截止滤色器，所述第一颜色滤色器透过对应于作为可见光的第一颜色光的波长带，所述红外光截止滤色器限制红外光波长带透过；
第二像素，其具有第二颜色滤色器和所述红外光截止滤色器，所述第二颜色滤色器透过对应于作为可见光的第二颜色光的波长带；
第三像素，其具有第三颜色滤色器和所述红外光截止滤色器，所述第三颜色滤色器透过对应于作为可见光的第三颜色光的波长带；
第四像素，其具有透过所述红外光波长带的透射特性；以及
第五像素，其具有不同于所有的所述第一像素、所述第二像素、所述第三像素、和所述第四像素的波长透射特性。
[A-2]
根据[A-1]的摄像装置，还包括：
带通滤色器，其透过对应于红色的波长带、对应于绿色的波长带、对应于蓝色的波长带和第一红外光波长带，并且阻断第一波长带和第二波长带，所述第一红外光波长带为波长长于对应于红色的所述波长带的波长的带域，所述第一波长带为在对应于红色的所述波长带与所述第一红外光波长带之间的波长带，所述第二波长带为波长长于所述第一红外光波长带的波长的带域。
[A-3]
根据[A-2]的摄像装置，其中，
所述红外光截止滤色器是限制所述第一红外光波长带透过的选择性红外光截止滤色器。
[A-4]
根据[A-1]至[A-3]中任一者的摄像装置，其中，
所述第一颜色滤色器为红色滤色器，
所述第二颜色滤色器为绿色滤色器，并且
所述第三颜色滤色器为蓝色滤色器。
[A-5]
根据[A-4]的摄像装置，其中，
所述第四像素为其上未形成有滤色器的白色像素或者具有透过所述红外光波长带的透射特性的红外光像素。
[A-6]
根据[A-5]的摄像装置，其中，
第五像素为其上未形成有选择性红外光截止滤色器的绿色像素、其上形成有所述选择性红外光截止滤色器的白色像素、其上形成有所述选择性红外光截止滤色器的红外光像素或者其上未形成有所述选择性红外光截止滤色器的互补色像素。
[A-7]
根据[A-1]至[A-3]中任一者的摄像装置，其中，
所述第一颜色滤色器、所述第二颜色滤色器和所述第三颜色滤色器为互补色滤色器。
[A-8]
根据[A-7]的摄像装置，其中，
所述第一颜色滤色器为黄色滤色器，
所述第二颜色滤色器为品红色滤色器，并且
所述第三颜色滤色器为青色滤色器。
[A-9]
根据[A-8]的摄像装置，其中，
所述第四像素为具有透过所述红外光波长带的透射特性的红外光像素。
[A-10]
根据[A-9]的摄像装置，其中，
所述第五像素是其上未形成有所述选择性红外光截止滤色器的黄色滤色器、品红色滤色器或青色滤色器。
[A-11]
根据[A-1]至[A-10]中任一者的摄像装置，其中，
各自包括所述第一像素、所述第二像素、所述第三像素、所述第四像素和所述第五像素的单位像素阵列分散地布置在其上布置有矩阵式像素的像素阵列部上。
<<B.摄像系统>>
[B-1]
一种摄像系统，包括：
光源，其发出红外光；以及
摄像装置，其能够获取可见光和红外光，其中，
所述摄像装置包括：
第一像素，其具有第一颜色滤色器和红外光截止滤色器，所述第一颜色滤色器透过对应于作为可见光的第一颜色光的波长带，所述红外光截止滤色器限制红外光波长带透过；
第二像素，其具有第二颜色滤色器和所述红外光截止滤色器，所述第二颜色滤色器透过对应于作为可见光的第二颜色光的波长带；
第三像素，其具有第三颜色滤色器和所述红外光截止滤色器，所述第三颜色滤色器透过对应于作为可见光的第三颜色光的波长带；
第四像素，其具有透过所述红外光波长带的透射特性；以及
第五像素，其具有不同于所有的所述第一像素、所述第二像素、所述第三像素、和所述第四像素的波长透射特性。
[B-2]
根据[B-1]的摄像系统，还包括：
带通滤色器，其透过对应于红色的波长带、对应于绿色的波长带、对应于蓝色的波长带和第一红外光波长带，并且阻断第一波长带和第二波长带，所述第一红外光波长带为波长长于对应于红色的所述波长带的波长的带域，所述第一波长带为在对应于红色的所述波长带与所述第一红外光波长带之间的波长带，所述第二波长带为波长长于所述第一红外光波长带的波长的带域。
[B-3]
根据[B-2]的摄像系统，其中，
所述红外光截止滤色器是限制所述第一红外光波长带透过的选择性红外光截止滤色器。
[B-4]
根据[B-1]至[B-3]中任一者的摄像系统，其中，
所述第一颜色滤色器为红色滤色器，
所述第二颜色滤色器为绿色滤色器，并且
所述第三颜色滤色器为蓝色滤色器。
[B-5]
根据[B-4]的摄像系统，其中，
所述第四像素为其上未形成有滤色器的白色像素或者具有透过所述红外光波长带的透射特性的红外光像素。
[B-6]
根据[B-5]的摄像系统，其中，
第五像素为其上未形成有选择性红外光截止滤色器的绿色像素、其上形成有所述选择性红外光截止滤色器的白色像素、其上形成有所述选择性红外光截止滤色器的红外光像素或者其上未形成有所述选择性红外光截止滤色器的互补色像素。
[B-7]
根据[B-1]至[B-3]中任一者的摄像系统，其中，
所述第一颜色滤色器、所述第二颜色滤色器和所述第三颜色滤色器为互补色滤色器。
[B-8]
根据[B-7]的摄像系统，其中，
所述第一颜色滤色器为黄色滤色器，
所述第二颜色滤色器为品红色滤色器，并且
所述第三颜色滤色器为青色滤色器。
[B-9]
根据[B-8]的摄像系统，其中，
所述第四像素为具有透过所述红外光波长带的透射特性的红外光像素。
[B-10]
根据[B-9]的摄像系统，其中，
所述第五像素是其上未形成有所述选择性红外光截止滤色器的黄色滤色器、品红色滤色器或青色滤色器。
[B-11]
根据[B-1]至[B-10]中任一者的摄像系统，其中，
各自包括所述第一像素、所述第二像素、所述第三像素、所述第四像素和所述第五像素的单位像素阵列分散地布置在其上布置有矩阵式像素的像素阵列部上。
附图标记列表
1…相机系统，10…光源部，11…IR-LED，12…IR-LED驱动器，20…摄像部，21…透镜，22…双带通滤色器，23…摄像装置，30…相机信号处理部，231…像素阵列部，232…选择性红外光截止滤色器，233…滤色器，234…片上透镜

Claims (12)

1.一种摄像装置，其包括：
第一像素，其具有第一颜色滤色器和红外光截止滤色器，所述第一颜色滤色器透过对应于作为可见光的第一颜色光的波长带，所述红外光截止滤色器限制红外光波长带透过；
第二像素，其具有第二颜色滤色器和所述红外光截止滤色器，所述第二颜色滤色器透过对应于作为可见光的第二颜色光的波长带；
第三像素，其具有第三颜色滤色器和所述红外光截止滤色器，所述第三颜色滤色器透过对应于作为可见光的第三颜色光的波长带；
第四像素，其具有透过所述红外光波长带的透射特性；以及
第五像素，其具有不同于所有的所述第一像素、所述第二像素、所述第三像素、和所述第四像素的波长透射特性，
其中，所述摄像装置被配置成能够基于所述第一像素、所述第二像素、所述第三像素、所述第四像素、和所述第五像素产生的信号强度来确定所述红外光截止滤色器的红外光透射率或者红外光的强度与所述红外光透射率的乘积。
2.根据权利要求1所述的摄像装置，还包括：
带通滤色器，其透过对应于红色的波长带、对应于绿色的波长带、对应于蓝色的波长带和第一红外光波长带，并且阻断第一波长带和第二波长带，所述第一红外光波长带为波长长于对应于红色的所述波长带的波长的带域，所述第一波长带为在对应于红色的所述波长带与所述第一红外光波长带之间的波长带，所述第二波长带为波长长于所述第一红外光波长带的波长的带域。
3.根据权利要求2所述的摄像装置，其中，
所述红外光截止滤色器是限制所述第一红外光波长带透过的选择性红外光截止滤色器。
4.根据权利要求1～3中任一项所述的摄像装置，其中，
所述第一颜色滤色器为红色滤色器，
所述第二颜色滤色器为绿色滤色器，并且
所述第三颜色滤色器为蓝色滤色器。
5.根据权利要求4所述的摄像装置，其中，
所述第四像素为其上未形成有滤色器的白色像素或者具有透过所述红外光波长带的透射特性的红外光像素。
6.根据权利要求5所述的摄像装置，其中，
第五像素为其上未形成有选择性红外光截止滤色器的绿色像素、其上形成有所述选择性红外光截止滤色器的白色像素、其上形成有所述选择性红外光截止滤色器的红外光像素或者其上未形成有所述选择性红外光截止滤色器的互补色像素。
7.根据权利要求1～3中任一项所述的摄像装置，其中，
所述第一颜色滤色器、所述第二颜色滤色器和所述第三颜色滤色器为互补色滤色器。
8.根据权利要求7所述的摄像装置，其中，
所述第一颜色滤色器为黄色滤色器，
所述第二颜色滤色器为品红色滤色器，并且
所述第三颜色滤色器为青色滤色器。
9.根据权利要求8所述的摄像装置，其中，
所述第四像素为具有透过所述红外光波长带的透射特性的红外光像素。
10.根据权利要求9所述的摄像装置，其中，
所述第五像素是其上未形成有选择性红外光截止滤色器的黄色滤色器、品红色滤色器或青色滤色器。
11.根据权利要求1～3中任一项所述的摄像装置，其中，
包括所述第一像素、所述第二像素、所述第三像素、所述第四像素和所述第五像素的单位像素阵列分散地布置在其上布置有矩阵式像素的像素阵列部上。
12.一种摄像系统，其包括：
光源，其发出红外光；以及
摄像装置，其能够获取可见光和红外光，其中，
所述摄像装置为权利要求1～11中任一项所述的摄像装置。
CN201980050011.1A 2018-08-07 2019-07-19 摄像装置和摄像系统 Active CN112514377B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-148195 2018-08-07
JP2018148195 2018-08-07
PCT/JP2019/028392 WO2020031655A1 (ja) 2018-08-07 2019-07-19 撮像装置及び撮像システム

Publications (2)

Publication Number Publication Date
CN112514377A CN112514377A (zh) 2021-03-16
CN112514377B true CN112514377B (zh) 2023-10-24

Family

ID=69414995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980050011.1A Active CN112514377B (zh) 2018-08-07 2019-07-19 摄像装置和摄像系统

Country Status (7)

Country Link
US (1) US20210297638A1 (zh)
JP (1) JP7242678B2 (zh)
KR (1) KR102698727B1 (zh)
CN (1) CN112514377B (zh)
DE (1) DE112019003967T5 (zh)
TW (1) TWI832864B (zh)
WO (1) WO2020031655A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114190113A (zh) * 2020-07-14 2022-03-15 深圳市汇顶科技股份有限公司 图像传感装置以及相关电子装置
JP7496183B2 (ja) * 2020-08-05 2024-06-06 パナソニックオートモーティブシステムズ株式会社 撮像装置
DE112021004873T5 (de) * 2020-09-16 2023-08-03 Sony Group Corporation Festkörperbildgebungsvorrichtung und erkennungssystem
KR20230088886A (ko) * 2020-10-19 2023-06-20 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자 및 전자 기기
TWI748693B (zh) 2020-11-12 2021-12-01 晶瑞光電股份有限公司 Ｒ、ｇ、ｂ、ｉｒ之其中任意組合濾光結構及製作方法
DE102022201523A1 (de) * 2021-09-10 2023-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ein Bildsensor, ein Verfahren zum Betreiben eines Bildsensors, ein Verfahren zum Herstellen eines Bildsensors und ein stationäres Gerät oder ein Fahrzeug oder eine Drohne mit einem Bildsensor

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1825143A (zh) * 2005-02-22 2006-08-30 三洋电机株式会社 滤色器阵列以及固体摄像元件
CN101039381A (zh) * 2006-03-17 2007-09-19 鸿富锦精密工业（深圳）有限公司 影像感测模块及其制造方法
JP2007329380A (ja) * 2006-06-09 2007-12-20 Sony Corp 物理情報取得方法、物理情報取得装置、半導体装置、信号処理装置
CN101290711A (zh) * 2007-04-18 2008-10-22 北京威亚视讯科技有限公司 一种遥控装置、指向交互系统及光标控制方法
CN101309428A (zh) * 2007-05-18 2008-11-19 索尼株式会社 图像输入处理设备和方法
JP2008289000A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
CN104756488A (zh) * 2012-11-07 2015-07-01 索尼公司 信号处理设备、信号处理方法和信号处理程序
CN106464850A (zh) * 2014-06-24 2017-02-22 日立麦克赛尔株式会社 摄像传感器以及摄像装置
CN107112342A (zh) * 2015-01-22 2017-08-29 索尼半导体解决方案公司 固态摄像装置和电子设备
CN107438148A (zh) * 2016-05-27 2017-12-05 松下知识产权经营株式会社 摄像系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09247359A (ja) * 1996-03-14 1997-09-19 Matsushita Electric Ind Co Ltd カラー画像読み取り装置
JP3733296B2 (ja) * 2001-03-19 2006-01-11 キヤノン株式会社 撮像光学系および撮像装置
JP4385284B2 (ja) * 2003-12-24 2009-12-16 ソニー株式会社 撮像装置及び撮像方法
JP2010258636A (ja) * 2009-04-23 2010-11-11 Alps Electric Co Ltd 撮像素子ユニット
US10014335B2 (en) * 2012-09-14 2018-07-03 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device and camera module
WO2014122714A1 (ja) * 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
KR102124832B1 (ko) * 2013-04-03 2020-06-19 삼성전자주식회사 카메라의 오토 포커스 시스템과 이를 이용한 카메라 장치
EP3133812A4 (en) * 2014-04-14 2017-08-16 Sharp Kabushiki Kaisha Photo detection apparatus, solid-state image pickup apparatus, and methods for making them
WO2016013520A1 (ja) * 2014-07-25 2016-01-28 富士フイルム株式会社 カラーフィルタ、固体撮像素子
JP6185213B2 (ja) * 2015-03-31 2017-08-23 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
US9635325B2 (en) * 2015-05-29 2017-04-25 Semiconductor Components Industries, Llc Systems and methods for detecting ultraviolet light using image sensors
US10389922B2 (en) * 2015-08-15 2019-08-20 Nikon Corporation Multi-wavelength detector
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
CN113721316A (zh) * 2016-01-29 2021-11-30 富士胶片株式会社 组合物、膜、近红外线截止滤波器、层叠体、图案形成方法
JP6565846B2 (ja) * 2016-09-16 2019-08-28 カシオ計算機株式会社 光源装置及び投影装置
KR102672594B1 (ko) * 2017-01-23 2024-06-07 삼성전자주식회사 이미지 센서 및 이를 포함한 전자 장치
JP6410203B1 (ja) * 2017-02-21 2018-10-24 株式会社ナノルクス 固体撮像素子及び撮像装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1825143A (zh) * 2005-02-22 2006-08-30 三洋电机株式会社 滤色器阵列以及固体摄像元件
CN101039381A (zh) * 2006-03-17 2007-09-19 鸿富锦精密工业（深圳）有限公司 影像感测模块及其制造方法
JP2007329380A (ja) * 2006-06-09 2007-12-20 Sony Corp 物理情報取得方法、物理情報取得装置、半導体装置、信号処理装置
CN101290711A (zh) * 2007-04-18 2008-10-22 北京威亚视讯科技有限公司 一种遥控装置、指向交互系统及光标控制方法
CN101309428A (zh) * 2007-05-18 2008-11-19 索尼株式会社 图像输入处理设备和方法
KR20080101770A (ko) * 2007-05-18 2008-11-21 소니 가부시끼 가이샤 화상 입력 처리 장치 및 그 방법
JP2008289000A (ja) * 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
CN104756488A (zh) * 2012-11-07 2015-07-01 索尼公司 信号处理设备、信号处理方法和信号处理程序
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
CN106464850A (zh) * 2014-06-24 2017-02-22 日立麦克赛尔株式会社 摄像传感器以及摄像装置
CN107112342A (zh) * 2015-01-22 2017-08-29 索尼半导体解决方案公司 固态摄像装置和电子设备
CN107438148A (zh) * 2016-05-27 2017-12-05 松下知识产权经营株式会社 摄像系统
JP2017216678A (ja) * 2016-05-27 2017-12-07 パナソニックＩｐマネジメント株式会社 撮像システム

Also Published As

Publication number Publication date
TW202011057A (zh) 2020-03-16
KR20210042086A (ko) 2021-04-16
KR102698727B1 (ko) 2024-08-23
TWI832864B (zh) 2024-02-21
WO2020031655A1 (ja) 2020-02-13
DE112019003967T5 (de) 2021-04-29
JPWO2020031655A1 (ja) 2021-09-02
JP7242678B2 (ja) 2023-03-20
CN112514377A (zh) 2021-03-16
US20210297638A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
CN112514377B (zh) 摄像装置和摄像系统
US7864233B2 (en) Image photographing device and method
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
US9793306B2 (en) Imaging systems with stacked photodiodes and chroma-luma de-noising
US8045033B2 (en) Solid-state image sensing device
US20060186322A1 (en) Color filter array and solid-state image pickup device
US9635325B2 (en) Systems and methods for detecting ultraviolet light using image sensors
US20110317048A1 (en) Image sensor with dual layer photodiode structure
US10404953B2 (en) Multi-layer image sensor, image processing apparatus, image processing method, and computer-readable recording medium
US20190252438A1 (en) Solid-state imaging device, imaging apparatus, and electronic apparatus
US20180204863A1 (en) Image sensor, an imaging device, an imaging system and a method for spectral imaging
US20150109494A1 (en) Color imaging element and imaging device
KR101613973B1 (ko) 컬러 필터 어레이
US10609361B2 (en) Imaging systems with depth detection
KR101625209B1 (ko) 다이크로익 필터를 이용한 컬러 필터 어레이
EP4124031A1 (en) Imaging element, and electronic instrument
US20210381824A1 (en) Lidar system and motor vehicle
US10834343B2 (en) Image sensor including color splitting element and method of operating the image sensor
US11696041B2 (en) Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus
US7800666B2 (en) Color filter arrays compensating for wavelength offset due to crosstalk and methods of producing the same
RU2581423C1 (ru) Видеосистема на кристалле (варианты)
JP2019075703A (ja) 偏光撮像装置
JP2006197020A (ja) 固体撮像装置及びカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant