CN110073491A - 成像元件和电子设备 - Google Patents

成像元件和电子设备 Download PDF

Info

Publication number
CN110073491A
CN110073491A CN201780069410.3A CN201780069410A CN110073491A CN 110073491 A CN110073491 A CN 110073491A CN 201780069410 A CN201780069410 A CN 201780069410A CN 110073491 A CN110073491 A CN 110073491A
Authority
CN
China
Prior art keywords
filter
pixel
image
band
forming component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780069410.3A
Other languages
English (en)
Other versions
CN110073491B (zh
Inventor
森光淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN110073491A publication Critical patent/CN110073491A/zh
Application granted granted Critical
Publication of CN110073491B publication Critical patent/CN110073491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/0232—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14618—Containers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Light Receiving Elements (AREA)
  • Optical Filters (AREA)

Abstract

本公开涉及一种能够提高窄波长带的光的检测精度的成像元件和电子设备。所述成像元件包括像素阵列，所述像素阵列包括用于获得图像的有效区域和在所述有效区域周围的周围区域。在所述有效区域内的各像素中设置被构造成透过具有各自不同波长的光的多种第一光学滤波器。在所述周围区域的第一像素中设置第二光学滤波器，第二光学滤波器具有比第一光学滤波器的透过带的带宽更短带宽的透过带。在与第一像素相邻的第二像素中设置第三滤波器，第三滤波器与第二光学滤波器的透过带的差为预定波长以上，或者具有等于或低于第二光学滤波器的透过率的透过率。本技术例如可以适用于CMOS图像传感器。

Description

成像元件和电子设备
技术领域
根据本公开的技术(以下也称为本技术)涉及成像元件和电子设备，具体地涉及适合用于检测窄波长带中的光的成像元件和电子设备。
背景技术
传统上已经提出了一种成像元件，其中用于通过使用等离子体滤波器检测预定窄波长带(窄带)中的光(下面也称为窄带光)的像素设置在用于获得图像的区域的周围(参见例如，专利文献1)。
引用文献列表
专利文献
专利文献1：日本专利申请公开No.2012-59865
发明内容
发明要解决的问题
然而，专利文献1中记载的发明没有具体讨论与用于检测窄带光的像素相邻的像素。因此，由于与用于检测窄带光的像素相邻的像素的影响，假设检测精度降低。
本技术已经在这种情况下做出，并且旨在限制窄带光的检测精度的降低。
解决问题的手段
根据本技术第一方面的成像元件包括：像素阵列，所述像素阵列包括用于获得图像的有效区域和在所述有效区域周围的周围区域，其中在所述有效区域内的各像素中设置被构造成透过具有各自不同波长的光的多种第一光学滤波器，在所述周围区域的第一像素中设置第二光学滤波器，第二光学滤波器具有比第一光学滤波器的透过带的带宽更短带宽的透过带，和在与第一像素相邻的第二像素中设置第三滤波器，第三滤波器与第二光学滤波器的透过带的差为预定波长以上，或者具有等于或低于第二光学滤波器的透过率的透过率。
第二光学滤波器的峰值波长与第三滤波器的峰值波长之间的差可以设定为预定波长以上。
在第三滤波器的峰值波长处的透过率可以设定为等于或低于在第二光学滤波器的峰值波长处的透过率。
在第二光学滤波器和第三滤波器之间的透过带的差小于所述预定波长的情况下，在第二光学滤波器的峰值波长处的透过率与在第三滤波器的峰值波长处的透过率之间的差可以设定为预定阈值以上。
遮光膜可以设置在第二像素的光入射侧，并且所述遮光膜可以未设置在第一像素的光入射侧。
在具有与第二像素的图像高度相同图像高度的第三像素中可以设置具有与第二光学滤波器的透过带类似透过带的光学滤波器。
第二光学滤波器可以是等离子体滤波器。
第三滤波器可以是多种第一光学滤波器中的任何一种。
根据本技术第二方面的电子设备包括成像元件；和被构造成处理从所述成像元件输出的信号的信号处理部，其中所述成像元件包括像素阵列，所述像素阵列包括用于获得图像的有效区域和在所述有效区域周围的周围区域，在所述有效区域内的各像素中设置被构造成透过具有各自不同波长的光的多种第一光学滤波器，在所述周围区域的第一像素中设置第二光学滤波器，第二光学滤波器具有比第一光学滤波器的透过带的带宽更短带宽的透过带，和在与第一像素相邻的第二像素中设置第三滤波器，第三滤波器与第二光学滤波器的透过带的差为预定波长以上，或者具有等于或低于第二光学滤波器的透过率的透过率。
根据本技术的第一方面或第二方面，由第一像素检测窄带光，并且由第二像素检测带宽比第一像素的带宽更宽的光。
发明的效果
根据本技术的第一方面或第二方面，可以限制窄波长的光的检测精度的降低。
另外，本文记载的效果不必须是限制性的，并且可以获得本公开中记载的任何效果。
附图说明
图1是示出根据本技术的拍摄装置的一个实施方案的框图。
图2是示出成像元件中的电路的构成例的框图。
图3是示意性地示出成像元件的第一实施方案的构成例的截面图。
图4是示出孔阵列结构中的等离子体滤波器的构成例的图。
图5是示出表面等离子体的分散关系的图。
图6是示出孔阵列结构中的等离子体滤波器的光谱特性的第一示例的曲线图。
图7是示出孔阵列结构中的等离子体滤波器的光谱特性的第二示例的曲线图。
图8是示出等离子体模式和波导模式的曲线图。
图9是示出表面等离子体的示例性传播特性的曲线图。
图10是示出孔阵列结构中的等离子体滤波器的其他构成例的图。
图11是示出双层结构中的等离子体滤波器的构成例的图。
图12是示出点阵列结构中的等离子体滤波器的构成例的图。
图13是示出点阵列结构中的等离子体滤波器的示例性光谱特性的曲线图。
图14是示出使用GMR的等离子体滤波器的构成例的图。
图15是示出使用GMR的等离子体滤波器的示例性光谱特性的曲线图。
图16是示意性地示出成像元件的第二实施方案的构成例的截面图。
图17是示意性地示出在拍摄装置中如何发生闪光的图。
图18是用于说明减少拍摄装置中的闪光的方法的图。
图19是示出窄带滤波器和透过滤波器的光谱特性的第一示例的曲线图。
图20是示出窄带滤波器和透过滤波器的光谱特性的第二示例的曲线图。
图21是示出窄带滤波器和透过滤波器的光谱特性的第三示例的曲线图。
图22是示意性地示出成像元件的第三实施方案的构成例的截面图。
图23是示出像素阵列的构成例的图。
图24是示出多光谱像素和周围像素的光谱特性的第一示例的图。
图25是示出像素的第一配置例的图。
图26是示出像素的第二配置例的图。
图27是示出多光谱像素和周围像素的光谱特性的第二示例的图。
图28是示出多光谱像素和周围像素的光谱特性的第三示例的图。
图29是示出像素的第三配置例的图。
图30是示出像素的第四配置例的图。
图31是示出像素的第五配置例的图。
图32是示出像素的第六配置例的图。
图33是示出像素的第七配置例的图。
图34是示出本技术可以适用的层叠型固态拍摄装置的示意性构成例的图。
图35是示出本技术的应用例的图。
图36是示出在检测到食物的味道或新鲜度的情况下的示例性检测带的图。
图37是示出在检测到水果的糖度或水分的情况下的示例性检测带的图。
图38是示出在塑料被分类的情况下的示例性检测带的图。
图39是示出内窥镜手术系统的示意性构成的示例的图。
图40是示出摄像头和CCU的功能构成的示例的框图。
图41是示出车辆控制系统的示意性构成的示例的框图。
图42是示出车外信息检测单元和拍摄部的示例性安装位置的说明图。
具体实施方式
下面将参照附图说明用于实现本公开的形态(以下称为实施方案)。此外，将按以下顺序进行说明。
1.第一实施方案
2.第二实施方案
3.变形例
4.应用例
<<1.第一实施方案>>
首先将参照图1～图22说明本技术的第一实施方案。
<拍摄装置的构成例>
图1是示出作为根据本技术的一种电子设备的拍摄装置的一个实施方案的框图。
例如，图1的拍摄装置10由能够拍摄静止图像和运动图像的数字相机构成。此外，拍摄装置10由多光谱相机构成，例如，其能够检测比基于三原色或颜色匹配功能的R(红色)、G(绿色)和B(蓝色)或者Y(黄色)、M(品红色)和C(青色)的传统的三个波长带(三波带)更多的四个以上波长带(四波带以上)的光(多光谱)。
拍摄装置10包括光学系统11、成像元件12、存储器13、信号处理部14、输出部15和控制部16。
光学系统11包括例如变焦透镜、聚焦透镜、光圈等(未示出)，并且将来自外部的光入射到成像元件12中。此外，光学系统11根据需要设有各种滤波器，如偏振滤波器等。
例如，成像元件12由互补金属氧化物半导体(CMOS)图像传感器构成。成像元件12接收来自光学系统11的入射光，对其进行光电转换，并且输出对应于入射光的图像数据。
存储器13临时存储由成像元件12输出的图像数据。
信号处理部14对存储在存储器13中的图像数据执行信号处理(诸如噪声消除、白平衡调整等处理)，并将处理后的图像数据供给输出部15。
输出部15输出来自信号处理部14的图像数据。例如，输出部15具有由液晶等构成的显示器(未示出)，并作为直通图像显示与来自信号处理部14的图像数据相对应的光谱(图像)。例如，输出部15包括用于驱动诸如半导体存储器、磁盘或光盘等记录介质的驱动器(未示出)，并将来自信号处理部14的图像数据记录到记录介质中。例如，输出部15用作用于与外部设备(未示出)进行通信的通信接口，并且以无线或有线方式将图像数据从信号处理部14发送到外部设备。
控制部16响应于使用者操作等控制拍摄装置10中的每个部分。
<成像元件中的电路的构成例>
图2是示出图1的成像元件12中的电路的构成例的框图。
成像元件12包括像素阵列31、行扫描电路32、锁相环(PLL)33、数字模拟转换器(DAC)34、列模拟数字转换器(ADC)电路35、列扫描电路36和感测放大器37。
多个像素51二维地配置在像素阵列31中。
像素51配置在连接到行扫描电路32的水平信号线H和连接到列ADC电路35的垂直信号线V彼此交叉的点处，并且每个包括用于执行光电转换的光电二极管61和用于读取累积信号的数种类型的晶体管。即，像素51包括光电二极管61、传输晶体管62、浮动扩散63、放大晶体管64、选择晶体管65和复位晶体管66，如图2右侧放大所示的。
累积在光电二极管61中的电荷经由传输晶体管62传输到浮动扩散63。浮动扩散63连接到放大晶体管64的栅极。当要读取像素51的信号时，选择晶体管65经由水平信号线H从行扫描电路32导通，并且放大晶体管64被源极跟随器驱动，使得所选择的像素51的信号作为对应于在光电二极管61中的累积电荷量的像素信号被读取到垂直信号线V。此外，复位晶体管66导通，使得像素信号复位。
行扫描电路32顺次地输出用于逐行地驱动(例如，传输、选择、复位等)像素阵列31中的像素51的驱动信号。
PLL 33基于从外部供给的时钟信号产生并输出驱动成像元件12中的每个部分所需的预定频率的时钟信号。
DAC 34产生并输出一定形状(基本上为锯状)的斜坡信号，其中电压以一定倾斜从预定电压值降低，然后返回到预定电压值。
列ADC电路35具有与像素阵列31中的像素51的列一样多的比较器71和计数器72，响应于相关双采样(CDS)操作，提取从像素51输出的像素信号的信号电平，并且输出图像数据。即，比较器71将从DAC 34供给的斜坡信号与从像素51输出的像素信号(亮度值)进行比较，并向计数器72供给得到的比较结果信号。然后，计数器72响应于从比较器71输出的比较结果信号，对具有预定频率的计数器时钟信号进行计数，从而对像素信号进行A/D转换。
列扫描电路36向列ADC电路35中的计数器72供给用于在预定定时顺次输出像素数据的信号。
感测放大器37放大从列ADC电路35供给的像素数据，并将其输出到成像元件12的外部。
<成像元件的第一实施方案>
图3示意性地示出了作为图1的成像元件12的第一实施方案的成像元件12A的断面构成例。图3示出了包括成像元件12的像素51-1～像素51-4的4个像素的断面。另外，在不需要单独区分像素51-1～像素51-4的情况下，它们将在下面简单地称为像素51。
在各像素51中从顶部层叠片上微透镜101、层间膜102、窄带滤波器层103、层间膜104、光电转换元件层105和信号配线层106。即，成像元件12由其中光电转换元件层105配置得比信号配线层106更靠近光入射侧的背面照射型的CMOS图像传感器构成。
片上微透镜101是用于将光会聚到各像素51中的光电转换元件层105的光学元件。
层间膜102和层间膜104包含诸如SiO2等介电体。如下所述，期望层间膜102和层间膜104的介电常数尽可能低。
窄带滤波器层103设置有作为光学滤波器的窄带滤波器NB，用于在各像素51中透过预定窄波长带(窄带)的窄带光。例如，使用表面等离子体的等离子体滤波器(其是一种使用包含诸如铝等金属的薄膜的金属薄膜滤波器)被用于窄带滤波器NB。此外，针对每个像素51设定窄带滤波器NB的透过带。窄带滤波器NB的透过带的种类(频带的数量)是任意的，例如设定为四个以上。
这里，窄带是比例如基于三原色或颜色匹配功能的R(红色)、G(绿色)和B(蓝色)或者Y(黄色)、M(品红色)和C(青色)的传统滤色器的透过带更窄的波长带。此外，接收透过窄带滤波器NB的窄带光的像素下面将称为多光谱像素或MS像素。
光电转换元件层105包括例如图2的光电二极管61等，接收透过窄带滤波器层103(窄带滤波器NB)的光(窄带光)，并将接收的光转换为电荷。此外，光电转换元件层105被构造成使得各像素51通过元件分离层电气隔离。
信号配线层106设置有用于读取光电转换元件层105中累积的电荷的配线等。
<等离子体过滤器>
下面将参照图4～图15说明能够用于窄带滤波器NB的等离子体滤波器。
图4示出了孔阵列结构的等离子体滤波器121A的构成例。
等离子体滤波器121A由等离子体共振体构成，其中孔132A以蜂窝状配置在金属薄膜(下面称为导体薄膜)131A中。
各孔132A贯通导体薄膜131A，并作为波导操作。通常，对于波导存在根据诸如边的长度或直径等形状确定的截止频率和截止波长，并且波导具有不传播频率小于截止频率(波长大于截止波长)的光的性质。孔132A的截止波长主要取决于开口直径D1，并且随着开口直径D1变小，截止波长也变短。另外，开口直径D1设定为小于将要透过的光的波长。
另一方面，当光入射到其中以比光的波长短的周期周期性地形成孔132A的导体薄膜131A中时，出现波长比孔132A的截止波长更长的光透过的现象。这种现象称为等离子体的异常透过现象。当在导体薄膜131A和配置在其上的层间膜102之间的边界上激发表面等离子体时发生这种现象。
这里将参照图5说明发生等离子体的异常透过现象(表面等离子体共振)的条件。
图5是示出表面等离子体的分散关系的曲线图。曲线图中的横轴表示角波数矢量k，纵轴表示角频率ω。ωp表示导体薄膜131A的等离子体频率。ωsp表示层间膜102与导体薄膜131A之间的界面上的表面等离子体频率，并且由下式(1)表示。
[数学式1]
εd表示构成层间膜102的介电体的介电常数。
在式(1)中，表面等离子体频率ωsp随着等离子体频率ωp升高而变高。此外，表面等离子体频率ωsp随着介电常数εd的降低而变高。
线L1表示光的分散关系(光线)，并且由下式(2)表示。
[数学式2]
c表示光速。
线L2表示表面等离子体的分散关系，并且由下式(3)表示。
[数学式3]
εm表示导体薄膜131A的介电常数。
由线L2表示的表面等离子体的分散关系在角波数矢量k小的范围内渐近地接近线L1所示的光线，并且随着角波数矢量k变大而渐近地接近表面等离子体频率ωsp。
然后，当建立下式(4)时，发生等离子体的异常透过现象。
[数学式4]
λ表示入射光的波长。θ表示入射光的入射角。Gx和Gy由下式(5)表示。
|Gx|＝|Gy|＝2π/a0(5)
a0表示由导体薄膜131A中的孔132A构成的孔阵列结构的晶格常数。
式(4)中的左边表示表面等离子体的角波数矢量，右边表示导体薄膜131A的孔阵列周期的角波数矢量。因此，当表面等离子体的角波数矢量等于导体薄膜131A的孔阵列周期的角波数矢量时，发生等离子体的异常透过现象。然后，此时λ的值是等离子体共振波长(等离子体滤波器121A的透过波长)。
另外，式(4)左边的表面等离子体的角波数矢量由导体薄膜131A的介电常数εm和层间膜102的介电常数εd确定。另一方面，右边的孔阵列周期的角波数矢量由光入射角θ和导体薄膜131A中的相邻孔132A之间的间距(孔间距)P1确定。因此，等离子体的共振波长和共振频率由导体薄膜131A的介电常数εm、层间膜102的介电常数εd、光入射角θ和孔间距P1确定。另外，在光入射角为0°的情况下，等离子体的共振波长和共振频率由导体薄膜131A的介电常数εm、层间膜102的介电常数εd和孔间距P1确定。
因此，等离子体滤波器121A的透过带(等离子体的共振波长)由于导体薄膜131A的材料和膜厚度、层间膜102的材料和膜厚度、孔阵列的图案周期(例如，孔132A的开口直径D1和孔间距P1)等而变化。特别地，在确定导体薄膜131A和层间膜102的材料和膜厚度的情况下，等离子体滤波器121A的透过带由于孔阵列的图案周期而变化，特别是孔间距P1。即，随着孔间距P1变窄，等离子体滤波器121A的透过带向较短波长侧移动，并且随着孔间距P1变宽，等离子体滤波器121A的透过带向较长波长侧移动。
图6是示出在改变孔间距P1的情况下等离子体滤波器121A的示例性光谱特性的曲线图。曲线图中的横轴表示波长(nm)，纵轴表示感度(任意单位)。线L11表示在孔间距P1设定为250nm的情况下的光谱特性，线L12表示在孔间距P1设定为325nm的情况下的光谱特性，线L13表示在孔间距P1设定为500nm的情况下的光谱特性。
在孔间距P1设定为250nm的情况下，等离子体滤波器121A主要透过蓝色波长带中的光。在孔间距P1设定为325nm的情况下，等离子体滤波器121A主要透过绿色波长带中的光。在孔间距P1设定为500nm的情况下，等离子体滤波器121A主要透过红色波长带中的光。然而，在孔间距P1被设定为500nm的情况下，由于下面说明的波导模式，等离子体滤波器121A透过比红色更低波长带的更多光。
图7是示出在改变孔间距P1的情况下等离子体滤波器121A的其他示例性光谱特性的曲线图。曲线图中的横轴表示波长(nm)，纵轴表示感度(任意单位)。该示例表示在孔间距P1以25nm从250nm变化到625nm的情况下的16种等离子体滤波器121A的示例性光谱特性。
另外，等离子体滤波器121A的透过率主要由孔132A的开口直径D1决定。当开口直径D1较大时，透过率较高，同时容易发生颜色混合。通常，期望开口直径D1设定成使得开口率为孔间距P1的50％～60％。
此外，如上所述，等离子体滤波器121A中的各孔132A用作波导。因此，不仅由于表面等离子共振而透过的波长分量(等离子体模式中的波长分量)而且透过孔132A的波长分量(波导模式中的波长分量)在光谱特性方面可能更大，这取决于等离子体滤波器121A的孔阵列的图案。
图8示出了在孔间距P1设定为500nm的情况下等离子体滤波器121A的光谱特性，类似于图6的线L13所示的光谱特性。在该示例中，比约630nm的截止波长长的波长是等离子体模式中的波长分量，并且比截止波长短的波长是波导模式中的波长分量。
如上所述，截止波长主要取决于孔132A的开口直径D1，并且截止波长也随着开口直径D1变小而变短。然后，随着截止波长和等离子体模式中的峰值波长之间的差变大，等离子体滤波器121A的波长分辨率特性增强。
此外，如上所述，随着导体薄膜131A的等离子体频率ωp越高，导体薄膜131A的表面等离子体频率ωsp越高。此外，随着层间膜102的介电常数εd越低，表面等离子体频率ωsp越高。然后，随着表面等离子体频率ωsp越高，可以将等离子体共振频率设定得更高，并且可以将等离子体滤波器121A的透过带(等离子体共振波长)设定在更短的波长带中。
因此，当具有较低等离子体频率ωp的金属用于导体薄膜131A时，等离子体滤波器121A的透过带可以设定在较短的波长带中。例如，铝、银、金等是优选的。然而，在透过带设定在诸如红外线等较长的波长带中的情况下，可以使用铜等。
此外，当具有较低介电常数εd的介电体用于层间膜102时，等离子体滤波器121A的透过带可以设定在较短的波长带中。例如，SiO2、low-k等是优选的。
此外，图9是示出在将铝用于导体薄膜131A并且SiO2用于层间膜102的情况下，导体薄膜131A与层间膜102之间的界面上的表面等离子体的传播特性的曲线图。曲线图中的横轴表示光的波长(nm)，纵轴表示传播距离(μm)。此外，线L21表示在界面方向上的传播特性，线L22表示在层间膜102的深度方向(垂直于界面的方向)上的传播特性，线L23表示在导体薄膜131A的深度方向(垂直于界面的方向)上的传播特性。
表面等离子体的深度方向上的传播距离ΛSPP(λ)由下式(6)表示。
[数学式5]
kSPP表示由表面等离子体传播的材料的吸收系数。εm(λ)表示导体薄膜131A相对于波长λ的光的介电常数。εd(λ)表示层间膜102相对于波长λ的光的介电常数。
因此，如图9所示，相对于波长为400nm的光，表面等离子体从包含SiO2的层间膜102的表面在深度方向上向下传播至约100nm。因此，层间膜102的厚度设定为100nm以上，从而防止层叠在层间膜102的与导体薄膜131A相对侧上的材料影响层间膜102与导体薄膜131A之间的界面上的表面等离子体。
此外，相对于波长为400nm的光，表面等离子体从包含铝的导体薄膜131A的表面在深度方向上向下传播至约10nm。因此，导体薄膜131A的厚度设定为10nm以上，从而防止层间膜104影响层间膜102与导体薄膜131A之间的界面上的表面等离子体。
<其他示例性等离子体过滤器>
下面将参照图10～图15说明其他示例性等离子体滤波器。
图10的A中的等离子体滤波器121B由等离子体共振体构成，其中孔132B以正交矩阵状配置在导体薄膜131B中。例如，透过带由于等离子体滤波器121B中的相邻孔132B之间的间距P2而改变。
此外，在等离子体共振体中所有的孔都不需要贯通导体薄膜，并且即使一些孔被构造成不贯通导体薄膜的非通孔，等离子体共振体也起到滤波器的作用。
例如，图10的B示出了等离子体滤波器121C的平面图和断面图(沿着平面图中的A-A’的断面图)，其中作为通孔的孔132C和作为非通孔的孔132C’以蜂窝状配置在导体薄膜131C中。即，作为通孔的孔132C和作为非通孔的孔132C’周期性地配置在等离子体滤波器121C中。
此外，等离子体滤波器基本上使用单层等离子体共振体，但是例如可以由双层等离子体共振体构成。
例如，图11中所示的等离子体滤波器121D被构造成包括等离子体滤波器121D-1和等离子体滤波器121D-2的两层。等离子体滤波器121D-1和等离子体滤波器121D-2被构造成使得孔以蜂窝状配置，类似于构成图4的等离子体滤波器121A的等离子体共振体。
此外，等离子体滤波器121D-1和等离子体滤波器121D-2之间的间隔D2优选地设定为透过带的峰值波长的大约1/4。此外，考虑到设计的自由度，间隔D2更优选地为透过带的峰值波长的1/2以下。
另外，如同在等离子体滤波器121D中那样，孔可以在等离子体滤波器121D-1和等离子体滤波器121D-2中以相同的图案配置，并且另外，例如，孔可以在双层等离子体共振体结构中以互相相似的图案配置。此外，在双层等离子体共振体结构中，孔和点可以以孔阵列结构和点阵列结构(后述)反转的图案配置。此外，等离子体滤波器121D是双层结构，但是也可以是三层以上的多层。
此外，上面已经说明了由孔阵列结构中的等离子体共振体构成的等离子体滤波器的构成例，但是点阵列结构中的等离子体共振体可以用于等离子体滤波器。
将参照图12说明点阵列结构中的等离子体滤波器。
图12的A中的等离子体滤波器121A’被构造成与图4的等离子体滤波器121A的等离子体共振体呈负正反转，即，由其中点133A以蜂窝状配置在介电层134A中的等离子共振体构成。介电层134A填充在各点133A之间。
等离子体滤波器121A’'吸收预定波长带的光，因此用作互补色系的滤波器。由等离子体滤波器121A’吸收的光的波长带(下面称为吸收带)由于相邻点133A之间的间距(下面称为点间距)P3等而改变。此外，根据点间距P3调整点133A的直径D3。
图12的B中的等离子体滤波器121B’被构造成与图10的A的等离子体滤波器121B的等离子体共振体呈负正反转，即，被构造成其中点133B以正交矩阵状配置在介电层134B中的等离子体共振体结构。介电层134B填充在各点133B之间。
等离子体过滤器121B’的吸收带由于相邻点133B之间的点间距P4等而改变。此外，根据点间距P4调整点133B的直径D3。
图13是示出在改变图12的A的等离子体滤波器121A’的点间距P3的情况下的示例性光谱特性的曲线图。曲线图中的横轴表示波长(nm)，纵轴表示透过率。线L31表示在点间距P3设定为300nm的情况下的光谱特性，线L32表示在点间距P3设定为400nm的情况下的光谱特性，线L33表示在点间距P3设定为500nm的情况下的光谱特性。
如图所示，随着点间距P3变窄，等离子体滤波器121A’的吸收带向较短波长侧移动，并且随着点间距P3变宽，等离子体滤波器121A’的吸收带向较长波长侧移动。
另外，在孔阵列结构和点阵列结构中的任何等离子体滤波器中，也可以仅通过调整孔或点在平面方向上的间距来调整透过带或吸收带。因此，例如，可以仅通过在光刻步骤中调整孔或点的间距来针对每个像素单独设定透过带或吸收带，从而以更少步骤实现滤色器的更多颜色。
此外，等离子体滤波器的厚度几乎类似于约100～500nm的有机材料系的滤色器，并且具有优异的工艺亲和性。
此外，窄带滤波器NB可以使用采用图14所示的引导模式共振(GMR)的等离子体滤波器151。
在等离子体滤波器151中从顶部层叠导电层161、SiO2膜162、SiN膜163和SiO2基板164。导电层161例如包括在图3的窄带滤波器层103中，SiO2膜162、SiN膜163和SiO2基板包括在例如图3的层间膜104中。
例如，包含铝的矩形导体薄膜161A以预定间距P5配置在导电层161上，使得导体薄膜161A的长边相邻。然后，等离子体滤波器151的透过带由于间距P5等而改变。
图15是示出在改变间距P5的情况下等离子体滤波器151的示例性光谱特性的曲线图。曲线图中的横轴表示波长(nm)，纵轴表示透过率。该示例表示在间距P5以40nm从280nm到480nm的6种变化并且相邻导体薄膜161A之间的狭缝宽度被设定为间距P5的1/4的情况下的示例性光谱特性。此外，具有透过带中的最短峰值波长的波形表示在间距P5设定为280nm的情况下的光谱特性，并且随着间距P5变宽，峰值波长更长。即，随着间距P5变窄，等离子体滤波器151的透过带向较短波长侧移动，并且随着间距P5变宽，等离子体滤波器151的透过带向较长波长侧移动。
类似于孔阵列结构和点阵列结构中的等离子体滤波器，使用GMR的等离子体滤波器151与有机材料系的滤色器的亲和性也优异。
<成像元件的第二实施方案>
下面将参照图16～图21说明图1的成像元件12的第二实施方案。
图16示意性地示出了作为成像元件12的第二实施方案的成像元件12B的断面构成例。另外，在图中，与图3的成像元件12A对应的部分用相同的附图标记表示，并且根据需要省略其说明。
成像元件12B与成像元件12A的不同之处在于，滤色器层107层叠在片上微透镜101和层间膜102之间。
在成像元件12B中的窄带滤波器层103中，窄带滤波器NB不是设置在所有像素51中，而是设置在一些像素51中。窄带滤波器NB的透过带的种类(频带的数量)是任意的，例如设定为1个以上。
各像素51在滤色器层107中设置有滤色器。例如，在未设置窄带滤波器NB的像素51中，设置通常的红色滤色器R、绿色滤色器G和蓝色滤色器B(未示出)中的任何一个。由此，例如，设置有红色滤波器R的R像素、设置有绿色滤波器G的G像素、设置有蓝色滤波器的B像素以及设置有窄带滤波器NB的MS像素配置在像素阵列31中。
此外，在设置有窄带滤波器NB的像素51中，在滤色器层107中设置透过滤波器P。透过滤波器P由光学滤波器(低通滤波器、高通滤波器或带通滤波器)构成，用于透过包括相同像素51的窄带滤波器NB的透过带的波长带中的光。
另外，设置在滤色器层107中的滤色器可以是有机材料系或无机材料系的。
例如，有机材料系的滤色器是使用合成树脂或天然蛋白的染料/着色剂系的，以及使用颜料或染料的含色素系的。
无机材料系的滤色器采用诸如TiO2、ZnS、SiN、MgF2、SiO2、low-k等材料。此外，无机材料系的滤色器以诸如沉积、溅射、化学气相沉积(CVD)成膜等方法形成。
此外，如上面参照图9所述的，层间膜102被设定为能够防止滤色器层107影响层间膜102与窄带滤波器层103之间的界面上的表面等离子体的膜厚度。
闪光的发生受到设置在滤色器层107中的透过滤波器P的限制。将参照图17和图18说明这一点。
图17示意性地示出使用未设置滤色器层107的图2的成像元件12A在拍摄装置10中如何发生闪光。
在该示例中，成像元件12A设置在半导体芯片203中。具体地，半导体芯片203安装在基板213上，并且其周围用密封玻璃211和树脂212覆盖。然后，透过设置在图1的光学系统11中的透镜201和IR截止滤波器202以及密封玻璃211的光入射到成像元件12A中。
这里，在成像元件12A的窄带滤波器层103中的窄带滤波器NB由等离子体滤波器构成的情况下，在等离子体滤波器中形成金属的导体薄膜。导体薄膜的反射率高，因此容易反射透过带以外的波长的光。然后，在导体薄膜上反射的光的一部分例如在密封玻璃211、IR截止滤波器202或透镜201上反射，并且再次入射到成像元件12A中，如图17所示。由于再入射光而发生闪光。特别地，孔阵列结构中的等离子体滤波器的开口率低，因此容易发生闪光。
例如，考虑使用包含与导体薄膜不同的金属或高介电材料的防反射膜以防止反射光。然而，等离子体滤波器使用表面等离子体共振，并且如果这样的防反射膜接触导体薄膜的表面，则等离子体滤波器的特性可能会劣化或者难以获得所需的特性。
另一方面，图18示意性地示出了使用设置有滤色器层107的图16的成像元件12B在拍摄装置10中如何发生闪光。另外，在图中，与图17对应的部分用相同的附图标记表示。
图18的示例与图17的示例的不同之处在于，设置半导体芯片221来代替半导体芯片203。半导体芯片221与半导体芯片203的不同之处在于，设置成像元件12B来代替成像元件12A。
如上所述，透过滤波器P在成像元件12B中设置在窄带滤波器NB的上方(朝向光入射侧)。因此，入射到成像元件12B中的光被透过滤波器P在其预定波长带中截止，然后入射到窄带滤波器NB中，因此限制了进入窄带滤波器NB的入射光的量。结果，窄带滤波器NB(等离子体滤波器)中的导体薄膜上的反射光量也减少，因此闪光减少。
图19～图21示出了窄带滤波器NB的示例性光谱特性和配置在窄带滤波器NB上方的透过滤波器P的示例性光谱特性。另外，图19～图21的曲线图中的横轴表示波长(nm)，纵轴表示感度(任意单位)。
图19中的线L41表示窄带滤波器NB的光谱特性。窄带滤波器NB的光谱特性的峰值波长约为430nm。线L42表示低通透过滤波器P的光谱特性。线L43表示高通透过滤波器P的光谱特性。线L44表示带通透过滤波器P的光谱特性。在包括窄带滤波器NB的光谱特性的峰值波长的预定波长带中，任何透过滤波器P的感度高于窄带滤波器NB的感度。因此，即使使用任何透过滤波器P，也可以减少进入窄带滤波器NB的入射光的量，而几乎不衰减窄带滤波器NB的透过带中的光。
图20的线L51表示窄带滤波器NB的光谱特性。窄带滤波器NB的光谱特性的峰值波长约为530nm。线L52表示低通透过滤波器P的光谱特性。线L53表示高通透过滤波器P的光谱特性。线L54表示带通透过滤波器P的光谱特性。在包括窄带滤波器NB的光谱特性的峰值波长的预定波长带中，任何透过滤波器的感度高于窄带滤波器NB的感度。因此，即使使用任何透过滤波器P，也可以减少进入窄带滤波器NB的入射光的量，而几乎不衰减窄带滤波器NB的透过带中的光。
图21中的线L61表示窄带滤波器NB的光谱特性。等离子体模式中窄带滤波器NB的光谱特性的峰值波长约为670nm。线L62表示低通透过滤波器P的光谱特性。线L63表示高通透过滤波器P的光谱特性。线L64表示带通透过滤波器P的光谱特性。在包括作为窄带滤波器NB的光谱特性的截止波长的约630nm以上的等离子体模式中的峰值波长的预定波长带中，任何透过滤波器P的感度高于窄带滤波器NB的感度。因此，即使使用任何透过滤波器P，也可以减少进入窄带滤波器NB的入射光的量，而几乎不衰减等离子体模式中的窄带滤波器NB的透过带中的光。然而，高通或带通透过滤波器P可以在波导模式中进一步截止窄带滤波器NB的波长带中的光，因此在窄带滤波器特性中是更期望的。
另外，在红色滤波器R、绿色滤波器G或蓝色滤波器B的透过带包括在下层的窄带滤波器NB的透过带的情况下，该滤波器可以用于透过滤波器P。
此外，图16的示例示出了仅在一些像素51中设置窄带滤波器NB，但是可以在所有像素51中设置窄带滤波器NB。在这种情况下，针对每个像素51，可以设置透过带包括像素51的窄带滤波器NB的透过带的透过滤波器P用于滤色器层107。
此外，滤色器层107中的滤色器的颜色组合不限于上述示例，并且可以任意改变。
此外，在不需要用于闪光的解决方案的情况下，例如，可以不在窄带滤波器NB的上方设置透过滤波器P，或者可以设置用于透过具有所有波长的光的虚拟滤波器。
<成像元件的第三实施方案>
下面将参照图22说明图1的成像元件12的第三实施方案。
图22示意性地示出了作为成像元件12的第三实施方案的成像元件12C的断面构成例。另外，在图中，与图3的成像元件12A对应的部分用相同的附图标记表示，并且根据需要省略其说明。
成像元件12C与成像元件12A的不同之处在于，设置滤波器层108来代替窄带滤波器层103。此外，成像元件12C与图16的成像元件12B的不同之处在于，窄带滤波器NB和滤色器(例如红色滤色器R、绿色滤色器G或蓝色滤色器B)设置在同一滤色器层108中。
因此，在成像元件12C的像素阵列31中配置R像素、G像素、B像素和MS像素的情况下，可以省略滤色器层107。
另外，在使用有机材料系的滤色器的情况下，例如，为了防止由于热导致的滤色器损坏等，先形成窄带滤波器NB，并且执行诸如烧结处理等高温最终热处理，然后形成滤色器。另一方面，在使用无机材料系的滤色器的情况下，基本上不需要限制上述形成顺序。
此外，在如同图16的成像元件12B中那样实施闪光的解决方案的情况下，类似于成像元件12B，可以在片上微透镜101和层间膜102之间层叠滤色器层。在这种情况下，在其中滤波器层108设置有窄带滤波器NB的像素51中，上述的透过滤波器P设置在滤色器层中。另一方面，在其中滤波器层108设置有滤色器的像素51中，滤色器层未置滤波器，或者设置用于透过所有波长的光的虚拟滤波器或具有与滤波器层108相同颜色的滤色器。
<<2.第二实施方案>>
下面将参照图23～图33说明本技术的第二实施方案。
另外，将假设图22的成像元件12C用于拍摄装置10中的成像元件12来说明第二实施方案。
图23示出了成像元件12C中的像素阵列31的构成例。
像素阵列31设置在包括成像元件12C的半导体芯片301的预定面上。像素阵列31被划分为配置在中央的有效区域31A和在有效区域31A周围的周围区域31B。
有效区域31A用于获得图像。例如，在图22的滤波器层108中，在有效区域31A内的各像素51中，设置用于透过具有各自不同波长的光的红色滤波器R、绿色滤波器G或蓝色滤波器B中的任何一个。由此，在有效区域31A中配置设置有红色滤波器R的R像素、设置有绿色滤波器G的G像素和设置有蓝色滤波器的B像素。然后，基于从有效区域31A内的各像素51输出的像素信号生成将要显示的图像。
例如，周围区域31B用于获得比有效区域31A更多种类的色谱。例如，在图22的滤波器层108中，在周围区域31B的各像素51中，除了红色滤波器R、绿色滤波器G或蓝色滤波器B之外，还设置窄带滤波器NB。因此，除了R像素、G像素和B像素之外，设置有窄带滤波器NB的多光谱像素MS配置在周围区域31B中。
另外，根据需要设置窄带滤波器NB的两种以上的透过带，不限于一种。因此，根据需要设定由多光谱像素MS检测的两种以上的光的波长带(下面称为检测带)。
此外，例如，从多光谱像素MS输出的像素信号独立于从有效区域31A和周围区域31B内的其他像素(如R像素、G像素和B像素)输出的像素信号而使用。例如，前一像素信号和后一像素信号相互合成、插值等而使用。
以此方式，可以由配置在周围区域31B中的多光谱像素MS检测所需波长带中的窄带光。此外，在有效区域31A中未设置多光谱像素MS，因此不会导致由有效区域31A中的像素信号生成的图像的分辨率降低。
这里将说明多光谱像素MS的配置例。
例如，多光谱像素MS相对于构成图1的光学系统11的透镜(未示出)的图像高度中心C1配置在基本相同的图像高度，其几乎与有效区域31A的中心一致。例如，在图23的示例中，多光谱像素MS被配置为在周围区域31B的左上角的区域R1内和右下角的区域R4内相对于图像高度中心C1对称。此外，多光谱像素MS被配置为在周围区域31B的右上角的区域R2内和左下角的区域R3内相对于图像高度中心C1对称。
此外，例如，在具有基本相同的图像高度的多光谱像素MS中，设置具有类似透过带的窄带滤波器NB。因此，具有基本相同的图像高度的多光谱像素MS的检测带相等。此外，例如，可以在周围区域31B的相同图像高度处检测相同波长带的透镜像差的光谱特性。
此外，除了配置相同检测带的多光谱像素MS的情况之外，对多光谱像素MS的检测精度具有较小影响的像素51配置在多光谱像素MS的周围。
例如，具有等于或低于多光谱像素MS的感度的像素51配置在多光谱像素MS的周围。
具体地，图24是示出多光谱像素MS和在垂直方向或水平方向上与多光谱像素MS相邻的像素51(下面称为相邻像素)的示例性光谱特性的曲线图。曲线图中的横轴表示波长(nm)，纵轴表示输出电平。实线波形表示多光谱像素MS的光谱特性，虚线波形表示相邻像素的光谱特性。
具有等于或低于多光谱像素MS的感度的像素51在多光谱像素MS的周围被配置为相邻像素，如曲线图中所示的相邻像素。即，例如，在相邻像素中设置具有透过率等于或低于在多光谱像素MS中设置的窄带滤波器NB的光谱特性的光学滤波器。更具体地，例如，在相邻像素中设置光学滤波器，该光学滤波器具有在峰值波长处的透过率等于或低于在多光谱像素MS中设置的窄带滤波器NB的峰值波长处的透过率的光谱特性。
由此，例如，可以减少从相邻像素泄漏到多光谱像素MS中的光量，并且可以限制由于颜色混合、衰减等导致多光谱像素MS的光谱特性的劣化以及窄带光的检测精度的降低。
例如，绿色滤波器G的透过率高于红色滤波器R和蓝色滤波器B。因此，G像素的感度高于R像素和B像素，并且对于相同的入射光具有更高的输出电平。因此，例如，与图25所示的G像素在垂直方向和水平方向上与多光谱像素MS相邻的配置相比，图26所示的R像素或B像素在垂直方向和水平方向上与多光谱像素MS相邻的配置更理想。
另外，期望多光谱像素MS的峰值波长与相邻像素的峰值波长之间的波长差(下面称为峰值波长差)W1(图24)更大。
此外，例如，与多光谱像素MS的检测带差较大的像素51配置在多光谱像素MS的周围。
具体地，图27是与图24类似的示出多光谱像素MS和相邻像素的示例性光谱特性的曲线图。
例如，与多光谱像素MS的检测带差为预定波长以上的像素51在多光谱像素的MS周围被配置为相邻像素，如在该示例中那样。即，例如，在相邻像素中设置光学滤波器，该光学滤波器具有与多光谱像素MS中设置的窄带滤波器NB的透过带的差为预定波长以上的光谱特性。
更具体地，与多光谱像素MS的峰值波长差W2为预定波长以上的像素51在多光谱像素的MS周围被配置为相邻像素。即，例如，在相邻像素中设置光学滤波器，该光学滤波器具有与多光谱像素MS中设置的窄带滤波器NB的峰值波长的差为预定波长以上(例如，20nm以上)的光谱特性。
由此，例如，可以减少在多光谱像素MS的检测带的范围内从相邻像素泄漏的光量，并且可以限制由于颜色混合、衰减等导致多光谱像素MS的光谱特性的劣化以及窄带光的检测精度的降低。
此外，在多光谱像素MS和相邻像素的检测带彼此接近的情况下，例如，具有比多光谱像素更低的感度和尽可能大的感度差的像素51用作相邻像素。
具体地，图28是类似于图24和图27的示出多光谱像素MS和相邻像素的示例性光谱特性的曲线图。
在多光谱像素MS和相邻像素之间的峰值波长差W3小于预定波长的情况下，其中多光谱像素MS的峰值波长处的输出电平和相邻像素的峰值波长处的输出电平之间的差L1为预定阈值以上的像素51用作相邻像素。即，例如，在相邻像素中设置光学滤波器，该光学滤波器具有峰值波长处的透过率低于多光谱像素MS中设置的窄带滤波器NB的峰值波长处的透过率并且其间的差为预定阈值以上的光谱特性。由此，例如，可以减少从相邻像素泄漏到多光谱像素MS中的光量，并且可以限制由于颜色混合、衰减等导致多光谱像素MS的光谱特性的劣化以及窄带光的检测精度的降低。
另外，设置在相邻像素中的滤波器可以是设置在有效区域31A内的像素51中的红色滤波器R、绿色滤波器G和蓝色滤波器G中的任何一个，或者可以是另一个光学滤波器。例如，另一个光学滤波器可以是用于透过具有红色、绿色和蓝色之外的颜色的光的滤色器，或者具有与多光谱像素MS中设置的窄带滤波器NB不同的透过带的窄带滤波器NB。在后一种情况下，具有不同检测带的多光谱像素MS是相邻的。
此外，与多光谱像素MS相邻的所有像素51不必须需要满足上述任何条件，并且仅一些像素51可以满足上述任何条件。此外，当仅一些像素51满足上述任何条件时，可以限制多光谱像素MS的窄带光的检测精度的降低。
此外，例如，在周围区域31B中的各像素51的光入射侧设置遮光膜，并且可以设置光学黑区域。在这种情况下，遮光膜设置在多光谱像素MS周围的像素51中，如图29中的阴影所示，而遮光膜未设置在多光谱像素MS中。
由此，可以减少从相邻像素泄漏到多光谱像素MS中的光量，并且可以限制由于颜色混合、衰减等导致多光谱像素MS的光谱特性的劣化以及窄带光的检测精度的降低。
下面将参照图30～图33说明多光谱像素MS的密度。
图30示出了在多光谱像素MS的密度为1/9像素的情况下的示例。即，一个多光谱像素MS配置在由以虚线包围的3行×3列的9个像素51构成的像素块351的中央。
图31示出了在多光谱像素MS的密度为1/7像素的情况下的示例。即，一个多光谱像素MS配置在由以虚线包围的7个像素51构成的像素块352的中央。另外，在该示例中，两个像素51垂直地邻近多光谱像素MS的每一侧。
图32示出了在多光谱像素MS的密度为1/6像素的情况下的示例。即，两个多光谱像素MS在由以虚线包围的3行×4列的12个像素构成的像素块353的中央并排水平地配置。
图33示出了在多光谱像素MS的密度为1/4像素的情况下的示例。即，四个多光谱像素MS在由以虚线包围的4行×4列的16个像素构成的像素块354的中央配置成2行×2列。
<<3.变形例>>
下面将说明上述的本技术的实施方案的变形例。
例如，图16的成像元件12B可以用在第二实施方案中。即，例如，滤色器和窄带滤波器NB可以设置在不同的层中。
此外，上述的周围区域31B中的示例性像素配置是示例性的，并且可以采用其他像素配置。然而，期望的是，具有相同图像高度的像素设置具有相同透过带的窄带滤波器NB。此外，期望的是，与多光谱像素MS相邻的像素满足尽可能多的上述条件。
此外，周围区域31B不必须需要设置在有效区域31A的四个方向上，而是可以设置在有效区域31A的一个方向至三个方向上。
此外，用于本技术的光学滤波器(如滤色器、窄带滤波器等)的透过带不必须限于可见光的波长带，例如，可以使用用于透过紫外线或红外线的光学滤波器。
另外，本技术不仅可以适用于上述的背面照射型的CMOS图像传感器，还可以适用于使用等离子体滤波器的其他成像元件。例如，本技术可以适用于表面照射型的CMOS图像传感器；电荷耦合器件(CCD)图像传感器；包括有机光电转换膜、量子点结构等的光电导体结构中的图像传感器；等等。
此外，例如，本技术可以适用于图34所示的层叠型固态拍摄装置。
图34的A示出了非层叠型固态拍摄装置的示意性构成例。如图34的A所示，固态拍摄装置1010具有晶片(半导体基板)1011。晶片1011安装有其中像素以阵列状配置的像素区域1012、用于除了驱动像素之外还执行各种控制的控制电路1013和用于执行信号处理的逻辑电路1014。
图34的B和图34的C示出了层叠型固态拍摄装置的示意性构成例。固态拍摄装置1020被构造成一个半导体芯片，其中包括传感器晶片1021和逻辑晶片1022的两个晶片被层叠并电气连接，如图34的B和图34的C所示。
在图34的B中，传感器晶片1021安装有像素区域1012和控制电路1013，逻辑晶片1022安装有包括用于执行信号处理的信号处理电路的逻辑电路1014。
在图34的C中，传感器晶片1021在其上安装像素区域1012，并且逻辑晶片1024在其上安装有控制电路1013和逻辑电路1014。
此外，本技术可以适用于使用诸如等离子体滤波器以外的金属薄膜滤波器等窄带滤波器的成像元件。此外，这种窄带滤波器可以是使用半导体材料适用光子结晶的光学滤波器。
<<4.应用例>>
下面将说明本技术的应用例。
<本技术的应用例>
例如，如图35所示，本技术可以应用于对诸如可见光、红外光、紫外光或X射线等光进行检测的各种情况。
·拍摄图像以用于鉴赏的装置，例如，数码相机或具有相机功能的便携式装置。
·交通用装置，例如，用于拍摄车辆的前方、后方、周围、内部等的车用传感器、用于监视行驶车辆和道路的监视相机以及用于测量车辆间距离等的测距传感器，以用于安全驾驶(例如，自动停车)、识别驾驶员的状况等。
·家用电器用装置，例如，电视机、冰箱和空调，以拍摄使用者的姿态并根据该姿态来操作电器。
·医疗保健用装置，例如，内窥镜或用于通过接收红外光进行血管造影的装置。
·安保用装置，例如，用于预防犯罪的监视相机或用于个人身份认证的相机。
·美容护理用装置，例如，用于拍摄皮肤的皮肤测量仪和用于拍摄头皮的显微镜。
·运动用装置，例如，用于运动用途等的可穿戴式相机或运动相机。
·农业用装置，例如，用于监视田地和农作物的状况的相机。
下面将说明更具体的应用例。
例如，调整图1的拍摄装置10中的各像素51的窄带滤波器NB的透过带，从而调整由拍摄装置10中的各像素51检测的光的波长带(检测带)。然后，适当地设定各像素51的检测带，使得可以在各种情况下应用拍摄装置10。
例如，图36示出了在检测食物的味道或新鲜度的情况下的示例性检测带。
例如，在检测指示金枪鱼、牛肉等的味道的肌红蛋白的情况下，检测带的峰值波长在580～630nm的范围内，半带宽在30～50nm的范围内。在检测指示金枪鱼、牛肉等的新鲜度的油酸的情况下，检测带的峰值波长为980nm，半带宽在50～100nm的范围内。在检测指示诸如芸苔等叶菜的新鲜度的叶绿素的情况下，检测带的峰值波长在650～700nm的范围内，半带宽在50～100nm的范围内。
图37示出了在检测水果的糖度或水分的情况下的示例性检测带。
例如，在检测指示作为一种甜瓜的Raiden(雷电瓜)的糖度的果肉光路长度的情况下，检测带的峰值波长为880nm，半带宽在20～30nm的范围内。在检测指示Raiden的糖度的蔗糖的情况下，检测带的峰值波长为910nm，半带宽在40～50nm的范围内。在检测指示作为另一种甜瓜的Raiden Red(雷电红瓜)的糖度的蔗糖的情况下，检测带的峰值波长为915nm，半带宽在40～50nm的范围内。检测带的峰值波长为955nm，在检测指示Raiden Red的糖度的水分的情况下，半带宽在20～30nm的范围内。
在检测指示苹果的糖度的蔗糖的情况下，检测带的峰值波长为912nm，半带宽在40～50nm的范围内。在检测橘子的水分的情况下，检测带的峰值波长为844nm，半带宽为30nm。在检测指示橘子的糖度的蔗糖的情况下，检测带的峰值波长为914nm，半带宽在40～50nm的范围内。
图38示出了在塑料被分类的情况下的示例性检测带。
例如，在检测聚对苯二甲酸乙二醇酯(PET)的情况下，检测带的峰值波长为1669nm，半带宽在30～50nm的范围内。在检测聚苯乙烯(PS)的情况下，检测带的峰值波长为1688nm，半带宽在30～50nm的范围内。在检测聚乙烯(PE)的情况下，检测带的峰值波长为1735nm，半带宽在30～50nm的范围内。在检测聚氯乙烯(PVC)的情况下，检测带的峰值波长在1716～1726nm的范围内，半带宽在30～50nm的范围内。在检测聚丙烯(PP)的情况下，检测带的峰值波长在1716～1735nm的范围内，半带宽在30～50nm的范围内。
此外，例如，本技术可以适用于管理切花的新鲜度。
此外，例如，本技术可以适用于检查混入食物中的异物。例如，本技术可以适用于检测混入诸如杏仁、蓝莓和核桃等坚果、水果等中的诸如皮、壳、石头、叶子、树枝和木片等异物。此外，本技术可以适用于检测例如混入加工食品、饮料等中的诸如塑料片等异物。
此外，例如，本技术可以适用于检测作为植被的指标的归一化差异植被指数(NDVI)。
此外，例如，本技术可以适用于基于源自人体皮肤的血红蛋白的约580nm波长的光谱形状和源自包含在人体皮肤中的黑色素的约960nm波长的光谱形状中的一者或两者来检测人。
此外，例如，本技术可以适用于生物特征感测(生物特征认证)、使用者界面、符号等的防止伪造、监视等。
<内窥镜手术系统的应用例>
此外，根据本公开的技术(本技术)可以应用于例如内窥镜手术系统。
图39是示出根据本公开的技术(本技术)可以应用的内窥镜手术系统的示意性构成的示例的图。
图39示出手术者(医生)11131如何使用内窥镜手术系统11000对病床11133上的患者11132进行手术的状态。如图所示，内窥镜手术系统11000包括内窥镜11100、诸如气腹管11111和能量处置器械11112等其他手术器械11110、支撑内窥镜11100的支撑臂装置11120以及其上安装有用于内窥镜手术的各种装置的推车11200。
内窥镜11100包括其中距远端预定长度的区域被插入患者11132的体腔内的透镜筒11101和摄像头11102，该摄像头与透镜筒11101的基端连接。在所示的例子中，示出了形成为具有硬性透镜筒11101的刚性镜的内窥镜11100，但是内窥镜11100可以形成为具有软性透镜筒的柔性镜。
透镜筒11101在其远端处设有物镜装配到其中的开口部。光源装置11203与内窥镜11100连接，并且将由光源装置11203生成的光通过延伸到透镜筒11101内部的光导引导到透镜筒的远端，并经由物镜将光朝向在患者11132的体腔内的观察对象发射。另外，内窥镜11100可以是直视镜、斜视镜或侧视镜。
在摄像头11102的内部设有光学系统和成像元件，并且来自观察对象的反射光(观察光)通过光学系统会聚在成像元件上。观察光由成像元件进行光电转换，并且生成与观察光相对应的电气信号，即，与观察图像相对应的图像信号。图像信号作为RAW数据被传输到相机控制单元(CCU)11201。
CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等，并且综合控制内窥镜11100和显示装置11202的操作。此外，CCU 11201接收来自摄像头11102的图像信号，并且执行诸如对图像信号的显像处理(去马赛克处理)等各种类型的图像处理以基于该图像信号显示图像。
显示装置11202通过CCU 11201的控制显示基于已经由CCU 11201对其进行了图像处理的图像信号的图像。
光源装置11203包括诸如发光二极管(LED)等光源并且将用于拍摄手术部位等的照射光供给到内窥镜11100。
输入装置11204是用于内窥镜手术系统11000的输入界面。使用者可以经由输入装置11204向内窥镜手术系统11000输入各种类型的信息和指令。例如，使用者输入用于改变内窥镜11100的拍摄条件(照射光的类型、放大率、焦距等)的指令等。
处置器械控制装置11205控制能量处置器械11112的驱动，用于组织的烧灼、切开、血管的密封等。气腹装置11206经由气腹管11111向体腔内注入气体以使患者11132的体腔膨胀，以确保内窥镜11100的视野并确保手术者的工作空间。记录器11207是能够记录与手术有关的各种类型的信息的装置。打印机11208是能够以诸如文本、图像、图形等各种形式打印与手术有关的各种类型的信息的装置。
另外，将用于拍摄手术部位的照射光供给到内窥镜11100的光源装置11203可以包括例如LED、激光光源或它们组合的白色光源。在白色光源包括RGB激光光源的组合的情况下，可以高精度地控制各种颜色(波长)的输出强度和输出定时，从而可以在光源装置11203中进行所拍摄的图像的白平衡的调整。此外，在这种情况下，通过将来自各个RGB激光光源的激光按时间分割地发射到观察对象上并且与发射定时同步地控制摄像头11102的成像元件的驱动，也可以按时间分割地拍摄对应于RGB的图像。根据该方法，在成像元件中未设置滤色器的情况下，也可以获得彩色图像。
此外，可以控制光源装置11203的驱动，使得在预定时间改变要输出的光的强度。通过与光强度的改变的定时同步地控制摄像头11102的成像元件的驱动以按时间分割地获取图像并合成图像，可以生成没有遮挡阴影和高光溢出的高动态范围的图像。
此外，光源装置11203可以供给与特殊光观察相对应的预定波长带的光。在特殊光观察中，例如，通过使用身体组织中的光吸收的波长依赖性，通过发射与普通观察时的照射光(即，白光)相比具有窄带域的光，进行以高对比度对诸如粘膜表层的血管等预定组织进行拍摄的所谓的窄带域成像(narrow band imaging)。可选择地，在特殊光观察中，可以进行通过发射激发光产生的荧光获得图像的荧光观察。在荧光观察中，例如，可以向身体组织照射激发光来观察来自身体组织的荧光(自体荧光观察(autofluorescenceobservation))，或者可以将诸如吲哚菁绿(indocyanine green：ICG)等试剂局部注射到身体组织中并发射与试剂的荧光波长相对应的激发光来获得荧光图像。光源装置11203可以供给与这种特殊光观察相对应的窄带域光和/或激发光。
图40是示出图39所示的摄像头11102和CCU 11201的功能构成的示例的框图。
摄像头11102包括透镜单元11401、拍摄部11402、驱动部11403、通信部11404和摄像头控制部11405。CCU 11201包括通信部11411、图像处理部11412和控制部11413。摄像头11102和CCU 11201通过传输线缆11400彼此通信连接。
透镜单元11401是设置在与透镜筒11101的连接部分处的光学系统。从透镜筒11101的远端接收的观察光被引导到摄像头11102并入射到透镜单元11401上。透镜单元11401包括具有变焦透镜和聚焦透镜的多个透镜的组合。
拍摄部11402可以包括一个成像元件(所谓的单板型)或者可以包括多个成像元件(所谓的多板型)。当拍摄部11402是多板型时，例如，通过各个成像元件生成与RGB相对应的图像信号，并且可以通过对图像信号进行合成来获得彩色图像。可选择地，拍摄部11402可以包括一对成像元件，用于获取与三维(3D)显示相对应的右眼和左眼用的图像信号。通过进行3D显示，手术者11131可以更加准确地把握手术部位中的身体组织的深度。另外，当拍摄部11402是多板型时，可以设置与各个成像元件相对应的多个透镜单元11401。
此外，拍摄部11402不必须设置在摄像头11102中。例如，拍摄部11402可以设置在透镜筒11101内部的物镜的正后方。
驱动部11403包括致动器，并且通过摄像头控制部11405的控制使透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。结果，可以根据需要调整由拍摄部11402拍摄的图像的放大率和焦点。
通信部11404包括与CCU 11201交换各种信息的通信装置。通信部11404将从拍摄部11402获取的图像信号作为RAW数据经由传输线缆11400传输到CCU 11201。
此外，通信部11404从CCU 11201接收用于控制摄像头11102的驱动的控制信号，并将该控制信号供给到摄像头控制部11405。控制信号包括与拍摄条件有关的信息，例如，指定所拍摄的图像的帧速率的信息、指定在拍摄时的曝光值的信息和/或指定所拍摄的图像的放大率和焦点的信息等。
另外，诸如帧速率、曝光值、放大率和焦点等拍摄条件可以由使用者根据需要指定，或者可以由CCU 11201的控制部11413基于获取的图像信号来自动设定。在后一种情况下，所谓的自动曝光(AE)功能、自动对焦(AF)功能和自动白平衡(AWB)功能安装在内窥镜11100中。
摄像头控制部11405基于经由通信部11404接收的来自CCU 11201的控制信号来控制摄像头11102的驱动。
通信部11411包括与摄像头11102交换各种信息的通信装置。通信部11411经由传输线缆11400接收从摄像头11102传输的图像信号。
此外，通信部11411将用于控制摄像头11102的驱动的控制信号传输到摄像头11102。图像信号和控制信号可以通过电气通信、光通信等来传输。
图像处理部11412对作为从摄像头11102传输的RAW数据的图像信号进行各种类型的图像处理。
控制部11413进行与通过内窥镜11100进行的手术部位等的拍摄以及通过对手术部位等的拍摄获得的所拍摄的图像的显示有关的各种类型的控制。例如，控制部11413生成用于控制摄像头11102的驱动的控制信号。
此外，控制部11413基于已经由图像处理部11412进行了图像处理的图像信号来使显示装置11202显示手术部位等的所拍摄的图像。此时，控制部11413可以通过使用各种图像识别技术来识别所拍摄的图像内的各种物体。例如，控制部11413检测包含在所拍摄的图像中的物体的颜色、边缘的形状等，由此能够识别诸如钳子等手术器械、特定活体部位、出血、当使用能量处置器械11112时的雾等等。当使显示装置11202显示所拍摄的图像时，通过使用识别结果，控制部11413可以使显示装置11202重叠显示与手术部位的图像有关的各种类型的手术支持信息。手术支持信息被重叠显示，并呈现给手术者11131，由此可以减轻手术者11131的负担，并且手术者11131可以准确地进行手术。
将摄像头11102和CCU 11201连接在一起的传输线缆11400是支持电气信号的通信的电气信号线缆、支持光通信的光纤或其复合线缆。
这里，在所示的示例中，通过使用传输线缆11400来执行有线通信，但是可以在摄像头11102和CCU 11201之间执行无线通信。
以上已经说明了可以应用根据本公开的技术的内窥镜手术系统的示例。根据本公开的技术可以应用于上述构成中的摄像头11102或摄像头11102中的拍摄部11402。具体地，例如，图1的成像元件12可以应用于拍摄部11402。根据本公开的技术应用于拍摄部11402，使得可以获得手术部位的更详细和更准确的图像，因此手术者可以准确地确认手术部位。
另外，尽管这里以内窥镜手术系统为例进行说明，但是根据本公开的技术可以适用于例如显微镜手术系统等。
<移动体的应用例>
根据本公开的技术被实现为待安装在诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、船舶和机器人等任何类型的移动体上的装置。
图41是示出作为根据本公开实施方案的技术可以适用的移动体控制系统的示例的车辆控制系统的概略构成例的框图。
车辆控制系统12000包括经由通信网络12001连接在一起的多个电子控制单元。在图41所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、主体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外，作为综合控制单元12050的功能构成，示出了微型计算机12051、音频/图像输出单元12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如，驱动系统控制单元12010用作诸如用于产生如内燃机或驱动电机等车辆的驱动力的驱动力产生装置、用于向车轮传递驱动力的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置。
主体系统控制单元12020根据各种程序来控制安装到车体的各种装置的操作。例如，主体系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗装置或诸如头灯、尾灯、刹车灯、转向信号灯或雾灯等各种灯的控制装置。在这种情况下，用于代替按键的从便携式装置传递的无线电波或各种开关的信号可以输入到主体系统控制单元12020。主体系统控制单元12020接收无线电波或信号的输入并控制车辆的门锁装置、电动窗装置、灯等。
车外信息检测单元12030检测安装车辆控制系统12000的车辆的外部的信息。例如，车外信息检测单元12030与拍摄部12031连接。车外信息检测单元12030使拍摄部12031拍摄车辆外部的图像并接收所拍摄的图像。车外信息检测单元12030可以基于接收到的图像进行诸如人、汽车、障碍物、标志、道路上的文字等物体检测处理或距离检测处理。
拍摄部12031是接收光并输出对应于受光量的电气信号的光学传感器。拍摄部12031可以输出电气信号作为图像或输出电气信号作为测距信息。此外，由拍摄部12031接收的光可以是可见光或诸如红外线等不可见光。
车内信息检测单元12040检测车内的信息。例如，车内信息检测单元12040与用于检测驾驶员的状态的驾驶员状态检测单元12041连接。例如，驾驶员状态检测单元12041包括拍摄驾驶员的图像的相机，并且基于从驾驶员状态检测单元12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳度或集中度，或者可以判断驾驶员是否入睡。
例如，微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆内部和外部的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值，并且可以向驱动系统控制单元12010输出控制指令。例如，微型计算机12051可以进行协调控制，以实现包括车辆的碰撞避免或碰撞缓和、基于车辆之间的距离的追踪行驶、车辆速度保持行驶、车辆碰撞警告、车辆的车道偏离警告等的高级驾驶员辅助系统(ADAS)的功能。
另外，微型计算机12051可以通过基于由车外信息检测单元12030或车内信息检测单元12040获得的关于车辆周围的信息来控制驱动力产生装置、转向机构、制动装置等来进行协调控制，以实现其中车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等。
另外，微型计算机12051可以基于由车外信息检测单元12030获得的车辆外部的信息将控制指令输出到主体系统控制单元12020。例如，微型计算机12051根据由车外信息检测单元12030检测到的前方车辆或对向车辆的位置来控制头灯，以进行协调控制，以实现防止诸如将远光灯切换为近光灯等眩光。
音频/图像输出单元12052将声音和图像输出信号中的至少一种传递到能够在视觉上或听觉上通知车辆乘员或车辆外部的信息的输出装置。在图41的示例中，作为输出装置，音频扬声器12061、显示部12062和仪表板12063被示出。例如，显示部12062可以包括车载显示器和平视显示器中的至少一种。
图42是拍摄部12031的安装位置的示例的图。
在图42中，作为拍摄部12031，包括拍摄部12101，12102，12103，12104和12105。
拍摄部12101，12102，12103，12104和12105中的每一个设置在例如车辆12100的车头、侧视镜、后保险杠、后门、车内的挡风玻璃的上侧等位置。设置在车头中的拍摄部12101和设置在车内的挡风玻璃上侧的拍摄部12105主要获得车辆12100的前方的图像。设置在侧视镜中的拍摄部12102和12103主要获得车辆12100的侧方的图像。设置在后保险杠或后门中的拍摄部12104主要获得车辆12100的后方的图像。设置在车内的挡风玻璃上侧的拍摄部12105主要用于检测前方车辆、行人、障碍物、交通信号、交通标志、车道等。
另外，图42示出了拍摄部12101～12104的拍摄范围的示例。拍摄范围12111表示设置在车头中的拍摄部12101的拍摄范围，拍摄范围12112和12113分别表示设置在侧视镜中的拍摄部12102和12103的拍摄范围，拍摄范围12114表示设置在后保险杠或后门中的拍摄部12104的拍摄范围。例如，由拍摄部12101～12104拍摄的图像数据被彼此叠加，从而获得车辆12100的从上方看到的鸟瞰图像。
拍摄部12101～12104中的至少一个可以具有获取距离信息的功能。例如，拍摄部12101～12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是具有相位差检测用的像素的成像元件。
例如，基于从拍摄部12101～12104获得的距离信息，微型计算机12051求出距各拍摄范围12111～12114内的各立体物的距离和距离的时间变化(相对于车辆12100的相对速度)，从而能够提取位于车辆12100的行驶路线上的特别是最靠近的立体物且在与车辆12100的大致相同的方向上以预定速度(例如，0km/h以上)行驶的立体物作为前方车辆。另外，微型计算机12051可以设定在前方车辆的前方预先确保的车辆之间的距离，并且可以进行自动制动控制(包括追踪行驶停止控制)、自动加速控制(包括追踪行驶开始控制)等。以这种方式，可以进行其中车辆自主行驶而不依赖于驾驶员的操作的自动驾驶等的协调控制。
例如，基于从拍摄部12101～12104获得的距离信息，通过将立体物分类为两轮车辆、普通车辆、大型车辆、行人和电线杆等其他立体物，微型计算机12051可以提取关于立体物的立体物数据，并利用提取的数据自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为可以由车辆12100的驾驶员视觉识别的障碍物和难以视觉识别的障碍物。然后，微型计算机12051判断指示与各障碍物碰撞的危险度的碰撞风险，并且当碰撞风险等于或高于设定值并且存在碰撞的可能性时，微型计算机12051可以通过经由音频扬声器12061和显示部12062向驾驶者输出警告或者经由驱动系统控制单元12010进行强制减速或回避转向，从而能够进行碰撞避免的驱动辅助。
拍摄部12101～12104中的至少一个可以是用于检测红外线的红外相机。例如，微型计算机12051可以通过判断行人是否存在于拍摄部12101～12104的拍摄图像中来识别行人。例如，通过提取作为红外相机的拍摄部12101～12104的拍摄图像中的特征点的过程以及对指示物体的轮廓的一系列特征点进行图案匹配处理以判断该物体是否为行人的过程来进行行人的识别。当微型计算机12051判断行人存在于拍摄部12101～12104的拍摄图像中并且识别出行人时，音频/图像输出单元12052控制显示部12062，使其显示叠加的矩形轮廓线以强调所识别的行人。此外，音频/图像输出单元12052可以控制显示部12062，使其在期望的位置显示指示行人的图标等。
以上已经说明了可以应用根据本公开的技术的车辆控制系统的示例。在上述构成中，例如，根据本公开的技术可以应用于拍摄部12031。具体地，图1的拍摄装置10可以应用于拍摄部12031，从而获得例如更详细和更准确的指示车辆外部的信息，并且实现自动驾驶的安全性增强。
另外，本技术的实施方案不限于上述实施方案，并且可以在不脱离本技术的范围的情况下进行各种改变。
<构成的示例性组合>
另外，例如，本技术可以采用以下构成。
(1)
一种成像元件，包括：
像素阵列，所述像素阵列包括用于获得图像的有效区域和在所述有效区域周围的周围区域，
其中在所述有效区域内的各像素中设置被构造成透过具有各自不同波长的光的多种第一光学滤波器，
在所述周围区域的第一像素中设置第二光学滤波器，第二光学滤波器具有比第一光学滤波器的透过带的带宽更短带宽的透过带，和
在与第一像素相邻的第二像素中设置第三滤波器，第三滤波器与第二光学滤波器的透过带的差为预定波长以上，或者具有等于或低于第二光学滤波器的透过率的透过率。
(2)
根据(1)所述的成像元件，
其中第二光学滤波器的峰值波长与第三滤波器的峰值波长之间的差为预定波长以上。
(3)
根据(1)所述的成像元件，
其中在第三滤波器的峰值波长处的透过率等于或低于在第二光学滤波器的峰值波长处的透过率。
(4)
根据(3)所述的成像元件，
其中在第二光学滤波器和第三滤波器之间的透过带的差小于所述预定波长的情况下，在第二光学滤波器的峰值波长处的透过率与在第三滤波器的峰值波长处的透过率之间的差为预定阈值以上。
(5)
根据(1)～(4)中任一项所述的成像元件，
其中遮光膜设置在第二像素的光入射侧，并且所述遮光膜未设置在第一像素的光入射侧。
(6)
根据(1)～(5)中任一项所述的成像元件，
其中在具有与第二像素的图像高度相同图像高度的第三像素中设置具有与第二光学滤波器的透过带类似透过带的光学滤波器。
(7)
根据(1)～(6)中任一项所述的成像元件，
其中第二光学滤波器是等离子体滤波器。
(8)
根据(1)～(7)中任一项所述的成像元件，
其中第三滤波器是多种第一光学滤波器中的任何一种。
(9)
一种电子设备，包括：
成像元件；和
被构造成处理从所述成像元件输出的信号的信号处理部，
其中所述成像元件包括像素阵列，所述像素阵列包括用于获得图像的有效区域和在所述有效区域周围的周围区域，
在所述有效区域内的各像素中设置被构造成透过具有各自不同波长的光的多种第一光学滤波器，
在所述周围区域的第一像素中设置第二光学滤波器，第二光学滤波器具有比第一光学滤波器的透过带的带宽更短带宽的透过带，和
在与第一像素相邻的第二像素中设置第三滤波器，第三滤波器与第二光学滤波器的透过带的差为预定波长以上，或者具有等于或低于第二光学滤波器的透过率的透过率。
附图标记列表
10拍摄装置 11光学系统
12，12A～12C成像元件 14信号处理部
31像素阵列 31A有效区域
31B周围区域 51像素
61光电二极管 101片上微透镜
102层间膜 103窄带滤波器层
104层间膜 105光电转换元件层
106信号配线层 107滤色器层
108滤波器层
121A～121D等离子体滤波器
131A～131C导体薄膜 132A～132C’孔
133A，133B点 134A，134B介电层
151等离子体滤波器 161A导体薄膜
162SiO2膜 163SiN膜
164SiO2基板 203，221半导体芯片
301透镜 351～354像素块
NB窄带滤波器 P透过滤波器

Claims (9)

1.一种成像元件，包括：
像素阵列，所述像素阵列包括用于获得图像的有效区域和在所述有效区域周围的周围区域，
其中在所述有效区域内的各像素中设置被构造成透过具有各自不同波长的光的多种第一光学滤波器，
在所述周围区域的第一像素中设置第二光学滤波器，第二光学滤波器具有比第一光学滤波器的透过带的带宽更短带宽的透过带，和
在与第一像素相邻的第二像素中设置第三滤波器，第三滤波器与第二光学滤波器的透过带的差为预定波长以上，或者具有等于或低于第二光学滤波器的透过率的透过率。
2.根据权利要求1所述的成像元件，
其中第二光学滤波器的峰值波长与第三滤波器的峰值波长之间的差为预定波长以上。
3.根据权利要求1所述的成像元件，
其中在第三滤波器的峰值波长处的透过率等于或低于在第二光学滤波器的峰值波长处的透过率。
4.根据权利要求3所述的成像元件，
其中在第二光学滤波器和第三滤波器之间的透过带的差小于所述预定波长的情况下，在第二光学滤波器的峰值波长处的透过率与在第三滤波器的峰值波长处的透过率之间的差为预定阈值以上。
5.根据权利要求1所述的成像元件，
其中遮光膜设置在第二像素的光入射侧，并且所述遮光膜未设置在第一像素的光入射侧。
6.根据权利要求1所述的成像元件，
其中在具有与第二像素的图像高度相同图像高度的第三像素中设置具有与第二光学滤波器的透过带类似透过带的光学滤波器。
7.根据权利要求1所述的成像元件，
其中第二光学滤波器是等离子体滤波器。
8.根据权利要求1所述的成像元件，
其中第三滤波器是多种第一光学滤波器中的任何一种。
9.一种电子设备，包括：
成像元件；和
被构造成处理从所述成像元件输出的信号的信号处理部，
其中所述成像元件包括像素阵列，所述像素阵列包括用于获得图像的有效区域和在所述有效区域周围的周围区域，
在所述有效区域内的各像素中设置被构造成透过具有各自不同波长的光的多种第一光学滤波器，
在所述周围区域的第一像素中设置第二光学滤波器，第二光学滤波器具有比第一光学滤波器的透过带的带宽更短带宽的透过带，和
在与第一像素相邻的第二像素中设置第三滤波器，第三滤波器与第二光学滤波器的透过带的差为预定波长以上，或者具有等于或低于第二光学滤波器的透过率的透过率。
CN201780069410.3A 2016-12-13 2017-12-12 成像元件和电子设备 Active CN110073491B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016241256A JP7066316B2 (ja) 2016-12-13 2016-12-13 撮像素子及び電子機器
JP2016-241256 2016-12-13
PCT/JP2017/044629 WO2018110573A1 (ja) 2016-12-13 2017-12-12 撮像素子及び電子機器

Publications (2)

Publication Number Publication Date
CN110073491A true CN110073491A (zh) 2019-07-30
CN110073491B CN110073491B (zh) 2023-06-20

Family

ID=62558548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780069410.3A Active CN110073491B (zh) 2016-12-13 2017-12-12 成像元件和电子设备

Country Status (5)

Country Link
US (1) US11181672B2 (zh)
EP (1) EP3557627B1 (zh)
JP (1) JP7066316B2 (zh)
CN (1) CN110073491B (zh)
WO (1) WO2018110573A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823387A (zh) * 2019-09-29 2020-02-21 四川大学 基于多个窄带波段合成原理的色温光谱模拟器波段调整方法
CN112946803A (zh) * 2019-12-11 2021-06-11 采钰科技股份有限公司 光学元件

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113630A (ja) 2019-01-10 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
KR20220002432A (ko) * 2019-05-31 2022-01-06 후지필름 가부시키가이샤 광 센서 및 센싱 장치
JPWO2022219966A1 (zh) * 2021-04-15 2022-10-20
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003258220A (ja) * 2002-02-28 2003-09-12 Canon Inc 撮像素子及び撮像装置
CN1638136A (zh) * 2003-11-18 2005-07-13 松下电器产业株式会社 光电探测器
JP2007005437A (ja) * 2005-06-22 2007-01-11 Matsushita Electric Ind Co Ltd 固体撮像装置
US20080079828A1 (en) * 2006-10-02 2008-04-03 Sanyo Electric Co., Ltd. Solid-state image sensor
CN101159281A (zh) * 2006-10-05 2008-04-09 索尼株式会社 固态成像装置和成像设备
CN102403326A (zh) * 2010-09-08 2012-04-04 索尼公司 成像器件和成像设备
CN102460700A (zh) * 2009-06-23 2012-05-16 诺基亚公司 用于子衍射极限传感器的滤色器
CN102693991A (zh) * 2011-03-24 2012-09-26 索尼公司 固态成像设备及电子装置
CN102917181A (zh) * 2011-08-02 2013-02-06 索尼公司 图像传感器、成像装置以及成像方法
EP3028306A1 (en) * 2013-07-29 2016-06-08 Sony Corporation Back surface radiation type image sensor, imaging device, and electronic apparatus
US20160188787A1 (en) * 2013-11-07 2016-06-30 Renesas Electronics Corporation Solid-state imaging device, layout data generating device and layout data generating method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175430A (ja) 2003-11-18 2005-06-30 Matsushita Electric Ind Co Ltd 受光素子
JP5118715B2 (ja) 2010-03-11 2013-01-16 株式会社東芝 固体撮像装置
JP5760811B2 (ja) 2011-07-28 2015-08-12 ソニー株式会社 固体撮像素子および撮像システム
JP5950618B2 (ja) 2012-02-24 2016-07-13 キヤノン株式会社 光透過部材の形成方法および撮像装置の製造方法
WO2014199720A1 (ja) 2013-06-14 2014-12-18 シャープ株式会社 固体撮像装置
US9645075B2 (en) 2013-11-26 2017-05-09 nanoLambda Korea Multispectral imager with hybrid double layer filter array
JP2015232599A (ja) 2014-06-09 2015-12-24 ソニー株式会社 光学フィルタ、固体撮像装置、および電子機器
CN107078138B (zh) 2014-10-06 2020-12-18 索尼公司 固态摄像装置和电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003258220A (ja) * 2002-02-28 2003-09-12 Canon Inc 撮像素子及び撮像装置
CN1638136A (zh) * 2003-11-18 2005-07-13 松下电器产业株式会社 光电探测器
JP2007005437A (ja) * 2005-06-22 2007-01-11 Matsushita Electric Ind Co Ltd 固体撮像装置
US20080079828A1 (en) * 2006-10-02 2008-04-03 Sanyo Electric Co., Ltd. Solid-state image sensor
CN101159281A (zh) * 2006-10-05 2008-04-09 索尼株式会社 固态成像装置和成像设备
CN102460700A (zh) * 2009-06-23 2012-05-16 诺基亚公司 用于子衍射极限传感器的滤色器
CN102403326A (zh) * 2010-09-08 2012-04-04 索尼公司 成像器件和成像设备
CN102693991A (zh) * 2011-03-24 2012-09-26 索尼公司 固态成像设备及电子装置
CN102917181A (zh) * 2011-08-02 2013-02-06 索尼公司 图像传感器、成像装置以及成像方法
EP3028306A1 (en) * 2013-07-29 2016-06-08 Sony Corporation Back surface radiation type image sensor, imaging device, and electronic apparatus
US20160188787A1 (en) * 2013-11-07 2016-06-30 Renesas Electronics Corporation Solid-state imaging device, layout data generating device and layout data generating method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823387A (zh) * 2019-09-29 2020-02-21 四川大学 基于多个窄带波段合成原理的色温光谱模拟器波段调整方法
CN112946803A (zh) * 2019-12-11 2021-06-11 采钰科技股份有限公司 光学元件
CN112946803B (zh) * 2019-12-11 2023-05-30 采钰科技股份有限公司 光学元件

Also Published As

Publication number Publication date
EP3557627A1 (en) 2019-10-23
US11181672B2 (en) 2021-11-23
JP7066316B2 (ja) 2022-05-13
EP3557627A4 (en) 2019-11-27
EP3557627B1 (en) 2023-07-19
CN110073491B (zh) 2023-06-20
US20190293848A1 (en) 2019-09-26
WO2018110573A1 (ja) 2018-06-21
JP2018098345A (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
JP7130822B2 (ja) イメージングシステム、イメージング処理方法、およびプログラム
CN110050346B (zh) 成像器件和电子设备
CN110073491A (zh) 成像元件和电子设备
CN110036482B (zh) 成像器件和成像方法
CN110050347B (zh) 摄像元件和电子设备
WO2018110574A1 (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
KR102553759B1 (ko) 촬상 소자, 촬상 소자의 제조 방법, 금속 박막 필터, 및 전자 기기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant