CN116034480A - 成像装置和电子装置 - Google Patents

成像装置和电子装置 Download PDF

Info

Publication number
CN116034480A
CN116034480A CN202180033005.2A CN202180033005A CN116034480A CN 116034480 A CN116034480 A CN 116034480A CN 202180033005 A CN202180033005 A CN 202180033005A CN 116034480 A CN116034480 A CN 116034480A
Authority
CN
China
Prior art keywords
pixel
light
sub
lens
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180033005.2A
Other languages
English (en)
Inventor
纳土晋一郎
马场友彦
中田征志
戸田淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116034480A publication Critical patent/CN116034480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14678—Contact-type imagers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
    • G06V40/1388—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger using image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G06V40/145—Sensors therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

在一个像素中包括多个子像素。成像装置包括子像素、像素和像素阵列。子像素包括接收以预定角度入射的光并基于所接收的光的强度输出模拟信号的光电转换元件。像素包括多个子像素、将从外部入射的光会聚在子像素上的透镜以及不将关于在光电转换元件中获取的光的强度的信息传播到相邻光电转换元件的光电转换元件隔离部，并且还包括用于遮蔽入射到另一像素的透镜上的光的遮光壁。像素阵列包括多个像素。

Description

成像装置和电子装置
技术领域
本发明涉及成像装置和电子装置。
背景技术
近年来，在诸如智能手机、平板终端、个人电脑(PC)等电子装置中，要求通过薄型化/小型化和无边框显示实现诸如便携性改善之类的精巧设计。在这些电子装置中，用于成像的图像传感器和用于指纹等的生物特征认证功能几乎是必不可少的。为了实现与外壳的薄型化的兼容，需要允许在显示器下方包括成像装置的实施方式，并且此外期望光学透镜的薄型化，并最终期望消除光学透镜。此外，在生物特征认证用途中，针对冒充问题的安全措施也很重要。
同时，在诸如数码单反相机、无反光镜相机或小型数码相机之类的专门用于成像的电子装置中，正在需要通过诸如包括成像元件的智能手机之类的移动终端进行替换，并且需要相机独有的附加价值。
引用文献列表
专利文献
专利文献1：日本专利申请特开第2018-033505号
发明内容
本发明要解决的问题
本发明的一个方面提供了在一个像素中包括多个子像素的成像装置的各种实施例。
技术方案
根据一实施例，成像装置至少包括子像素、像素和像素阵列。子像素包括接收以预定角度入射的光并基于接收的光的强度输出模拟信号的光电转换元件。像素包括多个子像素、将从外部入射的光会聚在子像素上的透镜以及不将关于在光电转换元件中获取的光的强度的信息传播到相邻的光电转换元件的光电转换元件隔离部，并且还包括对入射到另一像素的透镜上的光进行遮蔽的遮光壁。像素阵列包括多个像素。
透镜可以使相对于透镜的光轴平行地入射的光入射到位于像素的中心处的子像素上。通过将相对于光轴平行地入射到位于像素的中心处的子像素上的光会聚，可以精确地将由每个像素接收的光的强度转换为信号。
透镜可以使相对于透镜的光轴平行地入射的光的一部分至少入射到位于像素的中心处的子像素上。如上所述，使光入射到位于中心处的子像素上，并且相对于光轴平行地入射的光能够被周围的子像素接收。
透镜可以将相对于透镜的光轴不平行地、以一定角度入射的光会聚在设置在像素中的子像素之中的设置在预定位置的子像素上。通过以此方式会聚光，可以基于相对于一个像素中的入射光的光轴的角度将光会聚在每个子像素上，并且可以提高角分辨率。即，可以在一个像素中获取来自多个角度的光的影响。
透镜可以是回流透镜(reflow lens)，并且可以包括透镜和相邻透镜之间的回流阻挡部的高度差。可以通过各种制造方法来制造透镜(片上透镜)。例如，可以使用通过回流处理制造的回流透镜。在此情况下，可以设置阻挡部以抑制由回流处理导致的透镜性能的劣化。
回流阻挡部可以是遮光壁的至少一部分，并且可以包括自对准回流透镜。如上所述，阻挡部也可以具有遮光壁的一部分的功能。
透镜可以是菲涅耳透镜。菲涅耳透镜可以用作片上透镜。通过使用菲涅耳透镜，可以抑制透镜的厚度。
透镜可以是衍射透镜。衍射透镜可以用作片上透镜。衍射透镜可以类似于菲涅耳透镜抑制透镜的厚度，并且可以在制造工艺中容易地控制透镜的各种特性，例如像素中焦点的位置。
像素还可以包括位于透镜和光电转换元件之间的内透镜。不仅片上透镜而且内透镜也可以设置成与片上透镜重叠。通过设置内透镜，可以以使仅片上透镜的安装变得困难并且形状变得复杂的方式赋予透镜的特性。此外，内透镜也可以用于光瞳校正等。
透镜可以布置成使得透镜的中心处的位置基于像素阵列中像素的位置从相应像素的中心处的位置偏移。以此方式，也可以在从像素的中心偏移的位置形成片上透镜。例如，可以通过在像素阵列的中心部分和端部部分具有不同的透镜位置来实现光瞳校正。
像素可以包括将预定颜色透射到至少一个子像素的彩色滤光片。通过在每个像素的子像素中设置彩色滤光片，可以提高在一个像素中接收的光的颜色分辨率。此外，通过对相对于光轴以不同角度入射的光设置不同的彩色滤光片，可以在不同像素之间接收对于相同被摄体区域具有不同波长的光。
在透过与相邻子像素具有相同颜色的彩色滤光片的光入射到子像素的情况下，子像素不需要在子像素和相邻子像素之间包括光电转换元件隔离部。可以以此方式组合包括相同颜色的彩色滤光片的子像素。通过以此方式组合子像素，可以提高对彩色滤光片的光接收灵敏度。
像素可以包括等离子体滤光片作为彩色滤光片中的至少一者。例如，通过设置等离子体滤光片，可以特别提高在预定的感兴趣波长区域中的灵敏度。
像素可以在透镜和光电转换元件之间包括至少两种类型的彩色滤光片。例如，可以设置用于像素的滤光片和用于像素的每个子像素的滤光片。滤光片的特性因叠加而变化。通过为像素和子像素提供不同的滤光片，可以根据特性执行各种类型的信号处理。此外，当然也可以在子像素之间设置不同的彩色滤光片。
彩色滤光片可以包括位于遮光壁的光电转换元件侧的等离子体滤光片。以此方式，可以以重叠方式使用彩色滤光片和等离子体滤光片。
彩色滤光片可以包括位于遮光壁的透镜侧的有机膜彩色滤光片。
彩色滤光片的组合的一部分可以具有透射近红外线的光并吸收可见光的透射光谱。以此方式，可以设置IR滤光片。因此，像素可以包括一个或多个具有各种特性的滤光片。
在基于透镜的设置位置从像素的光轴方向观察遮光壁的情况下，遮光壁可以在不同的位置多级地构造。通过多级构造，可以以各种模式控制入射在子像素上的光束或光通量。
还可以设置遮光膜，该遮光膜构造为对从被多级地构造的遮光壁之间入射到相邻像素上的光进行遮蔽。在多级构造的情况下，当从光轴方向观察时，根据下遮光壁和上遮光壁之间的偏离程度，有可能在像素之间产生遮光壁之间的间隙。在此情况下，有可能产生从相邻像素入射到子像素上的光。为了遮蔽来自相邻像素的光，可以设置遮光膜。
像素可以在透镜和光电转换元件之间包括至少一个光圈，并且光圈可以是设置在与透镜的光轴相交的方向上的遮光膜。像素可以包括用于抑制杂散光的光圈，但上述遮光膜可以用作光圈。
可以进一步设置存储区域，在存储区域中临时存储在光电转换元件中从光转换的电荷。例如，通过包括存储区域并在预定时刻读出存储在存储区域中的电荷，可以抑制卷帘快门失真。
可以在光电转换元件的透镜侧设置具有蛾眼结构的防反射膜，在光电转换元件的与防反射膜相反的一侧设置反射膜，并且在光电转换元件隔离部的半导体基板中设置金属膜。通过将光接收元件的表面加工成蛾眼结构，它可以用作防止入射光反射的膜。此外，反射膜可以设置在光接收区域的相反侧，以提高将接收光转换为电荷的效率。
光电转换元件隔离部可以包括从半导体基板的不是照射表面的一侧开始的凹槽，可以在凹槽的一部分中具有高度差并包括垂直晶体管，并且可以具有被照射式结构。在制造工艺中，成像元件可以由基板的前表面或后表面形成。在从不是照射表面的一侧形成光电转换元件隔离部的情况下，在制造工艺中容易形成与布线连接的垂直晶体管。
光电转换元件隔离部可以包括通过固相扩散(solid-phase diffusion)形成的杂质层。除了如上所述的离子注入之外，还可以通过固相扩散形成基板中的阱区域。
饱和电子的数量通常取决于通过离子注入方法形成的处于像素电位的光电转换区域的面积。同时，固相扩散通过增加挖入基板中的沟槽侧壁处的电容来增加饱和电子的数量。即，固相扩散具有随着像素变小而在深度方向上提供电容的优点，并且固相扩散的优点在大像素尺寸区域中减弱。同时，固相扩散增加了工艺数量量和制造成本，因此需要考虑成本效益。鉴于这样的背景，在像素中，半导体基板的厚度与光电转换元件的一个侧边的长度的纵横比可以至少为4以上。
像素可以具有至少两种不同尺寸的子像素。例如，通过使用不同大小的子像素，可以在同一时刻在同一像素中获取关注灵敏度和关注不饱和的信号。
根据实施例，制造具有子像素和包括多个子像素的像素的成像元件的方法包括以下步骤：在基板中形成阱区域；在阱区域中形成用于隔离子像素的光接收区域的光电转换元件隔离部；在基板上形成绝缘膜；在绝缘膜上形成包含透光材料的层间膜；在在层间膜中隔离像素的光电转换元件隔离部上形成遮光壁；并且在层间膜上形成透镜。
根据实施例，电子装置包括根据上述任一项说明的成像装置。
可以提供合成由成像装置获取的多个子像素的输出并获取被摄体的三维立体信息的信号处理装置。根据该信号处理装置，能够基于由子像素接收的信号进行与三维立体信息有关的各种信号处理。
可以提供合成由成像装置获取的多个子像素的输出并扩大视角的信号处理装置。根据该信号处理装置，可以基于由子像素接收的信号来执行与视角扩大有关的各种信号处理。
可以提供合成由成像装置获取的多个子像素的输出并对像素数量进行运算的信号处理装置。根据该信号处理装置，例如可以实现图像的高分辨率。
可以提供合成由成像装置获取的多个子像素的输出并重新聚焦被摄体图像的信号处理装置。根据该信号处理装置，例如可以从所获取的信息中获取聚焦在多个表面上的图像。
可以提供根据由成像装置获取的多个子像素图像的特征图案的偏移量来获取被摄体的距离信息的信号处理中在。根据该信号处理装置，例如也可以测量到被摄体的距离。
可以提供包括成像装置并构造为识别人体的运动并将该运动转换为操作命令的信号处理装置。根据该信号处理装置，可以进行手势输入。
可以提供构造为对来自子像素的输出执行傅里叶变换并使用子像素的点扩散函数(point spread function)执行反卷积(deconvolution)的信号处理装置。根据该信号处理装置，可以实现与各种PSF相关联的去卷积滤波器。
可以提供将子像素的图像划分为多个区域，为每个区域定义点扩散函数并构造为对每个区域执行反卷积的信号处理装置。根据该信号处理装置，即使对于针对每个区域变化的PSF，即偏移变化PSF，也可以进行去卷积。
可以提供显示单元，并且可以在显示单元的与显示表面相反的一侧提供成像装置。根据该成像装置，例如该成像装置可以在显示显示屏幕的时刻用作个人认证装置、内置相机等。
可以提供来自被摄体的光被显示单元的元件遮挡的子像素的地址存储单元以及构造为合成不包括子像素信号的子像素图像的信号处理装置。通过包括信号处理装置，可以提高在显示显示屏幕的同时与来自显示表面的成像相关的信号获取精度。
可以提供从由成像装置获取的个人指纹图像中提取特征并将该特征存储在数据库中的存储单元以及构造为在认证操作期间获取被摄体的指纹图像，提取并将特征与数据库进行对比并且作出判断的个人认证装置。通过提供存储部，能够扩大终端装置等的个人认证的范围。
可以提供获取翻转操作的成像装置，并且指纹图像获取方法可以是翻转操作。例如，可以在电子装置中快速分析从成像装置获取的指纹信息。
可以提供从由成像装置获取的个人静脉图像中提取特征并将该特征存储在数据库中的存储单元以及构造为在认证操作期间获取被摄体的静脉图像，提取并将特征与数据库进行对比并作出判断的个人认证装置。类似于上面的说明，可以扩大静脉认证的范围。
静脉图像的特征可以是三维立体信息。根据上述的成像装置，也可以取得关于三维形状的信息。通过使用这种三维形状，可以实现使用更准确的静脉信息的个人认证。
可以提供将由成像装置获取的被摄体的光谱信息与人类皮肤特有的在590nm波长附近的上升光谱(rising spectrum)进行比对并确定该被摄体是否是活体的防冒充功能。通过使用成像装置捕获的信息，还可以防止冒充认证。
可以提供从由成像装置获取的静脉图像的多个图像差异中检测静脉的搏动并确定该静脉图像是否属于活体的防冒充功能，并且类似于上面的说明，可以防止冒充认证。
可以提供根据由成像装置获取的被摄体光谱信息来计算660nm附近的波长和近红外区域之间的信号比并测量饱和氧浓度的功能。例如，可以使用血氧计。
在像素中，可以在多个子像素中的至少一者中提供线栅偏振器(wire gridpolarizer)。
在像素中，可以在多个子像素中提供线栅偏振器。
可以针对像素提供线栅偏振器。
可以提供具有多个偏振方向的线栅偏振器。
可以提供偏振方向相差90度的至少两种线栅偏振器。
可以提供具有三种以上的偏振方向的线栅偏振器，并且可以通过拟合来执行规范分析(normal analysis)。
子像素可以以混合的方式包括线栅偏振器和另一种滤光片。
子像素可以接收透过线栅偏振器和另一种滤光片的光。
在像素中，至少一个子像素可以包括导模共振(GMR：guided mode resonance)滤光片。
在像素中，可以在多个子像素中提供GMR滤光片。
可以为像素提供GMR滤光片。
可以提供具有不同峰值波长的两种以上的GMR滤光片。
子像素可以以混合的方式包括GMR滤光片和另一种滤光片。
附图说明
图1是示意地示出根据实施例的电子装置的视图。
图2是示意地示出根据实施例的电子装置的剖视图。
图3是示意地示出根据实施例的电子装置的光接收的视图。
图4是示意地示出根据实施例的成像像素的平面图。
图5是示意地示出根据实施例的成像元件的图。
图6是示意地示出根据实施例的成像像素的剖视图。
图7是示意地示出根据实施例的元件隔离部的剖视图。
图8是示意地示出了根据实施例的与信号处理相关的元件的框图。
图9是示出根据实施例的电子装置的处理的流程图。
图10是示意地示出根据实施例的成像示例的视图。
图11是示意地示出根据实施例的成像示例的视图。
图12是示意地示出根据实施例的成像示例的视图。
图13是示意地示出根据实施例的成像示例的视图。
图14是示意地示出根据实施例的成像示例的视图。
图15是示意地示出根据实施例的成像示例的视图。
图16是示意地示出根据实施例的成像示例的视图。
图17是示意地示出根据实施例的成像示例的视图。
图18是示意地示出根据实施例的像素示例的视图。
图19是示意地示出根据实施例的像素示例的视图。
图20是示意地示出根据实施例的像素示例的视图。
图21是示意地示出根据实施例的滤光片布置示例的平面图。
图22是示意地示出根据实施例的滤光片布置示例的平面图。
图23是示意地示出根据实施例的滤光片布置示例的平面图。
图24是示意地示出根据实施例的滤光片布置示例的平面图。
图25是示意地示出根据实施例的滤光片布置示例的平面图。
图26是示意地示出根据实施例的滤光片布置示例的平面图。
图27是示意地示出根据实施例的滤光片布置示例的平面图。
图28A是示意地示出根据实施例的滤光片布置示例的平面图。
图28B是示意地示出根据实施例的滤光片布置示例的平面图。
图29是示意地示出根据实施例的滤光片布置示例的平面图。
图30是示意地示出根据实施例的滤光片布置示例的平面图。
图31是示意地示出根据实施例的滤光片示例的平面图。
图32是示出根据实施例的滤光片示例的特性的图。
图33是示出根据实施例的滤光片示例的特性的曲线图。
图34是示意地示出根据实施例的滤光片布置示例的剖视图。
图35是示意地示出根据实施例的滤光片布置示例的剖视图。
图36是示意地示出根据实施例的滤光片布置示例的剖视图。
图37是示意地示出根据实施例的滤光片布置示例的剖视图。
图38是示出在使用根据实施例的滤光片的情况下对光谱的灵敏度的曲线图。
图39是示出在使用根据实施例的滤光片的情况下对光谱的灵敏度的曲线图。
图40是示出在使用根据实施例的滤光片的情况下对光谱的灵敏度的曲线图。
图41是示出在使用根据实施例的滤光片的情况下对光谱的灵敏度的曲线图。
图42是示出在使用根据实施例的滤光片的情况下对光谱的灵敏度的曲线图。
图43是示出在使用根据实施例的滤光片的情况下对光谱的灵敏度的曲线图。
图44是示出在使用根据实施例的滤光片的情况下对光谱的灵敏度的曲线图。
图45是示意地示出根据实施例的滤光片布置示例的视图。
图46是示意地示出根据实施例的滤光片布置示例的视图。
图47是示意地示出根据实施例的滤光片布置示例的视图。
图48是示意地示出根据实施例的滤光片布置示例的视图。
图49是示意地示出根据实施例的滤光片布置示例的视图。
图50是示意地示出根据实施例的成像像素的剖视图。
图51是示意地示出根据实施例的成像像素的剖视图。
图52是示意地示出根据实施例的成像像素的剖视图。
图53是回蚀透镜示例的平面图。
图54是回流透镜示例的平面图。
图55是示出回流透镜示例的AFM图像的立体图。
图56是示意地示出根据实施例的成像像素的剖视图。
图57是示意地示出根据实施例的成像像素的剖视图。
图58是示意地示出根据实施例的成像像素的平面图。
图59是示意地示出根据实施例的成像像素的平面图。
图60是示意地示出根据实施例的成像像素的平面图。
图61是示意地示出根据实施例的成像像素的剖视图。
图62是示意地示出根据实施例的成像像素的剖视图。
图63是示意地示出根据实施例的成像像素的剖视图。
图64是示意地示出根据实施例的成像像素的剖视图。
图65是示意地示出根据实施例的成像像素的剖视图。
图66是示意地示出根据实施例的成像像素的剖视图。
图67是示意地示出根据实施例的成像像素的剖视图。
图68是示出根据实施例的子像素布置的平面图。
图69是示出根据实施例的每个子像素的灵敏度的曲线图。
图70是示意地示出根据实施例的成像像素的剖视图。
图71是示出根据实施例的每个子像素的灵敏度的曲线图。
图72是示意地示出根据实施例的成像像素的剖视图。
图73是示出根据实施例的每个子像素的灵敏度的曲线图。
图74是示意地示出根据实施例的成像像素的剖视图。
图75是示出根据实施例的每个子像素的灵敏度的曲线图。
图76是示意地示出根据实施例的成像像素的剖视图。
图77是示意地示出根据实施例的透镜的平面图。
图78是示意地示出根据实施例的透镜的剖视图。
图79是示意地示出根据实施例的成像像素的剖视图。
图80是示意地示出根据实施例的成像像素的剖视图。
图81是示意地示出根据实施例的成像像素的剖视图。
图82是示意地示出根据实施例的衍射透镜的剖视图。
图83是示意地示出根据实施例的衍射透镜的剖视图。
图84是示意地示出根据实施例的成像像素的剖视图。
图85是示出根据实施例的每个子像素的灵敏度的曲线图。
图86是示出根据实施例的像素阵列和包括在像素中的衍射透镜的示例的视图。
图87是示出根据实施例的像素阵列和包括在像素中的衍射透镜的示例的视图。
图88是示出根据实施例的像素阵列和包括在像素中的衍射透镜的示例的视图。
图89是示出根据实施例的对手指进行成像的状态的视图。
图90是示意地示出根据实施例的成像像素的剖视图。
图91是示意地示出根据实施例的隔离部的剖视图。
图92是示意地示出根据实施例的成像像素的剖视图。
图93是示意地示出根据实施例的隔离部的剖视图。
图94是示意地示出根据实施例的成像像素的剖视图。
图95是示意地示出根据实施例的隔离部的剖视图。
图96是示意地示出根据实施例的成像像素的剖视图。
图97是示意地示出根据实施例的隔离部的剖视图。
图98是示意地示出根据实施例的成像像素的剖视图。
图99是示意地示出根据实施例的隔离部的剖视图。
图100是示意地示出根据实施例的成像像素的剖视图。
图101是示意地示出根据实施例的隔离部的剖视图。
图102是示意地示出根据实施例的成像像素的剖视图。
图103是示意地示出根据实施例的隔离部的剖视图。
图104是示意地示出根据实施例的成像像素的剖视图。
图105是示意地示出根据实施例的隔离部的剖视图。
图106是示意地示出根据实施例的成像像素的剖视图。
图107是示意地示出根据实施例的隔离部的剖视图。
图108是示意地示出根据实施例的成像像素的剖视图。
图109是示意地示出根据实施例的隔离部的剖视图。
图110是示意地示出根据实施例的成像像素的剖视图。
图111是示意地示出根据实施例的成像像素的剖视图。
图112是示出根据实施例的每个子像素的灵敏度的曲线图。
图113是示意地示出根据实施例的成像像素的剖视图。
图114是示出根据实施例的每个子像素的灵敏度的曲线图。
图115是示意地示出根据实施例的成像像素的剖视图。
图116是示出根据实施例的每个子像素的灵敏度的曲线图。
图117是示意地示出根据实施例的隔离部的剖视图。
图118是示意地示出根据实施例的隔离部的剖视图。
图119是示意地示出根据实施例的隔离部的剖视图。
图120是示意地示出根据实施例的隔离部的剖视图。
图121是示意地示出根据实施例的隔离部的剖视图。
图122是示意地示出根据实施例的隔离部的剖视图。
图123是示意地示出根据实施例的成像像素的剖视图。
图124是示意地示出根据实施例的成像像素的剖视图。
图125是示意地示出根据实施例的成像像素的剖视图。
图126是示意地示出根据实施例的成像像素的剖视图。
图127是示意地示出根据实施例的成像像素的平面剖视图。
图128是示意地示出根据实施例的成像像素的剖视图。
图129是示意地示出根据实施例的成像像素的平面剖视图。
图130是示意地示出根据实施例的成像像素的剖视图。
图131是示意地示出根据实施例的成像像素的平面剖视图。
图132是示意地示出根据实施例的成像像素的剖视图。
图133是示意地示出根据实施例的半导体工艺的视图。
图134是示意地示出根据实施例的半导体工艺的视图。
图135是示意地示出根据实施例的半导体工艺的视图。
图136是示意地示出根据实施例的半导体工艺的视图。
图137A是示意地示出根据实施例的半导体工艺的视图。
图137B是示意地示出根据实施例的半导体工艺的视图。
图138A是示意地示出根据实施例的半导体工艺的视图。
图138B是示意地示出根据实施例的半导体工艺的视图。
图139A是示意地示出根据实施例的半导体工艺的视图。
图139B是示意地示出根据实施例的半导体工艺的视图。
图140是示意地示出根据实施例的半导体工艺的视图。
图141是示意地示出根据实施例的半导体工艺的视图。
图142是示意地示出根据实施例的半导体工艺的视图。
图143是示意地示出根据实施例的半导体工艺的视图。
图144是示意地示出根据实施例的半导体工艺的视图。
图145是示意地示出根据实施例的半导体工艺的视图。
图146是示意地示出根据实施例的半导体工艺的视图。
图147是示意地示出根据实施例的半导体工艺的图。
图148是示意地示出根据实施例的半导体工艺的视图。
图149是示意地示出根据实施例的半导体工艺的图。
图150是示意地示出根据实施例的半导体工艺的视图。
图151是示意地示出根据实施例的半导体工艺的图。
图152是示出根据实施例的材料关于紫外光的特性的图和曲线图。
图153A是示意地示出根据实施例的半导体工艺的视图。
图153B是示意地示出根据实施例的半导体工艺的视图。
图153C是示意地示出根据实施例的半导体工艺的视图。
图154A是示意地示出根据实施例的半导体工艺的视图。
图154B是示意地示出根据实施例的半导体工艺的视图。
图154C是示意地示出根据实施例的半导体工艺的视图。
图155是示意地示出根据实施例的半导体工艺的视图。
图156是示意地示出根据实施例的半导体工艺的视图。
图157是示意地示出根据实施例的半导体工艺的视图。
图158是示意地示出根据实施例的半导体工艺的视图。
图159是示意地示出根据实施例的半导体工艺的视图。
图160是示意地示出根据实施例的半导体工艺的视图。
图161是示意地示出根据实施例的半导体工艺的视图。
图162是示意地示出根据实施例的半导体工艺的视图。
图163是示意地示出根据实施例的半导体工艺的视图。
图164是示意地示出根据实施例的半导体工艺的视图。
图165是示意地示出根据实施例的半导体工艺的视图。
图166是示意地示出根据实施例的半导体工艺的视图。
图167是示意地示出根据实施例的半导体工艺的视图。
图168是示意地示出根据实施例的半导体工艺的视图。
图169是示意地示出根据实施例的半导体工艺的视图。
图170是示意地示出根据实施例的半导体工艺的视图。
图171是示意地示出根据实施例的半导体工艺的视图。
图172是示意地示出根据实施例的半导体工艺的视图。
图173是示意地示出根据实施例的半导体工艺的视图。
图174是示意地示出根据实施例的半导体工艺的视图。
图175是示意地示出根据实施例的半导体工艺的视图。
图176是示意地示出根据实施例的半导体工艺的视图。
图177是示意地示出根据实施例的半导体工艺的视图。
图178是示意地示出根据实施例的半导体工艺的视图。
图179是示意地示出根据实施例的半导体工艺的视图。
图180是示意地示出根据实施例的半导体工艺的视图。
图181是示意地示出根据实施例的半导体工艺的视图。
图182是示意地示出根据实施例的半导体工艺的视图。
图183是示意地示出根据实施例的半导体工艺的视图。
图184是示意地示出根据实施例的半导体工艺的视图。
图185是示意地示出根据实施例的半导体工艺的视图。
图186是示意地示出根据实施例的半导体工艺的视图。
图187是示意地示出根据实施例的半导体工艺的视图。
图188是示意地示出根据实施例的半导体工艺的视图。
图189是示意地示出根据实施例的半导体工艺的视图。
图190是示意地示出根据实施例的半导体工艺的视图。
图191是示意地示出根据实施例的半导体工艺的视图。
图192是示意地示出根据实施例的半导体工艺的视图。
图193是示意地示出根据实施例的半导体工艺的视图。
图194是示意地示出根据实施例的半导体工艺的视图。
图195是示意地示出根据实施例的半导体工艺的视图。
图196是示意地示出根据实施例的半导体工艺的视图。
图197是示意地示出根据实施例的半导体工艺的视图。
图198是示意地示出根据实施例的半导体工艺的视图。
图199是示意地示出根据实施例的半导体工艺的视图。
图200是示意地示出根据实施例的半导体工艺的视图。
图201是示意地示出根据实施例的半导体工艺的视图。
图202是示意地示出根据实施例的半导体工艺的视图。
图203是示意地示出根据实施例的半导体工艺的视图。
图204是示意地示出根据实施例的半导体工艺的视图。
图205是示意地示出根据实施例的半导体工艺的视图。
图206是示意地示出根据实施例的半导体工艺的视图。
图207是示意地示出根据实施例的半导体工艺的视图。
图208是示意地示出根据实施例的半导体工艺的视图。
图209是示意地示出根据实施例的半导体工艺的视图。
图210是示意地示出根据实施例的半导体工艺的视图。
图211是示意地示出根据实施例的半导体工艺的视图。
图212是示意地示出根据实施例的半导体工艺的视图。
图213是示意地示出根据实施例的半导体工艺的视图。
图214是示意地示出根据实施例的半导体工艺的视图。
图215是示意地示出根据实施例的半导体工艺的视图。
图216是示意地示出根据实施例的半导体工艺的视图。
图217是示意地示出根据实施例的半导体工艺的视图。
图218是示意地示出根据实施例的半导体工艺的视图。
图219是示意地示出根据实施例的半导体工艺的视图。
图220是示意地示出根据实施例的半导体工艺的视图。
图221是示意地示出根据实施例的半导体工艺的视图。
图222是示意地示出根据实施例的半导体工艺的视图。
图223是示意地示出根据实施例的半导体工艺的视图。
图224是示意地示出根据实施例的半导体工艺的视图。
图225是示意地示出根据实施例的半导体工艺的视图。
图226是示意地示出根据实施例的半导体工艺的视图。
图227是示意地示出根据实施例的半导体工艺的视图。
图228是示意地示出根据实施例的半导体工艺的视图。
图229是示意地示出根据实施例的半导体工艺的视图。
图230是示意地示出根据实施例的半导体工艺的视图。
图231是示意地示出根据实施例的半导体工艺的视图。
图232是示意地示出根据实施例的半导体工艺的视图。
图233是示意地示出根据实施例的半导体工艺的视图。
图234是示意地示出根据实施例的半导体工艺的视图。
图235是示意地示出根据实施例的半导体工艺的视图。
图236是示意地示出根据实施例的半导体工艺的视图。
图237是示意地示出根据实施例的半导体工艺的视图。
图238是示意地示出根据实施例的半导体工艺的视图。
图239是示意地示出根据实施例的半导体工艺的视图。
图240是示意地示出根据实施例的半导体工艺的视图。
图241是示意地示出根据实施例的半导体工艺的视图。
图242是示意地示出根据实施例的半导体工艺的视图。
图243是示意地示出根据实施例的半导体工艺的视图。
图244A是示意地示出根据实施例的半导体工艺的视图。
图244B是示意地示出根据实施例的半导体工艺的视图。
图245A是示意地示出根据实施例的半导体工艺的视图。
图245B是示意地示出根据实施例的半导体工艺的视图。
图246A是示意地示出根据实施例的半导体工艺的视图。
图246B是示意地示出根据实施例的半导体工艺的视图。
图247是示意地示出根据实施例的信号处理装置的框图。
图248是示意地示出根据实施例的信号处理装置的框图。
图249是示出根据实施例的电子装置的处理的流程图。
图250是示出根据实施例的像素中的子像素示例的视图。
图251是示出根据实施例的子像素的灵敏度的角度依赖性的曲线图
图252A是示出根据实施例的子像素图像的像素值示例的曲线图。
图252B是示出根据实施例的子像素图像的像素值示例的曲线图。
图253是示出根据实施例的合成子像素图像的像素值示例的曲线图
图254是示出根据实施例的子像素图像的图。
图255是示意地示出根据实施例的成像像素的剖视图。
图256是示出根据实施例的子像素图像的图示。
图257是示出根据实施例的合成图像示例的视图。
图258是示意地示出根据实施例的信号处理装置的框图。
图259是示出根据实施例的电子装置的处理的流程图。
图260是示出根据实施例的子像素图像的图。
图261是示意地示出根据实施例的被摄体与像素之间的位置关系图示。
图262是示出根据实施例的子像素图像的图。
图263是示出根据实施例的子像素图像的图。
图264是示出根据实施例的子像素图像的图。
图265是示意地示出根据实施例的电子装置的光接收的视图。
图266是示意地示出根据实施例的电子装置的光接收的视图。
图267是示意地示出根据实施例的电子装置的剖视图。
图268是示意地示出根据实施例的电子装置的光接收的视图。
图269是示意地示出根据实施例的电子装置的光接收的视图。
图270是示意地示出根据实施例的电子装置的光接收的视图。
图271是示出人体皮肤的光的透射和反射特性的曲线图。
图272是示意地示出根据实施例的滤光片示例的视图。
图273是示意地示出根据实施例的滤光片示例的视图。
图274是示意地示出根据实施例的滤光片示例的视图。
图275是示意地示出根据实施例的滤光片示例的视图。
图276是示意地示出根据实施例的滤光片示例的视图。
图277是示意地示出根据实施例的滤光片示例的视图。
图278是示意地示出根据实施例的滤光片示例的视图。
图279是示意地示出根据实施例的滤光片示例的视图。
图280是示意地示出根据实施例的滤光片示例的视图。
图281是示意地示出根据实施例的滤光片示例的视图。
图282是示意地示出根据实施例的滤光片布置示例的视图。
图283是示意地示出根据实施例的滤光片布置示例的视图。
图284是示意地示出根据实施例的滤光片布置示例的视图。
图285是示意地示出根据实施例的滤光片布置示例的视图。
图286是示意地示出根据实施例的滤光片布置示例的视图。
图287是示意地示出根据实施例的滤光片布置示例的视图。
图288是示出根据实施例的滤光片示例的视图。
图289是示出根据实施例的滤光片示例的视图。
图290是示出根据实施例的滤光片示例的视图。
图291是示出根据实施例的滤光片示例的视图。
图292是示出根据实施例的滤光片的波长特性示例的视图。
具体实施方式
在下文，将参考附图说明成像装置和电子装置的实施例。在下文，将主要说明成像装置和电子装置的主要构造部分，但成像装置和电子装置可以具有未示出或说明的构造部分和功能。
以下说明不排除未示出或说明的部件或功能。另外，有时为了说明而变更尺寸、形状、纵横比等，但在安装时具有适当的尺寸、形状、纵横比等。此外，附图可以示出旨在包括端部视图的剖视图。即，应注意，被说明为剖视图的内容包括仅示出切割面的视图。
注意，在以下说明中，要获取的信号被说明为图像信息或成像信息。图像信息和成像信息是广义上的概念，并且是包括静止图像、运动图像或视频中的一帧图像的概念。
在本发明中，关于方向，如图1中的电子装置1的示意图所示，第一方向为图中的向右方向，第二方向为与图垂直的方向，并且第三方向为图中的向上方向。即，第二方向是与第一方向相交的方向，并且第三方向是与第一方向和第二方向相交的方向。术语“相交”可以包括以90度角的相交，或者可以不是严格的90度。此外，从图中可以看出，第一方向和第二方向是为了方便而进行区分，并且即使它们互换也是等价的。
另外，后述的成像元件也根据电子装置来定义，并且成像元件沿着第一方向和第二方向(即，与第一方向相交的方向)以阵列的方式布置。即，沿第一方向和第二方向设置半导体基板。然后，第三方向是与第一方向和第二方向相交的方向，并且是基本上垂直于半导体基板的方向。
在本说明书中，将按照以下顺序说明电子装置。
1.第1实施例
将说明电子装置的整体构造的非限制性示例。
2.第2至6实施例
说明了其中成像元件和光源的位置不受限制的一些非限制性示例。
3.第7至9实施例
说明了其中像素形状不受限制的一些非限制性示例。
4.第10至17实施例
说明了用于像素的滤光片的平面布置的一些非限制性示例。
5.第18至21实施例
说明了用于子像素的滤光片的平面布置的一些非限制性示例。
6.第22至29实施例
说明了基板上的用于像素和子像素的滤光片的布置的一些非限制性示例。
7.第30至第41实施例
说明了包括在成像元件中的透镜的一些非限制性示例。
8.第42至66实施例
说明了像素中的光电转换元件的周边技术的一些非限制性示例。
9.第67至92实施例
针对上述实施例中说明的一些成像元件说明了半导体工艺的非限制性示例。
(9-1)第67至第75实施例：说明了用于制造像素中的光电转换元件的过程。
(9-2)第76至第92实施例：说明了用于制造用于隔离像素的遮光壁、构成像素的透镜、滤光片等的过程。
10.第93至104实施例：说明了信号处理、电子装置等的其它操作和构造。
说明了用于具有每个上述实施例的构造的成像元件的信号处理的一些非限制性示例。
11.第105和106实施例
说明了用于子像素的滤光片的仍不同的非限制性示例。
如上所述，在本发明中，首先，将通过示例说明包括传感器的整个装置的构造。此后，将针对每个构造元件以具体示例来说明光接收传感器。接下来，将通过具体示例来说明光接收传感器的制造过程。最后，将通过具体示例来说明信号处理和半导体以外的构造。
(第1实施例)
[电子装置]
首先，对整体通用的电子装置1中的光接收元件的构造、功能等进行说明。将在下面要说明的每个实施例中说明更多细节。
图1示意地示出了包括根据本发明的成像装置的电子装置的外观图和剖视图。剖视图示出了包括显示单元2的显示部分的沿外观图所示的交替长短线的A-A剖面。为了便于说明，省略了电子装置1的外壳部分和显示部分之外的电路等。
在外观图中，显示屏幕1a扩展到电子装置1的外径尺寸附近，并且显示屏幕1a周围的边框1b的宽度设定为几个mm以下。通常，前置相机通常安装在边框1b上。在本实施例中，例如，作为成像装置3，如外观图中的虚线所示，前置相机可以定位在显示屏幕1a的下部的在第二方向上的大致中心处。以此方式，通过将作为成像元件3的前置相机布置在显示单元2的显示表面的相反侧，不需要将前置相机布置在边框1b中，并且能够使边框1b的宽度变窄。
注意，图1的外观图是作为示例示出的，并且成像装置3(即，前置相机)可以布置在显示单元2的与显示表面相反的一侧(后表面侧)上并在第一方向和第二方向上位于显示屏幕1a上的任何位置。例如，前置相机可以布置在显示屏1a的外围边缘部分(端部部分或边界部分)。尽管示出了一个成像装置3，但成像装置3不限于此，并且可以在与显示表面相反的一侧设置更多的成像光学系统。也就是说，可以在一个电子装置1中设置多个成像元件10。
例如，如剖面图所示，成像元件3设置在显示单元2的与作为显示表面的显示表面侧相反的后表面侧。注意，该剖面图以省略的方式示出。例如，与上面同样地，在图1的剖视图的构造中也设置有粘合层等，但为了简单说明而被省略。
例如，如图1所示，本发明中的成像元件设置在电子装置1的显示器下方。
图2是电子装置1的示意剖视图。即，图2更详细地示出了图1的剖视图中的成像装置3，并且示出了与其它部件的关系。电子装置1可以是诸如智能手机、手机、平板电脑或PC中的兼具显示功能功能和成像功能的电子装置。设置有成像元件的电子装置1不限于这些形式，并且能够用于各种装置等。
电子装置1包括布置在显示单元2的与显示表面相反的一侧的成像装置3(相机模块等)，并且成像装置3透过显示单元2进行成像。
如图2所示，显示单元2是其中显示面板4、圆偏光板5、触摸面板6和保护玻璃7沿第三方向顺序堆叠的结构。图2中的堆叠体被作为示例示出，并且可以根据需要在显示面板4、圆偏光板5、触摸面板6和保护玻璃7之间设置粘合层或胶合层。此外，可以根据设计适当改变圆偏光板5和触摸面板6的顺序。
成像装置3设置在显示单元2的与显示表面相反的一侧。成像装置3包括例如成像元件10和光学系统9。
可以针对电子装置1的一个显示单元2设置多个成像装置3。在显示表面上发射的光例如穿过作为开口的光学系统9，并且传播到成像元件10。另外，也可以代替开口而设置具有一些光学特性的光学系统，例如调整光学路径长度并改变偏振状态的光学特性。
光学系统9将发射到显示表面上的光传播到成像元件。例如，光学系统9可以是设置在显示面板4中的简单开口。作为另一示例，光学系统9可以包括具有高透射率物质的光传播路径，可以具有用低折射率材料包围低吸收性高折射率材料的波导结构，或者可以具有透镜形状。在透镜形状的情况下，光学系统9可以是包括形成在光接收元件上的片上透镜的概念。此外，成像装置3可以不包括光学系统9。
注意，成像装置3本身可以包括在成像元件10中。即，成像元件10可以适当地形成在显示器的显示面板4的下侧。
此外，在以下说明中，成像装置3具有包括上述光学系统9和成像元件10的构造，但也可以具有进一步包括A/D转换单元、信息处理单元等的概念。即，在本发明中说明成像装置3的情况下，如图1等所示，成像装置3可以具有不仅包括成像系统的构造而且包括用于输出包含图像数据和识别结果的信息的信息处理单元等的概念。
尽管未详细示出，例如，显示面板4可以包括有机发光器件(OLED)、诸如TFT之类的液晶、microLED或microOLED作为用于显示的光学系统(显示光学系统)。显示光学系统可包括基于另一显示原理的发光元件。
例如，作为显示光学系统的发光元件可以具有条纹阵列(stripe array)或马赛克阵列(mosaic array)。发光元件可以在第一方向和第二方向上布置成阵列，或者可以具有倾斜的或部分的像素薄化。例如，该阵列可以按照与关于下述的光接收元件的阵列的说明相同的顺序布置。此外，在显示光学系统中，发光元件可以包括堆叠滤光片以改变显示颜色。在包括OLED等作为发光元件的情况下，显示面板4可以包括多个层，例如阳极层和阴极层。此外，这些层可以包括高透射率材料。
显示面板4可以设置有诸如彩色滤光片层之类的低透射率构件。在显示面板4包括OLED的情况下，例如，显示面板4可以包括基板4a和OLED单元。基板4a可以包括例如聚酰亚胺等。在基板4a包括诸如聚酰亚胺之类的低透射率材料的情况下，可以根据成像装置3的布置位置形成开口。此外，显示面板4可以包括包含高透射率物质的光传播路径，可以具有用低折射率材料包围低吸收性高折射率材料的波导结构，或者可以具有透镜形状。同样在此情况下，从显示单元2的显示表面入射的光被成像装置3接收并转换为信号。
显示面板4中包括的发光元件可以在下述的指纹认证等中获取指纹信息时进行发光操作。即，显示面板4中包括的发光元件可以作为在显示单元2的显示表面上输出图像的元件进行操作，并且可以在获取指纹等时作为发光元件进行操作。
例如，圆偏光板5用于即使在明亮环境中仍减少显示屏幕1a的眩光或提高其可视性。
在触摸面板6中组合有触摸传感器。触摸传感器存在各种类型，例如电容式、电阻膜式等，但可以使用任意类型。此外，触摸面板6和显示面板4可以集成在一起。
通过设计，圆偏光板5和触控面板6在第三方向上的顺序可以互换。
保护玻璃7用于保护显示面板4等。如上所述，可以在适当的位置设置粘合层或胶合层，例如光学透明的粘合剂(OCA)。
图3是示意地示出通过根据实施例的成像元件进行成像的示例的视图。例如，电子装置1可以具有读取人的指纹等并执行个人认证的功能。该个人认证可以基于指纹等的特征点来执行，或者可以使用例如训练的神经网络模型来执行。如稍后说明，例如，可以添加用于确定被摄体是否是活体的选项。
上面放置手指的部分例如是图1或图2所示的保护玻璃7。如上所述，例如，光经由保护玻璃7、触摸面板6、圆偏光板5和显示面板4入射到成像元件10上。
成像元件10接收在电子装置1的读取表面12上反射的光R1，该反射光是从电子装置1内部发射的光L1。成像元件10中的光接收元件接收该光，并且对其执行适当的处理。
作为另一示例，可以接收在读取表面12周围反射的光R2，光R2是从电子装置1的外部发出的光L2。
作为另一示例，可以经由读取表面12接收光R3，该光是从电子装置1内部发出但没有传输到电子装置1的读取表面而是以到达皮肤部分的程度传输到人的手指等并且进行反射和散射的光L3。
作为另一示例，可以接收光D4，光D4是被人的手指等透射和散射并在读取表面12上衍射的外部光L4。当然，光的方向不限于外部光L4的方向，并且例如来自光L2的方向的光可以透过手指，并且在手指内部反射和散射的光可以被接收。
如下所述，成像元件10包括以阵列方式布置的像素。成像元件10通过读取入射在像素阵列中的像素上的反射光和衍射光的状态来获取指纹等的信息。
例如，将读取表面12设定为使得在指纹脊线和读取表面12发生接触的区域中不易出现反射，并且相反地，在指纹脊线和读取表面12没有发生接触的区域中进行全反射。由于具有这种读取表面12，通过利用每个像素读取存在指纹脊线的区域和不存在指纹脊线的区域来获取指纹信息。
接下来，将更详细地说明电子装置1的成像装置。
[成像元件]
图4是示意地示出根据实施例的成像装置3的成像元件中包括的成像像素的平面图。例如，图4是从图2所示的读取表面12的方向观察成像装置3的平面图。以下，为了简化说明，术语“像素”是指成像像素，并且除非另有说明，否则不将其与发光像素进行区分。
光经由图2所示的光学系统9入射到图4所示的成像装置3中的成像元件10的像素上。例如，如上部视图所示，成像元件10包括像素阵列，像素阵列具有沿第一方向和第二方向以阵列方式布置的像素102。即，光学系统9布置为将期望的光适当地会聚在存在于像素102中的区域上。
如上述所，成像元件10包括以阵列方式布置的多个像素102。图4所示的像素的布置是作为示例示出的，并且不限于这种布置。下面将详细说明另一示例。
下部视图示出了像素102的平面图。下部视图是上部视图中的一个像素102的放大图。像素102例如包括透镜104和多个子像素106。
例如，针对一个像素102设置一个透镜104。本实施例不限于此，并且透镜104可以包括多个堆叠的透镜。如平面图所示，透镜104布置为使得光被会聚在像素102所包括的子像素106上。例如，透镜104布置为使得相对于附图的垂直方向垂直地入射的光被会聚在位于像素102的中心处的子像素106上。
作为示例，相对于透镜104的光轴平行地入射的光被会聚在位于像素102的中心处的子像素106上。透镜104例如可以是形成在用于形成成像元件10的芯片上的片上微透镜阵列。如在稍后说明的制造工艺中所说明，透镜104可以例如是通过回蚀形成的透镜。
图5是示意地示出根据实施例的成像装置3的构造示例的平面图。成像装置3包括像素阵列100、成像控制单元20、线驱动单元22和列信号处理单元24。注意，在该图中，为方便起见，示出了第一方向和第二方向，并且每个部件的布置不限于这些方向。
像素阵列100包括以阵列方式布置在半导体基板上并具有光电转换元件的子像素106。此外，线驱动线220和列信号线240布置在像素阵列100中。
如作为示例的图4所示，多个子像素106设置在像素102中。子像素106包括光电转换单元以及多个像素晶体管，光电转换单元例如是根据发射光产生并累积电荷的光电二极管。
像素晶体管包括形成在半导体基板的前表面侧的源极/漏极区域(未示出)和隔着栅极绝缘膜形成的栅极电极。像素晶体管可以包括多个MOS晶体管，这些MOS晶体管包括传输晶体管、复位晶体管、选择晶体管和放大晶体管。此外，像素晶体管可以包括上述晶体管之中的除了选择晶体管之外的多个晶体管。
此外，可以采用包括多个子像素106、多个传输晶体管、共用浮动扩散部和另一共用像素晶体管的像素共用结构。例如，属于同一像素102的子像素106可以以共用的方式包括一个浮动扩散部以及分别构成一个上述像素晶体管的晶体管。
成像控制单元20获取成像元件10中的信号并且执行控制以适当地传送所获取的信号。
线驱动单元22连接到成像控制单元20和多条线驱动线220。线驱动线220连接到像素阵列100中的属于一条线路(即，沿第一方向的一条线路)的各个子像素106所包括的像素晶体管中的至少一者。在成像控制单元20的控制下，线驱动单元22针对每条线路选择性地将用于输出来自子像素106的信号的驱动信号输出到线驱动线220。
像素电路根据由子像素106的光电转换元件产生的电荷产生图像信号，并且图像信号由线驱动单元22的控制信号控制。在子像素106的阵列单元中，线驱动线220和列信号线240例如沿第一方向和第二方向以矩阵的方式布置。
线驱动线220是传输子像素106中的像素电路的控制信号的信号线，并且针对像素阵列100的每一行布置。线驱动线220公共地接线到布置在每一行中的子像素106。
列信号处理单元24连接到成像控制单元20和多条列信号线240。列信号线240连接到像素阵列100中的属于一列(即，沿第二方向的一列)的各个子像素106所包括的像素晶体管中的至少一者。在成像控制单元20的控制下，针对每一列，列信号处理单元24通过列信号线240获取由子像素106的光电转换获得的图像信号。然后，获取的图像信号被输出到适当的位置。
列信号线240是传输基于在子像素106中产生的电荷的图像信号的信号线，并且针对像素阵列100的每一列布置。列信号线240共同接线到布置在每一列中的子像素106。
成像控制单元20通过控制线驱动单元22和列信号处理单元24适当地将由每个子像素106接收的光作为模拟图像信号输出。
线驱动单元22产生像素电路的控制信号。线驱动单元22将产生的控制信号经由线驱动线220传送到光电转换元件的像素电路。列信号处理单元24处理基于在子像素106中产生的电荷的图像信号。列信号处理单元24经由列信号线240处理图像信号。列信号处理单元24中的处理对应于例如用于将模拟图像信号转换为数字图像信号的模数(A/D)转换。经列信号处理单元24处理的图像信号作为成像元件10的图像信号输出。
成像控制单元20控制整个成像元件10。成像控制单元20通过生成和输出用于控制线驱动单元22和列信号处理单元24的控制信号来控制成像元件10。由成像控制单元20生成的控制信号分别通过信号线200和信号线202传送到线驱动单元22和列信号处理单元24。
成像元件10可以包括用于输出用作黑电平基准的光学黑(optical black)的黑基准像素区域(未示出)。黑基准像素区域被诸如金属之类的遮光膜覆盖，并且通常布置在有效像素区域的外侧。
这里公开的成像元件的构造示例可以应用于后表面照射型成像装置、前表面照射型成像装置、使用有机光电转换膜的成像装置等。
[像素]
图6是示意地示出根据本实施例的像素的示例的视图。例如，后表面照射型成像元件的示例被示出为像素102。图6是沿图4的B-B截取的剖视图。像素102包括透镜104、多个子像素106、遮光壁108、多个光电转换元件隔离部110、半导体基板300、布线层302、布线304、层间膜306以及粘合层308。
另外，在稍后说明的图中，原则上标注了阴影线，但考虑到图的容易理解性，以该阴影线为示例进行说明。例如，光电转换元件隔离部110可以被示出为绝缘体，但整个光电转换元件隔离部110不一定被构造为绝缘体。
作为示例，光电转换元件隔离部110包括作为芯体的金属等，并且在芯体与半导体层之间具有绝缘膜(氧化膜)。在以下说明的每个实施例中示出了特征构造，并且图6等中的像素102的剖视图在这些特征实施例中的每一者中包括导电对、半导体和绝缘体的构造元件。即，在像素102的剖视图中，物质不受阴影线限制。
作为另一示例，透镜104和层间膜306等没有阴影线以便透射光，但这可以例如包括绝缘体。如上所述，基于透光性能等可以省略阴影线，但应注意，根据本说明书的说明，物理性质等适当地对应于附图。
此外，在这些图中，为了便于理解，强调了光电转换元件隔离部110的尺寸，但未示出相对于子像素106的实际尺寸。即，无论这些附图中的比率如何，光电转换元件隔离部110可形成为充分小于子像素106。
像素102具有多个子像素106。
针对一个像素102设置多个子像素106。例如，如图4所示，可以针对一个像素102设置5×5＝25个子像素106。子像素106例如是光电二极管。子像素106的数量不限于此，并且可以多于或少于25个，只要可以适当地执行处理即可。
如下所述，子像素106均被示为相同的正方形，但不限于此，并且可以根据各种情况基于期望获取的信息而具有适当的形状。此外，可以针对像素102中包括的每个子像素106使用另一滤光片。
子像素106例如包括n型半导体区域和位于n型半导体区域周围的p型阱区域。当n型半导体区和p型阱区域之间的pn结被入射光照射时，发生光电转换。通过光电转换产生的电荷由像素电路(未示出)转换为图像信号。图5所示的线驱动单元22、列信号处理单元24和成像控制单元20的半导体区域部分可以进一步形成在半导体基板300上。
在以上说明中，例示了n型和p型，但本发明中的半导体类型不限于此。例如，只要进行适当的操作，n型和p型可以互换。此外，例如，可以使用n+型、n++型、p+型、p++型等以适当地操作。这同样适用于以下说明。
例如，针对一个像素102设置一个透镜104。此外，透镜104可以包括多个堆叠的透镜。例如，如图6所示，透镜104可以是球面透镜或形状接近球面的透镜。透镜104可以包括例如有机材料，例如苯乙烯类树脂、丙烯酸树脂、苯乙烯-丙烯酸共聚物类树脂或硅氧烷类树脂。此外，透镜104还可以包括无机材料，例如氮化硅或氮氧化硅。可以在透镜表面上设置具有不同折射率的防反射膜。
此外，对于下层的高度差，透镜104可以在透镜材料下方包括例如平坦化膜，该平坦化膜包括诸如丙烯酸树脂之类的有机材料。作为另一构件，透镜104可以包括通过化学机械抛光(CMP)等平坦化的诸如氧化硅之类的透明无机材料。此外，透镜104可以是通过回流工艺形成的回流透镜。
图6示出了后表面照射型成像元件10的示例，并且示出了平行于元件安装(平行于透镜104的光轴)的光束以及倾斜方向(不平行于透镜104的光轴的方向)上的光束从第三方向入射的情况。
例如，从透镜104的上部入射的一束平行光束(实线)会聚在位于中心处的子像素106上。同时，沿倾斜方向(点线或虚线)入射的一束光束会聚在不在中心处的子像素106上。注意，在上述说明中，将透镜104的垂直光轴用作基准，但不一定如此，也可以通过下述的光瞳校正(pupil correctioin)技术等来确定光束从哪个方向入射到位于像素102的中心处的子像素106上。
注意，下面将说明另一形式的光学路径的细节。
遮光壁108将像素102彼此隔离。遮光壁108可以抑制来自相邻像素102的光的入射，并且可以通过设置遮光壁108来遮挡杂散光。因此，可以抑制在相邻像素102中可能发生的串扰，并且可以提高分辨率。
遮光壁108可包括遮光性材料，例如包含钨(W)、铝(Al)、银(Ag)、金(Au)、铜(Cu)、铂(Pt)、钼(Mo)、铬(Cr)、钛(Ti)、镍(Ni)、铁(Fe)、碲(Te)等中的至少一者的金属膜、包括这些金属中的至少两者的复合物、这些金属的氧化物、这些金属的氮化物或这些金属的合金。此外，还可以构造通过组合这些材料而获得的多层膜。
另外，如下所述，遮光壁108也可以在第三方向上划分成多段。在像素102的边界处，遮光壁108和光电转换元件隔离部110可以彼此连续接触。
光电转换元件隔离部110隔离像素102中包含的多个子像素106。即，光电转换元件隔离部110设置成使得入射光的影响不会在相邻子像106素之间到达另一子像素106。
半导体基板300例如是硅基板。在半导体基板300中形成有构成像素电路的元件的半导体区域部分。像素电路的元件形成在形成于半导体基板300中的阱区域中。作为示例，附图中的半导体基板300包括p型阱区域。
布线层302将像素102中的半导体元件彼此连接。此外，布线层302还用于与像素外部的电路的连接，并构成信号线。布线层302的布线构成布线304，该布线304是使用诸如铜或铝之类的金属的导体并传输电信号，并且绝缘层包括例如氧化硅(SiO2)并且使布线相互绝缘。
在后表面照射型成像元件10的情况下，绝缘层和布线304形成为与半导体基板300的前表面侧相邻以构成布线层302。此外，支撑基板(未示出)可以布置成与布线层302相邻。支撑基板是支撑成像元件10的基板，并且在制造成像元件10时提高强度。逻辑电路等可以预先安装在支撑基板上，并且半导体基板300和支撑基板的电路可以相互电连接。
层间膜306设置在金属膜316上，以例如覆盖子像素106和光电转换元件隔离部110。层间膜306可以包括透明材料，例如氧化硅、氮化硅或SiON等。
注意，在附图中，为了便于观察，省略了阴影线，但布置了适当的导体、半导体和绝缘体。在不形成遮光壁108的情况下，例如可以使用诸如苯乙烯类树脂、丙烯酸类树脂、苯乙烯-丙烯酸共聚物类树脂或硅氧烷类树脂之类的有机材料，并且透镜104可以直接设置在有机材料上。
如下所述，也可以在层间膜306中(即在透镜104和子像素106之间)设置内透镜。另外，也可以在像素102之间的边界处设置贯穿层间膜306的遮光壁108。
粘合层308设置在层间膜306和透镜104之间。粘合层308用于平坦化层间膜306并使层间膜306和透镜104彼此紧密接触。粘合层308包括例如具有调节粘度的透明有机材料，更具体地，包括丙烯酸树脂或环氧树脂。
图7是更详细地示出根据实施例的子像素106和光电转换元件隔离部110的示意性剖视图。在该图中，由于强调了光电转换元件隔离部110，所以该比例与子像素106的实际比例有很大不同。
光电转换元件隔离部110可以包括p型阱区域310。
光电转换元件隔离部110例如由半导体基板300的阱区域310中的固定电荷膜312、绝缘膜314和金属膜316形成。如上所述，光电转换元件隔离部110设置在形成于半导体基板300中的沟槽中，以便不将关于光强度的信息传播到相邻子像素106。
绝缘膜314可以设置在沟槽中。此外，除了绝缘膜314之外，还可以设置金属膜316。具有负固定电荷的固定电荷膜312可以设置在半导体基板300的光接收面和光电转换元件隔离部110的沟槽侧壁上。
由于固定电荷膜312的钉扎效应通过在半导体基板300的接触表面上产生的反型层(inversion layer)而得到增强，所以抑制了暗电流的产生。负固定电荷膜312例如是绝缘体，并且可以包括包含铪(Hf)、锆(Zr)、铝、钽(Ta)和钛中的至少一者的氧化物或氮化物。
绝缘膜314例如包含氧化硅等，并且使子像素106的光电转换元件与金属膜316绝缘。
金属膜316在子像素106的至少一部分中具有开口。此外，金属膜316可以嵌入光电转换元件隔离部110的沟槽部分中的绝缘膜314的间隙中。
金属膜316可以遮光以覆盖黑基准像素区域和外围电路区域。金属膜316可以包括遮光性材料，例如包含诸如钨、铝、银、金、铜、铂、钼、铬、钛、镍、铁和碲之类的金属中的至少一者的金属膜、这些金属的复合物、这些金属的氧化物、这些金属的氮化物或这些金属的合金。此外，这些材料可以组合成多层膜。此外，考虑到线宽度的工艺差异以及遮光壁108和金属膜316之间的错位，在像素102的边界处的金属膜316的剩余宽度可以设置为大于在像素102的边界以外的位置处的金属膜316的剩余宽度。
光电转换元件隔离部110的金属膜316的剩余宽度可以大于或小于形成在半导体基板300中的沟槽的宽度。在前一种情况下，抑制了暗电流和白点特性的劣化，并且角分辨率得到提高。后一种情况提高了灵敏度。此外，在像素102所包括的光电转换元件隔离部110的一部分中，金属膜316可以仅设置在沟槽部分中的绝缘膜314的间隙中，并且金属膜316可以不设置在绝缘膜314的表面的上方。
注意，在以下说明中，在与图6相同的像素102的部分或全部剖视图中，有时省略图7的说明中所示的构造元件，这是因为附图难以看到，但除非另有说明，否则像素102具有类似的构造。例如，光电转换元件隔离部110在子像素106与光电转换元件隔离部110之间具有固定电荷膜312、绝缘膜314和金属膜316。此外，在子像素106和层间膜306之间也是如此。
[信号处理]
从列信号处理单元24输出来自如上所述地形成的像素102的模拟信号，并且对模拟信号进一步执行适当的信号处理。
图8示出了与根据实施例的电子装置1中的信号处理有关的框图的示例。显示单元2、光学系统9和成像元件10被示出以供参考，但不限于这种构造。例如，执行各种显示的信号处理的电路可以连接到显示单元2。此外，还可以设置用于全面地控制电子装置1的控制单元。
如在图1所示的电子装置1中，电子装置1包括例如图8中的显示单元2，但本实施例不限于此。即，电子装置1可以不包括显示单元2。
成像元件10可以经由光学系统9接收光，该光学系统9包括控制入射光的光学透镜。此外，成像元件10可以在不包括光学透镜的情况下接收来自被摄体的光。成像元件10可以接收从外壳内部的光源发射到手指的光的反射光，可以接收从外壳外部的光源发射到手指的光的透射光或散射光，或者可以接收由于环境光而来自手指的透射光或散射光。
在图8中，电子装置1包括信号处理单元40、存储单元42、图像处理单元44、认证单元46和结果输出单元48，作为用于处理信号等的构造元件。尽管成像元件10在图8中被作为单独元件示出，但这些单元可以包括在成像元件10中，并且成像元件10可以实现下文所述的每个功能。这些构造元件例如可以设置在与成像元件10相同的芯片、另一堆叠型芯片或其它芯片中。
信号处理单元40将从成像元件10输出的模拟信号转换为数字信号并输出该数字信号。此外，信号处理单元40适当地处理转换的数字信号并将其转换为图像数据。在该转换中，信号处理单元40执行生成图像数据所需的信号处理，例如接地校正(groundcorrection)、像素校正等。例如，可以将在图5中说明的列信号处理单元24设置为信号处理单元40的一部分。
存储单元42存储电子装置1的处理所需的数据等。存储单元42临时存储例如从信号处理单元40或其它元件输出的图像数据。另外，在具体地使用硬件资源来实现电子装置1中的至少一个构造元件的软件的信息处理的情况下，存储单元42可以存储与该软件相关的程序等，并且相应构造元件可以通过读取存储在存储单元42中的程序等来实现处理。
图像处理单元44对从信号处理单元40输出的图像数据执行图像处理。例如，该图像处理可以包括到适用于识别的图像的转换处理或者在指纹图像的情况下包括图像以外的数据的处理。图像处理单元44例如执行去马赛克处理、颜色校正处理等。
注意，信号处理单元40和图像处理单元44不需要严格区分，并且数据输入/输出方向可以不是一个方向。例如，信号处理单元40和图像处理单元44可以构造为相同的元件。作为另一示例，信号处理单元40和图像处理单元44中的每一者可以执行适合于组成该元件的架构的处理。将在以下实施例中说明各个构造的详细操作和功能。
认证单元46例如基于从加法处理单元等输出的指纹形状(特征点)来执行个人认证。个人认证不仅可以在指纹形状中执行，而且可以在以大约30μm大小散布在手指表面上的汗腺的位置信息中执行。
例如，认证单元46可以基于由信号处理单元40等分析的光谱分析结果利用肤色光谱的上升光谱(rising spectrum)形状来执行生物特征认证或个人认证。
在信号处理单元40等检测到来自静脉的光谱的特征的情况下，认证单元46可以使用关于光谱特征的数据来确认与读取表面12接触的被摄体是活体。此外，该认证可以和与静脉形状相关的认证组合地执行。将在下面说明的实施例中说明关于动脉形状的认证。
例如，个人信息可以作为指纹或汗腺的特征点存储在认证单元46中，或者可以存储在存储单元中。存储的信息可以是关于光谱的信息或关于诸如指纹等形状的信息。在被摄体与读取表面12接触的情况下，认证单元46可以确定被摄体是活体的手指，并且可以认证被摄体是存储的个体。
结果输出单元48基于从认证单元46输出的结果输出个人认证结果。例如，结果输出单元48可以在此时与读取表面接触的手指与记录的个人数据匹配的情况下输出认证成功信号，或者在其它情况下可以输出认证失败信号。
对于根据本实施例的电子装置1，将说明例如使用指纹执行个人认证的情况。在此情况下，电子装置1可以进一步执行静脉和皮肤特有的升起的光谱判定作为防冒充措施。
注意，本实施例中说明的认证方法不限制该组合，并且电子装置1可以例如仅通过指纹形状和皮肤特有的光谱进行判定。或者，可以仅通过指纹形状和静脉特有的光谱来进行判定。此外，可以仅通过指纹认证或通过所有认证方法的组合来进行判定。即，电子装置1可以通过包括各种认证方法中的至少一者的方法来执行认证。
此外，可以将另一认证方法(例如面部认证、密码输入认证等)与根据本实施例的认证方法进行组合，并且不排除这些认证方法，其中，面部认证基于面部的特征点(例如眼睛、鼻子或嘴巴)的位置或面部区域的位置或大小来执行对照。
此外，可以根据电子装置1的用途选择性地使用该组合。例如，电子装置1可以通过使用指纹认证来解锁锁定屏幕来缩短处理时间，并且在金融交易等需要高认证精度的情况下，除了指纹认证之外，还可以使用光谱信息等(皮肤颜色光谱和静脉光谱)进行生物特征认证。
图9是示出根据实施例的电子装置1的处理流程的流程图。
首先，电子装置1启动传感器(S100)。例如，在电子装置1启动传感器时，电子装置1可以通过使上述构造元件通电而处于待机状态。电子装置1可以通过开关等明确地启动传感器。作为另一示例，电子装置1可以光学地或机械地获取被摄体在读取表面12上的接触，并使用该获取作为触发来启动传感器。作为又一示例，可以通过检测到手指已经以小于预定距离的距离接近读取表面12来触发电子装置1。
接下来，信号处理单元40基于从成像元件10获取的信息检测在信息获取时刻入射的光的强度，并基于检测结果获取外部光的条件(S102)。例如，电子装置1在没有来自内部的光入射的状态下获取图像。通过该获取，检测太阳光、室内光源透过手指的光的强度、或从手指间的缝隙进入的光的强度。信号处理单元40可以基于光的强度在稍后的处理中执行接地处理。用于接地处理的外部光的图像获取可以在指纹图像获取之前或之后进行，或者在这两个时刻进行。
接下来，使设置在电子装置1中的发光单元发光以照射手指和读取表面12彼此接触的区域的至少一部分(S104)。发光可以是白光或具有特定波长的光，例如，R、G、B等的光。在下文，在表示颜色的情况下，红色可以简称为R，绿色可以简称为G，并且蓝色可以简称为B。
例如，由于长波长侧的光透过手指，因此可以发射B(和G)光以获得表面形状。为了分析人体皮肤表面的反射光谱，可以发射R(和G)光。此外，可以发射R(和近红外光)以观察静脉。以此方式，发光可以基于后续处理发出适当的颜色。
这些光不需要同时发射。例如，可以首先发射B和G以获取用于指纹形状分析的数据，然后可以发射R以获取用于光谱分析的数据，并且然后可以发射红色至近红外光以获取用于静脉认证分析的数据。注意，在获取来自外部的光的光接收信息的情况下，S104的处理不是必需的。
接下来，成像元件10接收由发光单元发出并在读取表面12上反射的包含指纹等的信息的光(S106)。光接收由上述成像元件10执行，并然后执行随后的必要处理。例如，基于由子像素106的光接收单元接收的光的强度，通过光电转换元件从成像元件10(成像装置3)输出模拟信号。
接下来，信号处理单元40和/或图像处理单元44对接收的光数据执行适当的处理(S108)。例如，在光接收之后，信号处理单元40和图像处理单元44执行处理以获取指纹形状，获取反射光或散射光或透射光的光谱信息或者通过A/D转换和背景校正来计算子像素图像之间的偏移量并合成子像素图像。
接下来，认证单元46确定指纹形状是否彼此匹配(S110)。可以通过一般方法来执行指纹形状的判定。例如，认证单元46从指纹中提取预定数量的特征点，并通过比较提取的特征点来确定指纹是否可以被判定为存储的个体。
在指纹形状彼此不匹配的情况下(S110：否)，电子装置1重复从S102开始的处理。在重复处理的情况下，可以如下改变处理。例如，由于手指的位置不明确，所以发光单元最初使显示单元在较宽的区域中发光，但在第二次及后续的认证中，可以在外部光条件获取处理(S102)中获取存在要用于认证的手指的区域的信息等，并且可以控制第二次及后续的认证的发光区域。因此，减少了噪声光并且可以提高认证精度。
此外，电子装置1可以在改变光源条件的同时执行第二次和后续的认证。此外，电子装置1可以通过切换信号处理单元40或图像处理单元44中的诸如信号处理、图像处理或认证算法之类的处理的内容来执行第二次和后续的认证。当以此方式重复处理时，在基于第一次认证的图像信息缩小发光区域的情况下，可以不输出错误信息而继续进行操作，以使用户手指不离开。
在指纹形状彼此匹配的情况下(S110：是)，认证单元46判定认证成功(S112)并从结果输出单元48输出认证结果。在此情况下，结果输出单元48例如输出指示认证成功的信息，并允许访问电子装置1的另一构造。
另外，在以上说明中，结果输出单元48在成功的情况下执行输出，但本发明不限于此。
此外，在认证失败的情况下重复上述处理，但例如在持续重复预定次数的情况下，可以阻止对电子装置1的访问而不执行认证。在此情况下，可以从界面提示用户通过其它访问构件(例如数字键盘)输入密码。
此外，在此情况下，装置的读取有可能失败，因此可以在改变光发射、光接收、读取表面的状态、正在使用的光谱等的同时重复认证处理。例如，在得到装置被水弄湿的分析结果的情况下，可以通过界面向用户进行一些输出以擦拭水并再次进行认证操作。
如上所述，根据本实施例，对于由布置成阵列的片上透镜会聚的光，电子装置1的成像装置3能够对从多个不同角度入射的光强度进行隔离和测量，同时抑制杂散光。如下所述，这些测量可以通过组合彩色滤光片或等离子体滤光片向每个光电转换元件提供色别信息或光谱信息。
此外，电子装置1可以具有个人认证功能，并且该个人认证功能可以在不包括光学透镜的情况下实现指纹认证。例如，在不需要具有针孔等的光学系统的情况下，能够从角度而不同的子像素106获取信息。因此，电子装置1可以获取在灵敏度更高并且抑制分辨率降低的状态下拍摄的图像，并且可以通过将图像用于认证来实现高精度的认证。
成像装置3的全局快门驱动通过由使用下文说明的全局快门进行的翻转操作(flip operation)来实现认证。
当执行下文说明的静脉认证时，启用三维静脉认证。
可以通过使用下文说明的各种滤光片来测量肤色特有的上升光谱。另外，可以根据滤光片的类型进行诸如脉搏测量或饱和氧浓度测量之类的生物特征测量。通过这些功能，实现了防冒充增强的个人认证。
在下文，将说明每个构造元件的各种模式。首先，以电子装置1的光接收方面为例进行说明。
(第2实施例)
图10是示意地示出成像元件10的成像状态的示例的视图。与智能手机或平板终端一样，图10所示的电子装置1包括作为显示单元2的显示器。电子装置1例如包括在作为显示单元2的显示器下方的成像元件10。如图1所示，显示单元2可以包括触摸面板6等，并且可以包括输入界面，通过该输入界面可以通过用手指等触摸触摸面板来执行输入。
电子装置1可以通过从设置在电子装置1内部的显示单元2发射光来朝向读取表面12发射光。更具体地，包括在显示单元2中的发光元件可以朝向手指发射光。成像元件10可以接收读取表面12上或读取表面12附近由于反射、散射等而返回的光。
如图10所示，可以将可读区域设置在其中成像元件10能够接收光的范围内。在此情况下，显示单元2的发光元件可以在其中成像元件10能够接收来自读取表面12的反射光等的区域中发光。
图11是示意地示出成像元件10的成像状态的另一示例的视图。如图11所示，可以适当调整显示单元的发光区域。例如，电子装置1可以将发光区域变窄至仅在指放置区域附近。类似地，成像元件10也可以执行控制以在其中成像元件能够接收来自与手指接触的读取表面12的反射光等的区域中获取信号。
如图10和11所示，在读取表面12上设定要认证的区域的情况下，可以执行引导显示以提示用户将手指放置在显示单元2的该区域上。可以基于成像装置3和在成像时刻发光的发光像素的位置预先设定该显示。
图12是示意地示出读取表面12附近的光的反射和散射的视图。如图12所示，设置在显示单元2中的发光元件发光，并且由发光元件发出的光在读取表面12上或在读取表面12附近被反射或散射。成像元件10接收反射或散射光，将反射或散射光转换成模拟信号，并输出模拟信号。
注意，为了便于理解，图12以类似发光二极管的形状示出了发光元件，但发光元件实际上可能不具有这种形状，并且例如可以是用于使形成在半导体基板上的显示器(显示单元2)发光的OLED等。
例如，从发光元件输出的光在其中手指脊线不与读取表面12接触的区域中被良好地反射并传播到成像元件10。另一方面，在其中手指的脊线与读取表面12接触的区域中，例如，从发光元件输出的光的一部分透射到手指的内部，并且在手指的内部反射或散射光通过读取表面12传播到成像元件10。
例如，在如图12的这种传播的情况下，成像元件10中的接收到在其中手指脊线和读取表面12接触的区域中反射的光的光电转换元件和接收到在其中手指脊线和读取表面12接触的区域中反射的光的光电转换元件接收不同强度的光。
成像元件10和/或信号处理单元40等可以基于接收光的强度重构指纹的图像。例如，如下所述，信号处理单元40等也可以基于针对每个子像素106获取的模拟信号去除显示器中使用的元件的不必要反射。如上所述，电子装置1可以通过包括子像素106的成像装置3获取已被去除不必要噪声的图像。
此外，成像装置3可以获取在显示单元2发光之后捕获的信号以及在显示单元2不发光的情况下捕获的信号。成像装置3可以切换显示单元2的发光状态并获取图像，并且信号处理单元40或图像处理单元44可以获取这些图像之间的差异图像。通过获取差异图像，电子装置1可以获取抑制了来自外部的光学噪声的影响的图像。
此外，例如，成像元件10可以分解已经从其中指纹脊线和读取表面12接触的区域扩散并传播到手指中并再次返回到电子装置侧的光的波长，并获取人类皮肤特有的光谱信息等。
此外，利用红色区域到近红外区域中的光在存在静脉或动脉的范围内比在不存在血液的范围内更容易被吸收的事实，成像元件10可以获取与静脉和动脉相关的光谱信息(和形状)。
如上所述，根据本实施例，电子装置1从布置在显示单元2的显示表面中的发光元件发射光，使用成像元件10接收在读取表面12附近反射、散射等的光，并获取模拟信号。通过这种获取，能够使用为电子装置1的显示器设置的发光元件进行个人认证。
如上所述，电子装置1可以包括显示器下方的成像装置3。然后，电子装置1可以通过子像素图像的合成来去除设置在正上方的显示元件的不必要的图像，并且可以仅提取原始被摄体图像。此外，电子装置1可以通过连续地获取在显示器发光的情况下拍摄的图像和在不发光的情况下拍摄的图像并生成差异图像来去除外部光噪声的影响。
(第3实施例)
图13是示意地示出成像元件10的成像状态的另一示例的视图。电子装置1在电子装置1的外壳内包括不同于显示器的光源14。
光源14布置在电子装置1中，并且是与显示单元2的显示器上的用于显示的发光元件不同的光源。光源14例如设置在保护玻璃7的下方。例如，在使用成像元件10执行认证的情况下，光源14发射要由成像元件10成像的光。光源14可以是例如OLED、microLED、microOLED、等等，但不限于此，并且可以是可以适当发光的任何光源。
电子装置1可以将来自光源14的光朝向读取表面12发射，并通过成像元件10接收返回光。如同上述实施例，电子装置1可以是诸如智能手机之类的装置。在此情况下，与图10等类似，成像装置3可以包括显示单元2下方(即，在显示器下方)的成像元件10。
此外，作为另一示例，电子装置1可以在不包括显示器的构造中包括成像元件10和光源14。例如，同样在包括显示器(显示单元2)的诸如智能手机之类的电子装置1中，成像元件10和光源14中的至少一者可以设置在不位于显示器下方的区域中，例如设置在其中设置有前置相机的透镜单元或扬声器单元的区域中。
类似于图12，根据本实施例的电子装置1可以通过每个像素读取存在指纹脊线的区域和不存在指纹脊线的区域来获取指纹信息。此外，电子装置1可以使用成像元件10分解已经散射并传播到手指中并再次返回到电子装置侧的光(例如，图3中的R3)的波长，并获取人类皮肤特有的光谱信息。本实施例的优点在于提供了专门用于认证用途的光源规格。
此外，在指纹形状测量中，由于读取表面12和空气层之间的折射率差异而期望接收全反射分量。例如，电子装置1可以显示手指在读取表面12上的接触区域，以满足如下条件：来自光源14的被读取表面12全反射的光能够被成像元件10接收。
图14是示意地示出成像元件10的成像状态的另一示例的视图。当然，在图11的情况下也可以应对这种区域。
如上所述，在成像时刻使用的光源可以不是用于在显示单元2上进行显示的发光元件。注意，如本实施例所述，电子装置1可以不包括显示单元2。
(第4实施例)
图15是示意地示出成像元件10的成像状态的示例的视图。电子装置1包括光源16，使得光相对于保护玻璃7大致平行地入射到手指等上。成像元件10可以接收从光源16发射并在读取表面12附近反射、散射等的光。
光源16设置成在与保护玻璃7的布置方向平行的方向上发射光。然后，成像元件10接收在读取表面12附近被手指等反射、散射等的光。尽管图中未示出，但如图3所示，成像元件10可以接收从读取表面12的上侧(即，电子装置1的外侧)处的手指反射的光。
如上所述，根据本实施例，能够使用被摄体(例如，手指)内部的散射光进行认证，因此能够针对汗水、干燥等进行稳健的认证。
(第5实施例)
图16是示意地示出成像元件10的成像状态的示例的视图。电子装置1包括光源16，使得光透过保护玻璃7的内部。
光源16布置成使用保护玻璃7作为导光板通过全反射来传播光。从光源16发出的光的一部分通过保护玻璃7的内部被发射到被摄体并进入被摄体。然后，成像元件10可以接收散射并从读取表面12射出的光。
即，光源16设置成使得发射的光进入保护玻璃7，并在作为导光板的保护玻璃内传播，同时由于保护玻璃与空气层的折射率差异而被全反射。其中被摄体与读取表面12接触的区域具有小的折射率差异。该光的一部分进入被摄体，散射并经由读取表面12朝向成像元件10发射。成像元件10接收发射的光。
在本实施例中，保护玻璃7例如可以形成为使得折射率沿第三方向变化。通过形成折射率变化的保护玻璃7，可以在不将从光源16发射的光发射到读取表面12和成像元件10侧的同时更高精度地实现来自外部的光或从内部以一定角度射出的光的透过。
此外，通过这种形成方式，由于被手指等接触的区域中的反射和散射，光的角度发生变化，因此成像元件10可以充分接收被手指等影响的光。如上所述，全反射不仅可以在包括读取表面12的保护玻璃7的表面上产生，而且还可以通过保护玻璃7内部的折射率变化产生。
如上所述，根据本实施例，能够使用被摄体(例如，手指)内部的散射光进行认证，因此能够针对诸如汗水和干燥之类的成像条件的变化进行稳健的认证。
(第6实施例)
图17是示意地示出成像元件10的成像状态的示例的视图。电子装置1在读取表面12的上侧(即，与成像元件10相反的一侧)包括光源18。
光源18布置在隔着被摄体(例如，手指)面对读取表面12的方向上。从光源18发出的光可以穿过被摄体透射和散射，并通过读取表面12被成像元件10接收。
例如，光源18可以设置为能够从电子装置1拆卸。此外，也可以采用在将作为移动终端(例如，具备本实施例的成像元件10的智能手机)的电子装置1靠近固定光源18之后发光的系统。光源18和电子装置1之间的操作命令可以通过诸如红外线、蓝牙(注册商标)、Wi-Fi(注册商标)或近场通信之类的无线通信来进行同步和发送。
光源18可以设置有被加工成容易固定被摄体(例如，手指)的形状的型模(凹槽)。此外，可以设置能够将电子装置1固定在预定位置的夹具。
电子装置1可以具有在保持被摄体(例如，手指)与电子装置直接接触的同时靠近光源18的形式。在此情况下，可以在电子装置1和光源18之间执行通信、红外线检测等，并且例如当检测到电子装置1接近预定位置时，光源18可以发射光。然后，通过无线通信与光源18同步，电子装置1可以通过成像元件10接收反射光或散射光。检测构件可以是物理接触按钮或者可以是用于感测电子装置1或被摄体的传感器。此外，可以在光源18侧接收从电子装置1发送的信号并且可以发射光。
如上所述，根据第三至第六实施例的电子装置1具有设置有不同于显示单元的光源的一些形式。在这些实施例中，成像元件10可以设置在显示器下方，或者显示器可以不设置在保护玻璃和成像元件之间。这里所说明的实施例不是必须的，并且电子装置1可以使用例如诸如太阳之类的自然光作为光源。
如第二至第六实施例所述，向被摄体发射光的光源可以是发射红色、蓝色和绿色光的有机EL显示器，或者可以是发射白色光并包括用于显色(color development)的彩色滤光片的有机EL显示器。此外，光源可以是液晶显示器或发光二极管(LED)。
此外，可以使用激光二极管(LD)作为光源。LD例如可以是垂直腔面发射激光器(所谓的VCSEL)，其在包括半导体的堆叠结构或反射镜中的电介质的构造中在垂直于基板表面的方向上共振光并且在垂直于该表面的方向上发射光。可以使用磷光材料(例如在发光中心包含稀土离子Yb3+、Tm3+、或Nd3+等的ZnS)。此外，可以使用诸如GaAs或InGaAs之类的量子点。
光源的类型不限于上面列出的一些示例。期望用于认证的光源在对应于每个检测目的的波长区域中具有适当的强度。
作为示例，在进行指纹认证的情况下，优选选择在蓝色到绿色的波长区域，具体地在大约400nm到500nm附近进行输出的光源。通常，已知的是，皮肤表面的散射系数和黑色素的摩尔吸收系数取决于光的波长。更具体地，与散射和吸收有关的特性随着波长变长而趋于变小。为此，对于波长较长的光，散射和吸收的影响变小，并且光进入皮肤。即，在使用长波长光对皮肤图案进行成像的情况下，已经进入皮肤的光被皮肤内部的组织反射。
这种具有长波长的光在成像时可能变成背景光，并且可能成为分辨率劣化的因素。为此，使用具有短波长的光作为用于皮肤图案成像的光源是有效的。例如，在使用有机EL显示器的发光的情况下，可以使蓝色像素和绿色像素发光，或者可以使蓝色像素和绿色像素中的一者发射光，以作为光源。
例如，在从人体皮肤进行反射的情况下，在大约550nm到650nm的波长区域中，典型地在590nm左右经常存在上升。例如，图271说明了人体皮肤上的反射特性(引自“Skincolor(皮肤颜色)”，Akihiro OHGA，Television，1967，第二1卷，第8号，第534-540页)。也如该图所示，可以看出反射率在550至650nm处上升，而与肤色、晒伤等无关。因此，例如，为了检测500nm到700nm的范围内的信号的上升，优选选择在该波长区域内具有输出的光源。
例如，为了准确地分离图10的上升趋势，可以单独地使发射约500nm至600nm的光的绿色有机EL和发射约600nm至700nm的光的红色有机EL发射光，并且可以获取各自的图像并进行光谱分析。
这些光源不必由一种类型的元件构成，也可以由各自具有唯一的发光光谱的多个光源构成。作为光源，例如，可以设置发射可见光的有机EL和发射近红外线的LED光源两者。
接下来，将说明像素102的布置、设置在像素102中的各种滤光片等。
(第7实施例)
在上述实施例中，像素102和子像素106已经沿第一方向和第二方向以阵列的方式无间隙地、以矩形形状布置成像素阵列，但本技术不限于此方面。例如，形状可以不是矩形，也可以不沿第一方向和第二方向设置。此外，像素之间可以存在间隙。
图18是示意地示出根据实施例的像素的示例的视图。像素102具有3×3个子像素106，但不限于此，并且类似于图4，可以包括5×5个或更少或更多的子像素106。此外，示出了3×3个像素102，但当然，这些像素102代表像素阵列的一部分。底部示出的视图是像素102的放大图。
如图18所示，可以通过沿着与电子装置1的第一方向和第二方向不同的方向形成像素阵列来布置像素102。例如，像素102、透镜104和子像素106表现为通过相对于第一方向和第二方向旋转大约45度而布置的阵列。通过以此方式布置像素102，可以将像素102的间距减小到1/√2，从而可以在保持成像特性的同时实现高分辨率。
(第8实施例)
图19是示意地示出根据实施例的像素的示例的视图。如图19所示，像素102可以包括具有正六边形形状的子像素106。作为另一示例，像素102可以包括具有平行六边形形状的子像素106。像素102可以具有将子像素106设置为蜂窝结构的结构。
由于正六边形在能够镶嵌的图形中具有最短的周长，因此通过将子像素106形成为正六边形或与其类似的形状，可以期望有效地提高分辨率。
此外，在上述的遮光壁108和光电转换元件隔离部110中，由于遮光壁和光电转换元件隔离部的沟槽加工以及金属或绝缘膜的嵌入而产生应力集中。相反，通过将像素102形成为具有高应力分散效果的六边形形状，与包括矩形子像素106和像素102的情况相比，可以降低初始故障风险。
此外，在遮光壁108和光电转换元件隔离部110具有交叉部分的情况下，由于蚀刻时的微负荷效应，在深度方向上产生加工偏差。通过将子像素106形成为六边形，相对于矩形中的四行的对接，对接的数量为三个，并且可以抑制微负荷加工偏差。
(第9实施例)
图20是示意地示出根据实施例的像素的示例的视图。如图20所示，可以在像素102中设置具有不同尺寸和/或形状的子像素106A和106B。
例如，如图20所示，子像素106A的面积大，并且子像素106B的面积小。通过比较这两个子像素，子像素106A具有比子像素106B更低的角分辨率但更高的灵敏度。相反，与子像素106A相比，子像素106B具有较低的灵敏度，但具有更优异的角分辨率。
如上所述，通过混合大小不同的子像素106，可以同时获得高灵敏度的子像素图像和高分辨率的子像素图像。因此，例如，通过获取包含具有这些子像素106的像素的图像，可以获得宽动态范围。
接下来，将说明在每个像素102中设置彩色滤光片的情况。
在用于说明的附图中，例如，示出了九个像素102。从像素阵列100中提取并示出这九个像素。滤光片可以设置在整个像素阵列100上方，或者可以设置在像素阵列100的一部分上方。此外，具有不同布置的滤光片可以针对每个区域设置，而不是设置在整个像素阵列100上方。此外，子像素106未在图中明确示出，但当然，如同每个上述实施例，子像素106设置在像素102中。
在用于像素102的滤光片的下面说明中，针对被相同地标有阴影线的像素102布置有相同的滤光片。
(第10实施例)
图21是示出应用于每个像素的滤光片的示例的视图。图21是示出例如针对每个像素102布置滤光片112的示例的视图。滤光片112例如是彩色滤光片，并且是提取入射光之中的预定频率区域的光的滤光片。例如，滤光片112可以设置在透镜104和子像素106之间的任何位置。在彩色滤光片的情况下，滤光片112可以包括有机膜。
作为滤光片112，如图21所示，例如绿色滤光片112G、红色滤光片112R和蓝色滤光片112B可以布置成拜耳阵列。
与组合了一个片上透镜、一个彩色滤光片和一个光电转换元件的颜色阵列相比，根据这种滤光片的布置，具有通过子像素106向像素102提供角度信息的优点。通过按照拜耳阵列布置滤光片，可以获得考虑了色彩再现的阵列。
(第11实施例)
图22是示出应用于每个像素的滤光片的示例的视图。类似于图21，图22是示出针对每个像素102布置滤光片112的示例的视图。
作为滤光片112，布置了绿色滤光片112G、红色滤光片112R、蓝色滤光片112B和白色(透明)滤光片112W。这种布置是RGBW阵列，其在拜耳阵列中包括专注灵敏度的滤光片112W。更具体地，针对每个单元设置白光滤光片112W来代替拜耳阵列中的一个绿色滤光片112G。
滤光片112W可以是使光透过的滤光片，或者也可以根据构造位置不设置滤光片112W，只要光学路径长度与其它滤光片的光学路径长度没有太大差异即可。例如，在像素102的结构是图6所示的结构并且在层间膜306中设置彩色滤光片的情况下，可以不明确地设置滤光片112W。
通过采用这种滤光片布置，可以获得相对于拜耳阵列具有改进的灵敏度的阵列。
(第12实施例)
图23是示出应用于每个像素的滤光片的示例的视图。类似于图21，图23是示出针对每个像素102布置滤光片112的示例的视图。
作为滤光片112，布置了绿色滤光片112G、红色滤光片112R、蓝色滤光片112B和红外线滤光片112IR。这种布置是在拜耳阵列中具有用于感测的红外线的滤光片112IR的RGB-IR阵列。更具体地，针对每个单元设置红外线滤光片112IR来代替拜耳阵列中的一个绿色滤光片112G。
通过采用这种滤光片布置，可以获得相对于拜耳阵列也接收红外线的阵列。
(第13实施例)
图24是示出应用于每个像素的滤光片的示例的视图。类似于图21，图24是示出针对每个像素102布置滤光片112的示例的视图。
作为滤光片112，布置了绿色滤光片112G、红色滤光片112R、蓝色滤光片112B以及用于截止红外线的滤光片112IRC。该布置是在拜耳阵列中包括截止红外线的滤光片112IRC的阵列。更具体地，针对每个单元设置用于截止红外线的滤光片112IRC来代替拜耳阵列中的一个绿色滤光片112G。
通过这种滤光片布置，能够获得相对于拜耳阵列也接收被截止红外线的光的阵列，并且在可见光区域中可以与白光类似地提高灵敏度。
(第14实施例)
图25是示出应用于每个像素的滤光片的示例的视图。类似于图21，图25是示出针对每个像素102布置滤光片112的示例的视图。
作为滤光片112，布置了绿色滤光片112G、青色滤光片112Cy、品红色滤光片112Mg和黄色滤光片112Ye。在本实施例中，将说明具有互补色系统中的彩色滤光片的阵列。
例如，在成像装置3设置在显示器下方并检测透过显示器的光的情况下，电子装置1可以包括在入射表面(读取表面12)和成像元件10之间的聚酰亚胺层。典型地，已知的是，黄棕色聚酰亚胺吸收蓝色波长区域的光并具有高的绿色和红色透射率。因此，成像元件10通过包括具备黄色滤光片的像素102而能够有效地检测来自被摄体的光强度和波段信息。
(第15实施例)
另外，作为使用RGB以外的可见光滤光片的其它示例，可以设置能够适当地获取具有人类皮肤特有的上升光谱(500nm到650nm：参照图271)的光的灵敏度的绿色、橙色、红色等的滤光片。因此，还可以获取指纹等的信息，并判定光是否被人的皮肤等反射或散射，并实现生物特征认证，即实现防冒充措施。此外，可以通过提供四种或更多种颜色的滤光片来提高颜色分辨率。在此情况下，滤光片阵列的单元不必是2×2个像素单元。
由这些像素获得的信号可以在通过例如被称为线性矩阵或白平衡的后续阶段信号处理相互插值的同时被平衡地调整。
如上所述，成像装置3可以根据要获取的信息包括用于像素102的各种适当的滤光片，而不会受可见光中的原色系统和补色系统约束。
(第16实施例)
图26是示出应用于每个像素的滤光片的示例的视图。类似于图21，图26是示出针对每个像素102布置滤光片112的示例的视图。
如图26所示，可以为整个像素阵列100或其部分区域设置单个滤光片112。
通过以此方式使用单个滤光片112，成像装置3可以获取关注分辨率的信号。
(第17实施例)
图27是示出应用于每个像素的滤光片的示例的视图。类似于图21，图27是示出针对每个像素102布置滤光片112的示例的视图。
如图27所示，可以针对整个像素阵列100或其部分区域以棋格图案(checkeredpattern)布置两种类型的彩色滤光片112x和112y。
通过包括两种不同类型的滤光片的像素102，可以获取分别承担不同被摄体的图像。作为两种类型的彩色滤光片112，例如，可以布置用于可见光的滤光片112x和用于IR的滤光片112y的组合。作为滤光片的布置，已经说明了棋格图案的示例，但布置不限于此。
尽管未示出，例如，2×2拜耳阵列可以以更长周期使用另一滤光片112(例如IR滤光片)代替，或者作为另一示例，多个不同的滤光片可以布置在填充有单种滤光片的阵列中。在这些说明中，使用了术语“周期”，但可以使用不等间隔的布置或随机布置。
注意，滤光片112的布置不仅适用于如图21至27所示的相同矩形像素102，但也可以应用于如图19和20所示的像素102。滤光片可以应用在图21至27所示的布置中，或者可以根据每个像素的形状、大小等将其更加独特地布置。
接下来，将说明用于像素102中的子像素106而不是用于像素102的滤光片的布置。根据本发明的装置，也可以不针对每个像素102而是针对每个子像素106设置滤光片。
在下面的对用于子像素106的滤光片的说明中，类似于像素102的情况，针对被相同地标有阴影线的相同子像素106布置相同的滤光片。此外，在下面的附图中，假设像素102设置有3×3个或5×5个子像素106，但子像素106的数量不限于上述数量。
(第18实施例)
图28A是示出应用于每个子像素的滤光片的示例的视图。图28A是示出了例如针对每个子像素106布置滤光片114的示例的视图。在该图中，作为示例，一个像素102包括3×3个子像素106。
像素102在像素102中的子像素106中包括至少两种不同类型的滤光片。针对位于像素102的中心处的子像素106可以不设置彩色滤光片。可以在位于像素102的中心处的子像素106周围的子像素106中设置滤光片114(例如，彩色滤光片)。
例如，右上斜线子像素106可以设置有红色滤光片114R，横线子像素106可以设置有绿色滤光片114G，并且左上斜线子像素106可以设置有蓝色滤光片114B。
通过以此方式设置彩色滤光片，在一个像素102中，可以在位于像素102的中心处的容易有效地接收光的子像素106中准确地获取亮度信息，并且可以在该子像素106周围的子像素106中获取颜色信息。与针对每个像素102设置滤光片的情况相比，可以在一个像素中(即，在被摄体的更近区域中)以良好平衡的方式获取亮度信息和颜色信息。
图28B是示出应用于每个子像素的滤光片的示例的视图。在图28B中，虽然滤光片114的阵列与图28A中的阵列相同，但像素102包括5×5个子像素106。如上所述，即使在5×5个像素的情况下，位于中心处的子像素106和其周围的子像素106也可以类似地设置有不同的滤光片。
尽管像素102中的每个子像素106相对于被摄体具有不同的视差，但可以执行用于对由各个子像素106获取的图像进行偏移和重叠的合成处理。例如，可以通过信号处理来获得偏移量，使得在获取图像之后重合度变得最高。
此外，在保证被摄体距离恒定的情况下，可以在考虑传感器的倾斜入射特性的情况下预先确定偏移量。偏移之后的合成处理可以是通过一般的线性矩阵或白平衡实现的色彩再现改善。作为另一示例，合成处理可以是通过相加相同的滤光片构造实现的SN改善，或者是提取特定光谱的波长的操作。例如，这些处理可以输出多个不同的图像，例如可见光区域中的被摄体图像和近红外区域中的特征光谱图像，而不是输出一个合成图像。
在要合成的图像之间的偏移量具有小于一个像素的分数的情况下，可以执行通过插值近似来对齐网格的处理。此外，在相同滤光片的情况下，可以在以该分数进行偏移的状态下合成图像，并且可以临时生成具有增加的像素数量的图像，并且可以通过利用易于处理的相等间距对信息进行插值来生成高分辨率图像。
将在下述实施例中更详细地说明视差图像的处理的一部分。
(第19实施例)
图29是示出应用于每个子像素的滤光片的示例的视图。例如，类似于图28A，作为诸如彩色滤光片之类的滤光片114，右上斜线子像素106设置有红色滤光片114R，横线子像素106设置有绿色滤光片114G，并且左上斜线子像素106设置有蓝色滤光片114B。
图29示出了四个像素102。位于每个像素的中心处的子像素106可以不设置彩色滤光片，并且其周围的子像素106可以设置有滤光片114。滤光片114是针对每个像素统一的彩色滤光片，并且滤光片的颜色组合可以在不同像素之间改变。如图所示，彩色滤光片的颜色布置可以是原色阵列，也可以是在应用其它多色滤光片时使用的阵列。
例如，可以不针对每个像素102而是针对每个子像素106设置对应于上述实施例中说明的图21至27中的像素102的颜色的滤光片。即，针对每个像素102设置的滤光片可以不被确定为滤光片112而是确定为滤光片114。
通过设置这种阵列，能够在位于像素102的中心处的容易有效地接收光的子像素106中高精度地获取亮度信息，并且能够在其周围的子像素106中获取颜色信息。
当仅收集相对于像素102位于相同位置的子像素106的信号时，以与图28A中的像素102相同的分辨率获得相同条件的输出，而图29中的分辨能力较差，但中心之外的每个子像素图像周期性地包含多个不同颜色条件的输出，并且可以单独地进行去马赛克处理。
(第20实施例)
图30是示出应用于每个子像素的滤光片的示例的视图。类似于图28A，作为该彩色滤光片，右上斜线子像素106设置有红色滤光片114R，横线子像素106设置有绿色滤光片114G，并且左上斜线子像素106设置有蓝色滤光片114B。
此外，对于所有像素102，垂线子像素106设置有例如黄色滤光片114Ye。例如在设置在显示器下方的上述情况下，当聚酰亚胺存在于它们之间时，黄色滤光片114Ye可以有效地感测来自被摄体的光强度和波段信息。如上所述，可以针对每个像素102设置两种颜色或多种颜色的滤光片114。
注意，在以上说明中，彩色滤光片是红色、绿色、蓝色和黄色的，但彩色滤光片不限于此。类似于用于像素的滤光片112的上述实施例，子像素106可以适当地设置有例如品红色滤光片114Mg、青色滤光片114Cy、白色滤光片114W、用于获取红外波长的滤光片114IR以及用于阻挡红外波长的滤光片114IRC。
另外，例如，为了获得肤色的特性，可以设置能够适当地获取具有上升光谱(550nm至600nm)的光的灵敏度的橙色滤光片。在此情况下，可以通过使用三种或更多颜色的滤光片来提高颜色分辨率。
像素102可以通过组合应用到像素102的滤光片112和应用到子像素106的滤光片114来形成。例如，可以在像素102中设置用于截断红外区域的滤光片112IRC，并且可以在子像素106中适当地布置用于获取红色、绿色和蓝色的滤光片114R、114G和114B。
(第21实施例)
在上述实施例中，已经说明了使用彩色滤光片作为滤光片114的情况，但滤光片114不限于此，并可以使用特殊的滤光片。
图31是示出包含在子像素106中的滤光片的示例的视图。该滤光片是等离子体滤光片(plasmon filter)116。等离子体滤光片116是利用等离子体共振选择性地透过特定波长的滤光片。通过使用等离子体滤光片116，可以实现通过金属表面的等离子体共振操作的窄带滤光片。
如图31所示，等离子体滤光片116包括金属膜116A和孔116B。例如，如图31所示，等离子体滤光片116由等离子体共振对构成，在该等离子体共振对中，例如孔116B以蜂窝状布置在薄金属膜116A中。
金属膜116A由薄金属膜构成。金属膜116A例如可以是铝、银、金、铜、铂、钼、钨、铬、钛、镍、铁、碲等的金属膜、这些金属的复合物或这些金属的合金。作为金属膜116A，这些材料可以形成为多层。
金属膜的材料选择会影响透射光谱。例如，铝是用于宽波长区域的理想材料之一，因为铝反射所有RGB并且不发生吸收。同时，铜容易反射红色波长区域，并且是作为专用于红色或近红外波长区域的滤光片的理想材料。
每个孔116B贯穿薄金属膜116A并用作波导。通常，波导管具有根据诸如边长和直径之类的形状定义的截止频率和截止波长，且具有使具有等于或低于截止频率的频率(等于或等于大于截止波长的波长)的光不传播。孔116B的截止波长主要取决于开口直径D1，开口直径D1越小，截止波长就越短。注意，开口直径D1设置为小于要透射的光的波长值。
同时，当光进入具有以小于或等于光的波长的短周期周期性地形成的孔116B的薄金属膜116A时，会发生具有比孔116B的截止波长长的波长的光透过的现象。这种现象称为异常等离子体传输现象。当在薄金属膜116A和其上的层间膜之间的边界处激发表面等离子体时，会发生这种现象。因此，通过调整孔间距a0和孔116B的开口直径D1，可以选择性地获取各种波长的光的信息。
理论上，在当表面等离子体频率为ωsp时的导体薄膜的介电常数εm、层间膜的介电常数εd以及孔间距a0满足以下条件的情况下发生等离子体共振。这里，i和j代表度。
[数学式1]
Figure GDA0004051243590000561
[数学式2]
Figure GDA0004051243590000562
图32是示出等离子体滤光片116中的孔116B的构造和波长灵敏度的曲线图。实线表示在孔间距a0＝250nm的情况下波长与灵敏度之间的关系，虚线表示在孔间距a0＝325nm的情况下的关系，并且交替长短线表示在孔间距a0＝500nm的情况下的关系。
图33是示出等离子体模式和波导模式的曲线图。
如图32所示，当孔间距a0增大时，透射光谱向较长波长侧移动。同时，如图33所示，由于光谱是作为与截止波长或更小波长的波导模式混合的光谱获取的，因此例如期望将等离子体滤光片以与滤光片112组合的方式堆叠，作为用于像素102的彩色滤光片，以使频带变窄。
作为另一示例，一个等离子体滤光片116可以包括多层的各种等离子体滤光片。作为又一示例，等离子体滤光片116可以获得多个光谱的输出并且在信号处理中使频带变窄。
作为用于等离子体滤光片的层间膜，可以使用具有低介电常数的膜，例如诸如氧化硅之类的电介质或低K膜。
如上所述，通过设置等离子体滤光片116来代替彩色滤光片，可以获取预定光谱区域中的光的信息。例如，可以设置等离子体滤光片116来代替与滤光片有关的实施例中的至少一部分。在第三方向上，像素102可以组合地包括彩色滤光片和等离子体滤光片。
此外，由于等离子体滤光片包括金属膜，所以等离子体滤光片具有比普通滤光片更高的耐热性的优点。在过程中，在形成遮光壁之前设置滤光片的情况下，通过将包括金属的等离子体滤光片用作滤光片，产生可以在不受热脆性限制的情况下通过适当的加工手段制造遮光壁108等的优点。
此外，用于像素102之间的遮光或子像素106之间的遮光的金属膜316可以与等离子体滤光片116包括相同的金属材料。通过使用相同的金属材料，具有可以减少工艺数量量的优点。在金属膜316兼作黑基准像素区域的遮光膜的情况下，遮光所需的膜厚与等离子体滤光片的最佳膜厚可能不同。在此情况下，期望针对这些膜厚单独设置金属材料，或者单独形成金属膜的厚度。
同时，在等离子体滤光片116中，由于金属膜容易反射光并且开口率低，因此可能出现所谓的眩光或鬼影，其中反射光被诸如密封玻璃或IR截止滤光片之类的部件反射并重新进入传感器。
作为对策，在透射光谱的接近波长区域的组合中，彩色滤光片可以设置在上侧，并且等离子体滤光片116可以设置在下侧。通过这种构造，在入射时容易被等离子体滤光片116反射的波长成分被彩色滤光片吸收，并且被等离子体滤光片116反射的成分也被彩色滤光片再次吸收，从而能够抑制眩光和鬼影。
注意，等离子体滤光片116原则上具有低透射率。为了获得足够的用于认证的信号强度，期望设置对于每个子像素可变的存储时间。具体地，成像元件10可以形成为使得包括等离子体滤光片116的子像素的存储时间被延长，而不包括等离子体滤光片116的子像素的存储时间被缩短。
接下来，将使用剖视图来说明像素102和子像素106中的各种滤光片的布置。下面的附图示出了基板上的像素102等的构造，但未示出布线层302等。其它必要的构造未适当示出，仅重点示出像素102等与滤光片112等之间的关系。因此，假设进一步设置了组件(未适当示出)。
(第22实施例)
图34是示意地示出像素102的剖视图的视图，其示出了滤光片112的布置示例。尽管滤光片112是例如绝缘体，但省略了阴影线。如图34所示，像素102可以包括位于层间膜306和片上透镜之间的滤光片112。还可以在层间膜306和滤光片112之间设置粘合层308。
根据本实施例的像素102的结构的优点在于，在其形成过程中不会影响壁结构加工期间的热约束，而普通的有机滤光片要经过高温处理(例如变性)而在诸如300度或更高时引起灵敏度降低等问题。
(第23实施例)
图35是示意地示出像素102的剖视图的视图，其示出了滤光片112的布置示例。如图35所示，像素102可以包括设置在光电转换元件隔离部110的金属膜316上的平坦化膜318以及之后设置的滤光片112。平坦化膜318例如是包括诸如透明有机材料之类的物质的层并且具有平坦化的上表面，该透明有机材料具有与粘合层308类似地调整的粘度。
作为变形例，尽管未示出，但滤光片112可以直接设置在金属膜316上方。
在滤光片112中，如果滤光片在遮光壁108的沟槽处理期间露出，则沉积物会粘附到装置的腔壁上。因此，考虑到诸如线宽和错位之类的工艺差异，期望将滤光片端部定位成使得滤光片不露出。当在从上表面观察的情况下在滤光片112和光电转换元件隔离部110的金属膜316之间形成间隙时，混色劣化。因此，例如，考虑到线宽和错位的工艺差异，期望金属膜316和滤光片112无间隙地重叠。
(第24实施例)
图36是示意性示出像素102的剖视图的视图，其示出了滤光片114的布置示例。如图36所示，滤光片114以覆盖每个子像素106的上表面的方式设置在层间膜306中。例如，每个滤光片114布置为从光电转换元件隔离部110上方覆盖子像素106。
同样在此情况下，类似于上述在光电转换元件隔离部110上设置滤光片112的情况，可以设置平坦化膜318并且可以在平坦化膜上设置滤光片114。
滤光片114可以如上所述地不是在整个跨越像素102中相同的滤光片。例如，在图36中，左侧滤光片114可以是作为绿色滤光片的滤光片114G，而右侧滤光片114可以是作为红色滤光片的滤光片114R。
此外，例如，位于中心处的子像素106可以在不设置滤光片的情况下输出关注灵敏度的信号。在此情况下，可以获取关注灵敏度的信号并且可以在应用了滤光片114的外围子像素106中插值颜色信息。
(第25实施例)
图37是示意地示出像素102的剖视图的视图，其示出了滤光片112和114的布置示例。如图37所示，可以在上下方向上设置两层滤光片112和114。
例如，左侧像素102可以在其上部包括吸收红外线的片上滤光片112IRC以及在其下部例如针对每个子像素106包括相同或不同的滤光片114，例如诸如绿色滤光片114G、红色滤光片114R、蓝色滤光片114B之类的任意滤光片114。同时，右侧像素102可以在其上部包括例如仅透射红外线的滤光片112IR。
通过这种构造，在无需在电子装置1的成像元件10以外的部分安装红外线吸收滤光片的情况下能够同时获取也给予了角度信息的颜色信息和红外线信息。另外，能够通过上下组合不同的滤光片来实现具有新透射光谱的固态成像元件。
(第26实施例)
在此，将在光谱方面说明重叠彩色滤光片的情况。
图38是示出彩色滤光片的特性的示例的曲线图。在以下的光谱说明中，横轴表示波长[nm]，并且纵轴表示光接收灵敏度(量子效率(QE))[％]。
实线表示红色滤光片的灵敏度特性，点线表示绿色滤光片的灵敏度特性，而交替长短划线表示蓝色滤光片的灵敏度特性。如上所述，将各颜色的滤光片设计成使得光接收灵敏度(透射率)在预定波段中变高。
在各种成像装置等中使用的滤光片包括通过制备颜料和染料而具有各种透射光谱的材料。例如，为了强调滤光片的光接收灵敏度，存在使半值宽度加宽并使不同颜色之间的光谱重叠的组合。在具有重叠光谱的两个滤光片上下堆叠的情况下，各自的透射光谱叠加，并且可以实现新的窄带灵敏度光谱。
图39示出了在绿色滤光片和红色滤光片上下堆叠的情况下的透射率的示例。如图39所示，通过使用堆叠的绿色滤光片和红色滤光片，获得了在550至600nm的波长区域中具有高灵敏度的特性灵敏度光谱。
例如，如图271所示，与肤色无关，光谱变化大的波长区域存在于550至600nm左右，更典型地存在于590nm左右。出于这个原因，生物特征认证通常在如图39所示的波长区域内执行。
根据以上事实，例如，图39所示的通过绿色滤光片和红色滤光片堆叠而成的滤光片可以说是具有适合生物特征认证的灵敏度光谱特性的滤光片组合。例如，当存在透射整个可见光的物质时，即使在绿色滤光片和红色滤光片之间存在间隙时，该特性也不会改变。因此，可以在上述附图所示的滤光片112和滤光片114两者中设置不同颜色的滤光片。
例如，如同在如图37右侧的像素102中堆叠滤光片的情况下，通过在透镜104的正下方设置红色滤光片112R并且在子像素106上设置绿色滤光片114G，能够得到适合生物特征认证的滤光片组合。
作为另一示例，图40示出了在绿色滤光片和蓝色滤光片上下堆叠的情况下的透射率的示例。同时，在色彩工程的配色实验中，无法通过红色、蓝色和绿色三基色的加色混合再现的负区域(negative region)大约存在于436到546nm处，并且红色、蓝色、绿色和祖母绿的四基色编码已被提议作为补偿该区域中的图像质量影响的一种手段。图40的透射光谱可用于四基色编码中的祖母绿像素。
图41示出了当改变绿色滤光片的膜厚时灵敏度光谱的行为的灵敏度光谱的示例。该图示出了如下情况的示例：实线表示绿色滤光片的膜厚为500nm，断线表示400nm，且点线表示300nm。绿色滤光片的膜厚依赖性遵循朗伯-比尔定律。即，滤光片的膜厚的影响随着吸收率(吸光度)变低(透射率变高)而变小，并且随着吸收率(吸光度)变高(透射率变低)而变大。可以从图41中的实线、断线和点线之间的关系来确认由膜厚引起的依赖性。
图42是示出在将具有不同膜厚的绿色滤光片与红色滤光片堆叠的情况下关于波长的光谱灵敏度的曲线图。类似于图41，示出了如下情况的示例：实线表示绿色滤光片的膜厚为500nm，断线表示400nm，且点线表示300nm。
如图42所示，相对于图39的曲线图，可以改变高波长侧(例如，580nm以上的波长处)的灵敏度光谱的旁瓣的状态。利用该结果，可以通过将灵敏度光谱与假设的被摄体的光谱相匹配来改变滤光片的厚度。
此外，在图37中，例如，红色滤光片112R可以设置在左侧像素102的上部中，并且可以针对下部的各个子像素106设置具有不同膜厚的绿色滤光片114G。如图41和42所示，绿色滤光片例如具有300nm的厚度和500nm的厚度。
通过设置这种具有不同膜厚的绿色滤光片114G，可以获得在580nm以上的波长区域中具有不同旁瓣灵敏度的两个光谱。基于这些灵敏度光谱之间的差异，可以提取580nm以上的被摄体光谱。
为了获得由与具有不同膜厚的彩色滤光片114G对应的子像素106接收的信号之间的差异，可以在考虑每个子像素106的视差和被摄体距离的情况下执行图像偏移处理。作为另一形式，即使在相同颜色的彩色滤光片的情况下，通过改变颜料的类型或颜料的混合比也可以获得类似的效果。
图43是单独示出红色滤光片和蓝色滤光片的灵敏度光谱的曲线图。实线表示红色滤光片的灵敏度，并且交替长短线表示蓝色滤光片的灵敏度。如上所述，在红色滤光片和蓝色滤光片之间，其中可见光区域(约400至700nm)中灵敏度变得足够高(例如，10％以上)的区域彼此不重叠。
图44示出了基于以上说明在上下布置不同彩色滤光片时获得的灵敏度光谱的另一示例。
由于红色滤光片和蓝色滤光片在可见光区域具有彼此分离的透射光谱峰，因此红色滤光片和蓝色滤光片在上下堆叠时互补地作用。因此，通过堆叠红色滤光片和蓝色滤光片，在整个可见光区域中的光基本上被遮蔽。
同时，在近红外区域中，两者在800nm和900nm之间形成几乎相同的透射光谱峰。为此，当这些彩色滤光片上下堆叠时，能够对近红外线具有敏感性。即，通过以堆叠方式使用这些彩色滤光片，可以用作近红外滤光片。
注意，在附图38、39、40、41、42、43和44中，已经使用图37的结构作为示例给出了说明，但上下堆叠彩色滤光片的构造不限于此。在本实施例中滤光片上下重叠的情况下，例如可以在图34、35和36以及稍后说明的图47中的单层滤光片上形成第二级。
更具体地，彩色滤光片可以堆叠为滤光片112和滤光片114，或者作为另一示例，彩色滤光片可以堆叠为两层滤光片112或两层滤光片114。此外，彩色滤光片的组合不限于上述组合，也可以是这些组合以外的组合。另外，堆叠的彩色滤光片的种类不限于两种，也可以在第三方向上堆叠三种以上的滤光片。
(第27实施例)
在上述实施例中，已经说明了彩色滤光片的堆叠，但将说明其中一个彩色滤光片是等离子体滤光片的形式。
图45是示出根据本实施例的成像像素的结构示例的剖视图。成像元件10包括透镜104、红色滤光片112R、粘合层308、遮光壁108、层间膜306和等离子体滤光片116。
透镜104等同于前述实施例中说明的透镜。
滤光片112R设置在透镜104下方。
在滤光片112R的下方设置有用于使滤光片112R与层间膜306紧密接触的粘合层308。根据层间膜306和滤光片112R的构造，粘合层308不是必需的。
层间膜306隔着粘合层308设置在滤光片112R的下方。如上所述，层间膜包含例如透过性物质。
通过遮光壁108抑制像素102的层间膜306之间的串扰。
然后，在上述实施例中设置各种滤光片114的位置处设置图31所示的等离子体滤光片116。通过在金属膜(例如，铝膜)116A中形成孔116B来构造等离子体滤光片116。例如，在孔116B的内部填充有层间膜306。
例如，图32和33示出了等离子体滤光片116对波长的灵敏度。在这些附图中所示的光谱的具体构造示例适于检测如图271所示的人皮肤特有的光谱。因此，通过等离子体滤光片116获取的光谱适合用于生物特征认证。
图46是从图45中的成像像素的上方观察等离子体滤光片116的平面图。如图46所示，成像元件10包括的等离子体滤光片116的孔116B针对每个子像素106具有不同的形状和间距。
例如，等离子体滤光片116a设计为具有320nm的孔间距并且易于透射波长为550nm的光，并且例如，等离子体滤光片116b被设计为具有340nm的孔间距并且易于透射波长为580nm的光。类似地，等离子体滤光片可以形成为具有不同的孔间距，使得等离子体滤光片116c容易透射波长为610nm的光，等离子体滤光片116d容易透射波长为640nm的光，等离子体滤光片116e容易透射波长为670nm的光，等离子体滤光片116f容易透射700nm波长的光，等离子体滤光片116g容易透射波长为730nm的光，等离子体滤光片116h容易透射波长为760nm的光，并且等离子体滤光片116i容易透射波长为790nm的光。
通过以此方式针对每个子像素106设计等离子体滤光片116，成像元件10可以获得550至790nm的波长范围内的光谱。
例如，通过在这些等离子体滤光片上设置图41的曲线图所示的红色滤光片112R，能够抑制图33所示的截止波长以下的波导模式的影响。此外，能够抑制耀斑和鬼影。
图47是示出成像元件的结构示例的平面图。如图47所示，例如，针对多个像素102设置相同的红色滤光片112R。
图48是示出图47所示的成像平面图中的子像素106的结构示例的平面图。在成像元件10中，在一个成像元件10中包含的子像素106中包含具有相同形状的等离子体滤光片116。同时，不同的成像元件10包括不同的等离子体滤光片116。
通过以此方式设置滤光片112R和等离子体滤光片116，可以获取易于对每个子像素图像应用去马赛克处理的图像信号。
(第28实施例)
图49是示出成像像素的结构示例的剖视图。关于上述的图36，像素102的光学路径设计成使得金属膜316的最上部附近不成为焦点。
该结构的不同之处在于金属膜316的最上部附近的光束直径大于至少一个子像素106。即使在该结构与基本上垂直入射在成像装置上的远心光学系统(telecentricoptical system)组合的情况下，可以通过像素102中的多个子像素106获取光信息。
如上所述，可以根据用途适当地布置各种彩色滤光片。例如，如图21、22、23、24、25、26和27所示，不同颜色的滤光片可以用于每个像素102。作为另一示例，如图图28A、28B、29和30所示，不同颜色的滤光片可以适当地布置在一个像素102中。
此外，可以中的成像元件10中包括的所有像素102设置彩色滤光片，或者可以为一些像素102设置彩色滤光片。此外，可以在上下方向上堆叠滤光片以其灵敏度光谱具有与每个单独的彩色滤光片的特性不同的特性。
注意，可以设置包括有机光电转换膜而不是彩色滤光片的子像素106，或者可以设置等离子体滤光片。如上所述，可以使用彩色滤光片的替代物，只要可以针对每种颜色(即，针对每个光波长)适当地获取信息即可。
可以根据用途、设计限制等适当地选择这些滤光片的构造。在前述实施例中已经说明了具体示例。
例如，滤光片112、滤光片114或等离子体滤光片116使用例如颜料或染料作为材料，透射期望波长的光，并且可以获得来自被摄体的光的光谱信息。滤光片112可以设置在例如层间膜306上，并且也可以在层间膜306和滤光片112之间设置兼作平坦化膜的粘合层308。
例如，可以在金属膜316上设置滤光片114或等离子体滤光片116，并且可以在金属膜316和滤光片114或等离子体滤光片116之间设置兼作平坦化膜的粘合层。
例如，可以针对每个子像素106设置一个滤光片114或一个等离子体滤光片116，或者滤光片114或等离子体滤光片116针对每个子像素106可以是不同的。此外，可以针对每个像素102设置具有相同构造的一个滤光片114或一个等离子体滤光片116，并且这些滤光片针对每个像素102可以是不同的。可以不设置彩色滤光片以强调灵敏度和分辨率。
(第29实施例)
本发明的各个方面不限于上述每个实施例中的后表面照射型。
图50是示出前表面照射型成像元件中的像素102的剖视图。前表面照射型传感器与后表面照射型传感器的不同之处在于布线层和像素晶体管形成在照射表面侧。将说明这种结构差异。
在前表面照射型中，尽管在布线之间以及贯通互连部之间的间隙中存在一些串扰路径，但布线层302的金属膜(布线304)在前表面照射型中用作遮光壁108。
在前表面照射型中，透镜104下方的光学路径开口由于布线层302而变窄。因此，如与具有相同像素尺寸和相同镜头构造的后表面照射型相比，在前表面照射型中，像素102的斜入射特性由于布线304的暗角而劣化。
此外，布线层302具有作为电路所需的规格。因此，即使在作为光学路径设计期望降低高度的情况下，与后表面照射型相比也不能自由地设计。
在前表面照射型中，像素晶体管形成在半导体基板300的照射表面侧上，并且在像素的电势设计区域中受到限制。注意，尽管未示出，但如同在图7中，绝缘膜314设置在半导体基板300的表面上。
在前表面照射型中，当试图通过并行处理加速操作时，布线层302的面积和体积增加。由于这个原因，加速、灵敏度和斜入射特性处于权衡关系。同时，在后表面照射型中，由于布置布线层302而不会影响光学路径设计，所以布线设计的自由度高。
在前表面照射型中，由于有机膜的彩色滤光片(滤光片114)不能承受由布线层302的形成过程导致的热量，因此彩色滤光片的布置仅限于布线层302上的滤光片112。同时，由于等离子体滤光片116是金属膜，所以等离子体滤光片可以形成在布线层302的任意高度处，但这会影响布线电容。
在这些比较中，后表面照射型在产品规格和特性方面更有优势，而前表面照射型则具有不需要支撑基板、工艺数量数少、制造成本低的优点。取决于成像元件10中的像素102的光接收所需的精度，前表面照射型通常就足够了。在此情况下，可以使用前表面照射型成像元件10。
在以下实施例中，主要以后表面照射型为例来说明，但本实施例不限于后表面照射型，例如也可以采用前表面照射型。另外，上述各实施例中的滤光片的堆叠也可以类似地在可以以上述限制实施的范围内实施。
(第30实施例)
在以上说明中，已经说明了像素102、子像素106、滤光片112和114等。接下来，将说明像素102中包括的透镜。在上述每个实施例中，已经说明了包括在制造工艺中被执行回蚀处理的片上透镜的情况。
作为透镜104，除了通过回蚀处理的透镜之外，还可以使用各种透镜。由于各个透镜具有不同的特性，因此通过改变透镜，可以根据要成像的被摄体和用途来实现对光收集、散射等的更适当的控制。以下实施例中的各种透镜构造在像素阵列上不必相同。即，可以根据需要改变用于每个像素102的透镜的类型。
通过针对每个像素102组合和混合各种透镜，具有各种特性的像素102可以形成在同一像素阵列中。例如，可以基于像素阵列中的像素102的位置来改变要使用的透镜。
在本实施例中，作为片上透镜的变形例，将对设置所谓的回流透镜的情况进行说明。更具体地，将说明在将回流透镜设置为透镜104的情况下适于回流透镜的变化控制的遮光结构的形式。
通过回蚀处理将上述实施例中说明的透镜状抗蚀剂转移到透镜材料上的方法具有在蚀刻时通过沉积缩小透镜之间的间隙的优点。即，可以通过缩小透镜的无效区域来提高灵敏度。
同时，根据弗朗霍菲(Fraunhofer)衍射理论，当收集具有波长为λ的光时，光斑半径ω0可以如下近似地表示，其中定义了介质的折射率n、焦距f和透镜尺寸D。
[数学式3]
Figure GDA0004051243590000671
即，随着透镜厚度的增加和焦距的缩短，或者随着透镜尺寸的增加，光可以变窄。然而，当试图以类似方式增加透镜厚度并同时增加透镜尺寸时，存在对透镜材料的蚀刻处理量增加、腔室中的沉积增加并且维护频率增加的问题。就装置操作而言，假设透镜的厚度被限制为例如约3至4μm。
一种解决方案是通过加热形成透镜形状的回流透镜。作为回流透镜的材料，例如通过将诸如丙烯酸树脂之类的树脂溶解在溶剂中并添加光敏剂得到的材料(例如邻萘醌二叠氮化物复合物(ortho-naphthoquinone diazide compound))等已经市售。
在回流透镜中，相对于使用回蚀的方法难以缩小间隙，并且例如间隙在对角顶点处变宽。同时，具有容易形成厚透镜、不需要回蚀而工艺数量少、可以通过曝光显影去除PAD部分的透镜材料的优点。
图51示出了根据实施例的成像像素的剖视图。图51所示的透镜104是设置在作为基本平坦的基底的粘合层308中的回流透镜。透镜104隔着粘合层308设置在层间膜306上。注意，在回流透镜的情况下，如图所示，透镜之间的边界可能不太清晰，但同样在此情况下，在下面的说明中不会出现大的差异。
图52示出了根据实施例的成像像素的剖视图。图52的构造是在图51的构造中包括滤光片112的构造。以此方式，可以基于像素102的上述实施例来设置滤光片112。在设置滤光片112的情况下，如图所示，滤光片112可以设置在粘合层308和作为回流透镜的透镜104之间。作为另一个示例，滤光片112可以设置在粘合层308和层间膜306之间。
如图图51和52所示，类似于回蚀透镜，可以设置回流透镜作为透镜104。
图53是示出回蚀透镜的微透镜阵列的示例的平面图。相反，图54是示出回流透镜的微透镜阵列的示例的平面图。在图53中，透镜阵列形成为使得透镜之间几乎没有间隙。相反，在图54中，透镜之间的间隙形成得较宽。
在由回流透镜形成微透镜阵列的情况下，由于热处理的变化，形状再现性可能很差。此外，不能说回流透镜的材料和氧化硅具有良好的粘附性。因此，如图51和52所示，粘合层308可以形成在回流透镜和层间膜306之间，以使透镜104和层间膜306彼此紧密接触。粘合层308可能因与金属接触而劣化。为此，也可以在密合层308的下方设置诸如氧化硅之类的透明无机膜(未示出)，以防止变质。
图55是回流透镜的微透镜阵列的原子力显微镜(AFM)图像的示意图。例如，通过设置粘合层308，可以通过回流透镜形成如图55所示的微透镜阵列。为了提高上述的形状再现性，还可以布置壁，使得透镜104和相邻的透镜104之间的空间未由于热处理而被填充。
如上所述，根据本实施例，像素102可以包括回流透镜作为透镜104。通过使用各种透镜，可以控制诸如灵敏度和角分辨率等特性，并实现成像元件10的尺寸增加等抑制。作为示例，可以使用回流透镜。通过根据用途适当地设计透镜104，可以根据电子装置1的用途进行各种用途。
此外，在成像元件10的像素阵列上可以不使用相同的透镜，可以混合使用各种方法的透镜。例如，可以基于像素阵列中的像素102的位置来改变要使用的透镜。
在下文，将进一步说明各种透镜的示例。首先，将说明像素102的形状对回流透镜的应用。
(第31实施例)
图56示出了根据实施例的成像像素的剖视图。像素102示出了关于透镜104包括具有金属膜的堤(透镜隔离部)的实施例的示例。粘合层308例如是绝缘体，但省略了阴影线。例如，像素102包括回流透镜作为透镜104。例如，本实施例与图51的不同之处在于透镜材料在回流处理中被堤阻挡。也就是说，在相邻的像素102的透镜104之间设置有壁，以避免与相邻的透镜104接触。
通过该堤，可以使透镜104的形状稳定。另外，通过在堤部分中设置金属膜，能够提高遮光性，并抑制杂散光。在堤设置有金属膜的情况下，通过使用与作为金属膜嵌入遮光壁108中的金属相同的材料，能够使成膜过程通用化。
图57示出了根据实施例的成像像素的剖视图。基本上，类似于图56，在透镜104之间设置具有金属膜的堤。图57中的成像像素包括滤光片112。滤光片112可以设置在堤之间，即设置在透镜104的正下方。
如图56和57所示，作为一个示例，通过使粘合层308和层间膜306变形来形成透镜104之间的堤。然后，可以设置用作骨架的金属膜，并且可以将金属膜与遮光壁108一体地形成。
图58、59和60是根据实施例的成像像素的平面图。例如，图56和57示出了从正上方观察的堤形状的示例。
在图58中，堤形成有矩形开口。堤的侧中心附近表现出阻塞效应。同时，在对角线部分中，透镜材料没有到达堤，间隙会导致杂散光，并且透镜形状可能会发生变化。然而，就灵敏度而言，这种矩形堤形状在面积方面是有利的。
在图59中，从顶部看，堤形成在像素102的边界处以追随透镜104的无效区域的形状。由于透镜材料在整个堤上被阻挡，所以透镜104的形状稳定。另外，堤所具有的金属膜(例如遮光壁108的一部分)也具有能够有效地抑制来自间隙部分的杂散光的优点。作为示例，已经说明了将通过AFM获取的截面结果近似为八角形的示例，但本实施例不限于此，例如堤可以形成为具有弧形圆角的矩形形状。
图60的特征在于像素102具有接近圆形的形状，例如六边形，并且包括接近圆形的形状的堤。优点是所有边界都是圆钝的并且图案保真度差的回流透镜的密集度增加。例如，在子像素106和像素102形成为如图19所示的六边形形状的情况下，可以通过以这种形状形成堤来有效地形成回流透镜。
注意，包括图58、59和60所示的具有遮光特性的堤的结构不限于回流透镜。例如，可以在上述实施例中通过回蚀处理在透镜104中设置该结构。在此情况下，同样可以提高遮光性能。
图61示出了根据实施例的成像像素的剖视图。像素102例如关于回流透镜具有仅包括透明材料的堤。这种结构的遮光性比图56所示的透镜隔离部的遮光性差，但能够抑制灵敏度损失。由于从顶部看的平面图中的堤形状与图58、59或60所示的像素102的状态重合，故省略其说明。
图62示出了根据实施例的成像像素的剖视图。图61中的像素102包括滤光片112。在图62的示例中，与图61的示例类似，设置了仅由透明材料制成的堤。类似地，根据这种构造，与具有遮光壁108的透镜隔离部相比，遮光性差，但可以抑制灵敏度损失。
图63示出了根据实施例的成像像素的剖视图。像素102包括在粘合层308上的透镜隔离部120。透镜隔离部120具有与本实施例中的上述堤相似的效果。
像素102包括作为透镜隔离部120的堤，该堤主要包括对回流透镜具有感光性的遮光材料，例如炭黑抗蚀剂。与包括图56的金属膜的堤相比，遮光性稍差，但可以减少制造工艺。从上方看到的堤形状的平面图与图58等重合，因此省略。
图64示出了根据实施例的成像像素的剖视图。如该图所示，透镜隔离部120可以设置在滤光片之间。
图65示出了根据实施例的成像像素的剖视图。如该图所示，透镜隔离部120可以设置在滤光片上。
与上面类似，形成包括如图63、64和65所示的具有遮光性的透镜隔离部120的构造，以在示例地使用回流透镜作为透镜104的情况下用于稳定透镜形状，但不限于此。例如，如同上述实施例，在通过回蚀形成的透镜104的情况下，通过包括透镜隔离部120，能够表现出抑制串扰的效果。
如上所述，如在本实施例中，也可以在相邻像素102的透镜104之间形成透镜隔离部。通过形成透镜隔离部，例如可以稳定回流透镜的形状。此外，如上所述，通过设置金属膜等，或者通过设置包括低透射率材料的透镜隔离部，可以表现出抑制像素102之间的串扰的效果。此外，表现出抑制灵敏度损失的效果的各种形式也如上所述。
(第32实施例)
图66示出了根据实施例的成像像素的剖视图。该图是示出像素102所包含的透镜的其它结构的视图。在本实施例中，类似于上述各实施例，像素102包括作为片上透镜的透镜104，并且也可以进一步包括在像素102中的透镜。即，在子像素106和透镜104之间设置有内透镜118。
通过如在本实施例中那样设置内透镜118，像素102能够将经由透镜104入射的光近距离地成像在子像素106上。通过减小透镜的焦距，可以根据弗朗霍菲衍射理论(方程式(3))减小像素102的会聚光的光斑半径ω0。
注意，图66示出了光经由两个透镜入射到每个子像素106的光电转换元件上的结构，但本实施例不限于该结构。例如，光可以通过三个或更多个透镜入射。
(第33实施例)
作为上述实施例中的内透镜118的示例，将说明一些形式。
图67是示出其中根据实施例的成像元件10包括内透镜的情况的示例的剖视图。在成像元件10包括内透镜的情况下，可以通过改变从内透镜到光接收元件的距离来控制成像元件10中的光束的倾斜入射特性。
在下文，省略了在上述实施例中说明的滤光片112、114和等离子体滤光片116的布置的说明，但即使在设置内透镜的情况下，也能够适当地设置这些滤光片。
如上所述，除了上述每个实施例的构造之外，成像元件10还包括内透镜118。通过透镜104相对于子像素106入射的光的入射特性根据内透镜118的位置而改变。例如倾斜入射光的特性改变。
在图67中，例如，如同在图6中，内透镜118布置为使得从第三方向垂直入射到像素102上的光入射到位于像素的102中心处的子像素106的整个表面上。在此情况下，内透镜118距光电转换元件隔离部110的距离被设置为l1。
注意，在直到图75的说明中，改变了内透镜118和光电转换元件隔离部110之间的距离(层间膜306的膜厚)，但本实施例不限于此。例如，可以适当地改变粘合层308和内透镜118之间的距离(层间膜306的膜厚)，或者可以改变两者的距离。
图68示出了在以下说明中使用的子像素106的布置。在第一方向上位于像素102的中心处的子像素106将被说明为沿第二方向的子像素106C、106D、106E、106F和106G。
图69是示出在如图67所示地设置内透镜118的情况下子像素106的光接收特性的曲线图。作为非限制性示例，像素102的尺寸为6μm，并且像素102包括5×5＝25个1.2μm的子像素106。
如图67所示，成像元件10包括像素102中的内透镜118，并且金属膜316嵌入光电转换元件隔离部110中。在图68中，实线表示子像素106E的灵敏度，点线表示子像素106D的灵敏度，断线表示子像素106F的灵敏度，交替长短线表示子像素106C的灵敏度，并且一长两短线表示子像素106G的灵敏度。
曲线图的纵轴在没有子像素划分的情况下将像素102在具有0度灵敏度的第二方向上的入射角定义为归一化因子。返回并校正因cosθ而导致的入射光的每单位面积的光子数减少的影响。
如图69所示，位于中心处的子像素106G的灵敏度朝向像素102的外侧降低。
(第34实施例)
图70是示出根据实施例的成像元件10包括内透镜118的情况的示例的剖视图。在本实施例中，将光学路径设计成使得在位于像素102的中心处的子像素106E中，金属膜316的最上部附近成为焦点。例如，通过将图67中的l1改变为l2来实现光学路径。
图71是示出图70的情况下的灵敏度的曲线图。虽然子像素106之间的差异变大，但具有能够在中心处获得高分辨率图像的优点。
(第35实施例)
图72是示出内透镜118和光电转换元件隔离部110之间隔开有距离l3的情况的视图，该距离l3介于在像素102的端部的情况下的距离l4和图70中的距离l2之间。
图73是示出图72的情况下的各子像素的灵敏度的曲线图。在此情况下，具有能够使子像素间的灵敏度和角度分辨率均一化，能够减小子像素间的特性差异并且在诸如后述的PSF校正、图像合成等图像处理中使成像元件的处理变得容易的优点。
(第36实施例)
图74是在内透镜118和光电转换元件隔离部110之间的距离为距离l4的情况下的剖视图，即，存在于端部处的子像素106的光电转换元件隔离部110的上部成为焦点。如该图所示，在考虑到像素102的端部处的光学路径长度的几何延伸，可以将光学路径设计为使得使像素102的端部成为焦点。
图75是示出图74的情况下的各子像素的灵敏度的曲线图。在该情况下，由于例如在获取视差图像等的情况下能够最大限度地提高端部处的子像素106C、106G的光接收灵敏度，因此可以提取端部的特征。
成像元件10可以包括内透镜118，该内透镜118所处的距离不同于在第三十至第三十三实施例中说明的那些距离。
例如，可以设计光学路径，使得像素102的焦点位置相对于金属膜316的高度大幅偏移，并且光束直径变得大于至少在金属膜316的最上部附近的子像素106。通过这种设计，例如，即使在与相对于成像装置垂直入射的远心光学系统组合的情况下，也具有不仅中心子像素106而且周边子像素106也可以获取像素102中的光信息的优点。
如上所述，透镜104的焦点位置根据聚光结构的层厚、透镜厚度、每种材料的光学物理特性值等而相对于假定的光特性(波长和角度)来确定。可以用这些参数中的任何一者来控制斜入射特性，并且光学路径设计手段不限于下壁的高度(上述l1至l4)。
(第37实施例)
图76是示出根据实施例的成像像素的剖视图。图76是示出像素102所包含的透镜104的其它构造的视图。像素102包括作为片上透镜的菲涅耳透镜(Fresnel lens)122。菲涅耳透镜122具有将折射透镜同心地分割以减小厚度的形状。
通过如同在本实施例中将菲涅耳透镜122设置为透镜104，例如在使用后述的纳米压印(nanoimprint)进行透镜成型的情况下，具有因UV照射或热引起的形状差异随着镜片材料的体积的增加而变大的优点。
(第38实施例)
图77是示出根据实施例的成像像素中包括的透镜的示例的平面图。像素102包括作为透镜的衍射透镜124。衍射透镜124是能够通过根据波长设计凹槽的深度以及根据衍射角设计凹槽的间隔并利用等于或小于波长的微观起伏结构的衍射现象来会聚光的透镜。
图78是示出根据实施例的成像像素中包括的透镜的示例的剖视图。即，图78是沿图77的B-B线的剖视图。
在图77和78中，斜线区域与斜线区域之间的白色区域包括具有不同透射率(不同折射率)的材料。通过以此方式改变透射率，基于上述定义的凹槽深度和凹槽之间的间隔，通过衍射现象来会聚光。
像素102可以包括作为透镜的衍射透镜124。注意，菲涅耳透镜是基于比波长足够大的加工高度差中的纯折射现象，并且衍射透镜和菲涅耳透镜在原理上完全不同。
图79是示出根据实施例的成像像素的示例的剖视图。例如，如上所述，像素102可以包括作为片上透镜(透镜104)的衍射透镜124。例如，如图79所示，衍射透镜124可以包括在树脂、无机膜等的表面上具有大约光的波长的深度的例如同心地围绕光轴的多个微细起伏形状。这种衍射透镜被称为波带片型(菲涅尔波带片)。衍射透镜124的形状不限于同心圆形状，例如可以是八角形、六角形、矩形等。
如上所述，衍射透镜可用作透镜104，但不限于此。将说明衍射透镜的几种使用方法。例如，如图79所示，可以针对每个像素102仅设置一个衍射透镜124。
图80是示出根据实施例的成像像素的示例的剖视图。如图80所示，可以设置衍射透镜126来代替内透镜118。衍射透镜126不具有台座(table)，但可以适当地包括具有透明性或高透射率的台座。
图81是示出根据实施例的成像像素的示例的剖视图。如图81所示，可以采用作为片上透镜的衍射透镜124以及内透镜118的两级构造。
注意，在图80和81中，透镜构造为两级透镜，但也可以采用包括两个以上的透镜的多级透镜构造。在多个透镜沿第三方向叠置的情况下，可以将多个透镜中的任意数量的透镜用作衍射透镜。
在波长为λ、衍射级为m、衍射光栅间隔为d并且入射侧材料和发射侧材料的折射率分别是n1和n2的情况下，衍射光栅在其中下面的关系表达式成立的区域中引起干扰。
[数学式4]
Figure GDA0004051243590000751
图82是说明衍射光栅的视图。在图82所示的简单狭缝结构中，透射光的强度分散在多个衍射点中。衍射光的发射方向基于上述式(4)来确定。例如，一级光的方向在式(4)中的θ1＝0和m＝1时获得的θ2的方向上发生衍射，并且产生衍射条纹。从等式(4)可以看出，产生条纹的方向根据波长而变化。
图83是示出衍射光栅的另一示例的视图。这种衍射光栅具有被称为闪耀(blazing)的锯齿形状。通过闪耀，可以提高某个特定波长的衍射效率。该特定波长λ可以使用闪耀角γ通过下式表示。这里，n是相对折射率。
[数学式5]
Figure GDA0004051243590000752
在闪耀中，可以将衍射光栅的起伏替换为锯齿形状，并且可以确定倾斜表面的角度，使得以目标衍射级衍射的波阵面在所有地方都平行。
由于使用干涉效应，衍射透镜124和126在焦距等对入射光的波长变化的响应性方面不同于折射透镜。像素102可以通过将衍射透镜与折射透镜光学系统组合使用该差异来校正色差。
相反，在像素102中，可以使用衍射透镜主动生成色差，并使用来自像素102中每个子像素106的输出进行光谱解析。
此外，各个像素102可以包括具有彼此不同特性的衍射透镜。例如，虽然成像装置中的折射型片上透镜通过连续的位置偏移来执行光瞳校正，但衍射透镜可以通过在像素102中分别包括具有不同形状的衍射透镜来自由地实现单独的聚光状态，而不管相邻像素的透镜状态。
如上所述，通过使用衍射透镜，可以形成具有与折射透镜的特性不同的特性的像素102。这些透镜可以组合使用，也可以针对每个像素组合透镜以具有不同的特性。通过适当地使用衍射透镜，可以接收具有与使用折射透镜的情况中的特性不同的特性的光。
注意，图79、80和81示出了没有设置滤光片112等、透镜隔离部120的示例，但本实施例不限于此。如上述实施例中所述，可以根据需要适当地设置滤光片112等、透镜隔离部120。
(第39实施例)
通过如上所述地以各种形式形成透镜104和内透镜118，可以实现具有各种特性的光接收。类似地，像素102也可以根据透镜的布置和类型进行光瞳校正。上述各实施例的像素102所包含的多个子像素106能够关于透镜104同时获取具有不同视差的信息，但通过追加用于偏移透镜104的位置的光瞳校正，能够偏移可接收光的角度范围。
例如，通过使片上透镜以与距芯片中心的距离成比例地向外偏移，扩展了子像素图像的视角，而相反地，通过使片上透镜向芯片中心偏移，可以获得增加子像素图像的分辨率的效果。此外，在光学系统9包括透镜的情况下，通过针对每个图像高度根据透镜的主光束进行光瞳校正，可以在整个视角有效地接收被摄体图像。
图84是根据实施例的成像像素的剖视图。作为根据本实施例的结构，例如，像素阵列100中的一些像素102具有该剖视图中所示的构造。像素102包括内透镜118，内透镜118的位置相对于透镜104在第一方向和第二方向中的至少一个方向上偏移。作为示例，内透镜118发生偏移，但像素102可以不包括内透镜118。在此情况下，可以通过使位于像素102的中心处的子像素106的位置从中心偏移来获得相似的效果。
例如，位于像素阵列100的端部处的像素102具有图84所示的大偏移，而位于像素阵列100的中心处的像素102具有小偏移或没有偏移。
图85是示出图84所示的像素102的光接收灵敏度的曲线图。可以看出，与图69的在没有光瞳校正的情况下的光接收灵敏度相比，从预定的倾斜方向入射的光的光接收灵敏度高。该曲线图示出了作为像素102的布置示例的其中在第二方向的视角端部处应用光瞳校正的状态，并且示出了各像素的倾斜入射特性。注意，该结构具有与图70相似的构造，并且光学路径被设计为使得金属膜316的最上部附近成为焦点。测量方法、分析方法等也与上述实施例相同，因此省略重复的详细说明。
例如，光瞳校正量可以根据距芯片中心的距离而改变并且朝向端部增加。此外，光瞳校正的偏移量可以随着距半导体基板300的表面的层厚度增加而增加。例如，在图84的情况下，可以按照透镜104＞滤光片112＝内透镜118＝遮光壁108A≥遮光壁108B≥(光电转换元件隔离部110中的)金属膜316的开口位置的顺序根据层厚的高度增加光瞳校正量。
关于光瞳校正量，当在遮光结构中产生间隙时，该间隙成为泄漏杂散光成分的路径，因此性能劣化。为了避免劣化，优选将遮光壁108A构造为在第一方向和第二方向的平面上具有与遮光壁108B重叠的部分(接触区域)。同样地，期望将遮光壁108B构造为在第一方向和第二方向的平面内具有与光电转换元件隔离部110的金属膜316重叠的区域。
此外，关于光瞳校正量，期望在考虑到遮光壁108A的最下部的线宽的差异、遮光壁108B的最上部的线宽的差异以及遮光壁108A和遮光壁108B之间的错位的变化的情况下增加设计数据中的遮光壁108A和遮光壁108B之间的重叠宽度，即所谓的重叠量。
从图85可以看出，如与没有光瞳校正的情况相比，以此方式设计的图84中的像素102的倾斜入射特性可以在每个峰值位置偏移大约10度之后保持几乎没有由串扰引起的浮动的状态。
光瞳校正也可以通过衍射透镜来实现。
(第40实施例)
图86是示意地示出根据实施例的成像元件10中包括的像素阵列100中的像素102的衍射透镜124的视图。假设每个格子代表像素102。如上所述，在设置在阵列中的像素102之中，像素102A是位于中心处的像素，并且像素102B和102C是位于附图中的第一方向上的中心处的但在第二方向上从圆周方向的中心偏移的位置处的像素。像素102D和102E是存在于在第一方向和第二方向上从圆周方向的中心偏移的位置处的像素。
图中示出了每个像素的衍射透镜124。例如，在用于位于中心处的像素102A的衍射透镜124A中，光栅的中心如图86所示地对准。
同时，用于像素102B的衍射透镜124B形成为具有多个光栅，其中光栅的中心向像素阵列100的中心偏移。通过以此方式设置光栅，例如，当平行光通过像素102B中的衍射透镜124B时，可以在像素阵列100的相对于像素102B的中心向内(图中向右)偏移的位置处形成来自被摄体的光的图像。
衍射透镜124C设置在像素102C中，相对于像素阵列100的中心，该像素102C相对于像素102B位于端部处。当平行光通过像素102C中的衍射透镜124C时，来自被摄体的光的图像形成在像素阵列100的相对于像素102C的中心向内(图中向右)偏移的位置处。然后，由于衍射透镜124B和衍射透镜124C之间的光栅偏移的差异，光进一步向像素阵列100的内部偏移并且会聚在像素102C中。
类似地，这同样适用于从第一方向上的中心偏移的情况。像素102D是布置在从像素阵列100的中心沿第一方向和第二方向两者偏移的位置(图中左上)的像素。像素102D例如包括衍射透镜124D。衍射透镜124D具有多个光栅，其中光栅的中心沿像素阵列100的中心方向(图中的右下)偏移。
像素102E是布置在沿第一方向和第二方向朝向与像素102D相同的方向上的端部进一步偏移的位置(图中的左上)的像素。像素102E例如包括衍射透镜124E。衍射透镜124E包括多个光栅，其中光栅的中心沿像素阵列的中心方向(图中的右下)偏移。然后，由于衍射透镜124D和衍射透镜124E之间的光栅偏移的差异，光进一步朝向像素阵列100的内部偏移并且会聚在像素102E中。
通过设置这种衍射透镜，例如，当平行光同样地通过像素102中的衍射透镜124时，可以在像素阵列100的相对于像素102的中心向内(图中的向右)偏移的位置处形成来自被摄体的光的图像。
注意，通过衍射透镜124之后的光学路径(即，出射角)可以根据光栅的偏移量来控制。因此，衍射透镜的设计可以实现与光瞳校正等效的光学路径设计。通过使用衍射透镜124，可以在不移动像素阵列100中每个像素102的透镜104的中心位置的情况下执行最佳的光瞳校正。
(第41实施例)
将说明在上述两个实施例中执行光瞳校正的像素102中的应用示例。
图87是示出根据实施例的成像元件10的像素阵列100的示例的视图。图87示出了衍射透镜124的光瞳校正的应用形式的示例。
图88是示意地示出图87的像素阵列100中的像素102的衍射透镜124的视图。
图89是示意地示出电子装置1的读取的视图，该电子装置1包括由图87所示的像素阵列100构成的成像元件10。
电子装置1具有对由同一传感器接收的信号进行指纹认证和静脉认证的功能。在该传感器中，例如，静脉认证像素和指纹认证像素以棋格图案(checkered pattern)混合。
在拍摄图像的情况下，将手指放在读取表面12上，要拍摄的指纹是手指表面的图案，并且要拍摄的静脉位于距手指表面约2mm的深度处。由于在拍摄时静脉离成像元件10更远，因此可以以微小的角度拍摄更宽的静脉视野。
这里，为了说明的简单，大致假设如下。例如，将从成像元件表面到读取表面12的距离设定为1mm，例如将成像元件表面与读取表面之间的诸如保护玻璃之类的部件的折射率设定为约1.5，并且将手指内侧的折射率也设定为约1.5。
在此情况下，当指纹和静脉被设计为以大致相同的视角被拍摄时，静脉认证的光瞳校正量是指纹像素的光瞳校正量的约1/3。即使在拍摄这种具有不同最佳角度的多个被摄体的情况下，衍射透镜124也可以被设计为针对每个被摄体执行最佳的光瞳校正。
例如，如图88的上部所示，用于指纹认证的像素102中所包含的衍射透镜以较大的偏移布置在中心和端部处，从而能够强有力地进行光瞳校正。相比之下，如下部所示，用于静脉认证的像素102中所包含的衍射透镜以比用于指纹认证的光瞳校正的衍射透镜更小的偏移布置在中心和端部处。如该图所示，可以在指纹认证和静脉认证之间改变所使用的衍射透镜124的光瞳校正强度。
如上所述，在同一像素阵列100中，具有不同光瞳校正强度的像素102可以通过衍射透镜124的光栅的布置而共存。当然，适当的滤光片112或114或等离子体滤光片116设置在用于每个验证的像素中。利用该构造，可以在像素102(子像素106)中实现已被执行根据用途的适当光瞳校正的适当波长的光的接收。
注意，如果试图通过一般的透镜偏移在光瞳校正中实现类似的事情，则相邻透镜之间的偏移量是不同的，因此会发生布局干扰。如果减小透镜的面积并确保布局的自由度，则可以避免这种干扰，但由于小透镜的聚光效率差，因此不能说这是一个理想的实施方式。因此，更期望使用本实施例所述的衍射透镜来达到光瞳校正的效果。
接下来，将通过一些实施例来说明光电转换元件隔离部110。
在本实施例中，将说明上述每个实施例的像素102和光电转换元件隔离部110的各种示例。在下文，使用表述“在像素102…的边界处”和“在光电转换元件隔离部110...中”。该表述并不表示所有的边界，并且可以是例如布置成U形的元件隔离部、如点线所示地划分的元件隔离部等，并且被描述为“像素102的边界的至少一部分”、“光电转换元件隔离部110的至少一部分”等的效果。
如上述实施例所述，在以下附图中，作为示例，设置滤光片112、不设置滤光片114等、内透镜118，并且透镜104为折射透镜，但可以组合具有上述各种构造。此外，可以适当地应用诸如光瞳校正的构造等其它构造。
(第42实施例)
图90是示出根据实施例的成像像素的示例的剖视图。示出了半导体基板300中的光电转换元件隔离部110的沟槽的示例。在此，使用了不贯穿半导体基板300的沟槽形状的图，但沟槽可以贯穿半导体基板300并同时避免对像素晶体管等的干扰，并且本实施例不限于此。
光电转换元件隔离部110形成在半导体基板300的沟槽中，并且形成为使得其顶部与子像素106的一部分重叠。
图91是示出根据实施例的光电转换元件隔离部110的示例的剖视图。更准确地，图91是图90中的虚线所示的区域R的放大图。将使用类似的组合给出以下说明。
光电转换元件隔离部110与图6所示的光电转换元件隔离部110的不同之处在于，在半导体基板300的沟槽中设置绝缘膜314和固定电荷膜312，并且金属膜316仅设置在半导体基板300的界面上方。
在本结构中，通过固定电荷膜312防止了电荷串扰，并且通过由沟槽侧壁部分的折射率差异导致的界面反射抑制了光学串扰。与将金属膜316嵌入沟槽中的情况相比，抑制光学串扰的效果减弱，但具有抑制金属膜316的暗电流和白点特性劣化的优点，并且金属膜316吸收的光有助于灵敏度。
(第43实施例)
图92是示出根据实施例的成像像素的示例的剖视图。在半导体基板300中未形成沟槽的状态下形成光电转换元件隔离部110。
图93是示出根据实施例的光电转换元件隔离部110的示例的剖视图。如上所述，在半导体基板300中没有形成沟槽，并且在半导体基板300的界面上方设置金属膜316。虽然与图6的示例相比，串扰抑制效果在光学和电学上受损，但是工艺数量少，并且在制造成本上有优势。
(第44实施例)
图94是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和用于隔离子像素106的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110的构造在半导体基板300的界面上方没有设置金属膜316，而是在像素102的边界处设置有金属膜。
图95是示出根据实施例的光电转换元件隔离部110的示例的剖视图。如上所述，金属膜316在像素102的边界处设置在半导体基板300的界面上方，而没有设置在像素102的边界以外的位置。与图92和93的示例相比，虽然光学串扰抑制效果和角度分辨率受损，但其优点在于消除了由金属膜316导致的渐晕并且提高了灵敏度。
(第45实施例)
图96是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和用于隔离子像素106的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110具有与图94和95的示例类似的构造，而像素102之间的光电转换元件隔离部110具有与图90和图91的示例类似的构造。
图97是示出根据实施例的光电转换元件隔离部110的示例的剖视图。在半导体基板300中形成沟槽，并且在像素102之间的光电转换元件隔离部110中在沟槽中设置绝缘膜314和固定电荷膜312。尽管与图94和95的示例相比工艺数量增加，但具有抑制像素102之间的光学串扰和电荷串扰的优点。
此外，与图90和91相比，位于像素102的边界以外的位置处的子像素106之间的光学和电荷串扰抑制效果和角分辨率较差，但灵敏度较高。例如，它适用于不太注重串扰抑制的情况，例如其中像素102设置有滤光片112并且没有针对每个子像素106设置滤光片的情况。
(第46实施例)
图98是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和隔离子像素106的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110具有与图96和图97的示例类似的构造，而像素102之间的光电转换元件隔离部110具有与图6和7的示例类似的构造。
图99是示出根据实施例的光电转换元件隔离部110的示例的剖视图。在像素102之间，除了绝缘膜314和固定电荷膜312之外，光电转换元件隔离部110还具有嵌入沟槽中的金属膜316。与图96和97的示例相比，设置在靠近像素102的边界的沟槽中的金属膜316导致相邻子像素106的暗电流和白点特性劣化，并且存在灵敏度劣化的担忧，但抑制了像素102之间的光学串扰。
(第47实施例)
图100是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和用于隔离子像素16的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110具有将绝缘体嵌入沟槽中的构造。像素102之间的光电转换元件隔离部110具有与图96和97的示例类似的构造。
图101是示出根据实施例的光电转换元件隔离部110的示例的剖视图。光电转换元件隔离部110在像素102之间的半导体基板300的界面上方设置有金属膜316。除了像素102之间之外，光电转换元件隔离部110不包括金属膜316。与图90和91的示例相比，光串扰抑制效果受损，但具有提高灵敏度的优点。例如，它适用于不太注重串扰抑制的情况，例如其中像素102设置有滤光片112并且没有针对每个子像素106设置滤光片的情况。
(第48实施例)
图102是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和用于隔离子像素16的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110具有与图100和101的示例类似的构造，但像素102之间的光电转换元件隔离部110具有与图6和7的示例类似的构造。
图103是示出根据实施例的光电转换元件隔离部110的示例的剖视图。在像素102之间，除了绝缘膜314和固定电荷膜312之外，金属膜316也嵌入光电转换元件隔离部110中。与图100和101的示例相比，存在对像素102之间的子像素106中存在暗电流、白点特性劣化和灵敏度降低的担忧，但像素102之间的光学串扰得到抑制。
(第49实施例)
图104是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和用于隔离子像素16的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110具有与图92和93的示例类似的构造，而像素102之间的光电转换元件隔离部110具有与图96和97的示例类似的构造。
图105是示出根据实施例的光电转换元件隔离部110的示例的剖视图。光电转换元件隔离部110在像素102之间的半导体基板300的界面上方设置有金属膜316。虽然光电转换元件隔离部110的灵敏度由于由金属膜316导致的渐晕而降低，但抑制了光学串扰并提高了角分辨率。
(第50实施例)
图106是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和用于隔离子像素16的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110具有与图92和图93的示例类似的构造，而像素102之间的光电转换元件隔离部110具有与图6和7的示例类似的构造。
图107是示出根据实施例的光电转换元件隔离部110示例的剖视图。在像素102之间，除了绝缘膜314和固定电荷膜312之外，金属膜316嵌入光电转换元件隔离部110中。与图104和105的示例相比，光电转换元件隔离部110具有对像素102的边界附近的子像素106中的暗电流、白点特性劣化和灵敏度降低的担忧，但抑制了像素102的边界部分中的光学串扰。
(第51实施例)
图108是示出根据实施例的成像像素的示例的剖视图。光电转换元件隔离部110由用于隔离像素102和用于隔离子像素16的不同构造形成。同一像素102中的子像素106之间的光电转换元件隔离部110具有与图90和91的示例类似的构造，而像素102之间的光电转换元件隔离部110具有与图6和7的示例类似的构造。
图109是示出根据实施例的光电转换元件隔离部110示例的剖视图。在像素102之间，除了绝缘膜314和固定电荷膜312之外，金属膜316嵌入光电转换元件隔离部110中。与图90和图91的示例相比，光电转换元件隔离部110具有对像素102的边界附近的子像素106中的暗电流、白点特性劣化和灵敏度降低的担忧，但抑制了像素102之间的光学串扰。
(第52实施例)
图110是示出根据实施例的成像像素的示例的剖视图。像素102包括滤光片114，并且像素102之间以及同一像素102中的子像素106之间的光电转换元件隔离部110可以等同于上述实施例中的那些光电转换元件隔离部。
图110所示的像素102的示例是在像素102所包含的子像素106具有滤光片114等的情况下的光电转换元件隔离部110的布置示例。例如，在包括相同滤光片114等的子像素106彼此相邻的情况下，不需相等地划分所有子像素106。例如，如图110所示，可以在子像素106之间不设置光电转换元件隔离部110。此外，类似地，像素102可以不包括在半导体基板300的界面上的作为光电转换元件隔离部110的金属膜316。
这是作为示例给出的，并且可以将上述实施例中的多个子像素106组合成一个子像素106。通过这种构造，可以抑制光电转换元件隔离部110的上部的渐晕的影响。
在下文，将说明每个子像素106的基于像素102中的光电转换元件隔离部110的形状和构造等的光接收特性。曲线图示出了图68所示的子像素106中的灵敏度。以下特性是在一些上述实施例中使用光电转换元件隔离部110的情况下的倾斜入射特性。
在以下情况中的金属膜316上方的部分具有与图70相同的构造，并且将光学路径设计成使得金属膜316的最上部附近成为焦点。由于仅光电转换元件隔离部110不同，并且测量方法、分析方法等与图69等相同，因此在此省略其说明。
图111是根据实施例的像素102的平面剖视图。这是使用注重灵敏度的图100中的像素102的光电转换元件隔离部110的示例。上部视图是从图100的C-C截面观察的视图，而下部视图是图100中的D-D剖视图。注意，与通常的剖视图不同，阴影不表示其材料，但例如对光透射率和电子透射率进行分类。例如，斜线部分中的光透射率低(接近0)，而其它部分中的光透射率高(例如，透明)。
在光电转换元件隔离部110中，绝缘膜314和固定电荷膜312嵌入半导体基板300中。绝缘膜314例如是氧化膜，并且半导体基板300的表面和光电转换元件隔离部110的表面大致平坦地形成。
图112是示出图111的情况下的灵敏度特性的曲线图。具有灵敏度的子像素106的位置与图69等中的位置相同。如图所示，特别地，中心处的3×3区域没有金属膜316，并因而获得良好的灵敏度特性。
图113是根据实施例的像素102的平面剖视图。这是使用注重抑制串扰的图6中的像素102的光电转换元件隔离部110的示例。上部视图是图6中的E-E剖视图，并且下部视图是图6中的F-F剖视图。阴影线与图111中的阴影线相似。
在光电转换元件隔离部110中，嵌入有绝缘膜314、固定电荷膜312和金属膜316。金属膜316具有从半导体基板300的表面突出并在子像素106的光接收元件上方稍微突出的形状。
图114是示出图113的情况下的灵敏度特性的曲线图。具有灵敏度的子像素106的位置与图69等中的位置相同。如图所示，与图112的示例相比，灵敏度本身降低，但显著改善串扰，并且子像素之间存在较小的旁瓣重叠。
图115是根据实施例的像素102的平面剖视图。除了像素102的边界处的金属膜之外的金属膜316被减薄。与图111等类似，上部视图和下部视图分别示出了像素102的层间膜306的区域中的平面剖视图以及半导体基板300中的剖视图。本形式是图111和113之间的形状，并且光电转换元件隔离部110从半导体基板300的表面突出，但没有覆盖子像素106的光接收元件的上侧。
图116是示出图115的情况下的灵敏度特性的曲线图。具有灵敏度的子像素106的位置与图69等中的位置相同。如图所示，通过将像素102的边界处的金属膜以外的金属膜316设计得较薄，可以兼顾灵敏度和串扰。
根据光电转换元件隔离部110的上述各种实施例，可以基于各种目的设计光电转换元件隔离部110。这种设计可以由诸如滤光片112和滤光片114等的布置、所需分辨率、角度分辨率、颜色分辨率以及串扰抑制量等各种因素来确定。如上所述，根据这些实施例，可以根据各种情况形成光电转换元件隔离部110。
(第53实施例)
上述几个实施例中说明的光电转换元件隔离部110是其中通过制造工艺在第三方向上从上侧形成半导体基板300的示例。相反，可以通过从布线层302侧形成沟槽来获得光电转换元件隔离部110。将说明从布线层302侧形成的一些光电转换元件隔离部110。
注意，示出了贯穿半导体基板300的沟槽形状的图，但可以采用不贯穿半导体基板直到照射表面的沟槽形状，并且实施例不受限制。
图117是示出根据实施例的成像像素的示例的剖视图。通过在从布线层302侧加工的半导体基板300的沟槽的内壁中嵌入绝缘膜314(例如氮化硅或氧氮化硅，或其多层膜)来形成光电转换元件隔离部110。
根据本实施例的光电转换元件隔离部110，能够抑制通过来自半导体基板300的由折射率差异引起的全反射导致的光串扰，并且能够通过绝缘膜抑制电荷混色。
(第54实施例)
图118是示出根据实施例的成像像素的示例的剖视图。通过在从布线层302侧加工的半导体基板300的沟槽的内壁上形成绝缘膜314的侧壁膜并将多晶硅320嵌入侧壁膜内，形成光电转换元件隔离部110。作为多晶硅320，例如，可以使用掺杂的多晶硅，或者可以在填充多晶硅之后掺杂n型杂质或p型杂质。
根据本实施例的光电转换元件隔离部110，通过对多晶硅320施加负偏置，能够提高侧壁的钉扎效应并能够提高暗时间特性。
(第55实施例)
图119是示出根据实施例的成像像素的示例的剖视图。通过在从布线层302侧加工的半导体基板300的沟槽的内壁上形成绝缘膜314的侧壁膜并将金属膜316嵌入侧壁膜内，形成光电转换元件隔离部110。
金属膜316例如可以是铝、银、金、铜、铂、钼、钨、铬、钛、镍、铁或碲等的金属膜、这些金属的复合物、或这些金属的合金。此外，这些材料可以形成为多层。
根据本实施例的光电转换元件隔离部110，通过对金属膜316施加负偏置，能够提高侧壁的钉扎效应并能够提高暗时间特性。此外，可以通过金属膜的反射和吸收等来抑制穿过光电转换元件隔离部110的路径的串扰。
(第56实施例)
固相扩散是形成含有杂质的膜并通过例如1000℃左右的热处理将杂质扩散到Si中的过程。在一般的成像元件中，光电二极管的PN结通过离子注入平面地形成，并且通过PN结电容改善Qs。同时，在通过基于固相扩散的工艺形成的半导体中，对Si基板进行沟槽加工，由于固相扩散而在具有陡峭轮廓的沟槽侧壁中增加电场，在侧壁中确保面积，并实现了Qs的显著改善。
由于热处理限制，固相扩散在形成布线层302之前受到限制。在固相扩散中，由于将侧壁用作电容，因此可以采用垂直晶体管324，该晶体管324沿半导体基板300的第三方向形成为到达执行光电转换的n型半导体区域。在该工艺中，垂直晶体管324可以例如通过布线304连接到电源。
根据固相扩散，在半导体基板300中形成高浓度p型半导体区域。在该过程中，在半导体基板300的布线层302侧形成作为半导体装置的晶体管等，存在n型半导体区域，并且在p型和n型之间产生强电场部分。作为对策，可以在布线层302侧的经受固相扩散的沟槽的表面附近形成不经受固相扩散的区域，例如直到约700nm。该区域形成在制造的半导体中，例如作为附图中的被表示为阱区域310的区域。
将说明使用固相扩散的光电转换元件隔离部110的一些变形例。
图120是示出根据实施例的光电转换元件隔离部110的示例的剖视图。半导体基板300具有沿第三方向具有不同宽度的阶梯沟槽形状。沟槽在半导体基板300的布线层302侧的宽度大于在透镜104侧的宽度。
在半导体基板300中，固相扩散杂质区域322设置在具有窄沟槽宽度的区域旁边，并且绝缘膜314(例如氧化硅、氮化硅等)嵌入沟槽中。多晶硅320可以作为填充物嵌入绝缘膜314的间隙中。
作为多晶硅，例如，可以使用掺杂的多晶硅，或者可以在填充多晶硅之后掺杂n型杂质或p型杂质。通过对其施加负偏压，可以增强沟槽侧壁的钉扎并改善暗时间特性。
(第57实施例)
图121是示出根据实施例的光电转换元件隔离部110的示例的剖视图。图121与图120的不同之处在于，在没有多晶硅320的情况下，仅将绝缘膜314嵌入沟槽中。相对于图120中包括氧化硅和多晶硅的沟槽横截面，根据菲涅耳系数的计算，通过采用这样的构造，可以增强侧壁界面的反射效果。
(第58实施例)
图122是示出根据实施例的光电转换元件隔离部110的示例的剖视图。金属膜316从照射表面(透镜104)侧嵌入在沟槽中。绝缘膜314可以设置在金属膜316的下方。此外，固定电荷膜312可以设置在绝缘膜314的下侧(布线层302侧)。然后，这些膜可以从照射表面侧形成。通过这种构造，与图120的示例相比，可以增强光学串扰抑制效果。
通常，通过来自沟槽侧壁的固相扩散形成的电位在侧壁部分累积电荷以增加Qs。因此，在相同厚度的半导体基板300中，在面积比方面，在小像素中效果高，而在大像素中效果降低。此外，随着基板厚度的增加，侧壁面积增加，并且可以预期通过固相扩散来提高Qs。在本实施例中，考虑到固相扩散的效果以及与固相扩散相关的制造成本，期望优选由(半导体基板300的厚度)÷(光电转换元件的一条边的长度)表示的纵横比至少为4以上。
(第59实施例)
在本实施例中，为了防止像素102的光反射，将说明在用于形成子像素106的半导体基板300上具有蛾眼结构的成像像素。
图123是示出根据实施例的成像像素的示例的剖视图。特别地，像素102的子像素106部分被放大。类似于在上述一些实施例中说明的结构，在本实施例中，子像素106可以包括例如光电转换元件隔离部110，光电转换元件隔离部110包括金属膜316、绝缘膜314和固定电荷膜312。子像素106可以设置在半导体基板300中，并且布线层302可以设置在半导体基板300的与照射表面相反的一侧。
注意，在附图中，蛾眼结构较大并且以有限的方式示出了不规则部的数量(周期数)，但本实施例不限于此。即，子像素106、光电转换元件隔离部110以及防反射层326的蛾眼结构等以容易理解的方式作为示例示出，其尺寸的比例和数量(周期数等)被适当地设计。
防反射层326设置在半导体基板300的位于透镜104侧的表面上。由于半导体基板300(例如硅基板)具有大约4的大折射率，因此界面处的由折射率差异引起的反射较大。例如，通过通过微细突起将半导体基板300的照射表面侧的表面形成为蛾眼结构，防反射层326相当于折射率的连续变化，并且能够抑制反射。即，通过设置具有这种蛾眼结构的防反射层326，能够提高成像像素装置的灵敏度。如图所示，可以在防反射层326的上表面上设置粘合层330，以增强与层间膜306的粘合。
另外，通过抑制照射表面侧的光的反射，能够在来自成像元件10的反射被电子装置的封装或部件再反射并再次入射到子像素106时产生的眩光现象。此外，由于通过周期性结构在防反射层326中发生衍射现象，因此在由于依赖于角度的干涉而彼此增强的高次分量中产生增加有效光学路径长度的效果。即，入射到子像素106的光在子像素106中被光电转换的概率增加，并且可以提高灵敏度。
光电转换元件隔离部110设置在子像素106之间，并且可以防止通过在防反射层326中以一定角度相互增强的高次分量混入相邻的子像素106中。即，抑制了子像素106之间的串扰，并且能够抑制成像装置的分辨率劣化。
在半导体基板300的布线层302侧(与照射表面相反的一侧的表面)设置有反射膜328。反射膜328例如包括金属膜。例如，该金属膜可以与布线层的布线同时加工。此外，反射膜328例如可以起到电路的一部分功能。本实施例不限于此，且反射膜328也可以与布线分开加工和设置。
注意，在反射膜328包括金属膜的情况下，如果在金属电浮动的状态下进行加工，则存在发生等离子体损坏的风险，因此期望在加工中通过接触部等将金属膜接地。
作为另一示例，反射膜328可以由交替堆叠有高折射率和低折射率的物质的多层膜形成。
反射膜328反射透过子像素106的光，并且使光从布线层302侧再次入射到子像素106。因此，通过设置反射膜328，可以提高入射到子像素106的光的利用效率。因此，通过设置反射膜328，可以提高成像元件10的灵敏度。
如上所述，如在本实施例中，可以针对子像素106设置具有蛾眼结构的防反射层326。通过设置防反射层326，可以抑制眩光并提高灵敏度。此外，通过设置光电转换元件隔离部110，可以抑制串扰并提高分辨率。此外，通过设置反射膜328，可以提高子像素106的灵敏度。
注意，反射膜328已经作为本实施例的示例进行了说明，但可以设置在其它实施例中。通过以此方式设置反射膜328，可以类似地提高其它实施例中的灵敏度。
注意，光电转换元件隔离部110不限于具有在本实施例中说明的结构，并且可以具有在一些上述实施例中说明的任何结构。
(第60实施例)
例如，如图6所示，遮光壁108在像素102之间设置有遮光性材料，使得不入射来自相邻像素的光(不发生串扰)。在第三方向上，遮光壁108设置在半导体基板300的照射表面和透镜104之间。下面将通过一些示例来说明遮光壁108的实施例。
图124是示出根据实施例的成像像素的示例的剖视图。图124示出了像素102中的遮光壁108的示例。像素102包括透镜104、内透镜118、子像素106、遮光壁108A和108B以及光电转换元件隔离部110。
例如，透镜104可以设置在中心从位于像素中心处的子像素106的中心偏移的位置处。
例如，内透镜118可以在第三方向上设置在透镜104和半导体基板300之间，并且内透镜118的中心位置可以设置在透镜104的偏移位置和像素的中心之间或者可以与它们中的一者重合。在根据实施例的用于执行光瞳校正的上述像素102中，可以以此方式布置透镜104和内透镜118。
注意，在实施光瞳校正的情况下，可以通过像素阵列100中的像素102的位置来调整偏移。在本实施例和以下实施例中，将假定偏移仅存在于第二方向上，但实施例不限于此，并且可以具有在第一方向或第二方向上的偏移，或者在第一方向和第二方向的组合的方向上。例如，可以通过偏移实现与图86所示的衍射透镜的效果类似的效果。
像素102中包括的遮光壁108可以包括构造为两级的遮光壁108A和108B，以抑制在每个路径中抑制来自相邻像素的串扰。在进行光瞳校正的情况下，透镜104和内透镜118布置为使得它们的中心偏移。
根据所述布置，遮光壁108B可以形成为相对于透镜104朝向像素的中心侧偏移，或者可以形成在与透镜104相同的位置处。根据所述布置，遮光壁108A可以与内透镜118在相同的方向上偏移相同的距离。
从遮光性能的观点来看，期望将遮光壁108A和108B设置为彼此尽可能紧密地接触。此外，期望考虑工艺差异，例如线宽和错位。因此，期望在由第一方向和第二方向形成的平面中确定重叠区域的大小，使得遮光壁108A和108B总是彼此接触。
在不能通过定义重叠区域的大小来设定充分的光瞳校正的偏移量的情况下，例如，可以通过使金属膜316具有与遮光壁108B接触的较大宽度来扩大遮光壁的偏移量的上限。此外，可以通过增加遮光壁108B的厚度本身来增加偏移量的可允许量。尽管金属膜316在光接收表面上的开口可能会变窄并且可能会牺牲灵敏度，但该方法具有以相同数量的工艺执行的优点。
(第61实施例)
图125是示出根据实施例的成像像素的示例的剖视图。图125示出了像素102中的遮光壁108的另一实施例。除了图124的构造之外，像素102还包括遮光膜128。
遮光膜128是在遮光壁108A与遮光壁108B之间产生间隙的情况下为填充间隙而形成的膜。如图125所示，例如，遮光膜128在第三方向上形成在内透镜118的下表面上或该下表面的下方。
与图124所示的遮光壁的重叠不同，遮光壁108A和遮光壁108B不必彼此重叠，并且本实施例也可以应用于以下情况：在遮光壁108A和遮光壁108B的布置中产生余量。也就是说，与图124的情况相比，可以产生更大的偏移。
可以抑制通过遮光壁108A和108B之间的间隙入射到像素102上的光，并且可以通过遮光膜128增加光瞳校正的偏移量。
(第62实施例)
图126是示出根据实施例的成像像素的示例的剖视图。图126示出了在内透镜118的下方包括遮光膜128的像素102。即，像素102包括在内透镜118和子像素106之间具有开口130的遮光膜128。
图127是示出根据实施例的成像像素的示例的平面剖视图。图127示出了遮光膜128和开口130之间的关系。斜线部分是存在遮光膜128的区域。通过遮光膜128在该区域内形成透光的开口130。
在上述实施例中，遮光膜128形成为填充遮光壁108A和遮光壁108B之间的空间。相反，在本实施例中，遮光膜128不仅形成在遮光壁108A和遮光壁108B之间，而且还突出到内透镜118的下侧。然后，遮光膜128形成开口130，该开口由于遮光壁108A和遮光壁108B而比透光区域窄。
通过设置开口130，除了抑制漏光到相邻像素之外，遮光膜128还可以获得抑制其自身像素中的杂散光(例如来自遮光壁108的反射等)的效果。在此情况下，期望遮光膜128的开口130布置成在每个子像素106上会聚的光学路径中不具有渐晕。由此，可以进一步提高像素的分辨率。
(第63实施例)
图128是示出根据实施例的成像像素的示例的剖视图。图128示出了包括位于内透镜118上方的遮光膜132的像素102。即，像素102在透镜104和内透镜118之间包括具有开口134的遮光膜132。
图129是示出根据实施例的成像像素的示例的平面剖视图。图129示出遮光膜132与开口134的关系。斜线部分是存在遮光膜132的区域。通过遮光膜132在该区域内形成透射光的开口134。
本实施例与上述实施例的不同之处在于，遮光膜132形成在内透镜118的上方。类似于上述遮光膜128，遮光膜132形成为例如突出到内透镜118的上方。然后，遮光膜132形成开口134，该开口由于遮光壁108A而比透光区域窄。
通过设置开口134，可以获得预先抑制其自身像素中的杂散光(例如在遮光壁108中产生的反射分量)的效果。在此情况下，期望遮光膜132的开口134布置成不会过度遮蔽在每个子像素106上会聚的光学路径(使得难以产生渐晕)。因此，可以进一步提高像素的分辨率。
(第64实施例)
图130是示出根据实施例的成像像素的示例的剖视图。图130示出了包括位于内透镜118上方和下方的遮光膜的像素102。像素102包括形成开口134的遮光膜132和形成开口130的遮光膜128。
图131是示出根据实施例的成像像素的示例的平面剖视图。图131示出遮光膜132与开口部134的关系以及遮光膜128与开口部130的关系。右上斜线表示遮光膜128的区域，并且左上斜线表示遮光膜132的区域。
注意，在图130和131中，遮光膜128和遮光膜132的边缘看起来在同一平面内重叠，但本实施例不限于这种形式。例如，遮光膜128可以比遮光膜132更向内突出，反之亦然。
在各个遮光膜中，期望遮光膜132的开口部134和遮光膜128的开口部130优选布置成不会过度遮蔽会聚在相应子像素106上的光学路径(使得渐晕不易出现)。遮光膜128和遮光膜132具有抑制自身像素中的杂散光(例如来自遮光壁108的反射等)的效果。此外，遮光膜128可以具有抑制到其它像素的泄漏的效果。通过以此方式将开口构造为多级，可以增强串扰抑制并以更高分辨率获得信息。
注意，图124、125、126、128和130中的遮光膜128和132可以例如是铝、银、金、铜、铂、钼、钨、铬、钛、镍、铁或碲等的金属膜、些金属的复合物或这些金属的合金。此外，这些材料可以形成多层膜，并且例如，钛、氮化钛等可以用作阻挡金属以提高粘附性。此外，代替金属，可以使用具有光吸收效果的材料，例如炭黑抗蚀剂等。
如上所述，遮光壁108也可以具有各种构造。另外，通过设置遮光膜，能够提高遮光壁108和内透镜118的位置自由度，并获得抑制杂散光的效果。通过以此方式形成像素102，可以抑制串扰并以更高分辨率获得图像信息。此外，通过设置遮光壁108和遮光膜128、132，例如能够抑制在诸如太阳光或前照灯之类的强光束进入成像元件10的情况下产生的眩光和鬼影。
注意，在图124、125、126、128和130中，设置了内透镜118，但本实施例不限于此。即使在没有设置内透镜118的情况下，也可以类似地设置遮光膜和由遮光膜形成的开口。即使在没有设置内透镜118的情况下，也可以通过遮光膜获得抑制串扰和杂散光并提高分辨率等的效果。另外，本实施例不限定级数，例如也可以采用三级以上的构造来代替两级构造。
此外，开口130和134的形状因遮光膜128、132的形状而是被切掉矩形角的八边形，但不限于此。例如，形状可以是矩形形状。此外，在子像素106具有六边形的情况下，开口130和134可以具有六边形或通过切除六边形的角而获得的十二边形。
(第65实施例)
在所有上述实施例中，除了光电转换元件之外，子像素106还可以包括存储区域和将累积在光电转换元件中的信号电荷传输到存储区域的传输晶体管。通过该构造，可以实现没有焦平面失真的全局快门操作。
图132是示出根据实施例的成像像素的示例的剖视图。注意，该图以比上述每个实施例的图更简单的方式示出，以便于理解其主旨。更具体地，图132是示出根据本实施例的子像素106的结构的图。
类似于上述一些实施例，子像素106可以通过例如包括固定电荷膜312、绝缘膜314和金属膜316的光电转换元件隔离部110来隔离。作为另一示例，光电转换元件隔离部110可以具有其它实施例中说明的结构，并且组合不受限制。
在本实施例中，子像素106包括光接收区域、存储区域332和晶体管334。
存储区域332设置成与光接收区域相邻。存储区域332由半导体层形成，该半导体层保持由在子像素106中接收的光产生的电荷直到存在请求。例如，存储区域332可以形成为被固定电荷膜312、绝缘膜314和金属膜316包围。例如，存储区域332可以形成为表面覆盖有透镜104侧的金属膜316、固定电荷膜312和绝缘膜314，并且来自透镜104的光不直接入射。
晶体管334在预定时刻将存储在子像素106中的电荷传送到存储区域332。更准确地，图132所示的晶体管34对应于将电荷从子像素106的光接收区域传输到存储区域332的晶体管的栅电极。通过向栅电极施加适当的电压，光接收区域和存储区域332电连接，并且光电转换的模拟信号被以降低到预定电位的电位输出到存储区域332。
例如，成像元件10执行光栅扫描，即，使多个光电转换元件扫描像素阵列100以获取光强度。在此情况下，当成像元件10通过针对每个像素102的扫描从电荷获取模拟信号时，获取模拟信号的时刻随着光电转换元件所在的位置而不同。因此，在早期执行扫描的光电转换元件和在后期执行扫描的光电转换元件之间出现焦平面失真，该失真基于在不同时刻获取的光的信息形成图像。
为了避免这种焦平面失真，在接收光的光电转换元件中，在预定时刻将存储区域332中的电荷设置为预定水平，并且然后在预定时刻通过晶体管334将存储在光电转换元件中的电荷传输到存储区域332。之后，通过扫描子像素106的存储区域332来获取模拟信号，可以避免焦平面失真。
如上所述，根据本实施例，通过设置存储区域332，可以抑制焦平面失真。在指纹传感器等中使用本实施例的情况下，可以通过针对焦平面失真通过全局快门驱动避免图像质量的劣化或者通过卷帘快门避免由手指在成像器件的移动导致的指纹形状模糊，并且提高了认证精度。
通过使用全局快门，即使在手指移动时也能够瞬间进行认证，并且例如在电子装置1中通过翻转操作来实现指纹等的认证。只要能够通过翻转操作进行认证，例如，成像元件10可以设置为在显示单元的第一方向或第二方向上是细长的。在此情况下，通过采用提示用户进行与布置的方位角大致垂直的翻转操作的说明，可以扩大认证区域并同时减少占用区域。期望将成像元件10可以接收光的长边方向上的长度设置为允许能够从显示视角的一端到另一端尽可能多地拍摄图像的长度，因为执行翻转操作的位置是不确定的。
注意，根据本发明的所有实施例不限于认证使用，并且例如可以用于非接触接近成像等。更具体地，实施例还可以应用于例如执行超微距特写拍摄、虹膜认证、最小条形码的读取、机器视觉设备的检查等的相机。此外，通过将实施例与光学镜头组合，它还可以用于一般的相机用途，例如数码相机和视频相机。
另外，作为具有动作捕捉功能的电子装置，可以将诸如手指之类的被摄体的动作视为包含后述的深度方向的光学图像，并且输入操作指令。这种操作指令随着功能的需求而变得复杂，但如果将常规操作做成通用语言，也可以成为一种新的与听力障碍者的交流方式。
通过将根据本实施例的全局快门驱动应用于这些应用，可以解决卷帘快门驱动中的各种图像质量问题，例如由于相机抖动或被摄体的移动而对图像失真和图像质量的影响，或者闪光被闪光灯反射成带状的现象(所谓的闪光带)。
(第66实施例)
根据本实施例的电子装置1包括在上述实施例中说明的成像元件10，并且具有主要针对作为被摄体的活体的手指的认证功能和防冒充功能。虽然以手指为例作为具体示例，但本实施例可以应用于诸如手掌之类的其它身体部位，并且不限于此。
[制造方法]
接下来，将针对根据在上述每个实施例中说明的半导体的一些结构来说明一些过程。注意，在过程的说明中，为了说明的缘故，强调了层和膜的尺寸。因此，各图中的比例是不准确的，并且需要适当地设计和形成。
首先，将说明制造成像元件10的一些整体方法(半导体工艺)。
(第67实施例)
首先，将参照图133至139说明制造图93所示的子像素106的方法。图133、134、135、136、137A(137B)、138A(138B)和139A(139B)是示出制造图93所示的子像素106的连续过程的视图。
在根据本实施例的用于制造成像装置的方法中，由p型半导体区域的元件隔离区域分隔的子像素106形成在其中要形成半导体基板(例如，硅)300的像素区域的区域中。子像素106形成为具有pn结，该pn结在半导体基板300的厚度方向上的整个区域上包括n型半导体区域和与n型半导体区域接触并且面向半导体基板300的前表面和后表面的p型半导体区域。
如图133所示，例如通过使用抗蚀剂350作为掩模从半导体基板300的前表面侧进行所期望的杂质的离子注入形成杂质区域(p型阱区域310)。在基板表面上的对应于每个像素的区域中，形成与元件隔离区域接触的p型半导体阱区域(阱区域310)，并在阱区域310中形成多个像素晶体管中的每一者。每个像素晶体管包括源极区域和漏极区域、栅极绝缘膜和栅电极。
另外，在基板表面上隔着未示出的层间绝缘膜(例如氧化硅膜)形成包含铝或铜等的布线层302。在形成在基板表面上的像素晶体管与布线层之间形成有贯通互连部，并且电连接以驱动成像元件。在布线上堆叠诸如氧化硅膜之类的层间绝缘膜，通过化学机械研磨(CMP)使层间绝缘膜平坦化以使布线层的表面成为大致平坦的表面，且在布线上反复进行布线的形成并同时通过贯通互连部连接到下层布线，并且依次形成各层布线。
接下来，如图134所示，将半导体基板300上下颠倒，并且通过等离子接合等与支撑基板352接合。之后，通过例如湿式蚀刻或干式蚀刻从后表面侧使基板变薄。
例如，如图135所示，通过CMP将基板减薄到期望的厚度。根据认定的波长区域，在仅检测可见光区域的情况下，期望基板的厚度在例如2至6μm的范围内，或者在也检测近红外区域的情况下，期望基板的厚度在例如3至15μm的范围内。在这个过程中，例如，阱区域310可以形成在像素的表面上。此外，作为另一示例，在图133所示的过程之前，可以重复光刻和离子注入以形成像素电位，并且如图135所示，可以在表面上形成阱区域310。这同样适用以下实施例。
接下来，在光电转换元件隔离部110中，可以通过所谓的博世工艺(Boschprocess)在半导体基板300中形成沟槽，在博世工艺中，例如针对抗蚀剂穿孔图案(resistpunching pattern)交替重复蚀刻和沉积，在抗蚀剂穿孔图案中，每个像素的边界部分或每个子像素的边界部分的一部分是开口的。在抗蚀剂的耐蚀刻性不充分的情况下，可以预先形成诸如氮化硅或氧化硅等之类的具有高选择比的硬掩模，并且转移抗蚀剂的凹槽图案，并通过通过硬掩模进行蚀刻。在沟槽处理之后，可以用化学溶液等去除硬掩模和异物。
接下来，如图136所示，形成固定电荷膜312和绝缘膜314。例如，通过使用气相生长(化学气相沉积，以下称为CVD)、溅射或原子层沉积(以下称为ALD)等在半导体基板300的光接收表面上或沟槽中形成膜来执行该形成。
期望确定子像素106正上方的固定电荷膜312的膜厚度以增加关于材料的折射率和消光系数具有认定的波长的光的透射率。对于与Si界面接触的膜，期望使用能够在原子层级获得良好覆盖的ALD。当将绝缘膜314(例如通过ALD形成的氧化硅)变薄时，容易发生被称为起泡的膜剥离，因此其厚度优选为至少20nm以上，优选为50nm以上。
此外，可以通过CVD、溅射或ALD等将金属膜316嵌入到沟槽部分中的绝缘膜314的间隙中来增强遮光性能。注意，当在金属电浮动的状态下进行处理时，存在发生等离子体损伤的风险。因此，如图137A和137B所示，期望在成像元件10外部的区域中转移具有例如几个μm宽度的抗蚀剂穿孔图案，通过各向异性蚀刻或湿式蚀刻形成凹槽以暴露半导体基板300的表面，并且然后如图138A和138B所示，通过将金属膜316接地到半导体基板300来形成膜。
在此，图137A和138A是形成为像素102的区域，并且图137B和138B是没有形成为像素102而是形成为黑基准像素的区域。这同样适用于图139A和139B。
例如，期望将金属膜316所接地到的半导体基板区域设定为接地电位，以作为p型半导体区域。可以堆叠多个金属膜316。例如，可以通过溅射沉积约30nm的钛或氮化钛以作为与绝缘膜314粘合的粘合层，并然后可以形成钨膜。
在金属膜316不仅构成光电转换元件隔离部110而且遮光以覆盖黑基准像素区域和外围电路区域的情况下，期望根据所需的遮光性能来设定膜厚度。根据电子装置的用途，例如要求-160dB以下的遮光性能的情况下，例如期望使用具有200nm以上的厚度的钨。
如图139A和139B所示，对于子像素106的区域以及焊盘部分和划线部分等，可以在金属膜316上形成抗蚀剂穿孔图案，并且可以通过各向异性蚀刻等部分去除金属膜316。
(第68实施例)
关于上述用于制造光电转换元件隔离部110的方法，将参考图133至139B说明不在半导体基板300中加工出沟槽的制造方法的示例。在此，将说明从照射表面在半导体基板中加工出沟槽的变形例和从与照射表面相反的一侧在半导体基板中加工出沟槽的变形例。在下文，省略与上述实施例重复的说明。
注意，在以下实施例中，在形成金属膜316的过程中未示出接地状态，但假定在每个步骤中适当地执行接地。此外，例如，可以通过代替接地的其它方式来防止每个元件的静电放电(ESD)等。
图140至图145示出了从照射表面在半导体基板300中加工沟槽并嵌入固定电荷膜312和绝缘膜314的制造方法的示例。例如，通过该过程形成的像素102具有图91示出的构造。
图140示出了上一实施例的图135之后的过程。在图135的过程之后，层叠硬掩模354，并且在硬掩模354上的要形成子像素106的区域上形成抗蚀剂350。即，形成抗蚀剂350以仅在沟槽的区域中蚀刻半导体基板300。
在图140的状态下，使用抗蚀剂350在沟槽的上部分中去除硬掩模354。例如，硬掩模354包括氮化硅或氧化硅。如图141所示，用抗蚀剂350的图案蚀刻硬掩模354以将抗蚀剂350的图案转移到硬掩模354。
接下来，如图142所示，形成沟槽。例如，通过博世工艺等蚀刻半导体基板300的未被硬掩模354覆盖的区域来形成沟槽。
接下来，如图143所示，用化学溶液去除硬掩模354。
接下来，如图144所示，形成固定电荷膜312和绝缘膜314。
接下来，如图145所示，隔着绝缘膜314和固定电荷膜312在沟槽上形成金属膜316。
(第69实施例)
图146至图149示出了从照射表面在半导体基板300中加工沟槽并嵌入固定电荷膜312、绝缘膜314、金属膜316的制造方法的示例。例如，通过该过程形成的像素10具有图7所示的构造。
图146示出了前一实施例的图143之后的过程。在图143的过程之后，形成固定电荷膜312和绝缘膜314。该形成例如通过CVD、ALD或溅射等来进行。在该过程中，也在沟槽中形成固定电荷膜312和绝缘膜314。与上述实施例不同，在执行氧化物膜等的形成时留有在后面的过程中形成金属膜316的余量，而不是用绝缘膜314填充沟槽的内部。
接下来，如图147所示，在绝缘膜314上形成金属膜316。在沟槽中也形成金属膜316。
接下来，如图148所示，在沟槽上形成抗蚀剂350。
然后，如图149所示，基于抗蚀剂350的图案去除金属膜316，并然后去除抗蚀剂350，使得金属膜316形成头部从半导体基板300突出的形状(变成锤头形状)。
通常，已知的是，当通过各向异性蚀刻使光电转换区域开口时，界面态会因为处理过程期间的等离子体的紫外光发射而劣化(例如，参见Y.Ichihashi等人的“”Journal forVacuum Science&Technology(真空科技技术杂志)”B28(2010)577-；T.Yunogami等人的“Japan Journal of Applied Physics(日本应用物理学杂志)”28(1989)2172-)。
在根据图140至145所示的先前实施例和图146至149所示的本实施例的用于制造光电转换元件隔离部110的方法中，将金属膜316制造得比在半导体基板300中形成的沟槽的加工宽度更宽。可以始终保护沟具有金属膜316的槽侧壁的界面在处理期间免受等离子体的紫外光发射，并抑制暗电流和白点特性的恶化。此外，还具有随着金属膜316的线宽增加也改善了串扰和角分辨率的优点。
(第70实施例)
图150至151示出了从照射表面在半导体基板300中加工沟槽并嵌入固定电荷膜312、绝缘膜314、金属膜316的制造方法的示例。例如，通过这种方法形成的像素102具有图115所示的构造。
图150示出了上一实施例的图147之后的过程。在图147的过程之后，类似于图148，在沟槽上形成抗蚀剂350。抗蚀剂350是具有比图148的情况更窄的宽度的抗蚀剂。例如，抗蚀剂350的尺寸可以使得具有与形成在沟槽中的金属膜316相同尺寸的金属膜316通过诸如后续过程中的蚀刻之类的处理保留在半导体基板300的上表面上。
然后，如图151所示，基于抗蚀剂350的图案去除金属膜316，并然后去除抗蚀剂350，使得金属膜316形成为突出到半导体基板300的上表面。
图151和152所示的用于制造光电转换元件隔离部110的方法与前述实施例的方法的不同之处在于金属膜316形成得比沟槽的加工宽度窄。由于沟槽侧壁界面暴露于图152的处理期间的等离子体的紫外光而存在暗电流和白点特性恶化的担忧，但具有抑制由金属膜316导致的渐晕以及高灵敏度的优点。
注意，例如，通过在金属膜316和半导体基板300之间设置吸收紫外光的膜，可以消除蚀刻处理期间的界面损伤。例如，作为固定电荷膜312的材料之一提及的Ta2O5(五氧化二钽)具有0.000的实际测量消光系数k，并且在250nm的波长处k＝0.775。
图152示出了透射率计算结果。通过将Ta2O5形成为具有至少15nm以上、优选60nm以上的厚度的膜，可以抑制暗电流和白点劣化而几乎不劣化可见光灵敏度。这里所说的Ta2O5只是示例，可以考虑各种抑制紫外线而透过可见光的材料的组合以及膜厚的设定。
(第71实施例)
图153A、153B、153C、154A、154B和154C示出了从照射表面在半导体基板300中加工出沟槽并嵌入固定电荷膜312、绝缘膜314和金属膜316的制造方法的示例。例如，通过该过程形成的像素102具有图113所示的构造。
图153A和154A是示出接收光的像素102的视图，图153B和154B是示出黑基准像素区域中的像素102的视图，并且图153C和154C是示出像素区域外部的接地区域的视图。
图153A、153B和153C示出了对应于图147的过程。在图153A中，在接收光的像素102中，与图147类似地形成金属膜316，并且在下一个过程之前不进行任何处理。
在黑基准像素区域中，如图153B所示，抗蚀剂350在整个表面上形成在金属膜316上。
在像素区域外的接地区域中，如图153C所示，抗蚀剂350如图153B所示地在整个表面上形成在金属膜316上。例如，该过程是类似于图138A的状态形成的过程。
接下来，如图154A所示，通过蚀刻或研磨等去除金属膜316。如图154A所示，在像素102的区域中的子像素106的光接收区域中的绝缘膜314上没有设置金属膜316。同时，金属膜316嵌入光电转换元件隔离部110中，使得金属膜316与周围的绝缘膜314基本齐平。
在黑基准区域中，如图154B所示，在去除金属膜316的过程之后去除抗蚀剂350。因此，不同于像素102的区域，没有去除金属膜316并且表面被金属膜316覆盖。
在像素区域外部的接地区域中，如图154C所示，执行过程使得金属膜316如图154B所示地保留在整个表面上。
本实施例所示的用于制造光电转换元件隔离部110的方法与图150和151中的方法的不同之处在于，位于光电转换元件隔离部110中的氧化膜(绝缘膜314)的表面上方的金属膜316被去除。例如，图154A、154B和154C中的金属膜的去除仅需要通过对抗蚀剂掩模应用各向异性蚀刻并执行化学清洗来执行。与前述实施例的过程流程相比，具有可以进一步抑制金属膜316的渐晕的优点。对于处理期间的界面损伤，前一实施例中说明的对策是有效的。
(第72实施例)
图155至图160示出了从照射表面在半导体基板300中加工出沟槽并嵌入固定电荷膜312、绝缘膜314、金属膜316的制造方法的示例。例如，由该过程形成的像素102具有图109所示的构造。
图155示出了图135之后的过程。在图135的过程之后，在半导体基板300上形成硬掩模354和抗蚀剂350。抗蚀剂350具有如下图案，该图案中的要转移的宽度根据位置而改变。注意，类似于要转移的图案，要形成在半导体基板300中的阱区域310可以通过在直到图135的过程中改变其宽度来形成。
接下来，如图156所示，将抗蚀剂350的图案转移到硬掩模354。基于抗蚀剂350的图案的宽度，转移到硬掩模354的图案的宽度也不同。.
接下来，如图157所示，在半导体基板300中形成沟槽。在该过程中可以一起去除抗蚀剂350。由于抗蚀图案的宽度不同，在该过程中形成具有不同宽度的沟槽。
接下来，如图158所示，去除硬掩模354。
接下来，如图159所示，形成固定电荷膜312和绝缘膜314。例如通过CVD、ALD或溅射等形成固定电荷膜312和绝缘膜314。在该过程中，具有窄宽度的光电转换元件隔离部110的沟槽由于沟槽宽度的尺寸差异而首先被封闭。如图159所示，在封闭宽度窄的光电转换元件隔离部110的同时，在具有宽宽度的光电转换元件隔离部110中残留有狭缝状的开口。
接下来，如图160所示，通过CVD、ALD或溅射形成金属膜316，并且必要时，使用抗蚀剂350的图案等从光电转换元件隔离部110以外的区域中去除形成的金属膜316。金属膜316形成在具有宽宽度的沟槽中，在整个过程中在该沟槽中保留有空间。同时，在窄沟槽中，由于沟槽被绝缘膜314封闭，因此没有形成金属膜。
本实施例所示的用于制造光电转换元件隔离部110的方法与上述实施例的不同点在于，形成未嵌入金属膜316的光电转换元件隔离部110和嵌入金属膜316的光电转换元件隔离部110。
如同在上述实施例中，可以从半导体基板300的照射表面侧形成光电转换元件隔离部110。此外，光电转换元件隔离部110已在图90至100等中作为各种实施例进行了说明，但可以通过组合地应用上述步骤来制造。
(第73实施例)
同时，还可以从与照射表面相反的一侧形成光电转换元件隔离部110。在本实施例中，将说明对于一些上述实施例从后表面形成光电转换元件隔离部110的情况。
在本实施例中，将说明从与照射表面相反的布线层侧在半导体基板300中加工出沟槽的示例。
图161至169是示意地示出根据实施例的用于制造像素102的光电转换元件隔离部110的过程的示例的视图。
首先，如图161所示，在半导体的布线层302侧形成其中像素102的边界部分或子像素106的边界部分的至少一部分开口的抗蚀剂350的图案。然后，基于抗蚀剂350的图案，通过掺杂杂质形成阱区域310。在形成阱区域310之后，可以一次去除抗蚀剂350。
接下来，如图162所示，形成具有比阱区域310窄的穿孔图案的抗蚀剂350。在前一过程中已经去除抗蚀剂350的情况下，新形成抗蚀剂350。此外，可以形成新的抗蚀剂350以形成更薄的沟槽图案，而没有在前一过程中去除抗蚀剂350。
接下来，如图163所示，例如通过交替重复蚀刻和沉积的博世工艺等形成沟槽。在抗蚀剂350的抗蚀刻性不足的情况下，可以预先形成具有高选择比的硬掩模(例如氮化硅或氧化硅)，并转移抗蚀剂350的沟槽图案，并且可以通过硬掩模进行蚀刻。在形成沟槽之后，去除抗蚀剂350。此时，可以用化学溶液等去除硬掩模或异物。
接下来，如图164所示，可以形成绝缘膜314(例如氧化硅或氮化硅)，并将其嵌入到沟槽中。注意，绝缘膜314可以形成为允许多晶硅320嵌入绝缘膜314和阱区域310之间的间隙中或者金属膜316嵌入绝缘膜314内部的沟槽中。
接下来，如图165所示，在依次形成像素晶体管和布线层302等之后，将半导体基板300上下翻转，并通过等离子接合等与支撑基板352接合。在以下附图中，省略了布线层302和支撑基板352的图示。
接下来，如图166所示，通过湿式蚀刻或干式蚀刻从后表面侧对半导体基板300进行减薄，并通过CMP将其减薄至期望厚度。在CMP中，期望从抑制串扰的观点出发，研磨绝缘膜314，直至照射表面侧的尖端露出。
随后的过程与其它实施例中说明的制造方法的过程类似。即，如图167所示，形成固定电荷膜312和绝缘膜314，并且接下来，如图168所示，形成金属膜316。图167和168示出了作为示例的过程，并且图166之后的过程不限于此。即，固定电荷膜312、绝缘膜314和金属膜316可以按照上述实施例适当地形成为任意形状。
(第74实施例)
在本发明的成像元件10中，在一个透镜中设置多个分别包含光电转换元件的子像素106，并且各子像素的视差不同。由于使用大的透镜捕捉光，因此灵敏度在面积方面很高。同时，由于通过划分为子像素106而减小了面积，所以减小了饱和电荷(Qs)。
即，失去灵敏度和Qs之间的平衡，并且在具有强度对比度的被摄体中容易发生诸如饱和像素的产生或噪声增加之类的图像质量劣化。
该原理问题的影响可以通过减少子像素106的划分数量来减少。同时，当子像素106的划分数量减少时，获得的视差差异减少。
因此，在本实施例中，对使用固相扩散的方法进行说明。通过固相扩散进行的过程可以在本发明的像素102中实现Qs扩展，并减轻灵敏度和Qs之间的折衷。此外，用于固相扩散的沟槽可以在光学方面和电荷混色方面抑制子像素106之间的串扰和/或像素102之间的串扰。此外，可以抑制从饱和像素到周边像素的光晕。
通过本实施例的过程，如图120、121和122所示，例如可以采用固相扩散形成子像素106。
图169至图178是用于说明根据本实施例的用于制造光电转换元件隔离部110的周边的制造方法的视图。
首先，如图169所示，预先形成宽且浅的沟槽，以在半导体基板300的布线层302侧的表面附近不发生固相扩散。对于沟槽的形成，例如，使用抗蚀剂。首先，硬掩模354在整个表面上包括氮化硅或氧化硅。除了在半导体基板300上形成沟槽的位置之外，用抗蚀剂覆盖硬掩模354。接下来，通过蚀刻将图案转移到硬掩模354。然后，通过例如上述博世工艺等蚀刻未被硬掩模354覆盖的部分以形成沟槽。通过去除用于形成沟槽的抗蚀剂，获得图169的状态。
接下来，如图170所示，绝缘膜314包括例如氧化硅或氮化硅。随后，平坦化形成的绝缘膜314。然后，可以在用于固相扩散的深沟槽部分中形成抗蚀剂350并通过蚀刻将其转移到绝缘膜314。在该过程中，例如，形成抗蚀剂350，使得要转移的宽度变得比前一过程中的宽度窄，以便形成比前一步骤中形成的沟槽更窄的沟槽。
接下来，如图171所示，使用绝缘膜314作为硬掩模，通过博世工艺等进行蚀刻直到期望的深度。通过使第二沟槽加工的宽度比第一沟槽加工的宽度窄，绝缘膜314保留在侧壁部分上，并且可以在布线层302侧的半导体基板300的表面附近防止固相扩散。
接下来，如图172所示，将含有作为p型杂质的硼(B)的氧化硅(含杂质膜356)沉积在开口沟槽内。在此，使用硼作为示例，但也可以形成含有其它适当杂质的氧化膜。
接下来，如图173所示，施加热处理，例如施加1000度左右的热量。通过该热处理，杂质固相扩散以形成在沟槽形状中自对准的p型半导体区(阱区域310)。
接下来，如图174所示，去除形成在沟槽内壁上的含有杂质的氧化硅(含杂质膜356)。例如，使用稀氢氟酸等去除含杂质膜356。
接下来，如图175所示，在开口槽的内壁上形成绝缘膜314。通过形成例如氧化硅或氮化硅的膜来形成绝缘膜314。随后，用多晶硅320填充绝缘膜314的间隙。
接下来，如图176所示，在整个表面上进行回蚀。通过回蚀过程去除形成在平坦表面上的多晶硅320。例如，如图176所示，多晶硅320以凹入沟槽中的绝缘膜314的间隙中的形状存在。
接下来，如图177所示，在凹入的多晶硅320上形成氧化硅。通过例如高密度等离子体(HDP)CVD形成氧化硅。之后，通过CMP等进行平坦化。此外，用热磷酸等去除氮化膜。
然后，获得如图178所示的半导体基板300和光电转换元件隔离部110的形状。
此后，根据需要适当地形成垂直晶体管324和布线层302等(未示出)。然后，将半导体基板300上下翻转(即，将图178的状态垂直翻转)，并通过等离子接合等与支撑基板接合。
通过例如湿式蚀刻或干式蚀刻从后表面侧减薄半导体基板300，并然后通过例如CMP减薄直到在沟槽端部处露出绝缘膜314和多晶硅320。此后，例如，可以应用类似于图136和随后的附图中的制造方法的制造方法。
(第75实施例)
同时，可以通过另一实施例的制造方法获得图122的结构。
在图178之后，将半导体基板减薄，直到在沟槽尖端处露出绝缘膜314和多晶硅320。例如，形成氧化硅膜作为硬掩模，并且通过光刻和蚀刻仅选择性地去除多晶硅320的上部。
之后，例如，将多晶硅320溶解在诸如氢氧化铵(NH4OH)之类的化学溶液中。
接下来，用稀氢氟酸等溶解硬掩模和绝缘膜314。
从照射表面侧挖出沟槽的状态对应于图143。因此，图144至160所示的制造方法等可以应用于后续过程。
作为又一实施例，图121的结构可以通过采用在图175中不嵌入多晶硅320并由绝缘膜314封闭的制造方法来形成。
注意，在上述一些实施例(例如，图133至168)中说明的制造方法中，黑基准像素区域和/或外围电路区域(未示出)可以在用于从与金属膜316的照射表面相反的一侧在半导体基板中加工沟槽的蚀刻中用抗蚀剂保护。
此外，在任何过程流程中，期望在像素102的边界部分处的遮光壁108的正下方设置金属膜316作为蚀刻停止层。此外，期望确定像素102的边界处的金属膜316的线宽，使得遮光壁108与金属膜316之间的诸如线宽或错位之类的过程差异不会引起失足(misstep)。
在像素102的边界以外的位置处的子像素106之间设置金属膜316的情况下，不需要考虑遮光壁108的失足，并因此可以在考虑到光学特性的情况下单独地单独形成形状。在重视灵敏度的情况下，在位于像素102的边界以外的位置的子像素106之间形成侧的金属膜316的尺寸应小于在像素102的边界形成的金属膜316的尺寸。
(第76实施例)
接下来，将说明在构成上述每个实施例中说明的光接收元件的区域上制造每个构造元件的过程。
首先，将说明形成隔离像素102的遮光壁108和层间膜306等的过程。接下来，将说明形成透镜104的示例的过程。注意，与上述一些实施例类似，布线层302和支撑基板352等的图示是为了便于理解要说明的过程中的产品而省略的，但假定它们适当地设置。
图179至186示出了在金属膜316的处理之后制造上层的方法的示例。
图179是示出已经应用直到上述实施例的过程以及直到已经形成光电转换元件隔离部110的过程的状态的示例的视图。尽管将说明图6和图7所示的像素102的状态，但当然可以使用具有在上述每个实施例中说明的形状等的像素102的状态。例如，使用在一些上述实施例中说明的任何过程形成光电转换元件隔离部110。
首先，如图180所示，在金属膜316上形成透明的层间膜306。对于层间膜306，例如，沉积氧化硅，使用诸如ALD或CVD之类的方法设计的的聚光状态的高度。作为另一示例，可以将层间膜306形成为高于聚光状态的设计高度。
接下来，如图181所示，以期望的高度形成层间膜306，并同时通过CMP等使表面平坦化。注意，当前一过程中不需要高度时，此过程不是必要过程。
在形成层间膜306的过程中，在金属膜316存在高度差以至于难以进行平坦化的情况下，可以形成其中金属膜316的剩余部分开口的抗蚀剂图案，并且可以通过各向异性蚀刻进行反向处理(inversion processing)，以减少高度差。
接下来，如图182所示，在层间膜306上的像素102的边界的至少一部分上形成抗蚀剂穿孔图案。该过程例如可以通过形成抗蚀剂以形成沟槽并进行蚀刻来进行。
接下来，如图183所示，通过各向异性蚀刻进行凹槽加工，并且可以通过CVD、溅射或ALD等嵌入作为遮光壁108的材料的金属膜，例如包含铝、银、金、铜、铂、钼、钨、铬、钛、镍、铁和碲等中的至少一者的金属膜、这些金属的复合物或它们的合金。
此外，这些材料可以形成为多层。钛、氮化钛或其堆叠膜可以通过例如约10nm的CVD形成在氧化膜上以形成粘合层，并且然后可以通过CVD或溅射嵌入钨。由于在金属电浮置的状态下进行处理时可能会发生等离子损伤，因此期望将遮光壁108连接到金属膜316，并且连接的形状提高了遮光壁108的遮光效果。
接下来，如图184所示，去除在将金属膜嵌入凹槽部分中时形成的表面上的平面金属膜。通过例如CMP或各向异性蚀刻去除金属膜。通过该去除过程，形成用于使光透过子像素106的开口。此外，例如，如图125至130所示，在遮光壁108具有多级构造的情况下，遮光壁108可以在第三方向上多级地划分。
在不形成遮光壁108的情况下，例如，在处理金属膜316之后，可以将含有苯乙烯类树脂、丙烯酸树脂、苯乙烯-丙烯酸共聚物类树脂、硅氧烷类树脂等中的至少一者的有机材料用作层间膜306。例如，可以将这些材料旋涂成所期望的层厚。此外，在由于这些有机材料与金属膜316接触而可能发生材料变质的情况下，可以形成透明的无机膜(例如氧化硅膜)，并然后可以涂覆有机膜，以作为用于可靠性的措施。
接下来，如图185所示，将层间膜306形成为具有期望的厚度，并然后进行平坦化。注意，该过程可以如下所述地根据需要执行，并且取决于要形成的像素102，这不是必要的处理。
接下来，如图186所示，形成滤光片112。注意，在不需要滤光片的情况下，例如，可以继续前一过程中的层间膜306的形成，直到厚度变得合适为止。对于根据同一像素阵列100中存在的像素102而根据相应滤光片112的存在或不存在，这个过程可以是不同的过程。
作为滤光片112，例如，可以将感光剂和具有颜料或染料的抗蚀剂旋涂到晶片上，并且可以进行曝光、显影和后烘烤。此外，在染料抗蚀剂的情况下，可以进行UV固化或额外烘烤。
也可以在滤光片112的下方设置兼作平坦化部的粘合层308。作为粘合层308，例如，可以旋涂具有调节粘度的透明有机材料，更具体地，可以旋涂丙烯酸树脂或环氧树脂。粘合层308还可以在剥离和再生过程中利用湿化学溶液作为剥离层发挥作用，以防止后续过程中的图案化失败或装置故障。
此外，如图185所示，在粘合层308可能因与下层金属接触而变质的情况下，可以在粘合层308下方形成透明无机膜(例如氧化硅膜)，以保护粘合层。
上述过程可以是形成透镜104的预处理。
(第77实施例)
作为制造透镜104的方法的示例，将参照图187至189说明使用回蚀处理的情况。
如图187所示，在参照图186说明的过程后，在滤光片112上形成作为透镜104的材料的透镜材料336。例如，在未形成滤光片112的情况下，该透镜可以形成在粘合层308或层间膜306上。
透镜104的材料例如是诸如苯乙烯类树脂、丙烯酸类树脂、苯乙烯-丙烯酸共聚物类树脂或硅氧烷类树脂之类的有机材料。如图187所示，可以旋涂包括这些材料中的任何一种的透镜材料336。作为另一示例，透镜材料336可以如图187所示地通过CVD等形成诸如氮化硅或氧氮化硅之类的无机材料的膜来形成。
接下来，如图188所示，在透镜材料336上涂敷抗蚀剂350。根据通过回蚀形成的透镜104的形状形成抗蚀剂350。
例如，抗蚀剂350可以通过在以适当形状涂覆光敏抗蚀剂之后进行曝光和显影而形成具有图5中的像素102的周期。之后，进行加热以形成透镜形状，加热温度等于或高于抗蚀剂350的软化点。
接下来，如图189所示，使用抗蚀剂350作为掩模进行各向异性蚀刻。通过这个过程，抗蚀剂350的形状可以转移到透镜材料336上。
回蚀处理不仅可以通过蚀刻而且可以通过沉积来使透镜104的边界处的间隙变窄。通过使间隙变窄，可以减少透镜无效区域并提高灵敏度。此外，考虑到所谓的4/nλ定律，可以在透镜104的表面上形成具有不同折射率的材料(例如氧化硅等)，以提供防反射膜。作为具体示例，在将具有1.47的折射率的氧化硅用作具有1.58的折射率的苯乙烯-丙烯酸共聚物树脂的透镜材料的可见光区域的防反射膜的情况下，氧化硅的厚度有利地为70至140nm，优选地为90至120nm。
(第78实施例)
接下来，将说明在上述一些实施例中说明的制造芯片上透镜的其它方法。
在本实施例中，将参照图190至192说明制造回流透镜的过程。
这些视图示出了制造方法的示例，该制造方法包括作为平面基底上的透镜104的回流透镜。
图190是在前一实施例中形成滤光片112之后的视图。
在这种状态下，如图191所示，在滤光片112上形成透镜材料336。在这种形状下，例如，在曝光+显影之后，通过光照射的漂白处理分解感光剂以增加透射率。然后，例如，通过大约150至200度的逐步回流处理形成透镜形状。
通过该过程，形成如图192所示的透镜104的形状。最后，可以通过热交联反应来固化透镜104。
由于回流透镜材料和氧化硅的粘附性差，因此可以在回流透镜材料下方设置粘合层308作为其对策。由于可以通过与金属接触使粘合层308变质，因此可以在粘合层308下方设置透明无机膜，例如氧化硅。
在图51至图55中，示出了实际的SEM照片和AFM图像，但与通过回蚀刻来生成透镜104的方法相比，回流透镜具有更宽的间隙，并且形状再现性发生变化。因此，下面将通过一些示例来说明用于提高形状再现性的实施例。
(第79实施例)
图193至199示出了形成回流透镜和包括金属膜的堤状回流阻挡部的制造方法的示例。
图193是已经执行图183之前的处理的视图。在图193的遮光壁108中嵌入金属膜的过程中，使用遮光壁108的一部分形成透镜104间的堤形状。
如图194所示，在与光接收面平行的平面上形成的金属膜(遮光壁108)上形成抗蚀剂350。抗蚀剂350沿第一方向和第二方向形成在遮光壁108上。
接下来，如图195所示，使用抗蚀剂350进行蚀刻。通过该过程，仅在像素102的边界处留下作为遮光壁108的金属膜，并形成堤状高度差。可以通过使用像素102之间的堤状高度差作为回流工艺中透镜材料的阻挡部来形成回流透镜。
即，在图195中的过程之后，可以通过与图190至192中的过程相同的过程形成回流透镜，以作为透镜104。
作为另一示例，如图196所示，在诸如金属膜与回流透镜材料的界面处的变质之类的可靠性问题的情况下，也可以通过CVD或ALD等保形地形成透明绝缘膜(例如，氧化硅等)。
此外，如图197所示，在粘合性较差的情况下，可以用具有低粘度和良好粘合性的透明材料(例如丙烯酸树脂或环氧树脂)旋涂粘合层308，以留下高度差。
堤部分可以通过直接处理在将金属嵌入遮光壁108的凹槽中时产生的平面金属膜来形成。这种处理可以将金属膜形成过程集成为一体并减少过程。当然，用于产生堤部分的金属膜可以与遮光壁108的金属膜不同，即可以与遮光壁108分开形成，并且金属膜不限于此。
接下来，如图198所示，形成作为回流透镜的材料的透镜材料336。
如图199所示，在形成透镜材料336之后，通过回流工艺形成透镜104。
(第80实施例)
图200至204示出了用于形成回流透镜和包括金属膜的堤状回流阻挡部的另一制造方法。
首先，与上述实施例类似地应用图200所示的处理之前的处理。接下来，在将金属膜嵌入遮光壁108的过程中，通过CMP研磨并去除形成在与光接收面平行的平面上的金属膜。
接下来，如图201所示，例如，通过使用氢氟酸的湿式蚀刻，使包含氧化硅等的层间膜306低于遮光壁的金属。
之后，如图202所示，形成层间膜306。
随后，如图203所示，形成粘合层308。
接下来，如图204所示，形成透镜材料336。
然后，如图205所示，通过回流工艺形成透镜104。
该制造方法的优点在于可以通过自对准在遮光壁108上形成回流透镜。
(第81实施例)
图206至212示出了形成回流透镜和包括透明材料的堤状回流阻挡部的制造方法的示例。
首先，与上述实施例类似地应用图206所示的处理之前的处理。即，进行图184之前的遮光壁108的形成过程。
接下来，在图206中去除平面金属膜之后，如图207所示，再次形成透明膜(例如氧化硅膜)，作为层间膜306。
接下来，如图208所示，形成抗蚀剂350。例如，抗蚀剂350形成为掩蔽能够维持遮光壁108被蚀刻过程覆盖的状态的区域。
接下来，如图209所示，使用抗蚀剂350对掩模进行蚀刻，以形成堤状高度差，同时仅在像素102的边界处留下氧化硅。也可以使用像素102之间堤状高度差形成透镜形状，作为回流阻挡部。在蚀刻之后，适当地去除抗蚀剂350。
接下来，如图210所示，在回流透镜材料与氧化硅之间的粘合性差的情况下，形成粘合层308。粘合层308例如包括具有调节粘度和良好粘着性的透明材料，例如丙烯酸树脂或环氧树脂。例如，通过薄薄地旋涂树脂等来形成粘合层308，以留下高度差。
接下来，如图211所示，在由层间膜306或粘合层308形成的阻挡部之间形成透镜材料336。
接下来，如图212所示，可以通过回流处理由透镜材料336形成回流透镜，作为透镜104。
(第82实施例)
图213至216示出了形成回流透镜和包括光敏有机遮光材料(例如炭黑抗蚀剂)的堤状回流阻挡部的制造方法的示例。
炭黑材料例如是包括炭黑分散体、丙烯酸单体、丙烯酸低聚物、树脂和光聚合引发剂等的光致抗蚀剂组合物。
首先，与上述实施例类似地应用图213所示的处理之前的处理。即，进行图198之前的遮光壁108和粘合层308等的形成过程。与上述实施例类似，粘合层308和彩色滤光片112根据其用途和状态并不是必要的构造。
接下来，如图214所示，在滤光片112上形成透镜隔离部120。透镜隔离部120可以通过例如光刻法在像素102的边界处形成堤状形状。可以使用形成在像素102之间的边界处的堤状高度差作为回流阻挡部来形成透镜形状。
在炭黑和氧化硅之间的粘合性或回流透镜材料和氧化硅之间的粘合性差的情况下，可以薄薄地旋涂具有低粘度和良好粘合性的透明材料(例如，丙烯酸树脂或环氧树脂)以留下高度差。
接下来，如图215所示，在形成在层间膜306、粘合层308或滤光片112上的透镜隔离部120之间形成透镜材料336。
接下来，如图216所示，可以通过回流处理由透镜材料336形成回流透镜，作为透镜104。
(第83实施例)
在上述一些实施例中，已经通过一些示例说明了用作片上透镜的回蚀处理或回流处理的制造方法。接下来，将说明用于制造内透镜118的方法的示例。
图217至224示出了用于形成像素102的内透镜118的制造方法的示例。
在本实施例中，作为示例，以形成在两级的上部遮光壁上的结构为例进行说明，但遮光壁的级数可以是任意的。此外，内透镜118在第一方向和第二方向上基本上位于像素102的中心处，并且在第三方向上基本上位于层间膜306的中心处，但这也作为示例示出，并且内透镜可以设置在任何位置。例如，由于光瞳校正可能存在第一方向或第二方向上的偏移，或者由于聚光特性的控制而存在第三方向上的偏移。
图217是形成下遮光壁108之后的视图，并且在关于图179至184的说明中已经说明了该过程之前的制造方法，因此省略说明。
在这种状态下，如图218所示，形成透镜材料336。
接下来，如图219所示，基于要形成的内透镜118的形状形成抗蚀剂350。
接下来，如图220所示，将抗蚀剂350的形状转移到透镜材料336以形成内透镜118。
之后，根据需要对内透镜118应用诸如成膜之类的处理。对于内透镜118，可以例如通过CVD等沉积具有高折射率的无机材料，例如SiN或SiON。此外，内透镜118可以是多层膜，并且可以控制氢供应量以控制半导体基板的界面态。在设置多层膜的情况下，可以适当地形成具有考虑了关于折射率差的4/nλ定律的膜厚的膜，并且可以发挥防反射效果。
作为另一示例，可以通过蚀刻处理将通过热回流处理形成的具有透镜形状的抗蚀剂350转移到内透镜材料。此外，可以通过CVD等以在考虑了4/nλ定律的情况下设定的膜厚在内透镜118上保形地形成具有不同折射率的防反射膜。
接下来，如图221所示，通过CVD形成透明无机膜(例如氧化硅等)，作为层间膜306。
接下来，如图222所示，可以通过CMP等进行平坦化。
此后，如图223所示，将上壁的图案转移到抗蚀剂上，并然后进行蚀刻。
随后，如图224所示，根据需要，在形成粘合层之后，可以通过CVD或溅射等将铝、钨或铜等的金属膜或包含这些金属中的至少一者的合金材料嵌入上壁的凹槽中。然后，通过CMP或蚀刻去除表面层的金属，并且形成上壁，同时仅在凹槽中留下金属膜。
(第84实施例)
接下来，将说明在设置菲涅耳透镜122作为片上透镜(透镜104)的情况下的制造工艺。
图225至229示出了使用纳米压印作为形成像素102的菲涅耳透镜122的制造方法的处理的示例。
在图183的过程之后，如图225所示，形成粘合层308。
接下来，如图226所示，在形成粘合层308之后，形成透镜材料336。例如，可以将成为透镜材料336的透明紫外线固化树脂排出到晶片上。
接下来，如图227所示，测量晶片上的对准标记，并且将菲涅耳透镜形模具338压在预定位置上，并然后通过紫外线照射临时固化。
此后，如图228所示，可以向上释放模具338。重复该处理直到完成所需的菲涅耳透镜122的临时固化。例如，对整个晶片的像素102重复该处理。
然后，如图229所示，可以通过额外的紫外线照射和热处理使透镜完全固化来形成菲涅耳透镜122。
(第85实施例)
图230至232示出了用于形成像素102的菲涅耳透镜122的制造方法的另一示例。
例如，图230示出了图186之后的过程。如图230所示，在滤光片112上形成透镜材料336。
接下来，如图231A所示，在透镜材料336上形成适合菲涅耳透镜形状的抗蚀剂350。
如图231B所示，使用例如灰阶掩模(grayscal mask)来形成抗蚀剂350。在抗蚀剂350中，通过使用灰阶掩模的光刻形成闪耀形图案。灰阶掩模是能够通过以分辨率不好的间距改变图案覆盖率来调整到达晶片的零级分量光的透射率的掩模。
布置灰阶掩模的光栅图案(reticle pattern)以使得用于光刻的零级光能够适当地透过晶片。例如，通过改变未改性的精细图案的密度，控制来自曝光装置的零级透射光以形成闪耀形抗蚀剂350。
如图232所示，可以通过蚀刻等将抗蚀剂350转移到透镜材料上来形成菲涅耳透镜122。
(第86实施例)
接下来，将说明在设置衍射透镜124作为透镜104的情况下的制造工艺的一些示例。
图233至图235示出了用于形成波带板型衍射透镜124的制造方法的示例。在本实施例中，透镜材料例如是有机材料，例如苯乙烯类树脂、丙烯酸树脂、苯乙烯-丙烯酸共聚物类树脂或硅氧烷类树脂。
在图233中，例如，针对图186所示的结构，形成上述材料的透镜材料336。该形成例如通过涂覆上述材料来执行。
接下来，如图234所示，在透镜材料336上形成抗蚀剂350。
然后，如图235所示，通过使用抗蚀剂350作为掩模的蚀刻处理，将图案转移到透镜材料336，以形成衍射透镜124。
(第87实施例)
图236至238是示出用于制造衍射透镜124的方法的另一示例的视图。
在图236中，在图184的过程之后进一步形成和平坦化层间膜306。
如图237所示，在层间膜306上形成抗蚀剂350。
然后，如图238所示，可以将层间膜306的一部分加工成透镜形状，作为衍射透镜124。
(第88实施例)
图239至图242是示出用于制造衍射透镜124的方法的另一示例的视图。衍射透镜124的波长依赖性根据厚度而变化。因此，衍射透镜124优选形成为具有适当的厚度。
图239示出了经历了图184的过程之前的过程的状态。
如图240所示，在层间膜306上形成透镜材料336。透镜材料336是与具有高折射率的层间膜306不同的另一透明绝缘膜，例如氮化硅或SiON等。沉积这些材料。
接下来，如图241所示，在透镜材料336上形成抗蚀剂350。
接下来，如图242所示，使用抗蚀剂350作为掩模去除透镜材料336的一部分。例如，在该各向异性蚀刻时，可以将层间膜306均匀地处理为蚀刻停止层。
如上所述，根据本实施例，可以产生具有适当厚度的衍射透镜124。
(第89实施例)
衍射透镜124可以具有如图83所示的闪耀形状。
如图231B所示，通过使用例如通过使用灰阶掩模的光刻形成的抗蚀剂350来形成闪耀形衍射透镜124。此外，作为另一示例，可以通过使用如图227所示的模具的纳米压印来形成闪耀形衍射透镜124。
在任何情况下，通过设计抗蚀剂或模具的形状以适当地将其成形为闪耀形衍射透镜124的形状，可以形成适当的衍射透镜124。
(第90实施例)
关于彩色滤光片的形成，在上述实施例中已经说明了示例性实施例，并因此省略。在本实施例中，将针对具有图34至37和49所示的彩色滤光片的各种像素102的构造来说明各自的制造方法。
图34示出了在遮光壁108的上方设置滤光片112的实施例。即，滤光片112是在形成遮光壁108之后的过程中形成的。通常，滤光片的材料的耐热性较弱，并且即使相对耐热的颜料也有可能在300度以上的温度下导致诸如灵敏度下降之类的问题。
本实施例具有在不受滤光片耐热性脆弱性的限制的情况下通过适当的处理手段制造遮光壁108的优点。例如，可以通过使用用于在高频等离子体下形成膜的等离子体CVD在大约400度的温度下形成诸如等离子体-四乙氧基硅烷(P-TEOS)或等离子体-一氧化硅(P-SiO)之类的层间膜306。可以形成用于形成遮光壁108的沟槽，并且可以通过热CVD在约400度温度的减压下以良好的覆盖率将钨嵌入沟槽中。
(第91实施例)
图35、36、37和49首先形成滤光片114。因此，需要在后续过程中通过低温过程处理壁结构，以免改变滤光片114。
作为层间膜306，例如，可以通过CVD形成低温氧化物(LTO)膜。作为另一示例，可以旋涂诸如苯乙烯类树脂或丙烯酸树脂之类的有机材料。用于遮光壁108的沟槽的遮光材料具有较差的覆盖率，但例如，可以通过能够在300度以下的温度下形成膜的溅射来嵌入金属膜。此外，可以通过旋涂来嵌入具有遮光性能的有机材料(例如，含有炭黑的材料)。
(第92实施例)
在上述实施例中，已经说明了用于制造彩色滤光片的方法，但在本实施例中，将说明用于制造等离子体滤光片的方法的示例。
图243至图246示出了用于制造等离子体滤光片116的方法的示例。图244A、245A和246A示出了存在像素102的区域中的处理，并且图244B、245B和246B示出了不存在像素102的区域中的处理。
图243是通过与图136之前的过程相同的过程形成的。
当在金属电浮动的状态下进行处理时，存在发生等离子体损伤的风险。
因此，如图244A和244B所示，在图243的状态下，在绝缘膜314上形成抗蚀剂350，并进行蚀刻。通过该蚀刻过程，在像素102的区域外部形成如图244B所示的互连部，该互连部用于将上面形成有等离子体滤光片116的金属膜116A接地。
如图245A和245B所示，在形成金属膜116A时，半导体基板300的导电区域通过接地的接触互连部与像素102的区域外部的金属膜116A电连接。同时，在存在像素102的区域中，阱区域310和金属膜116A通过固定电荷膜312和绝缘膜314绝缘。
作为金属膜116A，可以通过CVD、溅射或ALD等沉积大约150至200nm的铝。作为阻挡金属，根据需要，例如可以在铝下方约几个nm的氮化钛(TiN)或钛(Ti)等。
接下来，如图246A所示，在像素102的区域中形成金属膜116A的孔116B。作为绝缘膜，可以通过ALD等在孔116B中嵌入例如氧化硅。
同时，如图246B所示，不一定在像素102区域外部的金属膜116A中形成孔116B。
在等离子体滤光片116的金属膜116A兼作像素间遮光部或作为黑基准像素区域的遮光膜形成的金属膜316的情况下，其最佳膜厚有可能彼此不同。在此情况下，期望在黑基准像素区域中形成具有所需膜厚的金属膜，并然后用抗蚀剂对金属膜进行掩膜，以通过蚀刻使等离子体滤光片部分变薄。
如上所述，根据本实施例，能够适当地形成等离子体滤光片116。
[信号处理装置]
这里，将说明包括上述像素102的成像装置3的一些使用示例。更具体地，将通过一些示例来说明对在成像装置3的子像素106中获取的信号的处理。
在成像装置3中设置具有像素阵列100的成像元件10，该像素阵列100包括在上述每个实施例中说明的像素102。如图8所示，电子装置1包括成像元件10，即，成像装置3。除了成像装置3之外，电子装置1还包括信号处理单元40、存储单元42、图像处理单元44、认证单元46和结果输出单元48。在以下实施例中，将说明这些元件之中的信号处理单元40和图像处理单元44的示例。
注意，在以下说明中，将分别说明信号处理单元40和图像处理单元44，但这些功能可能没有清楚地分开。将单独说明信号处理单元40和图像处理单元44，但包括在这些单元中的每个构造元件可以包括在任何单元中。
即，存在包括信号处理单元40和图像处理单元44的信号处理装置，并且可以理解为该信号处理装置包括以下将说明的每个构造元件。因此，电子装置1可以是包括成像装置3和该信号处理装置的装置。
(第93实施例)
图247是示出信号处理单元40的示例的框图。信号处理单元40包括A/D转换单元400、钳位单元402、依照子像素的输出单元404和依照颜色的输出单元406。
该图所示的每个单元可以由专用电路实现，或者其一部分可以由专用电路实现。此外，作为另一示例，在部分或整个处理中，通过软件进行的信息处理可以具体地由诸如CPU之类的电子电路使用硬件资源来执行。在此情况下，通过软件进行信息处理所需的程序等可以存储在存储单元42中。该构造在将在下面说明的图像处理单元44、认证单元46和结果输出单元48中是相似的。
针对每个子像素106，A/D转换单元(模数转换器)400将从成像元件10输出的模拟信号转换为数字信号。A/D转换单元400输出转换后的数字信号，例如作为图像数据。
例如，钳位单元402定义黑电平，从由A/D转换单元400输出的图像数据中减去定义的黑电平，并输出图像数据。钳位单元402可以为像素中包括的每个光电转换元件设定接地电平，并且在此情况下，可以对每个获取的信号执行信号值的接地校正。
依照子像素的输出单元404针对每个子像素输出从钳位单元402输出的图像数据。成像元件10在阵列(像素阵列100)中具有像素102，并且在每个像素102中包括多个子像素106。
即，布置了分别包括上述子像素106的像素102。然后，入射到每个像素102的光的强度信息作为每个子像素106的数字图像数据输出。依照子像素的输出单元404根据像素102中的子像素106的布置对图像数据进行分类和聚合，并针对子像素106的每个位置输出图像数据。
作为具体示例，例如，在成像元件10包括2000×4000＝800万像素102并且像素102包括3×3＝9个子像素106的情况下，依照子像素的输出单元404针对每个像素总共输出9条包含800万像素的图像数据。如此输出的图像在下文中被称为子像素图像。
作为示例，依照像素阵列100中的像素102的数量来聚合位于像素102的中心处的子像素106的信息以获得一个子像素图像。也依照像素102的数量来聚合布置在相应像素102中的其它位置的子像素106以获取子像素图像。
例如，在成像元件10中依照颜色获取模拟信号的情况下，依照颜色的输出单元406输出每种颜色的子像素图像的数据。在成像元件10中，在像素中设置例如红色(R)、绿色(G)和蓝色(B)滤光片。
钳位单元402基于这些滤光片调节接地电平，并基于调整的接地电平输出图像数据。依照子像素的输出单元404基于钳位单元402输出的图像数据输出子像素图像。依照颜色的输出单元406依照颜色输出从依照子像素的输出单元404输出的信号。
由成像元件10获取的模拟信号不包括颜色数据。为了应对这种情况，例如，依照颜色的输出单元406可以存储针对成像元件10中的每个光接收元件设置的滤光片的数据，并且基于该数据执行每个颜色的输出。例如，可以将每个子像素图像作为在不同通道中具有颜色信息的多通道数据输出。
尽管成像元件10包括彩色滤光片，但本实施例不限于此。例如，成像元件10可以构造为通过有机光电转换膜识别颜色。
此外，存在着成像元件10例如包括接收近红外光的光电转换单元的情况或者成像元件10包括诸如等离子体滤光片之类的复杂光谱的情况。尽管难以用简单的颜色概念来表达这些信息，但依照颜色的输出单元406可以处理这些信息，只要它们可以从光的波长的角度进行分类即可。
信号处理单元40将从成像元件10输出的模拟信号转换为适当的数字信号并以此方式输出该数字信号。例如，如上所述，从成像元件10接收的模拟数据被转换为数字子像素图像并依照颜色输出。
图248是示出图像处理单元44的示例的框图。图像处理单元44包括缺陷校正单元440、子像素偏移量计算单元442、分辨率运算单元444、视角运算单元446、加法处理单元448、去马赛克单元450、线性矩阵单元452和光谱分析单元454。
缺陷校正单元440校正图像数据中的缺陷。例如，由于由设置在像素中的光电转换元件的缺陷导致的像素缺陷或信息缺陷，或者由于由光学系统9中的光饱和导致的信息丢失而出现图像数据的缺陷。缺陷校正单元440可以通过基于例如周围像素的信息、其它子像素图像中被认为等同的像素的信息或同一像素102中的周围子像素106的信息进行插值来执行缺陷校正处理。
例如，缺陷校正单元440可以通过诸如双线性算法、双三次算法或兰克索斯算法(lanczos)之类的任意算法对子像素图像等进行插值。另外，也可以利用其它子像素图像等来使用诸如最近邻法之类的方法。用户可以选择插值方法。作为另一示例，缺陷校正单元440可以根据图像自动选择适当的插值方法。
子像素偏移量计算单元442针对具有不同视差的多个子像素图像计算使各个被摄体的图像彼此匹配的偏移量。要匹配的基准子像素图像可以任意选择，并且例如是像素102的中心处的子像素图像。即使在选择另一子像素图像的情况下，子像素偏移量计算单元442也可以执行类似的处理。
在保证被摄体距离恒定的情况下，可以预先计算偏移量并将其作为固定参数存储在存储单元42中。在被摄体距离发生变化的情况下，可以将每个子像素图像和基准图像渐渐地偏移，并且通过计算得到差异最小的偏移量。
当在保护玻璃等上粘贴较厚的保护密封件时，被摄体距离变为恒定的，但存在着由于保护密封件的更换而使被摄体距离发生变化的担忧。在此情况下，当认证成功率低于预定概率时，可以通过计算来计算被摄体距离，并且可以校正作为固定参数存储的偏移量。
此外，在被摄体距离在视角内变化的情况下，可以将视角划分为多个块，并且可以在每个块中计算偏移量。这例如对应于在读取表面12和指纹传感器之间存在平行度偏差的情况、在贴附保护密封件时存在异物影响的情况、手指接触失败的情况或类似情况。注意，这些偏移量不一定需要用多少像素的整数来表示，并且可以用所需数量的小数位输出。
分辨率运算单元444对获取的图像数据进行分辨率运算。例如，分辨率运算单元444可以基于子像素图像执行用于运算分辨率的算术处理，或者可以重新定义图像中的适当的像素间距和像素数量。注意，一般来说，在用于运算分辨率的图像处理中，可能会引起诸如伪影和噪声分量的增加之类的副作用。因此，分辨率运算单元444可以将图像传递到下一个过程而完全不执行分辨率转换处理。
此外，在初始认证时，可以在接下来的过程中输出图像而不执行分辨率处理。在无法获得电子装置1所需的输出的情况下，分辨率运算单元444的计算可以在第二次和后续的处理中进行。当然，可以从第一次开始就输出已被分辨率运算单元444执行分辨率处理的图像。
视角运算单元446运算输入图像的视角并输出图像。例如，视角运算单元446可以基于每个子像素图像相对于要成为输入图像的子像素图像的视角大小的偏移量来输出具有扩大视角的图像。视角的扩大是通过对具有不同视差的多个子像素图像进行平移和合成来执行。因此，视角运算单元446可以输出宽视角信息。
加法处理单元448对从视角运算单元446输入的图像执行诸如加法处理之类的计算。这里说明的加法处理可以是产生接近加法的效果的另一处理。加法处理可以例如是中值处理、移动平均处理或在执行极端值确定并排除异常值之后的平均处理。
作为另一示例，在输入图像的信噪比(SN比)不充分的情况下，例如，加法处理单元448可以通过将同一子像素图像中的多个相邻像素的输出相加来提高SN比。在此情况下，重新定义来自加法处理单元448的输出图像的像素间距和像素数量。
作为具体示例，加法处理单元448将包括1000×2000像素(＝200万像素)的去马赛克图像划分为包括5×5个像素的部分，并且针对每个部分执行加法处理等。因而，可以输出具有良好SN比的包括200×400个像素(＝80,000个像素)的图像。即使在输入图像的SN比充分的情况下，也具有可以通过减少像素数来缩短计算时间的优点。因此，可以在能够确定对后级中的认证单元46的判定精度的影响较小的范围内执行加法处理。
将说明加法处理单元448中的另一实施例。例如，针对已被应用偏移量(以使各个被摄体图像彼此匹配)的图像，加法处理单元448可以通过使用多个子像素图像在相同的依照颜色的信息中执行加法处理。
例如，假设成像元件10在像素102中不包括彩色滤光片并且在像素102中具有3×3个子像素。此外，假设成像元件10包括透镜104以收集金属膜316附近的光。在此情况下，通过执行加法处理获得几乎是一个子像素图像的灵敏度光量的九倍的输出。
换言之，获得了接近针对一个透镜104设置一个光电转换元件的情况下的灵敏度光量的输出，并且提高了角分辨率。注意，在实践中，需要考虑由金属膜316导致的渐晕和余弦第四定律等的影响，因此九倍的数值并不准确。然而，显然，加法处理的效果是显著的。
子像素的分割数不限于上述各实施例中说明的3×3，例如也可以是4×4分割或5×5分割。注意，当分割数增加时，由渐晕等引起的灵敏度损失的影响增加。此外，灵敏度和饱和电荷量之间失去平衡，并且存在诸如由光晕引起的电位破坏和电子泄漏之类的新问题。因此，期望适当地设置分割数。在各个子像素的倾斜入射特性存在差异的情况下，加法处理单元448可以适当地对要用于加法处理的值进行加权并执行加法处理。
去马赛克单元450使用由加法处理单元448输出的多个子像素图像执行去马赛克处理。具体地，基于多个子像素图像对依照颜色的信息进行插值等，并且例如将图像转换为包含RGB三通道的图像数据。
通常，去马赛克处理是如下处理：在包括红色、蓝色和绿色的拜耳阵列中，针对每个像素的仅具有单色信息的信号，通过从周边像素的信号中收集缺失的颜色信息来插值颜色信息以例如创建全色图像。同时，本实施例中的去马赛克处理与传统方法的不同之处在于使用多个子像素图像执行插值。
具体地，去马赛克单元450对多个子像素图像中的每一者执行偏移处理，使得被摄体图像彼此匹配。随后，去马赛克单元450可以互补地插值依照颜色的信息并输出已被执行偏移处理以合成图像的多个图像中的相同地址(图像中的位置)处的值。此外，去马赛克单元450可以利用合成图像的周边像素的信号插值出合成图像的每个像素的信号中缺失的依照颜色的信息来应用用于输出全色图像的去马赛克处理。
注意，在每个子像素图像的偏移量中存在分数的情况下，去马赛克单元450可以通过四舍五入等将偏移量四舍五入为整数。作为另一示例，去马赛克单元450可以在通过插值将阵列校正为不具有的分数之后执行去马赛克处理。
例如，在某子像素图像中，假设某行的输出的布置为{100,116,109,...}，并且X方向上的偏移量为+0.25个像素。在此情况下，去马赛克单元450可以例如通过线性插值移动相位以匹配基准图像，并且可以执行如下输出：
{100+(116-100)×0.25,116+(109-116)×0.25,...}＝{104.0,114.3,...}
本实施例的去马赛克处理不限于颜色概念，例如也可以将诸如近红外光之类的不同于可见光的波段的信息包含在依照颜色的信息中。此外，可以定义多个这些波段。
线性矩阵单元452对RGB等的颜色信息执行矩阵运算。线性矩阵单元452通过该矩阵运算执行正确的颜色再现。线性矩阵单元452也被称为颜色矩阵单元。
例如，线性矩阵单元452通过执行与多个波长相关的运算来获取期望的光谱。在本实施例中，例如，线性矩阵单元452执行运算以执行适合于检测肤色的输出。线性矩阵单元452可以包括与肤色不同的系统的运算路径，并且例如可以执行运算以获得适合于检测黄色到红色的波长区域的输出，以便获取静脉的信息.
光谱分析单元454基于从线性矩阵单元452输出的数据分析光谱，例如检测肤色等。例如，光谱分析单元454确定在肤色光谱中是否存在上升(rise)，并在存在肤色的情况下检测肤色的波长。
肤色因人而异，但通常在大约550至650nm的波长范围内，通常在590nm左右存在上升。因此，光谱分析单元454例如通过在包括500至700nm的范围内检测信号的上升来检测人的手指是否与读取表面12接触，并且在此情况下，检测并输出人手指的波长。要确定的波长的范围不限于上述范围，并且可以比上述范围更宽或更窄。
以此方式，图像处理单元44对从信号处理单元40输出的子像素图像应用适当的图像处理，并输出子像素图像。认证单元46可以基于该输出执行如上述实施例所示的个人认证。
认证单元46例如基于从加法处理单元448等输出的指纹形状(特征点)来执行个人认证。例如，认证单元46可以利用由光谱分析单元454分析的肤色光谱的上升光谱形状来执行生物特征认证或个人认证。
在光谱分析单元454检测来自静脉的光谱特征的情况下，认证单元46可以使用特征数据进一步确认与读取表面12接触的被摄体是活体。此外，该认证可以与和静脉形状相关的认证组合地执行。
例如，个人信息可以作为指纹或汗腺的特征点存储在认证单元46中，或者可以存储在存储单元42中。存储的信息可以是关于光谱的信息或关于诸如指纹之类的形状的信息。在被摄体与读取表面12接触的情况下，认证单元46可以判定该被摄体是活体的手指并且可以认证该被摄体是存储的个体。
结果输出单元48基于从认证单元46输出的结果输出个人认证结果。例如，结果输出单元48可以在与读取表面12接触的手指此时匹配于记录的个人数据的情况下输出认证成功信号，或者在其它情况下可以输出认证失败信号。
图249是示出根据本实施例的电子装置1的处理的流程图。该流程图与图9的不同之处在于使用光谱进行认证。这部分将详细说明。由于S100到S106的处理与图9的说明没有特别变化，所以省略详细说明。
在接收光之后，信号处理装置对接收的模拟信号进行诸如信号处理和图像处理之类的必要处理(S108)。在该处理中，如上所述，首先，信号处理单元40将从成像装置3获取的模拟信号变换为作为数字信号的图像数据。随后，图像处理单元44将图像数据转换为适当的图像数据。
S110的处理也与图9的说明相同，因此省略详细说明。
在S110的处理之后，认证单元46确定光谱是否彼此匹配(S114)。认证单元46将由光谱分析单元454分析的光谱的结果与存储在存储单元42中的个体的结果进行比较，并执行该确定。例如，基于所获取的光谱是否存在于距所存储的肤色的上升光谱的预定范围内来进行确定。以此方式，不仅可以用指纹形状，还可以用光谱来进行个人认证。此外，不仅可以通过添加成像元件10的灵敏度光谱的信息，还可以通过添加光源的光谱信息来提高识别精度。
此外，可以获取静脉的光谱信息作为另一种用于确定被摄体是否是活体的手段。在此情况下，可以从发光单元发射近红外光，并且可以获取和分析用于指示静脉状态的光谱。
此外，如将在后述的实施例中所说明，也可以在信号处理装置中获取静脉的形状。在此情况下，认证单元46还可以通过比较静脉形状的形状来执行个人认证。此外，信号处理装置可以通过合成子像素图像来获取三维静脉形状的三维信息。然后，认证单元46可以通过将由合成处理获得的三维静脉形状的三维信息与所存储的三维信息进行对照来执行个人认证。
在光谱彼此不匹配的情况下(S114：否)，重复从S102开始的处理。由于手指的位置在开始时是不明确的，因此使显示单元在较宽的区域中发光。然而，例如，在第二次及随后的发光条件获取S104中，可以通过基于第一次认证的图像信息缩小发光区域来减少噪声光，由此提高认证精度。此外，可以在改变光源条件的同时执行第二次和随后的认证。另外，也可以在变更诸如图像处理和认证算法之类的信号处理的内容的同时进行第二次及随后的认证。
在光谱彼此匹配的情况下(S114：是)，认证单元46确定认证成功(S112)并从结果输出单元48输出认证结果。在此情况下，例如，结果输出单元48输出用于指示认证成功的信息，并且允许访问电子装置1的另一构造。
注意，在以上说明中，结果输出单元48在成功的情况下执行输出，但本发明不限于此。即使在S108为否或S114为否的情况下，也可以经由结果输出单元48向发光单元和成像元件10等提供认证失败的通知，并且可以再次获取数据。注意，在基于第一认证的图像信息缩小发光区域的情况下，期望在不输出错误消息的情况下执行连续操作，以使用户不会松开手指。
例如，在认证失败预定次数的情况下(S108：否和S114：否)，认证单元46可以输出认证失败，即，用户是未注册的个体。在此情况下，电子装置1可以拒绝来自同一用户的后续输入，因为尚未成功执行认证。
如上所述，根据本实施例，已经通过一些示例说明了信号处理装置对从成像装置3输出的信号的后续处理。通过该处理，除了指纹认证之外，还可以实施基于光谱信息的认证的拒绝，例如，通过冒充认证等。此外，还可以通过各种信号处理和图像处理来提高指纹认证的准确性。此外，将在要说明的实施例中给出一些示例。
(第94实施例)
这里，将说明根据本实施例的电子装置中包括的成像装置3。
图250是示出像素102中的子像素106的布置的位置示例的图。在以下说明中，有时将子像素106称为子像素106a、106b、...、106i，这取决于在像素102中的位置。注意，本实施例还说明了在像素102中设置3×3个子像素106的情况，但子像素106的数量不限于此。
如上所述，成像元件10包括以阵列方式布置的像素阵列100中的像素102，并且像素102包括多个子像素106。来自被摄体的反射光、衍射光、散射光和透射光等入射到成像元件10上，并且成像元件通过使用像素阵列100读取入射光的状态来获取被摄体(例如，手指)的信息。
图251是示出光电转换元件的光接收灵敏度根据子像素106的位置的角度依赖性的曲线图。纵轴表示在位于中心处的子像素106e的灵敏度为100％的情况下光接收灵敏度的比率。横轴表示光束相对于光轴的入射角。实线表示子像素106e的灵敏度特性，断线表示子像素106d的灵敏度特性，并且点线表示子像素106f的灵敏度特性。
如图250所示，可以通过像素102中包含的多个子像素106来获取视差信息。通过合成具有不同视差的子像素图像，可以扩大视角，并且可以提高分辨率或SN比。
此外，可以通过像素102中设置的各种滤光片来获取光谱信息。
此外，可以通过基于距每个像素102的芯片中心的距离和方位角以及包括在像素102中的每个光学构件的高度应用光瞳校正来运算视差。
以上说明的所有成像元件的实施例都可以应用于成像元件10，并且本实施例不限制成像元件。
作为一种模式，将说明根据上述信息运算分辨率的方法。例如，分辨率运算单元444通过以下方法执行分辨率运算。
通常，在点光源的图像模糊并形成在传感器上的情况下，表示模糊的函数被称为点扩散函数(PSF)。已经提出了许多用于从因模糊而劣化的输入图像(以下称为劣化图像)恢复清晰的理想图像的方法。这里，作为示例，将说明通过去卷积方法进行的分辨率处理。
由于成像光学系统的衍射，PSF经常被表述为模糊、相机抖动、运动模糊等。在本实施例中，PSF包括由指纹传感器的角分辨率以及指纹传感器正上方的显示单元的衍射等引起的分辨率劣化。注意，在PSF的形状对于每个子像素图像不同(偏移变量)的情况下，可以对每个子像素图像执行使用不同系数(核)或不同算法的运算。
在某个图像中的PSF(x,y)无论视角位置如何都具有相同形状(偏移不变量)的情况下，劣化图像g(x,y)和理想图像f(x,y)可以使用PSF(x,y)表示如下。
[数学式6]
g(x,y)＝PSF(x,y)*f(x,y)     (6)
这里，“*”表示卷积。PSF的形状可以通过各种光学模拟来计算，或者可以通过成像评价通过实际测量获得。
当傅里叶变换为“F”且反傅里叶变换为“F-1”时，可以如下获得理想图像f(x,y)。
[数学式7]
Figure GDA0004051243590001331
由傅里叶变换表示的运算是通过反卷积方法实现的分辨率恢复原理。在使PSF(x,y)的傅里叶变换的值变为0的频率的数量最多为有限的情况下，可以在忽略像素值的情况下执行等式(7)的处理。
当PSF的傅里叶变换在0附近时，PSF发散。因此，例如，可以使用适当定义了微小常数Γ的等式(8)的维纳滤波器(Wiener filter)。
[数学式8]
Figure GDA0004051243590001332
高频可恢复性稍差，但可以大大减少计算量。在噪声的影响在某种程度上已知的情况下，考虑噪声的噪声项可以代入等式(8)而不是Γ。
此外，作为另一示例，为了减少高频分量，可以通过平滑地减少高频分量来抑制伪影以避免突然变化。此时应用的函数被称为窗函数，并且例如，可以使用等式(9)中的汉明(hamming)窗函数。
[数学式9]
Wn(ω)＝0.5(1+cos(ω))     (9)
窗函数不限于式(9)中的汉明窗，并且还可以使用其它各种已知方法，例如高斯(Gaussian)窗、汉恩(hann)窗、汉宁(Hanning)窗、凯泽(Kaiser)窗、指数窗、广义汉明(generalized hamming)窗和兰索斯(Lanczos)窗。
注意，除了本文说明的去卷积方法之外，还可以使用空气扫描、结构化照明显微镜(SIM)或定位方法等。
此外，在子像素图像中，可以通过从每个像素的输出中减去周边像素的输出的处理来执行锐化。例如，锐化算子M可以通过拉普拉斯高斯滤波器(LoG)的示例如下定义。
[数学式10]
Figure GDA0004051243590001341
可以执行算术处理以使用M扫描劣化图像g(x,y)。在该示例中，重复如下处理：将其自身的输出乘以9，将在上下左右方向上相邻的输出乘以1并减去输出，并且将在倾斜方向上相邻的输出乘以0.5并减去输出。
在上述说明中，算子以3×3矩阵进行说明，但例如可以是5×5矩阵或7×7矩阵，并且不存在限制。此外，减号的系数情况被说明为减去周边像素的输出，但本实施例不限于此。例如，在加号的情况下，可以获得通过平滑去除噪声的效果。因此，算子的符号不受限制。
此外，在5×5矩阵中，可以在考虑到PSF的情况下适当地混合±符号。例如，将相邻像素相对于中心像素的系数设置为负号，并且将距离中心像素两个像素的像素的系数设置为正号。
在取决于根据电子装置1和成像元件10的光学设计方式的偏移变形的情况下，例如，可以将视角内部分割为多个块并且可以执行处理。例如，信号处理装置可以在每个分割块中执行具有不同系数的计算，或者执行基于不同算法的计算。在这种块分割处理中，容易产生其中块边界不连续的伪影。因此，可以仅在边界部分中处理平滑滤波，或者可以将上述窗函数用于每个块。
如上所述，根据本实施例，可以实现基于PSF的分辨率运算。例如，通过将算子存储在存储单元42中，可以通过诸如反滤波器和维纳(Wiener)滤波器zld处理高速地获取具有高分辨率和高精度的图像。
(第95实施例)
尽管在前一实施例中已经说明了使用PSF的分辨率转换，但可以通过下面将要说明的另一实施例来运算分辨率。在本实施例中，相对于利用单个图像运算分辨率的处理，执行使用多个子像素运算分辨率的处理。
图252A是示出与子像素106d对应的子像素图像的曲线图。此外，图252B是示出与子像素106f对应的子像素图像的曲线图。这些图例示了通过提取拍摄基本上相同的被摄体区域的区域并在第二方向上扫描所提取的区域而获得的输出信号。纵轴表示每个子像素图像的像素值。例如，在两个图像中，假设匹配子像素的偏移量不是像素数的整数倍，而是5.5个像素。
在此情况下，当观看每个子像素图像时，由于粗采样，被摄体图像不清晰。因此，信号处理装置可以合成子像素，同时在偏移5个像素的偏移处理中留下0.5个像素的分数偏移。通过以此方式进行合成，信号处理装置可以提高合成图像的分辨率。
图253是示出在合成图像中沿第二方向扫描相同区域的情况下的像素值的曲线图。如图253所示，可以看出，通过在合成图像的同时留下如上所述的分数，提高了合成图像的分辨率。
在子像素图像之间进行合成处理的情况下，由于每个子像素的倾斜入射特性等而可能存在偏移。为了应对这种偏移，可以在通过图像的增益校正调整输出电平之后合成子像素图像。
此外，在合成处理中偏移量不是等间隔的情况下，例如，偏移量可以是5.4像素而不是5.5像素。在此情况下，信号处理装置例如可以通过将偏移量四舍五入到大约5.5像素来执行处理。作为另一示例，信号处理装置可以通过插值以相等的间隔计算和处理数据。
此外，来自分辨率运算单元444的输出图像可以重新定义适当的像素间距。例如，信号处理装置可以将具有30μm间距的原始像素102输出为与例如10μm间距对应的图像。
如上所述，也可以通过使用多个子像素图像来代替基于PSF的图像滤波处理来提高分辨率。
(第96实施例)
在前一实施例中，已经说明了将分辨率运算作为信号处理装置的示例。在本实施例中，将说明运算视角的示例。
视角运算单元446可以输出具有扩展视角的图像。例如，视角运算单元446可以输出具有在考虑到每个子像素图像相对于作为输入的子像素图像的视角的大小的偏移量的情况下扩展的视角的图像。为了以通过偏移和合成具有不同视差的多个子像素图像而获得的宽视角输出信息，需要这种视角的扩展。
例如，假设允许图251中的子像素106e的子像素图像能够接收光的视角在读取表面12上是6×6mm(＝36mm2)。同时，假设被摄体图像由于视察而在由子像素106d获取的子像素图像中的第二方向上的偏移量为-800μm，并且由子像素106f获取的子像素图像为800μm。
在此情况下，通过合成子像素图像而获得的读取表面12的视角为7.4×7.4mm(＝55mm2)，并且可以在面积比例方面获得对应于视角扩展+52％的效果。根据视角的扩展处理，例如，可以扩展指纹认证中的检测区域。
注意，在每个子像素图像中，可能不存在扩展区域的信息，并且可能无法确保预测精度。在此情况下，例如，视角运算单元446可以在将像素向左偏移一百个像素时针对右端的一百个像素设置对后续运算没有贡献的无效标志，并执行后续处理。
(第97实施例)
接下来，将通过示例说明管理图像的偏移量的方法。
为了实现分辨率运算，子像素图像之间的偏移量很重要。图像的偏移量通常由电子装置1和成像元件10的光学路径设计来定义。
例如，假设像素102的间距为20μm，子像素106e与透镜104的中心一致，并且子像素106d具有相对于第三方向向右上方倾斜近30度的灵敏度。为了简单说明，假设保护玻璃的折射率为1.5，并且保护玻璃底部到指纹传感器的空气层为300μm。
在该简单模型中，例如，可以使用保护玻璃的厚度作为参数通过光线追踪计算来设计其中两个子像素图像之间的偏移量的分数为0.5像素的光学路径。保护玻璃的厚度为500μm时，偏移量为17.5像素(350μm)，或者当保护玻璃的厚度为556μm时，偏移量为18.5像素(370μm)。这可以通过将保护玻璃的厚度信息作为参数来实现。
实际上，电子装置1具有复杂的构造，但即使在此情况下，也可以通过以类似方式使用基于光线追踪的设计来确定子像素图像之间的偏移量。在此，以基于保护玻璃的厚度的设计为例进行了说明，但设计参数也可以包括通过改变材料而获得的折射率。
注意，在实际的制造工艺中，各部件会产生尺寸交叉和安装精度偏差，因此子像素图像间的偏移量会产生偏差。为了解决这个问题，在电子装置1的组装过程中，可以采用在组装电子装置的同时监视和调整子像素图像的偏移量的过程。
此外，电子装置1可以包括用于调整读取表面12和成像元件10之间的距离的机构。在此情况下，可以在组装完成之后使用该机构进行最终调整。
此外，例如，存在将市售的保护密封件贴附到移动终端中的显示单元的表面的情况。子像素图像的偏移量很可能根据保护密封件的厚度而改变。在需要通过硬件控制偏移量的情况下，定义了保护密封件的统一标准和公差。作为另一示例，电子装置1可以在预先调整好保护密封件后出厂，并且在由于某些情况需要更换保护密封件的情况下，可以根据需要进行涉及调整工作的服务操作。
下面将说明一些调整示例。
例如，可以提供接受子像素之间的设计偏移量实际变化并在计算中校准偏移量与设计的偏差的调整参数。此调整参数可能会在发货时进行调整。
例如，可以以预定时间间隔或以任意时间间隔执行调整。
例如，用户可能能够在任何时间请求调整。
例如，可以在每次执行认证时通过计算来计算子像素之间的偏移量。
例如，通过存储每次计算的偏移量并构建偏移量数据库，可以通过机器学习等构建最佳偏移量的计算模型。
如上所述，根据本实施例，可以基于状况、环境等适当地设定视角的偏移量。
(第98实施例)
在本实施例中，以指纹图像为例说明子像素图像的合成。
图254是示出在各子像素106中获取的子像素图像的示例的图。子像素图像500a、500b、500c、500d、500e、500f、500g、500h和500i是分别通过子像素106a、106b、106c、106d、106e、106f、106g、106h和106i获得的子像素图像。
图255是示出用于获得这些子像素图像500的像素102和子像素106之间的关系的剖视图。该图255示出了像素102的穿过子像素106d、106e、106f的截面。细实线表示与透镜104的光轴平行地入射在像素102上的光通量的轨迹，并且细虚线表示相对于透镜104的光轴以一定角度入射到像素102上的光通量的轨迹。
这些子像素图像500示意地示出了在诸如智能手机之类的移动终端的光学指纹认证中由成像元件10接收的指纹的各个子像素图像。
成像元件10包括像素阵列100，像素阵列100具有阵列中的像素102。每个像素102设置有多个子像素106。即，与像素102的数量相同的第一子像素106a以与像素102相同的间距排列。类似地，与像素102的数量相同的第二和后续子像素106b、106c、106d、106e、106f、106g、106h和106i以与像素102相同的间距排列。
子像素图像500a是如下图像，在该图像中，第一子像素106a的信号以与像素102的阵列相同的方式被提取和布置。同样地，由各子像素106的信号生成共计9个子像素图像500。
对于这些子像素图像500，除了每个光电转换元件接收的信号强度的信息之外，还添加了与每个光电转换元件中包括的滤光片相关联的依照颜色的信息(或光谱信息)。
此外，子像素106具有固有的倾斜入射灵敏度，该灵敏度主要由其与透镜104的相对位置决定。因此，每个子像素图像500以不同的角度接收被摄体图像。
作为示例，将说明图254中的子像素图像500d。子像素106d在图255所示的包括像素102的第二方向和第三方向的截面中位于左端处，并通过透镜104接收从右斜上方入射的光。图251以虚线示出子像素106d的斜入射特性的示例。如该图所示，在此情况下，以大约-18度的角度入射的光具有大约13度的半值宽度的灵敏度。
更具体地，在将手指放在像素102的中心附近的读取表面12上的情况下，像素102的左端子像素106d以与第三方向成约18度的角度接收光。即，指纹向左侧偏移并形成在所获取的子像素图像500d上。同时，位于像素102中心处的子像素106e接收与第三方向基本平行地传播的光，并且指纹的图像形成在所获取的子像素图像500e的中心处。
在本实施例中，在图250所示的每个子像素106中还设置有彩色滤光片(滤光片114)。作为示例，子像素106a和子像素106i设置有红色滤光片114R。子像素10b、子像素106d、子像素106f和子像素106h设置有绿色滤光片114G。子像素106c和子像素106g设置有蓝色滤光片114B。
每个子像素106获取具有如上所述的预定角度的入射光的信息。
更具体地，子像素106a获得依照红色的信息以及向左上方偏移并形成的指纹的子像素图像500a。子像素106b获得依照绿色的信息以及向上偏移并形成的指纹的子像素图像500b。子像素106c获得依照蓝色的信息以及向右上偏移并形成的指纹的子像素图像500c。类似地，图254所示的子像素图像500分别由子像素106d、子像素106e、子像素106f、子像素106g、子像素106h和子像素106i获取。
因此，在成像装置3中，获得了与图254所示的位置相关联的总共九个子像素图像500和依照上述的滤光片114的颜色的信息。例如，缺陷校正单元440可以校正这些子像素图像500中的缺陷像素。
接下来，子像素偏移量计算部442将中心处的子像素图像500e作为基准图像，计算每个子像素图像的偏移量。子像素偏移量计算单元442计算图像的偏移量，使得作为基准图像的子像素图像500e的指纹图像和每个子像素图像500的指纹图像彼此匹配。偏移量可以是存储在存储单元42中的固定值，或者可以在每次获取图像时通过图像计算来计算。
图256是示出计算各子像素图像500的偏移量并偏移各子像素图像500的示例的图。子像素移动量计算单元442可以计算子像素图像500的偏移量并且偏移子像素图像500以输出图256所示的图。即，子像素偏移量计算单元442可以作为子像素图像偏移单元执行处理。
在用像素数表示偏移量时出现分数的情况下，子像素偏移量计算单元442可以对该分数执行插值处理以使得子像素图像500的网格彼此匹配。此外，子像素偏移量计算单元442可以依照颜色对包括在相同信息中的每个子像素图像500执行加法处理以提高信号的SN比。
此外，分辨率运算单元444可以增加像素的数量并且使用由子像素偏移量计算单元442计算的偏移量的分数通过合成来运算分辨率。在此情况下，分辨率运算单元444可以执行插值处理使得由于偏移量的分数而处于不等间隔的数据变为等间隔。分辨率运算单元444还可以如上述实施例所述地对图像执行基于PSF的反卷积处理。
视角运算单元446可以输出具有在考虑到每个子像素图像相对于要作为输入图像的子像素图像500的视角的大小的偏移量的情况下扩展的视角的图像。这种视角的扩展反映出通过对具有不同视差的多个子像素图像500进行偏移和合成的处理，可以以更宽的视角拍摄被摄体图像。例如，通过视角运算单元446的视角放大处理，认证单元46可以扩展指纹认证中的检测区域。
针对以此方式生成的图像，去马赛克单元450可以从不同子像素图像500的等效坐标的信号中插值出对于每个像素102的信号来说缺失的颜色信息。此外，去马赛克单元450可以应用用于对像素图像500中的周边像素的信号进行插值的去马赛克处理。此后，可以通过线性矩阵单元452将去马赛克图像转换为全色图像并输出。
全色图像不限于可见光，例如，可以输出近红外区域中的图像信号。
图257是示出与例如全色图像合成的指纹信息的图。对于上述全色图像，光谱分析单元454可以通过执行关于多个波长的计算来获取认证所需的波长区域的输出。例如，作为防冒充措施，在光谱分析单元454还用于基于肤色的认证的情况下，光谱分析单元可以执行专门用于该目的的计算。此外，作为防冒充措施，光谱分析单元454可以执行专门用于该目的的计算，以便获取静脉信息。
如上所述，图像处理单元44(信号处理装置)可以基于由成像元件10获取的多个子像素图像500来合成指纹认证和防冒充措施所需的图像。
(第99实施例)
在本实施例中，将说明图像处理单元44的另一示例。本实施例的电子装置1具备在上述各实施例中说明的成像元件10，并具有静脉认证功能。
静脉的形状因人而异，并且可用于生物特征认证。静脉是内部信息，而不是身体的表面，因此无法窥探细节的形状。此外，即使触摸被摄体，静脉也不会像指纹一样留下痕迹。由于这些原因，静脉认证难以伪造或冒充，因此在安全性方面非常出色。
根据本实施例的信号处理装置具有与根据前面实施例的指纹认证的信号处理装置不同的构造，因为血管在体内具有三维结构并且形状根据角度而不同，并且需要检测诸如血液中所含的血红蛋白等之类的特征光谱。
在本实施例中，以手指的静脉认证为例进行了说明，但被摄体不限于手指，例如也可以是诸如手掌或手腕之类的其它身体部位。
另外，静脉认证普及的原因在于，静脉相对于动脉比较浅，例如在手指的深度为2mm左右，而动脉在身体的深处，很难获得信号。此外，一个原因是静脉中的红细胞易于吸收特定的近红外线(约760nm)。本实施例的认证不限于使用与静脉有关的信息的认证，也可以使用与动脉有关的信息进行认证。
在本实施例的说明中，将简化与上述实施例重复的说明，并且将详细说明静脉认证特有的差异。注意，指纹和静脉可以由同一电子装置1进行认证，在此情况下，也可以使用电子装置1中的重叠构造元件(例如各种组件)，信号处理电路等可以用于指纹认证和静脉认证二者。此外，信号处理装置可以共同获取认证图像并执行每个认证。当然，可以单独设置专用构造元件，或者可以获取和认证单独的图像。
图258是示意地示出根据实施例的电子装置1的一部分(图像处理单元44)的框图。图像处理单元44包括缺陷校正单元440、外形测量单元456、裁剪单元458、去马赛克单元450、光谱分析单元454、立体图像合成单元460和加法处理单元448。另外，信号处理单元40、认证单元46和结果输出单元48的构造可以与上述实施例相同。此外，由相同附图标记表示的构造可以执行与上述实施例类似的处理。
成像元件10可以在不包括透镜的情况下接收来自子像素106中的被摄体的光。此外，成像元件10可以经由控制入射光的光学系统9接收来自外部光源的入射光或来自子像素106中的内部光源的反射光。例如，子像素106被包括在成像元件10中。其它构造元件可以设置在例如与成像元件10相同的芯片、以堆叠型形成的另一芯片或其它芯片中。
由于成像元件10的光接收和对接收光的信息的信号处理与上述实施例相同，因此省略说明。此外，由于同样适用于缺陷校正单元440中的处理，所以省略说明。
外形测量单元456在每个子像素图像500中提取手指的轮廓。作为提取处理，例如，可以使用诸如二值化、边缘检测滤波、蛇形处理(snake processing)、形态处理(morphology processing)或霍夫变换(Hough transform)之类的任何处理。外形测量单元456将测量的轮廓输出到剪裁单元458。
此外，外形测量单元456还将手指轮廓信息输出到认证单元46，并且将血管形状与手指的轮廓进行对照，从而提高认证精度。
剪裁单元458将图像剪裁成小尺寸以至少在每个子像素图像500内包括手指轮廓，从而减少随后的计算负荷。
去马赛克单元450对子像素图像500执行去马赛克处理。去马赛克处理是从周边像素的信号中收集缺失的颜色信息并将其赋予仅具有单个依据颜色的信息的每个像素的信号的处理，以创建具有插值的依据颜色的信息的图像。注意，这里使用的依据颜色的信息是基于设置在每个子像素106中的滤光片114(包括等离子体滤光片116)的光谱信息来区分，并且在包括近红外区域的广泛意义上进行定义。
光谱分析单元454可以执行分析以基于依据颜色的输出提取例如650到1000nm的光谱分量。该波长范围内的光也称为“生物窗口”。对应于可见光的400至650nm的光被血红蛋白以及其它生物组成较多地吸收，且在比近红外光长的波长处也被水较多地吸收，因此光无法在活体内传播。同时，具有650至1000nm波长的光很容易透过作为生物窗口来源的活体。
作为另一示例，光谱分析单元454可以执行分析以提取在760nm附近的波长区域中的输出，该光谱是在静脉中大量存在的还原血红蛋白特有的吸收光谱。
立体图像合成单元460从具有不同视差的多个子像素图像500输出三维形状信息。
加法处理单元448可以通过将三维形状中的多个相邻像素的输出与立体图像合成单元460的输出相加来提高SN比。在此情况下，加法处理单元448重新定义输出图像的像素间距和像素数，并输出图像。
作为具体示例，将600×1500×400个像素(＝200万像素)的三维空间的去马赛克图像划分为具有5×5×5个像素的部分，并且在每个部分中执行加法处理等。因此，加法处理单元448可以输出具有良好SN比的具有200×400个像素(＝80,000个像素)的图像。
即使在输入图像的SN比足够的情况下，也可以通过减少像素数来缩短计算时间。因此，加法处理单元448可以在不影响认证单元46的判定精度的范围内应用加法处理。
认证单元46可以基于例如由加法处理单元448等输出的静脉的三维形状(特征点)以及手指外形和静脉形状的相对位置信息来执行个人认证。此外，可以不仅在考虑静脉形状，而且还考虑用于分析的静脉的光谱信息的情况下执行个人认证。个人信息可以是与静脉形状等相关的信息，或者可以是与波长范围相关的数据。
结果输出单元48基于从认证单元46输出的结果输出个人认证结果。例如，结果输出单元48可以在与读取表面12接触的手指此时匹配所记录的个人数据的情况下输出认证成功信号，或者在其它情况下可以输出认证失败信号。
接下来，将说明针对根据本实施例的电子装置1执行静脉认证的情况。注意，本实施例中说明的认证方法不限于与使用成像元件10的其它认证方法的组合，并且例如可以是指纹形状和静脉认证的组合。此外，可以将这些认证与静脉认证和肤色认证组合，或者可以仅执行静脉认证。
此外，基于特征点(例如面部的眼睛、鼻子或嘴)的位置或面部区域的位置或大小来执行对照的另一认证方法(如面部认证)可以与本实施例组合，并且不限于这些认证方法。此外，可以根据电子装置1的用途选择性地使用认证方法或组合。例如，电子装置1可以通过解锁锁定屏幕的指纹认证缩短处理时间，并在诸如金融交易之类的需要高认证精度的认证中执行静脉认证。
图259是示出根据本实施例的电子装置1(信号处理装置)的处理流程的流程图。传感器激活(S100)、外部光条件获取(S102)和发光(S104)由于在上述实施例中进行了说明而被省略。
接下来，使由发光单元发出的且包含手指的静脉等的信息的光进行散射，并且成像元件10接收入射光(S206)。光接收由上述成像元件10(成像装置3)执行。
接下来，信号处理装置执行用于获取诸如认证所需的图像之类的数据的处理(S208)。例如，在光接收之后，通过A/D转换和背景校正来执行与获取静脉形状的获取或反射光、散射光或透射光的光谱信息的获取有关的处理。
接下来，认证单元46确定静脉形状是否彼此匹配(S210)。可以通过一般方法来执行静脉形状的确定。例如，认证单元46可以从静脉中提取预定数量的特征点，并且通过比较提取的特征点来确定该静脉是否可以被确定为存储的个体。或者，可以基于静脉相对于手指外形的相对位置信息来进行确定。
在静脉形状不彼此匹配的情况下(S210：否)，重复从S102开始的处理。在第二次及以后的认证中，例如，可以通过语音或显示来请求用户再次执行认证，以便相对于第一认证结果在提高认证准确性的方向上移动手指。在该请求之后，电子装置1可以再次执行认证过程。
作为另一示例，电子装置1可以在改变光源条件的同时执行第二次和随后的认证。作为又一示例，电子装置1可以在改变诸如图像处理和认证算法之类的信号处理的内容的同时执行第二次和后续认证。
在静脉形状彼此匹配的情况下(S210：是)，认证单元46随后确定光谱是否彼此匹配(S212)。认证单元46将由光谱分析单元454分析的光谱的结果与存储的个体的结果进行比较，并执行该确定。
例如，认证单元46可以确定获取的光谱是否存在于存储的静脉光谱的预定范围内。以此方式，不仅可以利用静脉形状，还可以利用光谱来进行个人认证。此外，不仅可以通过添加成像元件10的灵敏度光谱信息，还可以通过添加光源的光谱信息来提高识别精度。
在光谱不彼此匹配的情况下(S212：否)，重复从S102开始的处理。此外，可以在改变光源条件的同时执行第二次和随后的认证。与S210：否的情况类似，电子装置1可以在改变诸如图像处理和认证算法之类的信号处理的内容的同时执行第二次和随后的认证。
在光谱相互匹配的情况下(S212：是)，认证单元46确定认证成功(S112)并从结果输出单元48输出认证结果。在此情况下，结果输出单元48输出例如指示认证成功的信息，并且允许访问电子装置1的另一构造。
注意，在以上说明中，结果输出单元48在成功的情况下执行输出，但本发明不限于此。即使在S210：否或S212：否的情况下，也可以经由结果输出单元48向发光单元和成像元件10等提供认证失败的通知，并且可以再次获取数据。
在认证失败的情况下重复上述处理，但例如在重复持续预定次数的情况下，可以阻止对电子装置1的访问而不执行认证。在此情况下，可以通过其它访问手段(例如数字键盘)从界面请求用户输入密码。
此外，在此情况下，设备的读取有可能失败，因此可以在改变发光、光接收、读取表面的状态以及正在使用的光谱等的同时重复认证处理。例如，在获得设备被水弄湿的分析结果的情况下，可以通过用户界面进行一些输出以擦拭水并再次进行认证操作。
尽管在假定指纹认证的情况下说明了图10和图17示出的电子装置1的构造，但类似的构造可以应用于执行根据本实施例的静脉认证的电子装置1。
这里，将说明根据本实施例的电子装置中设置的光源。电子装置1中的光源的安装的各种变形例如图10至17所示。将说明这些附图中所示的电子装置1的静脉认证中的光源的光谱。
在除了电子装置1的显示光源之外还设置光源的情况下，上述的也称为“生物窗口”的650至1000nm的波长的光容易透过活体。因此，期望使用具有该区域的光谱强度的光源用于电子装置1的发光。电子装置1可以使用例如850nm附近或940nm附近的LED光源或半导体激光器等作为光源，或者可以使用VCSEL作为光源。此外，材料可以是在发光中心处包含稀土离子Yb3+、Tm3+或ND3+等的诸如ZnS之类的磷发光性材料，或者可以是诸如GaAs或InGaAs之类的量子点，并且没有限制。
作为另一示例，电子装置1的显示器可以用作用于静脉认证的光源。当在室内光线或太阳等下观察手指时，可以在视觉上将静脉识别为细小的蓝色线条，但在使用色度计实际测量时，静脉是棕色的。静脉之所以看起来是蓝色的，主要是因为红色区域的光更容易被静脉中的血红蛋白吸收，并且由于被称为颜色对比的光学错觉，静脉相对于皮肤颜色看起来相对较蓝。
即，即使在活体吸收较大的可见光区域中，通过在最接近红外光的红色波长区域或比较接近红外光的绿色波长区域中进行照射，也能够提高静脉的可视性。
图260是用单色光获取的静脉的子像素图像500的示意图。
尽管期望使用近红外光来获取静脉图像，但可以通过在不使用近红外光的情况下获取红色或绿色等波长区域中的图像并进行加权和合成来生成具有接近近红外光的对比度的静脉图像。根据该结果，可以通过有机EL的可见光照射来获取静脉图像。然后，获取的图像可以用于认证，并且在此情况下，期望发射红色和绿色光或红色光。
通过使用上述各种光源的照射而获得的子像素图像500的信号还包括例如手指表面的指纹凹凸不平的信号。在下述的子像素图像500之间的立体合成中认证精度不受影响的情况下，电子装置1可以在包括这些额外信息的同时执行认证。
当来自指纹的信号作为噪声分量产生不利影响时，电子装置1可以例如以与用于静脉认证的图像采集连续的方式利用蓝色波长区域中的光提取指纹分量。然后，信号处理装置可以通过信号处理从静脉图像中去除指纹分量。此外，当执行指纹认证和静脉认证两者时，例如，信号处理装置可以使用用于指纹认证的图像从用于静脉认证的图像中去除指纹分量。
注意，这些光源不需要由一种元件形成，并且可以包括多个光源，每个光源具有唯一的发射光谱。电子装置1可以在电子装置的内部或外部包括例如发射可见光的有机EL和发射近红外线的LED光源两者。
接下来，将说明根据本实施例的电子装置1中包括的成像装置3。
如上述一些实施例所示，成像元件10包括像素阵列100中的成阵列的像素102，并且像素102包括多个子像素106。来自被摄体的反射光、衍射光、散射光和透射光等入射到成像元件10上，并且成像元件通过使用像素阵列100读取入射光的状态来获取被摄体信息。
此外，如图250和251所示，可以通过像素102中包括的多个子像素106来获取视差信息。可以通过合成子像素的视差角信息来获取被摄体的三维形状的信息。
此外，可以通过设置在像素102中的各种滤光片或等离子体滤光片等来获取光谱信息。
此外，可以通过根据相对于每个像素102的芯片中心的距离和方位角以及像素102中包括的每个光学构件的高度应用光瞳校正来运算视差。所有成像元件10的上述实施例可以应用于该成像元件10，并且本实施例不限于成像元件。
接下来，将说明使用这些子像素图像500的立体图像信息的重构。
通常，已知的是，类似于人的右眼和左眼的立体识别，当存在具有不同视差的多个图像时，可以从这些图像中获取立体信息。通过使用这种与视差相关的方法，期望可以在本实施例中从多个子像素图像中获取静脉的三维形状。
图261是示出本实施例中的被摄体物与像素阵列100的关系的图。将使用图261的简化模型来说明用于从多个子像素图像500合成被摄体的三维图像的方法。注意，包括在像素阵列100中的像素102的结构例如可以是类似于图255中的结构，但不限于此，并且可以是在上述每个实施例中说明的结构。
图261示出了被摄体52被像素阵列100中包括的像素102成像的状态。在关注像素102中，被摄体52的反射光基本上以直角入射。在此情况下，子像素106e获得子像素图像520e。类似地，子像素106d获得子像素图像520d，并且子像素106f获得子像素图像520f。
注意，与被摄体52相同的被摄体被作为图像示出，但为了便于理解附图而强调该被摄体。实际上，子像素106d、106e和106f中的每一者获取从被摄体52的一部分反射的光，并且将子像素图像520d、520e和520f作为一个像素的强度获取。
这里，假设被摄体52存在于距成像元件10距离D的平面上，并且大气(折射率为1)位于被摄体52和成像元件10之间。成像元件10的像素102包括例如子像素106d、106e和106f。例如，在相对于垂直轴的某个方向上，这些子像素106d、106e、106f的视差设置为子像素图像520d的+30度、子像素图像520e的0度以及子像素图像520f的-30度。
假设被摄体52的特定部分的图像形成在子像素图像500d中的地址Ad处，该特定部分的图像形成在子像素图像500e中的地址Ae处，并且该特定部分的图像形成在子像素图像500f中的地址Af处。即，例如，子像素图像520d是子像素图像500d的地址Ad的位置处的亮度值。类似地，例如，子像素图像520e是子像素图像500e的地址Ae的位置处的亮度值，并且子像素图像520f是子像素图像500f的Af的位置处的亮度值。
当这些情况被认为是几何光学时，被摄体直接存在于子像素图像500e中的地址Ae处的像素102的上方。根据这种信息，信号处理装置不能确定被摄体的距离。类似地，在子像素图像500d中，被摄体存在于从对应于地址Ad的像素102向上30度方向的方位角上，但被摄体的距离不仅仅由信息确定。
假设地址Ad和地址Ae之间的距离为R12。如果这两条光学路径的信息是已知的，则可以唯一确定被摄体存在于与地址Ae对应的像素102正上方相隔距离D＝R12×tan(π/6)的位置。该推导方法即使在与另一子像素图像500f的信息结合时也可以获得类似的结果。
接下来，对该分析方法进行概括，并且说明在被摄体存在于未知位置和未知距离的情况下从多个子像素图像中识别被摄体的存在区域的分析方法。
首先，信号处理装置通过差分处理等提取每个子像素图像500中的被摄体的轮廓，并且以内部为1且外部为0的轮廓二值化。
接下来，信号处理装置在成像元件10上方的距离D处设定虚拟平面，使具有视角θ1的子像素图像520d偏移D/tanθ1，使具有视角θ2的子像素图像520e偏移D/tanθ2，并对所有子像素图像应用偏移处理。
此外，在这些图像之间进行乘法处理时，在真实存在被摄体的情况下，偏移图像中存在被摄体的位置处的输出全部为1，并且作为乘法的结果，输出仍然为1。另一方面，在不存在被摄体的情况下，任意一个偏移图像的值基本为0，并且输出也为0。
以此方式，可以在虚拟平面中指定被摄体能够存在的区域。通过在改变虚拟平面的距离D的同时执行该操作，可以像断层摄影那样提取可以存在被摄体的三维区域。在以下说明中，这种立体分析将被称为渲染(rendering)。
注意，该渲染有一些需要注意的地方。
首先，当从任一子像素图像观看时，变成阴影的区域由于遮挡前方区域的被摄体的影响而具有好像存在被摄体的结果，而与是否存在被摄体无关。
第二，在被摄体物的吸收率的对比度较弱的情况下，难以明确地二值化被摄体物的存在/不存在，并且存在误判断的风险。
第三，在被摄体和装置之间没有空气的情况下，光学路径根据它们之间的物质的折射率而改变，因此需要考虑斯涅尔定律来偏移图像。
对于第一点和第二点，期望基于被摄体的物理前提或规范前提等来建模和应用约束条件。例如，对于静脉，作为约束条件，优选将典型的血管具有0.7mm左右的粗细，血管倾向于沿手指的长度方向延伸，血管不能以孤立状态存在(血液不流动)，从横截面看时血管中不存在极锐角图形，静脉和指纹的信号密度和周期不同，等等。
对于第三点，只需基于各构件或被摄体的诸如折射率、消光系数之类的物理特性值，预先作为参数反映在图像偏移分析算法中即可。如果物理特性值未知，物理特性值可以通过诸如分光椭偏仪之类的手段来实际测量。此外，还存在中间物质为重复图案或随机图案的情况。即使在此情况下，也只需将这种情况处理为平均场近似，并设定参数以匹配实际测量，或者使用包含衍射现象等的模型进行分析。
接下来，将说明静脉认证的具体示例。这里，将主要说明三维静脉认证所需的处理和独创性。
首先，信号处理装置针对每个子像素106输出子像素图像500。随后，信号处理装置执行诸如背景校正和缺陷校正之类的预处理。然后，信号处理装置通过差分处理等提取手指的外形。
注意，在没有反映手指图像(例如，像素端部处的子像素图像500)的情况下，信号处理装置可以在该阶段将子像素图像从分析目标中排除。为了缩小计算处理的量，信号处理装置可以将图像剪裁成总是在任何子像素图像500中包括手指的外形的尺寸。
接下来，信号处理装置对剪裁区域的每个子像素图像500执行去马赛克。
然后，信号处理装置可以通过光谱分析提取与静脉相关的波长区域中的信号。例如，假设在成像元件10中，包括红色、蓝色和绿色滤光片的像素和没有滤光片的像素周期性地排列。例如，在成像元件10与被摄体之间以及被摄体与光源之间不存在红外线吸收滤光片的情况下，没有滤光片的像素能够同时接收近红外光和可见光。在考虑到光源光谱和每个滤光片的光谱的情况下，信号处理装置可以执行用于从绿色、红色和蓝色的输出中预测没有滤光片的像素的可见光分量的运算(例如，诸如线性矩阵之类的矩阵运算)，并从没有滤光片的像素的输出中减去结果。
针对如此获得的子像素图像，信号处理装置通过差分处理等执行血管图像的二维轮廓提取。例如，信号处理装置可以在观察内部区域和外部区域之间的输出差的同时进行用于将存在血管的区域的输出设定为1并且将不存在血管的区域的输出设定为0的二值化处理。
这里，例如，期望信号处理装置将具有不能是血管的微小区域的血管区域强制地设定为0，或者通过与指纹图像的对照来去除由指纹引起的噪声信号。
注意，对于在这些处理中难以确定的像素，信号处理装置可以在考虑信号可能是血管的情况下设定1和0之间的中间值，而不是进行简单的二值化。
图262示出了在三个子像素106中获取的静脉图像的处理结果的示例。通过对由子像素106d获取的图像应用上述处理来获得子像素图像500d。类似地，通过对分别由子像素106e和106f获取的图像应用上述处理来获得子像素图像500e和500f。
接下来，信号处理装置假定与成像元件10的表面相距距离D的虚拟平面，并且根据固有视差和它们之间的介质的折射率计算每个子像素图像500的偏移量。
接下来，信号处理装置执行将每个子像素图像500的像素值偏移偏移量的计算。
接下来，信号处理装置在相同地址之间进行乘法处理，并确定静脉是否存在于虚拟平面中。注意，在设定除0和1之外的中间值的情况下，期望使用适当的阈值重新确定相乘结果。
信号处理装置在改变虚拟平面的距离D的同时进行这种运算处理，并且在能够存在静脉的范围内进行扫描。因此，信号处理装置可以指定将存在血管的三维区域。
图263示出了针对图262的子像素图像500在偏移虚拟平面的同时偏移图像的过程。附图所示的Z表示到虚拟平面的距离。由子像素106d获取的子像素图像500d、由子像素106e获取的子像素图像500e以及由子像素106f获取的子像素图像500f从上部开始示出。底部行示出了通过合成这些子像素图像500获得的合成图像540。
例如，在合成图像540中，可以通过由黑框包围的具有不同高度的三个合成图像来获取静脉的三维结构。具体地，可以看出该结构在成像区域的下侧沿纸的右斜方向从手指表面约1.4mm的深度向上延伸到2.1mm的深度附近，然后在保持高度的同时相对笔直地延伸，并且在成像区域的上侧沿纸的右斜方向向上延伸到2.8mm的深度附近。
注意，除了上述图像分析之外，对于已被确定为检测到的血管的图像，信号处理装置可以根据基于物理模型的规则(规则库)或通过机器学习等推导出的经验规则来执行用于提高识别精度的处理。例如，信号处理装置可以通过使用血管是否具有适当粗细、血管是否未被隔离等作为确定材料来提高识别精度。
另外，信号处理装置例如可以将诸如特征点(例如，静脉的分支点)的相对位置、这些特征点与手指的外形之间的相对位置以及血管的三维角度之类的特征点与存储单元40中存储的个人信息进行对照。在此情况下，在考虑到手指的放置是不确定的情况下，可以基于手指外形或静脉形状通过三维旋转处理来执行测量数据和注册数据的对齐。
图264示出了合成三维静脉的合成图像的横截面。如图264所示，所获取的每个子像素图像500中的血管形状与血管的原本形状稍有不同。
这种形状偏差是由两个原因造成的。上锐角部分和下锐角部分是由视野的窄采样范围引起的。其它钝角部分是由于采样次数少造成的。合成图像的截面积的增加是由具有有限宽度的灵敏度特性的子像素的倾斜入射特性而不是δ函数的引起的。
为了抑制由于这些影响而导致的错误判定，例如，信号处理装置可以对根据子像素106的视差信息假定的截面形状(图264中的六边形)建立模型函数。信号处理装置可以执行拟合，使得模型函数在获得某个横截面时被内接。信号处理装置可以认为血管的质心在模型函数的质心位置，并且可以通过反映模型函数的截面积来估计血管的粗细。
注意，由于血管有可能存在于附近，因此在拟合精度差的情况下，信号处理装置可以利用假设多个血管的模型函数进行优化。此外，信号处理装置可以不将血管的截面形状单独用作确定材料，而通过关于血管如何在手指中立体地布设等特性来定义和确定个体信息。
此外，作为防冒充措施，信号处理装置可以将静脉特有的光谱特性(例如，650至1000nm波长的光的易透射性)添加到生物特征认证中。此外，例如，信号处理装置可以测量大量存在于静脉中的还原血红蛋白容易吸收760nm附近的波长区域并将测量结果添加到生物特征认证中。此外，信号处理装置可以在不同的时间多次测量静脉以捕捉血管的脉动，并将测量结果添加到生物特征认证中。
如上所述，根据本实施例，通过使用光源和考虑了静脉吸收光谱的信号处理，可以从具有多个子像素的像素的输出合成三维静脉图像，由此实现高精度的静脉认证。此外，通过使用光谱和脉动的信息，可以提高活体的认证精度。
注意，在本实施例中，已经说明了基于三维形状的静脉认证的示例，但可以将静脉认证作为二维图像来处理。即使在使用二维图像的情况下，电子装置1也可以进行近似认证。即，电子装置1的认证中的分析维度不限于此。
此外，虽然已经说明了三维形状估计方法的示例，但本实施例不限于此，并且例如，可以处理输出信息而不进行二值化。例如，电子装置1可以首先二维地提取每个子像素图像500的特征点，在考虑视差的同时指定多个特征点的立体位置关系，并然后认证个体。
(第100实施例)
本实施例的电子装置1包括上述实施例中说明的成像元件10，并具有脉搏血氧计的功能。
血氧计是一种测量血液中饱和氧浓度的装置。例如像发烧时的温度计一样，血氧计为患有诸如哮喘之类的呼吸系统疾病的用户提供呼吸系统身体状况管理的重要指标。
血氧计的测量原理是利用动脉中大量含有的氧合血红蛋白和静脉中大量含有的还原血红蛋白的消光系数光谱不同的事实。例如，电子装置1可以通过测量光谱存在光谱差异的660nm附近与存在很小光谱差异的近红外区域中的850nm或940nm附近的信号比来计算氧饱和浓度。
成像元件10可以通过适当地组合滤光片114或等离子体滤光片116来提高660nm附近和940nm附近的光谱灵敏度。通过对具有多个灵敏度光谱的输出的信号处理来获取具有更窄波段的信息。
在这些分析中，假设电子装置1掌握了光源侧的光谱信息。在被电子装置1控制并发光的光源的情况下，电子装置1可以通过将预先测量的光谱信息记录在存储单元42中来掌握光源的光谱信息。
在使用具有未知光谱的外部光源的情况下，电子装置1可以在认证期间分析该光谱。例如，电子装置1根据透射光的强度分布确定存在手指的区域。然后，电子装置1可以通过在另一个没有放置手指的区域中的像素102中以与信号的测量和信号处理以及获取相同的方法来分析外部光源的光谱。
除了饱和氧浓度之外，脉搏血氧计还测量脉搏。由于动脉中的血流有强有弱，因此电子装置1可以通过测量这个周期来同时测量脉搏。此外，由于该脉动表示活体，因此电子装置1可以将该脉动用于防止冒充的确定。
(第101实施例)
根据本实施例的电子装置1包括上述实施例中说明的成像元件10，并且实现被一般称为光场的处理，例如通过子像素106利用合成图像进行的成像后的重聚焦、三维立体信息的获取、视点移动、每个被摄体的距离信息以及深度信息等。
首先，将根据像平面(image plane)相位差的观点来说明再聚焦的概念。在某个被摄体被聚焦的状态下，无论光学路径如何，来自该被摄体的光都到达传感器表面的一个点。同时，在离焦的状态下，来自被摄体的光在传感器表面上的到达位置根据路径而改变。
换言之，在关注传感器上的某个像素102时，离焦变成如下状态：具有不同偏移量(像平面相位差中的图像相位差)的图像多次重叠并且模糊。在重新聚焦时，当关注某个像素102的输出时，分解并了解输出的分解项从哪个角度以及以多大的量到达，由此通过计算来实现虚拟调焦。
下面举例具体说明利用视差信息实现重聚焦的方法。
为了便于理解，图265是示出了没有光学透镜的简化电子装置1的像素102的光接收状态的示意图。像素102包括多个子像素。
为了方便起见，将该剖视图中的像素102定义为从左起的像素102A、102B、102C、102D、102E、102F，并且将像素102中包含的子像素106定义为每个像素102中的子像素106A、106B、106C、106D和106E。
由各个子像素106A、106B、106C、106D和106E获取的子像素图像500是子像素图像500A、500B、500C、500D和500E。
子像素106A经由透镜104从倾斜右上方接收光，并且子像素106A的视差角被定义为θA。类似地，子像素106B、106C、106D和106E的视差角分别定义为θB、θC、θD和θE。
例如，将说明使信号处理装置聚焦在与传感器表面相距有距离R1的再聚焦面560A上并生成聚焦在再聚焦面560A上的图像的方法。
子像素图像500A被设计为接收来自角度θA的光。认为来自位于距离R1处的重聚焦面560A的光在一个点上形成图像。可以理解，子像素图像500A通过回溯光束而偏移了R1/tan(θA)。
类似地，子像素图像500B、500C、500D和500E分别偏移了R1/tan(θB)、R1/tan(θC)、R1/tan(θD)和R1/tan(θE)。
信号处理装置可以通过以此方式对多个子像素图像500进行偏移和求和来生成聚焦在再聚焦面560A上的图像。类似地，信号处理装置可以生成合成图像，该合成图像聚焦在与传感器表面相距有距离R2的再聚焦面560B或与传感器表面相距有距离R3的再聚焦面560C上。
接下来，将说明从根据本实施例的电子装置1获取的图像获取三维立体信息的方法。
图266是示出没有光学透镜的简易电子装置1的像素102的光接收状态的示意图。将参照图266说明获取三维立体信息的方法。像素102和子像素106等的名称定义与图265中的相同。例如，电子装置1在子像素106中获取被摄体52的信息。
一般来说，从任何角度观察，来自被摄被摄体的光通常都包含可用于唯一地识别被摄体的特征图案，例如表面上的图案、不均匀造成的阴影、或照明光的强度或颜色的不均匀性。这里，假设被摄体具有特征图案。
将考虑本实施例的成像元件10如何接收来自某个立体被摄体中的某个部分的散射光。例如，在图266的S1中存在被摄体面时的扩散光被像素102D的子像素106A、像素102E的子像素106C和像素102F的子像素106E接收。
以此方式，可以在几何上唯一地获得哪个像素102的哪个子像素106接收来自某个立体被摄体中某个部分的散射光。
基于上述两个前提，可以从多个子像素图像500获取三维立体信息。假设在子像素图像500A中获取的图像捕获了被摄体52的表面的特征图案。尽管在另一个子像素图像500中存在视差差异，但应该捕获其特征。因此，信号处理装置可以计算用于通过执行图像偏移使子像素106的特征图案彼此匹配的偏移量。
例如，信号处理装置将子像素图像500A相对于子像素图像500C向右偏移一个像素，并且将子像素图像500E相对于子像素图像500C向左偏移一个像素，以匹配被摄体52的S1中的特征图案。由于偏移量是根据传感器表面和被摄体之间的距离唯一确定的，因此可以针对每个特征图案通过偏移量的差异来了解被摄体的三维形状。
注意，在使用特征图案的偏移量计算中存在计算精度的各向异性。例如，在具有竖条纹的被摄体的情况下，在水平方向上布置的子像素图像的计算精度较高，难以获得在水平方向上布置的子像素图像500的对比度，并且计算精度为恶化。
当彻底执行图像偏移时，它需要处理时间，但例如，信号处理装置可以指定具有高被摄体对比度的方位角。然后，信号处理装置可以通过优先使在具有高对比度的方位角上的子像素图像500的组合偏移来缩短处理时间。
注意，尽管已经参考图265中的没有光学透镜的实施例的示意图进行了说明，但即使在电子装置1通过光学透镜对被摄体进行成像的情况下，也可以通过几何光学射线追踪分析执行类似的操作。
如上所述，根据本实施例的电子装置1包括上述实施例中说明的成像元件10，并且可以通过与光学镜头组合来实现通常被称为光场相机的功能，例如通过子像素106使用合成图像进行的成像后的重新聚焦、三维立体信息的获取、每个被摄体的距离信息以及深度信息等。
此外，可以通过全局快门驱动获取没有焦平面失真的图像，由此即使对于运动被摄体，也可以获取三维信息。
此外，通过红外线获取窄带多光谱信息或光谱信息，可以计算出由于人眼无法识别的微弱色差和人眼无法看到的波段而导致的特征图案的偏移量。例如，在将电子装置1用于机器视觉中的表面凹凸检查的情况下，通过使用本实施例的方法，能够提高测量精度。
此外，根据本实施例的方法也可以应用于诸如影片之类的数字电影中越来越多的商用相机。在数字电影中，CIE1931是作为色彩表现方法的标准，并且利用12位色彩深度(驱动位深度)可以处理海量色彩。对于这种数字电影，实现本实施例的方法的相机(电子装置1)可以包括在启用成像和视点移动之后的重新聚焦之后的等离子体滤光片116。通过设置等离子体滤光片116，电子装置1可以通过多光谱同时实现精细色彩再现。
(第102实施例)
图267是示出成像装置3的示例的视图。成像装置3例如包括光学系统9和成像元件10。光学系统9布置在成像元件10的光入射面侧，即靠近显示单元2的一侧。透过显示单元2的显示表面的光通过光学系统9传播到成像元件10。
成像元件10例如是上述各实施例的成像元件10。由光学系统9会聚、扩散等并传播的光由成像元件10中包括的像素阵列接收并输出模拟信号。此外，虽然未示出，但设置了接收光和输出模拟信号所需的元件、电路等。例如，光电转换部可以包括互补金属氧化物半导体场效应晶体管(CMOS)元件或电荷耦合器件(CCD)元件。此外，可以任意地设置具有上述实施例中说明的特征的构造元件。
光学系统9可以包括例如透镜。此外，光学系统9可以是包括设置在上述显示面板4中的开口的概念，或者可以是没有透镜的简单开口概念。
例如，作为光学系统9，设置有设置在显示面板4中的开口和布置在沿第三方向比开口更靠近成像元件10的位置处的透镜。例如，开口可以设置在具有低透射率的基板4a中，并且可以设置将透过开口的光传播到成像元件10的透镜。例如，每个成像装置3中的诸如数值孔径(Na)和F数之类的光学特性由透镜和开口限定。
此外，光学系统9可以使成像装置3具有另一光学特性，例如具有不同的阿贝数。
光学系统9中包含的透镜被例示为一个透镜，但不限于此，并且可以设置为包括多个各种类型的透镜的透镜系统。此外，光学系统9可以不包括透镜。例如，光学系统9可以包括如点划线所示的多个堆叠透镜。
从显示单元2的显示表面侧入射的光透过光学系统9并发生折射和衍射等，并由成像元件10接收。在电子装置1中，在没有设置光学系统9的部分处，可以适当地抑制反射等，并且类似于普通显示器，可以将显示单元2上的显示调整为易于观看。
例如，电子装置1可以包括在显示面板4的发光像素之间的开口。电子装置1可以在开口的在第三方向上与显示表面相反的一侧包括透镜，并且可以将从显示表面入射的光传播到成像元件10。此外，电子装置1可以包括在每两个连续的发光像素之间的开口。换言之，电子装置1可以包括在开口之间的发光像素。
电子装置1包括例如成像元件10和图8、247和248中的任一者或图258所示的构造，作为后续的信号处理电路。
上述构造中的一些或全部可以形成在同一基板上。例如，上述构造元件的一部分或全部可以形成在一个芯片上，或者该构造中的部分可以适当地形成为另一芯片。此外，形成在一个芯片的同一基板上的构造的部分可以在制造工艺中通过诸如芯片上芯片(CoC)、晶片上芯片(CoW)和晶片上晶片(WoW)之类的技术与形成在另一基板上的构造的部分堆叠在一起。
如上所述，通过将在上述各实施例中说明的成像元件10设置在显示器的下方，能够使成像装置3作为例如兼具指纹传感器功能的内部相机发挥功能。在此情况下，成像装置3或电子装置1可以通过信号处理电路适当地校正来自显示器的杂散光、来自另一偏振器等的反射光以及眩光。
此外，成像装置3或电子装置1可以通过在适当的位置等处设置遮光壁来抑制眩光等的发生。由于成像装置3或电子装置1可以有效地使用子像素106，所以可以提高角分辨率并且还可以提高灵敏度。
各种类型的信号处理部可以包括数字电路或可编程电路，例如现场可编程门阵列(FPGA)。另外，也可以将处理内容记述在程序中，并且可以使用诸如CPU之类的硬件资源来专门地实现软件信息处理。
(第103实施例)
图268是在显示器下方包括成像元件10的示意图。即使通过例如打开显示单元的聚酰亚胺树脂的一部分来增加透过显示器的光量，诸如晶体管或布线等之类的遮蔽体58也不透射光，这影响了由成像元件10接收的被摄体图像。例如，显示单元的发光元件、TFT以及其它电极等可以是影响被摄体图像的遮蔽体58。
在不存在显示器的遮蔽体58的情况下，可以根据光场相机原理合成子像素图像500以形成焦平面的被摄体图像。然而，在显示器的遮蔽体58存在于它们之间的情况下，光被部分遮挡，这导致图像质量劣化，例如模糊和不均匀。
图269是示出根据本实施例的设置在显示器下方的成像元件10的示意图。作为针对上述情况的对策，如图269所示，可以去除受显示器的遮光物影响的子像素106，并且可以仅从适当地接收来自被摄体的光的子像素106的输出来合成被摄体图像。
注意，受显示器的遮光物影响的子像素106可以在设计阶段被分类并存储在电子装置1中。替代地，可以对均匀的被摄体进行成像，并且可以通过实际测量提取并存储具有减小的输出的子像素106。
这种去除显示元件图像的方法可以应用于在显示器下方设置用于诸如指纹认证、静脉认证或光场相机等之类的任何目的的成像元件的任何情况，并且可以增加电子装置1的使用价值并扩展电子装置1的使用环境。
(第104实施例)
在前一实施例中，子像素106被控制，但光学系统可以插入在遮蔽体58和像素102之间。
图270是示出根据本实施例的设置在显示器下方的成像元件10的示意图。如图270所示，光可以经由光学系统9进入像素102。即使在此情况下，类似地，可以在排除由于遮蔽体58而不能接收光的子像素106的同时执行信号处理。
通过以此方式接收光，可以使用适当地接收来自被摄体的光的子像素106的输出来合成适当的被摄体图像。
上面已经说明了各种实施例。根据这些实施例，在各种效果之中，例如，可以展现出以下效果。
作为不同于触摸显示的输入模式，根据本发明的另一方面的具有运动捕捉功能的电子装置1可以捕捉诸如手指之类的被摄体的运动，作为包括深度方向的光学图像，并且可以向电子装置1输入输入操作命令。
根据本发明的另一方面的包括不具有光学透镜的成像装置3的电子装置1能够利用薄外壳实现近距成像。具体地，电子装置1例如可以应用于进行超微距特写拍摄、虹膜认证、最小条形码读取、机器视觉装置的检查等的相机。
根据本发明的另一个方面的具有成像功能的电子装置1可以通过与光学透镜的组合带来额外价值，例如通过子像素以及合成图像进行的成像后的重新聚焦、视点位置的偏移、三维立体信息的获取、每个被摄体的距离信息、深度信息以及数码相机或摄像机等中的窄带光谱信息。此外，通过在光接收元件中安装存储器，全局快门驱动成为可能，并且可以获得没有焦平面失真的图像。
(第105实施例)
在上述各实施例中，说明了子像素106的各种方式的示例。在本实施例中，将说明子像素106的又一形式。
子像素106可以包括线栅偏振器(WGP：wire grid polarizer)。线栅偏振器是透射垂直于导线的电场矢量辐射并反射平行于导线的电场矢量辐射的元件。
例如，对反射型线栅偏振器进行加工，使得线状导体和空间交替地布置。在线状导体的振动方向与光的电场为相同方向的情况下，导体中的自由电子受到来自光的电场的力而移动，并且追随电场，使得电场变为0，并且由这种运动产生的反射波和光的电场相互抵消，且不能透过。
另一方面，在线状导体的振动方向与光的电场的振动方向正交的情况下，导体内的自由电子无法追随电场，并且光在不产生反射波的情况下透射。因此，光的电场被反射和透射的方向由线状导体的安装方向定义。
如上所述，可以选择性地透射其电场的振荡方向垂直于偏振器的多个线状导体的光。注意，在线状导体的方向与电场的振荡相同的情况下，电场被反射。然而，这不是排除了电场部分吸收的限制，并且至少部分电场可以被吸收。
图272是示出线栅偏振器的示例的视图。作为包含在子像素106中的滤光片，可以使用如图所示的线栅偏振器140。
图273是示出通过在元件的厚度方向的中间部分处切割线栅偏光板140获得的切割面的视图。线栅偏振器140例如包括如图所示的导体。以此方式，线栅偏振器140可以包括导体。
图274是示出通过在元件的厚度方向的中间部分切割线栅偏振器140获得的切割面的示例的视图。线栅偏振器140包括包括导体的线部分和包括绝缘体的框架部分。如图所示，线栅偏振器140可以包括绝缘体或半导体，以代替除了线部分之外的导体。
在下面的说明中，由于图示变得复杂，所以没有设置如图272所示的阴影线，而是可以使用类似于图273和274中的形式。此外，这些形式可以与在上述每个实施例中说明的像素102一体地形成。
图272所示的线栅偏振器140例如包括线部分和基材。作为示例，基材和线部分可以具有包括相同材料的堆叠结构。基材和线部分的至少一部分包含诸如金属之类的导体。线栅偏振器140是一种向光电转换区域提供具有电场振荡的光的光学元件，该电场选择性透过被夹在线部分之间的开口部分。如图272所示，线栅偏振器140可以设置成在平面图中与子像素106的光电转换区域重叠。
图275是图272的线部分的沿第二方向截取的剖视图的示例。
图276是图272的线部分的沿第一方向截取的剖视图的示例。
如这些图中所示，线栅偏振器140可以包括在线部分中的反射层142、绝缘层144和吸收层146。该构造可以在形成线栅偏振器140的基材中类似。开口148设置为被由上述元件形成的线部分夹持。
例如，在入射波的电场在偏振器中的线纵向方向上具有分量的情况下，偏振器中的自由电子相对于纵向方向上的电场沿线纵向方向跟随入射光的电场，并且反射层142辐射反射波并反射入射光。因此，反射层142包括用于反射入射光的材料，例如诸如金属之类的导体。反射层142可以包括具有导电性的无机材料，来代替金属等。
反射层142例如可以由包含钨(W)、铝(Al)、银(Ag)、金(Au)、铜(Cu)、铂(Pt)、钼(Mo)、铬(Cr)、钛(Ti)、镍(Ni)、铁(Fe)和碲(Te)等中的至少一者的金属膜、包含这些金属中的至少两种的复合物、这些金属的氧化物、这些金属的氮化物或这些金属的合金制成。此外，反射层可以构造为通过组合这些材料而获得的多层膜。此外，反射层也可以由这些材料和诸如硅(Si)或锗(Ge)之类的半导体材料构成。
可以在反射层142的下侧形成以Ti、TiN或Ti/TiN的堆叠结构形成的基膜，作为粘合层。
当关于诸如太阳光之类的强光在固态成像元件的表面上反射光时，该光被密封玻璃、红外吸收滤光片或固定外壳等再次反射，并且再次反射的光可以再次入射到固态成像元件上。这种再次入射可能会导致图像质量下降，例如眩光和重影。因此，期望抑制再次入射。作为对策，为了抑制来自形成线栅偏振器140的反射层142的反射光，期望在线部分的反射层的导电材料上形成容易吸收光的材料。
吸收层146是包含容易吸收光的材料的层。如图所示，与反射层142类似，期望在反射层142上隔着绝缘层144形成吸收层146。作为构成吸收层146的材料，期望使用金属材料、合金材料或具有不为0的消光系数k(即具有光吸收功能)的半导体材料。
具体地，吸收层146的示例包括金属材料以及半导体材料，金属材料例如为银(Ag)、金(Au)、铜(Cu)、钼(Mo)、铬(Cr)、钛(Ti)、镍(Ni)、钨(W)、铁(Fe)、硅(Si)、锗(Ge)、碲(Te)和锡(Sn)、含有这些金属的合金材料。
例如，绝缘层144可以包括诸如氧化硅(SiO2)之类的材料。绝缘层设置在反射层142和吸收层146之间，并调节被反射层反射的光的相位。
具体地，绝缘层144将反射层142反射的光的相位调整为与吸收层反射的光的相位相反的相位。由于经绝缘层144调整相位的光与经吸收层142反射的光相位相反，因此两者均因干涉而衰减。这使得可以减少线栅偏振器140对光的反射。绝缘层144还用作吸收层146的基底。
开口148是沿第三方向贯穿基材的凹槽。线部分布置在开口148之间。线栅偏振器140通过连续地布置开口148和线部分而形成。
线栅偏振器140的线部分和基材部分是利用上述图275和276形成的，作为基本构造。此外，可以为此构造设置保护层。
图277是图272的线部分的沿第二方向截取的剖视图的示例。
图276是图272的线部分的沿第一方向截取的剖视图的示例。
线栅偏振器140的线部分可以由保护层150保护。构成保护层的材料希望地是例如具有2以下的折射率和接近0的消光系数的材料。这种材料的非限制性示例包括诸如含有TEOS-SiO2的SiO2、SiON、SiN、SiC、SiOC和SiCN之类的绝缘材料和诸如氧化铝(AlOX)、氧化铪(HfOx)、氧化锆(ZrOx)和氧化钽(TaOx)之类的金属氧化物。此外，其它非限制性示例可包括全氟癸基三氯硅烷(perfluorodecyltrichlorosilane)和十八烷基三氯硅烷(octadecyltrichlorosilane)。
保护层150可以通过诸如各种CVD法、涂布法、溅射法、包括真空气相沉积法的PVD法或溶胶-凝胶法之类的工艺形成。作为另一示例，更有利的是采用所谓的原子层沉积法(ALD法)或高密度等离子体化学气相沉积法(HDP-CVD法)。通过使用ALD法，可以在线栅偏振器上共形地形成薄的保护膜。此外，通过使用HDP-CVD法，可以在线部分上形成更薄的保护膜。
作为另一示例，在形成开口148之后的时刻，可以用用于形成保护层150的材料填充开口148。此外，还可以通过在保护层150的形成材料中设置间隙、孔或空隙等来降低保护层150的折射率。
注意，在本实施例中，线部分包括反射层142、绝缘层144、吸收层146以及保护层150，但本实施例不限于此。在它们之中，线栅偏振器140的线部分可以至少包括反射层142。
此外，线栅偏振器140例如具有作为开口148的气隙结构，但也可以具有该结构以外的结构。例如，在线栅偏振器140中，可以在开口148中嵌入透光的绝缘膜，例如氧化硅膜。
将说明线栅偏振器140的非限制性具体构造示例。
反射层142包括例如厚度为50至250nm、更优选为100至200nm的铝(Al)。
绝缘层144包括例如厚度为25至50nm的SiO2。
吸收层146例如包括厚度为10至50nm、更优选为15至35nm的钨(W)。
注意，吸收层下方的粘合层具有0至50nm、更优选0至30nm的Ti、TiN和Ti/TiN的堆叠结构。
线栅偏振器140的包含金属的基材还可以用作像素102之间和子像素106之间的元件隔离部。在此情况下，可以在稀疏区域上布置用作输出黑电平基准的光学黑的黑基准部，并用于遮光。
如此形成的图272的线栅偏振器140布置在至少一个像素102中的至少一个子像素106上，并用作阻挡沿第一方向振荡的电场并透射沿第二方向振荡的电场的偏振器。
图279是示出线栅偏光板140的另一示例的视图。线栅偏光板140相对于图272的线栅偏光板140偏移90度，并且用作透射沿第一方向振荡的电场并阻挡沿第二方向振荡的电场的偏振器。
图280是示出线栅偏振器140的另一示例的视图。线栅偏振器140相对于图272中的线栅偏振器140偏移45度，并且用作透射沿偏移45度的方向振荡的电场并阻挡沿相对于该方向偏移90的方向上振荡的电场的偏振器。
图281是示出线栅偏振器140的另一示例的视图。线栅偏振器140相对于图280中的线栅偏振器140偏移90度(即，相对于图272中的线栅偏振器140偏移135度)，并且用作透射沿偏移90度的方向振荡的电场并阻挡沿相对于该方向偏移90度的方向振荡的电场的偏振器。
设置在子像素106中的滤光片可以是这种的线栅偏振器140。接下来，将说明这些线栅偏振器140如何布置在子像素106中的一些非限制性示例。
图282是示意地示出根据实施例的像素102中的子像素106中布置的滤光片阵列的示例的视图。如图282所示，线栅偏振器140针对位于像素102中的等效位置处的子像素106布置。线栅偏振器140可以构造为对于每个像素102具有不同的偏振方向。在一个非限制性示例中，图282所示的线栅偏振器140A是图272所示的线栅偏振器140，线栅偏振器140B是图279所示的线栅偏振器140，线栅偏振器140C是线图280所示的栅偏振器140，并且线栅偏振器140D是图281所示的线栅偏振器140。
针对相同的阴影子像素106布置相同的线栅偏振器140。选择线栅偏振器140的方法不限于上述方法，并且可以使用任何选择方法，只要线栅偏振器140A、140B、140C和140D具有不同的偏振方向即可。此外，代替四种类型，例如，可以仅使用图272和279中的线栅偏振器140的组合，或者可以混合各种角度的线栅偏振器140。
如图所示，像素阵列100可以在在相邻像素102中具有不同偏振方向的线栅偏振器140的布置中周期性地包括像素102。如上所述，通过周期性地设置具有周期性不同的偏振方向的线栅偏振器140，可以以高分辨率在对应子像素106的视差方位角下检测来自被摄体的偏振信息。
图283是示出线栅偏振器140的布置的另一示例的视图。线栅偏振器140A、140B、140C、140D例如是与图282同样具有不同偏振方向的线栅偏振器140。
如图283所示，在像素102中的等效位置处的子像素106中，线栅偏振器140可以被稀疏并周期性地布置，并与进行正常输出的像素102(包括另一种类型的滤光片的像素102)混合。通过这种布置，偏振信息的分辨率劣化，但可以使用应用了具有视差的另一个滤光片的像素102来生成图像。
图284是示出线栅偏振器140的构造的另一示例的视图。线栅偏振器140A、140B、140C、140D例如是与图282同样具有不同偏振方向的线栅偏振器140。
如图284所示，线栅偏振器140可以针对位于像素102中的等效位置处的多个子像素106周期性地布置。通过这种布置，可以通过获取像素102中的不同视差的偏振信息来扩大偏振信息的视角。
可以通过扩大视角来提高重叠区域的分辨率，并且还可以通过偏移添加处理来提高SN。此外，可以实现相位解缠(phase unwrapping)处理。
此外，存在着仅通过偏振分析难以确定被摄体是凸形还是凹形的不确定性问题。然而，通过组合这种子像素106，可以解决不确定性问题。
注意，在图284中，偏振方向相差90度的线栅偏振器140以棋格图案布置。然而，例如，如图282所示，线栅偏振器140可以布置成使得在第二方向上相邻的像素102中偏振方向相差90度。
此外，在图283和284中，在子像素106之中，线栅偏振器140设置的像素102的预定侧边的中点位置，但本实施例不限于此。例如，如图285和286所示，线栅偏振器140可以设置在像素102中的预定对角位置。这些可以根据期望获取的信息适当地选择。此外，如图287所示，可以在位于中心处的子像素106中设置偏振器。此外，在如图284所示的形式中，像素102可以如图283所示被稀疏化。
根据本实施例，可以针对每个像素102获取沿预定方向偏振的光的信息。
注意，已经说明了在像素102中包括3×3个子像素106的形式，但本实施例不限于此。像素102可包括例如2×2个子像素106或4×4个以上的子像素106。此外，作为另一非限制性示例，像素102可包括2×3个子像素106，或至少一个子像素106可以是具有如图15至17所示的任何形式的线栅偏振器140。
此外，在以上说明中，已经说明了线栅偏振器140设置在子像素106中的形式。然而，如图287所示，可以采用在像素102中设置线栅偏振器140的形式。也就是说，可以将相同的偏振信息输入到属于同一像素102的子像素106。在此情况下，可以针对每个子像素106进一步设置另一种类型的滤光片。
在以上说明中，已经使用一些非限制性示例说明了使用线栅偏振器140的情况，但本实施例不限于此。
例如，偏振方向不限于0度、45度、90度和135度，并且还可以是其它角度，可以具有三个以下的方向或五个以上的方向而不是四个方向的偏振方向。在获取三个方向的偏振信息的情况下，可以通过使用三角函数的拟合进行规范分析，并且可以使用五个以上的方向提高拟合的精度。
如上所述，线栅偏振器140可以与其它滤光片混合。例如，可以在线栅偏振器140上方或下方设置彩色滤光片。
注意，在其中针对像素阵列100中的子像素106或像素102设置线栅偏振器140的同一平面中，可以混合具有针孔的遮光滤光片、等离子体滤光片或下述的GMR滤光片。此外，针孔、等离子体滤光片或GMR滤光片等可以设置为在线栅偏振器140的上方或下方重叠。
(第106实施例)
作为滤光片的又一示例，可以提到导模共振(GMR：Guided Mode resonance)滤光片。GMR滤光片是包括具有周期性结构的衍射光栅以及波导的滤光片。GMR滤光片是透射由衍射光栅和波导选择的光的滤光片。在本实施例中，GMR滤光片例如设置在子像素106上方，以透射选择性光并提供给光电转换单元。
更具体地，GMR滤光片是通过组合衍射光栅和覆层-芯结构而能够仅透射窄波段(窄带)中的光的光学滤光片。利用在波导中产生的导模中的衍射光的共振，光利用效率高，并且可以获得尖锐的共振光谱。
图288是示出GMR滤光片的示例的平面图。如该图所示，GMR滤光片160包括基材162和衍射光栅164。GMR滤光片160例如通过在基材162上设置开口并设置衍射光栅164来形成。
如图288所示，例如，衍射光栅164可以具有一维光栅形状。
图289是示出GMR滤光片的示例的平面图。如该图所示，衍射光栅164可以具有二维光栅形状。
图290例如是示出图288的GMR滤光片160的G-G截面的光栅部分的视图。GMR滤光片160包括衍射光栅164、覆层166和芯层168。如图所示，GMR滤光片160形成为使得衍射光栅164、覆层166和芯层168沿光入射方向堆叠。
如上所述，衍射光栅164由设置在基材中的开口形成。更具体地，相对于基材以等间距Pg设置开口部，并且通过这些开口部形成衍射光栅164。开口例如是在半导体层的厚度方向(第三方向)上贯穿基材的凹槽。
例如，使用薄金属膜作为衍射光栅164。更具体地，作为非限制性示例，衍射光栅164包括铝(Al)、以铝(Al)为主要成分的合金、或铜(Cu)或以铜(Cu)为主要成分的合金。
在考虑了GMR滤光片的性能、安装体积以及制造工艺等的情况下来确定衍射光栅164的厚度。衍射光栅164的厚度例如设定在20至200nm的范围内。
如图所示，上部层间绝缘膜306a的折射率设定为n1，覆层166的折射率设定为n2，芯层168的折射率设定为n3，并且芯层168与光电转换元件之间的层间绝缘膜306b的折射率设定为n4。在此情况下，衍射光栅164的光栅周期Pg可以设定在满足以下表达式的范围内，其中GMR滤光片的透射波段的中心波长是λ。
[数学式11]
Figure GDA0004051243590001691
通过将光栅周期Pg设定为200至600nm，衍射光栅可以支持从紫外光到近红外光的波段中的光。
此外，折射率设定如下。
[数学式12]
n3>n2, n4>n1    (12)
注意，n2和n4之间的大小关系不受限制。
覆层166包括例如SiO2。例如在考虑了GMR滤光片的性能、安装体积以及制造工艺等的情况下确定覆层的厚度。覆层166的厚度例如设定为150nm以下。
芯层168例如是具有使用SiN、二氧化钽或氧化钛等的波导结构或导光板结构的层。在考虑了例如GMR滤光片的性能、安装体积以及制造工艺等的情况下确定芯层168的厚度。例如，芯层168的厚度设定在50至200nm的范围内。
覆层166和芯层168形成波导。覆层166形成在基材(衍射光栅164)和芯层168之间。芯层168形成在覆层166和下面的绝缘层之间。
衍射光栅164在GMR滤光片的入射面上对入射光进行衍射和干涉。当入射光进入由覆层166和芯层168形成的波导时，具有预定波长的光在波导中传播，以形成谐振导模。由于共振导模的产生，窄带中的光透过GMR滤光片160。以此方式，GMR滤光片160透射窄带中的选择性光，以使其到达光电转换单元。
图291是示出整体地GMR滤光片160的图。如图291所示，可以设置反射层170以将夹持覆层166和芯层168。反射层170包括金属等的导体。此外，衍射光栅164的周边也可以被反射层包围。
通过用反射层170围绕包括覆层166和芯层168的波导，可以防止谐振导模的光被反射并传播到相邻的像素102或相邻的子像素106。由覆层166和芯层168形成的波导可以与相邻像素102或相邻子像素106光学隔离。
图292是示出使用一维衍射光栅的GMR滤光片160的关于光栅周期pg的透射波长特性的示例的视图。具体地，曲线图的横轴表示波长[nm]，并且纵轴表示透射率[a.u.]。每个波形表示在衍射光栅164的光栅周期Pg发生变化的情况下GMR滤光片160的波长特性。
随着光栅周期Pg变短，即光栅间隔变窄，GMR滤光片160的透射波段过渡到更短的波段。相反，随着光栅周期Pg变长，即光栅间隔变宽，GMR滤光片160的透射波段过渡到更长的波段。
例如，在图292的左上部分所示的GMR滤光片160中，光栅周期Pg为280nm。在此情况下，衍射光栅164的透射波段的峰值出现在蓝色光的波段中。
同时，例如，在右上方所示的GMR滤光片160中，光栅周期Pg为500nm。在此情况下，衍射光栅164的透射波段的峰值出现在红色至近红外光的波段中。
针对每个子像素106或每个像素102设置GMR滤光片160。在像素102中，至少一个子像素106可以设置有GMR滤光片160。
例如，在子像素106中设置彩色滤光片的情况下，可以设置具有与彩色滤光片的峰值波长匹配或接近的峰值透射波长的GMR滤光片160，以抑制混色残迹。
可以针对像素102布置GMR滤光片160。
GMR滤光片160的布置可以是任何子像素106。作为非限制性示例，可以针对位于像素102的中心处的子像素106设置GMR滤光片160。本实施例不限于此，并且两个或多个其它子像素106可以设置有GMR滤光片，或者一个其他子像素106可以设置有GMF滤光片。此外，在针对像素102中的子像素106布置不同波长区域的彩色滤光片的情况下，可以设置透射与针对每个子像素106布置的彩色滤光片对应的波长区域的光的GMR滤光片160。
如上所述，在根据本实施例的成像装置中，通过在子像素106或像素102中设置诸如GMR滤光片160之类的滤光片，可以在使用彩色滤光片的情况下提高精度。
注意，在其中针对子像素106或像素102设置GMR滤光片160的同一平面中，可以混合具有针孔的遮光滤光片、等离子体滤光片和线栅偏振器。此外，可以将针孔、等离子体滤光片或线栅偏振器等设置为在GMR滤光片160的上方或下方重叠。
注意，本技术还可以具有以下构造。
(1)一种成像装置，包括：
子像素，其包括光电转换元件，并且构造为接收以预定角度入射的光并基于所接收的光的强度输出模拟信号；
像素，其包括多个所述子像素、将从外部入射的光会聚在所述子像素上的透镜以及不将关于在所述光电转换元件中获取的光的强度的信息传播到相邻光电转换元件的光电转换元件隔离部，并且还包括用于遮蔽入射到另一像素的透镜上的光的遮光壁；和
像素阵列，其包括多个所述像素。
(2)根据(1)所述的成像装置，其中
所述透镜使以平行于所述透镜的光轴入射的光入射到位于所述像素的中心处的所述子像素上。
(3)根据(1)所述的成像装置，其中
所述透镜使以平行于所述透镜的光轴入射的光的一部分至少入射到位于所述像素的中心处的所述子像素上。
(4)根据(1)所述的成像装置，其中
所述透镜使以不平行于所述透镜的光轴的角度入射的光会聚在设置在所述像素中的所述子像素之中的位于预定位置处的所述子像素上。
(5)根据(1)所述的成像装置，其中
所述透镜为回流透镜，并且在所述透镜与相邻透镜之间包括回流阻挡部的高度差。
(6)根据(5)所述的成像装置，其中
所述回流阻挡部为所述遮光壁的至少一部分，并且包括自对准回流透镜。
(7)根据(1)所述的成像装置，其中
所述透镜是菲涅耳透镜。
(8)根据(1)所述的成像装置，其中
所述透镜是衍射透镜。
(9)根据(1)所述的成像装置，其中
所述像素还包括位于所述透镜和所述光电转换元件之间的内透镜。
(10)根据(1)所述的成像装置，其中
所述透镜布置成使得所述透镜的中心位置基于所述像素阵列中的所述像素的位置从相应的所述像素的中心位置偏移。
(11)根据(1)所述的成像装置，其中
所述像素包括将预定颜色透射到所述子像素中的至少一者的彩色滤光片。
(12)根据(11)所述的成像装置，其中
在透过与相邻子像素的彩色滤光片具有相同颜色的所述彩色滤光片的光入射到所述子像素的情况下，所述子像素在所述子像素和所述相邻子像素之间不包括所述光电转换元件隔离部。
(13)根据(11)所述的成像装置，其中
所述像素包括等离子体滤光片，作为所述滤光片中的至少一者。
(14)根据(1)所述的成像装置，其中
所述像素在所述透镜和所述光电转换元件之间包括至少两种类型的彩色滤光片。
(15)根据(13)所述的成像装置，其中
所述彩色滤光片包括位于所述遮光壁的光电转换元件侧的等离子体滤光片。
(16)根据(13)所述的成像装置，其中
所述彩色滤光片包括位于所述遮光壁的透镜侧的有机膜彩色滤光片。
(17)根据(13)所述的成像装置，其中
所述彩色滤光片的组合的一部分具有透射近红外线光并吸收可见光的透射光谱。
(18)根据(1)所述的成像装置，其中
在基于所述透镜的设置位置从所述像素的光轴方向观察所述遮光壁的情况下，所述遮光壁在不同位置多级地构造。
(19)根据(17)所述的成像装置，其还包括：
遮光膜，其构造为遮蔽从多级地构造的所述遮光壁之间入射到相邻像素上的光。
(20)根据(15)所述的成像装置，其中
所述像素包括位于所述透镜和所述光电转换元件之间的至少一个光圈，并且
所述光圈是设置在与所述透镜的光轴交叉的方向上的遮光膜。
(21)根据(1)所述的成像装置，其还包括：
存储区域，在所述存储区域中临时存储所述光电转换元件中的从光转换的电荷。
(22)根据(1)所述的成像装置，其还包括：
防反射膜，其在所述光电转换元件的透镜侧具有蛾眼结构，以及
反射膜，其位于所述光电转换元件的与所述防反射膜相反的一侧，以及
金属膜，其在所述光电转换元件隔离部的半导体基板中。
(23)根据(1)所述的成像装置，其中
所述光电转换元件隔离部包括从所述半导体基板的非照射表面侧开始的凹槽，在所述凹槽的一部分中具有高度差，包括垂直晶体管，并且具有后表面照射型结构。
(24)根据(23)所述的成像装置，其中
所述光电转换元件隔离部包括通过固相扩散形成的杂质层。
(25)根据(24)所述的成像装置，其中
在所述像素中，所述半导体基板的厚度与所述光电转换元件的一条边的长度的纵横比至少为4以上。
(26)根据(1)所述的成像装置，其中
所述像素具有至少两种不同大小的子像素。
(27)一种用于制造包括子像素和包括多个所述子像素的像素的成像元件的方法，所述方法包括：
在基板中形成阱区域；
在所述阱区域中形成用于隔离所述子像素的光接收区域的光电转换元件隔离部；
在所述基板上形成绝缘膜；
在所述绝缘膜上形成包含透光材料的层间膜；
在所述层间膜中形成位于用于隔离所述像素的所述光电转换元件隔离部上的遮光壁；以及
在所述层间膜上形成透镜。
(28)一种电子装置，包括：
子像素，其包括光电转换元件，并且构造为接收以预定角度入射的光并基于所接收的光的强度输出模拟信号；
像素，其包括多个所述子像素、将从外部入射的光会聚在所述子像素上的透镜以及不将关于在所述光电转换元件中获取的光的强度的信息传播到相邻光电转换元件的光电转换元件隔离部，并且还包括用于遮蔽入射到另一像素的透镜上的光的遮光壁；和
成像元件，其包括像素阵列，所述像素阵列包括多个所述像素。所述成像元件可以是根据(1)至(26)中任一项所述的成像元件，或者可以是通过根据(27)所述的方法创建的成像元件。
(29)根据(28)所述的电子装置，其还包括：
信号处理装置，其合成由所述成像元件获取的多个所述子像素的输出，并获取被摄体的三维立体信息。
(30)根据(28)所述的电子装置，其还包括：
信号处理装置，其合成由所述成像元件获取的多个所述子像素的输出，并扩大视角。
(31)根据(28)所述的电子装置，其还包括：
信号处理装置，其合成由所述成像元件获取的多个所述子像素的输出，并运算像素数。
(32)根据(28)所述的电子装置，其还包括：
信号处理装置，其合成由所述成像元件获取的多个所述子像素的输出，并重新聚焦被摄体图像。
(33)根据(28)所述的电子装置，其还包括：
信号处理装置，其从由所述成像元件获取的多个所述子像素图像的特征图案的偏移量中获取被摄体的距离信息。
(34)根据(28)所述的电子装置，其还包括：
信号处理装置，其包括根据(21)所述的成像元件，并构造为识别人体的运动并将所述运动转换为操作命令。
(35)根据(28)所述的电子装置，其还包括：
信号处理装置，其构造为对来自所述子像素的输出进行傅里叶变换，并使用所述子像素的点扩散函数进行反卷积。
(36)根据(35)所述的电子装置，其还包括：
信号处理装置，其将所述子像素的图像划分为多个区域，并且针对每个所述区域定义所述点扩散函数，并且构造为针对每个所述区域进行反卷积。
(37)根据(28)所述的电子装置，其还包括：
显示单元，其中
所述成像元件设置在所述显示单元的与显示表面相反的一侧。
(38)根据(37)所述的电子装置，其还包括：
来自被摄体的光被所述显示单元的元件遮挡的子像素的地址存储单元；和
信号处理装置，其构造为合成不包括该子像素的信号的子像素图像。
(39)根据(28)所述的电子装置，其还包括：
个人认证装置，其包括存储单元，所述存储单元从由所述成像元件获取的个体指纹图像中提取特征并将所述特征存储在数据库中，并且构造为在认证操作期间获取被摄体的指纹图像，提取所述特征并将所述特征与所述数据库进行对照，并且作出判断。
(40)根据(39)所述的电子装置，其还包括：
根据(21)所述的成像元件，其中
用于获取所述指纹图像的方法是翻转操作。
(41)根据(28)所述的电子装置，其还包括：
个人认证装置，其包括存储单元，所述存储单元从由所述成像元件获取的个体静脉图像中提取特征并所述该特征存储在数据库中，并且构造为在认证操作期间获取被摄体的所述静脉图像，提取所述特征并将所述特征与所述数据库进行对照，并作出判断。
(42)根据(41)所述的电子装置，其中
所述静脉图像的所述特征是三维立体信息。
(43)根据(28)所述的电子装置，其还包括：
防冒充功能，其用于将由所述成像元件获取的被摄体的光谱信息与590nm波长附近的人体皮肤特有的上升光谱进行对照，并且判断所述被摄体是否为活体。
(44)根据(28)所述的电子装置，其还包括：
防冒充功能，其用于从由所述成像元件获取的静脉图像的多个图像差异中检测静脉的搏动，并且判定所述静脉图像是否是活体的静脉图像。
(45)根据(28)所述的电子装置，其还包括：
根据由所述成像元件获取的被摄体的光谱信息计算660nm附近的波长与近红外区域的信号比并测量饱和氧浓度的功能。
(46)根据(1)至(26)中任一项所述的成像装置或根据(28)至(45)中任一项所述的电子装置，其中
在所述像素中，线栅偏振器设置在至少一个所述子像素中。
(47)根据(46)所述的成像装置或电子装置，其中，
在所述像素中，线栅偏振器设置在所述多个子像素中。
(48)根据(1)至(26)中任一项所述的成像装置或根据(28)至(45)中任一项所述的电子装置，其中
针对所述像素设置线栅偏振器。
(49)根据(46)至(48)中任一项所述的成像装置或电子装置，其还包括：
具有多个偏振方向的所述线栅偏振器。
(50)根据(49)所述的成像装置或电子装置，其还包括：
具有相差90度的偏振方向的至少两种类型的所述线栅偏振器。
(51)根据(49)所述的成像装置或电子装置，其还包括：
具有三种或三种以上的偏振方向的所述线栅偏振器，其中
通过拟合执行规范分析。
(52)根据(46)至(51)中任一项所述的成像装置或电子装置，其中
所述子像素混合所述线栅偏振器和另一类型的滤光片。
(53)根据(46)至(52)中任一项所述的成像装置或电子装置，其中
所述子像素接收透过所述线栅偏振器和另一类型的滤光片的光。
(54)根据(1)至(26)中任一项所述的成像装置、根据(28)至(45)中任一项所述的电子装置或根据(46)至(53)中任一项所述的成像装置或电子装置，其中，
在所述像素中，至少一个所述子像素包括GMR滤光片。
(55)根据(1)至(26)中任一项所述的成像装置、根据(28)至(45)中任一项所述的电子装置或根据(46)至(53)中任一项所述的成像装置或电子装置，其中，
在所述像素中，所述多个子像素包括GMR滤光片。
(56)根据(1)至(26)中任一项所述的成像装置、根据(28)至(45)中任一项所述的电子装置或根据(46)至(53)中任一项所述的成像装置或电子装置，其中
针对所述像素设置GMR滤光片。
(57)根据(54)至(56)中任一项所述的成像装置或电子装置，其还包括：
具有不同峰值波长的两种以上类型的所述GMR滤光片。
(58)根据(54)或(55)所述的成像装置或电子装置，其中
所述子像素混合所述GMR滤光片和另一类型的滤光片。
本发明的各方面不限于上述各个实施例，并且还包括本领域技术人员可以想到的各种变形例，并且本发明的效果不限于上述内容。即，在不背离从权利要求及其等同物中定义的内容得出的本发明的概念性思想和目的的情况下，各种添加、改变和部分删除都是可能的。
附图标记列表
1 电子装置
2 显示单元
3 成像装置
4 显示面板
5 圆偏光板
6 触控面板
7 保护玻璃
9 光学系统
10 成像元件
12 读取表面
14、16、18 光源
100 像素阵列
102、102A、102B、102C、102D、102E 像素
104 透镜
106、106A至106G、106a至106i 子像素
108、108A、108B 遮光壁
110 光电转换元件隔离部
112、112R、112G、112B、112W、12IR、112IRC、112Ye、112Mg、112Cy、112x、112y 滤光片
114、114R、114G、114B、114Ye 滤光片
116、116a至116i 等离子体滤光片
116A 金属膜
116B 孔
118 内透镜
120 透镜隔离部
122 菲涅耳透镜
124、124A至124E、126 衍射透镜
128、132 遮光膜
130、134 开口
140 线栅偏振器
142 反射层
144 绝缘层
146 吸收层
148 开口
150 保护层
160 GMR滤光片
162 基材
164 衍射光栅
166 覆层
168 芯层
170 反射层
20 成像控制单元
200、202 信号线
22 线驱动单元
220 线驱动线
24 列信号处理单元
240 列信号线
300 半导体基板
302 布线层
304 布线
306 层间膜
308 粘合层
310 阱区域
312 固定电荷膜
314 绝缘膜
316 金属膜
318 平坦化膜
320 多晶硅
322 杂质区域
324 垂直晶体管
326 防反射层
328 反射膜
330 粘合层
332 存储区域
334 晶体管
336 透镜材料
338 模具
350 抗蚀剂
352 支撑基板
354 硬掩膜
356 含杂质膜
40 信号处理单元
42 存储单元
44 图像处理单元
46 认证单元
48 结果输出单元
400 A/D转换单元
402 钳位单元
404 依照子像素的输出单元
406 依照颜色的输出单元
440 缺陷校正单元
442 子像素偏移量计算单元
444 分辨率运算单元
446 视角运算单元
448 加法处理单元
450 去马赛克单元
452 线性矩阵单元
454 光谱分析单元
456 外形测量单元
458 剪裁单元
460 立体图像合成单元
500、500a至500i、500A至500E 子像素图像
52 被摄体
520d、520e、520f 子像素图像
540 合成图像
560A、560B、560C 再聚焦面
58 遮蔽体

Claims (20)

1.一种成像装置，其包括：
子像素，其包括光电转换元件，并且构造为接收以预定角度入射的光并基于所接收的光的强度输出模拟信号；
像素，其包括多个所述子像素、将从外部入射的光会聚在所述子像素上的透镜以及不将关于在所述光电转换元件中获取的光的强度的信息传播到相邻光电转换元件的光电转换元件隔离部，并且还包括用于遮蔽入射到另一像素的透镜上的光的遮光壁；和
包括多个所述像素的像素阵列。
2.根据权利要求1所述的成像装置，其中
所述透镜为回流透镜，并且在所述透镜与相邻透镜之间具有回流阻挡部的高度差。
3.根据权利要求1所述的成像装置，其中
所述像素还包括位于所述透镜和所述光电转换元件之间的内透镜。
4.根据权利要求1所述的成像装置，其中
所述透镜布置成使得所述透镜的中心位置基于所述像素阵列中的所述像素的位置从相应的所述像素的中心位置偏移。
5.根据权利要求1所述的成像装置，其中
所述像素包括用于至少一个所述子像素的等离子体滤光片。
6.根据权利要求1所述的成像装置，其中
所述像素在所述透镜和所述光电转换元件之间包括至少两种类型的彩色滤光片。
7.根据权利要求1所述的成像装置，其还包括：
存储区域，在所述存储区域中临时存储所述光电转换元件中的从光转换的电荷。
8.根据权利要求1所述的成像装置，其中
所述光电转换元件隔离部包括从所述半导体基板的非照射表面侧开始的凹槽，在所述凹槽的一部分中具有高度差，包括垂直晶体管，并且具有后表面照射型结构。
9.根据权利要求8所述的成像装置，其中
所述光电转换元件隔离部包括通过固相扩散形成的杂质层。
10.根据权利要求1所述的成像装置，其中
所述像素具有至少两种不同大小的子像素。
11.一种电子装置，其包括：
子像素，其包括光电转换元件，并且构造为接收以预定角度入射的光并基于所接收的光的强度输出模拟信号；
像素，其包括多个所述子像素、将从外部入射的光会聚在所述子像素上的透镜以及不将关于在所述光电转换元件中获取的光的强度的信息传播到相邻光电转换元件的光电转换元件隔离部，并且还包括用于遮蔽入射到另一像素的透镜上的光的遮光壁；和
包括像素阵列的成像元件，所述像素阵列包括多个所述像素。
12.根据权利要求11所述的电子装置，其还包括：
信号处理装置，其合成由所述成像元件获取的多个所述子像素的输出，并获取被摄体的三维立体信息。
13.根据权利要求11所述的电子装置，其还包括：
信号处理装置，其合成由所述成像元件获取的多个所述子像素的输出，并重新聚焦被摄体图像。
14.根据权利要求11所述的电子装置，其还包括：
显示单元，所述成像元件布置在所述显示单元的与显示表面相反的一侧；
来自被摄体的光被所述显示单元的发光元件遮挡的子像素的地址存储单元；和
信号处理装置，其构造为通过排除来自被遮光的所述子像素的信号来合成子像素图像。
15.根据权利要求11所述的电子装置，其还包括：
个人认证装置，其包括存储单元，所述存储单元从由所述成像元件获取的个体指纹图像中提取特征并将所述特征存储在数据库中，并且构造为在认证操作期间获取被摄体的指纹图像，提取所述特征并将所述特征与所述数据库进行对照，并作出判断。
16.根据权利要求15所述的电子装置，其中
用于获取所述指纹图像的方法是翻转操作。
17.根据权利要求11所述的电子装置，其还包括：
个人认证装置，其包括存储单元，所述存储单元从由所述成像元件获取的个人静脉图像中提取特征并将所述特征存储在数据库中，并且构造为在认证操作期间获取被摄体的所述静脉图像，提取所述特征并将所述特征与所述数据库进行对照，并作出判断。
18.根据权利要求17所述的电子装置，其中
所述静脉图像的所述特征是三维立体信息。
19.根据权利要求11所述的电子装置，其还包括：
防冒充功能，其用于将由所述成像元件获取的被摄体的光谱信息与590nm波长附近的人体皮肤特有的上升光谱进行对照，并且判断所述被摄体是否为活体。
20.根据权利要求11所述的电子装置，其还包括：
防冒充功能，其用于从由所述成像元件获取的静脉图像的多个图像差异中检测静脉的搏动，并且判断所述静脉图像是否是活体的静脉图像。
CN202180033005.2A 2020-06-25 2021-05-13 成像装置和电子装置 Pending CN116034480A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-109967 2020-06-25
JP2020109967 2020-06-25
PCT/JP2021/018277 WO2021261107A1 (ja) 2020-06-25 2021-05-13 撮像装置及び電子機器

Publications (1)

Publication Number Publication Date
CN116034480A true CN116034480A (zh) 2023-04-28

Family

ID=79282414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180033005.2A Pending CN116034480A (zh) 2020-06-25 2021-05-13 成像装置和电子装置

Country Status (6)

Country Link
US (1) US20230238416A1 (zh)
EP (1) EP4174949A4 (zh)
JP (1) JPWO2021261107A1 (zh)
CN (1) CN116034480A (zh)
TW (1) TW202205654A (zh)
WO (1) WO2021261107A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3114438B1 (fr) * 2020-09-21 2022-08-05 Commissariat Energie Atomique Capteur d'images
TWI833390B (zh) * 2022-02-23 2024-02-21 南亞科技股份有限公司 製造缺陷原因之識別系統以及非暫時性電腦可讀媒體
US11837617B2 (en) * 2022-04-27 2023-12-05 Visera Technologies Company Ltd. Under-display camera system and operating method thereof
CN115236779A (zh) * 2022-06-22 2022-10-25 京东方科技集团股份有限公司 第一模具及其制备方法、闪耀光栅及其制备方法
JP2024043066A (ja) * 2022-09-16 2024-03-29 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4200687B2 (ja) * 2002-05-13 2008-12-24 株式会社日立製作所 生体認証装置および該装置実現のためのプログラム
JP4025207B2 (ja) * 2003-01-17 2007-12-19 富士フイルム株式会社 固体撮像素子及びデジタルカメラ
JP4306744B2 (ja) * 2007-03-01 2009-08-05 ソニー株式会社 生体認証装置
JP4389957B2 (ja) * 2007-04-11 2009-12-24 ソニー株式会社 生体認証装置
US10229316B2 (en) * 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
JP2018033505A (ja) 2016-08-29 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置
JP2018063378A (ja) * 2016-10-14 2018-04-19 ソニーセミコンダクタソリューションズ株式会社 光学デバイス、光学センサ、並びに、撮像装置
JP2019047392A (ja) * 2017-09-05 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び固体撮像装置
US10840284B2 (en) * 2017-09-28 2020-11-17 Sony Semiconductor Solutions Corporation Imaging element with a first and second converging portion for converging light between a first and second signal extraction portion of adjacent pixels
JP2019114728A (ja) * 2017-12-26 2019-07-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、距離計測装置、及び製造方法
JP2019145563A (ja) * 2018-02-16 2019-08-29 ソニーセミコンダクタソリューションズ株式会社 センサ装置および電子機器
JP6935374B2 (ja) * 2018-08-31 2021-09-15 マイクロメトリックステクノロジーズプライベイトリミティッド アンダーディスプレイ型指紋認証用センサモジュールおよびアンダーディスプレイ型指紋認証装置
JP2020047616A (ja) * 2018-09-14 2020-03-26 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
JP7330687B2 (ja) * 2018-11-19 2023-08-22 キヤノン株式会社 撮像素子および撮像装置
CN211320102U (zh) * 2019-09-23 2020-08-21 神盾股份有限公司 集成光学传感器

Also Published As

Publication number Publication date
EP4174949A1 (en) 2023-05-03
EP4174949A4 (en) 2024-03-20
US20230238416A1 (en) 2023-07-27
TW202205654A (zh) 2022-02-01
WO2021261107A1 (ja) 2021-12-30
JPWO2021261107A1 (zh) 2021-12-30

Similar Documents

Publication Publication Date Title
CN116034480A (zh) 成像装置和电子装置
CN210349840U (zh) 光学传感器
WO2021073016A1 (zh) 指纹识别装置和电子设备
KR102633229B1 (ko) 촬상소자 및 촬상소자의 제조 방법, 촬상장치, 및 촬상장치의 제조 방법
JP6903396B2 (ja) 撮像素子及び撮像装置
US9905605B2 (en) Phase detection autofocus techniques
JP6029266B2 (ja) 撮像装置、撮像システムおよび撮像装置の製造方法
US11455826B2 (en) Method for identifying fingerprint, fingerprint identification apparatus and electronic device
CN111108511B (zh) 指纹检测装置和电子设备
CN107851653B (zh) 延长用于成像系统的近红外光谱响应的系统和方法
JP6833597B2 (ja) 固体撮像装置
WO2021036101A1 (zh) 指纹识别装置和电子设备
TW201639137A (zh) 背面感光式影像感測器及其形成方法
CN109863509B (zh) 光电传感器及其制备方法
US11650099B2 (en) Spectral sensor system with spatially modified center wavelengths
US20220336511A1 (en) Spatial Phase Integrated Wafer-Level Imaging
US20210351217A1 (en) Photoelectric conversion element and light receiving device
US20230134765A1 (en) Electronic device
WO2021168666A1 (zh) 指纹识别装置和电子设备
KR20220061175A (ko) 분광소자 어레이, 촬상소자 및 촬상장치
JP2020080366A (ja) 受光装置
CN210295120U (zh) 指纹检测的装置和电子设备
US20230280210A1 (en) Spectral sensor system with spatially modified center wavelengths
US20170146707A1 (en) Spectral device and image-pickup device
CN111164607A (zh) 指纹检测的装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination