CN111201782A - 成像器件、图像处理装置、图像处理方法和程序 - Google Patents

成像器件、图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN111201782A
CN111201782A CN201880066078.XA CN201880066078A CN111201782A CN 111201782 A CN111201782 A CN 111201782A CN 201880066078 A CN201880066078 A CN 201880066078A CN 111201782 A CN111201782 A CN 111201782A
Authority
CN
China
Prior art keywords
image
pixel
imaging device
light
incident angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880066078.XA
Other languages
English (en)
Other versions
CN111201782B (zh
Inventor
宫谷佳孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111201782A publication Critical patent/CN111201782A/zh
Application granted granted Critical
Publication of CN111201782B publication Critical patent/CN111201782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及：能够提高成像元件的多功能性的成像元件；图像处理装置；图像处理方法；以及程序。该成像元件设置有：半导体基板；多个指向性像素输出单位，其形成在半导体基板上，并且设置有用于接收不通过成像透镜或针孔入射的来自被摄体的入射光的配置，所述配置能够独立地设置指示入射光的入射角的指向性的入射角指向性；以及多个非指向性像素输出单位，其形成在半导体基板上，并且不设置有用于施加入射角指向性的配置。本发明可以例如应用于成像装置。

Description

成像器件、图像处理装置、图像处理方法和程序
技术领域
本公开涉及成像器件、图像处理装置、图像处理方法和程序，并且具体地涉及提高成像器件的多功能性的成像器件、图像处理装置、图像处理方法和程序。
背景技术
传统上，提出了一种成像装置，其中，在不使用成像透镜的情况下，通过包括覆盖成像器件的受光面的格子光学滤光器或衍射光栅的光学滤光器来调制来自被摄体的光并使其成像，并且通过预定计算处理来复原形成被摄体的像(例如，参考NPL1、PTL1和PTL2)。
引用列表
非专利文献
非专利文献1：Salman Asif和其他四人，“Flatcam：用掩模和计算替换透镜”，“2015IEEE计算机视觉国际研讨会(ICCVW)”，2015，第663-666页(M.Salman Asif and fourothers,"Flatcam:Replacing lenses with masks and computation,""2015IEEEInternational Conference on Computer Vision Workshop(ICCVW),"2015,pp.663-666)
专利文献
专利文献1：JP-T-2016-510910
专利文献2：PCT专利公开号WO2016/123529
发明内容
技术问题
但是，非专利文献1、专利文献1和专利文献2中公开的成像器件不能应用于使用成像透镜的传统成像装置。
鉴于如上所述的情况做出了本公开，并且本公开考虑了提高成像器件的多功能性。
问题的解决方案
本公开的第一方面的成像器件包括：半导体基板；多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。在图像生成处理中选择性地使用从多个指向性像素输出单位输出的检测信号和从所述多个非指向性像素输出单位输出的检测信号。
本公开的第二方面的成像处理装置包括：图像生成控制部，被配置为控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
本公开的第二方面的图像处理方法包括：图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
本公开的第二方面的程序使计算机执行处理，所述处理包括：图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
在本公开的第一方面中，通过所述多个指向性像素输出单位和所述多个非指向性像素输出单位接收来自被摄体的入射光，所述多个指向性像素输出单位形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置，并且所述多个非指向性像素输出单位形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
在本公开的第二方面中，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理。所述成像器件包括半导体基板；所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有对于来自被摄体的入射光能够独立地设置指示所述入射光的入射角的指向性的入射角指向性的配置；以及所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
本发明的有益效果
根据本公开的第一方面和第二方面，可以提高成像器件的多功能性。
要注意的是，这里描述的有益效果不一定是限制性的，并且本公开中描述的其他有益效果可以是适用的。
附图说明
图1是示出通过应用了本公开的技术的成像装置进行成像的原理的图。
图2是示出应用了本公开的技术的成像装置的基本配置的示例的框图。
图3是示出图2的成像器件的像素阵列部的配置的示例的图。
图4是示出图2的成像器件的配置的第一示例的图。
图5是示出图2的成像器件的配置的第二示例的图。
图6是示出入射角指向性的产生原理的图。
图7是示出利用片上透镜的入射角指向性的变化的图。
图8是表示一种类型的遮光膜的示例的图。
图9是示出入射角指向性的设计的图。
图10是示出片上透镜和成像透镜之间的差异的图。
图11是示出片上透镜和成像透镜之间的另一差异的图。
图12是示出片上透镜和成像透镜之间的又一差异的图。
图13是示出被摄体距离和指示入射角指向性的系数之间的关系的图。
图14是示出窄视角像素和广视角像素之间的关系的图。
图15是示出窄视角像素和广视角像素之间的另一关系的图。
图16是示出窄视角像素和广视角像素之间的又一关系的图。
图17是示出窄视角像素和广视角像素之间的画质的差异的图。
图18是示出窄视角像素和广视角像素之间的画质的另一差异的图。
图19是示出其中组合了不同视角的多个像素的示例的图。
图20是示出由图2的成像装置进行的成像处理的流程图。
图21是示出处理负荷的减少方法的图。
图22是示出处理负荷的另一减少方法的图。
图23是示出处理负荷的进一步减少方法的图。
图24是示出处理负荷的又一减少方法的图。
图25是示出处理负荷的又一减少方法的图。
图26是描绘根据本公开实施例的成像装置的配置的示例的框图。
图27是描绘图26的成像器件中的像素的布置的示例的图。
图28是描绘图26的控制部的功能配置的示例的框图。
图29是示出由图26的成像装置执行的成像处理的流程图。
图30是描绘图5的成像装置的变型例的图。
图31是示出像素输出单位的变型例的视图。
具体实施方式
下面，参照附图描述本公开的优选实施例。要注意的是，用相同的附图标记表示具有基本上相同的功能配置的组件，并适当地省略重复的描述。
此外，以如下顺序给出描述。
1.本公开的成像装置的概述
2.本公开的成像装置的基本配置的示例
3.本发明的实施例
4.变型例
5.其他
<<1.本公开的成像装置的概述>>
首先，描述本公开的成像装置的概述。
本公开的成像装置使用成像装置51，其中每个像素的检测灵敏度具有入射角指向性，如图1的左上所示。这里，每个像素的检测灵敏度具有入射角指向性表示依照入射光到像素的入射角的受光灵敏度特性对于每个像素是不同的。然而，在所有像素中受光灵敏度不需要完全不同，而是可以在一些像素中相同。
这里，例如，假定所有被摄体是一组点光源，并且从每个点光源沿每个方向发射光。例如，假设例如图1左上的被摄体的被摄体面31包括点光源PA到点光源PC，并且点光源PA到PC发出光强度a到光强度c周围的多条光线。此外，在以下描述中，假设成像器件51在其位置Pa至Pc处包括具有彼此不同的入射角指向性的像素(在下文中称为像素Pa至Pc)。
在这种情况下，如图1的左上方所示，从相同点光源发射的相同光强度的光线进入成像器件51的像素。例如，从点光源PA发射的光强度为a的光线单独进入成像器件51的像素Pa到Pc。另一方面，从相同点光源发射的光线以彼此不同的入射角进入像素。例如，点光源PA的光线以彼此不同的入射角进入像素Pa到Pc。
这里，由于像素Pa至Pc的入射角指向性彼此不同，因此以不同像素之间不同的灵敏度检测从相同点光源发射的相同光强度的光线。结果，相同光强度的光线被不同像素以彼此不同的信号电平检测到。例如，来自点光源PA的光强度为a的光线的检测信号电平在像素Pa到Pc处具有彼此不同的值。
然后，通过将光线的光强度乘以指示在光线的入射角下的受光灵敏度(即，入射角指向性)的系数，来计算每个像素对于来自每个点光源的光线的受光灵敏度水平。例如，通过将点光源PA的光线的光强度a乘以指示在光线入射到像素Pa的入射角下像素Pa的入射角指向性的系数，来计算像素Pa对于来自点光源PA的光线的检测信号电平。
因此，像素Pc、Pb和Pa处的检测信号电平DA、DB和DC分别由下面的表达式(1)至(3)表示。
DA＝α1×a+β1×b+γ1×c......(1)
DB＝α2×a+β2×b+γ2×c......(2)
DC＝α3×a+β3×b+γ3×c......(3)
这里，系数α1是指示在从点光源PA到像素Pc的光线的入射角下像素Pc的入射角指向性的系数，并且依照入射角来设置。此外，α1×a指示像素Pc处的对于来自点光源PA的光线的检测信号电平。
系数β1是指示在从点光源PB到像素Pc的光线的入射角下像素Pc的入射角指向性的系数，并且依照入射角来设置。另外，β1×b指示像素Pc处的对于来自点光源PB的光线的检测信号电平。
系数γ1是指示在从点光源PC到像素Pc的光线y的入射角下像素Pc的入射角指向性的系数，并且依照入射角来设置。此外，γ1×c指示在像素Pc处的对于来自点光源PC的光线的检测信号电平。
以这种方式，通过来自点光源PA、PB、PC的光线在像素Pc处的光强度a、b、c与指示对应于各入射角的入射角指向性的系数α1、β1、γ1的乘积和，计算像素Pa的检测信号电平DA。
同样地，像素Pb的检测信号电平DB是通过来自点光源PA、PB、PC的光线在像素Pb处的光强度a、b、c与指示对应于各入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的，如表达式(2)所示。另外，像素Pc的检测信号电平DC是通过来自点光源PA、PB、PC的光线在像素Pa处的光强度a、b、c与指示对应于各个入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的，如表达式(3)所示。
但是，像素Pa、Pb、Pc处的检测信号电平DA、DB、DC是从点光源PA、PB、PC发射的光线的光强度a、b、c的混合，如式(1)至(3)所示。因此，如图1的右上所示，成像器件51处的检测信号电平不同于被摄体面31上的点光源的光强度。因此，由成像器件51获得的图像不同于其中形成被摄体面31的像。
另一方面，通过创建包括表达式(1)至(3)的联立方程并求解所创建的联立方程，求出点光源PA至PC的光线的光强度a至c。然后，通过依照点光源PA到PC的布置(相对位置)来布置具有依照所计算的光强度a到c的像素值的像素，复原其中如图1的右下所示形成被摄体面31的像的复原图像。
要注意的是，以下，将构成联立方程的每个表达式的系数(例如系数α1、β1、γ1)的集合体称为系数集合。此外，以下，将与联立方程中包含的多个表达式相对应的多个系数集合(例如，系数集合α1、β1和γ1，系数集合α2、β2和γ2以及系数集合α3、β3和γ3)的集合称为系数集合组。
以这种方式，可以实现包括在每个像素处具有入射角指向性的成像器件51作为必要部件的成像装置，而不需要专利文献1和非专利文献1(以下称为专利文献等)中公开的成像透镜、针孔和滤光器。结果，由于在专利文献等中公开的成像透镜、针孔和滤光器不是必要部件，因此可以减小成像装置的高度，即，减小用于在光的入射方向上实现成像功能的配置的厚度。
此外，由于必要部件仅是成像器件51，因此可以提高设计自由度。例如，尽管在使用成像透镜的传统成像装置中，需要依照成像透镜要形成被摄体的像的位置，以二维阵列布置成像器件的多个像素，但是使用成像器件51的成像装置没有该必要性。因此，提高了像素布置的自由度，并且可以例如在来自被摄体的光进入的范围内自由地布置像素。因此，可以在圆形范围中布置像素，在中空正方形区域中布置像素，或者在多个区域中分散布置像素。
然后，通过使用依照来自被摄体面31上的点光源的光线到像素的入射角的系数而不考虑像素的布置来创建如上文给出的表达式(1)到(3)所指示的联立方程并且求解该联立方程，可以得到来自每个点光源的光线的光强度。然后，通过依照被摄体面31上的点光源的布置来布置具有依照计算的点光源的光强度的像素值的像素，可以复原其中形成被摄体面31的像的复原图像。
<<2.本公开的成像装置的基本配置的示例>>
现在，参考图2至25描述本公开的成像装置的基本配置的示例。
<成像装置101的配置的示例>
图2是示出作为应用本公开的技术的基本成像装置的成像装置101的配置的示例的框图。
成像装置101包括成像器件121、复原部122、控制部123、输入部124、检测部125、关联部126、显示部127、存储部128、记录和再现部129、记录介质130和通信部131。此外，执行信号处理、成像装置101的控制等的信号处理控制部111包括复原部122、控制部123、输入部124、检测部125、关联部126、显示部127、存储部128、记录和再现部129、记录介质130和通信部131。要注意的是，成像装置101不包括任何成像透镜(无成像透镜)。
此外，成像器件121、复原部122、控制部123、输入部124、检测部125、关联部126、显示部127、存储部128、记录和再现部129以及通信部131通过总线B1彼此连接，使得它们通过总线B1执行数据的发送、接收等。要注意的是，为了简化描述，省略了在成像装置101的部件通过总线B1执行数据的发送、接收等的情况下对总线B1的描述。例如，在输入部124通过总线B1向控制部123提供数据的情况下，描述为输入部124向控制部123提供数据。
成像器件121对应于上文参照图1描述的成像器件51，并且是包括具有入射角指向性的像素并且向复原部122或总线B1输出包括指示依照入射光的光量的检测信号电平的检测信号的图像的成像器件。
更具体地，在基本结构中，成像器件121可以是与一般的成像器件类似的成像器件，例如CMOS(互补金属氧化物半导体)图像传感器等。然而，成像器件121在构成像素阵列的像素的配置上与一般成像器件不同，并且具有像素具有入射角指向性的配置，例如，如以下参照图3至图5所述。此外，成像器件121针对每个像素响应于入射光的入射角而在受光灵敏度方面不同(变化)，并且以像素为单位具有入射光的入射角指向性。
要注意的是，由于从成像器件121输出的图像是包括例如如上文所述的图1的右上所示的没有形成被摄体的像的检测信号的图像，因此被摄体不能被视觉地识别。换句话说，尽管包括从成像器件121输出的检测信号的检测图像是像素信号的集合，但是它是即使用户看到也不能由用户识别被摄体的像(不能在其上视觉地识别被摄体的像)。
因此，在以下描述中，包括如图1的右上所示的没有形成被摄体的像的检测信号的图像(即，由成像器件121捕获的图像)被称为检测图像。
要注意的是，成像器件121可以不被配置为像素阵列，并且例如可以被配置为线传感器。此外，入射角指向性不必以像素为单位全部不同，而是一些像素可以具有相同的入射角指向性。
复原部122从存储部128获取与对应于图1中从成像器件51到被摄体面31(与复原图像相对应的被摄体面)的距离的被摄体距离相对应并且与上述系数α1到α3、β1到β3和γ1到γ3相对应的系数集合组。此外，复原部122使用从成像器件121输出的检测图像的像素的检测信号电平和所获取的系数集合组来创建如上文给出的表达式(1)至(3)所指示的联立方程。然后，复原部122求解所创建的联立方程以计算构成形成了图1的右下部处示出的被摄体的像的像素的像素值。因此，从检测图像复原其中可以通过用户的视觉观察来识别被摄体(可以视觉地识别被摄体)的图像。在以下描述中，从检测图像复原的图像被称为复原图像。然而，在成像器件121仅对除了诸如紫外光的视觉可识别频带中的光之外的光具有灵敏度的情况下，尽管复原的图像也不会变成如普通图像中那样的在其上可以识别被摄体的像，但是在这种情况下，复原的图像也被称为复原图像。
此外，在以下描述中，作为在形成被摄体的像的状态下的图像但是诸如去马赛克处理或同步处理的颜色分离之前的图像的复原图像被称为RAW图像，并且由成像器件121捕获的检测图像不被区分为RAW图像，尽管它是依照彩色滤光器阵列的图像。
要注意的是，成像器件121的像素数量和构成复原图像的像素数量不需要彼此相等。
此外，复原部122依照情况需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。然后，复原部122将复原图像输出到总线B1。
控制部123包括例如各种类型的处理器，并且控制成像装置101的部件。
输入部124包括用于执行成像装置101的操作和输入要用于处理等的数据的输入设备(例如，按键、开关、按钮、拨号盘、触摸面板、遥控器等)。输入部124将操作信号、输入的数据等输出到总线B1。
检测部125包括要用于检测成像装置101和被摄体的状态的各种类型的传感器等。例如，检测部125包括用于检测成像装置101的姿态或移动的加速度传感器和陀螺仪传感器、用于检测成像装置101的位置的位置检测传感器(例如，GNSS(全球导航卫星系统)接收器等)、用于检测被摄体距离的距离测量传感器等。检测部125将表示检测结果的信号输出到总线B1。
关联部126执行由成像器件121获得的检测图像和与检测图像对应的元数据之间的关联。元数据包括例如用于使用作为目标的检测图像来对复原图像进行复原的系数集合组、被摄体距离等。
要注意的是，如果可以指定检测图像和元数据之间的对应关系，则用于将检测图像和元数据彼此相关联的方法不被特别限制。例如，通过将元数据应用于包括检测图像的图像数据，通过将相同的ID应用于检测图像和元数据，或者通过将检测图像和元数据记录到相同的记录介质130中，可以将检测图像和元数据彼此相关联。
显示部127例如由显示器构成，并且执行各种信息(例如，复原图像等)的显示。要注意的是，还可以将显示部127配置为使得其包括诸如扬声器的声音输出部以执行声音的输出。
存储部128包括诸如ROM(只读存储器)、RAM(随机存取存储器)和闪存的一个或多个存储装置，并且存储例如在成像装置101的处理中使用的程序、数据等。例如，存储部128以与各种被摄体距离相关联的关系存储与上述系数α1至α3、β1至β3和γ1至γ3对应的系数集合组。更具体地，对于处于不同被摄体距离的每个被摄体面31，存储部128存储包括成像器件121的像素121a的关于在被摄体面31上设置的每个点光源的系数的系数集合组。
记录和再现部129执行数据到记录介质130中的记录和记录在记录介质130中的数据的再现(读出)。例如，记录和再现部129将复原图像记录到记录介质130中，并从记录介质130读出复原图像。此外，记录和再现部129将检测图像和对应的元数据记录到记录介质130中，并从记录介质130读出它们。
记录介质130是例如HDD(硬盘驱动器)、SSD(固态驱动器)、磁盘、光盘、磁光盘、半导体存储器等中的一个或组合。
通信部131通过预定的通信方法与不同的装置(例如，不同的成像装置、信号处理装置等)进行通信。要注意的是，通信部131的通信方法可以是有线通信和无线通信中的任何一种。通信部131也可以准备用于多种通信方法。
<成像器件121的配置的第一示例>
现在，参照图3和图4描述图2的成像装置101的成像器件121的配置的第一示例。
图3示出了成像器件121的像素阵列部的一部分的前视图。要注意的是，尽管图3示出了像素阵列部的像素数量是垂直六个像素×水平六个像素的情况的示例，但是像素阵列部的像素数量不限于此。
在图3的成像器件121中，为每个像素121a设置作为调制元件之一的遮光膜121b，使得其覆盖像素121a的光电二极管的受光区域(受光面)的一部分，并且响应于入射角光学调制进入每个像素121a的入射光。然后，例如，通过为每个像素121a提供范围不同的遮光膜121b，对于每个像素121a，对入射光的入射角的受光灵敏度变得不同，并且像素121a具有彼此不同的入射角指向性。
例如，像素121a-1和像素121a-2在光电二极管的受光区域被遮光膜121b-1和遮光膜121b-2遮蔽的范围内彼此不同(在遮蔽区域(位置)和遮蔽面积中的至少一个方面不同)。具体地，在像素121a-1中，遮光膜121b-1被设置为使得其以预定宽度遮蔽光电二极管的受光区域的左侧部分。另一方面，在像素121a-2中，遮光膜121b-2被设置为使得其以预定宽度遮蔽受光区域的右侧部分。要注意的是，光电二极管的受光区域被遮光膜121b-1遮蔽的宽度和光电二极管的受光区域被遮光膜121b-2遮蔽的宽度可以彼此不同或者可以彼此相等。此外，在其他像素121a中，遮光膜121b被在像素阵列中随机布置，使得像素在受光区域的彼此不同的范围上被遮蔽。
要注意的是，随着遮光膜121b覆盖像素的受光区域的比率增大，光电二极管能够接收的光的量减小。因此，遮光膜121b的面积优选地被制成能够确保期望光量的程度的面积，并且例如，该面积可以被限制为使得其最大为受光区域的大约3/4。这使得可以确保光量等于或大于期望的量。然而，如果为每个像素设置宽度与要接收的光的波长相对应的非遮蔽范围，则可以接收最小的光量。也就是说，例如，在B像素(蓝色像素)的情况下，尽管波长为大约500nm，但是如果其没有遮蔽到与波长相对应的宽度或更大的程度，则可以接收最小的光量。
图4的上段是成像器件121的第一配置示例的侧面剖视图，并且图4的中间段是成像器件121的第一配置示例的俯视平面图。另外，图4的上段的侧面剖视图是图4的中间段的AB横截面。此外，图4的下段示出了成像器件121的电路配置的示例。
在图4的上段的成像器件121中，入射光从图中的上方进入下方。彼此相邻的像素121a-1和121a-2具有图中最下层中的布线层Z12，并且光电转换层Z11设置在布线层Z12上，使得它们被配置为所谓的背面照明型的光电转换层。
要注意的是，在没有必要将像素121a-1和121a-2彼此区分的情况下，它们中的每一个仅被称为像素121a，省略了在附图标记末尾处的数字。在说明书的以下描述中，有时也省略在附图标记末尾的数字来用附图标记表示其他部件。
此外，在图4中，仅示出了构成成像器件121的像素阵列的两个像素的侧视图和俯视平面图，并且不必说，尽管布置了更多数量的像素121a，但是省略了它们的图示。
此外，像素121a-1和121a-2分别在光电转换层Z11中包括光电二极管121e-1和121e-2。此外，在光电二极管121e-1和121e-2上，分别从上方堆叠片上透镜121c-1和121c-2以及彩色滤光器121d-1和121d-2。
片上透镜121c-1和121c-2将入射光会聚到光电二极管121e-1和121e-2上。
彩色滤光器121d-1和121d-2是每个都透射特定波长的光(例如红色、绿色、蓝色、红外或白色的光)的滤光器。要注意的是，在白色的光的情况下，彩色滤光器121d-1和121d-2可以是透明滤光器或者可以不被设置。
在像素121a-1和121a-2的光电转换层Z11中的像素之间的边界上，形成遮光膜121g-1至121g-3，并且遮光膜121g-1至121g-3抑制入射光L进入相邻像素，例如如图4所示，从而抑制串扰的发生。
此外，如图4的上段和中间段所示，当从上方观察时，遮光膜121b-1和121b-2遮蔽受光面S的一部分。在像素121a-1和121a-2的光电二极管121e-1和121e-2的受光面S中，不同范围被遮光膜121b-1和121b-2遮蔽，因此，对于每个像素独立地设置彼此不同的入射角指向性。然而，要被遮蔽的范围不必在成像器件121的所有像素121a中都不同，并且在相同范围上被遮蔽的像素121a可以部分地存在。
要注意的是，如图4的上段所示，遮光膜121b-1和遮光膜121g-1彼此连接，并且被配置为从侧面观察时的L形。类似地，遮光膜121b-2和遮光膜121g-2彼此连接，并且被配置为从侧面观察时的L形。此外，遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至121g-3包括金属，并且例如包括钨(W)、铝(Al)或者Al和铜(Cu)的合金。此外，遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至121g-3可以通过与在半导体工艺中形成布线的工艺相同的工艺由与布线的金属相同的金属同时形成。要注意的是，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1至121g-3的膜厚度可以依照位置而不同。
进一步如图4的下段所示，像素121a包括光电二极管161(对应于光电二极管121e)、传输晶体管162、FD(浮动扩散)部分163、选择晶体管164、放大晶体管165和复位晶体管166，并通过垂直信号线167连接到电流源168。
光电二极管161在其阳极电极接地，并且在其阴极电极通过传输晶体管162连接到放大晶体管165的栅极电极。
依照传输信号TG驱动传输晶体管162。如果提供给传输晶体管162的栅极电极的传输信号TG变为高电平，则传输晶体管162导通。因此，累积在光电二极管161中的电荷通过传输晶体管162传输到FD部163。
放大晶体管165用作用于读出由光电二极管161通过光电转换获得的信号的读出电路的源极跟随器电路的输入部分，并且将具有依照在FD部163中累积的电荷的电平的像素信号输出到垂直信号线167。具体地，放大晶体管165在其漏极端子处连接到电源VDD，并且在其源极端子处通过选择晶体管164连接到垂直信号线167，使得其与连接在垂直信号线167的一端的电流源168协作以配置源极跟随器。
FD部163是具有设置在传输晶体管162与放大晶体管165之间的电荷电容C1的浮动扩散区，并且临时累积经由传输晶体管162从光电二极管161传输的电荷。FD部163是用于将电荷转换成电压的电荷检测部分，并且FD部163中累积的电荷被放大晶体管165转换成电压。
选择晶体管164依照选择信号SEL被驱动，使得当提供给其栅极电极的选择信号SEL变为高电平时，选择晶体管164导通以将放大晶体管165和垂直信号线167彼此连接。
复位晶体管166依照复位信号RST被驱动。例如，如果提供给复位晶体管166的栅极电极的复位信号RST变成高电平，则复位晶体管166导通并且将FD部163中累积的电荷放电到电源VDD以复位FD部163。
例如，在图4的下段处示出的像素电路以下面的方式操作。
具体地，作为第一操作，复位晶体管166及传输晶体管162导通以将积累于FD部163中的电荷放电到电源VDD以复位FD部163。
作为第二操作，复位晶体管166和传输晶体管162截止以进入曝光时段，在该曝光时段内，光电二极管161累积依照入射光的光量的电荷。
作为第三操作，导通复位晶体管166以复位FD部163，此后截止复位晶体管166。通过此操作，FD部163被设置为基准电位。
作为第四操作，将处于复位状态的FD部163的电位作为基准电位从放大晶体管165输出。
作为第五操作，导通传输晶体管162且将积累于光电二极管161中的电荷传输到FD部163。
作为第六操作，将光电二极管的电荷所传输到的FD部163的电位作为信号电位从放大晶体管165输出。
然后，输出通过CDS(相关双采样)从信号电位减去基准电位时的信号，作为像素121a的检测信号(像素信号)。检测信号的该值(输出像素值)依照来自被摄体的入射光的入射角而被调制，并且依照入射角而在特性(指向性)上不同(具有入射角指向性)。
<成像器件121的配置的第二示例>
图5是示出成像器件121的配置的第二示例的图。在图5的上段，示出配置的第二示例的成像器件121的像素121a的侧面剖视图，且在图5的中段，示出成像器件121的俯视平面图。此外，图5的上段的侧视图示出图5的中段的AB横截面。此外，图5的下段示出了成像器件121的电路配置的示例。
图5的成像器件121与图4的成像器件121的配置的不同之处在于：四个光电二极管121f-1至121f-4形成在一个像素121a上，并且遮光膜121g形成在将光电二极管121f-1至121f-4彼此隔开的区域中。具体地，在图5的成像器件121中，遮光膜121g被形成为从上方观察时的“+”形状。要注意的是，如上所述的这些共同部件由与图4相同的附图标记表示，并且省略了对它们的详细描述。
在图5的成像器件121中，光电二极管121f-1至121f-4通过遮光膜121g彼此隔开，以防止光电二极管121f-1至121f-4之间发生电串扰和光串扰。换句话说，图5的遮光膜121g被设置成与图4的成像器件121的遮光膜121g类似地防止串扰，但不提供入射角指向性。
此外，在图5的成像器件121中，四个光电二极管121f-1到121f-4共享一个FD部163。图5的下段示出了四个光电二极管121f-1至121f-4共享一个FD部163的电路配置的示例。要注意的是，省略了对图5的下段处的与图4的下段处的部件相同的部件的描述。
在图5的下段，电路配置与图4下段的电路配置的不同之处在于：取代光电二极管161(对应于图4上段的光电二极管121e)和传输晶体管162，设置光电二极管161-1至161-4(对应于图5上段的光电二极管121f-1至121f-4)和传输晶体管162-1至162-4，并且共享FD部163。
通过如上所述的这种配置，将光电二极管121f-1到121f-4中积累的电荷传输到设置在光电二极管121f-1到121f-4与放大晶体管165的栅极电极之间的连接部分处并具有预定电容的共用FD部163。然后，依照FD部163中保持的电荷的电平的信号被读出作为检测信号(像素信号)(然而，要注意的是，如上所述执行CDS处理)。
因此，在光电二极管121f-1至121f-4中累积的电荷可以以各种组合选择性地有助于像素121a的输出，即，有助于检测信号。具体地，通过将光电二极管121f-1至121f-4配置成使得电荷可彼此独立地从它们读出，并使有助于输出的光电二极管121f-1至121f-4(光电二极管121f-1至121f-4有助于输出的程度)彼此不同，可获得不同的入射角指向性。
例如，通过将光电二极管121f-1和光电二极管121f-3的电荷传输到FD部163并将通过读出电荷获得的信号相加，可以获得在左右方向上的入射角指向性。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷传输到FD部163并将通过读出电荷获得的信号相加，可以获得向上和向下方向的入射角指向性。
此外，基于从四个光电二极管121f-1至121f-4独立地选择性读出的电荷而获得的信号变为与构成检测图像的一个像素对应的检测信号。
要注意的是，不仅可以通过例如是否将每个光电二极管121f的电荷(检测值)传输到FD部163来实现每个光电二极管121f(的电荷)对检测信号的贡献，而且可以通过使用电子快门功能在电荷传输到FD部163之前复位光电二极管121f中累积的电荷来实现。例如，如果光电二极管121f的电荷在即将传输到FD部163之前复位，那么光电二极管121f根本不对检测信号作出贡献。另一方面，通过在光电二极管121f的电荷复位和电荷向FD部163的传输之间提供时间段，光电二极管121f部分地对检测信号做贡献。
如上所述，在图5的成像器件121的情况下，通过改变四个光电二极管121f-1至121f-4中用于检测信号的那些的组合，可以为每个像素设置不同的入射角指向性。此外，从图5的成像器件121的每个像素121a输出的检测信号具有响应于来自被摄体的入射光的入射角而调制的值(输出像素值)，并且特性(指向性)依照入射角而不同(具有不同的入射角指向性)。
要注意的是，以下将与检测图像的一个像素相对应的检测信号所利用的单位称为像素输出单位。像素输出单位包括至少一个或多个光电二极管，并且通常，成像器件121的每个像素121a对应于一个像素输出单位。
例如，在图4的成像器件121中，由于为每一个像素121a提供一个光电二极管121e，因此每一个像素输出单位包括一个光电二极管121e。换句话说，一个像素输出单位包括一个光电二极管121e。
此外，通过使遮光膜121b对像素121a的遮光状态彼此不同，可以使像素输出单位的入射角指向性彼此不同。此外，在图4的成像器件121中，使用遮光膜121b光学调制入射到每个像素121a的入射光，结果，依照从像素121a的光电二极管121e输出的信号，获得反映入射角指向性的检测图像的一个像素的检测信号。换句话说，图4的成像器件121包括多个像素输出单位，用于接收来自被摄体的入射光，该入射光不经由成像透镜和针孔中的任何一个进入，并且每个像素输出单位包括一个光电二极管121e，并且为每个像素输出单位设置来自被摄体的入射光的入射角的特性(入射角指向性)。
另一方面，在图5的成像器件121中，由于为一个像素121a设置四个光电二极管121f-1至121f-4，因此一个像素输出单位包括四个光电二极管121e。换句话说，一个像素输出单位包括四个光电二极管121f。另一方面，不是由每个光电二极管121e的单个物质来配置单独的像素输出单位。
此外，通过如上所述使四个光电二极管121f-1至121f-4中的对检测信号有贡献的光电二极管121f对于每个像素121a不同，每个像素输出单位的入射角指向性变得不同。换句话说，在图5的成像器件121中，四个光电二极管121f-1至121f-4中对输出(检测信号)没有贡献的范围与遮蔽区域类似地起作用。然后，通过从光电二极管121f-1至121f-4输出的信号的组合，获得反映入射角指向性的检测图像的一个像素的检测信号。具体地，图5的成像器件121包括用于接收来自被摄体的入射光的多个像素输出单位，该入射光在没有成像透镜和针孔的任何一个的干涉的情况下进入，并且每个像素输出单位包括多个光电二极管(例如，光电二极管121f-1至121f-4)，并且通过使对输出有贡献的光电二极管(的程度)不同，像素输出单位对来自被摄体的入射光的入射角的特性(入射角指向性)变得彼此不同。
要注意的是，在图5的成像器件121中，由于入射光不经光学调制地进入所有的光电二极管121f-1至121f-4，因此检测信号不是通过光学调制获得的信号。此外，在下面的描述中，对检测信号没有贡献的光电二极管121f也被称为对像素输出单位或输出没有贡献的光电二极管121f。
要注意的是，尽管图5示出了其中像素输出单位(像素121a)的受光面等分为四个并且具有等幅受光面的光电二极管121f布置在每个像素输出单位中的示例，即，其中光电二极管等分为四个的示例，但是光电二极管的分割数量和分割位置可以任意设置。
例如，光电二极管不必均等地分割，并且可以使光电二极管的分割位置对于每个像素输出单位而不同。这使得即使使相同位置处的光电二极管121f对多个像素输出单位之间的输出有贡献，也能够使入射角指向性在不同的像素输出单位中不同。此外，例如，通过使分割数量在不同像素输出单位之间不同，可以更自由地设置入射角指向性。此外，例如，可以使分割数量和分割位置在不同的像素输出单位之间不同。
此外，图4的成像器件121和图5的成像器件121都被配置为使得每个像素输出单位可以独立地设置入射角指向性。同时，上述非专利文献1、专利文献1和专利文献2中公开的成像装置没有被配置为使得成像器件的每个像素输出单位可以独立地设置入射角指向性。要注意的是，在图4的成像器件121中，在制造时通过遮光膜121b设置每个像素输出单位的入射角指向性。另一方面，在图5的成像器件121中，尽管在制造时设置每个像素输出单位的光电二极管的分割数量或分割位置，但是可以在使用时(例如，在成像时)设置每个像素输出单位的入射角指向性(对输出有贡献的光电二极管的组合)。要注意的是，图4的成像器件121和图5的成像器件121不需要具有使所有像素输出单位具有入射角指向性的配置。
要注意的是，如上所述，尽管成像器件的每个像素通常对应于一个像素输出单位，但是一个像素输出单位有时包括多个像素。除非另有说明，否则假定成像器件的每个像素对应于一个像素输出单位来给出以下描述。
<入射角指向性的产生原理>
成像器件121的每个像素的入射角指向性例如通过图6中所示的这种原理产生。要注意的是，图6的左上部和右上部是示出图4的成像器件121中的入射角指向性的产生原理的图，并且图6的左下部和右下部是示出图5的成像器件121中的入射角指向性的产生原理的图。
图6的左上部和右上部的每个像素包括一个光电二极管121e。相反，图6的左下部和右下部的每个像素包括两个光电二极管121f。要注意的是，尽管这里示出了一个像素包括两个光电二极管121f的示例，但是这是为了便于描述，并且设置在一个像素中的光电二极管121f的数量可以是任何其他数量。
在图6的左上部分的像素中，遮光膜121b-11被形成为使得其遮蔽光电二极管121e-11的受光面的右半部分。同时，在图6的右上部的像素中，遮光膜121b-12被形成为使得其遮蔽光电二极管121e-12的受光面的左半部。要注意的是，图中的点划线是在水平方向上通过光电二极管121e的受光面的中心并且垂直于受光面的辅助线。
例如，在图6的左上部的像素处，来自右上方向的相对于图中的点划线具有入射角θ1的入射光易于被光电二极管121e-11的未被遮光膜121b-11遮蔽的左半范围接收。相反，来自左上方向的相对于图中的点划线具有入射角θ2的入射光较不易于被光电二极管121e-11的未被遮光膜121b-11遮蔽的左半范围接收。因此，图6的左上部分的像素具有入射角指向性，其对于来自图的右上的入射光的受光灵敏度高，但是对于来自左上的入射光的受光灵敏度低。
另一方面，例如，在图6的右上部分的像素中，来自右上方向的具有入射角θ1的入射光较不易于被光电二极管121e-12的被遮光膜121b-12遮蔽的左半范围接收。相反，来自左上方向的具有入射角θ2的入射光易于被光电二极管121e-12的未被遮光膜121b-12遮蔽的右半范围接收。因此，图6的右上部分的像素具有入射角指向性，即对来自图的右上的入射光的受光灵敏度低，而对来自左上的入射光的受光灵敏度高。
同时，图6的左下部分的像素被配置成使得它在图中的左侧和右侧具有光电二极管121f-11和121f-12，并且通过读取它们中的任何一个的检测信号，在不设置遮光膜121b的情况下提供入射角指向性。
具体地，在图6的左下部分的像素处，通过仅读出设置在图中左侧的光电二极管121f-11的信号，可以获得与图6的左上部分的像素的入射角指向性类似的入射角指向性。具体地，由于来自右上方向的相对于图中的点划线具有入射角θ1的入射光进入光电二极管121f-11，并且从光电二极管121f-11读出与受光量相对应的信号，因此这对要从该像素输出的检测信号有贡献。相反，尽管来自左上方向的相对于图中的点划线具有入射角θ2的入射光进入光电二极管121f-12，但是由于它不从光电二极管121f-12读出，因此它对要从该像素输出的检测信号没有贡献。
类似地，在像素类似图6右下部分的像素那样包括两个光电二极管121f-13和121f-14的情况下，通过仅读取设置在图中右侧的光电二极管121f-14的信号，可以获得与图6右上部分的像素的入射角指向性类似的入射角指向性。具体地，尽管来自右上方向的具有入射角θ1的入射光进入光电二极管121f-13，但是由于不从光电二极管121f-13读出信号，因此这对要从该像素输出的检测信号没有贡献。相反，由于来自左上方的具有入射角θ2的入射光进入光电二极管121f-14，并且从光电二极管121f-14读出与受光量相对应的信号，因此这对从该像素输出检测信号有贡献。
要注意的是，尽管图6的上部的像素指示其中被遮蔽的范围和未被遮蔽的范围在水平方向上在像素(光电二极管121e的受光面)的中心位置处分离的示例，但是这些范围可以在不同位置处分离。此外，尽管图6的下部的像素指示两个光电二极管121f在水平方向上在像素的中心位置处分离的示例，但是它们可以在不同的位置处分离。通过以这种方式改变遮光范围或光电二极管121f分离的位置，可以产生彼此不同的入射角指向性。
<包括片上透镜的配置中的入射角指向性>
现在，参照图7描述包括片上透镜121c的配置中的入射角指向性。
图7的上段的曲线图指示图7的中间段和下段的像素的入射角指向性。要注意的是，横坐标轴指示入射角θ，并且纵坐标轴指示检测信号电平。要注意的是，入射角θ被定义使得在入射光的方向与图7的中间段的左侧的点划线一致的情况下为0度，并且图7的中间段的左侧的入射角θ21侧是正方向，而图7的中间段的右侧的入射角θ22侧是负方向。因此，从右上进入片上透镜121c的入射光具有比从左上进入的入射光的入射角大的入射角。具体地，入射角θ随着入射光的前进方向向左倾斜而增大(沿正方向增大)，并且随着入射光的前进方向向右倾斜而减小(沿负方向增大)。
此外，图7的中间段的左部的像素被配置为使得将会聚入射光的片上透镜121c-11和使预定波长光通过的彩色滤光器121d-11添加到图6的上段的左部的像素。具体地，在该像素中，片上透镜121c-11、彩色滤光器121d-11、遮光膜121b-11和光电二极管121e-11在图中的上部中从光的进入方向顺序地堆叠。
类似地，图7的中间段的右部的像素、图7的下段处的左部的像素和图7的下段处的右部的像素被配置成使得片上透镜121c-11和彩色滤光器121d-11或者片上透镜121c-12和彩色滤光器121d-12分别被添加到图6的上段处的右部的像素、图6的下段处的左部处的像素和图6的下段处的右部的像素。
在图7的中间段的左部的像素中，光电二极管121e-11的检测信号电平(受光灵敏度)响应于入射光的入射角θ而改变，如图7的上部状态的实线波形所示。具体地，随着作为入射光与图中的点划线所成的角度的入射角θ增大(随着入射角θ在正方向上增大(随着入射角θ朝向图中的向右方向增大))，光电二极管121e-11的检测信号电平由于光被会聚到未设置遮光膜121b-11的范围而增大。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大(随着入射角θ朝着图中的向左方向增大))，光电二极管121e-11的检测信号电平由于光被会聚到设置遮光膜121b-11的范围而减小。
此外，在图7的中间段的右部的像素处，光电二极管121e-12的检测信号电平(受光灵敏度)响应于入射光的入射角θ而改变，如图7的上段的虚线波形所示。具体地，随着入射光的入射角θ增大(随着入射角θ在正方向上增大)，光电二极管121e-12的检测信号电平由于光被会聚到设置遮光膜121b-12的范围而减小。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大)，光电二极管121e-12的检测信号电平由于光进入未设置遮光膜121b-12的范围而增大。
可以响应于遮光膜121b的范围而改变在图7的上段示出的实线波形和虚线波形。因此，可以在遮光膜121b的范围内以像素为单位向像素提供彼此不同的入射角指向性。
尽管如上所述，入射角指向性是每个像素的依照入射角θ的受光灵敏度的特性，但是可以认为，对于图7的中间段处的像素，这是依照入射角θ的遮光值的特性。具体地，尽管遮光膜121b以高水平遮蔽特定方向上的入射光，但是它不能充分遮蔽来自任何其他方向的入射光。如图7的上段所示，可以遮蔽入射光的水平的变化产生依照入射角θ而不同的检测信号电平。因此，如果将在能够以最高水平遮蔽入射光的方向上对每个像素的入射光的方向定义为像素的遮光方向，则该像素以像素为单位具有彼此不同的入射角指向性，换句话说，不同的像素以像素为单位具有彼此不同的遮光方向。
此外，在图7的下段的左部的像素处，类似于图6的下段的左部的像素，通过仅使用图中左部的光电二极管121f-11的信号，可以获得类似于图7的中间段的左部的像素的入射角指向性。具体地，随着入射光的入射角θ增大(随着入射角θ在正方向上增大)，检测信号电平由于光被会聚到光电二极管121f-11的从中读出信号的范围而增大。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大)，检测信号电平由于光被会聚到光电二极管121f-12的不读出信号的范围而减小。
此外，类似地，在图7的下段的右部分处的像素的情况下，类似于图6的下段的右部分处的像素，通过仅使用图中右部分处的光电二极管121f-14的信号，可以获得类似于图7的中间段的右部分处的像素的入射角指向性。具体地，随着入射光的入射角θ增大(随着入射角θ沿正方向增大)，以像素为单位的检测信号电平由于光被会聚到光电二极管121f-13的对输出(检测信号)没有贡献的范围而降低。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大)，以像素为单位的检测信号电平由于光被会聚到光电二极管121f-14的对输出(检测信号)有贡献的范围而增大。
要注意的是，为了通过在如图7的下段的像素那样设置多个光电二极管，从而使得可以改变对输出有贡献的光电二极管的像素中，使每个光电二极管具有对入射光的入射角的指向性，来以像素为单位产生入射角指向性，片上透镜121c对于每个像素是必要部件。
要注意的是，入射角指向性优选地以像素为单位具有高度的随机性。例如，如果相邻像素具有相同的入射角指向性，则存在上文给出的表达式(1)至(3)或下文描述的表达式(4)至(6)可能变为相同表达式的可能性，并且结果，存在表达式的数量可能对于变为联立方程的解的未知数的数量而言变得不足并且可能变得不可能计算构成复原图像的像素值的可能性。
要注意的是，在下面的描述中，主要描述在使用其中遮光膜121b被用于实现像图4的像素121a那样的入射角指向性的像素121a的情况下的示例。然而，除了其中基本上需要遮光膜121b的情况之外，基本上可以使用其中光电二极管被划分以实现入射角指向性的像素121a。
<遮光膜的配置>
前述描述涉及这样的示例，其中如图3所示，成像器件121的每个像素121a的遮光膜121b被配置成使得其在垂直方向上遮蔽整个受光面，但是在水平方向上改变遮光宽度或位置。然而，自然地，整个受光面在水平方向上被遮蔽，使得垂直方向上的宽度(高度)或位置改变，以向每个像素121a提供入射角指向性。
要注意的是，在下面的描述中，如图3的示例中那样在垂直方向上遮蔽像素121a的整个受光面并在水平方向上以预定宽度遮蔽受光面的遮光膜121b被称为水平带型的遮光膜121b。同时，在水平方向上遮蔽像素121a的整个受光面并在垂直方向上以预定高度遮蔽受光面的遮光膜121b被称为垂直带型的遮光膜121b。
此外，如图8的左部所示，可以组合垂直带型和水平带型的遮光膜121b，使得为例如Bayer(拜耳)阵列的每个像素提供L型的遮光膜121b。
要注意的是，在图8中，黑色范围表示遮光膜121b，并且只要没有特别说明，则在以后的图中也应用类似的表示。此外，在图8的示例中，分别为Bayer阵列的G(绿色)像素的像素121a-21和121a-24、R(红色)像素的像素121a-22以及B(蓝色)像素的像素121a-23设置L型的遮光膜121B-21至121B-24。
在这种情况下，每个像素121a具有如图8的右部所示的入射角指向性。具体地，在图8的右部，示出了像素121a的受光灵敏度的分布，并且横坐标轴表示入射光在水平方向(x方向)上的入射角θx，并且纵坐标轴表示入射光在垂直方向(y方向)上的入射角θy。因此，在范围C4中的受光灵敏度高于在范围C4外的受光灵敏度；范围C3中的受光灵敏度高于范围C3外的受光灵敏度；范围C2中的受光灵敏度高于范围C2外的受光灵敏度；并且范围C1中的受光灵敏度高于范围C1外的受光灵敏度。
因此，每个像素121a指示关于具有包括在范围C1中的水平方向(x方向)上的入射角θx和垂直方向(y方向)上的入射角θy的入射光的最高检测信号电平。此外，检测信号电平按照入射角θx和入射角θy包括在范围C2中、范围C3中、范围C4中和范围C4之外的范围中的入射光的顺序降低。要注意的是，在图8的右部示出的受光灵敏度的强度分布由每个像素121a中的遮光膜121b遮蔽的范围确定，而与Bayer阵列无关。
要注意的是，在下面的描述中，像图8的L型的遮光膜121b-21至121b-24那样，具有使垂直带型的遮光膜和水平带型的遮光膜在各个端部彼此连接的形状的遮光膜121b被统称为L型的遮光膜121b。
<入射角指向性的设置方法>
现在，参考图9描述入射角指向性的设置方法的示例。
例如，考虑如图9的上段所示的情况，其中遮光膜121b在水平方向上的遮光范围是从像素121a的左端部到位置A的范围，而在垂直方向上的遮光范围是从像素121a的上端部到位置B的范围。
在这种情况下，设置权重Wx，该权重是依照从每个像素的在水平方向上的中心位置的入射角θx(度)的权重，并且范围从0到1，并且用作水平方向上的入射角指向性的指标。更具体地，在假设在对应于位置A的入射角θx＝θa处，权重Wx为0.5的情况下，将权重Wx设置为使得在入射角θx<θa-α处为1；在θa-α≤入射角θx≤θa+α处为(-(θx-θa)/2α+0.5)；并且在入射角θx＞θa+α处为0。
类似地，设置权重Wy，其是依照从每个像素的中心位置在垂直方向上的入射角θy(度)的权重，并且范围从0到1，并且用作垂直方向上的入射角指向性的指标。更具体地，在假设在对应于位置B的入射角θy＝θb处，权重Wy为0.5的情况下，将权重Wy设置为使得在入射角θy<θb-α处为0；在θb-α≤入射角θy≤θb+α处为((θy-θb)/2α+0.5)；并且在入射角θy＞θb+α处为1。
要注意的是，在满足理想条件的情况下，权重Wx和Wy如图9的曲线图中那样改变。
然后，通过使用以这种方式计算的权重Wx和Wy，可以计算每个像素121a的入射角指向性(即受光灵敏度特性)的系数。例如，通过将与来自被摄体面31上的特定点光源的入射光的入射角θx对应的权重Wx和与入射角θy对应的权重Wy相乘而获得的值被设置为点光源的系数。
此外，此时，可以通过使用具有不同焦距的片上透镜121c来设置指示在水平方向上的权重Wx和垂直方向上的权重Wy为大约0.5的范围内的权重变化的倾角(1/2α)。
例如，在片上透镜121c的焦距对应于遮光膜121b的表面的情况下，如图9的下段的实线所示，水平方向上的权重Wx和垂直方向上的权重Wy的倾角(1/2α)是陡峭的。具体地，在值为大约0.5的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy迅速地变为0或1。
另一方面，在片上透镜121c的焦距对应于光电二极管121e的表面的情况下，如图9的下段的虚线所示，水平方向上的权重Wx和垂直方向上的权重Wy的倾角(1/2α)是平缓的。具体地，在值为大约0.5的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy适度地改变为0或1。
例如，片上透镜121c的焦距依照片上透镜121c的曲率而改变。因此，通过使用具有彼此不同的曲率的片上透镜121c使片上透镜121c的焦距彼此不同，可以获得不同的入射角指向性，即，不同的受光灵敏度特性。
因此，可以通过将光电二极管121e被遮光膜121b遮蔽的范围与片上透镜121c的曲率组合，来调整像素121a的入射角指向性。要注意的是，片上透镜的曲率在成像器件121的所有像素121a之间可以是相等的，或者在一些像素121a中可以是不同的。
例如，基于每个像素121a的位置、每个像素121a的遮光膜121b的形状、位置和范围、片上透镜121c的曲率等，作为表示成像器件121的每个像素121a的入射角指向性的指标，为每个像素121a设置如图9的曲线图中所示的权重Wx和权重Wy的这种特性。此外，基于在预定被摄体距离处的被摄体面31上的特定点光源和成像器件121的特定像素121a之间的位置关系，计算从点光源到像素121a的光线的入射角。然后，基于所计算的入射角以及像素121a的权重Wx和权重Wy的特性，计算像素121a相对于点光源的系数。
类似地，通过以针对被摄体面31上的每个点光源和成像器件121的每个像素121a的组合所描述的方式来计算系数，可以计算成像器件121相对于被摄体面31的系数集合组，如上文描述的表达式(1)到(3)的系数集合α1、β1和γ1、另一系数集合α2、β2和γ2以及另一系数集合α3、β3和γ3。
要注意的是，如下文参照图13所述，如果从被摄体面31到成像器件121的受光面的被摄体距离不同，则由于从被摄体面31的每个点光源到成像器件121的光线的入射角不同，因此需要对于每个不同的被摄体距离不同的系数集合组。
此外，即使对于相同被摄体距离的被摄体面31，如果要设置的点光源的数量或布置不同，则从每个点光源到成像器件121的光线的入射角也不同。因此，对于相同被摄体距离的被摄体面31，有时需要多个系数集合组。此外，需要设置每个像素121a的入射角指向性，使得可以确保上述联立方程的独立性。
<片上透镜和成像透镜之间的差异>
在本公开的成像装置101中，尽管成像器件121被配置为使得其不需要包括成像透镜或针孔的光学块，但是如上所述设置片上透镜121c。这里，片上透镜121c和成像透镜在物理动作上彼此不同。
例如，如图10所示，从点光源P101发射的漫射光内进入成像透镜152的光被会聚在成像器件151上的像素位置P111处。具体地，成像透镜152被设计为使得从点光源P101以不同角度进入的漫射光被会聚在像素位置P111处，以形成点光源P101的图像。像素位置P111由通过点光源P101和成像透镜152的中心的主光线L101指定。
此外，例如，如图11所示，从不同于点光源P101的点光源P102发射的漫射光内进入成像透镜152的光被会聚在成像器件151上不同于像素位置P111的像素位置P112处。具体地，成像透镜152被设计为使得从点光源P102以不同角度进入的漫射光被会聚在像素位置P112处，以形成点光源P102的图像。该像素位置P112由通过点光源P102和成像透镜152的中心的主光线L102指定。
以这种方式，成像透镜152分别在成像器件151上彼此不同的像素位置P111和P112处形成主光线彼此不同的点光源P101和P102的图像。
此外，如图12所示，在点光源P101存在于无限远的情况下，从点光源P101发射的漫射光的一部分作为平行于主光线L101的平行光进入成像透镜152。例如，包括光线L121和平行于主光线L101的另一光线L122之间的光线的平行光进入成像透镜152。然后，进入成像透镜152的平行光被会聚在成像器件151上的像素位置P111处。换句话说，成像透镜152被设计为使得来自存在于无限远处的点光源P101的平行光被会聚在像素位置P111处，以形成点光源P101的图像。
因此，成像透镜152具有聚光功能，用于将来自具有例如主光线入射角θ1的点光源的漫射光引入像素(像素输出单位)P1，并将来自具有不同于主光线入射角θ1的主光线入射角θ2的点光源的漫射光引入不同于像素P1的像素(像素输出单位)P2。换句话说，成像透镜152具有聚光功能，用于将来自主光线入射角不同的光源的漫射光引入到彼此相邻的多个像素(像素输出单位)。然而，例如来自彼此相邻的点光源或者来自存在于无限远处并且彼此基本相邻的点光源的光有时进入同一像素(像素输出单位)。
相反，例如，如上文参照图4和图5所述，通过片上透镜121c的光仅进入构成相应像素(像素输出单位)的光电二极管121e或光电二极管121f的受光面。换句话说，为每个像素(像素输出单位)设置片上透镜121c，并且片上透镜121c将进入片上透镜121c自身的入射光仅会聚在相应的像素(像素输出单位)处。换句话说，片上透镜121c不具有用于使来自不同点光源的光进入不同像素(像素输出单位)的聚光功能。
要注意的是，在使用针孔的情况下，唯一地确定每个像素(像素输出单位)的位置与光的入射角之间的关系。因此，在使用针孔和传统成像器件的配置的情况下，不能针对每个像素独立地和自由地设置入射角指向性。
<被摄体面和到成像器件的距离之间的关系>
现在，参考图13描述被摄体面和到成像器件121的距离之间的关系。
要注意的是，在从成像器件121(类似于图1的成像器件51)到被摄体面31的被摄体距离是如图13的左上所示的距离d1的情况下，假设成像器件121上的像素Pc、Pb和Pa处的检测信号电平DA、DB和DC由与上文给出的表达式(1)到(3)相同的表达式表示。
DA＝α1×a+β1×b+γ1×c......(1)
DB＝α2×a+β2×b+γ2×c......(2)
DC＝α3×a+β3×b+γ3×c......(3)
此外，在考虑到如图13的左下部所示的到成像器件121的距离是比距离d1大d的距离d2的被摄体面31'，即，从成像器件121观察时比被摄体面31更深的被摄体面31'的情况下，成像器件121上的像素Pc、Pb和Pa处的检测信号电平是如图13的下段的中部所示的检测信号电平DA、DB和DC，并且与上述类似。
然而，在这种情况下，来自被摄体面31'上的点光源PA'、PB'和PC'的光强度为a'、b'和c'的光线被成像器件121的像素接收。此外，由于光强度为a'、b'和c'的光线到成像器件121的入射角不同(变化)，因此需要彼此不同的系数集合组。因此，例如，通过下面的表达式(4)至(6)来表示像素Pa、Pb和Pc处的检测信号电平DA、DB和DC。
DA＝α11×a'+β11×b'+γ11×c'......(4)
DB＝α12×a'+β12×b'+γ12×c'......(5)
DC＝α13×a'+β13×b'+γ13×c'......(6)
这里，包括系数集合α11、β11和γ11、系数集合α12、β12和γ12以及系数集合α13、β13和γ13的系数集合组是与用于被摄体面31的系数集合α1、β1和γ1、系数集合α2、β2和γ2以及系数集合α3、β3和γ3相对应的用于被摄体面31'的系数集合组。
因此，通过使用系数集合组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13求解包括表达式(4)至(6)的联立方程，通过与求出来自被摄体面31的点光源PA、PB和PC的光线的光强度a、b和c的情况下类似的方法，可以如图13的右下所示求出来自被摄体面31'的点光源PA'、PB'和PC'的光线的光强度a'、b'和c'。结果，可以复原被摄体面31'的复原图像。
因此，在图2的成像装置101中，通过预先为从成像器件121到被摄体面的每个距离(被摄体距离)准备系数集合组，并针对每个被摄体距离切换系数集合组以创建联立方程，然后求解所创建的联立方程，可以基于单个检测图像获得在各个被摄体距离处的被摄体面的复原图像。例如，通过对检测图像进行一次捕获和记录，然后使用所记录的检测图像响应于到被摄体面的距离来切换系数集合组以对复原图像进行复原，可以生成任意被摄体距离处的被摄体面的复原图像。
此外，在可以指定被摄体距离和视角的情况下，可以使用具有适合于与所指定的被摄体距离和视角相对应的被摄体面的成像的入射角指向性的像素的检测信号而不是使用所有像素来生成复原图像。这使得能够使用适合于与所指定的被摄体距离和视角对应的被摄体面的成像的像素的检测信号来生成复原图像。
例如，考虑如图14的上段所示在其距四边的各个端部距离d1的部分处被遮光膜121b遮蔽的像素121a以及如图14的下段所示在其距四边的各个端部距离d2(＞d1)的部分处被遮光膜121b遮蔽的像素121a'。
图15示出了从被摄体面31到成像器件121的中心位置C1的入射光的入射角的示例。要注意的是，尽管图15描述了入射光在水平方向上的入射角的示例，但是这也类似地适用于垂直方向。此外，在图15的右部，示出了图14中的像素121a和121a'。
例如，在图14的像素121a被布置在成像器件121的中心位置C1处的情况下，从被摄体面31到像素121a的入射光的入射角的范围是如图15的左部所示的角度A1。因此，像素121a可以接收被摄体面31的水平方向上的宽度W1的入射光。
相反，在图14的像素121a'被布置在成像器件121的中心位置C1处的情况下，由于像素121a'具有比像素121a更大的被遮蔽范围，因此从被摄体面31到像素121a'的入射光的入射角的范围是如图15的左部所示的角度A2(＜A1)。因此，像素121a'可以接收在被摄体面31的水平方向上的宽度W2(＜W1)的入射光。
简而言之，尽管具有窄遮光范围的像素121a是适于对被摄体面31上的宽范围进行成像的广视角像素，但具有宽遮光范围的像素121a'是适于对被摄体面31上的窄范围进行成像的窄视角像素。要注意的是，在此的广视角像素与窄视角像素是用以比较图14的像素121a与121a'的代表，而非用以限制其他视角的像素的比较。
因此，例如，像素121a用于复原图14的图像I1。图像I1是与包括图16的上段的作为被摄体的整个人物H101的被摄体宽度W1对应的视角SQ1的图像。相反，例如，像素121a'用于复原图14的图像I2。图像I2是与图16的上段的人物H101的面部周围的区域被放大的被摄体宽度W2对应的视角SQ2的图像。
此外，例如，如图16的下段所示，可以想到在成像器件121的由虚线包围的范围ZA中收集和放置每个预定数量的图14的像素121a，并且在成像器件121的由点划线包围的范围ZB中收集和放置每个预定数量的像素121a'。然后，例如，当要复原与被摄体宽度W1对应的视角SQ1的图像时，通过使用范围ZA中的像素121a的检测信号，视角SQ1的图像可以被适当地复原。另一方面，在要复原与被摄体宽度W2对应的视角SQ2的图像的情况下，通过使用范围ZB中的像素121a'的检测信号，视角SQ2的图像可以被适当地复原。
要注意的是，由于视角SQ2比视角SQ1窄，因此在用相同像素数复原视角SQ2和视角SQ1的图像的情况下，与复原视角SQ1的图像相比，通过复原视角SQ2的图像可以复原更高画质的复原图像。
简而言之，在考虑使用相同像素数获得复原图像的情况下，在复原较窄视角的图像的情况下，可以获得较高画质的复原图像。
例如，图17的右部示出了图16的成像器件121的范围ZA中的配置的图像。图17的左部示出了范围ZA中的像素121a的配置的示例。
参照图17，由黑色指示的范围表示遮光膜121b，并且例如依照在图17的左部指示的规则来确定每个像素121a的遮光范围。
图17的左部的主遮光部分Z101(图17的左部的黑色部分)指示在像素121a中被共同遮蔽的范围。具体地，主遮光部分Z101具有从像素121a的左侧和右侧朝向像素121a的内侧的宽度dx1的范围，以及从像素121a的上侧和下侧朝向像素121a的内侧的高度dy1的范围。此外，在每个像素121a中，在主遮光部分Z101的内侧的范围Z102内设置未被遮光膜121b遮蔽的矩形开口Z111。因此，在每个像素121a中，除了开口Z111之外的范围被遮光膜121b遮蔽。
这里，像素121a的开口Z111被规则地布置。具体地，像素121a中的开口Z111在水平方向上的位置在同一垂直列中的像素121a中是相同的。此外，像素121a中的开口Z111在垂直方向上的位置在同一水平行的像素121a中是相同的。
另一方面，像素121a中的开口Z111在水平方向上的位置依照像素121a在水平方向上的位置而移位预定距离。具体地，当像素121a的位置朝向向右方向移位时，开口Z111的左侧移动到从像素121a的左侧沿向右方向移位宽度dx1、dx2、......、dxn的位置。宽度dx1和宽度dx2之间的距离、宽度dx2和宽度dx3之间的距离、......、以及dxn-1和宽度dxn之间的距离是通过将从范围Z102的水平方向上的宽度分别减去开口Z111的宽度时的长度除以水平方向上的像素数n-1而给出的值。
此外，像素121a中的开口Z111在垂直方向上的位置响应于像素121a在垂直方向上的位置而移位预定距离。具体地，当像素121a的位置在向下方向上移位时，开口Z111的上侧移动到从像素121a的上侧移位高度dy1、dy2、......、dyn的位置。高度dy1与高度dy2之间的距离、高度dy2与高度dy3之间的距离、......、高度dyn-1与高度dyn之间的距离是通过将从范围Z102的垂直方向的高度减去开口Z111的高度时的长度除以垂直方向的像素数m-1而得到的值。
图18的右部示出了图16的成像器件121的范围ZB中的配置的示例。图18的左部示出了范围ZB中的像素121a'的配置的示例。
参照图18，由黑色指示的范围表示遮光膜121b'，并且例如依照在图18的左部指示的规则来确定像素121a'的遮光范围。
图18的左部的主遮光部分Z151(图18的左部的黑色部分)是在像素121a'中被共同遮蔽的范围。具体地，主遮光部分Z151是从像素121a'的左侧和右侧朝向像素121a'的内侧的宽度dx1'的范围，以及从像素121a'的上侧和下侧朝向像素121a'的内侧的高度dy1'的范围。此外，在每个像素121a'中，在主遮光部分Z151的内侧的范围Z152中设置未被遮光膜121b'遮蔽的矩形开口Z161。因此，在每个像素121a'中，除了开口Z161之外的范围被遮光膜121b'遮蔽。
这里，像素121a'的开口Z161与图17的像素121a的开口Z111类似地规则布置。具体地，像素121a'中的开口Z161在水平方向上的位置在同一垂直列的像素121a'中是相同的。同时，像素121a'中的开口Z161在垂直方向上的位置在同一水平行的像素121a'中是相同的。
另一方面，像素121a'中的开口Z161在水平方向上的位置响应于像素121a'在水平方向上的位置而移位预定距离。具体地，当像素121a'的位置朝向向右方向移位时，开口Z161的左侧移动到从像素121a'的左侧单独地沿向右方向移位宽度dx1'、dx2'、......、dzn'的位置。宽度dx1'与宽度dx2'之间的距离、宽度dx2'与宽度dx3'之间的距离、......、宽度dxn-1'与宽度dxn'之间的距离是通过将从范围Z152的水平方向上的宽度减去开口Z161的宽度时的长度除以水平方向上的像素数n-1而获得的值。
另一方面，像素121a'中的开口Z161在垂直方向上的位置依照像素121a'在垂直方向上的位置而移位预定距离。具体地，当像素121a'的位置朝向向下方向移动时，开口Z161的上侧移动到从像素121a'的上侧沿向下方向移位宽度dy1'、dy2'、......、dyn'的位置。宽度dy1'与宽度dy2'之间的距离、宽度dy2'与宽度dy3'之间的距离、......、以及dyn-1'与宽度dyn'之间的距离是通过将从范围Z152的垂直方向上的高度分别减去开口Z161的高度时的长度除以垂直方向上的像素数m-1而得到的值。
这里，从图17的像素121a的范围Z102在水平方向上的宽度减去开口Z111的宽度时的长度大于从图18的像素121a'的范围Z152在水平方向上的宽度减去开口Z161的宽度时的宽度。因此，图17的宽度dx1、dx2、......、dxn的改变距离大于图18的宽度dx1'、dx2'、......、dxn'的改变距离。
此外，当从图17的像素121a的范围Z102在垂直方向上的高度减去开口Z111的高度时的长度大于当从图18的像素121a'的范围Z152在垂直方向上的高度减去开口Z161的高度时的长度。因此，图17的高度dy1、dy2、......、dyn的改变距离大于图18的高度dy1'、dy2'、......、dyn'的改变距离。
以这种方式，图17的像素121a的遮光膜121b的开口Z111在水平方向和垂直方向上的位置改变的距离与图18的像素121a'的遮光膜121b'的开口Z161在水平方向和垂直方向上的位置改变的距离彼此不同。然后，距离的差异变为复原图像中的被摄体分辨率(角度分辨率)的差异。具体地，图18的像素121a'的遮光膜121b'的开口Z161的水平方向和垂直方向上的位置改变的距离小于图17的像素121a的遮光膜121b的开口Z111的水平方向和垂直方向上的位置改变的距离。因此，使用图18的像素121a'的检测信号复原的复原图像与使用图17的像素121a的检测信号复原的复原图像相比，在被摄体分辨率和画质方面更高。
通过以这种方式改变主遮光部分的遮光范围和开口的开口范围的组合，可以实现包括各种视角(具有各种入射角指向性)的像素的成像器件121。
要注意的是，虽然前述描述是针对像素121a与像素121a'分别分离地布置于范围ZA与范围ZB中的示例，但此描述仅是为了简化描述，并且对应于不同视角的像素121a最好以混合方式布置于相同的区域中。
例如，如图19所示，从由虚线指示的两个像素×两个像素的四个像素形成一个单位U，每个单位U包括四个像素，即广视角的像素121a-W、中视角的像素121a-M、窄视角的像素121a-N和非常窄视角的像素121a-AN。
在这种情况下，例如，在所有像素121a的像素数为X的情况下，可以使用每个都具有针对四个视角中的每一个的X/4像素的检测图像来对复原图像进行复原。此时，对于每个视角使用彼此不同的四个系数集合组，并且通过四种不同类型的联立方程来复原彼此不同的视角的复原图像。
因此，通过使用从适合于对要复原的复原图像的视角进行成像的像素获得的检测图像来对复原图像进行复原，可以获得依照四个不同视角的适当的复原图像。
此外，通过从四个视角的图像进行插值，可以生成四个视角之间的中间视角的图像和/或该中间视角周围的视角的图像，并且通过无缝地生成各种视角的图像，可以实现伪光学变焦。
要注意的是，例如，在获得广视角的图像作为复原图像的情况下，可以使用所有广视角像素，或者可以使用一些广视角像素。此外，例如，在获得窄视角的图像作为复原图像的情况下，可以使用所有窄视角像素，或者可以使用一些窄视角像素。
<成像装置101的成像处理>
现在，参照图20的流程图描述图2的成像装置101的成像处理。
在步骤S1，成像器件121执行被摄体的成像。因此，从具有不同入射角指向性的成像器件121的每个像素121a输出指示依照来自被摄体的入射光的光量的检测信号电平的检测信号。成像器件121将包括像素121a的检测信号的检测图像提供给复原部122。
在步骤S2，复原部122计算要用于图像复原的系数。具体地，复原部122设置到作为复原目标的被摄体面31的距离，即，被摄体距离。要注意的是，可以采用任意方法作为被摄体距离的设置方法。例如，复原部122将用户通过输入部124输入的被摄体距离或检测部125检测出的被摄体距离设置为到复原目标的被摄体面31的距离。
然后，复原部122从存储部128读出与所设置的被摄体距离相关联的系数集合组。
在步骤S3，复原部122使用检测图像和系数执行图像的复原。具体地，复原部122使用检测图像的像素的检测信号电平和通过步骤S2的处理获取的系数集合组来创建以上参考上述表达式(1)至(3)或表达式(4)至(6)描述的联立方程。然后，复原部122求解所创建的联立方程以计算与所设置的被摄体距离相对应的被摄体面31上的每个点光源的光强度。然后，复原部122依照被摄体面31的点光源的布置来布置具有依照所计算的光强度的像素值的像素，以生成其中形成被摄体的像的复原图像。
在步骤S4，成像装置101对复原图像执行各种处理。例如，复原部122依照情况需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。此外，例如，复原部122依照情况需要将复原图像提供给显示部127以便显示，或者提供给记录和再现部129以便记录在记录介质130中，或者通过通信部131将复原图像提供给不同的装置。
此后，成像处理结束。
要注意的是，尽管上述描述针对使用与成像元件121和被摄体距离相关联的系数集合组，从检测图像对复原图像进行复原的示例，但是，例如，除了被摄体距离以外，还可以如上所述准备与复原图像的视角对应的系数集合组，从而使得使用与被摄体距离和视角对应的系数集合组来对复原图像进行复原。要注意的是，被摄体距离和视角的分辨率取决于要准备的系数集合组的数量。
此外，虽然使用图20的流程图的处理的描述针对其中使用包括在检测图像中的所有像素的检测信号的示例，但是可以生成包括在构成成像器件121的像素之中的具有与指定的被摄体距离和视角相对应的入射角指向性的像素的检测信号的检测图像，从而使得使用该检测图像来对复原图像进行复原。上述这种处理使得能够根据适合于要确定的复原图像的被摄体距离和视角的检测图像对复原图像进行复原，并且提高复原图像的复原精度和画质。具体地，在与指定的被摄体距离和视角相对应的图像是例如与图16中的视角SQ1相对应的示例的情况下，通过选择具有与视角SQ1相对应的入射角指向性的像素121a，并根据从所选像素121a获得的检测图像对复原图像进行复原，可以以高精度复原视角SQ1的图像。
通过上述处理，可以实现包括其中向每个像素设置入射角指向性的成像器件121作为主要部件的成像装置101。
结果，由于在专利文献等中描述的成像透镜、针孔和滤光器变得不必要，因此可以提高设备设计的自由度。此外，由于光学器件被配置为与成像器件121分离的主体并且在配置成像装置的阶段与成像器件121合并在一起，因此可以实现装置在入射光的入射方向上的小型化并且降低制造成本。此外，与如聚焦透镜的用于形成光学图像的成像透镜对应的透镜变得不必要。然而，可以设置用于改变放大率的变焦透镜。
要注意的是，尽管以上描述了在执行检测图像的捕获之后立即复原与预定的被摄体距离对应的复原图像的处理，但是也可以不立即执行复原处理，而是例如在将检测图像记录到记录介质130中之后或者通过通信部131将检测图像输出到其他装置之后，在所期望的定时使用检测图像来对复原图像进行复原。在这种情况下，可以通过成像装置101执行复原图像的复原或者可以通过不同的装置执行复原图像的复原。在这种情况下，通过例如通过求解使用依照任意被摄体距离和视角的系数集合组创建的联立方程得到复原图像，可以获得针对任意被摄体距离和视角的被摄体面的复原图像，并且可以实现再聚焦等。
例如，在使用包括成像透镜和传统成像器件的成像装置的情况下，为了获得各种焦距和视角的图像，需要在对焦距和视角进行各种改变的同时执行成像。另一方面，在成像装置101中，由于可以通过以这种方式切换系数集合组来复原任意被摄体距离和视角的复原图像，因此在对焦距(即，被摄体距离)或视角进行各种改变的同时重复执行成像的处理变得不必要。
在这种情况下，例如，用户也可以通过在显示部127上显示通过连续切换与不同的被摄体距离和视角相对应的系数集合组而复原的复原图像，来获得期望的被摄体距离和视角的复原图像。
要注意的是，在记录检测图像的情况下，当确定复原时的被摄体距离和视角时，复原用的元数据可以与检测图像相关联。例如，通过将元数据应用于包括检测图像的图像数据，将相同的ID应用于检测图像和元数据，或者将检测图像和元数据记录到相同的记录介质130中，可以将检测图像和元数据彼此关联。
要注意的是，在将相同的ID应用于检测图像和元数据的情况下，可以将检测图像和元数据记录到不同的记录介质中，或者可以从成像装置101单独输出它们。
此外，元数据可以包括或者可以不包括复原用的系数集合组。在后一种情况下，例如，在元数据中包括复原时的被摄体距离和视角，并且在复原时，从存储部128等获取与被摄体距离和视角相对应的系数集合组。
此外，在成像时立即执行复原图像的复原的情况下，例如，可以从检测图像和复原图像之间选择例如要记录或要输出到外部的图像。例如，可以将两个图像记录或输出到外部，或者可以仅将图像中的一个记录或输出到外部。
此外，在捕获运动图像的情况下，可以选择是否在成像时执行复原图像的复原，或者选择要记录或输出到外部的图像。例如，可以在进行运动图像的捕获的同时立即复原每个帧的复原图像，并且将复原图像和复原前的检测图像两者或其中之一记录或输出到外部。在这种情况下，在成像时，还可以显示每个帧的复原图像作为直通图像。或者，在成像时，例如，可以在不执行复原处理的情况下将每个帧的检测图像记录或输出到外部。
此外，在捕获运动图像时，例如，可以针对每个帧执行是否要执行复原图像的复原的选择或者对记录或要输出到外部的图像的选择。例如，可以针对每帧切换是否要执行复原图像的复原。此外，可以针对每个帧单独地切换是否要执行检测图像的记录以及是否要执行复原图像的记录。此外，例如，可以记录所有帧的检测图像，同时将元数据应用于可能在以后使用的有用帧的检测图像。
此外，可以实现与使用成像透镜的成像装置中的自动聚焦功能类似的自动聚焦功能。例如，可以通过基于复原图像利用类似于对比度AF(自动聚焦)方法的登山(mountainclimbing)方法确定最佳被摄体距离来实现自动聚焦功能。
此外，由于与包括专利文献等中描述的光学滤光器和传统成像器件的成像装置相比，可以使用由具有以像素为单位的入射角指向性的成像器件121捕获的检测图像来生成复原图像，因此可以实现像素数量的增加或者获得高分辨率和高角分辨率的复原图像。另一方面，在包括光学滤光器和传统成像器件的成像装置中，即使细化像素，由于光学滤光器的细化是困难的，因此难以实现复原图像的高分辨率等的实现。
此外，由于本公开的成像装置101包括成像器件121作为必要部件，并且不需要例如上述专利文献等中描述的光学滤光器等，因此不会发生使用环境变热并且光学滤光器由于热量而变形的情况，并且可以实现高耐环境性的成像装置。
此外，在本公开的成像装置101中，由于不需要上述专利文献等中描述的成像透镜、针孔和滤光器，因此可以提高包括成像功能的配置的设计自由度。
<处理负荷的减少方法>
顺便提及，在成像器件121的每个像素121a的遮光膜121b的遮光范围(即，入射角指向性)具有随机性的情况下，随着遮光范围的差异的无序增加，复原部122的处理的负荷增加。因此，可以通过使每个像素121a的遮光膜121b的遮光范围的改变的一部分有规则以减少无序，来减少处理负荷。
例如，其中组合了垂直带型和水平带型的L型的遮光膜121b被配置成使得在预定列方向上组合具有相等宽度的水平带型的遮光膜121b，而在预定行方向上组合具有相等高度的垂直带型的遮光膜121b。由此，像素121a的遮光膜121b的遮光范围以像素为单位随机变化，同时它们在列方向和行方向上保持规则性。结果，可以减小像素121a的遮光膜121b的遮光范围的差异，即入射角指向性差异的无序，从而减小复原部122的处理负荷。
具体地，例如，如图21的成像器件121"所示，对于由范围Z130指示的相同列中的像素，使用具有相等宽度X0的水平带型的遮光膜121b，并且对于由范围Z150指示的相同行中的像素，使用具有相等高度Y0的垂直带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用了其中组合了它们的L型的遮光膜121b。
类似地，对于由范围Z130旁边的范围Z131指示的相同列中的像素，使用具有相等宽度X1的水平带型的遮光膜121b，并且对于范围Z150旁边的范围Z151指示的相同行中的像素，使用具有相等高度Y1的垂直带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用了其中组合了它们的L型的遮光膜121b。
此外，对于由范围Z131旁边的范围Z132指示的相同列中的像素，使用具有相等宽度X2的水平带型的遮光膜121b，并且对于范围Z151旁边的范围Z152指示的相同行中的像素，使用具有相等高度Y2的垂直带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用了其中组合了它们的L型的遮光膜121b。
通过这样做，在遮光膜121B的水平方向上的宽度和位置以及垂直方向上的高度和位置具有规则性的同时，可以以像素为单位将遮光膜的范围设置为不同的值，因此，可以抑制入射角指向性的改变的无序。结果，可以减少系数集合的模式，并且减少复原部122中的计算处理的处理负荷。
更具体地，在如图22的右上部所示从N像素×N像素的检测图像Pic中得到N×N像素的复原图像的情况下，依照包括(N×N)行×1列的复原图像的像素值作为元素的向量X、包括(N×N)行×1列的检测图像的像素值作为元素的向量Y、以及包括系数集合组的(N×N)行×(N×N)列的矩阵A，满足如图22的左部所示的关系。
具体地，在图22中，指示包括系数集合组的(N×N)行×(N×N)列的矩阵A的元素与表示复原图像的(N×N)行×1列的向量X的相乘结果变为表示检测图像的(N×N)行×1列的向量Y。然后，依照该关系，构造与表达式(1)至(3)或表达式(4)至(6)相对应的联立方程。
要注意的是，在图22中，矩阵A的范围Z201所指示的第一列中的元素对应于向量X的第一行的元素，并且矩阵A的范围Z202所指示的第(N×N)列的元素对应于向量X的第(N×N)行的元素。
要注意的是，在使用针孔的情况下并且在使用用于将从成像透镜等的相同方向进入的入射光引入到彼此相邻的两个像素输出单位的会聚功能的情况下，由于唯一地确定了每个像素的位置与光的入射角之间的关系，因此矩阵A变为其中所有的向下对角分量都是1的对角矩阵。相反，在如图2的成像装置101中那样不使用针孔和成像透镜的情况下，由于不唯一地确定每个像素的位置与光的入射角之间的关系，因此矩阵A不变为对角矩阵。
换句话说，通过基于图22中描绘的行列式求解联立方程以得到矢量X的元素，来得到复原图像。
顺便提及，通常，通过从左开始将两侧乘以矩阵A的逆矩阵A-1，如图23所示将图22的行列式进行变换，并且通过从左开始将检测图像的向量Y乘以逆矩阵A-1，得到作为检测图像的向量X的元素。
然而，实际上，有时不能精确地计算矩阵A，有时不能精确地测量矩阵A，有时在矩阵A的基向量接近线性相关性的情况下不能求解矩阵A，并且有时在检测图像的元素中包括噪声。然后，出于所描述的任何一个原因或者它们的组合，有时不能求解联立方程。
因此，例如，考虑到对于各种误差具有鲁棒性的配置，使用以下使用正则化最小二乘法的概念的表达式(7)。
[数学式1]
Figure BDA0002445285560000431
这里，在表达式(7)中被添加了"^"的x表示向量X，A表示矩阵A，y表示向量Y，γ表示参数，并且||A||表示L2范数(和的平方根)。这里，当图22的两侧都被最小化时，右侧的第一项是范数，而右侧的第二项是正则化项。
如果针对x求解表达式(7)，则得到以下表达式(8)。
[数学式2]
Figure BDA0002445285560000432
这里，At是矩阵A的转置矩阵，并且I是单位矩阵。
然而，由于矩阵A具有巨大的尺寸，因此计算量和所需的存储量很大。
因此，例如，如图24所示，矩阵A被分解成N行×N列的矩阵AL和N行×N列的矩阵ART，使得它们与表示复原图像的N行×N列的矩阵X的前段和后段相乘的结果变为表示检测图像的N行×N列的矩阵Y。由此，元素数(N×N)×(N×N)的矩阵A变为其像素数为(N×N)的矩阵AL和ART，并且每个矩阵的元素数变为1/(N×N)。结果，可以减少计算量和所需的存储量。
例如，通过将表达式(8)的括号中的矩阵设置为矩阵AL，并将矩阵A的转置矩阵的逆矩阵设置为矩阵ART，来实现图24中所示的行列式。
在如图24中所示的此计算中，如图25中所示，通过将矩阵X中的关注元素Xp乘以矩阵AL的对应列的每个元素组Z221来计算元素组Z222。另外，通过将元素组Z222乘以矩阵ART中与关注元素Xp相对应的行的元素，计算与关注元素Xp相对应的二维响应Z224。然后，对于矩阵X的所有元素，对相应的二维响应Z224进行积分以计算矩阵Y。
因此，例如，对于矩阵AL的每列的元素组Z221，使用与对于图21所示的成像器件121的每列设置为相等宽度的水平带型的像素121a的入射角指向性相对应的系数。
类似地，例如，对于矩阵ART的每行的元素组Z223，使用与对于图21中描绘的成像器件121的每行设置为相等高度的垂直带型的像素121a的入射角指向性相对应的系数。
结果，可以减少在基于检测图像来复原图像时要使用的矩阵，因此，计算量减少。因此，可以提高处理速度并降低计算所需的功耗。此外，由于可以减小矩阵的尺寸，因此可以减小用于计算的存储器的容量，并且可以降低装置成本。
要注意的是，尽管图21示出了在水平方向和垂直方向上设置预定的规则性的同时以像素为单位改变遮光范围(受光范围)的示例，但是在本公开中，即使不完全随机而是在某种程度上随机地以像素为单位设置遮光范围(受光范围)，也可以认为遮光范围(受光范围)是随机设置的。换句话说，在本公开中，不仅在以像素为单位完全随机地设置遮光范围(受光范围)的情况下，而且在一定程度上随机地设置遮光范围(受光范围)(例如，尽管在所有像素中，一些像素属于其中遮光范围(受光范围)具有规则性的区域，但其他像素属于其中随机地设置遮光范围(受光范围)的其他区域)，或者遮光范围(受光范围)看起来在一定程度上不具有规则性(在不能确认按照如上参考图21所述的规则来布置遮光范围(受光范围)的布置的情况下)的情况下，认为随机地设置遮光范围(受光范围)。
<<3.本公开的实施例>>
现在，参考图26至29描述本公开的第一实施例。
在本实施例中，在一个成像器件中设置具有用于提供入射角指向性的配置(在下文中称为入射角指向性配置)的像素(在下文中称为指向性像素)和不具有入射角指向性配置的像素(在下文中称为非指向性像素)。此外，可以选择指向性像素和非指向性像素中的一个来执行成像。
在此，指向性像素是具有入射角指向性配置的像素，例如，如图4或图5的像素121a的像素那样。
另一方面，非指向性像素是不具有入射角指向性配置的像素，例如，像图4或图5的像素121a的像素那样。例如，其中用于遮蔽遮光膜121b的受光面S的部分被从图4的像素121a中移除的像素被用作非指向性像素。作为替代，例如，如图5的像素121a一样包括多个光电二极管，并且输出一个所有的多个光电二极管都作出贡献的检测信号的像素被用作非指向性像素。
<成像系统的配置的示例>
图26是示出根据本公开的实施例的成像装置201的配置的示例的框图。应当注意，在图中，与图2的成像装置101的元件对应的元件由相同的附图标记表示，并且适当地省略对它们的描述。
成像装置201与成像装置101相比的不同之处在于：设置信号处理控制部211和成像器件221来代替信号处理控制部111和成像器件121。信号处理控制部211与信号处理控制部111相比的不同之处在于：设置图像处理部222来代替复原部122。
此外，成像透镜(可更换透镜)202可以被附接到成像装置201和从成像装置201拆卸。成像透镜202在被附接到成像装置201的状态下在成像器件221的受光面上形成被摄体的像。
成像器件221包括指向性像素和非指向性像素。特别是，如图27所示，在配置成像器件221的半导体基板241的受光面上，设置矩形的非指向性像素区域242A和包围该非指向性像素区域242A的周围的中空正方形的指向性像素区域242B。
在非指向性像素区域242A中，多个非指向性像素(未绘示)以二维阵列布置。例如，在非指向性像素区域242A中，具有红色、绿色或蓝色滤光器的非指向性像素是根据Bayer阵列来布置的。此外，非指向性像素区域242A的中心在附接到成像装置201的状态下与成像透镜202的光轴一致，并且通过成像透镜202在非指向性像素区域242A中形成被摄体的像。
另一方面，指向性像素区242B中布置有多个指向性像素(未示出)。由于如上所述，指向性像素的布置自由度较高，因此可以如指向性像素区域242B一样在非矩形区域中布置指向性像素以执行成像。要注意的是，指向性像素区域242B中的所有指向性像素的入射角指向性不需要完全彼此不同，而是部分指向性像素的入射角指向性可以彼此相同。
另外，成像器件221能够执行捕获图像的成像和检测图像的成像之间的切换，其中，捕获图像是包括从非指向性像素区域242A的非指向性像素输出的检测信号的RAW图像，并且形成被摄体的像，检测图像是包括从指向性像素区域242B的指向性像素输出的检测信号，并且不形成被摄体的像的图像。此外，成像器件221将作为成像结果获得的捕获图像或检测图像提供给图像处理部222或总线B1。
与图2的成像装置101的复原部122类似，图像处理部222使用从成像器件221获取的检测图像和系数集组对复原图像进行复原。此外，图像处理部222根据需要对从成像器件221获取的复原图像或捕获图像执行去马赛克处理、γ校正、白平衡调整、向预定的压缩格式的变换处理等。然后，图像处理部222将复原图像或捕获图像输出到总线B1。
控制部123可以执行成像装置201的图像生成、聚焦控制、曝光控制等的控制，作为成像装置201的控制。
检测部125至少检测成像透镜202的附接和拆卸，并将指示检测结果的信号输出到总线B1。
<控制部224的配置的示例>
图28是示出由控制部224实现的一些功能的配置的示例的框图。控制部224包括图像生成控制部261、聚焦控制部262和曝光控制部263。
图像生成控制部261控制输出图像生成处理，该处理用于选择性地使用非指向性像素区域242A的非指向性像素和指向性像素区域242B的指向性像素来生成输出图像。通过输出图像生成处理生成的图像是要用于诸如显示、记录、输出到外部和复原的各种用途的图像。例如，图像生成控制部261基于成像透镜202是否被附接或者当前模式是成像模式还是再现模式来控制成像器件221和图像处理部222，以便从捕获图像、检测图像和复原图像中选择要使用哪个图像，来生成所选的图像。要注意的是，例如，当稍后执行复原处理而不是在成像时执行复原处理时，在成像时不生成复原图像。
例如，在使用非指向性像素执行成像的情况下，聚焦控制部262调整成像透镜202和成像器件221的受光面之间的距离，以实现成像装置201的自动聚焦。
曝光控制部263控制例如成像器件221的曝光时间等，以控制成像装置201的曝光。
<成像装置201的处理>
现在，参考图29的流程图描述由成像装置201执行的成像处理。
在步骤S101，图像生成控制部261基于来自检测部125的信号确定是否附接成像透镜202。在判断为没有附接成像透镜202的情况下，处理进入步骤S102。
在步骤S102，成像装置201使用指向性像素执行被摄体的成像。特别地，图像生成控制部261向成像器件221和图像处理部222发出用于生成检测图像和基于检测图像的复原图像的指令。
与图20的步骤S1的处理类似，成像器件221使用指向性像素区域242B中的指向性像素执行被摄体的成像。成像器件221将作为成像结果获得的检测图像提供给图像处理部222。
要注意的是，当成像器件221不仅使用指向性像素，而且使用非指向性像素执行成像时，从非指向性像素获得的捕获图像可能无法用于步骤S104的处理中。
此后，在步骤S103至S105，执行与图20的步骤S2至S4的处理类似的处理，然后成像处理结束。换句话说，根据检测图像生成复原图像，并且对复原图像执行各种处理。
另一方面，在步骤S101中判断成像透镜202被附接的情况下，处理进入步骤S106。
在步骤S106，成像装置201使用非指向性像素执行被摄体的成像。特别地，图像生成控制部261向成像器件221和图像处理部222发出用于生成捕获图像的指令。
成像器件221使用非指向性像素区域242B中的非指向性像素来执行被摄体的成像。成像器件221将作为成像结果获得的RAW图像的捕获图像提供给图像处理部222。
要注意的是，当成像器件221不仅使用非指向性像素，而且使用指向性像素执行成像时，从指向性像素获得的检测图像可能不被用于步骤S107的处理。
在步骤S107，成像装置201对捕获图像执行各种处理。例如，对捕获图像执行与图20的步骤S4的对复原图像的处理类似的处理。
此后，成像处理结束。
如上所述，可以基于是否成像透镜202是否被附接来选择性地使用多个指向性像素(指向性像素输出单位)和非指向性像素(非指向性像素输出单位)，并且增强了成像装置201的多功能性。例如，在要获得清晰图像的情况下，通过附接成像透镜202，可以使用非指向性像素生成捕获图像。另一方面，例如，在要以尽可能小的尺寸使用成像装置201的情况下，通过拆卸成像透镜202，可以使用指向性像素生成检测图像，并且可以生成从检测图像复原的复原图像。
<聚焦控制方法>
通常，作为成像透镜202形成被摄体的像的范围的像圈不仅覆盖非指向性像素区域242A，而且覆盖非指向性像素区域242A周围的指向性像素区域242B的部分。另一方面，指向性像素区域242B中的指向性像素的受光面被部分遮蔽，并且在执行图像面相位差AF(自动聚焦)时，指向性像素可被用作相位差像素。
因此，例如，聚焦控制部262基于来自成像透镜202的像圈内布置的指向性像素中的遮光范围彼此不同的两个指向性像素的检测信号之间的相位差，来调整成像透镜202和成像器件221的受光面之间的距离，以调整成像装置201的聚焦。因此，实现了图像面相位差AF。
要注意的是，用于图像面相位差AF的指向性像素对的数量可以被设置为一个或多个中的任意数量。此外，期望将指向性像素对设置成例如一对水平带型的指向性像素或一对垂直带型的指向性像素。此外，在使用一对水平带型的指向性像素的情况下，例如，期望使用其中指向性像素的遮光范围是水平对称的一对指向性像素，从而使得通过指向性像素的检测信号之间的相位差大。类似地，在使用一对垂直带型的指向性像素的情况下，期望使用其中指向性像素的遮光范围垂直对称的一对指向性像素，使得指向性像素的检测信号(图像)之间的相位差大。
<曝光控制方法>
在从检测图像对复原图像进行复原的情况下，通过求解如上文给出的表达式(1)至(3)或表达式(4)至(6)所示的联立方程来计算复原图像的每个像素的像素值。因此，如果入射光的光强度增加，并且即使一个指向性像素饱和，这也会影响复原图像的所有像素，并且复原图像的复原精度劣化。
另一方面，假定与指向性像素相比，非指向性像素由于不包括遮光膜121b因而受光灵敏度更高。特别是，假定相对于光强度相同的入射光，非指向性像素的检测信号电平比指向性像素的检测信号电平高。
因此，例如，在使用指向性像素进行成像的情况下，非指向性像素区域242A中的部分非指向性像素可以用作曝光控制的像素(以下称为曝光用像素)，而曝光控制部263基于曝光用像素的检测信号电平，进行成像装置201(指向性像素)的曝光控制。
例如，曝光控制部263基于曝光用像素的检测信号电平，控制指向性像素的曝光时间。因此，抑制了指向性像素的饱和的发生。
此外，例如，曝光控制部263基于曝光用像素的检测信号电平执行控制，使得将可移动的ND(中性密度)滤波器插入到被摄体与成像器件221的受光面之间的空间中，或者从被摄体与成像器件221的受光面之间的空间中提取。这抑制了指向性像素的饱和的发生。
要注意的是，也可以使用具有能够通过电子控制而改变的调光率的电子式可变ND滤光器，使得曝光控制部263基于曝光用像素的检测信号电平，控制电子式可变ND滤光器的调光率，从而使指向性像素不饱和。
要注意的是，为了进一步提高曝光用像素的受光灵敏度，以增大与指向性像素的受光灵敏度之差，例如，期望在曝光用像素中设置白色或透明的彩色滤光器，或者不在曝光用像素中设置彩色滤光器。
<<4.变型例>>
下面，描述上述本公开的实施例的变型例。
<与指向性像素的布置等有关的变型例>
虽然图27描绘了指向性像素区域242B被布置成围绕非指向性像素区域242A的示例，但由于指向性像素的布置自由度高，因此指向性像素区域的位置和形状可以任意改变。
例如，指向性像素区域不必一定要被布置成围绕非指向性像素区域242A的四边，并且也可以将指向性像素区域布置成使得它与非指向性像素区域242A的四边中的三条或更少边相邻。此外，例如，可以将指向性像素区域分割成多个区域，或者将指向性像素区域布置在与非指向性像素区域242A分开的位置。
要注意的是，考虑到可制造性等，指向性像素区域和非指向性像素区域优选地形成在同一半导体基板上。
此外，如果允许捕获图像的画质的劣化，则还可以在一个区域中混合地设置非指向性像素和指向性像素，而不将非指向性像素区域和指向性像素区域彼此分离。在这种情况下，当使用非指向性像素来执行对捕获图像的捕获时，例如，使用周围的非指向性像素的像素值来对设置有指向性像素的像素的像素值进行插值。
此外，指向性像素的数量和非指向性像素的数量不必彼此相等。另一方面，可以在使使用从指向性像素获得的检测图像复原的复原图像的视角和从非指向性像素获得的捕获图像的视角彼此一致的同时，使要用于生成检测图像的指向性像素的数量和要用于生成捕获图像的非指向性像素的数量彼此一致。这使得在附接成像透镜202的情况下和拆卸成像透镜202的另一情况下都能够获得相同视角的图像。
<与指向性像素(成像器件121)相关的变型例>
例如，作为每个像素121a的遮光膜121b的形状，可以采用除了水平带型、垂直带型、L型和具有矩形开口的类型之外的类型的形状。
此外，尽管例如上文参照图5描述的成像器件121涉及在一个像素121a中设置两行×两列的四个光电二极管121f的示例，但是光电二极管121f的数量和布置不限于该示例的数量和布置。
例如，如图30所示，一个像素121a可以包括排列成三行×三列的九个光电二极管121f-111至121f-119，例如，可以为一个片上透镜121c设置。换句话说，一个像素输出单位可以包括九个光电二极管121f。
然后，例如，通过不读出光电二极管121f-111、121f-114和121f-117至121f-119的五个像素的信号，可以获得与包括设置在光电二极管121f-111、121f-114和121f-117至121f-119的范围内的L型的遮光膜121b的像素121a的入射角特性基本类似的入射角特性。
以这种方式，可以在不设置遮光膜121b的情况下获得与设置遮光膜121b的情况下的入射角特性类似的入射角特性。此外，通过切换不读出信号的光电二极管121f的图案，可以与改变由遮光膜121b遮蔽的位置和范围的情况下的入射角指向性类似，将入射角指向性设置为不同的值。
此外，虽然前面的描述针对一个像素输出单位包括一个像素121a的示例，但是也可以从多个像素121a中配置一个像素输出单位。
例如，如图31所示，可以从排列成三行×三列的像素121a-111至121a-119中配置一个像素输出单位301b。要注意的是，像素121a-111至121a-119中的每一个包括例如一个光电二极管，但是不包括片上透镜。
例如，可以通过将来自像素121a的像素信号相加以生成用于检测图像的一个像素的检测信号，并且停止输出或避免来自一些像素121a的像素信号的相加，来实现像素输出单位301b的入射角指向性。例如，通过将像素121a-112、121a-113、121a-115和121a-116的像素信号相加以生成检测信号，可以获得与在像素121a-111、121a-114和121a-117至121a-119的范围中设置L型的遮光膜121b的情况下的入射角指向性类似的入射角指向性。
此外，通过切换其中像素信号被添加到检测信号的像素121a的图案，入射角指向性可以类似于由遮光膜121b遮蔽的位置和范围改变的情况那样改变。
此外，在这种情况下，例如，可以通过改变像素121a的组合来改变像素输出单位的范围。例如，像素输出单位301s可以具有包括像素121a-111、121a-112、121a-114和121a-115的两行×两列的像素121a。
此外，例如，可以通过预先记录所有像素121a的像素信号并稍后设置像素121a的组合来稍后设置像素输出单位的范围。此外，通过从所设置的像素输出单位中的像素121a当中选择其像素信号要被添加到检测信号的像素121a，可以稍后设置像素输出单位的入射角指向性。
<与成像方法相关的变型例>
尽管示出了在图29的成像处理的步骤S104立即从检测图像对复原图像进行复原的示例，但是也可以在检测图像被记录到记录介质130中或被输出到外部之后的期望时刻，使用检测图像来对复原图像进行复原。在这种情况下，在成像时，仅生成检测图像，而不生成复原图像。
要注意的是，在这种情况下，例如，关联部126通过上文描述的方法将检测图像和与检测图像相对应的元数据彼此关联。此外，元数据可以包括或者可以不包括要用于复原的系数集组。在后一种情况下，例如，在元数据中包括复原时的被摄体距离或视角，并且在复原时，从存储部128等获取与被摄体距离或视角相对应的系数集组。
此外，在要从检测图像立即执行复原图像的复原的情况下，例如，与上述图20的处理类似，可以在捕获静止图像和运动图像中的任何一个时，从检测图像和复原图像之间选择要记录或输出到外部的图像。
<其他变型例>
成像器件221不仅可以应用于像成像装置201那样附接或拆卸成像透镜的类型的成像装置，而且可以应用于总是附接成像透镜以进行成像的类型的成像装置和总是在没有附接成像透镜的情况下执行成像的类型的成像装置。例如，在成像器件221应用于其中总是附接成像透镜以进行成像的类型的成像装置的情况下，成像器件221被设置为使得总是使用非指向性像素来执行成像。另一方面，在成像器件221应用于其中总是在没有附接成像透镜的情况下执行成像的类型的成像装置的情况下，成像器件221被设置为使得总是使用指向性像素执行成像。以这种方式，一个成像器件221可以应用于任何类型的成像装置，并且成像器件221的多功能性得到提高。
此外，本公开还可以应用于对诸如红外线的除可见光线之外的波长的光进行成像的成像装置或成像器件。在这种情况下，复原图像不是通过用户的目视观察能够识别被摄体的图像，而是用户无法观察被摄体的图像。要注意的是，由于普通成像透镜难以透射远红外光，因此本技术例如在要执行远红外光的成像的情况下是有效的。因此，复原图像可以是远红外光的图像，并且可以不是远红外光而是其他可见光或不可见光的图像。
此外，例如，通过应用诸如深度学习的机械学习，还可以在不使用复原之后的复原图像而使用复原之前的检测图像和检测信号集的情况下执行图像识别等。在这种情况下，通过使用本技术，使用复原之前的检测图像的图像识别的精度也得到提高。换句话说，改善了复原之前的检测图像的画质。
<<5.其他>>
上述一系列处理不仅可以由硬件执行，而且可以由软件执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装到计算机中。这里，计算机包括并入专用硬件(例如，控制部123等)中的计算机。
例如，将由计算机执行的程序记录并提供为作为封装介质等的记录介质(诸如记录介质130等)。此外，可以通过诸如局域网、因特网或数字广播的有线或无线传输介质来提供程序。
要注意的是，计算机执行的程序既可以是通过其按照本说明书中说明的顺序以时间序列执行处理的程序，也可以是通过其并行地或诸如程序被调用时的必要时刻执行处理的程序。
此外，本技术的实施例不限于上文描述的实施例，并且在不脱离本技术的主题的情况下可以进行各种改变。
例如，本技术可以假定一种用于云计算的配置，其中，由多个设备通过网络来协作地共享和处理一个功能。
此外，上文结合流程图描述的步骤可以由单个装置执行，或者可以通过由多个装置共享来执行。
此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由单个设备执行，并且还可以通过由多个设备共享来执行。
应当注意，本公开可以采取如下所述的这种配置。
(1)一种成像器件，包括：
半导体基板；
多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
(2)根据上述(1)所述的成像器件，其中
根据从各个指向性像素输出单位输出的检测信号生成没有形成被摄体的像的检测图像，并且根据从各个非指向性像素输出单位输出的检测信号生成形成有被摄体的像的捕获图像。
(3)根据上述(2)所述的成像器件，其中
用于生成检测图像的指向性像素输出单位的数量和用于生成捕获图像的非指向性像素输出单位的数量彼此一致，以及
使用检测图像复原的复原图像的视角与捕获图像的视角彼此一致。
(4)根据上述(1)至(3)中任一项所述的成像器件，其中
所述非指向性像素输出单位被配置于矩形区域中。
(5)根据上述(4)所述的成像器件，其中
所述指向性像素输出单位被配置于所述矩形区域的周围。
(6)根据上述(1)至(5)中任一项所述的成像器件，其中
每个所述指向性像素输出单位包括
一个光电二极管，以及
遮光膜，被配置为遮蔽所述入射光的部分入射到所述光电二极管。
(7)根据上述(1)至(5)中任一项所述的成像器件，其中
每个所述指向性像素输出单位包括多个光电二极管，并且输出所述多个光电二极管中的部分光电二极管所作出贡献的一个检测信号。
(8)根据上述(1)至(7)中任一项所述的成像器件，其中
所述成像器件具有用于使所述多个指向性像素输出单位中的至少两个指向性像素输出单位的输出像素值具有相对于来自所述被摄体的入射光的彼此不同的入射角指向性的配置。
(9)一种图像处理装置，包括：
图像生成控制部，被配置为控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理，
所述成像器件包括
半导体基板；
所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
(10)根据上述(9)所述的图像处理装置，还包括：
所述成像器件。
(11)根据上述(10)所述的图像处理装置，其中
每个所述非指向性像素输出单位被布置在如下区域中，在该区域中，在成像透镜被附接到所述图像处理装置的情况下，所述被摄体的像通过所述成像透镜形成。
(12)根据上述(11)所述的图像处理装置，其中
所述图像生成控制部控制所述输出图像生成处理，使得基于成像透镜是否被附接到所述图像处理装置来选择包括从所述多个指向性像素输出单位输出的检测信号的检测图像或包括从所述多个非指向性像素输出单位输出的检测信号的捕获图像中的一个。
(13)根据上述(11)或(12)所述的图像处理装置，其中
在所述成像透镜被附接到所述图像处理装置的状态下，至少部分所述指向性像素输出单位被布置在所述成像透镜的像圈中，
所述图像处理装置还包括：
聚焦控制部，被配置为在所述成像透镜被附接到所述图像处理装置的情况下，基于从所述像圈中的至少两个所述指向性像素输出单位输出的检测信号来调整所述图像处理装置的聚焦。
(14)根据上述(10)至(13)中任一项所述的图像处理装置，还包括：
曝光控制部，被配置为基于从至少一个所述非指向性像素输出单位输出的检测信号来执行曝光控制。
(15)根据上述(14)所述的图像处理装置，其中
所述曝光控制部控制所述指向性像素输出单位的曝光。
(16)根据上述(9)至(15)中任一项所述的图像处理装置，还包括：
图像处理部，被配置为使用包括从所述多个指向性像素输出单位输出的检测信号的检测图像来对复原图像进行复原。
(17)一种图像处理方法，包括：
图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理，
所述成像器件包括
半导体基板；
所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；
以及
所述多个非指向性像素输出单位，形成在所述半导体基板上，
并且不具有用于提供入射角指向性的配置。
(18)一种用于使计算机执行处理的程序，所述处理包括：
图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理，
所述成像器件包括
半导体基板；
所述多个指向性像素输出单位，形成在所述半导体基板上，
并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；
以及
所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
(19)一种成像器件，包括：
半导体基板；
多个指向性像素输出单位，形成在所述半导体基板上；以及
非指向性像素输出单位，形成在所述半导体基板上，其中
所述成像器件具有用于使所述多个指向性像素输出单位中的至少两个指向性像素输出单位的输出像素值具有相对于来自被摄体的入射光彼此不同的入射角指向性。
要注意的是，本说明书中描述的有益效果仅是示例性的，而不是限制性的，并且可以应用其他有益效果。
附图标记列表
101成像装置，111信号处理控制部，121成像器件，121a，121a'像素，121A受光面，121b遮光膜，121c片上透镜，121e，121f光电二极管，122复原部，123控制部，125检测部，126关联部，201成像装置，202成像透镜，211信号处理控制部，221成像器件，222图像处理部，241半导体基板，242A非指向性像素区域，242B指向性像素区域，261图像生成控制部，262聚焦控制部，263曝光控制部，301b，301s像素输出单位。

Claims (18)

1.一种成像器件，包括：
半导体基板；
多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
2.根据权利要求1所述的成像器件，其中
根据从各个指向性像素输出单位输出的检测信号生成没有形成被摄体的像的检测图像，并且根据从各个非指向性像素输出单位输出的检测信号生成形成有被摄体的像的捕获图像。
3.根据权利要求2所述的成像器件，其中
用于生成检测图像的指向性像素输出单位的数量和用于生成捕获图像的非指向性像素输出单位的数量彼此一致，以及
使用检测图像复原的复原图像的视角与捕获图像的视角彼此一致。
4.根据权利要求1所述的成像器件，其中
所述非指向性像素输出单位被配置于矩形区域中。
5.根据权利要求4所述的成像器件，其中
所述指向性像素输出单位被配置于所述矩形区域的周围。
6.根据权利要求1所述的成像器件，其中
每个所述指向性像素输出单位包括
一个光电二极管，以及
遮光膜，被配置为遮蔽所述入射光的部分入射到所述光电二极管。
7.根据权利要求1所述的成像器件，其中
每个所述指向性像素输出单位包括多个光电二极管，并且输出所述多个光电二极管中的部分光电二极管所作出贡献的一个检测信号。
8.根据权利要求1所述的成像器件，其中
所述成像器件具有用于使所述多个指向性像素输出单位中的至少两个指向性像素输出单位的输出像素值具有相对于来自所述被摄体的入射光的彼此不同的入射角指向性的配置。
9.一种图像处理装置，包括：
图像生成控制部，被配置为控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理，
所述成像器件包括
半导体基板；
所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
10.根据权利要求9所述的图像处理装置，还包括：
所述成像器件。
11.根据权利要求10所述的图像处理装置，其中
每个所述非指向性像素输出单位被布置在如下区域中，在该区域中，在成像透镜被附接到所述图像处理装置的情况下，所述被摄体的像通过所述成像透镜形成。
12.根据权利要求11所述的图像处理装置，其中
所述图像生成控制部控制所述输出图像生成处理，使得基于成像透镜是否被附接到所述图像处理装置来选择包括从所述多个指向性像素输出单位输出的检测信号的检测图像或包括从所述多个非指向性像素输出单位输出的检测信号的捕获图像中的一个。
13.根据权利要求11所述的图像处理装置，其中
在所述成像透镜被附接到所述图像处理装置的状态下，至少部分所述指向性像素输出单位被布置在所述成像透镜的像圈中，
所述图像处理装置还包括：
聚焦控制部，被配置为在所述成像透镜被附接到所述图像处理装置的情况下，基于从所述像圈中的至少两个所述指向性像素输出单位输出的检测信号来调整所述图像处理装置的聚焦。
14.根据权利要求10所述的图像处理装置，还包括：
曝光控制部，被配置为基于从至少一个所述非指向性像素输出单位输出的检测信号来执行曝光控制。
15.根据权利要求14所述的图像处理装置，其中
所述曝光控制部控制所述指向性像素输出单位的曝光。
16.根据权利要求9所述的图像处理装置，还包括：
图像处理部，被配置为使用包括从所述多个指向性像素输出单位输出的检测信号的检测图像来对复原图像进行复原。
17.一种图像处理方法，包括：
图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理，
所述成像器件包括
半导体基板；
所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
18.一种用于使计算机执行处理的程序，所述处理包括：
图像生成控制步骤，控制选择性地使用从成像器件的多个指向性像素输出单位输出的检测信号和从所述成像器件的多个非指向性像素输出单位输出的检测信号的输出图像生成处理，
所述成像器件包括
半导体基板；
所述多个指向性像素输出单位，形成在所述半导体基板上，并且具有用于接收不经由成像透镜和针孔中的任何一个进入的来自被摄体的入射光的配置，所述配置能够独立地设置入射角指向性，所述入射角指向性指示相对于所述入射光的入射角的指向性；以及
所述多个非指向性像素输出单位，形成在所述半导体基板上，并且不具有用于提供入射角指向性的配置。
CN201880066078.XA 2017-10-19 2018-10-19 成像器件、图像处理装置、图像处理方法和记录介质 Active CN111201782B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-202772 2017-10-19
JP2017202772 2017-10-19
PCT/JP2018/038941 WO2019078334A1 (ja) 2017-10-19 2018-10-19 撮像素子、画像処理装置、画像処理方法、および、プログラム

Publications (2)

Publication Number Publication Date
CN111201782A true CN111201782A (zh) 2020-05-26
CN111201782B CN111201782B (zh) 2022-11-01

Family

ID=66173306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880066078.XA Active CN111201782B (zh) 2017-10-19 2018-10-19 成像器件、图像处理装置、图像处理方法和记录介质

Country Status (6)

Country Link
US (1) US11375103B2 (zh)
EP (1) EP3678365A4 (zh)
JP (1) JP7156297B2 (zh)
KR (1) KR20200075828A (zh)
CN (1) CN111201782B (zh)
WO (1) WO2019078334A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238887B2 (ja) * 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
CN111989916B (zh) * 2018-03-30 2022-11-08 索尼公司 成像设备和方法、图像处理设备和方法以及成像元件
US20230409843A1 (en) * 2020-11-13 2023-12-21 Sony Group Corporation Semiconductor device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100178722A1 (en) * 2008-10-07 2010-07-15 De Graff Bassel Methods and applications of non-planar imaging arrays
CN104012076A (zh) * 2011-12-21 2014-08-27 夏普株式会社 成像设备和电子信息仪器
JP2015015295A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US20150206911A1 (en) * 2014-01-21 2015-07-23 Kabushiki Kaisha Toshiba Solid-state imaging device and manufacturing method of the same
JP2016039354A (ja) * 2014-08-11 2016-03-22 キヤノン株式会社 固体撮像装置及びカメラ
JP2016510910A (ja) * 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
CN106783898A (zh) * 2015-10-12 2017-05-31 三星电子株式会社 图像传感器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0510470D0 (en) 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
GB2434934A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Processing coded aperture image data by applying weightings to aperture functions and data frames
EP2311092B1 (en) 2008-07-25 2021-01-27 Cornell University Light field image sensor, method and applications
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
JP2015216186A (ja) 2014-05-09 2015-12-03 ソニー株式会社 固体撮像装置および電子機器
JP2016123529A (ja) 2014-12-26 2016-07-11 株式会社大都技研 遊技台
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
KR102577844B1 (ko) * 2016-08-09 2023-09-15 삼성전자주식회사 이미지 센서

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100178722A1 (en) * 2008-10-07 2010-07-15 De Graff Bassel Methods and applications of non-planar imaging arrays
CN104012076A (zh) * 2011-12-21 2014-08-27 夏普株式会社 成像设备和电子信息仪器
JP2016510910A (ja) * 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP2015015295A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US20150206911A1 (en) * 2014-01-21 2015-07-23 Kabushiki Kaisha Toshiba Solid-state imaging device and manufacturing method of the same
JP2016039354A (ja) * 2014-08-11 2016-03-22 キヤノン株式会社 固体撮像装置及びカメラ
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
CN106783898A (zh) * 2015-10-12 2017-05-31 三星电子株式会社 图像传感器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法
CN112926534B (zh) * 2021-04-02 2023-04-28 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法

Also Published As

Publication number Publication date
JP7156297B2 (ja) 2022-10-19
KR20200075828A (ko) 2020-06-26
JPWO2019078334A1 (ja) 2020-11-19
US11375103B2 (en) 2022-06-28
WO2019078334A1 (ja) 2019-04-25
US20200314325A1 (en) 2020-10-01
EP3678365A4 (en) 2020-11-04
EP3678365A1 (en) 2020-07-08
CN111201782B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111201782B (zh) 成像器件、图像处理装置、图像处理方法和记录介质
JP7290159B2 (ja) 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム
CN111201780B (zh) 成像装置和方法以及图像处理装置和方法
EP3700192B1 (en) Imaging device and signal processing device
CN111201778B (zh) 成像装置、曝光控制方法、计算机可读存储介质和成像器件
JP2023041751A (ja) 撮像装置及び信号処理装置
JPWO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
CN111886856A (zh) 成像元件、成像装置以及信息处理方法
JPWO2019188396A1 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant