CN111201778B - 成像装置、曝光控制方法、计算机可读存储介质和成像器件 - Google Patents

成像装置、曝光控制方法、计算机可读存储介质和成像器件 Download PDF

Info

Publication number
CN111201778B
CN111201778B CN201880066128.4A CN201880066128A CN111201778B CN 111201778 B CN111201778 B CN 111201778B CN 201880066128 A CN201880066128 A CN 201880066128A CN 111201778 B CN111201778 B CN 111201778B
Authority
CN
China
Prior art keywords
pixel
imaging device
light
pixel output
directional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880066128.4A
Other languages
English (en)
Other versions
CN111201778A (zh
Inventor
宫谷佳孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111201778A publication Critical patent/CN111201778A/zh
Application granted granted Critical
Publication of CN111201778B publication Critical patent/CN111201778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/205—Neutral density filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明涉及：一种能够提高图像复原精度的成像装置；曝光控制方法；程序和成像元件。该成像装置设置有：成像元件，该成像元件设置有多个指向性像素输出单位以及非指向性像素输出单位，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且设置有能够独立地设置入射角指向性的配置，所述入射光在不通过成像透镜或针孔的情况下入射，所述入射角指向性指示入射光的入射角的指向性；所述非指向性像素输出单位接收在不通过成像透镜或针孔的情况下入射的入射光，并且不设置有用于施加入射角指向性的配置；以及曝光控制部，该曝光控制部基于非指向性检测信号(即从所述非指向性像素输出单位输出的检测信号)，控制所述多个指向性像素输出单位的曝光。

Description

成像装置、曝光控制方法、计算机可读存储介质和成像器件
技术领域
本公开涉及成像装置、曝光控制方法、程序和成像器件，并且具体地涉及可以提高图像的复原精度的成像装置、曝光控制方法、程序和成像器件。
背景技术
传统上，提出了一种成像装置，其中，在不使用成像透镜的情况下，通过包括覆盖成像器件的受光面的格子光学滤光器或衍射光栅的光学滤光器来调制来自被摄体的光并使其成像，并且通过预定计算处理来复原形成被摄体的像(例如，参考NPL1、PTL1和PTL2)。
引用列表
非专利文献
非专利文献1：Salman Asif和其他四人，“Flatcam：用掩模和计算替换透镜”，“2015IEEE计算机视觉国际研讨会(ICCVW)”， 2015，第663-666页(M.Salman Asif andfour others,"Flatcam: Replacing lenses with masks and computation,""2015IEEEInternational Conference on Computer Vision Workshop(ICCVW)," 2015,pp.663-666)
专利文献
专利文献1：JP-T-2016-510910
专利文献2：PCT专利公开号WO2016/123529
发明内容
技术问题
顺便提及，在非专利文献1、专利文献1和专利文献2中例示的成像装置中，由于使用从成像器件的像素输出的所有检测信号来执行计算处理，因此如果即使对于一个像素也发生饱，则这对整个成像装置有影响，并且图像的复原精度降低。结果，复原的图像的画质降低。
考虑到如上所述的这种情况作出了本公开，并且本公开考虑了提高图像的复原精度。
问题的解决方案
本公开的第一方面的成像装置包括：成像器件，包括：多个指向性像素输出单位以及非指向性像素输出单位，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个进入的入射光，并且不具有用于提供入射角指向性的配置；以及曝光控制部，被配置为基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
本公开的第二方面的曝光控制方法包括：曝光控制步骤，用于基于作为从非指向性像素输出单位输出的检测信号的非指向性检测信号，执行多个指向性像素输出单位的曝光控制，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个的进入的入射光，并且不具有用于提供入射角指向性的配置。
本公开的第三方面的程序使成像装置的计算机执行处理，所述成像装置包括成像器件，所述成像器件包括多个指向性像素输出单位以及非指向性像素输出单位，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个进入的入射光，并且不具有用于提供入射角指向性的配置，所述处理包括：曝光控制步骤，用于基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
本公开的第四方面的成像器件包括：多个指向性像素输出单位，其接收来自被摄体的入射光并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性；以及非指向性像素输出单位，其接收不经由成像透镜和针孔中的任何一个进入的入射光，并且不具有用于提供入射角指向性的配置，具有比指向性像素输出单位的受光灵敏度高的受光灵敏度，并且用于所述多个指向性像素输出单位的曝光控制。
在本公开的第一至第三方面中，基于作为从非指向性像素输出单位输出的检测信号的非指向性检测信号，执行多个指向性像素输出单位的曝光控制，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个的进入的入射光，并且不具有用于提供入射角指向性的配置。
在本公开的第四方面中，通过多个指向性像素输出单位和非指向性像素输出单位，其中，所述多个指向性像素输出单位具有能够独立地设置入射角指向性的配置，所述入射角指向性指示来自被摄体的入射光的入射角，所述非指向性像素输出单位不具有用于提供入射角指向性的配置，具有比指向性像素输出单位的受光灵敏度高的受光灵敏度，用于所述多个指向性像素输出单位的曝光控制，并且不经由成像透镜和针孔中的任何一个接收入射光。
发明的有益效果
依照本公开的第一至第四方面，可以提高图像的复原精度。
要注意的是，这里描述的有益效果不一定是限制性的，并且本公开中描述的其他有益效果可以是适用的。
附图说明
图1是示出通过应用了本公开的技术的成像装置进行成像的原理的图。
图2是示出应用了本公开的技术的成像装置的基本配置的示例的框图。
图3是示出图2的成像器件的像素阵列部的配置的示例的图。
图4是示出图2的成像器件的配置的第一示例的图。
图5是示出图2的成像器件的配置的第二示例的图。
图6是示出入射角指向性的产生原理的图。
图7是示出利用片上透镜的入射角指向性的变化的图。
图8是表示一种类型的遮光膜的示例的图。
图9是示出入射角指向性的设计的图。
图10是示出片上透镜和成像透镜之间的差异的图。
图11是示出片上透镜和成像透镜之间的另一差异的图。
图12是示出片上透镜和成像透镜之间的又一差异的图。
图13是示出被摄体距离和指示入射角指向性的系数之间的关系的图。
图14是示出窄视角像素和广视角像素之间的关系的图。
图15是示出窄视角像素和广视角像素之间的另一关系的图。
图16是示出窄视角像素和广视角像素之间的又一关系的图。
图17是示出窄视角像素和广视角像素之间的画质的差异的图。
图18是示出窄视角像素和广视角像素之间的画质的另一差异的图。
图19是示出其中组合了不同视角的多个像素的示例的图。
图20是示出由图2的成像装置进行的成像处理的流程图。
图21是示出处理负荷的减少方法的图。
图22是示出处理负荷的另一减少方法的图。
图23是示出处理负荷的进一步减少方法的图。
图24是示出处理负荷的又一减少方法的图。
图25是示出处理负荷的又一减少方法的图。
图26是示出图2的成像器件的电路配置的示例的框图。
图27是示出图26的像素阵列部的配置示例的图。
图28是示出由图26的成像器件执行的成像处理的流程图。
图29是示出图2的成像装置的处理的时序图。
图30是示出由图2的信号处理控制部执行的曝光控制和复原处理的流程图。
图31是示出复原用像素的曝光时间段的设置方法的图。
图32是示出图26的像素阵列部的配置的变型例的图。
图33是示出成像装置的第二实施例的配置的示例的框图。
图34是示出图5的成像器件的变型例的图。
图35是示出像素输出单位的变型例的图。
具体实施方式
下面，参照附图描述本公开的优选实施例。要注意的是，用相同的附图标记标注具有基本上相同的功能配置的配置要素，并适当地省略重复的描述。
此外，以如下顺序给出描述。
1.本公开的成像装置的概述
2.本公开的成像装置的基本配置的示例
3.第一实施例：控制成像器件的曝光时间的示例
4.第二实施例：使用ND滤光器的示例
5.变型例
6.其他
<<1.本公开的成像装置的概述>>
首先，描述本公开的成像设备的概述。
本公开的成像设备使用成像装置51，其中每个像素的检测灵敏度具有入射角指向性，如图1的左上所示。这里，每个像素的检测灵敏度具有入射角指向性表示依照入射光到像素的入射角的受光灵敏度特性对于每个像素是不同的。然而，在所有像素中受光灵敏度不需要完全不同，而是可以在一些像素中相同。
这里，例如，假定所有被摄体是一组点光源，并且从每个点光源沿每个方向发射光。例如，假设例如图1左上的被摄体的被摄体面 31包括点光源PA到点光源PC，并且点光源PA到PC发出光强度a 到光强度c周围的多条光线。此外，在以下描述中，假设成像器件 51在其位置Pa至Pc处包括具有彼此不同的入射角指向性的像素(在下文中称为像素Pa至Pc)。
在这种情况下，如图1的左上方所示，从相同点光源发射的相同光强度的光线进入成像器件51的像素。例如，从点光源PA发射的光强度为a的光线单独进入成像器件51的像素Pa到Pc。另一方面，从相同点光源发射的光线以彼此不同的入射角进入像素。例如，点光源PA的光线以彼此不同的入射角进入像素Pa到Pc。
这里，由于像素Pa至Pc的入射角指向性彼此不同，因此以不同像素之间不同的灵敏度检测从相同点光源发射的相同光强度的光线。结果，相同光强度的光线被不同像素以彼此不同的信号电平检测到。例如，来自点光源PA的光强度为a的光线的检测信号电平在像素 Pa到Pc处具有彼此不同的值。
然后，通过将光线的光强度乘以指示在光线的入射角下的受光灵敏度(即，入射角指向性)的系数，来计算每个像素对于来自每个点光源的光线的受光灵敏度水平。例如，通过将点光源PA的光线的光强度a乘以指示在光线入射到像素Pa的入射角下像素Pa的入射角指向性的系数，来计算像素Pa对于来自点光源PA的光线的检测信号电平。
因此，像素Pc、Pb和Pa处的检测信号电平DA、DB和DC分别由下面的表达式(1)至(3)表示。
DA＝α1×a+β1×b+γ1×c......(1)
DB＝α2×a+β2×b+γ2×c......(2)
DC＝α3×a+β3×b+γ3×c......(3)
这里，系数α1是指示在从点光源PA到像素Pc的光线的入射角下像素Pc的入射角指向性的系数，并且依照入射角来设置。此外，α1×a指示像素Pc处的对于来自点光源PA的光线的检测信号电平。
系数β1是指示在从点光源PB到像素Pc的光线的入射角下像素 Pc的入射角指向性的系数，并且依照入射角来设置。另外，β1×b指示像素Pc处的对于来自点光源PB的光线的检测信号电平。
系数γ1是指示在从点光源PC到像素Pc的光线y的入射角下像素Pc的入射角指向性的系数，并且依照入射角来设置。此外，γ1×c 指示在像素Pc处的对于来自点光源PC的光线的检测信号电平。
以这种方式，通过来自点光源PA、PB、PC的光线在像素Pc处的光强度a、b、c与指示对应于各入射角的入射角指向性的系数α1、β1、γ1的乘积和，计算像素Pa的检测信号电平DA。
同样地，像素Pb的检测信号电平DB是通过来自点光源PA、 PB、PC的光线在像素Pb处的光强度a、b、c与指示对应于各入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的，如表达式 (2)所示。另外，像素Pc的检测信号电平DC是通过来自点光源PA、 PB、PC的光线在像素Pa处的光强度a、b、c与指示对应于各个入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的，如表达式(3)所示。
但是，像素Pa、Pb、Pc处的检测信号电平DA、DB、DC是从点光源PA、PB、PC发射的光线的光强度a、b、c的混合，如式(1) 至(3)所示。因此，如图1的右上所示，成像器件51处的检测信号电平不同于被摄体面31上的点光源的光强度。因此，由成像器件51获得的图像不同于其中形成被摄体面31的像。
另一方面，通过创建包括表达式(1)至(3)的联立方程并求解所创建的联立方程，求出点光源PA至PC的光线的光强度a至c。然后，通过依照点光源PA到PC的布置(相对位置)来布置具有依照所计算的光强度a到c的像素值的像素，复原其中如图1的右下所示形成被摄体面31的像的复原图像。
要注意的是，以下，将构成联立方程的每个表达式的系数(例如系数α1、β1、γ1)的集合体称为系数集合。此外，以下，将与联立方程中包含的多个表达式相对应的多个系数集合(例如，系数集合α1、β1和γ1，系数集合α2、β2和γ2以及系数集合α3、β3和γ3)的集合称为系数集合组。
以这种方式，可以实现包括在每个像素处具有入射角指向性的成像器件51作为必要部件的成像设备，而不需要专利文献1和非专利文献1(以下称为专利文献等)中公开的成像透镜、针孔和滤光器。结果，由于在专利文献等中公开的成像透镜、针孔和滤光器不是必要部件，因此可以减小成像装置的高度，即，减小用于在光的入射方向上实现成像功能的配置的厚度。
此外，由于必要部件仅是成像器件51，因此可以提高设计自由度。例如，尽管在使用成像透镜的传统成像装置中，需要依照成像透镜要形成被摄体的像的位置，以二维阵列布置成像器件的多个像素，但是使用成像器件51的成像装置没有该必要性。因此，提高了像素布置的自由度，并且可以例如在来自被摄体的光进入的范围内自由地布置像素。因此，可以在圆形范围中布置像素，在中空正方形区域中布置像素，或者在多个区域中分散布置像素。
然后，通过使用依照来自被摄体面31上的点光源的光线到像素的入射角的系数而不考虑像素的布置来创建如上文给出的表达式(1) 到(3)所指示的联立方程并且求解该联立方程，可以得到来自每个点光源的光线的光强度。然后，通过依照被摄体面31上的点光源的布置来布置具有依照计算的点光源的光强度的像素值的像素，可以复原其中形成被摄体面31的像的复原图像。
<<2.本公开的成像装置的基本配置的示例>>
现在，参考图2至25描述本公开的成像装置的基本配置的示例。
<成像装置101的配置的示例>
图2是示出作为应用本公开的技术的基本成像设备的成像装置 101的配置的示例的框图。
成像装置101包括成像器件121、复原部122、控制部123、输入部124、检测部125、关联部126、显示部127、存储部128、记录和再现部129、记录介质130和通信部131。此外，执行信号处理、成像装置101的控制等的信号处理控制部111包括复原部122、控制部123、输入部124、检测部125、关联部126、显示部127、存储部 128、记录和再现部129、记录介质130和通信部131。要注意的是，成像装置101不包括任何成像透镜(无成像透镜)。
此外，成像器件121、复原部122、控制部123、输入部124、检测部125、关联部126、显示部127、存储部128、记录和再现部129 以及通信部131通过总线B1彼此连接，使得它们通过总线B1执行数据的发送、接收等。要注意的是，为了简化描述，省略了在成像装置101的部件通过总线B1执行数据的发送、接收等的情况下对总线 B1的描述。例如，在输入部124通过总线B1向控制部123提供数据的情况下，描述为输入部124向控制部123提供数据。
成像器件121对应于上文参照图1描述的成像器件51，并且是包括具有入射角指向性的像素并且向复原部122或总线B1输出包括指示依照入射光的光量的检测信号电平的检测信号的图像的成像器件。
更具体地，在基本结构中，成像器件121可以是与一般的成像器件类似的成像器件，例如CMOS(互补金属氧化物半导体)图像传感器等。然而，成像器件121在构成像素阵列的像素的配置上与一般成像器件不同，并且具有像素具有入射角指向性的配置，例如，如以下参照图3至图5所述。此外，成像器件121针对每个像素响应于入射光的入射角而在受光灵敏度方面不同(变化)，并且以像素为单位具有入射光的入射角指向性。
要注意的是，由于从成像器件121输出的图像是包括例如如上文所述的图1的右上所示的没有形成被摄体的像的检测信号的图像，因此被摄体不能被视觉地识别。换句话说，尽管包括从成像器件121输出的检测信号的检测图像是像素信号的集合，但是它是即使用户看到也不能由用户识别被摄体的像(不能在其上视觉地识别被摄体的像)。
因此，在以下描述中，包括如图1的右上所示的没有形成被摄体的像的检测信号的图像(即，由成像器件121捕获的图像)被称为检测图像。
要注意的是，成像器件121可以不被配置为像素阵列，并且例如可以被配置为线传感器。此外，入射角指向性不必以像素为单位全部不同，而是一些像素可以具有相同的入射角指向性。
复原部122从存储部128获取与对应于图1中从成像器件51到被摄体面31(与复原图像相对应的被摄体面)的距离的被摄体距离相对应并且与上述系数α1到α3、β1到β3和γ1到γ3相对应的系数集合组。此外，复原部122使用从成像器件121输出的检测图像的像素的检测信号电平和所获取的系数集合组来创建如上文给出的表达式(1) 至(3)所指示的联立方程。然后，复原部122求解所创建的联立方程以计算构成形成了图1的右下部处示出的被摄体的像的像素的像素值。因此，从检测图像复原其中可以通过用户的视觉观察来识别被摄体 (可以视觉地识别被摄体)的图像。在以下描述中，从检测图像复原的图像被称为复原图像。然而，在成像器件121仅对除了诸如紫外光的视觉可识别频带中的光之外的光具有灵敏度的情况下，尽管复原的图像也不会变成如普通图像中那样的在其上可以识别被摄体的像，但是在这种情况下，复原的图像也被称为复原图像。
此外，在以下描述中，作为在形成被摄体的像的状态下的图像但是诸如去马赛克处理或同步处理的颜色分离之前的图像的复原图像被称为RAW图像，并且由成像器件121捕获的检测图像不被区分为 RAW图像，尽管它是依照彩色滤光器阵列的图像。
要注意的是，成像器件121的像素数量和构成复原图像的像素数量不需要彼此相等。
此外，复原部122依照情况需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。然后，复原部 122将复原图像输出到总线B1。
控制部123包括例如各种类型的处理器，并且控制摄像设备101 的部件。
输入部124包括用于执行成像装置101的操作和输入要用于处理等的数据的输入设备(例如，按键、开关、按钮、拨号盘、触摸面板、遥控器等)。输入部124将操作信号、输入的数据等输出到总线B1。
检测部125包括要用于检测成像装置101和被摄体的状态的各种类型的传感器等。例如，检测部125包括用于检测成像装置101的姿态或移动的加速度传感器和陀螺仪传感器、用于检测成像装置101的位置的位置检测传感器(例如，GNSS(全球导航卫星系统)接收器等)、用于检测被摄体距离的距离测量传感器等。检测部125将表示检测结果的信号输出到总线B1。
关联部126执行由成像器件121获得的检测图像和与检测图像对应的元数据之间的关联。元数据包括例如用于使用作为目标的检测图像来对复原图像进行复原的系数集合组、被摄体距离等。
要注意的是，如果可以指定检测图像和元数据之间的对应关系，则用于将检测图像和元数据彼此相关联的方法不被特别限制。例如，通过将元数据应用于包括检测图像的图像数据，通过将相同的ID应用于检测图像和元数据，或者通过将检测图像和元数据记录到相同的记录介质130中，可以将检测图像和元数据彼此相关联。
显示部127例如由显示器构成，并且执行各种信息(例如，复原图像等)的显示。要注意的是，还可以将显示部127配置为使得其包括诸如扬声器的声音输出部以执行声音的输出。
存储部128包括诸如ROM(只读存储器)、RAM(随机存取存储器)和闪存的一个或多个存储装置，并且存储例如在成像装置101的处理中使用的程序、数据等。例如，存储部128以与各种被摄体距离相关联的关系存储与上述系数α1至α3、β1至β3和γ1至γ3对应的系数集合组。更具体地，对于处于不同被摄体距离的每个被摄体面 31，存储部128存储包括成像器件121的像素121a的关于在被摄体面31上设置的每个点光源的系数的系数集合组。
记录和再现部129执行数据到记录介质130中的记录和记录在记录介质130中的数据的再现(读出)。例如，记录和再现部129将复原图像记录到记录介质130中，并从记录介质130读出复原图像。此外，记录和再现部129将检测图像和对应的元数据记录到记录介质130中，并从记录介质130读出它们。
记录介质130是例如HDD(硬盘驱动器)、SSD(固态驱动器)、磁盘、光盘、磁光盘、半导体存储器等中的一个或组合。
通信部131通过预定的通信方法与不同的装置(例如，不同的成像装置、信号处理装置等)进行通信。要注意的是，通信部131的通信方法可以是有线通信和无线通信中的任何一种。通信部131也可以准备用于多种通信方法。
<成像器件121的配置的第一示例>
现在，参照图3和图4描述图2的成像装置101的成像器件121 的配置的第一示例。
图3示出了成像器件121的像素阵列部的一部分的前视图。要注意的是，尽管图3示出了像素阵列部的像素数量是垂直六个像素×水平六个像素的情况的示例，但是像素阵列部的像素数量不限于此。
在图3的成像器件121中，为每个像素121a设置作为调制元件之一的遮光膜121b，使得其覆盖像素121a的光电二极管的受光区域 (受光面)的一部分，并且响应于入射角光学调制进入每个像素121a 的入射光。然后，例如，通过为每个像素121a提供范围不同的遮光膜121b，对于每个像素121a，对入射光的入射角的受光灵敏度变得不同，并且像素121a具有彼此不同的入射角指向性。
例如，像素121a-1和像素121a-2在光电二极管的受光区域被遮光膜121b-1和遮光膜121b-2遮蔽的范围内彼此不同(在遮蔽区域(位置)和遮蔽面积中的至少一个方面不同)。具体地，在像素121a-1中，遮光膜121b-1被设置为使得其以预定宽度遮蔽光电二极管的受光区域的左侧部分。另一方面，在像素121a-2中，遮光膜121b-2被设置为使得其以预定宽度遮蔽受光区域的右侧部分。要注意的是，光电二极管的受光区域被遮光膜121b-1遮蔽的宽度和光电二极管的受光区域被遮光膜121b-2遮蔽的宽度可以彼此不同或者可以彼此相等。此外，在其他像素121a中，遮光膜121b被在像素阵列中随机布置，使得像素在受光区域的彼此不同的范围上被遮蔽。
要注意的是，随着遮光膜121b覆盖像素的受光区域的比率增大，光电二极管能够接收的光的量减小。因此，遮光膜121b的面积优选地被制成能够确保期望光量的程度的面积，并且例如，该面积可以被限制为使得其最大为受光区域的大约3/4。这使得可以确保光量等于或大于期望的量。然而，如果为每个像素设置宽度与要接收的光的波长相对应的非遮蔽范围，则可以接收最小的光量。也就是说，例如，在B像素(蓝色像素)的情况下，尽管波长为大约500nm，但是如果其没有遮蔽到与波长相对应的宽度或更大的程度，则可以接收最小的光量。
图4的上段是成像器件121的第一配置示例的侧面剖视图，并且图4的中间段是成像器件121的第一配置示例的俯视平面图。另外，图4的上段的侧面剖视图是图4的中间段的AB横截面。此外，图4 的下段示出了成像器件121的电路配置的示例。
在图4的上段的成像器件121中，入射光从图中的上方进入下方。彼此相邻的像素121a-1和121a-2具有图中最下层中的布线层Z12，并且光电转换层Z11设置在布线层Z12上，使得它们被配置为所谓的背面照明型的光电转换层。
要注意的是，在没有必要将像素121a-1和121a-2彼此区分的情况下，它们中的每一个仅被称为像素121a，省略了在附图标记末尾处的数字。在说明书的以下描述中，有时也省略在附图标记末尾的数字来用附图标记表示其他部件。
此外，在图4中，仅示出了构成成像器件121的像素阵列的两个像素的侧视图和俯视平面图，并且不必说，尽管布置了更多数量的像素121a，但是省略了它们的图示。
此外，像素121a-1和121a-2分别在光电转换层Z11中包括光电二极管121e-1和121e-2。此外，在光电二极管121e-1和121e-2上，分别从上方堆叠片上透镜121c-1和121c-2以及彩色滤光器121d-1和 121d-2。
片上透镜121c-1和121c-2将入射光会聚到光电二极管121e-1和 121e-2上。
彩色滤光器121d-1和121d-2是每个都透射特定波长的光(例如红色、绿色、蓝色、红外或白色的光)的滤光器。要注意的是，在白色的光的情况下，彩色滤光器121d-1和121d-2可以是透明滤光器或者可以不被设置。
在像素121a-1和121a-2的光电转换层Z11中的像素之间的边界上，形成遮光膜121g-1至121g-3，并且遮光膜121g-1至121g-3抑制入射光L进入相邻像素，例如如图4所示，从而抑制串扰的发生。
此外，如图4的上段和中间段所示，当从上方观察时，遮光膜 121b-1和121b-2遮蔽受光面S的一部分。在像素121a-1和121a-2 的光电二极管121e-1和121e-2的受光面S中，不同范围被遮光膜 121b-1和121b-2遮蔽，因此，对于每个像素独立地设置彼此不同的入射角指向性。然而，要被遮蔽的范围不必在成像器件121的所有像素121a中都不同，并且在相同范围上被遮蔽的像素121a可以部分地存在。
要注意的是，如图4的上段所示，遮光膜121b-1和遮光膜121g- 1彼此连接，并且被配置为从侧面观察时的L形。类似地，遮光膜 121b-2和遮光膜121g-2彼此连接，并且被配置为从侧面观察时的L 形。此外，遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至 121g-3包括金属，并且例如包括钨(W)、铝(Al)或者Al和铜(Cu)的合金。此外，遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至121g-3可以通过与在半导体工艺中形成布线的工艺相同的工艺由与布线的金属相同的金属同时形成。要注意的是，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1至121g-3的膜厚度可以依照位置而不同。
进一步如图4的下段所示，像素121a包括光电二极管161(对应于光电二极管121e)、传输晶体管162、FD(浮动扩散)部分163、选择晶体管164、放大晶体管165和复位晶体管166，并通过垂直信号线167连接到电流源168。
光电二极管161在其阳极电极接地，并且在其阴极电极通过传输晶体管162连接到放大晶体管165的栅极电极。
依照传输信号TG驱动传输晶体管162。如果提供给传输晶体管 162的栅极电极的传输信号TG变为高电平，则传输晶体管162导通。因此，累积在光电二极管161中的电荷通过传输晶体管162传输到 FD部163。
放大晶体管165用作用于读出由光电二极管161通过光电转换获得的信号的读出电路的源极跟随器电路的输入部分，并且将具有依照在FD部163中累积的电荷的电平的像素信号输出到垂直信号线167。具体地，放大晶体管165在其漏极端子处连接到电源VDD，并且在其源极端子处通过选择晶体管164连接到垂直信号线167，使得其与连接在垂直信号线167的一端的电流源168协作以配置源极跟随器。
FD部163是具有设置在传输晶体管162与放大晶体管165之间的电荷电容C1的浮动扩散区，并且临时累积经由传输晶体管162从光电二极管161传输的电荷。FD部163是用于将电荷转换成电压的电荷检测部分，并且FD部163中累积的电荷被放大晶体管165转换成电压。
选择晶体管164依照选择信号SEL被驱动，使得当提供给其栅极电极的选择信号SEL变为高电平时，选择晶体管164导通以将放大晶体管165和垂直信号线167彼此连接。
复位晶体管166依照复位信号RST被驱动。例如，如果提供给复位晶体管166的栅极电极的复位信号RST变成高电平，则复位晶体管166导通并且将FD部163中累积的电荷放电到电源VDD以复位FD部163。
例如，在图4的下段处示出的像素电路以下面的方式操作。
具体地，作为第一操作，复位晶体管166及传输晶体管162导通以将积累于FD部163中的电荷放电到电源VDD以复位FD部163。
作为第二操作，复位晶体管166和传输晶体管162截止以进入曝光时段，在该曝光时段内，光电二极管161累积依照入射光的光量的电荷。
作为第三操作，导通复位晶体管166以复位FD部163，此后截止复位晶体管166。通过此操作，FD部163被设置为基准电位。
作为第四操作，将处于复位状态的FD部163的电位作为基准电位从放大晶体管165输出。
作为第五操作，导通传输晶体管162且将积累于光电二极管161 中的电荷传输到FD部163。
作为第六操作，将光电二极管的电荷所传输到的FD部163的电位作为信号电位从放大晶体管165输出。
然后，输出通过CDS(相关双采样)从信号电位减去基准电位时的信号，作为像素121a的检测信号(像素信号)。检测信号的该值(输出像素值)依照来自被摄体的入射光的入射角而被调制，并且依照入射角而在特性(指向性)上不同(具有入射角指向性)。
<成像器件121的配置的第二示例>
图5是示出成像器件121的配置的第二示例的图。在图5的上段，示出配置的第二示例的成像器件121的像素121a的侧面剖视图，且在图5的中段，示出成像器件121的俯视平面图。此外，图5的上段的侧视图示出图5的中段的AB横截面。此外，图5的下段示出了成像器件121的电路配置的示例。
图5的成像器件121与图4的成像器件121的配置的不同之处在于：四个光电二极管121f-1至121f-4形成在一个像素121a上，并且遮光膜121g形成在将光电二极管121f-1至121f-4彼此隔开的区域中。具体地，在图5的成像器件121中，遮光膜121g被形成为从上方观察时的“+”形状。要注意的是，如上所述的这些共同部件由与图4 相同的附图标记表示，并且省略了对它们的详细描述。
在图5的成像器件121中，光电二极管121f-1至121f-4通过遮光膜121g彼此隔开，以防止光电二极管121f-1至121f-4之间发生电串扰和光串扰。换句话说，图5的遮光膜121g被设置成与图4的成像器件121的遮光膜121g类似地防止串扰，但不提供入射角指向性。
此外，在图5的成像器件121中，四个光电二极管121f-1到 121f-4共享一个FD部163。图5的下段示出了四个光电二极管121f- 1至121f-4共享一个FD部163的电路配置的示例。要注意的是，省略了对图5的下段处的与图4的下段处的部件相同的部件的描述。
在图5的下段，电路配置与图4下段的电路配置的不同之处在于：取代光电二极管161(对应于图4上段的光电二极管121e)和传输晶体管162，设置光电二极管161-1至161-4(对应于图5上段的光电二极管121f-1至121f-4)和传输晶体管162-1至162-4，并且共享FD部 163。
通过如上所述的这种配置，将光电二极管121f-1到121f-4中积累的电荷传输到设置在光电二极管121f-1到121f-4与放大晶体管 165的栅极电极之间的连接部分处并具有预定电容的共用FD部163。然后，依照FD部163中保持的电荷的电平的信号被读出作为检测信号(像素信号)(然而，要注意的是，如上所述执行CDS处理)。
因此，在光电二极管121f-1至121f-4中累积的电荷可以以各种组合选择性地有助于像素121a的输出，即，有助于检测信号。具体地，通过将光电二极管121f-1至121f-4配置成使得电荷可彼此独立地从它们读出，并使有助于输出的光电二极管121f-1至121f-4(光电二极管121f-1至121f-4有助于输出的程度)彼此不同，可获得不同的入射角指向性。
例如，通过将光电二极管121f-1和光电二极管121f-3的电荷传输到FD部163并将通过读出电荷获得的信号相加，可以获得在左右方向上的入射角指向性。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷传输到FD部163并将通过读出电荷获得的信号相加，可以获得向上和向下方向的入射角指向性。
此外，基于从四个光电二极管121f-1至121f-4独立地选择性读出的电荷而获得的信号变为与构成检测图像的一个像素对应的检测信号。
要注意的是，不仅可以通过例如是否将每个光电二极管121f的电荷(检测值)传输到FD部163来实现每个光电二极管121f(的电荷) 对检测信号的贡献，而且可以通过使用电子快门功能在电荷传输到 FD部163之前复位光电二极管121f中累积的电荷来实现。例如，如果光电二极管121f的电荷在即将传输到FD部163之前复位，那么光电二极管121f根本不对检测信号作出贡献。另一方面，通过在光电二极管121f的电荷复位和电荷向FD部163的传输之间提供时间段，光电二极管121f部分地对检测信号做贡献。
如上所述，在图5的成像器件121的情况下，通过改变四个光电二极管121f-1至121f-4中用于检测信号的那些的组合，可以为每个像素设置不同的入射角指向性。此外，从图5的成像器件121的每个像素121a输出的检测信号具有响应于来自被摄体的入射光的入射角而调制的值(输出像素值)，并且特性(指向性)依照入射角而不同(具有不同的入射角指向性)。
要注意的是，以下将与检测图像的一个像素相对应的检测信号所利用的单位称为像素输出单位。像素输出单位包括至少一个或多个光电二极管，并且通常，成像器件121的每个像素121a对应于一个像素输出单位。
例如，在图4的成像器件121中，由于为每一个像素121a提供一个光电二极管121e，因此每一个像素输出单位包括一个光电二极管121e。换句话说，一个像素输出单位包括一个光电二极管121e。
此外，通过使遮光膜121b对像素121a的遮光状态彼此不同，可以使像素输出单位的入射角指向性彼此不同。此外，在图4的成像器件121中，使用遮光膜121b光学调制入射到每个像素121a的入射光，结果，依照从像素121a的光电二极管121e输出的信号，获得反映入射角指向性的检测图像的一个像素的检测信号。换句话说，图4的成像器件121包括多个像素输出单位，用于接收来自被摄体的入射光，该入射光不经由成像透镜和针孔中的任何一个进入，并且每个像素输出单位包括一个光电二极管121e，并且为每个像素输出单位设置来自被摄体的入射光的入射角的特性(入射角指向性)。
另一方面，在图5的成像器件121中，由于为一个像素121a设置四个光电二极管121f-1至121f-4，因此一个像素输出单位包括四个光电二极管121e。换句话说，一个像素输出单位包括四个光电二极管121f。另一方面，不是由每个光电二极管121e的单个物质来配置单独的像素输出单位。
此外，通过如上所述使四个光电二极管121f-1至121f-4中的对检测信号有贡献的光电二极管121f对于每个像素121a不同，每个像素输出单位的入射角指向性变得不同。换句话说，在图5的成像器件 121中，四个光电二极管121f-1至121f-4中对输出(检测信号)没有贡献的范围与遮蔽区域类似地起作用。然后，通过从光电二极管121f-1 至121f-4输出的信号的组合，获得反映入射角指向性的检测图像的一个像素的检测信号。具体地，图5的成像器件121包括用于接收来自被摄体的入射光的多个像素输出单位，该入射光在没有成像透镜和针孔的任何一个的干涉的情况下进入，并且每个像素输出单位包括多个光电二极管(例如，光电二极管121f-1至121f-4)，并且通过使对输出有贡献的光电二极管(的程度)不同，像素输出单位对来自被摄体的入射光的入射角的特性(入射角指向性)变得彼此不同。
要注意的是，在图5的成像器件121中，由于入射光不经光学调制地进入所有的光电二极管121f-1至121f-4，因此检测信号不是通过光学调制获得的信号。此外，在下面的描述中，对检测信号没有贡献的光电二极管121f也被称为对像素输出单位或输出没有贡献的光电二极管121f。
要注意的是，尽管图5示出了其中像素输出单位(像素121a)的受光面等分为四个并且具有等幅受光面的光电二极管121f布置在每个像素输出单位中的示例，即，其中光电二极管等分为四个的示例，但是光电二极管的分割数量和分割位置可以任意设置。
例如，光电二极管不必均等地分割，并且可以使光电二极管的分割位置对于每个像素输出单位而不同。这使得即使使相同位置处的光电二极管121f对多个像素输出单位之间的输出有贡献，也能够使入射角指向性在不同的像素输出单位中不同。此外，例如，通过使分割数量在不同像素输出单位之间不同，可以更自由地设置入射角指向性。此外，例如，可以使分割数量和分割位置在不同的像素输出单位之间不同。
此外，图4的成像器件121和图5的成像器件121都被配置为使得每个像素输出单位可以独立地设置入射角指向性。同时，上述非专利文献1、专利文献1和专利文献2中公开的成像装置没有被配置为使得成像器件的每个像素输出单位可以独立地设置入射角指向性。要注意的是，在图4的成像器件121中，在制造时通过遮光膜121b设置每个像素输出单位的入射角指向性。另一方面，在图5的成像器件 121中，尽管在制造时设置每个像素输出单位的光电二极管的分割数量或分割位置，但是可以在使用时(例如，在成像时)设置每个像素输出单位的入射角指向性(对输出有贡献的光电二极管的组合)。要注意的是，图4的成像器件121和图5的成像器件121不需要具有使所有像素输出单位具有入射角指向性的配置。
要注意的是，如上所述，尽管成像器件的每个像素通常对应于一个像素输出单位，但是一个像素输出单位有时包括多个像素。除非另有说明，否则假定成像器件的每个像素对应于一个像素输出单位来给出以下描述。
<入射角指向性的产生原理>
成像器件121的每个像素的入射角指向性例如通过图6中所示的这种原理产生。要注意的是，图6的左上部和右上部是示出图4的成像器件121中的入射角指向性的产生原理的图，并且图6的左下部和右下部是示出图5的成像器件121中的入射角指向性的产生原理的图。
图6的左上部和右上部的每个像素包括一个光电二极管121e。相反，图6的左下部和右下部的每个像素包括两个光电二极管121f。要注意的是，尽管这里示出了一个像素包括两个光电二极管121f的示例，但是这是为了便于描述，并且设置在一个像素中的光电二极管 121f的数量可以是任何其他数量。
在图6的左上部分的像素中，遮光膜121b-11被形成为使得其遮蔽光电二极管121e-11的受光面的右半部分。同时，在图6的右上部的像素中，遮光膜121b-12被形成为使得其遮蔽光电二极管121e-12 的受光面的左半部。要注意的是，图中的点划线是在水平方向上通过光电二极管121e的受光面的中心并且垂直于受光面的辅助线。
例如，在图6的左上部的像素处，来自右上方向的相对于图中的点划线具有入射角θ1的入射光易于被光电二极管121e-11的未被遮光膜121b-11遮蔽的左半范围接收。相反，来自左上方向的相对于图中的点划线具有入射角θ2的入射光较不易于被光电二极管121e-11 的未被遮光膜121b-11遮蔽的左半范围接收。因此，图6的左上部分的像素具有入射角指向性，其对于来自图的右上的入射光的受光灵敏度高，但是对于来自左上的入射光的受光灵敏度低。
另一方面，例如，在图6的右上部分的像素中，来自右上方向的具有入射角θ1的入射光较不易于被光电二极管121e-12的被遮光膜 121b-12遮蔽的左半范围接收。相反，来自左上方向的具有入射角θ2 的入射光易于被光电二极管121e-12的未被遮光膜121b-12遮蔽的右半范围接收。因此，图6的右上部分的像素具有入射角指向性，即对来自图的右上的入射光的受光灵敏度低，而对来自左上的入射光的受光灵敏度高。
同时，图6的左下部分的像素被配置成使得它在图中的左侧和右侧具有光电二极管121f-11和121f-12，并且通过读取它们中的任何一个的检测信号，在不设置遮光膜121b的情况下提供入射角指向性。
具体地，在图6的左下部分的像素处，通过仅读出设置在图中左侧的光电二极管121f-11的信号，可以获得与图6的左上部分的像素的入射角指向性类似的入射角指向性。具体地，由于来自右上方向的相对于图中的点划线具有入射角θ1的入射光进入光电二极管121f-11，并且从光电二极管121f-11读出与受光量相对应的信号，因此这对要从该像素输出的检测信号有贡献。相反，尽管来自左上方向的相对于图中的点划线具有入射角θ2的入射光进入光电二极管121f-12，但是由于它不从光电二极管121f-12读出，因此它对要从该像素输出的检测信号没有贡献。
类似地，在像素类似图6右下部分的像素那样包括两个光电二极管121f-13和121f-14的情况下，通过仅读取设置在图中右侧的光电二极管121f-14的信号，可以获得与图6右上部分的像素的入射角指向性类似的入射角指向性。具体地，尽管来自右上方向的具有入射角θ1的入射光进入光电二极管121f-13，但是由于不从光电二极管 121f-13读出信号，因此这对要从该像素输出的检测信号没有贡献。相反，由于来自左上方的具有入射角θ2的入射光进入光电二极管 121f-14，并且从光电二极管121f-14读出与受光量相对应的信号，因此这对从该像素输出检测信号有贡献。
要注意的是，尽管图6的上部的像素指示其中被遮蔽的范围和未被遮蔽的范围在水平方向上在像素(光电二极管121e的受光面)的中心位置处分离的示例，但是这些范围可以在不同位置处分离。此外，尽管图6的下部的像素指示两个光电二极管121f在水平方向上在像素的中心位置处分离的示例，但是它们可以在不同的位置处分离。通过以这种方式改变遮光范围或光电二极管121f分离的位置，可以产生彼此不同的入射角指向性。
<包括片上透镜的配置中的入射角指向性>
现在，参照图7描述包括片上透镜121c的配置中的入射角指向性。
图7的上段的曲线图指示图7的中间段和下段的像素的入射角指向性。要注意的是，横坐标轴指示入射角θ，并且纵坐标轴指示检测信号电平。要注意的是，入射角θ被定义使得在入射光的方向与图7 的中间段的左侧的点划线一致的情况下为0度，并且图7的中间段的左侧的入射角θ21侧是正方向，而图7的中间段的右侧的入射角θ22 侧是负方向。因此，从右上进入片上透镜121c的入射光具有比从左上进入的入射光的入射角大的入射角。具体地，入射角θ随着入射光的前进方向向左倾斜而增大(沿正方向增大)，并且随着入射光的前进方向向右倾斜而减小(沿负方向增大)。
此外，图7的中间段的左部的像素被配置为使得将会聚入射光的片上透镜121c-11和使预定波长光通过的彩色滤光器121d-11添加到图6的上段的左部的像素。具体地，在该像素中，片上透镜121c-11、彩色滤光器121d-11、遮光膜121b-11和光电二极管121e-11在图中的上部中从光的进入方向顺序地堆叠。
类似地，图7的中间段的右部的像素、图7的下段处的左部的像素和图7的下段处的右部的像素被配置成使得片上透镜121c-11和彩色滤光器121d-11或者片上透镜121c-12和彩色滤光器121d-12分别被添加到图6的上段处的右部的像素、图6的下段处的左部处的像素和图6的下段处的右部的像素。
在图7的中间段的左部的像素中，光电二极管121e-11的检测信号电平(受光灵敏度)响应于入射光的入射角θ而改变，如图7的上部状态的实线波形所示。具体地，随着作为入射光与图中的点划线所成的角度的入射角θ增大(随着入射角θ在正方向上增大(随着入射角θ朝向图中的向右方向增大))，光电二极管121e-11的检测信号电平由于光被会聚到未设置遮光膜121b-11的范围而增大。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大(随着入射角θ朝着图中的向左方向增大))，光电二极管121e-11的检测信号电平由于光被会聚到设置遮光膜121b-11的范围而减小。
此外，在图7的中间段的右部的像素处，光电二极管121e-12的检测信号电平(受光灵敏度)响应于入射光的入射角θ而改变，如图7 的上段的虚线波形所示。具体地，随着入射光的入射角θ增大(随着入射角θ在正方向上增大)，光电二极管121e-12的检测信号电平由于光被会聚到设置遮光膜121b-12的范围而减小。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大)，光电二极管121e- 12的检测信号电平由于光进入未设置遮光膜121b-12的范围而增大。
可以响应于遮光膜121b的范围而改变在图7的上段示出的实线波形和虚线波形。因此，可以在遮光膜121b的范围内以像素为单位向像素提供彼此不同的入射角指向性。
尽管如上所述，入射角指向性是每个像素的依照入射角θ的受光灵敏度的特性，但是可以认为，对于图7的中间段处的像素，这是依照入射角θ的遮光值的特性。具体地，尽管遮光膜121b以高水平遮蔽特定方向上的入射光，但是它不能充分遮蔽来自任何其他方向的入射光。如图7的上段所示，可以遮蔽入射光的水平的变化产生依照入射角θ而不同的检测信号电平。因此，如果将在能够以最高水平遮蔽入射光的方向上对每个像素的入射光的方向定义为像素的遮光方向，则该像素以像素为单位具有彼此不同的入射角指向性，换句话说，不同的像素以像素为单位具有彼此不同的遮光方向。
此外，在图7的下段的左部的像素处，类似于图6的下段的左部的像素，通过仅使用图中左部的光电二极管121f-11的信号，可以获得类似于图7的中间段的左部的像素的入射角指向性。具体地，随着入射光的入射角θ增大(随着入射角θ在正方向上增大)，检测信号电平由于光被会聚到光电二极管121f-11的从中读出信号的范围而增大。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大)，检测信号电平由于光被会聚到光电二极管121f-12的不读出信号的范围而减小。
此外，类似地，在图7的下段的右部分处的像素的情况下，类似于图6的下段的右部分处的像素，通过仅使用图中右部分处的光电二极管121f-14的信号，可以获得类似于图7的中间段的右部分处的像素的入射角指向性。具体地，随着入射光的入射角θ增大(随着入射角θ沿正方向增大)，以像素为单位的检测信号电平由于光被会聚到光电二极管121f-13的对输出(检测信号)没有贡献的范围而降低。相反，随着入射光的入射角θ减小(随着入射角θ在负方向上增大)，以像素为单位的检测信号电平由于光被会聚到光电二极管121f-14的对输出(检测信号)有贡献的范围而增大。
要注意的是，为了通过在如图7的下段的像素那样设置多个光电二极管，从而使得可以改变对输出有贡献的光电二极管的像素中，使每个光电二极管具有对入射光的入射角的指向性，来以像素为单位产生入射角指向性，片上透镜121c对于每个像素是必要部件。
要注意的是，入射角指向性优选地以像素为单位具有高度的随机性。例如，如果相邻像素具有相同的入射角指向性，则存在上文给出的表达式(1)至(3)或下文描述的表达式(4)至(6)可能变为相同表达式的可能性，并且结果，存在表达式的数量可能对于变为联立方程的解的未知数的数量而言变得不足并且可能变得不可能计算构成复原图像的像素值的可能性。
要注意的是，在下面的描述中，主要描述在使用其中遮光膜 121b被用于实现像图4的像素121a那样的入射角指向性的像素121a 的情况下的示例。然而，除了其中基本上需要遮光膜121b的情况之外，基本上可以使用其中光电二极管被划分以实现入射角指向性的像素121a。
<遮光膜的配置>
前述描述涉及这样的示例，其中如图3所示，成像器件121的每个像素121a的遮光膜121b被配置成使得其在垂直方向上遮蔽整个受光面，但是在水平方向上改变遮光宽度或位置。然而，自然地，整个受光面在水平方向上被遮蔽，使得垂直方向上的宽度(高度)或位置改变，以向每个像素121a提供入射角指向性。
要注意的是，在下面的描述中，如图3的示例中那样在垂直方向上遮蔽像素121a的整个受光面并在水平方向上以预定宽度遮蔽受光面的遮光膜121b被称为水平带型的遮光膜121b。同时，在水平方向上遮蔽像素121a的整个受光面并在垂直方向上以预定高度遮蔽受光面的遮光膜121b被称为垂直带型的遮光膜121b。
此外，如图8的左部所示，可以组合垂直带型和水平带型的遮光膜121b，使得为例如Bayer(拜耳)阵列的每个像素提供L型的遮光膜121b。
要注意的是，在图8中，黑色范围表示遮光膜121b，并且只要没有特别说明，则在以后的图中也应用类似的表示。此外，在图8的示例中，分别为Bayer阵列的G(绿色)像素的像素121a-21和121a- 24、R(红色)像素的像素121a-22以及B(蓝色)像素的像素121a-23 设置L型的遮光膜121B-21至121B-24。
在这种情况下，每个像素121a具有如图8的右部所示的入射角指向性。具体地，在图8的右部，示出了像素121a的受光灵敏度的分布，并且横坐标轴表示入射光在水平方向(x方向)上的入射角θx，并且纵坐标轴表示入射光在垂直方向(y方向)上的入射角θy。因此，在范围C4中的受光灵敏度高于在范围C4外的受光灵敏度；范围C3 中的受光灵敏度高于范围C3外的受光灵敏度；范围C2中的受光灵敏度高于范围C2外的受光灵敏度；并且范围C1中的受光灵敏度高于范围C1外的受光灵敏度。
因此，每个像素121a指示关于具有包括在范围C1中的水平方向(x方向)上的入射角θx和垂直方向(y方向)上的入射角θy的入射光的最高检测信号电平。此外，检测信号电平按照入射角θx和入射角θy包括在范围C2中、范围C3中、范围C4中和范围C4之外的范围中的入射光的顺序降低。要注意的是，在图8的右部示出的受光灵敏度的强度分布由每个像素121a中的遮光膜121b遮蔽的范围确定，而与Bayer阵列无关。
要注意的是，在下面的描述中，像图8的L型的遮光膜121b-21 至121b-24那样，具有使垂直带型的遮光膜和水平带型的遮光膜在各个端部彼此连接的形状的遮光膜121b被统称为L型的遮光膜121b。
<入射角指向性的设置方法>
现在，参考图9描述入射角指向性的设置方法的示例。
例如，考虑如图9的上段所示的情况，其中遮光膜121b在水平方向上的遮光范围是从像素121a的左端部到位置A的范围，而在垂直方向上的遮光范围是从像素121a的上端部到位置B的范围。
在这种情况下，设置权重Wx，该权重是依照从每个像素的在水平方向上的中心位置的入射角θx(度)的权重，并且范围从0到1，并且用作水平方向上的入射角指向性的指标。更具体地，在假设在对应于位置A的入射角θx＝θa处，权重Wx为0.5的情况下，将权重Wx 设置为使得在入射角θx<θa-α处为1；在θa-α≤入射角θx≤θa+α处为(-(θx-θa)/2α+0.5)；并且在入射角θx＞θa+α处为0。
类似地，设置权重Wy，其是依照从每个像素的中心位置在垂直方向上的入射角θy(度)的权重，并且范围从0到1，并且用作垂直方向上的入射角指向性的指标。更具体地，在假设在对应于位置B的入射角θy＝θb处，权重Wy为0.5的情况下，将权重Wy设置为使得在入射角θy<θb-α处为0；在θb-α≤入射角θy≤θb+α处为((θy- θb)/2α+0.5)；并且在入射角θy＞θb+α处为1。
要注意的是，在满足理想条件的情况下，权重Wx和Wy如图9 的曲线图中那样改变。
然后，通过使用以这种方式计算的权重Wx和Wy，可以计算每个像素121a的入射角指向性(即受光灵敏度特性)的系数。例如，通过将与来自被摄体面31上的特定点光源的入射光的入射角θx对应的权重Wx和与入射角θy对应的权重Wy相乘而获得的值被设置为点光源的系数。
此外，此时，可以通过使用具有不同焦距的片上透镜121c来设置指示在水平方向上的权重Wx和垂直方向上的权重Wy为大约0.5 的范围内的权重变化的倾角(1/2α)。
例如，在片上透镜121c的焦距对应于遮光膜121b的表面的情况下，如图9的下段的实线所示，水平方向上的权重Wx和垂直方向上的权重Wy的倾角(1/2α)是陡峭的。具体地，在值为大约0.5的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy迅速地变为0或1。
另一方面，在片上透镜121c的焦距对应于光电二极管121e的表面的情况下，如图9的下段的虚线所示，水平方向上的权重Wx和垂直方向上的权重Wy的倾角(1/2α)是平缓的。具体地，在值为大约0.5 的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy适度地改变为0或1。
例如，片上透镜121c的焦距依照片上透镜121c的曲率而改变。因此，通过使用具有彼此不同的曲率的片上透镜121c使片上透镜 121c的焦距彼此不同，可以获得不同的入射角指向性，即，不同的受光灵敏度特性。
因此，可以通过将光电二极管121e被遮光膜121b遮蔽的范围与片上透镜121c的曲率组合，来调整像素121a的入射角指向性。要注意的是，片上透镜的曲率在成像器件121的所有像素121a之间可以是相等的，或者在一些像素121a中可以是不同的。
例如，基于每个像素121a的位置、每个像素121a的遮光膜 121b的形状、位置和范围、片上透镜121c的曲率等，作为表示成像器件121的每个像素121a的入射角指向性的指标，为每个像素121a 设置如图9的曲线图中所示的权重Wx和权重Wy的这种特性。此外，基于在预定被摄体距离处的被摄体面31上的特定点光源和成像器件 121的特定像素121a之间的位置关系，计算从点光源到像素121a的光线的入射角。然后，基于所计算的入射角以及像素121a的权重 Wx和权重Wy的特性，计算像素121a相对于点光源的系数。
类似地，通过以针对被摄体面31上的每个点光源和成像器件 121的每个像素121a的组合所描述的方式来计算系数，可以计算成像器件121相对于被摄体面31的系数集合组，如上文描述的表达式 (1)到(3)的系数集合α1、β1和γ1、另一系数集合α2、β2和γ2以及另一系数集合α3、β3和γ3。
要注意的是，如下文参照图13所述，如果从被摄体面31到成像器件121的受光面的被摄体距离不同，则由于从被摄体面31的每个点光源到成像器件121的光线的入射角不同，因此需要对于每个不同的被摄体距离不同的系数集合组。
此外，即使对于相同被摄体距离的被摄体面31，如果要设置的点光源的数量或布置不同，则从每个点光源到成像器件121的光线的入射角也不同。因此，对于相同被摄体距离的被摄体面31，有时需要多个系数集合组。此外，需要设置每个像素121a的入射角指向性，使得可以确保上述联立方程的独立性。
<片上透镜和成像透镜之间的差异>
在本公开的成像装置101中，尽管成像器件121被配置为使得其不需要包括成像透镜或针孔的光学块，但是如上所述设置片上透镜 121c。这里，片上透镜121c和成像透镜在物理动作上彼此不同。
例如，如图10所示，从点光源P101发射的漫射光内进入成像透镜152的光被会聚在成像器件151上的像素位置P111处。具体地，成像透镜152被设计为使得从点光源P101以不同角度进入的漫射光被会聚在像素位置P111处，以形成点光源P101的图像。像素位置 P111由通过点光源P101和成像透镜152的中心的主光线L101指定。
此外，例如，如图11所示，从不同于点光源P101的点光源 P102发射的漫射光内进入成像透镜152的光被会聚在成像器件151 上不同于像素位置P111的像素位置P112处。具体地，成像透镜152 被设计为使得从点光源P102以不同角度进入的漫射光被会聚在像素位置P112处，以形成点光源P102的图像。该像素位置P112由通过点光源P102和成像透镜152的中心的主光线L102指定。
以这种方式，成像透镜152分别在成像器件151上彼此不同的像素位置P111和P112处形成主光线彼此不同的点光源P101和P102 的图像。
此外，如图12所示，在点光源P101存在于无限远的情况下，从点光源P101发射的漫射光的一部分作为平行于主光线L101的平行光进入成像透镜152。例如，包括光线L121和平行于主光线L101 的另一光线L122之间的光线的平行光进入成像透镜152。然后，进入成像透镜152的平行光被会聚在成像器件151上的像素位置P111 处。换句话说，成像透镜152被设计为使得来自存在于无限远处的点光源P101的平行光被会聚在像素位置P111处，以形成点光源P101 的图像。
因此，成像透镜152具有聚光功能，用于将来自具有例如主光线入射角θ1的点光源的漫射光引入像素(像素输出单位)P1，并将来自具有不同于主光线入射角θ1的主光线入射角θ2的点光源的漫射光引入不同于像素P1的像素(像素输出单位)P2。换句话说，成像透镜152具有聚光功能，用于将来自主光线入射角不同的光源的漫射光引入到彼此相邻的多个像素(像素输出单位)。然而，例如来自彼此相邻的点光源或者来自存在于无限远处并且彼此基本相邻的点光源的光有时进入同一像素(像素输出单位)。
相反，例如，如上文参照图4和图5所述，通过片上透镜121c 的光仅进入构成相应像素(像素输出单位)的光电二极管121e或光电二极管121f的受光面。换句话说，为每个像素(像素输出单位)设置片上透镜121c，并且片上透镜121c将进入片上透镜121c自身的入射光仅会聚在相应的像素(像素输出单位)处。换句话说，片上透镜121c 不具有用于使来自不同点光源的光进入不同像素(像素输出单位)的聚光功能。
要注意的是，在使用针孔的情况下，唯一地确定每个像素(像素输出单位)的位置与光的入射角之间的关系。因此，在使用针孔和传统成像器件的配置的情况下，不能针对每个像素独立地和自由地设置入射角指向性。
<被摄体面和到成像器件的距离之间的关系>
现在，参考图13描述被摄体面和到成像器件121的距离之间的关系。
要注意的是，在从成像器件121(类似于图1的成像器件51)到被摄体面31的被摄体距离是如图13的左上所示的距离d1的情况下，假设成像器件121上的像素Pc、Pb和Pa处的检测信号电平DA、 DB和DC由与上文给出的表达式(1)到(3)相同的表达式表示。
DA＝α1×a+β1×b+γ1×c......(1)
DB＝α2×a+β2×b+γ2×c......(2)
DC＝α3×a+β3×b+γ3×c......(3)
此外，在考虑到如图13的左下部所示的到成像器件121的距离是比距离d1大d的距离d2的被摄体面31'，即，从成像器件121观察时比被摄体面31更深的被摄体面31'的情况下，成像器件121上的像素Pc、Pb和Pa处的检测信号电平是如图13的下段的中部所示的检测信号电平DA、DB和DC，并且与上述类似。
然而，在这种情况下，来自被摄体面31'上的点光源PA'、PB'和 PC'的光强度为a'、b'和c'的光线被成像器件121的像素接收。此外，由于光强度为a'、b'和c'的光线到成像器件121的入射角不同(变化)，因此需要彼此不同的系数集合组。因此，例如，通过下面的表达式(4) 至(6)来表示像素Pa、Pb和Pc处的检测信号电平DA、DB和DC。
DA＝α11×a'+β11×b'+γ11×c'......(4)
DB＝α12×a'+β12×b'+γ12×c'......(5)
DC＝α13×a'+β13×b'+γ13×c'......(6)
这里，包括系数集合α11、β11和γ11、系数集合α12、β12和γ12以及系数集合α13、β13和γ13的系数集合组是与用于被摄体面 31的系数集合α1、β1和γ1、系数集合α2、β2和γ2以及系数集合α3、β3和γ3相对应的用于被摄体面31'的系数集合组。
因此，通过使用系数集合组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13求解包括表达式(4)至(6)的联立方程，通过与求出来自被摄体面31的点光源PA、PB和PC的光线的光强度a、b和c的情况下类似的方法，可以如图13的右下所示求出来自被摄体面31'的点光源PA'、PB'和PC'的光线的光强度a'、b'和c'。结果，可以复原被摄体面31'的复原图像。
因此，在图2的成像装置101中，通过预先为从成像器件121到被摄体面的每个距离(被摄体距离)准备系数集合组，并针对每个被摄体距离切换系数集合组以创建联立方程，然后求解所创建的联立方程，可以基于单个检测图像获得在各个被摄体距离处的被摄体面的复原图像。例如，通过对检测图像进行一次捕获和记录，然后使用所记录的检测图像响应于到被摄体面的距离来切换系数集合组以对复原图像进行复原，可以生成任意被摄体距离处的被摄体面的复原图像。
此外，在可以指定被摄体距离和视角的情况下，可以使用具有适合于与所指定的被摄体距离和视角相对应的被摄体面的成像的入射角指向性的像素的检测信号而不是使用所有像素来生成复原图像。这使得能够使用适合于与所指定的被摄体距离和视角对应的被摄体面的成像的像素的检测信号来生成复原图像。
例如，考虑如图14的上段所示在其距四边的各个端部距离d1的部分处被遮光膜121b遮蔽的像素121a以及如图14的下段所示在其距四边的各个端部距离d2(＞d1)的部分处被遮光膜121b遮蔽的像素 121a'。
图15示出了从被摄体面31到成像器件121的中心位置C1的入射光的入射角的示例。要注意的是，尽管图15描述了入射光在水平方向上的入射角的示例，但是这也类似地适用于垂直方向。此外，在图15的右部，示出了图14中的像素121a和121a'。
例如，在图14的像素121a被布置在成像器件121的中心位置 C1处的情况下，从被摄体面31到像素121a的入射光的入射角的范围是如图15的左部所示的角度A1。因此，像素121a可以接收被摄体面31的水平方向上的宽度W1的入射光。
相反，在图14的像素121a'被布置在成像器件121的中心位置 C1处的情况下，由于像素121a'具有比像素121a更大的被遮蔽范围，因此从被摄体面31到像素121a'的入射光的入射角的范围是如图15 的左部所示的角度A2(＜A1)。因此，像素121a'可以接收在被摄体面31的水平方向上的宽度W2(＜W1)的入射光。
简而言之，尽管具有窄遮光范围的像素121a是适于对被摄体面31上的宽范围进行成像的广视角像素，但具有宽遮光范围的像素 121a'是适于对被摄体面31上的窄范围进行成像的窄视角像素。要注意的是，在此的广视角像素与窄视角像素是用以比较图14的像素121a与121a'的代表，而非用以限制其他视角的像素的比较。
因此，例如，像素121a用于复原图14的图像I1。图像I1是与包括图16的上段的作为被摄体的整个人物H101的被摄体宽度W1 对应的视角SQ1的图像。相反，例如，像素121a'用于复原图14的图像I2。图像I2是与图16的上段的人物H101的面部周围的区域被放大的被摄体宽度W2对应的视角SQ2的图像。
此外，例如，如图16的下段所示，可以想到在成像器件121的由虚线包围的范围ZA中收集和放置每个预定数量的图14的像素 121a，并且在成像器件121的由点划线包围的范围ZB中收集和放置每个预定数量的像素121a'。然后，例如，当要复原与被摄体宽度 W1对应的视角SQ1的图像时，通过使用范围ZA中的像素121a的检测信号，视角SQ1的图像可以被适当地复原。另一方面，在要复原与被摄体宽度W2对应的视角SQ2的图像的情况下，通过使用范围ZB中的像素121a'的检测信号，视角SQ2的图像可以被适当地复原。
要注意的是，由于视角SQ2比视角SQ1窄，因此在用相同像素数复原视角SQ2和视角SQ1的图像的情况下，与复原视角SQ1的图像相比，通过复原视角SQ2的图像可以复原更高画质的复原图像。
简而言之，在考虑使用相同像素数获得复原图像的情况下，在复原较窄视角的图像的情况下，可以获得较高画质的复原图像。
例如，图17的右部示出了图16的成像器件121的范围ZA中的配置的图像。图17的左部示出了范围ZA中的像素121a的配置的示例。
参照图17，由黑色指示的范围表示遮光膜121b，并且例如依照在图17的左部指示的规则来确定每个像素121a的遮光范围。
图17的左部的主遮光部分Z101(图17的左部的黑色部分)指示在像素121a中被共同遮蔽的范围。具体地，主遮光部分Z101具有从像素121a的左侧和右侧朝向像素121a的内侧的宽度dx1的范围，以及从像素121a的上侧和下侧朝向像素121a的内侧的高度dy1的范围。此外，在每个像素121a中，在主遮光部分Z101的内侧的范围 Z102内设置未被遮光膜121b遮蔽的矩形开口Z111。因此，在每个像素121a中，除了开口Z111之外的范围被遮光膜121b遮蔽。
这里，像素121a的开口Z111被规则地布置。具体地，像素 121a中的开口Z111在水平方向上的位置在同一垂直列中的像素 121a中是相同的。此外，像素121a中的开口Z111在垂直方向上的位置在同一水平行的像素121a中是相同的。
另一方面，像素121a中的开口Z111在水平方向上的位置依照像素121a在水平方向上的位置而移位预定距离。具体地，当像素 121a的位置朝向向右方向移位时，开口Z111的左侧移动到从像素 121a的左侧沿向右方向移位宽度dx1、dx2、......、dxn的位置。宽度dx1和宽度dx2之间的距离、宽度dx2和宽度dx3之间的距离、......、以及dxn-1和宽度dxn之间的距离是通过将从范围Z102的水平方向上的宽度分别减去开口Z111的宽度时的长度除以水平方向上的像素数n-1而给出的值。
此外，像素121a中的开口Z111在垂直方向上的位置响应于像素121a在垂直方向上的位置而移位预定距离。具体地，当像素121a 的位置在向下方向上移位时，开口Z111的上侧移动到从像素121a 的上侧移位高度dy1、dy2、......、dyn的位置。高度dy1与高度dy2 之间的距离、高度dy2与高度dy3之间的距离、......、高度dyn-1与高度dyn之间的距离是通过将从范围Z102的垂直方向的高度减去开口Z111的高度时的长度除以垂直方向的像素数m-1而得到的值。
图18的右部示出了图16的成像器件121的范围ZB中的配置的示例。图18的左部示出了范围ZB中的像素121a'的配置的示例。
参照图18，由黑色指示的范围表示遮光膜121b'，并且例如依照在图18的左部指示的规则来确定像素121a'的遮光范围。
图18的左部的主遮光部分Z151(图18的左部的黑色部分)是在像素121a'中被共同遮蔽的范围。具体地，主遮光部分Z151是从像素121a'的左侧和右侧朝向像素121a'的内侧的宽度dx1'的范围，以及从像素121a'的上侧和下侧朝向像素121a'的内侧的高度dy1'的范围。此外，在每个像素121a'中，在主遮光部分Z151的内侧的范围 Z152中设置未被遮光膜121b'遮蔽的矩形开口Z161。因此，在每个像素121a'中，除了开口Z161之外的范围被遮光膜121b'遮蔽。
这里，像素121a'的开口Z161与图17的像素121a的开口Z111 类似地规则布置。具体地，像素121a'中的开口Z161在水平方向上的位置在同一垂直列的像素121a'中是相同的。同时，像素121a'中的开口Z161在垂直方向上的位置在同一水平行的像素121a'中是相同的。
另一方面，像素121a'中的开口Z161在水平方向上的位置响应于像素121a'在水平方向上的位置而移位预定距离。具体地，当像素 121a'的位置朝向向右方向移位时，开口Z161的左侧移动到从像素 121a'的左侧单独地沿向右方向移位宽度dx1'、dx2'、......、dzn'的位置。宽度dx1'与宽度dx2'之间的距离、宽度dx2'与宽度dx3'之间的距离、......、宽度dxn-1'与宽度dxn'之间的距离是通过将从范围 Z152的水平方向上的宽度减去开口Z161的宽度时的长度除以水平方向上的像素数n-1而获得的值。
另一方面，像素121a'中的开口Z161在垂直方向上的位置依照像素121a'在垂直方向上的位置而移位预定距离。具体地，当像素 121a'的位置朝向向下方向移动时，开口Z161的上侧移动到从像素 121a'的上侧沿向下方向移位宽度dy1'、dy2'、......、dyn'的位置。宽度dy1'与宽度dy2'之间的距离、宽度dy2'与宽度dy3'之间的距离、......、以及dyn-1'与宽度dyn'之间的距离是通过将从范围Z152 的垂直方向上的高度分别减去开口Z161的高度时的长度除以垂直方向上的像素数m-1而得到的值。
这里，从图17的像素121a的范围Z102在水平方向上的宽度减去开口Z111的宽度时的长度大于从图18的像素121a'的范围Z152 在水平方向上的宽度减去开口Z161的宽度时的宽度。因此，图17 的宽度dx1、dx2、......、dxn的改变距离大于图18的宽度dx1'、dx2'、......、dxn'的改变距离。
此外，当从图17的像素121a的范围Z102在垂直方向上的高度减去开口Z111的高度时的长度大于当从图18的像素121a'的范围 Z152在垂直方向上的高度减去开口Z161的高度时的长度。因此，图17的高度dy1、dy2、......、dyn的改变距离大于图18的高度dy1'、dy2'、......、dyn'的改变距离。
以这种方式，图17的像素121a的遮光膜121b的开口Z111在水平方向和垂直方向上的位置改变的距离与图18的像素121a'的遮光膜121b'的开口Z161在水平方向和垂直方向上的位置改变的距离彼此不同。然后，距离的差异变为复原图像中的被摄体分辨率(角度分辨率)的差异。具体地，图18的像素121a'的遮光膜121b'的开口 Z161的水平方向和垂直方向上的位置改变的距离小于图17的像素 121a的遮光膜121b的开口Z111的水平方向和垂直方向上的位置改变的距离。因此，使用图18的像素121a'的检测信号复原的复原图像与使用图17的像素121a的检测信号复原的复原图像相比，在被摄体分辨率和画质方面更高。
通过以这种方式改变主遮光部分的遮光范围和开口的开口范围的组合，可以实现包括各种视角(具有各种入射角指向性)的像素的成像器件121。
要注意的是，虽然前述描述是针对像素121a与像素121a'分别分离地布置于范围ZA与范围ZB中的示例，但此描述仅是为了简化描述，并且对应于不同视角的像素121a最好以混合方式布置于相同的区域中。
例如，如图19所示，从由虚线指示的两个像素×两个像素的四个像素形成一个单位U，每个单位U包括四个像素，即广视角的像素121a-W、中视角的像素121a-M、窄视角的像素121a-N和非常窄视角的像素121a-AN。
在这种情况下，例如，在所有像素121a的像素数为X的情况下，可以使用每个都具有针对四个视角中的每一个的X/4像素的检测图像来对复原图像进行复原。此时，对于每个视角使用彼此不同的四个系数集合组，并且通过四种不同类型的联立方程来复原彼此不同的视角的复原图像。
因此，通过使用从适合于对要复原的复原图像的视角进行成像的像素获得的检测图像来对复原图像进行复原，可以获得依照四个不同视角的适当的复原图像。
此外，通过从四个视角的图像进行插值，可以生成四个视角之间的中间视角的图像和/或该中间视角周围的视角的图像，并且通过无缝地生成各种视角的图像，可以实现伪光学变焦。
要注意的是，例如，在获得广视角的图像作为复原图像的情况下，可以使用所有广视角像素，或者可以使用一些广视角像素。此外，例如，在获得窄视角的图像作为复原图像的情况下，可以使用所有窄视角像素，或者可以使用一些窄视角像素。
<成像装置101的成像处理>
现在，参照图20的流程图描述图2的成像装置101的成像处理。
在步骤S1，成像器件121执行被摄体的成像。因此，从具有不同入射角指向性的成像器件121的每个像素121a输出指示依照来自被摄体的入射光的光量的检测信号电平的检测信号。成像器件121将包括像素121a的检测信号的检测图像提供给复原部122。
在步骤S2，复原部122计算要用于图像复原的系数。具体地，复原部122设置到作为复原目标的被摄体面31的距离，即，被摄体距离。要注意的是，可以采用任意方法作为被摄体距离的设置方法。例如，复原部122将用户通过输入部124输入的被摄体距离或检测部125检测出的被摄体距离设置为到复原目标的被摄体面31的距离。
然后，复原部122从存储部128读出与所设置的被摄体距离相关联的系数集合组。
在步骤S3，复原部122使用检测图像和系数执行图像的复原。具体地，复原部122使用检测图像的像素的检测信号电平和通过步骤 S2的处理获取的系数集合组来创建以上参考上述表达式(1)至(3)或表达式(4)至(6)描述的联立方程。然后，复原部122求解所创建的联立方程以计算与所设置的被摄体距离相对应的被摄体面31上的每个点光源的光强度。然后，复原部122依照被摄体面31的点光源的布置来布置具有依照所计算的光强度的像素值的像素，以生成其中形成被摄体的像的复原图像。
在步骤S4，成像装置101对复原图像执行各种处理。例如，复原部122依照情况需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。此外，例如，复原部122依照情况需要将复原图像提供给显示部127以便显示，或者提供给记录和再现部129以便记录在记录介质130中，或者通过通信部131将复原图像提供给不同的装置。
此后，成像处理结束。
要注意的是，尽管上述描述针对使用与成像元件121和被摄体距离相关联的系数集合组，从检测图像对复原图像进行复原的示例，但是，例如，除了被摄体距离以外，还可以如上所述准备与复原图像的视角对应的系数集合组，从而使得使用与被摄体距离和视角对应的系数集合组来对复原图像进行复原。要注意的是，被摄体距离和视角的分辨率取决于要准备的系数集合组的数量。
此外，虽然使用图20的流程图的处理的描述针对其中使用包括在检测图像中的所有像素的检测信号的示例，但是可以生成包括在构成成像器件121的像素之中的具有与指定的被摄体距离和视角相对应的入射角指向性的像素的检测信号的检测图像，从而使得使用该检测图像来对复原图像进行复原。上述这种处理使得能够根据适合于要确定的复原图像的被摄体距离和视角的检测图像对复原图像进行复原，并且提高复原图像的复原精度和画质。具体地，在与指定的被摄体距离和视角相对应的图像是例如与图16中的视角SQ1相对应的示例的情况下，通过选择具有与视角SQ1相对应的入射角指向性的像素 121a，并根据从所选像素121a获得的检测图像对复原图像进行复原，可以以高精度复原视角SQ1的图像。
通过上述处理，可以实现包括其中向每个像素设置入射角指向性的成像器件121作为主要部件的成像装置101。
结果，由于在专利文献等中描述的成像透镜、针孔和滤光器变得不必要，因此可以提高设备设计的自由度。此外，由于光学器件被配置为与成像器件121分离的主体并且在配置成像设备的阶段与成像器件121合并在一起，因此可以实现装置在入射光的入射方向上的小型化并且降低制造成本。此外，与如聚焦透镜的用于形成光学图像的成像透镜对应的透镜变得不必要。然而，可以设置用于改变放大率的变焦透镜。
要注意的是，尽管以上描述了在执行检测图像的捕获之后立即复原与预定的被摄体距离对应的复原图像的处理，但是也可以不立即执行复原处理，而是例如在将检测图像记录到记录介质130中之后或者通过通信部131将检测图像输出到其他装置之后，在所期望的定时使用检测图像来对复原图像进行复原。在这种情况下，可以通过成像装置101执行复原图像的复原或者可以通过不同的装置执行复原图像的复原。在这种情况下，通过例如通过求解使用依照任意被摄体距离和视角的系数集合组创建的联立方程得到复原图像，可以获得针对任意被摄体距离和视角的被摄体面的复原图像，并且可以实现再聚焦等。
例如，在使用包括成像透镜和传统成像器件的成像装置的情况下，为了获得各种焦距和视角的图像，需要在对焦距和视角进行各种改变的同时执行成像。另一方面，在成像装置101中，由于可以通过以这种方式切换系数集合组来复原任意被摄体距离和视角的复原图像，因此在对焦距(即，被摄体距离)或视角进行各种改变的同时重复执行成像的处理变得不必要。
在这种情况下，例如，用户也可以通过在显示部127上显示通过连续切换与不同的被摄体距离和视角相对应的系数集合组而复原的复原图像，来获得期望的被摄体距离和视角的复原图像。
要注意的是，在记录检测图像的情况下，当确定复原时的被摄体距离和视角时，复原用的元数据可以与检测图像相关联。例如，通过将元数据应用于包括检测图像的图像数据，将相同的ID应用于检测图像和元数据，或者将检测图像和元数据记录到相同的记录介质130 中，可以将检测图像和元数据彼此关联。
要注意的是，在将相同的ID应用于检测图像和元数据的情况下，可以将检测图像和元数据记录到不同的记录介质中，或者可以从成像装置101单独输出它们。
此外，元数据可以包括或者可以不包括要复原用的系数集合组。在后一种情况下，例如，在元数据中包括复原时的被摄体距离和视角，并且在复原时，从存储部128等获取与被摄体距离和视角相对应的系数集合组。
此外，在成像时立即执行复原图像的复原的情况下，例如，可以从检测图像和复原图像之间选择例如要记录或要输出到外部的图像。例如，可以将两个图像记录或输出到外部，或者可以仅将图像中的一个记录或输出到外部。
此外，在捕获运动图像的情况下，可以选择是否在成像时执行复原图像的复原，或者选择要记录或输出到外部的图像。例如，可以在进行运动图像的捕获的同时立即复原每个帧的复原图像，并且将复原图像和复原前的检测图像两者或其中之一记录或输出到外部。在这种情况下，在成像时，还可以显示每个帧的复原图像作为直通图像。或者，在成像时，例如，可以在不执行复原处理的情况下将每个帧的检测图像记录或输出到外部。
此外，在捕获运动图像时，例如，可以针对每个帧执行是否要执行复原图像的复原的选择或者对记录或要输出到外部的图像的选择。例如，可以针对每帧切换是否要执行复原图像的复原。此外，可以针对每个帧单独地切换是否要执行检测图像的记录以及是否要执行复原图像的记录。此外，例如，可以记录所有帧的检测图像，同时将元数据应用于可能在以后使用的有用帧的检测图像。
此外，可以实现与使用成像透镜的成像装置中的自动聚焦功能类似的自动聚焦功能。例如，可以通过基于复原图像利用类似于对比度 AF(自动聚焦)方法的登山(mountainclimbing)方法确定最佳被摄体距离来实现自动聚焦功能。
此外，由于与包括专利文献等中描述的光学滤光器和传统成像器件的成像装置相比，可以使用由具有以像素为单位的入射角指向性的成像器件121捕获的检测图像来生成复原图像，因此可以实现像素数量的增加或者获得高分辨率和高角分辨率的复原图像。另一方面，在包括光学滤光器和传统成像器件的成像装置中，即使细化像素，由于光学滤光器的细化是困难的，因此难以实现复原图像的高分辨率等的实现。
此外，由于本公开的成像装置101包括成像器件121作为必要部件，并且不需要例如上述专利文献等中描述的光学滤光器等，因此不会发生使用环境变热并且光学滤光器由于热量而变形的情况，并且可以实现高耐环境性的成像装置。
此外，在本公开的成像装置101中，由于不需要上述专利文献等中描述的成像透镜、针孔和滤光器，因此可以提高包括成像功能的配置的设计自由度。
<处理负荷的减少方法>
顺便提及，在成像器件121的每个像素121a的遮光膜121b的遮光范围(即，入射角指向性)具有随机性的情况下，随着遮光范围的差异的无序增加，复原部122的处理的负荷增加。因此，可以通过使每个像素121a的遮光膜121b的遮光范围的改变的一部分有规则以减少无序，来减少处理负荷。
例如，其中组合了垂直带型和水平带型的L型的遮光膜121b被配置成使得在预定列方向上组合具有相等宽度的水平带型的遮光膜 121b，而在预定行方向上组合具有相等高度的垂直带型的遮光膜 121b。由此，像素121a的遮光膜121b的遮光范围以像素为单位随机变化，同时它们在列方向和行方向上保持规则性。结果，可以减小像素121a的遮光膜121b的遮光范围的差异，即入射角指向性差异的无序，从而减小复原部122的处理负荷。
具体地，例如，如图21的成像器件121"所示，对于由范围Z130指示的相同列中的像素，使用具有相等宽度X0的水平带型的遮光膜121b，并且对于由范围Z150指示的相同行中的像素，使用具有相等高度Y0的垂直带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用了其中组合了它们的L型的遮光膜121b。
类似地，对于由范围Z130旁边的范围Z131指示的相同列中的像素，使用具有相等宽度X1的水平带型的遮光膜121b，并且对于范围Z150旁边的范围Z151指示的相同行中的像素，使用具有相等高度Y1的垂直带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用了其中组合了它们的L型的遮光膜121b。
此外，对于由范围Z131旁边的范围Z132指示的相同列中的像素，使用具有相等宽度X2的水平带型的遮光膜121b，并且对于范围 Z151旁边的范围Z152指示的相同行中的像素，使用具有相等高度 Y2的垂直带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用了其中组合了它们的L型的遮光膜121b。
通过这样做，在遮光膜121B的水平方向上的宽度和位置以及垂直方向上的高度和位置具有规则性的同时，可以以像素为单位将遮光膜的范围设置为不同的值，因此，可以抑制入射角指向性的改变的无序。结果，可以减少系数集合的模式，并且减少复原部122中的计算处理的处理负荷。
更具体地，在如图22的右上部所示从N像素×N像素的检测图像Pic中得到N×N像素的复原图像的情况下，依照包括(N×N)行× 1列的复原图像的像素值作为元素的向量X、包括(N×N)行×1列的检测图像的像素值作为元素的向量Y、以及包括系数集合组的(N×N)行×(N×N)列的矩阵A，满足如图22的左部所示的关系。
具体地，在图22中，指示包括系数集合组的(N×N)行×(N×N) 列的矩阵A的元素与表示复原图像的(N×N)行×1列的向量X的相乘结果变为表示检测图像的(N×N)行×1列的向量Y。然后，依照该关系，构造与表达式(1)至(3)或表达式(4)至(6)相对应的联立方程。
要注意的是，在图22中，矩阵A的范围Z201所指示的第一列中的元素对应于向量X的第一行的元素，并且矩阵A的范围Z202 所指示的第(N×N)列的元素对应于向量X的第(N×N)行的元素。
要注意的是，在使用针孔的情况下并且在使用用于将从成像透镜等的相同方向进入的入射光引入到彼此相邻的两个像素输出单位的会聚功能的情况下，由于唯一地确定了每个像素的位置与光的入射角之间的关系，因此矩阵A变为其中所有的向下对角分量都是1的对角矩阵。相反，在如图2的成像装置101中那样不使用针孔和成像透镜的情况下，由于不唯一地确定每个像素的位置与光的入射角之间的关系，因此矩阵A不变为对角矩阵。
换句话说，通过基于图22中描绘的行列式求解联立方程以得到矢量X的元素，来得到复原图像。
顺便提及，通常，通过从左开始将两侧乘以矩阵A的逆矩阵A-1，如图23所示将图22的行列式进行变换，并且通过从左开始将检测图像的向量Y乘以逆矩阵A-1，得到作为检测图像的向量X的元素。
然而，实际上，有时不能精确地计算矩阵A，有时不能精确地测量矩阵A，有时在矩阵A的基向量接近线性相关性的情况下不能求解矩阵A，并且有时在检测图像的元素中包括噪声。然后，出于所描述的任何一个原因或者它们的组合，有时不能求解联立方程。
因此，例如，考虑到对于各种误差具有鲁棒性的配置，使用以下使用正则化最小二乘法的概念的表达式(7)。
[数学式1]
Figure BDA0002445346500000431
这里，在表达式(7)中被添加了"^"的x表示向量X，A表示矩阵 A，y表示向量Y，γ表示参数，并且||A||表示L2范数(和的平方根)。这里，当图22的两侧都被最小化时，右侧的第一项是范数，而右侧的第二项是正则化项。
如果针对x求解表达式(7)，则得到以下表达式(8)。
[数学式2]
Figure BDA0002445346500000441
这里，At是矩阵A的转置矩阵，并且I是单位矩阵。
然而，由于矩阵A具有巨大的尺寸，因此计算量和所需的存储量很大。
因此，例如，如图24所示，矩阵A被分解成N行×N列的矩阵 AL和N行×N列的矩阵ART，使得它们与表示复原图像的N行×N 列的矩阵X的前段和后段相乘的结果变为表示检测图像的N行×N 列的矩阵Y。由此，元素数(N×N)×(N×N)的矩阵A变为其像素数为(N×N)的矩阵AL和ART，并且每个矩阵的元素数变为1/(N×N)。结果，可以减少计算量和所需的存储量。
例如，通过将表达式(8)的括号中的矩阵设置为矩阵AL，并将矩阵A的转置矩阵的逆矩阵设置为矩阵ART，来实现图24中所示的行列式。
在如图24中所示的此计算中，如图25中所示，通过将矩阵X 中的关注元素Xp乘以矩阵AL的对应列的每个元素组Z221来计算元素组Z222。另外，通过将元素组Z222乘以矩阵ART中与关注元素Xp相对应的行的元素，计算与关注元素Xp相对应的二维响应 Z224。然后，对于矩阵X的所有元素，对相应的二维响应Z224进行积分以计算矩阵Y。
因此，例如，对于矩阵AL的每列的元素组Z221，使用与对于图21所示的成像器件121的每列设置为相等宽度的水平带型的像素121a的入射角指向性相对应的系数。
类似地，例如，对于矩阵ART的每行的元素组Z223，使用与对于图21中描绘的成像器件121的每行设置为相等高度的垂直带型的像素121a的入射角指向性相对应的系数。
结果，可以减少在基于检测图像来复原图像时要使用的矩阵，因此，计算量减少。因此，可以提高处理速度并降低计算所需的功耗。此外，由于可以减小矩阵的尺寸，因此可以减小用于计算的存储器的容量，并且可以降低装置成本。
要注意的是，尽管图21示出了在水平方向和垂直方向上设置预定的规则性的同时以像素为单位改变遮光范围(受光范围)的示例，但是在本公开中，即使不完全随机而是在某种程度上随机地以像素为单位设置遮光范围(受光范围)，也可以认为遮光范围(受光范围)是随机设置的。换句话说，在本公开中，不仅在以像素为单位完全随机地设置遮光范围(受光范围)的情况下，而且在一定程度上随机地设置遮光范围(受光范围)(例如，尽管在所有像素中，一些像素属于其中遮光范围(受光范围)具有规则性的区域，但其他像素属于其中随机地设置遮光范围(受光范围)的其他区域)，或者遮光范围(受光范围)看起来在一定程度上不具有规则性(在不能确认按照如上参考图21所述的规则来布置遮光范围(受光范围)的布置的情况下)的情况下，认为随机地设置遮光范围(受光范围)。
<<3.第一实施例>>
现在，参考图26至31描述本公开的第一实施例。
如上所述，成像装置101通过求解如上文给出的表达式(1)到(3) 或表达式(4)到(6)所示的联立方程来计算复原图像的每个像素的像素值。因此，例如，如果来自被摄体的入射光的光强度高，并且即使成像器件121的像素121a之一饱和，那么这对复原图像的所有像素都有影响，并且复原图像的复原精度降低。结果，复原图像的画质降低。
相反，在本第一实施例中，执行成像装置101的曝光控制，使得抑制成像器件121的像素121a的饱和的发生。
要注意的是，在第一实施例中，使用图2的成像装置101。然而，在第一实施例中，如下所述改变像素阵列部的配置等。
<成像器件121的配置的示例>
图26是描绘图2的成像器件121的电路配置的实例的框图。
成像器件121包括像素阵列部301、垂直驱动电路302、列信号处理电路303、水平驱动电路304、输出电路305和控制电路306。
在像素阵列部301中，具有入射角指向性的像素121a被布置成矩阵，如上文参考图3所述。然而，如下文参照图27所述，不具有入射角指向性的像素121a被布置在像素阵列部301的一部分处。
像素阵列部301的像素121a通过用于每行的水平信号线311连接到垂直驱动电路302，并且通过用于每列的垂直信号线312连接到列信号处理电路303。每个像素121a输出如上所述的检测信号。
垂直驱动电路302通过水平信号线311将驱动信号例如提供给像素121a，以驱动像素阵列部301的各个行的像素121a(用于传输、选择、复位等)，从而执行像素121a的曝光时间、读出扫描等的控制。例如，垂直驱动电路302可以一次全部执行像素阵列部301的多个行中的像素121a的开始曝光的集体曝光，并且一次全部停止曝光。此外，垂直驱动电路302可以单独地控制像素121a的曝光时间，并且单独地控制像素121a的检测信号的读出定时。
要注意的是，成像器件121的曝光方法可以是滚动快门方法和全局快门方法中的任何一种。在以下描述中，主要描述将全局快门方法应用于成像元件121的曝光方法的情况。此外，例如在日本专利公开号2015-121751中描述了对每个像素121a的曝光时间的单独控制。此外，例如在日本专利公开号2013-223054中描述了对每个像素 121a的信号的读出定时的单独控制。
列信号处理电路303对通过垂直信号线312从像素阵列部301的每个像素121a输出的检测信号执行CDS(相关双采样)，以执行检测信号的AD转换并从检测信号中去除复位噪声。例如，列信号处理电路303包括依照像素121a的列数的多个列处理部(未示出)，并且可以针对像素阵列部301的各列并行地执行CDS。
水平驱动电路304例如向列信号处理电路303提供驱动信号，以使列信号处理电路303针对各列顺序地向输出信号线313输出检测信号。
输出电路305在基于来自水平驱动电路304的驱动信号的定时处放大通过输出信号线313从列信号处理电路303提供的检测信号，并且将放大的检测信号输出到后一级(例如，输出到图2的复原部122 或总线B1)
控制电路306执行成像器件121中的部件的控制。
图27示出了图26的像素阵列部301的类似于图3的部分的前正视图。要注意的是，尽管图27示出了其中垂直六个像素×水平六个像素的像素121a布置在像素阵列部301中的示例，但是像素阵列不限于此。
在像素阵列部301中，复原用像素121aA和曝光用像素121aB 以混合方式布置。
复原用像素121aA包括指向性像素。指向性像素是包括用于提供入射角指向性的配置的像素，类似于上文描述的图4或图5的像素 121a。另外，复原用像素121aA依照需要分别包括红色、绿色、蓝色等的彩色滤光器。
曝光用像素121aB包括非指向性像素。非指向性像素是不包括用于提供入射角指向性的配置的像素。例如，通过从图4的像素 121a中删除用于对遮光膜121b的受光面S进行遮光的部分而获得的像素被用作非指向性像素。作为替代，例如，像图5的像素121a那样，包括多个光电二极管并且输出该多个光电二极管全部都作出贡献的一个检测信号的像素被用作非指向性像素。同时，在曝光用像素 121aB中，设置白色或透明的彩色滤光器，或者不设置彩色滤光器。因此，曝光用像素121aB的受光灵敏度高于复原用像素121aA的受光灵敏度。要注意的是，如果曝光用像素121aB的受光灵敏度比复原用像素121aA的受光灵敏度高，则也可以在曝光用像素121aB中设置白色或透明滤光器以外的彩色滤光器。
要注意的是，在下面的描述中，复原用像素121aA的检测信号被称为复原信号，并且曝光用像素121aB的检测信号被称为曝光信号。
<成像装置101的处理>
现在，参考图28和31描述成像装置101的处理。
首先，参考图28的流程图和图29的时序图来描述由成像装置 101的成像器件121执行的成像处理。要注意的是，当接通成像装置 101的电源时开始该处理，并且当断开电源时结束该处理。
在步骤S101，成像器件121开始曝光。例如，在图29的时间t1，垂直驱动电路302在控制电路306的控制下开始像素阵列部301的像素121a的曝光，即，复原用像素121aA和曝光用像素121aB的曝光。因此，一次全部开始将电荷累积到像素阵列部301的像素121A中。
在步骤S102，成像器件121停止曝光用像素121aB的曝光。例如，在图29的时间t2，垂直驱动电路302在控制电路306的控制下一次全部停止像素阵列部301的曝光用像素121aB的曝光。
在步骤S103，成像器件121输出曝光用像素121aB的检测信号。例如，在图29的从时间t2到时间t3的时段期间，成像器件121执行以下处理。
垂直驱动电路302在控制电路306的控制下，使像素阵列部301 的曝光用像素121aB以行为单位向列信号处理电路303输出检测信号(即，曝光信号)。
列信号处理电路303在控制电路306的控制下，对每个曝光用像素121aB的曝光信号执行CDS，以执行曝光信号的AD转换和复位噪声的去除。
水平驱动电路304在控制电路306的控制下使列信号处理电路 303通过输出信号线313将曝光信号顺序地输出到输出电路305。
输出电路305放大曝光用像素121aB的曝光信号，并将其提供给控制部123。
控制部123在下文所述的图30的步骤S121获取曝光用像素 121aB的曝光信号，并在步骤S122基于获取的曝光信号设置复原用像素的曝光时间段。此外，在步骤S123，控制部123在经过了设置的曝光时间段的时间点，向成像器件121的控制电路306提供用于停止复原用像素121aA的曝光的指令的信号。
在步骤S104，成像器件121依照指令停止复原用像素121aA的曝光。例如，在图29的时间t1之后经过了由控制部123设置的曝光时间段的时间t5处，控制电路306从控制部123获取用于停止复原用像素121aA的曝光的指令的信号。垂直驱动电路302在控制电路 306的控制下一次全部停止像素阵列部301的复原用像素121aA的曝光。
在步骤S105，成像器件121执行与步骤S103类似的处理，以输出复原用像素121aA的检测信号(复原信号)。然而，与步骤S103的处理不同，每个复原用像素121aA的复原信号被提供给复原部122。
此后，处理返回到步骤S101，并且重复执行从步骤S101开始的步骤中的处理。因此，例如，在图29的时间t7至时间t14，由成像器件121执行与时间t1至时间t5的处理类似的处理。
要注意的是，在将滚动快门方法应用于成像元件121的曝光方法的情况下，以行为单位顺序地开始复原用像素121aA和曝光用像素 121aB的曝光。此外，以行为单位顺序地停止曝光用像素121aB的曝光。此外，以行为单位顺序停止复原用像素121aA的曝光。
现在，参考图30的流程图和图29的时序图来描述与图28的成像处理相对应的、由成像装置101的信号处理控制部111执行的曝光控制和复原处理。
在步骤S121，控制部123获取曝光用像素121aB的检测信号。具体地，控制部123获取在上文中描述的图28的步骤S103从成像器件121输出的曝光用像素121aB的曝光信号。
在步骤S122，控制部123基于曝光用像素121aB的检测信号，设置复原用像素121aA的曝光时间段。例如，在图29的从时间t3至 t4的时段期间，控制部123执行以下处理。
例如，控制部123计算曝光用像素121aB的曝光信号的检测信号电平的平均值。
然后，控制部123基于曝光信号的检测信号电平的平均值计算曝光信号的检测信号电平的增加率。
图31示出了复原用像素121aA和曝光用像素121aB的检测信号电平的转变的示例的图。图31的横坐标轴指示曝光时间段，纵坐标轴指示检测信号电平。
例如，在图31的曝光用像素121aB的曝光时段T1(例如，图29 的时间t1至t2)中，曝光信号的检测信号电平的平均值达到电平L1 的情况下，曝光信号的检测信号电平的增加率为L1/T1。
然后，控制部123基于曝光信号的检测信号电平的增加率推断复原信号的检测信号电平的增加率。例如，通过实验、计算等预先设置曝光信号的检测信号电平的增加速率与复原信号的检测信号电平的增加速率之间的比率(以下称为增加速率比率)。控制部123基于计算出的曝光信号的检测信号电平的增加率和预先设置的增加率比率，估计复原信号的检测信号电平的增加率。
要注意的是，例如，参照复原用像素121aA中具有最高灵敏度的复原用像素121aA来设置增加率比率。这里，具有最高灵敏度的复原用像素121aA是例如其中遮光膜121b的遮光面积最小的复原用像素121aA。
然后，控制部123基于所估计的复原信号的检测信号电平的增加率，预测其中复原用像素121aA的检测信号电平达到预定电平L2的曝光时间段T2。例如，电平L2被设置为低于像素121a饱和的情况下的检测信号电平Lsat的值。要注意的是，优选地，在复原用像素121aA不饱和的范围内，将电平L2设置为尽可能高的值。
然后，控制部123将计算出的曝光时间段T2设置为复原用像素 121aA的曝光时间段。
在步骤S123，控制部123使得复原用像素121aA的曝光在经过设置的曝光时间段的时间点停止。例如，控制部123在图29的时间 t1之后经过图31的曝光时间段T2的时间t5，向成像元件121的控制电路306提供停止复原用像素121aA的曝光的指令的信号。然后，在上述图28的步骤S104，成像器件121的控制电路306停止复原用像素121aA的曝光。
在步骤S124，复原部122获取复原用像素121aA的检测信号。具体地，在上述图28的步骤S105，复原部122获取包括从成像器件 121输出的复原用像素121aA的复原信号的检测图像。
在步骤S125，与上述图20的步骤S103的处理类似，复原部 122使用复原用像素121aA的检测信号(检测图像)和系数执行图像的复原。
在步骤S126，与上述图20的步骤S104的处理类似，对复原图像执行各种处理。
要注意的是，图29示出了在从时间t6到时间t8的时段内执行复原图像的复原处理并且在从时间t11到时间t13的时段内对复原图像执行各种处理的示例。然而，由于成像器件121的处理和复原部 122的处理可以彼此独立地并且并行地执行，因此执行复原图像的复原处理和用于复原图像的各种处理的定时不限于本示例中的那些。
此外，不必在成像时执行复原图像的复原处理，并且例如，可以将检测图像记录到存储部128中，使得在成像之后的期望定时执行复原处理。
此后，处理返回到步骤S121，并且执行从步骤S121开始的步骤中的处理。
由于以如上所述的方式抑制了复原用像素121aA的饱和的发生，因此提高了复原图像的复原精度。此外，通过适当地调整图31的电平L2，可以在复原用像素121aA不饱和的范围内尽可能地增加复原用像素121aA的受光量，并且改善了复原图像(检测图像)的SN比。结果，改善了复原图像的画质。
此外，由于如上所述在成像装置101中没有设置成像透镜，因此到成像器件121的像素121a的入射光的光强度几乎是均匀的，而与被摄体的亮度分布或像素121a的位置无关。换句话说，由于被摄体的亮度分布，几乎不发生像素121a的入射光的光强度的分散。因此，通过基于具有比复原用像素121aA的灵敏度高的灵敏度的曝光用像素121aB的检测信号电平来控制复原用像素121aA的曝光时间段，可以确定地抑制复原用像素121aA的饱和的发生，而与被摄体的亮度分布无关。
<曝光用像素121aB的设置数量及布置>
如果在像素阵列部301中至少仅设置一个曝光用像素121aB就足够了。但是，为了避免噪声等的影响，优选地提供多个曝光用像素 121aB。另一方面，如上所述，由于到成像器件121的像素121a的入射光的光强度基本上是均匀的，而与被摄体的亮度分布无关，因此几乎不需要考虑曝光用像素121aB的受光量的分散。因此，可以将曝光用像素121aB的数量抑制为较小。
此外，尽管进入像素阵列部301的像素121a的入射光的光强度原则上几乎是均匀的，但是入射光的光强度有时朝向像素阵列部301 的中间更高。因此，优选地将曝光用像素121aB设置在靠近像素阵列部301的中间的位置。此外，在设置多个曝光用像素121aB的情况下，优选地以彼此稍微隔开的关系布置曝光用像素121aB，而不将它们布置在彼此非常接近的位置。
此外，本公开可以应用于要捕获单色图像的情况和要捕获彩色图像的情况。此外，在为每个像素121a设置彩色滤光器的情况下，优选地将曝光用像素121aB布置在对复原图像进行复原时具有低影响的颜色的像素121a的位置处。
例如，图32示出了在依照Bayer阵列来布置复原用像素121aA 的情况下，曝光用像素121aB的布置的示例。要注意的是，图中用 R表示的复原用像素121aA是其上设置有红色滤光器的复原用像素 121aA，并且在下文中仅被称为复原用红色像素121aA。由G表示的复原用像素121aA是其上设置有绿色滤光器的复原用像素121aA，并且在下文中仅被称为复原用绿色像素121aA。由B表示的复原用像素121aA是其上设置蓝色滤光器的复原用像素121aA，并且在下文中仅被称为复原用蓝色像素121aA。此外，图32中的黑色部分表示遮光膜121b。
在该示例中，在Bayer阵列中布置复原用蓝色像素121aA的一些位置处，布置曝光用像素121aB来代替复原用蓝色像素121aA。这是因为，复原用蓝色像素121aA对亮度的贡献低，并且即使复原用像素中的蓝色像素的复原精度降低一点，这也不太可能突出。
此外，例如，复原用像素121aA可以布置在像素阵列部301中的矩形区域中，而曝光用像素121aB布置在该区域周围。
<第一实施例的变型例>
虽然前面的描述是针对同时开始复原用像素121aA的曝光和曝光用像素121aB的曝光的示例给出的，但是它们不必同时开始。例如，在首先执行曝光用像素121aB的曝光，然后停止曝光用像素 121aB的曝光之后，可以执行复原用像素121aA的曝光。
此外，尽管前述描述针对其中复原用像素121aA的曝光时段彼此调整的示例，但是本公开也可以应用于复原用像素121aA的曝光时段对于一行或多行偏移的情况。
此外，尽管前述描述涉及基于在相同帧时段内从曝光用像素 121aB输出的曝光信号来控制复原用像素121aA的曝光时间段的示例，但是可以基于在一个或多个帧时段之前的帧时段内从曝光用像素 121aB输出的曝光信号来控制复原用像素121aA的曝光时间段。
此外，例如，可以针对每个像素或每行来控制复原用像素121aA 的曝光时间段。在这种情况下，在将复原用像素121aA的检测信号电平乘以(最大曝光时间段/实际曝光时间段)，以将复原用像素121aA 的检测信号电平转换(归一化)为在复原用像素121aA被曝光最大曝光时间段的情况下的电平之后，执行图像的复原。
此外，曝光用像素121aB的曝光信号可用于图像的复原。在这种情况下，在例如通过将曝光用像素121aB的检测信号电平乘以(复原用像素121aA的曝光时间段/曝光用像素121aB的曝光时间段)，将曝光用像素121aB的检测信号电平转换为在曝光用像素121aB被曝光等于复原用像素121aA的曝光时间段的情况下的电平之后，执行图像的复原。
<<4.第二实施例>>
现在，参考图33描述本公开的第二实施例。
虽然上述第一实施例涉及其中控制复原用像素121aA的曝光时间段以抑制复原用像素121aA的饱和的发生的示例，但是在第二实施例中，通过使用ND(中性密度)滤光器执行曝光控制来抑制复原用像素121aA的饱和的发生。
<成像装置401的配置的示例>
图33是描绘依照本公开的第二实施例的成像装置401的配置的示例的框图。要注意的是，在图中，与图2的成像装置101的元件对应的元件由相同的附图标记表示，并且适当地省略对它们的描述。
成像装置401与成像装置101相比不同之处在于其包括ND(中性密度)滤光器411。
ND滤光器411被布置在被摄体和成像器件121的受光面之间，并且基本上均等地降低进入成像器件121的几乎所有波长带中的入射光的光强度。
要注意的是，ND滤光器411可具有固定型和可变型中的任何一种的调光率。在调光率可变的情况下，ND滤光器411例如由电子可变ND滤光器构成，该电子可变ND滤光器的调光率可以通过电子控制来改变。
例如，在ND滤光器411的调光率固定的情况下，设置插入/提取机构(未示出)，该插入/抽出机构可操作以将ND滤光器411插入到被摄体与成像器件121的受光面之间，以及将ND滤光器411从被摄体与成像器件121的受光面之间抽出。因此，控制部123基于曝光用像素121aB的曝光信号的检测信号电平来控制插入/抽出机构，以控制ND滤光器411的插入/抽出。
例如，在曝光用像素121aB的曝光信号的检测信号电平的平均值低于预定阈值的情况下，控制部123控制插入/抽出机构以从被摄体和成像器件121的受光面之间移除ND滤光器411。由此，防止了复原用像素121aA的受光量被ND滤光器411衰减，并且结果，提高了检测图像(复原图像)的SN比。
另一方面，在曝光用像素121aB的曝光信号的检测信号电平的平均值等于或高于预定阈值的情况下，控制部123控制插入/抽出机构以将ND滤光器411插入在被摄体和成像器件121的受光面之间。由此，到成像元件121的入射光的光强度降低，并且抑制了成像元件121的复原用像素121aA的饱和的发生。
相反，在ND滤光器411包括电子可变ND滤光器的情况下，例如，控制部123基于曝光用像素121aB的曝光信号的检测信号电平来控制ND滤光器411的调光率。
例如，在曝光用像素121aB的曝光信号的检测信号电平的平均值等于或高于预定阈值的情况下，控制部123将ND滤光器411的调光率设置为0，使得到ND滤光器411的入射光照原样进入成像器件 121而不对其进行调光。因此，复原用像素121aA的受光量被ND滤光器411衰减，并且结果，抑制了检测图像(复原图像)的SN比降低。
另一方面，在曝光用像素121aB的曝光信号的检测信号电平的平均值低于预定阈值的情况下，控制部123基于该平均值调节ND滤光器411的调光率。因此，到成像器件121的入射光的光强度降低，并且抑制了成像器件121的复原用像素121aA的饱和的发生。此外，通过适当地调整ND滤光器411的调光率，可以尽可能地增加复原用像素121aA的受光量，并且提高检测图像(复原图像)的SN比。
要注意的是，ND滤光器411可以单独设置，或者可以与诸如变焦透镜的可更换透镜一起设置。在后一种情况下，例如，ND滤光器 411设置在可更换透镜中或者安装在可更换透镜和成像装置401之间。要注意的是，在ND滤光器411包括电子可变ND滤光器的情况下， ND滤光器411不必是可插入到成像装置401中/可从成像装置401抽出，而是可以固定地设置到成像装置401。
<<5.变型例>>
下面，描述对上述本公开的实施例的变型例。
<与曝光控制相关的变型例>
例如，在从每个复原用像素121aA输出的复原信号被输入到列信号处理电路303的AD转换部(未示出)之前，成像器件121的控制部123或控制电路306可以基于曝光用像素121aB的曝光信号的检测信号电平的平均值，将要施加的模拟增益的值调整为复原信号。这抑制了来自被摄体的入射光的光强度太高以至于在用模拟增益放大之后的复原信号的检测信号电平超过AD转换部的动态范围而导致复原信号饱和。
此外，上述曝光控制可以使用曝光信号的检测信号电平的平均值以外的值(例如曝光信号的检测信号电平的最大值或中间值)来执行。
此外，尽管前面的给出了主要由控制部123执行成像器件121 (复原用像素121aA)的曝光控制的示例的描述，但是可以以其他方式主要由例如成像器件121(复原用像素121aA)的控制电路306执行曝光控制。
<与成像器件121相关的变型例>
例如，作为每个像素121a的遮光膜121b的形状，可以采用除了水平带型、垂直带型、L型和具有矩形开口的类型之外的类型的形状。
此外，尽管例如上文参照图5描述的成像器件121涉及在一个像素121a中设置两行×两列的四个光电二极管121f的示例，但是光电二极管121f的数量和布置不限于该示例的数量和布置。
例如，如图34所示，一个像素121a可以包括可以为一个片上透镜121c设置的排列成三行×三列的九个光电二极管121f-111至121f- 119。换句话说，一个像素输出单位可以包括九个光电二极管121f。
然后，例如，通过不读出光电二极管121f-111、121f-114和 121f-117至121f-119的五个像素的信号，可以获得与包括设置在光电二极管121f-111、121f-114和121f-117至121f-119的范围内的L 型的遮光膜121b的像素121a的入射角特性基本类似的入射角特性。
以这种方式，可以在不设置遮光膜121b的情况下获得与设置遮光膜121b的情况下的入射角特性类似的入射角特性。此外，通过切换不从其读出信号的光电二极管121f的模式，可以与改变由遮光膜 121b遮蔽的位置和范围的情况类似地改变入射角指向性。
此外，虽然前面的描述针对一个像素输出单位包括一个像素 121A的示例，但是也可以从多个像素121A配置一个像素输出单位。
例如，如图35所示，可以从排列成三行×三列的像素121a-111 至121a-119配置一个像素输出单位501b。要注意的是，像素121a- 111至121a-119中的每一个包括例如一个光电二极管，但是不包括片上透镜。
例如，可以通过将来自像素121a的像素信号相加以生成用于检测图像的一个像素的检测信号，并且停止输出或避免来自一些像素 121a的像素信号的相加，来实现像素输出单位501b的入射角指向性。例如，通过将像素121a-112、121a-113、121a-115和121a-116的像素信号相加以生成检测信号，可以获得与在像素121a-111、121a-114 和121a-117至121a-119的范围中设置L型的遮光膜121b的情况下的入射角指向性类似的入射角指向性。
此外，通过切换像素信号被添加到检测信号的像素121a的模式，可以与改变由遮光膜121b遮蔽的位置和范围的情况类似地将入射角指向性设置为不同的值。
此外，在这种情况下，例如，通过改变像素121a的组合，可以改变像素输出单位的范围。例如，像素输出单位501s可以具有包括像素121a-111、121a-112、121a-114和121a-115的两行×两列的像素121a。
此外，例如，通过预先记录所有像素121a的像素信号并稍后设置像素121a的组合，可以稍后设置像素输出单位的范围。此外，通过从所设置的像素输出单位中的像素121a当中选择其像素信号要被添加到检测信号的像素121a，可以稍后设置像素输出单位的入射角指向性。
<其他变型例>
此外，本公开还可以应用于对诸如红外线的除了可见光线之外的波长的光进行成像的成像装置或成像器件。在这种情况下，复原图像不是成为通过用户的视觉观察能够识别被摄体的像，而是成为用户无法观察被摄体的像。要注意的是，由于普通成像透镜难以透射远红外光，因此本技术在例如要执行远红外光的成像的情况下是有效的。因此，复原图像可以是远红外光的图像，并且可以不是远红外光而是其他可见光或不可见光的图像。
此外，例如，通过应用诸如深度学习的机械学习，还可以在不使用复原之后的复原图像而使用复原之前的检测图像的情况下执行图像识别等。在这种情况下，通过使用本技术，使用复原之前的检测图像的图像识别的精度也得到提高。换句话说，改善了复原之前的检测图像的画质。
<<6.其他>
上述一系列处理不仅可以由硬件执行，而且可以由软件执行。在通过软件执行一系列处理的情况下，将构成软件的程序安装到计算机中。这里，计算机包括并入专用硬件(例如，控制部123等)中的计算机。
例如，将由计算机执行的程序被记录并设置为作为封装介质等的记录介质(诸如记录介质130等)。此外，可以通过诸如局域网、因特网或数字广播的有线或无线传输介质来提供程序。
要注意的是，计算机执行的程序既可以是按照本说明书中描述的顺序以时间序列执行处理的程序，也可以是并行地执行处理或者在诸如程序被调用时的必要定时执行处理的程序。
此外，本技术的实施例不限于上文描述的实施例，并且在不脱离本技术的主题的情况下可以进行各种改变。
例如，本技术可以假定一种云计算的配置，其中，由多个装置通过网络来协作地共享和处理一个功能。
此外，上文结合流程图描述的步骤可以由单个装置执行，或者可以通过由多个装置共享来执行。
此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由单个装置执行，并且还可以通过由多个装置共享来执行。
要注意的是，本公开可以采取如下所述的这种配置。
(1)一种成像装置，包括：
成像器件，包括：多个指向性像素输出单位以及非指向性像素输出单位，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个进入的入射光，并且不具有用于提供入射角指向性的配置；以及
曝光控制部，被配置为基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
(2)根据上述(1)所述的成像装置，其中
非指向性像素输出单位的受光灵敏度高于指向性像素输出单位的受光灵敏度。
(3)根据上述(1)或(2)所述的成像装置，其中
曝光控制部基于非指向性检测信号，控制中性密度ND滤光器在被摄体和成像器件的受光面之间的插入和从被摄体和成像器件的受光面之间的抽出。
(4)根据上述(1)或(2)所述的成像装置，其中
曝光控制部基于非指向性检测信号，调整对到成像器件的入射光进行调光的可变中性密度ND滤光器的调光度。
(5)根据上述(1)至(4)中任一项所述的成像装置，其中
曝光控制部基于非指向性检测信号，控制所述多个指向性像素输出单位的曝光时间。
(6)根据上述(1)至(5)中任一项所述的成像装置，其中
曝光控制部基于非指向性检测信号，控制对于从所述多个指向性像素输出单位输出的检测信号的增益。
(7)根据上述(1)至(6)中任一项所述的成像装置，其中
所述指向性像素输出单位包括
一个光电二极管，以及
遮光膜，被配置为拦截部分入射光入射到所述光电二极管，并且
所述非指向性像素输出单位包括一个光电二极管。
(8)根据上述(1)至(6)所述的成像装置，其中
所述指向性像素输出单位包括多个光电二极管，并且输出该多个光电二极管中的部分光电二极管所贡献的一个检测信号，并且
所述非指向性像素输出单位包括多个光电二极管，并输出该多个光电二极管全部所贡献的一个检测信号。
(9)一种曝光控制方法，包括：
曝光控制步骤，用于基于作为从非指向性像素输出单位输出的检测信号的非指向性检测信号，执行多个指向性像素输出单位的曝光控制，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个的进入的入射光，并且不具有用于提供入射角指向性的配置。
(10)一种用于使成像装置的计算机执行处理的程序，所述成像装置包括成像器件，所述成像器件包括多个指向性像素输出单位以及非指向性像素输出单位，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个进入的入射光，并且不具有用于提供入射角指向性的配置，所述处理包括：
曝光控制步骤，用于基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
(11)一种成像器件，包括：
多个指向性像素输出单位，其接收来自被摄体的入射光并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示入射光的入射角的指向性；以及
非指向性像素输出单位，其接收不经由成像透镜和针孔中的任何一个进入的入射光，并且不具有用于提供入射角指向性的配置，具有比指向性像素输出单位的受光灵敏度高的受光灵敏度，并且用于所述多个指向性像素输出单位的曝光控制。
(12)根据上述(11)所述的成像器件，其中
依照从所述多个指向性像素输出单位输出的检测信号，生成不形成被摄体的像的检测图像。
(13)根据上述(11)或(12)所述的成像器件，其中
所述指向性像素输出单位包括
一个光电二极管，以及
遮光膜，被配置为拦截部分入射光入射到所述光电二极管，并且
所述非指向性像素输出单位包括一个光电二极管。
(14)根据上述(11)或(12)所述的成像器件，其中
所述指向性像素输出单位包括多个光电二极管，并且输出该多个光电二极管中的一些光电二极管所贡献的一个检测信号，以及
所述非指向性像素输出单位包括多个光电二极管，并输出该多个光电二极管全部所贡献的一个检测信号。
(15)根据上述(11)至(14)中任一项所述的成像器件，其中
在所述多个指向性像素输出单位中分别设置有彩色滤光器，以及
在所述非指向性像素输出单位中设置有白色或透明光学滤光器，或者未设置彩色滤光器。
(16)根据上述(15)所述的成像器件，其中
在所述多个指向性像素输出单位中分别设置有红色、绿色或蓝色中的任何一种彩色滤光器，并且所述多个指向性像素输出单位被布置在依照预定阵列的位置处，以及
所述非指向性像素输出单位在所述预定阵列中设置有蓝色的彩色滤光器的指向性像素输出单位被布置的位置中的部分位置处代替所述指向性像素输出单位被布置。
(17)根据上述(11)至(16)中任一项所述的成像器件，还包括：
曝光控制部，被配置为基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
(18)根据上述(17)所述的成像器件，其中
曝光控制部基于非指向性检测信号，控制所述多个指向性像素输出单位的曝光时间。
(19)根据上述(17)或(18)所述的成像器件，其中
曝光控制部基于非指向性检测信号，控制对于从所述多个指向性像素输出单位输出的检测信号的增益。
要注意的是，本说明书中描述的有益效果仅是示例性的，而不是限制性的，并且可以应用其他有益效果。
附图标记列表
101成像装置，111信号处理控制部，121成像器件，121a、 121a'像素，121aA复原用像素，121aB曝光用像素，121A受光面， 121b遮光膜，121c片上透镜，121e、121f光电二极管，122复原部， 123控制部，125检测部，126关联部，301像素阵列部，302垂直驱动电路，303列信号处理电路，304水平驱动电路，306控制电路， 401成像装置，411ND滤光器，501b、501s像素输出单位。

Claims (19)

1.一种成像装置，包括：
成像器件，包括：多个指向性像素输出单位以及非指向性像素输出单位，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示所述入射光相对于所述多个指向性像素输出单位中的每个指向性像素输出单位的入射角的受光灵敏度，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个进入的所述入射光，并且不具有用于提供所述入射角指向性的配置；以及
曝光控制部，被配置为基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
2.依照权利要求1所述的成像装置，其中
所述非指向性像素输出单位的受光灵敏度高于所述指向性像素输出单位的受光灵敏度。
3.依照权利要求1所述的成像装置，其中
所述曝光控制部基于所述非指向性检测信号，控制中性密度ND滤光器在所述被摄体和所述成像器件的受光面之间的插入和从所述被摄体和所述成像器件的受光面之间的抽出。
4.依照权利要求1所述的成像装置，其中
所述曝光控制部基于所述非指向性检测信号，调整对到所述成像器件的入射光进行调光的可变中性密度ND滤光器的调光度。
5.依照权利要求1所述的成像装置，其中
所述曝光控制部基于所述非指向性检测信号，控制所述多个指向性像素输出单位的曝光时间。
6.依照权利要求1所述的成像装置，其中
所述曝光控制部基于所述非指向性检测信号，控制对于从所述多个指向性像素输出单位输出的检测信号的增益。
7.依照权利要求1所述的成像装置，其中
所述指向性像素输出单位包括
一个光电二极管，以及
遮光膜，被配置为拦截所述入射光的一部分入射到所述光电二极管，并且
所述非指向性像素输出单位包括一个光电二极管。
8.依照权利要求1所述的成像装置，其中
所述指向性像素输出单位包括多个光电二极管，并且输出该多个光电二极管中的部分光电二极管所贡献的一个检测信号，并且
所述非指向性像素输出单位包括多个光电二极管，并且输出该多个光电二极管中的全部光电二极管所贡献的一个检测信号。
9.一种曝光控制方法，包括：
曝光控制步骤，用于基于作为从非指向性像素输出单位输出的检测信号的非指向性检测信号，执行多个指向性像素输出单位的曝光控制，所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示所述入射光相对于所述多个指向性像素输出单位中的每个指向性像素输出单位的入射角的受光灵敏度，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个的进入的所述入射光，并且不具有用于提供所述入射角指向性的配置。
10.一种存储有程序的计算机可读存储介质，所述程序能够由成像装置的计算机执行以使成像装置的计算机执行处理，所述成像装置包括成像器件，所述成像器件包括多个指向性像素输出单位以及非指向性像素输出单位，其中所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示所述入射光相对于所述多个指向性像素输出单位中的每个指向性像素输出单位的入射角的受光灵敏度，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个进入的所述入射光，并且不具有用于提供所述入射角指向性的配置，所述处理包括：
曝光控制步骤，用于基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
11.一种成像器件，包括：
多个指向性像素输出单位，所述多个指向性像素输出单位接收来自被摄体的入射光，并且具有能够独立地设置入射角指向性的配置，所述入射光不经由成像透镜和针孔中的任何一个进入，所述入射角指向性指示所述入射光相对于所述多个指向性像素输出单位中的每个指向性像素输出单位的入射角的受光灵敏度；以及
非指向性像素输出单位，所述非指向性像素输出单位接收不经由成像透镜和针孔中的任何一个进入的所述入射光，并且不具有用于提供所述入射角指向性的配置，所述非指向性像素输出单位具有比所述指向性像素输出单位的受光灵敏度高的受光灵敏度，并且用于所述多个指向性像素输出单位的曝光控制。
12.依照权利要求11所述的成像器件，其中
依照从所述多个指向性像素输出单位输出的检测信号，生成没有形成所述被摄体的像的检测图像。
13.依照权利要求11所述的成像器件，其中
所述指向性像素输出单位包括
一个光电二极管，以及
遮光膜，被配置为拦截所述入射光的一部分入射到所述光电二极管，并且
所述非指向性像素输出单位包括一个光电二极管。
14.依照权利要求11所述的成像器件，其中
所述指向性像素输出单位包括多个光电二极管，并且输出该多个光电二极管中的一些光电二极管所贡献的一个检测信号，以及
所述非指向性像素输出单位包括多个光电二极管，并且输出该多个光电二极管中的全部光电二极管所贡献的一个检测信号。
15.依照权利要求11所述的成像器件，其中
在所述多个指向性像素输出单位中分别设置有彩色滤光器，以及
在所述非指向性像素输出单位中设置有白色或透明光学滤光器，或者未设置彩色滤光器。
16.依照权利要求15所述的成像器件，其中
在所述多个指向性像素输出单位中的每一个指向性像素输出单位中设置有红色、绿色或蓝色中的任何一种彩色滤光器，并且所述多个指向性像素输出单位被布置在依照预定阵列的位置处，以及
所述非指向性像素输出单位在所述预定阵列中设置有蓝色的彩色滤光器的指向性像素输出单位被布置的位置中的部分位置处代替所述指向性像素输出单位被布置。
17.依照权利要求11所述的成像器件，还包括：
曝光控制部，被配置为基于作为从所述非指向性像素输出单位输出的检测信号的非指向性检测信号，执行所述多个指向性像素输出单位的曝光控制。
18.依照权利要求17所述的成像器件，其中
所述曝光控制部基于所述非指向性检测信号，控制所述多个指向性像素输出单位的曝光时间。
19.依照权利要求17所述的成像器件，其中
所述曝光控制部基于所述非指向性检测信号，控制对于从所述多个指向性像素输出单位输出的检测信号的增益。
CN201880066128.4A 2017-10-19 2018-10-19 成像装置、曝光控制方法、计算机可读存储介质和成像器件 Active CN111201778B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-202771 2017-10-19
JP2017202771 2017-10-19
PCT/JP2018/038940 WO2019078333A1 (ja) 2017-10-19 2018-10-19 撮像装置、露出制御方法、プログラム、及び、撮像素子

Publications (2)

Publication Number Publication Date
CN111201778A CN111201778A (zh) 2020-05-26
CN111201778B true CN111201778B (zh) 2022-02-08

Family

ID=66173326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880066128.4A Active CN111201778B (zh) 2017-10-19 2018-10-19 成像装置、曝光控制方法、计算机可读存储介质和成像器件

Country Status (5)

Country Link
US (1) US11451715B2 (zh)
EP (1) EP3700191B1 (zh)
JP (1) JP7156299B2 (zh)
CN (1) CN111201778B (zh)
WO (1) WO2019078333A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106343A (zh) 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
US11889199B2 (en) 2019-06-04 2024-01-30 Sony Group Corporation Imaging device, signal processing device, signal processing method, program, and imaging apparatus
CN111741239B (zh) * 2020-06-29 2022-04-12 深圳市汇顶科技股份有限公司 图像传感器和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080675A (zh) * 2004-12-09 2007-11-28 富士胶片株式会社 图像曝光装置及方法
WO2016208405A1 (ja) * 2015-06-23 2016-12-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置
WO2017149687A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
US8530811B2 (en) 2008-07-25 2013-09-10 Cornell University Light field image sensor, method and applications
US8054355B2 (en) * 2008-10-16 2011-11-08 Omnivision Technologies, Inc. Image sensor having multiple sensing layers
JP5371858B2 (ja) * 2009-09-29 2013-12-18 富士フイルム株式会社 電子内視鏡装置
JP5810173B2 (ja) * 2011-12-21 2015-11-11 シャープ株式会社 撮像装置および電子情報機器
JP6019692B2 (ja) 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
JP6103877B2 (ja) * 2012-10-22 2017-03-29 キヤノン株式会社 画像処理装置及びその制御方法
JP6374888B2 (ja) 2013-03-05 2018-08-15 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP6187244B2 (ja) 2013-12-25 2017-08-30 ソニー株式会社 制御装置、制御方法および露光制御システム
CN106104318B (zh) * 2014-04-09 2019-05-03 拉姆伯斯公司 低功率图像改变检测器
EP3251338A1 (en) 2015-01-29 2017-12-06 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
US10274652B2 (en) * 2016-02-05 2019-04-30 Rambus Inc. Systems and methods for improving resolution in lensless imaging
KR102577844B1 (ko) * 2016-08-09 2023-09-15 삼성전자주식회사 이미지 센서

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080675A (zh) * 2004-12-09 2007-11-28 富士胶片株式会社 图像曝光装置及方法
WO2016208405A1 (ja) * 2015-06-23 2016-12-29 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法
WO2017145348A1 (ja) * 2016-02-26 2017-08-31 株式会社日立製作所 撮像装置
WO2017149687A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置

Also Published As

Publication number Publication date
US20210203829A1 (en) 2021-07-01
EP3700191B1 (en) 2023-08-02
JPWO2019078333A1 (ja) 2020-11-05
WO2019078333A1 (ja) 2019-04-25
EP3700191A4 (en) 2020-08-26
CN111201778A (zh) 2020-05-26
JP7156299B2 (ja) 2022-10-19
US11451715B2 (en) 2022-09-20
EP3700191A1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
CN109479101B (zh) 成像装置、成像器件和图像处理装置
CN111201782B (zh) 成像器件、图像处理装置、图像处理方法和记录介质
CN111201778B (zh) 成像装置、曝光控制方法、计算机可读存储介质和成像器件
CN111201780B (zh) 成像装置和方法以及图像处理装置和方法
EP3700192B1 (en) Imaging device and signal processing device
EP3700197A1 (en) Imaging device and method, and image processing device and method
JP2023041751A (ja) 撮像装置及び信号処理装置
EP3780580B1 (en) Image capture element and image processing method
JPWO2019188396A1 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant