CN111201779B - 成像装置和信号处理装置 - Google Patents

成像装置和信号处理装置 Download PDF

Info

Publication number
CN111201779B
CN111201779B CN201880066133.5A CN201880066133A CN111201779B CN 111201779 B CN111201779 B CN 111201779B CN 201880066133 A CN201880066133 A CN 201880066133A CN 111201779 B CN111201779 B CN 111201779B
Authority
CN
China
Prior art keywords
imaging
pixel
unit
light
incident angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880066133.5A
Other languages
English (en)
Other versions
CN111201779A (zh
Inventor
喜多光昭
宫谷佳孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111201779A publication Critical patent/CN111201779A/zh
Application granted granted Critical
Publication of CN111201779B publication Critical patent/CN111201779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Cameras In General (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本公开涉及能够扩展成像装置的应用范围的成像装置和信号处理装置。该成像装置设置有：成像元件，该成像元件设置有一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位分别接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号；以及通信单元，该通信单元通过无线通信将所述检测信号集和包括指示位置和/或姿态的位置/姿态数据的成像数据发送到通信装置。本公开可应用于例如监控系统。

Description

成像装置和信号处理装置
技术领域
本发明涉及一种成像装置和信号处理装置，尤其涉及一种能够扩展成像装置的应用范围的成像装置和信号处理装置。
背景技术
以往，提出了一种成像装置，其不使用成像透镜，而通过覆盖成像元件的受光面的格子状的滤光器或包含衍射光栅的滤光器，对来自被摄体的光进行调制的同时进行成像，并且通过预定的运算处理，复原作为被摄体的像而形成的图像(例如，参照非专利文献1和2)。
引文列表
非专利文献
非专利文献1：M.Salman Asif和其他四人，“Flatcam：用掩模和计算代替透镜”，“2015IEEE国际计算机视觉研讨会(ICCVW)”、2015，第663-666页(M.Salman Asif and fourothers,“Flatcam:Replacing lenses with masks and computation”,“2015IEEEInternational Conference on Computer Vision Workshop(ICCVW)”,2015,pages 663-666)
专利文献
专利文献1：日本未审查专利公开号2016-510910
专利文献2：国际公开号2016/123529
发明内容
本发明要解决的技术问题
顺便提及，由于不存在成像透镜，所以可以使不使用如在非专利文献1以及专利文献1和2中公开的成像透镜的成像装置紧凑，并且预期其应用范围被扩展。
鉴于这种情况而实现了本公开，并且本公开的目的是扩大成像装置的应用范围。
问题的解决方案
根据本公开的第一方面的成像装置包括：成像元件，其包括一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位分别接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号；以及通信单元，其通过无线通信将包括所述检测信号集和指示位置和姿态中的至少一个的位置姿态数据的成像数据发送到通信装置。
根据本公开的第二方面的信号处理装置包括：复原单元，其通过使用来自多个成像装置的多个成像数据中分别包括的多个检测信号集来对复原图像进行复原，每个成像装置包括：成像元件，该成像元件包括一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位分别接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号。
在本公开的第一方面中，接收不经由成像透镜或针孔入射的来自被摄体的入射光，输出包括指示由所述入射光的入射角调制的输出像素值的一个或多个检测信号的检测信号集，以及通过无线通信将包括所述检测信号集和指示位置和姿态中的至少一个的位置姿态数据的成像数据发送到通信装置。
在本公开的第二方面中，通过使用来自多个成像装置的多个成像数据中所包括的多个检测信号集来对复原图像进行复原，每个成像装置包括：成像元件，该成像元件包括一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位接收不经由成像透镜或针孔入射的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号。
本发明的效果
根据本公开的第一方面或第二方面，可以扩展成像装置的应用范围。
注意，效果不一定限于本文所述的效果，并且可包括本公开中所述的任何效果。
附图说明
图1是用于示出在应用了本公开的技术的成像装置中的成像原理的图。
图2是示出应用了本公开的技术的成像装置的基本配置示例的框图。
图3是示出图2中的成像元件的像素阵列单元的配置示例的图。
图4是示出图2中的成像元件的第一配置示例的图。
图5是示出图2中的成像元件的第二配置示例的图。
图6是用于示出入射角指向性产生原理的图。
图7是用于示出使用片上透镜的入射角指向性的变化的图。
图8是示出遮光膜的类型的示例的图。
图9是用于示出入射角指向性的设计的图。
图10是用于示出片上透镜与成像透镜之间的差异的图。
图11是用于示出片上透镜与成像透镜之间的差异的图。
图12是用于示出片上透镜与成像透镜之间的差异的图。
图13是用于示出被摄体距离与指示入射角指向性的系数之间的关系的图。
图14是用于示出窄角像素与广角像素之间的关系的图。
图15是用于示出窄角像素与广角像素之间的关系的图。
图16是用于示出窄角像素与广角像素之间的关系的图。
图17是用于示出窄角像素和广角像素之间的画质的差异的图。
图18是用于示出窄角像素和广角像素之间的画质的差异的图。
图19是用于示出组合多个视角的像素的示例的图。
图20是示出图2中的成像装置进行的成像处理的流程图。
图21是用于示出减少处理负荷的方法的图。
图22是用于示出减少处理负荷的方法的图。
图23是用于示出减少处理负荷的方法的图。
图24是用于示出减少处理负荷的方法的图。
图25是用于示出减少处理负荷的方法的图。
图26是示出应用了本公开的技术的成像系统的配置示例的框图。
图27是用于示出使用图26中的成像系统的方法的示例的图。
图28是示出图26中的成像装置的第一实施例的框图。
图29是示出图26中的成像装置的第一实施例的外观的配置示例的示意图。
图30是示出图28中的成像元件的像素阵列单元的图案的示例的图。
图31是示出图28中的成像元件的像素阵列单元的图案的示例的图。
图32是示出图28中的成像元件的像素阵列单元的图案的示例的图。
图33是示出图26中的信号处理装置的配置示例的框图。
图34是用于说明图26中的信号处理单元的处理的第一实施例的流程图。
图35是示出成像数据的分组的数据结构的第一示例的图。
图36是用于示出图28中的成像装置的处理的流程图。
图37是示出图26中的成像装置的第二实施例的框图。
图38是示出图26中的成像装置的第三实施例的框图。
图39是用于示出成像装置的位置与来自点光源的光束的入射角之间的关系的图。
图40是示出入射角指向性的示例的曲线图。
图41是示出图26中的成像装置的第四实施例的框图。
图42是示出检测到成像装置的倾斜度的方向的图。
图43是用于示出图26中的信号处理单元的处理的第二实施例的流程图。
图44是示出成像数据的分组的数据结构的第二示例的图。
图45是用于示出图41中的成像装置的处理的流程图。
图46是用于示出像素取向与受光灵敏度特性之间的关系的图。
图47是示出图26中的成像装置的第五实施例的框图。
图48是示出成像数据的分组的数据结构的第三示例的图。
图49是示出图26中的成像装置的第六实施例的框图。
图50是用于示出图26中的信号处理单元的处理的第三实施例的流程图。
图51是示出成像数据的分组的数据结构的第四示例的图。
图52是用于说明图49中的成像装置的处理的流程图。
图53是示出图26中的成像装置的第七实施例的外观的配置示例的示意图。
图54是用于示出在电力不足的情况下的对策的示例的图。
图55是示出图5中的成像元件的变型例的图。
图56是用于示出像素输出单位的变型例的图。
图57是示出成像元件的变型例的图。
图58是示出成像元件的变型例的图。
图59是示出成像元件的变型例的图。
图60是示出成像元件的变型例的图。
图61是示出成像元件的变型例的图。
图62是示出应用了本公开的技术的成像系统的第一变型例的框图。
图63是示出应用了本公开的技术的成像系统的第二变型例的框图。
具体实施方式
以下，参照附图对本发明的优选实施方式进行详细说明。注意，在本说明书和附图中，具有基本相同功能配置的组件被分配以相同的附图标记，并且其描述适当地不被重复。
此外，以如下顺序给出描述。
1.本公开的成像装置的概述
2.本公开的成像装置的基本配置示例
3.第一实施例
4.第二实施例：设置电源单元的示例
5.第三实施例：设置用于太阳能发电的电源单元的示例
6.第四实施例：检测成像装置的位置和倾斜度的示例
7.第五实施例：检测成像装置的取向的示例
8.第六实施例：成像装置的位置和姿态可能改变的示例
9.第七实施例：设置成像装置的两个面上的受光面的示例
10.变化形式
11.其他
<<1.本公开的成像装置的概述>>
首先，描述本公开的成像装置的概述。
在本公开的成像装置中，如图1的左上所示，使用成像装置51，其中每个像素的检测灵敏度具有入射角指向性。这里，检测灵敏度具有入射角指向性的每个像素具有对于每个像素是不同的依照入射光在每个像素上的入射角的受光灵敏度特性。但是，所有像素的受光灵敏度特性不需要完全不同，而是一些像素的受光灵敏度特性可以相同。
这里，例如，所有被摄体中的每一个是一组点光源，并且从每个点光源沿所有方向发射光。例如，图1左上的被摄体的被摄体面31包括点光源PA到点光源PC，并且点光源PA到PC发出光强度a到光强度c周围的多条光束。此外，在以下描述中，成像元件51在位置Pa至Pc处包括具有不同的入射角指向性的像素(在下文中称为像素Pa至Pc)。
在这种情况下，如图1的左上方所示，从相同点光源发射的相同光强度的光束入射在成像元件51的各个像素上。例如，从点光源PA发射的光强度为a的光束入射在成像元件51的像素Pa到Pc中的每个上。相比之下，从相同点光源发射的光束以彼此不同的入射角入射在各个像素上。例如，来自点光源PA的光束以彼此不同的入射角入射在像素Pa到Pc上。
这里，由于像素Pa至Pc的入射角指向性彼此不同，因此以各个像素不同的灵敏度检测从相同点光源发射的相同光强度的光束。结果，相同光强度的光束被各个像素以不同的检测信号电平检测到。例如，来自点光源PA的光强度为a的光束的检测信号电平在像素Pa到Pc之间具有不同的值。
然后，通过将光束的光强度乘以指示对光束的入射角的受光灵敏度(即，入射角指向性)的系数，来获得每个像素对于来自每个点光源的光束的受光灵敏度水平。例如，通过将点光源PA的光束的光强度a乘以指示对光束入射到像素Pa的入射角下像素Pa的入射角指向性的系数，来获得像素Pa对于来自点光源PA的光束的检测信号电平。
因此，像素Pc、Pb和Pa的检测信号电平DA、DB和DC分别由下面的表达式(1)至(3)表示。
DA＝α1×a+β1×b+γ1×c......(1)
DB＝α2×a+β2×b+γ2×c......(2)
DC＝α3×a+β3×b+γ3×c......(3)
这里，系数α1是指示在从点光源PA到像素Pc上的光束的入射角下像素Pc的入射角指向性的系数，并且根据入射角来设置。此外，α1×a表示像素Pc的对于来自点光源PA的光束的检测信号电平。
系数β1是指示在从点光源PB在像素Pc上的光束的入射角下像素Pc的入射角指向性的系数，并且根据入射角来设置。另外，β1×b表示像素Pc的对于来自点光源PB的光束的检测信号电平。
系数γ1是指示在从点光源PC到像素Pc的光束的入射角下像素Pc的入射角指向性的系数，并且根据入射角来设置。此外，γ1×c表示像素Pc的对于来自点光源PC的光束的检测信号电平。
以这种方式，通过分别来自点光源PA、PB、PC的光束在像素Pc处的光强度a、b、c与指示依照各入射角的入射角指向性的系数α1、β1、γ1的乘积和，计算像素Pa的检测信号电平DA。
同样地，像素Pb的检测信号电平DB是通过分别来自点光源PA、PB、PC的光束在像素Pb处的光强度a、b、c与指示依照各入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的，如等式(2)所示。另外，像素Pc的检测信号电平DC是通过分别来自点光源PA、PB、PC的光束在像素Pa处的光强度a、b、c与指示依照各入射角的入射角指向性的系数α2、β2、γ2的乘积和来计算的，如等式(3)所示。
但是，在像素Pa、Pb、Pc处的检测信号电平DA、DB、DC中，从点光源PA、PB、PC发射的光束的光强度a、b、c的混合，如等式(1)至(3)所示。因此，如图1的右上所示，成像元件51处的检测信号电平不同于被摄体面31上的每个点光源的光强度。因此，由成像元件51获得的图像不同于形成被摄体面31的像的图像。
相比之下，通过创建包括等式(1)至(3)的联立方程并求解所创建的联立方程，获得各个点光源PA至PC的光束的光强度a至c。然后，通过依照点光源PA到PC的布置(相对位置)来布置具有依照所获得的光强度a到c的像素值的像素，复原形成为被摄体面31的像的复原图像，如图1的右下所示。
注意，以下，将构成联立方程的每个等式的系数(例如系数α1、β1、γ1)的集称为系数集。此外，以下，将与联立方程中包含的多个等式相对应的多个系数集(例如，系数集α1、β1和γ1，系数集α2、β2和γ2以及系数集α3、β3和γ3)的组合称为系数集组。
以这种方式，可以实现包括每个像素具有入射角指向性的成像元件51作为必要配置的成像装置，而不需要专利文献1和非专利文献1(以下称为专利文献等)中公开的成像透镜、针孔和滤光器。结果，由于在专利文献等中公开的成像透镜、针孔和滤光器不是必要配置，因此可以减小成像装置的高度，即，减小实现成像功能的配置中在光的入射方向上的厚度。
此外，由于必要配置仅是成像元件51，因此可以提高设计自由度。例如，尽管在使用成像透镜的传统成像装置中，需要依照成像透镜形成被摄体的像的位置，将成像元件的像素布置成二维阵列，但是使用成像元件51的成像装置没有该必要性。因此，提高了每个像素的布置的自由度，并且可以例如在来自被摄体的光入射的范围内自由地布置像素。因此，可以在圆形范围中布置像素，在中空正方形区域中布置像素，或者在多个区域中分散布置像素。
然后，可以通过使用依照来自被摄体面31上的各个点光源的光束到各个像素上的入射角的系数来创建上述等式(1)到(3)所表达的联立方程并且求解该联立方程，来获得来自每个点光源的光束的光强度，而不考虑各个像素的布置。然后，通过依照被摄体面31上的各个点光源的布置来布置具有依照获得的各个点光源的光强度的像素值的像素，可以复原形成为被摄体面31的像的复原图像。
<<2.本公开的成像装置的基本配置示例>>
接下来，参考图2至25描述本公开的成像装置的基本配置的示例。
<成像装置101的配置的示例>
图2是示出作为应用本公开的技术的基本成像装置的成像装置101的配置示例的框图。
成像装置101包括成像元件121、复原单元122、控制单元123、输入单元124、检测单元125、关联单元126、显示单元127、存储单元128、记录和回放单元129、记录介质130和通信单元131。此外，复原单元122、控制单元123、输入单元124、检测单元125、关联单元126、显示单元127、存储单元128、记录和回放单元129、记录介质130和通信单元131形成执行信号处理和成像装置101的控制等的信号处理控制单元111。注意，成像装置101不包括成像透镜(无成像透镜)。
此外，成像元件121、复原单元122、控制单元123、输入单元124、检测单元125、关联单元126、显示单元127、存储单元128、记录和回放单元129以及通信单元131通过总线B1彼此连接，并通过总线B1执行数据的发送、接收等。注意，在下文中，为了简化描述，省略了在成像装置101的每个单元通过总线B1执行数据的发送、接收等的情况下对总线B1的描述。例如，在输入单元124通过总线B1向控制单元123提供数据的情况下，描述为输入单元124向控制单元123提供数据。
成像元件121对应于上文参照图1描述的成像元件51，成像元件包括具有入射角指向性的像素并且向复原单元122或总线B1输出包括指示依照入射光的光量的检测信号电平的检测信号的图像。
更具体地，成像元件121可以具有与一般的成像元件(例如CMOS(互补金属氧化物半导体)图像传感器)类似的基本结构。但是，在成像元件121中，形成像素阵列的每个像素的配置与一般成像元件不同，并且例如配置具有参照图3至图5所述的入射角指向性。然后，成像元件121具有针对每个像素依赖于入射光的入射角而不同(变化)的受光灵敏度，并且以像素为单位具有入射光的入射角的入射角指向性。
注意，由于从成像元件121输出的图像是包括如上文所述的图1的右上所示的没有形成被摄体的像的检测信号的图像，因此被摄体不能被视觉地识别。也就是说，包括从成像元件121输出的检测信号的检测图像是作为像素信号的集合的图像，但是用户不能利用它来通过视觉接触来识别被摄体(不能在其上视觉地识别被摄体)。
因此，在以下描述中，包括如图1的右上所示的没有形成被摄体的像的检测信号的图像(即，由成像元件121捕获的图像)被称为检测图像。
注意，成像元件121可以不必被配置为像素阵列，并且例如可以被配置为线传感器。此外，入射角指向性不必以像素为单位不同，而是可以包括具有相同的入射角指向性的像素。
复原单元122从存储单元128获取与对应于图1中从成像元件51到被摄体面31(与复原图像相对应的被摄体面)的距离的被摄体距离相对应并且与上述系数α1到α3、β1到β3和γ1到γ3相对应的系数集组。此外，复原单元122使用从成像元件121输出的检测图像的每个像素的检测信号电平和所获得的系数集组来创建如上文所述的等式(1)至(3)所表示的联立方程。然后，复原单元122通过求解所创建的联立方程来获得构成形成为图1的右下部示出的被摄体的像的每个像素的像素值。因此，从检测图像复原其中用户可以通过视觉接触来识别被摄体(可以视觉地识别被摄体)的图像。在以下描述中，从检测图像复原的图像被称为复原图像。但是，在成像元件121仅对诸如紫外光的可见波长频带中之外的光具有灵敏度的情况下，尽管复原的图像不是作为普通图像的被摄体可以被识别的图像，但复原的图像也被称为复原图像。
此外，在以下描述中，作为在形成被摄体的像的状态下的图像但是诸如去马赛克处理或同步处理的颜色分离之前的图像的复原图像被称为RAW图像，并且由成像元件121捕获的检测图像不被区分为RAW图像，尽管它是依照彩色滤波器阵列的图像。
注意，成像元件121的像素数量和构成复原图像的像素数量不需要相同。
此外，复原单元122根据情况对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。然后，复原单元122将复原图像输出到总线B1。
控制单元123包括例如各种处理器，并且控制成像装置101的每个单元。
输入单元124包括用于操作成像装置101、输入用于处理的数据等的输入装置(例如，按键、开关、按钮、拨号盘、触摸面板、遥控器等)。输入单元124将操作信号、输入的数据等输出到总线B1。
检测单元125包括用于检测成像装置101、被摄体的状态的各种传感器等。例如，检测单元125包括检测成像装置101的姿态或移动的加速度传感器和陀螺仪传感器、检测成像装置101的位置的位置检测传感器(例如，GNSS(全球导航卫星系统)接收器等)、检测被摄体距离的测距传感器等。检测单元125将指示检测结果的信号输出到总线B1。
关联单元126将由成像元件121获得的检测图像和与检测图像对应的元数据相关联。元数据包括例如用于使用目标检测图像来对复原图像进行复原的系数集组、被摄体距离等。
注意，只要可以指定检测图像和元数据之间的对应关系，则用于将检测图像和元数据相关联的方法就不被特别限制。例如，通过将元数据分配给包括检测图像的图像数据，将相同的ID分配给检测图像和元数据，或者将检测图像和元数据记录到相同的记录介质130上，可以将检测图像和元数据彼此相关联。
显示单元127例如包括显示器，并且显示各种类型的信息(例如，复原图像等)。注意，显示单元127可以包括诸如扬声器的音频输出单元以输出音频。
存储单元128包括诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存的一个或多个存储装置，并且存储例如在成像装置101的处理中使用的程序、数据等。例如，存储单元128与各种被摄体距离相关联地存储与上述系数α1至α3、β1至β3和γ1至γ3对应的系数集组。更具体地，例如，对于处于每个被摄体距离的每个被摄体面31，存储单元128存储包括成像元件121的每个像素121a针对被摄体面31上设置的每个点光源的系数的系数集组。
记录和回放单元129将数据记录在记录介质130上并且回放(读出)记录在记录介质130上的数据。例如，记录和回放单元129将复原图像记录在记录介质130上，并从记录介质130读出复原图像。此外，记录和回放单元129将检测图像和对应的元数据记录在记录介质130上，并从记录介质130读出它们。
记录介质130例如包括HDD(硬盘驱动器)、SSD(固态驱动器)、磁盘、光盘、磁光盘、半导体存储器等中的任何一个、他们的组合等。
通信单元131通过预定的通信方法与其他装置(例如，其他成像装置、信号处理装置等)进行通信。注意，通信单元131的通信方法可以是有线通信和无线通信。通信单元131可以支持多种通信方法。
<成像元件121的第一配置示例>
接下来，参照图3和图4描述图2的成像装置101的成像元件121的第一配置示例。
图3示出了成像元件121的像素阵列单元的一部分的前视图。注意，尽管图3示出了像素阵列单元的像素数量是垂直六个像素×水平六个像素的情况的示例，但是像素阵列单元的像素数量不限于此。
在图3的成像元件121中，每个像素121a都包括作为调制元件之一的遮光膜121b，以便覆盖其光电二极管的受光区域(受光面)的一部分，并且依照入射角光学调制入射在每个像素121a上的入射光。然后，例如，通过为每个像素121a提供不同范围的遮光膜121b，对于每个像素121a，对入射光的入射角的受光灵敏度变得不同，并且像素121a具有不同的入射角指向性。
例如，光电二极管的受光区域的遮光范围由于设置的遮光膜121b-1和遮光膜121b-2而在像素121a-1和像素121a-2之间不同(遮光区域(位置)和遮光面积中的至少一个不同)。具体地，在像素121a-1中，遮光膜121b-1被设置为以便以预定宽度遮蔽光电二极管的受光区域的左侧部分。相比之下，在像素121a-2中，遮光膜121b-2被设置为以便以预定宽度遮蔽受光区域的右侧部分。注意，遮光膜121b-1遮蔽光电二极管的受光区域的宽度可以与遮光膜121b-2遮蔽光电二极管的受光区域的宽度不同/相同。类似地，在其他像素121a中，遮光膜121b被在像素阵列中随机布置，以便针对像素遮蔽受光区域的不同范围。
注意，随着遮光膜121b覆盖每个像素的受光区域的比率增大，光电二极管能够接收的光的量减小。因此，遮光膜121b的面积优选地为能够确保期望光量的面积，并且例如，该面积可以被限制为最大为受光区域的大约3/4。利用该布置，可以确保光量不小于期望的量。但是，如果每个像素包括宽度与要接收的光的波长相对应的非遮蔽范围，则可以接收最小量的光。也就是说，例如，在蓝色像素(B像素)的情况下，波长为大约500nm，并且如果其没有遮蔽超过与波长相对应的宽度，则可以接收最小量的光。
图4的上段是成像元件121的第一配置示例的侧面剖视图，并且图4的中间段是成像元件121的第一配置示例的俯视平面图。另外，图4的上段的侧面剖视图是图4的中间段的AB横截面。此外，图4的下段是成像元件121的电路配置示例。
在图4的上段的成像元件121中，入射光从图中的上侧向下入射。彼此相邻的像素121a-1和121a-2是所谓的背面照射型，其中布线层Z12设置在图中最下层，并且光电转换层Z11设置在布线层Z12上。
注意，在没有必要将像素121a-1和121a-2彼此区分的情况下，省略了在附图标记末尾处的数字的描述，并且他们被简称为像素121a。在下文中，在说明书中，对于其他配置，有时也类似地省略在附图标记末尾的数字。
此外，图4仅示出了构成成像元件121的像素阵列的两个像素的侧视图和俯视平面图；并且不必说，虽然未示出，但布置了更多数量的像素121a。
此外，像素121a-1和121a-2分别在光电转换层Z11中包括光电二极管121e-1和121e-2。此外，在光电二极管121e-1和121e-2上，分别从上方堆叠片上透镜121c-1和121c-2以及彩色滤波器121d-1和121d-2。
片上透镜121c-1和121c-2分别将入射光会聚到光电二极管121e-1和121e-2上。
彩色滤波器121d-1和121d-2例如是透射诸如红色、绿色、蓝色、红外和白色特定波长的光的滤光器。注意，在白色的情况下，彩色滤波器121d-1和121d-2可以是透明滤波器或者可以不被设置。
在像素121a-1和121a-2的光电转换层Z11中，在像素之间的边界处形成遮光膜121g-1至121g-3，并且抑制入射光L进入在相邻像素上，以抑制生成串扰，例如如图4所示。
此外，如图4的上段和中间段所示，当从上方观察时，遮光膜121b-1和121b-2遮蔽受光面S的一部分。在像素121a-1和121a-2的光电二极管121e-1和121e-2的受光面S中，不同范围被遮光膜121b-1和121b-2遮蔽，因此，对于每个像素独立地设置不同的入射角指向性。但是，遮光范围不必在成像元件121的所有像素121a中都不同，并且可以存在相同范围被遮蔽的像素121a。
注意，如图4的上段所示，遮光膜121b-1和遮光膜121g-1彼此连接，并且被形成为从侧面观察时的L形。类似地，遮光膜121b-2和遮光膜121g-2彼此连接，并且被形成为从侧面观察时的L形。此外，使用金属(例如钨(W)、铝(Al)或者Al和铜(Cu)的合金)来形成遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至121g-3。此外，可以通过与在半导体工艺中形成布线的工艺相同的工艺使用与布线的金属相同的金属同时形成遮光膜121b-1、遮光膜121b-2以及遮光膜121g-1至121g-3。注意，遮光膜121b-1、遮光膜121b-2和遮光膜121g-1至121g-3依赖于位置可以不必具有相同的厚度。
此外，如图4的下段所示，像素121a包括光电二极管161(对应于光电二极管121e)、传输晶体管162、浮动扩散(FD)单元163、选择晶体管164、放大晶体管165和复位晶体管166，并通过垂直信号线167连接到电流源168。
光电二极管161在其阳极电极接地，并且在其阴极电极通过传输晶体管162连接到放大晶体管165的栅极电极。
根据传输信号TG驱动传输晶体管162。例如，当提供应传输晶体管162的栅极电极的传输信号TG达到高电平时，传输晶体管162导通。因此，累积在光电二极管161中的电荷通过传输晶体管162传输到FD单元163。
放大晶体管165用作作为读出由光电二极管161中的光电转换获得的信号的读出电路的源极跟随器电路的输入单元，并且将处于与FD单元163中累积的电荷对应的电平的像素信号输出到垂直信号线167。也就是说，放大晶体管165在其漏极端子处连接到电源VDD，并且在其源极端子处通过选择晶体管164连接到垂直信号线167，使得其与连接在垂直信号线167的一端的电流源168协作以形成源极跟随器。
FD单元163是具有设置在传输晶体管162与放大晶体管165之间的电荷电容C1的浮动扩散区，并且临时累积经由传输晶体管162从光电二极管161传输的电荷。FD单元163用作将电荷转换成电压的电荷检测单元，并且FD单元163中累积的电荷被转换成放大晶体管165中的电压。
选择晶体管164根据选择信号SEL被驱动，当提供应栅极电极的选择信号SEL达到高电平时被导通，并且将放大晶体管165和垂直信号线167连接。
复位晶体管166根据复位信号RST被驱动。例如，复位晶体管166在提供应复位晶体管166的栅极电极的复位信号RST达到高电平时被导通，将FD单元163中累积的电荷放电到电源VDD，并复位FD单元163。
例如，在图4的下段处示出的像素电路如下操作。
也就是说，作为第一操作，复位晶体管166和传输晶体管162被导通，累积于FD单元163中的电荷被放电到电源VDD，并且FD单元163被复位。
作为第二操作，复位晶体管166和传输晶体管162被截止，开始曝光时段，并且光电二极管161累积依照入射光的光量的电荷。
作为第三操作，在导通复位晶体管166并复位FD单元163之后，截止复位晶体管166。通过此操作，FD单元163被设置为基准电位。
作为第四操作，将处于复位状态的FD单元163的电位作为基准电位从放大晶体管165输出。
作为第五操作，导通传输晶体管162并且将累积于光电二极管161中的电荷传输到FD单元163。
作为第六操作，将光电二极管的电荷所传输到的FD单元163的电位作为信号电位从放大晶体管165输出。
然后，输出通过相关双采样(CDS)从信号电位减去基准电位获得的信号，作为像素121a的检测信号(像素信号)。该检测信号的值(输出像素值)依照来自被摄体的入射光的入射角而被调制，并且依赖于入射角而具有不同的特性(指向性)(具有入射角指向性)。
<成像元件121的第二配置示例>
图5是示出成像元件121的第二配置示例的图。图5的上段是作为第二配置示例的成像元件121的像素121a的侧面剖视图，并且图5的中段是成像元件121的俯视平面图。此外，图5的上段的侧面剖面图是图5的中段的AB横截面。此外，图5的下段是成像元件121的电路配置示例。
图5的成像元件121与图4的成像元件121的配置的不同之处在于：四个光电二极管121f-1至121f-4形成在一个像素121a中，并且遮光膜121g形成在将光电二极管121f-1至121f-4隔开的区域中。也就是说，在图5的成像元件121中，遮光膜121g被形成为从上方观察时的“+”形状。注意，共同的配置被分配由与图4相同的附图标记表示，并且省略了对它们的详细描述。
在图5的成像元件121中，由于光电二极管121f-1至121f-4通过遮光膜121g隔开，因此防止光电二极管121f-1至121f-4之间发生电串扰和光串扰。也就是说，图5的遮光膜121g用于与图4的成像元件121的遮光膜121g的情况类似地防止串扰，并且不用于提供入射角指向性。
此外，在图5的成像元件121中，四个光电二极管121f-1到121f-4共享一个FD单元163。图5的下段示出了四个光电二极管121f-1至121f-4共享一个FD单元163的电路配置示例。注意，在图5的下段中，不再重复与图4的下段处的配置相同的配置的描述。
图5的下段的电路配置与图4下段的电路配置的不同之处在于：分别取代光电二极管161(对应于图4上段的光电二极管121e)和传输晶体管162，设置光电二极管161-1至161-4(对应于图5上段的光电二极管121f-1至121f-4)和传输晶体管162-1至162-4，以共享FD单元163。
通过这种配置，将光电二极管121f-1到121f-4中累积的电荷传输到设置在光电二极管121f-1到121f-4与放大晶体管165的栅极电极之间的连接部分处的具有预定电容的共用FD单元163。然后，与FD单元163中保持的电荷的电平对应的信号被读出作为检测信号(像素信号)(但是，如上所述执行CDS处理)。
因此，容许由光电二极管121f-1至121f-4累积的电荷以各种组合选择性地有助于像素121a的输出，即，有助于检测信号。也就是说，配置为使得针对光电二极管121f-1至121f-4中的每一个独立地读出电荷，并可以通过使有助于输出的光电二极管121f-1至121f-4(光电二极管121f-1至121f-4有助于输出的程度)彼此不同，来获得不同的入射角指向性。
例如，通过将光电二极管121f-1和光电二极管121f-3的电荷传输到FD单元163并将通过读出电荷获得的信号相加，可以获得在横向方向上的入射角指向性。类似地，通过将光电二极管121f-1和光电二极管121f-2的电荷传输到FD单元163并将通过读出电荷获得的信号相加，可以获得垂直方向上的入射角指向性。
此外，基于从四个光电二极管121f-1至121f-4独立地选择性读出的电荷而获得的信号是与构成检测图像的一个像素对应的检测信号。
注意，例如不仅可以通过是否将每个光电二极管121f的电荷(检测值)传输到FD单元163，而且可以通过使用电子快门功能在电荷传输到FD单元163之前复位光电二极管121f中累积的电荷等来实现每个光电二极管121f(的电荷)对检测信号的贡献。例如，如果光电二极管121f的电荷在即将传输到FD单元163之前复位，那么光电二极管121f根本不对检测信号作出贡献。另一方面，当在光电二极管121f的电荷复位和电荷向FD单元163的传输之间存在时间时，光电二极管121f部分地对检测信号做贡献。
如上所述，在图5的成像元件121的情况下，通过改变四个光电二极管121f-1至121f-4中用于检测信号的光电二极管的组合，可以允许每个像素具有不同的入射角指向性。此外，从图5的成像元件121的每个像素121a输出的检测信号具有依照来自被摄体的入射光的入射角而调制的值(输出像素值)，并且具有依赖于入射角而不同的特性(指向性)(具有入射角指向性)。
注意，在下文中，将输出与检测图像的一个像素相对应的检测信号的单位称为像素输出单位。像素输出单位包括至少一个或多个光电二极管，并且通常，成像元件121的每个像素121a对应于一个像素输出单位。
例如，在图4的成像元件121中，由于一个像素121a包括一个光电二极管121e，因此一个像素输出单位包括一个光电二极管121e。换句话说，一个光电二极管121e形成一个像素输出单位。
然后，通过使遮光膜121b对像素121a的遮光状态不同，可以使每个像素输出单位的入射角指向性不同。然后，在图4的成像元件121中，使用遮光膜121b光学调制入射到每个像素121a上的入射光，结果，通过从每个像素121a的光电二极管121e输出的信号，获得反映入射角指向性的检测图像的一个像素的检测信号。也就是说，图4的成像元件121包括接收不经由成像透镜或针孔入射的来自被摄体的入射光的多个像素输出单位，每个像素输出单位包括一个光电二极管121e，并且为每个像素输出单位设置来自被摄体的入射光的入射角的特性(入射角指向性)。
另一方面，在图5的成像元件121中，由于一个像素121a包括四个光电二极管121f-1至121f-4，因此一个像素输出单位包括四个光电二极管121e。换句话说，四个光电二极管121f形成一个像素输出单位。另一方面，每个光电二极管121e单个并不形成单独的像素输出单位。
然后，如上所述，通过使四个光电二极管121f-1至121f-4中的对检测信号有贡献的光电二极管121f对于每个像素121a不同，每个像素输出单位的入射角指向性变得不同。也就是说，在图5的成像元件121中，四个光电二极管121f-1至121f-4中对输出(检测信号)没有贡献的范围用作遮光区域。然后，通过从光电二极管121f-1至121f-4输出的信号的组合，获得反映入射角指向性的检测图像的一个像素的检测信号。也就是说，图5的成像元件121包括接收不经由成像透镜或针孔入射的来自被摄体的入射光的多个像素输出单位，每个像素输出单位包括多个光电二极管(例如，光电二极管121f-1至121f-4)，并且使对输出有贡献的光电二极管(的程度)不同，从而每个像素输出单位对来自被摄体的入射光的入射角的特性(入射角指向性)变得彼此不同。
注意，在图5的成像元件121中，由于入射光未经光学调制地入射在所有的光电二极管121f-1至121f-4上，因此检测信号不是通过光学调制获得的信号。此外，在下面的描述中，对检测信号没有贡献的光电二极管121f也被称为对像素输出单位或输出没有贡献的光电二极管121f。
注意，图5示出了其中像素输出单位(像素121a)的受光面等分为四部分并且具有等幅受光面的光电二极管121f被布置在每个区域中的示例，即，光电二极管被等分为四个的示例；但是光电二极管的分割数量和分割位置可以任意设置。
例如，光电二极管不必均等地分割，并且可以使光电二极管的分割位置对于每个像素输出单位而不同。因此，例如，即使允许多个像素输出单位中相同位置处的光电二极管121f对输出有贡献，入射角指向性在像素输出单位之间也不同。此外，例如，通过使分割数量在像素输出单位之间不同，可以更自由地设置入射角指向性。此外，例如，可以使分割数量和分割位置在像素输出单位之间不同。
此外，图4的成像元件121和图5的成像元件121具有每个像素输出单位可以独立地设置入射角指向性的配置。相对而言，在上述非专利文献1和专利文献1和2中公开的成像装置中，成像元件的每个像素输出单位不具有可以独立地设置入射角指向性的配置。注意，在图4的成像元件121中，在制造时通过遮光膜121b设置每个像素输出单位的入射角指向性。另一方面，在图5的成像元件121中，尽管在制造时设置每个像素输出单位的光电二极管的分割数量和分割位置，但是可以在使用时(例如，在成像时)设置每个像素输出单位的入射角指向性(对输出有贡献的光电二极管的组合)。注意，在图4的成像元件121和图5的成像元件121中，不总需要使所有像素输出单位具有入射角指向性的配置。
注意，如上所述，尽管成像元件的每个像素通常对应于一个像素输出单位；但是如后所述，存在多个像素形成一个像素输出单位的情况。在下文中，除非另有说明，否则假定成像元件的每个像素对应于一个像素输出单位。
<导致入射角指向性的原理>
成像元件121的每个像素的入射角指向性例如通过图6中所示的这种原理产生。注意，图6的左上部和右上部是示出图4的成像元件121中的入射角指向性的产生原理的图，并且图6的左下部和右下部是示出图5的成像元件121中的入射角指向性的产生原理的图。
图6的左上部和右上部的每个像素包括一个光电二极管121e。相对而言，图6的左下部和右下部的每个像素包括两个光电二极管121f。注意，尽管这里示出了一个像素包括两个光电二极管121f的示例，但是这是为了便于说明，并且在一个像素中包括的光电二极管121f的数量可以是除此之外的其他数量。
在图6的左上部分的像素中，遮光膜121b-11被形成为使得其遮蔽光电二极管121e-11的受光面的右半部分。此外，在图6的右上部的像素中，遮光膜121b-12被形成为使得其遮蔽光电二极管121e-12的受光面的左半部。注意，图中的点划线是在水平方向上通过光电二极管121e的受光面的中心并且垂直于受光面的辅助线。
例如，在图6的左上部的像素中，来自右上方向的相对于图中的点划线形成入射角θ1的入射光易于被光电二极管121e-11的未被遮光膜121b-11遮蔽的左半范围接收。相对而言，来自左上方向的相对于图中的点划线形成入射角θ2的入射光较不易于被光电二极管121e-11的未被遮光膜121b-11遮蔽的左半范围接收。因此，图6的左上部分的像素具有入射角指向性，其对于来自图的右上的入射光的受光灵敏度高，但是对于来自左上的入射光的受光灵敏度低。
另一方面，例如，在图6的右上部分的像素中，来自右上方向的形成入射角θ1的入射光较不易于被光电二极管121e-12的被遮光膜121b-12遮蔽的左半范围接收。相对而言，来自左上方向的形成入射角θ2的入射光易于被光电二极管121e-12的未被遮光膜121b-12遮蔽的右半范围接收。因此，图6的右上部分的像素具有入射角指向性，即对来自图的右上方的入射光的受光灵敏度低，而对来自左上方的入射光的受光灵敏度高。
此外，图6的左下部分的像素在图中的左侧和右侧包括光电二极管121f-11和121f-12，并且具有通过读取它们中的任何一个的检测信号，在不设置遮光膜121b的情况下具有入射角指向性的配置。
也就是说，在图6的左下部分的像素中，通过仅读出设置在图中左侧的光电二极管121f-11的信号，可以获得与图6的左上部分的像素的入射角指向性类似的入射角指向性。也就是说，由于来自右上方的相对于图中的点划线形成入射角θ1的入射光入射在光电二极管121f-11上，并且从光电二极管121f-11读出与受光量相对应的信号，因此这对要从该像素输出的检测信号有贡献。相对而言，尽管来自左上方的相对于图中的点划线形成入射角θ2的入射光入射在光电二极管121f-12上，但是它不从光电二极管121f-12读出，因此它对要从该像素输出的检测信号没有贡献。
类似地，在如同图6右下部分的像素那样设置两个光电二极管121f-13和121f-14的情况下，通过仅读取设置在图中右侧的光电二极管121f-14的信号，可以获得与图6右上部分的像素的入射角指向性类似的入射角指向性。也就是说，尽管来自右上方的形成入射角θ1的入射光入射在光电二极管121f-13上，但是不从光电二极管121f-13读出信号，因此这对从该像素输出的检测信号没有贡献。相对而言，由于来自左上方的形成入射角θ2的入射光入射在光电二极管121f-14上，并且从光电二极管121f-14读出与受光量相对应的信号，因此这对从该像素输出检测信号有贡献。
注意，在图6的上部的像素中，示出了遮光范围和未被遮蔽的范围在水平方向上在像素(光电二极管121e的受光面)的中心位置处分离的示例，但是这些范围可以在除此之外的其他位置处分离。此外，在图6的下部的像素中，示出了两个光电二极管121f在水平方向上在像素的中心位置处分离的示例，但是它们可以在除此之外的其他位置处分离。以这种方式，通过改变遮光范围或光电二极管121f分离的位置，可以产生不同的入射角指向性。
<关于包括片上透镜的配置中的入射角指向性>
接下来，参照图7描述包括片上透镜121c的配置中的入射角指向性。
图7的上段的曲线图示出了图7的中间段和下段的像素的入射角指向性。注意，沿着横坐标轴绘制入射角θ，并且沿着纵坐标轴绘制检测信号电平。注意，入射角θ在入射光的方向与图7的中间段的左侧的点划线一致情况下是0度，图7的中间段的左侧的入射角θ21侧是正方向，并且图7的中间段的右侧的入射角θ22侧是负方向。因此，从右上方入射在片上透镜121c上的入射光的入射角大于从左上方入射的入射光的入射角。也就是说，入射角θ随着入射光的前进方向向左倾斜而增大(沿正方向增大)，并且随着入射光的前进方向向右倾斜而减小(沿负方向增大)。
此外，通过将会聚入射光的片上透镜121c-11和透射预定波长的光的彩色滤波器121d-11添加到图6的上段的左部的像素来获得图7的中间段的左部的像素。也就是说，在该像素中，片上透镜121c-11、彩色滤波器121d-11、遮光膜121b-11和光电二极管121e-11从图中的上方沿光入射方向顺序地堆叠。
类似地，通过将片上透镜121c-11和彩色滤波器121d-11或者片上透镜121c-12和彩色滤波器121d-12分别添加到图6的上段的右部的像素、图6的下段的左部的像素和图6的下段的右部的像素来获得图7的中间段的右部的像素、图7的下段的左部的像素和图7的下段的右部的像素。
在图7的中间段的左部的像素中，光电二极管121e-11的检测信号电平(受光灵敏度)依照入射光的入射角θ而改变，如图7的上段中的实线波形所示。也就是说，作为由入射光相对于图中的点划线所成的角度的入射角θ越大(入射角θ在正方向上越大(其朝向图中的向右方向倾斜越多))，由于光被会聚在未设置遮光膜121b-11的范围中，因此光电二极管121e-11的检测信号电平增加。相对而言，入射光的入射角θ越小(入射角θ在负方向上越大(其朝着图中的向左方向倾斜越多))，由于光被会聚在设置遮光膜121b-11的范围中，因此光电二极管121e-11的检测信号电平减小。
此外，在图7的中间段的右部的像素中，光电二极管121e-12的检测信号电平(受光灵敏度)依照入射光的入射角θ而改变，如图7的上段的虚线波形所示。也就是说，入射光的入射角θ越大(入射角θ在正方向上越大)，由于光被会聚在设置遮光膜121b-12的范围中，因此光电二极管121e-12的检测信号电平减小。相对而言，入射光的入射角θ越小(入射角θ在负方向上越大)，由于光入射在未设置遮光膜121b-12的范围上，因此光电二极管121e-12的检测信号电平增加。
可以依照遮光膜121b的范围改变在图7的上段中指示的实线波形和虚线波形。因此，可以允许各个像素具有依赖于遮光膜121b的范围不同的入射角指向性。
如上所述，入射角指向性是每个像素的依照入射角θ的受光灵敏度的特性，并且这可以认为是图7的中间段的像素中依照入射角θ的遮光值的特性。也就是说，尽管遮光膜121b以高水平遮蔽特定方向上的入射光，但是它不能充分遮蔽其他方向上的入射光。遮蔽水平的这种变化产生依照入射角θ而不同的检测信号电平，如图7的上段所示。因此，当将每个像素中能够执行最高水平的遮光的方向定义为每个像素的遮光方向时，具有各个像素中的不同的入射角指向性意味着具有各个像素中的不同的遮光方向。
此外，在图7的下段的左部的像素中，如图6的下段的左部的像素的情况一样，通过仅使用图中左部的光电二极管121f-11的信号，可以获得类似于图7的中间段的左部的像素的入射角指向性。也就是说，当入射光的入射角θ增大时(当入射角θ在正方向上增大时)，检测信号电平由于光被会聚到光电二极管121f-11的从中读出信号的范围中而增大。相反，入射光的入射角θ越小(入射角θ在负方向上越大)，由于光被会聚到光电二极管121f-12的不读出信号的范围中，因此检测信号电平减小。
此外，类似地，在图7的下段的右部分的像素中，如图6的下段的右部分的像素的情况一样，通过仅使用图中右部分的光电二极管121f-14的信号，可以获得类似于图7的中间段的右部分的像素的入射角指向性。也就是说，当入射光的入射角θ增大时(当入射角θ沿正方向增大时)，以像素为单位的检测信号电平由于光被会聚到光电二极管121f-13的对输出(检测信号)没有贡献的范围中而减小。相对而言，入射光的入射角θ越小(入射角θ在负方向上越大)，由于光被会聚到光电二极管121f-14的对输出(检测信号)有贡献的范围中，因此以像素为单位的检测信号电平减小。
注意，如图7的下段中的像素一样，在设置有多个光电二极管，并且能够改变对输出有贡献的光电二极管的像素中，为了使每个光电二极管具有对入射光的入射角的指向性，并以像素为单位产生入射角指向性，片上透镜121c对于每个像素是必要配置。
注意，对于入射角指向性而言，期望随机性以像素为单位更高。例如，如果相邻像素具有相同的入射角指向性，则上述等式(1)至(3)或下文描述的等式(4)至(6)可能是相同的等式，并且结果，等式的数量可能对于作为联立方程的解的未知数的数量而言是不足的并且可能无法获得构成复原图像的像素值。
注意，在下面的描述中，主要描述像图4的像素121a那样使用遮光膜121b实现入射角指向性的像素121a的情况的示例。但是，除了其中遮光膜121b必不可少的情况之外，还可以使用基本上对光电二极管进行划分以实现入射角指向性的像素121a。
<遮光膜的配置>
在以上描述中，如图3所示，在垂直方向上遮蔽整个受光面并且改变水平方向上的遮光宽度或位置的示例被示出为成像元件121的每个像素121a的遮光膜121b的配置；但是，自然地，还可以允许每个像素121a通过在水平方向上遮蔽整个受光面，并且改变垂直方向上的宽度(高度)和位置来具有入射角指向性。
注意，在下面的描述中，如图3中的示例所示，在垂直方向上遮蔽像素121a的整个受光面并在水平方向上以预定宽度遮蔽受光面的遮光膜121b被称为横向带型的遮光膜121b。此外，在水平方向上遮蔽像素121a的整个受光面并在垂直方向上以预定高度遮蔽受光面的遮光膜121b被称为纵向带型的遮光膜121b。
此外，如图8的左部所示，例如，可以组合纵向带型和横向带型的遮光膜121b，以为Bayer(拜耳)阵列中的每个像素提供L型的遮光膜121b。
注意，在图8中，黑色范围表示遮光膜121b，并且只要没有特别说明，则在以后的图中也类似地显示。此外，在图8的示例中，为构成Bayer阵列的作为绿色(G)像素的像素121a-21和121a-24、作为红色(R)像素的像素121a-22以及作为蓝色(B)像素的像素121a-23设置L型的遮光膜121B-21至121B-24。
在这种情况下，每个像素121a具有如图8的右部所示的入射角指向性。也就是说，在图8的右部，示出了各个像素121a的受光灵敏度的分布，其中沿着横坐标轴绘制入射光在水平方向(x方向)上的入射角θx，并且沿着纵坐标轴绘制入射光在垂直方向(y方向)上的入射角θy。然后，在范围C4内的受光灵敏度高于在范围C4外的受光灵敏度；范围C3内的受光灵敏度高于范围C3外的受光灵敏度；范围C2内的受光灵敏度高于范围C2外的受光灵敏度；并且范围C1内的受光灵敏度高于范围C1外的受光灵敏度。
因此，在每个像素121a中，水平方向(x方向)上的入射角θx和垂直方向(y方向)上的入射角θy在范围C1内的入射光的检测信号电平是最高的。然后，检测信号电平按照入射角θx和入射角θy在范围C2内、范围C3内、范围C4内和除范围C4之外的范围内的入射光的顺序减小。注意，在图8的右部示出的受光灵敏度的强度分布由每个像素121a中的遮光膜121b遮蔽的范围确定，而与Bayer阵列无关。
注意，在下面的描述中，像图8的L型的遮光膜121b-21至121b-24那样，具有通过将纵向带型的遮光膜和横向带型的遮光膜在其端部连接获得的形状的遮光膜121b被统称为L型的遮光膜121b。
<设置入射角指向性的方法>
接下来，参考图9描述设置入射角指向性的方法的示例。
例如，考虑如图9的上段所示的情况，其中遮光膜121b在水平方向上的遮光范围是从像素121a的左端到位置A的范围，而在垂直方向上的遮光范围是从像素121a的上端到位置B的范围。
在这种情况下，设置0到1的权重Wx，该权重依照从每个像素的水平方向上的中心位置的入射角θx(度)，并且用作水平方向上的入射角指向性的指标。更具体地，在假设在对应于位置A的入射角θx＝θa处，权重Wx为0.5的情况下，设置权重Wx，使得在入射角θx<θa-α处权重Wx为1，在θa-α≤入射角θx≤θa+α处权重Wx为(-(θx-θa)/2α+0.5)，以及在入射角θx＞θa+α处权重Wx为0。
类似地，设置0到1的权重Wy，该权重依照从每个像素的垂直方向上的中心位置的入射角θy(度)，并且用作垂直方向上的入射角指向性的指标。更具体地，在假设在对应于位置B的入射角θy＝θb处，权重Wy为0.5的情况下，设置权重Wy，使得在入射角θy<θb-α处Wy为0，在θb-α≤入射角θy≤θb+α处，Wy为((θy-θb)/2α+0.5)，以及在入射角θy＞θb+α处Wy为1。
注意，在满足理想条件的情况下，权重Wx和Wy如图9的曲线图所示改变。
然后，通过使用以这种方式获得的权重Wx和Wy，可以获得与每个像素121a的入射角指向性(即受光灵敏度特性)对应的系数。例如，通过将与来自被摄体面31的特定点光源的入射光的入射角θx对应的权重Wx和与入射角θy对应的权重Wy相乘而获得的值被设置为点光源的系数。
此外，此时，可以通过使用具有不同焦距的片上透镜121c来设置指示在水平方向上的权重Wx和垂直方向上的权重Wy为大约0.5的范围内的权重变化的倾斜角(1/2α)。
例如，在片上透镜121c的焦距聚焦在遮光膜121b的面上的情况下，如图9的下段的实线所示，水平方向上的权重Wx和垂直方向上的权重Wy的倾斜角(1/2α)变得陡峭。也就是说，在值为大约0.5的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy迅速地变为0或1。
此外，例如，在片上透镜121c的焦距聚焦在光电二极管121e的面上的情况下，如图9的下段的虚线所示，水平方向上的权重Wx和垂直方向上的权重Wy的倾斜角(1/2α)变得平缓。也就是说，在值为大约0.5的水平方向上的入射角θx＝θa和垂直方向上的入射角θy＝θb的边界附近，权重Wx和权重Wy逐步地变为0或1。
例如，片上透镜121c的焦距根据片上透镜121c的曲率而改变。因此，通过使用具有不同的曲率的片上透镜121c来改变片上透镜121c的焦距，可以获得不同的入射角指向性，即，不同的受光灵敏度特性。
因此，可以通过将光电二极管121e被遮光膜121b遮蔽的范围与片上透镜121c的曲率组合，调整像素121a的入射角指向性。注意，片上透镜的曲率对于成像元件121的所有像素121a可以是相同的，或者对于一些像素121a可以是不同的。
例如，作为指示成像元件121的每个像素121a的入射角指向性的指标，基于每个像素121a的位置、每个像素121a的遮光膜121b的形状、位置和范围、片上透镜121c的曲率等，为每个像素121a设置如图9的曲线图中所示的权重Wx和权重Wy的特性。此外，基于在预定被摄体距离处的被摄体面31上的特定点光源和成像元件121的特定像素121a之间的位置关系，获得从点光源到像素121a的光束的入射角。然后，基于所获得的入射角以及像素121a的权重Wx和权重Wy的特性，获得像素121a对于点光源的系数。
类似地，通过以针对被摄体面31上的各个点光源和成像元件121的各个像素121a的组合所描述的方式来获得系数，可以获得成像元件121对于被摄体面31的系数集组，诸如上文描述的等式(1)至(3)中的系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3。
注意，如下文参照图13所述，当从被摄体面31到成像元件121的受光面的被摄体距离不同时，由于从被摄体面31的每个点光源到成像元件121上的光束的入射角不同，因此需要对于每个被摄体距离不同的系数集组。
此外，即使在相同被摄体距离处的被摄体面31上，如果要设置的点光源的数量或布置不同，则从各个点光源到成像元件121上的光束的入射角也不同。因此，存在对于相同被摄体距离处的被摄体面31，需要多个系数集组的情况。此外，需要设置每个像素121a的入射角指向性，使得可以确保上述联立方程的独立性。
<片上透镜和成像透镜之间的差异>
在本公开的成像装置101中，尽管成像元件121具有不需要包括成像透镜或针孔的光学块的配置，但是如上所述，设置片上透镜121c。这里，片上透镜121c和成像透镜具有不同的物理动作。
例如，如图10所示，从点光源P101发射的漫射光中入射在成像透镜152上的光被会聚在成像元件151上的像素位置P111处。也就是说，成像透镜152被设计为将从点光源P101以不同角度入射的漫射光会聚在像素位置P111处，以形成点光源P101的图像。像素位置P111由通过点光源P101和成像透镜152的中心的主光束L101指定。
此外，例如，如图11所示，从不同于点光源P101的点光源P102发射的漫射光中入射在成像透镜152上的光被会聚在成像元件151上不同于像素位置P111的像素位置P112处。也就是说，成像透镜152被设计为将从点光源P102以不同角度入射的漫射光会聚在像素位置P112处，以形成点光源P102的图像。该像素位置P112由通过点光源P102和成像透镜152的中心的主光束L102指定。
以这种方式，成像透镜152分别在成像元件151上的不同的像素位置P111和P112处形成具有不同的主光束的点光源P101和P102的图像。
此外，如图12所示，在点光源P101存在于无限远的情况下，从点光源P101发射的漫射光的一部分作为平行于主光束L101的平行光入射在成像透镜152上。例如，包括平行于主光束L101的光束L121和L122之间的光束的平行光入射在成像透镜152上。然后，入射在成像透镜152上的平行光被会聚在成像元件151上的像素位置P111处。也就是说，成像透镜152被设计为将来自存在于无限远处的点光源P101的平行光会聚在像素位置P111处，以形成点光源P101的图像。
因此，例如，成像透镜152具有会聚功能，以允许来自具有主光束入射角θ1的点光源的漫射光被入射在像素(像素输出单位)P1上，并允许来自具有不同于主光束入射角θ1的主光束入射角θ2的点光源的漫射光入射在不同于像素P1的像素(像素输出单位)P2上。也就是说，成像透镜152具有会聚功能，以允许来自具有不同的主光束入射角的光源的漫射光入射在多个相邻的像素(像素输出单位)上。但是，例如，来自彼此相邻的点光源或者来自存在于无限远处并且基本上彼此相邻的点光源的光束可以入射在相同的像素(像素输出单位)上。
相对而言，例如，如上文参照图4和图5所述，通过片上透镜121c的光仅入射在构成相应像素(像素输出单位)的光电二极管121e或光电二极管121f的受光面上。换句话说，为每个像素(像素输出单位)设置片上透镜121c，并且片上透镜121c将入射在片上透镜121c自身上的入射光仅会聚在相应的像素(像素输出单位)上。也就是说，片上透镜121c不具有用于允许来自不同点光源的光入射在不同像素(像素输出单位)上的会聚功能。
注意，在使用针孔的情况下，唯一地确定每个像素(像素输出单位)的位置与光的入射角之间的关系。因此，在使用针孔和传统成像元件的配置的情况下，不能针对每个像素自由地独立设置入射角指向性。
<被摄体面和成像元件之间的关系>
现在，参考图13描述被摄体面和成像元件121之间的距离的关系。
注意，如图13的左上部所示，在成像元件121(类似于图1的成像元件51)和被摄体面31之间的被摄体距离是距离d1的情况下，成像元件121上的像素Pc、Pb和Pa中的检测信号电平DA、DB和DC由与上述等式(1)到(3)相同的等式表示。
DA＝α1×a+β1×b+γ1×c......(1)
DB＝α2×a+β2×b+γ2×c......(2)
DC＝α3×a+β3×b+γ3×c......(3)
此外，如图13的左下部所示，还在考虑距离成像元件121比距离d1大d的距离d2处的被摄体面31'，即，从成像元件121观察时在被摄体面31的背侧的被摄体面31'的情况下，成像元件121上的像素Pc、Pb和Pa中的检测信号电平类似于如图13的下段的中部所示的检测信号电平DA、DB和DC。
但是，在这种情况下，来自被摄体面31'上的点光源PA'、PB'和PC'的光强度为a'、b'和c'的光束被成像元件121的各个像素接收。此外，由于光强度为a'、b'和c'的光束在成像元件121上的入射角不同(变化)，因此需要不同的系数集组。因此，例如，通过下面的等式(4)至(6)来分别表示像素Pa、Pb和Pc中的检测信号电平DA、DB和DC。
DA＝α11×a'+β11×b'+γ11×c'......(4)
DB＝α12×a'+β12×b'+γ12×c'......(5)
DC＝α13×a'+β13×b'+γ13×c'......(6)
这里，包括系数集α11、β11和γ11、系数集α12、β12和γ12以及系数集α13、β13和γ13的系数集组是与用于被摄体面31的系数集α1、β1和γ1、系数集α2、β2和γ2以及系数集α3、β3和γ3相对应的用于被摄体面31'的系数集组。
因此，通过使用预先设置的系数集组α11、β11、γ11、α12、β12、γ12、α13、β13和γ13求解包括等式(4)至(6)的联立方程，可以以与获得来自被摄体面31的点光源PA、PB和PC的光束的光强度a、b和c的情况下类似的方式，如图13的右下部所示获得来自被摄体面31'的点光源PA'、PB'和PC'的光束的光强度a'、b'和c'。结果，可以复原被摄体面31'的复原图像。
因此，在图2的成像装置101中，通过预先为从成像元件121到被摄体面的每个距离(被摄体距离)准备系数集组，针对每个被摄体距离切换系数集组的同时创建联立方程，并求解所创建的联立方程，可以基于一个检测图像获得在各个被摄体距离处的被摄体面的复原图像。例如，通过对检测图像进行一次成像和记录，然后使用所记录的检测图像依照到被摄体面的距离切换系数集组来对复原图像进行复原，可以生成任意被摄体距离处的被摄体面的复原图像。
此外，在可以指定被摄体距离或视角的情况下，可以通过使用具有适合于与所指定的被摄体距离或视角相对应的被摄体面的成像的入射角指向性的像素的检测信号而不是使用所有像素来生成复原图像。这使得能够使用适合于与所指定的被摄体距离或视角对应的被摄体面的成像的像素的检测信号来生成复原图像。
例如，考虑如图14的上段所示被遮光膜121b遮蔽达距离四边的各端宽度d1的像素121a以及如图14的下段所示被遮光膜121b遮蔽达距离四边的各端宽度d2(＞d1)的像素121a'。
图15示出了从被摄体面31到成像元件121的中心位置C1的入射光的入射角的示例。注意，尽管图15示出了入射光在水平方向上的入射角的示例，但是这在垂直方向上也基本类似。此外，在图15的右部，示出了图14中的像素121a和121a'。
例如，在图14的像素121a被布置在成像元件121的中心位置C1中的情况下，从被摄体面31到像素121a上的入射光的入射角的范围是如图15的左部所示的角度A1。因此，像素121a可以接收被摄体面31的水平方向上的宽度W1的入射光。
相对而言，在图14的像素121a'被布置在成像元件121的中心位置C1中的情况下，由于像素121a'具有比像素121a更宽的遮光范围，因此从被摄体面31到像素121a'上的入射光的入射角的范围是如图15的左部所示的角度A2(＜A1)。因此，像素121a'可以接收被摄体面31的水平方向上的宽度W2(＜W1)的入射光。
也就是说，尽管具有窄遮光范围的像素121a是适于对被摄体面31上的宽范围进行成像的广视角像素，但具有宽遮光范围的像素121a'是适于对被摄体面31上的窄范围进行成像的窄视角像素。注意，在此的广视角像素和窄视角像素是比较图14的像素121a和121a'的代表，并且当比较其他视角的像素时不受限制。
因此，例如，像素121a用于复原图14中的图像I1。图像I1是与包括图16的上段中作为被摄体的整个人物H101的被摄体宽度W1对应的视角SQ1的图像。相对而言，例如，像素121a'用于复原图14中的图像I2。图像I2是与图16的上段中的人物H101的面部周围的区域被放大的被摄体宽度W2对应的视角SQ2的图像。
此外，例如，如图16的下段所示，考虑在成像元件121的由虚线封闭的范围ZA中布置预定数量的图14中的像素121a，并且在成像元件121的由点划线封闭的范围ZB中布置预定数量的像素121a'。然后，例如，当复原与被摄体宽度W1对应的视角SQ1的图像时，通过使用范围ZA中的每个像素121a的检测信号，可以适当地复原视角SQ1的图像。另一方面，当复原与被摄体宽度W2对应的视角SQ2的图像时，通过使用范围ZB中的每个像素121a'的检测信号，可以适当地复原视角SQ2的图像。
注意，由于视角SQ2比视角SQ1窄，因此在用相同像素数复原视角SQ2和视角SQ1的图像的情况下，与复原视角SQ1的图像时相比，在复原视角SQ2的图像时，可以获得具有更高画质的复原图像。
也就是说，在考虑使用相同像素数获得复原图像的情况下，在复原较窄视角的图像时，可以获得具有较高画质的复原图像。
例如，图17的右部示出了图16的成像元件121的范围ZA中的配置示例。图17的左部示出了范围ZA中的像素121a的配置示例。
在图17中，黑色的范围表示遮光膜121b，并且例如依照在图17的左部示出的规则来确定每个像素121a的遮光范围。
图17的左部的主遮光部分Z101(图17的左部的黑色部分)是每个像素121a中被共同遮蔽的范围。具体地，主遮光部分Z101分别具有从像素121a的左侧和右侧朝向像素121a的内侧的宽度dx1的范围，以及从像素121a的上侧和下侧朝向像素121a的内侧的高度dy1的范围。然后，在每个像素121a中，在主遮光部分Z101的内侧的范围Z102内设置未被遮光膜121b遮蔽的矩形开口Z111。因此，在每个像素121a中，除了开口Z111之外的范围被遮光膜121b遮蔽。
这里，各个像素121a的开口Z111被规则地布置。具体地，每个像素121a中的开口Z111的水平方向上的位置在同一垂直方向上的列中的像素121a中是相同的。此外，每个像素121a中的开口Z111的垂直方向上的位置在同一水平方向的行中的像素121a中是相同的。
另一方面，每个像素121a中的开口Z111的水平方向上的位置依照像素121a的水平方向上的位置而以预定间隔移位。也就是说，随着像素121a的位置向右前进，开口Z111的左侧移动到从像素121a的左侧向右移位宽度dx1、dx2、......、dxn的位置。宽度dx1和宽度dx2之间的间隔、宽度dx2和宽度dx3、......之间的间隔、以及dxn-1和宽度dxn之间的间隔是通过将从范围Z102的水平方向上的宽度减去开口Z111的宽度得到的长度除以水平方向上的像素数n-1得到的值。
此外，每个像素121a中的开口Z111的垂直方向上的位置依照像素121a的垂直方向上的位置而以预定间隔移位。也就是说，随着像素121a的位置向下前进，开口Z111的上侧移动到从像素121a的上侧向下移位高度dy1、dy2、......、dyn的位置。高度dy1与高度dy2之间的间隔、高度dy2与高度dy3之间的间隔、......、以及高度dyn-1与高度dyn之间的间隔是通过将从范围Z102的垂直方向的高度减去开口Z111的高度获得的长度除以垂直方向上的像素数m-1而得到的值。
图18的右部示出了图16的成像元件121的范围ZB内的配置示例。图18的左部示出了范围ZB中的像素121a'的配置示例。
在图18中，黑色的范围表示遮光膜121b'，并且例如根据在图18的左部示出的规则来确定每个像素121a'的遮光范围。
图18的左部的主遮光部分Z151(图18的左部的黑色部分)是每个像素121a'中被共同遮蔽的范围。具体地，主遮光部分Z151分别具有从像素121a'的左侧和右侧朝向像素121a'的内侧的宽度dx1'的范围，以及从像素121a'的上侧和下侧朝向像素121a'的内侧的高度dy1'的范围。然后，在每个像素121a'中，在主遮光部分Z151的内部的范围Z152中设置未被遮光膜121b'遮蔽的矩形开口Z161。因此，在每个像素121a'中，除了开口Z161之外的范围被遮光膜121b'遮蔽。
这里，各个像素121a'的开口Z161以与图17的像素121a的开口Z111类似地方式规则布置。具体地，每个像素121a'中的开口Z161的水平方向上的位置在同一垂直方向上的列中的像素121a'中是相同的。此外，每个像素121a'中的开口Z161的垂直方向上的位置在同一水平方向上的行中的像素121a'中是相同的。
另一方面，每个像素121a'中的开口Z161的水平方向上的位置依照像素121a'的水平方向上的位置而以预定间隔移位。也就是说，随着像素121a'的位置向右前进，开口Z161的左侧移动到从像素121a'的左侧向右移位宽度dx1'、dx2'、......、dzn'的位置。宽度dx1'与宽度dx2'之间的间隔、宽度dx2'与宽度dx3'之间的间隔、......、以及宽度dxn-1'与宽度dxn'之间的间隔是通过将从范围Z152的水平方向上的宽度减去开口Z161的宽度得到的长度除以水平方向上的像素数n-1而得到的值。
此外，每个像素121a'中的开口Z161的垂直方向上的位置根据像素121a'的垂直方向上的位置而以预定间隔移位。也就是说，随着像素121a'的位置向下前进，开口Z161的上侧移动到从像素121a'的上侧向下移位高度dy1'、dy2'、......、dyn'的位置。高度dy1'与高度dy2'之间的间隔、高度dy2'与高度dy3'之间的间隔、......、以及高度dyn-1'与高度dyn'之间的间隔是将从范围Z152的垂直方向上的高度减去开口Z161的高度得到的长度除以垂直方向上的像素数m-1而得到的值。
这里，通过从图17的像素121a的范围Z102的水平方向上的宽度减去开口Z111的宽度得到的长度大于通过从图18的像素121a'的范围Z152的水平方向上的宽度减去开口Z161的宽度得到的宽度。因此，图17中的宽度dx1、dx2、......、dxn之间的改变间隔大于图18中的宽度dx1'、dx2'、......、dxn'之间的改变间隔。
此外，通过从图17的像素121a的范围Z102的垂直方向上的高度减去开口Z111的高度得到的长度大于通过从图18的像素121a'的范围Z152的垂直方向上的高度减去开口Z161的高度得到的长度。因此，图17中的高度dy1、dy2、......、dyn之间的改变间隔大于图18中的高度dy1'、dy2'、......、dyn'之间的改变间隔。
如上所述，图17中的每个像素121a的遮光膜121b的开口Z111的水平方向和垂直方向上的位置的改变间隔与图18中的像素121a'的遮光膜121b'的开口Z161的水平方向和垂直方向上的位置的改变间隔不同。然后，该间隔的差异为复原图像中的被摄体分辨率(角度分辨率)的差异。也就是说，图18中的每个像素121a'的遮光膜121b'的开口Z161的水平方向和垂直方向上的位置的改变间隔比图17中的每个像素121a的遮光膜121b的开口Z111的水平方向和垂直方向上的位置的改变间隔窄。因此，使用图18中的每个像素121a'的检测信号复原的复原图像比使用图17中的每个像素121a的检测信号复原的复原图像具有更高的被摄体分辨率和更高的画质。
以这种方式，通过改变主遮光部分的遮光范围和开口的开口范围的组合，可以实现包括具有各种视角(具有各种入射角指向性)的像素的成像元件121。
注意，虽然上文描述了像素121a和像素121a'分别分离地布置于范围ZA和范围ZB中的示例，但此描述仅是为了简化描述，并且对应于不同视角的像素121a期望混合地布置于相同的区域中。
例如，如图19所示，各包括由虚线指示的两个像素×两个像素的四个像素形成一个单位U，并且每个单位U包括广视角像素121a-W、中视角像素121a-M、窄视角像素121a-N和极窄视角像素121a-AN。
在这种情况下，例如，在所有像素121a的像素数为X的情况下，可以使用针对四种类型的视角中的每一个的X/4像素的检测图像来对复原图像进行复原。此时，使用针对每个视角不同的四种类型的系数集组，并且通过四种不同的联立方程来复原具有不同的视角的复原图像。
因此，通过使用从适合于对要复原的复原图像的视角进行成像的像素获得的检测图像来对复原图像进行复原，可以获得与四种类型的视角对应的适当的复原图像。
此外，还可以从四种类型的视角的图像进行插值来生成四种类型的视角之间的视角和该视角周围的视角的图像，并且通过无缝地生成各种视角的图像，实现伪光学变焦。
注意，例如，在获得具有广视角的图像作为复原图像的情况下，可以使用所有广视角像素，或者可以使用广视角像素的一部分。此外，例如，在获得具有窄视角的图像作为复原图像的情况下，可以使用所有窄视角像素，或者可以使用窄视角像素的一部分。
<成像装置101的成像处理>
接下来，参照图20的流程图描述图2的成像装置101的成像处理。
在步骤S1，成像元件121对被摄体进行成像。因此，从具有不同入射角指向性的成像元件121的每个像素121a输出指示与来自被摄体的入射光的光量对应的检测信号电平的检测信号，并且成像元件121将包括每个像素121a的检测信号的检测图像提供应复原单元122。
在步骤S2，复原单元122获得用于图像复原的系数。具体地，复原单元122设置到要复原的被摄体面31的距离，即，被摄体距离。注意，可以采用任意方法作为设置被摄体距离的方法。例如，复原单元122将用户通过输入单元124输入的被摄体距离或检测单元125检测出的被摄体距离设置为到要复原的被摄体面31的距离。
接下来，复原单元122从存储单元128读出与所设置的被摄体距离相关联的系数集组。
在步骤S3，复原单元122使用检测图像和系数对图像进行复原。具体地，复原单元122使用检测图像的每个像素的检测信号电平和在步骤S2的处理中获得的系数集组来创建参考上述等式(1)至(3)或等式(4)至(6)描述的联立方程。接下来，复原单元122通过求解所创建的联立方程来计算与所设置的被摄体距离相对应的被摄体面31上的每个点光源的光强度。然后，复原单元122通过依照被摄体面31上的各个点光源的布置来布置具有依照所计算的光强度的像素值的像素，来生成形成为被摄体的像的复原图像。
在步骤S4，成像装置101对复原图像执行各种类型的处理。例如，复原单元122根据需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。此外，例如，复原单元122根据需要将复原图像提供应显示单元127以便显示该图像，将复原图像提供应记录和回放单元129以便将该图像记录在记录介质130上，或者通过通信单元131将复原图像提供应其他装置。
此后，成像处理结束。
注意，在以上描述中，尽管描述了使用与成像元件121和被摄体距离相关联的系数集组，根据检测图像对复原图像进行复原的示例，但是，例如，除了被摄体距离以外还可以准备如上所述与复原图像的视角对应的系数集组，并使用依照被摄体距离和视角的系数集组来对复原图像进行复原。注意，相对于被摄体距离和视角的分辨率取决于准备的系数集组的数量。
此外，在使用图20的流程图的处理中，虽然描述了使用包括在检测图像中的所有像素的检测信号的示例；但是还可以生成包括构成成像元件121的像素之中的具有与指定的被摄体距离和视角相对应的入射角指向性的像素的检测信号的检测图像，并且通过使用该检测图像来对复原图像进行复原。通过这种处理，可以通过适合于要得到的复原图像的被摄体距离和视角的检测图像对复原图像进行复原，并且提高复原图像的复原精度和画质。也就是说，例如，在与指定的被摄体距离和视角相对应的图像是与图16中的视角SQ1相对应的图像的情况下，通过选择具有与视角SQ1相对应的入射角指向性的像素121a，并利用从所选像素121a获得的检测图像对复原图像进行复原，可以以高精度复原视角SQ1的图像。
通过上述处理，可以实现将每个像素具有入射角指向性的成像元件121作为必要组件的成像装置101。
结果，由于在上述专利文献等中描述的成像透镜、针孔和滤光器是不必要的，因此可以提高设计装置的自由度，并且由于光学元件与成像元件121分离地构成并且假定为在构成成像装置的阶段与成像元件121安装在一起，因此可以使装置在入射光的入射方向上小型化并且可以降低制造成本。此外，与诸如聚焦透镜的用于形成光学图像的成像透镜对应的透镜变得不必要。但是，可以设置改变放大率的变焦透镜。
注意，在以上描述中，尽管描述了在捕获检测图像之后立即复原与预定的被摄体距离对应的复原图像的处理，但是也可以在将检测图像记录到记录介质130上之后或者通过通信单元131将检测图像输出到其他装置之后，在所期望的定时使用检测图像来对复原图像进行复原，而不立即执行复原处理。在这种情况下，可以通过成像装置101或其他装置执行复原图像的复原。在这种情况下，例如，可以通过求解使用根据任意被摄体距离或视角的系数集组创建的联立方程得到复原图像来得到针对任意被摄体距离或视角的被摄体面的复原图像，从而实现再聚焦等。
例如，在使用包括成像透镜和传统成像元件的成像装置的情况下，为了获得具有各种焦距和视角的图像，需要在对焦距和视角进行各种改变的同时进行成像。另一方面，在成像装置101中，由于可以通过以这种方式切换系数集组来复原任意被摄体距离和视角的复原图像，因此在对焦距(即，被摄体距离)和视角进行各种改变的同时重复进行成像的处理变得不必要。
在这种情况下，例如，用户也可以在允许显示单元127显示在改变与不同的被摄体距离和视角相对应的系数集组而复原的复原图像的同时，获得期望的被摄体距离和视角的复原图像。
注意，在记录检测图像的情况下，当确定复原时的被摄体距离或视角时，复原用的元数据可以与检测图像相关联。例如，通过将元数据分配给包括检测图像的图像数据，将相同的ID分配给检测图像和元数据，或者将检测图像和元数据记录在相同的记录介质130上，将检测图像和元数据彼此相关联。
注意，在将相同的ID分配给检测图像和元数据的情况下，可以将检测图像和元数据记录在不同的记录介质上，或者可以从成像装置101单独输出它们。
此外，元数据可以包括或者可以不包括复原用的系数集组。在后一种情况下，例如，在元数据中包括复原时的被摄体距离和视角，并且在复原时，从存储单元128等获得与被摄体距离和视角相对应的系数集组。
此外，在成像时立即进行复原图像的复原的情况下，例如，可以从检测图像和复原图像选择例如要记录或要输出到外部的图像。例如，可以将两个图像记录或输出到外部，或者可以仅将图像中的一个记录或输出到外部。
此外，在捕获运动图像的情况下，可以选择是否在成像时执行复原图像的复原，或者选择要记录或输出到外部的图像。例如，可以在捕获运动图像的同时立即复原每个帧的复原图像，并且将复原图像和复原前的检测图像两者或其中之一记录或输出到外部。在这种情况下，在成像时，还可以显示每个帧的复原图像作为直通图像。或者，例如，可以在成像时，在不执行复原处理的情况下将每个帧的检测图像记录或输出到外部。
此外，在捕获运动图像时，例如，可以针对每个帧选择是否要对复原图像进行复原或者选择要记录或要输出到外部的图像。例如，可以针对每帧切换是否要对复原图像进行复原。此外，例如，可以针对每个帧单独地切换是否要记录检测图像以及是否要记录复原图像。此外，例如，还可以记录所有帧的检测图像，同时将元数据分配给可能在以后使用的有用帧的检测图像。
此外，可以实现与使用成像透镜的成像装置的情况中的自动聚焦功能类似的自动聚焦功能。例如，可以通过基于复原图像利用类似于对比度自动聚焦(AF)方法的登山(hillclimbing)方法确定最佳被摄体距离来实现自动聚焦功能。
此外，由于与包括专利文献等中描述的滤光器和传统成像元件的成像装置等相比，可以使用由具有以像素为单位的入射角指向性的成像元件121捕获的检测图像来生成复原图像，因此可以实现像素的增加或者获得高分辨率和高角分辨率的复原图像。相对而言，在包括滤光器和传统成像元件的成像装置中，即使细化像素，由于细化滤光器是困难的，因此难以实现高分辨率的复原图像等。
此外，在本公开的成像装置101中，由于成像元件121是必要配置并且不需要例如上述专利文献等中公开的滤光器等，因此滤光器不会由于高温使用环境导致的热量而弯曲，并且可以实现高耐环境性的成像装置。
此外，由于本公开的成像装置101不需要上述专利文献等中公开的成像透镜、针孔和滤光器，因此可以提高具有成像功能的配置的设计自由度。
<减少处理负荷的方法>
顺便提及，在成像元件121的每个像素121a的遮光膜121b的遮光范围(即，入射角指向性)具有随机性的情况下，随着遮光范围的差异的无序更大，复原单元122的处理的负荷就更大。因此，可以通过使每个像素121a的遮光膜121b的遮光范围的改变的一部分有规则来减少无序，从而减少处理负荷。
例如，通过组合纵向带型和横向带型得到的L型的遮光膜121b被构成，并且在预定列方向上组合具有相等宽度的横向带型的遮光膜121b，而在预定行方向上组合具有相等高度的纵向带型的遮光膜121b。因此，每个像素121a的遮光膜121b的遮光范围在列方向和行方向上保持规则性的同时以像素为单位随机变化。结果，可以减小每个像素121a的遮光膜121b的遮光范围的差异，即入射角指向性的差异的无序，并且可以减小复原单元122的处理负荷。
具体地，例如，如图21的成像元件121"所示，对于由范围Z130指示的相同列中的像素，使用具有相等宽度X0的横向带型的遮光膜121b，并且对于由范围Z150指示的相同行中的像素，使用具有相等高度Y0的纵向带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用通过组合它们得到的L型的遮光膜121b。
类似地，对于由与范围Z130相邻的范围Z131指示的相同列中的像素，使用具有相等宽度X1的横向带型的遮光膜121b，并且对于与范围Z150相邻的范围Z151指示的相同行中的像素，使用具有相等高度Y1的纵向带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用通过组合它们得到的L型的遮光膜121b。
此外，对于由与范围Z131相邻的范围Z132指示的相同列中的像素，使用具有相等宽度X2的横向带型的遮光膜121b，并且对于与范围Z151相邻的范围Z152指示的相同行中的像素，使用具有相等高度Y2的纵向带型的遮光膜121b。结果，对于由每一行和列指定的像素121a，使用通过组合它们得到的L型的遮光膜121b。
通过这样做，可以在允许遮光膜121B的水平方向上的宽度和位置以及垂直方向上的高度和位置具有规则性的同时，以像素为单位将遮光膜的范围设置为不同的值，因此，可以控制入射角指向性的改变的无序。结果，可以减少系数集的模式，并且减少复原单元122中的计算处理的处理负荷。
更具体地，如图22的右上部所示，在从N像素×N像素的检测图像Pic得到N×N像素的复原图像的情况下，通过具有(N×N)行×1列的复原图像的各像素的像素值作为元素的向量X、具有(N×N)行×1列的检测图像的各像素的像素值作为元素的向量Y、以及包括系数集组的(N×N)行×(N×N)列的矩阵A，建立如图22的左部所示的关系。
也就是说，图22示出了通过将包括系数集组的(N×N)行×(N×N)列的矩阵A的各个元素乘以表示复原图像的(N×N)行×1列的向量X得到的结果是表示检测图像的(N×N)行×1列的向量Y。然后，根据该关系，例如，构造与等式(1)至(3)或等式(4)至(6)相对应的联立方程。
注意，图22示出了矩阵A的由范围Z201所指示的第一列中的元素对应于向量X的第一行的元素，并且矩阵A的由范围Z202所指示的第(N×N)列的每个元素对应于向量X的第(N×N)行的元素。
注意，在使用针孔的情况下并且在使用允许沿诸如成像透镜的相同方向入射的入射光入射到两个相邻的像素输出单位的会聚功能的情况下，由于唯一地确定了每个像素的位置与光的入射角之间的关系，因此矩阵A是其中所有的向右下降的对角分量都是1的对角矩阵。另一方面，在如图2的成像装置101中那样不使用针孔和成像透镜的情况下，由于不唯一地确定每个像素的位置与光的入射角之间的关系，因此矩阵A不是对角矩阵。
换句话说，可以通过基于图22中描绘的行列式求解联立方程以得到矢量X的元素来得到复原图像。
顺便提及，通常，图22中的行列式通过从左开始将两侧乘以矩阵A的逆矩阵A-1来如图23所示进行变换，并且通过从左开始将检测图像的向量Y乘以逆矩阵A-1，得到作为检测图像的向量X的每个元素。
但是，实际上，存在不能准确地得到矩阵A，不能准确地测量矩阵A，矩阵A的基向量接近线性相关性并且不能求解矩阵A，以及检测图像的每个元素包括噪声的情况。然后，对于这些原因中的任何一个或者它们的组合，可能无法求解联立方程。
因此，例如，考虑到对于各种误差具有鲁棒性的配置，使用以下使用正则化最小二乘法的概念的表达式(7)。
[数学表达式1]
Figure BDA0002445343900000441
这里，等式(7)中顶部有"^"的x表示向量X，A表示矩阵A，y表示向量Y，γ表示参数，并且||A||表示L2范数(平方和的平方根)。这里，当将图22的两侧最小化时，右侧的第一项是范数，而右侧的第二项是正则化项。
当针对x求解等式(7)时，得到以下等式(8)。
[数学表达式2]
Figure BDA0002445343900000442
这里，At表示矩阵A的转置矩阵，并且I表示单位矩阵。
但是，由于矩阵A具有巨大的尺寸，因此计算量和所需的存储量很大。
因此，例如，如图24所示，矩阵A被分解成N行×N列的矩阵AL和N行×N列的矩阵ART，并且将它们与表示复原图像的N行×N列的矩阵X的前段和后段相乘的结果得到表示检测图像的N行×N列的矩阵Y。因此，对于元素数(N×N)×(N×N)的矩阵A，得到具有元素数为(N×N)的矩阵AL和ART，并且每个矩阵中的元素数变为1/(N×N)。结果，可以减少计算量和所需的存储量。
例如，通过将等式(8)的括号中的矩阵设置为矩阵AL，并将矩阵A的转置矩阵的逆矩阵设置为矩阵ART，来实现图24中所示的行列式。
在图24中所示的计算中，如图25中所示，通过将矩阵X中的关注元素Xp乘以矩阵AL的对应列的每个元素组Z221得到元素组Z222。另外，通过将元素组Z222乘以矩阵ART的与关注元素Xp相对应的行中的元素，得到与关注元素Xp相对应的二维响应Z224。然后，通过对应于矩阵X的所有元素，对二维响应Z224进行积分得到矩阵Y。
因此，例如，在矩阵AL的每列的元素组Z221中，使用与对于图21所示的成像元件121的每列设置为相等宽度的横向带型的像素121a的入射角指向性相对应的系数。
类似地，例如，在矩阵ART的每行的元素组Z223中，使用与对于图21中所示的成像元件121的每行设置为具有相等高度的纵向带型的像素121a的入射角指向性相对应的系数。
结果，由于可以减少在基于检测图像来复原图像时要使用的矩阵，因此，可以减少计算量，可以提高处理速度，并且可以降低计算所需的功耗。此外，由于可以减小矩阵，因此可以减小用于计算的存储器的容量，并且可以降低装置成本。
注意，尽管图21示出了在水平方向和垂直方向上设置预定的规则性的同时以像素为单位改变遮光范围(受光范围)的示例，但是在本公开中，即使不完全随机而是以这种方式在某种程度上随机地以像素为单位设置遮光范围(受光范围)，也可以认为遮光范围(受光范围)是随机设置的。换句话说，在本公开中，不仅以像素为单位完全随机地设置遮光范围(受光范围)的情况，而且在一定程度上随机地设置遮光范围(受光范围)的情况(例如，所有像素中的一部分像素具有有规则性的范围，但其他范围是随机的情况)，或者明显在一定程度上不规则的情况(不能在所有像素中确认依照如上参考图21所述的规则性进行布置的情况)，也被认为是随机的。
<<3.第一实施例>>
接下来，参照图26至图36描述本公开的第一实施例。
如上所述，使用具有入射角指向性的像素的成像元件121不需要上述专利文献等中公开的成像透镜、针孔和滤光器，从而各个像素121a的布置的自由度高。
因此，在第一实施例中，通过包括具有入射角指向性的成像元件的多个成像装置对被摄体进行成像，并且使用由每个成像装置获得的检测信号对复原图像进行复原。
<成像系统301的配置示例>
图26是示出根据本公开的第一实施例的成像系统301的配置示例的框图。
成像系统301包括成像单元311和信号处理单元312。
成像单元311包括一个或多个n个成像装置321-1至321-n。注意，在下文中，在没有必要将成像装置321-1至321-n彼此区分的情况下，将它们简称为成像装置321。
每个成像装置321包括一个或多个上述具有入射角指向性的成像元件121。每个成像装置321可以离散地布置在空间中，例如，如图27所示。也就是说，各个成像装置321不必在空间中对准，并且可以其间具有空间地随机布置。
每个成像装置321使用例如诸如射频识别(RFID)的技术与信号处理单元312的读取器/写入器331执行短距离无线通信，并且将包括由每个成像元件121获得的一个或多个检测信号的检测信号集发送到读取器/写入器331。此外，每个成像装置321将从读取器/写入器331发送的电磁波转换为电力，并且由转换的电力驱动。换句话说，每个成像装置321通过从读取器/写入器331发送的电磁波来由电动势驱动。
信号处理单元312通过控制每个成像装置321的成像来从每个成像装置321获得检测信号集，并使用所获得的检测信号集执行复原图像的复原处理等。信号处理单元312包括读取器/写入器331和信号处理装置332。
如上所述，读取器/写入器331使用例如RFID的技术与每个成像装置321进行短距离无线通信，并向各成像装置321提供电力。
如图27所示，信号处理装置332基于经由读取器/写入器331从每个成像装置321接收的检测信号集，执行复原图像的复原处理等。
注意，在下文中，根据成像装置321的实施例，不同的字母被分配给附图标记的末尾作为成像装置321A和成像装置321B；在不需要特别地将它们彼此区分的情况下，将它们简称为成像装置321。
<成像装置321A的配置示例>
图28是示出作为图26中的成像装置321的第一实施例的成像装置321A的配置示例的框图。注意，在附图中，与图2中的成像装置101的部分相对应的部分被分配有相同的附图标记，并且适当地省略其描述。
成像装置321A包括成像元件121、控制单元411、关联单元412、存储单元413和通信单元414。此外，控制单元411、关联单元412、存储单元413和通信单元414形成信号处理控制单元401A。注意，成像装置321A不包括成像透镜。
此外，成像元件121、控制单元411、关联单元412、存储单元413和通信单元414经由总线B2彼此连接，并且经由总线B2执行数据的发送、接收等。注意，在下文中，为了简化描述，省略了在成像装置321A的每个单元经由总线B2执行数据的发送、接收等的情况下对总线B2的描述。
成像元件121将包括从每个像素121a输出的一个或多个检测信号的检测信号集输出到总线B2。
控制单元411包括例如各种处理器，并且控制成像装置321A的每个单元。
关联单元412与信号处理装置332的关联部504(图33)协作或单独地将由成像元件121得到的检测信号集和与该检测信号集对应的元数据相关联。
存储单元413包括诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存的一个或多个存储装置，并且存储例如用于成像装置321A的处理的程序、数据等。存储单元413存储例如用于唯一识别成像装置321A的ID。
通信单元414执行与读取器/写入器331的短距离无线通信，并且接收通过从读取器/写入器331发送的电磁波的电力。通信单元414包括发送/接收单元421和天线422。
发送/接收单元421通过支持读取器/写入器331的短距离无线通信方法经由天线422向/从读取器/写入器331发送/接收数据。
天线422向读取器/写入器331的天线(未示出)发送电磁波并从其接收电磁波。此外，通过天线422从读取器/写入器331接收到的电磁波被转换成电力，并且通过该电力驱动成像装置321A。
图29示意性地示出了成像装置321A的外观的配置示例。在图29的上段中，示意性地示出了成像装置321A的前面的配置示例，并且在下段中，示意性地示出了成像装置321A的背面的配置示例。
在成像装置321A中，矩形天线422被设置在位于中心的垂直长矩形主体431的右侧和左侧。主体431包括成像元件121、控制单元411、关联单元412、存储单元413和发送/接收单元421。此外，成像元件121的受光面121A被布置在主体431的前面的基本中心处。
图30到32示出了每个成像装置321A的成像元件121的像素阵列单元的图案的示例。注意，图30至32中的黑色部分表示遮光膜121b的遮光范围。
图30示出了每个成像装置321A的成像元件121包括一个像素121a的情况的示例。
在图案Pt1至Pt4中，设置了白色、红色、绿色或蓝色的不同颜色的彩色滤波器121d，并且右半部分被遮光。注意，在白色的情况下，彩色滤波器121d可以是透明滤波器，或者不需要滤波器。因此，通过使用图案Pt1至Pt4的四个成像装置321A，可以获得具有相同入射角指向性和不同颜色(检测波长)的检测信号。然后，例如，通过使用具有每种颜色的不同遮光范围的多个成像装置321A，对于每种颜色获得具有不同入射角指向性的多个检测信号。
图31示出了每个成像装置321A的成像元件121包括三个像素121a的情况的示例。
在图案Pt11中，各个像素121a沿水平方向布置，并且各个像素121a设置有红色、绿色或蓝色的不同颜色的彩色滤波器121d。此外，每个像素121a的右半部分被遮光。因此，通过使用图案Pt11的成像装置321A，可以一次获得具有相同入射角指向性和不同颜色(检测波长)的检测信号。然后，例如，通过使用具有与图案Pt11相同的颜色的阵列并且具有不同的遮光范围的多个成像装置321A，针对每种颜色获得具有不同入射角指向性的多个检测信号。
在图案Pt12中，与图案Pt11的情况一样，像素121a沿水平方向布置，并且各个像素121a包括红色、绿色或蓝色的不同颜色的彩色滤波器121d。此外，在红色像素121a和蓝色像素121a中，右半部分被遮光，并且在绿色像素121a中，左半部分被遮光。因此，通过使用具有图案Pt12的成像装置321A，可以同时获得具有不同入射角指向性和颜色(检测波长)的检测信号。然后，例如，通过使用具有与图案Pt12相同的彩色阵列并且具有不同的遮光范围的多个成像装置321A，针对每种颜色获得具有不同入射角指向性的多个检测信号。
图32示出了其中每个成像装置321A的成像元件121包括四个像素121a的示例。
在图案Pt21中，各个像素121a沿水平方向布置，并且各个像素121a设置有红色、绿色、蓝色或白色的不同颜色的彩色滤波器121d。注意，在白色的情况下，彩色滤波器121d可以是透明滤波器，或者不需要滤波器。此外，每个像素121a的右半部分被遮光。因此，通过使用图案Pt21的成像装置321A，可以一次获得具有相同入射角指向性和不同颜色(检测波长)的检测信号。然后，例如，通过使用具有与图案Pt21相同的彩色阵列并且具有不同的遮光范围的多个成像装置321A，针对每种颜色获得具有不同入射角指向性的多个检测信号。
在图案Pt22中，各个像素121a被布置成两行×两列，并且各个像素121a设置有红色、绿色、蓝色或白色的不同颜色的彩色滤波器121d。注意，在白色的情况下，彩色滤波器121d可以是透明滤波器，或者不需要滤波器。此外，每个像素121a的右半部分被遮光。因此，通过使用图案Pt22的成像装置321A，可以一次获得具有相同入射角指向性和不同颜色(检测波长)的检测信号。然后，例如，通过使用具有与图案Pt22相同的彩色阵列并且具有不同的遮光范围的多个成像装置321A，针对每种颜色获得具有不同入射角指向性的多个检测信号。
在图案Pt23中，各个像素121a被布置成两行×两列，并且各个像素121a的彩色阵列是根据Bayer阵列的。此外，每个像素121a的遮光范围是不同的。因此，通过使用具有图案Pt23的成像装置321A，可以同时获得具有不同入射角指向性和颜色(检测波长)的检测信号。然后，例如，通过使用具有与图案Pt23相同的彩色阵列并且具有不同的遮光范围的多个成像装置321A，针对每种颜色获得具有不同入射角指向性的多个检测信号。
在图案Pt24中，各个像素121a被布置成两行×两列，并且各个像素121a设置有相同颜色(在该示例中为白色)的彩色滤波器121d。注意，在白色的情况下，彩色滤波器121d可以是透明滤波器，或者不需要滤波器。此外，每个像素121a的遮光范围是不同的。因此，通过使用图案Pt23的成像装置321A，能够一次获得具有不同入射角指向性和相同颜色(检测波长)的检测信号。
<信号处理装置332的配置示例>
图33是示出图26中的信号处理装置332的配置示例的框图。信号处理装置332包括复原单元501、控制单元502、输入单元503、关联单元504、显示单元505、存储单元506、记录和回放单元507、记录介质508和通信单元509。
复原单元501、控制单元502、输入单元503、显示单元505、存储单元506、记录和回放单元507和通信单元509经由总线B3相互连接，并且经由总线B3执行数据的发送、接收等。注意，在下文中，为了简化描述，在信号处理装置332的每个单元经由总线B3执行数据等的发送和接收的情况下，省略了对总线B3的描述。
复原单元501通过使用经由读取器/写入器331从各成像装置321接收的检测信号集，通过与图2中的成像装置101的复原单元122的处理类似的处理，执行复原图像的复原处理等。复原单元501将复原的图像输出到总线B3。
控制单元502包括例如各种处理器，并且控制信号处理装置332的各单元。
输入单元503包括用于操作信号处理装置332、输入用于处理的数据等的输入装置(例如，键、开关、按钮、拨盘、触摸面板、遥控器等)。输入单元503将操作信号、输入数据等输出到总线B3。
关联单元504与成像装置321A的关联单元412协作或单独地将从每个成像装置321A获得的检测信号集与对应于每个检测信号集的元数据相关联。
显示单元505包括例如显示器，并且显示各种类型的信息(例如，复原图像等)。注意，显示单元505可以包括诸如扬声器的音频输出单元以输出音频。
存储单元506包括诸如ROM、RAM和闪存的一个或多个存储装置，并且存储例如用于信号处理装置332的处理的程序和数据。例如，存储单元506存储包括每个成像装置321A的位置(例如，纬度、经度等)、姿态(例如，取向、倾斜度等)等的安装信息。此外，存储单元506存储例如与每个成像装置321A的当前安装状态下的每个成像装置321A的成像元件121相对应的系数集组。例如，针对每个假定被摄体距离和视角准备该系数集组。
记录和回放单元507将数据记录在记录介质508上，并且回放(读出)记录在记录介质508上的数据。例如，记录和回放单元507将复原图像记录在记录介质508上或者从记录介质508读出该复原图像。此外，例如，记录和回放单元507将检测信号集和对应的元数据记录在记录介质508上，或者从记录介质508读出检测信号集和对应的元数据。
记录介质508包括例如HDD、SSD、磁盘、光盘、磁光盘、半导体存储器等中的任何一个，或者其组合等。
通信单元509通过预定通信方法与其他装置(例如，读取器/写入器331、其他信号处理装置等)进行通信。注意，通信单元509的通信方法可以是有线的或无线的。此外，通信单元509可以支持多种通信方法。
<成像系统301的处理>
接下来，参照图34至36描述成像系统301的处理。
<信号处理单元312的处理>
首先，参考图34中的流程图描述信号处理单元312的处理。
在步骤S101，信号处理单元312发送成像命令。
具体地，信号处理装置332的控制单元502生成成像命令并对所生成的成像命令进行编码。控制单元502经由通信单元509将编码后的成像命令提供给读取器/写入器331。
读取器/写入器331开始发送包括电磁波的载波，并且利用编码的成像命令调制该载波，以向每个成像装置321发送成像命令。
每个成像装置321在稍后描述的图36中的步骤S151接收成像命令，并且在步骤S153发送成像数据。
在步骤S102，信号处理单元312从每个成像装置321A接收成像数据。
具体地，读取器/写入器331通过对包括所发送的电磁波的反射波的载波进行调制来接收从各成像装置321发送的成像数据。
例如，使用图35中所示的分组来发送成像数据。每个分组包括开始代码、ID、检测信号和结束代码。
指示分组的头部的预定代码被设置为开始代码。
例如，ID是用于识别输出包括在分组中的检测信号的成像装置321A和像素121a的ID，该ID是通过组合用于识别每个成像装置321A的ID和用于识别成像元件121中的每个像素121a的ID而获得的。因此，指定输出包括在分组中的检测信号的成像装置321A和像素121A。
在检测信号中，设置要发送的检测信号的值(即，检测信号电平)。
指示分组结束的预定代码被设置为结束代码。
注意，例如，ID和检测信号根据需要被编码。
例如，对于一个检测信号生成一个分组，并且每个检测信号由不同的分组发送。因此，从每个成像装置321A发送至少与检测信号的数量一样多的分组。然后，利用一个或多个分组，发送包括从每个成像装置321A的成像元件121输出的一个或多个检测信号的检测信号集以及与该检测信号集对应的元数据(例如，ID等)。
注意，例如，通过在一个分组中包括ID和检测信号的多个组合，可以一次发送多个检测信号。在这种情况下，例如，如果所有检测信号都包括在要发送的一个分组中，则还可以通过固定检测信号的排列顺序来省略每个像素121a的ID的发送，并且在一个分组中仅包括成像装置321A的一个ID。
读取器/写入器331解调从每个成像装置321A接收的成像数据的每个分组，并将其提供给信号处理装置332。信号处理装置332的复原单元501经由通信单元509获得解调后的各分组，并且对各分组中包括的ID和检测信号进行解码。
此外，读取器/写入器331在经过预定时间之后停止发送包括电磁波的载波。
在步骤S103，复原单元501获得用于图像复原的系数。具体地，复原单元501通过与图20中的步骤S2中成像装置101的复原单元122类似的处理来设置被摄体距离。然后，复原单元122从存储单元506读出与所设置的被摄体距离相关联的系数集组。
在步骤S104，复原单元501使用检测信号集和系数对图像进行复原。也就是说，复原单元501通过与图20中的步骤S3中成像装置101的复原单元122的处理类似的处理，通过使用从每个成像装置321A接收的成像数据中包括的检测信号集和在步骤S103的处理中获得的系数集组，来对复原图像进行复原。
在步骤S105，信号处理装置332对复原图像执行各种类型的处理。例如，复原单元501根据需要对复原图像执行去马赛克处理、γ校正、白平衡调整、到预定压缩格式的转换处理等。此外，复原单元501例如在必要时将复原图像提供给显示单元505并允许其显示图像，将复原图像提供给记录和回放单元507并允许其在记录介质508上记录图像，或者经由通信单元509将复原图像输出到其他装置。
此后，信号处理单元312的处理结束。
接下来，参考图36中的流程图，描述由每个成像装置321A执行的与图34中的信号处理单元312的处理相对应的处理。
在步骤S151，成像装置321A接收成像命令。具体地，成像装置321A的天线422接收在图34中的步骤S101开始从读取器/写入器331发送的电磁波，并将接收到的电磁波转换为电力以提供给成像装置321A的每个单元。因此，成像装置321A的每个单元被激活。
接下来，发送/接收单元421解调经由天线422从读取器/写入器331接收的电磁波，并将作为结果获得的编码数据提供给控制单元411。
控制单元411通过对编码数据进行解码来获得成像命令。
在步骤S152，成像元件121如图20中步骤S1的处理那样对被摄体进行成像。成像元件121将包括各个像素121a的检测信号的检测信号集提供给关联单元412。
在步骤S153，成像装置321A发送成像数据。
具体地，关联单元412对于检测信号集中包括的每个检测信号，生成参照图35说明的分组。因此，ID被分配给每个检测信号。关联单元412将各个生成的分组提供给发送/接收单元421。
发送/接收单元421例如通过利用每个分组的数据调制包括经由天线422从读取器/写入器331接收的电磁波的反射波的载波，来以分组为单位向读取器/写入器331发送成像数据。
此后，读取器/写入器331停止发送电磁波，从而完成从读取器/写入器331的电力供应，成像装置321A被关闭，并且处理结束。
如上所述，多个成像装置321A协作进行成像，从而可以使成像装置321A更紧凑，可以降低功耗，并且可以减少与成像数据的发送相关的数据通信量。此外，成像装置321A是紧凑的，不需要诸如电池的电源，并且通过无线通信发送成像数据，使得其在安装位置上具有高自由度。因此，可以扩展成像装置321A的应用范围。
例如，通过将成像系统301应用于农业监控系统，将成像装置321A布置在农田中的多个场所，并执行上述处理，可以从远程位置掌握天气和农作物状况。
此外，通过以分布方式布置小型成像装置321A，可以在不损坏景观的情况下进行成像。例如，通过将成像系统301应用于建筑物监控系统，并以分布方式将多个成像装置321A布置在建筑物墙壁等上，可以在不损坏景观对建筑物的周边环境进行成像，并且可以从远程位置进行监控。此外，在这种情况下，还存在几乎不会注意到成像装置321A的存在的效果。
此外，由于成像装置321A可以安装在紧凑的装置上或安装在装置的弯曲部分中，所以扩大了可应用的装置的范围。例如，成像装置321A可应用于各种可穿戴终端、诸如内窥镜相机和眼底相机的医疗装置、卡片型装置等。
<<4.第二实施例>>
接下来，参照图37描述本公开的第二实施例。
<成像装置321B的配置示例>
在本公开的第二实施例中，作为成像装置321的第二实施例的图37中的成像装置321B被用在图26中的成像系统301中。注意，在图37中，相同的附图标记被分配给与图28中的成像装置321A的部分对应的部分，并且适当地省略其描述。此外，在图37中，没有示出用于从电源单元451向成像装置321B的每个单元提供电力的电源线。
成像装置321B与成像装置321A的不同之处在于设置了电源单元451。
电源单元451包括例如电池或AC/DC电源，并且向成像装置321B的每个单元提供用于驱动的电力。注意，在电源单元451是AC/DC电源的情况下，电源单元451将从外部AC电源提供的电力转换成直流，然后将该电力提供给成像装置321B的每个单元。
以这种方式，通过设置电源单元451，即使在没有从读取器/写入器331提供电力时，成像装置321B也可以自主地执行成像处理并发送成像数据。
相对而言，信号处理装置332可以在不向每个成像装置321B发送成像命令的情况下接收从每个成像装置321发送的成像数据，并且通过使用接收到的成像数据对复原图像进行复原。
<<5.第三实施例>>
接下来，参照图38描述本公开的第三实施例。
<成像装置321C的配置示例>
在本公开的第三实施例中，作为成像装置321的第三实施例的图38中的成像装置321C被用在图26中的成像系统301中。注意，在图38中，相同的附图标记被分配给与图28中的成像装置321A的部分对应的部分，并且适当地省略其描述。此外，在图38中，没有示出用于从电源单元461向成像装置321C的每个单元提供电力的电源线。
成像装置321C与成像装置321A的不同之处在于设置了电源单元461。
电源单元461是通过太阳能发电来产生电力的电源。电源单元461包括光电转换单元471和电力存储单元472。
光电转换单元471包括例如光电二极管，将接收的光转换为电荷，并将获得的电荷供给至电力存储单元472。
电力存储单元472累积由光电转换单元471转换的电荷，并通过累积的电荷将电力提供给成像装置321C的每个单元。
因此，成像装置321C可以自己产生电力，并且在不从外部接收电力供应或更换电池的情况下利用该电力进行操作。
注意，例如，通过在同一半导体基板上形成成像元件121的光电二极管和光电转换单元471的光电二极管，光电转换单元471可与成像元件121集成。因此，可以使成像装置321C紧凑，并且可以简化制造工艺。
<<6.第四实施例>>
接下来，参照图39至图45描述本公开的第四实施例。
如上所述，由于成像装置321是紧凑的并且在安装位置上具有高自由度，因此假定在除预定位置以外的任意位置使用。例如，假设多个成像装置321无序地分布以被使用。
相对而言，当成像装置321的位置和姿态改变时，成像元件121的受光面相对于要复原的被摄体面的倾斜度改变，并且来自每个点光源的光束在被摄体面上的入射角改变。例如，如图39所示，当成像装置321从虚线指示的位置移动到实线指示的位置时，来自被摄体面31的点光源P的光束在成像装置321(的成像元件121的受光面)上的入射角改变。
相对而言，如上所述，成像元件121的每个像素121a具有入射角指向性。例如，图40示出了对于成像元件121中的特定像素121a的水平方向上的入射角θx的受光灵敏度的示例。在图40中，沿横坐标绘制水平方向上的入射角θx，并且沿纵坐标绘制检测信号电平。
例如，在光束以0°的入射角从被摄体面31的点光源P入射的情况下，如果成像元件121在水平方向上的倾斜度增加Δθx，则检测信号电平如图中所示增加。
因此，在成像装置321的位置和姿态改变的情况下，需要调整用于对复原图像进行复原的系数。
因此，在第四实施例中，每个成像装置321检测每个成像装置321的位置和倾斜度，并且信号处理装置332基于检测结果获得用于对复原图像进行复原的系数，并且对复原图像进行复原。
<成像装置321D的配置示例>
在第四实施例中，在图26的成像系统301中使用作为成像装置321的第四实施例的图41中的成像装置321D。注意，在图41中，相同的附图标记被分配给与图28中的成像装置321A的部分对应的部分，并且适当地省略其描述。
成像装置321D与成像装置321A的不同之处在于，设置信号处理控制单元401D来代替信号处理控制单元401A。信号处理控制单元401D与信号处理控制单元401A的不同之处在于增加了检测单元611A。
检测单元611A包括位置检测单元621和倾斜度检测单元622。
位置检测部621例如包括GNSS接收器等，并且检测成像装置321D的当前位置(例如纬度和经度所表示的绝对位置)。位置检测单元621将检测到的位置信息输出到总线B2。
倾斜度检测单元622例如包括加速度传感器或倾斜度传感器，并且检测成像元件121的受光面相对于与重力方向垂直的平面的倾斜度。例如，如图42所示，在重力方向是Z轴、垂直于Z轴并且在东西方向上延伸的方向是X轴、并且垂直于Z轴并且在南北方向上延伸的方向是Y轴的情况下，倾斜度检测单元622检测倾斜度Xθ和Yθ。倾斜度Xθ是X-Z平面中围绕Y轴的倾斜度。倾斜度Yθ是Y-Z平面中围绕X轴的倾斜度。倾斜度检测单元622将检测到的倾斜度信息输出到总线B2。
<成像系统301的处理>
接下来，参考图43到45描述成像系统301的处理。
<信号处理单元312的处理>
首先，参考图43中的流程图描述信号处理单元312的处理。
在步骤S201，如图34中的步骤S101的处理那样发送成像命令。
在步骤S202，如图34中的步骤S102的处理那样，从每个成像装置321D接收成像数据。然而，成像数据的分组的数据结构与图34中的步骤S102的处理中的不同。
图44示出在第四实施例中使用的成像数据的分组的数据结构的示例。
图44中的分组的数据结构与图35中的分组的数据结构的不同之处在于，添加了倾度度Xθ、倾度度Yθ、纬度和经度。
作为倾斜度Xθ和Yθ，分别设置由成像装置321D的倾斜度检测单元622检测到的成像元件121的受光面的倾斜度Xθ和倾斜度Yθ。
作为纬度和经度，分别设置由成像装置321D的位置检测单元621检测到的成像装置321D的当前位置的纬度和经度。
在步骤S203，复原单元501获得用于图像复原的系数。具体地，复原单元501如图34中的步骤S103的处理中那样设置被摄体距离。
接着，复原单元501针对每个成像装置321D计算成像元件121的受光面相对于所设置的被摄体距离处的被摄体面(要复原的被摄体面)的倾斜度的变化量。也就是说，复原单元501与每个成像装置321D从预定基准位置到当前位置的移动相关联地计算成像元件121的受光面相对于被摄体面的倾斜度的变化量。
在下文中，假设成像元件121的受光面和被摄体面在成像装置321D被安装在基准位置的情况下彼此面对，并且是垂直于重力方向的面。此外，在下文中，基准位置的纬度和经度分别被称为基准纬度和基准经度。注意，例如，预先为每个成像装置321D设置基准位置。
在这种情况下，在成像装置321D的纬度和经度以及倾斜角Xθ和倾斜角Yθ从基准位置改变的情况下，从被摄体面的每个点光源到成像元件121的受光面上的光束在X轴方向上的入射角θX的改变量ΔθX和在Y轴方向上的入射角θY的改变量ΔθY分别由下面的等式(9)和(10)表示。
Δθx＝atan((移动后的经度-基准经度)/被摄体距离)+Xθ......(9)
Δθy＝atan((移动后的纬度-基准纬度)/被摄体距离)+Yθ......(10)
也就是说，来自被摄体面的各点光源的光束在成像元件121的受光面上的X轴方向的入射角θX和Y轴方向的入射角θY分别增大ΔθX和ΔθY。
注意，在下文中，入射角θx的变化量Δθx被称为入射角变化量Δθx，而入射角θy的变化量Δθy被称为入射角变化量Δθy。
因此，复原单元501基于每个成像装置321D的纬度、经度、倾斜度Xθ和倾斜度Yθ，计算每个成像装置321D相对于在设置的被摄体距离处的被摄体面31的入射角变化量Δθx和入射角变化量Δθy。入射角变化量Δθx和入射角变化量Δθy是以每个成像装置321D被安装在预定基准位置的情况为基准的入射角θx和入射角θy的变化量。
此时，例如，存储单元506不仅存储在每个成像装置321D被安装在基准位置的情况下在每个被摄体距离处的被摄体面的系数集组，而且存储针对每个被摄体面的入射角变化量Δθx和入射角变化量Δθy中的每一个的系数集组。然后，复原单元501从存储单元506读出与设置的被摄体距离和计算的入射角变化量Δθx和入射角变化量Δθy对应的系数集组，作为与每个成像装置321D对应的系数集组。
或者，例如，在通过使用以上参考图9描述的权重Wx和权重Wy的特性来获得系数的情况下，复原单元501可以基于通过如下方式获得的入射角的权重Wx和权重Wy来获得系数，其中，通过在成像装置321D被安装在基准位置的情况下，将计算的入射角变化量Δθx和入射角变化量Δθy加到来自被摄体面的每个点光源的入射光的入射角θx和入射角θy来获得所述入射角的权重Wx和权重Wy。
在步骤S204，如图34中的步骤S104的处理那样，使用检测信号集和系数来执行图像复原。
在步骤S205，如图34中的步骤S105的处理那样，对复原图像执行各种类型的处理。
此后，信号处理单元312的处理结束。
<成像装置321D的处理>
接下来，参考图45中的流程图，描述由每个成像装置321D执行的与图43中的信号处理单元312的处理相对应的处理。
在步骤S251，如图36中的步骤S151的处理那样接收成像命令。
在步骤S252，如图36中步骤S152的处理那样对被摄体进行成像。
在步骤S253，检测单元611A检测位置和姿态。具体地，位置检测单元621检测成像装置321D的当前位置的纬度和经度，并将检测到的位置信息输出到总线B2。倾斜度检测单元622检测成像装置321D的成像元件121的受光面的倾斜度Xθ和倾斜度Yθ，并将检测出的倾斜度信息输出到总线B2。
在步骤S254，如图36中的步骤S153的处理那样发送成像数据。然而，与步骤S153的处理不同，使用图44中的分组发送成像数据。
此后，成像装置321D的处理结束。
以这种方式，每个成像装置321D检测其自身的位置和姿态，并将其通知给信号处理装置332，从而每个成像装置321D可以自由地安装和移动以执行成像处理，而无需预先设置处理等。
<<7.第五实施例>>
接下来，参照图46至图48描述本公开的第五实施例。
图46的上段和下段示出了与图8的右部一样的、针对成像元件121的特定像素121a的入射光的入射角的受光灵敏度特性。图46的上段示出了像素121a在旋转之前的受光灵敏度特性，而下段示出了像素121a在围绕基准点(0，0)旋转角度α之后的受光灵敏度特性。
例如，来自被摄体面31上的点光源P的以入射角(θx1、θy1)入射在旋转之前的像素121a上的入射光以入射角(θx2、θy2)入射在旋转之后的像素121a。因此，像素121a对入射光的受光灵敏度在旋转之前和之后改变，并且检测信号电平改变。
因此，在成像装置321(成像元件121)的取向改变的情况下，也需要调整系数。
因此，在第五实施例中，每个成像装置321进一步检测每个成像装置321的取向，并且信号处理装置332基于检测结果获得用于对复原图像进行复原的系数，以对复原图像进行复原。
<成像装置321E的配置示例>
在第五实施例中，作为成像装置321的第五实施例的图47中的成像装置321E被用在图26中的成像系统301中。注意，在图47中，相同的附图标记被分配给与图41中的成像装置321D的部分相对应的部分，并且适当地省略其描述。
成像装置321E与成像装置321D的不同之处在于，设置信号处理控制单元401E来代替信号处理控制单元401D。信号处理控制单元401E与信号处理控制单元401D的不同之处在于，设置检测单元611B来代替检测单元611A。
检测单元611B与检测单元611A的不同之处在于增加了地磁气学检测单元623。
地磁气学检测单元623检测成像装置321E的取向，诸如东、西、南和北。例如，检测与成像装置321E的成像元件121的受光面平行的预定轴的取向作为成像装置321E的取向。地磁气学检测单元623将指示检测到的取向的方向信息输出到总线B2。
图48示出从每个成像装置321E发送的成像数据的分组的数据结构的示例。
图48中的分组的数据结构与图44中的分组的数据结构的不同之处在于添加了方向。
作为方向，设置由成像装置321E的地磁气学检测单元623检测到的成像装置321E的取向。
例如，在成像装置321E的取向相对于其安装在基准位置的情况改变角度α的情况下，通过使用上述等式(9)的入射角变化量Δθx和等式(10)的入射角变化量Δθy，由以下等式(11)和(12)表示来自要复原的被摄体面的每个点光源的光束在成像元件121的受光面上的X轴方向上的入射角θx的变化量Δθx'和Y轴方向上的入射角θy的变化量Δθy'。
Δθx'＝Δθx×cosα-Δθy×sinα......(11)
Δθy'＝Δθx×sinα+Δθy×cosα......(12)
然后，信号处理装置332的复原单元501，代替等式(9)中的入射角变化量Δθx和等式(10)中的入射角变化量Δθy，而使用等式(11)中的入射角变化量Δθx'和等式(12)中的入射角变化量Δθy'得到系数集组，并使用所得到的系数集组对复原图像进行复原。因此，使用更适当的系数来对复原图像进行复原，并且提高了复原图像的复原精度和画质。
<<8.第六实施例>>
接下来，参照图49至图52描述本公开的第六实施例。
<成像装置321F的配置示例>
在本公开的第六实施例中，作为成像装置321的第六实施例的图49中的成像装置321F被用在图26中的成像系统301中。注意，在图49中，相同的附图标记被分配给与图47中的成像装置321E的部分相对应的部分，并且适当地省略其描述。
成像装置321F与成像装置321E的不同之处在于，设置信号处理控制单元401F来代替信号处理控制单元401E。信号处理控制单元401F与信号处理控制单元401E的不同之处在于，设置检测单元611C来代替检测单元611B，并且添加驱动单元651。
检测单元611C与检测单元611B的不同之处在于添加了高度检测单元624。
例如，高度检测单元624包括高度传感器。高度检测单元624检测安装成像装置321F的位置的高度，并将指示检测到的高度的高度信息输出到总线B2。
驱动单元651例如包括移动(改变)成像装置321F的位置和姿态的驱动机构。例如，驱动单元651包括在陆地上移动成像装置321F的轮子、在空中移动成像装置的推进器等。可选地，例如，驱动单元651包括移动成像装置321F的取向和倾斜度的致动器等。利用该驱动单元651，成像装置321F可以自己改变位置和姿态。
<成像系统301的处理>
接下来，参照图50至52描述成像系统301的处理。
<信号处理单元312的处理>
首先，参考图50描述信号处理单元312的处理。
在步骤S301中，信号处理单元312发送驱动命令。
具体地，信号处理装置332的控制单元502生成驱动命令并对所生成的驱动命令进行编码。驱动命令包括例如关于要被驱动的成像装置321F的位置和姿态中的至少一个的移动指令，以及要被驱动的成像装置321F的ID。
注意，移动指令可以由绝对位置和姿态指示，或者可以由相对位置和姿态指示。在前者的情况下，例如，成像装置321F移动的位置或姿态由绝对数值(例如，纬度、经度、方向、相对于重力方向的角度等)指示。在后一种情况下，例如，示出了相对于成像装置321F的当前位置或姿态的移动方向和移动量。
控制单元502经由通信单元509将编码后的驱动命令提供给读取器/写入器331。
读取器/写入器331开始发送包括电磁波的载波，并且通过利用编码的驱动命令调制载波，将驱动命令发送到每个成像装置321F。
注意，一个驱动命令可以包括用于多个成像装置321F的移动指令，或者驱动命令可以被单独地发送到每个要被驱动的成像装置321F。在后一种情况下，例如，当多个成像装置321F的位置或姿态改变时，在步骤S301发送多个驱动命令。
要被驱动的成像装置321F根据稍后描述的图52中的步骤S353中的驱动命令的指令来改变位置或姿态。
注意，在不需要改变每个成像装置321F的位置和姿态的情况下，可以省略步骤S301的处理。
在步骤S302，如图34中的步骤S101的处理那样发送成像命令。
在步骤S303，如图34中的步骤S102的处理那样从每个成像装置321F接收成像数据。然而，成像数据的分组的数据结构与图34中的步骤S102的处理中的不同。
图51示出在第六实施例中使用的成像数据的分组的数据结构的示例。
图51中的分组的数据结构与图48中的分组的数据结构的不同之处在于添加了高度。
作为高度，设置由成像装置321F的高度检测单元624检测到的成像装置321F的高度。
在步骤S304，与图43中的步骤S203的处理相同，获得用于图像复原的系数。然而，复原单元501通过使用例如下面的等式(13)和(14)代替上述等式(9)和(10)，进一步考虑成像装置321F的高度，来计算入射角变化量Δθx和入射角变化量Δθy。
Δθx＝atan((移动后的经度-基准经度)/(被摄体距离-高度))+Xθ......(13)
Δθy＝atan((移动后的纬度-基准纬度)/(被摄体距离-高度))+Yθ......(14)
另外，复原单元501使用上述等式(11)和(12)计算入射角变化量Δθx'和入射角变化量Δθy'。然后，复原单元501从存储单元506读出与所设置的被摄体距离和入射角变化量Δθx'和Δθy'相对应的系数集组。
在步骤S305，如图34中的步骤S104的处理那样，使用检测信号集和系数来执行图像复原。
在步骤S306，如图34中的步骤S105的处理那样，对复原图像执行各种类型的处理。
此后，信号处理单元312的处理结束。
<成像装置321F的处理>
接下来，参考图52中的流程图，描述由每个成像装置321F执行的与图50中的信号处理单元312的处理相对应的处理。
在步骤S351中，成像装置321F接收驱动命令。具体地，成像装置321F的天线422接收在图50中的步骤S301开始从读取器/写入器331发送的电磁波，并将接收到的电磁波转换为电力以提供给成像装置321F的每个单元。因此，成像装置321F的每个单元被激活。
接下来，发送/接收单元421解调经由天线422从读取器/写入器331接收的电磁波，并将作为结果获得的编码数据提供给控制单元411。
控制单元411通过对编码数据进行解码来获得驱动命令。
在步骤S352，控制单元411判定是否存在改变位置或姿势的指令。例如，在驱动命令中包括的要被驱动的成像装置的ID与其自身的ID一致的情况下，控制单元411判定存在改变位置或姿态的指令，并且过程转到步骤S353。
在步骤S353，成像装置321F改变位置或姿态。具体地，控制单元411控制驱动单元651，以根据包括在驱动命令中的移动指令来移动成像装置321F的位置或姿态。
此后，过程转到步骤S354。
相对而言，在步骤S352，例如，在驱动命令中包括的要被驱动的成像装置的ID与其自身的ID不一致的情况下，控制单元411判定不存在改变位置或姿态的指令，跳过步骤S353的处理，并且过程转到步骤S354。
在步骤S354，如图36中的步骤S151的处理那样接收成像命令。
在步骤S355，如图36中的步骤S152的处理那样对被摄体进行成像。
在步骤S356，检测单元611C检测位置和姿态。具体地，位置检测单元621检测成像装置321F的当前位置的纬度和经度，并将检测到的位置信息输出到总线B2。倾斜度检测单元622检测成像装置321F的成像元件121的受光面的倾斜度Xθ和Yθ，并将检测到的倾斜度信息输出到总线B2。地磁气学检测单元623检测成像装置321F的取向，并将检测到的方向信息输出到总线B2。高度检测单元624检测成像装置321F的高度，并将检测到的高度信息输出到总线B2。
在步骤S357，如图36中的步骤S153的处理那样发送成像数据。然而，与步骤S153的处理不同，使用图51中的分组发送成像数据。
此后，成像装置321F的处理结束。
如上所述，可以通过远程操作在移动每个成像装置321F的位置和姿态的同时对期望的被摄体进行成像。
此外，由于进一步考虑成像装置321F的高度来获得系数，因此使用更适当的系数来对复原图像进行复原，并且提高了复原图像的复原精度和画质。
注意，尽管以上描述了连续发送驱动命令和成像命令的示例，但是驱动命令和成像命令可以在不同的定时发送。也就是说，可以在不同的定时执行每个成像装置321F的位置或姿态的移动以及成像处理。
此外，例如，每个成像装置321F可以在没有信号处理单元312的指示的情况下自主地改变位置或姿态。在这种情况下，每个成像装置321F需要能够在不从读取器/写入器331接收电力的情况下进行操作。
因此，例如，可以在每个成像装置321F中设置图37中的电源单元451或图38中的电源单元461。或者，例如，可以在每个成像装置321F上安装外部DC电源，或者可以经由电源线从外部提供电力。
<<9.第七实施例>>
接下来，参考图53，描述本公开的第七实施例。
<成像装置321G的配置示例>
在第七实施例中，作为成像装置321的第七实施例的图53中的成像装置321G被用作图26中的成像系统301中的成像装置321。
如上所述，假设成像装置321无序地分布以被使用。然而，在成像装置321是分布式的情况下，成像元件121的受光面121A不必面朝上。例如，如果成像元件121的受光面121A面对地面，则不能从成像装置321获得有效的检测信号集。
因此，例如，可以想到诸如将配重附接到成像装置321的背面等的对策，从而使得成像元件121的受光面121A总是面朝上。然而，即使将配重附接到成像装置321，成像元件121的受光面121A也不总是面朝上，并且成像装置321的尺寸和重量增加。
相对而言，在成像装置321G中，除了前面上的成像元件121的受光面121A之外，具有与成像元件121的配置类似的配置的成像元件701(未示出)的受光面701A被设置在背面(与前面相反的面)上。因此，成像装置321F可以对被摄体进行成像，并且获得有效检测信号集，而不管前面和背面中的哪个面面向前方。
注意，成像装置321G可以判定成像元件121和成像元件701中的哪个有效，并且可以发送仅包括被判定为有效的成像元件的检测信号集的成像数据。例如，成像装置321G可以判定两个成像元件的检测信号集中具有大于平均值的检测信号电平的成像元件是有效的，并且发送仅包括被判定为有效的成像元件的检测信号集的成像数据。
或者，成像装置321G可以总是发送包括两个成像元件的检测信号集的成像数据，并且信号处理装置332可以判定哪个检测信号集是有效的。
此外，成像元件121和成像元件701可以使用一个成像元件形成。在这种情况下，例如，成像元件具有弯曲180°的配置，并且一个面上的像素阵列单元和另一面上的像素阵列单元可以独立地操作。
此外，成像装置321F可以通过使用诸如正四面体或正六面体的具有不同方向的三个或更多个面的多面体来形成，并且成像元件的受光面可以设置在每个面上。
<<10.变型例>>
在下文中，描述了上述本公开的实施例的变型例。
<关于成像装置和成像元件的变型例>
上述成像装置321A至321F的特性可以在可能的范围内组合。
例如，图49中的成像装置321F的高度检测单元624可以被添加到图47中的成像装置321E。或者，例如，图41中的成像装置321D、图47中的成像装置321E或图49中的成像装置321F可以设置有图37中的成像装置321B的电源单元451或图38中的成像装置321C的电源单元461。
此外，例如，在通过从读取器/写入器331提供的电力或通过太阳能发电产生的电力来驱动成像装置321的情况下，假定不能获得足够的电力的情况。为此，在不能获得足够的电力的情况下，可以使部分像素121a无效。
例如，图54的上段和下段示出成像元件121的像素阵列单元的图案的示例。在该示例中，将设置有红色滤波器的R像素、设置有绿色滤波器的G像素、设置有蓝色滤波器的B像素和设置有白色滤波器的W像素的一行×四列的像素块作为一个单位，并且将像素块布置成三行×两列。此外，每个像素121a的黑色部分表示遮光膜121b。注意，在该示例中，所有像素121a的遮光膜121b的遮光范围被设置为相同的范围，但是这不必被设置为相同的范围。
例如，在电力供应充足的情况下，如上段所示，使所有像素121a有效。也就是说，读出所有像素121a的检测信号以便向外部发送。
另一方面，在电力供应不足的情况下，如上段所示，使部分像素121A无效。在该示例中，使得由粗框包围的五个像素块中的像素121a无效。
在此，使像素121a失效的方法例如是停止读出像素121a的检测信号。例如，通过停止无效像素121a的检测信号的AD转换，停止检测信号的读出。
注意，无效像素121a的检测信号可以被外部发送或不被外部发送。在这被外部发送的情况下，例如，具有预定伪值的信号被作为无效像素121a的检测信号发送。
因此，即使在电力供应不足的情况下，也可以将检测信号的一部分提供给信号处理装置332，并且可以继续图像的复原。
注意，可以根据电力缺少量来改变使得无效的像素121a的数量。
此外，例如，除了上述横向带型、纵向带型、L型和设置有矩形开口的类型之外的形状可以被采用作为每个像素121a的遮光膜121b的形状。
此外，例如，在以上参照图5描述的成像元件121中，示出了在一个像素121a中设置两行×两列的四个光电二极管121f的示例，但是光电二极管121f的数量和布置不限于该示例。
例如，如图55所示，在一个像素121a中，例如，对于一个片上透镜121c，可以设置以三行×三列布置的九个光电二极管121f-111至121f-119。也就是说，一个像素输出单位可以包括九个光电二极管121f。
然后，例如，通过不读出光电二极管121f-111、121f-114和121f-117至121f-119的五个像素的信号，可以基本上获得与其中L型的遮光膜121b被设置在光电二极管121f-111、121f-114和121f-117至121f-119的范围内的包括L型的遮光膜121b的像素121a的入射角特性相似的入射角特性。
以这种方式，可以在不设置遮光膜121b的情况下获得与设置遮光膜121b的情况类似的入射角特性。此外，通过切换不读出信号的光电二极管121f的图案，可以如在改变由遮光膜121b遮光的位置和范围的情况那样改变入射角指向性。
此外，在以上描述中，示出了一个像素121a形成一个像素输出单位的示例；然而，多个像素121a可以形成一个像素输出单位。
例如，如图56所示，以三行×三列布置的像素121a-111至121a-119可以形成一个像素输出单位801b。注意，像素121a-111至121a-119中的每一个包括例如一个光电二极管，并且不包括片上透镜。
例如，通过将来自每个像素121a的像素信号相加，可以生成检测图像的一个像素的检测信号，并且通过将来自一些像素121a的像素信号的输出停止或不相加，可以实现像素输出单位801b的入射角指向性。例如，通过将像素121a至112、121a至113、121a至115和121a至116的像素信号相加以产生检测信号，可以获得与在像素121a-111、121a-114和121a-117至121a-119的范围中设置L型的遮光膜121b的情况下类似的入射角指向性。
此外，通过切换像素信号被加和到检测信号的像素121a的图案，可以将入射角指向性设置为与遮光膜121b的遮光位置和范围改变的情况下的值不同的值。
此外，在这种情况下，例如，可以通过改变像素121a的组合来改变像素输出单位的范围。例如，包括像素121a-111、121a-112、121a-114和121a-115的两行×两列的像素121a可以形成像素输出单位801s。
此外，例如，通过记录所有像素121a的像素信号并随后设置像素121a的组合，可以随后设置像素输出单位的范围。此外，通过从所设置的像素输出单位中的像素121a中选择其像素信号被加和到检测信号的像素121a，可以稍后设置像素输出单位的入射角指向性。
此外，尽管在图4中示出了通过使用遮光膜121B作为调制元件并改变对输出有贡献的光电二极管的组合来向各个像素提供不同的入射角指向性的示例，但是在本公开中，例如，还可以通过使用覆盖成像元件901的受光面的滤光器902作为调制元件来向每个像素提供入射角指向性，如图57所示。
具体地说，滤光器902被配置成以与成像元件901的受光面901A隔开预定间隔的方式覆盖受光面901A的整个面。来自被摄体面31的光被滤光器902调制，以入射到成像元件901的受光面901A。
例如，作为滤光器902，可以使用图58所示的具有黑白格子图案的滤光器902BW。在滤光器902BW中，随机地布置透射光的白色图案部分和阻挡光的黑色图案部分。每个图案的尺寸独立于成像元件901的像素尺寸而设置。
图59示出在使用滤光器902BW的情况下，成像元件901对于来自被摄体面31上的点光源PA的光和点光源PB的光的受光灵敏度特性。来自点光源PA的光和来自点光源PB的光被滤光器902BW调制，以入射到成像元件901的受光面901A上。
例如，成像元件901对于来自点光源PA的受光灵敏度特性为波形Sa。也就是说，由于滤光器902BW的黑色图案部分产生阴影，因此对于来自点光源PA的光，在受光面901A上的图像中产生阴影图案。类似地，成像元件901对于来自点光源PB的受光灵敏度特性为波形Sb。也就是说，由于滤光器902BW的黑色图案部分产生阴影，因此对于来自点光源PB的光，在受光面901A上的图像中产生阴影图案。
注意，来自点光源PA的光和来自点光源PB的光相对于滤光器902BW的每个白色图案部分具有不同的入射角，从而在受光面上存在阴影图案的外观的偏移。因此，成像元件901的每个像素对于被摄体面31上的每个点光源具有入射角指向性。
该方法例如在上述非专利文献1中详细地公开。
注意，图60中的滤光器902HW可以用于代替滤光器902BW的黑色图案部分。滤光器902HW包括具有相同偏振方向的线性偏振元件911A和911B以及半波板912，并且半波板912被插入线性偏振元件911A和911B之间。半波板912包括由斜线表示的偏振部分，以代替滤光器902BW的黑色图案部分，并且白色图案部分和偏振部分被随机布置。
线性偏振元件911A仅透射从点光源PA发射的基本上非偏振光中预定偏振方向的光。在下文中，假设线性偏振元件911A仅透射偏振方向与图平行的光。在透过线性偏振元件911A的偏振光中，透过半波板912的偏振部分的偏振光的偏振面旋转，并且偏振方向在垂直于图的方向上改变。另一方面，在透过线性偏振元件911A的偏振光中，透过半波板912的白色图案部分的偏振光的偏振方向与平行于图的方向保持不变。然后，线性偏振元件911B透射透过白色图案部分的偏振光，而几乎不透射透过偏振部分的偏振光。因此，与透过白色图案部分的偏振光相比，透过偏振部分的偏振光的量减少。因此，在成像元件901的受光面901A上，生成与使用了滤光器BW的情况基本相同的阴影图案。
此外，如图61的A所示，光学干涉掩模可以用作滤光器902LF。从点光源PA发射的光和从被摄体面31的点光源PB发射的光经由滤光器902LF发射到成像元件901的受光面901A。如图61的A的下部的放大图所示，例如，滤光器902LF的光入射面包括大约波长的不规则性。此外，在滤光器902LF中，在垂直方向上发射的具有特定波长的光的透射最大。当从被摄体面31的点光源PA和PB发射的具有特定波长的光束在滤光器902LF上的入射角的变化(相对于垂直方向的倾斜度)增加时，光路长度改变。这里，当光路长度是半波长的奇数倍时，光束彼此削弱，而当光路长度是半波长的偶数倍时，光束彼此加强。也就是说，从点光源PA和PB发射并且透过滤光器902LF的具有特定波长的透射光束的强度如图61的B所示那样根据相对于滤光器902LF的入射角而被调制，以入射至成像元件901的受光面901A。因此，从成像元件901的每个像素输出单位输出的检测信号是通过组合每个像素输出单位的点光源的调制后的光强度而获得的信号。
该方法例如在上述专利文献1中详细公开。
注意，在专利文献1和非专利文献1的方法中，不可能如使用上述图4中的像素121a或图5中的像素121a的成像元件121那样，在不影响相邻像素的情况下，在像素121a单元中独立地设置入射角指向性。因此，例如，在滤光器902BW的图案或滤光器902LF的衍射光栅的图案不同的情况下，成像元件901的至少多个相邻像素的入射角指向性彼此不同。此外，位于接近位置的像素121a具有彼此接近的入射角指向性。
此外，本公开还可应用于对诸如红外光的可见光以外的波长的光进行成像的成像装置和成像元件。在这种情况下，复原图像不是用户可以视觉识别被摄体的图像，而是用户不能视觉识别被摄体的图像。注意，由于普通成像透镜难以透射远红外光，因此本技术在例如对远红外光进行成像的情况下是有效的。因此，复原图像可以是远红外光图像，并且除了远红外光图像之外，还可以是可见光图像或非可见光图像。
<关于信号处理单元的变型例>
例如，信号处理装置332的关联部504可以将从各成像装置321取得的检测信号集和与各检测信号集对应的元数据相关联。在这种情况下，例如，可以省略图28、37、38、41、47和49中的关联单元412。
此外，元数据例如可以包括或不包括在复原时的系数集组。在后一种情况下，例如，表示复原时的被摄体距离和视角以及各成像装置321的成像时的位置和姿态(例如，纬度、经度、倾斜度Xθ、倾斜度Yθ、方位、高度等)的数据被包括在元数据中。
注意，只要可以指定检测信号集和元数据之间的对应关系，就不特别限制将检测信号集和元数据相关联的方法。例如，通过将元数据分配给包括检测信号集的数据，将相同的ID分配给检测信号集和元数据，或者将检测信号集和元数据记录在相同的记录介质508上，检测信号集和元数据被彼此相关联。此外，元数据可以与每个检测信号集单独地相关联，或者元数据可以与检测信号集合为一个的数据相关联。
此外，不总是需要使用所有成像装置321的检测信号集来对复原图像进行复原；例如，复原单元501可以使用部分成像装置321的检测信号集来对复原图像进行复原。
例如，可以为每个成像装置321提供适合于对具有不同的被摄体距离或视角的被摄体面进行成像的成像元件121。然后，例如，在可以指定被摄体距离和视角的情况下，复原单元501可以通过仅使用适合于指定的被摄体距离和视角的成像装置321的检测信号集而不使用所有成像装置321的检测信号集来对复原图像进行复原。在这种情况下，不总是需要使适当的被摄体距离和视角在所有成像装置321中不同，并且它们在部分成像装置321中可以相同。
此外，例如，复原单元501可以基于简单复原的复原图像(以下称为简单的复原图像)来选择用于对复原图像进行复原的检测信号集。
具体地，首先，复原单元501使用所有成像装置321的检测信号集简单地对复原图像进行复原。例如，复原单元501在包括在每个检测信号集中的每个像素121a的检测信号中稀疏预定像素121a的检测信号，并且以少量像素简单地执行复原处理。或者，复原单元501例如通过限制运算量(例如，迭代操作的次数等)来简单地执行复原处理。
接下来，复原单元501基于例如简单复原的图像来设置主被摄体。设置主被摄体的方法是任意的。例如，复原单元501将简单复原的图像中的最大被摄体或简单复原的图像中的预定类型的被摄体(例如，人物等)设置为主被摄体。或者，例如，用户可以视觉地识别简单复原的图像，并将简单复原的图像中的期望被摄体设置为主被摄体。
接着，复原单元501选择用于复原图像的复原的检测信号集。
具体地，可以基于例如每个成像装置321的位置和姿态以及每个像素121a的遮光范围来估计每个成像装置321的每个像素121a在真实世界中的成像范围。此外，例如，可以基于简单复原的图像中的主被摄体的位置等来估计主被摄体在真实世界中的位置。因此，复原单元501基于每个像素121a在真实世界中的成像范围和主被摄体在真实世界中的位置，从所有成像装置321的检测信号集中提取包括主被摄体(主被摄体被成像)的检测信号集，并选择该检测信号集作为要用于对复原图像进行复原的检测信号集。
或者，例如，复原单元501选择用作主设备(以下称为主传感器)的成像元件121。例如，复原单元501基于每个像素121a在真实世界中的成像范围和主被摄体在真实世界中的位置，估计每个成像装置321的成像元件121的成像范围内的主被摄体的尺寸和位置。然后，复原单元501选择具有主被摄体的最合适的尺寸和位置的成像元件121作为主传感器。
注意，主被摄体的适当尺寸和位置根据主被摄体的类型、要捕获的场景等而变化。
接下来，复原单元501从除主传感器之外的成像元件121中提取例如成像范围与主传感器的成像范围重叠的区域的比率等于或大于预定阈值的成像元件121。复原单元501选择主传感器的检测信号集和所提取的成像元件121的检测信号集作为用于复原图像的复原的检测信号集。
然后，复原单元501使用所选择的检测信号集执行复原图像的复原处理。例如，复原单元501通过使用与从其获得所选择的检测信号集的每个成像装置321的每个像素121a对应的系数集创建并求解上述联立方程来对复原图像进行复原。
因此，可以在保持复原图像中的主被摄体的良好画质(例如，分辨率等)的同时，减少复原处理的负荷。
注意，可以进一步从所选择的成像装置321的像素121a中选择用于复原图像的复原的像素121a。例如，复原单元501可以从所选择的检测信号集中选择其成像范围与主被摄体重叠的像素121a的检测信号，并且使用所选择的检测信号来对复原图像进行复原。
此外，在以上描述中，描述了基于预定基准位置(基准纬度、基准经度)设置用于计算等式(9)至(14)的坐标系(以下称为基准坐标系)的示例；然而，基准位置可以是可变的。
例如，可以基于主被摄体的位置来设置基准位置。例如，可以将主被摄体的预定位置(例如，重心)在真实世界中的位置设置为基准位置。
或者，例如，可以基于主传感器的位置来设置基准位置。例如，可以将主传感器的预定位置(例如，中心、左上角等)处的像素设置为基准位置。
在这种情况下，例如，可以基于主传感器来设置基准坐标系。例如，基于主传感器的像素区域的坐标系，可以设置基准坐标系的X轴和Y轴，并且可以将与主传感器的受光面垂直的轴设置为基准坐标系的Z轴。
此外，例如，可以基于主被摄体来设置复原图像的被摄体距离和视角。例如，可以设置复原图像的被摄体距离，使得主被摄体的画质最佳。此外，例如，可以设置复原图像的视角，使得主被摄体在复原图像中具有适当的尺寸。
注意，例如，在成像系统301是在无限远的假设下设计的情况下，被摄体距离总是被设置为无限远。
<关于系统配置的变型例>
图26中的成像系统301的配置可以改变。
例如，可以将读取器/写入器331和信号处理装置332一体化，或者可以在读取器/写入器331中设置信号处理装置332的一部分功能。
此外，可以在部分成像装置中设置读取器/写入器331的功能和信号处理装置332的功能。
图62示出作为成像系统的第一变型例的成像系统1001的配置示例。注意，在附图中，与图26中的成像系统301的部分相对应的部分被分配有相同的附图标记，并且适当地省略其描述。
成像系统1001与成像系统301的不同之处在于，设置成像单元1011来代替成像单元311，并且删除读取器/写入器331。成像单元1011与成像单元311的不同之处在于添加了成像装置1021。
成像装置1021具有读取器/写入器331的功能。也就是说，成像装置1021与每个成像装置321执行短距离无线通信，并且向每个成像装置321提供电力。然后，成像装置1021将成像命令发送到每个成像装置321，控制每个成像装置321对被摄体的成像，并且还通过其自身对被摄体进行成像。然后，成像装置1021从每个成像装置321接收成像数据，并且将从每个成像装置321接收到的成像数据和通过其自身进行成像获得的成像数据发送到信号处理装置332。也就是说，成像装置1021起到将来自每个成像装置321的成像数据中继到信号处理装置332的作用。
注意，成像装置1021包括例如与图37中的成像装置321B的电源单元451或图38中的成像装置321C的电源单元461类似的电源单元，并且可以在没有从读取器/写入器331提供的电力的情况下进行操作。
此外，在成像系统1001中，成像装置321的数量可以是一个。
图63示出作为成像系统的第二变型例的成像系统1101的配置示例。注意，在附图中，与图26中的成像系统301的部分相对应的部分被分配有相同的附图标记，并且适当地省略其描述。
成像系统1101与成像系统301的不同之处在于，设置成像单元1111来代替成像单元311，并且删除读取器/写入器331和信号处理装置332。成像单元1111与成像单元311的不同之处在于添加了成像装置1121。
成像装置1121具有与图62中的成像装置1021的功能类似的功能以及与图26中的信号处理装置332的功能类似的功能。然后，成像装置1121基于从每个成像装置321接收到的成像数据和通过其自身进行成像获得的成像数据，执行复原图像的复原处理等。
注意，在成像系统1101中，成像装置321的数量可以是一个。
<其他变型例>
此外，在以上描述中，描述了每个成像装置321检测其自身的位置和姿态并将检测结果通知给信号处理单元312的示例；然而，例如，可以从外部检测各成像装置321的位置和姿势。例如，可以从外部对安装各成像装置321的区域进行成像，并且可以基于捕获图像来检测各成像装置321的位置和姿势。此外，例如，读取器/写入器331或信号处理装置332可以具有这种检测功能。
此外，在上述示例中，描述了检测位置(绝对位置)、倾斜度、取向和高度作为成像装置321的位置和姿态的示例，但是可以自由地改变组合。此外，可以检测表示成像装置321的位置或姿态的其他数据。此外，例如，可以仅检测成像装置321的位置和姿态中的一个。
此外，例如，通过应用诸如深度学习的机器学习，还可以使用复原之前的检测图像和所设置的检测信号来执行图像识别等，而不使用复原之后的复原图像。在这种情况下，通过使用本技术，也提高了使用复原之前的检测图像的图像识别的精度。换句话说，改善了复原之前的检测图像的画质。
<<11.其他>>
上述一系列处理可以由硬件执行，或者可以由软件执行。在由软件执行一系列处理的情况下，在计算机上安装形成软件的程序。这里，计算机包括例如结合在专用硬件中的计算机(例如，控制单元123等)。
由计算机执行的程序可以记录在作为例如要提供的封装介质等的记录介质(例如，记录介质130等)中。此外，程序可以借助于诸如局域网、因特网和数字广播的有线或无线传输介质来提供。
注意，由计算机执行的程序可以是按照本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是并行地或者在诸如发出调用时的所需定时执行处理的程序。
此外，在本说明书中，系统旨在表示多个组件(装置、模块(部件)等)的集合体，并且所有组件是否在同一壳体中都无关紧要。因此，收纳在不同壳体中并通过网络连接的多个装置和通过在一个壳体中收纳多个模块而获得的一个装置都是系统。
此外，本技术的实施例不限于上述实施例，并且可以在不脱离本技术的要旨的情况下进行各种修改。
例如，本技术可以被配置为云计算，其中，功能由多个装置通过网络共享以一起处理。
此外，上述流程图中描述的每个步骤可以由一个装置执行，或者由多个装置以共享的方式执行。
此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者由多个装置以共享的方式执行。
注意，本公开还可以具有以下配置。
(1)一种成像装置，包括：
成像元件，该成像元件包括一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位分别接收不经由成像透镜或针孔的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号；以及
通信单元，该通信单元通过无线通信将包括所述检测信号集和指示位置或姿态中的至少一个的位置姿态数据的成像数据发送到通信装置。
(2)根据上述(1)所述的成像装置，
其中，至少一个所述像素输出单位具有能够独立地设置入射角指向性的配置，所述入射角指向性指示相对于入射光的入射角的指向性。
(3)根据上述(2)所述的成像装置，
其中，所述成像元件包括具有分别不同的检测波长的多个像素输出单位。
(4)根据上述(3)所述的成像装置，
其中，各个所述像素输出单位的入射角指向性相同。
(5)根据上述(2)所述的成像装置，
其中，所述成像元件包括具有相同检测波长的多个像素输出单位，以及
各个所述像素输出单位的入射角指向性彼此不同。
(6)根据上述(1)至(5)中任一项所述的成像装置，还包括：
检测单元，其检测所述成像装置的位置或姿态中的至少一个。
(7)根据上述(6)所述的成像装置，
其中，所述位置姿态数据包括所述成像装置的绝对位置、倾斜度、取向和高度中的至少一个。
(8)根据上述(6)或(7)所述的成像装置，还包括：
驱动单元，其通过从所述通信装置发送的指令来改变所述成像装置的位置或姿态中的至少一个。
(9)根据上述(1)至(8)中任一项所述的成像装置，
其中，所述成像数据包括用于识别所述成像装置的识别信息。
(10)根据上述(1)至(9)中任一项所述的成像装置，还包括：
具有不同方向的多个受光面。
(11)根据上述(10)所述的成像装置，还包括：
分别包括各所述受光面的多个成像元件。
(12)根据上述(11)所述的成像装置，
其中，所述通信单元发送包括所述多个成像元件中的有效成像元件的检测信号的成像数据。
(13)根据上述(10)至(12)中任一项所述的成像装置，还包括：
设置在所述成像装置的第一面上的第一受光面；以及
设置在所述成像装置的与第一面相反的第二面上的第二受光面。
(14)根据上述(1)至(13)中任一项所述的成像装置，
其中，所述通信单元从所述通信装置接收由电磁波供应的电力。
(15)根据上述(14)所述的成像装置，
其中，所述成像元件包括两个或更多个所述像素输出单位，并且根据从所述通信装置供应的电力使部分所述像素输出单位无效。
(16)根据上述(1)至(13)中任一项所述的成像装置，还包括：
电源单元，其提供用于驱动所述成像元件和所述通信单元的电力。
(17)根据上述(16)所述的成像装置，
其中，所述电源单元具有发电功能。
(18)根据上述(17)所述的成像装置，
其中，所述电源单元通过太阳光发电，以及
所述电源单元的光电转换单元和所述成像元件的光电转换单元形成在同一半导体基板上。
(19)一种信号处理装置，包括：
复原单元，其通过使用来自多个成像装置的多个成像数据中分别包括的多个检测信号集来对复原图像进行复原，每个成像装置包括：成像元件，该成像元件包括一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位分别接收不经由成像透镜或针孔的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号。
(20)根据上述(19)所述的信号处理装置，
其中，每个所述成像数据包括指示每个所述成像装置的位置或姿态中的至少一个的位置姿态数据，以及
所述复原单元还通过使用每个所述成像装置的位置姿态数据来对所述复原图像进行复原。
(21)根据上述(19)或(20)所述的信号处理装置，
其中，所述复原单元通过使用每个所述像素输出单位的检测信号和多个系数来对所述复原图像进行复原，所述多个系数指示每个所述像素输出单位相对于来自被摄体的入射光的入射角的指向性。
(22)根据上述(19)至(21)中任一项所述的信号处理装置，还包括：
通信单元，其通过无线通信从所述多个成像装置接收所述多个成像数据，并且通过电磁波将电力供应给所述多个成像装置中的一个或多个。
注意，在本说明书中描述的效果仅是说明性的而不是限制性的。可以还存在其他效果。
附图标记列表
101 成像装置
111 信号处理控制单元
121 成像元件
121a，121a' 像素
121A 受光面
121b 遮光膜
121c 片上透镜
121e，121f 光电二极管
122 复原单元
123 控制单元
125 检测单元
126 关联单元
301 成像系统
311 成像单元
312 信号处理单元
321、321A至321G 成像装置
331 读取器/写入器
332 信号处理装置
401A至401F 信号处理控制单元
411 控制单元
412 关联单元
414 通信单元
421 发送/接收单元
422 天线
451，461 电源单元
471 光电转换单元
472 电力存储装置
501 复原单元
502 控制单元
504 关联单元
611A至611C 检测单元
621 位置检测单元
622 倾斜度检测单元
623 地磁气学检测单元
624 高度检测单元
651 驱动单元
701 成像元件
701A 受光面
801b，801s 像素输出单位
901 成像元件
901A 受光面
902、902BW，902F 滤光器
1001 成像系统
1011 成像单元
1021 成像装置
1101 成像系统
1111 成像单元
1121 成像装置

Claims (20)

1.一种成像装置，包括：
成像元件，该成像元件包括一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位分别接收既不经由成像透镜又不经由针孔入射的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号，其中，至少一个所述像素输出单位具有能够独立地设置入射角指向性的配置，所述入射角指向性指示相对于入射光的入射角的指向性；以及
通信单元，该通信单元通过无线通信将包括所述检测信号集和指示位置或姿态中的至少一个的位置姿态数据的成像数据发送到通信装置。
2.根据权利要求1所述的成像装置，
其中，所述成像元件包括具有分别不同的检测波长的多个像素输出单位。
3.根据权利要求2所述的成像装置，
其中，各个所述像素输出单位的入射角指向性相同。
4.根据权利要求1所述的成像装置，
其中，所述成像元件包括具有相同检测波长的多个像素输出单位，以及
各个所述像素输出单位的入射角指向性彼此不同。
5.根据权利要求1所述的成像装置，还包括：
检测单元，其检测所述成像装置的位置或姿态中的至少一个。
6.根据权利要求5所述的成像装置，
其中，所述位置姿态数据包括所述成像装置的绝对位置、倾斜度、取向和高度中的至少一个。
7.根据权利要求5所述的成像装置，还包括：
驱动单元，其通过从所述通信装置发送的指令来改变所述成像装置的位置或姿态中的至少一个。
8.根据权利要求1所述的成像装置，
其中，所述成像数据包括用于识别所述成像装置的识别信息。
9.根据权利要求1所述的成像装置，还包括：
具有不同方向的多个受光面。
10.根据权利要求9所述的成像装置，还包括：
分别包括各所述受光面的多个成像元件。
11.根据权利要求10所述的成像装置，
其中，所述通信单元发送包括所述多个成像元件中的有效成像元件的检测信号的成像数据。
12.根据权利要求9所述的成像装置，还包括：
设置在所述成像装置的第一面上的第一受光面；以及
设置在所述成像装置的与第一面相反的第二面上的第二受光面。
13.根据权利要求1所述的成像装置，
其中，所述通信单元从所述通信装置接收由的电磁波供应的电力。
14.根据权利要求13所述的成像装置，
其中，所述成像元件包括两个或更多个所述像素输出单位，并且根据从所述通信装置供应的电力使部分所述像素输出单位无效。
15.根据权利要求1所述的成像装置，还包括：
电源单元，其提供用于驱动所述成像元件和所述通信单元的电力。
16.根据权利要求15所述的成像装置，
其中，所述电源单元具有发电功能。
17.根据权利要求16所述的成像装置，
其中，所述电源单元通过太阳光发电，以及
所述电源单元的光电转换单元和所述成像元件的光电转换单元形成在同一半导体基板上。
18.一种信号处理装置，包括：
复原单元，其通过使用来自多个成像装置的多个成像数据中分别包括的多个检测信号集来对复原图像进行复原，每个成像装置包括：成像元件，该成像元件包括一个或多个像素输出单位并且输出包括一个或多个检测信号的检测信号集，所述一个或多个像素输出单位分别接收既不经由成像透镜又不经由针孔入射的来自被摄体的入射光，并且输出一个指示由所述入射光的入射角调制的输出像素值的检测信号，
其中，所述复原单元通过使用每个所述像素输出单位的检测信号和多个系数来对所述复原图像进行复原，所述多个系数是基于入射角变化量确定的。
19.根据权利要求18所述的信号处理装置，
其中，每个所述成像数据包括指示每个所述成像装置的位置或姿态中的至少一个的位置姿态数据，以及
所述复原单元还通过使用每个所述成像装置的位置姿态数据来对所述复原图像进行复原。
20.根据权利要求18所述的信号处理装置，还包括：
通信单元，其通过无线通信从所述多个成像装置接收所述多个成像数据，并且通过电磁波将电力供应给所述多个成像装置中的一个或多个。
CN201880066133.5A 2017-10-19 2018-10-19 成像装置和信号处理装置 Active CN111201779B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017202861 2017-10-19
JP2017-202861 2017-10-19
PCT/JP2018/038943 WO2019078336A1 (ja) 2017-10-19 2018-10-19 撮像装置および信号処理装置

Publications (2)

Publication Number Publication Date
CN111201779A CN111201779A (zh) 2020-05-26
CN111201779B true CN111201779B (zh) 2022-11-01

Family

ID=66173307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880066133.5A Active CN111201779B (zh) 2017-10-19 2018-10-19 成像装置和信号处理装置

Country Status (5)

Country Link
US (1) US11431911B2 (zh)
EP (1) EP3700192B1 (zh)
JP (1) JP7259756B2 (zh)
CN (1) CN111201779B (zh)
WO (1) WO2019078336A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368609B2 (en) * 2017-10-19 2022-06-21 Sony Corporation Electronic apparatus
JP7238887B2 (ja) * 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子
JPWO2022244354A1 (zh) * 2021-05-17 2022-11-24
JP2023042368A (ja) * 2021-09-14 2023-03-27 株式会社東芝 固体撮像素子、及び固体撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186674A (ja) * 2011-03-07 2012-09-27 Hitachi Kokusai Electric Inc 監視カメラシステム
JP2013005394A (ja) * 2011-06-21 2013-01-07 Konica Minolta Advanced Layers Inc 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN104854496A (zh) * 2012-11-22 2015-08-19 富士胶片株式会社 摄像装置、散焦量运算方法及摄像光学系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731305B1 (en) * 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
JP4141800B2 (ja) * 2002-11-01 2008-08-27 株式会社リコー デジタルカメラ
JP2006229583A (ja) * 2005-02-17 2006-08-31 Eastman Kodak Co 通信システム及びデジタルカメラ並びにドック装置
GB2434934A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Processing coded aperture image data by applying weightings to aperture functions and data frames
JP2009200752A (ja) * 2008-02-20 2009-09-03 Panasonic Corp カメラモジュール
US8862987B2 (en) 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
JP5277063B2 (ja) * 2009-04-20 2013-08-28 パナソニック株式会社 集光素子、集光素子群および固体撮像装置
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
JP5496794B2 (ja) * 2010-07-01 2014-05-21 パナソニック株式会社 固体撮像装置
JP2013132139A (ja) * 2011-12-21 2013-07-04 Nikon Corp 電子機器、撮像装置、および電子機器の制御プログラム
CN104025581B (zh) * 2011-12-28 2015-06-03 富士胶片株式会社 摄像装置
EP2965134A1 (en) 2013-03-05 2016-01-13 Rambus Inc. Phase gratings with odd symmetry for high-resoultion lensless optical sensing
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
JP6344473B2 (ja) 2014-07-16 2018-06-27 株式会社リコー システム、機械、制御方法、プログラム
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
EP3251338A1 (en) 2015-01-29 2017-12-06 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
JP6632239B2 (ja) * 2015-07-22 2020-01-22 キヤノン株式会社 無線通信可能な電子機器、その制御方法、プログラム
US10462377B2 (en) * 2016-07-29 2019-10-29 Nokia Of America Corporation Single-aperture multi-sensor lensless compressive image acquisition
US20180035046A1 (en) * 2016-07-29 2018-02-01 Xin Yuan Block-based lensless compressive image acquisition
US10616516B2 (en) * 2016-09-30 2020-04-07 Planet Labs Inc. Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor
CN110140348B (zh) * 2016-12-27 2020-12-25 富士胶片株式会社 摄像装置及摄像模块
US11257856B2 (en) * 2017-10-13 2022-02-22 Trustees Of Boston University Lens-free compound eye cameras based on angle-sensitive meta-surfaces
US10594914B2 (en) * 2018-04-10 2020-03-17 The Boeing Company Paint applied camera system
US10984287B2 (en) * 2018-05-14 2021-04-20 Panasonic Intellectual Property Management Co., Ltd. Learning device, learning method, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186674A (ja) * 2011-03-07 2012-09-27 Hitachi Kokusai Electric Inc 監視カメラシステム
JP2013005394A (ja) * 2011-06-21 2013-01-07 Konica Minolta Advanced Layers Inc 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN104854496A (zh) * 2012-11-22 2015-08-19 富士胶片株式会社 摄像装置、散焦量运算方法及摄像光学系统

Also Published As

Publication number Publication date
EP3700192B1 (en) 2023-08-30
CN111201779A (zh) 2020-05-26
WO2019078336A1 (ja) 2019-04-25
JP7259756B2 (ja) 2023-04-18
EP3700192A4 (en) 2020-11-18
EP3700192A1 (en) 2020-08-26
JPWO2019078336A1 (ja) 2020-12-17
US11431911B2 (en) 2022-08-30
US20200358959A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
CN111201779B (zh) 成像装置和信号处理装置
US20220182562A1 (en) Imaging apparatus and method, and image processing apparatus and method
CN111201783B (zh) 成像装置和方法以及图像处理装置和方法
KR20200074101A (ko) 촬상 장치 및 방법, 및, 화상 처리 장치 및 방법
CN111201782B (zh) 成像器件、图像处理装置、图像处理方法和记录介质
CN112106343A (zh) 信息处理装置、信息处理方法、程序和信息处理系统
CN111201778B (zh) 成像装置、曝光控制方法、计算机可读存储介质和成像器件
CN111201777B (zh) 信号处理装置和成像装置
CN111989916B (zh) 成像设备和方法、图像处理设备和方法以及成像元件
US11895401B2 (en) Camera module for high resolution auto focusing and electronic device including same
CN111886856A (zh) 成像元件、成像装置以及信息处理方法
US11997405B2 (en) Electronic device integrating phase difference detection and imaging and method for controlling the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant