CN110140348B - 摄像装置及摄像模块 - Google Patents

摄像装置及摄像模块 Download PDF

Info

Publication number
CN110140348B
CN110140348B CN201780080878.2A CN201780080878A CN110140348B CN 110140348 B CN110140348 B CN 110140348B CN 201780080878 A CN201780080878 A CN 201780080878A CN 110140348 B CN110140348 B CN 110140348B
Authority
CN
China
Prior art keywords
image
projection
light
azimuth
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780080878.2A
Other languages
English (en)
Other versions
CN110140348A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110140348A publication Critical patent/CN110140348A/zh
Application granted granted Critical
Publication of CN110140348B publication Critical patent/CN110140348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces
    • G02B3/08—Simple or compound lenses with non-spherical faces with discontinuous faces, e.g. Fresnel lens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本发明的目的在于提供一种不使用透镜而在广的视角中针对各自不同的多个方向单独获得良好的画质的复原图像的摄像装置及用于这种摄像装置的摄像模块。本发明的一方式所涉及的摄像装置中，通过定向传感器将入射光按多个方位区域划分，从与这些方位区域对应而获取的多个投影像复原与各方位区域对应的图像，因此来自倾斜方向的入射光不会对来自正面方向的入射光成为干扰，能够遍及正面方向至倾斜方向的广范围，按每个方位区域单独获取投影像。因此，通过进行与图案掩模及投影像的性质相应的复原处理，能够不使用透镜而在广的视角中针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像。

Description

摄像装置及摄像模块
技术领域
本发明涉及一种摄像装置及摄像模块，尤其涉及一种以无透镜的方式获取被摄体的图像的摄像装置及摄像模块。
背景技术
摄像装置及摄像模块中，一般是使用透镜使被摄体的光学像成像的类型，但近年来正在开发以无透镜的方式获取被摄体的图像的技术。例如下述非专利文献1中，将菲涅耳波带片靠近成像元件配置，对使通过来自被摄体的光形成于成像元件上的投影像和与菲涅耳波带片对应的投影图案重叠而产生的莫尔条纹进行傅里叶转换，由此能够以无透镜的方式获取被摄体的像。
并且，下述非专利文献2中，靠近成像元件配设设置有格子状的图案的掩模，复原通过该掩模形成于成像元件上的投影像，由此能够以无透镜的方式获取被摄体的像。
以往技术文献
非专利文献
非专利文献1：“开发能够在动态摄影之后容易进行焦点调整的无透镜相机技术”、[online，网络]、2016年11月15日、Hitachi，Ltd.、[2016年12月15日检索]、互联网(http：//www.hitachi.co.jp/New/cnews/month/2016/11/1115.html)
非专利文献2：“能够以无透镜的方式对图像进行摄影的新技术「FlatCam」”、[online，网络]、2015年11月25日、ASCII.JP、[2016年12月13日检索]、互联网(http：//ascii.jp/elem/000/001/083/1083322/)
发明内容
发明要解决的技术课题
根据如非专利文献1、2的技术，不需要用于成像的透镜，因此能够使摄像装置(尤其在光轴方向)小型化，并且，能够进行在摄影之后获得对焦距离不同的图像的所谓的“事后聚焦”。然而，这种以往的技术具有以下说明的课题。
<使用了莫尔条纹的图像复原的原理与课题>
首先，对使用了如非专利文献1那样的莫尔条纹的图像复原的原理及课题进行说明。
<图像复原的原理>
图23为表示被摄体(点光源)存在于无限远方时形成于影像传感器(成像元件)上的菲涅耳波带片的投影像的图。如图23的(b1)部分所示，被摄体(点光源P0)存在于靠近正面的方向时，使通过菲涅耳波带片F0形成于影像传感器ims上的投影像和与菲涅耳波带片F0对应的投影图案重叠，则如图23的(a1)部分所示那样产生间隔宽的莫尔条纹。对产生该莫尔条纹的图案进行二维傅里叶转换，由此能够复原原来的点光源P0的像。而且，如(b2)部分所示，点光源P0从图23的(b1)部分的状态向倾斜方向移动，则如(a2)部分所示那样莫尔条纹的间隔变窄且条数增加。如(b3)部分所示，点光源P0进一步向倾斜方向移动，则如(a3)部分所示那样莫尔条纹间隔进一步变窄且条数增加。
图24为被摄体(点光源P1)存在于有限距离的情况，图25为表示与图24对应的图像的解码的情况的图。如图24的(a)部分那样，点光源P1存在于几乎正面方向时，如图25的(a1)部分那样同心圆状的投影像产生于影像传感器ims的中央附近，对该投影像重叠如(a2)部分那样同心圆的中心存在于图案的中心的投影图案，则获得如(a3)部分那样间隔宽的莫尔条纹。相对于此，如图24的(b)部分那样，点光源P1存在于倾斜方向时，如图25的(b1)部分那样投影像向图的右方向位移，对其重叠如(b2)部分那样的投影图案(与(a2)部分相同)，则获得如(b3)部分那样比(a3)部分间隔变窄且条数多的莫尔条纹。如图24的(c)部分那样，点光源P1进一步存在于倾斜方向时，如图25的(c1)部分那样投影像进一步向图的右方向位移，对其重叠如(c2)部分那样的投影图案(与(a2)部分、(b2)部分相同)，则获得如(c3)部分那样比(b3)部分间隔进一步变窄且条数多的莫尔条纹。另外，图25的(a1)部分～(c3)部分中，周边部分成为图案的间距变细而难以辨别明暗的状态。
如此，点光源P1越存在于远离正面的方向，菲涅耳波带片F0的投影像位移得越大，莫尔条纹的间距变得越细。投影像因光的衍射影响而模糊，因此细的图案未形成于影像传感器ims而成为无信号(明暗)强弱的状态。并且，影像传感器ims的分辨率是有限的，因此难以检测点光源P1存在于远离正面的方向时形成的细的莫尔条纹(如图25的(c3)部分那样的条纹)。若无法作为莫尔条纹而检测，则即使进行傅里叶转换，也无法复原成点像，因此无法获得被摄体(点光源P1)的信息，但即使在这样的情况下，光仍然入射到影像传感器ims。因此，从远离正面的倾斜方向入射的光成为仅增加影像传感器ims的输入信号的不必要的偏差成分。如此，不必要的偏差成分增加这一情况将会导致掩盖原本想要的信号(平行的莫尔条纹)的成分，由此导致SN比的降低。即，若接收广的角度范围的光，则SN比降低。
这种情况下，若按每个入射的方向获得个别的投影像，则通过对该投影像重叠投影图案(如图25的(a2)部分、(b2)部分、(c2)部分那样的图案)，能够获得相对于从倾斜方向入射的光也能够通过影像传感器ims检测的莫尔条纹。然而，以往的技术中，不同的方向(正面方向、倾斜方向)的光会在影像传感器上重叠，无法分离不同的方向的投影像而单独获取，因此无法单独获得与多个不同的方向对应的莫尔条纹，其结果，如上述那样，从倾斜方向入射的光成为偏差成分而导致复原图像的SN比降低。
针对这种问题，参考图26～图28进一步进行说明。图26为表示点光源P2A、P2B、P2C的光从方位A、方位B、方位C入射到靠近配置有菲涅耳波带片F0的影像传感器ims的状态的图，上述的非专利文献1、2的技术中，通过影像传感器ims检测如此来自多个不同的方向(方位A、B、C)的光被加算的状态。此时，若仅着眼于各方向的成分，则正面方向(图26的方位B)中可获得如图27的(b1)部分及(b2)部分所示那样能够观察的莫尔条纹(明暗的间隔及信号强度差大)，但倾斜方向(方位A)中如图27的(a1)部分及(a2)部分所示那样莫尔条纹变得过细而变得难以检测条纹的明暗差。并且，相反的倾斜方向(方位C)中也同样地，如图27的(c1)部分及(c2)部分所示那样莫尔条纹变得过细而变得难以检测条纹的明暗差。
如此，非专利文献1的技术中，通过影像传感器ims检测来自多个不同的方向(方位A、B、C)的光被加算的状态，因此作为总的信号强度分布，如图28所示那样倾斜方向(方位A、C)的成分作为偏差成分而与信号成分(方位B)重叠，导致SN比降低。
为了防止这种SN比的降低，考虑阻断来自倾斜方向的光。图29为表示通过筒状的遮光罩Ho阻断来自倾斜方向(方位A、C)的光的状态的图。若如此遮光，则正面方向(方位B)中可获得如图30的(b1)部分及(b2)部分所示那样能够观察的莫尔条纹(明暗的间隔及信号强度差大)，倾斜方向(方位A)中如图30的(a1)部分及(a2)部分所示那样成为被遮光而不存在形成莫尔条纹的成分的(信号强度几乎为零)状态。并且，相反的倾斜方向(方位C)中也同样地，如(c1)部分及(c2)部分所示那样成为通过遮光而不存在形成莫尔条纹的成分的(信号强度几乎为零)状态。因此，总的信号强度分布成为如图31所示那样只有来自大致正面方向(方位B)的信号成分，与无遮光罩Ho时(图26～图28)相比，SN比提高。然而，阻断来自倾斜方向的光，因此导致视角变窄。
非专利文献2的情况下，也与非专利文献1的情况同样地来自正面方向的光和来自倾斜方向的光在影像传感器上重叠，因此来自倾斜方向的光成为偏差成分而SN比降低。若为了提高SN比而阻断来自倾斜方向的光，则导致视角变窄。
如此，以往的技术中，在未使用透镜的状况下，无法遍及广的视角的不同的方向单独获得良好的画质的投影像，其结果，无法针对多个方向单独获得良好的画质的复原图像。
本发明鉴于这种情况而完成，其目的在于提供一种能够不使用透镜而在广的视角中针对各自不同的多个方向单独获得良好的画质的复原图像的摄像装置。并且，本发明的目的在于提供一种能够不使用透镜而在广的视角中针对各自不同的多个方向单独获得良好的画质的投影像的摄像模块。
用于解决技术课题的手段
为了达到上述目的，本发明的第1方式所涉及的摄像装置，其具备：图案掩模，配置有透射入射的光的透射区域和遮光的遮光区域；定向传感器，该定向传感器将图案掩模靠近受光面侧配设并经由图案掩模接收基于来自被摄体的光的图案掩模的投影像，并将从被摄体入射到图案掩模的光按各自方向不同的多个方位区域的每一个方位区域进行划分，分别获取与划分的多个方位区域对应的多个投影像；及复原图像生成部，从获取的多个投影像复原而生成与多个方位区域分别对应的被摄体的多个图像。
第1方式所涉及的摄像装置中，通过定向传感器将入射光按多个方位区域划分，并从与这些方位区域对应而获取的多个投影像复原与各方位区域对应的图像，因此来自倾斜方向的入射光不会对来自正面方向的入射光成为干扰，能够遍及正面方向至倾斜方向的广的视角，按每个方位区域单独获取投影像。因此，通过进行与图案掩模及投影像的性质相应的复原处理，能够不使用透镜而在广的视角，针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像。
另外，第1方式中“方位区域”是指，针对特定方位在光轴方向及与光轴正交的方向(例如，水平方向及垂直方向)具有扩展性的三维区域。并且，复原而生成的被摄体的图像可以为静态图像，也可以为动态图像。
第2方式所涉及的摄像装置在第1方式中，配置的图案为由透射区域与遮光区域构成菲涅耳波带片的图案，复原图像生成部具备：合成处理部，通过图像处理使获取的多个投影像和与菲涅耳波带片对应的投影图案重叠；及复原处理部，对通过被重叠的多个投影像和投影图案形成的多个莫尔条纹进行傅里叶转换，复原而生成被摄体的多个图像。第2方式限制图案掩模的另一方式，使用基于菲涅耳波带片的图案掩模时，通过使投影像和投影图案重叠而生成与被摄体的方向相应的条数(间隔)的莫尔条纹，能够通过对它们进行傅里叶转换而复原被摄体的图像。
如此，第2方式中通过进行与图案掩模及投影像的性质相应的复原处理(使用菲涅耳波带片而获取的莫尔条纹的傅里叶转换)，能够不使用透镜而在广的视角中针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像。另外，能够通过加算进行使投影像和投影图案重叠的图像处理，因此计算负荷小。
第3方式所涉及的摄像装置在第2方式中，合成处理部通过图像处理使多个投影像和与多个投影像分别对应的多个投影图案重叠，所述多个投影图案使与菲涅耳波带片对应的投影图案根据多个方位区域的方向进行位移而得到。定向传感器上的投影像根据被摄体的方向(方位区域的方向)形成于不同的位置，因此投影图案也与其对应地位移，由此能够获得良好的画质的复原图像。
第4方式所涉及的摄像装置在第3方式中，多个方位区域包括以与菲涅耳波带片的面正交的方向为中心的摄影范围的中心区域，合成处理部通过图像处理将与菲涅耳波带片对应的投影图案重叠于多个投影像中的中心区域的投影像。第4方式限制针对摄影范围的中心区域的投影像，不位移投影图案而重叠。
第5方式所涉及的摄像装置在第3或第4方式中，具备：存储部，存储多个投影图案；及放大部，从存储部分别读出多个投影图案，并根据被摄体的距离放大多个投影图案，合成处理部通过图像处理使多个投影像和通过放大部放大的多个投影图案重叠。若被摄体(光源)的距离无限大，则平行光入射而投影图案与投影像成为相同的尺寸，但被摄体的距离越靠近，具有扩展性的光入射而投影像变得越大，因此待重叠的投影图案也需要放大。因此，通过如第5方式那样使根据距离放大的投影图案和投影像重叠，能够获得适当的复原图像，并且能够调整对焦状态。
第5方式中，放大率可以与方位区域无关而为恒定，也可以根据方位区域来改变放大率。通过根据方位区域改变放大率，能够按每个方位区域改变对焦距离(对焦状态)。另外，被摄体的距离越靠近，具有扩展性的光入射而投影像变得越大，因此不会使投影像和小于图案掩模的尺寸的投影图案重叠。因此，通过存储与图案掩模相同尺寸的投影图案，能够“放大”投影图案而进行重叠。
第6方式所涉及的摄像装置在第5方式中，具备：显示部，显示通过复原处理部复原的图像；及指示输入部，通过手动指示输入多个投影图案的放大率或被摄体距离，放大部根据来自指示输入部的放大率或被摄体距离的指示输入，分别放大从存储部读出的多个投影图案。根据第6方式，通过根据用户的指示输入放大投影图案，能够以用户的手动来调整复原图像的对焦状态。
第7方式所涉及的摄像装置在第5方式中，具备放大率获取部，该放大率获取部自动获取通过复原处理部复原的图像的分辨率成为最大的多个投影图案的放大率，放大部根据放大率获取部获取的放大率分别放大从存储部读出的多个投影图案。根据第7方式，能够自动获得对焦于与获取的放大率对应的距离的复原图像。
第8方式所涉及的摄像装置在第3或第4方式中，具备：存储部，存储多个投影图案即各自的放大率根据被摄体距离而不同的多个投影图案；显示部，显示通过复原处理部复原的图像；及指示输入部，通过手动指示输入多个投影图案的放大率或被摄体距离，合成处理部根据来自指示输入部的放大率或被摄体距离的指示输入，从存储部读出对应的放大率的多个投影图案，通过图像处理使多个投影像和读出的多个投影图案重叠。第8方式中，存储根据被摄体距离而各自的放大率不同的多个投影图案，因此与根据距离放大1种投影图案时相比，能够减轻处理的负荷。并且，用户能够一边观察显示于显示部的复原图像，一边调节放大率或被摄体距离，因此能够容易调整对焦状态。
第9方式所涉及的摄像装置在第3或第4方式中，具备：存储部，存储多个投影图案即各自的放大率根据被摄体距离不同的多个投影图案；及放大率获取部，自动获取通过复原处理部复原的图像的分辨率成为最大的多个投影图案的放大率，合成处理部根据放大率获取部获取的放大率，从存储部读出对应的放大率的多个投影图案，通过图像处理使多个投影像和读出的多个投影图案重叠。根据第9方式，自动获取复原图像的分辨率成为最大的放大率而进行处理，因此能够自动获得对焦于所期望的距离的复原图像。并且，存储根据被摄体距离而放大率不同的多个投影图案，因此与根据距离放大1种投影图案时相比，能够减轻处理的负荷。
第10方式所涉及的摄像装置在第1至第9方式中的任一方式中，定向传感器为由影像传感器及微透镜阵列构成的传感器，所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，所述微透镜阵列配设于影像传感器的入射面侧，且按与多个方位区域对应的多个像素的每一个像素配设构成微透镜阵列的一个微透镜，将入射到各微透镜的光分别划分入射至与多个方位区域对应的多个像素。第10方式限制定向传感器的1个方式，配设有1个微透镜的多个像素的每一个对应于不同的方位区域。而且，能够根据与各方位区域对应的像素的信息，获得与各方位区域对应的复原图像。
本发明的第11方式所涉及的摄像装置在第1至第9方式中的任一方式中，定向传感器为由影像传感器、微透镜阵列及多种的遮光掩模构成的传感器，所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，所述微透镜阵列按影像传感器的每一像素配设，所述多种的遮光掩模分别配设于影像传感器的各像素与微透镜阵列的各微透镜之间，并形成有与多个方位区域对应的开口。第11方式限制定向传感器的另一方式，能够通过改变遮光掩模的位置、尺寸、形状等来选择性地接收来自不同的方位区域的光。由此，与第10方式同样地，能够根据与各方位区域对应的像素的信息，单独获得与各方位区域对应的复原图像。
第12方式所涉及的摄像装置在第11方式中，多种的遮光掩模相对于影像传感器的多个像素以相同的密度配置。第12方式限制遮光掩模的配置的1种方式，多种的遮光掩模相对于影像传感器的多个像素以相同的密度配置，因此影像传感器相对于各方位区域的密度相同，能够在所有方位区域(摄影视角的整个范围)获得均匀画质的复原图像。
第13方式所涉及的摄像装置在第11方式中，多种的遮光掩模相对于影像传感器的多个像素以不同的密度配置。第13方式限制遮光掩模的配置的另一方式，通过针对所期望的方位区域，较高地配置具有与该方位区域对应的图案的遮光掩模的影像传感器的密度，能够获得所期望的方位区域的画质良好的复原图像。
第14方式所涉及的摄像装置在第1至第13方式中的任一方式中，具备结合图像生成部，该结合图像生成部结合通过复原图像生成部复原的多个图像，生成1张图像。根据第14方式，通过结合多个复原图像，能够获得所期望的方位区域中的图像。另外，可以合成所有的多个复原图像而获取遍及所有方位区域的图像，也可以仅针对一部分区域合成。
第15方式所涉及的摄像装置在第1方式中，配置的图案为编码图案。第15方式限制图案掩模的另一方式，即使在使用这种图案掩模的情况下，通过进行与编码图案及投影像的性质相应的复原处理，也能够在广的视角中针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像。
第16方式所涉及的摄像装置在第1方式中，配置的图案为作为透射区域的多个开口在二维方向上无规则地配置的图案。第16方式限制图案掩模的另一方式，即使在使用这种图案掩模的情况下，通过进行与图案掩模及投影像的性质相应的复原处理，也能够在广的视角中针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像。另外，关于“多个开口(孔)”，开口的尺寸、形状、位置、配置间隔等(无规则性)性质设为已知。并且，第16方式中的图像的复原例如能够通过如下方式来进行：对于使用图案掩模获取的多个投影像，复原图像生成部进行最小平方误差推导。
为了达到上述目的，本发明的第17方式所涉及的摄像模块，具备：菲涅耳波带片；及定向传感器，该定向传感器将菲涅耳波带片靠近受光面侧配设并经由菲涅耳波带片接收具有来自被摄体的光的菲涅耳波带片的投影像，并将从被摄体入射到菲涅耳波带片的光按各自方向不同的多个方位区域的每一个方位区域进行划分，分别获取与划分的多个方位区域对应的多个投影像。根据第17方式，能够不使用透镜而通过菲涅耳波带片和定向传感器，在广的视角中，以良好的画质单独获取与不同的方位区域对应的多个投影像。另外，第17方式中“方位区域”的含义与第1方式相同。并且，获取的投影像可以与静态图像对应(特定时刻的投影像)，也可以与动态图像对应(不同的时刻中获取的多个投影像)。
第18方式所涉及的摄像模块在第17方式中，定向传感器为由影像传感器及微透镜阵列构成的传感器，所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，所述微透镜阵列配设于影像传感器的入射面侧，且按与多个方位区域对应的多个像素的每一个像素配设构成微透镜阵列的一个微透镜，将入射到各微透镜的光分别划分入射至与多个方位区域对应的多个像素。第18方式限制具备与第10方式相同的定向传感器的摄像模块，配设有1个微透镜的多个像素的每一个对应于不同的方位区域，能够根据与各方位区域对应的像素的信息，单独获得与各方位区域对应的投影像。
第19方式所涉及的摄像模块在第17方式中，定向传感器为由影像传感器、微透镜阵列及多种的遮光掩模构成的传感器，所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，所述微透镜阵列按影像传感器的每一像素配设，所述多种的遮光掩模分别配设于影像传感器的各像素与微透镜阵列的各微透镜之间，并形成有与多个方位区域对应的开口。第19方式限制具备与第11方式相同的定向传感器的摄像模块，能够通过改变遮光掩模的位置、尺寸、形状等来选择性地接收来自不同的方位区域的光。由此，与第11方式同样地，能够根据与各方位区域对应的像素的信息，单独获得与各方位区域对应的投影像。
第20方式所涉及的摄像模块在第19方式中，多种的遮光掩模相对于影像传感器的多个像素以相同的密度配置。根据第20方式，与第12方式同样地，能够在所有方位区域(摄影视角的整个范围)获得均匀画质的投影像。
第21方式所涉及的摄像模块在第19方式中，多种的遮光掩模相对于影像传感器的多个像素以不同的密度配置。根据第21方式，与第13方式同样地，通过针对所期望的方位区域，较高地配置具有与该方位区域对应的图案的遮光掩模的影像传感器的密度，能够获得所期望的方位区域的画质良好的投影像。
发明效果
如以上说明，根据本发明的摄像装置，能够不使用透镜而在广的视角中针对各自不同的多个方向单独获得良好的画质的复原图像。并且，根据本发明的摄像模块，能够不使用透镜而在广的视角中针对各自不同的多个方向单独获得良好的画质的投影像。
附图说明
图1为表示本发明的第1实施方式所涉及的摄像装置的结构的图。
图2为表示菲涅耳波带片的例的图。
图3为表示定向影像传感器的结构的图。
图4为表示定向影像传感器的结构的另一图。
图5为表示图像处理部的功能结构的图。
图6为表示单独获取各方向的投影像的情况的图。
图7为表示单独获取各方向的复原像的情况的图。
图8为表示结合各方向的复原像而生成1张图像的情况的图。
图9为表示根据方位区域位移投影图案的情况的图。
图10为表示根据被摄体距离放大投影图案的情况的图。
图11为表示根据方位区域及被摄体距离存储投影图案的情况的图。
图12为表示第1实施方式所涉及的摄像装置中光从正面方向及倾斜方向入射的情况的图。
图13为表示图12所示的状况中的莫尔条纹的图。
图14为表示图12所示的状况中的各方向的信号强度分布的图。
图15为表示定向影像传感器的另一例的图。
图16为表示图15所示的定向影像传感器的配置的图。
图17为表示图15所示的定向影像传感器的另一配置的图。
图18为表示图15所示的定向影像传感器的又一配置的图。
图19为表示摄像装置及摄像模块的另一例的图。
图20为表示编码图案掩模的例的图。
图21为表示摄像装置及摄像模块的又一例的图。
图22为表示开孔图案掩模的例的图。
图23为表示光源存在于无限远时的光的入射方向与莫尔条纹的关系的图。
图24为表示光源存在于有限距离时的光的入射方向与投影像的关系的图。
图25为表示光源存在于有限距离时的光的入射方向与莫尔条纹的关系的图。
图26为表示从存在于正面及倾斜方向的光源，光入射到菲涅耳波带片及以往的影像传感器的情况的图。
图27为表示图26所示的状况中的莫尔条纹及信号强度分布的图。
图28为表示图26所示的状况中的总的信号强度分布的图。
图29为表示通过遮光罩阻断从倾斜方向入射的光的情况的图。
图30为表示图29所示的状况中的莫尔条纹及信号强度分布的图。
图31为表示图29所示的状况中的总的信号强度分布的图。
具体实施方式
以下，参考附图对本发明所涉及的摄像装置及摄像模块的实施方式进行详细的说明。
<第1实施方式>
图1为表示第1实施方式所涉及的摄像装置10(摄像装置)的结构的框图。摄像装置10具备摄像模块100(摄像模块)及摄像装置主体200。
<摄像模块的结构>
摄像模块100具备菲涅耳波带片110(图案掩模)及成像元件120(定向传感器)，获取菲涅耳波带片110的投影像。菲涅耳波带片110的中心与成像元件120的中心一致，并且以与成像元件120的受光面平行的状态配置于成像元件120的受光面侧。另外，以下的说明中，有时将菲涅耳波带片110记载为“FZP”(Fresnel Zone Plate)。
<菲涅耳波带片的结构>
图2为表示FZP的结构的图。如图2所示，FZP具有图案掩模部112及遮光部114。图案掩模部112中，透射入射的光的透射区域和阻断入射的光的遮光区域交替地配置成同心圆状，由这些透射区域及遮光区域构成菲涅耳波带片。同心圆的间隔随着从图案掩模部112的中心朝向周边而变窄。图案掩模部112的周边部分设置有遮光部114，以免在成像元件120的周边部分入射不需要的光。光轴L(参考图1)为穿过FZP及成像元件120的中心而与FZP及成像元件120的受光面垂直的轴。FZP靠近成像元件120(例如，1mm左右)配置，但根据与成像元件120的距离，FZP的投影像因光的衍射而变得模糊，因此优选不要过远。
<成像元件的结构>
图3为表示成像元件120(定向传感器)的结构的图。成像元件120具有：影像传感器124，具有通过以二维方向(二维状)排列的光电转换元件构成的多个像素；及微透镜阵列MA1，配设于影像传感器124的入射面侧。构成微透镜阵列MA1的1个微透镜ML1按每9像素(参考图4)配设，使通过微透镜ML1入射的光划分入射至这些9像素。
图4为表示像素的配置的图。图4中表示相对于水平方向H上3像素且垂直方向V上3像素这样总计9像素(像素124A1～124C3)配设1个微透镜ML1(图4中未图示)的情况的例。另外，图4中，上述9像素与各自不同的9个方位区域对应。例如，像素124B2为以与FZP及影像传感器124的面正交的方向(正面方向)为中心且相对于摄影范围的中心区域的方位区域。另外，也可以对成像元件120的各像素配设滤色器(例如红色、蓝色、绿色)而获取彩色图像。另外，“方位区域”的含义为相对于特定方位(例如，图3的方位A、B、C)在光轴L方向及与光轴L正交的方向(例如，水平方向及垂直方向)具有扩展性的三维区域。
成像元件120的所有像素中，能够根据与相同的方位区域对应的像素的信号单独获得与各方位区域对应的投影像。例如，能够从像素124B2的信号获得与上述中心区域对应的投影像。
如此，成像元件120为接收FZP的投影像并按各自方向不同的9个方位区域进行分割，并分别获取与划分的9个方位区域对应的9个投影像的定向传感器。另外，成像元件120中，相对于1个微透镜ML1的像素的数量不限于9像素，也可以为其他数量(例如16像素、25像素等)。
<摄像装置主体的结构>
摄像装置主体200具备图像处理部210(复原图像生成部、合成处理部、复原处理部、放大部、放大率获取部、结合图像生成部)、存储部220(存储部)、显示部230(显示部)及指示输入部240(指示输入部)(参考图1)，并进行基于摄像模块100获取的投影像的被摄体的图像复原、复原的图像的结合等。
图5为表示图像处理部210的功能结构的图。图像处理部210具有图像获取部210A、合成处理部210B(复原图像生成部)、复原处理部210C(复原图像生成部)、放大部210D、放大率获取部210E及结合图像生成部210F。图像获取部210A根据成像元件120输出的信号获取与各方位区域对应的投影像，合成处理部210B使获取的投影像和与FZP对应的投影图案重叠。而且，复原处理部210C对通过重叠形成的多个莫尔条纹进行二维傅里叶转换，复原而生成与各自不同的方位区域对应的多个图像。放大部210D读出存储于存储部220(参考图1)的多个投影图案并以所需的放大率放大，上述合成处理部210B通过放大的投影图案进行重叠。放大投影图案时，放大率获取部210E自动(不通过用户的指示输入)获取通过复原处理部210C复原的图像的分辨率成为最大的放大率。结合图像生成部210F结合通过复原处理部210C复原的多个图像生成1张图像。
实现上述图像处理部210的各功能的硬件的结构为如下所示的各种处理器(processor)。各种处理器包括执行软件(程序)而作为图像处理部210发挥功能的通用处理器即CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable GateArray，现场可编程门阵列)等能够在制造后改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit，专用集成电路)等具有为了执行特定处理而设计成专用的电路结构的处理器即专用电路等。
图像处理部210的各功能可以通过这些各种处理器中的1个构成，也可以通过相同种类或不同种类的2个以上的处理器(例如，多个FPGA、或者CPU与FPGA的组合)构成。并且，也可以通过1个处理器构成多个功能。作为通过1个处理器构成多个功能的例，首先，如以客户、服务器等计算机为代表的方式那样，存在以1个以上的CPU和软件的组合构成1个处理器，并由该处理器实现多个功能的方式。其次，如以片上系统(System On Chip：SOC)等为代表的方式那样，存在使用以1个IC(Integrated Circuit，集成电路)芯片实现图像处理部210整体的功能的处理器的方式。如此，作为硬件结构，利用1个以上的上述各种处理器而构成图像处理部210的各功能。
进而，这些各种处理器的硬件结构更具体而言为组合半导体元件等电路元件而成的电路(circuitry)。
上述处理器(或者电路)执行软件(程序)时，将执行的软件的、处理器能够读取的编码存储于例如ROM(Read Only Memory，只读存储器)等非临时的记录媒体，处理器参考该软件。进行利用软件的处理时，例如将RAM(Random Access Memory，随机存取存储器)用作临时的存储区域，并且，例如参考存储于EEPROM(Electronically Erasable andProgrammable Read Only Memory，带电可擦可编程只读存储器)的数据。
显示部230通过未图示的液晶显示器等显示装置构成，显示通过复原处理部210C复原的图像和/或通过结合图像生成部210F生成的图像，并且也用于经由指示输入部240的指示输入时的UI(User Interface，用户界面)用画面显示。指示输入部240通过未图示的键盘、鼠标等器件构成，用户能够通过这些器件输入投影图案的放大率、被摄体距离等条件。另外，通过触摸面板构成显示部230的显示装置，除了图像显示，还可以用作指示输入部240。
<复原图像的生成>
接着，对基于上述结构的摄像装置10的复原图像生成处理的概要进行说明。图6为表示投影像获取的情况的图。另外，以下对以图6的纸面内的方位A、B、C(点光源P3A、P3B、P3C分别存在的方向)为中心的3个方位区域进行说明，但如上述那样针对与纸面正交的3个方位区域也获取投影像，因此获取投影像的方位区域总计为9个。
首先，图像获取部210A根据与各方位区域对应的像素(例如，图4的像素124A1、124B1、124C1)的信号单独获取与各方位区域对应的FZP的投影像PIA、PIB、PIC。图7为表示根据获取的投影像PIA、PIB、PIC生成与各方位区域对应的图像(点光源P3A、P3B、P3C的图像)的情况的图。具体而言，图7的(a)部分表示合成处理部210B通过图像处理使相对于方位A的投影像PIA和与其对应的投影图案PPA重叠，复原处理部210C对由此获得的莫尔条纹的图像MFA进行二维傅里叶转换，并复原点光源P3A的图像ImA的情况。重叠的图像处理通过加算来进行，因此计算负荷小。并且，重叠时，使与FZP对应的投影图案根据方位A的方向位移(参考图9)。同样地，图7的(b)部分表示合成处理部210B使相对于方位B的投影像PIB和与其对应的投影图案PPB重叠，复原处理部210C对由此获得的莫尔条纹的图像MFB进行二维傅里叶转换，并复原点光源P3B的图像ImB的情况。并且，图7的(c)部分表示合成处理部210B使相对于方位C的投影像PIC和与其对应的投影图案PPC重叠，复原处理部210C对由此获得的莫尔条纹的图像MFC进行二维傅里叶转换，并复原点光源P3C的图像ImC的情况。
如此，第1实施方式所涉及的摄像装置10中，通过定向传感器即成像元件120按3个方位区域划分入射光，从与这些方位区域对应而单独获取的投影像PIA、PIB、PIC复原与各方位区域对应的被摄体的图像ImA、ImB、ImC，因此来自倾斜方向(方位A、C)的入射光不会对来自正面方向(方位B)的入射光成为干扰，能够在遍及正面方向至倾斜方向(方位A～方位C)的广的视角中，按每个方位区域获取投影像PIA、PIB、PIC。因此，通过进行与图案掩模即FZP及投影像的性质相应的复原处理(通过投影像与投影图案的重叠而生成的莫尔条纹的二维傅里叶转换)，能够不使用透镜而在广的视角中针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像(图像ImA、ImB、ImC)。对其他6个方位区域也相同，能够获得共计9个复原图像。另外，通常的被摄体(人物、风景、静态物体等)能够作为点光源的集合来掌握，在生成针对这种通常的被摄体的复原图像时，依赖于被摄体的结构而在各方向的复原图像存在多个点光源。
<结合图像的生成>
若图像ImA、ImB、ImC被复原，则如图8所示，图像生成部210F结合这些图像而生成1张图像CIm。另外，第1实施方式中，针对9个方位区域生成共计9个复原图像，但可以结合所有的这些复原图像，也可以仅结合一部分的复原图像。并且，也可以生成多个结合方位区域的组合不同的复原图像而成的图像。结合所有的复原图像时，获得针对所有方位区域的1张图像。结合一部分的复原图像时，获得针对所期望的方位区域的图像。
<复原图像生成的各处理>
接着，对上述复原图像生成的各处理进行说明。
<与方位区域相应的投影图案的位移>
上述图像的复原中，合成处理部210B针对倾斜方向的方位区域(与方位A、C对应)使根据这些方位区域的方向位移的投影图案PPA、PPC与投影像重叠，针对包括摄影范围的中心区域的方位区域(与方位B对应)，使不位移的投影图案PPB(与FZP对应的投影图案)与投影像重叠。图9为表示投影图案的位移的概念图，表示根据8个方位区域的方向分别位移与FZP对应的投影图案PPB(不位移)的情况。成像元件120上的投影像根据被摄体的方向(方位区域的方向)形成于不同的位置，因此投影图案也与其对应地位移，由此能够获得良好的画质的复原图像。
<与被摄体距离相应的投影图案的放大>
被摄体距离为无限远时，从被摄体入射平行光而投影像成为与FZP相同尺寸，因此无需放大与投影像重叠的投影图案，但距离越靠近，具有扩展性的光入射而投影像变多，因此也需要放大与投影像重叠的投影图案。图10为表示基于放大部210D的与被摄体距离相应的投影图案的放大的概念图。图10中表示被摄体距离为无限远时，利用与FZP相同尺寸的投影图案PP0，随着被摄体距离靠近而放大投影图案的(距离为中间时，利用投影图案PP1，距离为最近时，利用投影图案PP2的)情况。如此，根据被摄体距离放大投影图案，由此能够调整复原图像的对焦状态。
上述的放大投影图案时，可以由用户经由指示输入部240以手动来指示输入放大率或被摄体距离，也可以由放大率获取部210E自动获取复原图像的分辨率成为最大的放大率。放大部210D根据以手动或者自动获取的放大率或被摄体距离，从存储部220读出多个投影图案并放大，放大的投影图案通过合成处理部210B与投影像重叠。另外，以手动输入放大率或被摄体距离时，也可以一边将通过输入的放大率或被摄体距离生成的复原图像显示于显示部230一边进行。由此，用户一边观察复原图像，一边调整放大率或被摄体距离，能够获得所期望的对焦状态的复原图像。
另外，重叠的投影像的放大率或被摄体距离可以与方位区域无关而为恒定，也可以根据方位区域利用不同的值。通过根据方位区域改变放大率或被摄体距离，能够获得针对所期望的方位区域的对焦状态与针对其他方位区域的对焦状态不同的复原图像。作为这种复原图像，例如可想到针对正面方向对焦而针对其他方向故意虚化的复原图像。
<与方位区域及被摄体距离相应的投影图案的存储>
第1实施方式所涉及的摄像装置10中，为了进行上述投影图案的放大，根据被摄体距离分别将放大率不同的多个投影图案存储于存储部220。图11为表示存储投影图案组的情况的概念图。图11中，1个框表示1个投影图案，存在于相同平面上的9个投影图案表示由根据方位区域位移的投影图案(参考图9)构成的投影图案组。第1实施方式所涉及的摄像装置10中，如此存储根据被摄体距离而放大率不同的多个投影图案，因此与根据距离放大1种投影图案时相比，能够减轻处理的负荷。
另外，第1实施方式中，对存储根据被摄体距离而放大率不同的多个投影图案的方式(参考图11)进行了说明，但在强调减少存储容量的情况下，也可以存储与特定距离对应的1种或少数的投影图案并根据距离放大。
<第1实施方式的效果>
参考图12～图14，对基于上述结构的摄像装置10(摄像装置、摄像模块)的效果进行说明。如图12那样，光从正面方向及倾斜方向(方位A～方位C)入射的状况中，摄像装置10中通过定向传感器即成像元件120按每个方位区域划分入射光而单独获取投影像，因此如图13的(a)部分～(c)部分所示，针对各方向生成能够观察的莫尔条纹(如分别在图14的(a)部分～图14的(c)部分所示那样，在明暗部分信号强度差大，能够作为条纹而识别)，能够从各自的莫尔条纹生成复原图像。即，与上述非专利文献1、2不同，来自倾斜方向的入射光不会对来自正面方向的入射光成为偏差成分，能够在广的视角中获取良好的画质的图像。另外，图13的(a)部分、图13的(b)部分及图13的(c)部分为分别通过从方位A、方位B、方位C入射的光形成的莫尔条纹，图14的(a)部分、图14的(b)部分及图14的(c)部分为分别与图13的(a)部分、图13的(b)部分及图13的(c)部分对应的信号强度分布。
<定向传感器的另一例>
图15为表示本发明的摄像装置及摄像模块中的定向传感器的另一例的图。图15所示的例中，成像元件130(定向传感器)中按每个像素配设微透镜ML2(构成微透镜阵列MA2的微透镜)，并且，在影像传感器134的各像素与微透镜ML2之间配设有形成有与方位区域对应而方向不同的开口的多种的遮光掩模136A1～136C1。另外，图15中表示与纸面内的3个方位区域对应的像素，但在与纸面垂直方向也配设有像素。图16为表示遮光掩模的配置例的图，表示分别与9个方位区域对应的遮光掩模136A1～136C3以相同密度(相对于9像素为各1个)配置的状态。图16中，阴影部分表示遮光掩模，非阴影部分表示开口。另外，与正面方向对应的遮光掩模136B2以与其他方向不同的阴影状态显示。
图17为表示遮光掩模的另一配置例的图，表示分别与9个方位区域对应的遮光掩模136A1～136C3以不同密度配置的状态。该例中，与正面方向对应的遮光掩模136B2以高密度(相对于16像素为8个)配置，因此能够提高正面方向的复原图像的画质。并且，由16像素构成的基本配列图案中，纵横倾斜(对角线方向)的所有的4像素中配置有正面方向用遮光掩模136B2。图18为遮光掩模的配置的又一例，表示分别与9个方位区域对应的遮光掩模136A1～136C3以不同密度配置的状态。图18的配置例中，与图17同样地，与正面方向对应的遮光掩模的密度高，但配置图案与图17不同。具体而言，由16像素构成的基本配列图案中纵横倾斜(对角线方向)的所有的4像素中，正面方向用遮光掩模136B2配置有2个，遮光掩模相对于基本配列图案内的不同的方向的配置均匀，因此特定方向上的画质的劣化少。
配置遮光掩模时，也可以组合多个图16～图18所示的图案或者与这些不同的图案。构成基本配列图案的像素数不限于9像素、16像素。并且，也可以提高相对于其他方向的遮光掩模的密度，而不像如图17、图18那样提高相对于正面方向的遮光掩模136B2的密度。例如为侧视型摄像装置时，可以考虑提高相对于倾斜方向的遮光掩模的密度。另外，可以对成像元件130的各像素配设滤色器(例如红色、蓝色、绿色)而获取彩色复原图像。
<摄像装置及摄像模块的另一例1>
在上述第1实施方式中对由图案掩模构成菲涅耳波带片的情况进行了说明，但本发明的摄像装置及摄像模块中，也可以使用与其不同的图案掩模。图19为表示摄像装置及摄像模块的另一例1的图，表示由摄像模块102(摄像模块)及摄像装置主体202构成的摄像装置20(摄像装置)。摄像模块102具备编码图案掩模116(图案掩模)及成像元件120(定向传感器)，编码图案掩模116如图20所示由编码图案部116A及其周边的遮光部116B构成，表示编码图案部116A中的透射区域及遮光区域的配置图案的性质的信息存储于存储部222。这种结构的摄像装置20中，也能够通过成像元件120将来自被摄体的入射光划分到多个方位区域而获取与各方位区域对应的投影像，图像处理部212进行与编码图案及投影像的性质相应的复原处理，由此能够不使用透镜而在广的视角中针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像。另外，图19、图20中，对与图1相同的结构标注相同的参考符号，并省略详细的说明。
<摄像装置及摄像模块的另一例2>
图21为表示摄像装置及摄像模块的另一例2的图，表示由摄像模块104(摄像模块)及摄像装置主体204构成的摄像装置30(摄像装置)。摄像模块104具备作为透射区域的开口部118A(孔；参考图22)沿二维方向无规则地配置的图案掩模118(图案掩模)及成像元件120(定向传感器)，如图22所示，图案掩模118由多个开口部118A及其周边的遮光部118B构成，表示开口部118A的配置图案(孔的形状、尺寸、间隔等性质)的信息存储于存储部224。这种结构的摄像装置30中，也能够通过成像元件120将来自被摄体的入射光划分到多个方位区而获取与各方位区域对应的投影像，进行与开口部118A的配置图案及投影像的性质相应的复原处理(例如，基于图像处理部214的最小平方误差推导)，由此能够不使用透镜而在广的视角中针对各自不同的多个方向(方位区域)单独获得良好的画质的复原图像。另外，例如如以下的非专利文献3中所记载，例2中的最小平方误差推导能够通过如下方法来进行：使对于将推断的模型投影到图像的结果和观测进行比较时的差异(再投影误差的残差平方和)最小化的非线性最小平方法及考虑对该非线性最小平方法高速化、稳定化的方法。
[非专利文献3]右田刚史、浅田尚纪、“关于来自图像列的三维形状复原中的非线性最小平方法的高速化和稳定化的研究”、社团法人信息处理学会研究报告、2004-CVIM-144(21)、2004年5月
另外，图21、图22中，对与图1相同的结构标注相同的参考符号，并省略详细的说明。
以上，对本发明的实施方式及例进行了说明，但本发明并不限定于上述方式，在不脱离本发明的主旨的范围内能够进行各种变形。
符号说明
10-摄像装置，20-摄像装置，30-摄像装置，100-摄像模块，102-摄像模块，104-摄像模块，110-菲涅耳波带片，112-图案掩模部，114-遮光部，116-编码图案掩模，116A-编码图案部，116B-遮光部，118-图案掩模，118A-开口部，118B-遮光部，120-成像元件，124-影像传感器，124A1-像素，124A2-像素，124A3-像素，124B1-像素，124B2-像素，124B3-像素，124C1-像素，124C2-像素，124C3-像素，130-成像元件，134-影像传感器，136A1-遮光掩模，136A2-遮光掩模，136A3-遮光掩模，136B1-遮光掩模，136B2-遮光掩模，136B3-遮光掩模，136C1-遮光掩模，136C2-遮光掩模，136C3-遮光掩模，200-摄像装置主体，202-摄像装置主体，204-摄像装置主体，210-图像处理部，210A-图像获取部，210B-合成处理部，210C-复原处理部，210D-放大部，210E-放大率获取部，210F-结合图像生成部，212-图像处理部，214-图像处理部，220-存储部，222-存储部，224-存储部，230-显示部，240-指示输入部，A-方位，B-方位，C-方位，CIm-图像，F0-菲涅耳波带片，H-水平方向，Ho-遮光罩，ImA-图像，ImB-图像，ImC-图像，L-光轴，MA1-微透镜阵列，MA2-微透镜阵列，MFA-图像，MFB-图像，MFC-图像，ML1-微透镜，ML2-微透镜，P0-点光源，P1-点光源，P2A-点光源，P2B-点光源，P2C-点光源，P3A-点光源，P3B-点光源，P3C-点光源，PIA-投影像，PIB-投影像，PIC-投影像，PP0-投影图案，PP1-投影图案，PP2-投影图案，PPA-投影图案，PPB-投影图案，PPC-投影图案，V-垂直方向，ims-影像传感器。

Claims (19)

1.一种摄像装置，其具备：
图案掩模，配置有透射入射的光的透射区域和遮光的遮光区域；
定向传感器，所述定向传感器将所述图案掩模靠近受光面侧配设并经由所述图案掩模接收基于来自被摄体的光的所述图案掩模的投影像，并将从所述被摄体入射到所述图案掩模的所述光按各自方向不同的多个方位区域的每一个方位区域进行划分，分别获取与所述划分的多个方位区域对应的多个所述投影像；及
复原图像生成部，从所述获取的多个投影像复原而生成与所述多个方位区域分别对应的所述被摄体的多个图像，
所述定向传感器为由影像传感器及微透镜阵列构成的传感器，
所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，
所述微透镜阵列配设于所述影像传感器的入射面侧，且按与所述多个方位区域对应的多个像素的每一个像素配设构成所述微透镜阵列的一个微透镜，将入射到各微透镜的光分别划分入射至与所述多个方位区域对应的多个像素，
所述复原图像生成部具备：
合成处理部，通过图像处理使所述获取的多个投影像和与所述图案掩模的被配置的图案对应的投影图案重叠；及
复原处理部，对通过所述被重叠的所述多个投影像和所述投影图案形成的多个莫尔条纹进行傅里叶转换，复原而生成所述被摄体的所述多个图像。
2.一种摄像装置，其具备：
图案掩模，配置有透射入射的光的透射区域和遮光的遮光区域；
定向传感器，所述定向传感器将所述图案掩模靠近受光面侧配设并经由所述图案掩模接收基于来自被摄体的光的所述图案掩模的投影像，并将从所述被摄体入射到所述图案掩模的所述光按各自方向不同的多个方位区域的每一个方位区域进行划分，分别获取与所述划分的多个方位区域对应的多个所述投影像；及
复原图像生成部，从所述获取的多个投影像复原而生成与所述多个方位区域分别对应的所述被摄体的多个图像，
所述定向传感器为由影像传感器、微透镜阵列及多种的遮光掩模构成的传感器，
所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，
所述微透镜阵列按所述影像传感器的每一像素配设，
所述多种的遮光掩模分别配设于所述影像传感器的各像素与所述微透镜阵列的各微透镜之间，并形成有与所述多个方位区域对应的开口，
所述复原图像生成部具备：
合成处理部，通过图像处理使所述获取的多个投影像和与所述图案掩模的被配置的图案对应的投影图案重叠；及
复原处理部，对通过所述被重叠的所述多个投影像和所述投影图案形成的多个莫尔条纹进行傅里叶转换，复原而生成所述被摄体的所述多个图像。
3.根据权利要求1或2所述的摄像装置，其中，
所述图案掩模的被配置的图案为由所述透射区域与所述遮光区域构成菲涅耳波带片的图案。
4.根据权利要求3所述的摄像装置，其中，
所述合成处理部通过图像处理使所述多个投影像和与所述多个投影像分别对应的多个投影图案重叠，所述多个投影图案使与所述菲涅耳波带片对应的投影图案根据所述多个方位区域的方向进行位移而得到。
5.根据权利要求4所述的摄像装置，其中，
所述多个方位区域包括以与所述菲涅耳波带片的面正交的方向为中心的摄影范围的中心区域，
所述合成处理部通过图像处理将与所述菲涅耳波带片对应的投影图案重叠于所述多个投影像中的所述中心区域的投影像。
6.根据权利要求4或5所述的摄像装置，其中，
该摄像装置具备：
存储部，存储所述多个投影图案；及
放大部，从所述存储部分别读出所述多个投影图案，并根据所述被摄体的距离放大所述多个投影图案，
所述合成处理部通过图像处理使所述多个投影像和通过所述放大部放大的所述多个投影图案重叠。
7.根据权利要求6所述的摄像装置，其中，
该摄像装置具备：
显示部，显示通过所述复原处理部复原的图像；及
指示输入部，通过手动指示输入所述多个投影图案的放大率或被摄体距离，
所述放大部根据来自所述指示输入部的放大率或被摄体距离的指示输入，分别放大从所述存储部读出的所述多个投影图案。
8.根据权利要求6所述的摄像装置，其中，
该摄像装置具备放大率获取部，该放大率获取部自动获取通过所述复原处理部复原的图像的分辨率成为最大的所述多个投影图案的放大率，
所述放大部根据所述放大率获取部获取的放大率分别放大从所述存储部读出的所述多个投影图案。
9.根据权利要求4或5所述的摄像装置，其中，
该摄像装置具备：
存储部，存储所述多个投影图案即各自的放大率根据被摄体距离而不同的多个投影图案；
显示部，显示通过所述复原处理部复原的图像；及
指示输入部，通过手动指示输入所述多个投影图案的放大率或被摄体距离，
所述合成处理部根据来自所述指示输入部的放大率或被摄体距离的指示输入，从所述存储部读出对应的放大率的所述多个投影图案，通过图像处理使所述多个投影像和所述读出的所述多个投影图案重叠。
10.根据权利要求4或5所述的摄像装置，其中，
该摄像装置具备：
存储部，存储所述多个投影图案即各自的放大率根据被摄体距离而不同的多个投影图案；
放大率获取部，自动获取通过所述复原处理部复原的图像的分辨率成为最大的所述多个投影图案的放大率，
所述合成处理部根据所述放大率获取部获取的放大率，从所述存储部读出对应的放大率的所述多个投影图案，通过图像处理使所述多个投影像和所述读出的所述多个投影图案重叠。
11.根据权利要求2所述的摄像装置，其中，
所述多种的遮光掩模相对于所述影像传感器的多个像素以相同的密度配置。
12.根据权利要求2所述的摄像装置，其中，
所述多种的遮光掩模相对于所述影像传感器的多个像素以不同的密度配置。
13.根据权利要求1或2所述的摄像装置，其中，
该摄像装置具备结合图像生成部，该结合图像生成部结合通过所述复原图像生成部复原的所述多个图像，生成1张图像。
14.根据权利要求1或2所述的摄像装置，其中，
所述图案掩模的被配置的图案为编码图案。
15.根据权利要求1或2所述的摄像装置，其中，
所述图案掩模的被配置的图案为作为所述透射区域的多个开口在二维方向上无规则地配置的图案。
16.一种摄像模块，其具备：
菲涅耳波带片；及
定向传感器，所述定向传感器将所述菲涅耳波带片靠近受光面侧配设并经由所述菲涅耳波带片接收具有来自被摄体的光的所述菲涅耳波带片的投影像，并将从所述被摄体入射到所述菲涅耳波带片的光按各自方向不同的多个方位区域的每一个方位区域进行划分，分别获取与所述划分的多个方位区域对应的多个所述投影像，
所述定向传感器为由影像传感器及微透镜阵列构成的传感器，
所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，
所述微透镜阵列配设于所述影像传感器的入射面侧，且按与所述多个方位区域对应的多个像素的每一个像素配设构成所述微透镜阵列的一个微透镜，将入射到各微透镜的光分别划分入射至与所述多个方位区域对应的多个像素。
17.一种摄像模块，其具备：
菲涅耳波带片；及
定向传感器，所述定向传感器将所述菲涅耳波带片靠近受光面侧配设并经由所述菲涅耳波带片接收具有来自被摄体的光的所述菲涅耳波带片的投影像，并将从所述被摄体入射到所述菲涅耳波带片的光按各自方向不同的多个方位区域的每一个方位区域进行划分，分别获取与所述划分的多个方位区域对应的多个所述投影像，
所述定向传感器为由影像传感器、微透镜阵列及多种的遮光掩模构成的传感器，
所述影像传感器具有通过以二维状排列的光电转换元件构成的多个像素，
所述微透镜阵列按所述影像传感器的每一像素配设，
所述多种的遮光掩模分别配设于所述影像传感器的各像素与所述微透镜阵列的各微透镜之间，并形成有与所述多个方位区域对应的开口。
18.根据权利要求17所述的摄像模块，其中，
所述多种的遮光掩模相对于所述影像传感器的多个像素以相同的密度配置。
19.根据权利要求17所述的摄像模块，其中，
所述多种的遮光掩模相对于所述影像传感器的多个像素以不同的密度配置。
CN201780080878.2A 2016-12-27 2017-11-15 摄像装置及摄像模块 Active CN110140348B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-253325 2016-12-27
JP2016253325 2016-12-27
PCT/JP2017/041099 WO2018123318A1 (ja) 2016-12-27 2017-11-15 撮像装置及び撮像モジュール

Publications (2)

Publication Number Publication Date
CN110140348A CN110140348A (zh) 2019-08-16
CN110140348B true CN110140348B (zh) 2020-12-25

Family

ID=62707266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080878.2A Active CN110140348B (zh) 2016-12-27 2017-11-15 摄像装置及摄像模块

Country Status (5)

Country Link
US (1) US11272098B2 (zh)
JP (1) JP6713549B2 (zh)
CN (1) CN110140348B (zh)
TW (1) TWI718352B (zh)
WO (1) WO2018123318A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373278B2 (en) * 2016-09-30 2022-06-28 University Of Utah Research Foundation Lensless imaging device
JP6740173B2 (ja) * 2017-05-12 2020-08-12 株式会社日立製作所 撮像装置
WO2019078332A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 信号処理装置及び撮像装置
CN111201779B (zh) * 2017-10-19 2022-11-01 索尼公司 成像装置和信号处理装置
US11223787B2 (en) 2017-10-19 2022-01-11 Sony Corporation Information processing apparatus, information processing method, and imaging apparatus
CN111788824B (zh) * 2018-03-06 2022-07-08 索尼公司 图像处理设备、成像设备以及图像处理方法
WO2019176349A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
JP7375746B2 (ja) * 2018-03-26 2023-11-08 ソニーグループ株式会社 撮像素子、撮像装置、並びに、情報処理方法
JP2020098963A (ja) * 2018-12-17 2020-06-25 株式会社日立製作所 撮像装置
JP7159118B2 (ja) * 2019-06-25 2022-10-24 株式会社日立製作所 撮像装置
CN114208144A (zh) * 2019-07-31 2022-03-18 麦克赛尔株式会社 摄像装置、便携终端和曝光控制方法
JP7183429B2 (ja) * 2019-08-08 2022-12-05 マクセル株式会社 撮像装置および方法
CN112630932B (zh) * 2019-10-09 2023-05-26 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹成像装置
CN112995452B (zh) * 2019-12-17 2022-11-11 英属开曼群岛商音飞光电科技股份有限公司 摩尔纹影像处理装置
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
TWI792621B (zh) * 2021-10-20 2023-02-11 財團法人工業技術研究院 量測方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212382A (ja) * 2008-03-05 2009-09-17 Hitachi High-Technologies Corp プロキシミティ露光装置、プロキシミティ露光装置の基板移動方法、及び表示用パネル基板の製造方法
CN103299166A (zh) * 2010-10-27 2013-09-11 康奈尔大学 光场图像传感器、方法和应用
JP2013235055A (ja) * 2012-05-07 2013-11-21 Canon Inc 焦点検出装置及び撮像装置
CN104885187A (zh) * 2012-10-30 2015-09-02 加州理工学院 傅立叶重叠关联成像系统、设备和方法
WO2016123529A1 (en) * 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2016203573A1 (ja) * 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0881843A3 (en) * 1997-05-28 2005-04-06 Nippon Telegraph And Telephone Corporation Method and apparatus for transmitting or processing images.
US7151246B2 (en) * 2001-07-06 2006-12-19 Palantyr Research, Llc Imaging system and methodology
WO2008094141A1 (en) * 2007-01-29 2008-08-07 Celloptic, Inc. System, apparatus and method for extracting image cross-sections of an object from received electromagnetic radiation
TWI484243B (zh) * 2010-06-10 2015-05-11 Hon Hai Prec Ind Co Ltd 鏡頭模組及相機裝置
JP6145789B2 (ja) * 2011-10-20 2017-06-14 パナソニックＩｐマネジメント株式会社 表示装置および表示システム
JP5756572B2 (ja) * 2012-09-25 2015-07-29 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP6230161B2 (ja) * 2015-02-23 2017-11-15 日本電信電話株式会社 ライトフィールド取得装置及びライトフィールド取得方法
US10649118B2 (en) * 2016-09-26 2020-05-12 Hitachi, Ltd. Imaging device
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212382A (ja) * 2008-03-05 2009-09-17 Hitachi High-Technologies Corp プロキシミティ露光装置、プロキシミティ露光装置の基板移動方法、及び表示用パネル基板の製造方法
CN103299166A (zh) * 2010-10-27 2013-09-11 康奈尔大学 光场图像传感器、方法和应用
JP2013235055A (ja) * 2012-05-07 2013-11-21 Canon Inc 焦点検出装置及び撮像装置
CN104885187A (zh) * 2012-10-30 2015-09-02 加州理工学院 傅立叶重叠关联成像系统、设备和方法
WO2016123529A1 (en) * 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2016203573A1 (ja) * 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置

Also Published As

Publication number Publication date
JPWO2018123318A1 (ja) 2019-10-31
JP6713549B2 (ja) 2020-06-24
US11272098B2 (en) 2022-03-08
US20190313018A1 (en) 2019-10-10
CN110140348A (zh) 2019-08-16
WO2018123318A1 (ja) 2018-07-05
TW201841003A (zh) 2018-11-16
TWI718352B (zh) 2021-02-11

Similar Documents

Publication Publication Date Title
CN110140348B (zh) 摄像装置及摄像模块
TWI605297B (zh) 具有對稱之多像素相位差檢測器之影像感測器、成像系統及相關檢測方法
CN110692233B (zh) 摄像装置、图像处理装置、摄像系统、图像处理方法及记录介质
US9383548B2 (en) Image sensor for depth estimation
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
JP6335423B2 (ja) 情報処理装置および情報処理方法
US8929677B2 (en) Image processing apparatus and method for synthesizing a high-resolution image and a refocused image
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
CN110720207B (zh) 图像处理装置、摄像系统、图像处理方法及记录介质
WO2017145348A1 (ja) 撮像装置
US20130188026A1 (en) Depth estimating image capture device and image sensor
JP2009175680A (ja) 受光装置、焦点検出装置および撮像装置
CN109716750B (zh) 平面数字图像传感器
CN110959285A (zh) 使用具有每微透镜多个光电二极管的传感器的分辨率增强
US10488561B2 (en) Imaging device
JP4866147B2 (ja) 画像シフト検出方法および装置および画像入力装置
JP2017138199A (ja) 画像処理装置、撮像装置、および画像処理方法
TW202143706A (zh) 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
JP2008145121A (ja) 三次元形状測定装置
JP2023016864A (ja) 撮像装置および方法
CN104137532A (zh) 图像处理装置
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
Varghese Angle sensitive imaging: A new paradigm for light field imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant