CN111527737B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN111527737B CN111527737B CN201880083513.XA CN201880083513A CN111527737B CN 111527737 B CN111527737 B CN 111527737B CN 201880083513 A CN201880083513 A CN 201880083513A CN 111527737 B CN111527737 B CN 111527737B
- Authority
- CN
- China
- Prior art keywords
- image
- lens
- fresnel
- image pickup
- pickup apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 92
- 230000004075 alteration Effects 0.000 claims description 49
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 210000001747 pupil Anatomy 0.000 claims description 9
- 230000008859 change Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 238000002834 transmittance Methods 0.000 description 12
- 230000004907 flux Effects 0.000 description 11
- 101100391560 Oryza sativa subsp. japonica FZP gene Proteins 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 201000009310 astigmatism Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 206010010071 Coma Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004939 coking Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B15/00—Optical objectives with means for varying the magnification
- G02B15/02—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
- G02B15/10—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by adding a part, e.g. close-up attachment
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B15/00—Optical objectives with means for varying the magnification
- G02B15/02—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective
- G02B15/10—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by adding a part, e.g. close-up attachment
- G02B15/12—Optical objectives with means for varying the magnification by changing, adding, or subtracting a part of the objective, e.g. convertible objective by adding a part, e.g. close-up attachment by adding telescopic attachments
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
- G03B17/14—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Lenses (AREA)
- Cameras In General (AREA)
- Geometry (AREA)
Abstract
本发明的目的在于提供一种具有重调焦距功能且能够变更视场角的编码孔径摄像装置。本发明的第1方式所涉及的摄像装置具备:摄像装置主体,具有编码孔径、输出表示被摄体的投影像的信号的摄像元件及根据信号对空间区域的图像进行重构的图像复原部;及透镜,相对于摄像装置主体安装于比编码孔径更靠被摄体侧的位置,且使透镜安装于摄像装置主体的状态下的摄影视场角相对于透镜未安装于摄像装置主体的状态下的摄影视场角发生变化,通过透镜及编码孔径在摄像元件形成投影像。
Description
技术领域
本发明涉及一种具备编码孔径的摄像装置。
背景技术
近年来,已开发有在没有透镜的情况下获取被摄体图像的技术。例如,在下述非专利文献1中,与摄像元件相邻而配置菲涅尔波带片,对通过来自被摄体的光而形成于摄像元件上的投影像和与菲涅尔波带片相对应的投影图案重合而生成的莫尔条纹进行傅里叶变换,由此能够在没有透镜的情况下获取被摄体像。另外,对于非专利文献1的技术,通过非专利文献2进行有技术报告。
并且,已知有与非专利文献1、2同样地将菲涅尔波带片用于掩模图案的无透镜成像技术(参考专利文献1)。在专利文献1中,通过对来自被摄体的光入射到对置配置的2个光栅图案(菲涅尔波带片)而形成的莫尔条纹进行傅里叶变换,由此重构被摄体像。
以往技术文献
非专利文献
非专利文献1:“开发一种在动态图像摄影之后能够容易进行焦点调整的无透镜相机技术”、[online]、2016年11月15日、Hitachi,Ltd.、[2017年5月8日搜索]、互联网(http://www.hitachi.co.jp/New/cnews/month/2016/11/1115.html)
非专利文献2:“Lensless Light-field Imaging with Fresnel ZoneAperture”、影像信息媒体学会技术报告、vol.40,no.40,IST2016-51,pp.7-8,2016年11月
专利文献
专利文献1:W02016/203573号公报
发明内容
发明要解决的技术课题
上述非专利文献1、2及专利文献1中记载的技术中,能够重调焦距,焦距为f=2×β×d。在此,重调焦距为通过图像的重构,在事后对焦为所期望的对焦距离,β表示菲涅尔波带片的间距,d表示图像传感器与菲涅尔波带片的间隔。在这种结构的摄像装置中变更视场角(焦距)时,变更菲涅尔波带片的间距和/或位置。通过上述变更,会产生以下说明的缺点。
例如,广角化(缩短焦距)时需要“(1)增大菲涅尔波带片的间距”或“(2)使菲涅尔波带片靠近传感器(减小d的值)”。在(1)的情况下,在菲涅尔波带片中由使光透射的区域及遮光的区域构成的图案即条纹的数量减少,由此视场角分辨率(分辨率)下降,在(2)的情况下,越使菲涅尔波带片靠近图像传感器,对菲涅尔波带片和图像传感器的位置精度的要求越高。另一方面,长焦化(加长焦距)时需要“(3)缩小菲涅尔波带片的间距”或“(4)使菲涅尔波带片与图像传感器分开(加大d的值)”。在(3)的情况下,由于需要窄间距化,制造难度上升,在(4)的情况下,由于光的衍射,在图像传感器上菲涅尔波带片的像模糊而重构图像的画质下降。
如此,在以往的技术中,很难在具有编码孔径的摄像装置中维持重调焦距功能的同时变更视场角。
本发明是鉴于这种情况而完成的,其目的在于在具有编码孔径的摄像装置中能够维持重调焦距功能的同时变更视场角。
用于解决技术课题的手段
为了实现上述目的,本发明的第1方式所涉及的摄像装置具备:摄像装置主体,具有编码孔径、输出表示被摄体的投影像的信号的摄像元件及根据信号对空间区域的图像进行重构的图像复原部;及透镜,相对于摄像装置主体安装于比编码孔径更靠被摄体侧的位置,且使透镜安装于摄像装置主体的状态下的摄影视场角相对于透镜未安装于摄像装置主体的状态下的摄影视场角发生变化,来自被摄体的光透射透镜及编码孔径在摄像元件形成投影像。
根据第1方式所涉及的摄像装置,具有基于编码孔径的重调焦距功能,还能够通过安装透镜来变更视场角。
在第1方式中,作为编码孔径,例如能够利用针孔、沿二维方向配置的多个孔径、菲涅尔波带片、二维条形码状的编码掩模(已知这些编码孔径的数量、位置、大小、形状、配置间隔等性质)。并且,编码孔径能够配置于透镜的光瞳(光圈)的位置。另外,安装于摄像装置主体的透镜的视场角可以固定,也可以是可变更的透镜例如变焦透镜。
第2方式所涉及的摄像装置在第1方式中,透镜为使透镜安装于摄像装置主体的状态下的周边光量不低于透镜未安装于摄像装置主体的状态下的周边光量的透镜。根据第2方式,透镜不会减少周边光量,因此能够获得画质良好的图像。
第3方式所涉及的摄像装置在第1或第2方式中,透镜为使透镜安装于摄像装置主体的状态下的摄影视场角比透镜未安装于摄像装置主体的状态下的摄影视场角宽的透镜。第3方式中的透镜是所谓的“广角转换透镜”,与未安装透镜的情况相比,能够以宽视场角进行摄影。
第4方式所涉及的摄像装置在第1方式中,透镜为使透镜安装于摄像装置主体的状态下的摄影视场角比透镜未安装于摄像装置主体的状态下的摄影视场角窄的透镜。第4方式中的透镜是所谓的“远摄转换透镜”,与未安装透镜的情况相比,能够以长焦视场角进行摄影。
第5方式所涉及的摄像装置在第1至第4方式中的任一方式中,透镜为相对于摄像装置主体安装及拆卸的可更换透镜。根据第5方式,能够根据摄影目的、摄影条件,安装不同视场角、焦距的透镜来以所期望的条件进行摄影。
第6方式所涉及的摄像装置在第1至第5方式中的任一方式中,摄像装置主体具有在比编码孔径更靠被摄体侧的位置安装透镜的透镜安装部。在第6方式中,作为透镜安装部,例如可举出卡口、螺纹牙、螺纹槽,但不限定于这些。
第7方式所涉及的摄像装置在第1至第6方式中的任一方式中,图像复原部对空间区域的图像中由透镜引起的像差进行校正。第7方式中对由透镜引起的像差进行校正,因此能够获得画质良好的图像。像差的校正可以在重构图像之前进行,也可以在重构之后进行。在重构之前对像差进行校正时,例如能够通过根据所校正的像差的种类和/或量变更与投影像相乘的编码孔径的形状和/或大小来进行。另一方面,在重构之后对像差进行校正时,例如能够通过根据所校正的像差的种类和/或程度、图像中的位置等条件适用不同滤波器(例如,点像复原用滤波器等)等图像处理来进行。但是,本发明的像差的校正并不限定于这种方式。
第8方式所涉及的摄像装置在第7方式中,具备获取透镜信息的透镜信息获取部,图像复原部根据所获取的信息对像差进行校正。根据第8方式,能够根据透镜信息准确且轻松地对像差进行校正。另外,也可以如下,即,在透镜具备存储透镜信息的透镜信息存储部,由透镜信息获取部从透镜信息存储部获取信息。这种透镜信息存储部能够利用非暂时性记录介质来构成。
本发明的第9方式所涉及的摄像装置在第1至第8方式中的任一方式中,编码孔径为菲涅尔波带片,图像复原部对通过菲涅尔波带片形成于摄像元件的投影像和与菲涅尔波带片相对应的菲涅尔区图案进行乘法运算来生成乘法运算图像,并对乘法运算图像进行傅里叶变换,从而对空间区域的图像进行重构。第9方式规定图像重构的具体方式。
第10方式所涉及的摄像装置在第9方式中,菲涅尔区图案包含:第1菲涅尔区图案;及第2菲涅尔区图案,各区域中的局部空间频率与第1菲涅尔区图案相同且局部空间频率的相位与第1菲涅尔区图案不同,图像复原部将第1菲涅尔区图案及第2菲涅尔区图案分别与投影像进行乘法运算,生成由实部的图像及虚部的图像构成的复图像作为所述乘法运算图像,并对复图像进行二维复傅里叶变换,从而对空间区域的图像进行重构。第10方式通过规定图像重构的其他具体方式,能够获得没有被摄体像的重叠且画质良好的重构图像。另外,在第10方式中,优选第1菲涅尔区图案与第2菲涅尔区图案的相位偏离为70度以上且110度以下。这是因为若相位偏离在该范围,则可获得画质更加良好的图像。
本发明的第11方式所涉及的摄像装置在第10方式中,图像复原部使用放大率根据所对焦的被摄体距离而不同的第1菲涅尔区图案及第2菲涅尔区图案来生成复图像。根据第11方式,通过使用放大率根据所对焦的被摄体距离而不同的菲涅尔区图案,能够获得以所期望的被摄体距离对焦的图像。
本发明的第12方式所涉及的摄像装置主体具备:编码孔径;摄像元件,输出表示来自被摄体的光透射编码孔径而投影的被摄体的投影像的信号;及图像复原部,根据信号对空间区域的图像进行重构,所述摄像装置主体中,摄像装置主体具有在比编码孔径更靠被摄体侧的位置安装透镜的透镜安装部及获取透镜的透镜信息的透镜信息获取部,图像复原部对空间区域的图像中由透镜引起的像差进行校正。
发明效果
如以上说明,根据本发明的摄像装置,能够维持基于编码孔径的重调焦距功能的同时变更视场角。
附图说明
图1是表示第1实施方式所涉及的摄像装置的结构的框图。
图2是表示透镜装置的结构的另一例的图。
图3是表示菲涅尔波带片的例的图。
图4是表示处理部的结构的框图。
图5是表示存储于存储部的信息的图。
图6是表示实施例的透镜结构的图。
图7是表示各实施例的光路的图。
图8是表示各实施例的透镜数据的图。
图9是表示实施例1的非球面系数的图。
图10是表示实施例1的纵向像差的图。
图11是表示实施例2的纵向像差的图。
图12是表示实施例的规格的图。
图13是表示实施例1的周边光量计算条件的表。
图14是表示参数的定义的图。
图15是表示理想透镜及实施例1的周边光量比的曲线图。
图16是表示图像重构的处理的流程图。
图17是表示不同相位的菲涅尔波带片的例的图。
图18是表示与对焦距离相应的放大率的菲涅尔区图案的图。
具体实施方式
以下,参考附图,对用于实施本发明所涉及的摄像装置的方式进行详细说明。
<第1实施方式>
<摄像装置的结构>
图1是表示第1实施方式所涉及的摄像装置10(摄像装置)的结构的框图。摄像装置10具备透镜装置100(透镜、可更换透镜)及摄像装置主体200(摄像装置主体)。摄像装置10除了数码相机以外,还能够适用于智能手机、平板终端、监控摄像机、检查用相机等,但适用对象并不限定于这些设备。
<透镜装置的结构>
透镜装置100具备透镜300(透镜、可更换透镜)。透镜300是通过安装于摄像装置主体200(比菲涅尔波带片210更靠被摄体侧),能够使摄影视场角比未安装该透镜300的状态下的视场角更宽的透镜(广角转换透镜)。透镜装置100和摄像装置主体200经由透镜侧卡口130及主体侧卡口270(透镜安装部)而安装(Attach)。若安装透镜装置100和摄像装置主体200,则透镜侧端子132与主体侧端子272接触而能够在透镜装置100与摄像装置主体200之间进行通信。存储器120(透镜信息存储部)中存储有透镜300的信息,所存储的信息根据来自图像处理部230的指令而被获取。例如,能够将透镜300的透镜结构、焦距、摄影视场角、F值、像差的种类及值等预先存储于存储器120。这些信息可以在制造透镜300(透镜装置100)之后进行测定来存储于存储器120,也可以存储设计值。并且,还可以利用通过操作部260的操作而输入的信息。
透镜装置100能够通过用户的操作,相对于摄像装置主体200安装及拆卸,由此能够根据摄影目的、摄影条件等安装不同视场角、焦距的透镜来以所期望的条件进行摄影。例如,能够将具有透镜400的透镜装置102(参考图2)安装于摄像装置主体200来代替透镜装置100。透镜400是通过安装于摄像装置主体200,使摄影视场角比未安装该透镜400的状态下的视场角更窄的透镜(远摄转换透镜)。另外,图1及图2中简化显示了透镜300及400的结构。透镜300及400的具体结构将在后面进行叙述。并且,图1中,对透镜装置100、102经由透镜侧卡口130及主体侧卡口270安装于摄像装置主体200的情况进行了说明,但对摄像装置主体200的安装并不限定于这种方式。除此以外,例如可以通过设置于透镜装置100、102和摄像装置主体200的其中一个的螺纹牙(透镜安装部)和设置于另一个且与螺纹牙相对应的螺纹槽(透镜安装部)进行。另外,透镜300、400安装于比菲涅尔波带片210更靠被摄体侧(物体侧)的位置。
<摄像装置主体的结构>
摄像装置主体200具备菲涅尔波带片210(菲涅尔波带片、编码孔径)及摄像元件220(摄像元件),通过摄像元件220获取来自被摄体的光透射透镜300(或透镜400)和菲涅尔波带片210而形成的投影像。菲涅尔波带片210以中心与摄像元件220的中心一致且与摄像元件220的摄像面220A(受光面)平行的状态配置于摄像元件220的摄像面侧。菲涅尔波带片210可以相对于摄像装置主体200可更换。通过区分使用特性(大小、间距、相位、与图像传感器的距离等)不同的菲涅尔波带片,能够控制所获取的投影像的特性(视场角、深度(距离测定精度)等)来重构所期望的特性的图像。另外,以下说明中,有时将菲涅尔波带片(FresnelZone Plate)记载为“FZP”。
<菲涅尔波带片的结构>
图3的(a)部分是表示作为菲涅尔波带片210的例的FZP1的图。在FZP1中,所入射的光的透射率根据FZP1的图案,根据距中心的距离而连续地发生变化,越是接近白色的区域(透射区域),光的透射率越高,越是接近黑色的区域(遮光区域),光的透射率越低。作为整体,成为透射区域和遮光区域交替地以同心圆状配置的状态,这些透射区域及遮光区域构成菲涅尔波带片。同心圆的间隔随着从FZP1的中心朝向周边而变窄。这种同心圆状的图案(局部空间频率的变化)由后述的式(2)、(3)、(7)等表示,将这些式中的同心圆的细度称为“间距”。间距由上述的β的值来规定,若β小则成为稀疏的图案,若β大则成为细密的图案。在摄像装置主体200设置存储器并预先存储间距的信息(β的值),图像处理部230(信息获取部230E)可以获取该信息来使用。
菲涅尔波带片210的光轴L(参考图1)为通过FZP及摄像元件220的中心且与FZP及摄像元件220的摄像面220A垂直的轴。FZP与摄像元件220相邻而配置。根据与摄像元件220的距离,因光的衍射而投影像变模糊,因此优选不过度分离。
图3的(b)部分是表示作为菲涅尔波带片的另一例的FZP2的图。FZP2相对于FZP1的图案,对透射率设定阈值,并将透射率超过阈值的区域设为透射率100%的透射区域(白色部分),将阈值以下的区域设为透射率0%的遮光区域(黑色部分),透射率根据距中心的距离而不连续地(0%或100%这2个阶段)发生变化。作为整体,成为透射区域和遮光区域交替地以同心圆状配置的状态,这些透射区域及遮光区域构成菲涅尔波带片。如此,本发明中的“菲涅尔波带片”包含如FZP1的方式及如FZP2的方式。与此对应地,本发明中的“菲涅尔区图案”也包含透射率连续地发生变化的图案及透射率不连续地发生变化的图案。另外,也可以在如图3所示的菲涅尔波带片的周边部分设置遮光部(与遮光区域相同地为不透射光的区域)来防止不需要的光入射到摄像元件220的周边部分。
<摄像元件的结构>
摄像元件220为具有由沿二维方向排列的光电转换元件构成的多个像素的图像传感器。可以在各像素上设置微透镜来提高聚光效率。并且,也可以在各像素上配设滤色器(例如,红色、蓝色及绿色)以便能够重构彩色图像。在该情况下,获取投影像时,与在通常的数码相机中生成彩色图像时的去马赛克处理(还称为同步化处理)同样地,进行与滤色器的排列图案相应的插值处理。通过该插值处理生成各像素(受光元件)中不足的颜色的信号,在所有像素中获得各颜色(例如,红色、蓝色及绿色)的信号。这种处理能够通过图像处理部230进行。
摄像装置主体200除了上述的菲涅尔波带片210及摄像元件220以外,还具备图像处理部230、存储部240、显示部250及操作部260,根据通过菲涅尔波带片210及摄像元件220获取的投影像进行被摄体的图像复原等。
<图像处理部的结构>
图4是表示图像处理部230(图像复原部)的结构的图。图像处理部230具有投影像输入部230A、乘法运算图像生成部230B(图像复原部)、傅里叶变换部230C(图像复原部)、像差校正部230D(图像复原部)、信息获取部230E(透镜信息获取部)及显示控制部230F。投影像输入部230A控制摄像元件220,从摄像元件220获取来自被摄体的光入射到FZP而形成于摄像元件220的投影像。乘法运算图像生成部230B将局部空间频率相同且局部空间频率的相位不同的多个菲涅尔区图案(第1、第2菲涅尔区图案)和投影像进行乘法运算,从而生成由实部的图像及虚部的图像构成的复图像。傅里叶变换部230C对复图像进行二维复傅里叶变换,从而对空间区域的图像进行重构。像差校正部230D对空间区域的图像中由透镜300或透镜400引起的像差(像散、球面像差、彗形像差、畸变像差、轴上色差、倍率色差等)进行校正。信息获取部230E获取存储于透镜装置100的存储器120的透镜300的信息(例如,透镜结构、焦距、摄影视场角、F值、像差的种类及值等)。并且,信息获取部230E获取在投影像的获取中使用的菲涅尔波带片210的信息(间距信息)。显示控制部230F进行投影像、复图像、重构图像等向显示部250的显示控制。ROM230G(非暂时性记录介质)中记录有进行图像重构的程序等用于摄像装置10动作的各种程序的计算机(处理器)可读取的代码。
上述的图像处理部230的功能能够使用各种处理器(processor)来实现。在各种处理器中例如包含执行软件(程序)来实现各种功能的通用的处理器即CPU(中央处理单元,Central Processing Unit)。并且,在上述各种处理器还包含FPGA(现场可编程门阵列,Field Programmable Gate Array)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)。而且,ASIC(Application Specific IntegratedCircuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等也包含在上述各种处理器中。
各部的功能可以通过1个处理器实现,也可以组合多个处理器来实现。并且,可以由1个处理器实现多个功能。作为由1个处理器构成多个功能的例子,第1,如以用户端、服务器等计算机为代表那样,有如下方式:以1个以上的CPU和软件的组合构成1个处理器,该处理器作为多个功能而实现。第2,如以系统芯片(System On Chip:SoC)等为代表那样,有使用由1个IC(集成电路,Integrated Circuit)芯片实现系统整体的功能的处理器的方式。如此,关于各种功能,作为硬件结构,使用1个以上的上述各种处理器来构成。
而且,更具体而言,作为这些各种处理器的硬件结构,能够利用组合半导体元件等电路元件而成的电路(circuitry)。
在上述处理器(或者电路)执行软件(程序)时,将所执行的软件的计算机可读代码预先存储于ROM230G等非暂时性记录介质,由处理器参考该软件。在使用软件进行处理时,例如将RAM(随机存取存储区,Random Access Memory)用作暂时性存储区域,并且例如参考存储于EEPROM(电可擦可编程只读存储器,Flectronically Erasable and ProgrammableRead Only Memory)中的数据。另外,在图4中省略RAM、EEPROM等器件的图示。
<存储部的结构>
存储部240由CD(压缩磁盘,Compact Disk)、DVD(数字通用光盘,DigitalVersatile Disk)、硬盘(Hard Disk)、各种半导体存储器等非暂时性记录介质构成,将图5所示的图像及信息彼此建立关联而进行存储。透镜信息240A为从透镜装置100获取的透镜300的信息(例如,透镜结构、焦距、摄影视场角、F值、像差的种类及值等)。投影像240B为从摄像元件220获取的投影像。菲涅尔波带片信息240C为菲涅尔波带片210的局部空间频率的信息(包含β的值等间距信息)。菲涅尔波带片信息240C可以是从摄像元件220获取的信息,也可以是经由操作部260输入的信息。菲涅尔区图案信息240D为表示菲涅尔区图案的信息,优选对局部空间频率的相位不同的多个菲涅尔区图案进行记录。乘法运算图像240E为将菲涅尔区图案信息240D所表示的菲涅尔区图案(第1、第2菲涅尔区图案)与投影像相乘而获得的、由实部的图像及虚部的图像构成的复图像。重构图像240F为对乘法运算图像240E进行二维复傅里叶变换来获得的空间区域的图像。
<显示部及操作部的结构>
显示部250包含未图示的液晶显示器等显示装置而构成,显示投影像、乘法运算图像、重构图像等,并且还用于经由操作部260的指示输入时的UI(用户界面,UserInterface)用的画面显示。操作部260由未图示的键盘、鼠标、按钮、开关等器件构成,用户能够利用这些器件来输入投影像获取指示、图像重构指示、对焦距离的条件、局部空间频率的信息(间距、相位)等。另外,也可以由触摸面板构成显示部250的显示装置,除了图像显示以外,还用作操作部260。
<透镜的具体结构>
<实施例1>
图6的(a)部分是表示透镜300、菲涅尔波带片210及摄像元件220的摄像面220A的配置的图。透镜300为从物体侧(被摄体侧)依次由具有负光焦度(屈光力,以下相同)的前组310和具有正光焦度的后组320构成的广角转换透镜,由透镜302、304、306、308构成。菲涅尔波带片210配置于透镜300的光瞳的位置(光圈的位置)。
<实施例2>
图6的(b)部分是表示透镜400、菲涅尔波带片210及摄像元件220的摄像面220A的配置的图。透镜400为远摄转换透镜,由透镜402、404、406、408构成。菲涅尔波带片210配置于透镜400的光瞳的位置(光圈的位置)。
另外,透镜300、400的视场角被固定,但本发明的摄像装置中安装于摄像装置主体的透镜可以是视场角(焦距)可变的变焦透镜。
<光路图>
图7的(a)部分是表示在透镜300的光瞳的位置配置了理想透镜I1(像差为零的透镜)的状态下的、相对于透镜300的轴上光束B1及最大视场角的光束B2的光路的图。另外,实际上,在理想透镜I1的位置配置菲涅尔波带片210,光束作为波面行进,因此关于菲涅尔波带片210之后(摄像元件220侧),并不会成为如虚线部分那样的光路,但为了参考,示出了配置有理想透镜I1的情况的光路。同样地,图7的(b)部分是表示在透镜400的光瞳的位置配置了理想透镜I2(像差为零的透镜)的状态下的、相对于透镜400的轴上光束B3及最大视场角的光束B4的光路的图。另外,实际上,在理想透镜I2的位置配置有菲涅尔波带片210,光束作为波面行进,因此关于菲涅尔波带片210之后(摄像元件220侧),并不会成为如虚线部分那样的光路,但为了参考,示出了配置有理想透镜I2的情况的光路。理想透镜I1、I2的特性为f’=1mm、IH=9.407、FNo.=2.88、2ω=41.2deg。另外,理想透镜I1、I2的透镜数据为通过标准化将光瞳与摄像面220A的间隔设为1mm(即,理想透镜I1、I2与摄像面220A的间隔为1mm)时的数据。另外,mm表示毫米,deg表示角度。
<透镜数据>
图8的(a)部分是表示透镜300的透镜数据的表。表中,在面编号标注“*”的面表示非球面。同样地,图8的(b)部分是表示透镜400的透镜数据的表。另外,图8中的透镜数据为通过标准化将光瞳与摄像面220A的间隔设为1mm(即,菲涅尔波带片210与摄像面220A的间隔为1mm)时的数据。通过改变焦距等而间隔成为k倍时,曲率半径、面间隔也成为k倍。
图9是表示针对透镜300的非球面系数的表。将透镜表面的中心作为原点,光轴为x轴时,透镜表面的非球面形状通过以下式(1)表示。另外,c为近轴曲率半径的倒数(近轴曲率),hi为自光轴的高度,κ为圆锥乘数,Ai为非球面系数。
[数式1]
<纵向像差图>
图10的(a)部分~(d)部分分别是表示透镜300的球面像差、像散、畸变像差及倍率色差的图。同样地,图11的(a)部分~(d)部分分别是表示透镜400的球面像差、像散、畸变像差及倍率色差的图。
<实施例的规格>
图12是表示实施例1、2的规格的表。可知通过上述结构,实施例1(安装透镜300的情况)中,相对于原来的光学系统(视场角为20.6deg),视场角发生了变化(变宽为60.0deg)。同样地,可知实施例2(安装透镜400的情况)中,相对于原来的光学系统(视场角为24.8deg),视场角发生了变化(变窄为17.8deg)。另外,实施例1、2中的“原来的光学系统”为利用如菲涅尔波带片210那样的编码孔径的光学系统(焦距为1.0mm)。
<周边光量>
图13是表示针对实施例1的用于计算周边光量的条件式的表,表中的参数的含义如下。另外,将Cs、Ct、Mt、Ms的定义示于图14的(a)部分、(b)部分及(c)部分。图14的(b)部分是表示平面P1的图,图14的(c)部分是表示平面P2的图。平面P1、P2分别是与轴上光束B1的光主线L1、最大视场角的光束B2的光主线L2垂直的面。
Cs:入射到最靠物体侧的面的轴上光束的弧矢方向(切线方向)的长度
Ms:入射到最靠物体侧的面的最大视场角的光束的弧矢方向的长度
DA:广角转换透镜(透镜300)中的最大的空气间隔
Ff:比DA更靠物体侧的透镜组的焦距
Ct:入射到最靠物体侧的面的轴上光束的子午方向(放射方向)的长度
Mt:将入射到最靠物体侧的面的最大视场角的光束的子午方向的长度投影于与光主线垂直的面时的长度
WCTL:广角转换透镜的第1面至最终面为止的长度
WCf:广角转换透镜的焦距
Dist:将广角转换透镜安装于理想透镜时的光学畸变
图15是表示针对实施例1中的理想透镜及(广角转换透镜(透镜300)+理想透镜)的周边光量比(将光轴上设为100%,相对于半视场角γ以(cosγ)的四次方表示)的曲线图。半视场角γ为30deg时,理想透镜的周边光量比约为56%,但在(广角转换透镜+理想透镜)时约为98%,可知周边光量比得到了提高。
<图像的重构>
对基于上述结构的摄像装置10的图像重构进行说明。图16是表示图像的重构处理的流程图。
<投影像的输入>
在步骤S100中,图像处理部230(投影像输入部230A)从摄像元件220获取被摄体的投影像。所获取的投影像为来自被摄体的光入射到菲涅尔波带片210而形成于摄像元件220的投影像。
<局部空间频率的信息>
在步骤S110中,输入图像处理部230(信息获取部230E)输入投影像获取中使用的菲涅尔波带片‘210的局部空间频率的信息(菲涅尔波带片210的间距)。该信息可以从未图示的存储器输入,也可以根据对操作部260的用户的操作来。并且,也可以由信息获取部230E分析并输入在步骤S100中获取的投影像。间距由β的值规定(参考后述的式(2)~(4)、(7)等),因此具体而言输入β的值即可。另外,当对已知的被摄体(例如,距离无限远的点光源)进行了摄影时,能够通过分析摄影图像来获取间距(β的值)。并且,也可以一边改变间距(β的值)一边重复进行图像的重构来求出可获得清晰的图像的值。
<复图像的生成>
在步骤S120中,图像处理部230(乘法运算图像生成部230B)将投影像与第1、第2菲涅尔区图案分别相乘而生成由实部的图像及虚部的图像构成的复图像。在步骤S120中进行乘法运算的菲涅尔区图案能够使用存储于存储部240的图案(菲涅尔区图案信息240D)中的根据在步骤S110中输入的间距(β的值)而选择的图案。并且,也能够使用根据间距(β的值)而改变(根据需要可以放大或缩小)存储于存储部240的图案而得到的图案。图像处理部230(乘法运算图像生成部230B)将所生成的复图像作为乘法运算图像240E而存储于存储部240。
<菲涅尔区图案的相位>
在图像的复原中使用的第1菲涅尔区图案例如能够设为图17的(a)部分所示的图案(中心的相位为0deg),通过将该图案和投影像相乘,可获得实部的图像。并且,第2菲涅尔区图案例如能够设为图17的(b)部分所示的图案(间距与第1菲涅尔区图案相同且相位偏离90deg),通过将该图案和投影像相乘,可获得虚部的图像。如上所述,对于式(7)等,第1、第2菲涅尔区图案的相位偏离优选为90deg,但若相位偏离在正或负70deg以上且110deg以下的范围,则能够重构清晰的图像。也可以使第1菲涅尔区图案或第2菲涅尔区图案的局部空间频率的相位与菲涅尔波带片210的相位相同。
在使用菲涅尔区图案时,能够将相位不同的多个菲涅尔区图案的数据作为菲涅尔区图案信息240D而预先存储于存储部240并选择所期望的图案来使用。并且,也可以由图像处理部230(乘法运算图像生成部230B)根据间距及相位的信息生成所期望的图案。这种菲涅尔区图案作为电子数据即菲涅尔区图案信息240D而存储于存储部240,因此能够迅速且容易进行所期望的图案的选择及生成。并且,不存在由以有体物形式保持与多个图案相对应的板(基板)而引起的装置的大型化、制作成本的增加、由多个图案之间的特性的偏差(包含制造时的偏差、经时变化、温度变化)而引起的画质的劣化等问题。
<菲涅尔区图案的放大率>
当被摄体(光源)存在于无限远方时,平行光入射到菲涅尔波带片210而形成于摄像元件220的投影像成为与菲涅尔波带片210相同的大小,但当被摄体存在于有限距离时,具有扩散的光入射,距离越近,投影像变得越大。因此,通过将放大率根据所对焦的被摄体距离而不同的图案用作第1、第2菲涅尔区图案,能够获得在所期望的距离上对焦的图像。例如,将与被摄体距离相应的多个图案作为菲涅尔区图案信息240D而预先存储于存储部240,能够读出并使用该图案信息。并且,也可以将1个菲涅尔区图案作为基准图案而预先存储,并根据被摄体距离以不同的放大率进行放大。在该情况下,能够将与被摄体距离无限大对应且与菲涅尔波带片相同的大小的图案作为基准图案。图18是菲涅尔区图案的放大率根据被摄体距离而不同的情况的图。
另外,也可以一边改变放大率一边重复进行复图像的生成(步骤S120)及图像的重构(步骤S130),并通过将所重构的图像的对焦评价值(例如,设定在图像中的焦点评价区域中的亮度信号的积分值)设为最大来获取清晰的图像。
如此,第1实施方式所涉及的摄像装置10能够使用菲涅尔波带片210(编码孔径)及菲涅尔区图案进行重调焦距。
<图像的重构>
在步骤S130中,图像处理部230(傅里叶变换部230C)对复图像进行二维复傅里叶变换而重构被摄体的图像(空间区域的图像)(后述)。而且,图像处理部230(像差校正部230D)对所重构的图像(空间区域的图像)中由安装于摄像装置主体200的透镜(透镜300、透镜400等)引起的像差(球面像差、彗形像差、畸变像差、轴上色差、倍率色差等)进行校正。校正根据从存储器120获取的透镜信息240A进行。并且,像差的校正可以在重构图像之前进行,也可以在重构之后进行。在重构之前对像差进行校正时,例如能够通过根据所校正的像差的种类和/或量变更与投影像相乘的菲涅尔区图案(编码孔径)的形状和/或大小来进行。另一方面,在重构之后对像差进行校正时,例如能够通过根据所校正的像差的种类和/或程度、图像中的位置等条件适用不同滤波器(点像复原用滤波器等)等图像处理来进行。但是,本发明的像差的校正并不限定于这种方式。图像处理部230(显示控制部230F)将所重构的图像显示于显示部250(步骤S140)。并且,图像处理部230(傅里叶变换部230C)将所重构的图像作为重构图像240F存储于存储部240。
<图像复原的详细内容>
对第1实施方式中的图像复原的详细内容进行进一步详细说明。编码孔径(菲涅尔波带片)的图案I(r)由式(2)表示。
[数式2]
I(r)=cosβr2……(2)
I(r)的值越大,既定的波段中的光的透射率就变得越大。r是确定菲涅尔波带片的半径的常数,β(>0)是确定图案的细度(间距)的常数。以下,为了避免出现负值,将考虑如式(3)附加偏移而落入于0至1的范围的I2(r)。
[数式3]
假设该编码孔径(菲涅尔波带片)从从摄像元件的传感器面上仅分离距离d而配置。此时,若假设光(平行光)从距离无限远的点光源以入射角θ入射,则编码孔径(菲涅尔波带片)的阴影仅平行移动Δr(=d×tanθ)而投影在传感器上。平行移动的阴影S(r)由式(4)表示。
[数式4]
I2(r)及S(r)原本是二维图像,并且是双变量函数,但在此为了简化而仅关注并考虑由包含中心和入射光源的平面切断的剖面上的一维图像。但是,若如以下的式(5)进行计算,则能够容易扩展到二维的情况。
[数式5]
所拍摄的阴影图像(投影像)在计算机上被图像复原(重构)而输出。在图像复原工艺中,阴影图像与未偏离位置的菲涅尔区孔径图像(菲涅尔区图案)进行乘法运算。关于该内部乘法运算的函数,在此考虑由以下的式(6)、(7)表示的2个函数的情况。另外,将虚数单位设为j。
[数式6]
Mr(r)=I(r)=cosβr2……(6)
[数式7]
Mr(r)为与I(r)相同的实数函数,但去除了偏移(直流成分)。以往技术(上述的非专利文献1、2及专利文献1)中的图像的重构相当于对实数孔径的投影像相乘由实数函数Mr(r)表示的菲涅尔区图案的情况。Mc(r)为复数函数,Mc(r)=cosβr2+j×sinβr2=cosβr2-j×cos(βr2+π/2),因此实部、虚部的相位为(π/2),即与偏离90deg的菲涅尔区图案相对应。Mc(r)的实数部(cosβr2)与Mr(r)相同。在第1实施方式中,如此将分别与复数函数的实部、虚部相对应且相位不同的2个菲涅尔区图案(第1、第2菲涅尔区图案)和投影像相乘,从而生成由实部的图像及虚部的图像构成的复图像。
内部乘法运算后的图像(乘法运算图像)在各自的情况下通过以下式(8)、(9)表示。
[数式8]
[数式9]
对于作为内部乘法运算图像利用Mr(r)、Mc(r)时的乘法运算后图像Fr(r)、Fc(r),第1项为能够通过偏移校正等去除的成分。第2项为重合的菲涅尔波带孔径之间的“差频”(以cosα、cosφ表示2个孔径时,对应于cos(α-φ))被提取的莫尔干涉条纹,这与傅里叶变换的基底一致,因此通过适用傅里叶变换转换为三角函数而成为“点”,从而成为有助于成像的成分。第3项相当于“和频”(对应于cos(α+φ)),其即使进行傅里叶变换也不会有助于成像并成为作为噪声起作用的成分。
对Fr(r)、Fc(r)分别适当地适用偏移校正,将第1项被消去的状态的图像设为Fr2(r)、Fc2(r)。若对这些实际适用傅里叶变换,则将Fr(r)、Fc(r)的傅里叶变换设为fr(k)、Fc(k),并由式(10)、(11)表示。
[数式10]
[数式11]
在此,ξ(k,β,Δr)为实数的多项式。通过对它们取复数的绝对值可获得复原图像,但在fr(k)的情况(以往技术的情况)下,第1项和第2项会产生关于原点对称的2个点,因此会成为以点对称地重叠的复原图像。相对于此,在fc(k)的情况(第1实施方式的情况)下,不会产生这种问题,可正常地重构图像。两者的共同点是fr(r)的第3项和fc(r)的第2项作为噪声起作用,由于这一项的原因,调制传递函数(MTF:Modulation Transfer Function)不可能成为100%,这意味着即使不存在由传感器产生的噪声,MTF也不会成为100%。但是,若加大β的值,则该噪声越变小,因此通过加大β的值(设为细密的图案),能够减轻影响。
对于fc(k)(第1实施方式的情况)的第1项,相位依赖于光的入射角而旋转,若对其取复数的绝对值,则能够确认对应于无限远光的到来而在三角函数(点)上成像。从入射光的角度光谱至成像图像为止的运算全部为线性,因此重合成立,由此能够说明图像的成像。
另外,若关于二维的情况进行计算,则周边光量成为(cosγ)的四次方,畸变成为2×β×d×tanγ。γ表示半视场角。
<第1实施方式的效果>
如以上说明,根据第1实施方式所涉及的摄像装置10,具有基于编码孔径的重调焦距功能,能够变更视场角。
<其他方式>
在上述的第1实施方式中,对投影像和第1、第2菲涅尔区图案进行乘法运算来生成复图像,并对该复图像进行复傅里叶变换来重构了空间区域的图像,但本发明的摄像装置中的图像的重构并不限定于使用复图像的方式。如对于式(6)、(8)、(10)等进行了叙述,也可以对投影像相乘如Mr(r)的实数函数来求出乘法运算图像,并对该乘法运算图像进行傅里叶变换来重构图像。另外,在该情况下,在复原图像中产生被摄体像的重叠,但能够通过将所重构的图像切出一半而进行显示等来应对。并且,在乘以实数函数的情况下,也能够通过使用放大率根据所对焦的被摄体距离而不同的菲涅尔区图案来获得对焦于所期望的距离的图像。
以上,对本发明的实施方式进行了说明,但本发明并不限定于上述实施方式,在不脱离本发明的精神的范围内能够进行各种变形。
符号说明
10-摄像装置,100、102-透镜装置,120-存储器,130-透镜侧卡口,132-透镜侧端子,200-摄像装置主体,210、FZP1、FZP2-菲涅尔波带片,220-摄像元件,220A-摄像面,230-图像处理部,230A-投影像输入部,230B-乘法运算图像生成部,230C-傅里叶变换部,230D-像差校正部,230E-信息获取部,230F-显示控制部,230G-ROM,240-存储部,240A-透镜信息,240B-投影像,240C-菲涅尔波带片信息,240D-菲涅尔区图案信息,240E-乘法运算图像,240F-重构图像,250-显示部,260-操作部,270-主体侧卡口,272-主体侧端子,300、302、304、306、308、400、402、404、406、408-透镜,310-前组,320-后组,B1、B3-轴上光束,B2、B4-光束,Fr-乘法后图像,I-图案,I1、I2-理想透镜,L-光轴,L1、L2-光主线,Mr-实数函数,P1、P2-平面,S100~S140-重构处理的各步骤,γ-半视场角,θ-入射角。
Claims (11)
1.一种摄像装置,其具备:
摄像装置主体,具有编码孔径、输出表示被摄体的投影像的信号的摄像元件及根据所述信号对空间区域的图像进行重构的图像复原部;及
透镜,相对于所述摄像装置主体安装于比所述编码孔径更靠被摄体侧的位置,使所述透镜安装于所述摄像装置主体的状态下的摄影视场角相对于所述透镜未安装于所述摄像装置主体的状态下的摄影视场角发生变化,
所述编码孔径配置于所述透镜的光瞳的位置,
来自所述被摄体的光透射所述透镜及所述编码孔径而在所述摄像元件形成所述投影像,
所述编码孔径为菲涅尔波带片,
所述图像复原部对通过所述菲涅尔波带片形成于所述摄像元件的投影像和与所述菲涅尔波带片相对应的菲涅尔区图案进行乘法运算来生成乘法运算图像,并对所述乘法运算图像进行傅里叶变换,从而对所述空间区域的图像进行重构,
所述菲涅尔区图案包含:
第1菲涅尔区图案;及
第2菲涅尔区图案,所述第2菲涅尔区图案的各区域中的局部空间频率与所述第1菲涅尔区图案的各区域中的局部空间频率相同,且所述第2菲涅尔区图案的所述局部空间频率的相位与所述第1菲涅尔区图案的所述局部空间频率的相位不同,
所述第1菲涅尔区图案与所述第2菲涅尔区图案的相位偏离向正或向负在70度以上且110度以下的范围内。
2.根据权利要求1所述的摄像装置,其中,
所述透镜为使所述透镜安装于所述摄像装置主体的状态下的周边光量不低于所述透镜未安装于所述摄像装置主体的状态下的周边光量的透镜。
3.根据权利要求1或2所述的摄像装置,其中,
所述透镜为使所述透镜安装于所述摄像装置主体的状态下的摄影视场角比所述透镜未安装于所述摄像装置主体的状态下的摄影视场角宽的透镜。
4.根据权利要求1所述的摄像装置,其中,
所述透镜为使所述透镜安装于所述摄像装置主体的状态下的摄影视场角比所述透镜未安装于所述摄像装置主体的状态下的摄影视场角窄的透镜。
5.根据权利要求1或2所述的摄像装置,其中,
所述透镜为相对于所述摄像装置主体安装及拆卸的可更换透镜。
6.根据权利要求1或2所述的摄像装置,其中,
所述摄像装置主体具有在比所述编码孔径更靠被摄体侧的位置安装透镜的透镜安装部。
7.根据权利要求1或2所述的摄像装置,其中,
所述图像复原部对所述空间区域的图像中由所述透镜引起的像差进行校正。
8.根据权利要求7所述的摄像装置,其中,
所述摄像装置具备:
透镜信息获取部,获取所述透镜的信息,
所述图像复原部根据获取的所述信息对所述像差进行校正。
9.根据权利要求1或2所述的摄像装置,其中,
所述图像复原部将所述第1菲涅尔区图案及所述第2菲涅尔区图案分别与所述投影像进行乘法运算,生成由实部的图像及虚部的图像构成的复图像作为所述乘法运算图像,并对所述复图像进行二维复傅里叶变换,从而对所述空间区域的图像进行重构。
10.根据权利要求9所述的摄像装置,其中,
所述图像复原部使用放大率根据所对焦的被摄体距离而不同的所述第1菲涅尔区图案及所述第2菲涅尔区图案来生成所述复图像。
11.一种摄像装置主体,其具有:
编码孔径;
摄像元件,输出表示通过来自被摄体的光透射所述编码孔径而投影的所述被摄体的投影像的信号;及
图像复原部,根据所述信号对空间区域的图像进行重构,
所述摄像装置主体中,
所述摄像装置主体具有在比所述编码孔径更靠被摄体侧的位置安装透镜的透镜安装部及获取所述透镜的透镜信息的透镜信息获取部,
所述编码孔径配置于所述透镜的光瞳的位置,
所述图像复原部对所述空间区域的图像中由所述透镜引起的像差进行校正,
所述编码孔径为菲涅尔波带片,
所述图像复原部对通过所述菲涅尔波带片形成于所述摄像元件的投影像和与所述菲涅尔波带片相对应的菲涅尔区图案进行乘法运算来生成乘法运算图像,并对所述乘法运算图像进行傅里叶变换,从而对所述空间区域的图像进行重构,
所述菲涅尔区图案包含:
第1菲涅尔区图案;及
第2菲涅尔区图案,所述第2菲涅尔区图案的各区域中的局部空间频率与所述第1菲涅尔区图案的各区域中的局部空间频率相同,且所述第2菲涅尔区图案的所述局部空间频率的相位与所述第1菲涅尔区图案的所述局部空间频率的相位不同,
所述第1菲涅尔区图案与所述第2菲涅尔区图案的相位偏离向正或向负在70度以上且110度以下的范围内。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-249069 | 2017-12-26 | ||
JP2017249069 | 2017-12-26 | ||
PCT/JP2018/046789 WO2019131382A1 (ja) | 2017-12-26 | 2018-12-19 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111527737A CN111527737A (zh) | 2020-08-11 |
CN111527737B true CN111527737B (zh) | 2022-03-25 |
Family
ID=67063581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880083513.XA Active CN111527737B (zh) | 2017-12-26 | 2018-12-19 | 摄像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11288780B2 (zh) |
JP (1) | JP6934072B2 (zh) |
CN (1) | CN111527737B (zh) |
WO (1) | WO2019131382A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7363765B2 (ja) * | 2018-03-06 | 2023-10-18 | ソニーグループ株式会社 | 画像処理装置、および撮像装置、並びに画像処理方法 |
DE102020215960A1 (de) * | 2020-01-31 | 2021-08-05 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren und Anordnung zum Ermitteln einer Position eines Objekts |
CN113504623A (zh) * | 2021-07-14 | 2021-10-15 | Oppo广东移动通信有限公司 | 光学镜头及其制备方法、摄像头模组、电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1116727A (zh) * | 1994-01-18 | 1996-02-14 | 大宇电子株式会社 | 具有可变焦投影透镜系统的光学投影系统 |
CN101715052A (zh) * | 2008-09-30 | 2010-05-26 | 富士胶片株式会社 | 摄像装置及摄像方法 |
CN101799590A (zh) * | 2010-03-31 | 2010-08-11 | 深圳大学 | 一种数字菲涅耳消除相位型空间光调制器黑栅效应的方法和装置 |
CN105929560A (zh) * | 2016-07-04 | 2016-09-07 | 中国科学院光电技术研究所 | 一种宽带远场超分辨成像装置 |
JP2016165070A (ja) * | 2015-03-06 | 2016-09-08 | 国立大学法人 鹿児島大学 | 撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法 |
CN105981363A (zh) * | 2014-01-10 | 2016-09-28 | 株式会社理光 | 成像模块以及成像装置 |
WO2017149687A1 (ja) * | 2016-03-02 | 2017-09-08 | 株式会社日立製作所 | 撮像装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997045755A1 (en) * | 1996-05-31 | 1997-12-04 | Massachusetts Institute Of Technology | Coded aperture imaging |
US7420737B2 (en) * | 2005-12-21 | 2008-09-02 | Intel Corporation | Reconfigurable zone plate lens |
KR100871097B1 (ko) * | 2007-01-08 | 2008-11-28 | 김태근 | 결맞음 주파수영역 반사파 계측법에 기초한 광영상 시스템 |
US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
US8243353B1 (en) * | 2008-04-07 | 2012-08-14 | Applied Science Innovations, Inc. | Holography-based device, system and method for coded aperture imaging |
KR101441586B1 (ko) * | 2008-10-06 | 2014-09-23 | 삼성전자 주식회사 | 촬상 장치 및 촬상 방법 |
US8773507B2 (en) * | 2009-08-11 | 2014-07-08 | California Institute Of Technology | Defocusing feature matching system to measure camera pose with interchangeable lens cameras |
US8304737B2 (en) * | 2009-10-02 | 2012-11-06 | Ut-Battelle, Llc | Apparatus and method to achieve high-resolution microscopy with non-diffracting or refracting radiation |
JP2012095167A (ja) * | 2010-10-28 | 2012-05-17 | Panasonic Corp | 撮像装置 |
JP5830348B2 (ja) | 2011-10-26 | 2015-12-09 | オリンパス株式会社 | 撮像装置 |
JP6112862B2 (ja) * | 2012-12-28 | 2017-04-12 | キヤノン株式会社 | 撮像装置 |
JP6528933B2 (ja) * | 2014-12-26 | 2019-06-12 | 株式会社ニデック | 眼底撮影装置 |
JP2014197002A (ja) * | 2014-04-15 | 2014-10-16 | セルオプティック、インコーポレイテッドCelloptic, Inc. | 受信電磁放射線から物体の3次元情報を抽出するシステム、装置および方法 |
CN107736012B (zh) | 2015-06-17 | 2021-09-10 | 麦克赛尔株式会社 | 摄像装置和图像生成方法 |
CN204993599U (zh) * | 2015-09-29 | 2016-01-20 | 北京伊神华虹系统工程技术有限公司 | 一种反射式全景摄像机 |
-
2018
- 2018-12-19 WO PCT/JP2018/046789 patent/WO2019131382A1/ja active Application Filing
- 2018-12-19 JP JP2019561575A patent/JP6934072B2/ja active Active
- 2018-12-19 CN CN201880083513.XA patent/CN111527737B/zh active Active
-
2020
- 2020-06-03 US US16/891,097 patent/US11288780B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1116727A (zh) * | 1994-01-18 | 1996-02-14 | 大宇电子株式会社 | 具有可变焦投影透镜系统的光学投影系统 |
CN101715052A (zh) * | 2008-09-30 | 2010-05-26 | 富士胶片株式会社 | 摄像装置及摄像方法 |
CN101799590A (zh) * | 2010-03-31 | 2010-08-11 | 深圳大学 | 一种数字菲涅耳消除相位型空间光调制器黑栅效应的方法和装置 |
CN105981363A (zh) * | 2014-01-10 | 2016-09-28 | 株式会社理光 | 成像模块以及成像装置 |
JP2016165070A (ja) * | 2015-03-06 | 2016-09-08 | 国立大学法人 鹿児島大学 | 撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法 |
WO2017149687A1 (ja) * | 2016-03-02 | 2017-09-08 | 株式会社日立製作所 | 撮像装置 |
CN105929560A (zh) * | 2016-07-04 | 2016-09-07 | 中国科学院光电技术研究所 | 一种宽带远场超分辨成像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6934072B2 (ja) | 2021-09-08 |
CN111527737A (zh) | 2020-08-11 |
US11288780B2 (en) | 2022-03-29 |
WO2019131382A1 (ja) | 2019-07-04 |
US20200294210A1 (en) | 2020-09-17 |
JPWO2019131382A1 (ja) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110692233B (zh) | 摄像装置、图像处理装置、摄像系统、图像处理方法及记录介质 | |
CN110720207B (zh) | 图像处理装置、摄像系统、图像处理方法及记录介质 | |
Lam | Computational photography with plenoptic camera and light field capture: tutorial | |
US9142582B2 (en) | Imaging device and imaging system | |
CN111527737B (zh) | 摄像装置 | |
US20070091486A1 (en) | Methods for minimizing aberrating effects in imaging systems | |
US9473700B2 (en) | Camera systems and methods for gigapixel computational imaging | |
KR20090055635A (ko) | 향상된 이미지 품질을 갖는 이미지 시스템 및 그와 관련된 방법 | |
CA2577735A1 (en) | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and centrally obscured aperture | |
Fontbonne et al. | Experimental validation of hybrid optical–digital imaging system for extended depth-of-field based on co-optimized binary phase masks | |
WO2019131191A1 (ja) | ワイドコンバージョンレンズ及び撮像装置 | |
Wu et al. | Comparison between the plenoptic sensor and the light field camera in restoring images through turbulence | |
EP3693786B1 (en) | Holographic mode filter for super-resolution imaging | |
US20240135508A1 (en) | Image processing method, image processing apparatus, image processing system, imaging apparatus, and storage medium | |
Scrymgeour et al. | Advanced Imaging Optics Utilizing Wavefront Coding. | |
Cuadrado et al. | Image Reconstruction Performance Analysis by Optical Implementation in Compressive Spectral Imaging | |
Jovanov et al. | Real-time spatially adaptive deconvolution for CFA images | |
Xu et al. | Video‐Rate Spectral Imaging Based on Diffractive‐Refractive Hybrid Optics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |