CN110720207B - 图像处理装置、摄像系统、图像处理方法及记录介质 - Google Patents

图像处理装置、摄像系统、图像处理方法及记录介质 Download PDF

Info

Publication number
CN110720207B
CN110720207B CN201880035494.3A CN201880035494A CN110720207B CN 110720207 B CN110720207 B CN 110720207B CN 201880035494 A CN201880035494 A CN 201880035494A CN 110720207 B CN110720207 B CN 110720207B
Authority
CN
China
Prior art keywords
image
fresnel
region pattern
pattern
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880035494.3A
Other languages
English (en)
Other versions
CN110720207A (zh
Inventor
岸根庆延
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110720207A publication Critical patent/CN110720207A/zh
Application granted granted Critical
Publication of CN110720207B publication Critical patent/CN110720207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces
    • G02B3/08—Simple or compound lenses with non-spherical faces with discontinuous faces, e.g. Fresnel lens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

本发明的目的在于提供一种不使用透镜便可得到宽视场角且清晰的图像的图像处理装置、摄像系统、图像处理方法及记录介质。本发明的一方式所涉及的图像处理装置具备：投影像输入部，输入来自被摄体的光入射到菲涅尔波带片而形成的投影像；复图像生成部，将第1菲涅尔区图案和第2菲涅尔区图案分别与投影像相乘而生成由实部的图像和虚部的图像构成的复图像，其中，第2菲涅尔区图案的各区域中的局部空间频率与第1菲涅尔区图案相同且第2菲涅尔区图案的局部空间频率的相位与第1菲涅尔区图案不同；及傅里叶变换部，通过对复图像进行二维复傅里叶变换而重构空间区域的图像。

Description

图像处理装置、摄像系统、图像处理方法及记录介质
技术领域
本发明涉及一种图像处理装置、摄像系统、图像处理方法及记录介质，尤其涉及一种在无透镜的状态下获取被摄体的图像的技术。
背景技术
作为获取被摄体的图像的技术，一般是使用透镜使被摄体的光学像成像的类型，但近年来已开发出在无透镜的状态下获取被摄体的图像的技术。例如，在下述非专利文献1中，靠近摄像元件而配置菲涅尔波带片，通过对将利用来自被摄体的光而形成于摄像元件上的投影像和与菲涅尔波带片相对应的投影图案重合而产生的莫尔条纹进行傅里叶变换，能够在无透镜的状态下获取被摄体的像，可期待装置的小型化等效果。另外，关于非专利文献1的技术，通过非专利文献2进行了技术报告。
并且，已知有与非专利文献1、2相同地将菲涅尔波带片用于掩模图案的无透镜成像技术(参考专利文献1)。在专利文献1中，通过对来自被摄体的光入射到对置配置的2个格子图案(菲涅尔波带片)而形成的莫尔条纹进行傅里叶变换而重构被摄体的像。
以往技术文献
非专利文献
非专利文献1：“开发在动画摄影之后能够容易进行焦点调整的无透镜相机技术”、[online]、2016年11月15日、Hitachi，Ltd.、[2017年5月8日检索]、因特网(http：//www.hitachi.co.jp/New/chews/month/2016/11/1115.html)
非专利文献2：“Lensless Light-field Imaging with Fresnel ZoneAperture”、影像信息媒体学会技术报告、vol.40，no.40，IST2016-51，pp.7-8，2016年11月
专利文献
专利文献1：WO2016/203573号公报
发明内容
发明要解决的技术课题
如上述以往技术，在重构图像时，对摄影中所使用的菲涅尔波带片相乘1个菲涅尔区图案而获取投影像的方法中，通过傅里叶变换而得到的解为2个(关于中心对称)，无法确定哪个解为真解，即无法确定被摄体存在于哪个方向上。以下对这点进行说明。图17是表示存在于无限远方的点光源的光从倾斜方向入射到菲涅尔波带片时的图像的重构的情况的图。在该情况下形成的投影像成为如图17的(a)部分所示，若对该投影像相乘(b)部分所示的菲涅尔区图案，则如(c)部分所示，乘法运算后的图像成为纵向的莫尔条纹与同心圆状的噪声成分重叠的状态。为了简化而一维地考虑，则在(c)部分所示的图像中，X方向的信号强度例如成为如(d)部分。若对其进行傅里叶变换，则如(e)部分所示，在相对于中心对称的位置上得到2个解，无法确定哪个解为真解。
图18是表示通过对摄影中所使用的菲涅尔波带片相乘1个菲涅尔区图案而获取投影像的方法进行重构的图像的模拟结果的图。(a)部分表示被摄体，若如上所述对该被摄体进行重构，则得到(b)部分所示的图像。如图18(b)所示，通过重构而得到的图像成为2个被摄体像重叠的不清晰的图像。针对该问题，若通过如(c)部分所示隐藏(不让其投影)被摄体的右半部分而避免被摄体像重叠，则重构结果成为如(d)部分所示，摄影范围变窄。在专利文献1中，也通过将重构的图像切成一半进行显示来避免像的重叠，但由于切出重构图像的一部分而视场角(摄影范围)变窄，重构图像的画质有可能降低。另外，在专利文献1中，由于保持与2个图案相对应的板(基板)，因此存在装置的大型化、制作成本的增加、由特性的偏差(包括制造时的偏差、经时变化、温度变化)而引起的画质的劣化等问题。
如此，以往的技术在无透镜的状态下获取图像时无法得到宽视场角且清晰的图像。
本发明是鉴于这种情况而完成的，其目的在于提供一种不使用透镜便可得到宽视场角且清晰的图像的图像处理装置、摄像系统、图像处理方法及记录介质。
用于解决技术课题的手段
为了实现上述目的，本发明的第1方式所涉及的图像处理装置具备：投影像输入部，输入来自被摄体的光入射到菲涅尔波带片而形成的投影像；复图像生成部，将第1菲涅尔区图案和第2菲涅尔区图案分别与投影像相乘而生成由实部的图像和虚部的图像构成的复图像，其中，第2菲涅尔区图案的各区域中的局部空间频率与第1菲涅尔区图案相同且第2菲涅尔区图案的局部空间频率的相位与第1菲涅尔区图案不同；及傅里叶变换部，通过对复图像进行二维复傅里叶变换而重构空间区域的图像。
在第1方式中，通过对由实部的图像和虚部的图像构成的复图像进行二维复傅里叶变换而重构空间区域的图像，该复图像是将局部空间频率的相位不同的第1菲涅尔区图案及第2菲涅尔区图案分别与投影像相乘而得到的。由此，能够去除噪声成分并根据莫尔条纹的信号成分确定被摄体的位置，能够在无透镜的状态下得到不存在被摄体像的重叠的清晰的图像。并且，无需隐藏被摄体的一部分，因此能够在宽视场角下得到图像。另外，第1、第2菲涅尔区图案保持为电子数据即可，因此也不存在如上述专利文献1，由保持与2个图案相对应的板(基板)而引起的装置的大型化等问题。
另外，在第1方式及以下的各方式中，“菲涅尔波带片”包含被摄体光的透射率根据距中心的距离而连续地变化的波带片及设定入射波带片的被摄体光的透射率的阈值且透射率不连续地(透射或不透射)变化的波带片。并且，图像的重构中所使用的投影像可以由具有菲涅尔波带片及图像传感器的摄像部获取，也可以经由记录介质、网络获取另外记录的投影像。
根据第1方式，在第2方式所涉及的图像处理装置中，第1菲涅尔区图案和第2菲涅尔区图案的局部空间频率的相位在70°以上且110°以下的范围内向正或向负偏离。第2方式规定能够重构清晰的图像的相位的偏离范围。
根据第1或第2方式，在第3方式所涉及的图像处理装置中，第1菲涅尔区图案的局部空间频率的相位或第2菲涅尔区图案的局部空间频率的相位与菲涅尔波带片的局部空间频率的相位相同。
根据第1至第3方式中的任一项，在第4方式所涉及的图像处理装置中，复图像生成部将第1菲涅尔区图案与投影像相乘而生成实部的图像，并将第2菲涅尔区图案与投影像相乘而生成虚部的图像。
根据第1至第4方式中的任一项，在第5方式所涉及的图像处理装置中，复图像生成部使用放大率根据对焦的被摄体距离而不同的第1菲涅尔区图案及第2菲涅尔区图案来生成复图像。由菲涅尔波带片形成的投影像根据被摄体的距离而成为不同的大小，因此优选乘法运算的菲涅尔区图案的放大率也根据被摄体的距离而而不同。根据第5方式，通过使用放大率根据对焦的被摄体距离而不同的第1菲涅尔区图案及第2菲涅尔区图案来生成复图像，能够得到模糊少的清晰的图像。
根据第1至第5方式中的任一项，第6方式所涉及的图像处理装置还具备：信息输入部，输入菲涅尔波带片的局部空间频率的信息，复图像生成部将具有基于所输入的信息的局部空间频率的第1菲涅尔区图案及第2菲涅尔区图案分别与投影像相乘。通过如第6方式重合基于摄影中所使用的菲涅尔波带片的信息的菲涅尔区图案，能够高速且容易进行图像的重构。另外，“局部空间频率的信息”中包含菲涅尔波带片的间距的信息。例如，能够使用具有与所输入的菲涅尔波带片的间距相同的间距的第1菲涅尔区图案及第2菲涅尔区图案。
为了实现上述目的，本发明的第7方式所涉及的摄像系统具有：摄像部，具有使来自被摄体的光入射的菲涅尔波带片和由透射了菲涅尔波带片的光来形成投影像的图像传感器，并且从图像传感器获取投影像；及第1至第6方式中任一项所涉及的图像处理装置，投影像输入部输入摄像部所获取的投影像。根据第7方式，使用由摄像部获取的投影像，与第1方式相同地，不使用透镜便能够在宽视场角下得到清晰的图像。
为了实现上述目的，本发明的第8方式所涉及的图像处理方法具备：输入来自被摄体的光入射到菲涅尔波带片而形成的投影像的步骤；将第1菲涅尔区图案和第2菲涅尔区图案分别与投影像相乘而生成由实部的图像和虚部的图像构成的复图像的步骤，其中，第2菲涅尔区图案的各区域中的局部空间频率与第1菲涅尔区图案相同且第2菲涅尔区图案的局部空间频率的相位与第1菲涅尔区图案不同；及通过对复图像进行二维复傅里叶变换而重构空间区域的图像的步骤。根据第8方式，与第1、第7方式相同地，不使用透镜便能够在宽视场角下得到清晰的图像。
根据第8方式，在第9方式所涉及的图像处理方法中，第1菲涅尔区图案和第2菲涅尔区图案的局部空间频率的相位在70°以上且110°以下的范围内向正或向负偏离。第9方式与第2方式相同地规定能够重构清晰的图像的相位的偏离范围。
根据第8或第9方式，在第10方式所涉及的图像处理方法中，第1菲涅尔区图案的局部空间频率的相位或第2菲涅尔区图案的局部空间频率的相位与菲涅尔波带片的局部空间频率的相位相同。
根据第8至第10方式中的任一项，在第11方式所涉及的图像处理方法中，在生成复图像的步骤中，将第1菲涅尔区图案与投影像相乘而生成实部的图像，并将第2菲涅尔区图案与投影像相乘而生成虚部的图像。
根据第8至第11方式中的任一项，在第12方式所涉及的图像处理方法中，在生成复图像的步骤中，使用放大率根据对焦的被摄体距离而不同的第1菲涅尔区图案及第2菲涅尔区图案来生成复图像。根据第12方式，与第5方式相同地能够得到模糊少的清晰的图像。
根据第8至第12方式中的任一项，在第13方式所涉及的图像处理方法中，还具有通过使来自被摄体的光入射的菲涅尔波带片和由透射了菲涅尔波带片的光来形成投影像的图像传感器，从图像传感器获取投影像的步骤，在输入投影像的步骤中，输入所获取的投影像。
根据第8至第13方式中的任一项，在第14方式所涉及的图像处理方法中，还具有输入菲涅尔波带片的局部空间频率的信息的步骤，在生成复图像的步骤中，将具有基于所输入的信息的局部空间频率的第1菲涅尔区图案及第2菲涅尔区图案分别与投影像相乘。根据第14方式，与第6方式相同地，能够高速且容易进行图像的重构。
为了实现上述目的，本发明的第15方式所涉及的记录介质为记录有使计算机实现如下功能的图像处理程序的计算机可读代码的记录介质：输入来自被摄体的光入射到菲涅尔波带片而形成的投影像的功能；将第1菲涅尔区图案和第2菲涅尔区图案分别与投影像相乘而生成由实部的图像和虚部的图像构成的复图像的功能，其中，第2菲涅尔区图案的各区域中的局部空间频率与第1菲涅尔区图案相同且第2菲涅尔区图案的局部空间频率的相位与第1菲涅尔区图案不同；及通过对复图像进行二维复傅里叶变换而重构空间区域的图像的功能。根据第15方式，与第1、第8方式相同地，不使用透镜便能够在宽视场角下得到清晰的图像。另外，在第15方式中，记录于记录介质中的图像处理程序可以为使计算机进一步实现与第9～第14方式所涉及的图像处理方法相同的特征(功能)的程序。
发明效果
如以上说明，根据本发明的图像处理装置、摄像系统、图像处理方法及记录介质，不使用透镜便能够在宽视场角下得到清晰的图像。
附图说明
图1是表示本发明中的图像的重构的情况的图。
图2是表示本发明中的图像的重构的情况的图。
图3是表示通过倾斜光的入射而投影像平行移动的情况的图。
图4是表示第1实施方式中的摄像系统的结构的框图。
图5是表示图像处理部的结构的图。
图6是表示存储于存储部的图像及信息的图。
图7是表示菲涅尔波带片的例子的图。
图8是表示相位不同的菲涅尔区图案的例的图。
图9是表示第1实施方式所涉及的图像处理方法的流程图。
图10是表示与对焦距离相对应的菲涅尔区图案的放大或缩小的图。
图11是表示实施例的条件的图。
图12是表示相位不同的菲涅尔区图案的例的图。
图13是表示实施例及比较例的结果的图。
图14是表示实施例及比较例的结果的另一图。
图15是表示实施例及比较例的结果的又一图。
图16是表示实施例及比较例的结果的又一图。
图17是表示以往技术中的图像的重构的图。
图18是表示以往技术中的图像的重构的另一图。
具体实施方式
以下，参考附图对本发明所涉及的图像处理装置、摄像系统、图像处理方法及记录介质的实施方式进行说明。
<图像处理的概要>
图1是用于说明本发明中的图像处理的概要的图。另外，在此为了简化，对一维且距离无限远的点光源进行摄影来重构图像的情况进行说明。图1的(a)部分为来自被摄体的光入射到菲涅尔波带片而形成于图像传感器中的投影像，投影像沿着点光源的方向位移。对该投影像相乘(b)部分所示的第1菲涅尔区图案(中心处的局部空间频率的相位为0°)而得到的图像为(c)部分所示的图像，将该图像作为实部的图像。将实部的图像的X方向上的信号强度示于(f)部分。
相同地，对(a)部分所示的投影像相乘(d)部分所示的第2菲涅尔区图案(第1菲涅尔区图案是指在各区域中的局部空间频率相同且局部空间频率的相位的偏离为90°的菲涅尔区图案)而得到的图像为(e)部分所示的图像，将该图像作为虚部的图像。(g)部分为(e)部分所示的图像的X方向上的信号强度的例子。另外，菲涅尔区图案的局部空间频率与由透射区域和遮光区域构成的条纹状的图案相对应。条纹状的图案的细度为间距。
由(c)部分所示的实部的图像及(e)部分所示的虚部的图像构成复图像。相对于X方向，将(f)部分所示的实部的图像的信号强度设为Y方向并将(g)部分所示的虚部的图像的信号强度设为Z方向而标绘出的图表示于(h)部分。若对这种复图像进行二维复傅里叶变换，则如(i)部分所示，得到具有1个峰值的信号。该信号相当于空间区域的图像，峰值的位置相当于作为被摄体的点光源的位置。
关于与图1相同的图像的重构，对点光源以外的被摄体(二维)的情况进行说明。图2的(a)部分表示文字型的被摄体，(b)部分为来自该被摄体的光入射到菲涅尔波带片而形成于图像传感器中的投影像。对该投影像相乘(c)部分所示的第1菲涅尔区图案(中心处的局部空间频率的相位为0°)而得到的图像为(d)部分所示的图像，将该图像作为实部的图像。并且，对(a)部分所示的投影像相乘(e)部分所示的第2菲涅尔区图案(第1菲涅尔区图案是指在各区域中的局部空间频率相同且局部空间频率的相位的偏离为90°的菲涅尔区图案)而得到的图像为(f)部分所示的图像，将该图像作为虚部的图像。相对于X方向，将(d)部分所示的实部的图像的信号强度设为Y方向并将(f)部分所示的虚部的图像的信号强度设为Z方向而标绘出的图表示于(g)部分。若对这种复图像进行二维复傅里叶变换，则如(h)部分所示重构被摄体的图像。
如参考图1、2说明，根据本发明，与对于图17、18在上面所述的以往技术的情况不同，可在无透镜的状态下得到不存在被摄体像的重叠的清晰的图像，并且，摄影范围不会变窄且能够以宽视场角获取图像。
<图像处理的详细内容>
对本发明中的图像处理的详细内容进一步详细地进行说明。
编码孔径(菲涅尔波带片)的图案I(r)由式(1)表示。
[数学式1]
l(r)＝cosβr2……(1)
I(r)的值越大，既定波长带处的光的透射率就变得越大。r为菲涅尔波带片的半径，β(＞0)为确定图案的细度(间距)的常数。以下，为了避免负值，将考虑如式(2)附加偏移而落入于0至1的范围内的I2(r)。
[数学式2]
Figure GDA0002293530110000081
假定该编码孔径(菲涅尔波带片F)从传感器面上仅分离距离d而配置(参考图3)。此时，若假定光(平行光)从距离无限远的点光源以入射角θ入射，则编码孔径(菲涅尔波带片F)的阴影SD仅平行移动Δr(＝d×tanθ)而投影在传感器上(参考图3)。平行移动的阴影S(r)由式(3)表示。
[数学式3]
Figure GDA0002293530110000082
I2(r)及S(r)本来是二维图像，并且是双变量函数，但在此为了简化而仅关注并考虑由包含中心和入射光源的平面切断的截面上的一维图像。但是，若如以下式(4)进行计算，则能够容易扩展到二维的情况。
[数学式4]
Figure GDA0002293530110000091
所摄影的阴影图像(投影像)在计算机上被图像复原(重构)而输出。在图像复原工艺中，阴影图像与未位置偏离的菲涅尔孔径图像(菲涅尔区图案)相乘。关于该内部乘法运算的函数，在此将考虑由以下式(5)、(6)表示的2个函数的情况。另外，将虚数单位设为j。
[数学式5]
Mr(r)＝I(r)＝cosβr2……(5)
[数学式6]
Figure GDA0002293530110000092
Mr(r)为与I(r)相同的实变函数，但去除了偏移(直流成分)。以往技术(上述非专利文献1、2及专利文献1)中的图像的重构相当于对实孔径的投影像相乘由实变函数Mr(r)表示的菲涅尔区图案的情况。Mc(r)为复变函数，由于Mc(r)＝cosβr2+j×sinβr2＝cosβr2-j×cos(βr2+π/2)，因此实部、虚部与相位偏离(π/2)即90°的菲涅尔区图案相对应。Mc(r)的实数部(cosβr2)与Mr(r)相同。本发明中，将如此与复变函数的实部、虚部分别相对应且相位不同的2个菲涅尔区图案(第1、第2菲涅尔区图案)与投影像相乘而生成由实部的图像和虚部的图像构成的复图像。
内部乘法运算后的图像在各种情况下由以下式(7)、(8)表示。
[数学式7]
Figure GDA0002293530110000093
[数学式8]
Figure GDA0002293530110000101
关于对内部乘法运算图像(菲涅尔区图案)利用了Mr(r)、Mc(r)的情况的乘法运算后图像Fr(r)、Fc(r)的每一个，第1项为能够通过偏移校正等来去除的成分。第2项为重合的菲涅尔孔径之间的“差频”(当由cos α、cosφ表示2个孔径时，对应于cos(α-φ))被提取的莫尔干涉条纹，这与傅里叶变换的基底一致，因此通过适用傅里叶变换被变换为δ函数而成为“点”，从而成为有助于成像的成分。第3项相当于“和频”(对应于cos(α+φ))，其即使进行傅里叶变换也不会有助于成像并成为作为噪声而起作用的成分。
对Fr(r)、Fc(r)分别适当地适用偏移校正，将第1项被消去的状态的图像设为Fr2(r)、Fc2(r)。若对这些实际适用傅里叶变换，则将Fr(r)、Fc(r)的傅里叶变换设为fr(k)、fc(k)时由式(9)、(10)表示。
[数学式9]
Figure GDA0002293530110000102
[数学式10]
Figure GDA0002293530110000103
其中，ξ(k，β，Δr)是实数的多项式。通过对这些取复数的绝对值而得到复原图像，但在fr(k)的情况(以往技术的情况)下，第1项和第2项会产生关于原点对称的2点，因此具有成为点对称地重叠的复原图像的缺点(参考图17、18的例子)。相对于此，在fc(k)的情况(本发明的情况)下，不会产生这种问题且正常地重构图像。两者的共同点在于fr(r)的第3项和fc(r)的第2项作为噪声起作用，由于该项带来的影响而光学系统的传递函数MTF(Modulation Transfer Function：调制传递函数)不可能成为100％(这意味着即使不存在由传感器产生的噪声，MTF也不会成为100％)。但是，若加大β的值，则该噪声变小，因此通过加大β的值(设为细密的图案)，能够减轻影响。
关于fc(k)(本发明的情况)的第1项，相位依赖于光的入射角而旋转，若对其取复数的绝对值，则能够确认对应于无限远光的到来而在δ函数(点)上成像。从入射光的角度光谱至成像图像为止的运算全部为线性，因此重合成立，由此能够说明图像的成像。
另外，若关于二维的情况进行计算，则周边光量成为(cos θ)4，畸变成为2×β×d×tan θ(θ为视场角)。
<第1实施方式>
<摄像系统的结构>
图4是表示第1实施方式所涉及的摄像系统10(摄像系统)的结构的框图。摄像系统10具备摄像模块100(摄像部)和摄像装置主体200(图像处理装置)。摄像系统10除了能够适用于数码相机以外，还能够适用于智能手机、平板终端、监控摄像机等。
<摄像模块的结构>
摄像模块100具备菲涅尔波带片110(菲涅尔波带片)和摄像元件120(图像传感器)，并且利用摄像元件120获取来自被摄体的光透射菲涅尔波带片110而形成的投影像。菲涅尔波带片110在中心与摄像元件120的中心一致且与摄像元件120的受光面平行的状态下配置于摄像元件120的受光面侧。也可以将摄像模块100设为相对于摄像装置主体200能够进行更换。并且，也可以相对于摄像模块100，将菲涅尔波带片110设为能够进行更换。如此，通过区分使用特性(大小、间距、相位、与图像传感器的距离等)不同的菲涅尔波带片，能够控制所获取的投影像的特性(视场角、深度(距离测定精度)等)来重构所期望的特性的图像。另外，在以下说明中，有时将菲涅尔波带片110记载为“FZP”(Fresnel Zone Plate)。
<菲涅尔波带片的结构>
图7的(a)部分是表示作为菲涅尔波带片110的例子的FZP1的图。在FZP1中，所入射的光的透射率根据距中心的距离而连续地变化，越是接近白色的区域(透射区域)，光的透射率越高，越是接近黑色的区域(遮光区域)，光的透射率越低。作为整体，成为透射区域和遮光区域交替地以同心圆状配置的状态，这些透射区域及遮光区域构成菲涅尔波带片。同心圆的间隔随着从FZP1的中心朝向周边而变窄。这种同心圆状的图案(局部空间频率的变化)由上述式(1)、(2)、(6)等表示，将这些式中的同心圆的细度称为“间距”。间距由上述β的值来规定，若β小则成为稀疏的图案，若β大则成为细密的图案。在摄像模块100中设置存储器并预先存储间距的信息(β的值)，图像处理部210(信息输入部：参考图5)可以获取该信息来使用。
菲涅尔波带片110的光轴L(参考图1)为通过FZP及摄像元件120的中心且与FZP及摄像元件120的受光面垂直的轴。FZP靠近(例如，1mm左右)摄像元件120而配置，但根据与摄像元件120的距离，因光的衍射而投影像变模糊，因此优选不过度分离。
图7的(b)部分是表示作为菲涅尔波带片的另一例的FZP2的图。FZP2是对FZP1的透射率设定阈值并将透射率超过阈值的区域设为透射率100％的透射区域(白色部分)，将阈值以下的区域设为透射率0％的遮光区域(黑色部分)的波带片，透射率根据距中心的距离而不连续地(0％或100％这2个阶段)变化。作为整体，成为透射区域和遮光区域交替地以同心圆状配置的状态，这些透射区域及遮光区域构成菲涅尔波带片。如此，本发明中的“菲涅尔波带片”包含如FZP1的方式及如FZP2的方式，并且，与此对应地，本发明中的“菲涅尔区图案”也包含透射率连续地变化的图案及透射率不连续地变化的图案。另外，可以在如图7所示的菲涅尔波带片的周边部分设置遮光部(与遮光区域相同地为不透射光的区域)来防止不需要的光入射到摄像元件120的周边部分。
<摄像元件的结构>
摄像元件120为具有由在二维方向上(二维状)排列的光电转换元件构成的多个像素的图像传感器。可以在各像素上设置微透镜来提高聚光效率。并且，也可以在各像素上配设滤色器(例如红色、蓝色及绿色)以便能够重构彩色图像。在该情况下，在获取第1、第2投影像时，与在通常的数码相机中生成彩色图像时的去马赛克处理(也称为同步化处理)相同地，进行与滤色器的排列图案相对应的插值处理。由此，在各像素(受光元件)中生成不足的颜色的信号，在所有像素中得到各颜色(例如红色、蓝色及绿色)的信号。这种处理例如能够通过图像处理部210(投影像输入部210A)来进行。
<摄像装置主体的结构>
摄像装置主体200具备图像处理部210、存储部220、显示部230及操作部240，并且根据摄像模块100所获取的投影像进行被摄体的图像复原等。
图5是表示图像处理部210的结构的图。图像处理部210具有投影像输入部210A(投影像输入部)、复图像生成部210B(复图像生成部)、傅里叶变换部210C(傅里叶变换部)、信息输入部210D(信息输入部)及显示控制部210E。投影像输入部210A控制摄像模块100而从摄像元件120获取来自被摄体的光入射到FZP而形成于摄像元件120中的投影像。复图像生成部210B将局部空间频率相同且局部空间频率的相位不同的多个菲涅尔区图案(第1、第2菲涅尔区图案)与投影像相乘而生成由实部的图像和虚部的图像构成的复图像。傅里叶变换部210C通过对复图像进行二维复傅里叶变换而重构空间区域的图像。信息输入部210D获取投影像的获取中所使用的菲涅尔波带片110的信息(间距的信息)。显示控制部210E进行投影像、复图像、重构图像等在显示部230的显示控制。在ROM210F(Read Only Memory：只读存储器)(非暂时性记录介质)中记录有用于执行本发明所涉及的图像处理方法的图像处理程序等用于使摄像系统10动作的各种程序的计算机(处理器)可读代码。
上述图像处理部210的功能能够使用各种处理器(processor)来实现。在各种处理器中例如包含执行软件(程序)来实现各种功能的通用的处理器即CPU(CentralProcessing Unit：中央处理器)。
并且，在上述各种处理器中还包含FPGA(Field Programmable Gate Array：现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(ProgrammableLogic Device：PLD)。另外，ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而专用设计的电路结构的处理器即专用电路等也包含于上述各种处理器中。
各部的功能可以通过1个处理器来实现，也可以组合多个处理器来实现。并且，可以由1个处理器实现多个功能。作为由1个处理器构成多个功能的例子，第1，如以用户端、服务器等计算机为代表那样，有如下方式：以1个以上的CPU与软件的组合构成1个处理器，该处理器作为多个功能而实现。第2，如以系统级芯片(System On Chip：SoC)等为代表那样，有使用由1个IC(Integrated Circuit：集成电路)芯片实现系统整体的功能的处理器的方式。如此，关于各种功能，作为硬件结构，使用1个以上上述各种处理器来构成。
另外，更具体而言，这些各种处理器的硬件结构为将半导体元件等电路元件组合而成的电路(circuitry)。
在上述处理器(或电路)执行软件(程序)时，将所执行的软件(包含本发明所涉及的图像处理程序)的计算机可读代码预先存储于ROM210F(参考图5)等非暂时性记录介质中，由处理器参考该软件。在使用软件进行处理时，例如将RAM(Random Access Memory：随机存取存储器)用作暂时性存储区域，并且，例如参考存储于EEPROM(El ectronicallyErasable and Programm able Read Only Memory：电可擦可编程只读存储器)中的数据。另外，在图5中省略RAM、EEPROM等器件的图示。
<存储部的结构>
存储部220由CD(Compact Disk：压缩磁盘)、DVD(Digital Versatile Disk：数字通用光盘)、硬盘(Hard Disk)、各种半导体存储器等非暂时性记录介质构成，将图6所示的图像及信息相互建立关联而进行存储。投影像220A为从摄像模块100获取的投影像。菲涅尔波带片信息220B为菲涅尔波带片110的局部空间频率的信息(包含β的值等间距信息)。菲涅尔波带片信息220B可以为从摄像模块100获取的信息，也可以为经由操作部240输入的信息。菲涅尔区图案信息220C为表示菲涅尔区图案的信息，优选对局部空间频率的相位不同的多个菲涅尔区图案进行记录。复图像220D为将菲涅尔区图案信息220C所表示的菲涅尔区图案(第1、第2菲涅尔区图案)与投影像相乘而得到的由实部的图像和虚部的图像构成的复图像。重构图像220E为对复图像220D进行二维复傅里叶变换而得到的空间区域的图像。
<显示部及操作部的结构>
显示部230包含未图示的液晶显示器等显示装置而构成，显示投影像、复图像、重构图像等，并且还用于经由操作部240的指示输入时的UI(User Interface：用户界面)用的画面显示。操作部240由未图示的键盘、鼠标、按钮等器件构成，用户能够利用这些器件来输入投影像获取指示、图像重构指示、对焦距离的条件、局部空间频率的信息(间距、相位)等。另外，可以将显示部230的显示装置由触摸面板构成，除了图像显示以外，还用作操作部240。
<基于摄像系统的图像处理>
对基于上述结构的摄像系统10的图像处理进行说明。图9是表示本实施方式所涉及的图像处理方法的流程的流程图。
<投影像的输入>
在步骤S100中，图像处理部210(投影像输入部210A)控制摄像模块100而从摄像元件120获取被摄体的投影像。所获取的投影像为来自被摄体的光入射到菲涅尔波带片110而形成于摄像元件120中的投影像。
<局部空间频率的信息>
在步骤S110中，图像处理部210(信息输入部210D)输入投影像获取中所使用的菲涅尔波带片110的局部空间频率的信息(菲涅尔波带片110的间距)。该信息可以从摄像模块100的未图示的存储器输入，也可以根据对操作部240的用户的操作来输入。并且，也可以由信息输入部210D分析并输入在步骤S100中获取的投影像。间距由上述式(1)～(3)、(6)等中的β的值规定，因此，具体而言，输入β的值即可。另外，当对已知的被摄体(例如，距离无限远的点光源)进行了摄影时，能够通过分析摄影图像来获取间距(β的值)。并且，也可以一边改变间距(β的值)一边重复进行图像的重构来求出可得到清晰的图像的值。
<复图像的生成>
在步骤S120中，图像处理部210(复图像生成部210B)将第1、第2菲涅尔区图案分别与投影像相乘而生成由实部的图像和虚部的图像构成的复图像。在步骤S120中进行乘法运算的菲涅尔区图案能够使用存储于存储部220的图案(菲涅尔区图案信息220C)中的根据在步骤S110中输入的间距(β的值)而选择的图案。并且，也能够使用根据间距(β的值)而改变(根据需要可以放大或缩小)存储于存储部220的图案而得到的图案。图像处理部210(复图像生成部210B)将所生成的复图像作为复图像220D而存储于存储部220。
<菲涅尔区图案的相位>
第1菲涅尔区图案例如能够设为图8的(a)部分所示的图案(中心处的相位为0°。另外，“°”表示角度的单位的“度”。)，通过将其与投影像相乘而得到实部的图像。并且，第2菲涅尔区图案例如能够设为图8的(b)部分所示的图案(间距与第1菲涅尔区图案相同，相位偏离90°)，通过将其与投影像相乘而得到虚部的图像。如对式(6)等在上面所述，第1、第2菲涅尔区图案的相位偏离优选为90°，但由后述的实施例可知，若在正或负70°以上且110°以下的范围内，则能够重构清晰的图像。可以将第1菲涅尔区图案或第2菲涅尔区图案的局部空间频率的相位设为与菲涅尔波带片110的相位相同。
在使用菲涅尔区图案时，能够将相位不同的多个菲涅尔区图案的数据作为菲涅尔区图案信息220C而预先存储于存储部220并选择使用所期望的图案。并且，图像处理部210(复图像生成部210B)也可以根据间距及相位的信息来生成所期望的图案(各相位的菲涅尔区图案参考图12)。这种菲涅尔区图案作为电子数据的菲涅尔区图案信息220C而存储于存储部220，因此能够迅速且容易进行所期望的图案的选择及生成。并且，不存在如上述专利文献1，由以有体物形式保持与多个图案相对应的板(基板)而引起的装置的大型化、制作成本的增加、由多个图案之间的特性的偏差(包含制造时的偏差、经时变化、温度变化)而引起的画质的劣化等问题。
<菲涅尔区图案的放大率>
当被摄体(光源)存在于无限远方时，平行光入射到菲涅尔波带片110而形成于摄像元件120中的投影像成为与菲涅尔波带片110相同的大小，但当被摄体存在于有限距离内时，具有扩散的光入射，距离越近，投影像变得越大。因此，通过将放大率根据对焦的被摄体距离而不同的图案用作第1、第2菲涅尔区图案，能够得到在所期望的距离上对焦的图像。例如，将与被摄体距离相对应的多个图案作为菲涅尔区图案信息220C而预先存储于存储部220，能够读出并使用该多个图案。并且，也可以将1个菲涅尔区图案作为基准图案而预先存储，并根据被摄体距离以不同的放大率放大。在该情况下，能够将与距离无限大对应且与菲涅尔波带片相同的大小的图案作为基准。图10是表示菲涅尔区图案的放大率根据被摄体距离而不同的情况的图。
另外，可以一边改变放大率一边重复进行复图像的生成(步骤S120)及图像的重构(步骤S130)，并通过将重构的图像的对焦评价值(例如，设定在图像中的焦点评价区域中的亮度信号的积分值)设为最大来获取清晰的图像。
<图像的重构>
在步骤S130中，图像处理部210(傅里叶变换部210C)如上述式(10)对复图像进行二维复傅里叶变换而重构被摄体的图像(空间区域的图像)。图像处理部210(显示控制部210E)将重构的图像显示于显示部230(步骤S140)。并且，图像处理部210(傅里叶变换部210C)将重构的图像作为重构图像220E而存储于存储部220。
<实施例及比较例>
参考实施例及比较例对上述第1、第2菲涅尔区图案的相位偏离的优选的范围进行具体说明。图11是表示投影像获取用的菲涅尔波带片的相位及复图像获取用的菲涅尔区图案的相位(记载为“实部”的列子为第1菲涅尔区图案的相位，记载为“虚部”的列子为第2菲涅尔区图案的相位)的表。条件8(实施例1)～条件14(实施例7)及条件22(实施例8)～条件25(实施例11)表示本发明中的第1、第2菲涅尔区图案的相位偏离的优选的数值范围。
图12是表示相位不同的菲涅尔区图案的图。图12的第1行从左依次表示中心处的相位分别为0°、10°、20°、30°、40°、50°的菲涅尔区图案。以下，第2行表示中心处的相位分别为60°、70°、75°、80°、90°、100°的菲涅尔区图案。第3行表示中心处的相位分别为105°、110°、120°、130°、140°、150°的菲涅尔区图案。第4行表示中心处的相位分别为160°、170°、180°、190°、200°、210°的菲涅尔区图案。第5行表示中心处的相位分别为220°、230°、240°、250°、260°、270°的菲涅尔区图案。第6行表示中心处的相位分别为280°、290°、300°、310°、320°、330°的菲涅尔区图案。第7行表示中心处的相位分别为340°、350°、360°的菲涅尔区图案。
图13～16是表示根据上述条件重构的图像的图。在图13中，(a)部分～(g)部分分别对应于条件1～7。在图14中，(a)部分～(g)部分分别对应于条件8～14(相位偏离的优选的数值范围)。在图15中，(a)部分～(g)部分分别对应于条件15～21。在图16中，(a)部分～(d)部分分别对应于条件22～25(相位偏离的优选的数值范围)。图16的(e)部分对应于条件26(以往技术)。
<实施例的评价>
在满足本发明中的第1、第2菲涅尔区图案的优选的相位偏离(70°～110°)的范围的条件8(实施例1)～条件14(实施例7)及条件22(实施例8)～条件25(实施例11)下，在重构的图像中完全不存在或几乎不存在像的重叠，可得到清晰的图像。并且，也无需如上述以往技术，为了得到清晰的图像而限制视场角。在这些实施例中，条件11(相位偏离为90°)时可得到最清晰的图像。相对于此，在相位偏离的值脱离上述优选的范围的条件1～7(比较例1～7)及条件15～21(比较例8～14)下，相位偏离的值越大幅脱离优选的范围，像的重叠越大，导致成为不清晰的图像。并且，在对投影像相乘1个菲涅尔区图案的条件26(以往技术)下，也如图16的(e)部分所示，像的重叠大，导致成为不清晰的图像。
对条件17(比较例10)和条件22(实施例8)进行比较研究。在摄影用菲涅尔波带片的相位与第1菲涅尔区图案(实部的图像用)的相位相等且相位偏离的值脱离优选的范围的条件17下，产生了像的重叠。相对于此，在摄影用菲涅尔波带片的相位与第1菲涅尔区图案的相位(实部的图像用)不同且相位偏离的范围为优选的范围的条件22下，未产生像的重叠。因此，可知摄影用菲涅尔波带片的相位与第1菲涅尔区图案的相位无需相同，如上述条件8～14(实施例1～7)以及条件22(实施例8)，只要第1、第2菲涅尔区图案的相位偏离为90°左右(70°以上且110°以下)即可。
并且，若对条件22～24(实施例8～10)进行比较，则在这些条件下，相位偏离的值(90°)进入优选的范围内(70°以上且110°以下)且仅摄影用的菲涅尔波带片的相位不同，但在任何一个条件下均未产生像的重叠。因此，可知摄影用的菲涅尔波带片的相位可以不是0°(可以为任意的相位)。
并且，对条件11(实施例4)和条件25(实施例11)进行比较，可知若将第2菲涅尔区图案(虚部的图像的生成用)的相位与第1菲涅尔区图案(实部的图像的生成用)的相位错开-90°(＝+270°)，则像会旋转。由此，可知通过根据需要错开相位可得到旋转的图像。
<其他>
以上，关于本发明的实施方式及实施例进行了说明，但本发明并不限定于上述实施方式及实施例，在不脱离本发明的精神的范围内能够进行各种变形。
符号说明
10-摄像系统，100-摄像模块，110-菲涅尔波带片，120-摄像元件，200-摄像装置主体，210-图像处理部，210A-投影像输入部，210B-复图像生成部，210C-傅里叶变换部，210D-信息输入部，210E-显示控制部，210F-ROM，220-存储部，220A-投影像，220B-菲涅尔波带片信息，220C-菲涅尔区图案信息，220D-复图像，220E-重构图像，230-显示部，240-操作部，F-菲涅尔波带片，FZP1-菲涅尔波带片，FZP2-菲涅尔波带片，L-光轴，SD-阴影，S100～S140-图像处理方法的各步骤，d-距离，θ-入射角。

Claims (13)

1.一种图像处理装置，其具备：
投影像输入部，输入来自被摄体的光入射到菲涅尔波带片而形成的投影像；
复图像生成部，将第1菲涅尔区图案和第2菲涅尔区图案分别与所述投影像相乘而生成由实部的图像和虚部的图像构成的复图像，其中，所述第2菲涅尔区图案的各区域中的局部空间频率与所述第1菲涅尔区图案的对应各区域中的局部空间频率相同且所述第2菲涅尔区图案的所述局部空间频率的相位与所述第1菲涅尔区图案的所述局部空间频率的相位不同；及
傅里叶变换部，通过对所述复图像进行二维复傅里叶变换而重构空间区域的图像，
所述第1菲涅尔区图案和所述第2菲涅尔区图案的所述局部空间频率的相位在70°以上且110°以下的范围内向正或向负偏离。
2.根据权利要求1所述的图像处理装置，其中，
所述第1菲涅尔区图案的所述局部空间频率的相位或所述第2菲涅尔区图案的所述局部空间频率的相位与所述菲涅尔波带片的局部空间频率的相位相同。
3.根据权利要求1所述的图像处理装置，其中，
所述复图像生成部将所述第1菲涅尔区图案与所述投影像相乘而生成所述实部的图像，并将所述第2菲涅尔区图案与所述投影像相乘而生成所述虚部的图像。
4.根据权利要求1所述的图像处理装置，其中，
所述复图像生成部使用放大率根据对焦的被摄体距离而不同的所述第1菲涅尔区图案及所述第2菲涅尔区图案来生成所述复图像。
5.根据权利要求1所述的图像处理装置，其中，
还具备：
信息输入部，输入所述菲涅尔波带片的局部空间频率的信息，
所述复图像生成部将具有基于所述输入的信息的局部空间频率的所述第1菲涅尔区图案及所述第2菲涅尔区图案分别与所述投影像相乘。
6.一种摄像系统，其具备：
摄像部，具有使来自被摄体的光入射的菲涅尔波带片和由透射了所述菲涅尔波带片的所述光来形成投影像的图像传感器，并且从所述图像传感器获取所述投影像；及
权利要求1至5中任一项所述的图像处理装置，
所述投影像输入部输入所述摄像部所获取的所述投影像。
7.一种图像处理方法，其具备：
输入来自被摄体的光入射到菲涅尔波带片而形成的投影像的步骤；
将第1菲涅尔区图案和第2菲涅尔区图案分别与所述投影像相乘而生成由实部的图像和虚部的图像构成的复图像的步骤，其中，所述第2菲涅尔区图案的各区域中的局部空间频率与所述第1菲涅尔区图案的对应各区域中的局部空间频率相同且所述第2菲涅尔区图案的所述局部空间频率的相位与所述第1菲涅尔区图案的所述局部空间频率的相位不同；及
通过对所述复图像进行二维复傅里叶变换而重构空间区域的图像的步骤，
所述第1菲涅尔区图案和所述第2菲涅尔区图案的所述局部空间频率的相位在70°以上且110°以下的范围内向正或向负偏离。
8.根据权利要求7所述的图像处理方法，其中，
所述第1菲涅尔区图案的所述局部空间频率的相位或所述第2菲涅尔区图案的所述局部空间频率的相位与所述菲涅尔波带片的局部空间频率的相位相同。
9.根据权利要求7所述的图像处理方法，其中，
在生成所述复图像的步骤中，将所述第1菲涅尔区图案与所述投影像相乘而生成所述实部的图像，并将所述第2菲涅尔区图案与所述投影像相乘而生成所述虚部的图像。
10.根据权利要求7所述的图像处理方法，其中，
在生成所述复图像的步骤中，使用放大率根据对焦的被摄体距离而不同的所述第1菲涅尔区图案及所述第2菲涅尔区图案来生成所述复图像。
11.根据权利要求7所述的图像处理方法，其中，
还具有：
通过使来自所述被摄体的光入射的所述菲涅尔波带片和由透射了所述菲涅尔波带片的所述光来形成所述投影像的图像传感器，从所述图像传感器获取所述投影像的步骤，
在输入所述投影像的步骤中，输入所述获取的所述投影像。
12.根据权利要求7所述的图像处理方法，其中，
还具有：
输入所述菲涅尔波带片的局部空间频率的信息的步骤，
在生成所述复图像的步骤中，将具有基于所述输入的信息的局部空间频率的所述第1菲涅尔区图案及所述第2菲涅尔区图案分别与所述投影像相乘。
13.一种记录介质，其记录有使计算机实现如下功能的图像处理程序的计算机可读代码：
输入来自被摄体的光入射到菲涅尔波带片而形成的投影像的功能；
将第1菲涅尔区图案和第2菲涅尔区图案分别与所述投影像相乘而生成由实部的图像和虚部的图像构成的复图像的功能，其中，所述第2菲涅尔区图案的各区域中的局部空间频率与所述第1菲涅尔区图案的对应各区域中的局部空间频率相同且第2菲涅尔区图案的所述局部空间频率的相位与所述第1菲涅尔区图案的所述局部空间频率的相位不同；及
通过对所述复图像进行二维复傅里叶变换而重构空间区域的图像的功能，
所述第1菲涅尔区图案和所述第2菲涅尔区图案的所述局部空间频率的相位在70°以上且110°以下的范围内向正或向负偏离。
CN201880035494.3A 2017-06-01 2018-04-10 图像处理装置、摄像系统、图像处理方法及记录介质 Active CN110720207B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017109269 2017-06-01
JP2017-109269 2017-06-01
PCT/JP2018/014981 WO2018221019A1 (ja) 2017-06-01 2018-04-10 画像処理装置、撮像システム、画像処理方法、及び記録媒体

Publications (2)

Publication Number Publication Date
CN110720207A CN110720207A (zh) 2020-01-21
CN110720207B true CN110720207B (zh) 2021-04-27

Family

ID=64454630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880035494.3A Active CN110720207B (zh) 2017-06-01 2018-04-10 图像处理装置、摄像系统、图像处理方法及记录介质

Country Status (5)

Country Link
US (1) US10999481B2 (zh)
EP (1) EP3633973B1 (zh)
JP (1) JP6773903B2 (zh)
CN (1) CN110720207B (zh)
WO (1) WO2018221019A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3633968A4 (en) * 2017-06-01 2020-06-03 FUJIFILM Corporation IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGING SYSTEM, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM
CN111788824B (zh) * 2018-03-06 2022-07-08 索尼公司 图像处理设备、成像设备以及图像处理方法
JP7215473B2 (ja) * 2018-03-14 2023-01-31 ソニーグループ株式会社 画像処理装置、および撮像装置、並びに画像処理方法
JP6924163B2 (ja) * 2018-03-27 2021-08-25 株式会社日立製作所 撮像装置、撮像モジュールおよび撮像方法
JP7065761B2 (ja) * 2018-12-26 2022-05-12 株式会社日立製作所 距離計測装置および距離計測方法
CN109474818B (zh) * 2019-01-03 2024-05-10 Oppo广东移动通信有限公司 一种图像传感器以及成像模组
JP7341239B2 (ja) * 2019-07-31 2023-09-08 マクセル株式会社 撮像装置、携帯端末および露光制御方法
JP7183429B2 (ja) * 2019-08-08 2022-12-05 マクセル株式会社 撮像装置および方法
WO2023171358A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 マスクユニット、並びに撮像装置および撮像装置の作動方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150402A (zh) * 2007-11-01 2008-03-26 北京理工大学 一种基于分数阶傅立叶变换的双图加密方法
CN101430428A (zh) * 2008-11-25 2009-05-13 中国科学院微电子研究所 超分辨菲涅耳波带片
CN101641049A (zh) * 2007-03-21 2010-02-03 光谱辨识公司 基于局部一致特征的生物测定
WO2011008233A8 (en) * 2009-05-07 2011-09-22 President And Fellows Of Harvard College Methods and apparatus for fluorescence sensing employing fresnel zone plates
CN102239426A (zh) * 2008-12-04 2011-11-09 相位聚焦有限公司 图像数据的提供
CN105931196A (zh) * 2016-04-11 2016-09-07 天津大学 基于傅里叶光学建模的编码光圈相机图像恢复方法
WO2016203573A1 (ja) * 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置
CN106412552A (zh) * 2015-08-03 2017-02-15 三星电子株式会社 用于处理全息图像的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0881843A3 (en) * 1997-05-28 2005-04-06 Nippon Telegraph And Telephone Corporation Method and apparatus for transmitting or processing images.
WO2008094141A1 (en) * 2007-01-29 2008-08-07 Celloptic, Inc. System, apparatus and method for extracting image cross-sections of an object from received electromagnetic radiation
US8559014B2 (en) * 2009-09-25 2013-10-15 Hwan J. Jeong High-resolution, common-path interferometric imaging systems and methods
WO2013057923A1 (ja) * 2011-10-20 2013-04-25 パナソニック株式会社 表示装置および表示システム
US9823486B2 (en) * 2013-03-11 2017-11-21 Stc. Unm Rotating point-spread function (PSF) design for three-dimensional imaging
JP2018055831A (ja) 2016-09-26 2018-04-05 東芝ライテック株式会社 照明装置
CN109804616B (zh) * 2016-09-26 2021-01-08 株式会社日立制作所 摄像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641049A (zh) * 2007-03-21 2010-02-03 光谱辨识公司 基于局部一致特征的生物测定
CN101150402A (zh) * 2007-11-01 2008-03-26 北京理工大学 一种基于分数阶傅立叶变换的双图加密方法
CN101430428A (zh) * 2008-11-25 2009-05-13 中国科学院微电子研究所 超分辨菲涅耳波带片
CN102239426A (zh) * 2008-12-04 2011-11-09 相位聚焦有限公司 图像数据的提供
WO2011008233A8 (en) * 2009-05-07 2011-09-22 President And Fellows Of Harvard College Methods and apparatus for fluorescence sensing employing fresnel zone plates
WO2016203573A1 (ja) * 2015-06-17 2016-12-22 日立マクセル株式会社 撮像装置
CN106412552A (zh) * 2015-08-03 2017-02-15 三星电子株式会社 用于处理全息图像的方法和装置
CN105931196A (zh) * 2016-04-11 2016-09-07 天津大学 基于傅里叶光学建模的编码光圈相机图像恢复方法

Also Published As

Publication number Publication date
EP3633973B1 (en) 2020-11-11
CN110720207A (zh) 2020-01-21
US10999481B2 (en) 2021-05-04
EP3633973A1 (en) 2020-04-08
WO2018221019A1 (ja) 2018-12-06
JPWO2018221019A1 (ja) 2020-03-19
EP3633973A4 (en) 2020-04-08
US20200084350A1 (en) 2020-03-12
JP6773903B2 (ja) 2020-10-21

Similar Documents

Publication Publication Date Title
CN110720207B (zh) 图像处理装置、摄像系统、图像处理方法及记录介质
CN110692233B (zh) 摄像装置、图像处理装置、摄像系统、图像处理方法及记录介质
US11272098B2 (en) Imaging apparatus and imaging module
Liang et al. A light transport framework for lenslet light field cameras
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
US11288780B2 (en) Imaging apparatus
JP2007312314A (ja) 画像シフト検出方法および装置および画像入力装置
Lee et al. Robust all-in-focus super-resolution for focal stack photography
JP2023016864A (ja) 撮像装置および方法
JP2021043230A (ja) ワイドコンバージョンレンズ及び撮像装置
JP6770164B2 (ja) 撮像装置
Silva et al. Extended Depth-of-Field Lensless Imaging Using an Optimized Radial Mask
Scrymgeour et al. Advanced Imaging Optics Utilizing Wavefront Coding.
Neto et al. Extended Depth-of-Field Lensless Imaging using an Optimized Radial Mask
JP2022003801A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant