CN107888837B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN107888837B
CN107888837B CN201711407173.5A CN201711407173A CN107888837B CN 107888837 B CN107888837 B CN 107888837B CN 201711407173 A CN201711407173 A CN 201711407173A CN 107888837 B CN107888837 B CN 107888837B
Authority
CN
China
Prior art keywords
image
microlenses
synthesized
microlens
focal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711407173.5A
Other languages
English (en)
Other versions
CN107888837A (zh
Inventor
岩根透
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN107888837A publication Critical patent/CN107888837A/zh
Application granted granted Critical
Publication of CN107888837B publication Critical patent/CN107888837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理装置。图像处理装置具备：多个微透镜，其排列为使得透射了成像光学系统的被拍摄体光进行入射；多个受光元件，其对应于所述多个微透镜的各自而配置于所述微透镜的后侧的焦点位置附近，对透射了所述微透镜的所述被拍摄体光进行受光；图像合成部，其基于所述多个受光元件的输出，对所述成像光学系统的与预定焦平面不同的焦平面的图像进行合成；和处理部，其使用由所述图像合成部合成的作为与从所述多个微透镜的顶点离开第1距离的位置的焦平面对应的图像的第1合成图像，进行针对由所述图像合成部合成的作为与距所述多个微透镜的顶点所述第1距离以内的位置的焦平面对应的图像的第2合成图像的图像处理。

Description

图像处理装置
本申请是申请号为201380010817.0、申请日为2013年2月25日、发明名称为“图像处理装置”的中国发明专利申请的分案申请。
技术领域
本发明涉及图像处理装置。
背景技术
现有，已知以下拍摄装置：对应于1个微透镜而具备多个拍摄像素，对通过1次拍摄取得的图像数据在拍摄后进行合成，生成任意的焦点位置的图像(例如，专利文献1、2及非专利文献1)。
专利文献1：日本国特开2007—4471号公报
专利文献2：美国专利申请公开第2007/0252047号说明书
非专利文献1：Light Field Photography with a Handheld Plenoptic camera,Stanford tech report CTSR2005－02
发明内容
可是，在生成以比微透镜的排列数多的像素数构成的任意的焦点位置的图像的情况下，在微透镜的顶点附近处，存在生成的图像的分辨率大幅度地降低的问题。
根据本发明的第1方式，图像处理装置具备多个微透镜、多个受光元件、图像合成部和处理部，其中，所述多个微透镜排列为二维状以使得透射了成像光学系统的被拍摄体光进行入射；所述多个受光元件对应于多个微透镜的各自而配置于微透镜的后侧的焦点位置附近，对透射了微透镜的被拍摄体光进行受光；所述图像合成部基于多个受光元件的输出，对成像光学系统的与预定焦平面不同的焦平面的图像进行合成；所述处理部基于图像合成部进行了合成的至少作为多个微透镜的附近的图像的目的图像和作为多个微透镜的附近以外的图像的辅助图像，进行提高目的图像的分辨率的处理。
根据本发明的第2方式，图像处理装置具备多个微透镜、多个受光元件、图像合成部和控制部，其中，所述多个微透镜排列为二维状以使得透射了成像光学系统的被拍摄体光进行入射；所述多个受光元件对应于多个微透镜的各自而配置于微透镜的后侧的焦点位置附近，对透射了微透镜的被拍摄体光进行受光；所述图像合成部基于多个受光元件的输出，可以对成像光学系统的与预定焦平面不同的焦平面的图像进行合成；所述控制部对图像合成部进行控制以使得作为多个微透镜的顶点附近的焦平面的图像的目的图像和作为多个微透镜的顶点附近以外的焦平面的图像的辅助图像被合成，并在目的图像相加辅助图像的高频分量而进行输出。
根据本发明的第3方式，优选：在第2方式的图像处理装置中，目的图像为从多个微透镜的顶点未离开多个微透镜的焦距的2倍以上的位置的焦平面的图像。
根据本发明的第4方式，优选：在第2或3方式的图像处理装置中，辅助图像为从多个微透镜的顶点离开多个微透镜的焦距的2倍以上的位置的焦平面的图像。
根据本发明的第5方式，优选：在第2～4的任一方式的图像处理装置中，控制部使图像合成部对对应于互不相同的焦平面的多个辅助图像进行合成，在目的图像相加这些多个辅助图像的高频分量而进行输出。
根据本发明的第6方式，优选：在第5方式的图像处理装置中，控制部使图像合成部对恰为多个微透镜的焦距的2倍而从多个微透镜的顶点分别离开其前后的位置的焦平面的辅助图像进行合成。
根据本发明，即使在微透镜的顶点附近的焦点位置，也能够对高分辨率的图像进行合成。
附图说明
图1是表示第1实施方式涉及的数字照相机的构成的图。
图2是拍摄单元100的立体图。
图3是示意性地表示微透镜阵列12及拍摄元件13的剖视图。
图4是从被拍摄体光的入射方向看微透镜阵列12的示意图。
图5是表示用于对合成像素Py进行合成而累加输出的拍摄像素130的图。
图6是表示用于对合成像素Py进行合成而累加输出的拍摄像素130的图。
图7是使栅格122在恰为间距g的4分之1的向右方向偏离的图。
图8是表示恰为间距g的4分之1而使栅格122在向右方向偏离的情况下的拍摄像素130的累加图形的图。
图9是图像合成处理的流程图。
具体实施方式
(第1实施方式)
本实施方式的数字照相机，利用通过介由微透镜阵列进行拍摄取得的图像信号具有景深信息等的波阵面信息，通过数值处理生成具有用户所预期的焦点位置的图像数据。介由拍摄透镜进行了入射的被拍摄体光束成像于微透镜阵列的附近。此时，相应于被拍摄体的位置而光束进行成像的位置在拍摄透镜的光轴方向变得不同，而且如果被拍摄体为三维物体则被拍摄体光束不会成像于同一平面上。本实施方式的数字照相机，对再现有成像于用户所预期的光轴方向的成像位置的被拍摄体的像的图像进行生成 (合成)。以下，将该生成的图像称为目的图像。目的图像看起来成像光学系统的焦点宛如位于该成像位置(并非实际的成像位置而是用户所预期的位置)。因此，在以下的说明中，将该成像位置称为焦点位置。
而且，本实施方式的数字照相机构成为，作为所述的图像，可以生成具有比包括于微透镜阵列的微透镜的个数大的分辨率的合成图像。即，对应于1个微透镜，设置多个成为合成图像的各像素的对图像信号进行输出的拍摄像素(受光元件)。而且，数字照相机为了成为用户所选择的焦点位置的合成图像，不仅利用从对应于1个微透镜的拍摄像素输出的图像信号，而且也利用从对应于其周边的微透镜的拍摄像素输出的图像信号，生成相当于合成图像的1个像素量的成像区域的合成图像信号，并生成可以改变焦点位置的合成图像。以下，详细地进行说明。
图1是表示第1实施方式涉及的数字照相机的构成的图。数字照相机1 构成为，例如通过快门开关式的透镜安装机构等，可以进行具有拍摄透镜 L1的更换透镜2的装拆。数字照相机1具备拍摄单元100、控制电路101、A /D变换电路102、存储器103、操作部108、显示器109、LCD驱动电路110 及存储卡接口111。拍摄单元100具备二维状地排列有多个微透镜120的微透镜阵列12及拍摄元件13。还有，在以下的说明中，Z轴设定为，平行于拍摄透镜L1的光轴，X轴与Y轴设定为，在与Z轴正交的平面内相互正交。
拍摄透镜L1由多个光学透镜组构成，使来自被拍摄体的光束成像于其焦平面附近。还有，在图1中对拍摄透镜L1为了说明的方便以1片透镜进行代表而表示。在拍摄透镜L1的焦平面附近，按顺序配置微透镜阵列12和拍摄元件13。拍摄元件13通过具备有多个光电变换元件的CCD和/或CMOS 图像传感器而构成。拍摄元件13对成像于拍摄面上的被拍摄体像进行拍摄，并通过控制电路101受控制而将相应于被拍摄体像的光电变换信号(图像信号)向A/D变换电路102进行输出。还有，关于拍摄单元100的详情对说明进行后述。
A/D变换电路102是对拍摄元件13输出的图像信号进行模拟性的处理而变换为数字图像信号的电路。控制电路101通过CPU和/或存储器及其他的周边电路而构成。控制电路101读出预先存储于未图示的ROM等的控制程序而实行。通过该控制程序，控制电路101利用从构成数字照相机1的各部分输入的信号进行预定的运算，发送相对于数字照相机1的各部分的控制信号。对拍摄工作进行控制。并且，控制电路101如后述地相应于焦点位置输入按键108a的操作基于从操作部108输入的操作信号确定目的图像的焦点位置。
控制电路101功能性地具备图像合成部105、合成判定部106及合成控制部107。图像合成部105对拍摄透镜L1的与预定焦平面不同的任意的焦平面的图像进行合成。合成判定部106对从操作部108输入的焦点位置是否为合成图像的分辨率降低的预定范围(后述)内进行判定。合成控制部107基于合成判定部106的判定对图像合成部105进行控制而使合成图像生成，输出最终的图像。还有，关于图像合成部105、合成判定部106及合成控制部107对详情进行后述。
存储器103为用于暂时性地存储通过A/D变换电路102所数字变换的图像信号和/或在图像处理、图像压缩处理及显示用图像数据生成处理的途中和/或处理后的数据而使用的易失性的存储介质。存储卡接口111为可以进行存储卡111a的装拆的接口。存储卡接口111为相应于控制电路101的控制，将图像数据写入于存储卡111a、读出存储于存储卡111a的图像数据的接口电路。存储卡111a例如是コンパクトフラッシュ(注册商标)和/ 或SD卡等的半导体存储卡。
LCD驱动电路110为基于控制电路101的命令对显示器109进行驱动的电路。显示器109通过液晶面板等而构成，在再现模式下基于存储于存储卡 111a的图像数据进行以控制电路101生成的显示数据的显示。并且，在显示器109，显示用于对数字照相机1的各种工作进行设定的菜单画面。
操作部108接受用户的操作，将相应于操作内容的各种操作信号向控制电路101进行输出。操作部108包括焦点位置输入按键108a、电源按键、释放按键、其他的设定菜单的显示切换按键、设定菜单确定按键等。焦点位置输入按键108a在对合成图像的焦点位置y进行输入时通过用户操作。若由用户操作焦点位置输入按键108a而选择焦点位置y，则操作部108将包括该焦点位置y的操作信号向控制电路101进行输出。
接下来，关于拍摄单元100的构成，利用示于图2的拍摄单元100的立体图详细地进行说明。拍摄单元100具有微透镜阵列12和拍摄元件13。微透镜阵列12具有在XY平面上二维状地正方排列的多个微透镜120。在拍摄元件13，对通过各微透镜120的光进行受光的光电变换元件130(以下，称为拍摄像素130)以对应于微透镜120的配置图形排列为二维状。拍摄元件13配置于从微透镜阵列12恰好离开微透镜120的焦距f的位置。也就是，关于各微透镜120，对应于该微透镜120的多个拍摄像素130设置于恰好离开该微透镜120的焦距f的位置。
还有在图2，仅对设置于微透镜阵列12的多个微透镜120和设置于拍摄元件13的多个拍摄像素130之中的其中一部分进行图示。实际上，存在更多多的微透镜120及拍摄像素130。例如，在1个微透镜120基本覆盖100程度的拍摄像素130，从而微透镜阵列12具有拍摄元件13所具有的拍摄像素130的个数的基本100分之1程度的个数的微透镜120。
例如若拍摄透镜L1的焦距为50厘米，则因为微透镜120的焦距f为几百微米程度(拍摄透镜L1的焦距的100分之1程度)，所以若从拍摄元件13看，则拍摄透镜L1的所谓射出瞳的位置对于微透镜120基本能够看作无限远。也就是，拍摄透镜L1的射出瞳的位置与拍摄元件13的拍摄面能够光学性地为共轭。
还有在以下，用于说明的简单，设微透镜120的F值与拍摄透镜L1的F 值相同。该情况下，通过微透镜120覆盖的拍摄像素130整体的区域对拍摄透镜L1的射出瞳整体进行了投影。在如此地构成的拍摄元件13的拍摄面，示出以微透镜120划分的像的、在拍摄透镜L1的射出瞳的位置的光强度分布。
本实施方式的控制电路101关于微透镜120的焦距f的前后2倍程度的位置(+2f、－2f)的像生成合成图像数据，并将这2个合成图像数据存储于存储器103。以下，关于在现实空间进行的图像合成的原理进行说明。还有图像合成也可以在对从拍摄元件13输出的图像信号进行了傅里叶变换的傅里叶空间进行。
首先，关于各自的微透镜120对1个像素进行合成的合成图像的生成原理进行说明。图3是示意性地表示微透镜阵列12及拍摄元件13的剖视图。以下，考虑示于图3的微透镜120a～120e之中的中央的微透镜120c和预定位置的像面S中的合成像素之中的微透镜120c的中心轴CX上的合成像素Px。在图3(a)，表示合成对象的像面S位于微透镜120c的顶点附近的情况。如从图3(a)表明地，在合成对象的像面S位于更靠近微透镜120c的焦距f的位置的情况下，构成合成像素Px的光束仅通过微透镜120c，不到达其他的微透镜120a、120b、120d、120e。
另一方面，如示于图3(b)地，在合成图像的像面S位于从微透镜120c 的顶点附近离开焦距f的位置的情况下，构成合成像素Px的光束入射于多个微透镜。在此，如示于图3(b)地，若以微透镜120a～120e的焦距为f、以微透镜120a～120e彼此的间隔为d、以从合成对象的像面直到微透镜 120a～120e的顶点为止的距离为y、以离开该微透镜中心的距离表示透射了特定的微透镜的光束所入射的拍摄元件13上的位置为x，则在这些值之间存在如下式(1)的比例关系。
y/(nd)＝f/x···(1)
在此n为表示所述光束入射于从对应于合成像素Px的微透镜120c恰好离开几个的微透镜的无量纲数，n＝1表示其为相邻于微透镜120c的微透镜 120b、120d。在上式(1)中，因为焦距f与微透镜120c的间隔d为常数，所以如果确定焦点位置y和离开透镜中心的距离x，则可判明来自合成像素Px 的光束入射于哪个微透镜。在此n为整数，因为采取离散的值，所以n为yx /(fd)的整数部分。在微透镜120c的中心轴CX上，从微透镜120c的顶点恰好离开距离y的位置的合成像素对满足上式(1)的位置的拍摄像素130 的输出进行了累加。即，如果以距离x的位置的光强度(拍摄像素130的输出)为I(x)，则合成像素Px的像素值P通过下式(2)可以进行计算。
Figure BDA0001520572260000071
还有，上式(2)的x采取对应于多个微透镜的范围的值，各值属于哪个微透镜通过上式(1)确定。
接下来，将以上的想法扩展为二维。图4是从被拍摄体光的入射方向看微透镜阵列12的示意图。当前如示于图4地，考虑对微透镜120j进行划分的栅格122。该栅格122的间距g通过合成的像的位置(焦点位置y)确定。例如，如果焦点位置y为微透镜120的焦距f的4倍，则栅格122的间距g如示于图4地成为微透镜120彼此的间隔的4分之1。
该栅格122表示通过对哪个摄像像素130的输出进行累加而可合成对应于微透镜120j的中心O的1个合成像素Py。以下，关于此点利用图5进行说明。栅格122通过合计25个矩形的区划而构成。这表示合成像素Py通过对对应于这25个区划的各自的拍摄像素130的输出进行累加而合成。
栅格122内的各区划的位置(离开中心O的相对位置)表示其区划以微透镜120j为中心对应于被哪个微透镜120覆盖的拍摄像素130。以下，利用图5对此点进行说明。分别在图5(a)的左侧示出微透镜120j的放大图，在图5(a)的右侧以微透镜120j为中心示出其周围的微透镜。在此，区划140j 对应于被微透镜120j覆盖的拍摄像素130之中的相当于栅格122内的区划 140j相当的范围的拍摄像素130j。
并且，如示于图5(b)地，相邻于区划140j的顶边的区划140g对应于被相邻于微透镜120j的顶边的微透镜120g覆盖的拍摄像素130之中的相当于栅格122内的区划140g的范围的拍摄像素130g。对应于微透镜120j的中心 O的1个合成像素对如此地特定的25个的范围的拍摄像素130的输出进行了累加。将这25个的范围示于图5(c)。如此地，在焦点位置y为微透镜120 的焦距f的4倍的情况下，对应于微透镜120j的中心O的1个合成像素通过对被微透镜120j及其周边的24个微透镜120覆盖的拍摄像素130的输出进行累加而合成，该拍摄像素130的位置如图5(c)所示。
若归纳整理，则存在被微透镜120覆盖的N个拍摄像素130，若将这些拍摄像素130的在微透镜120内的位置以该微透镜120的中心为基准以利用 i、j的坐标表示，并将坐标i、j的拍摄像素130属于附近的哪个微透镜120(相对应)以利用p、q的坐标表示，则对n＝1～N的N个合成像素进行合成的累加可通过下式(3)～(7)表示。
Figure BDA0001520572260000091
在此，对式(5)及(6)中的函数ηx、ηy进行确定为通过所述的栅格 122进行的拍摄元件13的拍摄面的划分。焦点位置y越从微透镜120的顶点离开，栅格122的间距g越小，当微透镜120的焦距f与焦点位置y相一致时，间距g与微透镜120的间隔d相一致。还有，在焦点位置y＝－4f的情况下，拍摄像素130的累加图形如图6。
以上为关于各自的微透镜120对1个像素进行了合成的合成图像的生成原理。虽然根据所述处理，可合成对应于微透镜120的中心的位置的合成像素，但是因为在此只合成恰为与微透镜120的个数相同的像素数，所以合成图像的分辨率等于微透镜120的个数。例如若设通过微透镜120所覆盖的拍摄像素130的像素数为100，则分辨率成为拍摄元件13的本来的分辨率的100 分之1。假如拍摄元件13为1000万像素的拍摄元件，则合成图像为10万像素，得不到充分的分辨率。
因此，在本实施方式中，在微透镜120的中心以外的位置设定合成图像的像素，并生成用于对该像素进行合成的拍摄像素130的累加图形。图像合成部105通过按该累加图形对拍摄像素130的输出进行累加，相对于1个微透镜120对多个像素进行合成。以下，关于该合成方法叙述。如所述地，栅格 122的间距g(对微透镜120所覆盖的区域进行分割的栅格的倍率)表示焦点位置y(相对应)。也就是说，合成像素的光轴方向的位置与栅格122的间距g相对应。另一方面，与光轴垂直的方向的位置可以说与栅格122的相位相对应，可以通过对栅格122的基准位置进行变更而对微透镜120的中心以外的位置的合成像素进行合成。
在以下作为一例，对将微透镜120分割为4×4的16个区域并对对应于各区域的像素进行合成的方法进行说明。也就是说，对代替对对应于微透镜 120的中心O的合成像素进行合成而关于16个区域的各自对对应于该区域的中心的合成像素进行合成的方法进行说明。
图7是使栅格122恰好间距g的4分之1在向右方向偏离的图。图8(a)～(c)为如此地使栅格122偏离并与图5(a)～(c)同样地求出的累加图形。通过对示于图8(c)的各拍摄像素130的输出进行累加，能够对从微透镜120 的中心O恰好间距g的4分之1在向右方向偏离的位置的合成像素进行合成。同样地，通过使栅格122在上下方向及左右方向每次偏离4分之1而导出累加图形，能够对微透镜120内的16个点的合成像素进行合成。即，原理性地能够得到使微透镜120的个数成为16倍的像素数的合成图像。
可是，在通过所述的方法按每个微透镜120对多个像素进行合成的情况下，存在根据焦点位置y有时得不到充分的分辨率的情况。具体地，当设微透镜120的焦距为f时，焦距y在+2f～－2f的范围内，相比于使焦点位置y置于该范围的外侧的情况而分辨率下降。这是因为，在将焦点位置y设定于如此的位置的情况下，所述的拍摄像素130的累加图形的变动减少，并且其几个都相同。
也就是，例如如所述地当每1个微透镜120对16个合成像素进行合成时，在焦点位置y设定为+2f～－2f的范围的情况下，这些合成像素之中的几个成为相同的输出。焦点位置y越接近微透镜120的顶点分辨率越下降，尤其是在焦点位置y恰好置于微透镜120的顶点的情况下(焦点位置y＝0的情况下)，目的图像的像素数(分辨率)与微透镜120的个数相等。即，在如所述地关于1个微透镜120对16个合成像素进行合成的情况下，这16个合成像素全部相同。
因此本实施方式的数字照相机在通过用户所设定的焦点位置y为+2f～－2f的范围内的情况下，与目的图像不同地，对设定的焦点位置y以外的焦平面的图像(在以下的说明中称为辅助图像)进行合成，并利用该图像使目的图像的分辨率提高。以下，关于通过本实施方式的数字照相机进行的图像合成处理进行说明。
图9是图像合成处理的流程图。控制电路101通过实行预定的控制程序，实行该图像合成处理。首先在步骤S100中合成控制部107接受从操作部106 输入的焦点位置y。在步骤S110中合成判定部106对输入的焦点位置y是否为 +2f～－2f之间进行判定。在输入的焦点位置y为该范围的外侧的情况下，处理进到步骤S170，合成控制部107对图像合成部105进行控制，并使图像处理部105进行通过所述的方法进行通常的图像合成(关于1个微透镜对多个像素进行合成的图像合成)，输出目的图像。控制电路101将在步骤S170 中从合成控制部107输出的目的图像例如存储于存储卡111a、显示于显示器 109。另一方面，通过合成判定部106，在判定为输入的焦点位置y为+2f～－2f之间的情况下，进到步骤S120。
在步骤S120中，合成控制部107对图像合成部105进行控制，并使图像合成部105对－2f的焦点位置的图像(第1辅助图像)进行合成。以下，将在此合成的相当于－2f的位置的辅助图像称为P1。在接下来的步骤S130中，与步骤S120同样地，合成控制部107对图像合成部105进行控制，并使图像合成部105对+2f的焦点位置的图像(第2辅助图像)进行合成。以下，将在此所合成的相当于+2f的位置的辅助图像称为P2。辅助图像P1、P2分别存储于存储器103。
在步骤S140中，合成控制部107对图像合成部105进行控制，并使图像合成部105对微透镜120的顶点的位置的图像(也就是说，焦点位置y＝0的辅助图像)进行合成而存储于存储器103。以下，将该第3辅助图像称为P0。辅助图像P0如所述地，不具有微透镜120的个数以上的分辨率，为包括低的空间频率的图像。在步骤S150中，合成控制部107对图像合成部105进行控制，并基于在步骤S100中从操作部108所输入的焦点位置y，使图像合成部105进行通常的图像合成。以下，将在此合成的目的图像称为P3。目的图像P3因为是像面(焦平面)位于－2f～+2f的范围的合成图像，所以如所述地某程度地损失分辨率。
在步骤S160中，合成控制部107关于在步骤S150合成的目的图像P3的各像素，进行示于下式(8)的运算，生成最终的目的图像P而输出。
Figure BDA0001520572260000111
在上式(8)中，P0(i,j)表示辅助图像P0的坐标(i,j)的合成像素。关于P1(i,j)、P2(i,j)、P3(i,j)也同样地，分别表示辅助图像P1、辅助图像P2、辅助图像P3的坐标(i,j)的合成像素。上式(8)的右边第1项表示从－2f的位置的辅助图像及+2f的位置的辅助图像得到的空间频率的高频分量，合成控制部107通过将该分量相加到某程度损失分辨率的目的图像 P3，合成最终的目的图像P(提高目的图像P3的分辨率)。
根据所述的第1实施方式涉及的数字照相机，得到如下的作用效果。
(1)数字照相机1具备多个微透镜120和多个拍摄像素，其中，所述多个微透镜120排列为二维状以使得透射了拍摄透镜L1的被拍摄体光进行入射；所述多个拍摄像素对应于多个微透镜120的各自而配置于该微透镜120 的后侧的焦点位置附近，对透射了该微透镜120的被拍摄体光进行受光。图像合成部105构成为，基于这些多个拍摄像素130的输出，可以对拍摄透镜 L1的与预定焦平面不同的焦平面的图像进行合成。合成控制部107对图像合成部105进行控制以使得作为多个微透镜120的顶点附近的焦平面的图像的目的图像和作为多个微透镜120的顶点附近以外的焦平面的图像的辅助图像被合成，并在目的图像相加辅助图像的高频分量而进行输出。因为如此，所以即使在合成图像的分辨率下降的焦点位置，也能够对高分辨率的图像进行合成。
(2)在从多个微透镜120的顶点未离开多个微透镜120的焦距f的2倍以上的位置作为焦平面而输入的情况下，合成控制部107在目的图像P3相加高频分量。因为如此，所以在任意的焦点位置，能够对高分辨率的图像进行合成。
(3)使辅助图像P0及P1成为从多个微透镜120的顶点离开多个微透镜 120的焦距f的2倍以上的位置的焦平面的图像。因为如此，所以辅助图像P0 及P1成为可靠地包括高频分量的图像，能够向目的图像P3可靠地相加高频分量。
(4)合成控制部107使图像合成部105对对应于互不相同的焦平面(恰为多个微透镜120的焦距f的2倍，从多个微透镜120的顶点分别离开其前后的位置的焦平面)的多个辅助图像P1及P2进行合成，在目的图像P3相加这些多个辅助图像P1及P2的高频分量而进行输出。因为如此，所以能够进一步高精度地相加高频分量。
如下的变形也在本发明的范围内，也可以使变形例之一或多个与所述的实施方式组合。
(变形例1)
在通过所述的式(8)进行的图像合成中，焦点位置y恰好为－2f或+ 2f的位置的合成图像相比于其前后的位置的合成图像，在空间频率存在大的差异。从而，例如在关于具有一定的间隔而设定为宽的范围的多个焦点位置y对合成图像进行合成并进行显示的情况下，在所述的2个位置处分辨率会急剧地变化，并使观看者感觉不适。用于使如此的分辨率的变化稳定，也可以使式(8)变形，并通过下式(9)进行图像合成。
Figure BDA0001520572260000131
通过对式(8)如所述地进行变更，例如即使在合成图像的显示中将该图像的焦点位置y从+2f变更为+2f－ε的情况下，图像的分辨率也不会急剧地变化。由此，可以不会使观看者感觉不适地使焦点位置y变化。
(变形例2)
在相应于焦点位置y的输入实时地进行图像合成、进行合成图像的显示等的情况下，也可以在预先考虑的全部焦点位置范围内确定离散的焦点位置的列，关于它们事先进行图像合成。例如当设焦点位置y的范围为±6厘米、设微透镜120的焦点位置f为300微米时，关于－20f、－19f、…、－f、 0、f、2f、…、20f的41个点预先进行图像合成，存储于存储器103。通过如此地进行，能够降低合成图像的显示时的控制电路101的处理负荷。
(变形例3)
在第1实施方式中，用于提高目的图像P3的分辨率，从2个辅助图像P1、 P2取出高频分量而相加于目的图像P3。本发明并非限定于如此的实施方式。例如，即使在为仅从辅助图像P1取出高频分量并相加于目的图像P3的构成的情况下，也可以提高目的图像P3的分辨率。并且，虽然用于从2个辅助图像P1、P2取出高频分量，利用了仅包括低频分量的辅助图像P0，但是也可以通过这些以外的方法从辅助图像P1(和/或P2)取出高频分量。
(变形例4)
辅助图像P1、P2的焦平面的位置，也可以分别为+2f与－2f以外的位置。如果从微透镜120的顶点至少离开微透镜120的焦距f的2倍以上，则能够取出相加于目的图像P3的高频分量。
(变形例5)
虽然在所述的实施方式中，使微透镜阵列12中的各微透镜120的排列成为正方排列，但是本发明并非限定于如此的排列。例如也可以使各微透镜 120成为基本六边形，并排列为蜂窝状。
(变形例6)
虽然在第1实施方式中，关于将本发明应用于数字照相机的例进行了说明，但是本发明并非限定于如此的实施方式。例如，也可以相对于若输入来自拍摄单元100的输出信号则输出分辨率高的目的图像的图像处理装置而应用本发明。该情况下，图像处理装置自身也可以不具备拍摄单元100。并且，来自拍摄单元100的信号(来自拍摄元件13的输出信号)例如既可以存储于存储卡等的可移动的存储介质而输入，也可以介由电通信线路等而输入。
限于不损失本发明的特征，本发明并非限于所述实施方式，关于在本发明的技术思想的范围内考虑的其他的方式也包含于本发明的范围内。
以下的优先权基础申请的公开内容作为引用文组入于此。
日本特许出愿2012年第41433号(2012年2月28日申请)。

Claims (3)

1.一种图像处理装置，具备：
多个微透镜，其排列为使得透射了成像光学系统的被拍摄体光进行入射；
多个受光元件，其对应于所述多个微透镜的各自而配置于所述微透镜的后侧的焦点位置附近，对透射了所述微透镜的所述被拍摄体光进行受光；
图像合成部，其基于所述多个受光元件的输出，对所述成像光学系统的与预定焦平面不同的焦平面的图像进行合成；和
处理部，其使用由所述图像合成部合成的作为与从所述多个微透镜的顶点离开第1距离的位置的焦平面对应的图像的第1合成图像，进行针对由所述图像合成部合成的作为与距所述多个微透镜的顶点所述第1距离以内的位置的焦平面对应的图像的第2合成图像的图像处理，
所述处理部在所述第2合成图像相加所述第1合成图像的高频分量而进行输出。
2.一种图像处理装置，具备：
多个微透镜，其排列为使得透射了成像光学系统的被拍摄体光进行入射；
多个受光元件，其对应于所述多个微透镜的各自而配置于所述微透镜的后侧的焦点位置附近，对透射了所述微透镜的所述被拍摄体光进行受光；
图像合成部，其基于所述多个受光元件的输出，对所述成像光学系统的与预定焦平面不同的焦平面的图像进行合成；和
处理部，其基于由所述图像合成部合成的作为与从所述多个微透镜的顶点离开第1距离的位置的焦平面对应的图像的第1合成图像，和由所述图像合成部合成的作为与距所述多个微透镜的顶点所述第1距离以内的位置的焦平面对应的图像的第2合成图像，生成第3合成图像，
所述处理部在所述第2合成图像相加所述第1合成图像的高频分量而输出所述第3合成图像。
3.根据权利要求1或2所述的图像处理装置，其中，
所述第1距离为所述多个微透镜的焦距的2倍。
CN201711407173.5A 2012-02-28 2013-02-25 图像处理装置 Active CN107888837B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012041433A JP6102061B2 (ja) 2012-02-28 2012-02-28 画像処理装置
JP2012-041433 2012-02-28
CN201380010817.0A CN104137532B (zh) 2012-02-28 2013-02-25 图像处理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380010817.0A Division CN104137532B (zh) 2012-02-28 2013-02-25 图像处理装置

Publications (2)

Publication Number Publication Date
CN107888837A CN107888837A (zh) 2018-04-06
CN107888837B true CN107888837B (zh) 2020-03-27

Family

ID=49082534

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380010817.0A Active CN104137532B (zh) 2012-02-28 2013-02-25 图像处理装置
CN201711407173.5A Active CN107888837B (zh) 2012-02-28 2013-02-25 图像处理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380010817.0A Active CN104137532B (zh) 2012-02-28 2013-02-25 图像处理装置

Country Status (6)

Country Link
US (1) US10587798B2 (zh)
EP (1) EP2822266B1 (zh)
JP (1) JP6102061B2 (zh)
CN (2) CN104137532B (zh)
IN (1) IN2014DN07183A (zh)
WO (1) WO2013129337A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6185819B2 (ja) * 2013-10-23 2017-08-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105812624B (zh) * 2014-12-30 2019-01-11 深圳超多维科技有限公司 微透镜阵列成像装置
CN106791498B (zh) * 2016-11-18 2019-11-19 成都微晶景泰科技有限公司 图像定位方法、透镜阵列成像方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4301478A (en) * 1978-11-30 1981-11-17 Canon Kabushiki Kaisha TV Camera with focus detecting means
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
CN101729778A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3017515A (en) 1959-10-26 1962-01-16 Fairchild Camera Instr Co Photoelectric unsharp-masking apparatus
JPH04269750A (ja) * 1990-12-05 1992-09-25 American Teleph & Telegr Co <Att> 離隔特徴をフォトレジスト層に印刷する方法
JP4224996B2 (ja) * 2002-07-25 2009-02-18 パナソニック株式会社 撮像装置
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
CN101313594A (zh) * 2005-10-16 2008-11-26 米迪尔波得股份有限公司 用于增加数字图像捕获的质量的装置、系统和方法
WO2007067999A2 (en) * 2005-12-09 2007-06-14 Amnis Corporation Extended depth of field imaging for high speed object analysis
JP4157567B2 (ja) * 2006-04-11 2008-10-01 株式会社東芝 動画像の高解像度化方法及び装置
US7637462B2 (en) 2006-04-28 2009-12-29 Anadish Kumar Pal Surface flow diverting and static charging ducted pores on wing or blade tip to reduce wake and BVI noise
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
CN100585453C (zh) 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
JP2008275890A (ja) * 2007-04-27 2008-11-13 Olympus Imaging Corp レンズ交換式デジタルカメラ
JP2009105717A (ja) 2007-10-24 2009-05-14 Sharp Corp 撮像装置
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
US8824833B2 (en) 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
CN101889453B (zh) * 2008-06-18 2013-11-13 松下电器产业株式会社 图像处理装置、摄像装置、方法及程序
EP2403233B1 (en) * 2008-10-10 2022-12-28 Samsung Electronics Co., Ltd. Image processing apparatus and method
JP5187145B2 (ja) * 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
JP5671842B2 (ja) 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
JP6246740B2 (ja) * 2012-02-16 2017-12-13 ユニバーシティ オブ ワシントン スルー イッツ センター フォー コマーシャリゼーション 高分解能画像走査のための拡張された焦点深度

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4301478A (en) * 1978-11-30 1981-11-17 Canon Kabushiki Kaisha TV Camera with focus detecting means
JP2008294741A (ja) * 2007-05-24 2008-12-04 Olympus Corp 撮像システム
CN101729778A (zh) * 2008-10-10 2010-06-09 三星电子株式会社 图像处理设备和方法

Also Published As

Publication number Publication date
CN104137532A (zh) 2014-11-05
CN104137532B (zh) 2018-01-26
US20150042838A1 (en) 2015-02-12
EP2822266A4 (en) 2015-09-02
JP2013179424A (ja) 2013-09-09
WO2013129337A1 (ja) 2013-09-06
EP2822266A1 (en) 2015-01-07
IN2014DN07183A (zh) 2015-04-24
EP2822266B1 (en) 2017-08-02
CN107888837A (zh) 2018-04-06
US10587798B2 (en) 2020-03-10
JP6102061B2 (ja) 2017-03-29

Similar Documents

Publication Publication Date Title
JP5671842B2 (ja) 画像処理装置および撮像装置
JP6149339B2 (ja) 表示装置
JP5795324B2 (ja) 光フィールドデータを利用した映像処理装置及び方法
WO2011108592A1 (ja) 撮像装置
CN103024264B (zh) 摄像设备和焦点检测方法
US20140036130A1 (en) Image sensing apparatus and method of controlling the image sensing apparatus
US9503633B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2013145979A (ja) 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
JP2012147088A (ja) 撮像装置
CN107888837B (zh) 图像处理装置
JP6516045B2 (ja) 画像処理装置
JP6376206B2 (ja) 画像処理装置および撮像装置
JP2024012318A (ja) 画像表示装置
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
JP5820831B2 (ja) 撮像装置
JP2015064909A (ja) 画像処理装置および撮像装置
JP2016082325A (ja) 撮像装置、画像処理装置および画像処理プログラム
JP2019003665A (ja) 画像処理装置
JP2017130869A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant