CN104038690B - 图像处理装置、图像拍摄装置及图像处理方法 - Google Patents

图像处理装置、图像拍摄装置及图像处理方法 Download PDF

Info

Publication number
CN104038690B
CN104038690B CN201410078684.7A CN201410078684A CN104038690B CN 104038690 B CN104038690 B CN 104038690B CN 201410078684 A CN201410078684 A CN 201410078684A CN 104038690 B CN104038690 B CN 104038690B
Authority
CN
China
Prior art keywords
image
unit
shot
body region
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410078684.7A
Other languages
English (en)
Other versions
CN104038690A (zh
Inventor
渡辺和宏
坂田修
高谷庆太
加来亘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201610015181.4A priority Critical patent/CN105491294B/zh
Publication of CN104038690A publication Critical patent/CN104038690A/zh
Application granted granted Critical
Publication of CN104038690B publication Critical patent/CN104038690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理装置、图像拍摄装置及图像处理方法。传统上，未清楚地指定在图像拍摄时或者在编辑图像时、在哪个范围内的被摄体上能够进行再聚焦，因此，用户难以通过自己预期的方式来拍摄图像或者编辑图像。所述图像处理装置具有：获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。

Description

图像处理装置、图像拍摄装置及图像处理方法
技术领域
本发明涉及一种用于获得关于被摄体的焦点控制的信息的图像处理装置、图像拍摄装置及图像处理方法。
背景技术
作为诸如数字照相机等的图像拍摄装置，已知有如下的装置，该装置通过由用户以触摸板操作等指定拍摄图像中包括的被摄体，来进行该被摄体的聚焦调整（例如，日本特开2011-39457号公报）。
此外，还提出了如下的技术，该技术能够通过显示如下的地图图像，来使用户轻松地掌握要拍摄图像的对焦对象（被摄体），其中，所述地图图像用于表示代表要拍摄图像的对象在深度方向上的位置的深度位置、以及代表焦点的位置的焦点位置（例如，日本特开2010-177741号公报）。
近年来，已知还有光场摄影技术，该技术获取光线的朝向（orientation）及强度的信息（光场数据），并且通过后面的图像处理来进行焦点位置的调整（再聚焦）以及景深的调整（例如，日本特表2008-515110号公报）。
使用该技术存在如下的优点：因为能够在图像拍摄之后进行焦点调整，因此，能够通过图像处理来弥补图像拍摄时的焦点调整的失败。此外，还存在如下的优点：能够通过改变图像处理方法，由一个拍摄图像来获得在图像中使任意被摄体对焦的多个图像，因此，能够减少图像拍摄的次数。
在光场摄影中，由从多个视点拍摄的图像的数据，来计算穿过空间中的多个位置中的各位置的光线的方向及强度（光场）。然后，通过使用获得的光场的信息，来计算在假设光穿过虚拟光学系统并在虚拟传感器上形成图像的情况下的图像。通过适当地设置这样的虚拟光学系统及虚拟传感器，能够实现先前描述的再聚焦。作为用于获取光场的图像拍摄装置，已知在主透镜的后面布置有微透镜阵列的全光照相机（plenoptic camera）（例如，日本特开2009-124213号公报）、以及并排布置有小型照相机的照相机阵列。这两者均能够通过一次图像拍摄，来获得从不同方向拍摄的来自多个视点的被摄体图像的数据。换言之，可以将光场摄影表述为：由来自多个视点的图像的数据，来计算要在虚拟光学条件下由虚拟传感器获取的图像。在下文中，计算由虚拟传感器获取的图像的处理被称为“再聚焦处理”。作为再聚焦处理，已知有如下的方法：获取的来自多个视点的图像的数据经历到虚拟传感器上的射影变换，并且被相加和求平均（例如，WO2008050904）。
作为用于在改变焦点位置的同时、显示已经历再聚焦处理的图像（以下称为再聚焦图像）的方法，可以提及的例如有美国专利2008/0131019号公报中公开的方法。在美国专利2008/0131019号公报中公开的方法中，在显示再聚焦图像的画面上准备用来调整焦点位置的用户界面（UI），并且经由该UI来改变焦点位置。另外，在美国专利2008/0131019号公报中，公开了如下的方法：显示焦点位置被调整到如下的被摄体的再聚焦图像，其中，用户期望将所述被摄体置于焦点位置，并通过显示有再聚焦图像的画面而给出了指令。
在拍摄图像数据或光场数据的显示中，要对焦的对象存在于与图像拍摄位置相距固定距离的平面上。然而，在通过指定特定被摄体来进行聚焦的情况下，用户无法掌握除所述被摄体之外的哪个被摄体被对焦。
另外，通过在日本特开2010-177741号公报中公开的技术，能够通过在深度方向上按次序布置有如下标记的地图图像，来掌握哪个被摄体被对焦，其中，所述标记表示要拍摄图像的对象；然而，地图图像与拍摄图像（实际图像）完全不同，因此，难以直观地掌握被摄体。
亦即，在上述专利文献等中公开的传统方法中，在摄影时或者在编辑图像时，未清楚地指定在哪个范围内的被摄体上能够进行再聚焦，因此存在如下的问题：用户难以通过自己预期的方式来进行图像拍摄或图像编辑。
发明内容
根据本发明的图像处理装置具有：获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及生成单元，其被配置为生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
作为另选方案，所述图像处理装置具有：获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；第一生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域进行了再布置的再布置图像；以及第二生成单元，其被配置为生成包括所述再布置图像的图像，其中，在所述再布置图像中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理的聚焦状态的信息。
根据本发明，用户能够在摄影时或者在编辑图像时，直观地掌握被摄体的聚焦状态。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出数字照相机的外观的示例的图；
图2是示出数字照相机的内部结构的框图；
图3是示出图3A至图3C之间的关系的图，并且图3A至图3C是示出在根据第一实施例的数字照相机中进行的图像处理的流程的流程图；
图4是示出在数字照相机的显示单元上显示的二维图像的示例的图；
图5是示出从二维图像中检测出被摄体的状态的图；
图6是示出距离图像的示例的图；
图7是示出提取出被摄体区域的状态的图；
图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图；
图9是示出对提取出被摄体区域的图像进行移位图像生成处理的结果的图；
图10是示出对移位图像中的各被摄体区域进行剪切处理（shear processing）的结果的图；
图11是示出在经历了剪切处理的图像上叠加地面网格图案的结果的图；
图12是示出在组合有地面网格图案的图像上、叠加聚焦距离的指标以及景深的指标的结果的图；
图13是示出处理光场数据的装置的内部结构的示例的图；
图14是示出在根据第二实施例的装置中进行的图像处理的流程的流程图；
图15是示出根据第三实施例的照相机阵列图像拍摄装置的内部结构的框图；
图16是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
图17是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
图18是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例；
图19是排列了多个图像形成光学系统的结构（照相机阵列）的示例；
图20是示出透镜阵列与图像感测元件之间的关系的图；
图21示意性地表示了第三实施例中的表示再聚焦的系数α±的表达式的关系；
图22是示出根据第三实施例的图像处理单元的内部结构的框图；
图23是示出根据第三实施例的图像处理单元中的处理的流程的流程图；
图24A是示出单视点图像的示例的图，并且图24B是示出作为由单视点图像推导出的距离信息的距离图的图；
图25A及图25B分别是示出从距离图中提取被摄体区域的结果的示例的图；
图26A至图26D分别是示出在从正上方俯视单视点图像的场景的情况下的再布置图像（rearranged image）的示例的图；
图27是示出图16中所示的图像拍摄单元的结构中的光学布置的图；
图28A及图28B分别是示出聚焦信息显示图像的示例的图；
图29A至图29C分别是示出聚焦信息显示图像的变化的图；
图30A至图30C分别是示出在连同单视点图像和/或组合图像一起显示聚焦信息显示图像的情况下的示例的图；
图31A及图31B分别是通过在图17中所示的图像拍摄单元的结构中主要放大透镜阵列及图像感测元件的部分而获得的图；
图32示意性地表示了第四实施例中的表示再聚焦的系数α±的表达式的关系；
图33是在从正面（物体侧）观察具有照相机阵列的结构的图像拍摄单元的情况下的图；
图34是在从侧面观察根据第五实施例的图像形成光学系统及图像感测元件的情况下的图（截面）；以及
图35示意性地表示了第五实施例中的表示再聚焦的系数α±的表达式的关系。
具体实施方式
在下文中，参照附图来详细说明本发明的实施例。
[第一实施例]
在此，说明根据本发明的图像处理装置被应用于数字照相机的方面，作为第一实施例。
图1是示出数字照相机的外观的示例的图。
在显示单元101中，例如，使用液晶显示器，并且显示图像以及各种信息。显示单元101具有触摸屏（touch screen）功能，并且能够检测 对显示单元101的触摸。例如，触摸板（touch panel）被配置为使得光的透射率不影响显示单元101的显示，并且该触摸板被附着至显示单元101的显示面的上层。然后，使触摸板上的输入坐标和显示单元101上的显示坐标彼此相关联。由此，能够配置如下的GUI，利用该GUI，能够让用户看起来像直接操作在显示单元101上显示的画面一样。
快门按钮102是用于给出进行图像拍摄的指令的操作单元。
模式转盘103是用于切换各种模式的操作单元。
连接器104是连接电缆111与数字照相机100之间的连接器。
操作单元105包括用来接收来自用户的各种操作的各种开关、按钮等。
控制器轮106是包括在操作单元105中的操作部件，并且能够被旋转操作。
电源开关107在数字照相机100的电源的开启（on）与关闭（off）之间进行切换。
存储介质108是用于存储拍摄图像数据及光场数据的、诸如存储卡及硬盘等的信息存储介质。
存储介质插槽109是用于容纳存储介质108的插槽。能够使在存储介质插槽109中容纳的存储介质108与数字照相机100通信。
盖子110是存储介质插槽109的盖子。
图2是示出数字照相机100的内部结构的框图。
图像拍摄透镜201包括聚焦透镜。
快门包括光圈功能，并且以与快门按钮102联锁（interlock）的方式来控制曝光。
图像拍摄单元203包括将光学图像转换为电信号的CCD、CMOS元件等。
A/D转换器204将从图像拍摄单元203输出的模拟信号转换为数字信号。
挡板205通过覆盖包括图像拍摄透镜201和快门202的图像拍摄单 元203，来防止图像拍摄系统的沾污和破损。
图像处理单元206对来自A/D转换单元204的图像数据或者来自存储器控制单元207的图像数据，进行大小调整处理（例如预定的像素插值和缩小）以及颜色转换处理。在图像处理单元206中，使用拍摄图像数据来进行预定的算术运算处理，并且系统控制单元208基于获得的算术运算结果，来进行曝光控制及距离测量控制。由此，进行TTL（通过镜头）AF（自动聚焦）处理、AE（自动曝光）处理及EF（预闪光）处理。在图像处理单元206中，使用拍摄图像数据进一步进行预定的算术运算处理，并且还基于获得的算术运算结果来进行TTLAWB（自动白平衡）处理。来自A/D转换器204的图像数据经由图像处理单元206及存储器控制单元207、或者经由存储器控制单元207，而被直接写入存储器209。
存储器209存储由图像拍摄单元203获得并被A/D转换器204转换为数字数据的图像数据、以及要在显示单元101上显示的图像数据。存储器209包括足以存储预定数量的静止图像、预定时间段的运动图像以及声音的存储容量。通过利用显示单元101依次显示拍摄图像数据，能够实现电子取景器功能（即显图像（through-image）显示）。此外，存储器209还充当用于显示图像的存储器（视频存储器）。D/A转换器210将用于显示存储在存储器209中的图像的数据转换为模拟信号，并且将这些信号供给至显示单元101。以这种方式，经由D/A转换器210，在显示单元101上显示被写入存储器209的待显示图像数据。
显示单元101依照来自D/A转换器210的模拟信号，在诸如LCD等的显示器上产生显示。
非易失性存储器211是电可擦除/可编程存储器，并且，例如使用EEPROM等。非易失性存储器211存储用于系统控制单元208的操作的常数、程序等。在此所指的程序是用来执行后述的各种流程图的程序。
系统控制单元208控制整个数字照相机100。系统控制单元208通过执行前述的存储在非易失性存储器211中的程序，来实现后述的各处理。 作为系统存储器212，使用了RAM，并且在该RAM上，展开用于系统控制单元208的操作的常数、变量、从非易失性存储器211中读取的程序等。此外，系统控制单元208还通过控制存储器209、D/A转换器210、显示单元101等，来进行显示控制。此外，系统控制单元208能够检测对触摸板的以下操作。
·用手指或笔对触摸板进行触摸的操作（以下称为触摸着屏（touch down））
·手指或笔与触摸板相接触的状态（以下称为触摸中（touch on））
·在使手指或笔与触摸板保持接触的状态下移动所述手指或笔的操作（以下称为移动（move））
·用两个手指对触摸板进行触摸、并移动这两个手指以便缩窄这两个手指之间的间隔的操作（以下称为双指捏合（pinch in））
·用两个手指对触摸板进行触摸、并移动这两个手指以便增大这两个手指之间的间隔的操作（以下称为双指分开（pinch out））
·放开与触摸板接触的手指或笔的操作（以下称为触摸释放（touch up））
·没有什么与触摸板相接触的状态（以下称为无触摸（touch off））
向系统控制单元208，通知上述各种操作、以及手指或笔与触摸板相接触的位置的坐标，并且系统控制单元208基于通知的信息，来确定在触摸板上进行了哪种操作。对于移动而言，还能够基于位置坐标的改变，分别针对触摸板上的垂直分量和水平分量，来确定在触摸板上移动的手指或笔的移动方向。假设在进行从触摸板上的触摸着屏到持续移动后的触摸释放的这一系列操作的情况下，来描述划按（stroke）。用来快速描述划按的操作称为轻滑（flick）。轻滑是如下的操作：将与触摸板相接触的手指快速移动一定距离，然后放开该手指。换言之，轻滑是在触摸板上快速滑动手指以便使该手指轻滑的操作。在检测到以预定速度或更高速度移动了预定距离或更多的情况下，能够确定进行了轻滑。假设在检测到以低于预定速度的速度移动了预定距离或更多的情况下，确定进行 了拖动。作为触摸板，也可以使用如下各种系统中的任何系统，诸如电阻膜系统、静电电容系统、表面声波系统、红外系统、电磁感应系统、图像辨识系统及光学传感器系统等。
模式转盘103将系统控制单元208的操作模式，切换到能够记录静止图像和运动图像的图像拍摄模式、再现模式等中的任何模式。快门按钮102包括未示意性地示出的第一快门开关和第二快门开关。第一快门开关在快门按钮102的操作当中、即通过所谓的半按下操作（进行图像拍摄准备的指令）而开启，并且生成第一快门开关信号SW1。第一快门开关信号SW1引发如下的操作，诸如AF（自动聚焦）处理、AE（自动曝光）处理、AWB（自动白平衡）处理及EF（预闪光）处理等（以下，将这些操作中的至少一者称为图像拍摄准备操作）。这些处理在系统控制单元208的控制下进行。第二快门开关在快门按钮102的操作完成时、即通过所谓的全按下操作（进行图像拍摄准备的指令）而开启，并且生成第二快门开关信号SW2。响应于第二快门开关信号SW2，系统控制单元208开始一系列图像拍摄处理的操作，从自图像拍摄单元203读取信号，到将图像数据写入至存储介质108。
通过进行选择在显示单元101上显示的各种功能图标的操作，针对各场景向操作单元105的各操作部件适当地分配功能，并且各操作部件充当各种功能按钮中的各按钮。功能按钮包括例如结束按钮、返回按钮、图像转发按钮、跳转按钮、光圈缩小（narrow-down）按钮、属性改变按钮等。例如，在按下了菜单按钮的情况下，在显示单元101上，显示能够用以进行各种设置的菜单画面。用户能够利用在显示单元101上显示的菜单画面、四方向按钮以及设定（SET）按钮，来直观地进行各种设置。控制器轮106是包括在操作单元105中的、并且能够被旋转操作的操作部件，并且在指定被选择项目时与方向按钮一同使用。
电源控制单元213包括电池检测电路、DC-DC转换器、切换要通电的模块的开关电路等，并且检测是否附装了电池、电池的种类以及剩余电池寿命。此外，电源控制单元213基于检测结果以及系统控制单元208 的指令来控制DC-DC转换器，并且向包括存储介质108的各单元供给必要时间段的必要电压。
电源单元214包括诸如碱电池及锂电池等的一次电池、诸如NiCd电池、NiMH电池及Li电池等的二次电池、AC适配器等。
接口215是与诸如存储卡及硬盘等的存储介质108的接口。
图3A至图3C是示出在根据本实施例的数字照相机中进行的图像处理的流程的流程图。通过由系统控制单元208在系统存储器212中展开存储在非易失性存储器211中的程序，并执行这些程序，来实现这一系列处理。
通过由用户开启电源，在步骤S301，系统控制单元208在预定的图像拍摄条件（聚焦、曝光、白平衡等）下开始图像拍摄。这些图像拍摄条件依赖于装置的规格，诸如恢复并使用电源关闭之前的值等。
在步骤S302，系统控制单元208在显示单元101上，显示由图像拍摄单元203获取到的二维图像。图4是示出在显示单元101上显示的二维图像的示例的图。图4中的二维图像是在室外拍摄的图像，并且对天空进行了摄影，因此，到最远被摄体的距离是无限远。此时，在最远被摄体“天空”被对焦的情况下（聚焦距离是无限远），该被摄体的前方景深变为等于所谓的“超焦距”的1/2。超焦距的值通过下面的式(1)来获得。
(f^2)/(δ·F)···式(1)
在此，f表示透镜的焦距（mm），F表示透镜的光圈值（f-stop），并且δ表示容许弥散圆（permissible circle of confusion）直径（mm）。
例如，在透镜的焦距被取为50mm、全开光圈时的透镜的光圈值为2.8、并且容许弥散圆直径为0.03328mm的情况下，超焦距是大约26.8m，并且前方景深是大约13.4m。在这种情况下，距离大于约13.4m的区域是“背景区域”。在利用全开光圈使最远被摄体对焦、并且前方景深中的某一被摄体被对焦的情况下，结果该范围内的所有被摄体均被对焦。因为这样，通过将这些被摄体的区域显示为一个“背景区域”，能够向用户清楚地表明，该区域中的被摄体不能被分类为被对焦的区域和未对焦的 区域。
在步骤S303，在针对诸如强制闪光/闪光禁止/自动等的各种设置、存在预定的用户操作的情况下，系统控制单元208进行相应的设置。
在步骤S304，系统控制单元208确定是否存在来自用户的改变显示模式的指令。在存在改变显示模式的指令的情况下，过程进入到步骤S305。另一方面，在不存在改变显示模式的指令的情况下，过程返回到步骤S302。
在步骤S305，系统控制单元208检测拍摄图像中包括的被摄体。作为用于检测拍摄图像内的被摄体的方法，可以应用诸如在日本特开1997-186931号公报中公开的方法等的各种方法。图5是示出从图4中所示的二维图像中、分别将人、侧向的汽车、交通标志及建筑物检测为被摄体的状态的图。在图5中，树丛、邮箱及朝向正面的汽车各被摄体被认为是位于光圈全开时的超焦距的1/2或更远的距离处，因而连同作为最远被摄体的“天空”一起，被包括在上述的“背景区域”中。
在步骤S306，系统控制单元208获取拍摄的二维图像的距离信息（到从二维图像中检测到的各被摄体的距离的信息）。在此，距离信息是与二维图像的坐标相关联地记录的、到二维图像中的各被摄体的距离的信息，并且例如对应于“距离图像（距离图）”，在该距离图像中，用灰色浓淡度（shade of gray）来代表坐标的深度的大小（离照相机的距离）。作为用于获得拍摄图像的距离信息的方法，可以应用诸如在日本特开2001-169308号公报中公开的方法等的各种方法。图6示出了针对图4中所示的二维图像而生成的距离图像的示例。在图6中的距离图像中，用根据各距离而浓度不同的灰度级的图像，来表现人、侧向的汽车、交通标志及建筑物这4个被摄体的区域（用最深的灰色浓淡度来表现距离最近的人，并用最浅的灰色浓淡度来表现建筑物）。比建筑物远的诸如树丛等的被摄体被包括在如上所述的背景的一部分中，因此，这些被摄体在此不被视为“被摄体”。
在步骤S307中，系统控制单元208基于在步骤S305检测到的被摄 体以及在步骤S306获取到的距离信息，来进行用来提取在下一步骤S308要经历移位处理的被摄体区域的处理。该被摄体区域提取处理也可以说成是针对各固定距离来分离被摄体区域的处理。例如，在步骤S305检测到的、但不包括在背景区域中的被摄体之中，将固定距离的范围内（例如，1m±50cm）的部分提取作为被摄体区域的单位之一。图7是示出从图4中所示的二维图像中提取出被摄体区域的状态的图，并且，用虚线表示的部分（人、侧向的汽车、交通标志及建筑物的各区域）代表提取出的各被摄体区域。
在步骤S308，系统控制单元208依照在步骤S306获取到的距离信息，进行用来改变（移位）在步骤S307提取出的各被摄体区域的位置（坐标）的处理，从而生成各被摄体区域在固定方向上被移位的“移位图像”。例如，在到图7中所示的4个被摄体区域的距离分别对应于1m、3m、5m及8m的情况下，生成如下的图像，在该图像中，各被摄体区域的坐标在水平方向上以及在垂直方向上被分别移位预定量（例如，分别移位100像素、33像素、20像素和13像素）。在“移位图像生成”中的移位量不一定必须与距离成反比例，并且，二者可以成对数比，或者，预先准备距离和移位量的对应表，并且可以通过应用该表来确定移位量。此时，为了使各区域的移位方向相同，而使水平方向上的移位量与垂直方向上的移位量之比恒定。作为另一选择，也可以通过如下所示的处理，来确定水平方向与垂直方向的移位量之比。
图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图。
在步骤S801，系统控制单元208生成以预定比率进行了移位的图像。在紧接在处理开始之后的阶段中，生成以预定初始值（例如，以1:1的比率）进行了移位的移位图像。
在步骤S802，系统控制单元208确定在步骤S801获得的移位图像内、是否存在被摄体区域的重叠。在存在被摄体区域的重叠的情况下，过程进入到步骤S803。另一方面，在不存在被摄体区域的重叠的情况下，过 程进入到步骤S805。
在步骤S803，系统控制单元208确定如下的比例是否超过预定阈值（例如，50%），所述比例中的一方是在被摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的隐藏部分的面积，另一方是在所述另一被摄体区域后面要显示的被摄体区域的面积。在这种情况下，要在后面显示的被摄体区域的隐藏部分的面积的比例越小，则越能够让用户适当地掌握被摄体。预定阈值是考虑到这一点而被预先确定的。在隐藏部分的面积的比例超过阈值的情况下，过程进入到步骤S804。另一方面，在隐藏部分的面积的比例不超过阈值的情况下，过程进入到步骤S805。
在步骤S804，系统控制单元208改变在水平方向与垂直方向上进行移位的比率，并且过程返回到步骤S801。亦即，改变比率，使得如下的比例变小，所述比例中的一方是在被摄体区域上重叠的另一被摄体区域后面要显示的被摄体区域的隐藏部分的面积，另一方是要在后面显示的被摄体区域的面积；然后，生成依照改变后的比率而进行了移位的移位图像。
在步骤S805，系统控制单元208确定在要在后面显示的被摄体区域的隐藏区域的比例变为低于阈值的情况下的比率，作为用于显示的正式比率。将依照如上所述确定的比率的移位量，确定为移位图像生成中的移位量。
在移位图像生成处理中，期望在如下的方向上将被摄体区域移位，在所述方向上，与近距离的被摄体相对应的被摄体区域（第一被摄体区域）看起来低于与远距离的被摄体相对应的被摄体区域（第二被摄体区域）。这是因为，由此能够产生由用户从前方俯视场景的、并且适合于用户的感觉的显示。此外，将上述背景区域（在快门的光圈全开的情况下、使二维图像中的最远距离的被摄体对焦时的前方景深中包括的区域）作为对位置（坐标）进行移位时的基准。之所以将“背景区域”作为基准来进行移位，是出于以下的原因。本发明的目的是使用户容易地掌握哪个被摄体被取焦，并且即使在光圈值被改变的情况下，在最远距离的被摄 体对焦的情况下的、在光圈全开时的被摄体深度中包括的区域也被辨识为对焦。图9是示出对提取出4个被摄体区域的图像（参见图7）进行移位图像生成处理的结果的图，并且已知依照各被摄体区域的距离，来对该被摄体区域的位置（坐标）进行移位。在图9中的示例中，为了使对各被摄体区域进行移位的方向相同，而使水平方向与垂直方向的移位量之比恒定。
返回到图3中的流程图的说明。
在步骤S309，系统控制单元208对通过步骤S308的移位图像生成处理而生成的“移位图像”中的各被摄体区域进行剪切处理（斜变形处理），使得水平方向发生倾斜。通过进行该剪切处理，使得能够产生更适合于用户从斜前方观察场景的感觉的显示。通过预先确定的剪切角度，来确定在何种程度上应用斜变形。图10是示出对移位图像中的各被摄体区域（参见图9）进行剪切处理的结果的图。通过该剪切处理，使得用户能够更容易地掌握被摄体之间的距离间隔。剪切角度可以是预先确定的给定角度，或者，也可以使用户能够任意地指定剪切角度。
在步骤S310，系统控制单元208基于移位方向及剪切角度，来进行叠加（组合）网格图案的处理。例如，生成包括与移位方向相同方向的线段、以及与剪切（斜变形）方向相同方向的线段的地面网格图案，并且将该地面网格图案叠加在图像上。图11是示出在经历了剪切处理的图10中的图像上叠加网格图案的结果的图。由此，使得用户能够更加容易地掌握被摄体之间的距离间隔。在图11中的示例中，重叠并显示总共两种网格图案：地面网格图案1101及壁面网格图案1102。由此，使得能够产生更加适合于用户从斜前方观察场景的感觉的显示。也可以将“背景区域”显示为“壁”，并且不显示与更远距离相对应的网格图案。由此，使得用户能够直观地掌握景深等的改变的极限（亦即，对于被显示为“壁”的部分，聚焦距离或景深不能改变）。
在步骤S311，系统控制单元208由拍摄图像的图像拍摄条件（焦点、曝光、白平衡等），来推导前方景深和后方景深。例如，通过利用下面的 式(2)及式(3)进行算术运算，分别推导出前方景深和后方景深。
前方景深（mm）＝(R^2·δ·F)/(f^2+R·δ·F)···式(2)
后方景深（mm）＝(R^2·δ·F)/(f^2-R·δ·F)···式(3)
在上述的式(2)及式(3)中，R表示与对焦被摄体（但不是无限远）的距离（mm），f表示透镜的焦距（mm），F表示透镜的光圈值，并且δ表示容许弥散圆直径（mm）。
容许弥散圆直径是由图像感测元件的对角线长度推导出的特征值，并且例如对于具有36mm的宽度、24mm的高度及43.27mm的对角线长度的图像感测元件，使用0.03328mm的值。
在步骤S312，系统控制单元208进行如下的处理：在拍摄图像上，叠加（组合）表示与对焦被摄体的距离（以下称为“聚焦距离”）、以及表示在步骤S311推导出的前方景深和后方景深的指标。亦即，在步骤S310叠加的地面网格图案上的、与这些距离相对应的位置，叠加充当指标的图像。图12是示出在组合有网格图案的图11中的图像上、叠加聚焦距离的指标以及景深的指标（前方景深的指标和后方景深的指标）的结果的图。在图12中，指标1201表示人（被摄体P）沿地面网格图案所处的位置在深度方向上的距离（聚焦距离），从而代表人（被摄体P）对焦。指标1202及1203分别表示沿地面网格图案的前方景深和后方景深，从而代表侧向的汽车（被摄体C）在景深中（能够辨识出被摄体C在拍摄图像中对焦）。
在步骤S313，系统控制单元208在显示单元101上，显示在步骤S312组合了各指标的拍摄图像。然后，如后所述，通过由用户对组合的指标给出指令并进行操作，能够控制图像拍摄透镜201、快门202的光圈等，以改变聚焦距离及景深。此时，也可以依照用来移动指标的用户操作，产生与指标的位置相对应的网格线的突出显示，或者与其他被摄体的区域的显示不同地，显示与该位置相对应的被摄体的区域。由此，用户能够更清楚地掌握哪个被摄体被对焦，或者哪个被摄体在景深中。
在步骤S314，系统控制单元208确定是否存在用户在显示单元101 上的触摸操作。在存在用户的触摸操作的情况下，过程进入到步骤S315。另一方面，在不存在用户的触摸操作的情况下，过程返回到步骤S305。
在步骤S315，系统控制单元208确定用户的触摸操作是否为“在聚焦距离的指标附近进行触摸着屏然后进行移动”的操作。在用户的触摸操作是“在聚焦距离的指标附近进行触摸着屏然后进行移动”的操作的情况下，过程进入到步骤S316。另一方面，在用户的触摸操作是“在聚焦距离的指标附近进行触摸着屏然后进行移动”的操作之外的操作的情况下，过程进入到步骤S318。
在步骤S316，系统控制单元208控制图像拍摄透镜201，使得与用户触摸的位置相对应的距离的被摄体被对焦，从而调整焦点。
在步骤S317，系统控制单元208将表示聚焦距离的指标的显示位置，移动到用户触摸的位置。
在步骤S318，系统控制单元208确定用户的触摸操作是否为“在景深的指标附近进行触摸着屏然后进行双指捏合或双指分开”的操作。在用户的触摸操作是“在景深的指标附近进行触摸着屏然后进行双指捏合或双指分开”的操作的情况下，过程进入到步骤S319。另一方面，在用户的触摸操作是“在景深的指标附近进行触摸着屏然后进行双指捏合或双指分开”的操作之外的操作的情况下，过程进入到步骤S321。
在步骤S319，系统控制单元208控制图像拍摄透镜201及快门202，使得分别与用户的两个手指（接触的手指）相对应的距离之间的被摄体被对焦，从而调整景深。已知在诸如焦距及容许弥散圆直径等的条件被固定的情况下，景深通过减小光圈而增加。能够通过使用ND（中性密度）滤波器，或者通过增大或减小图像感测元件的灵敏度，来调整由于光圈值的改变而导致的光量的增加或减少。
在步骤S320，系统控制单元208将表示景深的两个指标的显示位置，分别移动到用户的两个手指接触的位置。
在步骤S321，系统控制单元208进行与用户的触摸操作的内容相对应的处理。例如，在从拍摄图像中提取出的区域中的任何区域被用户触 摸的情况下，系统控制单元208控制图像拍摄透镜201使得与该区域相对应的距离被对焦，并且将表示聚焦距离的指标的显示位置移动到相应的位置。
在步骤S314，系统控制单元208依照诸如用户关闭电源等的预定结束操作，而退出本处理。
如上所述，通过应用了根据本实施例的图像处理装置的数字照相机，使得用户能够在图像接近实际图像的状态下，在该数字照相机的UI上直观地掌握哪个被摄体被对焦。
[第二实施例]
接下来，说明如下的方面作为第二实施例，在该方面中，根据本发明的图像处理装置被应用于处置光场数据的信息处理装置。与第一实施例共同的部分的说明被简化或省略，并且，在此主要说明不同点。
首先，说明光场数据。
光场数据（光线信息）是针对光线路径来记录光量的数据。具体而言，在该数据中，针对穿过两个平行平面上的坐标（第一平面上的坐标(u,v)和第二平面上的坐标(x,y)）的光线，用作为u、v、x及y的函数的L(u,v,x,y)来表示该光线的光量L。与此相反，用单个平面上的坐标(x,y)处的光线的光量，来表示二维图像。例如，记录图像感测元件的坐标(x,y)处的光量的是拍摄图像的二维图像。换言之，以与第一平面上的坐标的个数相对应的数量使二维图像成束的是光场数据。
作为用于通过图像拍摄装置来获取光场数据的方法，可以提及的有在图像感测元件的前面布置微透镜阵列的方法、控制光圈的开口位置的方法等。总之，能够通过与相平行的平面上的坐标（例如，各微透镜的位置的坐标）相对应地记录图像感测元件的坐标处的光量，来获得光场数据。
通过针对上述第一平面上的坐标(u,v)的部分或全部、对光场数据L(u,v,x,y)求积分（计算总和），而获得能够在二维显示器上显示的二维图像。亦即，使得能够通过叠加构成光场数据的、与上述第一平面上的固 定范围内的坐标相对应的多个二维图像，而在二维显示器上显示所述多个二维图像。
通过叠加构成光场数据的二维图像、使得在叠加这些二维图像时特定距离的被摄体的位置与自身一致，能够获得该距离的被摄体对焦的二维图像。相反，构成光场数据的二维图像各自具有与上述第一平面上的坐标之间的分隔距离相对应的视差，因此，所述特定距离之外的距离的被摄体在位置移位的情况下被叠加，结果这些被摄体的图像在获得的二维图像上发生模糊。
通过以与上述第一平面上的小范围内的坐标相对应的量、叠加构成光场数据的二维图像，使得各二维图像的视差被限定，因此，能够获得具有大的景深的二维图像。亦即，通过改变与要叠加的二维图像相对应的上述第一平面上的范围，使得能够改变通过叠加而获得的二维图像的景深。
还能够通过应用“图像相关方法”，以如下的方式由光场数据获得距离图像。亦即，从上述第一平面中选择两个坐标，并且比较与这两个坐标相对应的两个二维图像。针对两个二维图像中的一个图像中的任意像素周围的小区域，在其他二维图像中指定具有相似图案的小区域，并且计算两个相应小区域在两个二维图像之间的移动量。该移动量是所谓的“视差”，并且与在所述坐标处显示的被摄体的距离成反比例。结果，通过由针对各坐标的视差求出与被摄体的距离，并将该距离反映在该坐标处的像素的颜色（例如，灰色浓淡度）中，而获得距离图像。
图13是示出处置光场数据的、诸如一般个人计算机（以下称为“PC”）及平板终端等进行信息处理的装置的内部结构的示例的图。
在图13中，装置1300包括CPU1301、硬盘（HD）1302、存储器1303、显示控制单元1304、输入单元1305、驱动设备1306及通信I/F1307，并且这些单元通过内部总线1308而相互连接。连接到内部总线1308的各单元能够经由内部总线1308来相互发送和接收数据。
在硬盘1302中，存储了图像数据、其他数据、使CPU1301工作的 各种程序。存储器1303包括例如RAM。作为显示控制单元、改变单元及计算单元的CPU1301依照例如存储在硬盘1302中的程序，使用存储器1303作为工作存储器来控制装置1300的各单元。使CPU1301工作的程序不局限于存储在硬盘1302中的程序，并且，也可以将程序预先存储在例如未示意性地示出的ROM中。
输入单元1305接收用户操作，并依照该操作而生成控制信号，然后将该信号供给至CPU1301。例如，输入单元1305具有诸如键盘等的字符信息输入设备、诸如鼠标及触摸板等的指点设备等，作为被配置为接收用户操作的输入设备。触摸板是如下的输入设备，通过该输入设备，输出依照被配置为例如平面形状的输入单元1305上的触摸位置的坐标信息。CPU1301基于响应于对输入设备进行的用户操作而由输入单元1305生成并供给的控制信号，依照程序来控制装置1300的各单元。由此，能够使装置1300依照用户操作来进行操作。
显示控制单元1304输出用于使显示器1310显示图像的显示信号。例如，向显示控制单元1304，供给由CPU1301依照程序而生成的显示控制信号。显示控制单元1304基于显示控制信号而生成显示信号，并将该信号输出至显示器1310。例如，显示控制单元1304基于由CPU1301生成的显示控制信号，而使显示器1310显示构成GUI（图像用户界面）的GUI画面。
在将触摸板用作输入单元1305的情况下，也可以一体地配置输入单元1305和显示器1310。
在驱动设备1306上，能够安装诸如CD及DVD等的外部存储介质1320，并且驱动设备1306基于CPU1301的控制，从安装在驱动设备1306上的外部存储介质1320中读取数据、以及将数据写入至外部存储介质1320。能够在驱动设备1306上安装的外部存储介质1320不局限于诸如CD及DVD等的盘存储介质，并且，可以将诸如存储卡等的非易失性半导体存储器安装在驱动设备1306上。通信接口（I/F）1307基于CPU1301的控制，而与诸如LAN及互联网等的网络1330通信。
图14是示出在根据本实施例的处置光场数据的装置中进行的图像处理的流程的流程图。通过由CPU1301将记录在硬盘1302或者未示意性地示出的ROM中的程序展开到存储器1303上，并执行这些程序，来实现这一系列处理。
首先，由通过图像拍摄装置获得的光场数据，来生成二维图像（步骤S1401），并且由显示控制单元1304在显示器1310上显示所生成的二维图像（步骤S1402）。
然后，确定是否存在来自用户的改变显示模式的指令，并且在存在改变显示模式的指令的情况下，过程进入到步骤S1404，而在不存在改变显示模式的指令的情况下，过程返回到步骤S1402（步骤S1403）。
后续的步骤S1404至步骤S1412的各处理对应于第一实施例中的步骤S305至步骤S313。亦即，进行以下的各处理。
·检测二维图像中包括的被摄体的处理（步骤S1404）
·获取二维图像的距离信息（距离图像）的处理（步骤S1405）
·基于在步骤S1404检测到的被摄体以及在步骤S1405获取到的距离信息来提取被摄体区域的处理（步骤S1406）
·针对提取出的各被摄体区域、依照距离信息来生成移位图像的处理（步骤S1407）
·在生成的移位图像上进行用来使水平方向倾斜的剪切处理的处理（步骤S1408）
·基于移位方向及剪切角度来叠加网格图案的处理（步骤S1409）
·推导二维图像的前方景深和后方景深的处理（步骤S1410）
·将各自表示与对焦被摄体的距离（对焦距离）、前方景深和后方景深的指标与二维图像组合的处理（步骤S1411）
·在显示器1310上显示组合了指标的二维图像的处理（步骤S1412）
在上述的各处理之后，在步骤S1413，确定针对在显示器1310上显示的图像内的各指标是否存在用户指令/操作。在这种情况下，针对指标的用户指令/操作在一般PC的情况下使用鼠标来输入，并且在具有触摸 板的平板终端的情况下通过与第一实施例中相同的触摸操作来输入。在存在针对指标的用户指令/操作的情况下，过程进入到步骤S1414，而在不存在用户指令/操作的情况下，过程返回到步骤S1404。
然后，依照由用户指定的指标的新位置，利用前述的光场数据来进行用来改变聚焦距离和/或景深的处理（步骤S1414）。相伴随地，将表示聚焦距离或景深的指标的显示位置移动到用户指定的新位置（步骤S1415）。
在用户进行了预定的退出操作、例如给出了退出应用的指令的情况下，退出本处理（步骤S1416）。
在本实施例中同样地，在上述的步骤S1405，作为距离信息，例如生成如同图6中一样的距离图像，并且通过步骤S1407的移位图像生成处理，获得如同图9中一样使各被摄体区域的位置移位的“移位图像”。亦即，与仅基于光场数据而改变视点的图像（在这种情况下，以立体方式来表现各被摄体）不同，在此获得各被摄体区域被表现为用作背景幕布（舞台布景）的一部分的便携绘图（各被摄体区域不具有深度并且以平面方式来表现）的图像。由此，使用户更容易地掌握对各被摄体的距离感。
如上所述，通过根据本实施例的装置，同样使得用户能够在图像接近实际图像的状态下，在PC等的显示器上直观地掌握哪个被摄体被对焦。
[第三实施例]
在第一及第二实施例中，使得能够通过依照各被摄体区域的距离而使各被摄体区域的位置移位的、并且接近实际图像的图像（移位图像），来直观地掌握能够进行再聚焦的范围。在第三及后续实施例中，说明了如下的方面：使得能够利用依照各被摄体区域的距离而改变了各被摄体区域的坐标（布置）的图像，来直观地掌握能够进行再聚焦的范围。
图15是示出根据本实施例的照相机阵列图像拍摄装置（也简称为“照相机阵列”，如通常所说的照相机阵列系统及多镜头照相机等）的内部结 构的框图。图像拍摄单元1500通过由图像感测元件接收被摄体的光信息，并通过对接收到的信号进行A/D转换，来获取图像数据（数字数据）。在从用户接收到进行图像拍摄的指令时，所述图像数据被作为拍摄图像数据保存在诸如SD卡等的存储介质中。由根据本实施例的图像拍摄单元1500获取的图像数据，是从多个视点捕捉被摄体空间的、并且具有视差的图像的数据（以下称为“视差图像数据”）。由图像拍摄单元1500获取的图像数据也被用于所谓的实时取景（live view）功能中，以在配设于图像拍摄装置的背面的显示单元1506上，实时地依次显示图像。在下文中，响应于来自用户的进行图像拍摄的指令而被保存在存储介质中的图像被称为记录图像，并且在实时取景显示中实时显示的图像被称为实时取景图像。
中央处理单元（CPU）1501对以下描述的各单元进行总体控制。RAM1502用作主存储器、工作区等。ROM1503存储在CPU1501中执行的控制程序等。总线1504是各种数据的传送路径，并且例如，由图像拍摄单元1500获取的数字数据经由总线1504而被发送到预定处理单元。被配置为接收用户的指令的操作单元1505包括按钮、模式转盘等。在被配置为显示图像及字符的显示单元1506中，例如使用液晶显示器。显示单元1506可以具有触摸屏功能，并且在这种情况下，也可以将使用触摸屏的用户指示作为向操作单元1505的输入。在本实施例中，在显示能够进行再聚焦的范围、并且指定再聚焦时的聚焦位置的情况下，通过经由这种触摸屏的用户输入来指定这样的位置。
显示控制单元1507进行在显示单元1506上显示的图像及字符的显示控制。图像拍摄单元控制单元1508基于来自CPU1501的指令，来进行图像拍摄系统的控制，诸如聚焦、快门打开/关闭以及孔径光阑调整等。数字信号处理单元1509对经由总线1504接收到的数字数据，进行诸如白平衡处理、伽玛处理及噪声降低处理等的各种处理。编码器单元1510进行用来将数字数据转换为诸如JPEG及MPEG等的文件格式的处理。外部存储器控制单元1511是被配置为连接到PC及其他介质（例如，硬 盘、存储卡、CF卡、SD卡、USB存储器）的接口。图像处理单元1512对由图像拍摄单元1500获取到的图像数据，或者从数字信号处理单元1509输出的图像数据，进行后述的诸如再聚焦处理等的图像处理。稍后将描述图像处理单元1512的详情。曝光状态预测单元1513预测在图像拍摄时的图像拍摄单元1500的曝光状态。存在除上面所述之外的图像拍摄装置的构成要素，然而，这些构成要素不是本发明的主要目的，因此省略说明。
首先，详细说明图像拍摄单元1500的结构。
如上所述，图像拍摄单元1500获取视差图像数据，即光场数据。在图16至图19中示出了图像拍摄单元1500的结构示例。其中，图16至图18各自示出了在图像形成光学系统的图像侧布置了透镜阵列的结构，并且图19示出了布置多个图像形成光学系统的结构（照相机阵列）。作为图像拍摄单元的结构，期望采用如图16至图19所示的、能够同时获得来自多个视点的图像的照相机阵列结构。这是因为，通过使用单照相机图像拍摄装置、在改变位置的同时多次进行图像拍摄的方法，所获得的是在不同时间拍摄的被摄体空间的图像的视差图像数据，并且在被摄体空间中存在移动物体的情况下，无法获得准确的视差信息。
通过进行像素的提取、再布置、组合等的处理，能够对由具有图16至图19中所示的结构的图像拍摄单元1500获取到的视差图像数据，进行再聚焦、景深控制、视点改变等。在下文中，如上所述的处理被称为图像组合处理，并且通过图像组合处理而生成的图像被称为组合图像。也可以对组合图像进行诸如噪声降低等的处理、以及诸如景深控制等的处理。此外，在被摄体空间中能够进行再聚焦的范围被称为“焦点控制范围”。
在此，详细说明图16中所示的图像拍摄单元1500的内部结构。
透镜阵列1603被布置在图像形成光学系统1602的、相对于被摄体面1601的图像侧共轭面上。此外，透镜阵列1603被配置为使得图像形成光学系统1602的出射光瞳和图像感测元件1604大致建立起共轭关系。 来自被摄体面1601的光线经由图像形成光学系统1602及透镜阵列1603，依照该光线在被摄体面1601上的位置及角度，而入射至图像感测元件1604的不同像素。由此，获取到视差图像数据（光场数据）。在此，透镜阵列1603具有如下的作用：防止已穿过被摄体面1601上的不同位置的光线入射至同一像素。结果，在图像感测元件1604中获取到如下的图像，在该图像中，并排布置了从多个视点捕捉的被摄体面1601上的同一区域的像素组。
诸如人及建筑物等的物体不一定必须存在于图16至图19中的被摄体面1601上。这是因为，能够通过图像拍摄后的再聚焦，来聚焦存在于被摄体面1601后面或前面的人或建筑物。
＜再聚焦的原理＞
在下文中，说明再聚焦处理。在"Fourier Slice Photography"by Ren Ng,2005ACM Trans.Graph.24,p735to744（《傅立叶切片摄影》，Ren Ng撰，《ACM图形学汇刊》2005年第24期，第735至744页）中详细说明了再聚焦，因此，这里给出简要说明。再聚焦的基本原理在图16至图19中的各结构中是共通的。在此，说明图16中的结构作为示例。在图16中，图像形成光学系统的光瞳被以二维方式划分为9个光瞳（一个维度上为3个），因此，结果获取到来自9个视点的图像。在此，与某一划分出的光瞳相对应的图像称为单视点图像。9个单视点图像彼此间具有视差，因此，图像上的被摄体的相对位置关系依照被摄体距离而改变。在对单视点图像进行组合、使得某一被摄体自身重叠的情况下，位于不同被摄体距离处的被摄体在移位状态下被组合。因为该移位，使得位于不同被摄体距离处的被摄体发生模糊。此时的模糊取决于与用于组合的单视点图像相对应的光瞳，并且在组合了全部9个单视点图像的情况下，能够再现由图像形成光学系统1602获取到的图像的模糊。与单视点图像相组合的在自身上重叠的被摄体是任意的，因此，能够再现在图像形成光学系统1602中使任意被摄体对焦的图像。这就是图像拍摄后的焦点控制，即再聚焦的原理。
在此，说明在本实施例中用于生成单视点图像的方法。图20是描绘图16中的透镜阵列1603与图像感测元件1604之间的关系的图。虚线圆圈2001代表已穿过构成透镜阵列1603的一个透镜（微透镜）的光线入射到的像素的区域。图20对应于以网格的形式布置了多个微透镜的情况，然而，微透镜的布置不局限于此。例如，所述布置可以具有六角对称性（蜂窝结构）。也可以将各微透镜从规则布置稍微移位。图20中的斜线区域2002代表已穿过图像形成光学系统1602的同一光瞳区域的光线入射到的像素。结果，通过提取斜线区域1602中的像素，能够生成在从图像形成光学系统1602的光瞳下方观察被摄体空间的情况下的单视点图像。同样，通过提取相对于虚线圆圈2001的相对位置相同的像素，也能够生成另一单视点图像。
＜焦点控制范围＞
接下来，说明能够进行再聚焦的焦点控制范围。
通过叠加单视点图像来进行再聚焦，因此，无法对各单视点图像内发生模糊的被摄体进行再聚焦。这是因为，即使通过叠加模糊图像，也不能获得高频分量，并且图像仍然模糊。
随着光瞳被划分为较小的光瞳，各单视点图像中的景深变深，因此，焦点控制范围扩大。亦即，焦点控制范围依赖于图像形成光学系统1602的划分后的光瞳。然而，单视点图像中的景深不一定与焦点控制范围一致。这是因为，依据单视点图像与通过组合单视点图像而获得的组合图像的分辨率之比，焦点控制范围会有改变。例如，在组合图像的分辨率低于来自各视点的单视点图像的分辨率的情况下，组合图像中的空间分量的采样间距相对于单视点图像中而变大。因为这样，组合图像的景深变为比单视点图像深，并且相伴随地，焦点控制范围扩大。相反，在组合图像的分辨率高于单视点图像的情况下，焦点控制范围变为窄于单视点图像的景深。
作为用于使组合图像的分辨率高于单视点图像的方法，可以设想使用基于像素移位的超析像（super-resolution）等。如前所述，在再聚焦中， 通过使单视点图像彼此间相对移位来进行组合。在此时的移位量不是单视点图像的像素间距的整数倍的情况下，能够进行基于像素移位的超析像，并且组合图像的分辨率能够被提高。
从到目前为止的讨论中，能够知道有必要考虑到在组合单视点图像时的条件，以便获取组合图像中的准确焦点控制范围。
接下来，说明如何推导组合图像的焦点控制范围。考虑与组合图像的景深相对应的焦点深度。焦点深度的容许弥散圆被取为ε，并且光线的角分量的采样间距被取为Δu。此时，再聚焦的系数α±由以下的式(4)来给出。
···式(4)
与使用式(4)表示的在图像侧能够进行再聚焦的范围α+s2至α-s2共轭的范围（相对于图像形成光学系统1602共轭的范围），是作为在物体侧能够进行再聚焦的范围的焦点控制范围。图21示意性地示出了式(4)的关系，并且能够进行再聚焦的范围的中心位置是图像形成光学系统1602的焦点位置（在这种情况下，透镜阵列1603的位置是能够进行再聚焦的范围的中心位置）。在此，s2是图像形成光学系统1602的图像侧主平面与相对于被摄体面1601的图像形成光学系统1602的图像侧共轭面之间的间隔。在图21中，图像侧焦点控制范围是指与经由图像形成光学系统1602的焦点控制范围共轭的范围。此外，Δy是光的二维强度分布的采样间距，并且在图16中的结构中，Δy等于透镜阵列1603的间距ΔLA。式(4)的关系在图16至图19中的各结构中也成立。
然后，因为与图像形成光学系统1602的出射光瞳距离P相比，图像感测元件1604的像素间距Δ足够小，因此，式(4)可以近似为下面的式(5)。
α±s2＝s2μNFε　···式(5)
在此，图像形成光学系统1602的出射光瞳距离P是以下两者之间的间隔，其中一者是图像形成光学系统1602的出射光瞳面，另一者是相对于被摄体面1601的图像形成光学系统1602的图像侧共轭面。另外，N 是图像形成光学系统1602的一维划分的光瞳数，并且F是图像形成光学系统1602的F数。能够由图像形成光学系统1602的焦距f及透镜有效直径D，通过以下的式(6)来推导F数。
F＝f／D···式(6)
亦即，根据图像形成光学系统的一维划分的光瞳数、以及由图像形成光学系统的焦距和透镜有效直径限定的视场角的范围，来确定能够进行再聚焦的范围（焦点控制范围）。此外，根据后述的组合图像数据的分辨率，来确定能够进行再聚焦的范围。
＜图像处理单元＞
接下来，详细说明图像处理单元的结构。
图22是示出根据本实施例的图像处理单元1512的内部结构的框图。
视差图像数据获取单元2201获取从图像拍摄单元1500等供给的视差图像数据。
光学参数获取单元2202获取距离推导单元2203及焦点控制范围推导单元2207所必需的图像拍摄单元1500的光学参数。在此，光学参数是指图像拍摄单元1500的结构、光圈等的曝光状态、焦点位置、变焦透镜的焦距等。
距离推导单元2203推导到场景中的被摄体的距离的信息。使用从视差图像数据获取单元2201供给的视差图像数据、以及从光学参数获取单元2202供给的光学参数，来推导到被摄体的距离。稍后将描述距离推导的详情。
被摄体区域提取单元2204进行如下的处理：基于场景中的被摄体以及从距离推导单元2203供给的距离信息，来提取要经历再布置图像生成单元2205中的处理的被摄体区域。该被摄体区域提取处理也可以说成是针对各固定距离来分离被摄体区域的处理。
再布置图像生成单元2205进行如下的处理：依照从距离推导单元2203供给的距离信息，来改变在被摄体区域提取单元2204中提取的各被摄体区域的位置（坐标）。通过该处理，生成如下的图像，在该图像中， 依照距图像拍摄装置的距离而对各被摄体区域进行再布置（以下称为“再布置图像”），并且通过该图像，使得能够容易地掌握对各被摄体区域的距离感。
图像组合参数获取单元2206获取图像组合所需的参数（组合后的分辨率、视点、焦点位置、景深等）。
焦点控制范围推导单元2207使用从光学参数获取单元2202供给的光学参数、以及从图像组合参数获取单元2206供给的图像组合参数，来推导焦点控制范围。
焦点位置获取单元2208基于经由操作单元1505的用户输入，来获取图像组合时的焦点位置。在本实施例的情况下，由用户基于由再布置图像生成单元2205生成的再布置图像、并经由作为操作单元1505的触摸屏而指定的距离，被指定作为焦点位置。关于指定的焦点位置的信息被发送到显示图像生成单元2209。
显示图像生成单元2209生成如下的图像，在该图像中，针对在再布置图像生成单元2205中生成的再布置图像，而反映了关于聚焦状态的信息（焦点位置、焦点控制范围、景深等）（以下称为“聚焦信息显示图像”）。在进行生成时，使用从上述各单元供给的光学参数、图像组合参数、焦点控制范围及焦点位置。可以针对图像拍摄前的实时取景图像，或者针对图像拍摄后的记录图像，来进行聚焦信息显示图像的生成。另外，聚焦信息显示图像可以基于视差图像中包括的任意单视点图像，或者可以基于通过组合多个单视点图像而获得的组合图像。生成的聚焦信息显示图像的数据被输出到显示单元1506。假设根据本实施例的显示图像生成单元2209还使用视差图像数据，依照图像组合参数来进行图像组合处理，然而，也可以与显示图像生成单元2209独立地，来配设被配置为进行图像组合处理的处理单元。
图23是示出根据本实施例的图像处理单元1512中的处理的流程的流程图。通过在将描述了以下所示的过程的计算机可执行程序从ROM1503中读取到RAM1502上之后，由CPU1501执行该程序，来进行这 一系列处理。
在步骤S2301，视差图像数据获取单元2201获取由图像拍摄单元1500获取的视差图像数据。如上所述，在此获取的视差图像数据可以是作为实时取景图像的视差图像数据，或者可以是作为记录图像的视差图像数据。
在步骤S2302，光学参数获取单元2202和图像组合参数获取单元2206分别获取光学参数和图像组合参数。
在步骤S2303，距离推导单元2203推导整个场景中的距离信息。具体而言，距离推导单元2203通过用于在视差图像中包括的单视点图像之间进行立体匹配的方法等，来推导场景的距离。例如，在立体匹配方法中，首先，将充当基准的单视点图像（例如，与穿过光瞳的中心附近的光线相对应的单视点图像）划分为多个块，并且在其他单视点图像之中，检测距目标块最近的块位置。然后，通过利用两个块之间的位置关系、相应光瞳之间的位置关系以及各光瞳的视场角，由三角测量来推导目标块的距离。作为充当基准的单视点图像，也可以选择视点位置在中心之外的单视点图像。另外，作为用于获取距离信息的方法，除了上述的立体匹配方法之外，还存在诸如DFD（散焦测距，Depth From Defocus）等的方法、以及使用利用红外线等的测距单元来进行测量的方法。
图24A是示出单视点图像的示例的图，并且图24B示出了作为针对图24A中的单视点图像而推导出的距离信息的距离图。在图24A中所示的单视点图像中获得的场景中，3种被摄体（人，建筑物，山）存在于以图像拍摄装置作为基准的不同距离处。图24B中所示的距离图是依照离图像拍摄装置的距离而通过色调来显示的，并且图像拍摄装置附近的被摄体“人”用最深色调的颜色来显示，远离图像拍摄装置的被摄体“山”用最浅色调的颜色来显示，并且位于人与山之间的被摄体“建筑物”用中间色调的颜色来显示。如上所述，在该步骤，推导出场景中的被摄体的距离信息。
返回到图23中的流程图的说明。
在步骤S2304，被摄体区域提取单元2204进行如下的处理：基于在步骤S2303推导出的整个场景的距离图，来提取被摄体区域。该被摄体区域提取处理也可以说成是针对各固定距离来分离被摄体区域的处理。对具有大致相同距离的图像区域进行分组，并且将分组的图像区域提取作为被摄体区域。作为用于提取被摄体区域的方法，除了使用被摄体的距离信息的方法之外，可以提及的例如还有如下的方法。
1)通过对视差图像数据应用诸如面部辨识等的技术，来识别存在人、动物、植物等的区域，并且将识别出的人等提取作为被摄体区域。
2)预先准备诸如人、动物及植物等代表性的关注物体的图像数据作为模板，并且通过与该模板的匹配处理来提取被摄体区域。
3)如同在神经网络中一样进行预先学习，并且通过利用学习结果识别主要物体，来提取被摄体区域。
除了使用被摄体的距离信息的方法之外，还可以通过应用如上述的1)至3)中所述的各种公知方法，来实现本实施例中的被摄体区域的提取。
图25A和图25B分别是示出从图24B中所示的距离图中提取被摄体区域的结果的示例的图，并且，图25A示出了在沿各被摄体的轮廓提取出被摄体区域的情况下的图，并且图25B示出了在各被摄体外接的矩形区域被提取作为被摄体区域的情况下的图。在图25A及图25B中，用虚线包围的各区域分别是与“人”、“建筑物”及“山”相对应的被摄体区域。作为用于提取被摄体区域的方法，也可以应用其他方法，只要区域被设置为包括主要被摄体即可。例如，也可以用诸如圆形、椭圆形、三角形及多边形等的任意形状，来定义被摄体区域。
返回到图23中的流程图的说明。
在步骤S2305，再布置图像生成单元2205利用在步骤S2303推导出的整个场景中的距离信息、以及在步骤S2304提取出的场景中的被摄体区域，来生成场景的再布置图像。
图26A至图26D分别是示出在从正上方俯视图24A中所示的单视点图像的场景的情况下的再布置图像的示例的图。图26A至图26D中的“被摄体距离”不一定必须是到实际被摄体的按比例缩小的距离，并且例如，可以用倒数比或对数比来表示被摄体距离，或者也可以通过预先准备实际距离和相应的值彼此关联的对应表，而应用该表格。在通过按比例缩小实际距离进行再布置、来显示实际距离可能达到数千米或更多的诸如“山”等的远景、以及实际距离是数米至数十米的“人”及“建筑物”的情况下，与远景中的被摄体相比，近景中的被摄体在小的区域中被密集地显示。然而，“被摄体距离”充当指导，以让用户掌握被摄体的聚焦状态或者改变被摄体的聚焦状态，因此，聚焦状态一般不同的近景中的被摄体被密集地显示的情况是不适当的，因为这使得用户难以掌握或改变被摄体的聚焦状态。此外，与近距离的被摄体相比，由于远景中的被摄体的距离而导致的聚焦状态之间的差异非常轻微，因此，即使在远景中的被摄体被密集地显示的情况下，在用户掌握远景中的被摄体的聚焦状态方面，也不会出现任何问题。因此，在图像拍摄装置的显示单元上能够显示的一边的像素数是640、并且诸如“山”、“建筑物”及“人”等的被摄体分别位于例如离图像拍摄装置10km、8m及2m的距离处的情况下，通过产生分别在从显示区域的端部移动0像素、80像素及320像素的位置对被摄体进行再布置的显示，被摄体在显示单元上被显示得更加稀疏，因此，该显示便于用户掌握或改变聚焦状态。
在图26A至图26D各图中，距图像拍摄装置较近的位置被显示在下部，并且离图像拍摄装置较远的位置被显示在上部，因此，“人”因为位于距图像拍摄装置最近的位置，而被布置在下部，并且“山”因为位于离图像拍摄装置最远的位置，而被布置在上部。图26A是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，再布置了沿在步骤S2304提取出的被摄体区域（参见上述的图25A）而从上述单视点图像中切出的图像区域。在该再布置图像的情况下，与被摄体距离相关联地布置了单视点图像的一部分，因此，在图26A至图26D之中，这是最接近实际图像的再布置图像。图26B是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，再布置了从在步骤S2303 推导出的距离图（参见图24B）中沿上述被摄体区域提取的图像区域。在该再布置图像的情况下，用与距离相对应的浓淡度来显示各图像区域，因此，在该再布置图像中，被摄体距离被强调。图26C及图26D分别是如下的再布置图像，在该再布置图像中，在与各被摄体距离相对应的位置，对在步骤S2304提取出的被摄体区域的边框（参见上述的图25A及图25B）进行了再布置。在这些再布置图像的情况下，再布置图像更加简化。
返回到图23中的流程图的说明。
在步骤S2306，焦点控制范围推导单元2207通过使用在步骤S2302获取到的光学参数及图像组合参数，来推导在对在步骤S2301获取到的视差图像进行了图像组合的情况下的焦点控制范围。下面给出详细说明。
如前所述，焦点控制范围依据各单视点图像与组合图像的分辨率之比而改变，然而，在此为了简化说明，考虑分辨率之比是1的情况。在图像侧焦点控制范围在由上述式(5)表示的范围内的情况下，能够断定，已经获取到能够进行焦点控制的区域。因此，相对于被摄体面1601的图像形成光学系统1602的图像侧共轭面和图像侧焦点控制范围drefocus仅需要满足以下的式(7)。
-NFε≤drefocus≤NFε　···式(7)
图27是示出图16中所示的图像拍摄单元1500的结构中的光学布置的图，并且，σ是透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔。在图27中，从中心的微透镜两端延伸的两条平行虚线代表与这些微透镜相对应的图像感测元件1604的区域，并且，图像感测元件1604内的带斜线的像素代表无光线入射的死区。在本实施例中，透镜阵列1603被配置为能够防止死区产生，并且在这种情况下，ΔLA＝ΔN成立。然而，所述结构不局限于此，并且可以存在死区。从图27中，能够知道NF＝σ/Δ在几何学的角度成立。通过用空间分量的采样间距Δy＝ΔLA来表征决定焦点深度的容许弥散圆的大小，能够将式(7)改写为下面的式(8)。
···式(8)
接下来，考虑如下的一般情况：单视点图像与组合图像的分辨率之比不为1。组合图像和用于组合的单视点图像的视场角是相同的，因此，在分辨率之比不为1的情况下，Δy在两者之间是不同的。一般而言，Δy越小，则容许弥散圆越小，而Δy越大，则容许弥散圆越大。因为这样，能够通过虑及单视点图像与组合图像的Δy之比，而将上述的式(8)扩展为下面的式(9)。
···式(9)
在此，Rmono表示用于组合的单视点图像的分辨率，并且Rcomb表示组合图像的分辨率。通过计算Rmono与Rcomb之比的平方根，而获得Δy之比。从图27中能够知道，单视点图像的分辨率Rmono用下面的式(10)来表示。
···式(10)
在此，Rtotal表示图像感测元件1604的有效像素数。由式(9)及式(10)，获得图像侧焦点控制范围需要满足的如下条件表达式(11)。
···式(11)
在上述的条件表达式(11)中，范围被设置在±10.0之间，然而，通过将范围设置在±6.0之间，能够获得更清晰的组合图像。更理想的是，通过将范围设置在±3.0之间，能够获得还要更加清晰的组合图像。
在下文中，示出了各值的具体示例。
·图像感测元件1604的有效像素数Rtotal：46.7×106（pix）
·透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔σ：0.0374（mm）
·图像感测元件1604的像素间距Δ：0.0043（mm）
·透镜阵列1603的间距ΔLA：0.0129（mm）
·图像形成光学系统1602的焦距：14.0（mm）
·F数：2.9
·一维划分的光瞳数N：3
·每个单视点图像的分辨率Rmono：5.2×106（pix）
·条件表达式(11)的范围、与条件表达式(11)的各范围相对应的组合图像的分辨率Rcomb以及与组合图像的各分辨率相对应的drefocus例如如下面的表(1)所示。
±2.5 ±5.5 ±9.5
0.2260（mm） 0.6166（mm） 1.7174（mm）
表(1)
通过经由操作单元1505的用户输入，例如从上述3种类型之中选择组合图像的分辨率Rcomb。
在上述示例中，已知因为每个单视点图像的分辨率Rmono是5.2×106pix，所以为了生成例如8.0×106pix的组合图像，需要通过基于像素移位的超析像等来提高分辨率。上述的组合图像的各分辨率Rcomb的值是作为示例，并且种类数不局限于3种。仅需要适当地确定满足上述条件表达式(11)的Rcomb及drefocus。
能够通过利用图像侧焦点控制范围以及图像形成光学系统1602的焦距及焦点位置，由图像形成公式来计算焦点控制范围。以这种方式获取的焦点控制范围的信息可以作为标签信息，被附加至视差图像数据或组合图像数据，并且被存储在ROM1503中。作为另一选择，也可以创建与各种条件相对应的焦点控制范围的表格，并将该表格存储在ROM1503中，然后读取与输入的条件相对应的数据，而不是进行上述的算术运算来推导焦点控制范围。
作为用于获取焦点控制范围的另一方法，可以设想如下的方法：通过实际生成进行了再聚焦的组合图像，来评价存在于焦点位置的被摄体 的对比度等。然而，利用该方法，需要在移动焦点位置的同时生成组合图像，并依次确定是否能够成功进行再聚焦，因此，要花费时间来进行处理。此外，在进行再聚焦的焦点位置不存在被摄体的情况下，不能实施评价，因此，无法获取准确的焦点控制范围。因此，期望使用前述的方法，以便获取焦点控制范围。
返回到图23中的流程图的说明。
在步骤S2307，显示图像生成单元2209生成作为在步骤S2305生成的再布置图像的、并且反映了关于聚焦状态的信息（焦点位置、焦点控制范围、景深等）的聚焦信息显示图像。在进行生成时，使用在步骤S2302获取到的光学参数及图像组合参数、以及在步骤S2306推导出的焦点控制范围。
图28A及图28B分别是基于图26A中所示的再布置图像而生成的聚焦信息显示图像的示例，并且，显示了焦点位置2801、焦点控制范围2802及景深2803各信息。在滑动条上用矩形黑色标记表示的焦点位置2801表示光学参数中包括的在图像拍摄时的透镜的焦点位置，或是后述的通过用户输入而指定的焦点位置。分别地，在图28A中的聚焦信息显示图像中，将焦点位置2801设置在被摄体距离d0的位置（人的位置），并且在图28B中的聚焦信息显示图像中，将焦点位置2801设置在被摄体距离d0'的位置（建筑物的位置）。在滑动条上用斜线表示的焦点控制范围2802表示从被摄体距离d1（d1'）到被摄体距离d2（d2'）的范围，并且在本实施例中，已知“人”和“建筑物”位于该焦点控制范围内的距离处。在下文中，假设在简单地称作“焦点控制范围”的情况下，是指该物体侧焦点控制范围。在再布置图像上用斜线表示的景深2803是从被摄体距离d3（d3'）到被摄体距离d4（d4'）的范围，并且，在图28A中的聚焦信息显示图像中，示出了人对焦的焦点位置d0的景深，并且在图28B中的聚焦信息显示图像中，示出了建筑物对焦的焦点位置d0'的景深。
通过如上所述显示聚焦信息显示图像，使得用户能够直观地掌握关于场景中的被摄体的信息和关于聚焦状态的信息这两者。在图28A及图 28B中，为了便于说明，还示出了图像拍摄装置的示意图、以及能够通过图像拍摄装置进行图像拍摄的视野范围（视场角）2804，然而，在该步骤生成的聚焦信息显示图像中，不一定必须包括这些信息。
返回到图23中的流程图的说明。
在步骤S2308，显示图像生成单元2209向显示单元1506，输出在步骤S2307生成的聚焦信息显示图像的数据。
在步骤S2309，CPU1501确定是否新进行了与再聚焦处理时的焦点位置相关的用户输入。经由触摸屏或者图像拍摄装置的操作单元1505，来进行这种情况下的用户输入。例如，可以设想在再布置图像上直接指定被期望新对焦的被摄体的方法、直接指定到新焦点位置的被摄体距离的方法，或者通过操作滑动条上表示焦点位置2801的标记来进行指定的方法。在进行了新焦点位置的输入的情况下，过程返回到步骤S2307，并且重复在步骤S2307至步骤S2309的这一系列处理。例如，在显示了“人”被设置在焦点位置的聚焦信息显示图像（图28A）的状态下、进行了用来将“建筑物”设置为新焦点位置的用户输入的情况下，结果新显示前述的图28B中所示的聚焦信息显示图像。如前所述，在图28B中，景深2803也依照新设置的焦点位置（被摄体距离d0'）而改变。亦即，在输入了再聚焦处理时的新焦点位置的情况下，结果焦点控制范围2802不改变，而主要是聚焦位置2801以及该焦点位置的景深2803改变。
可以设想新输入的焦点位置超出焦点控制范围的情况。在这种情况下，也可以进行警告通知，以提示用户输入焦点控制范围内的焦点位置。作为另一选择，也可以限制用户能够输入的范围，以便不接收超出焦点控制范围的焦点位置。
另一方面，在不存在新焦点位置的输入的情况下，退出本处理。
在上述的示例中，说明了基于从正上方俯视场景的再布置图像的聚焦信息显示图像。然而，聚焦信息显示图像不局限于上述的示例，并且可以设想各种方面。图29A至图29C分别示出了聚焦信息显示图像的变化的示例。图29A是基于从横向俯视场景的再布置图像的聚焦信息显示 图像。图29B是基于从斜上方俯视场景的再布置图像的聚焦信息显示图像。图29C是基于从斜横方向俯视场景的再布置图像的聚焦信息显示图像。如上所述，充当聚焦信息显示图像的基础的再布置图像，可以是基于距离信息而在深度方向上按次序布置了被摄体的任何图像。
在步骤S2308，显示聚焦信息显示图像，并且此时，也可以同时显示由拍摄单元1500获取的单视点图像、以及/或者在显示图像生成单元2209中组合的组合图像。图30A至图30C分别示出了在聚焦信息显示图像中一起显示了单视点图像和/或组合图像的情况的示例。
图30A示出了如下的情况：除了基于从横向俯视场景的再布置图像的聚焦信息显示图像（参见前述的图29A）之外，还显示了单视点图像和两种组合图像。图30A中的组合图像1是在通过将“人”作为关注被摄体而设置了焦点位置的状态（作为关注被摄体之外的被摄体的“建筑物”及“山”因为位于景深范围之外而处于模糊状态）下的组合图像。图30A中的组合图像2是在通过将“建筑物”作为关注被摄体而设置了焦点位置的状态（作为关注被摄体之外的被摄体的“人”及“山”因为在景深范围之外而处于模糊状态）下的组合图像。在诸如此类的再聚焦后的组合图像被同时显示的情况下，通过仅有关注被摄体对焦的组合图像，使得用户能够更直观地检查指定的关注被摄体。在图30A中，从横向俯视场景的再布置图像被用作基础，然而毫无疑问，可以将任何类型的再布置图像用作基础。此外，在图30A中的示例中，显示了两种组合图像，然而，也可以显示仅一种组合图像，或者三种或更多种组合图像。
图30B示出了如下的情况：除了基于从正上方俯视场景的再布置图像的聚焦信息显示图像之外，还在通过将“人”作为关注被摄体而设置了焦点位置的情况下显示了组合图像。通过以这种方式产生显示，使得能够在有限的显示画面内，高效地显示再布置图像、关于聚焦状态的信息以及组合图像。图30B中的聚焦信息显示图像是基于图26A中所示的从正上方俯视场景的再布置图像，其中省略了横向方向上的信息，并且仅保留了深度方向上的信息。图30C示出了如下的情况：除了基于从正上 方俯视场景的再布置图像的聚焦信息显示图像之外，还显示了单视点图像。通过以这种方式同时显示单视点图像，能够在检测图像拍摄时的图像的同时，直观地掌握聚焦状态。图30C中的聚焦信息显示图像是基于图26D中所示的从正上方俯视场景的再布置图像，其中用矩形包围了被摄体区域，省略了横向方向上的信息，并且仅保留了深度方向上的信息。
如同上述，也可以连同聚焦信息显示图像一起，显示单视点图像及组合图像。
在图28至图30中所示的聚焦信息显示图像中，能够与关于聚焦状态的信息同时地，了解焦点位置、焦点控制范围及景深各信息。然而，没有必要同时示出所有信息，并且这些信息可以单独显示。例如，也可以在开始时仅显示焦点位置及景深，然后响应于用户的指令而显示焦点控制范围的信息。
如上所述，根据本实施例，在图像拍摄时或者在编辑图像时，基于在深度方向上按次序布置了被摄体的再布置图像，来显示关于聚焦状态的信息，诸如图像组合时的焦点位置、焦点控制范围及景深等。由此，能够让用户在图像拍摄时以及/或者在编辑图像时，直观地掌握被摄体的聚焦状态。
[第四实施例]
在第三实施例中，以图像拍摄装置包括具有图16中所示的结构的图像拍摄单元为前提，而给出了说明。接下来，说明以图像拍摄装置包括具有图17及图18中所示的结构的图像拍摄单元为前提的方面，作为第四实施例。在下文中，主要说明本实施例的特有之处。
通过图17及图18中所示的结构，由图像感测元件1604来获取视差图像的数据，在该视差图像的数据中，按次序布置了来自不同图像拍摄视点并且具有不同图像拍摄范围的多个小图像。在图17中的结构中，透镜阵列1603被布置在图像形成光学系统与图像侧共轭面之间（图像侧共轭面的左侧）。相反，在图18中的结构中，透镜阵列1603不是被布置在图像形成光学系统与图像侧共轭面之间，而是布置在外面（图像侧共轭 面的右侧）。因为这样，在图18中的结构的情况下，透镜阵列1603将由图像形成光学系统1602形成的图像视为真实物体，并且在图像感测元件1604上再次形成图像。然而，在这两种结构中，透镜阵列1603均将由图像形成光学系统1602形成的图像视为物体，并在图像感测元件1604上形成该物体的图像，因此，这两种结构在本质上是相同的。在下文中，说明图17中的结构作为示例，然而，该说明的内容同样适用于图18中的结构。
首先，说明本实施例中的图像组合（再聚焦）处理。
定性地讲，该处理与第三实施例中类似，并且在该处理中，以与被期望对焦的被摄体的距离相对应的移位量，将图像形成光学系统1602的划分的光瞳的图像彼此叠加。
图31是作为图17中的结构中的主要部分的、透镜阵列1603及图像感测元件1604的部分的放大图。在本实施例中，由物体侧的面是平的并且图像侧的面是凸面的微透镜，构成透镜阵列1603。当然，透镜阵列1603的形状不局限于此。在图31中，单点划线代表各微透镜的视场角。通过将由图像感测元件1604获得的像素值，经由与各像素相对应的微透镜投影到虚拟图像形成面上，并组合这些像素值，能够生成虚拟图像形成面对焦的组合图像。在此，虚拟图像形成面是指与被期望通过图像组合而被对焦的物体侧的面共轭的面（经由图像形成光学系统1602共轭的面）。例如，为了在图17中生成被摄体面1601对焦的图像，将虚拟图像形成面设置为图像侧共轭面1701。在图31中，为了易于理解，用以各微透镜的视场角为单位移位的虚线，来代表在组合图像生成时投影的像素。也可以通过用于通过平移各像素来组合图像的方法来生成组合图像，只要以与上述方法（将由图像感测元件1604获得的像素值经由与各像素相对应的微透镜投影到虚拟图像形成面上的组合方法）相同的方式使像素彼此叠加即可。此时，在入射于像素上的光束所穿过的透镜阵列1603的区域相同的情况下，这些像素的平移量是相同的。亦即，依照入射于像素上的光束所穿过的透镜阵列1603的区域，来确定在图17及图18中的组 合图像生成时的像素的操作。
接下来，说明本实施例中的焦点控制范围。
也通过与第三实施例中相同的式(4)，来描述本实施例中的焦点控制范围。亦即，与使用前述式(4)表示的图像侧的再聚焦范围α+s2至α-s2共轭的范围（相对于图像形成光学系统1602共轭的范围），是作为物体侧的再聚焦范围的焦点控制范围。图32是与根据第三实施例的图21相对应的图。图32中的Δy代表光的二维强度分布的采样间距，并且Δy＝Δσ1/σ2成立（σ1：图像侧共轭面1701与透镜阵列1603的物体侧主平面之间的间隔，σ2：透镜阵列1603的图像侧主平面与图像感测元件1604之间的间隔）。这是因为，透镜阵列1603将由图像形成光学系统1602形成的图像视为虚拟物体，因而以σ2/σ1的倍率在图像感测元件1604上形成缩小图像。然后，在本实施例中同样地，因为Δ＜＜P（P：图像形成光学系统1602的出射光瞳距离），所以式(4)可以近似为式(5)。
根据本实施例的图像处理单元1512中的处理的流程与根据第三实施例的图23中的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如下（步骤S2306）。
从图32中明显能够看出，NF＝σ1/ΔLA以及Δy＝Δσ1/σ2在几何学的角度成立，因此，下面的式(12)成立。
···式(12)
由式(12)等，求出本实施例中的图像侧焦点控制范围drefocus应当满足的条件表达式(13)。
···式(13)
如同在第三实施例中一样，通过将上述条件表达式(13)中的±10.0的范围替换为±6.0或±3.0，能够获得更清晰的组合图像。
在下文中，示出具体示例。
·图像感测元件1604的有效像素数Rtotal：150.0×106（pix）
·σ1：0.3712（mm）
·σ2：0.0740（mm）
·图像感测元件1604的像素间距Δ：0.0024（mm）
·透镜阵列1603的间距ΔLA：0.0256（mm）
·图像形成光学系统1602的广角端的焦距fW：72.2（mm）
·图像形成光学系统1602的远摄端的焦距fT：194.0（mm）
·F数（从广角端到远摄端）：2.9
·一维划分的光瞳数N：5
·每个单视点图像的分辨率Rmono：6.0×106pix
·条件表达式(13)的范围、与条件表达式(13)表示的各范围相对应的组合图像的分辨率Rcomb以及与组合图像的各分辨率相对应的drefocus例如如下面的表(2)所示。
±2.6 ±5.7 ±9.8
0.6398（mm） 0.9918（mm） 1.3208（mm）
表(2)
如同在第三实施例中一样，通过经由操作单元1505的用户输入，例如从上述三种类型之中选择组合图像的分辨率Rcomb。
在上述示例中，已知每个单视点图像的分辨率Rmono是6.0×106pix，因此，为了生成例如10.0×106pix的组合图像，有必要通过基于像素移位的超析像等来提高分辨率。
[第五实施例]
接下来，说明以图像拍摄装置包括具有图19中所示的结构（照相机阵列）的图像拍摄单元为前提的方面，作为第五实施例。在下文中，主要说明本实施例的特有之处。
图33是在从正面（物体侧）观察图像拍摄单元1500的情况下的、根据本实施例的具有图19中的照相机阵列的结构的图像拍摄单元1500的图，并且，示出了7个图像拍摄模块各自中的图像形成光学系统1602a至1602g以及图像感测元件1604a至1604g的布置。在图像拍摄单元1500 的情况下，照相机阵列具有以图像形成光学系统1602b的光轴作为旋转轴的六角对称性。然而，照相机阵列的结构不局限于此，并且图像形成光学系统的数量和排列是任意的。此外，与各图像形成光学系统1602a至1602g相对应地排列各图像感测元件1604a至1604g，然而，在能够获取由各图像形成光学系统1602a至1602g形成的图像的情况下，图像感测元件的数量可以是一个。
在具有图33中所示的结构的图像拍摄单元1500中，由各图像形成光学系统1602a至1602g折射的光线被相对应的各图像感测元件1604a至1604g接收。由图像感测元件1604a至1604g获取到的多个图像，是从不同视点观察的被摄体空间的视差图像。通过使用所述多个视差图像进行图像组合，能够获得被摄体空间的光场。
图34是从侧面观察的图像形成光学系统1602a及图像感测元件1604a的图（截面图）。其他图像形成光学系统1602b至1602g以及图像感测元件1604b至1604g是相同的，然而，各图像形成光学系统的结构也可以彼此不同。图像形成光学系统1602a是单焦点透镜，并且通过改变图像形成光学系统1602a与图像感测元件1604a之间的间隔，来进行再聚焦。
如同在第三实施例中一样，在本实施例中的图像组合处理中，同样以与被期望对焦的被摄体的距离相对应的移位量，使来自各视点的图像彼此叠加。焦点控制范围也与由前述式(4)所表示的相同。图35是与第三实施例的图21相对应的图，并且在本实施例的情况下，Δy＝Δ以及Δu＝Pmono/Fmono成立。在此，Fmono代表各图像形成光学系统1602a至1602g的F数，并且Pmono代表与各图像形成光学系统相对应的出射光瞳距离。然后，在本实施例中，Δ＜＜Pmono，因此，式(4)可以近似为下面的式(14)。
α±s2＝s2μFmonoΔy＝s2μFmonoΔ···式(14)
根据本实施例的图像处理单元1512中的处理的流程与根据第三实施例的图23中的流程图中相同，然而，图像拍摄单元1500的结构是不同的，因此，焦点控制范围被推导如下（步骤S2302及步骤S2306）。
在本实施例的情况下，构成图像拍摄单元1500的各图像形成光学系统1602a至1602g具有光圈值可变的光圈。因为这样，在步骤S2302，获取图像拍摄时的各图像形成光学系统的光圈值作为光学参数。
在步骤S2306，基于与第三实施例相同的构思，在步骤S2302获得的图像拍摄时的各图像形成光学系统1602a至1602g的F数被代入为Fmono，并且推导出焦点控制范围。在此，通过将由具有Fmono的F数的图像形成光学系统形成的图像的分辨率作为Rmono，而求出drefocus应当满足的条件表达式(15)。
···式(15)
如同在第三实施例中一样，通过将上述条件表达式(15)中的±10.0的范围替换为±6.0或±3.0，能够获得更清晰的组合图像。
在下文中，示出具体示例。
·各图像感测元件1604a至1604g的有效像素数Rmono：19.3×106（pix）
·像素间距Δ：0.0012（mm）
·各图像形成光学系统1602a至1602g的焦距：50.0（mm）
·F数（Fmono）：1.8
·条件表达式(15)的范围、与条件表达式(15)表示的各范围相对应的组合图像的分辨率Rcomb以及与组合图像的各分辨率相对应的drefocus例如如下面的表(3)所示。
±2.8 ±5.7 ±9.9
0.0060（mm） 0.0171（mm） 0.2904（mm）
表(3)
然后，如同在第三实施例中一样，通过经由操作单元1505的用户输入，例如从上述三种类型之中选择组合图像的分辨率Rcomb。
在图像拍摄时的F数是不同F数的情况下，确定drefocus以便满足条件表达式(15)。
[第六实施例]
通过使用由具有图16至图19中所示的图像拍摄单元的图像拍摄装置获取的、以及通过从多个不同视点进行图像拍摄而获得的视差图像，而实现了第三实施例至第五实施例中说明的图像组合处理。图像组合处理不局限于使用视差图像的图像组合处理。也可以在后来通过图像处理，来调整来自单个视点的拍摄图像的数据的焦点位置及景深。
例如，作为用于通过图像处理来改变焦点位置的方法，已知有如下的方法：依照与焦点位置的相对距离来对拍摄图像数据进行滤波处理。在这种情况下，首先，获取具有深的景深的拍摄图像的数据、以及场景的距离信息。通过独立于图像拍摄装置配设距离传感器，或者通过分析图像拍摄装置的拍摄图像数据，来获取距离信息。接下来，针对被期望对焦的被摄体（或被摄体距离），不进行滤波处理而使用原始的拍摄图像数据，并且针对被期望对焦的被摄体之外的区域，由距离信息来求出与该被摄体的相对距离。然后，针对与被期望对焦的被摄体的相对距离近的区域，进行用来减小模糊量的滤波处理（例如，用来相对地减小滤波器尺寸的设置）。另一方面，针对与被期望对焦的被摄体的相对距离远的区域，进行用来增大模糊量的滤波处理（例如，用来相对地增大滤波器尺寸的设置）。通过诸如此类的方法，可以改变焦点位置。
如上所述，通过用于针对单视点图像、依照与焦点位置的相对距离来对拍摄图像数据进行滤波处理的方法，使得焦点控制范围为获取单视点图像时的景深。
也能够使用与上述类似的方法，通过图像处理来调整景深的程度。亦即，在对拍摄图像数据的滤波处理中，通过用来增大滤波器尺寸的设置，使得模糊量增大，并且能够生成具有窄的景深的图像的数据。相反，为了生成具有深的景深的图像的数据，将滤波器尺寸减小。
[第七实施例]
在第三实施例至第六实施例中，通过对来自多个视点的图像或者来自单个视点的图像进行图像组合处理，而生成焦点位置等被改变的图像。 然而，能够在无需进行图像组合处理的情况下，获得焦点位置等被改变的图像。
例如，已知有用于获取多个拍摄图像数据的如下方法，该方法在慢慢地改变图像拍摄参数的同时，通过包围图像拍摄来获取多个图像。具体而言，获取到如下的拍摄图像的数据，在该拍摄图像的数据中，图像拍摄装置中包括的焦点调整环和光圈调整环被逐步地改变。假设在通过包围图像拍摄而拍摄的图像数据中，图像拍摄时的参数被与拍摄图像一体地保持。亦即，在第三实施例至第五实施例中，由包括来自多个视点的图像的一个拍摄图像数据，通过算术运算来生成焦点位置等被改变的组合图像，然而，在本实施例中，从通过包围图像拍摄而获得的多个拍摄图像数据中，选择并显示期望的拍摄图像。
在焦点位置被逐步改变的包围图像拍摄（焦点包围图像拍摄）中，在使用图像拍摄装置中包括的、被配置为进行焦点调整的操作单元的同时，逐步地改变焦点位置，从而多次进行图像拍摄。在前述的图26A中，在与图像拍摄装置不同的距离处存在3种被摄体（人，建筑物，山），并且分别地，“人”位于距图像拍摄装置最近的位置，“建筑物”位于中间距离的位置，并且“山”位于最远的位置。在本实施例中，通过连续地改变焦点位置，以便包括位于最近位置到最远位置的被摄体，而获取到各焦点位置的拍摄图像数据。由此，能够获得“人”、“建筑物”及“山”各被摄体对焦的拍摄图像。在实际的焦点包围图像拍摄中，还拍摄到无主要被摄体存在的部分（例如，人与建筑物之间）对焦的图像。然后，在获得的拍摄图像数据中，图像拍摄时的焦点位置的信息与拍摄图像相关联地被记录为距离信息。与在第六实施例中一样，也可以通过独立于图像拍摄装置配设距离传感器，或者通过分析图像拍摄装置的拍摄图像数据，来获取场景的距离信息。
如上所述，通过包围图像拍摄，在不进行图像组合处理的情况下，显示了焦点位置被逐步改变的拍摄图像的数据。在这种情况下，在包围图像拍摄时被改变的焦点位置之中，焦点控制范围是从距图像拍摄装置 最近的焦点位置到最远的焦点位置。另外，能够将景深视为大致等同于在包围图像拍摄时通过图像拍摄装置的光圈调整环而确定的景深。
此外，在如同在前述的图30A及图30B中一样、除了聚焦信息显示图像之外还显示焦点位置被改变的图像的情况下，依照从焦点位置获取单元2208供给的焦点位置，来选择并显示所需的拍摄图像。
也可以如上面所说明的，使用通过包围图像拍摄而获得的多个拍摄图像数据，来获得焦点位置被改变的图像的数据。
其他实施方式
另外，可以通过读出并执行记录在存储介质（例如，非临时性计算机可读存储介质）上的计算机可执行指令、以执行本发明的上述实施例中的一个或更多实施例的功能的系统或装置的计算机，来实现本发明的各实施例，并且，可以利用由通过例如读出并执行来自存储介质的计算机可执行指令、以执行上述实施例中的一个或更多实施例的功能的系统或装置的计算机来执行的方法，来实现本发明的各实施例。所述计算机可以包括中央处理单元（CPU）、微处理单元（MPU）或其他电路中的一者或更多，并且可以包括分开的计算机或分开的计算机处理器的网络。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算系统的存储器、光盘（诸如压缩盘（CD）、数字多用途盘（DVD）或蓝光盘（BD）TM）、闪存设备、存储卡等中的一者或更多。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使所述范围涵盖所有的此类变型例以及等同结构和功能。

Claims (14)

1.一种图像处理装置，该图像处理装置包括：
获取单元，其被配置为获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及
生成单元，其被配置为基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像，
其中，所述生成单元将由所述获取单元获取到的图像中的、表示聚焦位置和景深中的至少一者的指标，与所述移位图像进行组合。
2.根据权利要求1所述的图像处理装置，该图像处理装置还包括：
接收单元，其被配置为接收用户操作；以及
改变单元，其被配置为响应于所述用户操作，而生成聚焦状态被改变的由所述获取单元获取到的图像。
3.根据权利要求2所述的图像处理装置，其中，
所述获取单元还获取与所述包括多个被摄体区域的图像相对应的光场数据，并且，
所述改变单元由所述光场数据，生成聚焦状态被改变的由所述获取单元获取到的图像。
4.根据权利要求1所述的图像处理装置，该图像处理装置还包括提取单元，该提取单元被配置为基于与所述多个被摄体区域相对应的所述距离信息，来提取所述多个被摄体区域，其中，
所述生成单元基于由所述提取单元提取出的被摄体区域，来生成所述移位图像。
5.根据权利要求1所述的图像处理装置，其中，
所述生成单元在由所述获取单元获取到的图像中使用形成背景的区域作为基准，来生成所述多个被摄体区域的位置被移位的移位图像。
6.根据权利要求5所述的图像处理装置，其中，
所述形成背景的区域是包括位于比预定距离更远处的全部被摄体的一个区域。
7.根据权利要求1所述的图像处理装置，其中，
所述生成单元以如下的方式生成所述移位图像，使得在所述移位图像中，所述多个被摄体区域彼此重叠的区域的比例小于阈值。
8.根据权利要求1所述的图像处理装置，其中，
所述生成单元以如下的方式生成所述移位图像，使得所述移位图像中包括的第一被摄体区域的位置低于第二被摄体区域的位置，所述第二被摄体区域距图像拍摄装置的距离比所述第一被摄体区域远。
9.根据权利要求1所述的图像处理装置，该图像处理装置还包括剪切处理单元，该剪切处理单元被配置为针对所述移位图像中的各被摄体区域，进行用来使水平方向倾斜的剪切处理。
10.根据权利要求1所述的图像处理装置，该图像处理装置还包括被配置为将基于所述移位图像中的所述多个被摄体区域的移位方向的网格图案与所述移位图像进行组合的单元。
11.根据权利要求5所述的图像处理装置，该图像处理装置还包括被配置为将基于所述移位图像中的所述多个被摄体区域的移位方向的网格图案与所述移位图像进行组合的单元，其中，
所述被配置为将基于所述移位图像中的所述多个被摄体区域的移位方向的网格图案与所述移位图像进行组合的单元，不将所述网格图案与所述形成背景的区域进行组合。
12.一种具有根据权利要求1所述的图像处理装置的图像拍摄装置，该图像拍摄装置包括：
显示单元，其被配置为显示组合有所述指标的图像；以及
被配置为依照在组合有所述指标的图像中的基于所述指标的用户操作、来调整焦点及景深的单元。
13.一种具有根据权利要求1所述的图像处理装置的图像拍摄装置，该图像拍摄装置包括：
被配置为由光场数据来生成包括所述多个被摄体区域的图像的单元；
显示单元，其被配置为显示组合有所述指标的图像；以及
被配置为响应于在组合有所述指标的图像中的基于所述指标的用户操作、使用所述光场数据改变在组合有所述指标的图像中的聚焦距离及景深的单元。
14.一种图像处理方法，该图像处理方法包括以下步骤：
获取包括多个被摄体区域的图像以及与所述多个被摄体区域相对应的距离信息；以及
基于所述距离信息，来生成在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像，
其中，将获取到的图像中的、表示聚焦位置和景深中的至少一者的指标，与所述移位图像进行组合。
CN201410078684.7A 2013-03-05 2014-03-05 图像处理装置、图像拍摄装置及图像处理方法 Active CN104038690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610015181.4A CN105491294B (zh) 2013-03-05 2014-03-05 图像处理装置、图像拍摄装置及图像处理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013043264 2013-03-05
JP2013-043264 2013-03-05
JP2013134111A JP6214236B2 (ja) 2013-03-05 2013-06-26 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2013-134111 2013-06-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610015181.4A Division CN105491294B (zh) 2013-03-05 2014-03-05 图像处理装置、图像拍摄装置及图像处理方法

Publications (2)

Publication Number Publication Date
CN104038690A CN104038690A (zh) 2014-09-10
CN104038690B true CN104038690B (zh) 2017-06-20

Family

ID=51469264

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410078684.7A Active CN104038690B (zh) 2013-03-05 2014-03-05 图像处理装置、图像拍摄装置及图像处理方法
CN201610015181.4A Active CN105491294B (zh) 2013-03-05 2014-03-05 图像处理装置、图像拍摄装置及图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610015181.4A Active CN105491294B (zh) 2013-03-05 2014-03-05 图像处理装置、图像拍摄装置及图像处理方法

Country Status (3)

Country Link
US (2) US9270902B2 (zh)
JP (1) JP6214236B2 (zh)
CN (2) CN104038690B (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254432A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法
JP6029380B2 (ja) 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
JP2014126612A (ja) * 2012-12-25 2014-07-07 Canon Inc 撮像装置およびその制御方法
JP6305053B2 (ja) * 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
EP2961152A4 (en) * 2013-02-21 2016-09-21 Nec Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PERMANENT COMPUTER-READABLE MEDIUM
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
JP6432038B2 (ja) * 2014-03-19 2018-12-05 パナソニックＩｐマネジメント株式会社 撮像装置
CN104243823B (zh) * 2014-09-15 2018-02-13 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN104243825B (zh) * 2014-09-22 2017-11-14 广东欧珀移动通信有限公司 一种移动终端自动对焦方法及系统
CN105574818B (zh) * 2014-10-17 2020-07-17 中兴通讯股份有限公司 一种景深渲染方法和装置
CN104410784B (zh) * 2014-11-06 2019-08-06 北京智谷技术服务有限公司 光场采集控制方法和装置
CN104469147B (zh) * 2014-11-20 2018-09-04 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
JP6704700B2 (ja) * 2014-12-15 2020-06-03 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
EP3234870A1 (en) * 2014-12-19 2017-10-25 United Technologies Corporation Sensor data fusion for prognostics and health monitoring
JP6504693B2 (ja) * 2015-01-06 2019-04-24 オリンパス株式会社 撮像装置、操作支援方法及び操作支援プログラム
US9797716B2 (en) * 2015-01-09 2017-10-24 Ricoh Company, Ltd. Estimating surface properties using a plenoptic camera
JP6529267B2 (ja) * 2015-01-23 2019-06-12 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
KR102456875B1 (ko) * 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
KR102354989B1 (ko) * 2015-04-14 2022-01-24 삼성전자주식회사 경로 렌더링을 위한 타일 비닝을 수행하는 방법 및 장치.
JP6521715B2 (ja) * 2015-04-22 2019-05-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6646361B2 (ja) * 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6546474B2 (ja) 2015-07-31 2019-07-17 キヤノン株式会社 撮像装置およびその制御方法
CN105827936B (zh) * 2015-08-28 2019-06-07 维沃移动通信有限公司 一种图像处理方法及移动终端
WO2017038158A1 (ja) * 2015-08-31 2017-03-09 富士フイルム株式会社 測距装置、測距用制御方法、及び測距用制御プログラム
JP6611531B2 (ja) * 2015-09-16 2019-11-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6592330B2 (ja) * 2015-11-02 2019-10-16 キヤノン株式会社 撮像装置及び撮像方法
CN106888352B (zh) * 2015-12-16 2020-12-18 中兴通讯股份有限公司 一种推焦位置确定方法及装置
CN106254804B (zh) * 2016-01-18 2019-03-29 北京智谷睿拓技术服务有限公司 光场显示控制方法和装置、光场显示设备
JP6628617B2 (ja) * 2016-01-25 2020-01-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP6702738B2 (ja) * 2016-01-27 2020-06-03 キヤノン株式会社 照明装置、照明システム及び外部電源装置
JP2017224970A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、および撮像装置
US9953432B2 (en) * 2016-08-17 2018-04-24 David M. Smith Systems and methods of detecting motion
JP6752681B2 (ja) * 2016-10-19 2020-09-09 キヤノン株式会社 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体
JP7014175B2 (ja) * 2016-11-08 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
CN106657782B (zh) * 2016-12-21 2020-02-18 努比亚技术有限公司 一种图片处理方法和终端
JP6729428B2 (ja) * 2017-02-01 2020-07-22 オムロン株式会社 画像処理システム、光学センサ、及び学習装置
CN107037683A (zh) * 2017-05-25 2017-08-11 歌尔股份有限公司 一种投影仪及自动对焦的方法
CN107091800A (zh) * 2017-06-06 2017-08-25 深圳小孚医疗科技有限公司 用于显微成像粒子分析的聚焦系统和聚焦方法
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP2019053644A (ja) * 2017-09-19 2019-04-04 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
JP7158841B2 (ja) * 2017-11-08 2022-10-24 キヤノン株式会社 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置
DE102018218986B4 (de) * 2017-11-10 2023-02-16 Denso Corporation Kameramodul
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit
US10863103B2 (en) * 2018-02-21 2020-12-08 Canon Kabushiki Kaisha Setting apparatus, setting method, and storage medium
CN108600623B (zh) * 2018-04-20 2020-07-28 维沃移动通信有限公司 重聚焦显示方法以及终端设备
JP7472795B2 (ja) * 2018-11-13 2024-04-23 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP7173841B2 (ja) 2018-11-14 2022-11-16 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
JP7198055B2 (ja) * 2018-11-16 2022-12-28 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
CN111510694A (zh) 2019-01-30 2020-08-07 中强光电股份有限公司 投影装置及调校格线产生方法
JP7327964B2 (ja) * 2019-03-20 2023-08-16 キヤノン株式会社 制御装置、撮像システム、プログラム、および、記憶媒体
WO2020196378A1 (ja) * 2019-03-26 2020-10-01 パナソニックＩｐマネジメント株式会社 距離画像の取得方法、及び、距離検出装置
JP2020167517A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
US10853959B2 (en) * 2019-04-01 2020-12-01 Sandisk Technologies Llc Optical inspection tool and method
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
JP7373297B2 (ja) * 2019-04-25 2023-11-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2021060397A1 (zh) * 2019-09-26 2021-04-01
EP4075789A4 (en) * 2020-01-23 2023-05-03 Sony Group Corporation IMAGING DEVICE, IMAGING PROCEDURE AND PROGRAM
CN111524062B (zh) * 2020-04-22 2023-11-24 北京百度网讯科技有限公司 图像生成方法和装置
CN113747067B (zh) * 2021-09-07 2024-02-02 维沃移动通信有限公司 拍照方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025914A (zh) * 2009-09-10 2011-04-20 佳能株式会社 摄像设备及其测距方法
CN102172031A (zh) * 2008-09-30 2011-08-31 富士胶片株式会社 三维显示设备、方法、及程序
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备
CN102472619A (zh) * 2010-06-15 2012-05-23 松下电器产业株式会社 摄像装置及摄像方法
WO2012133286A1 (ja) * 2011-03-31 2012-10-04 株式会社Ｊｖｃケンウッド 立体画像生成装置及び立体画像生成方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3624037B2 (ja) 1995-12-28 2005-02-23 キヤノン株式会社 画像入力装置および画像処理装置
JP3728160B2 (ja) 1999-12-06 2005-12-21 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
JP2005332471A (ja) 2004-05-19 2005-12-02 Hitachi Ltd ディスクアレイ装置
JP4752031B2 (ja) 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
US20100103175A1 (en) 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
JP4905326B2 (ja) 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5178553B2 (ja) 2009-01-27 2013-04-10 オリンパス株式会社 撮像装置
JP4906893B2 (ja) 2009-08-18 2012-03-28 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5871113B2 (ja) * 2011-03-31 2016-03-01 株式会社Ｊｖｃケンウッド 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
JP2013009274A (ja) * 2011-06-27 2013-01-10 Canon Inc 画像処理装置および画像処理方法、プログラム
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP6029380B2 (ja) 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
JP6305053B2 (ja) 2013-01-15 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102172031A (zh) * 2008-09-30 2011-08-31 富士胶片株式会社 三维显示设备、方法、及程序
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备
CN102025914A (zh) * 2009-09-10 2011-04-20 佳能株式会社 摄像设备及其测距方法
CN102472619A (zh) * 2010-06-15 2012-05-23 松下电器产业株式会社 摄像装置及摄像方法
WO2012133286A1 (ja) * 2011-03-31 2012-10-04 株式会社Ｊｖｃケンウッド 立体画像生成装置及び立体画像生成方法

Also Published As

Publication number Publication date
US20160134807A1 (en) 2016-05-12
CN105491294A (zh) 2016-04-13
CN104038690A (zh) 2014-09-10
CN105491294B (zh) 2018-11-09
US9270902B2 (en) 2016-02-23
JP6214236B2 (ja) 2017-10-18
JP2014197824A (ja) 2014-10-16
US9521320B2 (en) 2016-12-13
US20140253760A1 (en) 2014-09-11

Similar Documents

Publication Publication Date Title
CN104038690B (zh) 图像处理装置、图像拍摄装置及图像处理方法
US10311649B2 (en) Systems and method for performing depth based image editing
Rerabek et al. New light field image dataset
CN107018293B (zh) 生成表示光场的数据的方法和装置
US9036072B2 (en) Image processing apparatus and image processing method
CN104782110B (zh) 图像处理装置、摄像装置及图像处理方法
EP3101624A1 (en) Image processing method and image processing device
KR20140004592A (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
CN103188434B (zh) 一种图像采集方法和设备
TW201225637A (en) A 3-D camera
US20190102056A1 (en) User interface for manipulating light-field images
US20170006231A1 (en) Electronic apparatus and display control method
EP3188123A1 (en) A method and an apparatus for generating data representative of a pixel beam
CN111597922A (zh) 细胞图像的识别方法、系统、装置、设备及介质
CN105744168B (zh) 一种信息处理方法及电子设备
US20150054982A1 (en) Image processing apparatus, control method for same, and program
CN104205825A (zh) 图像处理装置及方法以及摄像装置
KR101395388B1 (ko) 증강 현실 표현 장치 및 방법
EP2563007A1 (en) Image focusing
JP2018029270A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
CN104054332A (zh) 图像处理装置和图像处理方法
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
KR20180098565A (ko) 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치
US8947426B2 (en) Display control apparatus and display control method
EP2839339A1 (en) Image focusing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Du side and grand

Inventor after: Ban Tianxiu

Inventor after: Gao Guqing too

Inventor after: Jia Laigen

Inventor before: Du side and grand

Inventor before: Ban Tianxiu

Inventor before: Gao Guqing too

Inventor before: Jia Laigen

Inventor before: Di Zhengping

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant