CN111108742A - 信息处理装置、信息处理方法、程序以及可互换透镜 - Google Patents

信息处理装置、信息处理方法、程序以及可互换透镜 Download PDF

Info

Publication number
CN111108742A
CN111108742A CN201880060658.8A CN201880060658A CN111108742A CN 111108742 A CN111108742 A CN 111108742A CN 201880060658 A CN201880060658 A CN 201880060658A CN 111108742 A CN111108742 A CN 111108742A
Authority
CN
China
Prior art keywords
facet
image
lens
images
lenses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880060658.8A
Other languages
English (en)
Inventor
早坂健吾
井藤功久
中村真备
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111108742A publication Critical patent/CN111108742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/20—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with change of lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Cameras In General (AREA)

Abstract

本技术涉及可以容易地获得多个视点的图像的信息处理设备、信息处理方法和程序以及可互换透镜。当具有不与光轴方向交叠设置的多个透镜的单眼透镜的可互换透镜安装在具有图像传感器的摄像装置本体中时，通信单元接收用于确定在由一个图像传感器捕获的所捕获的图像上的对应于分别通过多个单眼透镜会聚的光线形成的图像的多个单眼图像的各个区域的区域确定信息。区域确定单元基于区域确定信息确定在所捕获的图像上的针对多个各个单眼透镜的多个单眼图像的区域。本技术可以应用于例如所捕获的图像的摄像装置系统。

Description

信息处理装置、信息处理方法、程序以及可互换透镜
技术领域
本技术涉及信息处理装置、信息处理方法、程序以及可互换透镜。特别地，本技术涉及例如使得可以容易地获得多个视点的图像的信息处理装置、信息处理方法、程序以及可互换透镜。
背景技术
已经提出了根据多个视点的图像来重建重聚焦图像(即，例如通过改变光学系统的焦点而捕获的图像等)的光场技术(例如，参见非专利文献1)。
例如，非专利文献1描述了使用包括100个摄像装置的摄像装置阵列的重聚焦方法。
引用列表
非专利文献
非专利文献1：Bennett Wilburn等人，“High Performance Imaging Using LargeCamera Arrays”
发明内容
本发明要解决的问题
多个视点的图像对于执行诸如重聚焦的特定图像处理是必需的。
鉴于上述情况做出了本技术。本技术使得可以容易地获得多个视点的图像。
用于解决问题的手段
根据本技术的信息处理装置或者程序是一种信息处理装置，该信息处理装置包括：通信部，该通信部接收区域确定信息，区域确定信息用于确定与通过多个小面透镜收集的各个光束所形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以多个小面透镜在光轴方向上彼此不交叠的方式布置的多个小面透镜的可交换透镜的情况下，各个区域被包括在由所述图像传感器捕获的图像中；以及区域确定部，区域确定部基于区域确定信息确定在所捕获的图像中的分别与多个小面透镜对应的所述多个小面图像的区域，或者使计算机用作这种信息处理装置的程序。
根据本技术的信息处理方法是一种由信息处理装置执行的信息处理方法，该方法包括：接收区域确定信息，区域确定信息用于确定与通过多个小面透镜收集的各个光束所形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以多个小面透镜在光轴方向上彼此不交叠的方式布置的多个小面透镜的可交换透镜的情况下，各个区域被包括在由图像传感器捕获的图像中；以及基于区域确定信息确定在所捕获的图像中的分别与多个小面透镜对应的多个小面图像的区域。
根据本技术的信息处理装置、信息处理方法、以及程序接收用于确定与由通过多个小面透镜收集的各个光束形成的图片对应的多个小面图像的各个区域的区域确定信息，在包括一个图像传感器的摄像装置本体配备有包括以多个小面透镜在光轴方向上彼此不交叠的方式设置的多个小面透镜的可互换透镜的情况下，各个区域包括在由图像传感器捕获的图像中。接下来，基于区域确定信息确定在所捕获的图像中的分别与多个小面透镜对应的多个小面图像的区域。
根据本技术的可交换透镜是一种可交换透镜，该可交换透镜包括：以多个小面透镜在光轴方向上彼此不交叠的方式设置的多个小面透镜；存储部，该存储部存储区域确定信息，区域确定信息用于确定与由通过多个小面透镜收集的各个光束形成的图片对应的多个小面图像的各个区域，其中，在可交换透镜安装在包括一个图像传感器的摄像装置本体上的情况下，各个区域被包括在由图像传感器捕获的图像中；以及通信部，该通信部将区域确定信息传输至外部的。
根据本技术的可交换透镜包括以多个小面透镜在光轴方向上彼此不交叠的方式设置的多个小面透镜，以及存储用于确定与由通过多个小面透镜收集的各个光束形成的图片对应的多个小面图像的各个区域的区域确定信息，在可交换透镜安装在包括一个图像传感器的摄像装置本体的情况下，各个区域包括在由图像传感器捕获的图像中。区域确定信息被传输至外部。
应当注意的是，信息处理装置可以是独立的装置或者可以是包括在装置中的内部块。
另外，可以通过经由传输介质传输程序或者通过将程序记录在记录介质上来提供程序。
本发明的有益效果
根据本技术，可以容易地获得多个视点的图像。
应当注意的是，本文描述的效果不一定受限制，并且可以是本公开内容中描述的任何效果。
附图说明
[图1]图1是示出应用了本技术的摄像装置系统的实施方式的配置示例的立体图。
[图2]图2是示出摄像装置本体10的后表面的配置示例的后视图。
[图3]图3是示出摄像装置系统的电气配置示例的框图。
[图4]图4是用于描述通过使用多眼可交换透镜20进行图像捕获的概况的图。
[图5]图5是示出多眼可交换透镜20中的小面透镜311至314的布置的示例以及通过使用多眼可交换透镜20捕获的图像的示例的图。
[图6]图6是用于描述由区域确定部52执行的以确定所捕获的图像中的小面图像E#i的各个区域的区域确定处理的示例的流程图。
[图7]图7示出了显示在显示部54上的直通图像的显示示例。
[图8]图8是示出多眼可交换透镜20的第一光学配置示例的概况的截面图。
[图9]图9是示出多眼可交换透镜20的第二光学配置示例的概况的截面图。
[图10]图10是示出在多眼可交换透镜20包括四个小面透镜311至314的情况下的光圈71的配置示例的概况的后视图。
[图11]图11是示出包括光圈71的多眼可交换透镜20的配置示例的立体图。
[图12]图12是用于描述由控制部56执行的曝光控制的处理(曝光控制处理)的示例的流程图。
[图13]图13是示出在图像处理部53中执行重聚焦的部分的功能配置示例的框图。
[图14]图14是用于描述由图像处理部53执行的图像处理的示例的流程图。
[图15]图15是示出多眼可交换透镜20的另一配置示例的后视图。
[图16]图16是用于描述其中插值部82生成插值图像的示例的图。
[图17]图17是用于描述其中视差信息生成部81生成差异图的示例的图。
[图18]图18是用于描述通过光收集处理由光收集处理部83执行的所实现的重聚焦的概况的图。
[图19]图19是用于描述差异转换的示例的图。
[图20]图20是用于描述用于重聚焦的光收集处理的示例的流程图。
[图21]图21是用于描述通过使用服务器获取指示小面图像的区域的区域信息的处理的示例的图。
[图22]图22是用于描述曝光控制的细节的图。
[图23]图23示出包括AE功能的摄像装置系统的配置示例。
[图24]图24是示出应用了本公开内容的计算机的实施方式的配置示例的框图。
具体实施方式
<应用了本技术的摄像装置系统的实施方式>
图1是示出应用了本技术的摄像装置系统的实施方式的配置示例的立体图。
摄像装置系统包括摄像装置本体10和多眼可交换透镜20。
多眼可交换透镜20可附接至摄像装置本体10并且可从摄像装置本体10拆卸。换句话说，摄像装置本体10包括摄像装置安装部11。通过将多眼可交换透镜20(的透镜安装部22)附接至摄像装置安装部11将多眼可交换透镜20安装在摄像装置本体10上。应当注意的是，除了多眼可交换透镜20以外的一般可交换透镜也可附接至摄像装置本体10并且也可从摄像装置本体10拆卸。
摄像装置本体10包括包含在其中的图像传感器51。图像传感器51例如是互补金属氧化物半导体(CMOS)图像传感器。图像传感器51通过接收通过安装在摄像装置本体10(的摄像装置安装部11)上的多眼可交换透镜20或者另一可交换透镜收集的光束来所捕获的图像并且执行光电转换。在下文中，由图像传感器51捕获的图像也被称为所捕获的图像。
多眼可交换透镜20包括透镜镜筒21和透镜安装部22。
作为四个小面透镜311、312、313和314的多个透镜以四个小面透镜在光轴方向上(当从光轴方向观察时)彼此不交叠的方式设置在透镜镜筒21中。在图1中，四个小面透镜311至314设置在垂直于透镜镜筒21中的光轴的二维平面(平行于图像传感器51的光接收表面(成像表面))上的菱形的顶点的位置处。
当多眼可交换透镜20安装在摄像装置本体10上时，小面透镜311至314将来自对象的光束收集到摄像装置本体10的图像传感器51上。
应当注意的是，此处，摄像装置本体10是包括一个图像传感器51的所谓的单芯片摄像装置。然而，作为摄像装置本体10，也可以使用包括多个图像传感器即例如用于红色、绿色和蓝色(RGB)的三个图像传感器的所谓的三芯片摄像装置。关于三芯片摄像装置，小面透镜311至314将光束收集到三个图像传感器中的每一个上。
当多眼可交换透镜20安装在摄像装置本体10上时，透镜安装部22附接至摄像装置本体10的摄像装置安装部11。
应当注意的是，在图1中，多眼可交换透镜20配备有四个小面透镜311至314。然而，包括在多眼可交换透镜20中的小面透镜的数目不限于四个。可以采用任意数目的小面透镜，例如两个、三个、五个或更多个小面透镜，只要小面透镜的数目是两个或者更多个即可。
另外，包括在多眼可交换透镜20中的多个小面透镜设置在菱形的顶点的位置处。然而，也可以将小面透镜设置在二维平面上的任意位置处。
另外，可以采用具有彼此不同的焦距、f数和其他指定的多个透镜作为包括在多眼可交换透镜20中的多个小面透镜。然而，为了便于说明，此处采用具有相同指定的多个透镜。
在多眼可交换透镜20中，四个小面透镜311至314以当多眼可交换透镜20安装在摄像装置本体10上时各个小面透镜311至314的光轴垂直于图像传感器51的光接收表面的方式设置。
在其中多眼可交换透镜20安装在摄像装置本体10上的摄像装置系统中，图像传感器51通过利用通过四个小面透镜311至314收集的各个光束来捕获与形成在图像传感器51的光接收表面上的图片对应的图像。
此处，如果与由通过一个小面透镜31i(在这种情况下，i＝1、2、3或4)收集的光束形成的图片对应的图像被称为小面图像，则由一个图像传感器51捕获的图像包括分别地与四个小面透镜311至314对应的四个小面图像(与由通过各个小面透镜311至314收集的光束形成的图片对应的图像)。
与小面透镜31i对应的小面图像是通过使用小面透镜31i的位置作为视点而捕获的图像。因此，与各个小面透镜311至314对应的四个小面图像是从不同视点捕获的图像。
图2是示出摄像装置本体10的后表面的配置示例的后视图。
此处，在摄像装置本体10上安装有多眼可互换透镜20的表面，即具有摄像装置安装部11的表面被视为摄像装置本体10的前表面。
摄像装置本体10的后表面配备有例如由液晶面板、有机电致发光(EL)面板等实现的显示部54。显示部54显示诸如所谓的直通图像、菜单或者用于摄像装置本体10的设置的信息。
图3是示出图1中所示的摄像装置系统的电气配置示例的框图。
在摄像装置系统中，多眼可交换透镜20包括存储部41和通信部42。
存储部41存储透镜信息，该透镜信息是关于多眼可交换透镜20的信息。透镜信息包括用于确定与各个小面透镜311至314对应的小面图像的各个区域的区域确定信息，在多眼可交换透镜20安装在摄像装置本体10上的情况下，各个区域包括在由(一个)图像传感器51捕获的图像中。
可以采用指示包括在所捕获的图像中的各个小面图像的区域的区域信息作为区域确定信息。区域信息是例如指示包括在所捕获的图像中的小面图像的尺寸和位置的信息，例如包括在所捕获的图像中的小面图像的左上点(像素)和右下点的坐标，包括在所捕获的图像中的小面图像的预定点如左上点的坐标，或者小面图像的尺寸(例如，水平和垂直尺寸)。
另外，除了区域信息以外，还可以采用使得可以确定所捕获的图像中的各个小面图像的区域的信息(下文中，称为非区域信息)作为区域确定信息。非区域信息包括例如小面透镜311至314的各个有效图像圈的直径、有效图像圈的中心位置等。另外，例如，在向多眼可交换透镜20分配了唯一的透镜标识(ID)并且准备了其中透镜ID与基于透镜ID确定的关于多眼可交换透镜20的多个区域信息相关联的数据库的情况下，可以采用多眼可交换透镜20的透镜ID作为非区域信息。在这种情况下，可以通过使用透镜ID作为关键词来检索数据库，获取与透镜ID相关联的关于多眼可交换透镜20的一个区域信息。
通信部42以有线方式或者无线方式与摄像装置本体10的稍后将描述的通信部57进行通信。应当注意的是，通信部42另外地使得可以根据需要通过使用任何通信方案与另一外部设备例如因特网上的服务器或者有线或无线局域网(LAN)上的个人计算机(PC)进行通信。
例如，当多眼可交换透镜20安装在摄像装置本体10上时，通信部42与摄像装置本体10的通信部57进行通信，并且将存储在存储部41中的透镜信息传输至通信部57。
摄像装置本体10包括图像传感器51、区域确定部52、图像处理部53、显示部54、存储部55、控制部56和通信部57。
例如，如参照图1所描述的，图像传感器51是CMOS图像传感器。利用通过安装在摄像装置本体10上的多眼可交换透镜20的各个小面透镜311至314收集的光束来照射图像传感器51的光接收表面。
图像传感器51接收通过各个小面透镜311至314收集的光束，并且执行光电转换。这使得可以捕获包括与各个小面透镜311至314对应的小面图像(与由通过各个小面透镜311至314收集的光束形成的图片对应的小面图像)的图像，并且将所捕获的图像供应至区域确定部52。
区域确定部52供应有来自图像传感器51的所捕获的图像，并且供应有来自通信部57的透镜信息。透镜信息已经由通信部57从多眼可交换透镜20进行接收。
区域确定部52基于包括在从通讯部57供应的透镜信息中的区域确定信息确定与各个小面透镜311至314对应的小面图像的区域并且输出指示区域确定的结果的区域确定结果信息，所述区域包括在从图像传感器51供应的所捕获的图像中。
此处，区域确定部52使得可以输出例如所捕获的图像的组和指示包括在所捕获的图像中的各个小面图像的区域的作为区域确定结果信息的区域信息。另外，区域确定部52使得可以从所捕获的图像提取(剪切)各个小面图像，并且输出作为区域确定结果信息的各个小面图像。
在下文中，为了便于说明，假定例如区域确定部52输出从所捕获的图像提取的作为区域确定结果信息的各个小面图像(此处，与小面透镜311至314对应的各个小面图像)。
从区域确定部52输出的与各个小面透镜311至314对应的小面图像被供应至图像处理部53和控制部56。
图像处理部53使用从区域确定部52供应的与各个小面透镜311至314对应的小面图像，即通过使用各个小面透镜311至314的位置作为不同视点来捕获的小面图像，执行图像处理，例如用于生成(重建)聚焦于例如任何对象的图像的重聚焦，并且向显示部54和存储部55供应作为图像处理的结果而获得的处理结果图像。
如参照图2描述的，显示部54将例如从图像处理部53供应的处理结果图像等作为直通图像显示。
存储部55由存储卡(未示出)等实现。存储部55例如响应于用户操作等存储从图像处理部53供应的处理结果图像。
控制部56对摄像装置本体10和安装在摄像装置本体10上的多眼可交换透镜20执行各种类型的控制。例如，控制部56通过使用从区域确定部52供应的小面图像来控制曝光和聚焦，并且实现自动曝光(AE)和自动聚焦(AF)。
通信部57以有线/无线方式与多眼可交换透镜20的通信部42等进行通信。应当注意的是，另外地，通信部57根据需要使得可以通过使用任何通信方案与另一外部设备例如因特网上的服务器或者有线或无线LAN上的PC进行通信。
例如，当多眼可交换透镜20安装在摄像装置本体10上时，通信部57与多眼可交换透镜20的通信部42进行通信，接收从通信部42传输的关于多眼可交换透镜20的透镜信息，并且将该透镜信息供应至区域确定部52。
<使用多眼可交换透镜20进行图像捕获的概况>
图4是用于描述使用多眼可交换透镜20进行图像捕获的概况的图。
配备有多眼可交换透镜20的摄像装置本体10的图像传感器51捕获包括与通过各个小面透镜31i收集的光束形成的图片对应的小面图像的图像。
此处，在本说明书中，在小面透镜31i的光轴方向上，从摄像装置本体10的后表面侧到前表面侧的方向被称为z方向(轴)，并且当摄像装置本体10面向z方向时获得的从左到右的方向被称为x方向，并且从下到上的方向被称为y方向。
另外，图像中示出的对象的左侧和右侧与真实空间中对象的左侧和右侧一致，并且小面透镜31i的左侧和右侧与所捕获的图像中与小面透镜31i对应的小面图像的左侧和右侧一致。因此，在下文中，除非另外指定，否则关于所捕获的图像的位置、小面透镜31i的位置以及对象的左侧和右侧等的位置是基于面向z方向即从摄像装置本体10的后表面侧到要被捕获图像的对象的图像捕获方向的状态描述的。
图5是示出多眼可交换透镜20中的小面透镜311至314的布置的示例以及通过使用多眼可交换透镜20捕获的图像的图。
图5A是示出多眼可交换透镜20中的小面透镜311至314的布置的示例的后视图。
如参照图1描述的，小面透镜311至314设置在平行于图像传感器51的光接收表面的二维平面上的菱形的顶点的位置处。
例如，在图5中，基于小面透镜311至314中的小面透镜311，小面透镜312设置在小面透镜311的右侧。另外，小面透镜313设置在小面透镜311的左下侧，并且小面透镜314设置在小面透镜311的右下侧。
图5B示出了由配备有如图5A所示设置有小面透镜311至314的多眼可交换透镜20的摄像装置本体10的图像传感器51捕获的图像的示例。
由配备有包括多个小面透镜311至314的多眼可交换透镜20的摄像装置本体10的图像传感器51捕获的图像除了仅利用穿过某个小面透镜31i的光束进行照射的区域以外还包括交叠光接收区域和非光接收区域。
交叠光接收区域是所捕获的图像中的利用穿过某个小面透镜31i的光束和穿过另一小面透镜31j的光束两者进行照射的区域。非光接收区域是所捕获的图像中的没有利用穿过各个小面透镜311至314的任何光束进行照射的区域。
区域确定部52(图3)基于包括在透镜信息中的区域确定信息确定预定尺寸的矩形区域作为与小面透镜31i对应的小面图像E#i的区域，该预定尺寸的矩形区域以(位置对应于)所捕获的图像中的仅利用穿过各个小面透镜31i的光束进行照射的与小面透镜31i对应的区域中的小面透镜31i的光轴为中心。
这使得对于与小面透镜31i对应的小面图像E#i可以是在通过小面透镜31i收集的光束形成的图片内仅包括不与通过另一小面透镜31j收集的光束形成的其他图片交叠的仅一部分的图像。
另外，与小面透镜31i对应的小面图像E#i是通过使用小面透镜31i的位置作为视点以类似于通过使用独立的摄像装置从小面透镜31i的位置捕获图像的方式而捕获的图像。
<小面图像的区域确定处理>
图6是用于描述由图3所示的区域确定部52执行的以确定所捕获的图像中的小面图像E#i的各个区域的区域确定处理的示例的流程图。
在步骤S11中，区域确定部52获取从通信部57供应的透镜信息，并且处理进行至步骤S12。
换句话说，当多眼可交换透镜20安装在摄像装置本体10上时，通信部57与多眼可交换透镜20的通信部42进行通信，接收从通信部42传输的关于多眼可交换透镜20的透镜信息，并且将该透镜信息供应至区域确定部52。如上面描述的，区域确定部52获取从通信部57供应的透镜信息。
在步骤S12中，区域确定部52基于包括在从通信部57获取的透镜信息中的区域确定信息确定从图像传感器51供应的所捕获的图像中的与小面透镜311至314对应的小面图像E1、E2、E3和E4的各个区域，并且处理进行至步骤S13。
在步骤S13中，区域确定部52从所捕获的图像提取小面图像E1至E4，输出作为区域确定结果信息的小面图像E1至E4，并且结束该处理。
应当注意的是，如参照图3描述的，区域确定部52使得可以输出所捕获的图像的组和指示所捕获的图像中的各个小面图像E#i的区域的作为替代小面图像E1至E4的区域确定结果信息的区域信息。
如上面描述的，多眼可交换透镜20包括以小面透镜311至314在光轴方向上(当从光轴方向观察时)彼此不交叠的方式设置的小面透镜311至314，并且将包括区域确定信息的透镜信息传输至例如用作外部设备的摄像装置本体10。另外，摄像装置本体10接收透镜信息，并且基于包括在透镜信息中的区域确定信息确定所捕获的图像中的与各个小面透镜311至314对应的小面图像E1至E4的区域。这使得可以容易地获得多个视点的图像，即通过使用各个小面透镜311至314的位置作为视点而捕获的小面图像E1至E4。
<直通图像的显示示例>
图7示出了显示在图3所示的显示部54上的直通图像的显示示例。
图7A示出了直通图像的第一显示示例。可以采用由图像传感器51捕获的如图7A所示的图像作为直通图像。在采用所捕获的图像作为直通图像的情况下，图像处理部53从区域确定部52获取由图像传感器51捕获的图像，将该图像供应至显示部54，并且使该图像被显示。
图7B示出了直通图像的第二显示示例。可以采用如图7B所示的一个小面图像E#i作为直通图像。在采用一个小面图像E#i作为直通图像的情况下，图像处理部53从来自区域确定部52供应的小面图像E1至E4中选择一个小面图像E#i，将一个小面图像E#i供应至显示部54，并且使一个小面图像E#i被显示。
注意，例如可以响应于用户操作等来选择是否将所捕获的图像或一个小面图像E#i显示为直通图像。
另外，例如在采用一个小面图像E#i作为直通图像的情况下，可以响应于用户操作等选择性地将用作直通图像的一个小面图像E#i切换至从小面图像E1至E4中选择的另一个。
此外，还可以采用通过由图像处理部53执行的重聚焦而获得的图像作为直通图像。
<多眼可交换透镜20的光学配置示例的概况>
图8是示出多眼可交换透镜20的第一光学配置示例的概况的截面图。
应当注意的是，此处，为了便于说明，假定多眼可交换透镜20包括三个小面透镜311至313，并且假定三个小面透镜311至313以当从光轴方向(x方向)观察时它们彼此不交叠的方式沿水平方向(x方向)设置成一行。
在多眼可交换透镜20不包括限制穿过小面透镜31i的光束的光学部件的情况下，图像传感器51的相对宽范围的光接收表面利用穿过小面透镜31i的光束进行照射，如图8所示。
在这种情况下，关于三个小面透镜311至313中彼此相邻的小面透镜311和312，图像传感器51的光接收表面利用穿过小面透镜311的光束和穿过小面透镜312的光束以光束的部分彼此交叠的方式进行照射。因此，交叠的光接收区域形成在所捕获的图像中。同样适用于彼此相邻的小面透镜312和313。
关于沿水平方向设置成一行的三个小面透镜311至313，穿过与小面透镜311和313相邻的小面透镜312的光束与穿过小面透镜311的光束交叠，并且与穿过小面透镜313的光束交叠。因此，所捕获的图像中的区域可以是与小面透镜312对应的并且是仅利用穿过小面透镜312的光束进行照射的小面图像E2的区域，该小面图像E2的区域变得比小面透镜311和小面透镜313的情况小。
因此，与小面透镜312对应的小面图像E2的尺寸小。另外，在与各个小面透镜311至313对应的小面图像E1至E3的尺寸相同的情况下，小面图像E1和E2的尺寸也变得较小。
因此，可以为包括在多眼可交换透镜20中的所有小面透镜311至313中的每一个提供限制光束从各个小面透镜31i到达图像传感器51的光圈。
图9是示出多眼可交换透镜20的第二光学配置示例的概况的截面图。
应当注意的是，在图9中，还假定多眼可交换透镜20包括三个小面透镜311至313，并且假定三个小面透镜311至313以与图8所示的情况类似的方式在光轴方向上它们彼此不交叠的方式沿水平方向设置成一行。
在图9中，多眼可交换透镜20包括对于小面透镜311至313限制了从各个小面透镜31i到达图像传感器51的光束的光圈71。
光圈71具有以通过小面透镜311至313中一个小面透镜31i收集的光束与通过小面透镜311至313中另一小面透镜31j收集的光束不交叠的方式限制来自小面透镜31i的光束的圆形开口。
可以以下述方式设定小面透镜311至313和光圈71的布置以及光圈71的开口的尺寸：通过一个小面透镜31i收集的光束与通过另一小面透镜31j(在可能的范围内)收集的光束不交叠并且利用通过小面透镜31i收集的光束进行照射的图像传感器51的光接收表面上的区域变得较大(理想地，该区域变得最大)。
在这种情况下，可以通过有效地使用图像传感器51的光接收表面来获得具有大尺寸的小面图像E#i。
图10是示出在多眼可交换透镜20包括如图5所示的四个小面透镜311至314的情况下光圈71的配置示例的概况的后视图。
图10A示出了光圈71的第一配置示例。
可以采用分别地与四个小面透镜311至314对应的单个光圈作为光圈71，并且可以将单个光圈设置在各个小面透镜311至314的后表面上。
图10B示出了光圈71的第二配置示例。
可以采用具有与四个小面透镜311至314对应的各个开口并且安装在一个板上的一个光圈作为光圈71，并且可以将该光圈设置在小面透镜311至314的后表面上。
图11是示出包括光圈71的多眼可交换透镜20的另一配置示例的立体图。
在图11中，多眼可交换透镜20包括五个小面透镜311至315，并且五个小面透镜311至315以在光轴方向上它们彼此不交叠的方式设置在二维平面上。
另外，在图11中，五个小面透镜311至315设置成使得：例如作为五个小面透镜311至315之一的小面透镜311设置为中心并且四个其他小面透镜312至315设置为围绕小面透镜311的矩形的顶点。
另外，在图11中，光圈71设置在小面透镜311至315的后表面侧上。例如，可以将光圈71存储在多眼可交换透镜20的透镜镜筒21中。然而，为了便于图11的可视化，图11示出了其中光圈71与多眼可交换透镜20分离的状态。
另外，在图11中，采用矩形开口作为光圈71的开口。在采用矩形开口作为光圈71的开口的情况下，可以将利用穿过小面透镜31i的光进行照射的图像传感器51的光接收表面中的区域限制到矩形区域F。
应当注意的是，多眼可交换透镜20的小面透镜31i中的每一个可以配备有阻挡入射在小面透镜31i上的光的一部分的透镜罩23。透镜罩23可以固定至多眼可交换透镜20，并且可以附接至多眼可交换透镜20并且可以从多眼可交换透镜20拆卸。
<曝光控制>
图12是用于描述由图3所示的控制部56执行的曝光控制的处理(曝光控制处理)的示例的流程图。
曝光控制方法包括以下方法，该方法包括：使用由图像传感器51(图3)捕获的图像来确定评估所捕获的图像的亮度的亮度评估值；并且根据明亮评估值，以所捕获的图像不包括所谓的爆发式高亮并且实现适当的预定亮度的方式控制曝光时间(快门速度)、光圈的开口、图像传感器51对像素信号执行的A/D转换的增益(模拟增益)等。
然而，在使用配备有多眼可交换透镜20的摄像装置本体10的情况下，由图像传感器51(图3)捕获的图像可能包括如参照图5所描述的非光接收区域和交叠光接收区域。有时，这使得当通过使用这样的所捕获的图像来确定亮度评估值时难以获得用于适当地控制曝光的亮度评估值。
因此，控制部56确定亮度评估值并且通过使用小面图像E#i(的区域中的图像)替代所捕获的图像(本身)来控制曝光。
应当注意的是，此处，假定多眼可交换透镜20包括四个小面透镜311至314，并且假定区域确定部52获得四个小面图像E1至E4，如图5中所示。
另外，假定图像传感器51周期性地捕获图像并且将所捕获的图像供应至区域确定部52，并且区域确定部52从由图像传感器51捕获的图像提取四个小面图像El至E4。
在步骤S21中，控制部56从区域确定部52获取四个小面图像E1至E4，并且处理进行至步骤S22。
在步骤S22中，控制部56通过使用四个小面图像E1至E4中的一些或者全部，即四个小面图像E1至E4中的一个、两个或更多个来计算评估小面图像E1至E4的亮度的亮度评估值(评估当前曝光状态的评估值)。随后，处理进行至步骤S23。
在步骤S23中，控制部56根据亮度评估值控制曝光，即曝光时间、光圈和增益，并且处理进行至步骤S24。
在步骤S24中，控制部56确定是否结束AE曝光控制。
在步骤S24中在控制部56确定不结束曝光控制的情况下，处理返回至步骤S21，并且此后重复类似的处理。
可替选地，在步骤S24中在控制部56确定结束曝光控制的情况下，即例如在用户操作摄像装置本体10以结束AE的情况下，曝光控制处理结束。
如上面描述的，通过使用小面图像El至E4中的一些或者全部来计算亮度评估值。这使得可以获得不受非光接收区域或者交叠的光接收区域影响的亮度评估值，并且这使得可以根据亮度评估值适当地控制曝光。
<图像处理部53的配置示例>
图13是示出在图3所示的图像处理部53中执行重聚焦的部分的功能配置示例的框图。
此处，在多眼可交换透镜20例如包括如图5所示的小面透镜311至314的情况下，区域确定部52将与小面透镜311至314对应的小面图像E1至E4供应至图像处理部53。对应于小面透镜311至314的并且从区域确定部52供应至图像处理部53的小面图像E1至E4是通过使用各个小面透镜311至314的位置作为视点以类似于由独立的摄像装置从各个小面透镜311至314的位置捕获图像的方式捕获的图像。另外，小面图像E1至E4是不同视点的图像。
在图13中，图像处理部53包括视差信息生成部81、插值部82、光收集处理部83和参数设定部84。
区域确定部52向图像处理部53供应作为多个视点的图像的多个视点的小面图像E#i。
应当注意的是，此处，关于小面图像E#i的视点是小面透镜31i的位置。
在图像处理部53中，将小面图像E#i供应至视差信息生成部81和插值部82。
视差信息生成部81通过使用从区域确定部52供应的多个视点的小面图像E#i来确定视差信息，并且将该视差信息供应至插值部82和光收集处理部83。
换句话说，例如，视差信息产生器81执行将确定从区域确定部52供应的各个小面图像E#i与其他小面图像E#j之间的视差信息的处理作为多个视点的小面图像E#i的图像处理。接下来，视差信息生成部81生成其中例如与小面图像中的各个像素(的位置)与多个视差信息相关联地登记的图，并且将该图供应至插值部82和光收集处理部83。
此处，可以采用通过使用像素的数目来表示视差的差异或者可转换为视差的诸如沿与视差对应的深度方向的距离等的任何信息作为视差信息。在本实施方式中，假定例如采用差异作为视差信息，并且视差信息生成部81将生成其中登记有差异的差异图作为其中登记了视差信息的图。
插值部82使用从区域确定部52供应的多个小面图像E#i和由视差信息生成部81生成的差异图，并且通过插值生成将从除小面图像E#i的视点即小面透镜31i的位置以外的视点捕获的图像。
插值部82使用在围绕各个连接小面图像E#i的视点即小面透镜31i的位置的直线的区域内具有基本上相等间隔的多个点作为用于插值的视点。插值部82通过插值来生成用于插值的视点图像(可以是从用于插值的视点捕获的图像)。
应当注意的是，插值部82还使得可以通过使用在利用各个连接小面透镜31i的位置的直线围绕的区域外部的点作为用于插值的视点来生成用于插值的视点的图像。
在生成用于插值的视点的图像之后，插值部82将小面图像E#i和用于插值的视点的图像供应至光收集处理部83。
此处，使用小面图像由插值部82通过插值生成的图像也被称为插值图像。
另外，将小面图像E#i的组和已经从插值部82供应至光收集处理部83的用于插值的视点的插值图像被称为视点图像。
可以考虑将由插值部82执行的插值作为从多个视点的小面图像E#i生成更多视点的视点图像的处理。可以将生成更多视点的视点图像的处理视为再现从真实空间中的真实空间点入射的光束的处理。
光收集处理部83使用从插值部82供应的多个视点的视点图像，并且执行光收集处理，该光收集处理是对应于收集来自对象并且已经穿过光学系统例如真实摄像装置中的透镜的光束到图像传感器或者胶片上并且形成对象的图片的图像处理。
在由光收集处理部83执行的光收集处理中，执行用于生成(重建)聚焦于任何对象的图像的重聚焦。通过使用从视差信息生成部81获得的差异图和从参数设定部84获得的光收集参数来执行重聚焦。
通过由光收集处理部83执行的光收集处理而获得的图像作为处理结果图像被输出(至显示部54和存储部55(图3))。
参数设定部84将在由用户操作对操作部(未示出)执行的指定的位置处的一个小面图像E#i(例如小面图像E1)的像素、预定应用等设定为要进行聚焦(或者显示对象)的聚焦目标像素，并且将所述聚焦目标像素作为光收集参数供应至光收集处理部83。
<由图像处理部53执行的图像处理>
图14是用于描述由图13所示的图像处理部53执行的图像处理的示例的流程图。
在图像处理部53中，将多个视点的小面图像E#i供应至视差信息生成部81和插值部82，所述多个视点的小面图像E#i是从区域确定部52供应的多个视点的图像。
在步骤S51中，图像处理部53中的视差信息生成部81使用从区域确定部52供应的多个视点的小面图像E#i，并且执行确定视差信息并且生成在其上登记有视差信息的差异图的视差信息生成处理。
视差信息生成部81将通过视差信息生成处理获得的差异图供应至插值部82和光收集处理部83，并且处理从步骤S51进行至步骤S52。
在步骤S52中，插值部82使用从区域确定部52供应的多个视点的小面图像E#i和由视差信息生成部81生成的差异图，并且执行生成用于插值的除了小面图像E#i的视点以外的多个视点的插值图像的插值处理。
另外，插值部82将从区域确定部52供应的多个视点的小面图像E#i和通过插值处理获得的用于插值的多个视点的插值图像作为多个视点的视点图像供应至光收集处理部83，并且处理从步骤S52进行至步骤S53。
在步骤S53中，参数设定部84执行将在由用户操作等指定的位置处的一个视点图像(例如小面图像E1)的像素设定为要进行聚焦的聚焦目标像素的设定处理。
参数设定部84将通过设定处理获得的聚焦目标像素(有关信息)作为光收集参数供应至光收集处理部83。接下来，处理从步骤S53进行至步骤S54。
此处，如上面描述的，根据来自用户的指定设定聚焦目标像素。可替选地，可以根据例如来自应用的指定、基于预定规则的指定等设定聚焦目标像素。例如，可以将显示正在以预定速度或更高速度移动的对象的像素，或者显示正在连续移动预定时间或更长时间的对象的像素设定为聚焦目标像素。
在步骤S54中，光收集处理部83通过使用从插值部82供应的多个视点的视点图像、从视差信息生成部81供应的差异图以及从参数设定部84供应的用作光收集参数的聚焦目标像素来执行对应于从对象到虚拟传感器(未示出)上的光束收集的光收集处理。随后，由图像处理部53执行的图像处理结束。
光收集处理部83将作为光收集处理的结果而获得的处理结果图像供应至显示部54。
应当注意的是，在光收集过程中收集光束的虚拟传感器实际上是例如存储部(未示出)。在光收集处理中，在用作虚拟传感器的存储部(的存储值)中对多个视点的视点图像的像素值进行累计作为收集至虚拟传感器上的光束的辉度。因此，确定了通过收集光束而获得的图像的像素值。
在由光收集处理部83执行的光收集处理中，设定基准移动量BV(稍后描述)，该基准移动量BV是用于对多个视点的视点图像的像素执行像素移动的像素移动量。多个视点的视点图像的像素(的像素值)根据基准移动量BV经受像素移动，并且然后进行累计。因此，确定聚焦于真实空间中的聚焦点的处理结果图像的每个像素值，并且生成处理结果图像。
此处，聚焦点是在对图像进行聚焦的真实空间中的真实空间点。在由光收集处理部83执行的光收集处理中，聚焦平面是由聚焦点的组形成的平面，聚焦平面是通过使用从参数设定部84供应的用作光收集参数的聚焦目标像素设定的。
应当注意的是，图像处理部53(图13)可以仅包括光收集处理部83。
例如，在光收集处理部83通过使用由区域确定部52捕获的小面图像E#i而不使用任何插值图像来执行光收集处理的情况下，可以配置不包括插值部82的图像处理部53。然而，在通过使用除了小面图像E#i以外的插值图像来执行光收集处理的情况下，可以在处理结果图像中抑制关于未聚焦对象的振铃的生成。
此外，例如，在外部设备可以通过使用距离传感器等生成关于小面图像E#i的视差信息并且可以从外部设备获取视差信息的情况下，可以配置不包括视差信息生成部81的图像处理部53。
此外，例如，在光收集处理部83根据预定规则设定聚焦平面的情况下，可以配置不包括参数设定部84的图像处理部53。
另外，可以配置不包括图像处理部53的摄像装置本体10。
<多眼可交换透镜的另一配置示例>
图15是示出多眼可交换透镜20的另一配置示例的后视图。
在图15中，多眼可交换透镜20包括七个小面透镜311至317，并且七个小面透镜311至317以它们在光轴方向上彼此不交叠的方式设置在二维平面上。
另外，在图15中，七个小面透镜311至317以如下方式设置：七个小面透镜311至317之一，例如，小面透镜311设置为中心，并且六个其他小面透镜312至317围绕透镜311设置小面，小面透镜312至317用作正六边形的顶点。
因此，在图15中，在七个小面透镜311至317中的任何小面透镜31i(i＝1，2，……，7)(的光轴)与最接近小面透镜31i的另一小面透镜31j(j＝1，2，……，7)(的光轴)之间的距离是距离B。
在下文中，描述了其中多眼可交换透镜20包括如图15所示的七个小面透镜311至317的示例。
在多眼可交换透镜20包括如图15所示的七个小面透镜311至317的情况下，从区域确定部(图3)供应至图像处理部53的视差信息生成部81和插值部82的多个视点的小面图像E#i是与七个小面透镜311至317对应的七个视点的小面图像E1至E7。
<插值图像的生成>
图16是用于描述其中图13所示的插值部82生成插值图像的示例的图。
在生成某个视点的插值图像的情况下，插值部82顺序地选择插值图像的像素，所述像素均作为用于插值的插值目标像素。插值部82还选择七个视点的所有小面图像E1至E7或者接近插值图像视点的一些(多个)视点的小面图像E#i作为要用于计算插值目标像素的像素值的像素值计算图像。插值部82使用从视差信息生成部81供应的差异图和插值图像的视点，并且根据多个视点的各个小面图像E#i所选择作为的像素值计算图像来确定与插值目标像素对应的对应像素(显示空间点的像素，该像素是与如果根据插值图像的视点执行成像则将显示在插值目标像素上的空间点相同的点)。
然后，插值部82对多个视点的小面图像E#i中的对应像素的像素值进行加权，并且将所产生的加权值确定作为插值目标像素的像素值。
可以采用与包括对应像素的用作像素值计算图像的小面图像E#i的视点与包括插值目标像素的插值图像的视点之间的距离成反比的值作为用于对应像素的像素值进行加权的权重。
<视差图的生成>
图17是用于描述其中图13所示的视差信息生成部81生成差异图的示例的图。
换句话说，图17示出了区域确定部52的与小面透镜311至317对应的小面图像E1至E7的示例。
在图17中，小面图像E1至E7均将预定对象obj显示为在预定背景前面的前景。因为小面图像E1至E7具有不同的视点，例如，在各个小面图像E2至E7中显示的对象obj的位置(小面图像中的位置)与在小面图像E1中显示的对象obj的位置相差对应于视点差的量而不同。
此处，将小面透镜31i的视点(位置)，即与小面透镜31i对应的小面图像E#i的视点的视点称为vp#i。
例如，在生成小面图像E1的视点vp1的差异图的情况下，视差信息生成部81将小面图像E1设定为受到关注的感兴趣图像E1。另外，视差信息生成部81顺序地选择感兴趣图像E1中的像素均作为受到关注的感兴趣像素，并且从其他小面图像E2至E7中的每一个检测与感兴趣像素对应的对应像素(对应的点)。
从小面图像E2至E7中的每一个检测与感兴趣图像E1中的感兴趣像素对应的对应像素的方法的示例包括使用三角测量原理的方法，例如立体匹配或者多基线立体匹配。
此处，将表示小面图像E#i中的对应像素感兴趣图像E1中的感兴趣像素的位置移动的矢量称为差异矢量v#i，1。
视差信息生成部81确定关于各个小面图像E2至E7的差异矢量v2，1至v7，1。视差信息生成部81然后例如对差异矢量v2，1至v7，1的幅度进行多数投票，并且将由多数投票选择出的差异矢量v#i，1的幅度确定作为感兴趣像素(的位置)的差异的幅度。
此处，在已经获得感兴趣图像E1的小面透镜311与已经获得小面图像E2至E7的各个小面透镜312至317之间的距离为如上面参照图15描述的相同的距离B的情况下，当在感兴趣图像E1中的感兴趣像素中显示的真实空间点也显示在小面图像E2至E7中的每一个中时，区域确定部52获得方向不同而幅度相等的矢量作为差异矢量v2，1至v7，1。
换句话说，在这种情况下，差异矢量v2，1至v7，1是幅度相等并且方向与相对于感兴趣图像E1的视点vp1的其他小面图像E2至E7的视点vp2至vp7的方向相反方向的矢量。
应当注意的是，在小面图像E2至E7中，可能存在具有遮挡的图像，即其中在感兴趣图像E1中的感兴趣像素中显示的真实空间点被隐藏在前景后面的图像。
根据没有显示在感兴趣图像E1中的感兴趣像素中显示的真实空间点的小面图像E#i(以下也称为遮挡图像)，很难检测出作为与感兴趣像素对应的对应像素的正确的像素。
因此，确定关于遮挡图像E#i的差异矢量v#i，1，该差异矢量v#i，1具有与显示在感兴趣图像E1的感兴趣像素中显示的真实空间点的小面图像E#j的差异矢量v#j，1不同的幅度。
在小面图像E2至E7中，将关于感兴趣像素的具有遮挡的图像的数目估计为小于没有遮挡的图像的数目。因此，如上面描述的，视差信息生成部81对差异矢量v2，1至v7，1的幅度进行多数投票，并且将由多数投票选择出的差异矢量v#i，1的幅度确定为感兴趣像素的视差的幅度。
在图17中，在差异矢量v2，1至v7，1中，三个差异矢量v2，1、v3，1和v7，1是相同幅度的矢量。同时，在差异矢量v4，1、v5，1和v6，1中没有相同幅度的差异矢量。
因此，将三个差异矢量v2，1、v3，1和v7，1的幅度确定为感兴趣像素的差异的幅度。
注意，可以根据感兴趣图像E1的视点vp1(小面透镜311的位置)与小面图像E#i的视点vp#i(小面透镜31i的位置)之间的位置关系(例如从视点vp1朝向视点vp#i的方向)来识别感兴趣图像E1中的感兴趣像素与小面图像E#i中的任意一个之间的差异方向。
视差信息生成部81顺序地选择感兴趣图像E1中的像素均作为感兴趣像素，并且确定差异的幅度。视差信息生成部81然后生成其中感兴趣图像E1的像素的差异的幅度与各个像素的位置(xy坐标)相关联地登记的图作为差异图。因此，差异图是其中像素的位置与像素的差异的幅度相关联的图(表)。
还可以以类似于视点vp1的差异图的方式来生成其他小面图像E#i的视点vp#i的差异图。
应当注意的是，当生成除了视点vp1以外的视点vp#i的差异图时，在基于小面图像E#i的视点vp#i与除了小面图像E#i以外的小面图像E#j的视点vp#j之间的位置关系(小面透镜31i和31j之间的位置关系)(视点vp#i与视点vp#j之间的距离)对差异矢量的幅度调整之后，对差异矢量进行多数投票。
换句话说，例如，在将小面图像E5设定为感兴趣图像并且生成差异图的情况下，在感兴趣图像E5与小面图像E2之间获得的差异矢量是在感兴趣图像E5与小面图像E1之间获得的差异矢量两倍大。
其原因之一是，作为已经获得感兴趣图像E5的小面透镜315的光轴与已经获得小面图像E1的小面透镜311的光轴之间的距离的基线长度是距离B，作为已经获得感兴趣图像E5的小面透镜315与已经获得小面图像E2的小面透镜312之间的基线长度是距离2B。
鉴于此，此处，例如作为小面透镜311与另一小面透镜31i之间的基线长度的距离B被称为基准基线长度，基准基线长度是用于确定视差的标准。在以将基线长度转换成基准基线长度B的方式对差异矢量的幅度进行调整之后，对差异矢量进行多数投票。
换句话说，例如，由于在已经获得感兴趣图像E5的小面透镜315与已经获得小面图像E1的小面透镜311之间的基准基线长度B等于基准基线长度B，因此将在感兴趣图像E5与小面图像E1之间获得的差异矢量的幅度调整至1倍大的幅度。
此外，例如，由于已经获得感兴趣图像E5的小面透镜315与已经获得小面图像E2的小面透镜312之间的基线长度2B等于基准基线长度B的两倍，因此在感兴趣图像E5与小面图像E2之间获得的差异矢量的幅度调整为1/2大的幅度，1/2是基准基线长度B与小面透镜315与小面透镜312之间的基线长度2B的比率的值。
以类似的方式，将在感兴趣图像E5与另一小面图像E#i之间获得的差异矢量的幅度调整为乘以基准基线长度B与小面透镜315与小面透镜31i之间的基线长度的比率的幅度。
然后通过使用经受幅度调整的差异矢量对差异矢量进行多数投票。
注意，视差信息生成部81可以例如利用小面图像的像素的精度来确定小面图像E#i(的像素中每一个)的差异。此外，还可以利用等于或者小于具有比小面图像E#i的像素高的精度的像素的精度(例如，诸如1/4像素的子像素的精度)来确定小面图像E#i的差异。
在利用等于或者小于像素的精度来确定差异的情况下，可以在使用差异的处理中原样地使用具有等于或者小于像素的精度的差异，或者可以在通过下舍入、上舍入或者四舍五入而转换成整数之后使用具有等于或者小于像素的精度的视差。
此处，在下文中，登记在差异图上的差异的幅度也被称为登记差异。例如，在从左到右延伸的轴是x轴而从下到上延伸的轴是y轴的二维坐标系中表示用作差异的矢量的情况下，登记差异等于小面图像E1中的各个像素与位于小面图像E1左侧的视点的小面图像E5中的各个像素之间的差异的x分量(矢量表示从小面图像E1中的像素到小面图像E5中的对应像素的移动，对应像素对应于小面图像E1中的像素)。
<通过光收集过程的重聚焦>
图18是用于描述通过光收集处理由图13所示的光收集处理部83执行的重聚焦的概况的图。
应当注意的是，为了便于说明，在图18中使用三个图像作为用于光收集处理的多个视点的视点图像。这三个图像是小面图像E1、位于小面图像E1右侧的视点的小面图像E2以及位于小面图像E1左侧的视点的小面图像E5。
在图18中，在小面图像E1、E2和E5中显示了两个对象obj1和obj2。例如，对象obj1位于近侧，并且对象obj2位于远侧。
此处，例如，执行重聚焦以聚焦(或者将焦点聚焦于)对象obj1，并且在重聚焦之后将获得从小面图像E1的视点观看的图像作为处理结果图像。
此处，DP1表示显示在小面图像E1中的对象obj1的像素与处理结果图像的视点(此处是小面图像E1的视点)之间的差异。此外，DP2表示显示在小面图像E2中的对象obj1的像素与处理结果图像的视点之间的差异，DP5表示显示在小面图像E5中的对象obj1的像素与处理结果图像的视点之间的差异。
应当注意的是，处理结果图像的视点与图18中的小面图像E1的视点相同。因此，在小面图像E1中的显示对象obj1的像素与处理结果图像的视点之间的差异DP1为(0，0)。
对于小面图像E1、E2和E5，根据差异DP1、DP2和DP5对小面图像E1、E2和E5执行像素移动，并且对经受像素移动的小面图像E1、E2和E5进行累计。这使得可以获得其中对对象obj1进行聚焦的处理结果图像。
换句话说，对小面图像E1、E2和E5执行像素移动，以消除各个差异DP1、DP2和DP5(沿与差异DP1、DP2和DP5相反的方向执行像素移动)。因此，在经受像素移动的小面图像E1、E2和E5中，显示对象obj1的像素的位置变得相同。
因此，通过对经受像素移动的小面图像E1、E2和E5进行累计可以获得其中对对象obj1进行聚焦的处理结果图像。
应当注意的是，在经受像素移动的小面图像E1、E2和E5中，沿深度方向位于与对象obj1不同位置处的显示对象obj2的像素的位置不相同。因此，显示在处理结果图像中的对象obj2是模糊的。
此外，由于处理结果图像的视点是小面图像E1的视点，并且如上面描述的差异DP1为(0，0)，因此此处基本上不必对小面图像E1执行像素移动。
在由光收集处理部83执行的光收集处理中，例如，对多个视点的视点图像的像素进行像素移动，以消除显示聚焦目标的聚焦目标像素与处理结果图像的视点(此处为小面图像E1的视点)之间的差异。随后，如上面描述的，对经受像素移动的像素进行累计。因此，获得了作为处理结果图像的其中聚焦目标被重聚焦的图像。
<差异转换>
图19是用于描述差异转换的示例的图。
如上面参照图17描述的，登记在差异图上的登记差异与在具有遮挡的区域以外的小面图像E1的像素与位于小面图像E1左侧的视点的小面图像E5的各个像素之间的差异的x分量相同。
在重聚焦中，需要对视点图像执行像素移动以消除聚焦目标像素的差异。
此处，当作为感兴趣视点的某个视点受到关注时，感兴趣视点的视点图像与处理结果图像之间的聚焦目标像素的差异，即聚焦目标像素之间的差异，例如感兴趣视点的视点图像与小面图像E1之间的差异对于重聚焦中感兴趣视点的视点图像的像素移动是必需的。
可以根据小面图像E1的聚焦目标像素(在小面图像E1中与处理结果图像中的聚焦目标像素对应的对应像素)的记录差异同时考虑从处理结果图像的视点到感兴趣视点的方向来确定感兴趣视点的视点图像与小面图像E1之间的聚焦目标像素的差异。
此处，从作为处理结果图像的视点的小面图像E1的视点到感兴趣视点的方向由绕x轴具有0弧度的逆时针角度表示。
例如，小面透镜312位于沿作为处理结果图像视点的小面图像E1视点的+x方向的基准基线长度B对应的距离处。另外，从作为处理结果图像的视点的小面图像E1的视点到与小面透镜312对应的小面图像E2的视点的方向是0弧度。在这种情况下，基于聚焦目标像素的登记差异RD同时考虑作为与小面透镜312对应的小面图像E2的视点的方向的0弧度，将小面图像E1与小面透镜312对应的与小面图像E2(视点图像)之间的聚焦目标像素的差异DP2(用作矢量)确定为：(-RD，0)＝(-(B/B)×RD×cos0，-(B/B)×RD×sin0)。
此外，例如，小面透镜313位于从作为处理结果图像的视点的小面图像E1的视点起沿π/3方向与基准基线长度B对应的距离处。此外，从作为处理结果图像的视点的小面图像E1的视点到与小面透镜313对应的小面图像E3的视点的方向是π/3弧度。在这种情况下，基于聚焦目标像素的登记差异RD同时考虑作为小面透镜313的视点方向的π/3弧度，将小面图像E1和与小面透镜313对应的小面图像E3之间的聚焦目标像素的差异DP3确定为：(-RD×cos(π/3)，-RD×sin(π/3))＝(-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))。
此处，可以将由插值部82获得的插值图像视为由位于插值图像的视点vp处的虚拟透镜捕获的图像。假定由虚拟透镜捕获的图像的视点vp位于从与作为处理结果图像的视点的小面图像E1的视点起沿角度θ(弧度)的方向的距离L处。在这种情况下，基于聚焦目标像素的登记差异RD同时考虑作为视点vp的方向的角度θ，将小面图像E1与视点vp的视点图像(由虚拟透镜捕获的图像)之间的聚焦目标像素的差异DP确定为(-(L/B)×RD×cosθ，-(L/B)×RD×sinθ。
如上面描述的基于登记差异RD同时考虑感兴趣视点的方向，确定小面图像E1与感兴趣视点的视点图像之间的像素差异，即将登记差异RD转换成小面图像E1(处理结果图像)与感兴趣视点的视点图像之间的像素的差异也称为差异转换。
在重聚焦中，基于关于聚焦目标像素的通过差异转换的登记差异RD来确定小面图像E1与各个视点的视点图像之间的聚焦目标像素的差异，并且对各个视点的视点图像执行像素移动以消除聚焦目标像素的差异。
在重聚焦中，对视点图像执行像素移动以消除视点图像之间的聚焦目标像素的差异。该像素移动的移动量也称为聚焦移动量。
此处，在下面的描述中，由插值部82获得的多个视点的视点图像中的第i个视点图像的视点也被称为视点vp#i。视点vp#i的视点图像的聚焦移动量也被称为聚焦移动量SV#i。
基于聚焦目标像素的通过差异转换的登记差异RD同时考虑从作为处理结果图像的视点的小面图像E1的视点到视点vp#i的方向，可以唯一地确定视点vp#i的视点图像的聚焦移动量SV#i。
此处，在差异转换中，如上面描述的，可以基于登记差异RD来确定(矢量用作)差异(-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)。
因此，例如，可以将差异转换视为登记差异RD乘以-(L/B)×cosθ和-(L/B)×sinθ中的每一个的算术运算，登记差异RD×-1乘以(L/B)×cosθ和(L/B)×sinθ中的每一个的算术运算。
此处，差异转换被认为是例如登记差异RD×-1乘以(L/B)×cosθ和(L/B)×sinθ中的每一个的算术运算。
在这种情况下，经受差异转换的值(此处为登记差异RD×-1)是用于确定各个视点的视点图像的聚焦移动量的标准值，并且在下文中也被称为基准移动量BV。
通过基准移动量BV的差异转换来唯一地决定聚焦移动量。因此，根据对基准移动量BV的设定，基本设定了用于在重聚焦时对各视点的视点图像的像素执行像素移动的像素移动量。
应当注意的是，在如上面描述的采用登记视差RD×-1作为基准移动量BV的情况下，用于聚焦于聚焦目标像素的作为聚焦目标像素的视差RD×-1的基准移动量BV等于聚焦目标像素的差异相对于小面图像E2的x分量。
<用于重聚焦的光收集过程>
图20是用于描述用于重聚焦的光收集处理的示例的流程图。
在步骤S71中，光收集处理部83从参数设定部84获取用作光收集参数的聚焦目标像素(有关信息)，然后处理进行至步骤S72。
换句话说，例如，在显示部54上显示与小面透镜311至317对应的小面图像E1至E7中的小面图像E1等。当用户指定小面图像E1中的位置时，参数设定部84将用户指定的位置处的像素设定为聚焦目标像素，并且向光收集处理部83供应作为光收集参数的聚焦目标像素(指示信息)。
在步骤S71中，如上面描述的光收集处理部83获取从参数设定部84供应的聚焦目标像素。
在步骤S72中，光收集处理部83获取登记在从视差信息生成部81供应的视差图中的聚焦目标像素的登记差异RD。光收集处理部83然后根据聚焦目标像素的登记差异RD设定基准移动量BV。换句话说，光收集处理部83例如将聚焦目标像素的登记差异RD×-1设定为基准移动量BV。接下来，处理从步骤S72进行至步骤S73。
在步骤S73中，光收集处理部83将与从插值部82供应的多个视点的视点图像之一对应的图像设定为处理结果图像，例如，与小面图像E1对应的图像，即当从小面图像E1的视点观看时，具有与小面图像E1相同尺寸的图像，并且将初始值0作为像素值。另外，光收集处理部83将处理目标图像中的像素之中尚未被决定为感兴趣像素的像素之一决定为感兴趣像素。接下来，处理从步骤S73进行至步骤S74。
在步骤S74中，光收集处理部83将从插值部82供应的视点图像的视点中的尚未被决定为感兴趣视点(相对于感兴趣像素)的视点vp#i决定为感兴趣视点vp#i。接下来，处理进行至步骤S75。
在步骤S75中，光收集处理部83根据基准移动量BV确定感兴趣视点vp#i的视点图像中的各个像素的聚焦移动量SV#i。聚焦移动量SV#i对聚焦于聚焦目标像素(对将焦点放在在聚焦目标像素中显示的对象上)是必需的。
换句话说，光收集处理部83在考虑到从作为处理结果图像的视点的小面图像E1的视点到感兴趣视点vp#i的方向的同时对基准移动量BV执行差异转换，并且获取作为差异转换结果获得的值(矢量)作为感兴趣视点vp#i的视点图像的各个像素的聚焦移动量SV#i。
之后，处理从步骤S75进行至步骤S76。光收集处理部83然后根据聚焦移动量SV#i，对感兴趣的视点vp#i的视点图像中的各个像素执行像素移动，并且利用感兴趣像素的像素值对在经受像素移动的视点图像中感兴趣像素的位置处的像素的像素值进行累计。
换句话说，光收集处理部83利用感兴趣的像素的像素值对在与从感兴趣的视点vp#i的视点图像中的像素中的感兴趣的像素的位置开始的聚焦移动量SV#i对应的矢量(例如，在这种情况下，焦点移动量SV#i×-1)的对应的距离处的像素的像素值进行累计。
接下来，处理从步骤S76进行至步骤S77，并且光收集处理部83确定是否将从插值部82供应的视点图像的所有视点都设定为感兴趣视点。
在步骤S77中确定不将从插值部82供应的视点图像的所有视点都设定为感兴趣视点的情况下，处理返回至步骤S74，并且此后重复类似的处理。
可替选地，在步骤S77中确定将从插值部82供应的视点图像的所有视点都设置为感兴趣视点的情况下，处理进行至步骤S78。
在步骤S78中，光收集处理部83确定是否将处理结果图像中的所有像素都设定为感兴趣像素。
在步骤S78中确定不将处理结果图像中的所有像素都设定为感兴趣像素的情况下，处理返回至步骤S73，并且如上面描述的光收集处理部83重新决定将处理结果图像中的像素中的未被决定作为感兴趣像素的像素之一作为感兴趣像素。之后，重复与上述类似的处理。
可替选地，在步骤S78中确定处理结果图像中的所有像素都已经被设定为感兴趣像素的情况下，光收集处理部83输出处理结果图像，并且结束光收集处理。
应当注意的是，在图20所示的光收集过程中，将其中在真实空间中沿深度方向的距离为恒定(不变化)的平面设置为聚焦平面，并且通过利用多个视点的视点图像来生成聚焦于位于聚焦平面上(或在聚焦平面附近)的对象的处理结果图像。
在图20所示的光收集过程中，基准移动量BV根据各个聚焦目标像素的登记差异RD设定，而不根据感兴趣像素或感兴趣视点vp#i进行变化。因此，在图20所示的光收集过程中，不管感兴趣像素或感兴趣视点vp#i如何都设定基准移动量BV。
另外，聚焦移动量SV#i随着感兴趣视点vp#i和基准移动量BV而变化。然而，如上面描述的，基准移动量BV在图20所示的光收集处理中不根据感兴趣像素或感兴趣视点vp#i而变化。因此，聚焦移动量SV#i随着感兴趣视点vp#i而变化，而不随感兴趣像素而变化。换句话说，不管感兴趣的像素如何，一个视点的视点图像中的各个像素的聚焦移动量SV#i是相同的值。
在图20中，在步骤S75中用于确定聚焦移动量SV#i的处理形成重复计算针对关于不同的感兴趣像素的相同视点vp#i的聚焦移动量SV#i的环路(从步骤S73至步骤S78的环路)。然而，如上面描述的，不管感兴趣像素如何，一个视点的视点图像的各个像素的聚焦移动量SV#i是相同的值。
因此，在图20中，在步骤S75中对于一个视点执行用于确定焦点移动量SV#i的处理仅一次就足够了。
<通过使用服务器的区域信息的获取>
图21是用于描述通过使用服务器获取指示小面图像的区域的区域信息的处理的示例的图。
注意，在图21中，假定采用多眼可交换透镜20的透镜ID作为区域确定信息，并且准备其中将透镜ID与基于透镜ID确定的关于多眼可交换透镜20的多个区域信息相关联的数据库。
在步骤S81中，例如，当多眼可交换透镜20安装在摄像装置本体10上时，多眼可交换透镜20的通信部42(图3)将作为存储在存储部41中的区域确定信息的透镜ID传输至摄像装置本体10。
在步骤S91中，摄像装置本体10的通信部57(图3)接收多眼可交换透镜20的透镜ID，并且将透镜ID传输至例如云上的服务器90。
在步骤S101中，服务器90从摄像装置本体10接收透镜ID，通过使用透镜ID作为关键字来检索数据库(DB)，并且获取指示基于透镜ID确定的通过使用多眼可交换透镜20捕获的图像中的小面图像的区域的区域信息。
接下来，在步骤S102中，服务器90将从数据库检索到的区域信息传输至摄像装置本体10。
摄像装置本体10的通信部57(图3)从服务器90接收区域信息，并且将该区域信息供应至区域确定部52。区域确定部52确定从服务器90供应的通过区域信息指示的区域作为所捕获的图像中的小面图像的区域，并且从所捕获的图像提取小面图像。
应当注意的是，在图21中，透镜ID经由摄像装置本体10从多眼可交换透镜20传输至服务器90。然而，也可以在不穿过摄像装置本体10的情况下将透镜ID从多眼可交换透镜20(直接)传输至服务器90。
另外，摄像装置本体10还可以将所捕获的图像连同透镜ID一起传输至服务器90。在这种情况下，服务器90可以根据通过使用透镜ID作为关键词的检索而获得的区域信息从由摄像装置本体10所捕获的图像提取小面图像，并且将所提取的小面图像传输至摄像装置本体10。
另外，可以配置不包括图像处理部53的摄像装置本体10，并且摄像装置本体10还可以将所捕获的图像或小面图像传输至服务器90。在这种情况下，服务器90可以根据需要从所捕获的图像提取小面图像，并且通过使用从摄像装置本体10传输的所捕获的图像或小面图像提取的小面图像来执行与由图像处理部53执行的图像处理类似的图像处理。接下来，服务器90可以将通过图像处理获得的处理结果图像传输至摄像装置本体10等。
<曝光控制的具体示例>
图22是用于描述曝光控制的细节的图。
应当注意的是，在下文中，为了便于说明，假定控制曝光的摄像装置系统是单个透镜摄像装置系统。
在AE曝光控制中，如图22所示，在所捕获的图像中设定评估区域，该评估区域是待用于计算亮度评估值的区域。在图22中，评估区域被设定为整个所捕获的图像。
在设定了评估区域之后，计算所捕获的图像中的评估区域中的像素的Y信号(辉度信号)的累计值作为亮度评估值。随后，根据亮度评估值和亮度评估值的预设目标值来控制曝光时间、光圈和增益。
例如，在亮度评估值为两百万并且目标值为一百万的情况下，以亮度评估值为当前值的1/2(＝一百万/两百万)的方式控制曝光时间、光圈和增益。
图23是示出具有AE功能的摄像装置系统的配置示例的框图。
在图23中，摄像装置系统包括透镜111、图像传感器112、摄像装置信号处理大规模集成(LSI)113和中央处理单元(CPU)114。
透镜111将来自对象的光收集在图像传感器112上。
图像传感器112对穿过透镜111的光执行光电转换，并且将作为光电转换的结果的所捕获的图像输出至摄像装置信号处理LSI 113。图像传感器112例如包括具有拜耳布置的滤色器。从图像传感器112输出的所捕获的图像中的像素中每一个仅包括红色(R)信号、绿色(G)信号和蓝色(B)信号中的任一个作为根据像素的位置的像素值。
摄像装置信号处理LSI 113对由图像传感器112捕获的图像进行去马赛克(插值)，并且生成其中像素具有R信号、G信号或B信号的各个像素值的所捕获的图像(所捕获的图像包括R信号、G信号和B信号的各个平面)。
另外，摄像装置信号处理LSI 113通过使用去马赛克的所捕获的图像、R信号、G信号和B信号例如根据表达式Y＝0.3R+0.6G+0.1B等来生成所捕获的图像中的各个像素的Y信号(辉度信号)。
与之相对，CPU 114设定评估区域，并且指示摄像装置信号处理LSI 113生成指示评估区域的评估区域信号。摄像装置信号处理LSI 113遵循来自CPU 114的指令，并且生成指示评估区域的评估区域信号。另外，摄像装置信号处理LSI 113通过对所捕获的图像中的由评估区域信号指示的评估区域(S)中的像素的Y信号进行累计(执行累计)来确定亮度评估值，并且将亮度评估值供应至CPU 114。
CPU 114例如根据从摄像装置信号处理LSI 113供应的亮度评估值和预设目标值以亮度评估值变得与目标值相同的方式来计算图像传感器112的增益和曝光时间(快门速度)的组合。
此处，可以将所捕获的图像的Y信号确定为对象辉度、图像传感器112的曝光时间以及增益的乘积(与之成比例的值)。曝光时间和用于匹配亮度评估值的增益的组合(是Y信号和目标值的累计值)的数目是无限的。CPU114从曝光时间和增益的无限数目的组合中选择被估计为适于某种情况的曝光时间和增益的组合。
接下来，CPU 114设定图像传感器112中的被估计为适当的曝光时间和增益的组合。这控制了曝光，即曝光时间和增益，并且实现AE。
控制部56(图3)也可以以类似于图23所示的摄像装置系统的方式执行曝光控制处理。
<应用了本技术的计算机的描述>
接下来，可以由区域确定部52、图像处理部53、控制部56、通信部57等利用硬件或软件来执行上面描述的系列处理。在利用软件执行所述系列处理的情况下，将形成软件的程序安装到通用计算机等中。
图24是示出其中安装有用于执行上面描述的系列处理的程序的计算机的实施方式的配置示例的框图。
可以将程序预先记录在作为内置在计算机中的记录介质提供的硬盘205或者ROM203中。
可替选地，可以将程序存储(记录)在可移动记录介质211中。这样的可移动记录介质211可以作为所谓的封装软件提供。此处，可移动记录介质211例如可以是软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器等。
注意，可以将程序从上面描述的可移动记录介质211安装到计算机中。可替选地，还可以经由通信网络或广播网络将程序下载到计算机中并将程序安装到内部硬盘205中。换句话说，可以将程序从例如下载站点经由用于数字卫星广播的人造卫星无线地传送至计算机，或者可以将程序通过电缆经由网络例如局域网(LAN)或因特网传送至计算机。
计算机包括中央处理单元(CPU)202，并且输入/输出接口210经由总线201连接至CPU 202。
当操作输入部207等的用户经由输入/输出接口210输入指令时，CPU 202根据该指令执行存储在只读存储器(ROM)203中的程序。可替选地，CPU 202将存储在硬盘205中的程序加载到随机存取存储器(RAM)204中并执行该程序。
通过这样做，CPU 202根据上面描述的流程图执行处理，或者通过使用上面描述的在框图中示出的结构元件来执行处理。CPU 202然后例如经由输入/输出接口210从输出部206输出处理结果或者从通信部208传输处理结果并且根据需要将处理结果记录在硬盘205上。
注意，输入部207由键盘、鼠标、麦克风等实现。同时，输出部206由液晶显示部(LCD)、扬声器等实现。
此处，在本说明书中，由计算机根据程序执行的处理可以不必按照流程图描述的顺序按时间顺序来执行。换句话说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或按对象处理)。
此外，程序可以由单个计算机(处理部)执行，或者可以由多个计算机以分布式方式执行。此外，程序可以被传送至远程计算机并在其中执行。
此外，在本说明书中，系统指多个结构元件(装置、模块(部件)等)的组件，并且并非所有结构元件都必须设置在同一壳体中。鉴于此，容纳在不同壳体中并且经由网络彼此耦接的多个装置是系统，并且包括容纳在单个壳体中的多个模块的单个装置也是系统。
应当注意的是，本技术的实施方式不限于上面描述的那些实施方式，但是可以在不背离本技术的范围的情况下以各种方式进行修改。
例如，本技术可以采用其中多个装置经由网络共享功能并且在执行过程中进行协作的云计算配置。
此外，参照上面描述的流程图描述的各个步骤可以由单个装置执行或者可以在多个装置之间共享，并且可以由多个装置执行。
另外，在一个步骤中包括多个处理的情况下，可以通过单个装置或者通过共享一个步骤的多个装置来执行包括在一个步骤中的多个处理。
此外，本文描述的效果仅用于说明目的，并且可能存在其他效果。
应当注意的是，本技术也可以具有以下配置。
<1>
一种信息处理装置，包括：
通信部，所述通信部接收区域确定信息，所述区域确定信息用于确定与通过多个小面透镜收集的各个光束所形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以所述多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
区域确定部，所述区域确定部基于所述区域确定信息确定在所捕获的图像中的分别与所述多个小面透镜对应的所述多个小面图像的区域。
<2>
根据<1>所述的信息处理装置，其中，与所述小面透镜对应的所述小面图像是在由通过所述小面透镜收集的光束形成的图片内仅包括与由通过另一小面透镜收集的光束形成的另一图片不交叠的部分的图像。
<3>
根据<1>所述的信息处理装置，还包括：
通过使用所述多个小面图像中的一些或者全部来控制曝光的控制部。
<4>
根据<1>至<3>中任一项所述的信息处理装置，还包括：
显示所捕获的图像或者所述小面图像的显示部。
<5>
根据<1>至<4>中任一项所述的信息处理装置，还包括：
光收集处理部，所述光收集处理部执行以下光收集处理：通过移动和累计包括所述多个小面图像的多个视点的视点图像中的像素，来生成聚焦于沿深度方向在预定距离处的聚焦点的处理结果图像。
<6>
根据<5>所述的信息处理装置，其中，所述光收集处理部根据关于所述多个视点的所述视点图像的视差信息来设定在所述视点图像中移动所述像素的移动量。
<7>
根据<5>或<6>所述的信息处理装置，其中，所述多个视点的所述视点图像包括所述多个小面图像和使用所述多个小面图像通过插值生成的多个插值图像。
<8>
根据<7>所述的信息处理装置，还包括：
视差信息生成部，所述视差信息生成部生成关于所述多个小面图像的视差信息；以及
插值部，所述插值部通过使用所述小面图像和所述视差信息来生成不同视点的所述多个插值图像。
<9>
一种由信息处理装置执行的信息处理方法，所述方法包括：
接收区域确定信息，所述区域确定信息用于确定与通过多个小面透镜收集的各个光束所形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以所述多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；并且
基于所述区域确定信息确定在所捕获的图像中的分别与所述多个小面透镜对应的所述多个小面图像的区域。
<10>
一种程序，所述程序使计算机用作：
通信部，所述通信部接收区域确定信息，所述区域确定信息用于确定与由通过多个小面透镜收集的各个光束形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以所述多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
区域确定部，所述区域确定部基于所述区域确定信息确定在所捕获的图像中的分别与所述多个小面透镜对应的所述多个小面图像的区域域。
<11>
一种可交换透镜，包括：
以多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜；
存储部，所述存储部存储区域确定信息，所述区域确定信息用于确定与由通过所述多个小面透镜收集的各个光束形成的图片对应的多个小面图像的各个区域，其中，在所述可交换透镜安装在包括一个图像传感器的摄像装置本体上的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
通信部，所述通信部将所述区域确定信息传输至外部。
<12>
根据<11>所述的可交换透镜，还包括：
光圈，所述光圈针对所述多个小面透镜中的每一个限制从所述多个小面透镜到达所述图像传感器的各个光束。
<13>
根据<12>所述的可交换透镜，其中，所述光圈具有开口，所述开口以通过所述多个小面透镜中的一个收集的光束与通过所述多个小面透镜中的另一个收集的光束不交叠的方式限制来自所述小面透镜的光束。
<14>
根据<11>至<13>中任一项所述的可交换透镜，其中，所述区域确定信息指示所述多个小面透镜的各个有效图像圈的直径以及所述有效图像圈的中心位置。
<15>
根据<11>至<13>中任一项所述的可交换透镜，其中，所述区域确定信息包括指示在所捕获的图像中的与所述多个小面透镜对应的各个小面图像的区域的区域信息。
附图标记列表
10:摄像装置本体
11:摄像装置安装部
20:多眼可交换透镜
21:透镜镜筒
22:透镜安装部
23:透镜罩
311to 317:小面透镜
41:存储部
42:通信部
51:图像传感器
52:区域确定部
53:图像处理部
54:显示部
55:存储部
56:控制部
57:通信部
71:光圈
81:视差信息生成部
82:插值部
83:光收集处理部
84:参数设定部
90:服务器
201:总线
202:CPU
203:ROM
204:RAM
205:硬盘
206:输出部
207:输入部
208:通信部
209:驱动器
210:输入/输出接口
211:可移动记录介质
权利要求书(按照条约第19条的修改)
1.一种信息处理装置，包括：
通信部，所述通信部接收区域确定信息，所述区域确定信息用于确定与通过多个透镜收集的各个光束所形成的图片对应的多个图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括所述多个透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
区域确定部，所述区域确定部基于所述区域确定信息确定在所捕获的图像中的分别与所述多个透镜对应的所述多个图像的区域。
2.根据权利要求1所述的信息处理装置，其中，基于所述区域确定信息，所述区域确定部输出包括在所捕获的图像中的仅利用穿过所述各个透镜的光束中的穿过所述多个透镜中之一的光束进行照射的区域中的特定区域的图像。
3.根据权利要求1所述的信息处理装置，其中，与所述透镜对应的所述图像是在由通过所述透镜收集的光束形成的图片内仅包括与由通过另一透镜收集的光束形成的另一图片不交叠的部分的图像。
4.根据权利要求1所述的信息处理装置，还包括：
通过使用所述多个图像中的一些或者全部来控制曝光的控制部。
5.根据权利要求1所述的信息处理装置，还包括：
显示所捕获的图像或者所述图像的显示部。
6.根据权利要求1所述的信息处理装置，还包括：
光收集处理部，所述光收集处理部执行以下光收集处理：通过移动和累计包括所述多个图像的多个视点的视点图像中的像素，来生成聚焦于沿深度方向在预定距离处的聚焦点的处理结果图像。
7.根据权利要求6所述的信息处理装置，其中，所述光收集处理部根据关于所述多个视点的所述视点图像的视差信息来设定在所述视点图像中移动所述像素的移动量。
8.根据权利要求6所述的信息处理装置，其中，所述多个视点的所述视点图像包括所述多个图像和使用所述多个图像通过插值生成的多个插值图像。
9.一种由信息处理装置执行的信息处理方法，所述方法包括：
接收区域确定信息，所述区域确定信息用于确定与通过多个透镜收集的各个光束所形成的图片对应的多个图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括所述多个透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
基于所述区域确定信息确定在所捕获的图像中的分别与所述多个透镜对应的所述多个图像的区域。
10.一种程序，所述程序使计算机用作：
通信部，所述通信部接收区域确定信息，所述区域确定信息用于确定与由通过多个透镜收集的各个光束形成的图片对应的多个图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括所述多个透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
区域确定部，所述区域确定部基于所述区域确定信息确定在所捕获的图像中的分别与所述多个透镜对应的所述多个图像的区域。
11.一种可交换透镜，包括：
多个透镜；
存储部，所述存储部存储区域确定信息，所述区域确定信息用于确定与由通过所述多个透镜收集的各个光束形成的图片对应的多个图像的各个区域，其中，在所述可交换透镜安装在包括一个图像传感器的摄像装置本体上的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
通信部，所述通信部将所述区域确定信息传输至外部。
12.根据权利要求11所述的可交换透镜，还包括：
光圈，所述光圈针对所述多个小面透镜中的每一个限制从所述多个透镜到达所述图像传感器的各个光束。
13.根据权利要求12所述的可交换透镜，其中，所述光圈具有开口，所述开口以通过所述多个透镜中的一个收集的光束与通过所述多个透镜中的另一个收集的光束不交叠的方式限制来自所述透镜的光束。
14.根据权利要求11所述的可交换透镜，其中，所述区域确定信息指示所述多个透镜的各个有效图像圈的直径以及所述有效图像圈的中心位置。
15.根据权利要求11所述的可交换透镜，其中，所述区域确定信息包括指示在所捕获的图像中的与所述多个透镜对应的各个图像的区域的区域信息。

Claims (15)

1.一种信息处理装置，包括：
通信部，所述通信部接收区域确定信息，所述区域确定信息用于确定与通过多个小面透镜收集的各个光束所形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以所述多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
区域确定部，所述区域确定部基于所述区域确定信息确定在所捕获的图像中的分别与所述多个小面透镜对应的所述多个小面图像的区域。
2.根据权利要求1所述的信息处理装置，其中，与所述小面透镜对应的所述小面图像是在由通过所述小面透镜收集的光束形成的图片内仅包括与由通过另一小面透镜收集的光束形成的另一图片不交叠的部分的图像。
3.根据权利要求1所述的信息处理装置，还包括：
通过使用所述多个小面图像中的一些或者全部来控制曝光的控制部。
4.根据权利要求1所述的信息处理装置，还包括：
显示所捕获的图像或者所述小面图像的显示部。
5.根据权利要求1所述的信息处理装置，还包括：
光收集处理部，所述光收集处理部执行以下光收集处理：通过移动和累计包括所述多个小面图像的多个视点的视点图像中的像素，来生成聚焦于沿深度方向在预定距离处的聚焦点的处理结果图像。
6.根据权利要求5所述的信息处理装置，其中，所述光收集处理部根据关于所述多个视点的所述视点图像的视差信息来设定在所述视点图像中移动所述像素的移动量。
7.根据权利要求5所述的信息处理装置，其中，所述多个视点的所述视点图像包括所述多个小面图像和使用所述多个小面图像通过插值生成的多个插值图像。
8.根据权利要求7所述的信息处理装置，还包括：
视差信息生成部，所述视差信息生成部生成关于所述多个小面图像的视差信息；以及
插值部，所述插值部通过使用所述小面图像和所述视差信息来生成不同视点的所述多个插值图像。
9.一种由信息处理装置执行的信息处理方法，所述方法包括：
接收区域确定信息，所述区域确定信息用于确定与通过多个小面透镜收集的各个光束所形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以所述多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
基于所述区域确定信息确定在所捕获的图像中的分别与所述多个小面透镜对应的所述多个小面图像的区域。
10.一种程序，所述程序使计算机用作：
通信部，所述通信部接收区域确定信息，所述区域确定信息用于确定与由通过多个小面透镜收集的各个光束形成的图片对应的多个小面图像的各个区域，其中，在包括一个图像传感器的摄像装置本体配备有包括以所述多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜的可交换透镜的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
区域确定部，所述区域确定部基于所述区域确定信息确定在所捕获的图像中的分别与所述多个小面透镜对应的所述多个小面图像的区域。
11.一种可交换透镜，包括：
以多个小面透镜在光轴方向上彼此不交叠的方式布置的所述多个小面透镜；
存储部，所述存储部存储区域确定信息，所述区域确定信息用于确定与由通过所述多个小面透镜收集的各个光束形成的图片对应的多个小面图像的各个区域，其中，在所述可交换透镜安装在包括一个图像传感器的摄像装置本体上的情况下，所述各个区域被包括在由所述图像传感器捕获的图像中；以及
通信部，所述通信部将所述区域确定信息传输至外部。
12.根据权利要求11所述的可交换透镜，还包括：
光圈，所述光圈针对所述多个小面透镜中的每一个限制从所述多个小面透镜到达所述图像传感器的各个光束。
13.根据权利要求12所述的可交换透镜，其中，所述光圈具有开口，所述开口以通过所述多个小面透镜中的一个收集的光束与通过所述多个小面透镜中的另一个收集的光束不交叠的方式限制来自所述小面透镜的光束。
14.根据权利要求11所述的可交换透镜，其中，所述区域确定信息指示所述多个小面透镜的各个有效图像圈的直径以及所述有效图像圈的中心位置。
15.根据权利要求11所述的可交换透镜，其中，所述区域确定信息包括指示在所捕获的图像中的与所述多个小面透镜对应的各个小面图像的区域的区域信息。
CN201880060658.8A 2017-09-27 2018-09-13 信息处理装置、信息处理方法、程序以及可互换透镜 Pending CN111108742A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017186334 2017-09-27
JP2017-186334 2017-09-27
PCT/JP2018/033917 WO2019065260A1 (ja) 2017-09-27 2018-09-13 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ

Publications (1)

Publication Number Publication Date
CN111108742A true CN111108742A (zh) 2020-05-05

Family

ID=65901786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060658.8A Pending CN111108742A (zh) 2017-09-27 2018-09-13 信息处理装置、信息处理方法、程序以及可互换透镜

Country Status (5)

Country Link
US (1) US20210377432A1 (zh)
EP (1) EP3664433A4 (zh)
JP (1) JPWO2019065260A1 (zh)
CN (1) CN111108742A (zh)
WO (1) WO2019065260A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7378920B2 (ja) 2018-10-16 2023-11-14 キヤノン株式会社 光学装置及びそれを備える撮像システム
WO2021124940A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
KR20220116183A (ko) * 2019-12-20 2022-08-22 소니그룹주식회사 촬상 장치, 정보 처리 방법, 및 프로그램
WO2021124941A1 (ja) * 2019-12-20 2021-06-24 ソニーグループ株式会社 撮像装置、情報処理方法、プログラム、および交換レンズ
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus
JPWO2023058347A1 (zh) * 2021-10-07 2023-04-13

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002215A (zh) * 2011-09-08 2013-03-27 卡西欧计算机株式会社 内插图像生成装置、重构图像生成装置及生成内插图像的方法
CN103424958A (zh) * 2012-05-16 2013-12-04 佳能株式会社 可交换透镜、可交换透镜控制方法、照相机及其控制方法
US20150229815A1 (en) * 2014-02-07 2015-08-13 Olympus Corporation Imaging system, display system, and optical device
WO2016199381A1 (en) * 2015-06-08 2016-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN107024755A (zh) * 2016-02-02 2017-08-08 索尼公司 可交换透镜和它的驱动方法，以及电子装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7557338B2 (en) * 2006-03-14 2009-07-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Electronic device with integrated optical navigation module and microlens array therefore
JP2012129714A (ja) * 2010-12-14 2012-07-05 Samsung Yokohama Research Institute Co Ltd 光学システム及びこれを備える撮像装置
JP2012215631A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 撮像装置及び撮像方法
US9395516B2 (en) * 2012-05-28 2016-07-19 Nikon Corporation Imaging device
JP6126474B2 (ja) * 2013-06-28 2017-05-10 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002215A (zh) * 2011-09-08 2013-03-27 卡西欧计算机株式会社 内插图像生成装置、重构图像生成装置及生成内插图像的方法
CN103424958A (zh) * 2012-05-16 2013-12-04 佳能株式会社 可交换透镜、可交换透镜控制方法、照相机及其控制方法
US20150229815A1 (en) * 2014-02-07 2015-08-13 Olympus Corporation Imaging system, display system, and optical device
WO2016199381A1 (en) * 2015-06-08 2016-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN107024755A (zh) * 2016-02-02 2017-08-08 索尼公司 可交换透镜和它的驱动方法，以及电子装置

Also Published As

Publication number Publication date
WO2019065260A1 (ja) 2019-04-04
JPWO2019065260A1 (ja) 2020-11-05
EP3664433A4 (en) 2021-01-20
EP3664433A1 (en) 2020-06-10
US20210377432A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
JP6159097B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
US8947585B2 (en) Image capturing apparatus, image processing method, and storage medium
JP2014153890A5 (zh)
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
JP6095266B2 (ja) 画像処理装置及びその制御方法
JP2015073185A (ja) 画像処理装置、画像処理方法およびプログラム
JP2013061850A (ja) ノイズ低減のための画像処理装置及び画像処理方法
CN104756493A (zh) 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
JP2013093836A (ja) 撮像装置、画像処理装置およびその方法
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
CN109923853B (zh) 图像处理装置、图像处理方法以及程序
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP6502640B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2013175821A (ja) 画像処理装置、画像処理方法およびプログラム
JP2017215851A (ja) 画像処理装置および画像処理方法、造形システム
JP2018007205A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
US11336803B2 (en) Information processing apparatus, information processing method, program, and interchangeable lens
JP2016099322A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP6292785B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6387149B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220909