CN114788258A - 成像设备、信息处理方法和程序 - Google Patents

成像设备、信息处理方法和程序 Download PDF

Info

Publication number
CN114788258A
CN114788258A CN202080086197.9A CN202080086197A CN114788258A CN 114788258 A CN114788258 A CN 114788258A CN 202080086197 A CN202080086197 A CN 202080086197A CN 114788258 A CN114788258 A CN 114788258A
Authority
CN
China
Prior art keywords
image
view
unit
display
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086197.9A
Other languages
English (en)
Inventor
栉田英功
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114788258A publication Critical patent/CN114788258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及允许更容易地确信与其视点具有不同单眼光学系统的多个图像之间的差异的成像设备、信息处理方法和程序。作为其视点具有多个单眼光学系统的多个图像当中的一个图像被选择性地显示，同时被动态切换，所述单眼光学系统具有彼此独立的光路。本公开能够应用于例如成像设备、电子装置、其中多个单眼镜头扩展的可更换镜头或相机系统、信息处理方法、程序等等。

Description

成像设备、信息处理方法和程序
技术领域
本公开涉及成像设备、信息处理方法和程序，并且更具体地涉及能够更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差的成像设备、信息处理方法和程序。
背景技术
以往，在使用具有彼此独立的光路的多个单视图光学系统执行成像的成像设备等中，已经考虑了显示捕获的图像的全体区域或显示从单视图光学系统观看的单视图图像的方法(例如，参见专利文献1)。
引文列表
专利文献
专利文献1：国际专利申请公开No.2019/065260
发明内容
本发明要解决的问题
但是，在专利文献1中描述的方法的情况下，难以直观地掌握以何种程度的视差对被摄体进行成像。
鉴于这种情况做出了本公开，并且其目的在于更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
问题的解决方案
根据本技术的一个方面的成像设备是包括显示控制单元的成像设备，该显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个，同时选择性地且动态地在图像之间切换。
根据本技术的一个方面的信息处理方法是这样一种信息处理方法，包括使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个，同时选择性地且动态地在图像之间切换。
根据本技术的一个方面的程序是用于使计算机用作显示控制单元的程序，该显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个，同时选择性地且动态地在图像之间切换。
在根据本技术的一个方面的成像设备、信息处理方法和程序中，从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任一个被显示在显示单元上，同时选择性地且动态地在图像之间切换。
附图说明
图1是图示对其应用本技术的相机的实施例的配置示例的透视图。
图2是图示对其应用本技术的相机的实施例的配置示例的图。
图3是图示相机的示例性电气配置的框图。
图4是图示三板图像传感器的示例的图。
图5是图示全体图像的示例的图。
图6是图示单视图图像的示例的图。
图7是图示合成图像的示例的图。
图8是用于描述相机与被摄体之间的位置关系的示例的图。
图9是图示全体图像中的单视图剪切图像的示例的图。
图10是用于描述单视图剪切图像的显示次序的示例的图。
图11是用于描述所显示图像的示例的图。
图12是用于描述移位的示例的图。
图13是图示全体图像中的单视图剪切图像的示例的图。
图14是用于描述所显示图像的示例的图。
图15是用于描述单视图剪切图像的显示次序的示例的图。
图16是用于描述单视图剪切图像的显示次序的示例的图。
图17是用于描述单视图剪切图像的显示次序的示例的图。
图18是图示显示图像生成单元的主要配置示例的框图。
图19是用于描述成像处理的流程的示例的流程图。
图20是用于描述显示图像显示处理的流程的示例的流程图。
图21是用于描述显示视图选择处理的流程的示例的流程图。
图22是用于描述所显示图像的示例的图。
图23是用于描述所显示图像的示例的图。
图24是图示对其应用本技术的相机的实施例的配置示例的透视图。
图25是图示相机系统的示例性电气配置的框图。
图26是图示相机的示例性电气配置的框图。
图27是图示显示图像生成单元的主要配置示例的框图。
图28是用于描述显示图像显示处理的流程的示例的流程图。
图29是图示显示图像生成单元的主要配置示例的框图。
图30是用于描述显示图像显示处理的流程的示例的流程图。
图31是图示计算机的主要配置示例的框图。
具体实施方式
在下文中，将描述用于执行本公开的模式(下文中称为实施例)。注意的是，将按以下次序给出描述。
1.第一实施例(相机)
2.第二实施例(相机系统)
3.第三实施例(相机)
4.附录
<1.第一实施例>
<相机的外观>
图1是图示对其应用本技术的相机的实施例的配置示例的透视图。
相机10结合了图像传感器，接收由镜头会聚的光束，并执行光电转换以对被摄体进行成像。在下文中，通过这种成像获得的图像也被称为捕获的图像。
相机10在图像传感器的前侧(光入射的一侧)设有镜筒20，并且镜筒20包括多个(诸如五个)单视图光学系统310、311、312、313和314。在下文中，在不必区分各单独视图光学系统以进行解释的情况下单视图光学系统310至314将被称为单视图光学系统31(或单视图光学系统31i)。
多个单视图光学系统31被配置为使得穿过这些系统的光的光路彼此独立。即，穿过镜筒20的单视图光学系统31的光出射到图像传感器的光接收表面(例如，有效像素区域)上的不同位置，而不入射到其它单视图光学系统31上。至少单视图光学系统31的光轴位于图像传感器的光接收表面上的不同位置，并且已经穿过单视图光学系统31的光的至少一部分出射到图像传感器的光接收表面上的不同位置。
因而，在由图像传感器生成的捕获的图像(由图像传感器输出的全体图像)中，通过单视图光学系统31形成的被摄体的图像形成在不同位置。换句话说，根据捕获的图像，获得从单视图光学系统31观看的捕获的图像(也称为视点图像)。即，相机10可以通过对被摄体成像来获得多个视点图像。例如，可以将多个视点图像用于诸如深度信息的生成和使用深度信息的重新聚焦之类的处理。
注意的是，虽然将在以下描述中描述相机10包括五个单视图光学系统31的示例，但是单视图光学系统31的数量是任意的，只要它是两个或更多个即可。
五个单视图光学系统31被提供成使得在与镜筒20的光轴正交(与图像传感器的光接收表面(成像表面)平行)的二维平面上，单视图光学系统310作为中心(重心)被被布置为形成矩形的顶点的其它四个单视图光学系统311至314包围。不言而喻，图1中所示的布置是示例，并且单视图光学系统31的位置关系是任意的，只要光路彼此独立即可。
此外，关于相机10，将来自被摄体的光入射到其上的一侧的表面定义为前表面。图2是从背面观看的相机10的图。如图2中所示，显示面板单元33、取景器单元34、拨盘35和按钮36在相机10的外壳的背侧提供。
显示面板单元33和取景器单元34包括例如诸如液晶显示器或有机电致发光显示器(OELD)之类的显示设备，并且可以在成像之前显示通过镜头的图像或者在成像之后显示捕获的图像用于确认。拨盘35和按钮36是输入设备的示例，并且当用户操作拨盘35和按钮36时可以接受用户操作。
<相机的示例性电气配置>
图3是图示相机10的示例性电气配置的框图。相机10包括多视图光学系统30、图像传感器51、RAW信号处理单元52、区域提取单元53、相机信号处理单元54、显示图像生成单元55、区域标识单元56、图像重构处理单元57、总线60、显示单元61、存储单元62、通信单元64、归档单元65、控制单元81、存储单元82和光学系统控制单元84。
<多视图光学系统>
多视图光学系统30包括上述单视图光学系统31(例如，单视图光学系统310至314)。多视图光学系统30的单视图光学系统31将来自被摄体的光束会聚在相机10的图像传感器51上。假设单视图光学系统31的规格相同。
单视图光学系统31包括例如布置在镜筒光轴的光轴方向上的多个镜头，以及作为用于通过控制遮蔽物的打开程度来调整通过多个镜头入射到图像传感器51上的光量(F值)的机构的光圈之类光学系统元件。注意的是，单视图光学系统31可以通过控制镜头的位置来控制变焦范围。
<图像传感器>
图像传感器51是例如互补金属氧化物半导体(CMOS)图像传感器，并且对被摄体进行成像以生成捕获的图像。图像传感器51的光接收表面用由单视图光学系统310至314会聚的光束照射。在捕获的图像中，与通过一个单视图图光学系统31出射到图像传感器51的照射光被输入到的区域对应的图像也被称为单视图图像。即，图像传感器51接收这些光束(照射光)并执行光电转换，从而生成包括从单视图图光学系统31观看的单视图图像的捕获的图像。
注意的是，单视图光学系统31的光轴与图像传感器51上的不同位置对应。因而，在由图像传感器51生成的捕获的图像(或获取的图像)中，在至少部分不同的位置中生成单视图图像(绝不存在所有单视图图像都在完全相同的位置生成的情况)。此外，单视图图像在其周边具有作为图像无效的部分。此外，包括所有单视图图像的捕获的图像(即，由图像传感器51生成的全体捕获的图像或通过从捕获的图像中删除包括在捕获的图像中的所有单视图图像之外的部分或所有区域而获得的图像)也被称为全体图像。
注意的是，图像传感器51例如可以是单色(所谓的单色)图像传感器，或者可以是其中拜耳阵列中的滤色器被布置在像素组中的彩色图像传感器。即，由图像传感器51输出的捕获的图像可以是单色图像或彩色图像。在以下描述中，假设图像传感器51是彩色图像传感器并且生成并输出RAW格式的捕获的图像。
注意的是，在本实施例中，RAW格式是指维持图像传感器51的颜色过滤器的布置的位置关系的状态的图像，并且可以包括通过执行图像传感器51的诸如图像尺寸转换处理、降噪处理、缺陷校正处理或对从图像传感器51输出的图像的压缩编码之类的信号处理而获得的图像。此外，RAW格式的捕获的图像不包括单色图像。
图像传感器51能够以RAW格式输出通过对照射光进行光电转换而生成的捕获的图像(全体图像)。例如，图像传感器51可以将RAW格式的捕获的图像(全体图像)供应给总线60、RAW信号处理单元52、区域提取单元53和区域标识单元56中的至少一个。
例如，图像传感器51可以将RAW格式的捕获的图像(全体图像)通过总线60供应给存储单元62，并使存储单元62将捕获的图像存储在存储介质63中。此外，图像传感器51可以通过总线60将RAW格式的捕获的图像(全体图像)供应给通信单元64，并使通信单元64将捕获的图像传输到相机10的外部。而且，图像传感器51可以通过总线60将RAW格式的捕获的图像(全体图像)供应给归档单元65，并使归档单元65归档捕获的图像。此外，图像传感器51可以通过总线60将RAW格式的捕获的图像(全体图像)供应给图像重构处理单元57，并使图像重构处理单元57执行图像重构处理。
注意的是，图像传感器51可以是单板图像传感器，或者可以是包括多个图像传感器的图像传感器的集合(也称为多板图像传感器)，诸如三板图像传感器。
例如，作为三板图像传感器，存在如图4中所示的包括用于红色、绿色和蓝色(RGB)的三个图像传感器(图像传感器51-1至图像传感器51-3)的图像传感器。在这种情况下，来自被摄体的光束使用诸如棱镜之类的光学系统(光路分离单元)针对每个波长区域进行分离，并且入射在每个图像传感器上。图像传感器51-1至51-3各自对入射光进行光电转换。即，图像传感器51-1至51-3在基本相同的定时对不同波长区域的光进行光电转换。因而，在多板图像传感器的情况下，图像传感器获得在基本相同时间和基本相同视角所捕获的捕获的图像(即，仅具有不同波长范围的基本相同图案的图像)。因而，由图像传感器获得的捕获的图像中的视点图像区域(稍后描述)的位置和尺寸基本相同。在这种情况下，可以将R图像、G图像和B图像的组合视为RAW格式的捕获的图像。
注意的是，在多板图像传感器的情况下，每个图像传感器不限于RGB中的每一个，并且可以全部是单色的，或者可以全部设有诸如拜耳阵列之类的颜色过滤器。注意的是，在所有图像传感器都设有诸如拜耳阵列之类的颜色过滤器的情况下，如果所有阵列都相同并且像素的位置关系匹配，那么例如可以执行降噪，并且如果RGB图像传感器的位置关系移位，那么也有可能通过使用空间像素偏移的效果来提高图像质量。
即使在这种多板成像设备的情况下，多个单视图图像和多个视点图像也包括在从图像传感器(即，一个图像传感器)输出的捕获的图像中。
<RAW信号处理单元>
RAW信号处理单元52对RAW格式的图像执行与信号处理相关的处理。例如，RAW信号处理单元52可以获取从图像传感器51供应的RAW格式的捕获的图像(全体图像)。此外，RAW信号处理单元52可以对获取的捕获的图像执行预定的信号处理。信号处理的内容是任意的。例如，信号处理可以是缺陷校正、降噪、压缩(编码)等，或其它信号处理。不言而喻，RAW信号处理单元52还可以对捕获的图像执行多种类型的信号处理。注意的是，对RAW格式图像的各种类型的信号处理仅限于信号处理之后的图像是如上所述图像传感器51的颜色过滤器的布置的位置关系得以维持的状态的图像(在多板成像设备的情况下，处于R图像、G图像和B图像的状态的图像)的那些信号处理。
RAW信号处理单元52可以通过总线60将经信号处理的RAW格式的捕获的图像(RAW')或压缩的(编码的)捕获的图像(压缩的RAW)供应给存储单元62，并使存储单元62将捕获的图像存储在存储介质63中。此外，RAW信号处理单元52可以通过总线60将经信号处理的RAW格式的捕获的图像(RAW')或压缩的(编码的)捕获的图像(压缩的RAW)供应给通信单元64，并使通信单元64传输捕获的图像。而且，RAW信号处理单元52可以通过总线60将经信号处理的RAW格式的捕获的图像(RAW')或压缩的(编码的)捕获的图像(压缩的RAW)供应给归档单元65，并使归档单元65归档捕获的图像。此外，RAW信号处理单元52可以通过总线60将经信号处理的RAW格式的捕获的图像(RAW')或压缩的(编码的)捕获的图像(压缩的RAW)供应给图像重构处理单元57，并使图像重构处理单元57执行图像重构处理。注意的是，在不必区分图像以进行解释的情况下，将RAW、RAW'和压缩的RAW(都在图3中)将被称为RAW图像。
<区域提取单元>
区域提取单元53执行与从RAW格式的捕获的图像中提取部分区域(部分图像的剪切)相关的处理。例如，区域提取单元53可以获取从图像传感器51供应的RAW格式的捕获的图像(全体图像)。此外，区域提取单元53可以获取指示要从从区域标识单元56供应的捕获的图像中提取的区域的信息(也称为提取区域信息)。然后，区域提取单元53可以基于提取区域信息从捕获的图像中提取部分区域(剪切部分图像)。
例如，区域提取单元53可以从捕获的图像(全体图像)中剪切从单视图光学系统31观看的图像。即，区域提取单元53可以从作为从每个单视图光学系统31观看的图像的捕获的图像中包括的每个单视图图像的区域中剪切有效部分。有效部分(单视图图像的一部分)的剪切图像也被称为视点图像。此外，也将捕获的图像中的剪切区域(与视点图像对应的区域)称为视点图像区域。例如，区域提取单元53可以获取从区域标识单元56供应并用于识别视点图像区域的视点相关信息作为提取区域信息，并且从捕获的图像中提取在视点相关信息中指示的每个视点图像区域(剪切每个视点图像)。然后，区域提取单元53可以将剪切的视点图像(RAW格式)供应给相机信号处理单元54。
此外，例如，区域提取单元53可以组合从捕获的图像(全体图像)中剪切的视点图像以生成合成图像。通过将视点图像组合成一条数据或一个图像来获得合成图像。例如，区域提取单元53可以生成将视点图像以平面方式布置的一个图像(合成图像)。区域提取单元53可以将生成的合成图像(RAW格式)供应给相机信号处理单元54。
此外，例如，区域提取单元53可以将全体图像供应给相机信号处理单元54。例如，区域提取单元53可以从获取的捕获的图像中提取包括所有单视图图像的部分区域(即，剪切包括所有单视图图像的部分图像)，并向相机信号处理单元54供应剪切的部分图像(即，通过删除包括在捕获的图像中的所有单视图图像之外的部分或所有区域所获得的图像)作为RAW格式的全体图像。在这种情况下要提取的区域的位置(范围)可以在区域提取单元53中预先确定，或者可以通过从区域标识单元56供应的视点相关信息来指定。
此外，区域提取单元53还可以将获取的捕获的图像(即，不是包括所有单视图图像的剪切的部分图像而是全体捕获的图像)作为RAW格式的全体图像供应给相机信号处理单元54。
注意的是，区域提取单元53可以通过总线60将如上所述从捕获的图像剪切的RAW格式的部分图像(全体图像、视点图像或合成图像)供应给存储单元62、通信单元64、归档单元65、图像重构处理单元57等，与图像传感器51的情况类似。
此外，区域提取单元53可以将RAW格式的部分图像(全体图像、视点图像或合成图像)供应给RAW信号处理单元52，并且使RAW信号处理单元52对部分图像执行预定的信号处理或压缩(编码)。在这种情况下，RAW信号处理单元52也可以通过总线60将经信号处理的RAW格式的捕获的图像(RAW”)或压缩的(编码的)捕获的图像(压缩的RAW)供应给存储单元62、通信单元64，归档单元65、图像重构处理单元57等。
即，捕获的图像(或全体图像)、视点图像或合成图像中的至少一个可以是RAW图像。
<相机信号处理单元>
相机信号处理单元54对图像执行与相机信号处理相关的处理。例如，相机信号处理单元54可以获取从区域提取单元53供应的图像(全体图像、视点图像或合成图像)。此外，相机信号处理单元54可以对获取的图像执行相机信号处理(相机处理)。例如，相机信号处理单元54可以对要处理的图像执行分离RGB中的每一个的颜色分离处理以生成各自具有与要处理的图像相同数量的像素的R图像、G图像和B图像(使用诸如Bayer阵列之类的马赛克颜色过滤器时的去马赛克处理)，将颜色分离之后图像的颜色空间从RGB转换成YC(辉度和色差)的YC转换处理，等等。此外，相机信号处理单元54可以对要处理的图像执行诸如缺陷校正、降噪、自动白平衡(AWB)或伽马校正之类的处理。而且，相机信号处理单元54还可以压缩(编码)要处理的图像。不言而喻，相机信号处理单元54可以对要处理的图像执行多种类型的相机信号处理，并且还可以执行除上述示例以外的相机信号处理。
注意的是，在以下描述中，假设相机信号处理单元54获取RAW格式的图像，对图像执行颜色分离处理和YC转换，并输出YC格式的图像(YC)。这个图像可以是全体图像、每个视点图像或合成图像。此外，可以对YC格式的图像(YC)进行编码或不编码。即，从相机信号处理单元54输出的数据可以是编码数据，或者可以是未编码的图像数据。
即，捕获的图像(或全体图像)、视点图像或合成图像中的至少一种可以是YC格式的图像(也称为YC图像)。
此外，作为YC格式的图像(YC)，由相机信号处理单元54输出的图像可以不经受完全显影处理，而是经受其中与不可逆图像质量调整(颜色调整)(诸如伽马校正或颜色矩阵)相关的部分或全部处理被省略的处理。在这种情况下，可以将YC格式的图像(YC)返回到RAW格式的图像，而基本上不会在后续阶段、再现等中出现劣化。
例如，相机信号处理单元54可以通过总线60将经相机信号处理的YC格式的图像(YC)供应给显示单元61，并使显示单元61显示图像。此外，相机信号处理单元54可以通过总线60将经相机信号处理的YC格式的图像(YC)供应给存储单元62，并使存储单元62将图像(YC)存储在存储介质63中。而且，相机信号处理单元54可以通过总线60将经相机信号处理的YC格式的图像(YC)供应给通信单元64，并使通信单元64将图像传输到外部。此外，相机信号处理单元54可以通过总线60将经相机信号处理的YC格式的图像(YC)供应给归档单元65，并使归档单元65归档该图像。而且，相机信号处理单元54可以通过总线60将经相机信号处理的YC格式的图像(YC)供应给图像重构处理单元57，并使图像重构处理单元57执行图像重构处理。
此外，例如，相机信号处理单元54还可以将YC格式的图像(YC)供应给显示图像生成单元55。
注意的是，在RAW格式的图像(全体图像、视点图像或部分图像)存储在存储介质63中的情况下，相机信号处理单元54可以能够从存储介质63中读取RAW格式的图像并执行信号处理。在这种情况下，相机信号处理单元54也可以通过总线60将经相机信号处理的YC格式的图像(YC)供应给显示单元61、存储单元62、通信单元64、归档单元65、图像重建处理单元57等。
此外，相机信号处理单元54可以对从图像传感器51输出的RAW格式的捕获的图像(全体图像)执行相机信号处理，并且区域提取单元53可以在相机信号处理之后从捕获的图像(全体图像)中提取部分区域。
<显示图像生成单元>
显示图像生成单元55执行与要在显示单元61上显示的显示图像的生成相关的处理。例如，显示图像生成单元55可以生成通过镜头的图像。通过镜头的图像是为了让用户确认在成像时或在成像准备时(非记录时)捕获的图像而显示的图像。即，使用由图像传感器51生成的显示图像(也称为获取的图像)来生成通过镜头的图像。注意的是，通过镜头的图像也被称为实时取景图像或电子到电子(EE)图像。注意的是，虽然在静止图像捕获时显示捕获之前的图像，但在移动图像捕获时，显示与正在捕获(记录)的图像对应的通过镜头的图像以及捕获准备期间的图像。
获取的图像是由图像传感器51生成的捕获的图像以外的图像。即，可以在生成捕获的图像的定时以外的定时生成获取的图像。此外，与捕获的图像类似，获取的图像是通过对图像传感器51接收的光进行光电转换而生成的图像。但是，注意的是，获取的图像的使用与捕获的图像的使用不同。虽然捕获的图像是用于记录(存储)的图像，但获取的图像是要由显示单元61(显示面板单元33或取景器单元34)显示为通过镜头的图像等的图像。而且，捕获的图像是静止图像(或移动图像)，而获取的图像(通过镜头的图像)基本上被显示为移动图像(包括多个帧的图像)。注意的是，获取的图像的规格(例如，分辨率、纵横比、颜色等)是任意的，并且可以与捕获的图像相同或不同。例如，获取的图像可以具有比捕获的图像更低的分辨率。
与捕获的图像的情况一样，可以通过区域提取单元53提取获取的图像的一部分，或者可以通过相机信号处理单元54对获取的图像进行相机信号处理。即，与捕获的图像的情况一样，可以将捕获的图像作为例如YC格式的图像(全体图像、视点图像或合成图像)供应给显示图像生成单元55。
在这种情况下，显示图像生成单元55可以获取从相机信号处理单元54供应的获取的图像(例如，全体图像、视点图像或合成图像)。此外，显示图像生成单元55可以通过例如使用获得的获取的图像根据显示单元61的分辨率执行转换成图像尺寸的图像尺寸(分辨率)转换来生成显示图像。而且，显示图像生成单元55可以通过总线60将生成的显示图像供应给显示单元61，并且使显示单元61将显示图像显示为通过镜头的图像。注意的是，显示图像的规格是任意的，并且可以与捕获的图像相同或不同。
此外，例如，显示图像生成单元55还可以生成捕获的图像的确认图像。例如，当用户通过按下快门按钮等来指示成像时，相机10使用图像传感器51等对被摄体进行成像并且生成用于记录(存储)的捕获的图像。在那时，为了使用户确认所生成的捕获的图像(即，成像结果)，相机10使用捕获的图像来生成确认图像(即，显示图像)并使得显示单元61(显示面板单元33或取景器单元34)显示确认图像。显示图像生成单元55可以生成确认图像。
即，在这种情况下，显示图像生成单元55可以获取例如从相机信号处理单元54供应的捕获的图像(例如，全体图像、视点图像或合成图像)。此外，显示图像生成单元55可以使用获取的捕获的图像来生成显示图像。而且，显示图像生成单元55可以通过总线60将生成的显示图像供应给显示单元61，并使显示单元61显示该显示图像作为确认图像。注意的是，与上述显示图像的情况一样，确认图像的规格是任意的。
而且，例如，显示图像生成单元55还可以生成记录的(存储的)捕获的图像的显示图像。例如，相机10可以使显示单元61显示从存储介质63读取的或通过通信单元64从另一个设备获取的捕获的图像。显示图像生成单元55可以生成捕获的图像的显示图像。
即，在这种情况下，显示图像生成单元55可以获取由存储单元62从存储介质63读取的捕获的图像或通过通信单元64从另一个设备获取的捕获的图像(例如，全体图像、视点图像或合成图像)。此外，显示图像生成单元55可以使用获取的捕获的图像来生成显示图像。而且，显示图像生成单元55可以通过总线60将生成的显示图像供应给显示单元61，并使显示单元61显示该显示图像。注意的是，显示图像的规格是任意的。
注意的是，显示图像生成单元55可以获取从区域标识单元56供应的视点相关信息(VI或VI')，并使用获取的视点相关信息来生成这些显示图像。此外，显示图像生成单元55可以获取从控制单元81供应的控制信息并使用控制信息来生成这些显示图像。
<区域标识单元>
区域标识单元56执行与由区域提取单元53从捕获的图像中提取的区域的标识(设置)相关的处理。例如，区域标识单元56识别视点相关信息(VI)并将视点图像区域供应给区域提取单元53。
视点相关信息(VI)包括例如指示捕获的图像中的视点图像区域的视点区域信息。视点区域信息能够以任何方式表示视点图像区域。例如，视点图像区域可以由指示与捕获的图像中的单视图光学系统31的光轴对应的位置的坐标(也称为视点图像区域的中心坐标)和视点图像(视点图像区域)的分辨率(像素数)表示。即，视点区域信息可以包括捕获的图像中的视点图像区域的中心坐标和视点图像区域的分辨率。在这种情况下，可以根据视点图像区域的中心坐标和视点图像区域的分辨率(像素数)来识别视点图像区域在全体图像中的位置。
注意的是，为每个视点图像区域设置视点区域信息。即，在捕获的图像包括多个视点图像的情况下，视点相关信息(VI)可以针对每个视点图像(每个视点图像区域)包括用于识别视点图像(区域)和视点区域信息的视点标识信息(例如，标识号)。
此外，视点相关信息(VI)可以包括其它任意信息。例如，视点相关信息(VI)可以包括指示捕获从其提取视点图像的捕获的图像的时间的视点时间信息。此外，视点相关信息(VI)可以包括视点图像，该视点图像包括指示包括以下区域的视点图像的区域信息，该区域是从单视图图像剪切的区域并且包括视点图像区域。而且，视点相关信息(VI)可以包括点光信息(spot light information，SI)，点光信息(SI)是关于形成在既不是视点图像区域也不是捕获的图像的单视图图像区域的区域中的点光图像的信息。
区域标识单元56将这种视点相关信息(VI)作为指示识别出的视点图像区域的信息供应给区域提取单元53，由此区域提取单元53可以基于视点相关信息(VI)提取由区域标识单元56识别出的视点图像区域(剪切视点图像)。
此外，区域标识单元56可以将视点相关信息(VI)供应给总线60。例如，区域标识单元56可以通过总线60将视点相关信息(VI)供应给存储单元62，并使存储介质63存储视点相关信息(VI)。此外，区域标识单元56可以通过总线60将视点相关信息(VI)供应给通信单元64，并使通信单元64传输视点相关信息(VI)。而且，区域标识单元56可以通过总线60将视点相关信息(VI)供应给归档单元65，并使归档单元65归档视点相关信息(VI)。此外，区域确定单元56可以通过总线60将视点相关信息(VI)供应给图像重构处理单元57，并使图像重构处理单元57在图像重构处理中使用视点相关信息(VI)。
例如，区域标识单元56可以从控制单元81获取这种视点相关信息(VI)，并将获取的视点相关信息(VI)供应给区域提取单元53和总线60。在这种情况下，控制单元81通过存储单元82读取存储在存储介质83中的视点相关信息(VI)，并将视点相关信息(VI)供应给区域标识单元56。区域标识单元56将视点相关信息(VI)供应给区域提取单元53和总线60。注意的是，视点相关信息(VI)可以包括点光信息(SI)。
以这种方式通过总线60供应给存储单元62、通信单元64或归档单元65的视点相关信息(VI)与图像(全体图像、视点图像或合成图像)相关联。例如，存储单元62可以将供应的视点相关信息(VI)与图像(全体图像、视点图像或合成图像)相关联，并将相关联的图像存储在存储介质63中。此外，通信单元64可以将供应的视点相关信息(VI)与图像(全体图像、视点图像或合成图像)相关联，并将相关联的图像传输到外部。而且，归档单元65可以将供应的视点相关信息(VI)与图像(全体图像、视点图像或合成图像)相关联，并且生成包括该图像和视点相关信息(VI)的一个文件。
此外，区域标识单元56可以获取从图像传感器51供应的RAW格式的捕获的图像，基于捕获的图像生成视点相关信息(VI')，并向区域提取单元53和总线60供应生成的视点相关信息(VI')。在这种情况下，区域确定单元56根据捕获的图像识别每个视点图像区域，并生成指示视点图像区域的视点相关信息(VI')(例如，视点图像区域由捕获的图像中视点图像区域的中心坐标、视点图像区域的分辨率等指示)。然后，区域标识单元56将生成的视点相关信息(VI')供应给区域提取单元53和总线60。注意的是，视点相关信息(VI')可以包括由区域标识单元56基于捕获的图像生成的点光信息(SI')。
而且，区域标识单元56可以从控制单元81获取视点相关信息(VI)，获取从图像传感器51供应的RAW格式的捕获的图像，基于捕获的图像生成点光信息(SI')，将点光信息(SI')添加到视点相关信息(VI)，并将视点相关信息(VI)供应给区域提取单元53和总线60。在这种情况下，控制单元81通过存储单元82读取存储在存储介质83中的视点相关信息(VI)，并将视点相关信息(VI)供应给区域标识单元56。区域标识单元56通过将点光信息(SI')添加到视点相关信息(VI)来生成视点相关信息(VI')。区域标识单元56将视点相关信息(VI')供应给区域提取单元53和总线60。
此外，区域标识单元56可以从控制单元81获取视点相关信息(VI)，获取从图像传感器51供应的RAW格式的捕获的图像，基于捕获的图像生成点光信息(SI')，使用点光信息(SI')校正视点相关信息(VI)，并将经校正的视点相关信息(VI')供应给区域提取单元53和总线60。在这种情况下，控制单元81通过存储单元82读取存储在存储介质83中的视点相关信息(VI)，并将视点相关信息(VI)供应给区域标识单元56。区域标识单元56使用点光信息(SI')校正视点相关信息(VI)，以生成视点相关信息(VI')。区域标识单元56将视点相关信息(VI')供应给区域提取单元53和总线60。
注意的是，区域标识单元56还可以将视点相关信息(VI或VI')供应给显示图像生成单元55。
<图像重构处理单元>
图像重构处理单元57执行与图像重构相关的处理。例如，图像重构处理单元57可以通过总线60从相机信号处理单元54或存储单元62获取YC格式的图像(全体图像、视点图像或合成图像)。此外，图像重构处理单元57可以通过总线60从区域标识单元56或存储单元62获取视点相关信息。
而且，使用获取的图像和与获取的图像相关联的视点相关信息，图像重构处理单元57可以例如执行诸如深度信息的生成和用于生成(重构)聚焦在任意被摄体上的图像的重新聚焦之类的图像处理。例如，在要处理视点图像的情况下，图像重构处理单元57使用每个视点图像来执行诸如深度信息的生成和重新聚焦之类的处理。此外，在要处理捕获的图像或合成图像的情况下，图像重构处理单元57从捕获的图像或合成图像中提取每个视点图像，并通过使用提取的视点图像执行诸如深度信息的生成和重新聚焦之类的处理。
图像重构处理单元57可以将生成的深度信息和重新聚焦的图像作为处理结果通过总线60供应给存储单元62，并使存储单元62将处理结果存储在外部的存储介质63中。此外，图像重构处理单元57可以通过总线60将生成的深度信息和重新聚焦的图像作为处理结果供应给通信单元64，并且使通信单元64传输处理结果。而且，图像重构处理单元57可以将生成的深度信息和重新聚焦的图像作为处理结果通过总线60供应给归档单元65，并使归档单元65归档处理结果。
<总线>
图像传感器51、RAW信号处理单元52、区域提取单元53、相机信号处理单元54、显示图像生成单元55、区域标识单元56、图像重构处理单元57、显示单元61、存储单元62、通信单元64和归档单元65连接到总线60。总线60用作在这些块之间交换的各种类型的数据的传输介质(传输路径)。注意的是，总线60可以通过有线或无线通信来实现。
<显示单元>
显示单元61包括例如显示面板单元33和取景器单元34。显示单元61执行与图像显示相关的处理。例如，显示单元61可以获取从显示图像生成单元55供应的YC格式的获取的图像的显示图像，将显示图像转换成RGB格式，并将显示图像在显示面板单元33和取景器单元34上显示为通过镜头的图像。此外，例如，显示单元61还可以显示诸如相机10的菜单和设置的信息。
此外，显示单元61可以获取从显示图像生成单元55供应的捕获的图像的确认图像，并且在显示面板单元33和取景器单元34上显示确认图像。而且，显示单元61可以获取从显示图像生成单元55供应的记录的(存储的)捕获的图像的显示图像，并将显示图像显示在显示面板单元33和取景器单元34上。注意的是，显示单元61可以能够显示捕获的图像的缩略图图像。
<存储单元>
存储单元62控制存储介质63的存储，存储介质63包括例如半导体存储器等。存储介质63可以是可去除的存储介质或内置在相机10中的存储介质。
存储单元62可以根据控制单元81的操作、用户操作等将通过总线60提供的图像(捕获的图像、视点图像或合成图像)存储在存储介质63中。
例如，存储单元62可以获取从图像传感器51或区域提取单元53供应的RAW格式的图像(全体图像、视点图像或合成图像)，并将图像存储在存储介质63中。此外，存储单元62可以获取从RAW信号处理单元52供应的经信号处理的RAW格式的图像(全体图像、视点图像或合成图像)，并将该图像存储在存储介质63中。而且，存储单元62可以获取从RAW信号处理单元52供应的RAW格式的压缩的(编码的)图像(全体图像、视点图像或合成图像)，并将该图像存储在存储介质63中。此外，存储单元62可以获取从相机信号处理单元54供应的YC格式的图像(全体图像、视点图像或合成图像)，并将该图像存储在存储介质63中。
在那时，彼此相关联的图像(全体图像、视点图像或合成图像)和视点相关信息可以存储在存储介质63中。例如，存储单元62可以获取从区域标识单元56供应的视点相关信息，并将视点相关信息与上述图像(全体图像、视点图像或合成图像)相关联地存储在存储介质63中。即，存储单元62用作将全体图像、视点图像或合成图像中的至少一个与视点相关信息相关联的关联单元。
此外，存储单元62可以获取从图像重构处理单元57供应的深度信息和重新聚焦的图像，并将获取的信息和图像存储在存储介质63中。此外，存储单元62可以获取从归档单元65供应的文件并将该文件存储在存储介质63中。这个文件包括图像(全体图像、视点图像或合成图像)和视点相关信息。即，在这个文件中，图像(全体图像、视点图像或合成图像)和视点相关信息彼此相关联。
此外，存储单元62可以根据控制单元81的操作、用户操作等读取存储在存储介质63中的数据、文件等。
例如，存储单元62可以从存储介质63读取YC格式的捕获的图像(全体图像、视点图像或合成图像)，将捕获的图像供应给显示图像生成单元55，并使显示图像生成单元55生成其显示图像。此外，存储单元62可以从存储介质63中读取RAW格式的图像(全体图像、视点图像或合成图像)，将该图像供应给相机信号处理单元54，并使相机信号处理单元54执行相机信号处理。
而且，存储单元62还可以将与图像(全体图像、视点图像或合成图像)相关联的视点相关信息与图像一起读取。例如，存储单元62可以从存储介质63读取彼此相关联的图像(全体图像、视点图像或合成图像)和视点相关信息的数据，将它们供应给图像重构处理单元57，并使图像重构处理单元57执行诸如深度信息的生成和重新聚焦之类的处理。此外，存储单元62可以从存储介质63读取包括彼此相关联的图像(全体图像、视点图像或合成图像)和视点相关信息的文件，将该文件供应给图像重构处理单元57，并使图像重构处理单元57执行诸如深度信息的生成和重新聚焦之类的处理。
而且，存储单元62可以从存储介质63读取彼此相关联的图像(全体图像、视点图像或合成图像)以及视点相关信息的数据和文件，将所述图像以及所述数据和文件提供给通信单元64，并使通信单元64传输所述图像以及所述数据和文件。此外，存储单元62可以从存储介质63中读取彼此相关联的图像(全体图像、视点图像或合成图像)和视点相关信息的数据，将图像和数据供应给归档单元65，并使归档单元65归档图像和数据。
注意的是，存储介质63可以是只读存储器(ROM)或可重写存储器，诸如随机存取存储器(RAM)或闪存。在可重写存储器的情况下，存储介质63可以存储任意信息。
<通信单元>
通信单元64通过任意通信方法与互联网上的服务器、有线或无线LAN上的PC、其它外部设备等通信。通信单元64可以根据控制单元81的控制、用户操作等通过流传输方法、上传方法等经由通信将图像(捕获的图像、视点图像或合成图像)以及视点相关信息的数据和文件等传输到通信伙伴(外部设备)。
例如，通信单元64可以获取并传输从图像传感器51或区域提取单元53供应的RAW格式的图像(捕获的图像、视点图像或合成图像)。此外，通信单元64可以获取并传输经信号处理的RAW格式的图像(捕获的图像、视点图像或合成图像)或从RAW信号处理单元52供应的压缩的(编码的)图像(捕获的图像、视点图像或合成图像)。而且，通信单元64可以获取并传输从相机信号处理单元54供应的YC格式的图像(捕获的图像、视点图像或合成图像)。
在那时，通信单元64可以获取从区域标识单元56供应的视点相关信息，并将视点相关信息与上述图像(全体图像、视点图像或合成图像)相关联。即，通信单元64可以传输彼此相关联的图像(全体图像、视点图像或合成图像)和视点相关信息。例如，在通过流传输方法传输图像的情况下，通信单元64重复从供应图像的处理单元获取要传输的图像(全体图像、视点图像或合成图像)的处理，将从区域标识单元56供应的视点相关信息与图像相关联，并传输图像。即，通信单元64用作将全体图像、视点图像或合成图像中的至少一个与视点相关信息相关联的关联单元。
此外，例如，通信单元64可以获取并传输从图像重构处理单元57供应的深度信息和重新聚焦的图像。而且，通信单元64可以获取并传输从归档单元65供应的文件。这个文件包括例如图像(全体图像、视点图像或合成图像)和视点相关信息。即，在这个文件中，图像(全体图像、视点图像或合成图像)和视点相关信息彼此相关联。
注意的是，通信单元64还可以从相机10外部的设备(通信伙伴)获取图像(全体图像、视点图像或合成图像)以及视点相关信息的数据和文件。
<归档单元>
归档单元65执行与文件生成相关的处理。例如，归档单元65可以获取从图像传感器51或区域提取单元53供应的RAW格式的图像(全体图像、视点图像或合成图像)。此外，归档单元65可以获取经信号处理的RAW格式的图像(全体图像、视点图像或合成图像)或从RAW信号处理单元52供应的RAW格式的压缩的(编码的)图像(全体图像、视点图像或合成图像)。而且，归档单元65可以获取从相机信号处理单元54供应的YC格式的图像(全体图像、视点图像或合成图像)。此外，例如，归档单元65可以获取从区域标识单元56供应的视点相关信息。
归档单元65可以归档多条获取的数据并且生成包括多条数据的一个文件，从而将多条获取的数据彼此相关联。例如，归档单元65可以从图像(全体图像、视点图像或合成图像)和上述视点相关信息生成一个文件，以将图像和视点相关信息彼此相关联。即，归档单元65用作将全体图像、视点图像或合成图像中的至少一个与视点相关信息相关联的关联单元。
此外，例如，归档单元65可以获取并归档从图像重构处理单元57供应的深度信息和重新聚焦的图像。而且，归档单元65可以根据从存储单元62供应的彼此相关联的图像(全体图像、视点图像或合成图像)和视点相关信息生成一个文件。
注意的是，归档单元65可以生成要归档的图像(例如，视点图像)的缩略图图像，并且将缩略图图像包括在生成的文件中。即，通过归档缩略图图像，归档单元65可以将缩略图图像与图像(全体图像、视点图像或合成图像)或视点相关信息相关联。
归档单元65例如可以通过总线60将生成的文件(彼此相关联的图像和视点相关信息)供应给存储单元62，并使存储单元62将文件存储在存储介质63中。此外，归档单元65可以例如通过总线60将生成的文件(彼此相关联的图像和视点相关信息)供应给通信单元64，并使通信单元64传输该文件。
<关联单元>
存储单元62、通信单元64和归档单元65也被称为关联单元70。关联单元70将图像(全体图像、视点图像或合成图像)与视点相关信息相关联。例如，存储单元62可以将全体图像、视点图像或合成图像中的至少一个与视点相关信息相关联地存储在存储介质63中。此外，通信单元64可以与视点相关信息相关联地传输全体图像、视点图像和合成图像中的至少一个。而且，归档单元65可以从全体图像、视点图像或合成图像中的至少一个以及视点相关信息生成一个文件，以将图像和视点相关信息彼此相关联。
<控制单元>
控制单元81执行与相机10相关的控制处理。即，控制单元81可以使相机10的每个单元执行处理。例如，控制单元81可以通过光学系统控制单元84使多视图光学系统30(单视图光学系统31)执行与成像相关的光学系统的设置，诸如光圈和焦点位置。此外，控制单元81可以使图像传感器51执行成像(光电转换)并生成捕获的图像。
而且，控制单元81可以将视点相关信息(VI)供应给区域标识单元56并使区域标识单元56识别要从捕获的图像中提取的区域。注意的是，视点相关信息(VI)可以包括点光信息(SI)。此外，控制单元81可以通过存储单元82读取存储在存储介质83中的视点相关信息(VI)，并将视点相关信息(VI)供应给区域标识单元56。
此外，控制单元81可以将关于显示图像的生成的控制信息供应给显示图像生成单元55。例如，控制单元81可以通过诸如拨盘35或按钮36之类的输入设备接受用户操作，根据接受的操作生成控制信息，并将控制信息供应给显示图像生成单元55。此外，控制单元81可以从存储介质83获取由存储单元82读取的控制信息，并将控制信息供应给显示图像生成单元55。而且，控制单元81可以从存储介质83获取由存储单元82读取的控制信息，通过诸如拨盘35或按钮36之类的输入设备接受用户操作，根据接受的操作更新控制信息，并将控制信息供应给显示图像生成单元55。
此外，控制单元81可以通过总线60获取图像，并基于图像的亮度通过光学系统控制单元84控制光圈。而且，控制单元81可以基于图像的清晰度通过光学系统控制单元84控制焦点。此外，控制单元81可以基于图像的RGB比率控制相机信号处理单元54以控制白平衡增益。
<存储单元>
存储单元82控制存储介质83(包括例如半导体存储器等)的存储。存储介质83可以是可去除的存储介质或内置的存储器。存储介质83存储例如视点相关信息(VI)。视点相关信息(VI)是与多视图光学系统30(的每个单视图光学系统31)和图像传感器51对应的信息。即，视点相关信息(VI)是关于从多视图光学系统30的每个单视图光学系统31观看的视点图像的信息，并且是用于识别视点图像区域的信息。例如，视点相关信息(VI)可以包括点光信息(SI)。
例如，存储单元82可以响应于来自控制单元81的请求、用户操作等读取存储在存储介质83中的视点相关信息(VI)，并将视点相关信息(VI)供应给控制单元81。
注意的是，存储介质83可以是ROM或可重写存储器(诸如RAM或闪存)。在可重写存储器的情况下，存储介质83可以存储任意信息。
此外，存储介质83可以存储与显示图像的生成相关的控制信息，并且存储单元82可以响应于来自控制单元81的请求、用户操作等读取控制信息，并将控制信息供应给控制单元81。
此外，存储单元82和存储介质83可以由存储单元62和存储介质63代替。即，要存储在上述存储介质83中的信息(视点相关信息(VI)等)可以存储在存储介质63中。在那种情况下，可以省略存储单元82和存储介质83。
<光学系统控制单元>
光学系统控制单元84根据控制单元81的控制来控制多视图光学系统30(其单视图光学系统31)。例如，光学系统控制单元84可以控制每个单视图光学系统31的镜头组和光圈，以控制每个单视图光学系统31的焦距和/或F值。注意的是，在相机10具有电动焦点调整功能的情况下，光学系统控制单元84可以控制多视图光学系统30的(每个单视图光学系统31的)焦点(焦距)。此外，光学系统控制单元84可以能够控制每个单视图光学系统31的光圈(F值)。
注意的是，相机10可以包括通过手动操作在镜筒中提供的聚焦环来调整焦距的机构(物理配置)，而不是包括这样的电动焦点调整功能。在那种情况下，可以省略光学系统控制单元84。
<视点相关信息的关联>
相机10可以从捕获的图像中提取从每个单视图光学系统31观看的视点图像。由于从一个捕获的图像提取的多个视点图像是不同视点的图像，因此有可能执行诸如通过多视图匹配的深度估计和用于抑制多视图镜头的附接误差的校正(例如，使用这些视点图像)之类的处理。但是，注意的是，为了执行这些处理，诸如视点图像之间的相对位置之类的信息是必要的。
因此，相机10将作为用于识别捕获的图像中的多个视点图像的区域的信息的视点相关信息与要输出的全体图像、视点图像或合成图像相关联。
在此，术语“关联”是指例如当处理另一个数据时可以使用(链接)一个数据。即，作为数据(文件)的捕获的图像和视点相关信息的形式是任意的。例如，捕获的图像和视点相关信息可以组合成一条数据(文件)，或者可以是单独的数据(文件)。例如，与捕获的图像相关联的视点相关信息可以在与捕获的图像的传输路径不同的传输路径上传输。此外，例如，与捕获的图像相关联的视点相关信息可以记录在与捕获的图像不同的记录介质(或同一记录介质的不同记录区域)中。不言而喻，可以将捕获的图像和视点相关信息组合成一个流数据或一个文件。
注意的是，视点相关信息与其相关联的图像可以是静止图像或移动图像。在移动图像的情况下，与静止图像的情况类似，可以在每个帧图像中执行区域提取、视点相关信息的关联等。
此外，可以对数据(文件)的一部分而不是对全体数据执行这种“关联”。例如，在捕获的图像是包括多个帧的移动图像的情况下，视点相关信息可以与任意单位(诸如捕获的图像的多个帧、一个帧或帧中的一部分)相关联。
注意的是，在捕获的图像和视点相关信息是单独的数据(文件)的情况下，可以通过对捕获的图像和视点相关信息指派相同的标识号来将捕获的图像和视点相关信息彼此相关联。此外，例如，在将捕获的图像和视点相关信息组合成一个文件的情况下，可以将视点相关信息添加到捕获的图像的标题等。注意的是，与视点相关信息相关联的对象可以是捕获的图像(全体图像)、视点图像或视点图像的合成图像。
<全体图像的输出>
将描述输出全体图像的情况。全体图像的示例在图5中示出。如图5中所示，全体图像130包括与每个单视图光学系统31对应的单视图图像(通过对光电转换通过每个单视图光学系统31入射的来自被摄体的光而获得的图像)。例如，全体图像130的中心图像是与单视图光学系统310对应的单视图图像。此外，全体图像130的右上图像是与单视图光学系统311对应的单视图图像。而且，全体图像130的左上图像是与单视图光学系统312对应的单视图图像。此外，全体图像130的左下图像是与单视图光学系统313对应的单视野图像。而且，全体图像130的右下图像是与单视图光学系统314对应的单视图图像。
注意的是，全体图像130可以是由图像传感器51生成的全体捕获的图像，或者是从捕获的图像剪切的部分图像(但是，注意的是，包括所有单视图图像)。此外，全体图像130可以是RAW格式的图像或YC格式的图像。
视点区域信息将每个单视图图像的一部分(有效部分)指定为相对于全体图像130的视点图像区域。例如，在图5的情况下，由点线方框包围的全体图像130的区域是视点图像区域。即，将与单视图光学系统310对应的单视图图像的一部分(有效部分)指定为视点图像区域1310。类似地，将与单视图光学系统311对应的单视图图像的一部分(有效部分)指定为视点图像区域1311。此外，将与单视图光学系统312对应的单视图图像的一部分(有效部分)指定为视点图像区域1312。而且，将与单视图光学系统313对应的单视图图像的一部分(有效部分)指定为视点图像区域1313。此外，将与单视图光学系统314对应的单视图图像的一部分(有效部分)指定为视点图像区域1314。注意的是，在以下描述中，在不必区分视点图像区域以进行解释的情况下，视点图像区域1310至1314将被称为视点图像区域131。
在输出这样的全体图像130的情况下，关联单元70从图像传感器51、RAW信号处理单元52或相机信号处理单元54获取全体图像130，并且将与从区域标识单元56供应的多视图光学系统30对应的视点相关信息与全体图像130相关联。然后，关联单元70输出彼此相关联的全体图像和视点相关信息。作为输出的示例，例如，存储单元62可以将彼此相关联的全体图像和视点相关信息存储在存储介质63中。此外，通信单元64可以传输彼此相关联的全体图像和视点相关信息。而且，归档单元65可以归档彼此关联的全体图像和视点相关信息。
注意的是，区域提取单元53可以将全体图像与视点相关信息相关联。即，区域提取单元53可以将从区域标识单元56供应的视点相关信息与要输出的全体图像相关联，并将彼此相关联的全体图像和视点相关信息供应给总线60、RAW信号处理单元52或相机信号处理单元54。
这种情况下的视点相关信息包括指示捕获的图像中多个视点图像区域的视点区域信息。视点区域信息能够以任何方式表示视点图像区域。例如，视点图像区域可以由指示与捕获的图像中的单视图光学系统31的光轴对应的位置的坐标(视点图像区域的中心坐标)和视点图像(视点图像区域)的分辨率(像素数)来表示。即，视点区域信息可以包括捕获的图像中视点图像区域的中心坐标和视点图像区域的分辨率。在这种情况下，可以根据视点图像区域的中心坐标和视点图像区域的分辨率(像素数)来识别全体图像130中视点图像区域的位置。
通过将这种视点相关信息与捕获的图像相关联，视点相关信息可以被用于视点图像的提取，作为用于诸如通过多视图匹配的深度估计之类的后期处理的预处理或用于抑制当附接(安装)多视图光学系统30时发生的错误的处理。例如，在基于视点相关信息中包括的视点区域信息提取每个视点图像之后，图像重构处理单元57可以执行后期处理，诸如通过多视图匹配的深度估计、重新聚焦处理、以及用于抑制当附接(安装)多视图光学系统30时发生的错误的处理。
注意的是，即使视点相关信息不与全体图像130相关联，例如，图像重构处理单元57也可以能够通过图像处理来识别包括在全体图像130中的视点图像区域。但是，根据成像条件等，有时难以准确地识别捕获的图像中的视点图像区域。因此，如上所述，通过将视点相关信息与全体图像130相关联，图像重构处理单元57可以更容易地并且基于视点相关信息从全体图像130中更准确地提取视点图像区域。
<视点图像的输出>
接下来，将描述输出视点图像的情况。图6是图示剪切的视点图像的示例的图。在图6中，视点图像1320是通过从全体图像130(图5)中提取视点图像区域1310而获得的图像。视点图像1321是通过从全体图像130中提取视点图像区域1311而获得的图像。视点图像1322是通过从全体图像130中提取视点图像区域1312而获得的图像。视点图像1323是通过从全体图像130中提取视点图像区域1313而获得的图像。视点图像1324是通过从全体图像130中提取视点图像区域1314而获得的图像。在下文中，在不必区分视点图像以进行解释的情况下，将视点图像1320至1324称为视点图像132。
在输出这种视点图像的情况下，区域提取单元53将如图6的示例中剪切的每个视点图像132作为独立的数据(或文件)输出。
例如，区域提取单元53根据从区域标识单元56供应的视点相关信息从捕获的图像(全体图像)中剪切视点图像。区域提取单元53将用于识别每个视点的视点标识信息(例如，标识号)指派给每个剪切的视点图像。区域提取单元53将为其指派了视点标识信息的每个视点图像供应给相机信号处理单元54。相机信号处理单元54对RAW格式的每个视点图像执行相机信号处理，以生成YC格式的每个视点图像。相机信号处理单元54将YC格式的每个视点图像供应给关联单元70。此外，区域标识单元56将供应给区域提取单元53的视点相关信息供应给关联单元70。
关联单元70将每个视点图像与和视点图像对应的视点相关信息相关联。视点相关信息可以包括用于识别每个视点的视点标识信息(例如，视点标识号)。关联单元70基于视点标识信息将与视点图像对应的视点相关信息与每个视点图像相关联。通过参考视点识别信息，关联单元70可以容易地掌握哪个视点相关信息与哪个视点图像对应。即，关联单元70可以通过使用视点标识信息更容易地正确关联每个视点图像和视点相关信息。
然后，关联单元70输出彼此相关联的每个视点图像和视点相关信息。例如，存储单元62可以将彼此相关联的每个视点图像和视点相关信息存储在存储介质63中。此外，通信单元64可以传输彼此相关联的每个视点图像和视点相关信息。而且，归档单元65可以归档彼此相关联的每个视点图像和视点相关信息。
注意的是，区域提取单元53可以将每个视点图像与视点相关信息相关联。即，区域提取单元53可以将从区域标识单元56供应的视点相关信息与要输出的每个视点图像相关联，并将彼此相关联的每个视点图像和视点相关信息供应给总线60、RAW信号处理单元52或相机信号处理单元54。
此外，视点相关信息可以包括指示捕获从其提取视点图像的捕获的图像的时间和次序的视点时间信息。在混合从多个捕获的图像提取的视点图像的情况下，或者在视点图像是移动图像或连续图像的情况下，可能难以识别从哪个捕获的图像提取了哪个视点图像。通过将指示捕获的图像的生成时间和次序的视点时间信息与视点图像相关联，有可能更容易地识别与每个视点图像对应的捕获的图像(从中提取每个视点图像的捕获的图像)。换句话说，有可能更容易地识别从同一捕获的图像中提取的多个视点图像。此外，即使在不统一管理记录的文件的情况下，也有可能识别同时的视点图像。
注意的是，与视点图像的情况一样，可以从捕获的图像中剪切、处理和记录单视图图像。
<合成图像的输出>
接下来，将描述输出合成图像的情况。图7是图示通过组合视点图像获得的合成图像的示例的图。在图7的示例的情况下，通过组合在图6的示例中提取的视点图像1320至1324来生成一个合成图像133，以便并排显示在一个图像中。即，合成图像133是通过将视点图像132组合为一条数据(一个帧)或一个文件而获得的。
注意的是，虽然在图7中在合成图像133的视点图像1320至1324周围示出了边缘区域，但是合成图像133可以具有或者可以不具有这个边缘区域。此外，合成图像133的形状只需要是矩形即可，并且视点图像132的布置方法(布置)是任意的。如在图7的示例中，当五个视点图像132布置为2行和3列时生成的空白区域(与第六视点图像132对应的区域)可以由空数据或固定值表示。
例如，区域提取单元53根据从区域标识单元56供应的视点相关信息从捕获的图像(全体图像)中剪切视点图像。区域提取单元53将剪切的视点图像组合成并排显示在一个图像中以生成合成图像。在那时，通过预先确定视点图像的布置次序(位置)，有可能容易地掌握合成图像中包括的每个视点图像的视点。
此外，视点标识信息(例如，标识号)可以在组合之前被指派给每个视点图像。在这种情况下，也有可能容易地掌握合成图像中包括的每个视点图像的视点。在以下描述中，假设预先确定合成图像中的视点图像的布置次序。
区域提取单元53将为其指派了视点标识信息的合成图像供应给相机信号处理单元54。相机信号处理单元54对RAW格式的合成图像执行相机信号处理，以生成YC格式的合成图像。相机信号处理单元54将YC格式的合成图像供应给关联单元70。此外，区域标识单元56将供应给区域提取单元53的视点相关信息供应给关联单元70。
关联单元70将视点相关信息与合成图像相关联。从合成图像中的视点图像的位置，合成图像中包括的每个视点图像的视点是清楚的。即，有可能容易地掌握每个视点图像与视点相关信息的哪个视点区域信息对应。
然后，关联单元70输出彼此相关联的合成图像和视点相关信息。例如，存储单元62可以将彼此相关联的合成图像和视点相关信息存储在存储介质63中。此外，通信单元64可以传输彼此相关联的合成图像和视点相关信息。而且，归档单元65可以归档彼此相关联的图像和视点相关信息。
注意的是，区域提取单元53可以将合成图像与视点相关信息相关联。即，区域提取单元53可以将从区域标识单元56供应的视点相关信息与要输出的合成图像相关联，并且将彼此相关联的合成图像和视点相关信息供应给总线60、RAW信号处理单元52，或相机信号处理单元54。
<被摄体的成像>
例如，如图8的示例中一样，假设被摄体141和被摄体142使用相机10被成像。如图8中所示，假设从相机10看，被摄体141比被摄体142更靠近(在近侧)。
图9中所示的全体图像130是在那种情况下作为相机10中的获取的图像或捕获的图像而获得的全体图像的示例。类似于图5的示例的情况，全体图像130包括与单视图光学系统31对应的单视图图像(即，从单视图光学系统31观看的)。
例如，全体图像130中的被摄体1410和被摄体1420是通过对图像传感器51通过单视图光学系统310接收的光进行光电转换而生成的被摄体141和被摄体142的图像。即，被摄体1410和被摄体1420是从单视图光学系统310(与单视图光学系统310对应)观看的被摄体141和被摄体142的图像。此外，全体图像130的被摄体1411和被摄体1421是通过对图像传感器51通过单视图光学系统311接收的光进行光电转换而生成的被摄体141和被摄体142的图像。即，被摄体1411和被摄体1421是从单视图光学系统311(与单视图光学系统311对应)观看的被摄体141和被摄体142的图像。
类似地，全体图像130的被摄体1412和被摄体1422是通过对图像传感器51通过单视图光学系统312接收的光进行光电转换而生成的被摄体141和被摄体142的图像。即，被摄体1412和被摄体1422是从单视图光学系统312(与单视图光学系统312对应)观看的被摄体141和被摄体142的图像。此外，全体图像130的被摄体1413和被摄体1423是通过对图像传感器51通过单视图光学系统313接收的光进行光电转换而生成的被摄体141和被摄体142的图像。即，被摄体1413和被摄体1423是从单视图光学系统313(与单视图光学系统313对应)观看的被摄体141和被摄体142的图像。而且，全体图像130的被摄体1414和被摄体1424是通过对图像传感器51通过单视图光学系统314接收的光进行光电转换而生成的被摄体141和被摄体142的图像。即，被摄体1414和被摄体1424是从单视图光学系统314(与单视图光学系统314对应)观看的被摄体141和被摄体142的图像。
<图像显示>
相机10可以在例如显示面板单元33和取景器单元34上显示图像。例如，相机10可以根据获取的图像生成显示图像，并将显示图像显示为通过镜头的图像，从而用户可以在通过按下快门按钮等对被摄体进行成像之前确认构图等。相机10对由图像传感器51获取的获取的图像的每一帧执行这种显示。用户可以通过在确认以这种方式显示的图像(也称为显示图像)的同时执行取景(调整视角)等更容易地根据用户的意图执行成像。
此外，例如，相机10可以从捕获的图像生成显示图像并将显示图像显示为确认图像，从而用户可以在按下快门按钮等对被摄体进行成像之后立即确认成像结果(即，捕获的图像)。而且，例如，相机10可以根据存储在存储介质83等中的图像生成显示图像并显示该显示图像，以便用户可以确认过去捕获并存储的捕获的图像。
一般而言，在使用单视图光学系统性成像的情况下，形成在图像传感器51上的全体图像被显示为通过镜头的图像。但是，在使用多个单视图光学系统31捕获的全体图像130(图9)的情况下，由于全体图像130包括从单视图光学系统31观看的单视图图像，因此当全体图像130作为通过镜头的图像等显示在显示单元61(显示面板单元33、取景器单元34等)上，与使用单视图光学系统进行成像的情况相比，每个单视图图像变得非常小，并且用户可能难以视觉识别所显示图像中的被摄体。出于这个原因，例如，用户可能难以基于所显示的图像来调整(取景)视角(构图)。
这同样适用于显示捕获的图像的确认图像或存储的图像的显示图像的情况，并且在全体图像130中，用户可能难以视觉识别所显示图像中的被摄体。
因此，已经考虑了剪切和显示一个单视图图像的方法。例如，在图9的情况下，包括被摄体1410和被摄体1420的区域被剪切，并且该区域的图像被显示在显示单元61(显示面板单元33、取景器单元34等)上，作为通过镜头的图像等。因此，被摄体能够在显示单元61上被显示得大，并且用户能够更容易地视觉识别被摄体。
但是，在这种方法的情况下，由于仅显示一个单视图图像，因此用户难以基于所显示的图像来确认单视图图像具有多少视差。
<多个单视图图像的旋转显示>
因此，要显示的单视图图像被动态切换。例如，在图9中的全体图像130的情况下，单视图剪切图像1510、单视图剪切图像1511、单视图剪切图像1512、单视图剪切图像1513和单视图剪切图像1514被剪切。
单视图剪切图像1510是与单视图光学系统310对应的单视图图像的一部分或全部，并且包括被摄体1410和被摄体1420。单视图剪切图像1511是与单视图光学系统311对应的单视图图像的一部分或全部，并且包括被摄体1411和被摄体1421。单视图剪切图像1512是与单视图光学系统312对应的单视图图像的一部分或全部，并且包括被摄体1412和被摄体1422。单视图剪切图像1513是与单视图光学系统313对应的单视图图像的一部分或全部，并且包括被摄体1413和被摄体1423。单视图剪切图像1514是与单视图光学系统314对应的单视图图像的一部分或全部，并且包括被摄体1414和被摄体1424。
在下文中，在不必区分单视图剪切图像以进行解释的情况下，单视图剪切图像1514至1514将被称为单视图剪切图像151。此外，剪切之前的图像(例如，全体图像130)中的单视图剪切图像151的区域也被称为单视图剪切区域。
然后，按预定次序动态地切换和显示此类单视图剪切图像151的一部分或全部。例如，如图10中所示，以单视图剪切图像1510、单视图剪切图像1513、单视图剪切图像1512、单视图剪切图像1511和单视图剪切图像1514的次序重复地显示单视图剪切图像151。
由于单视图剪切图像151的视点位置不同，因此在图像间产生视差。因而，如图11中所示，当单视图剪切图像1510至1514在同一位置重叠时，被摄体1420至1424的位置彼此错开。即，当连续显示单视图剪切图像151时，用户以模糊的方式看到被摄体142，如图11中所示。用户可以通过模糊量直观地掌握被摄体被成像的视差程度。
此外，在这种情况下，有可能显示比显示全体图像130的情况更大的每个单视图剪切图像151，因此有可能抑制可见度的降低。因而，可以基于所显示的图像更容易地执行视角(构图)等的调整(取景)。即，有可能实现被摄体的视觉识别的容易性和取景的容易性，并实现掌握各个视图的图像之间的视差的容易性。
如上所述，从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个被显示在显示单元上，同时在图像之间选择性地且动态地切换。
例如，一种信息处理设备包括显示控制单元，该显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任一个，同时选择性地且动态地在图像之间切换。
此外，例如，一种程序使计算机用作显示控制单元，该显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任一个，同时选择性地且动态地在图像之间切换。
因此，有可能更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
例如，如图10的示例中一样，能够以预定次序一个接一个地选择和显示多个图像中的一些或全部。
例如，在显示通过镜头的图像的情况下，相机10(显示图像生成单元55)从作为移动图像的获取的图像的帧中一个接一个地提取并显示单视图剪切图像151。
此外，当捕获的图像是静止图像时，在显示捕获的图像的确认图像的情况下，相机10(显示图像生成单元55)从作为静止图像的捕获的图像中提取多个单视图剪切图像151，并且顺序地显示提取出的图像。这同样适用于显示存储的捕获的图像的情况。注意的是，在捕获的图像是移动图像的情况下，与通过镜头的图像的情况类似，相机10(显示图像生成单元55)从帧中一个接一个地提取并显示单视图剪切图像151。
<单视图剪切区域>
接下来，将描述如上所述剪切的单视图剪切区域。在全体图像130中，将各个单视图图像的一部分或全体区域设置为单视图剪切区域。即，在全体图像130中设置的单视图剪切区域的数量和近似位置与单视图图像的类似。
单视图剪切区域的尺寸在不超过单视图图像的范围内是任意的。例如，单视图剪切区域的尺寸可以与视点图像区域的尺寸相同。此外，虽然单视图剪切区域的尺寸可以是可变的(例如，可以由用户设置)，但这里将假设尺寸固定来进行描述。而且，从显示图像的可视性的观点出发，期望单视图剪切区域的尺寸相同。
单视图剪切区域的形状是任意的。在此，将在形状是矩形的假设下进行描述。此外，从显示图像的可视性的观点出发，期望单视图剪切区域的形状相同。
<单视图剪切区域的移位>
顺便提及，在图9的示例的情况下，被摄体141的位置在单视图剪切图像151中是相同的(位于中心)。因而，当连续显示这些单视图剪切图像151时，被摄体141不会像图10的示例中所示的那样模糊。即，通过使单视图剪切图像151中的期望被摄体的位置相同，可以不模糊地显示被摄体。
如上所述，单视图图像具有视差，并且每个单视图图像中的被摄体的位置在视差的方向上移位。即，通过在视差方向上移动单视图图像中的每个单视图剪切区域的位置并使单视图剪切图像151中的期望被摄体的位置相同，可以不模糊地显示被摄体。
移位的方向(视差方向)取决于单视图剪切图像151(或单视图图像)的布置方案，即，多视图光学系统30中单视图光学系统31的布局(数量、位置等)。
在此，将描述单视图图像的视差。一般而言，在单视图图像之间，越靠近相机10的被摄体的视差越大，越远离相机10的被摄体的视差越小。例如，在图9的情况下，单视图图像中被摄体141的位置偏差大于被摄体142的位置偏差。
因而，随着单视图剪切区域的移位量的增加，可以减少更靠近相机10的被摄体的模糊量，并且随着单视图剪切区域的移位量的减小，可以减少远离相机10的被摄体的模糊量。即，单视图剪切区域的移位量取决于要减少模糊量(通常显示为不模糊)的被摄体与相机10之间的距离。
移位量可以由用户、应用等控制。如上所述，由于移位量是由从相机10到要在显示屏幕上减少其模糊量的被摄体的距离确定的，因此当用户或应用指定移位量时，可以减少与从相机10的移位量对应的距离处的被摄体的模糊量。
例如，如图12中所示，这个移位量可以被指定为向量信息(方向和量值)。在图12的示例的情况下，单视图剪切图像1511的区域的移位的方向和量值由作为向量信息的移位量1611指定。类似地，单视图剪切图像1512的区域的移位的方向和量值由移位量1612指定，单视图剪切图像1513的区域的移位的方向和量值由移位量1613指定，以及单视图剪切图像1514的区域的移位的方向和量值由移位量1614指定。在下文中，在不必区分移位量以进行解释的情况下，将移位量1611至1614称为移位量161。注意的是，单视图剪切图像1510的区域位于全体图像130的中心并且用作参考，因此不移位(是固定的)。
例如，用户或应用设置与期望的被摄体和相机10之间的距离对应的移位量161。例如，当用户或应用指定距离时，可以设置与指定的距离对应的移位量161。根据这种设置，单视图剪切区域被移位，并且显示图像中的期望被摄体的模糊量被抑制(通常，有可能防止模糊)。即，相机10可以减少距相机10任意距离处的被摄体在显示图像中的模糊量。
图13图示了移位单视图剪切区域以减少被摄体142的模糊量的情况的示例。在图13的示例的情况下，被摄体1420在单视图剪切图像1510中的位置、被摄体1421在单视图剪切图像1511中的位置、被摄体1422在单视图剪切图像1512中的位置、被摄体1423在单视图剪切图像1513中的位置与被摄体1424在单视图剪切图像1514中的位置相同。即，被摄体142在单视图剪切图像151中的位置相同。
因而，当顺序地显示这些单视图剪切图像151时，显示图像如图14中所示。即，如图14中所示，相机10可以显示单视图剪切图像151，从而用户可以不模糊地看到被摄体142，并且以模糊的方式看到被摄体141。
注意的是，测量相机10和被摄体之间的距离的方法是任意的。例如，用户可以目测并指定相机10和被摄体之间的距离，或者可以使用距离测量传感器等来测量相机10和被摄体之间的距离。
注意的是，移位量可以是固定的。例如，也可以根据单视图光学系统31(镜头)的光学特点将移位量固定为与推荐的成像距离对应的值等。在那种情况下，捕获图像的人可以通过调整相机10和被摄体之间的距离以减小被摄体的视差(即，显示图像中被摄体的移动)来在与推荐的成像距离匹配的距离处执行成像。即，用户可以使用这个显示功能容易地测量到被摄体的距离。
<切换周期>
注意的是，在如上所述动态地切换要显示的单视图剪切图像151的情况下，能够以预定周期切换要显示的单视图剪切图像151。
切换周期是任意的。例如，周期可以是每个帧(单个帧)或多个帧。
此外，用户(捕获图像的人)可以能够选择切换周期。例如，切换周期可以通过用户操作诸如相机10的拨盘35或按钮36之类的输入设备来设置。例如，控制单元81可以接受由用户这样输入的切换周期的指定，并将指示切换周期的控制信息供应给显示图像生成单元55。
<单视图剪切图像的显示次序>
注意的是，虽然图10图示了在动态切换和显示此类单视图剪切图像151的情况下单视图剪切图像151的选择次序(显示次序)的示例，但是选择次序是任意的并且不限于图10的示例。如在图10的示例中一样，相机10可以顺序地显示所有单视图剪切图像151，或者如在图15的示例中一样，相机10可以按预定次序显示单视图剪切图像151中的一些。
在图15的示例的情况下，显示图像生成单元55不提取或显示单视图剪切图像1510。显示图像生成单元55按照单视图剪切图像1513、单视图剪切图像1512、单视图剪切图像1511和单视图剪切图像1514的次序从获取的图像(或捕获的图像)中提取单视图剪切图像151，并在显示单元61上显示提取出的图像。
即，在这种情况下，在多个单视图剪切图像151当中，显示图像生成单元55以预定次序一个接一个地提取以图像之间的相对位置关系定位在外周部分上的单视图剪切图像151(中的一些或全部)，并将提取出的图像显示在显示单元61上。
因此，在由显示单元61显示的显示图像中，被摄体142看起来移动以绘制四边形。因而，当用户跟随被摄体142的移动时，用户视线的移动方向被限制到垂直方向和水平方向，并且方向也被限制。即，用户视线的移动被简化为绘制四边形的移动。为此，与被摄体142的位置随机改变的情况相比，用户可以更容易地跟随被摄体142的移动。即，被摄体142的外观变得更平滑。
此外，在图15的示例的情况下，由于显示了外周部分中的单视图剪切图像151，因此可以通过这种显示来表示出现模糊的被摄体142的位置改变的全体范围。例如，在仅显示单视图剪切图像1510和单视图剪切图像1513的情况下，仅可以表达被摄体142的位置改变的范围的一部分。例如，不能表达单视图剪切图像1511中被摄体142的位置。为此，可能难以掌握实际的视差量。另一方面，通过如图15的示例中那样执行显示，用户可以更准确地掌握视差的量值。
此外，如图10和15中所示，在单视图剪切图像151的一个显示周期期间可以多次显示一个单视图剪切图像151。例如，可以按照图16和17中所示的次序提取和显示单视图剪切图像151。在图16和17的示例中，在单视图剪切图像151的一个显示周期期间，单视图剪切图像1510被显示两次。
此外，也可以将多个单视图剪切图像151中的一部分或全部以一定的次序一个接一个地选择并显示，以使扫描轨迹在多个单视图剪切图像151(的视点)之间的相对位置关系上呈线对称。例如，如图16中所示，显示图像生成单元55可以按以下次序从获取的图像(或捕获的图像)中提取单视图剪切图像1510、单视图剪切图像1513、单视图剪切图像1512、单视图剪切图像1510、单视图剪切图像1511和单视图剪切图像1514，并且使显示单元61显示所提取的单视图剪切图像151。
因此，被摄体142的移动在显示图像中在水平方向和垂直方向上呈现线对称。因而，当用户跟随被摄体142的移动时，用户视线的移动也是线对称的，并且提高了视点移动的连续性。为此，与被摄体142的位置随机改变的情况相比，用户可以更容易地跟随被摄体142的移动。即，被摄体142的外观变得更平滑。
此外，也可以将多个单视图剪切图像151中的一些或全部以一定的次序一个接一个地选择并显示，使得扫描轨迹在多个单视图剪切图像151(的视点)之间的相对位置关系上是旋转对称的。例如，如图17中所示，显示图像生成单元55可以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1513、单视图剪切图像1512、单视图剪切图像1510、单视图剪切图像1514和单视图剪切图像1511，并且使显示单元61显示所提取的单视图剪切图像151。
因此，被摄体142的移动在显示图像中呈现旋转对称(在这种情况下，点对称)。因而，当用户跟随被摄体142的移动时，用户视线的移动也是旋转对称的(点对称)，并且提高了视点移动的连续性。为此，与被摄体142的位置随机改变的情况相比，用户可以更容易地跟随被摄体142的移动。即，被摄体142的外观变得更平滑。
注意的是，在图16和17的示例的情况下，由于显示了所有的单视图剪切图像151，因此用户可以注意到例如任何一个单视图光学系统31的异常(例如，灰尘附着在镜头)。
此外，单视图剪切图像151的选择次序(显示次序)可以与上述示例不同。例如，一个周期的起始位置(第一单视图剪切图像151)可以与上述示例不同。即，在图10和15至17的每个示例中，可以从“0”以外的显示序号开始一个周期。
此外，可以旋转上述每个示例的选择次序(显示次序)的方案。例如，显示图像生成单元55可以旋转图10的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1511、单视图剪切图像1514、单视图剪切图像1513和单视图剪切图像1512，并使显示单元61显示提取出的单视图剪切图像151。此外，例如，显示图像生成单元55可以旋转图16的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1512、单视图剪切图像1511、单视图剪切图像1510、单视图剪切图像1514和单视图剪切图像1513，并使显示单元61显示提取出的单视图剪切图像151。在这种情况下，被摄体142的移动在显示图像的水平方向和垂直方向上也呈现线对称。而且，例如，显示图像生成单元55可以旋转图17的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1512、单视图剪切图像1511、单视图剪切图像1510、单视图剪切图像1513和单视图剪切图像1514，并使显示单元61显示提取出的单视图剪切图像151。在这种情况下，被摄体142的移动在显示图像中呈旋转对称(点对称)。
而且，上述每个示例的选择次序(显示次序)的方案可以垂直翻转。例如，显示图像生成单元55可以垂直翻转图10的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1512、单视图剪切图像1513、单视图剪切图像1514和单视图剪切图像1511，并在显示单元61中显示提取出的单视图剪切图像151。此外，例如，显示图像生成单元55可以垂直翻转图15的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1512、单视图剪切图像1513、单视图剪切图像1514和单视图剪切图像1511，并在显示单元61中显示提取出的单视图剪切图像151。而且，例如，显示图像生成单元55可以垂直翻转图16的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1512、单视图剪切图像1513、单视图剪切图像1510、单视图剪切图像1514和单视图剪切图像1511，并使得显示单元61显示提取出的单视图剪切图像151。此外，例如，显示图像生成单元55可以垂直翻转图17的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1512、单视图剪切图像1513、单视图剪切图像1510、单视图剪切图像1511和单视图剪切图像1514，并使显示单元61显示提取出的单视图剪切图像151。
此外，上述每个示例的选择次序(显示次序)的方案可以被水平翻转。例如，显示图像生成单元55可以水平翻转图10的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1514、单视图剪切图像1511、单视图剪切图像1512和单视图剪切图像1513，并使示单元61显示提取出的单视图剪切图像151。此外，例如，显示图像生成单元55可以水平翻转图15的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1514、单视图剪切图像1511、单视图剪切图像1512和单视图剪切图像1513，并在显示单元61中显示提取出的单视图剪切图像151。而且，例如，显示图像生成单元55可以横向翻转图16的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1514、单视图剪切图像1511、单视图剪切图像1510、单视图剪切图像1512和单视图剪切图像1513，并在显示单元61中显示提取出的单视图剪切图像151。此外，例如，显示图像生成单元55可以横向翻转图17的示例的方案以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1510、单视图剪切图像1514、单视图剪切图像1511、单视图剪切图像1510、单视图剪切图像1513和单视图剪切图像1512，并使显示单元61显示提取出的单视图剪切图像151。
不言而喻，翻转方向是任意的，并且可以是除上述垂直方向和水平方向以外的方向(即，倾斜方向)。
而且，能够以与上述每个示例的选择次序(显示次序)相反的次序执行选择(显示)。例如，显示图像生成单元55可以反转图10的示例的方案的次序以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1514、单视图剪切图像1511、单视图剪切图像1512、单视图剪切图像1513和单视图剪切图像1510，并使显示单元61显示提取出的单视图剪切图像151。此外，例如，显示图像生成单元55可以反转图15的示例的方案的次序，以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1514、单视图剪切图像1511、单视图剪切图像1512和单视图剪切图像1513，并使显示单元61显示提取出的单视图剪切图像151。而且，例如，显示图像生成单元55可以反转图16的示例的方案的次序，以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1514、单视图剪切图像1511、单视图剪切图像1510、单视图剪切图像1512、单视图剪切图像1513和单视图剪切图像1510，并使显示单元61显示提取出的单视图剪切图像151。此外，例如，显示图像生成单元55可以反转图17的示例的方案的次序，以从获取的图像(或捕获的图像)中按以下次序提取单视图剪切图像1511、单视图剪切图像1514、单视图剪切图像1510、单视图剪切图像1512、单视图剪切图像1513和单视图剪切图像1510，并使显示单元61显示提取出的单视图剪切图像151。
此外，可以适当地组合如上所述的方案的旋转或反转以及次序的反转之类的方法。
注意的是，可以允许用户或应用指定上述单视图剪切图像151的选择次序(显示次序)。例如，用户可以操作拨盘35或按钮36以指定单视图剪切图像151的选择次序(显示次序)。此外，例如，应用可以根据相机10的操作模式等来指定单视图剪切图像151的选择次序(显示次序)。例如，也可以预先准备单视图剪切图像151的选择次序(显示次序)的多个候选，并且用户或应用可以从候选当中指定要应用的次序。此外，用户或应用能够以任意次序设置一个周期。
<显示图像生成单元>
图18是图示显示图像生成单元55(图3)的主要构造示例的框图。如图18中所示，显示图像生成单元55包括显示视图选择单元201、移位量确定单元202、单视图剪切区域设置单元203和剪切处理单元204。
显示视图选择单元201执行与单视图图像的选择相关的处理。即，显示视图选择单元201执行与单视图光学系统31的选择相关的处理。即，显示视图选择单元201执行与视点选择相关的处理。
例如，显示视图选择单元201可以获取从区域标识单元56供应的视点相关信息(VI或VI')。视点相关信息包括指示每个单视图图像的区域(坐标)的信息和每个单视图图像的标识信息。标识信息可以是任何信息，并且可以是例如用于识别单视图图像的标识号(也称为单视图编号)。在以下描述中，假设单视图编号被包括在视点相关信息中作为标识信息。
基于视点相关信息，显示视图选择单元201可以掌握全体图像中包括的单视图图像的数量，以及每个单视图图像的区域和单视图数量。因而，基于视点相关信息，显示视图选择单元201可以选择从其中提取要作为显示图像显示的单视图剪切图像151的单视图图像。即，显示视图选择单元201可以基于视点相关信息来选择从中获得显示图像的单视图光学系统31。即，显示视图选择单元201可以基于视点相关信息来选择显示图像的视点。
例如，显示视图选择单元201以预定次序或以用户或应用基于视点相关信息指定的次序来选择单视图图像(单视图光学系统31，或视点)。例如，显示视图选择单元201可以从控制单元81获取指示用户、应用等的指定的控制信息，并且可以基于控制信息来选择单视图图像。例如，显示视图选择单元201可以从控制单元81获取关于单视图图像的切换方案(选择次序)、切换周期等的控制信息，并基于控制信息来选择单视图图像。
显示视图选择单元201将指示所选择的单视图图像的单视图编号供应给移位量确定单元202和单视图剪切区域设置单元203。
即，显示视图选择单元201使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个单视图剪切图像中的任何一个，同时在图像之间选择性地且动态地切换。即，显示视图选择单元201执行显示图像的显示控制。
移位量确定单元202执行与确定单视图剪切区域的移位量(方向和量值)相关的处理。例如，移位量确定单元202可以获取从显示视图选择单元201供应的单视图编号。单视图编号是用于指定要显示的单视图图像(即，从中提取单视图剪切图像151的单视图图像)的标识信息。此外，移位量确定单元202可以获取从区域标识单元56供应的视点相关信息(VI或VI')。视点相关信息包括指示每个单视图图像的区域(坐标)和每个单视图图像的单视图编号的信息。
而且，移位量确定单元202可以获取从控制单元81供应的移位量控制信息。移位量控制信息包括用于确定移位量的信息。例如，可以包括指示由用户、应用等指定的距离(相机10和被摄体之间的距离)的信息。此外，例如，可以包括关于由用户、应用等指定的操作模式的信息，诸如移位量是可变的还是固定的。例如，当从用户或应用接受关于移位量的指定时，控制单元81生成包括该信息的移位量控制信息并且将移位量控制信息供应给移位量确定单元202。
移位量确定单元202基于所供应的视点相关信息掌握单视图图像的布置，并且掌握基于所供应的单视图编号选择了哪个单视图图像。因此，移位量确定单元202可以确定单视图剪切区域的移位方向。此外，移位量确定单元202可以基于移位量控制信息来确定单视图剪切区域的移位量。例如，移位量确定单元202可以将移位量的量值设置为与移位量控制信息中指定的距离对应的量值。
如上所述，移位量确定单元202可以确定单视图剪切区域的移位的方向和量值，并生成移位量(向量信息)。移位量确定单元202可以将移位量供应给单视图剪切区域设置单元203。
即，移位量确定单元202可以控制单视图剪切区域的位置的移位量(方向和量值)。
单视图剪切区域设置单元203执行与单视图剪切区域的设置相关的处理。例如，单视图剪切区域设置单元203可以获取从区域标识单元56供应的视点相关信息(VI或VI')。视点相关信息包括指示每个单视图图像的区域(坐标)和每个单视图图像的单视图编号的信息。
此外，单视图剪切区域设置单元203可以获取从显示视图选择单元201供应的单视图编号。单视图编号是用于指定要显示的单视图图像(即，从中提取单视图剪切图像151的单视图图像)的标识信息。
而且，单视图剪切区域设置单元203可以获取从移位量确定单元202供应的移位量(向量信息)。这个移位量是指示单视图剪切区域的移位的方向和量值的信息。
基于视点相关信息，单视图剪切区域设置单元203可以识别与所供应的单视图编号对应的单视图图像的区域(例如，区域的中心坐标和范围(分辨率))。然后，单视图剪切区域设置单元203可以设置与单视图图像对应的图像剪切区域的初始值(例如，区域的中心坐标和范围(分辨率))。而且，单视图剪切区域设置单元203可以基于该移位量对图像剪切区域进行移位，并更新图像剪切区域的位置。
单视图剪切区域设置单元203可以将作为指示以这种方式设置的图像剪切区域的坐标信息的剪切坐标供应给剪切处理单元204。
剪切处理单元204执行与提取单视图剪切图像相关的处理。例如，剪切处理单元204可以获取从相机信号处理单元54供应的获取的图像的全体图像。此外，剪切处理单元204可以获取从单视图剪切区域设置单元203供应的剪切坐标。
剪切处理单元204可以从获得的获取的图像(全体图像)中提取由剪切坐标指定的区域。剪切处理单元204可以将提取出的单视图剪切图像供应给显示单元61作为显示图像(通过镜头的图像)。
即，剪切处理单元204从与由显示视图选择单元201选择的单视图图像相同的单视图光学系统观看的单视图图像中剪切单视图剪切图像。
注意的是，剪切处理单元204还可以从视点图像或合成图像中提取单视图剪切图像。在那种情况下，剪切处理单元204获取视点图像或合成图像。
此外，显示图像生成单元55还可以生成捕获的图像的确认图像或存储的捕获的图像的显示图像。在这种情况下，剪切处理单元204可以从相机信号处理单元54或存储单元62获取捕获的图像，并从捕获的图像中提取单视图剪切图像。捕获的图像可以包括从捕获的图像生成的全体图像、视点图像和合成图像。
通过以上配置，显示图像生成单元55可以动态地切换要显示的单视图图像。因此，用户可以通过确认显示图像更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
注意的是，剪切处理单元204可以剪切RAW格式的图像的单视图剪切区域以生成RAW格式的单视图剪切图像。在那种情况下，对RAW格式的单视图剪切图像执行颜色分离处理或YC转换以生成YC格式的单视图剪切图像并向显示单元61供应YC格式的单视图剪切图像就足够了。例如，也可以将由剪切处理单元204剪切的RAW格式的单视图剪切图像返回到相机信号处理单元54以执行颜色分离处理或YC转换。
<成像处理的流程>
接下来，将描述与这种相机10的图像显示相关的处理的流程。注意的是，下面将描述通过镜头的图像的显示作为示例。例如，当用户等开启相机10的电源，或者将相机10的操作模式切换到用于执行成像的成像模式时，开始成像处理。图19是用于描述成像处理的流程的示例的流程图。
当开始成像处理时，在步骤S101中，显示图像生成单元55的显示视图选择单元201、移位量确定单元202和单视图剪切区域设置单元203获取并设置从区域标识单元56供应的视点相关信息。
在步骤S102中，移位量确定单元202获取并设置从控制单元81供应的移位量控制信息。
在步骤S103中，显示图像生成单元55和显示单元61执行通过镜头的图像显示处理以生成并显示通过镜头的图像。稍后将描述通过镜头的图像显示处理的细节。
在步骤S104中，控制单元81确定是否准备成像。例如，当由用户、应用等执行与成像相关的控制(诸如焦点、光圈和成像模式的控制)时，控制单元81根据控制确定执行针对成像的准备处理(也称为成像准备处理)。在那种情况下，处理前进到步骤S105。
在步骤S105中，控制单元81适当地控制诸如光学系统控制单元84之类的每个处理单元以执行成像准备处理。成像准备处理可以是任何处理，只要该处理涉及成像即可。例如，可以包括焦点或光圈的调整、成像模式的设置、闪光灯等的设置、图像质量的设置等中的至少一个，或者可以包括除这些以外的处理。
当步骤S105的处理结束时，处理前进到步骤S106。此外，如果在步骤S104中确定不执行成像准备处理，那么处理前进到步骤S106。
在步骤S106中，控制单元81确定是否执行成像。例如，在确定要通过用户按下快门按钮等来执行成像的情况下，处理前进到步骤S107。
在步骤S107中，图像传感器51、区域提取单元53、相机信号处理单元54等对被摄体进行成像以生成捕获的图像，并从捕获的图像生成全体图像、视点图像或合成图像。
在步骤S108中，存储单元62和通信单元64输出在步骤S107中生成的全体图像、视点图像或合成图像。例如，存储单元62将图像(全体图像、视点图像或合成图像)存储在存储介质63中。此外，通信单元64将图像(全体图像、视点图像或合成图像)供应给相机10外部的设备。注意的是，这个图像可以在归档单元65归档之后输出。
当步骤S108的处理结束时，处理前进到步骤S109。可替代地，如果在步骤S106中确定不执行成像，那么处理前进到步骤S109。
在步骤S109中，控制单元81确定是否结束成像处理。如果确定不结束成像处理，那么处理返回到步骤S103，并且重复步骤S103和后续步骤的处理。
即，针对每一帧执行步骤S103至S109的处理。然后，如果在步骤S109中确定结束成像处理，那么结束成像处理。
<通过镜头的图像显示处理的流程>
接下来，将参考图20的流程图描述在图19的步骤S103中执行的通过镜头的图像显示处理的流程的示例。注意的是，在此，将描述从获取的图像的全体图像中提取单视图剪切图像的情况。
当通过镜头的图像显示处理开始时，显示视图选择单元201在步骤S121中执行显示视图选择处理，并且基于视点相关信息等选择要显示的单视图图像。
在步骤S122中，移位量确定单元202基于视点相关信息、移位量控制信息等确定要从在步骤S121中选择的单视图图像中提取的单视图剪切区域的移位量(方向和量值)。
在步骤S123中，基于视点相关信息、在步骤S122中设置的移位量等，单视图剪切区域设置单元203设置要从在步骤S121中选择的单视图图像中提取的单视图剪切区域(剪切坐标)。
在步骤S124中，剪切处理单元204获取由区域提取单元53生成的获取的图像的全体图像。
在步骤S125中，剪切处理单元204从在步骤S124中获取的全体图像中剪切在步骤S123中设置的单视图剪切区域，并且生成单视图剪切图像。
在步骤S126中，显示单元61将如上所述提取的单视图剪切图像显示为通过镜头的图像。
当步骤S126的处理结束时，通过镜头的图像显示处理结束，并且处理返回到图19。
<显示视图选择处理的流程>
接下来，将参考图21的流程图描述在图20的步骤S121中执行的显示视图选择处理的流程的示例。
当开始显示视图选择处理时，在步骤S141中，显示视图选择单元201确定所显示帧的数量是否已达到视图切换周期。在此，所显示帧的数量是指示同一单视图剪切图像的多少帧已被显示的变量。此外，视图切换周期是指定要显示同一单视图剪切图像的多少帧数的设置值。视图切换周期可以是预定的固定值，或者可以由用户、应用等设置。
当确定所显示帧的数量已达到视图切换周期时，即，当确定切换要显示的单视图剪切图像的定时(帧)已经到来时，处理前进到步骤S142。
在步骤S142中，显示视图选择单元201将所显示帧的数量(变量)设置为初始值(例如，“1”)。注意的是，这个初始值是任意的，并且可以是“1”以外的值，诸如“0”。
在步骤S143中，显示视图选择单元201更新显示序号。显示序号是指示单视图剪切图像的切换方案中的显示次序的数字(变量)，并且如下式(1)中那样更新。
显示序号＝(显示序号+1)mod显示序列数
...(1)
在此，显示序列数是在单视图剪切图像的切换方案的一个周期中包括的单视图剪切图像的数量。显示序号是指示当前处理目标在一个周期的序列中的次序的数字。
例如，在图10的情况下，单视图剪切图像151的切换方案的一个周期包括五个单视图剪切图像151。因而，这种情况下显示序列数是“5”，并且显示序号是“0”到“4”之一(即，五个值之一)。在图15的示例的情况下，单视图剪切图像151的切换方案的一个周期包括四个单视图剪切图像151。因而，这种情况下显示序列数是“4”，并且显示序号是“0”到“3”之一(即，四个值之一)。在图16和17的示例中，单视图剪切图像151的切换方案的一个周期包括六个单视图剪切图像151。因而，这种情况下显示序列数是“6”，并且显示序号是“0”到“5”之一(即，六个值之一)。
在公式(1)中，函数mod指示除法的余数。即，通过步骤S143中的处理，显示序列数的值递增1，并且当达到显示序列数时，该值返回到“0”。即，例如，在图10的情况下，显示序号重复“0”到“4”的值，诸如“0”→“1”→“2”→“3”→“4”→“0"→等等。
在步骤S144中，显示视图选择单元201从表信息中获取与通过步骤S143中的处理更新后的显示序号对应的单视图编号。显示视图选择单元201包括指示单视图剪切图像的切换方案的一个周期的表信息。表信息是指示以何种次序显示哪个单视图图像(单视图剪切图像)的信息，并且指示每个显示序号与单视图编号之间的对应关系。显示视图选择单元201基于表信息识别与更新后的显示序号对应的单视图编号。
注意的是，在单视图剪切图像的切换方案可变的情况下，即，在要应用的方案可以由用户、应用等设置的情况下，显示视图选择单元201可以基于与应用的方案对应的表信息来识别单视图编号。例如，显示视图选择单元201可以预先具有多种类型的表信息作为候选，并从候选当中选择与来自控制单元81的指令(用户、应用等的方案指定)对应的表信息。
此外，基于来自控制单元81的信息，显示视图选择单元201可以生成与所应用的方案对应的表信息。例如，显示视图选择单元201可以基于诸如在垂直方向上具有最大坐标的视图、在水平方向上具有最大坐标的视图、在垂直方向上具有最小坐标的视图或在水平方向上具有最小坐标的视图之类的参考来生成表信息。
在步骤S145中，显示视图选择单元201将单视图编号设置为显示视图编号。显示视图编号是指示要显示的单视图图像的单视图编号。即，显示视图选择单元201将显示视图编号供应给移位量确定单元202和单视图剪切区域设置单元203。
当步骤S145的处理结束时，显示视图选择处理结束，并且处理返回到图20。
此外，如果在步骤S141中确定所显示帧的数量未达到视图切换周期，即，如果确定不是切换要显示的单视图剪切图像的定时(帧)，那么处理前进到步骤S146。
在步骤S146中，显示视图选择单元201将所显示帧的数量(变量)递增“+1”而不切换(不更新)单视图剪切图像。
在步骤S147中，显示视图选择单元201将先前(前一帧)显示视图编号设置为当前显示视图编号。即，不更新显示视图编号。因此，显示视图选择单元201将与前一帧的显示视图编号相同的显示视图编号供应给移位量确定单元202和单视图剪切区域设置单元203。
当步骤S147的处理结束时，显示视图选择处理结束，并且处理返回到图20。
通过执行如上所述的每个处理，显示图像生成单元55可以动态地切换要显示的单视图图像。因此，用户可以通过确认显示图像来更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
注意的是，在显示捕获的图像或存储的捕获的图像的确认图像的情况下，可以对捕获的图像执行与上述通过镜头的图像显示处理类似的处理。
<单视图的数量>
注意的是，只要在多视图光学系统30中包括多个单视图光学系统31(单视图)，其数量不限于上述五个视图(五个单视图光学系统31)。视图的数量可以是奇数或偶数。此外，单视图光学系统31的布置方案(相对位置关系)也是任意的。
<七个视图>
例如，可以提供七个单视图(七个单视图光学系统31)。图22图示了在那种情况下由相机10生成的获取的图像(或捕获的图像)的全体图像的示例。
如图22中所示，在这种情况下，全体图像130包括七个被摄体象141和七个被摄体142。即，全体图像130包括七个单视图图像。即，在这个全体图像130的情况下，可以提取七种类型的单视图剪切图像151，诸如图22中所示的单视图剪切图像1510至1516。
在这种情况下，单视图剪切图像的切换方案也是任意的，如五个视图的情况下一样。例如，可以使用其中每个单视图光学系统31被选择一次的切换方案。例如，以单视图剪切图像1510→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1515→单视图剪切图像1516(→单视图剪切图像1510)的次序切换的方案可以被设置为一个周期。
可替代地，例如，可以使用其中选择在单视图剪切图像151之间的相对位置关系中位于外周部分的单视图剪切图像151(中的一些或全部)的切换方案。例如，以单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1515→单视图剪切图像1516(→单视图剪切图像1511)的次序切换的方案可以被设置为一个周期。
而且，例如，也可以使用其中按某次序一个接一个地选择这些单视图剪切图像151中的一些或全部以使得在单视图剪切图像151之间的相对位置关系中扫描轨迹相对于任意方向线对称的切换方案。例如，扫描轨迹可以是垂直方向的线对称、水平方向的线对称或倾斜方向的线对称。例如，以单视图剪切图像1510→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1510→单视图剪切图像1514→单视图剪切图像1515→单视图剪切图像1516→(→单视图剪切图像1510)的次序切换的模式可以被设置为一个周期。
可替代地，例如，可以使用其中按某次序一个接一个地选择这些单视图剪切图像151中的一些或全部以使得在单视图剪切图像151之间的相对位置关系中扫描轨迹旋转对称(例如，点对称)的切换方案。例如，以单视图剪切图像1510→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1510→单视图剪切图像1516→单视图剪切图像1515→单视图剪切图像1514→(→单视图剪切图像1510)的次序切换的方案可以被设置为一个周期。此外，例如，以单视图剪切图像1510→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1510→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1510→单视图剪切图像1515→单视图剪切图像1516(→单视图剪切图像1510)的次序切换的方案可以被设置为一个周期。
而且，例如，切换方案可以具有其中选择这些单视图剪切图像151中的一些或全部以使得可以掌握垂直方向上的最大视差和水平方向上的最大视差的最小配置。例如，以单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1514→单视图剪切图像1515(→单视图剪切图像1511)的次序切换的方案可以被设置为一个周期。即，在多个单视图剪切图像当中，可以选择单视图剪切图像之间的视差大于其它图像之间的视差的多个图像，并且可以选择所选择的多个图像且一个接一个地显示。
如在五个视图的情况下，可以旋转上述每个示例的选择次序(显示次序)的方案。此外，上述每个示例的选择次序(显示次序)的方案可以在任意方向(垂直方向、水平方向或倾斜方向)上翻转。而且，能够以与上述每个示例的选择次序(显示次序)相反的次序执行选择(显示)。此外，可以适当地组合如上所述的方案的旋转或反转以及次序的反转等方法。然后，上述每个示例的方案可以由用户或应用指定。
<九个视图>
例如，可以供应九个单视图(九个单视图光学系统31)。图23图示了在那种情况下由相机10生成的获取的图像(或捕获的图像)的全体图像的示例。
如图23中所示，在这种情况下，全体图像130包括九个被摄体141和九个被摄体142。即，全体图像130包括九个单视图图像。即，在这个全体图像130的情况下，可以提取九种类型的单视图剪切图像151，诸如图23中所示的单视图剪切图像1510至1518。
在这种情况下，单视图剪切图像的切换方案也是任意的，如五个视图的情况下一样。例如，可以使用其中每个单视图光学系统31被选择一次的切换方案。例如，以单视图剪切图像1510→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1515→单视图剪切图像1516→单视图剪切图像1517→单视图剪切图像1518(→单视图剪切图像1510)的次序切换的方案可以被设置为一个周期。
可替代地，例如，可以使用其中选择在单视图剪切图像151之间的相对位置关系中位于外周部分的单视图剪切图像151(中的一些或全部)的切换方案。例如，以单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1515→单视图剪切图像1516→单视图剪切图像1517→单视图剪切图像1518(→单视图剪切图像1511)的次序切换的方案可以被设置为一个周期。
而且，例如，也可以使用其中按某次序一个接一个地选择这些单视图剪切图像151中的一些或全部以使得在单视图剪切图像151之间的相对位置关系中扫描轨迹相对于任意方向线对称的切换方案。例如，扫描轨迹可以是垂直方向的线对称、水平方向的线对称或倾斜方向的线对称。例如，以单视图剪切图像1510→单视图剪切图像1518→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1510→单视图剪切图像1514→单视图剪切图像1515→单视图剪切图像1516→单视图剪切图像1517→可以将单视图剪切图像1518(→单视图剪切图像1510)的次序切换的模式可以被设置为一个周期。
可替代地，例如，可以使用其中按某次序一个接一个地选择这些单视图剪切图像151中的一些或全部以使得在单视图剪切图像151之间的相对位置关系中扫描轨迹旋转对称(例如，点对称)的切换方案。例如，以单视图剪切图像1510→单视图剪切图像1518→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1510→单视图剪切图像1518→单视图剪切图像1517→单视图剪切图像1516→单视图剪切图像1515→单视图图剪切图像1514(→单视图图剪切图像1510)的次序切换的模式可以被设置为一个周期。此外，例如，以单视图剪切图像1510→单视图剪切图像1511→单视图剪切图像1512→单视图剪切图像1510→单视图剪切图像1513→单视图剪切图像1514→单视图剪切图像1510→单视图剪切图像1515→单视图剪切图像1516→单视图剪切图像1510→单视图剪切图像1517→单视图剪切图像1518(→单视图剪切图像1510)的次序切换的模式可以被设置为一个周期。
而且，例如，可以使用其中选择这些单视图剪切图像151中的一些或全部以使得可以掌握垂直方向上的最大视差和水平方向上的最大视差的切换方案。例如，以单视图剪切图像1511→单视图剪切图像1513→单视图剪切图像1515→单视图剪切图像1517(→单视图剪切图像1511)的次序切换的方案可以被设置为一个周期。
而且，例如，切换方案可以具有8字形，其中选择这些单视图剪切图像151中的一些或全部以使得可以掌握垂直方向上的最大视差和水平方向上的最大视差。例如，以单视图剪切图像1511→单视图剪切图像1513→单视图剪切图像1517→单视图剪切图像1515(→单视图剪切图像1511)的次序切换的方案可以被设置为一个周期。
而且，例如，切换方案可以具有其中选择这些单视图剪切图像151的一些或全部以使得可以掌握垂直方向上的最大视差和水平方向上的最大视差的最小配置。例如，以单视图剪切图像1511→单视图剪切图像1515(→单视图剪切图像1511)的次序切换的方案可以被设置为一个周期。
如在五个视图的情况下，可以旋转上述每个示例的选择次序(显示次序)的方案。此外，上述每个示例的选择次序(显示次序)的方案可以在任意方向(垂直方向、水平方向或倾斜方向)上翻转。而且，能够以与上述每个示例的选择次序(显示次序)相反的次序执行选择(显示)。此外，可以适当地组合如上所述的方案的旋转或反转以及次序的反转等方法。然后，上述每个示例的方案可以由用户或应用指定。
<2.第二实施例>
<相机系统>
在第一实施例中，以包括多视图光学系统30的相机10为例描述了本技术，但是本技术也可以应用于其它配置。例如，包括多视图光学系统30的光学系统可以是可更换的。即，多视图光学系统30可以被配置为可从相机10分离。
<相机系统的外观>
图24是图示对其应用本技术的相机系统的实施例的配置示例的透视图。图24中所示的相机系统301包括相机主体310和多视图可更换镜头320(镜头单元)。在多视图可更换镜头320附接到相机主体310的状态下，相机系统301具有与相机10类似的配置，并且基本上执行类似的处理。即，与相机10类似，相机系统301用作对被摄体成像并生成捕获的图像的图像数据的成像设备。
多视图可更换镜头320可从相机主体310分离。即，相机主体310包括相机安装座311，并且多视图可更换镜头320(的镜头安装座322)附接到相机安装座311，从而将多视图可更换镜头320附接到相机主体310。注意的是，多视图可更换镜头320以外的一般可更换镜头也可以可分离地附接到相机主体310。
相机主体310结合了图像传感器51。图像传感器51接收由安装在相机主体310(的相机安装座311)上的多视图可更换镜头320和其它可更换镜头会聚的光束，并执行光电转换以对被摄体成像。
多视图可更换镜头320包括镜筒321和镜头安装座322。此外，多视图可更换镜头320包括多个(诸如五个)单视图光学系统310、311、312、313和314。
与相机10的情况相同，这种情况下的多个单视图光学系统31被配置为使得通过这些系统的光的光路彼此独立。即，已通过单视图光学系统31的光在图像传感器51的光接收表面(例如，有效像素区域)上的不同位置上出射，而不入射到其它单视图光学系统31上。至少单视图光学系统31的光轴位于图像传感器51的光接收表面上的不同位置，并且已经通过单视图光学系统31的光的至少一部分出射到图像传感器51的光接收表面上的不同位置。
因而，与相机10的情况类似，在由图像传感器51生成的捕获的图像(由图像传感器51输出的全体图像)中，通过单视图光学系统31形成的被摄体的图像形成在不同的位置。换句话说，根据捕获的图像，获得从单视图光学系统31观看的捕获的图像(也称为视点图像)。即，通过将多视图可更换镜头320安装在相机主体310上并对被摄体成像，可以获得多个视点图像。
镜筒321具有基本上圆筒形状，并且在圆筒形状的一个底表面侧形成镜头安装座322。当多视图可更换镜头320附接到相机主体310时，镜头安装座322附接到相机主体310的相机安装座311。
五个单视图光学系统31在多视图可更换镜头320中被提供以使得在与镜筒的光轴正交(与图像传感器51的光接收表面(成像表面)平行)的二维平面上，作为中心(重心)的单视图光学系统310被被布置为形成矩形的顶点的其它四个单视图光学系统311至314包围。不言而喻，图24中所示的布置是示例，并且单视图光学系统31的位置关系是任意的，只要光路彼此独立即可。
<相机系统的示例性电气配置>
图25是图示图24中的相机系统301的示例性电气配置的框图。
<相机主体>
在相机系统301中，相机主体310包括图像传感器51、RAW信号处理单元52、区域提取单元53、相机信号处理单元54、显示图像生成单元55、区域标识单元56、图像重构处理单元57、总线60、显示单元61、存储单元62、通信单元64、归档单元65、控制单元81和存储单元82。即，除了在镜筒20的部分中提供的多视图光学系统30和光学系统控制单元84以外，相机主体310具有相机10的配置。
注意的是，相机主体310除了上述配置之外还包括通信单元341。通信单元341是例如与正确地附接到相机主体310的多视图可更换镜头320(的通信单元351)进行通信并交换信息的处理单元。通信单元341可以通过任意通信方法与多视图可更换镜头320进行通信。通信可以是有线通信或无线通信。
例如，通信单元341在控制单元81的控制下执行通信，并获取从多视图可更换镜头320供应的信息。此外，例如，通信单元341在控制单元81的控制下执行通信以将从控制单元81供应的信息供应给多视图可更换镜头320。要与多视图可更换镜头320交换的信息是任意的。例如，信息可以是诸如命令或控制参数之类的数据或控制信息。
<多视图可更换镜头>
在相机系统301中，多视图可更换镜头320除了多视图光学系统30和光学系统控制单元84之外还包括通信单元351和存储单元352。通信单元351与正确地附接到相机主体310的多视图可更换镜头320中的通信单元341进行通信。这种通信使得能够在相机主体310和多视图可更换镜头320之间进行信息的交换。通信单元351的通信方法是任意的，并且可以是有线通信或无线通信。此外，通过这种通信交换的信息可以是数据或控制信息，诸如命令或控制参数。
例如，通信单元351通过通信单元341获取从相机主体310传输的控制信息。通信单元351在必要时将以这种方式获取的信息供应给光学系统控制单元84，并且可以使用该信息来控制多视图光学系统30。
此外，通信单元351可以将获取的信息供应给存储单元352，并使存储单元352将信息存储在存储介质353中。此外，通信单元351可以通过存储单元352读取存储在存储介质353中的信息，并将读取的信息传输到相机主体310(通信单元341)。
注意的是，存储介质353可以是ROM或可重写存储器(诸如RAM或闪存)。在可重写存储器的情况下，存储介质353可以存储任意信息。
<视点相关信息的存储1>
在具有这种配置的相机系统301中，与多视图可更换镜头320(即，多视图光学系统30)对应的视点相关信息的存储位置是任意的。例如，视点相关信息可以存储在多视图可更换镜头320的存储介质353中。然后，例如，相机主体310的控制单元81可以通过通信单元351和通信单元341访问存储单元352以从存储介质353读取视点相关信息。然后，视点相关信息可以通过控制单元81设置在区域标识单元56中，并进一步设置在显示图像生成单元55中。
例如，这种处理可以在成像之前的任何定时或以利用任何触发被执行，诸如当多视图可更换镜头320正确地附接到相机主体310时、当相机系统301接通电源时、或当相机系统301的驱动模式过渡到可以对被摄体执行成像的成像模式时。
以这种方式，相机主体310可以通过使用与多视图可更换镜头320(即，多视图光学系统30)对应的视点相关信息来执行使用视点图像的图像处理。即，显示图像生成单元55可以根据安装在相机主体310上的多视图可更换镜头320正确地选择单视图图像并适当地设置单视图剪切区域的移位量。即，在相机系统301的情况下，也与相机10的情况类似，显示图像生成单元55可以动态地切换要显示的单视图图像。因此，相机500可以执行与相机10的情况类似的显示。因而，用户可以通过确认显示图像来更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
<视点相关信息的存储2>
可替代地，控制单元81也可以将从多视图可更换镜头320获取的多视图可更换镜头320的视点相关信息与多视图可更换镜头320的标识信息(下文中称为ID)一起供应给存储单元82以便存储。在那种情况下，存储单元82将彼此相关联的供应的标识信息和视点相关信息存储在存储介质83中。即，可以在相机主体310中管理多视图可更换镜头320的视点相关信息和ID。因而，相机主体310可以管理多个多视图可更换镜头320的视点相关信息。
结果，从下一次开始，通过获取多视图可更换镜头320的ID，控制单元81可以从存储单元82(存储介质83)读取与该ID对应的视点相关信息。即，控制单元81可以容易地获取与多视图可更换镜头320对应的视点相关信息。
<视点相关信息的存储3>
此外，存储介质83可以预先将多个多视图可更换镜头320的视点相关信息与多视图可更换镜头320的ID相关联地存储。即，在这种情况下，相机主体310预先管理多个多视图可更换镜头320的视点关相关信息。
因此，通过使用正确附接到相机主体310的多视图可更换镜头320的ID，控制单元81可以容易地从存储单元82(存储介质83)中读取与该ID对应的视点相关信息。
<3.第三实施例>
<多个图像传感器>
注意的是，虽然在以上描述中已经描述了一个图像传感器51接收已穿过多个单视图光学系统31的光并执行光电转换以生成捕获的图像，但是本发明不限于此，并且不同的图像传感器可以接收已穿过单视图光学系统31的光。那种情况下的配置示例在图26中示出。
在图26中，相机500是对其应用本技术的成像设备的实施例。相机500基本上是与相机10类似的设备，具有与相机10类似的配置，并且执行类似的处理。但是，注意的是，相机500包括单视图成像单元5110至5114来代替相机10的多视图光学系统30和图像传感器51。单视图成像单元5110包括单视图光学系统310和图像传感器510。单视图成像单元5111包括单视图光学系统311和图像传感器511。单视图成像单元5112包括单视图光学系统312和图像传感器512。单视图成像单元5113包括单视图光学系统313和图像传感器513。单视图成像单元5114包括单视图光学系统314和图像传感器514。注意的是，在下文中，在不必区分单视图成像单元以进行解释的情况下，单视图成像单元5110至5114将被称为单视图成像单元511。
即，相机500包括多个单视图成像单元511。已穿过每个单视图成像单元511的单视图光学系统31的光入射在单视图成像单元511的图像传感器51上，被光电转换，并且生成捕获的图像。即，每个单视图成像单元511生成单视图图像的捕获的图像。将由每个单视图成像单元511的图像传感器51生成的捕获的图像(单视图图像)供应给RAW信号处理单元52、区域提取单元53、区域标识单元56、总线60等，类似于图3的情况。
此外，在这种情况下，类似于图3的情况，光学系统控制单元84控制每个单视图成像单元511的单视图光学系统31的镜头组、光圈等。此外，控制单元81使单视图成像单元511(的图像传感器51)对被摄体进行成像。
在这种配置中，相机信号处理单元54将单视图图像供应给显示图像生成单元55。显示图像生成单元55根据单视图图像生成显示图像。在这种情况下，显示图像生成单元55也动态地切换单视图图像以用作显示图像。因此，相机500可以执行与相机10的情况类似的显示。因而，用户可以通过确认显示图像来更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
<显示图像生成单元>
图27是图示这种情况下的显示图像生成单元55的主要配置示例的框图。如图27中所示，在这种情况下，显示图像生成单元55除了在图18中所示的相机10的情况下的配置之外还包括图像选择单元521。
图像选择单元521获取并保持从相机信号处理单元54供应的每个单视图图像(在每个单视图成像单元511中生成的捕获的图像)。然后，当获取从显示视图选择单元201供应的单视图编号(指示由显示视图选择单元201选择的单视图图像的单视图编号)时，图像选择单元521将与单视图编号对应的单视图图像供应给剪切处理单元204。
注意的是，在这种情况下，显示视图选择单元201将所选择的单视图图像的单视图编号供应给移位量确定单元202、单视图剪切区域设置单元203和图像选择单元521。
当获取从图像选择单元521供应的单视图图像时，剪切处理单元204从单视图图像中提取从单视图剪切区域设置单元203供应的剪切坐标所指示的单视图剪切区域。注意的是，在这种情况下，剪切处理单元204将单视图图像中的坐标和全体图像中的坐标转换成任一个，并且适当地提取图像。剪切处理单元204将剪切的单视图剪切图像供应给显示单元61并且使显示单元61显示该图像。
<通过镜头的图像显示处理的流程>
将参考图28的流程图描述在这种情况下的通过镜头的图像显示处理的流程的示例。当开始通过镜头的图像显示处理时，与图20的步骤S121至S123的处理类似地执行步骤S501至S503的处理。
在步骤S504中，图像选择单元521选择与指示通过步骤S501(图21)中的显示视图选择处理所选择的单视图图像的单视图编号(显示视图编号)对应的单视图图像。
在步骤S505中，剪切处理单元204从在步骤S504中选择的单视图图像中提取在步骤S503中设置的单视图剪切区域，并且生成单视图剪切图像。
与步骤S126(图20)的处理类似地执行步骤S506的处理。当步骤S506的处理结束时，处理返回到图19。
因此，显示图像生成单元55可以动态地切换要用作显示图像的单视图图像。因此，显示单元61可以执行与相机10的情况类似的显示。因而，用户可以通过确认显示图像来更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
不言而喻，在这种情况下，与上述通过镜头的图像的显示类似，本技术也可以应用于捕获的图像的确认图像的显示和存储的捕获的图像的显示。注意的是，在显示捕获的图像或存储的捕获的图像的确认图像的情况下，可以对捕获的图像执行与上述通过镜头的图像显示处理类似的处理。
此外，与多视图光学系统30的情况相同，单视图成像单元511的数量(视图的数量)是任意的，并且可以是奇数或者偶数。
<单视图成像单元的驱动控制>
此外，在相机500的情况下，有可能单独控制每个单独视图成像单元511的驱动。因此，例如，当显示通过镜头的图像时，可以控制(选择)要驱动的单视图成像单元511以选择单视图图像。换句话说，可以停止对生成未被选择为显示图像的单视图图像的单视图成像单元511的驱动(即，可以省略其单视图图像的生成)。此外，在那时，控制单元81可以停止对其驱动被停止的单视图成像单元511的光圈和焦点的控制。而且，控制单元81可以停止对由其驱动被停止的单视图成像单元511获得的捕获的图像的白平衡增益的控制。因此，驱动更少的单视图成像单元511，并且可以抑制功耗的增加。
<显示图像生成单元>
图29是图示这种情况下的显示图像生成单元55的主要配置示例的框图。如图29中所示，在这种情况下，显示图像生成单元55具有与图18中所示的相机10的配置类似的配置。
但是，注意的是，在这种情况下，显示视图选择单元201将所选择的单视图图像的单视图编号作为功率控制信息供应给控制单元81。控制单元81基于功率控制信息控制光学系统控制单元84，并停止与未由显示视图选择单元201选择的单视图图像对应的单视图成像单元511的驱动。
在控制单元81的控制下，光学系统控制单元84停止驱动与未由显示视图选择单元201选择的单视图图像对应的单视图成像单元511。因此，仅驱动生成由显示视图选择单元201选择的单视图图像的单视图成像单元511，并且仅生成由显示视图选择单元201选择的单视图图像。即，显示图像生成单元55被供以由显示视图选择单元201选择的单视图图像。
剪切处理单元204从供应的单视图图像(由显示视图选择单元201选择的单视图图像)中提取单视图剪切区域，生成单视图剪切图像，将生成的图像供应给显示单元61，并且使显示单元61显示该图像。
<通过镜头的图像显示处理的流程>
将参考图30的流程图描述在这种情况下的通过镜头的图像显示处理的流程的示例。当开始通过镜头的图像显示处理时，与图28的步骤S501至S503的处理类似地执行步骤S521至S523的处理。
在步骤S524中，显示视图选择单元201驱动与指示通过步骤S501(图21)中的显示视图选择处理选择的单视图图像的单视图编号(显示视图编号)对应的单视图成像单元511。剪切处理单元204获取在步骤S501(图21)的显示视图选择处理中选择的所供应的单视图图像。
与图28的步骤S505和S506的处理类似地执行步骤S525和S526的处理。当步骤S526的处理结束时，处理返回到图19。
因此，显示图像生成单元55可以动态地切换要用作显示图像的单视图图像。因此，显示单元61可以执行与相机10的情况类似的显示。因而，用户可以通过确认显示图像来更容易地掌握从不同的单视图光学系统观看的多个图像之间的视差。
<4.附录>
<计算机>
上述一系列处理可以由硬件或软来执行。在由软件执行一系列处理的情况下，包括在软件中的程序安装在计算机上。在此，计算机包括结合在专用硬件中的计算机，例如通用个人计算机，其可以通过安装各种程序等来执行各种功能。
图31是图示通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图31中所示的计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904相互连接。
输入/输出接口910也连接到总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接到输入/输出接口910。
输入单元911包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元912包括例如显示器、扬声器、输出端子等。存储单元913包括例如硬盘、RAM盘、非易失性存储器等。通信单元914包括例如网络接口等。驱动器915驱动可去除的介质921(诸如磁盘、光盘、磁光盘)或半导体存储器。
在如上所述配置的计算机中，例如，CPU 901通过输入/输出接口910和总线904将存储在存储单元913中的程序加载到RAM 903，并执行上述一系列处理。RAM 903还适当地存储CPU 901执行各种处理所必需的数据等。
由计算机执行的程序可以通过记录在诸如封装介质之类的可去除的介质921上来提供。在那种情况下，通过将可去除的介质921附接到驱动器915，可以通过输入/输出接口910将程序安装在存储单元913中。
此外，可以通过诸如局域网、互联网或数字卫星广播之类的有线或无线传输介质来提供程序。在那种情况下，程序可以由通信单元914接收并安装在存储单元913中。
此外，程序可以预先安装在ROM 902或存储单元913中。
<本技术的应用>
本技术可以应用于任意配置。例如，本技术可以被实现为装置的部分配置，诸如作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元，或者是其它功能进一步添加到单元中的套件。
此外，例如，本技术还可以应用于包括多个设备的网络系统。例如，本技术可以被实现为由多个设备通过网络协作来共享和处理的云计算。例如，本技术可以在向诸如计算机、便携式信息处理终端或物联网(IoT)设备之类的任意终端提供服务的云服务中实现。
注意的是，在本说明书中，系统是指多个组件(设备、模块(部分)等)的集合，并且所有组件是否在同一外壳中没有关系。因而，容纳在不同外壳中并通过网络连接的多个设备，以及将多个模块容纳在一个外壳中的一个设备都是系统。
<现有技术适用的领域和用途>
对其应用本技术的系统、设备、处理单元等可以用在诸如交通、医疗、预防犯罪、农业、畜牧业、采矿、美容、工厂、家电、天气和自然监测之类的任意领域中。此外，其使用也是任意的。
[其它]
本技术的实施例不限于上述实施例，并且可以在不背离本技术的范围的情况下进行各种修改。
例如，被描述为一个设备(或处理单元)的配置可以被划分并形成为多个设备(或处理单元)。相反，以上描述为多个设备(或处理单元)的配置可以共同形成为一个设备(或处理单元)。此外，可以将除上述配置以外的配置添加到每个设备(或每个处理单元)的配置。而且，只要整个系统的配置和操作基本相同，某个设备(或处理单元)的配置的一部分就可以包括在另一个设备(或另一个处理单元)的配置中。
此外，例如，上述程序可以在任意设备中执行。在那种情况下，设备具有必要的功能(功能块等)并且可以获得必要的信息就足够了。
此外，例如，一个流程图的每个步骤可以由一个设备执行，或者可以由多个设备共享和执行。而且，在一个步骤中包括多种类型的处理的情况下，多种类型的处理可以由一个设备执行，或者可以由多个设备共享和执行。换句话说，一个步骤中包括的多种类型的处理也可以作为多个步骤的处理来执行。相反，描述为多个步骤的处理可以作为一个步骤一起执行。
此外，例如，在由计算机执行的程序中，描述程序的步骤的处理可以按照本说明书中描述的次序按时间序列执行，或者可以在必要的定时(诸如当进行调用时)并行或单独执行。即，只要不矛盾，每个步骤的处理也可以按照与上述次序不同的次序来执行。而且，描述这个程序的步骤的处理可以与另一个程序的处理并行执行，或者可以与另一个程序的处理组合执行。
此外，例如，与本技术相关的多种技术可以各自独立地实现为单个主体，只要不存在矛盾即可。不言而喻，可以组合实现多种任意本技术。例如，任何实施例中描述的本技术中的一些或全部可以与另一个实施例中描述的本技术中的一些或全部结合来实现。此外，上述任意本技术中的一些或全部可以与上面未描述的另一种技术结合来实现。
注意的是，本技术也可以按下列方式配置。
(1)一种成像设备，包括：
显示控制单元，显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个，同时选择性地且动态地在图像之间切换。
(2)根据(1)所述的成像设备，其中
显示控制单元以预定次序一个接一个地选择并显示所述多个图像中的一些或全部图像。
(3)根据(2)所述的成像设备，其中
显示控制单元以某次序一个接一个地选择并显示所述多个图像中的一些或全部图像，使得在所述多个图像的视点之间的相对位置关系中扫描轨迹是线对称的。
(4)根据(2)或(3)所述的成像设备，其中
显示控制单元以某次序一个接一个地选择并显示所述多个图像中的一些或全部图像，使得在所述多个图像的视点之间的相对位置关系中扫描轨迹是旋转对称的。
(5)根据(2)至(4)中的任一项所述的成像设备，其中
显示控制单元在所述多个图像当中选择图像之间的视差大于其它图像之间的视差的多个图像，并且一个接一个地选择和显示所选择的多个图像。
(6)根据(2)至(5)中的任一项所述的成像设备，其中
显示控制单元按预定次序一个接一个地选择和显示在所述多个图像的视点之间的相对位置关系中位于外周部分的图像中的一些或全部图像。
(7)根据(1)至(6)中的任一项所述的成像设备，还包括：
选择次序指定单元，其指定图像的选择次序，其中
显示控制单元按照由选择次序指定单元指定的选择次序一个接一个地选择并显示所述多个图像中的一些或全部图像。
(8)根据(1)至(7)中的任一项所述的成像设备，其中
显示控制单元每个预定周期切换要选择的图像。
(9)根据(8)所述的成像设备，其中
所述周期是单个帧或多个帧。
(10)根据(8)或(9)所述的成像设备，还包括：
指定所述周期的周期指定单元，其中
显示控制单元在由周期指定单元指定的每个周期切换要选择的图像。
(11)根据(1)至(10)中的任一项所述的成像设备，还包括：
剪切单元，其从与由显示控制单元选择的图像相同的单视图光学系统观看的单视图图像中剪切图像。
(12)根据(11)所述的成像设备，还包括：
区域设置单元，其设置要从单视图图像中剪切的区域，其中
剪切单元将单视图图像中的由区域设置单元设置的所述区域剪切为图像。
(13)根据(12)所述的成像设备，还包括：
移位量控制单元，其控制所述区域的位置的移位量，其中
区域设置单元使用由移位量控制单元控制的移位量来设置所述区域。
(14)根据(1)至(13)中的任一项所述的成像设备，还包括：
成像单元，其中所述多个单视图光学系统的各光轴对应于不同的位置，其中
显示控制单元选择并显示由成像单元生成的图像中包括的从所述多个单视图光学系统观看的所述多个图像中的任何一个图像，以动态地切换要显示的图像。
(15)根据(14)所述的成像设备，其中
显示控制单元在由成像单元生成的获取的图像的每一帧中选择并显示所述多个图像中的任何一个图像。
(16)根据(14)或(15)所述的成像设备，其中
显示控制单元一个接一个地选择由成像单元生成的捕获的图像中包括的多个图像中的一些或全部图像，并以动态切换方式显示所选择的图像。
(17)根据(1)至(16)中的任一项所述的成像设备，还包括：
对应于所述多个单视图光学系统的各光轴的多个成像单元，其中
显示控制单元选择并显示由所述多个成像单元生成的从所述多个单视图光学系统观看的多个图像中的任何一个图像，以动态地切换要显示的图像。
(18)根据(17)所述的成像设备，其中
显示控制单元仅驱动所述多个单视图光学系统当中与所选择的图像对应的单视图光学系统。
(19)一种信息处理方法，包括：
使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个，同时选择性地且动态地在图像之间切换。
(20)一种用于使计算机用作以下单元的程序
显示控制单元，显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个，同时选择性地且动态地在图像之间切换。
附图标记列表
10 相机
30 多视图光学系统
31 单视图光学系统
33 显示面板单元
34 取景器单元
35 拨盘
36 按钮
51 图像传感器
52 RAW信号处理单元
53 区域提取单元
54 相机信号处理单元
55 显示图像生成单元
56 区域标识单元
57 图像重构处理单元
60 总线
61 显示单元
62 存储单元
63 存储介质
64 通信单元
65 归档单元
70 关联单元
81 控制单元
82 存储单元
83 存储介质
84 光学系统控制单元
141和142 被摄体
151 单视图剪切图像
201 显示视图选择单元
202 移位量确定单元
203 单视图剪切区域设置单元
204 剪切处理单元
301 相机系统
310 相机主体
320 多视图可更换镜头
341 通信单元
351 通信单元
352 存储单元
353 存储介质
500 相机
521 图像选择单元

Claims (20)

1.一种成像设备，包括：
显示控制单元，显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个图像，同时选择性地且动态地在图像之间切换。
2.根据权利要求1所述的成像设备，其中
显示控制单元以预定次序一个接一个地选择并显示所述多个图像中的一些或全部图像。
3.根据权利要求2所述的成像设备，其中
显示控制单元以某次序一个接一个地选择并显示所述多个图像中的一些或全部图像，使得在所述多个图像的视点之间的相对位置关系中扫描轨迹是线对称的。
4.根据权利要求2所述的成像设备，其中
显示控制单元以某次序一个接一个地选择并显示所述多个图像中的一些或全部图像，使得在所述多个图像的视点之间的相对位置关系中扫描轨迹是旋转对称的。
5.根据权利要求2所述的成像设备，其中
显示控制单元在所述多个图像当中选择图像之间的视差大于其它图像之间的视差的多个图像，并且一个接一个地选择和显示所选择的多个图像。
6.根据权利要求2所述的成像设备，其中
显示控制单元按预定次序一个接一个地选择和显示在所述多个图像的视点之间的相对位置关系中位于外周部分的图像中的一些或全部图像。
7.根据权利要求1所述的成像设备，还包括：
选择次序指定单元，其指定图像的选择次序，其中
显示控制单元按照由选择次序指定单元指定的选择次序一个接一个地选择并显示所述多个图像中的一些或全部图像。
8.根据权利要求1所述的成像设备，其中
显示控制单元每个预定周期切换要选择的图像。
9.根据权利要求8所述的成像设备，其中
所述周期是单个帧或多个帧。
10.根据权利要求8所述的成像设备，还包括：
指定所述周期的周期指定单元，其中
显示控制单元在由周期指定单元指定的每个周期切换要选择的图像。
11.根据权利要求1所述的成像设备，还包括：
剪切单元，其从与由显示控制单元选择的图像相同的单视图光学系统观看的单视图图像中剪切图像。
12.根据权利要求11所述的成像设备，还包括：
区域设置单元，其设置要从单视图图像中剪切的区域，其中
剪切单元将单视图图像中的由区域设置单元设置的所述区域剪切为图像。
13.根据权利要求12所述的成像设备，还包括：
移位量控制单元，其控制所述区域的位置的移位量，其中
区域设置单元使用由移位量控制单元控制的移位量来设置所述区域。
14.根据权利要求1所述的成像设备，还包括：
成像单元，其中所述多个单视图光学系统的各光轴对应于不同的位置，其中
显示控制单元选择并显示由成像单元生成的图像中包括的从所述多个单视图光学系统观看的所述多个图像中的任何一个图像，以动态地切换要显示的图像。
15.根据权利要求14所述的成像设备，其中
显示控制单元在由成像单元生成的获取的图像的每一帧中选择并显示所述多个图像中的任何一个图像。
16.根据权利要求14所述的成像设备，其中
显示控制单元一个接一个地选择由成像单元生成的捕获的图像中包括的多个图像中的一些或全部图像，并以动态切换方式显示所选择的图像。
17.根据权利要求1所述的成像设备，还包括：
对应于所述多个单视图光学系统的各光轴的多个成像单元，其中
显示控制单元选择并显示由所述多个成像单元生成的从所述多个单视图光学系统观看的多个图像中的任何一个图像，以动态地切换要显示的图像。
18.根据权利要求17所述的成像设备，其中
显示控制单元仅驱动所述多个单视图光学系统当中与所选择的图像对应的单视图光学系统。
19.一种信息处理方法，包括：
使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个图像，同时选择性地且动态地在图像之间切换。
20.一种用于使计算机用作以下单元的程序
显示控制单元，显示控制单元使显示单元显示从具有彼此独立的光路的多个单视图光学系统观看的多个图像中的任何一个图像，同时选择性地且动态地在图像之间切换。
CN202080086197.9A 2019-12-20 2020-12-07 成像设备、信息处理方法和程序 Pending CN114788258A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019230034 2019-12-20
JP2019-230034 2019-12-20
PCT/JP2020/045370 WO2021124942A1 (ja) 2019-12-20 2020-12-07 撮像装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN114788258A true CN114788258A (zh) 2022-07-22

Family

ID=76477474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086197.9A Pending CN114788258A (zh) 2019-12-20 2020-12-07 成像设备、信息处理方法和程序

Country Status (6)

Country Link
US (1) US20230016712A1 (zh)
EP (1) EP4068756A4 (zh)
JP (1) JPWO2021124942A1 (zh)
KR (1) KR20220116183A (zh)
CN (1) CN114788258A (zh)
WO (1) WO2021124942A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171358A1 (ja) * 2022-03-07 2023-09-14 ソニーグループ株式会社 マスクユニット、並びに撮像装置および撮像装置の作動方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007714A1 (en) * 2008-07-10 2010-01-14 Samsung Electronics Co., Ltd. Flexible image photographing apparatus with a plurality of image forming units and method for manufacturing the same
CN101916324A (zh) * 2008-11-17 2010-12-15 迪士尼企业公司 用于动画的依赖图评估的系统和方法
US20130003184A1 (en) * 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013038950A1 (ja) * 2011-09-13 2013-03-21 富士フイルム株式会社 立体撮像装置
JP2013085176A (ja) * 2011-10-12 2013-05-09 Canon Inc 撮像装置
CN103493484A (zh) * 2011-03-31 2014-01-01 富士胶片株式会社 成像装置和成像方法
CN103797415A (zh) * 2011-09-13 2014-05-14 佳能株式会社 摄像设备及其控制方法
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム
WO2016002578A1 (ja) * 2014-07-04 2016-01-07 ソニー株式会社 画像処理装置および方法
CN107924572A (zh) * 2015-04-17 2018-04-17 快图凯曼有限公司 使用阵列相机执行高速视频捕获和深度估计的系统和方法
WO2019200116A1 (en) * 2018-04-12 2019-10-17 Life Technologies Corporation Apparatuses, systems and methods for generating color video with a monochrome sensor

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04345378A (ja) * 1991-05-23 1992-12-01 Konica Corp 電子スチルビデオカメラ
JP2006119843A (ja) * 2004-10-20 2006-05-11 Olympus Corp 画像生成方法およびその装置
JP2007049484A (ja) * 2005-08-10 2007-02-22 Fujifilm Holdings Corp デジタルカメラ
JP5510318B2 (ja) * 2008-06-13 2014-06-04 株式会社ニコン 電子カメラ
JP5160460B2 (ja) * 2009-01-28 2013-03-13 富士フイルム株式会社 立体撮像装置および立体撮像方法
EP2592823A3 (en) * 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
JP6376920B2 (ja) * 2014-03-07 2018-08-22 キヤノン株式会社 複眼撮像装置
EP3444114B1 (de) 2017-08-18 2023-10-25 Ems-Chemie Ag Verstärkte polyamid-formmassen mit geringem haze und formkörper daraus
CN111108742A (zh) 2017-09-27 2020-05-05 索尼公司 信息处理装置、信息处理方法、程序以及可互换透镜

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007714A1 (en) * 2008-07-10 2010-01-14 Samsung Electronics Co., Ltd. Flexible image photographing apparatus with a plurality of image forming units and method for manufacturing the same
CN101916324A (zh) * 2008-11-17 2010-12-15 迪士尼企业公司 用于动画的依赖图评估的系统和方法
CN103493484A (zh) * 2011-03-31 2014-01-01 富士胶片株式会社 成像装置和成像方法
US20130003184A1 (en) * 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013038950A1 (ja) * 2011-09-13 2013-03-21 富士フイルム株式会社 立体撮像装置
CN103797415A (zh) * 2011-09-13 2014-05-14 佳能株式会社 摄像设备及其控制方法
JP2013085176A (ja) * 2011-10-12 2013-05-09 Canon Inc 撮像装置
JP2015148765A (ja) * 2014-02-07 2015-08-20 オリンパス株式会社 撮像装置、表示装置、光学装置、及び撮像システム
WO2016002578A1 (ja) * 2014-07-04 2016-01-07 ソニー株式会社 画像処理装置および方法
CN107924572A (zh) * 2015-04-17 2018-04-17 快图凯曼有限公司 使用阵列相机执行高速视频捕获和深度估计的系统和方法
WO2019200116A1 (en) * 2018-04-12 2019-10-17 Life Technologies Corporation Apparatuses, systems and methods for generating color video with a monochrome sensor

Also Published As

Publication number Publication date
JPWO2021124942A1 (zh) 2021-06-24
EP4068756A4 (en) 2023-01-11
WO2021124942A1 (ja) 2021-06-24
US20230016712A1 (en) 2023-01-19
KR20220116183A (ko) 2022-08-22
EP4068756A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US9256116B2 (en) Stereoscopic imaging device, image reproducing device, and editing software
JP5096048B2 (ja) 撮像装置、立体画像再生装置及び立体画像再生プログラム
US9965834B2 (en) Image processing apparatus and image acquisition apparatus
US20100315517A1 (en) Image recording device and image recording method
US9838667B2 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable medium
JP2010230879A (ja) 複眼カメラ装置
JP2008270903A (ja) 画像処理装置、方法およびプログラム
JPWO2012164934A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2010213083A (ja) 撮像装置および方法
JP2010206643A (ja) 撮像装置、方法およびプログラム
JP4748398B2 (ja) 撮像装置、撮像方法及びプログラム
WO2013146067A1 (ja) 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
WO2021124942A1 (ja) 撮像装置、情報処理方法、およびプログラム
US11899276B2 (en) Imaging apparatus, information processing method, program, and interchangeable lens
US11899342B2 (en) Interchangeable lens, information processing apparatus, information processing method, and program
US20130076869A1 (en) Imaging apparatus and method for controlling same
US11765336B2 (en) Image-capturing apparatus, information processing method, and program
JP2012124650A (ja) 撮像装置および撮像方法
WO2021124940A1 (ja) 情報処理装置および方法、撮像装置および方法、プログラム、並びに、交換レンズ
US9641741B2 (en) Focus detection apparatus and method for controlling the same
JP2014120994A (ja) 補助撮像装置
JP6161307B2 (ja) 撮像装置およびその制御方法
JP5307189B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP2014160989A (ja) 表示装置、表示方法およびプログラム
JP2013162362A (ja) 撮像装置および撮像プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination