CN115484450A - 信息处理装置、控制方法和计算机可读存储介质 - Google Patents

Abstract

本发明提供信息处理装置、控制方法和计算机可读存储介质。根据本公开的信息处理装置包括：获得单元，其被构造为获得图像和关于第一光学系统和第二光学系统的校正信息，所述图像包括与经由第一光学系统输入的第一光学图像相对应的第一图像区域和与经由第二光学系统输入的第二光学图像相对应的第二图像区域，第二光学系统相对于第一光学系统具有预定视差；校正单元，其被构造为执行校正处理，所述校正处理基于校正信息，校正所述图像中的包括在第一图像区域中的像素的位置和包括在第二图像区域中的像素的位置；以及生成单元，其被构造为通过执行对校正后的第一图像区域和校正后的第二图像区域进行变换的处理来生成处理后的图像。

Description

信息处理装置、控制方法和计算机可读存储介质

技术领域

本公开涉及信息处理装置、控制方法和计算机可读存储介质。

背景技术

在已知技术中，具有视差的两个图像由两个照相机拍摄并且被立体地显示。日本特开第2013-141052号公报公开了一种照相机，该照相机包括具有两个光学系统的镜头单元，并且一次可以拍摄具有视差的两个图像。

然而，当使用具有两个光学系统的镜头单元拍摄的图像(包括具有视差的两个图像的图像)如传统图像一样显示时，两个光学系统之间的位置关系和该图像中的两个图像之间的位置关系是相互颠倒。

发明内容

本公开提供了一种技术，该技术能够实现这样的显示：由具有两个光学系统的镜头单元拍摄的两个图像的位置与这两个光学系统对准。

根据本公开的信息处理装置包括：获得单元，其被构造为获得图像和关于第一光学系统和第二光学系统的校正信息，所述图像包括第一图像区域和第二图像区域，所述第一图像区域与经由第一光学系统输入的第一光学图像相对应，所述第二图像区域与经由第二光学系统输入的第二光学图像相对应，第二光学系统相对于第一光学系统具有预定视差；校正单元，其被构造为执行校正处理，所述校正处理基于校正信息，校正所述图像中的包括在第一图像区域中的像素的位置和包括在第二图像区域中的像素的位置；以及生成单元，其被构造为通过对校正后的第一图像区域和校正后的第二图像区域执行变换处理来生成处理后的图像。

本公开的进一步特征将通过以下参照附图对示例性实施例的描述而变得显而易见。

附图说明

图1A和图1B是示出系统的整体构造的示意图；

图2A和图2B是示出照相机的外部图；

图3是示出照相机的构造的框图；

图4是示出镜头单元的构造的示意图；

图5是示出PC的构造的框图；

图6是示出照相机的操作的流程图；

图7是示出PC的操作的流程图；

图8A和图8B是示出左右图像的位置交换的示意图；

图9是示出图像文件的结构的示意图；

图10A是表示镜头信息的示意图，图10B是表示镜头设计值和镜头个体值的示意图，而图10C是表示照相机信息的示意图；

图11A和图11B是显示画面的示意图；

图12是示出等距圆柱变换的示意图；

图13是示出照相机的操作的流程图；

图14是示出PC的操作的流程图；

图15A至图15D是显示画面的示意图；

图16A和图16B是表示左右镜头的差异的图；

图17A至图17D是表示由镜头的误差引起的位移的图；以及

图18是表示图像位置在空间坐标上的校正的图。

具体实施方式

将参照附图详细描述本公开的实施例。

第一实施例

下面将描述本公开的第一实施例。图1A和图1B是示出根据本实施例的系统的整体构造示例的示意图。根据本实施例的系统包括数字照相机(照相机)100和个人计算机(PC)500。镜头单元300附接(连接)到照相机100。稍后将具体描述镜头单元300。附接镜头单元300使得照相机100可以以预定视差一次拍摄两个图像(静止图像或运动图像)。PC 500是处理由诸如照相机100的摄像装置拍摄的图像的信息处理装置。图1A示出了这样的构造，其中照相机100和PC 500相连接以经由无线电通信或有线通信相互通信。图1B示出了这样的构造，其中由照相机100拍摄的图像等基本上作为文件经由外部存储设备输入到PC 500。外部存储设备可以连接到或不需要连接到照相机100和PC 500两者。例如，外部存储设备可以连接到照相机100，并且由照相机100拍摄的图像文件可以存储在外部存储设备中。此后，可以从照相机100拆下外部存储设备并将外部存储设备连接到PC 500，并且可以将存储在外部存储设备中的文件导入PC 500。

图2A和图2B是示出照相机100的外观示例的外部图。图2A是从前面观察的照相机100的透视图。图2B是从背面观察的照相机100的透视图。

照相机100在顶表面上包括快门按钮101、电源开关102、模式改变开关103、主电子拨盘104、副电子拨盘105、运动图像按钮106和取景器外部显示单元107。快门按钮101是用于提供摄影准备指令或摄影指令的操作构件。电源开关102是用于接通或断开照相机100的电源的操作构件。模式改变开关103是用于切换各种模式的操作构件。主电子拨盘104是用于改变诸如快门速度和光圈的设置值的旋转操作构件。副电子拨盘105是用于移动选择框(光标)或切换图像的旋转操作构件。运动图像按钮106是用于提供开始或停止对运动图像的摄影(记录)的指令的操作构件。取景器外部显示单元107显示诸如快门速度和光圈的各种设置值。

照相机100在背面上包括显示单元108、触摸面板109、方向键110、SET(设置)按钮111、AE锁定按钮112、放大按钮113、重放按钮114和菜单按钮115、目镜部件116、目镜检测单元118和触摸条119。显示单元108显示图像和各种信息。触摸面板109是用于检测对显示单元108的显示画面(触摸画面)的触摸的操作构件。方向键110是包括可以上下左右按下的键(十字键)的操作构件。可以根据方向键110的按下位置来进行处理。SET按钮111是主要在确定选择的项目时要按下的操作构件。AE锁定按钮112是在摄影待机状态下固定曝光状态时要按下的操作构件。放大按钮113是用于在摄影模式的实时取景显示(LV显示)中打开或关闭放大模式的操作构件。当打开放大模式时，操作主电子拨盘104以放大或缩小实时取景图像(LV图像)。当在重放模式中放大重放的图像或增加放大率时使用放大按钮113。重放按钮114是用于切换摄影模式和重放模式的操作构件。通过在摄影模式下按下重放按钮114，模式切换到重放模式，从而可以在显示单元108上显示记录在稍后描述的记录介质227中的最新图像。

菜单按钮115是为了在显示单元108上显示能够进行各种设置的菜单画面而要按下的操作构件。用户可以通过使用方向键110、SET按钮111和显示在显示单元108上的菜单画面直观地进行各种设置。目镜部件116是用于通过目镜取景器(窥视式取景器)117与眼睛同高地观看的部件。用户可以通过目镜部件116在照相机100中视觉确认电子取景器(EVF)217(稍后将描述)上显示的视频。目镜检测单元118是用于检测用户的眼睛是否放在目镜部件116(目镜取景器117)附近的传感器。

触摸条119是可以接收触摸的线性触摸构件(线触摸传感器)。触摸条119被定位成在用右手握持(用右手的小指、无名指和中指抓握)抓握部件120的同时用右手拇指触摸(可触摸)，以便用右手的食指按下快门按钮101。换言之，当用户将目镜取景器117置于与眼睛同高的情况下注视目镜部件116并将照相机保持在允许随时按下快门按钮101的位置(摄影位置)时，可以操作触摸条119。例如，触摸条119可以接收在触摸条119上的敲击操作(触摸并在不移动触摸位置的情况下在预定时间段内释放)和左右滑动操作(触摸并在保持触摸的同时移动触摸位置)。触摸条119是与触摸面板109不同的操作构件，并不具有显示功能。触摸条119例如用作可以分配各种功能的多功能条(M-Fn条)。

照相机100还包括抓握部件120、拇指搁置部件121、端盖122、盖子123和通信端子124。抓握部件120是具有易于用握持照相机100的用户的右手握持的形状的握持部件。当用右手的小指、无名指和中指抓握抓握部件120来握持照相机100时，快门按钮101和主电子拨盘104被定位成可以用右手食指操作。在相同的状态下，副电子拨盘105和触摸条119被定位成可以用右手食指操作。拇指搁置部件121(拇指待用位置)是在这样的点处设置的抓握部件，在该点，在不操作照相机100背面的任何操作构件的情况下容易放置握持抓握部件120的右手拇指。拇指搁置部件121包括用于增加握持力(抓握感)的橡胶构件。端盖122保护连接器，例如将照相机100连接到外部装备(外部设备)的连接电缆。盖子123封闭用于存储稍后将描述的记录介质227的槽，从而保护记录介质227和槽。通信端子124是用于与可从照相机100拆卸的镜头单元(例如，将在后面描述的镜头单元200或镜头单元300)进行通信的端子。

图3是示出照相机100的构造示例的框图。与图2A和图2B相同的组成元件由与图2A和图2B中相同的附图标记表示，并且可选地省略其说明。在图3中，镜头单元200附接到照相机100。

下面将首先描述镜头单元200。镜头单元200是一种可从照相机100拆卸的可更换镜头。镜头单元200是单镜头(典型镜头的示例)。镜头单元200包括光阑201、镜头202、光阑驱动电路203、自动对焦(AF)驱动电路204、镜头系统控制电路205和通信端子206。

光阑201被构造有可调节孔径。镜头202包括多个透镜。光阑驱动电路203通过控制光阑201的孔径来调整光量。AF驱动电路204通过驱动镜头202来调整焦点。镜头系统控制电路205基于将在后面描述的系统控制单元50的指令来控制光阑驱动电路203和AF驱动电路204。镜头系统控制电路205经由光阑驱动电路203控制光阑201，并通过经由AF驱动电路204改变镜头202的位置来调整焦点。镜头系统控制电路205可以与照相机100通信。具体地，通过镜头单元200的通信端子206和照相机100的通信端子124进行通信。通信端子206是允许镜头单元200与照相机100通信的端子。

下面将描述照相机100。照相机100包括快门210、摄像单元211、A/D转换器212、存储器控制单元213、图像处理单元214、存储器215、D/A转换器216、EVF 217、显示单元108和系统控制单元50。

快门210是能够基于系统控制单元50的指令自由控制摄像单元211的曝光时间的焦平面快门。摄像单元211是包括将光学图像转换为电信号的CCD和CMOS设备的图像拾取设备(图像传感器)。摄像单元211可以包括用于向系统控制单元50输出散焦量信息的摄像区域相位差传感器。A/D转换器212将从摄像单元211输出的模拟信号转换为数字信号。图像处理单元214对来自A/D转换器212的数据或来自存储器控制单元213的数据进行预定的处理(包括像素插值、颜色转换和诸如尺寸缩小的大小调整)。此外，图像处理单元214使用拍摄的图像数据进行预定的算术处理，然后系统控制单元50基于获得的处理结果进行曝光控制和测距控制。例如，该处理能够实现直通镜头(TTL)AF处理、自动曝光(AE)处理、闪光预发射(EF)处理。此外，图像处理单元214通过使用拍摄的图像数据进行预定的算术处理，然后系统控制单元50基于获得的处理结果进行TTL自动白平衡(AWB)处理。

来自A/D转换器212的图像数据通过图像处理单元214和存储器控制单元213写入存储器215。或者，来自A/D转换器212的图像数据在没有图像处理单元214的情况下通过存储器控制单元213写入存储器215。存储器215存储如下的图像数据：由摄像单元211获得并由A/D转换器212转换为数字数据的图像数据和要在显示单元108和EVF 217上显示的图像数据。存储器215具有足够大的存储容量，足以在预定时间内存储预定数量的静止图像和运动图像以及语音。此外，存储器215用作图像显示存储器(视频存储器)。

D/A转换器216将要显示并存储在存储器215中的图像数据转换为模拟信号，并将该信号供给到显示单元108和EVF 217。因此，将要被显示并写入存储器215的图像数据经由D/A转换器216显示在显示单元108和EVF 217上。显示单元108和EVF 217响应于来自D/A转换器216的模拟信号而提供显示。显示单元108和EVF 217例如是LCD或有机EL显示器。由A/D转换器212转换并存储在存储器215中的数字信号由D/A转换器216转换为模拟信号，依次传送到显示单元108和EVF 217，并在其上显示，从而提供实时取景显示。

系统控制单元50是包括至少一个处理器和/或至少一个电路的控制单元。换言之，系统控制单元50可以是处理器、电路或处理器与电路的组合。系统控制单元50控制整个照相机100。系统控制单元50通过运行记录在非易失性存储器219中的程序来实现将在后面描述的流程图的处理。此外，系统控制单元50通过控制例如存储器215、D/A转换器216、显示单元108和EVF 217来进行显示控制。

照相机100还包括系统存储器218、非易失性存储器219、系统定时器220、通信单元221、姿势检测单元222和目镜检测单元118。

系统存储器218例如是RAM。在系统存储器218中，展开用于系统控制单元50的操作的常数和变量以及从非易失性存储器219读取的程序等。非易失性存储器219是电可擦写存储器。非易失性存储器219例如是EEPROM。在非易失性存储器219中，记录用于系统控制单元50的操作的常数和程序等。在这种情况下，程序是用于实现稍后将描述的流程图的程序。系统定时器220是用于测量用于各种控制的时间和内置时钟的时间的定时器单元。通信单元221向无线连接的或经由有线电缆连接的外部装备发送视频信号和音频信号并从其接收视频信号和音频信号。通信单元221还可以连接到无线局域网(LAN)和因特网。此外，通信单元221也可以经由蓝牙(注册商标)和蓝牙低功耗(Bluetooth Low Energy)与外部装备进行通信。通信单元221可以发送由摄像单元211拍摄的图像(包括实况图像)和记录在记录介质227中的图像，并从外部装备接收图像和其他各种信息。姿势检测单元222检测照相机100相对于重力方向的姿势。基于由姿势检测单元222检测到的姿势，可以确定摄像单元211是在照相机100处于水平位置还是处于垂直位置的情况下拍摄了图像。系统控制单元50可以将与由姿势检测单元222检测到的姿势相对应的姿势信息添加到由摄像单元211拍摄的图像的图像文件中，或者根据检测到的姿势旋转图像。姿势检测单元222例如可以是加速度传感器或陀螺仪传感器。还可以通过使用姿势检测单元222来检测照相机100的运动(例如，平移、倾斜、升降、静止与否)。

目镜检测单元118可以检测接近目镜部件116(目镜取景器117)的物体。目镜检测单元118例如可以是红外接近传感器。当物体接近目镜部件116时，来自目镜检测单元118的发光部分的红外线被物体反射，被红外线接近传感器的受光部分接收。从目镜部件116到物体的距离可以根据接收到的红外辐射量来确定。这样，目镜检测单元118进行接近检测，以便检测从物体到目镜部件116的接近距离。目镜检测单元118是用于检测眼睛(物体)靠近(接近)目镜部件116和从其移开(离开)的目镜检测传感器。如果检测到物体从非接近状态(移开状态)在预定距离内接近目镜部件116，则检测到物体的接近。如果物体从接近状态(移近状态)从目镜部件116移开预定距离以上，则检测到物体的分离。不同的阈值可以用于利用例如滞后来检测物体的接近和检测物体的分离。此外，假定在检测到物体的接近之后，接近状态一直持续到检测到物体的分离为止。假定在检测到物体的分离之后，非接近状态一直持续到检测到物体的接近为止。系统控制单元50根据目镜检测单元118检测到的状态切换显示单元108和EVF 217的显示(显示状态)/隐藏(隐藏状态)。具体地，至少在摄影待机状态和自动切换作为显示器上的切换设置，在非接近状态期间，显示显示单元108而隐藏EVF 217。在接近状态期间，显示EVF 217而隐藏显示单元108。目镜检测单元118不限于红外接近传感器。目镜检测单元118可以是能够检测接近的其他传感器。

照相机100还包括取景器外部显示单元107、取景器外部显示驱动电路223、电源控制单元224、电源225、记录介质I/F 226和操作单元228。

取景器外部显示单元107由取景器外部显示驱动电路223驱动，并显示照相机100的各种设置值，例如快门速度和光圈。电源控制单元224包括电池检测电路、DC-DC转换器和用于切换要通电的块的开关电路。电源控制单元224检测例如电池的存在或不存在、电池类型和剩余电池容量。此外，电源控制单元224基于检测结果和来自系统控制单元50的指令来控制DC-DC转换器，并在必要时期向包括记录介质227在内的各部分供给所需电压。电源225包括：AC适配器，诸如碱性电池和锂电池的一次电池，以及诸如NiCd电池、NiMH电池和Li电池的二次电池。记录介质I/F 226是与记录介质227(例如，存储卡或硬盘)的接口。记录介质227例如是用于记录拍摄图像的存储卡，并且包括半导体存储器和磁盘。记录介质227可以从照相机100拆卸，或者可以内置在照相机100中。

操作单元228是用于接收来自用户的操作(用户操作)的输入单元。操作单元228用于向系统控制单元50输入各种指令。操作单元228包括快门按钮101、电源开关102、模式改变开关103、触摸面板109和其他操作单元229。其他操作单元229包括主电子拨盘104、副电子拨盘105、运动图像按钮106、方向键110、SET按钮111和AE锁定按钮112、放大按钮113、重放按钮114、菜单按钮115和触摸条119。

快门按钮101包括第一快门开关230和第二快门开关231。在快门按钮101的操作期间，即，在半按下快门按钮101(摄影准备指令)的期间，第一快门开关230被接通以输出第一快门开关信号SWl。系统控制单元50响应于第一快门开关信号SW1开始包括AF处理、AE处理、AWB处理和EF处理的摄影准备。在快门按钮101的操作完成时，即，在全按下快门按钮101(摄影指令)时，第二快门开关231被接通以输出第二快门开关信号SW2。系统控制单元50响应于第二快门开关信号SW2，开始从自摄像单元211读取信号到将包括拍摄图像的生成的图像文件写入记录介质227的一系列照片摄影。

模式改变开关103将系统控制单元50的操作模式切换到静止图像摄影模式、运动图像摄影模式和重放模式中的任一种。静止图像摄影模式包括诸如自动摄影模式、自动场景确定模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式(P模式)的模式。此外，还包括自定义模式和用作各摄影场景的摄影设置的各种场景模式。用户可以通过模式切换开关103直接切换到任意一种摄影模式。或者，用户在通过模式切换开关103切换到摄影模式列表画面后，可以通过操作单元228选择性地切换到任意一种显示的摄影模式。同样，运动图像摄影模式可以包括多种模式。

触摸面板109是用于检测显示单元108的显示画面(触摸面板109的操作画面)上的各种触摸操作的触摸传感器。触摸面板109和显示单元108可以被集成为单个单元。例如，触摸面板109附接到显示单元108的显示画面的上层，使得透光率不会干扰显示单元108的显示。此外，触摸面板109上的输入坐标和显示单元108的显示画面上的显示坐标相互关联，从而构造图形用户界面(GUI)，使得用户可以直接操作显示在显示单元108上的画面。触摸面板109可以是包括电阻式、电容式、表面声波式、红外线式、电磁感应式、图像识别式、光传感器式的各种型式中的任何一种。根据触摸面板109的型式，当触摸面板109被触摸时或者当将手指或笔靠近触摸面板109时，检测到触摸。在任何情况下，都可以使用任何型式的触摸面板。

对于触摸面板109，系统控制单元50可以检测以下操作或状态：

·手指或笔在触摸面板109上的第一触摸，即，开始触摸(以下称为触碰(touch-down))

·用手指或笔在触摸面板109上的触摸(以下称为触摸中(touch-on))

·手指或笔与触摸面板109接触地移动(以下称为触摸移动(touch-move))

·手指或笔从触摸面板109移开(释放)，即触摸结束(以下称为触摸完成(touch-up))

·没有东西与触摸面板109接触(以下称为未触摸(touch-off))

当检测到触碰时，同时也检测到触摸中。触碰后，除非检测到触摸完成，否则会持续检测到触摸中。此外，当检测到触摸移动时，同时检测到触摸中。即使检测到触摸中，只要触摸位置没有移动，就不会检测到触摸移动。在检测到所有手指或笔从触摸面板109触摸完成后，确定未触摸。

通过内部总线将这些操作和状态以及手指或笔在触摸面板109上的位置坐标通知给系统控制单元50。系统控制单元50基于通知的信息确定对触摸面板109的操作(触摸)。在触摸移动中，也可以基于位置坐标的改变，针对触摸面板109上的各垂直分量和水平分量来确定手指或笔在触摸面板109上的移动方向。当检测到预定距离以上的触摸移动时，确定已经执行了滑动操作。轻弹是将手指在触摸面板109上快速移动一定距离并从触摸面板109释放手指。换句话说，轻弹是在触摸面板109上以轻快的接触快速移动手指。当检测到以预定速度或更高速度触摸移动预定距离以上，然后检测到触摸完成时，确定已经进行了轻弹(可以确定在滑动操作之后已经进行了轻弹)。此外，内捏(pinch in)是使多点的触摸位置(多点触摸，例如，两点触摸)彼此靠近，而外捏(pinch out)是使触摸位置彼此分开。外捏和内捏统称为捏合操作(或简称为捏合)。

图4是示出镜头单元300的构造示例的示意图。在图4中，镜头单元300附接到照相机100。在图4所示的照相机100中，与图3中相同的组成元件用与图3中相同的附图标记表示，并且可选地省略其说明。

镜头单元300是一种可从照相机100拆卸的可更换镜头。镜头单元300是可以拍摄具有视差的右图像和左图像的双镜头单元。在本实施例中，镜头单元300包括两个光学系统。各光学系统都可以拍摄大约180°的宽视角范围。具体地，镜头单元300的两个光学系统中的各光学系统都可以在水平方向180°(水平角、方位角、偏航角)和垂直方向180°(垂直角、高度角、俯仰角)的视场(视角)上拍摄物体。换句话说，各光学系统都可以拍摄到前半球的范围。

镜头单元300包括具有多个透镜和反射镜的右眼光学系统301R、具有多个透镜和反射镜的左眼光学系统301L、以及镜头系统控制电路303。右眼光学系统301R是第一光学系统的示例。左眼光学系统301L是第二光学系统的示例。右眼光学系统301R具有设置在物体附近的镜头302R。左眼光学系统301L具有设置在物体附近的镜头302L。镜头302R和镜头302L以光轴基本上相互平行的方式朝向同一方向。

镜头单元300是用于获得VR180(可以在双目视觉中观看的虚拟现实(VR)图像的格式)的图像的双镜头单元(VR180镜头)。在本实施例中，镜头单元300具有在右眼光学系统301R和左眼光学系统301L中的各光学系统中的鱼眼镜头，鱼眼镜头能够拍摄大约180°的范围。右眼光学系统301R和左眼光学系统301L中的各光学系统中的镜头可以拍摄比180°的范围小的约160°的范围。镜头单元300可以在镜头单元300附接到照相机的情况下在照相机的一个或两个图像拾取设备上形成右图像(第一图像)和左图像(第二图像)。通过右眼光学系统301R形成右图像，并且通过左眼光学系统301L形成左图像。

镜头单元300经由照相机100的镜头安装部分304和照相机安装部分305附接到照相机100。通过该构造，照相机100的系统控制单元50和镜头电路303的镜头系统控制单元300经由照相机100的通信端子124和镜头单元300的通信端子306相互电连接。

在本实施例中，通过右眼光学系统301R形成的右图像和通过左眼光学系统301L形成的左图像同时(作为一组)形成在照相机100的摄像单元211中。换言之，在一个图像拾取设备上形成通过右眼光学系统301R和左眼光学系统301L形成的两个光学图像。摄像单元211将形成的物体图像(光学信号)转换成模拟电信号。通过使用镜头单元300，可以从右眼光学系统301R和左眼光学系统301L上的两个点(光学系统)同时(作为一组)获得具有视差的两个图像。针对所获得的图像的左眼图像和右眼图像中的各图像提供VR显示，使用户能够在约180°的范围内观看三维VR图像。换言之，用户可以获得VR180的图像的立体视图。

在这种情况下，VR图像是在VR显示中可观看的图像，这将在后面描述。VR图像包括全景图像和由全向照相机(全天球照相机)拍摄的全向图像(全天球图像)，该全景图像的视频范围(有效视频范围)大于一次可在显示部分上显示的显示范围。此外，VR图像包括运动图像和实况图像(从照相机基本上实时获得的图像)以及静止图像。VR图像具有与水平方向超过360°和垂直方向超过360°的视场相对应的最大视频范围(有效视频范围)。VR图像还包括如下视角或视频范围的图像，该视角大于普通照相机可拍摄的视角，即使该视频范围在水平方向小于360°，在垂直方向小于360°，该视频范围仍大于一次可在显示部分上显示的显示范围的图像。由具有镜头单元300的照相机100拍摄的图像是一种VR图像。通过例如将显示设备(能够显示VR图像的显示设备)的显示模式设置为“VR视图”，可以在VR显示中观看VR图像。在VR显示中观看具有360度视角的VR图像；同时，用户在横向(水平旋转方向)改变显示设备的姿势，从而可以在水平方向无缝观看全向视频。

VR显示(VR视图)是一种显示方法(显示模式)，该显示方法用于在与显示设备的姿势相对应的视场中显示VR图像中的视频，该显示方法能够改变显示范围。VR显示包括“单镜头VR显示(单镜头VR视图)”，其中在将VR图像映射到虚拟球体上的变形(畸变校正)之后显示图像。VR显示包括“双镜头VR显示(双镜头VR视图)”，其中在将VR图像映射到虚拟球体上的变形(畸变校正)之后在左右区域中显示左眼VR图像和右眼VR图像。使用具有视差的左眼VR图像和右眼VR图像提供“双镜头VR显示”，实现VR图像的立体视图。在任何类型的VR显示中，例如，如果用户佩戴显示设备，例如HMD(头戴式显示器)，则视频将显示在与用户脸的朝向相对应的视场中。例如，假定在VR图像中，在某个时间点，在水平方向上以0°(特定基点，例如北)且在垂直方向上以90°(距天顶90°，即，地平线)为中心的视场中显示视频。在这种状态下，翻转显示设备的姿势(例如，显示画面从南向变为北向)，从而在相同的VR图像中，将显示范围改变为在水平方向上以180°(相反的基点，例如南)且在垂直方向以90°为中心的视场中的视频。换言之，当佩戴HMD的用户的脸从北转向南(即用户转身)时，HMD上显示的视频从北变为南。本实施例的镜头单元300所拍摄的VR图像是在前方约180度的范围内拍摄的图像(180度图像)。不存在后方约180°的范围内的视频。在这种图像的VR显示中，当显示设备的姿势改变到没有视频的一侧时，显示空白区域。

VR图像的这种VR显示使用户感觉像是以视觉形式留在VR图像(VR空间)中(沉浸感)。VR图像的显示方法不限于改变显示设备的姿势的方法。例如，可以响应于经由触摸面板或方向按钮等的用户操作来移动(滚动)显示范围。此外，在VR显示(显示模式“VR视图”)中，除了通过改变姿势来改变显示范围外，还可以响应于触摸面板上的触摸移动、鼠标等的拖动操作或方向按钮的按下来改变显示范围。附接到VR护目镜(头戴式适配器)的智能手机是一种HMD。

图5是示出PC 500的构造示例的框图。控制单元501例如是控制整个PC 500的中央处理单元(CPU)。只读存储器(ROM)502以非临时方式存储程序和参数。随机存取存储器(RAM)503临时存储从外部装备等供给的程序和数据。记录介质504例如是固定安装在PC500中的硬盘或闪速存储器，或者是可从PC 500拆卸的光盘、磁卡、光卡、IC卡或存储卡。从记录介质504读取由照相机100拍摄的图像文件。操作单元505接收对PC 500的用户操作。用于用户操作的操作构件可以是设置在PC 500上的按钮或触摸面板，或者是可从PC 500拆卸的键盘或鼠标上。显示单元506显示例如保存在PC 500中的数据或从外部供给的数据。显示单元506可以是PC 500的一部分或PC 500的分开的显示设备。通信单元507与诸如照相机100的外部装备通信。系统总线508连接PC 500的组成元件以能够在组成元件之间进行通信。

下面将描述在附接了镜头单元300(双镜头)的情况下拍摄的图像的特性。在镜头单元200(普通单镜头)的情况下，在摄像单元211上形成与其实际视图垂直和水平反转的图像(旋转180°的图像)。因此，将所形成的图像整体旋转180°以获得(形成)与其实际视图匹配的图像。在镜头单元300(双镜头)的情况下，右图像和左图像由它们的实际视图旋转180°并形成在摄像单元211上。右图像和左图像的布局不受特别的限制。在本实施例中，假定在摄像单元211上的右侧形成右图像，而在左侧形成左图像。与镜头单元200(普通单镜头)的情况一样，当形成的图像(包括右图像的图像区域和左图像的图像区域)整体旋转180°时，右图像和左图像可以与其实际视图匹配，但是右图像和左图像的位置相互交换。换言之，左右图像之间的位置关系被反转，从而在将右图像设置在左侧且将左图像设置在右侧的情况下拍摄图像。在本实施例中，能够在与两个光学系统(右眼光学系统301R和左眼光学系统301L)相对应的位置处显示右图像和左图像。

图6是表示照相机100在摄影模式下的操作(摄影模式处理)的示例的流程图。这些操作是通过由系统控制单元50在系统存储器218中展开和运行记录在非易失性存储器219中的程序来实现的。例如，当照相机100以摄影模式启动或者照相机100的模式改变为摄影模式时，开始图6的操作。

在步骤S601中，系统控制单元50确定是否提供了用于双镜头(例如，镜头单元300)的照相机100。例如，系统控制单元50确定系统控制单元50的固件版本是否与双镜头兼容。如果确定该版本与双镜头兼容，则处理前进到步骤S602。否则，处理前进到步骤S615。在本实施例中，与普通单镜头不同，双镜头需要获取和记录双镜头信息(镜头信息；关于双镜头的两个光学系统的信息)来进行后处理。因此，步骤S601的处理是必要的。

在步骤S602中，系统控制单元50确定双镜头是否已附接到照相机100。如果确定已附接双镜头，则处理前进到步骤S603。否则，处理前进到步骤S615。如果在没有双镜头的状态下附接了双镜头，则处理前进到步骤S603。如果移除所附接的双镜头，然后附接单镜头，则处理前进到步骤S615。

在步骤S603中，系统控制单元50从双镜头中获得附接(连接)的双镜头的设计值。设计值是设计中的参数，并用于交换将在稍后描述的左右图像的位置和等距圆柱变换。例如，获得图10B中的像圈位置、像圈直径、视角和畸变校正系数。由镜头拍摄的物体图像在图像拾取设备的表面上以圆形反射。像圈是指圆形物体图像(圆形图像)。

在步骤S604中，系统控制单元50从双镜头中获得所附接(连接)的双镜头的个体值。个体值是镜头单元特有的(固有的)参数，例如，制造过程中的误差。例如，获得图10B中的像圈位移、光轴倾斜和像放大率偏差。与仅使用设计值相比，使用个体值能够以更高的精度进行图像处理。

在步骤S605中，系统控制单元50从摄像单元211获得图像。

在步骤S606中，系统控制单元50在EVF 217或显示单元108上显示在步骤S605中获得的图像(实时取景显示)。

在步骤S607中，系统控制单元50确定照相机100的用户是否提供了开始记录的指令。如果确定提供了开始记录的指令，则处理前进到步骤S608。否则，处理前进到步骤S614。EVF 217或显示单元108上的实时取景显示继续，直到提供了开始记录的指令或将在稍后描述的步骤S614中的结束指令。

开始记录的指令是全按下快门按钮101。开始记录的指令可以是进行静止图像的摄影的指令或开始运动图像的摄影的指令。要拍摄的图像可以是JPEG静止图像、MP4视频、RAW静止图像和RAW视频中的任一者。在运动图像的摄影期间，正被记录的运动图像可以显示在EVF 217或显示单元108上，如实时取景显示中一样。

在步骤S608中，系统控制单元50从摄像单元211获得图像。

在步骤S609中，系统控制单元50获得与摄影期间的快门速度和光圈相关的摄影信息以及由姿势检测单元222检测到的姿势信息。在RAW图像的摄影中，还获得显影所需的数据(参数)。

在步骤S610中，系统控制单元50将关于在步骤S608中获得的图像的数据(图像数据)以文件格式存储在记录介质227(存储介质)中。

在步骤S611中，系统控制单元50将在步骤S609中获得的信息(关于照相机100的信息)存储在步骤S610中存储的图像文件中。因此，在图像文件中，将在步骤S609中获得的信息作为元数据添加到在步骤S608中获得的图像数据中。

在步骤S612中，系统控制单元50将在步骤S603和步骤S604中获得的信息(关于双镜头的信息)存储在步骤S610中存储的图像文件中。因此，在图像文件中，将在步骤S603和步骤S604中获得的信息作为元数据添加到在步骤S608中获得的图像数据中。

在步骤S613中，系统控制单元50确定照相机100的用户是否提供了结束记录的指令。如果确定提供了结束记录的指令，则处理前进到步骤S614。否则，处理前进到步骤S608。重复步骤S608至步骤S613，使得能够连续记录视频文件中的运动图像帧或连续摄影(连拍)静止图像。

在静止图像的摄影中，结束记录的指令例如是对快门按钮101的全按下的复位。当全按下的快门按钮101在预定时间内被释放时，静止图像被拍摄。如果快门按钮101上的全按下持续预定时间或更长，则连续拍摄静止图像。在静止图像的摄影中，快门按钮101上的全按下可以用作开始记录的指令和结束记录的指令。在运动图像的摄影中，结束记录的指令例如是快门按钮101上的全按下。例如，当通过快门按钮101上的全按下开始运动图像的摄影之后全按下快门按钮101时，结束运动图像的摄影。

在步骤S614中，系统控制单元50确定照相机100的用户是否已经提供了结束指令。如果确定已经提供了结束指令，则图6的操作结束。否则，处理前进到步骤S605。结束指令例如是断开照相机100的电源的指令或将照相机100的模式从摄影模式切换到另一模式的指令。具体地，结束指令例如为按下电源开关102或按下模式改变开关103。

如果将单个镜头附接到照相机100，则进行步骤S615的处理。在步骤S615中，系统控制单元50通过使用单镜头拍摄图像(摄影)(单镜头摄像)。单镜头摄像操作类似于具有单镜头的照相机中的传统摄像(摄影)操作，因此省略其详细说明。在本实施例中，当由单镜头拍摄的图像的图像文件被记录在记录介质227中时，系统控制单元50从单镜头获得关于附接的单镜头的信息(例如，设计值和个体值)，并将该信息存储在图像文件中。

图7是表示用于由PC 500基于图像文件显示图像的操作(显示控制)的示例的流程图。这些操作是通过控制单元501在RAM 503中展开和运行记录在ROM 502中的程序(应用程序)来实现的。例如，当PC 500的用户对操作单元505(操作构件)进行操作以从存储在记录介质504中的文件中选择已经被照相机拍摄的图像文件时，开始图7的操作。此时，从照相机100移除的记录介质227可以用作记录介质504。在本实施例中，右图像和左图像都是圆形鱼眼图像(等距投影图像)。下面将描述通过使用关于双镜头的信息作为校正信息来将右图像和左图像的位置校正为圆形鱼眼图像的操作。

在步骤S701中，控制单元501从记录介质504中读取由PC 500的用户选择的图像文件。在这种情况下，除了拍摄的图像数据之外，还读取添加到图像数据的标题和元数据。例如，读取图9中的图像文件。

在步骤S702中，控制单元501基于在步骤S701中读取的图像文件来确定图像文件是否已经由双镜头(通过使用双镜头)拍摄。如果确定图像文件已经由双镜头拍摄，则处理前进到步骤S703。否则，处理前进到步骤S719。在步骤S702中，例如，可以根据图像文件中是否包含关于双镜头的信息(例如，设计值和个体值)来确定图像文件是否已经由双镜头拍摄。可以根据图像文件是否包括表示使用双镜头的标志而不是关于双镜头的详细信息来确定图像文件是否已经由双镜头拍摄。

在步骤S703中，控制单元501从在步骤S701中读取的图像文件中获得(提取)关于双镜头的信息(设计值和个体值)。

在步骤S704中，控制单元501根据在步骤S703中获得的设计值获得拍摄图像中的右图像和左图像的中心坐标。右图像和左图像的中心坐标对应于具有双镜头的两个光学系统(左眼光学系统301L和右眼光学系统301R)的光轴中心坐标。例如，如图8A和图8B所示，获得中心坐标804和808。中心坐标804是右图像的横向中心坐标，而中心坐标808是左图像的横向中心坐标。

在步骤S705中，控制单元501从在步骤S701中读取的图像文件中获得拍摄图像。如果按原样显示所获得的图像，则在显示的图像中交换左右图像的位置。因此，此后交换左右图像的位置。

在步骤S706中，控制单元501确定是否提供圆形鱼眼显示。如果确定要提供圆形鱼眼显示，则处理前进到步骤S707。否则(如果提供等距圆柱显示)，处理前进到步骤S710。在步骤S706中，例如，根据是否选择了图11A和图11B中的单选按钮1102来确定是否提供圆形鱼眼显示。在图11A中，选择了单选按钮1102，而在图11B中，未选择单选按钮1102。如果选择了单选按钮1102，则确定要提供圆形鱼眼显示，然后处理前进到步骤S707。如果未选择单选按钮1102，则处理前进到步骤S710。确定(例如，在显示图11A和图11B中的画面之前)默认提供圆形鱼眼显示，并且处理前进到步骤S707，使得处理从圆形鱼眼显示开始。稍后将描述步骤S710之后的操作。

在步骤S707中，基于在步骤S704中获得的中心坐标(左眼光学系统301L和右眼光学系统301R的光轴的中心)，控制单元501交换拍摄图像中的右图像和左图像的位置，并生成处理后的图像(左右图像的位置已交换)。例如，控制单元501基于右图像的中心坐标指定拍摄图像中的右图像的区域，并且基于左图像的中心坐标指定拍摄图像中的左图像的区域。然后控制单元501交换这两个指定区域的位置。在本实施例中，在拍摄图像中右图像和左图像彼此水平放置。通过交换左右图像的位置，右图像和左图像之间的位置关系水平反转。可以从双镜头信息中获得右图像和左图像的直径(直径或半径)，以便更准确地指定右图像和左图像的区域。

用于交换左右图像的位置的方法不限于上述方法。例如，可以从双镜头信息中获得图8A中的位移805、806、809和810，可以在交换左右图像的位置的过程中保持获得的位移的同时设置右图像和左图像，并且其他区域可以用黑色填充。位移805是从拍摄图像的左端到右图像的左端的距离，而位移806是从拍摄图像的中心到右图像的右端的距离。当左右图像的位置交换时，位移805是从拍摄图像的左端到左图像的左端的距离，而位移806是从拍摄图像的中心到左图像的右端的距离。类似地，位移809是从拍摄图像的右端到左图像的右端的距离，而位移810是从拍摄图像的中心到左图像的左端的距离。当左右图像的位置交换时，位移809是从拍摄图像的右端到右图像的右端的距离，而位移810是从拍摄图像的中心到右图像的左端的距离。

在步骤S708中，控制单元501在显示单元506上显示在步骤S707中生成的处理后的图像。例如，在显示单元506上显示图11A中的处理后的图像1101。

在步骤S709中，控制单元501确定PC 500的用户是否已经提供了结束指令。如果确定已经提供了结束指令，则图7的操作结束。否则，处理前进到步骤S706。这可以在包括圆形鱼眼显示和等距圆柱显示的多个显示之间切换显示单元506上的显示(拍摄图像的显示)。通过使用操作单元505(操作构件)来提供结束指令。结束指令例如是按下图11A和图11B中的退出按钮1106。

如果在步骤S701中读取由单个镜头拍摄的图像文件，则进行步骤S719的处理。在步骤S719中，控制单元501在显示单元506上显示基于由单镜头拍摄的图像文件的图像。步骤S719的处理与显示由单个镜头拍摄的图像的常规处理相同，因此省略其详细说明。

图8A和图8B是示出左右图像的位置交换的示意图；图8A示出了左右图像的位置的传统交换，而不使用关于双镜头的信息。图8B示出了通过使用关于双镜头的信息作为根据本实施例的校正信息的左右图像的位置交换。

如图8A和图8B所示，交换之前的图像801包括在左侧设置为圆形鱼眼图像的右图像803和在右侧设置为圆形鱼眼图像的左图像807。

在图8A中，在图像801的中心坐标802处将图像801划分为左半图像和右半图像，然后将左半图像和右半图像彼此交换。换言之，左半图像移动到右半图像的右侧。图像811是左右图像交换后形成的图像。

在图8A中，位移806小于位移805。换言之，在图像801中，右图像803从图像801的左半部分的中心向图像801的中心偏离。类似地，位移810小于位移809。换言之，在图像801中，右图像807从图像801的右半部分的中心向图像801的中心偏离。因此，在图像811中，左图像807的横向中心坐标813从中心坐标804移位了距离814，并且右图像803的横向中心坐标816从中心坐标808移位了距离817。

通过使用本实施例中的镜头信息，可以使左图像的横向中心坐标与中心坐标804对准，并且右图像的横向中心坐标可以与图像837中的中心坐标808对准，在图像837中左右图像的位置已经交换(图8B)。

图9是示出由双镜头拍摄的图像文件的结构示例的示意图。图9的图像文件包括标题901、照相机信息部分902、镜头信息部分903、其他信息部分904和图像数据部分905。在标题901中，记录了包括拍摄图像的种类的信息。在照相机信息部分902中，记录关于用于摄影的照相机的信息作为元数据。例如，记录关于摄影期间的快门速度和光圈的摄影信息以及关于摄影期间的照相机的姿势信息。在镜头信息部分903中，记录关于用于摄影的双镜头的信息作为元数据。例如，记录双镜头的设计值和个体值。在其他信息部分904中，记录其他信息作为元数据。例如，在运动图像的情况下，记录每帧改变的信息。在RAW图像的情况下，记录显影所需的数据。在图像数据部分905中，记录图像数据。在运动图像的情况下，记录语音数据以及图像数据。在此示例中，关于照相机的信息、关于双镜头的信息和其他信息记录在同一图像文件中。该信息可以记录在与图像文件相关联的其他文件中。

图10A是表示从双镜头获取的镜头信息的示例的示意图。镜头信息包括：

1.镜头设计值

2.镜头个体值

3.镜头标志

4.镜头焦距

5.镜头温度

镜头设计值是用于校正像差的设计值。在双镜头的制造过程中，两个光学系统(左眼光学系统301L和右眼光学系统301R)中的各光学系统都具有误差，例如，镜头的偏心或倾斜。如果在不考虑误差的情况下交换左右图像的位置或进行等距圆柱变换，则双镜头VR显示的质量降低，导致难以获得令人满意的立体视图。例如，镜头个体值是在双镜头的制造过程中检测到的误差的测量结果。将在后面根据图10B具体描述镜头设计值和镜头个体值。

如果在不考虑镜头的个体值(制造误差)的情况下交换左右图像的位置或进行等距圆柱变换，则双镜头VR显示的质量降低，导致难以获得令人满意的立体视图。参照图16A和图16B，下面将描述这个问题的原因。图16A示出了理想的光学系统。在图16A中，左镜头和右镜头的光轴平行延伸并且指向同一方向。因此，视差随着物体接近图像传感器而增加，实现良好的立体视图。图16B示出了具有偏离设计值的误差的光学系统的示例。在图16B中，左镜头和右镜头的光轴不平行延伸并且指向不同的方向。这会导致在无限远处的视差，干扰良好的立体视图。另外，左右镜头的个体值可能会导致垂直方向上的视差或导致像放大率变化。这可能会干扰良好的立体视图。因此，在本实施例中，通过利用实际用于摄影的左右图像的误差来校正拍摄图像，从而将图像校正为接近由理想光学系统拍摄的图像。这实现了良好的立体视图。

镜头标志是表示双镜头的标志并且可以用于确定是否已经使用双镜头。镜头焦距是从作为镜头中心的“主点”到图像拾取设备(图像形成位置)的距离。镜头焦距可以是或不必是双镜头的两个光学系统(左眼光学系统301L和右眼光学系统301R)的共同参数。为了通过准确地交换左右图像的位置或进行等距圆柱变换来提供高质量的双镜头VR显示，需要详细(高精度)的镜头焦距。镜头温度是双镜头的温度，并且用于识别摄像时的环境温度等。

图10B是表示镜头设计值和镜头个体值的细节的示意图。在本实施例中，镜头设计值和镜头个体值被用作用于交换左右图像的位置和等距圆柱变换的校正信息。

镜头设计值包括：

1.像圈位置

2.像圈直径

3.视角

4.畸变校正系数

像圈位置是要拍摄的图像中光学系统的光轴的中心坐标。为双镜头的两个光学系统(左眼光学系统301L和右眼光学系统301R)中的各光学系统准备像圈位置。换言之，像圈位置是在图像拾取设备上形成的像圈(圆形鱼眼图像)的中心坐标。为右图像和左图像中的各图像准备像圈位置。例如，坐标的原点是图像拾取设备的中心(要拍摄的图像的中心)。像圈位置包括水平方向的坐标和垂直方向的坐标。可以根据关于要拍摄的图像中的光学系统的光轴中心的各种信息来使用像圈位置。例如，像圈位置可以是从图像中的预定位置(中心或左上角)到光轴中心的距离。

像圈直径是在图像拾取设备上形成的像圈(圆形鱼眼图像)的直径。视角是在图像拾取设备上形成的像圈(圆形鱼眼图像)的视角。畸变校正系数是镜头的设计图像高度与理想图像高度的比值。可以针对各图像高度设置畸变校正系数，并且可以通过使用多个畸变校正系数的插值来计算畸变校正系数。可以为图像高度与畸变校正系数之间的关系设置近似多项式。像圈直径、视角和畸变校正系数可以是或不必是双镜头的两个光学系统(左眼光学系统301L和右眼光学系统301R)的共同参数。

当显示圆形鱼眼图像时，PC 500可以在圆形鱼眼图像中显示魔术窗口。魔术窗口是表示要(首先)为VR显示而切割的区域的显示项目。例如，基于像圈位置、像圈直径和视角来显示魔术窗口。这可以改善魔术窗口的显示质量。为了正确地显示魔术窗口，PC 500可选地编辑和使用像圈位置、像圈直径和视角。例如，PC 500将像圈位置或像圈直径乘以系数。

镜头个体值包括：

5.像圈位移

6.光轴倾斜

7.像放大率偏差

通过对双镜头的两个光学系统(左眼光学系统301L和右眼光学系统301R)的测量来准备这些信息。

像圈位移是在图像拾取设备上形成的像圈(圆形鱼眼图像)的中心坐标与设计值的偏差。例如，像圈位移包括水平方向的偏差和垂直方向的偏差。在以设计值的坐标(二维坐标，包括水平方向和垂直方向的坐标)为原点的情况下，水平方向的偏差由水平方向的坐标表示，垂直方向的偏差由垂直方向的坐标表示。图17A表示像圈位移的示例。区域1701表示传感器尺寸画面(摄像区域)的右半部分区域或左半部分区域。像圈1702是左右镜头的实际像圈。像圈1703是光学系统的理想像圈(设计值)。位移发生在实际像圈1702的位置与理想像圈1703的位置之间。

光轴倾斜是在物体附近在光轴方向上与设计值的偏差。例如，光轴倾斜包括水平方向的偏差和垂直方向的偏差。各方向的偏差由角度表示。图17B表示由水平方向的光学倾斜引起的偏差的示例。线1712表示左右镜头的光轴在水平方向上的实际方向(倾斜)。线1713表示光学系统的光轴在水平方向上的理想方向(设计值)。水平方向的光轴的实际方向1712与水平方向的光轴的理想方向1713之间出现偏差。图17C表示由垂直方向的光学倾斜引起的偏差的示例。线1722表示左右镜头的光轴在垂直方向上的实际方向。线1723表示光学系统的光轴在水平方向上的理想方向(设计值)。水平方向的光轴的实际方向1722与水平方向的光轴的理想方向1723之间出现偏差。

像放大率偏差是在图像拾取设备上形成的像圈(圆形鱼眼图像)的大小与设计值的偏差。偏差例如通过与设计值的比值来表示。图17D表示像放大率偏差的示例。像圈1732是通过左右镜头在图像拾取设备上形成的实际像圈。像圈1733是通过光学系统在图像拾取设备上形成的理想像圈(设计值)。偏差发生在光学系统的实际像圈1732与理想像圈1733之间。

镜头信息中包括的信息不限于前述信息。例如，镜头信息可以包括拍摄的图像中的右图像和左图像的边界位置(圆形鱼眼图像的边缘位置；由位移805、806、809和810等表示的位置)。镜头信息可以包括在拍摄的图像中的右图像与左图像之间的中点坐标。在许多情况下，中点坐标与拍摄图像的中心坐标相匹配。镜头信息可以包括表示魔术窗口的区域的信息(例如，魔术窗口左上角处的坐标、魔术窗口的宽度以及魔术窗口的高度)。镜头信息可以包括用于提高交换左右图像的位置和等距圆柱变换的精度的校正值(例如，通过双镜头校准获得的校正值)。

图10C是示出在照相机中生成的照相机信息的示例的示意图。例如，摄像机信息用于提供高质量的VR显示。照相机信息包括：

1.照相机记录区域信息

2.照相机内加速度计信息

3.右曝光校正信息

照相机记录区域信息是关于有效图像区域的信息。可显示的有效图像区域因记录模式或照相机的传感器而异。PC 500使用照相机记录区域信息以提供更精确的显示。照相机内加速度计信息是通过使用照相机中的加速度传感器(水平仪)获得的姿势信息。该信息表示照相机在转动(roll)方向或俯仰方向上的姿势。PC 500使用照相机内加速度计信息以识别摄影期间照相机的姿势。PC 500进行例如电子振动隔离或水平校正(使显示的垂直方向接近实际空间的垂直方向的天顶(zenith)校正)。右曝光校正信息是用于使右图像的曝光接近左图像的曝光的曝光设置值。PC 500使用右曝光校正信息以提供自然(不太尴尬)的双镜头VR显示。

图11A是示出在交换了左右图像的位置之后由控制单元501在显示单元506上显示的应用画面上的显示(步骤S708中的显示)的示例的示意图。画面1100是应用画面。图11A中的画面1100包括处理后的图像1101、单选按钮1102和1103、复选框1104、保存按钮1105和退出按钮1106。处理后的图像1101是在交换了左右图像之后形成的图像，即，在步骤S707中生成的处理后的图像。单选按钮1102是在提供圆形鱼眼显示时选择的单选按钮。单选按钮1103是在提供等距圆柱显示时选择的单选按钮。当选择了单选按钮1102时，未选择单选按钮1103。当未选择单选按钮1102时，选择单选按钮1103。复选框1104和保存按钮1105是在提供等距圆柱显示时使用的显示项目。当选择单选按钮1102时，复选框1104和保存按钮1105变灰以禁用操作。下面将描述复选框1104和保存按钮1105的使用。退出按钮1106是用于终止画面1100的应用的按钮。

下面将描述等距圆柱显示。如果在图7的步骤S706中确定未选择圆形鱼眼显示而是选择了等距圆柱显示，则处理前进到步骤S710以等距圆柱显示来显示图像。例如，当从图11A和图11B的单选按钮1102和1103当中选择单选按钮1103时，确定未选择圆形鱼眼显示，但是选择了等距圆柱显示。

在步骤S710中，PC 500的控制单元501确定是否使用双镜头的个体值进行调整(个体值的调整)。如果确定要调整个体值，则处理前进到步骤S716。否则，处理前进到步骤S711。在步骤S710中，例如，基于是否已经选中图11B中的复选框1104来确定是否调整个体值。如果已经选中了复选框1104，则确定要调整个体值，然后处理前进到步骤S716。如果未选中复选框1104，则处理前进到步骤S711。稍后将描述步骤S716之后的操作。

在步骤S711中，控制单元501基于在步骤S704中获得的中心坐标(左眼光学系统301L和右眼光学系统301R的光轴的中心)，生成用于等距圆柱变换的映射。等距圆柱变换是这样一种变换，其中假定为球体的圆形鱼眼图像具有以直角相互交叉的纬线(水平线)和经线(垂直线)，如用于映射的等距圆柱投影中一样。通过等距圆柱变换，将圆形鱼眼图像转化为形似矩形的等距圆柱图像。映射表示变换前图像中的位置，这些位置对应于变换后的像素。在本实施例中，生成用于等距圆柱变换的映射，使得圆形鱼眼图像可以变换为等距圆柱图像，并且可以校正右图像的位置和左图像的位置。在步骤S711中，根据与步骤S707中相同的方法，控制单元501指定在拍摄图像中的右图像的区域和左图像的区域。并且，控制单元501基于两个指定区域生成映射。

在步骤S712中，控制单元501通过使用在步骤S711中生成的映射来进行等距圆柱变换，从而生成处理后的图像。左右图像位置的交换被视为等距圆柱变换的一部分。图像位置的交换可以与等距圆柱变换分开。

在步骤S713中，控制单元501在显示单元506上显示在步骤S712或步骤S718中生成的处理后的图像。稍后将在另一实施例中描述步骤S718。例如，在显示单元506上显示图11B中的处理后的图像1111。

在步骤S714中，控制单元501确定是否保存在步骤S713中显示的处理后的图像(等距圆柱变换后的图像)。如果确定要保存处理后的图像，则处理前进到步骤S715。否则，处理前进到步骤S709。在步骤S714中，例如，基于是否已经按下图11B中的保存按钮1105来确定是否保存处理后的图像。如果已经按下了保存按钮1105，则确定要保存处理后的图像，并且处理前进到步骤S715。如果未按下保存按钮1105，则处理前进到步骤S709。

在步骤S715中，控制单元501在存储介质504中存储在步骤S713中显示的处理后的图像(等距圆柱变换后的图像)的图像文件。

图12是示出根据本实施例的等距圆柱变换的示意图。如图12所示，等距圆柱变换之前的图像1201包括在左侧设置为圆形鱼眼图像的右图像1202和在右侧设置为圆形鱼眼图像的左图像1205。图像1208是等距圆柱变换后的图像，并且包括等距圆柱图像1209和1210。在本实施例中，以箭头1211和1212所示的对应关系生成等距圆柱变换的映射。在本实施例的映射中，设置在左侧的等距圆柱图像1209的像素与设置在右侧的左图像1205的位置相关联，而设置在右侧的等距圆柱图像1210的像素与设置在左侧的右图像1202的位置相关联。通过使用该映射，将设置在右侧的左图像1205变换为设置在左侧的等距圆柱图像1209，而将设置在左侧的右图像1202变换为设置在右侧的等距圆柱图像1210。换句话说，在将圆形鱼眼图像变换为等距圆柱图像的同时，交换右图像与左图像的位置。这使得右图像与左图像之间的位置关系与两个光学系统(右眼光学系统301R和左眼光学系统301L)之间的位置关系一致。

图11B是示出在等距圆柱变换之后由控制单元501在显示单元506上显示的应用画面上的显示(步骤S713中的显示)的示例的示意图。在图11A中，在画面1100(应用画面)上显示作为左右图像的位置被交换之后的图像的处理后的图像1101。在图11B中，在画面1100上显示作为等距圆柱变换后的图像的处理后的图像1111(在步骤S712或步骤S718中生成的处理后的图像)。在图11B中，复选框1104和保存按钮1105未变灰，能够对复选框1104和保存按钮1105进行操作。在调整个体值时，复选框1104被选中。在存储处理后的图像1111的图像文件时，保存按钮1105被按下。由于未选中复选框1104，因此将在步骤S712中生成的处理后的图像作为处理后的图像1111显示。

在以下示例中，在提供等距圆柱显示时，调整个体值。具体地，下面将描述图7中从步骤S716开始的操作。当提供圆形鱼眼显示时，也可以使用双镜头的个体值。省略详细说明。

在步骤S716中，控制单元501基于在步骤S703中获得的个体值来调整在步骤S703中获得的设计值。例如，基于图10B中的像圈位移来调整像圈位置(拍摄图像中的右图像和左图像的中心坐标)。如果个体值与设计值不同，则将个体值添加到设计值中。如果个体值是与设计值等效的绝对值，则以个体值替换设计值。

在步骤S717中，基于步骤S716中的调整后的中心坐标(左眼光学系统301L和右眼光学系统301R的光轴的中心)，控制单元501生成用于等距圆柱变换的映射。图18示出了这样的示例，其中基于调整后的中心坐标针对各像素调整空间坐标上的图像位置(用于校正像素位置的校正)。在左图像中，针对各像素调整图像位置，使得图像位置1801被调整到空间坐标上的图像位置1802。在右图像中，针对各像素调整图像位置，使得图像位置1803被调整到空间坐标上的图像位置1804。该映射由与步骤S711中相同的方法生成。使用调整后的中心坐标能够实现更高精度的等距圆柱变换。

在步骤S718中，控制单元501通过使用在步骤S717中生成的映射来进行等距圆柱变换，从而生成处理后的图像。该处理后的图像由与步骤S712中相同的方法生成。如上所述进行从步骤S713开始的操作。如上所述，基于双镜头的个体值对镜头信息的设计值进行校正，从而将圆形鱼眼图像转换为具有更高精度的等距圆柱图像。

根据本实施例的信息处理装置，如果基于由双镜头拍摄的图像文件来显示图像，则可以在左右图像的中心被校正后适当地放置通过双镜头的光学系统获得的左右图像。这可以显示自然的双镜头图像。

第二实施例

下面将描述本公开的第二实施例。本实施例将描述这样的示例，其中照相机100和PC 500相连接以相互通信，由照相机100拍摄的实时取景图像被发送到PC 500，并且PC 500将该实时取景图像显示在显示单元506上。

图13是示出照相机100的操作示例的流程图。这些操作是通过系统控制单元50在系统存储器218中展开和运行记录在非易失性存储器219中的程序来实现的。例如，当照相机100启动时，图13的操作开始。图13的操作是用于在PC的显示单元上显示由照相机拍摄的实时取景图像的功能的操作(PC实时取景)。当照相机100处于摄影待机状态时，进行图13的操作。当在PC实时取景期间从PC 500输入开始记录的指令时，进行静止图像拍摄或运动图像拍摄。此时，可以继续PC实时取景。使用双镜头的摄影控制是图6中从步骤S608至步骤S613的处理，省略其描述。

在步骤S1301中，系统控制单元50确定是否提供了用于双镜头(例如，镜头单元300)的照相机100。如果确定该版本与双镜头兼容，则处理前进到步骤S1302。否则，处理前进到步骤S1311。步骤S1301的处理与图6中步骤S601的处理相同。

在步骤S1302中，系统控制单元50确定双镜头是否已附接到照相机100。如果确定已附接双镜头，则处理前进到步骤S1303。否则，处理前进到步骤S1311。步骤S1302的处理与图6中步骤S602的处理相同。

在步骤S1303中，系统控制单元50从双镜头中获得附接的(连接的)双镜头的设计值。在步骤S1304中，系统控制单元50从双镜头中获得所附接的(连接的)双镜头的个体值。步骤S1303和步骤S1304的处理与步骤S603和步骤S604的处理相同。

在步骤S1305中，照相机100被连接到PC 500，并且系统控制单元50检测照相机100与PC 500的连接。在步骤S1306中，系统控制单元50从PC 500接收启动PC实时取景的请求。在步骤S1307中，系统控制单元50从PC 500接收用于实时取景图像的请求。用于实时取景图像的请求包括如稍后将描述的用于指定实时取景图像的分辨率的信息(分辨率信息)。系统控制单元50进行步骤S1309的处理，以将具有指定分辨率的实时取景图像发送到PC 500。

在步骤S1308中，系统控制单元50根据要发送的实时取景图像的坐标系转换在步骤S1303和步骤S1304中获得的信息(关于双镜头的镜头信息)。拍摄图像(记录在图像文件中的图像)和实时取景图像具有不同的分辨率，从而在步骤S1303和步骤S1304中获得的信息不能原样用于实时取景图像的图像处理。因此，在本实施例中，镜头信息被转换为符合实时取景图像的坐标系的信息。

在步骤S1309中，系统控制单元50将实时取景图像和在步骤S1308中转换的镜头信息发送到PC 500。系统控制单元50基于在步骤S1307中获得的分辨率信息改变实时取景图像的分辨率，并将实时取景图像发送到PC 500。在本实施例中，照相机100的系统控制单元50转换镜头信息。PC 500的控制单元501可以转换镜头信息。此时，转换前的镜头信息和转换镜头信息所需的参数被发送到PC 500。

在步骤S1310中，系统控制单元50确定是否结束PC实时取景。例如，如果照相机100和PC 500相互断开或者用户指示照相机100或PC 500结束PC实时取景，则确定要结束PC实时取景。如果确定要结束PC实时取景，则图13的操作结束。否则，处理前进到步骤S1307。

如果将单镜头附接到照相机100，则进行步骤S1311的处理。在步骤S1311中，系统控制单元50向PC 500发送由单镜头拍摄的实时取景图像。步骤S1311的处理与用于将由单镜头拍摄的实时取景图像发送到外部装备的常规处理相同，因此省略其详细说明。在本实施例中，当由单镜头拍摄的实时取景图像被发送到PC 500时，系统控制单元50不从单镜头获取关于附接的单镜头的信息(包括设计值和个体值)或将信息发送到PC 500。

图14是示出PC500的操作示例的流程图。这些操作是通过控制单元501在RAM 503中展开和运行记录在ROM 502中的程序(应用程序)来实现的。例如，当用户指示PC 500启动指定应用时，图14的操作开始。图14的操作是用于在PC的显示单元上显示由照相机拍摄的实时取景图像的功能的操作(PC实时取景)。

在步骤S1401中，照相机(例如，照相机100)被连接到PC 500，并且控制单元501检测照相机与PC 500的连接。

在步骤S1402中，控制单元501确定在步骤S1401中连接的照相机是否与双镜头(例如，镜头单元300)兼容。例如，控制单元501从连接的照相机获取关于照相机的型号信息，并基于获取的型号信息确定照相机是否与双镜头兼容。如果确定该照相机与双镜头兼容，则处理前进到步骤S1403。否则，处理前进到步骤S1421。与双镜头兼容的照相机是例如可以附接双镜头的照相机。

在步骤S1403中，控制单元501确定在步骤S1401中连接的照相机的固件是否与双镜头兼容。例如，控制单元501从连接的照相机获取关于照相机固件的版本信息，并基于获取的信息确定连接的照相机的固件版本是否与双镜头兼容。如果确定该固件与双镜头兼容，则处理前进到步骤S1404。否则，处理前进到步骤S1421。

即使与双镜头兼容的照相机连接到PC 500，由于所连接照相机的旧固件版本，所连接照相机也可能变得与双镜头不兼容。因此，步骤S1403的处理是必要的。由于各种照相机都可以连接到PC 500，因此无论固件的版本如何，与双镜头不兼容的照相机也可以连接到PC 500。因此，在步骤S1403的处理之前需要步骤S1402的处理。

在步骤S1404中，控制单元501确定双镜头是否已经附接到在步骤S1401中连接的照相机100。如果确定已附接双镜头，则处理前进到步骤S1405。否则，处理前进到步骤S1421。

在步骤S1405中，控制单元501向在步骤S1401中连接的照相机发送开始PC实时取景的请求。

在步骤S1406中，控制单元501确定是否提供圆形鱼眼显示。如果确定要提供圆形鱼眼显示，则处理前进到步骤S1407。否则(如果提供等距圆柱显示)，处理前进到步骤S1414。在步骤S1406中，例如，根据是否选择了图15A至图15D中的单选按钮1505来确定是否提供圆形鱼眼显示。在图15A和图15C中，选择了单选按钮1505，而在图15B和图15D中，未选择单选按钮1505。如果选择了单选按钮1505，则确定要提供圆形鱼眼显示，然后处理前进到步骤S1407。如果未选择单选按钮1505，则处理前进到步骤S1414。

在步骤S1407中，控制单元501向在步骤S1401中连接的照相机发送对实时取景图像的请求。在本实施例中，在步骤S1407中的对实时取景图像的请求是对具有普通分辨率的实时取景图像的请求。普通分辨率是例如4K分辨率。

在步骤S1408中，控制单元501从在步骤S1401中连接的照相机接收由照相机拍摄的实时取景图像和关于附接到照相机的双镜头的镜头信息。在步骤S1408中接收到的实时取景图像的分辨率是普通分辨率。在步骤S1408中接收到的镜头信息是根据接收到的实时取景图像转换的信息(例如，在图13的步骤S1308中转换的镜头信息)。

在步骤S1409中，控制单元501确定是否交换左右图像的位置。如果确定要交换左右图像的位置，则处理前进到步骤S1410。否则，处理前进到步骤S1412。在步骤S1409中，例如，基于是否已经选中图15A和图15C中的复选框1507来确定是否交换左右图像的位置。如果已经选中了复选框1507，则确定要交换左右图像的位置，然后处理前进到步骤S1410。如果未选中复选框1507，则处理前进到步骤S1412。

在步骤S1410中，基于在步骤S1408中获得的镜头信息，控制单元501交换在步骤S1408中获得的实时取景图像中的左右图像的位置，并生成处理后的实时取景图像(左右图像的位置已交换)。用于交换左右图像的位置的方法与图7中步骤S707的相同。基于与实时取景图像一起接收的镜头信息中所包含的中心坐标(左眼光学系统301L和右眼光学系统301R的光轴中心)，控制部501交换实时取景图像中的左右图像的位置，并生成处理后的实时取景图像。

在步骤S1411中，控制单元501在显示单元506上显示在步骤S1410中生成的处理后的实时取景图像。

在步骤S1412中，控制单元501在显示单元506上显示在步骤S1408中获得的实时取景图像。

在步骤S1413中，控制单元501确定是否结束PC实时取景。例如，如果照相机100和PC 500相互断开或者用户指示照相机100或PC 500结束PC实时取景，则确定要结束PC实时取景。结束PC实时取景的指令是例如按下图15A至图15D中的退出按钮1508。如果确定要结束PC实时取景，则图14的操作结束。否则，处理前进到步骤S1406。

如上所述，如果提供等距圆柱显示，则处理从步骤S1406前进到步骤S1414。在步骤S1414中，控制单元501向在步骤S1401中连接的照相机发送对实时取景图像的请求。在本实施例中，在步骤S1414中的对实时取景图像的请求是对具有低分辨率(低于普通分辨率)的实时取景图像的请求。在等距圆柱显示的情况下，等距圆柱变换(从圆形鱼眼图像到等距圆柱图像的变换)是必要的。要经受等距圆柱变换的图像的分辨率越高，用于等距圆柱变换的时间越长。这增加了由等距圆柱变换导致的延迟。在本实施例中，要求具有低分辨率的实时取景图像，以提高等距圆柱变换的速度(缩短用于等距圆柱变换的时间)。如果等距圆柱变换使得延迟在容差之内，则在等距圆柱显示中可能会请求具有普通分辨率的实时取景图像。

在步骤S1415中，控制单元501从在步骤S1401中连接的照相机接收由照相机拍摄的实时取景图像和关于附接到照相机的双镜头的镜头信息。在步骤S1415中接收到的实时取景图像的分辨率是低分辨率。在步骤S1415中接收到的镜头信息是根据接收到的实时取景图像转换的信息(例如，在图13的步骤S1308中转换的镜头信息)。

在步骤S1416中，控制单元501确定是否交换左右图像的位置。如果确定要交换左右图像的位置，则处理前进到步骤S1417。否则，处理前进到步骤S1419。在步骤S1416中，例如，基于是否已经选中图15B和图15D中的复选框1507来确定是否交换左右图像的位置。如果已经选中了复选框1507，则确定要交换左右图像的位置，然后处理前进到步骤S1417。如果未选中复选框1507，则处理前进到步骤S1419。

在步骤S1417中，基于在步骤S1415中获得的镜头信息，控制单元501交换在步骤S1415中获得的实时取景图像中的左右图像的位置，并将左右图像中的各图像转换为等距圆柱图像。换句话说，控制单元501交换左右图像的位置并进行等距圆柱变换，从而生成处理后的实时取景图像。包括左右图像位置交换的向等距圆柱显示的变换与步骤S712类似。包括左右图像位置交换的向等距圆柱显示的变换可以与步骤S716至步骤S718类似。换句话说，控制单元501可以基于通过使用包含在与实时取景图像一起接收的镜头信息中的个体值而校正的镜头设计值来生成映射，并基于该映射进行包括左右图像位置交换的向等距圆柱显示的变换。如同在第一实施例中，左右图像的位置交换可以作为等距圆柱变换的一部分来进行，或者可以作为不同的处理来进行。

在步骤S1418中，控制单元501在显示单元506上显示在步骤S1417中生成的处理后的实时取景图像。

在步骤S1419中，控制单元501不交换在步骤S1415中获得的实时取景图像中的左右图像的位置，而是将左右图像中的各图像转换为等距圆柱图像。换句话说，控制单元501在不交换左右图像的位置的情况下，通过等距圆柱变换生成处理后的实时取景图像。

在步骤S1420中，控制单元501在显示单元506上显示在步骤S1419中生成的处理后的实时取景图像。

如果照相机100与双镜头不兼容或者单镜头被附接到照相机100，则进行步骤S1421的处理。在步骤S1421中，控制单元501在显示单元506上显示由单镜头拍摄的实时取景图像。步骤S1421的处理与PC等显示由单镜头拍摄的实时取景图像的常规处理相同，因此省略其详细说明。

在步骤S1410、S1417和S1419中，控制单元501对从连接的照相机获取的实时取景图像进行图像处理。在步骤S1410、S1417和S1419之后的步骤S1413中，控制单元501确定是否结束PC实时取景。如果继续PC实时取景，则处理返回到步骤S1410、S1417和S1419之前的步骤S1406。因此，在图14的操作中，可以重复进行步骤S1410、S1417和S1419中的任意一步骤中的图像处理。

为了提高图像处理的速度，控制单元501可以在RAM 503中记录与进行的图像处理有关的信息，并使用来自后续图像处理的信息。例如，控制单元501记录图像处理之前的像素与图像处理之后的像素之间的对应关系(图像处理映射)。除非实时取景图像的分辨率或镜头信息发生变化，否则可以连续使用图像处理映射。当在步骤S1410、S1417和S1419中的任意一步骤中进行图像处理时，控制单元501记录用于图像处理的图像处理映射。当再次进行相同的图像处理时，控制单元501使用记录的图像处理映射进行图像处理。这可以提高图像处理的速度。

图15A至图15D是示出由控制单元501在显示单元506上显示的应用画面上的显示(PC实时取景显示)的示例的示意图。画面1500是应用画面(远程实时取景画面)。画面1500包括实时取景显示区域1501、引导显示区域1502、引导显示区域1503、操作区域1504和退出按钮1508。

实时取景显示区域1501是用于显示实时取景图像的区域。实时取景显示区域1501包括左侧显示区域1501A和右侧显示区域1501B。引导显示区域1502是用于显示如下字符串的区域，该字符串表示双镜头的两个光学系统(左眼光学系统301L和右眼光学系统301R)中的哪一个在左侧显示区域1501A中显示图像。引导显示区域1503是用于显示如下字符串的区域，该字符串表示双镜头的两个光学系统(左眼光学系统301L和右眼光学系统301R)中的哪一个在右侧显示区域1501B中显示图像。操作区域1504是用于接收针对PC实时取景的操作的区域。操作区域1504显示单选按钮1505、单选按钮1506和复选框1507。单选按钮1505是在提供圆形鱼眼显示时选择的单选按钮。单选按钮1506是在提供等距圆柱显示时选择的单选按钮。当选择了单选按钮1505时，未选择单选按钮1506。当未选择单选按钮1505时，选择单选按钮1506。复选框1507是在交换左右图像的位置时要选中的框。当操作复选框1507时，交换实时取景图像中的右图像(右眼视频)的位置和左图像(左眼视频)的位置，同时在引导显示区域1502和1503中显示的字符串也互相交换。退出按钮1508是用于终止PC实时取景的按钮。

在图15A中，选择了用于提供圆形鱼眼显示的单选按钮1505。未选中用于交换左右图像位置的复选框1507。因此，在实时取景显示区域1501中原样显示从照相机获得的实时取景图像。具体地，右眼视频在左侧显示区域1501A中显示为圆形鱼眼图像，而左眼视频在右侧显示区域1501B中显示为圆形鱼眼图像。

在图15B中，选择了用于提供等距圆柱显示的单选按钮1506。未选中用于交换左右图像位置的复选框1507。因此，从照相机获得的实时取景图像中的右眼视频和左眼视频(圆形鱼眼图像)各自被变换为等距圆柱图像(图像的位置不交换)。其后，实时取景显示区域1501显示变换为等距圆柱图像后获得的实时取景图像。具体地，右眼视频在左侧显示区域1501A中显示为等距圆柱图像，而左眼视频在右侧显示区域1501B中显示为等距圆柱图像。

在图15C中，选择用于提供圆形鱼眼显示的单选按钮1505，并且选中用于交换左右图像的复选框1507。因此，交换从照相机获得的实时取景图像中的右眼视频和左眼视频的位置。其后，实时取景显示区域1501显示位置交换后获得的实时取景图像。具体地，左眼视频在左侧显示区域1501A中显示为圆形鱼眼图像，而右眼视频在右侧显示区域1501B中显示为圆形鱼眼图像。

在图15D中，选择用于提供等距圆柱显示的单选按钮1506，并且选中用于交换左右图像的复选框1507。因此，交换从照相机获得的实时取景图像中的右眼视频和左眼视频的位置，并且将右眼视频和左眼视频(圆形鱼眼图像)各自变换为等距圆柱图像。其后，实时取景显示区域1501显示左右图像交换并且变换为等距圆柱图像后获得的实时取景图像。具体地，左眼视频在左侧显示区域1501A中显示为等距圆柱图像，而右眼视频在右侧显示区域1501B中显示为等距圆柱图像。

要由系统控制单元50进行的各种控制可以由一个硬件进行，或者处理可以在多个硬件(例如，多个处理器或电路)之中共享，以控制整个设备。同样，要由控制单元501进行的各种控制可以由一个硬件进行，或者处理可以在多个硬件(例如，多个处理器或电路)之中共享，以控制整个设备。

根据优选实施例具体描述了本公开。本公开不限于这些特定实施例。本公开包括不背离本公开范围的各种模式。上述各实施例仅示出本发明的一个实施例，可以根据需要组合这些实施例。

本公开不限于照相机或PC。本公开适用于能够处理具有视差的两个图像的任何电子装置。例如，本公开适用于PDA、移动电话单元或便携式图像查看器、打印机、数字相框、音乐播放器、视频游戏机和电子书阅读器。本公开还适用于例如视频播放器、显示设备(包括投影仪)、平板电脑、智能手机、AI扬声器、家用电器和车载单元。

本公开可以提供显示，使得由具有两个光学系统的镜头单元拍摄的两个图像的位置与两个光学系统对准。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参照示例性实施例描述了本公开，但是应当理解，本公开不限于所公开的示例性实施例。所附权利要求的范围应给予最广泛的解释，以涵盖所有此类修改和等效结构和功能。

Claims (12)

1.一种信息处理装置，包括：

获得单元，其被构造为获得图像和关于第一光学系统和第二光学系统的校正信息，所述图像包括第一图像区域和第二图像区域，所述第一图像区域与经由第一光学系统输入的第一光学图像相对应所述第二图像区域与经由第二光学系统输入的第二光学图像相对应，第二光学系统相对于第一光学系统具有预定视差；

校正单元，其被构造为执行校正处理，所述校正处理基于校正信息，校正所述图像中的包括在第一图像区域中的像素的位置和包括在第二图像区域中的像素的位置；以及

生成单元，其被构造为通过对校正后的第一图像区域和校正后的第二图像区域执行变换处理来生成处理后的图像。

2.根据权利要求1所述的信息处理装置，其中，

校正信息包括关于所述图像中的第一光学系统的光轴中心的信息和关于所述图像中的第二光学系统的光轴中心的信息，并且

所述信息处理装置还包括：交换单元，其被构造为基于所述图像中的第一光学系统和第二光学系统的光轴中心，对图像中的第一图像区域的位置和第二图像区域的位置执行交换处理。

3.根据权利要求2所述的信息处理装置，其中，交换单元基于所述图像中的第一光学系统的光轴中心来指定所述图像中的第一图像区域，基于所述图像中的第二光学系统的光轴中心来指定所述图像中的第二图像区域，并交换所指定的两个区域的位置。

4.根据权利要求2或3所述的信息处理装置，其中，

所述图像是如下图像，在所述图像中将第一图像区域和第二图像区域水平并排布置，并且

交换单元将所述图像中的第一图像区域和第二图像区域之间的位置关系水平反转。

5.根据权利要求1至3中任一项所述的信息处理装置，其中，

第一光学系统和第二光学系统是鱼眼镜头，并且

第一图像区域和第二图像区域为圆形鱼眼图像区域。

6.根据权利要求5所述的信息处理装置，其中，生成单元将校正后的第一图像区域和校正后的第二图像区域中的各图像区域从圆形鱼眼图像区域变换为等距圆柱图像区域。

7.根据权利要求1至3中任一项所述的信息处理装置，其中，

关于第一光学系统和第二光学系统的校正信息包括：镜头单元的固有参数，以及用于包括第一光学系统和第二光学系统的镜头单元的设计参数，并且

校正单元基于设计参数和镜头单元的固有参数执行校正处理。

8.根据权利要求1至3中任一项所述的信息处理装置，其中，获得单元获得图像文件，在所述图像文件中，关于第一光学系统和第二光学系统的校正信息作为元数据被添加到关于所述图像的数据中。

9.根据权利要求1至3中任一项所述的信息处理装置，其中，

所述图像是从能够连接到包括第一光学系统和第二光学系统的镜头单元的摄像装置输出的实时取景图像，并且

关于第一光学系统和第二光学系统的校正信息是摄像装置从镜头单元获得的镜头信息。

10.根据权利要求1至3中任一项所述的信息处理装置，其中，

所述图像是由能够连接到包括第一光学系统和第二光学系统的镜头单元的摄像装置拍摄的图像，并且

关于第一光学系统和第二光学系统的校正信息是由摄像装置从镜头单元获得的镜头信息，并且作为元数据通过摄像装置添加到关于所述图像的数据中。

11.一种信息处理装置的控制方法，包括：

获得图像和关于第一光学系统和第二光学系统的校正信息，所述图像包括第一图像区域和第二图像区域，所述第一图像区域与经由第一光学系统输入的第一光学图像相对应，所述第二图像区域与经由第二光学系统输入的第二光学图像相对应，第二光学系统相对于第一光学系统具有预定视差；

执行校正处理，所述校正处理基于校正信息，校正所述图像中的包括在第一图像区域中的像素的位置和包括在第二图像区域中的像素的位置；以及

通过对校正后的第一图像区域和校正后的第二图像区域执行变换处理来生成处理后的图像。

12.一种计算机可读存储介质，其存储程序，所述程序使计算机用作根据权利要求1至10中任一项所述的信息处理装置的各部件。

Images