CN103297685B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理装置和图像处理方法。在使用照相机阵列的情况下，根据摄像时的照相机的方向，摄像单元的配置与所显示的拍摄图像的配置彼此不一致，并且难以把握两者之间的对应关系。因此，提供了一种图像处理装置，用于对包括多个摄像单元的照相机阵列摄像装置获得的拍摄图像数据所表示的多个图像进行处理，所述图像处理装置包括：确定单元，用于基于所述图像在显示区域中的显示角度，来确定与所述多个摄像单元各自相对应的各图像在所述显示区域中的配置，其中，基于所述多个摄像单元的配置来确定各图像在所述显示区域中的配置。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及一种用于显示通过使用包括多个摄像单元的照相机阵列摄像装置(还简称为“照相机阵列”，已知为照相机阵列系统和多镜头照相机等)所获得的图像的显示方法。

背景技术

传统上,作为用于显示由包括多个摄像单元的照相机阵列摄像装置(以下称为照相机阵列)一次所获得的多个拍摄图像的技术，已知有用于显示水平方向并排排列的两个拍摄图像的列表显示技术(例如，日本特开平11-088912(1999))。通过将两个摄像单元所拍摄的具有视差的两个拍摄图像以水平方向并排排列的方式同时输出到显示器上，列表显示技术使得可以一次确认这两个拍摄图像的取景和曝光。

另一方面，在显示了通过使用包括单个摄像单元的一般数字照相机所获得的拍摄图像的情况下，通常使用用以根据摄像时的照相机的方向来转动拍摄图像的方向的显示转动技术。例如，在利用垂直保持的照相机来进行摄像的情况下，利用按照原样所保持的照相机来显示被摄体水平放置的图像。然而,通过将拍摄图像转动90度并加以显示,使得可以使摄像时的照相机的方向与要显示的拍摄图像的方向一致。

在上述的传统显示转动技术中，通过以要显示的拍摄图像的图像中心作为轴来转动该图像，使得摄像时的照相机的方向与要显示的拍摄图像的方向一致。在将该技术应用至以垂直保持的照相机阵列所拍摄的拍摄图像组的列表显示的情况下，将各个拍摄图像以图像中心作为原点进行转动。然而，列表显示的排列顺序(即，要显示的拍摄图像的配置)在转动前后不发生改变。因此，在利用水平保持的照相机阵列拍摄图像的情况下，不需进行图像的转动，因而没有产生问题；然而，在利用垂直保持的照相机阵列拍摄图像的情况下，产生如下问题：要显示的拍摄图像的配置(排列)与照相机阵列中的摄像单元的配置(排列)不一致。即，根据摄像时的照相机阵列的方向(角度)，摄像单元的配置和要显示的拍摄图像的配置有时一致并且有时又不一致，因此，存在难以把握这两者之间的对应关系的问题。

发明内容

根据本发明的一方面，一种图像处理装置，用于对包括多个摄像单元的照相机阵列摄像装置获得的拍摄图像数据所表示的多个图像进行处理，所述图像处理装置包括：确定单元，用于基于所述图像在显示区域中的显示角度，来确定与所述多个摄像单元各自相对应的各图像在所述显示区域中的配置，其中，基于所述多个摄像单元的配置来确定各图像在所述显示区域中的配置。

根据本发明的一方面，一种图像处理方法，用于对包括多个摄像单元的照相机阵列摄像装置获得的拍摄图像数据所表示的多个图像进行处理，所述图像处理方法包括以下步骤：基于所述图像在显示区域中的显示角度，来确定与所述多个摄像单元各自相对应的各图像在所述显示区域中的配置，其中，基于所述多个摄像单元的配置来确定各图像在所述显示区域中的配置。

一种图像处理装置，用于对包括多个摄像单元的照相机阵列摄像装置获得的拍摄图像数据所表示的多个图像进行处理，所述图像处理装置包括：控制单元，用于基于所述多个摄像单元的配置，来控制所述拍摄图像数据所表示的多个拍摄图像的显示；选择单元，用于从所述拍摄图像中选择要进行合成的图像；以及生成单元，用于通过合成所述选择单元所选择的图像来生成合成图像数据。

一种图像处理方法，用于对包括多个摄像单元的照相机阵列摄像装置获得的拍摄图像数据所表示的多个图像进行处理，所述图像处理方法包括以下步骤：控制步骤，用于基于所述多个摄像单元的配置，来控制所述拍摄图像数据所表示的多个拍摄图像的显示；选择步骤，用于从所述拍摄图像中选择要进行合成的图像；以及生成步骤，用于通过合成所述选择步骤中所选择的图像来生成合成图像数据。

根据本发明，可以直观地把握拍摄图像和拍摄该图像的照相机阵列的摄像单元之间的对应关系。这样便于把握和管理照相机阵列所拍摄的图像的数据的内容。

通过(以下参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据第一实施例的照相机阵列的正面外观的图；

图2是示出根据第一实施例的照相机阵列的内部结构的功能块图；

图3是示出在将照相机阵列拍摄的图像存储至RAM的情况下的数据结构的示例图；

图4是示出根据第一实施例的图像处理单元的一系列处理的流程的流程图；

图5是用于说明以垂直保持的照相机阵列拍摄被摄体图像的方式的图；

图6是示出垂直拍摄的具有视差的拍摄图像的图；

图7A示出存储为摄像单元配置信息的表的示例，以及图7B是示出与该表相对应的图像配置的示例的图；

图8是示出图像输出处理的流程的流程图；

图9是示出在显示角度θ=+90°的情况下所生成的角度校正图像数据的图；

图10A和10B是说明用于对显示角度θ=+90°的情况下的新配置进行确定的方式的图；

图11A～11C是各自示出在显示单元上显示的UI画面的示例的图；

图12是示出根据第二实施例的拍摄图像数据的数据结构的示例图；

图13是示出第二实施例中的输出示例的图；

图14是示出第三实施例中使用的照相机阵列的外观的图；

图15是示出根据第三实施例的图像输出处理的流程的流程图；

图16是示出根据第三实施例的各角度校正图像的配置改变之后的配置的图；

图17是示出根据第三实施例的包括合成图像显示区域的UI画面的示例的图；

图18A～18E是各自示出根据第三实施例的UI画面的输出示例的图；

图19A是示出根据第四实施例的照相机阵列的正面外观的图，并且图19B和19C各自是该照相机阵列的UI画面的示例；

图20A是示出根据第四实施例的照相机阵列的正面外观的图，并且图20B和20C各自是该照相机阵列的UI画面的示例；以及

图21A是示出根据第四实施例的照相机阵列的正面外观的图，并且图21B和21C各自是该照相机阵列的UI画面的示例。

具体实施方式

第一实施例

以下详细说明本发明的优选实施例。下述实施例中所示的结构仅为示例，并且本发明不限于示意性示出的结构。

图1是示出根据第一实施例的照相机阵列摄像装置(照相机阵列)的正面外观的图。在图1中，照相机阵列100的主体中包括用于获取图像的9个摄像单元101～109以及摄像按钮110。在按下摄像按钮110的情况下，摄像单元101～109利用传感器(摄像元件)来接收被摄体的光信息，并对接收到的信号进行A/D转换，并且同时获取包括多个拍摄图像的拍摄图像数据(数字数据)。利用这样的照相机阵列，可以获得从多个视角拍摄同一被摄体的拍摄图像组。

这里，如图1所示，9个摄像单元101～109位于N×N(这里N=3)的正方形网格点上。即，结果将摄像单元101～103、摄像单元104～106、以及摄像单元107～109的各行排列为与地面平行。然后，在通过利用水平保持的照相机阵列100拍摄图像所获得的拍摄图像数据的情况下，各拍摄图像以如下方式进行显示(参见后述的图13的拍摄图像数据1204)：各拍摄图像的配置总是与摄像单元101～109的配置一致。在这种情况下，将摄像单元(镜头)指向被摄体，因此图1的摄像单元101～109的配置是以Y轴为中心成线对称的配置。

另一方面，在例如照相机阵列100以沿顺时针方向倾斜90度(垂直方向)的方式拍摄图像的情况下，摄像按钮110所处的主体的上表面与地面垂直，因此，在这种情况下，摄像单元的各行的方向与地面垂直。结果，在仅将各拍摄图像转动90度来按照原样显示该拍摄图像的情况下，各拍摄图像的配置和各行与地面垂直的摄像单元的配置不一致(参见后述的图11B)。

因此，在本实施例中，在显示照相机阵列所获得的拍摄图像数据的情况下，根据摄像时的照相机阵列的方向来转动各拍摄图像的方向，并且还适当地改变各拍摄图像的配置以避免上述的差异，然后进行显示。

在图1的示例中，摄像单元的数量为9，然而摄像单元的数量不限于9个。此外，摄像单元的配置不限于N×N的正方形，例如，摄像单元还可以配置成放射状或直线状，或者可以以非常随机的方式进行配置。

图2是示出照相机阵列100的内部结构的功能块图。中央处理单元(CPU)201整体地控制下述的各个单元。RAM202用作CPU201的主存储器和工作区等，并且还临时存储摄像单元101～109所获取到的拍摄图像数据等。ROM203存储要由CPU201执行的控制程序等。总线213是各种数据的传输路径，并且例如将摄像单元101～109所获取到的拍摄图像数据经由总线213发送至预定处理单元。用户进行输入操作所用的操作单元204包括按钮和模式拨盘等。用于显示拍摄图像和字符的显示单元206使用例如液晶显示器等。显示单元206可以具有触摸屏功能，并且在这种情况下，还可以将使用触摸屏的用户指令作为操作单元204的输入来进行处理。显示控制器205控制显示在显示单元206上的拍摄图像和字符的显示。摄像单元控制器207基于来自CPU201的诸如调焦、快门的开/闭和光圈的调整等的指令来进行摄像系统的控制。数字信号处理单元208对经由总线213所接收到的数字数据进行诸如白平衡处理、伽玛处理和降噪处理等的各种处理。编码器单元209进行用于将数字数据转换为诸如JPEG和MPEG等的文件格式的处理。外部存储器控制器210是用于与PC和其它介质211(例如，硬盘、存储卡、CF卡、SD卡和USB存储器)相连接的接口。图像处理单元212通过使用摄像单元101～109所获取的拍摄图像数据或从数字信号处理单元208所输出的数字图像数据来进行图像处理。

图3示出将照相机阵列100所拍摄的图像作为拍摄图像数据存储在RAM202的情况下的数据结构的示例。在图3的示例中，包括了与3次摄像相对应的图像数据301～303，并且各个拍摄图像数据由图像文件(这里为jpeg格式)、同时摄像标志、以及同时摄像索引来构成。拍摄图像数据301包括由摄像单元101～109同时所拍摄的9个图像文件。然后，给出了表示多个摄像单元同时拍摄图像的标志(同时摄像标志)“1”以及用于将图像数据与其它同时拍摄的图像数据进行区分的索引(同时摄像索引)“001”。拍摄图像数据303还包括与拍摄图像数据301同样的9个图像文件，并且将“1”赋给同时摄像标志，并且将“002”赋给同时摄像索引。另一方面，拍摄图像数据302是单个摄像单元(这里为摄像单元105)所拍摄的图像的数据，因此，拍摄图像数据302仅具有一个图像文件。在这种情况下，同时摄像标志的值“0”表示多个摄像单元没有同时拍摄图像。

在摄像所获得的数字数据被作为拍摄图像数据存储在RAM202中的情况下，CPU201自动分配图像文件名称、同时摄像标志和同时摄像索引的内容。

图4是示出图像处理单元212中的一系列处理的流程的流程图。CPU201执行通过计算机可执行程序来进行该处理，其中在将该程序从ROM203读取至RAM202之后，说明以下示出的处理过程。

在步骤S401中，图像处理单元212获取拍摄图像数据和该拍摄图像数据的摄像用的照相机阵列中的摄像单元的配置信息。

在步骤S402中，图像处理单元212设置在将拍摄图像数据显示在显示单元206上的情况下的显示角度(显示角度设置处理)。

在步骤S403中，图像处理单元212基于所获取的摄像单元的配置信息以及所设置的显示角度来转动拍摄图像数据中的各图像并且还确定各图像的配置以显示拍摄图像数据(图像输出处理)。

在例如将存储在USB存储器等中的拍摄图像数据取入PC以进行显示的情况下，也可以有效地应用图像处理单元212的这种功能。即，在PC的监视器上显示照相机阵列所拍摄的拍摄图像数据的情况下，可以在PC中进行相同图像处理之后生成显示。即，可以将根据本实施例的图像处理单元212形成为独立的图像处理装置，并且图像处理单元212也可以通过适当地装入照相机阵列主体和PC等来实现。

以下，详细说明图像处理单元212中进行的各处理。

拍摄图像数据和摄像单元的配置信息的获取

以上说明了步骤S401中获取到的拍摄图像数据。在步骤S401中，同时，获取了与拍摄图像数据的摄像用的照相机阵列的摄像单元的配置有关的信息(以下称为“摄像单元配置信息”)。摄像单元配置信息是表示各摄像单元与照相机阵列的主体的相对位置关系的信息，并且读取摄像时存储在RAM202等中的信息。在本实施例中，前提是所有拍摄图像数据均由上述照相机阵列100所拍摄，因此，其结构是单独获取预先存储在RAM等中的摄像单元配置信息。然而，例如，在对外部存储器所存储的大量拍摄图像数据进行显示的情况下，可以认为混合地包括了不同规格的照相机阵列(诸如不同数量的摄像单元)所拍摄的拍摄图像数据。在这种情况下，还可以将拍摄图像数据本身与摄像所用的照相机阵列的摄像单元配置信息相关联，并将其与拍摄图像数据一起获取。

在本实施例的以下说明中，作为示例说明了如下情况，其中在该情况下，将通过使用图1所示的照相机阵列100垂直地拍摄被摄体图像所获得的包括9个图像文件的拍摄图像数据(与图3的301相对应的)显示在显示单元206上。

图5是用于说明利用垂直保持的照相机阵列100拍摄作为被摄体的树501的方式的图。主体顶部的摄像按钮110位于右侧面的下部，并且穿过原点O的X轴和Y轴彼此互换，因此可以获知照相机阵列100在沿顺时针方向倾斜了90度的状态下指向被摄体501。

图6示出图5所示的状态下拍摄的具有视差的拍摄图像601～609，并且分别地，拍摄图像601对应于摄像单元101，拍摄图像602对应于摄像单元102，......，以及拍摄图像609对应于摄像单元109。

然后，图7A是作为RAM202等中的摄像单元配置信息所存储的表的示例。在图7A所示的表中，n是用于识别摄像单元的索引，并且x和y是将照相机阵列100的主体上的点O作为原点的二维坐标。例如，索引n=1与摄像单元101相对应，并且表示与原点O的距离在x和y方向上分别为15。图7B示出与该表相对应的图像配置，并且矩形中的数值1～9表示用以识别摄像单元的索引n，并且下面括号中的数值表示相应的摄像单元101～109。摄像单元配置信息只需要是能够获知摄像单元相对于照相机阵列100的主体的配置的数据即可，并且数据的格式不限于上述表的示例。

显示角度设置处理

在步骤S402中的显示角度设置处理中，设置了在将所获取的拍摄图像数据显示在显示单元206上的情况下的角度。详细地，将用户经由操作单元204所指定的角度(例如，0°、+90°、-90°和180°等)获取为显示角度θ，并将该角度存储在RAM202中。

代替将用户指定的角度设置为显示角度θ，例如还可以获取与要显示的拍摄图像数据的摄像期间的照相机阵列的倾斜有关的信息(以下称为“摄像期间的倾斜信息”)，并将该信息设置为显示角度θ。作为要获取的摄像期间的倾斜信息，例如还可以将摄像时用户经由操作单元204所指定的内容(例如，无转动、顺时针转动、逆时针转动和上下颠倒等)存储至RAM202等中。可选地，还可以将加速度传感器安装至该主体，以在摄像时自动地获取主体相对于垂直方向的转动角度ψ，并将该转动角度ψ与拍摄图像数据相关联地存储至RAM202等中。然后，可以基于从RAM202等读取的摄像期间的倾斜信息(转动角度ψ)来设置显示角度θ。

然后，在使得用户指定摄像期间的倾斜信息的情况下，根据指定的内容来设置显示角度θ(例如，在无转动的情况下，设置为显示角度θ=0度)。在使用加速度传感器在摄像时自动获取的摄像期间的倾斜信息(转动角度ψ)的情况下，根据所获取的转动角度ψ，通过公式(1)计算并设置显示角度θ。

表达式1

...公式(1)

如上所述，还可以使用加速度传感器在摄像时自动获取与照相机的倾斜有关的信息，并且根据该倾斜信息自动地设置显示角度。在这种情况下，可以显著地减少用户设置显示角度所需的时间和精力。

图像输出处理

在步骤S403的图像输出处理中，通过基于所设置的显示角度θ转动拍摄图像数据中的各图像、并且进一步通过基于所获取的摄像单元配置信息来确定各图像的配置以使得转动后的各图像的配置与摄像时各摄像单元的配置一致，来显示拍摄图像数据。以下提供详细的说明。

图8是示出图像输出处理的流程的流程图。如上所述，这里，说明了将垂直拍摄被摄体图像所获得的包括9个图像文件的拍摄图像数据(图3中的301)显示在显示单元206上的例子。

在步骤S801中，图像处理单元212判断步骤S402中所设置的显示角度θ是否为0度以外的角度。在显示角度θ不为0度的情况下，过程进入步骤S802。另一方面，在显示角度θ为0度的情况下，过程进入步骤S808，并且图像处理单元212(在同时摄像标志为“1”的情况下根据图像配置信息)将步骤S401中获取的拍摄图像数据按照原样输出至显示单元206。

在步骤S802中，图像处理单元212参考步骤S401中获取的拍摄图像数据301中的同时摄像标志，并且判断拍摄图像数据301内的各图像文件的图像是否为同时拍摄的。在判断为各图像文件的图像是同时拍摄的情况下，过程进入步骤S803。另一方面，在判断为各图像文件的图像不是同时拍摄的情况下，过程进入步骤S806。拍摄图像数据301的同时摄像标志为“1”，由此，使得过程进入步骤S803。

在步骤S803中，图像处理单元212使步骤S401中所获取的拍摄图像数据301内的9个图像文件的各个图像转动了步骤S402中设置的显示角度θ，从而生成角度校正图像组(角度校正图像数据)。图9示出角度校正图像数据，其中该角度校正图像数据包括基于前述图6所示的9个拍摄图像601～609而在显示角度θ=+90°的情况下所生成的角度校正图像901～909。在图9中，角度校正图像901～909分别与图6中的拍摄图像601～609相对应。

在步骤S804中，图像处理单元212基于步骤S401中获取的摄像单元配置信息和步骤S402中设置的显示角度θ，来改变所生成的角度校正图像数据内的各个角度校正图像901～909的配置。具体地，图像处理单元212参考摄像单元配置信息，并确定新配置以使得各角度校正图像的排列(在本实施例的情况下，在垂直方向和水平方向上)与以照相机阵列100在摄像时保持指向被摄体的状态为基准的情况下的各摄像单元的排列相同。图10A和10B是说明在显示角度θ=+90°的情况下如何确定新配置的图。图10A的表用于表示以摄像时的(照相机阵列100沿顺时针方向倾斜90度的)状态为基准的各摄像单元相对于被摄体的相对位置关系，并且图10B示出以与该表相对应的方式改变后的角度校正图像的配置。可以获知，在照相机阵列100以沿顺时针倾斜90度的方式拍摄图像时的拍摄图像数据的情况下，得到如下配置：摄像单元101的拍摄图像位于右上角，摄像单元103的拍摄图像位于右下角，摄像单元107的拍摄图像位于左上角，并且摄像单元109的拍摄图像位于左下角。

在步骤S805中，图像处理单元212根据步骤S804所确定的配置来改变步骤S803中所生成的角度校正图像901～909的配置，并将改变了配置的角度校正图像数据输出至显示单元206。图11A～11C各自示出显示单元206上显示的UI画面的示例。图11A是不进行角度校正或配置改变而输出拍摄图像数据的情况下的显示示例，并且图11B是在仅进行角度校正而不改变配置的情况下的显示示例。可以获知，在各情况下，图像901～909的配置与将照相机阵列垂直保持时各摄像单元的配置不一致。图11C是在角度校正之后改变配置的情况下的显示示例，并且可以获知，图像901～909的配置与照相机阵列垂直保持时各摄像单元的配置(参见图10B)一致。

在步骤S806中，图像处理单元212使步骤S401中获取的拍摄图像数据内的各图像文件转动了步骤S402中设置的显示角度θ，从而生成角度校正图像(角度校正图像数据)。

在步骤S807中，图像处理单元212将步骤S806中生成的角度校正图像数据输出至显示单元206。

以这种方式，确定显示单元中的各图像的配置，以使得各图像的位置关系与多个摄像单元的位置关系一致。

如上所述，根据本实施例的发明，拍摄图像数据的显示的配置与拍摄图像的情况下的摄像单元的配置一致，并且可以直观地掌握拍摄图像和拍摄了该图像的摄像单元之间的对应关系。

第二实施例

在第一实施例中，说明了如下情况：对一次摄像所获得的包括9个图像文件的拍摄图像数据进行显示。接着，作为第二实施例，将说明如下情况：对多次摄像所获得的混合地包括了由具有单个摄像单元的一般数字照相机所拍摄的拍摄图像数据的拍摄图像数据进行显示。简化或省略了针对与第一实施例相同部分的说明，并且这里主要说明不同点。

图12示出本实施例中的拍摄图像数据的数据结构的示例。由附图标记1201、1202、1205和1206所表示的拍摄图像数据是包括一个图像文件的数据，其中该数据的图像由具有单个摄像单元的数字照相机来拍摄。附图标记1203和1204所表示的拍摄图像数据是包括9个图像文件的数据，其中该数据的图像由具有摄像单元101～109的照相机阵列100同时拍摄。图12和图3的不同之处在于：向拍摄图像数据1203和1204添加了之前所述的摄像期间的倾斜信息。尽管图12中未示意性示出，但还向拍摄图像数据1203和1204添加之前所述的摄像单元配置信息。

在这种情况下，首先，对拍摄图像数据1201～1206进行图4的流程图中的步骤S401和步骤S402的处理，并且针对各拍摄图像数据来设置显示单元206上显示各拍摄图像数据的情况下的显示角度θ。

然后，在步骤S403的图像输出处理中，根据所设置的显示角度θ和同时摄像标志的内容，针对各拍摄图像数据，生成所需要的角度校正图像数据并改变角度校正图像的配置。然后，确定如下的整体配置，其中该整体配置包括：适当改变了配置的角度校正图像数据以及除该角度校正图像数据以外的拍摄图像数据。

在上述处理中，参考同时摄像标志和同时摄像索引来判断拍摄图像数据是否是与一次摄像相对应的数据。具体地，在同时摄像标志为“0”的情况下，将图像文件作为单个拍摄图像数据进行处理，并且在同时摄像标志为“1”的情况下，将具有共同的同时摄像索引的图像文件组作为一个拍摄图像数据进行处理。一般数字照相机的拍摄图像数据以及照相机阵列仅使用多个摄像单元其中之一进行摄像所获得的拍摄图像数据这两者都仅包括一个图像文件，并且将这两个数据作为彼此等同的数据进行处理就足够了。

然后，根据如上所述确定出的整体配置，将各角度校正图像或角度未校正的拍摄图像进行排列并输出至显示单元206。

图13示出通过上述处理将图12所示的拍摄图像数据1201～1206显示在显示单元206上的方式。在不进行显示角度校正的情况下显示拍摄图像数据1201、1202、1205和1206(其图像是由一般数字照相机所拍摄的)。同样在不进行显示角度校正且不进行配置改变的情况下显示拍摄图像数据1204(其图像是由水平保持的照相机阵列所拍摄的)。与此相对，在校正显示角度之后显示拍摄图像数据1203(其图像是由垂直保持的照相机阵列所拍摄的)，然后改变配置以使得该配置与摄像时的摄像单元的配置相同。

根据本实施例，即使在各种拍摄图像数据混合存在的情况下，也可以针对所有拍摄图像数据使得拍摄图像数据的显示配置与进行摄像的情况下的摄像单元的配置一致。

第三实施例

接着，作为第三实施例说明如下方面：在照相机阵列所获得的多个拍摄图像中，仅显示用户所选择的拍摄图像。这里简化或省略对与第一实施例和第二实施例相同的部分的说明，而主要说明不同点。

图14是示出本实施例中所用的照相机阵列的外观的图。在图14中，照相机阵列1400的主体包括用于拍摄图像的25个摄像单元1401～1425以及摄像按钮1430。除了摄像单元的数量不同之外，该内部结构与第一实施例的照相机阵列100的内部结构相同，并且图像处理单元212中的处理流程也大致相同。本实施例的特征在于图4的流程图中的步骤S403的图像输出处理，因此，以下主要说明该图像输出处理的内容。

图15是示出根据本实施例的图像输出处理的流程的流程图。

在基于步骤S401中获取的拍摄图像数据和摄像单元配置信息而在步骤S402中设置显示角度的情况下，判断所设置的显示角θ是否是0度以外的角度并判断图像是否是同时拍摄的(步骤S1501和S1502)。步骤S1501和1502中判断结果为“否”的情况下的步骤S1510～步骤S1512中的各处理与第一实施例的图8的流程图中的步骤S806～步骤S808中的各处理相对应。这里，详细说明最能表现本实施例的特征的情况(步骤S1501和S1502中的判断结果都为“是”的情况)的步骤S1503及后续步骤的处理。下面，作为示例说明如下情况：对通过图14所示的照相机阵列1400以之前如图5所示的垂直保持的方式拍摄被摄体501的图像所获得的拍摄图像数据进行处理。

在步骤S1503中，图像处理单元212使步骤S401所获取的拍摄图像数据中的25个图像文件的各图像转动了步骤S402所设置的显示角度θ，以生成角度校正图像数据。

在步骤S1504中，图像处理单元212基于步骤S401中所获取的摄像单元配置信息和步骤S402中所设置的显示角度θ，来改变所生成的角度校正图像数据内的各角度校正图像的配置。图16示出改变后的各角度校正图像的配置。矩形中的数值1～25表示用于识别摄像单元的索引n，并且下面括号内的数值表示相应的摄像单元1401～1425。如根据第一实施例的图10B的情况那样，可以获知，这里的拍摄图像数据的配置是：摄像单元1401的拍摄图像位于右上方，摄像单元1405的拍摄图像位于右下方，摄像单元1421的拍摄图像位于左上方，并且摄像单元1425的拍摄图像位于左下方。

在步骤S1505中，图像处理单元212创建UI画面并将该UI画面显示在显示单元206上，其中该UI画面包括与改变后的配置相关联的图像选择按钮。在这种情况下，假定显示单元206具有触摸屏功能，并且用户经由该触摸屏来进行图像选择。图17是如下UI画面的示例，其中该UI画面包括：图像选择区域1700，其包括25个图像选择按钮1701～1725；选中图像显示区域1730，其对选中图像进行显示；以及合成图像显示区域1740，其对合成图像进行显示。在这种情况下，图像选择按钮1701～1725分别与摄像单元1401～1425相关联。用户对图像选择按钮1701～1725进行任意选择，并选择要在选中图像显示区域1730中显示的角度校正图像。

在步骤S1506中，图像处理单元212将与用户经由上述UI画面所选择的图像选择按钮相对应的角度校正图像确定为要在选中图像显示区域1730中显示的图像(以下称为“显示图像”)。例如，在用户按下图像选择按钮1701、1702、1706和1707的情况下，将与关联于上述按钮的摄像单元1401、1402、1406和1407相对应的角度校正图像确定为显示图像。

在步骤S1507中，图像处理单元212将步骤S1503中生成的角度校正图像数据内的所有角度校正图像进行合成，以生成一个合成图像数据(整体合成图像数据)。作为这里的合成处理，例如可以应用已知的再调焦处理和超分辨率处理等。

在步骤S1508中，图像处理单元212对步骤S1506中确定出的显示图像进行合成，以生成一个合成图像数据(选中合成图像数据)。该合成处理的内容与步骤S1507的内容相同。

在步骤S1509中，图像处理单元212根据步骤S1504中确定出的图像配置来重新配置步骤S1506中确定出的显示图像，并将重新配置后的显示图像显示在UI画面上的选中图像显示区域中。另外，图像处理单元212将步骤S1507中生成的整体合成图像数据和步骤S1508中生成的选中合成图像数据显示在合成图像显示区域1740中。通过对合成的图像数据进行这样的显示，使得用户能够同时掌握用户已选择的图像的合成结果等。

图18A～18E各自示出步骤S1509中的UI画面的输出示例。在图18A～18E中，图像选择区域1700中的黑色矩形表示用户已选中该矩形，并且可知获知角度校正图像被显示在与黑色矩形相对应的选中图像显示区域1730内。在图18A～18E的示例中，分别地，将整体图像数据显示在左侧的合成图像显示区域1740中，并且将选中合成图像数据显示在右侧的合成图像显示区域1740中。

在步骤S1501中判断结果为“否”(显示角度θ=0度)并且同时摄像标志为“1”的情况下，也同样地进行上述步骤S1505～步骤S1508各自的处理，并且结果如图18A～18E所示那样将拍摄图像数据显示在UI画面上。

根据本实施例，用户可以通过与摄像时的摄像单元的配置相关联的图像选择按钮来选择用户期望显示的图像，并且另外，可以容易地把握拍摄图像的选中部分和摄像单元的整体配置之间的关系。

第四实施例

接着，作为第四实施例子，将说明如下情况：照相机阵列中的摄像单元的配置的形状为N×N的正方形以外的形状。这里简化或省略对与第一实施例～第三实施例相同的部分的说明，而主要说明不同点。

图19A是示出照相机阵列1900的正面外观的图，其中在照相机阵列1900中，12个摄像单元配置在直径不同的两个同心圆上。附图标记1950表示摄像按钮。图20A是示出照相机阵列2000的正面外观的图，其中在照相机阵列2000中，12个摄像单元配置在N×M(这里N=3，M=4)的矩形的网格点上。附图标记2050表示摄像按钮。照相机阵列1900和2000的内部结构以及各处理单元的内容与第一实施例的相应结构和内容相同，因此这里省略对其的说明。

在将拍摄图像数据(其图像是由顺时针方向倾斜90度的上述照相机阵列1900和2000所拍摄的)按照原样(显示角度θ=0度)输出的情况下，将图19B和图20B所示的UI画面分别显示在显示单元206上。在图19B和图20B这两者中，括号中的数值都代表相应的摄像单元。

然后，图19C和图20C示出拍摄图像数据以显示角度θ=+90度输出的情况下的显示在显示单元206上的UI画面。另外，图21A～21C示出如下的输出示例，其中在结构与上述照相机阵列2000相同的照相机阵列2100以顺时针方向倾斜90度的方式拍摄图像的情况下的拍摄图像数据的图像中，不使用具有黑色标记的摄像单元所拍摄的图像。在各示例中，可以直观地把握拍摄图像和拍摄该图像时的摄像单元的配置之间的对应关系。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种图像处理装置，包括：

第一获取单元，用于获取摄像装置所拍摄的图像数据，所述摄像装置拍摄与不同视点相对应的多个图像；

第二获取单元，用于获取表示显示拍摄图像数据的多个图像时所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度的转动信息；以及

显示单元，用于以并排配置显示拍摄图像数据的所述多个图像，

其特征在于，还包括：

确定单元，用于基于所述转动信息，来确定以并排配置显示拍摄图像数据的所述多个图像时所述多个图像的方向和配置，

其中，多个摄像单元的配置与所显示的多个所拍摄图像的配置一致。

2.根据权利要求1所述的图像处理装置，其中，

所述确定单元确定在以并排配置显示多个图像的情况下所显示的多个图像的方向和配置之间的关系，所述关系与多个所拍摄图像的拍摄方向和对应于所述多个图像的各个视点之间的关系一致。

3.根据权利要求1所述的图像处理装置，其中，

所述第二获取单元获取所述多个图像的转动指示，所述转动指示包括显示所述多个图像时所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度，所述转动指示是由用户输入的；以及

所述确定单元基于所述转动指示确定所述多个图像的方向和配置。

4.根据权利要求1所述的图像处理装置，其中，

所述第二获取单元获取拍摄所述多个图像时所述摄像装置的倾斜程度；以及

所述确定单元基于所述倾斜程度确定所述多个图像的方向和配置。

5.根据权利要求4所述的图像处理装置，其中，所述确定单元从以预定间隔设置的多个角度中选择与表示所述倾斜程度的角度最接近的角度，并且基于所选择的角度来确定所述多个图像的方向和配置。

6.根据权利要求4所述的图像处理装置，其中，

所述摄像装置包括加速度传感器，以及

所述第二获取单元基于所述加速度传感器的输出获取所述摄像装置的倾斜程度。

7.根据权利要求1所述的图像处理装置，其中，

所述第二获取单元还获取与所述多个图像相对应的多个视点之间的位置关系有关的信息；以及

所述确定单元还基于所获取的位置关系确定所述多个图像的方向和配置。

8.根据权利要求1所述的图像处理装置，其中，还包括：

第三获取单元，用于获取用以选择部分所述多个图像的用户指示，其中，提供所述用户指示从而对以所述确定单元所确定的方向和配置进行排列的所述多个图像进行显示；以及

合成单元，用于通过对利用所述第三获取单元获取的用户指示所选择的图像进行合成，以生成合成图像。

9.根据权利要求8所述的图像处理装置，其中，还包括用于生成显示图像的生成单元，所述显示图像用于显示所述合成图像和利用所述用户指示从所述多个图像中选择的图像。

10.根据权利要求1所述的图像处理装置，其中，所述显示单元以所述确定单元所确定的方向和配置来显示所述多个图像。

11.根据权利要求1所述的图像处理装置，其中，所述摄像装置是包括多个摄像单元的照相机阵列摄像装置。

12.一种图像处理装置，包括：

第一获取单元，用于获取摄像装置所拍摄的图像数据，所述摄像装置拍摄与不同视点相对应的多个图像；

第二获取单元，用于获取表示用户输入的所述多个图像的转动指示的转动信息，所述转动指示包括拍摄图像数据的所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度；以及

显示单元，用于以并排配置显示拍摄图像数据的所述多个图像，

其特征在于，还包括：

确定单元，用于基于所述转动信息，来确定表示以并排配置显示所述多个图像时所述多个图像的方向和配置的信息，

其中，多个摄像单元的配置与所显示的多个所拍摄图像的配置一致。

13.一种图像处理装置，包括：

第一获取单元，用于获取摄像装置所拍摄的图像数据，所述摄像装置拍摄与不同视点相对应的多个图像；

第二获取单元，用于获取表示用户输入的所述多个图像的转动指示的转动信息，所述转动指示包括拍摄图像数据的所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度；以及

显示单元，用于以并排配置显示拍摄图像数据的所述多个图像，

其特征在于，在显示所述多个图像时所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度发生改变的情况下，在所述显示单元进行显示时对所述多个图像的方向和配置相关联地进行改变，

其中，多个摄像单元的配置与所显示的多个所拍摄图像的配置一致。

14.一种摄像装置，所述摄像装置包括图像处理装置，所述图像处理装置包括：

第一获取单元，用于获取所述摄像装置所拍摄的图像数据，所述摄像装置拍摄与不同视点相对应的多个图像；

第二获取单元，用于获取表示显示拍摄图像数据的多个图像时所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度的转动信息；以及

显示单元，用于以并排配置显示拍摄图像数据的所述多个图像，

其特征在于，还包括：

确定单元，用于基于所述转动信息，来确定以并排配置显示拍摄图像数据的所述多个图像时所述多个图像的方向和配置，

其中，多个摄像单元的配置与所显示的多个所拍摄图像的配置一致，以及

其中，所述摄像装置同时拍摄与不同视点相对应的多个图像。

15.一种图像处理方法，包括以下步骤：

获取摄像装置所拍摄的图像数据，其中，所述摄像装置拍摄与不同视点相对应的多个图像；

获取表示显示拍摄图像数据的多个图像时所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度的转动信息；以及

以并排配置显示拍摄图像数据的所述多个图像，

其特征在于，还包括：

基于所述转动信息，来确定以并排配置显示拍摄图像数据的所述多个图像时所述多个图像的方向和配置，

其中，多个摄像单元的配置与所显示的多个所拍摄图像的配置一致。

16.一种图像处理方法，包括以下步骤：

获取摄像装置所拍摄的图像数据，其中，所述摄像装置拍摄与不同视点相对应的多个图像；

获取表示用户输入的所述多个图像的转动指示的转动信息，所述转动指示包括拍摄图像数据的所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度；以及

以并排配置显示拍摄图像数据的所述多个图像，

其特征在于，还包括：

基于所述转动信息，来确定表示用于在以并排配置显示所述多个图像的情况下排列所述多个图像时所述多个图像的方向和配置的信息，

其中，多个摄像单元的配置与所显示的多个所拍摄图像的配置一致。

17.一种图像处理方法，包括以下步骤：

获取摄像装置所拍摄的图像数据，其中，所述摄像装置拍摄与不同视点相对应的多个图像；

获取表示用户输入的所述多个图像的转动指示的转动信息，所述转动指示包括拍摄图像数据的所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度；以及

以并排配置显示拍摄图像数据的所述多个图像，

其特征在于，在显示所述多个图像时所述多个图像的转动程度或者拍摄所述多个图像时所述摄像装置的倾斜程度发生改变的情况下，在进行显示时对所述多个图像的方向和配置相关联地进行改变，

其中，多个摄像单元的配置与所显示的多个所拍摄图像的配置一致。