CN102598652B - 信息处理设备和方法 - Google Patents

Abstract

发明目的：通过最优化摄像单元的位置，获得期望虚拟视点图像或距离映射。解决方案：包括：虚拟视点设置部件，用于设置虚拟视点；确定部件，用于根据由配置在不同位置处的多个摄像单元拍摄的多个图像的图像数据，确定在所述虚拟视点的虚拟图像中不能确定被摄体距离的未确定区域；校正量设置部件，用于根据所述未确定区域来设置所述多个摄像单元中的至少一个摄像单元的位置的校正量；以及生成部件，用于根据由配置在根据所述校正量校正后的位置处的所述多个摄像单元拍摄的多个图像的图像数据，生成所述虚拟视点的虚拟图像。

Description

信息处理设备和方法

技术领域

本发明涉及根据多视点图像生成虚拟视点图像。

背景技术

用于获得与拍摄位置不同的视点的图像(虚拟视点图像)的已知方法包括用于在移动光轴的情况下拍摄图像的倾斜偏移拍摄、以及用于通过生成距离映射并且根据距离映射合成不同视点的多个图像(多视点图像)来获得自由视点图像的方法。用于获得多视点图像的已知方法包括如专利文献1那样、以包括被摄体的区域可以彼此重叠的方式多次拍摄被摄体并且合成所拍摄的图像的方法，以及如专利文献2那样利用照相机阵列的方法。对手持拍摄等而言，后者较好。

用于利用照相机阵列获得多视点图像的拍摄系统包括如专利文献2那样从所有方向拍摄被摄体的系统，以及如ViewPLU S公司所制造的ProFUSION25那样、利用在平面内配置的多个照相机来拍摄图像的系统。为了获得与拍摄位置不同的视点的图像，获取包括被摄体的拍摄区域的距离映射是非常重要的。形成照相机阵列的照相机的配置显著影响距离映射的精度。提出了如专利文献3那样的在光轴的前后配置照相机的方法。例如，用于根据多视点图像生成距离映射的已知方法包括平面扫描方法。

引用列表

专利文献

专利文献1：日本特开2000-307947

专利文献2：日本特开2006-352539

专利文献3：日本专利3561446

发明内容

发明要解决的问题

传统上，以诸如格子状、放射状或半球状等的规则图案来配置形成照相机阵列的照相机。如果以规则图案配置照相机，则发生以下的问题：不能正确地获取具有某种程度的大小的单一颜色的被摄体的距离信息。

例如，如图5(a)所示，假定将作为单一颜色被摄体的单一颜色棒X(例如，扶手)与多个照相机的配置平行配置。例如，由照相机A、B和C所拍摄的图像如图5(b)所示。在图5(b)中，黑线部分与在各图像中单一颜色被摄体X的图像部分相对应。在图5(b)中，a、b和c表示与如图5(a)所示的实际空间位置(虚拟被摄体位置)a、b和c相对应的图像上的位置。

如图5(a)和5(b)所示，由于被摄体X具有单一颜色，因而在各照相机的图像中与位置a、b和c相对应的像素值相同。因此，不能根据各照相机的图像来指定与单一颜色被摄体X所位于的位置b相对应的像素。因而，被摄体X的位置b(被摄体位置)不能缩窄至一个点。

如图5(c)所示，当具有大致均一的特征值的被摄体位于包括穿过两个照相机的直线的平面内时，在多个虚拟被摄体位置处，特征值大致一致。因而，在原理上，仅利用两个照相机不能指定被摄体位置。因此，需要再添加照相机来缩窄虚拟被摄体位置。然而，如上所述，如果在穿过两个照相机的直线上添加其它照相机，则不能指定被摄体位置。因而，在这样的位置处添加照相机是无效的。由于对配置在照相机阵列中的照相机数量的物理限制，因而，尽可能多地减少对信息量的增加没有贡献的照相机的数量，这对于生成正确的三维估计结果并且由此生成高质量的虚拟视点图像具有很大贡献。

本发明是为了解决上述问题而作出的，并且本发明的目的是通过使摄像单元的位置最优化而获得期望的虚拟视点图像或距离映射。

用于解决问题的方案

根据本发明，提供一种信息处理设备，用于根据利用配置在不同位置处的多个摄像单元所拍摄的图像，生成与配置所述照相机的位置不同的虚拟视点的虚拟视点图像，所述信息处理设备包括：虚拟视点设置部件，用于设置虚拟视点；确定部件，用于根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的图像数据，确定在所述虚拟视点的虚拟图像中不能确定被摄体距离的未确定区域；校正量设置部件，用于根据所述未确定区域来设置所述多个摄像单元中的至少一个摄像单元的位置的校正量；以及生成部件，用于根据由配置在根据所述校正量校正后的位置处的所述多个摄像单元拍摄的多个图像的图像数据，生成所述虚拟视点的虚拟图像。

根据本发明，提供一种信息处理设备，用于根据利用配置在不同位置处的多个摄像单元所拍摄的图像，生成与配置所述照相机的位置不同的虚拟视点的距离映射，所述信息处理设备包括：虚拟视点设置部件，用于设置虚拟视点；确定部件，用于根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的图像数据，确定在所述虚拟视点的虚拟图像中不能确定被摄体距离的未确定区域；校正量设置部件，用于根据所述未确定区域来设置所述多个摄像单元中的至少一个摄像单元的位置的校正量；以及生成部件，用于根据由配置在根据所述校正量校正后的位置处的所述多个摄像单元拍摄的多个图像的图像数 据，生成所述虚拟视点的距离映射。

根据本发明，提供一种信息处理设备，用于根据利用多个摄像装置所拍摄的图像，生成如同从实际上未配置照相机的虚拟视点拍摄的虚拟视点图像，所述信息处理设备包括：照相机阵列，其具有以如下方式配置的照相机：均具有重叠拍摄区域的一个以上的照相机组中的各照相机组包括的三个以上的照相机不配置在同一直线上；虚拟照相机指定部件，用于指定虚拟照相机的位置、姿势和视角；以及图像生成部件，用于合成利用所述照相机阵列所拍摄的图像，并且生成所述虚拟照相机指定部件所指定的虚拟照相机的视点图像。

根据本发明，可以适当地设置摄像单元的位置，并且获得期望的虚拟视点图像或距离映射。

附图说明

图1包括示出根据典型实施例1的拍摄装置的外观的图。

图2是示出拍摄装置的详细结构的图。

图3包括示出用于利用照相机阵列获取距离映射的处理的概要的图。

图4是示出距离映射估计处理的流程的流程图。 

图5包括说明基于照相机的配置和与被摄体的相对位置而在获取距离信息时产生的困难的图。

图6是示出用于确定在生成立体图像时的虚拟照相机位置的处理的概要的图。

图7是示出图像数据格式的概要的图。

图8是示出用于自动确定图像数据格式的处理的流程的流程图。

图9是示出图像处理的流程的流程图。

图10包括示出照相机位置校正处理的流程的流程图。

图11包括示出在进行照相机位置校正处理之后的照相机位置的概要的图。

图12是示出根据典型实施例2的照相机位置确定处理的流程的流程图。

图13是示出针对照相机位置的直线配置确定处理的概要的图。

图14是示出照相机位置更新处理的流程的流程图。

图15是示出在进行照相机位置更新处理之后照相机位置的概要的图。

图16包括示出根据典型实施例4的照相机阵列的配置状态的图。

具体实施方式

典型实施例1

在典型实施例1中，动态校正形成照相机阵列的照相机单元的位置。照相机阵列包括两个以上照相机。在本典型实施例中，将形成照相机阵列的照相机称为“照相机单元”，以清楚地区分多镜头数字照相机和形成照相机阵列的照相机。

图1包括示出根据本典型实施例的多镜头数字照相机的概要的立体图。图1(a)和1(b)分别示出正面和背面的概要。在多镜头数字照相机本体100的正面上设置有按格子状配置照相机单元101的照相机阵列，并且可以利用多个照相机单元同时获得多个视点图像。在多镜头数字照相机本体100的上部设置有用于指示开始拍摄的释放按钮104。

形成照相机阵列的各照相机单元101包括摄像装置102、保持环103和致动器125，并且致动器允许摄像装置102在保持环 103的范围内水平和垂直移动。在本典型实施例中，通过集成镜头121、LPF 122、摄像传感器(例如，CCD传感器)123、水平/垂直驱动台124和外围电路(未示出)来配置摄像装置102。通过利用驱动用的致动器125来水平和垂直地驱动摄像装置(图1(c))。

在本典型实施例中，水平和垂直地驱动摄像装置102。除在水平和垂直方向驱动以外，例如，还可以进行在光轴方向的前后驱动或者转动(图1(d))。然而，照相机单元相对于摄像元件的中心的转动未能解决不能指定被摄体距离的问题。保持各照相机单元101的移动量，并且在将所拍摄的图像数据传送至缓冲器存储器208(见图2)时通过将该移动量添加至图像来传送该移动量。

在多镜头数字照相机本体100的侧面设置有用于插入外部记录介质(例如，半导体存储卡)的卡槽111。在多镜头数字照相机本体100的背面上设置有图像显示装置105、十字切换器106、电源按钮107、菜单按钮108、设置按钮109和取消按钮110。在本典型实施例中，由于未设置光学取景器，因而使用图像显示装置105检查聚焦和构图。图像显示装置105提供用于允许拍摄范围的实时显示的实时取景显示，并且还在按下菜单按钮108时提供照相机设置菜单的显示。当在显示照相机设置菜单期间按下菜单按钮108时，状态返回实时取景状态。

在利用菜单按钮108显示的照相机设置菜单中，首先，选择项目，并且使用设置按钮109改变所选项目的状态，或者利用取消按钮110在无任何改变的情况下使状态返回项目的选择。可以在照相机设置菜单中改变的项目包括指定光圈值、照相机快门速度、虚拟照相机视点、输出图像格式和图像数据格式。

在本典型实施例中，将形成照相机阵列的照相机单元的光 圈值或快门速度设置为相同的值。也可以单独地设置照相机单元的光圈值或快门速度。对于对各照相机单元进行相同的设置，这允许以与传统数字照相机的操作方式相同的操作方式来设置拍摄条件，而对于对各照相机单元进行单独设置，这允许获得更精确的虚拟视点图像。

虚拟照相机视点信息包括与虚拟照相机的位置、姿势、视角和拍摄距离有关的信息。拍摄距离是从虚拟照相机视点到虚拟焦平面的距离，并且拍摄距离不同于作为从虚拟照相机视点到被摄体的距离的被摄体距离。如普通数字照相机那样，通过测量拍摄区域中的在设置拍摄准备就绪状态时所指定的位置来确定拍摄距离。例如，在本典型实施例的多镜头数字照相机中，选择与AF测距框最靠近的位置处的照相机单元，利用所选择的照相机单元来确定拍摄距离，并且将所确定的拍摄距离报告给其它照相机。

在本典型实施例中，基于输出图像格式和图像数据格式确定多镜头数字照相机所生成的图像数据的格式。在本典型实施例中，可选择2D图像、立体图像、多视差图像和RAW图像四个类型的输出图像格式。2D图像是表示从虚拟照相机视点观看的视频的单一虚拟视点图像数据。立体图像是表示在虚拟照相机视点处观看到的双眼视差图像的右眼视点图像数据和左眼视点图像数据。如图6所示，以虚拟照相机视点为基准、根据双眼视差(例如6cm)设置两个虚拟照相机(右眼虚拟照相机和左眼虚拟照相机)，并且将从两个照相机中的各照相机观看到的视频作为图像数据输出。当设置两个虚拟照相机时，除双眼视差之外还可以指定辐合角。通过指定辐合角，即使当拍摄距离短时也可以获得看起来自然的立体图像。在多视差图像中，与立体图像不同，在不将视差的数量在水平方向上限制为两个的情况下， 可以根据分别指定的任意数量的视差生成多个图像数据。可以在水平和垂直方向上单独地指定视差的数量。RAW图像是以不改变的方式记录使用各照相机单元所拍摄的图像数据的格式。在该输出图像格式的情况下，将与各照相机单元相对应的图像数据与关于照相机单元的虚拟照相机视点信息一同存储。按原样存储各照相机单元的输出(多视点图像)，这使得可以利用PC等改变景深或视点位置等(再调焦处理)。

图像数据格式是用于指定存储诸如立体图像或多视差图像等的多个虚拟照相机视点的图像数据的方法的信息。在本典型实施例中，作为图像数据格式，可以选择按原样记录多个图像数据的正常记录、或者以条状或格子状的方式合成多个视差图像以进行双凸透镜印刷/显示的双凸透镜记录(图7)。在双凸透镜记录的情况下，如果仅在水平方向和垂直方向中的一个方向指定视差，则以条状的方式交替合成多个视差图像。如果在两个方向均设置视差，则以格子状的方式交替合成多个视差图像。可以在水平方向和垂直方向独立地设置视差的双凸透镜记录还可以支持集成型裸眼立体监视器。

在本典型实施例中，还准备用于识别与照相机连接的输出装置并且自动选择正常记录和双凸透镜记录的其中之一的“自动选择”作为图像数据格式。在将“自动选择”设置为图像数据格式的情况下，当利用释放按钮104指示拍摄时，微计算机200执行如图8所示的处理，并且确定输出图像数据格式。首先，判断多镜头数字照相机本体与输出装置是否彼此连接(步骤S801)。如果判断为连接了输出装置，则从输出装置获取与输出装置所支持的数据格式有关的信息(步骤S802)。根据所获取的数据格式，将正常记录或双凸透镜记录设置为图像数据格式。另外，当设置了双凸透镜记录时，基于所获取的数据格式设置在水平 方向和垂直方向的视差的数量(步骤S803)。另一方面，如果在步骤S801中判断为未连接输出装置，则设置预定图像数据格式。在本典型实施例中，设置正常记录(步骤S804)。

如果将RAW图像指定为输出图像格式，则不能选择“自动选择”作为图像数据格式。然后，如果在将“自动选择”设置为图像数据格式的状态下将RAW图像选择为输出图像格式，则自动设置“正常记录”。

图2是示出根据本典型实施例的多镜头数字照相机的电路结构的框图。在图2中，微计算机200控制包括针对从摄像装置102输出的图像数据的处理、摄像装置102的驱动控制以及LCD监视器装置211的显示控制的照相机整体的操作。

当半按下释放按钮104(见图1)时开关(SW1)205接通，并且当开关(SW1)205接通时，该实施例的多镜头数字照相机进入拍摄准备就绪状态。当全按下释放按钮104时(全按下状态)开关(SW2)206接通，并且当开关(SW2)206接通时，该实施例的多镜头数字照相机开始拍摄操作。在根据该实施例的多镜头数字照相机中，由于需要同步地驱动多个摄像装置102，因而使用照相机单元同步电路207控制驱动。

通过拍摄镜头121、摄像传感器123、摄像装置控制电路203和图像处理电路204来构成各个摄像装置(照相机单元)102。通过照相机单元驱动电路213来控制用于调整摄像装置102的位置的致动器125。摄像装置控制电路203进行镜头控制和快门控制等。镜头控制的例子包括在与拍摄镜头121通信期间和在AF(自动调焦)期间对拍摄镜头121的驱动控制、以及对光圈叶片的驱动控制。另外，经由快门控制，对摄像传感器123进行适当曝光。通过图像处理电路204处理利用摄像传感器123所获得的图像数据，并将其发送至缓冲器存储器208。图像处理209利用存储在 缓冲器存储器208中的、由多个摄像装置102所拍摄的多个图像的图像数据，计算用于根据虚拟照相机视点信息而生成高精度虚拟图像的摄像装置102的移动量，并且将计算出的移动量通知给摄像装置控制电路203。另外，图像处理209利用存储在缓冲器存储器208中的、根据移动量而控制的摄像装置102所拍摄的多个图像的图像数据，根据虚拟照相机视点信息、输出图像格式和图像数据格式来生成图像数据，并且将图像数据记录在记录装置212上。在本典型实施例中，利用平面扫描方法进行用于根据虚拟照相机视点生成图像的处理。然而，可以使用任意其它方法来进行生成。以下将说明用于利用平面扫描方法生成虚拟视点图像的处理。

LCD监视器211和背光照明210形成图像显示装置105。例如，记录装置212是以可移除的方式经由卡槽111插入照相机本体的半导体存储卡或者利用外部端子(未示出)连接的硬盘驱动器等。

然后，将说明平面扫描方法。在平面扫描方法中，首先，设置虚拟焦平面作为与虚拟视点图像中要估计的像素相对应的被摄体存在的位置(被摄体位置)的候选点。在通过多个照相机单元所拍摄的多个图像中的各个图像中，利用与所设置的焦平面上的点相对应的像素值，确定所设置的焦平面的可靠性水平。所设置的焦平面上的点与关注的像素相对应。然后，确定与具有高可靠性水平的焦平面相对应的距离作为与在虚拟视点图像中要估计的像素相对应的距离。

通过确定与虚拟视点图像上的各像素有关的距离信息，可以生成拍摄区域的距离映射。然后，根据距离映射来再配置由多个照相机单元所拍摄的多个图像，因此可以生成虚拟视点图像。

图3(a)示出通过如图3(b)所示的虚拟照相机所获得的所拍摄图像(虚拟视点图像)。图3(b)示出用于估计图3(a)中要估计的像素F到虚拟照相机的距离的处理的概要。与要估计的像素F相对应的被摄体存在于连接虚拟视点位置与要估计的像素F在空间中的位置的直线上。因而，在虚拟焦平面从点A移动至点B时，在由多个照相机单元P所拍摄的多个图像中的各个中，指定与虚拟焦平面和直线的交点(候选点)的位置相对应的像素值。在图3(b)的例子中，所配置的六个照相机单元P的所有拍摄图像包括从点A到点B的范围内的相应像素。利用所指定的多个像素值的特征值之间的一致度，确定所设置的虚拟焦平面的可靠性水平。如果虚拟焦平面正确，则由于在通过多个照相机单元P所拍摄的图像中指定的像素值是与同一被摄体相对应的像素值，因而一致度高。另一方面，如果虚拟焦平面不适当，则由于所指定的各像素值是与不同被摄体相对应的像素值，因而一致度低。确定与具有高可靠性水平的焦平面相对应的距离作为与在虚拟视点图像中要估计的像素相对应的距离。

将利用图4说明使用平面扫描方法的图像处理的流程。选择在虚拟视点图像中包括的像素i(步骤S401)。然后，计算从虚拟照相机视点到像素i的方向向量，并且设置包括该方向向量的直线L(步骤S402)。确定在直线L上的搜索范围(步骤S403)。在搜索范围内从靠近虚拟照相机的位置向无限远按顺序设置虚拟焦平面，并且搜索被摄体距离。将表示临时被摄体距离的点F配置在设置了搜索范围的直线上(步骤S404)。从所拍摄的图像组获取与点F相对应的像素(步骤S405)。临时被摄体距离表示包括点F的虚拟焦平面与虚拟照相机之间的距离。这里，例如，如图3(b)所示，如果利用六个照相机覆盖虚拟照相机的拍摄范围，则针对六个所拍摄图像各获取一个像素、即共六个像素作为与点F 相对应的像素。以下将说明用于计算与点F相对应的像素位置的方法。

利用所获取的像素组判断在由点F所指定的位置处是否存在被摄体(所拍摄的对象)。通过判断像素组中特定比例的像素或更大比例的像素是否实质上一致，判断被摄体的存在。在本典型实施例中，利用像素的特征值的方差来判断像素是否实质上彼此一致。因而，计算在步骤S405中所获取的多个像素的特征值的方差值，并将其设置为点F的被摄体距离的可靠性水平(步骤S406)。在搜索范围内更新点F的位置，并且重复进行步骤S405和S406的处理(步骤S407和S410)。

然后，提取具有在搜索范围内针对各点计算出的方差值中的最低方差值的点Fmin，并且采用与点Fmin相对应的被摄体距离作为像素i的被摄体距离(步骤S408)。针对虚拟视点图像中的所有像素进行步骤S401～S410的处理(步骤S409)，并且可以获得表示与虚拟视点图像中的各像素有关的被摄体距离信息的距离映射。

基于被摄体距离信息，可以估计被摄体的三维形状，或者可以生成虚拟视点图像。利用与点Fmin相对应的像素的特征值确定虚拟视点图像的特征值，这使得可以在不创建距离映射的情况下直接创建虚拟视点图像。例如，可以想到使用在所拍摄图像组中与点Fmin相对应的像素的平均颜色作为虚拟视点图像中点F的像素值。

将使用图3(c)说明用于计算所拍摄图像中的与点F相对应的坐标的方法。在图中，例如，照相机A与图3(b)中的照相机单元P或虚拟照相机相对应。照相机A所确定的拍摄区域表示顶点为照相机A、水平视角为θ_H并且垂直视角为θ_V的四角锥空间。在该空间中，假定与照相机A的拍摄距离为1的平面是拍摄区域 投影平面。

首先，在映射实际空间的坐标系中，假定点F的位置向量是X，照相机A的位置向量是Xc，并且从照相机A到拍摄区域投影平面的中心C的向量是Xv。假定拍摄区域投影平面的上方向和右方向分别是Xvv和Xv_H。这里，假定Xvv和Xv_H是单位向量。另外，假定点P在拍摄区域投影平面上与点F相对应的坐标处。可以利用以下等式表示点P的位置向量p。

数学式1

$p=\hat{R}X-\hat{R}{X}_c$ 等式(1)

这里，假定

数学式2

$\hat{R}{\≡}^t(X_{\mathrm{VH}},X_{\mathrm{VV}},X_V)$ 等式(2)

其中，t表示转置矩阵。假定用N_H表示由该照相机所获得的所拍摄图像的水平像素的数量，用Nv表示垂直像素的数量，并且右方向和下方向分别是X分量的正方向和Y分量的正方向，其中，使用图像的左上角作为原点。然后，可以利用以下等式表示所拍摄图像中的与点P相对应的像素的坐标(p_x，p_y)：

数学式3

$p_x=\frac{1}{2}(N_H-1)+\frac{1}{2}{N}_H\frac{p_0}{p_2}\frac{1}{\tan {\mathrm{\θ}}_H}$

$p_y=\frac{1}{2}(N_V-1)-\frac{1}{2}{N}_V\frac{p_0}{p_1}\frac{1}{\tan {\mathrm{\θ}}_V}$ 等式(3)

这里，假定p＝(p0，p1，p2)。

可以利用上述的等式计算各照相机单元和虚拟照相机的所拍摄图像中的与点F相对应的像素的坐标。

然后，将利用图9说明由图像处理单元209进行的图像处理的流程。

首先，与按下开关(SW1)205相对应地，获取由用户经由照相机设置菜单所设置的输出图像格式、输出数据格式和虚拟照相机视点信息(步骤S901)。如果设置“自动选择”作为输出数据格式，则获取由微计算机经由如图8所示的处理所设置的输出图像数据格式。根据虚拟照相机视点信息进行照相机位置校正处理，并且将计算出的校正后的照相机位置通知给照相机单元(步骤S902)。

然后，与按下开关(SW2)206相对应地，利用多个照相机单元基于校正后的照相机位置所拍摄的多个图像，生成与输出图像格式和虚拟照相机视点信息相对应的虚拟照相机图像，并且生成与输出数据格式相对应的图像数据(步骤S903)。如图4所示，利用多个图像针对虚拟照相机视点图像中的各像素计算被摄体距离，并且根据多个图像中与被摄体距离相对应的像素的值计算虚拟视点图像的像素值。

图10(a)是示出在步骤S902中所进行的照相机单元位置校正处理的流程的流程图。首先，当按下开关(SW1)205时，获得多个照相机单元101的输出图像(步骤S1001)。然后，利用如图4所示的处理来针对虚拟视点图像的图像数据的各像素估计被摄体距离，并且提取不能唯一指定被摄体距离的被摄体距离未确定区域(步骤S1002)。在本典型实施例中，在从照相机的最短拍摄距离(例如，24cm)到无限远的范围内设置搜索范围。

利用矩形来近似被摄体距离未确定区域，以生成直线被摄体(步骤S1003)，并且设置连接直线被摄体的短边的中点的中心线(图11(a))(步骤S1004)。

在预定坐标系中，根据虚拟视点图像中被摄体距离未确定区域的坐标位置与多个照相机单元的坐标位置之间的关系来选择要移动的照相机单元。例如，预定坐标系是定义如图3所示的 实际空间的坐标系。具体地，选择位于被摄体距离未确定区域的中心线附近的多个照相机单元、以及位于被摄体距离未确定区域内或附近的照相机单元。不使位于被摄体距离未确定区域的中心线附近的多个照相机单元移动。计算位于被摄体距离未确定区域内或附近的照相机单元的移动量。然后，基于中心线的法向量来计算被选择为移动对象的照相机单元的移动量(步骤S1005)。

相对于中心线存在两个法向量。在本典型实施例中，选择距中心线更远的法向量。通过拍摄镜头的视角和直线被摄体的宽度(短边的长度)确定照相机单元的移动量。在本典型实施例中，以基准移动量和移动校正量之和来移动照相机单元，以使得可以移动所拍摄图像的中心(图11(b))。例如，将基准移动量设置为等于直线被摄体的宽度的一半的值。例如，将移动量设置为通过将从拍摄条件估计出的照相机抖动量与直线被摄体的宽度的5％相加所获得的值。

最后，将校正后的位置通知给被设置为移动对象的照相机单元(步骤S1006)。随后，被通知了校正后的位置的照相机单元将添加了校正后的坐标的所拍摄图像数据发送至缓冲器存储器208。以此方式，可以校正照相机单元的位置以避免不能获取被摄体距离的情况。用于选择在照相机单元移动时的法向量的方法不限于在本典型实施例中所述的方法。例如，可以从在候选目的地的位置附近的两个照相机单元的图像中选择被认为具有更大信息量的候选(例如，检测到更大数量的边缘等)，以获得更高精度的距离映射。

然后，步骤图10(b)是示出在步骤S1002中所进行的被摄体距离估计处理的流程的流程图。首先，设置与由虚拟照相机获得的所拍摄图像中的各像素相对应的被摄体距离计数器映射， 并且将其初始化为0(步骤S1011)。然后，以与参考图4所述的针对由虚拟照相机获得的所拍摄图像中的各像素的方法相同的方法，计算各焦平面中相应像素的方差值(步骤S1012～步骤S1018)。这里，针对各照相机单元的位置，使用经由参考图10(a)所述的处理更新后的坐标。

当计算出整个搜索范围中相应像素的方差值时(步骤S1019)，对方差值小于预定阈值的焦平面的数量进行计数，并且在被摄体距离计数器中反映计数值(步骤S1020)。即，对被摄体存在的可能性高的焦平面的数量进行计数。在针对所有像素设置了被摄体距离计数器之后(步骤S1021)，将被摄体距离计数器映射的计数器值与阈值相比较(步骤S1022)。计数器值大于阈值的像素、即具有特定数量以上的、被摄体存在的可能性高的焦平面的像素被判断为被摄体距离未确定区域。如图5中那样，在与多个照相机的配置平行地配置单一颜色被摄体X的情况下，在步骤S1019中计算出的针对所有焦平面a、b和c的方差值比预定阈值小。根据本典型实施例，可以判断为虚拟视点图像中这样的像素是被摄体距离未确定区域。

经由上述处理，可以判断出能否针对各像素唯一确定被摄体距离。根据本典型实施例，可以通过动态校正照相机单元的位置来生成高精度距离映射，从而使得可以获得期望的输出图像。另外，在本方法中，由于可以改变照相机单元的位置，因而存在照相机单元可以具有任意初始配置的优点。因此，尽管在图1所示的概要中采用了格子状配置，但可以使用任意其它配置(例如，球状配置)。

典型实施例2

在典型实施例1中，说明了用于通过动态改变形成照相机阵列的照相机的位置来解决问题的方法。然而，在一些情况下， 诸如在由于例如照相机本体的有限尺寸的、紧致数字照相机的物理限制等而不能设置致动器的情况下，并非一定能够动态改变照相机位置。因而，在本典型实施例中，将说明用于在不能动态改变照相机位置的情况下解决问题的方法。

如利用图5所述，存在与如下区域的存在有关的问题：即使在穿过两个照相机的直线上配置其它照相机时，该区域中的信息量也不增加。因而，可以想到如下的配置：从形成照相机阵列的所有照相机中选择的任意三个照相机不在同一直线上。

图12是示出用于确定在形成照相机阵列的所有照相机中的三个照相机不在同一直线上的配置的处理的流程的流程图。在下文，将三个照相机配置在同一直线上的状态称为直线配置。

首先，初始化照相机的位置(步骤S1201)，并且对各照相机进行直线配置判断(步骤S1202)。在直线配置的判断中，计算关注的照相机相对于连接其它两个照相机的直线的距离L，并且当该距离小于预定距离时，判断为以直线配置关注的照相机(图13)。如果不存在判断为以直线配置的照相机，则处理结束(步骤S1203)；否则，更新照相机的位置(步骤S1204)。仅对以直线配置的照相机应用照相机位置更新处理。

图14是示出照相机位置更新处理的流程的流程图。首先，针对所有照相机，将表示是否校正了照相机位置的校正应用标志初始化为FALSE(“假”)(步骤S1401)。然后，检查在直线配置判断中各照相机是否被判断为以直线配置的照相机(步骤S1402)。针对被判断为未以直线配置的照相机，将校正应用标志设置为TRUE(“真”)(步骤S1403)。随后，针对各照相机进行处理。针对校正应用标志设置为“假”的照相机，计算通过利用直线近似以直线配置的三个照相机的位置所获得的基准直线p(步骤S1404～S1405)。确定相对于计算出的基准直线p从各照相机位 置引垂线的垂足，并且选择与所获得的三个点中的中心点Q相对应的、要进行校正的照相机(步骤S1406)。具体地，在连接点Q与要进行校正的照相机的位置的直线上，在与要进行校正的照相机的位置相隔预定距离r的两点中，选择距基准直线p较远的一点，并且确定更新后的位置(图15)。距离r根据形成照相机阵列的照相机之间的间隔而不同。例如，如果照相机间隔平均为1cm，则以0.001mm(0.1％)为单位更新位置。

将以直线配置的三个照相机的校正应用标志设置为“真”之后，更新要进行校正的照相机的位置(步骤S1407和S1408)。当所有照相机的校正应用标志成为“真”时，处理结束(步骤S1409)。

例如，在步骤S1201中的照相机的初始配置可以是如图1所示的格子状配置。然而，在第一次直线配置判断中，所有照相机都可能是要进行照相机位置更新处理的对象，这可能没有效率。还可以想到随机配置初始位置。然而，除照相机阵列中的照相机的非均匀分布以外，不能确保减少要进行照相机位置更新处理的照相机的数量。因而，可以想到利用蓝噪声掩模(blue noise mask)来确定初始位置。蓝噪声掩模是巨大(例如，256×256)抖动矩阵，并且具有如下特性：对于包括在矩阵中的任何数字，具有小于或等于该数字的数字的元素是均匀分散的。此外，如果存在相同的值，则以大致相等的距离配置具有该值的元素。因此，可以想到设置浓度以获得与形成照相机阵列的照相机的数量相对应的元素的数量，并且将作为结果所选择的元素的位置设置为照相机的初始位置。利用蓝噪声掩模判断初始位置可以提供以下的优点：与随机数不同，照相机均匀分布，以及与格子状配置不同，较少出现直线配置，从而加速收敛。

利用具有使用上述方法所确定的照相机配置的照相机阵 列，即使在不能动态改变形成照相机阵列的照相机的位置的情况下，也可以生成高精度距离映射并且获得期望的输出图像。此外，在用于确定照相机位置的处理中，通过利用蓝噪声掩模确定初始配置，可以用少量时间确定适当的照相机配置。

典型实施例3

在典型实施例2中，说明了不以直线配置形成照相机阵列的所有照相机中的照相机的方法。然而，在诸如工作室摄影等的最大拍摄距离受限的情况下，并非一定能够使所有照相机都不采用直线配置。当以直线配置在照相机组中包括的具有重叠拍摄区域的照相机时，出现问题。即，在最大拍摄距离受限的情况下，可以防止局部直线配置，并且无需最优化所有照相机。

因而，在本典型实施例中，将要进行直线配置判断的照相机限制为具有与关注的照相机的拍摄区域重叠的拍摄区域的照相机组。处理流程自身与如图12所示的流程相同，并且省略对其的详细说明。进行该处理使得可以用较少量的时间确定适当的照相机配置。

典型实施例4

除如图1所示的小的照相机阵列以外，例如，还可以想到诸如通过在活动会场的天花板上配置大量照相机来配置的大型照相机阵列。在这样的大型照相机阵列的情况下，存在以下问题：在成本方面，难以如典型实施例1那样动态改变照相机的位置，或者在安装方面，难以如典型实施例2或典型实施例3那样不规则地配置照相机。

因而，在本典型实施例中，将说明用于在该情况下防止直线配置的方法。

图16(a)示出会场布局的例子。这里，主要被摄体是会场的地面、扶手和观众(未示出)。在此情况下，如典型实施例3所述， 由于从照相机安装位置到地面的距离限制了最大拍摄距离，因而容易防止直线配置。

由于在技术问题中所述的问题主要发生在会场中安装的扶手，因而可以仅需要防止扶手以直线形状配置。因而，可以想到以如图16(b)所示的方式配置照相机以使其与扶手不平行。图16的配置与格子状配置类似，但不同在于照相机不与扶手平行配置。另外，因为规则配置，所以可以容易地实现安装，并且可以提高安装精度。

上述配置使得可以正确地获取扶手的形状并且还可以大大减少安装成本。此外，在上述典型实施例中，通过数字照相机中的图像处理单元进行上述处理(图9和10)。然而，还可以通过执行以下处理来实现处理。经由网络或者各种存储介质向系统或设备供给用于实现上述实施例的功能的软件(程序)，并且系统或设备的计算机(或者CPU或MPU等)读取并执行程序，从而对从数字照相机获取的图像数据进行图像处理。

Claims (6)

1.一种信息处理设备，用于根据利用配置在不同位置处的多个摄像单元所拍摄的图像，生成与配置所述多个摄像单元的位置不同的虚拟视点的虚拟视点图像，所述信息处理设备包括：

虚拟视点设置部件，用于设置虚拟视点；

确定部件，用于根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的图像数据，确定在所述虚拟视点的虚拟视点图像中不能确定被摄体距离的未确定区域；

校正量设置部件，用于根据所述未确定区域来设置所述多个摄像单元中的至少一个摄像单元的位置的校正量；以及

生成部件，用于根据由配置在根据所述校正量校正后的位置处的所述多个摄像单元拍摄的多个图像的图像数据，生成所述虚拟视点的虚拟视点图像，

其特征在于，所述确定部件在根据所述虚拟视点的虚拟视点图像中要进行被摄体距离估计的像素和所述虚拟视点而确定的直线上，设置多个被摄体位置候选点，以及

所述确定部件判断是否能够根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的与所述被摄体位置候选点相对应的像素值，确定要进行被摄体距离估计的像素的被摄体距离。

2.根据权利要求1所述的信息处理设备，其特征在于，所述校正量设置部件基于所述未确定区域的中心线来设置所述校正量。

3.根据权利要求1所述的信息处理设备，其特征在于，还包括用于设置输出图像格式的输出图像格式设置部件，

其中，所述生成部件根据所述虚拟视点和所设置的输出图像格式来生成所述虚拟视点图像，以及

其中，所述输出图像格式包括二维图像和视差图像，并且在选择二维图像作为所述输出图像格式的情况下，所述生成部件基于所述虚拟视点生成一个图像，以及在选择视差图像作为所述输出图像格式的情况下，所述生成部件生成与根据所述虚拟视点和视差信息所确定的多个视点相对应的多个图像。

4.根据权利要求3所述的信息处理设备，其特征在于，还包括输出图像数据格式设置部件，所述输出图像数据格式设置部件用于设置用于指定与所述多个视点相对应的多个图像的存储方法的输出图像数据格式，

其中，所述生成部件利用与所述输出图像数据格式相对应的存储方法，存储与所述多个视点相对应的多个图像。

5.一种信息处理方法，用于根据利用配置在不同位置处的多个摄像单元所拍摄的图像，生成与配置所述多个摄像单元的位置不同的虚拟视点的虚拟视点图像，所述信息处理方法包括：

虚拟视点设置步骤，用于设置虚拟视点；

确定步骤，用于根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的图像数据，确定在所述虚拟视点的虚拟视点图像中不能确定被摄体距离的未确定区域；

校正量设置步骤，用于根据所述未确定区域来设置所述多个摄像单元中的至少一个摄像单元的位置的校正量；以及

生成步骤，用于根据由配置在根据所述校正量校正后的位置处的所述多个摄像单元拍摄的多个图像的图像数据，生成所述虚拟视点的虚拟视点图像，

其特征在于，所述确定步骤在根据所述虚拟视点的虚拟视点图像中要进行被摄体距离估计的像素和所述虚拟视点而确定的直线上，设置多个被摄体位置候选点，以及

所述确定步骤判断是否能够根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的与所述被摄体位置候选点相对应的像素值，确定要进行被摄体距离估计的像素的被摄体距离。

6.一种信息处理设备，用于根据利用配置在不同位置处的多个摄像单元所拍摄的图像，生成与配置所述多个摄像单元的位置不同的虚拟视点的距离映射，所述信息处理设备包括：

虚拟视点设置部件，用于设置虚拟视点；

确定部件，用于根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的图像数据，确定在所述虚拟视点的虚拟视点图像中不能确定被摄体距离的未确定区域；

校正量设置部件，用于根据所述未确定区域来设置所述多个摄像单元中的至少一个摄像单元的位置的校正量；以及

生成部件，用于根据由配置在根据所述校正量校正后的位置处的所述多个摄像单元拍摄的多个图像的图像数据，生成所述虚拟视点的距离映射，

其特征在于，所述确定部件在根据所述虚拟视点的虚拟视点图像中要进行被摄体距离估计的像素和所述虚拟视点而确定的直线上，设置多个被摄体位置候选点，以及

所述确定部件判断是否能够根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的与所述被摄体位置候选点相对应的像素值，确定要进行被摄体距离估计的像素的被摄体距离。