CN101266652B - 信息处理设备、信息处理方法和校准工具 - Google Patents

Abstract

本发明涉及一种信息处理设备、信息处理方法和校准工具。当包括摄像装置(100)的校准工具(50)在摄像装置(200)的图像拍摄范围内移动时，提取由摄像装置(200)拍摄到的多个图像中的摄像装置(100)上的指标物(110)的图像坐标。提取由摄像装置(100)拍摄到的多个图像中的环境分配指标物(300)的图像坐标。信息处理设备(1000)基于所提取的指标物(110)和环境分配指标物(300)的图像坐标计算摄像装置(200)的照相机参数。

Description

信息处理设备、信息处理方法和校准工具

技术领域

本发明涉及一种用于估计分配在实际空间上的摄像装置和指标物(index)的分配信息的技术。

背景技术

作为一种计算在实际空间中移动的摄像装置的位置和姿势(orientation)的方法，已知基于分配或设置在实际空间上的指标物和由摄像装置拍摄的图像来计算摄像装置的位置和姿势的方法(参见非专利参考1)。使用该方法，检测由摄像装置拍摄到的图像中的指标物的图像坐标，并使用所检测的指标物的图像坐标和它们的三维(3D)坐标之间的对应来计算摄像装置的位置和姿势。

然而，  当障碍物遮蔽了指标物时或当它们可见度很弱时，只使用实际空间上的指标物来记算摄像装置的位置和姿势的方法不能再计算该摄像装置的位置和姿势。因此，提出了下面的强壮的方法(参见非专利参考2)。即，将指标物作为要测量的对象附到摄像装置本身，并使用设置在天花板等上的多个其它摄像装置进行外部拍摄，并使用由这些摄像装置一起拍摄到的图像进行测量。下文中将把每个对要测量的对象的图像进行外部拍摄的摄像装置(这种情况下的摄像装置)称为目标视点照相机(objective viewpoint camera)。

在上述测量方法中，需要预先计算作为测量的基准的3D坐标系(下文中称为基准坐标系)上的每个指标物的位置和姿势(下文中被称为每个指标物的分配信息)。基准坐标系被定义为：在实际空间上具有一个点作为原点，以及在该原点互相成直角的3条轴作为X轴、Y轴和Z轴。需要预先计算基准坐标系上每个目标视点照相机的位置和姿势，以及例如扭曲特征、焦距、图像中心等对照相机唯一的参数。下文中每个照相机的位置和姿势将被称为每个照相机的分配信息或照相机外部参数。此外，下文中例如焦距、图像中心等对每个照相机唯一的参数将被称为照相机内部参数。

下文中将把获取每个指标物的分配信息的操作或处理称为每个指标物的校准。每个指标物的校准可以通过使用尺子、量角器、测量工具等手动测量来实现。然而，手动测量存在例如大量劳力和精确度差的问题。出于这个原因，利用具有高精确度的简单方法使用图像信息传统地校准每个指标物。

可以使用光束调整方法(bundle adjustment method)计算分配信息由实际空间上的一个点的位置表示的指标物(下文中称为点指标物)的分配信息(参见非专利参考3)。基于从不同方向拍摄到的大量图像，光束调整方法同时计算实际空间上的点的位置以及摄像装置在拍摄每个拍摄到的图像时的位置和姿势。更具体地，该方法使点的位置以及摄像装置的位置和姿势最优化，从而使拍摄的图像上观察到的点的位置、与根据点的位置及摄像装置的位置和姿势计算出的图像上的点的位置之间的误差的和最小。

另一方面，在分配信息由基准坐标系上的位置和姿势表示的指标物(下文中称为2D指标物)的情况下，像具有例如正方形等二维形状的指标物，不能直接应用上述计算点的位置的方法。因此，非专利参考4公开了通过与光束调整方法相同的方法计算2D指标物和点指标物的分配信息的方法。为了测量基准坐标系上每个指标物的分配信息，应该给出基准坐标系上一些指标物的多个分配信息。下文中将把给出了基准坐标系上的分配信息的指标物称为基准指标物。可以由这些基准指标物定义该基准坐标系。要校准的各指标物应该与基准指标物链接在一起进行拍摄。

注意，“与基准指标物链接在一起进行拍摄”表示例如下面的情况。即，基准指标物和指标物A同时在一些图像上被拍摄，且指标物A和B同时被拍摄在一些其它图像上。此外，指标物B和其它指标物同时被拍摄在另外其它图像上。以这种方式，“与基准指标物链接在一起进行拍摄”表示基准指标物和其它指标物之间的关系可以由后面的数据得到。

另一方面，计算照相机的分配信息以及例如焦距、图像中心等对照相机唯一的参数的处理称为照相机校准(参见非专利参考5)。一般地，通过观察在3D坐标系上的位置已知的多个点来实现照相机校准。这需要例如精密制作的3D参照物等用于校准的专用参照物。此外，公知使用绘制了2D位置已知的点的参照平面来实现校准的方法(参见非专利参考6)。

在照相测量领域中，将计算照相机内部参数称为内部标定，并将计算照相机外部参数称为外部标定。内部标定可以使用校准板等在外部标定之前分开进行，或可以与外部标定同时进行。外部标定被分类为相对标定和绝对标定。计算在多个视点拍摄的照相机的位置和姿势之间的相对关系被称为相对标定。计算基准坐标系上的照相机的位置和姿势被称为绝对标定。由相对标定计算的照相机的位置和姿势信息对应于照相机之间的相对关系，并代表与基准坐标系不同的临时坐标系上的每个照相机的位置和姿势。

下面说明将大量目标视点照相机在宽范围内固定到建筑物的天花板等上，并对这些照相机进行校准的情况。基于相关技术的最简单实现方法是单独执行每个照相机的绝对标定而不执行任何相对标定的方法。出于这个目的，规定基准坐标系的参照物可以由每个单独的照相机进行拍摄。

此外，在另一个方法中，在用相对标定计算了照相机之间的相对关系后，通过计算相对标定的临时坐标系和基准坐标系之间的变换同时确定了各照相机的绝对标定。在这种情况下，通过用多个照相机同时观察与相对坐标系没有关系的参照物，同时执行了内部标定和相对标定。接下来，通过用一个或多个照相机观察规定基准坐标系的另一个参照物，执行绝对标定。注意，在设置照相机之前分别执行每个单独的照相机的内部标定，并在照相机被设置后轮流执行相对标定和绝对标定是公知技术。

如上所述，使用上述任何一种方法，通过观察“规定基准坐标系的参照物”实现了目标视点照相机的绝对标定。注意，规定基准坐标系的参照物给出了在基准坐标系上的位置已知的一组点(参照点)。这种参照物通过在实际空间上分配每一个在基准坐标系上具有已知分配信息的多个指标物(基准指标物)形成。绝对标定的精度很大程度上取决于要观察的图像和空间中的基准点的分布。即，如果要观察的基准点的分布是足够的，可以执行具有足够高精确度的绝对标定。

非专利参考1

Sato，Uchiyama，and Tamura：″Registration method in mixedreality″，Transactions of the Virtual Reality Society of Japan，vol.8，no.2，pp.171-180，2003.

非专利参考2

Sato，Uchiyama，and Yamamoto：″UG+B method：ARegistration Framework Using Subjective and ObjectiveViewpoint Cameras，and Orientation Sensor″，Transactions of theVirtual Reality Society of Japan，vol.10，no.3，pp.391-400，2005.

非专利参考3

The Japan Society of Photogrammetry and Remote Sensing，″Analytic Photogrammetry，Revised edition″，1989.

非专利参考4

Kotake，Uchiyama，and Yamamoto：″A Marker CalibrationMethod Utilizing A Priori Knowledge on Marker Arrangement″，Transactions of the Virtual Reality Society of Japan，vol.10，no.3，pp.401-410，2005.

非专利参考5

Ueshiba，Okatani，and Sato：″Camera Calibration″，IPSJ SIGNotes，2005-CVIM-148(1).

非专利参考6

Z.Zhang：″Flexible Camera Calibration by Viewing a Planefrom Unknown Orientations，″Proc.7th Int′l Conf.on ComputerVision(ICCV′99)，Vol.1，pp.666-673，1999.

非专利参考7

Kato，M.Billinghurst，Asano，and Tachibana：″AnAugmented Reality System and its Calibration based on MarkerTracking″，Transactions of the Virtual Reality Society of Japan，vol.4，no.4，pp.607-616，1999.

非专利参考8

Junichi Rekimoto：″A Method of Constructing of AugmentedReality using the 2D matrix code″，Interactive System andSoftware V，Kindai Kagaku sha，1997.

非专利参考9

G.Klein and T.Drummond：″Robust Virtual Tracking forNon-instrumented Augmented Reality，″Proc.InternationalSymposium on Mixed Reality and Augmented Reality(ISMAR′03)，pp.113-122，2003.

非专利参考10

Jun Sato：″Computervision-Geometry of Vision-″，CoronaPublishing，Co.，Ltd.，1999.

非专利参考11

Tomasi，C.and Kanade，T.：″Shape and motion from imagestreams under orthography：A factorization method，″InternationalJournal on Computer Vision，vol.9，no.2，pp.137-154.

然而，如果目标视点照相机和基准指标物都被固定在实际空间上，则获取具有高精确度的绝对标定所需要的基准点不总是容易的。如果不能将充足数量的基准指标物分配在每个目标视点照相机的图像拍摄范围内，则不能精确地执行目标视点照相机的绝对标定。然而，因为固定的目标视点照相机具有有限的图像拍摄范围，所以其只可以拍摄有限的基准指标物的图像。出于这个原因，基准指标物还需要分配在目标视点照相机可以拍摄的范围之内。然而，由于物理的制约，不是经常可以分配充足数量的基准指标物。基准点理想地具有3D分布。然而，在实践中，基准指标物只可以被分配在地板表面和墙表面上，且这种基准指标物的受限分配引起绝对标定的精确度下降。可以在将其上被分配了基准点的3D校准工具移动到规定位置的同时拍摄它的图像。然而，这种图像拍摄处理需要大量劳力，且工具的分配精确度引起另一个问题。

传统上，照相机校准中的相对标定和绝对标定被独立处理，并需要大量劳力。另外，因为照相机校准和指标物校准被作为独立处理执行，所以需要大量劳力。

在校准分配在实际空间上的指标物时，如果指标物被分配在该指标物不能被拍摄来与基准指标物连接到一起的位置，则不能计算该指标物在基准坐标系上的分配信息。因此，指标物的分配位置受到限制，且指标物应该被分配具有非常大的密度。

如上所述，需要更简单并精确地执行目标视点照相机和指标物的校准。

发明内容

考虑上述问题进行了本发明，且本发明的目的是在照相机校准中结合相对标定和绝对标定处理。

本发明的另一个目的是：即使在充足数量的基准点(基准指标物)不能固定地被分配在每个目标视点照相机的图像拍摄范围内时，也可以实现具有高精确度的绝对标定。

本发明的另外另一个目的是合成用于计算每个分配在实际空间上的指标物的分配信息以及每个目标视点照相机的分配信息的处理。本发明的还另一个目的是实现被分配在该指标物不能被拍摄来与基准指标物链接到一起的位置的指标物的校准。

根据本发明的一个方面，一种信息处理设备包括：

第一获取单元，用于在包括用于拍摄分配了第二指标物的实际空间的第二摄像装置和分配在所述第二摄像装置上的第一指标物的校准工具在第一摄像装置的图像拍摄范围内移动时，获取由所述第一摄像装置在多个时刻拍摄到的多个第一图像；

第一提取单元，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在多个时刻的图像坐标；

第二获取单元，用于获取由所述第二摄像装置在多个时刻拍摄到的多个第二图像；

第二提取单元，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在多个时刻的图像坐标；以及

计算单元，用于通过同时使用由所述第一提取单元和所述第二提取单元分别提取的多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第一摄像装置的照相机参数。

根据本发明的另一方面，一种信息处理设备包括：

第一获取单元，用于在包括用于拍摄分配了第二指标物的实际空间的第二摄像装置和分配在所述第二摄像装置上的第一指标物的校准工具在第一摄像装置的图像拍摄范围内移动时，获取由所述第一摄像装置在多个时刻拍摄到的多个第一图像；

第一提取单元，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在多个时刻的图像坐标；

第二获取单元，用于获取由所述第二摄像装置在多个时刻拍摄到的多个第二图像；

第二提取单元，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在多个时刻的图像坐标；以及

计算单元，用于通过同时使用由所述第一提取单元和所述第二提取单元分别提取的多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第二指标物的位置。

根据本发明的还一方面，一种校准工具，其作为由位置固定的照相机拍摄的对象被设置在实际空间上，以计算所述照相机的照相机参数，所述校准工具包括：

用于拍摄所述实际空间的至少一个摄像装置，以及

用于由所述照相机观察的至少一个标记。

根据本发明的仍一方面，一种信息处理方法包括：

第一获取步骤，用于在包括用于拍摄分配了第二指标物的实际空间的第二摄像装置和分配在所述第二摄像装置上的第一指标物的校准工具在第一摄像装置的图像拍摄范围内移动时，获取由所述第一摄像装置在多个时刻拍摄到的多个第一图像；

第一提取步骤，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在多个时刻的图像坐标；

第二获取步骤，用于获取由所述第二摄像装置在多个时刻拍摄到的多个第二图像；

第二提取步骤，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在多个时刻的图像坐标；以及

计算步骤，用于通过同时使用在所述第一提取步骤和所述第二提取步骤中分别提取的多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第一摄像装置的照相机参数。

根据本发明的还仍一方面，一种信息处理方法包括：

第一获取步骤，用于在包括用于拍摄分配了第二指标物的实际空间的第二摄像装置和分配在所述第二摄像装置上的第一指标物的校准工具在第一摄像装置的图像拍摄范围内移动时，获取由所述第一摄像装置在多个时刻拍摄到的多个第一图像；

第一提取步骤，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在多个时刻的图像坐标；

第二获取步骤，用于获取由所述第二摄像装置在多个时刻拍摄到的多个第二图像；

第二提取步骤，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在多个时刻的图像坐标；以及

计算步骤，用于通过同时使用在所述第一提取步骤和所述第二提取步骤中分别提取的多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第二指标物的位置。

根据下面参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明第一实施例的系统的功能配置的框图，该系统用来计算分配在实际空间上的一个或多个摄像装置在基准坐标系上的位置和姿势(分配信息)；

图2是示出由信息处理设备1000执行以计算摄像装置200在基准坐标系上的位置和姿势的处理的流程图；

图3A示出正方形指标物150a～150c的分配例子；

图3B示出正方形指标物150a～150c的结构例子；

图3C是用于说明点指标物的视图；

图4A示出根据本发明第一实施例的校准工具50的外观例子；

图4B示出具有3个指标物110的校准工具50的外观例子；

图5是示出步骤S2090中的处理细节的流程图；

图6是示出根据本发明第二实施例的系统的功能配置的框图；

图7是由信息处理设备4000执行的、计算每个摄像装置200在基准坐标系上的位置和姿势以及环境分配指标物300在基准坐标系上的位置的处理的流程图；

图8是示出步骤S5000中的处理的细节的流程图；

图9是示出步骤S5090中的处理的细节的流程图；

图10A示出校准工具50的结构例子；

图10B示出校准工具50的结构例子；

图10C示出校准工具50的结构例子；以及

图11是示出可以应用到信息处理设备1000和4000的计算机的硬件配置的例子的框图。

具体实施方式

下文中将参考附图详细说明本发明的优选实施例。注意，这些实施例将被说明为权利要求书的范围中说明的发明的优选配置的例子，且该发明不局限于下文中说明的实施例。

第一实施例

图1是示出根据本实施例的系统的功能配置的框图，该系统用来计算分配在实际空间上的一个或多个摄像装置在基准坐标系上的位置和姿势(分配信息)。即，该系统计算照相机参数的外部参数。

将一个或多个要校准的摄像装置200连接到信息处理设备1000。本实施例将说明信息处理设备1000计算一个或多个摄像装置200的分配信息的情况。

注意，图1示出一个摄像装置200。然而，下文中将在多个摄像装置200被连接到图像处理设备1000的假设下给出一般说明。在下面的说明中，使j(j＝1，2，...，N₂)作为摄像装置200的标识符。注意，N₂代表摄像装置200的总数。即，在本实施例中，N₂个摄像装置200被连接到信息处理设备1000。此外，假设每个摄像装置200的内部参数在本实施例中已知。

由操作者将校准工具50在摄像装置200的图像拍摄范围内移动。根据本实施例的校准工具50包括一个摄像装置100，以及一个通过棒构件加到该摄像装置100的指标物110，如图4A中所示。图4A示出根据本实施例的校准工具50的外观例子。注意，指标物110的添加形式不特别限制，只要该指标物被设置在摄像装置(摄像装置100)上。

摄像装置100被通过包括在信息处理设备1000中的第二图像获取单元1010连接到信息处理设备1000。第二图像获取单元1010包括例如设置在PC中的视频捕获卡。摄像装置100是拍摄分配了指标物150a～150c的实际空间的运动图像的摄相机，且各拍摄的帧图像(实际空间图像)的数据被输入到第二图像获取单元1010。

第二图像获取单元1010将从摄像装置100接收到的实际空间图像按顺序输出到第二指标物提取单元1020。

第二指标物提取单元1020提取构成从第二图像获取单元1010接收到的每个实际空间图像中的指标物150a～150c的每一个的环境分配指标物。下面将说明环境分配指标物。

在(包括存在于实际空间上的实际物体的)实际空间上，分配了具有正方形形状的指标物150a～150c(将被称为正方形指标物150a～150c)，如图3A所示。图3A示出正方形指标物150a～150c的分配例子。

如图3B中所示，代表正方形指标物150a～150c的标识符的图案被记录在这些指标物150a～150c内侧。因此，通过在图像中读取给定的正方形指标物的图案，正方形指标物150a～150c中的一个被唯一地识别为该正方形指标物。注意，一个正方形指标物的顶点300a～300d将被称为环境分配指标物。在下面的说明中，环境分配指标物300a～300d将被全体称为环境分配指标物300。图3B示出正方形指标物150a～150c的结构例子。

使i(i＝1，2，...，N₃)作为环境分配指标物300的标识符。每个环境分配指标物300在基准坐标系上的位置被给定，并被作为指标物的分配信息保持在指标物管理单元1050中。

第二指标物提取单元1020对从第二图像获取单元1010接收到的每个实际空间图像应用二值化处理，且然后应用标注处理来从每个都由四条直线定义的区域中具有预定面积或更大面积的区域提取区域作为正方形指标物的候选区域。此外，单元1020通过检查是否每个提取的候选区域包括指定图案来判断是否每个候选区域是正方形指标物的区域。最后，单元1020读出判断为正方形指标物的区域的每个区域中的图案，以在实际空间图像中获取该正方形指标物的姿势(方向)和标识符。

第二指标物提取单元1020向指标物管理单元1050输出每个实际空间图像中的图像坐标、标识符、以及环境分配指标物等。

注意，环境分配指标物300不局限于每个正方形指标物的顶点，且可以使用任何形式，只要它们可以在每个实际空间图像中被检测到且可以互相区别。例如，如图3C中所示，环境分配指标物300可以是像具有不同颜色的圆形指标物的点指标物160a～160c。在这种情况下，从实际空间图像检测出与各指标物的颜色相对应的区域，且它们的重心位置被指定为它们的检测坐标(图像坐标)。图3C是用于说明点指标物的视图。

此外，可以将分别具有不同纹理特征且原先存在于实际空间上的有区别的点(自然特征点)用作点指标物。可以采用用于从实际空间图像提取自然特征点的各种方法。例如，通过对实际空间图像应用使用预先保持的各指标物的临时图像作为给定信息的临时匹配，可以从实际空间图像提取指标物。

可以将红外发光标记用作环境分配指标物300。在这种情况下，作为摄像装置100，使用只拍摄红外波长范围的红外照相机。可选择地，可以使用回射材料(回射标记)组成的指标物。在这种情况下，用来自摄像装置100附近的位置的红外线照射这些标记，并用红外照相机拍摄由这些标记反射的光。以这种方式，红外光的使用允许强壮的检测。本发明不局限于这种指标物，且可以使用任何其它指标物，只要它们被固定在实际空间上并可以从拍摄的图像检测到。当然，可以一起使用多种类型的指标物。

每个摄像装置200通过包括在图像处理设备1000中的第一图像获取单元1030连接到图像处理设备1000。第一图像获取单元1030包括设置在PC中的视频捕获卡。摄像装置200是拍摄分配了校准工具50的实际空间的运动图像的视频照相机，且各拍摄到的帧图像(实际空间图像)的数据被输入到第一图像获取单元1030。

当覆盖宽范围装配多个摄像装置200时，第一图像获取单元1030包括设置在通过例如LAN(局域网)等网络连接的PC中的视频捕获卡。

注意，操作者在摄像装置200的图像拍摄范围内移动校准工具50。指标物110总由摄像装置200拍摄到。

第一指标物提取单元1040从从第一图像获取单元1030接收到的每个实际空间图像提取指标物110。

注意，指标物110不受特定的限制，只要它是直接或间接地固定到校准工具50并可以从由摄像装置200拍摄到的每个实际空间图像提取并识别出的指标物。注意，指标物110的形成需要基于要校准的每个摄像装置200的类型改变。例如，如果摄像装置200是红外照相机，使用包括红外LED等的红外自发发射标记是有效的。当可以从摄像装置200附近的位置发射红外光时，可以使用回射材料组成的回射标记(注意，下文中，红外自发发射标记和回射标记将被称为红外标记)。如果摄像装置200是彩色照相机，使用具有可区分颜色的彩色标记是有效地。可选择地，可以将具有不同文理的指标物用作指标物110。此外，原先存在于校准工具50上的特征点可以被用作指标物110。

相对于校准工具50的(即，关于校准工具50定义的坐标系上)指标物110的位置已知，且被保持为指标物管理单元1050中的指标物110的分配信息。在本实施例中，出于简化的原因，在下文中，关于摄像装置100定义的坐标系(照相机坐标系)将被称为校准工具坐标系。当校准工具坐标系与照相机坐标系不同时，摄像装置100在校准工具坐标系上的分配信息可以被预先计算，且可以进行坐标变换。

指标物管理单元1050管理由第二指标物提取单元1020提取的环境分配指标物300的标识符i和图像坐标，以及由第一指标物提取单元1040提取的指标物110的图像坐标。如上所述，指标物管理单元1050还管理预先作为已知信息记录的、环境分配指标物300在基准坐标系上的分配信息和指标物110在关于校准工具50定义的坐标系上的分配信息。下文中，每个由指标物管理单元1050管理的信息还被称为指标物信息。

工具近似位置和姿势计算单元1045接收由第二指标物提取单元1020提取的环境分配指标物300的图像坐标和它们的来自指标物管理单元1050的分配信息，并计算校准工具50的近似位置和姿势。计算的位置和姿势被保持在指标物管理单元1050中。

指标物近似位置计算单元1055使用由指标物管理单元1050持有的指标物110的分配信息和校准工具50的近似位置和姿势，来计算指标物110在基准坐标系上的近似位置。将所计算的近似位置与指标物110的图像坐标相关的保持在指标物管理单元1050中。

分配信息计算单元1070从指标物管理单元1050接收指标物110和环境分配指标物300的图像坐标的数据、各指标物的分配信息、指标物110的近似位置、校准工具50的近似位置和姿势等。然后，单元1070计算各摄像装置200的分配信息。分配信息计算单元1070按照需要向外输出摄像装置200的计算出的分配信息。

图2是由信息处理设备1000执行以计算每个摄像装置200在基准坐标系上的位置和姿势的处理的流程图。

在步骤S2010中，第二图像获取单元1010在给定时刻α获取由摄像装置100拍摄到的实际空间图像(第二图像)。

在步骤S2020中，第一图像获取单元1030在时刻α获取由各摄像装置200拍摄到的各实际空间图像(第一图像)。即，在本实施例中，因为第一和第二图像获取单元1030和1010同时执行图像获取处理，所以它们在相同时刻(或在近似相同的时刻)获取图像。

在步骤S2030中，第二指标物提取单元1020提取第二图像上的环境分配指标物300(第二指标物)。该单元1020将所提取的环境分配指标物300的图像坐标

和它们的标识符i和时刻α一起记录在指标物管理单元1050中。

在步骤S2040中，第一指标物提取单元1040提取第一图像上的指标物110(第一指标物)。单元1040将所提取的指标物110的图像坐标

和摄像装置200的标识符j以及时刻α一起记录在指标物管理单元1050中。

在步骤S2050中，工具近似位置和姿势计算单元1045估计在时刻α校准工具50在基准坐标系上的近似位置和姿势。因为已知环境分配指标物300在基准坐标系上的位置和姿势，所以单元1045基于在步骤S2030提取的环境分配指标物300的图像坐标来计算摄像装置100在基准坐标系上的位置和姿势。当所提取的环境分配指标物300不分布在同一平面上时，可以使用DLT方法(直接线性变换方法，Direct Linear Transformation Method)来实现该计算(例如，参见非专利参考3)。另一方面，当所提取的环境分配指标物300分布在同一平面上时，可以使用利用平面单应性(planar homography)计算照相机的位置和姿势的已知方法来实现该计算(例如，参见非专利参考7和8)。此外，当校准工具坐标系与摄像装置100的坐标系不同时，按照需要执行坐标变换。

在下面的说明中，用3D向量t＝[t_x t_y t_z]^T和ω＝[ω_x ω_y ω_z]^T来分别描述物体的位置和姿势。用通过合成这些3D向量获得的6维(6D)状态向量来描述物体的位置和姿势。注意，姿势ω是姿势的三元表达方法，其中，向量的方向代表旋转轴，且向量的大小代表旋转角。在下面的说明中，按照需要，通过将ω变换为基于旋转轴向量r_axis＝[r_x r_y r_z]^T和旋转角r_a的表达形式或基于3×3旋转变换矩阵R的表达形式来使用姿势ω。使用ω将r_a表达为：

$r_a=\sqrt{{{\mathrm{\ω}}_x}^2+{{\mathrm{\ω}}_y}^2+{{\mathrm{\ω}}_z}^2}---\left(1\right)$

此外，r_a和r_axis之间的关系表达为：

[ω_x ω_y ω_z]＝[r_ar_x r_ar_y r_ar_z]    (2)

r_a和R之间的关系表达为：

$R=\left[\begin{array}{ccc}{r_x}^2(1-\cos r_a)+\cos r_a& r_x{r}_y(1-\cos r_a)-r_z\sin r_a& r_z{r}_x(1-\cos r_a)+r_y\sin r_a\\ r_x{r}_y(1-\cos r_a)+r_z+\sin r_a& {r_y}^2(1-\cos r_a)+\cos r_a& r_y{r}_z(1-\cos r_a)-r_x\sin r_a\\ r_z{r}_x(1-\cos r_a)-r_y\sin r_a& r_y{r}_z(1-\cos r_a)+r_x\sin r_a& {r_z}^2(1-\cos r_a)+\cos r_a\end{array}\right]---\left(3\right)$

物体的位置和姿势可以经常由通过结合R和t获得的4×4单应性变换矩阵M来表达。在这种情况下，我们有：

$M=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]---\left(4\right)$

在下面的说明中，使ψ成为代表校准工具50在基准坐标系上的位置和姿势的6D状态向量。此外，使M_wc成为代表校准工具50在基准坐标系上的位置和姿势的变换矩阵。ψ和M_wc可互换。使ψ_α成为在时刻α的ψ，且M_wcα成为在时刻α的M_wc。

在步骤S2060中，指标物近似位置计算单元1055估计在步骤S2040中提取的指标物110在时刻α在基准坐标系上的位置。可以基于在步骤S2050中计算的校准工具50在时刻α的位置和姿势M_wcα以及作为已知值的指标物110相对于校准工具50的位置x_c，来计算指标物110在时刻α在基准坐标系上的位置x_wα：

x_wα＝M_wcαx_c    (5)

其中，x_c和x_wα由单应性坐标系表达。

利用上述步骤S2010～S2060中的处理，可以得到由相应摄像装置200在时刻α拍摄到的指标物110在实际空间图像上的图像坐标以及在基准坐标系上的3D坐标的集合。

在步骤S2070中，分配信息计算单元1070检查存储在指标物管理单元1050中的数据是否足够计算各摄像装置200的分配信息。如果判断为当前获得的数据足够，则处理前进到步骤S2080。另一方面，如果判断为所获得的数据不充足，则处理返回到步骤S2010来再次执行步骤S2010～S2060中的处理。该检查处理可以基于表示数据的数目是否大于等于阈值的简单标准来实现。可选择地，表示提取的指标物在每个图像上的分布或它们的3D坐标在空间上的分布大于等于阈值的信息可以被添加为条件。可选择地，用户可以检查是否获得了充足的数据，并可以通过键输入来输入指令。

通过在将校准工具50移动到不同位置和姿势的同时重复步骤S2010～S2060中的处理，可以获得指标物110被分配在多个坐标的状态下的数据。换句话说，可以获得在不同时刻α(α＝1，2，...，N₁)的数据。注意，N₁代表所获得数据的数目。

在步骤S2080中，分配信息计算单元1070使用由这些摄像装置200拍摄到的指标物110在实际空间图像上的图像坐标以及指标物110在基准坐标系上的3D坐标位置的组合，来计算各摄像装置200的近似分配信息。该处理可以用如步骤S2050中的方法的DLT方法实现。在下面的说明中，用6D状态向量s_j(j＝1，2，...，N₂)表达具有标识符j的摄像装置200的分配信息。

在步骤S2090中，分配信息计算单元1070通过将所获取的数据的一致性作为整体保持来更精确地计算各摄像装置200的分配信息。利用该处理，将表示校准工具50在每个时刻α的位置和姿势的状态向量ψ_α和每个摄像装置200的分配信息s_j设置为变量(未知参数)。因为在步骤S2080之前已经计算出这些参数的近似值，所以将它们设置为初始值。然后，单元1070将这些参数最优化以使各指标物(指标物110和环境分配指标物300)上投影误差的残差的和最小。稍后将说明步骤S2090中处理的细节。

在步骤S2100中，分配信息计算单元1070输出在步骤S2090中计算的各摄像装置200在基准坐标系上的分配信息。

下面参考图5中所示的流程图说明步骤S2090中处理的细节。图5是示出步骤S2090中处理的细节的流程图。

在下面的说明中，要由步骤S2090中的处理进行最优化的未知参数用(N₁+N₂)×6维状态变量t＝[s^Tψ^T]^T表达。注意，s＝[s₁ ^T...s_N2 ^T]^T且ψ＝[ψ₁ ^T...ψ_N1 ^T]^T。此外，t0代表在当前定时的状态向量的估计值。此外，使s_j0成为在当前定时的具有标识符j的摄像装置200的分配信息的估计值，且使ψ_α0成为在时刻α的校准工具50的位置和姿势的在当前定时的估计值。

在步骤S3010中，分配信息计算单元1070估计全部检测到的指标物110的投影坐标(图像坐标)。由具有标识符j的摄像装置200拍摄到的指标物110在时刻α在实际空间图像上的投影坐标u_jα的计算描述为：

u_jα＝F_1j(s_j，x_wα)    (6)

其中，F_1j是代表具有标识符j的摄像装置200的观察方程，且包括从基准坐标系到照相机坐标系的变换，以及透视投影变换的函数。在步骤S3010中，分配信息计算单元1070使用方程(5)基于当前ψ_α0来计算x_wα。然后，单元1070使用方程(6)基于当前s_j0来计算投影坐标u_jα。

在步骤S3020中，分配信息计算单元1070估计全部检测到的环境分配指标物300的投影坐标。由摄像装置100在时刻α拍摄到的具有标识符i的环境分配指标物300在实际空间图像上的投影坐标(图像坐标)v_iα被表达为：

v_iα＝F₂(ψ_α，a_wi)    (7)

其中，F₂是代表摄像装置100的观察方程，且包括从基准坐标系到照相机坐标系的变换以及透视投影变换的函数。a_wi表示环境分配指标物300的分配信息(基准坐标系上的位置)。在本实施例中，将每个环境分配指标物300的分配信息保持为指标物管理单元1050中的已知值。在步骤S3020中，分配信息计算单元1070使用方程(7)基于ψ_α0来计算投影坐标v_iα。当校准工具坐标系与摄像装置100的坐标系不同时，只需要在方程(7)的观察方程中从基准坐标系到照相机坐标系变换时考虑它们的偏移。

在步骤S3030中，分配信息计算单元1070用下式计算在步骤S3010中计算的指标物110的投影坐标u_jα和在步骤S2040中提取的指标物110的图像坐标之间的误差(投影误差)Δu_jα：

${\mathrm{\Δu}}_{\mathrm{j\α}}=u_{\mathrm{j\α}}-{\hat{u}}_{\mathrm{j\α}}---\left(8\right)$

在下面的说明中，使n成为指派给“在全部时刻各摄像装置200对指标物100进行的观察”的序号。使N₄成为各摄像装置200对指标物110进行检测的总次数的和(即，n＝1，...，N₄)。在下面的说明中，第n个点的投影误差由Δu_n＝-Δu_jα来表达。

在步骤S3040中，分配信息计算单元1070用下式计算在步骤S3020中计算的环境分配指标物300的投影坐标v_iα和在步骤S2030中提取的环境分配指标物300的图像坐标

之间的投影误差Δv_iα：

${\mathrm{\Δv}}_{\mathrm{i\α}}=v_{\mathrm{i\α}}-{\hat{v}}_{\mathrm{i\α}}---\left(9\right)$

在下面的说明中，使ξ成为指派给“在全部时刻摄像装置100对每个单独的环境分配指标物300进行的观察”的序号。此外，使N₅成为由摄像装置100拍摄到的全部图像上检测出的环境分配指标物300的总数(总数目)(即，ξ＝1，...，N₅)。在下面的说明中，第ξ个点的投影误差由Δv_ξ＝-Δv_iα来表达。

在步骤S3050中，分配信息计算单元1070校正状态向量t，以使在步骤S3030和S3040中计算出的投影误差最小。

首先将说明计算校正值需要的联立方程(稍后说明的方程(20))的引出。

如由方程(5)给出的，在时刻α，指标物110在基准坐标系上的位置x_wα是ψ_α的函数。因此，方程(8)可以被重写为s_j和ψ_α的函数：

Δu_jα＝E_1j(s_j，ψ_α)    (10)

同样地，方程(9)可以被重写为ψ_α的函数：

Δv_iα＝E_2i(ψ_α)    (11)

投影误差Δu_jα和Δv_iα理论上为0，但因为它们包括误差，所以实际不为0。基于非线性最小二乘法估计状态向量t，从而使全部观察数据的投影误差的和最小，即，从而使由下式给出的J和H最小：

$J=\frac{1}{2}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}\underset{\mathrm{\α}\∈A_j}{\mathrm{\Σ}}{E}_{1j}{(s_j,{\mathrm{\ψ}}_{\mathrm{\α}})}^2---\left(12\right)$

$H=\frac{1}{2}\underset{\mathrm{\α}=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{i\∈I_{\mathrm{\α}}}{\mathrm{\Σ}}{E}_{2i}{\left({\mathrm{\ψ}}_{\mathrm{\α}}\right)}^2---\left(13\right)$

其中，A_j代表具有标识符j的摄像装置200观察(提取)指标物110的时刻的集合。I_α代表摄像装置100在时刻α观察到的(提取到的)环境分配指标物300的集合。

计算使J和H最小化的状态向量t的方法可以是Gauss-Newton方法、Levenberg-Marquardt方法或其它已知最优化方法。例如，下面将说明使用Gauss-Newton方法的解决方法。

通过使由方程(12)给出的J对s_j和ψ_α的分量s_jγ和ψ_αη的偏导数等于0，我们有：

$\frac{\∂J}{\∂s_{\mathrm{j\γ}}}=\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}\underset{\mathrm{\α}\∈A_j}{\mathrm{\Σ}}{E}_{1j}(s_j,{\mathrm{\ψ}}_{\mathrm{\α}})\frac{{\∂E}_{1j}(s_j,{\mathrm{\ψ}}_{\mathrm{\α}})}{\∂s_{\mathrm{j\γ}}}=0---\left(14\right)$

$\frac{\∂J}{{\∂\mathrm{\ψ}}_{\mathrm{\α\η}}}=\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}\underset{\mathrm{\α}\∈A_j}{\mathrm{\Σ}}{E}_{1j}(s_j,{\mathrm{\ψ}}_{\mathrm{\α}})\frac{{\∂E}_{1j}(s_j,{\mathrm{\ψ}}_{\mathrm{\α}})}{{\∂\mathrm{\ψ}}_{\mathrm{\α\η}}}=0---\left(15\right)$

通过使方程(13)中的H对ψ_α的分量ψ_αη的偏导数等于0，我们有：

$\frac{\∂H}{{\∂\mathrm{\ψ}}_{\mathrm{\α\η}}}=\underset{\mathrm{\α}=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{i\∈I_{\mathrm{\α}}}{\mathrm{\Σ}}{E}_{2i}\left({\mathrm{\ψ}}_{\mathrm{\α}}\right)\frac{{\∂E}_{2i}\left({\mathrm{\ψ}}_{\mathrm{\α}}\right)}{{\∂\mathrm{\ψ}}_{\mathrm{\α\η}}}=0---\left(16\right)$

方程(9)和(10)的Taylor展开式服从：

$E_{1j}(s_j,{\mathrm{\ψ}}_{\mathrm{\α}})\≈E_{1j}(s_{j0},{\mathrm{\ψ}}_{\mathrm{\α}0})+\left[\frac{{\∂E}_{1j}(s_{j0},{\mathrm{\ψ}}_{\mathrm{\α}0})}{{\∂s}_j}\right]{\mathrm{\Δs}}_j+\left[\frac{{\∂E}_{1j}(s_{j0},{\mathrm{\ψ}}_{\mathrm{\α}0})}{{\∂\mathrm{\ψ}}_{\mathrm{\α}}}\right]{\mathrm{\Δ\ψ}}_{\mathrm{\α}}---\left(17\right)$

$E_{2i}\left({\mathrm{\ψ}}_{\mathrm{\α}}\right)\≈E_{2i}\left({\mathrm{\ψ}}_{\mathrm{\α}0}\right)+\left[\frac{{\∂E}_{2i}\left({\mathrm{\ψ}}_{\mathrm{\α}0}\right)}{{\∂\mathrm{\ψ}}_{\mathrm{\α}}}\right]{\mathrm{\Δ\ψ}}_{\mathrm{\α}}---\left(18\right)$

即，投影误差可以用关于状态向量t的各分量的校正值的线性函数来近似。

通过对状态向量t的各分量进行偏微分E_1j(s_j0，ψ_α0)获得的偏微分系数一般由(N₁+N₂)×6维向量J_n(n＝1，2，...，N₄)表示。通过对状态向量t的各分量进行偏微分E_2i(ψ_α0)获得的偏微分系数一般由(N₁+N₂)×6维向量K_ξ(ξ＝1，2，...，N₅)表示。因为偏微分系数可以简单地从观察方程取得，所以省略它们的计算方法的详细说明。

方程(17)代入方程(14)和(15)的结果与将方程(18)代入方程(16)的结果的结合服从校正向量Δ的联立方程(19)：

${\left[\begin{array}{c}{J}_1\\ .\\ .\\ .\\ J_{N_4}\\ K_1\\ .\\ .\\ .\\ K_{N_5}\end{array}\right]}^T\left[\begin{array}{c}{J}_1\\ .\\ .\\ .\\ J_{N_4}\\ K_1\\ .\\ .\\ .\\ K_{N_5}\end{array}\right]\mathrm{\Δ}={\left[\begin{array}{c}{J}_1\\ .\\ .\\ .\\ J_{N_4}\\ K_1\\ .\\ .\\ .\\ K_{N_5}\end{array}\right]}^T\left[\begin{array}{c}{\mathrm{\Δu}}_1\\ .\\ .\\ .\\ {\mathrm{\Δu}}_{N_4}\\ {\mathrm{\Δv}}_1\\ .\\ .\\ .\\ {\mathrm{\Δv}}_{N_5}\end{array}\right]---\left(19\right)$

其中，Δ＝[Δs₁...Δs_N2，Δψ₁…Δψ_N1]^T，且代表状态向量t的各参数的校正值。通过使用雅可比(Jacobian)矩阵J＝[ΔJ₁...ΔJ_N4，ΔK₁…ΔK_N5]^T和误差向量E＝[Δu₁...Δu_N4，Δv₁…Δv_N5]^T来结合方程(19)，可以获得下面的方程。

J^TJΔ＝J^TE    (20)

在步骤S3050中，分配信息计算单元1070通过求解上述联立方程计算校正向量Δ。联立方程的求解方法可以使用消去(discharge)法、Gauss-Jordan法、共轭梯度法、及其它已知的联立方程求解方法。当获取了很多图像时或当检测到很多指标物时，可以通过例如具有预处理的、在预处理中计算不完全Cholesky分解的共轭梯度法来进行高速计算。

在步骤S3050中，分配信息计算单元1070还使用计算出的校正向量Δ来根据下式校正当前状态向量t₀：

t₀+Δ→t    (21)

单元1070将所获得的向量设置为新的状态向量t。

在步骤S3060中，分配信息计算单元1070检查计算是否使用一些例如误差向量E是否小于预定阈值或校正向量Δ是否小于预定阈值的标准收敛。如果计算收敛，则步骤S2090中的处理结束并前进到步骤S2100。另一方面，如果计算不收敛，则处理返回到步骤S3010以重复步骤S3010～S3050中的处理。这时，单元1070使用在步骤S3050中校正的校正后的状态向量t作为下一个t₀。

如上所述，根据本实施例，可以计算出每个摄像装置200在基准坐标系上的位置和姿势，即该摄像装置200的分配信息。以这种方式，用于计算参照物和照相机之间相对关系的处理，以及用于将其变换到基准坐标系上的处理可以被合并，因此，简化了处理。

因为摄像装置100只需要拍摄分配在实际空间上的环境分配指标物300，所以定义基准坐标系的指标物不需要被分配在目标视点照相机的图像拍摄范围内。以这种方式，可以消除对要分配在实际空间上的指标物的分配方法的限制。

因为由摄像装置100取得的环境分配指标物300的观察信息被用作最优化计算的限制条件(步骤S2090)，所以可以提高要估计的每个摄像装置200的分配信息的精确度。

变型1-1

在第一实施例中，每个摄像装置200的内部参数已知，且只计算摄像装置200的分配信息。然而，每个摄像装置200的内部参数可能要与其分配信息一起被同时计算。在这种情况下，除了代表摄像装置200的分配信息的6个参数，可以将内部参数a_j加到代表与具有标识符j的摄像装置200相关的未知参数的向量s_j。

内部参数a_j包括：例如焦距f、图像中心的坐标(u₀，v₀)、沿x轴和y轴方向的比例因子k_u和k_v、以及切变系数k_s。利用这些参数，代表用于将照相机坐标系上的点x_c变换为图像坐标u的透视投影变换的矩阵A被表达为：

$A=\left[\begin{array}{ccc}{\mathrm{fk}}_u& {\mathrm{fk}}_s& u_0\\ 0& {\mathrm{fk}}_v& v_0\\ 0& 0& 1\end{array}\right]---\left(22\right)$

即，步骤S2090中的方程(6)的观察方程可以被变型为考虑方程(22)的透视投影变换的形式。以这种方式，每个摄像装置200的内部参数被增加为未知参数，且可以通过非线性最优化计算使指标物的投影误差最小的参数。注意，可以使用步骤S2080中的已知方法与近似分配信息一起计算用作初始值的每个摄像装置200的近似内部参数。可选择地，可以基于设计参数预先设定初始值。

变型1-2

在第一实施例中，通过在步骤S2090中对校准工具50的位置和姿势ψ一起进行最优化，提高了在步骤S2080中计算出的每个摄像装置200的近似分配信息的精确度。然而，步骤S2090中的处理不是不可缺少的。即，可以将步骤S2080中计算出的每个摄像装置200的分配信息在步骤S2100不经处理地输出。例如，当摄像装置100是高分辨率照相机等时，在步骤S2050中计算出的ψ具有高可靠性。以这种方式，  当可以计算出具有高可靠性的ψ时，可以省略步骤S2090中的处理。

变型1-3

在第一实施例中，将用实际空间上的点和实际空间图像表达的指标物用作指标物110和环境分配指标物300。然而，指标物的形式不限于它们，可以将在实际空间图像上检测到的并引起亮度改变的边缘用作指标物。

非专利参考9提出了一种使用边缘信息测量摄像装置的位置和姿势的方法。使用该方法，准备好例如CAD模型的模型，并通过将该模型的边缘与图像上的边缘相配合来计算照相机的位置和姿势。即，可以使用通过在该方法中将模型边缘与图像上的边缘相配合来计算照相机的位置和姿势的方法。

在这种情况下，预先准备好固定在校准工具50上的物体的边缘模型或校准工具50的边缘模型，以及固定在实际空间上的物体的边缘模型。接下来，使用在由摄像装置100拍摄到的实际空间图像上检测到的固定在实际空间上的物体的边缘计算摄像装置100的位置和姿势。因为可以计算摄像装置100的位置和姿势，所以也可以计算固定在校准工具50上的物体或校准工具50在基准坐标系上的位置和姿势。最后，使用在由每个摄像装置200拍摄到的实际空间图像上检测到的固定在校准工具50上的物体的边缘或校准工具50的边缘，可以计算出该摄像装置200的分配信息。

用表达通过将校准工具50上的边缘模型投影到图像上获得的边缘和在由摄像装置200拍摄到的图像上检测到的边缘之间的误差的函数来替换方程(12)中表达指标物110的投影坐标和提取坐标之间的误差的函数。此外，用代表通过将固定在实际空间上的物体的边缘模型投影到图像上获得的边缘和在由摄像装置100拍摄到的实际空间图像上检测到的边缘之间的误差的函数来替换方程(13)中表达环境分配指标物300的投影坐标和提取坐标之间的误差的函数。

还可以从与边缘对应的观察方程计算出结合偏微分系数的矩阵。以这种方式，当像在使用指标物的非线性最优化方法中一样使用边缘时，可以通过应用非线性最优化方法来计算每个摄像装置200的分配信息。

变型1-4

在第一实施例中，已知摄像装置100的内部参数。然而，摄像装置100的内部参数可以与其位置和姿势信息一起同时计算。在这种情况下，作为与摄像装置100相关的未知参数，可以将摄像装置100的内部参数b加到代表在时刻α的位置和姿势的向量ψ_α。

内部参数b包括例如：焦距f、图像中心坐标(u₀，v₀)、沿x轴和y轴方向的比例因子k_u和k_v、以及切变系数k_s。利用这些参数，代表用于将照相机坐标系上的点x_c变换为图像坐标u的透视投影变换的矩阵A₁₀₀表示为：

$A_{100}=\left[\begin{array}{ccc}{\mathrm{fk}}_u& {\mathrm{fk}}_s& u_0\\ 0& {\mathrm{fk}}_v& v_0\\ 0& 0& 1\end{array}\right]---\left(23\right)$

即，可以将步骤S2090中的方程(7)的观察方程变型为考虑方程(23)的透视投影变换的形式。以这种方式，将摄像装置100的内部参数加为未知参数，且可以通过非线性最优化计算使指标物的投影误差最小的参数。注意，用作初始值的每个摄像装置100的近似内部参数可以使用已知方法与近似分配信息一起计算。可选择地，可以基于设计参数预先设定初始值。

变型1-5

在第一实施例中，基于指标物110在基准坐标系上的3D坐标和其图像坐标之间的对应关系，用分配信息计算单元1070单独计算每个摄像装置200的近似分配信息(步骤S2080)。然而，计算摄像装置200的近似分配信息的方法不局限于此，且可以使用其它方法。

例如，使用各摄像装置200之间的指标物110的对应关系进行投影重构，并可以基于该结果计算每个摄像装置200的近似分配信息。基于图像之间的指标物110的对应关系，基于投影重构来估计每个摄像装置200和各指标物110之间(在不同时刻α)的相对分配关系(在给定临时坐标系上的分配)(细节参见非专利参考5和10)。基于作为先前处理结果获得的指标物110在临时坐标系上的坐标和在步骤S2060中获得的指标物110在基准坐标系上的坐标之间的对应关系，计算从临时坐标系到基准坐标系的变换矩阵。最后，使用计算出的变换矩阵，可以计算出每个摄像装置200在基准坐标系上的近似分配关系。

可以通过利用两个摄像装置200之间的指标物110的对应关系来计算视点之间的基本矩阵，并可以基于该矩阵计算这些摄像装置200的近似分配信息。因为可以从计算出的基本矩阵计算两个摄像装置和指标物110之间的相对分配关系，所以可以以如上所述相同的方式计算近似分配信息。

变型1-6

在第一实施例中，指标物110相对校准工具50的分配信息(方程(5)中的x_c)是已知的。然而，指标物110相对校准工具50的分配信息x_c可以是未知的，且在这种情况下，将x_c作为未知参数中的一个计算。

用任意方法预先计算指标物110相对校准工具50的近似分配信息(x_c的初始值)。可选择地，可以将校准工具坐标系的原点用作初始值。然后，如在第一实施例的其它参数中一样，通过用非线性最优化方法重复校正近似分配信息来计算x_c。

假设指标物110相对校准工具50的分配信息x_c、校准工具50在每个时刻α的位置和姿势ψ_α、以及每个摄像装置200的分配信息s_j被用作未知参数。即，状态向量t＝[s^T，ψ^T，x_c ^T]^T。这时，第一实施例中的方程(12)被变型为：

$J=\frac{1}{2}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}\underset{\mathrm{\α}\∈A_j}{\mathrm{\Σ}}{E}_{1j}{(s_j,{\mathrm{\ψ}}_{\mathrm{\α}},x_c)}^2---\left(24\right)$

使用变型方程(24)可以像在第一实施例的步骤S3050中一样实现非线性最优化。

第二实施例

在第一实施例中，  已知环境分配指标物300的全部分配信息，并计算了固定在实际空间上的一个或多个摄像装置200的分配信息。在本实施例中，当将正方形指标物150a～150c的顶点用作环境分配指标物300，且这些指标物的一些分配信息未知时，计算环境分配指标物300的这些分配信息和固定在实际空间上的一个或多个摄像装置200的分配信息。

图6是示出根据本实施例的系统的功能配置的框图。图6中的相同附图标记表示与图1中相同的部分，且将避免其重复说明。如图6中所示，要校准的一个或多个摄像装置200被连接到信息处理设备4000。在本实施例中，信息处理设备4000计算一个或多个摄像装置200和环境分配指标物300的分配信息。在本实施例中，同样假设每个摄像装置200的内部参数已知。

本实施例与第一实施例不同之处在于：存在分配信息已知的环境分配指标物300，和分配信息未知的环境分配指标物300。在图3A中所示的每个正方形指标物150中，下文中将把分配信息已知的环境分配指标物称为“基准指标物”。由摄像装置100拍摄到的图像中的一个需要包括这种基准指标物。

指标物管理单元4050管理稍后说明的各种信息。

当由第二指标物提取单元1020提取的环境分配指标物300包括得到了基准坐标系上的分配信息的指标物时，工具近似位置和姿势计算单元4045从指标物管理单元4050接收该指标物的图像坐标和分配信息。然后，单元4045计算校准工具50在基准坐标系上的近似位置和姿势。注意，“得到了基准坐标系上的分配信息的指标物”指基准指标物或得到了基准坐标系上的近似分配信息的指标物。

另一方面，单由第二指标物提取单元1020提取的环境分配指标物300不包括任何得到了基准坐标系上的分配信息的指标物时，工具近似位置和姿势计算单元4045执行下面的处理。即，单元4045使用环境分配指标物300的近似分配信息和图像坐标来计算校准工具50在局部坐标系上的近似位置和姿势。该计算出的位置和姿势被保持在指标物管理单元4050中。

指标物近似位置计算单元4055使用环境分配指标物300的图像坐标和校准工具50的近似位置和姿势，来估计分配信息未知的环境分配指标物300的近似分配信息。当在基准坐标系上获得了校准工具50的近似位置和姿势时，获得了基准坐标系上的近似分配信息。另一方面，当在局部坐标系上获得了校准工具50的近似位置和姿势时，获得了局部坐标系上的近似分配信息。

指标物近似位置计算单元4055还使用由指标物管理单元4050保持的指标物110的分配信息和校准工具50(在基准或局部坐标系上)的近似位置和姿势，来计算指标物110的位置。将计算出的环境分配指标物300的近似分配信息和指标物110的位置与图像坐标相关地保持在指标物管理单元4050中。

当拍摄的图像既不包括基准指标物又不包括获得了近似配置信息的指标物时，指标物近似位置计算单元4055选择所提取的正方形指标物中的一个，并使用用所选择的指标物的顶点指定的环境分配指标物300来定义新的局部坐标系。此外，单元4055在该局部坐标系上设定每个环境分配指标物300的分配信息。当同时观察到具有确定坐标系上的分配信息的环境分配指标物300和具有另一个坐标系上的分配信息的环境分配指标物300时，单元4055将两个坐标系结合。

分配信息计算单元4070从指标物管理单元4050接收以下数据：指标物110的图像坐标、近似位置和分配信息，环境分配指标物300的图像坐标和近似分配信息，校准工具50的近似位置和姿势等。单元4070计算环境分配指标物300和摄像装置200的分配信息。按照需要，单元4070向外输出计算出的摄像装置200和环境分配指标物300的分配信息。

图7是由信息处理设备4000执行的、计算每个摄像装置200在基准坐标系上的位置和姿势以及环境分配指标物300在基准坐标系上的位置的处理的流程图。注意，图7中相同的附图标记表示与图2中相同的步骤，且将不对其进行说明。即，因为已经在第一实施例中说明了步骤S20101～S2040中的处理，所以将避免其重复说明。

在步骤S5000中，工具近似位置和姿势计算单元4045和指标物近似位置计算单元4055分别计算校准工具50的近似位置和姿势、环境分配指标物300的近似分配信息、以及指标物110的近似位置。

图8时示出步骤S5000中处理的细节的流程图。

指标物近似位置计算单元4055在步骤S5010中检查在步骤S2030中提取的环境分配指标物300是否包括基准指标物或近似分配信息已经被计算出的指标物。如果环境分配指标物300包括这些指标物，则处理跳到步骤S5020；否则，处理前进到步骤S5015。

在步骤S5015中，指标物近似位置计算单元4055选择在步骤S2030中提取的正方形指标物150a～150c中的一个，并使用由所选择的指标物的顶点指定的环境分配指标物300来设定新的局部坐标系。例如，单元4055定义通过将一个顶点定义为原点、并将位于原点右邻位置(反时钟方向)的顶点的坐标设为(1，0，0)，并将位于原点的左邻位置(顺时钟方向)的顶点的坐标设为(0，0，1)所呈现的坐标系。当所选择的正方形指标物150a～150c中的一个的大小(一边长度)未知时，定义的局部坐标系的比例大小是不确定的。当正方形指标物150a～150c的每一个的大小已知时，可以基于该大小设定局部坐标系的比例大小。例如，如果已知正方形指标物150a～150c的一边的长度是100mm，则可以通过将右邻顶点的坐标设定为(100，0，0)，并将左邻顶点的坐标设定为(0，0，100)来定义局部坐标系。

在步骤S5020中，工具近似位置和姿势计算单元4045像在第一实施例的步骤S2050中一样计算校准工具50在时刻α的近似位置和姿势。在本实施例中，基于所提取的环境分配指标物300所属于的坐标系来确定校准工具50的近似位置和姿势所属于的坐标系。注意，“属于给定坐标系”意思是已经获得了关于该坐标系的信息。即，当在局部坐标系上获得了环境分配指标物300的分配信息时，校准工具50在时刻α的近似位置和姿势的估计值是关于局部坐标的估计值。当在同一时刻拍摄到属于不同坐标系(基准坐标系和局部坐标系)的环境分配指标物300时，计算校准工具50在各坐标系上的近似位置和姿势。

在步骤S5030中，指标物近似位置计算单元4055检查在步骤S2030中提取的环境分配指标物300是否包括属于不同坐标系的指标物。如果环境分配指标物300包括属于不同坐标系的指标物，则处理前进到步骤S5035；否则，处理跳到步骤S5040。

在步骤S5035中，指标物近似位置计算单元4055结合多个检测到的坐标系。如果所检测到的坐标系包括基准坐标系，则单元4055将其他坐标系(局部坐标系)变换为基准坐标系。如果所检测到的坐标系不包括基准坐标系，则单元4055选择一个局部坐标系，且将其它局部坐标系变换为所选择的局部坐标系。基于在步骤S5020中计算出的校准工具50在各坐标系上的近似位置和姿势，可以简单地计算出从一个坐标系到其它坐标系的变换矩阵。在获得变换矩阵之后，单元4055变换属于要变换到所选择坐标系的坐标系的全部信息(包括在其它时刻获得的信息：环境分配指标物300的近似分配信息，校准工具50的近似位置和姿势，以及指标物110的近似位置信息)。单元4055丢弃与被结合的坐标系相关的全部信息。当一个坐标系的比例大小未知时，需要用于统一比例大小的信息。例如，当校准工具50位于不同位置时，如果获得了校准工具50在各坐标系上的近似位置和姿势，则可以基于校准工具50在各坐标系上的位置关系来统一比例大小。

在步骤S5040中指标物近似位置计算单元4055检查在步骤S2030中提取的环境分配指标物300是否包括分配信息未知的环境分配指标物。如果环境分配指标物300包括那些指标物，则处理前进到步骤S5050；否则，处理跳到步骤S5060。

在步骤S5050中，指标物近似位置计算单元4055估计分配信息未知的环境分配指标物300的近似分配信息。如果所检测到的环境分配指标物300由大小已知的正方形指标物定义，则单元4055用平面单应性计算来计算指标物在照相机坐标系上的位置。此外，单元4055基于在步骤S5020中计算的校准工具50的近似位置和姿势来估计指标物(在基准坐标系或局部坐标系上)的近似分配信息。另一方面，如果正方形指标物的大小未知，则单元4055使用在多个时刻获取的数据(校准工具50的近似位置和姿势以及检测到的指标物的坐标)，利用立体(stereoscopic)方法来估计指标物的近似分配信息。

在步骤S5060中，像在第一实施例的步骤S2060中一样，指标物近似位置计算单元4055估计在步骤S2040中提取的指标物110在时刻α的近似位置。在本实施例中，然而，当获得了校准工具50在局部坐标系上的近似位置和姿势时，指标物110的近似位置时在局部坐标系上的近似位置。

利用上述步骤S2010～S5060中的处理，可以获得指标物110在给定时刻α的在各摄像装置200的拍摄的图像上的图像坐标与在基准坐标系或局部坐标系上的3D坐标的集合。此外，可以获得环境分配指标物300在给定时刻α的在由摄像装置100拍摄到的实际空间图像上的图像坐标与在基准坐标系或局部坐标系上的3D坐标的集合。

在步骤S5070中，分配信息计算单元4070检查存储在指标物管理单元4050中的数据是否足够计算摄像装置200的分配信息和环境分配指标物300的分配信息。如果判断为当前所获取的数据充足，则处理前进到步骤S5080。另一方面，如果判断为所获取的数据不充足，则处理返回到步骤S2010来再次执行步骤S2010～S5000中的处理。因为该检查处理可以基于与第一实施例的步骤S2070中相同的标准实行，所以将不给出其详细说明。

通过在将基准工具50移动到不同位置和姿势的同时重复步骤S2010～S5000中的处理，可以如在第一实施例中一样获得指标物110位于多个坐标的状态下的数据。

在步骤S5080中，分配信息计算单元4070执行与第一实施例的步骤S2080中相同的处理。即，分配信息计算单元4070使用指标物110在由各摄像装置200拍摄到的实际空间图像上的图像坐标与其3D坐标(近似位置)的集合，来计算这些摄像装置200的近似分配信息。在本实施例中，当检测到需要数目或更多数目的属于基准坐标系的指标物110时，单元4070计算摄像装置200在基准坐标系上的近似分配信息。另一方面，当检测到需要数目或更多数目的属于局部坐标系的指标物110时，单元4070计算摄像装置200在局部坐标系上的近似分配信息。当一个摄像装置200既检测出属于确定坐标系的指标物110，又检测出属于另一个坐标系的指标物110时，单元4070计算该摄像装置200在各坐标系上的近似位置和姿势。注意，步骤S5080中坐标系的结合(从局部坐标系到基准坐标系的变换)是使用摄像装置200在以这种方式获得的多个坐标系上的近似分配信息实现的。

在步骤S5085中，分配信息计算单元4070将在局部坐标系上获得的各种信息变换为基准坐标系上的信息。如果在至今已执行的处理中没有设定局部坐标系，则跳过该步骤中的处理。使用在步骤S5080中计算的摄像装置200在多个坐标系上的近似分配信息(摄像装置200在各坐标系上的位置和姿势)，单元4070计算从一个坐标系到其它坐标系的变换矩阵。当多个坐标系包括基准坐标系时，单元4070计算用于将其它坐标系(局部坐标系)变换为基准坐标系的变换矩阵。当多个坐标系不包括基准坐标系时，单元4070选择一个局部坐标系，并计算用于将其它局部坐标系变换为所选择的局部坐标系的变换矩阵。在获得变换矩阵之后，单元4070变换属于要被结合到所选择的坐标系的坐标系的全部信息(摄像装置200的近似分配信息、环境分配指标物300的近似分配信息、校准工具50的近似位置和姿势、以及指标物110的近似位置信息)。当一个坐标系的比例大小未知时，需要用于统一比例大小的信息。例如，当多个摄像装置200在各坐标系上的近似分配信息被与这些摄像装置200相关地获得时，可以基于摄像装置200在各坐标系上的位置关系来统一比例大小。

在步骤S5090中，分配信息计算单元4070通过作为整体利用所获取数据的一致性来更精确地计算环境分配指标物300的分配信息和摄像装置200的分配信息。利用该处理，作为变量(未知参数)，使ψ_α成为校准工具50在每个时刻α的位置和姿势，使s_j成为各摄像装置200的分配信息，并使a_wi成为基准指标物之外的环境分配指标物300的近似分配信息。注意，i(i＝1，2，...，N₃)是每个基准指标物之外的环境分配指标物300的标识符，且N₃代表这种指标物的数目。因为直到步骤S5085，已经计算出各近似值，所以将它们用作初始值。然后，单元4070最优化这些参数，以使关于各指标物(指标物110和环境分配指标物300)的投影误差的残差的和最小。稍后将说明步骤S5090中的处理的细节。

在步骤S5100中，分配信息计算单元4070输出环境分配指标物300在基准坐标系上的分配信息和摄像装置200在基准坐标系上的分配信息。

图9是示出步骤S5090中的处理的细节的流程图。

在下面的说明中，用(N₁+N₂)×6+N₃×3维状态向量t＝[s^T，ψ^T，a^T]^T来表达由步骤S5090中的处理最优化的未知参数。注意，s和ψ与第一实施例中的s和ψ相同，且a＝[a_w1 ^T，...，a_wN3 ^T]^T。此外，t0、s_j0和ψ_α0像第一实施例中一样代表各参数在当前定时的估计值。同样地，使a_wi0成为具有标识符i的环境分配指标物300的分配信息在当前定时的估计值。

在步骤S6010中，如在第一实施例的步骤S3010中一样，分配信息计算单元4070基于方程(6)估计全部检测到的指标物110的投影坐标。

在步骤S6020中，如在第一实施例的步骤S3020中一样，分配信息计算单元4070基于方程(7)估计全部检测到的环境分配指标物300的投影坐标。在本实施例中，指标物近似位置计算单元4055计算(具有给定分配信息的)基准指标物之外的环境分配指标物300的分配信息的近似值，并将它们保持在指标物管理单元4050中。

在步骤S6030中，如在第一实施例的步骤S3030中一样，分配信息计算单元4070使用方程(8)计算指标物110的投影误差Δu_jα。

在步骤S6040中，如在第一实施例的步骤S3040中一样，分配信息计算单元4070使用方程(9)计算环境分配指标物300的投影误差Δv_iα。

在步骤S6050中，分配信息计算单元4070校正状态向量t，以使在步骤S6030和S6040中计算出的投影误差最小。

首先将说明计算校正值所需的联立方程(稍后说明的方程(31))的导出。

像在第一实施例中一样，指标物110的投影误差Δu_jα可以由上面的作为s_j和ψ_α的函数的方程(10)来表达。另一方面，在本实施例中，每个环境分配指标物300的投影误差Δv_iα可以被重写为ψ_α和a_wi的函数：

Δv_iα＝E₂(ψ_α，a_wi)    (25)

如在第一实施例的方程(11)中一样，在环境分配指标物300中，每个基准指标物的投影误差Δv_i′α被表达为ψ_α的函数：

Δv_i′α＝E_2i′(ψ_α)    (26)

在下面的说明中，使ξ′成为被指派给″在全部时刻摄像装置100对每个单独的基准指标物进行的观察″的序号。使N_5′成为在由摄像装置100拍摄到的全部图像上检测到的基准指标物的总数(总数目)(即，ξ′＝1，...，N_5′)。在下面的说明中，第ξ′个点的投影误差由Δ^ξ′＝-Δv_i′α来表达。

投影误差Δu_jα、Δv_iα和Δv_i′α理论上为0，但是因为它们包括误差，所以实际不为0。因此，与在第一实施例中一样，基于非线性最小二乘法来估计状态向量t，以使全部观察数据的投影误差的和最小，即，以使由下式给出的J、H和H’最小：

$J=\frac{1}{2}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}\underset{\mathrm{\α}\∈A_j}{\mathrm{\Σ}}{E}_{1j}{(s_j,{\mathrm{\ψ}}_{\mathrm{\α}})}^2---\left(27\right)$

$H=\frac{1}{2}\underset{\mathrm{\α}=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{i\∈I_{\mathrm{\α}}}{\mathrm{\Σ}}{E}_2{({\mathrm{\ψ}}_{\mathrm{\α}},{\mathrm{\α}}_{\mathrm{wi}})}^2---\left(28\right)$

$H^{\′}=\frac{1}{2}\underset{\mathrm{\α}=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{i\∈{I^{\′}}_{\mathrm{\α}}}{\mathrm{\Σ}}{E}_{{2i}^{\′}}{\left({\mathrm{\ψ}}_{\mathrm{\α}}\right)}^2---\left(29\right)$

其中，I_α代表由摄像装置100在时刻α观察到的(提取的)基准指标物之外的环境分配指标物300的集合。此外，I′_α代表由摄像装置100在时刻α观察到的(提取的)基准指标物的集合。

计算使J、H和H’最小的状态向量t的方法可以是Gauss-Newton方法、Levenberg-Marquardt方法或其它已知最优化方法。例如，下面将说明使用Gauss-Newton方法的解决方法。

与在第一实施例中一样，使J对s_j和ψ_α的分量的偏导数等于0。此外，使H对ψ_α和a_wi的分量的偏导数等于0。此外，使H’对ψ_α的分量的偏导数等于0。如在第一实施例中一样，通过对状态向量t的各分量进行偏微分E_1j(s_j0，ψ_α0)获得的偏微分系数一般由向量J_n(n＝1，2，...，N₄)表达。此外，通过对状态向量t的各分量进行偏微分E_2i(ψ_α0，a_wi0)获得的偏微分系数一般由向量K_ξ(ξ＝1，2，...，N₅)表达。此外，通过对状态向量t的各分量进行偏微分E_2i′(ψ_α0)获得的偏微分系数一般由向量K′_ξ′(ξ′＝1，2，...，N_5′)表达。因为可以从观察方程容易地得到偏微分系数，所以不对它们的计算方法进行详细说明。例如第一实施例，结合这些结果服从与校正向量Δ相关的联立方程(30)：

其中，Δ＝[Δs₁...Δs_N2，Δψ₁...Δψ_N1，Δa_w1...Δa_wN5]^T，并代表状态向量t的各参数的校正值。通过使用雅可比矩阵J＝[ΔJ₁...ΔJ_N4，ΔK₁...ΔK_N5，ΔK′₁...ΔK′_N5]^T和误差向量E＝[Δu₁...Δu_N4，Δv₁...Δv_N5，Δv′₁...Δv′_N5]^T来结合方程(30)，我们有：

J^TJΔ＝J^TE    (31)

在步骤S6050中，分配信息计算单元4070通过求解上述联立方程来计算校正值Δ。联立方程的求解方法可以使用任何已知的求解方法，如第一实施例中所述。在步骤S6050中，单元4070还使用计算出的校正值Δ，根据方程(21)来校正当前状态向量t₀，并将所获得的向量设定为新的状态向量t。

在步骤S6060中，分配信息计算单元4070使用一些关于误差向量E是否小于预定阈值或校正值Δ是否小于预定阈值的标准来检查计算是否收敛。如果计算收敛，则步骤S5090中的处理结束，并前进到步骤S5100。另一方面，如果计算不收敛，则处理返回到步骤S6010以重复步骤S6010～S6050中的处理。这时，单元4070使用步骤S6050中校正的校正状态向量t作为下一个t₀。

如上所述，根据本实施例，可以一起计算摄像装置200和环境分配指标物300的分配信息。因为摄像装置100只需要拍摄位于实际空间上的环境分配指标物300，所以定义基准坐标系的指标物不需要位于每个摄像装置200的图像拍摄范围内。此外，可以结合将在传统系统中独立执行的用于计算参照物和照相机之间的相对关系的处理、用于变换到基准坐标系的处理、以及用于测量分配在实际空间上的指标物的分配信息的处理，从而可以简化处理。另外，可以消除对要分配在实际空间上的指标物的分配方法的限制。

利用只使用摄像装置100的校准环境分配指标物300的传统方法，全部指标物需要被拍摄到链接在一起。然而，根据本实施例，可以校准不能被拍摄到链接在一起的指标物。此外，因为由每个摄像装置200获得的指标物110的观察信息被用作最优化计算的限制条件(步骤S5090)，所以可以提高要估计的环境分配指标物300的精确度。

变型2-1

在第二实施例中，只有这时已经获得了近似分配信息的环境分配指标物300的信息被用在对校准工具50的近似位置和姿势的计算(步骤S5050)中。此外，只有局部数据被用在对环境分配指标物300的近似分配信息的计算(步骤S5060)中。出于这个原因，不经常能获得足够高的精度。为了解决该问题，在步骤S5090中的处理之前，可以执行使用由摄像装置100拍摄到的全部数据的光束调整作为步骤S5085，以提高环境分配指标物300的分配信息和校准工具50的位置和姿势二者的精确度。在这种情况下，在步骤S5085和S5090之间执行步骤S5070中的处理。

以这种方式改进初始值消除了步骤S5100中的处理的局部求解的可能性，并可以改进重复计算的收敛速度。

变型2-2

在第一和第二实施例中，如图4A和图4B所示，校准工具50具有一个摄像装置100。然而，校准工具50可以具有多个摄像装置100。利用该配置，可以更高效地拍摄到环境分配指标物300。

例如，如图10A中所示，校准工具50可以使用两个摄像装置100来构造。此外，如图10B中所示，校准工具50可以使用多个摄像装置100来构造。此外，如图10C中所示，可以将具有指标物110的视频透视型HMD(头戴型显示，Head Mount Display)400用作校准工具50。在这种情况下，视频透视型HMD 400的内置照相机可以被用作摄像装置100。这时，当戴着视频透视型HMD 400的用户在每个摄像装置200的图像拍摄范围内移动时，可以校准该摄像装置200。图10A～图10C示出校准工具50的结构例子。

当用多个摄像装置100构造校准工具50时，需要预先计算每个单独的摄像装置100在由校准工具50定义的坐标系上的分配信息。此外，需要给出每个摄像装置100的照相机内部参数。

使用多个摄像装置100，可以在步骤S2050或S5050中计算出校准工具50的位置和姿势，只要至少一个摄像装置100拍摄到环境分配指标物300。在步骤S2090或S5100中，除了对从多个摄像装置100获得的数据进行不同处理之外，可以执行与上面的实施例相同的处理。因为增加了要观察的环境分配指标物300的数目，所以可以以更高的精确度实现最优化计算。

在第一和第二实施例中，如图4A中所示，校准工具50具有一个指标物110。然而，校准工具50可以具有多个指标物110。在这种情况下，因为每个摄像装置200在同一时刻观察多个点，所以可以高效地获取数据。例如，图4B示出具有3个指标物110的校准工具50的例子。当使用多个指标物110时，需要对每个单独的指标物110给出校准工具坐标系上的位置x_c。除了对与多个指标物110相关地获得的数据进行不同处理之外，可以执行与上面的实施例相同的处理。

当如图4B中已知多个指标物110相对于校准工具50的分配信息时，可以使用这些信息计算局部坐标系的比例大小。如在用多个摄像装置100构成校准工具50的情况下，可以使用摄像装置之间的相对关系来计算局部坐标系的比例大小。

可以同时使用多个校准工具50。在这种情况下，对每个单独的校准工具50独立地执行一直到步骤S2060～步骤S5070的处理。然后，可以使用全部数据执行包括最优化的后续处理。

如上所述，在校准工具50中使用多个摄像装置100或指标物110，或使用多个校准工具50，在更短的时段内可以拍摄到更大数量的指标物。此外，可以简单地计算比例大小。出于这个原因，可以高效地校准环境分配指标物300和摄像装置200。

变型2-3

在摄像装置100总是拍摄环境分配指标物300的条件下实现了第一和第二实施例。换句话说，当摄像装置100不在给定时刻(定时)拍摄环境分配指标物300时，不使用在该时刻由摄像装置200拍摄到的图像。然而，即使摄像装置100不拍摄环境分配指标物300，由多个摄像装置200同时拍摄到的指标物110的观察数据也可以被用在参数的最优化计算中。

下面简要说明由多个摄像装置200在摄像装置100不拍摄环境分配指标物300的时刻α′拍摄到的指标物110的观察数据的使用方法。下面的说明将以第一实施例为例给出。然而，在第二实施例的情况下，处理可以被相似地扩展。

在步骤S2040中的处理之后，检查摄像装置100是否拍摄环境分配指标物300(是否进行步骤S2050中的处理)。如果确定为否，则跳过步骤S2050和S2060中的处理。这时，如果多个摄像装置200同时拍摄指标物110，则保持图像坐标的集合。

在步骤S2080(步骤S2085)中的处理之后，计算在上面的步骤中保持了图像坐标的、指标物110在各时刻α′在基准坐标系上的近似位置。因为在步骤S2080中获得了各摄像装置200的近似分配信息，所以可以使用三角法则计算指标物110的近似位置。

最后，将步骤S2090中的最优化计算变型为使用上述数据的形式。即，将在各时刻α′的指标物110的位置加到状态向量t，并进行可以实现整体一致性的参数的最优化计算。在步骤S3010中，使用指标物110在基准坐标系上的近似位置和摄像装置200的近似分配信息来计算指标物110的投影坐标。在步骤S3030中，然后计算在计算出的投影坐标和提取出的坐标之间的投影误差。这时，投影误差被计算为每个摄像装置200的分配信息s_j和指标物110的位置的函数。在步骤S3050中，将指标物110在各时刻α′的观察数据加到由方程(19)给定的联立方程。即，将结合指标物110的投影误差和偏微分系数的矩阵加到E和J。然后，通过求解该联立方程，计算出减少各参数的误差的校正值。

变型2-4

在第二实施例中，已知指标物110相对校准工具50的分配信息。然而，可以将指标物110相对校准工具50的分配信息x_c作为未知参数计算。计算方法与第一实施例的变型1-6中的方法相同，其将避免对其重复说明。

变型2-5

第二实施例的前提是用于定义基准坐标系的基准指标物存在。然而，定义基准坐标系的方法不局限于此，且可以使用其它方法定义基准坐标系。例如，当使用大小已知的正方形指标物150a～150c时，如果已知一个摄像装置200在基准坐标系上的分配信息，则可以用该信息定义基准坐标系。当已知两个或多个摄像装置200在基准坐标系上的分配信息时，可以使用这些信息定义基准坐标系。

使用所提取的环境分配指标物300任意地定义局部坐标系，并设定环境分配指标物300的分配信息。上述工具近似位置和姿势计算单元4045基于环境分配指标物300在局部坐标系上的分配信息和它们的图像坐标，来计算校准工具50在局部坐标系上的近似位置和姿势。指标物近似位置计算单元4055使用环境分配指标物300的图像坐标和校准工具50在局部坐标系上的近似位置和姿势，来计算分配信息未知的环境分配指标物300的近似分配信息。此外，单元4055使用指标物110相对校准工具50的分配信息以及校准工具50在局部坐标系上的近似位置和姿势，来计算指标物110在局部坐标系上的位置。因为计算方法与上述方法相同，所以将避免其重复说明。基于指标物110在基准坐标系上的多个位置和指标物110在局部坐标系上的各位置之间的对应关系，计算从局部坐标系到基准坐标系的变换矩阵，从而变换坐标系。以这种方式，可以估计环境分配指标物300在基准坐标系上的近似分配信息。

如上所述，当已知两个或多个固定摄像装置200的分配信息时，可以估计环境分配指标物300在基准坐标系上的近似分配信息。因此，不需要存在基准指标物。

当目标只是多个摄像装置200的相对姿势时，因为不需要定义“基准坐标系”本身，因此不需要基准指标物。当可以使用大小已知的正方形指标物150a～150c时，可以计算摄像装置200的相对分配关系和比例大小。换句话说，当正方形指标物150a～150c的大小未知时，空间的比例大小变得不确定。当目标只是校准摄像装置200时，可以使用分配信息未知的环境分配指标物300来提高校准的精确度，且可以校准不能拍摄指标物以将它们链接到一起的摄像装置200。

变型2-6

在本实施例中，为了将独立的坐标系统一为一个坐标系，需要匹配比例大小。如果环境分配指标物300或多个摄像装置200的分配信息、或构成校准工具50的多个摄像装置100的分配信息或多个指标物110的分配信息中的至少一个可以预先指定比例大小，则可以使用前述方法统一坐标系。即，可以计算环境分配指标物300的分配信息和固定在实际空间上的摄像装置200的分配信息。

变型2-7

在第二实施例中，环境分配指标物300被限制于正方形指标物150a～150c的顶点。然而，环境分配指标物300的类型不局限于此，可以采用任何其它形式，只要它们可以在实际空间图像上检测到，且可以互相区别，例如第一实施例。

当环境分配指标物300的相对关系未知时，不能执行步骤S5020中校准工具50的近似位置和姿势计算处理和步骤S5050中环境分配指标物300的近似分配信息计算处理。在这种情况下，使用在多个视点拍摄到的多个指标物的数据，计算这些信息。该计算可以使用已知的因数分解方法(参见非专利参考11)。即，利用该方法，在移动摄像装置110时拍摄指标物的n个点(n≥3)。然后，使用从m(m≥3)个图像提取的指标物的图像坐标，计算摄像装置100在各视点的位置和姿势以及指标物的n个点的分配信息。此外，可以使用基于图像之间的对应点用对极几何(epipolar geometry)计算每个摄像装置的位置和姿势，并用立体方法计算指标物的分配信息(参见非专利参考10)的方法。

变型2-8

在第二实施例中，基准指标物是定义图3A中所示正方形指标物150a～150c且分配信息和大小已知的环境分配指标物。然而，每个基准指标物的类型不局限于此。例如，如图3C中所示，可以使用点指标物160a～160c这样分别具有不同颜色的圆形指标物。在这种情况下，将点指标物160a～160c中的三个或更多个基准坐标系上的分配信息已知、且不位于同一条线上的点用作基准指标物。

变型2-9

第二实施例的目的是要计算摄像装置200和环境分配指标物300的分配信息。然而，当已知摄像装置200的分配信息时，只可以实现环境分配指标物300的校准。在这种情况下，可以将每个摄像装置200的分配信息s处理为固定值。当目标只是校准环境分配指标物300时，如果使用了各自分配信息未知的摄像装置200，则可以提高校准的精确度，且可以校准不能被拍摄来链接到一起的指标物。

即使当不存在基准指标物时，第二实施例也可以用于估计环境分配指标物300之间的相对分配关系的目的。当然，第二实施例不仅可以被用于校准指标物的目的，而且还可以被用于使用图像序列改善点的3D重构(称为由运动创建图形(ShapeFrom Motion)的技术)的目的。

第三实施例

可以以计算机程序的形式实现形成图1中所示的信息处理设备1000的各单元和形成如图6中所示的信息处理设备4000的各单元。在这种情况下，将计算机程序存储在例如PC(个人计算机)等的计算机的存储器中，且该计算机的CPU等执行该计算机程序。

图11是示出可以应用到信息处理设备1000和4000的计算机的硬件配置的例子的框图。

CPU 1901使用存储在RAM 1902和ROM 1903中的程序和数据控制整个计算机，并执行要由该计算机应用到的信息处理设备1000或4000实现的前述处理。

RAM 1902具有用于临时存储从外部存储装置1906下载的程序和数据以及通过I/F(接口)1907和1908接收到的实际空间图像数据的区域。此外，RAM 1902具有在CPU 1901执行各处理时使用的工作区。即，RAM 1902可以按照需要提供各种区域。

ROM 1903存储设定数据、根程序以及该计算机的数据。

操作单元1904包括键盘、鼠标等。当该计算机的用户操作操作单元1904时，用户可以输入各种指令。使用该操作单元1904输入在前述实施例中说明的用户指令。

显示单元1905包括CRT、液晶显示器等，且可以以图像、字符等的方式显示CPU 1901的处理结果。

外部存储装置1906是由硬盘驱动器代表的大容量信息存储装置。外部存储装置1906保存OS(操作系统)和用于使CPU 1901执行被说明为要由信息处理设备1000或4000实现的处理的各处理的程序和数据。外部存储装置1906还将在上面实施例中说明的各种已知信息作为数据保存。按照需要，在CPU 1901的控制下将外部存储装置1906中保存的程序和数据下载到RAM 1902上，由CPU 1901进行处理。

I/F 1907和1908分别用作将摄像装置100和200连接到该计算机的接口。将由摄像装置100拍摄到的各帧的实际空间图像的数据通过I/F 1907输出到外部存储装置1906或RAM 1902。将由每个摄像装置200拍摄到的各帧的实际空间图像的数据通过I/F1908输出到外部存储装置1906或RAM 1902。

附图标记1909表示连接前述单元的总线。

其它实施例

可以如下实现本发明的目的。即，将记录可以实现上述实施例的功能的软件的程序代码的记录介质(或存储介质)提供给系统或设备。当然，记录介质是计算机可读介质。系统或设备的计算机(CPU或MPU)读出并执行存储在记录介质中的程序代码。在这种情况下，从记录介质读出的程序代码本身实现上述实施例的功能，且记录程序代码的记录介质构成本发明。

当计算机执行读出的程序代码时，运行在计算机上的操作系统(OS)等基于程序代码的指令执行一些或全部实际处理。本发明还包括由该处理实现上述实施例的功能的情况。

此外，假设将从记录介质读出的程序代码写入分别插入到或连接到计算机的功能扩展卡或功能扩展单元的存储器中。之后，基于程序代码的指令，由设置在功能扩展卡或功能扩展单元中的CPU等执行一些或全部实际处理来实现上述实施例的功能。本发明也包括这种情况。

当将本发明应用到记录介质时，该记录介质存储于前述流程图相对应的程序代码。

虽然参考典型实施例说明了本发明，应该理解，本发明不局限于公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包括全部这种变型以及等同的结构和功能。

Claims (10)

1.一种信息处理设备，包括：

第一获取单元，用于在校准工具在第一摄像装置的图像拍摄范围内移动时，获取各自通过使用所述第一摄像装置在多个时刻拍摄所述校准工具而获得的多个第一图像，其中，所述校准工具包括用于拍摄分配了第二指标物的实际空间的第二摄像装置并包括分配在所述第二摄像装置上的第一指标物；

第一提取单元，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在所述多个时刻的图像坐标；

第二获取单元，用于获取由所述第二摄像装置在所述多个时刻拍摄到的多个第二图像，其中，所述多个第二图像中的每一个第二图像均是分配了所述第二指标物的所述实际空间的图像；

第二提取单元，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在所述多个时刻的图像坐标；以及

计算单元，用于通过同时使用由所述第一提取单元和所述第二提取单元分别提取的所述多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第一摄像装置的照相机参数，其中所述第一摄像装置的照相机参数包括所述第一摄像装置的位置和姿势；

其中所述计算单元包括：

工具近似位置和姿势计算单元，用于基于由所述第二提取单元提取出的所述第二指标物的图像坐标以及作为已知信息预先给出的所述第二指标物在实际空间上的位置，来计算所述校准工具的位置和姿势；

指标物近似位置计算单元，用于基于由所述工具近似位置和姿势计算单元计算出的所述校准工具的位置和姿势以及作为已知信息预先给出的所述第一指标物相对于所述校准工具的位置，来计算所述第一指标物在实际空间上的位置；

分配信息计算单元，用于基于由所述指标物近似位置计算单元计算出的所述第一指标物的位置以及由所述第一提取单元提取出的所述第一指标物的图像坐标，来计算所述第一摄像装置的位置和姿势。

2.根据权利要求1所述的信息处理设备，其特征在于，所述第一获取单元和所述第二获取单元同步获取图像。

3.根据权利要求1所述的信息处理设备，其特征在于，所述第一摄像装置的照相机参数包括：作为所述第一摄像装置的外部参数的所述第一摄像装置的位置和姿势，以及作为所述第一摄像装置的内部参数的所述第一摄像装置的焦距、所述第一摄像装置的图像中心坐标、所述第一摄像装置的沿x轴和y轴方向的比例因子和所述第一摄像装置的切变系数中的至少一个。

4.根据权利要求1所述的信息处理设备，其特征在于，所述计算单元用于进一步计算所述第二摄像装置的内部参数，其中所述第二摄像装置的内部参数包括所述第二摄像装置的焦距、所述第二摄像装置的图像中心坐标、所述第二摄像装置的沿x轴和y轴方向的比例因子和所述第二摄像装置的切变系数中的至少一个。

5.根据权利要求1所述的信息处理设备，其特征在于，所述计算单元用于进一步计算至少一个所述第二指标物的位置。

6.根据权利要求1所述的信息处理设备，其特征在于，多个所述第一摄像装置和/或所述第二摄像装置被连接。

7.根据权利要求1所述的信息处理设备，其特征在于，所述计算单元还包括：

用于计算第一误差的单元，所述第一误差是基于要计算的所述第一摄像装置的照相机参数的当前估计值计算出的所述第一指标物的图像坐标与由所述第一提取单元提取的图像坐标之间的误差；

用于计算第二误差的单元，所述第二误差是基于所述第一摄像装置的照相机参数的当前估计值计算出的所述第二指标物的图像坐标与由所述第二提取单元提取的图像坐标之间的误差；以及

用于使用所述第一误差和所述第二误差计算所述第一摄像装置的照相机参数的单元。

8.一种信息处理设备，包括：

第一获取单元，用于在校准工具在第一摄像装置的图像拍摄范围内移动时，获取各自通过使用所述第一摄像装置在多个时刻拍摄所述校准工具而获得的多个第一图像，其中，所述校准工具包括用于拍摄分配了第二指标物的实际空间的第二摄像装置并包括分配在所述第二摄像装置上的第一指标物；

第一提取单元，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在所述多个时刻的图像坐标；

第二获取单元，用于获取由所述第二摄像装置在所述多个时刻拍摄到的多个第二图像，其中，所述多个第二图像中的每一个第二图像均是分配了所述第二指标物的所述实际空间的图像；

第二提取单元，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在所述多个时刻的图像坐标；以及

计算单元，用于通过同时使用由所述第一提取单元和所述第二提取单元分别提取的所述多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第二指标物的位置和所述第一摄像装置的位置和姿势；

其中所述计算单元包括：

工具近似位置和姿势计算单元，用于基于由所述第二提取单元提取出的所述第二指标物的图像坐标以及作为已知信息预先给出的所述第二指标物在实际空间上的位置，来计算所述校准工具的位置和姿势；

指标物近似位置计算单元，用于基于由所述工具近似位置和姿势计算单元计算出的所述校准工具的位置和姿势以及作为已知信息预先给出的所述第一指标物相对于所述校准工具的位置，来计算所述第一指标物在实际空间上的位置；

分配信息计算单元，用于基于由所述指标物近似位置计算单元计算出的所述第一指标物的位置、由所述第一提取单元提取出的所述第一指标物的图像坐标以及由所述第二提取单元提取出的所述第二指标物的图像坐标，来计算所述第二指标物的位置和所述第一摄像装置的位置和姿势。

9.一种信息处理方法，包括：

第一获取步骤，用于在校准工具在第一摄像装置的图像拍摄范围内移动时，获取各自通过使用所述第一摄像装置在多个时刻拍摄所述校准工具获得的多个第一图像，其中，所述校准工具包括用于拍摄分配了第二指标物的实际空间的第二摄像装置并包括分配在所述第二摄像装置上的第一指标物；

第一提取步骤，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在所述多个时刻的图像坐标；

第二获取步骤，用于获取由所述第二摄像装置在所述多个时刻拍摄到的多个第二图像，其中，所述多个第二图像中的每一个第二图像均是分配了所述第二指标物的所述实际空间的图像；

第二提取步骤，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在所述多个时刻的图像坐标；以及

计算步骤，用于通过同时使用在所述第一提取步骤和所述第二提取步骤中分别提取的所述多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第一摄像装置的照相机参数，其中所述第一摄像装置的照相机参数包括所述第一摄像装置的位置和姿势；

其中所述计算步骤包括：

工具近似位置和姿势计算步骤，用于基于由所述第二提取步骤提取出的所述第二指标物的图像坐标以及作为已知信息预先给出的所述第二指标物在实际空间上的位置，来计算所述校准工具的位置和姿势；

指标物近似位置计算步骤，用于基于由所述工具近似位置和姿势计算步骤计算出的所述校准工具的位置和姿势以及作为已知信息预先给出的所述第一指标物相对于所述校准工具的位置，来计算所述第一指标物在实际空间上的位置；

分配信息计算步骤，用于基于由所述指标物近似位置计算步骤计算出的所述第一指标物的位置以及由所述第一提取步骤提取出的所述第一指标物的图像坐标，来计算所述第一摄像装置的位置和姿势。

10.一种信息处理方法，包括：

第一获取步骤，用于在校准工具在第一摄像装置的图像拍摄范围内移动时，获取各自通过使用所述第一摄像装置在多个时刻拍摄所述校准工具而获得的多个第一图像，其中，所述校准工具包括用于拍摄分配了第二指标物的实际空间的第二摄像装置并包括分配在所述第二摄像装置上的第一指标物；

第一提取步骤，用于从所述第一图像中的每一个提取所述第一指标物的图像坐标，以获取所述第一指标物在所述多个时刻的图像坐标；

第二获取步骤，用于获取由所述第二摄像装置在所述多个时刻拍摄到的多个第二图像，其中，所述多个第二图像中的每一个第二图像均是分配了所述第二指标物的所述实际空间的图像；

第二提取步骤，用于从所述第二图像中的每一个提取所述第二指标物的图像坐标，以获取所述第二指标物在所述多个时刻的图像坐标；以及

计算步骤，用于通过同时使用在所述第一提取步骤和所述第二提取步骤中分别提取的所述多个时刻的所述第一指标物和所述第二指标物的图像坐标来计算所述第二指标物的位置和所述第一摄像装置的位置和姿势；

其中所述计算步骤包括：

工具近似位置和姿势计算步骤，用于基于由所述第二提取步骤所提取出的所述第二指标物的图像坐标以及作为已知信息预先给出的所述第二指标物在实际空间上的位置，来计算所述校准工具的位置和姿势；

指标物近似位置计算步骤，用于基于由所述工具近似位置和姿势计算步骤计算出的所述校准工具的位置和姿势以及作为已知信息预先给出的所述第一指标物相对于所述校准工具的位置，来计算所述第一指标物在实际空间上的位置；

分配信息计算步骤，用于基于由所述指标物近似位置计算步骤计算出的所述第一指标物的位置、由所述第一提取步骤提取出的所述第一指标物的图像坐标以及由所述第二提取步骤提取出的所述第二指标物的图像坐标，来计算所述第二指标物的位置和所述第一摄像装置的位置和姿势。

Images