CN101286234A - 信息处理设备和信息处理方法 - Google Patents

Abstract

本发明提供了一种信息处理设备和信息处理方法。方位测量值获取单元(145)获取由安装在摄像设备(120)上的方位传感器(110)所测得的方位测量值和由安装在现实物体(125)上的传感器(115)所测得的方位测量值。图像处理单元(135)获取配置在现实物体(125)上的标志在拍摄图像上的图像坐标。校准单元(160)使用两个方位测量值和图像坐标，来计算传感器(110)相对于摄像设备(120)的配置信息和传感器(115)相对于现实物体(125)的配置信息至少之一。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及安装在摄像设备和现实物体上的方位传感器(orientation sensor)的校准技术。

背景技术

已经大规模地进行关于将文本和CG图片重叠在现实物体上并呈现重叠结果的混合真实感的研究。呈现混合真实感的呈现设备可以实现为这样的设备，该设备将根据摄像设备和现实物体的位置和方位之间的关系而生成的图像重叠并绘制在由摄像机等摄像设备拍摄的现实物体的拍摄图像上。为了实现这样的呈现设备，需要实时测量现实物体相对于摄像设备的位置和方位。

普遍的做法是使用由摄像设备所拍摄的图像来测量现实物体相对于摄像设备的位置和方位。利用该方法，在拍摄图像上检测配置在现实物体上的标记等特征，并基于所检测到的特征来计算现实物体的位置和方位。

已经提出了如下方法：在摄像设备和现实物体上安装方位传感器，并共同使用方位传感器的方位测量值和摄像设备的拍摄图像(参见非专利文献1)。利用该方法，可以比仅使用拍摄图像的情况更稳定地测量现实物体的位置和方位。

在非专利文献1中公开的方法是以摄像设备和现实物体的方位可由方位传感器测量为前提的。然而，从各个方位传感器实际输出的方位测量值表示方位传感器自身的方位，而不是被测物体(摄像设备和现实物体)的方位本身。即，不能将方位传感器的方位测量值原样用作被测物体的方位，而是需要进行某种坐标变换。更具体地，需要进行将方位传感器自身的方位变换成被测物体的方位的坐标变换。该坐标变换可以由以被测物体为参照物的坐标系(以下称作“测量对象物体坐标系”)中方位传感器的方位来定义。以下，在必要时将测量对象物体坐标系中方位传感器的方位称作方位传感器的“配置信息”。以下还将该配置信息称作方位传感器的“局部变换(Local Transform)”。以下将用于获取方位传感器的配置信息的操作和处理称作方位传感器的“校准”。

一种传统的校准方法是试错法(trial-and-error method)，其中，操作者交互地增减表示局部变换的参数。

专利文献1公开了如下方法：使用通过从多个视点拍摄配置在现实空间中的标记所获得的图像，来自动计算安装在摄像设备上的方位传感器的配置信息。利用该方法，能够通过非常简单的操作来校准安装在摄像设备上的方位传感器。

[非专利文献1]Kotake，Satoh，Uchiyama，and Yamamoto：″Hybrid Registration Using Inclination Constraint″，Papers ofMeeting on Image Recognition and Understanding(MIRU2006)，pp.241-248，July 2006

[非专利文献2]K.Satoh，S.Uchiyama，H.Yamamoto，and H.Tamura：″Robust vision-based registration utilizing bird′s-eyeview with user′s view，″Proc.2nd IEEE/ACM Int′l Symp.onMixed and Augmented Reality(ISMAR 2003)，pp.46-55，October 2003

[非专利文献3]A.I.Comport，E.Marchand，and F.Chaumette，″A real-time tracker for markerless augmentedreality，″Proc.2nd IEEE/ACM Int′l Symp.on Mixed andAugmented Reality(ISMAR 2003)，pp.36-45，October 2003

[专利文献1]日本特开2005-326275

在专利文献1中公开的方法不能校准安装在摄像设备以外的任意现实物体(换句话说，没有摄像设备的现实物体)上的方位传感器。因此，在传统系统中，当将方位传感器安装在摄像设备以外的任意现实物体上时，操作者只能通过重复试错处理来调整方位传感器的局部变换。然而，该操作并不容易，并且要求操作者的高度的技巧。

在专利文献1中公开的方法遇到这样的问题：必须通过任意方法来估计并输入用作初始值的参数。

而且，在专利文献1中公开的方法遇到这样的问题：在对配置在现实空间中的标记的3维位置进行定义的世界坐标系上，必须预先输入重力轴的方向。

发明内容

期望解决以上问题中的一个或更多个。还期望提供用于简单并精确地校准安装在摄像设备和现实物体上的方位传感器的技术。

根据本发明的一个方面，一种信息处理设备，包括：

方位测量值获取单元，用于获取由安装在摄像设备上的用于摄像设备的方位传感器测得的方位测量值、以及由安装在由所述摄像设备拍摄的现实物体上的用于现实物体的方位传感器测得的方位测量值；

图像获取单元，用于获取由所述摄像设备拍摄的所述现实物体的图像；

图像坐标获取单元，用于获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

计算单元，用于使用由所述用于摄像设备的方位传感器测得的方位测量值、由所述用于现实物体的方位传感器测得的方位测量值、以及所述图像坐标，来计算所述用于摄像设备的方位传感器相对于所述摄像设备的配置信息、以及所述用于现实物体的方位传感器相对于所述现实物体的配置信息至少之一。

根据本发明的另一方面，一种信息处理设备，包括：

方位测量值获取单元，用于获取由安装在现实物体上的方位传感器测得的方位测量值；

图像获取单元，用于获取由摄像设备拍摄的所述现实物体的图像；

图像坐标获取单元，用于获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

计算单元，用于使用所提供的与所述摄像设备的方位相关的信息、由所述方位传感器测得的方位测量值、以及所述图像坐标，来计算所述方位传感器相对于所述现实物体的配置信息。

根据本发明的另一方面，一种信息处理方法，包括：

获取由安装在摄像设备上的用于摄像设备的方位传感器测得的方位测量值、以及由安装在由所述摄像设备拍摄的现实物体上的用于现实物体的方位传感器测得的方位测量值；

获取由所述摄像设备拍摄的所述现实物体的图像；

获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

使用由所述用于摄像设备的方位传感器测得的方位测量值、由所述用于现实物体的方位传感器测得的方位测量值、以及所述图像坐标，来计算所述用于摄像设备的方位传感器相对于所述摄像设备的配置信息、以及所述用于现实物体的方位传感器相对于所述现实物体的配置信息至少之一。

根据本发明的另一方面，一种信息处理方法，包括：

获取由安装在现实物体上的方位传感器测得的方位测量值；

获取由摄像设备拍摄的所述现实物体的图像；

获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

使用所提供的与所述摄像设备的方位相关的信息、由所述方位传感器测得的方位测量值、以及所述图像坐标，来计算所述方位传感器相对于所述现实物体的配置信息。

通过下面参照附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出具有根据本发明的第一实施例的传感器校准设备的系统的功能结构的框图；

图2是示出可应用于传感器校准设备100或500的计算机的硬件结构的框图；

图3是由传感器校准设备100执行的主处理的流程图；

图4是示出步骤S3060中的处理的详情的流程图；以及

图5是示出具有根据本发明的第二实施例的传感器校准设备的系统的功能结构的框图。

具体实施方式

以下将参照附图来详细说明本发明的优选实施例。注意，这些实施例将作为在权利要求书的范围内记述的本发明的优选结构的例子进行说明，并且本发明不限于以下要说明的实施例。

第一实施例

根据本实施例的信息处理设备同时校准安装在摄像机等摄像设备上的方位传感器(用于摄像设备的方位传感器)和安装在现实物体上的方位传感器(用于现实物体的方位传感器)。因此，以下将根据本实施例的信息处理设备称作传感器校准设备。以下将说明该传感器校准设备以及由该传感器校准设备执行的传感器校准方法。

图1是示出具有根据本实施例的传感器校准设备的系统的功能结构的框图。如图1所示，要校准的方位传感器110和115、以及可以拍摄电影的以摄像机为代表的摄像设备120连接至传感器校准设备100。

传感器校准设备100包括图像获取单元130、图像处理单元135、3维(3D)坐标保持单元140、方位测量值获取单元145、指示单元150、数据管理单元155、校准单元160、位置和方位计算单元170、图像生成单元180和显示单元190。

方位传感器110安装在摄像设备120上，该摄像设备120是要由方位传感器110测量其方位的物体。方位传感器115安装在现实物体125上，该现实物体125是要由方位传感器115测量其方位的物体。根据本实施例的传感器校准设备100的目的是计算方位传感器110相对于摄像设备120的配置信息、以及方位传感器115相对于现实物体125的配置信息。

各方位传感器110和115测量传感器坐标系中自身的方位。方位传感器是基于例如陀螺传感器和加速度传感器的传感器单元。更具体地，方位传感器包括由TOKIMEC株式会社出品的TISS-5-40、由美国InterSense公司出品的InertiaCube3等。由于由这些传感器测得的方位测量值是作为通过对惯性测量值进行时间积分而获得的值而计算出的，因而包含累积误差。然而，这些方位传感器通过利用内部加速度传感器来观测地球的重力方向，具有取消倾斜角方向(螺旋角和滚动角)上的误差的累积的功能。因此，各方位传感器具有在倾斜角方向上不生成累积误差的性质。换句话说，方位传感器在方位角方向(偏航角方向)上具有随着时间的流逝而累积的误差(方位误差)。由于各方位传感器的传感器坐标系是以重力轴为参照物而设置的，因而多个方位传感器的传感器坐标系是除作为绕重力轴的1个自由度的方位成分以外共同定义的。

由方位传感器110测得的、具有3个自由度的方位测量值将被记作3×3旋转矩阵R_WSaτ。同样地，由方位传感器115测得的、具有3个自由度的方位测量值将被记作3×3旋转矩阵R_WSbτ。由方位传感器110和115测得的方位测量值作为数据被输入到方位测量值获取单元145中。

当从数据管理单元155接收到请求时，方位测量值获取单元145将从方位传感器110和115接收到的方位测量值的数据输出到数据管理单元155。当从校准单元160(将在后面说明)接收到由校准单元160计算出的方位传感器110和115的配置信息(局部变换)时，方位测量值获取单元145保持它们。并且，方位测量值获取单元145将方位传感器110和115的方位测量值转换成分别表示摄像设备120和现实物体125的方位的信息，并将转换后的信息输出到位置和方位计算单元170。该转换是通过将方位传感器110和115的方位测量值乘以对应的局部变换来实现的。

注意，摄像设备120的位置和方位是由在摄像设备120上设置的照相机坐标系的位置和方位来定义的。照相机坐标系是以摄像设备120的摄像系统的投影中心为原点且以光轴方向为-Z轴的坐标系，并且X轴和Y轴被定义为与Z轴垂直的独立的轴。现实物体125的位置和方位是由在现实物体125上设置的物体坐标系的位置和方位来定义的。物体坐标系是将现实物体125上的一点定义为原点且将3个正交的轴定义为X、Y和Z轴的坐标系。

摄像设备120拍摄包含现实物体125的现实空间的影像，各拍摄帧的图像(拍摄图像)作为数据被输入到图像获取单元130。在从摄像设备120接收到拍摄图像的数据时，图像获取单元130在必要时存储该数据，然后将该数据输出到图像处理单元135和图像生成单元180。

在现实物体125上，作为要由摄像设备120拍摄的标志，配置有其在物体坐标系中的位置(物体坐标)已给定的多个标志Q_k(k＝1，......，K)。注意，k表示各标志的识别编号，K表示标志的总数。期望将标志Q_k配置为使得摄像设备120在获取用于传感器校准的数据时可以同时观测至少4个标志。在图1的例子中，将4个标志Q₁、Q₂、Q₃和Q₄配置在现实物体125的同一平面上。

标志Q_k由例如作为具有不同颜色的小区域的彩色标记来限定。可选地，标志Q_k由具有不同纹理特征的自然特征等特征点来限定。在本实施例中可使用的标志可以采用任何形式，只要它们在拍摄图像上的投影图像的图像坐标可检测，并且这些标志可相互区分。标志可以故意地(人为地)设置。然而，标志也可以是原本存在于现实物体上的诸如现实物体的角、图案等的特征。可以使用由具有一定面积的单色多边形区域限定的多边形标记。在这种情况下，将多边形的顶点用作标志。

3D坐标保持单元140保持配置在现实空间中的各标志(在图1的情况下，标志Q₁～Q₄)的识别编号和物体坐标的集合。即，在图1的情况下，3D坐标保持单元140保持标志Q₁的识别编号和物体坐标的集合、标志Q₂的识别编号和物体坐标的集合、标志Q₃的识别编号和物体坐标的集合、以及标志Q₄的识别编号和物体坐标的集合，作为数据。当从图像处理单元135接收到识别编号时，3D坐标保持单元140将与所接收到的识别编号一起作为集合而保持的物体坐标返回图像处理单元135。在以下的说明中，将识别编号为k的标志Q_k的物体坐标记作xO^Qk。

当从图像获取单元130接收到拍摄图像时，图像处理单元135检测该拍摄图像中包括的标志，并计算它们的图像坐标。并且，图像处理单元135识别所检测到的标志，并指定这些标志的识别编号。

注意，通过根据要使用的标志的种类的方法来检测标志。例如，当各标志由具有不同颜色的彩色标记限定时，从拍摄图像检测与各标记颜色相对应的区域。然后，将它们的重心位置用作标志的检测坐标。当标志由具有不同纹理特征的特征点限定时，通过使用模板图像的模板匹配来检测标志的位置。在这种情况下，预先保持各标志的模板图像，作为给定信息。当使用矩形标记时，拍摄图像进行二值化处理和贴标处理，以检测各由4条直线限定的贴标区域，作为标记候选。并且，检查各标记候选的矩形区域是否包括特定的图案，从而消除检测误差。而且，基于矩形区域中的图案来获取矩形标记的识别编号。最后，将各矩形区域的4个顶点的坐标输出作为4个标志的位置。

以这种方式，由于用于提取拍摄图像中的标志的识别编号和图像坐标的技术是本领域技术人员所公知的技术，因而省略关于获取图像坐标和识别编号的处理的详细说明。

当指定所检测到的标志的识别编号时，图像处理单元135为了获得所检测得的标志的物体坐标，将所指定的识别编号输出到3D坐标保持单元140。结果，由于3D坐标保持单元140返回与所指定的识别编号一起形成集合的物体坐标，因而图像处理单元135获取这些物体坐标。即，图像处理单元135通过将所检测到的标志的识别编号输出到3D坐标保持单元140，可以从3D坐标保持单元140获取所检测到的标志的物体坐标。以这种方式，图像处理单元135获取从1张拍摄图像中检测到的全部标志的识别编号、图像坐标和物体坐标。

图像处理单元135将所检测到的标志的图像坐标u^Qkjτ和物体坐标xO^Qkj的集合(j＝1，......，j_τ)输出到位置和方位计算单元170。在以下的说明中，将所检测到的各个集合称作对应信息，并将所检测到的全部标志的集合(图像坐标和物体坐标的集合)共同称作标志信息M_τ。因此，标志信息M_τ包括各标志的对应信息。

注意，符号τ是表示图像获取单元130从摄像设备120获取拍摄图像的时间(时刻)的标识符。因此，M_τ表示从图像获取单元130在标识符τ所表示的时间(以下简称为时间τ)处获取的拍摄图像所获得的标志信息。假设时间τ由计时器(未示出)测量，并且构成传感器校准设备100的各单元可以在必要时获取由该计时器测得的时间。当然，可以使用时间以外的任意数据，只要它们可以表示“时刻”。

符号j表示分配给一张拍摄图像中包括的各标志的序列号。该符号j是为了说明方便而使用的。符号J_τ表示由图像处理单元135从图像获取单元130在时间τ处获取的拍摄图像检测到的标志的总数。而且，符号kj表示第j个标志的识别编号。

图像处理单元135还使用标志信息M_τ，来计算现实物体125相对于摄像设备120的位置的估计值t′_COτ和方位的估计值R′_COτ。注意，t′_COτ是表示位置的3D向量。同样地，R′_COτ是表示方位的3×3矩阵。

注意，基于现实物体上的多个点的3D坐标和图像坐标之间的对应来计算现实物体的位置和方位的方法在照相测量和计算机视觉的领域中是广为人知的，因而不再给出其详细说明。注意，现实物体125相对于摄像设备120的位置和方位的计算与位置和方位计算单元170中的处理(将在后面说明)不同，不使用方位传感器110和115的方位测量值。

当从数据管理单元155接收到请求时，图像处理单元135将标志信息M_τ、现实物体125的位置的估计值t′_COτ和方位的估计值R′_COτ输出到数据管理单元155。

当操作者输入“数据获取”命令时，指示单元150将“数据获取”指示发送到数据管理单元155。当操作者输入“配置信息计算”命令时，指示单元150将“配置信息计算”指示发送到校准单元160。操作者通过例如使用键盘按下分配给特定命令的键，来将这些命令输入到指示单元150。然而，命令输入方法不做特别的限制。例如，操作者可以使用显示在显示器上的GUI来输入命令。

当从指示单元150接收到“数据获取”指示时，数据管理单元155获取由图像处理单元135基于图像获取单元130在距指示接收时间最近的时间(时间τ)处获取的拍摄图像而获取的信息群。即，数据管理单元155从图像处理单元135获取标志信息M_τ、现实物体125的位置的估计值t′_COτ和方位的估计值R′_COτ。当从指示单元150接收到“数据获取”指示时，数据管理单元155获取在时间τ处由方位传感器110和115测得的方位测量值的数据。

数据管理单元155将以这种方式获取的信息作为集合附加地登记在由其自身管理的数据列表中。

·在时间τ处由方位测量值获取单元145获取的方位传感器110的方位测量值R_WSaτ

·在时间τ处由方位测量值获取单元145获取的方位传感器115的方位测量值R_WSbτ

·基于在时间τ处由图像获取单元130获取的拍摄图像而计算出的现实物体125的位置的估计值t′_COτ和方位的估计值R′_COτ

·基于在时间τ处由图像获取单元130获取的拍摄图像而计算出的标志信息M_τ

·第1个标志的图像坐标u^Qk1τ和物体坐标xO^Qk1的集合

·第2个标志的图像坐标u^Qk2τ和物体坐标xO^Qk2的集合

·......

当从校准单元160接收到请求时，数据管理单元155将该数据列表输出到校准单元160。

当从指示单元150接收到“配置信息计算”指示时，校准单元160向数据管理单元155发出数据列表的获取请求。然后，校准单元160获取响应于该获取请求而从数据管理单元155输出的数据列表。校准单元160使用所获取的数据列表来执行数值计算处理(将在后面说明)，从而计算方位传感器110的配置信息(即局部变换)和方位传感器115的配置信息。所计算出的配置信息作为数据被输出到方位测量值获取单元145，并保持在该单元145中，并在必要时输出到外部。

已经说明了用于同时校准配置在摄像设备120上的方位传感器110和配置在现实物体125上的方位传感器115的组件。下面要说明的组件用于呈现混合真实感，从而确认由前述结构获得的结果。

位置和方位计算单元170通过在非专利文献1中记述的方法，计算现实物体125相对于摄像设备120的位置和方位。

即，如上所述，每当从摄像设备120输入1帧的拍摄图像时，图像处理单元135基于该拍摄图像，获取标志信息M_τ，并将所获取的标志信息M_τ输出到位置和方位计算单元170。因此，位置和方位计算单元170接收该标志信息M_τ。

位置和方位计算单元170获取由方位测量值获取单元145在距时间τ最近的时间(可近似地当作时间τ)处作为摄像设备120的方位和现实物体125的方位而获取的值。

注意，以如下的方式计算“距时间τ最近的时间处的摄像设备120的方位”。即，如上所述，使用由方位测量值获取单元145在距时间τ最近的时间处保持的方位传感器110的配置信息，基于方位测量值获取单元145在该时间处获取的方位传感器110的方位测量值，来计算该方位。而且，以如下的方式计算“距时间τ最近的时间处的现实物体125的方位”。即，如上所述，使用由方位测量值获取单元145在距时间τ最近的时间处保持的方位传感器115的配置信息，基于由方位测量值获取单元145在该时间处获取的方位传感器115的方位测量值，来计算该方位。

然后，位置和方位计算单元170基于标志信息M_τ、摄像设备120的方位和现实物体125的方位，使用在非专利文献1中公开的技术，来计算现实物体125相对于摄像设备120的位置和方位。由于该情况下的计算是基于所给定的局部变换精确的假定而进行的，因而所计算出的位置和方位反映出局部变换的精确度。

图像生成单元180从图像获取单元130获取拍摄图像。图像生成单元180还从位置和方位计算单元170获取现实物体125相对于摄像设备120的位置和方位，并通过将基于所获取的位置和方位所绘制的虚拟物体的图像重叠在拍摄图像上，生成呈现混合真实感的图像(重叠图像)。然后，图像生成单元180将所生成的图像输出到显示单元190。

显示单元190从图像生成单元180获取呈现混合真实感的图像，并显示该图像，以向操作者呈现混合真实感。操作者凭视觉观测该显示图像，并可以基于所呈现的混合真实感中现实空间和虚拟空间之间的位置对准的精确度，来判断校准结果的精确度。注意，显示单元190可以与摄像设备120集成。在这种情况下，摄像设备120和显示单元190形成所谓的头部安装型显示器(HMD：Head Mounted Display)。

下面，将参照示出由传感器校准设备100执行的主要处理的流程图的图3来对该处理进行说明。在执行根据图3所示的流程图的处理时，操作者在多样地变化摄像设备120和现实物体125的方位的同时，多次输入“数据获取”命令。此后，操作者输入“配置信息计算”命令。在以下的说明中，将符号τ用作“数据获取”命令的输入时间。在不同的时间τ处，摄像设备120和现实物体125分别具有不同的方位。

指示单元150在步骤S3010中判断操作者是否输入了“数据获取”命令。如果操作者输入了“数据获取”命令，则指示单元150将“数据获取”指示发送到数据管理单元155，并且处理前进至步骤S3020。另一方面，如果操作者还未输入“数据获取”命令，则处理转至步骤S3050。

在步骤S3020中，数据管理单元155从图像处理单元135获取由图像处理单元135基于在时间τ处由图像获取单元130获取的拍摄图像而获取的图像处理结果。即，如上所述，该图像处理结果包括标志信息M_τ、现实物体125的位置的估计值t′_COτ和方位的估计值R′_COτ。

在步骤S3030中，数据管理单元155从方位测量值获取单元145获取在时间τ处由方位传感器110和115测得的方位测量值R_WSaτ和R_WSbτ。

在步骤S3040中，数据管理单元155将通过组合在步骤S3020和S3030中获取的信息群而获得的集合[R_WSaτ，R_WSbτ，t′_COτ，R′_COτ，M_τ]附加地登记在数据列表L中。

利用上述从步骤S3010到S3040的处理，将响应于单次“数据获取”指示而获取的集合登记在数据列表L中。通过多次重复从步骤S3010到S3040的处理，可将多个集合登记在数据列表L中。此时，时间τ(τ＝1，......，T)可被解释为在数据列表L中登记的各集合的标识符。注意，T表示数据列表L中包括的不同集合(不同的时间和不同的方位)的数量。

指示单元150在步骤S3050中判断操作者是否输入了“配置信息计算”命令。如果操作者输入了“配置信息计算”命令，则指示单元150将“配置信息计算”指示发送到校准单元160，并且处理前进至步骤S3060。另一方面，如果操作者还未输入“配置信息计算”命令，则处理转至步骤S3080。

在步骤S3060中，校准单元160从数据管理单元155获取数据列表L，并使用所获取的数据列表L来执行用于计算方位传感器110和115的各自的配置信息的处理。后面将参照图4的流程图来说明该处理的详情。

在步骤S3070中，校准单元160将在步骤S3060中计算出的方位传感器110和115的各自的配置信息输出到方位测量值获取单元145。而且，该单元160在必要时将这些配置信息输出到传感器校准设备100外部的装置。

在步骤S3080中，位置和方位计算单元170从图像处理单元135获取由图像处理单元135基于在时间τ处由图像获取单元130获取的拍摄图像而获取的标志信息M_τ。

在步骤S3090中，位置和方位计算单元170获取由方位测量值获取单元145作为时间τ处的摄像设备120和现实物体125的方位而计算出的值。所获取的这些方位表示通过基于由方位测量值获取单元145保持的方位传感器的局部变换，执行方位测量值的坐标变换而获得的那些方位。因此，如果准确地进行步骤S3060中的配置信息计算处理，则在本步骤中获得的方位准确地表示摄像设备120和现实物体125的方位(不可避免地包含传感器的测量误差)。

在步骤S3100中，位置和方位计算单元170基于在步骤S3080中获取的标志信息M_τ、以及在步骤S3090中获取的摄像设备120和现实物体125的方位，来计算现实物体125相对于摄像设备120的位置和方位。由于该计算处理可以通过在例如非专利文献1中公开的公知方法来实现，因而省略其详细的说明。位置和方位计算单元170将计算出的位置和方位的数据输出到图像生成单元180。而且，该单元170在必要时将计算出的位置和方位的数据输出到外部。

在步骤S3110中，图像生成单元180生成呈现混合真实感的图像，并将所生成的图像输出到显示单元190。通过以下处理生成呈现混合真实感的图像。图像生成单元180从位置和方位计算单元170获取现实物体125相对于摄像设备120的位置和方位。并且，该单元180从图像获取单元130获取由图像获取单元130在时间τ处获取的拍摄图像。然后，该单元180将基于现实物体125相对于摄像设备120的位置和方位而绘制的虚拟物体的图像重叠在该拍摄图像上。作为虚拟物体，例如，可以显示表示物体坐标系的3个轴的箭头，作为不依赖于现实物体125的种类的信息。可选地，可使用线框来显示X＝0平面、Y＝0平面、Z＝0平面等。或者可以预先保持现实物体125的线框模型，并可将其重叠在现实物体125上。可以显示任何虚拟物体，只要它们具有允许操作者确认是否准确地计算出现实物体125的位置和方位的内容。

在步骤S3120中，显示单元190从图像生成单元180获取呈现混合真实感的图像，并显示该图像，以向操作者呈现混合真实感。

最后，指示单元150在步骤S3130中判断处理是否结束。如果操作者通过指示单元150输入了处理的结束指示，则处理结束。如果操作者还未输入结束指示，则处理返回步骤S3010。

下面参照图4所示的流程图来说明步骤S3060中的配置信息计算处理的详情。图4是示出步骤S3060中的处理的详情的流程图。

校准单元160将方位传感器的要计算的配置信息，即局部变换作为3值向量ω＝[ξ，ψ，ζ]^T进行处理。可以使用各种使用3值来表示方位的方法。在本实施例中，假设方位由这样的3值向量来表示，其中，向量的大小定义旋转角度，并且向量的方向定义旋转轴方向。在以下的说明中，在必要时使用3×3旋转矩阵R(ω)来描述各局部变换。旋转矩阵与3值向量之间的变换可容易地使用公知的变换公式来实现。在以下的说明中，将方位传感器110的配置信息记作ω_SC＝[ξ_SC，ψ_SC，ζ_SC]^T(未知)，并将方位传感器115的配置信息记作ω_SO＝[ξ_SO，ψ_SO，ζ_SO]^T(未知)。

校准单元160在计算局部变换的过程中，估计在数据列表L中登记的各时间τ处的现实物体125的位置t_COτ＝[x_COτ，y_COτ，z_COτ]^T(未知)。而且，该单元160估计各时间τ处的相对方位误差的校正值φ_τ(未知)。相对方位误差表示方位传感器110的方位测量值中包括的方位误差和方位传感器115的方位测量值中包括的方位误差之间的相对值。注意，相对方位误差还包括各方位传感器的传感器坐标系的方位分量之间的差异。

在以下的说明中，使用(6+4T)维的状态向量s＝[ω_SC，ω_SO，t_CO1，φ₁，...，t_COτ，φ_τ，...，t_COT，φ_T]^T来描述要计算的这些未知参数。在以下的计算中，通过使用保持在数据列表L中的多个时间处的标志的信息和方位测量值，进行迭代计算，来优化状态向量s的值。更具体地，更新s的值，从而将所检测到的各标志的图像坐标的实测值和假设某状态向量s为整体的各标志的图像坐标的理论值之间的误差最小化。

在步骤S4010中，校准单元160从数据管理单元155获取数据列表L。

在步骤S4020中，校准单元160将合适的初始值赋予状态向量s。单元160将数据列表L中的对应时间τ处的现实物体125的位置估计值t′_COτ设置为各τ处的t_COτ的初始值。单元160将还未从通过等分周界方向而获得的那些值中选择的值设置为全部φ_τ共同的初始值。例如，当将周界方向分割成6等份时，单元160设置0°、60°、120°、180°、240°和300°中的一个。单元160将还未从预先准备的一些候选中作为与φ_τ的初始值的组合而选择的方位设置为ω_SC的初始值。并且，单元160将使用上述设置的φ_τ和ω_SC的初始值通过下式计算出的方位设置为ω_SO的初始值：

R(ω_SO)＝(R_WSaτ ^-1·ΔR(φ_τ)·R_WSbτ)^-1·R(ω_SC)·R′_COτ......(1)

其中，R_WSaτ、R_WSbτ和R′CO_τ分别表示由从数据列表L选择的(某时间τ处的)任一集合获得的值。而且，ΔR(φ_τ)表示在方位角方向上的旋转(相位方位误差的校正)加上φ_τ的3×3旋转矩阵，并由下式来定义：

$\mathrm{\ΔR}\left(\mathrm{\φ}\right)=\left[\begin{array}{ccc}\cos \mathrm{\φ}& 0& \sin \mathrm{\φ}\\ 0& 1& 0\\ -\sin & 0& \cos \mathrm{\φ}\end{array}\right]......\left(2\right)$

另一方面，R(ω)是由ω确定的旋转矩阵，并由下式来定义：

$R\left(\mathrm{\ω}\right)=\left[\begin{array}{ccc}\frac{{\mathrm{\ξ}}^2}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& \frac{\mathrm{\ξ\ψ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})-\frac{\mathrm{\ζ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{\mathrm{\ξ\ζ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\frac{\mathrm{\ψ}}{\mathrm{\θ}}\sin \mathrm{\θ}\\ \frac{\mathrm{\ψ\ξ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\frac{\mathrm{\ζ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{{\mathrm{\ψ}}^2}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}& \frac{\mathrm{\ψ\ζ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})-\frac{\mathrm{\ξ}}{\mathrm{\θ}}\sin \mathrm{\θ}\\ \frac{\mathrm{\ζ\ξ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})-\frac{\mathrm{\ψ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{\mathrm{\ζ\ψ}}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\frac{\mathrm{\ξ}}{\mathrm{\θ}}\sin \mathrm{\θ}& \frac{{\mathrm{\ζ}}^2}{{\mathrm{\θ}}^2}(1-\cos \mathrm{\θ})+\cos \mathrm{\θ}\end{array}\right]......\left(3\right)$

其中，θ由下式来定义：

$\mathrm{\θ}=\sqrt{{\mathrm{\ξ}}^2+{\mathrm{\ψ}}^2+{\mathrm{\ζ}}^2}......\left(4\right)$

在步骤S4030中，校准单元160与数据列表L中登记的各对应信息相关联地计算标志的图像坐标的理论值。标志的图像坐标的理论值是指当对现实物体125相对于摄像设备120的位置和方位给予假说时在拍摄图像中应该观测到标志的坐标。在以下的说明中，将与标志的物体坐标xO_i和图像坐标(实测值)u_i的集合相关联的图像坐标的理论值记作u_i′。注意，符号i(i＝1，......，I)是分配给数据列表L中的标志的各对应信息的序列号，且I表示标志的对应信息的总数。即，有关系式I＝∑_τJ_τ。

通过下式基于以状态向量s为变量的观测方程式F_τi()，来计算理论值u_i′：

u_i′＝F_τi，x_Oi)......(5)

其中，τi表示第i个对应信息所属的集合的时间。观测方程式F_τi()包括从物体坐标xO_i到照相机坐标x_Ci的变换和从照相机坐标x_Ci到图像坐标u_i′的变换。前者是模型视图变换，并通过下式使用作为状态向量s的元素的ω_SC、ω_SO、t_COτi和φ_τi来定义：

x_Ci＝[x_Ci  y_Ci  z_Ci]^T

   ＝R_COτi·x_Oi+t_COτi                                    ......(6)

   ＝(R_WSaτi·R(ω_SC))^-1·ΔR(φ_τi)·R_WSbτi·R(ω_SO)·x_Oi+t_COτi

另一方面，后者是视角变换，并由下式来定义：

${u_i}^{\′}={\left[\begin{array}{cc}-f_x\frac{x_{\mathrm{Ci}}}{z_{\mathrm{Ci}}}& -f_y\frac{y_{\mathrm{Ci}}}{z_{\mathrm{Ci}}}\end{array}\right]}^T......\left(7\right)$

其中，f_x和f_y分别是x轴和y轴方向上的摄像设备120的焦距，并作为给定值预先保持在校准单元160中。

在步骤S4040中，校准单元160通过下式，针对标志的各个对应信息(即，针对全部“i”)，计算作为实测值而获得的图像坐标u_i和对应的图像坐标的理论值u_i′之间的误差Δu_i：

Δu_i＝u_i-u_i′......(8)

在步骤S4050中，校准单元160针对全部“i”，计算与状态向量s相关联的图像雅可比 $J_i(={\∂u}_i/\∂s).$ 图像雅可比是具有将式(5)给出的观测方程式F_τi()对状态向量s的各元素求偏微分而获得的解作为元素的2行×(6+4T)列的矩阵(雅可比矩阵)。更具体地，单元160首先计算具有将式(7)的右侧对照相机坐标系上的位置向量x_Ci的各元素求偏微分而获得的解作为元素的2行×3列的雅可比矩阵 $J_{u\_\mathrm{xCi}}(={\∂u}_i/\∂x_{\mathrm{Ci}}).$ 然后，单元160计算具有将式(6)的右侧对状态向量s的各元素求偏微分而获得的解作为元素的3行×(6+4T)列的雅可比矩阵 $J_{\mathrm{xCi}\_s}(=\∂x_{\mathrm{Ci}}/\∂s).$ 此后，单元160通过下式来计算各图像雅可比J_i：

J_i＝J_{u_xCi}·J_{xCi_s}......(9)

由于雅可比矩阵J_{u_xCi}的导出方法是公知的，因而省略其说明。例如，在非专利文献2等中公开了该导出方法。另一方面，以如下方式计算J_{xCi_s}。为了说明以下的计算，将表示模型视图变换的式(6)分解成下列4个式子：

$x_{\mathrm{Ci}}=R_{\mathrm{WC\τi}}^{-1}\·x_{\mathrm{Wi}}......\left(10\right)$

R_WCτi＝R_WSaτi·R(ω_SC)......(11)

x_Wi＝R_Woτi·x_Oi+R_WCτit_COτi......(12)

R_WOτi＝ΔR(φ_τi)·R_WSbτi·R(ω_SO)......(13)

根据这些式子，J_{xCi_s}可以如下地分解成与ω_SC和其它元素(等于s′)相关联的两个矩阵：

J_{xCi_s}＝[J_xCiωSC  J_{xCi_xi}·J_xWis′]......(14)

其中，J_{xCi_ωSC}是式(10)对ω_SC的偏导数，并可以从式(10)和(11)通过下式导出：

J_{xCi_ωSC}＝J_{xCi_rWCτ}·J_{rWCτ_rSC}·J_{rSC_ωSC}......(15)

其中，J_{xCi_rWCτ}是式(10)对R_WCτi的各元素的偏导数。J_{rWCτ_rSC}是式(11)对R(ω_SC)的各元素的偏导数。J_{rSC_ωSC}是R(ω_SC)对ω_SC的偏导数。J_{xCi_xWi}是式(10)对X_Wi的偏导数。J_{xWi_s′}是式(12)对s′的偏导数，并可以由下式通过将其分解成s′的各元素来计算：

J_{xWi_s′}＝[J_{xWi_ωSO} J_{xWi_t1} J_{xWI_φ1}…J_{xWi_tT} J_{xWi_φT}]......(16)

其中，J_{xWi_ωSO}是式(12)对ω_SO的偏导数，并可以通过下式从式(12)和(13)导出：

J_{xWi_ωSO}＝J_{xWi_rWOτ}·J_{rWOτ_rSO}·J_{rSO_ωSO}......(17)

其中，J_{xWi_rWOτ}是式(12)对R_WOτi的各元素的偏导数。J_{rWOτ_rSO}是式(13)对R(ω_SO)的各元素的偏导数。J_{rSO_ωSO}是R(ω_SO)对ω_SO的偏导数。J_{xWi_tτ}是式(12)对t_COτi的偏导数，并可以通过下式从式(12)导出：

J_{xWi_tτ}＝R_WCτi(当τ＝τ_i时)......(18)

J_{xWi_tτ}＝0(当τ≠τ_i时)......(19)

另一方面，J_{xWi_φτ}是式(12)对φ_τi的偏导数，并可以通过下式从式(12)和(13)导出：

J_{xWi_φτ}＝J_{xWi_rWOτ}·J_{rWOτ_Δrτ}·J_{Δrt_φτ}(当τ＝τ_i时)......(20)

J_{xWi_φr}＝0(当τ≠τ_i时)......(21)

其中，J_{rWOτ_Δrτ}是式(13)对R(φ_τi)的各元素的偏导数。J_{Δrτ_φτ}是R(φ_τi)对φ_τi的偏导数。

通过依次计算这些雅可比矩阵，可以计算出J_{xCi_s}。由于其余计算可通过一般的偏微分来进行，因而省略其说明。

在步骤S4060中，校准单元160基于在以上步骤中计算出的关于全部“i”的误差Δu_i和雅可比矩阵J_i，计算s的校正值Δs。更具体地，该单元160生成通过使关于全部“i”的误差Δu_i垂直排列而获得的误差向量U、以及通过使关于全部“i”的雅可比矩阵J_i垂直排列而获得的矩阵Φ，并由下式来计算：

Δs＝Φ⁺U......(22)

其中，Φ⁺是Φ的伪逆矩阵，并可以通过例如Φ⁺＝(Φ^TΦ)^-1Φ^T来计算。Φ^T可以通过任何其它方法导出。

注意，通过上述步骤S4060的处理来计算校正值相当于应用作为一种非线性优化法的高斯-牛顿法。除高斯-牛顿法以外，还提出了使用误差向量U和雅可比矩阵Φ的校正值计算方法，并可以使用例如列文伯格-马夸尔特法(Levenberg-Marquardt Method)、最陡下降法等。可以结合排除了超范围值的M估计等鲁棒估计法，并可以使用其它解法。

在步骤S4070中，校准单元160通过下式，使用在步骤S4060中计算出的校正值Δs，来校正状态向量s：

s+Δs→s......(23)

并将计算出的值设置为新的s。

在步骤S4080中，校准单元160利用与步骤S4030中相同的处理，使用更新后的状态向量s，针对标志的各个对应信息，计算图像坐标的理论值。

在步骤S4090中，校准单元160利用与步骤S4040中相同的处理，使用更新后的状态向量s，针对标志的各个对应信息，计算图像坐标的实测值和理论值之间的误差Δu_i。

校准单元160在步骤S4100中使用某些准则来判断是否继续进行迭代处理。如果校准单元160判断为不再需要进行迭代处理，则处理前进至步骤S4110。另一方面，如果校准单元160判断为应该继续进行迭代处理，则校准单元160使用更新后的s再次执行从步骤S4050到步骤S4090的处理。

通过判断该计算收敛或发散来判断是否继续进行迭代处理。如果判断为计算既不收敛也不发散，则继续进行迭代处理。另一方面，如果判断为计算收敛或发散，则迭代处理结束。代替判断收敛或发散，迭代处理可以总是执行预定次数。可以通过检查在步骤S4090中更新的误差向量U的大小来判断收敛或发散。例如，收敛可以使用这样的准则来判断：误差向量U的大小是否小于预定的阈值，或者误差向量U的大小的变化量是否小于预定的阈值。如果两个参数都小于阈值，则判断为处理结束。

同样地，发散可以使用这样的准则来判断：误差向量U的大小是否整体增大，或者误差向量U的大小是否大于预定的阈值。而且，可以基于校正值Δs的大小来进行收敛判断。

由于传统上就是使用迭代计算的结束条件来有限次地进行迭代计算，所以不再给出更多说明。

校准单元160在步骤S4110中判断对在步骤S4020中设置的初始值所做的最优化计算(步骤S4030～S4100)是否成功。更具体地，如果在步骤S4090中更新的误差向量U的大小等于或小于预定的阈值，则单元160判断为最优化计算成功。如果单元160判断为最优化计算失败，则处理返回步骤S4020。单元160将其它候选再次设置为状态变量的初始值，并再次执行后续的最优化计算(步骤S4030～S4100)。如果单元160判断为最优化计算成功，则处理结束。

利用以上处理，可以简单并精确地校准安装在摄像设备120和现实物体125上的方位传感器。而且，可以免去对预先输入初始值和重力轴的方向的需要。

第二实施例

在第一实施例中，方位传感器110安装在摄像设备120上。然而，当仅考虑测量安装在现实物体125上的方位传感器115的配置信息的目的时，方位传感器110不必总安装在摄像设备120上。本实施例将说明当摄像设备120上未安装方位传感器时的系统。

图5是示出具有根据本实施例的传感器校准设备的系统的功能结构。在图5中，与图1相同的附图标记表示与图1所示的组件相同的组件，并避免其重复的说明。图5所示的结构与图1所示的结构的不同点在于以下3点。

·在摄像设备120上未安装方位传感器。

·摄像设备120的方位由三脚架5000固定。

·方位获取单元165新添加到传感器校准设备500。

以下将主要说明这3点。当然，以下要说明的点以外的其它结构都与第一实施例相同。

摄像设备120设置在三脚架5000上。摄像设备120的方位R_WC是预先测得的，并作为数据保持在外部存储器599中。为了测量摄像设备120的方位R_WC，在现实空间中配置世界坐标系中的3D位置已给定的一些标志，并且这些标志由摄像设备120拍摄。然后，检测标志的图像坐标，并基于标志的世界坐标和图像坐标之间的对应关系，来计算世界坐标系中的摄像设备120的方位。注意，可以获得照相机坐标系相对于重力轴(表示与重力轴相反的方向的轴)的倾斜，作为摄像设备120的方位R_WC。即，世界坐标系中的方位可以与任意方向一致，并且Y轴需要与重力轴的相反方向一致。

方位获取单元165读出保持在外部存储器599中的摄像设备120的方位R_WC的数据。通过将第一实施例中的方位传感器110的方位测量值R_Wsaτ替换成方位R_WC，来进行以下处理。而且，在第一实施例中要导出的方位传感器110的配置信息ω_SC可以当作给定的单位矩阵。

后续的处理与第一实施例中的处理相同。作为不同于第一实施例的变化，从状态向量s和雅可比矩阵Ji中排除了与ω_SC相关联的分量。然后，针对该新的s，执行与第一实施例的最优化计算相同的处理。由于给定ω_SC，因而仅基于φ来确定在步骤S4020中要设置的初始值的组合。即，通过选择某一角度作为φ的初始值，通过式(1)来唯一地确定ω_SO的初始值。

注意，摄像设备120不必总是固定的，只要其方位R_WC可由任意手段测得。可以通过例如观测世界坐标系中的标志来持续测量摄像设备120的方位。可选地，可以将磁传感器和光学传感器等传感器安装在摄像设备120上，从而测量摄像设备120的位置和方位。

变形例1

在上述实施例中，使用均表示一个坐标位置的标志(以下称作点标志)。然而，可以使用点标志以外的标志。例如，可以使用由边缘等线特征构成的标志(以下称作线标志)。

以下说明当使用线标志时的处理的概要。即使当使用线标志时，也可以应用这一机制。该机制是：输入多个时间处的标志的信息和各方位测量值，并将标志的投影误差用作准则来优化状态向量s。当使用线标志时，图像处理单元135通过例如在非专利文献3中公开的方法来估计现实物体125的位置和方位。

校准单元160计算当状态向量为s时可以观察到线标志上的一些点(以下称作“分割点”)的图像坐标的理论值。然后，该单元160将直到在这些图像坐标附近实际检测到的边缘(实测值)为止的法线方向的距离定义为分割点的误差。然后，该单元160使用与全部分割点相关联的误差来形成误差向量U。另一方面，该单元160将被定义为状态向量s的函数的误差导出式对s的各元素求偏微分，并形成具有这些解作为元素的1行×(6+4T)列的雅可比矩阵Φ。

然后，校准单元160使用以这种方式获得的误差向量U和雅可比矩阵Φ来执行与上述实施例相同的最优化计算，从而计算配置信息。当然，通过累积从线标志、点标志和其它标志获得的误差和图像雅可比，可以组合使用这些特征。

变形例2

在上述实施例中，在校准单元160的最优化计算中，时间τ处的现实物体125的位置t_COτ是未知的。然而，也可以使保持在数据列表L中的各时间τ处的现实物体125的位置的估计值t′_COτ等于t_COτ，并且可以在最优化计算处理中将t_COτ作为给定值来处理。在这种情况下，作为不同于上述实施例的变化，可以从状态向量s和雅可比矩阵J_i中排除与t_COτ相关联的分量。例如，在第一实施例的情况下，将状态向量s定义为s＝[ω_SC，ω_SO，φ₁，...，φ_τ，...，φ_T]^T。然后，对该s执行与上述实施例中的最优化计算相同的处理。

上述实施例是在这样的假设下实施的：在校准单元160的最优化计算中，各方位传感器的相对方位误差在各时间处不同。然而，可以假设在获取用于校准的数据的短时间段内相对方位误差恒定。例如，在第一实施例的情况下，可以将状态向量s定义为s＝[ω_SC，ω_SO，φ，t_CO1，...，t_COτ，...，t_COT]^T。然后，对该s执行与上述实施例中的最优化计算相同的处理。注意，φ表示不依赖于时间τ的相对方位误差的校正值。

当然，在本变形例中说明的两种假设下，可以进行使用作为未知参数的s＝[ω_SC，ω_SO，φ]^T的最优化计算。

变形例3

在第一实施例中，同时计算方位传感器110的配置信息和方位传感器115的配置信息。然而，当已经校准至少一个方位传感器时，可以给定已校准的方位传感器的配置信息。在这种情况下，只需修改校准单元160的处理(步骤S3060)。

下面将说明这样的情况：方位传感器115已校准，并且仅方位传感器110还未校准。在这种情况下，由于方位传感器115的配置信息ω_SO是给定的，因而作为不同于第一实施例的变化，可以从状态向量s和雅可比矩阵J_i中排除与ω_SO相关联的分量。然后，对该s执行与第一实施例中的最优化计算相同的处理。当ω_SO给定时，在步骤S4020中可以通过下式来计算ω_SC：

R(ω_SC)＝R_WSaτ ^-1·ΔR(φ_τ)R_WSbτ·R(ω_SO)·R′_COτ ^-1......(24)

此时，如果选择某一角度作为φ的初始值，则可以通过式(24)来唯一地确定ω_SC的初始值。

接下来，考察这样的情况：方位传感器110已校准，并且仅方位传感器115还未校准。在这种情况下，由于方位传感器110的配置信息ω_SC是给定的，因而如第二实施例中一样，可以从第一实施例中的状态向量s和雅可比矩阵Ji中排除与ω_SC相关联的分量。

变形例4

在上述实施例中，方位传感器110和115测量3轴的方位。然而，即使当这些方位传感器是仅测量2轴相对于重力轴的倾斜角的传感器(这样的传感器一般称作倾斜传感器)时，也可以通过相同的方法来计算各方位传感器的配置信息。在这种情况下，最优化处理中的参数φ_τ不是表示相对方位误差的校正值，而是表示摄像设备120和现实物体125之间的相对方位角的差。

变形例5

在上述实施例中，通过图像处理来检测和识别标志。然而，依赖于现实物体125的形状或状况，很难制作这样的标志，该标志在物体坐标系上的位置是给定的，并且可以通过图像处理来检测和识别。在这种情况下，可以人工输入各标志的信息。即，操作者在监视器上显示的拍摄图像上，使用鼠标等定点装置来输入标志的图像坐标，而且还可以输入标志的识别编号。如果存在这样的点，则该方法有效，该点在物体坐标系上的位置是给定的，并且其位置可以在图像上凭借视觉来指定。

当通过图像处理仅可以实现标志的检测时，操作者可以人工地单独执行识别处理。可选地，操作者可以人工地校正通过图像处理检测和/或识别的标志的误差。而且，可以组合使用通过图像处理检测和/或识别的标志和通过人工输入检测和/或识别的标志。

第三实施例

在以上的说明中，通过硬件组件来实现构成图1或5所示的传感器校准设备100或500的全部单元。然而，保持数据的组件以外的单元的一部分或全部可以通过软件(计算机程序)来实现。在这种情况下，将这样的软件载入PC(个人计算机)等计算机的存储器上，并且该计算机的CPU执行该软件。结果，该计算机可以执行与图1或5所示的传感器校准设备100或500相同的处理。

图2是示出可应用于传感器校准设备100或500的计算机的硬件结构的框图。

CPU 1001使用存储在RAM 1002和ROM 1003中的程序和数据来控制整个计算机，并执行由应用本计算机的传感器校准设备100或500实施的上述处理。

RAM 1002具有这样的区域，该区域用于暂时存储从外部存储装置1007或存储介质驱动器1008载入的程序和数据、以及通过I/F(接口)1009从外部接收的程序和数据。而且，RAM 1002具有当CPU 1001执行各种处理时使用的工作区。即，RAM 1002可以根据需要提供各种区域。

ROM 1003存储该计算机的设置数据、启动程序等。

键盘1004和鼠标1005是由该计算机的操作者向CPU 1001输入各种指示所用的输入设备的例子。可以使用其它输入设备。例如，操作者使用键盘1004和/或鼠标1005向指示单元150输入命令。

显示单元1006对应于显示单元190，并包括CRT、液晶显示器等。显示单元1006可以利用图像、文字等来显示CPU 1001的处理结果。例如，如上所述，显示单元1006可以显示通过合成拍摄图像和虚拟物体的图像而获得的图像。

外部存储装置1007是以硬盘驱动器为代表的大容量信息存储装置。外部存储装置1007保存OS(操作系统)、以及使CPU1001执行由传感器校准设备100或500实现的各处理的程序和数据。外部存储装置1007还保存在以上实施例中说明的给定信息。

保存在外部存储装置1007中的程序和数据在CPU 1001的控制下，在必要时载入RAM 1002。CPU 1001使用载入的程序和数据来执行处理，从而该计算机执行由传感器校准设备100或500实现的上述处理。

存储介质驱动器1008读出记录在CD-ROM、DVD-ROM等存储介质上的程序和数据，并将读出的程序和数据输出到RAM1002或外部存储装置1007。这种存储介质可以记录在以上说明中保存在外部存储装置1007中的一些信息。存储介质可以用作外部存储器599。

方位传感器110和115以及摄像设备120连接至I/F 1009。I/F1009由以下多个不同端口构成。获取拍摄图像的图像获取单元130的功能的一部分由模拟视频端口或IEEE 1394等数字输入/输出端口来实现。方位测量值获取单元145的功能的一部分由USB端口或RS-232C端口来实现。输入数据通过I/F 1009置入RAM 1002或外部存储装置1007。由校准单元160计算出的各方位传感器的配置信息和由位置和方位计算单元170计算出的物体的位置和方位在必要时通过以太网(Ethernet^TM)端口等(I/F1009的功能的一部分)输出到外部。

附图标记1010表示相互连接上述单元的总线。

注意，可应用于传感器校准设备100或500的计算机的硬件结构不限于图2所示的结构，并且本领域技术人员可以根据需要修改该硬件结构。

其它实施例

本发明的目的可以按照如下的方式来实现。即，将记录了可以实现上述实施例的功能的软件的程序代码的记录介质(或存储介质)提供给系统或设备。当然，该存储介质是计算机可读的存储介质。系统或设备的计算机(或CPU或MPU)读出并执行存储在记录介质中的程序代码。在这种情况下，从记录介质读出的程序代码自身实现上述实施例的功能，并且记录该程序代码的记录介质构成本发明。

当计算机执行读出的程序代码时，在计算机上运行的操作系统(OS)等基于该程序代码的指示来进行实际处理操作的一部分或全部。本发明还包括通过该处理来实现上述实施例的功能的情况。

并且，假设从记录介质读出的程序代码被写入插入或连接至计算机的功能扩展卡或功能扩展单元的存储器中。此后，通过由设置在功能扩展卡或功能扩展单元上的CPU等基于该程序代码的指示执行的实际处理操作的一部分或全部，实现上述实施例的功能。这种情况也包括在本发明中。

当将本发明应用于记录介质时，该记录介质存储有与上述流程图相对应的程序代码。

尽管参照典型实施例说明了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (8)

1.一种信息处理设备，包括：

方位测量值获取单元，用于获取由安装在摄像设备上的用于摄像设备的方位传感器测得的方位测量值、以及由安装在由所述摄像设备拍摄的现实物体上的用于现实物体的方位传感器测得的方位测量值；

图像获取单元，用于获取由所述摄像设备拍摄的所述现实物体的图像；

图像坐标获取单元，用于获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

计算单元，用于使用由所述用于摄像设备的方位传感器测得的方位测量值、由所述用于现实物体的方位传感器测得的方位测量值、以及所述图像坐标，来计算所述用于摄像设备的方位传感器相对于所述摄像设备的配置信息、以及所述用于现实物体的方位传感器相对于所述现实物体的配置信息至少之一。

2.根据权利要求1所述的信息处理设备，其特征在于，每当所述摄像设备和所述现实物体采用多个方位中的不同方位时，所述方位测量值获取单元获取由所述用于摄像设备的方位传感器测得的方位测量值、以及由所述用于现实物体的方位传感器测得的方位测量值，

每当所述摄像设备和所述现实物体采用多个方位中的不同方位时，所述图像获取单元获取由所述摄像设备拍摄的图像，

所述图像坐标获取单元从由所述图像获取单元获取的图像中的每个图像获取所述标志的所述图像坐标，以及

所述计算单元使用每当所述摄像设备和所述现实物体采用多个方位中的不同方位时所获取的由所述用于摄像设备的方位传感器测得的方位测量值、由所述用于现实物体的方位传感器测得的方位测量值、以及从由所述摄像设备拍摄的图像获取的所述标志的所述图像坐标，来计算所述用于摄像设备的方位传感器相对于所述摄像设备的配置信息、以及所述用于现实物体的方位传感器相对于所述现实物体的配置信息至少之一。

3.根据权利要求2所述的信息处理设备，其特征在于，所述计算单元将所述用于摄像设备的方位传感器相对于所述摄像设备的配置信息、以及所述用于现实物体的方位传感器相对于所述现实物体的配置信息中要计算的参数设置为未知参数，并计算所述未知参数，以减小基于所述未知参数所确定的图像上的所述标志的坐标与由所述图像坐标获取单元与所述标志相对应地获取的图像坐标之间的误差。

4.根据权利要求1所述的信息处理设备，其特征在于，还包括：

第一生成单元，用于基于由所述计算单元计算出的所述配置信息，生成虚拟物体的图像；

第二生成单元，用于生成通过将所述虚拟物体的图像重叠在由所述摄像设备拍摄的图像上所获得的重叠图像；以及

显示单元，用于显示所述重叠图像。

5.一种信息处理设备，包括：

方位测量值获取单元，用于获取由安装在现实物体上的方位传感器测得的方位测量值；

图像获取单元，用于获取由摄像设备拍摄的所述现实物体的图像；

图像坐标获取单元，用于获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

计算单元，用于使用所提供的与所述摄像设备的方位相关的信息、由所述方位传感器测得的方位测量值、以及所述图像坐标，来计算所述方位传感器相对于所述现实物体的配置信息。

6.根据权利要求5所述的信息处理设备，其特征在于，还包括：

第一生成单元，用于基于由所述计算单元计算出的所述配置信息，生成虚拟物体的图像；

第二生成单元，用于生成通过将所述虚拟物体的图像重叠在由所述摄像设备拍摄的图像上所获得的重叠图像；以及

显示单元，用于显示所述重叠图像。

7.一种信息处理方法，包括：

获取由安装在摄像设备上的用于摄像设备的方位传感器测得的方位测量值、以及由安装在由所述摄像设备拍摄的现实物体上的用于现实物体的方位传感器测得的方位测量值；

获取由所述摄像设备拍摄的所述现实物体的图像；

获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

使用由所述用于摄像设备的方位传感器测得的方位测量值、由所述用于现实物体的方位传感器测得的方位测量值、以及所述图像坐标，来计算所述用于摄像设备的方位传感器相对于所述摄像设备的配置信息、以及所述用于现实物体的方位传感器相对于所述现实物体的配置信息至少之一。

8.一种信息处理方法，包括：

获取由安装在现实物体上的方位传感器测得的方位测量值；

获取由摄像设备拍摄的所述现实物体的图像；

获取配置在所述现实物体上的标志在所述图像上的图像坐标；以及

使用所提供的与所述摄像设备的方位相关的信息、由所述方位传感器测得的方位测量值、以及所述图像坐标，来计算所述方位传感器相对于所述现实物体的配置信息。

Images