CN101093581A - 基于摄取图像计算关于测量对象的信息的信息处理方法和设备 - Google Patents

Abstract

根据由图像拾取单元摄取的图像序列，自动判定及得到测量关于标记和/或传感器的放置信息所需的图像。为此目的，使用在图像拾取单元摄取获取的图像时关于该图像拾取单元的位置和取向信息，判定是否使用与该位置和取向相对应的摄取图像。使用被判定要使用的摄取图像，得到标记放置信息、关于测量对象的放置信息或者图像拾取单元的位置和取向作为未知参数，以使每个标记的测量图像坐标和理论图像坐标之间的误差最小，所述理论图像坐标是基于参数的大致值评估的。

Description

基于摄取图像计算关于测量对象的信息的信息处理方法和设备

技术领域

[0001]本发明涉及使用存在于真实空间中的标记的摄取图像来计算关于该标记或者测量对象或者图像拾取单元的参数的信息。

背景技术

[0002]人们已经就混合现实(MR)技术进行了广泛的研究，混合现实技术，即，将虚拟空间的信息实时叠加在真实空间上并将叠加的结果显示给用户。用于这种MR系统中的图像显示设备主要通过视频透视(video see-through)方法来实施，所述视频透视方法即根据图像拾取装置(例如摄像机)的位置和取向产生的虚拟空间中的图像叠加在由该图像拾取装置摄取的真实空间中的图像上，从而得到叠加的图像，并且显示该叠加的图像。

[0003]为了使用户能够在没有任何不舒适感的情况下使用MR系统，一个重要因素在于真实空间与虚拟空间配准的精确程度。人们采取了很多措施以实现精确的配准。一般来说，MR应用中的配准问题最终导致获取所述图像拾取装置相对于虚拟信息要叠加在其上的空间或者物体的位置和取向的问题。

[0004]为了解决这个问题，在日本信息处理学会(IPSJ)研讨会的Colletected Papers I of Meeting on Image Recognition andUnderstanding(MIRU 2002)，Sato和Tamura的“Fukugo-genjitsukanni okeru ichiawase shuhou(混合现实中的配准技术的综述)”，vol.2002，no.11，pp.I.61-I.68，2002(本文称为“文献1”)中公开了使用放置或者设置在环境中或者物体上的标记的配准技术。在这些技术中，预先给出每个标记的三维坐标。使用每个标记的预先给定的三维坐标和每个标记在由图像拾取装置摄取的图像内的图像坐标之间的关系，计算该图像拾取装置的位置和取向。

[0005]在日本虚拟现实学会(Virtual Reality Society of Japan)的论文集的Uchiyama和Yamamoto和Tamura的“Fukugo-genjitsukan no tame no harburiddo ichiawase shuhou-6jiyudo sensa to bijnon shuhou no heiyou-(用于合并真实世界和虚拟世界的鲁棒配准方法-结合6个自由度(DOF)传感器和视觉算法)”，vol.8，no.1，pp.119-125，2003(本文称为“文献2”)中，公开了一种利用标记以及磁性或者光学6-DOF位置/取向传感器的混合方法。虽然该6-DOF位置/取向传感器以稳定的方式提供测量值，但是在很多情况下精确度不够。因此，在该方法中，使用关于标记的图像信息对从安装在图像拾取装置上的6-DOF位置/取向传感器中获取的图像拾取装置的位置和取向进行校正，从而提高精确度。

[0006]在日本虚拟现实学会(Virtual Reality Society of Japan)的论文集的Uchiyama和Yamamoto的“UG+B hou：shukan oyobikyakkan shiten kamera to shisei-sensa wo mochiita ichiawase shuhou(UG+B：使用主客观照相机和取向传感器的配准框架)”，vol.10，no.3，pp.391-400，2005(本文称为“文献3”)中，3-DOF取向传感器安装在图像拾取装置上，并且，公开了一种使用关于标记的图像信息和由取向传感器测量的取向值来测量图像拾取装置的位置和取向的方法。

[0007]在使用标记的上述配准方法中，需要预先得到标记在作为配准参考(下文称为“参考坐标系统”)的三维坐标系中的三维信息(下文称为“关于标记的放置信息”或者简称为“标记放置信息”)。可以使用标尺、量角器、公尺等手动地测量关于标记的放置信息。但是，这种手动测量涉及很多步骤，而且精确度差。因此，使用图像信息，以简单的高度精确的方式获取了标记放置信息。

[0008]可以使用集束调节(bundle adjustment)方法获取关于标记的放置信息，每个标记表示在三维空间中的一点的位置(下文称为“点标记”)。集束调节方法是这样一种方法，即，基于从各个方向摄取的很多图像，同时计算一组点在空间中的位置、以及图像拾取装置在图像拾取装置摄取每个图像时的位置和取向。更具体地说，该方法优化该组点的位置以及所述图像拾取装置的位置和取向，以使这些点在每个摄取图像中的被观看位置和这些点在图像中计算所得位置之间的误差之和最小，所述计算所得位置是基于这些点的位置以及所述图像拾取装置的位置和取向而计算得到的。与此相反，对于具有二维形状的标记例如正方形标记的情况而言(其放置信息由参考坐标系统中的位置和取向表示，下文称为“二维标记”)，无法直接应用集束调节方法(即，获得所述组点的位置的方法)。因此，在日本虚拟现实学会的论文集的Kotake、Uchiyama和Yamamoto的“Maka haichi nikansuru senkenteki chishiki wo riyoushita maka kyaribureishonhouhou(利用关于标记布置的现有知识的标记校准方法)”，vol.10，no.3，pp.401-410，2005(本文称为“文献4”)中，公开了一种获得关于二维标记和点标记的放置信息的方法，该方法与已知的集束调节方法相似。

[0009]在使用标记和6-DOF位置/取向传感器的上述配准方法中，不仅必须预先测量关于标记的放置信息，而且还必须预先测量关于传感器的放置信息。

[0010]例如，在使用磁性6-DOF位置/取向传感器的情况中，发射器固定在空间中，接收器安装在测量对象(例如，图像拾取装置)上，以测量测量对象的位置和取向。传感器构造用来测量所述接收器在由所述发射器限定的坐标系中的6-DOF位置/取向。因此，为了获取测量对象在参考坐标系统中的位置和取向，必须预先测量发射器相对于参考坐标系统的放置信息(即，位置和取向)和接收器相对于测量对象的放置信息(即，位置和取向)。日本专利公开No.2003-269913(对应于美国专利No.6792370)公开了一种使用从各个方向摄取的放置在参考坐标系统中的多个标记的多个图像来获得传感器的放置信息的方法。在使用3-DOF取向传感器的情况中，取向传感器安装在测量对象(例如，图像拾取装置)上，以测量测量对象的取向。为了达到这点，必须预先测量取向传感器相对于测量对象的放置信息(即，取向)。日本专利公开No.2005-326275(对应于美国已公开专利申请No.2005/0253871)公开了一种使用多个标记的多个摄取图像获得传感器相对于测量对象的取向的方法。

[0011]在相关的技术中，已经使用从各个方向摄取的很多图像来测量关于用于配准和传感器的标记的放置信息。通常，这些图案由决定图像摄取位置的用户手动地摄取。然而，这种随机的摄取图像对高精确地测量所述放置信息是不够的。用户必须具有丰富的经验和足够的知识。换句话说，不是每个人可以容易地测量放置信息。

[0012]因为已知的测量关于标记和传感器的放置信息需要费时的准备，所以用户体验MR系统之前必须进行测量。因此，在用户体验MR系统时，没有新的标记可被增加来扩大移动范围。当在用户体验MR系统的同时标记或传感器放置信息发生改变时，无法实时地采取措施以处理这种变化。

发明内容

[0013]本发明的一些实施例允许从由图像拾取装置摄取的图像序列自动地判定和获取测量关于标记或者传感器的放置信息所需的图像，从而避免依赖于用户经验或者知识。

[0014]此外，本发明的一些实施例还允许在用户体验MR系统的同时通过从由图像拾取装置摄取的图像序列自动地判定和获取测量关于标记或者传感器的放置信息所需的图像来测量关于标记或者传感器的放置信息。

[0015]本发明的各方面具有下述结构。

[0016]根据本发明的一方面的信息处理方法是使用存在于真实空间中的标记的摄取图像计算关于测量对象的信息的信息处理方法，该方法包括以下步骤：获取由图像拾取单元摄取的图像；从所述摄取图像提取标记；获取关于图像拾取单元的位置和取向信息；基于由标记信息管理单元管理的关于标记的放置信息、以及关于所述图像拾取单元的位置和取向信息，判定是否使用与所述位置和取向信息相对应的所述摄取图像来计算关于所述测量对象的信息；以及在判定要使用所述摄取图像的情况下使用所述摄取图像计算关于所述测量对象的信息。

[0017]根据本发明的另一方面的信息处理方法是使用存在于真实空间中的标记的摄取图像计算关于测量对象的信息的信息处理方法，该方法包括以下步骤：获取由图像拾取单元摄取的图像；从所述摄取图像提取标记；获取关于图像拾取单元的位置和取向信息；基于关于所述图像拾取单元的位置和取向信息，计算其中应该摄取图像的图像摄取区域的区域信息；以及显示计算所得的区域信息。

[0018]根据本发明的又一方面的信息处理设备是使用存在于真实空间中的标记的摄取图像计算关于测量对象的信息的信息处理设备，该设备包括以下元件：摄取图像获取单元，其构造用来获取由图像拾取单元摄取的图像；提取单元，其构造用来从所述摄取图像提取标记；位置/取向信息获取单元，其构造用来获取关于所述图像拾取单元的位置和取向信息；判定单元，其构造用来基于由标记信息管理单元管理的关于标记的放置信息、以及关于所述图像拾取单元的位置和取向信息，判定是否使用与所述位置和取向信息相对应的所述摄取图像来计算关于所述测量对象的信息；以及计算器，其构造用来在所述判定单元判定要使用所述摄取图像的情况下使用所述摄取图像计算关于所述测量对象的信息。

[0019]根据本发明的再一方面的信息处理设备是使用存在于真实空间中的标记的摄取图像计算关于测量对象的信息的信息处理设备，该设备包括以下元件：摄取图像获取单元，其构造用来获取由图像拾取单元摄取的图像；提取单元，其构造用来从所述摄取图像提取标记；位置/取向信息获取单元，其构造用来获取关于所述图像拾取单元的位置和取向信息；计算器，其构造用来基于关于所述图像拾取单元的位置和取向信息，计算其中应该摄取图像的图像摄取区域的区域信息；以及显示单元，其构造用来显示由所述计算器计算的所述区域信息。

[0020]根据下面参照附图对范例实施例的描述，本发明的其它特征将显而易见。

附图说明

[0021]图1是根据本发明的第一范例实施例的信息处理设备的范例结构的示意图。

[0022]图2是由根据第一实施例的信息处理设备执行的过程的流程图。

[0023]图3A示出其中放置多个标记的环境。

[0024]图3B示出四角形标记。

[0025]图3C示出圆形标记。

[0026]图4是由根据第一实施例的图像判定单元执行的过程的流程图。

[0027]图5示出根据第一实施例的评估值的计算。

[0028]图6是获取关于标记的放置信息或者图像拾取单元的位置和取向的过程的流程图。

[0029]图7是根据本发明的第二范例实施例的信息处理设备的范例结构的示意图。

[0030]图8是由根据第二实施例的信息处理设备执行的过程的流程图。

[0031]图9是由根据第二实施例的图像判定单元执行的过程的流程图。

[0032]图10是由根据本发明的第三范例实施例的信息处理设备执行的过程的流程图。

[0033]图11示出根据第三实施例的放置在参考坐标系统中的标记变换到照相机坐标系统。

[0034]图12是根据本发明的第四范例实施例的信息处理设备的范例结构的示意图。

[0035]图13是由根据第四实施例的信息处理设备执行的过程的流程图。

[0036]图14示出根据第四实施例的图像摄取区域。

[0037]图15A和图15B示出根据第四实施例的图像摄取区域或者图像摄取位置和取向的表示。

[0038]图16是根据本发明的第五范例实施例的信息处理设备的范例结构的示意图。

[0039]图17是由根据第五实施例的信息处理设备执行的过程的流程图。

[0040]图18是根据本发明的第七范例实施例的信息处理设备的范例结构的示意图。

[0041]图19是由根据第七实施例的信息处理设备执行的过程的流程图。

[0042]图20是由根据第七实施例的图像判定单元执行的过程的流程图。

具体实施方式

[0043]现在，在下文中参照附图详细地描述本发明的优选范例实施例。

第一范例实施例

[0044]根据第一范例实施例的信息处理设备使用存在于真实空间中的标记的摄取图像。

[0045]图1示意性地示出根据第一实施例的构造用来计算关于标记的放置信息的信息处理设备1000的范例结构。

[0046]信息处理设备1000连接图像拾取单元100，例如，摄像机等。

[0047]图像获取单元1010从图像拾取单元100获取图像。图像拾取单元100摄取空间或者物体的图像，其中标记放置在其上，随后通过图像获取单元1010将一系列的运动图像输出到信息处理设备1000。例如，图像获取单元1010是安装在个人计算机(PC)上的视频捕捉卡。图像获取单元1010可以获取在过去摄取的存储在存储装置(未图示)上的一系列图像，以代替获取由图像拾取单元100(例如摄像机)摄取的实时活动图像。

[0048]标记提取单元1020从所获取的图像提取标记。

[0049]现在，在下面描述用于第一实施例的标记。

[0050]在MR可以体验的环境(下文简称为“环境”)中或者在该环境的物体上，放置多个四边的标记(下文称为“四角形标记”)，如图3A所示。每个放置的标记表示为P^k(k＝1，...，k_o)，其中k_o是放置的标记数目(在图3A所示的实例中，k_o＝3)。如图3B所示，每个四角形标记具有代表其标识符的内部图案。根据该标识符，可以唯一地识别每个四角形标记。每个四角形P^k具有顶点P^ki(i＝1，...，N_k)，其中，N_k是构成标记P^k的顶点的数目(因为在第一实施例中的标记是四角形，所以N_k＝4)。

[0051]标记提取单元1020在摄取图像化为二进制之后执行标签，并且从其面积大于或者等于预定面积的区域提取由四条直线限定的区域，作为标记候补区域。然后，通过判定该候补区域是否包含特定的图案，来判定该候补区域是否为标记区域。在该候补区域被判定为标记区域的情况下，读取该标记区域的内部图案，以获得该标记在图像内的方向和该标记的标识符，从而从获取的图像中提取该标记。

[0052]放置在所述环境中或者物体上的标记P^k不局限于四角形标记。标记P^k可以具有任何形状，只要它在摄取图像中是可检测的、可识别的即可。

[0053]例如，如图3C所示，可以使用具有不同颜色的圆形点标记。在这种情况下，在图像中检测与每种标记颜色对应的区域，并且，其重心位置判定为所述标记的检测坐标。或者，原先就存在于所述空间中并且具有不同的纹理特征的特征点(自然特征点)可以作为标记。在这种情况中，通过对图像实施模板匹配以检测与作为已知信息预先存储的标记模板图像的任何匹配，来从图像提取标记。

[0054]标记不局限于上述这些，并且可以是任何类型的或者具有任何形状，只要它们固定在所述空间中并在摄取图像中是可检测的即可。

[0055]标记管理单元1030管理关于由标记提取单元1020提取的标记的每个四角形标记P^kn的标识符k_n、每个标记P^kn的每个顶点P^kni的图像坐标U^Pkni、以及作为标记信息的关于每个标记P^kn的放置信息。关于每个标记的放置信息表示在所述标记是四角形标记的情况下所述标记相对于参考坐标系统的位置和取向，并且表示在所述标记是点标记的情况下所述标记相对于参考坐标系统的位置。

[0056]基于在环境中或者物体上的一点来定义所述参考坐标系统，该点作为原点，相互正交的三个轴分别定义为X轴、Y轴和Z轴。在第一实施例中，已知其在所述参考坐标系统中的放置信息的标记称为“参考标记”。摄取图像以使得所述参考标记被包含在至少一个图像中。

[0057]在图像拾取单元100摄取每个图像的时候，图像拾取单元位置/取向获取单元1040获取图像拾取单元100的大致的位置和取向。

[0058]图像判定单元1050判定是否使用由图像获取单元1010获取的图像来计算关于每个标记的放置信息。

[0059]使用待使用的由图像判定单元1050判定的图像，标记放置信息计算器1060计算关于每个标记的放置信息。

[0060]接下来，下面参照图2所示的流程图来描述根据第一实施例的计算标记放置信息的过程。

[0061]在步骤S2010中，图像获取单元1010获取由图像拾取单元100当前正摄取的图像。

[0062]在步骤S2020中，标记提取单元1020从由图像获取单元1010获取的图像中提取标记，并且将每个提取的四角形标记P^kn的标识符k_n和在标记管理单元1030中每个顶点P^kni的图像坐标U^Pkni配准，其中n(n＝1，...，N)是与在所述图像中检测到的每个四角形标记相对应的索引，以及N表示检测到的四角形标记的总数。

[0063]此外，N_total是从图像中提取的N个四角形标记的顶点的总数。在图3A所示的实例中，摄取具有一个标识符的一个四角形标记、具有两个标识符的一个四角形标记和具有三个标识符的一个四角形标记的图像，其中N＝3。在标记管理单元1030中将标识符k₁＝1、k₂＝2和k₃＝3与相应的图像坐标U^Pk2i、U^Pk2i和U^Pk3i(i＝1，2，3和4)配准。在这种情况下，N_total是12(＝3×4)。

[0064]在步骤S2030中，在图像拾取单元100已经摄取当前正被计算的图像的时候，图像拾取单元位置/取向获取单元1040获取图像拾取单元100的大致的位置和取向信息。在第一实施例中，使用已知的方法，从关于其在参考坐标系统中的放置信息已知的标记的图像信息获取图像拾取单元100的大致的位置和取向信息。例如，在图像中检测到的标记在所述空间上不共面的情况下，使用直接线性变换(DLT)获取图像拾取单元100的位置和取向。在检测到的标记共面的情况下，使用采用平面单应性(homography)的方法来获取图像拾取单元100的位置和取向。在摄影测量和计算机视觉的领域中，基于图像坐标和多个点的三维坐标之间的关系来获取图像拾取单元100的位置和取向的这些方法是熟知的，因此，为了避免冗余，省略对其做详细的描述。

[0065]获取图像拾取单元100的位置和取向的方法不局限于上述的方法。可替换的，例如，磁性、超声或者光学6-DOF位置/取向传感器安装在图像拾取单元100中，并且所述传感器的输出值可以用作图像拾取单元100的大致的位置和取向。可替换的，如文献3所述，可以使用3-DOF取向传感器和标记获取图像拾取单元100的大致的位置和取向。可替换的，可以使用任何其它已知的技术获取图像拾取单元100的大致的位置和取向。

[0066]在步骤S2040中，计算评估值。在步骤S2050，基于评估值判定是否使用由图像获取单元1010获取的图像来计算关于每个标记的放置信息。图4是在步骤S2040和S2050中执行的程序的流程图，以判定计算关于每个标记的放置信息是否需要该图像。

[0067]在步骤S3010中，判定在获取的图像中是否检测到参考标记，或者在所述图像中是否检测到在所述参考坐标系统中具有大致放置信息的标记。所述参考标记可以定义为多角形标记，例如矩形标记，其在图像中检测到的尺寸是已知的，或者定义为不共线、且具有已知相对位置关系的至少三个点标记。通过基于在图像拾取单元100摄取标记图像的时候该图像拾取单元100的大致的位置和取向、以及每个顶点在该图像中的位置来计算所述平面单应性，可以获取关于除所述参考标记以外的四角形标记的大致的放置信息。在所述标记是点标记的情况下，使用其中在图像拾取单元100摄取标记图像的时候该图像拾取单元100的大致的位置和取向是已知的两个摄取图像，可以通过立体投影法(stereographic method)获取所述标记的大致位置。

[0068]在图像中没有检测到具有大致放置信息的参考标记或者标记的情况下，在步骤S3050中判定将不会使用该图像。

[0069]在步骤S3020中，判定是否检测到除参考标记以外的待测量的标记(作为测量对象)。在没有检测到作为测量对象的标记的情况下，在步骤S3050中判定将不会使用该图像。

[0070]在步骤S3030中，将由标记管理单元1030管理的标记信息、以及由图像拾取单元位置/取向获取单元1040获取的图像拾取单元100的位置和取向输入到图像判定单元1050中。在步骤S3040中，计算用于判定是否使用该图像计算标记放置信息的评估值。现在将描述用于计算评估值的方法。

[0071]图5示出获得用于判定是否使用所获取的图像用于测量的评估值的方法。

[0072]在所述计算之前，给判定用于测量的图像编上帧号1，2，...，m-1，然后，判定是否使用该获取的图像作为第m帧。在图像拾取单元100摄取当前获取的图像的时候该图像拾取单元100的位置是C_m[C_mxC_myC_mz]^t。在参考坐标系统中的重心位置是G_m＝[G_mxG_myG_mz]^t，其由关于在第m帧获取的图像中检测到的一组标记的放置信息得到。

[0073]假设矢量

是从在图像拾取单元100摄取第(m-1)帧的时候该图像拾取单元100的位置C_m-1延伸到在笫(m-1)帧中检测到的标记组的重心位置G_m-1，矢量

是从在图像拾取单元100摄取当前摄取的图像的时候该图像拾取单元100的位置C_m延伸到重心位置G_m-1。由

和

限定的角度θ_AB计算为：

${\mathrm{\θ}}_{\mathrm{AB}}=\arccos \frac{\stackrel{\→}{A}-\stackrel{\→}{B}}{\left|\stackrel{\→}{A}\right|-\left|\stackrel{\→}{B}\right|}$ (1-1)

所得到的角度θ_AB作为第一评估值。接下来，

和

之间的幅度比计算为：

$\mathrm{\α}=\frac{\left|\stackrel{\→}{B}\right|}{\left|\stackrel{\→}{A}\right|}$ (其中， $\left|\stackrel{\→}{A}\right|>\left|\stackrel{\→}{B}\right|$ )

      (1-2)

$\mathrm{\&alpha;}=\frac{\left|\stackrel{\&RightArrow;}{A}\right|}{\left|\stackrel{\&RightArrow;}{B}\right|}$ (其中， $\left|\stackrel{\&RightArrow;}{A}\right|<\left|\stackrel{\&RightArrow;}{B}\right|$ )

所得到的α作为第二评估值。

[0074]在步骤S3050中，基于所得到的评估值，判定是否使用所得到的图像。

[0075]在第一评估值θ_AB满足下述关系的情况下：

θ_AB＞θ_TAB    (1-3)，

判定在第(m-1)帧和当前摄取的图像之间存在足够大的视差，由此判定要使用所得到的图像作为用于计算的第m帧。在表达式(1-3)中，θ_TAB是预定的阈值。评估值θ_AB超过阈值θ_TAB的情形，意味着检测到的标记组的图像是在第m帧和笫(m-1)帧中的不同视点上摄取的。根据所述标记在标记所放置在其中的三维空间或者环境中的分布，可以将阈值θ_TAB改变为任何值。例如，在标记所放置在房间中而图像摄取范围受限制的情况中，θ_TAB设定为相对较小的值。然而，在θ_TAB设定为小值的情况下，视差变小，从而降低测量结果的精确度。为了防止测量结果的精确度降低，可以增加所用的图像的数目，或者可以所用高分辨率的照相机。

[0076]在不满足表达式(1-3)中的条件的情况下，基于第二评估值α进行判定。

[0077]在第二评估值α满足下述关系的情况下：

α＜α_T1或者α_T2＜α(其中α_T1＜α_T2)...(1-4)

判定要使用所得到的图像作为用于计算的第m帧。否则，不使用所得到的图像。在表达式(1-4)中，α_T1和α_T2是预定的阈值。

[0078]第二评估值满足上述条件的情形，意味着距离检测到的标记组的图像摄取距离在第m帧和第(m-1)帧之间不同。

[0079]在步骤S3060中，输出在步骤S3050中所得的是否使用图像的判定结果。

[0080]返回参照图2，在步骤S2050中，如果在步骤S3050中判定要使用当前摄取的图像，并且如果判定要用于计算标记放置信息的图像的数目m满足下述关系：

m≥2  ...  (1-5)，

则该流程进入步骤S2060。否则(如果在步骤S2040中判定将不使用该图像，或者如果图像的数目m不满足表达式(1-5))，该流程返回到步骤S2010，并且得到新的图像。

[0081]在步骤S2060中，使用关于要用于所述计算的所述图像的信息来计算所述标记放置信息。

[0082]现在描述在步骤S2060中计算所述标记放置信息的过程。图6示出计算所述标记放置信息的过程。

[0083]在步骤S5010中，输入已由上述方法得到的在图像拾取单元100摄取每个图像的时候该图像拾取单元100的大致的位置和取向、以及关于作为测量对象的每个矩形标记的大致放置信息。

[0084]在步骤S5020中，计算所述标记在图像中的检测位置和所述标记在图像中的计算位置之间的误差(残余误差)，该误差是基于图像拾取单元100的大致的位置和取向以及关于标记的大致放置信息来计算的。

[0085]假设u＝[u_x u_y]  ^t表示所述标记在图像中的投影位置，矢量s表示图像拾取单元100的位置和取向，矢量a表示所述标记放置信息，则下述关系成立：

u＝F(s，a)...(1-6)

其中，F是一个函数，包括从参考坐标系统变换到照相机坐标系统中的视点变换，以及透视投影变换。假设t＝[t_x t_y t_z]^t表示图像拾取单元100在参考坐标系统中的位置，ω＝[ω_xω_yω_z]^t表示图像拾取单元100的取向，则表示图像拾取单元100的位置和取向的矢量s为s＝[t_xt_yt_zω_xω_yω_z]^t。这种情况下，在标记仅具有位置信息的情况中，矢量a是三维矢量，在标记具有位置和取向信息的情况中，矢量a是六维矢量。在三维空间中的取向由3×3旋转变换矩阵表示。因为旋转自由度仅仅为3，所以取向可以由三维矢量ω表示。

[0086]在这种情况下，ω利用3-DOF取向表示法，并且使用旋转轴矢量和旋转角度表示取向。假设旋转角度为r_a，则r_a可以用ω表示：

$r_a=\sqrt{{\mathrm{\&omega;}}_x^2+{\mathrm{\&omega;}}_y^2+{\mathrm{\&omega;}}_z^2}...(1-7).$

[0087]假设旋转轴矢量r_axis＝[r_x r_y r_z]^t，r_axis和ω之间的关系可以表达为：

[ω_xω_yω_z]＝[r_ar_x r_ar_y r_ar_z]  ...(1-8)。

ω(旋转角度r_a和旋转轴矢量r_axis)和3×3旋转变换矩阵R之间的关系可以表达为：

$R=\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]$

$=$ $\left[\begin{array}{ccc}{r_x}^2(1-{\cos r}_a)+{\cos r}_a& r_x{r}_y(1-{\cos r}_a)-r_s{\sin r}_a& r_z{r}_x(1-{\cos r}_a)+r_y{\sin r}_a\\ r_z{r}_y(1-\cos r_a)+r_s\sin r_a& {r_y}^2(1-{\cos r}_a)+{\cos r}_a& r_y{r}_z(1-{\cos r}_a)-r_x{\sin r}_a\\ r_z{r}_x(1-{\cos r}_a)-r_y{\sin r}_a& r_y{r}_z(1-{\cos r}_a)+r_x{\sin r}_a& {r_s}^2(1-{\cos r}_a)+{\cos r}_a\end{array}\right]...(1-9).$

假设

是标记在图像中的检测坐标。那么，u和

之间的误差计算为：

$\mathrm{\&Delta;u}=\hat{u}-u...(1-10).$

[0088]在步骤S5030中，计算表示图像拾取单元100的位置和取向的矢量s的校正形式和表示所述标记放置信息的矢量a的校正形式，使得在步骤S5020中计算的误差Δu最小。可以使用用于校正矢量s的矢量Δs和用于校正矢量a的矢量Δa通过一阶近似表述误差Δu：

$\mathrm{\&Delta;u}=\left[\begin{array}{cc}\frac{\&PartialD;u}{\&PartialD;s}& \frac{\&PartialD;u}{\&PartialD;\mathrm{\&alpha;}}\end{array}\right]\left[\begin{array}{c}\mathrm{\&Delta;s}\\ \mathrm{\&Delta;a}\end{array}\right]...(1-11),$

其中， $\left[\begin{array}{cc}\frac{\&PartialD;u}{\text{\&PartialD;s}}& \frac{\&PartialD;u}{\&PartialD;\mathrm{\&alpha;}}\end{array}\right]$ 称为雅可比矩阵(或者图像雅可比)。因为用于计算雅可比矩阵的具体方法是已知的，并且在文献4中有所描述，所以为了避免冗余，省略对它做详细的描述。

[0089]表达式(1-11)是关于图像中的点(在四角形标记的情况中，即顶点)的关系表述。在有m个图像判定用于计算并且标记具有q个顶点的情况中，那么推导出下述结论：

$\mathrm{\&Delta;u}=\left[\begin{array}{cccccc}\frac{\&PartialD;u}{{\&PartialD;s}_1}& ...& \frac{\&PartialD;u}{{\&PartialD;s}_m}& \frac{\&PartialD;u}{{\&PartialD;\mathrm{\&alpha;}}_1}& ...& \frac{\&PartialD;u}{{\&PartialD;\mathrm{\&alpha;}}_q}\end{array}\right]\left[\begin{array}{c}{\mathrm{\&Delta;s}}_1\\ .\\ .\\ .\\ {\mathrm{\&Delta;s}}_m\\ {\mathrm{\&Delta;\&alpha;}}_1\\ .\\ .\\ .\\ {\mathrm{\&Delta;\&alpha;}}_q\end{array}\right]...(1-12).$

它可以简化为：

Δu＝J_mqΔt、(其中， $J_{\mathrm{mq}}=\left[\begin{array}{cccccc}\frac{\&PartialD;u}{{\&PartialD;s}_1}& ...& \frac{\&PartialD;u}{{\&PartialD;s}_m}& \frac{\&PartialD;u}{{\&PartialD;\mathrm{\&alpha;}}_1}& ...& \frac{\&PartialD;u}{{\&PartialD;\mathrm{\&alpha;}}_q}\end{array}\right]$ )...(1-13)。

在图像中检测到的选择用于计算的所有标记的顶点数是n的情况下，那么得到下述结论：

$\left[\begin{array}{c}{\mathrm{\&Delta;u}}_1\\ {\mathrm{\&Delta;u}}_2\\ .\\ .\\ .\\ {\mathrm{\&Delta;u}}_n\end{array}\right]=\left[\begin{array}{c}{J}_{\mathrm{mq}1}\\ J_{\mathrm{mq}2}\\ .\\ .\\ .\\ J_{\mathrm{mqn}}\end{array}\right]\mathrm{\&Delta;t}...(1-14).$

通过用下述方式的最小平方法得到要计算的未知参数Δt：

$\mathrm{\&Delta;t}={\left[\begin{array}{c}{J}_{\mathrm{mq}1}\\ J_{\mathrm{mq}2}\\ .\\ .\\ .\\ J_{\mathrm{mqn}}\end{array}\right]}^{+}\left[\begin{array}{c}{\mathrm{\&Delta;u}}_1\\ {\mathrm{\&Delta;u}}_2\\ .\\ .\\ .\\ {\mathrm{\&Delta;u}}_n\end{array}\right]...(1-15),$

其中，+表示伪逆矩阵。

[0090]使用公式(1-15)计算Δt与相对于校正矢量Δt的未知值求解线性方程的冗余系统是等效的。因此，取代计算伪逆矩阵，可以使用求解线性方程的系统的不同方法，例如，括去(sweeping-out)法、高斯-约旦叠代法、或者共轭梯度法，来求解线性方程的系统。在获取的图像数目或者检测标记数目大的情况下，可以通过执行不完全乔里斯基分解(incomplete Cholesky decomposition)作为预处理的预条件共轭梯度方法来高速地计算山。

[0091]在步骤S5040中，使用所得到的Δt，进行下述校正：

s_i(1≤i≤m)和α_j(1≤j≤q)。

[0092]在步骤S5050中，使用判定基准判定计算是否收敛，例如，∑Δu是否小于预定的阈值，或者，所校正的Δt是否小于预定的阈值。如果计算不收敛，则校正的状态矢量s和a作为初始值，并且流程返回到步骤S5020。重复进行步骤S5020至步骤S5040。

[0093]如果判定计算收敛，则在步骤S5060中，输出所述标记放置信息或者图像拾取单元100的位置和状态。

[0094]如上所述，使用关于在图像中检测到的每个标记的大致放置信息、以及基于在图像拾取单元100摄取图像的时候该图像拾取单元100的大致的位置和状态计算所得的评估值，自动判定是否使用摄取图像用于测量。因此，在不需要经验和知识的情况下，可以得到从各个方向摄取的很多图像，这是高度精确地测量所述标记放置信息所需的。

变型实施例1-1

[0095]在第一实施例中，使用从在图像拾取单元100摄取第(m-1)帧的时候该图像拾取单元100的位置C_m-1延伸到在第(m-1)帧中检测到的标记组的重心位置G_m-1的矢量

和从在图像拾取单元100摄取当前摄取的图像的时候该图像拾取单元100的位置C_m延伸到重心位置G_m-1的矢量

。可替换的，取代使用简单的重心位置G_m-1，可以使用根据标记检测结果加权的重心位置作为G_m-1。

[0096]获得所述重心位置，以考虑距离作为测量对象的每个标记的距离。在基于图像的测量(例如立体摄影测量)中，测量精确度受距离测量对象的距离和图像摄取位置之间的距离的影响。如果，例如，在所述检测标记中，一个标记特别远或者特别近，那么测量对象的代表位置明显受该特殊标记的影响。为了减少该影响，排除该特殊标记，或者，通过减少该特殊标记的权重来计算所述重心计算。

[0097]获取在第(m-1)帧中检测到的每个标记的大致位置和在图像拾取单元100摄取第(m-1)帧的时候该图像拾取单元100的大致的图像摄取位置之间的距离l_i(i＝1，2，...，N)，其中N是在第(m-1)帧中检测到的标记总数。在重心计算中，通过对特殊标记施加较少的权重来获得加权的重心位置G_m-1。可以使用例如常用于M-评估中的Tukey函数来计算权重，M-评估是鲁棒性评估方法。在Tukey函数中，使用基于距离l_i(i＝1，2，...，N)和距离l_i的标准差获得的阈值c，计算权重W_i：

$W_i={(1-{\left(\frac{l_i}{c}\right)}^2)}^2$ 如果|l_i|＜c

W_i＝0    如果|l_i|＞c  ...  (1-16)。

[0098]假设在第(m-1)帧中检测到的每个标记的位置为t_i(i＝1，2，...，N)，得到加权的重心位置G_m-1：

$G_{m-1}=\frac{1}{N}\underset{1}{\overset{N}{\mathrm{\&Sigma;}}}{t}_i{W}_i...(1-17).$

变型实施例1-2

[0099]在第一实施例中获取了标记放置信息或者图像拾取单元100的位置和取向。与之相反，图像拾取单元100的内部参数可以被计算作为测量对象。

[00100]给定焦距f，在图像中心的坐标为(u₀，v₀)，在u和v方向上的比例因子为k_u和k_v，并且切变(shear)系数为k_s，那么作为未知参数的图像拾取单元100的内部参数为：

$A=\left[\begin{array}{ccc}{\mathrm{fk}}_u& {\mathrm{fk}}_s& u_0\\ 0& {\mathrm{fk}}_v& v_0\\ 0& 0& 1\end{array}\right]...(1-18),$

其中，A是用于将照相机坐标系统中的点变换到图像坐标u的矩阵。

[00101]可以通过与用于第一实施例中的方法相似的方法判定是否使用获取的图像用于测量。图像拾取单元100的内部参数作为未知参数，并且，通过非线性优化来获得使每个标记的测量图像坐标和从评估参数值计算所得的标记的理论图像坐标之间的误差最小的参数。在这种情况下，基于设计参数等，预先设定图像拾取单元100的大致的内部参数。

变型实施例1-3

[00102]在第一实施例中，由从在图像拾取单元100摄取第(m-1)帧的时候该图像拾取单元100的位置C_m-1延伸到在第(m-1)帧中检测到的标记组的重心位置G_m-1的矢量

和从在图像拾取单元100摄取当前摄取的图像的时候该图像拾取单元100的位置C_m延伸到重心位置G_m-1的矢量

得到第一评估值θ_AB。

[00103]然而，所述第一评估值不必一定仅仅基于第(m-1)帧和所述获取图像来得到。假设

是从在获取的图像中检测到的标记组的重心位置G_m延伸到在图像拾取单元100摄取所获取的图像的时候该图像拾取单元100的位置C_m的矢量。此外，从第一帧到第(m-1)帧中提取各自包括与在所获取的图像中检测到的那些标记具有相同的标识符的标记的图像。假设Q为提取的图像的总数，矢量

从在所获取的图像中检测到的标记组的重心位置G_m延伸到在图像拾取单元100摄取第q帧(q＝1，2，...，Q)的时候该图像拾取单元100的位置C_q。第一评估值为：

${\mathrm{\&theta;}}_{{\mathrm{AB}}_q}=\mathrm{src}\cos \frac{\stackrel{\&RightArrow;}{A}\&CenterDot;\stackrel{\&RightArrow;}{B_q}}{\left|\stackrel{\&RightArrow;}{A}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{B_q}\right|}...(1-19).$

[00104]在对于所有的q的第一评估值θ_ABq都满足下述关系的情况中：

${\mathrm{\&theta;}}_{{\mathrm{AB}}_q}>{\mathrm{\&theta;}}_{\mathrm{TAB}}...(1-20),$

那么，判定所获取的图像将用于计算。否则，所获取的图像将不用于计算。在表达式(1-20)中，θ_TAB是预定的阈值。评估值θ_ABq超过阈值θ_TAB的情形，意味着在笫m帧和第q帧中的不同视点上摄取了检测到的标记组的图像。根据标记的分布或者标记放置在其中的环境，阈值θ_TAB可以变为任何值。

[00105]通过使用这种评估值进行判定，可以自动选择要使用的在与检测到的所有图像的视点不同的视点上摄取的图像。

变型实施例1-4

[00106]在第一实施例中，在所使用的图像中，不排除或者更新由图像拾取单元100在相同的位置上以相同的取向摄取的图像。然而，由图像拾取单元100在相同位置上以相同取向摄取的图像是不需要的，因为它们没有提高测量标记放置信息的精确度的信息。因此，应该排除或者更新由图像拾取单元100在同一位置上以相同的取向摄取的图像。现在，在下面描述排除或者更新在基本上相同的位置上以相同的取向摄取的图像。

[00107]假设矢量

从在图像拾取单元100摄取当前获取的图像的时候该图像拾取单元100的位置C_m延伸到从关于在所获取的图像中检测到的标记组中的每个标记的放置信息中得到的重心位置G_m，矢量

.....、和

从在图像拾取单元100摄取已判定要使用的图像的时候该图像拾取单元100的位置C₁、C₂、......、和C_m-1延伸到重心位置G_m。计算由矢量

和矢量

......、及

限定的角度θ_CD1、θ_CD2、......、和θ_CDm-1：

${\mathrm{\&theta;}}_{\mathrm{CDi}}=\arccos \frac{\stackrel{\&RightArrow;}{C}\&CenterDot;\stackrel{\&RightArrow;}{D_i}}{\left|\stackrel{\&RightArrow;}{C}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{D_i}\right|},(i=\mathrm{1,2},...m-1)...(1-21).$

[00108]计算矢量 与矢量

.....、和 中的每一个的比值β_i：

${\mathrm{\&beta;}}_i=\frac{\left|\stackrel{\&RightArrow;}{D_i}\right|}{\left|\stackrel{\&RightArrow;}{C}\right|},(i=\mathrm{1,2},...m-1)...(1-22).$

在θ_CDi满足下述关系的情况中：

θ_TCD＜θ_CDi  ...(1-23)，

其中，i＝1、2、...m-1，并且β满足下述关系：

β_T1L≤β_i≤β_T2L    ...(1-24)，

那么，判定当前获取的图像是在与已判定要使用的图像基本上相同的视点位置上摄取的，并且该帧作为第j帧(j＝1、2、...、J)，其中，J是判定在同一视点位置上摄取的图像的总数。在表达式(1-23)和(1-24)中，θ_TCD、β_T1L和β_T2L是预定的阈值。

[00109]接下来，判定当前获取图像是否在与已判定要使用的图像相同的取向上摄取的。计算在图像拾取单元100摄取所获取的图像的时候该图像拾取单元100的视觉轴矢量t_m和判定在相同的视点位置上摄取的第j帧中的视觉轴矢量t_j之间的角度差θ_mj：

${\mathrm{\&theta;}}_{\mathrm{mj}}=\arccos \frac{\stackrel{\&RightArrow;}{t_m}\&CenterDot;\stackrel{\&RightArrow;}{t_j}}{\left|\stackrel{\&RightArrow;}{t_m}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{t_j}\right|},(j=\mathrm{1,2},...J)...(1-25).$

角度差θ_mj作为第三评估值。

[00110]接下来，计算绕所述视觉轴的旋转角度差。假设与视觉轴矢量正交的矢量v_m是在照相机坐标系统中沿y轴方向的矢量t_y＝[0 1 0]^t。使用表示图像拾取单元100的大致取向的3×3旋转变换矩阵R_m，将矢量v_m变换到参考坐标系统中：

v_m＝R_m·t_y  ...(1-26)。

[00111]同样地，假设与在判定已在同一视点位置上摄取的第j帧中的视觉轴矢量正交的矢量v_j是在照相机坐标系统中沿y轴方向的矢量t_y＝[0 1 0]^t。矢量v_j变换到参考坐标系统中：

v_j＝R_j·t_y  ...(1-27)。

[00112]计算v_m和v_j之间的角度差，即，绕所述视觉轴的旋转角度差γ_mj：

${\mathrm{\&gamma;}}_{\mathrm{mj}}=\arccos \frac{\stackrel{\&RightArrow;}{v_m}\&CenterDot;\stackrel{\&RightArrow;}{v_j}}{\left|\stackrel{\&RightArrow;}{v_m}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{v_j}\right|}...(1-28)$

绕所述视觉轴的旋转角度差γ_mj(j＝1、2、...、J)作为第四评估值。

[00113]基于以上述方式得到的第三评估值和第四评估值，判定图像是否以基本上相同的取向摄取的，从而判定是否该图像用于测量。

[00114]在第三评估值满足下述关系的情况中：

θ_mj＜θ_Tmj  (j＝1、2、...、N) ... (1-29)，

那么，这说明，所获取的图像是已经在相同的视点位置以相同取向在第j帧中摄取的。因此，不使用该图像。

[00115]相反，在第三评估值不满足表达式(1-29)中的条件的情况下，那么，基于第四评估值，判定是否使用该图像。

[00116]在第四评估值γ_mj满足下述关系的情况中：

γ_mj＞γ_Tmj  ...  (1-30)，

那么，所获取的图像是在相同的视点位置以相同取向摄取的，但是该图像是通过绕所述视觉轴旋转所述图像拾取单元100而摄取的。因此，判定该图像用于测量。否则，判定不使用该图像。在表达式(1-30)中，γ_Tmj是预定的阈值。

[00117]即使在由于图像是在相同的视点位置以相同的取向摄取而以上述的方式判定该图像不用于测量的情况下，如果在该图像中检测到的标记数目大，那么该图像替代已判定要使用的前一图像，从而更新该图像。

变型实施例1-5

[00118]在文献4中，通过使用标记的现有知识对标记施加约束条件来进行非线性优化。因为在第一实施例中自动获取图像，所以，在计算未知标记的过程中，无法对未知标记施加几何约束条件。然而，在预先知道几何约束条件的情况下，例如，在检测的标记是共面的情况下，可以通过施加几何约束条件来进行非线性优化。

[00119]即使就未知标记而言，可以不施加几何约束条件来进行非线性优化。之后，可以通过操作员使用输入装置例如鼠标或者键盘来添加几何约束条件，然后，可以再进行非线性优化。

变型实施例1-6

[00120]下面所示的评估值可以用来判定图像是否要用于计算标记放置信息。

[00121]给已判定要用于计算未知参数的图像编上帧号1、2、...、m-1，然后，判定是否使用获取的图像作为第m帧。

[00122]将所获取的图像与第(m-1)帧相比较。在检测到的标记中，其重叠的部分大于或者等于阈值T％的图像视为第m帧的候选。

[00123]接着，假设矢量

从在图像拾取单元100摄取笫(m-1)帧的时候该图像拾取单元100的位置C_m-1延伸到在第(m-1)帧中检测到的标记组的重心位置G_m-1，矢量

从在图像拾取单元100摄取所获取的图像的时候该图像拾取单元100的位置C_m延伸到重心位置G_m-1，矢量 从位置C_m-1延伸到图像拾取单元100的位置C_m。如果满足下述表达式的关系，则判定所获取的图像用于计算：

$\frac{\left|\right|\stackrel{\&RightArrow;}{A}\left|\right|\&CenterDot;\left|\right|\stackrel{\&RightArrow;}{B}\left|\right|}{\left|\right|\stackrel{\&RightArrow;}{C}\left|\right|}<D_{\mathrm{th}}...(1-31),$

其中，D_th是预定的阈值。

[00124]使用图像的测量(例如立体摄影测量)的精确度受距离测量对象的距离和图像摄取位置之间的距离的影响。表达式(1-31)考虑了在图像拾取单元100摄取第(m-1)帧的时候该图像拾取单元100的位置和作为所述标记的表示位置的重心位置之间的距离

、在图像拾取单元100摄取所获取的图像的时候该图像拾取单元100的位置和重心位置之间的距离

、以及图像摄取位置之间的距离

。也就是说，距离所述标记表示值的距离越短，

就越小。基线越长，

就越大。

[00125]因此，如果满足表达式(1-31)，则可以判定计算所述标记放置信息所需的图像。

变型实施例1-7

[00126]在第一实施例中，为了考虑距离作为测量对象的每个标记的距离，基于所述标记在三维空间中的重心位置，得到所述评估值，然后，判定该图像是否用于计算标记放置信息。换句话说，基于从在图像拾取单元100摄取第(m-1)帧的时候该图像拾取单元100的位置C_m-1延伸到在第(m-1)帧中检测到的标记组的重心位置G_m-1的矢量和从在图像拾取单元100摄取所获取的图像的时候该图像拾取单元100的位置C_m延伸到重心位置G_m-1的矢量，获得所述评估值。

[00127]取代获得所述标记位置的重心位置作为所述标记的代表位置，可以在表示朝向图像拾取单元100的图像摄取范围的中心的方向上得到所述代表位置。基于每个检测标记在三维空间中的大致位置，得到每个标记在照相机坐标系统中的深度，并且，用z_mean表示标记的平均深度。用t_am＝(0，0，z_mean)表示所述标记在照相机坐标系统中的代表位置。因为可以通过图像拾取单元位置/取向获取单元1040获取图像拾取单元100的大致的位置和取向，所以将所述标记在照相机坐标系统中的代表位置t_am变换为在参考坐标系统中的位置。

[00128]用t’_am表示坐标变换之后的代表位置。代替在第一实施例中所用的使用重心位置作为所述代表位置，t’_am可以用作所述代表位置。

第二范例实施例

[00129]在第一实施例中，判定是否使用图像计算关于放置在环境中或者在物体上的每个标记的放置信息，并且执行所述计算。

[00130]  在第二范例实施例中，自动判定要被用于计算取向传感器在照相机坐标系统中的取向的图像，并且计算安装在图像拾取单元上的取向传感器在照相机坐标系统中的取向。

[00131]用于第二实施例中的所述取向传感器主要包括检测三个轴方向上角速度的回转传感器和检测三个轴方向上的加速度的加速度传感器，并且该取向传感器基于角速度和加速度的测量值的组合测量3-DOF取向。

[00132]一般来说，使用回转传感器的取向传感器通过对从该回转传感器输出的角速度信息求积分来获取取向。因此，所获取的取向包含漂移误差。然而，通过另外使用加速度传感器，可以测量地球引力的方向，因此可以测量高度精确的倾斜角。

[00133]相反，无关得到关于作为绕引力轴的旋转的方位角(azimuth)的绝对参考，并且无法校正该漂移误差。因此，方位角(azimuth)的测量精确度低于倾斜角的测量精确度。

[00134]图7示意性地示出根据第二实施例的信息处理设备7000的范例结构。

[00135]图像拾取单元700连接信息处理设备7000。图像拾取单元700摄取标记所放置在其中的空间的图像，并且将该图像输出给信息处理设备7000。取向传感器705安装在图像拾取单元700上。在图像拾取单元700摄取图像的同时，由取向传感器705测量的值输出给信息处理设备7000。

[00136]图像获取单元7010从图像拾取单元700获取图像。

[00137]标记提取单元7020从所获取的图像中提取标记。标记管理单元7030管理关于所提取标记的每个正方形标记P^kn的标识符k_n、每个标记P^kn的每个顶点P^kni的图像坐标u^Pkni、以及关于每个标记P^kn的放置信息来作为标记信息。

[00138]在图像拾取单元700摄取图像的同时，图像拾取位置/取向获取单元7040获取图像拾取单元700的大致位置和取向。

[00139]图像判定单元7050判定是否使用通过图像获取单元7010输入的图像来计算安装在图像拾取单元700上的取向传感器705在照相机坐标系统中的取向。

[00140]在摄取图像的同时，传感器输出获取单元7060获得取向传感器705的输出。

[00141]使用被图像判定单元7050判定的要使用的图像，取向传感器位置/取向计算器7070计算安装在图像拾取单元700上的取向传感器705在照相机坐标系统中的取向。

[00142]因为图像获取单元7010、标记提取单元7020、标记管理单元7030和图像拾取位置/取向获取单元7040与第一实施例中所述的图像获取单元1010、标记提取单元1020、标记管理单元1030和图像拾取位置/取向获取单元1040相似，为了避免冗余，省略对它们做详细的描述。

[00143]图8是在第二实施例中计算关于取向传感器705的放置信息的过程的流程图。

[00144]因为步骤S8010至S8030与第一实施例中的步骤S2010至S2030相似，为了避免冗余，省略对它做详细的描述。

[00145]在步骤S8040中，判定是否使用所获取的图像计算取向传感器705在照相机坐标系统中的取向。虽然可以用与第一实施例中所述的方式相似的方式判定是否使用所获取的图像，但是，在第二实施例中基于所述图像拾取单元700的取向进行判定。下面将给出对判定要使用的图像的方法的详细描述。

[00146]图9是在步骤S8040中判定是否使用所获取的图像计算取向传感器705在照相机坐标系统中的取向的过程的流程图。

[00147]因为步骤S9010与第一实施例中的步骤S3010相似，所以，为了避免冗余，省略对它做描述。

[00148]在步骤S9020中，将由标记管理单元7030管理的标记信息和由图像拾取单元位置/取向获取单元7040获取的图像拾取单元700的位置和取向被输入给图像判定单元7050。

[00149]在步骤S9030中，由图像判定单元7050计算评估值，其用于判定是否使用所获取的图像计算安装在图像拾取单元700上的取向传感器705在照相机坐标系统中的取向。现在，在下面描述计算所述评估值的方法。

[00150]给已判定用于计算取向传感器705的取向的图像编上帧号1、2、...、m-1，然后，判定是否使用所获取的图像作为第m帧。

[00151]计算在图像拾取单元700摄取所获取的图像的时候该图像拾取单元700的视觉轴矢量t_m和在图像拾取单元700摄取第j帧的时候的视觉轴矢量t_j之间的角度差θ_mj：

${\mathrm{\&theta;}}_{\mathrm{mj}}=\arccos \frac{\stackrel{\&RightArrow;}{t_m}\&CenterDot;\stackrel{\&RightArrow;}{t_j}}{\left|\stackrel{\&RightArrow;}{t_m}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{t_j}\right|},(j=\mathrm{1,2},...J)...(2-1).$

所得到的角度差θ_mj(j＝1、2、...J)作为第一评估值。

[00152]接下来，得到绕所述视觉轴的旋转角度差。

[00153]首先，得到在图像拾取单元700摄取所获取的图像的时候该图像拾取单元700在参考坐标系统中的视觉轴矢量t_m。假设矢量t_z＝[0 0-1]^t在照相机坐标系统中的z轴的负方向上，基于图像拾取单元700的大致的取向R_m，获得视觉轴矢量t_m：

t_m＝R_m·t_z  ...(2-2)。

[00154]假设与在图像拾取单元700摄取所获取的图像的时候该图像拾取单元700的视觉轴矢量t_m正交的矢量v_m是在照相机坐标系统中沿y轴方向的矢量t_y＝[0 1 0]^t。基于图像拾取单元700的大致的取向R_m，得到参考坐标系统中的矢量v_m：

v_m＝R_m·t_y ...(2-3)。

[00154]同样地，假设与在第j帧中的视觉轴矢量正交的矢量v_j是在照相机坐标系统中沿y轴方向的矢量t_y＝[0 1 0]^t。通过用t_y乘以在图像拾取单元700摄取第j帧的时候该图像拾取单元700的视觉轴矢量t_j来变换矢量v_j：

v_j＝R_j·t_y  ...(2-4)。

[00156]计算v_m和v_j之间的角度差，即，绕视觉轴的旋转角度差γ_mj：

${\mathrm{\&gamma;}}_{\mathrm{mj}}=\arccos \frac{\stackrel{\&RightArrow;}{v_m}\&CenterDot;\stackrel{\&RightArrow;}{v_j}}{\left|\stackrel{\&RightArrow;}{v_m}\right|\&CenterDot;\left|\stackrel{\&RightArrow;}{v_j}\right|}...(2-5)$

绕所述视觉轴的旋转角度差γ_mj(j＝1、2、...、J)作为第二评估值。

[00157]在步骤S9040中，基于所获得的评估值判定所获取的图像是否用于计算。

[00158]在对于判定要使用的所有图像而言第一评估值θ_mj都满足下述关系的情况中：

θ_mj＜θ_Tmj  (j＝1、2、...、N) ...  (2-6)，

那么，这说明，所获取的图像是从尚未摄取图像的视点的方向摄取的。因此，判定要使用该图像。在表达式(2-6)中，θ_Tmj是预定的阈值。

[00159]在不满足表达式(2-6)的情况下，所获取的图像有可能是以相同的取向摄取的。基于第二评估值，判定是否使用所获取的图像。

[00160]在第二评估值γ_mj满足下述关系的情况中：

γ_mj＞γ_Tmj  ...  (2-7)，

那么，所获取的图像是从相同的视点方向摄取的，但是该图像是通过绕所述视觉轴旋转所述图像拾取单元700摄取的。因此，判定该图像用于测量。在表达式(2-7)中，γ_Ymj是预定的阈值。

[00161]在不满足表达式(2-7)的情况下，判定不使用所获取的图像计算取向传感器705的取向。

[00162]在步骤S9050中，输出在步骤S9040中所得到的显示是否使用该图像的判定结果。

[00163]返回参照图8，在步骤S8050中，在步骤S8040中判定要使用该图像计算取向传感器705的取向，并且判定要使用的图像的数目m大于或者等于二(m≥2)，在这种情况下，该流程进入步骤S8060。相反，在步骤S8040中判定不使用该图像的情况下，该流程返回到步骤S8010。

[00164]接下来，将详细地描述步骤S8060，在该步骤中，计算取向传感器705的取向。

[00165]在步骤S8060中，使用由图像判定单元7050判定要使用的在多个视点位置摄取的图像，计算安装在图像拾取单元700上的取向传感器705在照相机坐标系统中的取向ω_cs。

[00166]传感器输出获取单元7060获得取向传感器705的传感器输出值。通过非线性优化，获得图像拾取单元700的位置、方位角漂移校正值_τ和ω_cs以使图像中每个标记在参考坐标系统中的检测位置和图像中所述标记的计算位置之间的误差最小，所述计算位置是基于图像拾取单元700的位置、传感器测量值、方位角漂移校正值和ω_cs计算的。

[00167]假设取向传感器705在世界坐标系统中的传感器输出值为R_wsτ，用于在所述方位角方向上将图像拾取单元700(绕引力轴)旋转_τ的旋转矩阵为ΔR(_τ)(方位角漂移误差校正值)，由ω_cs判定3×3旋转矩阵为R(ω_SC)。推导用于将参考坐标系统变换到照相机坐标系统的变换方程：

[00168]取向传感器705在照相机坐标系统中的取向ω_cs处理为三元矢量ω_cs＝[ξψξ]^T 。在摄取该图像的时候取向传感器705在照相机坐标系统中的取向ω_cs、图像拾取单元700在某一视点位置(用标识符τ表示)上的位置t_WCτ＝[x_tτ y_tτ z_tτ]^T传感器测量值的“方位角漂移误差校正值”_τ都是未知的。这些未知参数表达为3+4L维状态矢量：

其中，L是在不同视点摄取的图像的总数。

[00169]给状态矢量s赋予合适的初始值。可以通过图像拾取单元位置/状态获取单元7040获得图像拾取单元700的位置t_WCτ的初始值。可以用一种已知的方法获得ω_cs的初始值，在该方法中，表示ω_cs的每个检测值交互地增大/减小，以通过反复试验来调节该值。更具体地说，基于图像拾取单元700的位置的初始值、ω_cs、和传感器输出值，可以将虚拟物体投影到该图像上。因此，操作员使用输入装置例如键盘来调节位置，使得投影的虚拟物体的坐标与相应的真实物体精确地配准。可以使用地磁传感器获得大致的方位角。

[00170]在日本专利公开No.2003-203252(对应于美国专利No.7095424)中公开了获得ω_cs的初始值的另一方法。在显示器上显示基于预定取向的虚拟物体。接下来，操作员监视和调节图像拾取装置的所述取向，使得显示的虚拟物体与真实空间具有正确的位置关系。最后，根据此时取向传感器的输出，计算取向传感器在参考坐标系统中的取向和取向传感器在照相机坐标系统中的取向。

[00171]使用ω_cs的初始值，通过日本专利公开No.2005-107248(对应于美国专利申请No.2005/0068293)中所述的方法计算_τi的初始值。

[00172]由标记管理单元7030管理与在第一实施例中所述的由标记管理单元1030管理的标记信息相似的标记信息。基于每个四角形标记P^k的每个顶点P^ki的图像坐标、每个四角形标记P^k的放置信息和标识符、以及状态矢量s，计算所有标记的顶点的图像坐标u＝[u_x，u_y]^T的理论值。在这种情况下，图像坐标的所述理论值是指在标记的摄取图像中应该观看到的坐标，其是基于图像拾取单元700在参考坐标系统中的位置和取向、以及关于所述标记在所述参考坐标系统中的放置信息计算的。

[00173]基于从取向传感器705在传感器坐标系统中的取向到参考坐标系统中的取向的坐标变换、取向传感器705在传感器坐标系统的取向(取向传感器705的取向的测量值)、方位角漂移误差校正值、和从取向传感器705的取向到图像拾取单元700的取向的坐标变换(ω_SC)，可以计算图像拾取单元700在参考坐标系统中的取向。使用状态矢量s表达某一标记u＝[u_s，u_y]^T的理论评估的计算：

u＝F(s)...  (2-9)

其中F是包括从参考坐标系统到照相机坐标系统的视觉变换和透视投影变换的函数。

[00174]关于所有标记的所述顶点，计算每个标记的实际图像坐标v＝[v_x，v_y]^T和相应理论值的图像坐标u＝[u_x，u_y]^T之间的误差Δu：

Δu＝v-u    ...    (2-10)

[00175]优化状态矢量s，以使Δu最小。使用用于校正状态矢量s的矢量Δs，用下述方式通过泰勒展开进行一阶近似，可以表达Δu：

$\mathrm{\&Delta;u}\&ap;\left|\frac{\&PartialD;u}{\&PartialD;s}\right|\mathrm{\&Delta;s}...(2-11)$

在这种情况下，

$J_{\mathrm{us}}=\left[\frac{\&PartialD;u}{\&PartialD;s}\right],$

其中J_us是2×(3+4L)雅可比矩阵，关于其中的每个元，即为通过方程(2-10)中的u对状态矢量s求偏微分所得的偏微分系数。

[00176]表达式(2-11)是要用于计算取向传感器705的取向的L个图像中的顶点之一的关系式。

[00177]假设从确定要用于计算的图像中提取n个标记。下述表达式成立：

$\left[\begin{array}{c}{\mathrm{\&Delta;u}}_1\\ {\mathrm{\&Delta;u}}_2\\ .\\ .\\ .\\ {\mathrm{\&Delta;u}}_n\end{array}\right]\&ap;\left[\begin{array}{c}{J}_{\mathrm{us}1}\\ J_{\mathrm{us}2}\\ .\\ .\\ .\\ J_{\mathrm{usm}}\end{array}\right]\mathrm{\&Delta;s}...(2-12)$

可以通过最小的平方法计算要计算的未知参数Δs。因为可以通过与第一实施例中所述的方法相似的方法求解这个，所以省略对它的重复描述。

[00178]因为Δs是(3+4L)维矢量，所以，通过在两个摄取图像中检测到至少一个正方形标记，可以获得Δs。

[00179]使用校正值Δs，对状态矢量s进行校正，以得到新的s：

s+Δs→s  ...  (2-13)

[00180]使用判定基准，例如∑Δs是否小于或者等于预定的阈值，或者校正值Δs是否小于或者等于预定的阈值，判定所述计算是否已收敛。如果所述计算不收敛，则校正的状态矢量s作为初始值，并且，重复进行所述计算。

[00181]如果判定所述计算已收敛，则输出被包括在所获得的状态矢量s中的ω_SC。作为表示最新的方位角漂移误差校正值的参数，_τ可以额外输出。

[00182]最后，在步骤S8070中，判定所述计算是否结束。当操作员给出指令结束该计算时，该流程结束。当操作员给出指令继续计算(重新校准)时，再一次获取图像。

[00183]在使用所获得的ω_SC和_τ的呈现在图像中的虚拟物体与真实物体正确配准的情况下，操作员结束该计算。否则，操作员判定继续计算。

[00184]用上述的方式，自动得到适用于计算安装在图像拾取单元700上的取向传感器705相对于图像拾取单元700的取向的图像，以及可以高精度地测量关于取向传感器705的放置信息，而不用依赖于用户的知识和技术。

第三范例实施例

[00185]在第一实施例中，得到标记放置信息或者图像拾取单元100的位置和取向，作为测量对象。在第二实施例中，得到3-DOF取向传感器705在照相机坐标系统中的取向，作为测量对象。

[00186]在第三范例实施例中，得到由6-DOF位置/取向传感器限定的传感器坐标系统相对于参考坐标系统的位置和取向、以及安装在图像拾取单元上的6-DOF位置/取向传感器相对于图像拾取单元的位置和取向，作为未知参数。在第三实施例中，使用与第一实施例和第二实施例中所述的那些标记相同的标记。

[00187]图10是根据第三实施例的计算关于6-DOF位置/取向传感器的放置信息的过程的流程图。

[00188]因为步骤S210或者S230与第一实施例中的步骤S2010或者S2030相似，所以，为了避免冗余，省略对它做描述。

[00189]在步骤S240中，图像判定单元判定是否使用获取的图像计算所述未知参数。因为所述判定方法与第二实施例中所述的方法相似，所以，为了避免冗余，省略对它做描述。或者，可以用与第一实施例中所述的方法相似的方法判定是否使用该图像计算未知参数。

[00190]在步骤S260中，计算所述未知参数。

[00191]在第三实施例中，所述未知参数包括表示传感器坐标系统相对于参考坐标系统的位置和取向的参数s_WT和表示6-DOF传感器的接收器坐标系统相对于照相机坐标系统的位置和取向的参数s_LT。

[00192]假设传感器坐标系统在参考坐标系统中的位置为t_WT＝[t_xWT t_yWT t_zWT]^T，传感器坐标系统相对于参考坐标系统的取向为ω_WT＝[ω_xWT ω_yWT ω_zWT]^T。那么，s_WT＝[t_xWT t_yWT ω_xWT ω_yWT ω_zWT]^T。假设6-DOF传感器的接收器坐标系统在照相机坐标系统中的位置为t_LT＝[t_xLT t_yLT t_zLT]^T，6-DOF传感器的接收器坐标系统相对于照相机坐标系统的取向为ω_LT＝[ω_xLT ω_yLT ω_zLT]^T。那么，s_LT＝[t_xLT t_yLT t_zLT ω_xLT ω_yLT ω_zLT]^T。因为，这12个未知参数表达为状态矢量s：

s＝[t_xWT t_yWT t_sWT ω_xWT ω_yWT ω_zWT t_xLT t_yLT t_zLT ω_xLT ω_yLT ω_zLT]^T。

给状态矢量s赋予合适的初始值。例如，预先输入由用户手动测量的大致值。

[00193]基于与第一实施例中一样的每个四角形标记P^k的每个顶点p^ki的图像坐标、每个四角形标记P^k的放置信息和标识符、以及状态矢量s，计算所有标记的顶点的图像坐标u＝[u_x，u_y]^T的理论值。在这种情况下，假设三维矢量t表示三维坐标系统A相对于某一三维坐标系统B的原点的位置，3×3旋转矩阵R表示旋转，那么由表示在坐标系统A中的位置的x_A(三维矢量)表示的点在坐标系统B中的坐标x_B(三维矢量)表达为：

$\left[\begin{array}{c}{x}_B\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_A\\ 1\end{array}\right]...(3-1).$

假设M集体表示R和t，那么得到下述结果：

$M=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]...(3-2).$

[00194]图11示出放置在参考坐标系统中的标记到照相机坐标系统中的变换。

[00195]假设M_WT是6-DOF位置/取向传感器的传感器坐标系统在参考坐标系统中的位置和取向s_WT，M_TS是6-DOF位置/取向传感器的输出值，M_CS是安装在图像拾取单元上的6-DOF位置/取向传感器在照相机坐标系统中的位置和取向s_LT，以及M_WM是关于标记在参考坐标系统中的放置信息。

[00196]用于将放置在参考坐标系统中的标记变换到照相机坐标系统中的矩阵M_CM是：

M_CM＝M_CS·(M_TS)^-1·(M_WT)^-1·M_WM  ...(3-3)。

[00197]使用状态矢量s表述某一标记u＝[u_x，u_y]^T的理论评估的计算：

u＝F(s)  ...  (3-4)，

其中，F是包括从参考坐标系统到照相机坐标系统的视觉变换和透视投影变换的函数。

[00198]计算使标记的实际图像坐标v＝[v_x，v_y]^T和相应理论值的图像坐标u＝[u_x，u_y]^T之间的误差Δu最小的参数。

[00199]使用用于校正状态矢量s的矢量Δs，用下述方式通过泰勒展开进行一阶近似，可以表达Δu：

$\mathrm{\&Delta;u}\&ap;\left[\frac{\&PartialD;u}{\&PartialD;s}\right]\mathrm{\&Delta;s}...(3-5)$

其中， 是雅可比矩阵。因为雅可比矩阵可以通过已知的方法来计算，所以，省略对用于计算雅可比矩阵的具体方法做描述。

[00200]假设关于某一图像中的点的雅可比矩阵为J_us1。此外，假设从确定要用于计算表达式(3-5)中的未知参数的图像中提取n个标记。那么，得到下述表达式：

$\left[\begin{array}{c}{\mathrm{\&Delta;u}}_1\\ {\mathrm{\&Delta;u}}_2\\ .\\ .\\ .\\ {\mathrm{\&Delta;u}}_n\end{array}\right]\&ap;\left[\begin{array}{c}{J}_{\mathrm{us}1}\\ J_{\mathrm{us}2}\\ .\\ .\\ .\\ J_{\mathrm{usn}}\end{array}\right]\mathrm{\&Delta;s}...(3-6)$

可以通过最小平方法计算要得到的未知参数Δs。因为可以通过与第一实施例和第二实施例中的方法相似的方法求解这个，所以，省略对它做重复的描述。

[00201]使用校正值Δs，对状态矢量s进行校正，以得到新的s：

s+Δs→s  ...  (3-7)

[00202]使用判定基准，例如，误差矢量Δs是否小于或者等于预定的阈值，或者校正值Δs是否小于或者等于预定的阈值，判定计算是否已收敛。如果所述计算不收敛，则校正的状态矢量s作为初始值，并且，重复进行计算。

[00203]如果判定所述计算收敛，则输出安装在图像拾取单元上的6-DOF传感器的传感器坐标系统在参考坐标系统中的坐标变换(位置和取向)和6-DOF传感器的接收器坐标系统在照相机坐标系统中的坐标变换(位置和取向)。

[00204]在步骤S270中，判定是否结束该计算。当操作员给出指令结束该计算时，该流程结束。当操作员给出指令继续计算(重新校准)时，再一次获取图像。

[00205]在使用所得到的状态矢量s而呈现在所述图像中的虚拟物体与真实物体正确配准的情况下，操作员结束该计算。否则，操作员判定继续计算。

[00206]用上述的方式，通过自动判定及计算对于计算由6-DOF位置/取向传感器限定的传感器坐标系统相对于6-DOF传感器的参考坐标系统的位置和取向、以及6-DOF传感器的接收器坐标系统在照相机坐标系统中的位置和取向所需的图像，可以进行高精度的测量，而不用依赖于用户的知识和技术。

变型实施例3-1

[00207]在第一实施例至第三实施例中，使用牛顿-拉夫逊(Newton-Raphson)方法，即，通过对优化计算中的非线性函数反复进行泰勒展开的过程并通过一阶近似对结果进行线性化来寻找最佳解的算法，从而得到校正值。

[00208]然而，可以不必一定通过牛顿-拉夫逊方法来计算校正值。例如，可以通过Levenberg-Marquart方法或者通过最陡下降法得到校正值，所述Levenberg-Marquart方法是已知的叠代非线性方程算法。

[00209]或者，可以使用鲁棒性评估法，例如M评估法，该方法可以在降低统计异常的影响的同时得到解而稳定计算。

第四范例实施例

[00210]在第一实施例至第三实施例中，描述了使用标记的摄取图像自动判定计算未知参数所需的图像的方法。

[00211]在第四实施例中，通过由显示器给用户显示用于移动图像拾取单元的区域或路径来简化测量。在第一实施例中，判定是否使用输入图像计算关于每个标记的放置信息。

[00212]与此不同的是，在第四实施例中，计算图像摄取区域或者被判定以用于计算标记放置信息的图像摄取位置和取向，向用户显示该位置和取向，从而自身地改善输入的图像。

[00213]图12示意性地示出根据第四实施例的信息处理设备300的范例结构。

[00214]图像拾取单元305和显示器365连接信息处理设备300。

[00215]图像获取单元310从图像拾取单元305中获取图像。

[00216]标记提取单元320从所获取的图像中提取标记。

[00217]标记管理单元330管理关于所提取标记的每个四角形标记P^kn的标识符k_n、每个标记P^kn的每个顶点P^kni的图像坐标U^Pkni、以及关于每个标记P^kn的放置信息作为标记信息。

[00218]在图像拾取单元305摄取图像的时候图像拾取单元位置/取向获取单元340获取图像拾取单元305的大致的位置和取向。

[00219]图像摄取区域计算器350计算其中能够摄取足够精确的测量所需的图像的区域。

[00220]图像摄取区域显示单元360在显示器365上显示由图像摄取区域计算器350计算的区域，从而向用户显示该区域。

[00221]图像判定单元370判定是否使用所述获取图像计算关于每个标记的放置信息。

[00222]未知参数计算器380计算所述标记放置信息作为未知参数。

[00223]因为图像获取单元330、标记提取单元320、标记管理单元330和图像拾取单元位置/取向获取单元340与第一实施例中所述的图像获取单元1010、标记提取单元1020、标记管理单元1030和图像拾取单元位置/取向获取单元1040相似，所以，为了避免容易，省略对它做描述。

[00224]图13是根据第四实施例的过程的流程图。

[00225]因为步骤S410至S430与第一实施例中的步骤S2010至S2030相似，所以，为了避免容易，省略对它做描述。

[00226]在步骤S440中，计算图像摄取区域。使用图14，详细地描述计算图像摄取区域的方法。

[00227]图14示出计算图像摄取区域的方法。

[00228]给已判定要使用的图像编上帧号1、2、...、m-1。另外，假设矢量 从在图像拾取单元305摄取第(m-1)帧的时候该图像拾取单元305的位置C_m-1延伸到在从第(m-1)帧中提取的标记组的重心位置G_m-1。假设重心位置G_m-1是要计算的对象标记的代表位置。接下来，假设矢量

从该重心位置G_m-1延伸，并且相对于矢量

成阈值角度θ_TAB。假设区域V无限扩展，由

环绕作为旋转轴的

旋转而形成。假设

是与所述区域V不同的区域。在图像摄取位置位于区域

中的情况下，这说明该图像是在与第(m-1)帧的视点不同的视点上摄取的，这意味着存在能够摄取其视差大得足以计算所述未知参数的图像的区域。因此，在区域

中进行图像摄取，作为接下来应当在其中摄取图像的下一摄取区域。

[00229]假设矢量

和

分别与

的尺寸比为α₁和α₂，它们可以得到为：

$\left|\stackrel{\&RightArrow;}{B_1}\right|={\mathrm{\&alpha;}}_1\left|\stackrel{\&RightArrow;}{A}\right|$

$\left|\stackrel{\&RightArrow;}{B_2}\right|={\mathrm{\&alpha;}}_2\left|\stackrel{\&RightArrow;}{A}\right|...(4-1)$

其中，α₁＜α₂，因此

$\left|\stackrel{\&RightArrow;}{B_1}\right|<\left|\stackrel{\&RightArrow;}{B_2}\right|...(4-2)$

[00230]区域V是无限扩展的区域。或者，限制该区域也是有意义的，因为，当在比摄取第(m-1)帧的视点位置距离所述测量对象的代表位置更近的位置上摄取图像时，提高在图像中检测所述标记的精确度，从而提高对所述未知参数的测量精确度。

[00231]相反，当在比摄取第(m-1)帧的视点位置距离测量对象的代表位置更远的位置上摄取图像时，降低在图像中检测标记的精确度。但是，所述图像摄取区域是扩展的，从而提供检测新的标记的可能性。因此，以下述方式更新所述区域V。

[00232]首先，假设区域V₁是由

绕作为旋转轴的

旋转而得到的，区域V₂是由

绕作为旋转轴的

旋转而得到的。区域V₂-V₁更新为区域V。假设区域

是与区域V不同的区域。在图像摄取位置位于区域

中的情况下，这说明这个区域作为接下来应当在其中摄取图像的下一个图像摄取区域。从这个观点来看，

作为图像摄取区域。

[00233]返回参照图13，在步骤S450中，基于在步骤S440中假设的图像摄取区域，向用户显示图像摄取区域。

[00234]现在，将描述向用户显示所述图像摄取区域的方法。图15A示出其中向用户显示图像摄取区域的实例。

[00235]已经由图像拾取单元位置/取向获取单元340获取在图像拾取单元305摄取所获取的图像的时候该图像拾取单元305的位置和取向。如图15A所示，使用文字和箭头向用户显示该图像摄取区域，以使图像拾取单元305移动到最近的图像摄取区域 。

[00236]用户观看和认识该虚拟图像可摄取区域或者虚拟图像拾取单元的图像摄取位置和取向的显示，并且确定应当摄取图像的真实空间的所述位置。

[00237]由于以这样的方式显示而可以获取足以用于计算所述未知参数的图像的情况下，可以通过第一实施例中所述的方法计算该未知参数。

变型实施例4-1

[00238]在第四实施例中，计算接下来要摄取的图像摄取区域，通过显示器365向用户显示提示用户移动图像拾取单元305的文字和箭头。然而，这种显示不局限于起提示作用的文字和箭头。

[00239]例如，通过呈现和叠加虚拟的CG图像，可以显示图14所示的图像摄取区域自身或者图像拾取单元305的下一个图像摄取位置和取向。只要可以显示下一个图像摄取位置和取向或者图像可摄取区域，所述显示方法就可以使用图案图像、以线条形式显示的三维CG图像和字符。

[00240]虽然在第四实施例中提示用户将图像拾取单元305移到最近的图像摄取区域

，但是可以计算从第(m-2)帧到第(m-1)帧的运动矢量，并且，可以提示用户将图像拾取单元305移到靠近由所述运动矢量表示的方向图像摄取区域

第五范例实施例

[00241]在第二实施例中，描述了使用标记的摄取图像自动判定计算未知参数所需的图像的方法。

[00242]在第五范例实施例中，通过用显示器向用户显示用于移动图像摄取单元的区域或者路径来简化测量。在第二实施例中，判定是否使用图像计算安装在图像摄取单元700上的取向传感器705在照相机坐标系统中的取向。与此相反，在第五实施例中，计算图像摄取区域或者被判定以用于计算安装在图像摄取单元上的取向传感器在照相机坐标系统中的取向的图像摄取位置和取向作为未知参数，并且向用户显示所计算的结果，从而改善输入图像本身。

[00243]图16示意性地示出根据第五实施例的信息处理设备500的范例结构。

[00244]图像摄取单元505和显示器565连接信息处理设备500。

[00245]图像获取单元510从图像摄取单元505获取图像。

[00246]标记提取单元520从所获取的图像中提取标记。

[00247]标记管理单元530管理关于所提取标记的每个正方形标记P^kn的标识符k_n、每个标记P^kn的每个顶点P^kni的图像坐标u^Pkni、以及关于每个标记P^kn的放置信息，作为标记信息。

[00248]在图像拾取单元505摄取图像的同时，图像拾取位置/取向获取单元540获取图像拾取单元505的大致的位置和取向。

[00249]图像摄取区域计算器550计算其中能够摄取对于足够精确测量所需的图像的区域。

[00250]图像摄取区域显示单元560在显示器565上显示由图像摄取区域计算器550计算的区域，从而向用户显示该区域。

[00251]图像判定单元570判定是否使用获取的图像计算所述未知参数。

[00252]未知参数计算器580计算作为所述未知参数的安装在图像摄取单元505上的取向传感器的取向。

[00253]因为图像获取单元510、标记提取单元520、标记管理单元530和图像拾取单元位置/取向获取单元540与第二实施例中所述的图像获取单元7010、标记提取单元7020、标记管理单元7030和图像拾取单元位置/取向获取单元7040相似，所以，为了避免容易，省略对它做描述。

[00254]图17是根据第五实施例的过程的流程图。

[00255]因为步骤S610至S630与第二实施例中的步骤S8010至S8030相似，所以，为了避免容易，省略对它做描述。

[00256]在步骤S640中，计算图像摄取区域。下面详细地描述计算图像摄取区域的方法。

[00257]给判定要使用的图像编上帧号1，2，...，m-1。另外，假设在摄取已判定要用于测量的第j帧(j＝1、2、...、m-1)的时候视觉轴矢量为t_j。假设矢量

是通过平移t_j使得t_j的视点位置经过任意坐标系统A’的原点A₀而得到的。假设矢量 相对于

关于坐标系统A’的原点A₀的角度差θ_TMj，其中角度差θ_TMj是预定的阈值。然后，假设区域V_j是通过环绕作为旋转轴的

旋转

而得到的，假设区域

是与区域V不同的区域。在坐标系统A’中经过平移的图像拾取单元505的视觉轴矢量位于区域

中的情况下，这说明可以在与第j帧的视点不同的视点上摄取的图像。这样，关于所有的第j帧，其中，j＝1、2、...、m-1，其中所述视觉轴矢量被包含在区域

中的图像摄取区域作为接下来应该摄取图像的下一个图像摄取区域。

[00258]然而，即使在视觉轴矢量被包含在区域V_j中的情况下，如果图像拾取单元505是绕视觉轴旋转的，则可以以不同的取向摄取图像。因此，这个区域也作为图像摄取区域。

[00259]在j ＝ 1、2、...、m-1的帧中，选择其中视觉轴矢量被包含在区域V_j中的所有图像。在选择的k个图像中，假设与第k帧(k＝1、2、...、K)的视觉轴矢量正交的矢量v_k是在照相机坐标系统中沿y轴方向的矢量t_y＝[010]^t。根据在图像拾取单元505摄取第k帧的时候该图像拾取单元505的取向R_k，得到下述结论：

v_k ＝ R_j·T_y  ...(5-1)。

[00260]在图像拾取单元505的取向所具有的视觉轴正交矢量v_m相对于v_k绕所述视觉轴矢量的角度差大于或者等于Y_Tmk的情况下，这说明图像拾取单元505绕所述视觉轴旋转，从而将以不同的取向摄取图像。因此，这个区域作为接下来应该摄取图像的下一个图像摄取区域。

[00261]假设区域W_k所具有的视觉轴正交矢量相对于与该视觉轴矢量正交的矢量v_k绕该视觉轴矢量的角度差小于或者等于Y_Tmk，并且，假设区域

是与区域W_k不同的区域。在视觉轴矢量位于区域V_j中且与该视觉轴矢量正交的矢量v_m位于区域

中的情况下，该图像摄取位置/取向作为接下来应该摄取图像的下一个图像摄取区域。

[00262]在步骤S650中，基于在步骤S640中计算的图像摄取区域，向用户显示图像摄取区域。

[00263]因为向用户显示图像摄取区域的方法与第四实施例中的方法相似，为了避免冗余，省略对它做描述。

[00264]用户观看和认识该虚拟图像可摄取区域或者虚拟图像拾取单元的图像摄取位置和取向的显示，并且确定应当摄取图像的真实空间的位置。

[00265]由于以这样的方式显示而可以获取足以用于计算所述未知参数的图像的情况下，可以通过第二实施例中所述的方法计算该未知参数。

第一变型实施例5-1

[00266]在第五实施例中，未知参数是安装在图像拾取单元505上的取向传感器的取向，并且，计算该未知参数所需的图像的摄取区域被显示。在6-DOF传感器作为测量对象的情况下，可以使用类似的图像摄取区域计算方法，以向用户显示图像摄取区域。如第三实施例所述，安装在图像拾取单元上的6-DOF传感器的接收器的位置和取向、以及该6-DOF传感器在参考坐标系统中的位置和取向可以作为未知参数而计算。

变型实施例5-2

[00267]在第一实施例至第四实施例中，自动获取计算所述未知参数所需的图像。然而，在操作员判定必须获取图像的情况下，可以通过输入装置例如键盘手动地获取图像。

第六范例实施例

[00268]在线获取第一实施例至第五实施例中所述的计算未知参数所需的图像并且将该计算结果反应在MR中的同时，根据第六范例实施例的信息处理设备能够使用户体验该MR。

[00269]根据第六实施例的信息处理设备使用视频透视式头盔显示器(HMD)，以显示计算所述未知参数所需的图像的摄取区域。

[00270]在图像拾取单元配准所获取的图像的时候该图像拾取单元的大致位置和取向由图像拾取单元位置/取向获取单元获取，如第一实施例至第五实施例所述。基于所获取的图像拾取单元的大致位置和取向以及所述图像拾取单元的已知内部参数，可以使虚拟物体被呈现并叠加在所获取的图像上。

[00271]在所述未知参数包括图像拾取单元的内部参数的情况下，使用图像拾取单元的内部参数的大致值和所获取的图像拾取单元的大致位置和取向，呈现并叠加虚拟的物体。使用被判定以用于计算所述未知参数的多个图像，计算在第一实施例至第四实施例的其它未知参数，然后，正确地计算已设定为大致值的未知参数。因此，可以将虚拟物体正确地叠加在真实的世界中。

变型实施例6-1

[00272]在第六实施例中，将计算所述未知参数所需的图像的摄取区域显示在视频透视式HMD上。

[00273]然而，用于向用户显示信息的显示器不局限于视频透视式HMD。例如，可以使用阴极射线管(CRT)或者液晶显示器(LCD)，或者可以使用光学透视式HMD。

变型实施例6-2

[00274]可以使第一实施例至第五实施例中的未知参数的计算与使用户能够体验MR的通用计算分开地进行。

[00275]前者涉及第一实施例至第五实施例中的在线判定计算所述未知参数所需的图像并计算所述未知参数。后者涉及图像拾取单元的位置和取向的通用计算和CG呈现计算，以使用户能够体验MR。

[00276]上述计算分成多个思路，并且，通过具有称为“多芯”的多个中央处理单元(CPU)芯的计算机执行所述计算。因此，可以以相对较高的计算成本计算所述未知参数，与此同时，用户能够实时地体验MR。

第七范例实施例

[00277]在第二实施例中，为了计算安装在图像拾取单元700上的取向传感器705在照相机坐标系统中的取向的目的，基于图像拾取单元700的位置和取向(其通过观看所述标记已获取)，自动判定用于计算所述取向的图像。

[00278]在第七范例实施例中，基于取向传感器的输出值，自动判定用于计算取向传感器在照相机坐标系统中的取向的图像。

[00279]图18示意性地示出根据第七实施例的信息处理设备的范例结构。

[00280]图像拾取单元11000连接信息处理设备10000。图像拾取单元11000将空间(标记放置在其中)的图像输出给信息处理设备10000。取向传感器12000安装在图像拾取单元11000上。在图像拾取单元11000摄取图像的时候，将由取向传感器12000测量的值输出给信息处理设备10000。

[00281]图像获取单元10010从图像拾取单元11000获取图像。

[00282]标记提取单元10020从所获取的图像中提取标记。标记管理单元10030管理关于所提取标记的每个正方形标记P^kn的标识符k_n、每个标记P^kn的每个顶点P^kni的图像坐标u^Pkni、以及关于每个标记P^kn的放置信息作为标记信息。

[00283]在摄取图像的同时，传感器输出获取单元10040获得传感器输出值。

[00284]图像判定单元10050判定是否使用由图像获取单元10010输入的图像计算取向传感器12000在照相机坐标系统中的取向。

[00285]使用由图像判定单元10050判定的要使用的图像，取向传感器位置/取向计算器10060计算取向传感器12000在照相机坐标系统中的取向。

[00286]因为所述图像获取单元10010、标记提取单元10020、标记管理单元10030和传感器输出获取单元10040与第二实施例中所述的图像获取单元7010、标记提取单元7020、标记管理单元7030和传感器输出获取单元7060相似，为了避免冗余，省略对它们做详细的描述。

[00287]图19是计算关于在第七实施例中的取向传感器12000相对于照相机坐标系统的放置信息的过程的流程图。

[00288]因为步骤S10110和S10120与第二实施例中的S8010和S8020相似，为了避免冗余，省略对它做描述。

[00289]在步骤S10130中，传感器输出获取单元10040从取向传感器12000中获得传感器输出值。

[00290]在步骤S10140中，基于在步骤S10130中输入的传感器输出值，图像判定单元10050判定是否使用所获取的图像计算取向传感器12000的取向。下面将详细地描述在步骤S10140中的处理。

[00291]图20是在步骤S10140中判定是否使用所获取的图像计算取向传感器12000在照相机坐标系统中的取向的过程的流程图。

[00292]在步骤S10210中，判定在输入图像中是否检测到标记。在已检测到标记的情况下，该流程进入步骤S10220中。否则，该流程进入步骤S20240中。

[00293]在步骤S10220中，将由传感器输出获取单元10040获得的传感器输出值输入给图像判定单元10050。

[00294]在步骤S10230中，计算用于判定是否使用该输入图像计算取向传感器12000在照相机坐标系统中的取向的评估值。

[00295]一般来说，仅仅由回转传感器获得的角度信息表示相对于某一时间的取向的相对取向变化。包括回转传感器的取向传感器使用加速度传感器测量地球引力的方向，从而得到相对于引力方向的绝对的倾斜角(螺旋角pitch angle和滚转角roll angle)。相反，无法得到关于作为绕引力轴的旋转的方位角的绝对参考，从而不能对漂移误差进行校正。所述方位角的测量精确度小于倾斜角的测量精确度。因此，使用所述图像中的所述标记，评估所述方位角(偏航角yawangle)漂移误差校正值和取向传感器12000相对于图像拾取单元11000的取向。摄取图像是否用于所述计算取决于取向传感器12000的取向是否改变了大于某一阈值的量，即，是否以足够不同的取向摄取图像。

[00296]下面将描述计算用于判定所述取向是否足够不同的评估值的方法。

[00297]给已判定要使用的图像编上帧号1，2，...，m-1，并且，将所获取的图像作为第m帧。

[00298]让我们计算在摄取该图像的时候的传感器测量值R_m和在摄取已确定要使用的第j帧(j＝1，2，...，m-1)的时候传感器测量值R_j之间的角度差。首先，计算这两个取向之间的差，即， 然后，将3×3旋转变换矩阵ΔR变换为欧拉角。用绕x轴、y轴和z轴的欧拉角θ＝[αβγ]表达该角度差：

$R=R_{\mathrm{roll}}\&CenterDot;R_{\mathrm{pitch}}\&CenterDot;R_{\mathrm{yaw}}=\left[\begin{array}{ccc}\cos \mathrm{\&gamma;}& -\sin \mathrm{\&gamma;}& 0\\ \sin \mathrm{\&gamma;}& \cos \mathrm{\&gamma;}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\&alpha;}& -\sin \mathrm{\&alpha;}\\ 0& \sin \mathrm{\&alpha;}& \cos \mathrm{\&alpha;}\end{array}\right]\left[\begin{array}{ccc}\cos \mathrm{\&beta;}& 0& -\sin \mathrm{\&beta;}\\ 0& 1& 0\\ \sin \mathrm{\&beta;}& 0& \mathrm{co\&beta;}\end{array}\right]...(7-1).$

[00299]考虑在取向传感器12000的方位角漂移，排除被认为包含漂移分量的方位角β，并且，仅提取倾斜角分量。更具体地说，得到仅仅包含倾斜角分量的欧拉角表示θ′＝[α0γ]，其中，θ的方位角分量设为零，并且，在所得到的θ′被变换为旋转轴旋转角表示的情况下的旋转角Δ被得到。因此，Δ作为评估值。

[00300]在步骤S10240中，基于所得到的评估值，判定是否使用所获取的图像。关于已判定要使用的所有图像(j＝1，2，...，J)，在下述情况下：

Δ_mj＞_threshold    ...    (7-2)，

那么，所得到的图像是以已尚未摄取图像的取向所摄取的图像，因此，判定要使用该图像。在表达式(7-2)中，_threshold是预定的阈值。

[00301]在步骤S10250中，将在步骤S10240中得到的判定结果输出给取向传感器位置/取向计算器10060。

[00302]返回参照图19，在步骤S10150中，在步骤S10140中判定要使用该图像计算取向传感器12000的取向并且已判定要使用的图像的数目m大于或者等于二(m≥2)的情况下，该流程进入步骤S10160。

[00303]相反，在步骤S10140中判定不使用该图像的情况下，该流程返回到步骤S10110。

[00304]在步骤S10160中，使用在多个视点位置上摄取的、由图像判定单元10050判定要使用的图像，取向传感器位置/取向计算器10060计算取向传感器在照相机坐标系统中的取向ω_CS。通过非线性优化得到图像拾取单元11000的位置、方位角漂移误差校正值_τ和ω_CS，以使图像中每个标记的计算位置和图像中每个标记的检测位置之间的误差最小，所述计算位置是基于取向传感器12000的位置、传感器测量值、方位角漂移误差校正值ω_τ和ω_CS而计算得到的。因为该推导方法与第二实施例中所述的步骤S8060相似，所以，为了避免冗余，省略对它做描述。

[00305]最后，在步骤S10170中，判定是否结束该计算。当操作员给出指令结束该计算时，该流程结束。当操作员给出指令继续计算(重新校准)时，再一次获取图像。在使用所得到的ω_CS和ω_τ而呈现在图像中的虚拟物体与相应的真实物体正确地配准的情况下，操作员结束该计算。否则，操作员判定继续该计算。

[00306]以上述的方式，自动得到适用于计算安装在图像拾取单元11000中的取向传感器12000的取向的图像，并且，高度精确地测量关于取向传感器12000的放置信息，而不用依赖于用户的知识和技术。

变型实施例7-1

[00307]在第七实施例中，当计算用于判定是否使用图像的评估值时，排除所述方位角分量，并且，仅有倾斜角分量用于进行判定。然而，如果取向传感器12000可以以相对较高的精确度执行测量，从而可以忽略漂移误差的影响，则可以在不排除方位角分量的情况下计算评估值，并且，可以判定是否使用该图像计算关于安装在图像拾取单元11000上的取向传感器12000的放置信息。

[00308]下面将描述在当计算关于安装在图像拾取单元11000上的取向传感器12000的放置信息时，忽略方位角漂移的情况下的未知参数。

[00309]假设矢量l＝(l₁，l₂，l₃)表示在世界坐标系统中的垂直下降方向(与地球引力相反)，方位角校正角ω_WT表示传感器坐标系统和世界坐标系统之间的的方位角差角(绕引力方向上的轴(引力轴)的旋转角)。在这种情况下，所述传感器坐标系统是由传感器限定的坐标系统，所述传感器输出值表示在传感器坐标系统中的取向。因此，必须对测量对象在传感器坐标系统中的取向进行坐标变换，以将该取向从传感器坐标系统变换到世界坐标系统。使用在由本发明的受让人申请的日本专利公开No.2005-107248中所述的方法，可以进行使用方位角校正角的所述坐标变换。

[00310]  取向传感器12000在照相机坐标系统中的取向ω_CS处理为三元矢量ω_cs＝[ξψξ]^t。取向传感器12000在照相机坐标系统中的取向ω_cs方位角校正角ω_WT和图像拾取单元11000在某一视点位置(用标识符τ表示)上的位置t_WCτ＝[x_tτy_tτz_tτ]^T都是未知的。这些未知参数表达为4+3L维状态矢量的形式：

其中，L是在不同视点摄取的图像的总数。

[00311]可以用与第二实施例中所述的方式相似的方式得到所述未知参数。

其它实施例

[00312]本发明还可以通过下述方式来实施：提供具有在其上记录有软件的程序代码的存储介质(或者记录介质)的系统或者设备，该软件实施上述实施例的特征，并且允许该系统或者设备的计算机(或者CPU或者微处理单元(MPU))读取和执行存储在该存储介质中的程序代码。在这种情况下，从存储介质读取的程序代码自身实施例上述实施例的特征，并且，在其上存储有程序代码的存储介质构成本发明的实施例。可以通过下述方式来实施上述实施例的特征：不仅允许计算机读取和执行程序代码，而且允许在计算机上运行的操作系统(OS)基于程序代码的指令执行实际处理的部分或者全部，从而实施上述实施例的特征。

[00313]可以将从存储介质读取的程序代码写入包含在安装在计算机上的功能扩展卡或者连接计算机的功能扩展单元中的存储器中，并且，功能扩展卡的CPU等可以基于程序代码的指令执行实际处理的部分或者全部。从而实施前述实施例的特征。

[00314]在本发明应用于上述的存储介质的情况下，该存储介质存储与上述的流程图对应的程序代码。

[00315]虽然就范例实施例已描述了本发明，但是应当这样理解，本发明不局限于所披露的范例实施例。下述权利要求的范围应当给予最广义的解释，从而包括所有的修改、等同结构和功能。

Claims (18)

1.一种信息处理方法，其使用存在于真实空间中的标记的摄取图像来计算关于测量对象的信息，包括以下步骤：

获取由图像拾取装置摄取的图像；

从所述摄取图像提取标记；

获取关于所述图像拾取装置的位置和取向信息；

基于由标记信息管理装置管理的关于所述标记的放置信息、以及关于所述图像拾取装置的所述位置和取向信息，判定是否使用与所述位置和取向信息相对应的所述摄取图像来计算关于所述测量对象的信息；以及

在判定要使用所述摄取图像的情况下使用所述摄取图像来计算关于所述测量对象的信息。

2.根据权利要求1所述的信息处理方法，其中关于所述测量对象的所述信息包括关于所述标记的放置信息、所述图像拾取装置的取向、和所述图像拾取装置的参数中的一个。

3.根据权利要求1所述的信息处理方法，其中关于所述测量对象的所述信息是关于所述标记的所述放置信息，以及，

其中基于所计算的放置信息，更新由所述标记信息管理装置管理的所述放置信息。

4.根据权利要求1所述的信息处理方法，其中基于从关于在前一摄取图像中的标记的放置信息中获得的代表位置、在所述图像拾取装置摄取紧接的前一个摄取图像的时候所述图像拾取装置的位置、以及在所述图像拾取装置摄取当前图像的时候所述代表位置和所述图像拾取装置的所述位置之间的关系，判定是否使用所述摄取图像计算关于所述测量对象的信息。

5.根据权利要求1所述的信息处理方法，其中所述标记是可识别的四角形标记。

6.根据权利要求4所述的信息处理方法，其中所述代表位置是所述标记的重心位置。

7.一种信息处理方法，其使用存在于真实空间中的标记的摄取图像来计算关于测量对象的信息，包括以下步骤：

获取由图像拾取装置摄取的图像；

从所述摄取图像提取标记；

获取关于所述图像拾取装置的位置和取向信息；

基于关于所述图像拾取装置的所述位置和取向信息，计算关于其中应该摄取图像的图像摄取区域的区域信息；以及

显示所计算的区域信息。

8.根据权利要求7所述的信息处理方法，其中计算一个区域，所述区域相对于一条从由所述图像拾取装置的所述位置和取向信息表示的位置延伸到从所述摄取图像中提取的所述标记的代表位置的直线的对向角大于或者等于一个预定角。

9.根据权利要求7所述的信息处理方法，其中所述标记是可识别的四角形标记。

10.根据权利要求8所述的信息处理方法，其中所述代表位置是所述标记的重心位置。

11.一种信息处理设备，其使用存在于真实空间中的标记的摄取图像来计算关于测量对象的信息，包括：

摄取图像获取装置，其构造用来获取由图像拾取装置所摄取的图像；

提取装置，其构造用来从所述摄取图像提取标记；

位置/取向信息获取装置，其构造用来获取关于所述图像拾取装置的位置和取向信息；

判定装置，其构造用来基于由标记信息管理装置管理的关于所述标记的放置信息、以及关于所述图像拾取装置的所述位置和取向信息，判定是否使用与所述位置和取向信息相对应的所述摄取图像来计算关于所述测量对象的所述信息；以及

计算器，其构造用来在所述判定装置判定要使用所述摄取图像的情况下，使用所述摄取图像计算关于所述测量对象的所述信息。

12.根据权利要求11所述的信息处理设备，其中关于所述测量对象的所述信息包括关于所述标记的放置信息、所述图像拾取装置的取向、和所述图像拾取装置的参数中的一个。

13.根据权利要求11所述的信息处理设备，其中关于所述测量对象的所述信息是关于所述标记的所述放置信息，以及，

其中基于由所述计算器计算的所述放置信息，更新由所述标记信息管理装置管理的所述放置信息。

14.根据权利要求11所述的信息处理设备，其中所述判定装置构造用来基于从关于在紧接的前一个摄取图像中的所述标记的放置信息中获得的代表位置、在所述图像拾取装置摄取所述紧接的前一个摄取图像的时候所述图像拾取装置的位置、以及在所述图像拾取装置摄取当前图像的时候所述代表位置和所述图像拾取装置的所述位置之间的关系，判定是否使用所述摄取图像计算关于所述测量对象的所述信息。

15.一种信息处理设备，其使用存在于真实空间中的标记的摄取图像来计算关于测量对象的信息，包括：

摄取图像获取装置，其构造用来获取由图像拾取装置摄取的图像；

提取装置，其构造用来从所述摄取图像提取标记；

位置/取向信息获取装置，其构造用来获取关于所述图像拾取装置的位置和取向信息；

计算器，其构造用来基于关于所述图像拾取装置的所述位置和取向信息，计算关于其中应该摄取图像的图像摄取区域的区域信息；以及

显示装置，其构造用来显示由所述计算器计算的所述区域信息。

16.根据权利要求15所述的信息处理设备，其中所述计算器构造用来计算一个区域，其相对于一条从由所述图像拾取装置的所述位置和取向信息表示的位置延伸到从所述摄取图像中提取的所述标记的代表位置的直线的对向角大于或者等于一个预定角。

17.根据权利要求15所述的信息处理设备，其中所述标记是可识别的四角形标记。

18.根据权利要求14所述的信息处理设备，其中所述代表位置是所述标记的重心位置。

Images