CN100578141C - 放置信息估计方法以及信息处理装置 - Google Patents

Abstract

提供了一种用于估计其放置信息具有不同信息量的数个类型的标记的放置信息的方法，从多个图像上检测出数个类型的标记，根据多个图像被拍摄时摄像装置的位置和方位的近似值计算出所检测的标记被投影在图像表面上的位置，得到标记放置信息的校正值以减少所检测的标记在图像表面的位置和所计算出的标记的投影位置之间的误差量，校正标记的放置信息，并且通过重复这些处理来计算数个类型的标记的放置信息。

Description

放置信息估计方法以及信息处理装置

技术领域

本发明涉及一种用于估计位于三维空间内的标记的放置信息的方法。

背景技术

近年来，对于MR(混合现实)技术的研究积极地进行着。MR技术用于将现实空间和计算机所生成的虚拟空间进行无缝地合成。在MR技术中，将虚拟空间叠加到现实空间的AR(增加现实；也称为增强现实)技术尤其受到关注。

一种在其上用AR技术显示图像的图像显示设备是通过一个视频透视方法，其将计算机根据稍后描述的摄像装置的位置和方位生成的关于虚拟空间(虚拟物体，字符信息，或其它，利用计算机图像绘成的)的图像叠加到用例如摄像机的摄像装置拍摄的现实空间的图像上而获得的合成图像，或是用光学透视方法，其将一个根据观察者的视角位置和方位而提供的虚拟空间的图像显示在设置于观察者头部的光学透视型显示器上，来实现的。

可以期待在各种领域里应用AR技术，例如：外科辅助工具，可以将病人身体内的状态叠加到体表；建筑模拟，将虚拟建筑叠加到空地的图像上；装配辅助工具，将安装机械或其它设施等的安装程序以及布线进行叠加。

AR技术中有待解决的最重要的问题就是如何精确地将现实空间和虚拟空间对齐，而且直到目前，已经试验过了很多的方法。AR技术中的对齐问题所对应的就是在视频透视方法中获得摄像装置在场景中(也就是，在参考坐标系中)的位置和方位的问题。同样地，在光学透视方法中，对齐问题对应的就是获得观察者或是显示设备在场景中的位置和方位的问题。

解决前一个问题的一个常用方法就是在摄像装置所拍摄的图像内的标记的投影位置以及标记在参考坐标系中的位置之间的对应的基础上，在场景上排放人工标记或是制造自然特征点标记，以得到摄像装置在参考坐标系中的位置和方位。同样，解决后一个问题的一个常用方法就是将摄像装置设置在待测的目标上(例如，观察者的头上或显示器上)，采用和前述方法相同的办法得到摄像装置的位置和方位，并且因此获得待测目标的位置和方位。

下面参考图1所作的描述是关于位置-方位测量设备的传统例子，其用于通过将从摄像装置拍摄的图像上所检测出来的一个标记的二维坐标和该标记在参考坐标系中的三维位置进行联系从而测量后面所描述的摄像装置的位置和方位。如图1所示，在本常规的例子中，位置-方位测量设备100包括标记检测单元110以及位置-方位计算单元120，并且与摄像装置130相连。

同样，在参考坐标系中的位置为已知的K个标记Q_K(K＝1，2等等到K)被排放在现实空间里作为用以获得摄像装置130的位置和方位的标记。图1的例子表示排放了四个标记Q₁，Q₂，Q₃和Q₄的情形。其中，三个标记Q₁，Q₃和Q₄是在摄像装置130的视野范围之内并且标记Q₂是在摄像装置130的视野范围之外。

标记Q_K可以是任何形状的，例如一个具有和其它标记不同的色彩的圆形标记，或其类似，只要拍摄图像内的标记的投影位置可以被检测出来，并且该标记可以被识别出来。举例说，可以使用三维空间内的自然特征点，且这种点可以利用模板匹配在拍摄图像内检测出来。从摄像装置130输出的图像被输入到位置-方位测量设施100。标记检测单元110输入摄像装置130拍摄的图像，并且检测出在图像上拍摄的标记Q_K的图像坐标。举例说，在标记Q_K中的每个标记都是由色彩各异的一圆形标记组成的情况下，标记检测单元110从输入的图像上检测到对应于每个标记色彩的区域，并且将其重心取作标记的检测坐标。

进一步，标记检测单元110将每个被检测的标记Q_kn的图像坐标u^Mkn及其标识符k_n输出到位置-方位计算单元120。这里，n(＝1，2等等到N)是代表被检测标记的序列号的符号，并且N代表被检测标记的总数。例如，在图1的情况下，N＝3，所以输出识别符k₁＝1，k₂＝3，k₃＝4以及相对应的图像坐标u^Mk1，u^Mk2，以及u^Mk3。

位置方位计算单元120根据作为预先已知信息的每个所检测到的标记Q_kn的图像坐标u^Mkn以及标记Q_kn在参考坐标系中的位置之间的关系，计算出摄像装置130的位置和方位。根据标记的三维坐标以及图像坐标计算摄像装置的位置和方位的方法在照相测量法领域内已经被作为旧技术而提出过了(例如，参见R.M.Haralick，C.Lee，K.Ottenberg，和M.Nolle所著″Review and analysis of solutions of thethree point perspective pose estimation problem″，Int′l.J.ComputerVision，vol.13，no.3，pp.331-356，1994以及M.A.Fischler和R.C.Bolles所著″Random sample consensus：a paradigm for model fittingwith applications to image analysis and automated cartography″，Comm.ACM，vol.24，no.6，pp.381-395，1981)。位置-方位计算单元120使用了例如R.M.Haralick，C.Lee，K.Ottenberg，和M.Nolle所著″Reviewand analysis of solutions of the three point perspective pose estimationproblem″，Int′l.J.Computer Vision，vol.13，no.3，pp.331-356，1994中所描述的方法计算摄像装置130的位置和方位。

注意到的是已经有描述是关于使用了作为三维空间内的多个点的标记(以后，称为“点标记”)的情形，但是使用了具有已知尺寸的正方形标记(以后，称为“正方形标记”)来计算摄像装置的位置和方位的计算方法已经存在，例如，J.Rekimoto所著“Configurationmethod of augmented reality using 2-D matrix code”，Interactive Systemand Software IV，Kindai Kagakusha，1996以及Kato，M.Billinghurst，Asano和Tachibana所著“Augmented reality based on marker tracingand calibration thereof”，Japan Virtual Reality Academic Journal，Vol.4，no.4，pp.607-616，1999所公开的中提出的。一种使用了正方形标记和点标记的结合来计算摄像装置的位置和方位的计算方法已经被提出了，例如H.Kato，M.Billinghurst，I.Pouprev，K.Imamoto和K.Tachibana所著“Virtual object manipulation on a table-top ARenvironment”，Proc.ISAR2000，pp111-119，2000中所公开的。对于这种计算方法，点标记具有一个优势在于点标记甚至可以被设置在一个狭窄的地方，正方形标记的优势在于容易识别，并且可以仅通过一个标记就得到摄像装置的位置和方位，这是因为一个标记就包含了足够的信息，这样就可以充分地利用这两种标记。

根据前面所述的方法，在由摄像装置所拍摄的图像的基础上，过去就可以获得摄像装置的位置和方位。

另一方面，已经有一种安排，其中具有6等级自由度的位置和方位传感器，例如磁性传感器，超声波传感器，或其类似，被附着在用作待测目标的摄像装置上，并且伴随使用上述的图像处理的标记检测方法来对摄像装置的位置和方位进行测量，如日本公开专利No.11-084307，日本公开专利No.2000-041173以及A.State，G.Hirota，D.T.Chen，W.F.Garrett和M.A.Livington所著“Superior augmentedreality registration by intergrating landmark tracking and magnetictracting”，Proc.SIGGRAPH’96，pp.429-438，1996所公开的。传感器的输出的精确度随着测量范围而发生变化，但是可以鲁棒地得到，所以同时使用传感器和图像处理的方法较仅使用图像处理的方法而言可以改进其鲁棒性。

对于使用了标记的对齐方法，为了获得作为待测目标的摄像装置在参考坐标系中的位置和方位，就需要知道在点标记的情况下其在参考坐标系中的位置以及在正方形标记的情况下其在参考坐标系中的位置和方位。在正方形标记的情况下，正方形标记本身就被经常用作坐标系的参考而无需单独提供参考坐标系，但是在使用了多个正方形标记的情况下，就需要知道相互的位置和方位关系，因此，在需要使用参考坐标系这一点上没有差异。

标记的位置和方位可以由手工使用测量卷尺，标尺，或量角器而测得，或通过勘探仪器，但是利用图像的测量技术已经被用来改进精确度以及节约时间。点标记的位置可以通过叫做光束调整法的方法进行测量。光束调整法是一种方法，其中大量的点标记被摄像装置拍摄，通过重复计算而获得拍摄每个图像的摄像装置的位置和方位以及点标记的位置，因而图像上所实际观察到的标记的投影位置，与由摄像装置的位置和方位以及标记的位置而计算出来的投影位置之间的误差，就可以被减到最小。

同样，用于测量排放在三维空间内的多个正方形标记的位置和方位的方法已经被公开在G.Baratoff，A.Neubeck和H.Regenbrecht所著″Interactive multi-marker calibration for augmented realityapplications″，Proc.ISMAR2002，pp.107-116，2002。对于G.Baratoff，A.Neubeck和H.Regenbrecht所著″Interactive multi-marker calibrationfor augmented reality applications″，Proc.ISMAR2002，pp.107-116，2002，通过使用一个方法，其中排放在三维空间中的正方形标记的大量图像被拍摄，得到拍摄每个图像的摄像装置的位置和方位以及每个正方形标记的位置和方位，并且进行重复计算故而投影误差可以被减到最小。

对于前述的用于测量标记的位置和方位的传统方法，点标记的位置，以及“平面”标记例如正方形标记的位置和方位不能同时得到。更具体地，具有不同信息量的放置信息的多重类型标记，例如具有放置信息，也就是三维空间内的点的位置的标记(例如，点标记)，具有放置信息，也就是三维空间内的位置和方位的标记(例如，平面标记)以及等等，其放置信息不能同时获得。结果是，标记的放置信息例如点标记的位置，以及平面标记的位置和方位，以及等等就需要对于每个类型的标记而独立获得。相应地，即使不同类型的标记(例如，点标记和平面标记)在同一个图像上被拍摄，也无法获得每个类型的标记的放置信息以及摄像装置的位置和方位以便将投影误差减到最小，因此不能够精确地获得标记的放置信息。

发明内容

本发明根据前述的问题作出，并且提供了一种方法通过使用摄像装置拍摄包括标记的场景并同时获得其放置信息具有不同信息量的多个类型的标记的放置信息，从而精确地获得各种类型的标记的放置信息。

同样，本发明提供了一种方法用于通过使用摄像装置拍摄包括标记的场景并交替地重复获得其放置信息具有不同信息量的多个类型的标记的放置信息，从而精确地获得各种类型标记的放置信息。

为达到这个目的，根据本发明的第一个方面，一种标记放置信息估计方法，用于估计其放置信息具有不同信息量的数个类型的标记的放置信息，所述方法包括：

标记检测步骤，用于从其上拍摄有包括标记的场景的数个图像上检测图像坐标系中的数个类型的标记的位置；

标记投影位置计算步骤，用于根据所述数个图像被摄像单元拍摄时摄像单元在参考坐标系中的位置和方位的近似值以及各种类型的标记在参考坐标系中的放置信息的近似值，计算数个类型的标记中的每一个被投影在图像表面上的位置；以及

标记放置信息计算步骤，用于根据在所述标记检测步骤中获得的图像坐标系中的所检测到的数个类型的标记的位置和在所述标记投影位置计算步骤中获得的图像表面上的数个类型的标记的投影位置，计算参考坐标系中数个类型的标记的放置信息。

根据本发明的第二个方面，一种放置信息估计设备，用于估计其放置信息具有不同信息量的数个类型的标记的放置信息，所述的设备包括：

标记检测装置，用于从其上拍摄有包括标记的场景的数个图像上检测数个类型的标记在图像坐标系中的位置；

标记投影位置计算装置，用于根据所述数个图像被摄像单元拍摄时摄像单元在参考坐标系中的位置和方位的近似值以及各种类型的标记在参考坐标系中的放置信息的近似值，计算数个类型的标记中的每一个被投影在图像表面上的位置；

以及标记放置信息计算装置，用于根据由所述标记检测装置获得的图像坐标系中的所检测到的数个类型的标记的位置和由所述标记投影位置计算装置获得的图像表面上数个类型的标记的投影位置，计算参考坐标系中数个类型的标记的放置信息。

根据本发明的第一个方面，通过使用摄像装置对包括标记在内的场景进行拍摄并同时获得其放置信息具有不同信息量的多个类型的标记的放置信息，从而可以精确地获得各种类型的标记的放置信息。

同样，根据本发明的第二个方面，通过赋予在图像的检测结果中具有较高可靠性的标记以较重的权重可以精确地获得各种类型的标记的放置信息。

同样，根据本发明的第三个方面，通过使用一摄像装置对包括标记在内的场景进行拍摄以及一个接一个地重复获得其放置信息具有不同信息量的多个类型的标记来精确地获得各种类型标记的放置信息。

本发明的其它特征和优势将在以下结合附图的对最优实施例的描述中变得明显，附图中贯穿图形的同样的参考符号所指的是相同或相似的部分。

附图说明

图1表示的是一个传统的位置-方位测量设备的示意图。

图2表示的是根据第一实施例的标记位置-方位估计设备的功能性构造方框图。

图3表示的是根据第一实施例的标记位置-方位估计设备的硬件构造方框图。

图4A表示的是第一实施例所使用的点标记的示意图。

图4B表示的是第一实施例所使用的平面标记的示意图。

图5表示的是照相摄像机坐标系和图像坐标系的示意图。

图6表示的是共线条件方程的示意图。

图7表示的是根据第一实施例获得点标记的位置以及正方形标记的位置和方位的程序的流程图。

图8A和8B表示的是由三维空间内的一个点的位置来代表的一个标记的示意图。

图9A和9B表示的是由三维空间内的一个位置和方位来代表的一个标记的示意图。

图10表示的是根据第二实施例获得点标记的位置以及正方形标记的位置和方位的程序的流程图。

图11表示的是根据第三实施例的标记位置-方位估计设备的功能性构造的方框图。

图12表示的是照相摄像机位置-方位数据文件格式的一个例子的示意图。

图13表示的是根据第四实施例的标记位置-方位估计系统的处理程序的流程图。

图14表示的是标记文件格式的一个例子的示意图。

具体实施方式

以下参考附图对本发明的最优实施例进行描述。

第一实施例

图2表示的是根据本实施例的标记位置-方位估计设备2的功能性构造的方框图。摄像单元210是照相摄像机，拍摄排放有标记的场景。图像捕捉单元220将摄像单元210所拍摄的图像输入到计算机中。标记检测-识别单元230从图像捕捉单元220输入到计算机中的图像上检测出标记，并且识别每个检测到的标记。标记位置-方位计算单元240在标记检测-识别单元230的标记检测结果的基础上计算每个标记的位置和方位。

图3表示的是根据本实施例的标记位置-方位估计设备2的硬件构造的方框图。图3所示的硬件构造具有和普通个人计算机相同的构造，但是更进一步和图像捕捉设施310以及照相摄像机311相连。该图像捕捉设备310用于将照相摄像机311所拍摄的图像输入到计算机，并且对应着图像捕捉单元220。图像捕捉设备310的一个例子是视频捕捉板，但是并不限于此只要可以输入照相摄像机所拍摄的图像即可。CPU301用作标记检测-识别单元230，以及通过执行存储在未显示的光学介质、外部存储设备或类似介质上的程序而用作标记位置-方位计算单元240。

图3所示的标记位置-方位估计设备2的硬件构造还可以包括其它的传统计算机组件，例如与头戴式显示器(HMD)304进行通信的一个图形加速器302、存储设备，例如磁盘305、只读存储器(ROM)306、随机存取存储器(RAM)307以及一个或多个输入设备，例如键盘309以及鼠标308。

接着，对具有前述的构造的根据本实施例的标记位置-方位估计设备2的操作的概况进行描述。

首先，对本实施例所使用的标记进行描述。图4A和4B表示的是本实施例所要使用的标记的示意图。图4A显示了点标记，其放置信息由三维空间内的一个点的位置来代表。我们可以假设点标记具有一个单色的圆形以便在图像内被检测出来，并且每个点标记的重心代表着其在三维空间内的位置。图4B表示了一个平面标记，其放置信息由三维空间内的一个平面的位置和方位来代表。本实施例使用了正方形标记作为平面标记，但是平面标记并不限于正方形标记，且可以使用任何形状的标记只要标记具有一个平面形状的外形。我们可以假设一个正方形的中心，也就是，两个对角线的交点，代表着三维空间的一个正方形标记的位置。如图4B所示，我们可以假设正方形的法线方向被取作Z轴，正方形标记的坐标系就被指定了因此x轴和y轴可以平行于两边，并且正方形标记坐标系在参考坐标系中的方位被作为正方形标记的方位。本实施例中的正方形标记用一个黑框围起来因此可以从一个图像上轻易地被检测出来，所以位于黑框内的一个正方形就被取作正方形标记。

(1、标记的拍摄)

用户使用摄像单元210拍摄其上排放有标记的场景的许多图像。所拍摄的图像被图像捕捉单元220输入到计算机。

(2、标记的检测和识别)

标记检测-识别单元230从输入到计算机的拍摄图像上检测标记，并且对其进行识别。这里，术语“标记的检测”意味着获得二维图像上的标记的图像坐标。在点标记的情况下，就获得图像上的重心的图像坐标，并且，在正方形标记的情况下，就获得每一个顶点的图像坐标。标记的图像坐标可以自动获得，或可以手工指定，例如，通过用户使用鼠标点击图像。在自动获得点标记位置的情况下，例如，具有和标记相同色彩的像素基于该像素是否属于对应于该色彩的一个YUV色彩空间图像的特定区域而被提取出来，通过给具有同样色彩而相连的像素进行标注从而获得标记区域，并且计算出图像内的标记区域的重心。同样，在自动获得正方形标记的各个顶点位置的情况下，例如，输入图像被转换成二进制图像，正方形标记的黑框区域被检测，并且获得记载该黑框区域的一个四边形。

术语“标记的识别”意味着将图像内的有待检测的标记作为唯一的标记进行识别。标记的识别可以被自动执行，或是由用户手工执行。在自动识别一个点标记的情况下，例如，使用了具有不同色彩的多个标记，而且识别是在标记检测的同时在标记区域的标注色彩的基础上进行的。同样，在自动识别正方形标记的情况下，例如，通过赋予每个标记唯一的形状来进行识别。

(3、标记位置和方位的计算)

标记在参考坐标系中的位置和方位是在该标记的检测和识别结果的基础上计算出来的。首先，进行关于透视投影变换的描述。图5显示的是照相摄像机坐标系和图像坐标系的示意图。我们可以假设观察轴和图像表面的交点被取作图像坐标系的原点O_i，图像的水平线方向被取作x_i轴，并且图像的垂直线方向被取作y_i轴。同样，我们可以假设照相摄像机坐标系的原点O_c和图像表面的焦距为f，照相摄像机坐标系的z_c轴取的是观察轴的反向，在平行于图像的水平线方向的方向上取x_c轴，并且在平行于图像的垂直方向的方向上取y_c轴。

根据透视投影变换，照相摄像机坐标系上的点x_c＝[x_cy_cz_c]^t所投影的点的图像坐标u＝[u_xu_y]^t如表达式2所示。

$u_x=-f\frac{x_c}{z_c}$

$u_y=-f\frac{y_c}{z_c}...\left(2\right)$

对于本实施例，我们可以假设不存在透镜畸变，或是已经被校正了，并且该照相摄像机是一个针孔照相摄像机。如图6所示，表达式2代表的是空间内的一个点，该点在图像上的投影点以及照相摄像机位置(观察位置)是位于同一条直线上的，并且被称为共线条件。

在参考坐标系中，我们可以假设照相摄像机位置为t＝[t_xt_yt_z]^t，并且照相摄像机方位(现实中，参考坐标系相对于照相摄像机坐标系的方位)是ω＝[ω_xω_yω_z]。注意到ω是一个三自由度方位的表达式，该方位由旋转轴向矢量和旋转角表示。如果旋转角是r_a，那么由ω代表的r_a就如表达式(3)所示

$r_a=\sqrt{{{\mathrm{\ω}}_x}^2+{{\mathrm{\ω}}_y}^2+{{\mathrm{\ω}}_z}^2}...\left(3\right)$

同样，如果旋转轴向矢量是r＝[r_xr_yr_z]^t，r和ω之间的关系就由表达式4所显示的来表示。

[ω_xω_yω_z]＝[r_ar_xr_ar_yr_ar_z]    ···(4)

ω(旋转角r_a和旋转轴向矢量r)以及3×3旋转变换矩阵R之间的关系由表达式5所显示的来代表。

$R=\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]$

$=\left[\begin{array}{ccc}{r_x}^2(1-\cos r_a)+\cos r_a& r_x{r}_y(1-\cos r_a)-r_z\sin r_a& r_z{r}_x(1-\cos r_a)+r_y\sin r_a\\ r_x{r}_y(1-\cos r_a)+r_z\sin r_a& {r_y}^2(1-\cos r_a)+\cos r_a& r_y{r}_z(1-\cos r_a)-r_x\sin r_a\\ r_z{r}_x(1-\cos r_a)-r_y\sin r_a& r_y{r}_z(1-\cos r_a)+r_x\sin r_a& {r_z}^2(1-\cos r_a)+\cos r_a\end{array}\right]...\left(5\right)$

参考坐标系中的点x_w＝[x_wy_wz_w]^t的照相摄像机坐标x_c由t和R来代表，如表达式(6)所示。

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_w-t_x\\ y_w-t_y\\ z_w-t_z\end{array}\right]=\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]\left[\begin{array}{c}{x}_w-t_x\\ y_w-t_y\\ z_w-t_z\end{array}\right]...\left(6\right)$

根据表达式(2)和(6)，也就是，透视投影变换，所示参考坐标系中的点x_w＝[x_wy_wz_w]^t投影在图像上的点u＝[u_xu_y]^t，如表达式(7)所示。

$u_x=-f\frac{x_c}{z_c}=-f\frac{R_{11}(x_w-t_x)+R_{12}(y_w-t_y)+R_{13}(z_w-t_z)}{R_{31}(x_w-t_x)+R_{32}(y_w-t_y)+R_{33}(z_w-t_z)}$

$u_y=-f\frac{y_c}{z_c}=-f\frac{R_{21}(x_w-t_x)+R_{22}(y_w-t_y)+R_{23}(z_w-t_z)}{R_{31}(x_w-t_x)+R_{32}(y_w-t_y)+R_{33}(z_w-t_z)}...\left(7\right)$

理想地，从表达式(7)计算出来的基于t，ω，x_w的投影位置(计算位置)和所观察到的位置(观察位置)相同。相应地，如果假设在图像水平方向上的投影位置和观察位置之间的误差是F，垂直方向上的误差为G，并且观察位置是u_o＝[u_oxu_oy]^t，则F和G都变成零，如表达式(8)所示。

$F=-f\frac{R_{11}(x_w-t_x)+R_{12}(y_w-t_y)+R_{13}(z_w-t_z)}{R_{31}(x_w-t_x)+R_{32}(y_w-t_y)+R_{33}(z_w-t_z)}-u_{\mathrm{ox}}=0$

$G=-f\frac{R_{21}(x_w-t_x)+R_{22}(y_w-t_y)+R_{23}(z_w-t_z)}{R_{31}(x_w-t_x)+R_{32}(y_w-t_y)+R_{33}(z_w-t_z)}-u_{\mathrm{oy}}=0...\left(8\right)$

F和G是关于在参考坐标系中的照相摄像机位置t，照相摄像机方位ω，以及观察目标点的位置x_w的函数。当所观察的主体是点标记时，如表达式(9)所示，F和G就变为关于在参考坐标系中的照相摄像机位置t，照相摄像机方位ω，以及点标记的位置x_w的函数。

F(t_x，t_y，t_z，ω_x，ω_y，ω_z，x_w，y_w，z_w)＝0

G(t_x，t_y，t_z，ω_x，ω_y，ω_z，x_w，y_w，z_w)＝0    ···(9)

另一方面，正方形标记由在参考坐标系中的位置t_m＝[t_mxt_myt_mz]^t以及关于参考坐标系的方位ω_m＝[ω_mxω_myω_mz](我们可以假设对应着ω_m的3×3旋转变换矩阵为R_m)来描述。我们可以假设正方形标记的顶点在正方形标记坐标系中的位置为x_m＝[x_my_mO]^t。而正方形标记的顶点在参考坐标系中的位置x_w就变成了t_m和ω_m(R_m)的函数，如表达式(10)所示。

$\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_m& t_m\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_m\\ y_m\\ 0\\ 1\end{array}\right]=\left[\begin{array}{cccc}{R}_{m11}& R_{m12}& R_{m13}& t_{\mathrm{mx}}\\ R_{m21}& R_{m22}& R_{m23}& t_{\mathrm{my}}\\ R_{m31}& R_{m32}& R_{m33}& t_{\mathrm{mz}}\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_m\\ y_m\\ 0\\ 1\end{array}\right]...\left(10\right)$

相应地，如表达式(11)所示，F和G变成了关于照相摄像机位置t，照相摄像机方位ω，正方形标记的位置t_m，以及正方形标记的方位ω_m的函数。

F(t_x，t_y，t_z，ω_x，ω_y，ω_z，t_mx，t_my，t_mz，ω_mx，ω_my，ω_mz)＝0

G(t_x，t_y，t_z，ω_x，ω_y，ω_z，t_mx，t_my，t_mz，ω_mx，ω_my，ω_mz)＝0    ···(11)

表达式(9)和(11)是关于照相摄像机位置和方位，以及标记的位置和方位的非线性表达式。相应地，线性化是在关于照相摄像机的位置和方位，以及标记的位置和方位的近似值的相邻处运用Tayler展开式展开到第一级而进行的，并且通过重复计算而获得照相摄像机的位置和方位，以及标记的位置和方位。

表达式(12)和(13)是将对应的表达式(9)和(10)进行线性化而分别得到的。这里，Δt_x，Δt_y，和Δt_z代表的是照相摄像机位置的近似值的校正量；Δω_x，，Δω_y，，和Δω_z代表的是照相摄像机的方位的近似值的校正值，Δx_w，Δy_w，和Δz_w代表的是点标记的位置的近似值的校正值；Δt_mx，Δt_my，和Δt_mz代表的是正方形标记的位置的近似值的校正值；并且Δω_mx，Δω_my，和Δω_mz代表的是正方形标记的方位的近似值的校正值。

$F^0+\frac{\∂F}{\∂t_x}\mathrm{\Δ}{t}_x+\frac{\∂F}{\∂t_y}\mathrm{\Δ}{t}_y+\frac{\∂F}{\∂t_z}\mathrm{\Δ}{t}_z+\frac{\∂F}{\∂{\mathrm{\ω}}_x}\mathrm{\Δ}{\mathrm{\ω}}_x+\frac{\∂F}{\∂{\mathrm{\ω}}_y}\mathrm{\Δ}{\mathrm{\ω}}_y+\frac{\∂F}{\∂{\mathrm{\ω}}_z}\mathrm{\Δ}{\mathrm{\ω}}_z$

$+\frac{\∂F}{\∂x_w}\mathrm{\Δ}{x}_w+\frac{\∂F}{\∂y_w}\mathrm{\Δ}{y}_w+\frac{\∂F}{\∂z_w}\mathrm{\Δ}{z}_w=0$

$G^0+\frac{\∂G}{\∂t_x}\mathrm{\Δ}{t}_x+\frac{\∂G}{\∂t_y}\mathrm{\Δ}{t}_y+\frac{\∂G}{\∂t_z}\mathrm{\Δ}{t}_z+\frac{\∂G}{\∂{\mathrm{\ω}}_x}\mathrm{\Δ}{\mathrm{\ω}}_x+\frac{\∂G}{\∂{\mathrm{\ω}}_y}\mathrm{\Δ}{\mathrm{\ω}}_y+\frac{\∂G}{\∂{\mathrm{\ω}}_z}\mathrm{\Δ}{\mathrm{\ω}}_z$

$+\frac{\∂G}{\∂x_w}\mathrm{\Δ}{x}_w+\frac{\∂G}{\∂y_w}\mathrm{\Δ}{y}_w+\frac{\∂G}{\∂z_w}\mathrm{\Δ}{z}_w=0...\left(12\right)$

$F^0+\frac{\∂F}{\∂t_x}\mathrm{\Δ}{t}_x+\frac{\∂F}{\∂t_y}\mathrm{\Δ}{t}_y+\frac{\∂F}{\∂t_z}\mathrm{\Δ}{t}_z+\frac{\∂F}{\∂{\mathrm{\ω}}_x}\mathrm{\Δ}{\mathrm{\ω}}_x+\frac{\∂F}{\∂{\mathrm{\ω}}_y}\mathrm{\Δ}{\mathrm{\ω}}_y+\frac{\∂F}{\∂{\mathrm{\ω}}_z}\mathrm{\Δ}{\mathrm{\ω}}_z$

$+\frac{\∂F}{\∂t_{\mathrm{mx}}}\mathrm{\Δ}{t}_{\mathrm{mx}}+\frac{\∂F}{\∂t_{\mathrm{my}}}\mathrm{\Δ}{t}_{\mathrm{my}}+\frac{\∂F}{\∂t_{\mathrm{mz}}}\mathrm{\Δ}{t}_{mz}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{mx}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mx}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{my}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{my}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{mz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mz}}=0$

$G^0+\frac{\∂G}{\∂t_x}\mathrm{\Δ}{t}_x+\frac{\∂G}{\∂t_y}\mathrm{\Δ}{t}_y+\frac{\∂G}{\∂t_z}\mathrm{\Δ}{t}_z+\frac{\∂G}{\∂{\mathrm{\ω}}_x}\mathrm{\Δ}{\mathrm{\ω}}_x+\frac{\∂G}{\∂{\mathrm{\ω}}_y}\mathrm{\Δ}{\mathrm{\ω}}_y+\frac{\∂G}{\∂{\mathrm{\ω}}_z}\mathrm{\Δ}{\mathrm{\ω}}_z$

$+\frac{\∂G}{\∂t_{\mathrm{mx}}}\mathrm{\Δ}{t}_{\mathrm{mx}}+\frac{\∂G}{\∂t_{\mathrm{my}}}\mathrm{\Δ}{t}_{\mathrm{my}}+\frac{\∂G}{\∂t_{\mathrm{mz}}}\mathrm{\Δ}{t}_{mz}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{mx}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mx}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{my}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{my}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{mz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mz}}=0...\left(13\right)$

这里，表达式(12)和(13)中的F⁰和G⁰是常量，并且代表了观察位置u_o和当用关于照相摄像机的位置和方位以及点标记的位置或是正方形标记的位置和方位的近似值来代替F和G时所获得的标记的投影位置(计算位置)之间的偏差。

表达式(12)是关于在某图像上所观察到的点标记的观察方程。表达式(13)是关于在某图像上所观察到的正方形标记的一个顶点的观察方程。在现实中，多个点标记或多个正方形标记是在多个图像上被观察到的，所以获得多个表达式(12)和(13)。相应地，通过解作为联立方程的，关于对应着照相摄像机的位置和方位，点标记的位置，以及正方形标记的位置和方位的近似值的校正值的多重表达式(12)和(13)，来获得照相摄像机的位置和方位，点标记的位置，以及正方形标记的位置和方位。

图7表示的是根据本实施例获得点标记的位置以及正方形标记的位置和方位的程序的流程图。现在，我们可以假设对于包括标记的场景的拍摄以及从所拍摄的图像上提取并识别标记已经完成。在步骤S100，关于拍摄每个图像的照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位的近似值被设定。在接下来的步骤，获得用于校正步骤S100所设定的近似值的校正值。在步骤S110，形成用于同时获得每个近似值的校正值的联立方程，以便根据关于照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位的近似值，将投影误差减到最小。在步骤S120，从在步骤S110被公式化的联立方程获得每个近似值的校正值。在步骤S130，通过使用在步骤S120获得的对应校正值来校正每个近似值从而获得新的近似值。在步骤S140，判断关于照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位的近似值在步骤S130是否收敛于最优值。如果是，处理就结束。如果否，处理就回到步骤S110并且重复从步骤S110到步骤S140的处理。关于每一步的更为详尽的描述将在以下进行。

在步骤S100，关于拍摄每个图像的照相摄像机的位置和方位、点标记的位置以及正方形标记的近似值被输入。这里，我们可以假设所拍摄的图像的数目为N，拍摄每个图像的照相摄像机的位置是t_i＝[t_ixt_iyt_iz]^t(i＝1，等等到N)，且其方位为ω_i＝[ω_ixω_iyω_iz](i＝1，等等到N)。同样，我们可以假设位置有待获得的点标记的数目为K_p，并且每个点标记的位置为x_wi＝[x_wiy_wiz_wi]^t(i＝1，等等到N)。进一步，我们可以假设位置和方位有待获得的正方形标记的数目为K_s，并且每个正方形标记的位置是t_mi＝[t_mixt_miyt_miz]^t(i＝1，等等到K_s)，且其方位是ω_mi＝[ω_mixω_miyω_miz](i＝1，等等到N)。

每个照相摄像机的位置和方位的近似值可以从设置在照相摄像机上的6自由度位置方位传感器例如磁性传感器的输出值而得到，或是从在参考坐标系中的位置为已知的点以及这些点在图像上的投影位置之间的对应关系而得到。在使用了其在参考坐标系中的位置为已知的点的情况下，位置为已知的点和其有待于由本实施例获得的位置为未知的点在场景上是参杂在一起的。可替代地，每个照相摄像机的位置和方位的近似值可以在后面所描述的标记的位置和方位的近似值的基础上获得。

可替代地，每个照相摄像机的位置和方位的近似值可以机械地获得，例如，利用运动控制照相摄像机，或使用位置和方位已事先经过校准的照相摄像机进行拍摄以使用校准结果。

每一个标记的位置和方位的近似值可以是由手工使用测量卷尺、标尺、量角器或是由勘探仪器测量而得到的粗略值，或者可以是使用根据本实施例的方法或其类似方法估计一次而得到的值。

接下来，在步骤S110，对数量相当于图像上有待观察的标记的数目的表达式(12)和(13)的观察方程进行公式化。表达式(12)和(13)是关于一个照相摄像机的位置和方位的校正值、一个点标记的位置的校正值以及一个正方形标记的位置和方位的校正值的观察方程。这里，如表达式(14)所示，关于N个照相摄像机的位置和方位的校正值、K_p个点标记的位置的校正值、K_s个正方形标记的位置和方位的校正值的观察方程被公式化。在这种情况下，未知的数目为(6×N+3×K_p+6×K_s)。

$F^0+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{\∂F}{\∂t_{\mathrm{ix}}}\mathrm{\Δ}{t}_{\mathrm{ix}}+\frac{\∂F}{\∂t_{\mathrm{iy}}}\mathrm{\Δ}{t}_{\mathrm{iy}}+\frac{\∂F}{\∂t_{\mathrm{iz}}}\mathrm{\Δ}{t}_{\mathrm{iz}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{ix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{ix}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{iy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iy}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{iz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iz}})$

$+\underset{i=1}{\overset{K_p}{\mathrm{\Σ}}}(\frac{\∂F}{\∂x_{\mathrm{wi}}}\mathrm{\Δ}{x}_{\mathrm{wi}}+\frac{\∂F}{\∂y_{\mathrm{wi}}}\mathrm{\Δ}{y}_{\mathrm{wi}}+\frac{\∂F}{\∂z_{\mathrm{wi}}}\mathrm{\Δ}{z}_{\mathrm{wi}})$

$+\underset{i=1}{\overset{K_s}{\mathrm{\Σ}}}(\frac{\∂F}{\∂t_{\mathrm{mix}}}\mathrm{\Δ}{t}_{\mathrm{mix}}+\frac{\∂F}{\∂t_{\mathrm{miy}}}\mathrm{\Δ}{t}_{\mathrm{miy}}+\frac{\∂F}{\∂t_{\mathrm{miz}}}\mathrm{\Δ}{t}_{\mathrm{miz}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{mix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mix}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{miy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miy}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{miz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miz}})=0$

$G^0+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{\∂G}{\∂t_{\mathrm{ix}}}\mathrm{\Δ}{t}_{\mathrm{ix}}+\frac{\∂G}{\∂t_{\mathrm{iy}}}\mathrm{\Δ}{t}_{\mathrm{iy}}+\frac{\∂G}{\∂t_{\mathrm{iz}}}\mathrm{\Δ}{t}_{\mathrm{iz}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{ix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{ix}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{iy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iy}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{iz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iz}})$

$+\underset{i=1}{\overset{K_p}{\mathrm{\Σ}}}(\frac{\∂G}{\∂x_{\mathrm{wi}}}\mathrm{\Δ}{x}_{\mathrm{wi}}+\frac{\∂G}{\∂y_{\mathrm{wi}}}\mathrm{\Δ}{y}_{\mathrm{wi}}+\frac{\∂G}{\∂z_{\mathrm{wi}}}\mathrm{\Δ}{z}_{\mathrm{wi}})$

$+\underset{i=1}{\overset{K_s}{\mathrm{\Σ}}}(\frac{\∂G}{\∂t_{\mathrm{mix}}}\mathrm{\Δ}{t}_{\mathrm{mix}}+\frac{\∂G}{\∂t_{\mathrm{miy}}}\mathrm{\Δ}{t}_{\mathrm{miy}}+\frac{\∂G}{\∂t_{\mathrm{miz}}}\mathrm{\Δ}{t}_{\mathrm{miz}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{mix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mix}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{miy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miy}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{miz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miz}})=0...\left(14\right)$

如果假设从图像i(i＝1，等等到N)上有待检测的点标记的数目为d_pi，并且正方形标记的数目为d_si，从N个图像上检测的点标记的数目D_p以及从N个图像上检测的正方形标记的数目D_s就由表达式(15)所示来代表。

$D_p=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_{\mathrm{pi}}$

$D_s=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_{\mathrm{si}}...\left(15\right)$

当从N个图像检测的点标记的数目为D_p而从N个图像检测的正方形标记的数目为D_s，(D_p+4×D_s)套观察方程，也就是，2×(D_p+4×D_s)个观察方程被公式化。如果通过将位于表达式(14)左边的常数F⁰和G⁰移项到右边来对联立方程进行公式化，联立方程就被写成如表达式(16)所示的矩阵格式。

J·Δ＝E    ···(16)

J被称为“Jacobian矩阵”，其中关于照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位的F和G的偏微分系数被排列着。Jacobian矩阵J的行数是观察方程的数目，也就是，2×(D_p+4×D_s)，其列数是未知数的数目，也就是(6×N+3×K_p+6×K_s)。Δ代表的是一个校正矢量。校正矢量的大小就是未知数的数目，也就是，(6×N+3×K_p+6×K_s)。E代表的是一个误差矢量，并且含有-F₀和-G₀其为由近似值而来的投影位置的计算位置和观察位置之间的偏差。E的大小为观察方程的数目，也就是，2×(D_p+4×D_s)。

注意到的是通过同时拍摄其位置为已知的点标记或是其在参考坐标系中的位置和方位同时为已知的正方形标记，就可以清楚地确定参考坐标系的原点、刻度以及方位。在表达式(14)，关于这些标记的位置和方位的偏微分系数变为零。为了清楚地确定参考坐标系的原点、刻度以及方位，在点标记的情况下就需要使用三个其位置为已知的点标记，而在正方形标记的情况下就需要使用一个位置和方位为已知的正方形标记。

接下来，在步骤S120，利用表达式(16)可以获得关于照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位的近似值的校正值。当Jacobian矩阵J是一个正方形矩阵时，校正值矢量Δ就可以通过在表达式(16)的两端同时乘以矩阵J的逆矩阵而得到。当矩阵J不是一个正方形矩阵时，校正矢量Δ就通过利用最小均方法得到，如表达式(17)所示。

Δ＝(J^t·J)^-1·J^t·E    ···(17)

接下来，对用以获得Jacobian矩阵的每个元素的方法进行描述。首先，进行定义F＝[FG]^t。从表达式(7)和(8)，F和G可以被写成如表达式(18)所示的，所以F和G是x_c，y_c和z_c的函数。

$F=-f\frac{x_c}{z_c}-u_{\mathrm{ox}}$

$G=-f\frac{y_c}{z_c}-u_{\mathrm{oy}}...\left(18\right)$

Jacobian矩阵

的每一个元素都具有一个对x_c，y_c，和z_c的F和G的偏微分系数，可以被写成如表达式(19)所示的。

$J_{{\mathrm{Fx}}_c}=\left[\begin{array}{ccc}\frac{\∂F}{\∂x_c}& \frac{\∂F}{\∂y_c}& \frac{\∂F}{\∂z_c}\\ \frac{\∂G}{\∂x_c}& \frac{\∂G}{\∂y_c}& \frac{\∂G}{\∂z_c}\end{array}\right]=\left[\begin{array}{ccc}-\frac{f}{z_c}& 0& \frac{f{x}_c}{{z_c}^2}\\ 0& -\frac{f}{z_c}& \frac{f{y}_c}{{z_c}^2}\end{array}\right]...\left(19\right)$

这里，如果x_c，y_c，z_c是变量S1、S2等等直到S_m的函数，则F和G同样也是变量S1，S2等等直到S_m的函数。每个元素都具有一个对S1、S2等等直到S_m，的F和G的偏微分系数的Jacobian矩阵J_Fs，就可以被分解为如表达式(20)所示的。

$J_{\mathrm{Fs}}=J_{{\mathrm{Fx}}_c}\·J_{x_{c}s}=\left[\begin{array}{ccc}\frac{\∂F}{\∂x_c}& \frac{\∂F}{\∂y_c}& \frac{\∂F}{\∂z_c}\\ \frac{\∂G}{\∂x_c}& \frac{\∂G}{\∂y_c}& \frac{\∂G}{\∂z_c}\end{array}\right]\left[\begin{array}{cccc}\frac{\∂x_c}{\∂s_1}& \frac{\∂x_c}{\∂s_2}& \·\·\·& \frac{\∂x_c}{\∂s_m}\\ \frac{\∂y_c}{\∂s_1}& \frac{\∂y_c}{\∂s_2}& \·\·\·& \frac{\∂y_c}{\∂s_m}\\ \frac{\∂z_c}{\∂s_1}& \frac{\∂z_c}{\∂s_2}& \·\·\·& \frac{\∂z_c}{\∂s_m}\end{array}\right]...\left(20\right)$

通过用照相摄像机位置t，照相摄像机方位ω，以及点标记位置x_w来代替s，就得到关于F和G的照相摄像机位置、照相摄像机方位以及点标记位置的偏微分系数。

每个元素都具有一个关于照相摄像机位置t_x，t_y，t_z的F和G的偏微分系数的Jacobian矩阵J_Ft可以被写成如表达式(21)所示的。

$J_{\mathrm{Ft}}=J_{{\mathrm{Fx}}_c}\·J_{x_{c}t}=J_{{\mathrm{Fx}}_c}\·\left[\begin{array}{ccc}\frac{\∂x_c}{\∂t_x}& \frac{\∂x_c}{\∂t_y}& \frac{\∂x_c}{\∂t_z}\\ \frac{\∂y_c}{\∂t_x}& \frac{\∂y_c}{\∂t_y}& \frac{\∂y_c}{\∂t_z}\\ \frac{\∂z_c}{\∂t_x}& \frac{\∂z_c}{\∂t_y}& \frac{\∂z_c}{\∂t_z}\end{array}\right]$

$=J_{{\mathrm{Fx}}_c}\·\left[\begin{array}{ccc}-R_{11}& {-R}_{12}& -R_{13}\\ -R_{21}& -R_{22}& -R_{23}\\ -R_{31}& -R_{32}& -R_{33}\end{array}\right]...\left(21\right)$

注意到方位ω以及3×3旋转变换矩阵R之间的关系如表达式(5)所示。

每个元素都具有关于照相摄像机方位ω_x、ω_y以及ω_z的F和G的偏微分系数的Jacobian矩阵J_Fω就可以被写成如表达式(22)所示的。

这里，

是如表达式(23)所示的Jacobian矩阵。

$J_{x_{c}R}=\left[\begin{array}{ccccccccc}\frac{\∂x_c}{\∂R_{11}}& \frac{\∂x_c}{\∂R_{21}}& \frac{\∂x_c}{\∂R_{31}}& \frac{\∂x_c}{\∂R_{12}}& \frac{\∂x_c}{\∂R_{22}}& \frac{\∂x_c}{\∂R_{32}}& \frac{\∂x_c}{\∂R_{13}}& \frac{\∂x_c}{\∂R_{23}}& \frac{\∂x_c}{\∂R_{33}}\\ \frac{\∂y_c}{\∂R_{11}}& \frac{\∂y_c}{\∂R_{21}}& \frac{\∂y_c}{\∂R_{31}}& \frac{\∂y_c}{\∂R_{12}}& \frac{\∂y_c}{\∂R_{22}}& \frac{\∂y_c}{\∂R_{32}}& \frac{\∂y_c}{\∂R_{13}}& \frac{\∂y_c}{\∂R_{23}}& \frac{\∂y_c}{\∂R_{33}}\\ \frac{\∂z_c}{\∂R_{11}}& \frac{\∂z_c}{\∂R_{21}}& \frac{\∂z_c}{\∂R_{31}}& \frac{\∂z_c}{\∂R_{12}}& \frac{\∂z_c}{\∂R_{22}}& \frac{\∂z_c}{\∂R_{32}}& \frac{\∂z_c}{\∂R_{13}}& \frac{\∂z_c}{\∂R_{23}}& \frac{\∂z_c}{\∂R_{33}}\end{array}\right]$

$=\left[\begin{array}{ccccccccc}{x}_w-t_x& 0& 0& y_w-t_y& 0& 0& z_w-t_z& 0& 0\\ 0& x_w-t_x& 0& 0& y_w-t_y& 0& 0& z_w-t_z& 0\\ 0& 0& x_w-t_x& 0& 0& y_w-t_y& 0& 0& z_w-t_z\end{array}\right]...\left(23\right)$

同样，J_Rr是如表达式(24)所示的Jacobian矩阵。

$J_{\mathrm{Rr}}=\left[\begin{array}{cccc}\frac{\∂R_{11}}{\∂r_x}& \frac{\∂R_{11}}{\∂r_y}& \frac{\∂R_{11}}{\∂r_z}& \frac{\∂R_{11}}{\∂r_a}\\ \frac{\∂R_{21}}{\∂r_x}& \frac{\∂R_{21}}{\∂r_y}& \frac{\∂R_{21}}{\∂r_z}& \frac{\∂R_{21}}{\∂r_a}\\ \frac{\∂R_{31}}{\∂r_x}& \frac{\∂R_{31}}{\∂r_y}& \frac{\∂R_{31}}{\∂r_z}& \frac{\∂R_{31}}{\∂r_a}\\ \frac{\∂R_{12}}{\∂r_x}& \frac{\∂R_{12}}{\∂r_y}& \frac{\∂R_{12}}{\∂r_z}& \frac{\∂R_{12}}{\∂r_a}\\ \frac{\∂R_{22}}{\∂r_x}& \frac{\∂R_{22}}{\∂r_y}& \frac{\∂R_{22}}{\∂r_z}& \frac{\∂R_{22}}{\∂r_a}\\ \frac{\∂R_{32}}{\∂r_x}& \frac{\∂R_{32}}{\∂r_y}& \frac{\∂R_{32}}{\∂r_z}& \frac{\∂R_{32}}{\∂r_a}\\ \frac{\∂R_{13}}{\∂r_x}& \frac{\∂R_{13}}{\∂r_y}& \frac{\∂R_{13}}{\∂r_z}& \frac{\∂R_{13}}{\∂r_a}\\ \frac{\∂R_{23}}{\∂r_x}& \frac{\∂R_{23}}{\∂r_y}& \frac{\∂R_{23}}{\∂r_z}& \frac{\∂R_{23}}{\∂r_a}\\ \frac{\∂R_{33}}{\∂r_x}& \frac{\∂R_{33}}{\∂r_y}& \frac{\∂R_{33}}{\∂r_z}& \frac{\∂R_{33}}{\∂r_a}\end{array}\right]$

$=\left[\begin{array}{cccc}2r_x(1-\cos r_a)& 0& 0& ({r_x}^2-1)\sin r_a\\ r_y(1-\cos r_a)& r_x(1-\cos r_a)& \sin r_a& r_x{r}_y\sin r_a+r_z\cos r_a\\ r_z(1-\cos r_a)& -\sin r_a& r_x(1-\cos r_a)& r_z{r}_x\sin r_a-r_y\cos r_a\\ r_y(1-\cos r_a)& r_x(1-\cos r_a)& -\sin r_a& r_x{r}_y\sin r_a-r_z\sin r\\ 0& 2r_y(1-\cos r_a)& 0& ({r_y}^2-1)\sin r_a\\ \sin r_a& r_z(1-\cos r_a)& r_y(1-\cos r_a)& r_y{r}_z\sin r_a+r_x\cos r_a\\ r_z(1-\cos r_a)& \sin r_a& r_x(1-\cos r_a)& r_z{r}_x\sin r_a+r_y\cos r_a\\ -{\sin r}_a& r_z(1-\cos r_a)& r_y(1-\cos r_a)& r_y{r}_z\sin r_a-r_x\cos r_a\\ 0& 0& 2r_z(1-\cos r_a)& ({r_z}^2-1)\sin r_a\end{array}\right]...\left(24\right)$

同样，如果定义ω＝[ω_xω_yω_zθ]＝[r_ar_xr_ar_yr_ar_zr_a]，那么

是如表达式(25)所示的Jacobian矩阵。

进一步，

是如表达式(26)所示的Jacobian矩阵。

每一个元素都具有关于标记位置

和

的F和G的偏微分系数的Jacobian矩阵

可以被写成如表达式(27)所示的。

$J_{{\mathrm{Fx}}_w}=J_{{\mathrm{Fx}}_c}\·J_{x_c{x}_w}=J_{{\mathrm{Fx}}_c}\·\left[\begin{array}{ccc}\frac{\∂x_c}{\∂x_w}& \frac{\∂x_c}{\∂y_w}& \frac{\∂x_c}{\∂z_w}\\ \frac{\∂y_c}{\∂x_w}& \frac{\∂y_c}{\∂y_w}& \frac{\∂y_c}{\∂z_w}\\ \frac{\∂z_c}{\∂x_w}& \frac{\∂z_c}{\∂y_w}& \frac{\∂z_c}{\∂z_w}\end{array}\right]=J_{{\mathrm{Fx}}_c}\·\left[\begin{array}{ccc}{R}_{11}& R_{12}& R_{13}\\ R_{21}& R_{22}& R_{23}\\ R_{31}& R_{32}& R_{33}\end{array}\right]...\left(27\right)$

在正方形标记的情况下，x_w是位置t_m和方位ω_m的函数，所以F和G同样也是t_m和方位ω_m的函数。每一个元素都具有关于位置t_m的F和G的偏微分系数的Jacobian矩阵可以被分解为表达式(28)所示。

$J_{F{t}_m}=J_{{\mathrm{Fx}}_c}\·J_{x_c{x}_w}\·J_{x_w{t}_m}=J_{{\mathrm{Fx}}_c}\·J_{x_c{x}_w}\·\left[\begin{array}{ccc}\frac{\∂x_w}{\∂t_{\mathrm{mx}}}& \frac{\∂x_w}{\∂t_{\mathrm{my}}}& \frac{\∂x_w}{\∂t_{\mathrm{mz}}}\\ \frac{\∂y_w}{\∂t_{\mathrm{mx}}}& \frac{\∂y_w}{\∂t_{\mathrm{my}}}& \frac{\∂y_w}{\∂t_{\mathrm{mz}}}\\ \frac{\∂z_w}{\∂t_{\mathrm{mx}}}& \frac{\∂z_w}{\∂t_{\mathrm{my}}}& \frac{\∂z_w}{\∂t_{\mathrm{mz}}}\end{array}\right]$

$=J_{{\mathrm{Fx}}_c}\·J_{x_c{x}_w}\·\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]...\left(28\right)$

每一个元素都具有关于方位ω_m的F和G的偏微分系数的Jacobian矩阵可以被分解为如表达式(29)所示。

$J_{F{\mathrm{\ω}}_m}=J_{{\mathrm{Fx}}_c}\·J_{x_c{x}_w}\·J_{x_w{\mathrm{\ω}}_m}=J_{{\mathrm{Fx}}_c}\·J_{x_c{x}_w}\·J_{x_w{R}_m}\·J_{R_m{\mathrm{\ω}}_m}$

$=J_{{\mathrm{Fx}}_c}\·J_{x_c{x}_w}\·\left[\begin{array}{ccccccccc}{x}_m& 0& 0& y_m& 0& 0& 0& 0& 0\\ 0& x_m& 0& 0& y_m& 0& 0& 0& 0\\ 0& 0& x_m& 0& 0& y_m& 0& 0& 0\end{array}\right]\·J_{R_m{\mathrm{\ω}}_m}...\left(29\right)$

可以采用如表达式(24)到(26)的同样的方法而得到。

接下来，在步骤S130，用在步骤S120所得到的校正值来对照相摄像机位置和方位、点标记位置以及正方形标记位置和方位的近似值进行校正。N个照相摄像机的位置和方位如表达式(30)所示的被校正。

t_ix＝t_ix+Δt_ix

t_iy＝t_iy+Δt_iy

t_iz＝t_iz+Δt_iz

                    (i＝1，2，…，N)··(30)

ω_ix＝ω_ix+Δω_ix

ω_iy＝ω_iy+Δω_iy

ω_iz＝ω_iz+Δω_iz

同样，Kp个点标记的位置如表达式(31)所示的被校正。

x_wi＝x_wi+Δx_wi

y_wi＝y_wi+Δy_wi      (i＝1，2，…，K_p)··(31)

z_wi＝z_wi+Δz_wi

同样，Ks个正方形标记的位置和方位如表达式(32)所示的被校正。

t_mix＝t_mix+Δt_mix

t_miy＝t_miy+Δt_miy

t_miz＝t_miz+Δt_miz

                        (i＝1，2，…，K_s)··(32)

ω_mix＝ω_mix+Δω_mix

ω_miy＝ω_miy+Δω_miy

ω_miz＝ω_miz+Δω_miz

接下来，在步骤S140，判断收敛。收敛的判断是通过判断一个条件而进行的，例如，校正值的绝对值是否小于特定的阀值，投影位置的计算位置和观察位置之间的偏差是否小于一个特定的阀值，投影位置的计算位置和观察位置之间的偏差是否变成一个最小值，等等。当判断的结果是收敛已经满足时，对于标记的位置和方位的估计就完成了，否则，流程就返回到步骤S110，在此处根据关于照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位的经校正的近似值将联立方程进行再次公式化。

如上所述，关于本实施例，排放有标记的场景的大量的图像被拍摄，从所拍摄的图像上检测并识别出标记，在图像上的标记观察位置的基础上同时获得对应于关于进行拍摄的照相摄像机的位置和方位，点标记的位置，以及平面标记的位置和方位的近似值的校正值，并且利用所获得的校正值对近似值进行校正。这个用以获得对应于近似值的校正值并且用所获得的校正值来校正近似值的操作循环被重复着，从而得到点标记的位置，以及正方形标记的位置和方位。注意到关于本实施例，使用了由圆形形状构成的并作为其放置信息由三维空间内的一个点的位置来表示的标记的点标记，但是本发明并不限于此。例如，可以使用球形的标记，其表面被单一的色彩所覆盖，如图8A所示的。在这种球形的情况下，检测方法与检测圆形的完全相同，并且被检测区域的重心位置应当被取作标记位置。可替代地，可以使用如图8B所示的二维图案标记。在这个情况下，标记的位置可以通过使用一个方法而被检测，其中使用了边缘检测操作或类似操作来检测二进制的分界边缘，所得到的边缘点被进行线性近似处理，且接着获得其交叉点。进一步，可以使用空间内的自然特征点。在这种情况下，准备一个事先拍摄好的接近自然特征点的图像作为范例模板，且取得该模板和现实图像之间的相互关系，并且指示着高度相关的位置可以作为标记的位置而被检测。对于上述的方法，共同的特征是放置信息用三维空间内的一个点的位置来表示，所以根据本实施例的上述的方法可以被应用在放置信息仅是一个单独的点的位置的标记上。

同样，根据本实施例，使用了正方形标记作为放置信息由三维空间内的位置和方位来表示的标记，但是本发明并不限于此。例如，可以使用图9A所示的一个立方体标记。在立方体标记的情况下，其六个侧面是正方形，所以与正方形同样的图形被排放在每一个侧面上，并且相应地，对标记的检测可以采用和检测正方形标记相同的方法。在将具有立方体形状的块作为标记的情况下，这个标记的放置信息同样用标记的位置和方位来表示。可替代地，可以使用如图9B所示的多边形而不是正方形。至于前述标记的共有特性，任何标记的放置信息都由该标记在三维空间内的位置和方位来表示，对其可以使用本实施例所描述的前述的方法。

第二实施例

关于第一实施例，关于点标记的投影误差(投影位置的计算位置和观察位置之间的误差量)以及正方形标记的投影误差通过同时获得关于点标记的位置以及正方形标记的位置和方位的校正值，而同时运用最小均方法，于是精确地获得点标记的位置以及正方形标记的位置和方位。对于第二实施例，点标记的位置以及正方形标记的位置和方位是通过交替地重复获得点标记的位置以及正方形标记的位置和方位而精确地获得的。

图10表示的是根据第二实施例用以获得点标记位置以及正方形标记位置和方位的程序的流程图。我们可以假设对于包括标记的场景的拍摄以及从图像上提取并识别标记已经完成。在步骤S210，输入关于拍摄每个图像的照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位的近似值。在步骤S220，利用关于照相摄像机的位置和方位以及正方形标记的位置和方位的近似值，获得照相摄像机的位置和方位，以及正方形标记的位置和方位。在步骤S230，利用步骤S210中设定的点标记的位置的近似值，以及步骤S220中获得的照相摄像机的位置和方位的近似值来获得照相摄像机的位置和方位，以及点标记的位置。在步骤S240，判断在步骤S220和步骤S230所得到的照相摄像机的位置和方位、点标记的位置以及正方形标记的位置和方位是否在步骤S240收敛。关于每一步的更为详尽的说明将在以下提供。

在步骤S210，关于拍摄每个图像的照相摄像机的位置和方位、点标记的位置以及正方形标记的近似值被输入。这里，采用和第一实施例相同的方式，我们可以假设所拍摄的图像的数目为N，拍摄每个图像的照相摄像机的位置是t_i＝[t_ixt_iyt_iz]^t(i＝1，等等到N)，其方位为ω_i＝[ω_ixω_iyω_iz](i＝1，等等到N)。同样，我们可以假设位置有待获得的点标记的数目为K_p，并且每个点标记的位置为x_wi＝[x_wiy_wiz_wi]^t(i＝1，等等到K_p)。进一步，我们可以假设位置和方位有待获得的正方形标记的数目为K_s，并且每个正方形标记的位置是t_mi＝[t_mixt_miyt_miz]^t(i＝1，等等到K_s)，且其方位是ω_mi＝[ω_mixω_miyω_miz](i＝1，等等到K_s)。

我们可以假设采用了和第一实施例所描述的相同的方法获得了关于照相摄像机位置和方位以及标记的位置和方位的近似值。

在步骤S220，首先获得正方形标记的位置和方位。这里，如表达式(33)所示，对于在图像上所检测到的正方形标记的各个顶点，关于N个照相摄像机的位置和方位的校正值，以及Ks个正方形标记的位置和方位的校正值的观察方程被公式化。在这种情况下，未知数的数目为(6×N+6×K_s)。

$F^0+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{\∂F}{\∂t_{\mathrm{ix}}}\mathrm{\Δ}{t}_{\mathrm{ix}}+\frac{\∂F}{\∂t_{\mathrm{iy}}}\mathrm{\Δ}{t}_{\mathrm{iy}}+\frac{\∂F}{\∂t_{\mathrm{iz}}}\mathrm{\Δ}{t}_{\mathrm{iz}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{ix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{ix}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{iy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iy}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{iz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iz}})$

$+\underset{i=1}{\overset{K_s}{\mathrm{\Σ}}}(\frac{\∂F}{\∂t_{\mathrm{mix}}}\mathrm{\Δ}{t}_{\mathrm{mix}}+\frac{\∂F}{\∂t_{\mathrm{miy}}}\mathrm{\Δ}{t}_{\mathrm{miy}}+\frac{\∂F}{\∂t_{\mathrm{miz}}}\mathrm{\Δ}{t}_{\mathrm{miz}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{mix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mix}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{miy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miy}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{miz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miz}})=0$

$G^0+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{\∂G}{\∂t_{\mathrm{ix}}}\mathrm{\Δ}{t}_{\mathrm{ix}}+\frac{\∂G}{\∂t_{\mathrm{iy}}}\mathrm{\Δ}{t}_{\mathrm{iy}}+\frac{\∂G}{\∂t_{\mathrm{iz}}}\mathrm{\Δ}{t}_{\mathrm{iz}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{ix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{ix}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{iy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iy}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{iz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iz}})$

$+\underset{i=1}{\overset{K_s}{\mathrm{\Σ}}}(\frac{\∂G}{\∂t_{\mathrm{mix}}}\mathrm{\Δ}{t}_{\mathrm{mix}}+\frac{\∂G}{\∂t_{\mathrm{miy}}}\mathrm{\Δ}{t}_{\mathrm{miy}}+\frac{\∂G}{\∂t_{\mathrm{miz}}}\mathrm{\Δ}{t}_{\mathrm{miz}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{mix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{mix}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{miy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miy}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{miz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{miz}})=0...\left(33\right)$

F⁰和G⁰都是常数项，并且代表了从正方形标记的各个顶点的近似位置所计算出的投影位置和现实观察位置之间的偏差。当从N个图像所检测出来的正方形的数目是D_s时，表达式(33)的数目为4×D_s套，也就是，8×D_s个方程被公式化。通过解这8×D_s个联立方程就得到对应于关于N个照相摄像机的位置和方位，以及K_s个正方形标记的位置和方位的近似值的校正值。利用所获得的校正值来校正近似值，并且重复执行校正值的计算以及对近似值的校正直到照相摄像机的位置和方位，以及正方形标记的位置和方位收敛。

接下来，在步骤S230，采用在步骤S220获得的照相摄像机的位置和方位作为近似值来获得点标记的位置。这里，如表达式(34)所示，对于在图像上检测到的点标记，关于N个照相摄像机的位置和方位以及K_p个点标记的位置的校正值的观察方程被公式化。在这种情况下，未知数的数目为(6×N+3×K_p)。

$F^0+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{\∂F}{\∂t_{\mathrm{ix}}}\mathrm{\Δ}{t}_{\mathrm{ix}}+\frac{\∂F}{\∂t_{\mathrm{iy}}}\mathrm{\Δ}{t}_{\mathrm{iy}}+\frac{\∂F}{\∂t_{\mathrm{iz}}}\mathrm{\Δ}{t}_{\mathrm{iz}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{ix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{ix}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{iy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iy}}+\frac{\∂F}{\∂{\mathrm{\ω}}_{\mathrm{iz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iz}})$

$+\underset{i=1}{\overset{K_p}{\mathrm{\Σ}}}(\frac{\∂F}{\∂x_{\mathrm{wi}}}\mathrm{\Δ}{x}_{\mathrm{wi}}+\frac{\∂F}{\∂y_{\mathrm{wi}}}\mathrm{\Δ}{y}_{\mathrm{wi}}+\frac{\∂F}{\∂z_{\mathrm{wi}}}\mathrm{\Δ}{z}_{\mathrm{wi}})=0$

$G^0+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\frac{\∂G}{\∂t_{\mathrm{ix}}}\mathrm{\Δ}{t}_{\mathrm{ix}}+\frac{\∂G}{\∂t_{\mathrm{iy}}}\mathrm{\Δ}{t}_{\mathrm{iy}}+\frac{\∂G}{\∂t_{\mathrm{iz}}}\mathrm{\Δ}{t}_{\mathrm{iz}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{ix}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{ix}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{iy}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iy}}+\frac{\∂G}{\∂{\mathrm{\ω}}_{\mathrm{iz}}}\mathrm{\Δ}{\mathrm{\ω}}_{\mathrm{iz}})$

$+\underset{i=1}{\overset{K_p}{\mathrm{\Σ}}}(\frac{\∂G}{\∂x_{\mathrm{wi}}}\mathrm{\Δ}{x}_{\mathrm{wi}}+\frac{\∂G}{\∂y_{\mathrm{wi}}}\mathrm{\Δ}{y}_{\mathrm{wi}}+\frac{\∂G}{\∂z_{\mathrm{wi}}}\mathrm{\Δ}{z}_{\mathrm{wi}})=0...\left(34\right)$

F⁰和G⁰是常数项，并且代表了从点标记的近似位置计算出的投影位置和现实观察位置之间的偏差。当从N个图像所检测到的点标记的总数为D_p时，表达式(34)的数目为D_p套，也就是2×D_p个方程被公式化。通过解这2×D_p个联立方程就可以获得对应于关于N个照相摄像机的位置和方位，以及K_p个点标记的位置的近似值的校正值。利用所获得的校正值对近似值进行校正，并且重复地进行校正值的计算以及近似值的校正直到照相摄像机的位置和方位以及点标记的位置收敛。

接下来，在步骤S240，利用在步骤S220中获得的正方形标记的位置和方位，以及步骤S230中获得的照相摄像机的位置和方位以及点标记的位置进行一个收敛测试。通过收敛测试，例如，当投影位置和现实观察位置之间的偏差的平均值小于一个阀值时，就判断已经达到收敛。在这一步，当作出的判断是收敛已经达到，处理就结束，相反地，流程回到步骤S220。

如上所述，通过交替地重复获得正方形标记的位置和方位以及点标记的位置就可以精确地获得点标记的位置和正方形标记的位置和方位。注意到的是对于本实施例的描述，对正方形标记的位置和方位的估计是在对点标记的位置的估计之前，但是对点标记的位置的估计可以在对正方形标记的位置和方位的估计之前。

同样，和第一实施例一样，放置信息由三维空间内的一个点的位置来代表的点标记并不限于一个圆形的标记，因此可以使用具有如图8所示的形状的标记。放置信息由三维空间内的位置和方位来表示的标记并不限于正方形标记，因此可以使用具有如图9所示的形状的标记。

第三实施例

对于第一和第二实施例，对标记的位置和方位的估计在使用摄像装置对包括标记的场景的图像进行拍摄之后进行的。对于第三实施例，估计的进行是在事先存储在存储设备中的图像的基础上进行的，从而进行脱机处理。

图11表示的是根据第三实施例的标记位置-方位估计设备3的功能结构的方框图。该标记位置-方位估计设备3包括图像存储单元350、图像捕捉单元320、标记检测-识别单元330以及标记位置-方位计算单元340。以下将对标记位置-方位估计设备3的标记位置-方位估计程序进行描述。

(1、图像的捕捉)

包括标记的场景的N个图像已经预先拍摄好了，并且存储在图像存储单元350中。图像捕捉单元320从图像存储单元350读出N个图像，并将这些图像传送到标记检测-识别单元330。

(2、标记的检测和识别)

标记检测-识别单元330对由图像捕捉单元320读出的拍摄图像进行检测和识别。对于点标记的检测是通过获得二维图像上的每个点标记区域的重心来进行的，对于正方形标记的检测是通过获得二维图像上的每个正方形标记的各个顶点来进行的。对标记的检测可以手工或是自动进行。紧接着标记的检测，被检测到的标记被识别。

(3、对一个标记的位置和方位的估计)

重复进行处理，其中通过第一实施例和第二实施例所描述的方法给出了关于照相摄像机的位置和方位，以及标记的位置和方位的近似值，获得了对应于近似值的校正值，并且用获得的校正值对近似值进行了校正，这样就获得了照相摄像机的位置和方位，以及标记的位置和方位。

至于照相摄像机位置和方位的近似值，可以做一个安排，其中一个6自由度的位置-方位传感器在拍摄时被设置在一个照相摄像机上，传感器的输出值作为照相摄像机位置-方位数据而在拍摄的同时被存储在一个文件中，并且在进行标记位置和方位估计时使用从文件读出的值。图12表示的是照相摄像机位置-方位数据文件格式的一个例子。我们可以假设其顶上附有#的第一行是一个注释行。照相摄像机位置-方位数据被包括在第二行以及随后的行中。首先，对一个拍摄的图像的识别码(ID No.)进行描述。这个识别码和拍摄图像的文件名称相关，例如，当拍摄图像以JPEG格式被存储时，具有识别码0(ID No.0)的拍摄图像的文件名称被命名以000000.jpg，并且具有识别码1的拍摄图像的文件名称被命名为000001.jpg。跟随着识别码，位置数据和方位数据在括号内分别被描述。注意的是这里使用的是6自由度的位置-方位传感器的输出值，但是并不限于此，可以使用任何值只要该值被包括在近似值以及照相摄像机的位置和方位中。

同样，对于本实施例，图像的捕捉全部是由从图像存储单元的读出而进行的，但是不仅是预先拍摄好的图像还可以使用用拍摄设备新拍摄的图像。

如上所述，对于第三实施例，标记的位置和方位的估计是在预先存储在存储设施里的图像的基础上进行的，这样就可以进行标记的位置和方位的脱机估计。

第四实施例

对于第四实施例，标记数据文件的输出是通过使用了包括第一到第三实施例所描述的标记位置-方位设备的标记位置-方位估计系统而进行的。

图13表示的是根据第四实施例的标记位置-方位估计系统的处理流程的流程图。在步骤S410，一个描述了放置信息有待估计的标记的列单的标记文件被读出。在步骤S420，判断已经拍摄并已存储的图像是否被使用。如果是，在步骤S430，一个已经拍摄并存储的图像就被读出。在步骤S440，判断是否用摄像装置拍摄新的图像。如果是，在步骤S450，使用摄像装置对包括标记的场景进行拍摄。在步骤S460，在从存储设施读出的图像或使用摄像装置拍摄的图像的基础上进行标记的检测和识别。在步骤S470，在标记的检测结果的基础上进行标记的位置和方位的估计。在步骤S480，判断标记的位置和方位的估计是否已经完成。如果判断的结果是标记的位置和方位的估计已经完成，那么在步骤S490，标记的位置和方位的估计结果被写出到一个文件并且处理结束。另一方面，如果步骤S480判断出标记的位置和方位的估计没有完成，处理就返回到步骤S450。以下提供关于每一步的更为详尽的描述。

首先，在步骤S410，对一个标记文件进行读出。该标记文件包括关于每个位置和方位有待估计的标记的唯一名称的描述，标记类型描述(这里，点标记或是正方形标记)，在每个标记是正方形标记的情况下边的长度的描述，在每个标记是点标记的情况下标记色彩的描述，以及对应于每个标记的位置和方位的近似值的描述。图14表示的是标记文件格式的例子。对于图14的标记文件，标记的类型提供在标记的名称之前。图14中的“正方形”代表一个正方形标记，并且“点”代表的是一个点标记。对每个标记的描述都包括在括号里。在正方形标记的情况下，对标记的位置的近似值在“位置”字段进行描述，对标记的方位的近似值在“方位”字段进行描述，并且对正方形的边的长度在“尺寸”字段进行描述。在点标记的情况下，对标记的位置的近似值在“位置”字段进行描述，并且对标记的色彩是在“色彩”字段进行描述。至于标记的色彩，例如，U和V分量在代表了YUV空间的一个色彩的情况下被描述。而色彩空间并不限于YUV且可以使用任何色彩空间。

接下来，在步骤S420，判断用户是否利用了已拍摄和存储的数据。在已拍摄数据为无效的情况下，或是在用户没有利用已拍摄数据的情况下，流程进行到步骤S440。在用户已经利用了已拍摄数据的情况下，流程进行到步骤S430，在此对图像文件进行读出。在读出图像文件时，如果文件为可用的，则同时读取如第三实施例所述的拍摄同时所对应的照相摄像机位置-方位数据文件。

在步骤S440，判断是否执行新的拍摄。当执行新的拍摄时，流程进行到步骤S450，并且进行对包括标记的场景的拍摄。当关于照相摄像机的位置和方位的近似值可以从设置在照相摄像机上的6自由度的位置-方位传感器或类似处得到的情况下，就可在此同时获得近似值。

接下来，在步骤S460，从所拍摄的图像和所读出的图像中检测出标记，并将每一个检测到的标记与步骤S410所读出的标记文件里描述的对应标记进行匹配(识别)。在步骤S460，判断每个图像是否用于标记位置和方位的估计以及标记的检测和识别。

当对标记的检测和识别完成后，对标记的位置和方位的估计在步骤S470进行。所确定的估计方法和第一及第二实施例所描述的方法相同。当对标记的位置和方位的估计完成后，流程进行到步骤S480，在这里判断用户是否希望结束位置和方位的估计。当用户不满意于估计结果时，流程就回到步骤S450，在此重新进行图像拍摄，并接着再次进行估计。当用户满足于估计结果时，流程进行到步骤S490，在此用于标记位置和方位估计的数据作为标记文件并以文件格式被写出，如图14所示。MR运用的用户利用在步骤S490写出的标记文件将虚拟空间和现实空间进行对接。

如上所述，对于第四实施例，用于MR运用里的对接的标记数据文件的输出是通过使用包括如第一到第三实施例所描述的标记位置-方位设备的标记位置-方位估计系统来进行的。

第五实施例

对于第五实施例，关于各种类型的其放置信息量各不相同的标记，各种类型的标记的放置信息是通过改变每一种类型的标记的权重来获得的。通过赋予具有图像检测结果的较高可靠性的标记以较重的权重，就可以改进关于各种类型标记的放置信息的精确度。

对于本实施例，所进行的描述是关于使用了两种标记的情况，也就是，点标记和正方形标记。至于具有如图4A所示的圆形形状的点标记在图像上的观察位置，采用了图像上的圆形区域的重心。然而，图像上的重心并不总是与三维空间内的圆形区域的重心相吻合。相应地，图像上的检测位置的可靠性就降低了。另一方面，在正方形标记的情况下，每一个顶点的位置都被作为图像上的观察位置而使用，因此图像上的检测位置的可靠性就高。对于第一实施例，表达式(16)被用来获得点标记的位置，以及正方形标记的位置和方位。这里，表达式(16)作为表达式(35)而再次被列出来。

J·Δ＝E    ··(35)

相较于点标记而言，正方形标记的检测结果的特性可以通过改变表达式(35)从而在获得标记的位置和方位的时候赋予点标记的检测结果以较轻的权重而赋予正方形标记以较重的权重而有所增加。现在，我们可以定义一个加权矩阵W如表达式(36)所示。

加权矩阵是一个对角线矩阵。如表达式(37)所示，表达式(35)的两端同时乘以这个加权矩阵W。

WJΔ＝WE  ...(37)

对于表达式(35)的两端的每一行，加权矩阵W的每一个元素被设定为赋予点标记的行以较轻的权重并且赋予正方形标记的行以较重的权重。当一个矩阵(W·J)是一个正方形矩阵时，使用如表达式(38)所示的最小均方法来获得一个校正矢量Δ，如果不是，就如表达式(39)所示。

Δ＝(WJ)^-1WE  ...(38)

Δ＝((WJ)^t(WJ))^-1(WJ)^tWE  ...(39)

如上所述，关于放置信息的数量各不相同的各种类型的标记，通过赋予具有图像检测结果的较高可靠性的标记以较重的权重来获得各种类型的标记的放置信息，这样就提高了关于各种类型的标记的放置信息的精确性。

同样，一种用于在每个标记影响参数的校正值的作用偏差的基础上通过动态改变这个加权矩阵W来稳定计算的方法是已知的技术，并且可以使用与这种方法的一个组合。

改进

对于第一实施例，一种用以在观察方程上应用Taylor展开式并且进行重复计算到第一级的方法被描述成用以校正标记放置信息的方法。这是一种在假定在重复的一个处理中观察方程被进行局部线性操作并且结果没有误差的情况下估计未知参数的校正量的方法，而且是一种相当于称为Newton方法的方法。Newton方法是采用数值计算求解非线性方程的典型的方法，但是本发明所使用的重复的计算方法并不限于此。例如，校正量可以基于处理中有待估计的未知参数的校正量的变动而发生动态的变化，例如Levenberg-Marquardt方法。可替代地，可以使用根据包括更高阶项的Taylor展开式的结果而进行重复计算的方法。本发明的本质在于用于通过采用各种类型的标记来获得更为适宜的解，即使是具有不同放置信息的多重类型的标记混合在一起，这样通过用于重复的作为数值解的特定方法，本发明的本质就绝对不会失去。

虽然本发明的说明是参照了作为范例的实施例，但应当理解的是本发明并不仅限于所公开的实施例。相反地，本发明意在覆盖包括在所附权利要求的精神和范围内的各种的修改和相当的布置。随后的权利要求的范围需富于最广泛的解释，以使得其可以包含所有如此的修改和相当的结构及功能。

Claims (8)

1.一种标记放置信息估计方法，用于估计其放置信息具有不同信息量的数个类型的标记的放置信息，所述方法包括：

标记检测步骤，用于从其上拍摄有包括标记的场景的数个图像上检测图像坐标系中的数个类型的标记的位置；

标记投影位置计算步骤，用于根据所述数个图像被摄像单元拍摄时摄像单元在参考坐标系中的位置和方位的近似值以及各种类型的标记在参考坐标系中的放置信息的近似值，计算数个类型的标记中的每一个被投影在图像表面上的位置；以及

标记放置信息计算步骤，用于根据在所述标记检测步骤中获得的图像坐标系中的所检测到的数个类型的标记的位置和在所述标记投影位置计算步骤中获得的图像表面上的数个类型的标记的投影位置，计算参考坐标系中数个类型的标记的放置信息。

2.根据权利要求1的标记放置信息估计方法，其中所述标记放置信息计算步骤通过赋予各个类型的标记以不同的权重而得到对应于各个类型的标记的放置信息的校正值。

3.根据权利要求1的标记放置信息估计方法，其中所述的数个类型的标记包括：第一标记类型，其放置信息用三维空间内的一个点的位置来描述；第二标记类型，其放置信息用三维空间内的位置和方位来描述。

4.根据权利要求3的标记放置信息估计方法，其中所述的第二标记类型是色彩或亮度有别于周围的平面正方形区域，并且是可以通过从图像上得到其边框区域而对其进行检测的正方形标记。

5.根据权利要求1的标记放置信息估计方法，还包括将所估计标记的标记放置信息输出到一个文件中的步骤。

6.根据权利要求1的标记放置信息估计方法，所述的标记放置信息计算步骤包括：

校正值计算步骤，用于得到关于各个类型标记的放置信息的校正值，以便减少在所述的标记检测步骤中所检测到的图像表面的各种类型的标记的位置以及在所述标记投影位置计算步骤中所获得的图像表面的标记投影位置之间的误差量；

放置信息校正步骤，用于根据在所述校正值计算步骤中所获得的校正值，校正各种类型的标记的放置信息；以及

重复计算步骤，用于通过使用经所述放置信息校正步骤校正后的标记放置信息来代替所述标记投影位置计算步骤中的近似值而重复进行所述标记投影位置计算步骤、所述校正值计算步骤以及所述放置信息校正步骤，来计算各种类型的标记的放置信息。

7.根据权利要求1的标记放置信息估计方法，所述的标记放置信息计算步骤包括：

标记类型选择步骤，用于选择一类型的标记；

放置信息校正步骤，用于得到所选类型的标记的放置信息，以便减少在所述标记检测步骤中检测到的具有在所述标记类型选择步骤中所选择出来的类型的标记在图像表面的位置以及在所述标记投影位置计算步骤中获得的标记在图像表面的投影位置之间的误差量，并且校正放置信息；

第一重复计算步骤，用于通过使用经所述放置信息校正步骤校正后的标记放置信息来代替所述标记投影位置计算步骤的近似值而重复所述标记投影位置计算步骤以及所述放置信息校正步骤，计算经所述放置信息校正步骤校正后的标记放置信息；以及

第二重复计算步骤，用于再次将一个或多个其类型没有在所述标记类型选择步骤中被选择的标记选择出来，并且重复进行所述标记投影位置计算步骤、所述的放置信息校正步骤以及所述第一重复计算步骤。

8.一种放置信息估计设备，用于估计其放置信息具有不同信息量的数个类型的标记的放置信息，所述的设备包括：

标记检测装置，用于从其上拍摄有包括标记的场景的数个图像上检测数个类型的标记在图像坐标系中的位置；

标记投影位置计算装置，用于根据所述数个图像被摄像单元拍摄时摄像单元在参考坐标系中的位置和方位的近似值以及各种类型的标记在参考坐标系中的放置信息的近似值，计算数个类型的标记中的每一个被投影在图像表面上的位置；以及

标记放置信息计算装置，用于根据由所述标记检测装置获得的图像坐标系中的所检测到的数个类型的标记的位置和由所述标记投影位置计算装置获得的图像表面上数个类型的标记的投影位置，计算参考坐标系中数个类型的标记的放置信息。

Images