CN1820282A

CN1820282A - 图像处理装置

Info

Publication number: CN1820282A
Application number: CNA2004800194444A
Authority: CN
Inventors: 古桥幸人; 赤塚祐一郎; 柴崎隆男
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-07-24
Filing date: 2004-07-20
Publication date: 2006-08-16
Anticipated expiration: 2024-07-20
Also published as: EP1650704A1; WO2005010817A1; US7424174B2; EP1650704A4; KR20060030120A; US20060120606A1; KR100816589B1; CN100365654C; HK1090461A1; JPWO2005010817A1

Abstract

特征提取部(1211)从由图像输入部(11)获取的图像的视野中提取特征部分，并且加权部(1212)根据所提取的特征部分的提取条件计算权重以对其进行加权。位置姿势获得部(1213)根据经加权的特征部分获得图像输入部(11)和图像处理装置(10)在基准坐标系统上的位置和姿势。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置，用于处理通过拍摄物体而获得的图像。

背景技术

通常，在由图像获取装置(例如，照相机)光学获得的图像中存在失真。因此，作为去除该失真的方法，传统上已经提出多种技术。然而，即使应用这种技术，画面周边也包括较多的误差。

图像是离散信息，并且即使位于图像上较远位置处的点的一个像素移位，也会放大真实空间的误差。

因此，图像中的位置和尺寸对于计算照相机的位置和姿势是极其重要的。

传统上，已经提出了多种获得照相机的位置和姿势信息的方法。

例如，美国专利(USP)6,577,249B1公开了使用标志器的位置和姿势计算。该技术通过读取包含在基准标志器中的信息而检查基准标志器和设置在其周边的标志器和/或特征部分的位置，以大概获得照相机的位置和姿势。根据在该USP中公开的技术，通过检查四个或更多个标志器和/或特征部分的位置，可以通过使用该信息而估计照相机的位置和姿势。另外，该USP公开了在相关的信息呈现装置(该装置用于在所获取的图像的相应位置重叠显示对象的各部分相关信息)中，当重叠显示这些相关信息时，根据这样估计的照相机的位置和姿势，即根据照相机的视野来确定待呈现的这些相关信息的重叠显示位置。

“基于标志器跟踪的增强现实系统及其校准(An Augmented RealitySystem and its Calibration based on Marker Tracking)”，607-616页，日本虚拟现实协会期刊(Journal of The Virtual Reality Societyof Japan(TVRSJ))，公开了仅使用标志器的位置和姿势计算。

US 2002/0191862 A1公开了基于自然特征(NF)的照相机位置和姿势计算。如图1A所示使用了位置和姿势的已知形状M，通过图1B所示的程序来计算照相机的位置和姿势，并且进一步计算各特征点的三维位置。

首先，在步骤S101执行如下处理。即，通过在初始位置PO₀识别已知形状M，计算照相机100的位置和姿势。随后，使照相机100从初始位置PO₀连续移动，同时将已知形状M捕获在画面(视野)上。当照相机移动到位置PO₁时，同样通过识别已知形状M来计算在位置PO₁处照相机100的位置和姿势。

接下来，在步骤S102执行如下处理。即，基于所计算出的在位置PO₀和PO₁处照相机100的位置和姿势，可以估计在位置PO₀和PO₁之间的基线长度BL₁。因此，通过三角测量原理，计算在图1A中用黑圆表示并连续捕获在画面上的各特征点的三维位置。

然后，在步骤S103执行如下处理。即，将照相机100从位置PO₁连续移动。当其移动到位置PO₂时，已知形状M不能再被捕获在画面上。然而，即使在不能将已知形状M捕获在画面上的位置PO₂处，也可以根据各个黑圆特征点的计算出来的位置来计算照相机100的位置和姿势。

因此，在步骤S104执行如下处理。即，可以计算在位置PO₁和PO₂之间的基线长度BL₂。甚至可以计算在图1A中由白圆表示的、在位置PO₀处不能捕获在画面上的特征点的三维位置。

US 2002/0191862 A1公开了一种作为传统技术的自动校准(AC)方法。

ISMAR 2001，第97-103页，“Extendible Tracking By LineAuto-calibration”，公开了基于自然特征线段跟踪和AC的照相机位置和姿势计算。

如上所述，USP 6,577,249 B1公开了使用标志器的位置和姿势计算。然而，例如，根据在较大失真的角度看到的标志器而计算得到的位置和姿势包含较大误差。即使有多个标志器，根据在好的条件下捕获的标志器计算得到的位置和姿势信息和根据在差的条件下捕获的标志器计算得到的位置和姿势信息也被同样地处理。因此，误差被放大。

US 2002/0191862 A1公开了基于NF/AC的照相机位置和姿势计算。然而，在画面上任何位置或者当NF的特征尺寸改变时，都同样地处理输入给卡尔曼滤波器(KF)用于最后计算位置和姿势的NF位置信息。因此，误差被放大。US申请公开了作为传统技术的AC方法。然而，即使在AC时的条件不同的情况下，也同样地处理给KF的输入。因此，误差被放大。

USP 6,577,249 B1和文献TVRSJ公开了使用标志器的位置和姿势计算，而US 2002/0191862 A1公开了使用NF/AC的位置和姿势计算。然而，对于在混合标志器和NF/AC的环境下的位置和姿势计算，标志器仅用作AC基准。并没有公开在混合标志器和NF/AC的环境下使用二者的位置和姿势计算。

文献ISMAR 2001公开了基于自然特征线段的跟踪和AC的照相机位置和姿势计算。然而，即使当线段的状态(画面上的位置、长度和与直线偏离的大小)改变时，在输入给KF用于最终计算位置和姿势的的情况下，也以同等的重要性对它们进行处理，因而误差被放大。

发明内容

本发明的目的是提供一种图像处理装置，其能够准确地获得图像获取装置的位置和姿势。

根据本发明的一方面，提供了一种图像处理装置，其特征在于，包括：

图像获取装置，其获取对象的图像；

特征提取部，其从由图像获取装置获取的图像的视野中提取特征部分；

加权部，其根据由特征提取单元提取的特征部分的提取条件而计算权重，以对所述特征部分进行加权；以及

位置姿势获得部，其根据由加权部加权的特征部分，获得图像获取装置在基准坐标系统上的位置和姿势。

附图说明

图1A是表示在US 2002/019862 A1中公开的、依照NF进行的照相机位置和姿势计算的示意图；

图1B是依照NF进行的照相机位置和姿势计算方法的流程图；

图2是表示根据本发明实施例的图像处理装置的构造的视图；

图3是表示输入图像的示例的视图；

图4是根据该实施例的图像处理装置的图像处理部的操作的流程图；

图5A是表示输入图像上区域分类的视图；

图5B是表示对于各个分类位置的权重表的示例的视图；

图6A是表示“光线之间形成的角度”和“光线之间的最短距离”的视图；

图6B是在图6A中三维空间的点P附近的放大视图；

图7是表示对于各种特征部分的权重表的示例的视图。

具体实施方式

如图2所示，根据本发明实施例的图像处理装置10设置成配备有照相机的PDA形式。该图像处理装置10包括：作为图像获取装置的图像输入部11；信息处理部12，用于处理由图像输入部11输入的图像；以及显示部13，用于显示作为信息处理部12的处理结果的获得的信息。信息处理部12包括图像处理部121和显示图像生成部122。图像处理部121具有特征提取部1211、加权部1212和位置姿势获得部1213。

在图像处理装置10中，例如通过图像输入部11获得图3所示的输入图像11A，并将其输入给信息处理部12的图像处理部121。图3中所示的输入图像11A的示例是在工厂中的情况下获取的图像，该工厂配备有管1、柱2和壁3，并且在柱2和壁3中设置有标志器4。在标志器4中，与在USP 6,577,249 B1或者文献TVRSJ中公开相似地，写有编码了标志器的位置和姿势信息的图案。

因此，图像处理部121的特征提取部1211基于关于预先存储的标志器形状的信息(图案提取程序、参数等)而提取各个标志器的图像。位置姿势获得部1213根据由特征提取部1211提取的标志器图像，获得各个标志器的位置和姿势信息。然后，基于此，检测图像输入部11(即，图像处理装置10)相对于标志器的位置和姿势。在这种情况下，如图3所示，输入图像11A包含多个标志器4。各个标志器的可靠性随着其在输入图像中的位置、输入图像上的尺寸等而改变。因此，通过加权部1212对由特征提取部1211提取的各个标志器的图像进行加权。基于加权后的标志器图像，位置姿势获得部1213检测图像输入部11在基准坐标系统上的位置和姿势。

图像处理部121具有读取相关信息的功能，该相关信息例如是由标志器4的图案指定、由图像处理装置10预先存储或存储在外部服务器中的图像、3D模型、运动图像或声音。

然后，信息处理部12的显示图像生成部122根据图像处理部121读取的相关信息，生成与由图像处理部121检测的图像输入部11的位置和姿势(即，图像处理装置10的位置和姿势)形式一致的重叠图像。将所生成的重叠图像重叠在由图像输入部11进行图像获取所获得的真实图像(输入图像11A)上，以生成图2中所示的显示图像13A，并将该图像显示在显示部13中。

另外，特征提取部1211提取与在US 2002/0191862 A1中所公开的相似的自然特征(NF)和与在文献ISMAR 2001中所公开的相似的自然特征线段，作为标志器之外的特征部分。在这种情况下，加权部1212对特征部分进行加权。然后，位置姿势获得部1213基于经加权的标志器、以及经加权的NF和自然特征线段，而检测图像输入部11的位置和姿势。

下面将参照图4的流程图更详细地描述图像处理装置10的图像处理部121的该操作。即，通过特征提取部1211从由图像输入部11输入的输入图像11A中提取标志器作为特征部分(步骤S11)。然后，加权部1212计算其中一个标志器的权重(步骤S12)。

在这种情况下，基于在输入图像11A中标志器的位置、在输入图像11A中标志器的尺寸、在输入图像11A中标志器的失真量以及标志器相对于图像获取装置的角度中的至少一个来计算所述权重。可以通过使用函数式来执行该计算以获得准确值。然而，可以从表中容易获得多阶段的值。

例如，在基于标志器的位置进行加权的情况下，如图5A所示，将输入图像11A的位置分类为四个区域A至D，并且如图5B所示，在表中为所分类位置准备权重值。因此，根据所提取的标志器在哪个分类位置而容易获得权重。在这种情况下，因为在图像靠近周边部分处存在失真而包括误差，所以在靠近输入图像11A的中央的位置权重值较高。当进行这种加权时，在图3的示例中，具有图案“A”的标志器的权重值为“0.8”，具有图案“L”的标志器的权重值为“1.0”，而具有图案“Z”的标志器的权重值为“0.4”。

在基于输入图像11A中标志器的尺寸来计算权重的情况下，当尺寸较大时设定较高的权重值。在基于标志器的失真量来计算权重的情况下，当失真量较小时设定较高的权重值。

在基于标志器相对于图像获取装置的角度来计算权重的情况下，当标志器位于相对于图像获取装置接近正面时设定较低的权重值，而当角度接近90°时设定较高的权重值。可以根据标志器的长宽比大概地估计标志器相对于图像获取装置的角度，或者甚至可以计算标志器的三维姿势获得的角度。

因此，重复标志器的权重计算，直到对于输入图像11A中的所有标志器的评价结束(步骤S13)。在评价了所有标志器之后，位置姿势获得部1213根据经加权的特征部分计算图像输入部11(即，图像处理装置10)的位置和姿势(步骤S14)。

通过特征提取部1211从由图像输入部11输入的输入图像11A中提取NF作为特征部分，并对其进行跟踪(步骤S21)。在US 2002/0191862 A1中公开了NF提取和跟踪的细节。然后，通过加权部1212计算其中一个NF的权重(步骤S22)。

在这种情况下，基于在输入图像11A中NF的位置、表示NF的特征度的量以及跟踪连续数量中的至少一个来计算所述权重。例如，在基于输入图像11A中NF的位置计算权重的情况下，当该位置靠近输入图像11A的中央时设定较高的权重值。基于在NF周围的协方差矩阵的最小固有值和像素值的强度中的至少一个来确定表示NF的特征度的量。在基于跟踪连续数量来计算权重的情况下，当该数量较大时设定较高的权重值。在图像跟踪中，当图像获取装置移动时，极差状态的图像可能变为输入图像。通常，该图像是可以大约一帧左右充分处理的图像。在这种情况下，即使当在较差输入图像上跟踪变为不连续时，如果可以在下一帧进行跟踪则跟踪自身也可以继续。在这种情况下，所述连续数量被复位一次。换言之，较大的连续数量意味着即使在质量差的输入图像中，也已经成功地进行了跟踪，并且对于NF可靠性较高。在该权重计算中，可以通过使用函数式获得准确值。然而，可以从表中容易地获得多阶段的值。

因此，重复NF权重计算，直到对于输入图像11A中的所有NF评价结束(步骤S23)。在已经评价了所有NF之后，特征提取部1211进行与在US 2002/0191862 A1中所公开的相似的自动校准(NFAC)(步骤S24)。然后，通过加权部1212计算各个NFAC的权重(步骤S25)。

在这种情况下，根据在NFAC期间的条件来计算权重。在NFAC期间的条件至少是光线之间形成的角度、光线之间的最短距离、待使用的NF的位置、表示待使用的NF的特征度的量、以及对于待使用的NF的连续跟踪数量中的一个。在该计算中，可以通过使用函数式获得准确值。然而，可以从表容易地获得多阶段的值。

在基于光线之间形成的角度来计算权重的情况下，当该角度接近直角时设定较高的权重值。在基于光线之间的最短距离计算权重的情况下，当该距离较短时设定较高的权重值。在基于例如待使用的NF的位置或者表示其特征度的量的权重值来计算权重的情况下，当该权重值较高时设定较高的权重值。

现在，将参照图6A和图6B来描述“光线之间形成的角度”和“光线之间的最短距离”。在这些图中，P₀是将三维空间的点P投影到在位置LO₀获取的图像S₀上的点。P₁是将三维空间的点P投影到在位置LO₁获取的图像S1上的点。然而，当该点大体包含误差时将其标识为P₁′。用于将三维空间的点P与图像S₀上的点P₀相连的光线B₀、以及用于将三维空间的点P与图像S₁上的点P₁相连的光线B₁彼此相交。另一方面，包含误差的光线B₁′与光线B₀并不彼此相交。

假设在例如光线B₀和B₁′的两条直线上的任意点，可以通过已知公式来计算所述点彼此最近的距离d。将该距离称为光线之间的最短距离。

按如下方式来限定光线B₀和B₁之间形成的角度α，其中a是光线B₀的单位方向矢量，而b是光线B₁的单位方向矢量：

α＝cos^-1(a·b/(|a||b|))

将该角度α称为光线之间形成的角度。

因此，重复NFAC权重计算，直到对于所有的NFAC评价结束(步骤S26)。在评价了所有NFAC之后，处理进行到步骤S14，以通过位置姿势获得部1213根据这些经加权的特征部分计算图像输入部11(即，图像处理装置10)的位置和姿势。

通过特征提取部1211从由图像输入部11输入的输入图像11A中提取自然特征线段作为特征部分，并对其进行跟踪(步骤S31)。在文献ISMAR2001中公开了自然特征线段的提取和跟踪的细节。然后，通过加权部1212来计算其中一个自然特征线段的权重(步骤S32)。

在这种情况下，基于在输入图像11A中自然特征线段的位置、自然特征线段的长度、自然特征线段与直线的偏离量、以及跟踪连续数量中的至少一个来计算权重。在该权重计算中，可以通过使用函数式来获得准确值。然而，可以从表容易地获得多阶段的值。

在基于输入图像11A中自然特征线段的位置来计算权重的情况下，当该位置靠近输入图像11A的中央时设定较高的权重值。在基于自然特征线段的长度来计算权重的情况下，当该长度较长时设定较高的权重值。在基于自然特征线段与直线的偏离量来计算权重的情况下，当该偏离量较小时设定较高的权重值。在基于自然特征线段的跟踪连续数量来计算权重的情况下，当该数量较大时设定较高的权重值。

因此，重复自然特征线段的权重计算，直到对于输入图像11A中所有的自然特征线段评价结束(步骤S33)。在评价了所有的自然特征线段之后，特征提取部1211对自然特征线段进行自动校准(LineAC)(步骤S34)。在文献ISMAR 2001中公开了该LineAC的细节。然后，通过加权部1212来计算其中一个LineAC的权重(步骤S35)。

在这种情况下，根据在自然特征线段的AC期间的条件来计算所述权重。在自然特征线段的AC期间的条件至少是光线之间形成的角度、进行等化(equating)时的偏移量、待使用的自然特征线段的位置、待使用的自然特征线段的长度、以及待使用的自然特征线段与直线的偏移量中的一个。在该计算中，可以通过使用函数式而获得准确值。然而，可以从表中容易地获得多阶段的值。

在基于光线之间形成的角度来计算权重的情况下，当该角度接近直角时设定较高的权重值。在基于进行等化时的偏移量计算权重的情况下，当该偏移量较小时设定较高的权重值。在基于例如待使用的自然特征线段的位置、长度或者与直线的偏移量的权重值来计算权重的情况下，当该权重值较高时设定较高的权重值。

因此，重复LineAC权重计算，直到对于所有的LineAC评价结束(步骤S36)。在评价了所有的LineAC之后，处理进行到步骤S14，以通过位置姿势获得部1213根据这些经加权的特征部分计算图像输入部11(即，图像处理装置10)的位置和姿势。

在步骤S14中通过位置姿势获得部1213计算位置和姿势，使用标志器、NF、NFAC点、自然特征线段和经AC的自然特征线段中的至少一个。例如，当在画面中混合有标志器、NFAC点和经AC的自然特征线段时，根据参数分别对它们进行加权，并对每一个的位置和姿势进行计算，然后根据所述权重进行最后的位置和姿势计算(例如，包括根据过去信息(卡尔曼滤波器)预测的加权平均或计算)。

在这种情况下，如图7所示，可以根据特征部分的类型进一步进行加权。例如，当预先准备好标志器时，可靠类型就确定了，并直接使用权重“1.0”，即由加权部1212增加的权重。另一方面，在NFAC点的情况下，当从图像提取该点以计算三维位置时，会包含各种误差原因。因此，设定比标志器的低的权重“0.4”。换言之，使用比由加权部1212增加的权重值高0.4倍的权重作为权重。在经AC的自然特征线段的情况下，从图像提取该线段。然而，由于具有作为线段的连续要素，因此可靠性比NFAC点高。因此，设定比NFAC点的高而比标志器的低的权重“0.8”。

如上所述，对所提取的特征部分加权以使用。结果，使得用于光学地校正输入图像11A的功能以及计算用于其的参数的功能不必要。尤其是，当在同一视野中捕获多个标志器时，计算权重根据所捕获标志器的位置、尺寸和失真而改变。因此，提高了图像输入部11的位置和姿势的计算精度。

权重根据NF的特征度高度(跟踪稳定性的高度)和位置而改变。因此，提高了图像输入部11的位置和姿势的计算精度。

当根据经NFAC的点计算图像输入部11的位置和姿势时，权重根据在NFAC期间光线之间的角度、光轴之间的最短距离、以及用于NFAC的NF的属性(特征度高度、位置)而改变。因此，提高了图像输入部11的位置和姿势的计算精度。

权重根据自然特征线段的位置、长度和偏移量而改变。因此，提高了图像输入部11的位置和姿势的计算精度。

当根据经LineAC的线段计算图像输入部11的位置和姿势时，权重根据光线之间形成的角度、进行等化时的偏移量、以及待使用的自然特征线段的位置、长度和与直线的偏移量而改变。因此，提高了图像输入部11的位置和姿势的计算精度。

在计算位置和姿势期间，考虑到权重以综合的方式处理依照标志器进行的位置和姿势计算、依照NF进行的位置和姿势计算、依照NFAC进行的位置和姿势计算、依照自然特征线段进行的位置和姿势计算、以及依照LineAC进行的位置和姿势计算。结果，当标志器与其中混合有标志器和其它特征部分(例如，NFAC)的画面偏离时，或者在相反情况下，提高了图像输入部11的位置和姿势的计算精度。

下面将描述该实施例的图像处理装置的应用示例。

[应用示例1]

将根据该实施例的用于实现图像获取装置的位置和姿势计算的装置构造成图像重叠装置(不包括去除输入图像的失真的功能)，如图3所示，在工厂中粘附有多个标志器4。在图3的输入图像11A的情况下，对于具有图案“A”的标志器，根据其在输入图像11A中的位置、尺寸和失真而设定权重“0.8”，对于具有图案“L”的标志器设定权重“0.6”，而对于具有图案“Z”的标志器设定权重“0.2”。通过对根据标志器获得的位置和姿势进行加权平均，可获得图像获取装置的最终位置和最终姿势，并且将管信息和管的三维模型重叠在输入图像上以进行显示。

[应用示例2]

将该实施例的图像处理装置应用于主题园林的导航系统。可以假设配备有照相机的便携式电话机作为该图像处理装置。在这种情况下，在各吸引人的场所安装标志器。基于从NFAC点和经AC的自然特征线段中的至少一个获得的图像获取装置的位置和姿势，来设定用于在吸引人的场所之间导航的路径信息(重叠显示)。当设定其中在视野(输入图像)中逐渐地捕获吸引人的场所的标志器的状态时，适当地改变权重。因此，基于此时图像获取装置的最准确的位置和姿势信息，从预先存储在服务器或便携式电话机中的数据集合等中，获得各吸引人的场所的路径信息和性能模型(三维)，并重叠显示。

[应用示例3]

将该实施例的图像处理装置应用于图像重叠装置。通过将与两种状态的初始姿势相对应的输入图像供给图像重叠显示装置，可以执行通过NFAC点和经AC的自然特征线段的跟踪。作为重叠目标，存储安装在工厂中的三维模型。当在与当前视野(输入图像)相对应的三维模型中包括多个线性分量时，自动地增加对于自然特征线段的权重。因此，可以实现高精度的图像重叠。

已经描述了本发明的实施例。然而，本发明并不限于该实施例。不必说，在本发明的要点和范围内可以作出各种变动和修改。

例如，根据该实施例，基于与通过图像获取装置等获得的输入图像相关的信息，来改变标志器、自然特征、自动校准的自然特征、自然特征线段和自动校准的自然特征线段的权重。然而，本发明的用于改变权重的信息源并不限于此。例如，当基于图像获取装置的位置和姿势指定存储在存储部(未示出)中的三维模型，并且与在应用示例3的情况下一样该三维模型包括多个线性元素时，可以相对地增加自然特征线段和自动校准的自然特征线段中至少一个的权重。同样，当三维模型包括多个角部，或者具有识别为角部或点的纹理时，可以相对地增加自然特征点和自动校准的自然特征中至少一个的权重。

Claims

1、一种图像处理装置，其特征在于，包括：

图像获取装置，其获取对象的图像；

加权部，其根据由所述特征提取单元提取的特征部分的提取条件而计算权重，以对所述特征部分进行加权；以及

位置姿势获得部，其根据经加权部加权的特征部分，获得图像获取装置在基准坐标系统上的位置和姿势。

2、根据权利要求1所述的图像处理装置，其特征在于，

由所述特征提取部提取的所述特征部分是一标志器，该标志器包括在由所述图像获取装置获取的图像的视野中且其位置和姿势是已知的，并且

所述加权部基于该标志器的位置、该标志器的尺寸、该标志器的失真量以及该标志器相对于图像获取装置的姿势中的至少一个来确定权重。

3、根据权利要求2所述的图像处理装置，其特征在于，当所述标志器的位置靠近由图像获取装置获取的图像的视野的中央时，所述加权部设定较高的权重值。

4、根据权利要求2所述的图像处理装置，其特征在于，当所述标志器在由图像获取装置获取的图像的视野中较大时，所述加权部设定较高的权重值。

5、根据权利要求2所述的图像处理装置，其特征在于，当所述标志器的失真量较小时，所述加权部设定较高的权重值。

6、根据权利要求2所述的图像处理装置，其特征在于，当所述标志器相对于图像获取装置的姿势接近于正面时，所述加权部设定较低的权重值，而当其接近于直角时，所述加权部设定较高的权重值。

7、根据权利要求1所述的图像处理装置，其特征在于，

由所述特征提取部提取的所述特征部分是一自然特征，该自然特征包括在由所述图像获取装置获取的图像的视野中，并且

所述加权部基于该自然特征的位置、表示该自然特征的特征度的量、以及该自然特征的跟踪连续数量中的至少一个来确定权重。

8、根据权利要求7所述的图像处理装置，其特征在于，当所述自然特征的位置靠近由图像获取装置获取的图像的视野的中央时，所述加权部设定较高的权重值。

9、根据权利要求7所述的图像处理装置，其特征在于，所述表示自然特征的特征度的量是在自然特征周围的协方差矩阵的最小固有值和像素值的强度中的至少一个。

10、根据权利要求7所述的图像处理装置，其特征在于，当所述自然特征的跟踪连续数量较大时，所述加权部设定较高的权重值。

11、根据权利要求1所述的图像处理装置，其特征在于，

所述特征提取部提取包括在由所述图像获取装置获取的图像的视野中的自然特征，并对该自然特征进行自动校准，以提取作为特征部分的自动校准点，并且

所述加权部基于在由特征提取部自动校准该自然特征期间的条件来确定权重。

12、根据权利要求11所述的图像处理装置，其特征在于，在自然特征的自动校准期间的所述条件是光线之间形成的角度、光线之间的最短距离、待使用的自然特征的位置、表示待使用的自然特征的特征度的量、以及待使用的特征的连续跟踪数量中的至少一个。

13、根据权利要求12所述的图像处理装置，其特征在于，当光线之间形成的角度接近直角时，所述加权部设定较高的权重值。

14、根据权利要求12所述的图像处理装置，其特征在于，当光线之间的最短距离较短时，所述加权部设定较高的权重值。

15、根据权利要求12所述的图像处理装置，其特征在于，当待使用的自然特征的权重值较高时，所述加权部设定较高的权重值。

16、根据权利要求1所述的图像处理装置，其特征在于，

由特征提取部提取的所述特征部分是自然特征线段，该自然特征线段包括在由所述图像获取装置获取的图像的视野中，并且

所述加权部基于该自然特征线段的位置、该自然特征线段的长度、该自然特征线段与直线的偏移量、以及该自然特征线段的跟踪连续数量中的至少一个来确定权重。

17、根据权利要求16所述的图像处理装置，其特征在于，当所述自然特征线段的位置靠近由图像获取装置获取的图像的视野的中央时，所述加权部设定较高的权重值。

18、根据权利要求16所述的图像处理装置，其特征在于，当所述自然特征线段的长度较长时，所述加权部设定较高的权重值。

19、根据权利要求16所述的图像处理装置，其特征在于，当所述自然特征线段与直线的偏移量较小时，所述加权部设定较高的权重值。

20、根据权利要求16所述的图像处理装置，其特征在于，当所述自然特征线段的跟踪连续数量较大时，所述加权部设定较高的权重值。

21、根据权利要求1所述的图像处理装置，其特征在于，

所述特征提取部提取包括在由所述图像获取装置获取的图像的视野中的自然特征线段，并对于该自然特征线段进行自动校准，以提取作为特征部分的自动校准线段，并且

所述加权部基于在由特征提取部自动校准该自然特征线段期间的条件来确定权重。

22、根据权利要求21所述的图像处理装置，其特征在于，在自然特征线段的自动校准期间的所述条件是光线之间形成的角度、进行等化时的偏移量、待使用的自然特征线段的位置、待使用的自然特征线段与直线的偏移量、以及待使用的自然特征线段的跟踪连续数量中的至少一个。

23、根据权利要求22所述的图像处理装置，其特征在于，当光线之间形成的角度接近直角时，所述加权部设定较高的权重值。

24、根据权利要求22所述的图像处理装置，其特征在于，当在进行等化的情况下的偏移量较小时，所述加权部设定较高的权重值。

25、根据权利要求22所述的图像处理装置，其特征在于，当待使用的自然特征线段的权重值较高时，所述加权部设定较高的权重值。

26、根据权利要求1所述的图像处理装置，其特征在于，

当所述特征提取部从由所述图像获取装置获取的图像的视野中提取多个特征部分时，

所述加权部分别为所述多个特征部分计算权重以进行加权，并且

所述位置姿势获得部根据所述经加权的特征部分计算图像获取装置的位置和姿势。

27、根据权利要求26所述的图像处理装置，其特征在于，

各个特征部分是位置和姿势已知的标志器、自然特征、该自然特征的自动校准点、自然特征线段以及该自然特征线段的自动校准线段中的一个，并且

所述加权部基于标志器的位置、标志器的尺寸、标志器的失真量、标志器相对于图像获取装置的位置、自然特征的位置、表示自然特征的特征度的量、自然特征的跟踪连续数量、在自然特征的自动校准期间的条件、自然特征线段的位置、自然特征线段的长度、自然特征线段与直线的偏移量、自然特征线段的跟踪连续数量以及在自然特征线段的自动校准期间的条件中的至少一个来确定权重。

28、根据权利要求26所述的图像处理装置，其特征在于，

各个特征是位置和姿势已知的标志器、自然特征、该自然特征的自动校准点、自然特征线段以及该自然特征线段的自动校准线段中的一个，并且

所述位置姿势获得部根据特征的类型进行进一步加权，以计算位置和姿势。

29、根据权利要求28所述的图像处理装置，其特征在于，

所述加权部基于标志器的位置、标志器的尺寸、标志器的失真量、在自然特征的自动校准期间的条件、以及在自然特征线段的自动校准期间的条件中的至少一个来确定权重，并且

所述位置姿势获得部还在基于标志器的位置、标志器的尺寸和标志器的失真量中的一个进行确定时向由所述加权部加权的特征部分增加最高权重、在基于自然特征线段的自动校准期间的条件进行确定时向由所述加权部加权的特征部分增加次高权重、以及在基于自然特征的自动校准期间的条件进行确定时向由所述加权部加权的特征部分增加最低权重。

30、根据权利要求26至29中任一项所述的图像处理装置，其特征在于，在由所述位置姿势获得部进行的计算中，通过对为所述多个经加权的特征部分获得的位置和姿势进行的加权平均、以及包括根据过去进行信息预测在内的计算中的至少一个，来计算所述图像获取装置的最终位置和最终姿势。