CN101294793B - 测量设备和控制方法 - Google Patents

Abstract

本发明涉及一种测量设备和控制方法。该测量设备(100)使用摄像设备(50)获取拍摄图像，其中该测量设备(100)测量用于拍摄一个或更多个测量对象(10)的图像的摄像设备(50)相对于测量对象的相对位置和方位。而且，基于摄像设备(50)的位置和方位，将测量对象(10)的3D模型中存在的各个几何特征投影到拍摄图像上，从而获得投影几何特征。然后，基于在拍摄图像中投影几何特征间的距离，从作为结果所生成的投影几何特征中选择要用于计算位置和方位的投影几何特征。然后，使用所选择的投影几何特征、以及在拍摄图像中检测到的与所选择的投影几何特征相对应的图像几何特征，来计算摄像设备(50)相对于测量对象的相对位置和方位。

Description

测量设备和控制方法

技术领域

本发明涉及一种在摄像设备拍摄测量对象的图像时使用该测量对象的模型来测量该摄像设备的位置和方位的测量设备和控制方法。

背景技术

例如，在提供现实空间和虚拟空间的组合显示的混合现实感系统中，需要测量拍摄现实空间的图像的照相机(以下将其适当称为照相机)等的摄像设备的位置和方位。

过去，采用具有的已知3D位置的标记的方法是众所周知的用于测量摄像设备的位置和方位的方法。在该方法中，使用在拍摄图像中检测到的标记在拍摄图像内的位置与通过基于摄像设备的大致的位置和方位将标记的3D位置投影在成像平面上所获得的投影位置之间的距离作为误差，并且估计位置和方位以便优化使该误差最小化的目标函数。而且，所采用的标记通常具有特殊的易于检测的几何或色调相关的特征。

此外，已公开了一种利用测量对象的模型来测量位置和方位的方法，在该方法中，采用测量对象的结构，并且将构成测量对象的平面的边界视为边缘。应该注意，这里所使用的术语“边缘”是指在拍摄图像中观察到浓度的较大变化的区域。

Tom Drummond和Roberto Cipolla在“Real-time visualtracking of complex structures”，IEEE Transactions of PatternAnalysis and Machine Intelligence.Vol.24，No.7，pp.932-946，2002(以下称之为文献1)中说明了一种借助作为测量对象的几何特征的线段(称为测量线段)来估计位置和方位的方法。在该方法下，从摄像设备的大致的位置和方位来看，将测量线段的三维位置投影在成像平面上，并且通过利用在拍摄图像中所检测到的边缘与投影测量线段之间的距离作为目标函数，来估计位置和方位。

以下给出该技术的概述。

-使用大致估计的位置和方位，将来自测量对象的测量线段投影在拍摄图像上。

-通过搜索投影测量线段附近的拍摄图像中的像素，获得浓度发生局部变化的边缘区域的位置。

-执行优化，从而缩小投影测量线段与边缘区域的位置之间的距离。

-更新估计的位置和方位的值。

由于只要已知对象3D模型，就可以使用对象3D模型作为测量设备的测量对象，因而这种基于使用测量对象中存在的测量线段的位置和方位估计具有广泛的应用范围。另外，在上述估计中，拍摄图像内的边缘搜索的范围仅限于投影测量线段周围的图像。因此，这提供如下优点：与在从整个拍摄图像通过图像处理检测边缘时获得模型的距离的方法相比，可以缩短处理时间。因此，该位置和方位估计已用于头部位置估计等的混合现实感中需要实时处理的摄像设备的对准。

在文献1中，使用形状相对简单的测量对象作为测量对象，并且摄像设备与测量对象之间的距离改变也不大。因此，在视野中的测量对象模型的方位发生微小变化时，在所观察的边缘几乎不发生变化，这使得位置和方位的估计成为可能。

在实际环境中，通常将测量对象的影子等视为边缘，这通常使得位置和方位估计不可靠。在L.Vac chetti，V.Lepetit和P.Fua的“Combining edge and texture information for real-timeaccurate 3D camera tracking”，Proceedings of InternationalSymposium on Mixed and Augmented Reality，pp.48-57，2004(以下称之为文献2)中，将所观察的多个边缘的其中一个与测量线段相关联，并且进行优化计算，从而最小化关联边缘与投影在成像平面上的测量线段之间的距离。根据文献2，在包括待测量的边缘以外的边缘的环境中，可以利用用以通过重复使用上述关联相关的假定使得误差最小化所执行的收敛，来进行鲁棒的位置和方位估计。

迄今为止提出的方法在测量对象与观察该测量对象的摄像设备之间的相对位置关系变化不大时都可以很好地工作。然而，当摄像设备与人的运动结合时，即，当人为了导航等握持摄像设备本身并且移动时，就会出现问题。这些问题是由于以下事实而引起的：当人围绕建筑物或在户外行走时，测量对象和摄像设备的相对位置发生相当大的变化。

这里，作为例子，图2A～2H示出握持摄像设备的人正沿着室内走廊行走的情况。图2A、2C、2E和2G表示从里面行走的人的视点位置看到的建筑物结构的边缘。图2B、2D、2F和2H是示出从上面看的室内环境的图，其中，黑点表示正在行走的人的位置，并且附加给黑点的三角形表示正在行走的人的注视方向。在图2A、2C、2E和2G中的各位置所获得的俯视图对应于图2B、2D、2F和2H。

如果观察图2A中门的边缘和图2C中门的边缘，我们可以发现：尽管我们正在看同一观察对象，即，同一个门，但是由于视点和对象的相对位置的不同，因而可以观察到的图像几何特征的结构已改变。此外，图2E和图2G示出正在行走的人快速向走来的方向回看的情况。可以看出，此时，由正在行走的人观察到的对象从接近的门的边缘突然变成向远处延伸的走廊的边缘。因此，在测量对象为室内或室外结构并且四处携带摄像设备的应用中，经常发生图2A、2C、2E和2G所示的视点变化。

当所观察的对象和摄像设备的相对位置改变时，在拍摄图像上的投影和测量对象的几何特征中出现问题。即，当观察处于相对远离摄像设备的位置的详细几何特征时，投影图像上相互接近的投影几何特征之间的间隔变窄，并且，在某些情况下，可能将多个几何特征投影在小于1个像素内。为了处理这种情况，设想根据几何特征和摄像设备的相对位置关系来切换几何特征，但是，必需以系统方式预先设置几何特征和摄像设备的相对位置之间的关系。

然而，在可以回头看的走廊等的环境中出现的难题是多个模型之间的延迟切换。而且，基本上，难以检测拍摄图像中小于1个像素的线段。因此，当接近的几何特征处于远处时，变得难以在拍摄图像内的各个投影几何特征中检测到双方的图像几何特征，这就影响了估计结果。同时，由于根据接近的投影几何特征所获得的图像几何特征搜索区域重叠，因而变得更加难以实现有效处理。

此外，在用于获得位置和方位的优化计算过程中不得不重复执行非线性计算。因此，当对图像几何特征检测等的处理花费大量时间时，在达到足够的精度之前就停止迭代。这在需要视频帧率的实时处理以及位置和方位的精度的混合现实感技术中是不期望的。

发明内容

考虑到上述问题做出了本发明，并且本发明提供一种可以在不受摄像设备与测量对象之间的相对位置关系的影响的情况下有效获得摄像设备的位置和方位的测量设备和方法。

根据本发明的一个方面，提供一种测量设备，用于测量用于拍摄一个或更多个测量对象的图像的摄像设备相对于测量对象的相对位置和方位，所述测量设备包括：图像获取部件，用于从所述摄像设备获取拍摄图像；投影部件，用于基于所述摄像设备的位置和方位，将所述测量对象的3D模型的几何特征投影到所述拍摄图像上，以获得投影几何特征；选择部件，用于基于在所述拍摄图像中所述投影几何特征间的距离，从由所述投影部件获得的所述投影几何特征中选择要用于计算位置和方位的投影几何特征；以及计算部件，用于使用由所述选择部件选择的所述投影几何特征、以及在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的图像几何特征，来计算所述摄像设备相对于所述测量对象的相对位置和方位。

根据本发明的另一方面，提供一种用于测量设备的控制方法，所述测量设备用于测量用于拍摄一个或更多个测量对象的图像的摄像设备相对于测量对象的相对位置和方位，所述控制方法包括如下步骤：图像获取步骤，用于从所述摄像设备获取拍摄图像；投影步骤，用于基于所述摄像设备的位置和方位，将所述测量对象的3D模型的各几何特征投影到所述拍摄图像上，以获得投影几何特征；选择步骤，用于基于在所述拍摄图像中所述投影几何特征间的距离，从在所述投影步骤中获得的所述投影几何特征中选择要用于计算位置和方位的投影几何特征；以及计算步骤，用于使用在所述选择步骤中选择的所述投影几何特征、以及在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的图像几何特征，来计算所述摄像设备相对于所述测量对象的相对位置和方位。

通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示出根据实施例1的测量设备的功能结构的图。

图2A～2H示出在视点变化时所观察到的图像几何特征的分布的差异。

图3是说明实施例1的测量设备中所使用的图像几何特征的搜索起点和搜索对应点的图。

图4是示出根据本发明实施例的测量设备的功能结构的图。

图5是示出在用于混合现实感应用中时的根据本发明实施例的测量设备的结构的图。

具体实施方式

下面参考附图详细说明本发明的优选实施例。

实施例1

图1是示出测量设备100和摄像设备50的框图。图1示出测量设备100中的处理的流程和数据流。应该注意，作为由未示出的CPU执行存储在未示出的ROM或RAM中的控制程序的结果，部分或全部实现以下示出的测量设备100的结构。换句话说，可以通过在常见计算机上执行用于执行下述处理的控制程序来实现测量设备100。

在本实施例的测量设备100中，通过拍摄图像输入单元110和粗略输入单元130(附图中标记为“粗略位置/方位输入单元”)来连接拍摄场景的图像的摄像设备50、以及获取摄像设备50的大致的位置和方位的粗略测量设备70(附图中标记为“粗略位置/方位测量设备”)。而且，从几何特征输入单元120获取描述测量对象对准所使用的几何特征的测量对象的3D模型60。几何特征输入单元120可以被配置成从装载的存储介质接受3D模型60作为输入(读取)，或者可以被配置成通过网络等从外部接受3D模型60作为输入。测量设备100的目的是：在摄像设备50拍摄包括通过测量对象的3D模型60所描述的测量对象的场景的图像时，使用拍摄图像信息，以获得摄像设备50相对于测量对象的相对位置和方位。

应该注意，在本实施例中，允许测量设备100进行位置和方位估计的条件是：在由摄像设备50拍摄的场景的拍摄图像中包括测量对象的图像。应该注意，当在拍摄图像中没有测量对象的图像时，可以“照原样”使用粗略测量设备70的测量值。

摄像设备50是利用由CCD或CMOS元件构成的光电转换元件的2D摄像设备。而且，摄像设备50通过拍摄图像输入单元110将视频信号发送给测量设备100。拍摄图像输入单元110被配置成允许通过信号线缆(线路)或无线地进行视频信号的传送。此外，可以采用将摄像设备50包含在测量设备100中的形式，或者采用将用于实现测量设备100的处理的结构包含在摄像设备50的处理器中的形式。

测量对象的3D模型60是包括测量对象的3D几何信息的模型，并且包括作为由摄像设备50拍摄的图像中的边缘所检测到的几何特征。总的来说，可以使用CAD和其它设计数据作为3D模型60。而且，还可以配置3D模型60以允许输入由测量装置所测得的值作为3D模型。应该注意，商品化的3D测量应用程序可以用于编辑3D模型。此外，还可以利用测量工具测量建筑物中的墙表面和门的边缘。在本实施例中，假定在可以附接到测量设备100并可以从测量设备100移除的存储介质上提供目标测量对象，以允许测量设备100切换测量对象。因此，利用能够从可移动存储介质读取数据的接口来安装测量设备100的几何特征输入单元120。

另一方面，当处理现有固定测量对象时，可以使用非易失性存储器或存储介质将3D模型信息包含在测量设备100中。即，可以在执行测量之前以某种方式将测量对象的3D模型60提供给测量设备100。因此，可以通过存储在外部存储介质上的多个3D模型来指定3D模型60，以及可以通过网络从远程服务器获取3D模型60。

此外，由于测量设备100可以包含可从拍摄图像检测到的几何特征数据，因而测量设备100可以被配置成包括用于转换各种3D模型数据格式的处理单元。

粗略测量设备70是用于提供摄像设备50的大致的位置和方位的设备。可以使用测量6DoF(六自由度)，即，使用磁场或超声波的传感器在空间中的位置和方位的设备。应该注意，还可以利用通过设置已知位置处的具有图形特征的标记并从拍摄图像检测这些标记而获得的摄像设备50的粗略位置和方位。

而且，由于只要理解摄像设备50相对于测量对象的大致相对位置和方位就足够了，因此，一旦可以使用测量设备100获得高精度的位置和方位，则可以在以后利用这些位置和方位结果。因此，如果在将摄像设备50置于预定初始位置之后启动了位置和方位测量，则可以不需要粗略测量设备70。这样，用于获得粗略位置和方位的方法对本发明的实施不施加限制，并且可以使用任何方法来获取位置和方位。

接着将说明位置和方位测量设备100的结构。

位置和方位测量设备100包括：输入单元，用于输入来自其它装置的信息；处理单元，用于基于来自输入单元的信息，估计摄像设备相对于测量对象的相对位置和方位；以及输出单元，用于输出摄像设备的位置和方位，从而其它装置可以使用该摄像设备的位置和方位。下面说明作为用于输入的单元的拍摄图像输入单元110、几何特征输入单元120以及粗略输入单元130。

首先，给出对于用以获取拍摄图像的摄像设备50的结构的说明。通过拍摄图像输入单元110将摄像设备50连接到测量设备100。在本实施例中，假定拍摄图像输入单元110具有用于视频信号输入的连接器，该连接器与符合视频信号输出规格的、摄像设备50的视频输出端连接。

接着，将给出关于测量对象的3D模型60的读取的说明。假定3D模型60的格式是测量设备100支持的格式。应该注意，在处理设计CAD数据的情况下，几何特征输入单元120具有相应的CAD格式分析能力，这使得可以处理任何模型数据。假定从各个模型格式提取并保持与图像几何特征相对应的模型数据，从而在拍摄图像中检测用于估计设备的位置和方位的测量对象。换句话说，几何特征输入单元120基于根据粗略测量设备70的摄像设备50的位置和方位，选择拍摄图像中存在的测量对象的模型，并且保持该模型。

在本实施例中，假定几何特征包括一条或多条线段，并且针对各线段至少包含两个点，即，3D起点和终点。应该注意，如下所述，可以通过剪切(clip)生成起点和终点两者。如果以通过几何特征建立的模型坐标系表示构成线段的各点的坐标，则可以通过参考模型坐标系中的位置和方位与在扩展成实际空间尺度期间所使用的比例因子，将起点和终点两者与现实空间相匹配。

接着将说明从粗略测量设备70获取粗略位置和方位。假定粗略测量设备70基于来自随同摄像设备50移动的传感器的信息，测量摄像设备的大致位置和方位。在本实施例中，假定通过串行通信获取粗略测量设备70的信息。粗略输入单元130通过串行通信，从粗略测量设备70获取安装有传感器的摄像设备50的大致位置和方位。此外，可以在粗略输入单元130或粗略测量设备70中对适当的传感器进行偏移调整。

接着说明本实施例中的测量设备100的位置和方位估计所涉及的处理。

通过参考水平同步信号和垂直同步信号，图像获取单元200对通过拍摄图像输入单元110传送的拍摄图像，即，摄像设备50的视频信号进行采样，并且将该拍摄图像保存为2D图像数据。假定与摄像设备50的摄像定时同步地执行测量设备100的各单元所进行的处理。从摄像设备50输出的视频同步信号可以用于确认摄像定时。而且，当期望在摄像设备50中使用低偏斜光学元件时，在使用表现偏斜的光学元件的情况下，可以预先校准该镜头的偏斜，并使用该偏斜进行校正。更具体地，图像获取单元200保持以数学模型的形式来近似正使用的镜头的偏斜的参数。当其它处理单元(例如，图像几何特征搜索单元600)检查拍摄图像的像素浓度时，图像获取单元200使用所保持的参数来对偏斜进行校正，并提供该像素浓度。这样，检查像素浓度的处理单元可以检查基于镜头偏斜校正等式校正后的像素位置处的浓度，这还使得可以在允许近似的偏斜范围内维持拍摄图像中的边缘的线性。

接着说明由本实施例中的测量设备100的几何特征投影单元300所进行的处理。假定这里所使用的“几何特征”由起点和终点这两点组成。而且，假定已将几何特征的坐标系转换成基于基准坐标系的表示。

基准坐标系中的点的坐标[x_w，y_w，z_w]^T和照相机坐标系中的拍摄图像中的坐标[u_x u_y]使用透视投影变换的矩阵P以如下方式相关。

等式1

$h\left(\begin{array}{c}{u}_x\\ u_y\\ 1\end{array}\right)=P\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right)$

这里，获得h作为齐次坐标变换表示(homogeneouscoordinate transformation representation)，并且使用所获得的h计算[u_x u_y]^T。而且，如果元素为R₁₁、R₁₂、R₁₃、R₂₁、R₂₂、R₂₃、R₃₁、R₃₂和R₃₃的矩阵R(3×3矩阵)是基准坐标系中的方位旋转矩阵，并且t＝[t_x t_y t_z]是平行移动矢量，则可以以下面的方式表示上面的等式中的P。

等式2

$P=\left(\begin{array}{cccc}-f_x& 0& p_x& 0\\ 0& -f_y& p_y& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cccc}& & & \\ & R& & t\\ & & & \\ 0& 0& 0& 1\end{array}\right)=\left(\begin{array}{cccc}-f_x& 0& p_x& 0\\ 0& -f_y& p_y& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cccc}{R}_{11}& R_{12}& R_{13}& t_x\\ R_{21}& R_{22}& R_{23}& t_y\\ R_{31}& R_{32}& R_{33}& t_z\\ 0& 0& 0& 1\end{array}\right)$

这里，f_x、f_y是水平和垂直方向上的焦距，并且p_x、p_y是水平和垂直方向上的主点坐标。

如果预先校准了与摄像设备50中使用的光学元件的偏斜有关的参数，则上面的等式的参数中的参数f_x、f_y和p_x、p_y变为已知值。此外，尽管作为照相机的方位分量的R具有9个分量，但是使用关于三个独立矢量的旋转所产生的表示就足够了。因此，使用通过三个变量表示关于旋转轴的旋转角度的方法，来表示旋转变换。即，如果旋转轴的矢量为

并且旋转角度为r_a，则将按如下表示旋转矩阵R。

等式3

$R=\left[\begin{array}{ccc}{r_x}^2(1-\cos r_a)+\cos r_a& r_x{r}_y(1-\cos r_a)-r_z\sin r_a& r_z{r}_x(1-\cos r_a)+r_y\sin r_a\\ r_x{r}_x(1-\cos r_a)+r_x\sin r_a& {r_y}^2(1-\cos r_a)+\cos r_a& r_y{r}_z(1-\cos r_a)-r_x\sin r_a\\ r_z{r}_x(1-\cos r_a)-r_y\sin r_a& r_y{r}_z(1-\cos r_a)+r_x\sin r_a& {r_z}^2(1-\cos r_a)+\cos r_a\end{array}\right]$

应该注意，在相对于旋转轴，r_x ²+r_y ²+r_z ²＝1的条件下，并且方位为ω，则下面的等式成立。

等式4

几何特征的起点和终点可以经过透视投影变换，并且被变换成照相机坐标系中的拍摄图像内的点。

实际上，通过对依靠光学元件在CCD或CMOS等成像元件上形成图像的光进行采样来获得拍摄图像。因此，成像元件的范围是预先确定的。几何特征投影单元300仅保持起点或终点包含在拍摄图像区域中的几何特征，作为透视投影变换计算的结果。当在拍摄图像区域内仅包括几何特征的一个点，即，或者起点或者终点时，使用该线段与拍摄图像区域的边界的交点作为新的起点或终点。这样的处理是在计算机图形中称为“剪切”的典型处理。

此外，在现实环境下，投影几何特征有时存在于投影几何特征被其它对象遮挡并且不能观察到该投影几何特征的位置。在这种情况下，如在上述文献1中所述，可以使用关于由多个几何特征所构成的3D模型表面的信息来判断是否可以观察到投影几何特征。

接着说明投影几何特征选择单元400。投影几何特征选择单元400使由几何特征投影单元300所投影的各个几何特征经过基于画面(拍摄图像中的)上的几何特征之间的距离来判断是否将它们用于位置和方位计算的处理。

首先，投影几何特征选择单元400获得投影几何特征在拍摄图像中的距离。这里，给出对于第i个投影几何特征的说明。第i个投影几何特征的起点为Ps(i)＝[xs_i，ys_i]^T，并且其终点为Pe(i)＝[xe_i，ye_i]^T。以下面的方式计算投影几何特征在拍摄图像中的距离D_i。

等式5

$D_i=\sqrt{{(\mathrm{Ps}\left(i\right)-\mathrm{Pe}\left(i\right))}^2}=\sqrt{{({\mathrm{xs}}_i-{\mathrm{xe}}_i)}^2+{({\mathrm{ys}}_i-{\mathrm{ye}}_i)}^2}$

当距离D_i短于预定阈值D′时，判断为该投影几何特征将不用于获得随后的边缘的距离的处理。另一方面，当距离D_i的长度等于或大于D′时，假定该投影几何特征随后将用于基于边缘距离的位置和方位估计处理。

应该注意，当位置和方位发生微小变化时，投影长度几乎保持相同，这允许在重复位置和方位估计处理时基于距离D_i的值的缓存的有效处理。

此外，在本实施例中，基于该投影几何特征和其它投影几何特征之间的相互距离，对是否使用该投影几何特征进行判断。在本实施例中，对于已经过投影变换的第i个投影几何特征的起点Ps(i)和终点Pe(i)，获得与直到第(i-1)个投影几何特征为止的处理后的投影几何特征中所选择使用的投影几何特征的起点和终点的距离。应该注意，第i个投影几何特征的起点Ps(i)和终点Pe(i)分别是Ps(i)＝[xs_i ys_i]^T和Pe(i)＝[xe_i ye_i]^T。然后，将最短距离与预定阈值进行比较，并且判断为将不使用小于该阈值的距离。

作为上述处理的结果，在投影图像中的平行和相邻的投影几何特征中，不使用作为与已选择使用的线段邻近的线段或判断为具有等于或小于D′的长度的线段。作为执行这些选择操作的结果，减少了进行下述的拍摄图像中的边缘搜索的图像区域中的值检查的频率，并且可以执行有效处理。此外，使用邻近投影几何特征的边缘搜索区域的重叠，使得可以动态处理由于摄像设备和测量对象之间的位置关系的变化而观察到的边缘变化。此外，作为不使用判断为具有等于或小于D′的长度的线段的结果，从经过计算的项中排除不允许获得足够信息来确定线段方向的线段。

接着，对于已经过几何特征投影单元300的透视投影变换的投影几何特征中由投影几何特征选择单元400所选择使用的投影几何特征，投影几何特征搜索设置单元500计算用于在拍摄图像中执行边缘搜索的点。接着参考图3说明对于投影几何特征搜索设置单元500的图像几何特征的搜索起点和搜索相应点(搜索终点)的设置。

在图3中，给出第i个投影几何特征(本实施例中的投影测量线段)301的说明。第i个投影几何特征301的起点在Ps(i)＝[xs_i，ys_i]^T，并且其终点在Pe(i)＝[xe_i，ye_i]^T。通过下面的等式表示连接Ps(i)和Pe(i)的矢量v_i：

等式6

v_i＝[xe_i-xs_i ye_i-ys_i]^T

并且通过下面的等式表示标准化矢量：

等式7

${\stackrel{\‾}{v}}_i=\frac{v_i}{\left|v_i\right|}$

接着，沿着连接Ps(i)和Pe(i)的线段设置等距的搜索起点c_(i，m)。这里，m的范围是0～M_i，其中，使用预定搜索线段间隔B根据下面的等式获得M_i。

等式8

$M_i=\left[\frac{\left|v_i\right|}{B}\right]$

在上面的等式中，[](高斯符号)表示没有超过给定数的最大整数。使用作为结果的M_i，实际搜索间隔b_i为：

等式9

$b_i=\frac{{|v}_i|}{M_i}$

然后，通过下面的等式表示搜索起点c_(i，m)：

等式10

$c_{(i,m)}=\mathrm{Ps}\left(i\right)+{\mathrm{mb}}_i{\stackrel{\‾}{v}}_i$

从搜索起点c_(i，m)开始在与测量线段垂直的方向上执行拍摄图像中的边缘的搜索。搜索范围是从各搜索起点c_(i，m)开始并且延伸到搜索相应点s⁺ _(i，m)和s^- _(i，m)的线段区域，其中，横过该线段区域进行边缘即图像几何特征的搜索。如果投影测量线段的标准化矢量的法向矢量为

那么下面的关系成立：

等式11

${\stackrel{\‾}{v}}_i\·{\stackrel{\‾}{v}}_{\⊥i}=0$

下面还将上述的法向矢量指定为“标准化法向矢量v_⊥i””。

如果从搜索相应点到搜索起点的距离为d，则搜索相应点s⁺ _(i，m)的位置将为：

等式12

${S^{+}}_{(i,m)}=c_{(i,m)}+d{\stackrel{\‾}{v}}_{\⊥},$

并且，对侧的搜索相应点s^- _(i，m)的位置将为：

等式13

${S^{-}}_{(i,m)}=c_{(i,m)}-d{\stackrel{\‾}{v}}_{\⊥}.$

应该注意，在将这里的标准化法向矢量v_⊥i的方向设置成与投影几何特征垂直时，完全可以将搜索方向设置成允许在投影几何特征附近搜索图像几何特征的方向。

具体地，可以使用通过在上、下、左和右四个方向上、或者在另外还包括右上、右下、左上和左下的八个方向上对标准化法向矢量v_⊥i进行量化所获得的矢量。选择相对于标准化法向矢量_v⊥i具有小差异的标准化矢量方向，使得可以有效处理图像几何特征搜索。

此外，还可以预先在3D模型中描述几何特征搜索方向，并且使用通过使搜索方向经过透视投影变换所产生的矢量。

图像几何特征搜索单元600基于从图像获取单元200所获得的拍摄图像中由投影几何特征搜索设置单元500所设置的搜索起点和搜索相应点之间的像素浓度，检测图像几何特征。例如，图像几何特征搜索单元600检测读取的相邻像素的浓度具有(超过预定阈值的点中的)明显浓度梯度的点，并且保持此时感兴趣的像素的位置作为图像几何特征检测位置。

此外，增加处理的总效率的有效方法是：参考从图像获取单元200获取图像时开始已经历的时间，并判断已经历的时间是否超过预定值，如果超过预定值，则设置为中断检测处理。

计算单元700(附图中标记为“位置/方位计算单元”)基于拍摄图像中由图像几何特征搜索单元600所检测到的图像几何特征的位置和与该位置相对应的测量对象的投影测量线段的位置之间的距离，计算并更新测量对象和摄像设备的相对位置和方位。这里，给出关于计算单元700的摄像设备的位置和方位的计算和更新的处理的说明。

通过执行优化计算，从而减小根据估计的位置和方位所观察到的测量对象的几何特征的投影位置与所观察到的实际拍摄图像平面上的图像几何特征的位置之间的差，可以获得摄像设备的更新后的位置和方位。在本实施例中，如上所述，使用测量线段作为几何特征。

这里，将所观察到的图像几何特征的位置与测量对象的几何特征的投影位置之间的距离当作误差，并且使用该误差作为误差函数E。误差函数E接受照相机的位置t＝[t_x t_y t_z]^T、根据关于旋转轴的旋转角度的照相机的方位ω＝[ω_x ω_y ω_z]^T和基准坐标系中的所观察到的目标点的位置x_w＝[x_w y_w z_w]^T，作为输入。

如果投影位置为u′＝[u′_x u′_y]^T，并且所观察到的位置为u＝[u_x u_y]，则可以由它们的差来表示拍摄图像的误差函数。

等式14

E(t_x，t_y，t_z，ω_x，ω_y，ω_z，x_w，y_w，z_w)＝u′-u

总的来说，位置和方位与观察目标点的位置之间的关系是非线性的，这是为什么通过上述等式所表示的误差函数E对于输入也是非线性函数的原因。由于在本实施例中使用线段作为投影几何特征，因而投影点为u″＝[u″_x u″_y]^T，其中该投影点使通过边缘搜索检测到的观察点u＝[u_x u_y]^T与通过从该点向投影线段绘制法线所获得的交点相匹配。在这种情况下，使用等式15作为误差函数。

等式15

E′(t_x，t_y，t_z，ω_x，ω_y，ω_z，x_w，y_w，z_w)＝u″-u

如果在摄像设备的位置和方位经过微小变化的范围中对于上述等式的线性近似使用一阶泰勒展开，则可以以下面的方式重写该等式。

等式16

$E^{\′}(t_x,t_y,t_z,{\mathrm{\ω}}_x,{\mathrm{\ω}}_y,{\mathrm{\ω}}_z,x_w,y_w,z_w)\≅$

${E^{\′}}_0+\frac{\∂E^{\′}}{\∂t_x}\mathrm{\Δ}{t}_x\frac{\∂E^{\′}}{\∂t_y}\mathrm{\Δ}{t}_y+\frac{\∂E^{\′}}{\∂t_z}\mathrm{\Δ}{t}_z+\frac{\∂E^{\′}}{\∂{\mathrm{\ω}}_x}\mathrm{\Δ}{\mathrm{\ω}}_x+\frac{\∂E^{\′}}{\∂{\mathrm{\ω}}_y}\mathrm{\Δ}{\mathrm{\ω}}_y+\frac{\∂E^{\′}}{\∂{\mathrm{\ω}}_z}\mathrm{\Δ}{\mathrm{\ω}}_z$

$+\frac{\∂E^{\′}}{\∂x_w}\mathrm{\Δ}{x}_w+\frac{\∂E^{\′}}{\∂y_w}\mathrm{\Δ}{y}_w+\frac{\∂E^{\′}}{\∂z_w}\mathrm{\Δ}{z}_w$

E₀′表示在该等式中代入照相机的位置t⁰＝[t_x ⁰ t_y ⁰ t_z ⁰]^T、照相机的方位ω⁰＝[ω_x ⁰ ω_y ⁰ ω_z ⁰]^T、目标点坐标x_w ⁰＝[x_w ⁰ y_w ⁰ z_w ⁰]^T和观察位置u⁰＝[u_x ⁰ u_y ⁰]^T时投影位置与观察位置之间的差，即，误差。结果，在t⁰、ω⁰和x⁰的附近，使用线性化后的等式获得Δt_x、Δt_y、Δt_z、Δω_x、Δω_y、Δω_z、Δx_w、Δy_w和Δz_w，并且将它们作为校正值与t⁰、ω⁰和x⁰相加，从而使得可以减小误差。

由于等式的数量通常与变量的数量不一致，因而使用关于大量基准点的信息，通过最小二乘法获得校正值Δ。因此，得到校正等式Δ。首先，如果指定包含变量偏导数的矩阵为J，校正矢量为Δ，并且误差矢量为E′，则基于上述等式，可以得出：

等式17

JΔ＝E′

通过将该等式的左右部分乘以J的转置矩阵J^T，可以按照下面表示校正矢量Δ的等式。

等式18

Δ＝(J^TJ)^-1J^TE′

进行更新直到校正矢量Δ的值减小为止，这使得可以获得高精度的位置和方位。尽管上述方法示出基于牛顿法的解法，但是显然可以使用其它方法进行优化计算。

应该注意，由于众所周知的非线性优化技术能够足以减小图像几何特征的位置与通过将测量对象的几何特征投影到拍摄图像上所获得的投影几何特征的位置之间的所观察到的图像中的距离，因而在本实施例中可以应用这些非线性优化技术。例如，存在这样一种方法：对于大致估计的位置和方位，生成大量显示变量值附近的微小差的随机组合，获得各组合的误差，并利用具有小误差值的组合。

而且，假定如果通过计算单元700处理后的误差低于预定值，则终止基于相应的拍摄图像的位置和方位估计，并且通过输出单元140输出该结果(摄像设备80的位置和方位)。如果该误差大于预定值，则将更新后的位置和方位传递给几何特征投影单元300，并且使用更新后的位置和方位执行基于边缘搜索结果的位置和方位估计。如果在计算单元700中所进行的更新的次数超过预定值，则意味着不能平稳进行位置和方位的估计。在这种情况下，在本实施例中，将粗略输入单元130的值输出给输出单元140。基于这种处理，测量设备100可以输出位置和方位计算结果，虽然它们表示低精度粗略位置和方位。此时，还可以将表示是否已精确地判断了位置和方位的值输出给输出单元140。通过进行这些处理，该设备可用于允许测量设备100的用户判断是否将输出的位置和方位测量值校正成高精度。例如，在利用混合现实感技术的应用中，假定连续执行位置和方位测量，并且表示位置和方位测量处理没有成功的信息使得可以更改应用程序所进行的处理。

应该注意，尽管以上给出的说明是关于获得位置和方位的所有六个参数的情况，但是，相同技术还可应用于通过其它方式获得一些参数并随后获得其余参数的情况。例如，可以以类似方式处理在将摄像设备安装在三角架上的环境下获得方位的情况，或者处理使用用于测量相对于重力轴的倾斜的传感器所产生的测量值倾斜角度来优化位置和方位的四个参数的情况。

应该注意，尽管上述实施例1示出了使用构成测量对象的3D模型的线段作为几何特征的情况，但是在实际实施中不局限于使用线段。例如，即使几何特征为点、圆、椭圆等，都可以应用本发明。

例如，如果几何特征为点，则投影图像中点的分布根据摄像设备和测量对象的相对位置而变化。如果已投影在投影图像上的点与拍摄图像中的几何特征的投影点之间的距离小于一个像素，则将难以分离并检测各个图像几何特征。因此，通过在本实施例中使用的投影几何特征选择单元400中进行与上述实施例中的相同处理，可以解决这一问题。

如上所述，根据实施例1，基于投影几何特征的位置关系，适当选择用于位置和方位计算的几何特征。因此，可以以有效方式获得摄像设备的位置和方位，而不受摄像设备和测量对象的相对位置的影响。

实施例2

上述实施例1说明了这样一种方法，在该方法中，在拍摄图像中搜索与投影几何特征的位置相对应的图像几何特征，并且估计位置和方位，以降低它们之间的距离。在检测拍摄图像中的图像几何特征期间所进行的线段的检测中，可以使用普通Sobel算子和Canny算子。这里，将拍摄图像中通过图像处理所检测到的线段(将其适当地称为边缘)称为边缘元素。

关于投影几何特征和边缘元素的匹配，假定获得了粗略位置和方位，可以将处于投影几何特征附近的边缘中具有类似长度、方向等的边缘处理相关联，并且可以估计位置和方位，以缩小与这些边缘元素的距离。在这种情况下，可以通过根据拍摄图像中的距离确定几何特征的使用来减少多余的关联处理。

实施例3

当测量对象是描述整个建筑物结构的模型等的具有很大线段的3D模型时，位置和方位估计所需的几何特征根据摄像设备50和测量对象之间的距离，经过相当大的变化。因此，如果不能以有效方式进行处理，则难以在照相机的成像间隔内进行位置和方位估计。在实际实施中，在拍摄图像中，位置和方位估计所需的几何特征可以具有特定长度，并且可以具有各种方向。

因此，因为即使中断了图像几何特征搜索处理，也能够完成位置和方位估计所需的几何特征的处理，因而，考虑位置和方位估计所需的几何特征的处理顺序的处理，使得可以处理很大的几何特征，同时维持位置和方位的精度。

图4是示出具有几何特征排序单元800的实施例3的测量设备100的结构的流程图，其中，几何特征排序单元800表示确定模型的处理顺序的几何特征排序部件。应该注意，除几何特征排序单元800以外，图4所示的结构与实施例1(图1)的结构相同。因此，这里给出的说明集中于几何特征排序单元800所进行的处理。

在实施例3中，假定如果几何特征为线段，则几何特征排序单元800计算拍摄图像中的投影几何特征的长度，并且从最长至最短对它们进行排序。而且，如果使用线段附近所分布的点和像素作为几何特征，则可以使用定义像素分布的分布值来进行排序。应该注意，尽管这里的说明是参考投影几何特征的长度这一情况，但是在实际实施中，为了能够实现实施例3的效果，进行排序使得可以以优先方式处理位置和方位估计期间允许有效图像几何特征检测的线段就足够了。

例如，存在这样一种排序方法：升高拍摄图像中允许容易的图像几何特征检测的几何特征的优先程度。在初始化期间，将所有优先程度设置成“未检测”，其后，使所有投影几何特征经过一次检测。接着，保存在拍摄图像中的图像几何检测期间所获得的相邻像素之间的浓度差，并且使用浓度差进行排序。而且，这可以应用于以下情况：如果注视方向改变，并且观察几何特征变得不同，则基于边缘搜索处理动态地改变优先程度被设置为“未检测”的几何特征。而且，在几何特征投影单元300中转换成照相机坐标系的转换期间，还计算从照相机视点位置开始的几何特征的深度方向。因此，几何特征排序单元800从深度方向靠近该视点的特征开始进行排序，作为结果，可以首先处理对于位置和方位精度具有显著影响的边缘。

而且，还可以使用这样一种方法：将保持预定数量的几何特征的排序结果的表保存在几何特征排序单元800中，并且不保存超过该预定数量的结果，这在使处理更有效方面是有效的。

实施例4

接着示出将上述实施例中所述的测量设备100应用于混合现实感的例子。

图5是示出将根据实施例5的测量设备100应用于基于混合现实感技术将虚拟对象CG与测量对象合成的方式的示意图。在图5中，测量对象10是形状已知的3D对象。假定由多个面构成具有曲面的构成面。而且，观察测量对象的角度不局限于特定方式。

通过拍摄图像输入单元110将摄像设备50所拍摄的图像输入给测量设备100。而且，为了合成图像，还将摄像设备50连接到色度键合成设备(chroma-key compositing apparatus)920的图像输入单元921。假定已将测量对象10的3D模型60登记在测量设备100中。

当在拍摄图像中存在测量对象10时，测量设备100使用输出单元140输出摄像设备50的位置和方位测量的结果。CG描绘设备910通过输入单元911从测量设备100接受摄像设备50的位置和方位。CG描绘设备910使用从输入单元911输入的位置和方位作为CG视点位置，并且使虚拟对象经过CG描绘，从而将描绘的图像输出给CG图像输出单元912。这里，CG描绘设备910在测量对象10上描绘作为虚拟对象的两个圆柱体941，并且使用CG图像输出单元912输出虚拟对象CG图像940等的图像。应该注意，虚拟对象CG图像940的背景颜色是由色度键合成设备920所设置的色度键匹配颜色。

色度键合成设备920从图像输入单元921接受摄像设备50的拍摄图像作为输入，并且从色度键目标图像输入单元922取得虚拟对象CG图像940。然后，色度键合成设备920合成虚拟对象CG图像940与拍摄图像，其中，在虚拟对象CG图像940中，具有色度键匹配颜色的区域为透明，并且使用色度键合成图像输出单元923输出所生成的合成图像930。作为上述处理的结果，将输出的合成图像930变成图像，在该图像中，具有在拍摄的测量对象上描绘的两个圆柱体941，即，虚拟对象。

根据实施例4，为了检查组件与组件的干涉，可以在画面上与使用CAD所设计的虚拟组件一起观察实际组件。而且，由于操作者通过观看头安装显示器(HMD：Head Mount Display)上的合成图像930可以容易地进行上述检查，因而这是优选的。

如果将注视方向设置在与此时的摄像设备的方向相同的方向上，则头部单元的位置和方位可以与正观察的现实空间一致，这使得可以预期基于混合现实感来提高可操作性。此外，可以使用单个计算机程序实现测量设备100、CG描绘设备910和色度键合成设备920。

根据上述实施例，可以以有效方式获得摄像设备的位置和方位，而不受摄像设备和测量对象之间的相对位置关系的影响。

其它实施例

尽管作为本发明典型实施例说明了上述典型结构，但是，通常，使用实现本发明的处理部件的设备和照相机就足够了。例如，如果以在蜂窝式电话或便携式计算机上实现本发明的处理配置的程序的形式执行处理，则获得相同效果。此外，还可以使用位置和方位测量结果实现用于呈现与邻近设施和位置有关的信息的二维服务。

尽管上面说明了一些实施例，但是本发明可以有例如系统、装置、方法、程序或存储介质等实施例。具体地，本发明可应用于由多个装置构成的系统、也可应用于由单个装置构成的设备。

应该注意，本发明包括以下情况：通过直接或远程向系统或设备提供软件程序，并允许该系统或设备的计算机读取并执行所提供的程序代码，来实现上述实施例的功能。在这种情况下，所提供的程序对应于在实施例的附图中所示的流程图。

因此，由于可以在计算机上实现功能处理这一情况，因而安装在计算机上的程序代码可以实现本发明。

在这种情况下，只要具有程序的功能，实施例可以采用各种形式，例如对象代码、由解释程序执行的程序、提供给OS的脚本数据等。

以下介质可用作用于提供该程序的计算机可读存储介质。例如，存储介质可以为软(floppy^(TM))盘、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM或DVD(DVD-ROM、DVD-R)等。

另外，使用客户端计算机上的浏览器连接到因特网主页，并且从该主页将本发明的计算机程序下载到硬盘或其它记录介质上，这可以作为提供该程序的方法。在这种情况下，下载的程序可以是具有自动安装功能的压缩文件。而且，还可以通过将构成本发明的程序的程序代码分成多个文件，并且从不同主页下载各文件，来实现本发明。换句话说，允许多个用户下载在计算机上实现本发明的功能处理所使用的程序文件的WWW服务器也包括在本发明中。

而且，可以采用以下形式：对本发明的程序进行加密，将加密后的程序存储在CD-ROM或其它存储介质上，并且将其分发给用户。在这种情况下，可以允许满足一定条件的用户通过因特网从主页下载解密加密所使用的密钥信息，并且使用该密钥信息执行加密程序，并将该程序安装在计算机上。

而且，除基于计算机执行读入的程序实现实施例的上述功能以外，还可以基于该程序的指令，与运行在计算机上的OS等协作，实现实施例的功能。在这种情况下，OS等执行部分或全部实际处理，并且基于这种处理实现上述实施例的功能。

此外，可以通过将从记录介质读取的程序写入设置在与计算机连接的扩展单元或插入计算机中的扩展板中的存储器中，来实现上述实施例的部分或全部功能。在这种情况下，在将程序写入扩展板或扩展单元之后，设置在该扩展板或扩展单元中的CPU等基于该程序的指令进行部分或全部实际处理。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。

Claims (14)

1.一种测量设备，用于测量用于拍摄一个或更多个测量对象的图像的摄像设备相对于测量对象的相对位置和方位，所述测量设备包括：

图像获取部件，用于从所述摄像设备获取拍摄图像；

投影部件，用于基于所述摄像设备的位置和方位，将所述测量对象的3D模型的几何特征投影到所述拍摄图像上，以获得投影几何特征；

几何特征排序部件，用于基于所述拍摄图像中的几何特征附近的相邻像素之间的浓度差，对由所述投影部件获得的所述测量对象的所述投影几何特征进行排序；

选择部件，用于基于在所述拍摄图像中所述投影几何特征间的距离，从由所述投影部件获得的所述投影几何特征中选择要用于计算位置和方位的投影几何特征；

搜索部件，用于以排序后的顺序搜索在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的图像几何特征；以及

计算部件，用于使用由所述选择部件选择的所述投影几何特征、以及在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的搜索出的图像几何特征，来计算所述摄像设备相对于所述测量对象的相对位置和方位。

2.根据权利要求1所述的测量设备，其特征在于，所述投影部件用于通过将构成测量对象的3D模型并与可以在所述拍摄图像中检测到的图像几何特征相对应的线段投影到所述拍摄图像上，来获得所述投影几何特征。

3.根据权利要求1或2所述的测量设备，其特征在于，所述计算部件包括设置部件，所述设置部件用于为所选择的所述投影几何特征设置所述拍摄图像中的一个或更多个点，并获得各点处的搜索方向；以及

其中，所述搜索部件基于由所述设置部件设置的所述点和所述搜索方向，在所述拍摄图像中搜索图像几何特征。

4.根据权利要求1或2所述的测量设备，其特征在于，所述投影几何特征是线段，所述选择部件用于如果所述投影几何特征与至少一个先前确定的投影几何特征相距至少预定距离，则选择该投影几何特征。

5.根据权利要求1或2所述的测量设备，其特征在于，所述几何特征排序部件用于将所述投影几何特征排序成基于所述投影几何特征在所述拍摄图像中的长度的顺序。

6.根据权利要求1或2所述的测量设备，其特征在于，所述几何特征排序部件用于将所述投影几何特征排序成基于在所述拍摄图像中检测相应的图像几何特征的能力的高低的顺序。

7.根据权利要求1或2所述的测量设备，其特征在于，所述投影几何特征是线段，所述选择部件用于如果所述投影几何特征在所述拍摄图像中的长度大于预定阈值，则选择该投影几何特征。

8.一种用于测量设备的控制方法，所述测量设备用于测量用于拍摄一个或更多个测量对象的图像的摄像设备相对于测量对象的相对位置和方位，所述控制方法包括如下步骤：

图像获取步骤，用于从所述摄像设备获取拍摄图像；

投影步骤，用于基于所述摄像设备的位置和方位，将所述测量对象的3D模型的各几何特征投影到所述拍摄图像上，以获得投影几何特征；

几何特征排序步骤，用于基于所述拍摄图像中的几何特征附近的相邻像素之间的浓度差，对在所述投影步骤中获得的所述测量对象的所述投影几何特征进行排序；

选择步骤，用于基于在所述拍摄图像中所述投影几何特征间的距离，从在所述投影步骤中获得的所述投影几何特征中选择要用于计算位置和方位的投影几何特征；

搜索步骤，用于以排序后的顺序搜索在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的图像几何特征；以及

计算步骤，用于使用在所述选择步骤中选择的所述投影几何特征、以及在所述拍摄图像中检测到的与所选择的所述投影几何特征相对应的搜索出的图像几何特征，来计算所述摄像设备相对于所述测量对象的相对位置和方位。

9.根据权利要求8所述的控制方法，其特征在于，所述投影步骤包括通过将构成测量对象的3D模型并与可以在所述拍摄图像中检测到的图像几何特征相对应的线段投影到所述拍摄图像上，来获得所述投影几何特征。

10.根据权利要求8或9所述的控制方法，其特征在于，所述计算步骤包括设置步骤，所述设置步骤用于为在所述选择步骤中选择的所述投影几何特征设置所述拍摄图像中的一个或更多个点，并获得各点处的搜索方向；以及

其中，所述搜索步骤基于在所述设置步骤中设置的所述点和所述搜索方向，在所述拍摄图像中搜索图像几何特征。

11.根据权利要求8或9所述的控制方法，其特征在于，所述投影几何特征是线段，所述选择步骤包括如果所述投影几何特征与至少一个先前确定的投影几何特征相距至少预定距离，则选择该投影几何特征。

12.根据权利要求8或9所述的控制方法，其特征在于，所述几何特征排序步骤包括将所述投影几何特征排序成基于所述投影几何特征在所述拍摄图像中的长度的顺序。

13.根据权利要求8或9所述的控制方法，其特征在于，所述几何特征排序步骤包括将所述投影几何特征排序成基于在所述拍摄图像中检测相应的图像几何特征的能力的高低的顺序。

14.根据权利要求8或9所述的控制方法，其特征在于，所述投影几何特征是线段，所述选择步骤包括如果所述投影几何特征在所述拍摄图像中的长度大于预定阈值，则选择该投影几何特征。

Images