CN103839277A - 一种户外大范围自然场景的移动增强现实注册方法 - Google Patents

Abstract

本发明提供一种户外大范围自然场景的移动增强现实注册方法。采用基于本质矩阵和三角测量相结合的欧氏重建方法来完成特征点的三维重建，并利用本质矩阵计算摄像头初始的外参，通过建立虚拟三维物体的坐标系和场景平面的坐标系；使用BRISK算子进行特征检测与跟踪，并且只对识别成功的图像进行跟踪，进一步提高了实时更新注册信息的速度。使用光流跟踪法对检测到的场景特征点进行跟踪，使得场景特征信息能够实时更新，从而进一步提高了增强现实注册的实时性。

Description

一种户外大范围自然场景的移动增强现实注册方法

技术领域

本发明属于增强现实和计算机视觉领域，具体地说本发明涉及一种户外大范围自然场景的移动增强现实注册方法，是增强现实应用的基础技术。 

背景技术

增强现实(Augmented Reality，简称A R)是近年来的一个研究热点，有着广泛的应用前景。它是将计算机产生的信息（包括图像、文字、三维模型和光照等）叠加在真实场景上，将虚实信息进行无缝融合，呈现给人们一个信息更加丰富、感官效果真实的新环境，达到对现实世界的增强效果。所以，与传统的虚拟现实（Virtual Reality，简称VR）不同，增强现实只是对现实环境的补充而不是完全替代现实环境。增强现实技术增强了用户对现实世界的感知能力和与现实世界的交互能力在军事、工业、医疗、教育、文化、娱乐等领域具有广泛的应用前景，因此，受到越来越多研究者的关注。 

近年来，随着智能手机的飞速发展，普及率在年年攀升，功能也不断变得强大，普通的智能手机都内置了百万像素以上的摄像头，GPS传感器，并集成了如红外通信接口、蓝牙无线接口以及无线局域网卡等高速无线通信网络设备。为增强现实技术的发展找到了新的载体。手持移动设备作为增强现实技术的新载体，将其与增强现实技术相结合，能够使增强现实系统脱离体积庞大的PC机或工作站、摄像设备、头盔显示器等的限制，实现图像采集、计算与显示的整合，在移动性、便携性以及人机交互性方面具有较强的优势。移动增强现实就是将增强现实技术应用在移动平台，实现对场景实时识别和跟踪注册，并叠加虚拟物体，以辅助移动用户对场景的理解。 

三维注册仍然是移动增强现实必须解决的关键问题。它是指系统应该能够实时精确的计算摄像机相对于真实世界的位置和姿态，以便将虚拟场景正确的安置到它应所处的位置上。基于计算机视觉的三维注册方法以其精确性高、硬件成本低廉等特点已经引起越来越多研究人员的关注。 

目前增强现实系统最常使用的实时跟踪注册技术是利用ARToolKit软件包，实现虚实场景融合。该方法需要在真实环境中放置人工标志物，通过对标志物特征的提取获得注册所需的信息而达到注册目的。然而在真实环境中放置人工标志，利用标志物进行跟踪注册具有鲁棒性差，无法解决遮挡，以及环境光照变化所带来的影响等方面的缺点。另一类较常采用的实时跟踪注册算法是基于场景模型的注册。该方法是在已知真实场景三维模型的基础上，将模型上的3D特征点投影到图像平面上，通过优化特征点重投影误差的目标函数获取摄像机的旋转和平移参数。 

在移动增强现实领域中，针对平面物体及有标志物体的注册方法已经取得了很好的发展与应用。但是，智能手机端对自然场景的识别与跟踪注册仍然是一个困难的、开放的问题。 

2009年，学者T.Guan等（文献1.T.Guan;C.Wang.“Registration Based on Scene Recognition and Natural Features Tracking Techniques for Wide-Area Augmented Reality Systems”,IEEE Transactions On Multimedia,2009,11(8),1393-1405.）为能够正确识别自然场景，保存了大量的参考视图，通过局部特征匹配方法来对自然场景进行识别，但该算法计算量非常大，无法应用于智能手机端。2013年，学者Liya Duan等（文献2.Liya Duan;Tao Guan;Yawei Luo.“Wide area registration on camera phones for mobile augmented reality applications”Sensor Review,2013,33(3)：209-219.）提出了局部区域特征的注册方法，将输入图像中提取的相应特征与场景图像的物体特征进行匹配，然后根据匹配点的对应关系对物体的三维位姿进行计算。但是，需要用计算机事先对所有场景进行三维重建，建立场景的三维点与场景相关图像的二维关系，并且都需要用户手动将所在场景的三维点坐标下载下来，才能实现后续的跟踪注册算法，否则将产生巨大的搜索空间，难以满足实时性的要求。 

发明内容

针对现有的技术存在的问题，本发明提供一种户外大范围自然场景的移动增强现实注册方法。 

本发明的技术方案是： 

一种户外大范围自然场景的移动增强现实注册方法，包括以下步骤： 

步骤1：建立场景特征点的三维坐标信息库,根据立体视觉三维重建的基本原理，对场景特征点进行重建; 

步骤2：继续拍摄当前场景，获取视频图像； 

步骤3：将所述的视频图像与指定的参考图像进行匹配，根据匹配结果，判断视频图像是否拍摄于已重建过的场景，如果匹配失败则进入步骤4，匹配成功进入步骤5； 

步骤4：设定一个识别失败的计数器N，设定2≤N≤5,当失败次数大于N时，说明已经进入一个新的场景，进入步骤1对新场景进行重建，否则返回步骤2； 

步骤5：利用光流跟踪算法对场景图像的局部特征点进行跟踪；若跟踪上的特征点个数大于T个，25<T<55，执行步骤5，否则返回步骤2； 

步骤6：用随机抽样RANSAC方法，剔除误匹配点对； 

步骤7：根据特征匹配点对计算当前图像与参考图像之间的单应性关系； 

步骤8：根据单应矩阵恢复出每个平面所对应的投影矩阵； 

步骤9：由投影矩阵以及所获得的世界坐标系与平面坐标系之间的变换关系合成三维注册所需的变换矩阵; 

步骤10：用真实摄像头的内参矩阵K和合成三维注册矩阵设定虚拟摄像头的内外参数，对虚拟三维运动物体进行投影，并通过显示设备输出。 

步骤1中对场景特征点进行重建包括如下步骤： 

1.1首先用摄像机标定方法得到摄像机的内参K； 

1.2再从不同角度拍摄待注册场景的两幅图像作为参考图像，并做特征提取与匹配操作； 

1.3根据特征匹配结果，利用RANSAC算法求取基本矩阵F； 

1.4由基本矩阵F得到本质矩阵E； 

1.5根据本质矩阵E正确估计摄像机外参数R和t； 

1.6将摄像机内参数K和外参数R和t组合成投影矩阵； 

1.7重建两幅图像匹配好的特征点； 

1.8建立图像局部特征对应的三维坐标信息库。 

上述步骤1.2中对图像的特征提取和匹配，包括对图像的去噪声和进行灰度处理，特征提取使用二进制特征检测算法BRISK，特征匹配使用汉明距离 度量法；设定一个阈值T，30≤T≤50，当前图像的特征与参考图像的所有特征进行比较，选取距离最短的，并且小于T的特征作为匹配特征。 

本发明的有益效果： 

（1）采用基于本质矩阵和三角测量相结合的欧氏重建方法来完成特征点的三维重建，并利用本质矩阵计算摄像头初始的外参，提高了注册的稳定性。 

（2）通过建立虚拟三维物体的坐标系和场景平面的坐标系，以利于更精确的完成虚拟物体对真实场景的注册。 

（3）使用BRISK算子进行特征检测与跟踪，由于BRSIK特征提取速度快，二进制汉明距离比较速度只需要一条简单的机器指令，大大节省了特征检测和场景识别时间，并且只对识别成功的图像进行跟踪，进一步提高了实时更新注册信息的速度。 

（4）使用光流跟踪法对检测到的场景特征点进行跟踪，使得场景特征信息能够实时更新，从而进一步提高了增强现实注册的实时性。 

附图说明

图1为本发明具体实施的户外大范围自然场景的移动增强现实注册方法流程图； 

图2为本发明中场景重建三角测量法原理图； 

图3为本发明中图像尺度空间的BRISK特征示意图； 

图4为本发明中2D描述符到3D坐标点的关联表。 

具体实施方式

下面将结合附图对本发明的具体实施方式做详细描述。 

本实施方式中，实施基于户外自然场景的移动增强现实注册方法时，采用四核、1G内存的智能手机，摄像头分辨率为640*320，内参为标定好的，默认一直不变。对摄像头中出现的自然场景进行识别和跟踪注册。 

图1示出了本发明的户外自然场景移动增强现实跟踪注册流程，主要包括以下步骤： 

步骤1：建立场景自然特征的三维点坐标信息库： 

步骤1.1首先用摄像机标定方法得到摄像机的内参K。 

通过摄像机定标，可以确定与摄像机自身的几何和光学特性有关的参数(即内部参数)，以及它相对于某一世界坐标系的三维位置和方向(即外部参数)。摄像机的定标在增强现实系统中起着重要作用。本发明采用ARTOOLKIT方法，利用黑色边框的平板图案作为系统标识的四个角点及其在图像中的位置计算矩阵单应矩阵

的值。 

摄像机成像基本原理，屏幕坐标系与世界坐标系之间的变换关系可用下式表示： 

$\begin{array}{c}\left[\begin{array}{c}{x}_c\\ y_c\\ 1\end{array}\right]={\mathrm{\&lambda;CT}}_{\mathrm{cw}}\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\mathrm{\&lambda;C}\left[\begin{array}{cccc}{R}_1& R_2& R_3& T\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\\ =\mathrm{\&lambda;}\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]\end{array}$

其中λ为比例因子，C为未知摄像头内参矩阵，T_cw为待求三维注册矩阵，R₁、R₂、R₃为旋转分量，T为平移分量， $X_i=\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$ 为世界坐标系中点坐标，  $x_i=\left[\begin{array}{c}{x}_c\\ y_c\\ 1\end{array}\right]$ 为对应的像素坐标。此处假设主点(u₀，v₀)值为(0,0)。规定标识平面与世界坐标系下的Z=0平面重合，则平面标识上某点在世界坐标系下的坐标(X_w，Y_w，0，1)与该点在第k帧图像中的投影

之间的关系可以用下式表示： 

$\begin{array}{c}\left[\begin{array}{c}{x}_c\\ y_c\\ 1\end{array}\right]=\mathrm{\&lambda;}\left[\begin{array}{ccc}{f}_u& 0& 0\\ 0& f_v& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 0\\ 1\end{array}\right]\\ =\mathrm{\&lambda;}\left[\begin{array}{ccc}{f}_u{r}_{11}& f_u{r}_{12}& f_u{t}_1\\ f_v{r}_{21}& f_v{r}_{22}& f_u{t}_2\\ r_{31}& r_{32}0& t_3\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]=\mathrm{\&lambda;}\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]\end{array}$

$=\mathrm{\&lambda;}{H}_w^k\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]$

其中3×3矩阵

将真实世界中z=0平面上的某点映射到第k帧图像，称之为单应性矩阵,下标w代表世界坐标系。单应矩阵通过下式来计算： 

$x_i\&times;H_w^k{X}_i=0$

求出

由三维注册矩阵旋转分量的正交性可得： 

$r_{11}^2+r_{12}^2+r_{13}^2=1$

$r_{21}^2+r_{22}^2+r_{23}^2=1$

r₁₁r₂₁+r₁₂r₂₂+r₁₃r₂₃＝0 

由以上三式及

可导出： 

m₁₁m₁₂/f_u ²+m₂₁m₂₂/f_v ²+m₃₁m₃₂＝0(1) 

$\mathrm{\&lambda;}(m_{11}^2/{f_u}^2+m_{21}^2/{f_v}^2+m_{31}^2)=1---\left(2\right)$

$\mathrm{\&lambda;}(m_{12}^2/{f_u}^2+m_{22}^2/{f_v}^2+m_{32}^2)=1---\left(3\right)$

由上（2），（3）两式消去2λ，并结合式（1）可求出f_u，f_v，从而获取摄像头内参矩阵 $C=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right].$

$f_u=\sqrt{\frac{m_{11}{m}_{12}(m_{21}^2-m_{22}^2)-m_{21}{m}_{22}(m_{11}^2-m_{12}^2)}{m_{21}{m}_{22}(m_{31}^2-m_{32}^2)-m_{31}{m}_{32}(m_{21}^2-m_{22}^2)}}$

$f_v=\sqrt{\frac{m_{11}{m}_{12}(m_{21}^2-m_{22}^2)+m_{21}{m}_{22}(m_{11}^2-m_{12}^2)}{m_{11}{m}_{12}(m_{31}^2-m_{32}^2)-m_{31}{m}_{32}(m_{21}^2-m_{22}^2)}}$

步骤1.2从不同角度拍摄待注册场景的两幅图像作为参考图像，并做特征提取与匹配操作，对当前场景的两幅参考图像，用BRISK算法提取图像的自然特征点，再对两幅图像的BRISK特征点进行匹配，找到两幅图像的相似特征点。 

步骤1.3根据图2所示的与原理，利用特征匹配点集，通过RANSAC算法求取基本矩阵F。 

图2为欧式空间场景三维重建的原理图，图2中的两个摄像机，设O₁和O₂分别是两个摄像机的光心；X为三维空间中一点，它在第一个摄像机的成像平面A₁上的投影点为x₁，在第二个摄像机的成像平面A₂上的投影点为x₂。则x₂ 必然位于平面A₂内，而且必然位于由x₁决定的一条直线L₁上，其中L₂是A₂和由三维点X、两光心O₁和O₂决定的平面T的交线。这是因为在图像A₁上的投影点是x₂的空间三维点，必然位于射线O₁X上，而O₁X在A₂上的投影为L₂。L₂称为x₁决定的极线(epipolar line)。不仅如此，从图中还可以发现，A₂上所有的极线交于同一点e₂，此点称为极点(epipolar point)。它是O₁O₂和A₂的交点。可以这样解释：任给A₁上一点x₁它在A₂上决定的极线L₂是A₂与T的交线，其中T是由x₁决定的极平面(epipolar plane)。由于两摄像机的地位是完全对称的，因而类似的分析可发现，A₂上任一点x₂在A₁上决定一条极线L₁，L₁上所有极线交于极点e₁。e₁和e₂都在直线O₁O₂上。x₁、x₂、O₁和O₂四点共面，其中x₁和x₂是对应点，这被称为共面约束。它在已知摄像机内部参数的情况下从运动求解结构中有重要作用。 

步骤1.4在已知摄像机内参的情况下，很容易由基本矩阵F得到本质矩阵E由基本矩阵F得到本质矩阵E。基本矩阵到本质矩阵的转换关系为: 

$F=C_2^{-T}E{C}_1^{-1}$

$E=C_2^{T}F{C}_1$

C₁，C₂是摄像机的内参矩阵，摄像机2内参矩阵的转置的逆矩阵是摄像机1的内参矩阵的逆矩阵。 

步骤1.5根据本质矩阵E正确估计摄像机外参数R和t。通过对本质矩阵E进行奇异值分解，可以得到两个3阶的酉矩阵U,V和一个3阶的对角阵S，如下式： 

E＝USV^T

在通过设置 $W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],$ 求出旋转矩阵R和平移向量t可以表示为R＝UWV^T或者R=UW^TV^T,t＝u₃或者t=-u₃，其中u₃是矩阵U的最后一列。 

1.6将摄像机内参数K和外参数R和t组合成投影矩阵P₁、P₂。 

$\left\{\begin{array}{c}{P}_1=K\left[\begin{array}{cc}I& 0\end{array}\right]\\ P_2=K\left[\begin{array}{cc}R& t\end{array}\right]\end{array}\right.$

其中K为摄像机内部参数，我们假设两幅图像的摄像机内参相同，R和 t为两个摄像机之间的外部参数，I为3×3的单位矩阵。在得到摄像机内外参数K,R,t以及匹配点图像坐标x₁和x₂之后，我们接下来可以计算出每一个匹配点所对应的物体空间点X的具体坐标。对于投影矩阵P₁，令P₁₁,P₁₂,P₁₃,为对应于P₁的行向量，(u_i，v_i，1)为对应于P₁的图像上的第i个匹配点的齐次坐标，X_i为对应该匹配点的空间齐次坐标，s为一常量因子，则有: 

$\begin{array}{c}s\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=\left[\begin{array}{c}{P}_{11}\\ P_{12}\\ P_{13}\end{array}\right]X_i\&DoubleRightArrow;\left\{\begin{array}{c}{\mathrm{su}}_i=P_{11}{X}_i\\ {\mathrm{sv}}_i=P_{12}{X}_i\\ s=P_{13}{X}_i\end{array}\right.\&DoubleRightArrow;\left\{\begin{array}{c}{P}_{13}{X}_i{u}_i=P_{11}{X}_i\\ P_{13}{X}_i{v}_i=P_{12}{X}_i\end{array}\right.\\ \&DoubleRightArrow;\left\{\begin{array}{c}{P}_{13}{X}_i{u}_i-P_{11}{X}_i=0\\ P_{13}{X}_i-P_{12}{X}_i=0\end{array}\right.\&DoubleRightArrow;\left[\begin{array}{cc}{P}_{13}{u}_i& -P_{11}\\ P_{13}{v}_i& -P_{12}\end{array}\right]X_i=0\end{array}$

同理，对于投影矩阵P₂，令与点(u_i，v_i，1)对应的图像点的像素坐标为(u_i′，v_i ⁱ，1)，也可以得到类似的等式 

$\left[\begin{array}{cc}{P}_{23}{u_i}^{\&prime;}& -P_{11}\\ P_{23}{v_i}^{\&prime;}& -P_{12}\end{array}\right]X_i=0$

1.7重建两幅图像匹配好的特征点。根据图2所示欧式空间重建的三角测量法，已知匹配的图像点对直接反求出空间点三维坐标，重建出场景的三维结构。 

通过联立上两式可得: 

$\left[\begin{array}{cc}{P}_{13}{u}_i& -P_{11}\\ P_{13}{v}_i& -P_{12}\\ P_{23}{u_i}^{\&prime;}& -P_{11}\\ P_{23}{v_i}^{\&prime;}& -P_{12}\end{array}\right]X_i=0$

从上式中可以看出，此时是通过四个方程式求解三个未知数，在这种情况下，可以通过最小二乘法原理求解出X_i的值，具体实现步骤如下： 

首先令 $B=\left[\begin{array}{cc}{P}_{13}{u}_i& -P_{11}\\ P_{13}{v}_i& -P_{12}\\ P_{23}{u_i}^{\&prime;}& -P_{11}\\ P_{23}{v_i}^{\&prime;}& -P_{12}\end{array}\right],$ 则上式可写成BX_i＝0的形式，然后对4阶矩阵A的每一行进行规一化处理，即行中的每一个元素都除以该行的模，我们就可以得到一个新的4阶矩阵B_n，对BX_i＝0的求解问题就可变为求解对应 (B_n)^TB_n的最小特征值的特征向量。对B_n进行奇异值分解， 

B_n＝USV^T

可以推导出X_i就等于最后一个酉矩阵V的最后一列。奇异值分解是最有用的矩阵分解方法中的一种，特别是对数值计算而言。给定一个方阵B_n，SVD把B_n分解为B_n=USV，其中U和V是正交矩阵，而S是一个元素为非负的对角阵。 

1.8建立图像局部特征对应的三维坐标信息库。将参考图像上的匹配的2D描述符与重建的场景3D点进行绑定，建立2D/3D的信息库。 

步骤2：继续拍摄当前场景，获取视频图像。将采集到的图像帧降采用为640*320分辨率的图像，再进行灰度处理转为灰度图。 

步骤3：将当前视频图像与指定的参考图像进行匹配，根据匹配结果，判断当前场景图像是否拍摄于已重建过的场景。如果匹配失败进入步骤4，匹配成功进入步骤5； 

关键匹配的具体步骤为： 

首先，进行特征提取。用BRISK算法构造图像金字塔，在每一层图像上使用fast算法提取角点，并对角点进行打分。满足如下情况的角点被认为是稳定特征点：得分高于相同层上相邻的8像素且得分高于相邻层上对应的像素点，若角点位于最底层，则只需得分高于上一层即可。考虑到图像在坐标和尺度空间上的连续性，对提取到的特征点在坐标平面上和尺度空间上进行优化，得到表示特征点的最优坐标和尺度，如图3所示。 

再进行特征点描述符的构造与匹配。为了使特征点具有方向不变性，使用与SIFT相同的方法计算特征点的主方向。确定主方向以后，将特征点旋转到主方向。在特征点周围选取具有代表性的比较像素对p_i和p_j，通过对这些像素对灰度值的比较获得描述符的一位，具体公式如下。 

$b=\left\{\begin{array}{c}1,I(p_j^{\mathrm{\&alpha;}},{\mathrm{\&sigma;}}_j)>I(p_i^{\mathrm{\&alpha;}},{\mathrm{\&sigma;}}_i)\\ 0,\mathrm{otherwise}\end{array}\right.$

选取n对比较像素对可以得到长度为n的描述符，BRISK特征描述符总共512位。 

其次，进行特征点匹配，因为BRISK特征是用二进制描述符来进行标示 的，在进行匹配的时候需要在汉明空间进行比较。设定汉明距离阈值为设定一个阈值T，30≤T≤50，当前图像的特征与参考图像的所有特征进行比较，选取距离最短的，并且小于T的特征作为匹配特征。对于户外建筑，Brisk具有较好的匹配效果，如图4所示。 

最后，匹配图像的确定。当两幅图像匹配上的特征点数大于设定的阈值时确定为相似图像。或者设置一个匹配率，匹配上特征数量占总特征数量的比率，一般在户外场景干扰因素较多的情况比率阈值一般设定为30%-50%。 

步骤4：设定一个识别失败的计数器N，2≤N≤5,当失败次数大于N时，说明已经进入一个新的场景，进入步骤1对新场景进行重建，否则可能由于摄像头移动太快而导致匹配失败，进入步骤2； 

步骤5：利用光流跟踪算法对场景图像的局部特征点进行跟踪；若跟踪上的特征点个数大于T个，25<T<55，执行步骤5，否则执行步骤2。 

在本发明中，参考图像以及摄像机连续拍摄的视频帧的分辨率统一设置为640*321。经测试，对纹理丰富的图像可以提取超过一千个特征点。特征点数目过多给后续的匹配和姿态计算增加了许多工作量，同时跟踪精度并不能够得到提高。在特征提取阶段，每一个特征点都可以计算出一个响应强度信息，响应强度越高，特征点越稳定。所以本文将图像特征点按响应强度进行排序，最后只选取响应强度最高的400个特征点。 

受限于移动平台的计算能力，无法对每一帧图像都通过提点匹配来计算摄像机的姿态。在实际应用中，摄像机的姿态在相邻帧之间变化不会太大，通过帧与帧之间的连续性可以有效的估计特征点在下一帧中出现的位置，从而快速计算摄像机的姿态。 

在发明中，当通过brisk提点算法成功计算出摄像机的姿态以后，后续帧通过光流来计算特征点的坐标，进而计算摄像机的姿态。光流利用图像序列中的像素强度的时域变化和相关性来确定像素点的“运动”。光流算法基于如下假设：相邻帧之间亮度恒定，相邻帧之间目标运动比较微小。用I（x，y，t）表示t时刻像素点（x，y）的灰度值，可得如下公式： 

I(x,y,t)=I(x+dx,y+dy,t+dy) 

使用泰勒级数展开： 

即：I_xdx+I_ydy+I_tdt=0 

令

可得：I_xu+I_yv=-I_t

光流算法基于上述公式计算特征点像素的“运动”。在手机端使用光流算法计算相邻帧之间特征点的坐标变化用时只需几十毫秒。随着时间的推移，光流跟踪上的点数将越来越少，进而影响摄像机姿态的计算精度。在本发明中在光流点数小于一定阈值的情况下对当前图像提取特征点与参考图像进行匹配，同时如果在一定时间内都无法与关键帧建立匹配关系，则说明手机场景已经改变，则重新寻找正确的参考图像，直接进入步骤1场景初始化。 

步骤6：用随机抽样RANSAC方法，剔除误匹配点对。 

步骤7：根据特征匹配点对计算当前图像与参考图像之间的单应性关系； 

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\mathrm{\&lambda;H}\left[\begin{array}{c}{x}_1\\ y_2\\ 1\end{array}\right]=\mathrm{\&lambda;}\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]*\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$ 是当前图像的特征点， $\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$ 是参考图像上与之匹配的特征点，摄像机在跟踪过程中默认内参保持不变λ设置为1。 

步骤8：根据单应矩阵恢复出每个平面所对应的投影矩阵；根据已知的摄像机内参和单应矩阵以及坐标轴间的正交性恢复出每个平面三维注册矩阵T₄，如下式。 

$T_4=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]$

r₁₁＝λm₁₁/f_u，r₁₂＝λm₁₂/f_u，r₁₃＝r₂₁r₃₂-r₃₁r₂₂， 

t₁＝λm₁₃/f_u，r₂₁＝λm₂₁/f_v，r₂₂＝λm₂₂/f_v，r₂₃＝r₃₁r₁₂-r₁₁r₃₂， 

t₂＝λm₂₃/f_v，r₃₁＝λm₃₁，r₃₂＝λm₃₂，r₃₃＝r₁₁r₂₂-r₂₁r₁₂， 

t₂＝λm₃₃. 

步骤9：由投影矩阵以及所获得的世界坐标系与平面坐标系之间的变换关系合成三维注册所需的变换矩阵。 

为了确定虚拟场景的叠加位置必须指定世界坐标系，本发明方法非常简单，只需在参考图像上指定四个可以构成方形的点即可。为了提高精确性，当用户在一幅图像上指定一点后，我们在另一幅图像上绘出与该点相对应的极线，从而为用户指定对应点提供参照。通过以上重建的方法，可以计算出上述四点在摄像机坐标系中的位置，进而求出由四点构成的方形的平面，我们以方形的中心点为坐标原点O，方形的所在平面为世界坐标系XOY面，Z轴为XOY轴的法线。在建立世界坐标系的同时，已经确立了它与摄像机坐标系的变换关系T₁。 

接下来的任务是为每一个平面指定一个坐标系。利用三维重建的方法，我们已经获取真实世界中平面上的特征点在摄像机坐标系下的位置，事实上由于不可能完全避免成像畸变和图像处理过程中的误差，同一平面上的特征点在经过上述重建过程后不可能精确的位于一张平面上，本专利是利用最小二乘法拟合一张与所有特征点距离平方和最小的平面来代表实际平面。将拟合平面作为平面坐标系的XOY面，以所有特征点的重心在拟合平面上的投影为原点构建坐标系，要求X,Y,Z三个坐标轴两两垂直，但对X和Y轴的具体方向不做要求。在建立平面坐标系的同时,已经获取了它与摄像机坐标系的变换关系T₂。进而平面坐标系与世界坐标系的变换关系可以计算如下： 

T₃＝T₂T₁

三维注册的最终目的是获取摄像机坐标系与世界坐标系之间的坐标变换关系在离线阶段我们已经获取了平面坐标系与世界坐标系之间的变换关系T_end，而且规定待注册场景结构在系统运行过程中不发生变化，则T_end完全可以由下式推出。 

T_end＝T₄T₃

步骤10：用真实摄像头的内参矩阵K和合成三维注册矩阵T_end设定虚拟摄像头的内外参，对虚拟三维运动物体进行投影，并通过显示设备输出，完成虚拟叠加的三维物体到场景的移动增强现实的三维注册。 

Claims (3)

1.一种户外大范围自然场景的移动增强现实注册方法，其特征在于，包括以下步骤：

步骤1：建立场景特征点的三维坐标信息库,根据立体视觉三维重建的基本原理，对场景特征点进行重建;

步骤2：继续拍摄当前场景，获取视频图像；

步骤3：将所述的视频图像与指定的参考图像进行匹配，根据匹配结果，判断视频图像是否拍摄于已重建过的场景，如果匹配失败则进入步骤4，匹配成功进入步骤5；

步骤4：设定一个识别失败的计数器N，设定2≤N≤5,当失败次数大于N时，说明已经进入一个新的场景，进入步骤1对新场景进行重建，否则返回步骤2；

步骤5：利用光流跟踪算法对场景图像的局部特征点进行跟踪；若跟踪上的特征点个数大于T个，25<T<55，执行步骤5，否则返回步骤2；

步骤6：用随机抽样RANSAC方法，剔除误匹配点对；

步骤7：根据特征匹配点对计算当前图像与参考图像之间的单应性关系；

步骤8：根据单应矩阵恢复出每个平面所对应的投影矩阵；

步骤9：由投影矩阵以及所获得的世界坐标系与平面坐标系之间的变换关系合成三维注册所需的变换矩阵;

步骤10：用真实摄像头的内参矩阵K和合成三维注册矩阵设定虚拟摄像头的内外参数，对虚拟三维运动物体进行投影，并通过显示设备输出。

2.如权利要求1所述的一种户外大范围自然场景的移动增强现实注册方法，其特征在于，步骤1中对场景特征点进行重建包括如下步骤：

1.1首先用摄像机标定方法得到摄像机的内参K；

1.2再从不同角度拍摄待注册场景的两幅图像作为参考图像，并做特征提取与匹配操作；

1.3根据特征匹配结果，利用RANSAC算法求取基本矩阵F；

1.4由基本矩阵F得到本质矩阵E；

1.5根据本质矩阵E正确估计摄像机外参数R和t；

1.6将摄像机内参数K和外参数R和t组合成投影矩阵；

1.7重建两幅图像匹配好的特征点；

1.8建立图像局部特征对应的三维坐标信息库。

3.如权利要求2所述的一种户外大范围自然场景的移动增强现实注册方法，其特征在于，上述步骤1.2中对图像的特征提取和匹配，包括对图像的去噪声和进行灰度处理，特征提取使用二进制特征检测算法BRISK，特征匹配使用汉明距离度量法；设定一个阈值T，30≤T≤50，当前图像的特征与参考图像的所有特征进行比较，选取距离最短的，并且小于T的特征作为匹配特征。

Images