CN105184825A - 一种面向室内场景的移动增强现实方法 - Google Patents

Abstract

一种面向室内场景的移动增强现实方法，包括以下步骤：特征点的提取和优化、特征线的提取和优化、迭代式特征线的筛选、混合特征构造、混合特征匹配、相机位置参数反求与虚实融合绘制；所述的特征点的提取、特征线的提取是通过借助移动终端的摄像头获取场景的实时图像序列；所述的特征点的提取和优化基于FAST角点作为特征点进行提取，并利用Shi和Tomasi算法对所得到的特征点进行优化。本发明能够在移动平台上相机实时运动跟踪的稳定性和计算实时性之间取得良好平衡，获得移动增强现实中稳定可信的虚实融合效果。

Description

一种面向室内场景的移动增强现实方法

技术领域

本发明涉及计算机技术应用领域，具体涉及一种面向室内场景的移动增强现实方法。

背景技术

增强现实(AugmentedReality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动，相比于虚拟现实，增强现实结合真实环境与虚拟物体进行真实世界的增强，而不是构建一个完全虚拟的世界。这种技术由1990年提出。随着智能移动终端的广泛普及，增强现实在移动平台中也有着越来越多的研究与应用。

增强现实主要通过计算机视觉等技术将虚拟物体融合在真实环境中，从而达到超越现实体验的目的。相比于虚拟现实，增强现实的目标是结合真实环境与虚拟物体得以进行真实世界的增强，而不是构建一个完全虚拟的世界。

随着智能移动终端的广泛普及，增强现实在移动平台中也有着越来越多的研究与应用。现阶段的移动增强现实技术主要是通过智能移动终端(例如手机、平板电脑等)，在真实环境中显示数字对象并进行交互操作等。

移动增强现实可以充分利用移动平台的特性，生成移动多模态数据，从而更好地在增强现实技术中发挥优势。相机运动跟踪技术是移动增强现实中的核心技术之一，其中基于视觉的运动跟踪方法由于成本低、适用性强，已经成为现阶段主流的运动跟踪技术，这种跟踪方法需要对真实环境所获取的图像进行分析，并根据图像特征得到相机所在的方位信息，从而将数字对象准确地叠加到真实环境中，按照图像中是否含有标志物将基于视觉的运动跟踪分为基于人工标志的运动跟踪以及基于自然特征的运动跟踪两类。

基于人工标志的运动跟踪通过人工标志物为场景提供更为准确的图像信息，这种方法在实际的应用中存在一定的弊端，当人工标志物在真实场景中发生遮挡时容易出现因无法准确估计相机位置而导致运动跟踪不稳定的情况，而且该方法在图像检测时用固定阈值进行二值化，容易受光线变化的影响。作为一种改进的技术通过将人工标志物制作成与真实环境相近的颜色，将其放在真实空间的角落作为标记元素，通过标记元素的组合成为标记单元，从而能够减弱人工标志物的突兀感，减弱了人工标志物对用户视觉感官的影响。就整体而言，尽管图像中的人工标志物可以降低真实场景的纹理特征要求，在一些图像特征较少的环境中可以得到相对稳定的相机位置运动跟踪，但是在一些特定的场景中人工标志物容易与周围环境产生相对不和谐的情况，减弱了增强现实的沉浸感，因此在增强现实领域出现了许多基于自然特征的运动跟踪技术研究。自然特征的运动跟踪技术采用相机运动的过程中扩展真实场景中新的自然特征，从而更新相机位置，这样可以在因相机运动而没有最初自然特征的情况下，依旧可以进行运动跟踪。总而言之，无论是基于人工标志还是基于自然特征，我们都需要在相机实时运动跟踪时根据输入的图像获取特征信息，如常见的点特征、线特征等，对这些图像特征进行提取和匹配，为相机实时运动跟踪提供重要基础。

根据所需的图像特征可以将基于自然特征的相机运动跟踪主要分为基于点特征的运动跟踪和基于线特征的运动跟踪两大类。基于点特征的运动跟踪是增强现实中最常用的一种图像特征，通过提取图像的特征点，与运动跟踪技术结合，在增强现实领域得到了大量的应用，其中Harris特征点、FAST(FeaturesfromAcceleratedSegmentTest)特征点以及SIFT(Scale-InvariantFeatureTransform)特征点等都是较为经典的图像特征点。

基于线特征的运动跟踪是除过图像的点特征以外，在真实世界中还具有大量的直线、曲线等图像特征，特别是在人造建筑等场景环境中，这些特征通常出现在图像的一个物体表面到另一个物体表面边界上，从而形成颜色、光亮等突变的边缘。通过一些边缘检测算子与图像做卷积便可得到图像的边缘强度信息，如用Sobel算子、Roberts算子等实现灰度图像的边缘检测。

移动增强现实与基于普通计算机平台的增强现实技术不同，由于受到移动终端计算能力的制约，目前移动增强现实中或采用基于人工标记的相机运动跟踪，或仅采用简单特征点作为场景特征描述。但是由此带来的直接问题是，当物理环境中的特征点比较少时，极容易出现相机跟踪不稳、运动漂移等问题；而如果直接采用特征边作为特征描述，则往往由于相机参数求解计算量过大而导致实时性不能得到保证。

发明内容

本发明的主要目的在于提供一种面向室内场景的移动增强现实方法，能够在移动平台上相机实时运动跟踪的稳定性和计算实时性之间取得良好平衡，从而获得移动增强现实中稳定可信的虚实融合效果，有效应对移动增强现实中相机运动跟踪计算实时性与相机运动跟踪稳定性之间的矛盾。

为达到以上目的，本发明采用的技术方案为：

一种面向室内场景的移动增强现实方法，包括以下步骤：特征点的提取和优化、特征线的提取和优化、迭代式特征线的筛选、混合特征构造、混合特征匹配、相机位置参数反求与虚实融合绘制；所述的特征点的提取、特征线的提取是通过借助移动终端的摄像头获取场景的实时图像序列；所述的特征点的提取和优化基于FAST角点作为特征点进行提取，并利用Shi和Tomasi算法对所得到的特征点进行优化。

FAST角点检测中，对图像的候选角点c的灰度值记为fc，并选择以c为中心、3个像素为半径的离散化Bresenham圆作为角点提取的圆形窗口模板；对该模板边缘像素点进行顺时针依次编号为1-16，并设像素灰度值为fp，其中1≤p≤16；当这16个像素点的其中n个像素值，fc与fp的差值都超过所设定的某一个阈值，则将该像素点c作为图像中的一个FAST角点，将n取为10，遍历图像中的像素点可提取当前帧所有通过FAST检测计算得出的特征点。

对于灰度图像I，通过图像窗口w(x,y)平移[u,v]后得到灰度变化E(u,v)，公式如

E(u，v)＝Σ_x，yw(x，y)[I(x+u，y+v)-I(x，y)]²

下：

而图像中的像素点可以利用二阶导数得到图像的自相关矩阵M：

$M={\mathrm{\Σ}}_{x,y}w(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

在自相关矩阵M的两个特征值(λ0，λ1)中，当其中较小的一个特征值大于所设定阈值时，可得到该特征值所对应的特征点，对图像的FAST角点用Shi和Tomasi方法生成自相关矩阵M的较小特征值，并将所有角点根据特征值大小进行排序，当图像中FAST角点的个数超过所设定阈值时，按照特征值排序选取不少于30个角点作为后续跟踪所需的特征点。

进一步的，所述的特征线的提取和优化通过Canny算子进行图像边缘检测，再利用Hough算法提取图像中的特征线。

Canny算子首先通过高斯滤波对灰度图像进行平滑处理，在图像中通过像素值的领域加权平均值，去除高斯噪声得到平滑处理后的灰度图像I，然后通过一阶微分得到灰度图像I各像素的梯度幅值和方向；在获得梯度幅值G(i,j)以及梯度方向θ(i,j)后进行非极大值抑制，将图像中的像素值(i,j)邻域沿θ(i,j)插值，当该点G(i,j)大于插值点时，将像素值(i,j)作为候选边缘点，最后通过双阈值法删选出候选边缘点得到图像边缘。

Hough算法中，点线变换时将平面转化为参数空间，其直线X-Y构成的平面转化为参数空间，其直线极坐标方程为：

ρ＝xcosθ+ysinθ，ρ≥0，0≤θ≤2π

其中ρ为图像空间中直线到坐标原点的距离，θ为直线与x轴正向的夹角，在当前帧图像中设像素坐标为(x，y)，将ρ-θ参数空间细分为多个累加器单元，将图像平面的第i个像素点(xi，yi)通过上述方程转换到ρ-θ参数空间，并将对应的累加器单元加1，图像上的一条直线映射到参数空间中即为累加器的局部极大值，找出图像平面中共线像素点的累加器局部极大值，得到该图像共线点直线的参数，提取出当前帧中的特征线。

以特征线的长度为标准，通过一定的阈值筛选出所需的长边结构的特征线，依据特征线长度进行特征线的初始优化；在进行场景分析的基础上，对筛选后的线特征进行横向水平、竖向垂直结构优化；对场景中的斜线进行过滤，仅保留图像特征线中的横线以及竖线；对于当前帧图像的特征线L(P1,P2)，其中P1(x1,y2)和P2(x2,y2)为其两个端点，则特征线为横线或竖线的充要条件满足以下公式：

ΔP＝min(|x₁-x₂|，|y₁-y₂|)＜ε_hv

其中，εhv为用户自定义阈值，可以根据实际的图像大小进行设定。利用上述公式实现对场景中的斜线进行过滤，仅保留图像特征线中的横线以及竖线。

进一步的，所述的迭代式特征线的筛选的具体过程为：若第k帧经优化后的特征点数目为Np，Np>0，特征线数目为Nl，Nl>0，则拟迭代的次数T由以下公式决定：

$T_{temp}=\[\frac{w_p{N}_p+w_l{N}_l}{D_t}\×T_{max}\]$

$T=\left\{\begin{array}{cc}1& T_{temp}<1\\ T_{temp}& 1\&le;T_{temp}\&le;T_{\max }\\ T_{\max }& T_{temp}>T_{\max }\end{array}\right.$

其中和Wp，0≤Wp≤1和Wl，0≤Wl≤1分别为特征点和特征线占特征点和特征线总数的权重，Dt为固定阈值，取值范围为50-150，Tmax为所有帧中拟迭代次数的最大值，取值范围为2-5，通过对特征点和特征线越多时进行更多次的迭代，从而对优化后的特征线进行更好的筛选，得到真正稳定的特征线；还需要进行候选特征线集的初始化，将第k帧所有特征线加入候选特征线集，并将其中的每一条特征线均标记为未成功进行距离比对；然后，将候选特征线集中的每一条未加入稳定特征线集的特征线与第k-t帧中的所有特征线进行距离比对，1≤t≤T，若距离比对成功，则将该特征线加入稳定特征线集；反之，若经T次迭代后该特征线仍未能进行成功的距离比对，则将其视作非稳定特征线予以舍弃。

具体的，采用欧氏距离进行两条特征线Lk(P1k，P2k)与Lk-t(P1k-t，P2k-t)之间的距离比对，假设两条特征线Lk(P1k，P2k)与Lk-t(P1k-t，P2k-t)的端点已进行了先上后下、先左后右的排序，则它们距离匹配成功的充要条件是：

d₁(P₁ ^k，P₁ ^k-t)＜ε_d&&d₂(P₂ ^k，P₂ ^k-t)＜ε_d

其中，d₁(P₁ ^k，P₁ ^k-t)表示两特征线端点之间的欧氏距离，其中l＝1，2，εd表示自定义距离阈值，取值范围为50-100。

进一步的，所述的混合特征构造通过将稳定特征线集中的每一特征线离散为特征点，并与优化后的特征点融合得到。

进一步的，所述的混合特征匹配基于关键帧的方法，计算相机运动相关参数，稳定的特征线的离散程度由优化后的特征点数、稳定特征线数、以及该特征线的长度由以下公式决定：

$N_{temp}=\&lsqb;\frac{N_t}{{\mathrm{\&lambda;}}_p{N}_p+{\mathrm{\&lambda;}}_l{N}_l}\&times;\frac{N_l\&times;L_i}{\underset{m=1}{\overset{N_l}{\&Sigma;}}{L}_m}\&rsqb;\&times;N_{\max }$

$N_i=\left\{\begin{array}{cc}2& N_{temp}<2\\ N_{temp}& 2\&le;N_{temp}\&le;N_{\max }\\ N_{\max }& N_{temp}>N_{\max }\end{array}\right.$

其中Ni为第i条稳定特征线离散后的点数，λp和λ1分别为特征点和特征线所占的权重，0＜λp≤1，0＜λ1≤1，Nt为固定阈值，取值为50-150，Nmax为所有特征线中拟离散的最大点数，其取值与图像分辨率相关，Li为第i条稳定特征线长度。

进一步的，所述的相机位置参数反求与虚实融合绘制采用跟踪与映射PTAM系统框架中的相机参数反求方法获得相机参数，并采用计算机图形绘制技术对已注册的数字内容进行虚实融合绘制。

本发明技术方案中提供的一种面向室内场景的移动增强现实方法，包括图像特征的提取、特征点的提取和优化、特征线的提取和优化、迭代式特征线的删选、混合特征构造、混合特征匹配、相机参数反求与虚实融合绘制，具有以下有益效果：采用特征点和特征线作为图像特征，经特征提取、优化和融合后构造为混合特征，并将混合特征统一用于相机参数预估的求解方法，有效的解决了对移动增强现实中相机运动跟踪计算实时性与相机运动跟踪稳定性之间的矛盾，能够在移动平台上相机实时运动跟踪的稳定性和计算实时性之间取得良好平衡，获得移动增强现实中稳定可信的虚实融合效果。

附图说明

图1是本发明的移动平台下基于混合特征的相机实时运动跟踪流程图。

图2是自适应迭代式特征线筛选流程。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。

本发明提供一种面向室内场景的移动增强现实方法，如图1所示，包括：图像特征的提取、特征点的提取和优化、特征线的提取和优化、迭代式特征线的删选、混合特征构造、混合特征匹配、相机参数反求与虚实融合绘制。采用特征点和特征线作为图像特征，对所提取的特征点及特征线进行优化，剔除不必要的图像特征，得到优化后的特征点与候选特征线，以利于从图像特征构造混合特征，在图像特征融合过程中，首先从候选特征线通过前后帧关系自适应地迭代选择更为稳定的特征线，接着，依据场景中优化后的特征点和稳定的特征线数量、以及特征线几何确定适当的离散参数，将这些特征线离散为新的特征点，最后，将这些新的特征点与优化后的特征点融合为混合特征。由于本发明所提出的混合特征均由特征点构成，这样即可在尊重基于关键帧的相机实时运动求解框架的基础上，更加准确地进行三维点云重建和相机参数估计。

图1中，步骤101：图像特征的提取通过借助移动终端的摄像头获取场景的实时图像序列。

步骤102：考虑到移动平台计算性能的严格限制，必须对所提取的特征点及特征线进行提取和优化，剔除不必要的图像特征，得到优化后的特征点与候选特征线，以利于从图像特征构造混合特征。

特征点的提取和优化基于FAST角点作为特征点进行提取，并利用Shi和Tomasi算法对所得到的特征点进行优化。

FAST角点检测中，对图像的候选角点c的灰度值记为fc，并选择以c为中心、3为半径的离散化Bresenham圆作为角点提取的圆形窗口模板；对该模板边缘像素点进行顺时针依次编号为1-16，并设像素灰度值为fp，其中1≤p≤16；当这16个像素点的其中n个像素值，fc与fp的差值都超过所设定的某一个阈值，则将该像素点c作为图像中的一个FAST角点，将n取为10，遍历图像中的像素点可提取当前帧所有通过FAST检测计算得出的特征点。对于灰度图像I，通过图像窗口w(x,y)平移[u,v]后得到灰度变化E(u,v)，公式如下：

E(u，v)＝Σ_x，yw(x，y)[I(x+u，y+v)-I(x，y)]²

而图像中的像素点可以利用二阶导数得到图像的自相关矩阵M，如下：

$M={\mathrm{\&Sigma;}}_{x,y}w(x,y)\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

在自相关矩阵M的两个特征值(λ0，λ1)中，当其中较小的一个特征值大于所设定阈值时，可得到该特征值所对应的特征点，对图像的FAST角点用Shi和Tomasi方法生成自相关矩阵M的较小特征值，并将所有角点根据特征值大小进行排序，当图像中FAST角点的个数超过所设定阈值时，按照特征值排序选取一定数量的角点作为后续跟踪所需的特征点。

特征线的提取和优化通过Canny算子进行图像边缘检测，再利用Hough算法提取图像中的特征线，Canny算子首先通过高斯滤波对灰度图像进行平滑处理，在图像中通过像素值的领域加权平均值，去除高斯噪声得到平滑处理后的图像I，然后通过一阶微分得到图像I各像素的梯度幅值和方向；在获得梯度幅值G(i,j)以及梯度方向θ(i,j)后进行非极大值抑制，将图像中的像素值(i,j)邻域沿θ(i,j)插值，当该点G(i,j)大于插值点时，将像素值(i,j)作为候选边缘点，最后通过双阈值法删选出候选边缘点得到图像边缘。Hough算法中，点线变换时将平面转化为参数空间，其直线X-Y平面转化为参数空间，其直线极坐标方程为：

ρ＝xcosθ+ysinθ，ρ≥0，0≤θ≤2π

其中ρ为图像空间中直线到坐标原点的距离，θ为直线与x轴正向的夹角，在当前帧图像中设像素坐标为(x，y)，将ρ-θ参数空间细分为多个累加器单元，将图像平面的第i个像素点(xi，yi)通过上述方程转换到ρ-θ参数空间，并将对应的累加器单元加1，图像上的一条直线映射到参数空间中即为累加器的局部极大值，找出图像平面中共线像素点的累加器局部极大值，得到该图像共线点直线的参数，提取出当前帧中的特征线。

以特征线的长度为标准，通过一定的阈值筛选出所需的长边结构的特征线，依据特征线长度进行特征线的初始优化，能够减少移动平台上相机参数反求运算的特征线数量，相机参数反求计算过程中，场景中的长边相对于短边具有更强的稳定性。

在进行场景分析的基础上，对筛选后的线特征进行“横平竖直”结构优化，真实世界中的场景往往包含着大量的人造物，而这些人造物往往符合一定的设计规则，如一些建筑体内部的“横平竖直”结构。通过相机进行场景构图，这些结构在正常视角下会在图像中得到体现。场景构图中的线条不但可以指明画面中主体的走向，引导视线方向，而且对于特征线优化也有着重要意义。对于室内场景而言，在正常视角获取的图像中，往往存在大量的横向水平、竖向垂直的场景结构。

对场景中的斜线进行过滤，仅保留图像特征线中的横线以及竖线，图像特征的融合更高效；对于当前帧图像的特征线L(P1,P2)，其中P1(x1,y2)和P2(x2,y2)为其两个端点，则特征线为横线或竖线的充要条件为：

ΔP＝min(|x₁-x₂|，|y₁-y₂|)＜ε_hv

其中，εhv为用户自定义阈值，可以根据实际的图像大小进行设定。利用公式4实现对场景中的斜线进行过滤，仅保留图像特征线中的横线以及竖线。

步骤103：迭代式特征线的删选通过对当前帧图像中所有优化后的特征线与前几帧中优化后特征线的距离关系的比较，筛选出更为稳定的特征线，构建稳定特征线集。这一计算方法主要基于相机运动过程中，同一条特征线在相邻帧间距离不会相差太大的假设。

采用假设第k帧经优化后的特征点数目为Np(Np>0)，特征线数目为Nl(Nl>0)，则拟迭代的次数由以下公式决定：

$\begin{array}{cc}{T}_{temp}=\&lsqb;\frac{w_p{N}_p+w_l{N}_l}{D_t}\&times;T_{max}\&rsqb;& T=\left\{\begin{array}{cc}1& T_{temp}<1\\ T_{temp}& 1\&le;T_{temp}\&le;T_{\max }\\ T_{\max }& T_{temp}>T_{\max }\end{array}\right.\end{array}$

其中Wp(0≤Wp≤1)和Wl(0≤Wl≤1)分别为特征点和特征线所占的权重，Dt为固定阈值(一般取值范围为50-150)，Tmax为所有帧中拟迭代次数的最大值(一般取值范围为2-5)，通过对特征点和特征线越多时进行更多次的迭代，从而对优化后的特征线进行更好的筛选，得到真正稳定的特征线。

如图2所示，为生成稳定特征线集，首先进行候选特征线集的初始化，将第k帧所有特征线加入候选特征线集，并将其中的每一条特征线均标记为未成功进行距离比对；然后，将候选特征线集中的每一条未加入稳定特征线集的特征线与第k-t(1≤t≤T)帧中的所有特征线进行距离比对，若距离比对成功，则将该特征线加入稳定特征线集；反之，若经T次迭代后该特征线仍未能进行成功的距离比对，则将其视作非稳定特征线予以舍弃。

采用欧氏距离进行两条特征线Lk(P1k，P2k)与Lk-t(P1k-t，P2k-t)之间的距离比对，假设两条特征线Lk(P1k，P2k)与Lk-t(P1k-t，P2k-t)的端点已进行了先上后下、先左后右的排序，则它们距离匹配成功的充要条件是：

d₁(P₁ ^k，P₁ ^k-t)＜ε_d&&d₂(P₂ ^k，P₂ ^k-t)＜ε_d

其中，d₁(P₁ ^k，P₁ ^k-t)(l＝1，2)表示两特征线端点之间的欧氏距离，εd表示自定义距离阈值(一般取值范围为50-100)。

步骤104：混合特征构造通过将稳定特征线集中的每一特征线离散为特征点，并与优化后的特征点融合得到的，更为具体地说，混合特征均由特征点构成，但由于这些特征点包括优化后的FAST角点特征和由稳定特征线离散而成的特征点，故称之为“混合特征”。

步骤104：混合特征匹配是在完成混合特征构造后，基于关键帧的方法，进行混合特征匹配，计算相机运动相关参数。具体来说，每一稳定的特征线的离散程度由优化后的特征点数、稳定特征线数、以及该特征线的长度由以下公式决定：

$N_{temp}=\&lsqb;\frac{N_t}{{\mathrm{\&lambda;}}_p{N}_p+{\mathrm{\&lambda;}}_l{N}_l}\&times;\frac{N_l\&times;L_i}{\underset{m=1}{\overset{N_l}{\&Sigma;}}{L}_m}\&rsqb;\&times;N_{\max }$

$N_i=\left\{\begin{array}{cc}2& N_{temp}<2\\ N_{temp}& 2\&le;N_{temp}\&le;N_{\max }\\ N_{\max }& N_{temp}>N_{\max }\end{array}\right.$

其中Ni为第i条稳定特征线离散后的点数，λp(0＜λp≤1)和λ1(0＜λ1≤1)分别为特征点和特征线所占的权重，Nt为固定阈值(一般取值为50-150)，Nmax为所有特征线中拟离散的最大点数，其取值与图像分辨率相关(例如对于分辨率为640X480的图像，Nmax取值为100)，Li为第i条稳定特征线长度。

步骤106：相机参数反求与虚实融合绘制采用跟踪与映射PTAM系统框架中的相机参数反求方法获得相机参数，并采用计算机图形绘制技术对已注册的数字内容进行虚实融合绘制。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种面向室内场景的移动增强现实方法，其特征在于，包括以下步骤：特征点的提取和优化、特征线的提取和优化、迭代式特征线的筛选、混合特征构造、混合特征匹配、相机位置参数反求与虚实融合绘制，所述的特征点的提取、特征线的提取是通过移动终端的摄像头获取场景的实时图像获得；所述的特征点的提取和优化基于FAST角点作为特征点进行提取，并利用Shi和Tomasi算法对所得到的特征点进行优化；所述的特征线的提取和优化通过Canny算子进行图像边缘检测，再利用Hough算法提取图像中的特征线。

2.根据权利要求1所述的一种面向室内场景的移动增强现实方法，其特征在于，所述的迭代式特征线的筛选包括以下步骤：

若第k帧经优化后的特征点数目为Np且Np>0，特征线数目为Nl且Nl>0，则拟迭代的次数T由以下公式决定：

$T_{temp}=\&lsqb;\frac{w_p{N}_p+w_l{N}_l}{D_t}\&times;T_{\max }\&rsqb;,$ $T=\left\{\begin{array}{cc}1& T_{temp}<1\\ T_{temp}& 1\&le;T_{temp}\&le;T_{\max }\\ T_{\max }& T_{temp}>T_{\max }\end{array}\right.$

其中0≤Wp≤1、0≤Wl≤1，Wp和Wl分别为特征点和特征线占特征点和特征线总和的权重，Dt为固定阈值，且50≤Dt≤150，Tmax为所有帧中拟迭代次数的最大值，取值范围为2-5；

候选特征线集的初始化：将第k帧所有特征线加入候选特征线集，并将其中的每一条特征线均标记为未成功进行距离比对；将候选特征线集中的每一条未加入稳定特征线集的特征线与第k-t帧中的所有特征线进行距离比对，1≤t≤T，若距离比对成功，则将该特征线加入稳定特征线集；若经T次迭代后该特征线仍未能进行成功的距离比对，则将其视作非稳定特征线予以舍弃。

3.根据权利要求2所述的一种面向室内场景的移动增强现实方法，其特征在于，所述的混合特征构造通过将稳定特征线集中的每一特征线离散为特征点，并与优化后的特征点融合得到。

4.根据权利要求3所述的一种面向室内场景的移动增强现实方法，其特征在于，所述的混合特征匹配使用基于关键帧的方法，稳定的特征线的离散程度由以下公式获得：

$N_{temp}=\&lsqb;\frac{N_t}{{\mathrm{\&lambda;}}_p{N}_p+{\mathrm{\&lambda;}}_l{N}_l}\&times;\frac{N_l\&times;L_i}{\underset{m=1}{\overset{N_l}{\&Sigma;}}{L}_m}\&times;N_{\max }\&rsqb;$

$N_i=\left\{\begin{array}{cc}2& N_{temp}<2\\ N_{temp}& 2\&le;N_{temp}\&le;N_{\max }\\ N_{\max }& N_{temp}>N_{\max }\end{array}\right.,$

其中Ni为第i条稳定特征线离散后的点数，λp和λ1分别为特征点和特征线占特征点和特征线总数的权重，0＜λp≤1，0＜λ1≤1，Nt为固定阈值，取值为50-150，Nmax为所有特征线中拟离散的最大点数，Li为第i条稳定特征线长度。

5.根据权利要求4所述的一种面向室内场景的移动增强现实方法，其特征在于，所述的相机位置参数反求与虚实融合绘制采用跟踪与映射PTAM系统框架中的相机参数反求方法获得相机参数，并采用计算机图形绘制技术对已注册的数字内容进行虚实融合绘制。