CN103353941B - 基于视角分类的自然标志物注册方法 - Google Patents

Abstract

本发明公开了一种基于视角分类的自然标志物注册方法，主要解决现有方法实时性差，应用局限性大，摄像机有效视角范围小的缺点。其实现步骤为：1)采集标志物原始图像和基准图像，并对摄像机视角做空间上的划分，利用图像基本几何变换生成视角类训练样本；2)检测视角类特征，二进制编码特征，计算基于二元测试的特征索引值；3)对场景图像进行基于标志物目标跟踪的特征提取，按邻近视角优先的策略进行特征检索与特征匹配；4)计算原始图像到场景图像的单应性矩阵和摄像机外参数矩阵，根据外参数矩阵得到标志物在场景中的精确位置，完成标志物注册。本发明具有实时性强，占用内存少，摄像机有效视角范围广的优势，可用于基于标志物的增强现实系统。

Description

基于视角分类的自然标志物注册方法

技术领域

本发明属于图像处理技术领域，涉及计算机视觉与机器学习，特别是涉及一种自然标志物的注册方法，可用于对目标图像进行特征匹配、识别以及追踪。

技术背景

标志物的注册，是通过计算机视觉系统对摄像机采集的图像进行特征提取，并与特定的标志物进行特征匹配，从而得到标志物在图像场景中的位置信息，并对标志物进行实时追踪。标志物注册的一个技术难点是如何快速的识别场景中的标志物，实时更新摄像机的外参数矩阵，达到快速、稳定追踪标志物的效果。根据实现方法不同，可以将标志物注册方法分为两大类：1)基于人工标志物的注册；2)基于自然标志物的注册。

早期采用的标志物为方格或同心圆环图案，它们是根据方便机器识别为原则进行设计的。目前基于这类人工标志物的增强现实已经比较成熟，但是这种方法存在以下缺点：1)对局部遮挡敏感：对于方格图案来说，遮挡会造成一些方格点不可见，从而使识别注册失效，因此方格图案标志物必须工作在无遮挡环境下。而同心圆环图案虽然具备了一些抗遮挡能力，但是依然无法应对遮挡面积较大的情况。2)用于匹配的特征点数目较少，因此视觉稳定性较差。3)在场景中放置人工标志物并不自然和美观，同时存在很多无法安放人工标志物的应用场合。

为了克服这些缺点，出现了基于自然标志物的注册方法。自然标志物即自然特征标志物，它可以是一张平面图像，也可以是场景中一个物体或区域。它比人工标志物更具一般性，因此具有更广泛的适用性，但同时需要更加复杂的识别算法支撑。与人工标志物注册相比，自然标志物注册技术中主要面临的困难体现在注册速度慢、实时性差和内存空间占用大等方面。

发明内容

本发明的目的在于针对已有技术的缺陷，提出一种基于视角分类训练的自然标志物注册方法，以提高运行速度，减小内存占用和扩展摄像机有效视角范围。

为实现上述目的，本发明的方法包括如下步骤：

(1)采集标志物的原始图像E，并根据应用需求选择视角采集标志物的基准图像F，原始图像和基准图像的分辨率由摄像机分辨率，场景大小与标志物尺寸共同决定；

(2)用SIFT算法对原始图像E和基准图像F进行匹配，用RANSAC算法估计出原始图像E到基准图像F的单应性矩阵H_a；

(3)设定尺度缩放因子为g∈(0,1)，并构建基准图像F的N层尺度金字塔图像P_n；

(4)根据金字塔图像P_n生成尺度和旋转视角类训练样本：

(4a)在每层金子塔图像P_n上生成M个尺度和旋转视角类，将第n层金字塔上第m个视角类表示为V_n,m，n取1,2,…,N，m取1,2,…,M，得到全部视角类的集合：T={V_n,m|n=1,2,…,N；m=1,2,…,M}；

(4b)在第n层金字塔上的第m个视角类V_n,m中，生成K_r张图像训练样本的旋转图像集： $\left\{B_k^{n,m}\right|k=\mathrm{1,2},\·\·\·,K_r\};$

(4c)在第n层金字塔上的第m个视角类V_n,m中，生成K_a张图像训练样本的仿射图像集： $\left\{A_k^{n,m}\right|k=\mathrm{1,2},\·\·\·,K_a\};$

(5)对视角类训练样本进行训练，得到标志物数据库：

(5a)对第n层金字塔上的第m个视角类V_n,m的图像训练样本中的旋转图像集和仿射图像集的每个图像做FAST特征点检测，得到全部图像特征点；

(5b)将第n层金字塔上的第m个视角类V_n,m上图像训练样本的全部图像特征点映射到原始图像E空间，利用限制最大聚类半径，且类成员与图像样本的特征点间对应关系为一对一的欧式距离聚类算法对特征点做分类，选取大小满足条件的S个聚类作为第n层金字塔上的第m个视角类V_n,m的视角类特征，记为：

(5c)对第n层金字塔上的第m个视角类特征利用统计采样块像素位置灰度值直方图的方法进行基于二进制编码的特征描述，得到该视角类特征向量；

(5d)对第n层金字塔上的第m个视角类特征进行基于二元测试的索引值计算，选取覆盖率较大的若干个索引值作为该视角类的特征索引值；

(5e)计算得到第n层金字塔上的第m个视角类特征在原始图像空间中的坐标，并将计算得到的坐标与步骤(5c)得到的视角类特征向量和步骤(5d)得到的视角类特征索引值一并作为该视角类的数据库进行保存；

(5f)对其他所有视角类按照上述步骤(5a)至步骤(5e)进行处理，得到全部视角类数据库，并将该全部视角类数据库作为标志物数据库进行保存；

(6)标志物实时注册：

(6a)对摄像头实时获得的场景图像做FAST特征点检测，并取出特征点；

(6b)对取出的特征点，利用统计采样块像素位置灰度值直方图的方法进行基于二进制编码的特征描述，得到该点特征向量；

(6c)对取出的特征点做基于二元测试的特征索引值计算，得到该点特征索引值；

(6d)采用邻近视角优先搜索策略在数据库中确定搜索范围；

(6e)将特征点的特征索引值与搜索范围内的视角类索引值进行匹配，对于匹配成功的点进一步将该点的特征向量与视角类特征向量做SSE指令集加速的特征向量匹配；

(6f)用PROSAC算法剔除误匹配，并估计得标志物原始图像平面到场景平面的单应性变换矩阵H_s；

(6g)根据H_s和摄像机内参求解得到摄像机外参数矩阵，根据外参数矩阵获得标志物在场景中的位置，完成标志物注册。

本方法借助视角分类训练，将尽可能多的计算量放到离线训练端，能够有效的提升标志物注册性能，其优点主要表现在以下几方面：

1)本发明用的自然标志物可以是场景中一个固有的平面，因此比起已有人工标志物注册方法具有更广泛的适用性，并且更加自然和美观。

2)本发明可以根据实际应用，有针对性的划分视角分类和生成训练样本，通过视角分类，能在摄像机光轴与标志物平面呈小夹角时保持鲁棒性。

3)本发明采用二进制编码的方式描述特征，在特征向量匹配上使用CPU的SSE指令集做硬件加速；在特征检索上采用特征索引算法，邻近视角优先搜索策略和简单性能搜索级联的方式，确保了注册程序的实时运行，这是目前很多自然标志物注册方法所达不到的。

4)本发明训练得到的数据库容积小，运行时对内存的要求低。

5)本发明采用视角类分类训练的方法，抗干扰能力强，匹配精确度高。

附图说明

图1是本发明的总流程图；

图2是本发明生成的尺度金字塔和部分训练图像样本；

图3是本发明使用的特征采样模板图；

图4是本发明使用的特征索引值计算模板图；

图5是本发明进行邻近视角优先搜索的子流程图；

图6是本发明用标志物原始图像到场景图像的单应性关系展示图；

图7是本发明用估计的摄像机外参数矩阵实现注册的效果展示图。

具体实施方式

下面结合附图对本发明技术方法进行进一步详细描述，应该指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

参照图1，本发明包括如下步骤：

步骤1，选择标志物并采集原始图像E和基准图像F。

(1.1)标志物的选择可分为两种，第一种，给定标志物原始图像，直接将原始图像E打印后放置在场景中作为标志物；第二种，可用场景中固有的平面充当标志物，第二种需要人工采集原始图像E，采集时应尽量将相机光轴垂直于标志物平面；

(1.2)两种情况都需要以实际应用为导向从合适的视角采集标志物基准图像F,需要指出的是，在采集图像时应保证足够的标志物有效分辨率，原始图像E和基准图像F的最终分辨率还应综合标志物注册系统的摄像头像素，场景大小与标志物尺寸做出调整;本实施例采用30万像素摄像头，标志物采用将原始图像E打印为A4纸大小的图片，取原始图像E和基准图像F分辨率为600×800。

步骤2，用SIFT算法对原始图像E和基准图像F进行匹配，用RANSAC算法估计出基准图像F到原始图像E的单应性矩阵H_a；

所述的SIFT算法是一种具有尺度、旋转、平移不变性的图像匹配算法，对光照变换、仿射变换、和3维投影变换具有一定鲁棒性，见DavidG.Lowe,“Objectrecognition fromlocal scale-invariant features”,International Conference on Computerr Vision,Corfu,Greece,pp.1150-1157,September1999；

所述的RANSAC算法是一种剔除样本数据中异常数据，保留正确数据的算法，见MFischler,RBolles.“Random Sample Consensus:A Paradigm For Model Fitting WithApplications to Image Analysis and Automated Cartography”[A].ACM,Graphics andImage Processing[C]1981.；本实施例采用RANSANC算法剔除在SIFT匹配过程中出现的误匹配，保留正确匹配计算单应性矩阵；

所述单应性矩阵H_a，是指原始图像F到基准图像E的变换关系。

步骤3，构建基准图像F的N层尺度金字塔：

(3.1)假设基准图像分辨率为W×H，W表示图像的宽度，H表示图像的高度，则将从第一层到第N层金字塔图像P_n的分辨率表示为W_n×H_n，其中n=1,2,…,N,且有W_n=W·g^n-1，H_n=H·g^n-1，g为尺度缩放因子；

(3.2)对基准图像进行缩放变换，用双线性插值的方法以g为缩放因子将基准图像F缩放为N层金字塔图像，第n层金字塔图像为P_n，n取1,2,…,N；

本实施例取W=600，H=800，取金字塔层数N=7，取缩放因子g=0.8。

步骤4，根据金字塔图像P_n生成尺度和旋转视角类训练样本：

(4.1)在每层金子塔图像P_n上生成M个尺度和旋转视角类，将第n层金字塔上第m个视角类表示为V_n,m，n取1,2,…,N，m取1,2,…,M，得到全部视角类的集合：T={V_n,m|n=1,2,…,N；m=1,2,…,M}，本实施例取M=36；

(4.2)在第n层金字塔上的第m个视角类V_n,m中生成包含K_r张图像训练样本的旋转图像集：其中，是第n层金子塔图像P_n以变换矩阵为H_B的射影变换图像，变换矩阵H_B为：

H_B=R_θ·H_a

其中，R_θ是角度参数为θ的旋转变换矩阵，θ取K_r个不同的值，且满足：θ∈[2π(m-1)M，2π(m-1)M+2π(K_r-1)MK_r]，H_a是原始图像E到基准图像F的单应性矩阵。本实施例取旋转图像数量K_r=20，并根据如下公式求取θ值：

$\mathrm{\θ}=\frac{2\mathrm{\π}}{M}(M-1+\frac{K-1}{K_r}),k=\mathrm{1,2},\·\·\·,K_r;$

(4.3)在第n层金字塔上的第m个视角类V_n,m中生成包含K_a张图像训练样本的仿射图像集：其中，是第n层金子塔图像P_n以第一变换矩阵为H_A和第二变换矩阵为H'_A的射影变换图像；第一变换矩阵H_A和第二变换矩阵H'_A分别为：

H_A=A_σ,φ,λ·H_a，

H'_A=A'_σ,φ,λ·H_a，

其中，A_σ,φ,λ是第一仿射变换矩阵，A'_σ,φ,λ是第二仿射变换矩阵，包含两个角度参数σ，φ和一个尺度参数λ，H_a是原始图像E到基准图像F的单应性矩阵，A_σ,φ,λ和A'_σ,φ,λ分别为：

$A_{\mathrm{\σ},\mathrm{\φ},\mathrm{\λ}}=\left[\begin{array}{cc}A& 0\\ 0^T& 1\end{array}\right],$

$A_{\mathrm{\σ},\mathrm{\φ},\mathrm{\λ}}^{\′}=\left[\begin{array}{cc}{A}^{\′}& 0\\ 0^T& 1\end{array}\right],$

其中 R_φ是旋转角为φ的旋转矩阵，φ取[0，π4]区间内K₁个不同的值；R_σ是旋转角参数为σ的旋转矩阵，σ取K₂个不同的值，且满足：σ∈[2π(m-1)M，2π(m-1)M+2π(K₂-1)MK₂]；D₁和D₂是参数为λ的尺度矩阵，分别表示为：D₁=diag(1,λ)和D₂=diag(λ,1)，λ取(0，1)区间内K₃个不同值；

本实施例取K₁=1，取φ值为π4。

本实施例取K_a=40，K₂=20，并根据如下公式求取σ值：

$\mathrm{\θ}=\frac{2\mathrm{\π}}{M}(M-1+\frac{K-1}{K_2}),k=\mathrm{1,2},\·\·\·,K_2.$

本实施例取K₃=1，取λ值为0.8。

按照上述步骤(4.2)至(4.3)生成的部分训练图像样本如图2所示。

步骤5，对第n层金字塔上的第m个视角类V_n,m中图像训练样本进行FAST特征点检测，得到图像特征点：

(5.1)取任意图像上的一个像素点c，并取在c点附近以半径为3的圆环上的16个点，该16个点所在的圆环，称之为FAST环；

(5.2)计算像素点c与FAST环上的每一个点的灰度值差的绝对值f；

(5.3)设定阀值q，将像素点c与FAST环上的每一个点的灰度值差的绝对值f与阀值q做比较，若FAST环上的点中有j个点与像素点c灰度值差的绝对值f都大于阀值q，则判定像素点c为特征点，否则不是特征点；其中，q的取值根据需要设定，且q∈(1,255)；j的取值根据需要取9或10或12，其中9代表采用的是FAST-9算子，10代表采用FAST-10算子，12代表采用FAST-12算子；本实施例取j=9，采用FAST-9检测算子；

(5.4)对视角类图像训练样本中的所有图像上的所有像素点按照上述步骤(5.1)至(5.3)进行特征点判定处理，得到全部图像的特征点。

步骤6，用限制最大聚类半径，且类成员与图像样本的特征点间对应关系为一对一的欧式距离聚类算法对第n层金字塔上的第m个视角类V_n,m的图像训练样本中图像的特征点进行分类，得到第n层金字塔上的第m个视角类V_n,m的视角类特征。

(6.1)开辟一个与原始图像E空间相同的二维空间，空间大小为W×H，在第n层金字塔上的第m个视角类V_n,m的图像训练样本中随机选取一张图像，并将其全部s₁个特征点映射到该空间，作为s₁个聚类的中心；

(6.2)在第n层金字塔上的第m个视角类V_n,m的图像训练样本中随机取出一张未被选择过的图像，将其全部sx个特征点映射到步骤(6.1)中空间；依次考察新进入的s_x个点，如果其中某个点与已有的某个聚类中心距离最近且小于最大聚类半径r，则将该点划归该聚类，并更新聚类中心；如果某个点与全部已存在聚类中心距离都大于最大聚类半径r，则新建立一个聚类，该点为类中心；本实施例取最大聚类半径r=2；

(6.3)如果视角类中全部图像训练样本已完成特征点的映射与聚类工作，则进入下一步骤(6.4)；否则返回到步骤(6.2)；

(6.4)将全部聚类按大小排序，选取满足条件的S个聚类作为稳定的视角类特征，记为 表示视角类特征的第k个特征；本实施例选取排名前100的聚类作为视角类特征，S=100。

步骤7，对第n层金字塔上的第m个视角类特征利用统计采样块像素位置灰度值直方图的方法进行基于二进制编码的特征描述，得到该视角类特征向量。

(7.1)将第n层金字塔上的第m个视角类特征上的点映射回相应的图像训练样本中的图像，得到对应的U个图像，并按照统一的模板对特征点做采样，得到U个采样块每个采样块包含了V个像素点；本实施例采用如图3所示的采样模板，图3中心位置处黑色方块表示特征点，采样块包含的像素点V=64；

(7.2)对每个采样块进行正规化去光照处理，使得其中V个像素灰度值的均值为0，方差为1；对正规化后的采样块进行量化处理，将其中V个像素灰度值量化到L个量化阶上；本实施例取量化阶个数L=5，选取的量化阶为[-∞，-0.84)，[-0.84，-0.25)，[-0.25，0.25），[0.25，0.84)，[0.84，+∞]；

(7.3)联合第n层金字塔上的第m个视角类特征的全部采样块统计U个采样块相同像素位置灰度值直方图，得到V个直方图，每个直方图有L个量化阶；

(7.4)将第n层金字塔上的第m个视角类特征编码成V行L列的0、1矩阵G，具体方法如下：

设置阈值T_P，当第j个直方图中第i个量化阶的值小于T_P时，矩阵G中的元素G_ij为1；否则G_ij为0，得到该视角类的特征向量G；j∈[1,V]，i∈[1,L]，本实施例取T_P=0.05。

步骤8，对第n层金字塔上的第m个视角类特征进行基于二元测试的特征索引值计算。

(8.1)对采样块计算其平均灰度值u=1,2,…,U，并按统一的模板从采样块及特征点处取出f个点，本实施例按照图4所示模板依次从及特征点处取出9个点的灰度值，图4中黑色方块为特征点；

(8.2)根据如下公式对步骤(8.1)中得到的9个点的灰度值分别与平均灰度值作比较，进行二元测试，继而构成的索引值t为：

$t={\mathrm{\&Sigma;}}_{z=1}^9{2}^{z-1}{C}_z,$ 其中 $C_z=\left\{\begin{array}{c}1,i_z>\stackrel{\&OverBar;}{I}\\ 0,i_z<\stackrel{-}{I}\end{array}\right.,$ i_z为第z个点的灰度值；

(8.3)统计U个采样块的索引值分布情况，选取累计覆盖率ε超过的若干个索引值作为视角类特征的特征索引值，本实施例中取ε=0.8。

步骤9，构建标志物数据库：

(9.1)计算第n层金字塔上的第m个视角类特征在原始图像空间中的坐标，并将计算得到的坐标与步骤(7.4)得到的视角类特征向量G和步骤8得到的视角类特征索引值t一并作为该视角类数据库进行保存；

(9.2)对其他所有视角类按照上述步骤7、步骤8和步骤(9.1)进行处理，得到全部视角类数据库，并将该全部视角类数据库作为标志物数据库进行保存。

步骤10，获取场景图像检测特征点，并进行二进制特征描述，得到特征点特征向量。

(10.1)对摄像头实时获得的场景图像进行FAST特征点检测，本实施例采用FAST-9检测算子；若前p帧内检测到标志物，则取出最近帧内标志物出现区域内的特征点，否则取出检测到的全部特征点，将取出的特征点作为场景特征；

(10.2)按照图3所示模板对取出的特征点进行采样，用步骤7所述方法对采样块进行正规化与量化，并将该特征编码为V行L列的0、1矩阵Q，即当采样块第j个像素位置的值落到第i个量化阶上时，矩阵Q中的元素Q_ij为0，否则Q_ij为1，其中j∈[1,V]，i∈[1,L]。

步骤11，用步骤8所述方法对步骤(10.1)中取出的特征点进行索引值计算，得到特征点特征索引值。

步骤12，将步骤(10.1)中得到的场景特征与标志物数据库进行匹配。

(12.1)采用邻近视角优先搜索策略确定搜索范围，

参考图5，本步骤的具体实现如下：

(12.1a)设置阀值T，本实施例取T=3；

(12.1b)通过摄像机获得新的一帧图像，依次检查该新的一帧图像的前面T帧内帧图像特征与标志物数据库匹配情况，若在T帧内帧图像特征与标志物数据库进行了第一次成功匹配，且匹配上的视角类为V_n',_m'，则确定搜索范围为视角类V_n',_m'及其邻域视角类；否则，确定搜索范围为全部视角类；其中n'=1,2,…,N，m'=1,2,…,M；

(12.2)对标志物数据库中视角类特征和场景特征进行匹配：

(12.2a)将场景特征中的某一个特征点的特征索引值与搜索范围内的视角类索引值进行匹配，若匹配成功则进入步骤(12.2b)和步骤(12.2c)进行特征向量的匹配；若匹配失败，则选择场景特征中的其他特征点进行特征索引值匹配，直到匹配成功；

(12.2b)设整型变量e为：

$e=b(G\&CircleTimes;Q)$

其中G为视角类特征向量，Q为场景特征向量，表示按位求与，b表示对非零值计数；

(12.2c)设置判决阈值d，将步骤(12.2b)中得到的e值与阀值d进行比较，若e≤d，则匹配成功，否则匹配失败；和b在程序中都可用SSE指令集做硬件加速，本实施例取d=10；

(12.2d)将其他未进行匹配的特征点按照步骤(12.2a)至步骤(12.2c)与视角类特征进行匹配，完成匹配过程。

步骤13，计算摄像机外参数矩阵，实现标志物注册：

(13.1)将匹配上的特征点根据整型变量e的值由升序排列，用PROSAC算法剔除误匹配，并估计得标志物原始图像平面到场景平面的单应性变换矩阵H_s，其中PROSAC算法是RANSANC算法的一种改进算法，见Chum O.,MatasJ.,“Matching with PROSAC-ProgressiveSample Consensus”,IEEE Computer Society Conference on Computer Vision andPattern Recognition,2005:220-226；图6所示为剔除误匹配后标志物原始图像到场景图像的单应性关系展示；

(13.2)根据步骤(13.1)得到的单应性变换矩阵Hs和摄像机内参求解得到摄像机外参数矩阵，其中，摄像机内参数为摄像机本身属性，由使用的摄像机决定，为已知参数；摄像机外参数矩阵表示了标志物和摄像机在三维空间中的相对位置关系，从而得到标志物在摄像机坐标系中的精确位置或者摄像机在以标志物中心为原点的世界坐标系中的精确位置，完成标志物在三维空间中的注册，如图7所示。

Claims (4)

1.一种基于视角分类的自然标志物注册方法，包括如下步骤：

(1)采集标志物的原始图像E，并根据应用需求选择视角采集标志物的基准图像F，原始图像和基准图像的分辨率由摄像机分辨率，场景大小与标志物尺寸共同决定；

(2)用SIFT算法对原始图像E和基准图像F进行匹配，用RANSAC算法估计出原始图像E到基准图像F的单应性矩阵H_a；

(3)设定尺度缩放因子为g∈(0,1)，并构建基准图像F的N层尺度金字塔图像P_n；

(4)根据金字塔图像P_n生成尺度和旋转视角类训练样本：

(4a)在每层金子塔图像P_n上生成M个尺度和旋转视角类，将第n层金字塔上第m个视角类表示为V_n,m，n取1,2,…,N，m取1,2,…,M，得到全部视角类的集合：T＝{V_n,m|n＝1,2,…,N；m＝1,2,…,M}；

(4b)在第n层金字塔上的第m个视角类V_n,m中，生成K_r张图像训练样本的旋转图像集：

(4b1)设变换矩阵H_B为：

H_B＝R_θ·H_a

其中，R_θ是角度参数为θ的旋转变换矩阵，θ取K_r个不同的值，且满足：θ∈[2π(m-1)/M，2π(m-1)/M+2π(K_r-1)/MK_r]，H_a是原始图像E到基准图像F的单应性矩阵；

(4b2)对第n层金子塔图像P_n进行以变换矩阵为H_B的射影变换，得到旋转图像集：

(4c)在第n层金字塔上的第m个视角类V_n,m中，生成K_a张图像训练样本的仿射图像集：

(4c1)设第一仿射变换矩阵A_σ,φ，λ和第二仿射变换矩阵A'_σ,φ,λ分别为：

$A_{\mathrm{\&sigma;},\mathrm{\&phi;},\mathrm{\&lambda;}}=\left[\begin{array}{cc}A& 0\\ 0^T& 1\end{array}\right],$

$A_{\mathrm{\&sigma;},\mathrm{\&phi;},\mathrm{\&lambda;}}^{\&prime;}=\left[\begin{array}{cc}{A}^{\&prime;}& 0\\ 0^T& 1\end{array}\right],$

其中R_φ是旋转角为φ的旋转矩阵，φ取[0，π/4]区间内K₁个不同的值；R_σ是旋转角参数为σ的旋转矩阵，σ取K₂个不同的值，且满足：σ∈[2π(m-1)/M，2π(m-1)/M+2π(K₂-1)/MK₂]；D₁和D₂是参数为λ的尺度矩阵，分别表示为：D₁＝diag(1，λ)和D₂＝diag(λ，1)，λ取(0，1)区间内K₃个不同值；

(4c2)设第一变换矩阵H_A和第二变换矩阵H'_A分别为：

H_A＝A_σ,φ,λ·H_a，

H'_A＝A'_σ,φ,λ·H_a，

其中，H_a是原始图像E到基准图像F的单应性矩阵；

(4c3)对第n层金子塔图像P_n进行以第一变换矩阵为H_A和第二变换矩阵为H'_A的射影变换，得到仿射图像集：

(5)对视角类训练样本进行训练，得到标志物数据库：

(5a)对第n层金字塔上的第m个视角类V_n,m的图像训练样本中的旋转图像集和仿射图像集的每个图像做FAST特征点检测，得到全部图像特征点；

(5b)将第n层金字塔上的第m个视角类V_n，m上图像训练样本的全部图像特征点映射到原始图像E空间，利用限制最大聚类半径，且类成员与图像样本的特征点间对应关系为一对一的欧式距离聚类算法对特征点做分类，选取大小满足条件的S个聚类作为第n层金字塔上的第m个视角类V_n,m的视角类特征，记为：

(5c)对第n层金字塔上的第m个视角类特征利用统计采样块像素位置灰度值直方图的方法进行基于二进制编码的特征描述，得到该视角类特征向量；

(5d)对第n层金字塔上的第m个视角类特征进行基于二元测试的索引值计算，选取覆盖率较大的若干个索引值作为该视角类的特征索引值；

(5e)计算得到第n层金字塔上的第m个视角类特征在原始图像空间中的坐标，并将计算得到的坐标与步骤(5c)得到的视角类特征向量和步骤(5d)得到的视角类特征索引值一并作为该视角类的数据库进行保存；

(5f)对其他所有视角类按照上述步骤(5a)至步骤(5e)进行处理，得到全部视角类数据库，并将该全部视角类数据库作为标志物数据库进行保存；

(6)标志物实时注册：

(6a)对摄像头实时获得的场景图像做FAST特征点检测，并取出特征点；

(6b)对取出的特征点，利用统计采样块像素位置灰度值直方图的方法进行基于二进制编码的特征描述，得到该点特征向量；

(6c)对取出的特征点做基于二元测试的特征索引值计算，得到该点特征索引值；

(6d)采用邻近视角优先搜索策略在数据库中确定搜索范围；

(6e)将特征点的特征索引值与搜索范围内的视角类索引值进行匹配，对于匹配成功的点进一步将该点的特征向量与视角类特征向量做SSE指令集加速的特征向量匹配；

(6f)用PROSAC算法剔除误匹配，并估计得到标志物原始图像平面到场景平面的单应性变换矩阵H_s；

(6g)根据H_s和摄像机内参求解得到摄像机外参数矩阵，根据外参数矩阵获得标志物在场景中的位置，完成标志物注册。

2.根据权利要求1所述的方法，其中步骤(3)所述的构建基准图像F的N层尺度金字塔图像P_n，按如下步骤进行：

(3a)假设基准图像分辨率为W×H，W表示图像的宽度，H表示图像的高度，则将从第一层到第N层金字塔图像P_n的分辨率表示为W_n×H_n，其中n＝1,2,…,N，且有W_n＝W·g^n-1，H_n＝H·g^n-1，g为尺度缩放因子，其中g∈(0,1)，具体数值根据需要设定；

(3b)对基准图像进行缩放变换，用双线性插值的方法以g为缩放因子将基准图像F缩放为N层尺度金字塔图像，第n层金字塔图像为P_n，n取1,2,…,N。

3.根据权利要求1所述的方法，其中步骤(5a)所述的对图像训练样本中的图像做FAST特征点检测，得到全部图像特征点，按如下步骤进行：

(5a1)取任意图像上的一个像素点c，并取在c点附近以半径为3的圆环上的16个点，该16个点所在的圆环，称之为FAST环；

(5a2)计算像素点c与FAST环上的每一个点的灰度值差的绝对值f；

(5a3)设定阈值q，将像素点c与FAST环上的每一个点的灰度值差的绝对值f与阈值q做比较，若FAST环上的点中有j个点与像素点c灰度值差的绝对值f都大于阈值q，则判定像素点c为特征点，否则不是特征点；其中，q的取值可根据需要设定，且q∈(1,255)；j的取值根据需要取9或10或12，分别代表采用的是FAST-9算子，FAST-10算子，FAST-12算子；

(5a4)对视角类图像训练样本中的所有图像上的所有像素点按照上述步骤(5a1)至(5a3)进行特征点判定处理，得到全部图像的特征点。

4.根据权利要求1所述的方法，其中步骤(5b)所述的利用限制最大聚类半径，且类成员与图像样本的特征点间对应关系为一对一的欧式距离聚类算法对特征点做分类，按如下步骤进行：

(5b1)开辟一个与原始图像E空间相同的二维空间，空间大小为W×H，在第n层金字塔上的第m个视角类V_n,m的图像训练样本中随机选取一张图像，并将其全部特征点映射到开辟的新空间中，将映射在新空间的点作为聚类的中心；

(5b2)在第n层金字塔上的第m个视角类V_n,m的图像训练样本中随机取出一张未被选择过的图像，将其全部特征点映射到步骤(5b1)中所开辟的空间；依次考察新映射到空间的点，如果其中某个点与已有的某个聚类中心距离最近且小于最大聚类半径r，则将该点划归该聚类，并更新聚类中心；如果其中某个点与全部已存在聚类中心距离都大于最大聚类半径r，则新建立一个聚类，该点为聚类中心；最大聚类半径r的取值由具体需要设定；

(5b3)对第n层金字塔上的第m个视角类V_n,m中图像训练样本的其他所有图像按照步骤(5b2)所述进行处理，得到该视角类的全部聚类，由于聚类中的点与特征点为一对一的映射关系，完成特征点的分类。