CN106127748B - 一种图像特征样本数据库及其建立方法 - Google Patents

Abstract

本发明公开了一种图像特征样本数据库建立方法，包括：对样本图片进行特征点检测及提取；将提取出的各特征点分别根据稀疏采样模型进行矩阵描述,得到样本图像各特征点的二进制描述矩阵；将样本图片各特征点的二进制描述矩阵存入数据库中，形成特征样本数据库。相应的，本发明还公开了一种图像特征样本数据库，用于解决现有图像配准技术不适用于移动终端上实现图像的精准、实时匹配问题。

Description

一种图像特征样本数据库及其建立方法

本发明是申请号为201210247979.3原申请文件的分案申请，原申请文件的申请日为：2012年07月18日，原申请的发明创造名称为：图像配准方法、装置及增强现实系统。

技术领域

本发明涉及图像处理领域，尤其涉及一种图像特征样本数据库及其建立方法。

背景技术

移动增强现实，即基于移动终端的增强现实，是增强现实技术与移动计算相结合而产生的研究方向，是近年来人机交互领域备受关注的热点之一。移动增强现实具有传统增强现实的本质，即在真实环境呈现的场景中，借助与计算机图形技术和可视化技术，将虚拟信息实时“无缝”与之融合，利用虚拟信息对真实场景进行补充、增强；同时与移动终端平台的结合，可以最大限度的发挥增强现实技术“可移动性”的特点，给予用户完全区别于传统计算机平台的全新的感知体验和交互模式。

在移动增强现实技术中，图像配准是一个技术难点，现有的图像配准技术多数是基于普通计算机设计的，若将此类图像配准技术直接移植到移动智能终端(如智能手机和平板电脑等)这一类受限系统上，由于移动智能终端与普通计算机的系统架构及性能差异，这样的算法移植不能满足系统运行的实时性及准确性要求。

例如：在“Daniel Wagner,Gerhard Reitmayr,Alessandro Mulloni,et al.PoseTracking from Natural Features on Mobile Phones[C]//7th IEEE/ACMInternational Symposium on Mixed and Augmented Reality,pp.125-134,2008”中提到的图像配准技术，属于利用一种改进的SIFT算法来实现图像配准，其具体包括如下步骤：

步骤A：使用FAST算法对图像进行角点检测，提取图像特征点，其中FAST是指由Edward Rosten和Tom Drummond提出的一种角点检测算法(若点P领域内的16个点中，有连续12个点的灰度与点P的灰度只差大于阈值t，则判断点P为角点)。

步骤B：用SIFT(Scale-invariant feature transform，尺度不变特征转换)算法形成对特征点的特征描述，具体为：

首先确定特征点的主方向以保证特征点的方向不变性，计算出特征点邻域内所有点的梯度方向及梯度量化值，如图1(a)。这些梯度值构成了一个方向直方图，如图1(b)所示。式1-1是邻域点L(x，y)的梯度量化值计算公式，式1-2是领域点L(x，y)的梯度方向计算公式。根据这两个公式计算出来的值被以方向O为索引，放置在一个36维度的直方图中，其中每个bin表示10度的方向。而直方图中的峰值即是特征点的主方向。

然后以特征点为中心，建立3X3的子区域，每个区域为5X5的像素点阵，每个子区域由4个方向的梯度值来描述，每个像素点对于该子区域的梯度值的权值由该像素点到子区域中心的距离决定，距离越远，权值越小。因此对每个子区域建立了一个4维向量的描述，9个子区域则共同形成特征点的36维向量描述，如图2；或建立4X4个子区域，每个子区域由8个方向的梯度值来描述则一个特征点由128维的向量描述。

步骤C：构造溢出树(Spill Forest)进行特征匹配；

构造的溢出树Spill Forest每颗Spill树根结点包含50～80个叶子结点，特征点的向量在每颗树中进行搜索和匹配，每棵树都能找到一个匹配度最高的叶子结点，比较特征点向量与叶子结点的平方差总和，判断最小值为匹配成功。

步骤D：坏点排除；

SIFT特征虽然是一个非常强大的描述，但它仍然产生坏点，在做姿态估计之前必须排除掉坏点。排除坏掉首选根据特征点的主方向，排除掉梯度方向与主方向相差较大的特征点；然后对剩下的特征点进行几何测试。对所有特征点进行匹配度排序，从匹配度最高的两个特征点开始，两个特征点确定一条直线，若大多数剩下的特征点在直线的同一边则判断这两个特征点为好点，否则至少其中一个为坏点，进行大约30次测试，排除掉所有坏点；最后使用单应性矩阵排除掉剩下的坏点。

步骤E：进行姿态估计。

上述图像配准技术，具有如下缺点：

1)、由于采用FAST算法提取图像特征点，使SIFT原本的尺度和方向信息丢失，因此需要实时的对输入图像的特征点在不同尺度下进行描述，会占用数倍的内存空间。

2)、构造Spill Forest会占用大量内存，如图3，显示了一个典型的数据集构造不同规模的Spill Forest占用内存的情况。

3)、主方向计算虽然是特征点具有了方向不变性，但增加了一定的运行时间；

4)、SIFT算法中每个特征点用128维或36维的特征向量进行描述，信息冗余度高，算法空间复杂度高；

5)、排除坏点显著增加运行时间。

上述现有图像配准技术在普通计算机上可能能达到较好配准效果，但是智能手机等移动终端本身在计算性能、内存空间等方面受到的诸多限制，该配准技术在移动终端上不再适用。主要表现为计算复杂，会造成系统响应时间急剧增加；数据量庞大，会使内存占用率高。因此单纯的算法移植不能在移动终端上实现图像的精确、实时的配准。

发明内容

本发明的目的是提供一种图像配准方法、装置及使用该图像配准方法及装置的增强现实系统，及一种包括所述增强现实系统的移动终端，解决现有图像配准技术不适用于移动终端上实现图像的精准、实时匹配问题，提供了一种占用内存小，执行效率高的图像配准方法及装置。

为了实现上述发明目的，本发明提供了一种图像特征样本数据库建立方法，包括：对样本图片进行特征点检测及提取；分别对样本图片提取出的各特征点邻域内的像素点进行稀疏采样，得到N*N像素阵，其中N为大于等于2小于等于64的整数；将每个特征点的N*N像素阵提取灰度值，得到N*N的灰度矩阵；将每个特征点的灰度矩阵进行K种不同阶数的灰度量化，且每种阶数的灰度量化矩阵用1个N²维向量进行描述，其中K为大于等于4且小于等于10的整数；将从白色到黑色的整个灰度区间均分为K个子区间，根据特征点的N*N像素阵中的各像素点在各种阶数的灰度量化值是否落入各灰度子区间，分别用N²*K矩阵描述样本图片的各特征点，得到样本图片各特征点的二进制描述矩阵；将样本图片各特征点的二进制描述矩阵存入数据库中，形成特征样本数据库。

优选的，所述样本图片各特征点的二进制描述矩阵，具体为：

其中，每一行D_i,0 D_i,1 … D_i,k-1对应一个像素点i是否落在各个灰度子区间，且

其中，G_i,j表示样本图像的稀疏采样像素阵中像素点i在第j种阶数下的灰度值，B_j表示灰度子区间j的最小灰度值。

优选的，所述方法还包括：对特征样本数据库中的每个特征点建立特征索引，并对特征样本数据库中的所有特征点建立索引树，每个特征索引对应一个特征索引值。

优选的，对特征样本数据库的每个特征点建立特征索引，包括：

从特征点的稀疏采样模型中随机选取包含特征点自身的5～21个像素点作为索引点；若索引点的灰度值大于稀疏采样模型中所有像素点的灰度平均值，则记该索引点的值为1，否则记为0；将5～21个索引点序列量化为5～21位二进制数的特征索引值。

优选的，所述索引树为B+树结构或B+树的变形结构。

优选的，所述对输入图像进行特征点检测及提取步骤中，若检测出的特征点大于M个，则随机选取M个特征点进行提取，其中，M为大于等于100且小于等于700的整数；若检测出的特征点小于M个，则提取出已检测到的特征点，并对所述输入图像建立尺度因子为2至6的图像金字塔，且对图像金字塔的下一层进行特征点提取，直到提取的特征点到达M个。

相应的，本发明还提出一种图像特征样本数据库，该图像特征样本数据库采用上述的方法建立而成。

与现有技术相比，本发明具有如下有益效果：

1)本发明通过稀疏采样模型对特征点进行矩阵描述，得到特征点的二进制描述矩阵，这样的稀疏采样模型和二进制的特征描述方法，显著降低了特征描述的信息冗余度，使得特征描述占用的内存空间大幅度下降；

2)本发明根据二进制特征描述这一特点，在采用本发明图像特征样本数据库进行特征匹配时，可采用执行效率更高的逻辑与运算，可有效减少特征匹配的运算时间；

3)采用特征索引构造B+树解决了构造溢出树型数据结构大量占用内存空间的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1为现有技术中对特征点的主方向选择示意图及对应的方向直方图；

图2为现有技术中特征点描述模型示意图；

图3为典型的数据集构造不同规模的Spill Forest占用内存的情况示意图；

图4为本发明实施例中图像配准方法流程示意图一；

图5为本发明实施例中特征样本数据库的建立过程流程示意图；

图6为本发明实施例中一种特征点稀疏采样阵列示意图；

图7为本发明实施例中对特征点建立索引的稀疏采样阵列示意图；

图8为本发明实施例中B+索引树存储结构示意图；

图9为本发明实施例图像配准装置的结构示意图一；

图10为本发明实施例图像配准装置的结构示意图二；

图11为本发明实施例增强现实系统的一种结构示意图；

图12为本发明实施例增强现实系统工作流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于普通计算机与移动智能终端的系统架构及性能差异，将适用于普通计算机的图像配准算法简单移植到移动智能终端上，不能满足系统运行的实时性及准确性要求。本发明主要针对基于移动智能终端的增强现实技术在自然特征匹配这一过程中在系统实时性上的不足进行改进，在移动智能终端(如智能手机和平板电脑等)这一类受限系统上，实现对自然特征的快速而准确的检测与描述。

参见图4，为本发明实施例中图像配准方法流程示意图一，该实施例中的图像配准方法，包括如下步骤：

S101：对输入图像进行特征点检测及提取；

其中，特征点的检测可以通过FAST角点检测算法进行，当然也可以通过其他任意算法进行检测，另外本步骤中输入图像优选为灰度图像，若输入图像为非灰度图像，应首先将其转换为灰度图像后再进行特征点的检测和提取。

S102：将提取出的各特征点分别根据稀疏采样模型进行矩阵描述,得到输入图像各特征点的二进制描述矩阵，所述稀疏采样模型为N*N的像素阵，其中N为大于等于2且小于等于64的整数，需要说明的是，N的取值范围为5～9时效果较佳(参见图6，为N＝8时的特征点稀疏采样像素阵)。

S103：将输入图像各特征点的二进制描述矩阵，与特征样本数据库中各特征点的二进制描述矩阵进行匹配计算，得到图像配准结果。所述特征样本数据库是在进行图像配准之前就建立好的，即在步骤S101之前，还包括建立特征样本数据库，特征样本数据库的具体建立方法在后文会进详细描述。

本实施例中的图像配准方法适用于各种需要进行图像配准的应用，尤其适用于适用于移动终端上进行图像配准。上面概括性的介绍了本发明实施例中图像配准方法的实现流程，下面将结合具体例子对各个步骤进行详细描述。

首先介绍如何建立特征样本数据库：

基于视觉的跟踪配准需要建立数据量庞大的特征样本数据库，包含每个可跟踪目标的多视角的样本图片的自然特征。该特征样本库数据库建立所需的样本图片，可以通过对实际目标的多角度拍摄，或者由参考图像的不同的尺度、旋转的仿射变换得到。由于对实际目标进行多角度拍摄，工作比较繁琐，且不易涵盖所有的视角，因此优选采用对参考图像进行仿射变化的到目标的样本集。此外，在样本图片中加入随机的噪点和畸变，能够让训练出来的特征具有更好的鲁棒性。

对一个目标建立特征样本数据库，需要包括该目标各个视角(目标的一个视角对应对参考图像的一次仿射变换)上的特征样本，但目标的仿射变换范围大，作为一个整体进行特征匹配时，时间复杂度高，因此可以将整个视角变化范围分为若干个子集，每个子集包含小范围的视角变化，并以树型结构存储。特征检测分别对每个仿射变换子集进行角点检测，每个角点在参考图像中的位置可由仿射变换的逆变换得到。相应的，特征样本库也根据不同的视角分为若干子集，且相对独立。子集中的所有图像共同构建特征子集，当前检测的图像发现新的特征点，则加入到特征子集中，否则对子集中的下一幅图像进行特征检测。当子集中所有图像检测结束，则从中选择重复率最高(重复率越高意味该特征点越稳定)的n个特征点作为该视角子集的特征集。在实际构建特征样本时，考虑到智能手机内存受限的情况，对参考图像构建四个方向的特征子集，然后进行仿射变换生成特征子集中的所有图像，这样既能保持对仿射有较好的鲁棒性，又能将特征样本控制在一个适用于智能手机的数量级。

参见图5，为本发明实施例中特征样本数据库的建立过程流程示意图，包括如下步骤：

步骤S201：对样本图片进行特征点检测及提取，此步骤中提取的样本特征点即为前述的对样本图片子集中所有图像检测结束后，从中选择出的重复率最高的若干个特征点。

步骤S202：将提取出的各特征点分别根据稀疏采样模型进行矩阵描述，得到样本图片各特征点的二进制描述矩阵，所述稀疏采样模型为N*N的像素阵(N与前述步骤S102中的N在同一实施方式中总为相同取值，样本图片特征点的二进制矩阵描述方式与输入图像二进制矩阵描述方式相同,但赋值恰好相反)。

具体的，步骤S202中对样本图片各特征点进行二进制矩阵描述进一步包括如下步骤：

A1：分别对从样本图片提取出的各特征点邻域内的像素点进行稀疏采样，得到N*N像素阵G，当N＝8时的特征点稀疏采样8*8像素阵G可如图6形式(中间那个菱形小黑点表示特征点)。

A2：将每个特征点的N*N像素阵提取灰度值，得到N*N的灰度矩阵；

A3：将各特征点的灰度矩阵进行K种不同阶数的灰度量化，且每种阶数的灰度量化矩阵用1个N²维向量进行描述，其中K为大于等于4且小于等于10的整数，优选K取5或6。

A4：将从白色到黑色的整个灰度区间均分为K个子区间，根据特征点的N*N像素阵中的各像素点在各种阶数的灰度量化值是否落入各灰度子区间，分别用N²*K矩阵描述样本图片的各特征点，得到样本图片各特征点的二进制描述矩阵D。所述样本图片各特征点的二进制描述矩阵D，可具体为如下矩阵形式：

其中，每一行D_i,0 D_i,1 … D_i,k-1对应一个像素点i是否落在各个灰度子区间，且

其中，G_i,j表示样本图像的稀疏采样像素阵中像素点i在第j种阶数下的灰度值，B_j表示灰度子区间j的最小灰度值。采用这样的描述，每个像素点需要k位，则N*N的像素阵的描述占用k*N²/8字节的空间，再加上特征点在参考图像中的位置占4个字节的存储空间，则每个特征点的特征描述占用k*N²/8+4字节的存储空间。

步骤S203：将样本图片各特征点的二进制描述矩阵存入特征样本数据库。

下面介绍步骤S102中如何对输入图像各特征点进行二进制矩阵描述：

输入图像特征点的二进制矩阵描述方式与样本图片二进制矩阵描述方式相同(赋值相反)，包括如下步骤：

B1：分别对输入图像提取出的各特征点邻域内的像素点进行稀疏采样，得到N*N像素阵，当N＝8时的特征点稀疏采样8*8像素阵I同样可如图6形式。

B2：将每个特征点的N*N像素阵提取灰度值，得到N*N的灰度矩阵；

B3：将每个特征点的灰度矩阵进行K种不同阶数的灰度量化，且每种阶数的灰度量化矩阵用1个N²维向量进行描述，其中K为大于等于4且小于等于10的整数，优选为5或6。

B4：将从白色到黑色的整个灰度区间均分为K个子区间，根据特征点的N*N的像素阵中的各像素点在各种阶数的灰度量化值是否落入各灰度子区间，分别用N²*K矩阵来描述输入图像的各特征点，得到输入图像各特征点的二进制描述矩阵。所述输入图像各特征点的二进制描述矩阵R，可具体为如下矩阵形式：

其中，每一行R_i,0 R_i,1 … R_i,k-1对应一个像素点i是否落在各个灰度子区间，且

其中，I_i,j表示输入图像的稀疏采样像素阵中像素点i在第j种阶数下的灰度值，B_j表示灰度子区间j的最小灰度值。

需要说明的是在建立样本特征数据库时，对样本图片特征点进行二进制矩阵描述时，如果采用的是8*8像素阵，得到的是64*5的样本图片特征点二进制描述矩阵，那么在对输入图片进行二进制矩阵描述时，同样需要用8*8的像素阵，得到64*5的输入图像特征点二进制描述矩阵(即描述方式一致)。

下面介绍步骤S103中如何进行图像配准计算：

样本图片各特征点的二进制描述矩阵D的本质是：表征样本图片特征点周围采样点是否落在各个灰度子区间内；匹配的输入图像应该有大部分采样点与样本图像的采样点落在相同灰度子区间内。因此，在进行实时的图像匹配时，通过对采样点在灰度子区间的分布来计算输入图像与样本图像之间的相异度。则在匹配过程中，特征样本中匹配度最高的特征点是相异度最小的点。这种简单的相异度计数算法的主要优越性在于其主要用到了逻辑运算与位计数运算，能够对大规模数据进行快速的计算。

所述步骤S103，进一步包括：

将所述D_i,j和所述R_i,j进行与运算，得到输入图像各特征点与特征样本数据库中各特征点的相异度e,如式(1-3)所示：

由于R的每一行只有一位，则式(1-3)亦可为

若将D，R的每一列视为一个N²位的整数d_j,r_j，逻辑运算可进一步简化，相异度表示为一个N²位整数的位计数(bit count)

当所述相异度小于设定阈值(如：2～200，优选为采样模型像素点总数的10％)，则判断出特征点匹配成功；

当输入图像的特征点与特征样本数据库中某样本图片的特征点匹配成功的个数大于设定阈值(如：50-100)，则判断出所述输入图像与该样本图片配准成功。

由于输入图像的实时匹配第一阶段是对输入图像进行FAST-9特征点检测。由于在特征样本数据库建立阶段已经选出了每个视角子集中最稳定的FAST特征点，并不需要在输入图像中提取过多的特征点，经过实验发现，随机选择200个左右的特征点已经能够使跟踪配准具有很好的鲁棒性。因此，优选的，在所述步骤S101中对输入图像进行特征点检测及提取时，若检测出的特征点大于M个，则随机选取M个特征点进行提取，其中，M可以预设为大于等于100且小于等于700的整数(M优选为200-400)。

另外，虽然在建立特征样本数据库时加入了随机的畸变，可以在一定程度上增加对图像畸变的鲁棒性，但不能解决输入图像畸变后的无法提取特征点的问题。因此，必须增加在FAST角点检测为了提高对畸变图像特征点检测的准确率，而图像的尺度变小，可以有效的弱化畸变问题，因此，可以对检测特征点小于一定量的输入图像建立尺度因子为2至6的图像金字塔(一般实际运用中尺度因子选2或4)，首先提取出原始图像的特征点，然后对图像金字塔的下一层进行特征点提取，直到提取的特征点个数到达足够多。

根据式(1-5)，输入图像的特征和样本特征的相异度计算效率非常高，但是在实际应用过程中，样本容量相当庞大，而且匹配是时间会随着样本容量线性增涨。因此，需要一种方法来减少相异度的计算次数，换而言之，即是避免过多的无效计算。

优选的，本发明实施例采用一种索引方法解决上述问题，具体为：对特征样本数据库中的每个特征点建立特征索引，形成索引树(优选的，所述索引树为B+树结构或B+树的变形结构)，每个特征索引对应一个特征索引值；且对输入图像每个特征点建立特征索引。

在步骤S103进行图像配准之前，还包括：

根据输入图像各特征点的特征索引值，分别在所述索引树中查找是否有相同的特征索引值；

若索引树中查到了相同的特征索引值，则将输入图像中的该特征点的二进制描述矩阵与特征样本数据库中的对应特征点的二进制描述矩阵进行匹配计算。

其中，对特征样本数据库或输入图像的每个特征点建立特征索引的方式相同，可以为如下方式：

从特征点的稀疏采样模型中随机选取包含特征点自身的5～21个像素点作为索引点；若索引点的灰度值大于稀疏采样模型中所有像素点的灰度平均值，则记该索引点的值为1，否则记为0；将5～21个索引点序列量化为5～21位二进制数的特征索引值。

例如：从特征点周围的采样点中选择12个点，再加上特征点本身共13个索引点来计算索引值，如图7所示。这12个采用点与特征点保持一个比较合理的距离，对旋转和尺度变换具有良好的稳定性，且在空间上的距离保证其相互之间的无关性。

索引值的算法为：若索引点的灰度大于所有采样点灰度平均值，则该索引点的值为1，否则为0。因此13个索引点序列就量化为13位的二进制数(十进制为0～8192)。其本质是在一定程度上表征了特征点周围采样点的灰度分布，灰度分布大致相同是判断两个特征匹配的必要条件，因此可用该条件来缩小特征匹配的搜索范围，提高算法效率。

由于对每个特征建立了索引，根据索引值可以很容易的对每个特征样本子集中的所有特征建立B+树数据结构。将所有特征点的描述信息保存在叶子结点，存储在移动设备的外存，根结点和中间结点只存储索引值保存其所有叶子结点的索引值的平均值，存储在主存中，这样可以有效地解决内存受限的情况，减少系统资源的浪费。

B+树是一种多路搜索树，其非叶子结点的子树指针数与关键字个数相同，非叶子结点的子树指针P[i]，指向关键字值属于[K[i]，K[i+1])的子树。其所有关键字(即特征索引值)都存储在叶子结点的链表中，且是有序的，非叶子结点是叶子结点的索引，叶子结点是存储数据的数据层。

假设有27个特征点(此处示意取较小的值以方便计算，实际索引值取值范围为0～8192)则其三阶阶B+树结构如图8所示。

B+树特征搜索过程，则是关键字索引过程。如果在3阶的B+树T中查找关键字k，顶层调用形式为B+TREE-SEARCH(root[T],k)。如果k在T中，B+TREE-SEARCH就返回一个由结点y和使key_i[y]＝k成立的下标i组成的有序对(y,i)。否则返回值NIL。其伪代码如下所示：

一个深度为h的3阶B+树至少有2×3^h-1个关键字，即是用B+树对2×3^h-1个特征索引值进行查找，平均查找次数为h(平均查找次数越少，搜索效率越高)。

相应的，本发明还提供了一种图像配准装置，参见图9为本发明实施例图像配准装置的结构示意图一，所述图像配准装置包括：

特征点提取模块1，用于对输入图像进行特征点检测及提取；

矩阵描述模块2，用于将提取出的各特征点分别根据稀疏采样模型进行矩阵描述,得到输入图像各特征点的二进制描述矩阵，所述稀疏采样模型为N*N的像素阵，其中N为大于等于2且小于等于64的整数；

匹配计算模块3，用于将输入图像各特征点的二进制描述矩阵，与特征样本数据库中各特征点的二进制描述矩阵进行匹配计算，得到图像配准结果，所述特征样本数据库存储于存储模块4中，所述特征样本数据库中存储有样本图片各特征点的二进制描述矩阵。所述存储模块4可以为图像配准装置内部模块，也可以为外接存储装置。

参见图10，为本发明实施例图像配准装置的结构示意图二，从图10可以看出，所述矩阵描述模2可进一步包括：

稀疏采样单元21，用于对所述特征点提取模块1所提取出的各特征点的邻域内的像素点进行稀疏采样，得到N*N像素阵；

灰度值提取单元22，用于对所述稀疏采样单元21得到的每个特征点的N*N像素阵提取灰度值，得到N*N的灰度矩阵；

量化单元23，用于将所述灰度值提取单元22得到的每个特征点的灰度矩阵进行K种不同阶数的灰度量化，并将每种阶数的灰度量化矩阵用1个N²维向量进行描述，其中K为大于等于4且小于等于10的整数；

描述矩阵生成单元24，该单元将从白色到黑色的整个灰度区间均分为K个子区间，并根据特征点的N*N的像素阵中的各像素点在各种阶数的灰度量化值是否落入各灰度子区间，分别用N²*K矩阵来描述输入图像的各特征点，得到输入图像各特征点的二进制描述矩阵。

所述匹配计算模块3可进一步包括：

特征点相异度计算单元31，用于将输入图像各特征点的二进制描述矩阵中的元素，与特征样本数据库中各特征点的二进制描述矩阵中的元素进行与运算，得到输入图像各特征点与特征样本数据库中各特征点的相异度；

特征点匹配单元32，用于根据所述特征点相异度计算单元31所计算出的相异度判断特征点匹配是否成功；

图像匹配单元33，用于根据输入图像的特征点与特征样本数据库中某样本图片的特征点匹配成功的个数，来判断所述输入图像与该样本图片是否配准成功。

特征点相异度计算单元31在样本数据量较小的情况下，可实现高效率计算相异度，但是在实际应用过程中，样本容量相当庞大，而且匹配是时间会随着样本容量线性增涨。因此，需要一种方法来减少相异度的计算次数，换而言之，即是避免过多的无效计算。

因此，本发明实施例一种索引方法解决上述问题，优选的，对存储特征样本数据库中所有特征点的特征索引，每个特征索引对应一个特征索引值，所有特征索引值以索引树的形式存储于存储模块4中，所述索引树为B+树结构或B+树的变形结构。

在用索引的实施例中，所述图像配准装置还包括：

索引生成单元5，用于对所述特征点提取模块1所提取的输入图像的每个特征点建立特征索引；

查找单元6，用于根据输入图像每个特征点的特征索引值，通过查找存储模块4中存储的索引树，找出与其具有相同特征索引值的样本图片特征点，并将该输入图像特征点的二进制描述矩阵及对应样本特征点的二进制描述矩阵发送到所述匹配计算单元进行匹配计算。

由于存储单元4中存储的特征样本数据库在建立阶段已经选出了每个视角子集中最稳定的FAST特征点，因此并不需要在输入图像中提取过多的特征点。经过实验发现，随机选择200个左右的特征点已经能够使跟踪配准具有很好的鲁棒性。

因此，优选的，所述特征点提取模块1还可以包括检测单元11、判断单元12、提取单元13和金字塔建立单元14，其中：

所述检测单元11，用于对输入图像进行特征点检测；

所述判断单元12，用于判断所述检测单元11检测出的特征点个数是否大于M，当判断出所述检测单元检测出的特征点大于M时，命令提取单元13从检测单元11检测出的所有特征点中随机选取M个特征点进行提取，其中，M为大于等于100且小于等于700的整数；当所述判断单元12判断出所述检测单元11检测出的特征点小于M时，命令提取单元13提取出已检测到的特征点，并命令金字塔建立单元14对所述输入图像建立尺度因子为2至6的图像金字塔，且命令提取单元13对图像金字塔的下一层进行特征点提取，直到提取的特征点到达M个。

相应的，本发明还提供了一种增强现实系统，参见图11，为本发明实施例增强现实系统的一种结构示意图，包括摄像组件71、图像格式转换组件72、图像配准组件73及虚实融合组件74，其中：

所述摄像组件71，用于捕获摄像机拍摄的场景图像；

所述图像格式转换组件72，用于将所述摄像组件71捕获的图像格式转换为RGB图像和灰度图像，所述灰度图像传送给图像配准组件73进行图像配准；

所述图像配准组件73为图9或图10所示的图像配准装置，用于将所述摄像组件捕获的图像与样本数据库中的样本图片进行配准,得到单应性矩阵；

所述虚实融合组件74，用于将所述图像格式转换组件72转换的RGB图像和所述图像配准组件配准到的样本图片所映射的虚拟信息进行虚实融合，完成图形的渲染和呈现。为了更清楚的说明本发明的增强现实系统，参见图12，为本发明实施例增强现实系统工作流程示意图。

虚实融合将包括三维模型、文本和图片在内的虚拟信息和叠加到输入图像上进行虚实融合,完成图形渲染和输出。

单应性矩阵本质上是图像坐标系和世界坐标系之间的映射关系，图像坐标系是指图像在显示器上输出的二维坐标系，世界坐标系是指以输入图像中心为坐标远点的三维坐标系。

相应的，本发明还提供了一种移动终端，所述移动终端包括上述增强现实系统。

本发明公开的图像配准方法、装置，解决了现有图像配准技术不适用于移动终端上实现图像的精准、实时匹配问题，提供了一种占用内存小，执行效率高的图像配准方法及装置。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (7)

1.一种图像特征样本数据库建立方法，其特征在于，包括：

对样本图片进行特征点检测及提取；

分别对样本图片提取出的各特征点邻域内的像素点进行稀疏采样，得到N*N像素阵，其中N为大于等于2小于等于64的整数；

将每个特征点的N*N像素阵提取灰度值，得到N*N的灰度矩阵；

将每个特征点的灰度矩阵进行K种不同阶数的灰度量化，且每种阶数的灰度量化矩阵用1个N²维向量进行描述，其中K为大于等于4且小于等于10的整数；

将从白色到黑色的整个灰度区间均分为K个子区间，根据特征点的N*N像素阵中的各像素点在各种阶数的灰度量化值是否落入各灰度子区间，分别用N²*K矩阵描述样本图片的各特征点，得到样本图片各特征点的二进制描述矩阵；

将样本图片各特征点的二进制描述矩阵存入数据库中，形成特征样本数据库。

2.如权利要求1所述的方法，其特征在于，所述样本图片各特征点的二进制描述矩阵，具体为：

其中，每一行D_i,0 D_i,1 … D_i,k-1对应一个像素点i是否落在各个灰度子区间，且

其中，G_i,j表示样本图像的稀疏采样像素阵中像素点i在第j种阶数下的灰度值，B_j表示灰度子区间j的最小灰度值。

3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

对特征样本数据库中的每个特征点建立特征索引，并对特征样本数据库中的所有特征点建立索引树，每个特征索引对应一个特征索引值。

4.如权利要求3所述的方法，其特征在于，对特征样本数据库的每个特征点建立特征索引，包括：

从特征点的稀疏采样模型中随机选取包含特征点自身的5～21个像素点作为索引点；

若索引点的灰度值大于稀疏采样模型中所有像素点的灰度平均值，则记该索引点的值为1，否则记为0；

将5～21个索引点序列量化为5～21位二进制数的特征索引值。

5.如权利要求4所述的方法，其特征在于，所述索引树为B+树结构或B+树的变形结构。

6.如权利要求1或2所述的方法，其特征在于，所述对样本图像进行特征点检测及提取步骤中，若检测出的特征点大于M个，则随机选取M个特征点进行提取，其中，M为大于等于100且小于等于700的整数；

若检测出的特征点小于M个，则提取出已检测到的特征点，并对所述样本图像建立尺度因子为2至6的图像金字塔，且对图像金字塔的下一层进行特征点提取，直到提取的特征点到达M个。

7.一种图像特征样本数据库，其特征在于，该图像特征样本数据库采用如权利要求1至6任一项所述的方法建立而成。