CN101515329A - 基于多种特征的图像匹配方法 - Google Patents

Abstract

基于多种特征的图像匹配方法，通过对多种图像特征描述子性能的分析，将其有效结合，建立多级分类结构，使用该结构完成对图像库图像快速、有效地匹配。操作过程为：(1)确定图像的多种特征组成特征集；(2)输入要求的匹配性能指标，确定两类输入训练样本，提取出它们在特征集FS中的所有备选特征。图像匹配的级数k初始化为k＝1；(3)对于FS中的每一个特征F_k(k＝1，2，…，n)，使用输入训练样本采用统计方法获得其性能参数；(4)根据步骤(3)从特征集FS中选取其子集为FS_k，使用AdaBoost方法训练出分类器，作为图像匹配的第k级。FS＝FS－FS_k；(5)若未达到要求的图像匹配的性能指标，k＝k+1，继续步骤(4)－(5)；(6)使用训练好的k级分类结构进行图像库图像的匹配。

Description

基于多种特征的图像匹配方法

技术领域

本发明涉及一种图像匹配方法，更具体地涉及一种基于多种图像特征对图像库图像快速匹配的方法。

背景技术

近年来，随着人们对图像检索需求的日益增加，相关的图像检索技术不断涌现。图像检索的目的就是在大规模的图像库中找到满足检索者要求的图像，两者在内容上一般有很大的相关性或相似性。因此相关学者提出了基于内容的图像检索。基于内容的图像检索技术就是根据图像的内容信息建立表征其特征的描述子，使用描述子在图像库中查找具有相似特征描述子的图像。

在传统的图像检索系统中，使用的图像特征描述子有很多种，它们主要表征了图像的颜色、纹理、形状等特征信息。虽然有很多的特征描述子，但是这些描述子就单个而言往往仅在某一个或一些方面有效，它们或多或少在某些方面有一些缺陷，不具有有效性。即没有哪个单独的特征描述子可以很有效地描述图像的特征，从而使得获得十分有效的检索结果。因此，为增强识别和检索的准确度，基于内容的图像检索领域面临的首要问题就是如何基于许多单个的图像描述子建立一个有效和稳健的图像描述子。将多个单个的图像描述子进行适当地组合，充分地使得它们进行优势互补，以形成一个新的更加全面的图像描述性特征向量是上述问题的一种很好的解决方案。

对于多个描述子进行组合成特征描述向量是为了提高识别和检索的准确度考虑的。怎样对多个图像描述子进行组合一直以来是一个未能很好解决的问题。

发明内容

技术问题：为了解决上述问题，本发明的目的是提供一种新的图像匹配的方法——基于多种特征的图像匹配方法。

技术方案：为实现本发明的目的，基于多种特征的图像匹配方法在于基于多种图像特征组合对图像库进行图像匹配，具体包括如下步骤：

步骤101：确定图像的多种特征组成特征集，记为FS＝F₁，F₂，...，F_n；

步骤102：输入要求匹配的误检率、漏检率、时间性能指标，确定相关和不相关图像两类输入训练样本，提取出它们在特征集FS中的所有备选特征，图像匹配的级数k初始化为k＝1；

步骤103：对于FS中的每一个特征F_K，使用步骤2中的输入训练样本采用统计方法获得FS中每一特征的性能参数；其中K＝1、2、…n；

步骤104：根据步骤103从特征集FS中选取其子集为FS_k，对FS_k使用自适应自举学习算法-AdaBoost训练出分类器，作为图像匹配的第k级；新的特征集为剩余特征组成的集合，即FS＝FS-FS_k；

步骤105：若未达到要求的图像匹配的性能指标，k＝k+1，继续步骤104～步骤105；

步骤106：使用训练好的k级结构进行图像库图像的匹配。

所述采用统计方法获得FS中每一特征的性能参数包括：计算复杂度、时间、漏检率、误检率、阈值选择和匹配检索准确度之间的关系。

所述从特征集FS中选取其子集为FS_k包括：根据步骤103中统计出的每个单一特征的时间复杂度、漏检率和误检率性能参数选取子集FS_k；选取子集中的特征应满足的条件为：漏检率、误检率、时间复杂度低于事先设定好的阈值；在满足上述条件之后，优先选择的指标为漏检率和时间复杂度，即它们越低越好：由于最终训练出的是多级结构，对于不同级中子集FS_k的选择，其特征选择方法为：k越大要求其误检率越低越好，在最大降低误检率的前提下尽可能地减少漏检率的增加。

所述步骤104中对FS_k使用自适应自举学习算法-AdaBoost训练出分类器包括：

步骤201：为步骤102中的两类训练样本初始化权值；

步骤202：FS_k中的每一个特征对应一个弱分类器，从FS_k中将所有当前未被选定的特征利用与其对应的弱分类器，根据当前的权值，输入训练样本进行训练；

步骤203：考虑所有未入选的特征，利用单个特征训练分类器，使加权错误率最小；

步骤204：根据训练结果将错误率最小的弱分类器对应特征选定为当前轮次的特征挑选结果；

步骤205：更新所有训练样本的权值，重新执行步骤202～205，执行完预定的轮次；

步骤206：将所述每一轮次选定的特征挑选结果的特征加权组合作为最后的特征向量，输出该分类器。

所述步骤106中k级结构包括：第l级经过步骤104训练出一个h(x)记为h^l(x)，则k及结构将对应k个分类器h¹(x)，h²(x)，...，h^k(x)，它们在结构关系上是一个级联关系。

所述步骤106中使用训练好的k级结构进行图像库图像的匹配可以表述为：使用上述k个分类器形成的级联结构对图像库图像进行匹配；首先经过分类器h¹(x)后输出相关的分类结果，将分类为相关的图像库图像输入到下一级分类器h²(x)输出分类结果，继续这一过程直至第k级分类器，将h^k(x)输出的相关图像作为最终的分类结果，即最终的相关图像。

所述步骤201中第i个样本初始化权值可以表述为：

$w_{1,i}=\left\{\begin{array}{cc}\frac{1}{2m}& \mathrm{for\; i\; is\; positive}\\ \frac{1}{2n}& \mathrm{for\; i\; is\; negative}\end{array}\right.$

其中m，n分别为相关样本(positive)和不相关样本(negative)的个数。

所述步骤202中的弱分类器可以表示为：

$h_j\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}{f}_j\left(x\right)\≤{\mathrm{\θ}}_j\\ 0& \mathrm{otherwise}\end{array}\right.$

其中h_j(x)表示对应第j个特征的弱分类器，f_j(x)表示第j个特征，θ_j表示第j个特征的阈值。

所述步骤203中特征j的错误率可以表述为：∈_j＝∑_iw_t，i |h_j(x_i)-y_i|。其中w_t，i为样本i在第t轮的权重。若是不相关样本，则y_i＝0；否则y_i＝1。

所述步骤204选择错误率最小的分类器可以表述为：统计每个弱分器h_j(x)的错误率，选定错误率最小的弱分类器，并将其对应的特征作为该轮选定的特征；

所述步骤205中更新所有训练样本的权值包括：设步骤204中第t轮选定的特征对应的最小错误率为∈_t，则训练样本i对应的权重可以表示为 $w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i},$ 其中如果样本i被正确分类，则e_t＝0；否则，e_t＝1。 ${\mathrm{\β}}_t=\frac{{\∈}_t}{1-{\∈}_t}.$

所述步骤206中将特征加权组合可以表述为：

$h\left(x\right)=\left\{\begin{array}{cc}1& {\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t{h}_t\left(x\right)\≥\frac{1}{2}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t\\ 0& \mathrm{otherwise}\end{array}\right.$

其中h(x)为最后输出弱分类器组合成的强分类器， ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t},$ T为设定的最大轮次数。这里强分类器和弱分类器的区别在于，强分类器是由弱分类器组合而成，它比弱分类器具有更好的分类效果。

所述步骤106中k级结构可以表述为：第l级经过步骤104训练出一个h(x)记为h^l(x)，则k及结构将对应k个强分类器h¹(x)，h²(x)，...，h^k(x)，它们在结构关系上是一个级联关系。

所述步骤106中使用训练好的k级结构进行图像库图像的匹配可以表述为：使用上述k个强分类器形成的级联结构对图像库图像进行匹配。首先经过分类器h¹(x)后输出相关的分类结果，将分类为相关的图像库图像输入到下一级分类器h²(x)输出分类结果，继续这一过程直至第k级分类器，将h^k(x)输出的相关图像作为最终的分类结果，即最终的相关图像。

有益效果：相对于现有的图像匹配方法来说，本发明能够对多种图像特征使用AdaBoost方法通过统计学习将这多种特征有效地组合，从而训练出更优的匹配方案。对于基于单一特征的图像匹配方法，该方法优势明显，对于其他的多种特征的组合方法，该方法更具有合理性和有效性。

附图说明

图1是本发明的基于多种特征的图像匹配方法的流程图示意图。

图2是根据本发明实施例的用AdaBoost方法训练分类器的流程图示意图。

图3是使用k级结构对图像库进行匹配的示意图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而不对其起任何限定作用。

图1是说明根据本发明的基于多种特征的图像匹配方法的实施主要步骤的流程图。参照图1，该方法包括：

步骤101为确定特征集FS，选择参与图像匹配的特征组成一个集合。在本实施例中我们可以选择的特征集FS为如{颜色直方图、颜色矩、颜色相关图、灰度直方图、边缘直方图、Tamura纹理特征、灰度共生矩阵、Hu矩}。

步骤102输入要求的匹配性能指标如漏检率、误检率和时间要求等，如可以设定漏检率小于5％，误检率小于5％，单张图像匹配时间为0.1s。确定两类输入训练样本(相关和不相关图像)，对每一个训练样本提取出FS中的所有特征存储起来。

步骤103对于FS中的每一个特征F_k(k＝1，2，...，n)，使用步骤102中的输入训练样本采用统计方法获得其性能参数。在本实施例中如要获得颜色直方图特征的性能参数，则实施步骤如下：将所有的训练样本根据其颜色直方图与图像库图像匹配，不断设置匹配阈值使得获得最好的匹配结果，记录最优阈值、漏检率和误检率以及匹配时间。这样就获得了颜色直方图的性能参数。

步骤104是从特征集FS中选取其子集为FS_k，对其使用AdaBoost方法训练出分类器。从特征集FS中选取其子集为FS_k的方法为：根据步骤103中统计出的每个单一特征的时间复杂度、漏检率和误检率等性能参数选取子集FS_k。选取子集中的特征应满足的条件为：漏检率低于某一阈值(如5％)，误检率低于某一阈值(如40％)，时间复杂度低于某一时间阈值(如0.005s)。在满足上述条件之后，优先选择的指标为漏检率和时间复杂度，即它们越低越好。由于最终训练出的是多级结构，对于不同级中子集FS_k的选择，其特征选择方法为：k越大要求其误检率越低越好，在最大降低误检率的前提下尽可能地减少漏检率的增加。

参照图2，其给出了根据本发明实施例的用AdaBoost方法训练分类器的流程图示意图。

步骤201：为步骤102中的两类训练样本初始化权值。第i个样本初始化权值可以表述为：

$w_{1,i}=\left\{\begin{array}{cc}\frac{1}{2m}& \mathrm{for\; i\; is\; positive}\\ \frac{1}{2n}& \mathrm{for\; i\; is\; negative}\end{array}\right.$

步骤202：设定迭代的轮次t＝1，2，...，T。

步骤203：FS_k中的每一个特征对应一个弱分类器，从FS_k中将所有当前未被选定的特征利用与其对应的弱分类器，根据当前的权值，输入训练样本进行训练。根据训练样本集的权值得到最优的阈值参数，使得所有样本的加权错误率最小，这样为每个弱分类器及其对应的特征获取一个错误率。

弱分类器可以表示为：

$h_j\left(x\right)=\left\{\begin{array}{cc}1& \mathrm{if}{f}_j\left(x\right)\≤{\mathrm{\θ}}_j\\ 0& \mathrm{otherwise}\end{array}\right.$

其中h_j(x)表示对应第j个特征的弱分类器，f_j(x)表示第j个特征，θ_j表示第j个特征的阈值。

特征j的错误率可以表述为：∈_j＝∑_iw_t，i|h_j(x_i)-y_i|。其中w_t，i为样本i在第t轮的权重。若是不相关样本，则y_i＝0；否则y_i＝1。

步骤204：统计每个弱分器h_j(x)的错误率，选定错误率最小的弱分类器，并将其对应的特征作为该轮选定的特征；

步骤205：更新所有训练样本的权值，包括：设步骤204中第t轮选定的特征对应的最小错误率为∈_t，则训练样本i对应的权重可以表示为 $w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i},$ 其中如果样本i被正确分类，则e_t＝0；否则，e_t＝1。 ${\mathrm{\β}}_t=\frac{{\∈}_t}{1-{\∈}_t}.$ 最后再将所有样本的权重进行归一化，即 $w_{t,i}=\frac{w_{t,i}}{{\mathrm{\Σ}}_{j=1}^n{w}_{t,j}}.$ 若t＜T则返回步骤202进行下一轮迭代，否则进入步骤206；

步骤206：将t＝1，2，...，T轮次选定的特征加权组合，可以表述为：

$h\left(x\right)=\left\{\begin{array}{cc}1& {\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t{h}_t\left(x\right)\≥\frac{1}{2}{\mathrm{\Σ}}_{t=1}^T{\mathrm{\α}}_t\\ 0& \mathrm{otherwise}\end{array}\right.$

其中h(x)为最后输出弱分类器组合成的强分类器， ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t},$ T为设定的最大轮次数。

步骤105衡量目前训练出的k级结构的性能指标，若其达到步骤102要求的性能指标，则进入步骤106；否则，返回步骤104进入下一轮的迭代；

步骤106操作过程包括：对步骤105输出k个分类器组成k级级联结构，并使用其对图像库图像进行匹配，其匹配示意图参见图3。

参照图3所示，使用上述k个强分类器形成的级联结构对图像库301中图像进行匹配。首先经过分类器302后输出分类结果，将分类为相关的图像库图像输入到下一级分类器303输出分类结果，不相关的如图像305不参与下面的匹配。继续这一过程直至第k级分类器304，将304输出的相关图像作为最终的分类结果，即最终的相关图像306。

Claims (6)

1、一种基于多种特征的图像匹配方法，其特征在于基于多种图像特征组合对图像库进行图像匹配，具体包括如下步骤：

步骤101：确定图像的多种特征组成特征集，记为FS＝{F₁，F₂，…，F_n}；

步骤102：输入要求匹配的误检率、漏检率、时间性能指标，确定相关和不相关图像两类输入训练样本，提取出它们在特征集FS中的所有备选特征，图像匹配的级数k初始化为k＝1；

步骤103：对于FS中的每一个特征F_K，使用步骤102中的输入训练样本采用统计方法获得FS中每一特征的性能参数；其中K＝1、2、…n；

步骤104：根据步骤103从特征集FS中选取其子集为FS_k，对FS_k使用自适应自举学习算法-AdaBoost训练出分类器，作为图像匹配的第k级；新的特征集为剩余特征组成的集合，即FS＝FS-FS_k；

步骤105：若未达到要求的图像匹配的性能指标，k＝k+1，继续步骤104～步骤105；

步骤106：使用训练好的k级结构进行图像库图像的匹配。

2、按权利要求1所述的基于多种特征的图像匹配方法，其特征在于，所述采用统计方法获得FS中每一特征的性能参数包括：计算复杂度、时间、漏检率、误检率、阈值选择和匹配检索准确度之间的关系。

3、按权利要求1所述的基于多种特征的图像匹配方法，其特征在于，所述从特征集FS中选取其子集为FS_k包括：根据步骤103中统计出的每个单一特征的时间复杂度、漏检率和误检率性能参数选取子集FS_k；选取子集中的特征应满足的条件为：漏检率、误检率、时间复杂度低于事先设定好的阈值；在满足上述条件之后，优先选择的指标为漏检率和时间复杂度，即它们越低越好；由于最终训练出的是多级结构，对于不同级中子集FS_k的选择，其特征选择方法为：k越大要求其误检率越低越好，在最大降低误检率的前提下尽可能地减少漏检率的增加。

4、按权利要求1所述的基于多种特征的图像匹配方法，其特征在于，所述步骤104中对FSk使用自适应自举学习算法-AdaBoost训练出分类器包括：

步骤201：为步骤102中的两类训练样本初始化权值；

步骤202：FS_k中的每一个特征对应一个弱分类器，从FS_k中将所有当前未被选定的特征利用与其对应的弱分类器，根据当前的权值，输入训练样本进行训练；

步骤203：考虑所有未入选的特征，利用单个特征训练分类器，使加权错误率最小；

步骤204：根据训练结果将错误率最小的弱分类器对应特征选定为当前轮次特征挑选结果；

步骤205：更新所有训练样本的权值，重新执行步骤202～205，执行完预定的轮次；

步骤206：将所述每一轮次选定的特征挑选结果的特征加权组合作为最后的特征向量，输出该分类器。

5、按权利要求1所述的基于多种特征的图像匹配方法，其特征在于，所述步骤106中k级结构包括：第l级经过步骤104训练出一个h(x)记为h^l(x)，则k及结构将对应k个分类器h¹(x)，h²(x)，...，h^k(x)，它们在结构关系上是一个级联关系。

6、按权利要求1所述的基于多种特征的图像匹配方法，其特征在于，所述步骤106中使用训练好的k级结构进行图像库图像的匹配可以表述为：使用上述k个分类器形成的级联结构对图像库图像进行匹配；首先经过分类器h¹(x)后输出相关的分类结果，将分类为相关的图像库图像输入到下一级分类器h²(x)输出分类结果，继续这一过程直至第k级分类器，将h^k(x)输出的相关图像作为最终的分类结果，即最终的相关图像。

Images