CN101540061B - 基于模拟退火的无序图像拓扑有序化匹配方法 - Google Patents

Abstract

本发明公开了一种基于模拟退火的无序图像拓扑有序化匹配方法，利用局部不变特征粗配数量作为图像内容相关度定量描述，把图像内容相关度的和作为分组有序化代价函数，利用模拟退火算法求解出有序化代价函数的极值，得到图像分组，在组内利用最小生成树算法得到组内图像间的树形匹配结构。本发明的计算量只有现有技术的20％～70％，计算效率有明显的提高。

Description

基于模拟退火的无序图像拓扑有序化匹配方法

技术领域

本技术涉及计算机视觉中的三维场景重建领域，特别是涉及图像中局部不变特征的匹配问题。

背景技术

目前在三维重建领域内，特征点匹配技术大多基于全搜索策略，即计算任意两幅图像间的特征点匹配关系，Schaffalitzky和Zisserman在文献Multi-view matching forunordered image sets(ECCV，vol.1，pp.414-431，2002.)中针对三维场景重建问题提出了一种完整的特征点匹配技术。该技术利用不变描述子检测图像的不变特征区域，建立哈希表存储两两视图间的初始匹配，使用贪婪算法构建图像间的匹配关系图，并根据图中的每一个连通分量(即有相关内容的若干幅图)找出至少25条图中特征点的连通轨迹，这种特征点匹配技术在只有几幅图像的小规模三维场景重建时效果较好，但是当重建的场景规模需要几十幅到上百幅图像时，利用传统方法处理时计算时间复杂度为O(n²)。即必须计算任意两幅图像间的匹配关系。例如采用100幅图像进行重建，以两视图匹配为基本计算单位，则计算量为100²＝10⁴。

发明内容

现有技术采用了基于全搜索策略的特征点匹配方法，其计算时间复杂度为O(n²)，为了进一步提高效率，降低匹配计算的复杂度，本发明提供一种基于模拟退火的无序图像拓扑有序化匹配方法，较之传统的方法，能够明显降低计算的复杂度并提高效率。

本发明解决其技术问题所采用的技术方案包括以下步骤：

1.利用局部不变特征粗配数量作为图像内容相关度定量描述

针对通过互联网、图像数据库或者是电子摄像设备拍摄得到的无序图像集，首先从图论的角度分析问题并给出描述无序图像间相关度的数学模型，我们定义完全无向加权图G＝<E，V>，其中定义节点集合V对应无序图像集，即利用节点来作为图像的抽象表示，并保证一一对应；E为加权图中边的集合，我们这么定义E中边的集合的每一条边e：一条边e表示该条边的两个节点v_i和v_j所对应的两幅图像间图像内容的关联性，每一条边被赋予如下的权重：

w(e)＝w(v_i，v_j)＝feature_matching_number(v_i，v_j)    (1)

上式表示连接图像节点v_i和v_j的边的权重被定义为：两幅图像间局部不变特征点的匹配数量。

2.把图像内容相关度的和作为分组有序化代价函数

根据上面定义的完全无向加权图，图像的分组就相当于对应加权图的割集C，而由该割集得到的连通子图对应分组得到的图像子集，这样，图像分组有序化问题可以看作是一个最优化问题，而对应的代价函数可以定义为割集C(假设C中有K条边)所对应的边的权重和：

$W\left(C\right)=\underset{k}{\mathrm{\&Sigma;}}w\left(e_k\right)=\underset{i\&NotEqual;j}{\mathrm{\&Sigma;}}w(v_i,v_j)---\left(2\right)$

当代价函数取得一个极小值，即割集所占的边的权重和取得一个极小值，对应连通子图所占的图像的边的权重和极大值，这就意味着不同子场景的图像分别被聚类到了一起，为了后续计算方便，我们给出公式(2)中代价函数的另一种对偶的表述形式：

$W\left(C\right)=\underset{i=1}{\overset{\left|G\right|}{\mathrm{\&Sigma;}}}w\left(G_i\right)=\underset{i=1}{\overset{\left|G\right|}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\left|G_i\right|}{\mathrm{\&Sigma;}}}\underset{k=j+1}{\overset{\left|G_i\right|}{\mathrm{\&Sigma;}}}w(v_j,v_k)---\left(3\right)$

上式中，G_i表示图像子集；v_j、v_k表示加权无向图的节点；w(G_i)表示图像子集G_i的权重，即该图像子集所对应的连通子图的所有的边的权重累加和。如上所述，我们把图像分组的问题抽象成一个最优化问题，并给出了相应的代价函数。

3.利用模拟退火算法求解出有序化代价函数的极值，得到图像分组

模拟退火算法的关键在于预选策略(proposal strategy)，预选策略的好坏会直接影响算法的效率和计算代价，在图像分组问题中，预选策略的设计需要考虑两个因素：一是图像分组的具体形式，即哪些图像被划分在一起；二是分组的数量，即划分的图像子集数量。考虑这两点因素我们给出以下的具体最优化步骤：

(1)对无序图像集进行随机分组，每个子集包含两幅图像(当无序图像数量为偶数时，每个子集包含两幅图像，若数量为奇数，则有一个子集包含三幅图像)；

(2)计算每个子集G_i的权重W(G_i)，以及相应的平均子集权重W，即所有子集的权重的平均值；

(3)随机选择两个权重低于平均权重W的图像子集G_i和G_j，在G_i和G_j中分别随机选择两幅图像经行交换，重复该步骤直到S_i次，产生得到新的图像分组C’，(原有的图像分组标记为C_k，重复次数S_i的设置随后说明)；

(4)计算以下公式的值，以此作为接受新的图像分组C’并加以保存的概率，(其中温度T_i的值的设置随后说明)即：

exp[-(W(C′)-W(C_k))/T_i](4)

(5)随机选择两个图像子集，如果两图像子集间的图像相关度高于某个阈值E(该值的设置方法随后说明)，则合并这两个图像子集，重复该步骤直到图像分组数量降低到N_i，若达不到E则重新选择两个图像子集重复本步骤；

(6)重复步骤(2)～(5)直到温度T_i降低到T_f。

在算法迭代初始时，图像分组数量N_i和S_i被设置为N₀和S₀，T₀表示的模拟退火算法迭代初始时的温度，(N₀一般设置为初始图像子集个数的的二分之一，S₀一般设置在300～400次之间)随着迭代的进行，这两个参数会随着退火温度因子的降低而不断降低到的最终值N_f和S_f。(N_f一般设置为50-100次之间，S_f一般设置在20-30度之间)即是说，这两个参数是温度或者迭代次数i的函数，其形式不受限制，其最简单的情况可以为(其中I为总的迭代次数，大小一般在40-50次)：

此外，T_i同样也是迭代次数i的函数形式与公式(5)类似，由以下公式给出

第5步中的阈值E的设置为两个图像子集的平均边权重(即图像子集G_i内所有边w(e)的均值 

的较大者，即 

在内层循环中，图像子集间进行交换从而使得图像子集双方的整体权重和得以提高；在外层循环中，相关度较高的图像子集得以合并在一起，即尽量把针对同一子场景的图像聚合到一起。这两个步骤结合在一起最后使得整个无序化图像集合可以按照内容相关度有序地分成若干组。

4.在组内利用最小生成树算法得到组内图像间的树形匹配结构

得到图像集的分组结果后，针对每一个图像分组内部，利用步骤3中分组时已经产生的部分图像间的两两匹配结果，把上一步中(即步骤3)没有计算的两两匹配关系标记为关联度为零，按照图像名称将无序图像以字典序排序，以次序列作为行和列， 生成一个矩阵，即邻接匹配矩阵，矩阵第i行和第j列对应的元素设置为第i幅(字典序)图像和第j幅图像的两两匹配点绝对数量，最后利用PRIM最小生成树算法根据上述的邻接匹配矩阵产生组内图像的树形结构匹配关系。

本发明的有益效果是：传统的匹配技术采用的是穷举策略，必须计算任意两幅图像间的相关度，如果需要处理一个共有n幅无序图像的场景重建问题，n幅图像的两两匹配计算次数将达到C_n ²次，也就是说，如果以一次两视图间匹配计算为基本操作，那么对应的匹配时间复杂度将为：

$O\left(C_n^2\right)=O(n(n-1)/2)\&ap;O\left(n^2\right)---\left(6\right)$

而有序化匹配技术把无序图像有序化问题抽象成为了一个最优化问题，并且利用模拟退火算法，通过随机采样的方式逐步寻找出准最优解，即可得到的图像分组，其分组的过程中不会计算所有的两两匹配关系，也就是说，新方法的计算时间复杂度达不到O(n²)。大量实现的统计结果表明，新方法的计算量只有原有方法的20％～70％之间不等。

图像匹配在粗配阶段完成后，三维重建还需要进行精配的步骤(即去除误匹配步骤，通过检查每两幅图像间的匹配正确性去除错误的局部不变特征匹配)。假设处理含有n幅图像的无序图像集合，采用新方法对无序图像集合完成分组有序化后，我们可以得到每个图像子集内利用采样得到的不完全匹配矩阵生成树形匹配关系。，假设结果得到K组图像子集，则后续的精配时间复杂度可以近似为：

$O\left(\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{C}_{n_i}^2\right)\&ap;O(K\&CenterDot;n_i(n_i-1)/2)\&ap;O(n(n-1)/2\&CenterDot;K)\&ap;O\left(C_n^2\right)/K---\left(7\right)$

而现有粗配方法因为采用全搜索策略，完成粗配后，并没有对无序图像进行分组有序化，则后续的精配方法也必须采用全搜索策略去检查匹配的正确性。其计算的时间复杂度仍为O(n²)，因此，新的有序化匹配方法能够降低粗配的计算量，而且能够减少后续的精配步骤的计算量，使计算效率上有明显的提高。

下面结合实施例对本发明进一步说明。

具体实施方式

1.利用局部不变特征粗配数量作为图像内容相关度定量描述

通过互联网下载共46幅图像，并利用0-45之间的整数对这46幅图像进行编码标记， 见图1，利用局部不变特征描述子和高维特征点匹配搜索算法来求取两视图匹配的特征点匹配数量，即w(e)。

2.把图像内容相关度的和作为分组有序化代价函数

把发明内容中的公式3作为分组有序化代价函数。

3.利用模拟退火算法求解出有序化代价函数的极值，得到图像分组

把46幅图像集合作为输入数据，后按照下属步骤执行：

(1)把46幅图像中随机挑选两幅图像组成一组，重复该步骤直到所有的无序图像集中图像全部形成分组，结果供得到23个图像子集，注意，46幅图像虽然按照顺序标注序号，但是该序号只是用作图像的标识符，因此，在按照此步骤打乱顺序后，可以看作是无序的图像集合。

(2)计算每个图像子集的权重以及所有子集的平均权重，图像子集的权重为该子集内任意两幅图像间的特征点匹配数量的累加和。平均权重为所有子集权重的平均值。

(3)按照均匀分布概率，随机地在所有的子集中挑选两个子集，在两个子集中同样按照均匀分布概率，分别在两个子集中随机地选出两幅图像，并加以交换，重复该步骤S_i次，由原来的图像分组C_i得到预选的图像分组C’。

(4)计算以下公式的值，作为接受该预选图像分组C_i的概率，进行一次0-1概率实验，若结果为接受，则选择作为C_i作为新图像分组C_i+1，反之，则维持原有图像分组不变：

exp[-(W(C′)-W(C_i))/T_i]    (8)

(5)按照均匀分布概率随机选择两个图像子集Gi和Gj，仍按照均匀分布概率随机地从两个子集中选出两幅图像P_i和P_j，同时利用步骤(1)中的算法计算这两幅图像间的局部不变特征点匹配数量，如果P_i和P_j的匹配情况达到或者超出这两幅图像与所属子集中其他的图像的匹配数量的平均值，则合并这两个图像子集，重复该步骤步骤直到图像分组数量降低到N_i；

(6)重复步骤(2)～(5)直到温度T_i降低到T_f。

在算法迭代初始时，图像分组数量N_i的初始值被设置为23组；图像交换迭代次数S_i的初始值被设置为400次；对应的迭代最终值N_f和S_f被设置为50次， S_f被设置在20度即是说，迭代总次数I被设置为50次；参数N_i和S_i随着迭代次数i的增长，按照如下数列通项式逐步减小：

4.在组内利用最小生成树算法得到组内图像间的树形匹配结构

得到图像集的分组结果后，针对每一个图像分组内部，利用分组时已经产生的部分图像间的两两匹配结果，以图像标识符(可以按照任何顺序，本例中采用数字编号，所以按照从小达到顺序排序)作为行和列索引序号，给出一个匹配矩阵，第i行和第j列的元素对应为第i幅图像和第j幅图像这两幅图像的匹配数量，匹配数量由上述分组计算过程中产生并加以记录，为由于分组过程中不会计算所有的两幅图像间的两量匹配关系，所以对于还没有计算的两两匹配关系，可以把关联度标记为零，最后利用最小生成树算法(可以采用任意的生成树算法，这里采用克鲁斯卡尔算法)根据该不完全邻接表产生组内图像的树形结构匹配关系。

Claims (3)

1.基于模拟退火的无序图像拓扑有序化匹配方法，其特征在于包括下述步骤：

第一步，利用局部不变特征匹配数量作为图像内容相关度定量描述

针对无序图像集，给出描述无序图像间相关度的数学模型，定义完全无向加权图G＝<E，V>，其中定义节点集合V对应无序图像集，E为加权图中边的集合，定义E中边的集合的每一条边e表示该条边的两个节点v_i和v_j所对应的两幅图像间图像内容的关联性，每一条边被赋予如下的权重：

w(e)＝w(v_i，v_j)＝feature_matching_number(v_i，v_j)

上式表示连接图像节点v_i和v_j的边的权重被定义为：两幅图像间局部不变特征点的匹配数量；

第二步，把图像内容相关度的和作为分组有序化代价函数

根据上面定义的完全无向加权图，图像的分组就相当于对应加权图的割集C，对应的代价函数为

上式中，k为C中边的条数，G_i表示图像子集；v_j、v_k表示加权无向图的节点；w(G_i)表示图像子集G_i的权重，即该图像子集所对应的连通子图的所有的边的权重累加和；

第三步，利用模拟退火算法求解出有序化代价函数的极值，得到图像分组，包括以下步骤：

(1)对无序图像集进行随机分组，每个子集包含两幅图像，若无序图像数量为奇数，则有一个子集包含三幅图像；

(2)计算每个子集G_i的权重W(G_i)，以及相应的平均子集权重W，即所有子集的权重的平均值；

(3)随机选择两个权重低于平均权重W的图像子集G_i和G_j，在G_i和G_j中分别随机选择两幅图像经行交换，重复该步骤直到S_i次，产生得到新的图像分组C’，原有的图像分组标记为C_k；

(4)计算以下公式的值，以此作为接受新的图像分组C’并加以保存的概率，即：

exp[-(W(C′)-W(C_k))/T_i]

(5)随机选择两个图像子集，如果两图像子集间的图像相关度高于阈值E，则合并这两个图像子集，重复该步骤直到图像分组数量降低到N_i，若达不到E则重新选 择两个图像子集重复本步骤；

(6)重复步骤(2)～(5)直到温度T_i降低到T_f；

第四步，在组内利用最小生成树算法得到组内图像间的树形匹配结构

得到图像集的分组结果后，针对每一个图像分组内部，利用分组时已经产生的部分图像间的两两匹配结果，把上一步中没有计算的两两匹配关系标记为关联度为零，按照图像名称将无序图像以字典序排序，以次序列作为行和列，生成一个矩阵，即邻接匹配矩阵，矩阵第i行和第j列对应的元素设置为第i幅图像和第j幅图像的两两匹配点绝对数量，最后利用PRIM最小生成树算法根据上述的邻接匹配矩阵产生组内图像的树形结构匹配关系。

2.根据权利要求1所述的基于模拟退火的无序图像拓扑有序化匹配方法，其特征在于：所述的图像分组数量N_i和S_i在算法迭代初始时被设置为N₀和S₀，T₀表示的模拟退火算法迭代初始时的温度，N₀为初始图像子集个数的二分之一，S₀为300～400次，随着迭代的进行，这两个参数会随着退火温度因子的降低而不断降低到最终值N_f和S_f，N_f为50-100次，S_f为20-30度，i为迭代次数，I为总的迭代次数，

3.根据权利要求1所述的基于模拟退火的无序图像拓扑有序化匹配方法，其特征在于：所述的阈值E的设置为两个图像子集的平均边权重的较大者，即 

其中 

为图像子集G_i内所有边w(e)的均值， 为图像子集G_j内所有边w(e)的均值。