CN102289661A - 一种基于谱匹配的三维网格模型的匹配方法 - Google Patents

Abstract

本发明公开了一种基于谱匹配的三维网格模型的匹配方法，利用两个待匹配的三维网格模型获得其衍生图即分配图，分配图的顶点描述的是两个待匹配的三维网格模型的候选匹配特征对，分配图的边上的权值描述的是每两个候选匹配特征对之间的相似程度，原问题由此转换为图匹配问题，然后利用分配图的邻接矩阵的谱性质，获取两个三维网格模型匹配的近似最优解，从而实现点集之间的匹配对应，本发明方法在保证几何信息充分利用的情况下，丢弃单个关键点的特征信息，有效降低了局部无用信息，降低了匹配时间，相比现有的各种图匹配方法，本发明方法的匹配率很高，且运算时间没有显著增加。

Description

一种基于谱匹配的三维网格模型的匹配方法

技术领域

本发明涉及一种点模式匹配技术，尤其是涉及一种基于谱匹配的三维网格模型的匹配方法。

背景技术

点模式(或称点集)匹配技术广泛应用于图像配准、图像分类与检索、目标识别、形状匹配和立体视觉等领域。目前，点模式匹配算法大致可以分为两大类：第一类是基于变换关系求解的算法，其通过估计点模式之间的空间变换参数，利用该空间变换参数恢复或模拟点模式间的变换，从而求解点模式匹配问题，也称之为基于变换参数估计的算法，这类算法主要有迭代最近点算法、软指派算法等；第二类是基于匹配关系求解的算法，其通过提取点集中点的特征，而后运用匹配识别方法获得点模式间的匹配关系，从而求解点模式匹配问题，这类算法可更形象地称为基于特征的匹配算法。

图匹配方法是基于匹配关系求解的算法中较新颖的一种方法。图作为一个基本的数据结构，其可以用来有效地代表了许多计算机视觉应用中的各种对象。一般来说，图的顶点主要包含的是从图像局部区域、轮廓或者兴趣点中提取的重要信息。只要选择一种恰当的图结构表示方法，总是可以把许多应用转换为图匹配问题加以解决，如目标识别、形状匹配、宽基线立体视、二维或三维配准等。

一般地，图匹配问题是在两个特征集合之间找到一种一致对应关系，使得两个特征集合间对应的特征尽可能相似。作为一个计算机科学的基础理论问题，它关系到计算机视觉、模式识别、机器学习和其他许多研究课题。图匹配方法在过去的三十年间取得了长足的发展。十年前，很多图匹配方法都没有一个精确定义的目标函数，只有一个简单的迭代形式来计算一元局部属性和二元几何属性。近几年，很多利用优化组合的特征匹配方法被提出，改变了这种局面。最近，计算机视觉中的大部分的图匹配工作被形式化为二次整数规划问题，并用属性图结构化地描述复杂的一元局部属性和两两一元属性间的二元几何属性。

一个属性图包括顶点集合和这些顶点之间的边的集合。这些顶点代表一元局部特征，而它们的边及边的权值则代表一元局部特征间的二阶关系。一元局部特征一般包含局部表观特征描述子，这些描述子可以是兴趣点、图像区域、局部颜色、纹理或者形状等等。对于某些间题来说，这些一元局部特征是没有区分度的或者它们的区分度不足，这时就有必要使用包含二阶关系的二元特征以辅助匹配，从而找到正确的对应关系。这些二阶关系可以包括空间几何关系或者其它的两两局部表观特征间的信息，它们作为边的权值保存在图的边集中。一般来说，图匹配被形式化地描述为寻找两个图的对应关系的问题。为了保证结果最优，必须保持两个图的顶点上的一元信息和边上的二元信息尽可能同时一致。从数学上说，图匹配可以形式化地描述为一个求特定目标函数最优化的问题，一般称为二次整数规划问题。由于二次整数规划是一个NP问题，因此必须找到原问题的一个近似最优解。

目前，有很多近似最优化方法被应用于图匹配问题上，比如：遗传算法、神经网络、EM(estimate maximize)算法、分层指派(graduated assignment)算法和谱方法等等。其中，谱方法基于这样一个观察：一个图的邻接矩阵的特征值和特征向量对不同的顶点排列具有不变性，因此两个同构图的邻接矩阵具有同样的特征值和特征向量。但这个结论的逆命题并不成立，所以不能根据对应的特征值和特征向量相等来判定两个图的同构性。然而，因为特征值和特征向量的计算相对简单，可以在多项式时间内完成，所以谱方法非常适合图匹配问题。

基于谱图理论的图匹配方法是一类利用邻接矩阵或者与其密切相关的Laplacian矩阵的特征值和特征矢量来刻画点集全局结构的方法。Scott和Longuet-higgins首次将谱方法应用于点模式匹配中，即通过定义点集之间的亲近矩阵，并对该亲近矩阵进行SVD(Sigular Value Decomposition，奇异值分解)操作，以获得对应关系，这种方法可处理不同大小的点集，但对较大角度的旋转效果不好。为了克服上述方法的不足，Shapiro和Brady采用了点集内部点的亲近矩阵来进行匹配，这种方法对待匹配的每一个点集，首先利用其内部点之间距离的高斯函数值来构造亲近矩阵，然后分别计算亲近矩阵的特征值和特征向量，其对应关系可以通过比较点集亲近矩阵的有序特征向量来获得，若所需匹配的点集大小相同，则这种方法对随机点抖动和较小的仿射变换都可以给出相对较好的结果。

上述基于谱图理论的图匹配方法的显著优点是构造简单、计算量小，但由于它们是精确点模式匹配算法，因此，当待匹配的两个点集大小不同以及存在位置噪声时性能较差。针对该问题，Carcassoni和Hancock给出了数种构造亲近矩阵的方法，并将基于改进后亲近矩阵的谱方法与EM算法框架相结合从而提高了算法对点集大小和位置噪声的鲁棒性。由于该方法是迭代的，它相对较慢且对初始值比较敏感。Carcassoni等人提出了基于模式聚类的分层算法，该算法首先利用点集亲近矩阵寻找点集间模式聚类中心的对应性，再以聚类中心为约束确定该类中各点之间的匹配概率。虽然该算法在一定程度上改善了点集大小不同时的匹配性能，但仅适用于具备聚类特征的点集之间的匹配问题。

上述的几种图匹配方法均要对亲近矩阵的有序特征向量所组成的模式矩阵进行截断之后，才能进行不同大小点集的匹配。

发明内容

本发明所要解决的技术问题是提供一种匹配率高，且计算复杂度低的基于谱匹配的三维网格模型的匹配方法。

本发明解决上述技术问题所采用的技术方案为：一种基于谱匹配的三维网格模型的匹配方法，其特征在于包括以下步骤：

①分别选取两个待匹配的三维网格模型中的角点作为各自的关键点，每个关键点所包含的特征为其自身的三维坐标值，将从其中一个三维网格模型中提取得到的关键点的集合定义为模板点集，记为P，P＝{p_i|i＝1，2，…，n_p}，将从另一个三维网格模型中提取得到的关键点的集合定义为目标点集，记为Q，Q＝{q_j|j＝1，2，…，n_q}，其中，p_i表示模板点集P中的第i个关键点，n_p表示模板点集P中关键点的个数，q_j表示目标点集Q中的第j个关键点，n_q表示目标点集Q中关键点的个数；

②根据模板点集P和目标点集Q构造分配图及分配图的亲近矩阵，具体过程为：

②-1、定义模板点集P中的关键点与目标点集Q中的关键点组成的组合为分配；

②-2、设置一个加权无向图G，将模板点集P中的各个关键点与目标点集Q中的各个关键点组成的所有可能的分配的集合作为加权无向图G的顶点的集合，并记为V(G)，V(G)＝{v₁，v₂，…，v_n}，将加权无向图G的无向边的集合记为E(G)，E(G)＝{e₁，e₂，…，e_m}，其中，v_s＝(p_i，q_j)表示V(G)中的第s个顶点，s∈[1，n]，n＝n_p×n_q，p_i∈P，q_j∈Q，e_k＝{v_s，v_t}表示以V(G)中的第s个顶点v_s和第t个顶点v_t为端点的无向边，k∈[1，m]，

v_t＝(p_i′，q_j′)，p_i′∈P，q_j′∈Q，i′∈[1，n_p]，j′∈[1，n_q]，t∈[1，n]，s≠t；然后将无向边e_k上的权值表示为w{v_s，v_t}；

②-3、根据加权无向图G中的任意两个顶点各自所代表的分配与一对一匹配的约束条件是否相矛盾，确定以该两个顶点为端点的无向边的权值，具体过程为：设v_s＝(p_i，q_j)和v_t＝(p_i′，q_j′)为当前在加权无向图G中任意所取的两个顶点，判断(p_i＝p_i′)and(q_j≠q_j′)或(p_i≠p_i′)and(q_j＝q_j′)是否成立，如果成立，则表示v_s和v_t各自所代表的分配与一对一匹配的约束条件相矛盾，确定以v_s和v_t为端点的无向边e_k上的权值w{v_s，v_t}＝0，否则，表示v_s和v_t各自所代表的分配与一对一匹配的约束条件不相矛盾，然后根据三维网格模型中的关键点的几何关系，确定以v_s和v_t为端点的无向边e_k上的权值

其中，e为自然对数的底数，“||”为绝对值符号，

表示p_i与p_i′之间的欧氏距离，

表示q_j与q_j′之间的欧氏距离，σ²表示尺度变化参数；

②-4、将加权无向图G作为分配图，将分配图表示为n×n的亲近矩阵M，亲近矩阵M的对角元素M(v_s，v_s)表示v_s＝(p_i，q_j)中p_i与q_j的特征之间的相似性度量，M(v_s，v_s)＝0，亲近矩阵M的非对角元素M(v_s，v_t)表示以v_s和v_t为端点的无向边e_k上的权值，M(v_s，v_t)＝w{v_s，v_t}，其中，n＝n_p×n_q；

③对分配图的亲近矩阵M进行谱分析，获得亲近矩阵M的主特征向量；

④根据线性代数中的Rayleigh定理，采用基于贪婪思想的谱匹配算法对亲近矩阵M的主特征向量进行迭代处理，得到二值化后的解向量x，该解向量x为两个三维网格模型匹配的近似最优解。

所述的步骤②-3中σ²＝2500。

所述的步骤④中对亲近矩阵M的主特征向量进行迭代处理所采用的基于贪婪思想的谱匹配算法的具体过程为：

④-1、令L表示模板点集P中的各个关键点与目标点集Q中的各个关键点组成的所有可能的分配的集合，L＝{v₁，v₂，…，v_n}，令x^*表示亲近矩阵M的主特征向量，令x为解向量，其中，解向量x的初始值为n×1的零向量，n＝n_p×n_q；

④-2、在L中寻找主特征向量x^*中的最大分量所对应的分配，记为v^*，

其中，函数argmax()返回使得(x^*(v))取最大值的v的值，v表示L中的分配，x^*(v)表示主特征向量x^*中与分配v对应的分量；

④-3、判断x^*(v^*)是否等于0，如果是，则终止并返回解向量x，否则，令x(v^*)＝1，并将v^*从L中剔除，其中，x^*(v^*)表示主特征向量x^*中的最大分量，x(v^*)表示解向量x中与分配v^*对应的分量；

④-4、从L中剔除所有与v^*在一对一匹配的约束条件下相矛盾的分配；

④-5、判断L是否为空，如果是，则终止并返回解向量x，否则，返回步骤④-2继续执行。

与现有技术相比，本发明的优点在于利用两个待匹配的三维网格模型获得其衍生图即分配图，分配图的顶点描述的是两个待匹配的三维网格模型的候选匹配特征对，分配图的边上的权值描述的是每两个候选匹配特征对之间的相似程度，原问题由此转换为图匹配问题，然后利用分配图的邻接矩阵的谱性质，获取两个三维网格模型匹配的近似最优解，从而实现点集之间的匹配对应，本发明方法在保证几何信息充分利用的情况下，丢弃单个关键点的特征信息，有效降低了局部无用信息，降低了匹配时间，相比现有的各种图匹配方法，本发明方法的匹配率很高，且运算时间没有显著增加；此外，本发明方法无需进行模式矩阵的截断便能实现非精确点模式匹配(即不同大小点集的匹配)；在利用本发明方法进行图匹配时，如果两个待匹配的三维网格模型的点集之间满足等距变换的关系，则抗噪声和抗出格点的能力更显著。

具体实施方式

以下结合实施例对本发明作进一步详细描述。

本发明提出的一种基于谱匹配的三维网格模型的匹配方法，其主要包括以下步骤：

①分别选取两个待匹配的三维网格模型中的角点作为各自的关键点，每个关键点所包含的特征为其自身的三维坐标值，将从其中一个三维网格模型中提取得到的关键点的集合定义为模板点集，记为P，P＝{p_i|i＝1，2，…，n_p}，将从另一个三维网格模型中提取得到的关键点的集合定义为目标点集，记为Q，Q＝{q_j|j＝1，2，…，n_q}，其中，p_i表示模板点集P中的第i个关键点，n_p表示模板点集P中关键点的个数，q_j表示目标点集Q中的第j个关键点，n_q表示目标点集Q中关键点的个数。

在此，在待匹配的三维网格模型中选取角点时可采用人工方式，选取时选取所有的角点。

②根据模板点集P和目标点集Q构造分配图及分配图的亲近矩阵，具体过程为：

②-1、定义模板点集P中的关键点与目标点集Q中的关键点组成的组合为分配。如模板点集P中的第i个关键点p_i和目标点集Q中的第j个关键点q_j组成的组合(p_i，q_j)为一个分配。

②-2、设置一个加权无向图G，将模板点集P中的各个关键点与目标点集Q中的各个关键点组成的所有可能的分配的集合作为加权无向图G的顶点的集合，并记为V(G)，V(G)＝{v₁，v₂，…，v_n}，加权无向图G中的一个顶点对应一个分配，将加权无向图G的无向边的集合记为E(G)，E(G)＝{e₁，e₂，…，e_m}，其中，v_s＝(p_i，q_j)表示V(G)中的第s个顶点，s∈[1，n]，n＝n_p×n_q，p_i∈P，q_j∈Q，e_k＝{v_s，v_t}表示以V(G)中的第s个顶点v_s和第t个顶点v_t为端点的无向边，v_t＝(p_i′，q_j′)，p_i′∈P，q_j′∈Q，i′∈[1，n_p]，j′∈[1，n_q]，t∈[1，n]，s≠t；然后将无向边e_k上的权值表示为w{v_s，v_t}。

②-3、根据加权无向图G中的任意两个顶点各自所代表的分配与一对一匹配的约束条件是否相矛盾，确定以该两个顶点为端点的无向边的权值，具体过程为：设v_s＝(p_i，q_j)和v_t＝(p_i′，q_j′)为当前在加权无向图G中任意所取的两个顶点，判断(p_i＝p_i′)and(q_j≠q_j′)或(p_i≠p_i′)and(q_j＝q_j′)是否成立，如果成立，则表示v_s和v_t各自所代表的分配与一对一匹配的约束条件相矛盾，确定以v_s和v_t为端点的无向边e_k上的权值w{v_s，v_t}＝0，否则，表示v_s和v_t各自所代表的分配与一对一匹配的约束条件不相矛盾，并确定以v_s和v_t为端点的无向边e_k上的权值w{v_s，v_t}＞0，然后根据三维网格模型中的关键点的几何关系，确定以v_s和v_t为端点的无向边e_k上的权值

其中，e为自然对数的底数，“||”为绝对值符号，

表示p_i与p_i′之间的欧氏距离，

表示q_j与q_j′之间的欧氏距离，σ²表示尺度变化参数，一般取σ²＝2500。

②-4、将加权无向图G作为分配图，将分配图表示为n×n的亲近矩阵M，亲近矩阵M的对角元素M(v_s，v_s)表示v_s＝(p_i，q_j)中p_i与q_j的特征之间的相似性度量，由于三维网格模型中单个关键点的特征的可区分度较差，因此在本发明方法中不予考虑，可令M(v_s，v_s)＝0，亲近矩阵M的非对角元素M(v_s，v_t)表示以v_s和v_t为端点的无向边e_k上的权值，M(v_s，v_t)＝w{v_s，v_t}，其中，n＝n_p×n_q。分配图的亲近矩阵M也是分配图的邻接矩阵，同时由于分配图是加权无向图，因此分配图的亲近矩阵M为对称矩阵。在此，如果v_s＝(p_i，q_j)中p_i与q_j的特征之间的相似性度量越高，则p_i与q_j就越有可能相匹配。

③对分配图的亲近矩阵M进行谱分析，获得亲近矩阵M的主特征向量。

在此，采用矩阵论中成熟的幂迭代法求取亲近矩阵M的主特征向量。

④根据线性代数中的Rayleigh定理，采用基于贪婪思想的谱匹配算法对亲近矩阵M的主特征向量进行迭代处理，得到二值化后的解向量x，该解向量x为两个三维网格模型匹配的近似最优解。

在此具体实施例中，对亲近矩阵M的主特征向量进行迭代处理所采用的基于贪婪思想的谱匹配算法的具体过程为：

④-1、令L表示模板点集P中的各个关键点与目标点集Q中的各个关键点组成的所有可能的分配的集合，L＝{v₁，v₂，…，v_n}，令x^*表示亲近矩阵M的主特征向量，令x为解向量，其中，解向量x的初始值为n×1的零向量，n＝n_p×n_q，解向量x中的n个分量与L中的n个分配一一对应，如果解向量x中的某个分量x(v^*)＝1，则表示分配v^*代表的(p_i，q_j)中的p_i和q_j匹配；否则，表示分配v^*代表的(p_i，q_j)中的p_i和q_j不匹配。

④-2、在L中寻找主特征向量x^*中的最大分量所对应的分配，记为v^*，

其中，函数argmax()返回使得(x^*(v))取最大值的v的值，v表示L中的分配，x^*(v)表示主特征向量x^*中与分配v对应的分量。

④-3、判断x^*(v^*)是否等于0，如果是，则循环终止并返回解向量x，否则，令x(v^*)＝1，并将v^*从L中剔除，其中，x^*(v^*)表示主特征向量x^*中的最大分量，x(v^*)表示解向量x中与分配v^*对应的分量。

④-4、从L中剔除所有与v^*在一对一匹配的约束条件下相矛盾的分配。例如，若v^*＝(p_i，q_j)，则从L中剔除所有形如(p_i，q_y)和(p_x，q_j)的分配，其中，p_x∈P，q_y∈Q，x∈[1，n]，y∈[1，n]。

④-5、判断L是否为空，如果是，则循环终止并返回解向量x，否则，返回步骤④-2继续执行。

Claims (3)

1.一种基于谱匹配的三维网格模型的匹配方法，其特征在于包括以下步骤：

①分别选取两个待匹配的三维网格模型中的角点作为各自的关键点，每个关键点所包含的特征为其自身的三维坐标值，将从其中一个三维网格模型中提取得到的关键点的集合定义为模板点集，记为P，P＝{p_i|i＝1，2，…，n_p}，将从另一个三维网格模型中提取得到的关键点的集合定义为目标点集，记为Q，Q＝{q_j|j＝1，2，…，n_q}，其中，p_i表示模板点集P中的第i个关键点，n_p表示模板点集P中关键点的个数，q_j表示目标点集Q中的第j个关键点，n_q表示目标点集Q中关键点的个数；

②根据模板点集P和目标点集Q构造分配图及分配图的亲近矩阵，具体过程为：

②-1、定义模板点集P中的关键点与目标点集Q中的关键点组成的组合为分配；

②-2、设置一个加权无向图G，将模板点集P中的各个关键点与目标点集Q中的各个关键点组成的所有可能的分配的集合作为加权无向图G的顶点的集合，并记为V(G)，V(G)＝{v₁，v₂，…，v_n}，将加权无向图G的无向边的集合记为E(G)，E(G)＝{e₁，e₂，…，e_m}，其中，v_s＝(p_i，q_j)表示V(G)中的第s个顶点，s∈[1，n]，n＝n_p×n_q，p_i∈P，q_j∈Q，e_k＝{v_s，v_t}表示以V(G)中的第s个顶点v_s和第t个顶点v_t为端点的无向边，k∈[1，m]，

v_t＝(p_i′，q_j′)，p_i′∈P，q_j′∈Q，i′[1，n_p]，j′∈[1，n_q]，t∈[1，n]，s≠t；然后将无向边e_k上的权值表示为w{v_s，v_t}；

②-3、根据加权无向图G中的任意两个顶点各自所代表的分配与一对一匹配的约束条件是否相矛盾，确定以该两个顶点为端点的无向边的权值，具体过程为：设v_s＝(p_i，q_j)和v_t＝(p_i′，q_j′)为当前在加权无向图G中任意所取的两个顶点，判断(p_i＝p_i′)and(q_j≠q_j′)或(p_i≠p_i′)and(q_j＝q_j′)是否成立，如果成立，则表示v_s和v_t各自所代表的分配与一对一匹配的约束条件相矛盾，确定以v_s和v_t为端点的无向边e_k上的权值w{v_s，v_t}＝0，否则，表示v_s和v_t各自所代表的分配与一对一匹配的约束条件不相矛盾，然后根据三维网格模型中的关键点的几何关系，确定以v_s和v_t为端点的无向边e_k上的权值

其中，e为自然对数的底数，“||”为绝对值符号，

表示p_i与p_i′之间的欧氏距离，表示q_j与q_j′之间的欧氏距离，σ²表示尺度变化参数；

②-4、将加权无向图G作为分配图，将分配图表示为n×n的亲近矩阵M，亲近矩阵M的对角元素M(v_s，v_s)表示v_s＝(p_i，q_j)中p_i与q_j的特征之间的相似性度量，M(v_s，v_s)＝0，亲近矩阵M的非对角元素M(v_s，v_t)表示以v_s和v_t为端点的无向边e_k上的权值，M(v_s，v_t)＝w{v_s，v_t}，其中，n＝n_p×n_q；

③对分配图的亲近矩阵M进行谱分析，获得亲近矩阵M的主特征向量；

④根据线性代数中的Rayleigh定理，采用基于贪婪思想的谱匹配算法对亲近矩阵M的主特征向量进行迭代处理，得到二值化后的解向量x，该解向量x为两个三维网格模型匹配的近似最优解。

2.根据权利要求1所述的一种基于谱匹配的三维网格模型的匹配方法，其特征在于所述的步骤②-3中σ²＝2500。

3.根据权利要求1或2所述的一种基于谱匹配的三维网格模型的匹配方法，其特征在于所述的步骤④中对亲近矩阵M的主特征向量进行迭代处理所采用的基于贪婪思想的谱匹配算法的具体过程为：

④-1、令L表示模板点集P中的各个关键点与目标点集Q中的各个关键点组成的所有可能的分配的集合，L＝{v₁，v₂，…，v_n}，令x^*表示亲近矩阵M的主特征向量，令x为解向量，其中，解向量x的初始值为n×1的零向量，n＝n_p×n_q；

④-2、在L中寻找主特征向量x^*中的最大分量所对应的分配，记为v^*，

其中，函数argmax()返回使得(x^*(v))取最大值的v的值，v表示L中的分配，x^*(v)表示主特征向量x^*中与分配v对应的分量；

④-3、判断x^*(v^*)是否等于0，如果是，则终止并返回解向量x，否则，令x(v^*)＝1，并将v^*从L中剔除，其中，x^*(v^*)表示主特征向量x^*中的最大分量，x(v^*)表示解向量x中与分配v^*对应的分量；

④-4、从L中剔除所有与v^*在一对一匹配的约束条件下相矛盾的分配；

④-5、判断L是否为空，如果是，则终止并返回解向量x，否则，返回步骤④-2继续执行。