CN110634149B - 一种用于光学动作捕捉系统的非刚体目标特征点匹配方法 - Google Patents

Abstract

本发明公开了一种用于光学动作捕捉系统的非刚体目标特征点匹配方法，首先确定了决定搜索候选匹配点区域大小的阈值，提高了匹配点的搜索效率；然后通过循环进行全局投票和组内投票，不断增加新的匹配点和剔除误配点，最终使得匹配组稳定，得到每个marker点在各个镜头中的匹配组，从而减少了标记式动作捕捉系统中的重点和漏点现象；该方法充分利用若任意镜头中搜索区域中一个marker点与匹配组中多数点相匹配，此时便可以将该点加入到匹配组这个基本性质，不需要任何假设前提，具有很好的鲁棒性，能有效地提高匹配准确率。

Description

一种用于光学动作捕捉系统的非刚体目标特征点匹配方法

技术领域

本发明属于计算机视觉方法领域，涉及一种用于对光学动作捕捉系统的非刚体目标特征点的匹配方法。

背景技术

光学动作捕捉技术在动画制作、电影特效、生物力学、人机交互、模拟训练、动作识别等多个研究领域均有广泛应用。根据视觉传感器类型不同光学动作捕捉系统分为无标记点式光学动作捕捉系统和标记点式光学动作捕捉系统，其主要任务是利用计算机视觉捕捉跟踪关键点的时空运动序列信息。

对光学动作捕捉系统来说，重建出捕捉对象精准的特征点3D坐标是需要解决的核心问题之一，其处理流程为利用重建对象中检测或标记的特征点、图像块(patchs)，在对极几何约束理论基础上进行特征点、图像块匹配，最后重建出目标的3D模型。目前对刚体的三维重建技术已经相当成熟，如应用十分广泛的SFM算法。但动作捕捉对象通常为非刚体模型，非刚体模型由于固有结构的不确定性，因而每一帧的特征点都需要重新匹配，容易出现漏配和误配。早先的研究大多通过先验知识对非刚性模型添加各种约束来克服这个问题，近年来陆续提出了一些无先验假设的非刚体分解方法，但由于无标记式动作捕捉技术在检测特征点和特征点匹配时都会存在误差，这些方法的鲁棒性和精度在实际应用中有待一进步检验。标记式动捕捉系统用marker点位置来标记特征点位置，消除了特征点检测会产生的误差，同时采用多个摄像同时追踪被标记的特征点，以保证精度和鲁棒性，但依然需要克服特征点匹配时存在的误配和漏配问题。然而市面上的标记式光学动作捕捉系统，包括Motion Analysis公司研发Hawk和Cotex运动捕捉系统、Vicon公司的Vicon动捕系统等在对散乱点进行匹配时也会出现丢点及误配现象。

发明内容

本发明提供了一种用于光学动作捕捉系统的非刚体目标特征点匹配方法，其目的在于，解决光学动作捕捉系统非刚体特征点三维重建时特征点匹配存在的漏配和误配问题，在对极几何约束基础上，采用最直接的逐点匹配法，对不同镜头的点两两之间进行筛选计算，减小搜索范围；再利用筛选结果进行相互投票，进一步确定各点之间的匹配关系，从而充分利用多个摄像头的优势，减少漏配和误配现象。

一种用于光学动作捕捉系统的非刚体目标特征点匹配方法，首先利用对极几何约束，对不同镜头的点采用逐点匹配法，进行两两之间进行匹配筛选，构建两两镜头匹配点对；其次，从其余镜头的点中选取同时能被两两镜头匹配点对匹配的点，依次对两两镜头匹配点对进行扩展，获得三镜头匹配点组；再利用其余镜头的点对三镜头匹配点组中的每个点进行匹配，完成全局投票，对三镜头匹配点组进行扩展；接着对经过扩展后的三镜头匹配点组内的点进行相互匹配，完成组内投票，对经过扩展后的三镜头匹配点组进行误匹配点的删除，获得准确的镜头匹配点；

所述匹配是指不同镜头中的点，以某一镜头的点为基准点，获取基准点到另一镜头的极线方程l₀，判断另一镜头中的点是否位于所述极线方程l₀的搜索区域中，所述搜索区域是指位于极线方程上下两侧，且距离l₀为θ的两条直线所围成的区域；

所述θ的取值范围为3-4。

充分利用若任意镜头中搜索区域中一个marker点与匹配组中多数点相匹配，此时便可以将该点加入到匹配组这个基本性质，不需要任何假设前提，具有很好的鲁棒性，能有效地提高匹配准确率。

进一步地，所述全局投票和组内投票进行多次循环操作，直到扩展后的三镜头匹配点组内的镜头点不再发生变化。

进一步地，所述循环操作过程如下：

步骤A：将经过组内投票删除后的镜头点从所有镜头点集合中剔除，得到新的待匹配的镜头点；

步骤B：以新的待匹配的镜头点对三镜头匹配点组中的每个点进行匹配，再次进行全局投票，对三镜头匹配点组进行扩展；

步骤C：以步骤B获得的扩展后的三镜头匹配点组内的点进行相互匹配，完成组内投票，对经过扩展后的三镜头匹配点组进行误匹配点的删除。

进一步地，所述循环次数不超过3次。

进一步地，所述全局投票是指统计与投票对象匹配的点数，若匹配点数超过参与投票总点数的一半，则将投票对象加入三镜头匹配点组中。

进一步地，所述组内投票是指统计与投票对象匹配的点数，若匹配点数少于参与投票总点数的一半，则将投票对象从三镜头匹配点组中删除，否则，予以保留。

有益效果

本发明提出一种用于光学动作捕捉系统的非刚体目标特征点匹配方法，以减少匹配过程中出现的漏配和误配现象；首先确定了决定搜索候选匹配点区域大小的阈值，提高了匹配点的搜索效率；然后通过循环进行全局投票和组内投票，不断增加新的匹配点和剔除误配点，最终使得匹配组稳定，得到每个marker点在各个镜头中的匹配组，从而减少了标记式动作捕捉系统中的重点和漏点现象；该方法充分利用若任意镜头中搜索区域中一个marker点与匹配组中多数点相匹配，此时便可以将该点加入到匹配组这个基本性质，不需要任何假设前提，具有很好的鲁棒性，能有效地提高匹配准确率。

附图说明

图1为本发明所述方法的流程示意图；

图2为候选匹配点搜索区域的示意图。

具体实施方式

下面将结合实施例对本发明作进一步的说明，如图1所示，一种用于光学动作捕捉系统的非刚体目标特征点匹配方法，包括以下步骤：

步骤1：获取两两镜头匹配点对；

从待匹配镜头点集合A中任意选取两个分属于不同镜头的点，进行两两匹配，获得一对两两镜头匹配点对；

步骤2：构建初始三镜头匹配点组；

从其余镜头中依次寻找同时与两两镜头匹配点对匹配的镜头点，获得初始三镜头匹配点组P；

步骤3：对待匹配镜头点集合A中的其余镜头点进行全局投票，更新初始三镜头匹配点组P；

以初始三镜头匹配点组P中的点作为基准点，以待匹配镜头点集合A中的非基准点作为投票对象，依次利用每个基准点对每个投票对象进行匹配投票，若投票对象的得票数超过初始三镜头匹配点组P中总点数的半数，则将投票对象对应的镜头点加入初始三镜头匹配点组P中，获得第二三镜头匹配点组P1；

即从(A-P)的集合中选取镜头点，加入到P中，即利用P中的镜头点对(A-P)中的点进行投票；

步骤4：对第二三镜头匹配点组P1中的所有镜头点进行组内投票，删除第二三镜头匹配点组P1中的误匹配点，获得第三三镜头匹配点组P2；

依次从第二三镜头匹配点组P1中选取一个镜头点作为投票对象，其余点均为基准点，利用基准点与投票对象进行匹配投票，若投票对象的得票数少于第二三镜头匹配点组P1中总点数的半数，则将该投票对象对应的镜头点从第二三镜头匹配点组P1中删除，获得第三三镜头匹配点组P2；

即从P1中删除存在误匹配的镜头点，即利用P中的某一镜头点作为投票对象，其余点对投票对象进行投票，即组内依次相互投票；

步骤5：更新待匹配镜头点集合；

从待匹配镜头点集合A中去除第三三镜头匹配点组P2中所包含的镜头点，得到新的待匹配镜头点集合A1；

步骤6：以第三三镜头匹配点组P2作为新的初始三镜头匹配点组，返回步骤3，进行全局投票和组内投票对新的初始三镜头匹配点组进行更新，直到第三三镜头匹配点组P2中的镜头点不发生变化；

步骤7：从待匹配镜头点集合A1中选取一对新的两两镜头匹配点对，返回步骤2，直到待匹配镜头点集合中镜头点个数为0。

在本实例中，该发明所述方法的具体步骤如下：

步骤1：根据对极几何约束确定匹配点搜索区域，筛选两两镜头匹配点对；

设P(X，Y，Z)为3D空间中一点，以相机1的坐标系为参照，并依据对极几何理论，两个相机1和相机2成相面中点p₁(x₁，y₁)和p₂(x₂，y₂)之间存在关系：

其中，K₁和K₂分别为相机1和相机2的内参矩阵，p₁和p₂分别为齐次坐标，[T]_×和R分别为从相机1到相机2位移向量的反对称矩阵和旋转矩阵；

其中，F₁₂为从相机1到相机2的基础矩阵。

依据已获得的各个摄像头的内参以及相对世界坐标系的旋转参数和位移参数，根据坐标系之间的转换关系得到从各个相机之间的旋转矩阵和位移向量，进而得到各个相机相互之间的基础矩阵。

3D空间中点P，根据公式(1)点p₁在镜头2成像面上极线的方程表达式为：

(x，y，1)F₁₂*p₁＝0 (3)

镜头2中与p₁匹配的点p₂理论上应该在这条极线上，即满足

实际应用中p₂通常位于极线附近，因此通过给定阈值θ确定一个搜索区域，位于搜索区域中的点即作为相机2中与p₁匹配的候选点，如图2所示。设(L₁，L₂，L₃)＝F₁₂*p₁，则对镜头2中任意一点p′＝(u，v)，如果这点到

的极线距离满足：

则p′属于搜索区域中一点。

筛选的具体做法是：选择一个镜头中的一个点为基准，计算其他镜头中点到其极线的距离，筛选出其他镜头中可能与其对应的点，作为匹配候选点。筛选过程的关键是选取合适的阈值，从而能够重建出个数稳定的marker点，出现漏点和重点的情况较少。经验证，发现选取θ取值范围为3-4较为合适。

步骤2：构建三镜头匹配点组，并对三镜头匹配点组中的点进行全局投票和组内投票的循环操作，直到三镜头匹配点组中的镜头点不发生变化，获得准确的三镜头匹配点组。

选择第一个镜头7号点作为第一个基准点。需要找到其他镜头中所有和1号镜头中7号点相匹配的点，用CiPj表示第i号镜头中的第j号点。

第一步：选择基准点

第一个基准点C1P7，通过第一步筛选后，与其对应的匹配点共有12个，如表1所示。

表1第一步筛选确定的匹配点

相机编号	2	4	5	6	7	8	10	10	11	11	13	15
													点编号	10	7	7	5	7	8	5	7	7	11	8	6

从中选出一个作为第二个基准点，这里取C2P10，′与C1P7作为基准点构成初始匹配组，如下表2所示：

表2初始匹配组

相机编号	1	2
			点编号	7	10

用初始匹配组中的两个基准点进行三镜头匹配，同时被两个基准点匹配到的点进入匹配组。结果只有13号镜头的8号点同时被两个基准点匹配到，如表3所示：

表3三镜头匹配结果

相机编号	1	2	13
				点编号	7	10	8

第二步：循环投票阶段

第一轮循环投票：

1)全局投票，以匹配组中所有的点为基准点，所有镜头中的所有点为投票对象进行投票。得票超过半数的点进入匹配组。共有六个镜头中的点被两个及以上的基准点匹配到，如表4所示。

表4第一轮全局投票结果

相机编号	1	2	3	4	6	9	12	13	14
										点编号	7	10	11	8	10	10	9	8	9

2)组内投票，以匹配组中所有的点为基准点，仅该组中的点为投票对象进行相互投票。得票小于半数的点踢出匹配组。

除了原基准点C2P10和C13P8匹配到C1P7外，其他的点都没有匹配到C1P7，作为初始基准点的C1P7仅得到两票，踢出匹配组。

组内投票后，匹配组中还剩下8个点，进入下一轮循环投票。组内投票后，匹配组如表5所示：

表5第一轮组内投票结果

相机编号	2	3	4	6	9	12	13	14
									点编号	10	11	8	10	10	9	8	9

第二轮循环投票：

1)全局投票，以匹配组中所有的点为基准点，所有镜头中的所有点为投票对象进行投票。得票超过半数的点进入匹配组。之前没有被匹配到的7号镜头和8号点加入匹配组中，如表6所示：

表6第二轮全局投票结果

相机编号	2	3	4	6	7	9	12	13	14
										点编号	10	11	8	10	8	10	9	8	9

2)组内投票，以匹配组中所有的点为基准点，仅该组中的点为投票对象进行相互投票。得票小于半数的点踢出匹配组。第二轮组内投票后匹配组结果如表7所示：

表7第二轮组内投票结果

相机编号	2	3	4	6	7	9	12	13	14
										点编号	10	11	8	10	8	10	9	8	9

第二轮投票结束后，组内的点较上一次组内投票时发生了变化，多了7号镜头的8号点，因此，以这九个点为基准点，

进行下一轮循环。再进行一轮全局和组内投票后，组内的点没有再出现改动，循环投票结束。最终此匹配组中的点由循环投票开始前如表3所示变为了如表7所示的最终匹配结果。包含了能看到该点的全部镜头。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种用于光学动作捕捉系统的非刚体目标特征点匹配方法，其特征在于，首先利用对极几何约束，对不同镜头的点采用逐点匹配法，进行两两之间进行匹配筛选，构建两两镜头匹配点对；其次，从其余镜头的点中选取同时能被两两镜头匹配点对匹配的点，依次对两两镜头匹配点对进行扩展，获得三镜头匹配点组；再利用其余镜头的点对三镜头匹配点组中的每个点进行匹配，完成全局投票，对三镜头匹配点组进行扩展；接着对经过扩展后的三镜头匹配点组内的点进行相互匹配，完成组内投票，对经过扩展后的三镜头匹配点组进行误匹配点的删除，获得准确的镜头匹配点；

所述匹配是指不同镜头中的点，以某一镜头的点为基准点，获取基准点到另一镜头的极线方程l₀，判断另一镜头中的点是否位于所述极线方程l₀的搜索区域中，所述搜索区域是指位于极线方程上下两侧，且距离l₀为θ的两条直线所围成的区域；

所述θ的取值范围为3-4。

2.根据权利要求1所述的方法，其特征在于，所述全局投票和组内投票进行多次循环操作，直到扩展后的三镜头匹配点组内的镜头点不再发生变化。

3.根据权利要求2所述的方法，其特征在于，所述循环操作过程如下：

步骤A：将经过组内投票删除后的镜头点从所有镜头点集合中剔除，得到新的待匹配的镜头点；

步骤B：以新的待匹配的镜头点对三镜头匹配点组中的每个点进行匹配，再次进行全局投票，对三镜头匹配点组进行扩展；

步骤C：以步骤B获得的扩展后的三镜头匹配点组内的点进行相互匹配，完成组内投票，对经过扩展后的三镜头匹配点组进行误匹配点的删除。

4.根据权利要求3所述的方法，其特征在于，所述循环次数不超过3次。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述全局投票是指统计与投票对象匹配的点数，若匹配点数超过参与投票总点数的一半，则将投票对象加入三镜头匹配点组中。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述组内投票是指统计与投票对象匹配的点数，若匹配点数少于参与投票总点数的一半，则将投票对象从三镜头匹配点组中删除，否则，予以保留。

Images