CN101894377A - 三维标记点序列的跟踪方法及其系统 - Google Patents

Abstract

本发明涉及三维标记点序列的跟踪方法及系统，方法包括：步骤1，读取人体链状结构模型，确定刚体和特征点；步骤2，获得运动图像的帧，每一帧具有多个图像，图像中具有二维标记点，第一帧具有已识别三维标记点；步骤3，在当前帧的图像中投影前一帧已识别三维标记点，依据投影搜素出特征点对应的二维标记点，由二维标记点重构出特征点的候选三维标记点，组成候选标记点集合；步骤4，从刚体的候选标记点集合中枚举出标记点组合，计算对应的标注似然函数值，保留最大的值对应的标记点组合，识别标记点组合中的候选三维标记点为特征点在当前帧中的三维标记点。本发明能够从捕获到的标记点序列中，正确跟踪人体链状结构模型的刚体中的各个特征点。

Description

三维标记点序列的跟踪方法及其系统

技术领域

本发明涉及计算机视觉和模式识别领域，尤其涉及三维标记点序列的跟踪方法及其系统。

背景技术

二十世纪八十年代以来，光学运动捕获技术日渐成熟，在光学运动捕获中，需要在捕获对象上粘贴反光标记点，并用多个同步的已标定摄像机来采集这些标记点图像，然后从图像中提取出二维标记点并进行跟踪与重构，得到三维标记点坐标，然后从中计算出捕获对象的运动参数。

由于人体运动比较复杂，标记点经常被肢体遮挡，在跟踪过程中不可避免会导致标记点跟踪失败，因此需要一种鲁棒的方法提高跟踪的效果。

此外，跟踪方法不能完全保证所有标记点都被正确识别，因此在实际的捕获系统中需要处理标记点丢失的问题。目前的运动捕获系统中，为了解决标记点丢失的问题，常常需要非常繁琐的人工修补数据过程，如在主流商用系统Vicon iQ中的Fill tools，而且人工修补数据往往需要在人体运动数据方面丰富经验的人员完成，一般的人员难以进行。另外人工修补数据经常会出现修补错误的情况，这给后续帧的准确运动跟踪带来很大困难。因此，需要解决在运动跟踪中自动修补丢失标记点的问题。

发明内容

为了解决上述的技术问题，本发明提供了三维标记点序列的跟踪方法及其系统，利用给定的人体链状结构模型，从捕获到的标记点序列中，正确跟踪人体链状结构模型的刚体中的各个特征点。

本发明公开了一种三维标记点序列的跟踪方法，包括：

步骤1，读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点；

步骤2，通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点；

步骤3，将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体的候选标记点集合；

步骤4，对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。

所述步骤3进一步为，

步骤21，将前一帧的已识别三维标记点在当前帧的图像中投影；

步骤22，在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特征点；

步骤23，依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。

所述步骤4还包括：

步骤31，在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；

所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。

所述方法还包括：

步骤5，如果在当前帧中存在丢失的三维标记点，则根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应；

步骤6，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被识别的特征点对应的三维标记点。

所述步骤6进一步包括：

步骤51，从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出特征点的刚体；

步骤52，对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择所述刚体中未被识别的特征点对应的三维标记点；

步骤53，重复所述步骤51，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识别三维标记点。

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点，则所述步骤5进一步包括：

步骤61，在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；

步骤62，对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像机光心出发的三维反投影光线；

步骤63，以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集合。

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标记点，则所述步骤5进一步包括：

步骤71，依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三维标记点从前一帧到当前帧的变换参数R，t；

步骤72，按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记点集合，

$M_1^k=R{M}_j^k+t$

为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。

本发明还公开了一种三维标记点序列的跟踪系统，包括：

模型读取模块，用于读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点；

投影模块，用于通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点；

候选标记点生成模块，用于将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体的候选标记点集合；

识别模块，用于对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。

所述候选标记点生成模块进一步用于

将前一帧的已识别三维标记点在当前帧的图像中投影；

在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特征点；

依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。

所述识别模块还用于：

在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；

所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。

所述系统还包括：

候选补充点生成模块，用于在当前帧中存在丢失的三维标记点时，根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应；

补充识别模块，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被识别的特征点对应的三维标记点。

所述补充识别模块进一步用于

从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出特征点的刚体；

对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择所述刚体中未被识别的特征点对应的三维标记点；

重复上述过程，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识别三维标记点。

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点，则所述候选补充点生成模块进一步用于：

在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；

对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像机光心出发的三维反投影光线；

以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集合。

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标记点，则所述候选补充点生成模块进一步用于

依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三维标记点从前一帧到当前帧的变换参数R，t；

按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记点集合，

$M_1^k=R{M}_j^k+t$

为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。

本发明的有益效果在于，给定捕获对象的人体链状结构模型，能够自动的从捕获到的二维标记点中跟踪与重构三维标记点；在发生标记点丢失的情况下能够自动补点，避免了人工补点的繁琐，提高了补点的效率与精度。

附图说明

图1是本发明的三维标记点序列的跟踪方法流程图；

图2是一实施例中观测对象的人体链状结构模型的下肢结构的示例图；

图3(a)为基于单目标记点图像进行补点示意图；

图3(b)为基于刚体中特征点平移向量进行补点示意图；

图3(c)为基于刚体在前后帧之间的刚体变换进行补点示意图；

图3(d)为基于四点构成刚体进行补点示意图；

图4是本发明的三维标记点序列的跟踪系统的结构图。

具体实施方式

下面结合附图，对本发明做进一步的详细描述。

步骤S100，读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点。

人体链状结构模型中包括刚体，每个刚体上具有特征点；通过读取观测对象的人体链状结构模型，确定观测对象的人体链状结构模型中刚体的数量和名称，各个刚体上特征点的数目和名称，以及刚体上各个标记点间的距离。

在一实施例中的观测对象的人体链状结构模型的下肢结构中，下肢结构的刚体包括腰部，左大腿，右大腿，左小腿，右小腿，左足，右足，共7个刚体；每个刚体中包括的特征点如表1所述。

刚体名称	包含的特征点
		腰部	LFWT RFWT LBWT RBWT
左大腿	LFWT LTHI LKNE
		右大腿	RFWT RTHI RKNE
左小腿	LKNE LANK LSHN
		右小腿	RKNE RANK RSHN
左脚	LTOE LMT5LANK LHEE
		右脚	RTOE RMT5RANK RHEE

表1

表1中的LFWT表示左腰前，RFWT表示右腰前，LBWT表示左腰后，RBWT表示右腰后，LTHI表示左大腿，LKNE表示左膝盖，RTHI表示右大腿，RKNE表示右膝盖，LANK表示左脚踝LSHN表示左小腿，RANK表示右脚踝，RSHN表示右小腿，LTOE表示左拇指，LMT5表示左小指，LHEE表示左脚跟，RTOE表示右拇指，RMT5表示右小指，RHEE表示右脚跟。

表1中特征点在下肢结构中的位置如图2所示。

步骤S200，通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点。

其中，每一帧对应于捕捉的运动的一个时刻。

已识别三维标记点同刚体上的特征点对应，各个帧中与同一个特征点对应的已识别三维标记点之间相互对应。

本步骤所涉及的运动捕获技术是基于计算机视觉的标记点匹配和重构技术，在“计算机视觉中的数学方法”，吴福朝，科学出版社，2008，一书中具有详细说明。

运动捕获中，人体穿上具有反光点的采集衣，利用多个摄像机对运动的人体进行捕捉，并以视频的形式进行记录，在视频图像中只有反光点区域具有比较大的亮度，能够进行二维标记点提取。

第一帧中的已识别三维标记点可以是通过手工配置或者通过现有技术中的方法标记出来，该已识别三维标记点同刚体的三维标记点相对应。

步骤S300，将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，当前帧中的刚体的特征点的候选三维标记点组成所述刚体的在当前帧中的候选标记点集合。

所述步骤S300的一具体实施方式如下所述。

将前一帧的已识别的三维标记点在当前帧的图像中投影；在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特征点；依据极几何约束对所述二维标记点进行匹配，重构出当前帧中所述特征点对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。

所述步骤S300的一实施例如下所述。

步骤S310，将前一帧的已识别的三维标记点投影到当前帧的各个图像上，得到各个已识别的三维标记点在当前帧的各个图像的投影。

对于一个帧，每一个用于采集的摄像机采集到一个图像。

步骤S320，以每个已识别的三维标记点在每个图像上的二维投影为中心，在预设半径内搜索当前帧中的二维标记点，该二维标记点对应于该已识别的三维标记点对应的特征点。

步骤S330，对每个特征点，利用该特征点对应的二维标记点，通过极几何约束进行匹配，并重构出三维标记点，该三维标记点作为所述刚体的候选标记点。

重构出的三维标记点同其重构时使用的二维标记点对应同一特征点。

如果某个前一帧已标识的三维标记点在少于2个图像上的投影点附近找到二维标记点，则说明存在标记点丢失现象。

极几何约束是空间中的某一点，分别投影到不同的成像平面上，得到的两个点之间存在极几何约束，关于极几何约束在“计算机视觉中的数学方法”，吴福朝，科学出版社，2008，中具有详细记载。

步骤S400，对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。

标记点标注似然函数定义为：

$P\left(S_l\right)=\underset{\{s,t|h(s,t)=1\}}{\mathrm{\Π}}p(C_s,C_t)$

其中，h(s，t)表示在同第l个刚体中两个特征点分别对应的标记点s，t之间有无连接的函数，当标记点s，t之间保持刚体距离不变，则h(s，t)＝1，否则h(s，t)＝0。

保持刚体距离不变为属于同一个刚体上的特征点在运动的时候，每两个特征点之间距离近似保持不变。表现为在各个帧间，同一个刚体上的特征点对应的三维标记点间距离近似保持不变。近似保持不变为变化在一个定义的可忽略的偏差范围内。

P(C_s，C_t)表示标记点s，t的样本C_s，C_t满足刚体距离不变的概率，它由下面的公式定义：

$P(C_s,C_t)\∝\left\{\begin{array}{c}0,(C_s,C_t)\∉U(s,t)\\ \exp (-\frac{{(\mathrm{dist}(C_s,C_t)-{\mathrm{dist}}^{\′}(C_s,C_t))}^2}{2{\mathrm{\σ}}^2(s,t)}),(C_s,C_t)\∈U(s,t)\end{array}\right.$

集合U(s，t)的定义如下

U(s，t)＝{[C_s，C_t]|dist(C_s，C_t)＞t₁∩dist(C_s，C_t)＜t₂∩

|dist(C_s，C_t)-dist′(C_s，C_t)|＜t₃∩|dist(C_s，C_t)-dist″(C_s，C_t)|＜t₄，t₂＞0，t₃＞0}

其中dist′(C_s，C_t)是在前一帧中同标记点s，t对应于相同两个特征点的两个标记点之间的距离，dist″(C_s，C_t)是在人体链状结构模型中标记点s，t对应的特征点之间的距离，σ²(s，t)是标记点s，t之间距离的方差，通过预设获得，为简便起见，在具体实施例中对于任何标记点对s，t σ²(s，t)都取为相同的正常数。

在集合U(s，t)中，在当前帧标记点s，t之间的距离应在一个合理的范围之内dist(C_s，C_t)＞t₁∩dist(C_s，C_t)＜t₂表示标记点s，t之间的距离既不能小于t₁，也不能大于t₂；|dist(C_s，C_t)-dist′(C_s，C_t)|＜t₃表示标记点s，t之间在当前帧中的距离与前一帧中相应的距离偏差不能过大；|dist(C_s，C_t)-dist″(C_s，C_t)|＜t₄表示标记点s，t之间在当前帧中的距离与人体模版中相应的距离偏差不能过大.阈值t₁，t₂，t₃需要事先选取。

在较佳的技术方案中所述步骤S400还包括在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。

所述步骤S400的具体实施方式如下所述。

步骤S410，预设同一刚体上各个特征点对应的三维标记点之间距离的方差，σ²(s，t)，预设同一刚体中的特征点对应三维标记点间距离满足的范围最大值和最小值，预设同一特征点对应三维标记点在相邻帧中的位移的最大位移值和最小位移值。

步骤S420，对于每个刚体的候选标记点集合，计算候选标记点集合中两个候选三维标记点间的距离，从候选标记点集合中除去距离小于最小值或距离大于最大值的候选三维标记点对。

步骤S430，对于每个刚体的候选标记点集合，计算候选标记点集合中每个候选三维标记点同前一帧中的对应的已识别的三维标记点间位移，从候选标记点集合中除去位移小于最小位移值或位移大于最大位移值的候选三维标记点。

如果候选三维标记点和前一帧中已识别的三维标记点对应同一个特征点，则该候选三维标记点和该已识别的三维标记点相对应。

步骤S440，在剩下的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，标记所述标记点组合中的候选三维标记点对应于所述刚体中特征点。

计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，删除其它组合。标记点标注似然函数定义为：

$P\left(S_l\right)=\underset{\{s,t|h(s,t)=1\}}{\mathrm{\Π}}P(C_s,C_t)$

其中，h(s，t)表示在分别对应第l个刚体中两个特征点的标记点s，t之间有无连接的函数，当标记点s，t之间保持刚体距离不变，则h(s，t)＝1，否则h(s，t)＝0.P(C_s，C_t)表示标记点s，t的样本C_s，C_t满足刚体距离不变的概率，它由下面的公式定义：

$P(C_s,C_t)\∝\left\{\begin{array}{c}0,(C_s,C_t)\∉U(s,t)\\ \exp (-\frac{{(\mathrm{dist}(C_s,C_t)-{\mathrm{dist}}^{\′}(C_s,C_t))}^2}{2{\mathrm{\σ}}^2(s,t)}),(C_s,C_t)\∈U(s,t)\end{array}\right.$

集合U(s，t)的定义如下

U(s，t)＝P{[C_s，C_t]|dist(C_s，C_t)＞t₁∩dist(C_s，C_t)＜t₂∩

|dist(C_s，C_t)-dist′(C_s，C_t)|＜t₃∩|dist(C_s，C_t)-dist″(C_s，C_t)|＜t₄，t₂＞t₁＞0，t₃＞0}

其中dist′(C_s，C_t)是在前一帧中同标记点s，t对应于相同两个特征点的两个标记点之间的距离，dist″(C_s，C_t)是在人体链状结构模型中标记点s，t对应的特征点之间的距离，σ²(s，t)是标记点s，t之间距离的方差，步骤S410中预设的方差，为简便起见，在具体实施例中对于任何标记点对s，tσ²(s，t)都取为相同的正常数。

在集合U(s，t)中，在当前帧标记点s，t之间的距离应在一个合理的范围之内dist(C_s，C_t)＞t₁∩dist(C_s，C_t)＜t₂表示标记点s，t之间的距离既不能小于t₁，也不能大于t₂；|dist(C_s，C_t)-dist′(C_s，C_t)|＜t₃表示标记点s，t之间在当前帧中的距离与前一帧中相应的距离偏差不能过大；|dist(C_s，C_t)-dist″(C_s，C_t)|＜t₄表示标记点s，t之间在当前帧中的距离与人体模版中相应的距离偏差不能过大.阈值t₁，t₂，t₃需要事先选取。

如果在当前帧中识别出的对应于刚体上特征点的三维标记点数量少于所述刚体中特征点的数量，说明当前帧中存在丢失的三维标记点。丢失的三维标记点的数量为已识别的三维标记点数量同所述刚体中特征点的数量差值，丢失的三维标记点对应于刚体上在当前帧中未被识别出的特征点。

在进一步的较佳的技术方法中，解决如何补充丢失标记点的问题。

步骤S500，如果在当前帧中存在丢失的三维标记点，则根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合。

所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应。

产生标记点丢失的原因存在如下情况：(1)在多个摄影机采集的图像中没有三维标记点的像，主要由于人体遮挡或摄影机机摆放不合理导致；(2)仅有单个摄影机采集的图像中有三维标记点的像，主要由于人体遮挡或摄影机机摆放不合理导致；(3)有多个摄影机采集的图像中有三维标记点的像，但由于图像匹配或系统标定误差的原因导致不能重构出三维标记点，从而未成功重构标记点，导致标记点跟踪失败；(4)有多个摄影机采集的图像中有三维标记点的像且已经成功重构三维标记点，由于识别三维标记点过程中使用的阈值偏小而导致标记点跟踪失败。

为了方便表述，当前帧为第k帧，丢失的三维标记点表示为m₁，m_j是与m₁对应的特征点在同一个刚体上的其他特征点对应的已经识别的三维标记点，

为第k帧的丢失的三维标记点m₁三维坐标。

所述S500的具体实施方式一

该具体实施方式为基于单目标记点图像的方法。

若丢失的三维标记点对应的特征点所在的刚体上至少有一个特征点具有对应的已经重构和识别的三维标记点，则可使用本方法。

丢失的三维标记点对应的特征点所在的刚体为对象刚体。

步骤S511，在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点。

步骤S512，对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像机光心出发的三维反投影光线。

计算方法为若摄影机矩阵为P_3×4＝[H_3×3，p₄]，则通过图像点m与摄影机光心o的直线表示为

$X\left(l\right)=l\left(\begin{array}{c}{H}^{-1}m\\ 0\end{array}\right)+\left(\begin{array}{c}-H^{-1}{p}_4\\ 1\end{array}\right)$ 公式1

其中，H^-1m是通过图像点m直线的无穷远点，-H^-1p₄是摄影机光心o在世界坐标系中的坐标。

该方法出处为“计算机视觉中的数学方法”，吴福朝，科学出版社，2008。

步骤S513，以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集合。

该实施方式的具体说明如下。设m₁为丢失标记点m₁的图像，d_1，j是丢失标记点与同一刚体上已识别标记点m_j的距离。基于标记点m_j的坐标丢失标记点m₁的补点候选结果可由下面的公式计算。

$M_1^k=l_1{X}_1+X_2,$ $M_1^k=l_2{X}_1+X_2,$

其中，X₁＝H^-1m₁，X₂＝H^-1p₄，l_1，2可通过下面的公式计算(如果Δ≥0)

$l_{\mathrm{1,2}}=\frac{-b\±\sqrt{\mathrm{\Δ}}}{2a}$

其中， $\mathrm{\Δ}=b^2-4\mathrm{ac},a={\left|\right|X_1\left|\right|}_2^2,b=2{(X_2-M_j^k)}^T{X}_1,c={\left|\right|X_2-M_j^k\left|\right|}_2^2-d_{1,j}^2.$

l₁和l₂是待定参数，根据公式1得出，表示通过标记点m₁和摄像机光心o的空间直线，

是丢失标记点的三维坐标。

在图3(a)中经过摄像机光心和图像上的点m₁可以得到空间中的三维反投影光线，丢失的标记点应该位于该三维光线上，

是在同一刚体上已经识别的标记点的三维坐标，以它为球心，以标记点间距离m_j为半径可以得到一个三维球面，丢失点的坐标肯定位于该三维光线与球面的交点上，可能存在两个交点，因此对应的参数有l₁、l₂两个。

若二维标记点是丢失三维标记点的像，则丢失三维标记点位于该二维标记点的三维反投影光线上。由于丢失标记点所在的刚体上至少有一个标记点已经重构和识别，所以该丢失标记点还位于以识别标记点为球心，已识别标记点和丢失标记点之间的距离为半径的球面上。由于已知前一帧中该丢失的三维标记点和该已识别标记点对应的两个已识别的三维标记点之间的距离，由于刚体间各个特征点对应的三维标记点在帧间隔的时间的运动中，距离基本保持不变，仅有微小的变化，因而直用前一帧的两个对应点间距离作为当前帧中丢失的三维标记点和该已识别标记点的距离。因此丢失的三维标记点m1的三维坐标可通过三维反投影光线和球面相交得到，见公式2，并将两者的交点放入补点候选集合中。

具体实施方式二

该具体实施方式为基于刚体中标记点平移向量的方法。

若丢失的三维标记点对应的特征点所在的刚体上至少有一个特征点在当前帧中具有对应的已经重构和识别的三维标记点，则可使用本方法。

如图3(b)所示，在前一帧中对应于特征点f₁的已识别的三维标记点为m₁，对应于特征点f_i的已识别的三维标记点为m_j，该两个三维标记点间向量为

特征点f₁在当前帧中对应的已识别三维标记点坐标为则特征点f_j在当前帧中对应的候补三维标记点为

将候补三维标记点加入候选补充三维标记点集合中。

该具体实施方式出处为“Least-squares fitting of two 3-D point sets”K.S.Arun，T.S.Huang and S.D.Blostein.PAMI-8，No.1，Jan.1986，

具体实施方式三

该具体实施方式为基于刚体变换的方法。

如果丢失的三维标记点对应的特征点所在的刚体上至少有三个特征点在当前帧中具有对应的已经重构和识别的三维标记点，则可使用本方法。

由于刚体结构在运动过程中基本保持不变，如果丢失标记点m₁所在的刚体上至少有三个三维标记点已经重构和识别，那么可通过在该刚体中已经识别的三维标记点在当前帧的坐标与前一帧的坐标计算刚体变换R，t，丢失的三维标记点m₁的候选补点结果可通过下面的公式计算

$M_1^k=R{M}_j^k+t$

，并该结果放入补点候选集合中。

前一帧中对应于丢失特征点的已识别三维标记点的三维坐标。

这个方法可以得到一种补点的结果，同时由于考虑到至少有三点在同一个刚体上的情况也肯定可以采用至少有一个同一刚体上特征点在当前帧中具有已识别标记点的条件，因而采用具体实施方式一和/或具体实施方式二的方法，这样，将每一个丢失的三维标记点可以采用多个方法得到的补点结果都放在该点的候选补点点集中。

具体实施方式四

该具体实施方式为基于四点构成刚体的方法

若丢失的三维标记点对应的特征点所在的刚体上至少有一个特征点在当前帧中具有对应的已经重构和识别的三维标记点，则可使用本方法。

若丢失标记点至少有四个非共面保持刚体关系的标记点已经重构和识别，则可使用本方法。

命题3设

为四个已重构和识别的非共面标记点，

为丢失标记点，d_i，j为与之间的距离.若已知d_i，j，则

可通过下面的公式计算。

具体出自文献“Yang，L.：Solving spatial constraints with globaldistance coordinate systems.International Journal of ComputationalGeometry and Applications(2006)553-548)”。

$\left|\begin{array}{cccccc}{X}_2& X_3& X_4& X_5& 0& X_1\\ 0& d_{\mathrm{2,3}}^2& d_{\mathrm{2,4}}^2& d_{\mathrm{2,5}}^2& 1& d_{\mathrm{2,1}}^2\\ d_{\mathrm{2,3}}^2& 0& d_{\mathrm{3,4}}^2& d_{\mathrm{3,5}}^2& 1& d_{\mathrm{3,1}}^2\\ d_{\mathrm{2,4}}^2& d_{\mathrm{3,4}}^2& 0& d_{\mathrm{4,5}}^2& 1& d_{\mathrm{4,1}}^2\\ d_{\mathrm{2,5}}^2& d_{\mathrm{3,5}}^2& d_{\mathrm{4,5}}^2& 0& 1& d_{\mathrm{5,1}}^2\\ 1& 1& 1& 1& 0& 1\end{array}\right|=0,$ $\left|\begin{array}{cccccc}{Y}_2& Y_3& Y_4& Y_5& 0& Y_1\\ 0& d_{\mathrm{2,3}}^2& d_{\mathrm{2,4}}^2& d_{\mathrm{2,5}}^2& 1& d_{\mathrm{2,1}}^2\\ d_{\mathrm{2,3}}^2& 0& d_{\mathrm{3,4}}^2& d_{\mathrm{3,5}}^2& 1& d_{\mathrm{3,1}}^2\\ d_{\mathrm{2,4}}^2& d_{\mathrm{3,4}}^2& 0& d_{\mathrm{4,5}}^2& 1& d_{\mathrm{4,1}}^2\\ d_{\mathrm{2,5}}^2& d_{\mathrm{3,5}}^2& d_{\mathrm{4,5}}^2& 0& 1& d_{\mathrm{5,1}}^2\\ 1& 1& 1& 1& 0& 1\end{array}\right|=0,$

$\left|\begin{array}{cccccc}{Z}_2& Z_3& Z_4& Z_5& 0& Z_1\\ 0& d_{\mathrm{2,3}}^2& d_{\mathrm{2,4}}^2& d_{\mathrm{2,5}}^2& 1& d_{\mathrm{2,1}}^2\\ d_{\mathrm{2,3}}^2& 0& d_{\mathrm{3,4}}^2& d_{\mathrm{3,5}}^2& 1& d_{\mathrm{3,1}}^2\\ d_{\mathrm{2,4}}^2& d_{\mathrm{3,4}}^2& 0& d_{\mathrm{4,5}}^2& 1& d_{\mathrm{4,1}}^2\\ d_{\mathrm{2,5}}^2& d_{\mathrm{3,5}}^2& d_{\mathrm{4,5}}^2& 0& 1& d_{\mathrm{5,1}}^2\\ 1& 1& 1& 1& 0& 1\end{array}\right|=0$

上面方程是关于X₁，Y₁，Z₁的线性方程，因而可通过命题3计算

$M_1^k={(X_1,Y_1,Z_1)}^T.$

若与丢失标记点

保持刚体关系的至少四个非共面标记点已经重构和识别，则丢失标记点和与其保持刚体关系的标记点之间距离{d_i，j}以及已经重构和识别的标记点之间的距离{d_i，j}可通过第k-1帧中相应标记点之间的距离计算，丢失标记点m₁的候选补点结果可通过命题3计算，并该结果放入补点候选集合中。

步骤S600，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被识别的特征点对应的三维标记点。

从候选补点集合中选择正确的标记点。

步骤S610，从在当前帧中具有未被识别出特征点的刚体中，选择在当前帧中具有最多已被识别出的特征点的刚体。

如果在当前帧中没有识别出特征点对应的三维标记点，则认为在当前帧中该特征点未被识别出，如果在当前帧中已经识别出特征点对应的三维标记点，则认为在当前帧中该特征点已被识别出。

步骤S620，对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择所述刚体中未被识别的特征点对应的三维标记点。

步骤S630，重复所述步骤S610和步骤S620，直至所有可被识别的三维标记点都已被识别。

通过上面的方法能够找到未被识别特征点的候选补充三维标记点的集合，但是并不是所有未被识别的特征点都能够找到候选补充三维标记点的集合。本方法处理拥有候选补充三维标记点的集合的那些未别识别出的特征点，这些点称为可被识别的三维标记点。

本发明的三维标记点序列的跟踪系统结构如图4所示。

模型读取模块100，用于读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点。

投影模块200，用于通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点。

候选标记点生成模块300，用于将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体的候选标记点集合。

识别模块400，用于对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。

一较佳的实施方式中，候选标记点生成模块300进一步用于

将前一帧的已识别三维标记点在当前帧的图像中投影；

在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特征点；

依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。

一较佳的实施方式中，所述识别模块400还用于

在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；

所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。

一较佳的实施方式中，所述系统还包括：

候选补充点生成模块，用于在当前帧中存在丢失的三维标记点时，根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应；

补充识别模块，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被识别的特征点对应的三维标记点。

进一步的，所述补充识别模块进一步用于

从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出特征点的刚体；

对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择所述刚体中未被识别的特征点对应的三维标记点；

重复上述过程，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识别三维标记点。

进一步的，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点，则所述候选补充点生成模块进一步用于：

在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；

对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像机光心出发的三维反投影光线；

以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集合。

进一步的，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标记点，则所述候选补充点生成模块进一步用于

依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三维标记点从前一帧到当前帧的变换参数R，t；

按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记点集合，

$M_1^k=R{M}_j^k\text{+t}$

为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims (14)

1.一种三维标记点序列的跟踪方法，其特征在于，包括：

步骤1，读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点；

步骤2，通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点；

步骤3，将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体的候选标记点集合；

步骤4，对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。

2.如权利要求1所述的三维标记点序列的跟踪方法，其特征在于，

所述步骤3进一步为，

步骤21，将前一帧的已识别三维标记点在当前帧的图像中投影；

步骤22，在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特征点；

步骤23，依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。

3.如权利要求1所述的三维标记点序列的跟踪方法，其特征在于，

所述步骤4还包括：

步骤31，在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；

所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。

4.如权利要求1所述的三维标记点序列的跟踪方法，其特征在于，所述方法还包括：

步骤5，如果在当前帧中存在丢失的三维标记点，则根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应；

步骤6，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被识别的特征点对应的三维标记点。

5.如权利要求4所述的三维标记点序列的跟踪方法，其特征在于，所述步骤6进一步包括：

步骤51，从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出特征点的刚体；

步骤52，对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择所述刚体中未被识别的特征点对应的三维标记点；

步骤53，重复所述步骤51，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识别三维标记点。

6.如权利要求4所述的三维标记点序列的跟踪方法，其特征在于，

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点，则所述步骤5进一步包括：

步骤61，在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；

步骤62，对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像机光心出发的三维反投影光线；

步骤63，以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集合。

7.如权利要求4所述的三维标记点序列的跟踪方法，其特征在于，

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标记点，则所述步骤5进一步包括：

步骤71，依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三维标记点从前一帧到当前帧的变换参数R，t；

步骤72，按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记点集合，

$M_1^k=R{M}_j^k+t$

为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。

8.一种三维标记点序列的跟踪系统，其特征在于，包括：

模型读取模块，用于读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点；

投影模块，用于通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点；

候选标记点生成模块，用于将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体的候选标记点集合；

识别模块，用于对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。

9.如权利要求8所述的三维标记点序列的跟踪系统，其特征在于，

所述候选标记点生成模块进一步用于

将前一帧的已识别三维标记点在当前帧的图像中投影；

在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特征点；

依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。

10.如权利要求8所述的三维标记点序列的跟踪系统，其特征在于，

所述识别模块还用于：

在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；

所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。

11.如权利要求8所述的三维标记点序列的跟踪系统，其特征在于，所述系统还包括：

候选补充点生成模块，用于在当前帧中存在丢失的三维标记点时，根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应；

补充识别模块，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被识别的特征点对应的三维标记点。

12.如权利要求11所述的三维标记点序列的跟踪系统，其特征在于，所述补充识别模块进一步用于

从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出特征点的刚体；

对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择所述刚体中未被识别的特征点对应的三维标记点；

重复上述过程，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识别三维标记点。

13.如权利要求4所述的三维标记点序列的跟踪系统，其特征在于，

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点，则所述候选补充点生成模块进一步用于：

在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；

对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像机光心出发的三维反投影光线；

以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集合。

14.如权利要求11所述的三维标记点序列的跟踪系统，其特征在于，

对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标记点，则所述候选补充点生成模块进一步用于

依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三维标记点从前一帧到当前帧的变换参数R，t；

按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记点集合，

$M_1^k=R{M}_j^k+t$

为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。

Images