CN112085848A

CN112085848A - 一种刚体标记点优化选择方法、设备及光学动作捕捉系统

Info

Publication number: CN112085848A
Application number: CN202010855224.6A
Authority: CN
Inventors: 黄少光; 许秋子
Original assignee: Shenzhen Realis Multimedia Technology Co Ltd
Current assignee: Shenzhen Realis Multimedia Technology Co Ltd
Priority date: 2020-08-21
Filing date: 2020-08-21
Publication date: 2020-12-15

Abstract

本发明公开了一种刚体标记点优化选择方法，包括：获取步骤：获取多个具有不同支撑杆长度的标记点坐标集合，该坐标集合融合了螺纹插槽、支撑杆和螺纹面等参数，然后通过自检步骤去掉不符合预设的自检条件的刚体，以及通过校验步骤逐一保存符合预设的校验条件的刚体到第二组合中，最后通过计算步骤对新加入第二组合的刚体按能与其组成相似三角形的刚体总数进行排序，则排在前面的刚体为优先选择用于动作捕捉的刚体，使得具有标记点动捕系统中存在的刚体姿态不稳定、刚体匹配不准确或不稳定等问题得到了明显的改善，同时使动捕系统出现这些问题的概率明显减少。

Description

一种刚体标记点优化选择方法、设备及光学动作捕捉系统

技术领域

本发明涉及动作捕捉技术领域，具体涉及一种刚体标记点优化选择方法、设备及光学动作捕捉系统。

背景技术

在现有的标记点动捕系统中，刚体和标记点的安装是有一定的要求的，刚体的特性在一定程度上决定了系统动捕的准确性。现有的标记点动捕系统中往往存在刚体姿态不稳定、刚体匹配不准确或不稳定等问题，而这些问题几乎是不可避免的。

为了降低系统出现上述问题的概率，需要解决以下问题：(1)对于单个刚体而言，其所有的标记点不能是共面的，因为这种共面情况下无法确定刚体的姿态，且使得刚体的姿态变得很不稳定；(2)单个刚体中的所有标记点之间的距离不能均相等，在所有距离均相等的情况下，不能保证在动捕过程中能够有效的进行刚体匹配或识别，同时也会造成刚体姿态的不稳定；(3)对于单个刚体，标记点之间的距离不能太近，如果距离太近会容易产生标记点遮挡或合并的情况，使得刚体姿态的解算容易产生错误或变得不稳定；(4)在动捕过程中，刚体与刚体之间都不能有太高的相似度，否则极其容易出现刚体误匹配等问题。因此，为了降低这些问题给系统带来的不利影响，很有必要对刚体上的标记点进行优化。

发明内容

为解决上述技术问题，本申请提出一种刚体标记点优化方法来改善刚体姿态不稳定、刚体匹配不准确或不稳定等问题，从而降低动捕系统出现这些问题的概率。

根据第一方面，一种实施例中提供一种刚体标记点优化选择方法，用于对多个刚体进行优化选择，所述方法包括以下步骤：

获取步骤：获取多个具有不同支撑杆长度的标记点坐标集合： Coor_i{(x₁，y₁，z₁，t₁，s₁)，(x₂，y₂，z₂，t₂，s₂)，...，(x_n，y_n，z_n，t_n，s_n)}，其中，x、y、z 代表三维坐标值，i＝1，2，…，a，代表标记点的编号，n＝1，2，…，b，代表刚体底座螺纹插槽的个数，t∈{1，2，…，a}代表对应的不同长度的标记点支撑杆编号， s∈{1，2，…，c}代表刚体底座螺纹面的编号；

自检步骤：从所述刚体底座螺纹面中选取m个螺纹面组成组合

并根据所述标记点的编号获取第一组合

并随机打乱

中的标记点顺序；遍历

中的所有刚体，去掉不符合预设的自检条件的刚体；

校验步骤：对于符合所述自检条件的刚体R_k，其中，k为

中的刚体总数，保存第一个刚体R₁到第二组合{RS_i}中，其中，i＜MAXNUM，所述MAXNUM 为最终期望得到的刚体数，从第二个刚体R₂开始与第二组合中的其他刚体进行比较，逐一保存符合预设的校验条件的刚体到第二组合中，并遍历下一个刚体，若第二组合中的刚体数量达到MAXNUM值，则退出遍历；

计算步骤：判断新加入第二组合的刚体R_k’与已保存到第二组合中的刚体标记点之间的连线是否能组成相似三角形，若是，则计算能与刚体R_k’组成相似三角形的刚体总数，并记录到矩阵Counter中，对Counter中的刚体总数按从小到大进行排序，则排在前面的刚体R_k’为优先选择用于动作捕捉的刚体。

所述获取步骤包括：

获取至少三个具有不同支撑杆长度的标记点坐标集合，所述刚体底座螺纹的个数可选1-52，所述刚体底座螺纹面的编号可选1-16。

所述自检步骤包括：

从所述刚体底座螺纹面中可选取4-10个螺纹面组成组合。

所述预设的自检条件包括：

按顺序遍历第一组合中的所有刚体，检查单个刚体标记点之间组成的所有距离集合{e_j}是否符合第一条件：min(e_j)＞TH1，其中，TH1为一设定的值；

若符合所述第一条件，则对于单个刚体的标记点组成的所有距离集合{e_j} 中，判断任意两个距离值e_j1和e_j2是否满足第二条件；

若满足所述第二条件，则将单个刚体中任意四个标记点坐标构成的三个向量组成行列式，判断所述行列式是否满足第三条件，若不满足，则舍弃不满足条件的刚体并遍历下一个刚体。

所述第二条件具体包括：count＝∑(|e_j1-e_j2|＜TH2)，count＜3，其中，TH2为一设定的值，若不满足第二条件，则舍弃不满足条件的刚体并遍历下一个刚体。

所述第三条件具体包括：

所述刚体中任意四个标记点坐标为(p0，p1，p2，p3)，则构成的三个向量为

所述三个向量组成的行列式为

判断所述行列式是否满足：

其中，TH3为一设定的值。

所述预设的校验条件包括：

遍历第二组合中的所有刚体，判断刚体标记点之间组成的任意两个距离集合{e_t1}和{e_t2}是否满足：cnt＝∑(|e_t1-e_t2|＜TH2)，count＜3，如果不满足，则舍弃不满足条件的刚体并遍历下一个刚体；

若满足cnt＝∑(|e_t1-e_t2|＜TH2)，count＜3的条件，分别随机取第二组合中的任一刚体与其他刚体上的3个标记点，判断所述3个标记点之间的连线是否组成相似三角形，并记录相似三角形的个数cnt，若cnt＜3，则所述刚体符合预设的校验条件。

根据第二方面，一种实施例中提供一种光学动作捕捉系统，包括待捕捉的多个标记点和对所述标记点进行拍摄的多个相机，其特征在于，还包括处理器；

多个相机分布在运动空间中，均与所述处理器通信连接，以对所述刚体上的标记点进行拍摄；

所述处理器用于根据第一方面所述的刚体标记点优化选择方法对各个所述刚体进行优化筛选，以完成对所述刚体标记点的识别。

根据第三方面，一种实施例提供一种刚体标记点优化选择设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述刚体标记点优化选择设备执行如第一方面所述的方法。

根据第四方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述第一方面所述的方法。

本申请的有益效果是：

依据上述实施例的一种刚体标记点优化选择方法、设备及光学动作捕捉系统，通过获取多个具有不同支撑杆长度的标记点坐标集合，从而从刚体底座螺纹面中选取适当数量的螺纹面组成数学组合，并遍历第一组合中的所有刚体，去掉不符合预设的自检条件的刚体；对于符合自检条件的刚体，保存第一个刚体到第二组合中，从第二个刚体开始与第二组合中的其他刚体进行比较，逐一保存符合预设的校验条件的刚体到第二组合中；判断新加入第二组合的刚体与已保存到第二组合中的刚体标记点之间的连线是否能组成相似三角形，若是，则计算能组成相似三角形的刚体总数，并记录到矩阵中，对矩阵中的刚体总数按从小到大进行排序，则排在前面的刚体为优先选择用于动作捕捉的刚体。通过该方法，使得具有标记点动捕系统中存在的刚体姿态不稳定、刚体匹配不准确或不稳定等问题得到了明显的改善，同时使动捕系统出现这些问题的概率明显减少。

附图说明

图1为刚体结构示意图；

图2为刚体标记点优化选择方法的流程图；

图3为执行是否符合预设的自检条件的步骤流程图；

图4为执行是否符合预设的校验条件的步骤流程图；

图5为光学动作捕捉系统的结构示意图；

图6为刚体标记点优化选择设备结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第二”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

本申请的发明构思在于：在光学运动捕捉系统中，需要采用多个具有固定形状的刚体进行位置追踪，刚体上有多个螺纹孔以及安装面，而标记点则通过支撑杆等形式安装在刚体上，本申请即通过上述提到的四个方面的问题针对安装在刚体上的标记点进行进一步优化，从而筛选出合适的能提高动捕系统精度的标记点，这样根据筛选出的标记点编号，使得后续可以依据筛选结果重新安装标记点，从而选择出合适的刚体。

实施例一：

请参考图1，本申请公开一种刚体的结构示意图，该刚体结构100包括：刚体底座110、螺纹面111、螺纹插槽112、支撑杆120、标记点130等，刚体底座 110上设有多个螺纹面111和多个螺纹插槽112，多个螺纹插槽112分布在多个螺纹面111上，支撑杆120插在螺纹插槽112内，标记点130则位于支撑杆120 顶端。

该刚体底座110可以是任何形状，即刚体底座110可以是正方体、长方体、圆柱体以及其他形状，在此不做具体的限定。螺纹面111的大小可以根据实际情况来设定，一般在刚体底座110上设置1-16个螺纹面111用于分布一定数量的螺纹插槽112，螺纹插槽112可为1-52个，以便安装足够多的标记点130用于动作捕捉。

该支撑杆120至少为3个，每个支撑杆120通过螺纹插槽112与螺纹面111 呈夹角设置，且支撑杆120的长度各不相同，其具体可以安装于螺纹面111的中间位置，也可以安装于螺纹面111的边沿位置，以保证标记点130的位置等均不对称。

该标记点130至少为3个，其数量与支撑杆120的数量相同，为了便于动捕系统计算标记点130坐标时区分不同的标记点130，任意两个标记点130之间的间距互不相同，且所有的标记点130不能是共面的，按照上述方法布置标记点130，则可使各个刚体均不太相似，以保证动捕系统对刚体进行有效识别。

需要说明的是，该标记点130可以是反光标记点也可以是主动式的自身可以发光的标记点，即该刚体结构可以是用于被动式动作捕捉的刚体也可以是用于主动式动作捕捉的刚体。

实施例二：

请参考图2，在理解了图1所示的刚体结构的基础上，本实施例公开了一种如何对刚体标记点进行优化选择的方法，请求保护的该方法包括步骤S200-S500，下面将分别说明。

步骤S200，获取步骤：获取多个具有不同支撑杆长度的标记点坐标集合： Coor_i{(x₁，y₁，z₁，t₁，s₁)，(x₂，y₂，z₂，t₂，s₂)，...，(x_n，y_n，z_n，t_n，s_n)}，其中，x、y、z 代表三维坐标值，i＝1，2，…，a，代表标记点的编号，n＝1，2，…，b，代表刚体底座螺纹插槽的个数，t∈{1，2，…，a}代表对应的不同长度的标记点支撑杆编号， s∈{1，2，…，c}代表刚体底座螺纹面的编号。

在一实施例中，该步骤S200可包括：获取至少三个具有不同支撑杆长度的标记点坐标集合，比如可获取标记点编号为1、2、3的三个坐标集合，这些标记点坐标集合代表位于编号为s的螺纹面上的对应不同长度支撑杆上的n个编号为1、2、3的标记点三维坐标，由于引入了螺纹插槽、支撑杆以及螺纹面等参数，使得便于更准确区分刚体上的各个标记点。一般情况下，每个标记点坐标集合中刚体底座螺纹的个数可选1-52，刚体底座螺纹面的编号可选1-16。

步骤S300，自检步骤：从刚体底座螺纹面中选取m个螺纹面组成组合

并根据上述标记点的编号获取第一组合

并随机打乱

中的标记点顺序，随机打乱顺序保证了生成最终合适的刚体的多样性；遍历

中的所有刚体，去掉不符合预设的自检条件的刚体。一般，从刚体底座螺纹面中可选取4-10个螺纹面组成组合，优选选取5个螺纹面组成数学组合

选择5个面筛选出来的标记点使得系统性能较高，也就是比如从16个螺纹面中选出5个面，那就有

种螺纹面，根据上述标记点坐标集合Coor_i{(x₁，y₁，z₁，t₁，s₁)，(x₂，y₂，z₂，t₂，s₂)，...，(x_n，y_n，z_n，t_n，s_n)}，就可获取到与

种螺纹面对应的标记点坐标集合。

在一实施例中，可见图3，该步骤S300中执行是否符合预设的自检条件可包括步骤S310-S330，分别说明如下。

步骤S310，按顺序遍历第一组合中的所有刚体，检查单个刚体上的标记点之间组成的所有距离集合{e_j}是否符合第一条件：min(e_j)＞TH1，其中，TH1为一设定的值，即刚体上的标记点之间的任意距离不能太近，最小的距离需大于设定的阈值；若不符合第一条件，则舍弃该刚体并遍历下一个刚体，对于符合第一条件的刚体进入步骤S320；

步骤S320，若符合第一条件，则对于单个刚体的标记点之间组成的所有距离集合{e_j}中，判断任意两个距离值e_j1和e_j2是否满足第二条件；若不满足第二条件，则舍弃该刚体并遍历下一个刚体，对于满足第一条件和第二条件的刚体进入步骤S330；

步骤S330，若满足第二条件，则将单个刚体中任意四个标记点坐标构成的三个向量组成行列式，判断该行列式是否满足第三条件，若不满足，则舍弃不满足条件的刚体并遍历下一个刚体，直至筛选出符合预设的自检条件的刚体为止。

其中，第二条件具体包括：count＝∑(|e_j1-e_j2|＜TH2)，count＜3，其中，TH2为一设定的值，即单个刚体的标记点之间组成的完全一致或接近相似的距离应该少于3个，也就是最多不超过两个距离可以一致或接近相似，如果不满足该第二条件，则舍弃不满足该条件的刚体并遍历下一个刚体。

第三条件具体包括：单个刚体中任意四个标记点坐标为(p0，p1，p2，p3)，则构成的三个向量为

这三个向量组成的行列式为

判断该行列式是否满足：

其中，TH3为一设定的值，即单个刚体上的所有标记点不能位于同一平面，应该处于不共面的状态。

步骤S400，校验步骤：对于符合自检条件的刚体R_k，其中，k为

中的刚体总数，保存第一个刚体R₁到第二组合{RS_i}中，其中，i＜MAXNUM，该MAXNUM 为最终期望得到的刚体数，从第二个刚体R₂开始与第二组合中的其他刚体进行比较，根据比较结果去掉不符合预设的校验条件的刚体，即逐一保存符合预设的校验条件的刚体到第二组合中，并遍历下一个刚体，若第二组合中的刚体数量达到MAXNUM值，则退出遍历。

需要说明的是，步骤S300中的自检步骤为单个刚体进行自身的检查，看单个单体是否符合预设的自检条件，只有符合上述步骤S310-S330中的所有条件的刚体才进入步骤S400中的刚体与刚体之间的校验步骤，在一个实施例中，参见图4，执行是否符合预设的校验条件的具体步骤包括如下步骤S410-S420：

步骤S410，遍历第二组合中的所有刚体，判断刚体标记点之间组成的任意两个距离集合{e_t1}和{e_t2}是否满足：cnt＝∑(|e_t1-e_t2|＜TH2)，count＜3，即保存到第二组合{RS_i}中的任意两个刚体标记点之间组成的完全一致或接近一致的距离应该少于三个，如果不满足该条件，则舍弃不满足条件的刚体并遍历下一个刚体；

步骤S420，若满足cnt＝∑(|e_t1-e_t2|＜TH2)，count＜3的条件，分别随机取第二组合中的任一刚体与其他刚体上的3个标记点，判断3个标记点之间的连线是否组成相似三角形，并记录相似三角形的个数cnt，若cnt＜3，则该刚体符合预设的校验条件，如果不满足该条件，则舍弃该刚体并遍历下一个刚体。比如，分别随机取3个刚体上的标记点集合{rp1_t}和{rp2_t}，每个{rp1_t}和{rp2_t}中的标记点之间的距离值组合分别为{ert₁}和{ert₂}，根据式子：|er_t1-er_t2|＜TH2，判断 {ert₁}和{ert₂}对应的距离是否为相似，如果有三个距离均为相似，则{rp1_t}和{rp2_t}集合中的标记点之间能组成相似三角形，这样通过判断相似三角形的个数是否在阈值范围内，就可以判断该刚体是否符合预设的校验条件，符合该校验条件就说明刚体之间的结构等存在区别，避免了刚体之间的相似度太高。经过上述自检步骤和校验步骤后，便可使刚体标记点得到优化并尽量避免了现有技术中存在的问题。

步骤S500，计算步骤：判断新加入第二组合的刚体R_k’与已保存到第二组合中的刚体标记点之间的连线是否能组成相似三角形，若是，则计算能与刚体 R_k’组成相似三角形的刚体总数，并记录到矩阵Counter中，对Counter中的刚体总数按从小到大进行排序，则排在前面的对应刚体R_k’为优先选择用于动作捕捉的刚体。

需要理解的是，完成了校验步骤之后，还可以依据计算步骤对优化的刚体进行排序，以选择出最能提高捕捉精度的最优刚体作为优先用于动捕过程中的识别对象。具体地，校验步骤中将符合校验条件的刚体一个个保存至第二组合中，然后可将每次新加入第二组合的刚体R_k’与已保存到第二组合中的刚体进行比较，判断刚体与刚体之间的标记点的连线是否能组成相似三角形，比如，已保存有L个刚体，三次新加入的刚体编号分别为1，2，3，将每次新加入的刚体R_k’与每次已保存的L个刚体相比，判断出1号新加入的刚体能与4个已保存的刚体组成相似三角形，2号新加入的刚体能与3个已保存的刚体组成相似三角形， 3号新加入的刚体能与2个已保存的刚体组成相似三角形，那么1-3号新加入的刚体对应的能与其他刚体组成相似三角形的刚体总数分别为[4，3，2]，并将这些对应的刚体总数记录到一个矩阵Counter中，最后对Counter中的刚体总数[4，3，2] 按从小到大的顺序进行排序后就是[2，3，4]，对应新加入的刚体的编号排序后则为[3，2，1]，则排在前面的3号刚体可以视为差异性较大的刚体，其次是2号和1 号刚体，在动作捕捉过程中，将优先选择排在前面的刚体作为识别对象。

实施例三：

请参考图5，本申请在实施例二公开一种刚体标记点优化选择方法的基础上，还公开一种光学动作捕捉系统，其不仅包括待捕捉的多个标记点和对这些标记点进行摄像的多个相机，还包括处理器12。

其中，多个标记点设置在运动空间中的一个或多个捕捉对象11上，如图5 所示。多个相机分布在运动空间中，均与处理器12通信连接，以对捕捉对象11 上的标记点进行摄像。

需要说明的是，本实施例中提到的标记点可以是光学动作捕捉系统中常用到的对刚体进行配置的反光标记点或荧光标记点，还可以是可以主动发光的主动式标记点。

处理器12用于根据实施例二中公开的刚体标记点优化选择方法对各个标记点进行优化筛选。例如，根据步骤S200周期性地获取多个不同长度支撑杆上的标记点坐标集合，然后根据步骤S300-S400对刚体上的标记点执行自检步骤和校验步骤，直至所有标记点符合预设的条件之后，进入步骤S500以对各个刚体进行排序，从而得到可优先选择利用的刚体。

进一步地，本申请还从硬件处理的角度对本实施例中刚体标记点优化选择设备进行详细描述，请参见图6。

图6是本实施例提供的一种刚体标记点优化选择设备的结构示意图，该设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对该设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在该设备600上执行存储介质630中的一系列指令操作。

该设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的设备600结构并不构成对本申请提供的刚体标记点优化选择设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行上述刚体标记点优化选择方法的步骤。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims

1.一种刚体标记点优化选择方法，其特征在于，包括以下步骤：

获取步骤：获取多个具有不同支撑杆长度的标记点坐标集合：Coor_i{(x₁，y₁，z₁，t₁，s₁)，(x₂，y₂，z₂，t₂，s₂)，...，(x_n，y_n，z_n，t_n，s_n)}，其中，x、y、z代表三维坐标值，i＝1，2，…，a，代表标记点的编号，n＝1，2，…，b，代表刚体底座螺纹插槽的个数，t∈{1，2，…，a}代表对应的不同长度的标记点支撑杆编号，s∈{1，2，…，c}代表刚体底座螺纹面的编号；

自检步骤：从所述刚体底座螺纹面中选取m个螺纹面组成组合