CN112215955A

CN112215955A - 一种刚体标记点筛选方法、装置、系统、设备及存储介质

Info

Publication number: CN112215955A
Application number: CN202011038616.XA
Authority: CN
Inventors: 黄少光; 许秋子
Original assignee: Shenzhen Realis Multimedia Technology Co Ltd
Current assignee: Shenzhen Realis Multimedia Technology Co Ltd
Priority date: 2020-09-27
Filing date: 2020-09-27
Publication date: 2021-01-12

Abstract

本发明公开了一种刚体标记点筛选方法，包括：实时追踪场景中刚体标记点的3D位置信息，其中每个刚体对应的标记点之间的距离集合为，并根据集合E_i0得到最大距离；获取初始时刻的刚体信息，获取t时刻稳定的刚体姿态四元数和位置信息，并计算出对应的刚体标记点3D坐标集合；根据初始时刻的刚体信息以及t时刻刚体姿态四元数和位置信息，计算出t时刻刚体中心位置；最后根据最大距离、3D坐标集合、刚体中心位置以及刚体追踪失败记录筛选得到符合预设条件的刚体标记点。通过该方法可有效减少在多刚体、多人动作捕捉的情况下特别容易出现的刚体被遮挡、刚体飞串等问题。

Description

一种刚体标记点筛选方法、装置、系统、设备及存储介质

技术领域

本发明涉及动作捕捉技术领域，具体涉及一种刚体标记点筛选方法、装置、系统、设备及存储介质。

背景技术

当前光学动作捕捉系统中，人体动作捕捉一般是通过计算佩戴在人体身上的刚体位置和姿态，从而推算出人体的身体部位和动作等信息，这就表示刚体定位和姿态解算的正确性非常关键。一般地，刚体需要3个以上标记点的3D信息才能计算出正确的姿态，为了防止遮挡，一般4个以上标记点组成一个刚体，但过多标记点也会增加系统的计算量而且也不一定稳定，因此一般选择4～6个标记点组成一个刚体即可。

现有技术中，大部分的光学动作捕捉系统的速度已经达到120fps以上，因此刚体的计算速度也是非常快的，即使在多人动捕或多刚体(比如100个刚体)的条件下也能达到很高的帧率。然而，现存的动捕系统中，在多刚体、多人动作捕捉的情况下特别容易出现刚体飞串等问题，这些问题几乎是不可避免的，主要原因是刚体与刚体之间存在局部相似性，即因为刚体与刚体之间的标记点大量存在相似三角形，同时，动捕过程中特别容易存在刚体被遮挡的情况，由此导致刚体追踪失败或错误。

发明内容

为解决上述技术问题，本申请提出一种刚体标记点筛选方法来减少在多刚体、多人动作捕捉的情况下特别容易出现的刚体被遮挡、刚体飞串等问题。

根据第一方面，一种实施例中提供一种刚体标记点筛选方法，包括以下步骤：

实时追踪场景中刚体标记点的3D位置信息，其中每个刚体对应的标记点之间的距离集合为E_i0＝{e_j}，j＝1，2，...，M，M为待追踪刚体的标记点之间距离的个数，并根据集合E_i0得到最大距离ME_i；

获取初始时刻的刚体信息P_i0＝{p_y}，其中，y＝1，2，...，Y_i，Y_i≥3，Y_i为编号为i的刚体的标记点个数；

获取t时刻稳定的刚体姿态四元数Quat_it和位置信息Pos_it，并计算出对应的刚体标记点3D坐标集合P_it＝{p_x}，其中，x＝1，2，...，X，X≥3，X为编号为i的刚体的标记点个数；

根据初始时刻的刚体信息P_i0以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，计算出t时刻刚体中心位置PosC_it；

获取t时刻刚体追踪失败记录C_it，根据所述最大距离ME_i、所述3D坐标集合P_it、所述刚体中心位置PosC_it以及所述刚体追踪失败记录C_it筛选得到符合预设条件的刚体标记点，若不符合预设条件，则舍弃所述刚体标记点。

所述根据初始时刻的刚体信息P_i0以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，计算出t时刻刚体中心位置PosC_it包括：

根据初始时刻的刚体信息P_i0以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，得到计算t时刻刚体中心位置PosC_it的公式为：

其中，f(Quat_it)为将所述四元数转化为旋转矩阵函数。

所述获取t时刻刚体追踪失败记录C_it的方法包括：

获取刚体在t时刻之前的追踪失败次数，若t时刻刚体追踪成功，则将所述次数重置为0；若t时刻刚体追踪失败，则将所述次数进行加1操作。

所述根据所述最大距离ME_i、所述3D坐标集合P_it、所述刚体中心位置PosC_it以及所述刚体追踪失败记录C_it进行筛选符合预设条件的刚体标记点包括：

根据所述最大距离ME_i、所述3D坐标集合P_it、所述刚体中心位置PosC_it以及所述刚体追踪失败记录C_it得到所述预设条件：

|p_x-PosC_it|＜ME_i+C_it*λ，p_x∈P_it，λ∈(0，0.1)，其中，λ为一参数。

所述参数λ根据t时刻速度V_it＝PosC_it-PosC_i(t-1)计算得到，其中，PosC_i(t-1)为上一时刻刚体中心位置。

所述λ每经过ts时间更新一次，更新公式为：

其中，α为一固定常数。

根据第二方面，一种实施例中提供一种刚体标记点筛选装置，包括：

追踪单元，用于实时追踪场景中刚体标记点的3D位置信息，其中每个刚体对应的标记点之间的距离集合为E_i0＝{e_j}，j＝1，2，...，M，M为待追踪刚体的标记点之间距离的个数，并根据集合E_i0得到最大距离ME_i；

获取单元，用于获取初始时刻的刚体信息P_i0＝{p_y}，其中，y＝1，2，...，Y_i，Y_i≥3，Y_i为编号为i的刚体的标记点个数；获取t时刻稳定的刚体姿态四元数Quat_it和位置信息Pos_it，并计算出对应的刚体标记点3D坐标集合P_it＝{p_x}，其中，x＝1，2，...，X，X≥3，X为编号为i的刚体的标记点个数；

计算单元，用于根据初始时刻的刚体信息P_i0以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，计算出t时刻刚体中心位置PosC_it；

筛选单元，用于获取t时刻刚体追踪失败记录C_it，根据所述最大距离ME_i、所述3D坐标集合P_it、所述刚体中心位置PosC_it以及所述刚体追踪失败记录C_it筛选得到符合预设条件的刚体标记点，若不符合预设条件，则舍弃所述刚体标记点。

根据第三方面，一种实施例提供一种刚体标记点筛选系统，包括待追踪的多个刚体和对所述刚体进行拍摄的多个相机，其特征在于，还包括处理器；

多个相机分布在运动空间中，均与所述处理器通信连接，以对所述刚体上的标记点进行拍摄；

所述处理器用于根据第一方面所述的刚体标记点筛选方法对各个所述刚体标记点进行筛选。

根据第四方面，一种刚体标记点筛选设备，包括：存储器和至少一个处理

器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述刚体标记点筛选设备执行第一方面所述的方法。

根据第五方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述第一方面所述的方法。

本申请的有益效果是：

依据上述实施例的一种刚体标记点筛选方法、设备、系统及存储介质，通过实时追踪刚体标记点的3D位置信息，获取待追踪刚体的标记点之间最大距离、获取初始时刻的刚体信息以及获取t时刻刚体姿态四元数和位置信息、获取t时刻刚体追踪失败记录，然后即可计算出t时刻刚体中心位置，以及计算得到符合预设条件的刚体标记点，若不符合预设条件，则舍弃所述刚体标记点，从而完成筛选。由于增加上述预设条件约束，寻找刚体3D点坐标的阈值随着刚体追踪的失败动态地改变，即刚体的追踪空间范围随着失败的次数的增加而增加，有效地减少了遮挡导致刚体追踪失败的问题；如果一旦追踪上刚体，那么刚体的追踪空间范围也随之减小，从而提高刚体匹配和追踪的正确率，以及提高刚体姿态和位置信息的正确性。

附图说明

图1为刚体结构示意图；

图2为刚体标记点筛选方法的流程图；

图3为刚体标记点筛选装置示意图；

图4为刚体标记点筛选系统示意图；

图5为刚体标记点筛选设备示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第二”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

本申请的发明构思在于：在光学运动捕捉系统中，需要采用多个具有固定形状的刚体进行位置追踪，刚体之间相似性以及刚体被遮挡等问题需要尽量避免掉，本申请即针对安装在刚体上的标记点进行进一步筛选，从而筛选出合适的能提高动捕系统精度的标记点，这样根据筛选出的标记点即可进行后续匹配计算，从而识别出对应的刚体。

实施例一：

请参考图1，本申请公开一种刚体的结构示意图，该刚体包括：刚体底座110、支撑杆120、标记点130等，标记点至少为3个，才能保证动作捕捉计算的准确性，其数量与支撑杆的数量相同，为了便于动捕系统计算标记点坐标时区分不同的标记点，任意两个标记点之间的距离尽量互不相同，也就是尽量避免出现相似三角形，以保证动捕系统对刚体进行有效识别。这些距离也可以称为刚体对应的边长，如图1所示，每个刚体对应的标记点130之间的距离即刚体的边长有三个，分别为M1、M2、M3，其中，M3为最大边长(最大距离)。

实施例二：

请参考图2，在理解了图1所示的刚体结构的基础上，本实施例公开了一种如何对刚体标记点进行筛选的方法，请求保护的该方法包括步骤S210-S250，下面将分别说明。

步骤S210，实时追踪场景中刚体标记点的3D位置信息，其中每个刚体对应的标记点之间的距离集合为E_i0＝{e_i}，j＝1，2，...，M，M为待追踪刚体的标记点之间距离的个数，并根据集合E_i0得到最大距离ME_i；

首先采用现有的算法实时获得刚体标记点的3D位置信息，并利用算法绑定待追踪刚体R_i0的信息，i＝1，2，...，N，N为待追踪刚体数，以便于实时得到每个刚体的位置信息等。每个刚体对应的标记点之间的距离集合为E_i0＝{e_j}，也就是图1所示的标记点之间距离M1、M2、M3等组成距离集合E_i0，j＝1，2，...，M，M为待追踪刚体的标记点之间距离的个数，M至少为3个距离数(3条边长)，用于刚体的识别或匹配，并根据集合E_i0得到最大距离ME_i。

步骤S220，获取初始时刻的刚体信息P_i0＝{p_y}，其中，y＝1，2，...，Y_i，Y_i≥3，Y_i为编号为i的刚体的标记点个数；

比如人体在进行动作捕捉时，身上各个部位会佩戴多个刚体，此时就需要获得每个刚体t＝0时刻的信息，也就是初始时刻信息，以便后续进行筛选，初始时刻的刚体信息通过步骤S210即可获得，上述待追踪刚体的标记点之间距离的个数也就是刚体的边长M＝Y_i*(Y_i-1)/2。

步骤S230，获取t时刻稳定的刚体姿态四元数Quat_it和位置信息Pos_it，并计算出对应的刚体标记点3D坐标集合P_it＝{p_x}，其中，x＝1，2，...，X，X≥3，X为编号为i的刚体的标记点个数；

获取初始时刻每个刚体的信息之后，还要获取t时刻的刚体姿态四元数Quat_it和位置信息Pos_it，对于任意刚体R_it，i＝1，2，...，N，N为待追踪刚体数，t为时间，计算出的刚体R_it对应的标记点3D坐标集合为P_it＝{p_x}，其中，x＝1，2，...，X，X≥3，X为编号为i的刚体的标记点个数，该坐标集合P_it可以通过将刚体R_it放在捕捉效果较好的场景区域下，结合现有的3D重建算法和匹配算法计算得到。

步骤S240，根据初始时刻的刚体信息P_i0以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，计算出t时刻刚体中心位置PosC_it；

在一实施例中，根据上述初始时刻的刚体信息P_i0＝{p_y}以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，可得到计算t时刻刚体中心位置PosC_it的公式：

其中，f(Quat_it)代表将四元数Quat_it转化为旋转矩阵函数，通过该计算公式即可得到t时刻的刚体上所有标记点的中心位置，以便后续将所有标记点与该中心点PosC_it进行对比筛选。

步骤S250，获取t时刻刚体追踪失败记录C_it，根据最大距离ME_i、3D坐标集合P_it、刚体中心位置PosC_it以及刚体追踪失败记录C_it筛选得到符合预设条件的刚体标记点，用于后续匹配计算和识别步骤，若不符合预设条件，则舍弃该刚体标记点。

需要说明的是，获取t时刻刚体追踪失败记录C_it的方法包括：获取刚体在t时刻之前的追踪失败次数C_it′，若t时刻成功追踪到刚体信息，则将次数C_it′重置为0，即令t时刻刚体追踪失败记录C_it＝0；若t时刻追踪刚体信息失败，则将次数C_it′进行加1操作，即令t时刻刚体追踪失败记录C_it＝C_it′+1。

在一实施例中，根据最大距离ME_i、3D坐标集合P_it、刚体中心位置PosC_it以及刚体追踪失败记录C_it进行筛选可得到符合预设条件的刚体标记点，该预设条件为评判是否筛选到合格标记点的依据，即根据以下预设条件进行动态约束每个时刻下刚体的标记点集合P_it中的各个标记点p_x：

上述预设条件可理解为t时刻各个标记点p_x与中心点PosC_it之间的距离差值的绝对值应该随着标记点之间的最大距离与追踪失败次数动态变化，即该预设条件是动态约束标记点的，会随着刚体追踪的失败次数动态地改变，刚体的追踪空间范围(代表各个标记点p_x与中心点PosC_it之间的距离，以中心点向周围辐射，追踪空间越大，得到的标记点位置就越多，也就是追踪范围增大了)随着失败的次数增加而增加，范围增加了，就可追踪到更多的标记点，即防止追踪不到未被遮挡的标记点，这样就有效减少了标记点被遮挡导致的刚体追踪失败的问题，最终保证能够筛选到未被遮挡的标记点，以便用于刚体匹配和识别。同时，一旦追踪上刚体信息，则追踪失败次数减少，说明不需要扩大追踪范围来寻找未被遮挡的标记点，这样刚体的追踪空间范围也随之减小，从而提高刚体匹配和追踪的正确率，以及提高了刚体姿态和位置信息的正确性。

在另一实施例中，参数λ根据t时刻速度V_it＝PosC_it-PosC_i(t-1)计算得到，其中，PosC_i(t-1)为上一时刻刚体中心位置。

该参数λ每经过ts时间更新一次，更新公式为：

其中，α为一固定常数，若更新后的λ超过0.1，则令λ＝0.1，否则按照上述更新公式计算出λ。

实施例三：

请参考图3，本申请在实施例二公开一种刚体标记点筛选方法的基础上，还公开一种刚体标记点筛选装置，包括：

追踪单元310，用于实时追踪场景中刚体标记点的3D位置信息，其中每个刚体对应的标记点之间的距离集合为E_i0＝{e_i}，j＝1，2，...，M，M为待追踪刚体的标记点之间距离的个数，并根据集合E_i0得到最大距离ME_i；

获取单元320，用于获取初始时刻的刚体信息P_i0＝{p_y}，其中，y＝1，2，...，Y_i，Y_i≥3，Y_i为编号为i的刚体的标记点个数；获取t时刻稳定的刚体姿态四元数Quat_it和位置信息Pos_it，并计算出对应的刚体标记点3D坐标集合P_it＝{p_x}，其中，x＝1，2，...，X，X≥3，X为编号为i的刚体的标记点个数；

计算单元330，用于根据初始时刻的刚体信息P_i0以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，计算出t时刻刚体中心位置PosC_it；

筛选单元340，用于获取t时刻刚体追踪失败记录C_it，根据上述最大距离ME_i、3D坐标集合P_it、刚体中心位置PosC_it以及刚体追踪失败记录C_it筛选得到符合预设条件的刚体标记点，若不符合预设条件，则舍弃该刚体标记点。

请参考图4，本申请还公开了一种刚体标记点筛选系统，包括：待追踪的多个刚体，即捕捉对象11和对该刚体进行拍摄的多个相机1、相机2、相机m、相机i等，其特征在于，还包括处理器12；

多个相机分布在运动空间中，均与处理器12通信连接，以对刚体上的标记点11进行拍摄；

处理器12用于根据实施例二的刚体标记点筛选方法对各个刚体标记点11进行筛选。

需要说明的是，本实施例中提到的标记点可以是光学动作捕捉系统中常用到的对刚体进行配置的反光标记点或荧光标记点，还可以是可以主动发光的主动式标记点。

处理器12用于根据现有算法获取多个标记点3D坐标集合，然后根据实施例二中公开的步骤S210-S250得到符合预设条件的刚体标记点，从而完成筛选，并为后续匹配计算和识别提供准确的数据等。

进一步地，本申请还从硬件处理的角度对本实施例中刚体标记点筛选设备进行详细描述，请参见图5。

图5是本实施例提供的一种刚体标记点筛选设备的结构示意图，该设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对该设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在该设备500上执行存储介质530中的一系列指令操作。

该设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的设备500结构并不构成对本申请提供的刚体标记点筛选设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行上述刚体标记点筛选方法的步骤。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims

1.一种刚体标记点筛选方法，其特征在于，包括以下步骤：

2.如权利要求1所述的刚体标记点筛选方法，其特征在于，所述根据初始时刻的刚体信息P_i0以及t时刻刚体姿态四元数Quat_it和位置信息Pos_it，计算出t时刻刚体中心位置PosC_it包括：

其中，f(Quat_it)为将所述四元数转化为旋转矩阵函数。

3.如权利要求1所述的刚体标记点筛选方法，其特征在于，所述获取t时刻刚体追踪失败记录C_it的方法包括：

4.根据权利要求1所述的刚体标记点筛选方法，其特征在于，所述根据所述最大距离ME_i、所述3D坐标集合P_it、所述刚体中心位置PosC_it以及所述刚体追踪失败记录C_it进行筛选符合预设条件的刚体标记点包括：

5.如权利要求4所述的刚体标记点筛选方法，其特征在于，所述参数λ根据t时刻速度V_it＝PosC_it-PosC_i(t-1)计算得到，其中，PosC_i(t-1)为上一时刻刚体中心位置。

6.如权利要求5所述的刚体标记点筛选方法，其特征在于，所述参数λ每经过ts时间更新一次，更新公式为：

其中，α为一固定常数。

7.一种刚体标记点筛选装置，其特征在于，包括：

8.一种刚体标记点筛选系统，包括待追踪的多个刚体和对所述刚体进行拍摄的多个相机，其特征在于，还包括处理器；

所述处理器用于根据权利要求1-6任一项所述的刚体标记点筛选方法对各个所述刚体标记点进行筛选。

9.一种刚体标记点筛选设备，其特征在于，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述刚体标记点筛选设备执行如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-6中任一项所述的方法。