CN117934572B - 一种3d骨骼坐标系与vr头显坐标系对齐的方法 - Google Patents

Abstract

本发明公开了一种3D骨骼坐标系与VR头显坐标系对齐的方法，涉及机器视觉技术领域，包括：通过三维人体姿态估计，获取姿态估计结果，同时记录VR头显坐标和手柄的坐标，以及VR头显和所述手柄的四元数；其中，姿态估计结果包括人体骨骼坐标及骨骼四元数；根据姿态估计结果，以及所述VR头显坐标和手柄的坐标，分别获得深度相机坐标系及VR头显坐标系中的对应特征点；筛选对应特征点，计算深度相机坐标系与VR头显坐标系之间的外参，通过所述外参，实现深度相机坐标系与所述VR头显坐标系的对齐；其中，对应特征点为骨骼四元数及VR头显和所述手柄的四元数点集。本发明满足了高级VR全身追踪系统及其多头显混搭的需求。

Description

一种3D骨骼坐标系与VR头显坐标系对齐的方法

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种3D骨骼坐标系与VR头显坐标系对齐的方法。

背景技术

在当前的机器视觉技术中，通过对人体动作进行捕捉，可以有效地提取出人体3D骨骼坐标。当这种技术与虚拟现实（VR）相结合时，它能够为VR头显提供全身追踪的功能，从而使用户在虚拟环境中获得更真实和沉浸式的体验。

目前市场上的多数VR头显都具备自己的空间定位功能。例如，Vive index头显基于HTC基站来实现其6DOF空间坐标的定位；而Oculus和Pico头显则结合其自带的摄像头和惯性传感器来进行SLAM重建，以确定自身在周围环境中的6DOF空间坐标。这种方式为VR头显提供了准确的空间位置和方向信息。

然而，当我们希望将机器视觉提取出的3D骨骼坐标应用到VR头显中进行全身追踪时，一个关键的问题是坐标系的对齐。骨骼坐标系与VR头显的坐标系可能存在偏差，如果不进行适当的转换，用户的身体某些部位（如脚）在VR环境中的位置可能会出现偏差。

针对上述问题，现有的视觉坐标对齐方法大致分为以下几个步骤：

Step1：采用相机进行三维人体姿态估计，特定寻找头部骨骼并确定其四元数。如果头部骨骼未提供准确的四元数旋转值，或提供的值存在偏差，可以通过数学方法重新计算头部旋转，从而得到更准确的头部骨骼四元数。这一步的姿态估计算法可以根据实际应用需要进行选择。

Step2：在姿态估计结果中找到头部坐标，并与此同时确定VR头显的头部坐标及其四元数。

Step3：利用两组四元数点集，使用点云配准算法计算深度相机提取出的骨骼坐标系与VR坐标系之间的外参。常用的算法如迭代最近点算法（ICP）。

Step4：通过第三步得到的外参将深度相机的坐标系与VR坐标系对齐。

但这种方法存在明显的缺陷。首先，由于姿态估计算法可能对空间坐标的估计存在不准确性，或者提供的四元数可能有误，这会直接影响到后续的对齐步骤。在第三步中，由于前期提供的数据可能存在不准确，所使用的点云配准算法可能无法完美地实现骨骼坐标系与VR坐标系之间的对齐。在实际应用中，这会导致对齐成功率低下，并且准确度不够高。因此，当用户在VR中观察自己的骨骼时，可能会发现骨骼出现明显的偏差或歪斜。

综上，对于机器视觉人体姿态估计算法提取的3D骨骼点与VR头显的坐标系对齐，仍需要更加准确的方法来解决上述问题。

发明内容

本发明针对传统的视觉坐标系对齐方法存在的缺陷，提出了一种3D骨骼坐标系与VR头显坐标系对齐的方法，适用于单个或者多个相机，也适用于基于RGB相机或者基于RGB-D相机的人体姿态估计。

为实现上述目的，本发明提供了一种3D骨骼坐标系与VR头显坐标系对齐的方法，包括：

通过三维人体姿态估计，获取姿态估计结果，同时记录VR头显坐标和手柄的坐标，以及所述VR头显和所述手柄的四元数；其中，所述姿态估计结果包括人体骨骼坐标及骨骼四元数；

根据所述姿态估计结果，以及所述VR头显坐标和手柄的坐标，分别获得深度相机坐标系及VR头显坐标系中的对应特征点；

筛选所述对应特征点，计算所述深度相机坐标系与所述VR头显坐标系之间的外参，通过所述外参，实现所述深度相机坐标系与所述VR头显坐标系的对齐；其中，所述对应特征点为骨骼四元数及所述VR头显和所述手柄的四元数点集。

优选地，通过所述三维人体姿态估计前包括：对相机进行外参标定，利用标定好的相机基于单位人体姿态估计算法进行所述三维人体姿态估计。

优选地，获取所述姿态估计结果，包括：

通过所述三维人体姿态估计，找到人体头部骨骼坐标和手部骨骼坐标，并提取头部骨骼四元数和手部骨骼四元数；

若所述四元数不提供或不准确，则通过姿态估计算法重新计算，获取所述头部骨骼四元数和所述手部骨骼四元数；其中所述姿态估计算法包括基于深度学习的实时人体姿态估计方法、AlphaPose、SPIN和3DMPPE法。

优选地，筛选所述骨骼四元数及所述VR头显和所述手柄的四元数点集，包括：

通过滑动窗口和移动平均线的方法进行筛选；

选择固定长度为的窗口，获取相邻t个时刻当中头显坐标系和深度相机坐标系对应的点/>；

对于每个窗口，计算相邻数据点之间的距离，并存储在一个数组中，计算所述数组的标准差；

若所述标准差小于稳定系数，则认为当前窗口内的数据点为稳定点，对所述稳定点进行筛选，获得筛选后的点集；

其中，计算所述相邻数据点之间的距离的方法为：

式中，为在VR头显坐标系下点i与点i-1的三维空间的距离，/>为在VR头显坐标系下点i的三维空间位置，/>为在VR头显坐标系下点i-1的三维空间位置，/>为在深度相机坐标系下点i与点i-1的三维空间的距离，/>为在深度相机坐标系下点i的三维空间位置，为在深度相机坐标系下点i-1的三维空间位置，/>为欧氏距离的计算方法。

优选地，对所述稳定点进行筛选，获得筛选后的点集，包括：

计算所述稳定点所在数组之间的坐标的平均值，将所述平均值的坐标点作为代表点；

在所述代表点中选择距离相差较大的点通过聚类算法进行坐标系配准，并将所有数据点输入到k-means中，运行后获得P个聚类中心，作为可靠点一；

所述代表点和所述可靠点一即为筛选出的点集。

优选地，计算所述深度相机坐标系与所述VR头显坐标系之间的外参，包括：

基于所述代表点和所述可靠点，通过点云配准方法计算出深度相机坐标系与VR头显坐标系之间的外参。

优选地，计算所述外参的方法包括：

计算当前帧取出的点与前若干帧的可靠点之间的距离，当所述距离大于预设阈值时，则选择此点为可靠点二，所述预设阈值的具体取值即为所述外参。

与现有技术相比，本发明具有如下优点和技术效果：

本发明通过结合滑动窗口、移动平均线、聚类算法等策略，显著提高了基于机器视觉人体三维姿态估计算法提取出的骨骼坐标系，和头显坐标系对齐的精度和准确率，极大的提高了鲁棒性，满足了高级VR全身追踪系统及其多头显混搭的需求。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的一种3D骨骼坐标系与VR头显坐标系对齐的方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了一种3D骨骼坐标系与VR头显坐标系对齐的方法，如图1，与现有方法不同，本发明适用于单个或者多个相机，也适用于基于RGB相机或者基于RGB-D相机的人体姿态估计，具体步骤如下：

Step1：对使用的所有相机进行外部参数标定，此步骤可以用多种算法，包括但不限于如：Zhang's method（经典的标定方法）、Bouguet's method、DLT (Direct LinearTransform)。

Step2：利用相机使用三维人体姿态估计算法进行三维人体姿态估计，找到头部骨骼，并获取其四元数。若头部四元数不准确或未提供，可采取数学方法重新计算，确保头部骨骼四元数的准确性，同时按照同样的方法提取到双手的手部骨骼都四元数，此步骤中的姿态估计算法可以用多种算法，包括但不限于：OpenPose（基于深度学习的实时人体姿态估计）、AlphaPose、SPIN (Smoothing and Prediction with Input Noise)、3DMPPE (3DMulti-Person Pose Estimation)。

Step3：获取姿态估计结果中的头部和双手手部坐标，并同步记录VR头显的头部坐标和双手手部坐标和其四元数，获得深度相机坐标系及VR头显坐标系中的对应特征点。

Step4：通过滑动窗口和移动平均线的方法筛选稳定的点集，此步骤中可以用多种筛选点集的算法，如：RANSAC（随机采样一致性算法）、DBSCAN（基于密度的空间聚类应用噪声）、Mean-Shift。

Step5：采用聚类算法在稳定的点集中筛选出距离较大的点，此步骤可以用多种算法，如K-means、Spectral clustering、Agglomerative clustering、OPTICS（OrderingPoints To Identify the Clustering Structure）。

Step6：使用点云配准算法，如ICP，根据两组筛选后的点集，计算深度相机提取的骨骼坐标系与VR头显坐标系之间的外参，如ICP (Iterative Closest Point)、GICP(Generalized ICP)、NDT (Normal Distribution Transform)、Go-ICP。

Step7：应用计算得到的外参，实现深度相机坐标系与VR头显坐标系的对齐。

需要说明的是，由于OPEN VR驱动的限制，大部分情况下可能取不到手柄坐标，此时只有头显的坐标，这时Step2、Step3和Step6中提到的手柄、手部骨骼的四元数是非必要的。

实施例1

本实施例提供了一种针对使用1台RGB相机，并且只用到了头部骨骼四元数的情景：

Step1：利用RGB相机使用三维人体姿态估计算法进行三维人体姿态估计，这里可以使用Openpose，找到头部骨骼，并获取其四元数。

四元数的关键点在于旋转和平移，由于在本实施例中，Openpose提取出的头部骨骼的四元数中的旋转值非常不准确，需要进行一些计算来获取一个相对准确的四元数，比如可以要求人体垂直面对相机，头部朝向正面，取胸口、左肩、右肩三个点连成一个面，取这个面的垂线，用这根垂线的方向作为头部四元数中的旋转数据，则得到一个旋转和平移都比较准确的头部骨骼点的四元数。

Step2：获取姿态估计结果中的头部骨骼四元数，并同步记录VR头显的头部坐标和其四元数，获得深度相机坐标系及VR头显坐标系中的对应特征点。

Step3：通过滑动窗口和移动平均线的方法筛选稳定的点集，此实施例中，从头显坐标系和RGB相机提取出的骨骼坐标系当中取出头部点坐标时，会出现捕获的点与点之间会有误差扰动，由于会产生这种误差，所以在此实施例中使用滑动窗口和移动平均线的方法去解决稳定点的选取，这里做一些符号的约定：头显坐标系的稳定点的集合定义为，深度相机坐标系的稳定的点定义为/>，/>表示为稳定点的个数，其中定义稳定点的集合为/>，其中/>对应的是同一时刻的不同空间坐标系下的点。

具体计算步骤如下：

1、选择一个固定长度为的窗口，在数据中滑动，具体为：

先取出相邻t个时刻当中头显坐标系和深度相机坐标系对应的点；

2、对于每个窗口，计算相邻数据点之间的距离，并将这些距离存储在一个数组当中，具体为：

计算出前后帧的距离为；

计算相邻数据点之间的距离的方法为：

式中，为在VR头显坐标系下点i与点i-1的三维空间的距离，/>为在VR头显坐标系下点i的三维空间位置，/>为在VR头显坐标系下点i-1的三维空间位置，/>为在深度相机坐标系下点i与点i-1的三维空间的距离，/>为在深度相机坐标系下点i的三维空间位置，为在深度相机坐标系下点i-1的三维空间位置，/>为欧氏距离的计算方法。

3、计算这个数组的标准差：

计算出个距离的标准差/>；

4、若标准差小于一个预设的阈值，则认为当前窗口内的数据点是稳定的点：

通过计算得到的标准差判断其是否大于一个阈值，其中/>表示稳定系数。

5、为了减少获取得到的点与点之间的误差，当判断这一组点为稳定点时，通过计算出这一组点之间的坐标的平均值，将这个均值坐标作为这组稳定点的代表点。

Step4：使用聚类算法，在稳定的点集当中选择相差距离较大的点，在本实施例的实际场景中，进行坐标系配准时，如果人体出现了细微的移动，选取出来的稳定点，在进行配准时会出现配准的精度大打折扣的问题，甚至会出现局部的最优解的问题，为了避免这种情况的产生，提出了一种基于聚类的可靠点选取算法，在本实施例中使用了k-means算法，首先将所有数据点输入到k-means中，运行后得到P个聚类中心，作为可靠点一。

Step5：将通过筛选的两组点集，通过点云配准的算法从而计算出RGB相机提取出的骨骼坐标系与VR头显坐标系之间的外参。

Step6：通过计算得到的外参最终将RGB相机提取出的骨骼坐标系与VR头显坐标系达到对齐。

在本实施例中，由于只用到了头部骨骼为了增加其稳定性，可以多挑选几帧，多次进行的Step1-Step5的步骤，从而得出更准确的RGB相机提取出的骨骼坐标系与VR头显坐标系之间的外参用于对齐。

实施例2

本实施例提供了一种针对使用2台RGB-D相机，并且同时用到了头部骨骼和两只手部骨骼点共3个骨骼点的四元数的情景，由于用到了多个相机，相比实施例1，需要对多个相机之间相对的外参进行标定，同时需要对齐提取出的骨骼进行一些处理：

Step1：对多个相机进行外参标定，如使用了多个相机。

Step2：利用RGB-D相机使用三维人体姿态估计算法进行三维人体姿态估计，这里可以使用Azure Kinect Body Tracking SDK，找到头部骨骼，并获取其四元数。四元数的关键点在于旋转和平移，由于在本实施例中，Azure Kinect Body Tracking SDK提取出的头部骨骼的四元数中的旋转值比较准确，所以不需要进行额外处理，直接提取头部骨骼点的四元数，双手手部骨骼点的四元数同理。

Step3：获取姿态估计结果中的头部和双手手部骨骼点的四元数，并同步记录VR头显的头部坐标和双手柄的坐标和其四元数，获得深度相机坐标系及VR头显坐标系中的对应特征点。

Step4：通过滑动窗口和移动平均线的方法筛选稳定的点集，此实施例中，从头显坐标系和RGB-D相机提取出的骨骼坐标系当中取出头部和手部骨骼坐标时，会出现捕获的点与点之间会有误差扰动，由于会产生这种误差，所以在此实施例中使用滑动窗口和移动平均线的方法去解决稳定点的选取，这里做一些符号的约定：

头显坐标系的稳定点的集合定义为，深度相机坐标系的稳定点的集合定义为/>，/>表示为稳定的点的个数，定义稳定点的集合为，其中/>对应的是同一时刻的不同空间坐标系下的点。

具体计算步骤如下：

1、选择一个固定长度为的窗口，在数据中滑动，具体为：

先取出相邻t个时刻当中头显坐标系和深度相机坐标系对应的点；

2、对于每个窗口，计算相邻数据点之间的距离，并将这些距离存储在一个数组当中，具体为：

计算出前后帧的距离为；

计算相邻数据点之间的距离的方法为：

式中，为在VR头显坐标系下点i与点i-1的三维空间的距离，/>为在VR头显坐标系下点i的三维空间位置，/>为在VR头显坐标系下点i-1的三维空间位置，/>为在深度相机坐标系下点i与点i-1的三维空间的距离，/>为在深度相机坐标系下点i的三维空间位置，为在深度相机坐标系下点i-1的三维空间位置，/>为欧氏距离的计算方法。

3、计算这个数组的标准差：

计算出个距离的标准差/>；

4、若标准差小于一个预设的阈值，则认为当前窗口内的数据点是稳定的点：

5、通过计算得到的标准差判断其是否大于一个阈值，其中/>表示稳定系数。为了减少获取得到的点与点之间的误差，当判断这一组点为稳定点时，通过计算出这一组点之间的坐标的平均值/>，将这个均值坐标作为这组稳定点的代表点。

Step5：使用聚类算法，在稳定的点集当中选择相差距离较大的点，在本实施例的实际场景中，进行坐标系配准时，如果人体出现了细微的移动，选取出来的稳定点，在进行配准时会出现配准的精度大打折扣的问题，甚至会出现局部的最优解的问题，为了避免这种情况的产生，提出了一种基于聚类的可靠点选取算法，在本实施例中使用了k-means算法。首先将所有数据点输入到k-means中，运行后得到P个聚类中心，作为可靠点一。

其中，选择相差距离较大的点的判定规则为：计算点与点之间的欧氏距离，若欧式距离大于预设阈值c，则判定为相差距离较大。

Step6：将通过筛选的两组点集，通过点云配准的算法从而计算出RGB-D相机提取出的骨骼坐标系与VR头显坐标系之间的外参，由于实际操作的时候，点是一帧一帧取的，根据编程的思想，可以延长时间多取一些帧来对比，来换取更高的准确度和成功率，在本实施例中使用了如下方法：可以计算当前帧取出的点与前几帧的可靠点之间的距离，当这个距离大于一个阈值时，则选择此点为可靠点二，这个/>的具体取值需要根据实际场景中对精度的需求来调整。

Step7：通过计算得到的外参最终将RGB-D相机提取出的骨骼坐标系与VR头显坐标系达到对齐。

为了增加其稳定性，可以多挑选几帧，多次进行的Step1-Step6的步骤，从而测出更准确的RGB-D相机提取出的骨骼坐标系与VR头显坐标系之间的外参用于对齐。

在本发明中涉及“step1”、“step2”、步骤的名称的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“step1”、“step2”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术本实施例可以相互结合，但是必须是以本领域熟练技术人员能够实现为基础，当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在，也不在本发明要求的保护范围之内。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种3D骨骼坐标系与VR头显坐标系对齐的方法，其特征在于，包括：

通过三维人体姿态估计，获取姿态估计结果，同时记录VR头显坐标和手柄的坐标，以及所述VR头显和所述手柄的四元数；其中，所述姿态估计结果包括人体骨骼坐标及骨骼四元数；

根据所述姿态估计结果，以及所述VR头显坐标和手柄的坐标，分别获得深度相机坐标系及VR头显坐标系中的对应特征点；

筛选所述对应特征点，计算所述深度相机坐标系与所述VR头显坐标系之间的外参，通过所述外参，实现所述深度相机坐标系与所述VR头显坐标系的对齐；其中，所述对应特征点为骨骼四元数及所述VR头显和所述手柄的四元数点集；

筛选所述骨骼四元数及所述VR头显和所述手柄的四元数点集，包括：

通过滑动窗口和移动平均线的方法进行筛选；

选择固定长度为的窗口，获取相邻t个时刻当中头显坐标系和深度相机坐标系对应的点/>；

对于每个窗口，计算相邻数据点之间的距离，并存储在一个数组中，计算所述数组的标准差；若所述标准差小于稳定系数，则认为当前窗口内的数据点为稳定点，对所述稳定点进行筛选，获得筛选后的点集；

其中，计算所述相邻数据点之间的距离的方法为：

，/>式中，/>为在VR头显坐标系下点i与点i-1的三维空间的距离，/>为在VR头显坐标系下点i的三维空间位置，/>为在VR头显坐标系下点i-1的三维空间位置，/>为在深度相机坐标系下点i与点i-1的三维空间的距离，/>为在深度相机坐标系下点i的三维空间位置，/>为在深度相机坐标系下点i-1的三维空间位置，/>为欧氏距离的计算方法；

对所述稳定点进行筛选，获得筛选后的点集，包括：

计算所述稳定点所在数组之间的坐标的平均值，将所述平均值的坐标点作为代表点；

在所述代表点中选择距离相差较大的点通过聚类算法进行坐标系配准，并将所有数据点输入到k-means中，运行后获得P个聚类中心，作为可靠点一；

所述代表点和所述可靠点一即为筛选出的点集。

2.根据权利要求1所述的3D骨骼坐标系与VR头显坐标系对齐的方法，其特征在于，通过所述三维人体姿态估计前包括：对相机进行外参标定，利用标定好的相机基于单位人体姿态估计算法进行所述三维人体姿态估计。

3.根据权利要求1所述的3D骨骼坐标系与VR头显坐标系对齐的方法，其特征在于，获取所述姿态估计结果，包括：

通过所述三维人体姿态估计，找到人体头部骨骼坐标和手部骨骼坐标，并提取头部骨骼四元数和手部骨骼四元数；

若所述四元数不提供或不准确，则通过姿态估计算法重新计算，获取所述头部骨骼四元数和所述手部骨骼四元数；其中所述姿态估计算法包括基于深度学习的实时人体姿态估计方法、AlphaPose、SPIN和3DMPPE法。

4.根据权利要求1所述的3D骨骼坐标系与VR头显坐标系对齐的方法，其特征在于，计算所述深度相机坐标系与所述VR头显坐标系之间的外参，包括：

基于所述代表点和所述可靠点，通过点云配准方法计算出深度相机坐标系与VR头显坐标系之间的外参。

5.根据权利要求4所述的3D骨骼坐标系与VR头显坐标系对齐的方法，其特征在于，计算所述外参的方法包括：

计算当前帧取出的点与前若干帧的可靠点之间的距离，当所述距离大于预设阈值时，则选择此点为可靠点二，所述预设阈值的具体取值即为所述外参。