CN113160295A - 一种关节点位置修正方法和装置 - Google Patents

Abstract

本申请提供了一种关节点位置修正方法和装置，其中，方法包括：获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息；根据第一数据下的关节点位置信息，确定第一数据下的动力学信息；根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。本申请能够根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，并能够根据第一数据下的动力学信息，准确地确定出第一数据下需要修正的目标关节点的位置信息，之后可对需要修正的目标关节点的位置信息进行修正，从而获得较为准确的关节点位置信息。

Description

一种关节点位置修正方法和装置

技术领域

本申请涉及计算机图像处理技术领域，特别是涉及一种关节点位置修正方法和装置。

背景技术

人体骨架关节点检测技术是人体姿态估计、动作识别、行为预测等任务的基础，在人机交互、虚拟现实等领域有重要的应用价值。

目前的人体骨架关节点检测方案多为基于神经网络模型的检测方案，神经网络模型的改进和训练数据的增多，使得该种方案的检测准确率越来越高。然而，基于神经网络模型的检测方案仅局限于二维图像，即其能准确地检测出二维人体骨架关节点的位置，但其对于三维人体骨架关节点的检测效果不佳。

随着深度摄像机的日益普及，利用深度摄像机获取三维人体骨架关节点的位置变得方便。然而，由于某些原因(比如人体自遮挡、拍摄环境不佳等)，利用深度摄像机获取的三维人体骨架关节点的位置不准确。

发明内容

有鉴于此，本申请提供了一种关节点位置修正方法和装置，用于在现有技术获得的目标对象的关节点的位置信息不准确时，对不准确的关节点的位置信息进行修正，其技术方案如下：

一种关节点位置修正方法，包括：

获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息，其中，目标数据序列为三维数据采集设备针对目标对象采集的包含目标对象的关节点信息的三维数据序列；

根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，动力学信息能够表征目标对象的关节点的运动情况；

根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。

可选的，根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，包括：

根据第一数据下的关节点位置信息和第二数据下的关节点位置信息，确定第一数据下的动力学信息，其中，第二数据为目标数据序列中位于第一数据之前的数据。

可选的，动力学信息包括以下动力学参数中的一个或多个：

骨长信息、关节点的速度信息、关节点的加速度信息、关节角度信息、关节朝向信息；

其中，骨长信息为两个相邻关节点之间的距离，关节角度信息为三个相邻关节点的角度信息，关节朝向信息为通过三个相邻关节点所构成平面的法向量确定的角度。

可选的，根据第一数据下的关节点动力学信息，确定第一数据下需要修正的目标关节点的位置信息，包括：

对于目标对象的每个关节点：

根据第一数据下该关节点的动力学信息，确定第一数据下该关节点的动力学信息对应的权重，其中，该关节点的动力学信息对应的权重包括该关节点的动力学信息所包含的每个动力学参数对应的权重，一个动力学参数对应的权重能够表征在该动力学参数上该关节点的位置信息的准确度；

根据第一数据下该关节点的动力学信息对应的权重，确定第一数据下该关节点的位置信息的准确度；

根据第一数据下该关节点的位置信息的准确度，确定第一数据下该关节点的位置信息是否需要进行修正；

以得到第一数据下需要修正的目标关节点的位置信息。

可选的，对第一数据下目标关节点的位置信息进行修正，包括：

根据第三数据下目标关节点的位置信息，对第一数据下目标关节点的位置信息进行修正，其中，第三数据为第一数据的前向相邻数据。

可选的，根据第三数据下目标关节点的位置信息，对第一数据下目标关节点的位置信息进行修正，包括：

根据第三数据下目标关节点的位置信息，生成多个候选位置信息；

确定第一数据下多个候选位置信息分别对应的动力学信息，并确定第三数据下目标关节点的动力学信息；

根据第三数据下目标关节点的动力学信息以及第一数据下多个候选位置信息分别对应的动力学信息，从多个候选位置信息中筛选出最优的候选位置信息；

将第一数据下目标关节点的位置信息修正为最优的候选位置信息。

可选的，根据第三数据下目标关节点的动力学信息以及第一数据下多个候选位置信息分别对应的动力学信息，从多个候选位置信息中筛选出最优的候选位置信息，包括：

确定第三数据下目标关节点的动力学信息与第一数据下每个候选位置信息对应的动力学信息的相似度，以得到分别对应于各个候选位置信息的相似度；

根据分别对应于各个候选位置信息的相似度，从多个候选位置信息中筛选出最优的候选位置信息。

一种关节点位置修正装置，包括：位置信息获取模块、动力学信息确定模块和位置信息修正模块；

位置信息获取模块，用于获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息，其中，目标数据序列为三维数据采集设备针对目标对象采集的包含目标对象的关节点信息的三维数据序列；

动力学信息确定模块，用于根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，动力学信息能够表征目标对象的关节点的运动情况；

位置信息修正模块，用于根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。

可选的，动力学信息包括以下动力学参数中的一个或多个：

骨长信息、关节点的速度信息、关节点的加速度信息、关节角度信息、关节朝向信息；

其中，骨长信息为两个相邻关节点之间的距离，关节角度信息为三个相邻关节点的角度信息，关节朝向信息为通过三个相邻关节点所构成平面的法向量确定的角度。

可选的，位置信息修正模块在根据第一数据下的关节点动力学信息，确定第一数据下需要修正的目标关节点的位置信息时，具体用于对于目标对象的每个关节点：根据第一数据下该关节点的动力学信息，确定第一数据下该关节点的动力学信息对应的权重，其中，该关节点的动力学信息对应的权重包括该关节点的动力学信息所包含的每个动力学参数对应的权重，一个动力学参数对应的权重能够表征在该动力学参数上该关节点的位置信息的准确度；根据第一数据下该关节点的动力学信息对应的权重，确定第一数据下该关节点的位置信息的准确度；根据第一数据下该关节点的位置信息的准确度，确定第一数据下该关节点的位置信息是否需要进行修正；以得到第一数据下需要修正的目标关节点的位置信息。

经由上述的技术方案可知，本申请提供的关节点位置修正方法，首先获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息，然后根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，最后根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。本申请能够根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，并能够根据第一数据下的动力学信息，准确地确定出第一数据下需要修正的目标关节点的位置信息，之后可对确定出的需要修正的目标关节点的位置信息进行修正，从而获得较为准确的关节点位置信息。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的关节点位置修正方法的流程示意图；

图2为本申请实施例提供的人体骨架关节点的示意图；

图3为本申请实施例提供的关节点位置修正装置的结构示意图；

图4为本申请实施例提供的关节点位置修正设备的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

鉴于现有的人体骨架关节点检测方案检测出的人体骨架关节点的位置不准确，本案发明人进行了深入研究，提出了一种关节点位置修正方法，以在现有技术获得的目标对象的关节点的位置信息不准确时，对不准确的关节点的位置信息进行修正，接下来通过下述实施例对本申请提供的关节点位置修正方法进行详细介绍。

请参阅图1，示出了本申请实施例提供的关节点位置修正方法的流程示意图，该关节点位置修正方法可以包括：

步骤S10、获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息。

其中，目标数据序列为三维数据采集设备针对目标对象采集的包含该目标对象的关节点信息的三维数据序列。

目标数据序列中包括多帧数据，第一数据为目标数据序列中的一帧数据。可选的，三维数据采集设备可以实时采集三维数据，第一数据可以为三维数据采集设备最新采集的一帧数据，该数据与之前的数据组成的数据序列为目标数据序列，也就是说，三维数据采集设备每采集一帧数据，可按本发明提供的关节点位置修正方法对该帧数据下关节点的位置信息进行修正。

上述目标数据序列中的每帧数据均包含目标对象的关节点信息，针对目标数据序列中的任一帧数据，根据该数据可确定出关节点位置信息，本发明将根据该数据确定出的关节点位置信息称之为该数据下的关节点位置信息。相应的，本发明将根据第一数据确定的关节点位置信息称之为第一数据下的关节点位置信息，第一数据下的关节点位置信息可能存在不正确的关节点位置信息，为此，本发明确定不正确的关节点位置信息，进而对其进行修正。

第一数据下的关节点位置信息可为第一数据下目标对象的关节点坐标信息，该关节点坐标信息的获取方法可为：在三维数据采集设备采集第一数据时，第一数据中包含了目标对象的关节点到三维数据采集设备的距离信息，根据该距离信息并通过机器学习方法可计算出目标对象的关节点在三维数据采集设备自身的坐标系下的坐标信息，之后通过三维数据采集设备自身的坐标系与世界坐标系的转换关系，可将目标对象的关节点在三维数据采集设备自身的坐标系下的坐标信息转换为目标对象的关节点在世界坐标系下的坐标信息。

举例来说，三维数据采集设备可为能够采集三维数据的摄像机设备，例如深度摄像机或双目摄像机，以深度摄像机为例，第一数据为深度摄像机针对目标对象采集的包含目标对象的关节点信息的一帧三维图像，例如第一数据为包含图2所示人体骨架关节点信息的三维图像，该三维图像中包含人体各关节点到深度摄像机的距离信息，例如，该三维图像中包含关节点0～19分别到深度摄像机的距离信息，该距离信息经由与深度摄像机配套的SDK程序并通过机器学习算法可以计算出关节点0～19分别在深度摄像机对应的相机坐标系下的坐标信息，通过深度摄像机对应的相机坐标系与世界坐标系的转换关系转换后可得到关节点0～19分别在世界坐标系下的坐标信息，由此得到第一数据下的关节点位置信息。

步骤S11、根据第一数据下的关节点位置信息，确定第一数据下的动力学信息。

本案发明人发现：三维数据采集设备在针对目标对象采集目标数据序列时，若目标对象运动，则目标对象的关节点也会跟着运动，此时目标数据序列中前后相邻的两帧数据下的动力学状态(例如目标对象的两个相邻关节点构成的骨长、目标对象的关节点的速度、目标对象的三个相邻关节点构成的角度等)应当保持连续且平滑，基于动力学状态获得的目标数据序列的各帧数据下、能够表征目标对象的关节点的运动情况的动力学信息应当满足一定的动力学条件，若一数据下的动力学信息不满足动力学条件，那么该数据下该动力学信息对应的关节点位置信息可能不准确。例如，在三维数据采集设备针对人体采集连续多帧数据时，人体的关节点在相邻两帧数据下的速度不会突变，那么基于速度确定的第一数据下的速度变化量应当小于对应的速度变化阈值，若第一数据下的速度变化量大于对应的速度变化阈值，则第一数据下该速度变化量对应的关节点位置信息可能不准确。

基于此，本申请实施例可以首先根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，这里，第一数据下的动力学信息是指目标对象的关节点在第一数据下对应的动力学信息，例如目标对象的关节点在第一数据下的速度信息。

在一可选实施例中，动力学信息包括一个或多个动力学参数，可选的，动力学参数可以为骨长信息、关节点的速度信息、关节点的加速度信息、关节角度信息、关节朝向信息等。

上述骨长信息为两个相邻关节点之间的距离，本申请实施例骨长信息可作为动力学信息的原因在于：骨长信息不会随目标对象的运动发生变化，若第一数据下两个相邻关节点构成的骨长信息相比于目标数据序列中的其他数据下的对应骨长信息发生变化，那么骨长信息对应的第一数据下的两个关节点位置信息可能不准确。例如，参见图2中的关节点5和关节点6，对目标数据序列中的其他数据下的关节点5和关节点6构成的骨长信息进行统计，可以得到关节点5和关节点6构成的骨长信息的均值为0.3m，标准差为0.05m，若第一数据下关节点5和关节点6构成的骨长信息与均值0.3m的差值的绝对值大于标准差0.05m，则第一数据下的关节点5和关节点6的位置信息可能不准确。

上述关节点的速度信息可以为关节点的速度和关节点的速度变化量中的一个或两个，本申请实施例关节点的速度可作为动力学信息的原因在于：关节点的速度存在一定的速度极限阈值，若一关节点在第一数据下的速度超过对应的速度极限阈值(不同关节点对应的速度极限阈值不同，可选的，一关节点对应的速度极限阈值的获取方法为：对多个目标对象的该关节点的速度进行统计并剔除异常值，然后选取一最优的阈值作为该关节点对应的速度极限阈值)，则该关节点在第一数据下的位置信息可能不准确，例如，图2所示关节点7的速度对应的速度极限阈值为5m/s，若关节点7在第一数据下的速度大于5m/s，则关节点7在第一数据下的位置信息可能不准确；关节点的速度变化量可作为动力学信息的原因在于：关节点的速度变化量表征关节点在相邻两帧数据下的速度的变化情况，正常情况下，关节点在相邻两帧数据下的速度不会剧烈变化，若一关节点的速度变化量大于对应的速度变化阈值，说明该关节点在第一数据下的速度相比于第一数据的前向相邻数据下的速度剧烈变化，则该关节点在第一数据下的位置信息可能不准确。

上述关节点的加速度信息可作为动力学信息的原因在于：关节点的加速度信息表征关节点在相邻两帧数据下的单位时间下的速度的变化情况，而关节点在相邻两帧数据下的单位时间下的速度不会剧烈变化，若一关节点在第一数据下的加速度信息大于对应的加速度阈值(不同关节点对应的加速度阈值不同，一关节点对应的加速度阈值的获取方法可参照上述速度极限阈值的获取方法)，说明该关节点在第一数据下的单位时间下的速度相比于第一数据的前向相邻数据下的单位时间下的速度剧烈变化，则该关节点在第一数据下的位置信息可能不准确。

上述关节角度信息可以为三个相邻关节点的角度信息，可选的，关节角度信息可以为三个相邻关节点所构成的角度(这里，三个相邻关节点所构成的角度为三个相邻关节点所构成且小于180°的角)的变化量和三个相邻关节点的角动量中的一个或两个，本申请实施例中关节角度信息可作为动力学信息的原因在于：相邻两帧数据下的关节角度信息不会剧烈变化，若第一数据下三个相邻关节点构成的关节角度信息大于对应的角度变化阈值(不同关节点对应的角度变化阈值不同，一关节点对应的角度变化阈值的获取方法可参照上述速度极限阈值的获取方法)，说明第一数据下三个相邻关节点构成的关节角度信息相比于第一数据的前向相邻数据下的对应关节角度信息剧烈变化，则该三个相邻关节点在第一数据下的位置信息可能不准确。例如，图2中的关节点4、关节点5和关节点6，第一数据下的关节点4、关节点5和关节点6所构成的关节角度信息为第一数据下关节点4、关节点5和关节点6所构成的肘关节角度的变化量，即第一数据下关节点4、关节点5和关节点6所构成的肘关节角度与第一数据的前向相邻数据下关节点4、关节点5和关节点6所构成的肘关节角度的差值，若第一数据下关节点4、关节点5和关节点6所构成的肘关节角度的变化量大于对应的角度变化阈值，则关节点4、关节点5和关节点6在第一数据下的位置信息可能不准确。

上述关节朝向信息为通过三个相邻关节点所构成平面的法向量确定的角度，本申请实施例中关节朝向信息可作为动力学信息的原因在于：关节朝向信息存在角度极限阈值，若第一数据下三个相邻关节点对应的关节朝向信息超过对应的角度极限阈值，则该三个相邻关节点在第一数据下的位置信息可能不准确。例如，参见图2所示关节点1、关节点2和关节点3，第一数据下关节点1、关节点2和关节点3对应的关节朝向信息为根据关节点1、关节点2和关节点3所构成平面的法向量确定的角度，例如人体头部后仰时，关节点1、关节点2和关节点3对应的关节朝向信息为关节点1、关节点2和关节点3构成且大于180°的角，由于关节点1、关节点2和关节点3对应的关节朝向信息一般不超过225°，若第一数据下关节点1、关节点2和关节点3对应的关节朝向信息超过225°，则关节点1、关节点2和关节点3在第一数据下的位置信息可能不准确。

鉴于上述各动力学信息，在一些情况下，本步骤在确定第一数据下的动力学信息时除需要第一数据下的关节点位置信息，还可能需要第二数据下的关节点位置信息，即本步骤需要根据第一数据下的关节点位置信息和第二数据下的关节点位置信息，确定第一数据下的动力学信息，这里，第二数据为目标数据序列中位于第一数据之前的数据。例如，第二数据为目标数据序列中第一数据的前向相邻数据，则根据第一数据下的关节点位置信息和第二数据下的关节点位置信息，可确定第一数据下的速度，例如，将图2所示关节点3在第一数据下的坐标和第二数据下的坐标之间的距离除以第一数据和第二数据之间的帧时差(即第一数据的采集时间与第二数据的采集时间的差值)，可得到关节点3在第一数据下的速度。

步骤S12、根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。

若第一数据下的动力学信息不满足动力学条件，则第一数据下该动力学信息对应的关节点位置信息可能不准确，例如第一数据为包含图2所示人体骨架关节点信息的三维图像，动力学信息为关节点的速度，则若一关节点在第一数据下的速度大于该关节点对应的速度极限阈值，则该关节点在第一数据下的位置信息可能不准确。本步骤中，第一数据下的关节点位置信息不准确的关节点为目标关节点，根据第一数据下的动力学信息，可以确定第一数据下需要修正的目标关节点的位置信息，确定出第一数据下需要修正的目标关节点的位置信息后，本申请实施例还可以对第一数据下目标关节点的位置信息进行修正。

本申请提供的关节点位置修正方法，首先获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息，然后根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，最后根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。本申请在第一数据下存在关节点的位置信息不准确时，能够根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，并能够根据第一数据下的动力学信息，准确地确定出第一数据下需要修正的目标关节点的位置信息，之后可对确定出的需要修正的目标关节点的位置信息进行修正，从而得到较为准确的关节点位置信息。

以下对上述实施例中的步骤S12中“根据第一数据下的关节点动力学信息，确定第一数据下需要修正的目标关节点的位置信息”进行说明。

为便于描述，以下以目标对象的一个关节点为例，给出根据第一数据下的关节点动力学信息，确定第一数据下该关节点的位置信息是否需要进行修正的可选实施过程，该过程可以包括：

步骤S121、根据第一数据下该关节点的动力学信息，确定第一数据下该关节点的动力学信息对应的权重。

具体的，本步骤可为第一数据下该关节点的动力学信息包含的每个动力学参数分配能够表征在该动力学参数上该关节点的位置信息的准确度的权重，其中，一个动力学参数对应的权重值越大，表征在该动力学参数上该关节点的位置信息的准确度越低。

以下以骨长信息、关节点的速度、三个相邻关节点所构成的角度的变化量和关节朝向信息为例，给出确定第一数据下该关节点的动力学参数对应的权重的过程。

在动力学信息为骨长信息时，以图2所示关节点3为例，确定第一数据下关节点3对应的骨长信息所对应的权重的过程为：确定目标数据序列中除第一数据外的其他数据下关节点3对应的骨长信息，对各骨长信息进行统计，获得关节点3对应的骨长信息所对应的均值和标准差，若第一数据下关节点3对应的骨长信息与均值的差值的绝对值大于标准差，则关节点3对应的骨长信息所对应的权重为1，否则，权重为0。

在动力学信息为关节点的速度时，以图2所示关节点3为例，确定关节点3在第一数据下的速度所对应的权重的过程为：确定关节点3对应的速度极限阈值，若关节点3在第一数据下的速度大于对应的速度极限阈值，则关节点3的速度对应的权重为1，否则，权重为0。

在动力学信息为三个相邻关节点所构成的角度的变化量时，以图2所示关节点7为例，确定第一数据下关节点7对应的角度变化量所对应的权重的过程为：确定关节点7对应的角度变化阈值，若第一数据下关节点7对应的角度变化量大于对应的角度变化阈值，则关节点7对应的角度变化量所对应的权重为1，否则，权重为0。

在动力学信息为关节朝向信息时，以图2所示关节点3为例，确定第一数据下关节点3对应的关节朝向信息所对应的权重的过程为：确定关节点3对应的角度极限阈值，若第一数据下关节点3对应的关节朝向信息大于对应的角度极限阈值，则关节点3对应的关节朝向信息所对应的权重为1，否则，权重为0。

需要说明的是，上述基于各动力学参数，确定第一数据下该关节点的动力学参数对应的权重的方法仅为示例，本申请实施例还可以采用其他方法确定第一数据下该关节点的动力学参数对应的权重，例如，本申请实施例还可以对各动力学参数偏离对应动力学条件的情况进行量化，以获得第一数据下该关节点的动力学参数对应的权重，例如，若第一数据下关节点3对应的骨长信息与均值的差值的绝对值小于标准差，则关节点3对应的骨长信息所对应的权重为0；若第一数据下关节点3对应的骨长信息与均值的差值的绝对值大于一个标准差，则关节点3对应的骨长信息所对应的权重为1；若第一数据下关节点3对应的骨长信息与均值的差值的绝对值大于两个标准差，则关节点3对应的骨长信息所对应的权重为2；…；以此类推，得到第一数据下关节点3对应的骨长信息所对应的权重。

步骤S122、根据第一数据下该关节点的动力学信息对应的权重，确定第一数据下该关节点的位置信息的准确度。

可选的，本步骤可以对第一数据下该关节点的各动力学参数分别对应的权重进行加权综合，获得第一数据下该关节点的位置信息的准确度。

例如，以图2所示关节点5为例，假设第一数据下关节点5对应的骨长信息(这里以关节点5和关节点4构成的骨长信息为例，可选的，实际计算第一数据下关节点5的位置信息的准确度时可以同时考虑关节点5和关节点4构成的骨长信息，以及，关节点5和关节点6构成的骨长信息)所对应的权重为1，关节点5在第一数据下的速度对应的权重为1，第一数据下关节点5对应的角度变化量(这里以关节点4、关节点5和关节点6构成的角度的变化量为例，可选的，实际计算第一数据下关节点5的位置信息的准确度时可以同时考虑关节点2、关节点4和关节点5构成的角度的变化量，关节点4、关节点5和关节点6构成的角度的变化量，以及，关节点5、关节点6和关节点7构成的角度的变化量)所对应的权重为0，第一数据下关节点5对应的关节朝向信息(即这里以根据关节点4、关节点5和关节点6所构成平面的法向量确定的角度为例，可选的，实际计算第一数据下关节点5的位置信息的准确度时可以同时考虑根据关节点2、关节点4和关节点5所构成平面的法向量确定的角度，根据关节点4、关节点5和关节点6所构成平面的法向量确定的角度，以及，根据关节点5、关节点6和关节点7所构成平面的法向量确定的角度)所对应的权重为1，则关节点5在第一数据下的位置信息的准确度为1(即4-1-1-0-1＝1)。

步骤S123、根据第一数据下该关节点的位置信息的准确度，确定第一数据下该关节点的位置信息是否需要进行修正。

可选的，若第一数据下该关节点的位置信息的准确度小于该关节点对应的准确度阈值(不同关节点对应的准确度阈值不同)，则第一数据下该关节点的位置信息需要进行修正；若第一数据下该关节点的位置信息的准确度大于或等于该关节点对应的准确度阈值，则第一数据下该关节点的位置信息不需要进行修正。

本申请实施例对目标对象的每个关节点分别执行上述步骤S121-步骤S123，即可以得到第一数据下需要修正的目标关节点的位置信息。

以下对上述实施例中的步骤S12中“对第一数据下目标关节点的位置信息进行修正”进行说明。

考虑到第一数据的前向相邻数据下目标关节点的位置信息更准确，那么本申请实施例可以根据第一数据的前向相邻数据下目标关节点的位置信息，对第一数据下目标关节点的位置信息进行修正。为便于描述，以下以第一数据的前向相邻数据为第三数据为例，对根据第三数据下目标关节点的位置信息，对第一数据下目标关节点的位置信息进行修正的过程进行说明。

可选的，根据第三数据下目标关节点的位置信息，对第一数据下目标关节点的位置信息进行修正的过程具体可以包括：

步骤S124、根据第三数据下目标关节点的位置信息，生成多个候选位置信息。

考虑到无论目标对象运动或者不运动，三维数据采集设备采集的相邻两帧三维数据下目标关节点的位置信息相差不会太大，即第一数据和第三数据下目标关节点的位置信息相差不会太大，由于第三数据下目标关节点的位置信息相对准确，那么在第三数据下目标关节点的位置信息对应的预设位置范围内生成多个候选位置信息，则该多个候选位置信息中必然存在一最优的候选位置信息，该最优的候选位置信息更接近于第一数据下目标关节点的真实位置信息。

可选的，上述第三数据下目标关节点的位置信息的预设位置范围可以为以第三数据下目标关节点的位置信息为中心，以设定长度为边长的正方体所对应的位置范围。

可选的，本步骤在第三数据下目标关节点的位置信息的预设位置范围内生成多个候选位置信息时，具体可以在第三数据下目标关节点的位置信息的预设位置范围内按照一定的密度随机生成多个候选位置信息，也可以在第三数据下目标关节点的位置信息的预设位置范围内以三维栅格的方式排布选取多个候选位置信息。这里，以三维栅格的方式排布选取候选位置信息是指在预设位置范围内按照单位长度依次选取候选位置信息。

例如，本步骤在获得第三数据下目标关节点的位置信息后，可以在以第三数据下目标关节点的位置信息为中心，以设定长度(例如长度为10)为边长生成一正方体，然后在正方体对应的位置范围内按照单位长度依次选取多个候选位置信息(例如在边长为10的正方体内按照单位长度依次选取1000个候选位置信息)。

步骤S125、确定第一数据下多个候选位置信息分别对应的动力学信息，并确定第三数据下目标关节点的动力学信息。

本步骤确定第一数据下多个候选位置信息分别对应的动力学信息，以及，确定第三数据下目标关节点的动力学信息的过程与上述步骤S11对应，详细可参照前述实施例介绍，这里不再重复赘述。

步骤S126、根据第三数据下目标关节点的动力学信息以及第一数据下多个候选位置信息分别对应的动力学信息，从多个候选位置信息中筛选出最优的候选位置信息。

前述已经说明了，第三数据下目标关节点的动力学状态与第一数据下目标关节点的真实动力学状态之间是连续且平滑的，这使得第三数据下目标关节点的动力学信息与第一数据下目标关节点的真实动力学信息的相似度相对较高，基于此，本步骤的实现过程具体可以包括：

步骤S1261、确定第三数据下目标关节点的动力学信息与第一数据下每个候选位置信息对应的动力学信息的相似度，以得到分别对应于各个候选位置信息的相似度。

具体来说，本步骤可以确定第三数据下目标关节点的每个动力学参数分别与第一数据下每个候选位置信息对应的动力学参数的参数相似度，一候选位置信息的各个参数相似度即为本步骤中该候选位置信息的相似度。

举例来说，以骨长信息、关节点的速度、三个相邻关节点所构成的角度的变化量和关节朝向信息为例，对于每个候选位置信息，本步骤可以分别确定第三数据下目标关节点对应的骨长信息与第一数据下每个候选位置信息对应的骨长信息的骨长相似度、目标关节点在第三数据下的速度与第一数据下每个候选位置信息对应的速度的速度相似度、第三数据下目标关节点对应的角度变化量与第一数据下每个候选位置信息对应的角度变化量的角度变化相似度，以及，第三数据下目标关节点对应的关节朝向信息与第一数据下每个候选位置信息对应的关节朝向信息的角度相似度。

步骤S1262、根据分别对应于各个候选位置信息的相似度，从多个候选位置信息中筛选出最优的候选位置信息。

可选的，本步骤可以对各个参数相似度进行加权综合处理，获得一综合相似度函数。则对于每个候选位置信息，将该候选位置信息的各个参数相似度输入至综合相似度函数，可以得到该候选位置信息对应的综合相似度结果，这里，一候选位置信息对应的综合相似度结果越高，表征第三数据下目标关节点的动力学状态与第一数据下该候选位置信息的动力学状态之间越平滑，那么该候选位置信息越接近第一数据下目标关节点的真实位置信息。基于此，本步骤可以将综合相似度结果最高的候选位置信息作为最优的候选位置信息。

步骤S127、将第一数据下目标关节点的位置信息修正为最优的候选位置信息。

本申请实施例能够根据第三数据下目标关节点的位置信息，生成多个候选位置信息，并能够根据第三数据下目标关节点的动力学信息以及第一数据下多个候选位置信息分别对应的动力学信息，从多个候选位置信息中筛选出最优的候选位置信息，由于最优的候选位置信息更接近第一数据下目标关节点的真实位置信息，因此可将第一数据下目标关节点的位置信息修正为最优的候选位置信息，使得第一数据下目标关节点的修正后位置信息更准确。

本申请实施例还提供了一种关节点位置修正装置，下面对本申请实施例提供的关节点位置修正装置进行描述，下文描述的关节点位置修正装置与上文描述的关节点位置修正方法可相互对应参照。

请参阅图3，示出了本申请实施例提供的关节点位置修正装置的结构示意图，如图3所示，该关节点位置修正装置可以包括：位置信息获取模块31、动力学信息确定模块32和位置信息修正模块33。

位置信息获取模块31，用于获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息，其中，目标数据序列为三维数据采集设备针对目标对象采集的包含目标对象的关节点信息的三维数据序列。

动力学信息确定模块32，用于根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，动力学信息能够表征目标对象的关节点的运动情况。

位置信息修正模块33，用于根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。

本申请提供的关节点位置修正装置，首先获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息，然后根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，最后根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。本申请能够根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，并能够根据第一数据下的动力学信息，准确地确定出第一数据下需要修正的目标关节点的位置信息，之后可对确定出的需要修正的目标关节点的位置信息进行修正，从而获得较为准确的关节点位置信息。

在一种可能的实现方式中，上述动力学信息确定模块32，具体用于根据第一数据下的关节点位置信息和第二数据下的关节点位置信息，确定第一数据下的动力学信息，其中，第二数据为目标数据序列中位于第一数据之前的数据。

在一种可能的实现方式中，本申请实施例提供的关节点位置修正装置中的动力学信息包括以下动力学参数中的一个或多个：

骨长信息、关节点的速度信息、关节点的加速度信息、关节角度信息、关节朝向信息；

其中，骨长信息为两个相邻关节点之间的距离，关节角度信息为三个相邻关节点的角度信息，关节朝向信息为通过三个相邻关节点所构成平面的法向量确定的角度。

在一种可能的实现方式中，上述位置信息修正模块33在根据第一数据下的关节点动力学信息，确定第一数据下需要修正的目标关节点的位置信息时，具体用于对于目标对象的每个关节点：根据第一数据下该关节点的动力学信息，确定第一数据下该关节点的动力学信息对应的权重，其中，该关节点的动力学信息对应的权重包括该关节点的动力学信息所包含的每个动力学参数对应的权重，一个动力学参数对应的权重能够表征在该动力学参数上该关节点的位置信息的准确度；根据第一数据下该关节点的动力学信息对应的权重，确定第一数据下该关节点的位置信息的准确度；根据第一数据下该关节点的位置信息的准确度，确定第一数据下该关节点的位置信息是否需要进行修正；以得到第一数据下需要修正的目标关节点的位置信息。

在一种可能的实现方式中，上述位置信息修正模块33在对第一数据下目标关节点的位置信息进行修正时，具体用于根据第三数据下目标关节点的位置信息，对第一数据下目标关节点的位置信息进行修正，其中，第三数据为第一数据的前向相邻数据。

在一种可能的实现方式中，上述位置信息修正模块33在根据第三数据下目标关节点的位置信息，对第一数据下目标关节点的位置信息进行修正时，具体用于根据第三数据下目标关节点的位置信息，生成多个候选位置信息；确定第一数据下多个候选位置信息分别对应的动力学信息，并确定第三数据下目标关节点的动力学信息；根据第三数据下目标关节点的动力学信息以及第一数据下多个候选位置信息分别对应的动力学信息，从多个候选位置信息中筛选出最优的候选位置信息；将第一数据下目标关节点的位置信息修正为最优的候选位置信息。

在一种可能的实现方式中，上述位置信息修正模块33在根据第三数据下目标关节点的动力学信息以及第一数据下多个候选位置信息分别对应的动力学信息，从多个候选位置信息中筛选出最优的候选位置信息时，具体用于确定第三数据下目标关节点的动力学信息与第一数据下每个候选位置信息对应的动力学信息的相似度，以得到分别对应于各个候选位置信息的相似度；根据分别对应于各个候选位置信息的相似度，从多个候选位置信息中筛选出最优的候选位置信息。

本申请实施例还提供了一种关节点位置修正设备。可选的，图4示出了关节点位置修正设备的硬件结构框图，参照图4，该关节点位置修正设备的硬件结构可以包括：至少一个处理器401，至少一个通信接口402，至少一个存储器403和至少一个通信总线404；

在本申请实施例中，处理器401、通信接口402、存储器403、通信总线404的数量为至少一个，且处理器401、通信接口402、存储器403通过通信总线404完成相互间的通信；

处理器401可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器403可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；

其中，存储器403存储有程序，处理器401可调用存储器403存储的程序，所述程序用于：

获取根据目标数据序列中的第一数据确定的关节点位置信息，作为第一数据下的关节点位置信息，其中，目标数据序列为三维数据采集设备针对目标对象采集的包含目标对象的关节点信息的三维数据序列；

根据第一数据下的关节点位置信息，确定第一数据下的动力学信息，动力学信息能够表征目标对象的关节点的运动情况；

根据第一数据下的动力学信息，确定第一数据下需要修正的目标关节点的位置信息，并对第一数据下目标关节点的位置信息进行修正。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述关节点位置修正方法。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种关节点位置修正方法，其特征在于，包括：

获取根据目标数据序列中的第一数据确定的关节点位置信息，作为所述第一数据下的关节点位置信息，其中，所述目标数据序列为三维数据采集设备针对目标对象采集的包含所述目标对象的关节点信息的三维数据序列；

根据所述第一数据下的关节点位置信息，确定所述第一数据下的动力学信息，所述动力学信息能够表征所述目标对象的关节点的运动情况；

根据所述第一数据下的动力学信息，确定所述第一数据下需要修正的目标关节点的位置信息，并对所述第一数据下所述目标关节点的位置信息进行修正。

2.根据权利要求1所述的关节点位置修正方法，其特征在于，所述根据所述第一数据下的关节点位置信息，确定所述第一数据下的动力学信息，包括：

根据所述第一数据下的关节点位置信息和第二数据下的关节点位置信息，确定所述第一数据下的动力学信息，其中，所述第二数据为所述目标数据序列中位于所述第一数据之前的数据。

3.根据权利要求2所述的关节点位置修正方法，其特征在于，所述动力学信息包括以下动力学参数中的一个或多个：

骨长信息、关节点的速度信息、关节点的加速度信息、关节角度信息、关节朝向信息；

其中，所述骨长信息为两个相邻关节点之间的距离，所述关节角度信息为三个相邻关节点的角度信息，所述关节朝向信息为通过三个相邻关节点所构成平面的法向量确定的角度。

4.根据权利要求3所述的关节点位置修正方法，其特征在于，所述根据所述第一数据下的关节点动力学信息，确定所述第一数据下需要修正的目标关节点的位置信息，包括：

对于所述目标对象的每个关节点：

根据所述第一数据下该关节点的动力学信息，确定所述第一数据下该关节点的动力学信息对应的权重，其中，该关节点的动力学信息对应的权重包括该关节点的动力学信息所包含的每个动力学参数对应的权重，一个动力学参数对应的权重能够表征在该动力学参数上该关节点的位置信息的准确度；

根据所述第一数据下该关节点的动力学信息对应的权重，确定所述第一数据下该关节点的位置信息的准确度；

根据所述第一数据下该关节点的位置信息的准确度，确定所述第一数据下该关节点的位置信息是否需要进行修正；

以得到所述第一数据下需要修正的目标关节点的位置信息。

5.根据权利要求1所述的关节点位置修正方法，其特征在于，所述对所述第一数据下所述目标关节点的位置信息进行修正，包括：

根据第三数据下所述目标关节点的位置信息，对所述第一数据下所述目标关节点的位置信息进行修正，其中，所述第三数据为所述第一数据的前向相邻数据。

6.根据权利要求5所述的关节点位置修正方法，其特征在于，所述根据第三数据下所述目标关节点的位置信息，对所述第一数据下所述目标关节点的位置信息进行修正，包括：

根据所述第三数据下所述目标关节点的位置信息，生成多个候选位置信息；

确定所述第一数据下所述多个候选位置信息分别对应的动力学信息，并确定所述第三数据下所述目标关节点的动力学信息；

根据所述第三数据下所述目标关节点的动力学信息以及所述第一数据下所述多个候选位置信息分别对应的动力学信息，从所述多个候选位置信息中筛选出最优的候选位置信息；

将所述第一数据下所述目标关节点的位置信息修正为所述最优的候选位置信息。

7.根据权利要求6所述的关节点位置修正方法，其特征在于，所述根据所述第三数据下所述目标关节点的动力学信息以及所述第一数据下所述多个候选位置信息分别对应的动力学信息，从所述多个候选位置信息中筛选出最优的候选位置信息，包括：

确定所述第三数据下所述目标关节点的动力学信息与所述第一数据下每个候选位置信息对应的动力学信息的相似度，以得到分别对应于各个候选位置信息的相似度；

根据分别对应于各个候选位置信息的相似度，从所述多个候选位置信息中筛选出最优的候选位置信息。

8.一种关节点位置修正装置，其特征在于，包括：位置信息获取模块、动力学信息确定模块和位置信息修正模块；

所述位置信息获取模块，用于获取根据目标数据序列中的第一数据确定的关节点位置信息，作为所述第一数据下的关节点位置信息，其中，所述目标数据序列为三维数据采集设备针对目标对象采集的包含所述目标对象的关节点信息的三维数据序列；

所述动力学信息确定模块，用于根据所述第一数据下的关节点位置信息，确定所述第一数据下的动力学信息，所述动力学信息能够表征所述目标对象的关节点的运动情况；

所述位置信息修正模块，用于根据所述第一数据下的动力学信息，确定所述第一数据下需要修正的目标关节点的位置信息，并对所述第一数据下所述目标关节点的位置信息进行修正。

9.根据权利要求8所述的关节点位置修正装置，其特征在于，所述动力学信息包括以下动力学参数中的一个或多个：

骨长信息、关节点的速度信息、关节点的加速度信息、关节角度信息、关节朝向信息；

其中，所述骨长信息为两个相邻关节点之间的距离，所述关节角度信息为三个相邻关节点的角度信息，所述关节朝向信息为通过三个相邻关节点所构成平面的法向量确定的角度。

10.根据权利要求9所述的关节点位置修正装置，其特征在于，所述位置信息修正模块在所述根据所述第一数据下的关节点动力学信息，确定所述第一数据下需要修正的目标关节点的位置信息时，具体用于对于所述目标对象的每个关节点：根据所述第一数据下该关节点的动力学信息，确定所述第一数据下该关节点的动力学信息对应的权重，其中，该关节点的动力学信息对应的权重包括该关节点的动力学信息所包含的每个动力学参数对应的权重，一个动力学参数对应的权重能够表征在该动力学参数上该关节点的位置信息的准确度；根据所述第一数据下该关节点的动力学信息对应的权重，确定所述第一数据下该关节点的位置信息的准确度；根据所述第一数据下该关节点的位置信息的准确度，确定所述第一数据下该关节点的位置信息是否需要进行修正；以得到所述第一数据下需要修正的目标关节点的位置信息。

Images