CN111489392B - 多人环境下单个目标人体运动姿态捕捉方法及系统 - Google Patents

Abstract

本发明公开了一种多人环境下单个目标人体运动姿态捕捉方法及系统，其中，方法包括以下步骤：动态视角采集图像，并选择目标人体；根据采集的图像计算多人位置及目标人体的三维骨架；估计下一时刻的多人位置以及目标人体的姿态，并且获取最佳观测视角；根据最佳观测视角规划无人机飞行路径，并根据无人机飞行路径控制无人机飞行，以到达最佳观测位置，保证最佳观测视角。该方法可实时计算最佳观测视角，有效避免多人体间的相互遮挡及目标人体自遮挡，从而提高对目标人体运动姿态的捕捉精度，简单易实现。

Description

多人环境下单个目标人体运动姿态捕捉方法及系统

技术领域

本发明涉及运动人体追踪与动作捕捉应用技技术领域，特别涉及一种多人环境下单个目标人体运动姿态捕捉方法及系统。

背景技术

运动人体追踪与动作捕捉技术是获取人类活动信息，分析自然社会场景下目标人体运动规律的重要技术手段。实时且精准人体运动捕捉的在安防监控、虚拟现实以及电影制作等领域中有着广泛应用。

传统的人体运动捕捉方法是通过采集穿戴在被捕捉人体上的特殊设备发出的信号，然后计算得到人体的三维运动信息，但是这种方法不适用于自然场景下的人体运动捕捉需求。基于视觉的无标记点运动捕捉方法可以通过检测图像中人体的关节点信息，然后通过多视角视觉几何三角化过程计算每个关节点三维位置，进而恢复单人或多人的三维姿态。在多人环境下存在人体之间相互遮挡以及动态场景下目标人体姿态多变而产生的自遮挡，都会造成被捕捉目标信息丢失，无法检测到人体关节点信息，从而造成运动捕捉任务失败。解决遮挡问题的常用方法是搭建大规模固定多相机系统，通过对环境无死角信息采集，保障被捕捉目标全见性，获取目标人体中全部关节点信息。但是在实际应用场景，尤其是进行室外环境下的人体捕捉任务时，稠密相机的搭建会有较高成本且容易受到环境限制，不具备可实施性。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种多人环境下单个目标人体运动姿态捕捉方法，该方法可以提高对目标人体运动姿态的捕捉精度，简单易实现。

本发明的另一个目的在于提出一种多人环境下单个目标人体运动姿态捕捉系统。为达到上述目的，本发明一方面实施例提出了一种多人环境下单个目标人体运动姿态捕捉方法，包括以下步骤：动态视角采集图像，并选择目标人体；根据采集的图像计算多人位置及所述目标人体的三维骨架；估计下一时刻的多人位置以及目标人体的姿态，并且获取最佳观测视角；根据所述最佳观测视角规划无人机飞行路径，并根据所述无人机飞行路径控制无人机飞行，以到达最佳观测位置，保证所述最佳观测视角。

本发明实施例的多人环境下单个目标人体运动姿态捕捉方法，可实时计算最佳观测视角，有效避免多人体间的相互遮挡及目标人体自遮挡，从而提高对目标人体运动姿态的捕捉精度，简单易实现。

另外，根据本发明上述实施例的多人环境下单个目标人体运动姿态捕捉方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述根据所述采集图像计算多人位置及所述目标人体的三维骨架，包括：通过深度学习网络检测场景中多人在所述采集的图像中的位置及所述目标人体的关节点二维坐标，其中，使用高帧率二维人体骨架检测算法，其输出数据包含每个关节点二维像素位置

进一步地，在本发明的一个实施例中，还包括：使用预先校准的双目可见光传感器进行匹配以及三角化，得到相机坐标系下多人体的三维空间位置以及所述目标人体的骨架的三维坐标，并对骨架的三维坐标进行优化，优化函数为：

E_p＝λ_dataE_data+λ_regE_reg+λ_boneE_bone，其中，E_data保障优化得到的骨架与观测值具有一致性；E_reg确保人体运动与骨架动态变化的连续性，约束E_bone以使优化得到的骨架与估计得到的骨架长度保持一致，以获取人体三维姿态信息。

进一步地，在本发明的一个实施例中，设视点距离地面高度为H_C，视点俯仰角为θ，人体高度为H_h，人体中心节点三维坐标为(x₀，y₀，z₀)，D为视点距离人体的水平距离；人体顶点可见约束表示为：

人体底部可见约束为：

人体在图像中所占的合理尺度为：

其中，∈为人体在图像中的比例。

进一步地，在本发明的一个实施例中，目标人体关节之间的自遮挡以及其他人体对目标人体的环境遮挡，目标函数定义为：

其中，

表示关节点之间的自遮挡约束，

为其他人体对目标人体的环境遮挡约束，通过优化目标函数E_v得到所述最佳观测视角。

进一步地，在本发明的一个实施例中，目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中，z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用关节点球体模型半径计算得到的标准差；

其他人体对目标人体t的环境遮挡计算采用躯干球体模型为：

其中z_k、z_t分别表示人体k以及目标人体t的躯干球体模型中心点距离最佳视角相机平面的距离；

表示躯干球体模型中心点在最佳观测视角下投影的距离；

使用躯干球体模型半径计算得到的标准差。

进一步地，在本发明的一个实施例中，所述根据所述最佳观测视角规划无人机飞行路径，包括：采用RRT*算法计算无人机当前位置和目标位置的折线及路径点，定义无人机的轨道路径点的集合为{r_i，j}＝{[x_j，y_j，z_j]^T}，j∈{1，2，…，q}，其中q为该无人机路径点个数，用时间的多项式函数表示无人机在某个空间维度上的一段轨道：

其中μ∈{x，y，z}，对应三个空间维度，n为轨道的阶数，j为无人机对应轨道的编号，T_j是无人机通过该段轨道需要的时间。为使无人机运动较为平稳，定义无人机轨道函数的四阶导数的平方在时间的积分上最小，即某个维度上代价函数为：

通过优化变量a_μ，i，获取在各个轨道上的路径规划点。

为达到上述目的，本发明另一方面实施例提出了一种多人环境下单个目标人体运动姿态捕捉系统，包括：采集模块，用于动态视角采集图像，并选择目标人体；计算模块，用于根据采集的图像计算多人位置及所述目标人体的三维骨架；估计模块，用于估计下一时刻的多人位置以及目标人体的姿态，并且获取最佳观测视角；规划模块，用于根据所述最佳观测视角规划无人机飞行路径，并根据所述无人机飞行路径控制无人机飞行，以到达最佳观测位置，保证所述最佳观测视角。

本发明实施例的多人环境下单个目标人体运动姿态捕捉系统，可实时计算最佳观测视角，有效避免多人体间的相互遮挡及目标人体自遮挡，从而提高对目标人体运动姿态的捕捉精度，简单易实现。

另外，根据本发明上述实施例的多人环境下单个目标人体运动姿态捕捉系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，其中，设视点距离地面高度为H_C，视点俯仰角为θ，人体高度为Hh，人体中心节点三维坐标为(x₀，y₀，z₀)，D为视点距离人体的水平距离；

人体顶点可见约束表示为：

人体底部可见约束为：

人体在图像中所占的合理尺度为：

其中，∈为人体在图像中的比例；

目标人体关节之间的自遮挡以及其他人体对目标人体的环境遮挡，目标函数定义为：

其中，

表示关节点之间的自遮挡约束，

为其他人体对目标人体的环境遮挡约束，通过优化目标函数E_v得到所述最佳观测视角；

目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中，z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用关节点球体模型半径计算得到的标准差；

其他人体对目标人体t的环境遮挡计算采用躯干球体模型为：

其中z_k、z_t分别表示人体k以及目标人体t的躯干球体模型中心点距离最佳视角相机平面的距离；

表示躯干球体模型中心点在最佳观测视角下投影的距离；

使用躯干球体模型半径计算得到的标准差。

进一步地，在本发明的一个实施例中，其中，所述计算模块进一步用于通过深度学习网络检测场景中多人在所述采集的图像中的位置及所述目标人体的关节点二维坐标，其中，使用高帧率二维人体骨架检测算法，其输出数据包含每个关节点二维像素位置

使用预先校准的双目可见光传感器进行匹配以及三角化，得到相机坐标系下多人体的三维空间位置以及所述目标人体的骨架的三维坐标，并对骨架的三维坐标进行优化，优化函数为：E_p＝λ_dataE_data+λ_regE_reg+λ_boneE_bone，其中，E_data保障优化得到的骨架与观测值具有一致性；E_reg确保人体运动与骨架动态变化的连续性，约束E_bone以使优化得到的骨架与估计得到的骨架长度保持一致，以获取人体三维姿态信息；所述规划模块进一步用于采用RRT*算法计算无人机当前位置和目标位置的折线及路径点，定义无人机的轨道路径点的集合为{r_i，j}＝{[x_j，y_j，z_j]^T}，j∈{1，2，…，q}，其中q为该无人机路径点个数，用时间的多项式函数表示无人机在某个空间维度上的一段轨道：

其中μ∈{x，y，z}，对应三个空间维度，n为轨道的阶数，j为无人机对应轨道的编号，T_j是无人机通过该段轨道需要的时间。为使无人机运动较为平稳，定义无人机轨道函数的四阶导数的平方在时间的积分上最小，即某个维度上代价函数为：

过优化变量a_μ，i，获取在各个轨道上的路径规划点。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的多人环境下单个目标人体运动姿态捕捉方法的流程图；

图2为根据本发明实施例的人体模型几何约束示意图；

图3为根据本发明实施例的多人环境下单个目标人体运动姿态捕捉系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的多人环境下单个目标人体运动姿态捕捉方法及系统，首先将参照附图描述根据本发明实施例提出的多人环境下单个目标人体运动姿态捕捉方法。

图1是本发明一个实施例的多人环境下单个目标人体运动姿态捕捉方法的流程图。

如图1所示，该多人环境下单个目标人体运动姿态捕捉方法包括以下步骤：

在步骤S101中，动态视角采集图像，并选择目标人体。

可以理解的是，由多旋翼无人机搭载可见光传感器组成可控动态视角，图像的采集位置和姿态可通过控制无人机实现。其中，动态视角采集到的图像通过通信链路(比如无线链路)传送到控制台，然后经过人工框选被捕捉的目标人体，并将该人体位置信息回传到无人机上。

在步骤S102中，根据采集的图像计算多人位置及目标人体的三维骨架。

具体而言，通过深度学习网络检测场景中多人在图像中的位置以及目标人体关节点二维坐标。为了提高整体算法实时性，使用高帧率二维人体骨架检测算法Pose ProposalNetworks，其输出数据包含每个关节点二维像素位置

为了提高检测精度，设定关节点置信度阈值

若关节点置信度小于该值则滤除。然后，使用预先校准后的双目相机进行双目匹配以及三角化，得到多人体的三维空间位置以及人体骨架在相机坐标系下的三维坐标。考虑到实际环境中的误差和噪声，本算法对计算得到的三维骨架进行了进一步优化。定义优化函数为：

E_p＝λ_dataE_data+λ_regE_reg+λ_boneE_bone其中，E_data保障优化得到的骨架与观测值具有一致性；E_reg确保人体运动与骨架动态变化的连续性；由于特定人体的骨架长度是固定的，因此加入约束E_bone要求优化得到的骨架与估计得到的骨架长度保持一致。该步骤使用Gauss-Newton算法对E_p进行优化，获取精确的人体三维姿态信息。

在步骤S103中，估计下一时刻的多人位置以及目标人体的姿态，并且获取最佳观测视角。

具体而言，场景中多人体三维位置预估计算使用运动静态模型，目标人体三维姿态估计采用structured prediction layer网络获取。最佳观测位置选择考虑目标人体几何模型约束以及环境遮挡约束。

人体模型几何约束用于保障目标人体在图像中全见性以及合理尺度。如图2所示，设定视点距离地面高度为H_C，视点俯仰角为θ，人体高度为H_h，人体中心节点三维坐标为(x₀，y₀，z₀)，D为视点距离人体的水平距离。

人体顶点可见约束表示为：

人体底部可见约束为：

人体在图像中所占的合理尺度为：

其中∈为人体在图像中的比例。

遮挡约束用于保障目标人体在多人环境中检测的独立性以及关节点的最大可见性，包含目标人体关节之间的自遮挡以及其他人体对目标人体的环境遮挡，目标函数可定义为：

其中

表示关节点之间的自遮挡约束，

为其他人体对目标人体的环境遮挡约束，通过优化目标函数E_v，可以得到最佳观测视角。

为提高算法实时性，使用球体模型表示人体形状，其中目标人体各个关节点球体模型使用SMPL人体稠密模型拟合得到，人体躯干球体模型使用躯干骨架长度计算获取。

目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用关节点球体模型半径计算得到的标准差。

其他人体对目标人体t的环境遮挡计算采用躯干球体模型为：

其中z_k、z_t分别表示人体k以及目标人体t的躯干球体模型中心点距离最佳视角相机平面的距离；

表示躯干球体模型中心点在最佳观测视角下投影的距离；

使用躯干球体模型半径计算得到的标准差。

在步骤S104中，根据最佳观测视角规划无人机飞行路径，并根据无人机飞行路径控制无人机飞行，以到达最佳观测位置，保证最佳观测视角。

可以理解的是，规划无人机飞行路径，控制动态视角到达最佳观测位置。

具体而言，采用RRT*算法计算无人机当前位置和目标位置的折线及路径点，定义无人机的轨道路径点的集合为{r_i，j}＝{[x_j，y_j，z_j]^T}，j∈{1，2，…，q}，其中q为该无人机路径点个数，用时间的多项式函数表示无人机在某个空间维度上的一段轨道：

其中μ∈{x，y，z}，对应三个空间维度，n为轨道的阶数，j为无人机对应轨道的编号，T_j是无人机通过该段轨道需要的时间。为使无人机运动较为平稳，定义无人机轨道函数的四阶导数的平方在时间的积分上最小，即某个维度上代价函数为：

通过优化变量a_μ，i，获取在各个轨道上的路径规划点。

根据本发明实施例提出的多人环境下单个目标人体运动姿态捕捉方法，可实时计算最佳观测视角，有效避免多人体间的相互遮挡及目标人体自遮挡，从而提高对目标人体运动姿态的捕捉精度，简单易实现。

其次参照附图描述根据本发明实施例提出的多人环境下单个目标人体运动姿态捕捉系统。

图3是本发明一个实施例的多人环境下单个目标人体运动姿态捕捉系统的结构示意图。如图3所示，该多人环境下单个目标人体运动姿态捕捉系统10包括：采集模块100、计算模块200、估计模块300和规划模块400。

其中，采集模块100用于动态视角采集图像，并选择目标人体；计算模块200用于根据采集的图像计算多人位置及目标人体的三维骨架；估计模块300用于估计下一时刻的多人位置以及目标人体的姿态，并且获取最佳观测视角；规划模块400用于根据最佳观测视角规划无人机飞行路径，并根据无人机飞行路径控制无人机飞行，以到达最佳观测位置，保证最佳观测视角。本发明实施例的系统10可以有效提高对目标人体运动姿态的捕捉精度，简单易实现。

进一步地，在本发明的一个实施例中，其中，设视点距离地面高度为H_C，视点俯仰角为θ，人体高度为Hh，人体中心节点三维坐标为(x₀，y₀，z₀)，D为视点距离人体的水平距离；

人体顶点可见约束表示为：

人体底部可见约束为：

人体在图像中所占的合理尺度为：

其中，∈为人体在图像中的比例；

目标人体关节之间的自遮挡以及其他人体对目标人体的环境遮挡，目标函数定义为：

其中，

表示关节点之间的自遮挡约束，

为其他人体对目标人体的环境遮挡约束，通过优化目标函数E_v得到最佳观测视角；

目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中，z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用关节点球体模型半径计算得到的标准差；

其他人体对目标人体t的环境遮挡计算采用躯干球体模型为：

其中z_k、z_t分别表示人体k以及目标人体t的躯干球体模型中心点距离最佳视角相机平面的距离；

表示躯干球体模型中心点在最佳观测视角下投影的距离；

使用躯干球体模型半径计算得到的标准差。

进一步地，在本发明的一个实施例中，其中，

计算模块200进一步用于通过深度学习网络检测场景中多人在采集的图像中的位置及目标人体的关节点二维坐标，其中，使用高帧率二维人体骨架检测算法，其输出数据包含每个关节点二维像素位置

使用预先校准的双目可见光传感器进行匹配以及三角化，得到相机坐标系下多人体的三维空间位置以及目标人体的骨架的三维坐标，并对骨架的三维坐标进行优化，优化函数为：E_p＝λ_dataE_data+λ_regE_reg+λ_boneE_bone，其中，E_data保障优化得到的骨架与观测值具有一致性；E_reg确保人体运动与骨架动态变化的连续性，约束Eb_one以使优化得到的骨架与估计得到的骨架长度保持一致，以获取人体三维姿态信息；

规划模块400进一步用于采用RRT*算法计算无人机当前位置和目标位置的折线及路径点，定义无人机的轨道路径点的集合为{r_i，j}＝{[x_j，y_j，z_j]^T}，j∈{1，2，…，q}，其中q为该无人机路径点个数，用时间的多项式函数表示无人机在某个空间维度上的一段轨道：

其中μ∈{x，y，z}，对应三个空间维度，n为轨道的阶数，j为无人机对应轨道的编号，T_j是无人机通过该段轨道需要的时间。为使无人机运动较为平稳，定义无人机轨道函数的四阶导数的平方在时间的积分上最小，即某个维度上代价函数为：

过优化变量a_μ，i，获取在各个轨道上的路径规划点。

需要说明的是，前述对多人环境下单个目标人体运动姿态捕捉方法实施例的解释说明也适用于该实施例的多人环境下单个目标人体运动姿态捕捉系统，此处不再赘述。根据本发明实施例提出的多人环境下单个目标人体运动姿态捕捉系统，可实时计算最佳观测视角，有效避免多人体间的相互遮挡及目标人体自遮挡，从而提高对目标人体运动姿态的捕捉精度，简单易实现。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种多人环境下单个目标人体运动姿态捕捉方法，其特征在于，包括以下步骤：

动态视角采集图像，并选择目标人体；

根据采集的图像计算多人位置及所述目标人体的三维骨架；

估计下一时刻的多人位置以及目标人体的姿态，并且获取最佳观测视角；

根据所述最佳观测视角规划无人机飞行路径，并根据所述无人机飞行路径控制无人机飞行，以到达最佳观测位置，保证所述最佳观测视角；

其中，估计下一时刻的多人位置以及所述目标人体的姿态，并且获取最佳观测视角，包括：

为提高算法实时性，使用球体模型表示人体形状，其中所述目标人体各个关节点球体模型使用SMPL人体稠密模型拟合得到，人体躯干球体模型使用躯干骨架长度计算获取；

所述目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中，z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用所述关节点球体模型半径计算得到的标准差。

2.根据权利要求1所述的方法，其特征在于，所述根据所述采集图像计算多人位置及所述目标人体的三维骨架，包括：

通过深度学习网络检测场景中多人在所述采集的图像中的位置及所述目标人体的关节点二维坐标，其中，使用高帧率二维人体骨架检测算法，其输出数据包含每个关节点二维像素位置p＝(u,v)以及置信度

3.根据权利要求2所述的方法，其特征在于，还包括：

使用预先校准的双目可见光传感器进行匹配以及三角化，得到相机坐标系下多人体的三维空间位置以及所述目标人体的骨架的三维坐标，并对骨架的三维坐标进行优化，优化函数为：

E_p＝λ_dataE_data+λ_regE_reg+λ_boneE_bone，

其中，E_data保障优化得到的骨架与观测值具有一致性；E_reg确保人体运动与骨架动态变化的连续性，约束E_bone以使优化得到的骨架与估计得到的骨架长度保持一致，以获取人体三维姿态信息。

4.根据权利要求3所述的方法，其特征在于，设视点距离地面高度为H_C，视点俯仰角为θ，人体高度为H_h，人体中心节点三维坐标为(x₀，y₀，z₀)，D为视点距离人体的水平距离；

人体顶点可见约束表示为：

人体底部可见约束为：

人体在图像中所占的合理尺度为：

其中，∈为人体在图像中的比例。

5.根据权利要求4所述的方法，其特征在于，目标人体关节之间的自遮挡以及其他人体对目标人体的环境遮挡，目标函数定义为：

其中，

表示关节点之间的自遮挡约束，

为其他人体对目标人体的环境遮挡约束，通过优化目标函数E_v得到所述最佳观测视角。

6.根据权利要求5所述的方法，其特征在于，目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中，z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用关节点球体模型半径计算得到的标准差；

其他人体对目标人体t的环境遮挡计算采用躯干球体模型为：

其中z_k、z_t分别表示人体k以及目标人体t的躯干球体模型中心点距离最佳视角相机平面的距离；

表示躯干球体模型中心点在最佳观测视角下投影的距离；

使用躯干球体模型半径计算得到的标准差。

7.根据权利要求6所述的方法，其特征在于，所述根据所述最佳观测视角规划无人机飞行路径，包括：

采用RRT*算法计算无人机当前位置和目标位置的折线及路径点，定义无人机的轨道路径点的集合为{r_i,j}＝{[x_j,y_j,z_j]^T},j∈{1,2,…,q}，其中q为该无人机路径点个数，用时间的多项式函数表示无人机在某个空间维度上的一段轨道：

其中μ∈{x,y,z}，对应三个空间维度，n为轨道的阶数，j为无人机对应轨道的编号，T_j是无人机通过该段轨道需要的时间；为使无人机运动较为平稳，定义无人机轨道函数的四阶导数的平方在时间的积分上最小，即某个维度上代价函数为：

通过优化变量a_μ,i，获取在各个轨道上的路径规划点。

8.一种多人环境下单个目标人体运动姿态捕捉系统，其特征在于，包括：

采集模块，用于动态视角采集图像，并选择目标人体；

计算模块，用于根据采集的图像计算多人位置及所述目标人体的三维骨架；

估计模块，用于估计下一时刻的多人位置以及目标人体的姿态，并且获取最佳观测视角；

规划模块，用于根据所述最佳观测视角规划无人机飞行路径，并根据所述无人机飞行路径控制无人机飞行，以到达最佳观测位置，保证所述最佳观测视角；

其中，所述估计模块，具体用于：

为提高算法实时性，使用球体模型表示人体形状，其中所述目标人体各个关节点球体模型使用SMPL人体稠密模型拟合得到，人体躯干球体模型使用躯干骨架长度计算获取；

所述目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中，z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用所述关节点球体模型半径计算得到的标准差。

9.根据权利要求8所述的系统，其特征在于，其中，

设视点距离地面高度为H_C，视点俯仰角为θ，人体高度为H_h，人体中心节点三维坐标为(x₀，y₀，z₀)，D为视点距离人体的水平距离；

人体顶点可见约束表示为：

人体底部可见约束为：

人体在图像中所占的合理尺度为：

其中，∈为人体在图像中的比例；

目标人体关节之间的自遮挡以及其他人体对目标人体的环境遮挡，目标函数定义为：

其中，

表示关节点之间的自遮挡约束，

为其他人体对目标人体的环境遮挡约束，通过优化目标函数E_v得到所述最佳观测视角；

目标人体关节点之间的自遮挡计算使用关节点球体模型，公式表示为：

其中，z_m、z_n分别表示关节点m与关节点n的球体模型中心点距离最佳视角相机平面的距离；

表示两个关节点中心点在最佳观测视角下投影的距离；

使用关节点球体模型半径计算得到的标准差；

其他人体对目标人体t的环境遮挡计算采用躯干球体模型为：

其中z_k、z_t分别表示人体k以及目标人体t的躯干球体模型中心点距离最佳视角相机平面的距离；

表示躯干球体模型中心点在最佳观测视角下投影的距离；

使用躯干球体模型半径计算得到的标准差。

10.根据权利要求9所述的系统，其特征在于，其中，

所述计算模块进一步用于通过深度学习网络检测场景中多人在所述采集的图像中的位置及所述目标人体的关节点二维坐标，其中，使用高帧率二维人体骨架检测算法，其输出数据包含每个关节点二维像素位置p＝(u,v)以及置信度

使用预先校准的双目可见光传感器进行匹配以及三角化，得到相机坐标系下多人体的三维空间位置以及所述目标人体的骨架的三维坐标，并对骨架的三维坐标进行优化，优化函数为：E_p＝λ_dataE_data+λ_regE_reg+λ_boneE_bone，其中，E_data保障优化得到的骨架与观测值具有一致性；E_reg确保人体运动与骨架动态变化的连续性，约束E_bone以使优化得到的骨架与估计得到的骨架长度保持一致，以获取人体三维姿态信息；

所述规划模块进一步用于采用RRT*算法计算无人机当前位置和目标位置的折线及路径点，定义无人机的轨道路径点的集合为{r_i,j}＝{[x_j,y_j,z_j]^T},j∈{1,2,…,q}，其中q为该无人机路径点个数，用时间的多项式函数表示无人机在某个空间维度上的一段轨道：

其中μ∈{x,y,z}，对应三个空间维度，n为轨道的阶数，j为无人机对应轨道的编号，T_j是无人机通过该段轨道需要的时间； 为使无人机运动较为平稳，定义无人机轨道函数的四阶导数的平方在时间的积分上最小，即某个维度上代价函数为：

过优化变量a_μ,i，获取在各个轨道上的路径规划点。

Images