CN111767886A

CN111767886A - 一种基于移动机器人的动捕跟踪方法

Info

Publication number: CN111767886A
Application number: CN202010649424.6A
Authority: CN
Inventors: 不公告发明人
Original assignee: Beijing Zhongke Shenzhi Technology Co ltd
Current assignee: Beijing Zhongke Shenzhi Technology Co ltd
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2020-10-13

Abstract

本发明公开了一种基于移动机器人的动捕跟踪方法，包括：利用移动机器人捕捉人体运动视频帧图像；构建一多关节人体模型，然后对所述视频帧图像进行摄像机标定，以建立三维空间到二维图像的投影关系；提取所述视频帧图像的图像特征；根据建立的三维空间到二维图像间的投影关系和提取的视频特征图像，将三维的所述多关节人体模型按照给定的相机参数投影到二维图像坐标系，得到模型特征图像；将所述模型特征图像和所述视频特征图像进行图像比对，得到给定的所述相机参数下的所述模型特征图像与所述视频特征图像的相似度度量，并在相似度度量低于一相似度阈值时对模型运动姿态进行校正。本发明可有效确保模型运动的真实度。本方法可以用于超大空间、户外的多人动作捕捉场景。

Description

一种基于移动机器人的动捕跟踪方法

技术领域

本发明涉及目标动作捕捉技术领域，特别是超大空间户外的动作捕捉，具体涉及一种基于移动机器人的动捕跟踪方法。

背景技术

随着计算技术的高速发展，新一代人机交互也逐渐成为可能，特别是三维人体运动姿态估计，已成为当前计算机视觉和计算机图形学领域最具有挑战性的研究方向。有标记的三维运动跟踪和分析系统已经在商业上得到了成功应用，比如Vicon公司的MoCap系统已在体育运动分析等领域得到广泛的应用。但这类方法最大的缺点是需要借助特殊的设备捕捉关节点的位置，因此，无标记的运动捕捉系统吸引了更多研究者的注意。

无标记点的运动跟踪方法主要分为两类：一是基于模型的方法，其采用多关节模型来表示人体的运动姿态，姿态的估计过程就是建立三维的多关节模型与特征图像之间对应关系的过程。基于模型的方法具有可以对任意运动姿态进行估计的特点，但是当三维模型的自由度较大时，建立模型和特征图像间的对应关系存在一定的难度。二是基于学习的方法，不直接使用模型来估计运动姿态。该方法针对一个特定的运动事先存储一组训练样本，运动估计的问题就变成一个在已知的有限样本集合中寻找最合适样本的过程，但基于学习的方法不能跟踪任意动作的运动姿态。特别是对于超大空间、户外的多人动作捕捉，目前没有太好的办法。

发明内容

本发明的目的在于提供一种基于移动机器人的动捕跟踪方法，以解决上述技术问题，特别是对于超大空间、户外的多人动作捕捉。

为达此目的，本发明采用以下技术方案：

提供一种基于移动机器人的动捕跟踪方法，包括：

利用移动机器人捕捉人体运动视频帧图像；

构建一可表示人体骨架姿态和真实肢体形状的多关节人体模型，然后对所述视频帧图像进行摄像机标定，以建立三维空间到二维图像的投影关系；

提取所述视频帧图像的图像特征；

根据建立的三维空间到二维图像间的投影关系和提取的视频特征图像，将三维的所述多关节人体模型按照给定的相机参数投影到二维图像坐标系，得到模型特征图像；

将所述模型特征图像和所述视频特征图像进行图像比对，得到给定的所述相机参数下的所述模型特征图像与所述视频特征图像的相似度度量；

判断所述相似度度量是否大于或等于一相似度阈值，

若是，则将所述模型特征图像对应的模型姿态作为当前的所述多关节人体模型的运动姿态输出；

若否，则通过一预设的校正方法校正所述多关节人体模型的运动姿态然后输出。

优选地，从所述视频帧图像上提取的图像特征包括人体的外轮廓特征、边界特征、灰度特征和肤色特征。

优选地，所述校正方法校正所述多关节人体模型的运动姿态的过程包括如下步骤：

步骤L1，通过一服从概率分布p的运动模型生成可表示运动姿态的多个候选样本；

步骤L2，对各所述候选样本进行优化，得到优化后的所述候选样本；

步骤L3，根据优化后的各所述候选样本，并通过一观测似然函数输出加权样本集合；

步骤L4,根据所述加权样本集合生成所述概率分布p。

优选地，所述候选样本为从所述视频帧图像上提取的特征点的运动姿态X。

优选地，所述步骤L2中，通过一目标函数

优化所述候选样本X，

上式中，r_i(X,Y)表示第i个特征点位置上的所述视频特征图像Y与所述模型特征图像之间的姿态误差；

M为所述视频特征图像Y中的特征点数量。

优选地，优化所述候选样本X的过程如下：

通过以下公式计算h(x)的梯度矢量Δh(x)：

上式中，r(X,Y)表示模型姿态为X时，观测到的所述视频特征图像Y与所述模型特征图像之间的姿态误差，

J为X的雅克比矩阵，

N为所述视频特征图像Y上的所述候选样本的数量；

将X的二阶偏导表示为：

最后通过以下公式对所述候选样本进行优化：

X′＝X-H(X)^-1Δh(x)＝X-(J^TJ)^-1J^Tr(X)＝X+ΔX

上式中，ΔX用于表示优化迭代增量，ΔX根据线性方程JΔX＝r(X,Y)的伪逆进行求解；

X′表示优化后的所述候选样本。

优选地，所述视频特征图像Y包括所述视频帧图像上人体的外轮廓特征图像Y_s、边界特征图像Y_e、灰度特征图像Y_g和肤色特征图像Y_c。

优选地，所述步骤L3中，所述观测似然函数的表达形式如下：

上式中，Y∈{Y_s,Y_e,Y_g,Y_c}表示从所述视频帧图像上提取的所述视频特征图像，其中，Y_s表示所述视频帧图像上的人体外轮廓特征图像；

Y_e表示所述视频帧图像上的人体边界特征图像；

Y_g表示所述视频帧图像上的人体灰度特征图像；

Y_c表示所述视频帧图像上的人体肤色特征图像；

X表示所述视频特征图像上的某个特征点的运动姿态；

r_i(X,Y*)表示当运动姿态为X时，在特征点i处的所述视频特征图像与所述模型特征图像之间的姿态误差；

M为所述视频特征图像上的特征点的数量。

本发明通过在粒子滤波过程中引入局部优化方法来减少样本数量，解决了现有的基于模型的动捕跟踪方法在多关节人体模型自由度较大时，难以建立模型和特征图像间的对应关系的技术问题。而且本发明同时确保了模型运动的真实度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于移动机器人的动捕跟踪方法的步骤图；

图2是所述多关节人体模型的示意图；

图3是所述视频特征图像的示意图；

图4是所述模型特征图像的示意图；

图5是所述校正方法校正所述多关节人体模型的运动姿态的方法步骤图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明一实施例采用的多关节人体模型如图2所示，包括表示运动学特性的骨架结构和表示外观特性的实体结构两部分。骨架模型有15(每一段是1个向量)，17个关节点，其中根节点在腰部，躯干有6个自由度，包括3个平移和3个旋转。左右上臂和左右大腿各有3个自由度，头有2个自由度，左右下臂和左右小腿各有1个自由度。腰部根节点到臀节点的自由度和腕关节到手掌的自由度为0，这样整个多关节人体模型有24个自由度。本实施例将多关节人体模型的运动姿态定义为X＝{x₁,x₂,x₃,…,x₂₄}。

人体姿态可用一组多关节人体模型的参数来描述，运动估计的过程就是从多个同步视频中计算这组参数的过程。因此本发明将动捕跟踪的过程分为两个不同的阶段来处理：

(1)预处理。首先建立一个可以表示骨架姿态和真实肢体形状的多关节人体模型。然后对视频帧图像进行摄像机标定，以建立三维空间到二维图像的投影关系。最后对视频帧图像进行特征提取。

(2)在时间序列上建立三维的多关节人体模型与特征图像之间的对应关系，也就是模型与图像的匹配过程，其基本思路是将三维的多关节人体模型按照相机参数投影到二维图像坐标系，得到模型图像。然后将模型图像与特征图像进行比较，得到在给定参数下的模型图像与特征图像的相似度度量。

具体地，本发明一实施例提供的基于移动机器人的动捕跟踪方法如图1所示，包括：

步骤S1，利用移动机器人捕捉人体运动视频帧图像；由于人体的运动速度和运动姿态都是动态变化的，常规的摄像机无法对动态的目标进行有效捕捉，为了解决这个问题，本发明通过在移动机器人中植入自动跟踪程序，始终将移动机器人和运动目标保持在合适的拍摄距离和拍摄角度，确保能够拍摄到具有高清晰度地视频帧图像；

步骤S2，构建一可表示人体骨架姿态和真实肢体形状的多关节人体模型，然后对视频帧图像进行摄像机标定，以建立三维空间到二维图像的投影关系；

步骤S3，提取视频帧图像的视频特征图像；

步骤S4，根据步骤S2建立的三维空间到二维图像间的投影关系和步骤S3提取的视频特征图像，将三维的多关节人体模型内按照给定的相机参数投影到二维图像坐标系，得到模型特征图像；

步骤S5，将模型特征图像和视频特征图像进行图像比对，得到给定的相机参数下的模型特征图像与视频特征图像的相似度度量；

步骤S6，判断相似度度量是否大于或等于一相似度阈值，

若是，则将模型特征图像对应的模型姿态作为当前的多关节人体模型的运动姿态输出；

若否，则通过一预设的校正方法校正多关节人体模型的运动姿态然后输出。

视频帧图像只是一组像素点的组合，无法直接与三维的多关节人体模型进行空间匹配，因此需要提取合适的图像特征来建立视频帧图像和多关节人体模型之间的对应关系。本实施例中，选择视频帧图像中的目标(人体)的外轮廓、边界、灰度和肤色作为匹配特征。

视频帧图像的外轮廓特征可以采用现有的背景估计方法得到。关于视频帧图像的外轮廓特征图像请参照图3a。根据视频帧图像的外轮廓特征图像可以很方便地得到多关节人体模型在图像投影方向上的模型外轮廓特征。模型外轮廓特征请参照图4a。

视频帧图像的边界特征可以采用现有的Canny边缘检测算子检测而得。视频帧图像上的目标边界示意图请参照图3b。三维的多关节人体模型的边界特征可以通过投影各段肢体的边界得到。模型边界特征请参照图4b。

视频帧图像的灰度特征可以直接作为匹配特征。视频帧图像的灰度特征示意图请参照图3c。本发明假设前后两帧图像的灰度变化不大，因此将前一时刻的匹配结果所对应的灰度区域作为当前时刻的灰度模板。模型的灰度特征请参照图4c。

视频帧图像的肤色特征通过现有的肤色检测算法得到头和手的区域。图4d所示为三维的多关节人体模型的头和手所对应的区域。

步骤S6中所述的校正方法校正多关节人体模型的运动姿态的过程包括如下步骤：

步骤L2，对各候选样本进行优化，得到优化后的候选样本；

步骤L3，根据优化后的各候选样本，并通过一观测似然函数输出加权样本集合；

步骤L4,根据加权样本集合生成概率分布p。

步骤L1中的候选样本为从视频帧图像上提取的特征点的运动姿态X。

步骤L2中，通过一目标函数

优化候选样本X，

上式中，r_i(X,Y)表示第i个特征点位置上的视频特征图像Y与模型特征图像之间的姿态误差；

M为视频特征图像Y中的特征点数量。

具体地，优化候选样本X的姿态值的过程如下：

通过以下公式计算h(x)的梯度矢量Δh(x)：

上式中，r(X,Y)表示模型姿态为X时，观测到的视频特征图像Y与所述模型特征图像之间的姿态误差，

J为X的雅克比矩阵，

N为视频特征图像Y上的候选样本的数量；

本实施例将X的二阶偏导表示为：

最后通过以下公式对候选样本进行优化：

X′＝X-H(X)^-1Δh(x)＝X-(J^TJ)^-1J^Tr(X)＝X+ΔX

X′表示优化后的候选样本。

上述技术方案中，视频特征图像Y包括视频帧图像中的目标外轮廓特征图像Y_s、边界特征图像Y_e、灰度特征图像Y_g和肤色特征图像Y_c。当考虑外轮廓、边界、灰度和肤色特征对多关节人体模型姿态的整体影响时，目标函数h(x)表达如下：

h(x)＝W₁*h_s(x)+W₂*h_e(x)+W₃*h_g(x)+W₄*h_c(x)

公式(1)中，W₁、W₂、W₃、W₄是权值。

步骤L3中，观测似然函数通过以下公式表达：

上式中，Y∈{Y_s,Y_e,Y_g,Y_c}表示从视频帧图像上提取的视频特征图像，其中，Y_s表示视频帧图像上的人体外轮廓特征图像；

Y_e表示视频帧图像上的人体边界特征图像；

Y_g表示视频帧图像上的人体灰度特征图像；

Y_c表示视频帧图像上的人体肤色特征图像；

X表示所述视频特征图像上的某个特征点的运动姿态；

r_i(X,Y*)表示当运动姿态为X时，在特征点i处的视频特征图像与模型特征图像之间的姿态误差；

M为视频特征图像上的特征点的数量。

步骤L4中，根据加权样本集合生成概率分布p的方法为现有的方法，所以关于生成概率分布p的方法过程在此不做阐述。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims

1.一种基于移动机器人的动捕跟踪方法，其特征在于，包括：

利用移动机器人捕捉人体运动视频帧图像；

提取所述视频帧图像的图像特征；

判断所述相似度度量是否大于或等于一相似度阈值，

2.根据权利要求1所述的基于移动机器人的动捕跟踪方法，其特征在于，从所述视频帧图像上提取的图像特征包括人体的外轮廓特征、边界特征、灰度特征和肤色特征。

3.根据权利要求2所述的基于移动机器人的动捕跟踪方法，其特征在于，所述校正方法校正所述多关节人体模型的运动姿态的过程包括如下步骤：

步骤L4，根据所述加权样本集合生成所述概率分布p。

4.根据权利要求3所述的基于移动机器人的动捕跟踪方法，其特征在于，所述候选样本为从所述视频帧图像上提取的特征点的运动姿态X。

5.根据权利要求4所述的基于移动机器人的动捕跟踪方法，其特征在于，所述步骤L2中，通过一目标函数

优化所述候选样本X，

上式中，r_i(X，Y)表示第i个特征点位置上的所述视频特征图像Y与所述模型特征图像之间的姿态误差；

M为所述视频特征图像Y中的特征点数量。

6.根据权利要求5所述的基于移动机器人的动捕跟踪方法，其特征在于，优化所述候选样本X的过程如下：

通过以下公式计算h(x)的梯度矢量Δh(x)：

上式中，r(X，Y)表示模型姿态为X时，观测到的所述视频特征图像Y与所述模型特征图像之间的姿态误差，

J为X的雅克比矩阵，

N为所述视频特征图像Y上的所述候选样本的数量；

将X的二阶偏导表示为：

最后通过以下公式对所述候选样本进行优化：

X′＝X-H(X)^-1Δh(x)＝X-(J^TJ)^-1J^Tr(X)＝X+ΔX

上式中，ΔX用于表示优化迭代增量，ΔX根据线性方程JΔX＝r(X，Y)的伪逆进行求解；

X′表示优化后的所述候选样本。

7.根据权利要求5所述的基于移动机器人的动捕跟踪方法，其特征在于，所述视频特征图像Y包括所述视频帧图像上人体的外轮廓特征图像Y_s、边界特征图像Y_e、灰度特征图像Y_g和肤色特征图像Y_c。

8.根据权利要求6所述的基于移动机器人的动捕跟踪方法，其特征在于，所述步骤L3中，所述观测似然函数的表达形式如下：

上式中，Y∈{Y_s，Y_e，Y_g，Y_c}表示从所述视频帧图像上提取的所述视频特征图像，其中，Y_s表示所述视频帧图像上的人体外轮廓特征图像；

Y_e表示所述视频帧图像上的人体边界特征图像；

Y_g表示所述视频帧图像上的人体灰度特征图像；

Y_c表示所述视频帧图像上的人体肤色特征图像；

X表示所述视频特征图像上的某个特征点的运动姿态；

r_i(X，Y*)表示当运动姿态为X时，在特征点i处的所述视频特征图像与所述模型特征图像之间的姿态误差；

M为所述视频特征图像上的特征点的数量。