CN110555408A - 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 - Google Patents

Abstract

本发明的用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，包括以下步骤：建立自适应人体姿态映射关系库；利用深度学习模型对摄像头得到的每一帧图像进行二维人体关节点检测，得到关节点数据；使用快速查找算法在自适应人体姿态映射关系库中找出与二维人体关节点对应的若干三维人体姿态映射；以及用动态匹配算法得到二维人体关节点对应的最终的三维人体姿态。该方法是基于深度学习以及动态匹配框架，将检测速度提升到实时检测水平；对于多种三维人体姿态对应同一二维人体姿态的情况提出了自适应数据库以及动态匹配算法，其准确度与检测结果稳定性大大提高，在目前公布的测试数据集上，取得了领先的检测水平。

Description

一种基于自适应映射关系的单摄像头实时三维人体姿态检测 方法

技术领域

本发明涉及人体姿态识别技术领域，具体涉及到一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法。

背景技术

三维人体姿态检测在运动分析、动作识别、人机交互以及游戏娱乐等方面有着广阔的应用场景与发展潜力。传统的三维人体姿态获取往往需要使用标记点和多个视角的摄像头共同拍摄完成，其获取成本较高，适用场景较小。而游戏娱乐应用中往往使用带深度感应器的摄像机，其价格也是大大高于普通单目摄像头。现在，随着深度学习技术的发展，计算机视觉领域的各种检测算法准确度不断提升，单摄像头三维人体姿态检测也成为计算机视觉领域最近几年的一个研究热点。目前很多单摄像头三维人体姿态检测算法仅适用于完整的视频，其实时性难以保证。而基于单帧图像的深度学习三维人体姿态生成算法在连续的视频流上难免出现程度不一的抖动现象，准确性相比连续完整的视频也出现下降。与此同时，该算法的另一个难点在于三维人体姿态训练数据集的缺乏。目前三维人体姿态领域还没有一个包含大量不同样本的公开数据集，常用的数据集都在室内受控情况下收集，这使得目前流行的深度学习算法在该领域上泛化能力受限。

发明内容

本发明的目的是提供一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法，该方法建立人体二维关节点与三维人体姿态动态自适应映射库，同时使用三维空间回归拟合实现稳定准确地单摄像头人体三维人体姿态检测。

本发明提供的技术方案如下：

本发明的用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，包括以下步骤：步骤1：建立自适应人体姿态映射关系库；步骤2：利用深度学习模型对摄像头得到的每一帧图像进行二维人体关节点检测，得到关节点数据；步骤3：使用快速查找算法在自适应人体姿态映射关系库中找出与二维人体关节点对应的若干三维人体姿态映射；以及步骤4：用动态匹配算法得到二维人体关节点对应的最终的三维人体姿态。

在上述用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，其中，步骤2包括使用二维人体姿态检测模型提取出N个关节点的二维坐标信息，以得到关节点数据。

在上述用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，其中，在步骤3中，还包括将步骤2得到的关节点数据标准化，其中，人体关节点数据标准化过程如下：

首先进行人体尺度归一化，假设传入的二维坐标为J^N×2，骨盆点(或两个髋关节的中点)坐标为m(x_m，y_m)，颈部点(或两个肩关节的中点)坐标为n(x_n，y_n)，则尺度归一化后坐标J′^N×2计算如式(1)所示：

此时，m′点为坐标轴原点，原n点变为n′。设m′n′点构成的直线与x轴角度为α，完成尺度归一化后，进行旋转角度归一化，角度归一化后坐标S^N×2公式如式(2)所示：

此时得到标准化二维坐标S^N×2。

在上述用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，步骤3还包括，使用快速查找算法在预先建立的自适应映射关系库中寻找L₂相似度最高的C个记录。

在上述用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，步骤4包括，使用动态匹配算法公式在步骤3所得的C个记录中求取最佳三维人体姿态数据位置动态匹配算法公式如下：

其中，m_i表示第i个记录中共有m_i条三维人体姿态数据与二维映射对应，表示在查找过程中第i个记录的二维人体姿态数据与进行查找的二维人体姿态数据的相似度，p_i，j表示第i个记录中第j个三维人体姿态数据出现的概率，为动态约束相似度，其计算公式如下：

其中，t表示当前帧，t-2表示当前时刻倒数第2帧图像，表示当前三维数据第k个关节点三维坐标与之前得到的t-2帧第k个关节点三维坐标所组成的向量，以此类推。N表示关节点数量，表示t-2帧的所有关节点三维坐标，ε为一个较小常数，β和γ为权重值，σ为标准差。使用(3)(4)公式所描述的动态匹配算法计算得到则当前二维人体姿态所对应的最终的三维人体姿态则为

本发明还提供了一种用于基于自适应映射关系的单摄像头实时三维人体姿态检测系统，包括：人体姿态映射关系库建立模块，用于建立三维人体姿态与二维人体姿态对应的映射关系库，对三维人体姿态在二维平面上的投影建立映射关系对，同时包含人体关系约束规则；自适应关系库调整模块，用于针对具体应用场景进行自适应校准，建立自适应人体姿态映射关系库；以及动态匹配算法模块，用于得到最终的三维人体姿态。

在上述基于自适应映射关系的单摄像头实时三维人体姿态检测系统中，其中，人体姿态映射关系库建立模块，用于对同一个三维人体姿态，分别计算不同水平环绕视角以及俯仰视角的二维平面人体姿态，利用生物学和医学先验知识，自动生成所有可能关节角度的人体姿态，同时通过数据集找出可行域，删除库中无效三维人体姿态，得到准确精炼的姿态映射关系库。

在上述基于自适应映射关系的单摄像头实时三维人体姿态检测系统中，其中，自适应关系库调整模块，具体用于根据具体应用场景，得到不同三维人体姿态出现的概率，给对应同一二维投影的多个不同三维人体姿态分配基于概率的权重值，便于减少多个三维人体姿态对应同一二维人体姿态的不确定性。

在上述基于自适应映射关系的单摄像头实时三维人体姿态检测系统中，其中，动态匹配算法模块具体用于对输入的二维人体姿态进行准确的三维人体姿态匹配，得到准确连续的三维人体姿态估计。

与现有技术相比，本发明的有益效果是：

1.)本发明的方法是基于二维关节点到三维人体姿态映射的映射库进行的三维人体姿态检测，而目前的二维到三维映射方法存在映射对数据量过少以及对摄像头视角敏感的缺点。本发明的方法通过计算机程序自动生成多视角多姿态三维人体姿态在二维平面上的映射，得到一个完备的二维到三维人体姿态映射库，同时添加人体关节可行角度约束，最大程度减少完备的数据库中无效映射对；

2.)由二维关节点到三维人体姿态的映射存在多个三维人体姿态对应同一二维平面投影的情况，现有的映射方法得到的三维人体姿态无法消除这种模糊性的影响。本发明方法提出角度约束以及动态自适应映射方案，能大幅降低映射模糊性问题，得到准确的映射后三维人体姿态；

3.)目前的单帧图像三维人体姿态检测方法在连续视频流上存在不同程度的抖动问题，本发明方法提出三维关节点回归拟合方法能够显著降低抖动现象，得到稳定的实时三维人体姿态。

附图说明

下面结合附图，通过实施例子对本发明进一步说明如下：

图1为本发明的基于自适应映射关系的单摄像头实时三维人体姿态检测方法的流程图。

图2为本发明所提出人体映射模型的构造示意图。

图3为人体关节限制数据集中的部分样本示例。

图4为自适应映射关系库所存储的数据示例。

具体实施方式

本发明的基于自适应映射关系的单摄像头实时三维人体姿态检测方法，采用深度学习框架以及快速查找算法，设计了一种新的快速三维人体姿态检测方法，能够使用普通单摄像头实现实时人体三维骨架检测。该发明方法可直接从普通摄像头中获取输入视频流，在配备当前主流显卡的电脑主机上达到30帧每秒左右的识别速度。同时该方法使用自适应映射关系库克服了三维人体姿态数据集不足所导致的泛化能力受限的问题以及二维到三维的一对多映射问题，在主流测试集上取得了领先的识别准确度。而且，通过动态匹配算法，该方法在连续帧上检测得到的姿态相比其他单帧图像检测算法，抖动现象得到极大改善。

本发明提出的基于自适应映射关系的单摄像头实时三维人体姿态检测方法包括四个部分，即，1)至4)：

1)设计程序生成一个完备的三维人体姿态与二维人体姿态对应的映射关系库，并针对具体应用场景进行自适应校准，即使用自适应关系库调整算法建立自适应人体姿态映射关系库。

2)利用已有深度学习模型对摄像头得到的每一帧图像进行二维人体关节点检测，即二维人体姿态检测模型检测得到关节点数据。

3)将上一步得到的二维关节点数据标准化后使用查找算法得到映射关系，即，使用快速查找算法在自适应人体姿态映射关系库中找出与二维人体关节点对应的若干三维人体姿态映射。其中部分2)和3)均使用现有的开源算法实现，此处不在赘述。

4)使用动态匹配算法得到二维人体关节点对应的最终的三维人体姿态。

本发明还提供了一种基于自适应映射关系的单摄像头实时三维人体姿态检测系统，包括：

人体姿态映射关系库建立模块，用于建立三维人体姿态与二维人体姿态对应的映射关系库，即对三维人体姿态在二维平面上的投影建立映射关系对，同时包含人体关系约束规则；

自适应关系库调整模块，用于针对具体应用场景进行自适应校准，建立自适应人体姿态映射关系库。具体用于根据具体应用场景，得到不同三维人体姿态出现的概率，给对应同一二维投影的多个不同三维人体姿态分配基于概率的权重值，便于减少多个三维人体姿态对应同一二维人体姿态的不确定性；

动态匹配算法模块，用于得到最终的三维人体姿态。具体地，使用动态匹配算法对输入的二维人体姿态进行准确的三维人体姿态匹配，得到准确连续的三维人体姿态估计。人体姿态映射关系库的建立使用自行设计电脑程序生成，得到人体各种三维人体姿态在不同视角下的二维投影。为保证得到姿态的完备性，生成程序利用生物学和医学先验知识，自动生成所有可能关节角度的人体姿态，由于不同姿态之间是连续的，生成程序将依据应用对准确性的要求进行不同间隔大小的采样。同时，在建立映射关系库时，这些先验知识对单个关节约束较多，而对整体人体角度约束较少，本发明方法进一步利用人体关节约束数据集来精简数据集大小，删除冗余的不可能出现人体姿态。建立起初步人体姿态映射关系后，需对关系库进行自适应调整。同一二维投影可能对应于不同的三维人体姿态，自适应调整根据具体使用场景，对不同三维人体姿态出现的概率进行数学建模，分配给对应同一二维投影的不同三维人体姿态数据一个置信系数，减小这种不确定性。快速查找算法用于找出关系库中与当前二维人体姿态最相近的若干条二维投影数据及它们的相似度。动态匹配算法则根据当前查找得到的二维投影数据的相似度、对应的各三维人体姿态数据的置信系数以及之前若干帧得到的三维人体姿态确定当前帧对应的三维人体姿态。使用本发明的单摄像头实时三维人体姿态检测方法，能够利用普通单个摄像头实现实时三维人体姿态检测。与现存的多种三维人体姿态识别方案相比，其在保持实时检测速度的同时，准确性上取得较大提升。在检测速度上，由于采用快速匹配算法，相比于使用深度网络模型直接生成三维人体姿态的算法以及需要多帧图像推断三维人体姿态的算法，其所需时间大大缩短，与传统的字典匹配方法速度相当。以英特尔i7-8700处理器和英伟达GeForce GTX 1070为例，本方法所需时间约为30ms，其中二维人体姿态检测时间为15ms左右，查找时间为10ms左右，动态匹配算法4ms左右，对于普通摄像头30FPS的拍摄速度能够实现实时处理。在准确性上，传统的字典库匹配方法基于三维人体姿态数据集创建简单的映射关系，其全面程度受数据集大小的影响，单一数据集很难覆盖所有人体可行动作。而本发明是采用程序生成所有可能的三维人体姿态在多角度二维平面上映射关系，引入先验知识消除无效数据，这样能够最大程度覆盖所有可行三维人体姿态与二维平面投影的映射关系区间。同时，相比于训练数据不足的深度学习模型，上述关系库构建方法使得本发明算法的泛化能力能够得到有效保证，在日常生活中多种应用场景下的准确度得到提升。另外，本发明的方法引入了自适应映射关系库构造方法与动态匹配算法，对于从二维平面推断三维平面映射关系的信息不完全问题，利用具体应用场景的先验概率信息进行映射库自适应，接着使用动态匹配算法得到最优的三维人体姿态，在提高准确性的同时大大降低了现有的基于单帧图像生成三维人体姿态算法在连续视频流上的抖动现象。

本发明的原理是：1.)通过生物学和医学先验知识，设计自动化生成程序得到完备有效的各角度姿态人体二维与三维关节点映射关系库，同时通过专用人体关节限制数据集对人体整体可能姿态进行限制，消除关系库中大量无效映射关系；2.)针对人体姿态特征设计合适的二维关节点标准化方法，弱化不同拍摄角度对关节点映射查找的影响，同时归一化的视角关系极大减小了关系库大小，提升了映射关系查找效率；3.)对于生成的映射关系数据库，在算法应用场景相关的特定小数据集上进行自适应映射关系调整。即对于多个三维人体姿态对应同一二维投影的情况，通过与方法具体应用场景相关的小数据集(如田径运动或球类运动等)计算不同三维人体姿态的概率分布情况，对三维人体姿态分配置信因子；4.)通过深度学习算法得到二维人体姿态后，使用快速查找算法在关系库中快速得到对应的映射对，然后使用自适应动态匹配算法得到最佳的三维人体姿态。

下面结合附图，通过实施例子对本发明进一步说明如下：

图1为本发明的基于自适应映射关系的单摄像头实时三维人体姿态检测方法的流程图，共分为三步s1-s3，现将具体流程分述如下：

s1二维(2D)人体姿态检测模型检测得到关节点数据。利用深度学习模型(例如，二维人体姿态检测模型)对摄像头得到的每一帧图像进行二维人体关节点检测。即给定输入图像，使用二维人体姿态检测模型提取出N个关节点的二维坐标信息(N根据具体需求关节点数取值，优选的N为17)；

s2将上一步得到的二维关节点数据标准化后使用查找算法得到映射关系。具体地，使用快速查找算法在自适应人体姿态映射关系库中找出与二维人体关节点对应的若干三维人体姿态映射。自适应人体姿态映射关系库存储的二维人体关节点数据标准化过程如下，首先进行人体尺度归一化。假设传入的二维坐标为J^N×2，骨盆点(或两个髋关节的中点)坐标为m(x_m，y_m)，颈部点(或两个肩关节的中点)坐标为n(x_n，y_n)，则尺度归一化后坐标J′^N×2计算如(1)所示：

此时，m′点为坐标轴原点，原n点变为n′。设m′n′点构成的直线与x轴角度为α，完成尺度归一化后，进行旋转角度归一化，角度归一化后坐标S^N×2公式如(2)所示：

此时二维坐标标准化完成。实时得到的二维关节点坐标信息也需要进行同样的标准化后进行查找。将标准化后的实时姿态二维坐标转换为一维向量，接着使用FAISS快速查找算法(https：//code.fb.com/data-infrastructure/faiss-a-library-for-efficient-similarity-search/)在预先建立的自适应映射关系库中寻找L₂相似度最高的C个记录，即图1中的R_1至R_C。自适应映射关系库的说明将在下述图2至图4的说明中详述；

s3使用动态匹配算法得到对应的三维(3D)人体姿态，即使用动态匹配算法找出二维人体姿态映射对应的最终的三维人体姿态，在C个记录中求取最佳三维人体姿态数据位置的动态匹配算法公式如下：

其中，mi表示第i个记录中共有m_i条三维人体姿态数据与二维映射对应，表示在查找过程中第i个记录的二维人体姿态数据与进行查找的二维人体姿态数据的相似度，p_i，j表示第i个记录中第j个三维人体姿态数据出现的概率，为动态约束相似度，其计算公式如下：

其中，t表示当前帧，t-2表示当前时刻倒数第2帧图像，表示当前三维数据第k个关节点三维坐标与之前得到的t-2帧第k个关节点三维坐标所组成的向量，以此类推。N表示关节点数量，表示t-2帧的所有关节点三维坐标，ε为一个较小常数，β和γ为权重值，σ为标准差。使用(3)(4)公式所描述的动态匹配算法计算得到则当前二维人体姿态所对应的最终的三维人体姿态则为

图2为本发明所提出人体映射模型的构造示意图。对于同一个三维人体姿态，分别计算不同水平环绕视角如图(a)以及俯仰视角如图(b)的二维人体姿态。其中C代表部分视角示例，即从该方向看过去的二维人体姿态。在本发明方法中，水平环绕为360°，分为36个视角，俯仰为90°，分为9个视角。利用生物学和医学先验知识，自动生成所有可能关节角度的人体姿态，得到一个初步映射关系库。

图3人体关节限制数据集中的部分样本示例，(a)为人体关节限制数据集样本采集示例。(b)为固定两个肘关节A、B后，腕关节的可行域变化。其中左侧为右侧球面的角度坐标，深色域为可行域，C至K点为可能角度，L至N为不可行角度。通过数据集找出可行域，删除库中无效三维人体姿态，得到准确精炼的姿态映射关系库。

图4为自适应映射关系库所存储的数据示例。对于得到的人体姿态映射关系库，同一个二维投影姿态可能对应多个不同的三维人体姿态。在这种情况下，建立一个具体应用场景数据集，然后根据不同三维人体姿态出现的概率不同，给同一二维投影对应的多个不同三维人体姿态分配一个概率权重值p_i。此时，在自适应映射关系库中的一条数据记录则为右侧所示，为二维投影数据，为二维投影对应的其中一个三维人体姿态数据及其概率权重值。

以上即为本发明所提出的一种基于人体姿态映射关系的单摄像头实时三维人体姿态检测方法的具体实施方案。该发明在目前普遍使用的Human3.6M数据集上对实验结果进行了评估，结果表明，该方案在实现实时检测时，其在该数据集上的平均每关节点位置误差(MPJPE，mean per joint position error)以及重建误差评价指标均达到目前的领先水平。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (9)

1.一种用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，其特征在于，包括以下步骤：

步骤1：建立自适应人体姿态映射关系库；

步骤2：利用深度学习模型对摄像头得到的每一帧图像进行二维人体关节点检测，得到关节点数据；

步骤3：使用快速查找算法在所述自适应人体姿态映射关系库中找出与二维人体关节点对应的若干三维人体姿态映射；以及

步骤4：用动态匹配算法得到二维人体关节点对应的最终的三维人体姿态。

2.根据权利要求1所述的用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，其中，步骤2包括使用二维人体姿态检测模型提取出N个关节点的二维坐标信息，以得到所述关节点数据。

3.根据权利要求1所述的用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，其中，在步骤3中，还包括将步骤2得到的关节点数据标准化，其中，所述人体关节点数据标准化过程如下：

首先进行人体尺度归一化，假设传入的二维坐标为J^N×2，骨盆点(或两个髋关节的中点)坐标为m(x_m，y_m)，颈部点(或两个肩关节的中点)坐标为n(x_n，y_n),则尺度归一化后坐标J′^N×2计算如式(1)所示：

此时，m′点为坐标轴原点，原n点变为n′。设m′n′点构成的直线与x轴角度为α，完成尺度归一化后，进行旋转角度归一化，角度归一化后坐标S^N×2公式如式(2)所示：

此时得到标准化二维坐标S^N×2。

4.根据权利要求1所述的用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，其中，步骤3还包括，使用快速查找算法在预先建立的自适应映射关系库中寻找L₂相似度最高的C个记录。

5.根据权利要求4所述的用于基于自适应映射关系的单摄像头实时三维人体姿态检测方法，其中，步骤4包括，使用动态匹配算法公式在步骤3所得的C个记录中求取最佳三维人体姿态数据位置所述动态匹配算法公式如下：

其中，m_i表示第i个记录中共有m_i条三维人体姿态数据与二维映射对应，表示在查找过程中第i个记录的二维人体姿态数据与进行查找的二维人体姿态数据的相似度，p_i，j表示第i个记录中第j个三维人体姿态数据出现的概率，为动态约束相似度，其计算公式如下：

其中，t表示当前帧，t-2表示当前时刻倒数第2帧图像，表示当前三维数据第k个关节点三维坐标与之前得到的t-2帧第k个关节点三维坐标所组成的向量，以此类推。N表示关节点数量，表示t-2帧的所有关节点三维坐标，ε为一个较小常数，β和γ为权重值，σ为标准差。使用(3)(4)公式所描述的动态匹配算法计算得到则当前二维人体姿态所对应的最终的三维人体姿态则为

6.一种用于基于自适应映射关系的单摄像头实时三维人体姿态检测系统，其特征在于，包括：

人体姿态映射关系库建立模块，用于建立三维人体姿态与二维人体姿态对应的映射关系库，对三维人体姿态在二维平面上的投影建立映射关系对，同时包含人体关系约束规则；

自适应关系库调整模块，用于针对具体应用场景进行自适应校准，建立自适应人体姿态映射关系库；以及

动态匹配算法模块，用于得到最终的三维人体姿态。

7.根据权利要求6所述的基于自适应映射关系的单摄像头实时三维人体姿态检测系统，其中，所述人体姿态映射关系库建立模块，用于对同一个三维人体姿态，分别计算不同水平环绕视角以及俯仰视角的二维平面人体姿态，利用生物学和医学先验知识，自动生成所有可能关节角度的人体姿态，同时通过数据集找出可行域，删除库中无效三维人体姿态，得到准确精炼的姿态映射关系库。

8.根据权利要求6所述的基于自适应映射关系的单摄像头实时三维人体姿态检测系统，其中，所述自适应关系库调整模块，具体用于根据具体应用场景，得到不同三维人体姿态出现的概率，给对应同一二维投影的多个不同三维人体姿态分配基于概率的权重值，便于减少多个三维人体姿态对应同一二维人体姿态的不确定性。

9.根据权利要求6所述的基于人体姿态映射关系的单摄像头实时三维人体姿态检测方法，其中，所述动态匹配算法模块具体用于对输入的二维人体姿态进行准确的三维人体姿态匹配，得到准确连续的三维人体姿态估计。