CN115035546B - 三维人体姿态检测方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种三维人体姿态检测方法、装置及电子设备，该三维人体姿态检测方法包括：获取双目摄像机同一时刻的左镜头图像和右镜头图像；对左镜头图像和右镜头图像进行二维人体关键点检测，得到左镜头图像和右镜头图像中目标人物的人体关键点；根据左镜头图像和右镜头图像中目标人物的人体关键点计算目标人物在左镜头图像和右镜头图像中的视差；根据视差和双目摄像机的参数计算人体关键点的三维信息，得到目标人物的三维人体姿态数据；将三维人体姿态数据进行人体骨架连接，得到目标人物的三维姿态。本发明实施例提供的方案能够以较低的算力实现3D人体姿态的准确估计。

Description

三维人体姿态检测方法、装置及电子设备

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种三维人体姿态检 测方法、装置及电子设备。

背景技术

三维(Three Dimensions，3D)人体姿态估计是利用计算机视觉 技术在三维空间中估计人体关键点的位置，可以广泛的应用于人体步 态识别、人机交互、运动分析、康复训练等不同的领域，是计算机视 觉和模式识别领域中的一个重要研究方向。

目前，在进行3D人体姿态估计时，可以将采集的单目二维(Two Dimensions，2D)人体图像直接映射为人体3D信息，但这种方法可 能会出现一个2D图像映射出多个不同3D信息的情况，且基于单目 图像的方法面临着遮挡、深度的不确定性等问题，导致3D人体姿态估计的准确度较低；融合多视角信息的双目图像有效地解决了单目图 像的遮挡和深度不确定性问题，但是，目前在基于双目图像进行3D 人体姿态估计时需要对图像中的所有像素点均进行深度计算，算力需 求较高，效率低。

发明内容

本发明提供一种三维人体姿态检测方法、装置及电子设备，用以 解决现有技术中基于双目图像进行3D人体姿态估计时算力需求较高 的缺陷，以较低的算力需求实现3D人体姿态的准确估计。

本发明提供一种三维人体姿态检测方法，包括：

获取双目摄像机同一时刻的左镜头图像和右镜头图像；

对所述左镜头图像和所述右镜头图像进行二维人体关键点检测， 得到所述左镜头图像和所述右镜头图像中目标人物的人体关键点；

根据所述左镜头图像和所述右镜头图像中目标人物的人体关键 点计算所述目标人物在所述左镜头图像和所述右镜头图像中的视差；

根据所述视差和所述双目摄像机的参数计算所述人体关键点的 三维信息，得到所述目标人物的三维人体姿态数据；

将所述三维人体姿态数据进行人体骨架连接，得到所述目标人物 的三维姿态。

根据本发明提供的一种三维人体姿态检测方法，所述对所述左镜 头图像和所述右镜头图像进行二维人体关键点检测，得到所述左镜头 图像和所述右镜头图像中目标人物的人体关键点包括：

对所述左镜头图像和所述右镜头图像进行人脸识别；

根据人脸识别结果确定所述左镜头图像和所述右镜头图像中的 目标人物的图像，得到第一目标图像和第二目标图像；

对所述第一目标图像和所述第二目标图像进行二维人体关键点 检测，得到所述左镜头图像和所述右镜头图像中所述目标人物的人体 关键点。

根据本发明提供的一种三维人体姿态检测方法，所述对所述左镜 头图像和所述右镜头图像进行二维人体关键点检测，得到所述左镜头 图像和所述右镜头图像中目标人物的人体关键点包括：

对所述左镜头图像和所述右镜头图像进行二维人体关键点检测， 得到所述左镜头图像中的第一人体关键点和所述右镜头图像中的第 二人体关键点；

基于所述第一人体关键点和所述第二人体关键点确定所述左镜 头图像和所述右镜头图像中的人体检测框，得到第一人体检测框和第 二人体检测框；

获取所述第一人体检测框中的最大人体检测框，将所述最大人体 检测框中的人物个体确定为所述目标人物；

利用行人再识别从所述第二人体检测框中确定所述最大人体检 测框对应的匹配人体检测框；

将所述最大人体检测框和所述匹配人体检测框中的人体关键点 确定为所述左镜头图像和所述右镜头图像中所述目标人物的人体关 键点。

根据本发明提供的一种三维人体姿态检测方法，在所述将三维人 体姿态数据进行人体骨架连接，得到所述目标人物的三维姿态之后， 所述三维人体姿态检测方法还包括：

将所述目标人物的三维姿态输入至人体三维姿态识别模型，进行 基于所述目标人物的三维姿态的姿态识别，得到所述人体三维姿态识 别模型输出的姿态识别结果，所述人体三维姿态识别模型基于样本三 维姿态和所述样本三维姿态的姿态标签训练得到；

输出所述姿态识别结果。

根据本发明提供的一种三维人体姿态检测方法，在所述获取双目 摄像机同一时刻的左镜头图像和右镜头图像之前，所述三维人体姿态 检测方法还包括：

对所述双目摄像机进行标定；

使用标定后的所述双目摄像机拍摄所述双目摄像机成像范围内 的图像。

根据本发明提供的一种三维人体姿态检测方法，所述人体关键点 包括头部、脖子、左肩、右肩、左手肘、右手肘、左手腕、右手腕、 躯干、胯部、左膝盖、右膝盖、左脚踝和右脚踝。

本发明还提供一种三维人体姿态检测装置，包括：

采集模块，用于获取双目摄像机同一时刻的左镜头图像和右镜头 图像；

识别模块，用于对所述左镜头图像和所述右镜头图像进行二维人 体关键点检测，得到所述左镜头图像和所述右镜头图像中目标人物的 人体关键点；

第一计算模块，用于根据所述左镜头图像和所述右镜头图像中目 标人物的人体关键点计算所述目标人物在所述左镜头图像和所述右 镜头图像中的视差；

第二计算模块，用于根据所述视差和所述双目摄像机的参数计算 所述人体关键点的三维信息，得到所述目标人物的三维人体姿态数据；

关联模块，用于将所述三维人体姿态数据进行人体骨架连接，得 到所述目标人物的三维姿态。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机 程序时实现如上述任一种所述三维人体姿态检测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，该计算机程序被处理器执行时实现如上述任一种所述三维人 体姿态检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算 机程序被处理器执行时实现如上述任一种所述三维人体姿态检测方 法。

本发明提供的三维人体姿态检测方法、装置及电子设备，通过获 取双目摄像机同一时刻的左镜头图像和右镜头图像，然后对左镜头图 像和右镜头图像及进行二维人体关键点检测，得到左镜头图像和右镜 头图像中目标人物的人体关键点，之后根据左镜头图像和右镜头图像 中目标人物的人体关键点计算目标人物在左镜头图像和右镜头图像 中的视差，再根据计算出的视差和双目摄像机的参数计算人体关键点 的三维信息，能够得到目标人物的三维人体姿态数据，对三维人体姿 态数据进行人体骨架连接，可以得到目标人物的三维姿态。通过本发 明的方案，在对左镜头图像和右镜头图像进行深度计算时，只需对左 镜头图像和右镜头图像中目标人物的人体关键点进行计算，不需要对 左镜头图像和右镜头图像中的所有像素点都进行计算，对算力的需求 较低，从而降低了三维人体姿态估计时的算力需求。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见 地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术 人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得 其他的附图。

图1是本发明提供的三维人体姿态检测方法的流程示意图；

图2是本发明提供的利用双目摄像机进行图像采集的方法的流 程示意图；

图3是本发明提供的对左镜头图像和右镜头图像进行二维人体 关键点检测以得到左镜头图像和右镜头图像中目标人物的人体关键 点的方法的流程示意图之一；

图4是本发明提供的对左镜头图像和右镜头图像进行二维人体 关键点检测以得到左镜头图像和右镜头图像中目标人物的人体关键 点的方法的流程示意图之二；

图5是本发明提供的目标人物的三维姿态示意图；

图6是本发明提供的三维人体姿态检测装置的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发 明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图5描述本发明提供的三维人体姿态检测方法。该 三维人体姿态检测方法可以应用于服务器、手机、电脑或陪伴型机器 人等电子设备，也可以应用于设置在服务器、手机、电脑或陪伴型机 器人等电子设备中的三维人体姿态检测装置中，该三维人体姿态检测 装置可以通过软件、硬件或两者的结合来实现。

图1为本发明实施例提供的三维人体姿态检测方法的流程示意 图，参照图1所示，该三维人体姿态检测方法可以包括如下的步骤 110～步骤150。

步骤110：获取双目摄像机同一时刻的左镜头图像和右镜头图像。

双目摄像机可以通过双摄像头对成像范围内的图像进行拍摄，得 到单帧图像或视频流图像。电子设备可以获取双目摄像机同一时刻的 左镜头图像和右镜头图像，比如可以获取左目摄像头的视频流图像在 t时刻的单帧图像，得到左镜头图像，同时获取右目摄像头的视频流 图像在t时刻的单帧图像，得到右镜头图像。

示例性的，双目摄像机可以是设置在电子设备中的双目摄像机， 也可以是与电子设备通信连接的外置双目摄像机。

一种示例实施例中，在步骤110之前，本发明实施例提供的三维 人体姿态检测方法还可以包括利用双目摄像机采集图像的步骤。图2 为本发明实施例提供的利用双目摄像机进行图像采集的方法的流程 示意图，如图2所示，可以包括如下的步骤210～步骤220。

步骤210：对双目摄像机进行标定。

利用双目摄像机采集的图像确定空间物体的三维坐标，需要确定 两个摄像头之间的相对位置，以及空间物体表面某点的三维几何位置 与其在图像中对应点之间的相互关系，这些相互关系需要借助双目摄 像机的参数进行确定，这些参数可以通过对双目摄像机进行标定获得， 标定获得的参数可以包括两个摄像头的内参矩阵、外参矩阵及畸变系数等。

一种示例实施例中，对双目摄像机进行标定的过程比如可以包括 如下的步骤211～步骤214。需要说明的是，这里仅为举例说明，并不 用于对本发明的限制，双目摄像机的标定方法还可以是其他的方法， 比如可以采用张氏标定法进行双目摄像机标定。

步骤211：利用双目摄像机在不同的角度对棋盘格标定板进行多 次拍摄，得到设定数量的标定板图像。比如拍摄20次，可以得到20 张左镜头标定板图像和20张右镜头标定板图像。

步骤212：利用左镜头标定板图像进行左目摄像头标定，得到左 目摄像头的内参矩阵K1及左目摄像头的畸变系数向量D1。

步骤213：利用右镜头标定板图像进行右目摄像头标定，得到右 目摄像头的内参矩阵K2及右目摄像头的畸变系数向量D2。

步骤214：将参数K1、K2、D1和D2作为输入，并利用左目摄 像头和右目摄像头一一对应好的标定板图像，调用立体标定函数计算 输出左目摄像头和右目摄像头的旋转矩阵R和平移向量T，通过旋转 矩阵R和平移向量T可以反映出双目摄像机两个摄像头之间的位置关系。以此完成双目摄像机的标定。其中的立体标定函数比如可以采 用开源计算机视觉库(OpenCV)中的stereoCalibrate()函数。

步骤220：使用标定后的双目摄像机拍摄双目摄像机成像范围内 的图像。

对双目摄像机进行标定之后，可以使用标定后的双目摄像机拍摄 双目摄像机成像范围内的图像，得到单帧图像或视频流图像。双目摄 像机拍摄到的图像可以直接传输给电子设备，或者可以先存储至存储 设备中，电子设备可以从该存储设备中读取该图像。

一种示例实施例中，使用标定后的双目摄像机拍摄双目摄像机成 像范围内的图像之后，电子设备可以根据标定的双目摄像机的内参、 外参及畸变系数等对获取到的双目摄像机同一时刻的左镜头图像和 右镜头图像进行矫正与对齐，通过矫正与对齐处理，可以在后续的立 体匹配时，只需在同一行上搜索左镜头图像和右镜头图像平面的匹配 点即可，能够提高图像处理的效率。

步骤120：对左镜头图像和右镜头图像进行二维人体关键点检测， 得到左镜头图像和右镜头图像中目标人物的人体关键点。

获取到双目摄像机同一时刻的左镜头图像和右镜头图像之后，可 以对左镜头图像和右镜头图像进行二维人体关键点检测，以提取出左 镜头图像和右镜头图像中目标人物的人体关键点。人体关键点是指人 体骨骼的主要关节点，可以包括头部、脖子、左肩、右肩、左手肘、 右手肘、左手腕、右手腕、躯干、胯部、左膝盖、右膝盖、左脚踝和 右脚踝等重要关节部位。

一种示例实施例中，可以先从左镜头图像和右镜头图像中识别出 目标人物，然后对目标人物进行二维人体关键点检测，得到左镜头图 像和右镜头图像中目标人物的人体关键点。具体的，图3为本发明实 施例提供的对左镜头图像和右镜头图像进行二维人体关键点检测以 得到左镜头图像和右镜头图像中目标人物的人体关键点的方法的流 程示意图之一，如图3所示，可以包括如下的步骤310～步骤330。

步骤310：对左镜头图像和右镜头图像进行人脸识别。

获取到双目摄像机同一时刻的左镜头图像和右镜头图像之后，可 以对左镜头图像和右镜头图像进行人脸识别，通过人脸识别技术从左 镜头图像和右镜头图像中识别出目标人物。示例性的，目标人物可以 是一个或多个。

示例性的，可以预先对目标人物的面部图像进行注册，得到面部 图像特征模板。获取到双目摄像机同一时刻的左镜头图像和右镜头图 像之后，可以利用目标检测算法分别检测左镜头图像和右镜头图像中 的人脸图像，然后提取该人脸图像中的人脸特征信息，将该人脸特征 信息与注册的面部图像特征模板进行匹配，若匹配成功，比如相似度 超过相似度阈值，则匹配成功的人脸图像对应的人物为识别出的目标 人物。

步骤320：根据人脸识别结果确定左镜头图像和右镜头图像中目 标人物的图像，得到第一目标图像和第二目标图像。

在经过步骤310对左镜头图像和右镜头图像进行人脸识别后，根 据人脸识别结果可以确定出目标人物。

一种示例性实施例中，可以根据人脸识别结果确定出包含目标人 物的左镜头图像和右镜头图像，然后根据人脸识别结果定位到目标人 物。示例性的，第一目标图像和第二目标图像可以是左镜头图像和右 镜头图像中分割出的目标人物的图像。具体的，在对左镜头图像和右 镜头图像进行人脸识别后，根据人脸识别结果确定目标人物后，可以 先将左镜头图像和右镜头图像进行灰度处理，将灰度处理后的左镜头 图像和右镜头图像进行二值化，得到处理后的左镜头图像和右镜头图 像，然后可以从处理后的左镜头图像和右镜头图像中提取目标人物的 轮廓，以目标人物的轮廓为分界线进行图像分割，得到第一目标图像 和第二目标图像。

步骤330：对第一目标图像和第二目标图像进行二维人体关键点 检测，得到左镜头图像和右镜头图像中目标人物的人体关键点。

得到第一目标图像和第二目标图像后，可以对第一目标图像和第 二目标图像进行二维人体关键点检测，得到左镜头图像和右镜头图像 中目标人物的人体关键点。

一种示例实施例中，可以利用预先训练好的第一人体关键点检测 模型对图像进行二维人体关键点检测，将第一目标图像和第二目标图 像分别输入至第一人体关键点检测模型，进行基于第一目标图像和第 二目标图像的二维人体关键点检测，分别输出第一目标图像和第二目 标图像对应的人体关键点。示例性的，建立第一人体关键点检测模型 的步骤可以包括：获取第一人体样本图像；对该第一人体样本图像进 行人体重要关节点的标注，得到第一标签数据；以第一人体样本图像 作为第一基础神经网络的输入，以第一标签数据作为第一基础神经网 络的输出，对第一基础神经网络进行训练，得到第一人体关键点检测 模型。其中的人体重要关节点可以包括头部、脖子、左肩、右肩、左 手肘、右手肘、左手腕、右手腕、躯干、胯部、左膝盖、右膝盖、左 脚踝和右脚踝，但不限于此。其中的第一基础神经网络比如可以是卷 积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)或长短期记忆网络(Long Short-Term Memory，LSTM)等基础神经网络。示例性的，该第一人 体关键点检测模型可以是仅对单人图像进行人体关键点检测的模型， 相应的，获取的人体样本图像可以是单人样本图像。示例性的，该第 一人体关键点检测模型可以是能够对单人图像进行人体关键点检测， 也可以对多人图像进行检测的模型，相应的，获取的人体样本图像可 以是单人样本图像和多人样本图像。

通过识别目标人物并仅对目标人物进行二维人体关键点检测，可 以仅对关注的人物或人物群体进行监测，而不会受到其他人的干扰， 针对性较强。比如，在体感游戏中需要检测玩家的姿态，玩家可以先 进行面部图像注册，进入游戏后，通过双目摄像机采集到成像范围内 的左镜头图像和右镜头图像后，可以基于玩家注册的面部图像对左镜 头图像和右镜头图像中的玩家进行识别并获取玩家的人体图像，然后 对识别出的玩家的人体图像进行人体关键点检测，基于检测到的人体 关键点确定玩家的姿态，这样，当有非玩家进入双目摄像机成像范围 内时，也不会影响玩家进行体感游戏。

一种示例实施例中，可以先检测左镜头图像和右镜头图像中所有 人物的人体关键点，然后基于这些人体关键点，利用行人再识别技术 确定出目标人物及目标人物的人体关键点。具体的，图4为本发明实 施例提供的对左镜头图像和右镜头图像进行二维人体关键点检测以 得到左镜头图像和右镜头图像中目标人物的人体关键点的方法的流 程示意图之二，如图4所示，可以包括如下的步骤410～步骤450。

步骤410：对左镜头图像和右镜头图像进行二维人体关键点检测， 得到左镜头图像中的第一人体关键点和右镜头图像中的第二人体关 键点。

获取到双目摄像机同一时刻的左镜头图像和右镜头图像后，可以 对左镜头图像和右镜头图像进行二维人体关键点的检测，得到左镜头 图像中所有的人体关键点(第一人体关键点)和右镜头图像中所有的 人体关键点(第二人体关键点)。

一种示例实施例中，可以利用预先训练好的第二人体关键点检测 模型对图像进行二维人体关键点检测，将获取到的左镜头图像和右镜 头图像分别输入第二人体关键点检测模型，进行基于左镜头图像和右 镜头图像的二维人体关键点检测，分别输出左镜头图像和右镜头图像 对应的人体关键点。示例性的，建立第二人体关键点检测模型的步骤 可以包括：获取第二人体样本图像；对该第二人体样本图像进行人体 重要关节点的标注，得到第二标签数据；以第二人体样本图像作为第 二基础神经网络的输入，以第二标签数据作为第二基础神经网络的输 出，对第二基础神经网络进行训练，得到第二人体关键点检测模型。 其中的第二基础神经网络比如可以是CNN、RNN或LSTM等基础神 经网络。示例性的，该第二人体关键点检测模型可以是能够对多人图 像进行人体关键点检测的模型，相应的，获取的第二人体样本图像种 包括多人样本图像。

步骤420：基于第一人体关键点和第二人体关键点确定左镜头图 像和右镜头图像中的人体检测框，得到第一人体检测框和第二人体检 测框。

获取到左镜头图像中的第一人体关键点和右镜头图像中的第二 人体关键点后，可以基于第一人体关键点确定左镜头图像中每个人物 个体的人体检测框，得到第一人体检测框；可以基于第二人体关键点 确定右镜头图像中每个人物个体的人体检测框，得到第二人体检测框。

步骤430：获取第一人体检测框中的最大人体检测框，将最大人 体检测框中的人物个体确定为目标人物。

双目摄像机的位置固定，左目摄像头和右目摄像头对同一个目标 人物进行拍摄时，可以从不同的角度拍摄到目标人物，使目标人物在 左镜头图像和右镜头图像中能够显露出的人体的完整度不同，显露出 的人体越完整、越靠近摄像头，其对应的人体检测框越大。通常以成 像范围内靠近摄像头的人物为主要研究对象，其在二维图像中的遮挡 最小，显露出的人体也最完整，可以从左镜头图像的第一人体检测框 中确定最大人体检测框，将该最大人体检测框中的人物个体确定为目 标人物。示例性的，也可以从右镜头图像的第二人体检测框中选择最 大的人体检测框，得到最大人体检测框。或者，还可以从左镜头图像和右镜头图像的所有人体检测框中选择最大的人体检测框，得到最大 人体检测框。

比如，利用电子设备的双目摄像机监测儿童学习时的坐姿，可以 将电子设备放置在双目摄像机能够拍摄目标儿童完整人体的位置，当 有其他人从目标儿童身后或身旁经过时仅能成像部分人体，对左镜头 图像和右镜头图像进行人体关键点检测及人体检测框的确定后，可以 从左镜头图像、右镜头图像或左右镜头图像的人体检测框中选择出最 大人体检测框，通过该最大人体检测框将目标儿童确定为目标人物， 可以仅对目标儿童进行坐姿监测，而不受其他人的干扰，避免了其他 人对坐姿检测的影响，提高了坐姿检测的准确性。

步骤440：利用行人再识别从第二人体检测框中确定最大人体检 测框对应的匹配人体检测框。

行人再识别也称行人重识别，是利用计算机视觉技术判断图像或 者视频序列中是否存在特定行人的技术。利用行人再识别可以从第二 人体检测框中搜索出与最大人体检测框中人物个体匹配的人体检测 框，得到匹配人体检测框。

步骤450：将最大人体检测框和匹配人体检测框中的人体关键点 确定为左镜头图像和右镜头图像中目标人物的人体关键点。

一种示例实施例中，得到左镜头图像中的第一人体关键点和右镜 头图像中的第二人体关键点之后，即获得了左镜头图像和右镜头图像 中的人物个体，可以基于第一人体关键点和第二人体关键点，利用人 脸识别从这些人物个体中确定出目标人物。

步骤130：根据左镜头图像和右镜头图像中目标人物的人体关键 点计算目标人物在左镜头图像和右镜头图像中的视差。

用双目摄像机拍摄空间中的物体时，空间中的物体与双目摄像机 的左目摄像头和右目摄像头的光心会在左右成像平面形成交点，得到 空间物体的左成像点和右成像点，双目摄像机的左右成像平面对空间 中同一点的成像位置会存在坐标上的差异，该差异即为视差。

获取到左镜头图像和右镜头图像中目标人物的人体关键点之后， 对左右镜头图像中的人体关键点进行匹配，即将空间中同一点在左镜 头图像和右镜头图像中的成像确定为关键点对，可以计算关键点对的 横坐标之差得到视差。

步骤140：根据视差和双目摄像机的参数计算人体关键点的三维 信息，得到目标人物的三维人体姿态数据。

在双目摄像机系统中，视差与深度之间存在着反比关系，得到目 标人物的人体关键点在左镜头图像和右镜头图像中的视差之后，可以 基于视差与深度之间的反比关系，并结合通过标定得到的双目摄像机 的焦距和基线等参数，可以计算得到人体关键点的深度信息。得到人 体关键点的深度信息之后，可以以左目摄像头、右目摄像头或双目摄 像头的中点为坐标原点建立基准坐标系，基于深度信息和基准坐标系 并结合标定获得的双目摄像机的参数获得关键点对对应在空间点的 三维坐标，得到目标人物的三维人体姿态数据。

步骤150：将三维人体姿态数据进行人体骨架连接，得到目标人 物的三维姿态。

目标人物的三维人体姿态数据反映了目标人物各人体关键点的 三维坐标，即确定了各人体关键点的位置，将这些人体关键点依据人 体的肢体关系进行连接，可以得到目标人物的三维姿态。例如，图5 示例性示出了目标人物的三维姿态示意图，参照图5所示，图中的点 代表人体关键点，各点之间的连线代表肢体，通过该三维姿态图可以 反映出目标人物的姿态。

示例性的，得到目标人物的三维姿态之后，可以输出该三维姿态， 以便直观地了解目标人物的三维姿态。例如，可以以二维图像的形式 输出，比如在显示屏上显示、发送到指定邮箱、发送到指定通信设备 和打印输出等其中至少一种，但不限于此；也可以通过三维可视化系 统输出该三维姿态的三维效果图，可以查看该三维姿态在任意角度下 的表现形式。

一种示例实施例中，在获取到目标人物的三维姿态之后，可以对 该三维姿态进行姿态识别，以确定目标人物的具体姿态。示例性的， 对三维姿态进行姿态识别的方法可以包括：将目标人物的三维姿态输 入至人体三维姿态识别模型，进行基于目标人物的三维姿态的姿态识 别，得到人体三维姿态识别模型输出的姿态识别结果，人体三维姿态 识别模型可以基于样本三维姿态和样本三维姿态的姿态标签训练得 到；输出姿态识别结果。

示例性的，在进行姿态识别之前还可以包括建立人体三维姿态识 别模型的步骤，具体的，建立人体三维姿态识别模型的步骤可以包括： 获取样本三维姿态；对该样本三维姿态进行姿态标注，得到姿态标签； 以该样本三维姿态为第三基础神经网络的输入，以姿态标签为第三基 础神经网络的输出，对第三基础神经网络进行训练，得到人体三维姿 态识别模型。其中的样本三维姿态可以是如图5显示效果的多种三维 姿态，对样本三维姿态进行姿态标注比如可以进行跑步、跳高、投篮、 挥杆、打乒乓球等姿态标注，通过人体三维姿态识别模型的姿态识别 可以确定三维姿态具体是哪种姿态，得到姿态识别结果，可以应用于 目标姿态检测、姿态类别识别等场景。

本发明实施例提供的三维人体姿态检测方法，通过获取双目摄像 机同一时刻的左镜头图像和右镜头图像，然后对左镜头图像和右镜头 图像及进行二维人体关键点检测，得到左镜头图像和右镜头图像中目 标人物的人体关键点，之后根据左镜头图像和右镜头图像中目标人物 的人体关键点计算目标人物在左镜头图像和右镜头图像中的视差，再 根据计算出的视差和双目摄像机的参数计算人体关键点的三维信息， 能够得到目标人物的三维人体姿态数据，对三维人体姿态数据进行人 体骨架连接，可以得到目标人物的三维姿态。通过本发明的方案，在 对左镜头图像和右镜头图像进行深度计算时，只需对左镜头图像和右 镜头图像中目标人物的人体关键点进行计算，不需要对左镜头图像和 右镜头图像中的所有像素点都进行计算，对算力的需求较低，从而降 低了三维人体姿态估计和检测时的算力需求，节约了计算资源，提高 了三维人体姿态检测的效率。

下面对本发明提供的三维人体姿态检测装置进行描述，下文描述 的三维人体姿态检测装置与上文描述的三维人体姿态检测方法可相 互对应参照。

图6为本发明提供的三维人体姿态检测装置的结构示意图，如图 6所示，该三维人体姿态检测装置600可以包括采集模块610、识别 模块620、第一计算模块630、第二计算模块640和关联模块650。 其中：采集模块610可以用于获取双目摄像机同一时刻的左镜头图像 和右镜头图像；识别模块620可以用于对左镜头图像和右镜头图像进 行二维人体关键点检测，得到左镜头图像和右镜头图像中目标人物的 人体关键点；第一计算模块630可以用于根据左镜头图像和右镜头图 像中目标人物的人体关键点计算目标人物在左镜头图像和右镜头图 像中的视差；第二计算模块640可以用于根据视差和双目摄像机的参 数计算人体关键点的三维信息，得到目标人物的三维人体姿态数据； 关联模块650可以用于将三维人体姿态数据进行人体骨架连接，得到 目标人物的三维姿态。

一种示例实施例中，识别模块620可以包括识别单元、第二确定 单元和第一检测单元。其中，识别单元可以用于对左镜头图像和右镜 头图像进行人脸识别；第二确定单元可以用于根据人脸识别结果确定 左镜头图像和右镜头图像中的目标人物的图像，得到第一目标图像和 第二目标图像；第一检测单元可以用于对第一目标图像和第二目标图 像进行二维人体关键点检测，得到左镜头图像和右镜头图像中目标人 物的人体关键点。

一种示例实施例中，识别模块620可以包括第二检测单元、第二 确定单元、获取单元、第三确定单元和第四确定单元。其中，第二检 测单元可以用于对左镜头图像和右镜头图像进行二维人体关键点检 测，得到左镜头图像中的第一人体关键点和右镜头图像中的第二人体 关键点；第二确定单元可以用于基于第一人体关键点和第二人体关键 点确定左镜头图像和右镜头图像中的人体检测框，得到第一人体检测 框和第二人体检测框；获取单元可以用于获取第一人体检测框中的最 大人体检测框，将最大人体检测框中的人物个体确定为目标人物；第 三确定单元可以用于利用行人再识别从第二人体检测框中确定最大人体检测框对应的匹配人体检测框；第四确定单元可以用于将最大人 体检测框和匹配人体检测框中的人体关键点确定为左镜头图像和右 镜头图像中目标人物的人体关键点。

一种示例实施例中，三维人体姿态检测装置600还可以包括姿态 识别模块和输出模块。其中，姿态识别模块可以用于将目标人物的三 维姿态输入至人体三维姿态识别模型，进行基于目标人物的三维姿态 的姿态识别，得到人体三维姿态识别模型输出的姿态识别结果，人体 三维姿态识别模型基于样本三维姿态和样本三维姿态的姿态标签训 练得到；输出模块可以用于输出姿态识别结果。

一种示例实施例中，三维人体姿态检测装置600还可以包括标定 模块和拍摄模块。其中，标定模块可以用于对双目摄像机进行标定； 拍摄模块可以用于使用标定后的双目摄像机拍摄双目摄像机成像范 围内的图像。

一种示例实施例中，人体关键点可以包括头部、脖子、左肩、右 肩、左手肘、右手肘、左手腕、右手腕、躯干、胯部、左膝盖、右膝 盖、左脚踝和右脚踝。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电 子设备700可以包括：处理器(processor)710、通信接口(Communication Interface)720、存储器(memory)730和通信总线740，其中，处理器710， 通信接口720，存储器730通过通信总线740完成相互间的通信。处 理器710可以调用存储器730中的逻辑指令，以执行三维人体姿态检 测方法，该方法可以包括：获取双目摄像机同一时刻的左镜头图像和 右镜头图像；对左镜头图像和右镜头图像进行二维人体关键点检测， 得到左镜头图像和右镜头图像中目标人物的人体关键点；根据左镜头 图像和右镜头图像中目标人物的人体关键点计算目标人物在左镜头图像和右镜头图像中的视差；根据视差和双目摄像机的参数计算人体 关键点的三维信息，得到目标人物的三维人体姿态数据；将三维人体 姿态数据进行人体骨架连接，得到目标人物的三维姿态。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可 读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述 的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁 碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，计算机程序产品 包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上， 计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的 三维人体姿态检测方法，该方法包括：获取双目摄像机同一时刻的左 镜头图像和右镜头图像；对左镜头图像和右镜头图像进行二维人体关 键点检测，得到左镜头图像和右镜头图像中目标人物的人体关键点； 根据左镜头图像和右镜头图像中目标人物的人体关键点计算目标人 物在左镜头图像和右镜头图像中的视差；根据视差和双目摄像机的参 数计算人体关键点的三维信息，得到目标人物的三维人体姿态数据； 将三维人体姿态数据进行人体骨架连接，得到目标人物的三维姿态。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例 所提供的三维人体姿态检测方法的步骤，例如可以包括：获取双目摄 像机同一时刻的左镜头图像和右镜头图像；对左镜头图像和右镜头图 像进行二维人体关键点检测，得到左镜头图像和右镜头图像中目标人 物的人体关键点；根据左镜头图像和右镜头图像中目标人物的人体关 键点计算目标人物在左镜头图像和右镜头图像中的视差；根据视差和 双目摄像机的参数计算人体关键点的三维信息，得到目标人物的三维 人体姿态数据；将三维人体姿态数据进行人体骨架连接，得到目标人 物的三维姿态。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说 明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件 可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以 分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全 部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创 造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然 也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软 件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光 盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的 方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而 非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领 域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技 术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修 改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方 案的精神和范围。

Claims (7)

1.一种三维人体姿态检测方法，其特征在于，包括：

获取双目摄像机同一时刻的左镜头图像和右镜头图像；

对所述左镜头图像和所述右镜头图像进行二维人体关键点检测， 得到所述左镜头图像和所述右镜头图像中目标人物的人体关键点；

根据所述左镜头图像和所述右镜头图像中目标人物的人体关键 点计算所述目标人物在所述左镜头图像和所述右镜头图像中的视差；

根据所述视差和所述双目摄像机的参数计算所述人体关键点的 三维信息，得到所述目标人物的三维人体姿态数据；

将所述三维人体姿态数据进行人体骨架连接，得到所述目标人物 的三维姿态；

所述对所述左镜头图像和所述右镜头图像进行二维人体关键点 检测，得到所述左镜头图像和所述右镜头图像中目标人物的人体关键 点包括：

对所述左镜头图像和所述右镜头图像进行二维人体关键点检测， 得到所述左镜头图像中的第一人体关键点和所述右镜头图像中的第 二人体关键点；

基于所述第一人体关键点和所述第二人体关键点确定所述左镜 头图像和所述右镜头图像中的人体检测框，得到第一人体检测框和第 二人体检测框；

获取所述第一人体检测框中的最大人体检测框，将所述最大人体 检测框中的人物个体确定为所述目标人物；

利用行人再识别从所述第二人体检测框中确定所述最大人体检 测框对应的匹配人体检测框；

将所述最大人体检测框和所述匹配人体检测框中的人体关键点 确定为所述左镜头图像和所述右镜头图像中所述目标人物的人体关 键点。

2.根据权利要求1所述的三维人体姿态检测方法，其特征在于， 在所述将三维人体姿态数据进行人体骨架连接，得到所述目标人物的 三维姿态之后，所述三维人体姿态检测方法还包括：

将所述目标人物的三维姿态输入至人体三维姿态识别模型，进行 基于所述目标人物的三维姿态的姿态识别，得到所述人体三维姿态识 别模型输出的姿态识别结果，所述人体三维姿态识别模型基于样本三 维姿态和所述样本三维姿态的姿态标签训练得到；

输出所述姿态识别结果。

3.根据权利要求1所述的三维人体姿态检测方法，其特征在于， 在所述获取双目摄像机同一时刻的左镜头图像和右镜头图像之前，所 述三维人体姿态检测方法还包括：

对所述双目摄像机进行标定；

使用标定后的所述双目摄像机拍摄所述双目摄像机成像范围内 的图像。

4.根据权利要求1至3中任一项所述的三维人体姿态检测方法， 其特征在于，所述人体关键点包括头部、脖子、左肩、右肩、左手肘、 右手肘、左手腕、右手腕、躯干、胯部、左膝盖、右膝盖、左脚踝和 右脚踝。

5.一种三维人体姿态检测装置，其特征在于，包括：

采集模块，用于获取双目摄像机同一时刻的左镜头图像和右镜头 图像；

识别模块，用于对所述左镜头图像和所述右镜头图像进行二维人 体关键点检测，得到所述左镜头图像和所述右镜头图像中目标人物的 人体关键点；

第一计算模块，用于根据所述左镜头图像和所述右镜头图像中目 标人物的人体关键点计算所述目标人物在所述左镜头图像和所述右 镜头图像中的视差；

第二计算模块，用于根据所述视差和所述双目摄像机的参数计算 所述人体关键点的三维信息，得到所述目标人物的三维人体姿态数据；

关联模块，用于将所述三维人体姿态数据进行人体骨架连接，得 到所述目标人物的三维姿态；

所述识别模块包括：第二检测单元、第二确定单元、获取单元、 第三确定单元和第四确定单元；

所述第二检测单元，用于对所述左镜头图像和所述右镜头图像进 行二维人体关键点检测，得到所述左镜头图像中的第一人体关键点和 所述右镜头图像中的第二人体关键点；

所述第二确定单元，用于基于所述第一人体关键点和所述第二人 体关键点确定所述左镜头图像和所述右镜头图像中的人体检测框，得 到第一人体检测框和第二人体检测框；

所述获取单元，用于获取所述第一人体检测框中的最大人体检测 框，将所述最大人体检测框中的人物个体确定为所述目标人物；

所述第三确定单元，用于利用行人再识别从所述第二人体检测框 中确定所述最大人体检测框对应的匹配人体检测框；

所述第四确定单元，用于将所述最大人体检测框和所述匹配人体 检测框中的人体关键点确定为所述左镜头图像和所述右镜头图像中 所述目标人物的人体关键点。

6.一种电子设备，包括存储器、处理器及存储在所述存储器上 并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执 行所述程序时实现如权利要求1至4任一项所述三维人体姿态检测方 法。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序， 其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4 任一项所述三维人体姿态检测方法。

Images