CN111291729B - 一种人体姿态估计方法、装置、设备及存储介质 - Google Patents

一种人体姿态估计方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111291729B
CN111291729B CN202010225408.4A CN202010225408A CN111291729B CN 111291729 B CN111291729 B CN 111291729B CN 202010225408 A CN202010225408 A CN 202010225408A CN 111291729 B CN111291729 B CN 111291729B
Authority
CN
China
Prior art keywords
key point
limb
limb part
key points
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010225408.4A
Other languages
English (en)
Other versions
CN111291729A (zh
Inventor
宫延河
赵晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010225408.4A priority Critical patent/CN111291729B/zh
Publication of CN111291729A publication Critical patent/CN111291729A/zh
Application granted granted Critical
Publication of CN111291729B publication Critical patent/CN111291729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人体姿态估计方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及图像处理技术领域。具体实现方案为：将待估计图片输入预先训练出的深度学习网络，获得所述深度学习网络输出的所述待估计图片对应的深度图和各肢体部位分别对应的关键点热力图；根据各所述关键点热力图确定各所述肢体部位的关键点的二维信息，根据所述深度图确定所述关键点的深度信息；将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出。通过深度学习网络输出深度图和关键点热力图，根据深度图和关键点热力图获得包括二维信息和深度信息的三维信息，实现对人体姿态的全面了解，提高人体姿态估计的精确性。

Description

一种人体姿态估计方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术，尤其涉及图像处理领域，具体涉及一种人体姿态估计方法、装置、设备及存储介质。
背景技术
人体姿态估计是指对于给定的一幅图像或一段视频，定位人体关键点，从而得到图像或视频中人体的姿态。
现有技术中，通过深度学习模型获得图片中人物的人体关键点信息，该人体关键点信息包括人体关键点的二维坐标。若需要获得人体关键点的深度信息，则需要采用TOF(Time of Flight，红外景深传感器)、结构光或双目成像方法得到人体关键点的深度信息。
然而，现有技术中获得人体关键点的深度信息所采用的方法，成本高且效率低。
发明内容
本申请实施例提供了一种人体姿态估计方法、装置、设备及存储介质，以提高人体姿态估计的效率，并降低成本。
第一方面，本申请实施例公开了一种人体姿态估计方法，该方法包括：
将待估计图片输入预先训练出的深度学习网络，获得所述深度学习网络输出的所述待估计图片对应的深度图和各肢体部位分别对应的关键点热力图；
根据各所述关键点热力图确定各所述肢体部位的关键点的二维信息，根据所述深度图确定所述关键点的深度信息；
将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出。
上述申请中的一个实施例具有如下优点或有益效果：通过深度学习网络输出待估计图片的深度图和关键点热力图，根据深度图和关键点热力图获得包括关键点二维信息和深度信息的三维信息，实现对人体姿态的全面了解，无需通过外部设备获得深度信息，节约了人体姿态估计的时间和成本，提高了人体姿态估计的效率。
另外，根据本申请上述实施例的图像超分辨模型的训练方法，还可以具有如下附加的技术特征：
可选的，待估计图片中包含多个人物；
所述方法还包括：
根据所述深度图将各所述肢体部位的关键点进行分组；
相应的，将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出，包括：
根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
上述申请中的一个实施例具有如下优点或有益效果：对于存在多个人物的待估计图片，通过深度图将各肢体部位的关键点进行分组，根据分组结果将人物进行划分，无需将待估计图片裁剪为多个人物子图片后针对各人物子图片分别进行人体姿态估计，缩短了人体姿态估计的耗时时长，进一步提高了人体姿态估计的效率。
可选的，根据所述深度图将各所述肢体部位的关键点进行分组，包括：
对于各肢体部位对，根据所述深度图确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中；
其中，各所述肢体部位对包括相邻的两个肢体部位。
上述申请中的一个实施例具有如下优点或有益效果：根据深度图确定肢体部位对中各肢体部位的关键点之间的匹配关系，进而根据匹配关系进行分组，以将属于不同人物的关键点进行区分，可以提高关键点匹配效率，实现更高效的对人体姿态的估计。
可选的，根据所述深度图确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据所述深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值；确定最小的深度变化值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
上述申请中的一个实施例具有如下优点或有益效果：根据深度图确定当前肢体部位对中一个肢体部位与另一肢体部位所对应的各关键点之间的深度变化值，在深度值变化最小的两个关键点之间建立匹配关系，实现了根据深度图快速得到肢体部位之间的姿态连接关系，提高人体姿态估计效率。
可选的，所述待估计图片中包含多个人物；
所述深度学习网络还输出各肢体部位对分别对应的关键点连接关系热力图；其中，各所述肢体部位对包括相邻的两个肢体部位；
所述方法还包括：
根据各所述关键点连接关系热力图将各所述肢体部位的关键点进行分组；
相应的，将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出，包括：
根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
上述申请中的一个实施例具有如下优点或有益效果：对于存在多个人物的待估计图片，通过关键点连接关系热力图将各肢体部位的关键点进行分组，根据分组结果将人物进行划分，无需将待估计图片裁剪为多个人物子图片后针对各人物子图片分别进行人体姿态估计，缩短了人体姿态估计的耗时时长，进一步提高了人体姿态估计的效率。
可选的，根据各所述关键点连接关系热力图将各所述肢体部位的关键点进行分组，包括：
对于各肢体部位对，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中。
上述申请中的一个实施例具有如下优点或有益效果：根据关键点连接关系热力图确定肢体部位对中各肢体部位的关键点的匹配关系，进而根据匹配关系进行分组，以将属于不同人物的关键点进行区分，可以提高关键点匹配效率，实现更高效的对人体姿态的估计。
可选的，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值；确定最大的热力累加值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
上述申请中的一个实施例具有如下优点或有益效果：通过关键点连接关系热力图计算各肢体部位关键点之间的热力累加值，将热力累加值最大的两个关键点进行匹配，实现对关键点的快速匹配，节约了匹配时间，提高了人体姿态估计效率。
可选的，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值，并筛选出超过第一阈值的热力累加值所对应的关键点对后放入第一列表；以及，根据所述深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值，并筛选出低于第二阈值的深度变化值所对应的关键点对后放入第二列表；
基于所述第一列表和所述第二列表构建二分图；
采用二分图匹配算法，确定所述二分图中关键点之间的匹配关系。
上述申请中的一个实施例具有如下优点或有益效果：根据热力累加值将匹配的关键点放入第一列表，根据深度变化值将匹配的关键点放入第二列表，结合两个列表中的关键点找出最终匹配的关键点，避免对热力值或深度值的单一考虑造成关键点匹配错误的问题，实现对关键点的精准匹配，有效提高人体姿态估计效率。
可选的，基于所述第一列表和所述第二列表构建二分图，包括：
构建第一关键点集合和第二关键点集合；其中，所述第一关键点集合中，包括所述第一列表和所述第二列表中属于当前肢体部位对中一个肢体部位的关键点；所述第二关键点集合中，包括所述第一列表和所述第二列表中属于当前肢体部位对中另一个肢体部位的关键点；
构建所述第一列表和所述第二列表中的各关键点对所对应的边；
针对各个边，根据当前边对应的关键点对的热力累加值和深度变化值，确定当前边对应的权重值。
上述申请中的一个实施例具有如下优点或有益效果：根据第一列表和第二列表构建二分图中的两个点集，根据热力累加值和深度变化值确定二分图各个边的权重值，从而可以采用二分图匹配算法找到最匹配的两个点，提高了关键点匹配的计算精度和计算效率。
第二方面，本申请实施例公开了一种人体姿态估计装置，该装置包括：
深度图和关键点热力图输出模块，用于将待估计图片输入预先训练出的深度学习网络，获得所述深度学习网络输出的所述待估计图片对应的深度图和各肢体部位分别对应的关键点热力图；
关键点信息确定模块，用于根据各所述关键点热力图确定各所述肢体部位的关键点的二维信息，根据所述深度图确定所述关键点的深度信息；
结果输出模块，用于将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出。
第三方面，本申请实施例公开了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请中的人体姿态估计方法。
第四方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行本申请中的人体姿态估计方法。
上述申请中的一个实施例具有如下优点或有益效果：通过深度学习网络输出待估计图片的深度图和关键点热力图，根据深度图和关键点热力图获得包括关键点二维信息和深度信息的三维信息，实现对人体姿态的全面了解，无需通过外部设备获得深度信息，节约了人体姿态估计的时间和成本，提高了人体姿态估计的效率。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的一种人体姿态估计方法流程示意图；
图2是根据本申请第一实施例的人体关键点示意图；
图3是根据本申请第一实施例的深度学习网络的模型结构示意图；
图4是根据本申请第一实施例的肢体部位对和关键点的示意图；
图5是根据本申请第二实施例的一种人体姿态估计方法流程示意图；
图6是根据本申请第二实施例的肢体部位对对应的关键点连接关系热力图示意图；
图7是根据本申请第二实施例的二分图示意图；
图8是根据本申请第三实施例的一种人体姿态估计装置的结构示意图；
图9是用来实现本申请实施例的人体姿态估计方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
第一实施例
图1是根据本申请第一实施例提供的一种人体姿态估计方法的流程示意图，本实施例用于对图像中的人物进行姿态估计的情况，该方法可以由一种人体姿态估计装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中，该电子设备可以是移动终端或电脑等设备。如图1所示，本实施例提供的一种人体姿态估计方法可以包括：
S110、将待估计图片输入预先训练出的深度学习网络，获得深度学习网络输出的待估计图片对应的深度图和各肢体部位分别对应的关键点热力图。待估计图片可以是RGB图片。
其中，对深度学习网络进行预先训练，使深度学习网络可以输出深度图和关键点热力图。训练样本数据可以包括多个RGB(Red Green Blue，红色、绿色、蓝色)图片以及每个RGB图片分别对应的深度图和每个RGB图片中各个人物的各肢体部位的关键点的三维坐标，假设我们预先定义的人体标准模型有K个关键点，图2为人体关键点示意图，每两个相邻肢体部位的关键点之间可以形成一个连接，树形连接关系图上有E个连接，那么深度学习网络模型的输出为K个关键点的热力图、E个关键点连接关系热力图和1个深度图。
深度学习网络的模型可以采用融合了BN(Batch Normalization，批标准化)层、卷积层和池化层的网络框架，图3为深度学习网络的模型结构示意图。特征提取层301中可以包括多个依次连接的特征提取模块，每个特征提取模块可以包括卷积层(其中融合有BN层)和与该卷积层连接的池化层；特征提取层301提取图片特征，将提取的图片特征输入给残差层302，残差层302可以由3×3的卷积层堆叠形成，残差层302的设置可以在反向调整网络参数的时候防止因为梯度太小导致前面参数无法更新；残差层302将输入的图片特征进行残差处理后输出给卷积层303，卷积层303可以是1×1的卷积层。卷积层303将输出的特征信息分别输入给关键点热力图输出层304、深度图输出层305和关键点连接关系热力图输出层306。关键点热力图输出层304、深度图输出层305和关键点连接关系热力图输出层306可以由3×3的卷积层堆叠形成。关键点热力图输出层304用于输出关键点热力图，深度图输出层305用于输出深度图，关键点连接关系热力图输出层306用于输出关键点连接关系热力图。当然，本实施例中未涉及到关键点连接关系热力图，因此可以省略关键点连接关系热力图输出层306，在后续实施例中涉及到关键点连接关系热力图时，需要有关键点连接关系热力图输出层306。深度学习网络中可以使用RELU作为激活函数。
若未涉及关键点连接关系热力图，则在训练时，通过将关键点热力图输出层304输出的关键点热力图与训练输入的RGB图片的关键点的二维坐标进行对比、以及将深度图输出层305输出的深度图与训练输入的RGB图片对应的深度图进行比对，根据比对结果确定损失值，根据损失值对深度学习网络中的网络参数进行反向调整，直至训练完成。
若涉及到关键点连接关系热力图，则在训练时，通过将关键点热力图输出层304输出的关键点热力图与训练输入的RGB图片的关键点的二维坐标进行对比、将深度图输出层305输出的深度图与训练输入的RGB图片对应的深度图进行比对、以及将关键点连接关系热力图输出层306输出的关键点连接关系热力图与根据训练样本数据确定的关键点连接关系进行比对，根据综合比对结果确定损失值，根据损失值对深度学习网络中的网络参数进行反向调整，直至训练完成。
在应用阶段，将待估计图片输入到深度学习网络中，获得待估计图片对应的深度图和各肢体部位分别对应的关键点热力图。深度图可以表达出待估计图片中各个像素点的z轴坐标值，即像素点的深度信息，关键点热力图可以表达出待估计图片中各个像素点的像素亮度，像素亮度表示对应像素点是关键点的可能性，像素亮度越大，对应像素点是关键点的可能性越高，像素亮度越小，对应像素点是关键点的可能性越小。待估计图片中可以包含一个或多个人物。
S120、根据各关键点热力图确定各肢体部位的关键点的二维信息，根据深度图确定关键点的深度信息。
其中，根据关键点热力图，可以得到各个肢体部位的关键点的二维信息即二维坐标，例如，可以表示成(x，y)。根据深度图，可以获得各个关键点的深度信息，例如，一个关键点的z轴坐标值为16，则该关键点的深度值为16位。由关键点的二维信息和深度信息可以组成关键点的三维信息，即为(x，y，z)。
S130、将关键点的二维信息和深度信息，作为人体姿态估计结果进行输出。
其中，若待估计图片中存在一个人物，则在得到关键点的二维信息和深度信息后，以三维形式输出关键点信息，得到人体姿态的估计结果。若待估计图片中存在多个人物，则需要对关键点进行分组，确定每个人物对应的关键点。
本实施例中，可选的，该方法还包括：根据所述深度图将各所述肢体部位的关键点进行分组；相应的，将关键点的二维信息和深度信息，作为人体姿态估计结果进行输出，包括：根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
具体的，根据深度图对关键点进行分组，一个分组中的关键点属于一个人物的关键点。例如，待估计图片中有五个人物，根据深度图将各肢体部位的关键点分为五组，第一组中的关键点即为第一个人物的关键点。提取每个组对应人物的关键点信息，将该人物关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。这样设置的有益效果在于，不需要针对每个人物区域裁剪出对应的人物子图片，再根据深度学习模型输出的各个人物子图片对应的人体关键点估计结果，只需将关键点分组，即可得到各人物对应的关键点，无需将待估计图片裁剪为多个人物子图片后针对各人物子图片分别进行人体姿态估计，减少操作步骤，缩短了人体姿态估计的耗时时长，进一步提高了人体姿态估计的效率。
本实施例中，可选的，根据深度图将各肢体部位的关键点进行分组，包括：对于各肢体部位对，根据深度图确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中；其中，各肢体部位对包括相邻的两个肢体部位。
具体的，肢体部位对包括相邻的两个肢体部位，例如，脖子和左肩。确定当前肢体部位对中一个肢体部位处的各关键点，将该肢体部位处的各关键点与当前肢体部位对中另一肢体部位处的各关键点进行一一匹配，根据深度图确定当前肢体部位对中两个肢体部位关键点的匹配关系，将具有匹配关系的关键点划分到同一分组中。若两个关键点之间具有匹配关系，则这两个关键点为同一个人物的关键点。这样设置的有益效果在于，根据深度信息快速辨别关键点之间的关系，进而根据匹配关系进行分组，区分待估计图片中的不同人物，提高人体姿态估计的精确性，实现更高效的对人体姿态的估计。
本实施例中，可选的，根据深度图确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：对于当前肢体部位对中一个肢体部位所对应的各关键点，根据深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值；确定最小的深度变化值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
具体的，根据深度图确定肢体部位对中两个肢体部位关键点的匹配关系，将当前肢体部位对中一个肢体部位所对应的各关键点分别与另一肢体部位所对应的各关键点进行深度值的计算，确定两个关键点之间各点深度值的方差，得到每两个关键点之间的深度变化值。查找对应最小深度变化值的两个关键点，确定这两个关键点之间存在匹配关系。图4为肢体部位对和关键点的示意图。第一脖子关键点401、第二脖子关键点402、第一左肩关键点403和第二左肩关键点404属于同一个人，第三脖子关键点405、第四脖子关键点405、第三左肩关键点407和第四左肩关键点408属于同一个人。脖子和左肩为相邻的两个肢体部位，因此，脖子和左肩为一对肢体部位对。将脖子关键点与左肩关键点进行深度值的一一计算，以第一脖子关键点为例，计算得出第一脖子关键点401与第一左肩关键点403的深度变化值为3，第一脖子关键点401与第二左肩关键点404的深度变化值为4，第一脖子关键点401与第三左肩关键点407的深度变化值为10，第一脖子关键点401与第四左肩关键点408的深度变化值为11，则与第一脖子关键点401匹配的左肩关键点为第一左肩关键点403，且第一脖子关键点401和第一左肩关键点403所在的肢体部位属于同一个人。这样设置的有益效果在于，通过计算深度变化值，快速将不同人物进行区分，并找到关键点之间的匹配关系，提高人体姿态估计的效率。
在对关键点进行分组后，根据每组关键点的二维信息和深度信息，得到对应人物关键点的三维信息，作为对应人物的人体姿态估计结果。在得到图2中各关键点的三维信息后，即可得到人体的姿态估计结果。
上述申请中的一个实施例具有如下优点或有益效果：通过深度学习网络输出待估计图片的深度图和关键点热力图，根据深度图和关键点热力图获得包括关键点二维信息和深度信息的三维信息，实现对人体姿态的全面了解，改进了现有技术中通过外部设备获得深度信息的方法，节约了人体姿态估计的时间和成本，提高了人体姿态估计的效率。
第二实施例
图5是根据本申请第二实施例提供的一种人体姿态估计方法的流程示意图，本实施例为上述实施例的进一步优化，用于对图像中的人物进行姿态估计的情况，该方法可以由一种人体姿态估计装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于电子设备中。如图5所示，本实施例提供的一种人体姿态估计方法可以包括：
S510、将待估计图片输入预先训练出的深度学习网络，获得深度学习网络输出的待估计图片对应的深度图、各肢体部位分别对应的关键点热力图和各肢体部位对分别对应的关键点连接关系热力图。
其中，深度学习网络可以输出待估计图片对应的深度图和各肢体部位分别对应的关键点热力图，还可以输出各肢体部位对分别对应的关键点连接关系热力图。关键点连接关系热力图表示不同肢体部位关键点之间的热力连接关系；根据关键点连接关系热力图中两个像素点之间的连线上的像素点的亮度，可以确定该两个像素点对应的关键点之间具有连接关系的可能性，若连线上的像素点的亮度越大，则关键点之间具有连接关系的可能性越大。图6为肢体部位对对应的关键点连接关系热力图示意图。图6中第一脖子关键点601、第二脖子关键点602、第一左肩关键点603和第二左肩关键点604属于同一个人，第三脖子关键点605、第四脖子关键点606、第三左肩关键点607和第四左肩关键点608属于同一个人。若待估计图片中包含多个人物，则关键点连接关系热力图可以是同一个人的肢体部位对中的关键点进行连接，如图6中第一脖子关键点601和第二左肩关键点604的热力连接，而不是第一脖子关键点601和第四左肩关键点608的热力连接。
本实施例中深度学习网络的结构可以参考图3。
S520、根据各关键点热力图确定各肢体部位的关键点的二维信息，根据深度图确定关键点的深度信息，根据各关键点连接关系热力图将各肢体部位的关键点进行分组。
其中，根据各关键点连接关系热力图对各肢体部位对中肢体部位的关键点进行分组，按照预先设定的匹配条件，将满足匹配条件的关键点分为一组。
本实施例中，可选的，根据各关键点连接关系热力图将各肢体部位的关键点进行分组，包括：对于各肢体部位对，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中。
具体的，将肢体部位对中，不同肢体部位的关键点进行一一对应，得到每两个关键点之间的关键点连接关系热力图。根据关键点连接关系热力图以及预设的匹配条件，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系。若一个肢体部位所对应的关键点与另一肢体部位所对应的关键点之间满足预设匹配条件，则这两个关键点之间具有匹配关系，将具有匹配关系的关键点划分到同一个分组中。同一分组中的关键点为同一个人物的关键点，例如，根据预设匹配条件可以得出图6中第一脖子关键点601和第二左肩关键点604之间具有匹配关系，第一脖子关键点601和第四左肩关键点608之间不具有匹配关系。这样设置的有益效果在于，对于存在多个人物的待估计图片，通过关键点连接关系热力图将各肢体部位的关键点进行分组，根据分组结果将人物进行划分，改进了现有技术中将人物区域裁剪的方法，提高人物区分的效率，避免人体姿态估计的结果与人物不符。
本实施例中，可选的，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值；确定最大的热力累加值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
具体的，将当前肢体部位对中一个肢体部位的关键点与另一个肢体部位的关键点进行一一对应，得到关键点连接关系热力图。将一对关键点之间每个像素点的热力值进行累加，确定每对关键点之间的热力累加值。查找对应最大热力累加值的两个关键点，确定这两个关键点之间存在匹配关系，将这两个关键点分在同一分组中。例如，图6中第一脖子关键点601和第一左肩关键点603之间的热力累加值为10，第一脖子关键点601和第二左肩关键点604之间的热力累加值为15，第一脖子关键点601和第三左肩关键点607之间的热力累加值为6，第一脖子关键点601和第四左肩关键点608之间的热力累加值为7。第一脖子关键点601和第二左肩关键点604之间的热力累加值最大，因此，第一脖子关键点601和第二左肩关键点604相互匹配。这样设置的有益效果在于，根据关键点连接关系热力图确定两个关键点之间的热力累加值，根据热力累加值确定关键点之间的匹配关系，节约关键点匹配的计算时间，提高关键点的分组效率，避免人体姿态估计错误，提高人体姿态估计效率。
本实施例中，可选的，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值，并筛选出超过第一阈值的热力累加值所对应的关键点对后放入第一列表；以及，根据深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值，并筛选出低于第二阈值的深度变化值所对应的关键点对后放入第二列表；基于第一列表和所述第二列表构建二分图；采用二分图匹配算法，确定二分图中关键点之间的匹配关系。
具体的，将当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点进行一一连接，得到关键点连接关系热力图。根据关键点连接关系热力图，确定每两个关键点之间的热力累加值。预设一个关于热力累加值的第一阈值，将计算出的每两个关键点之间的热力累加值与第一阈值比较，筛选出超过第一阈值的热力累加值。若热力累加值超过第一阈值，则认为对应的这两个关键点存在匹配的可能，将这两个关键点作为关键点对放入第一列表。例如，脖子部位有两个关键点，分别为第一脖子关键点和第二脖子关键点，左肩处有两个关键点，分别为第一左肩关键点和第二左肩关键点。第一脖子关键点和第一左肩关键点之间的热力累加值为10，第一脖子关键点和第二左肩关键点之间的热力累加值为15。第一阈值为12，则第一脖子关键点和第二左肩关键点的关键点对满足第一阈值的要求，将第一脖子关键点和第二左肩关键点构成的关键点对放入第一列表。
根据深度图，计算当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的深度变化值，若两个关键点之间的深度变化值低于第二阈值，则这两个关键点作为关键点对放入第二列表。例如，第一脖子关键点和第一左肩关键点之间的深度变化值为2，第一脖子关键点和第二左肩关键点之间的深度变化值为6，第一脖子关键点和第三左肩关键点之间的深度变化值为10，第一脖子关键点和第四左肩关键点之间的深度变化值为12。第二阈值为5，则只有第一脖子关键点和第一左肩关键点符合第二阈值的要求，将这两个关键点放入第二列表中。根据第一列表和第二列表构建二分图，将两个肢体部位的关键点分开，采用二分图匹配法，确定肢体部位对中关键点之间的匹配关系，将具有匹配关系的关键点划分为一组。这样设置的有益效果在于，根据热力累加值将匹配的关键点放入第一列表，根据深度变化值将匹配的关键点放入第二列表，结合两个列表中的关键点找出最终匹配的关键点，避免对热力值或深度值的单一考虑造成关键点匹配错误的问题，实现对关键点的精准匹配，有效提高人体姿态估计效率。
本实施例中，可选的，基于第一列表和所述第二列表构建二分图，包括：构建第一关键点集合和第二关键点集合；其中，第一关键点集合中，包括第一列表和第二列表中属于当前肢体部位对中一个肢体部位的关键点；第二关键点集合中，包括第一列表和第二列表中属于当前肢体部位对中另一个肢体部位的关键点；构建第一列表和第二列表中的各关键点对所对应的边；针对各个边，根据当前边对应的关键点对的热力累加值和深度变化值，确定当前边对应的权重值。
具体的，根据第一列表和第二列表中的关键点对，构建第一关键点集合和第二关键点集合。将第一列表和第二列表中属于当前肢体部位对中一个肢体部位的关键点放入第一关键点集合中，将第一列表和第二列表中属于当前肢体部位对中另一个肢体部位的关键点放入第二关键点集合中。根据二分图的方法，构建各关键点对所对应的边。图7为二分图示意图。第一关键点集合中有三个点，分别为k11、k12和k13，第二关键点集合中有两个，分别为k21和k22，k11和k22为关键点对，k12和k21为关键点对，k12和k22为关键点对，k13和k21为关键点对。根据关键点对构建k11和k22的边，以及其他关键点对的边。在构建二分图中各关键点对的边后，根据当前边对应的关键点对的热力累加值和深度变化值，以及热力累加值和深度变化值的权重，计算当前边对应的权重值。例如，热力累加值和深度变化值的权重比为2:1，两个关键点所对应的边的热力累加值为16，深度变化值为3，则当前边的权重值为11.67。确定权重值符合预设要求的边，则该边对应的两个关键点相互匹配，将这两个关键点分在一组。这样设置的有益效果在于，根据二分图匹配法，减小计算难度，提高计算效率，通过计算权重，提高计算的精确性，避免关键点匹配错误。
S530、根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
其中，根据分组结果，将同一分组的关键点确定为属于同一人物的关键点，获取同一人物关键点的二维信息和深度信息，得到关键点的三维信息。根据人体上各关键点的三维信息，确定人体姿态估计结果。
上述申请中的一个实施例具有如下优点或有益效果：通过深度学习网络输出待估计图片的深度图、关键点热力图和关键点连接关系热力图，根据深度图和关键点热力图获得包括关键点二维信息和深度信息的三维信息。通过关键点连接关系热力图计算各肢体部位关键点之间的热力累加值，根据预设条件对关键点进行快速匹配，节约匹配时间，实现对人体姿态的全面了解，减少人体姿态估计的时间和成本，提高了人体姿态估计的效率。
第三实施例
图8是根据本申请第三实施例提供的一种人体姿态估计装置的结构示意图，可执行本申请实施例所提供的人体姿态估计方法，具备执行方法相应的功能模块和有益效果。如图8所示，该装置800可以包括：
深度图和关键点热力图输出模块801，用于将待估计图片输入预先训练出的深度学习网络，获得深度学习网络输出的待估计图片对应的深度图和各肢体部位分别对应的关键点热力图；
关键点信息确定模块802，用于根据各关键点热力图确定各肢体部位的关键点的二维信息，根据深度图确定关键点的深度信息；
结果输出模块803，用于将关键点的二维信息和深度信息，作为人体姿态估计结果进行输出。
可选的，待估计图片中包含多个人物；
该装置还包括：
深度图分组模块，用于根据所述深度图将各所述肢体部位的关键点进行分组；
相应的，结果输出模块803，具体用于：
根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
可选的，深度图分组模块，具体用于：
对于各肢体部位对，根据深度图确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中；
其中，各肢体部位对包括相邻的两个肢体部位。
可选的，深度图分组模块，还具体用于：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值；确定最小的深度变化值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
可选的，待估计图片中包含多个人物；
深度学习网络还输出各肢体部位对分别对应的关键点连接关系热力图；其中，各肢体部位对包括相邻的两个肢体部位；
该装置还包括：
热力图分组模块，用于根据各所述关键点连接关系热力图将各所述肢体部位的关键点进行分组；
相应的，结果输出模块803，根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
可选的，热力图分组模块，包括：
关键点分组单元，用于对于各肢体部位对，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中。
可选的，关键点分组单元，具体用于：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值；确定最大的热力累加值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
可选的，关键点分组单元，还包括：
列表确定单元，用于对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值，并筛选出超过第一阈值的热力累加值所对应的关键点对后放入第一列表；以及，根据所述深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值，并筛选出低于第二阈值的深度变化值所对应的关键点对后放入第二列表；
二分图构建单元，用于基于第一列表和第二列表构建二分图；
匹配关系确定单元，用于采用二分图匹配算法，确定二分图中关键点之间的匹配关系。
可选的，二分图构建单元，具体用于：
构建第一关键点集合和第二关键点集合；其中，第一关键点集合中，包括第一列表和第二列表中属于当前肢体部位对中一个肢体部位的关键点；第二关键点集合中，包括第一列表和第二列表中属于当前肢体部位对中另一个肢体部位的关键点；
构建第一列表和第二列表中的各关键点对所对应的边；
针对各个边，根据当前边对应的关键点对的热力累加值和深度变化值，确定当前边对应的权重值。
上述申请中的一个实施例具有如下优点或有益效果：通过深度学习网络输出待估计图片的深度图和关键点热力图，根据深度图和关键点热力图获得包括关键点二维信息和深度信息的三维信息，实现对人体姿态的全面了解，改进了现有技术中通过外部设备获得深度信息的方法，节约了人体姿态估计的时间和成本，提高了人体姿态估计的效率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的人体姿态估计方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人体姿态估计方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人体姿态估计方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人体姿态估计方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人体姿态估计方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人体姿态估计方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至人体姿态估计方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人体姿态估计方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与人体姿态估计方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过深度学习网络输出待估计图片的深度图和关键点热力图，根据深度图和关键点热力图获得包括关键点二维信息和深度信息的三维信息，实现对人体姿态的全面了解，改进了现有技术中通过外部设备获得深度信息的方法，节约了人体姿态估计的时间和成本，提高了人体姿态估计的效率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种人体姿态估计方法，其特征在于，所述方法包括：
将待估计图片输入预先训练出的深度学习网络，获得所述深度学习网络输出的所述待估计图片对应的深度图和各肢体部位分别对应的关键点热力图；
根据各所述关键点热力图确定各所述肢体部位的关键点的二维信息，根据所述深度图确定所述关键点的深度信息；
将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出；
所述待估计图片中包含多个人物；
所述深度学习网络还输出各肢体部位对分别对应的关键点连接关系热力图；其中，各所述肢体部位对包括相邻的两个肢体部位；
所述方法还包括：
根据各所述关键点连接关系热力图将各所述肢体部位的关键点进行分组和/或根据所述深度图将各所述肢体部位的关键点进行分组；
相应的，将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出，包括：
根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
2.根据权利要求1所述的方法，其特征在于，根据所述深度图将各所述肢体部位的关键点进行分组，包括：
对于各肢体部位对，根据所述深度图确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中；
其中，各所述肢体部位对包括相邻的两个肢体部位。
3.根据权利要求2所述的方法，其特征在于，根据所述深度图确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据所述深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值；确定最小的深度变化值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
4.根据权利要求1所述的方法，其特征在于，根据各所述关键点连接关系热力图将各所述肢体部位的关键点进行分组，包括：
对于各肢体部位对，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，并将具有匹配关系的各关键点划分在同一分组中。
5.根据权利要求4所述的方法，其特征在于，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值；确定最大的热力累加值所对应的两个关键点，并建立确定的两个关键点之间的匹配关系。
6.根据权利要求4所述的方法，其特征在于，根据当前肢体部位对所对应的关键点连接关系热力图，确定当前肢体部位对中一个肢体部位所对应的各关键点，与另一肢体部位所对应的各关键点之间的匹配关系，包括：
对于当前肢体部位对中一个肢体部位所对应的各关键点，根据当前肢体部位对所对应的关键点连接关系热力图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的热力累加值，并筛选出超过第一阈值的热力累加值所对应的关键点对后放入第一列表；以及，根据所述深度图，分别确定当前关键点与当前肢体部位对中另一肢体部位所对应的各关键点之间的深度变化值，并筛选出低于第二阈值的深度变化值所对应的关键点对后放入第二列表；
基于所述第一列表和所述第二列表构建二分图；
采用二分图匹配算法，确定所述二分图中关键点之间的匹配关系。
7.根据权利要求6所述的方法，其特征在于，基于所述第一列表和所述第二列表构建二分图，包括：
构建第一关键点集合和第二关键点集合；其中，所述第一关键点集合中，包括所述第一列表和所述第二列表中属于当前肢体部位对中一个肢体部位的关键点；所述第二关键点集合中，包括所述第一列表和所述第二列表中属于当前肢体部位对中另一个肢体部位的关键点；
构建所述第一列表和所述第二列表中的各关键点对所对应的边；
针对各个边，根据当前边对应的关键点对的热力累加值和深度变化值，确定当前边对应的权重值。
8.一种人体姿态估计装置，其特征在于，所述装置包括：
深度图和关键点热力图输出模块，用于将待估计图片输入预先训练出的深度学习网络，获得所述深度学习网络输出的所述待估计图片对应的深度图和各肢体部位分别对应的关键点热力图；
关键点信息确定模块，用于根据各所述关键点热力图确定各所述肢体部位的关键点的二维信息，根据所述深度图确定所述关键点的深度信息；
结果输出模块，用于将所述关键点的二维信息和深度信息，作为人体姿态估计结果进行输出；
待估计图片中包含多个人物；
深度学习网络还输出各肢体部位对分别对应的关键点连接关系热力图；其中，各肢体部位对包括相邻的两个肢体部位；
该装置还包括：
热力图分组模块，用于根据各所述关键点连接关系热力图将各所述肢体部位的关键点进行分组和/或深度图分组模块，用于根据所述深度图将各所述肢体部位的关键点进行分组；
相应的，结果输出模块，根据分组结果，将位于同一分组的关键点确定为同一人物的关键点，并将各人物的关键点的二维信息和深度信息，作为对应人物的人体姿态估计结果进行输出。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的人体姿态估计方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的人体姿态估计方法。
CN202010225408.4A 2020-03-26 2020-03-26 一种人体姿态估计方法、装置、设备及存储介质 Active CN111291729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010225408.4A CN111291729B (zh) 2020-03-26 2020-03-26 一种人体姿态估计方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010225408.4A CN111291729B (zh) 2020-03-26 2020-03-26 一种人体姿态估计方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111291729A CN111291729A (zh) 2020-06-16
CN111291729B true CN111291729B (zh) 2023-09-01

Family

ID=71025053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010225408.4A Active CN111291729B (zh) 2020-03-26 2020-03-26 一种人体姿态估计方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111291729B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860276B (zh) * 2020-07-14 2023-04-11 咪咕文化科技有限公司 人体关键点检测方法、装置、网络设备及存储介质
CN112163480B (zh) * 2020-09-16 2022-09-13 北京邮电大学 一种行为识别方法及装置
CN112364738A (zh) * 2020-10-30 2021-02-12 深圳点猫科技有限公司 基于深度学习的人体姿态估计方法、装置、系统及介质
CN112509123A (zh) * 2020-12-09 2021-03-16 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN112989947B (zh) * 2021-02-08 2024-05-31 上海依图网络科技有限公司 一种人体关键点的三维坐标的估计方法及装置
CN113947635A (zh) * 2021-10-15 2022-01-18 北京百度网讯科技有限公司 图像定位方法、装置、电子设备以及存储介质
CN114581730A (zh) * 2022-03-03 2022-06-03 北京百度网讯科技有限公司 检测模型的训练方法、目标检测方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460338A (zh) * 2018-02-02 2018-08-28 北京市商汤科技开发有限公司 人体姿态估计方法和装置、电子设备、存储介质、程序
CN108960036A (zh) * 2018-04-27 2018-12-07 北京市商汤科技开发有限公司 三维人体姿态预测方法、装置、介质及设备
CN109948453A (zh) * 2019-02-25 2019-06-28 华中科技大学 一种基于卷积神经网络的多人姿态估计方法
CN110009985A (zh) * 2019-03-27 2019-07-12 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN110580446A (zh) * 2019-07-16 2019-12-17 上海交通大学 行为语义细分化理解方法、系统、计算机装置以及介质
CN110728213A (zh) * 2019-09-26 2020-01-24 浙江大学 一种基于无线射频信号的细粒度人体姿态估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103403739B (zh) * 2011-01-25 2017-06-13 意大利电信股份公司 用于比较图像的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460338A (zh) * 2018-02-02 2018-08-28 北京市商汤科技开发有限公司 人体姿态估计方法和装置、电子设备、存储介质、程序
CN108960036A (zh) * 2018-04-27 2018-12-07 北京市商汤科技开发有限公司 三维人体姿态预测方法、装置、介质及设备
CN109948453A (zh) * 2019-02-25 2019-06-28 华中科技大学 一种基于卷积神经网络的多人姿态估计方法
CN110009985A (zh) * 2019-03-27 2019-07-12 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN110580446A (zh) * 2019-07-16 2019-12-17 上海交通大学 行为语义细分化理解方法、系统、计算机装置以及介质
CN110728213A (zh) * 2019-09-26 2020-01-24 浙江大学 一种基于无线射频信号的细粒度人体姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜成鹏.基于深度和彩色信息的室内场景实时分割算法研究与实现.《中国优秀硕士学位论文全文数据库 (信息科技辑)》.2019,(第5期),I140-272. *

Also Published As

Publication number Publication date
CN111291729A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291729B (zh) 一种人体姿态估计方法、装置、设备及存储介质
CN111488824B (zh) 运动提示方法、装置、电子设备和存储介质
CN111291885B (zh) 近红外图像的生成方法、生成网络的训练方法和装置
CN112528850B (zh) 人体识别方法、装置、设备和存储介质
CN111523468B (zh) 人体关键点识别方法和装置
CN111722245B (zh) 定位方法、定位装置和电子设备
CN112270669B (zh) 人体3d关键点检测方法、模型训练方法及相关装置
CN111709874A (zh) 图像调整的方法、装置、电子设备及存储介质
US11074437B2 (en) Method, apparatus, electronic device and storage medium for expression driving
CN111524166B (zh) 视频帧的处理方法和装置
CN110659600B (zh) 物体检测方法、装置及设备
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
CN111462174B (zh) 多目标跟踪方法、装置以及电子设备
CN111275827B (zh) 基于边缘的增强现实三维跟踪注册方法、装置和电子设备
CN111680600B (zh) 人脸识别模型处理方法、装置、设备和存储介质
CN111709875B (zh) 图像处理方法、装置、电子设备及存储介质
CN110909701B (zh) 行人特征的提取方法、装置、设备及介质
CN111462179B (zh) 三维物体跟踪方法、装置及电子设备
CN111784757A (zh) 深度估计模型的训练方法、深度估计方法、装置及设备
CN112016523B (zh) 跨模态人脸识别的方法、装置、设备和存储介质
CN112270760B (zh) 一种定位方法、装置、电子设备及存储介质
CN111967481B (zh) 视觉定位方法、装置、电子设备及存储介质
CN111488972B (zh) 数据迁移方法、装置、电子设备和存储介质
CN111833391B (zh) 图像深度信息的估计方法及装置
CN112270303A (zh) 图像识别方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant