CN113158910A - 一种人体骨架识别方法、装置、计算机设备及存储介质 - Google Patents

一种人体骨架识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113158910A
CN113158910A CN202110448046.XA CN202110448046A CN113158910A CN 113158910 A CN113158910 A CN 113158910A CN 202110448046 A CN202110448046 A CN 202110448046A CN 113158910 A CN113158910 A CN 113158910A
Authority
CN
China
Prior art keywords
joint point
skeleton
trunk
joint
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110448046.XA
Other languages
English (en)
Inventor
王磊
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN202110448046.XA priority Critical patent/CN113158910A/zh
Publication of CN113158910A publication Critical patent/CN113158910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种人体骨架识别方法、装置、计算机设备及存储介质，获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，彩色骨架为二维骨架；将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架；以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点；利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点，目标躯干关节点和目标四肢关节点构成人体的骨架。本申请基于深度骨架和彩色骨架的融合实现对人体骨架三维坐标的识别，有效提高了人体骨架三维坐标识别结果的准确性。

Description

一种人体骨架识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像识别技术领域，更具体地说，涉及一种人体骨架识别方法、装置、计算机设备及存储介质。
背景技术
人体骨架识别是人工智能领域的一项关键技术，可用于人机交互，体感游戏，虚拟现实，人体行为分析等领域，近年来得到了学术界及产业界极大的关注。
人体骨架识别技术目前按其处理的图像源，可以分为两大类，一是在彩色图上利用近几年来大为流行的深度学习技术获取图像中人体的二维或者三维骨架坐标，经典方法有CPM，openpose，HRNet等，利用这种方法得到的人体骨架，其二维坐标的准确度目前已经达到较高的水平，但三维坐标由于巨大的3D姿态空间、自遮挡、单视角2D到3D的映射中固有的深度模糊性等问题，3D骨架的准确度较低，且模型计算量较大，训练难度较高，同时目前也缺少大型的训练数据集。
另一类是从深度图像中利用经典图像处理技术及传统机器学习方法获取图像中人体的深度骨架(即，人体的三维坐标)，这种方法以微软的kinect系列为代表，其输出的人体三维坐标，在人体部位不发生自遮挡时准确度较高，但在人体转身、弯腰等自遮挡情况较严重的情况下，其三维坐标的准确度大大降低，而更为致命的问题在于，其输出的三维坐标无法正确区分人体的左右部分，比如在人体正对相机和背对相机时，都可能将人体的左臂左腿识别为右臂右腿。
发明内容
有鉴于此，为解决上述问题，本发明提供一种人体骨架识别方法、装置、计算机设备及存储介质，以提高人体骨架三维坐标识别结果的准确性，技术方案如下：
一种人体骨架识别方法，包括：
获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，所述彩色骨架为二维骨架；
将所述彩色骨架的关节点作为基准，校准所述深度骨架中左右对称的两两关节点的位置得到目标深度骨架；
以最小化预先设置的人体约束条件为目标，对所述目标深度骨架中躯干关节点进行优化得到目标躯干关节点；
利用所述目标躯干关节点确定所述彩色骨架中四肢关节点的深度，根据所述四肢关节点及其深度确定目标四肢关节点，所述目标躯干关节点和所述目标四肢关节点构成所述人体的骨架。
优选的，所述将所述彩色骨架的关节点作为基准，校准所述深度骨架中左右对称的两两关节点的位置得到目标深度骨架，包括：
确定所述深度骨架中左右对称的第一关节点和第二关节点；
获取所述彩色骨架中的第三关节点和第四关节点，所述彩色骨架中的第三关节点与所述深度骨架中的第一关节点指示同一关节点，所述彩色骨架中的第四关节点和所述深度骨架中的第二关节点指示同一关节点；
根据所述第一关节点、所述第二关节点、所述第三关节点和所述第四关节点计算第一信息和第二信息；所述第一信息与所述第一关节点和所述第三关节点之间的距离以及所述第二关节点和所述第四关节点之间的距离有关，所述第二信息与所述第一关节点和所述第四关节点之间的距离以及所述第二关节点和所述第三关节点之间的距离有关；
若所述第一信息大于所述第二信息，对调所述深度骨架中所述第一关节点和所述第二关节点之间的位置生成目标深度骨架。
优选的，所述以最小化预先设置的人体约束条件为目标，对所述目标深度骨架中躯干关节点进行优化得到目标躯干关节点，包括：
确定第三信息，所述第三信息为人体躯干模型中躯干关节点到所述目标深度骨架中躯干关节点的距离平方加权之和；
获取第四信息，所述第四信息为所述目标深度骨架中躯干关节点0、躯干关节点1、躯干关节点5、躯干关节点6及所述人体躯干模型中躯干关节点0到所述人体躯干模型平面156的距离平方加权之和；
确定第五信息，所述第五信息为所述目标深度骨架中躯干关节点1、躯干关节点2、躯干关节点3、躯干关节点4及所述人体躯干模型中躯干关节点2到所述人体躯干模型平面134的距离平方加权之和；
获取第六信息，所述第六信息为所述人体躯干模型中骨骼长度平方与预设骨骼长度平方之差的加权平方；
确定第七信息，所述第七信息为人体躯干模型中躯干关节点的图像坐标到目标彩色骨架躯干关节点的图像坐标的距离平方加权和；
以所述第三信息、所述第四信息、所述第五信息、所述第六信息和所述第七信息之和最小为目标，对所述人体躯干模型进行优化得到优化后的人体躯干模型；优化后的人体躯干模型中的躯干关节点为目标躯干关节点。
优选的，预设骨骼长度为根据所述目标深度模型中人体高度及人体相对比例关系确定的所述目标深度模型中骨骼的长度。
优选的，所述利用所述目标躯干关节点确定所述彩色骨架中四肢关节点的深度，根据所述四肢关节点及其深度确定目标四肢关节点，包括：
按照从人体躯干到人体四肢的方向，确定人体骨架中的第五关节点以及与所述第五关节点直接相连的第六关节点，所述第五关节点和所述第六关节点中至少包括一个四肢关节点；
根据所述第五关节点的三维坐标、所述第六关节点在所述彩色骨架中的二维图像坐标，以及预设的所述第五关节点和所述第六关节点之间的骨骼长度，计算所述第六关节点的深度；
利用所述第六关节点的二维图像坐标和深度确定所述第六关节点的目标坐标，拥有所述目标坐标的所述第六关节点为一个目标四肢关节点；
其中，若所述第五关节点为躯干关节点，所述第五关节点的三维坐标为优化后的人体躯干模型中所述第五关节点的坐标；若所述第五关节点为四肢关节点，所述第五关节点为目标四肢关节点，所述第五关节点的三维坐标为所述第五关节点的目标坐标。
一种人体骨架识别装置，包括：
骨架获取单元，用于获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，所述彩色骨架为二维骨架；
校准单元，用于将所述彩色骨架的关节点作为基准，校准所述深度骨架中左右对称的两两关节点的位置得到目标深度骨架；
优化单元，用于以最小化预先设置的人体约束条件为目标，对所述目标深度骨架中躯干关节点进行优化得到目标躯干关节点；
骨架确定单元，用于利用所述目标躯干关节点确定所述彩色骨架中四肢关节点的深度，根据所述四肢关节点及其深度确定目标四肢关节点，所述目标躯干关节点和所述目标四肢关节点构成所述人体的骨架。
优选的，校准单元包括：
第一关节点确定单元，用于确定所述深度骨架中左右对称的第一关节点和第二关节点；
第二关节点确定单元，用于获取所述彩色骨架中的第三关节点和第四关节点，所述彩色骨架中的第三关节点与所述深度骨架中的第一关节点指示同一关节点，所述彩色骨架中的第四关节点和所述深度骨架中的第二关节点指示同一关节点；
信息计算单元，用于根据所述第一关节点、所述第二关节点、所述第三关节点和所述第四关节点计算第一信息和第二信息；所述第一信息与所述第一关节点和所述第三关节点之间的距离以及所述第二关节点和所述第四关节点之间的距离有关，所述第二信息与所述第一关节点和所述第四关节点之间的距离以及所述第二关节点和所述第三关节点之间的距离有关；
校准子单元，用于若所述第一信息大于所述第二信息，对调所述深度骨架中所述第一关节点和所述第二关节点之间的位置生成目标深度骨架。
优选的，所述优化单元，包括：
第三信息确定单元，用于确定第三信息，所述第三信息为人体躯干模型中躯干关节点到所述目标深度骨架中躯干关节点的距离平方加权之和；
第四信息获取单元，用于获取第四信息，所述第四信息为所述目标深度骨架中躯干关节点0、躯干关节点1、躯干关节点5、躯干关节点6及所述人体躯干模型中躯干关节点0到所述人体躯干模型平面156的距离平方加权之和；
第五信息确定单元，用于确定第五信息，所述第五信息为所述目标深度骨架中躯干关节点1、躯干关节点2、躯干关节点3、躯干关节点4及所述人体躯干模型中躯干关节点2到所述人体躯干模型平面134的距离平方加权之和；
第六信息获取单元，用于获取第六信息，所述第六信息为所述人体躯干模型中骨骼长度平方与预设骨骼长度平方之差的加权平方；
第七信息获取单元，用于获取第七信息，所述第七信息为人体躯干模型中躯干关节点的图像坐标到目标彩色骨架躯干关节点的图像坐标的距离平方加权和；
优化子单元，用于以所述第三信息、所述第四信息、所述第五信息和所述第六信息最小为目标，对所述人体躯干模型进行优化得到优化后的人体躯干模型；优化后的人体躯干模型中的躯干关节点为目标躯干关节点。
一种计算机设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现所述人体骨架识别方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器加载并执行，实现所述人体骨架识别方法的各步骤。
本申请提供一种人体骨架识别方法、装置、计算机设备及存储介质，获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，彩色骨架为二维骨架；将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架；以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点；利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点，目标躯干关节点和目标四肢关节点构成人体的骨架。本申请基于深度骨架和彩色骨架的融合实现对人体骨架三维坐标的识别，有效提高了人体骨架三维坐标识别结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1a为本申请实施例提供的一种人体骨架识别方法流程图；
图1b为本申请实施例提供的一种人体骨架识别方法示意图；
图2为本申请实施例提供的一种将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架的方法流程图；
图3为本申请实施例提供的一种人体骨架模型示意图；
图4为本申请实施例提供的一种以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点的方法流程图；
图5为本申请实施例提供的一种利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点的方法流程图；
图6为本申请实施例提供的一种人体骨架识别装置结构示意图；
图7为本申请实施例提供的一种人体骨架识别方法所适用于的计算机设备的硬件结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
人体骨架：通过图像处理技术从图像中获取的人体骨骼的关节点坐标集合，包括头、颈部、左右肩等关节点。
深度骨架：利用传统的图像处理技术及统计学习方法在深度图上获得的人体骨架关节点的三维坐标，深度骨架无法区分人体左右，在人体正对相机和背对相机时，都将靠近图像左边的关节点识别为人体左侧部分，将靠近图像右侧的关节点识别为人体右侧部分。
彩色骨架：通过深度学习方法在彩色图上获得的人体骨架的关节点的图像坐标。
人体躯干模型：人体躯干上的一些关节点集合，及相关的人体约束条件。
本申请实施例提供的一种人体骨架识别方法通过建立一个人体骨架模型，结合利用彩色骨架二维坐标准确度高及深度骨架深度值基本准确的优点，通过模型匹配的方法，最终得到图像中人体骨架关节点的三维坐标，具有坐标准确度高，计算量相对较小的优点。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1a为本申请实施例提供的一种人体骨架识别方法流程图；图1b为本申请实施例提供的一种人体骨架识别方法示意图。结合图1a-图1b可知，本申请实施例提供的人体骨架识别方法，包括：
S101、获取深度图中人体的深度骨架及彩色图中人体的彩色骨架，彩色骨架为二维骨架；
首先，同时从图像采集设备中获取场景的深度图和彩色图像，深度图和彩色图需要配准。然后，分别从深度图中获取图像中人体的深度骨架(具体的，从深度图中获取图像中人体的深度骨架坐标)，从彩色图像中获取图像中人体的彩色骨架(具体的，从彩色图像中获取图像中人体的二维图像坐标)。深度骨架坐标是三维坐标(x,y,z)，其x,y,z是相机世界坐标系中的三维坐标，可以利用相机内参，将其转换得到二维图像坐标。从深度图像中获取人体深度骨架坐标，可以是采用类似kinect相机的方法；从彩色图中获取人体二维图像坐标，可以采用目前流行的人体骨架获取模型比如openpose等获取，只要其获取的二维坐标准确即可。
S102、将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架；
图2为本申请实施例提供的一种将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架的方法流程图。
如图2所示，该方法包括：
S201、确定深度骨架中左右对称的第一关节点和第二关节点；
S202、获取彩色骨架中的第三关节点和第四关节点，彩色骨架中的第三关节点与深度骨架中的第一关节点指示同一关节点，彩色骨架中的第四关节点和深度骨架中的第二关节点指示同一关节点；
S203、根据第一关节点、第二关节点、第三关节点和第四关节点计算第一信息和第二信息；第一信息与第一关节点和第三关节点之间的距离以及第二关节点和第四关节点之间的距离有关，第二信息与第一关节点和第四关节点之间的距离以及第二关节点和第三关节点之间的距离有关；
S204、若第一信息大于第二信息，对调深度骨架中第一关节点和第二关节点之间的位置生成目标深度骨架。
示例性的，将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架的过程可以认为是检验深度骨架是否将人体左右颠倒并校正的过程。
检测深度骨架是否将人体左右颠倒并校正过程中所涉及到的可能需要校正的关节点有12个：左右肩，左右肘，左右腕，左右手，左右胯，左右膝，左右踝，左右脚。校正方法如下：
首先，利用相机内参，将深度骨架的关节点转换得到关节点的二维图像坐标。然后以每一对左右关节点为一组，以彩色骨架的二维关节点坐标为基准，计算每对深度二维关节点与其对应的彩色二维关节点的坐标距离平方和，如将左右肩关节点作为一组，计算左肩的深度二维关节点与左肩的彩色关节点的距离平方，与右肩的深度二维关节点与右肩的彩色二维关节点的距离平方和；接下来，对调彩色骨架的左右关节点，再次计算深度二维骨架与彩色二维骨架关节点的距离平方和；比较彩色骨架对调前后深度二维骨架与彩色二维骨架的距离平方和，若对调后的值小于对调前的值，则将深度骨架的关节点左右对调，否则保持不变。处理完一组之后，再处理下一组，直至所有左右关节对都处理完毕，得到目标深度骨架。
S103、以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点；
本申请实施例中，人体约束条件为人体躯干模型中躯干关节点到目标深度骨架中躯干关节点的距离平方和；目标深度骨架中躯干关节点0、躯干关节点1、躯干关节点5、躯干关节点6及人体躯干模型中躯干关节点0到人体躯干模型平面156的距离平方之和；目标深度骨架中躯干关节点1、躯干关节点2、躯干关节点3、躯干关节点4及人体躯干模型中躯干关节点2到人体躯干模型平面134的距离平方之和；人体躯干模型中骨骼长度平方与预设骨骼长度平方之差的平方；以及人体躯干模型中的关节点的三维坐标对应的图像坐标与彩色骨架的图像坐标之间的距离平方和中的任意一项或多项有关。
有关对目标深度骨架中躯干关节点进行优化得到目标躯干关节点的一种实现方式请参见图4，在此不做赘述。
S104、利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点，目标躯干关节点和目标四肢关节点构成人体的骨架。
本申请实施例中，在确定目标躯干关节点后，可以根据目标躯干关节点确定彩色骨架中四肢关节点的深度，进而根据彩色骨架中四肢关节点及其深度确定目标四肢关节点。相应的，目标躯干关节点和目标四肢关节点构成了人体的骨架。
下面对本申请实施例提供的步骤S103-S104进行详细说明。步骤S103-S104为本申请实施例的关键步骤，基于人体骨架模型融合深度骨架与彩色骨架，最终得到一组准确度更高的人体三维骨架。
为了便于理解，先结合图3所示的人体骨架模型示意图对本申请实施例提供的人体骨架进行纤细说明。图3所示是本申请人体骨架模型中的所有骨骼，关节点及其编号，关节点总共二十个，其编号与人体关键部位的对应关系为：
0:——hip_center
1——spine
2——shoulder_center
3——shoulder_left
4——shoulder_right
5——hip_left
6——hip_right
7——head
8——elbow_left
9——wrist_left
10——hand_left
11——elbow_right
12——wrist_right
13——hand_right
14——knee_left
15——ankle_left
16——foot_left
17——knee_right
18——ankle_right
19——foot_right
本申请设计的人体骨架模型，包括人体躯干模型，和四肢模型，核心在于人体躯干模型。其中人体躯干模型包括以下几个要素：
1.7个关节点，分别编号为0为hip_center,1为spine，2为shoulder_center，3为shoulder_left，4为shoulder_right，5为hip_left，6为hip_right；
2.有6段实际骨骼和6段虚拟骨骼，分别为关节点0-1骨骼，1-2骨骼，2-3骨骼，2-4骨骼，0-5骨骼，0-6骨骼；虚拟骨骼为1-3,1-4,1-5,1-6,3-4,5-6；
3.骨骼的长度已知确定，且骨骼2-3与2-4的长度相等，0-5与0-6的长度相等；虚拟骨骼1-3与1-4的长度相等，1-5与1-6长度相等；
4.点1,3,4在同一个平面，且点2到平面的距离确定；
5.点1,5,6在同一个平面，且点0到平面的距离确定。
算法的目的，即是求解以上20个关节点的准确三维坐标，而关节点的图像坐标的初始值可以由彩色二维骨架关节点得到，关节点的深度值可以由深度骨架获得，只要利用人体约束条件对关节点的图像坐标和深度值进行微调，即可根据图像坐标和相机空间坐标的转换关系，得到关节点的准确三维坐标。图像坐标和相机空间坐标的转换关系如下：
Figure BDA0003037586610000101
上式中，xj，yj，zj是关节点的三维坐标，zj是深度值；ixj和iyj式关节点的图像坐标，左上标的i代表图像(image)，下标的j是关节点编号。
在本申请实施例中，由于四肢相对于躯干有更大的自由度，而躯干关节点之间的关系相对稳定，因此将以上20个关节点分为两组处理，一组是位于人体躯干上的关节点(位于人体躯干上的关节点可以称为躯干关节点)，包括7个：hip_center，spine,shoulder_center,shoulder_left,shoulder_right,hip_left,hip_right，剩余13个关节点为四肢关节点。在处理中，首先处理躯干关节点，之后再处理四肢关节点。具体处理流程可以分为三个步骤：
1.人体模型参数初始化；
2.联合求解躯干模型上的7个关节点的深度值；
3.求解四肢上的关节点的深度值。
第一步，人体模型参数的初始化话，包括两个部分，第一部分是人体模型中二十个关节点的三维坐标的初始值，直接由校正了左右关系的深度骨架(即目标深度骨架)一一赋值即可；第二部分是骨骼长度的初始化，如肩宽，大臂长，小臂长，大腿长，小腿长等，若骨架是连续视频流当中的某一帧，则骨骼长度可以根据历史数据平滑得到，这也是较为普遍的；若处理的图像是独立的一帧，则骨骼长度可以根据初始的三维深度骨架的人体高度，基于人体相对比例关系确定各个骨骼的长度。
示例性的，初始的目标三维骨架中的二十个关节点的三维坐标是由深度骨架一一赋值，所以，可以将初始的三维深度骨架认为是目标三维骨架，根据目标深度骨架的人体高度，基于人体相对比例关系确定各个骨骼的长度，所确定的骨骼长度可以认为是预先设置的骨骼长度。
进一步的，在进行人体模型参数初始化的基础上，可以进一步联合求解躯干模型上的7个关节点的三维坐标。联合求解躯干模型上的7个关节点的三维坐标基于模型匹配通过迭代的方式进行。最佳匹配状态为：当人体躯干模型的7个关节点与输入的深度骨架的7个关节点的加权三维距离加权平方和，模型7个关节点的图像坐标与输入的彩色骨架的图像坐标的加权距离平方和，深度骨架关节点1234的三维坐标到模型关节点134所确定的平面的距离的加权平方和，深度关节点0156的三维坐标到躯干模型上的关节点156所确定的平面的距离的加权平方和，躯干模型关节点点2到平面134的距离与预设距离的差的加权平方，再加上躯干模型中的12条骨骼的长度与预设长度之差的加权平方和，以上若干项之和最小时，即是最优匹配状态。
联合求解躯干模型上7个关节的三维坐标的过程是以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点的过程，具体的，该过程如图4所示。
参见图4可知，以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点的方法，包括：
S401、确定第三信息，第三信息为人体躯干模型中躯干关节点到目标深度骨架中躯干关节点的距离平方加权之和；
本申请实施例，第三信息为模型点到对应的输入点的距离平方加权和。
示例性的，第三信息可以为
Figure BDA0003037586610000121
S402、获取第四信息，第四信息为目标深度骨架中躯干关节点0、躯干关节点1、躯干关节点5、躯干关节点6及人体躯干模型中躯干关节点0到人体躯干模型平面156的距离平方加权之和；
本申请实施例，第四信息为输入点0156及模型点0到模型平面156的距离平方加权之和。
示例性的，第四信息可以为：
Figure BDA0003037586610000122
S403、确定第五信息，第五信息为目标深度骨架中躯干关节点1、躯干关节点2、躯干关节点3、躯干关节点4及人体躯干模型中躯干关节点2到人体躯干模型平面134的距离平方加权之和；
本申请实施例，第五信息为输入点1234及模型点2到模型平面134的距离平方之和。
示例性的，第五信息可以为：
Figure BDA0003037586610000123
S404、获取第六信息，第六信息为人体躯干模型中骨骼长度平方与预设骨骼长度平方之差的加权平方；
本申请实施例，第六信息为模型骨骼长度平方与预设长度平方之差的平方，即考虑到彩色二维骨架关节点坐标可能存在的微小误差，允许模型骨骼长度与预设值之间存在小幅度的变化。
示例性的，第六信息可以为：
Figure BDA0003037586610000131
其中，λ为预设的常数，数值应较大，l为预设的骨骼长度。
S405、确定第七信息，第七信息为人体躯干模型中躯干关节点的图像坐标到目标彩色骨架躯干关节点的图像坐标的距离平方加权和；
示例性的，第七信息可以为
Figure BDA0003037586610000132
S406、以第三信息、第四信息、第五信息、第六信息和第七信息之和最小为目标，对人体躯干模型进行优化得到优化后的人体躯干模型；优化后的人体躯干模型中的躯干关节点为目标躯干关节点。
示例性的，优化后的人体躯干模型中的躯干关节点的三维坐标即为目标躯干关节点的三维坐标。
本申请实施例，基于第三信息、第四信息、第五信息、第六信息及第七信息可以构建损失函数。示例性的，损失函数可以为：
Figure BDA0003037586610000133
通过梯度下降法等优化方法，对上式的损失函数进行迭代求解，即可得到躯干上的7个关节点的最优三维坐标。其中，拥有最优三维坐标的躯干上的关节点可以称为目标躯干关节点。
进一步的，在确定出目标躯干关节点后，可以根据目标躯干关节点和彩色骨架上四肢关节点的二维坐标求解四肢上的关节点坐标的深度值，进而根据彩色骨架上四肢关节点的二维坐标和深度值，确定四肢关节点的最优三维坐标，拥有最优三维坐标的四肢关节点可以称为目标四肢关节点。
图5为本申请实施例提供的一种利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点的方法流程图。
如图5所示，该方法包括：
S501、按照从人体躯干到人体四肢的方向，确定人体骨架中的第五关节点以及与第五关节点直接相连的第六关节点，第五关节点和第六关节点中至少包括一个四肢关节点；
S502、根据第五关节点的三维坐标、第六关节点在彩色骨架中的二维图像坐标，以及预设的第五关节点和第六关节点之间的骨骼长度，计算第六关节点的深度；
示例性的，若第五关节点为躯干关节点，则第五关节点的三维坐标为优化后的人体躯干模型中第五关节点的坐标。若第五关节点为四肢关节点，则第五关节点为目标四肢关节点，第五关节点的三维坐标为第五关节点的目标坐标。即，若第五关节点为四肢关节点，则第五关节点为历史上已经通过如图5所示的方式进行目标四肢关节点确定的第六关节点。
S503、利用第六关节点的二维图像坐标和深度确定第六关节点的目标坐标，拥有目标坐标的第六关节点为一个目标四肢关节点。
本申请实施例，求解四肢上的关节点坐标的深度值，这一步相对第二步求解躯干上关节点的坐标的深度值较为容易，基于彩色骨架的二维图像坐标，求解得到的躯干上的关节点的三维坐标，及骨骼长度，依次求解即可。首先根据躯干上的肩部坐标及大臂长度，分别求解左右肘关节的三维坐标；然后基于肘关节的三维坐标、腕关节的二维图像坐标、小臂长度求解左右腕关节的三维坐标；接着基于腕关节的三维坐标、手部的二维图像坐标及腕关节到手部的长度，求解手部的三维坐标即。膝关节的三维坐标类似于肘关节的求法，基于胯关节的三维坐标和大腿长度及其二维图像坐标即可得到，踝关节的与腕关节的求解类似，脚部的三维坐标与手部的类似，都依次求解即可。
本申请实施例不仅给出了基于人体模型融和深度骨架和彩色骨架，求解人体骨架三维坐标的算法；而且给出了一个人体躯干模型，包括7个关节点，12条骨骼，两个平面及若干约束条件，该模型可以简洁高效的表示人体躯干部分的若干动作，比如转身、扭腰、俯身，可用于游戏、人体姿态识别等领域。
本申请实施例基于人体骨架模型，融合利用了彩色骨架二维关节点准确率高和深度骨架可以给出部分或全部关节点坐标较为准确的深度值得优点，可以得到更为准确的人体骨架关节点的三维坐标，以用于游戏、人体姿态识别、行为分析等领域。
图6为本申请实施例提供的一种人体骨架识别装置结构示意图。
如图6所示，该装置包括：
骨架获取单元601，用于获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，彩色骨架为二维骨架；
校准单元602，用于将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架；
优化单元603，用于以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点；
骨架确定单元604，用于利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点，目标躯干关节点和目标四肢关节点构成人体的骨架。
本申请实施例中，优选的，校准单元包括：
第一关节点确定单元，用于确定深度骨架中左右对称的第一关节点和第二关节点；
第二关节点确定单元，用于获取彩色骨架中的第三关节点和第四关节点，彩色骨架中的第三关节点与深度骨架中的第一关节点指示同一关节点，彩色骨架中的第四关节点和深度骨架中的第二关节点指示同一关节点；
信息计算单元，用于根据第一关节点、第二关节点、第三关节点和第四关节点计算第一信息和第二信息；第一信息与第一关节点和第三关节点之间的距离以及第二关节点和第四关节点之间的距离有关，第二信息与第一关节点和第四关节点之间的距离以及第二关节点和第三关节点之间的距离有关；
校准子单元，用于若第一信息大于第二信息，对调深度骨架中第一关节点和第二关节点之间的位置生成目标深度骨架。
本申请实施例中，优选的，优化单元，包括：
第三信息确定单元，用于确定第三信息，所述第三信息为人体躯干模型中躯干关节点到所述目标深度骨架中躯干关节点的距离平方加权之和；
第四信息获取单元，用于获取第四信息，所述第四信息为所述目标深度骨架中躯干关节点0、躯干关节点1、躯干关节点5、躯干关节点6及所述人体躯干模型中躯干关节点0到所述人体躯干模型平面156的距离平方加权之和；
第五信息确定单元，用于确定第五信息，所述第五信息为所述目标深度骨架中躯干关节点1、躯干关节点2、躯干关节点3、躯干关节点4及所述人体躯干模型中躯干关节点2到所述人体躯干模型平面134的距离平方加权之和；
第六信息获取单元，用于获取第六信息，所述第六信息为所述人体躯干模型中骨骼长度平方与预设骨骼长度平方之差的加权平方；
第七信息获取单元，用于获取第七信息，所述第七信息为人体躯干模型中躯干关节点的图像坐标到目标彩色骨架躯干关节点的图像坐标的距离平方加权和；
优化子单元，用于以所述第三信息、所述第四信息、所述第五信息和所述第六信息最小为目标，对所述人体躯干模型进行优化得到优化后的人体躯干模型；优化后的人体躯干模型中的躯干关节点为目标躯干关节点。
本申请实施例中，优选的，预设骨骼长度为根据目标深度模型中人体高度及人体相对比例关系确定的目标深度模型中骨骼的长度。
本申请实施例中，优选的，骨架确定单元包括：
第三关节点确定单元，用于按照从人体躯干到人体四肢的方向，确定人体骨架中的第五关节点以及与第五关节点直接相连的第六关节点，第五关节点和第六关节点中至少包括一个四肢关节点；
深度计算单元，用于根据第五关节点的三维坐标、第六关节点在彩色骨架中的二维图像坐标，以及预设的第五关节点和第六关节点之间的骨骼长度，计算第六关节点的深度；
骨架确定子单元，用于利用第六关节点的二维图像坐标和深度确定第六关节点的目标坐标，拥有目标坐标的第六关节点为一个目标四肢关节点；
其中，若第五关节点为躯干关节点，第五关节点的三维坐标为优化后的人体躯干模型中第五关节点的坐标；若第五关节点为四肢关节点，第五关节点为目标四肢关节点，第五关节点的三维坐标为第五关节点的目标坐标。
如图7所示，为本申请实施例提供的计算机设备的一种实现方式的结构图，该计算机设备包括：
存储器701，用于存储程序；
处理器702，用于执行程序，程序具体用于：
获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，彩色骨架为二维骨架；
将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架；
以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点；
利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点，目标躯干关节点和目标四肢关节点构成人体的骨架。
处理器702可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)。
控制设备还可以包括通信接口703以及通信总线704，其中，存储器701、处理器702以及通信接口703通过通信总线704完成相互间的通信。
本申请实施例还提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器加载并执行，实现上述的人体骨架识别方法的各步骤，具体实现过程可以参照上述实施例相应部分的描述，本实施例不做赘述。
本申请提供一种人体骨架识别方法、装置、计算机设备及存储介质，获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，彩色骨架为二维骨架；将彩色骨架的关节点作为基准，校准深度骨架中左右对称的两两关节点的位置得到目标深度骨架；以最小化预先设置的人体约束条件为目标，对目标深度骨架中躯干关节点进行优化得到目标躯干关节点；利用目标躯干关节点确定彩色骨架中四肢关节点的深度，根据四肢关节点及其深度确定目标四肢关节点，目标躯干关节点和目标四肢关节点构成人体的骨架。本申请基于深度骨架和彩色骨架的融合实现对人体骨架三维坐标的识别，有效提高了人体骨架三维坐标识别结果的准确性。
以上对本发明所提供的一种人体骨架识别方法、装置、计算机设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人体骨架识别方法，其特征在于，包括：
获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，所述彩色骨架为二维骨架；
将所述彩色骨架的关节点作为基准，校准所述深度骨架中左右对称的两两关节点的位置得到目标深度骨架；
以最小化预先设置的人体约束条件为目标，对所述目标深度骨架中躯干关节点进行优化得到目标躯干关节点；
利用所述目标躯干关节点确定所述彩色骨架中四肢关节点的深度，根据所述四肢关节点及其深度确定目标四肢关节点，所述目标躯干关节点和所述目标四肢关节点构成所述人体的骨架。
2.根据权利要求1所述的方法，其特征在于，所述将所述彩色骨架的关节点作为基准，校准所述深度骨架中左右对称的两两关节点的位置得到目标深度骨架，包括：
确定所述深度骨架中左右对称的第一关节点和第二关节点；
获取所述彩色骨架中的第三关节点和第四关节点，所述彩色骨架中的第三关节点与所述深度骨架中的第一关节点指示同一关节点，所述彩色骨架中的第四关节点和所述深度骨架中的第二关节点指示同一关节点；
根据所述第一关节点、所述第二关节点、所述第三关节点和所述第四关节点计算第一信息和第二信息；所述第一信息与所述第一关节点和所述第三关节点之间的距离以及所述第二关节点和所述第四关节点之间的距离有关，所述第二信息与所述第一关节点和所述第四关节点之间的距离以及所述第二关节点和所述第三关节点之间的距离有关；
若所述第一信息大于所述第二信息，对调所述深度骨架中所述第一关节点和所述第二关节点之间的位置生成目标深度骨架。
3.根据权利要求1所述的方法，其特征在于，所述以最小化预先设置的人体约束条件为目标，对所述目标深度骨架中躯干关节点进行优化得到目标躯干关节点，包括：
确定第三信息，所述第三信息为人体躯干模型中躯干关节点到所述目标深度骨架中躯干关节点的距离平方加权之和；
获取第四信息，所述第四信息为所述目标深度骨架中躯干关节点0、躯干关节点1、躯干关节点5、躯干关节点6及所述人体躯干模型中躯干关节点0到所述人体躯干模型平面156的距离平方加权之和；
确定第五信息，所述第五信息为所述目标深度骨架中躯干关节点1、躯干关节点2、躯干关节点3、躯干关节点4及所述人体躯干模型中躯干关节点2到所述人体躯干模型平面134的距离平方加权之和；
获取第六信息，所述第六信息为所述人体躯干模型中骨骼长度平方与预设骨骼长度平方之差的加权平方；
确定第七信息，所述第七信息为人体躯干模型中躯干关节点的图像坐标到目标彩色骨架躯干关节点的图像坐标的距离平方加权和；
以所述第三信息、所述第四信息、所述第五信息、所述第六信息和所述第七信息之和最小为目标，对所述人体躯干模型进行优化得到优化后的人体躯干模型；优化后的人体躯干模型中的躯干关节点为目标躯干关节点。
4.根据权利要求3所述的方法，其特征在于，预设骨骼长度为根据所述目标深度模型中人体高度及人体相对比例关系确定的所述目标深度模型中骨骼的长度。
5.根据权利要求4所述的方法，其特征在于，所述利用所述目标躯干关节点确定所述彩色骨架中四肢关节点的深度，根据所述四肢关节点及其深度确定目标四肢关节点，包括：
按照从人体躯干到人体四肢的方向，确定人体骨架中的第五关节点以及与所述第五关节点直接相连的第六关节点，所述第五关节点和所述第六关节点中至少包括一个四肢关节点；
根据所述第五关节点的三维坐标、所述第六关节点在所述彩色骨架中的二维图像坐标，以及预设的所述第五关节点和所述第六关节点之间的骨骼长度，计算所述第六关节点的深度；
利用所述第六关节点的二维图像坐标和深度确定所述第六关节点的目标坐标，拥有所述目标坐标的所述第六关节点为一个目标四肢关节点；
其中，若所述第五关节点为躯干关节点，所述第五关节点的三维坐标为优化后的人体躯干模型中所述第五关节点的坐标；若所述第五关节点为四肢关节点，所述第五关节点为目标四肢关节点，所述第五关节点的三维坐标为所述第五关节点的目标坐标。
6.一种人体骨架识别装置，其特征在于，包括：
骨架获取单元，用于获取深度图中人体的深度骨架及彩色图像中人体的彩色骨架，所述彩色骨架为二维骨架；
校准单元，用于将所述彩色骨架的关节点作为基准，校准所述深度骨架中左右对称的两两关节点的位置得到目标深度骨架；
优化单元，用于以最小化预先设置的人体约束条件为目标，对所述目标深度骨架中躯干关节点进行优化得到目标躯干关节点；
骨架确定单元，用于利用所述目标躯干关节点确定所述彩色骨架中四肢关节点的深度，根据所述四肢关节点及其深度确定目标四肢关节点，所述目标躯干关节点和所述目标四肢关节点构成所述人体的骨架。
7.根据权利要求6所述的装置，其特征在于，校准单元包括：
第一关节点确定单元，用于确定所述深度骨架中左右对称的第一关节点和第二关节点；
第二关节点确定单元，用于获取所述彩色骨架中的第三关节点和第四关节点，所述彩色骨架中的第三关节点与所述深度骨架中的第一关节点指示同一关节点，所述彩色骨架中的第四关节点和所述深度骨架中的第二关节点指示同一关节点；
信息计算单元，用于根据所述第一关节点、所述第二关节点、所述第三关节点和所述第四关节点计算第一信息和第二信息；所述第一信息与所述第一关节点和所述第三关节点之间的距离以及所述第二关节点和所述第四关节点之间的距离有关，所述第二信息与所述第一关节点和所述第四关节点之间的距离以及所述第二关节点和所述第三关节点之间的距离有关；
校准子单元，用于若所述第一信息大于所述第二信息，对调所述深度骨架中所述第一关节点和所述第二关节点之间的位置生成目标深度骨架。
8.根据权利要求7所述的装置，其特征在于，所述优化单元，包括：
第三信息确定单元，用于确定第三信息，所述第三信息为人体躯干模型中躯干关节点到所述目标深度骨架中躯干关节点的距离平方加权之和；
第四信息获取单元，用于获取第四信息，所述第四信息为所述目标深度骨架中躯干关节点0、躯干关节点1、躯干关节点5、躯干关节点6及所述人体躯干模型中躯干关节点0到所述人体躯干模型平面156的距离平方加权之和；
第五信息确定单元，用于确定第五信息，所述第五信息为所述目标深度骨架中躯干关节点1、躯干关节点2、躯干关节点3、躯干关节点4及所述人体躯干模型中躯干关节点2到所述人体躯干模型平面134的距离平方加权之和；
第六信息获取单元，用于获取第六信息，所述第六信息为所述人体躯干模型中骨骼长度平方与预设骨骼长度平方之差的加权平方；
第七信息获取单元，用于获取第七信息，所述第七信息为人体躯干模型中躯干关节点的图像坐标到目标彩色骨架躯干关节点的图像坐标的距离平方加权和；
优化子单元，用于以所述第三信息、所述第四信息、所述第五信息和所述第六信息最小为目标，对所述人体躯干模型进行优化得到优化后的人体躯干模型；优化后的人体躯干模型中的躯干关节点为目标躯干关节点。
9.一种计算机设备，其特征在于，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如权利要求1-5任意一项所述的人体骨架识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器加载并执行，实现如权利要求1-5任意一项所述的人体骨架识别方法的各步骤。
CN202110448046.XA 2021-04-25 2021-04-25 一种人体骨架识别方法、装置、计算机设备及存储介质 Pending CN113158910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110448046.XA CN113158910A (zh) 2021-04-25 2021-04-25 一种人体骨架识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110448046.XA CN113158910A (zh) 2021-04-25 2021-04-25 一种人体骨架识别方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113158910A true CN113158910A (zh) 2021-07-23

Family

ID=76870214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110448046.XA Pending CN113158910A (zh) 2021-04-25 2021-04-25 一种人体骨架识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113158910A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113633281A (zh) * 2021-08-25 2021-11-12 北京航空航天大学 一种在装配维修过程中对人体姿态的评估方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951990A (zh) * 2007-12-23 2011-01-19 Oraya治疗公司 检测、控制和预测辐射传输的方法和装置
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN111652047A (zh) * 2020-04-17 2020-09-11 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
CN111862299A (zh) * 2020-06-15 2020-10-30 上海非夕机器人科技有限公司 人体三维模型构建方法、装置、机器人和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101951990A (zh) * 2007-12-23 2011-01-19 Oraya治疗公司 检测、控制和预测辐射传输的方法和装置
CN102800126A (zh) * 2012-07-04 2012-11-28 浙江大学 基于多模态融合的实时人体三维姿态恢复的方法
CN104167016A (zh) * 2014-06-16 2014-11-26 西安工业大学 一种基于rgb彩色与深度图像的三维运动重建方法
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN111652047A (zh) * 2020-04-17 2020-09-11 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
CN111862299A (zh) * 2020-06-15 2020-10-30 上海非夕机器人科技有限公司 人体三维模型构建方法、装置、机器人和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113633281A (zh) * 2021-08-25 2021-11-12 北京航空航天大学 一种在装配维修过程中对人体姿态的评估方法与系统

Similar Documents

Publication Publication Date Title
KR20210011425A (ko) 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체
Lee et al. Constraint-based hand animation
CN110827383B (zh) 三维模型的姿态模拟方法、装置、存储介质和电子设备
CN109758355A (zh) 一种基于人体穴位二维图像处理和三维立体定位方法
CN112597933B (zh) 动作评分方法、装置及可读存储介质
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN108693958B (zh) 一种手势识别方法、装置及系统
WO2023185703A1 (zh) 虚拟角色的动作控制方法、装置、设备和存储介质
WO2020147791A1 (zh) 图像处理方法及装置、图像设备及存储介质
Vox et al. Preprocessing and normalization of 3d-skeleton-data for human motion recognition
CN113158910A (zh) 一种人体骨架识别方法、装置、计算机设备及存储介质
CN113555083A (zh) 一种按摩轨迹生成方法
CN113989283B (zh) 3d人体姿态估计方法、装置、电子设备与存储介质
US20220270387A1 (en) Modeling method and modeling device for human body model, electronic device, and storage medium
Zeng et al. PE-DLS: A novel method for performing real-time full-body motion reconstruction in VR based on Vive trackers
De Rosario et al. Correction of joint angles from Kinect for balance exercising and assessment
CN115919250A (zh) 一种人体动态关节角测量系统
CN113902845A (zh) 一种动作视频生成方法、装置、电子设备和可读存储介质
CN113012268A (zh) 静态行人图像的运动动态化方法、系统、装置及介质
Gragg et al. Optimization-based posture reconstruction for digital human models
KR20200057572A (ko) 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
CN112926550A (zh) 基于三维图像人体姿态匹配的人机交互方法及其设备
Miyata et al. Individual hand model to reconstruct behavior from motion capture data
CN114092634A (zh) 经穴定位方法、装置、电子设备及存储介质
CN113420676A (zh) 一种二路特征交错融合网络的3d人体姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination