CN115601505B - 一种人体三维姿态还原方法、装置、电子设备及存储介质 - Google Patents

一种人体三维姿态还原方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115601505B
CN115601505B CN202211381759.XA CN202211381759A CN115601505B CN 115601505 B CN115601505 B CN 115601505B CN 202211381759 A CN202211381759 A CN 202211381759A CN 115601505 B CN115601505 B CN 115601505B
Authority
CN
China
Prior art keywords
data
human body
coordinate
dimensional posture
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211381759.XA
Other languages
English (en)
Other versions
CN115601505A (zh
Inventor
张顺四
罗志华
刘卫民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Quwan Network Technology Co Ltd
Original Assignee
Guangzhou Quwan Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Quwan Network Technology Co Ltd filed Critical Guangzhou Quwan Network Technology Co Ltd
Priority to CN202211381759.XA priority Critical patent/CN115601505B/zh
Publication of CN115601505A publication Critical patent/CN115601505A/zh
Application granted granted Critical
Publication of CN115601505B publication Critical patent/CN115601505B/zh
Priority to PCT/CN2023/092153 priority patent/WO2024098688A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种人体三维姿态还原方法、装置、电子设备及存储介质，用于解决现有的视觉捕捉技术对于三维人体姿态还原的精度低、准确性和稳定性差的技术问题。本发明包括：采集人体三维姿态数据；对所述人体三维姿态数据进行校验，得到校验数据；对所述校验数据进行拟合，得到稳定数据；根据所述稳定数据进行姿态还原，得到还原三维姿态数据；根据预设关节活动范围约束调整所述还原三维姿态数据，得到目标还原数据。

Description

一种人体三维姿态还原方法、装置、电子设备及存储介质
技术领域
本发明涉及姿态还原技术领域，尤其涉及一种人体三维姿态还原方法、装置、电子设备及存储介质。
背景技术
随着“元宇宙”的热潮，“数字人”将会是元宇宙中的一个鲜活代表。如何将在现实世界的各种肢体行为，精准、稳定、栩栩如生地展现在元宇宙中，成为当前的研究重点。当前主要的动作捕捉还原技术有光学动作捕捉技术、惯性动作捕捉技术、视觉动作捕捉技术。
光学动作捕捉和惯性动作捕捉两项技术方案都依赖于昂贵的动作捕捉设备，成本较高，而且需要演示者穿戴额外的设备，使用并不方便。此外，光学动作捕捉的设备受环境影响较大，摄像头受到反光干扰时对于标记点的捕捉就会出现偏差，如出现玻璃或镜面就会影响捕捉的精度。
而视觉动作捕捉技术，不需要任何形式的标记和佩戴，只需要进行软件的开发和算法即可。而且受环境影响不大。
然而，现有的视觉捕捉技术对于三维人体姿态还原的精度、准确性和稳定性都有所不足。
发明内容
本发明提供了一种人体三维姿态还原方法、装置、电子设备及存储介质，用于解决现有的视觉捕捉技术对于三维人体姿态还原的精度低、准确性和稳定性差的技术问题。
本发明提供了一种人体三维姿态还原方法，包括：
采集人体三维姿态数据；
对所述人体三维姿态数据进行校验，得到校验数据；
对所述校验数据进行拟合，得到稳定数据；
根据所述稳定数据进行姿态还原，得到还原三维姿态数据；
根据预设关节活动范围约束调整所述还原三维姿态数据，得到目标还原数据。
可选地，所述对所述人体三维姿态数据进行校验，得到校验数据的步骤，包括：
判断所述人体三维姿态数据是否符合预设格式；
若是，对所述人体三维姿态数据进行数据完整性校验；
当所述人体三维姿态数据通过完整性校验时，获取置信度策略；
筛选满足所述置信度策略的人体三维姿态数据作为校验数据。
可选地，所述对所述校验数据进行拟合，得到稳定数据的步骤，包括：
从所述校验数据中获取预设帧数的采样数据；
从所述采样数据中提取父子骨骼数据；所述父子骨骼数据包括基于关节点连接的父子骨骼的端点坐标和所述关节点的关节点坐标；
根据所述端点坐标和所述关节点坐标生成所述父子骨骼的夹角；
生成所述夹角随时间的分布曲线图，并获取所述分布曲线图中各采样数据的曲线斜率；
获取所述采样数据的斜率范围；
当所述曲线斜率不处于所述斜率范围时，采用所述斜率范围拟合所述采样数据，得到稳定数据。
可选地，所述稳定数据包括多个关键位置坐标；所述根据所述稳定数据进行姿态还原，得到还原三维姿态数据的步骤，包括：
从所述关键位置坐标中获取左肩坐标、右肩坐标、左髋坐标、右髋坐标、鼻坐标、左眼坐标和右眼坐标；
采用所述左肩坐标、右肩坐标、左髋坐标和右髋坐标计算人体整体朝向；
确定每根骨骼两端对应的目标关键位置坐标；
采用所述目标关键位置坐标和所述人体整体朝向计算骨骼相对旋转角度；
采用所述鼻坐标、所述左眼坐标和所述右眼坐标计算人脸朝向；
采用所述人体整体朝向、所述骨骼相对旋转角度和所述人脸朝向生成还原三维姿态数据。
可选地，所述采用所述左肩坐标、右肩坐标、左髋坐标和右髋坐标计算人体整体朝向的步骤，包括：
计算所述左肩坐标和所述右肩坐标的中点坐标；
计算所述中点坐标、所述左肩坐标和所述右肩坐标形成的面的第一法向量；
将所述第一法向量对应的朝向作为人体整体朝向。
可选地，所述采用所述目标关键位置坐标和所述人体整体朝向计算骨骼相对旋转角度的步骤，包括：
采用每根骨骼两端对应的目标关键位置坐标生成骨骼向量；
采用所述骨骼向量和所述人体整体朝向生成骨骼朝向四元数；
将所述骨骼朝向四元数转换为欧拉角，生成骨骼相对旋转角度。
可选地，所述采用所述鼻坐标、所述左眼坐标和所述右眼坐标计算人脸朝向的步骤，包括：
计算所述鼻坐标、所述左眼坐标和所述右眼坐标形成的面的第二法向量；
将所述第二法向量对应的朝向作为人脸朝向。
本发明还提供了一种人体三维姿态还原装置，包括：
人体三维姿态数据采集模块，用于采集人体三维姿态数据；
校验模块，用于对所述人体三维姿态数据进行校验，得到校验数据；
拟合模块，用于对所述校验数据进行拟合，得到稳定数据；
还原模块，用于根据所述稳定数据进行姿态还原，得到还原三维姿态数据；
调整模块，用于根据预设关节活动范围约束调整所述还原三维姿态数据，得到目标还原数据。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的人体三维姿态还原方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的人体三维姿态还原方法。
从以上技术方案可以看出，本发明具有以下优点：本发明公开了一种人体三维姿态还原方法，包括：采集人体三维姿态数据；对人体三维姿态数据进行校验，得到校验数据；对校验数据进行拟合，得到稳定数据；根据稳定数据进行姿态还原，得到还原三维姿态数据；根据预设关节活动范围约束调整所述还原三维姿态数据，得到目标还原数据。
本发明首先通过对人体三维姿态数据进行校验，降低了异常数据对姿态还原的影响；接着对校验数据进行拟合，保证人体三维姿态数据随时间变化的连贯性；再接着对稳定数据进行姿态还原，得到还原三维姿态数据，并根据预设关节活动范围约束调整还原三维姿态数据，进一步调整不合理的还原三维姿态数据。从而提高了三维人体姿态还原的精度、准确性和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种人体三维姿态还原方法的步骤流程图；
图2为本发明另一实施例提供的一种人体三维姿态还原方法的步骤流程图；
图3为人体骨骼关键位置坐标标识示意图。
图4为本发明实施例提供的一种人体三维姿态还原装置的结构框图。
具体实施方式
本发明实施例提供了一种人体三维姿态还原方法、装置、电子设备及存储介质，用于解决现有的视觉捕捉技术对于三维人体姿态还原的精度低、准确性和稳定性差的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种人体三维姿态还原方法的步骤流程图。
本发明提供的一种人体三维姿态还原方法，具体可以包括以下步骤：
步骤101，采集人体三维姿态数据；
在本发明实施例中，可以假设姿态数据集采集服务（如MediaPipe Pose）来采集、上传人体三维姿态数据。
需要说明的是，由于人体三维姿态数据的来源是基于MediaPipe Pose中的地标模型预测了33个地标的位置，采集的数据并非完整有效的，因此，在采集得到人体三维姿态数据后，需要对其进行初步筛选、甄别，其具体操作步骤包括：
a、对符合要求的数据，设置成高置信度（如0.8），加入到数据指令集中；
人体每根骨骼与身高的比值存在一个区间，处于这个区间内的数据即为符合要求的数据。
b、对于有遮挡得出的模糊数据做置信度降级，对于残缺数据（如捕捉目标出摄像机视野框的）做预测补全数据处理，并降低置信度；
在一个示例中，预测补全数据处理可以采用惯性运动预测法，根据上次肢体运动一定帧数的位置数据，得出一条运动曲线，根据运动曲线的斜率，估算出下一帧的移动理论值。当有数据缺失或者数据的置信度低于0.5时，采用这个理论值补全或者代替这个低置信度的值。
c、将a、b步骤得到的数据按照约定格式通过实时通信协议传输给还原展示端，并对其进行校验。
步骤102，对人体三维姿态数据进行校验，得到校验数据；
在获取到人体三维姿态数据后，可以对其进行校验，得到校验数据。
在本发明实施例中，对人体三维姿态数据进行校验，主要用于去除异常数据，保证数据的完整性，以及去除置信度较低的数据。
步骤103，对校验数据进行拟合，得到稳定数据；
在完成对人体三维姿态数据的校验后，可以对校验数据进行采样分析，从而对人体三维姿态数据进行拟合，得到稳定数据。
步骤104，根据稳定数据进行姿态还原，得到还原三维姿态数据；
在得到稳定数据后，可以根据稳定数据进行姿态还原，得到还原三维姿态数据。
步骤105，根据预设关节活动范围约束调整还原三维姿态数据，得到目标还原数据。
在完成姿态还原操作后，可以根据预设关节活动范围约束来调整还原三维姿态数据，得到目标还原数据。
关节活动范围约束，是指人体关节运动的合理范围，通过关节活动范围约束调整还原三维姿态数据，是指将超过关节活动范围约束的还原三维姿态数据调整到满足关节活动范围约束的程度。例如，将违反人体工程原理的反关节数据调整为正常的关节活动数据。
本发明首先通过对人体三维姿态数据进行校验，降低了异常数据对姿态还原的影响；接着对校验数据进行拟合，保证人体三维姿态数据随时间变化的连贯性；再接着对稳定数据进行姿态还原，得到还原三维姿态数据，并根据预设关节活动范围约束调整还原三维姿态数据，进一步调整不合理的还原三维姿态数据。从而提高了三维人体姿态还原的精度、准确性和稳定性。
请参阅图2，图2为本发明另一实施例提供的一种人体三维姿态还原方法的步骤流程图。具体可以包括以下步骤：
步骤201，采集人体三维姿态数据；
步骤201与步骤101相同，具体可以参照步骤101的描述，此处不再赘述。
步骤202，判断人体三维姿态数据是否符合预设格式；
在本发明实施例中，对于人体三维姿态数据的校验包括异常数据校验。异常数据校验主要用于校验人体三维姿态数据是否符合人体工程学原理，以及是否符合预设格式。
在本发明实施例中，是否符合人体工程学原理的检测，主要包括：
人体骨骼尺度比例合理性检测：根据人体三维姿态数据中33个地标的位置数据，可以计算出人体三维姿态数据中每个骨骼的长度是否在正常人体尺寸范围内，具体参数包括：身高、眼高、肩宽、两肘宽、肘高、膝盖高度、臀部－膝腿部长度、臀部－膝盖长度、臀部－足尖长度等。
关节可以活动范围合理性检测：主要用于检测关节的活动范围是否处于正常人的关节活动范围之内。
预设格式即是人体三维姿态数据的通信格式，例如：{"cmdList":[{"k":0,"v":{"x":-0.11445682,"y":0.4146897,"z":0.022684233},"visibility":0.7481186}, …]}。其中，k为地标的位置序号，v为位置的三维坐标值，visibility为置信度值。
步骤203，若是，对人体三维姿态数据进行数据完整性校验；
在本发明实施例中，对于人体三维姿态数据的校验还可以包括完整性校验。完整性校验主要用于校验数据是否缺失。
步骤204，当人体三维姿态数据通过完整性校验时，获取置信度策略；
步骤205，筛选满足置信度策略的人体三维姿态数据作为校验数据；
在本发明实施例中，对于人体三维姿态数据的校验还可以包括置信度校验。置信度校验主要用于通过置信度策略对人体三维姿态数据进行置信度筛选，从而获取满足置信度策略要求的人体三维姿态数据。
在具体实现中，置信度策略主要可以根据颗粒度划分为全局应用、分组应用和独立应用。
全局应用，是指若人体三维姿态数据中有一条位置点的置信度低于设定的阈值（如0.8），则不用该人体三维姿态数据。
分组应用，是指将人体三维姿态数据按照头部、身躯、四肢分为六组，当一组数据中有一个位置数据置信度低于预设阈值（如0.8）时，则不用该组数据。
独立应用，是指位置数据的置信度低于预设阈值（如0.8）时，则不用该位置数据。
在具体实现中，可以根据不同情况使用不同的置信度策略。例如，当根基点（肩线中点与髋线中点的连线的中点；其中，肩线中点为左肩与右肩连线的中点；髋线中点为左髋与右髋连线的中点）本身的置信度不高，则忽略该条人体三维姿态数据，继续保留之前的人体三维姿态数据。又例如，如果只是四肢或者头部某个关键点的置信度不高，那么可以选择分组应用策略，只处理该分组的数据即可。
步骤206，对校验数据进行拟合，得到稳定数据；
在完成对人体三维姿态数据的校验后，可以对校验数据进行采样分析，从而对人体三维姿态数据进行拟合，得到稳定数据。
在一个示例中，对校验数据进行拟合，得到稳定数据的步骤，可以包括以下子步骤：
S61，从校验数据中获取预设帧数的采样数据；
S62，从采样数据中提取父子骨骼数据；父子骨骼数据包括基于关节点连接的父子骨骼的端点坐标和关节点的关节点坐标；
S63，根据端点坐标和关节点坐标生成父子骨骼的夹角；
S64，生成夹角随时间的分布曲线图，并获取分布曲线图中各采样数据的曲线斜率；
S65，获取采样数据的斜率范围；
S66，当曲线斜率不处于斜率范围时，采用斜率范围拟合采样数据，得到稳定数据。
父子骨骼，是指通过同一个关节连接的两根骨骼。
父子骨骼的夹角，是指两根骨骼的夹角，也即两个骨骼的端点坐标与关节点的关节点坐标形成的连线所组成的夹角。
在本发明实施例中，可以从校验数据中获取预设帧数（如20帧）的采样数据，并将其缓存在缓存池中，然后根据采样数据中父子骨骼夹角随时间的变化来生成分布曲线图，再接着获取分布曲线图中各采样数据在分布曲线图中的曲线斜率，当采样数据的曲线斜率不处于斜率范围内时，判定该采样数据为非稳定数据，则对采样数据进行调整，使其曲线斜率处于对应的斜率范围之内，从而得到稳定数据。
在一个示例中，采样数据的斜率范围的上下限值可以通过以下公式计算得到：
K=R/T
其中，K为曲线斜率，T为单位帧时间，R为角度。采样数据的斜率范围即为单位帧时间T内所改变的角度范围。
例如，假设采样帧频为30帧每秒，则单位帧时间为33.3毫秒，设定每帧改变的角度的范围是[5°，45°]，那么斜率范围即为[0.15,1.35]。
对校验数据依次进行采样，可以依次拟合每个校验数据，从而得到一条符合姿态变化规律的稳定数据。
步骤207，根据稳定数据进行姿态还原，得到还原三维姿态数据；
在得到稳定数据后，可以根据稳定数据进行姿态还原，得到还原三维姿态数据。
在一个示例中，稳定数据包括多个关键位置坐标；根据稳定数据进行姿态还原，得到还原三维姿态数据的步骤，可以包括以下子步骤：
S71，从关键位置坐标中获取左肩坐标、右肩坐标、左髋坐标、右髋坐标、鼻坐标、左眼坐标和右眼坐标；
S72，采用左肩坐标、右肩坐标、左髋坐标和右髋坐标计算人体整体朝向；
在本发明实施例中，稳定数据中可以包括33个关键位置坐标，如图3所示，33个关键位置坐标分别为以下关键位置的坐标：
0-nose（鼻）；1-left_eye_inner（左眼内侧）；2-left_eye（左眼）；3-left_eye_outer（左眼外侧）；4-right_eye_inner（右眼内侧）；5-right_eye（右眼）；6-right_eye_outer（右眼外侧）；7-left_ear（左耳）；8-right_ear（右耳）；9-mouth_left（嘴左角）；10-mouth_right（嘴右角）；11-left_shoulder（左肩）；12-right_shoulder（右肩）；13-lift_elbow（左肘）；14-right_elbow（右肘）；15-left_wrist（左手腕）；16-right_wrist（右手腕）；17-left_pinky（左手小指）；18-right_pinky（右手小指）；19-left_index（左手食指）；20-right_index（右手食指）；21-left_thumb（左手拇指）；22-right_thumb（右手拇指）；23-left_hip（左髋）；24-right_hip（右髋）；25-left_knee（左膝）；26-right_knee（右膝）；27-left_ankle（左脚踝）；28-right_ankle（右脚踝）；29-left_heel（左脚后跟）；30-right_heel（右脚后跟）；31-left_foot_index（左脚食指）；32-right_foot_index（右脚食指）。
根据左肩坐标、右肩坐标、左髋坐标和右髋坐标可以计算人体整体朝向。
在具体实现中，采用左肩坐标、右肩坐标、左髋坐标和右髋坐标计算人体整体朝向的步骤，可以包括：
S721，计算左肩坐标和右肩坐标的中点坐标；
S722，计算中点坐标、左肩坐标和右肩坐标形成的面的第一法向量；
S723，将第一法向量对应的朝向作为人体整体朝向。
在具体实现中，假设Pn（n为图3中数字表示）表示关键位置的坐标。则P11，P12的中点坐标P11-12，以及P23，P24可以形成三个向量P23P24、P24P11-12、P24P11-12，这三个向量形成的面的第一法向量即可以表示为人体整体朝向。
S73，确定每根骨骼两端对应的目标关键位置坐标；
S74，采用目标关键位置坐标和人体整体朝向计算骨骼相对旋转角度；
在具体实现中，采用每根骨骼两端对应的目标关键位置坐标和人体整体朝向可以计算骨骼相对旋转角度。
在一个示例中，采用目标关键位置坐标和人体整体朝向计算骨骼相对旋转角度的步骤，包括：
S741，采用每根骨骼两端对应的目标关键位置坐标生成骨骼向量；
S742，采用骨骼向量和人体整体朝向生成骨骼朝向四元数；
S743，将骨骼朝向四元数转换为欧拉角，生成骨骼相对旋转角度。
以右手臂为例，如图3所示，在3D空间坐标系中右手臂的朝向可以由点P12和点P14所构成的向量w以及人体整体朝向的第一法向量v所确定。假设在初始状态下，子骨骼相对于父骨骼的旋转角度为0°，即骨骼P11P12相对于骨骼P12P14的旋转角度为0°，将P11P12绕第一法向量v旋转到P12P14的四元数，即表征右手臂P12P14的朝向。
在获取到右手臂的骨骼朝向四元数后，将其转换为欧拉角，即可得到右手臂的骨骼相对旋转角度。其他骨骼的朝向可以依照与右手臂相同的方式计算得到。
S75，采用鼻坐标、左眼坐标和右眼坐标计算人脸朝向；
在本发明实施例中，人脸朝向可以根据鼻坐标、左眼坐标和右眼坐标计算得到。
在一个示例中，采用鼻坐标、左眼坐标和右眼坐标计算人脸朝向的步骤可以包括：
S751，计算鼻坐标、左眼坐标和右眼坐标形成的面的第二法向量；
S752，将第二法向量对应的朝向作为人脸朝向。
在具体实现中，可以采用鼻坐标P0、左眼坐标P2和右眼坐标P5这三个空间点所构成的面的第二法向量来作为人脸朝向。
S76，采用人体整体朝向、骨骼相对旋转角度和人脸朝向生成还原三维姿态数据。
在本发明实施例中，在计算出人体整体朝向、骨骼相对旋转角度和人脸朝向后，即可得到人体的还原三维姿态数据。
步骤208，根据预设关节活动范围约束调整还原三维姿态数据，得到目标还原数据。
在实际应用中，在做姿态还原的时候，既要做到根据动作捕捉数据尽量还原真实的姿态，又要符合人体正常关节的活动范围。根据人体工程学的人体构造中关节活动的范围，可以收集预定义大多数人每根骨骼的活动范围，形成关节活动范围约束。
以上肢关节为例，其正常活动范围为：
前屈：70°-90°
前屈上举：150°-170°
后伸：40°
外展：80°-90°
外展上举：180°
内收：20°-40°
内旋：45°-70°
外旋：45°-60°
水平位内旋：70°
水平位外旋：70°
水平位前屈：135°
水平位后伸：40°-50°
上举：160°-180°
进一步地，视觉动作捕捉技术识别人体骨骼的位置和大小的识别结果是有像素级别的误差的，同一个人肢体哪怕运动很轻微，上一帧和下一帧的识别结果的方框是不会严丝合缝对齐的。这样把连续的每一帧的识别结果串起来在播放场景中就会看到明显的抖动，视觉体验较差。因此，可以趋势采样检测和计算、插值平滑处理，将抖动限定在一个范围内，让整个肢体的轨迹更平滑。
本发明首先通过对人体三维姿态数据进行校验，降低了异常数据对姿态还原的影响；接着对校验数据进行拟合，保证人体三维姿态数据随时间变化的连贯性；再接着对稳定数据进行姿态还原，得到还原三维姿态数据，并根据预设关节活动范围约束调整还原三维姿态数据，进一步调整不合理的还原三维姿态数据。从而提高了三维人体姿态还原的精度、准确性和稳定性。
请参阅图4，图4为本发明实施例提供的一种人体三维姿态还原装置的结构框图。
本发明实施例提供了一种人体三维姿态还原装置，包括：
人体三维姿态数据采集模块401，用于采集人体三维姿态数据；
校验模块402，用于对人体三维姿态数据进行校验，得到校验数据；
拟合模块403，用于对校验数据进行拟合，得到稳定数据；
还原模块404，用于根据稳定数据进行姿态还原，得到还原三维姿态数据；
调整模块405，用于根据预设关节活动范围约束调整还原三维姿态数据，得到目标还原数据。
在本发明实施例中，校验模块402，包括：
格式判断子模块，用于判断人体三维姿态数据是否符合预设格式；
数据完整性校验子模块，用于若是，对人体三维姿态数据进行数据完整性校验；
置信度策略获取子模块，用于当人体三维姿态数据通过完整性校验时，获取置信度策略；
筛选子模块，用于筛选满足置信度策略的人体三维姿态数据作为校验数据。
在本发明实施例中，拟合模块403，包括：
采样数据获取子模块，用于从校验数据中获取预设帧数的采样数据；
父子骨骼数据提取子模块，用于从采样数据中提取父子骨骼数据；父子骨骼数据包括基于关节点连接的父子骨骼的端点坐标和关节点的关节点坐标；
夹角生成子模块，用于根据端点坐标和关节点坐标生成父子骨骼的夹角；
分布曲线图生成子模块，用于生成夹角随时间的分布曲线图，并获取分布曲线图中各采样数据的曲线斜率；
斜率范围获取子模块，用于获取采样数据的斜率范围；
拟合子模块，用于当曲线斜率不处于斜率范围时，采用斜率范围拟合采样数据，得到稳定数据。
在本发明实施例中，稳定数据包括多个关键位置坐标；还原模块404，包括：
坐标获取子模块，用于从关键位置坐标中获取左肩坐标、右肩坐标、左髋坐标、右髋坐标、鼻坐标、左眼坐标和右眼坐标；
人体整体朝向计算子模块，用于采用左肩坐标、右肩坐标、左髋坐标和右髋坐标计算人体整体朝向；
目标关键位置坐标确定子模块，用于确定每根骨骼两端对应的目标关键位置坐标；
骨骼相对旋转角度计算子模块，用于采用目标关键位置坐标和人体整体朝向计算骨骼相对旋转角度；
人脸朝向计算子模块，用于采用鼻坐标、左眼坐标和右眼坐标计算人脸朝向；
还原三维姿态数据生成子模块，用于采用人体整体朝向、骨骼相对旋转角度和人脸朝向生成还原三维姿态数据。
在本发明实施例中，人体整体朝向计算子模块，包括：
中点坐标计算单元，用于计算左肩坐标和右肩坐标的中点坐标；
第一法向量计算单元，用于计算中点坐标、左肩坐标和右肩坐标形成的面的第一法向量；
人体整体朝向确定单元，用于将第一法向量对应的朝向作为人体整体朝向。
在本发明实施例中，骨骼相对旋转角度计算子模块，包括：
骨骼向量生成单元，用于采用每根骨骼两端对应的目标关键位置坐标生成骨骼向量；
骨骼朝向四元数生成单元，用于采用骨骼向量和人体整体朝向生成骨骼朝向四元数；
骨骼相对旋转角度生成单元，用于将骨骼朝向四元数转换为欧拉角，生成骨骼相对旋转角度。
在本发明实施例中，人脸朝向计算子模块，包括：
第二法向量计算单元，用于计算鼻坐标、左眼坐标和右眼坐标形成的面的第二法向量；
人脸朝向确定单元，用于将第二法向量对应的朝向作为人脸朝向。
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明实施例的人体三维姿态还原方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的人体三维姿态还原方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种人体三维姿态还原方法，其特征在于，包括：
采集人体三维姿态数据；
对所述人体三维姿态数据进行校验，得到校验数据；
对所述校验数据进行拟合，得到稳定数据；
根据所述稳定数据进行姿态还原，得到还原三维姿态数据；
根据预设关节活动范围约束调整所述还原三维姿态数据，得到目标还原数据；
所述对所述校验数据进行拟合，得到稳定数据的步骤，包括：
从所述校验数据中获取预设帧数的采样数据；
从所述采样数据中提取父子骨骼数据；所述父子骨骼数据包括基于关节点连接的父子骨骼的端点坐标和所述关节点的关节点坐标；
根据所述端点坐标和所述关节点坐标生成所述父子骨骼的夹角；
生成所述夹角随时间的分布曲线图，并获取所述分布曲线图中各采样数据的曲线斜率；
获取所述采样数据的斜率范围；
当所述曲线斜率不处于所述斜率范围时，采用所述斜率范围拟合所述采样数据，得到稳定数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述人体三维姿态数据进行校验，得到校验数据的步骤，包括：
判断所述人体三维姿态数据是否符合预设格式；
若是，对所述人体三维姿态数据进行数据完整性校验；
当所述人体三维姿态数据通过完整性校验时，获取置信度策略；
筛选满足所述置信度策略的人体三维姿态数据作为校验数据。
3.根据权利要求1所述的方法，其特征在于，所述稳定数据包括多个关键位置坐标；所述根据所述稳定数据进行姿态还原，得到还原三维姿态数据的步骤，包括：
从所述关键位置坐标中获取左肩坐标、右肩坐标、左髋坐标、右髋坐标、鼻坐标、左眼坐标和右眼坐标；
采用所述左肩坐标、右肩坐标、左髋坐标和右髋坐标计算人体整体朝向；
确定每根骨骼两端对应的目标关键位置坐标；
采用所述目标关键位置坐标和所述人体整体朝向计算骨骼相对旋转角度；
采用所述鼻坐标、所述左眼坐标和所述右眼坐标计算人脸朝向；
采用所述人体整体朝向、所述骨骼相对旋转角度和所述人脸朝向生成还原三维姿态数据。
4.根据权利要求3所述的方法，其特征在于，所述采用所述左肩坐标、右肩坐标、左髋坐标和右髋坐标计算人体整体朝向的步骤，包括：
计算所述左肩坐标和所述右肩坐标的中点坐标；
计算所述中点坐标、所述左肩坐标和所述右肩坐标形成的面的第一法向量；
将所述第一法向量对应的朝向作为人体整体朝向。
5.根据权利要求3所述的方法，其特征在于，所述采用所述目标关键位置坐标和所述人体整体朝向计算骨骼相对旋转角度的步骤，包括：
采用每根骨骼两端对应的目标关键位置坐标生成骨骼向量；
采用所述骨骼向量和所述人体整体朝向生成骨骼朝向四元数；
将所述骨骼朝向四元数转换为欧拉角，生成骨骼相对旋转角度。
6.根据权利要求3所述的方法，其特征在于，所述采用所述鼻坐标、所述左眼坐标和所述右眼坐标计算人脸朝向的步骤，包括：
计算所述鼻坐标、所述左眼坐标和所述右眼坐标形成的面的第二法向量；
将所述第二法向量对应的朝向作为人脸朝向。
7.一种人体三维姿态还原装置，其特征在于，包括：
人体三维姿态数据采集模块，用于采集人体三维姿态数据；
校验模块，用于对所述人体三维姿态数据进行校验，得到校验数据；
拟合模块，用于对所述校验数据进行拟合，得到稳定数据；
还原模块，用于根据所述稳定数据进行姿态还原，得到还原三维姿态数据；
调整模块，用于根据预设关节活动范围约束调整所述还原三维姿态数据，得到目标还原数据；
拟合模块，包括：
采样数据获取子模块，用于从校验数据中获取预设帧数的采样数据；
父子骨骼数据提取子模块，用于从采样数据中提取父子骨骼数据；父子骨骼数据包括基于关节点连接的父子骨骼的端点坐标和关节点的关节点坐标；
夹角生成子模块，用于根据端点坐标和关节点坐标生成父子骨骼的夹角；
分布曲线图生成子模块，用于生成夹角随时间的分布曲线图，并获取分布曲线图中各采样数据的曲线斜率；
斜率范围获取子模块，用于获取采样数据的斜率范围；
拟合子模块，用于当曲线斜率不处于斜率范围时，采用斜率范围拟合采样数据，得到稳定数据。
8.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的人体三维姿态还原方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任一项所述的人体三维姿态还原方法。
CN202211381759.XA 2022-11-07 2022-11-07 一种人体三维姿态还原方法、装置、电子设备及存储介质 Active CN115601505B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211381759.XA CN115601505B (zh) 2022-11-07 2022-11-07 一种人体三维姿态还原方法、装置、电子设备及存储介质
PCT/CN2023/092153 WO2024098688A1 (zh) 2022-11-07 2023-05-05 一种人体三维姿态还原方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211381759.XA CN115601505B (zh) 2022-11-07 2022-11-07 一种人体三维姿态还原方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115601505A CN115601505A (zh) 2023-01-13
CN115601505B true CN115601505B (zh) 2023-03-14

Family

ID=84853353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211381759.XA Active CN115601505B (zh) 2022-11-07 2022-11-07 一种人体三维姿态还原方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115601505B (zh)
WO (1) WO2024098688A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601505B (zh) * 2022-11-07 2023-03-14 广州趣丸网络科技有限公司 一种人体三维姿态还原方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108253954A (zh) * 2016-12-27 2018-07-06 大连理工大学 一种人体姿态捕捉系统
CN108509897A (zh) * 2018-03-29 2018-09-07 同济大学 一种人体姿态识别方法和系统
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110660017A (zh) * 2019-09-02 2020-01-07 北京航空航天大学 一种基于三维姿态识别的舞谱记录与演示方法
CN111862299A (zh) * 2020-06-15 2020-10-30 上海非夕机器人科技有限公司 人体三维模型构建方法、装置、机器人和存储介质
CN113706507A (zh) * 2021-08-27 2021-11-26 西安交通大学 基于人体姿态检测的实时跳绳计数方法、装置和设备
CN114374540A (zh) * 2021-12-15 2022-04-19 广州趣丸网络科技有限公司 一种网络交互的控制方法及装置
WO2022116829A1 (zh) * 2020-12-01 2022-06-09 深圳市优必选科技股份有限公司 人体行为识别方法、装置、计算机设备及可读存储介质
WO2022178951A1 (zh) * 2021-02-26 2022-09-01 平安科技（深圳）有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN115147573A (zh) * 2022-06-01 2022-10-04 深圳市中视典数字科技有限公司 三维姿态估计方法及系统、计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229332B (zh) * 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN112437950A (zh) * 2018-05-22 2021-03-02 奇跃公司 用于对虚拟头像制作动画的骨架系统
US20210035326A1 (en) * 2019-08-02 2021-02-04 Tokyo Institute Of Technology Human pose estimation system
CN111126272B (zh) * 2019-12-24 2020-11-10 腾讯科技（深圳）有限公司 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN113822097B (zh) * 2020-06-18 2024-01-26 北京达佳互联信息技术有限公司 单视角人体姿态识别方法、装置、电子设备和存储介质
JP7498404B2 (ja) * 2020-07-20 2024-06-12 日本電信電話株式会社 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN112101242A (zh) * 2020-09-17 2020-12-18 四川轻化工大学 一种基于姿势序列状态链的肢体动作识别方法
CN112562068B (zh) * 2020-12-24 2023-07-14 北京百度网讯科技有限公司 人体姿态生成方法、装置、电子设备及存储介质
CN115601505B (zh) * 2022-11-07 2023-03-14 广州趣丸网络科技有限公司 一种人体三维姿态还原方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108253954A (zh) * 2016-12-27 2018-07-06 大连理工大学 一种人体姿态捕捉系统
CN108509897A (zh) * 2018-03-29 2018-09-07 同济大学 一种人体姿态识别方法和系统
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法
CN110660017A (zh) * 2019-09-02 2020-01-07 北京航空航天大学 一种基于三维姿态识别的舞谱记录与演示方法
CN111862299A (zh) * 2020-06-15 2020-10-30 上海非夕机器人科技有限公司 人体三维模型构建方法、装置、机器人和存储介质
WO2022116829A1 (zh) * 2020-12-01 2022-06-09 深圳市优必选科技股份有限公司 人体行为识别方法、装置、计算机设备及可读存储介质
WO2022178951A1 (zh) * 2021-02-26 2022-09-01 平安科技（深圳）有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN113706507A (zh) * 2021-08-27 2021-11-26 西安交通大学 基于人体姿态检测的实时跳绳计数方法、装置和设备
CN114374540A (zh) * 2021-12-15 2022-04-19 广州趣丸网络科技有限公司 一种网络交互的控制方法及装置
CN115147573A (zh) * 2022-06-01 2022-10-04 深圳市中视典数字科技有限公司 三维姿态估计方法及系统、计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Human Body Pose Estimation and Applications;Amrutha K et al.;《2021 Innovations in Power and Advanced Computing Technologies》;第1-6页 *
基于BGRU-FUS-NN神经网络的姿态情感计算方法研究;付心仪等;《计算机辅助设计与图形学学报》(第07期);第1070-1079页 *

Also Published As

Publication number Publication date
WO2024098688A1 (zh) 2024-05-16
CN115601505A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN111460875B (zh) 图像处理方法及装置、图像设备及存储介质
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
Goncalves et al. Monocular tracking of the human arm in 3D
Wachter et al. Tracking persons in monocular image sequences
CN111402290A (zh) 一种基于骨骼关键点的动作还原方法以及装置
CN115601505B (zh) 一种人体三维姿态还原方法、装置、电子设备及存储介质
CN100361070C (zh) 一种基于光学的运动捕获数据的骨骼运动提取方法
KR102622981B1 (ko) 딥러닝 기술을 이용한 모션 추적 시스템
CN112083800A (zh) 基于自适应手指关节规则滤波的手势识别方法及系统
CN111433783B (zh) 手部模型生成方法、装置、终端设备及手部动作捕捉方法
CN109064487A (zh) 一种基于Kinect骨骼节点位置追踪的人体姿势比较方法
CN113362431A (zh) 数据的迁移方法及装置、电子设备、可读存储介质
CN115761787A (zh) 一种融合约束的手部姿态测量方法
Allen et al. Hand-eye coordination for robotic tracking and grasping
CN112149531B (zh) 一种行为识别中人体骨骼数据的建模方法
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
EP3862850B1 (en) Method for locating a center of rotation of an articulated joint
CN115205737B (zh) 基于Transformer模型的运动实时计数方法和系统
CN117372657A (zh) 关键点旋转模型的训练方法及装置、电子设备和存储介质
CN113240044B (zh) 一种基于多Kinect的人体骨骼数据融合评价方法
CN114494341B (zh) 一种融合时空约束的光学动作捕捉标记点实时补全方法
KR102376973B1 (ko) 접선 속도 벡터를 이용한 휴먼 모션 구현의 오차 제거 방법
CN114756130A (zh) 一种手部虚实交互系统
CN111435535B (zh) 一种关节点信息的获取方法及装置
CN113379903A (zh) 数据的迁移方法及装置、电子设备、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant