CN113066169A - 一种基于骨骼长度约束的人体三维姿态重建方法及系统 - Google Patents

一种基于骨骼长度约束的人体三维姿态重建方法及系统 Download PDF

Info

Publication number
CN113066169A
CN113066169A CN202110399815.1A CN202110399815A CN113066169A CN 113066169 A CN113066169 A CN 113066169A CN 202110399815 A CN202110399815 A CN 202110399815A CN 113066169 A CN113066169 A CN 113066169A
Authority
CN
China
Prior art keywords
joint
coordinate
human body
dimensional
hip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110399815.1A
Other languages
English (en)
Other versions
CN113066169B (zh
Inventor
陈姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202110399815.1A priority Critical patent/CN113066169B/zh
Publication of CN113066169A publication Critical patent/CN113066169A/zh
Application granted granted Critical
Publication of CN113066169B publication Critical patent/CN113066169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于骨骼长度约束的人体三维姿态重建方法及系统，所述基于骨骼长度约束的人体三维姿态重建方法包括：基于臀关节z坐标的估计模型，根据待识别图像，得到臀关节的z坐标；基于各关节z坐标的估计模型，根据待识别图像，得到各关节的z坐标；根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态，避免了从二维姿态重建三维姿态的多义性问题；根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态，能够精确估计同一骨骼上两关节在深度上的前后次序关系，提高了人体三维姿态重建的精确度。

Description

一种基于骨骼长度约束的人体三维姿态重建方法及系统
技术领域
本发明涉及计算机视觉和视频处理领域，特别是涉及一种基于骨骼长度约束的人体三维姿态重建方法及系统。
背景技术
通过图像分析人体的姿态是计算机视觉研究的重要问题。人体姿态的估计被广泛应用于人机交互、电影特效以及智能监控系统等诸多领域。三维人体姿态估计是指从图像中估计出图像中人体的各个主要关节点的三维坐标，用于表示图像中人体三维姿态的过程。近年来，随着技术的进步，从而不断增加新的应用场景，三维人体姿态估计在人机交互、动作估计、动画和虚拟现实等方面有着广泛的应用价值，成为一个基本而具有挑战性的课题。
由于深度学习的发展以及二维人体姿态的数据容易获取，二维人体姿态估计领域已经得到了很大的进展突破。因此，可以从图像中的人体二维关节坐标中恢复其对应的关节三维空间坐标。而目前基于二维姿态的人体三维姿态重建方法通常采用深度神经网络进行回归，通过样本训练学习二维姿态与三维姿态之间的映射关系来实现。此类方法有一个大的缺陷：从二维姿态恢复其对应的三维姿态属于一对多的关系，存在多义性的问题，导致最终确定的三维姿态不准确、精度低。
基于上述问题，亟需一种新的重建方法以提高人体三维姿态重建的精确度。
发明内容
本发明的目的是提供一种基于骨骼长度约束的人体三维姿态重建方法，可提高人体三维姿态重建的精确度。
为实现上述目的，本发明提供了如下方案：
一种基于骨骼长度约束的人体三维姿态重建方法，所述基于骨骼长度约束的人体三维姿态重建方法包括：
基于臀关节z坐标的估计模型，根据待识别图像，得到臀关节的z坐标；
基于各关节z坐标的估计模型，根据待识别图像，得到各关节的z坐标；
根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态；
根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态。
可选地，所述臀关节z坐标的估计模型的建立方法包括：
获取历史数据集，所述历史数据集包括多对初始图像及历史臀关节的z坐标；
针对每对初始图像及历史臀关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形；
将外包围矩形外的图像设置为白色，得到处理图像；
根据各对处理图像及历史臀关节的z坐标，对Inception-V4神经网络进行训练，得到人体臀关节z坐标的估计模型。
可选地，所述人体各关节z坐标的估计模型的建立方法包括：
获取历史数据集，所述历史数据集包括多对初始图像及历史各关节的z坐标；
针对每对初始图像及历史各关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形；
将外包围矩形外面的图像设置为白色，得到处理图像；
根据各对处理图像及历史各关节的z坐标，对Inception-V4神经网络进行训练，得到人体各关节z坐标的初步估计模型；
根据所述初步估计模型、人体各骨骼的长度、采集初始图像的摄像机的焦距及主点，采用回归网络，得到人体各关节z坐标的估计模型。
可选地，人体包括17个关节，第1关节为臀关节，第2关节为左臀关节，第3关节为左膝关节，第4关节为左踝关节，第5关节为右臀关节，第6关节为右膝关节，第7关节为右踝关节，第8关节为脊椎关节，第9关节为胸腔关节，第10关节为左肩关节，第11关节为左肘关节，第12关节为左腕关节，第13关节为右肩关节，第14关节为右肘关节，第15关节为右腕关节，第16关节为脖关节，第17关节为头关节；所述17个关节按照人体中各关节的分布规律依次连接，形成16条骨骼；
所述根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态，具体包括：
根据待识别图像及采集待识别图像的摄像机，得到各关节的二维坐标；
针对第i条骨骼的起始关节及终端关节，根据采集待识别图像的摄像机的焦距、终端关节的二维坐标以及起始关节的z坐标，得到起始关节及终端关节在z坐标上的差值；
根据所述差值，得到所述终端关节的三维坐标值；
根据所有骨骼的起始关节和终端关节的三维坐标值，得到多个人体姿态。
可选地，所述根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态，具体包括：
根据所述臀关节的z坐标及各关节的z坐标，计算各关节与臀关节的相对z坐标，得到标准相对z坐标；
计算多个人体姿态中各关节与臀关节的相对z坐标，得到目标相对z坐标；
根据所述目标相对z坐标及所述标准相对z坐标，得到最优相对坐标；
根据所述臀关节的z坐标及所述最优相对坐标，得到最终的人体三维姿态。
为实现上述目的，本发明还提供了如下方案：
一种基于骨骼长度约束的人体三维姿态重建系统，所述基于骨骼长度约束的人体三维姿态重建系统包括：
臀关节z坐标确定单元，基于臀关节z坐标的估计模型，根据待识别图像，得到臀关节的z坐标；
各关节z坐标确定单元，基于各关节z坐标的估计模型，根据待识别图像，得到各关节的z坐标；
多人体姿态确定单元，与所述臀关节z坐标确定单元连接，用于根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态；
三维姿态确定单元，分别与所述臀关节z坐标确定单元、所述各关节z坐标确定单元及所述多人体姿态确定单元连接，用于根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态。
可选地，所述臀关节z坐标的估计模型包括：
第一历史数据采集单元，用于获取历史数据集，所述历史数据集包括多对初始图像及历史臀关节的z坐标；
第一二维关节确定单元，与所述第一历史数据采集单元连接，用于针对每对初始图像及历史臀关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
第一图像处理单元，与所述第一二维关节确定单元连接，用于根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形，并将外包围矩形外的图像设置为白色，得到处理图像；
臀关节z坐标估计模型建立单元，分别与所述第一历史数据采集单元及所述第一图像处理单元连接，用于根据各对处理图像及历史臀关节的z坐标，对Inception-V4神经网络进行训练，得到人体臀关节z坐标的估计模型。
可选地，所述人体各关节z坐标的估计模型包括：
第二历史数据采集单元，用于获取历史数据集，所述历史数据集包括多对初始及历史各关节的z坐标；
第二二维关节确定单元，与所述第二历史数据采集单元连接，用于针对每对初始图像及历史各关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
第二图像处理单元，与所述第二二维关节确定单元连接，用于根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形，并将外包围矩形外面的图像设置为白色，得到处理图像；
初步估计模型建立单元，分别与所述第二历史数据采集单元及所述第二图像处理单元连接，用于根据各对处理图像及历史各关节的z坐标，对Inception-V4神经网络进行训练，得到人体各关节z坐标的初步估计模型；
各关节z坐标估计模型建立单元，与所述初步估计模型建立单元连接，用于根据所述初步估计模型、人体各骨骼的长度、采集初始图像的摄像机的焦距及主点，采用回归网络，得到人体各关节z坐标的估计模型。
可选地，人体包括17个关节，第1关节为臀关节，第2关节为左臀关节，第3关节为左膝关节，第4关节为左踝关节，第5关节为右臀关节，第6关节为右膝关节，第7关节为右踝关节，第8关节为脊椎关节，第9关节为胸腔关节，第10关节为左肩关节，第11关节为左肘关节，第12关节为左腕关节，第13关节为右肩关节，第14关节为右肘关节，第15关节为右腕关节，第16关节为脖关节，第17关节为头关节；所述17个关节按照人体中各关节的分布规律依次连接，形成16条骨骼；
所述多人体姿态确定单元包括：
各关节二维坐标获取模块，用于根据待识别图像及采集待识别图像的摄像机，得到各关节的二维坐标；
差值计算模块，与所述各关节二维坐标获取模块连接，用于针对第i条骨骼的起始关节及终端关节，根据采集待识别图像的摄像机的焦距、终端关节的二维坐标以及起始关节的z坐标，得到起始关节及终端关节在z坐标上的差值；
三维坐标计算模块，与所述差值计算模块连接，用于根据所述差值，得到所述终端关节的三维坐标值；
多人体姿态确定模块，与所述三维坐标计算模块连接，用于根据所有骨骼的起始关节和终端关节的三维坐标值，得到多个人体姿态。
可选地，所述三维姿态确定单元包括：
标准相对z坐标计算模块，分别与所述臀关节z坐标确定单元及所述各关节z坐标确定单元连接，用于根据所述臀关节的z坐标及各关节的z坐标，计算各关节与臀关节的相对z坐标，得到标准相对z坐标；
目标相对z坐标计算模块，与所述多人体姿态确定单元连接，用于计算多个人体姿态中各关节与臀关节的相对z坐标，得到目标相对z坐标；
最优相对坐标计算模块，分别与所述标准相对z坐标计算模块及所述目标相对z坐标计算模块连接，用于根据所述目标相对z坐标及所述标准相对z坐标，得到最优相对坐标；
最终三维姿态计算模块，分别与所述臀关节z坐标确定单元及所述最优相对坐标计算模块连接，用于根据所述臀关节的z坐标及所述最优相对坐标，得到最终的人体三维姿态。
根据本发明提供的具体实施例，本发明公开了以下技术效果：通过臀关节z坐标的估计模型及各关节z坐标的估计模型初步得到臀关节的z坐标及各关节的z坐标，使用人体骨骼长度约束方法，得到多个人体姿态，避免了从二维姿态重建三维姿态的多义性问题，最后结合臀关节的z坐标、各关节的z坐标以及多个人体姿态，确定最终的人体三维姿态，能够精确估计同一骨骼上两关节在深度上的前后次序关系，提高了人体三维姿态重建的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于骨骼长度约束的人体三维姿态重建方法的流程图；
图2为臀关节z坐标估计模型建立的流程图；
图3为各关节z坐标估计模型建立的流程图；
图4为获取多个人体姿态的流程图；
图5为建立最终人体三维姿态的流程图；
图6为确定臀关节的z坐标的步骤示意图；
图7为人体三维姿态重建的详细步骤示意图；
图8为回归网络的结构示意图；
图9为人体骨骼拓扑结构关系图；
图10为本发明基于骨骼长度约束的人体三维姿态重建系统的整体结构示意图；
图11为基于骨骼长度约束的人体三维姿态重建系统的内部结构示意图。
符号说明：
臀关节z坐标确定单元-1，第一历史数据采集单元-11，第一二维关节确定单元-12，第一图像处理单元-13，臀关节z坐标估计模型建立单元-14，各关节z坐标确定单元-2，第二历史数据采集单元-21，第二二维关节确定单元-22，第二图像处理单元-23，初步估计模型建立单元-24，各关节z坐标估计模型建立单元-25，多人体姿态确定单元-3，各关节二维坐标获取模块-31，差值计算模块-32，三维坐标计算模块-33，多人体姿态确定模块-34，三维姿态确定单元-4，标准相对z坐标计算模块-41，目标相对z坐标计算模块-42，最优相对坐标计算模块-43，最终三维姿态计算模块-44。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于骨骼长度约束的人体三维姿态重建方法及系统，通过臀关节z坐标的估计模型及各关节z坐标的估计模型初步得到臀关节的z坐标及各关节的z坐标，使用人体骨骼长度约束方法，得到多个人体姿态，避免了从二维姿态重建三维姿态的多义性问题，最后结合臀关节的z坐标、各关节的z坐标以及多个人体姿态，确定最终的人体三维姿态，能够精确估计同一骨骼上两关节在深度上的前后次序关系，提高了人体三维姿态重建的精确度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和图7所示，本发明基于骨骼长度约束的人体三维姿态重建方法包括：
S1：基于臀关节z坐标的估计模型，根据待识别图像，得到臀关节的z坐标；
S2：基于各关节z坐标的估计模型，根据待识别图像，得到各关节的z坐标；
S3：根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态；
S4：根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态。
具体地，如图2所示，所述臀关节z坐标的估计模型的建立方法包括：
S101：获取历史数据集，所述历史数据集包括多对初始图像及历史臀关节的z坐标；所述初始图像为采集的多个历史图像数据；
S102：针对每对初始图像及历史臀关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
S103：根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形；
S104：将外包围矩形外的图像设置为白色，得到处理图像；对初始图像进行背景处理，能够消除背景对模型的影响。
S105：根据各对处理图像及历史臀关节的z坐标，对Inception-V4神经网络进行训练，得到人体臀关节z坐标的估计模型。
臀关节z坐标的估计模型训练时的损失函数为Inception-V4神经网络输出的臀关节的z坐标预测值与真实值的损失。
为了提高检测精度，在完成训练后，根据损失函数对所述人体臀关节z坐标的估计模型进行迭代训练，直至得到使损失函数的函数值最小时对应的人体臀关节z坐标的估计模型。
此外，在实际每次使用人体臀关节z坐标的估计模型得到真实图像对应的臀关节z坐标后，还可以将真实图像及其对应的臀关节z坐标作为训练集，对人体臀关节z坐标的估计模型进一步训练，使人体臀关节z坐标进一步得到优化。
进一步地，如图3所示，所述人体各关节z坐标的估计模型的建立方法包括：
S201：获取历史数据集，所述历史数据集包括多对初始图像及历史各关节的z坐标；
S202：针对每对初始图像及历史各关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
S203：根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形；
S204：将外包围矩形外面的图像设置为白色，得到处理图像；对初始图像进行背景处理，能够消除背景对模型的影响。
S205：根据各对处理图像及历史各关节的z坐标，对Inception-V4神经网络进行训练，得到人体各关节z坐标的初步估计模型；
S206：根据所述初步估计模型、人体各骨骼的长度、采集初始图像的摄像机的焦距及主点，采用回归网络，得到人体各关节z坐标的估计模型。
如图8所示，所述回归网络包括多个全连接层；各关节z坐标的估计模型训练时的损失函数为Inception-V4神经网络的输出与真实值的损失，以及回归网络的输出与真实值损失之和。
为了提高检测精度，在完成训练后，根据损失函数对所述人体各关节z坐标的估计模型进行迭代训练，直至得到使损失函数的函数值最小时对应的人体各关节z坐标的估计模型。
此外，在实际每次使用人体各关节z坐标的估计模型得到真实图像对应的各关节z坐标后，还可以将真实图像及其对应的各关节z坐标作为训练集，对人体各关节z坐标的估计模型进一步训练，使其进一步优化。
优选地，人体包括17个关节，第1关节为臀关节，第2关节为左臀关节，第3关节为左膝关节，第4关节为左踝关节，第5关节为右臀关节，第6关节为右膝关节，第7关节为右踝关节，第8关节为脊椎关节，第9关节为胸腔关节，第10关节为左肩关节，第11关节为左肘关节，第12关节为左腕关节，第13关节为右肩关节，第14关节为右肘关节，第15关节为右腕关节，第16关节为脖关节，第17关节为头关节；所述17个关节按照人体中各关节的分布规律依次连接，形成16条骨骼；
如图4所示，所述根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态，具体包括：
S301：根据待识别图像及采集待识别图像的摄像机，得到各关节的二维坐标。采集初始图像的摄像机与采集待识别图像的摄像机可以为相同的设备也可为不同设备。
S302：针对第i条骨骼的起始关节及终端关节，根据采集待识别图像的摄像机的焦距、终端关节的二维坐标以及起始关节的z坐标，得到起始关节及终端关节在z坐标上的差值。
S303：根据所述差值，得到所述终端关节的三维坐标值。
S304：根据所有骨骼的起始关节和终端关节的三维坐标值，得到多个人体姿态。
下面具体举例说明在已知骨骼起始关节的z坐标下如何计算其终端关节的三维坐标：
第i个关节的二维坐标为(ui,vi)，摄像机的焦距及主点分别为(fx,fy)及(cx,cy)，各骨骼的长度为[b2,b3,…,b17]；
人体某个骨骼相连的两个关节为J1及J2，其中J1为起始关节，J2为终端关节，L1为骨骼长度，并且已知J1的三维关节估计值为(x1,y1,z1)。如果设J1及J2的图像二维坐标值分别为(u1,v1)及(u2,v2)，根据骨骼长度约束，有如下方程：
Figure BDA0003019720220000101
其中Δz为J1及J2在z坐标上的差值。解上式可得Δz，但公式(1)为一元二次方程，故可能会有两个解；
计算出Δz后，利用下式计算出J2的三维坐标值。
Figure BDA0003019720220000102
那么如果已知臀关节的z坐标，根据图9的拓扑结构关系可以依次求出其它关节的三维坐标，具体如下：图6输出臀关节的z坐标，根据式(2)得到左臀关节的三维坐标，在已知左臀关节的z坐标下可以求得左膝关节的三维坐标，然后再计算出左踝关节的三维坐标；其它关节依次按照图9的拓扑结构关系根据上述方法求得。由于式(1)有两个取值，则整个人体姿态大约有23·23·22·23·23·22＝65536个可能值，即得到65536个人体姿态。
优选地，如图5所示，所述根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态，具体包括：
S401：根据所述臀关节的z坐标及各关节的z坐标，计算各关节与臀关节的相对z坐标，得到标准相对z坐标。
具体地，根据公式
Figure BDA0003019720220000111
得到各关节与臀关节的相对z坐标；其中，
Figure BDA0003019720220000112
为第i个关节与臀关节的相对z坐标，zi为第i个关节的z坐标，z1为臀关节的z坐标。
S402：计算多个人体姿态中各关节与臀关节的相对z坐标，得到目标相对z坐标。
具体地，根据公式
Figure BDA0003019720220000113
得到目标相对z坐标；其中，
Figure BDA0003019720220000114
为第j个姿态下第i个关节与臀关节的相对z坐标，
Figure BDA0003019720220000115
为第i个关节第j个姿态的z坐标，
Figure BDA0003019720220000116
为臀关节第j个姿态的z坐标。
S403：根据所述目标相对z坐标及所述标准相对z坐标，得到最优相对坐标。
具体地，根据公式
Figure BDA0003019720220000117
zj∈zconfiguration，得到最优相对坐标；其中，
Figure BDA0003019720220000118
为最优相对坐标，zrelative为标准相对z坐标，Zconfiguration为目标相对z坐标。
S404：根据所述臀关节的z坐标及所述最优相对坐标，得到最终的人体三维姿态。
具体地，根据公式
Figure BDA0003019720220000119
得到人体三维姿态；其中，z*为人体三维姿态，z1为臀关节的z坐标，
Figure BDA00030197202200001110
为最优相对坐标。
本发明提出了一种其它关节与臀关节之间相对坐标的估计方法，能够精确估计同一骨骼上两关节在深度上的前后次序关系。
此外，本发明还提供一种基于骨骼长度约束的人体三维姿态重建系统，可提高人体三维姿态重建的精确度。
如图10所示，本发明基于骨骼长度约束的人体三维姿态重建系统包括：臀关节z坐标确定单元1、各关节z坐标确定单元2、多人体姿态确定单元3及三维姿态确定单元4。
具体地，所述臀关节z坐标确定单元1基于臀关节z坐标的估计模型，根据待识别图像，得到臀关节的z坐标；
所述各关节z坐标确定单元2基于各关节z坐标的估计模型，根据待识别图像，得到各关节的z坐标；
所述多人体姿态确定单元3与所述臀关节z坐标确定单元1连接，所述多人体姿态确定单元3用于根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态；
所述三维姿态确定单元4分别与所述臀关节z坐标确定单元1、所述各关节z坐标确定单元2及所述多人体姿态确定单元3连接，所述三维姿态确定单元4用于根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态。
进一步地，如图11所示，所述臀关节z坐标的估计模型包括：第一历史数据采集单元11、第一二维关节确定单元12、第一图像处理单元13以及臀关节z坐标估计模型建立单元14。
其中，所述第一历史数据采集单元11用于获取历史数据集，所述历史数据集包括多对初始图像及历史臀关节的z坐标；
所述第一二维关节确定单元12与所述第一历史数据采集单元11连接，所述第一二维关节确定单元12用于针对每对初始图像及历史臀关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
所述第一图像处理单元13与所述第一二维关节确定单元12连接，所述第一图像处理单元13用于根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形，并将外包围矩形外的图像设置为白色，得到处理图像；
所述臀关节z坐标估计模型建立单元14分别与所述第一历史数据采集单元11及所述第一图像处理单元13连接，所述臀关节z坐标估计模型建立单元14用于根据各对处理图像及历史臀关节的z坐标，对Inception-V4神经网络进行训练，得到人体臀关节z坐标的估计模型。
更进一步地，所述人体各关节z坐标的估计模型包括：第二历史数据采集单元21、第二二维关节确定单元22、第二图像处理单元23、初步估计模型建立单元24以及各关节z坐标估计模型建立单元25。
其中，所述第二历史数据采集单元21用于获取历史数据集，所述历史数据集包括多对初始及历史各关节的z坐标；
所述第二二维关节确定单元22与所述第二历史数据采集单元21连接，所述第二二维关节确定单元22用于针对每对初始图像及历史各关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
所述第二图像处理单元23与所述第二二维关节确定单元22连接，所述第二图像处理单元23用于根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形，并将外包围矩形外面的图像设置为白色，得到处理图像；
所述初步估计模型建立单元24分别与所述第二历史数据采集单元21及所述第二图像处理单元23连接，所述初步估计模型建立单元24用于根据各对处理图像及历史各关节的z坐标，对Inception-V4神经网络进行训练，得到人体各关节z坐标的初步估计模型；
所述各关节z坐标估计模型建立单元25与所述初步估计模型建立单元24连接，所述各关节z坐标估计模型建立单元25用于根据所述初步估计模型、人体各骨骼的长度、采集初始图像的摄像机的焦距及主点，采用回归网络，得到人体各关节z坐标的估计模型。
优选地，人体包括17个关节，第1关节为臀关节，第2关节为左臀关节，第3关节为左膝关节，第4关节为左踝关节，第5关节为右臀关节，第6关节为右膝关节，第7关节为右踝关节，第8关节为脊椎关节，第9关节为胸腔关节，第10关节为左肩关节，第11关节为左肘关节，第12关节为左腕关节，第13关节为右肩关节，第14关节为右肘关节，第15关节为右腕关节，第16关节为脖关节，第17关节为头关节；所述17个关节按照人体中各关节的分布规律依次连接，形成16条骨骼；
所述多人体姿态确定单元3包括：各关节二维坐标获取模块31、差值计算模块32、三维坐标计算模块33以及多人体姿态确定模块34。
其中，所述各关节二维坐标获取模块31用于根据待识别图像及采集待识别图像的摄像机，得到各关节的二维坐标；
所述差值计算模块32与所述各关节二维坐标获取模块31连接，所述差值计算模块32用于针对第i条骨骼的起始关节及终端关节，根据采集待识别图像的摄像机的焦距、终端关节的二维坐标以及起始关节的z坐标，得到起始关节及终端关节在z坐标上的差值；
所述三维坐标计算模块33与所述差值计算模块32连接，所述三维坐标计算模块33用于根据所述差值，得到所述终端关节的三维坐标值；
所述多人体姿态确定模块34与所述三维坐标计算模块33连接，所述多人体姿态确定模块34用于根据所有骨骼的起始关节和终端关节的三维坐标值，得到多个人体姿态。
优选地，所述三维姿态确定单元4包括：标准相对z坐标计算模块41、目标相对z坐标计算模块42、最优相对坐标计算模块43以及最终三维姿态计算模块44。
具体地，所述标准相对z坐标计算模块41分别与所述臀关节z坐标确定单元1及所述各关节z坐标确定单元2连接，所述标准相对z坐标计算模块41用于根据所述臀关节的z坐标及各关节的z坐标，计算各关节与臀关节的相对z坐标，得到标准相对z坐标；
所述目标相对z坐标计算模块42与所述多人体姿态确定单元3连接，所述目标相对z坐标计算模块42用于计算多个人体姿态中各关节与臀关节的相对z坐标，得到目标相对z坐标；
所述最优相对坐标计算模块43分别与所述标准相对z坐标计算模块41及所述目标相对z坐标计算模块42连接，所述最优相对坐标计算模块43用于根据所述目标相对z坐标及所述标准相对z坐标，得到最优相对坐标；
所述最终三维姿态计算模块44分别与所述臀关节z坐标确定单元1及所述最优相对坐标计算模块43连接，所述最终三维姿态计算模块44用于根据所述臀关节的z坐标及所述最优相对坐标，得到最终的人体三维姿态。
相对于现有技术，本发明基于骨骼长度约束的人体三维姿态重建系统与上述基于骨骼长度约束的人体三维姿态重建方法的有益效果相同，在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于骨骼长度约束的人体三维姿态重建方法，其特征在于，所述基于骨骼长度约束的人体三维姿态重建方法包括：
基于臀关节z坐标的估计模型，根据待识别图像，得到臀关节的z坐标；
基于各关节z坐标的估计模型，根据待识别图像，得到各关节的z坐标；
根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态；
根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态。
2.根据权利要求1所述的基于骨骼长度约束的人体三维姿态重建方法，其特征在于，所述臀关节z坐标的估计模型的建立方法包括：
获取历史数据集，所述历史数据集包括多对初始图像及历史臀关节的z坐标；
针对每对初始图像及历史臀关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形；
将外包围矩形外的图像设置为白色，得到处理图像；
根据各对处理图像及历史臀关节的z坐标，对Inception-V4神经网络进行训练，得到人体臀关节z坐标的估计模型。
3.根据权利要求1所述的基于骨骼长度约束的人体三维姿态重建方法，其特征在于，所述人体各关节z坐标的估计模型的建立方法包括：
获取历史数据集，所述历史数据集包括多对初始图像及历史各关节的z坐标；
针对每对初始图像及历史各关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形；
将外包围矩形外面的图像设置为白色，得到处理图像；
根据各对处理图像及历史各关节的z坐标，对Inception-V4神经网络进行训练，得到人体各关节z坐标的初步估计模型；
根据所述初步估计模型、人体各骨骼的长度、采集初始图像的摄像机的焦距及主点，采用回归网络，得到人体各关节z坐标的估计模型。
4.根据权利要求1所述的基于骨骼长度约束的人体三维姿态重建方法，其特征在于，人体包括17个关节，第1关节为臀关节，第2关节为左臀关节，第3关节为左膝关节，第4关节为左踝关节，第5关节为右臀关节，第6关节为右膝关节，第7关节为右踝关节，第8关节为脊椎关节，第9关节为胸腔关节，第10关节为左肩关节，第11关节为左肘关节，第12关节为左腕关节，第13关节为右肩关节，第14关节为右肘关节，第15关节为右腕关节，第16关节为脖关节，第17关节为头关节；所述17个关节按照人体中各关节的分布规律依次连接，形成16条骨骼；
所述根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态，具体包括：
根据待识别图像及采集待识别图像的摄像机，得到各关节的二维坐标；
针对第i条骨骼的起始关节及终端关节，根据采集待识别图像的摄像机的焦距、终端关节的二维坐标以及起始关节的z坐标，得到起始关节及终端关节在z坐标上的差值；
根据所述差值，得到所述终端关节的三维坐标值；
根据所有骨骼的起始关节和终端关节的三维坐标值，得到多个人体姿态。
5.根据权利要求1所述的基于骨骼长度约束的人体三维姿态重建方法，其特征在于，所述根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态，具体包括：
根据所述臀关节的z坐标及各关节的z坐标，计算各关节与臀关节的相对z坐标，得到标准相对z坐标；
计算多个人体姿态中各关节与臀关节的相对z坐标，得到目标相对z坐标；
根据所述目标相对z坐标及所述标准相对z坐标，得到最优相对坐标；
根据所述臀关节的z坐标及所述最优相对坐标，得到最终的人体三维姿态。
6.一种基于骨骼长度约束的人体三维姿态重建系统，其特征在于，所述基于骨骼长度约束的人体三维姿态重建系统包括：
臀关节z坐标确定单元，基于臀关节z坐标的估计模型，根据待识别图像，得到臀关节的z坐标；
各关节z坐标确定单元，基于各关节z坐标的估计模型，根据待识别图像，得到各关节的z坐标；
多人体姿态确定单元，与所述臀关节z坐标确定单元连接，用于根据所述臀关节的z坐标，采用骨骼长度约束方法，得到多个人体姿态；
三维姿态确定单元，分别与所述臀关节z坐标确定单元、所述各关节z坐标确定单元及所述多人体姿态确定单元连接，用于根据所述臀关节的z坐标、所述各关节的z坐标以及所述多个人体姿态，确定最终的人体三维姿态。
7.根据权利要求6所述的基于骨骼长度约束的人体三维姿态重建系统，其特征在于，所述臀关节z坐标的估计模型包括：
第一历史数据采集单元，用于获取历史数据集，所述历史数据集包括多对初始图像及历史臀关节的z坐标；
第一二维关节确定单元，与所述第一历史数据采集单元连接，用于针对每对初始图像及历史臀关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
第一图像处理单元，与所述第一二维关节确定单元连接，用于根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形，并将外包围矩形外的图像设置为白色，得到处理图像；
臀关节z坐标估计模型建立单元，分别与所述第一历史数据采集单元及所述第一图像处理单元连接，用于根据各对处理图像及历史臀关节的z坐标，对Inception-V4神经网络进行训练，得到人体臀关节z坐标的估计模型。
8.根据权利要求6所述的基于骨骼长度约束的人体三维姿态重建系统，其特征在于，所述人体各关节z坐标的估计模型包括：
第二历史数据采集单元，用于获取历史数据集，所述历史数据集包括多对初始及历史各关节的z坐标；
第二二维关节确定单元，与所述第二历史数据采集单元连接，用于针对每对初始图像及历史各关节的z坐标，根据所述初始图像，确定人体二维关节坐标；
第二图像处理单元，与所述第二二维关节确定单元连接，用于根据所述二维关节坐标确定人体在所述初始图像中的外包围矩形，并将外包围矩形外面的图像设置为白色，得到处理图像；
初步估计模型建立单元，分别与所述第二历史数据采集单元及所述第二图像处理单元连接，用于根据各对处理图像及历史各关节的z坐标，对Inception-V4神经网络进行训练，得到人体各关节z坐标的初步估计模型；
各关节z坐标估计模型建立单元，与所述初步估计模型建立单元连接，用于根据所述初步估计模型、人体各骨骼的长度、采集初始图像的摄像机的焦距及主点，采用回归网络，得到人体各关节z坐标的估计模型。
9.根据权利要求6所述的基于骨骼长度约束的人体三维姿态重建系统，其特征在于，人体包括17个关节，第1关节为臀关节，第2关节为左臀关节，第3关节为左膝关节，第4关节为左踝关节，第5关节为右臀关节，第6关节为右膝关节，第7关节为右踝关节，第8关节为脊椎关节，第9关节为胸腔关节，第10关节为左肩关节，第11关节为左肘关节，第12关节为左腕关节，第13关节为右肩关节，第14关节为右肘关节，第15关节为右腕关节，第16关节为脖关节，第17关节为头关节；所述17个关节按照人体中各关节的分布规律依次连接，形成16条骨骼；
所述多人体姿态确定单元包括：
各关节二维坐标获取模块，用于根据待识别图像及采集待识别图像的摄像机，得到各关节的二维坐标；
差值计算模块，与所述各关节二维坐标获取模块连接，用于针对第i条骨骼的起始关节及终端关节，根据采集待识别图像的摄像机的焦距、终端关节的二维坐标以及起始关节的z坐标，得到起始关节及终端关节在z坐标上的差值；
三维坐标计算模块，与所述差值计算模块连接，用于根据所述差值，得到所述终端关节的三维坐标值；
多人体姿态确定模块，与所述三维坐标计算模块连接，用于根据所有骨骼的起始关节和终端关节的三维坐标值，得到多个人体姿态。
10.根据权利要求6所述的基于骨骼长度约束的人体三维姿态重建系统，其特征在于，所述三维姿态确定单元包括：
标准相对z坐标计算模块，分别与所述臀关节z坐标确定单元及所述各关节z坐标确定单元连接，用于根据所述臀关节的z坐标及各关节的z坐标，计算各关节与臀关节的相对z坐标，得到标准相对z坐标；
目标相对z坐标计算模块，与所述多人体姿态确定单元连接，用于计算多个人体姿态中各关节与臀关节的相对z坐标，得到目标相对z坐标；
最优相对坐标计算模块，分别与所述标准相对z坐标计算模块及所述目标相对z坐标计算模块连接，用于根据所述目标相对z坐标及所述标准相对z坐标，得到最优相对坐标；
最终三维姿态计算模块，分别与所述臀关节z坐标确定单元及所述最优相对坐标计算模块连接，用于根据所述臀关节的z坐标及所述最优相对坐标，得到最终的人体三维姿态。
CN202110399815.1A 2021-04-14 2021-04-14 一种基于骨骼长度约束的人体三维姿态重建方法及系统 Active CN113066169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399815.1A CN113066169B (zh) 2021-04-14 2021-04-14 一种基于骨骼长度约束的人体三维姿态重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399815.1A CN113066169B (zh) 2021-04-14 2021-04-14 一种基于骨骼长度约束的人体三维姿态重建方法及系统

Publications (2)

Publication Number Publication Date
CN113066169A true CN113066169A (zh) 2021-07-02
CN113066169B CN113066169B (zh) 2022-06-07

Family

ID=76566666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399815.1A Active CN113066169B (zh) 2021-04-14 2021-04-14 一种基于骨骼长度约束的人体三维姿态重建方法及系统

Country Status (1)

Country Link
CN (1) CN113066169B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279979A (zh) * 2010-06-12 2011-12-14 陈姝 利用骨骼约束计算透视投影成像模型中比例因子的方法
CN109377513A (zh) * 2018-09-20 2019-02-22 浙江大学 一种针对两视图的全局三维人体姿态可信估计方法
US20190278983A1 (en) * 2018-03-12 2019-09-12 Nvidia Corporation Three-dimensional (3d) pose estimation from a monocular camera
CN110555408A (zh) * 2019-09-03 2019-12-10 深圳龙岗智能视听研究院 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法
US20200342270A1 (en) * 2019-04-26 2020-10-29 Tata Consultancy Services Limited Weakly supervised learning of 3d human poses from 2d poses
CN111914618A (zh) * 2020-06-10 2020-11-10 华南理工大学 基于对抗式相对深度约束网络的三维人体姿态估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279979A (zh) * 2010-06-12 2011-12-14 陈姝 利用骨骼约束计算透视投影成像模型中比例因子的方法
US20190278983A1 (en) * 2018-03-12 2019-09-12 Nvidia Corporation Three-dimensional (3d) pose estimation from a monocular camera
CN109377513A (zh) * 2018-09-20 2019-02-22 浙江大学 一种针对两视图的全局三维人体姿态可信估计方法
US20200342270A1 (en) * 2019-04-26 2020-10-29 Tata Consultancy Services Limited Weakly supervised learning of 3d human poses from 2d poses
CN110555408A (zh) * 2019-09-03 2019-12-10 深圳龙岗智能视听研究院 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法
CN111914618A (zh) * 2020-06-10 2020-11-10 华南理工大学 基于对抗式相对深度约束网络的三维人体姿态估计方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
任海兵等: "人体上肢姿态的估计及多解分析", 《软件学报》 *
任海兵等: "人体上肢姿态的估计及多解分析", 《软件学报》, no. 11, 23 November 2002 (2002-11-23), pages 2127 - 2133 *
刘阳温: "AODPose：基于弱监督对抗式相对深度约束的三维人体姿态估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
刘阳温: "AODPose：基于弱监督对抗式相对深度约束的三维人体姿态估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, 15 February 2021 (2021-02-15), pages 138 - 2068 *
岑仕杰等: "结合注意力与无监督深度学习的单目深度估计", 《广东工业大学学报》 *
岑仕杰等: "结合注意力与无监督深度学习的单目深度估计", 《广东工业大学学报》, no. 04, 14 July 2020 (2020-07-14), pages 35 - 41 *
邹北骥等: "适用于单目视频的无标记三维人体运动跟踪", 《计算机辅助设计与图形学学报》 *
邹北骥等: "适用于单目视频的无标记三维人体运动跟踪", 《计算机辅助设计与图形学学报》, vol. 20, no. 8, 31 August 2008 (2008-08-31), pages 1047 - 1055 *
陈姝等: "结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法", 《计算机辅助设计与图形学学报》 *
陈姝等: "结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法", 《计算机辅助设计与图形学学报》, no. 11, 15 November 2012 (2012-11-15), pages 1455 - 1463 *

Also Published As

Publication number Publication date
CN113066169B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110480634B (zh) 一种针对机械臂运动控制的手臂引导运动控制方法
US11270461B2 (en) System and method for posture sequence on video from mobile terminals
CN112069933A (zh) 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN110458944B (zh) 一种基于双视角Kinect关节点融合的人体骨架重建方法
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN111062326B (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN110598590A (zh) 基于多视角相机的紧密交互人体姿态估计方法及装置
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN110633005A (zh) 一种光学式无标记的三维人体动作捕捉方法
CN108628306B (zh) 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN114529605A (zh) 一种基于多视图融合的人体三维姿态估计方法
CN111797692A (zh) 一种基于半监督学习的深度图像手势估计方法
CN111489392B (zh) 多人环境下单个目标人体运动姿态捕捉方法及系统
CN102156994B (zh) 一种单视角无标记人体运动跟踪的关节定位方法
CN112131928A (zh) 一种rgb-d图像特征融合的人体姿态实时估计方法
Ning et al. Spatial position estimation method for 3d ultrasound reconstruction based on hybrid transfomers
CN113066169B (zh) 一种基于骨骼长度约束的人体三维姿态重建方法及系统
CN111429499B (zh) 一种基于单个深度相机的手部骨架高精度三维重建方法
CN112329723A (zh) 一种基于双目相机的多人人体3d骨骼关键点定位方法
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
CN115205737B (zh) 基于Transformer模型的运动实时计数方法和系统
CN111241936A (zh) 一种基于深度和彩色图像特征融合的人体姿态估计方法
CN117152829A (zh) 一种多视图自适应骨架网络的工业装箱动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant