CN111062326A - 一种基于几何驱动的自监督人体3d姿态估计网络训练方法 - Google Patents

一种基于几何驱动的自监督人体3d姿态估计网络训练方法 Download PDF

Info

Publication number
CN111062326A
CN111062326A CN201911301729.1A CN201911301729A CN111062326A CN 111062326 A CN111062326 A CN 111062326A CN 201911301729 A CN201911301729 A CN 201911301729A CN 111062326 A CN111062326 A CN 111062326A
Authority
CN
China
Prior art keywords
human body
network
estimation network
joint point
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911301729.1A
Other languages
English (en)
Other versions
CN111062326B (zh
Inventor
李侃
李杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Publication of CN111062326A publication Critical patent/CN111062326A/zh
Application granted granted Critical
Publication of CN111062326B publication Critical patent/CN111062326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于几何驱动的自监督人体3D姿态估计网络训练方法，属于人工智能计算机视觉领域，能够有效解决当前基于深度学习的人体3D姿态网络训练需要大量的人体3D关节点标注数据的技术问题。本发明方法，不依赖人体3D关节点标注数据，完全依靠几何先验知识，可以避免繁琐的人体3D关节点的标注过程，所提出的变换重投影损失可以探索多视角一致性以训练人体3D姿态估计网络，可以在训练过程中获得更加准确的人体3D姿态预测结果，所提出的根节点位置估计网络在3D姿态估计网络训练过程中保留重投影的2D姿态的尺度信息，可以在训练过程中获得更加准确的人体3D姿态预测结果，所提出的网络预训练方法可以帮助网络训练有效地收敛。

Description

一种基于几何驱动的自监督人体3D姿态估计网络训练方法
技术领域
本发明涉及一种人体3D姿态估计网络训练方法，特别涉及一种基于几何驱动的自监督人体3D姿态估计网络训练方法，属于人工智能计算机视觉领域。
背景技术
人体3D姿态估计，是计算机视觉领域一个长期被研究的问题。近年来，随着深度学习在计算机视觉领域取得巨大的成功，人体3D姿态估计也逐渐被形式化为基于学习的框架。
基于深度学习的人体3D姿态估计方法，通常可以被分为两类：第一类方法，使用端到端的卷积神经网络，直接从输入图像中预测人体的3D关节点位置。第二类方法，采用两阶段的框架，首先使用现有的人体2D关节点检测器获得图片中人体关节点的位置，然后通过2D-3D姿态提升网络得到人体的3D姿态。为了学习到2D和3D关节点位置之间的映射关系，各种2D-3D姿态提升网络被提出。此外，还有一些工作挖掘视频的时间/运动信息以产生更加平滑的预测结果。
由于人体3D关节点的标注是一项劳动密集且成本昂贵的工作，弱/自监督方法最近受到了广泛关注。一些研究人员探索相机几何先验知识来构监督信号，重投影损失是其中使用最广泛的技术。然而，由于深度模糊问题的存在，仅使用重投影损失不能准确地约束关节点的深度。为了解决此问题，一些研究人员，通过在网络训练中使用人体3D骨架的骨骼长度约束或者对抗损失来解决此问题。然而，骨骼长度约束和对抗损失仍然需要一些额外的没有2D和3D关节点对应关系的人体3D关节点标注。
发明内容
本发明的目的是为了克服现有技术的缺陷，解决目前基于深度学习的人体3D姿态网络训练，需要大量的人体3D关节点标注数据的问题，提出一种几何驱动的自监督人体3D姿态估计网络训练方法。
本发明的目的是通过下述技术方案实现的。
一种基于几何驱动的自监督人体3D姿态估计网络训练方法，包括下述步骤：
步骤1：采集人体姿态训练数据，构造训练数据集。
利用多个相机进行标定，记录相机的内参和外参。对于场景中的同一个人，收集多个视角下相机拍摄的照片，构造训练数据集。
步骤2：对训练数据集中的人体2D关节点进行检测。
在训练数据集中，从同一时刻多个视角拍摄的图片中，任意选取两张。使用层级金字塔网络，对两张图片中的人体2D关节点位置进行检测。定义X1,
Figure BDA0002321961490000021
分别为两张图片中人体的N个的关节点位置的2D坐标。
步骤3：设计一个人体3D姿态估计网络，将人体2D关节点位置X1,X2投射到3D空间中，估计人体的相对3D姿态。
具体实现如下：
步骤3.1：设计一个3D姿态估计网络
Figure BDA0002321961490000022
该网络包含四个残差模块，每个模块均由2个全连接层(1024个通道)及其对应的批归一化层、整流线性单位层和池化层组成。最后，3D姿态估计网络
Figure BDA0002321961490000023
连接了一个N×3通道的全连接层输出N个关节点的3D位置坐标。
步骤3.2：将步骤2中得到的人体2D关节点位置X1,X2输入到3D姿态估计网络
Figure BDA0002321961490000024
中，得到网络输出为
Figure BDA0002321961490000025
分别为Y1,Y2两张图片中人体N个关节点位置所对应的3D坐标。此处，网络
Figure BDA0002321961490000026
输出的3D坐标，是以根关节点(骨盆)为坐标原点的相对位置坐标。
步骤4：设立一个根节点位置估计网络，估计出根关节点在对应相机坐标下的3D位置坐标，来还原人体关节点的3D绝对位置坐标。
步骤4.1：设计一个根节点位置估计网络
Figure BDA0002321961490000027
该网络包含四个残差模块，每个模块均由2个全连接层(1024个通道)及其对应的批归一化层、整流线性单位层和池化层组成。最后，网络
Figure BDA0002321961490000028
连接了一个N通道的全连接层输根关节点在对应相机坐标下的3D位置坐标。
步骤4.2：将步骤2中得到的人体2D关节点位置，输入到根位置估计网络
Figure BDA0002321961490000029
中，得到网络输出为
Figure BDA00023219614900000210
表示根关节点在两张图片对应视角v1,v2的相机坐标下的3D位置坐标。
步骤4.3：将rv1和rv2分别加到Y1,Y2上，还原出对应的人体3D关节点的绝对位置坐标
Figure BDA00023219614900000211
和
Figure BDA00023219614900000212
步骤5：根据透视投影，将步骤4得到的人体3D关节点的绝对位置重投影到2D空间。
按照如下公式计算：
Figure BDA0002321961490000031
Figure BDA0002321961490000032
其中，ρ表示透视投影，fx和fy为相机焦距，cx和cx定义了主要点，
Figure BDA0002321961490000033
Figure BDA0002321961490000034
分别表示
Figure BDA0002321961490000035
的第ith个关节点位置的x,y,z坐标值。
步骤6：相机坐标转换。
通过刚体变换公式τ，将人体3D关节点的绝对位置，从当前视角转换到另外一张图片对应的视角：
Figure BDA0002321961490000036
Figure BDA0002321961490000037
其中，τ表示刚体变换，
Figure BDA00023219614900000319
表示对
Figure BDA0002321961490000039
做刚体变化操作，
Figure BDA00023219614900000310
表示对
Figure BDA00023219614900000311
做刚体变化操作；
Figure BDA00023219614900000312
是旋转矩阵，
Figure BDA00023219614900000313
是平移向量。
定义两张图片对应相机的外参分别为R1,t1和R2,t2，则：
Figure BDA00023219614900000314
Figure BDA00023219614900000315
其中，
Figure BDA00023219614900000316
表示R1的转置，
Figure BDA00023219614900000317
表示R2的转置。
步骤7：进行损失函数计算。
步骤7.1：计算重投影损失函数。
计算步骤2检测得的人体2D关节点位置和步骤5重投影得到的人体2D关节点位置二者之间的平方损失，如下所示：
Figure BDA00023219614900000318
步骤7.2：计算变换重投影损失函数。
计算步骤2检测得的人体2D关节点位置和步骤6变换后的人体3D关节点位置投影的到的2D位置之间的平方损失，如下所示：
Figure BDA0002321961490000041
步骤7.3：计算预训练损失。
计算步骤4得到的人体3D关节点绝对位置和步骤6变换后的人体3D关节点位置之间的平方损失，如下所示：
Figure BDA0002321961490000042
步骤8：进行网络训练。
步骤8.1：网络训预训练。
使用梯度下降算法，优化Lpre-train损失函数，通过反向传播调整模型参数，直至损失函数收敛。
步骤8.2：网络正式训练。
LT＝Lreproj+λLt-reproj (10)
其中，λ为Lt-reproj损失函数所对应的超参数。使用梯度下降算法，优化LT损失函数，通过反向传播调整模型参数，直至损失函数收敛。
步骤9：使用训练好的3D姿态估计网络，对未知图片中的人体3D姿态进行估计。
首先，将未知图片输入层级金字塔网络，得到图片中人体的N个的关节点位置的2D坐标。然后，将得到的人体2D关节点坐标输入到训练好的3D姿态估计网络中，输出人体的3D关节点坐标。
上述过程执行完毕后，得到未知图片中人体的3D姿态。
有益效果
本发明所提出的自监督人体3D姿态估计网络训练方法，不依赖人体3D关节点标注数据，完全依靠几何先验知识，可以避免繁琐的人体3D关节点的标注过程；所提出的变换重投影损失可以探索多视角一致性以训练人体3D姿态估计网络，可以在训练过程中获得更加准确的人体3D姿态预测结果；所提出的根节点位置估计网络在3D姿态估计网络训练过程中保留重投影的2D姿态的尺度信息，可以在训练过程中获得更加准确的人体3D姿态预测结果；所提出的网络预训练方法可以帮助网络训练有效地收敛。
附图说明
图1为重投影损失和变换重投影损失的计算方法；
图2为预训练损失的计算方法；
图3为本发明方法的流程图。
具体实施方式
下面将结合附图对本发明的具体实施方法做进一步的详细说明。
实施例
如图3所示，一种基于几何驱动的自监督人体3D姿态估计网络训练方法，包括以下步骤。
步骤1：采集人体姿态训练数据，构造训练数据集。
利用4个相机进行标定，记录相机的内参和外参。对于场景中的同一个人，收集4个视角下相机拍摄的照片，构造训练数据集。
步骤2：对训练数据集中的人体2D关节点进行检测。
在训练数据集中，从同一时刻多个视角拍摄的图片中，任意选取两张。使用层级金字塔网络，对两张图片中的人体2D关节点位置进行检测。定义X1,
Figure BDA0002321961490000053
分别为两张图片中人体的17个的关节点(包括骨盆，右髋关节，右膝盖，右踝关节，左髋关节，左膝盖，左踝关节，脊柱，喉咙，脖子，头，左肩膀，左肘，左腕，右肩部，右肘，右腕)位置的2D坐标。
步骤3：设计一个人体3D姿态估计网络，将人体2D关节点位置X1,X2投射到3D空间中，估计人体的相对3D姿态。
具体实现如下：
步骤3.1：设计一个3D姿态估计网络
Figure BDA0002321961490000051
该网络包含四个残差模块，每个模块均由2个全连接层(1024个通道)及其对应的批归一化层、整流线性单位层和池化层组成。最后，3D姿态估计网络
Figure BDA0002321961490000052
连接了一个17×3通道的全连接层输出17个关节点的3D位置坐标。
步骤3.2：将步骤2中得到的人体2D关节点位置X1,X2输入到3D姿态估计网络
Figure BDA0002321961490000061
中，得到网络输出为
Figure BDA0002321961490000062
分别为Y1,Y2两张图片中人体17个关节点位置所对应的3D坐标。此处，网络
Figure BDA0002321961490000063
输出的3D坐标，是以根关节点(骨盆)为坐标原点的相对位置坐标。
步骤4：设立一个根节点位置估计网络，估计出根关节点在对应相机坐标下的3D位置坐标，还原人体关节点的3D绝对位置坐标。
步骤4.1：设计一个根节点位置估计网络
Figure BDA0002321961490000064
该网络包含四个残差模块，每个模块均由2个全连接层(1024个通道)及其对应的批归一化层、整流线性单位层和池化层组成。最后，网络
Figure BDA0002321961490000065
连接了一个17通道的全连接层输根关节点在对应相机坐标下的3D位置坐标。
步骤4.2：将步骤2中得到的人体2D关节点位置，输入到根位置估计网络
Figure BDA0002321961490000066
中，得到网络输出为
Figure BDA0002321961490000067
表示根关节点在两张图片对应视角(v1,v2)的相机坐标下的3D位置坐标。
步骤4.3：将rv1和rv2分别加到Y1,Y2上，还原出对应的人体3D关节点的绝对位置坐标
Figure BDA00023219614900000613
和
Figure BDA00023219614900000614
步骤5：根据透视投影，将步骤4得到的人体3D关节点的绝对位置重投影到2D空间。
按照如下公式计算：
Figure BDA0002321961490000068
Figure BDA0002321961490000069
其中，ρ表示透视投影，fx和fy为相机焦距，cx和cx定义了主要点，
Figure BDA00023219614900000610
Figure BDA00023219614900000611
分别表示
Figure BDA00023219614900000612
的第ith个关节点位置的x,y,z坐标值。其中，i＝{1,...,17}。
步骤6：相机坐标转换。
通过刚体变换公式τ，将人体3D关节点的绝对位置，从当前视角转换到另外一张图片对应的视角：
Figure BDA0002321961490000071
Figure BDA0002321961490000072
其中，τ表示刚体变换，
Figure BDA00023219614900000716
表示对
Figure BDA0002321961490000074
做刚体变化操作，
Figure BDA0002321961490000075
表示对
Figure BDA00023219614900000717
做到体变化操作；
Figure BDA0002321961490000077
是旋转矩阵，
Figure BDA0002321961490000078
是平移向量。
定义两张图片对应相机的外参分别为R1,t1和R2,t2，则：
Figure BDA0002321961490000079
Figure BDA00023219614900000710
其中，
Figure BDA00023219614900000711
表示R1的转置，
Figure BDA00023219614900000712
表示R2的转置。
步骤7：进行损失函数计算。
步骤7.1：计算重投影损失函数。
计算步骤2检测得的人体2D关节点位置和步骤5重投影得到的人体2D关节点位置二者之间的平方损失，如下所示：
Figure BDA00023219614900000713
步骤7.2：计算变换重投影损失函数。
计算步骤2检测得的人体2D关节点位置和步骤6变换后的人体3D关节点位置投影的到的2D位置之间的平方损失，如下所示：
Figure BDA00023219614900000714
步骤7.3：计算预训练损失。
计算步骤4得到的人体3D关节点绝对位置和步骤6变换后的人体3D关节点位置之间的平方损失，如下所示：
Figure BDA00023219614900000715
步骤8：进行网络训练。
步骤8.1：网络训预训练。
使用梯度下降算法，优化Lpre-train损失函数，通过反向传播调整模型参数，直至损失函数收敛。
步骤8.2：网络正式训练。
LT＝Lreproj+λLt-reproj (20)
其中，λ为Lt-reproj损失函数所对应的超参数，λ＝0.1。使用梯度下降算法，优化LT损失函数，通过反向传播调整模型参数，直至损失函数收敛。
步骤9：使用训练好的3D姿态估计网络，对未知图片中的人体3D姿态进行估计。
首先，将未知图片输入层级金字塔网络，得到图片中人体的17个的关节点位置的2D坐标。然后，将得到的人体2D关节点坐标输入到训练好的3D姿态估计网络中，输出人体的3D关节点坐标。
上述过程执行完毕后，得到未知图片中人体的3D姿态。

Claims (9)

1.一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，包括以下步骤：
步骤1：采集人体姿态训练数据，构造训练数据集；
步骤2：对训练数据集中的人体2D关节点进行检测；
步骤3：设计一个人体3D姿态估计网络，将人体2D关节点位置投射到3D空间中，估计人体的相对3D姿态；
步骤4：设立一个根节点位置估计网络，估计出根关节点在对应相机坐标下的3D位置坐标，来还原人体关节点的3D绝对位置坐标；
步骤5：根据透视投影，将步骤4得到的人体3D关节点的绝对位置重投影到2D空间；
步骤6：进行相机坐标转换；
步骤7：计算重投影损失函数、变换重投影损失函数和预训练损失；
步骤8：进行网络训练；
步骤9：使用训练好的3D姿态估计网络，对未知图片中的人体3D姿态进行估计。
2.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤1构造训练数据集时，利用多个相机进行标定，记录相机的内参和外参，其中，对于场景中的同一个人，收集多个视角下相机拍摄的照片，构造训练数据集。
3.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤2至步骤3的实现方法如下：
在检测人体2D关节点时，在步骤1构造的训练数据集中，从同一时刻多个视角拍摄的图片中，任意选取两张，使用层级金字塔网络，对两张图片中的人体2D关节点位置进行检测，定义X1,
Figure FDA0002321961480000011
分别步骤2得到的两张图片中人体的N个的关节点位置的2D坐标；
步骤3.1：设计一个3D姿态估计网络
Figure FDA0002321961480000012
该网络包含四个残差模块，每个模块均由2个全连接层及其对应的批归一化层、整流线性单位层和池化层组成；最后，3D姿态估计网络
Figure FDA0002321961480000013
连接了一个N×3通道的全连接层输出N个关节点的3D位置坐标；
步骤3.2：将步骤2中得到的人体2D关节点位置X1,X2输入到3D姿态估计网络
Figure FDA0002321961480000021
中，得到网络输出为Y1,
Figure FDA0002321961480000022
分别为Y1,Y2两张图片中人体N个关节点位置所对应的3D坐标；此处，网络
Figure FDA0002321961480000023
输出的3D坐标，是以根关节点为坐标原点的相对位置坐标。
4.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤4的实现方法如下：
步骤4.1：设计一个根节点位置估计网络
Figure FDA0002321961480000024
该网络包含四个残差模块，每个模块均由2个全连接层及其对应的批归一化层、整流线性单位层和池化层组成；最后，网络
Figure FDA0002321961480000025
连接了一个N通道的全连接层输根关节点在对应相机坐标下的3D位置坐标；
步骤4.2：将步骤2中得到的人体2D关节点位置，输入到根位置估计网络
Figure FDA0002321961480000026
中，得到网络输出为rv1,
Figure FDA0002321961480000027
表示根关节点在两张图片对应视角v1,v2的相机坐标下的3D位置坐标；
步骤4.3：将rv1和rv2分别加到Y1,Y2上，还原出对应的人体3D关节点的绝对位置坐标
Figure FDA0002321961480000028
和
Figure FDA0002321961480000029
5.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤5的实现方法为：
按照如下公式计算：
Figure FDA00023219614800000210
Figure FDA00023219614800000211
其中，ρ表示透视投影，fx和fy为相机焦距，cx和cx定义了主要点，
Figure FDA00023219614800000212
Figure FDA00023219614800000213
分别表示
Figure FDA00023219614800000214
的第ith个关节点位置的x,y,z坐标值。
6.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤6的实现方法为：
通过刚体变换公式τ，将人体3D关节点的绝对位置，从当前视角转换到另外一张图片对应的视角：
Figure FDA00023219614800000215
Figure FDA0002321961480000031
其中，τ表示刚体变换，
Figure FDA0002321961480000032
表示对
Figure FDA0002321961480000033
做刚体变化操作，
Figure FDA0002321961480000034
表示对
Figure FDA0002321961480000035
做刚体变化操作；R1to2，
Figure FDA0002321961480000036
是旋转矩阵，t1to2，
Figure FDA0002321961480000037
是平移向量；
定义两张图片对应相机的外参分别为R1,t1和R2,t2，则：
Figure FDA0002321961480000038
Figure FDA0002321961480000039
其中，
Figure FDA00023219614800000310
表示R1的转置，
Figure FDA00023219614800000311
表示R2的转置。
7.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤7的实现方法为：
步骤7.1：计算重投影损失函数
计算步骤2检测得的人体2D关节点位置和步骤5重投影得到的人体2D关节点位置二者之间的平方损失，如下所示：
Figure FDA00023219614800000312
步骤7.2：计算变换重投影损失函数
计算步骤2检测得的人体2D关节点位置和步骤6变换后的人体3D关节点位置投影的到的2D位置之间的平方损失，如下所示：
Figure FDA00023219614800000313
步骤7.3：计算预训练损失
计算步骤4得到的人体3D关节点绝对位置和步骤6变换后的人体3D关节点位置之间的平方损失，如下所示：
Figure FDA00023219614800000314
。
8.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤8的实现方法为：
步骤8.1：网络训预训练
使用梯度下降算法，优化Lpre-train损失函数，通过反向传播调整模型参数，直至损失函数收敛；
步骤8.2：网络正式训练
LT＝Lreproj+λLt-reproj (10)
其中，λ为Lt-reproj损失函数所对应的超参数；使用梯度下降算法，优化LT损失函数，通过反向传播调整模型参数，直至损失函数收敛。
9.如权利要求1所述的一种基于几何驱动的自监督人体3D姿态估计网络训练方法，其特征在于，步骤9的实现方法为：
首先，将未知图片输入层级金字塔网络，得到图片中人体的N个的关节点位置的2D坐标；
然后，将得到的人体2D关节点坐标输入到训练好的3D姿态估计网络中，输出人体的3D关节点坐标。
CN201911301729.1A 2019-12-02 2019-12-17 一种基于几何驱动的自监督人体3d姿态估计网络训练方法 Active CN111062326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911214042 2019-12-02
CN2019112140424 2019-12-02

Publications (2)

Publication Number Publication Date
CN111062326A true CN111062326A (zh) 2020-04-24
CN111062326B CN111062326B (zh) 2023-07-25

Family

ID=70301900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911301729.1A Active CN111062326B (zh) 2019-12-02 2019-12-17 一种基于几何驱动的自监督人体3d姿态估计网络训练方法

Country Status (1)

Country Link
CN (1) CN111062326B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733704A (zh) * 2021-01-07 2021-04-30 浙江大学 图像处理方法、电子设备和计算机可读存储介质
CN112836824A (zh) * 2021-03-04 2021-05-25 上海交通大学 单目三维人体位姿无监督学习方法、系统及介质
CN112949462A (zh) * 2021-02-26 2021-06-11 平安科技（深圳）有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN113361570A (zh) * 2021-05-25 2021-09-07 东南大学 基于联合数据增强和网络训练模型的3d人体姿态估计方法
CN113689578A (zh) * 2020-05-15 2021-11-23 杭州海康威视数字技术股份有限公司 一种人体数据集生成方法及装置
CN113762177A (zh) * 2021-09-13 2021-12-07 成都市谛视科技有限公司 实时人体3d姿态估计方法、装置、计算机设备和存储介质
WO2022115991A1 (en) * 2020-12-01 2022-06-09 Intel Corporation Incremental 2d-to-3d pose lifting for fast and accurate human pose estimation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250050A1 (en) * 2012-03-23 2013-09-26 Objectvideo, Inc. Video surveillance systems, devices and methods with improved 3d human pose and shape modeling
CN104952104A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种三维人体姿态估计方法和装置
JP2017116403A (ja) * 2015-12-24 2017-06-29 トヨタ自動車株式会社 姿勢推定装置、姿勢推定方法、およびプログラム
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109299685A (zh) * 2018-09-14 2019-02-01 北京航空航天大学青岛研究院 用于人体关节3d坐标估计的推断网络及其方法
CN110188700A (zh) * 2019-05-31 2019-08-30 安徽大学 基于分组回归模型的人体三维关节点预测方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250050A1 (en) * 2012-03-23 2013-09-26 Objectvideo, Inc. Video surveillance systems, devices and methods with improved 3d human pose and shape modeling
CN104952104A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种三维人体姿态估计方法和装置
JP2017116403A (ja) * 2015-12-24 2017-06-29 トヨタ自動車株式会社 姿勢推定装置、姿勢推定方法、およびプログラム
CN108830150A (zh) * 2018-05-07 2018-11-16 山东师范大学 一种基于三维人体姿态估计方法及装置
CN109299685A (zh) * 2018-09-14 2019-02-01 北京航空航天大学青岛研究院 用于人体关节3d坐标估计的推断网络及其方法
CN110188700A (zh) * 2019-05-31 2019-08-30 安徽大学 基于分组回归模型的人体三维关节点预测方法
CN110378281A (zh) * 2019-07-17 2019-10-25 青岛科技大学 基于伪3d卷积神经网络的组群行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JULIETA MARTINEZ 等: "A simple yet effective baseline for 3d human pose estimation", 《ICCV 2017》 *
PAVLLO, D. 等: "3d human pose estimation in video with temporal convolutions and semi-supervised training", 《CVPR》 *
编辑部: "如何使用RepNet进行3D人体姿态估计", 《机器人产业》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689578A (zh) * 2020-05-15 2021-11-23 杭州海康威视数字技术股份有限公司 一种人体数据集生成方法及装置
CN113689578B (zh) * 2020-05-15 2024-01-02 杭州海康威视数字技术股份有限公司 一种人体数据集生成方法及装置
WO2022115991A1 (en) * 2020-12-01 2022-06-09 Intel Corporation Incremental 2d-to-3d pose lifting for fast and accurate human pose estimation
CN112733704A (zh) * 2021-01-07 2021-04-30 浙江大学 图像处理方法、电子设备和计算机可读存储介质
CN112949462A (zh) * 2021-02-26 2021-06-11 平安科技（深圳）有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN112949462B (zh) * 2021-02-26 2023-12-19 平安科技（深圳）有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN112836824A (zh) * 2021-03-04 2021-05-25 上海交通大学 单目三维人体位姿无监督学习方法、系统及介质
CN113361570A (zh) * 2021-05-25 2021-09-07 东南大学 基于联合数据增强和网络训练模型的3d人体姿态估计方法
CN113361570B (zh) * 2021-05-25 2022-11-01 东南大学 基于联合数据增强和网络训练模型的3d人体姿态估计方法
CN113762177A (zh) * 2021-09-13 2021-12-07 成都市谛视科技有限公司 实时人体3d姿态估计方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111062326B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111062326A (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
TWI709107B (zh) 影像特徵提取方法及包含其顯著物體預測方法
JP5244951B2 (ja) ３ｄ空間次元に基づく画像処理のための装置およびシステム
CN110503680A (zh) 一种基于非监督的卷积神经网络单目场景深度估计方法
CN110660017A (zh) 一种基于三维姿态识别的舞谱记录与演示方法
CN110598590A (zh) 基于多视角相机的紧密交互人体姿态估计方法及装置
CN111914618B (zh) 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
CN113313732A (zh) 一种基于自监督学习的前视场景深度估计方法
CN111583386B (zh) 基于标签传播算法的多视角人体姿态重建方法
CN114119889B (zh) 基于跨模态融合的360度环境深度补全和地图重建方法
CN113989928B (zh) 一种动作捕捉和重定向方法
CN111046734A (zh) 基于膨胀卷积的多模态融合视线估计方法
CN114036969A (zh) 一种多视角情况下的3d人体动作识别算法
CN111311664A (zh) 一种深度、位姿与场景流的联合无监督估计方法及系统
Feng et al. Deep depth estimation on 360 images with a double quaternion loss
CN116385660A (zh) 室内单视图场景语义重建方法及系统
CN111222459A (zh) 一种视角无关的视频三维人体姿态识别方法
CN116580169B (zh) 一种数字人驱动方法及装置、电子设备和存储介质
CN117711066A (zh) 一种三维人体姿态估计方法、装置、设备及介质
CN113326751B (zh) 一种手部3d关键点的标注方法
KR20230089466A (ko) 앙상블 기반의 신경망을 이용한 행동 인식 방법
CN113920270A (zh) 一种基于多视角全景的布局重建方法及其系统
CN114863021A (zh) 一种基于三维重建场景的仿真数据集分析方法及系统
CN113971753A (zh) 一种基于多个固定摄像头的虚拟机器人巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant