CN112836618A - 一种三维人体姿态估计方法及计算机可读存储介质 - Google Patents

一种三维人体姿态估计方法及计算机可读存储介质 Download PDF

Info

Publication number
CN112836618A
CN112836618A CN202110118997.0A CN202110118997A CN112836618A CN 112836618 A CN112836618 A CN 112836618A CN 202110118997 A CN202110118997 A CN 202110118997A CN 112836618 A CN112836618 A CN 112836618A
Authority
CN
China
Prior art keywords
dimensional
human body
coordinate
coordinates
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110118997.0A
Other languages
English (en)
Other versions
CN112836618B (zh
Inventor
王好谦
高艺华
杨芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110118997.0A priority Critical patent/CN112836618B/zh
Publication of CN112836618A publication Critical patent/CN112836618A/zh
Application granted granted Critical
Publication of CN112836618B publication Critical patent/CN112836618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种三维人体姿态估计方法及计算机可读存储介质，方法包括：采用人体检测网络从原始图像中获取单人图像并做标准化处理；使用二维姿态估计方法从单人图像中预测关键点的二维坐标；将二维坐标生成三维坐标，包括：使用三维姿态生成器预测关键点的第一三维坐标；根据人体关节的对称结构将所述二维坐标作对称处理，再使用三维姿态生成器预测关键点的第二三维坐标；第一三维坐标和第二三维坐标分别与对应的标签计算差值，结果求和用于反向传播，得到三维人体姿态估计。充分利用了人体关键点间的连接关系及对称关系，能够达到优化预测结果的目的；同时在原有数据集的基础上，实现了训练数据的扩充，增强了模型的鲁棒性。

Description

一种三维人体姿态估计方法及计算机可读存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种三维人体姿态估计方法及计算机可读存储介质。
背景技术
对包含人像的二维RGB图像进行人体姿态估计，即根据图片信息输出指定人体关键点的坐标位置，是计算机视觉领域一个非常有价值的研究方向。人体姿态估计的检测结果可进一步服务于人体重建、人机交互、行为识别、虚拟现实、游戏建模等多个工业领域，已经应用于许多产品。相比于二维姿态，三维姿态估计的结果在应用中能提供更高维、更丰富的信息，具有广阔的应用前景。因此，近年来三维姿态估计得到国内外研究者的关注。
获取三维关键点坐标的方法有多种，主要有：从关键点二维坐标生成三维坐标；从图像中直接预测关键点三维坐标；从图像中同步估计关键点的二维坐标与三维坐标估并共享信息等。
从关键点二维坐标生成三维坐标的方法，指的是首先从原始图像中运用二维人体姿态估计方法获取关键点的二维坐标，使用三维姿态生成器仅通过学习二维坐标点信息推断出对应的第三维坐标。此方法的好处有：二维人体姿态估计方法较为成熟可靠，可为后续任务提供先验信息，较图片而言是更高维、更集中的特征；另外，二维到三维坐标的生成过程中，用来进行监督训练的数据为二维-三维坐标对，数据总量很小，相比于其他使用原始图像作为输入的方法占显存小，训练速度快。缺点是仅从二维坐标获取到的信息有限，缺失图片丰富的信息表达。
从图像中同步估计关键点的二维坐标与三维坐标估并共享信息的方法，指的是直接用神经网络学习原始图像中的人体特征，输出的结果为关键点的三维坐标，或者先生成体素或热力图等中间形式，然后进一步求解坐标。这种方法的优点是准确度较前种方法较高，因为可以更好地、全面地提取图片中的多方面信息，但相应的，神经网络的体量会更大，在训练速度及参数调整方面灵活性较低。
同步估计关键点的二维坐标与三维坐标的方法指的是同时进行两个任务的预测工作，将两个网络的中间层特征共享，或根据两个结果之间的对应关系进行关联校正。此方法的优点是可以同时完成两个任务，并结合上述两种方法的优点，在结果准确度上的表现会更好；缺点是网络结构最为复杂，参数量大，信息共享方式需要设计及大量实验。
三维人体姿态估计任务，特别是从关键点二维坐标生成三维坐标的方法，对于人体的固有结构信息和常见姿态有着更强的依赖性。人体各关键点的位置之间有非常密切的联系，体现每段骨骼长度、夹角、位置等都有其规律，人体的常见姿态也为关键点的检测提供了大量的信息，因此人体关键点间的结构关系应当被充分利用。人体骨骼是具有对称性的结构，在人体姿态相关的任务中表现为左右对称的两段骨骼的长度一致、相对位置一致。因为投影角度和骨骼姿态的不确定性，在二维人体姿态估计中难以充分利用此约束条件，而在三维空间中则可以将此作为一个强制性约束。
人体骨架是一种典型的图(Graph)的形式，由关键点及关键点之间的连接关系构成。对于这种非规则的数据结构，图神经网络(Graph Neural Network)是一种有效的大数据处理方式。图神经网络是将深度学习的方法应用于非规则数据构建得到的网络结构，在知识图谱、社交网络、计算机视觉等方向均有广泛的实践应用。在常见的从关键点二维坐标生成三维坐标的姿态估计方法中，该生成器通常采用堆叠的全连接层来实现，在提取特征、估计深度的过程中没有充分地利用关键点之间的联系和约束关系。考虑人体姿态估计任务，关键点的数目及连接关系是固定不变的，而对于结构不变的小型图，谱图卷积神经网络是一种高效的处理方法。
现有技术中人体三维姿态估计方法的对人体关键点间的结构关系利用不充分。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种三维人体姿态估计方法及计算机可读存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种三维人体姿态估计方法，包括如下步骤：S1：采用人体检测网络从原始图像中获取单人图像并做标准化处理；S2：使用二维姿态估计方法从所述单人图像中预测关键点的二维坐标；S3：将所述二维坐标生成三维坐标，包括：使用三维姿态生成器预测关键点的第一三维坐标；根据人体关节的对称结构将所述二维坐标作对称处理，再使用三维姿态生成器预测关键点的第二三维坐标；S4：所述第一三维坐标和所述第二三维坐标分别与对应的标签计算差值，结果求和用于反向传播，得到三维人体姿态估计。
优选地，所述原始图像是单人或多人图像；从所述原始图像中检测每一个人体范围得到所述单人图像；所述标准化处理包括将所述每一个人体范围内的像素填充到统一比例，放缩到统一尺寸；所述像素对应的二维关键点的坐标位置标签随所述像素进行所述标准化处理；所述像素对应的三维关键点的坐标位置标签去中心化处理。
优选地，使用二维姿态估计方法从所述单人图像中预测关键点的二维坐标包括如下步骤：将二维姿态估计网络应用于单人图像，得到的结果为所述单人图像中每个关节点的二维坐标预测值，描述为：
R＝Net1(I)
其中，I是单人图像，R是二维坐标预测值，Net1是二维姿态估计网络。
优选地，使用三维姿态生成器预测关键点的第一三维坐标包括：训练所述三维姿态生成器来预测关键点的第一三维坐标，得到第一三维人体姿态估计的结果，过程表示为：
P＝Net2(R)
其中，P是第一三维人体姿态估计的结果，Net2是三维姿态生成器。
优选地，采用图神经网络作为所述三维姿态生成器，由所述二维坐标预测值到的结果构成一个图，将节点属性和卷积核变换到频域，每次更新后返回空域，表示为：
(gθ*h)G＝U((UTgθ)⊙(UTh))
其中，gθ为卷积核，h为节点的特征信息，U为根据图像的邻接关系通过拉普拉斯分解得到的特征矩阵，T是矩阵的转置。
优选地，根据人体关节的对称结构将所述二维坐标作对称处理，再使用三维姿态生成器预测关键点的第二三维坐标包括：根据人体对称性将所述二维坐标预测值作对称处理得到R’，训练所述三维姿态生成器来预测关键点的第一三维坐标，得到第二三维人体姿态估计的结果P’，过程表示为：
P′＝Net2(R′)。
优选地，所述第一三维坐标和所述第二三维坐标分别与对应的标签计算差值并求和表示为：
L＝loss(P，T)+loss(P′，T′)
其中，L表示两个差值的和，loss表示差值，T，T’分别是第一三维坐标和第二三维坐标对应的标签。
优选地，所述体检测网络采用YOLO系列或Mask RCNN网络；所述二维姿态估计网络是Hourglass、Simple baseline或HRNet。
优选地，所述三维姿态生成器为：用八个图神经网络层构成一个网络模块，输入特征信息hk的维度为2，每个层的输出维度分别为4，16，64，256，64，16，4，3，最终输出的特征信息hk代表第k个关键点的三维坐标。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行如上任一项所述的方法。
本发明的有益效果为：提供一种三维人体姿态估计方法及计算机可读存储介质，通过人体关键点的特征，基于关键点对称性关系的训练方法，并将原有的生成器网络进行升级，充分利用了人体关键点间的连接关系及对称关系，能够达到优化预测结果的目的；同时在原有数据集的基础上，实现了训练数据的扩充，增强了模型的鲁棒性。
附图说明
图1是本发明实施例中一种三维人体姿态估计方法的示意图。
图2是本发明实施例中从单人图像中预测关键点二维坐标示意图。
图3是本发明实施例中基于对称性预测三维坐标的流程图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种三维人体姿态估计方法，包括如下步骤：
S1：采用人体检测网络从原始图像中获取单人图像并做标准化处理；
S2：使用二维姿态估计方法从所述单人图像中预测关键点的二维坐标；
S3：将所述二维坐标生成三维坐标，包括：
使用三维姿态生成器预测关键点的第一三维坐标；
根据人体关节的对称结构将所述二维坐标作对称处理，再使用三维姿态生成器预测关键点的第二三维坐标；
S4：所述第一三维坐标和所述第二三维坐标分别与对应的标签计算差值，结果求和用于反向传播，得到三维人体姿态估计。
本发明针对人体关键点的特征，基于关键点对称性关系的训练方法，并将原有的生成器网络进行升级，充分利用了人体关键点间的连接关系及对称关系，能够达到优化预测结果的目的；同时在原有数据集的基础上，实现了训练数据的扩充，增强了模型的鲁棒性。
在本发明的一种实施例中，所述原始图像是单人或多人图像；从原始图像中检测每一个人体范围得到所述单人图像；标准化处理包括将每一个人体范围内的像素填充到统一比例，放缩到统一尺寸；像素对应的二维关键点的坐标位置标签随所述像素进行标准化处理；像素对应的三维关键点的坐标位置标签去中心化处理。具体的，去中心化处理是指所有关节的三维坐标都减去髋关节的坐标值，达到root relative的形式。
标准化后的单人图像I及标签T将成对地用于后续网络的训练及监督。在本任务的训练过程中，本发明不对检测过程进行训练，而使用标注中采集的人体范围来代替人体检测网络的预测值，从而简化训练流程，提高训练准确性；在网络测试阶段及实际应用中，采用经过预训练的检测网络实现这一过程，人体检测网络可采用YOLO系列或Mask RCNN等成熟的检测网络。
如图2所示，使用二维姿态估计方法从所述单人图像中预测关键点的二维坐标包括如下步骤：
将二维姿态估计网络应用于单人图像，得到的结果为所述单人图像中每个关节点的二维坐标预测值，描述为：
R＝Net1(I)
其中，I是单人图像，R是二维坐标预测值，Net1是二维姿态估计网络。
同样地，在训练过程中这一环节可以直接由标注中的关键点二维坐标取代，结果用于训练下一步骤的网络参数；在网络测试阶段及实际应用中，采用经过预训练的二维姿态估计网络实现这一过程。预测得到或标注中获取单人图像关键点二维坐标共N组，其中N都代表人体关键点的个数，是固定的，根据数据集规定的不同可以是14，16或17。每组有两个坐标值，表示空间中三维关键点在图片平面上的投影，记为R。其中，Net1表示选用的二维姿态估计网络。由于本发明采用自顶向下的人体姿态估计方法，因此Net1可根据需求选用Hourglass，Simple baseline，HRNet等网络。
接下来的一步是使用上述二维关键点坐标R，训练三维坐标生成器网络来实现第三个维度的坐标估计，得到最终三维人体姿态估计的结果P，形式为N组数据，每组包含三个坐标值，代表空间中人体的关键点三维坐标估计值。
使用三维姿态生成器预测关键点的第一三维坐标包括：
训练所述三维姿态生成器来预测关键点的第一三维坐标，得到第一三维人体姿态估计的结果，过程表示为：
P＝Net2(R)
其中，P是第一三维人体姿态估计的结果，Net2是三维姿态生成器。
三维姿态生成器要处理的任务是向量到向量之间的转化，而卷积神经网络通常用于处理图片形式的规律序列，因此不适用于此步骤。在常见的从关键点二维坐标生成三维坐标的姿态估计方法中，该生成器通常采用堆叠的全连接层来实现，参数量为数兆。该方法可以有效地实现任务，但由于输入只是分散的、无关联的二维坐标序列，无法提供关键点之间的连接、对称关系，所以未能充分地利用关键点之间的联系和约束关系。针对上述问题，采取如下两个措施。
采用图神经网络的方式可以为此环节提供先验的人体结构信息。图(Graph)由节点和边构成，可以表示为G＝{K，E｝。其中K为节点的集合，数量为N，E是边的集合。对于任意k∈K，都有一组特征属性hk，该特征随着网络的迭代进行更新，第t次迭代后的节点k的特征属性表示为
Figure BDA0002921768270000071
在连接没有方向的情况下，E可由一个对称的二维矩阵A表示，称为邻接矩阵，大小为N×N。在由人体关键点构成的图中，节点k表示为每个人的关键点，总数为N，其特征属性hk表示为该节点对应的坐标值，输入维度为2，对应关键点的二维坐标，E由各关键点的连接关系决定，若两节点之间有连接关系，则矩阵对应位置的元素为1，否则为0。参考卷积的概念，可以按照Laplacian矩阵的概念，通过邻接矩阵A构造出一个转换矩阵U，以实现空域和频域间的转换。同时，通过将空域中的卷积核gθ构造为对角矩阵的形式，可以实现卷积神经网络的局部连接、权值共享等优势。参考传统傅里叶变换的形式，可将空域中的图G的节点特征信息hk，以及卷积核gθ转换到频域中，进行信息融合和特征值更新。一次卷积运算过程可表示为：
(gθ*h)G＝U((UTgθ)⊙(UTh))
称为一个图神经网络层。
其中，gθ为卷积核，h为节点的特征信息，U为根据图像的邻接关系通过拉普拉斯分解得到的特征矩阵，T是矩阵的转置。
将新的三维姿态生成器设计为：用八个图神经网络层构成一个网络模块，输入特征信息hk的维度为2，每个层的输出维度分别为4，16，64，256，64，16，4，3，最终输出的特征信息hk代表第k个关键点的三维坐标。以T为标签进行迭代训练，训练次数设为50次。
为网络提供了关键点间的连接关系之后，还希望可以将人体的对称性约束引入网络中。人体骨骼是具有对称性的结构，在人体姿态相关的任务中表现为左右对称的两段骨骼的长度一致、相对位置一致。保证左右两块对称骨骼的长度相等，对于减少预测误差、提升三维姿态估计的任务是非常有帮助的。在用二维坐标生成三维坐标的环节中，在原有前向预测的基础上增加一个对称的并行支路，即以二维关键点坐标R为初始值，一条支路直接使用三维姿态生成器预测关键点三维坐标P；在原有前向预测的基础上增加一个对称的并行支路，根据人体关节的对称结构将所述二维坐标作对称处理，再使用三维姿态生成器预测关键点的第二三维坐标包括：
根据人体对称性将所述二维坐标预测值作对称处理得到R’，训练所述三维姿态生成器来预测关键点的第一三维坐标，得到第二三维人体姿态估计的结果P’，过程表示为：
P′＝Net2(R′)。
同时用于监督的三维坐标标签也做二维坐标同步的处理，那么两支路的预测结果将分别与对应的标签T，T’计算差值，最后将总和作为整个网络的损失值，用于更新网络参数。第一三维坐标和所述第二三维坐标分别与对应的标签计算差值并求和表示为：
L＝loss(P，T)+loss(P′，T′)
其中，L表示两个差值的和，loss表示差值，T，T’分别是第一三维坐标和第二三维坐标对应的标签。
上述流程如图3所示。
下面详细描述对称处理的方式。本发明采用将左右关键点位置交换的方法，也就是将二维坐标序列R和标签T中所有的对称关键点的排序交换，由于序列中顺序指向固定的关键点，因此可以实现两段骨骼的位置交换。在三维层面加以考虑，这个步骤会导致人体朝向的反转，而这存在一定的不合理风险，例如：当人体的左膝盖向前弯曲时，交换左右会导致右膝盖向后弯曲，而这是不可能存在的姿态。因此在交换完成后还需要将关键点坐标以裁取范围的中值为轴取对称，这一步体现在可视化图中即水平翻转。
在这里本发明没有采取强制措施使两个向量的模相等，虽然可以通过在学习目标中添加相应的损失条件来强制执行这些约束，但网络的调节和权衡是有一定困难的。通过本发明的方法，可以帮助模型学习到潜在的对称约束，能够在二维投影表现不对称的情况下实现对称骨骼的近似等长度。同时，考虑到获取较为困难的三维标签，对称处理作为一种数据增强的方法，也可以提供更多的训练数据，增强模型的鲁棒性。
将本发明的方法应用到Human3.6M数据集中，得到如表1所示的实验结果。
表1人体结构约束的三维人体姿态估计方法实验结果
Figure BDA0002921768270000091
上述实验结果表明，表中几个方法采用了不同的网络构成三维姿态生成器：所列第一种方法是使用全连接层，第二种方法使用空间域图神经网络，第三种方法是本申请采用的图卷积神经网络。可以看到本申请方法在预测准确度(最后一列)优于所列的现有方法。表中最后一行是本申请提出的完整方法，即图神经网络和对称训练策略相结合。上述实验结果表明，本申请提出的方法十分有益于三维人体姿态估计任务。
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种三维人体姿态估计方法，其特征在于，包括如下步骤：
S1：采用人体检测网络从原始图像中获取单人图像并做标准化处理；
S2：使用二维姿态估计方法从所述单人图像中预测关键点的二维坐标；
S3：将所述二维坐标生成三维坐标，包括：
使用三维姿态生成器预测关键点的第一三维坐标；
根据人体关节的对称结构将所述二维坐标作对称处理，再使用三维姿态生成器预测关键点的第二三维坐标；
S4：所述第一三维坐标和所述第二三维坐标分别与对应的标签计算差值，结果求和用于反向传播，得到三维人体姿态估计。
2.如权利要求1所述的三维人体姿态估计方法，其特征在于，所述原始图像是单人或多人图像；从所述原始图像中检测每一个人体范围得到所述单人图像；
所述标准化处理包括将所述每一个人体范围内的像素填充到统一比例，放缩到统一尺寸；
所述像素对应的二维关键点的坐标位置标签随所述像素进行所述标准化处理；所述像素对应的三维关键点的坐标位置标签去中心化处理。
3.如权利要求2所述的三维人体姿态估计方法，其特征在于，使用二维姿态估计方法从所述单人图像中预测关键点的二维坐标包括如下步骤：
将二维姿态估计网络应用于单人图像，得到的结果为所述单人图像中每个关节点的二维坐标预测值，描述为：
R＝Net1(I)
其中，I是单人图像，R是二维坐标预测值，Net1是二维姿态估计网络。
4.如权利要求3所述的三维人体姿态估计方法，其特征在于，使用三维姿态生成器预测关键点的第一三维坐标包括：
训练所述三维姿态生成器来预测关键点的第一三维坐标，得到第一三维人体姿态估计的结果，过程表示为：
P＝Net2(R)
其中，P是第一三维人体姿态估计的结果，Net2是三维姿态生成器。
5.如权利要求4所述的三维人体姿态估计方法，其特征在于，采用图神经网络作为所述三维姿态生成器，由所述二维坐标预测值到的结果构成一个图，将节点属性和卷积核变换到频域，每次更新后返回空域，表示为：
(gθ*h)G＝U((UTgθ)⊙(UTh))
其中，gθ为卷积核，h为节点的特征信息，U为根据图像的邻接关系通过拉普拉斯分解得到的特征矩阵，T是矩阵的转置。
6.如权利要求5所述的三维人体姿态估计方法，其特征在于，根据人体关节的对称结构将所述二维坐标作对称处理，再使用三维姿态生成器预测关键点的第二三维坐标包括：
根据人体对称性将所述二维坐标预测值作对称处理得到R’，训练所述三维姿态生成器来预测关键点的第一三维坐标，得到第二三维人体姿态估计的结果P’，过程表示为：
P′＝Net2(R′)。
7.如权利要求6所述的三维人体姿态估计方法，其特征在于，所述第一三维坐标和所述第二三维坐标分别与对应的标签计算差值并求和表示为：
L＝loss(P，T)+loss(P′，T′)
其中，L表示两个差值的和，loss表示差值，T，T’分别是第一三维坐标和第二三维坐标对应的标签。
8.如权利要求7所述的三维人体姿态估计方法，其特征在于，所述体检测网络采用YOLO系列或Mask RCNN网络；
所述二维姿态估计网络是Hourglass、Simple baseline或HRNet。
9.如权利要求8所述的三维人体姿态估计方法，其特征在于，所述三维姿态生成器为：用八个图神经网络层构成一个网络模块，输入特征信息hk的维度为2，每个层的输出维度分别为4,16,64,256,64,16,4,3，最终输出的特征信息hk代表第k个关键点的三维坐标。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-9任一项所述的方法。
CN202110118997.0A 2021-01-28 2021-01-28 一种三维人体姿态估计方法及计算机可读存储介质 Active CN112836618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110118997.0A CN112836618B (zh) 2021-01-28 2021-01-28 一种三维人体姿态估计方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110118997.0A CN112836618B (zh) 2021-01-28 2021-01-28 一种三维人体姿态估计方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112836618A true CN112836618A (zh) 2021-05-25
CN112836618B CN112836618B (zh) 2023-10-20

Family

ID=75932217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110118997.0A Active CN112836618B (zh) 2021-01-28 2021-01-28 一种三维人体姿态估计方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112836618B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651316A (zh) * 2020-12-18 2021-04-13 上海交通大学 二维和三维多人姿态估计系统及方法
CN113298922A (zh) * 2021-06-11 2021-08-24 深圳市优必选科技股份有限公司 人体姿态估计方法、装置及终端设备
CN113361378A (zh) * 2021-06-02 2021-09-07 合肥工业大学 一种运用适应性数据增强的人体姿态估计方法
CN113610966A (zh) * 2021-08-13 2021-11-05 北京市商汤科技开发有限公司 三维姿态调整的方法、装置、电子设备及存储介质
CN113610889A (zh) * 2021-06-30 2021-11-05 奥比中光科技集团股份有限公司 一种人体三维模型获取方法、装置、智能终端及存储介质
CN113780197A (zh) * 2021-09-15 2021-12-10 广州虎牙科技有限公司 动作姿态信息补全方法、电子设备及计算机可读存储介质
CN113947614A (zh) * 2021-10-25 2022-01-18 北京影谱科技股份有限公司 一种人体3d姿态估计方法、装置及系统
CN114037066A (zh) * 2022-01-07 2022-02-11 南昌虚拟现实研究院股份有限公司 数据处理方法、装置、电子设备及存储介质
CN114066986A (zh) * 2022-01-11 2022-02-18 南昌虚拟现实研究院股份有限公司 三维坐标的确定方法、装置、电子设备及存储介质
CN114494334A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 调整三维姿态的方法、装置、电子设备及存储介质
CN114663593A (zh) * 2022-03-25 2022-06-24 清华大学 三维人体姿态估计方法、装置、设备及存储介质
CN115578451A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597578A (zh) * 2018-04-27 2018-09-28 广东省智能制造研究所 一种基于二维骨架序列的人体运动评估方法
US20200193614A1 (en) * 2017-02-07 2020-06-18 MindMaze Holdiing SA Systems, methods, and apparatuses for tracking a body or portions thereof
US20200342270A1 (en) * 2019-04-26 2020-10-29 Tata Consultancy Services Limited Weakly supervised learning of 3d human poses from 2d poses
CN111968169A (zh) * 2020-08-19 2020-11-20 北京拙河科技有限公司 动态人体三维重建方法、装置、设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200193614A1 (en) * 2017-02-07 2020-06-18 MindMaze Holdiing SA Systems, methods, and apparatuses for tracking a body or portions thereof
CN108597578A (zh) * 2018-04-27 2018-09-28 广东省智能制造研究所 一种基于二维骨架序列的人体运动评估方法
US20200342270A1 (en) * 2019-04-26 2020-10-29 Tata Consultancy Services Limited Weakly supervised learning of 3d human poses from 2d poses
CN111968169A (zh) * 2020-08-19 2020-11-20 北京拙河科技有限公司 动态人体三维重建方法、装置、设备和介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOPENG JI ET AL.: "A survey on monocular 3D human pose estimation", 《VIRTUAL REALITY & INTELLIGENT HARDWARE》 *
周亚辉: "基于跨阶段深度网络的人体姿态分析", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651316A (zh) * 2020-12-18 2021-04-13 上海交通大学 二维和三维多人姿态估计系统及方法
CN112651316B (zh) * 2020-12-18 2022-07-15 上海交通大学 二维和三维多人姿态估计系统及方法
CN113361378A (zh) * 2021-06-02 2021-09-07 合肥工业大学 一种运用适应性数据增强的人体姿态估计方法
CN113298922A (zh) * 2021-06-11 2021-08-24 深圳市优必选科技股份有限公司 人体姿态估计方法、装置及终端设备
CN113298922B (zh) * 2021-06-11 2023-08-29 深圳市优必选科技股份有限公司 人体姿态估计方法、装置及终端设备
CN113610889B (zh) * 2021-06-30 2024-01-16 奥比中光科技集团股份有限公司 一种人体三维模型获取方法、装置、智能终端及存储介质
CN113610889A (zh) * 2021-06-30 2021-11-05 奥比中光科技集团股份有限公司 一种人体三维模型获取方法、装置、智能终端及存储介质
CN113610966A (zh) * 2021-08-13 2021-11-05 北京市商汤科技开发有限公司 三维姿态调整的方法、装置、电子设备及存储介质
WO2023015903A1 (zh) * 2021-08-13 2023-02-16 上海商汤智能科技有限公司 三维姿态调整的方法、装置、电子设备及存储介质
CN113780197A (zh) * 2021-09-15 2021-12-10 广州虎牙科技有限公司 动作姿态信息补全方法、电子设备及计算机可读存储介质
CN113947614A (zh) * 2021-10-25 2022-01-18 北京影谱科技股份有限公司 一种人体3d姿态估计方法、装置及系统
CN113947614B (zh) * 2021-10-25 2024-08-13 北京影谱科技股份有限公司 一种人体3d姿态估计方法、装置及系统
CN114037066A (zh) * 2022-01-07 2022-02-11 南昌虚拟现实研究院股份有限公司 数据处理方法、装置、电子设备及存储介质
CN114066986A (zh) * 2022-01-11 2022-02-18 南昌虚拟现实研究院股份有限公司 三维坐标的确定方法、装置、电子设备及存储介质
CN114494334A (zh) * 2022-01-28 2022-05-13 北京百度网讯科技有限公司 调整三维姿态的方法、装置、电子设备及存储介质
CN114663593A (zh) * 2022-03-25 2022-06-24 清华大学 三维人体姿态估计方法、装置、设备及存储介质
CN115578451A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置
CN115578451B (zh) * 2022-09-30 2024-01-23 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置

Also Published As

Publication number Publication date
CN112836618B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN112836618A (zh) 一种三维人体姿态估计方法及计算机可读存储介质
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN111311685B (zh) 一种基于imu与单目图像的运动场景重构无监督方法
JP6600009B2 (ja) ２部グラフラベルの調査によるファイングレイン画像分類
US11403758B2 (en) 3D/2D vascular registration method and its means
CN112232106B (zh) 一种二维到三维人体姿态估计方法
CN109583509B (zh) 数据生成方法、装置及电子设备
CN112837362A (zh) 获取空间定位的三维人体姿态估计方法及计算机可读存储介质
CN114067057A (zh) 一种基于注意力机制的人体重建方法、模型、装置
JP2023536074A (ja) 単眼カメラからのフル骨格３ｄ姿勢復元
CN110738650B (zh) 一种传染病感染识别方法、终端设备及存储介质
CN113096249A (zh) 训练顶点重建模型的方法、图像重建方法及电子设备
Jeruzalski et al. Nasa: Neural articulated shape approximation
CN116912299A (zh) 运动分解模型的医学图像配准方法、装置、设备及介质
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN106407932B (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
Zhou et al. Miper-MVS: Multi-scale iterative probability estimation with refinement for efficient multi-view stereo
Deng et al. CityCraft: A Real Crafter for 3D City Generation
CN111311732A (zh) 3d人体网格获取方法及装置
Dou et al. A conditional flow variational autoencoder for controllable synthesis of virtual populations of anatomy
CN115049764A (zh) Smpl参数预测模型的训练方法、装置、设备及介质
CN112508776B (zh) 动作迁移方法、装置和电子设备
Park et al. Template‐Based Reconstruction of Surface Mesh Animation from Point Cloud Animation
Wang et al. A novel multi-scale architecture driven by decoupled semantic attention transfer for person image generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant