CN113361570B - 基于联合数据增强和网络训练模型的3d人体姿态估计方法 - Google Patents

基于联合数据增强和网络训练模型的3d人体姿态估计方法 Download PDF

Info

Publication number
CN113361570B
CN113361570B CN202110569187.7A CN202110569187A CN113361570B CN 113361570 B CN113361570 B CN 113361570B CN 202110569187 A CN202110569187 A CN 202110569187A CN 113361570 B CN113361570 B CN 113361570B
Authority
CN
China
Prior art keywords
training
model
human body
data
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110569187.7A
Other languages
English (en)
Other versions
CN113361570A (zh
Inventor
杜松林
原志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110569187.7A priority Critical patent/CN113361570B/zh
Publication of CN113361570A publication Critical patent/CN113361570A/zh
Application granted granted Critical
Publication of CN113361570B publication Critical patent/CN113361570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于联合数据增强和网络训练模型的3D人体姿态估计方法，包括：调整训练预训练完成的图像‑2D序列的网络；预训练2D‑3D变换的级联残差网络；根据预训练的2D‑3D网络信息，奖励和惩罚函数的策略得到数据增强操作的分布；根据得到的增强分布，改进进化数据增强的算法来合成3D的人体姿态；联合优化数据增强和2D‑3D的网络训练，最终得到3D人体姿态估计的模型。本发明的有益效果在于：提出了基于奖励和惩罚函数策略的联合优化进化数据增强和网络训练的方法，通过网络训练中的信息来合成数据增强操作的分布，通过得到的增强分布来改进进化数据增强算法，使数据增强和模型训练相互促进，从而获得泛化性能更好的3D人体姿态估计模型。

Description

基于联合数据增强和网络训练模型的3D人体姿态估计方法
技术领域
本发明涉及一种基于联合数据增强和网络训练模型的3D人体姿态估计方法及装置技术,属于基于深度学习的计算机视觉技术领域。
背景技术
人体姿态估计指从特定的具有人体姿态的输入内容(图片或视频)，输出人体的姿态和各部分位置与关系的计算机视觉任务。在3维空间将人体姿态的表示出来的称为3D人体姿态估计。3D人体姿态估计已被广泛应用在人机交互、虚拟现实(VR)、运动分析等计算机视觉应用领域中。
凭借其强大的表示学习能力，深度学习的方法大大提高了3D人体姿态估计模型的准确性，并且使基于深度学习的人体姿态估计具有越来越好的发展前景。
基于深度学习的3D人体姿态估计算法主要可分为一阶段的3D人体姿态估计算法和两阶段的3D人体姿态估计算法等。
一阶段的3D人体姿态估计算法直接建立图片到3D人体姿态的映射关系，由于单个图像到3D人体姿势估计的深度模糊性，一阶段的3D人体姿态估计算法表现不尽如人意。
两阶段的3D人体姿态估计算法先从图片中回归2D的人体关节点位置，然后再将2D的人体关节点映射到3D空间。得益于2D人体姿态估计模型的取得了令人瞩目的效果，两阶段的3D人体姿态估计算法逐渐地成为了3D人体姿态估计的主流算法。
尽管基于深度学习的人体姿态估计方法取得了如此成功，但深度学习模型的训练仍需要大量标记数据的数量，因此训练数据直接决定了模型准确性的上限。特别地，对于3D人体姿态估计，这更为严重，因为在获取人体姿势数据集、收集准确的3D姿势标注的过程中需要大量的人力和时间成本，并且收集到的人体姿势都是在固定的场景下。因此，3D人体姿势数据集的问题成为制约模型性能提升的主要瓶颈。
为了解决模型由于缺少标记数据而引起的泛化性能差，一种基于进化算法来合成大量3D人体姿态的数据增强方法提供了好的解决思路。在进化数据增强算法中，人体姿势首先被表示为树状结构，然后通过交叉(交换两个亲代的两个部分)和变异(随机旋转局部骨骼)来合成新的数据样本。然后将进化增强算法合成的数据用于训练3D人体姿势估计网络，以达到更好的泛化性能。
然而，在提出的算法中，数据增强过程和姿势估计网络训练是分别进行的。这两个部分可以组合共同训练，相互促进来训练成为更有效的网络。
发明内容
技术问题：
针对上述3D人体姿态估计缺乏标记的数据集和进化数据增强难以合成有效的数据的问题，本发明的目的是提供一种基于联合数据增强和网络训练模型的3D人体姿态估计方法及装置，其能通过改进的进化数据增强算法合成3D的人体姿态数据集，并通过基于奖励和惩罚函数的策略来联合优化进化数据增强和3D人体姿态估计网络的训练，最终提高了3D人体姿态估计模型的泛化性能。
技术方案：
为实现上述目的，本发明采取以下技术方案：一种基于联合数据增强和网络训练模型的3D人体姿态估计方法，其包括：
步骤1、调整训练预训练完成的图像-2D序列的网络，同时将其输出作为2D-3D阶段网络模型的输入数据；
步骤2、预训练2D-3D的级联残差网络，将其作为判断进化数据增强算法合成的数据是否高效的参考；
步骤3、根据预训练的2D-3D网络信息，奖励和惩罚函数的策略得到数据增强操作的分布，将预训练模型的损失函数平均值作为参考依据，如果损失函数值小于平均值，则对相应的分布进行奖励操作，反之，则进行惩罚操作，最终得到新的数据增强操作的分布；
步骤4、根据得到的增强分布，改进进化数据增强的算法中的交叉和变异的操作，来合成3D的人体姿态；
步骤5、联合优化数据增强和2D-3D的网络训练，将步骤4中合成的新数据用于2D-3D姿态估计网络的训练，得到3D人体姿态估计的模型，使用新的姿态估计模型作为合成数据是否高效的依据，得到新的数据增强操作分布和合成新的数据集，再次用来训练人体姿态估计网络模型；
步骤6、重复联合训练多个轮次，进化数据增强算法合成的数据来持续训练姿态估计网络，姿态估计网络同时作为判断进化数据增强算法是否高效的依据。
作为本发明的进一步改进，所述步骤1在第一阶段的姿态估计模型训练完成后，通过训练完成的模型获得了实验数据集的2D关节点和关节点热图，模型输出得到的结果成为了第二阶段模型训练的数据集；2D姿态热图的表示方法降低了人体姿态估计模型第一阶段模型的完成积累对第二阶段的预测精度可能造成的影响。
作为本发明的进一步改进，所述步骤2训练完成的2D-3D的姿态估计网络，一方面是人体姿态估计网络模型的第二阶段的训练，另一方面训练数据集在预训练网络上的损失函数值，是作为判断特定的分布通过进化数据增强算法合成的数据是否高效的参考。
作为本发明的进一步改进，所述步骤3的具体方法是：
步骤3的算法要求的输入是：进行预训练模型的数据所对应的进化数据增强算法中的交叉和变异的分布P和预训练模型的损失函数值L。
步骤3的算法输出是根据预训练模型的损失函数值对进化数据增强算法中的交叉和变异的分布P进行奖励和惩罚之后更新的分布P’。
一个关键的问题是确定进行奖励或者惩罚的参考，3D人体姿态估计模型训练过程中的损失函数值正好满足了这个需求，损失函数值不但反应了模型的训练过程情况，而且还可以表示数据对训练过程的作用，损失函数值正好可以作为判断合成的数据对于3D人体姿态估计模型训练是否高效的依据。
在不同的训练阶段中，损失函数对于训练过程的反映是不同的，在训练的初期阶段，损失函数会有急剧的快速下降，而在训练的后期，损失函数则只有缓慢的下降，所以选择同一训练阶段的各个模型训练损失函数值的平均值作为当前阶段的评价参考，避免不同模型训练阶段的影响。
Figure BDA0003081967960000031
式中Loss是进化数据增强算法合成的数据的预训练模型中的损失函数值，n表示每个训练训练轮次中预训练模型的个数。
将当前阶段预训练的所有模型的损失函数值和得到的平均值进行比较，以确定合成用于训练模型的数据是否具有高效性。
如果Lossi<Lossaverage，那么对应的训练模型的数据是具有高效性的，对合成此数据集的分布P进行奖励。
Pi′＝Pi+α
Figure BDA0003081967960000032
α是奖励系数，其数值越大，表示奖励的作用程度越大，同时为了保持总概率分布恒定，对其他分布做相应的调整。
如果Lossi<Lossaverage，那么对应的训练模型的数据是不具有高效性的，对合成此数据集的分布P进行惩罚。
Pi′＝Pi-β
Figure BDA0003081967960000041
β是惩罚系数，其数值越大，表示惩罚的作用程度越大，同时为了保持总概率分布恒定，对其他分布做相应的调整。
得到相对于的经过奖励和惩罚函数策略依据损失函数值更新之后的进化数据增强算法中交叉和变异操作的分布概率P’。
作为本发明的进一步改进，所述步骤4在进化数据增强算法合成新数据的过程中，交叉和变异的操作节点的选择不是随机的，而是服从特定的概率分布的，考虑人体结构的特殊的威力特性和活动的规律性，人体结构是满足一定的规律的，随机选择的算法难以利用这种规律来合成新的数据，我们使用奖励和惩罚函数的策略来发掘交叉和变异操作的分布概率。
作为本发明的进一步改进，所述步骤5的具体方法是：
步骤5的算法要求的输入是：预训练完成的3D人体姿态估计模型HPE；用于训练模型的数据集X；进化数据增强算法中交叉和变异操作的分布概率P。
步骤5的算法要求的输出是：根据奖励和惩罚函数策略得到的新的交叉和变异操作的分布概率P′；进化数据增强算法合成的新数据集X’；由新的合成数据集训练得到的新3D人体姿态估计模型HPE′。
步骤5-1：使用输入的训练数据集X对3D人体姿态估计模型HPE进行预训练，得到一组新的姿态估计模型。
步骤5-2：计算训练数据集在预训练模型上的损失函数值，得到Loss作为判断合成的数据是否高效的依据。
步骤5-3：根据步骤3，使用奖励和惩罚函数的策略对交叉和变异操作的分布概率P进行更新，得到新的分布概率P′。
步骤5-4：使用新得到的交叉和变异操作的分布概率P′,进行进化数据增强的操作，得到新合成的数据集X’。
步骤5-5：使用新合成的数据集X′对输入的3D人体姿态估计模型进行训练，得到新的人体姿态估计模型HPE′。
在数据增强和姿态估计网络训练的联合优化过程中，数据增强和姿态估计网络训练是相互作用的，一方面，姿态估计网络模型评价并发掘高效数据增强的分布，使进化数据增强朝着高效的方向进行；另一方面，进化数据增强所合成的新数据集进一步提高了估计网络的性能，两者联合优化，相互促进。
作为本发明的进一步改进，所述步骤6将步骤1中训练的第一阶段的模型和步骤5中训练的第二阶段的模型连接到一起，最终得到以图片为输入、3D人体关节点为输出的3D人体姿态估计模型。
有益效果：
本发明是一种基于联合数据增强和网络训练模型的3D人体姿态估计方法，具有以下有益效果：
1、改进了进化数据增强算法，使进化数据增强算法中交叉和变异节点的选择由随机变为服从概率分布，合成了使3D人体姿态估计模型训练更高效的数据集，为3D人体姿态任务中缺少标记数据集的问题提供了解决方法。
2、联合训练了3D人体姿态估计的模型，在公开数据集的测试中提高了改进模型的精确度，并且表现出了优良的泛化性能。
3、奖励和惩罚函数的策略将数据增强和模型训练联合到了一起，将以往分开进行的两个过程共同优化，使两者相互增强，得到了高效率的算法。
综上，基于联合数据增强和网络训练模型的3D人体姿态估计方法不但改进了进化数据增强算法，而且得到了具有优良泛化性能的3D姿态估计模型，在人机交互、虚拟现实(VR)、智能安防等领域有着广泛的应用前景。
附图说明
图1是本发明的整体流程图；
图2是本发明方法训练完成的模型应用于3D人体姿态估计的实例1，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图3是本发明方法训练完成的模型应用于3D人体姿态估计的实例2，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图4是本发明方法训练完成的模型应用于3D人体姿态估计的实例3，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图5是本发明方法训练完成的模型应用于3D人体姿态估计的实例4，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图6是本发明方法训练完成的模型应用于3D人体姿态估计的实例5，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图7是本发明方法训练完成的模型应用于3D人体姿态估计的实例6，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图8是本发明方法训练完成的模型应用于3D人体姿态估计的实例7，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图9是本发明方法训练完成的模型应用于3D人体姿态估计的实例8，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点；
图10是本发明方法训练完成的模型应用于3D人体姿态估计的实例9，其中，左边部分是输入的图片和2D关节点，右边部分是预测输出的3D关节点。
具体实施方式
下面结合附图，对本发明提出的一种基于联合数据增强和网络训练模型的3D人体姿态估计方法进行详细说明：
如图所示，一种基于联合数据增强和网络训练模型的3D人体姿态估计方法，其包括：
步骤1、调整训练预训练完成的图像-2D序列的网络，使用预训练完成的2D姿态估计模型，在实验数据集上就行微调，得到用于第一阶段的图片-2D序列的人体姿态估计网络模型。
实验数据集是H36M，H36M是具有3D标注的最大、最准确的人体姿势数据集之一，它是由运动传感器收集的11个人的人体姿态。
使用图片-2D序列的人体姿态估计网络模型将H36M数据集的图片进行2D姿态的估计，得到了2D人体姿态关节点的热图。
步骤2、预训练2D-3D的级联残差网络，使用步骤1中得到的2D人体姿态热图作为模型的输入，H36M数据集的3D姿态标注作为标签。
2D-3D的模型由3个残差网络模块级联组成，每个残差网络模块有8层，2D-3D的姿态估计网络共24层。
2D-3D的姿态估计网络模型的输入是2D关节点坐标，形式为16*2；模型的输出是3D关节点坐标，形式为16*3。
步骤3、根据预训练的2D-3D网络信息，奖励和惩罚函数的策略得到数据增强操作的分布。
将步骤2中预训练得到的模型损失函数值作为判断的合成数据的分布是否高效的依据，通过奖励和惩罚函数的策略来更新进化数据增强算法中的分布，如图2中的所示，如果某个分布所合成的数据比较高效，相对应的分布就会增加。
分布所合成的数据的高效性是指在模型的训练过程中，给定分布合成数据相比较于随机产生的数据，使模型的损失函数下降的更多，则称所给定的分布通过进化数据增强合成的数据是高效的。
步骤4、根据步骤3得到的增强分布，通过改进进化数据增强的算法来合成3D的人体姿态。
在改进的进化数据增强算法中，交叉和变异的操作节点选择不再是随机的，而是根据得到的增强分布进行选择。
进化数据增强合成了新的数据，这使得使用算法合成数据可以用于3D人体姿态估计网络的训练。在人体姿态估计问题的解决中，缺少大规模的带有3D标注的数据集是一个主要的问题，进化数据增强合成的数据为这一问题的解决提供了方案。图3是真实的3D姿态数据和进化数据增强算法合成的数据的对比示意图。
步骤5、联合优化数据增强和2D-3D的网络训练，继续训练这个轮次中预训练之前模型，得到新的3D人体姿态估计模型。
在数据增强和姿态估计网络训练的联合优化过程中，姿态估计网络模型评价并发掘高效数据增强的分布，进化数据增强所合成的新数据集进一步提高了估计网络的性能，两者联合优化，相互促进。
步骤6、重复联合训练多个轮次，将得到的2D-3D的估计网络和步骤1中的第一阶段的网络模型连接，得到最终3D人体姿态估计的模型。
本发明是一种基于联合数据增强和网络训练模型的3D人体姿态估计方法，使用本方法训练完成的3D人体姿态估计模型可以运行在计算机或其他设备上。根据摄像头等采集设备得到的图像，预测出人体的3D姿态，可以应用在人机交互、虚拟现实(VR)等需要估计人体姿态的领域。
以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，凡是在此技术方案基础上所做的任何改动，都属于本发明提出的技术思想，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，具体步骤如下：
步骤1、调整训练预训练完成的图像-2D序列的网络,使用实验数据集在预训练完成的模型上做调整训练，得到3D人体姿态估计模型中的第一阶段的模型；
步骤2、预训练2D-3D的级联残差网络，使用人体的2D关节点或者关节点热图作为输入，得到初始阶段的2D-3D姿态估计模型；
步骤3、根据预训练的2D-3D网络信息，奖励和惩罚函数的策略得到数据增强操作的分布；以预训练姿态估计网络中损失函数的平均值为参考，如果一个分布通过进化数据增强算法合成的数据具有高效性，就对这个分布进行奖励；反之就对这个分布进行惩罚，得到进化数据增强算法中交叉和变异操作的新的分布；
步骤4、根据步骤3得到的增强分布，通过改进进化数据增强的算法来合成3D的人体姿态；
步骤5、联合优化数据增强和2D-3D的网络训练，继续训练这个轮次中预训练之前模型，得到新的3D人体姿态估计模型；
步骤6、重复联合训练多个轮次，将得到的2D-3D的估计网络和步骤1中的第一阶段的网络模型连接，得到最终3D人体姿态估计的模型。
2.根据权利要求1所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，所述步骤3中：
算法要求的输入是：进行预训练模型的数据所对应的进化数据增强算法中的交叉和变异的分布P和预训练模型的损失函数值L；
算法要求的输出是：根据预训练模型的损失函数值对进化数据增强算法中的交叉和变异的分布P进行奖励和惩罚之后更新的分布P’。
3.根据权利要求2所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，
同一训练阶段的各个训练模型的损失函数值的平均值作为当前阶段的评价参考，公式如下：
Figure FDA0003081967950000011
其中Loss是进化数据增强算法合成的数据的预训练模型中的损失函数值，n表示每个训练训练轮次中预训练模型的个数；
将当前阶段预训练的所有模型的损失函数值和得到的平均值进行比较，以确定合成用于训练模型的数据是否具有高效性；
如果Lossi<Lossaverage，那么对应的训练模型的数据是具有高效性的，对合成此数据集的分布P进行奖励；
Pi′＝Pi+α
Figure FDA0003081967950000021
其中α是奖励系数，其数值越大，表示奖励的作用程度越大，同时为了保持总概率分布恒定，对其他分布做相应的调整；
如果Lossi<Lossaverage，那么对应的训练模型的数据是不具有高效性的，对合成此数据集的分布P进行惩罚；
Pi′＝Pi-β
Figure FDA0003081967950000022
其中β是惩罚系数，其数值越大，表示惩罚的作用程度越大，同时为了保持总概率分布恒定，对其他分布做相应的调整；
得到相对于的经过奖励和惩罚函数策略依据损失函数值更新之后的进化数据增强算法中交叉和变异操作的分布概率P’。
4.根据权利要求3所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，所述步骤5中：
算法要求的输入是：预训练完成的3D人体姿态估计模型HPE；用于训练模型的数据集X；进化数据增强算法中交叉和变异操作的分布概率P；
算法要求的输出是：根据奖励和惩罚函数策略得到的新的交叉和变异操作的分布概率P′；进化数据增强算法合成的新数据集X’；由新的合成数据集训练得到的新3D人体姿态估计模型HPE′。
5.根据权利要求4所述的基于联合数据增强和网络训练模型的3D人体姿态估计方法，其特征在于，所述步骤5具体为：
步骤5-1：使用输入的训练数据集X对3D人体姿态估计模型HPE进行预训练，得到一组新的姿态估计模型；
步骤5-2：计算训练数据集在预训练模型上的损失函数值，得到Loss作为判断合成的数据是否高效的依据；
步骤5-3：根据步骤3，使用奖励和惩罚函数的策略对交叉和变异操作的分布概率P进行更新，得到新的分布概率P′；
步骤5-4：使用新得到的交叉和变异操作的分布概率P′,进行进化数据增强的操作，得到新合成的数据集X’；
步骤5-5：使用新合成的数据集X′对输入的3D人体姿态估计模型进行训练，得到新的人体姿态估计模型HPE′。
CN202110569187.7A 2021-05-25 2021-05-25 基于联合数据增强和网络训练模型的3d人体姿态估计方法 Active CN113361570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110569187.7A CN113361570B (zh) 2021-05-25 2021-05-25 基于联合数据增强和网络训练模型的3d人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110569187.7A CN113361570B (zh) 2021-05-25 2021-05-25 基于联合数据增强和网络训练模型的3d人体姿态估计方法

Publications (2)

Publication Number Publication Date
CN113361570A CN113361570A (zh) 2021-09-07
CN113361570B true CN113361570B (zh) 2022-11-01

Family

ID=77527569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110569187.7A Active CN113361570B (zh) 2021-05-25 2021-05-25 基于联合数据增强和网络训练模型的3d人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN113361570B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746381A (zh) * 2023-12-12 2024-03-22 北京迁移科技有限公司 位姿估计模型配置方法及位姿估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN111062326A (zh) * 2019-12-02 2020-04-24 北京理工大学 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN112597956A (zh) * 2020-12-30 2021-04-02 华侨大学 基于人体锚点集合与感知增强网络的多人姿态估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN111062326A (zh) * 2019-12-02 2020-04-24 北京理工大学 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN112597956A (zh) * 2020-12-30 2021-04-02 华侨大学 基于人体锚点集合与感知增强网络的多人姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的深度图姿态估计算法研究;王松等;《系统仿真学报》;20171108(第11期);全文 *
结合稀疏表示和深度学习的视频中3D人体姿态估计;王伟楠等;《中国图象图形学报》;20200316(第03期);全文 *

Also Published As

Publication number Publication date
CN113361570A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN111968217B (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN110069656B (zh) 一种基于生成对抗网络的二维图片检索三维模型的方法
CN112598775B (zh) 一种基于对比学习的多视图生成方法
CN115731441A (zh) 基于数据跨模态迁移学习的目标检测和姿态估计方法
CN111914618B (zh) 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN113051420B (zh) 一种基于文本生成视频机器人视觉人机交互方法及系统
CN107451617B (zh) 一种图转导半监督分类方法
CN113516133A (zh) 一种多模态图像分类方法及系统
CN111259950A (zh) 一种基于3d模型训练yolo神经网络的方法
CN113361570B (zh) 基于联合数据增强和网络训练模型的3d人体姿态估计方法
CN116343334A (zh) 融合关节捕捉的三流自适应图卷积模型的动作识别方法
CN113887501A (zh) 行为识别方法、装置、存储介质及电子设备
Jiang et al. Cross-level reinforced attention network for person re-identification
CN117058235A (zh) 跨多种室内场景的视觉定位方法
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN115661861A (zh) 基于动态时序多维自适应图卷积网络的骨架行为识别方法
CN115393735A (zh) 基于改进U-Net的遥感影像建筑物提取方法
CN114758205A (zh) 用于3d人体姿态估计的多视角特征融合方法及系统
CN114613011A (zh) 基于图注意力卷积神经网络的人体3d骨骼行为识别方法
CN114022362A (zh) 一种基于金字塔注意力机制和对称网络的图像超分辨率方法
Chen et al. Semantic segmentation using generative adversarial network
CN113064726B (zh) 基于稀疏性和Burer-Monteiro分解的分布式图像分割方法
CN116595343B (zh) 基于流形排序学习的在线无监督跨模态检索方法及系统
CN117553807B (zh) 基于激光雷达的自动驾驶导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant