CN110827383A - 三维模型的姿态模拟方法、装置、存储介质和电子设备 - Google Patents
三维模型的姿态模拟方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN110827383A CN110827383A CN201911167444.3A CN201911167444A CN110827383A CN 110827383 A CN110827383 A CN 110827383A CN 201911167444 A CN201911167444 A CN 201911167444A CN 110827383 A CN110827383 A CN 110827383A
- Authority
- CN
- China
- Prior art keywords
- target object
- image frame
- dimensional
- posture
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
Abstract
本申请提供一种三维模型的姿态模拟方法、装置、存储介质和电子设备，属于计算机技术领域。本申请先获取有序图像集合的每个图像帧中目标对象的姿态的二维数据，根据二维数据确定每个图像帧中目标对象的姿态的三维数据，然后按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整三维模型的姿态，得到三维模型的姿态序列。该方法根据目标对象的姿态的二维数据计算目标对象的姿态的三维数据，相比于现有通过三维姿态检测模型对图像中的目标对象进行三维姿态预测，运算量小，运算速度快，可以节约运算时间。同时，不需要存储三维姿态检测模型，可以节约存储空间。
Description
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种三维模型的姿态模拟方法、装置、存储介质和电子设备。
背景技术
随着计算机技术的迅速发展，三维(Three Dimensional，3D)建模技术在计算机视觉技术领域中得到广泛应用，例如，在影视动画和游戏娱乐、视频监控等领域的应用非常广泛。在游戏娱乐领域中，自游戏三维化开始，就有大量的人类角色和拟人化游戏角色的三维模型被创建出来。在游戏中，还可以通过三维模型来模拟现实中的目标对象的动作或姿态，以增加趣味性。
现有技术中，通过三维模型来模拟现实中的目标对象的动作或姿态时，通常先通过三维姿态检测模型对图像或视频中的目标对象进行三维姿态预测，得到目标对象的姿态的三维数据，然后根据目标对象的姿态的三维数据，调整三维模型的姿态，以使三维模型模拟目标对象的姿态。其中，三维姿态检测模型需要使用标注有三维数据标记的训练数据训练得到的。
上述方法至少存在如下缺陷：第一，三维姿态检测模型本身的数据量大，占用的存储空间大。第二，通过三维姿态检测模型对图像或视频中的目标对象进行三维姿态预测，运算量大，预测时间长。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种三维模型的姿态模拟方法、装置、存储介质和电子设备，可以减小运算量，缩短运算时间。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种三维模型的姿态模拟方法，所述方法包括：
获取有序图像集合的每个图像帧中目标对象的姿态的二维数据；
根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据；
按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟所述目标对象姿态的三维模型的姿态，得到所述三维模型的姿态序列。
第二方面，本申请实施例提供一种三维模型的姿态模拟装置，所述装置包括：
二维数据获取单元，用于获取有序图像集合的每个图像帧中目标对象的姿态的二维数据；
数据处理单元，用于根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据；
三维模型控制单元，用于按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟所述目标对象姿态的三维模型的姿态，得到所述三维模型的姿态序列。
在一种可选的实施例中，所述目标对象的姿态的二维数据包括目标对象的各个关键点的二维坐标，所述二维数据获取单元，还用于：
通过姿态检测模型，获取每个图像帧中目标对象的各个关键点的二维坐标。
在一种可选的实施例中，所述目标对象的姿态的三维数据包括目标对象的各个关键点的三维坐标；所述数据处理单元，还用于：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中目标对象的各个骨骼的实际长度，并估计每个图像帧中目标对象处于伸直状态时各个骨骼的参考长度；
根据每个图像帧中所述目标对象的各个骨骼的实际长度与参考长度的比值，确定每个图像帧中所述目标对象的各骨骼节点的深度方向旋转角度；
根据每个图像帧中所述目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中所述目标对象的各个关键点的三维坐标。
在一种可选的实施例中，所述数据处理单元，还用于：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置；
根据所述目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置，估计每个图像帧中所述目标对象的各个骨骼的参考长度。
在一种可选的实施例中，所述数据处理单元，还用于：
根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的设定骨骼的长度；
按照图像帧中设定骨骼的长度，将所有图像帧排序；
将排列在预设顺序比例范围内的图像帧作为有效图像帧；
根据每个有效图像帧中目标对象的关键点的二维坐标，确定每个有效图像帧中目标对象的各个骨骼的长度；
针对目标对象的每一个骨骼，将所有有效图像帧中所述骨骼的长度进行排序；
根据排列在预设比例位置的每一个骨骼的长度，确定所述目标对象的骨骼比例。
在一种可选的实施例中，所述数据处理单元，还用于：
根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的长度；
按照图像帧中目标对象的长度，将所有图像帧排序；
将排列在预设比例位置的图像帧中目标对象的长度，作为目标对象的整体长度；或者，将排列在预设顺序比例范围内的图像帧中目标对象的长度的平均值，作为目标对象的整体长度。
在一种可选的实施例中，所述数据处理单元，还用于：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中的最低关键点；
根据最低关键点的二维坐标以及预存的最低关键点的二维坐标与目标对象的深度位置的对应关系，确定每个图像帧中目标对象的深度位置。
在一种可选的实施例中，所述数据处理单元，还用于：
根据目标对象的整体长度和每个图像帧中目标对象的深度位置，确定每个图像帧中目标对象的参考长度；
根据每个图像帧中目标对象的参考长度和所述目标对象的骨骼比例，估计每个图像帧中所述目标对象的各个骨骼的参考长度。
在一种可选的实施例中，所述数据处理单元，还用于：
根据每个图像帧中所述目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中所述目标对象的各个关键点的深度坐标；
将每个图像帧中所述目标对象的各个关键点的二维坐标和深度坐标，组合为每个图像帧中所述目标对象的各个关键点的三维坐标。
在一种可选的实施例中，所述二维数据获取单元，还用于：
将每个图像帧输入姿态检测模型，获取每个图像帧中目标对象的各个关键点的初始二维坐标；
对图像帧中满足修正条件的关键点的初始二维坐标进行坐标修正，得到每个图像帧中目标对象的各个关键点的二维坐标；所述修正条件包括如下条件中的部分或全部：同一图像帧中根据目标对象的关键点的初始二维坐标确定的目标对象的姿态违反骨骼关节活动规律；同一关键点在相邻图像帧之间的移动幅度超出设定幅度；同一图像帧中相邻关键点之间的距离超出设定距离。
在一种可选的实施例中，所述二维数据获取单元，还用于：
对于满足修正条件的关键点，根据所述关键点所在的图像帧的相邻图像帧中对应关键点的初始二维坐标，确定所述关键点的二维坐标。
在一种可选的实施例中，所述装置还包括视频输出单元，用于：
根据所述三维模型的姿态序列，生成并输出三维动画视频。
第三方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的三维模型的姿态模拟方法。
第四方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的三维模型的姿态模拟方法。
本申请实施例的三维模型的姿态模拟方法、装置、存储介质和电子设备，先获取有序图像集合的每个图像帧中目标对象的姿态的二维数据，根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据，然后按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态，得到三维模型的姿态序列。该方法根据目标对象的姿态的二维数据计算目标对象的姿态的三维数据，相比于现有技术中通过三维姿态检测模型对图像中的目标对象进行三维姿态预测，运算量小，运算速度快，可以节约运算时间。同时，不需要存储三维姿态检测模型，可以节约存储空间。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的三维模型的姿态模拟方法的应用场景图；
图2为本申请实施例提供的三维模型的姿态模拟方法的流程示意图；
图3为本申请实施例提供的一种获取图像帧中目标对象的姿态的二维数据的示意图；
图4为本申请实施例提供的一种三维模型模拟图像帧中的目标对象的姿态的示意图；
图5为本申请实施例提供的一种修正目标对象的关键点的二维坐标的示意图；
图6为本申请实施例提供的另一种修正目标对象的关键点的二维坐标的示意图；
图7为本申请实施例提供的另一种修正目标对象的关键点的二维坐标的示意图；
图8为本申请实施例提供的另一种修正目标对象的关键点的二维坐标的示意图；
图9为本申请实施例提供的一种根据目标对象的姿态的二维数据确定目标对象的姿态的三维数据的流程示意图；
图10为本申请实施例提供的一种确定图像帧中目标对象的脊柱的实际长度与参考长度的示意图；
图11为本申请实施例提供的一种三维模型的姿态模拟装置的结构示意图；
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
下面结合附图及具体实施例对本申请作进一步详细的说明。
为了解决现有技术中通过三维姿态检测模型对图像或视频中的目标对象进行三维姿态预测，存在运算量大、预测时间长及成本高的问题，本申请实施例提供了一种三维模型的姿态模拟方法、装置、存储介质和电子设备。本申请实施例涉及人工智能和机器学习技术，基于人工智能中的计算机视觉(Computer Vision,CV)技术和机器学习(MachineLearning,ML)而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、图像检索、视频监控、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
计算机视觉技术是指用摄像机或电子设备上的摄像头代替人眼对目标对象进行识别、跟踪和测量等机器视觉，并进一步做图形处理，以代替人的视觉判读。本申请实施例基于计算机视觉技术对有序图像集合的图像帧进行特征提取，获取目标对象的姿态的二维数据，并对目标对象的姿态的二维数据进行处理，确定目标对象的姿态的三维数据。
机器学习用于研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径。本申请实施例在获取目标对象的姿态的二维数据的过程中，采用了基于机器学习的人工神经网络，如采用卷积神经网络(Convolutional NeuralNetwork，CNN)和深度神经网络(Deep neural network，DNN)等对训练图像中标注的目标对象的关键点的二维数据等进行学习，并利用学习结果从输入的图像帧中提取目标对象的姿态的二维数据。
由于现有技术中，通过三维姿态检测模型对图像或视频中的目标对象进行三维姿态预测。该方法至少存在如下缺陷：第一，三维姿态检测模型本身的数据量大，占用的存储空间大。第二，通过三维姿态检测模型对图像或视频中的目标对象进行三维姿态预测，运算量大，预测时间长。第三，训练一个合格的三维姿态检测模型，需要大量的训练数据，数据的标注成本很高，训练时间长，导致训练成本很高。
基于此，本申请实施例提供一种三维模型的姿态模拟方法、装置、存储介质和电子设备。本申请实施例的一种应用场景如图1所示，在图1所示的生成动画的场景中，先获取包含目标对象不同姿态的有序图像集合，比如拍摄包含目标对象的视频。获取有序图像集合的每个图像帧中目标对象的姿态的二维数据，获取有序图像集合的每个图像帧中目标对象的姿态的二维数据，根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据，按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态，得到三维模型的姿态序列。然后可以根据三维模型的姿态序列，渲染生成三维动画视频，输出至显示端进行播放。
本申请实施例根据目标对象的姿态的二维数据计算目标对象的姿态的三维数据，与现有技术中通过三维姿态检测模型对图像中的目标对象进行三维姿态预测相比，不仅运算量小，运算速度快，可以节约运算时间。而且，不需要训练三维姿态检测模型，可以节省训练成本，也不需要存储三维姿态检测模型，可以节约存储空间。
下文首先介绍本申请实施例提供的三维模型的姿态模拟方法，该方法可以应用于任意可以进行图像处理的电子设备，例如计算机、智能移动终端、服务器等。
图2示例性地给出了本申请实施例提供的三维模型的姿态模拟方法的流程示意图。下文结合图2，说明本申请实施例提供的三维模型的姿态模拟方法的执行过程。如图2所示，该方法包括以下步骤：
步骤S201，获取有序图像集合的每个图像帧中目标对象的姿态的二维数据。
其中，有序图像集合可以是视频，也可以是图像序列。有序图像集合可以是电子设备通过摄像头等图像采集装置实时采集的，也可以是预先保存在存储器中或通过网络下载得到的。目标对象可以是人，也可以是动物或其它生物，还可以是卡通人物等等，本申请实施例对此不作限制。
目标对象的姿态的二维数据包括目标对象的各个关键点的二维坐标。对于有序图像集合中的每个图像帧，可以通过姿态检测模型，获取每个图像帧中目标对象的各个关键点的二维坐标。例如，如图3所示，对于有序图像集合中的一个图像帧，可以通过姿态检测模型获取该图像帧中目标对象的各个关键点的二维坐标。其中，姿态检测模型可以采用预先训练好的CNN网络或DNN网络，其网络结构可以参照目标检测网络实现。需要说明的是，本领域技术人员也可以采用其他各种目标检测方法来检测图像帧中的目标对象的各个关键点的二维坐标。如果目标对象是人体，目标对象的关键点可以包括骨骼节点(关节点)，在一些实施例中，目标对象的关键点还可以包括五官关键点。
步骤S202，根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据。
其中，目标对象的姿态的三维数据包括目标对象的各个关键点的三维坐标。已知某个图像帧中目标对象的各个关键点的二维坐标，即各个关键点相对于x轴的坐标和相对于y轴的坐标，只要再获取目标对象的各个关键点的深度坐标，即各个关键点相对于z轴的坐标，就可以确定该图像帧中目标对象的各个关键点的三维坐标。如果可以确定该图像帧中目标对象的各骨骼节点的深度方向旋转角度，即各骨骼节点绕z轴的旋转角度，就可以计算得到目标对象的各个关键点的深度坐标。
因此，可以根据步骤S201中获取的每个图像帧中目标对象的各个关键点的二维坐标，先确定每个图像帧中目标对象的各个骨骼的实际长度，并估计每个图像帧中目标对象处于伸直状态时各个骨骼的参考长度。对于每个图像帧，目标对象的各个骨骼的参考长度为：在该图像帧中，若目标对象处于伸直状态时，各个骨骼的长度。伸直状态可以包括直立状态或其它自然伸直状态。根据每个图像帧中目标对象的各个骨骼的实际长度与参考长度的比值，确定每个图像帧中目标对象的各骨骼节点的深度方向旋转角度。根据每个图像帧中目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，可以确定每个图像帧中目标对象的各个关键点的三维坐标。
具体地说，对于任意一个图像帧，根据目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，可以计算得到目标对象的各个关键点的深度坐标，从而确定图像帧中目标对象的各个关键点的三维坐标。
步骤S203，按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟该目标对象姿态的三维模型的姿态，得到三维模型的姿态序列。
例如，对图3中的图像帧中目标对象的姿态的二维数据进行处理，得到该图像帧中目标对象的姿态的三维数据，根据得到的目标对象的姿态的三维数据调整三维模型的姿态，调整后的三维模型如图4所示。
假设有序图像集合为一个视频，视频中目标对象做出一连串的动作，通过本申请实施例提供的三维模型的姿态模拟方法，可以按照视频中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟该目标对象姿态的三维模型的姿态，得到的三维模型的姿态序列可以模拟视频中目标对象的动作过程。
可选地，得到三维模型的姿态序列之后，可以根据三维模型的姿态序列，渲染生成三维动画视频，并输出至显示端进行播放，使用户可以直观地看到通过三维模型模拟目标对象的动作过程的视频效果。
本申请实施例的三维模型的姿态模拟方法，先获取有序图像集合的每个图像帧中目标对象的姿态的二维数据，根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据，然后按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态，得到三维模型的姿态序列。该方法根据目标对象的姿态的二维数据计算目标对象的姿态的三维数据，与现有技术中通过三维姿态检测模型对图像中的目标对象进行三维姿态预测相比，不仅运算量小，运算速度快，可以节约运算时间。而且，不需要训练三维姿态检测模型，可以节省训练成本，也不需要存储三维姿态检测模型，可以节约存储空间。
本申请实施例采用已训练的姿态检测模型获取图像帧中目标对象的姿态的二维数据，相较于三维姿态检测模型，本申请实施例采用的姿态检测模型的数据量较小，占用的存储空间小。并且，训练时可以基于已经标注好数据标签的现有训练数据集进行训练，即使需要重新标注，由于只需要标注二维数据，需要标注的数据的量相对较少，数据的标注成本低。且相较于三维姿态检测模型，其训练时间大大缩短，训练成本大幅度降低。
本申请实施例采用的姿态检测模型训练过程如下：获取包含目标对象的不同姿态的多张图像作为训练图像，获取每一张训练图像中目标对象的姿态的二维标注数据，二维标注数据可以是标注的目标对象的各个关键点的二维坐标。将训练图像输入姿态检测模型，得到训练图像中目标对象的姿态的二维数据。将得到的目标对象的姿态的二维数据与训练图像中目标对象的姿态的二维标注数据进行对比，计算姿态检测模型的损失值。基于损失值对姿态检测模型的参数进行训练，即基于损失值调整姿态检测模型的参数，然后重复上述训练过程，直至损失值收敛至预设的期望值。
在上述训练过程中，计算损失值时使用的损失函数可以是但不限于多分类交叉熵损失函数、与度量学习相关的对比损失函数(contrastive Loss)或三元组损失函数(triplet Loss)等。
为了提高获取的每个图像帧中目标对象的姿态的二维数据的准确性，在一些实施例中，将每个图像帧输入姿态检测模型，获取每个图像帧中目标对象的各个关键点的初始二维坐标之后，可以对图像帧中满足修正条件的关键点的初始二维坐标进行坐标修正，从而得到每个图像帧中目标对象的各个关键点的二维坐标。其中，修正条件可以包括如下条件中的部分或全部：同一图像帧中根据目标对象的关键点的初始二维坐标确定的目标对象的姿态违反骨骼关节活动规律；同一关键点在相邻图像帧之间的移动幅度超出设定幅度；同一图像帧中相邻关键点之间的距离超出设定距离。可选地，对满足修正条件的关键点进行坐标修正时，可以根据该关键点所在的图像帧的相邻图像帧中对应关键点的初始二维坐标，确定该关键点的二维坐标。
例如，假设目标对象是人体，如图5所示，同一图像帧中根据目标对象的关键点的初始二维坐标确定的目标对象的姿态违反骨骼关节活动规律。如图5中的(a)所示，在正常情况下，人类不可能或较难实现该动作。此时，可以确定左膝盖关键点和右膝盖关键点的二维坐标需要修正。可以根据两个关键点所在的图像帧的相邻图像帧中对应关键点的初始二维坐标，分别确定两个关键点的二维坐标。对两个关键点的二维坐标进行修正后，可以得到图5中的(b)所示的目标对象的姿态。
具体地，可以预先设定并保存目标对象的骨骼关节活动规律，将确定的目标对象的姿态与预存的目标对象的骨骼关节活动规律进行比对，判断确定的目标对象的姿态是否违反骨骼关节活动规律。
再如，同一关键点在相邻图像帧之间的移动幅度超出设定幅度。如图6中的(a)所示，通过多个相邻的图像帧之间的对比，发现脚踝关键点的位置或者说移动方向剧烈波动，并且，在当前图像帧中出现关键点重叠的现象，此时，可以根据当前图像帧的相邻图像帧中与脚踝关键点对应的关键点的初始二维坐标，确定脚踝关键点的二维坐标。对脚踝关键点的二维坐标进行修正后，可以得到图6中的(b)所示的目标对象的姿态。
如图7中的(a)所示，同一关键点在相邻的多个图像帧中，出现突然的波动，可以根据该关键点所在的图像帧的相邻图像帧中对应关键点的初始二维坐标，确定该关键点的二维坐标，对该关键点的二维坐标进行修正，如图7中的(b)所示。
又如，同一图像帧中相邻关键点之间的距离超出设定距离。如图8中的(a)所示，腕关节关键点与肘关节关键点之间的距离超出设定距离，腕关节关键点明显偏离人体，此时，可以根据该腕关节关键点所在的图像帧的相邻图像帧中对应关键点的初始二维坐标，确定该腕关节关键点的二维坐标。对腕关节关键点的二维坐标进行修正后，可以得到图8中的(b)所示的目标对象的姿态。
具体地，可以预存目标对象的每两个相邻关键点之间的设定距离，将得到的任意两个相邻关键点之间的距离与预存的这两个相邻关键点之间的设定距离进行比对，判断两个相邻关键点之间的距离是否超出设定距离。
通过上述修正过程，可以使得到的目标对象的各个关键点的二维坐标更准确，基于更准确的二维数据确定目标对象的姿态的三维数据，也将提高得到的三维数据的准确性。
为了更便于理解本申请实施例中由目标对象的姿态的二维数据确定目标对象的姿态的三维数据的具体过程。下文结合图9详细说明在一个具体实施例中，步骤S202的实施过程。如图9所示，以一个图像帧为例，根据目标对象的姿态的二维数据确定目标对象的姿态的三维数据的过程，包括如下步骤：
步骤S901，根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置。
目标对象的骨骼比例指目标对象的各个骨骼的长度的比值。示例性地，可以将某个指定骨骼作为基准，将该指定骨骼的长度看作1，确定除该指定骨骼之外的其它各骨骼与该指定骨骼长度的比值；也可以将目标对象的整体长度作为基准，将目标对象的整体长度看作1，确定目标对象的各个骨骼的长度与目标对象的整体长度的比值。
同一个目标对象在不同的图像帧中，其骨骼比例和整体长度相同。如果目标对象是人体，目标对象的整体长度与人的身高相关，身高越高，目标对象的整体长度越长。
目标对象的深度位置可以理解为目标对象与摄像头之间的距离，在不同的图像帧中，目标对象的深度位置可能会不同。每个图像帧具有对应的目标对象的深度位置。在三维坐标系中，目标对象的深度位置通过目标对象沿z轴的位置表示。
确定目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置的具体方法，将在下文中详细介绍。
步骤S902，根据目标对象的骨骼比例、目标对象的整体长度和该图像帧中目标对象的深度位置，确定图像帧中目标对象的各个骨骼的参考长度。
其中，目标对象的各个骨骼的参考长度为：在该图像帧中，若目标对象处于伸直状态时，各个骨骼的长度。
由于在不同的图像帧中，目标对象的深度位置可能不同，因此，在不同的图像帧中，目标对象的参考长度可能不同。在一个图像帧中，目标对象的参考长度指：在该图像帧中，若目标对象处于伸直状态时，目标对象的长度。目标对象的参考长度与目标对象的整体长度和目标对象的深度位置相关。例如，一个人的身高确定，假设这个人一直处于直立状态，当这个人距离摄像头较近时，在对应的图像帧中，这个人的长度会较长；当这个人距离摄像头较远时，在对应的图像帧中，这个人的长度会较短。也就是说，目标对象的整体长度确定，假设目标对象处于伸直状态，当目标对象距离摄像头较近时，在对应的图像帧中，目标对象的参考长度较长；当目标对象距离摄像头较远时，在对应的图像帧中，目标对象的参考长度较短。而当目标对象的深度位置确定时，目标对象的参考长度与目标对象的整体长度成正比。
由上述分析可知，当目标对象的深度位置发生变化时，目标对象的长度会相应发生变化，目标对象的深度位置与目标对象的长度变化之间具有一定的对应关系。可以根据各个图像帧中目标对象的长度与目标对象的深度位置，确定目标对象的深度位置与目标对象的长度变化之间的对应关系。目标对象的深度位置与目标对象的长度变化之间的对应关系指：目标对象在不同的深度位置时，目标对象的参考长度与目标对象的整体长度之间的比值。例如，当目标对象的深度位置为zn时，目标对象的参考长度为目标对象的整体长度的1/2。
可以根据目标对象的整体长度和该图像帧中目标对象的深度位置，结合目标对象的深度位置与目标对象的长度变化之间的对应关系，确定该图像帧中目标对象的参考长度。根据每个图像帧中目标对象的参考长度和目标对象的骨骼比例，确定该图像帧中目标对象的各个骨骼的参考长度。
步骤S903，根据该图像帧中目标对象的各个关键点的二维坐标，确定该图像帧中目标对象的各个骨骼的实际长度。
目标对象的某个骨骼的实际长度指该骨骼在图像帧中呈现的真实长度。例如，当某个骨骼与摄像头的成像平面垂直时，即该骨骼与x轴和y轴定义的平面垂直，该骨骼的延伸方向与z轴平行，此时，该骨骼在图像帧中的实际长度为0。根据图像帧中目标对象的各个关键点的二维坐标，可以求得图像帧中目标对象的各个骨骼的实际长度。
在一些实施例中，步骤S903也可以在步骤S901之前执行。本申请实施例并不限定步骤之间的具体执行顺序。
步骤S904，根据该图像帧中目标对象的各个骨骼的实际长度与参考长度的比值，确定该图像帧中目标对象的各骨骼节点的深度方向旋转角度。
骨骼与骨骼节点之间具有相互对应的关系，例如，脊柱与腰椎关节对应，小臂骨骼与肘关节对应，大臂骨骼与肩关节对应等。
譬如，假设目标对象为人体，如图10所示，在某个图像帧中，若目标对象处于直立状态，如图10中的(a)所示，其脊柱的长度为a，即目标对象的脊柱的参考长度为a。而实际上，在该图像帧中，目标对象正在向前弯腰，如图10中的(b)所示，此时脊柱的长度为b，即目标对象的脊柱的实际长度为b。根据该图像帧中目标对象的脊柱的实际长度b与脊柱的参考长度a的比值，可以确定该图像帧中目标对象的腰椎关节的深度方向旋转角度。目标对象的腰椎关节的深度方向旋转角度θ＝arcos(b/a)。
通过上述方法确定该图像帧中腰椎关节的深度方向旋转角度，即可确定脊柱及躯干在深度方向的旋转角度。可选地，可以根据五官关键点的位置、脚部弯曲朝向、四肢移动位置及多个图像帧中目标对象的运动规律，对脊柱及躯干在深度方向的旋转角度进行修正。
需要说明的是，如果图像帧中某个骨骼的实际长度与参考长度的比值为1或接近1的数值时，说明该骨骼对应的骨骼节点在深度方向的旋转角度为0。例如，如果在某个图像帧中，脊柱的实际长度与脊柱的参考长度相等，则说明在该图像帧中，腰椎关节在深度方向的旋转角度为0。
在一种实施例中，为减少误差，可以根据脊柱及躯干在深度方向的旋转角度，将该图像帧中目标对象的关键点的投影分别旋转至最接近的正面、左侧面、背面或右侧面。例如，当目标对象背对摄像头时，可以将目标对象的关键点的投影旋转至目标对象的背面。根据脊柱及躯干在深度方向的旋转角度，以及四肢中上肢各骨骼的实际长度与参考长度的比值，确定四肢中上肢各骨骼关节在深度方向的旋转角度。根据四肢中上肢各骨骼关节在深度方向的旋转角度，将四肢中下肢各个关键点旋转到上肢各骨骼延伸方向的垂直方向，根据四肢中下肢各骨骼的实际长度与参考长度的比值，确定四肢中下肢各骨骼关节在深度方向的旋转角度。
步骤S905，根据图像帧中目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定图像帧中目标对象的各个关键点的三维坐标。
根据图像帧中目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，可以确定每个图像帧中目标对象的各个关键点的深度坐标。将图像帧中目标对象的各个关键点的二维坐标和深度坐标，组合为该图像帧中目标对象的各个关键点的三维坐标。
以下以目标对象的一个关键点进行举例说明。例如，在图10中(b)所示的图像帧中，以腰椎关节关键点为基准，假设腰椎关节关键点为x轴、y轴和z轴的交汇点(坐标原点)，目标对象的脊柱上的某个关键点的二维坐标为(x1,y1)，在上述步骤中已经求得，目标对象的腰椎关节的深度方向旋转角度为θ，则该关键点的深度坐标z1可以通过如下公式计算得到：
从而可以得出，目标对象的脊柱上的该关键点的三维坐标为(x1,y1,z1)。
为了便于理解，上述举例直接以腰椎关节关键点为坐标原点进行计算，在一些实施例中，一些关键点的深度坐标的计算公式可能更为繁琐，可能会参考相关联的其它关键点的坐标进行计算，但是，其计算原理和推算方法与上述公式相同，在此不再一一赘述。
获得图像帧中目标对象的各个关键点的三维坐标，即得到图像帧中目标对象的姿态的三维数据。根据图像帧中目标对象的姿态的三维数据，调整用于模拟目标对象姿态的三维模型的姿态，三维模型为预先建立好的三维模型。例如，如果目标对象为人体，则三维模型可以是人体的三维立体模型；如果目标对象为小狗，则三维模型可以是狗的三维立体模型。
获得视频的每个图像帧中目标对象的姿态的三维数据，可以按照视频中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态，得到三维模型的姿态序列。
在根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态时，可以通过预设函数控制三维模型的头发、衣物等与目标对象的骨骼绑定运动。为了增加逼真感，还可以通过重力预设函数增加重力场，使三维模型的头发、衣物等呈现自然飘动的状态。
在一种实施例中，步骤S901中根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的骨骼比例的具体实现过程，可以包括如下步骤：
步骤a1：根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的设定骨骼的实际长度。
示例性地，假设目标对象为人体，目标对象的设定骨骼可以是脊柱。
步骤a2：按照每个图像帧中设定骨骼的实际长度，将所有图像帧排序。
步骤a3：将排列在第一预设顺序比例范围内的图像帧作为有效图像帧。
根据人类活动规律，一般情况下，认为在至少50％的情况下，人类的脊柱处于直立状态。即在一段视频中，人体处于直立状态的图像帧应该占视频的所有图像帧的50％以上。按照每个图像帧中脊柱的实际长度由大到小的排序，将所有图像帧排序，将顺序排列在10％～60％之间的图像帧作为有效图像帧。例如，假设共有100个图像帧，将100个图像帧按照脊柱在图像帧中的实际长度由大到小排序后，可以取排列在第10个至第60个之间的图像帧作为有效图像帧。排除前10％的图像帧是为了尽量避免误差，因为排列在前10％的图像帧中脊柱的实际长度可能是计算时出现误差导致其数值较大。而排列在后40％的图像帧则可能是因为脊柱出现弯曲，如弯腰等情况导致的。因此，认为排列在10％～60％之间的图像帧中，脊柱是处于伸直状态的。
可以理解的是，也可以按照每个图像帧中脊柱的实际长度由小到大的排序，将所有图像帧排序，将顺序排列在40％～90％之间的图像帧作为有效图像帧。
需要说明的是，上述第一预设顺序比例范围10％～60％，以及40％～90％仅是示例性地，在不同的实施例中，第一预设顺序比例范围也可以是其它范围，本申请实施例对此不作限定。
步骤a4：根据每个有效图像帧中目标对象的关键点的二维坐标，确定每个有效图像帧中目标对象的各个骨骼的长度。
步骤a5：针对目标对象的每一个骨骼，将所有有效图像帧中该骨骼的长度进行排序。
步骤a6：根据排列在第一预设比例位置的每一个骨骼的长度，确定目标对象的骨骼比例。
例如，对于目标对象的上臂骨骼，可以按照由小到大的顺序，将所有有效图像帧中上臂骨骼的长度进行排序，提取排列在第一预设比例位置的上臂骨骼的长度，认为该长度为上臂骨骼处于伸直状态时的长度。其中，第一预设比例位置可以是位于90％处的位置，也可以是其它比例位置。
对于目标对象的小臂骨骼，同样可以按照由小到大的顺序，将所有有效图像帧中小臂骨骼的长度进行排序，提取排列在第一预设比例位置的小臂骨骼的长度，认为该长度为小臂骨骼处于伸直状态时的长度。其中，第一预设比例位置可以是位于90％处的位置，也可以是其它比例位置。
对于目标对象的脊柱，也可以采用上述方法确定其处于伸直状态时的长度。总之，按照上述方法，可以得到目标对象的每一个骨骼处于伸直状态时的长度。在一种实施例中，在不需要特别精确的三维数据的情况下，获得人体的主要骨骼(一般包括10根骨骼)的位置和姿态，即可对人体的姿态进行预测和模拟。因此，获得目标对象的10根主要骨骼处于伸直状态时的长度即可。得到目标对象的每一个骨骼处于伸直状态时的长度，可以确定各个骨骼的长度比例，即目标对象的骨骼比例。
在一种实施例中，步骤S901中根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的整体长度的具体实现过程，可以包括如下步骤：
步骤b1：根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的长度。
步骤b2：按照图像帧中目标对象的长度，将所有图像帧排序。
步骤b3：将排列在第二预设比例位置的图像帧中目标对象的长度，作为目标对象的整体长度。
例如，可以按照图像帧中目标对象的长度由小到大的顺序，将所有图像帧排序，将排列在第二预设比例位置的图像帧中目标对象的长度，作为目标对象的整体长度。其中，第二预设比例位置可以与第一预设比例位置相同，也可以不同。如，第二预设比例位置可以是位于所有图像帧中80％处的位置，也可以是其它比例位置。
在另一种实施例中，步骤S901中根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的整体长度的具体实现过程，可以包括如下步骤：
步骤c1：根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的长度。
步骤c2：按照图像帧中目标对象的长度，将所有图像帧排序。
步骤c3：将排列在第二预设顺序比例范围内的图像帧中目标对象的长度的平均值，作为目标对象的整体长度。
例如，可以按照图像帧中目标对象的长度由小到大的顺序，将所有图像帧排序，将顺序排列在第二预设顺序比例范围内的图像帧作为有效图像帧，将所有有效图像帧中目标对象的长度的平均值，作为目标对象的整体长度。其中，第二预设顺序比例范围可以与第一预设顺序比例范围相同，也可以不同。第二预设顺序比例范围可以取值为40％～90％，即取人体处于直立状态的图像帧作为有效图像帧，排除人体处于弯腰、蹲下等动作状态的图像帧。该方式可以减小误差，提高计算得到的目标对象的整体长度的准确度。
在一种实施例中，步骤S901中根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中目标对象的深度位置的具体实现过程，可以包括如下步骤：
步骤d1，根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中的最低关键点。
图像帧中的最低关键点指图像帧中纵坐标(y轴坐标)最小的关键点。获取一个图像帧中的最低关键点，作为该图像帧中，目标对象的着地点。在图像帧中，目标对象的着地点的坐标不同，主要是纵坐标不同，说明该目标对象与摄像头之间的距离不同，即该目标对象所处的深度位置不同。
在一些实施例中，考虑到个别图像帧中可能存在目标对象跳起离开地面的情况。因此，如果多个相邻图像帧中，目光对象的着地点出现较大波动，对于着地点波动较大的当前图像帧，可以根据与其相邻的前后图像帧中着地点的坐标对当前图像帧中着地点的坐标进行修正。
步骤d2，根据最低关键点的二维坐标以及预存的最低关键点的二维坐标与目标对象的深度位置的对应关系，确定每个图像帧中目标对象的深度位置。
在一些实施例中，可以预先保存最低关键点的二维坐标与目标对象的深度位置之间的对应关系，根据最低关键点的二维坐标，以及预存的最低关键点的二维坐标与目标对象的深度位置的对应关系，确定每个图像帧中目标对象的深度位置。例如，预先测定并保存最低关键点的纵坐标与目标对象的深度位置之间的对应关系。根据最低关键点的纵坐标以及预存的最低关键点的纵坐标与目标对象的深度位置的对应关系，确定每个图像帧中目标对象的深度位置。
在一些实施例中，可以按照图像帧中目标对象的长度，将所有图像帧排序，将顺序排列在第二预设顺序比例范围内的图像帧作为有效图像帧，根据所有有效图像帧中目标对象的长度和目标对象的深度位置，确定目标对象的深度位置与目标对象的长度变化之间的对应关系。然后，根据目标对象的整体长度和每个图像帧中目标对象的深度位置，以及目标对象的深度位置与目标对象的长度变化之间的对应关系，确定每个图像帧中目标对象的参考长度，根据每个图像帧中目标对象的参考长度和目标对象的骨骼比例，确定每个图像帧中目标对象的各个骨骼的参考长度。还可以根据目标对象的深度位置与目标对象的长度变化之间的对应关系，确定摄像头的位置及倾斜角度，配置3D场景中的相机，根据相机位置和倾斜角度可以确定三维模型的展示角度和位置。
为了更方便理解本申请实施例提供的三维模型的姿态模拟方法，以下通过一具体实例说明本申请实施例提供的三维模型的姿态模拟方法的执行过程。该过程包括如下步骤：
步骤a，拍摄包含目标对象的视频；
步骤b，通过姿态检测模型，获取视频的每个图像帧中目标对象的各个关键点的初始二维坐标；
步骤c，对图像帧中存在识别误差的关键点的初始二维坐标进行修正，得到每个图像帧中目标对象的各个关键点的二维坐标；
步骤d，根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置；
步骤e，根据目标对象的整体长度和每个图像帧中目标对象的深度位置，确定每个图像帧中目标对象的参考长度；
步骤f，根据每个图像帧中目标对象的参考长度和所述目标对象的骨骼比例，估计每个图像帧中所述目标对象的各个骨骼的参考长度；
步骤g，根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中目标对象的各个骨骼的实际长度；
步骤h，根据每个图像帧中目标对象的各个骨骼的实际长度与参考长度的比值，确定每个图像帧中目标对象的各骨骼节点的深度方向旋转角度；
步骤i，根据每个图像帧中目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中目标对象的各个关键点的深度坐标；
步骤j，将每个图像帧中目标对象的各个关键点的二维坐标和深度坐标，组合为每个图像帧中目标对象的各个关键点的三维坐标，即可得到每个图像帧中目标对象的姿态的三维数据；
步骤k，按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态，得到三维模型的姿态序列；
步骤l，根据三维模型的姿态序列，生成并输出三维动画视频。
通过本申请实施例提供的三维模型的姿态模拟方法，可以按照视频中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟该目标对象姿态的三维模型的姿态，得到的三维模型的姿态序列可以模拟视频中目标对象的动作过程。本申请实施例提供的三维模型的姿态模拟方法，可以适用于对精度要求不特别高的游戏娱乐、影视动画以及其它场景中，其运算量小，运算速度快。
与上述方法实施例相对应地，本申请实施例还提供了一种三维模型的姿态模拟装置。图11为本申请实施例的提供的三维模型的姿态模拟装置的结构示意图；如图11所示，该三维模型的姿态模拟装置包括二维数据获取单元111、数据处理单元112和三维模型控制单元113。其中，
二维数据获取单元111，用于获取有序图像集合的每个图像帧中目标对象的姿态的二维数据；
数据处理单元112，用于根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据；
三维模型控制单元113，用于按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟该目标对象姿态的三维模型的姿态，得到该三维模型的姿态序列。
在一种可选的实施例中，该目标对象的姿态的二维数据包括目标对象的各个关键点的二维坐标，该二维数据获取单元111，还可以用于：
通过姿态检测模型，获取每个图像帧中目标对象的各个关键点的二维坐标。
在一种可选的实施例中，该目标对象的姿态的三维数据包括目标对象的各个关键点的三维坐标；该数据处理单元112，还可以用于：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中目标对象的各个骨骼的实际长度，并估计每个图像帧中目标对象处于伸直状态时各个骨骼的参考长度；
根据每个图像帧中该目标对象的各个骨骼的实际长度与参考长度的比值，确定每个图像帧中该目标对象的各骨骼节点的深度方向旋转角度；
根据每个图像帧中该目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中该目标对象的各个关键点的三维坐标。
在一种可选的实施例中，该数据处理单元112，还可以用于：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置；
根据该目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置，确定每个图像帧中该目标对象的各个骨骼的参考长度。
在一种可选的实施例中，该数据处理单元112，还可以用于：
根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的设定骨骼的长度；
按照图像帧中设定骨骼的长度，将所有图像帧排序；
将排列在预设顺序比例范围内的图像帧作为有效图像帧；
根据每个有效图像帧中目标对象的关键点的二维坐标，确定每个有效图像帧中目标对象的各个骨骼的长度；
针对目标对象的每一个骨骼，将所有有效图像帧中该骨骼的长度进行排序；
根据排列在预设比例位置的每一个骨骼的长度，确定该目标对象的骨骼比例。
在一种可选的实施例中，该数据处理单元112，还可以用于：
根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的长度；
按照图像帧中目标对象的长度，将所有图像帧排序；
将排列在预设比例位置的图像帧中目标对象的长度，作为目标对象的整体长度；或者，将排列在预设顺序比例范围内的图像帧中目标对象的长度的平均值，作为目标对象的整体长度。
在一种可选的实施例中，该数据处理单元112，还可以用于：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中的最低关键点；
根据预存的最低关键点的二维坐标与目标对象的深度位置的对应关系，确定每个图像帧中目标对象的深度位置。
在一种可选的实施例中，该数据处理单元112，还可以用于：
根据目标对象的整体长度和每个图像帧中目标对象的深度位置，确定每个图像帧中目标对象的参考长度；
根据每个图像帧中目标对象的参考长度和该目标对象的骨骼比例，确定每个图像帧中该目标对象的各个骨骼的参考长度。
在一种可选的实施例中，该数据处理单元112，还可以用于：
根据每个图像帧中该目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中该目标对象的各个关键点的深度坐标；
将每个图像帧中该目标对象的各个关键点的二维坐标和深度坐标，组合为每个图像帧中该目标对象的各个关键点的三维坐标。
在一种可选的实施例中，该二维数据获取单元111，还可以用于：
将每个图像帧输入姿态检测模型，获取每个图像帧中目标对象的各个关键点的初始二维坐标；
对图像帧中满足修正条件的关键点的初始二维坐标进行坐标修正，得到每个图像帧中目标对象的各个关键点的二维坐标；该修正条件包括如下条件中的部分或全部：同一图像帧中根据目标对象的关键点的初始二维坐标确定的目标对象的姿态违反骨骼关节活动规律；同一关键点在相邻图像帧之间的移动幅度超出设定幅度；同一图像帧中相邻关键点之间的距离超出设定距离。
在一种可选的实施例中，该二维数据获取单元111，还可以用于：
对于满足修正条件的关键点，根据该关键点所在的图像帧的相邻图像帧中对应关键点的初始二维坐标，确定该关键点的二维坐标。
在一种可选的实施例中，上述三维模型的姿态模拟装置还包括视频输出单元，视频输出单元与三维模型控制单元113连接，用于：
根据三维模型的姿态序列，生成并输出三维动画视频。
本申请实施例的三维模型的姿态模拟装置，先获取有序图像集合的每个图像帧中目标对象的姿态的二维数据，根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据，然后按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态，得到三维模型的姿态序列。该方法根据目标对象的姿态的二维数据计算目标对象的姿态的三维数据，相比于现有技术中通过三维姿态检测模型对图像中的目标对象进行三维姿态预测，运算量小，运算速度快，可以节约运算时间。同时，不需要训练三维姿态检测模型，可以节省训练成本，也不需要存储三维姿态检测模型，可以节约存储空间。
与上述方法实施例相对应地，本申请实施例还提供了一种电子设备。该电子设备可以是服务器，也可以是智能手机、平板电脑，手提电脑或计算机等电子设备，该电子设备至少包括用于存储数据的存储器和用于数据处理的处理器。其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、CPU、GPU(Graphics Processing Unit，图形处理单元)、DSP或FPGA实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行代码，通过该操作指令来实现上述本申请实施例的三维模型的姿态模拟方法的流程中的各个步骤。
图12为本申请实施例提供的一种电子设备的结构示意图；如图12所示，本申请实施例中该电子设备120包括：处理器121、显示器122、存储器123、输入设备126、摄像头127、总线125和通讯设备124；该处理器121、存储器123、输入设备126、显示器122和通讯设备124均通过总线125连接，该总线125用于该处理器121、存储器123、显示器122、通讯设备124和输入设备126之间传输数据。
其中，存储器123可用于存储软件程序以及模块，如本申请实施例中的三维模型的姿态模拟方法对应的程序指令/模块，处理器121通过运行存储在存储器123中的软件程序以及模块，从而执行电子设备120的各种功能应用以及数据处理，如本申请实施例提供的三维模型的姿态模拟方法。存储器123可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备120的使用所创建的数据(比如有序图像集合、三维模型)等。此外，存储器123可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器121是电子设备120的控制中心，利用总线125以及各种接口和线路连接整个电子设备120的各个部分，通过运行或执行存储在存储器123内的软件程序和/或模块，以及调用存储在存储器123内的数据，执行电子设备120的各种功能和处理数据。可选的，处理器121可包括一个或多个处理单元，如CPU、GPU(Graphics Processing Unit，图形处理单元)、数字处理单元等。
本申请实施例中，处理器121还可以按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟目标对象姿态的三维模型的姿态，得到三维模型的姿态序列，并通过显示器122展示得到的三维模型的姿态序列。
处理器121还可以通过通讯设备124连接网络，获取有序图像集合或传输生成的三维模型的姿态序列等。
该输入设备126主要用于获得用户的输入操作，当该电子设备不同时，该输入设备126也可能不同。例如，当该电子设备为计算机时，该输入设备126可以为鼠标、键盘等输入设备；当该电子设备为智能手机、平板电脑等便携设备时，该输入设备126可以为触控屏。
摄像头127可以拍摄用户期望的图像或视频，并且将所拍摄的视频存储在存储器123中以供其它组件使用。例如，摄像头127可以用于拍摄包含目标对象的视频等，可选地，摄像头127可以采用RGB(彩色)摄像头。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于实现本申请任一实施例所述的三维模型的姿态模拟方法。
在一些可能的实施方式中，本申请提供的三维模型的姿态模拟方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的三维模型的姿态模拟方法的步骤，例如，所述计算机设备可以执行如图2所示的步骤S201～S203中三维模型的姿态模拟流程。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (15)
1.一种三维模型的姿态模拟方法，其特征在于，包括：
获取有序图像集合的每个图像帧中目标对象的姿态的二维数据；
根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据；
按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟所述目标对象姿态的三维模型的姿态，得到所述三维模型的姿态序列。
2.根据权利要求1所述的方法，其特征在于，所述目标对象的姿态的二维数据包括目标对象的各个关键点的二维坐标，所述获取视频的每个图像帧中目标对象的姿态的二维数据，包括：
通过姿态检测模型，获取每个图像帧中目标对象的各个关键点的二维坐标。
3.根据权利要求2所述的方法，其特征在于，所述目标对象的姿态的三维数据包括目标对象的各个关键点的三维坐标；所述根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据，包括：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中目标对象的各个骨骼的实际长度，并估计每个图像帧中目标对象处于伸直状态时各个骨骼的参考长度；
根据每个图像帧中所述目标对象的各个骨骼的实际长度与参考长度的比值，确定每个图像帧中所述目标对象的各骨骼节点的深度方向旋转角度；
根据每个图像帧中所述目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中所述目标对象的各个关键点的三维坐标。
4.根据权利要求3所述的方法，其特征在于，所述根据每个图像帧中目标对象的各个关键点的二维坐标，估计每个图像帧中目标对象处于伸直状态时各个骨骼的参考长度，包括：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置；
根据所述目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置，估计每个图像帧中所述目标对象的各个骨骼的参考长度。
5.根据权利要求4所述的方法，其特征在于，所述根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的骨骼比例，包括：
根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的设定骨骼的长度；
按照图像帧中设定骨骼的长度，将所有图像帧排序；
将排列在预设顺序比例范围内的图像帧作为有效图像帧；
根据每个有效图像帧中目标对象的关键点的二维坐标，确定每个有效图像帧中目标对象的各个骨骼的长度；
针对目标对象的每一个骨骼，将所有有效图像帧中所述骨骼的长度进行排序；
根据排列在预设比例位置的每一个骨骼的长度，确定所述目标对象的骨骼比例。
6.根据权利要求4所述的方法，其特征在于，所述根据每个图像帧中目标对象的各个关键点的二维坐标，确定目标对象的整体长度，包括：
根据每个图像帧中目标对象的关键点的二维坐标，确定每个图像帧中目标对象的长度；
按照图像帧中目标对象的长度，将所有图像帧排序；
将排列在预设比例位置的图像帧中目标对象的长度，作为目标对象的整体长度；或者，将排列在预设顺序比例范围内的图像帧中目标对象的长度的平均值，作为目标对象的整体长度。
7.根据权利要求4所述的方法，其特征在于，所述根据每个图像帧中目标对象的各个关键点的二维坐标，每个图像帧中目标对象的深度位置；包括：
根据每个图像帧中目标对象的各个关键点的二维坐标，确定每个图像帧中的最低关键点；
根据最低关键点的二维坐标以及预存的最低关键点的二维坐标与目标对象的深度位置的对应关系，确定每个图像帧中目标对象的深度位置。
8.根据权利要求4所述的方法，其特征在于，根据所述目标对象的骨骼比例、目标对象的整体长度和每个图像帧中目标对象的深度位置，估计每个图像帧中所述目标对象的各个骨骼的参考长度，包括：
根据目标对象的整体长度和每个图像帧中目标对象的深度位置，确定每个图像帧中目标对象的参考长度；
根据每个图像帧中目标对象的参考长度和所述目标对象的骨骼比例，估计每个图像帧中所述目标对象的各个骨骼的参考长度。
9.根据权利要求3所述的方法，其特征在于，所述根据每个图像帧中所述目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中所述目标对象的各个关键点的三维坐标，包括：
根据每个图像帧中所述目标对象的各个关键点的二维坐标和各骨骼节点的深度方向旋转角度，确定每个图像帧中所述目标对象的各个关键点的深度坐标；
将每个图像帧中所述目标对象的各个关键点的二维坐标和深度坐标，组合为每个图像帧中所述目标对象的各个关键点的三维坐标。
10.根据权利要求2所述的方法，其特征在于，所述通过姿态检测模型，获取每个图像帧中目标对象的各个关键点的二维坐标，包括：
将每个图像帧输入姿态检测模型，获取每个图像帧中目标对象的各个关键点的初始二维坐标；
对图像帧中满足修正条件的关键点的初始二维坐标进行坐标修正，得到每个图像帧中目标对象的各个关键点的二维坐标；所述修正条件包括如下条件中的部分或全部：同一图像帧中根据目标对象的关键点的初始二维坐标确定的目标对象的姿态违反骨骼关节活动规律；同一关键点在相邻图像帧之间的移动幅度超出设定幅度；同一图像帧中相邻关键点之间的距离超出设定距离。
11.根据权利要求10所述的方法，其特征在于，所述对图像帧中满足修正条件的关键点的初始二维坐标进行坐标修正，包括：
对于满足修正条件的关键点，根据所述关键点所在的图像帧的相邻图像帧中对应关键点的初始二维坐标，确定所述关键点的二维坐标。
12.根据权利要求1所述的方法，其特征在于，得到所述三维模型的姿态序列之后，所述方法还包括：
根据所述三维模型的姿态序列，生成并输出三维动画视频。
13.一种三维模型的姿态模拟装置，其特征在于，包括：
二维数据获取单元，用于获取有序图像集合的每个图像帧中目标对象的姿态的二维数据；
数据处理单元，用于根据每个图像帧中目标对象的姿态的二维数据，确定每个图像帧中目标对象的姿态的三维数据；
三维模型控制单元，用于按照有序图像集合中图像帧的顺序，根据每个图像帧中目标对象的姿态的三维数据，依次调整用于模拟所述目标对象姿态的三维模型的姿态，得到所述三维模型的姿态序列。
14.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～12任一项所述的方法。
15.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现权利要求1～12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167444.3A CN110827383B (zh) | 2019-11-25 | 2019-11-25 | 三维模型的姿态模拟方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911167444.3A CN110827383B (zh) | 2019-11-25 | 2019-11-25 | 三维模型的姿态模拟方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827383A true CN110827383A (zh) | 2020-02-21 |
| CN110827383B CN110827383B (zh) | 2020-11-10 |
Family
ID=69558964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911167444.3A Active CN110827383B (zh) | 2019-11-25 | 2019-11-25 | 三维模型的姿态模拟方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827383B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111405361A (zh) * | 2020-03-27 | 2020-07-10 | 咪咕文化科技有限公司 | 一种视频获取方法、电子设备及计算机可读存储介质 |
| CN111694429A (zh) * | 2020-06-08 | 2020-09-22 | 北京百度网讯科技有限公司 | 虚拟对象驱动方法、装置、电子设备及可读存储 |
| CN111814731A (zh) * | 2020-07-23 | 2020-10-23 | 科大讯飞股份有限公司 | 一种坐姿检测方法、装置、设备及存储介质 |
| CN111931725A (zh) * | 2020-09-23 | 2020-11-13 | 北京无垠创新科技有限责任公司 | 人体动作识别方法、设备及存储介质 |
| CN112233142A (zh) * | 2020-09-29 | 2021-01-15 | 深圳宏芯宇电子股份有限公司 | 目标跟踪方法、设备及计算机可读存储介质 |
| CN112434679A (zh) * | 2021-01-27 | 2021-03-02 | 萱闱(北京)生物科技有限公司 | 康复运动的评估方法及装置、设备、存储介质 |
| CN113240705A (zh) * | 2021-05-24 | 2021-08-10 | 北京格灵深瞳信息技术股份有限公司 | 3d姿态估计方法、装置、电子设备和存储介质 |
| CN113449565A (zh) * | 2020-03-27 | 2021-09-28 | 海信集团有限公司 | 三维姿态估计方法、智能设备及存储介质 |
| WO2021212411A1 (en) * | 2020-04-23 | 2021-10-28 | Intel Corporation | Kinematic interaction system with improved pose tracking |
| TWI797916B (zh) * | 2021-12-27 | 2023-04-01 | 博晶醫電股份有限公司 | 人體偵測方法、人體偵測裝置及電腦可讀儲存媒體 |
| CN117671738A (zh) * | 2024-02-01 | 2024-03-08 | 山东大学 | 基于人工智能的人体姿态识别系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103155003A (zh) * | 2010-10-08 | 2013-06-12 | 松下电器产业株式会社 | 姿势估计装置及姿势估计方法 |
| CN104700452A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种面向任意姿态的三维人体姿态模型匹配方法 |
| US20190012807A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd.. | Three-dimensional posture estimating method and apparatus, device and computer storage medium |
| CN110020633A (zh) * | 2019-04-12 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 姿态识别模型的训练方法、图像识别方法及装置 |
| CN110378947A (zh) * | 2019-07-02 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
| US20190355150A1 (en) * | 2018-05-17 | 2019-11-21 | Nvidia Corporation | Detecting and estimating the pose of an object using a neural network model |
-
2019
- 2019-11-25 CN CN201911167444.3A patent/CN110827383B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103155003A (zh) * | 2010-10-08 | 2013-06-12 | 松下电器产业株式会社 | 姿势估计装置及姿势估计方法 |
| CN104700452A (zh) * | 2015-03-24 | 2015-06-10 | 中国人民解放军国防科学技术大学 | 一种面向任意姿态的三维人体姿态模型匹配方法 |
| US20190012807A1 (en) * | 2017-07-04 | 2019-01-10 | Baidu Online Network Technology (Beijing) Co., Ltd.. | Three-dimensional posture estimating method and apparatus, device and computer storage medium |
| US20190355150A1 (en) * | 2018-05-17 | 2019-11-21 | Nvidia Corporation | Detecting and estimating the pose of an object using a neural network model |
| CN110020633A (zh) * | 2019-04-12 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 姿态识别模型的训练方法、图像识别方法及装置 |
| CN110378947A (zh) * | 2019-07-02 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 杨彬 等: "《基于视频的三维人体姿态估计》", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2625.V.20190822.1308.005.HTML》 * |
| 蔡云飞: "《人体运动三维仿真与分析系统》", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449565A (zh) * | 2020-03-27 | 2021-09-28 | 海信集团有限公司 | 三维姿态估计方法、智能设备及存储介质 |
| CN111405361A (zh) * | 2020-03-27 | 2020-07-10 | 咪咕文化科技有限公司 | 一种视频获取方法、电子设备及计算机可读存储介质 |
| CN111405361B (zh) * | 2020-03-27 | 2022-06-14 | 咪咕文化科技有限公司 | 一种视频获取方法、电子设备及计算机可读存储介质 |
| WO2021212411A1 (en) * | 2020-04-23 | 2021-10-28 | Intel Corporation | Kinematic interaction system with improved pose tracking |
| CN111694429A (zh) * | 2020-06-08 | 2020-09-22 | 北京百度网讯科技有限公司 | 虚拟对象驱动方法、装置、电子设备及可读存储 |
| CN111814731A (zh) * | 2020-07-23 | 2020-10-23 | 科大讯飞股份有限公司 | 一种坐姿检测方法、装置、设备及存储介质 |
| CN111814731B (zh) * | 2020-07-23 | 2023-12-01 | 科大讯飞股份有限公司 | 一种坐姿检测方法、装置、设备及存储介质 |
| CN111931725B (zh) * | 2020-09-23 | 2023-10-13 | 北京无垠创新科技有限责任公司 | 人体动作识别方法、设备及存储介质 |
| CN111931725A (zh) * | 2020-09-23 | 2020-11-13 | 北京无垠创新科技有限责任公司 | 人体动作识别方法、设备及存储介质 |
| CN112233142A (zh) * | 2020-09-29 | 2021-01-15 | 深圳宏芯宇电子股份有限公司 | 目标跟踪方法、设备及计算机可读存储介质 |
| CN112434679B (zh) * | 2021-01-27 | 2021-05-18 | 萱闱(北京)生物科技有限公司 | 康复运动的评估方法及装置、设备、存储介质 |
| CN112434679A (zh) * | 2021-01-27 | 2021-03-02 | 萱闱(北京)生物科技有限公司 | 康复运动的评估方法及装置、设备、存储介质 |
| CN113240705A (zh) * | 2021-05-24 | 2021-08-10 | 北京格灵深瞳信息技术股份有限公司 | 3d姿态估计方法、装置、电子设备和存储介质 |
| TWI797916B (zh) * | 2021-12-27 | 2023-04-01 | 博晶醫電股份有限公司 | 人體偵測方法、人體偵測裝置及電腦可讀儲存媒體 |
| CN117671738A (zh) * | 2024-02-01 | 2024-03-08 | 山东大学 | 基于人工智能的人体姿态识别系统 |
| CN117671738B (zh) * | 2024-02-01 | 2024-04-23 | 山东大学 | 基于人工智能的人体姿态识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827383B (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827383B (zh) | 三维模型的姿态模拟方法、装置、存储介质和电子设备 | |
| US11928765B2 (en) | Animation implementation method and apparatus, electronic device, and storage medium | |
| CN111126272B (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| US11610331B2 (en) | Method and apparatus for generating data for estimating three-dimensional (3D) pose of object included in input image, and prediction model for estimating 3D pose of object | |
| US20200293881A1 (en) | Reinforcement learning to train a character using disparate target animation data | |
| KR20220025023A (ko) | 애니메이션 처리 방법 및 장치, 컴퓨터 저장 매체 그리고 전자 디바이스 | |
| US8577085B2 (en) | Visual target tracking | |
| US20100197400A1 (en) | Visual target tracking | |
| US8565477B2 (en) | Visual target tracking | |
| CN111260764A (zh) | 一种制作动画的方法、装置及存储介质 | |
| CN111223170A (zh) | 动画生成方法、装置、电子设备和存储介质 | |
| CN111028317B (zh) | 虚拟对象的动画生成方法、装置、设备及存储介质 | |
| CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| Caliskan et al. | Multi-view consistency loss for improved single-image 3d reconstruction of clothed people | |
| US10410393B2 (en) | Animating a virtual object in a virtual world | |
| CN114677572A (zh) | 对象描述参数的生成方法、深度学习模型的训练方法 | |
| CN109407826A (zh) | 球类运动模拟方法、装置、存储介质及电子设备 | |
| US20210335028A1 (en) | Motion model refinement based on contact analysis and optimization | |
| CN111105489A (zh) | 数据合成方法和装置、存储介质和电子装置 | |
| CN113592986A (zh) | 基于神经网络的动作生成方法、装置及计算设备 | |
| CN117557699B (zh) | 动画数据生成方法、装置、计算机设备和存储介质 | |
| CN113724363A (zh) | 数据的迁移方法及装置、电子设备、可读存储介质 | |
| CN115560750A (zh) | 人体姿态确定方法、装置、设备及存储介质 | |
| CN113744375A (zh) | 数据的迁移方法及装置、电子设备、可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022639 Country of ref document: HK |