CN115018959A - 三维虚拟模型的驱动处理方法、装置、设备和存储介质 - Google Patents
三维虚拟模型的驱动处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN115018959A CN115018959A CN202210524792.7A CN202210524792A CN115018959A CN 115018959 A CN115018959 A CN 115018959A CN 202210524792 A CN202210524792 A CN 202210524792A CN 115018959 A CN115018959 A CN 115018959A
- Authority
- CN
- China
- Prior art keywords
- bones
- bone
- rotation matrix
- virtual model
- dimensional virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Abstract
本申请提供一种三维虚拟模型的驱动处理方法、装置、设备和存储介质，该方法包括：获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定目标对象的多根骨骼的第一旋转矩阵，其中，多根骨骼之间存在骨骼拓扑连接关系；根据骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵；根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与目标对象对应的目标三维虚拟模型。以根据用户的输入图像生成对应的目标三维虚拟模型。
Description
技术领域
本发明涉及虚拟模型处理技术领域，尤其涉及一种三维虚拟模型的驱动处理方法、装置、设备和存储介质。
背景技术
随着人工智能技术的不断发展进步，以及三维虚拟形象的相关技术发展迅速，越来越多的用户希望以虚拟形象的形式出现在网络社交活动场景(例如，虚拟互动游戏)中，而非使用自己的真人照片。
面对上述应用需求，如何在一个虚拟互动游戏场景中，根据用户输入的真人照片生成对应的一种或多种不同的三维虚拟形象效果，提升用户对该虚拟互动游戏的互动体验，是目前尚未解决的技术问题。
发明内容
本发明实施例提供一种三维虚拟模型的驱动处理方法、装置、设备和存储介质，以在虚拟互动游戏场景中根据用户的输入图像生成对应的目标三维虚拟模型，提升用户的游戏互动体验。
第一方面，本发明实施例提供一种三维虚拟模型的驱动处理方法，所述方法包括：
获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；
根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述目标对象的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；
根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；
对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；
根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述目标对象对应的目标三维虚拟模型。
第二方面，本发明实施例提供一种三维虚拟模型的驱动处理装置，所述装置包括：
获取模块，用于获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；
矩阵确定模块，用于根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述目标对象的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；
模型生成模块，用于根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述目标对象对应的目标三维虚拟模型。
第三方面，本发明实施例提供另一种三维虚拟模型的驱动处理方法，所述方法包括：
获取用户图像；
检测所述用户图像的图像质量是否符合预设质量标准；
若确定所述图像质量符合所述预设质量标准，则获取所述用户图像中用户的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述用户的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；以及根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述用户对应的目标三维虚拟模型；
展示所述目标三维虚拟模型。
第四方面，本发明实施例提供另一种三维虚拟模型的驱动处理装置，所述装置包括：
图像获取单元，用于获取用户图像；
质量检测单元，用于检测所述用户图像的图像质量是否符合预设质量标准；
驱动处理单元，用于若确定所述图像质量符合所述预设质量标准，则获取所述用户图像中用户的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述用户的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；以及根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述用户对应的目标三维虚拟模型；
展示单元，用于展示所述目标三维虚拟模型。
第五方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的三维虚拟模型的驱动处理方法。
第六方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的三维虚拟模型的驱动处理方法。
本发明实施例中，在获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值之后，根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定目标对象的多根骨骼的第一旋转矩阵；根据多根骨骼的骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵；根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与目标对象对应的目标三维虚拟模型。
为了更好的构建用户在虚拟互动游戏场景中的互动玩法，增加用户参与该虚拟互动游戏的频率，提升用户粘性。本发明实施例中，根据用户拍摄的输入图像中目标对象(比如人物)的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值，根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定人物的多根骨骼的第一旋转矩阵；再根据多根骨骼的骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；之后，采用姿态重定向算法对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵，根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与目标对象对应的目标三维虚拟模型。以实现根据用户的输入图像生成对应的目标三维虚拟模型，提升用户在虚拟互动游戏场景中的互动体验，进而增加用户进行网络虚拟社交的频率与时长，具有广阔的应用空间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维虚拟模型的驱动处理方法的流程图；
图2为本发明实施例提供的一种三维虚拟模型的驱动处理的过程示意图；
图3为本发明实施例提供的一种第四旋转矩阵的示意图；
图4为本发明实施例提供的一种第五旋转矩阵的示意图；
图5为本发明实施例提供的另一种三维虚拟模型的驱动处理方法的流程图；
图6为本发明实施例提供的一种三维虚拟模型的驱动处理装置的结构示意图；
图7为本发明实施例提供的另一种三维虚拟模型的驱动处理装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
先对本发明实施例中涉及到的术语或概念进行解释说明：
穿模现象：是指3D游戏中内的物体间或者人物间,因为碰撞体积设定失误导致相互穿透,叠加的现象，例如，3D人物模型的头发穿过手臂。
页面访问量(Page View,PV)：是指网站的页面浏览量或者点击量；
独立访客量(Unique Visitor，UV)：访问网站的一台电脑客户端为一个访客。根据IP地址来区分访客数，在一段时间内重复访问，也算是一个独立访客。
碰撞检测算法(Collison Detect)：碰撞检测是检测两个或多个物体相交的计算问题。碰撞检测是计算几何学的一个经典问题，在各种计算领域都有应用，主要是在计算机图形学、计算机游戏、计算机模拟、机器人和计算物理学中。碰撞检测算法可以分为对2D和3D对象的操作。
凸包(Convex Hull)是一个计算几何(图形学)中的概念。根据骨骼的轮廓点,通过Convex Hull函数转化成凸包的轮廓点坐标,从而画出该骨骼的凸包。
姿态重定向算法(Pose Retarget)：源姿态骨骼向目标姿态骨骼的一种映射。
骨骼位置推导算法(Inverse Kinematics，IK)：是指首先确定末端骨骼的位置信息，根据末端骨骼的位置信息反向推导出该骨骼继承链上N级的父骨骼的位置信息，从而确定整条骨骼链的算法。
本发明实施例提供的三维虚拟模型的驱动处理方法可以由一电子设备来执行，实际应用中，该电子设备可以是服务器，也可以是诸如PC机等用户终端，该服务器可以是云端的物理服务器或虚拟服务器(虚拟机)。
图1为本发明实施例提供的一种三维虚拟模型的驱动处理方法的流程图，如图1所示，该方法包括如下步骤：
101、获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；
102、根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定目标对象的多根骨骼的第一旋转矩阵，其中，多根骨骼之间存在骨骼拓扑连接关系。
103、根据骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵。
104、对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵。
105、根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与目标对象对应的目标三维虚拟模型。
可选地，上述输入图像可以为用户输入的拍摄照片，例如，用户的自拍照，形象照，写真照等，也可以为其他用户用于制作其在三维虚拟游戏场景中所控制的三维虚拟人物形象的照片。
可选地，上述目标对象可以为具有骨骼构造的人物、动物等。以目标对象为人物为例，多个骨骼关键点可以对应于膝关节、髋关节、肘关节、手腕、肚脐、头部、脚部等人体关键部位。
可选地，三维坐标系即是在二维坐标系的基础上根据右手定则增加Z轴而形成的。本发明实施例中的三维坐标系具体是指全局坐标系，是用于描述游戏场景内所有物体位置和方向的基准，也称为世界坐标系。在游戏场景中创建的物体都是以全局坐标系中的坐标原点(0,0,0)来确定各自的位置。该三维坐标系也可以为屏幕坐标系，屏幕坐标系中的Z轴是以游戏场景中的场景相机的世界单位来衡量的。
可选地，可以但不限于采用姿态估计算法对目标对象进行姿态估计计算，以确定多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值。即在获取用户输入或者即时拍摄的输入图像之后，可以采用姿态估计算法对输入图像中的目标对象的骨骼关键点进行姿态估计计算，以计算得到多个骨骼关键点对应的骨骼关键点坐标值(x,y,z)。
可选地，上述多根骨骼的第一旋转矩阵，即可以理解为是一种全局旋转矩阵，并且多根骨骼是可以构成骨骼拓扑连接关系的，即可以展示出多根骨骼所呈现的不同骨骼长度与不同骨骼拓扑结构(即不同节点数量，以及它们的图连接关系，即父子节点关系)。
在多个骨骼关键点各自对应的骨骼关键点坐标值之后，为了可以得到与目标对象对应的目标三维虚拟模型，需要得到每根骨骼的局部旋转矩阵。首先，通过多个骨骼关键点坐标值计算得到多根骨骼的全局旋转矩阵，之后，再根据多根骨骼的骨骼拓扑连接关系和上述全局旋转矩阵，确定多根骨骼各自对应的局部旋转矩阵。
由于一些类似虚拟人生的虚拟互动游戏场景中三维虚拟形象的骨骼专有性，根据虚拟互动游戏场景中的三维虚拟形象的骨骼结构，采用姿态重定向算法对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵，即重定向计算后的局部旋转矩阵。最后，再根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与目标对象对应的目标三维虚拟模型，进而实现将虚拟互动游戏中的初始三维虚拟模型转驱动转化为与输入图像中的人物的姿态一致的目标三维虚拟模型。
初始三维虚拟模型即虚拟互动游戏中处于初始状态下的三维虚拟模型，该初始状态为用户未根据自己输入的图片设置三维虚拟形象之前，默认显示的，例如，可以为“大”字形的站立状态。目标三维虚拟模型即根据用户输入图像中的人物的姿态或姿势，驱动初始三维虚拟模型转化，最终得到的与输入图像中的人物的姿态一致的三维虚拟模型。
可以理解的是，不同的虚拟互动游戏中三维虚拟模型的骨骼拓扑结构不同，因此根据虚拟互动游戏的展示或者互动需求，预先确定多根骨骼之间存在的骨骼拓扑连接关系，以便于在生成目标三维虚拟模型时，根据该预先确定的骨骼拓扑连接关系和实时生成的第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵。而且，虚拟互动游戏中处于初始状态下的初始三维虚拟模型也是预先根据不同的虚拟互动游戏对应生成的，因此，后续驱动该初始三维模型得到的目标三维虚拟模型可以与该虚拟互动游戏完全适配。进而，采用本发明实施例所提供的三维虚拟模型的驱动处理方法，可以适配不同的虚拟互动游戏对应自主研发的渲染引擎，可以自动化实现采用用户的输入照片生成对应的目标三维虚拟模型的互动体验。
为了更好的构建用户在虚拟互动游戏场景中的互动玩法，增加用户参与该虚拟互动游戏的频率，提升用户粘性。本发明实施例中，根据用户拍摄的输入图像中目标对象(比如人物)的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值，根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定人物的多根骨骼的第一旋转矩阵；再根据多根骨骼的骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；之后，采用姿态重定向算法对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵，根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与目标对象对应的目标三维虚拟模型。以实现根据用户的输入图像生成对应的目标三维虚拟模型，提升用户在虚拟互动游戏场景中的互动体验，进而增加用户进行网络虚拟社交的频率与时长，具有广阔的应用空间。
为便于理解本发明实施例，如下参考图2所示的一种三维虚拟模型的驱动处理过程示意图，对本发明实施例所提供的方法进行举例说明，如图2所示，输入图像中的人物可以是男性，该人物呈现为一个自然放松的坐姿状态，在采用姿态估计算法对该人物的骨骼关键点进行姿态估计计算，以计算得到多个骨骼关键点对应的骨骼关键点坐标值(x,y,z)。
一种可选的实施例，由于虚拟游戏场景内的三维虚拟模型和三维背景，都是需要通过建模来实现的。因此可能会不可避免的存在穿模现象，那么为避免这种穿模现象对后期生成的目标三维虚拟模型的影响，可以在根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定目标对象的多根骨骼的第一旋转矩阵之前，首先检测该多根骨骼之间是否存在穿模现象，如果存在的话，预先对该穿模现象执行碰撞解除，具体可以采用如下方法实现：
根据骨骼拓扑连接关系为多根骨骼构建各自对应的包围圆柱体；采用碰撞检测算法检测多根骨骼构建各自对应的包围圆柱体，以确定多根骨骼之间是否存在穿模现象；若确定多根骨骼之间存在穿模现象，则基于骨骼拓扑连接关系对穿模现象进行碰撞解除，直至多根骨骼之间不存在穿模现象。
可选地，先为每根骨骼构建对应的包围圆柱体，即构建每根骨骼对应的圆柱体包围盒。为便于理解，可以将每根骨骼圆柱体看作是一个凸包(Convex Hull)，即根据骨骼的轮廓点,通过Convex Hull函数转化成凸包的轮廓点坐标,从而画出该骨骼的凸包，这一步是为了更好地对多根骨骼执行碰撞检测处理。
之后，利用碰撞检测算法检测多根骨骼构建各自对应的包围圆柱体，可以确定多根骨骼之间是否存在穿模现象，若存在则可以针对存在该穿模现象的穿模部位，根据骨骼拓扑连接关系对穿模现象进行逐级的碰撞解除，最后直至多根骨骼之间不存在穿模现象，再执行后续的模型生成操作，即根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定目标对象的多根骨骼的第一旋转矩阵。
根据上述描述可知，通过本发明实施例所设计的一种骨骼碰撞检测方法与对应的碰撞消除方法，可以避免后续生成的目标三维虚拟模型可能会出现的穿模现象。
作为一种可选地实施例，在根据多根骨骼的骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵之前，还通过如下方法先确定多根骨骼的骨骼拓扑连接关系：获取多个骨骼关键点与多根骨骼之间的连接关系，以及多根骨骼之间的父子节点关系；根据连接关系和父子节点关系，确定多根骨骼的骨骼拓扑连接关系。
在本发明实施例中，根据多根骨骼的骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵，具体可以采用如下方法实现：
根据骨骼拓扑连接关系确定多根骨骼之间的父子节点关系；采用骨骼位置推导算法根据第一旋转矩阵，基于父子节点关系从目标骨骼开始逐节点计算每根骨骼对应的第二旋转矩阵，以得到多根骨骼各自对应的第二旋转矩阵，其中，目标骨骼为多根骨骼中的任一个。
作为一种可选的实施例，以胳膊骨架为例，胳膊带动手是正向动力学，手带动胳膊是逆向动力学，已知手部骨骼，来求解大臂骨骼位置、小臂骨骼位置的过程，就可以理解为是采用逆向动力学中的骨骼位置推导算法IK进行解算的过程。
具体地，这一解算过程首先要根据骨骼拓扑连接关系，先确定多根骨骼之间的父子节点关系。例如，从骨骼层级关系的最高层节点开始，先确定多根骨骼中的任一个目标骨骼，再开始逐层进行求解。首先，通过多根骨骼各自对应的骨骼关键点坐标值计算得到多根骨骼的全局旋转矩阵，从该目标骨骼开始，计算当前的目标骨骼对应的局部旋转矩阵，再根据骨骼拓扑连接关系确定的多根骨骼之间的父子节点关系逐层计算，得到驱动初始三维虚拟模型所需的全部的目标骨骼对应的局部旋转矩阵。
通过上述实施例，采用骨骼位置推导算法确定多根骨骼各自对应的局部旋转矩阵，对于提升目标三维虚拟模型的动画质量，展现目标三维虚拟模型的动画细节来说是很重要的。
在一种可选地实施例中，对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵，可以采用如下可选方式实现：
获取初始三维虚拟模型的多根骨骼各自对应的第四旋转矩阵，以及目标对象在初始状态下的多根骨骼各自对应的第五旋转矩阵，计算第四旋转矩阵和第五旋转矩阵之间的转换矩阵；采用姿态重定向算法基于转换矩阵对第二旋转矩阵进行重定向计算，以得到多根骨骼各自对应的第三旋转矩阵。
在本发明实施例中，初始三维虚拟模型的多根骨骼处于初始状态；即第四旋转矩阵和第五旋转矩阵都是在初始状态下的旋转矩阵。
可选地，如图3所示，J10、J11、J12、J13、J14、J15、J16分别为三维虚拟模型的骨骼结构在骨骼坐标系空间中不同的骨骼关键点，如图3所示意出的其中一个第四旋转矩阵的样式，第四旋转矩阵是三维虚拟模型的骨骼结构在骨骼坐标系空间对应的骨骼关键点的局部旋转矩阵。如图4所示，J00、J01、J02、J03、J04、J05、J06、J07、J08分别为姿态估计得到目标对象在初始状态下的骨骼结构在骨骼坐标系空间中不同的骨骼关键点，如图4所示意出的其中一个第五旋转矩阵的样式，第五旋转矩阵是姿态估计得到目标对象在初始状态下的骨骼结构在骨骼坐标系空间对应骨骼关键点的局部旋转矩阵。
根据图3和图4可以看出，三维虚拟模型的骨骼结构在骨骼坐标系空间中的骨骼关键点的数量，与姿态估计得到目标对象在初始状态下的骨骼结构在骨骼坐标系空间中的骨骼关键点的数量相比较，二者是不相等的，因此，为了实现将目标对象的骨骼结构迁移和映射到要驱动的初始三维虚拟模型上，需要采用姿态重定向算法，对目标对象当前状态下的多根骨骼对应的第二旋转矩阵进行重定向计算。
具体而言，首先计算出初始状态下的初始三维虚拟模型的骨骼关键点的第四旋转矩阵；然后，计算出姿态估计的骨骼结构在初始状态下的骨骼关键点的第五旋转矩阵，通过计算得到第四旋转矩阵和第五旋转矩阵两者之间的转换矩阵；最后，采用姿态重定向算法基于转换矩阵对第二旋转矩阵进行重定向计算，以得到多根骨骼各自对应的第三旋转矩阵，进而可以将目标对象的骨骼结构迁移和映射到要驱动的初始三维虚拟模型上。
通过本发明实施例，所提供的针对三维虚拟模型的骨骼结构的IK算法与PoseRetarget算法，给出了一种由用户的输入照片来驱动生成三维虚拟形象的自动化实现方式；为虚拟互动游戏场景中的互动玩法推广落地提供了强有力的支持，提升了虚拟互动游戏场景中用户的独立访客量UV和页面访问量PV。而且，便于用户在虚拟互动游戏场景这个虚拟空间中，自由更换虚拟形象，自由换装，以达到自由化的虚拟社交或分享目的，进而可以增加用户参与虚拟互动游戏的频率，提升用户粘性。
图5为本发明实施例提供的另一种三维虚拟模型的驱动处理方法的流程图，如图5所示，该方法包括如下步骤：
501、获取用户图像；
502、检测用户图像的图像质量是否符合预设质量标准；
503、若确定图像质量符合预设质量标准，则获取用户图像中用户的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定用户的多根骨骼的第一旋转矩阵，其中，多根骨骼之间存在骨骼拓扑连接关系；根据骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵；以及根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与用户对应的目标三维虚拟模型；
504、展示目标三维虚拟模型。
可选地，本发明实施例所提供的方法可以应用在一些类似虚拟人生的虚拟互动游戏场景、网络社交活动场景中，通过该方法实施例，可以实现用户以虚拟形象的形式出现在网络社交活动场景中的目的。例如，在一些虚拟人生应用程序中，为用户提供一个虚拟互动空间，在该虚拟互动空间中，用户可以自由更换虚拟形象，自由更换服饰和装饰，以达到自己的社交或分享目的。
可选地，上述用户图像可以为采集到的，也可以为用户上传的。例如，用户上传的拍摄照片，例如，用户的自拍照，形象照，写真照等，也可以为其他用户用于制作其在三维虚拟游戏场景中所控制的三维虚拟人物形象的照片。
可选地，多个骨骼关键点可以对应于膝关节、髋关节、肘关节、手腕、肚脐、头部、脚部等人体关键部位。
可选地，可以但不限于采用姿态估计算法对用户进行姿态估计计算，以确定多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值。即在获取用户上传或者采集到用户即时拍摄的用户图像之后，可以采用姿态估计算法对用户图像中的用户的骨骼关键点进行姿态估计计算，以计算得到多个骨骼关键点对应的骨骼关键点坐标值(x,y,z)。
可选地，上述多根骨骼的第一旋转矩阵，即可以理解为是一种全局旋转矩阵，并且多根骨骼是可以构成骨骼拓扑连接关系的，即可以展示出多根骨骼所呈现的不同骨骼长度与不同骨骼拓扑结构(即不同节点数量，以及它们的图连接关系，即父子节点关系)。
在多个骨骼关键点各自对应的骨骼关键点坐标值之后，为了可以得到与用户对应的目标三维虚拟模型，需要得到每根骨骼的局部旋转矩阵。首先，通过多个骨骼关键点坐标值计算得到多根骨骼的全局旋转矩阵，之后，再根据多根骨骼的骨骼拓扑连接关系和上述全局旋转矩阵，确定多根骨骼各自对应的局部旋转矩阵。
由于一些类似虚拟人生的虚拟互动游戏场景中三维虚拟形象的骨骼专有性，根据虚拟互动游戏场景中的三维虚拟形象的骨骼结构，采用姿态重定向算法对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵，即重定向计算后的局部旋转矩阵。最后，再根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与用户对应的目标三维虚拟模型，进而实现将虚拟互动游戏中的初始三维虚拟模型转驱动转化为与用户图像中的人物的姿态一致的目标三维虚拟模型。并在得到该目标三维虚拟模型之后，渲染并展示目标三维虚拟模型。
可选地，初始三维虚拟模型即虚拟互动游戏中处于初始状态下的三维虚拟模型，该初始状态为用户未根据自己输入的图片设置三维虚拟形象之前，默认显示的，例如，可以为“大”字形的站立状态。目标三维虚拟模型即根据用户图像中的人物的姿态或姿势，驱动初始三维虚拟模型转化，最终得到的与用户图像中的人物的姿态一致的三维虚拟模型。
由于不同的虚拟互动游戏中三维虚拟模型的骨骼拓扑结构不同，因此根据虚拟互动游戏的展示或者互动需求，预先确定多根骨骼之间存在的骨骼拓扑连接关系，以便于在生成目标三维虚拟模型时，根据该预先确定的骨骼拓扑连接关系和实时生成的第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵。而且，虚拟互动游戏中处于初始状态下的初始三维虚拟模型也是预先根据不同的虚拟互动游戏对应生成的，因此，后续驱动该初始三维模型得到的目标三维虚拟模型可以与该虚拟互动游戏完全适配。进而，采用本发明实施例所提供的三维虚拟模型的驱动处理方法，可以适配不同的虚拟互动游戏对应自主研发的渲染引擎，可以自动化实现采用用户的输入照片生成对应的目标三维虚拟模型的互动体验。
为了更好的构建用户在虚拟互动游戏场景中的互动玩法，提升用户在虚拟互动游戏场景中的互动体验，进而增加用户进行网络虚拟社交的频率与时长。本发明实施例，根据用户图像中用户的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值，根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定用户的多根骨骼的第一旋转矩阵；再根据多根骨骼的骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；之后，采用姿态重定向算法对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵，根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与用户对应的目标三维虚拟模型。以实现根据用户图像生成对应的目标三维虚拟模型，提升用户在虚拟互动游戏场景中的互动体验，进而增加用户进行网络虚拟社交的频率与时长，具有广阔的应用空间。
以下将详细描述本发明的一个或多个实施例的三维虚拟模型的驱动处理装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图6为本发明实施例提供的一种三维虚拟模型的驱动处理装置的结构示意图，如图6所示，该装置包括：获取模块11、矩阵确定模块12、模型生成模块13。
获取模块11，用于获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值。
矩阵确定模块12，用于根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定目标对象的多根骨骼的第一旋转矩阵，其中，多根骨骼之间存在骨骼拓扑连接关系；根据多根骨骼的骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵。
模型生成模块13，用于根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与目标对象对应的目标三维虚拟模型。
可选地，矩阵确定模块12包括：第一确定单元，用于根据骨骼拓扑连接关系确定多根骨骼之间的父子节点关系；第二确定单元，用于采用骨骼位置推导算法根据第一旋转矩阵，基于父子节点关系从目标骨骼开始逐节点计算每根骨骼对应的第二旋转矩阵，以得到多根骨骼各自对应的第二旋转矩阵，其中，目标骨骼为多根骨骼中的任一个。
可选地，矩阵确定模块12还包括：获取单元，用于获取初始三维虚拟模型的多根骨骼各自对应的第四旋转矩阵，以及目标对象在初始状态下的多根骨骼各自对应的第五旋转矩阵，其中，初始三维虚拟模型的多根骨骼处于初始状态；第一计算单元，用于计算第四旋转矩阵和第五旋转矩阵之间的转换矩阵；第二计算单元，用于采用姿态重定向算法基于转换矩阵对第二旋转矩阵进行重定向计算，以得到多根骨骼各自对应的第三旋转矩阵。
可选地，获取模块11还用于采用姿态估计算法对目标对象进行姿态估计计算，以确定多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值。
可选地，上述装置还包括：构建模块，用于根据骨骼拓扑连接关系为多根骨骼构建各自对应的包围圆柱体；检测模块，用于采用碰撞检测算法检测多根骨骼构建各自对应的包围圆柱体，以确定多根骨骼之间是否存在穿模现象；碰撞解除模块，用于若确定多根骨骼之间存在穿模现象，则基于骨骼拓扑连接关系对穿模现象进行碰撞解除，直至多根骨骼之间不存在穿模现象。
可选地，上述装置还包括：关系获取模块，用于获取多个骨骼关键点与多根骨骼之间的连接关系，以及多根骨骼之间的父子节点关系；关系确定模块，用于根据连接关系和父子节点关系，确定多根骨骼的骨骼拓扑连接关系。
图7为本发明实施例提供的另一种三维虚拟模型的驱动处理装置的结构示意图，如图7所示，该装置包括：图像获取单元21、质量检测单元22、驱动处理单元23、展示单元24。
图像获取单元21，用于获取用户图像；
质量检测单元22，用于检测用户图像的图像质量是否符合预设质量标准；
驱动处理单元23，用于若确定图像质量符合预设质量标准，则获取用户图像中用户的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；根据多个骨骼关键点各自对应的骨骼关键点坐标值，确定用户的多根骨骼的第一旋转矩阵，其中，多根骨骼之间存在骨骼拓扑连接关系；根据骨骼拓扑连接关系和第一旋转矩阵，确定多根骨骼各自对应的第二旋转矩阵；对多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到多根骨骼各自对应的第三旋转矩阵；以及根据多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与用户对应的目标三维虚拟模型；
展示单元24，用于展示目标三维虚拟模型。
在一个可能的设计中，上述图6和图7所示三维虚拟模型的驱动处理装置的结构可实现为一电子设备。如图8所示，该电子设备可以包括：处理器31、存储器32、通信接口33。其中，存储器32上存储有可执行代码，当所述可执行代码被处理器31执行时，使处理器31至少可以实现如前述实施例中提供的三维虚拟模型的驱动处理方法。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的三维虚拟模型的驱动处理方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的网元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种三维虚拟模型的驱动处理方法，其特征在于，包括：
获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；
根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述目标对象的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；
根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；
对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；
根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述目标对象对应的目标三维虚拟模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵，包括：
根据所述骨骼拓扑连接关系确定所述多根骨骼之间的父子节点关系；
采用骨骼位置推导算法根据所述第一旋转矩阵，基于所述父子节点关系从目标骨骼开始逐节点计算每根骨骼对应的第二旋转矩阵，以得到所述多根骨骼各自对应的第二旋转矩阵，其中，所述目标骨骼为所述多根骨骼中的任一个。
3.根据权利要求1所述的方法，其特征在于，所述对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵，包括：
获取所述初始三维虚拟模型的多根骨骼各自对应的第四旋转矩阵，以及所述目标对象在初始状态下的多根骨骼各自对应的第五旋转矩阵，其中，所述初始三维虚拟模型的多根骨骼处于所述初始状态；
计算所述第四旋转矩阵和所述第五旋转矩阵之间的转换矩阵；
采用姿态重定向算法基于所述转换矩阵对所述第二旋转矩阵进行重定向计算，以得到所述多根骨骼各自对应的所述第三旋转矩阵。
4.根据权利要求1所述的方法，其特征在于，所述获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值，包括：
采用姿态估计算法对所述目标对象进行姿态估计计算，以确定所述多个骨骼关键点在所述三维坐标系中各自对应的所述骨骼关键点坐标值。
5.根据权利要求1所述的方法，其特征在于，在所述根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述目标对象的多根骨骼的第一旋转矩阵之前，所述方法还包括：
根据所述骨骼拓扑连接关系为所述多根骨骼构建各自对应的包围圆柱体；
采用碰撞检测算法检测所述多根骨骼构建各自对应的包围圆柱体，以确定所述多根骨骼之间是否存在穿模现象；
若确定所述多根骨骼之间存在所述穿模现象，则基于所述骨骼拓扑连接关系对所述穿模现象进行碰撞解除，直至所述多根骨骼之间不存在所述穿模现象。
6.根据权利要求1所述的方法，其特征在于，在根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵之前，所述方法还包括：
获取所述多个骨骼关键点与所述多根骨骼之间的连接关系，以及所述多根骨骼之间的父子节点关系；
根据所述连接关系和所述父子节点关系，确定所述骨骼拓扑连接关系。
7.一种三维虚拟模型的驱动处理装置，其特征在于，包括：
获取模块，用于获取输入图像中目标对象的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；
矩阵确定模块，用于根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述目标对象的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；
模型生成模块，用于根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述目标对象对应的目标三维虚拟模型。
8.一种三维虚拟模型的驱动处理方法，其特征在于，包括：
获取用户图像；
检测所述用户图像的图像质量是否符合预设质量标准；
若确定所述图像质量符合所述预设质量标准，则获取所述用户图像中用户的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述用户的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；以及根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述用户对应的目标三维虚拟模型；
展示所述目标三维虚拟模型。
9.一种三维虚拟模型的驱动处理装置，其特征在于，包括：
图像获取单元，用于获取用户图像；
质量检测单元，用于检测所述用户图像的图像质量是否符合预设质量标准；
驱动处理单元，用于若确定所述图像质量符合所述预设质量标准，则获取所述用户图像中用户的多个骨骼关键点在三维坐标系中各自对应的骨骼关键点坐标值；根据所述多个骨骼关键点各自对应的骨骼关键点坐标值，确定所述用户的多根骨骼的第一旋转矩阵，其中，所述多根骨骼之间存在骨骼拓扑连接关系；根据所述骨骼拓扑连接关系和所述第一旋转矩阵，确定所述多根骨骼各自对应的第二旋转矩阵；对所述多根骨骼各自对应的第二旋转矩阵进行重定向计算，得到所述多根骨骼各自对应的第三旋转矩阵；以及根据所述多根骨骼各自对应的第三旋转矩阵驱动初始三维虚拟模型执行姿态变化，以得到与所述用户对应的目标三维虚拟模型；
展示单元，用于展示所述目标三维虚拟模型。
10.一种电子设备，其特征在于，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的三维虚拟模型的驱动处理方法，或者权利要求8中所述的三维虚拟模型的驱动处理方法。
11.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的三维虚拟模型的驱动处理方法，或者权利要求8中所述的三维虚拟模型的驱动处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210524792.7A CN115018959A (zh) | 2022-05-13 | 2022-05-13 | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 |
| PCT/CN2023/071961 WO2023216646A1 (zh) | 2022-05-13 | 2023-01-12 | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210524792.7A CN115018959A (zh) | 2022-05-13 | 2022-05-13 | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115018959A true CN115018959A (zh) | 2022-09-06 |
Family
ID=83069780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210524792.7A Pending CN115018959A (zh) | 2022-05-13 | 2022-05-13 | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115018959A (zh) |
| WO (1) | WO2023216646A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023216646A1 (zh) * | 2022-05-13 | 2023-11-16 | 阿里巴巴（中国）有限公司 | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 |
| WO2024077837A1 (zh) * | 2022-10-13 | 2024-04-18 | 美的集团(上海)有限公司 | 虚拟人的驱动方法、装置、存储介质和电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3828768A1 (en) * | 2019-11-28 | 2021-06-02 | Digital Orthopaedics | Method for modeling a bone |
| CN112381003B (zh) * | 2020-11-16 | 2023-08-22 | 网易（杭州）网络有限公司 | 动作捕捉方法、装置、设备及存储介质 |
| CN112634419B (zh) * | 2020-12-31 | 2022-03-25 | 魔珐(上海)信息科技有限公司 | 一种运动重定向方法、装置、电子设备及存储介质 |
| CN112819971B (zh) * | 2021-01-26 | 2022-02-25 | 北京百度网讯科技有限公司 | 虚拟形象的生成方法、装置、设备和介质 |
| CN112862933B (zh) * | 2021-02-04 | 2023-06-27 | 北京百度网讯科技有限公司 | 用于优化模型的方法、装置、设备以及存储介质 |
| CN115018959A (zh) * | 2022-05-13 | 2022-09-06 | 阿里巴巴（中国）有限公司 | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 |
-
2022
- 2022-05-13 CN CN202210524792.7A patent/CN115018959A/zh active Pending
-
2023
- 2023-01-12 WO PCT/CN2023/071961 patent/WO2023216646A1/zh unknown
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023216646A1 (zh) * | 2022-05-13 | 2023-11-16 | 阿里巴巴（中国）有限公司 | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 |
| WO2024077837A1 (zh) * | 2022-10-13 | 2024-04-18 | 美的集团(上海)有限公司 | 虚拟人的驱动方法、装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023216646A1 (zh) | 2023-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102055995B1 (ko) | 시점 변환을 위한 현실적 리그드 3차원(3ｄ) 모델 애니메이션을 생성하는 장치 및 방법 | |
| CN110889890B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| KR102616010B1 (ko) | 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법 | |
| WO2022205760A1 (zh) | 三维人体重建方法、装置、设备及存储介质 | |
| KR102103939B1 (ko) | 머리 회전을 갖는 아바타 얼굴 표정 애니메이션 | |
| Chen et al. | KinÊtre: animating the world with the human body | |
| JP2021192250A (ja) | 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム | |
| CN111260764B (zh) | 一种制作动画的方法、装置及存储介质 | |
| CN115018959A (zh) | 三维虚拟模型的驱动处理方法、装置、设备和存储介质 | |
| JP7299414B2 (ja) | 画像処理方法、装置、電子機器及びコンピュータプログラム | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| US11514638B2 (en) | 3D asset generation from 2D images | |
| EP3980974A1 (en) | Single image-based real-time body animation | |
| JP2024004444A (ja) | ３次元顔再構成モデルトレーニング、３次元顔イメージ生成方法及び装置 | |
| JP4842242B2 (ja) | キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置 | |
| CN115115752A (zh) | 虚拟服装的形变预测方法和装置、存储介质及电子设备 | |
| Liu et al. | Skeleton tracking based on Kinect camera and the application in virtual reality system | |
| JP2019016164A (ja) | 学習データ生成装置、推定装置、推定方法及びコンピュータプログラム | |
| CN110853131A (zh) | 一种用于行为识别的虚拟视频数据生成方法 | |
| CN113313796B (zh) | 场景生成方法、装置、计算机设备和存储介质 | |
| KR102568699B1 (ko) | 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법 | |
| US20240135581A1 (en) | Three dimensional hand pose estimator | |
| Shi et al. | Augmented motion history volume for spatiotemporal editing of 3-d video in multiparty interaction scenes | |
| Liu et al. | A Method of Touchable 3d Model Reconstruction based on Mixed Reality–A Case Study of Medical Training Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |