CN115797519A - 虚拟角色ik实时重定向方法及相关设备 - Google Patents
虚拟角色ik实时重定向方法及相关设备 Download PDFInfo
- Publication number
- CN115797519A CN115797519A CN202211327233.3A CN202211327233A CN115797519A CN 115797519 A CN115797519 A CN 115797519A CN 202211327233 A CN202211327233 A CN 202211327233A CN 115797519 A CN115797519 A CN 115797519A
- Authority
- CN
- China
- Prior art keywords
- skeleton
- data
- real
- motion capture
- redirection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种虚拟角色IK实时重定向方法及相关设备,其中,方法包括以下步骤:通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;基于目标骨架对所述实时动作捕捉数据进行重定向处理;对重定向后的所述实时动作捕捉数据进行IK处理;利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。本发明的虚拟角色IK实时重定向方法在Vicon光学运动捕捉系统和虚幻引擎之间发送和接收数据使用Maya LiveLink插件,Maya LiveLink插件提供了可以满足于在不同的软件之间数据收发的功能,这样可以避免传统操作流程中在对虚幻引擎中的虚拟角色进行重定向和IK时需要频繁导出fbx或者导入fbx文件的情况。
Description
技术领域
本发明涉及视频编辑技术领域,尤其涉及一种虚拟角色IK实时重定向方法及相关设备。
背景技术
动作捕捉是由真人来表演并驱动虚拟角色。但是由于真人的四肢和身高比例与虚拟角色存在差异性,导致真人动作捕捉的数据无法匹配到虚拟角色身上。
Vicon是一套光学运动捕捉系统以及所搭配的操作软件,Vicon的主要功能是用于采集真人的实时动作数据,传统基于Vicon来驱动虚拟角色的流程是:Vicon获得的动捕数据先映射到Vicon骨架,Vicon动捕数据想要应用到虚幻引擎中的驱动目标虚拟角色(包括重定向和IK)就需要在MotionBuilder软件中进行角色化,然后将角色化的数据在MotionBuilder端发送到虚幻引擎以此来驱动目标虚拟角色,在此过程中,就需要频繁导出fbx文件或者导入fbx文件,这无疑增加了动捕师的操作复杂性。
因此,现有技术还有待于改进和发展。
发明内容
本发明的主要目的旨在提供一种虚拟角色IK实时重定向方法及相关设备,以解决现有技术基于在Vicon系统采集的数据驱动虚幻引擎中的虚拟角色时需要频繁导出导入fbx文件,操作不便的技术问题。
本发明第一方面提供了一种虚拟角色IK实时重定向方法,包括以下步骤:
通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;
通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;
基于目标骨架对所述实时动作捕捉数据进行重定向处理;
对重定向后的所述实时动作捕捉数据进行IK处理;
利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。
在本发明第一方面一种可选的实施方式中,所述基于目标骨架对所述实时动作捕捉数据进行重定向处理包括:
从所述实时动作捕捉数据中获取得到Vicon骨架的骨骼数据;
建立所述Vicon骨架的骨骼数据和所述目标骨架的骨骼数据之间的映射表;
对所述Vicon骨架和所述目标骨架进行骨骼轴向对齐。
在本发明第一方面一种可选的实施方式中,所述基于目标骨架对所述实时动作捕捉数据进行重定向处理还包括:
从所述实时动作捕捉数据中获取得到所述Vicon骨架的源动捕数据;
从所述源动捕数据中获取得到根骨骼的位置数据和旋转数据、父骨骼的位置数据和旋转数据以及子骨骼的旋转数据;
将根骨骼的位置数据和旋转数据、父骨骼的的位置数据和旋转数据以及子骨骼的旋转数据映射到所述目标骨架对应的根骨骼、父骨骼和子骨骼中。
在本发明第一方面一种可选的实施方式中,所述对重定向后的所述实时动作捕捉数据进行IK处理包括:
从所述源动捕数据中获取得到子骨骼的位置数据;
通过递归运算获得子骨骼的实际位置数据;
将所述子骨骼的所述实际位置数据映射到所述目标骨架对应的子骨骼中中。
在本发明第一方面一种可选的实施方式中,所述通过递归运算获得子骨骼的实际位置数据包括:
将子骨骼的位置数据转换为第一矩阵;
将父骨骼的位置数据转换为第二矩阵;
将根骨骼的位置数据转换为第三矩阵;
对所述第一矩阵、所述第二矩阵和所述第三矩阵进行递归相乘获得第四矩阵;
从所述第四矩阵中提取得到子骨骼的实际位置数据。
在本发明第一方面一种可选的实施方式中,所述子骨骼的位置数据、所述父骨骼的位置数据和所述根骨骼的位置数据均包括位置坐标、旋转坐标以及缩放坐标。
在本发明第一方面一种可选的实施方式中,所述建立所述Vicon骨架的骨骼数据和所述目标骨架的骨骼数据之间的映射表包括:
从所述Vicon骨架的骨骼数据中获取得到所述Vicon骨架所具有的骨头和关节信息;
从所述目标骨架的骨骼数据中获取得到所述目标骨架所具有的骨头和关节信息;
根据骨头名称建立所述Vicon骨架的骨头和所述目标骨架的骨头之间的一一对应关系;
根据关节名称建立所述Vicon骨架的关节和所述目标骨架的关节之间的一一对应关系。
本发明第二方面提供了一种虚拟角色IK实时重定向装置,所述虚拟角色IK实时重定向装置包括:
拍摄模块,用于通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;
数据传输模块,用于通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;
重定向模块,用于基于目标骨架对所述实时动作捕捉数据进行重定向处理;
IK处理模块,用于对重定向后的所述实时动作捕捉数据进行IK处理;
骨架驱动模块,用于利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。
本发明第三方面提供了一种虚拟角色IK实时重定向设备,所述虚拟角色IK实时重定向设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述虚拟角色IK实时重定向设备执行如上述任一项所述的虚拟角色IK实时重定向方法。
本发明第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的虚拟角色IK实时重定向方法。
有益效果:本发明提供了一种虚拟角色IK实时重定向方法及相关设备,其中,所述虚拟角色IK实时重定向方法包括以下步骤:通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;基于目标骨架对所述实时动作捕捉数据进行重定向处理;对重定向后的所述实时动作捕捉数据进行IK处理;利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。本发明的虚拟角色IK实时重定向方法在Vicon光学运动捕捉系统和虚幻引擎之间发送和接收数据使用Maya LiveLink插件,Maya LiveLink插件提供了可以满足于在不同的软件之间数据收发的功能,这样可以避免传统操作流程中需要频繁导出fbx或者导入fbx文件的情况。
附图说明
图1为本发明一种虚拟角色IK实时重定向方法的一个实施例示意图;
图2为本发明一种虚拟角色IK实时重定向装置的一个实施例示意图;
图3为本发明一种虚拟角色IK实时重定向设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种虚拟角色IK实时重定向方法及相关设备。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示
或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参阅图1,本发明第一方面提供了一种虚拟角色IK实时重定向方法,包括以下步骤:
S100、通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;Vicon是一套光学运动捕捉系统以及所搭配的操作软件,Vicon的主要功能是用于采集真人的实时动作数据;
S200、通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;本发明的操作流程通过MayaLiveLink在Vicon端直接发送数据到虚幻引擎,这样做的原因是为了避免在MotionBuilder进行配置以及角色化的过程;
S300、基于目标骨架对所述实时动作捕捉数据进行重定向处理;重定向简单可以理解为将源数据的动捕数据应用于不同骨架或者相同骨架不同骨骼比例角色之间的动画驱动;
S400、对重定向后的所述实时动作捕捉数据进行IK处理;IK(即逆向运动学),这里简单理解为通过调整子骨骼位置来逆向调整父骨骼的空间状态,既是子来影响父骨骼的空间状态;
S500、利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。本发明在步骤S200中完成了数据的发送和接收,但是这也带来一个问题就是虚幻引擎端接收到动捕数据,但是由于虚拟角色由于可能是不同骨架以及不同骨骼比例的原因,所以将动作捕捉数据直接作用于目标虚拟角色效果是不对的,所以需要在虚幻引擎中进行重定向操作以及IK操作,才能实现对目标骨架的正常驱动。
总的来说,本发明虚拟角色IK实时重定向方法的流程可以概括为Vicon接收动捕数据以及转发到虚幻引擎,虚幻引擎接收到动捕数据并根据源数据所依赖的骨架和驱动的目标骨架进行重定向以及IK,进行实时驱动目标虚拟角色。本技术方案通过以上步骤,接收源动捕数据以及重定向和IK,来达到对于同一个基于Vicon骨架的动捕数据来驱动基于Vicon/数字人骨架的目标虚拟角色来达到姿态的一致性,也就是动作相同,还有一个益处是减少在MotionBuilder中进行配置和中转数据的这一个步骤,而采用直接在Vicon软件中进行直接发送动捕数据,来驱动引擎中不同骨架以及不同比例的虚拟角色,这样在整个生产流程中就会提高工作效率。
在本发明第一方面一种可选的实施方式中,所述基于目标骨架对所述实时动作捕捉数据进行重定向处理包括:
从所述实时动作捕捉数据中获取得到Vicon骨架的骨骼数据;
建立所述Vicon骨架的骨骼数据和所述目标骨架的骨骼数据之间的映射表;具体来说,Vicon操作系统中默认使用的是基于采用的Vicon骨架,而Vicon骨架是一套标准的骨骼拓扑结构,在虚幻引擎通常使用也是使用基于Vicon骨架,以及目前较为成熟数字人骨架,所以在引擎中第一步中需要建立骨骼映射表。
对所述Vicon骨架和所述目标骨架进行骨骼轴向对齐。
具体来说,当完成这个骨骼映射关系映射表之后,还需要对骨骼轴向进行对齐,因为Vicon骨架和数字人骨架中骨骼的局部坐标系不同,所以还需要对基于数字人骨架的虚拟角色进行适配Vicon骨架的源骨骼数据,通过观察基于Vicon骨架的源动捕数据,和基于数字人骨架的虚拟角色,将两套骨架的每一个骨架进行调整骨骼轴向,这里所谓的调整骨骼轴向,是在接收来自Vicon的源动捕数据进行调整骨骼数据中的轴向数据,以此来作用目标虚拟角色。到这里,通过建立骨骼映射表以及变换骨骼数据来驱动目标角色。
在本发明第一方面一种可选的实施方式中,所述建立所述Vicon骨架的骨骼数据和所述目标骨架的骨骼数据之间的映射表包括:从所述Vicon骨架的骨骼数据中获取得到所述Vicon骨架所具有的骨头和关节信息;从所述目标骨架的骨骼数据中获取得到所述目标骨架所具有的骨头和关节信息;根据骨头名称建立所述Vicon骨架的骨头和所述目标骨架的骨头之间的一一对应关系;根据关节名称建立所述Vicon骨架的关节和所述目标骨架的关节之间的一一对应关系。
在该实施例中,也就是将Vicon骨架和数字人骨架中骨头和关节名称进行一一映射,也就是Vicon的头部骨骼名称对应数字人骨架的头部骨骼名称,从头部到脚部中将所对应的骨骼名称进行对应起来,这是必须的一个重要步骤,这样才能将头部的骨骼数据驱动目标的骨骼数据,以此类推其它骨骼数据也能作用目标骨骼,而每一个骨骼数据都是局部的空间数据,而这个骨骼空间数据是是由骨骼的位置数据,旋转数据以及比例数据,这样三个数据才组成一个完整的骨骼空间数据。
在本发明第一方面一种可选的实施方式中,所述基于目标骨架对所述实时动作捕捉数据进行重定向处理还包括:
从所述实时动作捕捉数据中获取得到所述Vicon骨架的源动捕数据;
从所述源动捕数据中获取得到根骨骼的位置数据和旋转数据、父骨骼的位置数据和旋转数据以及子骨骼的旋转数据;
将根骨骼的位置数据和旋转数据、父骨骼的的位置数据和旋转数据以及子骨骼的旋转数据映射到所述目标骨架对应的根骨骼、父骨骼和子骨骼中。
具体来说,基于目标骨架对所述实时动作捕捉数据进行重定向处理还有一个核心的操作步骤是仅采用动捕数据的根骨骼的位置数据和旋转数据和其子骨骼的旋转数据,这样的做的原因是,因为虚拟角色会是骨骼比例不同的原因,所以这里将不采用源数据的位置数据,假设这里采用了子骨骼的位置数据就会带来可能会导致目标虚拟角色变得畸形以及很怪的形态。
在本发明第一方面一种可选的实施方式中,所述对重定向后的所述实时动作捕捉数据进行IK处理包括:
从所述源动捕数据中获取得到子骨骼的位置数据;
通过递归运算获得子骨骼的实际位置数据;
将所述子骨骼的所述实际位置数据映射到所述目标骨架对应的子骨骼中中。
具体来说,完成重定向之后就可以驱动目标虚拟角色了,当完成了重定向了之后虽然目标虚拟角色也可以实时驱动起来了,但是重定向之后,就会带来一个问题就是,因为子骨骼没有位置数据仅采用了源数据的旋转数据,所以当角色走在一个地面上时,就会出现滑步的情况,所以为了解决这个角色滑步的问题,所以还需引入解决方案IK。
对于重定向操作中,脚部出现滑步的问题,所以我们需要得到脚部骨骼基于世界空间的位置数据(世界空间:是整个场景的坐标系,它的原点位于场景的中心)。并且将该骨骼世界空间的位置数据作为IK的脚部位置数据,上面也说明了,源动捕数据的骨骼数据是基于局部空间的空间数据,所以在这里需要该骨骼数据局部空间变换到基于世界空间的骨骼数据,这里俗称是空间变换,只需要将子骨骼的局部空间数据去递归乘以父骨骼的局部空间数据,递归的结束条件是一直到根骨骼的局部空间骨骼数据,这样通过一系列的矩阵变换就得到了该子骨骼的基于世界空间的骨骼数据,最后将该骨骼的骨骼变换之后的骨骼数据来得到位置数据,然后我们得到脚部的基于世界空间的位置数据作为IK的位置锁定点,以此用来解决脚步滑步问题。通过IK锁定子骨骼的位置数据(位置坐标),位置数据在空间中用坐标来表示,来表示沿着坐标轴移动的距离。这样就可以通过调整子骨骼的位置数据以此来调整父骨骼的空间状态,这样就可以达到和源动捕数据相同的姿态,也就可以实现源动作和目标动作的一致性。
在本发明第一方面一种可选的实施方式中,所述通过递归运算获得子骨骼的实际位置数据包括:
将子骨骼的位置数据转换为第一矩阵;
将父骨骼的位置数据转换为第二矩阵;
将根骨骼的位置数据转换为第三矩阵;其中,所述子骨骼的位置数据、所述父骨骼的位置数据和所述根骨骼的位置数据均包括位置坐标、旋转坐标以及缩放坐标;
对所述第一矩阵、所述第二矩阵和所述第三矩阵进行递归相乘获得第四矩阵;
从所述第四矩阵中提取得到子骨骼的实际位置数据。
具体来说,局部空间是来自对象视点的坐标系,局部空间的原点位于对象的枢轴点处。在这里需要稍微引入一个概念是坐标系,坐标系是由原点和坐标轴来表示,位置也就是沿着坐标轴移动的距离;旋转即是沿着坐标轴旋转的角度,而缩放就是对位置坐标进行缩放。所以空间数据就可以理解为在其对象所表示的空间下,沿坐标轴移动的距离用位置坐标来表示,沿着坐标轴旋转的角度也就是旋转数据。矩阵变换:可以将位置坐标,旋转,以及缩放数据构成一个矩阵,而组成的矩阵就代表了对象的空间信息,所以局部空间下的矩阵就叫做局部矩阵,世界空间下的矩阵就叫做世界矩阵,所以将局部矩阵所代表的对象的局部空间信息在世界空间下表示出来,则需要矩阵变换。
举例如下:假设子骨骼局部空间下位置坐标为:[5,10,15],旋转坐标为[45,0,0],缩放[1,1,1],代表的含义是在其局部坐标系下沿坐标轴移动的距离,以及旋转的角度,用矩阵来表示就是A:而父骨骼局部空间下的的位置坐标为[20,30,40],旋转坐标为[0,45,0],缩放为[1,1,1],用矩阵来表示就是B:所以将位于子骨骼局部空间下的数据在父骨骼局部空间下来表示则需要矩阵变换在这里就表示为 变换之后的矩阵,变换之后的矩阵就包含了在父骨骼局部空间下所表示的子骨骼局部空间的数据。通过子骨骼的局部空间数据所表示的矩阵*父骨骼的局部空间数据所表示的矩阵*...*根骨骼的局部空间数据所表示的矩阵,这就是我们的递归运算的计算过程。
参见图2,本发明第二方面提供了一种虚拟角色IK实时重定向装置,所述虚拟角色IK实时重定向装置包括:
拍摄模块10,用于通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;
数据传输模块20,用于通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;
重定向模块30,用于基于目标骨架对所述实时动作捕捉数据进行重定向处理;
IK处理模块40,用于对重定向后的所述实时动作捕捉数据进行IK处理;
骨架驱动模块50,用于利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。
在本发明第二方面一种可选的实施方式中,所述重定向模块30包括:
骨骼数据获取单元,用于从所述实时动作捕捉数据中获取得到Vicon骨架的骨骼数据;
第一映射单元,用于建立所述Vicon骨架的骨骼数据和所述目标骨架的骨骼数据之间的映射表;
轴向对齐单元,用于对所述Vicon骨架和所述目标骨架进行骨骼轴向对齐。
在本发明第二方面一种可选的实施方式中,所述重定向模块30还包括:
源动捕数据获取单元,用于从所述实时动作捕捉数据中获取得到所述Vicon骨架的源动捕数据;
位置数据和旋转数据提取单元,用于从所述源动捕数据中获取得到根骨骼的位置数据和旋转数据、父骨骼的位置数据和旋转数据以及子骨骼的旋转数据;
第二映射单元,用于将根骨骼的位置数据和旋转数据、父骨骼的的位置数据和旋转数据以及子骨骼的旋转数据映射到所述目标骨架对应的根骨骼、父骨骼和子骨骼中。
在本发明第二方面一种可选的实施方式中,所述IK处理模块40包括:
子骨骼位置数据获取单元,用于从所述源动捕数据中获取得到子骨骼的位置数据;
递归运算单元,用于通过递归运算获得子骨骼的实际位置数据;
第三映射单元,用于将所述子骨骼的所述实际位置数据映射到所述目标骨架对应的子骨骼中中。
在本发明第二方面一种可选的实施方式中,所述递归运算单元包括:
第一矩阵转换子单元,用于将子骨骼的位置数据转换为第一矩阵;
第二矩阵转换子单元,将父骨骼的位置数据转换为第二矩阵;
第三矩阵转换子单元,将根骨骼的位置数据转换为第三矩阵;
递归相乘子单元,对所述第一矩阵、所述第二矩阵和所述第三矩阵进行递归相乘获得第四矩阵;
实际位置数据提取单元,用于从所述第四矩阵中提取得到子骨骼的实际位置数据。
在本发明第二方面一种可选的实施方式中,所述子骨骼的位置数据、所述父骨骼的位置数据和所述根骨骼的位置数据均包括位置坐标、旋转坐标以及缩放坐标。
在本发明第二方面一种可选的实施方式中,所述第一映射单元包括:
第一骨头关节信息获取子单元,用于从所述Vicon骨架的骨骼数据中获取得到所述Vicon骨架所具有的骨头和关节信息;
第一骨头关节信息获取子单元,用于从所述目标骨架的骨骼数据中获取得到所述目标骨架所具有的骨头和关节信息;
第一关系建立子单元,用于根据骨头名称建立所述Vicon骨架的骨头和所述目标骨架的骨头之间的一一对应关系;
第二关系建立子单元,用于根据关节名称建立所述Vicon骨架的关节和所述目标骨架的关节之间的一一对应关系。
图3是本发明实施例提供的一种虚拟角色IK实时重定向设备的示意图,该虚拟角色IK实时重定向设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器90(central processing units,CPU)(例如,一个或一个以上处理器)和存储器100,一个或一个以上存储应用程序或数据的存储介质110(例如一个或一个以上海量存储设备)。其中,存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对文字动画的生成设备中的一系列指令操作。更进一步地,处理器可以设置为与存储介质通信,在医疗平板上执行存储介质中的一系列指令操作。
本发明的虚拟角色IK实时重定向设备还可以包括一个或一个以上电源120,一个或一个以上有线或无线网络接口130,一个或一个以上输入输出接口140,和/或,一个或一个以上操作系统,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图3示出的虚拟角色IK实时重定向设备结构并不构成对本发明虚拟角色IK实时重定向设备的具体限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述的虚拟角色IK实时重定向方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统或装置、单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种虚拟角色IK实时重定向方法,其特征在于,包括以下步骤:
通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;
通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;
基于目标骨架对所述实时动作捕捉数据进行重定向处理;
对重定向后的所述实时动作捕捉数据进行IK处理;
利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。
2.根据权利要求1所述的虚拟角色IK实时重定向方法,其特征在于,所述基于目标骨架对所述实时动作捕捉数据进行重定向处理包括:
从所述实时动作捕捉数据中获取得到Vicon骨架的骨骼数据;
建立所述Vicon骨架的骨骼数据和所述目标骨架的骨骼数据之间的映射表;
对所述Vicon骨架和所述目标骨架进行骨骼轴向对齐。
3.根据权利要求2所述的虚拟角色IK实时重定向方法,其特征在于,所述基于目标骨架对所述实时动作捕捉数据进行重定向处理还包括:
从所述实时动作捕捉数据中获取得到所述Vicon骨架的源动捕数据;
从所述源动捕数据中获取得到根骨骼的位置数据和旋转数据、父骨骼的位置数据和旋转数据以及子骨骼的旋转数据;
将根骨骼的位置数据和旋转数据、父骨骼的的位置数据和旋转数据以及子骨骼的旋转数据映射到所述目标骨架对应的根骨骼、父骨骼和子骨骼中。
4.根据权利要求3所述的虚拟角色IK实时重定向方法,其特征在于,所述对重定向后的所述实时动作捕捉数据进行IK处理包括:
从所述源动捕数据中获取得到子骨骼的位置数据;
通过递归运算获得子骨骼的实际位置数据;
将所述子骨骼的所述实际位置数据映射到所述目标骨架对应的子骨骼中中。
5.根据权利要求4所述的虚拟角色IK实时重定向方法,其特征在于,所述通过递归运算获得子骨骼的实际位置数据包括:
将子骨骼的位置数据转换为第一矩阵;
将父骨骼的位置数据转换为第二矩阵;
将根骨骼的位置数据转换为第三矩阵;
对所述第一矩阵、所述第二矩阵和所述第三矩阵进行递归相乘获得第四矩阵;
从所述第四矩阵中提取得到子骨骼的实际位置数据。
6.根据权利要求5所述的虚拟角色IK实时重定向方法,其特征在于,所述子骨骼的位置数据、所述父骨骼的位置数据和所述根骨骼的位置数据均包括位置坐标、旋转坐标以及缩放坐标。
7.根据权利要求2所述的虚拟角色IK实时重定向方法,其特征在于,所述建立所述Vicon骨架的骨骼数据和所述目标骨架的骨骼数据之间的映射表包括:
从所述Vicon骨架的骨骼数据中获取得到所述Vicon骨架所具有的骨头和关节信息;
从所述目标骨架的骨骼数据中获取得到所述目标骨架所具有的骨头和关节信息;
根据骨头名称建立所述Vicon骨架的骨头和所述目标骨架的骨头之间的一一对应关系;
根据关节名称建立所述Vicon骨架的关节和所述目标骨架的关节之间的一一对应关系。
8.一种虚拟角色IK实时重定向装置,其特征在于,所述虚拟角色IK实时重定向装置包括:
拍摄模块,用于通过Vicon光学运动捕捉系统采集真人的实时动作捕捉数据;
数据传输模块,用于通过Maya LiveLink插件将所述实时动作捕捉数据传输至虚幻引擎中;
重定向模块,用于基于目标骨架对所述实时动作捕捉数据进行重定向处理;
IK处理模块,用于对重定向后的所述实时动作捕捉数据进行IK处理;
骨架驱动模块,用于利用重定向和IK处理处理后的所述实时动作捕捉数据驱动所述目标骨架运动。
9.一种虚拟角色IK实时重定向设备,其特征在于,所述虚拟角色IK实时重定向设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述虚拟角色IK实时重定向设备执行如权利要求1-7中任一项所述的虚拟角色IK实时重定向方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的虚拟角色IK实时重定向方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211327233.3A CN115797519A (zh) | 2022-10-26 | 2022-10-26 | 虚拟角色ik实时重定向方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211327233.3A CN115797519A (zh) | 2022-10-26 | 2022-10-26 | 虚拟角色ik实时重定向方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115797519A true CN115797519A (zh) | 2023-03-14 |
Family
ID=85434074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211327233.3A Pending CN115797519A (zh) | 2022-10-26 | 2022-10-26 | 虚拟角色ik实时重定向方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797519A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051699A (zh) * | 2023-03-29 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 动捕数据的处理方法、装置、设备及存储介质 |
CN117319628A (zh) * | 2023-09-18 | 2023-12-29 | 四开花园网络科技(广州)有限公司 | 一种支持户外led屏的实时互动裸眼3d虚拟场景系统 |
-
2022
- 2022-10-26 CN CN202211327233.3A patent/CN115797519A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051699A (zh) * | 2023-03-29 | 2023-05-02 | 腾讯科技(深圳)有限公司 | 动捕数据的处理方法、装置、设备及存储介质 |
CN116051699B (zh) * | 2023-03-29 | 2023-06-02 | 腾讯科技(深圳)有限公司 | 动捕数据的处理方法、装置、设备及存储介质 |
CN117319628A (zh) * | 2023-09-18 | 2023-12-29 | 四开花园网络科技(广州)有限公司 | 一种支持户外led屏的实时互动裸眼3d虚拟场景系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115797519A (zh) | 虚拟角色ik实时重定向方法及相关设备 | |
CN111694429B (zh) | 虚拟对象驱动方法、装置、电子设备及可读存储 | |
CN108986189B (zh) | 基于三维动画中实时多人动作捕捉并直播的方法和系统 | |
WO2021169839A1 (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
JP3337938B2 (ja) | 3次元骨格構造の動き送受信装置、および動き送受信方法 | |
CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
CN110728739B (zh) | 一种基于视频流的虚拟人控制与交互方法 | |
CN110083235A (zh) | 交互系统及数据处理方法 | |
CN111028267B (zh) | 一种移动机器人单目视觉跟随系统及跟随方法 | |
CN110216698A (zh) | 一种基于ros的机械臂遥操作系统 | |
CN109108970B (zh) | 一种基于骨骼节点信息的交互式机械臂控制方法 | |
CN109806580A (zh) | 基于无线传输的混合现实系统及方法 | |
CN115699198A (zh) | 手术室的数字化 | |
CN110142769A (zh) | 基于人体姿态识别的ros平台在线机械臂示教系统 | |
CN113746936A (zh) | 一种vr与ar分布式协作的综采工作面智能监控系统 | |
CN113793420A (zh) | 深度信息处理方法、装置、电子设备及存储介质 | |
CN112862973A (zh) | 一种基于故障现场的实时远程培训方法及系统 | |
CN112069979A (zh) | 一种实时动作识别人机交互系统 | |
CN111292411A (zh) | 一种基于向内环视多rgbd相机的实时动态人体三维重建方法 | |
KR20210073428A (ko) | 현실기반 sns를 위한 나만의 캐릭터 생성 및 사물 및 배경 복원 방법 및 시스템 | |
CN111562841B (zh) | 虚拟现实系统的异地联机方法、装置、设备及存储介质 | |
CN116977506A (zh) | 模型动作重定向的方法、装置、电子设备及存储介质 | |
CN115220578A (zh) | 一种基于光学动作捕捉的交互式vr系统与方法 | |
CN109048927B (zh) | 一种机器人设计方法及装置、及机器人控制方法及装置 | |
WO2022047827A1 (zh) | 一种基于情感化身的混合现实协同系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |