CN112184921B - 虚拟形象驱动方法、装置、设备和介质 - Google Patents

虚拟形象驱动方法、装置、设备和介质 Download PDF

Info

Publication number
CN112184921B
CN112184921B CN202011192132.0A CN202011192132A CN112184921B CN 112184921 B CN112184921 B CN 112184921B CN 202011192132 A CN202011192132 A CN 202011192132A CN 112184921 B CN112184921 B CN 112184921B
Authority
CN
China
Prior art keywords
avatar
data
target
coefficient
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011192132.0A
Other languages
English (en)
Other versions
CN112184921A (zh
Inventor
彭昊天
陈睿智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011192132.0A priority Critical patent/CN112184921B/zh
Publication of CN112184921A publication Critical patent/CN112184921A/zh
Priority to US17/412,977 priority patent/US20210383605A1/en
Priority to JP2021154597A priority patent/JP7288939B2/ja
Application granted granted Critical
Publication of CN112184921B publication Critical patent/CN112184921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种虚拟形象驱动方法、装置、设备和介质,涉及增强现实和深度学习领域。具体实现方案为:获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重;获取待转换图像转换为所述虚拟形象时,所述蒙皮骨骼模型的目标虚拟形象数据;根据所述蒙皮权重、所述蒙皮骨骼模型的基本虚拟形象数据和所述目标虚拟形象数据,确定所述蒙皮骨骼模型的骨骼驱动系数;根据各骨骼节点的所述骨骼驱动系数,驱动所述蒙皮骨骼模型。本申请实施例提高了虚拟形象驱动结果与目标虚拟形象数据的匹配度。

Description

虚拟形象驱动方法、装置、设备和介质
技术领域
本申请涉及数据处理技术领域,尤其涉及增强现实和深度学习领域,具体涉及一种动画形象驱动方法、装置、设备和介质。
背景技术
随着技术的不断发展,增强现实技术应运而生,可以通过驱动虚拟形象来模拟真实形象的表情或姿态等,增加了用户的使用乐趣。
现有技术中,在基于真实形象进行虚拟形象驱动时,存在驱动结果与真实形象的表情或姿态差距较大的情况,降低了用户的使用体验。
发明内容
本申请提供了一种匹配度更高的虚拟形象驱动方法、装置、设备和介质。
根据本申请的一方面,提供了一种虚拟形象驱动方法,包括:
获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重;
获取待转换图像转换为所述虚拟形象时,所述蒙皮骨骼模型的目标虚拟形象数据;
根据所述蒙皮权重、所述蒙皮骨骼模型的基本虚拟形象数据和所述目标虚拟形象数据,确定所述蒙皮骨骼模型的骨骼驱动系数;
根据各骨骼节点的所述骨骼驱动系数,驱动所述蒙皮骨骼模型。
根据本申请的另一方面,还提供了一种虚拟形象驱动装置,包括:
蒙皮权重获取模块,用于获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重;
目标虚拟形象数据获取模块,用于获取待转换图像转换为所述虚拟形象时,所述蒙皮骨骼模型的目标虚拟形象数据;
骨骼驱动系数确定模块,用于根据所述蒙皮权重、所述蒙皮骨骼模型的基本虚拟形象数据和所述目标虚拟形象数据,确定所述蒙皮骨骼模型的骨骼驱动系数;
蒙皮骨骼模型驱动模块,用于根据各骨骼节点的所述骨骼驱动系数,驱动所述蒙皮骨骼模型。
根据本申请的另一方面,还提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任一实施例提供的一种虚拟形象驱动方法。
根据本申请的另一方面,还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本申请任一实施例提供的一种虚拟形象驱动方法。
根据本申请的技术,提高了虚拟形象驱动结果与目标虚拟形象数据的匹配度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1A是本申请实施例提供的一种虚拟形象驱动方法的流程图;
图1B是本申请实施例提供的一种虚拟形象的骨骼节点和蒙皮结构图;
图2是本申请实施例提供的另一种虚拟形象驱动方法的流程图;
图3是本申请实施例提供的另一种虚拟形象驱动方法的流程图;
图4是本申请实施例提供的另一种虚拟形象驱动方法的流程图;
图5A是本申请实施例提供的另一种虚拟形象驱动方法的流程图;
图5B是本申请实施例提供的一种虚拟形象数据示意图;
图5C是本申请实施例提供的去加权中心化后的虚拟形象数据示意图;
图5D是本申请实施例提供的一种虚拟形象增强数据示意图;
图5E是本申请实施例提供的一种迭代结果示意图;
图5F是本申请实施例提供的一种刚性变换结果示意图;
图6是本申请实施例提供的一种虚拟形象驱动装置的结构图;
图7是用来实现本申请实施例的虚拟形象驱动方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供的各虚拟形象驱动方法和虚拟形象驱动装置,适用于在在增强现实和深度学习领域中,根据用户的待转换图像转换为虚拟形象时,对虚拟形象的基本蒙皮骨骼模型进行驱动的情况。该方法可以采用虚拟形象驱动装置执行,该装置采用软件和/或硬件实现,并具体配置在电子设备中。
参见图1A所示的一种虚拟形象驱动方法的流程图,包括:
S101、获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重。
其中,虚拟形象可以理解为基于诸如虚拟人物、虚拟动物或虚拟植物等所构建的形象,例如卡通形象等。
其中,蒙皮骨骼模型为技术人员在虚拟形象设计时所构建的模型结构,用于唯一表征对应的虚拟形象。该蒙皮骨骼模型可以包括骨骼(Bone)节点和蒙皮(Skinned Mesh)两部分。其中,各骨骼节点可以根据节点之间的关联关系构建骨骼节点树,便于进行骨骼节点的查找或使用。其中,蒙皮中包括至少一个蒙皮顶点,附着在骨骼上,每个蒙皮顶点可以被多个骨骼节点所控制。需要说明的是,由于一个蒙皮顶点可以被至少一个骨骼节点所控制,为了便于对不同骨骼节点对同一蒙皮顶点的控制程度加以区分,在蒙皮骨骼模型构建时,还需要设置不同骨骼节点对所控制蒙皮顶点的蒙皮权重。其中,对同一蒙皮顶点具备控制作用的各骨骼节点对应的蒙皮权重的和为1。其中,蒙皮权重的具体数值可以由虚拟形象的蒙皮骨骼模型的设计师根据设计经验、直观和实验情况加以确定或调整。
参见图1B所示的一种虚拟形象的骨骼节点和蒙皮的结构示意图。其中,(a)图中的线条表示骨骼节点之间的层次结构,线条的交点即为骨骼节点。其中,(b)图表示(a)图中的各骨骼节点对应的蒙皮,其中,区域10通过灰度表征(a)图中的骨骼节点A对所关联蒙皮的控制程度,也即蒙皮权重。其中,白色权重为1,黑色权重为0。
其中,可以通过对蒙皮骨骼模型进行驱动,使得蒙皮骨骼模型产生刚性变换,进而得到虚拟形象的不同变换形象。其中,刚性变换包括旋转、平移和缩放等变换中的至少一种。
其中,虚拟形象的蒙皮骨骼模型中各骨骼节点关联的各蒙皮顶点的蒙皮权重,可以预先存储在电子设备本地、与电子设备所关联的其他存储设备或云端中;相应的,在需要进行虚拟形象驱动时,从对应存储区域通过虚拟形象标识和骨骼节点标识,进行蒙皮权重的获取。
S102、获取待转换图像转换为虚拟形象时,蒙皮骨骼模型的目标虚拟形象数据。
其中,待转换图像可以理解为具备虚拟形象转换需求的图像,例如可以是用户实时采集或从设定存储区域上传的图像。
其中,蒙皮骨骼模型的虚拟形象数据可以是表征蒙皮骨骼模型中各蒙皮顶点的位置信息所形成的点云数据。
其中,目标虚拟形象数据,可以理解为通过虚拟形象模仿待转换图像中的表情和/或姿态等信息时,蒙皮骨骼模型所对应的虚拟形象数据。
其中,目标虚拟形象数据,可以通过对待转换图像进行三维动画处理得到。需要说明的是,可以基于现有技术中的任意三维动画处理方式,对待处理图像进行处理,得到目标虚拟形象数据,本申请实施例对目标虚拟形象数据的具体获取方式不做任何限定。示例性地,可以通过预先构建的多个混合形状(Blend Shape,BS)模型构建的线性模型,对待转换图像进行处理,得到目标虚拟形象数据。
为了简化虚拟形象驱动过程的数据运算量,可以将目标虚拟形象数据的确定过程迁移至其他终端中加以实现,并将确定结果存储在执行虚拟形象驱动方法的电子设备,或与该电子设备所关联的其他设备中,以供查询获取。
S103、根据蒙皮权重、蒙皮骨骼模型的基本虚拟形象数据和目标虚拟形象数据,确定蒙皮骨骼模型的骨骼驱动系数。
其中,骨骼驱动系数,用于表征对蒙皮骨骼模型中当前骨骼节点进行驱动时所依照的参数。其中,驱动过程可以理解为对蒙皮骨骼模型的基本虚拟形象数据进行刚性变换的过程。
可选的,骨骼驱动系数可以包括目标旋转系数,用于表征在进行虚拟形象驱动时,对各蒙皮顶点的位置信息(基本虚拟形象数据)进行旋转控制时的旋转控制参数。或者可选地,骨骼驱动系数还可以包括目标缩放系数,用于表征在进行虚拟形象驱动时,对各蒙皮顶点的位置信息(基本虚拟形象数据)进行缩放控制时的缩放控制参数。或者可选的,骨骼驱动系数还可以包括目标平移系数,用于表征在进行虚拟形象驱动时,对蒙皮顶点的位置信息(基本虚拟形象数据)进行平移控制时的平移控制参数。
本申请实施例中的骨骼驱动系数可以包括目标旋转系数、目标缩放系数和目标平移系数。需要说明的是,在对基本虚拟形象数据进行旋转、缩放和平移操作时,由于坐标转换等因素的影响,导致旋转、缩放和平移操作三者的先后顺序不同,最终确定的骨骼驱动系数也不同。由于平移和缩放对基本虚拟形象数据带来的影响可以通过数据处理的方式加以消除,因此,一般是通过“目标旋转系数-目标缩放系数-目标平移系数”的先后顺序进行目标驱动系数的确定。可以理解的是,当无需对基本虚拟形象数据进行旋转、缩放或平移操作时,可以确定相应的目标旋转系数、目标缩放系数或目标平移系数为单位矩阵,因此,当骨骼驱动系数包括目标旋转系数、目标缩放系数和目标平移系数中的至少一种时,仍然可以采用“目标旋转系数-目标缩放系数-目标平移系数”的先后顺序进行目标驱动系数的确定。
示例性地,可以通过蒙皮权重,对蒙皮骨骼模型的基本虚拟形象数据和/或目标虚拟形象数据进行处理,并根据处理后的数据确定蒙皮骨骼模型的骨骼驱动系数。
需要说明的是,由于蒙皮权重表征了当前骨骼节点对相应的蒙皮顶点的控制程度,也即将蒙皮骨骼模型中不同骨骼节点对相同蒙皮顶点的控制程度加以区分,使得在进行骨骼驱动系数确定过程中,能够实现对当前骨骼节点的骨骼驱动系数的确定,消除了其他骨骼节点对当前骨骼节点所关联的各蒙皮顶点的影响。
在一个可选实施例中,可以通过蒙皮权重对基本虚拟形象数据和目标虚拟形象数据进行加权处理;采用普氏分析法,对权重处理结果进行单次处理,得到蒙皮骨骼模型的目标旋转系数;根据加权后的目标虚拟形象数据和基本虚拟形象数据的加权均方根误差,得到蒙皮骨骼模型的目标缩放系数;根据加权后的目标虚拟形象数据和基本虚拟形象数据的差值,确定蒙皮骨骼模型的目标平移系数等。
由于采用普氏分析法对权重处理结果进行单次处理,所确定的骨骼驱动系数的准确度较低,从而影响了虚拟形象驱动结果与目标虚拟形象数据的匹配度。为了避免上述情况的发生,还可以在进行骨骼驱动系数确定时,通过循环迭代的方式进行至少一个骨骼驱动系数的确定,直至满足迭代终止条件。其中,迭代终止条件可以是所确定的骨骼驱动系数的虚拟形象驱动结果与目标虚拟形象数据近似,也即误差小于设定误差阈值;或者还可以是达到设定迭代次数。其中,设定误差阈值或设定迭代次数由技术人员根据需要或经验值进行确定。
在另一可选实施例中,可以通过蒙皮权重对中间虚拟形象数据和目标虚拟形象数据进行处理;其中,中间虚拟形象数据根据当前骨骼驱动系数对基本虚拟形象数据进行刚性变换得到;采用普氏分析法,对权重处理结果进行单次处理,得到当前骨骼驱动系数;通过当前骨骼驱动系数对中间虚拟形象数据进行更新,循环迭代,直至满足迭代终止条件。其中,迭代终止条件可以是最终确定的中间虚拟形象数据与目标虚拟形象数据近似,也即误差小于设定误差阈值;或者还可以是达到设定迭代次数。其中,设定误差阈值或设定迭代次数由技术人员根据需要或经验值进行确定。其中,当前骨骼驱动系数的初始值可以基于单位矩阵进行确定。
S104、根据各骨骼节点的骨骼驱动系数,驱动蒙皮骨骼模型。
示例性地,根据各骨骼节点的骨骼驱动系数,对蒙皮骨骼模型的基本虚拟形象数据进行刚性变换,得到虚拟形象驱动结果,用于展示。
需要说明的是,驱动蒙皮骨骼模型的电子设备可以与确定骨骼驱动系数的电子设备相同或不同。例如,可以通过服务器进行骨骼驱动系数的确定,进而将所确定的骨骼驱动系数下发至终端设备,并在终端设备中根据骨骼驱动系数对本地的蒙皮骨骼模型进行驱动。其中,终端设备中的蒙皮骨骼模型与服务器中的蒙皮骨骼模型相同。
本申请实施例通过在确定骨骼驱动系数的过程中引入当前骨骼节点所关联各蒙皮顶点的蒙皮权重,并通过蒙皮权重消除其他骨骼节点对当前骨骼节点所关联蒙皮顶点的影响,从而提高了当前骨骼节点的骨骼驱动系数的确定结果的准确度,进而提高了基于骨骼驱动系数进行虚拟形象驱动的驱动结果与目标虚拟现象数据的匹配度。
示例性地,骨骼驱动系数可以包括目标旋转系数。在本申请一个可选实施例中,在上述各技术方案的基础上,对目标旋转系数的具体生成机制,进行了优化改进。进一步参见图2所示的一种虚拟形象驱动方法的流程图,该方法包括:
S201、获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重。
S202、获取待转换图像转换为虚拟形象时,蒙皮骨骼模型的目标虚拟形象数据。
S203、根据基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据。
其中,当前旋转系数可以是前次迭代过程中,更新得到的数据。其中,首次迭代过程中的当前迭代系数可以由技术人员根据需要或经验值进行确定。例如,可以将当前旋转系数设置为单位矩阵或随机矩阵。
示例性地,通过当前旋转系数对基本虚拟形象数据进行旋转处理,得到中间虚拟形象数据。其中,中间虚拟形象数据可以理解为在基本虚拟形象数据向目标虚拟形象数据进行转换时,每一次迭代过程所确定的用于进行中间过渡的虚拟形象数据。可以理解的是,随着迭代次数的不断增加,中间虚拟形象数据也逐渐与目标虚拟形象数据相逼近,进而使最终确定的当前旋转系数更加精确。
S204、通过蒙皮权重分别对中间虚拟形象数据和目标虚拟形象数据进行加权增强,得到中间虚拟形象增强数据和目标虚拟形象增强数据。
其中,加权操作也即通过各蒙皮顶点的蒙皮权重分别对中间虚拟形象数据中相应蒙皮顶点的位置数据进行加权处理,得到中间虚拟形象增强数据以及,通过各蒙皮顶点的蒙皮权重,分别对目标虚拟形象数据进行加权处理,得到目标虚拟形象增强数据。
通过蒙皮权重分别对中间虚拟形象数据和目标虚拟形象数据进行加权增强,能够消除其他骨骼节点对当前节点所关联的蒙皮顶点的控制影响,从而得到仅与当前骨骼节点相关联的中间虚拟形象增强数据和目标虚拟形象增强数据。
S205、根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数。
可选的,确定中间虚拟形象增强数据转换至目标虚拟形象增强数据时的旋转系数增量;根据旋转系数增量对前次迭代所确定的当前旋转系数(也即,确定中间虚拟形象数据时所采用的当前旋转系数),进行更新。
示例性地,确定中间虚拟形象增强数据转换至目标虚拟形象增强数据时的旋转系数增量,可以基于正交普鲁克方法加以实现。
在一具体实现方式中,通过奇异值分解法,确定中间虚拟形象增强数据和目标虚拟形象增强数据的两套正交基向量。其中,一套正交基向量为对中间虚拟形象增强数据的转置与目标虚拟形象增强数据的乘积矩阵的正交输入基向量的组合;另一套正交基向量为对中间虚拟形象增强数据的转置与目标虚拟形象增强数据的乘积矩阵的正交输出基向量的组合;确定两套正交基向量的乘积矩阵,并将该矩阵作为旋转系数增量的矩阵值。
S206、将满足迭代终止条件时的当前旋转系数作为目标旋转系数。
可选的,满足迭代终止条件,可以是中间虚拟形象增强数据与目标虚拟形象增强数据的误差小于设定误差值;或者还可以是迭代过程中中间虚拟形象增强数据与目标虚拟形象增强数据的误差趋于稳定;或者还可以是目标旋转系数的迭代次数满足设定次数阈值。其中,设定误差值或设定次数阈值,可以由技术人员根据需要或经验值进行设定,还可以通过大量试验反复确定或调整。
可以理解的是,通过迭代过程中不断优化当前旋转系数,使得最终所确定的当前旋转系数,也即目标旋转系数,能够更加准确的表征当前骨骼节点的刚性转换过程中,将基本虚拟形象数据旋转至目标虚拟形象数据的旋转情况。
S207、根据各骨骼节点的包括目标旋转系数的骨骼驱动系数,驱动蒙皮骨骼模型。
本申请实施例通过蒙皮权重分别对中间虚拟形象数据和目标虚拟形象数据进行加权增强,消除其他骨骼节点对当前骨骼节点所关联的蒙皮顶点的影响,从而提高了当前骨骼节点对应的目标旋转系数的准确度,同时,通过在确定目标旋转系数的过程中,进行多次迭代,使得最终确定的目标旋转系数准确度更高,相应的,蒙皮骨骼模型的驱动结果与目标虚拟形象数据的匹配度更好。
在上述各实施例的技术方案的基础上,在基本虚拟形象数据向目标虚拟形象数据进行刚性变换过程中,若还需要经过平移操作,那么平移操作带来的坐标系或坐标原点的改变,将会对旋转操作的最终结果带来一定的影响,也即影响目标旋转系数确定结果的准确度。
为了避免平移操作对目标旋转系数的准确度的影响,在一可选实施例中,在根据基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据之前,还可以分别对基本虚拟形象数据和目标虚拟形象数据进行去中心化,以更新基本虚拟形象数据和目标虚拟形象数据。相应的,根据更新后的基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据;以及,通过蒙皮权重分别对中间虚拟形象数据和更新后的目标虚拟形象数据进行加权增强,得到中间虚拟形象增强数据和目标虚拟形象增强数据。
具体的,可以根据基本虚拟形象数据中各蒙皮顶点的位置数据,确定基本虚拟形象数据的基本中心点;将基本虚拟形象数据中各蒙皮顶点的点云数据与基本中心点的点云数据作差,以更新基本虚拟形象数据,从而实现对基本虚拟形象数据的去中心化处理。相应的,根据目标虚拟形象数据中各蒙皮顶点的点云数据,确定目标虚拟形象数据的目标中心点;将目标虚拟形象数据中各蒙皮顶点的点云数据与目标中心点的位置数据作差,以更新基本虚拟形象数据,从而实现对目标虚拟形象数据的去中心化处理。
可以理解的是,通过去中心化操作,能够将基本虚拟形象数据和目标虚拟形象数据的坐标系相统一,从而消除了平移操作给目标旋转系数的准确度带来的影响。
由于在进行目标旋转系数确定过程中,需要通过蒙皮权重对基于基本虚拟形象数据所确定的中间虚拟形象数据,以及目标虚拟形象数据进行加权增强,将会存在中间虚拟形象数据和目标虚拟形象数据的加权质心出现偏移,而物体的运动稳定性与质心位置密切相关,也即加权质心的偏移,将会对目标旋转系数确定结果的准确度带来一定的影响。为了避免上述情况的发生,在一可选实施例中,还可以将上述去中心化处理优化为去加权中心化处理。
示例性地,分别对中间虚拟形象数据和目标虚拟形象数据进行去中心化处理,可以是:根据蒙皮权重,分别确定基本虚拟形象数据和目标虚拟形象数据的基本加权质心和目标加权质心;根据基本加权质心对基本虚拟形象数据进行去中心化处理,以及,根据目标加权质心对目标虚拟形象数据进行去中心化处理。
具体的,可以采用蒙皮权重,对基本虚拟形象数据中各蒙皮顶点的点云数据,进行加权求和,确定基本虚拟形象数据的基本加权质心;将基本虚拟形象数据中各蒙皮顶点的点云数据与基本加权质心的位置数据作差,以更新基本虚拟形象数据,从而实现对基本虚拟形象数据的去加权中心化处理。相应的,采用蒙皮权重,对目标虚拟形象数据中各蒙皮顶点的点云数据,进行加权求和,确定目标虚拟形象数据的目标加权质心;将目标虚拟形象数据中各蒙皮顶点的点云数据与目标加权质心的位置数据作差,以更新目标虚拟形象数据,从而实现对目标虚拟形象数据的去加权中心化处理。
可以理解的是,通过蒙皮权重进行基本虚拟形象数据的基本加权质心,以及目标虚拟形象数据的目标加权质心的确定,从而基于所确定的基本加权质心和目标加权质心分别对基本虚拟形象数据和目标虚拟形象数据进行去中心化处理,消除了加权质心偏移情况的发生,进而避免了由于加权质心偏移给目标旋转系数确定结果准确度带来的影响,进而提高了目标旋转系数确定结果的准确度。
在上述各技术方案的基础上,在基本虚拟形象数据向目标虚拟形象数据进行刚性变换过程中,若还需要经过缩放操作,那么缩放操作由于缩放方向的影响,也可能会对旋转操作的最终结果带来一定的影响,也即影响目标旋转系数确定结果的准确度。
为了避免缩放操作对目标旋转系数的准确度的影响,在一可选实施例中,在根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数之前,还可以分别对中间虚拟形象增强数据和目标虚拟形象增强数据进行标准化处理,以更新中间虚拟形象增强数据和目标虚拟形象增强数据。相应的,根据更新后的中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数。
为了避免缩放操作对目标旋转系数的准确度的影响,在另一可选实施例中,在根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数之前,还可以分别对中间虚拟形象数据和目标虚拟形象数据进行标准化处理,以更新中间虚拟形象数据和目标虚拟形象数据。相应的,根据更新后的中间虚拟形象数据,进行中间虚拟形象数据的确定;以及,通过能批权重对更新后的目标虚拟形象数据进行加权增强。
可选的,标准化处理操作可以是:确定待处理数据的统计值;根据该统计值对待处理数据进行标准化处理,以更新上述待处理数据。其中,待处理数据可以是中间虚拟形象数据、中间虚拟形象增强数据、目标虚拟形象数据或目标虚拟形象增强数据等。其中,统计值包括最大值、最小值、标准差和方差等中的至少一种。
在一个具体实现方式中,分别对中间虚拟形象增强数据和目标虚拟形象增强数据进行标准化处理,以更新中间虚拟形象增强数据和目标虚拟形象增强数据,可以是:根据蒙皮权重,分别确定中间虚拟形象数据和目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;根据中间加权均方根误差对中间虚拟形象增强数据进行标准化处理,以更新中间虚拟形象增强数据;以及,根据目标加权均方根误差对目标虚拟形象增强数据进行标准化处理,以更新目标虚拟形象增强数据。
在另一具体实现方式中,分别对中间虚拟形象数据和目标虚拟形象数据进行标准化处理,以更新中间虚拟形象数据和目标虚拟形象数据,可以是:根据蒙皮权重,分别确定中间虚拟形象数据和目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;根据中间加权均方根误差对中间虚拟形象数据进行标准化处理,以更新中间虚拟形象数据;以及,根据目标加权均方根误差对目标虚拟形象数据进行标准化处理,以更新目标虚拟形象数据。
示例性地,骨骼驱动系数还可以包括目标缩放系数。在本申请一个可选实施例中,在上述各技术方案的基础上,对目标缩放系数的具体生成机制进行了优化改进。进一步参见图3所示的一种虚拟形象驱动方法的流程图,该方法包括:
S301、获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重。
S302、获取待转换图像转换为虚拟形象时,蒙皮骨骼模型的目标虚拟形象数据。
S303、根据基本虚拟形象数据、当前旋转系数和当前缩放系数,确定中间虚拟形象数据。
其中,当前旋转系数和当前缩放系数可以是前次迭代过程更新后所得到的数据。其中,在首次迭代过程中的当前迭代系数和当前缩放系数,可以由技术人员根据需要或经验值进行确定。例如,可以分别将当前旋转系数和当前缩放系数设置为单位矩阵或随机矩阵。
S304、通过蒙皮权重分别对中间虚拟形象数据、目标虚拟形象数据和基本虚拟形象数据进行加权增强,得到中间虚拟形象增强数据、目标虚拟形象增强数据和基本虚拟形象增强数据。
在进行目标缩放系数的确定过程中,在通过蒙皮权重对中间虚拟形象数据和面部虚拟形象数据分别加权增强之后,还需要通过蒙皮权重对基本虚拟形象数据进行加权增强,得到基本虚拟形象增强数据,以便在后续进行当前缩放系数确定时,保持数据类型的一致性,从而避免了由于数据类型不一致,导致最终确定的目标缩放系数准确度较低这一情况的发生。
具体的,通过各蒙皮顶点的蒙皮权重,分别对基本虚拟形象数据中相应蒙皮顶点的点云数据进行加权处理,得到基本虚拟形象增强数据。
S305、根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数。
S306、根据当前旋转系数对目标虚拟形象增强数据进行回旋处理。
根据当前旋转系数对目标虚拟形象增强数据进行回旋处理,能够消除从中间虚拟形象增强数据至目标虚拟形象增强数据中的旋转操作,所带来的影响,直接进行缩放操作所关联的当前缩放系数的确定。
S307、根据回旋处理结果和基本虚拟形象增强数据,更新当前缩放系数。
其中,由于回旋处理结果中已经消除了旋转操作带来的影响,因此,仅需根据回旋处理结果和基本虚拟形象增强数据,确定数据缩放结果,并将当前确定的数据缩放结果作为当前缩放系数,以便进行下次迭代时进行中间虚拟形象数据的确定。
为了消除其他骨骼节点对当前骨骼节点的蒙皮顶点的影响,进而提高当前缩放系数确定结果的准确度,在一个可选实施例中,可以根据蒙皮权重,分别确定回旋处理结果和基本虚拟形象增强数据的加权均方根误差;根据回旋处理结果的加权均方根误差与基本虚拟形象增强数据的加权均方根误差的比值,更新当前缩放系数。
具体的,根据蒙皮权重,分别确定回旋处理结果和基本虚拟形象增强数据的加权均方根误差;确定回旋处理结果的加权均方根误差与基本虚拟形象增强数据的加权均方根误差的比值;根据各比值结果构建对角矩阵,将所构建的对角矩阵作为更新后的当前缩放系数。
可以理解的是,在确定均方根误差过程中引入蒙皮权重,从而使得所确定的加权平方根误差消除了其他骨骼节点对当前骨骼节点的蒙皮顶点的缩放过程的影响,进而提高了当前缩放系数确定结果的准确度,为目标缩放系数确定准确度的提到奠定了基础。
S308、将满足迭代终止条件时的当前旋转系数和当前缩放系数,分别作为目标旋转系数和目标缩放系数。
S309、根据各骨骼节点的包括目标旋转系数和目标缩放系数的骨骼驱动系数,驱动蒙皮骨骼模型。
示例性地,根据目标缩放系数和目标旋转系数的乘积,确定目标骨骼驱动系数;根据目标骨骼驱动系数,驱动蒙皮骨骼模型,从而实现对基本虚拟形象数据的缩放和旋转操作,得到与目标虚拟形象数据相同或相似的数据,用于进行虚拟形象的渲染,从而实现采用虚拟形象对待转换图像的表情和/或姿态等信息的模仿,得到最终的虚拟形象数据。
本申请实施例通过在迭代确定当前旋转系数的过程中,通过当前旋转系数对目标虚拟形象增强数据进行回旋处理,消除了基本虚拟形象数据转换为目标虚拟形象数据过程中的旋转操作带来的影响,从而根据回旋处理结果和基本虚拟形象增强数据进行当前缩放系数的确定,提高了当前缩放系数确定结果的准确度,进而提高了目标缩放系数确定结果的准确度。
示例性地,骨骼驱动系数还可以包括目标平移系数。在本申请一个可选实施例中,对目标平移系数的具体生成机制进行了优化改进。进一步参见图4所示的一种虚拟形象驱动方法的流程图,该方法包括:
S401、获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重。
S402、获取待转换图像转换为虚拟形象时,蒙皮骨骼模型的目标虚拟形象数据。
S403、根据基本虚拟形象数据、当前旋转系数和当前缩放系数,确定中间虚拟形象数据。
S404、通过蒙皮权重分别对中间虚拟形象数据、目标虚拟形象数据和基本虚拟形象数据进行加权增强,得到中间虚拟形象增强数据、目标虚拟形象增强数据和基本虚拟形象增强数据。
S405、根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数。
S406、根据当前旋转系数对目标虚拟形象增强数据进行回旋处理。
S407、根据回旋处理结果和基本虚拟形象增强数据,更新当前缩放系数。
S408、将满足迭代终止条件时的当前旋转系数和当前缩放系数,分别作为目标旋转系数和目标缩放系数。
S409、根据目标旋转系数和目标缩放系数对基本虚拟形象数据进行调整,得到参考虚拟形象数据。
示例性地,采用目标缩放系数对基本虚拟形象数据进行缩放操作;采用目标旋转系数对缩放结果进行旋转操作,得到参考虚拟形象数据。可以理解的是,通过对基本虚拟形象数据依次进行缩放操作和旋转操作,能够消除在平移过程中缩放和旋转带来的影响,从而为提高所确定的目标平移系数的准确度,奠定基础。
S410、通过蒙皮权重,对参考虚拟形象数据进行加权增强,得到参考虚拟形象增强数据。
示例性地,通过蒙皮权重,对参考虚拟形象数据中各蒙皮顶点的点云数据进行加权,得到参考虚拟形象增强数据,从而消除了其他骨骼节点对当前骨骼节点所关联的蒙皮顶点的影响。
S411、根据参考虚拟形象增强数据和目标虚拟形象增强数据,确定目标平移系数。
示例性地,确定目标虚拟形象增强数据与参考虚拟形象增强数据的差值,将差值结果作为目标平移系数。
S412、根据各骨骼节点的骨骼驱动系数,驱动蒙皮骨骼模型;骨骼驱动系数包括目标旋转系数、目标缩放系数和目标平移系数。
示例性地,根据目标缩放系数、目标旋转系数和目标平移系数的乘积,确定目标骨骼驱动系数;根据目标骨骼驱动系数,驱动蒙皮骨骼模型,从而实现对基本虚拟形象数据的缩放、旋转和平移操作,得到与目标虚拟形象数据相同或相似的数据,用于进行虚拟形象的渲染,从而实现采用虚拟形象对待转换图像中的表情和/或姿态等信息的模仿,得到最终的虚拟形象数据。
本申请实施例通过在迭代完成后进行目标平移系数的确定,简化了目标平移系数确定过程的数据运算量。同时,在进行目标平移系数确定过程中,通过蒙皮权重对参考虚拟形象数据进行加权增强,得到参考虚拟形象增强数据,消除了旋转和缩放操作带来的影响,从而根据参考虚拟形象增强数据和目标虚拟形象增强数据进行目标平移系数的确定,提高了目标平移系数确定结果的准确度。
在上述各技术方案的基础上,本申请还提供了一种实现虚拟形象驱动方法的优选实施例。参见图5A所示的一种虚拟形象驱动方法,包括:
S501、获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重。
S502、获取待转换图像转换为虚拟形象时,蒙皮骨骼模型的目标虚拟形象数据。
S503、分别确定蒙皮骨骼模型的基本虚拟形象数据和目标虚拟形象数据的基本加权质心和目标加权质心。
示例性地,可以根据以下公式进行基本加权质心和目标加权质心的确定:
其中,weightCentreA为基本加权质心;weightCentreB为目标加权质心;Ai为基本虚拟形象数据中当前骨骼节点的第i个蒙皮顶点的位置数据;Bi为目标虚拟形象数据中当前骨骼节点的第i个蒙皮顶点的位置数据;weighti为第i个蒙皮顶点的蒙皮权重;其中,(n+1)为当前骨骼节点所关联的蒙皮顶点的总数量。
S504、根据基本加权质心对基本虚拟形象数据进行去加权中心化处理,以更新基本虚拟形象数据;以及,根据目标加权质心对目标虚拟形象数据进行去加权中心化处理,以更新目标虚拟形象数据。
示例性地,可以根据以下公式,分别对基本虚拟形象数据和目标虚拟形象数据进行去加权中心化处理:
其中,vecA为基本虚拟形象数据;subA为去加权中心化后的基本虚拟形象数据;vecB为基本虚拟形象数据;subB为去加权中心化后的基本虚拟形象数据。
参见图5B所示的人脸鼻头所关联蒙皮顶点的基本虚拟形象数据和目标虚拟形象数据的点云数据示意图;其中,图中较深颜色点云数据对应基本虚拟形象数据vecA;图中较浅颜色点云数据对应目标虚拟形象数据vecB。
参见图5C所示的去加权中心化后的虚拟形象数据示意图;其中,图中较深颜色点云数据对应subA;图中较浅颜色点云数据对应subB。
S505、根据基本虚拟形象数据、当前旋转系数和当前缩放系数,确定中间虚拟形象数据。
示例性地,可以根据以下公式,确定中间虚拟形象数据:
vecA'=subA*matScale*matRotation;
其中,vecA'为中间虚拟形象数据;matScale和matRotation分别为当前缩放系数和当前旋转系数。
S506、通过蒙皮权重,分别对基本虚拟形象数据、中间虚拟形象数据和目标虚拟形象数据进行加权增强,得到基本虚拟形象增强数据、中间虚拟形象增强数据和目标虚拟形象增强数据;
示例性地,可以根据以下公式,对虚拟形象数据进行加权增强处理:
其中,subAi、vecA'i和subBi分别为去中心化后的基本虚拟形象数据、中间虚拟形象数据和去中心化后的目标虚拟形象数据中,当前骨骼节点的第i个蒙皮顶点的位置数据weightAi、weightA'i和weightBi分别为基本虚拟形象增强数据weightA、中间虚拟形象增强数据weightA'和目标虚拟形象增强数据weightB中,当前骨骼节点的第i个蒙皮顶点的位置数据。
参见图5D所示的虚拟形象增强数据示意图,该图包括加权增强处理后得到的基本虚拟形象增强数据weightA(图中较深颜色点云数据)和目标虚拟形象增强数据weightB(图中较浅颜色点云数据)。
S507、根据蒙皮权重,分别确定中间虚拟形象数据和目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差。
示例性地,可以根据以下公式,进行加权均方根误差的确定:
其中,std(weightA')为中间加权均方根误差;std(weightB)为目标加权均方根误差。
S508、根据中间加权均方根误差对中间虚拟形象增强数据进行标准化处理,以更新中间虚拟形象增强数据;以及,根据目标加权均方根误差对目标虚拟形象增强数据进行标准化处理,以更新目标虚拟形象增强数据。
示例性地,可以根据以下公式,进行标准化处理:
其中,norA'和norB为标准化后的中间虚拟形象增强数据和目标虚拟形象增强数据。
S509、基于正交普鲁克法和奇异值分解法,根据中间虚拟形象增强数据和目标虚拟形象增强数据,确定旋转系数增量。
示例性地,可以根据以下公式,确定旋转系数增量:
其中,ΔRotation为旋转系数增量。
S510、根据旋转系数增量,更新当前旋转系数。
示例性地,可以根据以下公式,更新当前旋转系数:
matRotation=matRotation*ΔRotation。
S511、根据当前旋转系数对目标虚拟形象增强数据进行回旋处理。
示例性地,可以根据以下公式,对目标虚拟形象增强数据进行回旋处理:
projB=weightB*matRotationT
其中,projB为目标虚拟形象增强数据weightB的回旋处理结果。
S512、根据回旋处理结果和基本虚拟形象增强数据的加权均方根误差,更新当前缩放系数。
示例性地,可以根据以下公式,更新当前缩放系数:
其中,std(projB)为回旋处理结果的加权均方根误差;matScale为当前缩放系数。
S513、判定是否满足迭代终止条件;若是,则执行S514;否则,返回执行S505。
其中,满足迭代终止条件可以是:中间虚拟形象增强数据与目标虚拟形象增强数据的误差小于设定误差值;或者,迭代过程中中间虚拟形象增强数据与目标虚拟形象增强数据的误差趋于稳定;或者,迭代次数满足设定次数阈值。其中,设定误差值或设定次数阈值,可以由技术人员根据需要或经验值进行设定,还可以通过大量试验反复确定或调整。
S514、分别将当前缩放系数和当前旋转系数作为目标缩放系数和目标旋转系数。
参见图5E以3次迭代为例,示例性给出的迭代结果示意图;其中,(a)图对应当前旋转系数(R)的迭代结果示意图;(b)图对应当前缩放系数(S)的迭代结果示意图。图中较深颜色点云数据为中间虚拟形象数据;图中较浅颜色点云数据为目标虚拟形象数据。根据图5E可知,随着迭代次数的增加,根据当前旋转系数(R)和当前缩放系数(S)所确定的中间点云虚拟形象数据,逐渐逼近目标点云虚拟形象数据。
S515、根据目标旋转系数和目标缩放系数对基本虚拟形象数据进行调整,得到参考虚拟形象数据。
示例性地,可以根据以下公式,确定参考虚拟形象数据:
vecA”=vecA*Scale*Rotation;
其中,vecA”为参考虚拟形象数据;Scale为目标缩放系数;Rotation为目标旋转系数。
S516、通过蒙皮权重,对参考虚拟形象数据进行加权增强,得到参考虚拟形象增强数据。
示例性地,可以根据以下公式,确定参考虚拟形象增强数据:
weightA”i=vecA”i*weighti
其中,weightA”i为参考虚拟形象增强数据在第i个蒙皮顶点的位置数据。
S517、将目标虚拟形象增强数据和参考虚拟形象增强数据的差值,作为目标平移系数。
示例性地,可以根据以下公式,确定目标平移系数:
Translate=weightB-weightA”;
其中,Translate为目标平移系数;weightA”为参考虚拟形象增强数据。
S518、根据目标缩放系数、目标旋转系数和目标平移系数,确定目标骨骼驱动系数,用于对蒙皮骨骼模型进行驱动,得到待转换图像对应的虚拟形象。
示例性地,可以根据以下公式,得到目标骨骼驱动系数:
Rigid=Scale*Rotation*Translate;
其中,Rigid为目标骨骼驱动系数。
参见图5F所示的刚性变换结果示意图,通过目标骨骼驱动系数对蒙皮骨骼模型进行驱动,从而实现对基本虚拟形象数据的刚性变换,从图示结果可以看出,刚性变换结果(图中较深颜色点云数据)与目标虚拟形象数据(图中较浅颜色点云数据)匹配度较高。
本申请还提供了以一种实现上述各虚拟形象驱动方法的虚拟装置的实施例。进一步地,参见图6所示的一种虚拟形象驱动装置600,包括:蒙皮权重获取模块601、目标虚拟形象数据获取模块602、骨骼驱动系数确定模块603和蒙皮骨骼模型驱动模块604。其中,
蒙皮权重获取模块601,用于获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重;
目标虚拟形象数据获取模块602,用于获取待转换图像转换为虚拟形象时,蒙皮骨骼模型的目标虚拟形象数据;
骨骼驱动系数确定模块603,用于根据蒙皮权重、蒙皮骨骼模型的基本虚拟形象数据和目标虚拟形象数据,确定蒙皮骨骼模型的骨骼驱动系数;
蒙皮骨骼模型驱动模块604,用于根据各骨骼节点的骨骼驱动系数,驱动蒙皮骨骼模型。
本申请实施例通过在确定骨骼驱动系数的过程中引入当前骨骼节点所关联各蒙皮顶点的蒙皮权重,并通过蒙皮权重消除其他骨骼节点对当前骨骼节点所关联蒙皮顶点的影响,从而提高了当前骨骼节点的骨骼驱动系数的确定结果的准确度,进而提高了基于骨骼驱动系数进行虚拟形象驱动的驱动结果与目标虚拟现象数据的匹配度。
进一步地,骨骼驱动系数包括目标旋转系数;
其中,骨骼驱动系数确定模块603,包括:
中间虚拟形象数据确定单元,用于根据基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据;
加权增强单元,用于通过蒙皮权重分别对中间虚拟形象数据和目标虚拟形象数据进行加权增强,得到中间虚拟形象增强数据和目标虚拟形象增强数据;
当前旋转系数更新单元,用于根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数;
目标旋转系数确定单元,用于将满足迭代终止条件时的当前旋转系数作为目标旋转系数。
进一步地,骨骼驱动系数确定模块603,还包括:
去中心化处理单元,用于在根据基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据之前,分别对基本虚拟形象数据和目标虚拟形象数据进行去中心化处理,以更新基本虚拟形象数据和目标虚拟形象数据。
进一步地,去中心化处理单元,包括:
加权质心确定子单元,用于根据蒙皮权重,分别确定基本虚拟形象数据和目标虚拟形象数据的基本加权质心和目标加权质心;
去中心化处理子单元,用于根据基本加权质心对基本虚拟形象数据进行去中心化处理,以及,根据目标加权质心对目标虚拟形象数据进行去中心化处理。
进一步地,骨骼驱动系数确定模块603,还包括:
标准化处理单元,用于在根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数之前,分别对中间虚拟形象增强数据和目标虚拟形象增强数据进行标准化处理,以更新中间虚拟形象增强数据和目标虚拟形象增强数据;或者,
分别对中间虚拟形象数据和目标虚拟形象数据进行标准化处理,以更新中间虚拟形象数据和目标虚拟形象数据。
进一步地,标准化处理单元,包括:
加权均方根误差确定子单元,用于根据蒙皮权重,分别确定中间虚拟形象数据和目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;
第一标准化处理子单元,用于根据中间加权均方根误差对中间虚拟形象增强数据进行标准化处理,以及,根据目标加权均方根误差对目标虚拟形象增强数据进行标准化处理。
进一步地,标准化处理单元,包括:
加权均方根误差确定子单元,用于根据蒙皮权重,分别确定中间虚拟形象数据和目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;
第二标准化处理子单元,用于根据中间加权均方根误差对中间虚拟形象数据进行标准化处理,以及,根据目标加权均方根误差对目标虚拟形象数据进行标准化处理。
进一步地,骨骼驱动系数还包括目标缩放系数;
其中,中间虚拟形象数据确定单元,包括:
中间虚拟形象数据确定子单元,用于根据基本虚拟形象数据、当前旋转系数和当前缩放系数,确定中间虚拟形象数据;
其中,加权增强单元,还用于:
根据蒙皮权重对基本虚拟形象数据进行加权增强,得到基本虚拟形象增强数据;
其中,骨骼驱动系数确定模块603,还包括:
回旋处理单元,用于在根据中间虚拟形象增强数据和目标虚拟形象增强数据,更新当前旋转系数之后,在将满足迭代终止条件时当前旋转系数作为目标旋转系数之前,根据当前旋转系数对目标虚拟形象增强数据进行回旋处理;
当前缩放系数更新单元,用于根据回旋处理结果和基本虚拟形象增强数据,更新当前缩放系数;
目标缩放系数确定单元,用于将满足迭代终止条件时当前缩放系数作为目标缩放系数。
进一步地,回旋处理单元,包括:
加权均方根误差确定子单元,用于根据蒙皮权重,分别确定回旋处理结果和基本虚拟形象增强数据的加权均方根误差;
当前缩放系数更新子单元,用于根据回旋处理结果的加权均方根误差与基本虚拟形象增强数据的加权均方根误差的比值,更新当前缩放系数。
进一步地,骨骼驱动系数还包括目标平移系数;
其中,骨骼驱动系数确定模块603,还包括:
参考虚拟形象数据得到单元,用于根据目标旋转系数和目标缩放系数对基本虚拟形象数据进行调整,得到参考虚拟形象数据;
参考虚拟形象增强数据得到单元,用于通过蒙皮权重,对参考虚拟形象数据进行加权增强,得到参考虚拟形象增强数据;
目标平移系数确定单元,用于根据参考虚拟形象增强数据和目标虚拟形象增强数据,确定目标平移系数。
上述虚拟形象驱动装置可执行本发明任意实施例所提供的虚拟形象驱动方法,具备执行虚拟形象驱动方法相应的功能模块和有益效果。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图7所示,是实现本申请实施例的虚拟形象驱动方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的虚拟形象驱动方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的虚拟形象驱动方法。
存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的虚拟形象驱动方法对应的程序指令/模块(例如,附图6所示的蒙皮权重获取模块601、目标虚拟形象数据获取模块602、骨骼驱动系数确定模块603和蒙皮骨骼模型驱动模块604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的虚拟形象驱动方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储实现虚拟形象驱动方法的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至实现虚拟形象驱动方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现虚拟形象驱动方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息,以及产生与实现虚拟形象驱动方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
根据本申请实施例的技术方案,通过在确定骨骼驱动系数的过程中引入当前骨骼节点所关联各蒙皮顶点的蒙皮权重,并通过蒙皮权重消除其他骨骼节点对当前骨骼节点所关联蒙皮顶点的影响,从而提高了当前骨骼节点的骨骼驱动系数的确定结果的准确度,进而提高了基于骨骼驱动系数进行虚拟形象驱动的驱动结果与目标虚拟现象数据的匹配度。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (22)

1.一种虚拟形象驱动方法,包括:
获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重;
获取待转换图像转换为所述虚拟形象时,所述蒙皮骨骼模型的目标虚拟形象数据;
根据所述蒙皮权重、所述蒙皮骨骼模型的基本虚拟形象数据和所述目标虚拟形象数据,确定所述蒙皮骨骼模型的骨骼驱动系数;
根据各骨骼节点的所述骨骼驱动系数,驱动所述蒙皮骨骼模型;
其中,根据所述蒙皮权重、所述蒙皮骨骼模型的基本虚拟形象数据和所述目标虚拟形象数据,确定所述蒙皮骨骼模型的骨骼驱动系数,包括:
通过所述蒙皮权重,对所述蒙皮骨骼模型的基本虚拟形象数据和/或所述目标虚拟形象数据进行处理,并根据处理后的数据确定所述蒙皮骨骼模型的骨骼驱动系数。
2.根据权利要求1所述的方法,其中,所述骨骼驱动系数包括目标旋转系数;
所述根据所述蒙皮权重、所述蒙皮骨骼模型的基本虚拟形象数据和所述目标虚拟形象数据,确定所述蒙皮骨骼模型的骨骼驱动系数,包括:
根据所述基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据;
通过所述蒙皮权重分别对所述中间虚拟形象数据和目标虚拟形象数据进行加权增强,得到中间虚拟形象增强数据和目标虚拟形象增强数据;
根据所述中间虚拟形象增强数据和所述目标虚拟形象增强数据,更新所述当前旋转系数;
将满足迭代终止条件时的当前旋转系数作为目标旋转系数。
3.根据权利要求2所述的方法,其中,在所述根据所述基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据之前,所述方法还包括:
分别对所述基本虚拟形象数据和所述目标虚拟形象数据进行去中心化处理,以更新所述基本虚拟形象数据和所述目标虚拟形象数据。
4.根据权利要求3所述的方法,其中,所述分别对所述中间虚拟形象数据和所述目标虚拟形象数据进行去中心化处理,包括:
根据所述蒙皮权重,分别确定所述基本虚拟形象数据和所述目标虚拟形象数据的基本加权质心和目标加权质心;
根据所述基本加权质心对所述基本虚拟形象数据进行去中心化处理,以及,根据所述目标加权质心对所述目标虚拟形象数据进行去中心化处理。
5.根据权利要求2所述的方法,其中,在所述根据所述中间虚拟形象增强数据和所述目标虚拟形象增强数据,更新所述当前旋转系数之前,所述方法还包括:
分别对所述中间虚拟形象增强数据和所述目标虚拟形象增强数据进行标准化处理,以更新所述中间虚拟形象增强数据和所述目标虚拟形象增强数据;或者,
分别对所述中间虚拟形象数据和目标虚拟形象数据进行标准化处理,以更新所述中间虚拟形象数据和所述目标虚拟形象数据。
6.根据权利要求5所述的方法,其中,所述分别对所述中间虚拟形象增强数据和所述目标虚拟形象增强数据进行标准化处理,以更新所述中间虚拟形象增强数据和所述目标虚拟形象增强数据,包括:
根据所述蒙皮权重,分别确定所述中间虚拟形象数据和所述目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;
根据所述中间加权均方根误差对所述中间虚拟形象增强数据进行标准化处理,以及,根据所述目标加权均方根误差对所述目标虚拟形象增强数据进行标准化处理。
7.根据权利要求5所述的方法,其中,所述分别对所述中间虚拟形象数据和目标虚拟形象数据进行标准化处理,以更新所述中间虚拟形象数据和所述目标虚拟形象数据,包括:
根据所述蒙皮权重,分别确定所述中间虚拟形象数据和所述目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;
根据所述中间加权均方根误差对所述中间虚拟形象数据进行标准化处理,以及,根据所述目标加权均方根误差对所述目标虚拟形象数据进行标准化处理。
8.根据权利要求2-7任一项所述的方法,其中,所述骨骼驱动系数还包括目标缩放系数;
所述根据所述基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据,包括:
根据所述基本虚拟形象数据、当前旋转系数和当前缩放系数,确定中间虚拟形象数据;
在所述根据所述中间虚拟形象增强数据和所述目标虚拟形象增强数据,更新所述当前旋转系数之后,在所述将满足迭代终止条件时的当前旋转系数作为目标旋转系数之前,所述方法还包括:
根据所述蒙皮权重对所述基本虚拟形象数据进行加权增强,得到基本虚拟形象增强数据;
根据所述当前旋转系数对所述目标虚拟形象增强数据进行回旋处理;
根据回旋处理结果和所述基本虚拟形象增强数据,更新所述当前缩放系数;
将满足所述迭代终止条件时的当前缩放系数作为目标缩放系数。
9.根据权利要求8所述的方法,其中,所述根据回旋处理结果和所述基本虚拟形象增强数据,更新所述当前缩放系数,包括:
根据蒙皮权重,分别确定所述回旋处理结果和所述基本虚拟形象增强数据的加权均方根误差;
根据所述回旋处理结果的加权均方根误差与所述基本虚拟形象增强数据的加权均方根误差的比值,更新所述当前缩放系数。
10.根据权利要求8所述的方法,其中,所述骨骼驱动系数还包括目标平移系数;所述方法还包括:
根据所述目标旋转系数和所述目标缩放系数对所述基本虚拟形象数据进行调整,得到参考虚拟形象数据;
通过所述蒙皮权重,对所述参考虚拟形象数据进行加权增强,得到参考虚拟形象增强数据;
根据所述参考虚拟形象增强数据和所述目标虚拟形象增强数据,确定所述目标平移系数。
11.一种虚拟形象驱动装置,包括:
蒙皮权重获取模块,用于获取虚拟形象的蒙皮骨骼模型中当前骨骼节点关联的各蒙皮顶点的蒙皮权重;
目标虚拟形象数据获取模块,用于获取待转换图像转换为所述虚拟形象时,所述蒙皮骨骼模型的目标虚拟形象数据;
骨骼驱动系数确定模块,用于根据所述蒙皮权重、所述蒙皮骨骼模型的基本虚拟形象数据和所述目标虚拟形象数据,确定所述蒙皮骨骼模型的骨骼驱动系数;
蒙皮骨骼模型驱动模块,用于根据各骨骼节点的所述骨骼驱动系数,驱动所述蒙皮骨骼模型;
其中,所述骨骼驱动系数确定模块还用于:
通过所述蒙皮权重,对所述蒙皮骨骼模型的基本虚拟形象数据和/或所述目标虚拟形象数据进行处理,并根据处理后的数据确定所述蒙皮骨骼模型的骨骼驱动系数。
12.根据权利要求11所述的装置,其中,所述骨骼驱动系数包括目标旋转系数;
其中,所述骨骼驱动系数确定模块,包括:
中间虚拟形象数据确定单元,用于根据所述基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据;
加权增强单元,用于通过所述蒙皮权重分别对所述中间虚拟形象数据和目标虚拟形象数据进行加权增强,得到中间虚拟形象增强数据和目标虚拟形象增强数据;
当前旋转系数更新单元,用于根据所述中间虚拟形象增强数据和所述目标虚拟形象增强数据,更新所述当前旋转系数;
目标旋转系数确定单元,用于将满足迭代终止条件时的当前旋转系数作为目标旋转系数。
13.根据权利要求12所述的装置,其中,所述骨骼驱动系数确定模块,还包括:
去中心化处理单元,用于在所述根据所述基本虚拟形象数据和当前旋转系数,确定中间虚拟形象数据之前,分别对所述基本虚拟形象数据和所述目标虚拟形象数据进行去中心化处理,以更新所述基本虚拟形象数据和所述目标虚拟形象数据。
14.根据权利要求13所述的装置,其中,所述去中心化处理单元,包括:
加权质心确定子单元,用于根据所述蒙皮权重,分别确定所述基本虚拟形象数据和所述目标虚拟形象数据的基本加权质心和目标加权质心;
去中心化处理子单元,用于根据所述基本加权质心对所述基本虚拟形象数据进行去中心化处理,以及,根据所述目标加权质心对所述目标虚拟形象数据进行去中心化处理。
15.根据权利要求12所述的装置,其中,所述骨骼驱动系数确定模块,还包括:
标准化处理单元,用于在所述根据所述中间虚拟形象增强数据和所述目标虚拟形象增强数据,更新所述当前旋转系数之前,分别对所述中间虚拟形象增强数据和所述目标虚拟形象增强数据进行标准化处理,以更新所述中间虚拟形象增强数据和所述目标虚拟形象增强数据;或者,分别对所述中间虚拟形象数据和目标虚拟形象数据进行标准化处理,以更新所述中间虚拟形象数据和所述目标虚拟形象数据。
16.根据权利要求15所述的装置,其中,所述标准化处理单元,包括:
加权均方根误差确定子单元,用于根据所述蒙皮权重,分别确定所述中间虚拟形象数据和所述目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;
第一标准化处理子单元,用于根据所述中间加权均方根误差对所述中间虚拟形象增强数据进行标准化处理,以及,根据所述目标加权均方根误差对所述目标虚拟形象增强数据进行标准化处理。
17.根据权利要求15所述的装置,其中,所述标准化处理单元,包括:
加权均方根误差确定子单元,用于根据所述蒙皮权重,分别确定所述中间虚拟形象数据和所述目标虚拟形象数据的中间加权均方根误差和目标加权均方根误差;
第二标准化处理子单元,用于根据所述中间加权均方根误差对所述中间虚拟形象数据进行标准化处理,以及,根据所述目标加权均方根误差对所述目标虚拟形象数据进行标准化处理。
18.根据权利要求12-17任一项所述的装置,其中,所述骨骼驱动系数还包括目标缩放系数;
所述中间虚拟形象数据确定单元,包括:
中间虚拟形象数据确定子单元,用于根据所述基本虚拟形象数据、当前旋转系数和当前缩放系数,确定中间虚拟形象数据;
其中,所述加权增强单元,还用于:
根据所述蒙皮权重对所述基本虚拟形象数据进行加权增强,得到基本虚拟形象增强数据;
其中,所述骨骼驱动系数确定模块,还包括:
回旋处理单元,用于在所述根据所述中间虚拟形象增强数据和所述目标虚拟形象增强数据,更新所述当前旋转系数之后,在所述将满足迭代终止条件时的当前旋转系数作为目标旋转系数之前,根据所述当前旋转系数对所述目标虚拟形象增强数据进行回旋处理;
当前缩放系数更新单元,用于根据回旋处理结果和所述基本虚拟形象增强数据,更新所述当前缩放系数;
目标缩放系数确定单元,用于将满足所述迭代终止条件时的当前缩放系数作为目标缩放系数。
19.根据权利要求18所述的装置,其中,所述回旋处理单元,包括:
加权均方根误差确定子单元,用于根据蒙皮权重,分别确定所述回旋处理结果和所述基本虚拟形象增强数据的加权均方根误差;
当前缩放系数更新子单元,用于根据所述回旋处理结果的加权均方根误差与所述基本虚拟形象增强数据的加权均方根误差的比值,更新所述当前缩放系数。
20.根据权利要求18所述的装置,其中,所述骨骼驱动系数还包括目标平移系数;
其中,所述骨骼驱动系数确定模块,还包括:
参考虚拟形象数据得到单元,用于根据所述目标旋转系数和所述目标缩放系数对所述基本虚拟形象数据进行调整,得到参考虚拟形象数据;
参考虚拟形象增强数据得到单元,用于通过所述蒙皮权重,对所述参考虚拟形象数据进行加权增强,得到参考虚拟形象增强数据;
目标平移系数确定单元,用于根据所述参考虚拟形象增强数据和所述目标虚拟形象增强数据,确定所述目标平移系数。
21. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的一种虚拟形象驱动方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行权利要求1-10中任一项所述的一种虚拟形象驱动方法。
CN202011192132.0A 2020-10-30 2020-10-30 虚拟形象驱动方法、装置、设备和介质 Active CN112184921B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011192132.0A CN112184921B (zh) 2020-10-30 2020-10-30 虚拟形象驱动方法、装置、设备和介质
US17/412,977 US20210383605A1 (en) 2020-10-30 2021-08-26 Driving method and apparatus of an avatar, device and medium
JP2021154597A JP7288939B2 (ja) 2020-10-30 2021-09-22 仮想イメージ駆動方法、装置、機器および媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011192132.0A CN112184921B (zh) 2020-10-30 2020-10-30 虚拟形象驱动方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112184921A CN112184921A (zh) 2021-01-05
CN112184921B true CN112184921B (zh) 2024-02-06

Family

ID=73916791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011192132.0A Active CN112184921B (zh) 2020-10-30 2020-10-30 虚拟形象驱动方法、装置、设备和介质

Country Status (3)

Country Link
US (1) US20210383605A1 (zh)
JP (1) JP7288939B2 (zh)
CN (1) CN112184921B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445561B (zh) * 2020-03-25 2023-11-17 北京百度网讯科技有限公司 虚拟对象的处理方法、装置、设备及存储介质
CN112819971B (zh) * 2021-01-26 2022-02-25 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、设备和介质
CN113050795A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 虚拟形象的生成方法及装置
CN113050794A (zh) 2021-03-24 2021-06-29 北京百度网讯科技有限公司 用于虚拟形象的滑块处理方法及装置
CN112987932B (zh) * 2021-03-24 2023-04-18 北京百度网讯科技有限公司 基于虚拟形象的人机交互、控制方法及装置
CN113610992B (zh) * 2021-08-04 2022-05-20 北京百度网讯科技有限公司 骨骼驱动系数确定方法、装置、电子设备及可读存储介质
CN115049799B (zh) * 2022-06-14 2024-01-09 北京百度网讯科技有限公司 3d模型和虚拟形象的生成方法和装置
CN114842155B (zh) * 2022-07-04 2022-09-30 埃瑞巴蒂成都科技有限公司 一种高精度自动骨骼绑定方法
CN115049768B (zh) * 2022-08-17 2022-11-04 深圳泽森软件技术有限责任公司 创建角色动画模型方法、装置、计算机设备和存储介质
CN115049769B (zh) * 2022-08-17 2022-11-04 深圳泽森软件技术有限责任公司 角色动画生成方法、装置、计算机设备和存储介质
CN116310000A (zh) * 2023-03-16 2023-06-23 北京百度网讯科技有限公司 蒙皮数据生成方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711335A (zh) * 2018-12-26 2019-05-03 北京百度网讯科技有限公司 通过人体特征对目标图片进行驱动的方法及装置
CN110766777A (zh) * 2019-10-31 2020-02-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2852932A1 (en) * 2012-05-22 2015-04-01 Telefónica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
EP3029635B1 (en) * 2014-12-05 2019-11-13 Dassault Systèmes Computer-implemented method for designing an avatar with at least one garment
US9928663B2 (en) * 2015-07-27 2018-03-27 Technische Universiteit Delft Skeletal joint optimization for linear blend skinning deformations utilizing skeletal pose sampling
CN105513114B (zh) * 2015-12-01 2018-05-18 深圳奥比中光科技有限公司 三维动画生成的方法和装置
US10262447B2 (en) * 2016-09-30 2019-04-16 Disney Enterprises, Inc. Systems and methods for virtual entity animation
WO2019212698A1 (en) * 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
WO2019226554A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Skeletal systems for animating virtual avatars
US10789784B2 (en) * 2018-05-23 2020-09-29 Asustek Computer Inc. Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711335A (zh) * 2018-12-26 2019-05-03 北京百度网讯科技有限公司 通过人体特征对目标图片进行驱动的方法及装置
CN110766777A (zh) * 2019-10-31 2020-02-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
使用Blender驱动制作机构仿真动画方法探索;宋宁;郭容;刘勇;;中国设备工程(第20期);全文 *

Also Published As

Publication number Publication date
JP2022073979A (ja) 2022-05-17
CN112184921A (zh) 2021-01-05
US20210383605A1 (en) 2021-12-09
JP7288939B2 (ja) 2023-06-08

Similar Documents

Publication Publication Date Title
CN112184921B (zh) 虚拟形象驱动方法、装置、设备和介质
CN112509099B (zh) 虚拟形象驱动方法、装置、设备和存储介质
JP7227292B2 (ja) 仮想アバター生成方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
US11587300B2 (en) Method and apparatus for generating three-dimensional virtual image, and storage medium
CN111598818B (zh) 人脸融合模型训练方法、装置及电子设备
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
CN112270669B (zh) 人体3d关键点检测方法、模型训练方法及相关装置
CN112862933B (zh) 用于优化模型的方法、装置、设备以及存储介质
CN110806865B (zh) 动画生成方法、装置、设备及计算机可读存储介质
CN111861955A (zh) 构建图像编辑模型的方法以及装置
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
CN111754431B (zh) 一种图像区域替换方法、装置、设备及存储介质
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN112149741B (zh) 图像识别模型的训练方法、装置、电子设备及存储介质
CN112184851B (zh) 图像编辑方法、网络训练方法、相关装置及电子设备
CN112149634A (zh) 图像生成器的训练方法、装置、设备以及存储介质
CN115147265A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN111599002A (zh) 用于生成图像的方法和装置
KR102488517B1 (ko) 헤어스타일 변환 방법, 장치, 기기 및 저장 매체
CN112562043B (zh) 图像处理方法、装置和电子设备
CN112509098B (zh) 动画形象生成方法、装置及电子设备
CN111767946B (zh) 医学影像分级模型训练及预测方法、装置、设备及介质
CN111523467B (zh) 人脸跟踪方法和装置
CN113129456B (zh) 车辆三维模型变形方法、装置和电子设备
CN112562048A (zh) 三维模型的控制方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant