CN115908655A - 一种虚拟人物面部表情处理方法及装置 - Google Patents

一种虚拟人物面部表情处理方法及装置 Download PDF

Info

Publication number
CN115908655A
CN115908655A CN202211404724.3A CN202211404724A CN115908655A CN 115908655 A CN115908655 A CN 115908655A CN 202211404724 A CN202211404724 A CN 202211404724A CN 115908655 A CN115908655 A CN 115908655A
Authority
CN
China
Prior art keywords
expression
facial
standard mixed
shape unit
virtual character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211404724.3A
Other languages
English (en)
Other versions
CN115908655B (zh
Inventor
杨飞
王维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xianyi Numa Culture Media Co ltd
Original Assignee
Beijing Xianyi Numa Culture Media Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xianyi Numa Culture Media Co ltd filed Critical Beijing Xianyi Numa Culture Media Co ltd
Priority to CN202211404724.3A priority Critical patent/CN115908655B/zh
Publication of CN115908655A publication Critical patent/CN115908655A/zh
Application granted granted Critical
Publication of CN115908655B publication Critical patent/CN115908655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请公开提供了一种虚拟人物面部表情处理方法及装置,其中,该方法包括:获取待处理人物头模的头模数据和表情信息;基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;基于所述表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;利用目标预设表情参数对目标标准混合形状单元进行处理;将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像,解决了现有技术中人工独立一帧一帧的制作虚拟人物面部表情浪费人力资源且效率低的问题。

Description

一种虚拟人物面部表情处理方法及装置
技术领域
本发明涉及虚拟人物面部表情处理技术领域,具体涉及一种虚拟人物面部表情处理方法及装置。
背景技术
传统的3D人物模型在表现脸部表情或张口说话时,如果想要达到比较真实的效果,必须要模型师和动画师根据具体内容一帧一帧地制作动画,如果有多个3D人物模型的话,每个人物的调整都需要独立进行,这个过程非常浪费时间以及人力。
发明内容
因此,本发明要解决的技术问题在于克服现有技术中通过人工独立一帧一帧的制作虚拟人物面部表情浪费人力资源且效率低的问题,从而提供一种虚拟人物面部表情处理方法及装置。
为解决上述技术问题,本发明公开实施例至少提供一种虚拟人物面部表情处理方法及装置。
第一方面,本发明公开实施例提供了一种虚拟人物面部表情处理方法,包括:
获取待处理人物头模的头模数据和表情信息;
基于所述头模数据从标准混合形状单元库中获取目标标准混合形状单元,所述目标标准混合形状单元与所述待处理人物头模在形状上相互匹配;
基于所述表情信息调用目标预设表情参数,所述目标预设表情参数与所述目标标准混合形状单元相互匹配;
利用所述目标预设表情参数对所述目标标准混合形状单元进行处理,使所述目标标准混合形状单元呈现出所述表情信息对应的面部表情;
将处理后的所述目标标准混合形状单元与所述待处理人物头模进行融合,形成虚拟人物头像。
可选地,在所述获取待处理人物头模的头模数据和表情信息之前,所述方法还包括:收集人脸照片,形成人脸照片集,所述人脸照片集中包含至少一个虚拟人物的无表情人脸照片和不同面部表情人脸照片;基于每张照片中的人脸图像制作相应的具有相同拓扑结构的训练头模;标记每张人脸照片的特征点;对每张人脸照片进行主成分分析;根据主成分分析结果计算每个虚拟人物的每种面部表情的特征点偏移量;计算每个虚拟人物的每种面部表情的特征点偏移量平均值,以获取每个虚拟人物的每种面部表情的主变形区及相应变形幅度;依据每个虚拟人物的每种面部表情的所述主变形区及相应变形幅度制作相应面部表情的标准混合形状单元,形成所述标准混合形状单元库。
可选地,在所述获取待处理人物头模的头模数据和表情信息之前,所述方法还包括:由每个人物的每种面部表情的所述标准混合形状单元制作出相应面部表情;将制作出的每个虚拟人物的每种面部表情的向量数据作为预设表情参数进行存储。
可选地,通过公式对每张人脸照片进行主成分分析,其中,为当前处理的人脸照片的人脸网格,为当前处理的人脸照片的人脸面部表情网格的平均值,为待处理人物头模,为待确定的系数。
可选地,使用rgbd相机收集人脸照片。
第二方面,本发明公开实施例还提供一种虚拟人物面部表情处理装置,包括:
头模获取模块,用于获取待处理人物头模的头模数据和表情信息;
目标标准混合单元形状获取模块,用于基于所述头模数据从标准混合形状单元库中获取目标标准混合形状单元,所述目标标准混合形状单元与所述待处理人物头模在形状上相互匹配;
目标预设表情参数获取模块,用于基于所述表情信息调用目标预设表情参数,所述目标预设表情参数与所述目标标准混合形状单元相互匹配;
处理模块,用于利用所述目标预设表情参数对所述目标标准混合形状单元进行处理,使所述目标标准混合形状单元呈现出所述表情信息对应的面部表情;
参数融合模块,用于将处理后的所述目标标准混合形状单元与所述待处理人物头模进行融合,形成虚拟人物头像。
可选地,还包括:照片收集模块,用于收集人脸照片,形成人脸照片集,所述人脸照片集中包含至少一个虚拟人物的无表情人脸照片和不同面部表情人脸照片;训练头模制作模块,用于基于每张照片中的人脸图像制作相应的具有相同拓扑结构的训练头模;征点标记模块,用于标记每张人脸照片的特征点;主成分分析模块,用于对每张人脸照片进行主成分分析;偏移量计算模块,用于根据主成分分析结果计算每个虚拟人物的每种面部表情的特征点偏移量;平均偏移量计算模块,用于计算每个虚拟人物的每种面部表情的特征点偏移量平均值,以获取每个虚拟人物的每种面部表情的主变形区及相应变形幅度;标准混合形状单元制作模块,用于依据每个虚拟人物的每种面部表情的所述主变形区及相应变形幅度制作相应面部表情的标准混合形状单元,形成所述标准混合形状单元库。
可选地,由每个人物的每种面部表情的所述标准混合形状单元制作出相应面部表情;将制作出的每个虚拟人物的每种面部表情的向量数据作为预设表情参数进行存储。
第三方面,本发明公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本发明公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
本发明的实施例提供的技术方案可以具有以下有益效果:
获取待处理人物头模的头模数据和表情信息;基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;利用目标预设表情参数对目标标准混合形状单元进行处理;将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像,标准化了制作人物3D模型时的标准混合单元形状组合,使得同一人物的同一表情只使用一组blendshape参数向量就可以表示,大大减少调整人物表情动画的工作量,使用程序就可以自动完成。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明公开实施例所提供的一种虚拟人物面部表情处理方法的流程图;
图2示出了本发明公开实施例所提供的另一种虚拟人物面部表情处理方法的流程图;
图3示出了本发明公开实施例所提供的一种虚拟人物面部表情处理装置的结构示意图;
图4示出了本发明公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如发明内容中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例1
如图1所示,本发明公开实施例所提供的一种虚拟人物面部表情处理方法的流程图,所述方法包括:
S11:获取待处理人物头模的头模数据和表情信息;
S12:基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;
S13:基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;
S14:利用目标预设表情参数对目标标准混合形状单元进行处理,使目标标准混合形状单元呈现出表情信息对应的面部表情;
S15:将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像。
可以理解的是,本实施例提供的技术方案,获取待处理人物头模的头模数据和表情信息;基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;利用目标预设表情参数对目标标准混合形状单元进行处理;将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像,标准化了制作人物3D模型时的标准混合单元形状组合,使得同一人物的同一表情只使用一组blendshape参数向量就可以表示,大大减少调整人物表情动画的工作量,使用程序就可以自动完成。
实施例2
如图2所示,本发明公开实施例所提供的另一种虚拟人物面部表情处理方法的流程图,方法包括:
S201:收集人脸照片,形成人脸照片集,人脸照片集中包含无表情和不同面部表情的人脸照片。
一些可选实施例中,可以使用rgbd(深度相机)相机收集人脸照片。
S202:基于每张照片中的人脸图像制作相应的具有相同拓扑结构的训练头模。
S203:标记每张人脸照片的特征点。
S204:对每张人脸照片进行主成分分析。
一些可选实施例中,可以通过公式对每张人脸照片进行主成分分析。
S205:根据主成分分析结果计算每个虚拟人物的每种面部表情的特征点偏移量。
S206:计算每个虚拟人物的每种面部表情的特征点偏移量平均值,以获取每个虚拟人物的每种面部表情的主变形区及相应变形幅度。
S207:依据每种面部表情的主变形区及相应变形幅度制作相应面部表情的标准混合形状单元,形成标准混合形状单元库。
S208:由每个人物的每种面部表情的标准混合形状单元制作出相应面部表情。
S209:将制作出的每个虚拟人物的每种面部表情的向量数据作为预设表情参数进行存储。
S210:获取待处理人物头模的头模数据和表情信息。
S211:基于头模数据从标准混合形状单元库中获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配。
S212:基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配。
S213:利用目标预设表情参数对目标标准混合形状单元进行处理,使目标标准混合形状单元呈现出表情信息对应的面部表情。
S214:将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像。
为便于读者理解,下面对上述一种虚拟人物面部表情处理方法的具体实施做简要描述。
步骤1:使用rgbd相机收集大量具有人脸照片,这些人脸被要求做出不同常用的表情,包括无表情、喜、怒、哀、乐、悲等各种表情。
步骤2:将这些照片制作成拥有完全相同拓扑结构的头模,可以通过人工标记特征点,将无表情头模看作基底向量。
步骤3:按照3DMM(人脸3D形变统计模型)的思路,将每张人脸表示为一张平均脸与基底向量的线性组合,再通过公式对这一组向量进行主成分分析,其中,为当前处理的人脸照片的人脸网格,为当前处理的人脸照片的人脸面部表情网格的平均值,为待处理人物头模,为待确定的系数。
步骤4:对同一虚拟人物的其他表情重复步骤2、步骤3,为每一组表情得到步骤3中的平均表示公式。
步骤5:根据提前标记的特征点,对每个虚拟人物的不同表情计算特征点的偏移,再对所有虚拟人物的偏移数据做平均,得到主要的变形区域及变形幅度,据此制作blendshape。
步骤6:当需要一个人物的某种表情时,由模型师和动画师在这些标准的blendshape上面进行制作。
步骤7:将制作好的每个表情的blendshape取值固定成向量并存入数据库。
步骤8:此向量就代表了指定头模上固定的某种表情,之后制作的所有头模都具有相同的blendshape,当要在这个头模上应用一种表情时,只要把该表情对应的向量作为参数赋值给blendshape即可。
可以理解的是,本实施例提供的技术方案,获取待处理人物头模的头模数据和表情信息;基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;利用目标预设表情参数对目标标准混合形状单元进行处理;将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像,标准化了制作人物3D模型时的标准混合单元形状组合,使得同一人物的同一表情只使用一组blendshape参数向量就可以表示,大大减少调整人物表情动画的工作量,使用程序就可以自动完成。
实施例3
如图3所示,本发明实施例还提供一种虚拟人物面部表情处理装置,包括:
头模获取模块301,用于获取待处理人物头模的头模数据和表情信息;
目标标准混合单元形状获取模块302,用于基于头模数据从标准混合形状单元库中获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;
目标预设表情参数获取模块303,用于基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;
处理模块304,用于利用目标预设表情参数对目标标准混合形状单元进行处理,使目标标准混合形状单元呈现出表情信息对应的面部表情;
参数融合模块305,用于将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像。
在一些可选实施例中,如图中虚线部分所示,该装置还包括:
照片收集模块306,用于收集人脸照片,形成人脸照片集,人脸照片集中包含至少一个虚拟人物的无表情人脸照片和不同面部表情人脸照片。
训练头模制作模块307,用于基于每张照片中的人脸图像制作相应的具有相同拓扑结构的训练头模。
特征点标记模块308,用于标记每张人脸照片的特征点。
主成分分析模块309,用于对每张人脸照片进行主成分分析。
偏移量计算模块310,用于根据主成分分析结果计算每个虚拟人物的每种面部表情的特征点偏移量。
平均偏移量计算模块311,用于计算每个虚拟人物的每种面部表情的特征点偏移量平均值,以获取每个虚拟人物的每种面部表情的主变形区及相应变形幅度。
标准混合形状单元制作模块312,用于依据每个虚拟人物的每种面部表情的主变形区及相应变形幅度制作相应面部表情的标准混合形状单元,形成标准混合形状单元库。
面部表情制作模块313,用于由每个人物的每种面部表情的标准混合形状单元制作出相应面部表情。
表情数据存储模块314,用于将制作出的每个虚拟人物的每种面部表情的向量数据作为预设表情参数进行存储。
在一些可选实施例中,可以使用rgbd相机收集人脸照片。
可以理解的是,本实施例提供的技术方案,获取待处理人物头模的头模数据和表情信息;基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;利用目标预设表情参数对目标标准混合形状单元进行处理;将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像,标准化了制作人物3D模型时的标准混合单元形状组合,使得同一人物的同一表情只使用一组blendshape参数向量就可以表示,大大减少调整人物表情动画的工作量,使用程序就可以自动完成。
实施例4
基于同一技术构思,本申请实施例还提供了一种计算机设备,包括存储器1和处理器2,如图4所示,所述存储器1存储有计算机程序,所述处理器2执行所述计算机程序时实现上述任一项所述的虚拟人物面部表情处理方法。
其中,存储器1至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器1在一些实施例中可以是虚拟人物面部表情处理系统的内部存储单元,例如硬盘。存储器1在另一些实施例中也可以是虚拟人物面部表情处理系统的外部存储设备,例如插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(FlashCard)等。进一步地,存储器1还可以既包括虚拟人物面部表情处理系统的内部存储单元也包括外部存储设备。存储器1不仅可以用于存储安装于虚拟人物面部表情处理系统的应用软件及各类数据,例如虚拟人物面部表情处理程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器2在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器1中存储的程序代码或处理数据,例如执行虚拟人物面部表情处理程序等。
可以理解的是,本实施例提供的技术方案,获取待处理人物头模的头模数据和表情信息;基于头模数据获取目标标准混合形状单元,目标标准混合形状单元与待处理人物头模在形状上相互匹配;基于表情信息调用目标预设表情参数,目标预设表情参数与目标标准混合形状单元相互匹配;利用目标预设表情参数对目标标准混合形状单元进行处理;将处理后的目标标准混合形状单元与待处理人物头模进行融合,形成虚拟人物头像,标准化了制作人物3D模型时的标准混合单元形状组合,使得同一人物的同一表情只使用一组blendshape参数向量就可以表示,大大减少调整人物表情动画的工作量,使用程序就可以自动完成。
本发明公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的虚拟人物面部表情处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本发明公开实施例所提供的虚拟人物面部表情处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的虚拟人物面部表情处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本发明公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种虚拟人物面部表情处理方法,其特征在于,包括:
获取待处理人物头模的头模数据和表情信息;
基于所述头模数据从标准混合形状单元库中获取目标标准混合形状单元,所述目标标准混合形状单元与所述待处理人物头模在形状上相互匹配;
基于所述表情信息调用目标预设表情参数,所述目标预设表情参数与所述目标标准混合形状单元相互匹配;
利用所述目标预设表情参数对所述目标标准混合形状单元进行处理,使所述目标标准混合形状单元呈现出所述表情信息对应的面部表情;
将处理后的所述目标标准混合形状单元与所述待处理人物头模进行融合,形成虚拟人物头像。
2.根据权利要求1所述的虚拟人物面部表情处理方法,其特征在于,在所述获取待处理人物头模的头模数据和表情信息之前,所述方法还包括:
收集人脸照片,形成人脸照片集,所述人脸照片集中包含至少一个虚拟人物的无表情人脸照片和不同面部表情人脸照片;
基于每张人脸照片中的人脸图像制作相应的具有相同拓扑结构的训练头模;
标记每张人脸照片的特征点;
对每张人脸照片进行主成分分析;
根据主成分分析结果计算每个虚拟人物的每种面部表情的特征点偏移量;
计算每个虚拟人物的每种面部表情的特征点偏移量平均值,以获取每个虚拟人物的每种面部表情的主变形区及相应变形幅度;
依据每个虚拟人物的每种面部表情的所述主变形区及相应变形幅度制作相应面部表情的标准混合形状单元,形成所述标准混合形状单元库。
3.根据权利要求2所述的虚拟人物面部表情处理方法,其特征在于,在所述获取待处理人物头模的头模数据和表情信息之前,所述方法还包括:
由每个人物的每种面部表情的所述标准混合形状单元制作出相应面部表情;
将制作出的每个虚拟人物的每种面部表情的向量数据作为预设表情参数进行存储。
4.根据权利要求3所述的虚拟人物面部表情处理方法,其特征在于,通过公式对每张人脸照片进行主成分分析,其中,为当前处理的人脸照片的人脸网格,为当前处理的人脸照片的人脸面部表情网格的平均值,为待处理人物头模,为待确定的系数。
5.根据权利要求4所述的虚拟人物面部表情处理方法,其特征在于,使用rgbd相机收集人脸照片。
6.一种虚拟人物面部表情处理装置,其特征在于,包括:
头模获取模块,用于获取待处理人物头模的头模数据和表情信息;
目标标准混合单元形状获取模块,用于基于所述头模数据从标准混合形状单元库中获取目标标准混合形状单元,所述目标标准混合形状单元与所述待处理人物头模在形状上相互匹配;
目标预设表情参数获取模块,用于基于所述表情信息调用目标预设表情参数,所述目标预设表情参数与所述目标标准混合形状单元相互匹配;
处理模块,用于利用所述目标预设表情参数对所述目标标准混合形状单元进行处理,使所述目标标准混合形状单元呈现出所述表情信息对应的面部表情;
参数融合模块,用于将处理后的所述目标标准混合形状单元与所述待处理人物头模进行融合,形成虚拟人物头像。
7.根据权利要求6所述的虚拟人物面部表情处理装置,其特征在于,还包括:
照片收集模块,用于收集人脸照片,形成人脸照片集,所述人脸照片集中包含至少一个虚拟人物的无表情人脸照片和不同面部表情人脸照片;
训练头模制作模块,用于基于每张照片中的人脸图像制作相应的具有相同拓扑结构的训练头模;
特征点标记模块,用于标记每张人脸照片的特征点;
主成分分析模块,用于对每张人脸照片进行主成分分析;
偏移量计算模块,用于根据主成分分析结果计算每个虚拟人物的每种面部表情的特征点偏移量;
平均偏移量计算模块,用于计算每个虚拟人物的每种面部表情的特征点偏移量平均值,以获取每个虚拟人物的每种面部表情的主变形区及相应变形幅度;
标准混合形状单元制作模块,用于依据每个虚拟人物的每种面部表情的所述主变形区及相应变形幅度制作相应面部表情的标准混合形状单元,形成所述标准混合形状单元库。
8.根据权利要求7所述的虚拟人物面部表情处理装置,其特征在于,还包括:
面部表情制作模块,用于由每个人物的每种面部表情的所述标准混合形状单元制作出相应面部表情;
表情数据存储模块,用于将制作出的每个虚拟人物的每种面部表情的向量数据作为预设表情参数进行存储。
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至5中任一项所述虚拟人物面部表情处理方法。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至5中任一项所述虚拟人物面部表情处理方法。
CN202211404724.3A 2022-11-10 2022-11-10 一种虚拟人物面部表情处理方法及装置 Active CN115908655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211404724.3A CN115908655B (zh) 2022-11-10 2022-11-10 一种虚拟人物面部表情处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211404724.3A CN115908655B (zh) 2022-11-10 2022-11-10 一种虚拟人物面部表情处理方法及装置

Publications (2)

Publication Number Publication Date
CN115908655A true CN115908655A (zh) 2023-04-04
CN115908655B CN115908655B (zh) 2023-07-14

Family

ID=86488918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211404724.3A Active CN115908655B (zh) 2022-11-10 2022-11-10 一种虚拟人物面部表情处理方法及装置

Country Status (1)

Country Link
CN (1) CN115908655B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362091A1 (en) * 2013-06-07 2014-12-11 Ecole Polytechnique Federale De Lausanne Online modeling for real-time facial animation
US20170256098A1 (en) * 2016-03-02 2017-09-07 Adobe Systems Incorporated Three Dimensional Facial Expression Generation
CN108363973A (zh) * 2018-02-07 2018-08-03 电子科技大学 一种无约束的3d表情迁移方法
US20180308276A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image
CN110189404A (zh) * 2019-05-31 2019-08-30 重庆大学 基于真实人脸图像的虚拟面部建模方法
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
US10636192B1 (en) * 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display
CN112667068A (zh) * 2019-09-30 2021-04-16 北京百度网讯科技有限公司 虚拟人物的驱动方法、装置、设备及存储介质
CN112700523A (zh) * 2020-12-31 2021-04-23 魔珐(上海)信息科技有限公司 虚拟对象面部动画生成方法及装置、存储介质、终端
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
KR102353556B1 (ko) * 2021-11-01 2022-01-20 강민호 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치
WO2022022043A1 (zh) * 2020-07-27 2022-02-03 平安科技(深圳)有限公司 人脸图像生成方法、装置、服务器及存储介质
KR20220092086A (ko) * 2020-12-24 2022-07-01 한국과학기술원 3d 캐릭터의 얼굴 표정 리타게팅 방법 및 이를 위해 신경망을 학습하는 방법
CN114821734A (zh) * 2022-05-13 2022-07-29 北京沃东天骏信息技术有限公司 一种驱动虚拟人物表情的方法和装置
CN114912574A (zh) * 2022-04-01 2022-08-16 华强方特(深圳)动漫有限公司 角色面部表情拆分方法、装置、计算机设备及存储介质
CN115049799A (zh) * 2022-06-14 2022-09-13 北京百度网讯科技有限公司 3d模型和虚拟形象的生成方法和装置
CN115272570A (zh) * 2022-07-25 2022-11-01 京东方科技集团股份有限公司 虚拟表情生成方法、装置、电子设备和存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362091A1 (en) * 2013-06-07 2014-12-11 Ecole Polytechnique Federale De Lausanne Online modeling for real-time facial animation
US20170256098A1 (en) * 2016-03-02 2017-09-07 Adobe Systems Incorporated Three Dimensional Facial Expression Generation
US20180308276A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image
US10636192B1 (en) * 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display
CN108363973A (zh) * 2018-02-07 2018-08-03 电子科技大学 一种无约束的3d表情迁移方法
US20200090392A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Facial Expression Generation with Data Fusion
CN110189404A (zh) * 2019-05-31 2019-08-30 重庆大学 基于真实人脸图像的虚拟面部建模方法
CN112667068A (zh) * 2019-09-30 2021-04-16 北京百度网讯科技有限公司 虚拟人物的驱动方法、装置、设备及存储介质
WO2022022043A1 (zh) * 2020-07-27 2022-02-03 平安科技(深圳)有限公司 人脸图像生成方法、装置、服务器及存储介质
KR20220092086A (ko) * 2020-12-24 2022-07-01 한국과학기술원 3d 캐릭터의 얼굴 표정 리타게팅 방법 및 이를 위해 신경망을 학습하는 방법
CN112700523A (zh) * 2020-12-31 2021-04-23 魔珐(上海)信息科技有限公司 虚拟对象面部动画生成方法及装置、存储介质、终端
WO2022143197A1 (zh) * 2020-12-31 2022-07-07 魔珐(上海)信息科技有限公司 虚拟对象面部动画生成方法及装置、存储介质、终端
CN113630646A (zh) * 2021-07-29 2021-11-09 北京沃东天骏信息技术有限公司 一种数据处理方法及装置、设备、存储介质
KR102353556B1 (ko) * 2021-11-01 2022-01-20 강민호 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치
CN114912574A (zh) * 2022-04-01 2022-08-16 华强方特(深圳)动漫有限公司 角色面部表情拆分方法、装置、计算机设备及存储介质
CN114821734A (zh) * 2022-05-13 2022-07-29 北京沃东天骏信息技术有限公司 一种驱动虚拟人物表情的方法和装置
CN115049799A (zh) * 2022-06-14 2022-09-13 北京百度网讯科技有限公司 3d模型和虚拟形象的生成方法和装置
CN115272570A (zh) * 2022-07-25 2022-11-01 京东方科技集团股份有限公司 虚拟表情生成方法、装置、电子设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LI QING等: "Orthogonal-Blendshape-Based Editing System for Facial Motion Capture Data", 《IEEE COMPUTER GRAPHICS AND APPLICATIONS》 *
吕培;徐明亮;谢蕾;周兵;: "表情数据库无关的人脸表情转移", 计算机辅助设计与图形学学报, no. 01 *
熊伟;: "基于三维动画的虚拟人物表情动作系统设计", 现代电子技术, no. 20 *
高娅莉: "基于Blendshape的人脸表情动画生成的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN115908655B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
WO2021174939A1 (zh) 人脸图像的获取方法与系统
CN110889855B (zh) 基于端到端卷积神经网络的证件照抠图方法及系统
US9792725B2 (en) Method for image and video virtual hairstyle modeling
CN110929569B (zh) 人脸识别方法、装置、设备及存储介质
US8213726B2 (en) Image labeling using multi-scale processing
CN110160502A (zh) 地图要素提取方法、装置及服务器
CN112221145B (zh) 游戏脸模生成方法及装置、存储介质及电子设备
US20230169677A1 (en) Pose Estimation Method and Apparatus
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN111340745A (zh) 一种图像生成方法、装置、存储介质及电子设备
CN106663340A (zh) 用于编辑面部图像的方法和设备
CN113689538A (zh) 一种视频生成方法、装置、电子设备及存储介质
Yeh et al. 2.5 D cartoon hair modeling and manipulation
CN110717978B (zh) 基于单张图像的三维头部重建方法
Wang et al. Image-based building regularization using structural linear features
CN115423936A (zh) Ai虚拟人物和影像处理方法、系统、电子设备及存储介质
EP4075381B1 (en) Image processing method and system
CN116129126A (zh) 分割预测模型的构建方法、图片语义分割标注方法及装置
CN115908655B (zh) 一种虚拟人物面部表情处理方法及装置
CN112069877B (zh) 一种基于边缘信息和注意力机制的人脸信息识别方法
Patterson et al. Landmark-based re-topology of stereo-pair acquired face meshes
KR20090050910A (ko) 디지털 만화책 제작 방법 및 장치
CN113378864A (zh) 一种锚框参数的确定方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant