CN117994395A - 数字人面部资产生成方法、装置、电子设备及存储介质 - Google Patents
数字人面部资产生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117994395A CN117994395A CN202410155486.XA CN202410155486A CN117994395A CN 117994395 A CN117994395 A CN 117994395A CN 202410155486 A CN202410155486 A CN 202410155486A CN 117994395 A CN117994395 A CN 117994395A
- Authority
- CN
- China
- Prior art keywords
- feature
- facial
- face
- image
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000001815 facial effect Effects 0.000 claims abstract description 217
- 238000010276 construction Methods 0.000 claims abstract description 17
- 230000004048 modification Effects 0.000 claims description 54
- 238000012986 modification Methods 0.000 claims description 54
- 230000014509 gene expression Effects 0.000 claims description 18
- 230000008929 regeneration Effects 0.000 claims description 16
- 238000011069 regeneration method Methods 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000001172 regenerating effect Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 description 13
- 208000003351 Melanosis Diseases 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 5
- 210000001331 nose Anatomy 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 206010014970 Ephelides Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000720 eyelash Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 206010058810 Eyelash thickening Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提出的数字人面部资产生成方法、装置、电子设备及存储介质,首先,从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;然后,将至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;接下来,获取从特征图像中选取的第一目标图像;此外,获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数和第一目标图像得到第二目标图像;调整参数包括结构特征参数和面容特征参数;最后,基于第二目标图像,生成多个视角下的面部视角图像,并根据面部视角图像进行三维构建,得到数字人面部资产;能够降低数字人面部资产获取的技术门槛,提高个性化生成数字人面部资产的可控性和生成效率。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及数字人面部资产生成方法、装置、电子设备及存储介质。
背景技术
数字人作为一种基于真实人类外貌、动作、表情和行为的高逼真虚拟化身,无论是作为用户的化身或人工智能的代理,都能够为用户提供真实、自然的交互。伴随虚拟现实(VR)、混合现实(MR)以及元宇宙的发展,用户对于个性化三维构建的数字人有了更高的追求。而在数字人的个性化三维构建中,其核心是脸部的三维构建。
在相关技术中,数字人三维脸部的个性化生成是在通用的三维面部模型上进行调节以个性化地生成目标三维脸部。但是这种个性化生成方法每调节一个参数实质上就需要进行相应的三维建模,而为了满足用户的个性化需求,通常需要进行多次调节,因此花费较大的时间成本和运算成本,以造成生成效率较低。
发明内容
本申请实施例的提供了一种数字人面部资产生成方法、装置、电子设备及存储介质,能够提高个性化生成数字人三维脸部的生成效率。
为实现上述目的,本申请实施例的第一方面提出了一种数字人面部资产生成方法,所述方法包括:
从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;
将所述至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;
获取从所述特征图像中选取的第一目标图像;
获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像;所述调整参数包括结构特征参数和面容特征参数;
基于所述第二目标图像,生成多个视角下的面部视角图像,并根据所述面部视角图像进行三维构建,得到数字人面部资产。
在一些实施例,所述面容特征参数包括面容颜色参数和面容形状参数;所述获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像,包括:
获取结构修改数据,并从所述结构修改数据中得到结构特征点的移动位置,基于所述移动位置得到所述结构特征点的结构修改参数;所述结构修改参数用于对所述第一目标图像的第一区域进行结构调节;
获取针对面容颜色进行修改的面容颜色参数,并从所述面容颜色参数中得到颜色修改范围和颜色属性;所述面容颜色参数用于根据所述颜色属性对所述第一目标图像的所述颜色修改范围进行颜色调节;
获取针对面容形状进行修改的面容形状参数;所述面容形状参数用于对所述第一目标图像的第二区域进行形状调节;
从所述结构修改参数、所述面容颜色参数和所述面容形状参数中选取至少一个目标修改参数,基于所述目标修改参数对所述第一目标图像进行调节,得到所述第二目标图像。
在一些实施例,所述根据所述面部视角图像进行三维构建,得到数字人面部资产,包括:
从每个所述面部视角图像中提取所述结构特征点和轮廓线信息;
利用所述结构特征点和所述轮廓线信息进行曲面重建,生成初始面部三维模型;
获取预设表情模式,并根据所述预设表情模式和所述初始面部三维模型生成多个目标面部三维模型;
基于所述面容特征参数获取面部纹理数据,并将所述面部纹理数据映射到所述目标面部三维模型中,得到所述数字人面部资产。
在一些实施例,所述脸部特征包括:特征名称、特征值和特征权重;所述从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征,包括:
从所述脸部描述信息中获取预先设定的所述特征名称的所述特征值和所述特征权重;
若所述脸部描述信息中不包括所述特征名称,则将默认特征值作为所述特征名称的所述特征值,将默认特征权重作为所述特征名称的所述特征权重;
将所述特征名称、对应的所述特征值和所述特征权重作为所述脸部特征。
在一些实施例,所述获取从所述特征图像中选取的第一目标图像,包括:
响应于重新生成请求,利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成,得到至少一张更新特征图像;
从所述更新特征图像中选取所述第一目标图像。
在一些实施例,所述重新生成请求包括:重新生成指令和指示指令;所述响应于重新生成请求,利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成,得到至少一张更新特征图像,包括:
根据所述指示指令得到特征调节范围;
在所述特征调节范围内,调节所述脸部特征的所述特征值和/或所述特征权重,得到更新脸部特征;
根据所述脸部特征和所述更新脸部特征得到调节脸部特征;
利用所述调节脸部特征在所述图像生成模型中进行图像生成,得到所述更新特征图像。
在一些实施例,所述获取对所述第一目标图像进行参数调整的至少一个调整参数,包括:
获取由历史面部资产确定的特征偏好数据;
基于所述特征偏好数据得到所述结构特征参数和所述面容特征参数。
为实现上述目的,本申请实施例的第二方面提出了一种数字人面部资产生成装置,所述装置包括:
特征获取模块,用于从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;
特征图像生成模块,用于将所述至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;
图像获取模块,用于获取从所述特征图像中选取的第一目标图像;
参数调整模块,用于获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像;所述调整参数包括结构特征参数和面容特征参数;
资产生成模块,用于基于所述第二目标图像,生成多个视角下的面部视角图像,并根据所述面部视角图像进行三维构建,得到数字人面部资产。
为实现上述目的,本申请实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的数字人面部资产生成方法。
为实现上述目的,本申请实施例的第四方面提出了一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的数字人面部资产生成方法。
本申请实施例提出的数字人面部资产生成方法、装置、电子设备及存储介质,该方法通过首先,从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;然后,将至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;接下来,获取从特征图像中选取的第一目标图像;此外,获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数和第一目标图像得到第二目标图像;调整参数包括结构特征参数和面容特征参数;最后,基于第二目标图像,生成多个视角下的面部视角图像,并根据面部视角图像进行三维构建,得到数字人面部资产。本申请实施例利用自然语言的脸部描述信息预选生成的多张特征图像中选取了一个初步满足用户个性化需求的第一目标图像。然后利用调整参数对第一目标图像进行调节,得到更满足用户个性化需求的第二目标图像;相比较直接调节三维面部图像,在二维图像中进行参数调节的运算复杂度更低且运算速度快,更无需在每次调节时就需要立即重新生成对应的三维面部模型,因此其调节速度也更快。另外,在得到满足个性化需求的二维的第二目标图像后,直接对第二目标图像进行三维生成对应的数字人面部资产,能够极大地降低数字人面部资产的生成时间和成本,提高个性化生成数字人面部资产的生成效率。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
图1是本申请一实施例提供的一种数字人面部资产生成的构思示意图。
图2是本申请又一实施例提供的数字人面部资产生成方法的流程图。
图3是图2中步骤201的流程图。
图4是本申请又一实施例提供的结构化的脸部特征示意图。
图5是本申请又一实施例提供的特征图像重新生成示意图。
图6是本申请又一实施例提供的特征图像重新生成的流程图。
图7是图6中步骤601的流程图。
图8是图2中步骤204的流程图。
图9是图2中步骤204的又一流程图。
图10是本申请一实施例提供的嘴唇结构的调整示意图。
图11是图2中步骤205的流程图。
图12是本申请又一实施例提供的数字人面部资产生成方法的又一流程图。
图13是本申请一实施例提供的数字人面部资产生成装置的结构示意图。
图14是本申请一实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
首先,对本申请中涉及的若干名词进行解析:
数字人脸部数字资产(Digital Face Assets)是指个体的人脸特征和相关数据的数字化表示。通常,它涵盖个体的面部特征、面部表情、面部地标等信息,并通过一系列算法和技术进行数字化处理和表示。数字人脸部数字资产广泛应用于虚拟现实与增强现实(VR/AR),通过数字人脸部数字资产,可以在虚拟现实和增强现实环境中创建个人化的虚拟角色,用户可以将自己的人脸特征和表情用于游戏、社交媒体、虚拟会议等体验中,增强沉浸感和个性化;视频游戏和电影制作,数字人脸部数字资产可以用于游戏开发和电影制作,让角色的面部表情更加逼真和生动,通过捕捉真实人脸的动作和表情,可以将其转化为虚拟角色的动画,提高角色的表现力和情感传达等等。
数字人作为一种基于真实人类外貌、动作、表情和行为的高逼真虚拟化身,无论是作为用户的化身或人工智能的代理,都能够为用户提供真实、自然的交互。伴随虚拟现实(VR)、混合现实(MR)以及元宇宙的发展,用户对于个性化三维构建的数字人有了更高的追求。而在数字人的个性化三维构建中,其核心是脸部的三维构建。
在相关技术中,数字人三维脸部的个性化生成是在通用的三维面部模型上进行调节以个性化地生成目标三维脸部。但是这种个性化生成方法每调节一个参数实质上就需要进行相应的三维建模,而为了满足用户的个性化需求,通常需要进行多次调节,因此花费较大的时间成本和运算成本,以造成生成效率较低。
为了提高个性化生成数字人三维脸部的生成效率,本申请实施例利用自然语言的脸部描述信息预选生成的多张特征图像中选取了一个初步满足用户个性化需求的第一目标图像。然后利用调整参数对第一目标图像进行调节,得到更满足用户个性化需求的第二目标图像;相比较直接调节三维面部图像,在二维图像中进行参数调节的运算复杂度更低且运算速度快,更无需在每次调节时就需要立即重新生成对应的三维面部模型,因此其调节速度也更快。另外,在得到满足个性化需求的二维的第二目标图像后,直接对第二目标图像进行三维生成对应的数字人面部资产,能够极大地降低数字人面部资产的生成时间和成本,提高个性化生成数字人面部资产的生成效率。
下面将进一步描述本申请实施例提供的数字人面部资产生成方法、装置、电子设备及存储介质。本申请实施例中提供的数字人面部资产生成方法可以应用于智能终端、服务器、计算机等等。
为了更好地阐述本申请实施例提供的数字人面部资产生成方法,本实施例先描述本申请的技术构思。参照图1所示,是本申请实施例提供的一种数字人面部资产生成的构思示意图。通过获取用户输入的包括有脸部特征信息的自然语言(包括文字描述和/或语言描述),然后从中提取脸部特征,并将脸部特征进行结构化处理,并根据结构化处理后的脸部特征输入相关的图像生成模型中进行图像生成以得到多张数字人脸部的二维的特征图像;接下来由用户从多张特征图像中选择一张初步满足用户个性化需求的图像,随后对该图像进行个性化的参数调整,从而得到符合用户个性化需求的二维的单张数字人脸部图像;之后,基于该单张数字人脸部图像生成数字人脸部的多视角图像,并基于该多视角图像生成数字人脸部三维模型及贴图,以快速得到符合用户个性化需求的数字人面部资产。
基于上述的技术构思,下面将具体描述本申请实施例中的数字人面部资产生成方法。参照图2,为本申请实施例提供的数字人面部资产生成方法的一个可选的流程图,图2中的方法可以包括但不限于包括步骤201至步骤205。同时可以理解的是,本实施例对图2中步骤201至步骤205的顺序不做具体限定,可以根据实际需求调整步骤顺序或者减少、增加某些步骤。
步骤201:从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征。
以下对步骤201进行详细描述。
在一些实施例中,在响应于数字人面部资产生成请求之后,从获取的自然语言中通过特征分析得到脸部描述信息。可以理解的是,获取的自然语言可以是用户自定义输入的文字描述或者语言描述,也可以是终端通过爬虫等工具从云数据库中获取相关的脸部特征描述信息,例如,“生成一个少女,大约19岁,有着棕色的长发,宽阔的额头,圆润的脸型,脸上有一点雀斑。她的皮肤白皙,眉毛弯曲,鼻梁直挺,嘴唇中等厚度。她的眼睛不大不小,睫毛浓密”。
为了便于分析处理,在得到脸部描述信息后,将脸部描述信息进行结构化处理以得到至少一个数字人的脸部特征,从而便于利用该脸部特征个性化地生成相应的数字人面部资产。下面将进一步描述对脸部描述信息进行结构化处理的过程。
参照图3,从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征,包括以下步骤301至步骤303。
步骤301:从脸部描述信息中获取预先设定的特征名称的特征值和特征权重。
步骤302:若脸部描述信息中不包括特征名称,则将默认特征值作为特征名称的特征值,将默认特征权重作为特征名称的特征权重;
步骤303:将特征名称、对应的特征值和特征权重作为脸部特征。
以下对步骤301至步骤303进行详细描述。
在一些实施例中,在获取脸部描述信息之后,将从中获取预先设定的特征名称的特征值和特征权重。其中,特征名称包括鼻子、眼睛、头发、嘴巴等等;每个特征名称有其对应的特征值,如头发的特征值包括长、短、颜色、直、曲等等;每个特征名称也有对应的特征权重,如黑长直头发的特征权重为高等权重。可以理解的是,有些特征值和特征权重可以直接从脸部描述信息中直接提取中,如脸部描述信息为“有着显眼的棕色长发”即可直接提取得到对应于特征名称中的头发的特征值为:棕色、长,以及特征权重为:高等权重;相对的,有些特征值和特征权重需要将脸部描述信息输入自然语言模型的进行识别处理以得到,如脸部描述信息为“眼睛不大不小”,则无法直接得到对应于特征名称中的眼睛的特征值和特征权重,需要进行分析处理,对“不大不小”进行识别分析得到特征值为“中等”,并结合脸部描述信息其他的特征名称的相关特征权重以得到眼睛的特征权重。其中,自然语言模型使用的算法模型包括但不限于ChatGPT、ChatGLM、Gemini。
在一些实施例中,任意一个数字人的脸部特征通常包括有预先设定的由多个特征名称组成的特征名称集合,然后根据脸部描述信息中的每个特征名称的特征值和特征权重对应到该特征名称集合中每个特征名称,从而形成数字人的整体的脸部特征。
但存在某个脸部描述信息中缺少特征名称集合中至少一个特征名称的情况,如脸部描述信息“生成一个少女,大约19岁,有着棕色的长发,宽阔的额头,圆润的脸型,脸上有一点雀斑。她的皮肤白皙,眉毛弯曲,嘴唇中等厚度。她的眼睛不大不小,睫毛浓密”中缺少了鼻子的对应描述,基于此需要补齐鼻子对应的特征值和特征权重,以便于后续生成完整的脸部图像,从而提高本申请提供的数字人脸资产生成方法的可靠性。下面将进一步描述如何补齐特征名称对应的特征值和特征名称的步骤。
在一些实施例中,预先生成特征名称集合中每个特征名称对应的默认特征值和默认特征权重。若脸部描述信息中不包括特征名称,则直接生成特征名称的默认特征值和默认特征权重并补充到特征名称集合的对应的特征值和特征名称。可以理解的是,默认特征值和默认特征权重可以是随机生成的,也可以是根据历史的脸部描述信息中确定每个特征名称对应出现频次最多的特征值和特征名称作为默认特征值和默认特征权重。
在得到特征名称集合中所有特征名称对应的特征值和特征权重后,将所有特征名称和对应的特征值、特征权重作为结构化的脸部特征。
参照图4,是本申请实施例提供的结构化的脸部特征示意图。其中,当输入的脸部描述信息为“生成一个少女,大约19岁,有着棕色的长发,宽阔的额头,圆润的脸型,脸上有一点雀斑。她的皮肤白皙,眉毛弯曲,嘴唇中等厚度。她的眼睛不大不小,睫毛浓密”后,将提取其中的特征名称及其对应的特征值和特征权重:“女性(woman)-年轻(young)-中等权重(medium)、年龄(age)-19-中等权重(medium)、头发(hair)-棕色(brown)-高等权重(high)、额头(forehead)-宽阔(broad)-中等权重(medium)、脸型(face shape)-圆形(round)-高等权重(high)、特征(features)-轻微雀斑(light freckles)-低等权重(low)、肤色(skin)-白皙(fair)-高等权重(high)、眉毛(eyebrows)-弯曲(curved)-中等权重(medium)、嘴唇(lips)-中等厚度(medium thickness)-中等权重(medium)、眼睛(eyes)-中等大小(mediumsize)-中等权重(medium)以及睫毛(eyelashes)-浓密(dense)-高等权重(high)”,然后将缺失的鼻子的特征值和特征权重补充上默认特征值和默认权重为:鼻子(nose)-直桥(straight bridge)-中等权重(medium)。从而得到完整的结构化的脸部特征,以便于后续将结构化的脸部特征输入图像生成模型以生成符合脸部描述信息的至少一张特征图像,以初步满足用户个性化需求。
通过上述步骤301至步骤303,通过从自然语言的脸部描述信息中获取特征名称对应的特征值和特征权重,并补齐缺漏的特征名称对应的特征值和特权权重,从而生成一个结构化的脸部特征,以提高特征图像生成的可靠性,进而便于后续将该结构化的脸部特征输入图像生成模型进行图像生成,以更加精准地得到符合用户个性化需求的特征图像。
步骤202:将至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像。
下面对步骤202进行详细描述。
在一些实施例中,如图1的技术构思所示,在得到完整的结构化的脸部特征之后,将结构化的脸部特征输入图像生成模型中以生成满足脸部特征的特征图像。又由于图像生成模型具有不可控性,一般无法直接生成符合用户满意度的特征图像,因此将生成多张满足脸部特征的特征图像,便于让用户从中挑选出更符合用户满意度的第一目标图像,以初步满足用户的个性化需求。其中,特征图像一般为正面视角的人脸图像;图像生成模块使用的算法模型包括但不限于Stable Diffusion、StyleGAN。
步骤203:获取从特征图像中选取的第一目标图像。
下面对步骤203进行详细描述。
在一些实施例中,如图1的技术构思所示,在得到多张满足脸部特征的特征图像后,用户可以从中选取符合自己满意度的第一目标图像,从而初步满足用户的个性化需求。但是,也存在用户均不满意生成的多张特征图像的情况,此时需要进行特征图像的重新生成以便于用户选取符合满意度高的第一目标图像,从而更好地满足用户的个性化需求。
参照图5所示,是本申请实施例提供的一种特征图像重新生成示意图。当用户点击如图5中所示的[重做]按钮后,将基于脸部特征重新生成多张特征图像,以供用户进行第一目标图像的选择。下面将具体描述如何重新生成特征图像的步骤。
参照图6,获取从特征图像中选取的第一目标图像,包括以下步骤601至步骤602。
步骤601:响应于重新生成请求,利用至少一个脸部特征在图像生成模型中重新进行图像生成,得到至少一张更新特征图像。
以下对步骤601进行详细描述。
在一些实施例中,当响应特征图像的重新生成请求之后,将利用至少一个结构化的脸部特征在图像生成模型中重新进行图像生成,以得到多张更新特征图像,以便于从多张更新特征图像中选取符合用户满意度的第一目标图像,以更好地满足用户的个性化需求。下面将进一步描述如何重新进行特征图像的生成。
参照图7,响应于重新生成请求,利用至少一个脸部特征在图像生成模型中重新进行图像生成,得到至少一张更新特征图像,包括以下步骤701至步骤704。
步骤701:根据指示指令得到特征调节范围。
步骤702:在特征调节范围内,调节脸部特征的特征值和/或特征权重,得到更新脸部特征。
步骤703:根据脸部特征和更新脸部特征得到调节脸部特征。
步骤704:利用调节脸部特征在图像生成模型中进行图像生成,得到更新特征图像。
以下对步骤701至步骤704进行详细描述。
在一些实施例中,重新生成请求包括重新生成指令和指示指令。其中,重新生成指令用于指示图像生成模块重新进行图像生成,指示指令用于修改原有的结构化的脸部特征。
其中,指示指令可以是用户输入的,也可以是根据历史的结构化的脸部特征中确定用户的偏好数据所得到的,也可以是根据当前的结构化的脸部特征进行识别分析以往更符合现实情况所得到的。
当响应于重新生成请求之后,将根据其中的指示指令得到对于部分的脸部特征中的特征值和特征权重进行调节参考的特征调节范围,然后基于特征调节范围,以调节结构化的脸部特征中的特征值和特征权重,以得到更新后的脸部特征,并作为更新脸部特征。可以理解的是,指示指令仅是指示部分的脸部特征进行更新,还存在另一部分的脸部特征无需进行更新。
在得到更新脸部特征后,将更新脸部特征和其更新后的特征值和特征权重,以及未更新的脸部特征和其特征值和特权权重一起输入图像生成模型中进行图像生成,以得到更新特征图像。
通过上述步骤701至步骤704,利用指示指令对结构化的脸部特征进行调节,以得到更加符合用户个性化需求的更新脸部特征,从而利用更新脸部特征重新进行图像生成以得到更加符合用户满意度的更新特征图像,进而便于用户从多张更新特征图像中选取更加符合用户个性化需求的第一目标图像。
步骤602:从更新特征图像中选取第一目标图像。
以下对步骤602进行详细描述。
在一些实施例中,在得到多张更加符合用户满意度的更新特征图像之后,在响应于用户的第一目标图像的选取请求后,将从多张更新特征图像中选取满足用户个性化需求的第一目标图像。
通过上述步骤601至步骤602,当存在用户均不满意初始生成的多张特征图像的情况,利用原有的结构化脸部特征重新生成多张更加符合用户满意度的更新特征图像,并从中选取符合满意度高的第一目标图像,从而更好地满足用户的个性化需求。
步骤204:获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数和第一目标图像得到第二目标图像;
下面对步骤204进行详细描述。
在一些实施例中,在确定第一目标图像之后,将获取对第一目标图像进行参数调整的至少一个调整参数,并基于调整参数对第一目标图像进行调整,以得到更满足用户个性化需求的第二目标图像。
纹理特征调整参数包括结构特征参数和面容特征参数,其中结构特征参数用于对脸部上的固有特征(如五官等等)进行调整的参数;面容特征参数用于对面容颜色(如发色、瞳孔颜色、唇色等等)以及独有特征(如发型、雀斑等等)进行调整的参数。
在一些实施例中,调整参数的获取可以是利用相关的历史数据直接生成的。下面将进一步描述如何利用相关的历史数据获取调整参数。
参照图8,获取对第一目标图像进行参数调整的至少一个调整参数,包括以下步骤801至步骤802。
步骤801:获取由历史面部资产确定的特征偏好数据。
步骤802:基于特征偏好数据得到结构特征参数和面容特征参数。
下面对步骤801至步骤802进行详细描述。
在一些实施例中,在响应于调整参数的生成请求时,将获取由历史面部资产确定的特征偏好数据,可以理解的是,当生成新的数字人面部资产时,将新的数字人脸部资产加入历史面部资产中,并利用新的历史面部资产对特征偏好数据进行更新。
然后利用特征偏好数据,对第一目标图像中的各个固有特征、颜色独有特征进行识别分析,从而得到更加符合用户满意度的偏好推荐数据,并基于偏好推荐数据得到用于调整固有特征的结构特征参数和用于调整面容颜色以及独有特征的面部特征参数。
通过上述步骤801至步骤802,利用特征偏好数据对第一目标图像进行分析,以得到更加符合用户满意度的结构特征参数和面容特征参数,从而便于利用结构特征参数和面容特征参数对第一目标图像进行调节,以进一步地满足用户的个性化需求。
在一些实施例中,调整参数的获取也可以是通过用户输入得到的结构修改数据得到的。下面将进一步描述如何根据结构修改参数对第一目标图像进行调节。
参照图9,获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数和第一目标图像得到第二目标图像,包括以下步骤901至步骤904。
步骤901:获取结构修改数据,并从结构修改数据中得到结构特征点的移动位置,基于移动位置得到结构特征点的结构修改参数。
步骤902:获取针对面容颜色进行修改的面容颜色参数,并从面容颜色参数中得到颜色修改范围和颜色属性。
步骤903:获取针对面容形状进行修改的面容形状参数。
步骤904:从结构修改参数、面容颜色参数和面容形状参数中选取至少一个目标修改参数,基于目标修改参数对第一目标图像进行调节,得到第二目标图像。
下面对步骤901至步骤904进行详细描述。
在一些实施例中,对于二维人脸图像而言,通常在人脸图像上设置多个结构特征点,这些结构特征点在图像中具有显著结构的位置,当调整结构特征点的时候,可以直接调整到人脸图像的固有特征。参照图10所示,是本申请实施例提供的一种嘴唇结构的调整示意图。以嘴唇结构示例,通常设置有八个特征结构点,如图10所示的嘴唇结构示例,当从图10左边所示的较厚的嘴唇要调整到如图10右边所示的较薄的嘴唇时,将该八个特征结构点进行相应的改变位置,即可实现该变动。
基于此,在获取了用户输入的结构修改数据之后,将从结构修改数据中得到第一目标图像中的结构特征点的移动位置,并基于该移动位置得到结构特征点的结构修改参数。接下来,利用结构修改参数对第一目标图像中的第一区域进行结构调节,其中第一区域指的是第一目标图像中的固定特征(即五官等等)。
在调节了第一目标图像的固定特征之外,还可能需要调节面容颜色和独有特征,因此需要获取面容特征参数。
在一些实施例中,面容特征参数包括面容颜色参数和面容形状参数,其中面容颜色参数包括发色、瞳孔颜色、雀斑、唇色等等,面容形状参数包括发型、眉形等等。可以理解的是,针对于雀斑参数,数据库中存在很多不同的雀斑参数,用户可以选择需要的雀斑并对其进行自定义选择大小、疏密、颜色等等。
在获取了用户输入的结构修改参数之后,将从结构修改参数中获取针对面容颜色和独有特征进行修改的面容颜色参数,并从面容颜色参数中得到面容颜色的颜色修改范围和颜色属性(如发色、瞳孔颜色、雀斑、唇色等等),并基于颜色属性和对应的颜色修改范围对第一目标图像进行颜色调节。
类似的,在获取了用户输入的结构修改参数之后,将从结构修改参数中获取针对面容形状进行修改的面容形状参数,并从面容形状参数中确定需要调整的第二区域,其中第二区域指发型、眉形等等。然后基于面容形状参数对第二区域进行形状调节。可以理解的是,对第二区域进行形状调节可以通过对第二区域某个点或者边拉伸然后基于原第二区域中的颜色(如发色、唇色等等)对拉伸的地方进行填充所实现。
在一些实施例中,在确定结构修改参数、面容颜色参数和面容形状参数之后,将从中确定第一目标图像中至少一个需要进行修改的目标修改参数,然后基于该目标修改参数对第一目标图像进行调节,从而得到符合用户输入的结构修改数据的第二目标图像。
通过上述步骤901至步骤904,利用用户输入的结构修改数据,从中确定结构修改参数、面容颜色参数和面容形状参数,以进一步确定第一目标图像的目标修改参数,从而利用目标修改参数对第一目标图像进行调节,以得到符合用户个性化需求的第二目标图像。
在一些实施例中,用户在从多个特征图像中选择满意度最高的第一目标图像之后,通过上述步骤204,对第一目标图像的多项调整参数进行微调,并实时更新微调过程中的第一目标图像,从而在多次微调后得到用户想要的第二目标图像,以提高本申请实施例提供的数字人面部资产生成方法的可控制性。
步骤205:基于第二目标图像,生成多个视角下的面部视角图像,并根据面部视角图像进行三维构建,得到数字人面部资产。
下面对步骤205进行详细描述。
在一些实施例中,在得到符合用户个性化需求的第二目标图像之后,利用相关的多视角图像生成算法以生成第二目标图像在多个视角下的面部视角图像。多视角图像生成算法可以是基于生成对抗网络(GAN)的视图合成方法等等。
然后可以根据多个面部视角图像进行三维构建,以快速得到符合用户个性化需求的数字人面部资产。下面将进一步描述三维构建的过程。
参照图11,根据面部视角图像进行三维构建,得到数字人面部资产,包括以下步骤1101至步骤1104。
步骤1101:从每个面部视角图像中提取结构特征点和轮廓线信息。
步骤1102:利用结构特征点和轮廓线信息进行曲面重建,生成初始面部三维模型。
步骤1103:获取预设表情模式,并根据预设表情模式和初始面部三维模型生成多个目标面部三维模型。
步骤1104:基于面容特征参数获取面部纹理数据,并将面部纹理数据映射到目标面部三维模型中,得到数字人面部资产。
下面对步骤1101至步骤1104进行详细描述。
在一些实施例中,在获取多视角下的面部视角图像后,将从每个面部视角图像中提取结构特征点和轮廓线信息。可以理解的是,人脸图像的轮廓线信息是描述人脸的外轮廓和内部特征的曲线或线段。它提供了人脸形状的重要信息,可以用于人脸识别、面部表情分析、姿态估计等应用。
然后利用所有结构特征点和轮廓线信息进行曲线重建,以生成初始脸部三维模型。具体为:从结构特征点中选择一部分作为脸部曲线的控制点并根据轮廓线信息确定多条脸部的轮廓线,这些控制点应该能够准确地表示曲线的形状和轨迹;然后,利用插值算法通过控制点来生成曲线,常用的插值算法包括线性插值、样条插值和贝塞尔曲线等;接下来,利用数学模型对离散的结构特征点和轮廓线进行曲线拟合,常用的拟合方法包括最小二乘法、非线性最小二乘法和RANSAC(随机抽样一致性)等。同时,对拟合后的曲线进行平滑处理,以减少噪声和不必要的波动,常用的平滑方法有均值滤波、中值滤波、高斯滤波和Kalman滤波等。最后,根据需要,对曲线进行修补以填补可能存在的缺口或不连续的部分,可以利用插值或其他曲线修补算法来填补这些缺陷。
在得到初始面部三维模型后,还将获取多个数字人的预设表情模式,然后针对于每个预设表情模式对初始面部三维模型进行相应调整以得到每个预设表情模式对应的目标面部三维模型。
另外,根据面容特征参数获取目标面部三维模型的面部纹理数据,并将面部纹理数据对应地映射到每个目标面部三维模型上,以基于所有目标面部三维模型和面部纹理数据得到数字人面部资产。
在一些实施例中,基于多张多视角的面部视角图像进行三维构建,得到数字人面部资产,包括:三维模型的生成、重拓扑、生成表情变形动画,获得可用的数字人面部模型,并根据可用的数字人面部模型和面部视角图像,生成基于物理的贴图材质,如反照率贴图、高光贴图、法线贴图、位移贴图、环境光遮蔽贴图等。最终基于可用的数字人面部模型和贴图材质以输出可用的数字人面部资产。
可以理解的是,反照率贴图描述了物体表面的颜色和反射特性,它通常表示为每个像素对于不同光照条件下的颜色响应;在计算机图形学中,反照率贴图用于模拟光照对物体表面的影响,是渲染过程中的重要参数之一。高光贴图描述了物体表面的高光反射特性,它通常表示为每个像素对于不同观察角度下的高光反射强度;高光贴图在渲染过程中用于模拟物体表面的高光反射效果,使物体看起来更加真实和有光泽。法线贴图描述了物体表面的法线方向,它通常使用RGB颜色通道来表示空间中的法线向量;法线贴图可以用于在渲染过程中模拟微表面细节,使物体表面看起来更加凹凸和具有细节。位移贴图描述了物体表面在几何上的位移,它通常表示为每个像素对于不同高度值的位移量;位移贴图可以用于在渲染过程中改变物体的几何形状,使其具有更多的细节和深度感。环境光遮蔽贴图描述了物体表面在环境光照射下的遮蔽程度,它通常表示为每个像素的阴影强度或遮挡因子,环境光遮蔽贴图可以用于在渲染过程中模拟物体表面的阴影效果,增加物体的逼真度和立体感。
通过上述步骤1101至步骤1104,利用多张多视角的面部视角图像提取结构特征点和轮廓线信息并构建初始面部三维模型,以快速地得到符合用户个性化的数字人三维模型。然后,基于多种预设表情对应生成多个目标面部三维模型,进一步地提高用户的使用体验,从而更好地生成符合用户个性化需求的数字人面部资产。
参照图12,是本申请实施例提供的一种数字人脸部资产生成方法的又一流程图。其中包括,获取用户输入的包括有脸部特征信息的自然语言描述(包括文字描述和/或语言描述)的目标数字人脸部基本特征的文本;然后对文本进行处理,生成用于图像生成模型的机构化的脸部特征;然后结构化处理后的脸部特征输入相关的图像生成模型中进行图像生成以得到多张符合自然语言描述的特征图像,并基于多张特征图像构成目标数字人面部图像集;接下来由用户从目标数字人面部图像集中选择一张用户最满意的面部图像,随后对该图像进行可视化微调以得到微调后的面部图像;之后,基于微调后的面部图像生成面部图像在多视角下的多张面部视角图像,并基于多张面部视角图像构成多视角下的图像集;最后基于多视角下的图像集,生成数字人的三维模型及贴图资产,以快速得到符合用户个性化需求的数字人面部资产。
本申请实施例提出的数字人面部资产生成方法通过首先,从获取的自然语言的脸部描述信息中获取特征名称的特征值和特征权重,以得到结构化的脸部特征;然后,将脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;接下来,获取从特征图像中选取的第一目标图像;若特征图像不存在符合用户满意度的图像,则基于重新生成请求,对脸部特征进行调整以得到更新脸部特征,然后利用更新脸部特征重新进行图像生成以得到更新特征图像,并从更新特征图像中选取第一目标图像;此外,获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数对第一目标图像中的结构特征点、面容形状以及面容颜色进行可视化微调,以得到第二目标图像;最后,基于第二目标图像,生成多个视角下的面部视角图像,并根据面部视角图像中提取结构特征点和轮廓线信息,并基于结构特征点和轮廓线信息生成初始面部三维模型,以及基于初始面部三维模型生成多个预设表情模型对应的目标面部三维模型,从而得到数字人面部资产。
本申请实施例利用自然语言的脸部描述信息预选生成的多张特征图像中选取了一个初步满足用户个性化需求的第一目标图像。若出现用户均不满足特征图像的情况,则对脸部特征进行更新,并利用更新脸部特征重新生成更加符合用户满意度的更新特征图像,以便于从更新特征图像中选取瞒住用户个性化需求的第一目标图像。然后利用调整参数对第一目标图像结构特征点、面容形状以及面容颜色进行可视化微调,得到更满足用户个性化需求的第二目标图像;相比较直接调节三维面部图像,在二维图像中进行参数调节的运算复杂度更低且运算速度快,更无需在每次调节时就需要立即重新生成对应的三维面部模型,因此其调节速度也更快。另外,在得到满足个性化需求的二维的第二目标图像后,直接对第二目标图像进行三维生成对应的数字人面部资产,能够极大地降低数字人面部资产的生成时间和成本,提高个性化生成数字人面部资产的生成效率。
此外,本申请实例提供的数字人脸部资产生成方法无需用户具备深厚的制图相关的专业知识,也无需用户提供精确、专业的描述,也能够生成符合用户满意度的数字人面部资产,大大降低了数字人生成的技术门槛。
本申请实施例还提供一种数字人面部资产生成装置,可以实现上述数字人面部资产生成方法,参照图13,该装置1300包括:
特征获取模块1310,用于从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;
特征图像生成模块1320,用于将至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;
图像获取模块1330,用于获取从特征图像中选取的第一目标图像;
参数调整模块1340,用于获取对第一目标图像进行参数调整的至少一个调整参数,基于调整参数和第一目标图像得到第二目标图像;调整参数包括结构特征参数和面容特征参数;
资产生成模块1350,用于基于第二目标图像,生成多个视角下的面部视角图像,并根据面部视角图像进行三维构建,得到数字人面部资产。
在一些实施例中,特征获取模块1310还用于:
从脸部描述信息中获取预先设定的特征名称的特征值和特征权重;
若脸部描述信息中不包括特征名称,则生成特征名称的默认特征值和默认特征权重;
将特征名称、对应的特征值和特征权重作为脸部特征。
在一些实施例中,特征图像生成模块1320还用于:
响应于重新生成请求,利用至少一个脸部特征在图像生成模型中重新进行图像生成,得到至少一张更新特征图像;
从更新特征图像中选取第一目标图像。
在一些实施例中,特征图像生成模块1320还用于:
根据指示指令得到特征调节范围;
在特征调节范围内,调节脸部特征的特征值和/或特征权重,得到更新脸部特征;
根据脸部特征和更新脸部特征得到调节脸部特征;
利用调节脸部特征在图像生成模型中进行图像生成,得到更新特征图像。
在一些实施例中,参数调整模块1340还用于:
获取由历史面部资产确定的特征偏好数据;
基于特征偏好数据得到结构特征参数和面容特征参数。
在一些实施例中,参数调整模块1340还用于:
获取结构修改数据,并从结构修改数据中得到结构特征点的移动位置,基于移动位置得到结构特征点的结构修改参数;结构修改参数用于对第一目标图像的第一区域进行结构调节;
获取针对面容颜色进行修改的面容颜色参数,并从面容颜色参数中得到颜色修改范围和颜色属性;面容颜色参数用于根据颜色属性对第一目标图像的颜色修改范围进行颜色调节;
获取针对面容形状进行修改的面容形状参数;面容形状参数用于对第一目标图像的第二区域进行形状调节;
从结构修改参数、面容颜色参数和面容形状参数中选取至少一个目标修改参数,基于目标修改参数对第一目标图像进行调节,得到第二目标图像。
在一些实施例中,资产生成模块1350还用于:
从每个面部视角图像中提取结构特征点和轮廓线信息;
利用结构特征点和轮廓线信息进行曲面重建,生成初始面部三维模型;
获取预设表情模式,并根据预设表情模式和初始面部三维模型生成多个目标面部三维模型;
基于面容特征参数获取面部纹理数据,并将面部纹理数据映射到目标面部三维模型中,得到数字人面部资产。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,数字人面部资产生成装置的具体实施方式与上述数字人面部资产生成方法的具体实施方式基本一致,此处不再赘述。
本申请实施例中,数字人面部资产生成装置利用自然语言的脸部描述信息预选生成的多张特征图像中选取了一个初步满足用户个性化需求的第一目标图像。若出现用户均不满足特征图像的情况,则对脸部特征进行更新,并利用更新脸部特征重新生成更加符合用户满意度的更新特征图像,以便于从更新特征图像中选取瞒住用户个性化需求的第一目标图像。然后利用调整参数对第一目标图像结构特征点、面容形状以及面容颜色进行可视化微调,以得到更满足用户个性化需求的第二目标图像;相比较直接调节三维面部图像,在二维图像中进行参数调节的运算复杂度更低且运算速度快,更无需在每次调节时就需要立即重新生成对应的三维面部模型,因此其调节速度也更快。另外,在得到满足个性化需求的二维的第二目标图像后,直接对第二目标图像进行三维生成对应的数字人面部资产,能够极大地降低数字人面部资产的生成时间和成本,以提高个性化生成数字人面部资产的生成效率。
本申请实施例还提供了一种电子设备,包括:
至少一个存储器;
至少一个处理器;
至少一个程序;
所述程序被存储在存储器中,处理器执行所述至少一个程序以实现本申请实施上述的数字人面部资产生成方法。该电子设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant,简称PDA)、车载电脑等任意智能终端。
请参阅图14,图14示意了另一实施例的电子设备的硬件结构,电子设备包括:
处理器1401,可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器1402,可以采用ROM(ReadOnlyMemory,只读存储器)、静态存储设备、动态存储设备或者RAM(RandomAccessMemory,随机存取存储器)等形式实现。存储器1402可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1402中,并由处理器1401来调用执行本申请实施例的数字人面部资产生成方法;
输入/输出接口1403,用于实现信息输入及输出;
通信接口1404,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信;
总线1405,在设备的各个组件(例如处理器1401、存储器1402、输入/输出接口1403和通信接口1404)之间传输信息;
其中处理器1401、存储器1402、输入/输出接口1403和通信接口1404通过总线1405实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质,存储介质为计算机可读存储介质,该存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述数字人面部资产生成方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。
Claims (10)
1.一种数字人面部资产生成方法,其特征在于,包括:
从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;
将所述至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;
获取从所述特征图像中选取的第一目标图像;
获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像;所述调整参数包括结构特征参数和面容特征参数;
基于所述第二目标图像,生成多个视角下的面部视角图像,并根据所述面部视角图像进行三维构建,得到数字人面部资产。
2.根据权利要求1所述的数字人面部资产生成方法,其特征在于,所述面容特征参数包括面容颜色参数和面容形状参数;所述获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像,包括:
获取结构修改数据,并从所述结构修改数据中得到结构特征点的移动位置,基于所述移动位置得到所述结构特征点的结构修改参数;所述结构修改参数用于对所述第一目标图像的第一区域进行结构调节;
获取针对面容颜色进行修改的面容颜色参数,并从所述面容颜色参数中得到颜色修改范围和颜色属性;所述面容颜色参数用于根据所述颜色属性对所述第一目标图像的所述颜色修改范围进行颜色调节;
获取针对面容形状进行修改的面容形状参数;所述面容形状参数用于对所述第一目标图像的第二区域进行形状调节;
从所述结构修改参数、所述面容颜色参数和所述面容形状参数中选取至少一个目标修改参数,基于所述目标修改参数对所述第一目标图像进行调节,得到所述第二目标图像。
3.根据权利要求2所述的数字人面部资产生成方法,其特征在于,所述根据所述面部视角图像进行三维构建,得到数字人面部资产,包括:
从每个所述面部视角图像中提取所述结构特征点和轮廓线信息;
利用所述结构特征点和所述轮廓线信息进行曲面重建,生成初始面部三维模型;
获取预设表情模式,并根据所述预设表情模式和所述初始面部三维模型生成多个目标面部三维模型;
基于所述面容特征参数获取面部纹理数据,并将所述面部纹理数据映射到所述目标面部三维模型中,得到所述数字人面部资产。
4.根据权利要求1所述的数字人面部资产生成方法,其特征在于,所述脸部特征包括:特征名称、特征值和特征权重;所述从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征,包括:
从所述脸部描述信息中获取预先设定的所述特征名称的所述特征值和所述特征权重;
若所述脸部描述信息中不包括所述特征名称,则将默认特征值作为所述特征名称的所述特征值,将默认特征权重作为所述特征名称的所述特征权重;
将所述特征名称、对应的所述特征值和所述特征权重作为所述脸部特征。
5.根据权利要求4所述的数字人面部资产生成方法,其特征在于,所述获取从所述特征图像中选取的第一目标图像,包括:
响应于重新生成请求,利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成,得到至少一张更新特征图像;
从所述更新特征图像中选取所述第一目标图像。
6.根据权利要求5所述的数字人面部资产生成方法,其特征在于,所述重新生成请求包括:重新生成指令和指示指令;所述响应于重新生成请求,利用所述至少一个脸部特征在所述图像生成模型中重新进行图像生成,得到至少一张更新特征图像,包括:
根据所述指示指令得到特征调节范围;
在所述特征调节范围内,调节所述脸部特征的所述特征值和/或所述特征权重,得到更新脸部特征;
根据所述脸部特征和所述更新脸部特征得到调节脸部特征;
利用所述调节脸部特征在所述图像生成模型中进行图像生成,得到所述更新特征图像。
7.根据权利要求2所述的数字人面部资产生成方法,其特征在于,所述获取对所述第一目标图像进行参数调整的至少一个调整参数,包括:
获取由历史面部资产确定的特征偏好数据;
基于所述特征偏好数据得到所述结构特征参数和所述面容特征参数。
8.一种数字人面部资产生成装置,其特征在于,所述装置包括:
特征获取模块,用于从获取的自然语言的脸部描述信息中得到结构化的至少一个脸部特征;
特征图像生成模块,用于将所述至少一个脸部特征输入图像生成模型进行图像生成,得到至少一张特征图像;
图像获取模块,用于获取从所述特征图像中选取的第一目标图像;
参数调整模块,用于获取对所述第一目标图像进行参数调整的至少一个调整参数,基于所述调整参数和所述第一目标图像得到第二目标图像;所述调整参数包括结构特征参数和面容特征参数;
资产生成模块,用于基于所述第二目标图像,生成多个视角下的面部视角图像,并根据所述面部视角图像进行三维构建,得到数字人面部资产。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的数字人面部资产生成方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数字人面部资产生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410155486.XA CN117994395A (zh) | 2024-01-31 | 2024-01-31 | 数字人面部资产生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410155486.XA CN117994395A (zh) | 2024-01-31 | 2024-01-31 | 数字人面部资产生成方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117994395A true CN117994395A (zh) | 2024-05-07 |
Family
ID=90890299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410155486.XA Pending CN117994395A (zh) | 2024-01-31 | 2024-01-31 | 数字人面部资产生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117994395A (zh) |
-
2024
- 2024-01-31 CN CN202410155486.XA patent/CN117994395A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102241153B1 (ko) | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 | |
US10540817B2 (en) | System and method for creating a full head 3D morphable model | |
CN112669447B (zh) | 一种模型头像创建方法、装置、电子设备和存储介质 | |
US20200020173A1 (en) | Methods and systems for constructing an animated 3d facial model from a 2d facial image | |
US20200082595A1 (en) | Image processing apparatus, image processing system, and image processing method as well as program | |
KR20210119438A (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
CN108513089B (zh) | 群组视频会话的方法及装置 | |
CN113628327B (zh) | 一种头部三维重建方法及设备 | |
CN111729321B (zh) | 构造个性化角色的方法、系统、存储介质以及计算设备 | |
CN108460398A (zh) | 图像处理方法、装置、云处理设备和计算机程序产品 | |
CN112950769A (zh) | 三维人体重建方法、装置、设备及存储介质 | |
CN114821675B (zh) | 对象的处理方法、系统和处理器 | |
CN111833236A (zh) | 产生模拟用户的三维脸部模型的方法及装置 | |
CN114266695A (zh) | 图像处理方法、图像处理系统及电子设备 | |
WO2022257766A1 (zh) | 图像处理方法、装置、设备及介质 | |
Danieau et al. | Automatic generation and stylization of 3d facial rigs | |
US11354844B2 (en) | Digital character blending and generation system and method | |
US10769860B2 (en) | Transferrable between styles virtual identity systems and methods | |
CN117994395A (zh) | 数字人面部资产生成方法、装置、电子设备及存储介质 | |
US20220165024A1 (en) | Transforming static two-dimensional images into immersive computer-generated content | |
KR102652652B1 (ko) | 아바타 생성 장치 및 방법 | |
CN109919016B (zh) | 一种在无脸部器官的对象上生成人脸表情的方法及装置 | |
Santos | Virtual Avatars: creating expressive embodied characters for virtual reality | |
Bibliowicz | An automated rigging system for facial animation | |
CN117726725A (zh) | 一种3d宠物角色生成控制方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |