CN115797556B - 一种虚拟数字人面部轮廓3d重建装置 - Google Patents
一种虚拟数字人面部轮廓3d重建装置 Download PDFInfo
- Publication number
- CN115797556B CN115797556B CN202211466117.XA CN202211466117A CN115797556B CN 115797556 B CN115797556 B CN 115797556B CN 202211466117 A CN202211466117 A CN 202211466117A CN 115797556 B CN115797556 B CN 115797556B
- Authority
- CN
- China
- Prior art keywords
- facial
- contour
- face
- virtual digital
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种虚拟数字人面部轮廓3D重建装置,包括:面部轮廓图像获取模块,用于利用3D显示设备显示虚拟数字人的第一面部轮廓图像,并采集第一面部轮廓图像数据;面部轮廓模板及数据获取模块,用于基于大数据平台获取面部基底轮廓模板和面部姿态数据;面部轮廓3D重建模块,用于根据第一面部轮廓图像数据和面部轮廓模板,基于3D重建模型,获得虚拟数字人3D面部轮廓。本发明通过利用面部轮廓模板对3D显示设备显示的面部轮廓图像重建,可提高虚拟数字人面部轮廓3D重建的准确性和真实度。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种虚拟数字人面部轮廓3D重建装置。
背景技术
虚拟数字人是通过电脑制作的虚拟形象,具有人类的形状和外表、性别和性格等人类特征;虚拟数字人必须要依靠显示设备才能被看到,虚拟数字人面部轮廓的3D重建还存在方法复杂、消耗人力大、虚拟数字人面部轮廓数据采集困难等问题;因此,需要一种虚拟数字人面部轮廓3D重建装置。
发明内容
本发明提供了一种虚拟数字人面部轮廓3D重建装置,通过利用面部轮廓模板对3D显示设备显示的面部轮廓图像重建,可提高虚拟数字人面部轮廓3D重建的准确性和真实度。
本发明提供了一种虚拟数字人面部轮廓3D重建装置,包括:
面部轮廓图像获取模块,用于利用3D显示设备显示虚拟数字人的第一面部轮廓图像,并采集第一面部轮廓图像数据;
面部轮廓模板及数据获取模块,用于基于大数据平台获取面部基底轮廓模板和面部姿态数据;
面部轮廓3D重建模块,用于根据第一面部轮廓图像数据和面部轮廓模板,基于3D重建模型,获得虚拟数字人3D面部轮廓。
进一步地,面部轮廓图像获取模块包括显示单元和修正单元;
显示单元,用于基于预设的虚拟数字人3D显示模板和3D显示设备,将虚拟数字人面部轮廓图像显示为虚拟数字人3D面部轮廓图像;
修正单元,用于对虚拟数字人3D面部轮廓图像的显示准确性进行分析,若显示准确则直接生成第一面部轮廓图像;若显示不正确,则提示获得待修正区域,对待修正区域的图像修正后获得第一面部轮廓图像。
进一步地,修正单元,包括图像分割子单元、区域对比子单元和修正提示子单元;
图像分割子单元,用于采用预设的分割模板,对虚拟数字人3D面部轮廓图像进行区域分割,获得以特征凸显点为中心的若干个尺寸不相同的特征凸显点图像区域;
区域对比子单元,用于按照预设的对比参数和对比规则,将特征凸显点图像区域与虚拟数字人面部轮廓图像相对应的区域进行对比准确性分析;
修正提示子单元,用于根据对比准确性分析结果,提示对比准确性值小于预设准确性阈值的特征凸显点图像区域,获得待修正区域。
进一步地,特征凸显点的位置获取包括:
利用预设的训练网络,在虚拟数字人3D面部轮廓图像上,对面部特征凸显点坐标进行初始回归,获得特征凸显点的近似位置;
获取特征凸显点的近似位置的周围局部区域图像的局部区域灰度图;
将局部区域灰度图输入预设的回归网络进行训练,获得特征凸显点的若干个候选目标位置;
选取若干个候选目标位置的平均位置作为特征凸显点的目标位置,将目标位置作为特征凸显点的位置。
进一步地,面部轮廓模板及数据获取模块,包括调用单元和评估单元;
调用单元,用于依据大数据平台,从现有的人面部模板数据库中获取面部基底轮廓模板,从现有的人面部姿态数据库中获取发型肤色纹理数据和骨骼动画数据;
评估单元,用于基于预设的模板评估指标对面部基底轮廓模板的应用频率值和应用反馈值进行评估,筛选获得应用频率值大于预设应用频率值阈值、并且应用反馈值大于预设应用反馈值阈值的面部基底轮廓模板;基于预设的数据评估指标对面部姿态数据的姿态真实度值进行评估,筛选获得姿态真实度值大于预设姿态真实度值阈值的面部姿态数据。
进一步地,面部轮廓3D重建模块包括面部轮廓重建单元和面部纹理补充单元;
面部轮廓重建单元,用于根据第一面部轮廓图像数据和面部基底轮廓模板,基于3D重建模型构建虚拟数字人面部基底轮廓;
面部纹理补充单元,用于根据发型肤色纹理数据、骨骼动画数据,在虚拟数字人面部基底轮廓上填充面部纹理,获得虚拟数字人3D面部轮廓。
进一步地,面部轮廓3D重建模块还包括3D面部轮廓显示单元,3D面部轮廓显示单元用于通过BFM人脸3D模型获得虚拟数字人面部轮廓特征凸显点的图像坐标,根据图像坐标获取对应的三个第一类坐标向量值;获取除特征凸显点的图像坐标外的其它点的第二类坐标向量值;将第一类坐标向量值和第二类坐标向量值进行三角插值,并生成UV位置图,基于UV位置图显示3D面部轮廓。
进一步地,还包括第一面部轮廓图像数据匹配修改模块,第一面部轮廓图像数据匹配修改模块包括真人面部轮廓数据获取单元和检验单元;
真人面部轮廓数据获取单元,用于基于虚拟数字人面部轮廓图像,追溯获取相对应的现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据;
检验单元,用于将第一面部轮廓图像数据与现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据进行匹配,获得匹配误差;若匹配误差大于预设的匹配误差阈值,则将现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据作为第一面部轮廓图像修改数据进行相应修改。
进一步地,还包括面部轮廓3D重建效果测试模块,用于测试分析虚拟数字人面部轮廓3D重建效果;包括:
基于预设的静态检视方案,采用3D图像扫描设备,对虚拟数字人3D面部轮廓按照固定的运行轨迹进行静态检视,静态检视包括特征凸显点区域完整性检视、特征凸显点区域与非特征凸显点区域连接严密性检视,获取区域的重合度值,若重合度值位于预设的重合度值范围内,则判定检视合格;
基于预设的动态检视方案,按照预设的检视流程对虚拟数字人3D面部轮廓的面部表情动作完成情况进行检视,面部表情动作完成情况包括面部表情动作完成精准度,获取检视面部表情动作完成幅度与预设标准幅度的偏差值,若偏差值小于预设的偏差值阈值,则判定检视合格。
进一步地,图像分割子单元还包括分割管理分子单元,用于分割管理虚拟数字人3D面部轮廓图像,包括:
基于预设的评估标准,评估虚拟数字人面部五官及其它部位的关注度,获得虚拟数字人面部轮廓图像各个区域位置的关注度值;区域位置基于虚拟数字人的面部五官比例划分设置;根据关注度值的大小,设置相应的权重;并生成两个或多个合并区域位置的联合关注度值;
根据联合关注度值设定相应的分割疏密度值,将联合关注度值大的设定相应的分割疏密度大,将联合关注度值小的设定相应的分割疏密度小,根据设定的分割疏密度值分割管理虚拟数字人3D面部轮廓图像。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明的虚拟数字人面部轮廓3D重建装置结构示意图;
图2为本发明的虚拟数字人面部轮廓3D重建装置的面部轮廓模板及数据获取模块结构示意图;
图3为本发明的虚拟数字人面部轮廓3D重建装置的面部轮廓模板及数据获取模块修正单元结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供了一种虚拟数字人面部轮廓3D重建装置,如图1所示,包括:
面部轮廓图像获取模块,用于利用3D显示设备显示虚拟数字人的第一面部轮廓图像,并采集第一面部轮廓图像数据;
面部轮廓模板及数据获取模块,用于基于大数据平台获取面部基底轮廓模板和面部姿态数据;
面部轮廓3D重建模块,用于根据第一面部轮廓图像数据和面部轮廓模板,基于3D重建模型,获得虚拟数字人3D面部轮廓。
上述技术方案的工作原理为:面部轮廓图像获取模块,用于利用3D显示设备显示虚拟数字人的第一面部轮廓图像,并采集第一面部轮廓图像数据;
面部轮廓模板及数据获取模块,用于基于大数据平台获取面部基底轮廓模板和面部姿态数据;
面部轮廓3D重建模块,用于根据第一面部轮廓图像数据和面部轮廓模板,基于3D重建模型,获得虚拟数字人3D面部轮廓。
上述技术方案的有益效果为:采用本实施例提供的方案,本发明通过利用面部轮廓模板对3D显示设备显示的面部轮廓图像重建,可提高虚拟数字人面部轮廓3D重建的准确性和真实度。
在一个实施例中,如图2所示,面部轮廓图像获取模块包括显示单元和修正单元;
显示单元,用于基于预设的虚拟数字人3D显示模板和3D显示设备,将虚拟数字人面部轮廓图像显示为虚拟数字人3D面部轮廓图像;
修正单元,用于对虚拟数字人3D面部轮廓图像的显示准确性进行分析,若显示准确则直接生成第一面部轮廓图像;若显示不正确,则提示获得待修正区域,对待修正区域的图像修正后获得第一面部轮廓图像。
上述技术方案的工作原理为:面部轮廓图像获取模块包括显示单元和修正单元;
显示单元,用于基于预设的虚拟数字人3D显示模板和3D显示设备,将虚拟数字人面部轮廓图像显示为虚拟数字人3D面部轮廓图像;
修正单元,用于对虚拟数字人3D面部轮廓图像的显示准确性进行分析,若显示准确则直接生成第一面部轮廓图像;若显示不正确,则提示获得待修正区域,对待修正区域的图像修正后获得第一面部轮廓图像。
上述技术方案的有益效果为:采用本实施例提供的方案,通过对面部轮廓的显示和修正,可保证显示准确的3D面部轮廓。
在一个实施例中,如图3所示,修正单元,包括图像分割子单元、区域对比子单元和修正提示子单元;
图像分割子单元,用于采用预设的分割模板,对虚拟数字人3D面部轮廓图像进行区域分割,获得以特征凸显点为中心的若干个尺寸不相同的特征凸显点图像区域;
区域对比子单元,用于按照预设的对比参数和对比规则,将特征凸显点图像区域与虚拟数字人面部轮廓图像相对应的区域进行对比准确性分析;
修正提示子单元,用于根据对比准确性分析结果,提示对比准确性值小于预设准确性阈值的特征凸显点图像区域,获得待修正区域。
上述技术方案的工作原理为:修正单元,包括图像分割子单元、区域对比子单元和修正提示子单元;
图像分割子单元,用于采用预设的分割模板,对虚拟数字人3D面部轮廓图像进行区域分割,获得以特征凸显点为中心的若干个尺寸不相同的特征凸显点图像区域;
区域对比子单元,用于按照预设的对比参数和对比规则,将特征凸显点图像区域与虚拟数字人面部轮廓图像相对应的区域进行对比准确性分析;
修正提示子单元,用于根据对比准确性分析结果,提示对比准确性值小于预设准确性阈值的特征凸显点图像区域,获得待修正区域。
上述技术方案的有益效果为:采用本实施例提供的方案,通过修正提示,可以保证获得准确的待修正区域。
在一个实施例中,特征凸显点的位置获取包括:
利用预设的训练网络,在虚拟数字人3D面部轮廓图像上,对面部特征凸显点坐标进行初始回归,获得特征凸显点的近似位置;
获取特征凸显点的近似位置的周围局部区域图像的局部区域灰度图;
将局部区域灰度图输入预设的回归网络进行训练,获得特征凸显点的若干个候选目标位置;
选取若干个候选目标位置的平均位置作为特征凸显点的目标位置,将目标位置作为特征凸显点的位置。
上述技术方案的工作原理为:特征凸显点的位置获取包括:
利用预设的训练网络,在虚拟数字人3D面部轮廓图像上,对面部特征凸显点坐标进行初始回归,获得特征凸显点的近似位置;
获取特征凸显点的近似位置的周围局部区域图像的局部区域灰度图;
将局部区域灰度图输入预设的回归网络进行训练,获得特征凸显点的若干个候选目标位置;
选取若干个候选目标位置的平均位置作为特征凸显点的目标位置,将目标位置作为特征凸显点的位置。
上述技术方案的有益效果为:采用本实施例提供的方案,通过检测特征凸显点,可以保证特征凸显点位置选取的准确性。
在一个实施例中,面部轮廓模板及数据获取模块,包括调用单元和评估单元;
调用单元,用于依据大数据平台,从现有的人面部模板数据库中获取面部基底轮廓模板,从现有的人面部姿态数据库中获取发型肤色纹理数据和骨骼动画数据;
评估单元,用于基于预设的模板评估指标对面部基底轮廓模板的应用频率值和应用反馈值进行评估,筛选获得应用频率值大于预设应用频率值阈值、并且应用反馈值大于预设应用反馈值阈值的面部基底轮廓模板;基于预设的数据评估指标对面部姿态数据的姿态真实度值进行评估,筛选获得姿态真实度值大于预设姿态真实度值阈值的面部姿态数据。
上述技术方案的工作原理为:面部轮廓模板及数据获取模块,包括调用单元和评估单元;
调用单元,用于依据大数据平台,从现有的人面部模板数据库中获取面部基底轮廓模板,从现有的人面部姿态数据库中获取发型肤色纹理数据和骨骼动画数据;
评估单元,用于基于预设的模板评估指标对面部基底轮廓模板的应用频率值和应用反馈值进行评估,筛选获得应用频率值大于预设应用频率值阈值、并且应用反馈值大于预设应用反馈值阈值的面部基底轮廓模板;基于预设的数据评估指标对面部姿态数据的姿态真实度值进行评估,筛选获得姿态真实度值大于预设姿态真实度值阈值的面部姿态数据。
上述技术方案的有益效果为:采用本实施例提供的方案,通过面部基底轮廓模板和面部姿态数据的获取和评估,可以保证更好地进行3D面部轮廓的重建。
在一个实施例中,面部轮廓3D重建模块包括面部轮廓重建单元和面部纹理补充单元;
面部轮廓重建单元,用于根据第一面部轮廓图像数据和面部基底轮廓模板,基于3D重建模型构建虚拟数字人面部基底轮廓;
面部纹理补充单元,用于根据发型肤色纹理数据、骨骼动画数据,在虚拟数字人面部基底轮廓上填充面部纹理,获得虚拟数字人3D面部轮廓。
上述技术方案的工作原理为:面部轮廓3D重建模块包括面部轮廓重建单元和面部纹理补充单元;
面部轮廓重建单元,用于根据第一面部轮廓图像数据和面部基底轮廓模板,基于3D重建模型构建虚拟数字人面部基底轮廓;
面部纹理补充单元,用于根据发型肤色纹理数据、骨骼动画数据,在虚拟数字人面部基底轮廓上填充面部纹理,获得虚拟数字人3D面部轮廓。
上述技术方案的有益效果为:采用本实施例提供的方案,通过对基底轮廓进行纹理补充,可以提高虚拟数字人3D面部轮廓重建的准确性。
在一个实施例中,面部轮廓3D重建模块还包括3D面部轮廓显示单元,3D面部轮廓显示单元用于通过BFM人脸3D模型获得虚拟数字人面部轮廓特征凸显点的图像坐标,根据图像坐标获取对应的三个第一类坐标向量值;获取除特征凸显点的图像坐标外的其它点的第二类坐标向量值;将第一类坐标向量值和第二类坐标向量值进行三角插值,并生成UV位置图,基于UV位置图显示3D面部轮廓。
上述技术方案的工作原理为:面部轮廓3D重建模块还包括3D面部轮廓显示单元,3D面部轮廓显示单元用于通过BFM人脸3D模型获得虚拟数字人面部轮廓特征凸显点的图像坐标,根据图像坐标获取对应的三个第一类坐标向量值;获取除特征凸显点的图像坐标外的其它点的第二类坐标向量值;将第一类坐标向量值和第二类坐标向量值进行三角插值,并生成UV位置图,基于UV位置图显示3D面部轮廓。
上述技术方案的有益效果为:采用本实施例提供的方案,通过UV位置图显示3D面部轮廓,可以提高3D面部轮廓显示的真实性。
在一个实施例中,还包括第一面部轮廓图像数据匹配修改模块,第一面部轮廓图像数据匹配修改模块包括真人面部轮廓数据获取单元和检验单元;
真人面部轮廓数据获取单元,用于基于虚拟数字人面部轮廓图像,追溯获取相对应的现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据;
检验单元,用于将第一面部轮廓图像数据与现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据进行匹配,获得匹配误差;若匹配误差大于预设的匹配误差阈值,则将现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据作为第一面部轮廓图像修改数据进行相应修改。
上述技术方案的工作原理为:虚拟数字人包括非交互型虚拟数字人、智能驱动型虚拟数字人和真人驱动型虚拟数字人。这三种类型的划分在于终端对语音动画生成和处理方式上的差异。早期的虚拟数字人大多是非交互型虚拟数字人,智能驱动型虚拟数字人模型能生成与输入信息相应的语音和动作来和使用者进行互动,真人驱动型虚拟数字人是在预先设计好人物形象与建模的基础上,真人在后台进行对数字人的驱动;根据这三类虚拟数字人进行分类追溯数据检验,包括第一面部轮廓图像数据匹配修改模块,第一面部轮廓图像数据匹配修改模块包括真人面部轮廓数据获取单元和检验单元;
真人面部轮廓数据获取单元,用于基于虚拟数字人面部轮廓图像,追溯获取相对应的现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据;
检验单元,用于将第一面部轮廓图像数据与现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据进行匹配,获得匹配误差;若匹配误差大于预设的匹配误差阈值,则将现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据作为第一面部轮廓图像修改数据进行相应修改。
上述技术方案的有益效果为:采用本实施例提供的方案,通过对第一面部轮廓图像数据的检验,可以保证第一面部轮廓图像数据的准确性。
在一个实施例中,还包括面部轮廓3D重建效果测试模块,用于测试分析虚拟数字人面部轮廓3D重建效果;包括:
基于预设的静态检视方案,采用3D图像扫描设备,对虚拟数字人3D面部轮廓按照固定的运行轨迹进行静态检视,静态检视包括特征凸显点区域完整性检视、特征凸显点区域与非特征凸显点区域连接严密性检视,获取区域的重合度值,若重合度值位于预设的重合度值范围内,则判定检视合格;
基于预设的动态检视方案,按照预设的检视流程对虚拟数字人3D面部轮廓的面部表情动作完成情况进行检视,面部表情动作完成情况包括面部表情动作完成精准度,获取检视面部表情动作完成幅度与预设标准幅度的偏差值,若偏差值小于预设的偏差值阈值,则判定检视合格。
上述技术方案的工作原理为:还包括面部轮廓3D重建效果测试模块,用于测试分析虚拟数字人面部轮廓3D重建效果;包括:
基于预设的静态检视方案,采用3D图像扫描设备,对虚拟数字人3D面部轮廓按照固定的运行轨迹进行静态检视,静态检视包括特征凸显点区域完整性检视、特征凸显点区域与非特征凸显点区域连接严密性检视,获取区域的重合度值,若重合度值位于预设的重合度值范围内,则判定检视合格;
基于预设的动态检视方案,按照预设的检视流程对虚拟数字人3D面部轮廓的面部表情动作完成情况进行检视,面部表情动作完成情况包括面部表情动作完成精准度,获取检视面部表情动作完成幅度与预设标准幅度的偏差值,若偏差值小于预设的偏差值阈值,则判定检视合格。
为了评估脸部轮廓3D重建的效果,使用归一化平均误差衡量重建后的图像与原始图像是否对齐;计算公式为:
上述技术方案的有益效果为:采用本实施例提供的方案,通过评估3D重建的效果,以及用归一化平均误差衡量重建后的图像与原始图像是否对齐,可进一步检验脸部轮廓3D重建的质量。
在一个实施例中,图像分割子单元还包括分割管理分子单元,用于分割管理虚拟数字人3D面部轮廓图像,包括:
基于预设的评估标准,评估虚拟数字人面部五官及其它部位的关注度,获得虚拟数字人面部轮廓图像各个区域位置的关注度值;区域位置基于虚拟数字人的面部五官比例划分设置;根据关注度值的大小,设置相应的权重;并生成两个或多个合并区域位置的联合关注度值;
根据联合关注度值设定相应的分割疏密度值,将联合关注度值大的设定相应的分割疏密度大,将联合关注度值小的设定相应的分割疏密度小,根据设定的分割疏密度值分割管理虚拟数字人3D面部轮廓图像。
上述技术方案的工作原理为:图像分割指把图像分成各具特性的区域并提取出感兴趣区域的技术和过程。分割是对三维数据进行可视化非常重要的一步。只有对三维数据进行准确的分类,才能重建出正确几何模型。图像分割子单元还包括分割管理分子单元,用于分割管理虚拟数字人3D面部轮廓图像,包括:
基于预设的评估标准,评估虚拟数字人面部五官及其它部位的关注度,获得虚拟数字人面部轮廓图像各个区域位置的关注度值;区域位置基于虚拟数字人的面部五官比例划分设置;根据关注度值的大小,设置相应的权重;并生成两个或多个合并区域位置的联合关注度值;
根据联合关注度值设定相应的分割疏密度值,将联合关注度值大的设定相应的分割疏密度大,将联合关注度值小的设定相应的分割疏密度小,根据设定的分割疏密度值分割管理虚拟数字人3D面部轮廓图像。
上述技术方案的有益效果为:采用本实施例提供的方案,通过对虚拟数字人3D面部轮廓图像的分割管理,可进一步提高分割管理的精确性,提高图像分析质量。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种虚拟数字人面部轮廓3D重建装置,其特征在于,包括:
面部轮廓图像获取模块,用于利用3D显示设备显示虚拟数字人的第一面部轮廓图像,并采集第一面部轮廓图像数据;
面部轮廓模板及数据获取模块,用于基于大数据平台获取面部基底轮廓模板和面部姿态数据;
面部轮廓3D重建模块,用于根据第一面部轮廓图像数据和面部基底轮廓模板,基于3D重建模型,获得虚拟数字人3D面部轮廓;
面部轮廓图像获取模块包括显示单元和修正单元;
显示单元,用于基于预设的虚拟数字人3D显示模板和3D显示设备,将虚拟数字人面部轮廓图像显示为虚拟数字人3D面部轮廓图像;
修正单元,用于对虚拟数字人3D面部轮廓图像的显示准确性进行分析,若显示准确则直接生成第一面部轮廓图像;若显示不正确,则提示获得待修正区域,对待修正区域的图像修正后获得第一面部轮廓图像;
面部轮廓模板及数据获取模块,包括调用单元和评估单元;
调用单元,用于依据大数据平台,从现有的人面部模板数据库中获取面部基底轮廓模板,从现有的人面部姿态数据库中获取发型肤色纹理数据和骨骼动画数据;
评估单元,用于基于预设的模板评估指标对面部基底轮廓模板的应用频率值和应用反馈值进行评估,筛选获得应用频率值大于预设应用频率值阈值、并且应用反馈值大于预设应用反馈值阈值的面部基底轮廓模板;基于预设的数据评估指标对面部姿态数据的姿态真实度值进行评估,筛选获得姿态真实度值大于预设姿态真实度值阈值的面部姿态数据;
面部轮廓3D重建模块包括面部轮廓重建单元和面部纹理补充单元;
面部轮廓重建单元,用于根据第一面部轮廓图像数据和面部基底轮廓模板,基于3D重建模型构建虚拟数字人面部基底轮廓;
面部纹理补充单元,用于根据发型肤色纹理数据、骨骼动画数据,在虚拟数字人面部基底轮廓上填充面部纹理,获得虚拟数字人3D面部轮廓;
还包括面部轮廓3D重建效果测试模块,用于测试分析虚拟数字人面部轮廓3D重建效果;包括:
基于预设的静态检视方案,采用3D图像扫描设备,对虚拟数字人3D面部轮廓按照固定的运行轨迹进行静态检视,静态检视包括特征凸显点区域完整性检视、特征凸显点区域与非特征凸显点区域连接严密性检视,获取区域的重合度值,若重合度值位于预设的重合度值范围内,则判定检视合格;
基于预设的动态检视方案,按照预设的检视流程对虚拟数字人3D面部轮廓的面部表情动作完成情况进行检视,面部表情动作完成情况包括面部表情动作完成精准度,获取检视面部表情动作完成幅度与预设标准幅度的偏差值,若偏差值小于预设的偏差值阈值,则判定检视合格。
2.根据权利要求1所述的一种虚拟数字人面部轮廓3D重建装置,其特征在于,修正单元,包括图像分割子单元、区域对比子单元和修正提示子单元;
图像分割子单元,用于采用预设的分割模板,对虚拟数字人3D面部轮廓图像进行区域分割,获得以特征凸显点为中心的若干个尺寸不相同的特征凸显点图像区域;
区域对比子单元,用于按照预设的对比参数和对比规则,将特征凸显点图像区域与虚拟数字人面部轮廓图像相对应的区域进行对比准确性分析;
修正提示子单元,用于根据对比准确性分析结果,提示对比准确性值小于预设准确性阈值的特征凸显点图像区域,获得待修正区域。
3.根据权利要求2所述的一种虚拟数字人面部轮廓3D重建装置,其特征在于,特征凸显点的位置获取包括:
利用预设的训练网络,在虚拟数字人3D面部轮廓图像上,对面部特征凸显点坐标进行初始回归,获得特征凸显点的近似位置;
获取特征凸显点的近似位置的周围局部区域图像的局部区域灰度图;
将局部区域灰度图输入预设的回归网络进行训练,获得特征凸显点的若干个候选目标位置;
选取若干个候选目标位置的平均位置作为特征凸显点的目标位置,将目标位置作为特征凸显点的位置。
4.根据权利要求1所述的一种虚拟数字人面部轮廓3D重建装置,其特征在于,面部轮廓3D重建模块还包括3D面部轮廓显示单元,3D面部轮廓显示单元用于通过BFM人脸3D模型获得虚拟数字人面部轮廓特征凸显点的图像坐标,根据图像坐标获取对应的三个第一类坐标向量值;获取除特征凸显点的图像坐标外的其它点的第二类坐标向量值;将第一类坐标向量值和第二类坐标向量值进行三角插值,并生成UV位置图,基于UV位置图显示3D面部轮廓。
5.根据权利要求1所述的一种虚拟数字人面部轮廓3D重建装置,其特征在于,还包括第一面部轮廓图像数据匹配修改模块,第一面部轮廓图像数据匹配修改模块包括真人面部轮廓数据获取单元和检验单元;
真人面部轮廓数据获取单元,用于基于虚拟数字人面部轮廓图像,追溯获取相对应的现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据;
检验单元,用于将第一面部轮廓图像数据与现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据进行匹配,获得匹配误差;若匹配误差大于预设的匹配误差阈值,则将现实人面部轮廓数据、或虚拟数字人的面部轮廓构造数据作为第一面部轮廓图像修改数据进行相应修改。
6.根据权利要求2所述的一种虚拟数字人面部轮廓3D重建装置,其特征在于,图像分割子单元还包括分割管理分子单元,用于分割管理虚拟数字人3D面部轮廓图像,包括:
基于预设的评估标准,评估虚拟数字人面部五官及其它部位的关注度,获得虚拟数字人面部轮廓图像各个区域位置的关注度值;区域位置基于虚拟数字人的面部五官比例划分设置;根据关注度值的大小,设置相应的权重;并生成两个或多个合并区域位置的联合关注度值;
根据联合关注度值设定相应的分割疏密度值,将联合关注度值大的设定相应的分割疏密度大,将联合关注度值小的设定相应的分割疏密度小,根据设定的分割疏密度值分割管理虚拟数字人3D面部轮廓图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211466117.XA CN115797556B (zh) | 2022-11-22 | 2022-11-22 | 一种虚拟数字人面部轮廓3d重建装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211466117.XA CN115797556B (zh) | 2022-11-22 | 2022-11-22 | 一种虚拟数字人面部轮廓3d重建装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115797556A CN115797556A (zh) | 2023-03-14 |
CN115797556B true CN115797556B (zh) | 2023-07-11 |
Family
ID=85440027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211466117.XA Active CN115797556B (zh) | 2022-11-22 | 2022-11-22 | 一种虚拟数字人面部轮廓3d重建装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115797556B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103442137B (zh) * | 2013-08-26 | 2016-04-13 | 苏州跨界软件科技有限公司 | 一种在手机通话中查看对方虚拟人脸的方法 |
CN105096377B (zh) * | 2014-05-14 | 2019-03-19 | 华为技术有限公司 | 一种图像处理方法和装置 |
CN113808272B (zh) * | 2021-08-25 | 2024-04-12 | 西北工业大学 | 三维虚拟人头脸建模中的纹理映射方法 |
CN115272570A (zh) * | 2022-07-25 | 2022-11-01 | 京东方科技集团股份有限公司 | 虚拟表情生成方法、装置、电子设备和存储介质 |
-
2022
- 2022-11-22 CN CN202211466117.XA patent/CN115797556B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115797556A (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108257121B (zh) | 产品缺陷检测模型更新的方法、装置、存储介质及终端设备 | |
CN112419327B (zh) | 一种基于生成对抗网络的图像分割方法、系统和装置 | |
US8384716B2 (en) | Image processing method | |
CN104572804A (zh) | 一种视频物体检索的方法及其系统 | |
CN105893925A (zh) | 基于肤色的人手检测方法及装置 | |
CN111161275A (zh) | 医学图像中目标对象的分割方法、装置和电子设备 | |
CN111709914B (zh) | 一种基于hvs特性的无参考图像质量评价方法 | |
CN106203329B (zh) | 一种基于眉毛建立身份标识模板及进行身份识别的方法 | |
CN110930414A (zh) | 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质 | |
US20210312243A1 (en) | Method for synthesizing image based on conditional generative adversarial network and related device | |
CN111488872A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN114596290A (zh) | 缺陷检测方法及其装置、存储介质、程序产品 | |
CN107204040A (zh) | 多点地质统计学建模方法及装置、计算机存储介质 | |
CN109241867A (zh) | 采用人工智能算法识别数字岩心图像的方法及装置 | |
Wang et al. | Measuring the visual salience of 3d printed objects | |
CN116934769A (zh) | 交互式分割模型训练方法、标注数据生成方法及设备 | |
Valsecchi et al. | A robust and efficient method for skull-face overlay in computerized craniofacial superimposition | |
CN115797556B (zh) | 一种虚拟数字人面部轮廓3d重建装置 | |
CN107833631A (zh) | 一种医学影像计算机辅助分析方法 | |
CN116778559A (zh) | 基于高斯过程与随机变换的面部皱纹三维评价方法及系统 | |
Choi et al. | Relief extraction from a rough stele surface using svm-based relief segment selection | |
CN115471724A (zh) | 一种基于自适应归一化的细粒度鱼类疫病识别融合算法 | |
CN115019396A (zh) | 一种学习状态监测方法、装置、设备及介质 | |
CN114548250A (zh) | 一种基于数据分析的手机外观检测方法及装置 | |
Muzahid et al. | Perceptual quality evaluation of 3d triangle mesh: a technical review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |