CN117726729A - 基于虚拟数字人技术的名片制作方法、系统、介质及设备 - Google Patents

基于虚拟数字人技术的名片制作方法、系统、介质及设备 Download PDF

Info

Publication number
CN117726729A
CN117726729A CN202410122559.5A CN202410122559A CN117726729A CN 117726729 A CN117726729 A CN 117726729A CN 202410122559 A CN202410122559 A CN 202410122559A CN 117726729 A CN117726729 A CN 117726729A
Authority
CN
China
Prior art keywords
face
virtual digital
digital person
technology
business card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410122559.5A
Other languages
English (en)
Inventor
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Fenghuo Wanjia Technology Co ltd
Original Assignee
Beijing Fenghuo Wanjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Fenghuo Wanjia Technology Co ltd filed Critical Beijing Fenghuo Wanjia Technology Co ltd
Priority to CN202410122559.5A priority Critical patent/CN117726729A/zh
Publication of CN117726729A publication Critical patent/CN117726729A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于虚拟数字人技术的名片制作方法、系统、介质及设备,涉及人工智能领域,方法包括:将人脸图像上传至虚拟数字人制作平台;基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人;基于动态生成人像技术,根据所述人脸图像生成动态人像;结合所述虚拟数字人以及动态人像,生成虚拟数字人名片;利用语音合成技术,将用户的文字信息转换为语音信息,添加至所述虚拟数字人名片中,制作具有语音功能的虚拟数字人名片。本发明能够降低虚拟数字人名片制作及更新成本,满足用户的个性化需求。

Description

基于虚拟数字人技术的名片制作方法、系统、介质及设备
技术领域
本发明涉及人工智能领域,特别是涉及一种基于虚拟数字人技术的名片制作方法、系统、介质及设备。
背景技术
目前传统的数字名片技术已经存在并得到了广泛应用。传统数字名片技术是指将纸质名片转化为数字化形式,方便在手机、电脑等设备上进行传输和分享的技术。这种技术通常使用二维码、NFC、蓝牙等技术,将数字名片存储在设备中,方便用户随时查看和分享。数字名片可以包含个人或企业的基本信息,如姓名、职位、电话号码、邮箱、公司名称、地址等,还可以添加个人或企业的介绍、产品或服务信息等。传统数字名片技术的优点是方便快捷,可以随时随地进行传输和分享,同时也可以减少环境污染,减少纸张使用。
传统数字名片技术在使用过程中将存储在设备中的数字名片通过二维码、NFC、蓝牙等技术进行传输和分享,方便用户随时查看和分享。当使用手机进行数字名片分享时,可以通过安装相应的Android App或小程序来实现。例如,微信、支付宝、QQ等应用提供了数字名片功能,用户可以通过这些应用将自己的数字名片分享给其他用户。另外,也有一些专门的数字名片管理应用,如CamCard、名片全能王等,这些应用可以帮助用户管理和整理数字名片,并提供一些附加功能,如OCR识别、扫描名片等。使用这些应用可以使数字名片的管理更加方便快捷,同时也可以提高数字名片的可读性和交互性。
但是,传统数字名片制作的现有技术存在较多的缺点和不足。图1为传统数字名片制作流程图,如图1所示,在扫描和识别阶段,其识别准确度不高,在扫描和文字识别过程中,由于名片格式、字体、颜色等方面存在较大差异,加上光线、扫描仪等因素的影响,使得识别准确度难以保证。继而会产生信息不完整、缺失或错误的情况,如缺少某些关键信息或识别错误,这会影响名片的准确性和实用性。传统数字名片基于其制作流程导致其个性化和交互性不足:由于是基于现有的纸质名片制作,因此其无法提供更加丰富和生动的介绍和交流方式,也难以满足用户的个性化需求。
此外,传统数字名片的制作和设计成本较高,需要一定的专业技术和软件支持,对于非专业人士来说制作和设计成本较高。并且传统数字名片需要印刷和制作,会产生废纸和废墨等环境污染,同时也需要消耗资源和成本,传统数字名片一旦制作完成,就难以修改和更新,如有新的信息或需求,需要重新制作,成本和时间较高。
发明内容
本发明的目的是提供一种基于虚拟数字人技术的名片制作方法、系统、介质及设备,以解决传统数字名片制作及更新成本高,识别准确度低以及难以满足用户的个性化需求。
为实现上述目的,本发明提供了如下方案。
一种基于虚拟数字人技术的名片制作方法,包括以下步骤。
将人脸图像上传至虚拟数字人制作平台。
基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人。
基于动态生成人像技术,根据所述人脸图像生成动态人像。
结合所述虚拟数字人以及动态人像,生成虚拟数字人名片。
利用语音合成技术,将用户的文字信息转换为语音信息,添加至所述虚拟数字人名片中,制作具有语音功能的虚拟数字人名片;所述文字信息包括姓名、职务、单位以及地址。
可选的,将人脸图像上传至虚拟数字人制作平台,之前还包括:拍摄用户多角度的人脸图像;所述多角度的人脸图像包括正面照、睁眼照、闭眼照、张嘴照、闭嘴照、人脸左斜45度照、人脸右斜45度照以及人脸点头抬头照。
可选的,基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人,具体包括:对所述多角度的人脸图像进行模板映射,并使用深度学习算法提取每个角度的人脸图像中的人脸细节特征;所述人脸细节特征包括人脸状态的标识;调用对应性别的人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;所述人脸细节图包括面部轮廓、面部表情、眼睛形状、眼睛颜色、眼睛尺寸以及眼睛与面部的相对位置;根据所述人脸细节图确定人脸关键点;所述人脸关键点包括脸部各个器官的形状及尺寸、脸部各个器官与面部的相对位置以及面部所包含的毛发及发饰;所述器官包括鼻子、嘴巴和下巴;基于所述人脸关键点,将所述人脸细节图转换为人脸三维重建数据,利用三维重建算法构建人脸三维模型;对所述人脸三维模型添加骨骼系统以及动画控制,生成虚拟数字人模型;对所述虚拟数字人模型进行优化,生成虚拟数字人。
可选的,调用对应性别的人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图,具体包括:判断所述人脸图像对应的用户性别;当用户性别为男时,调用男性人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;当用户性别为女时,调用女性人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;将所述人脸细节图发送至用户;若用户满意,确定所述人脸细节图正确;若用户不满意,重新选择人脸拼接模板。
可选的,基于所述人脸关键点,将所述人脸细节图转换为人脸三维重建数据,利用三维重建算法构建人脸三维模型,具体包括:基于所述人脸关键点,将所述人脸细节图转换为点云数据;所述点云数据为人脸三维重建数据;将不同角度和位置点的点云数据进行配准,生成配准后的点云数据;将所述配准后的点云数据转换为网格化处理,生成网格化结果;根据所述配准后的点云数据以及所述网格化结果,利用三维重建算法构建人脸三维模型。
可选的,对所述虚拟数字人模型进行优化,生成虚拟数字人,具体包括:利用基于纹理映射的合成算法对所述虚拟数字人模型进行纹理优化,生成纹理优化后的虚拟数字人模型;利用基于拓扑保持的拓扑重建算法以及基于形态学的拓扑重建算法对所述纹理优化后的虚拟数字人模型的形态结构进行拓扑优化,生成虚拟数字人。
可选的,基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人,之后还包括:对于所述虚拟数字人进行渲染,生成虚拟人动态图样。
一种基于虚拟数字人技术的名片制作系统,包括以下模块。
图像上传模块,用于将人脸图像上传至虚拟数字人制作平台。
虚拟数字人生成模块,用于基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人。
动态人像生成模块,用于基于动态生成人像技术,根据所述人脸图像生成动态人像。
虚拟数字人名片生成模块,用于结合所述虚拟数字人以及动态人像,生成虚拟数字人名片。
具有语音功能的虚拟数字人名片制作模块,用于利用语音合成技术,将用户的文字信息转换为语音信息,添加至所述虚拟数字人名片中,制作具有语音功能的虚拟数字人名片;所述文字信息包括姓名、职务、单位以及地址。
一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述基于虚拟数字人技术的名片制作方法。
一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述基于虚拟数字人技术的名片制作方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明实施例基于用户的人脸图像制作虚拟数字人名片,无需引入纸质名片,避免了文字识别的问题,且加入语音功能,当虚拟数字人名片需要更新,将用户的文字信息转换语音信息,直接添加在虚拟数字人名片中即可,降低了虚拟数字人名片制作及更新成本。此外,本发明实施例基于虚拟数字人技术以及动态生成人像技术,生成虚拟数字人以及动态人像,结合后生成虚拟数字人名片,满足用户的个性化需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为传统虚拟数字人名片制作流程图。
图2为基于虚拟数字人技术的名片制作方法流程图。
图3为技术关联图。
图4为基于虚拟数字人技术的名片制作方法的数据交互流程图。
图5为虚拟数字人制作平台功能示意图。
图6为图像处理流程图。
图7为人脸图像拼接流程图。
图8为人脸拼接数据降维效果示意图。
图9为3D数字人生成算法流程图。
图10为虚拟数字人名片示意图。
图11为TTS技术流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于虚拟数字人技术的名片制作方法、系统、介质及设备,能够降低虚拟数字人名片制作及更新成本,满足用户的个性化需求。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一:如图2-图4所示,本发明提供了一种基于虚拟数字人技术的名片制作方法,包括以下步骤。
步骤1:将人脸图像上传至虚拟数字人制作平台。
在实际应用中,将人脸图像上传至虚拟数字人制作平台,之前还包括:拍摄用户多角度的人脸图像;所述多角度的人脸图像包括正面照、睁眼照、闭眼照、张嘴照、闭嘴照、人脸左斜45度照、人脸右斜45度照以及人脸点头抬头照。
步骤2:基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人。
在实际应用中,基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人,具体包括:对所述多角度的人脸图像进行模板映射,并使用深度学习算法提取每个角度的人脸图像中的人脸细节特征;所述人脸细节特征包括人脸状态的标识;调用对应性别的人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;所述人脸细节图包括面部轮廓、面部表情、眼睛形状、眼睛颜色、眼睛尺寸以及眼睛与面部的相对位置;根据所述人脸细节图确定人脸关键点;所述人脸关键点包括脸部各个器官的形状及尺寸、脸部各个器官与面部的相对位置以及面部所包含的毛发及发饰;所述器官包括鼻子、嘴巴和下巴;基于所述人脸关键点,将所述人脸细节图转换为人脸三维重建数据,利用三维重建算法构建人脸三维模型;对所述人脸三维模型添加骨骼系统以及动画控制,生成虚拟数字人模型;对所述虚拟数字人模型进行优化,生成虚拟数字人。
在实际应用中,调用对应性别的人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图,具体包括:判断所述人脸图像对应的用户性别;当用户性别为男时,调用男性人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;当用户性别为女时,调用女性人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;将所述人脸细节图发送至用户;若用户满意,确定所述人脸细节图正确;若用户不满意,重新选择人脸拼接模板。
在实际应用中,基于所述人脸关键点,将所述人脸细节图转换为人脸三维重建数据,利用三维重建算法构建人脸三维模型,具体包括:基于所述人脸关键点,将所述人脸细节图转换为点云数据;所述点云数据为人脸三维重建数据;将不同角度和位置点的点云数据进行配准,生成配准后的点云数据;将所述配准后的点云数据转换为网格化处理,生成网格化结果;根据所述配准后的点云数据以及所述网格化结果,利用三维重建算法构建人脸三维模型。
在实际应用中,对所述虚拟数字人模型进行优化,生成虚拟数字人,具体包括:利用基于纹理映射的合成算法对所述虚拟数字人模型进行纹理优化,生成纹理优化后的虚拟数字人模型;利用基于拓扑保持的拓扑重建算法以及基于形态学的拓扑重建算法对所述纹理优化后的虚拟数字人模型的形态结构进行拓扑优化,生成虚拟数字人。
在实际应用中,基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人,之后还包括:对于所述虚拟数字人进行渲染,生成虚拟人动态图样。
步骤3:基于动态生成人像技术,根据所述人脸图像生成动态人像。
步骤4:结合所述虚拟数字人以及动态人像,生成虚拟数字人名片。
步骤5:利用语音合成技术,将用户的文字信息转换为语音信息,添加至所述虚拟数字人名片中,制作具有语音功能的虚拟数字人名片;所述文字信息包括姓名、职务、单位以及地址。
本发明所涉及到的技术的名词解释如下。
1、虚拟数字人技术:虚拟数字人技术是一种利用计算机生成的虚拟数字人,可以通过数字化技术模拟人的外观、动作、声音等特征,实现与用户的互动和沟通。利用虚拟数字人技术,本发明可以实现在虚拟数字人名片上添加一个虚拟数字人,使得名片更加生动和有趣。
2、动态生成人像技术:动态生成人像技术是一种基于机器学习和深度学习的技术,可以根据一张照片自动生成一个具有逼真度和流畅度的动态人像。利用动态生成人像技术,本发明可以将用户提供的一张自拍照片自动生成一个动态人像,使得名片更加生动和有趣。
3、平面动态人像到3D动态虚拟人的转换技术:本发明将虚拟数字人技术和动态生成人像技术相结合,提出了一种全新的虚拟数字人名片制作方案。用户只需要提供一张照片,系统便可以自动生成一个具有逼真度和流畅度的动态人像,并将其添加到虚拟数字人名片中,实现一张自拍照片生成动态名片的技术。
4、语音合成技术:在虚拟数字人名片中加入语音合成技术,即文本转语音(Text-to-Speech,TTS)技术,可以使名片更加生动和智能化。TTS技术可以将文本内容转换为自然语言语音输出,使得用户可以通过听取语音方式获取信息,更加方便和便捷;自动播报语音介绍,用户可以通过点击名片上的语音按钮,听取名片主人的语音介绍,增强名片的互动性和个性化。
本发明采用了以上四种技术的结合,实现了虚拟数字人名片的高度个性化和生动化,让虚拟数字人名片更加具有吸引力和实用性。同时,由于采用数字化技术,本发明也避免了传统虚拟数字人名片制作中的环境污染和资源浪费等问题,具有更好的环保和可持续性。
本发明对应开发“快上云虚拟数字人制作平台”,该快上云虚拟数字人制作平台即为虚拟数字人制作平台。
在实际处理过程中,如图5所示,本发明的基于虚拟数字人技术的名片制作方法包括以下步骤:图像处理,生成虚拟数字人,生成虚拟数字人名片,生成具有语音功能的虚拟数字人名片。
1)如图6所示,图像处理。
在智能手机移动端程序中主要功能是实现拍照和上传程序,主要工作步骤分为以下三步。
S1.手机上设计App或者小程序,实现所要制作名片人的拍照功能。
用户可以通过前台小程序启动摄像头,拍摄照片后即可保存在设备中,用于后续的照片编辑。
S2.拍照后,裁剪照片,按照600dpi的分辨率,2英寸的标准,提供照片编辑和处理的功能,如美化、裁剪、调整色彩等。具体功能包括:(1)照片裁剪:可以根据需要将照片裁剪成2英寸大小的个人照片。
(2)色彩调整:可以调整照片的亮度、对比度、饱和度等参数,以获得更好的效果。
(3)特效添加:可以添加各种特效和滤镜,如黑白、复古、冷暖色调等,使照片更加有趣、有个性。
S3.用户拍摄或编辑后的照片上传至快上云虚拟数字人制作平台。
在人脸照片的获取方面,用户使用智能手机按照制定的提示顺序完成对自己面部的多个角度进行拍照,所述多个角度的人脸照片包含人脸的正面照、睁眼与闭眼照、张嘴与闭嘴照、人脸左斜45度照、人脸右斜45度照、人脸点头抬头照,共9张照片,所述的9张照片可经由下个步骤处理后获得一张完整的,用户可编辑的人脸3D图像。
用户拍摄完成后,数据会上传至“快上云虚拟数字人制作平台”,则进入虚拟数字人制作流程。
2)生成虚拟数字人。
快上云虚拟数字人制作平台,主要负责完成编辑照片、虚拟数字人SDK调用、虚拟人的生成、渲染和推送。主要的详细的制作过程,可以分解为图四的详细的四个构成部分:包含图像处理,生成虚拟数字人,虚拟数字人名片生成和虚拟数字人与自然语言处理技术融合。
用户拍摄的9张照片合格后,则开始虚拟数字人的转换过程。所述照片转虚拟数字人转换流程为本技术要求的核心算法。
在开始之前需要对手机上传的照片进行图像的基于卷积神经网络的预处理,主要有以下内容。
步骤1:对包含人脸信息的正面照、睁眼与闭眼照、张嘴与闭嘴照、人脸左斜45度照、人脸右斜45度照、人脸点头抬头照共9张照片进行模板映射,即9张照片分别对应到9个图片处理器中,分别从9张照片中对人脸的各个细节进行提取。在人脸细节特征的提取上使用深度学习算法中的卷积神经网络算法(Convolutional Neural Networks,CNN),利用此算法在在大规模数据集上进行训练得到的卷积神经网络模型,其能够自动对喂给的人脸照片进行学习并提取出具有判别性的人脸特征。
所述利用CNN卷积神经网络算法对数据集进行训练的流程如下。
S1:准备训练数据:准备大量的人脸的照片数据,如上述的9张不同角度的人脸照片,也要准备不含有或人脸照片不具备人脸的数据的照片作为对照组,上述两个照片集的集合称为训练数据集。
S2:选择模型类型:根据所需的任务和所有可用的数据,选择合适的深度学习模型类型。由于本任务是图像分类,则选择卷积神经网络(CNN)模型。
S3:配置模型:在模型配置阶段,需要调整模型的超参数,以便在训练过程中尽可能准确地拟合数据。这些超参数包括学习率、批量大小、隐藏层大小;需要在模型训练过程中反复试验和调整这些超参数以获得最佳模型性能。
S4:训练模型:在模型训练阶段,将S1中的数据集喂给CNN卷积神经网络模型,从而学习到足够多的人脸特征和模式。
S5:评估模型:在模型评估阶段,使用测试数据集评估模型的准确性,并确定是否需要进一步调整模型。所述测试集为用于对训练出来的模型进行测试的数据,此处的测试集可用于测试的9张不同角度人脸为一组的人脸照片。对生成模型的评估指标包含识别准确率、召回率和F1分数。
综上,经过上述步骤后,9张照片会被进行处理,得到多张包含各角度人脸特征的人脸细节特征。
步骤2:将步骤1中得到的人脸细节特征进行对齐与拼接,形成一张包含多个角度的人脸细节图。
其中,步骤1中得到的人脸细节特征是使用卷积神经网络算法对9张图片中的人脸状态进行识别并标记,为步骤2提供数据基础;“识别和标记”为从9张图片中提取同一张人脸在不同角度和动作(指张嘴闭嘴和睁眼闭眼)上的差别,目的为提取此人脸在不同角度的数据。
在使用步骤1中得到的人脸在不同角度的数据进行拼接过程中,需要先判断此人脸为男性或女性,然后再分别调用对应性别的人脸拼接模板,将步骤1中得到的9个维度的人脸细节特征对应到人脸模板中,以此完成拼接过程。
所述“人脸拼接模板”为预先设置好的人脸模型,此人脸模型包含单一性别人脸的多种特征,如脸型,嘴型,鼻型、眼睛特征和耳朵特征,通过对人脸五官进行选型匹配,再将人脸细节特征映射到模型中,即可初步生成人脸基础数据。
在对9张处理后的照片进行拼接时将调用如下流程。
流程开始后,调入步骤1的人脸细节特征,并根据用户输入的个人信息数据判断其性别特征;当确定要生成的数字人为男性后,将直接调用男性人脸拼接模板,对人脸细节特征进行拼接,当确定要生成的数字人为女性后,将直接调用女性的人脸拼接模板对人脸细节特征进行拼接。人脸细节特征拼接完成后,将拼接完成后的效果数据下发到用户手机,并询问用户是否满意,如果用户不满意则重新选择人脸模板,再重新生成,若用户满意,则本流程结束,如图7所示。
上述流程完成后,即可形成一张与用户相同性别,并且面部特征与用户人脸高度相近的人脸细节特征拼接图像,此图像包含了用户人脸的所有特征,包含面部轮廓、面部表情、眼睛形状,及其颜色、大小以及与周围面部的相对位置;此外还有鼻子、嘴巴、下巴的形状、大小以及与周围面部的相对位置;还有面部所包含的部分毛发,如眉毛,男性的胡子,女性的发饰。如上这些均为人脸关键点,确定此关键点的信息后,即具备人脸三维重建的基础。
步骤3:三维重建。
在确定人脸关键点之后,可以使用三维重建算法将人脸细节图转换为人脸三维模型。三维重建算法通常可以分为以下几个步骤。
(1)点云生成:将人脸细节图转换为点云数据,即将二维图像中的每个像素点转换为三维坐标点。
(2)点云配准:将点云数据进行配准,即将不同角度和位置的点云数据进行匹配,以获得更准确的三维形态。点云配准采用了微软小冰岛SDK接口,基于深度学习的PointNet点云配准算法。
(3)网格化:将配准后的点云数据转换为三角形网格,以便进行纹理贴图和动画制作等后续操作。网格化可以使用小冰平台的Delaunay三角形算法或其他网格化算法。
(4)模型重建:根据配准后的点云数据和网格化结果,调用微软小冰的SDK接口,调用三维重建算法进行模型重建。
在点云数据处理上调用主成分分析算法(Principal Component Analysis,PCA)与深度学习算法进行融合,将较为粗糙的人脸3D图进行数据降维,所述数据降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的。在此步骤下,利用主成分分析算法将较为粗糙的人脸3D图中的缝合处的数据进行数据降维,进而使此部分数据均匀。局部效果如图8所述。
图8中,被降维的两个面为A和B,由于两个降维面由两个原本独立的面组合而成,在强行拼接后,会存在拼接边界,所述边界即为A和B面中间的缝隙;为消除拼接边界,需要对两个面进行降维,右侧即为降维后的效果,拼接边界被消除。
PCA算法调用完成后,继续调用线性判别分析(Linear Discriminant Analysis,LDA)算法与深度学习算法融合:用于提取具有判别性的人脸特征。应用LDA算法对特征进行投影,以最大化类间距离和最小化类内距离,提高特征的判别性能力。再调用局部二值模式算法(Local binary patterns,LBP),能够增强多角度人脸3D图的纹理特征的表达。应用LBP算法对图像的局部区域进行纹理提取,将LBP特征与深度学习特征进行融合,以综合利用纹理和深度特征。
步骤4:将步骤3的人脸三维模型,送入数字人处理AI模型中,数字人处理AI模型将以人脸三维模型为基础,为人脸三维模型添加骨骼系统和动画控制,包括对虚拟数字人模型进行骨骼绑定、关节调整和动画绑定的操作,使得数字人能够具备动作和表情变化的能力。
数字人处理AI模型也对生成的数字人进行材质与纹理的处理,为虚拟人模型的人脸处添加人体皮肤的纹理效果,发型纹理效果,半身衣服材质纹理效果,最终生成虚拟人的3D模型图,虚拟人的3D模型图为可更改的3D模型图,如图9所示。
在虚拟数字人模型(即为图9中的数字人模型)生成后需要对其进行优化,主要包括以下内容。
(1)纹理优化(即数字人模型优化1):本发明采用了小冰接口提供的基于纹理映射的合成算法进行优化,以使其更加逼真和自然。同时,使用基于高斯滤波的算法,对纹理图像进行了平滑处理,降低其噪声和不规则性,以使其更加自然和平滑。
(2)拓扑优化(即数字人模型优化2):本发明采用了小冰接口提供的成熟的基于拓扑保持的拓扑重建算法、基于形态学的拓扑重建算法对模型的拓扑结构进行优化,对人脸三维模型进行拓扑结构的重构,实现了网格的优化和修复。
步骤5:渲染效果,将步骤4生成的虚拟人3D模型送入渲染器中,所述渲染器为Unreal Engine5 3D引擎,所述Unreal Engine5 3D引擎能够为虚拟人提供高度逼真的渲染能力,即可以让虚拟人看上去非常真实,虚拟人的面部五官可在多角度光线的照射下进行渲染,进而形成多个细节丰富的虚拟人动态图样。
3)生成虚拟数字人名片。
在语音合成方面,所述“快上云虚拟数字人制作平台”可调用微软小冰的虚拟人制作接口,同时根据名片的介绍词,生成语音和嘴型对应的虚拟数字人,发送到手机的程序,合成一个完整的虚拟数字人名片。所述介绍词为用户通过手机端输入的部分文字信息。
虚拟数字人名片生成步骤如下所述。
S1:名片的初始的图形。
手机端APP或小程序在用户输入个人的介绍的文字信息后发送到“快上云虚拟数字人制作平台”,所述平台会将用户提供的个人介绍文字信息和生成的虚拟数字人做成做成一个“*.bmp”格式的高清图片。此图片即为制作出的名片,名片主要信息包括用户的:姓名、职务、单位名称、单位地址。
S2、与生成的虚拟数字人融合。
上述步骤生成的虚拟数字人模型可在截取一个角度的人像后附着到S1中的“*.bmp”图片的坐标位置:(x0,y0)(x1,y1),(x2,y2),(x3,y3),从而将虚拟数字人和个人信息的BMP图片相融合,进而生成基于虚拟数字人的个人名片。如图10所示。
4)生成具有语音功能的虚拟数字人名片。
自然语言处理技术与生成的数字人融合,赋予数字人语音、口型、纹理渲染功能,主要有以下四步完成。
在语音合成方面,在“快上云虚拟数字人制作平台”上使用基于深度学习的文字转语音神经网络模型算法;所述算法模型通过将卷积神经网络(CNN)和递归神经网络(RNN)结合使用的方式,能够将文字转换生成对应文字的原始声音波形,能够直接从文本生成高质量、自然流畅的语音波形。所述文字转语音的算法流程如图11所述。
S1、TTS技术:个人介绍文本信息需通过手智能手机端程序在人脸照片拍摄完成后输入至“快上云虚拟数字人制作平台”的,虚拟数字人模型制作完成后,个人介绍的文字将通过TTS技术方法转换为与文字信息相一致并带有情绪信息的语音信息。目前,常用的TTS技术是基于深度学习的语音合成方法FastSpeech方法。这个方法通过训练神经网络模型,实现从文本到语音波形的高质量、自然的转换。
S2、自动语音识别(Automatic Speech Recognition,ASR):将生成的声音转换回文字,以便进行口型匹配。快上云虚拟数字人制作平台技术采用深度学习方法的Transformer结构,将音频信号转化为文本序列。
S3、口型同步(Lip Sync):根据声音和转换回的文字,为虚拟数字人生成相应的口型动画。本发明采用的方法是深度学习的生成对抗网络(Generative AdversarialNetworks,GANs)将音频特征和S1中的个人介绍文本信息映射到口型动画。
S4、虚拟数字人物渲染:将口型同步后的虚拟数字人渲染出来。快上云虚拟数字人制作平台技术采用了Unreal 3D建模、纹理贴图、光照和渲染来实现。
手机端的虚拟数字人显示主要是实现虚拟数字人预览显示、进行显示、交互。
实施例二:为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种基于虚拟数字人技术的名片制作系统。
一种基于虚拟数字人技术的名片制作系统,包括:图像上传模块,用于将人脸图像上传至虚拟数字人制作平台。
虚拟数字人生成模块,用于基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人。
动态人像生成模块,用于基于动态生成人像技术,根据所述人脸图像生成动态人像。
虚拟数字人名片生成模块,用于结合所述虚拟数字人以及动态人像,生成虚拟数字人名片。
具有语音功能的虚拟数字人名片制作模块,用于利用语音合成技术,将用户的文字信息转换为语音信息,添加至所述虚拟数字人名片中,制作具有语音功能的虚拟数字人名片;所述文字信息包括姓名、职务、单位以及地址。
本发明包含手机端APP或小程序和位于远程服务器端的“快上云虚拟数字人制作系统”程序。
所述手机端的APP或小程序可完成用户照片的拍摄和修整,同时辅助用户完成个人介绍信息的录入操作。待服务器端的数据完成计算后,可将计算生成的虚拟数字人名片下发至手机端的APP或小程序上。
所述远程服务器端的“快上云虚拟数字人制作系统”具备从人物照片转换至虚拟数字人的能力,依据多种神经网络算法,所述虚拟数字人制作系统能够完成将人物照片转换成点云图,进而将点云生成数字人3D模型,再利用深度学习模型为上步生成的数字人3D模型添加纹理和骨骼,并继续优化,继而生成虚拟数字人。
所述远端服务端的“快上云虚拟数字人制作系统”还具备将用户文字介绍转成语音的能力,利用多种文字转语音算法,将生成的语音信息嵌入到生成的数字人和名片图像上,即可完成所述虚拟数字人的名片制作。
在企业内部使用名片虚拟数字人来提高员工的工作效率和沟通效率。具体来说,名片虚拟数字人可以作为一个企业级的应用程序,提供以下功能。
1.统一通信:名片虚拟数字人可以作为员工的统一通信平台,提供语音、视频、文字等多种通信方式。员工可以通过名片虚拟数字人发送和接收各种信息,如电子邮件、即时消息、语音邮件等,从而更快地与同事进行沟通和协作。
2.个人助手:名片虚拟数字人可以为员工提供个人助手功能,例如提醒员工的日程安排、发送提醒、设置个人目标等。这些功能可以帮助员工更好地管理自己的时间和任务,提高工作效率。
3.信息查询:名片虚拟数字人可以为员工提供信息查询服务,例如查询公司内部的知识库、人员信息、项目信息等。员工可以通过名片虚拟数字人快速获取所需信息,节省时间和精力。
4.资源分享:名片虚拟数字人可以作为员工之间共享资源的平台,例如共享文档、共享代码、共享经验等。这些资源可以通过名片虚拟数字人进行访问和共享,从而提高员工之间的协作和沟通效率。
5.个性化定制:名片虚拟数字人可以根据员工的个性化需求进行定制,例如根据员工的工作职责和偏好推荐特定的工具和应用程序。这样可以帮助员工更好地适应工作环境,提高工作效率和工作满意度。
名片虚拟数字人还可以与企业内部的其他系统集成,例如电子邮件系统、日历系统、项目管理系统等,以实现更高效的工作流程和数据共享。
名片虚拟数字人在企业内部的应用具有巨大的潜力,可以提高员工的工作效率和沟通效率,同时也可以提高企业的效率和竞争力。技术人员可以通过了解自然语言处理技术、机器学习算法和数据库管理等知识和技能,来实现这种应用场景,同时,他们还需要密切关注数据隐私和安全问题,并采取相应的措施来保护企业的信息和数据。
实施例三:一种电子设备,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行上述的基于虚拟数字人技术的名片制作方法。
一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于虚拟数字人技术的名片制作方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于虚拟数字人技术的名片制作方法,其特征在于,包括:
将人脸图像上传至虚拟数字人制作平台;
基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人;
基于动态生成人像技术,根据所述人脸图像生成动态人像;
结合所述虚拟数字人以及动态人像,生成虚拟数字人名片;
利用语音合成技术,将用户的文字信息转换为语音信息,添加至所述虚拟数字人名片中,制作具有语音功能的虚拟数字人名片;所述文字信息包括姓名、职务、单位以及地址。
2.根据权利要求1所述的基于虚拟数字人技术的名片制作方法,其特征在于,将人脸图像上传至虚拟数字人制作平台,之前还包括:
拍摄用户多角度的人脸图像;所述多角度的人脸图像包括正面照、睁眼照、闭眼照、张嘴照、闭嘴照、人脸左斜45度照、人脸右斜45度照以及人脸点头抬头照。
3.根据权利要求2所述的基于虚拟数字人技术的名片制作方法,其特征在于,基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人,具体包括:
对所述多角度的人脸图像进行模板映射,并使用深度学习算法提取每个角度的人脸图像中的人脸细节特征;所述人脸细节特征包括人脸状态的标识;
调用对应性别的人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;所述人脸细节图包括面部轮廓、面部表情、眼睛形状、眼睛颜色、眼睛尺寸以及眼睛与面部的相对位置;
根据所述人脸细节图确定人脸关键点;所述人脸关键点包括脸部各个器官的形状及尺寸、脸部各个器官与面部的相对位置以及面部所包含的毛发及发饰;所述器官包括鼻子、嘴巴和下巴;
基于所述人脸关键点,将所述人脸细节图转换为人脸三维重建数据,利用三维重建算法构建人脸三维模型;
对所述人脸三维模型添加骨骼系统以及动画控制,生成虚拟数字人模型;
对所述虚拟数字人模型进行优化,生成虚拟数字人。
4.根据权利要求3所述的基于虚拟数字人技术的名片制作方法,其特征在于,调用对应性别的人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图,具体包括:
判断所述人脸图像对应的用户性别;
当用户性别为男时,调用男性人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;
当用户性别为女时,调用女性人脸拼接模板,对多个角度的人脸细节特征进行对齐与拼接,生成一张包含多个角度的人脸细节图;
将所述人脸细节图发送至用户;
若用户满意,确定所述人脸细节图正确;
若用户不满意,重新选择人脸拼接模板。
5.根据权利要求3所述的基于虚拟数字人技术的名片制作方法,其特征在于,基于所述人脸关键点,将所述人脸细节图转换为人脸三维重建数据,利用三维重建算法构建人脸三维模型,具体包括:
基于所述人脸关键点,将所述人脸细节图转换为点云数据;所述点云数据为人脸三维重建数据;
将不同角度和位置点的点云数据进行配准,生成配准后的点云数据;
将所述配准后的点云数据转换为网格化处理,生成网格化结果;
根据所述配准后的点云数据以及所述网格化结果,利用三维重建算法构建人脸三维模型。
6.根据权利要求3所述的基于虚拟数字人技术的名片制作方法,其特征在于,对所述虚拟数字人模型进行优化,生成虚拟数字人,具体包括:
利用基于纹理映射的合成算法对所述虚拟数字人模型进行纹理优化,生成纹理优化后的虚拟数字人模型;
利用基于拓扑保持的拓扑重建算法以及基于形态学的拓扑重建算法对所述纹理优化后的虚拟数字人模型的形态结构进行拓扑优化,生成虚拟数字人。
7.根据权利要求3所述的基于虚拟数字人技术的名片制作方法,其特征在于,基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人,之后还包括:
对于所述虚拟数字人进行渲染,生成虚拟人动态图样。
8.一种基于虚拟数字人技术的名片制作系统,其特征在于,包括:
图像上传模块,用于将人脸图像上传至虚拟数字人制作平台;
虚拟数字人生成模块,用于基于虚拟数字人技术,根据所述人脸图像生成虚拟数字人;
动态人像生成模块,用于基于动态生成人像技术,根据所述人脸图像生成动态人像;
虚拟数字人名片生成模块,用于结合所述虚拟数字人以及动态人像,生成虚拟数字人名片;
具有语音功能的虚拟数字人名片制作模块,用于利用语音合成技术,将用户的文字信息转换为语音信息,添加至所述虚拟数字人名片中,制作具有语音功能的虚拟数字人名片;所述文字信息包括姓名、职务、单位以及地址。
9.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-7中任一项所述的基于虚拟数字人技术的名片制作方法。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于虚拟数字人技术的名片制作方法。
CN202410122559.5A 2024-01-30 2024-01-30 基于虚拟数字人技术的名片制作方法、系统、介质及设备 Pending CN117726729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410122559.5A CN117726729A (zh) 2024-01-30 2024-01-30 基于虚拟数字人技术的名片制作方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410122559.5A CN117726729A (zh) 2024-01-30 2024-01-30 基于虚拟数字人技术的名片制作方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN117726729A true CN117726729A (zh) 2024-03-19

Family

ID=90205581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410122559.5A Pending CN117726729A (zh) 2024-01-30 2024-01-30 基于虚拟数字人技术的名片制作方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN117726729A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
CN108268845A (zh) * 2018-01-17 2018-07-10 深圳市唯特视科技有限公司 一种利用生成对抗网络合成人脸视频序列的动态转换系统
CN111091624A (zh) * 2019-12-19 2020-05-01 南京大学 一种从单张图片生成高精度可驱动人脸三维模型的方法
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置
CN113194348A (zh) * 2021-04-22 2021-07-30 清华珠三角研究院 一种虚拟人讲课视频生成方法、系统、装置及存储介质
CN114663199A (zh) * 2022-05-17 2022-06-24 武汉纺织大学 一种动态展示的实时三维虚拟试衣系统及方法
CN115035222A (zh) * 2022-07-04 2022-09-09 厦门黑镜科技有限公司 一种电子名片控制方法、系统及电子设备
KR20230076731A (ko) * 2021-11-24 2023-05-31 한국전자통신연구원 3차원 일체형 모델에서 지형 모델 및 지물 모델을 분리하는 방법 및 이를 수행하는 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924579A (zh) * 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
CN108268845A (zh) * 2018-01-17 2018-07-10 深圳市唯特视科技有限公司 一种利用生成对抗网络合成人脸视频序列的动态转换系统
CN111091624A (zh) * 2019-12-19 2020-05-01 南京大学 一种从单张图片生成高精度可驱动人脸三维模型的方法
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置
CN113194348A (zh) * 2021-04-22 2021-07-30 清华珠三角研究院 一种虚拟人讲课视频生成方法、系统、装置及存储介质
KR20230076731A (ko) * 2021-11-24 2023-05-31 한국전자통신연구원 3차원 일체형 모델에서 지형 모델 및 지물 모델을 분리하는 방법 및 이를 수행하는 장치
CN114663199A (zh) * 2022-05-17 2022-06-24 武汉纺织大学 一种动态展示的实时三维虚拟试衣系统及方法
CN115035222A (zh) * 2022-07-04 2022-09-09 厦门黑镜科技有限公司 一种电子名片控制方法、系统及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANH TUAN TRAN ET AL: "Regressing Robust and Discriminative 3D Morphable Models with a very Deep Neural Network", IEEE, 9 November 2017 (2017-11-09), pages 1493 - 1502 *
XIAOGUANG TU ET AL: "Image-to-Video Generation via 3D Facial Dynamics", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 30 April 2022 (2022-04-30), pages 1805 - 1819 *
张满囤, 马琳娜, 曾祥永, 王阳生: "基于照片的个性化人脸建模系统研究", 计算机工程与应用, no. 26, 15 February 2006 (2006-02-15), pages 92 - 94 *
戴振龙 等: "基于MPEG-4的人脸表情图像变形研究", 中国图象图形学报, no. 05, 15 May 2009 (2009-05-15), pages 782 - 791 *
杨罗坤: "基于多幅照片的三维人脸重建算法研究和实现", 中国优秀硕士论文电子期刊网, 15 February 2019 (2019-02-15), pages 5 - 52 *

Similar Documents

Publication Publication Date Title
US10347028B2 (en) Method for sharing emotions through the creation of three-dimensional avatars and their interaction
AU2007346312B2 (en) A communication network and devices for text to speech and text to facial animation conversion
Chen et al. Example-based composite sketching of human portraits
CN110286756A (zh) 视频处理方法、装置、系统、终端设备及存储介质
CN110400251A (zh) 视频处理方法、装置、终端设备及存储介质
CN101324961B (zh) 计算机虚拟世界中人脸部三维贴图方法
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
CN110503703A (zh) 用于生成图像的方法和装置
CN108961369A (zh) 生成3d动画的方法和装置
US11308678B1 (en) Systems and methods for generating cartoon images from images
CN109871589A (zh) 基于三维人体建模的智能制衣系统及方法
KR102334705B1 (ko) 웹툰 드로잉 장치 및 방법
CN113505212A (zh) 一种智能化漫画生成系统及方法
CN114549709A (zh) 一种自定义3d虚拟形象生成系统及方法
CN105809612A (zh) 一种照片转化为表情的方法及智能终端
CN116824020A (zh) 图像生成方法和装置、设备、介质和程序
CN113453027A (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN117726729A (zh) 基于虚拟数字人技术的名片制作方法、系统、介质及设备
CN110473276A (zh) 一种高效率三维动漫生产方法
KR20010069820A (ko) 2차원 영상으로부터 3차원 얼굴형상의 획득 방법 및 시스템
CN113762059A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111696182A (zh) 一种虚拟主播生成系统、方法和存储介质
KR20210074962A (ko) 손쉬운 영상 메시지 제작 방법 및 이를 이용한 장치
KR20210025985A (ko) 캐릭터를 이용한 애니메이션 청첩장 제공 서비스 방법 및 그 장치
CN116542846B (zh) 用户账号图标生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination