CN115641397A - 虚拟形象的合成、展示方法和系统 - Google Patents

虚拟形象的合成、展示方法和系统 Download PDF

Info

Publication number
CN115641397A
CN115641397A CN202211290838.XA CN202211290838A CN115641397A CN 115641397 A CN115641397 A CN 115641397A CN 202211290838 A CN202211290838 A CN 202211290838A CN 115641397 A CN115641397 A CN 115641397A
Authority
CN
China
Prior art keywords
avatar
picture
virtual image
pictures
model data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211290838.XA
Other languages
English (en)
Inventor
杨临枫
徐本洋
李慧
胡玉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202211290838.XA priority Critical patent/CN115641397A/zh
Publication of CN115641397A publication Critical patent/CN115641397A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种虚拟形象的合成、展示方法、系统、计算机设备及计算机可读存储介质,包括:接收用户通过客户端上传的原始图片;对所述原始图片进行人脸识别,以得到人脸关键点信息;基于所述原始图片合成虚拟形象的相关图片;打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据。使得用户可以通过上传原始图片,如动漫人物图片或游戏人物图片等,快速生成虚拟形象,满足用户个性化诉求,而且虚拟形象的制作成本低,无需受限于已有的部件素材。

Description

虚拟形象的合成、展示方法和系统
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种虚拟形象的合成、展示方法、系统、计算机设备及计算机可读存储介质。
背景技术
虚拟形象是在现实中不存在的形象,可以存在于电视剧、漫画、游戏等作品中,是在电视剧、漫画、游戏等作品中虚构的人物。现有技术中,基于图片制作虚拟形象的方案,大多是给每个虚拟形象部件进行标记,通过识别图片后,给每个部件返回一个素材库已有的部件,然后把所有部件拼接起来展示,例如,live2D、3D Avatar等虚拟形象制作技术,其中,live2D通过一系列的连续图像和人物建模来生成虚拟形象;3D Avatar基于已有的部件素材来拼接组成虚拟形象。然而,传统的方案存在虚拟形象制作成本高,且受限于已有的部件素材,无法满足用户个性化诉求的问题。
发明内容
本申请实施例的目的是提供一种虚拟形象的合成、展示方法、系统、计算机设备及计算机可读存储介质,用于解决以下问题:虚拟形象制作成本高,且受限于已有的部件素材,无法满足用户个性化诉求。
本申请实施例的一个方面提供了一种虚拟形象的合成方法,包括:
接收用户通过客户端上传的原始图片;
对所述原始图片进行人脸识别,以得到人脸关键点信息;
基于所述原始图片合成虚拟形象的相关图片;
打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据。
可选地,所述打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据,包括:
对所述虚拟形象的相关图片进行加密,得到图片加密数据;
打包所述人脸关键点信息和图片加密数据,得到虚拟形象的模型数据。
可选地,所述基于所述原始图片合成虚拟形象的相关图片,包括:
对所述原始图片进行前景分割,以得到前景区域图片;
根据所述前景区域图片合成虚拟形象的相关图片。
可选地,在所述对所述原始图片进行人脸识别,以得到人脸关键点信息的步骤之前,还包括:
检测原始图片的尺寸是否符合要求;
若所述原始图片的尺寸不符合要求,则返回执行所述接收用户通过客户端上传的原始图片的步骤。
可选地,所述的方法还包括:
将所述虚拟形象的模型数据存储到云服务器,并发送存储地址至所述客户端。
可选地,所述虚拟形象的相关图片包含头部姿态的相关变化图,眼睛的相关变化图,嘴巴的相关变化图。
本申请实施例的一个方面又提供了一种虚拟形象的展示方法,包括:
获取用户的面部微表情数据;
响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;
基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示与用户表情适配的虚拟形象。
可选地,所述基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示与用户表情适配的所述虚拟形象,包括:
对所述虚拟形象的模型数据进行解析,得到人脸关键点信息和虚拟形象的相关图片;
根据所述面部微表情数据和所述人脸关键点信息,从所述虚拟形象的相关图片中确定虚拟形象的多张姿态图片;
根据所述虚拟形象的多张姿态图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
可选地,所述虚拟形象的相关图片包含头部姿态的相关变化图,眼睛的相关变化图和嘴巴的相关变化图;所述虚拟形象的姿态图片包含头部偏移图,眼睛张合图和嘴巴张合图;
所述根据所述虚拟形象的多张姿态图片,在所述图形用户界面上展示与用户表情适配的虚拟形象,包括:
合成所述头部偏移图,眼睛张合图和嘴巴张合图,以得到虚拟形象的最终图片;
根据所述虚拟形象的最终图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
可选地,所述获取面部微表情数据,包括:
通过摄像装置采集用户图像;
将所述用户图像转换为面部微表情数据。
可选地,所述加载与所述目标图片对应的虚拟形象的模型数据,包括:
获取所述虚拟形象的模型数据在云服务器中的存储地址;
依据所述存储地址从所述云服务器中加载与所述目标图片对应的虚拟形象的模型数据。
本申请实施例的一个方面又提供了一种虚拟形象的展示系统,包括虚拟形象的合成模块和虚拟形象的展示模块,其中,
所述虚拟形象的合成模块,用于接收用户通过客户端上传的原始图片;对所述原始图片进行人脸识别,以得到人脸关键点信息;基于所述原始图片合成虚拟形象的相关图片;打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据;
所述虚拟形象的展示模块,用于获取用户的面部微表情数据;响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示所述虚拟形象。
本申请实施例的一个方面又提供了一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述的虚拟形象的合成、展示方法的步骤。
本申请实施例的一个方面又提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行所述计算机程序时实现如上述的虚拟形象的合成、展示方法的步骤。
本申请实施例提供的虚拟形象的合成、展示方法、系统、设备及计算机可读存储介质,使得用户可以通过上传原始图片,如动漫人物图片或游戏人物图片等,快速生成虚拟形象,满足用户个性化诉求,而且虚拟形象的制作成本低,无需受限于已有的部件素材。
附图说明
图1示意性示出了根据本申请实施例的虚拟形象的合成、展示方法的应用环境图;
图2示意性示出了根据本申请实施例一的虚拟形象的合成方法的流程图;
图3示意性示出了根据本申请实施例一的图形用户界面的示意图;
图4示意性示出了根据本申请实施例二的虚拟形象的展示方法的流程图;
图5示意性示出了根据本申请实施例三的虚拟形象的合成系统的框图;
图6示意性示出了根据本申请实施例四的虚拟形象的合成装置的框图;
图7示意性示出了根据本申请实施例五的虚拟形象的展示装置的框图;及
图8示意性示出了根据本申请实施例六的适于实现虚拟形象的合成、展示方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
现有技术中,基于图片制作虚拟形象的方案,大多是给每个虚拟形象部件进行标记,通过识别图片后,给每个部件返回一个素材库已有的部件,然后把所有部件拼接起来展示。传统的方案存在虚拟形象制作成本高,且受限于已有的部件素材,无法满足用户个性化诉求的问题。
有鉴于此,本申请旨在提出一种基于用户上传的原始图片的虚拟形象的合成、展示方法,其中,虚拟形象的合成方法包括:接收用户通过客户端上传的原始图片;对所述原始图片进行人脸识别,以得到人脸关键点信息;基于所述原始图片合成虚拟形象的相关图片;打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据。虚拟形象的展示方法包括,获取面部微表情数据;响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示所述虚拟形象。从而用户通过上传原始图片,如动漫人物图片,快速生成虚拟形象,满足用户个性化诉求,而且虚拟形象的制作成本低,无需受限于已有的部件素材。
本申请提供了多个实施例进一步介绍虚拟形象的合成、展示方案,具体参照下文。
在本申请的描述中,需要理解的是,步骤前的数字标号并不标识执行步骤的前后顺序,仅用于方便描述本申请及区别每一步骤,因此不能理解为对本申请的限制。
以下为本申请的术语解释:
AI SDK:全称Artificial Intelligence Software Development Kit,由人工智能部提供的移动端开发工具包,可以根据面部微表情数据和AI图片虚拟形象,转换为用户当前表情的虚拟形象图片。
AI服务器:可以根据动漫图片生成AI图片虚拟形象的云服务。
欧拉角:欧拉角由Yaw,Pitch,Roll角度组成。Yaw角度:左右转向;Pitch:上下转向;Roll:旋转转向。
图1示意性示出了根据本申请实施例的环境应用示意图。如图1所示:
计算机设备10000可以通过网络20000连接客户端30000。
计算机设备10000可以提供服务,如进行网络调试,或返回虚拟形象的合成、展示结果数据给客户端30000等。
计算机设备10000可以位于诸如单个场所之类的数据中心,或者分布在不同的地理位置(例如,在多个场所)中。计算机设备10000可以经由一个或多个网络20000提供服务。网络20000包括各种网络设备,例如路由器,交换机,多路复用器,集线器,调制解调器,网桥,中继器,防火墙,代理设备和/或类似。网络20000可以包括物理链路,例如同轴电缆链路,双绞线电缆链路,光纤链路,其组合等。网络20000可以包括无线链路,诸如蜂窝链路,卫星链路,Wi-Fi链路等。
计算机设备10000可以由一个或多个计算节点实现。一个或多个计算节点可以包括虚拟化的计算实例。虚拟化的计算实例可以包括虚拟机,例如计算机系统,操作系统,服务器等的仿真。计算节点可以基于虚拟映像和/或定义用于仿真的特定软件(例如,操作系统,专用应用程序,服务器)的其他数据,由计算节点加载虚拟机。随着对不同类型的处理服务的需求改变,可以在一个或多个计算节点上加载和/或终止不同的虚拟机。可以实现管理程序来管理同一计算节点上不同虚拟机的使用。
客户端30000可以被配置为访问计算机设备10000的内容和服务。客户端30000可以包括任何类型的电子设备,诸如移动设备、平板设备、膝上型计算机、工作站、虚拟现实设备,游戏设备、机顶盒、数字流媒体设备、车辆终端、智能电视、机顶盒等。
客户端30000可以将虚拟形象的合成、展示结果数据等输出(例如,显示、渲染、呈现)给用户。
以下将通过多个实施例介绍网络调试方案。该方案可以通过计算机设备10000实施。
实施例一
图2示意性示出了根据本申请实施例一的虚拟形象的合成方法的流程图。包括步骤S200-S206,其中,
步骤S200,接收用户通过客户端上传的原始图片;
在本实施例中,通过客户端提供创建虚拟形象的入口,用户可以通过创建虚拟形象的入口上传原始图片。作为一种示例,如图3所示,在创建虚拟形象的入口处可以包含2个控件,一种是随机形象控件,另一种是上传图片控件,用户通过创建虚拟形象的入口处点击上传图片控件,则跳转至设备的相册页,用户可以在相册页选择所需要的图片作为原始图片,并通过客户端上传至AI服务端。此外,用户还可以点击随机形象控件,AI服务端在接收到用户点击随机形象控件的操作之后,可以使用随机的一张图片来合成虚拟形象。
步骤S202,对所述原始图片进行人脸识别,以得到人脸关键点信息;
在本发明实施例中,AI服务端可以对所述原始图片进行人脸识别,以得到人脸关键点信息,其中,人脸关键点信息包含人脸的几个关键点的坐标信息,如眼睛和嘴巴的坐标信息等。在具体实现中,可以利用现有技术中已有的人脸识别算法进行识别,如Fisherfaces算法,Haar Cascade算法等,本发明实施例对此不作具体限制。
步骤S204,基于所述原始图片合成虚拟形象的相关图片;
其中,虚拟形象的相关图片可以包含头部姿态的相关变化图,眼睛的相关变化图,嘴巴的相关变化图等。
在本实施例中,通过将原始图片输入至预先训练好的虚拟形象合成模型中,并输出虚拟形象的相关图片。作为一种示例,输出的图片可以包含头部姿态的相关变化图729张,眼睛的相关变化图36张和嘴巴的相关变化图12张,从而合成的虚拟形象可以包含各种各样的脸部姿态,更加生动形象。
步骤S206,打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据。
在本实施例中,在合成虚拟形象的相关图片之后,通过打包人脸关键点信息和虚拟形象的相关图片得到虚拟形象的模型数据,以便于后续客户端获取虚拟形象的模型数据来展示虚拟形象。
以下提供几个可选地实施例,以进行优化所述虚拟形象的合成、展示方法,具体如下:
在本申请的一种优选实施例中,所述步骤S206可以包括如下步骤:对所述虚拟形象的相关图片进行加密,得到图片加密数据;打包所述人脸关键点信息和图片加密数据,得到虚拟形象的模型数据。
在本实施例中,通过对虚拟形象的相关图片进行加密得到图片加密数据,例如,将虚拟形象的相关图片转化成二进制的数据,以避免虚拟形象的相关图片对用户可见。在另一种示例中,还可以通过将虚拟形象的相关图片转化为TXT文本格式的数据,以实现对虚拟形象的相关图片的加密。此外,还可以采用其他的一些方式对虚拟形象的相关图片进行加密,本实施例对此不作限制。
在本申请的一种优选实施例中,所述步骤S204可以包括如下步骤:对所述原始图片进行前景分割,以得到前景区域图片;根据所述前景区域图片合成虚拟形象的相关图片。
在本实施例中,通过对原始图片进行前景分割以得到前景区域图,然后将前景区域图片输入至预先训练好的虚拟形象合成模型中,并输出虚拟形象的相关图片。
在本申请的一种优选实施例中,在所述步骤S202之前,还可以包括如下步骤:检测原始图片的尺寸是否符合要求;若所述原始图片的尺寸不符合要求,则返回执行所述接收用户通过客户端上传的原始图片的步骤。
在本实施例中,通过检测原始图片的尺寸是否符合要求;若原始图片的尺寸不符合要求,则返回执行所述步骤S200,若原始图片的尺寸符合要求的,则执行所述步骤S202。
在一种示例中,还可以对所述原始图片进行脸部特征识别,若是所述原始图片中识别不到脸部特征,则判定所述原始图片不符合要求,返回执行所述接收用户通过客户端上传的原始图片的步骤。
在本申请的一种优选实施例中,所述的方法还包括:
将所述虚拟形象的模型数据存储到云服务器,并发送存储地址至所述客户端。
在本实施例中,云服务器用于存储一些用户数据,在生成虚拟形象的模型数据之后,可以将虚拟形象的模型数据存储到云服务器,并发送存储地址至客户端,以便于客户端按照该存储地址从云服务器中加载虚拟形象的模型数据。
实施例二
图4示意性示出了根据本申请实施例二的虚拟形象的展示方法的流程图。包括步骤S400-S404,其中,
步骤S400,获取用户的面部微表情数据;
其中,面部微表情数据用于描述人物的面部表情,面部表情就是一种身体语言符号,表情肌的改变可以生成各种丰富的面部表情,这些表情可以表达出个体的心态和情感。基于面部微表情数据驱动虚拟形象可以使得所展示的虚拟形象更加生动。
步骤S402,响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;
其中,原始图片为用户在先上传的图片,通过虚拟形象的合成方案可以根据原始图片合成虚拟形象的相关图片,并打包得到虚拟形象的模型数据。在本实施例中,用户可以从一个或多个原始图片中选择目标图片,在检测到用户的选择操作之后,响应于该选择操作,加载与目标图片对应的虚拟形象的模型数据。
步骤S404,基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示与用户表情适配的虚拟形象。
在本实施例中,通过基于面部微表情数据驱动虚拟形象的模型数据,以在图形用户界面上展示与用户表情适配的虚拟形象,使得展示的虚拟形象更加生动。
以下提供几个可选地实施例,以进行优化所述虚拟形象的合成、展示方法,具体如下:
在本申请的一种优选实施例中,所述步骤S404可以包括如下步骤:对所述虚拟形象的模型数据进行解析,得到人脸关键点信息和虚拟形象的相关图片;根据所述面部微表情数据和所述人脸关键点信息,从所述虚拟形象的相关图片中确定虚拟形象的多张姿态图片;根据所述虚拟形象的多张姿态图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
在本实施例中,通过对虚拟形象的模型数据进行解析可以得到人脸关键点信息和虚拟形象的相关图片,进而,根据面部微表情数据和人脸关键点信息,从虚拟形象的相关图片中确定虚拟形象的多张姿态图片,并根据虚拟形象的多张姿态图片,在图形用户界面上展示与用户表情适配的虚拟形象。
在本申请的一种优选实施例中,所述虚拟形象的相关图片包含头部姿态的相关变化图,眼睛的相关变化图和嘴巴的相关变化图;所述虚拟形象的姿态图片包含头部偏移图,眼睛张合图和嘴巴张合图;
在一种示例中,虚拟形象的相关图片可以包含头部姿态的相关变化图729张,眼睛的相关变化图36张和嘴巴的相关变化图12张。根据面部微表情数据和所述人脸关键点信息,可以从中确定所需要的头部偏移图,眼睛张合图和嘴巴张合图。在具体实现中,根据微表情欧拉角系数可以找到对应的头部偏移图,根据微表情眼睛系数可以找到对应的眼睛张合图,根据微表情嘴巴系数可以找到对应的嘴巴张合图。
在本申请的一种优选实施例中,所述根据所述虚拟形象的多张姿态图片,在所述图形用户界面上展示与用户表情适配的虚拟形象,包括:合成所述头部偏移图,眼睛张合图和嘴巴张合图,以得到虚拟形象的最终图片;根据所述虚拟形象的最终图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
在本实施例中,通过合成头部偏移图,眼睛张合图和嘴巴张合图以得到虚拟形象的最终图片,然后根据虚拟形象的最终图片进行驱动,以在图形用户界面上展示与用户表情适配的虚拟形象。
在本申请的一种优选实施例中,所述步骤S400可以包括如下步骤:通过摄像装置采集用户图像;将所述用户图像转换为面部微表情数据。
在本实施例中,通过调用终端设备的摄像装置采集用户图像,然后人脸识别算法将用户图像转换为面部微表情数据,例如,可以使用商汤人脸识别功能将用户图像转换为面部微表情数据,在具体实现中,人脸识别算法可以按照需要进行设置,本实施例对此不作限制。
在本申请的一种优选实施例中,所述步骤S402包括如下步骤:获取所述虚拟形象的模型数据在云服务器中的存储地址;依据所述存储地址从所述云服务器中加载与所述目标图片对应的虚拟形象的模型数据。
在本实施例中,通过获取虚拟形象的模型数据在云服务器中的存储地址,然后依据该存储地址从云服务器中加载与目标图片对应的虚拟形象的模型数据。
实施例三
图5示意性示出了根据本申请实施例三的虚拟形象的合成系统的框图,该虚拟形象的系统装置可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本申请实施例中各程序模块的功能。
如图5所示,该虚拟形象的合成系统500可以包括如下模块:
所述虚拟形象的合成模块510,用于接收用户通过客户端上传的原始图片;对所述原始图片进行人脸识别,以得到人脸关键点信息;基于所述原始图片合成虚拟形象的相关图片;打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据;
所述虚拟形象的展示模块520,用于获取用户的面部微表情数据;响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示所述虚拟形象。
实施例四
图6示意性示出了根据本申请实施例四的虚拟形象的合成装置的框图,该虚拟形象的合成装置可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本申请实施例中各程序模块的功能。
如图6所示,该虚拟形象的合成装置600可以包括如下模块:
原始图片接收模块610,用于接收用户通过客户端上传的原始图片;
人脸识别模块620,用于对所述原始图片进行人脸识别,以得到人脸关键点信息;
虚拟形象合成模块630,用于基于所述原始图片合成虚拟形象的相关图片;
模型数据打包模块640,用于打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据。
在本申请的一种优选实施例中,所述模型数据打包模块640,包括:
图片加密子模块,用于对所述虚拟形象的相关图片进行加密,得到图片加密数据;
模型数据打包子模块,用于打包所述人脸关键点信息和图片加密数据,得到虚拟形象的模型数据。
在本申请的一种优选实施例中,所述虚拟形象合成模块630,包括:
前景分割子模块,用于对所述原始图片进行前景分割,以得到前景区域图片;
虚拟形象合成子模块,用于根据所述前景区域图片合成虚拟形象的相关图片。
在本申请的一种优选实施例中,还包括:
尺寸检测模块,用于检测原始图片的尺寸是否符合要求;
重新获取图片模块,用于若所述原始图片的尺寸不符合要求,则返回执行所述接收用户通过客户端上传的原始图片的步骤。
在本申请的一种优选实施例中,所述的方法还包括:
模型数据存储模块,用于将所述虚拟形象的模型数据存储到云服务器,并发送存储地址至所述客户端。
在本申请的一种优选实施例中,所述虚拟形象的相关图片包含头部姿态的相关变化图,眼睛的相关变化图,嘴巴的相关变化图。
实施例五
图7示意性示出了根据本申请实施例五的虚拟形象的展示装置的框图,该虚拟形象的合成装置可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本申请实施例中各程序模块的功能。
如图7所示,该虚拟形象的展示装置700可以包括如下模块:
微表情获取模块710,用于获取用户的面部微表情数据;
模型数据加载模块720,用于响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;
虚拟形象展示模块730,用于基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示与用户表情适配的虚拟形象。
在本申请的一种优选实施例中,所述虚拟形象展示模块730,包括:
模型数据解析子模块,用于对所述虚拟形象的模型数据进行解析,得到人脸关键点信息和虚拟形象的相关图片;
姿态图片确定子模块,用于根据所述面部微表情数据和所述人脸关键点信息,从所述虚拟形象的相关图片中确定虚拟形象的多张姿态图片;
虚拟形象展示子模块,用于根据所述虚拟形象的多张姿态图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
在本申请的一种优选实施例中,所述虚拟形象的相关图片包含头部姿态的相关变化图,眼睛的相关变化图和嘴巴的相关变化图;所述虚拟形象的姿态图片包含头部偏移图,眼睛张合图和嘴巴张合图。
在本申请的一种优选实施例中,所述虚拟形象展示子模块,包括:
图片合成单元,用于合成所述头部偏移图,眼睛张合图和嘴巴张合图,以得到虚拟形象的最终图片;
虚拟形象展示单元,用于根据所述虚拟形象的最终图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
在本申请的一种优选实施例中,所述微表情获取模块710,包括:
图像采集子模块,用于通过摄像装置采集用户图像;
图像转换子模块,用于将所述用户图像转换为面部微表情数据。
在本申请的一种优选实施例中,所述模型数据加载模块720,包括:
存储地址获取子模块,用于获取所述虚拟形象的模型数据在云服务器中的存储地址;
模型数据加载子模块,用于依据所述存储地址从所述云服务器中加载与所述目标图片对应的虚拟形象的模型数据。
实施例六
图8示意性示出了根据本申请实施例六的适于实现虚拟形象的合成、展示方法的计算机设备10000的硬件架构示意图。本实施例中,计算机设备10000是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。例如,可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括FEN独立的服务器,或者多个服务器所组成的服务器集群)等。如图8所示,计算机设备10000至少包括但不限于:可通过系统总线相互通信链接存储器10010、处理器10020、网络接口10030。其中:
存储器10010至少包括一种类型的计算机可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器10010可以是计算机设备10000的内部存储模块,例如该计算机设备10000的硬盘或内存。在另一些实施例中,存储器10010也可以是计算机设备10000的外部存储设备,例如该计算机设备10000上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,存储器10010还可以既包括计算机设备10000的内部存储模块也包括其外部存储设备。本实施例中,存储器10010通常用于存储安装于计算机设备10000的操作系统和各类应用软件,例如虚拟形象的合成、展示方法的程序代码等。此外,存储器10010还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器10020在一些实施例中可以是中央处理器(Central Processing Unit,简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器10020通常用于控制计算机设备10000的总体操作,例如执行与计算机设备10000进行数据交互或者通信相关的控制和处理等。本实施例中,处理器10020用于运行存储器10010中存储的程序代码或者处理数据。
网络接口10030可包括无线网络接口或有线网络接口,该网络接口10030通常用于在计算机设备10000与其他计算机设备之间建立通信链接。例如,网络接口10030用于通过网络将计算机设备10000与外部终端相连,在计算机设备10000与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,简称为GSM)、宽带码分多址(Wideband Code Division Multiple Access,简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图8仅示出了具有部件10010-10030的计算机设备,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器10010中的虚拟形象的合成、展示方法还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器10020)所执行,以完成本申请实施例。
实施例七
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质其上存储有计算机程序,计算机程序被处理器执行时实现实施例中的虚拟形象的合成、展示方法的步骤。
本实施例中,计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,计算机可读存储介质可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,计算机可读存储介质也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例中虚拟形象的合成、展示方法的程序代码等。此外,计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然,本领域的技术人员应该明白,上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种虚拟形象的合成方法,其特征在于,包括:
接收用户通过客户端上传的原始图片;
对所述原始图片进行人脸识别,以得到人脸关键点信息;
基于所述原始图片合成虚拟形象的相关图片;
打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据。
2.根据权利要求1所述的虚拟形象的合成方法,其特征在于,所述打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据,包括:
对所述虚拟形象的相关图片进行加密,得到图片加密数据;
打包所述人脸关键点信息和图片加密数据,得到虚拟形象的模型数据。
3.根据权利要求1所述的虚拟形象的合成方法,其特征在于,所述基于所述原始图片合成虚拟形象的相关图片,包括:
对所述原始图片进行前景分割,以得到前景区域图片;
根据所述前景区域图片合成虚拟形象的相关图片。
4.根据权利要求1所述的虚拟形象的合成方法,其特征在于,在所述对所述原始图片进行人脸识别,以得到人脸关键点信息的步骤之前,还包括:
检测原始图片的尺寸是否符合要求;
若所述原始图片的尺寸不符合要求,则返回执行所述接收用户通过客户端上传的原始图片的步骤。
5.根据权利要求1所述的虚拟形象的合成方法,其特征在于,所述的方法还包括:
将所述虚拟形象的模型数据存储到云服务器,并发送存储地址至所述客户端。
6.根据权利要求1所述的虚拟形象的合成方法,其特征在于,所述虚拟形象的相关图片包含头部姿态的相关变化图,眼睛的相关变化图,嘴巴的相关变化图。
7.一种虚拟形象的展示方法,其特征在于,包括:
获取用户的面部微表情数据;
响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;
基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示与用户表情适配的虚拟形象。
8.根据权利要求7所述的虚拟形象的展示方法,其特征在于,所述基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示与用户表情适配的所述虚拟形象,包括:
对所述虚拟形象的模型数据进行解析,得到人脸关键点信息和虚拟形象的相关图片;
根据所述面部微表情数据和所述人脸关键点信息,从所述虚拟形象的相关图片中确定虚拟形象的多张姿态图片;
根据所述虚拟形象的多张姿态图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
9.根据权利要求8所述的虚拟形象的展示方法,其特征在于,所述虚拟形象的相关图片包含头部姿态的相关变化图,眼睛的相关变化图和嘴巴的相关变化图;所述虚拟形象的姿态图片包含头部偏移图,眼睛张合图和嘴巴张合图;
所述根据所述虚拟形象的多张姿态图片,在所述图形用户界面上展示与用户表情适配的虚拟形象,包括:
合成所述头部偏移图,眼睛张合图和嘴巴张合图,以得到虚拟形象的最终图片;
根据所述虚拟形象的最终图片,在所述图形用户界面上展示与用户表情适配的虚拟形象。
10.根据权利要求7所述的虚拟形象的展示方法,其特征在于,所述获取面部微表情数据,包括:
通过摄像装置采集用户图像;
将所述用户图像转换为面部微表情数据。
11.根据权利要求7所述的虚拟形象的展示方法,其特征在于,所述加载与所述目标图片对应的虚拟形象的模型数据,包括:
获取所述虚拟形象的模型数据在云服务器中的存储地址;
依据所述存储地址从所述云服务器中加载与所述目标图片对应的虚拟形象的模型数据。
12.一种虚拟形象的展示系统,其特征在于,包括虚拟形象的合成模块和虚拟形象的展示模块,其中,
所述虚拟形象的合成模块,用于接收用户通过客户端上传的原始图片;对所述原始图片进行人脸识别,以得到人脸关键点信息;基于所述原始图片合成虚拟形象的相关图片;打包所述人脸关键点信息和虚拟形象的相关图片,得到虚拟形象的模型数据;
所述虚拟形象的展示模块,用于获取用户的面部微表情数据;响应作用于一个或多个原始图片中目标图片的选择操作,加载与所述目标图片对应的虚拟形象的模型数据;基于所述面部微表情数据驱动所述虚拟形象的模型数据,以在图形用户界面上展示所述虚拟形象。
13.一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时用于实现权利要求1至6中任意一项所述的虚拟形象的合成方法的步骤,或7至11中任意一项所述的虚拟形象的展示方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行权利要求1至6中任意一项所述的虚拟形象的合成方法的步骤,或7至11中任意一项所述的虚拟形象的展示方法的步骤。
CN202211290838.XA 2022-10-20 2022-10-20 虚拟形象的合成、展示方法和系统 Pending CN115641397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211290838.XA CN115641397A (zh) 2022-10-20 2022-10-20 虚拟形象的合成、展示方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211290838.XA CN115641397A (zh) 2022-10-20 2022-10-20 虚拟形象的合成、展示方法和系统

Publications (1)

Publication Number Publication Date
CN115641397A true CN115641397A (zh) 2023-01-24

Family

ID=84945512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211290838.XA Pending CN115641397A (zh) 2022-10-20 2022-10-20 虚拟形象的合成、展示方法和系统

Country Status (1)

Country Link
CN (1) CN115641397A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置
CN116433827B (zh) * 2023-04-07 2024-06-07 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433827A (zh) * 2023-04-07 2023-07-14 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置
CN116433827B (zh) * 2023-04-07 2024-06-07 广州趣研网络科技有限公司 虚拟人脸形象的生成方法、展示方法、生成及展示装置

Similar Documents

Publication Publication Date Title
CN110458918B (zh) 用于输出信息的方法和装置
CN108010112B (zh) 动画处理方法、装置及存储介质
KR20210119438A (ko) 얼굴 재연을 위한 시스템 및 방법
WO2022135108A1 (zh) 图像信号处理方法、装置、电子设备及计算机可读存储介质
CN112416346B (zh) 界面配色方案的生成方法、装置、设备及存储介质
CN111950056B (zh) 建筑信息化模型bim展示方法及相关设备
US11651560B2 (en) Method and device of displaying comment information, and mobile terminal
CN112527115A (zh) 用户形象生成方法、相关装置及计算机程序产品
CN112486383B (zh) 审图分享方法及相关装置
CN112052050B (zh) 一种分享图片生成方法、系统及存储介质和终端设备
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN117095019B (zh) 一种图像分割方法及相关装置
CN110431838B (zh) 提供人脸识别摄像机的动态内容的方法及系统
CN110990106A (zh) 数据展示方法、装置、计算机设备及存储介质
CN113419806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN113989442B (zh) 建筑信息模型构建方法及相关装置
CN115641397A (zh) 虚拟形象的合成、展示方法和系统
US9229610B2 (en) Methods and systems for visually forming relationships between electronic content
CN113626129B (zh) 一种页面颜色的确定方法、装置及电子设备
CN115830212A (zh) 三维模型展示方法及相关设备
CN112328940A (zh) 网页嵌入过渡页的方法、装置、计算机设备及存储介质
CN114253646B (zh) 数字沙盘展示和生成方法、设备及存储介质
KR102333794B1 (ko) 3차원 반응형 웹 컨텐츠 생성 서버
US20220383025A1 (en) Augmented reality translation of sign language classifier constructions
CN114299594A (zh) 图像处理方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination