CN114723860B - 虚拟形象的生成方法、装置、设备及存储介质 - Google Patents

虚拟形象的生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114723860B
CN114723860B CN202210638710.1A CN202210638710A CN114723860B CN 114723860 B CN114723860 B CN 114723860B CN 202210638710 A CN202210638710 A CN 202210638710A CN 114723860 B CN114723860 B CN 114723860B
Authority
CN
China
Prior art keywords
accessory
information
model
generating
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210638710.1A
Other languages
English (en)
Other versions
CN114723860A (zh
Inventor
邓鑫
康丽红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhihua Technology Development Co ltd
Original Assignee
Shenzhen Zhihua Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhihua Technology Development Co ltd filed Critical Shenzhen Zhihua Technology Development Co ltd
Priority to CN202210638710.1A priority Critical patent/CN114723860B/zh
Publication of CN114723860A publication Critical patent/CN114723860A/zh
Application granted granted Critical
Publication of CN114723860B publication Critical patent/CN114723860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于虚拟形象技术领域,公开了一种虚拟形象的生成方法、装置、设备及存储介质。该方法包括:获取用户图像信息;根据所述图像信息提取面部特征区信息以及配饰区信息;根据所述面部特征区信息生成对应的面部模型和五官模型;根据所述配饰区信息生成配饰模型;根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。通过将用户形象分为面部、五官和配饰3个部分分别对用户形象进行分析建模,最后生成一个完整的虚拟形象,让虚拟形象更加贴近用户的真实特征,且可以将用户喜爱的穿着一并自动生成,提高了虚拟形象与用户的贴合度,也减少了用户在虚拟人物设置上所花费的时间,优化了用户体验。

Description

虚拟形象的生成方法、装置、设备及存储介质
技术领域
本发明涉及虚拟形象技术领域,尤其涉及一种虚拟形象的生成方法、装置、设备及存储介质。
背景技术
虚拟交互技术已经成为十分热门的技术门类,各类相关技术蓬勃发展,其中,虚拟人物形象是所有虚拟交互技术的基础,如何根据人本身的特征构建一个完整的人物形象,成为当中的关键。
在目标的虚拟形象中,大多都是根据用户自行设置,手动选择人物特征,以及选择虚拟人物的穿搭,但其带入感不强,用户自行设定很难将用户自身的特征赋予虚拟人物。因此如何更加形象的根据用户自身形象生成虚拟人物成为一个亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种虚拟形象的生成方法、装置、设备及存储介质,旨在解决现有技术如何更加形象的根据用户自身形象生成虚拟人物的技术问题。
为实现上述目的,本发明提供了一种虚拟形象的生成方法,所述方法包括以下步骤:
获取用户图像信息;
根据所述图像信息提取面部特征区信息以及配饰区信息;
根据所述面部特征区信息生成对应的面部模型和五官模型;
根据所述配饰区信息生成配饰模型;
根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。
可选的,所述根据所述配饰区信息生成配饰模型,包括:
将所述配饰区信息输入第一预设分类模型,确定多个配饰类型信息;
根据各所述配饰类型信息识别配饰类型信息对应的标识信息;
根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型。
可选的,所述根据各所述配饰类型信息识别配饰类型信息对应的标识信息,包括:
根据所述配饰类型信息和配饰区信息确定对应的配饰图像;
根据所述配饰类型查找预设配饰类型-标识识别模型对应关系映射表,确定对应的标识识别模型;
将所述配饰图像输入所述标识识别模型,得到配饰类型信息对应的标识信息。
可选的,所述根据所述配饰类型查找预设配饰类型-标识识别模型对应关系映射表,确定对应的标识识别模型之前,还包括:
获取配饰样本图像、配饰样本图像对应的标签以及配饰样本图像对应的配饰类型;
根据所述配饰样本图像以及配饰样本图像对应的标签对预设初始模型进行训练,得到标识识别模型;
将所述标识识别模型与配饰样本图像对应的配饰类型相关联,得到预设配饰类型-标识识别模型对应关系映射表。
可选的,所述获取配饰样本图像、配饰样本图像对应的标签以及配饰样本图像对应的配饰类型之前,还包括:
获取配饰品牌信息;
根据配饰品牌信息查询预设商品数据库,得到至少一个配饰图片信息;
根据所述配饰图片信息生成配饰样本图像;
根据所述配饰品牌信息对配饰样本图像进行标注,得到配饰样本图像对应的标签;
将所述配饰样本图像输入第二预设分类模型,确定配饰样本图像对应的配饰类型。
可选的,所述根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型,包括:
根据所述配饰类型信息确定配饰颜色信息和配饰特征信息;
根据所述配饰特征信息确定配饰款式信息;
根据所述配饰款式信息生成初始配饰模型;
根据所述配饰颜色信息和配饰类型信息对应的标识信息对初始配饰模型进行渲染,得到配饰模型。
可选的,所述根据所述面部特征区信息生成对应的面部模型和五官模型,包括:
根据所述面部特征区信息确定面部轮廓信息和特征点信息;
根据所述面部轮廓信息生成面部模型;
根据所述特征点信息确定五官位置;
根据所述五官位置识别五官轮廓;
根据所述五官轮廓和面部模型生成五官模型。
此外,为实现上述目的,本发明还提出一种虚拟形象的生成装置,所述虚拟形象的生成装置包括:
获取模块,用于获取用户图像信息;
处理模块,用于根据所述图像信息提取面部特征区信息以及配饰区信息;
所述处理模块,还用于根据所述面部特征区信息生成对应的面部模型和五官模型;
所述处理模块,还用于根据所述配饰区信息生成配饰模型;
所述处理模块,还用于根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。
此外,为实现上述目的,本发明还提出一种虚拟形象的生成设备,所述虚拟形象的生成设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟形象的生成程序,所述虚拟形象的生成程序配置为实现如上文所述的虚拟形象的生成方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有虚拟形象的生成程序,所述虚拟形象的生成程序被处理器执行时实现如上文所述的虚拟形象的生成方法的步骤。
本发明获取用户图像信息;根据所述图像信息提取面部特征区信息以及配饰区信息;根据所述面部特征区信息生成对应的面部模型和五官模型;根据所述配饰区信息生成配饰模型;根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。通过将用户形象分为面部、五官和配饰3个部分分别对用户形象进行分析建模,最后生成一个完整的虚拟形象,让虚拟形象更加贴近用户的真实特征,且可以将用户喜爱的穿着一并自动生成,提高了虚拟形象与用户的贴合度,也减少了用户在虚拟人物设置上所花费的时间,优化了用户体验。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的虚拟形象的生成设备的结构示意图;
图2为本发明虚拟形象的生成方法第一实施例的流程示意图;
图3为本发明虚拟形象的生成方法第二实施例的流程示意图;
图4为本发明虚拟形象的生成方法一实施例的识别示意图;
图5为本发明虚拟形象的生成装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的虚拟形象的生成设备结构示意图。
如图1所示,该虚拟形象的生成设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对虚拟形象的生成设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及虚拟形象的生成程序。
在图1所示的虚拟形象的生成设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明虚拟形象的生成设备中的处理器1001、存储器1005可以设置在虚拟形象的生成设备中,所述虚拟形象的生成设备通过处理器1001调用存储器1005中存储的虚拟形象的生成程序,并执行本发明实施例提供的虚拟形象的生成方法。
本发明实施例提供了一种虚拟形象的生成方法,参照图2,图2为本发明一种虚拟形象的生成方法第一实施例的流程示意图。
本实施例中,所述虚拟形象的生成方法包括以下步骤:
步骤S10:获取用户图像信息。
需要说明的是,本实施例的执行主体为虚拟形象的生成设备,所述虚拟形象生成设备可以为服务器,也可以为电脑,还可以为其他与服务器功能相同或者相似的其他设备,本实施例对此不加以限定,仅仅以电脑为例进行说明。
可以理解的是,用户图像信息即为记载了用户个人图像的信息,其可以为照片,也可以为视频,甚至还可以为点云模型,用户图像信息的类别取决于用户采集图像所使用的设备,可以直接上传图像,也可以通过相机、双目相机、激光雷达等设备进行获取。
步骤S20:根据所述图像信息提取面部特征区信息以及配饰区信息。
应当说明的是,根据所述图像信息可以进行图像识别,通过定位框分割出面部特征区域和身体特征区域,其中,面部特征区信息即为面部特征区域中的相关图像信息,配饰区信息即为身体特征区域中的相关图像信息。面部特征区信息可以为面部特征点信息(包括特征点位置、特征点类型)以及面部肤色、细节特征(斑点、痣)等,而配饰区信息可以包括配饰类型(衣服、裤子、裙子、首饰、帽子等)、配饰颜色、配色款式(纯色、条纹、拼色等)等信息。
步骤S30:根据所述面部特征区信息生成对应的面部模型和五官模型。
可以理解的是,面部模型为头部轮廓模型,在面部模型生成之后,只需要将五官模型设置在对应的位置即可得到完整的头部模型。
需要说明的是,五官模型可以根据面部的特征点进行定位,找到对应位置的器官位置和轮廓,在面部模型的对应位置上生成五官模型。
步骤S40:根据所述配饰区信息生成配饰模型。
应当说明的是,由于配饰的种类非常多,最简单的实现方法只根据配饰区的服装信息生成对应款式的服装模型即可,这种方法实现起来十分简单,研发成本低,根据配饰区信息中的服装类型找到对应类型服装模型,通过调整服装模型尺寸,并根据配饰区信息中的服装色彩信息对模型进行上色,即可得到配饰模型。
进一步的,为了让配饰更加贴近用户的配饰特征,还可以对配饰进行分类,得到多个不同的配饰类型,例如:根据分类器识别出鞋子定位框、服装定位框、帽子定位框,再分别对不同定位框中的图像获取色彩信息和款式信息,得到蓝色鸭舌帽、红色短袖、黑色长裤、白色运动鞋,根据这些信息生成对应的配饰模型即可。
步骤S50:根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。
可以理解的是,在得到面部模型、五官模型以及配饰模型后,通过将模型进行组合即可得到完整的用户虚拟形象。
在本实施例中,根据所述面部特征区信息确定面部轮廓信息和特征点信息;根据所述面部轮廓信息生成面部模型;根据所述特征点信息确定五官位置;根据所述五官位置识别五官轮廓;根据所述五官轮廓和面部模型生成五官模型。
应当说明的是,面部轮廓信息可以根据轮廓识别直接从图像信息中提取出来,如果是点云模型则更加方便,基于点云模型可以直接获取,从而将头部以及面部的基础模型生成,接下来只需要将五官模型设置在面部模型上即可。而五官的识别过程则是根据面部特征点(如:嘴角点位、眼角点位、耳朵点位、瞳孔点位等)确定五官在面部的位置,再根据位置信息获取五官的图像识别出五官轮廓,根据轮廓生成五官模型。同样的,也可以根据五官位置信息直接在面部模型上使用系统预先构建好的模型直接进行设置,这种方式可以节约内存,但五官与真人的贴合程度将会下降。
本实施例获取用户图像信息;根据所述图像信息提取面部特征区信息以及配饰区信息;根据所述面部特征区信息生成对应的面部模型和五官模型;根据所述配饰区信息生成配饰模型;根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。通过将用户形象分为面部、五官和配饰3个部分分别对用户形象进行分析建模,最后生成一个完整的虚拟形象,让虚拟形象更加贴近用户的真实特征,且可以将用户喜爱的穿着一并自动生成,提高了虚拟形象与用户的贴合度,也减少了用户在虚拟人物设置上所花费的时间,优化了用户体验。
参考图3,图3为本发明一种虚拟形象的生成方法第二实施例的流程示意图。
基于上述第一实施例,本实施例虚拟形象的生成方法在所述步骤S40,还包括:
步骤S41:将所述配饰区信息输入第一预设分类模型,确定多个配饰类型信息。
需要说明的是,如果想得到更加贴近用户配饰的虚拟形象,则先要将配饰进行分类,得到用户图像信息中每个配饰的类型,具体的,可以将所述配饰区信息输入第一预设分类模型,确定多个配饰类型信息。其中,第一预设分类模型用于对配饰区的图像进行分类,如图4所示,帽子定位框、衣服定位框裤子定位框所标示出的区域之和为配饰区,实际上配饰区是除了面部区域之外的用户身体区域,之后对配饰区进行识别并分类得到衣服定位区、裤子定位区、帽子定位区、鞋子定位区、手部配饰定位区、颈部配饰定位区等,本实施例对定位区的种类和数量不加以限定,仅仅以图4中3个定位区为例进行说明。确定定位区后即可得到多个配饰类型信息。
步骤S42:根据各所述配饰类型信息识别配饰类型信息对应的标识信息。
应当说明的是,根据各个配饰类型信息识别配饰类型信息对应的标识信息,其中,标识信息即为配饰上能突出服装特点的特征,这也是用户个性的一种体现,例如:服装的品牌LOGO,或者某类配饰有特点的特征(例如A品牌胸口总会出现一个正方形大口袋或者B品牌的服装商总会出现三条白色竖线),这些标识让用户与虚拟形象更加贴合。
可以理解的是,根据各配饰类型信息,对配饰信息对应的定位框中的图像再进行分类以确定服装的品牌或者细分品类,再根据品牌或者细分品类到数据库中找到细分品类下对应的服装特征(LOGO、图像)即可将其设置在配饰模型上增加模型细节,即对标识信息进行设置的过程。
在本实施例中,根据所述配饰类型信息和配饰区信息确定对应的配饰图像;根据所述配饰类型查找预设配饰类型-标识识别模型对应关系映射表,确定对应的标识识别模型;将所述配饰图像输入所述标识识别模型,得到配饰类型信息对应的标识信息。
需要说明的是,本实施例提出一种获取标识信息的优选方案,例如:首先可以根据所述配饰类型信息和配饰区信息确定对应的配饰图像,即根据识别出来的配饰类型确定定位框并获取配饰区信息中对应定位框区域的图像信息作为对应的配饰图像,再当前定位框的配饰类型查找预设配饰类型-标识识别模型对应关系映射表,例如:当选中衣服定位框中的图像进行标识识别时,根据配饰类型获取到用于识别衣服上标识信息对应的标识识别模型,以完成确定对应的标识识别模型的过程;最后将所述配饰图像输入所述标识识别模型,得到配饰类型信息对应的标识信息。这是因为配饰的类型与品牌或者细分品类拥有强相关性,有些LOGO或者特征只有衣服才有,有些则是帽子才有,例如:正面巨大的胸前LOGO只有衣服上才具有,在帽子或者裤子上是没有空间印如同胸前LOGO这种大块的LOGO,又比如像贝壳一样的鞋头只有鞋子上才回出现,因此需要找到配饰类型对应的标识识别模型才能进一步对不同配饰的标识信息进行识别。
在本实施例中,获取配饰样本图像、配饰样本图像对应的标签以及配饰样本图像对应的配饰类型;根据所述配饰样本图像以及配饰样本图像对应的标签对预设初始模型进行训练,得到标识识别模型;将所述标识识别模型与配饰样本图像对应的配饰类型相关联,得到预设配饰类型-标识识别模型对应关系映射表。
可以理解的是,对于标识识别模型的训练过程,本实施例提出如下方案,根据所述配饰样本图像以及配饰样本图像对应的标签对预设初始模型进行训练,得到标识识别模型,其中,将标注好的配饰图像作为配饰样本图像,每个配饰样本图像对应了一个标识信息,以最容易理解的品牌为例,每个样本图像应当都有一个品牌,品牌对应了其产品的通用特征或者logo,将标注好的配饰样本图像输入预设初始模型,通过用于对样本进行标注的配饰品牌信息对模型判断结果进行验证,根据结果不断调整初始模型中的权重参数直至模型收敛,训练完成后的模型即可根据配饰图像识别其品牌。需要注意的是,训练前需要将配饰类型相同的配饰样本图像放在一起训练,将训练好的模型与配饰类型相关联加入预设配饰类型-标识识别模型中,这是因为相同配饰类型的图片相似度较高,其可以作为困难样本进行训练,提高模型对品牌信息的区分度。而如果将衣服、裤子、帽子等配饰图片混为一起训练用于分类的预设初始模型,由于不同配饰类型的图片的区别较大,模型很容易仅仅按照配饰类型进行分类,无法区分品牌,模型区分度小,训练难度较大。
在本实施例中,获取配饰品牌信息;根据配饰品牌信息查询预设商品数据库,得到至少一个配饰图片信息;根据所述配饰图片信息生成配饰样本图像;根据所述配饰品牌信息对配饰样本图像进行标注,得到配饰样本图像对应的标签;将所述配饰样本图像输入第二预设分类模型,确定配饰样本图像对应的配饰类型。
可以理解的是,为了方便样本采集,获取样本的过程可以直接从第三方的商品数据库中获取,获取的方式只需要根据配饰品牌信息检索到对应的商品图片,也可以通过网络爬虫进行抓取,再根据商品图片信息(配饰图片信息)生成配饰样本图像;根据所述配饰品牌信息对配饰样本图像进行标注,得到配饰样本图像对应的标签。将所述配饰样本图像输入第二预设分类模型,确定配饰样本图像对应的配饰类型,其中第二预设分类模型可以与第一预设分类模型为同一个模型,最后根据配饰类型对样本数据进行分组以训练不同配饰类型对应的预设初始模型。这样可以自动化的进行样本的获取、分组和标注,避免了人工采集样本的缺陷。
步骤S43:根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型。
需要说明的是,根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型,根据配饰类型信息可以生成初始配饰模型,再根据标识信息将对应的标识与初始配饰模型相结合,得到最终的具有LOGO或者特征符号的配饰模型。
在本实施例中,根据所述配饰类型信息确定配饰颜色信息和配饰特征信息;根据所述配饰特征信息确定配饰款式信息;根据所述配饰款式信息生成初始配饰模型;根据所述配饰颜色信息和配饰类型信息对应的标识信息对初始配饰模型进行渲染,得到配饰模型。
可以理解的是,根据所述配饰类型信息确定配饰颜色信息和配饰特征信息;其中,配饰类型信息可以更加细化分辨出该配饰类型的颜色和特征,例如:衣服可以为红色(颜色信息)帽衫(配饰特征信息)、或者白色衬衫等,根据所述配饰特征信息可以确定配饰款式信息例如:衣服的款式;根据所述配饰款式信息生成初始配饰模型,即配饰的基础形状;再根据所述配饰颜色信息得到基础形状的初始配饰模型进行上色,得到配饰模型。
本实施例将所述配饰区信息输入第一预设分类模型,确定多个配饰类型信息;根据各所述配饰类型信息识别配饰类型信息对应的标识信息;根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型。通过对配饰的分类和标识的识别可以为配饰模型添加更加贴合用户服饰装配的模型细节,提高了虚拟形象与用户形象的贴合程度。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有虚拟形象的生成程序,所述虚拟形象的生成程序被处理器执行时实现如上文所述的虚拟形象的生成方法的步骤。
参照图4,图4为本发明虚拟形象的生成装置第一实施例的结构框图。
如图5所示,本发明实施例提出的虚拟形象的生成装置包括:
获取模块10,用于获取用户图像信息;
处理模块20,用于根据所述图像信息提取面部特征区信息以及配饰区信息。
所述处理模块20,还用于根据所述面部特征区信息生成对应的面部模型和五官模型。
所述处理模块20,还用于根据所述配饰区信息生成配饰模型。
所述处理模块20,还用于根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
本实施例获取用户图像信息;根据所述图像信息提取面部特征区信息以及配饰区信息;根据所述面部特征区信息生成对应的面部模型和五官模型;根据所述配饰区信息生成配饰模型;根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。通过将用户形象分为面部、五官和配饰3个部分分别对用户形象进行分析建模,最后生成一个完整的虚拟形象,让虚拟形象更加贴近用户的真实特征,且可以将用户喜爱的穿着一并自动生成,提高了虚拟形象与用户的贴合度,也减少了用户在虚拟人物设置上所花费的时间,优化了用户体验。
在一实施例中,所述处理模块20,还用于将所述配饰区信息输入第一预设分类模型,确定多个配饰类型信息;
根据各所述配饰类型信息识别配饰类型信息对应的标识信息;
根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型。
在一实施例中,所述处理模块20,还用于根据所述配饰类型信息和配饰区信息确定对应的配饰图像;
根据所述配饰类型查找预设配饰类型-标识识别模型对应关系映射表,确定对应的标识识别模型;
将所述配饰图像输入所述标识识别模型,得到配饰类型信息对应的标识信息。
在一实施例中,所述处理模块20,还用于获取配饰样本图像、配饰样本图像对应的标签以及配饰样本图像对应的配饰类型;
根据所述配饰样本图像以及配饰样本图像对应的标签对预设初始模型进行训练,得到标识识别模型;
将所述标识识别模型与配饰样本图像对应的配饰类型相关联,得到预设配饰类型-标识识别模型对应关系映射表。
在一实施例中,所述处理模块20,还用于获取配饰品牌信息;
根据配饰品牌信息查询预设商品数据库,得到至少一个配饰图片信息;
根据所述配饰图片信息生成配饰样本图像;
根据所述配饰品牌信息对配饰样本图像进行标注,得到配饰样本图像对应的标签;
将所述配饰样本图像输入第二预设分类模型,确定配饰样本图像对应的配饰类型。
在一实施例中,所述处理模块20,还用于根据所述配饰类型信息确定配饰颜色信息和配饰特征信息;
根据所述配饰特征信息确定配饰款式信息;
根据所述配饰款式信息生成初始配饰模型;
根据所述配饰颜色信息和配饰类型信息对应的标识信息对初始配饰模型进行渲染,得到配饰模型。
在一实施例中,所述处理模块20,还用于根据所述面部特征区信息确定面部轮廓信息和特征点信息;
根据所述面部轮廓信息生成面部模型;
根据所述特征点信息确定五官位置;
根据所述五官位置识别五官轮廓;
根据所述五官轮廓和面部模型生成五官模型。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的虚拟形象的生成方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种虚拟形象的生成方法,其特征在于,所述虚拟形象的生成方法包括:
获取用户图像信息;
根据所述图像信息提取面部特征区信息以及配饰区信息;
根据所述面部特征区信息生成对应的面部模型和五官模型;
根据所述配饰区信息生成配饰模型;
所述根据所述配饰区信息生成配饰模型,包括:
将所述配饰区信息输入第一预设分类模型,确定多个配饰类型信息;根据各所述配饰类型信息识别配饰类型信息对应的标识信息;根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型;
其中,所述根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型,包括:
根据所述配饰类型信息确定配饰颜色信息和配饰特征信息;根据所述配饰特征信息确定配饰款式信息;根据所述配饰款式信息生成初始配饰模型;根据所述配饰颜色信息和配饰类型信息对应的标识信息对初始配饰模型进行渲染,得到配饰模型;
根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。
2.如权利要求1所述的方法,其特征在于,所述根据各所述配饰类型信息识别配饰类型信息对应的标识信息,包括:
根据所述配饰类型信息和配饰区信息确定对应的配饰图像;
根据所述配饰类型查找预设配饰类型-标识识别模型对应关系映射表,确定对应的标识识别模型;
将所述配饰图像输入所述标识识别模型,得到配饰类型信息对应的标识信息。
3.如权利要求2所述的方法,其特征在于,所述根据所述配饰类型查找预设配饰类型-标识识别模型对应关系映射表,确定对应的标识识别模型之前,还包括:
获取配饰样本图像、配饰样本图像对应的标签以及配饰样本图像对应的配饰类型;
根据所述配饰样本图像以及配饰样本图像对应的标签对预设初始模型进行训练,得到标识识别模型;
将所述标识识别模型与配饰样本图像对应的配饰类型相关联,得到预设配饰类型-标识识别模型对应关系映射表。
4.如权利要求3所述的方法,其特征在于,所述获取配饰样本图像、配饰样本图像对应的标签以及配饰样本图像对应的配饰类型之前,还包括:
获取配饰品牌信息;
根据配饰品牌信息查询预设商品数据库,得到至少一个配饰图片信息;
根据所述配饰图片信息生成配饰样本图像;
根据所述配饰品牌信息对配饰样本图像进行标注,得到配饰样本图像对应的标签;
将所述配饰样本图像输入第二预设分类模型,确定配饰样本图像对应的配饰类型。
5.如权利要求1至4中任一项所述的方法,其特征在于,所述根据所述面部特征区信息生成对应的面部模型和五官模型,包括:
根据所述面部特征区信息确定面部轮廓信息和特征点信息;
根据所述面部轮廓信息生成面部模型;
根据所述特征点信息确定五官位置;
根据所述五官位置识别五官轮廓;
根据所述五官轮廓和面部模型生成五官模型。
6.一种虚拟形象的生成装置,其特征在于,所述虚拟形象的生成装置包括:
获取模块,用于获取用户图像信息;
处理模块,用于根据所述图像信息提取面部特征区信息以及配饰区信息;
所述处理模块,还用于根据所述面部特征区信息生成对应的面部模型和五官模型;
所述处理模块,还用于根据所述配饰区信息生成配饰模型;
所述处理模块,还用于将所述配饰区信息输入第一预设分类模型,确定多个配饰类型信息;根据各所述配饰类型信息识别配饰类型信息对应的标识信息;根据所述配饰类型信息和配饰类型信息对应的标识信息确定配饰模型;
所述处理模块,还用于根据所述配饰类型信息确定配饰颜色信息和配饰特征信息;根据所述配饰特征信息确定配饰款式信息;根据所述配饰款式信息生成初始配饰模型;根据所述配饰颜色信息和配饰类型信息对应的标识信息对初始配饰模型进行渲染,得到配饰模型;
所述处理模块,还用于根据所述的面部模型、五官模型以及配饰模型生成虚拟形象。
7.一种虚拟形象的生成设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟形象的生成程序,所述虚拟形象的生成程序配置为实现如权利要求1至5中任一项所述的虚拟形象的生成方法的步骤。
8.一种存储介质,其特征在于,所述存储介质上存储有虚拟形象的生成程序,所述虚拟形象的生成程序被处理器执行时实现如权利要求1至5任一项所述的虚拟形象的生成方法的步骤。
CN202210638710.1A 2022-06-08 2022-06-08 虚拟形象的生成方法、装置、设备及存储介质 Active CN114723860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210638710.1A CN114723860B (zh) 2022-06-08 2022-06-08 虚拟形象的生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210638710.1A CN114723860B (zh) 2022-06-08 2022-06-08 虚拟形象的生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114723860A CN114723860A (zh) 2022-07-08
CN114723860B true CN114723860B (zh) 2022-10-04

Family

ID=82232346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210638710.1A Active CN114723860B (zh) 2022-06-08 2022-06-08 虚拟形象的生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114723860B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069159A (zh) * 2022-09-14 2023-05-05 领悦数字信息技术有限公司 用于显示虚拟形象的方法、装置及介质
CN115222899B (zh) * 2022-09-21 2023-02-21 湖南草根文化传媒有限公司 虚拟数字人生成方法、系统、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376160A (zh) * 2014-11-07 2015-02-25 薛景 真人模拟个性装饰搭配系统
CN107833092A (zh) * 2017-10-27 2018-03-23 深圳狗尾草智能科技有限公司 基于场景和状态的虚拟人物试装方法及系统
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和系统
CN110691279A (zh) * 2019-08-13 2020-01-14 北京达佳互联信息技术有限公司 一种虚拟直播的方法、装置、电子设备及存储介质
CN114445528A (zh) * 2021-12-15 2022-05-06 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144148A1 (en) * 2005-02-04 2009-06-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Attribute enhancement in virtual world environments
CN102156808A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟饰品试戴系统及方法
CN107741809B (zh) * 2016-12-21 2020-05-12 腾讯科技(深圳)有限公司 一种虚拟形象之间的互动方法、终端、服务器及系统
CN107481099A (zh) * 2017-07-28 2017-12-15 厦门大学 可360度转身的实时虚拟试衣的实现方法
CN110189404B (zh) * 2019-05-31 2023-04-07 重庆大学 基于真实人脸图像的虚拟面部建模方法
CN113050795A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 虚拟形象的生成方法及装置
CN113952738A (zh) * 2021-10-21 2022-01-21 网易(杭州)网络有限公司 虚拟角色头像的生成方法、装置、电子设备及可读介质
CN114332365A (zh) * 2021-12-24 2022-04-12 北京百度网讯科技有限公司 虚拟人物形象生成方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376160A (zh) * 2014-11-07 2015-02-25 薛景 真人模拟个性装饰搭配系统
CN107833092A (zh) * 2017-10-27 2018-03-23 深圳狗尾草智能科技有限公司 基于场景和状态的虚拟人物试装方法及系统
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和系统
CN110691279A (zh) * 2019-08-13 2020-01-14 北京达佳互联信息技术有限公司 一种虚拟直播的方法、装置、电子设备及存储介质
CN114445528A (zh) * 2021-12-15 2022-05-06 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114723860A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN114723860B (zh) 虚拟形象的生成方法、装置、设备及存储介质
KR101896137B1 (ko) 플레이어의 모습을 반영한 아바타의 생성 기법
WO2020119311A1 (zh) 一种神经网络的训练方法及图像匹配方法、装置
CN108920490A (zh) 辅助化妆的实现方法、装置、电子设备以及存储介质
CN111681070B (zh) 线上商品的购买方法、购买装置、存储装置及购买设备
WO2007140609A1 (en) Method and system for image and video analysis, enhancement and display for communication
JP7278724B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN111260763A (zh) 基于人像的卡通形象生成方法、装置、设备及存储介质
WO2012077715A1 (ja) 非可視化情報を用いたコンテンツ提供システム、非可視化情報の埋込装置、認識装置、埋込方法、認識方法、埋込プログラム、及び認識プログラム
CN105812754A (zh) 一种试装方法以及试装装置
JP2010262425A (ja) 衣服を認識および分類するためのコンピュータ実行方法
WO2023138345A1 (zh) 虚拟形象生成方法和系统
KR20140124087A (ko) 사용자 단말기를 이용한 개인 스타일 추천 시스템과 방법 및 그 방법을 컴퓨터로 실행시키기 위한 프로그램 코드를 저장한 기록매체
CN105095917A (zh) 图像处理方法、装置及终端
Barroso et al. Periocular recognition: how much facial expressions affect performance?
CN111447260A (zh) 信息推送、信息发布方法及装置
CN111242016A (zh) 衣物管理方法、控制装置、衣柜以及计算机可读存储介质
CN110837571A (zh) 照片分类方法、终端设备及计算机可读存储介质
CN110009560B (zh) 图像处理装置
CN112488965A (zh) 一种图像处理方法和装置
CN113298593A (zh) 商品推荐及图像检测方法、装置、设备和存储介质
CN111126179A (zh) 信息的获取方法和装置、存储介质和电子装置
JP4345440B2 (ja) 輪郭判断装置及び輪郭判断方法
CN113537043B (zh) 图像处理方法、装置、电子设备以及存储介质
CN113886618A (zh) 基于场景的服饰推荐方法、装置、设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant