CN110827379A - 虚拟形象的生成方法、装置、终端及存储介质 - Google Patents

虚拟形象的生成方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110827379A
CN110827379A CN201911054544.5A CN201911054544A CN110827379A CN 110827379 A CN110827379 A CN 110827379A CN 201911054544 A CN201911054544 A CN 201911054544A CN 110827379 A CN110827379 A CN 110827379A
Authority
CN
China
Prior art keywords
target object
head
image
avatar
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911054544.5A
Other languages
English (en)
Inventor
李耔余
陈怡�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201911054544.5A priority Critical patent/CN110827379A/zh
Publication of CN110827379A publication Critical patent/CN110827379A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00Indexing scheme for animation
    • G06T2213/12Rule based animation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供一种虚拟形象的生成方法、装置、终端及存储介质;方法包括:响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象;通过本公开,能够在减少资源占用空间的同时实现个性化虚拟形象的创建。

Description

虚拟形象的生成方法、装置、终端及存储介质
技术领域
本公开实施例涉及视频处理技术,尤其涉及一种虚拟形象的生成方法、装置、终端及存储介质。
背景技术
随着互联网产业的高速发展,人工智能使得“虚拟世界”的应用越来越多,从动漫到直播、到短视频的运营等,都涉及到“虚拟形象”的创建。相关技术中,大多采用通用的模板为用户提供“虚拟形象”,模板式的“虚拟形象”都比较相似,缺乏个性化;并且构成同一“虚拟形象”的素材资源包是组合存储的,那么多个不同的“虚拟形象”可能涉及同一素材资源包的重复存在,极大地占用了资源存储空间。
发明内容
有鉴于此,本公开实施例提供一种虚拟形象的生成方法、装置、终端及存储介质。
第一方面,本公开实施例提供了一种虚拟形象的生成方法,包括:
响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;
基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;
其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;
基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象。
上述方案中,所述基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征;
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征;
其中,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的携带所述素材的多个独立资源包。
上述方案中,所述基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征,包括:
识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于所述目标对象的头部各部分对应的图像区域,对所述帧图像进行区域分割,得到对应所述目标对象头部不同部分的图像;
分别对所述目标对象头部不同部分的图像进行特征提取,得到所述目标对象的头部各部分的特征。
上述方案中,所述基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的包括各个所述独立资源包的下载地址的下载地址列表;
基于所述下载地址列表,分别下载每个所述独立资源包。
上述方案中,所述获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
获取对应所述虚拟形象模型的头部各部分中目标部分的主资源包、以及所述头部各部分中对应非目标部分的辅资源包;
其中,所述主资源包包含的素材所对应的样式为可调样式;
所述辅资源包包含的素材所对应的样式为固定样式;
所述目标部分包括:鼻子、嘴巴和脸型。
上述方案中,所述方法还包括:
接收到针对所述虚拟形象模型头部各部分中目标部分的调整指令;
基于所述调整指令,调整所述目标部分对应的主资源包包含的素材所对应的样式,以使所述目标部分与所述目标对象的相应部分满足相似度条件。
上述方案中,所述方法还包括:
在所述视图界面呈现图像扫描框,所述图像扫描框与所述目标对象的轮廓相匹配;
基于所述图像扫描框,采集所述目标对象的帧图像。
上述方案中,在采集所述目标对象的帧图像之后,所述方法还包括:
呈现用于表示所述帧图像识别进度的信息提示功能项;
当所述信息提示功能项提示所述帧图像识别失败,呈现包含提示信息的图像扫描框,所述提示信息用于提示调整以下至少之一:拍摄姿势、拍摄角度、拍摄距离;
基于所述图像扫描框,重新采集所述目标对象的帧图像。
第二方面,本公开实施例提供了一种虚拟形象的生成装置,包括:
采集模块,用于响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;
获取模块,用于基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;
渲染模块,用于基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象。
上述方案中,所述获取模块,用于基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征;
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征;
其中,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的携带所述素材的多个独立资源包。
上述方案中,所述获取模块,用于识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于所述目标对象的头部各部分对应的图像区域,对所述帧图像进行区域分割,得到对应所述目标对象头部不同部分的图像;
分别对所述目标对象头部不同部分的图像进行特征提取,得到所述目标对象的头部各部分的特征。
上述方案中,所述获取模块,用于发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的包括各个所述独立资源包的下载地址的下载地址列表;
基于所述下载地址列表,分别下载每个所述独立资源包。
上述方案中,所述获取模块,用于获取对应所述虚拟形象模型的头部各部分中目标部分的主资源包、以及所述头部各部分中对应非目标部分的辅资源包;
其中,所述主资源包包含的素材所对应的样式为可调样式;
所述辅资源包包含的素材所对应的样式为固定样式;
所述目标部分包括:鼻子、嘴巴和脸型。
上述方案中,所述装置还包括:
调整模块,用于接收到针对所述虚拟形象模型头部各部分中目标部分的调整指令;
基于所述调整指令,调整所述目标部分对应的主资源包包含的素材所对应的样式,以使所述目标部分与所述目标对象的相应部分满足相似度条件。
上述方案中,所述采集模块,还用于在所述视图界面呈现图像扫描框,所述图像扫描框与所述目标对象的轮廓相匹配;
基于所述图像扫描框,采集所述目标对象的帧图像。
上述方案中,所述采集模块,还用于呈现用于表示所述帧图像识别进度的信息提示功能项;
当所述信息提示功能项提示所述帧图像识别失败,呈现包含提示信息的图像扫描框,所述提示信息用于提示调整以下至少之一:拍摄姿势、拍摄角度、拍摄距离;
基于所述图像扫描框,重新采集所述目标对象的帧图像。
第三方面,本公开实施例提供了一种终端,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述可执行指令时,实现本公开实施例提供的上述虚拟形象的生成方法。
第四方面,本公开实施例提供了一种存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本公开实施例提供的上述虚拟形象的生成方法。
应用本公开上述实施例具有如下有益效果:
应用本公开上述实施例,通过采集目标对象的帧图像,获取对应目标对象的虚拟形象模型的多个独立资源包,基于该多个独立资源包中包含的虚拟形象模型头部各部分对应的素材,渲染得到目标对象对应的虚拟形象;如此,第一,由于虚拟形象模型的头部各部分与目标对象的头部相应部分的相似度满足相似度条件,因此能够实现个性化虚拟形象的创建;第二,虚拟形象模型头部各部分对应的素材是以独立资源包的形式存在的,同一样式素材不需要重复存储即可实现不同虚拟形象的创建,减少了资源占用空间。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例提供的虚拟形象的生成系统的架构示意图;
图2为本公开实施例提供的电子设备的结构示意图;
图3为本公开实施例提供的虚拟形象的生成方法的流程示意图一;
图4为本公开实施例提供的目标对象的帧图像采集示意图;
图5为本公开实施例提供的图像扫描框的示意图一;
图6为本公开实施例提供的图像扫描框的示意图二;
图7为本公开实施例提供的人脸关键点检测的界面示意图;
图8为本公开实施例提供的信息提示功能项的示意图;
图9为本公开实施例提供的等待创建虚拟形象的示意图;
图10为本公开实施例提供的修改虚拟形象的界面示意图;
图11为本公开实施例提供的虚拟形象的生成方法的流程示意图二;
图12为本公开实施例提供的虚拟形象的生成装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
对本公开实施例进行进一步详细说明之前,对本公开实施例中涉及的名词和术语进行说明,本公开实施例中涉及的名词和术语适用于如下的解释。
1)虚拟形象,通过智能识别,将用户的表情、动作、神态和语言等实时转化成虚拟人物的一举一动,其面部表情、动作神态、声音语调可完全复制用户本人。
2)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
基于上述对本公开实施例中涉及的名词和术语的解释,下面参见图1,图1为本公开实施例提供的虚拟形象的生成系统的架构示意图,为实现支撑一个示例性应用,终端400(包括终端400-1、终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线或有线链路实现数据传输。
终端400(如终端400-1),用于响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;基于采集的目标对象的帧图像,获取对应目标对象的虚拟形象模型的多个独立资源包;基于多个独立资源包包含的素材,渲染并呈现目标对象的虚拟形象;
服务器200,用于基于接收的目标对象的虚拟形象的获取请求,确定对应目标对象的虚拟形象模型头部各部分的素材;发送携带素材的多个独立资源包;
终端400(如终端400-1),还用于发送目标对象的虚拟形象的获取请求。
这里,在实际应用中,终端400可以为智能手机、平板电脑、笔记本电脑等各种类型的用户终端,还可以为可穿戴计算设备、个人数字助理(PDA)、台式计算机、蜂窝电话、媒体播放器、导航设备、游戏机、电视机、或者这些数据处理设备或其他数据处理设备中任意两个或多个的组合;服务器200既可以为单独配置的支持各种业务的一个服务器,亦可以配置为一个服务器集群。
下面参见图2,图2为本公开实施例提供的电子设备的结构示意图。电子设备可以是各种终端,包括移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA,PersonalDigital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP,Portable MediaPlayer)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字电视(TV)、台式计算机等等的固定终端。图2示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等)210,其可以根据存储在只读存储器(ROM,Read-Only Memory)220中的程序或者从存储装置280加载到随机访问存储器(RAM,Random Access Memory)230中的程序而执行各种适当的动作和处理。在RAM 230中,还存储有电子设备操作所需的各种程序和数据。处理装置210、ROM 220以及RAM 230通过总线240彼此相连。输入/输出(I/O,Input/Output)接口250也连接至总线240。
通常,以下装置可以连接至I/O接口250:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置260;包括例如液晶显示器(LCD,LiquidCrystal Display)、扬声器、振动器等的输出装置270;包括例如磁带、硬盘等的存储装置280;以及通信装置290。通信装置290可以允许电子设备与其他设备进行无线或有线通信以交换数据。
特别地,根据本公开实施例,所提供的流程图描述的过程可以被实现为计算机软件程序。例如,本公开实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,计算机程序可以通过通信装置290从网络上被下载和安装,或者从存储装置280被安装,或者从ROM 220被安装。在计算机程序被处理装置220执行时,执行本公开实施例的虚拟形象的生成方法中的功能。
需要说明的是,本公开实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM,ErasableProgrammable Read Only Memory)、闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括电线、光缆、射频(RF,Radio Frequency)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行本公开实施例提供的虚拟形象的生成方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开实施例中操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN,Local Area Network))和广域网(WAN,Wide Area Network),以连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本公开实施例提供的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本公开实施例中描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA,Field-Programmable Gate Array)、专用集成电路(ASIC,Application SpecificIntegrated Circuit)、专用标准产品(ASSP,Application Specific Standard Parts))、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开实施例的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
下面说明本公开实施例提供的虚拟形象的生成方法。参见图3,图3为本公开实施例提供的虚拟形象的生成方法的流程示意图一,本公开实施例提供的虚拟形象的生成方法包括:
步骤301:终端响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像。
在一些实施例中,终端上可以设置有视频拍摄客户端,比如即时通讯客户端、微博客户端、短视频客户端等。当用户存在拍摄虚拟形象相关视频的需求时,可以在终端显示的视图界面通过滑动、点击等操作,触发虚拟形象的生成指令。终端通过客户端接收到该虚拟形象的生成指令,进而通过摄像头等图像采集设备、采集包含目标对象的帧图像。
在实际应用时,终端通过视图界面向用户呈现包含如贴纸、滤镜、虚拟形象等多种拍摄道具图标的工具栏,用户可以通过点击操作选择需要的拍摄道具。当终端检测到用户选择的拍摄道具图标为虚拟形象图标时,基于该虚拟形象图标,接收用户点击操作时触发的虚拟形象的生成指令。示例性地,参见图4,图4为本公开实施例提供的目标对象的帧图像采集示意图,这里,终端通过视图界面呈现包含目标对象的预览帧图像,并呈现包含虚拟形象图标的页面。当用户点击该虚拟形象图标时,终端即呈现虚拟形象图标为被选中状态,即可以通过方框圈住虚拟形象图标,此时终端则接收到用户触发的虚拟形象生成指令,进而基于该虚拟形象的生成指令,采集目标图像的帧图像。
在一些实施例中,可以通过如下的方式,采集目标对象的帧图像:在视图界面呈现图像扫描框,该图像扫描框与目标对象的轮廓相匹配;基于图像扫描框,采集目标对象的帧图像。
终端在采集目标对象的帧图像时,还可以通过视图界面呈现图像扫描框。该图像扫描框是基于目标对象设置的,与目标对象的轮廓相匹配,以使用户拍摄的视频从整体上看起来更清晰和舒适。终端基于该图像扫描框,采集目标对象的帧图像。
在实际应用中,终端需要检测目标对象的轮廓是否与图像扫描框相匹配以保证帧图像的清晰度。当目标对象的轮廓与该图像扫描框不匹配,即目标对象的轮廓没有完全落入图像扫描框的范围时,可以向用户呈现对应的提示信息,以提示用户调整自身的拍摄姿势、拍摄角度和拍摄距离等。
示例性地,参见图5,图5为本公开实施例提供的图像扫描框的示意图一,这里,当终端呈现图像采集界面并检测到目标对象时,呈现图像扫描框,并通过显示文字“请将面部放入框内”的方式提示用户在进行虚拟形象创建时,需要将面部放在图像扫描框内。而如果终端检测到目标对象的轮廓不在上述图像扫描框内时,则可以通过文字“请正脸拍摄”“请移动面部至框内”等提示用户调整拍摄姿势、角度或者距离,参见图6,图6为本公开实施例提供的图像扫描框的示意图二,图6中目标对象的轮廓与图像扫描框不匹配。
步骤302:基于采集的目标对象的帧图像,获取对应目标对象的虚拟形象模型的多个独立资源包。
在基于上述图像扫描框采集目标对象的帧图像之后,基于采集的帧图像,获取该目标对象对应的虚拟形象模型的多个独立资源包。这里,虚拟形象模型的头部各部分与目标对象的头部相应部分的相似度满足相似度条件,每个独立资源包分别包含虚拟形象模型的头部各部分对应的素材之一。
在实际应用中,虚拟形象模型可以是服务器基于目标对象的头部各部分特征构建的,也可以是终端、或者两者协同的方式来完成。由于是针对目标对象创建个性化虚拟形象,因此该虚拟形象模型的头部各部分与目标对象的头部相应部分是相匹配的,具体可以是虚拟形象模型的头部各部分与目标对象的头部相应部分的相似度满足预设的相似度条件,比如该两者之间的相似度已达到预设的相似度阈值。
由于获取的独立资源包中包含的是对应目标对象的虚拟形象模型头部各部分的素材,因此在获取独立资源包时,需要先确定目标对象的头部各部分的特征,以使服务器基于该目标对象的头部各部分的特征、来确定包含对应目标对象的虚拟形象模型头部各部分素材的独立资源包。
在一些实施例中,终端可以通过如下方式,获取帧图像中目标对象的头部各部分的特征:识别帧图像中包含的目标对象的头部不同部分,以确定目标对象的头部各部分对应的图像区域;基于目标对象的头部各部分对应的图像区域,对帧图像进行区域分割,得到对应目标对象头部不同部分的图像;分别对目标对象头部不同部分的图像进行特征提取,得到目标对象的头部各部分的特征。
这里,目标对象的头部各部分包括以下至少之一:眼部、发部、耳朵、嘴巴、鼻子、眉毛、胡子、脸型。这里,眼部可以包括眼睛及眼镜,发部可以包括头发及帽子。
在一些实施例中,若确定目标对象的头部各部分的特征,首先需要获取头部各部分对应帧图像中的图像区域。具体地,终端可以通过人脸关键点识别的方式来确定目标对象的头部各部分对象的图像区域。这里,人脸关键点是指在图像中能够反映目标对象的局部特征(如颜色特征、形状特征和纹理特征)的点,一般为多个像素点的集合,例如,人脸关键点可以是眼睛关键点、嘴巴关键点或鼻子关键点等。
在实际应用中,对包含目标对象的帧图像进行人脸关键点检测,确定目标对象的头部各部分所包括的关键点;基于确定的人脸关键点,采用人脸对齐算法进行人脸对齐,进而确定由这些关键点构成的区域、为目标对象的头部各部分对应的图像区域。参见图7,图7为本公开实施例提供的人脸关键点检测的界面示意图,这里虚线框1为由鼻子所包括的关键点确定的鼻子的图像区域,虚线框2为由嘴巴所包括的关键点确定的嘴巴的图像区域。
基于上述确定的目标对象的头部各部分对应的图像区域,对采集的帧图像进行区域分割,使得分割得到的每个图像均对应目标对象头部不同部分其中的一个部分;分别对目标对象头部不同部分对应的图像进行特征提取,得到目标对象的头部各部分的特征,即表征头部各部分特征的特征向量。
在实际应用中,终端在获取帧图像中目标对象头部各部分的特征的时候,可能由于拍摄的帧图像中目标对象的头部各部分不甚清晰,使得特征提取失败,在一些实施例中,终端在进行帧图像识别过程中,视图界面中还可以呈现以下内容:呈现用于表示帧图像识别进度的信息提示功能项;当信息提示功能项提示帧图像识别失败,呈现包含提示信息的图像扫描框,该提示信息用于提示调整以下至少之一:拍摄姿势、拍摄角度、拍摄距离;基于图像扫描框,重新采集目标对象的帧图像。
终端在进行帧图像识别时,可以同时在视图界面呈现代表帧图像识别进度的信息提示功能项。示例性地,参见图8,图8为本公开实施例提供的信息提示功能项的示意图,这里,信息提示功能项通过包含百分比的圆形进度条来展现,识别进度为60%。
当该信息提示功能项提示帧图像识别成功时,比如圆形进度条加载到100%,终端则可以基于该帧图像识别的结果去获取独立资源包并创建目标对象的虚拟形象,此时,由于虚拟形象创建过程中,下载资源包、匹配头部各部分素材、颜色渲染等步骤都需要耗费时间,在一些实施例中,还可以通过文字提示的方式,以减免用户等待的焦虑情绪。参见图9,图9为本公开实施例提供的等待创建虚拟形象的示意图,通过呈现文字“正在识别并创建形象请稍等…”,提示用户虚拟形象正在生成过程中。
相对地,当该信息提示功能项提示帧图像识别失败时,即终端无法获取目标对象的头部各部分特征进而无法获取独立资源包,此时,终端重新呈现包含提示信息的图像扫描框,以提示用户调整自身的拍摄姿势、拍摄角度和拍摄距离等。示例性地,继续参见本公开实施例提供的图5和图6,通过向用户展示文字“请将面部放入框内”、“请正脸拍摄”“请移动面部至框内”等提示用户调整拍摄姿势、角度或者距离,以方便采集到清晰准确的目标对象的帧图像,从而便于终端进行目标对象的特征识别。
基于上述步骤获取的目标对象头部各部分的特征,在一些实施例中,终端可通过如下方式获取虚拟形象模型的多个独立资源包:发送对应目标对象的虚拟形象的获取请求,该获取请求携带所述目标对象的头部各部分的特征;其中,该头部各部分的特征,用于供确定头部各部分所属的类别,以基于类别确定头部各部分对应的素材;接收返回的携带素材的多个独立资源包。
在基于上述实施例得到目标对象的头部各部分的特征后,终端将目标对象的头部各部分的特征携带在获取请求中,发送给服务器,以请求获取对应该目标对象的虚拟形象。
服务器接收到该目标对象的虚拟形象的获取请求,对该获取请求进行解析,得到该获取请求中携带的目标对象的头部各部分的特征。进一步地,分别对目标对象的头部各部分的特征进行特征相似度匹配,以确定头部各部分所属的类别;或者服务器还可以分别将表征头部各部分特征的特征向量,输入到预先训练完成的神经网络模型中,进行所属类别的预测,以确定头部各部分所属的类别。这里,头部各部分所属的类别可以是不同属性的不同种类的任意组合。示例性地,头发所属的类别的属性可以包括长度、卷曲程度、发色,分别对应的种类可以包括光头、短发、中长发、长发;卷发、直发;黑色、棕色、黄色。通过将帧图像中目标对象的头发的特征、与预设的多种类别的头发的特征进行相似度匹配,从而确定帧图像中目标对象的头发所属的类别,如,黑色中长直发。
从而基于上述确定的头部各部分所属的类型,确定头部各部分对应的素材。这里,头部各部分所属的类别与素材为一一对应的关系,根据头部各部分所述的类别,能够唯一确定对应的素材。同时,该头部各部分对应的素材是三维素材,将该素材进行组合渲染时能够使虚拟形象更加生动逼真。服务器将该头部各部分素材分别打包压缩,得到包含不同素材的独立资源包,比如上述确定的头发为“黑色中长直发”、眼睛为“黑色杏眼”,那么则将该“黑色中长直发”对应的素材、和“黑色杏眼”对应的素材分别打包。将打包得到的多个独立资源包发送给终端。
终端接收返回的携带虚拟形象模型的素材的多个独立资源包。
在一些实施例中,终端还可以通过如下方式获取虚拟形象模型的多个独立资源包:接收返回的包括各个独立资源包的下载地址的下载地址列表;基于下载地址列表,分别下载每个独立资源包。
由于在数据传输过程中,可能存在网络中断、网络信号较弱等意外情况,导致服务器在发送独立资源包时出现数据丢失、数据传输失败等问题,进而终端无法接收到返回的多个独立资源包。因此,在一些实施例中,服务器还可以根据各个独立资源包的下载地址、生成包含各个独立资源包的下载地址的下载地址列表,将该下载地址列表发送给终端。
终端接收到该返回的下载地址列表后,基于下载地址列表中包含的各个下载地址,分别下载各个独立资源包。在实施应用中,该下载地址列表可以是多个URL构成的URLlist。
在一些实施例中,获取对应目标对象的虚拟形象模型的多个独立资源包可包括:获取对应虚拟形象模型的头部各部分中目标部分的主资源包、以及头部各部分中对应非目标部分的辅资源包;其中,主资源包包含的素材所对应的样式为可调样式;辅资源包包含的素材所对应的样式为固定样式;目标部分包括:鼻子、嘴巴和脸型。
这里,虚拟形象模型的目标部分包括鼻子、嘴巴和脸型,在本公开实施例中,目标部分对应的素材只有一种样式,该样式为基于目标部分特征的标准构建的,比如人的标准脸型、标准唇形等。由于需要构建个性化虚拟形象,该目标部分对应的素材的样式是能够根据目标对象的特征进行调节的,示例性地,当识别目标对象的脸型稍长,则可以对素材中脸型的标准形状进行加长处理。
另外,对于虚拟形象模型的非目标部分,即除鼻子、嘴巴和脸型之外的其他头部各部分,设置的素材样式为多种,比如眉毛对应的素材样式包括黑色柳叶眉、棕色弯眉、褐色剑眉等。该非目标部分对应的素材样式为固定样式,不可调整的。终端在获取独立资源包时,只需要根据目标对象的头部各部分的特征获取对应的独立资源包即可,比如目标对象的头发为黄色长卷发,那么只需要获取黄色长卷发对应的独立资源包。
进一步地,终端在获取独立资源包时,获取的是虚拟形象模型的头部各部分中对应目标部分的主资源包、以及对应头部各部分中非目标部分的辅资源包,具体的,主资源包包含的是可调样式的素材、辅资源包包含的是固定样式的素材。
由于虚拟形象模型的目标部分的主资源包中仅包含同一种样式的素材,即针对不同的目标对象获取的主资源包的素材都是一样的,在一些实施例中,可通过如下方式来对目标部分对应的素材进行调整、以实现个性化虚拟形象的创建:接收到针对虚拟形象模型头部各部分中目标部分的调整指令;基于调整指令,调整目标部分对应的主资源包包含的素材所对应的样式,以使目标部分与目标对象的相应部分满足相似度条件。
基于上述实施例,对应目标部分的主资源包中包含的素材仅为同一种样式,即预设的标准样式,而对应不同目标对象的虚拟形象模型的目标部分的特征均不相同,因此终端在获取到目标部分对应的主资源包之后,需要对该主资源包中的素材进行调整。
在实际应用中,当终端检测到上述获取的目标对象的头部目标部分的特征与得到的主资源包中的素材不匹配时,可以触发针对虚拟形象模型头部各部分中目标部分的调整指令。进而基于该调整指令,对目标部分对应的主资源包中的素材所对应的样式进行调整,以使调整后的素材样式与目标对象的头部目标部分的特征相匹配,即使得虚拟形象模型的目标部分与目标对象的相应部分满足相似度条件。
示例性地,当目标对象的嘴巴为大嘴、厚嘴唇时,可以将主资源包中的嘴巴的素材的样式由标准唇形、通过加大、嘴唇加厚等处理,调整至大嘴、厚嘴唇的素材样式。以基于该调整后的素材进行渲染得到目标对象的虚拟形象。
步骤303:基于多个独立资源包包含的素材,渲染并呈现目标对象的虚拟形象。
终端在获取到对应目标对象的虚拟形象模型的多个独立资源包之后,分别对各个独立资源包进行解析,得到其中包含的多个头部各部分对应的素材,将对应头部各部分的素材进行组合,具体的,终端可以获取目标对象的人脸关键点的位置信息,基于人脸关键点的位置信息确定对应头部各部分的素材的位置信息,并根据各个素材所对应的位置信息,将各个素材进行组合。
将头部各部分对应的素材进行组合后得到对应目标对象的虚拟形象模型,将各个素材合并在同一个渲染场景中,基于同样的灯光效果、阴影效果和表面纹理效果,通过图形处理器(Graphics Processing Unit,GPU)对虚拟形象模型进行渲染,得到目标对象的虚拟形象并呈现在视图界面中。
在一些实施例中,如果用户对构建的虚拟形象不是很满意、或者想进一步完善改进虚拟形象时,可以通过点击视图界面呈现的某个虚拟形象对应的虚拟形象图标,即该虚拟形象的缩略图,触发虚拟形象的修改指令。参见图10,图10为本公开实施例提供的修改虚拟形象的界面示意图,这里,终端显示用户已创建完成了两个虚拟形象,当接收到用户的点击操作时,通过选择框圈住用户指定修改的虚拟形象对应的虚拟形象图标,并在视图界面显示“修改形象”的按钮以供用户执行修改操作。
终端基于上述步骤,通过再次获取对应目标对象的虚拟形象模型的多个独立资源包,从而基于重新得到的多个独立资源包中的素材,渲染并呈现修改后的目标对象的虚拟形象。
应用本公开上述实施例具有如下有益效果:
应用本公开上述实施例,通过采集目标对象的帧图像,获取对应目标对象的虚拟形象模型的多个独立资源包,基于该多个独立资源包中包含的虚拟形象模型头部各部分对应的素材,渲染得到目标对象对应的虚拟形象;如此,第一,由于虚拟形象模型的头部各部分与目标对象的头部相应部分的相似度满足相似度条件,因此能够实现个性化虚拟形象的创建;第二,虚拟形象模型头部各部分对应的素材是以独立资源包的形式存在的,同一样式素材不需要重复存储即可实现不同虚拟形象的创建,减少了资源占用空间。
下面结合一个具体实施例,继续说明本公开实施例提供的虚拟形象的生成方法,该虚拟形象的生成方法通过终端上设置的客户端与服务器协同实现。参见图11,图11为本公开实施例提供的虚拟形象的生成方法的流程示意图二,本公开实施例提供的虚拟形象的生成方法包括:
步骤1101:终端响应于虚拟形象的生成指令,采集目标对象的帧图像。
这里,用户可以通过点击视图界面中呈现的视频拍摄按键,或者点击虚拟形象图标来触发虚拟形象的生成指令。终端接收到该虚拟形象的生成指令后,呈现图像扫描框,开始采集目标对象的帧图像。
步骤1102:识别帧图像中目标对象的头部各部分的特征。
这里,终端在采集目标图像的帧图像之后,向服务器请求下载五官识别算法模型,基于服务器返回的下载地址,下载该五官识别算法模型,进而调用人脸扫描,执行五官识别算法。
步骤1103:呈现帧图像特征识别进度。
步骤1104:识别完成后,调用VE接口获取算法结果并存储。
步骤1105:发送携带目标对象的头部各部分的特征的虚拟形象的获取请求。
步骤1106:服务器基于接收的获取请求,确定头部各部分所属的类别。
步骤1107:基于头部各部分的类别,匹配头部各部分对应的素材。
步骤1108:分别对头部各部分对应的素材进行打包压缩并返回给终端。
这里,服务器可以直接返回多个独立资源包,也可以返回包含各个独立资源包的下载地址的下载地址列表,以使终端基于下载地址自行下载各个独立资源包。
步骤1109:终端解析多个独立资源包,得到头部各部分对应的素材。
步骤1110:通过渲染引擎effect组合头部各部分对应的素材到同一渲染场景。
步骤1111:基于存储的头部各部分的特征,通过骨骼微调的方式,调整目标部分对应的素材。
步骤1112:基于调整后的素材,渲染并呈现目标对象的虚拟形象。
下面说明实现本公开实施例提供的虚拟形象的生成装置中的单元和/或模块。可以理解地,虚拟形象的生成装置中的单元或模块可以采用软件(例如上述的计算机软件程序中存储的计算机程序)的方式在如图2所示的电子设备中实现,也可以采用上述的硬件逻辑部件(例如FPGA、ASIC、SOC和CPLD)的方式在如图2所示的电子设备中实现。
参见图12,图12是实现本公开实施例的虚拟形象的生成装置1200的一个可选的结构示意图,示出了以下模块:采集模块1210、获取模块1220和渲染模块1230,将在下文说明各个模块的功能。
需要指出,上述模块的分类并不构成对电子设备本身的限定,例如一些模块可以拆分为两个或以上的子模块,或者,一些模块可以合并为一个新的模块。
还需要指出,上述模块的名称在某种情况下并不构成对模块本身的限定,例如,上述“获取模块1220”也可以被描述为“用于基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包”的模块。
基于同样的理由,电子设备中未详尽描述的单元和/或模块不代表相应的单元和/或模块的缺省,凡是电子设备所执行的操作都可以通过电子设备中的相应的单元和/或模块实现。
继续参见图12,图12为本公开实施例提供的虚拟形象的生成装置1200的结构示意图,所述装置包括:
采集模块1210,用于响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;
获取模块1220,用于基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;
渲染模块1230,用于基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象。
在一些实施例中,所述获取模块1220,用于基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征;
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征;
其中,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的携带所述素材的多个独立资源包。
在一些实施例中,所述获取模块1220,用于识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于所述目标对象的头部各部分对应的图像区域,对所述帧图像进行区域分割,得到对应所述目标对象头部不同部分的图像;
分别对所述目标对象头部不同部分的图像进行特征提取,得到所述目标对象的头部各部分的特征。
在一些实施例中,所述获取模块1220,用于发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的包括各个所述独立资源包的下载地址的下载地址列表;
基于所述下载地址列表,分别下载每个所述独立资源包。
在一些实施例中,所述获取模块1220,用于获取对应所述虚拟形象模型的头部各部分中目标部分的主资源包、以及所述头部各部分中对应非目标部分的辅资源包;
其中,所述主资源包包含的素材所对应的样式为可调样式;
所述辅资源包包含的素材所对应的样式为固定样式;
所述目标部分包括:鼻子、嘴巴和脸型。
在一些实施例中,所述装置还包括:
调整模块1240,用于接收到针对所述虚拟形象模型头部各部分中目标部分的调整指令;
基于所述调整指令,调整所述目标部分对应的主资源包包含的素材所对应的样式,以使所述目标部分与所述目标对象的相应部分满足相似度条件。
在一些实施例中,所述采集模块1210,还用于在所述视图界面呈现图像扫描框,所述图像扫描框与所述目标对象的轮廓相匹配;
基于所述图像扫描框,采集所述目标对象的帧图像。
在一些实施例中,所述采集模块1210,还用于呈现用于表示所述帧图像识别进度的信息提示功能项;
当所述信息提示功能项提示所述帧图像识别失败,呈现包含提示信息的图像扫描框,所述提示信息用于提示调整以下至少之一:拍摄姿势、拍摄角度、拍摄距离;
基于所述图像扫描框,重新采集所述目标对象的帧图像。
这里需要指出的是:以上涉及虚拟形象的生成装置的描述,与上述方法描述是类似的,同方法的有益效果描述,不做赘述,对于本公开实施例所述虚拟形象的生成装置实施例中未披露的技术细节,请参照本公开方法实施例的描述。
本公开实施例还提供了一种终端,所述终端包括:
存储器,用于存储可执行程序;
处理器,用于执行所述可执行程序时,实现本公开实施例提供的虚拟形象的生成方法。
本公开实施例还提供一种存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本公开实施例提供的虚拟形象的生成方法。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,包括:
响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;
基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;
其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;
基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征;
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征;
其中,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的携带所述素材的多个独立资源包。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征,包括:
识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于所述目标对象的头部各部分对应的图像区域,对所述帧图像进行区域分割,得到对应所述目标对象头部不同部分的图像;
分别对所述目标对象头部不同部分的图像进行特征提取,得到所述目标对象的头部各部分的特征。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的包括各个所述独立资源包的下载地址的下载地址列表;
基于所述下载地址列表,分别下载每个所述独立资源包。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
所述获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
获取对应所述虚拟形象模型的头部各部分中目标部分的主资源包、以及所述头部各部分中对应非目标部分的辅资源包;
其中,所述主资源包包含的素材所对应的样式为可调样式;
所述辅资源包包含的素材所对应的样式为固定样式;
所述目标部分包括:鼻子、嘴巴和脸型。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
接收到针对所述虚拟形象模型头部各部分中目标部分的调整指令;
基于所述调整指令,调整所述目标部分对应的主资源包包含的素材所对应的样式,以使所述目标部分与所述目标对象的相应部分满足相似度条件。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
在所述视图界面呈现图像扫描框,所述图像扫描框与所述目标对象的轮廓相匹配;
基于所述图像扫描框,采集所述目标对象的帧图像。
根据本公开的一个或多个实施例,本公开实施例提供了一种虚拟形象的生成方法,还包括:
在采集所述目标对象的帧图像之后,呈现用于表示所述帧图像识别进度的信息提示功能项;
当所述信息提示功能项提示所述帧图像识别失败,呈现包含提示信息的图像扫描框,所述提示信息用于提示调整以下至少之一:拍摄姿势、拍摄角度、拍摄距离;
基于所述图像扫描框,重新采集所述目标对象的帧图像。
根据本公开的一个或多个实施例,本公开实施例还提供了一种虚拟形象的生成装置,包括:
采集模块,用于响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;
获取模块,用于基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;
渲染模块,用于基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象。
以上描述仅为本公开的实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (18)

1.一种虚拟形象的生成方法,其特征在于,所述方法包括:
响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;
基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;
其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;
基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象。
2.如权利要求1所述的方法,其特征在于,所述基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征;
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征;
其中,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的携带所述素材的多个独立资源包。
3.如权利要求2所述的方法,其特征在于,所述基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征,包括:
识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于所述目标对象的头部各部分对应的图像区域,对所述帧图像进行区域分割,得到对应所述目标对象头部不同部分的图像;
分别对所述目标对象头部不同部分的图像进行特征提取,得到所述目标对象的头部各部分的特征。
4.如权利要求1所述的方法,其特征在于,所述基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的包括各个所述独立资源包的下载地址的下载地址列表;
基于所述下载地址列表,分别下载每个所述独立资源包。
5.如权利要求1所述的方法,其特征在于,所述获取对应所述目标对象的虚拟形象模型的多个独立资源包,包括:
获取对应所述虚拟形象模型的头部各部分中目标部分的主资源包、以及所述头部各部分中对应非目标部分的辅资源包;
其中,所述主资源包包含的素材所对应的样式为可调样式;
所述辅资源包包含的素材所对应的样式为固定样式;
所述目标部分包括:鼻子、嘴巴和脸型。
6.如权利要求5所述的方法,其特征在于,所述方法还包括:
接收到针对所述虚拟形象模型头部各部分中目标部分的调整指令;
基于所述调整指令,调整所述目标部分对应的主资源包包含的素材所对应的样式,以使所述目标部分与所述目标对象的相应部分满足相似度条件。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
在所述视图界面呈现图像扫描框,所述图像扫描框与所述目标对象的轮廓相匹配;
基于所述图像扫描框,采集所述目标对象的帧图像。
8.如权利要求7所述的方法,其特征在于,在采集所述目标对象的帧图像之后,所述方法还包括:
呈现用于表示所述帧图像识别进度的信息提示功能项;
当所述信息提示功能项提示所述帧图像识别失败,呈现包含提示信息的图像扫描框,所述提示信息用于提示调整以下至少之一:拍摄姿势、拍摄角度、拍摄距离;
基于所述图像扫描框,重新采集所述目标对象的帧图像。
9.一种虚拟形象的生成装置,其特征在于,所述装置包括:
采集模块,用于响应于通过视图界面触发的虚拟形象的生成指令,采集目标对象的帧图像;
获取模块,用于基于采集的目标对象的帧图像,获取对应所述目标对象的虚拟形象模型的多个独立资源包;其中,所述虚拟形象模型的头部各部分与所述目标对象的头部相应部分的相似度满足相似度条件;每个所述独立资源包分别包含所述虚拟形象模型的头部各部分对应的素材之一;
渲染模块,用于基于多个所述独立资源包包含的素材,渲染并呈现所述目标对象的虚拟形象。
10.如权利要求9所述的装置,其特征在于,
所述获取模块,用于基于采集的目标对象的帧图像,获取所述目标对象的头部各部分的特征;
发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征;
其中,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的携带所述素材的多个独立资源包。
11.如权利要求10所述的装置,其特征在于,
所述获取模块,用于识别所述帧图像中包含的目标对象的头部不同部分,以确定所述目标对象的头部各部分对应的图像区域;
基于所述目标对象的头部各部分对应的图像区域,对所述帧图像进行区域分割,得到对应所述目标对象头部不同部分的图像;
分别对所述目标对象头部不同部分的图像进行特征提取,得到所述目标对象的头部各部分的特征。
12.如权利要求9所述的装置,其特征在于,
所述获取模块,用于发送对应所述目标对象的虚拟形象的获取请求,所述获取请求携带所述目标对象的头部各部分的特征,所述头部各部分的特征,用于供确定所述头部各部分所属的类别,以基于所述类别确定所述头部各部分对应的素材;
接收返回的包括各个所述独立资源包的下载地址的下载地址列表;
基于所述下载地址列表,分别下载每个所述独立资源包。
13.如权利要求9所述的装置,其特征在于,
所述获取模块,用于获取对应所述虚拟形象模型的头部各部分中目标部分的主资源包、以及所述头部各部分中对应非目标部分的辅资源包;
其中,所述主资源包包含的素材所对应的样式为可调样式;
所述辅资源包包含的素材所对应的样式为固定样式;
所述目标部分包括:鼻子、嘴巴和脸型。
14.如权利要求13所述的装置,其特征在于,所述装置还包括:
调整模块,用于接收到针对所述虚拟形象模型头部各部分中目标部分的调整指令;
基于所述调整指令,调整所述目标部分对应的主资源包包含的素材所对应的样式,以使所述目标部分与所述目标对象的相应部分满足相似度条件。
15.如权利要求9所述的装置,其特征在于,
所述采集模块,还用于在所述视图界面呈现图像扫描框,所述图像扫描框与所述目标对象的轮廓相匹配;
基于所述图像扫描框,采集所述目标对象的帧图像。
16.如权利要求15所述的装置,其特征在于,
所述采集模块,还用于呈现用于表示所述帧图像识别进度的信息提示功能项;
当所述信息提示功能项提示所述帧图像识别失败,呈现包含提示信息的图像扫描框,所述提示信息用于提示调整以下至少之一:拍摄姿势、拍摄角度、拍摄距离;
基于所述图像扫描框,重新采集所述目标对象的帧图像。
17.一种终端,其特征在于,所述终端包括:
存储器,用于存储可执行指令;
处理器,用于执行所述可执行指令时,实现如权利要求1至8任一项所述的虚拟形象的生成方法。
18.一种存储介质,其特征在于,存储有可执行指令,所述可执行指令被执行时,用于实现如权利要求1至8任一项所述的虚拟形象的生成方法。
CN201911054544.5A 2019-10-31 2019-10-31 虚拟形象的生成方法、装置、终端及存储介质 Pending CN110827379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911054544.5A CN110827379A (zh) 2019-10-31 2019-10-31 虚拟形象的生成方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911054544.5A CN110827379A (zh) 2019-10-31 2019-10-31 虚拟形象的生成方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN110827379A true CN110827379A (zh) 2020-02-21

Family

ID=69552090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911054544.5A Pending CN110827379A (zh) 2019-10-31 2019-10-31 虚拟形象的生成方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110827379A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612876A (zh) * 2020-04-27 2020-09-01 北京小米移动软件有限公司 表情生成方法、装置及存储介质
CN111935528A (zh) * 2020-06-22 2020-11-13 北京百度网讯科技有限公司 视频生成方法和装置
CN112764649A (zh) * 2021-01-29 2021-05-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、设备及存储介质
CN113096224A (zh) * 2021-04-01 2021-07-09 游艺星际(北京)科技有限公司 三维虚拟形象的生成方法及装置
CN113163224A (zh) * 2021-04-27 2021-07-23 思享智汇(海南)科技有限责任公司 一种虚拟形象的发放方法、系统及存储介质
CN113761281A (zh) * 2021-04-26 2021-12-07 腾讯科技(深圳)有限公司 虚拟资源处理方法、装置、介质及电子设备
CN114119935A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置
CN114187394A (zh) * 2021-12-13 2022-03-15 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备以及存储介质
CN114327705A (zh) * 2021-12-10 2022-04-12 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN114385285A (zh) * 2021-11-30 2022-04-22 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
CN116246009A (zh) * 2022-09-06 2023-06-09 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
WO2023160196A1 (zh) * 2022-02-22 2023-08-31 Oppo广东移动通信有限公司 内容显示方法、装置、电子设备及存储介质
WO2024152924A1 (zh) * 2023-01-18 2024-07-25 北京字跳网络技术有限公司 虚拟对象的处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717719A (zh) * 2018-05-23 2018-10-30 腾讯科技(深圳)有限公司 卡通人脸图像的生成方法、装置及计算机存储介质
CN109271553A (zh) * 2018-08-31 2019-01-25 乐蜜有限公司 一种虚拟形象视频播放方法、装置、电子设备及存储介质
CN109345616A (zh) * 2018-08-30 2019-02-15 腾讯科技(深圳)有限公司 三维虚拟宠物的二维渲染图的生成方法、设备及存储介质
CN110058685A (zh) * 2019-03-20 2019-07-26 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717719A (zh) * 2018-05-23 2018-10-30 腾讯科技(深圳)有限公司 卡通人脸图像的生成方法、装置及计算机存储介质
CN109345616A (zh) * 2018-08-30 2019-02-15 腾讯科技(深圳)有限公司 三维虚拟宠物的二维渲染图的生成方法、设备及存储介质
CN109271553A (zh) * 2018-08-31 2019-01-25 乐蜜有限公司 一种虚拟形象视频播放方法、装置、电子设备及存储介质
CN110058685A (zh) * 2019-03-20 2019-07-26 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612876A (zh) * 2020-04-27 2020-09-01 北京小米移动软件有限公司 表情生成方法、装置及存储介质
CN111935528A (zh) * 2020-06-22 2020-11-13 北京百度网讯科技有限公司 视频生成方法和装置
CN112764649A (zh) * 2021-01-29 2021-05-07 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、设备及存储介质
CN113096224A (zh) * 2021-04-01 2021-07-09 游艺星际(北京)科技有限公司 三维虚拟形象的生成方法及装置
CN113761281A (zh) * 2021-04-26 2021-12-07 腾讯科技(深圳)有限公司 虚拟资源处理方法、装置、介质及电子设备
CN113761281B (zh) * 2021-04-26 2024-05-14 腾讯科技(深圳)有限公司 虚拟资源处理方法、装置、介质及电子设备
CN113163224A (zh) * 2021-04-27 2021-07-23 思享智汇(海南)科技有限责任公司 一种虚拟形象的发放方法、系统及存储介质
CN114119935B (zh) * 2021-11-29 2023-10-03 北京百度网讯科技有限公司 图像处理方法和装置
CN114119935A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置
CN114385285A (zh) * 2021-11-30 2022-04-22 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
CN114385285B (zh) * 2021-11-30 2024-02-06 重庆长安汽车股份有限公司 一种基于汽车ai智慧助手的形象创建方法
CN114327705A (zh) * 2021-12-10 2022-04-12 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN114327705B (zh) * 2021-12-10 2023-07-14 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN114187394A (zh) * 2021-12-13 2022-03-15 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备以及存储介质
WO2023160196A1 (zh) * 2022-02-22 2023-08-31 Oppo广东移动通信有限公司 内容显示方法、装置、电子设备及存储介质
CN116246009A (zh) * 2022-09-06 2023-06-09 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
CN116246009B (zh) * 2022-09-06 2024-04-16 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
WO2024152924A1 (zh) * 2023-01-18 2024-07-25 北京字跳网络技术有限公司 虚拟对象的处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110827379A (zh) 虚拟形象的生成方法、装置、终端及存储介质
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN110827378B (zh) 虚拟形象的生成方法、装置、终端及存储介质
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
CN110782515A (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN110796721A (zh) 虚拟形象的颜色渲染方法、装置、终端及存储介质
JP7387202B2 (ja) 3次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN113362263B (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
WO2022171024A1 (zh) 图像显示方法、装置、设备及介质
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
CN111429338B (zh) 用于处理视频的方法、装置、设备和计算机可读存储介质
CN112866577B (zh) 图像的处理方法、装置、计算机可读介质及电子设备
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN111340865B (zh) 用于生成图像的方法和装置
CN110570383A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113344776A (zh) 图像处理方法、模型训练方法、装置、电子设备及介质
CN115937356A (zh) 图像处理方法、装置、设备及介质
CN114742856A (zh) 一种视频处理方法、装置、设备及介质
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
WO2023140787A2 (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN115272151A (zh) 图像处理方法、装置、设备及存储介质
CN115601487A (zh) 特效处理方法、装置、电子设备和存储介质
CN112053450B (zh) 文字的显示方法、装置、电子设备及存储介质
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质
CN110324533A (zh) 处理图像的方法、装置、电子设备、及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination