CN113538642A - 虚拟形象生成方法、装置、电子设备和存储介质 - Google Patents
虚拟形象生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113538642A CN113538642A CN202110817264.6A CN202110817264A CN113538642A CN 113538642 A CN113538642 A CN 113538642A CN 202110817264 A CN202110817264 A CN 202110817264A CN 113538642 A CN113538642 A CN 113538642A
- Authority
- CN
- China
- Prior art keywords
- preset
- target
- virtual object
- layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012790 confirmation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 241001504424 Zosteropidae Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及图像处理技术领域，提供一种虚拟形象生成方法、装置、电子设备和存储介质。通过获取包括目标对象的初始图像，再获得与目标对象对应的目标虚拟对象，然后基于目标虚拟对象和预设模板，得到动态虚拟形象，该预设模板中包括预设虚拟对象、预设运动轨迹还有预设虚拟对象与预设运动轨迹的第一绑定关系，目标虚拟对象与预设虚拟对象具有第一对应关系。从而可以基于图片快速生成动态的虚拟形象，不需要人工干预，操作简单便捷，可以缩短虚拟形象制作的时间周期，提高生成虚拟形象的效率。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种虚拟形象生成方法、装置、电子设备和存储介质。
背景技术
随着技术的不断发展，虚拟形象的应用在大众的娱乐方式中普遍存在，如在动漫、直播还有短视频等领域中均有应用虚拟形象，以增强用户的使用乐趣。
目前，虚拟形象的制作通常需要专业人员进行操作，如创作、绘制和驱动等，需要较强的美术功底，并且操作繁琐复杂、存在制作时间周期长，产出效率不高的问题。
发明内容
有鉴于此，本发明的目的在于提供一种虚拟形象生成方法、装置、电子设备和存储介质。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明提供一种虚拟形象生成方法，所述方法包括：
获取包含目标对象的初始图像；
获得与所述目标对象对应的目标虚拟对象；
根据所述目标虚拟对象和预设模板，得到动态虚拟形象；所述预设模板包括预设虚拟对象、预设运动轨迹以及所述预设虚拟对象与所述预设运动轨迹的第一绑定关系；所述预设虚拟对象与所述目标虚拟对象具有第一对应关系。
在可选的实施方式中，所述根据所述目标虚拟对象和预设模板，得到动态虚拟形象的步骤，包括：
根据所述目标虚拟对象，得到多个初始图层，所述多个初始图层至少包括一个待修复图层和一个未修复图层；
对所述待修复图层进行处理，得到目标图层；
根据多个待定图层和所述预设模板，得到所述动态虚拟形象；所述多个待定图层包括全部目标图层和全部未修复图层。
在可选的实施方式中，所述待修复图层至少包括所述目标虚拟对象的一个部位；
所述对所述待修复图层进行处理，得到目标图层的步骤，包括：
根据所述待修复图层包含的部位，确定所述待修复图层中的待修复区域；
根据所述待修复区域的轮廓像素值，对所述待修复区域进行修复，得到所述目标图层。
在可选的实施方式中，所述根据所述目标虚拟对象和预设模板，得到动态虚拟形象的步骤，包括：
根据所述第一对应关系，将所述预设模板中的所述预设虚拟对象替换为所述目标虚拟对象；
根据所述第一绑定关系，建立所述目标虚拟对象与所述预设运动轨迹的第二绑定关系，得到所述动态虚拟形象。
在可选的实施方式中，所述目标对象为目标人物；所述目标虚拟对象为目标虚拟人物；所述目标虚拟人物包括多个人物图层；所述预设虚拟对象包括多个预设图层，所述预设运动轨迹包括多个预设子运动轨迹；
所述根据所述目标虚拟对象和预设模板，得到动态虚拟形象的步骤，包括：
根据所述第一对应关系，将所述预设模板中的与每个所述预设图层替换为对应的人物图层；
根据所述第一绑定关系，建立每个所述人物图层与一个所述预设子运动轨迹的第二绑定关系，得到动态虚拟人物；所述动态虚拟人物为所述动态虚拟形象。
在可选的实施方式中，所述获取包含目标对象的初始图像的步骤，包括：
根据用户在形象生成界面的交互操作，获取到包含目标对象的初始图像。
在可选的实施方式中，所述方法还包括：
根据用户在所述形象生成界面的确认操作，在形象展示界面显示所述动态虚拟形象。
第二方面，本发明提供一种虚拟形象生成装置，所述装置包括：
获取模块，用于获取包含目标对象的初始图像；
处理模块，用于获得与所述目标对象对应的目标虚拟对象；
生成模块，用于根据所述目标虚拟对象和预设模板，得到动态虚拟形象；所述预设模板包括预设虚拟对象、预设运动轨迹以及所述预设虚拟对象与所述预设运动轨迹的第一绑定关系；所述预设虚拟对象与所述目标虚拟对象具有第一对应关系。
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现前述实施方式中任一项所述的方法。
第四方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现前述实施方式中任一项所述的方法。
本发明实施例提供的虚拟形象生成方法、装置、电子设备和存储介质，通过获取包括目标对象的初始图像；再获得与目标对象对应的目标虚拟对象；然后基于目标虚拟对象和预设模板，得到动态虚拟形象，该预设模板中包括预设虚拟对象、预设运动轨迹还有预设虚拟对象与预设运动轨迹的第一绑定关系，目标虚拟对象与预设虚拟对象具有第一对应关系。从而可以基于图片快速生成动态的虚拟形象，不需要人工干预，操作简单便捷，从而缩短了虚拟形象制作的时间周期，提高了生成虚拟形象的效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的电子设备方框示意图；
图2示出了本发明实施例提供的虚拟形象生成方法的一种流程示意图；
图3示出了本发明实施例提供的虚拟形象生成方法的一个示例图；
图4示出了本发明实施例提供的虚拟形象生成方法的又一种流程示意图；
图5示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图6示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图7示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图8示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图9示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图10示出了本发明实施例提供的虚拟形象生成方法的又一种流程示意图；
图11示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图12示出了本发明实施例提供的虚拟形象生成方法的又一种流程示意图；
图13示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图14示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图15示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图16示出了本发明实施例提供的虚拟形象生成方法的又一种流程示意图；
图17示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图18示出了本发明实施例提供的虚拟形象生成方法的又一个示例图；
图19示出了本发明实施例提供的虚拟形象生成装置的一种功能模块图。
图标：100-电子设备；110-总线；120-处理器；130-存储器；150-I/O模块；170-通信接口；300-虚拟形象生成装置；310-获取模块；330-处理模块；350-生成模块；370-响应模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在直播领域中，可以应用虚拟形象来辅助主播进行直播，以提高观众观看直播的趣味性。在相关技术中，虚拟形象的制作较为复杂，需要人工参与，利用专业软件进行手工制作，使得虚拟形象制作的门槛较高，且制作周期长。
本发明实施例提供的虚拟形象生成方法，可以通过用户上传的图片，配置相关的虚拟形象模板，得到动态的虚拟形象，其具有操作简单，制作时间周期短的效果。下面将对本发明实施例提供的虚拟形象生成方法进行介绍。
请参照图1，是本发明实施例提供的一种电子设备100的方框示意图。电子设备100包括总线110、处理器120、存储器130、I/O模块150、通信接口170。
总线110可以是将上述元件相互连接并在上述元件之间传递通信(例如控制消息)的电路。
处理器120可以通过总线110从上述其它元件(例如存储器130、I/O模块150、通信接口170等)接收命令，可以解释接收到的命令，并可以根据所解释的命令来执行计算或数据处理。
处理器120可能是一种集成电路芯片，具有信号处理能力。该处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器130可以存储从处理器120或其它元件(例如I/O模块150、通信接口170等)接收的命令或数据或者由处理器120或其它元件产生的命令或数据。
存储器130可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(ElectricErasable Programmable Read-Only Memory，EEPROM)等。
I/O模块150可以接收经由输入-输出手段(例如，传感器、键盘、触摸屏等)从用户输入的命令或数据，并可以通过总线110向处理器120或存储器130传送接收到的命令或数据。并且用于显示从上述元件接收、存储、处理的各种信息(例如多媒体数据、文本数据)，可以向用户显示视频、图像、数据等。
通信接口170可用于与其他节点设备进行信令或数据的通信。
可以理解的是，图1所示的结构仅为电子设备100的结构示意图，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例提供的电子设备可以是智能手机、个人计算机、平板电脑、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer，UMPC)、上网本、个人数字助理(personaldigitalassistant，PDA)等。本发明实施例对此不作任何限制。
下面将以上述的电子设备100作为执行主体，执行本发明实施例提供的各个方法中的各个步骤，并实现对应技术效果。
请参阅图2，图2是本发明实施例提供的一种虚拟形象生成方法的流程示意图。
步骤S202，获取包含目标对象的初始图像；
其中，目标对象可以是人物、也可以是动物、或者其他对象，本发明不做限制。
初始图像可以是包含真实的人物、动物等其他对象的图像。
可选地，可以是基于用户的操作，获取到指定的初始图像；也可以是电子设备从本地存储中获取到的初始图像。
步骤S204，获得与目标对象对应的目标虚拟对象；
其中，目标虚拟对象是基于目标对象，生成的具有特定风格的图像，如二次元等风格的虚拟对象。
可选地，可以采用形象生成器来获得目标虚拟对象。形象生成器可以是基于GAN、VAE或Flow等网络结构训练得到的生成器。
可选地，可以将随机生成的特征输入到形象生成器中，得到随机组合的虚拟形象。也可以基于初始图像，将初始图像输入到特征编码器中，然后得到该初始图像对应的特征，将这些特效再输入到形象生成器中，可以得到目标对象对应的目标虚拟对象。
为了便于理解，本发明实施例提供了一个示例图，如图3所示，图中的(a1)表示一张初始图像，该初始图像中包括目标对象即人脸A，(a2)表示人脸A对应的虚拟对象即目标虚拟对象。图中的(b1)表示另一张初始图层，该初始图像中包括目标对象即人脸B，(b2)表示人脸B对应的虚拟对象即目标虚拟对象。需要说明的是，该示例图仅作为举例说明，初始图像可以是包括人物，或者动物以及其他对象的图片，本发明实施例不做限定。
步骤S206，根据目标虚拟对象和预设模板，得到动态虚拟形象；
其中，预设模板包括预设虚拟对象、预设运动轨迹以及预设虚拟对象与预设运动轨迹的第一绑定关系。
预设虚拟对象与所述目标虚拟对象具有第一对应关系。
可选地，目标虚拟对象与预设虚拟对象的具有第一对应关系，预设虚拟对象又与预设运动轨迹具有第一绑定关系，可以利用引擎驱动技术，使目标虚拟对象按照预设运行轨迹进行运动，得到一个动态虚拟形象。
可见基于上述设计，通过获取包括目标对象的初始图像；再获得与目标对象对应的目标虚拟对象；然后基于目标虚拟对象和预设模板，得到动态虚拟形象，该预设模板中包括预设虚拟对象、预设运动轨迹还有预设虚拟对象与预设运动轨迹的第一绑定关系，目标虚拟对象与预设虚拟对象具有第一对应关系。从而可以基于图片快速生成动态的虚拟形象，不需要人工干预，操作简单便捷，从而缩短了虚拟形象制作的时间周期，提高了生成虚拟形象的效率。
进一步地，为了使基于图片生成的动态的虚拟形象更加生动，本发明实施提供了一种可能的实现方式。请参阅图4，其中，步骤S206可以包括以下步骤：
步骤S206A-1，根据目标虚拟对象，得到多个初始图层；
可以理解的是，一个图像可以拆分为多个图层。
可选地，可以针对不同的虚拟对象，预先定义拆分的规则，基于该拆分规则，训练相应的拆分模型；再基于该拆分模型对目标虚拟对象进行拆分，得到多个初始图层，每个初始图层至少包括目标虚拟对象的一个部位。
可选地，本发明实施例中以初始图像中包含的目标对象是人物，其对应的目标虚拟对象是目标虚拟人物为例，进行介绍。
针对目标虚拟人物，可以将其拆分为前发、后发、鬓发、脸、驱干、手、脚、眉毛、口、眼珠、眼白等等部位的图层。
如图5至7所示，是本发明实施例提供的几个示例图。其中，图5表示的是人像分割；图6表示的是面部分割；图7表示的是前发与后发的分割。
如图8所示，是本发明实施例提供的另一个示例图，其中(d0)表示的是目标虚拟对象，(d1)至(d4)表示基于该目标虚拟对象得到的多个初始图层。其中，初始图层(d1)包括目标虚拟对象的前发即为前发图层，初始图层(d2)包括目标虚拟对象的后发即为后发图层，初始图层(d3)包括目标虚拟对象的面部即面部图层，初始图层(d4)包括目标虚拟对象的身体即身体图层。
步骤S206A-3，对待修复图层进行处理，得到目标图层；
可以理解的是，基于图片直接生成的动态虚拟形象，其按照预设运动轨迹进行运动的过程中，可能会因为缺失某些视角下的图像信息，而导致动态虚拟形象漏出空洞区域。
如图9所示，该图表示动态虚拟形象在运动过程中，后发出现了空洞区域。这是由于在原图片中该区域被遮挡，在运动过程中，被遮挡的区域可能需要显露出来，而拆分得到的初始图层未不包含被遮挡区域的图像信息，所以出现了空洞区域。
由此，对目标虚拟对象进行拆分图层后，为了避免生成的动态虚拟形象出现空洞区域，还可以进行图层修复。
可选地，可以根据预设模板中的预设运动轨迹，从多个初始图层确定出中需要修复的初始图层即待修复图层，利用图像修复技术(Inpainting)对待修复图层进行修复，得到目标图层。
步骤S206A-5，根据多个待定图层和预设模板，得到动态虚拟形象；
其中，待定图层包括全部目标图层和全部未修复图层。
可选地，将多个待定图层与预设模板中的预设虚拟形象建立对应关系，并与预设模板中的预设运动轨迹建立绑定关系，可以得到动态虚拟形象。
针对上述步骤S206A-3，本发明实施例提供了一种可能的实现方式。请参阅图10，其中，步骤S206A-3还可以包括：
步骤S206A-3-2，根据待修复图层包含的部位，确定待修复图层中的待修复区域；
可以理解的是，待修复图层包括目标虚拟形象的至少一个部位，可以按照该待修复图层所包含的部位，来确定待修复图层中的需要修复的区域即待修复区域。
下面将以图8中所示的目标虚拟人物为例进行说明。可以理解的是，初始图层可以具有图层顺序属性，该目标虚拟人物被拆分为前发、后发、面部和身体四个图层，前发图层为最前面的图层，即除前发图层以外，其他三个图层均需要进行修复。
针对后发图层，可以取前发图层和面部图层的并集区域，可以基于该并集区域再沿轮廓扩充预设值，作为后发图层的待修复区域。如图11中(e1)，表示后发图层中的待修复区域。
针对面部图层，可以取面部图层的max(width,height)为直径画一圆,圆心位置在面部图层的X,Y轴位置分别是X＝0.5*width,Y＝0.25*height,圆心区域中Y<0.5*height的部分与面部图层的并集即为待修复区域。如图11中(e2)，表示面部图层中的待修复区域。
针对身体图层，可以预先训练一个身体分割模型，基于该身体分割模型获取到完整身体图层，在将完整身体图层与基于拆分得到的身体图层进行相减，可以得到身体图层的待修复区域。如图11中的(e3)，表示身体图层中的待修复区域。
步骤S206A-3-4，根据待修复区域的轮廓像素值，对待修复区域进行修复，得到目标图层；
其中，轮廓像素值表示与该待修复区域的轮廓边缘相邻的非修复区域的像素值。非修复区域表示待修复图层中无需进行修复处理的区域。
可选地，可以取该待修复区域对应的轮廓像素值，计算轮廓像素值的平均像素值，基于该平均像素值对待修复区域进行填充，得到目标图层。也可以从待修复区域的轮廓到待修复区域的中心设置像素值梯度，使其呈现出颜色渗透。
如图11中的(f1)，该图表示对后发图层中的待修复区域进行修复后，得到的后发图层对应的目标图层。
如图11中的(f2)，该图表示对面部图层中的待修复区域进行修复后，得到的面部图层对应的目标图层。需要说明的是，在面部修复图层中，由于五官部位为虚拟形象中重要部位，五官部位会拆分为多个图层，该(f2)表示的是面部图层消除五官纹理后的示例图，仅作为示例说明。
如图11中的(f3)，该图表示对身体图层中的待修复区域进行修复后，得到的身体图层对应的目标图层。
通过上述步骤，对目标虚拟对象进行拆分，得到多个初始图层；并对多个初始图层中的待修复图层进行修复处理，填补待修复图层中的待修复区域，得到目标图层；基于全部的目标图层和全部的未修复图层以及预设模板，可以得到动态虚拟形象。从而避免生成的动态虚拟形象出现空洞区域，使动态虚拟形象更加的生动形象，提高了动态虚拟形象的呈现效果。
针对上述步骤S206，本发明实施例提供了一种可能的实现方式。请参阅图12，其中，步骤S206还可以包括以下步骤：
步骤S206B-1，根据第一对应关系，将预设模板中的预设虚拟对象替换为目标虚拟对象；
步骤S206B-3，根据第一绑定关系，建立目标虚拟对象与预设运动轨迹的第二绑定关系，得到动态虚拟形象；
可选地，可以采用绘图渲染技术如E-mote、Spine、Live2D等，将目标虚拟对象与多个用于渲染的三角形面片进行绑定，每个三角形面片均有对应的纹理，即蒙皮绑定。
通过该蒙皮绑定，基于第一对应关系可以将预设模板中的预设虚拟对象替换为目标虚拟对象。预设虚拟对象与预设运动轨迹具有第一绑定关系，基于该第一绑定关系，可以建立目标虚拟对象与预设运动轨迹的第二绑定关系，以得到动态的虚拟形象。
针对上述步骤S206B-1和步骤S206B-3，将以目标对象为目标人物且目标虚拟对象为目标虚拟人物为例，作进一步的说明。
目标虚拟人物可以包括多个人物图层，如上述实施例中介绍的可以将目标虚拟人物拆分为前发图层、后发图层、面部图层和身体图层。
预设模板中预设虚拟对象包括多个预设图层，每个预设图层包括预设虚拟对象的至少一个部位。预设运动轨迹包括多个预设子运动轨迹。
第一对应关系为人物图层与预设图层的对应关系；第一绑定关系为预设图层与预设子运动轨迹的绑定关系。
如图13所示，该图表示将预设虚拟对象进行拆分为多个部位的示意图，每个部位可以为一个预设图层。需要说明的是，该图是一张图对预设虚拟对象的多个部位进行示例性展示。
如图14中的(k0)，该图表示目标虚拟对象，图中的(k1)至(k3)是基于该目标虚拟对象得到的三个人物图层，即(k1)表示前发图层、(k2)表示后发图层、(k3)表示身体图层。需要说明的是，在本实施例中，目标虚拟对象的面部特征和五官特征，将采用预设虚拟对象中包含对应部位的图层。
基于上述步骤S206B-1，可以根据第一对应关系，将预设模板中的目标预设图层替换为对应的人物图层，目标预设图层表示在多个预设图层中与人物具有对应关系的预设图层。如与前发图层、后发图层和身体图层对应的预设图层，即为目标图层。
基于上述步骤S206B-3，根据预设图层与预设子运动轨迹的绑定关系，建立人物图层与预设子运动轨迹的第二绑定关系，可以得到动态虚拟人物。
如图15所示，是基于上述图13中的预设虚拟对象和上述图中14的目标虚拟对象，得到的动态虚拟形象。可以理解的是，该图15该动态虚拟形象在运行过程中的部分信息展示。
在上述实施例中，可以基于图片生成动态的虚拟形象，其可以应用于直播领域中，使主播用户通过上传包含自身人脸的图片，生成与自身相匹配的动态的虚拟形象，用于辅助进行直播，可以提高直播间的趣味性。进而，本发明实施例提供了一种可能实现的方式。请参阅图16，是本发明实施例提供的一种虚拟形象生成方法的流程示意图。
请参阅图17中的(n1)，是本发明实施例提供的一个形象生成界面的示例图。该形象生成界面包括图像获取区域、模板获取区域和确认区域。图像获取区域包括上传子区域和拍照子区域。模板获取区域显示有多个预先设置的模板。
如图17中的(n2)，当检测到主播用户在图像获取区域的交互操作时，响应该交互操作。若该交互操作在上传子区域，则调用电子设备中本地的图片，基于主播用户的选择操作，获取到与选择操作对应的图片，即获取到初始图像。若该交互操作在拍照子区域，则调用电子设备的拍照功能，获取到拍摄的图像即初始图像。
如图17中的(n3)，主播用户上传图片后，在模板获取区域选择模板，根据主播用户的选择操作，获取到目标模板即模板1。
如图17中的(n4)，主播用户在上传图片和选择模板后，在确认区域执行确认操作，响应该确认操作，根据获取到初始图像和目标模板，执行上述生成动态虚拟形象的步骤，生成动态虚拟形象，显示图18中的(m1)。
如图18中的(m1)是本发明实施例提供的一个形象展示界面，该形象展示界面包括预览区域和选择区域。预览区域用于显示生成的动态虚拟形象。选择区域用于确认是否保存本次生成的动态虚拟形象。
如图18中的(m1)，当检测到主播用户在形象展示界面的选择区域的确认操作时，响应该确认操作。若该确认操作对应的是“取消”控件，则显示如图17中(n1)的界面，可以重新进行生成动态虚拟形象的交互步骤。若该确认操作对应的是“保存”控件，则显示如图18中(m2)的界面。主播用户若选择保存该动态虚拟形象，可以在开启直播间时，选用该动态虚拟形象。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种虚拟形象生成装置的实现方式。请参阅图19，图19为本发明实施例提供的一种虚拟形象生成装置300的功能模块图。需要说明的是，本实施例所提供的虚拟形象生成装置300，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该虚拟形象生成装置300包括：
获取模块310，用于获取包含目标对象的初始图像；
处理模块330，用于获得与目标对象对应的目标虚拟对象；
生成模块350，用于根据目标虚拟对象和预设模板，得到动态虚拟形象；预设模板包括预设虚拟对象、预设运动轨迹以及预设虚拟对象与预设运动轨迹的第一绑定关系；预设虚拟对象与目标虚拟对象具有第一对应关系。
可选地，生成模块350还用于根据目标虚拟对象，得到多个初始图层，多个初始图层至少包括一个待修复图层和一个未修复图层；
对待修复图层进行处理，得到目标图层；
根据多个待定图层和预设模板，得到动态虚拟形象；多个待定图层包括全部目标图层和全部未修复图层。
可选地，生成模块350还用于根据待修复图层包含的部位，确定待修复图层中的待修复区域；
根据待修复区域的轮廓像素值，对待修复区域进行修复，得到目标图层。
可选地，生成模块350还用于根据第一对应关系，将预设模板中的预设虚拟对象替换为目标虚拟对象；
根据第一绑定关系，建立目标虚拟对象与预设运动轨迹的第二绑定关系，得到动态虚拟形象。
可选地，生成模块350还用于根据第一对应关系，将预设模板中的与每个预设图层替换为对应的人物图层；
根据第一绑定关系，建立每个人物图层与一个预设子运动轨迹的第二绑定关系，得到动态虚拟人物；动态虚拟人物为动态虚拟形象。
可选地，获取模块310还用于根据用户在形象生成界面的交互操作，获取到包含目标对象的初始图像。
可选地，虚拟形象生成装置300还包括响应模块370，响应模块370用于根据用户在形象生成界面的确认操作，在形象展示界面显示动态虚拟形象。
本发明实施例还提供了一种电子设备，包括处理器120和存储器130，存储器130存储有计算机程序，处理器执行计算机程序时，实现上述实施例揭示的虚拟形象生成的方法。
本发明实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器120执行时实现本发明实施例揭示的虚拟形象生成方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种虚拟形象生成方法，其特征在于，所述方法包括：
获取包含目标对象的初始图像；
获得与所述目标对象对应的目标虚拟对象；
根据所述目标虚拟对象和预设模板，得到动态虚拟形象；所述预设模板包括预设虚拟对象、预设运动轨迹以及所述预设虚拟对象与所述预设运动轨迹的第一绑定关系；所述预设虚拟对象与所述目标虚拟对象具有第一对应关系。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标虚拟对象和预设模板，得到动态虚拟形象的步骤，包括：
根据所述目标虚拟对象，得到多个初始图层，所述多个初始图层至少包括一个待修复图层和一个未修复图层；
对所述待修复图层进行处理，得到目标图层；
根据多个待定图层和所述预设模板，得到所述动态虚拟形象；所述多个待定图层包括全部目标图层和全部未修复图层。
3.根据权利要求2所述的方法，其特征在于，所述待修复图层至少包括所述目标虚拟对象的一个部位；
所述对所述待修复图层进行处理，得到目标图层的步骤，包括：
根据所述待修复图层包含的部位，确定所述待修复图层中的待修复区域；
根据所述待修复区域的轮廓像素值，对所述待修复区域进行修复，得到所述目标图层。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标虚拟对象和预设模板，得到动态虚拟形象的步骤，包括：
根据所述第一对应关系，将所述预设模板中的所述预设虚拟对象替换为所述目标虚拟对象；
根据所述第一绑定关系，建立所述目标虚拟对象与所述预设运动轨迹的第二绑定关系，得到所述动态虚拟形象。
5.根据权利要求4所述的方法，其特征在于，所述目标对象为目标人物；所述目标虚拟对象为目标虚拟人物；所述目标虚拟人物包括多个人物图层；所述预设虚拟对象包括多个预设图层，所述预设运动轨迹包括多个预设子运动轨迹；
所述根据所述目标虚拟对象和预设模板，得到动态虚拟形象的步骤，包括：
根据所述第一对应关系，将所述预设模板中的与每个所述预设图层替换为对应的人物图层；
根据所述第一绑定关系，建立每个所述人物图层与一个所述预设子运动轨迹的第二绑定关系，得到动态虚拟人物；所述动态虚拟人物为所述动态虚拟形象。
6.根据权利要求1所述的方法，其特征在于，所述获取包含目标对象的初始图像的步骤，包括：
根据用户在形象生成界面的交互操作，获取到包含目标对象的初始图像。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据用户在所述形象生成界面的确认操作，在形象展示界面显示所述动态虚拟形象。
8.一种虚拟形象生成装置，其特征在于，所述装置包括：
获取模块，用于获取包含目标对象的初始图像；
处理模块，用于获得与所述目标对象对应的目标虚拟对象；
生成模块，用于根据所述目标虚拟对象和预设模板，得到动态虚拟形象；所述预设模板包括预设虚拟对象、预设运动轨迹以及所述预设虚拟对象与所述预设运动轨迹的第一绑定关系；所述预设虚拟对象与所述目标虚拟对象具有第一对应关系。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110817264.6A CN113538642A (zh) | 2021-07-20 | 2021-07-20 | 虚拟形象生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110817264.6A CN113538642A (zh) | 2021-07-20 | 2021-07-20 | 虚拟形象生成方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113538642A true CN113538642A (zh) | 2021-10-22 |
Family
ID=78128902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110817264.6A Pending CN113538642A (zh) | 2021-07-20 | 2021-07-20 | 虚拟形象生成方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538642A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114584704A (zh) * | 2022-02-08 | 2022-06-03 | 维沃移动通信有限公司 | 拍摄方法、装置和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986192A (zh) * | 2018-07-26 | 2018-12-11 | 北京运多多网络科技有限公司 | 用于直播的数据处理方法及装置 |
| CN110310372A (zh) * | 2018-03-20 | 2019-10-08 | 韩国电子通信研究院 | 动态虚拟对象实现系统及方法 |
| CN110827378A (zh) * | 2019-10-31 | 2020-02-21 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、终端及存储介质 |
| CN112152901A (zh) * | 2019-06-26 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 一种虚拟形象控制方法、装置及电子设备 |
-
2021
- 2021-07-20 CN CN202110817264.6A patent/CN113538642A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310372A (zh) * | 2018-03-20 | 2019-10-08 | 韩国电子通信研究院 | 动态虚拟对象实现系统及方法 |
| CN108986192A (zh) * | 2018-07-26 | 2018-12-11 | 北京运多多网络科技有限公司 | 用于直播的数据处理方法及装置 |
| CN112152901A (zh) * | 2019-06-26 | 2020-12-29 | 腾讯科技（深圳）有限公司 | 一种虚拟形象控制方法、装置及电子设备 |
| CN110827378A (zh) * | 2019-10-31 | 2020-02-21 | 北京字节跳动网络技术有限公司 | 虚拟形象的生成方法、装置、终端及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114584704A (zh) * | 2022-02-08 | 2022-06-03 | 维沃移动通信有限公司 | 拍摄方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102658960B1 (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
| CN106385591B (zh) | 视频处理方法及视频处理装置 | |
| CN111860167B (zh) | 人脸融合模型获取及人脸融合方法、装置及存储介质 | |
| CN108305309B (zh) | 基于立体动画的人脸表情生成方法和装置 | |
| WO2014178044A1 (en) | Method and system for providing personal emoticons | |
| CN108876886B (zh) | 图像处理方法、装置和计算机设备 | |
| CN111739167B (zh) | 3d人头重建方法、装置、设备和介质 | |
| KR101743764B1 (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
| KR20210058320A (ko) | 단일 입력 영상을 이용한 3d 모델 생성 방법 및 이를 위한 장치 | |
| KR20210113679A (ko) | 다수의 사람들이 등장하는 개인화된 비디오를 제공하기 위한 시스템들 및 방법들 | |
| US20160086365A1 (en) | Systems and methods for the conversion of images into personalized animations | |
| JP6378323B2 (ja) | 密な動き場を介する下位のビデオシーケンスへの画像編集伝達 | |
| CN111640184A (zh) | 古建筑物重现方法、装置、电子设备及存储介质 | |
| CN113538642A (zh) | 虚拟形象生成方法、装置、电子设备和存储介质 | |
| US11790531B2 (en) | Whole body segmentation | |
| CN114170472A (zh) | 图像处理方法、可读存储介质及计算机终端 | |
| CN115379195B (zh) | 视频生成方法、装置、电子设备和可读存储介质 | |
| KR102170445B1 (ko) | 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법 | |
| CN108958571B (zh) | 三维会话数据展示方法、装置、存储介质和计算机设备 | |
| Queiroz et al. | A framework for generic facial expression transfer | |
| US20230138434A1 (en) | Extraction of user representation from video stream to a virtual environment | |
| US20230087476A1 (en) | Methods and apparatuses for photorealistic rendering of images using machine learning | |
| CN113409433B (zh) | 一种基于移动终端的医学三维模型显示和切割系统 | |
| JP7251003B2 (ja) | 細かいしわを有する顔メッシュ変形 | |
| CN112634339B (zh) | 商品对象信息展示方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |