CN113487710A - 虚拟形象生成方法、装置、电子设备和计算机可读存储介质 - Google Patents
虚拟形象生成方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113487710A CN113487710A CN202110783976.0A CN202110783976A CN113487710A CN 113487710 A CN113487710 A CN 113487710A CN 202110783976 A CN202110783976 A CN 202110783976A CN 113487710 A CN113487710 A CN 113487710A
- Authority
- CN
- China
- Prior art keywords
- layer
- picture
- target
- sequence frame
- avatar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 239000000463 material Substances 0.000 claims abstract description 107
- 238000010276 construction Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 125
- 238000013473 artificial intelligence Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 28
- 230000014509 gene expression Effects 0.000 description 25
- 210000004709 eyebrow Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000004397 blinking Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明的实施例提供了一种虚拟形象生成方法、装置、电子设备和计算机可读存储介质，涉及数据处理技术领域，方法包括：获得序列帧素材图片数据，序列帧素材图片数据中包括目标图片，目标图片通过将针对美术素材的各图层进行美术渲染所得到的结果进行输出得到，目标图片包括多个图层。获得待生成的虚拟形象的序列帧图片，按照目标图片中图层的构建方式，对序列帧图片进行图层拆分。进而基于序列帧素材图片数据，使用美术素材的相应图层替换序列帧图片的图层。从而实现了对美术素材的巧妙应用，提高了虚拟形象生成的便捷性。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种虚拟形象生成方法、装置、电子设备和计算机可读存储介质。
背景技术
随着互联网的快速发展，越来越多的场景中使用到虚拟形象，现今，虚拟形象的生成和驱动对美术操作依赖较强，实现较为不便。
发明内容
本发明的目的之一包括，例如，提供了一种虚拟形象生成方法、装置、电子设备和计算机可读存储介质，以至少部分地提高虚拟形象生成的便捷性。
本发明的实施例可以这样实现：
第一方面，本发明提供一种虚拟形象生成方法，包括：
获得序列帧素材图片数据，所述序列帧素材图片数据中包括目标图片，所述目标图片通过将针对美术素材的各图层进行美术渲染所得到的结果进行输出得到，所述目标图片包括多个图层；
获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分；
基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换。
在可选的实施方式中，所述获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分的步骤，包括：
根据虚拟形象所要达到的目标动作，得到待生成的各帧图片；
针对待生成的每帧图片，按照所述目标图片中图层的构建方式，对该帧图片进行图层拆分；
所述基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换的步骤，包括：
针对待生成的每帧图片，获得达到所述目标动作过程中，该帧图片的各图层中需进行替换的目标图层；
从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换。
在可选的实施方式中，所述获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分的步骤，包括：
根据虚拟形象所要达到的目标动作，得到达到所述目标动作过程中需要进行替换的目标图层以及所述目标图层的序列；
基于所述序列，以时间轴的方式对各所述目标图层进行编辑，指定各时间点各所述目标图层所对应的动作和参数值；
基于所述动作和参数值，从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换。
在可选的实施方式中，每个所述图层对应于所述虚拟形象的至少一个部件，各所述图层组合形成所述虚拟形象，所述目标图层为所述虚拟形象达到所述目标动作所涉及到的部件所在的至少一个图层；
所述从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换的步骤，包括：
从所述序列帧素材图片数据中查找出所述虚拟形象达到所述目标动作所涉及到的部件所在的图层；
从查找出的所述图层中裁剪出所述目标动作所涉及到的部件；
将裁剪出的所述部件贴附至所述目标图层中该部件所在区域。
在可选的实施方式中，所述方法还包括获得目标图片的步骤，该步骤包括：
对绘制完成的美术素材进行三角形变；
将每次对所述美术素材的三角形变结果输出为目标图片。
在可选的实施方式中，所述方法还包括获得目标图片的步骤，该步骤包括：
对绘制完成的美术素材进行三角形变；
将所述三角形变作用在的部件所在的图层作为待输出图层，将所述待输出图层的三角形变结果输出为目标图片；
其中，每个图层对应于虚拟形象的至少一个部件。
在可选的实施方式中，所述序列帧图片通过AI生成。
第二方面，本发明实施例提供一种虚拟形象生成装置，包括：
信息获得模块，用于获得序列帧素材图片数据，所述序列帧素材图片数据中包括目标图片，所述目标图片通过将针对美术素材的各图层进行美术渲染所得到的结果进行输出得到，所述目标图片包括多个图层；
信息处理模块，用于获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分；基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换。
第三方面，本发明提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施方式任一项所述的虚拟形象生成方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行前述实施方式任一项所述的虚拟形象生成方法。
本发明实施例的有益效果包括，例如：通过将针对美术素材的各图层进行美术渲染所得到的结果输出为目标图片，形成序列帧素材图片数据，并对待生成的虚拟形象的序列帧图片进行对应的图层拆分，从而能够基于序列帧素材图片数据，使用美术素材的相应图层替换序列帧图片的图层，进而实现了对美术素材的巧妙应用，提高了虚拟形象生成的便捷性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的一种虚拟形象的图层拆解示意图。
图2示出了本发明实施例提供的一种基于美术的虚拟形象生成示意图。
图3示出了本发明实施例提供的一种基于AI的虚拟形象生成示意图。
图4示出了本发明实施例提供的一种应用场景示意图。
图5示出了本发明实施例提供的一种虚拟形象生成方法的流程示意图。
图6示出了本发明实施例提供的一种目标图片生成示意图。
图7示出了本发明实施例提供的一种基于AI生成序列帧图片的示意图。
图8示出了本发明实施例提供的一种基于AI生成眼睛序列的示意图。
图9示出了本发明实施例提供的一种基于AI生成嘴序列的示意图。
图10示出了本发明实施例提供的一种基于AI生成眉毛序列的示意图。
图11示出了本发明实施例提供的一种使用素材编辑工具进行表情动作组合的示意图。
图12示出了本发明实施例提供的一种组合出的全图表情或动作示意图。
图13示出了本发明实施例提供的一种基于AI生成的各部件序列示意图。
图14示出了本发明实施例提供的一种虚拟形象的原图示意图。
图15示出了本发明实施例提供的一种虚拟形象的全图表情示意图。
图16示出了本发明实施例提供的一种抱狗系列中虚拟形象身体的美术素材示意图。
图17示出了本发明实施例提供的一种敲键盘系列中虚拟形象身体的美术素材示意图。
图18示出了本发明实施例提供的一种虚拟形象生成装置的示例性结构框图。
图标：100-电子设备；110-存储器；120-处理器；130-通信模块；140-虚拟形象生成装置；141-信息获得模块；142-信息处理模块。
具体实施方式
现今，虚拟形象的生成和驱动对美术依赖较强，实现较为不便。传统2D图像的驱动需要美术事前画好素材，根据素材绑定蒙皮，再通过对贴图进行三角形变来输出动作。在基于美术生成虚拟形象的方案中，拆解图层是由美术根据形象自行设计和定义，没有统一的格式和标准。
如图1所示，为列举的其中一种图层拆解示意图，其中，可以将虚拟形象的各个部件(如头、脸、身体、眼、鼻、嘴、眉毛、手、腿等)灵活进行拆解。例如，可以将每个部件分别拆解为一个图层，又例如，可以将两个以上部件灵活拆解为一个图层。相应地，每个图层可能对应一个或两个以上部件。
示例性地，传统2D虚拟形象的生成和驱动，首先要通过美术将形象拆解成多个图层分别绘制，然后在Spine、E-mote、Live2D等引擎中对图层进行组合和设置，建立蒙皮并输出动作。
如图2所示，为列举的其中一种根据美术，基于姿势序列的虚拟形象生成示意图。基于时间轴设定不同的条件(Conditions)和潜在插值(Latent interpolation)，通过三角形变的动作引擎驱动便可生成各角色(Character)在时间轴上的虚拟形象。按时间序列进行虚拟形象播放便可实现动画生成。例如，按图2纵向播放，虚拟形象便可完成跳跃转圈的动作。
然而，整个过程强依赖美术，门槛较高，整个形象从创作、绘制到驱动，耗时较长，难以量产化，实现十分不便。
近年随着AI(Artificial Intelligence，人工智能)技术的进步，以图像序列帧方式生成的2D图像驱动应用也日渐增多。例如，可以基于AI利用深度学习方法以序列帧的形式生成虚拟形象的表情或动作。
如图3所示，为列举的其中一种基于AI，输入(Input)原始图像，通过设定动作和参数值，得到各种表情(如高兴(happy)、伤心(sad)、生气(angry)、厌恶(disgusted)、高傲(condescending)、往上看(uwamedukai)、惊讶(gangimari-gao)等)的示意图。
AI具有生成无限动作素材的能力，然而，可用于AI训练的拆解图层的数量较少，难以通过AI的方式学习和生成精致、丰富多样的虚拟形象，导致该种方式的应用场景受到限制。
鉴于美术能够生成精致、丰富多样的美术素材，AI能够生成无限动作素材，若能将二者结合则可以确保虚拟形象生成的便捷性和生成的虚拟形象的丰富性。
然而，经研究发现，美术和AI这两种虚拟形象生成方式很难结合，原因包括：基于美术生成虚拟形象一般是基于美术素材的三角形变驱动实现，基于AI生成虚拟形象一般是基于AI的序列帧驱动实现。二者本质上是两套截然不同的驱动方式，无法兼容。另外，美术所进行的图层拆解没有统一的格式和标准，相应的美术素材往往无法被AI使用。使得两者的优势(如美术素材的精致和丰富多样，以及AI生成无限动作素材的能力)无法很好地结合起来。
基于上述研究，本发明实施例提供一种虚拟形象生成方案，能够将美术和AI两种方式生成的素材打通并结合在一起，基于两种方式生成的素材进行自由组合和表情重建，实现千变万化的形象情感化表达和美术动作，实现AI生成和美术渲染的结合。例如，在基于AI以序列帧的形式生成虚拟形象的表情或动作的同时，兼容传统基于三角形变的动作引擎所产生的动作效果，从而将AI生成的表情与美术设计的动作统一至同一框架。相对于基于美术生成虚拟形象的方案，提高了虚拟形象生成的便捷性。相对于基于AI生成虚拟形象的方案，提高了虚拟形象的精致度和丰富多样性。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本发明实施例针对上述问题所提出的解决方案，都应该是发明人在发明过程中做出的贡献。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
请参照图4，是本实施例提供的一种电子设备100的方框示意图，本实施例中的电子设备100可以为能够进行图形图像交互、处理的服务器、处理设备、处理平台等。所述电子设备100包括存储器110、处理器120及通信模块130。所述存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。
通信模块130用于通过所述网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图4所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
请结合参阅图5，为本发明实施例提供的一种虚拟形象生成方法的流程示意图，可以由图4所述电子设备100执行，例如可以由电子设备100中的处理器120执行。该虚拟形象生成方法包括S110、S120和S130。
S110，获得序列帧素材图片数据。
其中，所述序列帧素材图片数据中包括目标图片，所述目标图片通过将针对美术素材的各图层进行美术渲染所得到的结果进行输出得到，所述目标图片包括多个图层。
S120，获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分；
S130，基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换。
基于上述方案，可以实现对美术素材的灵活应用，提高虚拟形象生成的便捷性。
S110中，序列帧素材图片数据包括基于美术得到的目标图片，还可以包括其他，例如，还可以包括用户自定义的某些图片、基于AI生成的某些图片、基于大数据收集和筛选得到的某些图片等。
基于美术生成的虚拟形象可以包括多个图层，针对各图层分别渲染对应的美术素材并进行迭加，迭加后即产生虚拟形象。传统的三角形变驱动是基于一张虚拟形象的图片，通过三角形变改变该图片中虚拟形象至少一个部位的形状，如对虚拟形象的至少一个部位做拉伸变形，从而得到不同的虚拟形象。示例性地，图片A中包括虚拟形象A，为了使得虚拟形象A展示从不笑到笑的动作，可以通过三角形变对图片A中虚拟形象A的嘴角、眉梢、眼睛等所在的图层进行多次拉伸变形并展示，从而展示出虚拟形象A从不笑到笑的画面。由此可知，基于美术生成的虚拟形象对应于同一张图片，该张图片的各图层在不同时间点分别进行了不同的拉伸形变。
如图6所示，通过对基于美术生成虚拟形象的实现原理的研究，为了实现对基于美术生成虚拟形象过程中产生的美术素材的应用，本实施例中，将每次针对图片中虚拟形象三角形变的结果均另外输出为目标图片，那么，在针对图片中虚拟形象进行三角形变的过程中，可以输出一系列目标图片，所有目标图片均可以作为序列帧素材图片数据，在后续生成虚拟形象过程中被应用。请参阅图6，将三角形变过程中眼睛、腮红等部件分别输出为目标图片，从而可以得到多种美术素材。
目标图片可以通过多种方式获得。例如，可以对绘制完成的美术素材进行三角形变，将每次对所述美术素材的三角形变结果输出为目标图片。又例如，可以对绘制完成的美术素材进行三角形变，将所述三角形变作用在的部件所在的图层作为待输出图层，将所述待输出图层的三角形变结果输出为目标图片。其中，每个图层对应于虚拟形象的至少一个部件。
美术素材可以灵活定义，例如，可以为完整的虚拟形象，也可以为虚拟形象的一个或两个以上部位。相应地，输出的目标图片可以为不同表情、动作的完整的虚拟形象对应的图片，也可以为虚拟形象的一个或两个以上部位对应的图片。在虚拟形象所在图片包括多个图层的情况下，通过在不同时间点的各图层上渲染不同的美术素材，即可产生序列动作。
S120中，可以通过AI生成序列帧图片，如虚拟形象各种表情或动作的序列帧图片，按照目标图片中图层的构建方式，对序列帧图片进行图层拆分，以实现对目标图片的便捷应用，实现AI和美术的结合。
其中，AI生成的序列帧图片可以为全图生成，也可以为局部生成再进行组合。本实施例对此不做限制。
请参阅图7，在一种实现方式中，AI生成的序列帧图片为全图生成的情况下，可以通过设置每个部件的动作及参数值，生成一张对应这组参数的表情图片。如图7所示，通过对眉毛(Eyebrow)、眼睛(eye)、嘴(mouth)、虹膜(iris)、头(head)、脖子(neck)等进行动作和参数设置，便可生成图7中虚拟形象眨眼的表情图。
在AI生成的序列帧图片为全图生成的情况下，待生成的虚拟形象的序列帧图片可以通过以下方式获得：根据虚拟形象所要达到的目标动作，得到待生成的各帧图片。对待生成的每帧图片中每个部件的动作及参数值分别进行设置，便可生成各序列帧图片。可以针对待生成的每帧图片，按照所述目标图片中图层的构建方式，对该帧图片进行图层拆分，针对待生成的每帧图片，获得达到所述目标动作过程中，该帧图片的各图层中需进行替换的目标图层，从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换，从而得到各序列帧图片。
示例性地，在目标动作为眨眼，虚拟形象的各部件分别位于单独的图层的情况下，在虚拟形象完成眨眼动作的过程中，各帧图片的各图层中需进行替换的为眼睛所在图层，即眼睛所在图层为目标图层。从序列帧素材图片数据中查找出完成眨眼动作过程中涉及到的美术素材的一系列图层，对各序列帧图片中眼睛所在图层进行替换，展示完成图层替换后的各序列帧图片，即可以播放虚拟形象完成眨眼动作的动画。
在另一种实现方式中，AI生成的序列帧图片为局部生成再进行组合的情况下，可以根据虚拟形象所要达到的目标动作，得到达到所述目标动作过程中需要进行替换的目标图层以及所述目标图层的序列，基于所述序列，以时间轴的方式对各所述目标图层进行编辑，指定各时间点各所述目标图层所对应的动作和参数值，基于所述动作和参数值，从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换。
示例性地，若虚拟形象所要达到的目标动作涉及到眼睛、嘴、眉毛等多个部件，那么，需要进行替换的图层包括眼睛所在图层、嘴所在图层、眉毛所在图层等。该种情况下，可以通过AI生成眼睛、嘴、眉毛等不同部件(如左眼、右眼、左眉、右眉、嘴等)的序列。如图8所示，示出了AI生成的眼睛的序列。如图9所示，示出了AI生成的嘴的序列。如图10所示，示出了AI生成的眉毛的序列。基于生成的部件的序列，以时间轴的方式进行编辑，通过指定不同时间点的对应部件动作及参数值，即可组合出不同的表情动作。请参阅图11，提供了其中一种使用素材编辑工具进行表情动作组合的示意图，其中2D精细化素材指生成的部件。请参阅图12，为其中一种组合出的全图表情或动作示意图。
采用上述方案，无论是通过全图生成还是部件各自生成再组合，皆会得到一个AI生成的表情或动作序列。对该序列中的每张图片进行图层拆分，从序列帧素材图片数据查找出对应图层对目标图层进行替换，即可产生AI素材和美术素材结合的动作。
本实施例中，鉴于每个图层对应于虚拟形象的至少一个部件，各图层组合形成虚拟形象，相应地，目标图层为虚拟形象达到目标动作所涉及到的部件所在的至少一个图层。因而，从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换的步骤可以包括：从所述序列帧素材图片数据中查找出所述虚拟形象达到所述目标动作所涉及到的部件所在的图层，从查找出的所述图层中裁剪出所述目标动作所涉及到的部件，将裁剪出的所述部件贴附至所述目标图层中该部件所在区域。采用该种方式，无论各部件的图层分布如何，均能裁剪出最小部件单元(一个部件)并进行应用，从而进一步确保虚拟形象生成的灵活性。
可以理解的是，序列帧素材图片数据还可以有其他应用方式。例如，鉴于组成脸部五官的各部件往往共同形成各种表情，为了提高虚拟形象生成效率，针对每种表情，可以将该表情涉及到的五官部件划分至同一图层，从而在虚拟形象生成过程中，进行单个图层的替换便可生成具有相应表情动作的虚拟形象。又例如，鉴于组成身体四肢的各部件往往共同形成各种动作，为了提高虚拟形象生成效率，针对每种姿态，可以将该姿态涉及到的身体四肢各部件划分至同一图层，从而在虚拟形象生成过程中，进行单个图层的替换便可生成具有相应姿态动作的虚拟形象。
为了更为清楚地阐述本发明实施例的实现方案，现以下述场景为例进行举例说明。
若序列帧素材图片数据中的目标图片包括多个图层，目标图片的图层架构与AI素材的图层架构相同。针对眨眼这一动作，如果AI进行局部生再组合，AI生成的各部件序列可以如图13所示。
生成各部件序列之后，AI对时间轴上的每一帧图片，将图13中对应的生成部件贴到原图的对应区域，如图14所示。通过将图13中生成的部件对应贴到图14中，即可产生如图15所示的各全图表情。
对于美术画的美术素材，通过将每次针对美术素材的三角形变结果输出为目标图片，即可得到可以被AI使用的系列美术素材。例如，抱狗系列中虚拟形象身体的美术素材可以如图16所示，敲键盘系列中虚拟形象身体的美术素材可以如图17所示。
将AI生成的如图15所示的表情素材与美术生成的如图16、图17所示的身体素材结合，即可得到具有图15所示表情并进行抱狗动作、敲键盘动作的虚拟形象全图。可以理解的是，由于包括美术素材的目标图片的图层架构与AI素材的图层架构相同，使用图16、图17所示身体素材所在图层替换AI生成的具有图15所示表情的全图的身体素材所在图层，即可实现二者的结合。
以上仅为对AI和美术结合的其中一种举例，可以理解的是，通过对图层的灵活划分、各场景下的具体设置，AI和美术还可以适应性进行其他多种组合，本实施例对此不作一一举例说明。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种虚拟形象生成装置的实现方式。请参阅图18，图18为本发明实施例提供的一种虚拟形象生成装置140的功能模块图，该虚拟形象生成装置140可以应用于图4所示电子设备100。需要说明的是，本实施例所提供的虚拟形象生成装置140，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该虚拟形象生成装置140包括信息获得模块141和信息处理模块142。
其中，信息获得模块141，用于获得序列帧素材图片数据，所述序列帧素材图片数据中包括目标图片，所述目标图片通过将针对美术素材的各图层进行美术渲染所得到的结果进行输出得到，所述目标图片包括多个图层；
信息处理模块142，用于获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分；基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换。
在上述基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行上述的虚拟形象生成方法。
采用本发明实施例中的虚拟形象生成方案，将美术素材和AI素材统一至同一框架，从而能够实现美术素材与AI素材结合的虚拟形象生成形式。大规模解放了美术的人力设计成本，使得每个用户都可以拥有自己专属的虚拟形象。各部件可以单独生成及可自由组合，从而达到更丰富的表情或动作，大大降低了下发至客户端的素材包的大小，并且可实时组合表情动作，实现较为便捷，显著提升了虚拟形象表情、动作的精致度和丰富性。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种虚拟形象生成方法，其特征在于，包括：
获得序列帧素材图片数据，所述序列帧素材图片数据中包括目标图片，所述目标图片通过将针对美术素材的各图层进行美术渲染所得到的结果进行输出得到，所述目标图片包括多个图层；
获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分；
基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换。
2.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分的步骤，包括：
根据虚拟形象所要达到的目标动作，得到待生成的各帧图片；
针对待生成的每帧图片，按照所述目标图片中图层的构建方式，对该帧图片进行图层拆分；
所述基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换的步骤，包括：
针对待生成的每帧图片，获得达到所述目标动作过程中，该帧图片的各图层中需进行替换的目标图层；
从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换。
3.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分的步骤，包括：
根据虚拟形象所要达到的目标动作，得到达到所述目标动作过程中需要进行替换的目标图层以及所述目标图层的序列；
基于所述序列，以时间轴的方式对各所述目标图层进行编辑，指定各时间点各所述目标图层所对应的动作和参数值；
基于所述动作和参数值，从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换。
4.根据权利要求2或3所述的虚拟形象生成方法，其特征在于，每个所述图层对应于所述虚拟形象的至少一个部件，各所述图层组合形成所述虚拟形象，所述目标图层为所述虚拟形象达到所述目标动作所涉及到的部件所在的至少一个图层；
所述从所述序列帧素材图片数据中查找出对应图层对所述目标图层进行替换的步骤，包括：
从所述序列帧素材图片数据中查找出所述虚拟形象达到所述目标动作所涉及到的部件所在的图层；
从查找出的所述图层中裁剪出所述目标动作所涉及到的部件；
将裁剪出的所述部件贴附至所述目标图层中该部件所在区域。
5.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述方法还包括获得目标图片的步骤，该步骤包括：
对绘制完成的美术素材进行三角形变；
将每次对所述美术素材的三角形变结果输出为目标图片。
6.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述方法还包括获得目标图片的步骤，该步骤包括：
对绘制完成的美术素材进行三角形变；
将所述三角形变作用在的部件所在的图层作为待输出图层，将所述待输出图层的三角形变结果输出为目标图片；
其中，每个图层对应于虚拟形象的至少一个部件。
7.根据权利要求1所述的虚拟形象生成方法，其特征在于，所述序列帧图片通过AI生成。
8.一种虚拟形象生成装置，其特征在于，包括：
信息获得模块，用于获得序列帧素材图片数据，所述序列帧素材图片数据中包括目标图片，所述目标图片通过将针对美术素材的各图层进行美术渲染所得到的结果进行输出得到，所述目标图片包括多个图层；
信息处理模块，用于获得待生成的虚拟形象的序列帧图片，按照所述目标图片中图层的构建方式，对所述序列帧图片进行图层拆分；基于所述序列帧素材图片数据，查找出对应图层对所述序列帧图片的图层进行替换。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任一项所述的虚拟形象生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行权利要求1至7任一项所述的虚拟形象生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110783976.0A CN113487710A (zh) | 2021-07-12 | 2021-07-12 | 虚拟形象生成方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110783976.0A CN113487710A (zh) | 2021-07-12 | 2021-07-12 | 虚拟形象生成方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113487710A true CN113487710A (zh) | 2021-10-08 |
Family
ID=77938646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110783976.0A Pending CN113487710A (zh) | 2021-07-12 | 2021-07-12 | 虚拟形象生成方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487710A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115317896A (zh) * | 2022-06-20 | 2022-11-11 | 赤子城网络技术（北京）有限公司 | 游戏图片制作方法及相关设备 |
| CN115359219A (zh) * | 2022-08-16 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的虚拟形象处理方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089849A (ko) * | 2005-02-04 | 2006-08-09 | 바이어스아이티 주식회사 | 다중 레이어 기반의 이미지 및 오디오 아바타 파일 생성및 재생 방법 |
| JP2010028385A (ja) * | 2008-07-17 | 2010-02-04 | Namco Bandai Games Inc | 画像配信システム、サーバ、その方法及びプログラム |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN110767220A (zh) * | 2019-10-16 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种智能语音助手的交互方法、装置、设备及存储介质 |
| CN112270735A (zh) * | 2020-10-27 | 2021-01-26 | 北京达佳互联信息技术有限公司 | 虚拟形象模型生成方法、装置、电子设备及存储介质 |
| CN112598785A (zh) * | 2020-12-25 | 2021-04-02 | 游艺星际(北京)科技有限公司 | 虚拟形象的三维模型生成方法、装置、设备及存储介质 |
| CN112634416A (zh) * | 2020-12-23 | 2021-04-09 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的生成方法、装置、电子设备及存储介质 |
-
2021
- 2021-07-12 CN CN202110783976.0A patent/CN113487710A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060089849A (ko) * | 2005-02-04 | 2006-08-09 | 바이어스아이티 주식회사 | 다중 레이어 기반의 이미지 및 오디오 아바타 파일 생성및 재생 방법 |
| JP2010028385A (ja) * | 2008-07-17 | 2010-02-04 | Namco Bandai Games Inc | 画像配信システム、サーバ、その方法及びプログラム |
| CN106204698A (zh) * | 2015-05-06 | 2016-12-07 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN110767220A (zh) * | 2019-10-16 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种智能语音助手的交互方法、装置、设备及存储介质 |
| CN112270735A (zh) * | 2020-10-27 | 2021-01-26 | 北京达佳互联信息技术有限公司 | 虚拟形象模型生成方法、装置、电子设备及存储介质 |
| CN112634416A (zh) * | 2020-12-23 | 2021-04-09 | 北京达佳互联信息技术有限公司 | 虚拟形象模型的生成方法、装置、电子设备及存储介质 |
| CN112598785A (zh) * | 2020-12-25 | 2021-04-02 | 游艺星际(北京)科技有限公司 | 虚拟形象的三维模型生成方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115317896A (zh) * | 2022-06-20 | 2022-11-11 | 赤子城网络技术（北京）有限公司 | 游戏图片制作方法及相关设备 |
| CN115359219A (zh) * | 2022-08-16 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的虚拟形象处理方法及装置 |
| CN115359219B (zh) * | 2022-08-16 | 2024-04-19 | 支付宝(杭州)信息技术有限公司 | 虚拟世界的虚拟形象处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102658960B1 (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
| US10540817B2 (en) | System and method for creating a full head 3D morphable model | |
| CN108874114B (zh) | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 | |
| US8581911B2 (en) | Training system and methods for dynamically injecting expression information into an animated facial mesh | |
| CN111541950B (zh) | 表情的生成方法、装置、电子设备及存储介质 | |
| CN113487710A (zh) | 虚拟形象生成方法、装置、电子设备和计算机可读存储介质 | |
| CN111899319B (zh) | 动画对象的表情生成方法和装置、存储介质及电子设备 | |
| CN114363712A (zh) | 基于模板化编辑的ai数字人视频生成方法、装置及设备 | |
| CN107248185A (zh) | 一种虚拟仿真偶像实时直播方法及系统 | |
| CN111530088B (zh) | 一种生成游戏角色的实时表情图片的方法和装置 | |
| CN114095744A (zh) | 视频直播方法、装置、电子设备及可读存储介质 | |
| US11645805B2 (en) | Animated faces using texture manipulation | |
| CN113127126A (zh) | 对象展示方法及装置 | |
| Jiang et al. | Better technology, but less realism: The perplexing development and application of vtuber technology | |
| CN116962749A (zh) | 视频的合成方法和装置、存储介质及电子设备 | |
| CN111899321A (zh) | 一种虚拟角色表情展现的方法和装置 | |
| EP4385592A1 (en) | Computer-implemented method for controlling a virtual avatar | |
| US20240242452A1 (en) | Text to 3d avatars | |
| JP2002208024A (ja) | エージェントキャラクタ動画データセット生成方法および生成装置ならびに生成プログラムを記録した記録媒体 | |
| Santos | Virtual Avatars: creating expressive embodied characters for virtual reality | |
| CN113908553A (zh) | 游戏角色表情生成方法、装置、电子设备及存储介质 | |
| CN116822525A (zh) | 车载数字员工的控制方法、装置、电子设备及存储介质 | |
| Rodrigues et al. | Automatically generating eye motion in virtual agents | |
| CN117830527A (zh) | 一种数字人可定制的人像实现方法、系统及存储介质 | |
| CN116912377A (zh) | 可交互的多模态风格化二维数字人脸动画生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |