CN114757836A - 图像处理方法、装置、存储介质及计算机设备 - Google Patents
图像处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN114757836A CN114757836A CN202110024755.5A CN202110024755A CN114757836A CN 114757836 A CN114757836 A CN 114757836A CN 202110024755 A CN202110024755 A CN 202110024755A CN 114757836 A CN114757836 A CN 114757836A
- Authority
- CN
- China
- Prior art keywords
- face
- parameter set
- image
- model
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 150
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 62
- 230000001815 facial effect Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000002452 interceptive effect Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000003796 beauty Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2024—Style variation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种图像处理方法、装置、存储介质及计算机设备。其中，该方法包括：获取对象的脸部图像；提取脸部图像中脸部特征；根据脸部特征生成虚拟形象的脸部，其中，虚拟形象的脸部采用第一脸部参数集合表征；将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，脸部处理模型采用第一数据集进行机器训练得到，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部。本发明解决了相关技术中将脸部图像转化为虚拟形象不能满足用户需求的技术问题。
Description
技术领域
本发明涉及图像领域，具体而言，涉及一种图像处理方法、装置、存储介质及计算机设备。
背景技术
随着三维渲染技术的发展和能够支持三维渲染的硬件的普及化，在如今这个短视频和直播大范围流行的时代，将现实中的对象尤其是现实中的对象的脸部，转化为三维虚拟形象，引入到视频中是一个显而易见的发展趋势。在将脸部图像转化为虚拟形象的过程中，仅仅追求建模结果的与样本图像的一致性并不能满足用户的需求。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法、装置、存储介质及计算机设备，以至少解决相关技术中将脸部图像转化为虚拟形象不能满足用户需求的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取对象的脸部图像；提取所述脸部图像中脸部特征；根据所述脸部特征生成虚拟形象的脸部，其中，所述虚拟形象的脸部采用第一脸部参数集合表征；将所述第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，所述脸部处理模型采用第一数据集进行机器训练得到，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对所述脸部进行处理后的第二脸部参数集合；根据所述第二脸部参数集合，调整所述虚拟形象的脸部。
可选地，在所述脸部处理模型包括第一美化模型的情况下，将所述第一脸部参数集合输入至所述脸部处理模型中，得到所述第二脸部参数集合，包括：将所述第一脸部参数集合输入至所述第一美化模型中，得到所述脸部的第一美化参数集合，其中，所述第二脸部参数集合包括所述第一美化参数集合，所述第一美化模型采用第二数据集进行机器训练得到，所述第二数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述脸部照片对脸部进行调整后的第一调整脸部参数集合；根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述第一美化参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象美化后的脸部。
可选地，在所述脸部处理模型包括第二美化模型的情况下，将所述第一脸部参数集合输入至脸部处理模型中，得到所述第二脸部参数集合，包括：将所述第一脸部参数集合输入至所述第二美化模型中，得到所述脸部的第二美化参数集合，其中，所述第二脸部参数集合包括：所述第二美化参数集合，所述第二美化模型采用第三数据集进行机器训练得到，所述第三数据集包括：脸部照片对应的美颜照片，美颜照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述美颜照片对脸部进行调整后的第二调整脸部参数集合；根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述第二美化参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象美化后的脸部。
可选地，在所述脸部处理模型包括第一风格化模型的情况下，将所述第一脸部参数集合输入至脸部处理模型中，得到所述第二脸部参数集合，包括：将所述第一脸部参数集合输入至所述第一风格化模型中，得到所述脸部的第一风格化参数集合，其中，所述第二脸部参数集合包括：所述第一风格化参数集合，所述第一风格化模型采用第四数据集进行机器训练得到，所述第四数据集包括：脸部照片，所述脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述脸部照片对脸部进行调整后的第三调整脸部参数集合；根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述第一风格参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象风格化后的脸部。
可选地，在所述脸部处理模型包括第二风格化模型的情况下，将所述第一脸部参数集合输入至脸部处理模型中，得到所述第二脸部参数集合，包括：将所述第一脸部参数集合输入至所述第二风格化模型中，得到所述脸部的第二风格化参数集合，其中，所述第二脸部参数集合包括：所述第二风格化参数集合，所述第二风格化模型采用第五数据集进行机器训练得到，所述第五数据集包括：脸部照片对应的漫画照片，所述漫画照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述漫画照片对脸部进行调整后的第四调整脸部参数集合；根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述脸部的第二风格化参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象风格化后的脸部。
可选地，根据所述脸部特征生成虚拟形象的脸部，包括：将所述脸部特征输入至对抗生成模型中，得到所述脸部图像对应的漫画图像，其中，所述对抗生成模型采用第六数据集进行机器训练得到，所述第六数据集包括：脸部图像，对所述脸部图像漫画化后的漫画图像；提取所述漫画图像的漫画特征，并根据所述漫画特征生成所述虚拟形象的脸部。
可选地，所述脸部参数集合包括：脸部五官的融合变形值的集合。
可选地，所述脸部图像包括：捏脸后获得的捏脸图像。
根据本发明实施例的另一方面，还提供了一种图像处理方法，包括：获取第一数据集，其中，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，所述脸部为所述脸部图像对应的虚拟形象的脸部，所述虚拟形象的脸部依据所述脸部图像中的脸部特征生成；采用所述第一数据集进行机器训练，得到脸部处理模型。
可选地，所述脸部处理模型包括以下至少之一：对所述虚拟形象的脸部进行美化的美化模型；对所述虚拟形象的脸部进行风格化的风格化模型。
根据本发明实施例的又一方面，还提供了一种图像处理方法，包括：在交互界面接收脸部图像；在所述交互界面显示虚拟形象的处理后的脸部，其中，所述虚拟形象的处理后的脸部依据第二脸部参数集合生成，所述第二脸部参数集合为对第一脸部参数集合进行处理后得到的，所述第一脸部参数集合表征所述虚拟形象的未处理的脸部，所述虚拟形象的未处理的脸部依据所述脸部图像的脸部特征生成。
可选地，在所述交互界面显示虚拟形象的脸部之前，还包括：在所述交互界面显示选项，其中，所述选项用于选择脸部处理方式，其中，所述脸部处理方式包括以下至少之一：对所述虚拟形象的脸部进行美化的美化方式，对所述虚拟形象的脸部进行风格化的风格化方式；接收对所述选项的选择，并在所述交互界面显示与所述选择对应虚拟的形象的脸部，其中，与所述选择对应虚拟的形象的脸部采用与所述选择对应的脸部处理方式对所述第一脸部参数集合进行处理后得到的第二脸部参数集合生成。
根据本发明实施例的再一方面，还提供了一种图像处理装置，包括：第一获取模块，用于获取对象的脸部图像；第一提取模块，用于提取所述脸部图像中脸部特征；第一生成模块，用于根据所述脸部特征生成虚拟形象的脸部，其中，所述虚拟形象的脸部采用第一脸部参数集合表征；第一处理模块，用于将所述第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，所述脸部处理模型采用第一数据集进行机器训练得到，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对所述脸部进行处理后的第二脸部参数集合；第一调整模块，用于根据所述第二脸部参数集合，调整所述虚拟形象的脸部。
根据本发明实施例的再一方面，还提供了一种图像处理装置，包括：第二获取模块，用于获取第一数据集，其中，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，所述脸部为所述脸部图像对应的虚拟形象的脸部，所述虚拟形象的脸部依据所述脸部图像中的脸部特征生成；第一训练模块，用于采用所述第一数据集进行机器训练，得到脸部处理模型。
根据本发明实施例的再一方面，还提供了一种图像处理装置，包括：第一接收模块，用于在交互界面接收脸部图像；第一显示模块，用于在所述交互界面显示虚拟形象的处理后的脸部，其中，所述虚拟形象的处理后的脸部依据第二脸部参数集合生成，所述第二脸部参数集合为对第一脸部参数集合进行处理后得到的，所述第一脸部参数集合表征所述虚拟形象的未处理的脸部，所述虚拟形象的未处理的脸部依据所述脸部图像的脸部特征生成。
根据本发明实施例的再一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的图像处理方法。
根据本发明实施例的再一方面，还提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序；所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行上述任意一项所述的图像处理方法。
在本发明实施例中，采用脸部处理模型，通过提取脸部图像中的脸部特征并生成虚拟形象的脸部，然后将虚拟形象的脸部参数输入脸部处理模型并进行调整，达到了针对虚拟形象的脸部进行自动调整的目的，从而实现了处理根据脸部图像生成的虚拟形象的脸部的技术效果，进而解决了相关技术中将脸部图像转化为虚拟形象不能满足用户需求的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的用于实现图像处理方法的计算机终端硬件结构框图；
图2是根据本发明实施例1的图像处理方法一的流程图；
图3是根据本发明实施例1的图像处理方法二的流程图；
图4是根据本发明实施例1的图像处理方法三的流程图；
图5是根据本发明可选实施方式的训练素材生成方式示意图；
图6是根据本发明可选实施方式的风格化网络训练过程示意图；
图7是根据本发明可选实施方式的一种图像处理方法示意图；
图8是根据本发明可选实施方式的采用漫画风格捏脸过程示意图；
图9是根据本发明实施例2的图像处理装置一的结构框图；
图10是根据本发明实施例3的图像处理装置二的结构框图；
图11是根据本发明实施例4的图像处理装置三的结构框图；
图12是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，还提供了一种图像处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下，本申请提供了如图2所示的图像处理方法。图2是根据本发明实施例1的图像处理方法一的流程图，如图2所示，该方法包括如下步骤：
步骤S202，获取对象的脸部图像；
步骤S204，提取脸部图像中脸部特征；
步骤S206，根据脸部特征生成虚拟形象的脸部，其中，虚拟形象的脸部采用第一脸部参数集合表征；
步骤S208，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，脸部处理模型采用第一数据集进行机器训练得到，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合；
步骤S210，根据第二脸部参数集合，调整虚拟形象的脸部。
通过上述步骤，采用脸部处理模型，通过提取脸部图像中的脸部特征并生成虚拟形象的脸部，然后将虚拟形象的脸部参数输入脸部处理模型并进行调整，达到了针对虚拟形象的脸部进行自动调整的目的，从而实现了处理根据脸部图像生成的虚拟形象的脸部的技术效果，进而解决了相关技术中将脸部图像转化为虚拟形象不能满足用户需求的技术问题，进而使得根据脸部图像生成虚拟形象的脸部具备美化效果，而且具备个性化。
作为一种可选的实施例，脸部可以包括人的脸部，动物的脸部等。脸部处理模型可以是一种用于对虚拟形象的脸部参数集合进行优化处理的脸部优化模型，例如，该脸部优化模型可以用于对虚拟形象的脸部参数集合进行调整，使得虚拟形象的脸部更美化；又例如，该脸部优化模型可以用于对虚拟形象的脸部参数集合进行调整，使得虚拟形象的脸部更风格化。通过该脸部优化模型可以使得展示的虚拟形象的脸部更符合用户个性化的要求。
作为一种可选的实施例，脸部处理模型可以包括第一美化模型。在脸部处理模型包括第一美化模型的情况下，可以采用如下方式，将第一脸部参数集合输入至第一美化模型中，得到第二脸部参数集合：将第一脸部参数集合输入至第一美化模型中，得到脸部的第一美化参数集合，其中，该第二脸部参数集合包括第一美化参数集合，第一美化模型采用第二数据集进行机器训练得到，第二数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据脸部照片对脸部进行调整后的第一调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第一美化参数集合，调整虚拟形象的脸部，得到虚拟形象美化后的脸部。在对脸部进行美化的时候，根据大多数用户的需求对脸部进行美化，因此，使用第一美化模型对脸部参数集合进行处理，并根据处理得到第一美化参数集合美化虚拟形象的脸部参数集合，实现了对虚拟形象的脸部进行美化。需要说明的是，训练第一美化模型所采用的数据集包括脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据脸部照片对脸部进行调整后的第一调整脸部参数集合。收集上述数据集可以采用如下方式：邀请大量用户进行脸部拍摄，采集脸部照片，根据照片生成虚拟形象脸部的动作，将生成的虚拟形象脸部呈现给用户，然后给出可以对脸部参数集合进行调整的界面，引导用户出于美化考虑而调整生成的脸部模型，然后将用户输入的照片，根据照片生成的虚拟形象的脸部的脸部参数集合，以及经过用户调整后的脸部参数集合，作为第一美化模型的训练数据。由于上述训练数据是用户依据真实的美感来进行调整的，因此，训练数据更符合用户的美化需求，使得后续使用第一美化模型调整脸部参数集合更真实，准确。其中，脸部的参数集合可以为Blendshape值，第一美化模型可以为神经网络模型。
作为一种可选的实施例，脸部处理模型可以包括第二美化模型。在脸部处理模型包括第二美化模型的情况下，可以通过如下方式将第一脸部参数集合输入至第二美化模型中，得到第二脸部参数集合：将第一脸部参数集合输入至第二美化模型中，得到脸部的第二美化参数集合，其中，第二脸部参数集合包括：第二美化参数集合，第二美化模型采用第三数据集进行机器训练得到，第三数据集包括：脸部照片对应的美颜照片，美颜照片对应的虚拟形象的脸部的脸部参数集合，以及依据美颜照片对脸部进行调整后的第二调整脸部参数集合；根据美化参数集合，调整虚拟形象的脸部，包括：根据第二美化参数集合，调整虚拟形象的脸部，得到虚拟形象美化后的脸部。
可选地，本实施例提供了另一种训练美化虚拟形象的脸部的模型方法。第二美化模型使用的训练数据集可以包括脸部照片对应的美颜照片，美颜照片对应的虚拟形象的脸部的脸部参数集合，以及依据美颜照片对脸部进行调整后的第二调整脸部参数集合，即，在将脸部图像生成虚拟形象的脸部之前，先对脸部图像进行美颜处理，避免了后续的调参过程，因而克服了用户由于手动调参不熟练导致的效率不高的问题。其中，脸部的参数集合可以为Blendshape值，第二美化模型可以为神经网络模型。
作为一种可选的实施例，脸部处理模型可以包括第一风格化模型。在脸部处理模型包括第一风格化模型的情况下，可以通过如下方式将第一脸部参数集合输入至第一风格化模型中，得到第二脸部参数集合：将第一脸部参数集合输入至第一风格化模型中，得到脸部的第一风格化参数集合，其中，第二脸部参数集合包括：第一风格化参数集合，第一风格化模型采用第四数据集进行机器训练得到，第四数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据脸部照片对脸部进行调整后的第三调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第一风格化参数集合，调整虚拟形象的脸部，得到虚拟形象风格化后的脸部。
通过第一风格化模型，用户可以增强虚拟形象的脸部的风格特点，得到更加个性化、特色更加突出的虚拟形象的脸部。训练得到的第一风格化模型可以是神经网络模型，脸部的参数集合可以为Blendshape值。
作为一种可选的实施例，脸部处理模型可以包括第二风格化模型。在脸部处理模型包括第二风格化模型的情况下，可以通过如下方式将第一脸部参数集合输入至第二风格化模型中，得到脸部的第二风格化参数集合：将第一脸部参数集合输入至第二风格化模型中，得到脸部的第二风格化参数集合，其中，第二脸部参数集合包括：第二风格化参数集合，第二风格化模型采用第五数据集进行机器训练得到，第五数据集包括：脸部照片对应的漫画照片，漫画照片对应的虚拟形象的脸部的脸部参数集合，以及依据漫画照片对脸部进行调整后的第四调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据脸部的第二风格化参数集合，调整虚拟形象的脸部，得到虚拟形象风格化后的脸部。
可选地，通过本实施例可以为用户提供与脸部图像匹配的漫画化的虚拟形象的脸部。漫画化的图像处理无法仅仅通过用户对脸部参数集合的调整得到，因而可以使用第二风格化模型辅助将脸部图像变换为漫画风格的漫画照片，然后根据漫画照片对虚拟形象的脸部进行对应的调整，即可得到机具漫画风格的虚拟形象的脸部。
作为一种可选的实施例，根据脸部特征生成虚拟形象的脸部可以通过如下方式：将脸部特征输入至对抗生成模型中，得到脸部图像对应的漫画图像，其中，对抗生成模型采用第六数据集进行机器训练得到，第六数据集包括：脸部图像，对脸部图像漫画化后的漫画图像；提取漫画图像的漫画特征，并根据漫画特征生成虚拟形象的脸部。对抗生成模型可以是训练得到的对抗生成神经网络，通过机器进行深度学习得到可以对脸部图像进行漫画化的对抗生成模型。
作为一种可选的实施例，脸部参数集合可以包括脸部五官的融合变形值的集合。具体的，脸部参数集合可以是blendshape值。通过脸部参数集合，可以实现对脸部的具体特征的精确描述，改变脸部参数集合即可改变脸部图像的形态、风格等细节特征。
作为一种可选的实施例，脸部图像可以包括捏脸后获得的捏脸图像。使用捏脸后得到的捏脸图像可以扩大可处理图像的范围，为用户提供更为广泛的脸部图像处理服务。
图3是根据本发明实施例1的图像处理方法二的流程图，如图3所示，该方法包括如下步骤：
步骤S302，获取第一数据集，其中，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，脸部为脸部图像对应的虚拟形象的脸部，虚拟形象的脸部依据脸部图像中的脸部特征生成；
步骤S304，采用第一数据集进行机器训练，得到脸部处理模型。
通过上述步骤，采用第一数据集进行机器训练，得到脸部处理模型，达到了获取可以对虚拟形象的脸部图像进行处理的模型的目的，从而为使用脸部处理模型处理依据脸部图像生成的虚拟形象提供基础的技术效果，进而能够高效地使得虚拟形象的脸部具备美化，个性化的效果。
作为一种可选的实施例，脸部处理模型可以包括以下至少之一：对虚拟形象的脸部进行美化的美化模型；对虚拟形象的脸部进行风格化的风格化模型。美化模型可以虚拟形象的脸部进行美化，例如，可以改变虚拟形象脸部的部分特征，使其更符合用户的审美倾向；风格化模型可以对虚拟形象的脸部风格进行改变，例如，可以强化或者削弱虚拟形象的脸部的部分风格，使得到的虚拟形象的脸部更具有个性化。通过美化模型和/或风格化模型，可以让用户在将脸部图像转化为虚拟图像的过程中，获得比仅仅追求建模结果的与样本图像的一致性更好的使用体验，允许用户追求更加自由且具有个性化与的虚拟图像处理结果。
图4是根据本发明实施例1的图像处理方法三的流程图，如图4所示，该方法包括如下步骤：
步骤S402，在交互界面接收脸部图像；
步骤S404，在交互界面显示虚拟形象的处理后的脸部，其中，虚拟形象的处理后的脸部依据第二脸部参数集合生成，第二脸部参数集合为对第一脸部参数集合进行处理后得到的，第一脸部参数集合表征虚拟形象的未处理的脸部，虚拟形象的未处理的脸部依据脸部图像的脸部特征生成。
通过上述步骤，采用交互界面接收脸部图像，通过在在交互界面显示虚拟形象的脸部，达到了为用户呈现根据脸部图像生成的虚拟形象的脸部图像的目的，从而实现了呈现脸部图像的处理结果的技术效果，进而解决了相关技术中将脸部图像转化为虚拟形象不能满足用户需求的技术问题，进而使得根据脸部图像生成虚拟形象的脸部具备美化效果，而且具备个性化。
作为一种可选的实施例，在交互界面显示虚拟形象的脸部之前，还可以通过如下方式对虚拟形象的脸部的生成过程进行调整：在交互界面显示选项，其中，选项用于选择脸部处理方式，其中，脸部处理方式包括以下至少之一：对虚拟形象的脸部进行美化的美化方式，对虚拟形象的脸部进行风格化的风格化方式；接收对选项的选择，并在交互界面显示与选择对应的虚拟形象的脸部，其中，与选择对应的虚拟形象的脸部采用与选择对应的脸部处理方式对第一脸部参数集合进行处理后得到的第二脸部参数集合生成。通过为用户设置选项，并根据用户的选择将脸部图像转化为虚拟形象的脸部图像，使得用户可以参与到虚拟形象的脸部的生成过程中，使得用户可以获得更加自由、个性化的脸部图像处理结果，提高了用户的自主性和满意度。
图5是根据本发明可选实施方式的训练素材生成方式示意图。如图5所示，在本可选实施方式中，以脸部为人脸为例，以脸部处理模型为人脸优化模型为例，可以采用如下方式获得人脸优化模型的训练素材：
方法1：根据人脸照片，生成脸部模型，得到脸部模型的脸部参数集合，其中脸部参数聚合可以为blendshape系数；然后由照片中的本人对生成的脸部模型进行调整，得到其满意的优化后的脸部模型，记录此时的优化后的脸部参数聚合，即修改后的blendshape系数。
方法2：根据人脸照片，对人脸照片进行美颜处理，得到美颜照片；根据美颜照片，生成脸部模型，得到脸部模型的脸部参数集合，其中脸部参数聚合可以为blendshape系数；然后他人对生成的脸部模型进行调整，得到符合调整的人预期的优化后的脸部模型，记录此时的优化后的脸部参数聚合，即修改后的blendshape系数。
方法3：根据人脸照片，生成脸部模型，得到脸部模型的脸部参数集合，其中脸部参数聚合可以为blendshape系数；由他人对生成的脸部模型进行调整，例如进行风格化特征的调整，得到符合调整的人预期的优化后的脸部模型，记录此时的优化后的脸部参数聚合，即修改后的blendshape系数。
图6是根据本发明可选实施方式的风格化网络训练过程示意图。如图6所示，训练风格化网络的素材可以包括以下三部分:照片、blendshape系数和修改后的blendshape系数。其中，照片和blendshape系数可以作为输入的数据，而修改后的blendshape系数可以作为标注结果，标注的过程可是通过预训练的初步的模型进行标注，也可以进行人工标注。
图7是根据本发明可选实施方式的一种图像处理方法示意图。如图7所示，用户输入照片后，首先由自动捏脸系统生成初始脸部模型，然后分别将脸部模型和输入照片一起输入到风格化网络或美化网络中，对初始脸部模型进行调整，得到两个网络各自的生成结果，最后将两个网络各自生成的结果作为最终给用户的输出的选项。
图8是根据本发明可选实施方式的采用漫画风格捏脸过程示意图，如图8所示，还可以采用如下风格化网络实现对人脸图像的风格化的处理：将输入图像直接使用对抗生成网络进行人脸特征突出化的风格化，例如，生成漫画化的照片，然后将产出的漫画化照片输入到自动照片捏脸系统中，得到虚拟形象的脸部图像和与该图像对应的风格化的blendshape值。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的图像处理方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述图像处理方法一的装置。图9是根据本发明实施例2的图像处理装置一的结构框图，如图9所示，该装置包括：第一获取模块92，第一提取模块94，第一生成模块96，第一处理模块98和第一调整模块99。下面对该装置进行详细说明：
第一获取模块92，用于获取对象的脸部图像；
第一提取模块94，连接于上述第一获取模块92，用于提取脸部图像中脸部特征；
第一生成模块96，连接于上述第一提取模块94，用于根据脸部特征生成虚拟形象的脸部，其中，虚拟形象的脸部采用第一脸部参数集合表征；
第一处理模块98，连接于上述第一生成模块96，用于将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，脸部处理模型采用第一数据集进行机器训练得到，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合；
第一调整模块99，连接于上述第一处理模块98，用于根据第二脸部参数集合，调整虚拟形象的脸部。
此处需要说明的是，上述第一获取模块92，第一提取模块94，第一生成模块96，第一处理模块98和第一调整模块99对应于实施例1中的步骤S202至步骤S210，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例3
根据本发明实施例，还提供了一种用于实施上述图像处理方法二的装置。图10是根据本发明实施例3的图像处理装置二的结构框图，如图10所示，该装置包括：第二获取模块102和第一训练模块104，下面对该装置进行详细说明：
第二获取模块102，用于获取第一数据集，其中，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，脸部为脸部图像对应的虚拟形象的脸部，虚拟形象的脸部依据脸部图像中的脸部特征生成；
第一训练模块104，连接于上述第二获取模块102，用于采用第一数据集进行机器训练，得到脸部处理模型。
此处需要说明的是，上述第二获取模块102和第一训练模块104对应于实施例1中的步骤S302至步骤S304，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例4
根据本发明实施例，还提供了一种用于实施上述图像处理方法三的装置。图11是根据本发明实施例4的图像处理装置三的结构框图，如图11所示，该装置包括：第一接收模块112和第一显示模块114，下面对该装置进行具体说明。
第一接收模块112，用于在交互界面接收脸部图像；
第一显示模块114，连接于上述第一接收模块112，用于在交互界面显示虚拟形象的处理后的脸部，其中，虚拟形象的处理后的脸部依据第二脸部参数集合调整生成，第二脸部参数集合为对第一脸部参数集合进行处理后得到的，第一脸部参数集合表征虚拟形象的未处理的脸部，虚拟形象的未处理的脸部依据脸部图像的脸部特征生成。
此处需要说明的是，上述第一接收模块112和第一显示模块114对应于实施例1中的步骤S402至步骤S404，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例5
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码：获取对象的脸部图像；提取脸部图像中脸部特征；根据脸部特征生成虚拟形象的脸部，其中，虚拟形象的脸部采用第一脸部参数集合表征；将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，脸部处理模型采用第一数据集进行机器训练得到，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部。
可选地，图12是根据本发明实施例的一种计算机终端的结构框图。如图12所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器122、存储器124等。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取对象的脸部图像；提取脸部图像中脸部特征；根据脸部特征生成虚拟形象的脸部，其中，虚拟形象的脸部采用第一脸部参数集合表征；将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，脸部处理模型采用第一数据集进行机器训练得到，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部。
可选的，上述处理器还可以执行如下步骤的程序代码：在脸部处理模型包括第一美化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到脸部的第二脸部参数集合，包括：将第一脸部参数集合输入至第一美化模型中，得到脸部的第一美化参数集合，其中，第二脸部参数集合包括第一美化参数集合，第一美化模型采用第二数据集进行机器训练得到，第二数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据脸部照片对脸部进行调整后的第一调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第一美化参数集合，调整虚拟形象的脸部，得到虚拟形象美化后的脸部。
可选的，上述处理器还可以执行如下步骤的程序代码：在脸部处理模型包括第二美化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，包括：将第一脸部参数集合输入至第二美化模型中，得到脸部的第二美化参数集合，其中，第二脸部参数集合包括：第二美化参数集合，第二美化模型采用第三数据集进行机器训练得到，第三数据集包括：脸部照片对应的美颜照片，美颜照片对应的虚拟形象的脸部的脸部参数集合，以及依据美颜照片对脸部进行调整后的第二调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第二美化参数集合，调整虚拟形象的脸部，得到虚拟形象美化后的脸部。
可选的，上述处理器还可以执行如下步骤的程序代码：在脸部处理模型包括第一风格化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，包括：将第一脸部参数集合输入至第一风格化模型中，得到脸部的第一风格化参数集合，其中，第二脸部参数集合包括：第一风格化参数集合，第一风格化模型采用第四数据集进行机器训练得到，第四数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据脸部照片对脸部进行调整后的第三调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第一风格化参数集合，调整虚拟形象的脸部，得到虚拟形象风格化后的脸部。
可选的，上述处理器还可以执行如下步骤的程序代码：在脸部处理模型包括第二风格化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，包括：将第一脸部参数集合输入至第二风格化模型中，得到脸部的第二风格化参数集合，其中，第二脸部参数集合包括：第二风格化参数集合，第二风格化模型采用第五数据集进行机器训练得到，第五数据集包括：脸部照片对应的漫画照片，漫画照片对应的虚拟形象的脸部的脸部参数集合，以及依据漫画照片对脸部进行调整后的第四调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据脸部的第二风格化参数集合，调整虚拟形象的脸部，得到虚拟形象风格化后的脸部。
可选的，上述处理器还可以执行如下步骤的程序代码：根据脸部特征生成虚拟形象的脸部，包括：将脸部特征输入至对抗生成模型中，得到脸部图像对应的漫画图像，其中，对抗生成模型采用第六数据集进行机器训练得到，第六数据集包括：脸部图像，对脸部图像漫画化后的漫画图像；提取漫画图像的漫画特征，并根据漫画特征生成虚拟形象的脸部。
可选的，上述处理器还可以执行如下步骤的程序代码：脸部参数集合包括：脸部五官的融合变形值的集合。
可选的，上述处理器还可以执行如下步骤的程序代码：脸部图像包括：捏脸后获得的捏脸图像。
可选的，上述处理器还可以执行如下步骤的程序代码：获取第一数据集，其中，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，脸部为脸部图像对应的虚拟形象的脸部，虚拟形象的脸部依据脸部图像中的脸部特征生成；采用第一数据集进行机器训练，得到脸部处理模型。
可选的，上述处理器还可以执行如下步骤的程序代码：脸部处理模型包括以下至少之一：对虚拟形象的脸部进行美化的美化模型；对虚拟形象的脸部进行风格化的风格化模型。
可选的，上述处理器还可以执行如下步骤的程序代码：在交互界面接收脸部图像；在交互界面显示虚拟形象的处理后的脸部，其中，虚拟形象的处理后的脸部依据第二脸部参数集合生成，第二脸部参数集合为对第一脸部参数集合进行处理后得到的，第一脸部参数集合表征虚拟形象的未处理的脸部，虚拟形象的未处理的脸部依据脸部图像的脸部特征生成。
可选的，上述处理器还可以执行如下步骤的程序代码：在交互界面显示虚拟形象的脸部之前，还包括：在交互界面显示选项，其中，选项用于选择脸部处理方式，其中，脸部处理方式包括以下至少之一：对虚拟形象的脸部进行美化的美化方式，对虚拟形象的脸部进行风格化的风格化方式；接收对选项的选择，并在交互界面显示与选择对应的虚拟形象的脸部，其中，与选择对应的虚拟形象的脸部采用与选择对应的脸部处理方式对第一脸部参数集合进行处理后得到的第二脸部参数集合生成。
本领域普通技术人员可以理解，图12所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图12所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例6
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取对象的脸部图像；提取脸部图像中脸部特征；根据脸部特征生成虚拟形象的脸部，其中，虚拟形象的脸部采用第一脸部参数集合表征；将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，脸部处理模型采用第一数据集进行机器训练得到，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在脸部处理模型包括第一美化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，包括：将脸部参数集合输入至第一美化模型中，得到脸部的第一美化参数集合，其中，第二脸部参数集合包括第一美化参数集合，第一美化模型采用第二数据集进行机器训练得到，第二数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据脸部照片对脸部进行调整后的第一调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第一美化参数集合，调整虚拟形象的脸部，得到虚拟形象美化后的脸部。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在脸部处理模型包括第二美化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，包括：将第一脸部参数集合输入至第二美化模型中，得到脸部的第二美化参数集合，其中，第二脸部参数集合包括：第二美化参数集合，第二美化模型采用第三数据集进行机器训练得到，第三数据集包括：脸部照片对应的美颜照片，美颜照片对应的虚拟形象的脸部的脸部参数集合，以及依据美颜照片对脸部进行调整后的第二调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第二美化参数集合，调整虚拟形象的脸部，得到虚拟形象美化后的脸部。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在脸部处理模型包括第一风格化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，包括：将第一脸部参数集合输入至第一风格化模型中，得到脸部的第一风格化参数集合，其中，第二脸部参数集合包括：第一风格化参数集合，第一风格化模型采用第四数据集进行机器训练得到，第四数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据脸部照片对脸部进行调整后的第三调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据第一风格化参数集合，调整虚拟形象的脸部，得到虚拟形象风格化后的脸部。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在脸部处理模型包括第二风格化模型的情况下，将第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，包括：将第一脸部参数集合输入至第二风格化模型中，得到脸部的第二风格化参数集合，其中，第二脸部参数集合包括：第二风格化参数集合，第二风格化模型采用第五数据集进行机器训练得到，第五数据集包括：脸部照片对应的漫画照片，漫画照片对应的虚拟形象的脸部的脸部参数集合，以及依据漫画照片对脸部进行调整后的第四调整脸部参数集合；根据第二脸部参数集合，调整虚拟形象的脸部，包括：根据脸部的第二风格化参数集合，调整虚拟形象的脸部，得到虚拟形象风格化后的脸部。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：根据脸部特征生成虚拟形象的脸部，包括：将脸部特征输入至对抗生成模型中，得到脸部图像对应的漫画图像，其中，对抗生成模型采用第六数据集进行机器训练得到，第六数据集包括：脸部图像，对脸部图像漫画化后的漫画图像；提取漫画图像的漫画特征，并根据漫画特征生成虚拟形象的脸部。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：脸部参数集合包括：脸部五官的融合变形值的集合。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：脸部图像包括：捏脸后获得的捏脸图像。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一数据集，其中，第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，脸部为脸部图像对应的虚拟形象的脸部，虚拟形象的脸部依据脸部图像中的脸部特征生成；采用第一数据集进行机器训练，得到脸部处理模型。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：脸部处理模型包括以下至少之一：对虚拟形象的脸部进行美化的美化模型；对虚拟形象的脸部进行风格化的风格化模型。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在交互界面接收脸部图像；在交互界面显示虚拟形象的处理后的脸部，其中，虚拟形象的处理后的脸部依据第二脸部参数集合生成，第二脸部参数集合为对第一脸部参数集合进行处理后得到的，第一脸部参数集合表征虚拟形象的未处理的脸部，虚拟形象的未处理的脸部依据脸部图像的脸部特征生成。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在交互界面显示虚拟形象的脸部之前，还包括：在交互界面显示选项，其中，选项用于选择脸部处理方式，其中，脸部处理方式包括以下至少之一：对虚拟形象的脸部进行美化的美化方式，对虚拟形象的脸部进行风格化的风格化方式；接收对选项的选择，并在交互界面显示通过与选择对应的虚拟形象的脸部，其中，与选择对应虚拟形象的脸部采用与选择对应的脸部处理方式对脸部参数集合进行处理后得到的第二脸部参数集合生成。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (17)
1.一种图像处理方法，其特征在于，包括：
获取对象的脸部图像；
提取所述脸部图像中脸部特征；
根据所述脸部特征生成虚拟形象的脸部，其中，所述虚拟形象的脸部采用第一脸部参数集合表征；
将所述第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，所述脸部处理模型采用第一数据集进行机器训练得到，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对所述脸部进行处理后的第二脸部参数集合；
根据所述第二脸部参数集合，调整所述虚拟形象的脸部。
2.根据权利要求1所述的方法，其特征在于，在所述脸部处理模型包括第一美化模型的情况下，将所述第一脸部参数集合输入至所述脸部处理模型中，得到所述第二脸部参数集合，包括：
将所述第一脸部参数集合输入至所述第一美化模型中，得到所述脸部的第一美化参数集合，其中，所述第二脸部参数集合包括所述第一美化参数集合，所述第一美化模型采用第二数据集进行机器训练得到，所述第二数据集包括：脸部照片，脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述脸部照片对脸部进行调整后的第一调整脸部参数集合；
根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述第一美化参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象美化后的脸部。
3.根据权利要求1所述的方法，其特征在于，在所述脸部处理模型包括第二美化模型的情况下，将所述第一脸部参数集合输入至脸部处理模型中，得到所述第二脸部参数集合，包括：
将所述第一脸部参数集合输入至所述第二美化模型中，得到所述脸部的第二美化参数集合，其中，所述第二脸部参数集合包括：所述第二美化参数集合，所述第二美化模型采用第三数据集进行机器训练得到，所述第三数据集包括：脸部照片对应的美颜照片，美颜照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述美颜照片对脸部进行调整后的第二调整脸部参数集合；
根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述第二美化参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象美化后的脸部。
4.根据权利要求1所述的方法，其特征在于，在所述脸部处理模型包括第一风格化模型的情况下，将所述第一脸部参数集合输入至脸部处理模型中，得到所述第二脸部参数集合，包括：
将所述第一脸部参数集合输入至所述第一风格化模型中，得到所述脸部的第一风格化参数集合，其中，所述第二脸部参数集合包括：所述第一风格化参数集合，所述第一风格化模型采用第四数据集进行机器训练得到，所述第四数据集包括：脸部照片，所述脸部照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述脸部照片对脸部进行调整后的第三调整脸部参数集合；
根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述第一风格化参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象风格化后的脸部。
5.根据权利要求1所述的方法，其特征在于，在所述脸部处理模型包括第二风格化模型的情况下，将所述第一脸部参数集合输入至脸部处理模型中，得到所述第二脸部参数集合，包括：
将所述第一脸部参数集合输入至所述第二风格化模型中，得到所述脸部的第二风格化参数集合，其中，所述第二脸部参数集合包括：所述第二风格化参数集合，所述第二风格化模型采用第五数据集进行机器训练得到，所述第五数据集包括：脸部照片对应的漫画照片，所述漫画照片对应的虚拟形象的脸部的脸部参数集合，以及依据所述漫画照片对脸部进行调整后的第四调整脸部参数集合；
根据所述第二脸部参数集合，调整所述虚拟形象的脸部，包括：根据所述脸部的第二风格化参数集合，调整所述虚拟形象的脸部，得到所述虚拟形象风格化后的脸部。
6.根据权利要求1所述的方法，其特征在于，根据所述脸部特征生成虚拟形象的脸部，包括：
将所述脸部特征输入至对抗生成模型中，得到所述脸部图像对应的漫画图像，其中，所述对抗生成模型采用第六数据集进行机器训练得到，所述第六数据集包括：脸部图像，对所述脸部图像漫画化后的漫画图像；
提取所述漫画图像的漫画特征，并根据所述漫画特征生成所述虚拟形象的脸部。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述脸部参数集合包括：脸部五官的融合变形值的集合。
8.根据权利要求7所述的方法，其特征在于，所述脸部图像包括：捏脸后获得的捏脸图像。
9.一种图像处理方法，其特征在于，包括：
获取第一数据集，其中，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，所述脸部为所述脸部图像对应的虚拟形象的脸部，所述虚拟形象的脸部依据所述脸部图像中的脸部特征生成；
采用所述第一数据集进行机器训练，得到脸部处理模型。
10.根据权利要求9所述的方法，其特征在于，所述脸部处理模型包括以下至少之一：
对所述虚拟形象的脸部进行美化的美化模型；
对所述虚拟形象的脸部进行风格化的风格化模型。
11.一种图像处理方法，其特征在于，包括：
在交互界面接收脸部图像；
在所述交互界面显示虚拟形象的处理后的脸部，其中，所述虚拟形象的处理后的脸部依据第二脸部参数集合生成，所述第二脸部参数集合为对第一脸部参数集合进行处理后得到的，所述第一脸部参数集合表征所述虚拟形象的未处理的脸部，所述虚拟形象的未处理的脸部依据所述脸部图像的脸部特征生成。
12.根据权利要求11所述的方法，其特征在于，在所述交互界面显示虚拟形象的脸部之前，还包括：
在所述交互界面显示选项，其中，所述选项用于选择脸部处理方式，其中，所述脸部处理方式包括以下至少之一：对所述虚拟形象的脸部进行美化的美化方式，对所述虚拟形象的脸部进行风格化的风格化方式；
接收对所述选项的选择，并在所述交互界面显示与所述选择对应的虚拟形象的脸部，其中，与所述选择对应的虚拟形象的脸部采用与所述选择对应的脸部处理方式对所述第一脸部参数集合进行处理后得到的第二脸部参数集合生成。
13.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取对象的脸部图像；
第一提取模块，用于提取所述脸部图像中脸部特征；
第一生成模块，用于根据所述脸部特征生成虚拟形象的脸部，其中，所述虚拟形象的脸部采用第一脸部参数集合表征；
第一处理模块，用于将所述第一脸部参数集合输入至脸部处理模型中，得到第二脸部参数集合，其中，所述脸部处理模型采用第一数据集进行机器训练得到，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对所述脸部进行处理后的第二脸部参数集合；
第一调整模块，用于根据所述第二脸部参数集合，调整所述虚拟形象的脸部。
14.一种图像处理装置，其特征在于，包括：
第二获取模块，用于获取第一数据集，其中，所述第一数据集包括：脸部图像，待处理的第一脸部参数集合，以及对脸部进行处理后的第二脸部参数集合，其中，所述脸部为所述脸部图像对应的虚拟形象的脸部，所述虚拟形象的脸部依据所述脸部图像中的脸部特征生成；
第一训练模块，用于采用所述第一数据集进行机器训练，得到脸部处理模型。
15.一种图像处理装置，其特征在于，包括：
第一接收模块，用于在交互界面接收脸部图像；
第一显示模块，用于在所述交互界面显示虚拟形象的处理后的脸部，其中，所述虚拟形象的处理后的脸部依据第二脸部参数集合生成，所述第二脸部参数集合为对第一脸部参数集合进行处理后得到的，所述第一脸部参数集合表征所述虚拟形象的未处理的脸部，所述虚拟形象的未处理的脸部依据所述脸部图像的脸部特征生成。
16.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至12中任意一项所述的图像处理方法。
17.一种计算机设备，其特征在于，包括：存储器和处理器，
所述存储器存储有计算机程序；
所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行权利要求1至12中任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110024755.5A CN114757836A (zh) | 2021-01-08 | 2021-01-08 | 图像处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110024755.5A CN114757836A (zh) | 2021-01-08 | 2021-01-08 | 图像处理方法、装置、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114757836A true CN114757836A (zh) | 2022-07-15 |
Family
ID=82325034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110024755.5A Pending CN114757836A (zh) | 2021-01-08 | 2021-01-08 | 图像处理方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114757836A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115253303A (zh) * | 2022-08-16 | 2022-11-01 | 北京字跳网络技术有限公司 | 美化虚拟对象的方法、装置、存储介质及电子设备 |
-
2021
- 2021-01-08 CN CN202110024755.5A patent/CN114757836A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115253303A (zh) * | 2022-08-16 | 2022-11-01 | 北京字跳网络技术有限公司 | 美化虚拟对象的方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447895B (zh) | 图片生成方法和装置、存储介质及电子装置 | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| EP3872766A2 (en) | Method and device for processing image, related electronic device and storage medium | |
| CN106161939A (zh) | 一种照片拍摄方法及终端 | |
| CN113240782A (zh) | 基于虚拟角色的流媒体生成方法及装置 | |
| US20220415011A1 (en) | Image and data processing methods and apparatuses | |
| EP4276738A1 (en) | Image display method and apparatus, and device and medium | |
| CN113453027B (zh) | 直播视频、虚拟上妆的图像处理方法、装置及电子设备 | |
| CN114170472A (zh) | 图像处理方法、可读存储介质及计算机终端 | |
| CN111078005B (zh) | 一种虚拟伙伴创建方法及虚拟伙伴系统 | |
| KR20200025291A (ko) | 사용자 단말기를 이용한 퍼스널 컬러진단을 통한 쇼핑서비스 제공방법 및 그 시스템 | |
| CN114757836A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
| CN113361419A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN114004750A (zh) | 图像处理方法、装置和系统 | |
| CN110781782B (zh) | 面部模型的确定方法及装置 | |
| CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN112785490B (zh) | 图像处理方法、装置及电子设备 | |
| CN111738087A (zh) | 一种游戏角色面部模型的生成方法和装置 | |
| CN109509162B (zh) | 图像采集方法、终端、存储介质及处理器 | |
| CN112449249A (zh) | 视频流处理方法及装置、电子设备及存储介质 | |
| CN111010526A (zh) | 一种视频通讯中的互动方法及装置 | |
| US10092844B2 (en) | Generation of vision recognition references from user selected content | |
| CN113538637A (zh) | 生成动画的方法、装置、存储介质和处理器 | |
| CN114693535A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
| CN114913056A (zh) | 素材风格转换方法、装置、存储介质及处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230911 Address after: Room 516, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba Dharma Institute (Hangzhou) Technology Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Applicant before: ALIBABA GROUP HOLDING Ltd. |
|
| TA01 | Transfer of patent application right |