CN114663963B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、存储介质及电子设备。其中，该方法包括：获取原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像执行目标应用操作。本发明解决了相关技术中的生成多种情绪状态的虚拟面部图像的操作过程繁琐、生成效率低下的技术问题。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本发明涉及计算机视觉领域，具体而言，涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

目前，采用生成对抗网络（Generative Adversarial Network，GAN）生成的面部图像已经达到了以假乱真的地步。然而，通过分析大量由噪声生成的面部数据，发现当前的面部图像生成技术对于情绪的表达能够十分有限，大多数生成的面部图像是无情绪或者微笑，与真实面部对比，欠缺“生动”性。

相关技术中，可以直接训练让生成器生成不同情绪的面部图像。但是，该方法主要有以下两个难点：首先在于训练集的收集，现有面部数据集大多不显含丰富情绪，或者情绪表达过于刻意，无法适应自然情绪状态的面部生成；其次由于情绪是一种内部的主观体验，对情绪的判断往往受主观意愿和周边环境影响，对于同一张图像不同观察者角度感受到的情绪也会有很大不同，基于现有神经网络框架，很难找到一个合适的情感分类器对数据集添加标签，人为添加标签又需要消耗大量的人力物力。

相关技术中还可以通过提取隐空间的语义信息对面部进行编辑，使其呈现出不同的情感状态。这种方法无需重新训练神经网络，但由于难以定义情绪语义，会存在表情与情绪语义纠缠以及单个语义向量无法实现复杂情绪表达等的局限性。因此，当前的语义编辑方法聚焦于面部器官、头发、眼镜等客观属性，但并未对虚拟面部的情感变化进行深层次研究。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像处理方法、装置、存储介质及电子设备，以至少解决相关技术中的生成多种情绪状态的虚拟面部图像的操作过程繁琐、生成效率低下的技术问题。

根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像执行目标应用操作。

根据本发明实施例的又一方面，还提供了一种图像处理方法，包括：接收来自于客户端的原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，以及利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；将情绪候选图像反馈至客户端，以使客户端基于情绪候选图像执行目标应用操作。

根据本发明实施例的又一方面，还提供了一种图像处理装置，包括：获取模块，用于获取原始图像，其中，原始图像为真实面部图像；探索模块，用于探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；筛选模块，用于利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；处理模块，用于基于情绪候选图像执行目标应用操作。

根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的图像处理方法。

根据本发明实施例的又一方面，还提供了一种电子设备，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像执行目标应用操作。

根据本发明实施例的又一方面，还提供了一种图像渲染方法，包括：在目标电子设备上获取原始图像，其中，目标电子设备包括以下至少之一：虚拟现实设备、增强现实设备，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像进行微表情分析，得到分析结果；利用分析结果，对原始面部图像对应的目标人物进行社交心理评估，得到评估结果；在目标电子设备的图像用户界面内渲染得到分析结果对应的微表情图像以及评估结果对应的社交心理提示信息。

在本发明实施例中，通过获取真实面部图像，进而探索真实面部图像对应的多个情绪子空间，随后利用多种像素指标从多个情绪子空间中筛选得到原真实面部图像对应的情绪候选图像，最后基于情绪候选图像执行目标应用操作，从而获得情绪丰富的虚拟面部图像。

容易注意到的是，本申请实施例通过获取原始图像，其中，原始图像为真实面部图像；进而探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；随后利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；最后基于情绪候选图像执行目标应用操作。

由此，本申请实施例达到了快速生成情绪丰富的虚拟面部图像的目的，从而实现了简化生成多种情绪状态的虚拟面部图像的操作过程、提高生成效率的技术效果，进而解决了相关技术中的生成多种情绪状态的虚拟面部图像的操作过程繁琐、生成效率低下的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现图像处理方法的计算机终端（或移动设备）的硬件结构框图；

图2是根据本发明实施例的一种图像处理方法的流程图；

图3是根据本申请实施例的一种单层维度定向扰动的结果示意图；

图4是根据本申请实施例的一种筛选后的情绪候选图像的示意图；

图5是根据本发明实施例的一种图像处理方法的示意图；

图6是根据本发明实施例的一种可选的图像处理方法的流程图；

图7是根据本发明实施例的一种在云端服务器进行图像处理方法的示意图；

图8是根据本发明实施例的一种图像渲染方法的流程图；

图9A是根据本发明实施例的一种图像渲染方法的硬件环境的示意图；

图9B是根据本发明实施例的另一种图像渲染方法的硬件环境的示意图；

图10是根据本发明实施例的一种图像处理装置的结构示意图；

图11是根据本发明实施例的另一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

情绪子空间（Emotion subspace）：由单一面部的多种情绪状态集合组成的子空间。

GAN：生成对抗网络，常用深度学习模型之一。

基于风格的生成对抗网络（Style-Based Generator Architecture forGenerative Adversarial Networks，StyleGAN）：NVIDIA发布的图像生成方法，能够生成逼真的面部图像，StyleGAN2是StyleGAN的改进版。

隐空间（latent space）：输入噪声的样本空间，其中包含GAN生成图像的关键特征。

GAN-inversion：将真实图像反演至GAN的隐空间中的各种方法。

实施例1

根据本发明实施例，还提供了一种图像处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端（或移动设备）的硬件结构框图。如图1所示，计算机终端10（或移动设备10）可以包括一个或多个（图中采用102a、102b，……，102n来示出）处理器（处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口（I/O接口）、通用串行总线（USB）端口（可以作为BUS总线的端口中的一个端口被包括）、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10（或移动设备）中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制（例如与接口连接的可变电阻终端路径的选择）。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器（LCD），该液晶显示器可使得用户能够与计算机终端10（或移动设备）的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备（或移动设备）可以包括硬件元件（包括电路）、软件元件（包括存储在计算机可读介质上的计算机代码）、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备（或移动设备）中的部件的类型。

在上述运行环境下，本申请提供了如图2所示的图像处理方法。图2是根据本发明实施例一的图像处理方法的流程图，如图2所示，该图像处理方法包括：

步骤S22，获取原始图像，其中，原始图像为真实面部图像；

步骤S24，探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；

步骤S26，利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；

上述多种像素指标包括多种图像质量的客观评估指标，例如，多种像素指标包括峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似性指数（StructuralSimilarity，SSIM）以及学习感知图像块相似度（Learned Perceptual Image PatchSimilarity，LPIPS）。其中，PSNR用于衡量经过处理后的图像品质，SSIM用于衡量两幅图像结构的相似度，LPIPS用于衡量两幅图像之间的差别。

步骤S28，基于情绪候选图像执行目标应用操作。

在本发明实施例中，通过获取真实面部图像，进而探索真实面部图像对应的多个情绪子空间，随后利用多种像素指标从多个情绪子空间中筛选得到原真实面部图像对应的情绪候选图像，最后基于情绪候选图像执行目标应用操作，从而获得情绪丰富的虚拟面部图像。

容易注意到的是，本申请实施例通过获取原始图像，其中，原始图像为真实面部图像；进而探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；随后利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；最后基于情绪候选图像执行目标应用操作。

由此，本申请实施例达到了快速生成情绪丰富的虚拟面部图像的目的，从而实现了简化生成多种情绪状态的虚拟面部图像的操作过程、提高生成效率的技术效果，进而解决了相关技术中的生成多种情绪状态的虚拟面部图像的操作过程繁琐、生成效率低下的技术问题。

通过本申请实施例的图像处理方法，能够根据某一张输入的真实面部图像来生成其对应的不同情绪表达。下面对本申请实施例中的图像处理方法进行进一步介绍。

在一种可选的实施例中，在步骤S22，探索原始面部图像对应的多个情绪子空间包括：

步骤S221，将原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，目标深度学习模型包括：多个特征层；

在一种可选的实施例中，目标深度学习模型包括：预训练的生成对抗网络模型。

具体的，上述目标深度学习模型可以为预训练的StyleGAN2模型，StyleGAN2模型可以包括多个特征层。

步骤S222，将目标特征向量输入至多个特征层，确定目标特征维度；

步骤S223，对目标特征维度添加定向扰动，得到多个情绪子空间。

具体的，以StyleGAN2模型具有14个特征层为例，将原始面部图像反演至StyleGAN2模型的隐空间，得到目标特征向量，基于特征层分离的思想，对1-14层的每个维度添加指定步长的定向扰动，从而保证在像素值变动尽可能小的前提下探索得到尽可能多的情绪状态。

在StyleGAN2模型中，目标特征向量可以作为14个特征层每一个特征层的输入，进而确定目标特征维度。例如，目标特征向量为一个512维向量，将这512个维度称为每一个特征层的维度，对目标特征维度添加定向扰动，得到多个情绪子空间，从而获取原始面部图像的情绪变化。图3是根据本申请实施例的一种单层维度定向扰动的结果示意图，如图3所示，对单层维度添加定向扰动，生成的虚拟面部图像的情绪由严肃逐渐变为开心。

在训练数据集仅包含有限数量情绪的前提下，StyleGAN2模型的隐空间中蕴含了大量丰富的情绪，且主要集中第2、3、4、5特征层，进一步可以通过定性和定量实验的方法得到了原始面部图像对应的情绪子空间。

具体的，StyleGAN2模型多个特征层中，在第2、3、4、5层添加定向扰动时，面部情绪的变化比较明显。其他特征层中部分特征层添加定向扰动时，得到的虚拟面部图像与2-5层的虚拟面部图像有重复，或者面部情绪的变化不太明显，还有一部分特征层不能得到情绪子空间，例如，对于第14层上进行遍历只能改变面部图像的整体色调。

基于上述步骤S222至步骤S223，通过将原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，进而将目标特征向量输入至多个特征层，确定目标特征维度，最后对目标特征维度添加定向扰动，得到多个情绪子空间，能够对原始面部图像进行高效处理，得到对应的情绪子空间。

在一种可选的实施例中，多种像素指标包括：第一像素指标、第二像素指标和第三像素指标，在步骤S26，利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像包括：

步骤S261，利用第一像素指标、第二像素指标和第三像素指标对多个情绪子空间进行评估，得到评估结果，其中，第一像素指标用于衡量多个情绪子空间中每幅图像的影像品质，第二像素指标用于衡量多个情绪子空间中任意两幅图像结构的相似度，第三像素指标用于衡量多个情绪子空间中任意两幅图像之间的差别；

上述第一像素指标可以为SSIM，第二像素指标可以为PSNR，第三像素指标可以为LPIPS。利用SSIM、PSNR、LPIPS对多个情绪子空间分别进行打分并排序，得到评估结果。

步骤S262，基于评估结果，筛选得到原始面部图像对应的情绪候选图像。

基于上述步骤S261至步骤S262，通过利用第一像素指标、第二像素指标和第三像素指标对多个情绪子空间进行评估，得到评估结果，进而基于评估结果，快速筛选得到原始面部图像对应的情绪候选图像，能够进一步提升情绪候选图像的生成质量和生成效率。

在一种可选的实施例中，在步骤S262，基于评估结果，筛选得到原始面部图像对应的情绪候选图像包括：

步骤S2621，按照情绪候选图像对应的待保留维度数目设定截尾指标；

步骤S2622，基于评估结果和截尾指标对多个情绪子空间进行剔除，得到剔除结果；

步骤S2623，利用第一像素指标、第二像素指标和第三像素指标的公共维度，从剔除结果中筛选得到情绪候选图像。

具体的，对第2-5层512*4个维度分别添加正负定向扰动得到512*2*4张目标面部图像，其中每层可以得到1024张图像。随后结合SSIM、PSNR、LPIPS三项指标分别进行打分并排序，得到评估结果。在筛选过程中，需要留下相比于原始面部图像，情绪会有变化但面部身份信息不会改变的维度。因此，可以采用双侧截尾指标剔除高低分，选择留下中间得分值的维度，从而得到原始面部图像对应的情绪候选图像。

上述截尾指标可以根据待保留维度数目来设定，例如，待保留维度数目为300，进而可以设定截尾指标为300，将得分前300名和后300名的图像剔除，最终筛选得到1024-300*2张剔除结果。

具体的，利用SSIM、PSNR、LPIPS的公共维度，从剔除结果中筛选得到情绪候选图像。以第三层筛选结果为例，对5张图像进行筛选，筛选结果如表一所示，在表一中，数值为1的维度为SSIM、PSNR、LPIPS的公共维度。

表一 筛选得到的维度结果表

文件名	图像1	图像2	图像3	图像4	图像5
						A.png	0	0	0	0	0
B.png	0	0	0	0	0
						C.png	0	0	0	0	0
D.png	0	0	0	0	0
						E.png	0	0	0	0	0
F.png	1	0	1	1	0
						G.png	1	0	0	0	0
H.png	0	0	0	0	0
						I.png	0	0	0	0	0
J.png	1	0	0	1	0
						K.png	0	0	0	1	0
L.png	0	1	0	0	1
						M.png	0	0	0	1	0
总计	232	161	221	226	206

图4是根据本申请实施例的一种筛选后的情绪候选图像的示意图，图4中的图像是利用表一中SSIM、PSNR、LPIPS的公共维度，从剔除结果中筛选得到的情绪候选图像。

基于上述步骤S2621至步骤S2623，通过按照情绪候选图像对应的待保留维度数目设定截尾指标，进而基于评估结果和截尾指标对多个情绪子空间进行剔除，得到剔除结果，最后利用第一像素指标、第二像素指标和第三像素指标的公共维度，能够快速从剔除结果中筛选得到情绪候选图像。

在一种可选的实施例中，在步骤S28，基于情绪候选图像执行目标应用操作包括：

基于情绪候选图像生成目标图像，其中，目标图像为虚拟面部图像。

具体的，本申请实施例的图像处理方法可应用于现实世界的面部情绪编辑或者为微表情分析领域，为相关的研究实验提供参考数据。当神经网络能够学习生成面部的不同情绪表达时，进一步可以直接促成生成器生成更加真实、丰富的面部图像，例如，基于情绪候选图像生成虚拟面部图像，从而能够让人工智能（AI）主播看起来更自然生动。

在一种可选的实施例中，在步骤S28，基于情绪候选图像执行目标应用操作包括：

步骤S281，从情绪候选图像中选取目标图像；

步骤S282，采用目标图像对原始图像进行替换。

具体的，本申请实施例的图像处理方法还可以应用于影视剧领域。通过生成多种情绪表达，能够实时对影视作品中某一片段进行面部情绪替换，从而可以弥补演员的专业能力或者节省多次重拍带来的资源消耗，给观众带来更好的视觉体验。

在一种可选的实施例中，在步骤S28，基于情绪候选图像执行目标应用操作包括：

步骤S283，基于情绪候选图像进行微表情分析，得到分析结果；

步骤S284，利用分析结果，对原始面部图像对应的目标人物进行社交心理评估。

具体的，基于情绪候选图像进行微表情分析，得到的分析结果中可以包括情绪候选图像中的微表情，例如，分析结果中可以包括喜悦、悲伤、生气、惊讶等微表情。

进一步的，基于分析结果，可以对原始面部图像对应的目标人物进行社交心理评估。例如，当微表情的分析结果为喜悦情绪时，可以表示原始面部图像对应的目标人物的社交心理是正面积极的；当微表情分析结果为悲伤情绪时，可以表示原始面部图像对应的目标人物的社交心理是负面消极的。

具体的，本申请实施例的图像处理方法所生成的多种情绪建立在原始图像像素变化较小的基础上，从而避免了夸张表情的出现，生成的结果在理论上可以在微表情分析领域提供数据来源。

图5是根据本发明实施例的一种图像处理方法的示意图，如图5所示，获取原始图像，其中，原始图像为真实面部图像；进而将原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，目标深度学习模型包括：多个特征层，将目标特征向量输入至多个特征层，确定目标特征维度，对目标特征维度添加定向扰动，得到多个情绪子空间；随后利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；最后基于情绪候选图像执行目标应用操作。

本发明其中一实施例还提供了一种图像处理方法，该图像处理方法在云端服务器上运行，图6是根据本发明实施例的一种可选的图像处理方法的流程图，如图6所示，该图像处理方法，包括：

步骤S62，接收来自于客户端的原始图像，其中，原始图像为真实面部图像；

步骤S64，探索原始面部图像对应的多个情绪子空间，以及利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；

步骤S66，将情绪候选图像反馈至客户端，以使客户端基于情绪候选图像执行目标应用操作。

可选地，图7是根据本发明实施例的一种在云端服务器进行图像处理方法的示意图，如图7所示，云端服务器通过网络接收来自于客户端的原始图像，进而探索原始面部图像对应的多个情绪子空间，以及利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像，最后通过将情绪候选图像反馈至客户端，以使客户端基于情绪候选图像执行目标应用操作。

需要说明的是，本申请实施例所提供的上述图像处理方法，可以但不限于适用于云端图像处理的实际应用场景，通过SaaS服务端和客户端进行交互的方式，接收来自于客户端的原始图像，进而探索原始面部图像对应的多个情绪子空间，以及利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像，并将返回的情绪候选图像通过客户端提供给用户。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例2

根据本发明实施例，还提供了一种图像渲染方法，图8是根据本发明实施例的一种图像渲染方法的流程图，如图8所示，该图像渲染方法包括：

步骤S81，在目标电子设备上获取原始图像，其中，目标电子设备包括以下至少之一：虚拟现实设备、增强现实设备，原始图像为真实面部图像；

步骤S82，探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；

步骤S83，利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；

步骤S84，基于情绪候选图像进行微表情分析，得到分析结果；

步骤S85，利用分析结果，对原始面部图像对应的目标人物进行社交心理评估，得到评估结果；

步骤S86，在目标电子设备的图像用户界面内渲染得到分析结果对应的微表情图像以及评估结果对应的社交心理提示信息。

具体的，基于情绪候选图像进行微表情分析，得到的分析结果中可以包括情绪候选图像中的微表情，例如，分析结果中可以包括喜悦、悲伤、生气、惊讶等微表情。

进一步的，基于分析结果，可以对原始面部图像对应的目标人物进行社交心理评估。例如，当微表情的分析结果为喜悦情绪时，可以表示原始面部图像对应的目标人物的社交心理是正面积极的，对应的社交心理提示信息可以包括向社交圈分享内容；当微表情分析结果为悲伤情绪时，可以表示原始面部图像对应的目标人物的社交心理是负面消极的，对应的社交心理提示信息可以包括在社交方面多谈论互动、参与趣味性话题、参与户外运动等。

基于上述步骤S81至步骤S86，通过在目标电子设备上获取原始图像，进而探索原始面部图像对应的多个情绪子空间，随后利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；进一步的，基于情绪候选图像进行微表情分析，得到分析结果，从而利用分析结果，对原始面部图像对应的目标人物进行社交心理评估，得到评估结果，最后在目标电子设备的图像用户界面内渲染得到分析结果对应的微表情图像以及评估结果对应的社交心理提示信息，能够将上述实施例一中的图像处理方法应用于虚拟现实设备或者增强现实设备，达到了快速生成情绪丰富的虚拟面部图像的目的，从而实现了简化生成多种情绪状态的虚拟面部图像的操作过程、提高生成效率的技术效果。

上述图像渲染方法可以应用于如图9A所示的由服务器902、增强现实设备904所构成的硬件环境中。图9A是根据本发明实施例的一种图像渲染方法的硬件环境的示意图。如图9A所示，服务器902通过网络与增强现实设备904进行连接，可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述增强现实设备904并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。

可选地，增强现实设备904包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：在目标电子设备上获取原始图像，其中，目标电子设备包括以下至少之一：虚拟现实设备、增强现实设备，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像进行微表情分析，得到分析结果；利用分析结果，对原始面部图像对应的目标人物进行社交心理评估，得到评估结果；在目标电子设备的图像用户界面内渲染得到分析结果对应的微表情图像以及评估结果对应的社交心理提示信息。

该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。

图9B是根据本发明实施例的另一种图像渲染方法的硬件环境的示意图。如图9B所示，增强现实设备904与终端906相连接，终端906与服务器902通过网络进行连接，上述增强现实设备904并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端904并不限定于PC、手机、平板电脑等，服务器902可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。

需要说明的是，该实施例中的增强现实设备904与上述实施例中的增强现实设备或者虚拟现实设备的作用相同，不予赘述。

实施例3

根据本发明实施例，还提供了一种用于实施上述图像处理方法的装置实施例，图10是根据本发明实施例的一种图像处理装置的结构示意图，如图10所示，该装置包括：

获取模块1001，用于获取原始图像，其中，原始图像为真实面部图像；

探索模块1002，用于探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；

筛选模块1003，用于利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；

处理模块1004，用于基于情绪候选图像执行目标应用操作。

可选地，探索模块1002还用于：将原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，目标深度学习模型包括：多个特征层；将目标特征向量输入至多个特征层，确定目标特征维度；对目标特征维度添加定向扰动，得到多个情绪子空间。

可选地，目标深度学习模型包括：预训练的生成对抗网络模型。

可选地，多种像素指标包括：第一像素指标、第二像素指标和第三像素指标，筛选模块1003还用于：利用第一像素指标、第二像素指标和第三像素指标对多个情绪子空间进行评估，得到评估结果，其中，第一像素指标用于衡量多个情绪子空间中每幅图像的影像品质，第二像素指标用于衡量多个情绪子空间中任意两幅图像结构的相似度，第三像素指标用于衡量多个情绪子空间中任意两幅图像之间的差别；基于评估结果，筛选得到原始面部图像对应的情绪候选图像。

可选地，筛选模块1003还用于：按照情绪候选图像对应的待保留维度数目设定截尾指标；基于评估结果和截尾指标对多个情绪子空间进行剔除，得到剔除结果；利用第一像素指标、第二像素指标和第三像素指标的公共维度，从剔除结果中筛选得到情绪候选图像。

可选地，处理模块1004还用于：基于情绪候选图像生成目标图像，其中，目标图像为虚拟面部图像。

可选地，处理模块1004还用于：从情绪候选图像中选取目标图像；采用目标图像对原始图像进行替换。

可选地，处理模块1004还用于：基于情绪候选图像进行微表情分析，得到分析结果；利用分析结果，对原始面部图像对应的目标人物进行社交心理评估。

此处需要说明的是，上述图像处理装置对应于执行实施例1中的步骤S22至步骤S28，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。

在本发明实施例中，通过获取真实面部图像，进而探索真实面部图像对应的多个情绪子空间，随后利用多种像素指标从多个情绪子空间中筛选得到原真实面部图像对应的情绪候选图像，最后基于情绪候选图像执行目标应用操作，从而获得情绪丰富的虚拟面部图像。

容易注意到的是，本申请实施例通过获取原始图像，其中，原始图像为真实面部图像；进而探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；随后利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；最后基于情绪候选图像执行目标应用操作。

由此，本申请实施例达到了快速生成情绪丰富的虚拟面部图像的目的，从而实现了简化生成多种情绪状态的虚拟面部图像的操作过程、提高生成效率的技术效果，进而解决了相关技术中的生成多种情绪状态的虚拟面部图像的操作过程繁琐、生成效率低下的技术问题。

实施例4

根据本发明实施例，还提供了一种电子设备的实施例，该电子设备可以是计算装置群中的任意一个计算装置。该电子装置包括：处理器和存储器，其中：

存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：

获取原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像执行目标应用操作。

在本发明实施例中，通过获取真实面部图像，进而探索真实面部图像对应的多个情绪子空间，随后利用多种像素指标从多个情绪子空间中筛选得到原真实面部图像对应的情绪候选图像，最后基于情绪候选图像执行目标应用操作，从而获得情绪丰富的虚拟面部图像。

容易注意到的是，本申请实施例通过获取原始图像，其中，原始图像为真实面部图像；进而探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；随后利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；最后基于情绪候选图像执行目标应用操作。

由此，本申请实施例达到了快速生成情绪丰富的虚拟面部图像的目的，从而实现了简化生成多种情绪状态的虚拟面部图像的操作过程、提高生成效率的技术效果，进而解决了相关技术中的生成多种情绪状态的虚拟面部图像的操作过程繁琐、生成效率低下的技术问题。

实施例5

本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行图像处理方法中以下步骤的程序代码：获取原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像执行目标应用操作。

可选地，图11是根据本发明实施例的一种计算机终端的结构框图。如图11所示，该计算机终端可以包括：一个或多个（图中仅示出一个）处理器112、存储器114、以及外设接口116。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像执行目标应用操作。

可选的，上述处理器还可以执行如下步骤的程序代码：将原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，目标深度学习模型包括：多个特征层；将目标特征向量输入至多个特征层，确定目标特征维度；对目标特征维度添加定向扰动，得到多个情绪子空间。

可选的，目标深度学习模型包括：预训练的生成对抗网络模型。

可选地，多种像素指标包括：第一像素指标、第二像素指标和第三像素指标，上述处理器还可以执行如下步骤的程序代码：利用第一像素指标、第二像素指标和第三像素指标对多个情绪子空间进行评估，得到评估结果，其中，第一像素指标用于衡量多个情绪子空间中每幅图像的影像品质，第二像素指标用于衡量多个情绪子空间中任意两幅图像结构的相似度，第三像素指标用于衡量多个情绪子空间中任意两幅图像之间的差别；基于评估结果，筛选得到原始面部图像对应的情绪候选图像。

可选的，上述处理器还可以执行如下步骤的程序代码：按照情绪候选图像对应的待保留维度数目设定截尾指标；基于评估结果和截尾指标对多个情绪子空间进行剔除，得到剔除结果；利用第一像素指标、第二像素指标和第三像素指标的公共维度，从剔除结果中筛选得到情绪候选图像。

可选地，上述处理器还可以执行如下步骤的程序代码：基于情绪候选图像生成目标图像，其中，目标图像为虚拟面部图像。

可选地，上述处理器还可以执行如下步骤的程序代码：从情绪候选图像中选取目标图像；采用目标图像对原始图像进行替换。

可选地，上述处理器还可以执行如下步骤的程序代码：基于情绪候选图像进行微表情分析，得到分析结果；利用分析结果，对原始面部图像对应的目标人物进行社交心理评估。

在本实施例中，上述处理器还可以执行如下步骤的程序代码：接收来自于客户端的原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，以及利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；将情绪候选图像反馈至客户端，以使客户端基于情绪候选图像执行目标应用操作。

上述处理器还可以执行如下步骤的程序代码：在目标电子设备上获取原始图像，其中，目标电子设备包括以下至少之一：虚拟现实设备、增强现实设备，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像进行微表情分析，得到分析结果；利用分析结果，对原始面部图像对应的目标人物进行社交心理评估，得到评估结果；在目标电子设备的图像用户界面内渲染得到分析结果对应的微表情图像以及评估结果对应的社交心理提示信息。

在本发明实施例中，通过获取真实面部图像，进而探索真实面部图像对应的多个情绪子空间，随后利用多种像素指标从多个情绪子空间中筛选得到原真实面部图像对应的情绪候选图像，最后基于情绪候选图像执行目标应用操作，从而获得情绪丰富的虚拟面部图像。

容易注意到的是，本申请实施例通过获取原始图像，其中，原始图像为真实面部图像；进而探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；随后利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；最后基于情绪候选图像执行目标应用操作。

由此，本申请实施例达到了快速生成情绪丰富的虚拟面部图像的目的，从而实现了简化生成多种情绪状态的虚拟面部图像的操作过程、提高生成效率的技术效果，进而解决了相关技术中的生成多种情绪状态的虚拟面部图像的操作过程繁琐、生成效率低下的技术问题。

本领域普通技术人员可以理解，图11所示的结构仅为示意，计算机终端也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌声电脑以及移动互联网设备（MobileInternet Devices，MID）、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图11中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图11所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（RandomAccess Memory，RAM）、磁盘或光盘等。

实施例6

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的图像处理方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像执行目标应用操作。

可选的，上述存储介质被设置为存储用于执行以下步骤的程序代码：将原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，目标深度学习模型包括：多个特征层；将目标特征向量输入至多个特征层，确定目标特征维度；对目标特征维度添加定向扰动，得到多个情绪子空间。

可选的，目标深度学习模型包括：预训练的生成对抗网络模型。

可选地，多种像素指标包括：第一像素指标、第二像素指标和第三像素指标，上述存储介质被设置为存储用于执行以下步骤的程序代码：利用第一像素指标、第二像素指标和第三像素指标对多个情绪子空间进行评估，得到评估结果，其中，第一像素指标用于衡量多个情绪子空间中每幅图像的影像品质，第二像素指标用于衡量多个情绪子空间中任意两幅图像结构的相似度，第三像素指标用于衡量多个情绪子空间中任意两幅图像之间的差别；基于评估结果，筛选得到原始面部图像对应的情绪候选图像。

可选的，上述存储介质被设置为存储用于执行以下步骤的程序代码：按照情绪候选图像对应的待保留维度数目设定截尾指标；基于评估结果和截尾指标对多个情绪子空间进行剔除，得到剔除结果；利用第一像素指标、第二像素指标和第三像素指标的公共维度，从剔除结果中筛选得到情绪候选图像。

可选地，上述存储介质被设置为存储用于执行以下步骤的程序代码：基于情绪候选图像生成目标图像，其中，目标图像为虚拟面部图像。

可选地，上述存储介质被设置为存储用于执行以下步骤的程序代码：从情绪候选图像中选取目标图像；采用目标图像对原始图像进行替换。

可选地，上述存储介质被设置为存储用于执行以下步骤的程序代码：基于情绪候选图像进行微表情分析，得到分析结果；利用分析结果，对原始面部图像对应的目标人物进行社交心理评估。

在本实施例中，上述存储介质被设置为存储用于执行以下步骤的程序代码：接收来自于客户端的原始图像，其中，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，以及利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；将情绪候选图像反馈至客户端，以使客户端基于情绪候选图像执行目标应用操作。

在本实施例中，上述存储介质被设置为存储用于执行以下步骤的程序代码：在目标电子设备上获取原始图像，其中，目标电子设备包括以下至少之一：虚拟现实设备、增强现实设备，原始图像为真实面部图像；探索原始面部图像对应的多个情绪子空间，其中，多个情绪子空间用于描述原始面部图像对应的不同情绪状态；利用多种像素指标从多个情绪子空间中筛选得到原始面部图像对应的情绪候选图像；基于情绪候选图像进行微表情分析，得到分析结果；利用分析结果，对原始面部图像对应的目标人物进行社交心理评估，得到评估结果；在目标电子设备的图像用户界面内渲染得到分析结果对应的微表情图像以及评估结果对应的社交心理提示信息。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取原始面部图像，其中，所述原始面部图像为真实面部图像；

探索所述原始面部图像对应的多个情绪子空间，其中，所述多个情绪子空间用于描述所述原始面部图像对应的不同情绪状态；

利用多种像素指标从所述多个情绪子空间中筛选得到所述原始面部图像对应的情绪候选图像；

基于所述情绪候选图像执行目标应用操作；

其中，探索所述原始面部图像对应的所述多个情绪子空间包括：将所述原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，所述目标深度学习模型包括：多个特征层；将所述目标特征向量输入至所述多个特征层，确定目标特征维度；对所述目标特征维度添加定向扰动，得到所述多个情绪子空间；

其中，基于所述情绪候选图像执行目标应用操作包括：基于所述情绪候选图像生成目标图像，其中，所述目标图像为虚拟面部图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述目标深度学习模型包括：预训练的生成对抗网络模型。

3.根据权利要求1所述的图像处理方法，其特征在于，所述多种像素指标包括：第一像素指标、第二像素指标和第三像素指标，利用所述多种像素指标从所述多个情绪子空间中筛选得到所述原始面部图像对应的情绪候选图像包括：

利用所述第一像素指标、所述第二像素指标和所述第三像素指标对所述多个情绪子空间进行评估，得到评估结果，其中，所述第一像素指标用于衡量所述多个情绪子空间中每幅图像的影像品质，所述第二像素指标用于衡量所述多个情绪子空间中任意两幅图像结构的相似度，所述第三像素指标用于衡量所述多个情绪子空间中任意两幅图像之间的差别；

基于所述评估结果，筛选得到所述原始面部图像对应的情绪候选图像。

4.根据权利要求3所述的图像处理方法，其特征在于，基于所述评估结果，筛选得到所述原始面部图像对应的情绪候选图像包括：

按照所述情绪候选图像对应的待保留维度数目设定截尾指标；

基于所述评估结果和所述截尾指标对所述多个情绪子空间进行剔除，得到剔除结果；

利用所述第一像素指标、所述第二像素指标和所述第三像素指标的公共维度，从所述剔除结果中筛选得到所述情绪候选图像。

5.根据权利要求1所述的图像处理方法，其特征在于，基于所述情绪候选图像执行目标应用操作包括：

从所述情绪候选图像中选取目标图像；

采用所述目标图像对所述原始面部 图像进行替换。

6.根据权利要求1所述的图像处理方法，其特征在于，基于所述情绪候选图像执行目标应用操作包括：

基于所述情绪候选图像进行微表情分析，得到分析结果；

利用所述分析结果，对所述原始面部图像对应的目标人物进行社交心理评估。

7.一种图像处理方法，其特征在于，包括：

接收来自于客户端的原始面部图像，其中，所述原始面部图像为真实面部图像；

探索所述原始面部图像对应的多个情绪子空间，以及利用多种像素指标从所述多个情绪子空间中筛选得到所述原始面部图像对应的情绪候选图像，其中，所述多个情绪子空间用于描述所述原始面部图像对应的不同情绪状态；

将所述情绪候选图像反馈至所述客户端，以使所述客户端基于所述情绪候选图像执行目标应用操作；

其中，探索所述原始面部图像对应的所述多个情绪子空间包括：将所述原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，所述目标深度学习模型包括：多个特征层；将所述目标特征向量输入至所述多个特征层，确定目标特征维度；对所述目标特征维度添加定向扰动，得到所述多个情绪子空间；

其中，基于所述情绪候选图像执行目标应用操作包括：基于所述情绪候选图像生成目标图像，其中，所述目标图像为虚拟面部图像。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于获取原始面部图像，其中，所述原始面部图像为真实面部图像；

探索模块，用于探索所述原始面部图像对应的多个情绪子空间，其中，所述多个情绪子空间用于描述所述原始面部图像对应的不同情绪状态；

筛选模块，用于利用多种像素指标从所述多个情绪子空间中筛选得到所述原始面部图像对应的情绪候选图像；

处理模块，用于基于所述情绪候选图像执行目标应用操作；

其中，所述探索模块还用于：将所述原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，所述目标深度学习模型包括：多个特征层；将所述目标特征向量输入至所述多个特征层，确定目标特征维度；对所述目标特征维度添加定向扰动，得到所述多个情绪子空间；

其中，所述处理模块还用于：基于所述情绪候选图像生成目标图像，其中，所述目标图像为虚拟面部图像。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的图像处理方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：

获取原始面部图像，其中，所述原始面部图像为真实面部图像；

探索所述原始面部图像对应的多个情绪子空间，其中，所述多个情绪子空间用于描述所述原始面部图像对应的不同情绪状态；

利用多种像素指标从所述多个情绪子空间中筛选得到所述原始面部图像对应的情绪候选图像；

基于所述情绪候选图像执行目标应用操作；

其中，探索所述原始面部图像对应的所述多个情绪子空间包括：将所述原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，所述目标深度学习模型包括：多个特征层；将所述目标特征向量输入至所述多个特征层，确定目标特征维度；对所述目标特征维度添加定向扰动，得到所述多个情绪子空间；

其中，基于所述情绪候选图像执行目标应用操作包括：基于所述情绪候选图像生成目标图像，其中，所述目标图像为虚拟面部图像。

11.一种图像渲染方法，其特征在于，包括：

在目标电子设备上获取原始面部图像，其中，所述目标电子设备包括以下至少之一：虚拟现实设备、增强现实设备，所述原始面部图像为真实面部图像；

探索所述原始面部图像对应的多个情绪子空间，其中，所述多个情绪子空间用于描述所述原始面部图像对应的不同情绪状态；

利用多种像素指标从所述多个情绪子空间中筛选得到所述原始面部图像对应的情绪候选图像；

基于所述情绪候选图像进行微表情分析，得到分析结果；

利用所述分析结果，对所述原始面部图像对应的目标人物进行社交心理评估，得到评估结果；

在所述目标电子设备的图像用户界面内渲染得到所述分析结果对应的微表情图像以及所述评估结果对应的社交心理提示信息；

其中，探索所述原始面部图像对应的所述多个情绪子空间包括：将所述原始面部图像反演至目标深度学习模型的隐空间，得到目标特征向量，其中，所述目标深度学习模型包括：多个特征层；将所述目标特征向量输入至所述多个特征层，确定目标特征维度；对所述目标特征维度添加定向扰动，得到所述多个情绪子空间；

其中，基于所述情绪候选图像执行目标应用操作包括：基于所述情绪候选图像生成目标图像，其中，所述目标图像为虚拟面部图像。

Images