CN116030509A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。该图像处理方法包括：响应于检测到检测对象，获取检测对象的当前特征信息，当前特征信息用于指示检测对象的目标特征的当前状态；获取目标特征的极限形变信息，极限形变信息是对目标特征处于至少一个极限状态时的目标虚拟子图像进行计算得到的；基于极限形变信息和当前特征信息，确定初始虚拟图像中特征点的移动信息，初始虚拟图像由多个虚拟子图像叠加得到，多个虚拟子图像包括至少一个极限状态中的至少部分极限状态对应的目标虚拟子图像；根据移动信息，驱动初始虚拟图像中的特征点移动，以生成与当前状态对应的当前虚拟图像。该方法可以降低虚拟形象的设计难度和驱动难度。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本公开的实施例涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着互联网的快速发展，虚拟形象在直播、短视频、游戏等新兴领域被广泛应用。虚拟形象的应用不仅提高了人机交互的趣味性而且也给用户带来了便利。例如，在直播平台上，主播可以无需露脸，而使用虚拟形象进行直播。

发明内容

本公开至少一个实施例提供一种图像处理方法，包括：响应于检测到检测对象，获取检测对象的当前特征信息，当前特征信息用于指示检测对象的目标特征的当前状态；获取目标特征的极限形变信息，极限形变信息是对目标特征处于至少一个极限状态时的目标虚拟子图像进行计算得到的；基于极限形变信息和当前特征信息，确定初始虚拟图像中特征点的移动信息，初始虚拟图像由多个虚拟子图像叠加得到，多个虚拟子图像包括至少一个极限状态中的至少部分极限状态对应的目标虚拟子图像；根据移动信息，驱动初始虚拟图像中的特征点移动，以生成与当前状态对应的当前虚拟图像。

例如，在本公开一实施例提供的图像处理方法中，还包括：获取多个虚拟子图像每个的深度信息，并且基于多个虚拟子图像每个的深度信息和多个虚拟子图像得到初始虚拟图像。

例如，在本公开一实施例提供的图像处理方法中，获取目标特征的极限形变信息，包括：根据至少一个极限状态时的目标虚拟子图像，确定目标特征的第一极限位置和第二极限位置；对第一极限位置和第二极限位置进行采样，以获得多个采样点的采样结果；以及对采样结果进行计算，以得到目标特征的极限形变信息。

例如，在本公开一实施例提供的图像处理方法中，目标虚拟子图像包括处于第一极限状态的第一图层和处于第二极限状态的第二图层；根据至少一个极限状态时的目标虚拟子图像，确定目标特征的第一极限位置和第二极限位置，包括：分别对第一图层和第二图层的阿尔法通道进行掩膜，以获得两个掩膜子图，并且将两个掩膜子图合并为一个掩膜图；以及根据掩膜图，确定第一极限位置和第二极限位置。

例如，在本公开一实施例提供的图像处理方法中，采样结果包括多个采样点中每个采样点分别在第一极限位置和第二极限位置的位置坐标，对采样结果进行计算，以得到目标特征的极限形变信息，包括：根据每个采样点分别在第一极限位置和第二极限位置的位置坐标，计算每个采样点在第一极限位置和第二极限位置之间的高度差；根据高度差，对多个采样点进行曲线拟合得到极限形变值曲线；将目标特征中的每个目标顶点代入极限形变值曲线中，以得到目标特征中每个目标顶点的极限形变值，每个目标顶点与初始虚拟子图像中的至少部分特征点相对应。

例如，在本公开一实施例提供的图像处理方法中，曲线拟合包括多项式拟合，极限形变曲线包括多项式曲线。

例如，在本公开一实施例提供的图像处理方法中，采样结果包括多个采样点中每个采样点分别在第一极限位置和第二极限位置的位置坐标，对采样结果进行计算，以得到目标特征的极限形变信息，包括：根据每个采样点分别在第一极限位置和第二极限位置的位置坐标，计算每个采样点在第一极限位置和第二极限位置之间的高度差；将每个采样在第一极限位置和第二极限位置之间的高度差作为极限形变信息。

例如，在本公开一实施例提供的图像处理方法中，基于极限形变信息和当前特征信息，确定初始虚拟图像中特征点的移动信息，包括：根据当前特征信息，确定目标特征相对于参考状态的当前状态值；以及根据当前状态值和极限形变信息，确定初始虚拟图像中特征点的移动信息。

例如，在本公开一实施例提供的图像处理方法中，根据当前特征信息，确定目标特征相对于参考状态的当前状态值，包括：获取特征信息和状态值之间的映射关系；根据映射关系和当前特征信息，确定目标特征相对于参考状态的当前状态值。

例如，在本公开一实施例提供的图像处理方法中，获取特征信息和状态值之间的映射关系，包括：获取多个样本，其中，每个样本包括目标特征的样本特征信息和样本状态值之间的对应关系；基于对应关系，构建映射函数，映射函数表示特征信息和状态值之间的映射关系。

例如，在本公开一实施例提供的图像处理方法中，样本特征信息包括第一特征信息和第二特征信息，样本状态值包括第一特征信息对应的第一值和第二特征信息对应的第二值，基于对应关系，构建映射函数，包括：构建线性方程组；将第一特征信息和第一值、第二特征信息和第二值分别代入线性方程组，对线性方程组求解而得到映射函数。

例如，在本公开一实施例提供的图像处理方法中，移动信息包括移动距离，根据当前状态值和极限形变信息，确定初始虚拟图像中特征点的移动信息，包括：对当前状态值和极限形变信息进行计算，以确定初始虚拟图像中特征点的移动距离。

例如，在本公开一实施例提供的图像处理方法中，对当前状态值和极限形变信息进行计算，以确定初始虚拟图像中特征点的移动距离，包括：对当前状态值和极限形变信息进行乘法运算，以确定初始虚拟图像中特征点的移动距离。

例如，在本公开一实施例提供的图像处理方法中，移动信息包括移动距离，根据移动信息，驱动初始虚拟图像中特征点移动，包括：驱动初始虚拟图像中的目标虚拟子图像中特征点从初始状态所在的位置向不同于初始状态的至少一个极限状态之一所在的位置移动移动距离。

例如，在本公开一实施例提供的图像处理方法中，移动信息包括目标位置，根据移动信息，驱动初始虚拟图像中特征点移动，包括：驱动初始虚拟图像中特征点移动到目标位置。

例如，在本公开一实施例提供的图像处理方法中，当前特征信息包括目标特征与检测对象的参考特征之间的对比信息，在检测对象相对于用于检测检测对象的图像采集装置的距离发生变化时，对比信息不变。

例如，在本公开一实施例提供的图像处理方法中，每个虚拟子图像与检测对象的多个待虚拟特征之一相对应，多个待虚拟特征包括所述目标特征，多个虚拟子图像每个的深度信息包括每个虚拟子图像的深度值和每个虚拟子图像中特征点的深度值，在垂直于检测对象的面部的方向上，每个虚拟子图像的深度值和第一距离成正比，第一距离为虚拟子图像相对应的待虚拟特征与检测对象的眼睛之间的距离；以及每个虚拟子图像中特征点的深度值与第一距离成正比。

例如，在本公开一实施例提供的图像处理方法中，目标特征包括睫毛和嘴部中的至少一个，在目标特征为睫毛的情形，目标特征的极限状态为检测对象的眼睛睁开时目标特征的状态，在目标特征为嘴部的情形，目标特征的极限状态为嘴部张开到最大程度时嘴部的状态。

本公开至少一个实施例提供一种图像处理装置，包括：检测单元，配置为响应于检测到所述检测对象，获取所述检测对象的当前特征信息，所述当前特征信息用于指示所述检测对象的目标特征的当前状态；获取单元，配置为获取所述目标特征的极限形变信息，所述极限形变信息是对所述目标特征处于极限状态时的目标虚拟子图像进行计算得到的；确定单元，配置为基于所述极限形变信息和所述当前特征信息，确定所述初始虚拟图像中特征点的移动信息，初始虚拟图像由多个虚拟子图像叠加得到，所述多个虚拟子图像包括至少部分所述目标虚拟子图像；驱动单元，配置为根据所述移动信息，驱动所述初始虚拟图像中的特征点移动，以生成与所述当前状态对应的当前虚拟图像。

本公开至少一个实施例提供一种电子设备，包括处理器；存储器，包括一个或多个计算机程序模块；一个或多个计算机程序模块被存储在存储器中并被配置为由处理器执行，一个或多个计算机程序模块包括用于实现本公开任一实施例提供的图像处理方法的指令。

本公开至少一个实施例提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当非暂时性计算机可读指令由计算机执行时可以实现本公开任一实施例提供的图像处理方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A示出了本公开至少一实施例提供的一种图像处理方法的流程图；

图1B示意性示出了本公开的一些实施例提供的多个虚拟子图像的示意图；

图2A示出了本公开至少一个实施例提供的图1A中步骤S20的方法流程图；

图2B和图2C示出了本公开至少一个实施例提供的生成掩膜图的示意图；

图2D示出了本公开至少一个实施例提供的一种图2A中步骤S23的方法流程图；

图3示出了本公开至少一个实施例提供的一种图1A中步骤S30的方法流程图；

图4示出了本公开至少一个实施例提供的图像处理方法的效果示意图；

图5示出了本公开至少一个实施例提供的一种图像处理装置的示意框图；

图6示出了本公开至少一个实施例提供的一种电子设备的示意框图；

图7示出了本公开至少一个实施例提供的另一种电子设备的示意框图；以及

图8示出了本公开至少一个实施例提供的一种计算机可读存储介质的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

虚拟形象的动作和表情均可以根据电子设备检测到的对象(例如，用户)的动作和表情进行实时驱动。虚拟形象的设计难度和驱动难度较高。三维虚拟形象的制作需要进行形象美术设计，角色模型制作，动画骨骼绑定，在进一步的虚拟形象的驱动和呈现中还涉及动作捕捉技术、全息硬件技术、增强现实(Augmented Reality，AR)技术、虚拟现实(VirtualReality，VR)技术以及驱动程序的开发，导致三维虚拟形象的制作周期较长，实现难度和驱动难度较大，成本较高。二维虚拟形象的制作，需要按照不同原画设计平台的要求进行较为专业的原画设计，同时在驱动时，逐帧绘制每一帧动画形成动作表情，并且还需要在特定的绘制软件(如Live2D)上进行素材变换，实现难度和驱动难度也较高。

本公开至少一个实施例提供一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。该图像处理方法包括：响应于检测到检测对象，获取检测对象的当前特征信息，当前特征信息用于指示检测对象的目标特征的当前状态；获取目标特征的极限形变信息，极限形变信息是对目标特征处于极限状态时的目标虚拟子图像进行计算得到的；基于极限形变信息和当前特征信息，确定初始虚拟图像中特征点的移动信息，初始虚拟图像由多个虚拟子图像叠加得到，所述多个虚拟子图像包括至少部分所述目标虚拟子图像；根据移动信息，驱动初始虚拟图像中的特征点移动，以生成与当前状态对应的当前虚拟图像。该图像处理方法可以降低虚拟形象的设计难度和驱动难度，使得虚拟形象更加容易实现和驱动。

图1A示出了本公开至少一实施例提供的一种图像处理方法的流程图。

如图1A所示，该方法可以包括步骤S10～S40。

步骤S10：响应于检测到检测对象，获取检测对象的当前特征信息，当前特征信息用于指示检测对象的目标特征的当前状态。

步骤S20：获取目标特征的极限形变信息，极限形变信息是对目标特征处于至少一个极限状态时的目标虚拟子图像进行计算得到的。

步骤S30：基于极限形变信息和当前特征信息，确定初始虚拟图像中特征点的移动信息，初始虚拟图像由多个虚拟子图像叠加得到，多个虚拟子图像包括至少一个极限状态中的至少部分极限状态对应的目标虚拟子图像。

步骤S40：根据移动信息，驱动初始虚拟图像中特征点移动，以生成与当前状态对应的当前虚拟图像。

该实施例可以根据目标特征的极限状态对应的目标虚拟子图像和目标特征的当前状态来确定初始虚拟图像中的特征点的移动信息，从而驱动特征点按照移动信息移动，以生成与当前状态对应的当前虚拟图像。

在本公开的实施例中，通过实时获取检测对象的目标特征的当前状态，并且根据当前状态的当前特征信息驱动初始虚拟图像中特征点移动，便能够实现虚拟形象的生成和驱动，因此，本公开的实施例不需要利用动画骨骼绑定技术、全息硬件技术等或者特定的绘制软件(如Live2D)便可以实现虚拟形象的生成和驱动，降低了虚拟形象的实现难度和驱动难度。

对于步骤S10，例如检测对象可以是待虚拟化的对象，待虚拟化的对象例如可以是人、宠物等活体。例如，检测对象可以是通过检测装置(摄像头、红外装置等)检测得到的。

在本公开的一些实施例中，检测对象包括待虚拟特征，待虚拟特征包括目标特征。例如，待虚拟特征为检测对象中需要被虚拟化的特征，目标特征是检测对象的关键部位，关键部位为在待虚拟特征被虚拟化后得到的虚拟图像中需要被驱动的部位。例如，检测对象的待虚拟特征可以包括但不限于脸颊、肩膀、头发以及各个五官等。例如，在待虚拟特征中，脸颊和肩膀为在虚拟图像中不需要被驱动的部位，而眉毛、上睫毛、下睫毛、嘴部、上眼皮、下眼皮等需要在虚拟图像中被驱动，因此，目标特征可以包括但不限于眉毛、上睫毛、下睫毛、嘴部、上眼皮、下眼皮等。

例如，响应于摄像头检测到检测对象，获取检测对象的当前特征信息。例如，利用多个人脸关键点对检测对象进行定位检测，从而获取到检测对象的当前特征信息。例如，可以采用106个人脸关键点检测算法，或者280个人脸关键点检测算法，也可以采用其他适用的算法，本公开的实施例对此不作限制。

在本公开的一些实施例中，例如当前特征信息包括检测对象的脸部动作信息、身体姿态信息等。例如，当前特征信息能够指示检测对象眼睛的张开程度、嘴部的张开程度等。

在本公开的一些实施例中，当前特征信息包括目标特征与检测对象的参考特征之间的对比信息，在检测对象相对于用于检测检测对象的图像采集装置的距离发生变化时，对比信息不变。

例如，当检测对象距离摄像头远近不同时，只要检测对象的表情不变，这些当前特征信息便不发生变化，这样能够缓解检测对象与摄像头之间的距离发生改变导致的虚拟图像的抖动。

例如，参考特征可以是人脸、眼睛等。例如，当前特征信息可以包括眉毛到眼睛的高h1度与人脸的高度h0的比值h1/h0，眼睛上下眼皮关键点的高度h2与人脸的高度h0的比值h2/h0，瞳孔到眼睛的外眼角的距离h3与眼睛的宽度k0的比值h3/k0，嘴部的面积s1与人脸的面积s0的比值s1/s0，即，通过比值h1/h0来表示眉毛的高度，通过比值h2/h0表示眼睛张开程度，通过比值h3/k0来表示瞳孔的位置，通过比值s1/s0来表示嘴部的张开程度。

对于步骤S20，在本公开的实施例中，目标特征具有极限状态，目标特征的极限状态例如为目标特征的最大形变状态。例如，目标特征为上睫毛、上眼皮的情形，目标特征的极限状态包括检测对象的眼睛睁开到最大程度时目标特征的状态。例如，目标特征为上睫毛，上睫毛的极限状态包括检测对象的眼睛睁开到最大程度时，上睫毛的状态。在目标特征为嘴部的情形，目标特征的极限状态包括嘴部张开到最大程度时嘴部的状态。

在本公开的一些实施例中，目标特征为上睫毛、上眼皮的情形，目标特征的极限状态还可以包括检测对象的眼睛闭合时目标特征的状态。例如，目标特征为上睫毛，上睫毛的极限状态不仅包括检测对象的眼睛睁开到最大程度时，上睫毛的状态，还包括眼睛闭合时上睫毛的状态。在目标特征为嘴部的情形，目标特征的极限状态不仅包括嘴部张开到最大程度时嘴部的状态，还包括嘴部闭合时嘴部的状态。

在本公开的一些实施例中，检测对象的目标特征处于极限状态时的目标虚拟子图像可以是设计人员预先绘制的。例如，设计人员可以预先绘制眼睛睁到最大时，上睫毛对应的目标虚拟子图像，以及眼睛闭合时，上睫毛对应的目标虚拟子图像。

对于步骤S20，极限形变信息可以是指目标特征的最大形变值。例如，极限形变信息可以是对目标特征分别处于两种极限状态时目标特征中多个采样点的极限位置进行计算得到的。下文结合图2A描述了步骤S20的一种实施方式，在此不再赘述。

对于步骤S30，在本公开的一些实施例中，例如，多个虚拟子图像可以是设计人员在图像制作软件中提取绘制的，多个虚拟子图像作为多个图层，叠加多个图层可以得到初始虚拟图像。例如，按照设计人员预先设定的图层名字，在图层中绘制对应的图像，这样就可以根据图层名字来调取图层和驱动图层。例如，多个虚拟子图像是设计人员利用Photoshop等制图工具提前绘制的，并且存储于存储单元中。例如，从存储单元的中读取Photoshop制图工具的psd.文件得到多个虚拟子图像。当然，本公开的实施例不限于此，设计人员可以采用任意的软件或工具来绘制虚拟子图像。

图1B示意性示出了本公开的一些实施例提供的多个虚拟子图像的示意图。

如图1B所示，多个虚拟子图像包括嘴部图像110、上睫毛图像120、瞳孔的图像130和眼白的图像140。

需要理解的是，图1B仅仅示出了部分虚拟子图像，并不是全部的虚拟子图像。例如，多个虚拟子图像还包括头发的图像、鼻子的图像等等。设计人员可以根据实际需要绘制所需要的虚拟子图像。

多个虚拟子图像包括至少一个极限状态中的至少部分极限状态对应的目标虚拟子图像。例如，目标特征具有两种极限状态，多个虚拟子图像包括目标特征中的其中一种极限状态对应的目标虚拟子图像。例如，多个虚拟子图像包括眼睛张开到最大程度时睫毛的目标虚拟子图像，也即，初始虚拟图像是眼睛张开到最大程度时对应的虚拟图像。

例如，在图1B中，嘴部图像110为嘴部张开到最大程度时的图像，上睫毛图像120为眼睛睁开到最大程度时的图像。

例如，每个虚拟子图像与检测对象的多个待虚拟特征之一相对应，多个待虚拟特征包括目标特征。

例如，多个虚拟子图像除包括目标特征处于极限状态时的目标虚拟子图像之外，还可以包括待虚拟特征中一些不需要驱动的部位的虚拟子图像以及背景图像。例如，多个虚拟子图像除眉毛、上睫毛、下睫毛、嘴部、上眼皮、下眼皮等各自的目标虚拟子图像之外，还包括脸颊和肩膀的虚拟子图像。背景图像，例如是检测对象所处环境的环境图像等。

在本公开的一些实施例中，如图1A所示，该图像处理方法除包括步骤S10～步骤S40之外还可以包括步骤S50。例如，步骤S50可以在步骤S10之前执行。

步骤S50：获取多个虚拟子图像每个的深度信息，并且基于多个虚拟子图像每个的深度信息和多个虚拟子图像得到初始虚拟图像。

该实施例为每个虚拟子图像设定了深度信息，使得叠加多个虚拟子图像得到的初始虚拟图像具有三维效果，从而驱动初始虚拟图像中的特征点移动得到的虚拟形象也具有三维效果。

例如，叠加多个虚拟子图像得到初始虚拟图像。

对于步骤S50，多个虚拟子图像每个的深度信息包括每个虚拟子图像的深度值和每个虚拟子图像中特征点的深度值。每个虚拟子图像与检测对象的多个待虚拟特征之一相对应，多个待虚拟特征包括目标特征。

在本公开的一些实施例中，每个虚拟子图像的深度信息可以是设计人员预先设置的。

在本公开的一些实施例中，每个虚拟子图像与检测对象的多个待虚拟特征之一相对应，多个待虚拟特征包括目标特征，在垂直于检测对象的面部的方向上，每个虚拟子图像的深度值和第一距离成正比，每个虚拟子图像中特征点的深度值与第一距离成正比，第一距离为虚拟子图像相对应的待虚拟特征与检测对象的眼睛之间的距离。也即，在垂直于检测对象的面部的方向上，每个虚拟子图像的深度值和每个虚拟子图像中特征点的深度值与虚拟子图像与检测对象的眼睛之间的距离成正比。

需要理解的是，在本公开的距离可以是一个矢量，既距离可以为正值也可以为负值。

例如，多个虚拟子图像包括对应于检测对象的鼻子的鼻子虚拟子图像和对应于检测对象的肩膀的肩膀虚拟子图像。在垂直于检测对象的面部的方向上，待虚拟特征鼻子与检测对象的眼睛之间的距离为-f1，待虚拟特征肩膀与检测对象的眼睛之间的距离为f2，f1和f2均大于0。因此，鼻子虚拟子图像的深度值小于眼睛的虚拟子图像的深度值，眼睛的虚拟子图像的深度值小于肩膀虚拟子图像的深度值。该实施例使得在视觉上，虚拟形象的鼻子位于眼睛的面前，肩膀位于眼睛的后面。

例如，对于每个虚拟子图像，将虚拟子图像划分为多个矩形框，提取每个矩形框的边框坐标(bounding box)，以及根据第一距离为每个矩形框中的左上角顶点和右下角顶点设置深度值，矩形框的每个顶点可以代表一个特征点。矩形框的顶点的深度值与该顶点到检测对象的眼睛之间的距离成正比。

例如，对于目标特征眉毛，眉毛的虚拟子图像被均等分成3个矩形，提取3个矩形各自的左上角顶点和右下角顶点在图像坐标系中的边框坐标(X,Y)，X为横坐标，Y为纵坐标，并且为每个顶点设置深度值Z得到每个顶点的坐标(X,Y,Z)，同时加入W坐标和四个纹理坐标(s,t,r,q)，每个顶点的维度为8维。顶点组个数为二行四列(2，4)共8个，第一行为(X,Y,Z,W)，第二行为(s,t,r,q)。图像坐标系，例如以虚拟子图像的宽度方向为X轴，虚拟子图像的高度方向为Y轴，虚拟子图像的左下角为坐标原点。

相比于眉毛的虚拟子图像，后发(头发中远离检测对象的眼睛的部分)的虚拟子图像被划分为更多的矩形，每个矩形对应一个顶点组。在后发的虚拟子图像中，中间区域的深度值(即，z坐标)小于两侧的深度值(即，z坐标)，以形成一个后发弯曲的形态。

图2A示出了本公开至少一个实施例提供的图1A中步骤S20的方法流程图。

如图2A所示，步骤S20可以包括步骤S21～步骤S23。

步骤S21：根据至少一个极限状态时的目标虚拟子图像，确定目标特征的第一极限位置和第二极限位置。

步骤S22：对第一极限位置和第二极限位置进行采样，以获得多个采样点的采样结果。

步骤S23：对采样结果进行计算，以得到目标特征的极限形变信息。

对于步骤S21，第一极限位置为目标特征处于第一极限状态时虚拟图像中目标特征所在的位置，第二极限位置为目标特征处于第二极限状态时虚拟图像中目标特征所在的位置。目标特征所在的位置例如可以通过目标特征中多个特征点的位置坐标表示。

在本公开的一些实施例中，至少一个极限状态时的目标虚拟子图像包括处于第一极限状态的第一图层和处于第二极限状态的第二图层，步骤S21包括：分别对第一图层和第二图层的阿尔法通道进行掩膜，以获得两个掩膜子图，并且将两个掩膜子图合并为一个掩膜图；以及根据掩膜图，确定第一极限位置和第二极限位置。

图2B和图2C示出了本公开至少一个实施例提供的生成掩膜图的示意图。

在图2B和图2C所示的实施例中，目标特征为上睫毛。

如图2B所示，对上睫毛处于第一极限状态的第一图层的阿尔法通道(αlpha通道)进行掩膜处理，得到第一极限状态的掩膜子图210。对上睫毛处于第二极限状态的第二图层的阿尔法通道进行掩膜处理，得到第二极限状态的掩膜子图220。

如图2C所示，将掩膜子图210和掩膜子图220合并为一个掩膜图230。例如，可以根据掩膜子图210中多个特征点的位置坐标和掩膜子图220中多个特征点的位置坐标，将掩膜子图210和掩膜子图220合并为一个掩膜图230。

如图2C所示，掩膜图230包括目标特征子图231和目标特征子图232。目标特征子图231为目标特征处于第一极限状态时所在的第一极限位置，目标特征子图232为目标特征处于第二极限状态时所在的第二极限位置。

对于步骤S22，例如，分别对掩膜图230的目标特征子图231和目标特征子图进行均匀采样。

在本公开的一些实施例中，采样结果包括多个采样点中每个采样点分别在第一极限位置和第二极限位置的位置坐标。

例如，如图2C所示，确定上睫毛的多个采样点的横坐标x1、x2、……xn，分别获取多个采样点在目标特征子图231和目标特征子图232的纵坐标。采样点在目标特征子图231的纵坐标为采样点在第一极限位置的位置坐标。采样点在目标特征子图232的纵坐标为采样点在第二极限位置的位置坐标。

如图2C所示，均匀采样得到上睫毛多个采样点在第一极限位置的坐标(x1,y1)、....、(xn,yn)和在第二极限位置的坐标(x1,b1)、....、(xn,bn)。

对于步骤S23，例如，根据每个采样点分别在第一极限位置和第二极限位置的位置坐标，计算每个采样点在第一极限位置和第二极限位置之间的高度差，将每个采样在第一极限位置和第二极限位置之间的高度差作为极限形变信息。该实施例获取到的极限形变信息较为准确，从而能够更加准确地驱动初始虚拟图像。

例如，对于每个采样点，计算在第二极限位置的纵坐标和在第一极限位置的纵坐标之间的差值，该差值即为高度差。例如，在图2C所示的情景中，多个采样点x1....xn的高度差分别为b1-y1....bn-yn。在该实施例中，极限形变信息包括每个采样点x1、....、xn的高度差分别为b1-y1、....、bn-yn。

图2D示出了本公开至少一个实施例提供的一种图2A中步骤S23的方法流程图。

如图2D所示，步骤S23可以包括步骤S231～步骤S233。

步骤S231：根据每个采样点分别在第一极限位置和第二极限位置的位置坐标，计算每个采样点在第一极限位置和第二极限位置之间的高度差。

步骤S232：根据高度差，对多个采样点进行曲线拟合得到极限形变值曲线。

步骤S233：将目标特征中的每个目标顶点代入所述极限形变值曲线中，以得到目标特征中每个目标顶点的极限形变值，每个目标顶点与初始虚拟子图像中的至少部分特征点相对应。

该实施例中，极限形变信息包括目标特征中每个目标顶点的极限形变值。该实施例根据多个采样点的高度差拟合出极限形变值曲线，并且根据极限形变值曲线得到目标特征中每个目标顶点的极限形变值，能够避免目标特征的边缘部分的一些特征点被遗漏而未被驱动，从而使得当前虚拟图像更加完整和符合实际情况。例如，若上嘴唇和下嘴唇的边缘部分(例如，嘴角位置)对应的特征点未被驱动，则导致在检测对象的嘴部闭合时，当前虚拟图像的嘴角并不闭合，引起当前虚拟图像不完整以及不符合实际情况。

在步骤S231，例如可以按照上文描述的方法计算每个采样点在第一极限位置和第二极限位置之间的高度差，在此不再赘述。

在步骤S232，曲线拟合包括多项式拟合，极限形变曲线包括多项式曲线。在本公开的一些实施例中，多项式的次数可以根据需要驱动的虚拟子图像(图层)的复杂度和大致形状确定。

例如，多个采样点的横坐标和高度差形成拟合样本，即，拟合样本为(x1,b1-y1)、....、(xn,bn-yn)。将拟合样本(x1,b1-y1)、....、(xn,bn-yn)代入下面的多项式，以进行多项式拟合得到极限形变值曲线。

y＝axⁿ+bx^n-1+cx^n-2+…+wx+z

在步骤S233，在本公开的一些实施例中，将目标特征对应的虚拟子图像中的每个特征点点的横坐标代入极限形变值曲线中，以得到每个特征点的极限形变值。目标特征中的目标顶点，例如，从上文步骤S50描述的坐标(X,Y,Z,W)中提取多个特征点的X坐标，并且将X坐标变换为目标特征对应的虚拟子图像中的坐标。

对于步骤S30，在本公开的一些实施例中，移动信息包括移动距离。在本公开的另一些实施例中，移动信息包括初始虚拟图像中特征点需要移动至的目标位置。

图3示出了本公开至少一个实施例提供的一种图1A中步骤S30的方法流程图。

如图3所示，步骤S30可以包括步骤S31和步骤S32。

步骤S31：根据当前特征信息，确定目标特征相对于参考状态的当前状态值。

步骤S32：根据当前状态值和极限形变信息，确定初始虚拟图像中特征点的移动信息。

对于步骤S31，参考状态可以是设计人员预先设定的。例如，参考状态为眼睛闭合和/或眼睛张开到最大程度。

当前状态值可以是用于体现当前特征信息与检测对象处于参考状态时目标特征的参考特征信息之间的关系的参数。

例如，参考状态为眼睛睁开到最大程度，目标特征为睫毛，当前状态值可以是体现当前睫毛的位置与眼睛睁开到最大程度时睫毛的位置之间的关系的参数。

在本公开的一些实施例中，步骤S31可以包括获取特征信息和状态值之间的映射关系，根据映射关系和当前特征信息，确定目标特征相对于参考状态的当前状态值。

例如，获取多个样本，每个样本包括目标特征的样本特征信息和样本状态值之间的对应关系；基于对应关系，构建映射函数，映射函数表示特征信息和状态值之间的映射关系。

例如，样本特征信息包括第一特征信息和第二特征信息，样本状态值包括第一特征信息对应的第一值和第二特征信息对应的第二值。构建映射函数包括构建线性方程组，以及将第一特征信息和第一值、第二特征信息和第二值分别代入线性方程组，对线性方程组求解而得到映射函数。

例如，线性方程组为二元一次方程组，第一特征信息为样本中眼睛睁开到最大程度时睫毛上特征点在移动方向上的位置坐标Y0，第一值为0，第二特征信息为样本中眼睛闭合时睫毛上特征点在移动方向上的位置坐标Y1，第二值为1。睫毛的移动方向垂直于眼睛的宽度方向。第一特征信息和第二特征信息可以是对多个样本进行统计计算得到的结果。根据(Y0，0)和(Y1，1)构建二元一次方程组，并且对二元一次方程组进行求解得到映射函数u＝av+b，a和b为对二元一次方程组进行求解得到的值，v为当前特征信息，u为当前状态值。例如，将睫毛上每个特征点的当前位置坐标v(即，特征点当前在移动方向上的坐标)代入映射函数u＝av+b，求解得到当前特征信息v对应的当前状态值u。

在本公开的另一些实施例中，特征信息和状态值之间的映射关系也可以是映射关系表，本公开不限定映射关系的表示形式。

在本公开的一些实施例中，移动信息包括移动距离，步骤S32包括对当前状态值和极限形变信息进行计算，以确定初始虚拟图像中特征点的移动距离。

例如，对当前状态值和极限形变信息进行乘法运算，以确定初始虚拟图像中特征点的移动距离。

例如，极限形变信息为上文所描述的极限形变值，对于上睫毛中的特征点x1，若当前状态值为0.5，则特征点x1的移动距离为0.5与b1-y1的乘积。

返回参考图1A，对于步骤S40，例如，电子设备的摄像头检测到检测对象的目标特征的当前状态，驱动初始虚拟图像中的特征点跟随当前状态移动，使得电子设备展示的当前虚拟图像与检测对象的目标特征的当前状态相符。

在本公开的一些实施例中，步骤S40包括：驱动目标虚拟子图像中特征点从初始状态所在的位置向不同于初始状态的至少一个极限状态之一所在的位置移动移动距离。例如，初始状态为初始虚拟图像展示的状态，初始状态所在的位置即为初始虚拟图像中特征点所在的位置。

例如，在初始虚拟图像中，睫毛对应的目标虚拟子图像是眼睛睁开到最大程度时的图像，即，初始状态所在的位置为眼睛睁开到最大程度时睫毛在目标虚拟子图像中的位置。在得到睫毛对应的目标虚拟子图像中的特征点的移动信息之后，驱动睫毛对应的目标虚拟子图像中的特征点从眼睛睁开到最大程度时睫毛在目标虚拟子图像中的位置向眼睛闭合时睫毛在目标虚拟子图像中的位置移动。也即，如图2C所示，驱动睫毛对应的目标虚拟子图像中的特征点从目标特征子图231所示出的位置向目标特征子图232所示的位置移动。

在本公开的另一些实施例中，移动信息包括目标位置，步骤S40包括：驱动初始虚拟图像中特征点移动到目标位置。

例如，驱动初始虚拟图像中睫毛对应的目标虚拟子图像中的特征点移动到目标位置。

在本公开的一些实施例中，例如根据初始状态所在的位置和移动距离计算得到目标位置。

在本公开的另一些实施例中，上文参考图1A所示的方法除包括步骤S10～步骤S50之外，还可以包括：根据当前特征信息，计算俯仰角、偏航角和翻滚角，根据俯仰角、偏航角和翻滚角，计算旋转矩阵，以及根据移动信息，驱动初始虚拟图像中特征点移动，并且根据旋转矩阵控制初始虚拟图像旋转，以生成与当前状态对应的当前虚拟图像。

例如检测对象为用户，根据用户人脸的280关键点计算俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)。俯仰角为人脸围绕第一轴旋转的角度，偏航角为人脸围绕第二轴旋转的角度，翻滚角为人脸围绕第三轴旋转的角度。第一轴垂直于人脸的高度方向，第二轴为平行于人脸的高度方向，第三轴垂直于第一轴和第二轴。根据当前特征信息，计算俯仰角、偏航角和翻滚角，根据俯仰角、偏航角和翻滚角，计算旋转矩阵可以参考相关技术中的相关算法，本公开不再赘述。

在该实施例中，在根据移动信息，驱动初始虚拟图像中特征点移动的同时根据旋转矩阵控制初始虚拟图像旋转，以生成与当前状态对应的当前虚拟图像。

例如，响应于检测对象的头部旋转，电子设备展示的当前虚拟图像由检测对象的正脸的虚拟图像变化为头部旋转后检测对象的侧脸的虚拟图像。

在该实施例中，可以根据旋转矩阵控制初始虚拟图像旋转，使得当前虚拟图像更加逼真和形象。

在本公开的实施例中，当前虚拟图像是跟随电子设备检测到的检测对象的目标特征的当前状态而变化的，从而电子设备能够展示于检测对象的目标特征的当前状态相符的虚拟形象。

图4示出了本公开至少一个实施例提供的图像处理方法的效果示意图。

如图4所示，在该效果示意图中包括检测对象分别在第一时刻时的状态401和在第二时刻时的状态402。

在该效果示意图中还包括在第一时刻时，电子设备中展示的检测对象的当前虚拟图像403，以及在第二时刻时，电子设备中展示的检测对象的当前虚拟图像404。

如图4所示，检测对象在第一时刻时眼睛睁开并且嘴部闭合，相应地，此时电子设备中展示检测对象的当前虚拟图像403中的眼睛也睁开，嘴部也闭合。

如图4所示，检测对象在第二时刻时眼睛闭合并且嘴部张开，相应地，此时电子设备中展示检测对象的当前虚拟图像404中的眼睛也闭合，嘴部也张开。

图5示出了本公开至少一个实施例提供的一种图像处理装置500的示意框图。

例如，如图5所示，该图像处理装置500包括检测单元510、获取单元520、确定单元530和驱动单元540。

检测单元510配置为响应于检测到所述检测对象，获取所述检测对象的当前特征信息，当前特征信息用于指示所述检测对象的目标特征的当前状态。检测单元510例如可以执行图1A描述的步骤S10。

获取单元520配置为获取所述目标特征的极限形变信息，极限形变信息是对所述目标特征处于极限状态时的目标虚拟子图像进行计算得到的。获取单元520例如可以执行图1A描述的步骤S20。

确定单元530配置为基于所述极限形变信息和所述当前特征信息，确定所述初始虚拟图像中特征点的移动信息，初始虚拟图像由多个虚拟子图像叠加得到，所述多个虚拟子图像包括至少部分所述目标虚拟子图像。确定单元530例如可以执行图1A描述的步骤S30。

驱动单元540配置为根据所述移动信息，驱动所述初始虚拟图像中的特征点移动，以生成与所述当前状态对应的当前虚拟图像。驱动单元540例如可以执行图1A描述的步骤S40。

例如，检测单元510、获取单元520、确定单元530和驱动单元540可以为硬件、软件、固件以及它们的任意可行的组合。例如，检测单元510、获取单元520、确定单元530和驱动单元540可以为专用或通用的电路、芯片或装置等，也可以为处理器和存储器的结合。关于上述各个单元的具体实现形式，本公开的实施例对此不作限制。

需要说明的是，本公开的实施例中，图像处理装置500的各个单元与前述的图像处理方法的各个步骤对应，关于图像处理装置500的具体功能可以参考关于图像处理方法的相关描述，此处不再赘述。图5所示的图像处理装置500的组件和结构只是示例性的，而非限制性的，根据需要，该图像处理装置500还可以包括其他组件和结构。

本公开的至少一个实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器包括一个或多个计算机程序模块。一个或多个计算机程序模块被存储在存储器中并被配置为由处理器执行，一个或多个计算机程序模块包括用于实现上述的图像处理方法的指令。该电子设备可以降低虚拟形象的设计难度和驱动难度。

图6为本公开一些实施例提供的一种电子设备的示意框图。如图6所示，该电子设备800包括处理器810和存储器820。存储器820用于存储非暂时性计算机可读指令(例如一个或多个计算机程序模块)。处理器810用于运行非暂时性计算机可读指令，非暂时性计算机可读指令被处理器810运行时可以执行上文所述的图像处理方法中的一个或多个步骤。存储器820和处理器810可以通过总线系统和/或其它形式的连接机构(未示出)互连。

例如，处理器810可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元。例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器810可以为通用处理器或专用处理器，可以控制电子设备800中的其它组件以执行期望的功能。

例如，存储器820可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块，处理器810可以运行一个或多个计算机程序模块，以实现电子设备800的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。

需要说明的是，本公开的实施例中，电子设备800的具体功能和技术效果可以参考上文中关于图像处理方法的描述，此处不再赘述。

图7为本公开一些实施例提供的另一种电子设备的示意框图。该电子设备900例如适于用来实施本公开实施例提供的图像处理方法。电子设备900可以是终端设备等。需要注意的是，图7示出的电子设备900仅仅是一个示例，其不会对本公开实施例的功能和使用范围带来任何限制。

如图7所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)910，其可以根据存储在只读存储器(ROM)920中的程序或者从存储装置980加载到随机访问存储器(RAM)930中的程序而执行各种适当的动作和处理。在RAM 930中，还存储有电子设备900操作所需的各种程序和数据。处理装置910、ROM 920以及RAM 930通过总线940彼此相连。输入/输出(I/O)接口950也连接至总线940。

通常，以下装置可以连接至I/O接口950：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置960；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置970；包括例如磁带、硬盘等的存储装置980；以及通信装置990。通信装置990可以允许电子设备900与其他电子设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备900，但应理解的是，并不要求实施或具备所有示出的装置，电子设备900可以替代地实施或具备更多或更少的装置。

例如，根据本公开的实施例，上述图像处理方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包括用于执行上述图像处理方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置990从网络上被下载和安装，或者从存储装置980安装，或者从ROM 920安装。在该计算机程序被处理装置910执行时，可以实现本公开实施例提供的图像处理方法中限定的功能。

本公开的至少一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储非暂时性计算机可读指令，当非暂时性计算机可读指令由计算机执行时可以实现上述的图像处理方法。利用该计算机可读存储介质，可以降低虚拟形象的设计难度和驱动难度。

图8为本公开一些实施例提供的一种存储介质的示意图。如图8所示，存储介质1000用于存储非暂时性计算机可读指令1010。例如，当非暂时性计算机可读指令1010由计算机执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。

例如，该存储介质1000可以应用于上述电子设备800中。例如，存储介质1000可以为图6所示的电子设备800中的存储器820。例如，关于存储介质1000的相关说明可以参考图6所示的电子设备800中的存储器820的相应描述，此处不再赘述。

有以下几点需要说明：

(1)本公开实施例附图只涉及到本公开实施例涉及到的结构，其他结构可参考通常设计。

(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种图像处理方法，包括：

响应于检测到检测对象，获取所述检测对象的当前特征信息，其中，所述当前特征信息用于指示所述检测对象的目标特征的当前状态；

获取所述目标特征的极限形变信息，其中，所述极限形变信息是对所述目标特征处于至少一个极限状态时的目标虚拟子图像进行计算得到的；

基于所述极限形变信息和所述当前特征信息，确定初始虚拟图像中特征点的移动信息，其中，所述初始虚拟图像由多个虚拟子图像叠加得到，所述多个虚拟子图像包括所述至少一个极限状态中的至少部分极限状态对应的目标虚拟子图像；

根据所述移动信息，驱动所述初始虚拟图像中的特征点移动，以生成与所述当前状态对应的当前虚拟图像。

2.根据权利要求1所述的方法，还包括：

获取所述多个虚拟子图像每个的深度信息，并且基于所述多个虚拟子图像每个的深度信息和所述多个虚拟子图像得到所述初始虚拟图像。

3.根据权利要求1所述的方法，其中，获取所述目标特征的所述极限形变信息，包括：

根据所述至少一个极限状态时的目标虚拟子图像，确定所述目标特征的第一极限位置和第二极限位置；

对所述第一极限位置和所述第二极限位置进行采样，以获得多个采样点的采样结果；以及

对所述采样结果进行计算，以得到所述目标特征的所述极限形变信息。

4.根据权利要求3所述的方法，其中，所述至少一个极限状态时的目标虚拟子图像包括处于第一极限状态的第一图层和处于第二极限状态的第二图层；

根据所述至少一个极限状态时的目标虚拟子图像，确定所述目标特征的所述第一极限位置和所述第二极限位置，包括：

分别对所述第一图层和所述第二图层的阿尔法通道进行掩膜，以获得两个掩膜子图，并且将所述两个掩膜子图合并为一个掩膜图；以及

根据所述掩膜图，确定所述第一极限位置和所述第二极限位置。

5.根据权利要求4所述的方法，其中，所述采样结果包括所述多个采样点中每个采样点分别在所述第一极限位置和所述第二极限位置的位置坐标，

对所述采样结果进行计算，以得到所述目标特征的所述极限形变信息，包括：

根据每个采样点分别在所述第一极限位置和所述第二极限位置的位置坐标，计算每个采样点在所述第一极限位置和所述第二极限位置之间的高度差；

根据所述高度差，对所述多个采样点进行曲线拟合得到极限形变值曲线；

将所述目标特征中的每个目标顶点代入所述极限形变值曲线中，以得到所述目标特征中每个目标顶点的所述极限形变值，其中，所述每个目标顶点与所述初始虚拟子图像中的至少部分特征点相对应。

6.根据权利要求5所述的方法，其中，所述曲线拟合包括多项式拟合，所述极限形变曲线包括多项式曲线。

7.根据权利要求4所述的方法，其中，所述采样结果包括所述多个采样点中每个采样点分别在所述第一极限位置和所述第二极限位置的位置坐标，

对所述采样结果进行计算，以得到所述目标特征的所述极限形变信息，包括：

根据每个采样点分别在所述第一极限位置和所述第二极限位置的位置坐标，计算每个采样点在所述第一极限位置和所述第二极限位置之间的高度差；

将每个采样在所述第一极限位置和所述第二极限位置之间的高度差作为所述极限形变信息。

8.根据权利要求1～7任一项所述的方法，其中，基于所述极限形变信息和所述当前特征信息，确定所述初始虚拟图像中特征点的所述移动信息，包括：

根据所述当前特征信息，确定所述目标特征相对于参考状态的当前状态值；以及

根据所述当前状态值和所述极限形变信息，确定所述初始虚拟图像中特征点的所述移动信息。

9.根据权利要求8所述的方法，其中，根据所述当前特征信息，确定所述目标特征相对于所述参考状态的所述当前状态值，包括：

获取特征信息和状态值之间的映射关系；

根据所述映射关系和所述当前特征信息，确定所述目标特征相对于所述参考状态的所述当前状态值。

10.根据权利要求9所述的方法，其中，获取所述特征信息和所述状态值之间的所述映射关系，包括：

获取多个样本，其中，每个样本包括所述目标特征的样本特征信息和样本状态值之间的对应关系；

基于所述对应关系，构建映射函数，其中，所述映射函数表示所述特征信息和所述状态值之间的所述映射关系。

11.根据权利要求10所述的方法，其中，所述样本特征信息包括第一特征信息和第二特征信息，所述样本状态值包括所述第一特征信息对应的第一值和所述第二特征信息对应的第二值，

基于所述对应关系，构建所述映射函数，包括：

构建线性方程组；

将所述第一特征信息和所述第一值、所述第二特征信息和所述第二值分别代入所述线性方程组，对所述线性方程组求解而得到所述映射函数。

12.根据权利要求8所述的方法，其中，所述移动信息包括移动距离，

根据所述当前状态值和所述极限形变信息，确定所述初始虚拟图像中特征点的所述移动信息，包括：

对所述当前状态值和所述极限形变信息进行计算，以确定所述初始虚拟图像中特征点的所述移动距离。

13.根据权利要求12所述的方法，其中，对所述当前状态值和所述极限形变信息进行计算，以确定所述初始虚拟图像中特征点的所述移动距离，包括：

对所述当前状态值和所述极限形变信息进行乘法运算，以确定所述初始虚拟图像中特征点的所述移动距离。

14.根据权利要求1或2所述的方法，其中，所述移动信息包括移动距离，

根据所述移动信息，驱动所述初始虚拟图像中所述特征点移动，包括：

驱动所述初始虚拟图像中的目标虚拟子图像中所述特征点从初始状态所在的位置向不同于所述初始状态的至少一个极限状态之一所在的位置移动所述移动距离。

15.根据权利要求1所述的方法，其中，所述移动信息包括目标位置，

根据所述移动信息，驱动所述初始虚拟图像中所述特征点移动，包括：

驱动所述初始虚拟图像中所述特征点移动到所述目标位置。

16.根据权利要求1所述的方法，其中，所述当前特征信息包括所述目标特征与所述检测对象的参考特征之间的对比信息，其中，在所述检测对象相对于用于检测所述检测对象的图像采集装置的距离发生变化时，所述对比信息不变。

17.根据权利要求2所述的方法，其中，所述多个虚拟子图像每个的深度信息包括每个虚拟子图像的深度值和每个虚拟子图像中特征点的深度值，

所述每个虚拟子图像与所述检测对象的多个待虚拟特征之一相对应，所述多个待虚拟特征包括所述目标特征，

其中，在垂直于所述检测对象的面部的方向上，所述每个虚拟子图像的深度值和第一距离成正比，所述第一距离为所述虚拟子图像相对应的待虚拟特征与所述检测对象的眼睛之间的距离；以及

所述每个虚拟子图像中特征点的深度值与所述第一距离成正比。

18.根据权利要求1所述的方法，其中，所述目标特征包括睫毛和嘴部中的至少一个，

在所述目标特征为睫毛的情形，所述目标特征的极限状态为所述检测对象的眼睛睁开时所述目标特征的状态，

在所述目标特征为嘴部的情形，所述目标特征的极限状态为所述嘴部张开到最大程度时嘴部的状态。

19.一种图像处理装置，包括：

检测单元，配置为响应于检测到所述检测对象，获取所述检测对象的当前特征信息，其中，所述当前特征信息用于指示所述检测对象的目标特征的当前状态；

获取单元，配置为获取所述目标特征的极限形变信息，其中，所述极限形变信息是对所述目标特征处于极限状态时的目标虚拟子图像进行计算得到的；

确定单元，配置为基于所述极限形变信息和所述当前特征信息，确定所述初始虚拟图像中特征点的移动信息，其中，所述初始虚拟图像由多个虚拟子图像叠加得到，所述多个虚拟子图像包括至少部分所述目标虚拟子图像；

驱动单元，配置为根据所述移动信息，驱动所述初始虚拟图像中的特征点移动，以生成与所述当前状态对应的当前虚拟图像。

20.一种电子设备，包括：

处理器；

存储器，包括一个或多个计算机程序指令；

其中，所述一个或多个计算机程序指令被存储在所述存储器中，并由所述处理器执行时实现权利要求1-18任一项所述的图像处理方法。

21.一种计算机可读存储介质，非暂时性存储有计算机可读指令，其中，当所述计算机可读指令由处理器执行时实现权利要求1-18任一项所述的图像处理方法。

Images