CN109241890B - 面部图像校正方法、装置及存储介质 - Google Patents

Abstract

本公开提供了一种面部图像校正方法，包括建立多种物种样本库，其中，每个样本库中存储相应物种的样本ID物种的面部图像；针对同一样本ID的物种的多个面部图像利用机器学习算法分别对多类型样本库中的样本进行学习，得到针对不同物种的多分类识别模型；获取待识别对象的多个面部图像；利用多分类识别模型对待识别对象的多个面部图像分别进行解析得到多个面部特征；利用修正模型对待识别对象的面部图像上的多个面部特征进行校正识别。本公开可以实现快速针对多个生物同时采集动态和静态的面部图像，也能实现精准面部识别，并为其面部增加特效的技术效果。本公开还涉及一种面部图像校正装置。

Description

面部图像校正方法、装置及存储介质

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种面部图像校正方法、装置及存储介质。

背景技术

本公开对于背景技术的描述属于与本公开相关的相关技术，仅仅是用于说明和便于理解本公开的发明内容，不应理解为申请人明确认为或推定申请人认为是本公开在首次提出申请的申请日的现有技术。

随着科学技术的快速发展，越来越多的电子多媒体技术应用到人们的日常生活中，人们的娱乐休闲方式的也来越多，其中，拍短视频的音乐创意短视频社交软件就是其中一种，在拍摄或者编辑短视频时，可对人的面部增加特效，增加娱乐效果。但是目前短视频社交软件无法对摄像头采集不固定姿态的特定对象，如动物、婴儿的面部增加特效，因而无法满足用户更多的需求。

发明内容

本公开的第一个方面涉及一种面部图像校正方法，具体包括：多类型样本库建立步骤，建立多物种样本库，其中，每个物种的样本库中存储相应物种的样本ID、物种的面部图像；多分类识别模型训练步骤，针对同一样本ID的物种的多个所述面部图像利用机器学习算法对多类型样本库中样本进行学习，得到针对不同物种的多分类识别模型；获取多个面部图像步骤，获取待识别对象的多个面部图像；多分类识别模型解析多个面部图像步骤，利用多分类识别模型对待识别对象的多个面部图像分别进行解析得到多个面部特征；校正识别步骤，利用修正模型对待识别对象的面部图像上的多个面部特征进行校正识别。

本公开可以实现快速针对多个生物同时采集动态和静态的面部图像，尤其针对不固定姿态的特定对象，如动物、婴儿，即便无法采集到正面的姿态头像，也能实现精准面部识别，为其面部增加特效。

根据本公开，优选的实施方式中还包括：特效渲染步骤，使用特效工具在修正识别的面部图像上，进行特效渲染。

根据本公开，优选的实施方式中的多分类识别模型解析多个面部图像步骤包括：利用深度卷积神经网络对待识别对象的多个所述面部图像分别进行解析得到多个面部特征。

根据本公开，优选的实施方式中还包括预处理步骤，将获取的待识别对象的多个所述面部图像进行预处理。

本公开的第二个方面涉及一种面部图像校正装置，包括：多类型样本库建立模块，建立多物种样本库，其中，每个物种的样本库中存储相应物种的样本ID、物种的面部图像；分类识别模型训练模块，针对同一样本ID的物种的多个所述面部图像利用机器学习算法分别对多类型样本库中样本进行学习，得到针对不同物种的多分类识别模型；获取多个面部图像模块，获取待识别对象的多个面部图像；多分类识别模型解析多个面部图像模块，利用多分类识别模型对待识别对象的多个面部图像分别进行解析得到多面部特征；校正识别模块，利用修正模型对待识别对象的面部图像上的多个面部特征进行校正识别。

根据本公开，优选的实施方式中，该装置还包括：特效渲染模块，用于使用特效工具在修正识别的面部图像上，进行特效渲染。

根据本公开，优选的实施方式中，该装置中的所述多分类识别模型解析多个面部图像模块，用于利用深度卷积神经网络对待识别对象的多个所述面部图像分别进行解析得到多个面部特征。

根据本公开，优选的实施方式中，该装置还包括：预处理模块，将获取的待识别对象的多个所述面部图像进行预处理。

本公开的第三个方面涉及一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任一种面部图像校正方法的步骤。

本公开的第四个方面涉及一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行所述程序时实现上述任一种面部图像校正方法的步骤。

本公开的附加方面和优点将在下面的描述部分中变得明显，或通过本公开的实践了解到。

附图说明

本公开的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本公开一种面部图像校正方法的第一实施例流程示意图；

图2是本公开一种面部图像校正装置的第一实施例框图；

图3是本公开一种面部图像校正方法的第二实施例流程示意图；

图4是本公开一种面部图像校正装置的第二实施例框图；

图5是本公开一种面部图像校正方法的第三实施例流程示意图；

图6是本公开一种面部图像校正装置的第三实施例框图；

图7为本公开实施例的终端设备的硬件结构示意图；

图8是本公开实施例的人机交互装置的硬件结构示意图；

图9是本公开实施例的计算机可读存储介质的示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和具体实施方式对本公开进行进一步的详细描述。虽然每个实施例代表了发明的单一组合，但是本公开不同实施例可以替换，或者合并组合，因此本公开也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含A、B、C，另一个实施例包含B和D的组合，那么本公开也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但是，本公开还可以采用其他不同于在此描述的其他方式来实施，因此，本公开的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1所示，本公开的第一个方面，涉及一种面部图像校正方法，包括：

步骤101，多类型样本库建立步骤，建立多物种样本库，其中，每个物种的样本库中存储相应物种的样本ID、物种的面部图像。例如，人脸样本库LFPW、AFLW、BioID、ICCV13、MVFW、olivettifaces；猫脸样本库，可以随机采集足够数量(如200张)各品种的猫脸作为猫脸样本库；狗脸样本库，可以随机采集足够数量(如200张)各品种的狗脸作为猫脸样本库。

步骤102，多分类识别模型训练步骤，针对同一样本ID的物种的多个面部图像利用机器学习算法分别对多类型样本库中样本进行学习，得到针对不同物种的多分类识别模型。

具体地说，学习过程中，对同一学习样本以组进行机器算法学习，以得到针对该物种的识别模型。例如，多分类识别模型中含针对人脸形成人脸识别组，针对猫形成猫脸识别组，针对狗形成狗脸识别组。也可以更进一步，对欧洲人形成欧洲人脸识别组，对波斯猫形成波斯猫脸识别组。

步骤103，获取多个面部图像步骤，获取待识别对象的多个面部图像。

获取待识别对象的多张面部图片，图片格式不限。获取的具体方式，可以是，从摄像头实时采集，也可以是从图片库输入。需要说明的是，这里，可以是例如固定间隔时间(如每隔1s)拍摄的多副面部图片，所述待识别对象也可以同时是多个生物ID，例如，两只猫，或者一人一狗等。

步骤104，多分类识别模型解析多个面部图像步骤，利用多分类识别模型对待识别对象的多个面部图像分别进行解析得到多个面部特征。

多分类识别器可以是各种面部识别检测算法，如基于几何特征的算法、局部特征的算法、特征脸算法、基于弹性模型的算法、神经网络算法中的一种或几种。如，根据待识别对象面部图像的特征向量在所述人脸图像样本库中查找与该待识别对象面部图像相匹配的面部样本图像，根据该面部样本图像确定待识别对象的面涂图像的面部ID。通过计算待识别对象的面部图像的特征向量与面部样本图像的特征向量之间的向量距离，将向量距离最小或小于阈值的面部样本图像作为与待识别对象面部图像相匹配的面部样本图像。该面部样本图像的面部ID即为待识别对象面部图像的面部ID。

上述方式中，优选利用深度卷积神经网络对待识别对象的多个面部图像分别进行解析得到多个面部特征。

步骤105，校正识别步骤，利用修正模型对待识别对象的面部图像上的多个面部特征进行校正识别。

在上一步骤的基础上，本公开继续进行校正识别步骤的有益效果为，即使未获取与多类型样本库非常匹配的图像，也可以获得很好的识别结果。具体实现方式可以是，例如，根据面部特征的深度值和特征之间的函数关系，计算待识别对象的旋转量，根据获取待识别对象的多个面部图像拟合出该待识别对象的正面图像，从而与多类型样本库再次匹配获得识别结果。

需要说明的是，如上文所述，若待识别对象包括多个生物，那么多个生物的识别是同时进行的。

此外，还需要说明的是，本公开的面部图像校正方法还包括：步骤106，特效渲染步骤，使用特效工具在修正识别的面部图像上进行特效渲染。使用各种功能的渲染工具对识别出的面部图像进行各种特效渲染，例如，贴纸(带花环，带眼镜，染发，美颜、换装)、变形、拉伸、液化等等。

本公开可以实现快速针对多个生物同时采集动态和静态的面部图像，尤其针对不固定姿态的特定对象，如动物、婴儿，由于他们不配合面部图像采集，难以捕捉到静止的正面的面部图像，而本公开实现了即便无法采集到正面姿态的面部图像，即可以狭义理解为人物头像，也能实现精准面部图像的识别，并为其面部增加特效的技术效果。

本公开实施例的第二个方面涉及一种面部图像校正装置，下面参考附图2描述本发明实施例的面部图像校正装置。首先需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述其细节。

多类型样本库建立模块201，建立多物种样本库，其中，每个物种的样本库中存储相应物种的样本ID、物种的面部图像。

分类识别模型训练模块202，针对同一样本ID的物种的多个面部图像利用机器学习算法分别对多类型样本库中样本进行学习，得到针对不同物种的多分类识别模型。

获取多个面部图像模块203，获取待识别对象的多个面部图像。

多分类识别模型解析多个面部图像模块204，利用多分类识别模型对待识别对象的多个面部图像分别进行解析得到多面部特征。

校正识别模块205，利用修正模型对待识别对象的面部图像上的多个面部特征进行校正识别。

此外，还需要说明的是，本公开涉及的面部图像校正装置，还包括：特效渲染模块206，用于使用特效工具在修正识别的面部图像上，进行特效渲染。

实施例二

图像识别中，图像质量的好坏直接影响识别算法的设计与效果精度，因此除了能在算法上的优化外，预处理技术在整个项目中占有很重要的因素。

本实施例考虑到图像实时采集过程中，通常会有光线明暗、阴影、复杂背景等因素，因此，优选实施例中，可以将获得的待识别图像先进行预处理，以消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。

如图3所示，步骤103'，将获得的待识别图像先进行预处理。预处理过程一般有数字化、几何变换、归一化、平滑、复原和增强等步骤，在此不再赘述。

下面参考附图4描述本实施例的面部图像校正装置。首先需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述其细节。

如图4所示，该面部图像校正装置还包括预处理模块203’，将获得的待识别图像先进行预处理。

实施例三

本实施例是优选实施例，具体采用了从利用多面部特征计算得到校正函数所需的各个参数，然后通过多图像的各面部特征点之间的映射关系建立映射函数，对多角度面部图像进行校正的方式来调整非正面图像识别所带来的误差。参照图5，步骤105具体可以包括：

步骤1051，参数获取步骤，利用多个面部特征计算得到校正函数所需的参数。

例如，通过获取的多张面部图像中每个面部特征分别计算得到每副面部图像中，嘴、鼻尖、眼睛、眉毛上述特征点的图像深度；以及每副面部图像中，嘴、鼻尖、眼睛、眉毛上述特征点的像素数目，通过特征点的相互位置关系计算面部左或右的旋转角度，通过获取的图像深度、像素数目以及旋转角度这三个参数进行校正，最终获取正面的面部图像。

步骤1052，函数校正步骤，通过获取的校正函数中的参数完成针对多角度的面部图像的校正操作。

需要说明的是，将获取的图像深度、像素数目以及旋转角度的三个参数与预先学习好的正面的面部图像的图像深度、像素数目以及旋转角度的参数范围进行调整校正操作，与此同时，获取校正函数。需要说明的是，校正函数中包括校正的面部图像的面部特征点向量组，通过获取的不同物种的面部图像的面部特征点的向量组的获取，以及与校正函数中已校正后的面部图像的面部特征点进行匹配完成通过修正模型对待识别对象的面部图像上在三维重建状态下的多个面部特征进行校正识别的操作。此外，可以理解的是，在面部校正步骤中，考虑到不同面部区域对三维面部识别具有不同重要性，本公开采用了基于神经元位置敏感的匹配模式。基于神经元位置敏感的匹配模式的主要目的是通过一个训练数据库获得不同神经元位置处的深度卷积特征，作为三维面部图像识别时的权重。在基于神经元位置敏感的匹配模式下，在识别过程中，将该权重与传统的稀疏表示分类器结合，即基于神经元位置敏感的匹配模式下的稀疏表示模型，对利用多个面部特征计算得到校正函数所需的参数，实现三维面对的比对。

下面参考附图6描述本实施例的面部图像校正装置。首先需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述其细节。

如图6所示，该面部图像校正装置的校正识别模块205具体包括：

参数获取单元2051，利用多个面部特征计算得到校正函数所需的参数，例如如旋转角度，图像深度以及像素数目等。

函数校正单元2052，通过获取的校正函数中的参数完成针对多角度的面部图像的校正操作。

此外，如图7所示，本公开的面部图像校正方法和装置可以在终端设备上实现。终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

在本公开的一个实施例中，终端设备可以包括无线通信单元1、A/V(音频/视频)输入单元2、用户输入单元3、感测单元4、输出单元5、存储器6、接口单元7、控制器8和电源单元9等等。其中，A/V(音频/视频)输入单元2包括但不限于，摄像头、前置摄像头，后置摄像头，各类音视频输入设备。本领域的技术人员应该理解，上述实施例列出的终端设备所包括的组件，不止上述所述的种类，可以包括更少或者更多的组件。

本领域的技术人员应该理解，这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。

本公开第三方面的实施例提供的面部图像校正装置80，包括存储器801、处理器802及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述任一项为特定对象的面部增加特效的方法的步骤。

在本公开的一个实施例中，存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在本公开的一个实施例中，处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制人机交互装置中的其它组件以执行期望的功能。在本公开的一个实施例中，处理器用于运行存储器中存储的计算机可读指令，使得面部图像校正装置执行上述面部图像校正方法。

在本公开的一个实施例中，如图8所示，面部图像校正装置80包括存储器801和处理器802。面部图像校正装置80中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。

存储器801用于存储非暂时性计算机可读指令。具体地，存储器801可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

处理器802可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制面部图像校正装置80中的其它组件以执行期望的功能。在本公开的一个实施例中，处理器802用于运行存储器801中存储的计算机可读指令，使得面部图像校正装置80执行上述为特定对象的面部增加特效的方法。面部图像校正装置与上述为特定对象的面部增加特效的方法描述的实施例相同，在此将省略其重复描述。

本公开第四方面的实施例提供的计算机可读存储介质900，如图9所示，其上存储有计算机程序，该程序被处理器执行时实现上述任一项为特定对象的面部增加特效的方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、静态随机访问存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。在本公开的一个实施例中，计算机可读存储介质900其上存储有非暂时性计算机可读指令901。当非暂时性计算机可读指令901由处理器运行时，执行参照上述描述的根据本公开实施例的为特定对象的面部增加特效的方法。

在本公开中，术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种面部图像校正方法，其特征在于，包括：

多类型样本库建立步骤，建立多物种样本库，其中，每个物种的样本库中存储相应物种的样本ID、物种的面部图像；

多分类识别模型训练步骤，针对同一样本ID的物种的多个所述面部图像利用机器学习算法分别对多类型样本库中样本进行学习，得到针对不同物种的多分类识别模型；

获取多个面部图像步骤，获取待识别对象的多个面部图像；

多分类识别模型解析多个面部图像步骤，利用多分类识别模型对待识别对象的多个面部图像分别进行解析得到多个面部特征；

校正识别步骤，利用修正模型对待识别对象的面部图像上的多个面部特征进行校正识别；其中，根据面部特征的深度值和特征之间的函数关系，计算所述待识别对象的旋转量，根据获取所述待识别对象的多个所述面部图像拟合出所述待识别对象的正面图像；

特效渲染步骤，使用特效工具在修正识别的面部图像上，进行特效渲染；其中，所述校正识别步骤进一步包括：

参数获取步骤，利用多个面部特征计算得到校正函数所需的参数；其中，所述参数包括嘴、鼻尖、眼睛和眉毛的特征点的图像深度，嘴、鼻尖、眼睛和眉毛的特征点的像素数量，以及通过特征点的相互位置关系计算面部向左或向右的旋转角度；

函数校正步骤，通过获取的所述校正函数中的所述参数完成针对多角度的所述面部图像的校正操作；其中，所述校正函数包括校正的面部图像的面部特征点向量组；若所述待识别对象包括多个生物，同时对多个生物进行识别。

2.根据权利要求1所述的面部图像校正方法，其特征在于，该方法中的所述多分类识别模型解析多个面部图像步骤包括：利用深度卷积神经网络对待识别对象的多个所述面部图像分别进行解析得到多个面部特征。

3.根据权利要求1所述的面部图像校正方法，其特征在于，该方法还包括：

预处理步骤，将获取的待识别对象的多个所述面部图像进行预处理。

4.一种面部图像校正装置，其特征在于，包括：

多类型样本库建立模块，建立多物种样本库，其中，每个物种的样本库中存储相应物种的样本ID、物种的面部图像；

分类识别模型训练模块，针对同一样本ID的物种的多个所述面部图像利用机器学习算法分别对多类型样本库中样本进行学习，得到针对不同物种的多分类识别模型；

获取多个面部图像模块，获取待识别对象的多个面部图像；

多分类识别模型解析多个面部图像模块，利用多分类识别模型对待识别对象的多个面部图像分别进行解析得到多面部特征；

校正识别模块，利用修正模型对待识别对象的面部图像上的多个面部特征进行校正识别；其中，根据面部特征的深度值和特征之间的函数关系，计算所述待识别对象的旋转量，根据获取所述待识别对象的多个所述面部图像拟合出所述待识别对象的正面图像；

特效渲染模块，用于使用特效工具在修正识别的面部图像上，进行特效渲染；

其中，所述校正识别模块进一步包括：

参数获取模块，用于利用多个面部特征计算得到校正函数所需的参数；所述参数包括嘴、鼻尖、眼睛和眉毛的特征点的图像深度，嘴、鼻尖、眼睛和眉毛的特征点的像素数量，以及通过特征点的相互位置关系计算面部向左或向右的旋转角度；

函数校正模块，用于通过获取的所述校正函数中的所述参数完成针对多角度的所述面部图像的校正操作；其中，所述校正函数包括校正的面部图像的面部特征点向量组；若所述待识别对象包括多个生物，同时对多个生物进行识别。

5.根据权利要求4所述的面部图像校正装置，其特征在于，该装置中的所述多分类识别模型解析多个面部图像模块，用于利用深度卷积神经网络对待识别对象的多个所述面部图像分别进行解析得到多个面部特征。

6.根据权利要求4所述的面部图像校正装置，其特征在于，该装置还包括：

预处理模块，将获取的待识别对象的多个所述面部图像进行预处理。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-3中任一项所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如所述权利要求1-3中任一项所述的方法的步骤。

Images