CN111275005A - 绘制人脸图像识别方法、计算机可读存储介质和相关设备 - Google Patents

Abstract

本发明实施例公开了绘制人脸图像识别方法、计算机可读存储介质和相关设备，应用于信息处理技术领域。检测待识别图像的绘制人脸关键点信息，然后再根据绘制人脸关键点信息对待识别图像进行矫正得到矫正后图像，从矫正后图像中提取绘制人脸特征信息，进而再通过绘制人脸特征信息确定出待识别图像对应的人物信息。这样，在识别待识别图像中的人物信息过程中确定的绘制人脸特征信息，可以较准地描述待识别图像中的绘制人脸图像，从而使得最终识别出的人物信息准确。

Description

绘制人脸图像识别方法、计算机可读存储介质和相关设备

技术领域

本发明涉及人工智能的信息处理技术领域，特别涉及绘制人脸图像识别方法、计算机可读存储介质和相关设备。

背景技术

目前在绘制人脸图像的分析领域，主要用途是绘制人脸图像的识别，即识别出绘制人脸图像中的人物，比如漫画人脸图像的识别，且随着网络上不断产生出各个人物的多种绘制方法，对绘制人脸图像识别的应用也不断增加。

现有绘制人脸图像的识别方法主要是基于已有的绘制人脸数据集的方法，比如网络漫画(WebCaricature)数据集等。在已有的绘制人脸数据集中可以包括多个人物的多种绘制人脸图像，这样，在进行绘制人脸图像识别时，可以根据待识别图像的特征信息，及已有的绘制人脸数据集中各个人物的绘制人脸图像的特征信息，识别出待识别图像中的人物。

但是由于待识别图像是通过一定方法绘制的人脸图像，而相同人物存在多种不同的绘制方法，使得通过每一种绘制方法得到的绘制人脸图像在特征空间可能会存在较大的差别，这样，现有的基于已有绘制人脸数据集进行绘制人脸图像的识别时的准确性会比较低。

发明内容

本发明实施例提供绘制人脸图像识别方法、计算机可读存储介质和相关设备，实现了对绘制人脸图像的准确识别。

本发明实施例一方面提供一种绘制人脸图像识别方法，包括：

获取包含绘制人脸图像的待识别图像；对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息；

根据所述绘制人脸关键点信息对所述待识别图像中的绘制人脸图像进行矫正，得到矫正后图像；

从所述矫正后图像中提取绘制人脸特征信息；

根据所述绘制人脸特征信息确定所述待识别图像对应的人物信息。

本发明实施例另一方面提供一种绘制人脸图像识别装置，包括：

图像获取单元，用于获取包含绘制人脸图像的待识别图像；

关键点检测单元，用于对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息；

矫正单元，用于根据所述绘制人脸关键点信息对所述待识别图像中的绘制人脸图像进行矫正，得到矫正后图像；

特征确定单元，用于从所述矫正后图像中提取绘制人脸特征信息；

人物识别单元，用于根据所述绘制人脸特征信息确定所述待识别图像对应的人物信息。

本发明实施例另一方面提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如本发明实施例所述的绘制人脸图像识别方法。

本发明实施例另一方面提供一种终端设备，包括处理器和存储器；

所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如本发明实施例所述的绘制人脸图像识别方法，所述处理器，用于实现所述多个计算机程序中的各个计算机程序。

可见，在本实施例的方法中，绘制人脸图像识别装置检测待识别图像中的绘制人脸关键点信息，然后再根据绘制人脸关键点信息对待识别图像中绘制人脸图像进行矫正，得到矫正后图像，并提取矫正后图像的绘制人脸特征信息，进而再根据绘制人脸特征信息确定待识别图像中的人物信息。这样，在识别待识别图像中的人物信息过程中，通过检测的绘制人脸关键点信息来矫正待识别图像中的绘制人脸图像，进而得到的绘制人脸特征信息可以较准地描述待识别图像中的绘制人脸图像，从而使得最终识别出的人物信息准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种绘制人脸图像识别方法的示意图；

图2是本发明一个实施例提供一种绘制人脸图像识别方法的流程图；

图3是本发明一个实施例提供一种模型训练方法的流程图；

图4是本发明应用实施例中确定的关键点检测初始模型的示意图；

图5是本发明应用实施例中确定的人脸识别初始模型的示意图；

图6是本发明应用实施例中通过素描化算法形成的新的漫画人脸图像的示意图；

图7是本发明应用实施例中各个样本图像中绘制人脸的人脸特征信息在球坐标系下的分布示意图；

图8是本发明应用实施例中对待识别的漫画人脸图像进行识别的示意图；

图9是本发明实施例提供的一种绘制人脸图像识别装置的结构示意图；

图10是本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种绘制人脸图像识别方法，主要可以对绘制人脸图像中的人物进行识别，如图1所示，绘制人脸图像识别装置可以按照如下方法进行绘制人脸图像的识别：

获取包含绘制人脸图像的待识别图像；对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息；根据所述绘制人脸关键点信息对所述待识别图像中的绘制人脸图像进行矫正，得到矫正后图像；从所述矫正后图像中提取绘制人脸特征信息；根据所述所述绘制人脸特征信息确定所述待识别图像对应的人物信息。

上述在对待识别图像进行绘制人脸关键点的检测时，可以根据预置的关键点检测模型进行检测；且在提取绘制人脸特征信息和确定人物信息时，可以根据预置的人脸识别模型先提取绘制人脸特征信息，然后确定人物信息。这里，预置的关键点检测模型具体可以为多任务卷积神经网络(Multi-task convolutional neural network，MTCNN)，比如MTCNN的输出网络(Output Network，ONet)，而预置的人脸识别模型具体可以为用于人脸识别和聚类的统一嵌入网络(A Unified Embedding for Face Recognition and Clustering，FaceNet)，这两个模型都是基于人工智能的机器学习模型。

其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

而机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

这样，在识别待识别图像中的人物信息过程中，通过检测的绘制人脸关键点信息来矫正待识别图像中的绘制人脸图像，进而确定的矫正后图像的绘制人脸特征信息，可以较准地描述待识别图像中的绘制人脸图像，从而使得最终识别出的人物信息准确；且本实施例中可以采用不同的机器学习模型来分别检测绘制人脸关键点信息和识别人物信息，减少了同一机器学习模型执行不同任务所带来的误差。

本发明实施例提供一种绘制人脸图像识别方法，主要是由绘制人脸图像识别装置所执行的方法，流程图如图2所示，包括：

步骤101，确定包含绘制人脸图像的待识别图像。

可以理解，用户可以操作绘制人脸图像识别装置，将任一绘制人脸图像输入到绘制人脸图像识别装置中，这样，绘制人脸图像识别装置可以基于用户输入的绘制人脸图像发起本实施例的流程。或者，当绘制人脸图像识别装置在接收到任一个绘制人脸图像时，可以发起本实施例的流程。这里绘制人脸图像是指包含绘制人脸的图像，可以包括一个或多个绘制人脸的图像，在绘制人脸图像中还可以包括身体其它部位的图像、背景图像等。

这里绘制人脸图像可以为漫画人脸图像，或是用户手绘人脸图像等。

步骤102，对待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息，即绘制人脸图像中的多个关键点的信息。

这里绘制人脸关键点信息可以包括待识别图像中绘制人脸图像的某个部位的像素点的坐标信息等，一般情况下，主要可以有10个绘制人脸关键点的信息，比如两个眼睛中眼球内像素点的信息，两个嘴角像素点的信息等。具体地，绘制人脸图像识别装置可以根据预置的关键点检测模型对待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息；或者，可以采用其它方法比如决策树的方法进行绘制人脸关键点的检测。

由于待识别图像中可以包括一个或多个绘制人脸的图像，则在实际应用中，绘制人脸图像识别装置在进行本步骤中的检测时，可以提取待识别图像中包含的至少一个绘制人脸图像框，并分别检测到每个绘制人脸图像框对应的多个关键点的信息。其中，一个绘制人脸图像框为将待识别图像进行裁剪后得到的只包括一个绘制人脸的图像，该绘制人脸图像框中不包括除人脸之外的其它图像。

步骤103，根据绘制人脸关键点信息对待识别图像中的绘制人脸图像进行矫正，得到矫正后图像。

具体地，绘制人脸图像识别装置在通过上述步骤102检测到的绘制人脸关键点信息对待识别图像中的绘制人脸图像进行矫正时，可以矫正待识别图像中绘制人脸的姿态和大小等，使得矫正后图像中的人脸图像的轮廓更稳定。

需要说明的是，如果上述步骤102中得到一个或多个绘制人脸图像框，及一个或多个绘制人脸图像框分别对应的多个关键点的信息，则在执行本步骤103时，可以根据每个绘制人脸图像框对应的多个关键点的信息，对每个绘制人脸图像框分别进行矫正，得到每个绘制人脸图像框分别对应的矫正后图像，即一个或多个矫正后图像。其中，对任一绘制人脸图像框进行矫正时，可以将该绘制人脸图像框对应的多个关键点的信息，与预置的标准绘制人脸图像中相应关键点的信息进行拟合，得到拟合后的多个关键点的信息；然后根据拟合后的多个关键点的信息，调整该绘制人脸图像框中相应关键点的位置，得到对应的矫正后图像。其中，标准绘制人脸图像是指绘制人物正脸且未遮挡的图像，而拟合计算可以是任意的计算函数。

例如，待识别图像中包括2个绘制人脸，通过上述步骤102后可以绘制人脸图像框1及对应的5个关键点的信息，及绘制人脸图像框2及对应的5个关键点的信息。在对任一绘制人脸图像框进行矫正时，可以将该绘制人脸图像框中的5个关键点的信息，与标准绘制人脸图像中相应的5个关键点的信息进行拟合。

步骤104，从矫正后图像中提取绘制人脸特征信息，再根据绘制人脸特征信息确定待识别图像对应的人物信息。

具体地，绘制人脸图像识别装置可以根据预置的人脸识别模型从矫正后图像中提取到绘制人脸特征信息，再根据人脸识别模型及绘制人脸特征信息确定待识别图像对应的人物信息。或者，绘制人脸图像识别装置可以采用其它方法来确定待识别图像对应的人物信息，比如，先计算提取的绘制人脸特征信息与预置的各个人物的绘制人脸特征信息之间的相似度，如果与某一人物的绘制人脸特征信息之间的相似度大于预置值，则确定待识别图像对应的人物信息包括该人物的信息。

上述预置的关键点检测模型和人脸识别模型是都是一种机器学习模型，可以通过一定的方法训练得到，其运行逻辑是事先储存在绘制人脸图像识别装置中的，其中，关键点检测模型具体可以是MTCNN中的ONet网络，而人脸识别模型可以是FaceNet网络等。

其中，人脸识别模型会先提取上述步骤103得到的矫正后图像的绘制人脸特征信息，然后再根据提取到的绘制人脸特征信息识别出待识别图像中的人物信息，即属于哪一人物。本实施例中，由于上述步骤103得到的矫正后图像是分别对各个绘制人脸图像框进行矫正后的图像，而各个绘制人脸图像框中不包括除人脸之外的其它背景图像或人体其它部位图像，因此，人脸识别模型提取的矫正后图像的绘制人脸特征信息能更集中地反映绘制人脸的特征。

需要说明的是，由于在上述步骤103中可以得到一个或多个矫正后图像，则本步骤中通过人脸识别模型可以得到一组或多组绘制人脸特征信息，进而再根据一组或多组绘制人脸特征信息进行识别时，可以得到一个或多组人物信息。也就是说，待识别图像中包括的几个绘制人脸，则可以识别出几组人物信息。例如，某一科学家(或动画虚拟人物比如光头强等)的人脸可以采用多种不同的绘制手法进行绘制，从而得到多个漫画人脸图像，这多个漫画人脸图像经过本发明实施例的识别方法后，可以得到各个漫画人脸图像的人物信息，具体为该科学家(或动画虚拟人物)的名字等。可见，在本实施例的方法中，绘制人脸图像识别装置检测待识别图像中的绘制人脸关键点信息，然后再根据绘制人脸关键点信息对待识别图像中绘制人脸图像进行矫正，得到矫正后图像，并提取矫正后图像的绘制人脸特征信息，进而再根据绘制人脸特征信息确定待识别图像中的人物信息。这样，在识别待识别图像中的人物信息过程中，通过检测的绘制人脸关键点信息来矫正待识别图像中的绘制人脸图像，进而得到的绘制人脸特征信息可以较准地描述待识别图像中的绘制人脸图像，从而使得最终识别出的人物信息准确；且本实施例中可以采用不同的机器学习模型来分别检测绘制人脸关键点信息和识别人物信息，减少了同一机器学习模型执行不同任务所带来的误差。

在一个具体的实施例中，上述步骤102和103中使用的关键点检测模型和人脸标识模型的训练可以按照如下的有监督训练方法来实现，流程图如图3所示，包括：

步骤201，确定关键点检测初始模型和人脸识别初始模型。

可以理解，绘制人脸图像识别装置在确定关键点检测初始模型和人脸识别初始模型时，会分别确定关键点检测初始模型和人脸识别初始模型所包括的多层结构和各层机构中参数的初始值。

具体地，关键点检测初始模型可以包括：特征提取模块和检测模块，其中，特征提取模块用于提取待识别图像的特征信息，检测模块用于根据特征提取模块提取到的特征信息确定待识别图像中的绘制人脸关键点信息，该检测模块具体可以输出各个绘制人脸关键点的坐标信息。人脸识别初始模型可以包括特征提取模块和识别模块，其中，特征提取模块用于提取待识别图像的特征信息，识别模块，用于根据特征提取模块提取的特征信息识别出待识别图像中绘制人脸的人物信息，该识别模块可以输出待识别图像中绘制人脸属于某一人物的几率信息，如果该几率大于某一预置值，则待识别图像中的绘制人脸属于该人物。

在另一种情况下，绘制人脸图像识别装置确定的关键点检测初始模型中的检测模块可以输出待识别图像所包括的至少一个绘制人脸图像框，及各个绘制人脸图像框对应的绘制人脸关键点信息，即多个绘制人脸关键点的坐标信息等。

关键点检测初始模型和人脸识别初始模型的参数是指关键点检测初始模型和人脸识别初始模型中各层结构在计算过程中所用到的固定的，不需要随时赋值的参数，比如参数规模、网络层数、用户向量长度等参数。

需要说明的是，在本实施例中，确定的关键点检测初始模型和人脸识别初始模型之间可以没有任何关系，以并行地训练关键点检测模型和人脸初始模型。

步骤202，确定训练样本，训练样本中包括多个绘制人脸的样本图像，及各个样本图像中绘制人脸关键点的第一标注信息和各个样本图像中人物信息的第二标注信息。

具体地，在确定训练样本时，可以直接将已有的绘制人脸数据集作为训练样本；也可以对已有的绘制人脸数据集进行扩展，形成新的绘制人脸数据集，并将新的绘制人脸数据集中的绘制人脸图像作为样本图像。其中，各个样本图像中可以只包括一个绘制人脸图像。

其中，在对已有的绘制人脸数据集进行扩展时，可以对按照一定的绘制算法(比如素描算法等)对真实人脸图像(比如照片形式的人脸图像)进行计算，从而形成了新的绘制人脸图像；也可以对已有的绘制人脸数据集中已有的绘制人脸图像进行一定算法的计算，比较形变计算等形成新的绘制人脸图像。进而将新的绘制人脸图像加入到已有的绘制人脸数据集中形成新的绘制人脸数据集。

步骤203，通过关键点检测初始模型分别确定各个样本图像中的绘制人脸关键点信息，通过人脸识别初始模型分别确定各个样本图像中的人物信息。

具体地，关键点检测初始模型中的特征提取模块先提取各个样本图像的特征信息，然后检测模块根据特征提取模块提取的特征信息确定各个样本图像中的绘制人脸关键点信息。而人脸识别初始模型中的特征提取模块先提取各个样本图像的特征信息，然后识别模块根据特征提取模块提取的特征信息识别出各个样本图像中绘制人脸的人物信息。

步骤204，根据关键点检测初始模型得到的各个样本图像的绘制人脸关键点信息和训练样本中的第一标注信息，调整关键点检测初始模型，以得到最终的关键点检测模型为上述预置的关键点检测模型；根据人脸识别初始模型得到的各个样本图像中的人物信息和训练样本中的第二标注信息，调整人脸识别初始模型中的参数值，以得到最终的人脸识别模型为上述预置的人脸识别模型。

具体地，绘制人脸图像识别装置会先根据上述步骤203中关键点检测初始模型得到的结果，及训练样本中的第一标注信息，计算与关键点检测初始模型相关的第一损失函数，该第一损失函数用于指示关键点检测初始模型检测的各个样本图像中的绘制人脸关键点信息，与各个样本图像中实际的绘制人脸关键点信息(根据第一标注信息得到)的误差，比如交叉熵损失函数等。

具体地，绘制人脸图像识别装置会先根据所述关键点检测初始模型得到的各个样本图像的绘制人脸关键点信息和所述训练样本中的第一标注信息，计算关键点检测初始模型的误差；然后根据关键点检测初始模型的误差，计算与关键点检测初始模型相关的第一损失函数，该第一损失函数为基于关键点检测初始模型的误差的分段函数，当误差在预置范围时，第一损失函数为第一函数，当误差不在预置范围时，第一损失函数为第二函数。

另外，绘制人脸图像识别装置会先根据上述步骤203中人脸识别初始模型得到的结果，及训练样本中的第二标注信息，计算与人脸识别初始模型相关的第二损失函数，该第二损失函数用于指示人脸识别初始模型预测各个样本图像中绘制人脸的人物信息，与各个样本图像中绘制人脸实际的人物信息(根据第二标注信息得到)的误差。

而关键点检测模型和人脸识别模型的训练过程就是需要尽量减少上述误差的值，该训练过程是通过反向传播求导以及梯度下降等一系列数学优化手段不断的优化上述步骤201中确定的关键点检测初始模型和人脸识别模型中参数的参数值，并使得上述损失函数的计算值降至最低。

因此，在本实施例中并行训练的情况下，当计算得到上述第一损失函数和第二损失函数，绘制人脸图像识别装置需要根据计算的第一损失函数调整关键点检测初始模型中的参数值，以得到最终的关键点检测模型，根据计算的第二损失函数调整人脸识别初始模型中的参数值，以得到最终的人脸识别模型。具体地，当计算的损失函数的函数值较大时，比如大于预置的值，则需要改变参数值，比如将某个神经元连接的权重值减小等，使得按照调整后的参数值计算的损失函数的函数值减小。

需要说明的是，上述步骤203到204是通过关键点检测初始模型检测到的各个样本图像中的绘制人脸关键点信息，及人脸识别初始模型预测到的各个样本图像中的人物信息，分别对关键点检测初始模型和人脸识别初始模型中的参数值的一次调整，而在实际应用中，需要通过不断地循环执行上述步骤203到204，直到对参数值的调整满足一定的停止条件为止。

因此，绘制人脸图像识别装置在执行了上述实施例步骤201到204之后，还需要判断当前对参数值的调整是否满足预置的停止条件，当满足时，则结束流程；当不满足时，则针对调整参数值后的关键点检测初始模型和调整参数后的人脸识别初始模型，返回执行上述步骤203到204。其中，预置的停止条件包括但不限于如下条件中的任何一个：当前调整的参数值与上一次调整的参数值的差值小于一阈值，即调整的参数值达到收敛；及对参数值的调整次数等于预置的次数等。

以下以一个具体的应用实例来说明本发明的绘制人脸图像识别方法，在本实施例中，绘制人脸图像具体为漫画人脸图像，且本实施例的绘制人脸图像识别装置具体为漫画人脸图像识别装置，因此，本实施例的方法主要可以包括如下两个部分：

(1)关键点检测模型和人脸识别模型的训练，方法具体可以如上述图3所示实施例中的训练方法，在本实施例中，这两个模型是并行地进行训练，在这个过程中：

(11)漫画人脸图像识别装置确定的关键点检测初始模型采用MTCNN中的ONet网络，其结构可以如图4所示，包括：多个卷积层、多个池化层和全连接层，其中：

任一48*48*3大小的输入图像可以是先经过包括32个3*3*3卷积核的卷积层1和池化层1后可以得到32个23*23的特征图；再经过包括64个3*3*32卷积核的卷积层2和池化层2后可以得到64个10*10的特征图；再经过包括64个3*3*64卷积核的卷积层3和池化层3后可以得到64个4*4的特征图；再经过包括128个2*2*64卷积核的卷积层4可以得到128个3*3的特征图，最后经过全连接层后，可以输出大小为2的回归框分类特征，大小为4的回归框位置的回归特征，及大小为10的人脸轮廓位置回归特征，即绘制人脸关键点信息，在本实施例中，为漫画人脸关键点信息。其中，全连接层输出的回归框位置的回归特征即为绘制人脸图像框的信息，在本实施例中具体为漫画人脸框的信息。

可见，本实施例中的漫画人脸图像识别装置确定的关键点检测初始模型可以输出漫画人脸框的信息及各个漫画人脸框对应的漫画人脸关键点信息。

(12)漫画人脸图像识别装置确定的人脸识别初始模型采用FaceNet网络，其结构可以如图5所示，包括：初始残差连接网络(Inception-Residual connections，Resnet)-A、B和C，降维(Reduction)–A和B，以及Stem单元，其中，Stem单元可以包括多个卷积层和多个池化层；而Inception-Resnet-A、B和C，及Reduction-A和B都包括多个卷积层。

在本实施例中，漫画人脸图像依次经过Stem单元、Inception-Resnet-A和降维(Reduction)–A、Inception-Resnet-B和Reduction–B、Inception-Resnet-C、平均池化层、丢弃(dropout)单元和softmax逻辑回归单元后，可以输出漫画人脸图像中漫画人脸的人物信息。

(13)漫画人脸图像识别装置在确定训练样本时，可以采用一定的算法比如素描化算法等，基于已有的漫画人脸数据集(也就是上述的绘制人脸数据集)，比如宽脸(Widerface)数据集，或网络漫画数据集等中的漫画人脸图像，形成新的漫画人脸图像，并将新的漫画人脸图像及漫画人脸数据集中已有的漫画人脸图像一同作为训练样本。

例如图6所示为通过素描化算法形成的新的漫画人脸图像，可以包括不同姿态的漫画人脸图像。

(14)漫画人脸图像识别装置在调整关键点检测初始模型中的参数值的过程中，可以采用第一损失函数wing(x)来进行调整，而该第一损失函数具体可以通过如下公式1来表示，其中，x表示通过上述确定的关键点检测初始模型确定的各个样本图像中的漫画人脸关键点信息，与样本图像中实际的漫画人脸关键点信息之间的差别；而C和ε表示一个常数：

训练关键点检测模型的过程就是通过不断地调整关键点检测初始模型中的参数值，使得该第一损失函数收敛。且采用上述公式1中的第一损失函数，使得对小范围错误的容忍性更强，当在漫画人脸关键点信息的检测过程中，检测到的5个关键点中某一个或者两个关键点的检测出现偏差时，不至于影响到其它全部关键点的检测结果。

(15)漫画人脸图像识别装置在调整人脸识别初始模型中的参数值的过程中，可以采用第二损失函数L_AMS来进行调整，而该第二损失函数具体可以通过如下公式2来表示，其中，i表示通过上述确定的人脸识别初始模型确定的某一样本图像中漫画人脸的人物信息，而j表示某一样本图像中漫画人脸实际的人物信息，n表示样本图像的数量，m为某一常数：

训练人脸识别模型的过程就是通过不断地调整人脸识别初始模型中的参数值，使得该第二损失函数收敛。且通过如公式2所示的第二损失函数可以在特征空间使得所有样本图像的绘制人脸特征信息(在本实施例中为漫画人脸特征信息)实现更好的类内抱紧和类间距离加大，从而使得最终训练得到的人脸识别模型的分类和特征相似度计算变得更加具有区分性。

例如图7所示为各个样本图像中漫画人脸的漫画人脸特征信息在球坐标系下的分布，可见，同类的漫画人脸特征信息的分布在一定范围内，而不同类的漫画人脸特征信息之间的距离较大。

(2)通过上述训练好的关键点检测模型和人脸识别模型对待识别图像进行识别，具体地：

漫画人脸图像识别装置先通过上述训练的人脸关键点模型检测到待识别图像中漫画人脸的漫画人脸关键点信息，具体可以包括多个漫画人脸框(即上述的绘制人脸图像框)及每个漫画人脸框分别对应的多个关键点的信息；然后根据各个漫画人脸框的多个关键点的信息对相应漫画人脸框中的漫画人脸进行矫正，得到多个矫正后图像，比如矫正漫画人脸的人脸姿态和大小等，使得矫正后的漫画人脸的轮廓更加稳定；然后通过上述训练的人脸识别模型先确定各个矫正后图像的漫画人脸特征信息，人脸识别模型再根据漫画人脸特征信息识别出待识别图像中漫画人脸的人物信息。

例如图8所示为对某一漫画人脸图像进行识别的示意图，当漫画人脸图像经过关键点检测模型时，可以先得到该漫画人脸图像中的1个漫画人脸框，并得到该漫画人脸框中5个漫画人脸关键点的信息，包括两个眼睛中的两个像素点、两个嘴角的两个像素点及鼻子上的一个像素点的信息；然后根据5个漫画人脸关键点的信息对漫画人脸框进行矫正后，得到矫正后的漫画人脸图像经过人脸识别模型后，可以得到最终的人物信息。

(3)基于本实施例中的训练方法和识别方法，如果根据两个漫画人脸数据集即卡通数据集(IIIT-CFW)和WebCaricature数据集中的漫画人脸图像，分别得到不同的训练样本来训练关键点检测模型和人脸识别模型，然后再通过不同的方法，比如经典的深度人脸识别(DeepFace)、深度识别(DeepID)、大边缘余弦损失的深度人脸识别(Large MarginCosine Loss for Deep Face Recognition，CosFace)方法或原始人脸网络(Org-FaceNet)等，及本实施例中根据训练得到的关键点检测模型和人脸识别模型进行识别的方法，对漫画人脸图像进行识别，可以得到如下结果：

(31)在IIIT-CFW数据集中包含了8928个标注的漫画人脸图像，此外还包含1000个通过照片变插画(Photo2Cartoon)算法根据真实人脸图像生成的漫画人脸图像，将这些漫画人脸图像作为训练样本，得到关键点检测模型和人脸识别模型；然后再通过几种方法对这些漫画人脸图像进行识别，可以得到如下表1中所述的平均精度(AP)，可见，采用本实施例中基于IIIT-CFW数据集和扩展的新的漫画人脸图像训练的关键点检测模型和人脸识别模型进行人脸识别时，可以有效地、大幅度地提高漫画人脸识别的平均精度。

表1

方法	平均精度(％)
		DeepFace	8.04
DeepID	12.57
		CosFace	10.60
本实施例的方法	67.98

(32)WebCaricature数据集中包含了从网络上获得来自252个知名人物的6042个标注的漫画人脸图像，只将WebCaricature数据集中的漫画人脸图像作为训练样本，得到关键点检测模型和人脸识别模型后，再通过几种方法对这些漫画人脸图像进行识别，可以得到如下表2中所述的平均精度(AP)，可见，采用本实施例中基于WebCaricature数据集中的漫画人脸图像训练的关键点检测模型和人脸识别模型进行人脸识别时，可以有效地、大幅度地提高漫画人脸识别的平均精度。

表2

方法	平均精度(％)
		DeepFace	12.71
DeepID	14.47
		CosFace	8.59
本实施例的方法	85.93

结合上述(31)和(32)中的结果，可以得到通过对已有的漫画人脸数据集进行扩展后，训练得到的关键点检测模型和人脸识别模型的精确度更高。

本发明实施例还提供一种绘制人脸图像识别装置，其结构示意图如图9所示，具体可以包括：

图像获取单元10，用于确定某一绘制人脸图像为待识别图像。

关键点检测单元11，用于对所述图像获取单元10确定的待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息。

该关键点检测单元11，具体用于根据预置的关键点检测模型检测绘制人脸关键点信息。具体地，提取所述待识别图像中包含的至少一个绘制人脸图像框，并分别检测到每个绘制人脸图像框对应的多个关键点的信息。

矫正单元12，用于根据所述关键点检测单元11检测到的绘制人脸关键点信息对所述待识别图像中的绘制人脸图像进行矫正，得到矫正后图像。

该矫正单元12，具体用于当所述关键点检测单元11检测到的人脸关键点信息包括一个或多个绘制人脸图像框分别对应的多个关键点的信息，根据所述每个绘制人脸图像框对应的多个关键点的信息，对每个绘制人脸图像框进行矫正，得到每个绘制人脸图像框分别对应的矫正后图像。其中，矫正单元12在对某一绘制人脸图像框进行矫正时，具体用于将所述某一绘制人脸图像框对应的多个关键点的信息，与预置的标准绘制人脸图像中相应关键点的信息进行拟合，得到拟合后的多个关键点的信息；根据所述拟合后的多个关键点的信息，调整所述某一绘制人脸图像框中相应关键点的位置，得到对应的矫正后图像。

特征确定单元13，用于从所述矫正单元12得到的矫正后图像中提取绘制人脸特征信息。

人物识别单元14，用于根据所述特征确定单元13确定的绘制人脸特征信息确定所述待识别图像对应的人物信息。

该特征确定单元13和人物识别单元14具体可以根据预置的人脸识别模型分别提取绘制人脸特征信息和确定人物信息。

上述预置的关键点检测模型具体可以为多任务卷积神经网络中的输出网络，所述预置的人脸识别模型具体可以为用于人脸识别和聚类的统一嵌入网络。

进一步地，本实施例的装置中还可以包括：训练单元15，用于确定关键点检测初始模型和人脸识别初始模型；确定训练样本，所述训练样本中包括多个绘制人脸的样本图像，及各个样本图像中绘制人脸关键点的第一标注信息和各个样本图像中人物信息的第二标注信息；通过所述关键点检测初始模型分别确定所述各个样本图像中的绘制人脸关键点信息，通过所述人脸识别初始模型分别确定所述各个样本图像中的人物信息；根据所述关键点检测初始模型得到的各个样本图像的绘制人脸关键点信息和所述训练样本中的第一标注信息，调整所述关键点检测初始模型，以得到最终的关键点检测模型为所述关键点检测单元11使用的关键点检测模型；根据所述人脸识别初始模型得到的各个样本图像中的人物信息和所述训练样本中的第二标注信息，调整所述人脸识别初始模型中的参数值，以得到最终的人脸识别模型为所述特征确定单元13使用的人脸识别模型。

该训练单元15在确定训练样本时，具体用于对预置的绘制人脸数据集进行扩展，得到新的绘制人脸数据集，将所述新的绘制人脸数据集中的绘制人脸图像作为所述样本图像。

该训练单元15，还可以用于当对所述参数值的调整次数等于预置的次数时，或当当前调整的固定参数值与上一次调整的固定参数值的差值小于一阈值时，则停止对所述固定参数值的调整。

可见，在本实施例的装置中，关键点检测单元11会检测待识别图像的绘制人脸关键点信息，然后矫正单元12再根据绘制人脸关键点信息对待识别图像进行矫正，得到矫正后图像，而特征确定单元13从矫正后图像中提取绘制人脸特征信息，进而人物识别单元14再通过绘制人脸特征信息识别出待识别图像对应的人物信息。这样，在识别待识别图像中的人物信息过程中，通过检测的绘制人脸关键点信息来对待识别图像中的绘制人脸图像进行矫正，使得得到的矫正后图像的绘制人脸特征信息，可以较准地描述待识别图像中的绘制人脸图像，从而使得最终识别出的人物信息准确；且本实施例中可以采用不同的机器学习模型来分别检测绘制人脸关键点信息和识别人物信息，减少了同一机器学习模型执行不同任务所带来的误差。

本发明实施例还提供一种终端设备，其结构示意图如图10所示，该终端设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)20(例如，一个或一个以上处理器)和存储器21，一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中，存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对终端设备中的一系列指令操作。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中的一系列指令操作。

具体地，在存储介质22中储存的应用程序221包括绘制人脸图像识别的应用程序，且该程序可以包括上述绘制人脸图像识别装置中的图像获取单元10，关键点检测单元11，矫正单元12，特征确定单元13，人物识别单元14和训练单元15，在此不进行赘述。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中储存的绘制人脸图像识别的应用程序对应的一系列操作。

终端设备还可以包括一个或一个以上电源23，一个或一个以上有线或无线网络接口24，一个或一个以上输入输出接口25，和/或，一个或一个以上操作系统223，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述方法实施例中所述的由绘制人脸图像识别装置所执行的步骤可以基于该图10所示的终端设备的结构。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如上述绘制人脸图像识别装置所执行的绘制人脸图像识别方法。

本发明实施例还提供一种终端设备，包括处理器和存储器；所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如上述绘制人脸图像识别装置所执行的绘制人脸图像识别方法，所述处理器，用于实现所述多个计算机程序中的各个计算机程序。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘等。

以上对本发明实施例所提供的绘制人脸图像识别方法、计算机可读存储介质和相关设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种绘制人脸图像识别方法，其特征在于，包括：

获取包含绘制人脸图像的待识别图像；

对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息；

根据所述绘制人脸关键点信息对所述待识别图像中的绘制人脸图像进行矫正，得到矫正后图像；

从所述矫正后图像中提取绘制人脸特征信息；

根据所述绘制人脸特征信息确定所述待识别图像对应的人物信息。

2.如权利要求1所述的方法，其特征在于，

所述对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息，具体包括：提取所述待识别图像中包含的至少一个绘制人脸图像框，分别检测每个绘制人脸图像框对应的多个关键点的信息；

则所述根据所述绘制人脸关键点信息对所述待识别图像中的绘制人脸图像进行矫正，得到矫正后图像，具体包括：

根据所述每个绘制人脸图像框对应的多个关键点的信息，对每个绘制人脸图像框进行矫正，得到每个绘制人脸图像框分别对应的矫正后图像。

3.如权利要求2所述的方法，其特征在于，根据某一绘制人脸图像框对应的多个关键点的信息，对所述某一绘制人脸图像框进行矫正，得到对应的矫正后图像，具体包括：

将所述某一绘制人脸图像框对应的多个关键点的信息，与预置的标准绘制人脸图像中相应关键点的信息进行拟合，得到拟合后的多个关键点的信息；

根据所述拟合后的多个关键点的信息，调整所述某一绘制人脸图像框中相应关键点的位置，得到对应的矫正后图像。

4.如权利要求1所述的方法，其特征在于，所述对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息，具体包括：根据预置的关键点检测模型对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息；

所述从所述矫正后图像中提取绘制人脸特征信息，根据所述绘制人脸特征信息确定所述待识别图像对应的人物信息，具体包括：根据预置的人脸识别模型从所述矫正后图像中提取绘制人脸特征信息，及根据所述人脸识别模型和绘制人脸特征信息确定所述待识别图像对应的人物信息。

5.如权利要求4所述的方法，其特征在于，所述预置的关键点检测模型为多任务卷积神经网络中的输出网络，所述预置的人脸识别模型为用于人脸识别和聚类的统一嵌入网络。

6.如权利要求4所述的方法，其特征在于，所述方法还包括：

确定关键点检测初始模型和人脸识别初始模型；

确定训练样本，所述训练样本中包括多个绘制人脸的样本图像，及各个样本图像中绘制人脸关键点的第一标注信息和各个样本图像中人物信息的第二标注信息；

通过所述关键点检测初始模型分别确定所述各个样本图像中的绘制人脸关键点信息，通过所述人脸识别初始模型分别确定所述各个样本图像中的人物信息；

根据所述关键点检测初始模型得到的各个样本图像的绘制人脸关键点信息和所述训练样本中的第一标注信息，调整所述关键点检测初始模型，以得到最终的关键点检测模型为所述预置的关键点检测模型；

根据所述人脸识别初始模型得到的各个样本图像中的人物信息和所述训练样本中的第二标注信息，调整所述人脸识别初始模型中的参数值，以得到最终的人脸识别模型为所述预置的人脸识别模型。

7.如权利要求6所述的方法，其特征在于，所述确定训练样本，具体包括：

对预置的绘制人脸数据集进行扩展，得到新的绘制人脸数据集，将所述新的绘制人脸数据集中的绘制人脸图像作为所述样本图像。

8.如权利要求7所述的方法，其特征在于，所述对预置的绘制人脸数据集进行扩展，得到新的绘制人脸数据集，具体包括：

按照一定的绘制算法对真实人脸图像进行计算，形成新的绘制人脸图像；或，对所述预置的绘制人脸数据集中已有的绘制人脸图像进行形变计算，形成新的绘制人脸图像。

9.如权利要求6所述的方法，其特征在于，根据所述关键点检测初始模型得到的各个样本图像的绘制人脸关键点信息和所述训练样本中的第一标注信息，调整所述关键点检测初始模型，具体包括：

根据所述关键点检测初始模型得到的各个样本图像的绘制人脸关键点信息和所述训练样本中的第一标注信息，计算所述关键点检测初始模型的误差；

根据所述关键点检测初始模型的误差，计算与所述关键点检测初始模型相关的第一损失函数，所述第一损失函数为基于所述关键点检测初始模型的误差的分段函数，当所述误差在预置范围时，所述第一损失函数为第一函数，当所述误差不在预置范围时，所述第一损失函数为第二函数；

根据所述第一损失函数调整所述关键点检测初始模型中的参数值。

10.如权利要求6所述的方法，其特征在于，当对所述参数值的调整次数等于预置的次数时，或若当前调整的固定参数值与上一次调整的固定参数值的差值小于一阈值时，则停止对所述固定参数值的调整。

11.一种绘制人脸图像识别装置，其特征在于，包括：

图像获取单元，用于获取包含绘制人脸图像的待识别图像；

关键点检测单元，用于对所述待识别图像进行绘制人脸关键点的检测，得到绘制人脸关键点信息；

矫正单元，用于根据所述绘制人脸关键点信息对所述待识别图像中的绘制人脸图像进行矫正，得到矫正后图像；

特征确定单元，用于从所述矫正后图像中提取绘制人脸特征信息；

人物识别单元，用于根据所述绘制人脸特征信息确定所述待识别图像对应的人物信息。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质储存多个计算机程序，所述计算机程序适于由处理器加载并执行如权利要求1至10任一项所述的绘制人脸图像识别方法。

13.一种终端设备，其特征在于，包括处理器和存储器；

所述存储器用于储存多个计算机程序，所述计算机程序用于由处理器加载并执行如权利要求1至10任一项所述的绘制人脸图像识别方法，所述处理器，用于实现所述多个计算机程序中的各个计算机程序。

Images