CN111428552B - 黑眼圈识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种黑眼圈识别方法、装置、计算机设备和存储介质。所述方法包括：基于目标神经网络模型对目标人脸样本图像进行卷积处理，以确定目标人脸样本图像中黑眼圈的类别和位置坐标；根据预设的损失函数计算黑眼圈的类别以及在黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；基于总误差确定黑眼圈识别模型；通过黑眼圈识别模型识别目标人脸图像，以得到目标人脸图像中黑眼圈的类型以及位置坐标。本方法对黑眼圈的识别方法简单，识别效率高。

Description

黑眼圈识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种黑眼圈识别方法、装置、计算机设备和存储介质。

背景技术

随着生活水平的提高，人们在物质需求的基础上，对身体健康以及美感的关注越来越高，因此，对于黑眼圈的识别检测需求也越来越高。黑眼圈的识别主要包括黑眼圈的类型识别等。

传统技术中的黑眼圈的识别主要是通过截取人脸的眼周区域，并截取正常皮肤区域，将两者转换到LAB颜色空间进行特征提取后，再进行对比和检测，确定出黑眼圈的类型。

然而，这种方法过程繁琐，识别效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够黑眼圈识别方法、装置、计算机设备和存储介质。

为了实现上述目的，一方面，本申请实施例提供了一种黑眼圈识别方法，所述方法包括：

获取目标人脸样本图像；

基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图；

分别确定所述每个卷积特征图对应的目标卷积特征信息，所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息；

分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将所述目标人脸样本图像中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域；

确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任意一种的第一区域确定为第二区域，将所述第二区域对应的属性类别确定为黑眼圈的类别；

根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标；

根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；

若所述总误差小于预设阈值，将所述目标神经网络模型作为黑眼圈识别模型；

若所述总误差不小于所述预设阈值，调整所述目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将所述目标人脸样本图像对应的下一人脸样本图像作为所述目标人脸样本图像，返回执行步骤所述基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，直到训练次数达到预设迭代次数为止，且将所述调整后的目标神经网络模型作为所述黑眼圈识别模型；

通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标。

在其中一个实施例中，所述确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，包括：

分别确定所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率，所述多种属性类别至少包括背景、血管型黑眼圈和色素型黑眼圈；

在所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率中确定最大匹配概率，并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度；

将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。

在其中一个实施例中，所述根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标，包括：

在所述第二区域的数量为多个的情况下，在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域；

计算第四区域与第三区域的区域交叉度，所述第四区域为所述第二区域中排除所述第三区域之后的第二区域，所述区域交叉度用于指示所述第四区域与所述第三区域在所述目标人脸样本图像中的重合程度；

在所述第四区域中查找第五区域，所述第五区域与所述第三区域的区域交叉度大于区域交叉度阈值；

在查找到所述第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域和所述第五区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；

在未查找到第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；

在所述第二区域的数量为一个的情况下，将所述第二区域确定为目标区域；

将所述目标区域对应的位置坐标确定为所述黑眼圈在所述目标人脸样本图像中的位置坐标。

在其中一个实施例中，所述根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差，包括：

根据所述预设的损失函数，计算所述黑眼圈的类别与所述预设的期望输出标签中的类型标签的误差，得到类别误差；

根据所述预设的损失函数，计算所述黑眼圈在目标人脸样本图像中的位置坐标与所述预设的期望输出标签中的位置标签的误差，得到位置误差；

计算所述类别误差和所述位置误差的和，得到所述总误差。

在其中一个实施例中，所述通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标之后，所述方法还包括：

在所述目标人脸图像中标记出黑眼圈所在的区域。

在其中一个实施例中，所述方法还包括：

在所述目标人脸图像中标记出黑眼圈的类型。

在其中一个实施例中，所述获取目标人脸样本图像，包括：

获取待识别样本图像；

通过人脸关键点识别算法对所述待识别样本图像进行人脸识别，确定出所述待识别样本图像中的人脸区域；

截取所述待识别样本图像中的人脸区域，得到所述目标人脸样本图像。

第二方面，本申请实施例还提供了一种黑眼圈识别装置，所述装置包括：

样本图像获取模块，用于获取目标人脸样本图像；

卷积处理模块，用于基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图；

卷积特征确定模块，用于分别确定所述每个卷积特征图对应的目标卷积特征信息，所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息；

第一区域确定模块，用于分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将所述目标人脸样本图像中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域；

第二区域确定模块，用于确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任意一种的第一区域确定为第二区域，将所述第二区域对应的属性类别确定为黑眼圈的类别；

位置坐标确定模块，用于根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标；

误差计算模块，用于根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；

第一模型输出模块，用于若所述总误差小于预设阈值，将所述目标神经网络模型作为黑眼圈识别模型；

第二模型输出模块，用于若所述总误差不小于所述预设阈值，调整所述目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将所述目标人脸样本图像对应的下一人脸样本图像作为所述目标人脸样本图像，返回执行步骤所述基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，直到训练次数达到预设迭代次数为止，且将所述调整后的目标神经网络模型作为所述黑眼圈识别模型；

识别模块，用于通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标。

第三方面，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

上述黑眼圈识别方法、装置、计算机设备和存储介质，通过目标人脸样本图像，对目标神经网络模型进行训练处理，得到黑眼圈识别模型，进而通过黑眼圈识别模型识别目标人脸图像中的黑眼圈类型和位置。相对于传统图像处理的方法，本实施例提供的方法通过神经网络模型识别黑眼圈，无需多步骤处理，过程简单，识别效率高。另外，上述黑眼圈识别方法、装置、计算机设备和存储介质，在模型训练过程中，基于目标神经网络模型中的卷积层对目标人脸样本图像进行卷积处理，得到卷积特征图，进而确定卷积特征图对应的目标卷积特征信息，再确定目标卷积特征信息对应的位置坐标，确定第一区域。根据置信度和属性类别确定出黑眼圈区域和黑眼圈类型，进而进行目标神经网络模型的调整。通过这样的过程训练出的黑眼圈识别模型，结构稳定，网络模型轻量化，模型识别速度快，且能够减弱脸部本身的干扰因素，提高识别的准确性。

附图说明

图1为本申请一个实施例提供的黑眼圈识别方法的应用环境图；

图2为本申请一个实施例提供的黑眼圈识别方法的流程示意图；

图3为本申请一个实施例提供的黑眼圈是被模型中的卷积网络结构的示意图；

图4为本申请一个实施例提供的卷积特征图与卷积特征子图之间的关系示意图；

图5为本申请一个实施例提供的黑眼圈识别方法的流程示意图；

图6为本申请一个实施例提供的黑眼圈识别方法的流程示意图；

图7为本申请一个实施例提供的黑眼圈识别方法的流程示意图；

图8为本申请一个实施例提供的黑眼圈识别方法的流程示意图；

图9为本申请一个实施例提供的黑眼圈识别方法的流程示意图；

图10为本申请一个实施例提供的黑眼圈识别装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的黑眼圈识别方法，可以应用于如图1所示的计算机设备，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以为手机、平板电脑、个人数字助理等，本申请实施例对计算机设备的具体形式不做限定。

需要说明的是，本申请实施例提供的黑眼圈识别方法，其执行主体可以是黑眼圈识别装置，该黑眼圈识别装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。

请参见图2，在一个实施例中，提供了一种黑眼圈识别方法，本方法中，步骤S10-S90涉及根据目标神经网络模型训练得到黑眼圈识别模型的过程，S100涉及利用黑眼圈识别模型识别目标人脸图像，得到黑眼圈的类型和位置坐标的过程。具体的，所述方法包括以下步骤：

S10，获取目标人脸样本图像。

人脸样本图像是指包含黑眼圈，且黑眼圈位置、类型等已知的人脸图像。目标人脸样本图像是指本次神经网络模型训练中使用的人脸样本图像。黑眼圈是由于熬夜、情绪波动大、眼疲劳以及衰老等原因导致的人眼部血管血流速度过于缓慢形成滞留，且组织供养不足，血管中代谢废物积累过多，造成的眼部色素沉着。目标人脸样本图像可以为RGB颜色空间下的图像。目标人脸样本图像的数量可以为多个。目标人脸样本图像样本越多，训练得到的黑眼圈识别模型越准确。

S20，基于目标神经网络模型中的卷积层对目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图。目标神经网络模型是基于单点多盒检测(Single Shot Detector，SSD)算法的检测模型。请参见图3，黑眼圈识别模型中的卷积网络结构可以如图3所示。卷积层按照功能划分，可以分为一般卷积层和卷积特征层。图3中f1、f2、f3、f4、f5以及f6为卷积特征层，除此之外的卷积层为一般卷积层。一般卷积层用于对输入的图片进行卷积处理。卷积特征层用于生成卷积特征图。卷积特征图用于进行识别检测。本申请实施例中，卷积特征层用于提取目标人脸样本图像中与黑眼圈有关的特征信息；与之相对应的，通过卷积特征层生成的卷积特征图表征了目标样本图像中与黑眼圈相关的特征信息的具体情况，其中，通过不同卷积特征层生成的卷积特征图表征了目标人脸样本图像中与黑眼圈有关的各种局部特征信息，同一卷积特征层对应的多个卷积特征图相结合可表征与黑眼圈有关的一种或多种整体特征信息。具体的，与黑眼圈有关的特征信息可包括黑眼圈的颜色、黑眼圈的形状、黑眼圈的边缘特征等。黑眼圈的类型不同，卷积特征图所表现出的特征不同。例如：血管型黑眼圈的颜色表现为内眼角泛红，用于表征其颜色特征的卷积特征图所表现的颜色特征为红色，用于表征其形状的卷积特征图表征出来的形状特征为内眼角的形状；色素型黑眼圈表现为眼周颜色偏深，基本呈青黑色，用于表征其颜色特征的卷积特征图所表现的颜色特征为青黑色。需要说明的是，卷积特征层中，层级越高，能够识别检测的特征越全局。

将目标人脸样本图像输入黑眼圈识别模型。黑眼圈识别模型中的卷积层对目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图。不同的卷积特征层对应的卷积特征图的尺寸不同，卷积特征越小，则卷积特征层对应的卷积特征图的数量越多。同时，每个卷积特征层对应多个尺寸相同的卷积特征图，即每个卷积特征图包括多个卷积特征子图。卷积特征子图为卷积特征图的特征单元。请参见图4，在一个具体的实施例中，卷积特征图的尺寸为4*4，则卷积特征图一共包含16个特征单元，如图中编号为1—16的特征单元，也就是说，图4中的卷积特征图包括16个特征子图。

S30，分别确定每个卷积特征图对应的目标卷积特征信息，目标卷积特征信息包括多个卷积特征子图中各个卷积特征子图对应的卷积特征信息。

各个卷积特征子图对应的卷积特征信息是指以卷积特征图对应的先验框作为预测框，在卷积特征图中以卷积特征子图为中心对应的内容。其中，不同的卷积特征图对应的先验框的尺寸和先验框的数量不同，一个卷积特征图可以对应多个尺寸不同的先验框。以图4为例，该卷积特征图中的卷积特征子图11对应的卷积特征信息为图中所示三个虚线框所对应的卷积特征图的信息。

目标卷积特征信息是指卷积特征图所包含的所有卷积特征子图对应的卷积特征信息。确定某一个卷积特征图对应的目标卷积特征信息的方法可以包括：以该卷积特征图对应的先验框作为预测框，分别确定其中各个卷积特征子图对应的预测框内的信息，得到各个卷积特征子图对应的卷积特征信息，从而得到该卷积特征图对应的目标卷积特征信息。

S40，分别确定目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将目标人脸样本图像中与该位置坐标对应的区域确定为各个卷积特征信息对应的第一区域。

卷积特征信息对应的位置信息是指将卷积特征信息对应的预测框映射回目标人脸样本图像时所对应的位置坐标。一个卷积特征信息对应四个位置坐标，分别为预测框的四个顶点。将预测框的四个顶点映射回原目标人脸样本图像所得到的四个点的坐标即为卷积特征信息对应的位置坐标。由于每一个卷积特征图均是由目标人脸样本图像经过卷积处理得到，所以，卷积特征图中的每个点和目标人脸样本图像中的点必然存在对应关系，因此，根据卷积特征信息对应的位置坐标，以及这种对应关系，能够确定预测框在目标人脸样本图像中对应的四个点的位置坐标。进而将该预测框在目标人脸样本图像中对应的第四个点的位置坐标确定为该预测框对应的卷积特征信息对应的位置坐标，将该位置坐标对应的点所形成的区域确定为卷积特征信息对应的第一区域。

具体实现中，可以根据该卷积特征信息对应的卷积特征图与第二图片之间的映射关系确定各个卷积特征信息对应的位置坐标。

S50，确定各个卷积特征信息对应的第一区域的置信度和第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任一项的第一区域确定为第二区域，将第二区域对应的属性类别确定为黑眼圈的类别。

置信度阈值可以根据实际情况选择，例如，可以根据需要判断的黑眼圈的类型的不同，设置不同的置信度阈值。置信度越大，说明目标人脸样本图像中的第二区域中的内容为黑眼圈的可能性越大。当置信度大于置信度阈值，属性类别为预设黑眼圈类别中任意一种，说明该区域表征黑眼圈。因此，获取第二区域对应的位置即得到黑眼圈的位置。预设黑眼圈类别是指黑眼圈识别模型预先训练时确定的黑眼圈的类型，黑眼圈的类型可以包括但不限于血管型黑眼圈和色素型黑眼圈等。其中，眼睛的内眼角泛红，则为血管型黑眼圈；眼周颜色偏深，基本呈青黑色，则为色素型黑眼圈。第二区域对应表征黑眼圈。第二区域对应的属性类别即为目标人脸样本图像中黑眼圈的类别。

S60，根据第二区域对应的位置坐标确定黑眼圈在目标人脸样本图像中的位置坐标。

第二区域的位置坐标就是黑眼圈的位置坐标。黑眼圈的数量可以为一个，也可以为多个，因此，第二区域的数量可以为一个，也可以为多个。

S70，根据预设的损失函数计算黑眼圈的类别以及在黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差。

损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的风险或损失的函数。通过最小化损失函数可以评估和优化目标神经网络模型。期望输出标签是指根据目标人脸样本图像中已知的黑眼圈位置和类型制作的参数或标签。期望输出标签用于表征目标人脸样本图像中黑眼圈位置和类型的准确结果。通过预设的损失函数，求解目标神经网络模型输出的黑眼圈类型和位置坐标与期望输出标签中黑眼圈类型和位置坐标的总误差。具体的，可以将黑眼圈类型和位置坐标作为总的指标，按照预设的计算方式，计算目标神经网络模型输出的黑眼圈类型和位置坐标的总值与期望输出标签中这两个参数的总值的误差，得到总误差；也可以分别计算目标神经网络模型输出的黑眼圈类型和期望输出标签中黑眼圈类型的误差，以及目标神经网络模型输出的黑眼圈位置坐标与期望输出标签中黑眼圈位置坐标的误差，之后根据这两个误差计算得到总误差。

S80，若总误差小于预设阈值，将目标神经网络模型作为黑眼圈识别模型。

若总误差小于预设阈值，说明当前神经网络模型的误差较小，较稳定，满足预设的条件，则此时的目标神经网络模型即可作为黑眼圈识别模型，用人脸图像中黑眼圈的位置和类型的识别。

S90，若总误差不小于预设阈值，调整目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将目标人脸样本图像对应的下一个人脸图像样本图像作为目标人脸样本图像，返回执行步骤S20，直到训练次数达到预设迭代次数位置，且将调整后的目标神经网络模型作为黑眼圈识别模型。

若总误差大于或等于预设阈值，说明当前神经网络模型的误差较大，模型不够稳定，需要调整网络参数，以优化当前的神经网络模型。对目标神经网络模型的网络参数的调整，包括但不限于对batch参数、学习率参数、卷积核的尺寸和深度以及卷积层层数等的调整。对神经网络模型进行调整后，还需要判断训练次数是否达到预设迭代次数，若训练次数未达到迭代次数，则将调整后的神经网络模型作为目标神经网络模型，进行进一步训练。此时，更换目标人脸样本图像，即将目标人脸样本图像对应的下一个人脸样本图像作为目标人脸样本图像，输入调整后的目标神经网络模型，重复上述S20-S90重新进行迭代训练；若训练次数达到迭代次数，则停止迭代训练，将本次调整后的目标神经网络模型作为黑眼圈识别模型。

S100，通过黑眼圈识别模型识别目标人脸图像，以得到目标人脸图像中黑眼圈的类型以及黑眼圈在目标人脸图像中的位置坐标。

目标人脸图像是指包含待识别人脸的图像。目标人脸图像可以为利用手机、照相机等拍摄后直接生成的包含人脸的图像，也可以是对拍摄得到的图像进行处理后得到的包含人脸的图像。目标人脸图像可以即时拍摄得到的图像，也可以是计算机设备中预先存储的图像。将目标人脸图像输入上述训练得到的黑眼圈识别模型，即可输出目标人脸图像中黑眼圈的类型以及该黑眼圈在目标人脸图像中的位置坐标。

本实施例中，通过目标人脸样本图像，对目标神经网络模型进行训练处理，得到黑眼圈识别模型，进而通过黑眼圈识别模型识别目标人脸图像中的黑眼圈类型和位置。相对于传统图像处理的方法，本实施例提供的方法通过神经网络模型识别黑眼圈，无需多步骤处理，过程简单，识别效率高。另外，本实施例中，模型训练过程中，基于目标神经网络模型中的卷积层对目标人脸样本图像进行卷积处理，得到卷积特征图，进而确定卷积特征图对应的目标卷积特征信息，再确定目标卷积特征信息对应的位置坐标，确定第一区域。根据置信度和属性类别确定出黑眼圈区域和黑眼圈类型，进而进行目标神经网络模型的调整。通过这样的过程训练出的黑眼圈识别模型，结构稳定，网络模型轻量化，模型识别速度快，且能够减弱脸部本身的干扰因素，提高识别的准确性。

请参见图5，本实施例涉及根据预设损失函数计算黑眼圈的类别以及黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差的一种可能的实现方式。在一个实施例中，S70包括：

S710，根据预设的损失函数，计算黑眼圈的类别与预设的期望输出标签中的类型标签的误差，得到类别误差。

预设的期望输出标签中包括类型标签和位置标签。类型标签用于表征目标人脸样本图像中黑眼圈的准确类型。位置标签用于表征人脸样本图像中黑眼圈的准确位置坐标。根据预设的损失函数，计算目标人脸样本图像经过目标神经网络模型识别得出的黑眼圈类型与类型标签的误差，得到类别误差。

S720，根据预设的损失函数，计算黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签中的位置标签的误差，得到位置误差。

根据预设的损失函数，计算目标人脸样本图像经过目标神经网络模型识别得出的黑眼圈位置坐标与位置标签的误差，得到位置误差。需要说明的是，根据预设的损失函数计算类别误差和位置误差，预设的损失函数可以为同一函数，也可以分别设置对应的类别损失函数和位置损失函数，从而分别计算得到类别误差和位置误差。

S730，计算类别误差和位置误差的和，得到总误差。

对类别误差和位置误差求和，即可得到总误差。求和可以为直接求和，也可以为加权求和等，本申请实施例不做具体限定。在一个具体的实施例中，可以为类别误差和位置误差分别设置权重，并进行加权求和得到总误差。由于黑眼圈的位置相对固定(存在于人眼部周围)，因此，类别误差的权重可以大于位置误差的权重，从而使得对目标神经网络的训练过程更侧重于类别特征的学习。

本实施例中，根据预设损失函数，分别计算类别误差和位置误差，并计算类别误差和位置误差的和，得到总误差。这种计算总误差的方法简单快捷，且能够分别针对类型和位置求解误差，使得类型和位置都能够达到预设的误差要求，求解得到的总误差更加准确，从而使得训练得到的黑眼圈识别模型更加稳定。

请参见图6，本实施例涉及获取目标人脸样本图像的一种可能的实现方式，S10包括：

S110，获取待识别样本图像。

待识别样本图像为包含人脸，需要输入目标神经网络模型进行黑眼圈识别的样本图像。待识别样本图像中可能包含除人脸之外的图像背景。

S120，通过人脸关键点识别算法对待识别样本图像进行人脸识别，确定出待识别样本图像中的人脸区域。

在一个具体的实施例中，可以通过人脸关键点识别法定位68个关键点，通过68个关键点的位置，即可确定出待识别图像中人脸的区域。68个关键点包括能够定位出脸部轮廓、眉毛轮廓、眼睛轮廓、鼻子轮廓和嘴部轮廓的点。

S130，截取待识别样本图像中的人脸区域，得到目标人脸样本图像。

将识别出的人脸区域进行截取，即得到目标人脸样本图像。标人脸样本图像中已知黑眼圈的位置和类型的标识，可以人工进行，也可以通过其他的图像处理方法进行识别和标识，本申请实施例不做任何限定。

本实施例中，通过人脸关键点识别算法对待识别样本图像进行人脸识别，确定出待识别样本图像中的人脸区域，能够准确的确定出图像中的人脸，并进一步将人脸区域截取得到目标人脸样本图像。这样，使得目标人脸样本图像中去除了人脸之外的背景，减少了模型训练处理过程中学习位置信息的时间，提高对目标人脸样本图像中黑眼圈识别的效率，从而提高了模型训练的效率。

在另外一些实施例中，对目标人脸图像的获取，也可参考上一实施例中的过程和步骤进行，以准确的去除人脸之外的背景，确定出人脸，减少黑眼圈识别模型识别过程中学习位置信息的时间，提高了对目标人脸图像中黑眼圈的识别效率。

请参见图7，本实施例涉及的是确定各个卷积特征信息对应的第一区域的置信度和第一区域对应的属性类别的一种可能的实现方式，S50包括：

S510，分别确定各个卷积特征信息与目标神经网络模型中的多种属性类别之间的匹配概率，目标神经网络模型中的多种属性类别至少包括背景、血管型黑眼圈和色素型黑眼圈；

S520，在各个卷积特征信息与目标神经网络模型中的多种属性类别之间的匹配概率中确定最大匹配概率，并将最大匹配概率确定为各个卷积特征信息对应的第一区域的置信度；

S530，将最大匹配概率对应的属性类别确定为第一区域的属性类别。

以一个卷积特征信息(即一个预测框内的信息)为例，计算该预测框内的信息与背景类别的图像的特征信息的匹配度，得到背景对应的匹配度。计算该预测框的信息与黑眼圈类别的图像特征信息的匹配度，得到黑眼圈对应的匹配度。根据匹配度即可确定匹配概率。具体的，可以基于目标神经网络模型中的分类器对卷积特征信息与多种类别之间的匹配概率进行计算。通过目标神经网络模型中的分类器计算卷积特征信息与背景类别的图像的特征信息之间的匹配度，根据该匹配度确定各卷积特征信息对应的图像为背景的概率，得到背景匹配概率。同时，通过目标神经网络模型中的分类器计算卷积特征信息与各类黑眼圈类别的图像的特征信息之间的匹配度，根据该匹配度确定各卷积特征信息对应的图像为黑眼圈的概率，得到各类黑眼圈的匹配概率。

背景匹配概率和各类黑眼圈匹配概率中，最大的一个匹配概率，即为第一区域的置信度。同时，匹配概率最大的一个对应的属性类别即为第一区域对应的属性类别。

请参见图8，本实施例涉及第二区域数量为多个的情况下，根据第二区域对应的位置坐标确定黑眼圈在目标人脸样本图像中的位置坐标的一种可能的实现方式，即，在第二区域的数量为多个的情况下，S60包括：

S610，在第二区域中确定置信度最大的第二区域，将置信度最大的区域确定为第三区域。

S620，计算第四区域与第三区域的区域交叉度，第四区域为第二区域中排除第三区域之后的第二区域，区域交叉度用于指示第四区域与第三区域在目标人脸样本图像中的重合程度。

也就是说，第四区域为多个第二区域中，去除置信度最大的区域之外的其他第二区域。例如，多个第二区域分别为：第二区域A，第二区域B，第二区域C，第四区域D。其中，第二区域B置信度最大，所以，第二区域B即为第三区域，则第二区域A、第二区域C和第二区域D为第四区域。计算第三区域与第四区域的交叉度，也即交并比(Intersection-over-Union,IoU)。

S630，在第四区域中查找第五区域，第五区域与第三区域的区域交叉度大于区域交叉度阈值。

区域交叉度阈值用于评估两个区域之间的重合程度。第五区域与第三区域的区域交叉度大于区域交叉度阈值，说明第五区域与第三区域的区域重合度较高。也就是说，本步骤为，查找第四区域中与第三区域区域重合度较高的区域。

在查找到第五区域的情况下：

S640，将第三区域确定为目标区域，并在第二区域中排除第三区域和第五区域；

在未查找到第五区域的情况下：

S650，将第三区域确定为目标区域，并在第二区域中排除第三区域；

在排除第三区域和第五区域，或排出第三区域后，S660，判断第二区域的数量是否为多个；

如果第二区域的数量仍为多个，则执行S610。

如果第二区域的数量为一个，则执行S670，将目标区域对应的位置坐标确定为黑眼圈在目标人脸样本图像中的位置坐标。

在一个实施例中，在第二区域的数量为一个的情况下，S60还包括：

将第二区域确定为目标区域。

请参见图9，在一个实施例中，S100之后，所述方法还包括：

S101，在目标人脸图像中标记出黑眼圈所在的区域。

根据黑眼圈在目标人脸图像中的位置坐标，在目标人脸图像中标记出黑眼圈所在的区域。标记黑眼圈的方式不做限定，可选的，可以通过方框标记一个黑眼圈，也可以通过四个点标记一个黑眼圈。另外，在目标人脸图像中还可以进一步标记其他的信息，例如置信度等。

S101之后，所述方法还可以包括：

S102，在目标人脸图像中标记出黑眼圈的类型。

黑眼圈的类型可以以文字的形式标记，也可以以标号、颜色或其他形式标记，本申请对此不做任何限定。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种黑眼圈识别装置，包括：样本图像获取模块10、卷积处理模块20、卷积特征确定模块30、第一区域确定模块40、第二区域确定模块50、位置坐标确定模块60、误差计算模块70、第一模型输出模块80、第二模型输出模块90和识别模块100，其中：

样本图像获取模块10，用于获取目标人脸样本图像；

卷积处理模块20，用于基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图；

卷积特征确定模块30，用于分别确定所述每个卷积特征图对应的目标卷积特征信息，所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息；

第一区域确定模块40，用于分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将所述目标人脸样本图像中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域；

第二区域确定模块50，用于确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任意一种的第一区域确定为第二区域，将所述第二区域对应的属性类别确定为黑眼圈的类别；

位置坐标确定模块60，用于根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标；

误差计算模块70，用于根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；

第一模型输出模块80，用于若所述总误差小于预设阈值，将所述目标神经网络模型作为黑眼圈识别模型；

第二模型输出模块90，用于若所述总误差不小于所述预设阈值，调整所述目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将所述目标人脸样本图像对应的下一人脸样本图像作为所述目标人脸样本图像，返回执行步骤所述基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，直到训练次数达到预设迭代次数为止，且将所述调整后的目标神经网络模型作为所述黑眼圈识别模型；

识别模块100，用于通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标。

在一个实施例中，第二区域确定模块50具体用于分别确定所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率，所述多种属性类别至少包括背景、血管型黑眼圈和色素型黑眼圈；在所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率中确定最大匹配概率，并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度；将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。

在一个实施例中，位置坐标确定模块60具体用于在所述第二区域的数量为多个的情况下，在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域；计算第四区域与第三区域的区域交叉度，所述第四区域为所述第二区域中排除所述第三区域之后的第二区域，所述区域交叉度用于指示所述第四区域与所述第三区域在所述目标人脸样本图像中的重合程度；在所述第四区域中查找第五区域，所述第五区域与所述第三区域的区域交叉度大于区域交叉度阈值；在查找到所述第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域和所述第五区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；在未查找到第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；在所述第二区域的数量为一个的情况下，将所述第二区域确定为目标区域；将所述目标区域对应的位置坐标确定为所述黑眼圈在所述目标人脸样本图像中的位置坐标。

在一个实施例中，误差计算模块70具体用于根据所述预设的损失函数，计算所述黑眼圈的类别与所述预设的期望输出标签中的类型标签的误差，得到类别误差；根据所述预设的损失函数，计算所述黑眼圈在目标人脸样本图像中的位置坐标与所述预设的期望输出标签中的位置标签的误差，得到位置误差；计算所述类别误差和所述位置误差的和，得到所述总误差。

请继续参见图10，在一个实施例中，黑眼圈识别装置还包括标记模块101，用于在所述目标人脸图像中标记出黑眼圈所在的区域。

在一个实施例中，标记模块101还用于在所述目标人脸图像中标记出所述黑眼圈的类型。

在一个实施例中，样本图像获取模块10具体用于获取待识别样本图像；通过人脸关键点识别算法对所述待识别样本图像进行人脸识别，确定出所述待识别样本图像中的人脸区域；截取所述待识别样本图像中的人脸区域，得到所述目标人脸样本图像。

关于黑眼圈识别装置的具体限定可以参见上文中对于黑眼圈识别方法的限定，在此不再赘述。上述黑眼圈识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取目标人脸样本图像；

基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图；

分别确定所述每个卷积特征图对应的目标卷积特征信息，所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息；

分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将所述目标人脸样本图像中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域；

确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任意一种的第一区域确定为第二区域，将所述第二区域对应的属性类别确定为黑眼圈的类别；

根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标；

根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；

若所述总误差小于预设阈值，将所述目标神经网络模型作为黑眼圈识别模型；

若所述总误差不小于所述预设阈值，调整所述目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将所述目标人脸样本图像对应的下一人脸样本图像作为所述目标人脸样本图像，返回执行步骤所述基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，直到训练次数达到预设迭代次数为止，且将所述调整后的目标神经网络模型作为所述黑眼圈识别模型；

通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

分别确定所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率，所述多种属性类别至少包括背景、血管型黑眼圈和色素型黑眼圈；在所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率中确定最大匹配概率，并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度；将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述第二区域的数量为多个的情况下，在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域；计算第四区域与第三区域的区域交叉度，所述第四区域为所述第二区域中排除所述第三区域之后的第二区域，所述区域交叉度用于指示所述第四区域与所述第三区域在所述目标人脸样本图像中的重合程度；在所述第四区域中查找第五区域，所述第五区域与所述第三区域的区域交叉度大于区域交叉度阈值；在查找到所述第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域和所述第五区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；在未查找到第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；在所述第二区域的数量为一个的情况下，将所述第二区域确定为目标区域；将所述目标区域对应的位置坐标确定为所述黑眼圈在所述目标人脸样本图像中的位置坐标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据所述预设的损失函数，计算所述黑眼圈的类别与所述预设的期望输出标签中的类型标签的误差，得到类别误差；根据所述预设的损失函数，计算所述黑眼圈在目标人脸样本图像中的位置坐标与所述预设的期望输出标签中的位置标签的误差，得到位置误差；计算所述类别误差和所述位置误差的和，得到所述总误差。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在所述目标人脸图像中标记出黑眼圈所在的区域。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在所述目标人脸图像中标记出所述黑眼圈的类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待识别样本图像；通过人脸关键点识别算法对所述待识别样本图像进行人脸识别，确定出所述待识别样本图像中的人脸区域；截取所述待识别样本图像中的人脸区域，得到所述目标人脸样本图像。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取目标人脸样本图像；

基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图；

分别确定所述每个卷积特征图对应的目标卷积特征信息，所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息；

分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将所述目标人脸样本图像中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域；

确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任意一种的第一区域确定为第二区域，将所述第二区域对应的属性类别确定为黑眼圈的类别；

根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标；

根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；

若所述总误差小于预设阈值，将所述目标神经网络模型作为黑眼圈识别模型；

若所述总误差不小于所述预设阈值，调整所述目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将所述目标人脸样本图像对应的下一人脸样本图像作为所述目标人脸样本图像，返回执行步骤所述基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，直到训练次数达到预设迭代次数为止，且将所述调整后的目标神经网络模型作为所述黑眼圈识别模型；

通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

分别确定所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率，所述多种属性类别至少包括背景、血管型黑眼圈和色素型黑眼圈；在所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率中确定最大匹配概率，并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度；将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

在所述第二区域的数量为多个的情况下，在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域；计算第四区域与第三区域的区域交叉度，所述第四区域为所述第二区域中排除所述第三区域之后的第二区域，所述区域交叉度用于指示所述第四区域与所述第三区域在所述目标人脸样本图像中的重合程度；在所述第四区域中查找第五区域，所述第五区域与所述第三区域的区域交叉度大于区域交叉度阈值；在查找到所述第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域和所述第五区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；在未查找到第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；在所述第二区域的数量为一个的情况下，将所述第二区域确定为目标区域；将所述目标区域对应的位置坐标确定为所述黑眼圈在所述目标人脸样本图像中的位置坐标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述预设的损失函数，计算所述黑眼圈的类别与所述预设的期望输出标签中的类型标签的误差，得到类别误差；根据所述预设的损失函数，计算所述黑眼圈在目标人脸样本图像中的位置坐标与所述预设的期望输出标签中的位置标签的误差，得到位置误差；计算所述类别误差和所述位置误差的和，得到所述总误差。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在所述目标人脸图像中标记出黑眼圈所在的区域。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在所述目标人脸图像中标记出所述黑眼圈的类型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待识别样本图像；通过人脸关键点识别算法对所述待识别样本图像进行人脸识别，确定出所述待识别样本图像中的人脸区域；截取所述待识别样本图像中的人脸区域，得到所述目标人脸样本图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种黑眼圈识别方法，所述方法包括：

S10，获取目标人脸样本图像；

S20，基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图；其中，所述卷积特征图表征所述目标人脸样本图像中黑眼圈对应的特征信息；

S30，分别确定所述每个卷积特征图对应的目标卷积特征信息，所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息；

S40，分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将所述目标人脸样本图像中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域；

S50，确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任意一种的第一区域确定为第二区域，将所述第二区域对应的属性类别确定为黑眼圈的类别；

S60，根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标；

S70，根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；

S80，若所述总误差小于预设阈值，将所述目标神经网络模型作为黑眼圈识别模型；

S90，若所述总误差不小于所述预设阈值，调整所述目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将所述目标人脸样本图像对应的下一人脸样本图像作为所述目标人脸样本图像，返回执行S20-S90重新进行迭代训练，直到训练次数达到预设迭代次数为止，且将所述调整后的目标神经网络模型作为所述黑眼圈识别模型；

S100，通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标。

2.根据权利要求1所述的方法，其特征在于，所述确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，包括：

分别确定所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率，所述多种属性类别至少包括背景、血管型黑眼圈和色素型黑眼圈；

在所述各个卷积特征信息与所述目标神经网络模型中的多种属性类别之间的匹配概率中确定最大匹配概率，并将所述最大匹配概率确定为所述各个卷积特征信息对应的第一区域的置信度；

将所述最大匹配概率对应的属性类别确定为所述第一区域对应的属性类别。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标，包括：

在所述第二区域的数量为多个的情况下，在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域；

计算第四区域与第三区域的区域交叉度，所述第四区域为所述第二区域中排除所述第三区域之后的第二区域，所述区域交叉度用于指示所述第四区域与所述第三区域在所述目标人脸样本图像中的重合程度；

在所述第四区域中查找第五区域，所述第五区域与所述第三区域的区域交叉度大于区域交叉度阈值；

在查找到所述第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域和所述第五区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；

在未查找到第五区域的情况下，将所述第三区域确定为目标区域，并在所述第二区域中排除所述第三区域之后，如果所述第二区域的数量仍为多个，则执行所述在所述第二区域中确定置信度最大的第二区域，将所述置信度最大的区域确定为第三区域的步骤；

在所述第二区域的数量为一个的情况下，将所述第二区域确定为目标区域；

将所述目标区域对应的位置坐标确定为所述黑眼圈在所述目标人脸样本图像中的位置坐标。

4.根据权利要求1所述的方法，其特征在于，所述根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差，包括：

根据所述预设的损失函数，计算所述黑眼圈的类别与所述预设的期望输出标签中的类型标签的误差，得到类别误差；

根据所述预设的损失函数，计算所述黑眼圈在目标人脸样本图像中的位置坐标与所述预设的期望输出标签中的位置标签的误差，得到位置误差；

计算所述类别误差和所述位置误差的和，得到所述总误差。

5.根据权利要求1所述的方法，其特征在于，所述通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标之后，所述方法还包括：

在所述目标人脸图像中标记出黑眼圈所在的区域。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述目标人脸图像中标记出黑眼圈的类型。

7.根据权利要求1所述的方法，其特征在于，所述获取目标人脸样本图像，包括：

获取待识别样本图像；

通过人脸关键点识别算法对所述待识别样本图像进行人脸识别，确定出所述待识别样本图像中的人脸区域；

截取所述待识别样本图像中的人脸区域，得到所述目标人脸样本图像。

8.一种黑眼圈识别装置，其特征在于，所述装置包括：

样本图像获取模块，用于获取目标人脸样本图像；

卷积处理模块，用于基于目标神经网络模型中的卷积层对所述目标人脸样本图像进行卷积处理，得到多个尺寸不同的卷积特征图，每个卷积特征图包括多个卷积特征子图；其中，所述卷积特征图表征所述目标人脸样本图像中黑眼圈对应的特征信息；

卷积特征确定模块，用于分别确定所述每个卷积特征图对应的目标卷积特征信息，所述目标卷积特征信息包括所述多个卷积特征子图中各个卷积特征子图对应的卷积特征信息；

第一区域确定模块，用于分别确定所述目标卷积特征信息中的各个卷积特征信息对应的位置坐标，将所述目标人脸样本图像中与所述位置坐标对应的区域确定为所述各个卷积特征信息对应的第一区域；

第二区域确定模块，用于确定各个卷积特征信息对应的第一区域的置信度和所述第一区域对应的属性类别，并将置信度大于置信度阈值并且属性类别为预设黑眼圈类别中任意一种的第一区域确定为第二区域，将所述第二区域对应的属性类别确定为黑眼圈的类别；

位置坐标确定模块，用于根据所述第二区域对应的位置坐标确定黑眼圈在所述目标人脸样本图像中的位置坐标；

误差计算模块，用于根据预设的损失函数计算所述黑眼圈的类别以及在所述黑眼圈在目标人脸样本图像中的位置坐标与预设的期望输出标签之间的总误差；

第一模型输出模块，用于若所述总误差小于预设阈值，将所述目标神经网络模型作为黑眼圈识别模型；

第二模型输出模块，用于若所述总误差不小于所述预设阈值，调整所述目标神经网络模型中的网络参数，得到调整后的目标神经网络模型，将所述目标人脸样本图像对应的下一人脸样本图像作为所述目标人脸样本图像，使所述卷积处理模块、所述卷积特征确定模块、所述第一区域确定模块、所述第二区域确定模块、所述位置坐标确定模块、所述误差计算模块、所述第一模型输出模块和所述第二模型输出模块分别再次执行对应的操作，重新进行迭代训练，直到训练次数达到预设迭代次数为止，且将所述调整后的目标神经网络模型作为所述黑眼圈识别模型；

识别模块，用于通过所述黑眼圈识别模型识别目标人脸图像，以得到所述目标人脸图像中黑眼圈的类型以及所述黑眼圈在所述目标人脸图像中的位置坐标。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images