CN112101479B - 一种发型识别方法及装置 - Google Patents

Abstract

本申请实施例提供的一种发型识别方法及装置，涉及图像处理技术领域，上述方法包括：识别待识别图像中人物的头胸关键点；对待识别图像进行形变调整，使得待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；基于待识别区域识别人物的发型。应用本申请实施例提供的方案识别发型，能够提高发型识别的准确率。

Description

一种发型识别方法及装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种发型识别方法及装置。

背景技术

随着社会的发展，越来越多的场景需要进行人物识别。人物识别可以基于图像中多个维度的人物特征实现。例如，人物的身高、体型、着装、发型等人物特征。由于发型是一种较为明显的体貌特征，因此，发型识别技术也有越来越多的需求。

发明内容

本申请实施例的目的在于提供一种发型识别方法及装置，以提高发型识别的准确率。具体技术方案如下：

本申请实施例提供了一种发型识别方法，包括：

识别待识别图像中人物的头胸关键点；

对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；

将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

基于所述待识别区域识别所述人物的发型。

本申请的一个实施例中，所述待识别图像包括：采集时间同步、且均包含所述人物的近红外图像和可见光图像；

所述基于所述待识别区域识别所述人物的发型，包括：

提取红外识别区域的特征，作为第一特征，并提取可见光识别区域的特征，作为第二特征，其中，所述红外识别区域为：形变调整后的近红外图像中包含头胸关键点的区域，所述可见光识别区域为：形变调整后的可见光图像中包含头胸关键点的区域；

对所述第一特征和所述第二特征进行特征融合，基于融合后的特征识别所述人物的发型。

本申请的一个实施例中，发型由多个属性描述；

所述基于融合后的特征识别所述人物的发型，包括：

针对发型的每一属性，基于每一融合后特征针对该属性的第一预设权重系数、每一融合后特征中各特征值针对该属性的第二预设权重系数以及每一融合后特征，获得所述人物的发型针对该属性的属性值。

本申请的一个实施例中，所述待识别图像包括：待识别视频中的各视频帧，其中，所述视频帧包括所述人物；

所述基于所述待识别区域识别所述人物的发型，包括：

针对每一形变调整后的视频帧，获得反映该视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息；

根据所获得的表征信息，从各形变调整后的视频帧中包含头胸关键点的区域内，选择头发纹理丰富度最高的区域，作为第一待识别区域；

基于所述第一待识别区域识别所述人物的发型。

本申请的一个实施例中，所述待识别视频包括：采集时间同步的近红外视频和可见光视频；

所述基于所述第一待识别区域识别所述人物的发型，包括：

确定第一参考视频中与第一视频帧采集时间相同的第二视频帧，其中，所述第一视频帧为：所述第一待识别区域所在的视频帧，所述第一参考视频为：所述近红外视频和可见光视频中不包含所述第一视频帧的视频；

基于所述第一待识别区域和所述第二视频帧中包含头胸关键点的区域，识别所述人物的发型。

本申请的一个实施例中，所述对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，包括：

针对所述近红外视频和可见光视频中的每一视频帧，获得该视频帧中各个头胸关键点的置信度；

针对每一采集时刻，从所述近红外视频和可见光视频在该采集时刻采集的视频帧中，确定头胸关键点的置信度之和最大的第三视频帧，对所述第三视频帧进行形变调整，使得所述第三视频帧内的头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，并按照对所述第三视频帧进行形变调整的方式对第四视频帧进行形变调整，其中，所述第四视频帧为：在该采集时刻采集的除所述第三视频帧之外的视频帧。

本申请的一个实施例中，所述待识别视频中相邻视频帧中所述人物的头胸区域间重叠率大于预设重叠阈值。

本申请的一个实施例中，所述头胸关键点包括以下关键点中的至少一种：

表征发顶的关键点、表征胸口的关键点和表征肩头的关键点。

本申请实施例还提供了一种发型识别装置，包括：

头胸关键点识别模块，用于识别待识别图像中人物的头胸关键点；

形变调整模块，用于对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；

区域确定模块，用于将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

发型识别模块，用于基于所述待识别区域识别所述人物的发型。

本申请的一个实施例中，所述待识别图像包括：采集时间同步、且均包含所述人物的近红外图像和可见光图像；

所述发型识别模块，包括：

特征提取单元，用于提取红外识别区域的特征，作为第一特征，并提取可见光识别区域的特征，作为第二特征，其中，所述红外识别区域为：形变调整后的近红外图像中包含头胸关键点的区域，所述可见光识别区域为：形变调整后的可见光图像中包含头胸关键点的区域；

特征融合单元，用于对所述第一特征和第二特征进行特征融合，并基于融合后的特征识别所述人物的发型。

本申请的一个实施例中，发型由多个属性描述；

所述特征融合单元，具体用于针对发型的每一属性，基于每一融合后特征针对该属性的第一预设权重系数、每一融合后特征中各特征值针对该属性的第二预设权重系数以及每一融合后特征，获得所述人物的发型针对该属性的属性值。

本申请的一个实施例中，所述待识别图像包括：待识别视频中的各视频帧，其中，所述视频帧包括所述人物；

所述发型识别模块，包括：

信息获得单元，用于针对每一形变调整后的视频帧，获得反映该视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息；

区域选择单元，用于根据所获得的表征信息，从各形变调整后的视频帧中包含头胸关键点的区域内，选择头发纹理丰富度最高的区域，作为第一待识别区域；

发型识别单元，用于基于所述第一待识别区域识别所述人物的发型。

本申请的一个实施例中，所述待识别视频包括：采集时间同步的近红外视频和可见光视频；

所述发型识别单元，包括：

视频帧确定子单元，用于确定第一参考视频中与第一视频帧采集时间相同的第二视频帧，其中，所述第一视频帧为：所述第一待识别区域所在的视频帧，所述第一参考视频为：所述近红外视频和可见光视频中不包含所述第一视频帧的视频；

发型识别子单元，用于基于所述第一待识别区域和所述第二视频帧中包含头胸关键点的区域，识别所述人物的发型。

本申请的一个实施例中，所述形变调整模块，包括：

置信度获得单元，用于针对所述近红外视频和可见光视频中的每一视频帧，获得该视频帧中各个头胸关键点的置信度；

形变调整单元，用于针对每一采集时刻，从所述近红外视频和可见光视频在该采集时刻采集的视频帧中，确定头胸关键点的置信度之和最大的第三视频帧，对所述第三视频帧进行形变调整，使得所述第三视频帧内的头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，并按照对所述第三视频帧进行形变调整的方式对第四视频帧进行形变调整，其中，所述第四视频帧为：在该采集时刻采集的除所述第三视频帧之外的视频帧。

本申请的一个实施例中，所述待识别视频中相邻视频帧中所述人物的头胸区域间重叠率大于预设重叠阈值。

本申请的一个实施例中，所述头胸关键点包括以下关键点中的至少一种：

表征发顶的关键点、表征胸口的关键点和表征肩头的关键点。

本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一所述的发型识别方法步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的发型识别方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的发型识别方法。

本申请实施例提供的一种发型识别方法及装置，可以识别出待识别图像中人物的头胸关键点，并使用包含有头胸关键点的区域识别人物的发型，由于发型可能超出面部区域，因此，包含有头胸关键点的区域所包含的人物发型的信息比面部区域的发型信息更全面，进而通过包含有头胸关键点的区域识别所得到的发型更准确，即提高了发型识别的准确率。

在此基础上，在使用包含有头胸关键点的区域识别人物的发型之前，通过形变调整使得待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，从而可以对待识别图像中人物的姿态进行调整，使得待识别图像中人物的姿态更有利于进行发型识别，从而进一步的提高了发型识别的准确率。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本申请一个实施例提供的发型识别方法的流程图。

图2为本申请一个实施例提供的多任务学习模型示意图。

图3为本申请一个实施例提供的头胸标准模板的示意图。

图4为本申请另一个实施例提供的发型识别方法的部分流程图。

图5为本申请一个实施例提供的发型识别网络示意图。

图6为本申请又一个实施例提供的发型识别方法的流程图。

图7为本申请一个实施例提供的头发纹理丰富度评分网络示意图。

图8为本申请再一个实施例提供的发型识别方法的流程图。

图9为本申请一个实施例提供的形变调整方法的流程图。

图10为本申请一个实施例提供的发型识别装置的结构示意图。

图11为本申请一个实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种发型识别方法，如图1所示，该方法包括：

S101：识别待识别图像中人物的头胸关键点。

S102：对待识别图像进行形变调整，使得待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致。

S103：将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域。

S104：基于待识别区域识别人物的发型。

本申请实施例提供的如图1所示的发型识别方法，可以识别出待识别图像中人物的头胸关键点，并使用包含有头胸关键点的区域识别人物的发型，由于发型可能超出面部区域，因此，包含有头胸关键点的区域所包含的人物发型的信息比面部区域的发型信息更全面，进而通过包含有头胸关键点的区域识别所得到的发型更准确，即提高了发型识别的准确率。

在此基础上，在使用包含有头胸关键点的区域识别人物的发型之前，通过形变调整使得待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，从而可以对待识别图像中人物的姿态进行调整，使得待识别图像中人物的姿态更有利于进行发型识别，从而进一步的提高了发型识别的准确率。

为了清楚地阐述本申请实施例的技术方案，下面分步骤阐述本申请实施例提供的如图1所示的发型识别方法。

针对步骤S101，上述待识别图像可以为单张图像，也可以为多张图像。

当待视频图像为单张图像时，其可以为可见光图像，也可以为近红外图像。

当待识别图像为多张图像时，其可以为采集时间同步、且包含相同人物的多张图像，此时，多张图像可以包含以下图像中的至少一种图像：可见光图像和近红外图像，示例性的，待识别图像包括在时刻T1时针对目标人物所采集的可见光图像P1和近红外图像P2。

当待识别图像为多张图像时，上述多张图像也可以为采样时间连续、且包含有相同人物的多张图像，其连续采集的多张图像可以为连续采集的多张近红外图像或连续采样的多张可见光图像，示例性的，待识别图像可以为在时间段[T1,T2]内通过可见光采集设备所采集的包含目标人物的视频的各视频帧，也可以为通过近红外设备采集设备所采集的包含目标人物的视频的各视频帧。

当待识别图像为多张图像时，上述多张图像还可以为在同一时间段采集得到的、包含有同一人物的连续的多张近红外图像和连续的多张可见光图像。示例性的，待识别图像可以为在时间段[T1,T2]内通过可见光采集设备所采集的包含目标人物的视频的各视频帧和通过近红外设备采集设备所采集的包含目标人物的视频的各视频帧。

在一个实施例中，待识别图像中的人物可以为预先确定的目标人物，如针对目标人物所采集得到的视频、图像等，示例性的，可以为人物的自拍照片，也可以为针对目标人物的追踪监控视频等。

进一步的，待识别图像中的人物也可以为进行检测所得到的人物，可以先获得原始视频，再检测原始视频中的人物，针对每个人物提取出原始视频中包含有该人物的视频片段，针对每个检测到的人物而言，提取出的包含有该人物的视频片段的每帧视频帧为待识别图像，而该人物即为本申请实施例所指的该待识别图像中的人物。

在一个实施例中，人物的头胸关键点为人物的头胸区域较为特殊的位置，如面部特征的眼、耳、口和鼻，如界定头胸区域范围的头顶、胸口、肩头等，在本申请的一个实施例中，头胸关键点包括以下关键点中的至少一种：表征发顶的关键点、表征胸口的关键点和表征肩头的关键点。可选的，头胸关键点还可以包括：表征眼睛的关键点、表征鼻尖的关键点、表征嘴角的关键点和表征下巴的关键点。

在一个实施例中，可以采用多种识别方式识别待识别图像中人物的头胸关键点，如可以根据待识别图像中各像素点像素值变化情况，从待识别图像中识别出待识别图像中的人物的头胸关键点，也可以根据预先训练完成的用于进行头胸关键点的神经网络模型进行人物的头胸关键点识别，此时，当需要识别待识别图像中人物的头胸关键点时，可以将待识别图像输入至上述训练好的神经网络模型，得到待识别图像中人物的头胸关键点。

进一步的，当待识别图像为多张图像，且该多张图像为采样时间连续、且包含有相同人物的多张图像时，上述采样时间连续、且包含有相同人物的多张图像可以为待识别视频的各视频帧，其中待识别视频可以为正对已确定目标所采集的识别，也可以为从原始视频中提取出的视频。

在一个实施例中，可以基于头胸检测，从原始视频中提取出待识别视频，可选的，对原始视频的每帧视频帧进行头胸检测，得到每帧视频帧中被检测人物的头胸检测框，从而可以定位到视频帧中人物的位置，在得到每帧视频帧中的头胸检测框后，确定相邻视频帧中是否存在重叠率大于预设重叠率的头胸检测框，若存在，则可以认为相邻视频帧中重叠率大于预设重叠率的头胸检测框所对应的人物为同一人物，进而可以在原始视频中对每个被检测人物进行目标跟踪，确定出每个被检测人物所在的视频帧，进而针对每个被检测人物，可以从原始视频中提取出与该被检测人物相关的待识别视频。

进一步的，为避免基于重叠率进行人物跟踪导致的跟踪失败，可以利用人脸识别技术，当相邻帧中头胸检测框内的人脸特征相似度大于预设阈值时，则可认定头胸检测框所对应的人物为同一人物。

上述头胸检测可以通过预先训练的头胸检测模型进行检测，进一步的，人物的头胸关键点是位于人物头胸所在区域内的，即针对一个人物进行头胸检测所得到的头胸检测框和识别所得到的头胸关键点之间的位置存在相关性，如头胸关键点中包含的表征头顶的关键点、表征双肩的关键点和表征胸口的关键点在位置上应当与头胸检测框重合，也就是说人物的头胸关键点和头胸检测框存在一定的相关性，即在进行人物的头胸关键点识别时所提取的头胸关键点特征与在进行头胸检测时所提取的头胸特征在位置维度上存在共性。

可选的，因为人物的头胸关键点和头胸检测框存在一定的相关性，因此，可以在进行头胸检测的同时也可以进行头胸关键点的识别，可选的，使用一个预先训练的多任务模型同时对人物进行头胸检测和头胸关键点识别，如2所示，为多任务模型的示意图，其中，特征提取层可以同时提取出输入图像中人物的头胸特征和头胸关键点特征，可选的，同时提取的头胸特征和头胸关键点特征之间可以为相互结合的特征，此时可以通过注意力机制，从结合的特征中将与头胸相关的特征引导到头胸区域识别分支网络，同时，将与头胸关键点相关的特征引导至头胸关键点识别分支网络。

在一个实施例中，上述注意力机制可以包括通道注意力和空间注意力，其中，通道注意力用于在维度层面对不同维度的特征进行引导，而空间注意力则是每一维度内的特征进行引导。具体的，提取的特征可以由特征矩阵表示，进行头胸检测和头胸关键点识别时可以分别针对每个特征矩阵设置各自的权重，并针对每个特征矩阵中的特征值也设置各自的权重，实现了从结合的特征中将与头胸相关的特征引导到头胸区域识别分支网络，同时，将与头胸关键点相关的特征引导至头胸关键点识别分支网络。

针对步骤S102，形变调整可以通过对待识别图像进行平移和/或线性映射等处理，将待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系调整至一致。可选的，上述与预设位置关系一致的关键点可以为待识别图像中部分头胸关键点，调整后的待识别图像中表征头顶的关键点、表征胸口的关键点和表征双肩的关键点之间的位置关系满足预设的位置关系即可。可选的，与预设位置关系一致的头胸关键点还可以为待识别图像中所有的头胸关键点，即所有的头胸关键点均满足预设的位置关系。

在一个实施例中，可以对待识别图像进行仿射变换，进而实现对待识别图像进行形变调整。

在一个实施例中，预设的头胸关键点间位置可以为通过预设的头胸标准模板进行描述的，其中，头胸标准模板可以为具有预设长和宽、且标注了头胸关键点的位置的图像。

示例性的，如图3所示，为头胸标准模板的示意图，其中头胸关键点的x1、x2和x3的位置固定，即头胸标准模板中头胸关键点间位置关系是确定的，当需要对待识别图像进行形变调整时，可以通过位移、旋转、缩放等方式调整待识别图像中与x1、x2和x3相匹配的头胸关键点之间的位置关系，使得与x1、x2和x3相匹配的头胸关键点之间的位置关系与x1、x2和x3之间的位置关系一致。

针对步骤S103，包含头胸关键点的区域可以为调整后的待识别图像中包含头胸关键点的最小矩形区域。

针对步骤S104，可以将待识别区域输入至预先训练的发型识别模型，得到发型结果，其中，发型可以由多个属性描述，如刘海类型、发际线类型、发际线高度、头发长短、头发形态，头发颜色等。

在一个实施例中，当待识别图像可以包括：采集时间同步、且均包含人物的近红外图像和可见光图像时，在如图1所示发型识别方法的基础上，本申请实施例还提供了一种发型识别方法，如图4所示为部分步骤的流程图，实现步骤S104，包括：

S401：提取红外识别区域的特征，作为第一特征，并提取可见光识别区域的特征，作为第二特征，其中，红外识别区域为：形变调整后的近红外图像中包含头胸关键点的区域，可见光识别区域为：形变调整后的可见光图像中包含头胸关键点的区域。

本步骤中，可以针对红外识别区域和可见光识别区域分别进行特征提取，得到第一特征和第二特征。

S402：对第一特征和第二特征进行特征融合，基于融合后的特征识别人物的发型。

本步骤中，特征融合为将从不同图像中所提取的相同维度的特征进行融合，因此，本步骤的特征融合可以为针对每一维度，将第一特征在该维度的特征和第二特征在该维度的特征进行融合。

示例性的，第一特征和第二特征包含有发型维度的特征和刘海维度的特征，此时，可以将第一特征中发型维度的特征和第二特征中的发型维度的特征进行融合，将第一特征中刘海维度的特征和第二特征中刘海维度的特征进行融合。

可选的，针对每一维度，进行特征融合的方式可以包括将特征值相加、特征相连等方式。

进一步的，根据特征融合后的融合特征进行人物发型的识别。

可选的，可以通过预先训练的发型识别模型进行人物发型的识别，此时，上述进行特征融合的过程可以与发型识别模型的特征提取阶段进行结合，使得提取出的特征为融合后的特征。

可选的，由于发型包含有多个属性，如刘海类型、发际线类型和颜色类型等，为了识别出人物的发型，可以针对每种属性单独的训练出用于识别出该属性的发型识别模型，最后综合针对不同属性的发型识别模型得到人物的发型。

在一个实施例中，还可以使用一个发型识别模型同时确定发型的不同的属性，可选的，如图5所示，本申请实施例还提供了一种发型识别网络示意图，将发型的不同属性使用不同的分支网络进行识别。具体的，其中近红外图像输入层和可见光图像输入层分别向网络中输入近红外图像和可见光图像，并分别通过近红外特征提取层和可见光特征提取层提取红外识别区域和可见光识别区域的第一特征和第二特征，并将第一特征和第二特征输入至特征融合层进行特征融合，得到融合后的特征。

进一步的，通过注意力引导机制，将融合后的特征中与刘海有关的特征引导至刘海分类分支网络，通过刘海分类分支网络得到刘海的类型，将与发际线类别有关的特征引导至发际线分类分支网络，得到发际线类型，以及将与发际线高度有关的特征引导至与发际线高度分类分支网络，得到发际线的高度等。

具体的，注意力引导机制可以包括通道注意力和空间注意力，其中通道注意力主要用于在融合后的特征的不同维度进行注意力引导，而空间注意力主要用于在每一维度的特征中进行注意力的引导。

本申请实施例提供的如图4所示的发型识别方法，在如图1所示发型识别方法的有益效果的基础，通过将不同图像中人物的特征进行融合，可以使得用于进行发型识别的特征更加丰富，进行进一步的提高了发型识别的准确性。同时，使用近红外图像和可见光图像可以增强在不同环境下获取头发纹理信息的能力，扩展了发型识别可以适用的应用场景。

在一个实施例中，待识别图像可以为采样时间连续、且包含有相同人物的多张图像，当待识别图像包括：待识别视频中的各视频帧，其中，视频帧包括人物时。在如图1所示发型识别方法的基础上，本申请实施例还提供了一种发型识别方法，如图6所示为部分步骤的流程图，实现步骤S104，包括：

S601：针对每一形变调整后的视频帧，获得反映该视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息。

本步骤中，包含头胸关键点的区域内头发纹理丰富度可以基于包含头胸关键点的区域的清晰度、亮度、人物的姿态和遮挡等维度进行考量，一般而言，清晰度高、亮度高、姿态标准以及无遮挡的视频帧中包含头胸关键点的区域内头发纹理丰富度较高，因此，可以通过分别获取视频帧的清晰度、亮度等信息来确定视频帧的表征信息。

在一个实施例中，如图7所示，本申请实施例还提供了一种头发纹理丰富度评分网络示意图，通过清晰度分子网络、亮度分子网络、姿态分支网络和遮挡分支网络分别确定出视频帧的清晰度评分、亮度评分、姿态评分和遮挡评分，并最终得到视频帧的综合得分，作为视频帧的反映该视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息。

S602：根据所获得的表征信息，从各形变调整后的视频帧中包含头胸关键点的区域内，选择头发纹理丰富度最高的区域，作为第一待识别区域。

本步骤中，当表征信息为视频帧的综合得分时，可以从各视频帧中选择出综合得分最高的视频帧，并将选择出的视频帧中的包含头胸关键点的区域作为第一待识别区域。

S603：基于第一待识别区域识别人物的发型。

本步骤中，与前述发型识别相同或相似，在此不再赘述。

本申请实施例提供的如图6所示的发型识别方法，在如图1所示发型识别方法的有益效果的基础，通过获得反映视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息，可以对不同视频帧中包含头胸关键点的区域进行区分，并进一步的根据表征信息选择出纹理丰富度最高的区域，最后基于所选择的纹理丰富度最高的区域进行发型识别，可以保证进行发型识别的第一待识别区域是待识别视频中的各视频帧包含头胸关键点的区域中最合适的区域，可以进一步提高发型识别的准确率，同时避免对每帧视频帧包含头胸关键点的区域都进行识别，减小了计算负荷。

在一个实施例中，当待识别视频包括：采集时间同步的近红外视频和可见光视频时，如图8所示，本申请实施例还提供一种发型识别方法，实现上述步骤S603，包括：

S801：确定第一参考视频中与第一视频帧采集时间相同的第二视频帧，其中，第一视频帧为：第一待识别区域所在的视频帧，第一参考视频为：近红外视频和可见光视频中不包含第一视频帧的视频。

本步骤中，上述近红外视频和可见光视频的采集时间同步，即在任意采集时刻，均包含由近红外视频的近红外视频帧和可见光视频的可见光视频帧。上述过程中已通过步骤S602确定了在所有近红外视频帧包含的头胸关键点的区域和可见光视频帧包含的头胸关键点的区域中头发纹理丰富度最高的第一待识别区域，因此，确定的第一待识别区域可以为近红外视频帧包含的头胸关键点的区域，也可以为可见光视频帧包含的头胸关键点的区域。

在一个实施例中，当第一待识别区域为近红外视频帧包含的头胸关键点的区域时，在当只有一条近红外视频的情况下，从与该条近红外视频的采集时间同步的可见光视频中确定出与第一待识别区域所在的近红外视频帧的采样时刻相同的可见光视频帧，作为第二视频帧，在包含有多条红外视频的情况下，从与该条近红外视频的采集时间同步的可见光视频和近红外视频中确定出与第一待识别区域所在的近红外视频帧的采样时刻相同的可见光视频帧和近红外视频帧，作为第二视频帧。

在一个实施例中，当第一待识别区域为可见光视频帧包含的头胸关键点的区域时，在当只有一条可见光视频的情况下，从与该条可见光视频的采集时间同步的近红外视频中确定出与第一待识别区域所在的可见光视频帧的采样时刻相同的近红外视频帧，作为第二视频帧，在包含有多条红外视频的情况下，从与该条可见光视频的采集时间同步的近红外视频和可见光视频中确定出与第一待识别区域所在的可见光视频帧的采样时刻相同的近红外视频帧和可见光视频帧，作为第二视频帧。

S802：基于第一待识别区域和第二视频帧中包含头胸关键点的区域，识别人物的发型。

本步骤中，可以先提取出第一待识别区域的特征、第二视频帧中包含头胸关键点的区域的特征，再将提取的特征进行特征融合，并基于融合和特征进行发型识别，其与可以步骤S402相同或相似，在此不再赘述。

本申请实施例提供的如图8所示的发型识别方法，在如图6所示发型识别方法的有益效果的基础，通过根据第一待识别区域确定出多个与第一待识别区域的采样时刻相同的包含头胸关键点的区域，进而可以将第一待识别区域和与第一待识别区域的采样时刻相同的包含头胸关键点的区域的特征进行融合，使得进行发型识别的头发纹理信息更加分发，进一步提高了发型的识别效率。

在一个实施例中，在如图8所示的发型识别方法的基础上，本申请实施例还提供一种形变调整方法，如图9所示，包括：

S901：针对所述近红外视频和可见光视频中的每一视频帧，获得该视频帧中各个头胸关键点的置信度。

本步骤中，头胸关键点的置信度大小即为通过如图2所示的多任务学习模型中输出的头胸关键点的概率大小。

S902：针对每一采集时刻，从所述近红外视频和可见光视频在该采集时刻采集的视频帧中，确定头胸关键点的置信度之和最大的第三视频帧，对所述第三视频帧进行形变调整，使得所述第三视频帧内的头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，并按照对所述第三视频帧进行形变调整的方式对第四视频帧进行形变调整，其中，所述第四视频帧为：在该采集时刻采集的除所述第三视频帧之外的视频帧。

本步骤中，针对每一采集时刻，仅对头胸关键点的置信度之和最大的第三视频帧基于预设的头胸关键点间位置进行形变调整，而对该采样时刻下的其他视频帧，按照对第三视频帧进行形变调整的方式进行形变调整。得到近红外视频和可见光视频中每一帧视频帧的调整后图像。

本申请实施例提供的如图9所示的形变调整方法，通过头胸关键点的置信度可以区分不同识别出的头胸关键点的准确程度，进而选择出置信度之和最大的第三视频帧，即选择出头胸关键点的准确程度最高的视频帧，并通过该第三视频帧进行形变调整和按照第三视频帧调整的方式调整第四视频帧，可以使得进行形变调整的图像帧中人物的姿态更加标准，进行可以使得后续对调整后的图像进行发型识别时更加准确。

基于同一发明构思，根据本申请实施例提供的发型识别方法，如图10所示，本申请实施例还提供了一种发型识别装置，该装置包括：

头胸关键点识别模块1001，用于识别待识别图像中人物的头胸关键点；

形变调整模块1002，用于对待识别图像进行形变调整，使得待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；

区域确定模块1003，用于将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

发型识别模块1004，用于基于待识别区域识别人物的发型。

本申请的一个实施例中，待识别图像包括：采集时间同步、且均包含人物的近红外图像和可见光图像；

发型识别模块，包括：

特征提取单元，用于提取红外识别区域的特征，作为第一特征，并提取可见光识别区域的特征，作为第二特征，其中，红外识别区域为：形变调整后的近红外图像中包含头胸关键点的区域，可见光识别区域为：形变调整后的可见光图像中包含头胸关键点的区域；

特征融合单元，用于对第一特征和第二特征进行特征融合，并基于融合后的特征识别人物的发型。

本申请的一个实施例中，发型由多个属性描述；

特征融合单元，具体用于针对发型的每一属性，基于每一融合后特征针对该属性的第一预设权重系数、每一融合后特征中各特征值针对该属性的第二预设权重系数以及每一融合后特征，获得人物的发型针对该属性的属性值。

本申请的一个实施例中，待识别图像包括：待识别视频中的各视频帧，其中，视频帧包括人物；

发型识别模块，包括：

信息获得单元，用于针对每一形变调整后的视频帧，获得反映该视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息；

区域选择单元，用于根据所获得的表征信息，从各形变调整后的视频帧中包含头胸关键点的区域内，选择头发纹理丰富度最高的区域，作为第一待识别区域；

发型识别单元，用于基于第一待识别区域识别人物的发型。

本申请的一个实施例中，待识别视频包括：采集时间同步的近红外视频和可见光视频；

发型识别单元，包括：

视频帧确定子单元，用于确定第一参考视频中与第一视频帧采集时间相同的第二视频帧，其中，第一视频帧为：第一待识别区域所在的视频帧，第一参考视频为：近红外视频和可见光视频中不包含第一视频帧的视频；

发型识别子单元，用于基于第一待识别区域和第二视频帧中包含头胸关键点的区域，识别人物的发型。

本申请的一个实施例中，形变调整模块，包括：

置信度获得单元，用于针对近红外视频和可见光视频中的每一视频帧，获得该视频帧中各个头胸关键点的置信度；

形变调整单元，用于针对每一采集时刻，从近红外视频和可见光视频在该采集时刻采集的视频帧中，确定头胸关键点的置信度之和最大的第三视频帧，对第三视频帧进行形变调整，使得第三视频帧内的头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，并按照对第三视频帧进行形变调整的方式对第四视频帧进行形变调整，其中，第四视频帧为：在该采集时刻采集的除第三视频帧之外的视频帧。

本申请的一个实施例中，待识别视频中相邻视频帧中人物的头胸区域间重叠率大于预设重叠阈值。

本申请的一个实施例中，头胸关键点包括以下关键点中的至少一种：

表征发顶的关键点、表征胸口的关键点和表征肩头的关键点。

本申请实施例提供的如图10所示的发型识别装置，可以基于待识别图像中人物的头胸关键点所在的区域识别出人物的发型，由于发型可能超出面部区域，因此，包含有头胸关键点的区域所包含的人物发型的信息比面部区域的发型信息更全面，进而通过包含有头胸关键点的区域识别所得到的发型更准确，即提高了发型识别的准确率。并且在对人物的发型进行识别之前，先通过形变调整使得待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，因而可以缓解人物的姿态对发型识别的影响，进一步的提高了发型识别准确率。

本申请实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，

存储器1103，用于存放计算机程序；

处理器1101，用于执行存储器1103上所存放的程序时，实现如下步骤：

识别待识别图像中人物的头胸关键点；

对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；

将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

基于所述待识别区域识别所述人物的发型。

本申请实施例提供的如图11所示的电子设备，可以基于待识别图像中人物的头胸关键点所在的区域识别出人物的发型，由于发型可能超出面部区域，因此，包含有头胸关键点的区域所包含的人物发型的信息比面部区域的发型信息更全面，进而通过包含有头胸关键点的区域识别所得到的发型更准确，即提高了发型识别的准确率。并且在对人物的发型进行识别之前，先通过形变调整使得待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，因而可以缓解人物的姿态对发型识别的影响，进一步的提高了发型识别准确率。

需要说明的是，上述电子设备实现基于发型识别的其他实施例，与前述方法实施例部分提及的发型识别方法相同，在此不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发型识别方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一发型识别方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (9)

1.一种发型识别方法，其特征在于，包括：

识别待识别图像中人物的头胸关键点；

对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；所述待识别图像包括：采集时间同步、且均包含所述人物的近红外图像和可见光图像；

将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

基于所述待识别区域识别所述人物的发型；发型由多个属性描述；

所述基于所述待识别区域识别所述人物的发型，包括：

提取红外识别区域的特征，作为第一特征，并提取可见光识别区域的特征，作为第二特征，其中，所述红外识别区域为：形变调整后的近红外图像中包含头胸关键点的区域，所述可见光识别区域为：形变调整后的可见光图像中包含头胸关键点的区域；

对所述第一特征和所述第二特征进行特征融合，针对发型的每一属性，基于每一融合后特征针对该属性的第一预设权重系数、每一融合后特征中各特征值针对该属性的第二预设权重系数以及每一融合后特征，获得所述人物的发型针对该属性的属性值。

2.根据权利要求1所述的方法，其特征在于，所述头胸关键点包括以下关键点中的至少一种：

表征发顶的关键点、表征胸口的关键点和表征肩头的关键点。

3.一种发型识别方法，其特征在于，包括：

识别待识别图像中人物的头胸关键点；所述待识别图像包括：待识别视频中的各视频帧，其中，所述视频帧包括所述人物；

对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；

将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

基于所述待识别区域识别所述人物的发型；

所述基于所述待识别区域识别所述人物的发型，包括：

针对每一形变调整后的视频帧，获得反映该视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息；

根据所获得的表征信息，从各形变调整后的视频帧中包含头胸关键点的区域内，选择头发纹理丰富度最高的区域，作为第一待识别区域；

基于所述第一待识别区域识别所述人物的发型。

4.根据权利要求3所述的方法，其特征在于，所述待识别视频包括：采集时间同步的近红外视频和可见光视频；

所述基于所述第一待识别区域识别所述人物的发型，包括：

确定第一参考视频中与第一视频帧采集时间相同的第二视频帧，其中，所述第一视频帧为：所述第一待识别区域所在的视频帧，所述第一参考视频为：所述近红外视频和可见光视频中不包含所述第一视频帧的视频；

基于所述第一待识别区域和所述第二视频帧中包含头胸关键点的区域，识别所述人物的发型。

5.根据权利要求4所述的方法，其特征在于，所述对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，包括：

针对所述近红外视频和可见光视频中的每一视频帧，获得该视频帧中各个头胸关键点的置信度；

针对每一采集时刻，从所述近红外视频和可见光视频在该采集时刻采集的视频帧中，确定头胸关键点的置信度之和最大的第三视频帧，对所述第三视频帧进行形变调整，使得所述第三视频帧内的头胸关键点间的位置关系与预设的头胸关键点间位置关系一致，并按照对所述第三视频帧进行形变调整的方式对第四视频帧进行形变调整，其中，所述第四视频帧为：在该采集时刻采集的除所述第三视频帧之外的视频帧。

6.根据权利要求3所述的方法，其特征在于，所述待识别视频中相邻视频帧中所述人物的头胸区域间重叠率大于预设重叠阈值。

7.根据权利要求3-6任一项所述的方法，其特征在于，所述头胸关键点包括以下关键点中的至少一种：

表征发顶的关键点、表征胸口的关键点和表征肩头的关键点。

8.一种发型识别装置，其特征在于，包括：

头胸关键点识别模块，用于识别待识别图像中人物的头胸关键点；

形变调整模块，用于对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；

区域确定模块，用于将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

发型识别模块，用于基于所述待识别区域识别所述人物的发型；

所述待识别图像包括：采集时间同步、且均包含所述人物的近红外图像和可见光图像；

所述发型识别模块，包括：

特征提取单元，用于提取红外识别区域的特征，作为第一特征，并提取可见光识别区域的特征，作为第二特征，其中，所述红外识别区域为：形变调整后的近红外图像中包含头胸关键点的区域，所述可见光识别区域为：形变调整后的可见光图像中包含头胸关键点的区域；

特征融合单元，用于对所述第一特征和第二特征进行特征融合，并基于融合后的特征识别所述人物的发型；

发型由多个属性描述；

所述特征融合单元，具体用于针对发型的每一属性，基于每一融合后特征针对该属性的第一预设权重系数、每一融合后特征中各特征值针对该属性的第二预设权重系数以及每一融合后特征，获得所述人物的发型针对该属性的属性值。

9.一种发型识别装置，其特征在于，包括：

头胸关键点识别模块，用于识别待识别图像中人物的头胸关键点；

形变调整模块，用于对所述待识别图像进行形变调整，使得所述待识别图像中头胸关键点间的位置关系与预设的头胸关键点间位置关系一致；

区域确定模块，用于将形变调整后待识别图像中包含头胸关键点的区域，作为待识别区域；

发型识别模块，用于基于所述待识别区域识别所述人物的发型；

所述待识别图像包括：待识别视频中的各视频帧，其中，所述视频帧包括所述人物；

所述发型识别模块，包括：

信息获得单元，用于针对每一形变调整后的视频帧，获得反映该视频帧中包含头胸关键点的区域内头发纹理丰富度的表征信息；

区域选择单元，用于根据所获得的表征信息，从各形变调整后的视频帧中包含头胸关键点的区域内，选择头发纹理丰富度最高的区域，作为第一待识别区域；

发型识别单元，用于基于所述第一待识别区域识别所述人物的发型。