CN114359957A - 一种人体图像的归类方法、装置及设备 - Google Patents

Abstract

本申请提供一种人体图像的归类方法、装置及设备，该方法包括：从目标对象的多帧人体图像中选取最优人体图像，基于最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像；基于最优人体图像对应的最优人体特征和候选人体图像对应的候选人体特征，确定目标对象的多帧人体图像对应的融合特征；基于已创建的每个人体档案对应的人体封面图像，确定所述融合特征与该人体封面图像对应的封面特征之间的目标相似度；基于所述目标相似度从所有人体档案中选取目标人体档案，并将目标对象的最优人体图像归类为所述目标人体档案对应的人体图像。通过本申请的技术方案，可以对人体图像进行归类，提升人体识别效果。

Description

一种人体图像的归类方法、装置及设备

技术领域

本申请涉及图像处理领域，尤其是一种人体图像的归类方法、装置及设备。

背景技术

图像归类是指识别对象(如用户)的多个图像，并为同一对象的多个图像设置同一个标签，这个标签作为该对象的唯一标识，且为该对象建立档案，该档案可以包括这个标签、该对象的结构化信息(如身份证号码，手机号码，性别，家庭住址等)、该对象的多个图像、每个图像对应的采集时刻和经纬度坐标(表示图像中的该对象在该采集时刻处于该经纬度坐标)等。显然，通过该标签可以获知该对象的档案，继而能够查询该档案的内容。当需要对某个对象进行管理时，就可以通过查询档案内容分析该对象的实时位置和行走路线等。

为了实现图像归类，针对摄像机采集的图像，可以计算该图像与任一档案的参考图像之间的相似度，若该相似度大于相似度阈值，则将该图像归类为该档案的图像，若该相似度不大于相似度阈值，则不将该图像归类为该档案的图像，继续计算该图像与另一个档案的参考图像之间的相似度，以此类推。

在上述过程中，摄像机采集的图像是人脸图像(即包括人脸的图像)，且档案的参考图像也是人脸图像，即需要基于人脸图像实现图像归类。但是，在实际应用中，摄像机除了采集人脸图像，还可能采集人体图像，针对摄像机采集的人体图像，则无法对人体图像进行归类，即档案中不包括人体图像。

发明内容

本申请提供一种人体图像的归类方法，所述方法包括：

从目标对象的多帧人体图像中选取最优人体图像，基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像；

基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征；

基于已创建的每个人体档案对应的人体封面图像，确定所述融合特征与该人体封面图像对应的封面特征之间的目标相似度；

基于所述目标相似度从所有人体档案中选取目标人体档案，并将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像。

本申请提供一种人体图像的归类装置，所述装置包括：获取模块，用于从目标对象的多帧人体图像中选取最优人体图像，基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像；

确定模块，用于基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征；基于已创建的每个人体档案对应的人体封面图像，确定所述融合特征与该人体封面图像对应的封面特征之间的目标相似度；

归类模块，用于基于所述目标相似度从所有人体档案中选取目标人体档案，并将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像。

本申请提供一种后端设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例中公开的人体图像的归类方法。

由以上技术方案可见，本申请实施例中，可以基于目标对象的多帧人体图像确定目标人体档案，并将目标对象的最优人体图像归类为该目标人体档案对应的人体图像，从而对人体图像进行归类，即人体档案中包括人体图像，提升人员归类效果，提升人体识别效果，提高图像归类的准确性和普适性，协作实现人员归档的智能分析，可以快速从海量图像中获取有用的信息。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1是本申请一种实施方式中的人体图像的归类方法的流程示意图；

图2是本申请一种实施方式中的系统结构示意图；

图3是本申请一种实施方式中的人脸图像的归类方法的流程示意图；

图4是本申请一种实施方式中的图卷积网络模型的示意图；

图5是本申请一种实施方式中的人体图像的归类方法的流程示意图；

图6是本申请一种实施方式中的人体图像的归类装置的结构示意图；

图7是本申请一种实施方式中的后端设备的硬件结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中提出一种人体图像的归类方法，也可以称为人体图像的归档方法，可以应用于后端设备，如管理设备、分析设备等，对此不做限制。参见图1所示，为该方法的流程示意图，该方法可以包括以下步骤：

步骤101、从目标对象的多帧人体图像中选取最优人体图像，基于最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像。

示例性的，从目标对象的多帧人体图像中选取最优人体图像，可以包括但不限于：针对目标对象的每帧人体图像，从该人体图像中确定目标对象所在的目标框，基于该目标框对应的至少一种特征信息和每种特征信息对应的权重值，确定该人体图像对应的分数值；其中，该特征信息可以包括但不限于以下至少一种：清晰度、光照、亮度、完整度、俯仰角、姿态、面积、靠近边缘。基于每帧人体图像对应的分数值从多帧人体图像中选取最优人体图像。

示例性的，基于该最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像，可以包括但不限于：针对多帧人体图像中除该最优人体图像之外的每帧人体图像，确定该最优人体图像与该人体图像之间的初始相似度；若该初始相似度大于第一相似度阈值(可以根据经验进行配置)，则可以将该人体图像选取为候选人体图像，或者，若该初始相似度不大于第一相似度阈值，则可以禁止将该人体图像选取为候选人体图像。

步骤102、基于最优人体图像对应的最优人体特征和候选人体图像对应的候选人体特征，确定目标对象的多帧人体图像对应的融合特征。

示例性的，基于最优人体图像对应的最优人体特征和候选人体图像对应的候选人体特征，可以建立以该最优人体特征为中心的第一近邻矩阵，并建立以该候选人体特征为中心的第二近邻矩阵。将第一近邻矩阵输入给已训练的目标网络模型，得到第一子特征，将第二近邻矩阵输入给目标网络模型，得到第二子特征。基于第一子特征和第一加权系数(即第一子特征对应的加权系数)、第二子特征和第二加权系数(即第二子特征对应的加权系数)，确定目标对象的多帧人体图像对应的融合特征；其中，第一加权系数大于第二加权系数。

示例性的，候选人体图像的总数量可以为M个，M为大于1的正整数，M个候选人体图像可以对应M个候选人体特征。在此基础上，基于最优人体特征和候选人体特征，建立以最优人体特征为中心的第一近邻矩阵，建立以候选人体特征为中心的第二近邻矩阵，可以包括但不限于：基于最优人体特征与每个候选人体特征的相似度，对M个候选人体特征进行排序；基于排序结果选取相似度大的K个候选人体特征，K可以为正整数，且K小于或者等于M；基于最优人体特征和K个候选人体特征建立所述第一近邻矩阵。以及，针对每个候选人体特征，基于该候选人体特征与每个参考人体特征的相似度，对所有参考人体特征(即M个参考人体特征)进行排序，其中，所有参考人体特征可以包括最优人体特征和M个候选人体特征中除该候选人体特征之外的剩余候选人体特征；基于排序结果选取相似度大的K个参考人体特征；基于该候选人体特征和K个参考人体特征建立与该候选人体特征对应的第二近邻矩阵。

步骤103、基于已创建的每个人体档案对应的人体封面图像，确定融合特征与该人体封面图像对应的封面特征之间的目标相似度。

步骤104、基于目标相似度从所有人体档案中选取目标人体档案，并将目标对象的最优人体图像归类为目标人体档案对应的人体图像。

示例性的，若人体档案对应N个人体封面图像，且N为正整数，则该人体档案对应N个目标相似度；基于此，针对每个人体档案，基于该人体档案对应的N个目标相似度，可以统计目标相似度大于第二相似度阈值的第一数量、目标相似度大于第三相似度阈值的第二数量。基于第一数量和第一数量的权重值、第二数量和第二数量的权重值，确定该人体档案对应的目标数量；其中，若第三相似度阈值大于第二相似度阈值，则第二数量的权重值大于第一数量的权重值。基于每个人体档案对应的目标数量从所有人体档案中选取目标人体档案。

示例性的，还可以从目标对象的多帧人体图像中选取目标人体图像，目标人体图像包括目标对象的人脸区域；从所有人脸档案中选取与人脸区域对应的人脸特征匹配的目标人脸档案，基于目标人脸档案生成目标对象对应的目标人体档案，将目标对象的最优人体图像归类为目标人体档案对应的人体图像。

在一种可能的实施方式中，将目标对象的最优人体图像归类为目标人体档案对应的人体图像之后，还可以将目标对象的最优人体图像作为目标人体档案对应的人体封面图像，即参与后续的比对分析，对此过程不做限制。

由以上技术方案可见，本申请实施例中，可以基于目标对象的多帧人体图像确定目标人体档案，并将目标对象的最优人体图像归类为该目标人体档案对应的人体图像，从而对人体图像进行归类，即人体档案中包括人体图像，提升人员归类效果，提升人体识别效果，提高图像归类的准确性和普适性，协作实现人员归档的智能分析，可以快速从海量图像中获取有用的信息。

以下结合具体实施例，对本申请实施例的技术方案进行说明。

在介绍本申请实施例的技术方案之前，先介绍与本申请有关的技术术语：

人脸图像和人体图像：针对摄像机采集的图像，可以从该图像中识别出人脸区域，若基于人脸区域进行相关分析，则将该图像称为人脸图像。针对摄像机采集的图像，可以从该图像中识别出人体区域，若基于人体区域进行相关分析，则将该图像称为人体图像。针对摄像机采集的图像来说，该图像可能为人脸图像，也可能为人体图像，还可能同时为人脸图像和人体图像。

人脸档案：可以为对象(如用户)建立人脸档案，该人脸档案可以包括该对象的标签，这个标签作为该对象的唯一标识，该对象的结构化信息(如身份证号码，手机号码，性别，家庭住址等)、该对象的多个人脸图像、每个人脸图像对应的采集时刻和经纬度坐标，表示对象在该采集时刻处于该经纬度坐标。

显然，当需要对该对象进行管理时，就可以通过该对象的标签查询该对象的人脸档案的内容，继而分析该对象的实时位置和行走路线等。

图像归类：图像归类也可以称为图像归档或者图像聚类，也就是说，针对摄像机采集的人脸图像，确定该人脸图像所属的人脸档案，并将该人脸图像归类为该人脸档案的人脸图像，从而识别出同一对象的多个人脸图像。为了实现图像归类，针对摄像机采集的人脸图像，计算该人脸图像与任一人脸档案的参考图像之间的相似度，若该相似度大于相似度阈值，则将该人脸图像归类为该人脸档案，若该相似度不大于相似度阈值，则不将该人脸图像归类为该人脸档案，继续计算该人脸图像与另一人脸档案的参考图像之间的相似度，以此类推。

人脸档案的参考图像：人脸档案包括对象的多个人脸图像，这些人脸图像可能存在底库图像和人脸封面图像，将底库图像和人脸封面图像称为参考图像。在图像归类过程中，计算人脸图像与参考图像之间的相似度，基于该相似度确定将该人脸图像归类为该人脸档案，或不将该人脸图像归类为该人脸档案。

其中，底库图像是通过信息采集获取的图像，如身份证图像等，底库图像比较清晰，在得到底库图像时，底库图像已经具有人脸档案的身份信息。

其中，人脸档案可以包括对象的多个人脸图像，针对除底库图像之外的每个人脸图像，判断该人脸图像是否满足加封面条件(如数量限制条件、质量限制条件和相似度限制条件等，对此不做限制)。如果满足加封面条件，则将该人脸图像作为该对象的人脸封面图像，即作为参考图像。如果不满足加封面条件，则不将该人脸图像作为该对象的人脸封面图像，即不作为参考图像。

综上所述，可以从人脸档案的多个人脸图像中选取底库图像和人脸封面图像，并将底库图像和人脸封面图像作为参考图像，参考图像是用于对人脸图像进行图像归类时使用的图像，也就是说，在图像归类过程中，需要比较人脸图像与参考图像之间的相似度，继而对人脸图像进行图像归类。

在图像归类过程中，是针对摄像机采集的人脸图像进行归类，即需要确定人脸图像所属的人脸档案。但是，在实际应用中，摄像机还可以采集大量人体图像，针对摄像机采集的人体图像，则无法对人体图像进行归类。针对上述发现，本申请实施例中提出一种人体图像的归类方法，可以对人体图像进行归类。

参见图2所示，为本申请实施例的系统结构示意图，该系统结构可以包括图像采集单元、网络传输单元、图像归类分析单元、数据存储与管理单元。

其中，图像采集单元可以包括若干个摄像机(如模拟摄像机或者网络摄像机等)，这些摄像机可以采集目标对象(如目标用户)的图像，如人脸图像或者人体图像等。针对每个摄像机，在目标对象处于该摄像机的视野范围时，摄像机可以采集该目标对象的多帧图像，并基于某种算法将这多帧图像识别为同一目标对象的多帧图像，对此过程不做限制。比如说，摄像机可以采集该目标对象的多帧人体图像，将多帧人体图像组成一个人体图像序列，即人体图像序列包括多帧人体图像。或者，摄像机可以采集该目标对象的多帧人脸图像，将多帧人脸图像组成一个人脸图像序列，即人脸图像序列包括多帧人脸图像。

其中，网络传输单元可以包括工业交换机和光纤收发器等，网络传输单元负责构建路口局域网，实现数据传输和数据交换等功能。比如说，网络传输单元可以从图像采集单元获取人体图像序列和/或人脸图像序列，如每个摄像机可以将自身采集的人体图像序列和/或人脸图像序列发送给网络传输单元。网络传输单元可以将人体图像序列和/或人脸图像序列发送给图像归类分析单元。网络传输单元可以将人体图像序列和/或人脸图像序列发送给数据存储与管理单元。

其中，数据存储与管理单元可以包括数据服务器、管理客户端和光纤收发器等，数据存储与管理单元负责存储人体图像序列和/或人脸图像序列。数据存储与管理单元负责对图像采集单元中的各摄像机进行配置和管理。

其中，图像归类分析单元即后端设备，如管理设备、分析设备等，图像归类分析单元用于实现图像归类，如用于实现人脸图像的归类，用于实现人体图像的归类。比如说，图像归类分析单元在接收到人脸图像序列时，可以对人脸图像序列中的多帧人脸图像进行归类。图像归类分析单元在接收到人体图像序列时，可以对人体图像序列中的多帧人体图像进行归类。以下结合具体应用场景，对人脸图像的归类过程和人体图像的归类过程进行说明。

情况一、基于人脸图像序列，图像归类分析单元对人脸图像进行归类。参见图3所示，为人脸图像的归类方法的流程示意图，该方法可以包括：

步骤301、获取目标对象的人脸图像序列，该人脸图像序列包括目标对象的多帧人脸图像，如人脸图像序列包括a1、a2、...、an等n帧人脸图像。

步骤302、从人脸图像序列的所有人脸图像中选取最优人脸图像。

比如说，针对每帧人脸图像，可以从该人脸图像中确定目标对象所在的目标框，基于该目标框对应的至少一种特征信息和每种特征信息对应的权重值，确定该人脸图像对应的分数值；基于每帧人脸图像对应的分数值从多帧人脸图像中选取最优人脸图像，例如，将分数值最大的人脸图像作为最优人脸图像。

在一种可能的实施方式中，该特征信息可以包括但不限于以下至少一种：清晰度、光照、亮度、完整度、俯仰角、姿态、面积、靠近边缘。

针对每帧人脸图像，以人脸图像a1为例，可以确定人脸图像a1中目标对象所在的目标框(即目标矩形框)，并确定该目标框对应的特征信息，如目标框对应的清晰度s1、目标框对应的光照s2、目标框对应的亮度s3、目标框对应的完整度s4、目标框对应的俯仰角s5(即目标框内目标对象的俯仰角)、目标框对应的姿态s6(即目标框内目标对象的姿态)、目标框对应的面积s7、目标框对应的靠近边缘s8中的至少一种特征信息。为了方便描述，后续以确定上述8种特征信息为例。关于清晰度s1、光照s2、亮度s3、完整度s4、俯仰角s5、姿态s6、面积s7、靠近边缘s8的确定方式，本实施例中不做限制，可以是对人脸图像a1进行分析得到，也可以是通过深度学习算法得到，即将人脸图像a1输入给深度学习算法的网络模型，由深度学习算法的网络模型输出上述特征信息。

在得到上述8种特征信息之后，可以采用如下公式确定人脸图像a1对应的分数值；分数值＝w1*s1+w2*s2+w3*s3+w4*s4+w5*s5+w6*s6+w7*s7+w8*s8。在上述公式中，w1用于表示清晰度s1对应的权重值，w2用于表示光照s2对应的权重值，w3用于表示亮度s3对应的权重值，w4用于表示完整度s4对应的权重值，w5用于表示俯仰角s5对应的权重值，w6用于表示姿态s6对应的权重值，w7用于表示面积s7对应的权重值，w8用于表示靠近边缘s8对应的权重值。

关于w1、w2、w3、w4、w5、w6、w7和w8的取值，可以是根据经验配置的取值，也可以采用算法得到w1、w2、w3、w4、w5、w6、w7和w8的取值，对此不做限制。比如说，可以获取多个样本序列，每个样本序列可以包括多帧人脸图像，通过人工方式标定每个样本序列中的最优人脸图像，并采用机器学习方法训练得到w1、w2、w3、w4、w5、w6、w7和w8的取值。当然，上述方式只是示例，对此w1、w2、w3、w4、w5、w6、w7和w8的取值不做限制。

综上所述，可以确定出人脸图像a1对应的分数值，同理，可以确定出人脸图像a2对应的分数值，…，可以确定出人脸图像an对应的分数值。

然后，可以将分数值最大的人脸图像作为最优人脸图像。比如说，假设人脸图像a1对应的分数值最大，则最优人脸图像可以是人脸图像a1。

步骤303、基于最优人脸图像与人脸图像序列中每帧人脸图像之间的初始相似度，从多帧人脸图像中选取候选人脸图像，假设候选人脸图像的总数量为M个，M为大于1的正整数，即从多帧人脸图像中选取出M个候选人脸图像。

比如说，针对人脸图像序列中除最优人脸图像(如人脸图像a1)之外的每帧人脸图像，以人脸图像a2为例，基于人脸图像a1对应的人脸特征与人脸图像a2对应的人脸特征，可以确定人脸图像a1与人脸图像a2之间的初始相似度。

若该初始相似度大于第一相似度阈值τ(可以根据经验进行配置，如τ可以为0.5，对此不做限制)，则将人脸图像a2作为候选人脸图像。若该初始相似度不大于第一相似度阈值，则认为人脸图像a2为错误帧或者不合适帧，错误帧是发生跳变的人脸图像，不合适帧是目标对象被遮挡或截断的人脸图像、或成像质量较差的人脸图像，因此，不将人脸图像a2作为候选人脸图像。

综上所述，在对人脸图像序列中的每帧人脸图像进行上述处理后，就可以从人脸图像序列中选取出候选人脸图像，假设得到M个候选人脸图像。

步骤304、基于最优人脸图像对应的最优人脸特征和候选人脸图像对应的候选人脸特征，建立以该最优人脸特征为中心的第一近邻矩阵。

比如说，将最优人脸图像对应的人脸特征记为最优人脸特征，将候选人脸图像对应的人脸特征记为候选人脸特征，即M个候选人脸图像对应M个候选人脸特征。在此基础上，可以确定最优人脸特征与每个候选人脸特征之间的相似度，即得到M个候选人脸特征对应的M个相似度。基于最优人脸特征与每个候选人脸特征之间的相似度，可以对M个候选人脸特征进行排序；基于排序结果选取相似度大的K个候选人脸特征，K可以为正整数，且K小于或者等于M。

例如，若按照相似度从大到小的顺序对M个候选人脸特征进行排序，则基于排序结果选取排序靠前的K个候选人脸特征。或者，若按照相似度从小到大的顺序对M个候选人脸特征进行排序，则基于排序结果选取排序靠后的K个候选人脸特征。当然，上述排序方式只是示例，对此排序方式不做限制。

在选取出K个候选人脸特征之后，可以将K个候选人脸特征和最优人脸特征组成一个近邻矩阵(即K近邻矩阵)，将该近邻矩阵称为第一近邻矩阵，即第一近邻矩阵包括最优人脸特征和K个候选人脸特征。示例性的，K的取值可以根据经验配置，如K为50时，则第一近邻矩阵包括50个候选人脸特征。

由于是基于最优人脸特征与每个候选人脸特征之间的相似度，选取出K个候选人脸特征，因此，第一近邻矩阵是以该最优人脸特征为中心的近邻矩阵。

步骤305、基于最优人脸图像对应的最优人脸特征和候选人脸图像对应的候选人脸特征，针对每个候选人脸特征(即M个候选人脸特征中的每个候选人脸特征)，建立以该候选人脸特征为中心的第二近邻矩阵。

比如说，假设最优人脸特征为f₀，M个候选人脸特征分别为f₁，...，f_m，在此基础上，针对候选人脸特征f₁，将f₀和f₂，...，f_m作为f₁对应的参考人脸特征。可以确定候选人脸特征f₁与每个参考人脸特征之间的相似度。基于候选人脸特征f₁与每个参考人脸特征之间的相似度，对所有参考人脸特征进行排序；基于排序结果选取相似度大的K个参考人脸特征。例如，若按照相似度从大到小的顺序对所有参考人脸特征进行排序，则选取排序靠前的K个参考人脸特征。或者，若按照相似度从小到大的顺序对所有参考人脸特征进行排序，则选取排序靠后的K个参考人脸特征。在选取出K个参考人脸特征之后，可以将K个参考人脸特征和候选人脸特征f₁组成一个近邻矩阵，该近邻矩阵为候选人脸特征f₁对应的第二近邻矩阵，即第二近邻矩阵包括候选人脸特征f₁和K个参考人脸特征。由于是基于候选人脸特征f₁与每个参考人脸特征之间的相似度，选取出K个参考人脸特征，因此，该第二近邻矩阵是以候选人脸特征f₁中心的近邻矩阵。

针对候选人脸特征f₂，将f₀、f₁和f₃，...，f_m作为f₂对应的参考人脸特征，可以从所有参考人脸特征中选取K个参考人脸特征，并基于候选人脸特征f₂和K个参考人脸特征组成候选人脸特征f₂对应的第二近邻矩阵。以此类推，每个候选人脸特征对应一个第二近邻矩阵，即M个候选人脸特征对应M个第二近邻矩阵。

步骤306、将第一近邻矩阵输入给已训练的目标网络模型，得到第一子特征，并将第二近邻矩阵输入给该目标网络模型，得到第二子特征。示例性的，由于存在M个第二近邻矩阵，因此，需要将每个第二近邻矩阵分别输入给目标网络模型，得到该第二近邻矩阵对应的第二子特征，即得到M个第二子特征。

比如说，目标网络模型可以是N层图卷积网络模型，如8层图卷积网络模型，可以将最优人脸特征f₀对应的第一近邻矩阵输入给图卷积网络模型，由图卷积网络模型对该第一近邻矩阵进行处理，对此处理过程不做限制，得到与最优人脸特征f₀对应的第一子特征

可以将候选人脸特征f₁对应的第二近邻矩阵输入给图卷积网络模型，由图卷积网络模型对该第二近邻矩阵进行处理，得到与候选人脸特征f₁对应的第二子特征

以此类推，可以将候选人脸特征f_m对应的第二近邻矩阵输入给图卷积网络模型，由图卷积网络模型对该第二近邻矩阵进行处理，得到与候选人脸特征f_m对应的第二子特征

综上所述，基于上述第一近邻矩阵和第二近邻矩阵，可以得到如下子特征：

示例性的，参见图4所示，为N层图卷积网络模型的示意图，F^l表示图卷积网络模型的第l层的特征矩阵，W^l表示图卷积网络模型的第l层的权重参数矩阵，σ(·)表示非线性激活函数，

表示拉普拉斯矩阵，且拉普拉斯矩阵的确定方式为：

A为邻接矩阵，即上述实施例的第一近邻矩阵或者第二近邻矩阵，D为邻接矩阵A的度矩阵。当然，在实际应用中，针对图4所示的N层图卷积网络模型，也可以使用邻接矩阵A替换拉普拉斯矩阵

对此不做限制。

基于图4所示的N层图卷积网络模型，可以先对N层图卷积网络模型进行训练，对此N层图卷积网络模型的训练过程不做限制。显然，基于已训练的N层图卷积网络模型，就可以将邻接矩阵A(如第一近邻矩阵或者第二近邻矩阵)输入给N层图卷积网络模型，得到与邻接矩阵A对应的子特征。

步骤307、基于第一子特征和第一子特征对应的第一加权系数、第二子特征和第二子特征对应的第二加权系数，确定融合特征，比如说，可以基于第一加权系数和第二加权系数对该第一子特征和该第二子特征进行加权运算，得到融合特征。示例性的，该第一加权系数可以大于该第二加权系数。

比如说，第一子特征为

第二子特征包括

第一子特征

对应的第一加权系数为α₀，第一加权系数α₀可以根据经验配置，且第一加权系数α₀需要大于每个第二子特征对应的第二加权系数，如第一加权系数α₀为0.5。第二子特征

对应的第二加权系数为α₁，第二加权系数α₁可以根据经验配置，第二子特征

对应的第二加权系数为α₂，第二加权系数α₂可以根据经验配置，以此类推。不同第二子特征对应的第二加权系数可以相同，也可以不同，以不同第二子特征对应的第二加权系数相同为例，则每个第二子特征对应的第二加权系数均为(1-α₀)/m，即m个第二子特征对应的第二加权系数之和为(1-α₀)。显然，若第一加权系数α₀为0.5，则每个第二子特征对应的第二加权系数均为0.5/m。

示例性的，基于第一子特征和第一加权系数、第二子特征和第二加权系数，可以采用如下公式确定融合特征f^*：

当然，上述公式只是一个示例，对此不做限制。在上述公式中，当i为0时，

表示第一子特征，α₀表示第一加权系数，当i为1时，

表示第二子特征，α₁表示

对应的第二加权系数，当i为2时，

表示第二子特征，α₂表示

对应的第二加权系数，以此类推。

综上所述，可以采用加权融合的方式得到表达能力更强的融合特征，在基于融合特征进行人脸识别时，可以显著提升人脸识别效果，归类准确性更高。

步骤308、基于该融合特征对目标对象的人脸图像序列进行归类，即确定该人脸图像序列中的多帧人脸图像所属的人脸档案。比如说，确定该融合特征与任一人脸档案的参考图像的人脸特征之间的相似度，若该相似度大于相似度阈值，则将该人脸图像序列中的多帧人脸图像归类为该人脸档案或者将该人脸图像序列中的最优人脸图像归类为该人脸档案，若该相似度不大于相似度阈值，则不将该人脸图像序列中的多帧人脸图像归类为该人脸档案，也不会将该人脸图像序列中的最优人脸图像归类为该人脸档案，需要继续计算该融合特征与另一人脸档案的参考图像的人脸特征之间的相似度，以此类推，一直到找到该人脸图像序列中的多帧人脸图像所属的人脸档案，或者，所有人脸档案均不是该人脸图像序列中的多帧人脸图像所属的人脸档案。

情况二、基于人体图像序列，图像归类分析单元对人体图像进行归类。比如说，针对摄像机采集的图像来说，该图像可能为人脸图像，也可能为人体图像，还可能同时为人脸图像和人体图像，即同一图像包括人脸区域和人体区域。在此基础上，可以获取目标对象的人体图像序列，该人体图像序列包括目标对象的多帧人体图像，可以从多帧人体图像中选取目标人体图像，目标人体图像包括目标对象的人脸区域，即目标人体图像是包括目标对象的人脸区域的人体图像。然后，从所有人脸档案中选取与该人脸区域对应的人脸特征匹配的目标人脸档案，例如，若该人脸区域对应的人脸特征与某个人脸档案的参考图像的人脸特征之间的相似度大于相似度阈值，则将该人脸档案作为目标人脸档案。

示例性的，在得到目标人体图像之后，还可以确定具有该目标人体图像(该目标人体图像也作为人脸图像)的人脸图像序列。在此基础上，可以确定该人脸图像序列对应的融合特征(即作为目标人体图像中的人脸区域对应的人脸特征)，并基于该融合特征确定该人脸图像序列所属的人脸档案，这个人脸档案作为目标人脸档案，目标人脸档案的确定过程参见图3所示流程。

示例性的，在得到目标人脸档案之后，就可以基于目标人脸档案生成目标对象对应的目标人体档案，并将目标对象的多帧人体图像(即人体图像序列中的多帧人体图像)归类为这个目标人体档案对应的人体图像，或者，将目标对象的多帧人体图像中的最优人体图像归类为这个目标人体档案对应的人体图像。

目标人体档案包括该目标对象的标签(从目标人脸档案中获知)，该目标对象的结构化信息(从目标人脸档案中获知，如身份证号码，手机号码，性别，家庭住址等)，该目标对象的人体图像，人体图像对应的采集时刻和经纬度坐标，表示目标对象在该采集时刻处于该经纬度坐标，对此不做限制。

示例性的，将目标对象的多帧人体图像(即人体图像序列中的多帧人体图像)归类为这个目标人体档案对应的人体图像，或者，将目标对象的最优人体图像归类为这个目标人体档案对应的人体图像之后，还可以将最优人体图像作为该目标人体档案对应的人体封面图像。比如说，若最优人体图像的图像质量比较好，则这个最优人体图像可以作为人体封面图像。

情况三、基于人体图像序列，图像归类分析单元对人体图像进行归类。参见图5所示，为人体图像的归类方法的流程示意图，该方法可以包括：

步骤501、获取目标对象的人体图像序列，该人体图像序列包括目标对象的多帧人体图像，如人体图像序列包括b1、b2、...、bn等n帧人体图像。

步骤502、从人体图像序列的所有人体图像中选取最优人体图像。

比如说，针对每帧人体图像，可以从该人体图像中确定目标对象所在的目标框，基于该目标框对应的至少一种特征信息和每种特征信息对应的权重值，确定该人体图像对应的分数值；基于每帧人体图像对应的分数值从多帧人体图像中选取最优人体图像，例如，将分数值最大的人体图像作为最优人体图像。

在一种可能的实施方式中，该特征信息可以包括但不限于以下至少一种：清晰度、光照、亮度、完整度、俯仰角、姿态、面积、靠近边缘。

针对每帧人体图像，以人体图像b1为例，可以确定人体图像b1中目标对象所在的目标框(即目标矩形框)，并确定该目标框对应的特征信息，如目标框对应的清晰度s1、目标框对应的光照s2、目标框对应的亮度s3、目标框对应的完整度s4、目标框对应的俯仰角s5(即目标框内目标对象的俯仰角)、目标框对应的姿态s6(即目标框内目标对象的姿态)、目标框对应的面积s7、目标框对应的靠近边缘s8中的至少一种特征信息。为了方便描述，以确定上述8种特征信息为例。关于清晰度s1、光照s2、亮度s3、完整度s4、俯仰角s5、姿态s6、面积s7、靠近边缘s8的确定方式，本实施例中不做限制，可以是对人体图像b1进行分析得到，也可以是通过深度学习算法得到，即将人体图像b1输入给深度学习算法的网络模型，由深度学习算法的网络模型输出上述特征信息。

在得到上述8种特征信息之后，可以采用如下公式确定人体图像b1对应的分数值；分数值＝w1*s1+w2*s2+w3*s3+w4*s4+w5*s5+w6*s6+w7*s7+w8*s8。在上述公式中，w1用于表示清晰度s1对应的权重值，w2用于表示光照s2对应的权重值，w3用于表示亮度s3对应的权重值，w4用于表示完整度s4对应的权重值，w5用于表示俯仰角s5对应的权重值，w6用于表示姿态s6对应的权重值，w7用于表示面积s7对应的权重值，w8用于表示靠近边缘s8对应的权重值。

关于w1、w2、w3、w4、w5、w6、w7和w8的取值，可以是根据经验配置的取值，也可以采用算法得到w1、w2、w3、w4、w5、w6、w7和w8的取值，对此不做限制。比如说，可以获取多个样本序列，每个样本序列可以包括多帧人体图像，通过人工方式标定每个样本序列中的最优人体图像，并采用机器学习方法训练得到w1、w2、w3、w4、w5、w6、w7和w8的取值。当然，上述方式只是示例，对此w1、w2、w3、w4、w5、w6、w7和w8的取值不做限制。

综上所述，可以确定出人体图像b1对应的分数值，同理，可以确定出人体图像b2对应的分数值，…，可以确定出人体图像bn对应的分数值。

然后，可以将分数值最大的人体图像作为最优人体图像。比如说，假设人体图像b1对应的分数值最大，则最优人体图像可以是人体图像b1。

步骤503、基于最优人体图像与人体图像序列中每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像，假设候选人体图像的总数量为M个，M为大于1的正整数，即从多帧人体图像中选取出M个候选人体图像。

比如说，针对人体图像序列中除最优人体图像(如人体图像b1)之外的每帧人体图像，以人体图像b2为例，基于人体图像b1对应的人体特征与人体图像b2对应的人体特征，可以确定人体图像b1与人体图像b2之间的初始相似度。

若该初始相似度大于第一相似度阈值τ(可以根据经验进行配置，如τ可以为0.5，对此不做限制)，则将人体图像b2作为候选人体图像。若该初始相似度不大于第一相似度阈值，则认为人体图像b2为错误帧或者不合适帧，错误帧是发生跳变的人体图像，不合适帧是目标对象被遮挡或截断的人体图像、或成像质量较差的人体图像，因此，不将人体图像b2作为候选人体图像。

综上所述，在对人体图像序列中的每帧人体图像进行上述处理后，就可以从人体图像序列中选取出候选人体图像，假设得到M个候选人体图像。

步骤504、基于最优人体图像对应的最优人体特征和候选人体图像对应的候选人体特征，建立以该最优人体特征为中心的第一近邻矩阵。

比如说，将最优人体图像对应的人体特征记为最优人体特征，将候选人体图像对应的人体特征记为候选人体特征，即M个候选人体图像对应M个候选人体特征。在此基础上，可以确定最优人体特征与每个候选人体特征之间的相似度，即得到M个候选人体特征对应的M个相似度。基于最优人体特征与每个候选人体特征之间的相似度，可以对M个候选人体特征进行排序；基于排序结果选取相似度大的K个候选人体特征，K可以为正整数，且K小于或者等于M。

例如，若按照相似度从大到小的顺序对M个候选人体特征进行排序，则基于排序结果选取排序靠前的K个候选人体特征。或者，若按照相似度从小到大的顺序对M个候选人体特征进行排序，则基于排序结果选取排序靠后的K个候选人体特征。当然，上述排序方式只是示例，对此排序方式不做限制。

在选取出K个候选人体特征之后，可以将K个候选人体特征和最优人体特征组成一个近邻矩阵(即K近邻矩阵)，将该近邻矩阵称为第一近邻矩阵，即第一近邻矩阵包括最优人体特征和K个候选人体特征。示例性的，K的取值可以根据经验配置，如K为50时，则第一近邻矩阵包括50个候选人体特征。

由于是基于最优人体特征与每个候选人体特征之间的相似度，选取出K个候选人体特征，因此，第一近邻矩阵是以该最优人体特征为中心的近邻矩阵。

步骤505、基于最优人体图像对应的最优人体特征和候选人体图像对应的候选人体特征，针对每个候选人体特征(即M个候选人体特征中的每个候选人体特征)，建立以该候选人体特征为中心的第二近邻矩阵。

比如说，假设最优人体特征为f₀，M个候选人体特征分别为f₁，...，f_m，在此基础上，针对候选人体特征f₁，将f₀和f₂，...，f_m作为f₁对应的参考人体特征。可以确定候选人体特征f₁与每个参考人体特征之间的相似度。基于候选人体特征f₁与每个参考人体特征之间的相似度，对所有参考人体特征进行排序；基于排序结果选取相似度大的K个参考人体特征。例如，若按照相似度从大到小的顺序对所有参考人体特征进行排序，则选取排序靠前的K个参考人体特征。或者，若按照相似度从小到大的顺序对所有参考人体特征进行排序，则选取排序靠后的K个参考人体特征。在选取出K个参考人体特征之后，可以将K个参考人体特征和候选人体特征f₁组成一个近邻矩阵，该近邻矩阵为候选人体特征f₁对应的第二近邻矩阵，即第二近邻矩阵包括候选人体特征f₁和K个参考人体特征。由于是基于候选人体特征f₁与每个参考人体特征之间的相似度，选取出K个参考人体特征，因此，该第二近邻矩阵是以候选人体特征f₁中心的近邻矩阵。

针对候选人体特征f₂，将f₀、f₁和f₃，...，f_m作为f₂对应的参考人体特征，可以从所有参考人体特征中选取K个参考人体特征，并基于候选人体特征f₂和K个参考人体特征组成候选人体特征f₂对应的第二近邻矩阵。以此类推，每个候选人体特征对应一个第二近邻矩阵，即M个候选人体特征对应M个第二近邻矩阵。

步骤506、将第一近邻矩阵输入给已训练的目标网络模型，得到第一子特征，并将第二近邻矩阵输入给该目标网络模型，得到第二子特征。示例性的，由于存在M个第二近邻矩阵，因此，需要将每个第二近邻矩阵分别输入给目标网络模型，得到该第二近邻矩阵对应的第二子特征，即得到M个第二子特征。

比如说，目标网络模型可以是N层图卷积网络模型，如8层图卷积网络模型，可以将最优人体特征f₀对应的第一近邻矩阵输入给图卷积网络模型，由图卷积网络模型对该第一近邻矩阵进行处理，对此处理过程不做限制，得到与最优人体特征f₀对应的第一子特征

可以将候选人体特征f₁对应的第二近邻矩阵输入给图卷积网络模型，由图卷积网络模型对该第二近邻矩阵进行处理，得到与候选人体特征f₁对应的第二子特征

以此类推，可以将候选人体特征f_m对应的第二近邻矩阵输入给图卷积网络模型，由图卷积网络模型对该第二近邻矩阵进行处理，得到与候选人体特征f_m对应的第二子特征

综上所述，基于上述第一近邻矩阵和第二近邻矩阵，可以得到如下子特征：

步骤507、基于第一子特征和第一子特征对应的第一加权系数、第二子特征和第二子特征对应的第二加权系数，确定融合特征，比如说，可以基于第一加权系数和第二加权系数对该第一子特征和该第二子特征进行加权运算，得到融合特征。示例性的，该第一加权系数可以大于该第二加权系数。

比如说，第一子特征为

第二子特征包括

第一子特征

对应的第一加权系数为α₀，第一加权系数α₀可以根据经验配置，且第一加权系数α₀需要大于每个第二子特征对应的第二加权系数，如第一加权系数α₀为0.5。第二子特征

对应的第二加权系数为α₁，第二加权系数α₁可以根据经验配置，第二子特征

对应的第二加权系数为α₂，第二加权系数α₂可以根据经验配置，以此类推。不同第二子特征对应的第二加权系数可以相同，也可以不同，以不同第二子特征对应的第二加权系数相同为例，则每个第二子特征对应的第二加权系数均为(1-α₀)/m，即m个第二子特征对应的第二加权系数之和为(1-α₀)。显然，若第一加权系数α₀为0.5，则每个第二子特征对应的第二加权系数均为0.5/m。

示例性的，基于第一子特征和第一加权系数、第二子特征和第二加权系数，可以采用如下公式确定融合特征f^*：

当然，上述公式只是一个示例，对此不做限制。在上述公式中，当i为0时，

表示第一子特征，α₀表示第一加权系数，当i为1时，

表示第二子特征，α₁表示

对应的第二加权系数，当i为2时，

表示第二子特征，α₂表示

对应的第二加权系数，以此类推。

综上所述，可以采用加权融合的方式得到表达能力更强的融合特征，在基于融合特征进行人体识别时，可以显著提升人体识别效果，归类准确性更高。

步骤508、基于已创建的每个人体档案对应的人体封面图像，确定该融合特征与该人体封面图像对应的封面特征之间的目标相似度。

比如说，可以预先创建多个人体档案，如采用情况二创建人体档案，也可以采用其它方式创建人体档案，对此人体档案的创建方式不做限制。

针对已创建的每个人体档案，该人体档案可以对应至少一个人体封面图像，假设该人体档案对应N个人体封面图像，且N为正整数，则可以确定该融合特征与每个人体封面图像对应的封面特征之间的目标相似度，即得到N个目标相似度，也就是说，该人体档案可以对应N个目标相似度。

比如说，人体档案1对应人体封面图像11、人体封面图像12和人体封面图像13，即N的取值为3，则确定融合特征与人体封面图像11对应的封面特征(将人体封面图像对应的人体特征称为封面特征)之间的目标相似度，确定融合特征与人体封面图像12对应的封面特征之间的目标相似度，确定融合特征与人体封面图像13对应的封面特征之间的目标相似度，即人体档案11可以对应3个目标相似度。又例如，人体档案2对应人体封面图像21、人体封面图像22、人体封面图像23和人体封面图像24，即N的取值为4，则确定融合特征与人体封面图像21对应的封面特征之间的目标相似度，确定融合特征与人体封面图像22对应的封面特征之间的目标相似度，确定融合特征与人体封面图像23对应的封面特征之间的目标相似度，确定融合特征与人体封面图像24对应的封面特征之间的目标相似度，即人体档案12可以对应4个目标相似度，以此类推。

步骤509、基于目标相似度从所有人体档案中选取目标人体档案，并将目标对象的最优人体图像归类为目标人体档案对应的人体图像，或者将目标对象的多帧人体图像均归类为目标人体档案对应的人体图像，即对目标对象的最优人体图像序列进行归类，确定该最优人体图像所属的目标人体档案。

示例性的，针对每个人体档案，可以得到该人体档案对应的N个目标相似度(参见步骤508)，基于该人体档案对应的N个目标相似度，可以统计目标相似度大于第二相似度阈值的第一数量、目标相似度大于第三相似度阈值的第二数量。基于第一数量和第一数量的权重值、第二数量和第二数量的权重值，确定该人体档案对应的目标数量；其中，若该第三相似度阈值大于该第二相似度阈值，则第二数量的权重值可以大于第一数量的权重值。在此基础上，可以基于每个人体档案对应的目标数量从所有人体档案中选取目标人体档案。

比如说，可以预先配置第二相似度阈值T1和第三相似度阈值T2，第二相似度阈值T1和第三相似度阈值T2均可以根据经验配置，对此不做限制，第三相似度阈值T2可以大于第二相似度阈值T1，且第二相似度阈值T1可以大于第一相似度阈值。比如说，第三相似度阈值T2为0.95，第二相似度阈值T1为0.8。

比如说，可以预先配置第一数量的权重值(记为权重值α1)，并配置第二数量的权重值(记为权重值α2)，权重值α1和权重值α2均可以根据经验配置，对此不做限制，且权重值α2大于权重值α1，且权重值α2与权重值α1之和为1。比如说，权重值α2可以为0.7或0.8，权重值α1可以为0.3或0.2。

人体档案11对应3个目标相似度，可以统计目标相似度大于第二相似度阈值T1的第一数量，假设3个目标相似度均大于第二相似度阈值T1，则第一数量为3，并统计目标相似度大于第三相似度阈值T2的第二数量，假设只有1个目标相似度大于第三相似度阈值T2，则第二数量为1。然后，基于第一数量和权重值α1、第二数量和权重值α2、以及人体档案11对应的人体封面图像的总数量N(即人体档案11对应的目标相似度的总数量3)确定人体档案11对应的目标数量。比如说，可以采用如下公式确定目标数量：S＝(α1×S₁+α2×S2)÷N。

在上述公式中，S表示人体档案11对应的目标数量，S₁表示第一数量，S2表示第二数量，N表示人体档案11对应的人体封面图像的总数量。通过除以人体封面图像的总数量N，避免N的取值越大时，导致目标数量S越大的问题。

人体档案12对应4个目标相似度，可以统计目标相似度大于第二相似度阈值T1的第一数量，统计目标相似度大于第三相似度阈值T2的第二数量。基于第一数量和权重值α1、第二数量和权重值α2、人体档案12对应的人体封面图像的总数量N(即4)确定人体档案12对应的目标数量，确定方式参见上述公式。

综上所述，可以得到每个人体档案对应的目标数量，然后，可以将目标数量最大的人体档案作为目标人体档案，并将人体图像序列中的最优人体图像归类为该目标人体档案对应的人体图像，即完成人体图像序列的归类过程。

示例性的，将人体图像序列中的最优人体图像归类为该目标人体档案对应的人体图像之后，还可以将最优人体图像作为该目标人体档案对应的人体封面图像。比如说，若最优人体图像的质量比较好，则这个最优人体图像可以作为人体封面图像，若最优人体图像的质量比较差，则这个最优人体图像不作为人体封面图像，对此过程不做限制。

由以上技术方案可见，本申请实施例中，可以基于目标对象的多帧人体图像确定目标人体档案，并将目标对象的最优人体图像归类为该目标人体档案对应的人体图像，从而对人体图像进行归类，提升人员归类效果，提升人体识别效果，提高图像归类的准确性和普适性，协作实现人员归档的智能分析，可以快速从海量图像中获取有用的信息。通过最优帧图像、图卷积多帧特征融合、人脸人体关联信息等方式，提升人员归档效果。最优帧图像利用清晰度、光照、亮度、完整度、俯仰角、姿态、面积、靠近边缘等属性，融合成代表质量的分数，选择分数最优的一张作为最优帧图像。通过选取最优帧图像以及与最优帧图像较相似的K帧候选图像以图卷积方式进行融合，得到融合后的特征提升人体或人脸识别效果。将归档人体归进与其相似比例最高的封面档案。

基于与上述方法同样的申请构思，本申请实施例中提出一种人体图像的归类装置，参见图6所示，为所述装置的结构示意图，所述装置可以包括：

获取模块61，用于从目标对象的多帧人体图像中选取最优人体图像，基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像；确定模块62，用于基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征；基于已创建的每个人体档案对应的人体封面图像，确定所述融合特征与该人体封面图像对应的封面特征之间的目标相似度；归类模块63，用于基于所述目标相似度从所有人体档案中选取目标人体档案，并将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像。

示例性的，所述获取模块61从目标对象的多帧人体图像中选取最优人体图像时具体用于：针对所述目标对象的每帧人体图像，从所述人体图像中确定所述目标对象所在的目标框，基于所述目标框对应的至少一种特征信息和每种特征信息对应的权重值，确定所述人体图像对应的分数值；所述特征信息包括以下至少一种：清晰度、光照、亮度、完整度、俯仰角、姿态、面积、靠近边缘；基于每帧人体图像对应的分数值从所述多帧人体图像中选取最优人体图像。

示例性的，所述获取模块61基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像时具体用于：针对所述多帧人体图像中除所述最优人体图像之外的每帧人体图像，确定所述最优人体图像与该人体图像之间的初始相似度；若所述初始相似度大于第一相似度阈值，则将该人体图像选取为所述候选人体图像，或者，若所述初始相似度不大于所述第一相似度阈值，则禁止将该人体图像选取为所述候选人体图像。

示例性的，所述确定模块62基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征时具体用于：基于所述最优人体特征和所述候选人体特征，建立以所述最优人体特征为中心的第一近邻矩阵，建立以所述候选人体特征为中心的第二近邻矩阵；将所述第一近邻矩阵输入给已训练的目标网络模型，得到第一子特征，将所述第二近邻矩阵输入给所述目标网络模型，得到第二子特征；基于所述第一子特征和第一加权系数、所述第二子特征和第二加权系数，确定所述融合特征；其中，所述第一加权系数大于所述第二加权系数。

示例性的，候选人体图像的总数量为M个，M为大于1的正整数，M个候选人体图像对应M个候选人体特征；所述确定模块62基于所述最优人体特征和所述候选人体特征，建立以最优人体特征为中心的第一近邻矩阵，建立以所述候选人体特征为中心的第二近邻矩阵时具体用于：基于所述最优人体特征与每个候选人体特征的相似度，对M个候选人体特征进行排序；基于排序结果选取相似度大的K个候选人体特征；基于所述最优人体特征和所述K个候选人体特征建立所述第一近邻矩阵；针对每个候选人体特征，基于该候选人体特征与每个参考人体特征的相似度，对所有参考人体特征进行排序，所有参考人体特征包括所述最优人体特征和M个候选人体特征中除该候选人体特征之外的剩余候选人体特征；基于排序结果选取相似度大的K个参考人体特征；基于该候选人体特征和所述K个参考人体特征建立与该候选人体特征对应的第二近邻矩阵。

示例性的，若人体档案对应N个人体封面图像，且N为正整数，则该人体档案对应N个目标相似度；所述归类模块63基于所述目标相似度从所有人体档案中选取目标人体档案时具体用于：针对每个人体档案，基于该人体档案对应的N个目标相似度，统计目标相似度大于第二相似度阈值的第一数量、目标相似度大于第三相似度阈值的第二数量；基于所述第一数量和第一数量的权重值、所述第二数量和第二数量的权重值，确定该人体档案对应的目标数量；第三相似度阈值大于第二相似度阈值，所述第二数量的权重值大于所述第一数量的权重值；基于每个人体档案对应的目标数量从所有人体档案中选取目标人体档案。

示例性的，所述归类模块63，还用于从所述目标对象的多帧人体图像中选取目标人体图像，所述目标人体图像包括所述目标对象的人脸区域；从所有人脸档案中选取与所述人脸区域对应的人脸特征匹配的目标人脸档案，基于所述目标人脸档案生成所述目标对象对应的目标人体档案，并将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像。

示例性的，所述归类模块63将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像之后还用于：将所述最优人体图像作为所述目标人体档案对应的人体封面图像。

基于与上述方法同样的申请构思，本申请实施例中提出一种后端设备，参见图7所示，后端设备包括处理器71和机器可读存储介质72，所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令；所述处理器71用于执行机器可执行指令，以实现申请上述示例公开的人体图像的归类方法。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的人体图像的归类方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种人体图像的归类方法，其特征在于，所述方法包括：

从目标对象的多帧人体图像中选取最优人体图像，基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像；

基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征；

基于已创建的每个人体档案对应的人体封面图像，确定所述融合特征与该人体封面图像对应的封面特征之间的目标相似度；

基于所述目标相似度从所有人体档案中选取目标人体档案，并将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像。

2.根据权利要求1所述的方法，其特征在于，

所述从目标对象的多帧人体图像中选取最优人体图像，包括：

针对所述目标对象的每帧人体图像，从所述人体图像中确定所述目标对象所在的目标框，基于所述目标框对应的至少一种特征信息和每种特征信息对应的权重值，确定所述人体图像对应的分数值；其中，所述特征信息包括以下至少一种：清晰度、光照、亮度、完整度、俯仰角、姿态、面积、靠近边缘；

基于每帧人体图像对应的分数值从所述多帧人体图像中选取最优人体图像。

3.根据权利要求1所述的方法，其特征在于，

所述基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像，包括：

针对所述多帧人体图像中除所述最优人体图像之外的每帧人体图像，确定所述最优人体图像与该人体图像之间的初始相似度；若所述初始相似度大于第一相似度阈值，则将该人体图像选取为候选人体图像，若所述初始相似度不大于第一相似度阈值，则禁止将该人体图像选取为候选人体图像。

4.根据权利要求1所述的方法，其特征在于，

所述基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征，包括：

基于所述最优人体特征和所述候选人体特征，建立以所述最优人体特征为中心的第一近邻矩阵，建立以所述候选人体特征为中心的第二近邻矩阵；

将所述第一近邻矩阵输入给已训练的目标网络模型，得到第一子特征，将所述第二近邻矩阵输入给所述目标网络模型，得到第二子特征；

基于所述第一子特征和第一加权系数、所述第二子特征和第二加权系数，确定所述融合特征；其中，所述第一加权系数大于所述第二加权系数。

5.根据权利要求4所述的方法，其特征在于，候选人体图像的总数量为M个，M为大于1的正整数，M个候选人体图像对应M个候选人体特征；所述基于所述最优人体特征和所述候选人体特征，建立以所述最优人体特征为中心的第一近邻矩阵，建立以所述候选人体特征为中心的第二近邻矩阵，包括：

基于所述最优人体特征与每个候选人体特征的相似度，对M个候选人体特征进行排序；基于排序结果选取相似度大的K个候选人体特征；基于所述最优人体特征和所述K个候选人体特征建立所述第一近邻矩阵；

针对每个候选人体特征，基于该候选人体特征与每个参考人体特征的相似度，对所有参考人体特征进行排序，其中，所有参考人体特征包括所述最优人体特征和M个候选人体特征中除该候选人体特征之外的剩余候选人体特征；基于排序结果选取相似度大的K个参考人体特征；基于该候选人体特征和所述K个参考人体特征建立与该候选人体特征对应的第二近邻矩阵。

6.根据权利要求1所述的方法，其特征在于，若人体档案对应N个人体封面图像，且N为正整数，则该人体档案对应N个目标相似度；

所述基于所述目标相似度从所有人体档案中选取目标人体档案，包括：

针对每个人体档案，基于该人体档案对应的N个目标相似度，统计目标相似度大于第二相似度阈值的第一数量、目标相似度大于第三相似度阈值的第二数量；基于所述第一数量和第一数量的权重值、所述第二数量和第二数量的权重值，确定该人体档案对应的目标数量；其中，若第三相似度阈值大于第二相似度阈值，则所述第二数量的权重值大于所述第一数量的权重值；

基于每个人体档案对应的目标数量从所有人体档案中选取目标人体档案。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：从所述目标对象的多帧人体图像中选取目标人体图像，所述目标人体图像包括所述目标对象的人脸区域；从所有人脸档案中选取与所述人脸区域对应的人脸特征匹配的目标人脸档案，基于所述目标人脸档案生成所述目标对象对应的目标人体档案，将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像；

其中，所述将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像之后，所述方法还包括：将所述最优人体图像作为所述目标人体档案对应的人体封面图像。

8.一种人体图像的归类装置，其特征在于，所述装置包括：获取模块，用于从目标对象的多帧人体图像中选取最优人体图像，基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像；

确定模块，用于基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征；基于已创建的每个人体档案对应的人体封面图像，确定所述融合特征与该人体封面图像对应的封面特征之间的目标相似度；

归类模块，用于基于所述目标相似度从所有人体档案中选取目标人体档案，并将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像。

9.根据权利要求8所述的装置，其特征在于，

其中，所述获取模块从目标对象的多帧人体图像中选取最优人体图像时具体用于：针对所述目标对象的每帧人体图像，从所述人体图像中确定所述目标对象所在的目标框，基于所述目标框对应的至少一种特征信息和每种特征信息对应的权重值，确定所述人体图像对应的分数值；其中，所述特征信息包括以下至少一种：清晰度、光照、亮度、完整度、俯仰角、姿态、面积、靠近边缘；基于每帧人体图像对应的分数值从所述多帧人体图像中选取最优人体图像；

其中，所述获取模块基于所述最优人体图像与每帧人体图像之间的初始相似度，从多帧人体图像中选取候选人体图像时具体用于：针对所述多帧人体图像中除所述最优人体图像之外的每帧人体图像，确定所述最优人体图像与该人体图像之间的初始相似度；若所述初始相似度大于第一相似度阈值，则将该人体图像选取为所述候选人体图像，或者，若所述初始相似度不大于所述第一相似度阈值，则禁止将该人体图像选取为所述候选人体图像；

其中，所述确定模块基于所述最优人体图像对应的最优人体特征和所述候选人体图像对应的候选人体特征，确定所述目标对象的多帧人体图像对应的融合特征时具体用于：基于所述最优人体特征和所述候选人体特征，建立以所述最优人体特征为中心的第一近邻矩阵，建立以所述候选人体特征为中心的第二近邻矩阵；将所述第一近邻矩阵输入给已训练的目标网络模型，得到第一子特征，将所述第二近邻矩阵输入给所述目标网络模型，得到第二子特征；基于所述第一子特征和第一加权系数、所述第二子特征和第二加权系数，确定所述融合特征；其中，所述第一加权系数大于所述第二加权系数；

其中，候选人体图像的总数量为M个，M为大于1的正整数，M个候选人体图像对应M个候选人体特征；所述确定模块基于所述最优人体特征和所述候选人体特征，建立以所述最优人体特征为中心的第一近邻矩阵，建立以所述候选人体特征为中心的第二近邻矩阵时具体用于：基于所述最优人体特征与每个候选人体特征的相似度，对M个候选人体特征进行排序；基于排序结果选取相似度大的K个候选人体特征；基于所述最优人体特征和所述K个候选人体特征建立所述第一近邻矩阵；针对每个候选人体特征，基于该候选人体特征与每个参考人体特征的相似度，对所有参考人体特征进行排序，所有参考人体特征包括所述最优人体特征和M个候选人体特征中除该候选人体特征之外的剩余候选人体特征；基于排序结果选取相似度大的K个参考人体特征；基于该候选人体特征和所述K个参考人体特征建立与该候选人体特征对应的第二近邻矩阵；

其中，若人体档案对应N个人体封面图像，且N为正整数，则该人体档案对应N个目标相似度；所述归类模块基于所述目标相似度从所有人体档案中选取目标人体档案时具体用于：针对每个人体档案，基于该人体档案对应的N个目标相似度，统计目标相似度大于第二相似度阈值的第一数量、目标相似度大于第三相似度阈值的第二数量；基于所述第一数量和第一数量的权重值、所述第二数量和第二数量的权重值，确定该人体档案对应的目标数量；第三相似度阈值大于第二相似度阈值，所述第二数量的权重值大于所述第一数量的权重值；基于每个人体档案对应的目标数量从所有人体档案中选取目标人体档案；

其中，所述归类模块，还用于从所述目标对象的多帧人体图像中选取目标人体图像，所述目标人体图像包括所述目标对象的人脸区域；从所有人脸档案中选取与所述人脸区域对应的人脸特征匹配的目标人脸档案，基于所述目标人脸档案生成所述目标对象对应的目标人体档案，并将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像；

其中，所述归类模块将所述目标对象的最优人体图像归类为所述目标人体档案对应的人体图像之后还用于：将所述最优人体图像作为所述目标人体档案对应的人体封面图像。

10.一种后端设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-7任一项所述的方法步骤。

Images