CN112686141A - 人员归档方法、装置及电子设备 - Google Patents

Abstract

本申请提供一种人员归档方法、装置及电子设备，该方法包括：对于档案数据库中任一标识ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；利用预先训练的多个特征提取模型，分别对所述过滤后的图像进行特征提取，以得到多种不同类型的特征；分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心；依据所述多个聚类中心生成档案封面，并依据所述档案封面进行人员归档。该方法可以提高归档的准确率和召回率。

Description

人员归档方法、装置及电子设备

技术领域

本申请涉及人工智能技术领域，尤其涉及的是一种人员归档方法、装置及电子设备。

背景技术

在视频监控领域，对特定人员进行跟踪，以及发现区域内的陌生人等功能逐渐成为关键需求。通过对已知身份的人建立一个人员档案，而监控中出现的人，需要对其进行一次档案查询，来确定其是要找的人或者是未在档案中的人(即陌生人)。若是档案中的人员，则归入目标ID(标识)下，若不是，则归入陌生人中。

在归档时一个重要的判断依据就是查询图与档案封面的相似程度，档案封面直接会影响到归档系统的性能。通过抓拍采集的图片质量参差不齐，会有模糊、不完整等情况出现，若所有的图片都可以参与档案封面的计算，会对查询图片的归档产生不利影响。此外，用聚类中心作为档案封面的方法虽然能够一定程度上避免噪声数据的不利影响，但是同一人员可能由于朝向、姿态等变化较大，单一特征的聚类中心不能够充分代表此人，封面需要更加丰富的数据。

发明内容

有鉴于此，本申请提供一种人员归档方法、装置及电子设备。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种人员归档方法，包括：

对于档案数据库中任一标识ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；其中，所述多个不同维度用于表征图像中的人员成像质量；

利用预先训练的多个特征提取模型，分别对所述过滤后的图像进行特征提取，以得到多种不同类型的特征；其中，不同特征提取模型用于提取不同类型的特征，所述多种不同类型的特征用于唯一标识一个人员；

分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心；其中，一种类型的特征对应至少一个聚类中心；

依据所述多个聚类中心生成档案封面，并依据所述档案封面进行人员归档。

根据本申请实施例的第二方面，提供一种人员归档装置，包括：

评分处理单元，用于对于档案数据库中任一标识ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；其中，所述多个不同维度用于表征图像中的人员成像质量；

特征提取单元，用于利用预先训练的多个特征提取模型，分别对所述过滤后的图像进行特征提取，以得到多种不同类型的特征；其中，不同特征提取模型用于提取不同类型的特征，所述多种不同类型的特征用于唯一标识一个人员；

聚类单元，用于分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心；其中，一种类型的特征对应至少一个聚类中心；

归档处理单元，用于依据所述多个聚类中心生成档案封面，并依据所述档案封面进行人员归档。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现上述人员归档方法。

根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述人员归档方法。

本申请实施例具有以下有益效果：

通过对于档案数据库中任一标识ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；利用预先训练的多个特征提取模型，分别对过滤后的图像进行特征提取，以得到多种不同类型的特征，并分别对多种不同类型的特征进行聚类，以得到多种不同类型的特征对应的多个聚类中心，进而，依据多个聚类中心生成档案封面，并依据所生成的档案封面进行人员归档，保证了档案封面的丰富程度，提高了归档的准确率和召回率。

附图说明

图1是本申请一实施例提供的一种人员归档方法的流程示意图；

图2是本申请一实施例提供的一种依据档案封面进行人员归档的流程示意图；

图3A是本申请一实施例提供的一种档案封面建立模块的功能示意图；

图3B是本申请一实施例提供的一种查询归档模块的功能示意图；

图3C是本申请一实施例提供的一种封面更新模块的功能示意图；

图4A是本申请一实施例提供的一种档案封面建立模块的运行流程示意图；

图4B是本申请一实施例提供的一种图像评分方法流程示意图；

图4C是本申请一实施例提供的一种档案封面建立的流程示意图；

图4D是本申请一实施例提供的一种封面查询的流程示意图；

图4E是本申请一实施例提供的一种封面更新的流程示意图；

图5是本申请一实施例提供的一种人员归档装置的结构示意图；

图6是本申请示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本申请范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面对本申请实施例的人员归档方法进行更具体的描述，但不应以此为限。

请参见图1，为本申请实施例提供的一种人员归档方法的流程示意图，如图1所示，该人员归档方法可以包括以下步骤：

步骤S100、对于档案数据库中任一ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；其中，该多个不同维度用于表征图像中的人员成像质量。

本申请实施例中，为了提高人员归档的准确性，在建立档案封面时，可以依据图像中的人员成像质量对图像进行评分，并过滤掉质量较差(即评分较低)的图像。

示例性的，可以从多个不同维度对图像进行评分，该多个维度用于表征图像中的人员成像质量。

示例性的，该多个维度可以包括但不限于图像清晰度、遮挡程度、人员朝向等影响图像中人员成像质量的因素。

示例性的，为了实现图像质量评分，可以采用深度学习算法，训练评分模型，并利用训练好的评分模型对档案数据库中的图像进行评分。

对于档案数据库中的任一ID，可以利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，得到过滤后的图像。

在一个示例中，上述评分模型输出的评分可以包括不同维度的多个评分，如，一个维度对应一个评分，从而，可以分别将各维度的评分与对应的评分阈值进行比较，当图像的任一维度的评分低于评分阈值时，剔除该图像，提高图像剔除的精细度，进一步提高人员归档的准确性。

在另一示例中，上述评分模型输出的评分可以包括多个不同维度的综合评分，从而，可以将该多个维度的综合评分与预设的评分阈值进行比较，当图像的综合评分低于评分阈值时，剔除该图像，提高图像剔除的效率。

在又一个示例中，上述评分模型输出的评分可以包括不同维度的多个评分，以及该多个维度的综合评分，当图像的任一维度的评分低于对应的评分阈值(各维度均可以设置对应的评分阈值)，或/和，图像的综和评分低于评分阈值(综合评分可以设置专门的评分阈值)时，剔除该图像，更大程度地提高图像剔除的精细度，进一步提高人员归档的准确性。

步骤S110、利用预先训练的多个特征提取模型，分别对过滤后的图像进行特征提取，以得到多种不同类型的特征，其中，该不同特征提取模型用于提取不同类型的特征，该多种不同类型的特征用于唯一标识一个人员。

本申请实施例中，为了提高人员归档的准确性，在构建档案封面时，可以通过多种不同类型的特征对人员进行标识。

示例性的，该多种不同类型的特征可以包括但不限于人脸、人体、步态等。

示例性的，为了实现图像特征提取，可以预先训练多个特征提取模型，分别用于提取不同类型的特征。

对于按照步骤S100中描述的方式得到的过滤后的图像，可以利用训练好的多个特征提取模型，分别对过滤后的图像进行特征提取，以得到多种不同类型的特征。

步骤S120、分别对多种不同类型的特征进行聚类，以得到该多种不同类型的特征对应的多个聚类中心；其中，一个类型的特征对应至少一个聚类中心。

本申请实施例中，当按照步骤S110中描述的方式提取到了过滤后的图像的多种不同类型的特征时，可以分别对该多种不同类型的特征进行聚类，以得到多种不同类型的特征对应的多个聚类中心。

示例性的，一种类型的特征对应至少一个聚类中心，即一种类型的特征可以对应一个聚类中心或多个聚类中心。

步骤S130、依据该多个聚类中心生成档案封面，并依据该档案封面进行人员归档。

本申请实施例中，对于档案数据库中任一ID，可以按照步骤S100～步骤S120中描述的方式得到多个聚类中心，进而，可以依据该多个聚类中心生成档案封面，并依据该档案封面进行人员归档。

可见，在图1所示方法流程中，通过对档案数据库中的采集数据中的图像进行评分，并依据图像的评分对图像进行过滤，保证了用于构建档案封面的图像的质量；对于过滤后的图像，通过提取过滤后的图像的多种不同类型的特征，并分别对多种不同类型的特征进行聚类，得到多种不同类型的特征对应的多个聚类中心，进而，依据该多个聚类中心生成档案封面，并依据该档案封面进行人员归档，保证了档案封面的丰富程度，提高了归档的准确率和召回率。

在一些实施例中，步骤S120中，分别对多种不同类型的特征进行聚类，以得到多种不同类型的特征对应的多个聚类中心之前，还可以包括：

利用预先训练的属性提取模型，对过滤后的图像进行影响因素提取，以得到过滤后的图像对应的影响因素信息。

步骤S120中，分别对多种不同类型的特征进行聚类，以得到多种不同类型的特征对应的多个聚类中心，可以包括：

对于任一待聚类的特征，依据影响因素信息对该特征进行分组；

分别对各组特征进行聚类，以得到各组的聚类中心。

示例性的，影响因素可以指对同一人员的不同图像中同一类型的特征的提取产生影响的因素。

例如，以人体特征为例，同一人员不同朝向的人体特征差异较大，很难以一个特征向量代表不同朝向的人体。

因而，为了提高特征聚类的准确性，可以以通过影响因素提取模型，对过滤后的图像进行影响因素提取，并依据提取得到的影响因素信息进行分组聚类。

举例来说，以影响因素为朝向为例，对于人体特征，可以依据朝向对过滤后的图像进行分组，对于每一分组，可以对该分组的图像进行人体特征提取，并对提取到的人体特征进行聚类。

在一些实施例中，上述评分模型输出评分等级，该评分模型的训练过程中，训练样本采用评分等级标注方式，该评分模型采用第一损失函数确定损失。

示例性的，对于任一训练样本，评分模型输出的评分等级与该训练样本的评分等级相差越大，依据该第一损失函数确定的损失越大。

示例性的，考虑到对于任一评分等级，该评分等级与另一评分等级的类间距离通常是与该评分等级与另一评分等级的等级差正相关的，即两个评分等级的等级差越小，两个评分等级之间的类间距离通常也越小。

例如，例如，第一评分等级与第二评分等级的类间距离小于第一评分等级与第三评分等级的类间距离；第二评分等级与第四评分等级的类间距离小于第二评分等级与第五评分等级的类间距离。

相应地，在设计以评分等级为输出的评分模型时，该评分模型的训练过程中，使用的损失函数(本文中称为第一损失函数)对于输出的评分等级与标注的评分等级相差越大的训练样本，确定的损失会越大，即训练样本识别出的评分等于与标注的评分等级偏离越大，依据第一损失函数确定的损失越大。

例如，第一损失函数可以如下：

其中，α＞1，为可调参数，k为训练样本的标注等级，共有C个评分等级，P_i为评分模型输出的属于这个评分级别的概率。

依据该损失函数，远离标注评分等级的输出评分等级的loss(损失)会被放大。

在一个示例中，上述评分模型还可以输出评分分值。

示例性的，对于不相邻的两个评分等级，当评分模型输出的该两个评分中较高评分等级的训练样本的评分与较低评分等级的训练样本的评分的差值不超过预设差值时，采用第二回归函数进行惩罚，并对评分模型输出的评分分值进行归一化输出。

示例性的，考虑到评分属性分级的人为属性定义模糊的问题，即评分分为不同评分等级会出现一些图像处于两个评分等级之间，因此这些图像既有可能被标为前一个评分等级，也有可能被标为后一个评分等级，但是在训练时却是作为不同的独立类别进行训练，这样显然是不合理的，为了弱化了分数等级边界的样本对训练造成的不利影响，并且还能针对不同的应用，自主选取模型的输出结果，对于评分模型训练，在标注时采用比较方便标注的评分等级标注方式，但在训练过程通过设计损失函数以及训练方法解决分类等级临界区域的图像标注不确定的问题，同时还可以输出连续的分值。

对于不相邻的评分等级的训练样本，设定一个固定差值(可以称为预设差值)，评分等级高的评分分值与评分等级低的评分分值的差值需要超过该固定差值；若不满足该条件，可以引入另一个回归损失函数(本文中称为第二损失函数)进行惩罚，然后再将评分分值归一化输出。

需要说明的是，在本申请实施例中，对于无法明确评分分值高或低的评分维度，可以不需要输出具体的评分分值，而是输出评分等级，并通过特定策略确定其是否满足要求，是否需要过滤，其具体实现在此不做赘述。

此外，在本申请实施例中，在进行评分模型训练时，也可以通过对训练样本进行具体评分分值的标定的方式进行评分模型训练，在训练过程中，对于任一训练样本，评分模型输出的评分分值与标定的评分分值相差越大，依据损失函数(可以称为第三损失函数)确定的损失越大。

在一些实施例中，如图2所示，步骤S130中，依据档案封面进行人员归档，可以通过以下步骤实现：

步骤S131、当检测到新输入的目标人员的数据时，获取目标人员的多种不同类型特征对应的图像；

步骤S132、利用预先训练的多个特征提取模型，分别对多种不同类型特征对应的图像进行特征提取，以得到目标人员的多种不同类型的特征；

步骤S133、依据目标人员的多种不同类型的特征，查询档案封面，以确定与目标人员的多种不同类型的特征相似度最高的目标档案封面；

S134、若目标人员的多种不同类型的特征与目标档案封面的相似度大于预设相似度阈值，则将目标人员的数据归入目标档案封面对应的ID；

S135、否则，将所述目标人员的数据归入陌生人数据库。

示例性的，当检测到新输入的目标人员的数据时，可以获取目标人员的上述多种不同类型特征对应的图像。

例如，可以获取目标人员的人脸图像、人体图像或步态序列图像。

示例性的，不同类型特征对应的图像可以相同，也可以不同。

对于获取到的目标人员的上述多种不同类型特征对应的图像，可以利用预先训练的多个特征提取模型，分别对该多种不同类型特征对应的图像进行特征提取，以得到目标人员的多种不同类型的特征。

例如，对于人脸图像，可以通过用于提取人脸特征的特征模型进行特征提取；对于人体图像，可以通过用于提取人体特征的特征提取模型进行特征提取；对于步态序列图像，可以通过用于提取步态特征的特征提取模型进行特征提取。

可以依据得到的目标人员的多种不同类型的特征，查询档案封面，确定目标人员的多种不同类型的特征与各档案封面的相似度。

在一个示例中，对于任一档案封面，可以分别计算目标人员的各不同类型的特征与该档案封面的相似度，并依据各不同类型的特征与该档案封面的相似度，计算该目标人员的多种不同类型的特征与该档案封面的相似度，例如，将各不同类型的特征与该档案封面的相似度的加权和，确定为该目标人员的多种不同类型的特征与该档案封面的相似度。

在另一个示例中，对于任一档案封面，可以以目标人员的不同类型的特征以及该档案封面为输入(档案封面对应的输出数据可以为各聚类中心)，并利用预设算法，计算得到该多个不同类型的特征与该档案封面的相似度(即可以不需要分别计算单个类型的特征的相似度)。

当确定了目标人员的多种不同类型的特征与各档案封面的相似度时，可以确定与目标人员的多种不同类型的特征的相似度最高的档案封面(本文中称为目标档案封面)，并确定目标人员的多种不同类型的特征与第一目标档案封面的相似度是否大于预设相似度阈值(可以根据实际场景设定)。

若该目标人员的多种不同类型的特征与目标档案封面的相似度大于预设相似度阈值，则将目标人员的数据归入目标档案封面对应的ID。

若该目标人员的多种不同类型的特征与目标档案封面的相似度小于等于预设相似度阈值，则可以确定已有的档案中不存在与目标人员匹配的档案，将目标人员的数据归入陌生人数据库。

在一个示例中，上述多种不同类型的特征中的目标特征在生成档案封面时依据指定影响因素进行了分组，并进行了分组聚类；档案封面标注有指定影响因素的值。

步骤S133中，依据目标人员的多种不同类型的特征，查询档案封面，可以包括：

确定目标人员的目标特征的指定影响因素的目标值；

依据目标人员的多种不同类型的特征，查询第一档案封面，以确定第一档案封面中与目标人员的多种不同类型的特征相似度最高的第一目标档案封面；其中，第一档案封面为指定影响因素的值与目标值一致的档案封面；

若目标人员的多种不同类型的特征与第一目标档案封面的相似度大于预设相似度阈值，则将目标人员的数据归入所述第一目标档案封面对应的ID。

示例性的，依据指定影响因素对目标特征进行分组聚类的实现可以参见上述实施例中的相关描述。

例如，可以依据朝向(即指定影响因素为朝向)对人体特征(即目标特征为人体特征)进行分组，并进行分组聚类。

为了提高人员归档的效率，对于新输入的目标人员的数据，可以确定目标人员的目标特征的指定影响因素的值(本文中称为目标值)，并依据该指定影响因素的目标值，以及各档案封面标注的指定影响因素的值，确定指定影响因素的值与该目标值一致的档案封面(本文中称为第一档案封面)，进而，可以依据目标人员的多种不同类型的特征，查询第一档案封面，以确定第一档案封面中与目标人员的多种不同类型特征相似度最高的档案封面(本文中称为第一目标档案封面)。

在确定了第一目标档案封面时，可以确定目标人员的多种不同类型的特征与第一目标档案封面的相似度是否大于预设相似度阈值，并当目标人员的多种不同的类型的特征与第一目标档案封面的相似度大于预设相似度阈值时，将目标人员的数据归入第一目标档案封面对应的ID(即该第一目标档案封面即为上述目标档案封面)。

在一个示例中，本申请实施例提供的人员归档方案还可以包括：

若目标人员的多种不同类型的特征与第一目标档案封面的相似度小于等于预设相似度阈值，则依据目标人员的多种不同类型的特征，查询第二档案封面，以确定第二档案封面中与目标人员的多种不同类型的特征相似度最高的第一目标档案封面；其中，第二档案封面为所述第一档案封面之外的其它档案封面；

若目标人员的多种不同类型的特征与第二目标档案封面的相似度大于预设相似度阈值，则将目标人员的数据归入所述第二目标档案封面对应的ID；

否则，将目标人员的数据归入陌生人数据库。

示例性的，当目标人员的多种不同类型的特征与第一目标档案封面的相似度小于等于预设相似度阈值时，可以依据目标人员的多种不同类型的特征，查询第一档案封面之外的其它档案封面(本文中称为第二档案封面)，并计算目标人员的多种不同类型的特征与各第二档案封面的相似度，确定与目标人员的多种不同类型的特征的相似度最高的第二档案封面(本文中称为第二目标档案封面)。

当目标人员的多种不同类型的特征与第二目标档案封面的相似度大于预设相似度阈值时，可以将目标人员的数据归入第二目标档案封面对应的ID(即第二目标档案封面为上述目标档案封面)。

当目标人员的多种不同类型的特征与第二目标档案封面的相似度小于等于预设相似度阈值时，可以确定已有的档案中不存在与目标人员匹配的档案，此时，可以将目标人员的数据归入陌生人数据库。

在一些实施例中，本申请实施例提供的人员归档方案还可以包括：

当确定满足档案封面更新条件时，利用预先训练的评分模型，从多个不同维度对新入档的数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的新入档图像；

对于归于档案数据库中任一ID的过滤后的新入档图像，依据该过滤后的新入档图像的时空特征、与该ID对应的档案封面的相似度以及对应的人员属性，对该过滤后的新入档图像进行身份再验证；其中，该时空特征应用于标识新入档图像的获取时间以及获取位置；

依据身份再验证通过的过滤后的新入档图像，对该ID对应的档案封面进行更新。

示例性的，满足档案封面更新条件可以包括但不限于到达预设档案封面更新时间，或，新入档的数据的数量达到预设数量等。

当确定满足档案封面更新条件时，可以利用预先训练的评分模型，从上述多个不同维度，对新入档的数据中的图像进行评分，并过滤评分过低的预设评分阈值的图像，以得到过滤后的新入档图像，其具体实现可以参见上述方法实施例中的相关描述。

考虑到同一人员的不同数据在时空特征上存在一定限制的，例如，对于同一人员的两张不同图像，其获取时间之间的差值与获取位置之间的距离应该满足一定的条件，该两张不同图像的获取位置之间的距离不应大于获取时间之差与预设最大人员移动速度(可以根据实际场景设定)二者之积，因此，对于归于档案数据库中任一ID的过滤后的新入档图像，依据该过滤后的新入档图像的时空特征对该过滤后的新入档图像进行身份再验证。

示例性的，对于任一新入档图像，当该新入档图像的时空特征与该新入档图像归入的ID中的任一图像的时空特征之间存在冲突，例如，该两张不同图像的获取位置之间的距离大于获取时间之差与预设最大人员移动速度时，可以确定该两张不同图像对应不同人员，即人员归档出现了错误。

同理，对于新入档图像，还可以依据该新入档图像与其归入的ID对应的档案封面的相似度，以及对应的人员属性，对该新过滤后的新入档图像进行身份再验证。

示例性的，该人员属性可以包括但不限于性别、年龄等。

需要说明的是，当获取到的人员图像为人员驾驶车辆时的图像，还可以依据车辆信息对新入档图像进行身份再验证。

例如，当连续获取到的多张同一人员驾驶车辆的图像，提取到的车辆信息，如车牌号、车辆类型或车辆颜色等应该是相同的，若不同，则确定不是同一个人员的图像。

对于身份再验证通过的过滤后的新入档图像，可以依据该身份再验证通过的过滤后的新入档图像，对该ID对应的档案封面进行更新，如对档案封面对应的聚类中心进行更新，以提高人员归档的准确性。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

在该实施例中，人员归档系统可以包括三个模块：

1、档案封面建立模块：由已知身份的人员图像建立档案封面得到档案封面数据库，其功能示意图可以如图3A所示；

2、查询归档模块：对系统输入的图像或者图像序列进行查询归档，其功能示意图可以如图3B所示；

3、封面更新模块：对于满足条件的查询图像可以用来对档案封面进行更新，其功能示意图可以如图3C所示。

示例性的，档案数据库保存的是已经注册的人员与其对应的相关信息，可以是人脸图像、人体图像、步态序列等信息；档案封面数据库中维护的是人员ID以及代表此人员唯一性的数据，作为归档查询的数据库；陌生人数据库存放了未注册的人的相关数据。

下面分别对各模块的功能进行说明。

1、档案封面建立模块

档案封面建立模块的运行流程可以如图4A所示：

首先对档案数据库中的所有图像进行评分过滤，把质量较差的图像过滤掉，例如，过滤掉存在过亮、过暗、模糊、不完整等情况的图像；然后，对过滤后的图像进行特征建模。

示例性的，考虑到行人的姿态等的不确定性，在每个档案ID下，对属于这个档案的图像的建模特征进行分组聚类，得到多个聚类中心作为档案的封面。这样既保证了档案封面的丰富性，也通过聚类中心的方式使得封面并没有特别冗杂，保证了系统运行效率。

1.1、图像评分方法

请参见图4B，图像评分方法流程可以如图4B所示，对于输入图像，经过一个预先训练的评分模型(如深度神经网络模型)，输出每个维度的评分等级或者评分分值。

示例性的，以人体图像为例，评分维度可以包括但不限于清晰度以及遮挡程度等。

利用评分模型得到每个维度的输出结果后，经过后处理步骤得到最终的评分结论，该后处理过程可因应用场景而异。

考虑到传统的图像评分方案中，通常使用深度学习模型对图像质量进行评估，使用深度学习网络模型的方法主要分为两类：

1)、把评分作为分类任务，评分被划分为不同评分等级，对每个评分等级的图像质量进行明确定义，标注时按照定义对图像进行评分等级划分，然后使用划分好的数据作为训练数据，对网络进行分类训练。

2)、把评分作为回归任务，标定人员会对不同图像标注具体的评分分值，然后再训练时拟合人工标定的评分分值。

该两种方法都有着明显的问题：把评分分为不同评分等级会出现一些图像处于两个评分等级之间，因此，这些图像既有可能被标注为前一个评分等级，也有可能被标注为后一个评分等级，但是在训练时却是作为不同的独立类别进行训练，这样显然是不合理的。

若把评分结果作为一个连续的分值，这样标定难度太大，标定人员很难以明确的标准对图像标注，主观性太强，而且不同标注人员之间的标注差异也会较大。

考虑到上述问题，本申请实施例提供的人员归档方案中，在标注时采用比较方便标注的评分等级标注方式，然后，在训练时通过设计损失函数以及训练方法解决分类等级临界区域的图像标注不确定的问题，同时还可以输出连续的评分分值，其具体实现在1.2中进行说明。

1.2、评分模型训练方法

在该实施例中，评分模型训练流程主要包括：

1.2.1、调整相邻分级的损失权重：以清晰度为例，可以把清晰度分为若干个等级，等级越高代表图像越清晰，第一档与第二档的类间距离小于第一档与第三档(或第四档)之间的距离的。因此，对于与标定等级偏离较多的预测结果加大损失，而对于与标定等级相邻的预测结果损失值可以适当降低。

示例性的，损失函数(上述第一损失函数)的一个实现形式可以为：

其中，α＞1，为可调参数，k为训练样本的标注等级，共有C个评分等级，P_i为评分模型输出的属于这个评分级别的概率。

1.2.2、评分模型同时输出连续分值：在训练时，每个batch(批次)中，对于不相邻的评分等级的样本，设定一个固定差值(即上述预设差值)，评分等级高的训练样本输出的评分分值与评分等级低的训练样本输出的评分分值之间的差值需要高于该固定差值，若不满足这个条件，则引入另一个回归损失函数(即上述第二回归函数)来进行惩罚，然后再将评分分值归一化输出就得到了连续的评分结果。

1.3、档案封面建立

人员档案的档案封面可以包括人脸、人体、步态等一系列的可以代表此人的特征计算得到，其特征的表达形式可以为此人所有关联数据特征向量的集合，也可以为特征的聚类中心，也可以为两者的结合，其实现流程可以如图4C所示。

考虑到人员归档系统的性能非常依赖于特征建模的效果，以人体特征建模为例，同一个人不同朝向的人体特征差异较大，很难以一个特征向量代表不同朝向的人体，不同俯角和不同的遮挡、截断情况都会影响人体的特征建模。如果只用一个聚类中心作为封面，难以在复杂的实际应用场景下，对各种朝向、各种遮挡、截断情况的人体图像进行正确归档。

因而，在完成图像过滤之后，可以对过滤后的图像进行特征提取，以得到多个类型的特征，并分别对该多个类型的特征进行聚类，得到多个聚类中心。

示例性的，对于该多个类型的特征中的部分或全部特征，可以进行分组聚类，以得到多个聚类中心。

例如，针对人体特征，可以依据朝向对人体特征进行分组，并分别对各分组的人体特征进行聚类，以得到各分组对应的聚类中心。

示例性的，一个分组对应的聚类中心可以包括一个或多个聚类中心。

示例性的，对特征进行聚类可以采用DBSCAN(Density-Based SpatialClustering of Applications with Noise，具有噪声的基于密度的聚类方法)或谱聚类等聚类方式。

在该情况下(即人体特征按照朝向进行了分组聚类的情况下)，进行人员归档时，可以先依据朝向查询匹配的档案封面(即上述第一档案封面)进行归档，若未成功归档，则查询朝向不匹配的档案封面(即上述第二档案封面)进行归档，若仍未归档成功，则归入陌生人数据块。

通过该档案封面构造方式，会使得封面特征更加丰富，既保证了归档效率，同时还提升了查询效率。

2、查询归档模块

档案封面中已保存了代表ID唯一性的相关特征，这里的特征可以包括多种类型的特征，其包括但不限于能够从监控中提取的人体、人脸或步态等可以通过建模得到特征。

每当有新的查询数据(即检测到上述新输入的目标人员的数据)到来，首先进行数据建模，然后用得到的特征在档案中进行查询。

示例性的，可以计算特征与档案封面的相似度，找到相似度最高的档案封面(即上述目标档案封面)，并当该相似度超过预设相似度阈值时，将其ID作为归档结果；否则，归入陌生人数据库，其实现流程可以参见图4D。

示例性的，可以使用特征余弦距离作为相似度度量。

3、封面更新模块

随着不断有新的数据归入档案，档案封面也需要逐渐丰富，封面更新流程可以如图4E所示。

首先，与档案封面建立时类似，需要对图像质量进行评估，过滤掉图像质量较差的图像。

满足质量要求的图像还需要对身份进行更精细的验证。

示例性的，可以结合时空特征以及于与档案封面相似度、性别、年龄、车辆等其他人员属性进行身份再验证，防止错误的图像进入封面，避免对人员归档系统造成负面影响。

身份再验证通过后，可以进行特征提取，对档案封面的聚类中心进行更新。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图5，为本申请实施例提供的一种人员归档装置的结构示意图，如图5所示，该人员归档装置可以包括：

评分处理单元510，用于对于档案数据库中任一标识ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；其中，所述多个不同维度用于表征图像中的人员成像质量；

特征提取单元520，用于利用预先训练的多个特征提取模型，分别对所述过滤后的图像进行特征提取，以得到多种不同类型的特征；其中，不同特征提取模型用于提取不同类型的特征，所述多种不同类型的特征用于唯一标识一个人员；

聚类单元530，用于分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心；其中，一种类型的特征对应至少一个聚类中心；

归档处理单元540，用于依据所述多个聚类中心生成档案封面，并依据所述档案封面进行人员归档。

在一些实施例中，特征提取单元520，还用于利用预先训练的属性提取模型，对所述过滤后的图像进行预设影响因素提取，以得到所述过滤后的图像对应的影响因素信息；

所述聚类单元530分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心，包括：

对于任一待聚类的特征，依据所述影响因素信息对该特征进行分组；

分别对各组特征进行聚类，以得到各组的聚类中心。

在一些实施例中，所述评分模型输出评分等级，所述评分模型的训练过程中，训练样本采用评分等级标注方式，所述评分模型采用第一损失函数确定损失；

其中，对于任一训练样本，所述评分模型输出的评分等级与该训练样本标注的评分等级相差越大，依据所述第一损失函数确定的损失越大。

在一些实施例中，所述评分模型还输出评分分值；

对于不相邻的两个评分等级，当所述评分模型输出的该两个评分中较高评分等级的训练样本的评分与较低评分等级的训练样本的评分的差值不超过预设差值时，采用第二损失函数进行惩罚，并对所述评分模型输出的评分分值进行归一化输出。

在一些实施例中，所述归档处理单元540依据所述档案封面进行人员归档，包括：

当检测到新输入的目标人员的数据时，获取所述目标人员的所述多种不同类型特征对应的图像；

利用预先训练的多个特征提取模型，分别对所述多种不同类型特征对应的图像进行特征提取，以得到所述目标人员的多种不同类型的特征；

依据所述目标人员的多种不同类型的特征，查询档案封面，以确定与所述目标人员的多种不同类型的特征相似度最高的目标档案封面；

若所述目标人员的多种不同类型的特征与所述目标档案封面的相似度大于预设相似度阈值，则将所述目标人员的数据归入所述目标档案封面对应的ID；

否则，将所述目标人员的数据归入陌生人数据库。

在一些实施例中，所述多种不同类型的特征中的目标特征在生成档案封面时依据指定影响因素进行了分组，并进行了分组聚类；所述档案封面标注有所述指定影响因素的值；

所述归档处理单元530依据所述目标人员的多种不同类型的特征，查询档案封面，包括：

确定所述目标人员的所述目标特征的所述指定影响因素的目标值；

依据所述目标人员的多种不同类型的特征，查询第一档案封面，以确定所述第一档案封面中与所述目标人员的多种不同类型的特征相似度最高的第一目标档案封面；其中，第一档案封面为所述指定影响因素的值与所述目标值一致的档案封面；

若所述目标人员的多种不同类型的特征与所述第一目标档案封面的相似度大于预设相似度阈值，则将所述目标人员的数据归入所述第一目标档案封面对应的ID。

在一些实施例中，所述归档处理单元530，还用于：

若所述目标人员的多种不同类型的特征与所述第一目标档案封面的相似度小于等于预设相似度阈值，则依据所述目标人员的多种不同类型的特征，查询第二档案封面，以确定所述第二档案封面中与所述目标人员的多种不同类型的特征相似度最高的第一目标档案封面；其中，第二档案封面为所述第一档案封面之外的其它档案封面；

若所述目标人员的多种不同类型的特征与所述第二目标档案封面的相似度大于预设相似度阈值，则将所述目标人员的数据归入所述第二目标档案封面对应的ID；

否则，将所述目标人员的数据归入陌生人数据库。

在一些实施例中，所述归档处理单元530，还用于：

当确定满足档案封面更新条件时，利用所述预先训练的评分模型，从所述多个不同维度对新入档的数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的新入档图像；

对于归于所述档案数据库中任一ID的过滤后的新入档图像，依据该过滤后的新入档图像的时空特征、与该ID对应的档案封面的相似度以及对应的人员属性，对该过滤后的新入档图像进行身份再验证；其中，所述时空特征应用于标识所述新入档图像的获取时间以及获取位置；

依据身份再验证通过的过滤后的新入档图像，对该ID对应的档案封面进行更新。

请参见图6，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器601、存储有机器可执行指令的存储器602。处理器601与存储器602可经由系统总线603通信。并且，通过读取并执行存储器602中与编码控制逻辑对应的机器可执行指令，处理器601可执行上文描述的人员归档方法。

本文中提到的存储器602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

在一些实施例中，还提供了一种机器可读存储介质，如图6中的存储器602，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的人员归档方法。例如，所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种人员归档方法，其特征在于，包括：

对于档案数据库中任一标识ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；其中，所述多个不同维度用于表征图像中的人员成像质量；

利用预先训练的多个特征提取模型，分别对所述过滤后的图像进行特征提取，以得到多种不同类型的特征；其中，不同特征提取模型用于提取不同类型的特征，所述多种不同类型的特征用于唯一标识一个人员；

分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心；其中，一种类型的特征对应至少一个聚类中心；

依据所述多个聚类中心生成档案封面，并依据所述档案封面进行人员归档。

2.根据权利要求1所述的方法，其特征在于，所述分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心之前，还包括：

利用预先训练的属性提取模型，对所述过滤后的图像进行预设影响因素提取，以得到所述过滤后的图像对应的影响因素信息；

所述分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心，包括：

对于任一待聚类的特征，依据所述影响因素信息对该特征进行分组；

分别对各组特征进行聚类，以得到各组的聚类中心。

3.根据权利要求1所述的方法，其特征在于，所述评分模型输出评分等级，所述评分模型的训练过程中，训练样本采用评分等级标注方式，所述评分模型采用第一损失函数确定损失；

其中，对于任一训练样本，所述评分模型输出的评分等级与该训练样本标注的评分等级相差越大，依据所述第一损失函数确定的损失越大。

4.根据权利要求3所述的方法，其特征在于，所述评分模型还输出评分分值；

对于不相邻的两个评分等级，当所述评分模型输出的该两个评分中较高评分等级的训练样本的评分与较低评分等级的训练样本的评分的差值不超过预设差值时，采用第二损失函数进行惩罚，并对所述评分模型输出的评分分值进行归一化输出。

5.根据权利要求1所述的方法，其特征在于，所述依据所述档案封面进行人员归档，包括：

当检测到新输入的目标人员的数据时，获取所述目标人员的所述多种不同类型特征对应的图像；

利用预先训练的多个特征提取模型，分别对所述多种不同类型特征对应的图像进行特征提取，以得到所述目标人员的多种不同类型的特征；

依据所述目标人员的多种不同类型的特征，查询档案封面，以确定与所述目标人员的多种不同类型的特征相似度最高的目标档案封面；

若所述目标人员的多种不同类型的特征与所述目标档案封面的相似度大于预设相似度阈值，则将所述目标人员的数据归入所述目标档案封面对应的ID；

否则，将所述目标人员的数据归入陌生人数据库。

6.根据权利要求5所述的方法，其特征在于，所述多种不同类型的特征中的目标特征在生成档案封面时依据指定影响因素进行了分组，并进行了分组聚类；所述档案封面标注有所述指定影响因素的值；

所述依据所述目标人员的多种不同类型的特征，查询档案封面，包括：

确定所述目标人员的所述目标特征的所述指定影响因素的目标值；

依据所述目标人员的多种不同类型的特征，查询第一档案封面，以确定所述第一档案封面中与所述目标人员的多种不同类型的特征相似度最高的第一目标档案封面；其中，第一档案封面为所述指定影响因素的值与所述目标值一致的档案封面；

若所述目标人员的多种不同类型的特征与所述第一目标档案封面的相似度大于预设相似度阈值，则将所述目标人员的数据归入所述第一目标档案封面对应的ID。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述目标人员的多种不同类型的特征与所述第一目标档案封面的相似度小于等于预设相似度阈值，则依据所述目标人员的多种不同类型的特征，查询第二档案封面，以确定所述第二档案封面中与所述目标人员的多种不同类型的特征相似度最高的第一目标档案封面；其中，第二档案封面为所述第一档案封面之外的其它档案封面；

若所述目标人员的多种不同类型的特征与所述第二目标档案封面的相似度大于预设相似度阈值，则将所述目标人员的数据归入所述第二目标档案封面对应的ID；

否则，将所述目标人员的数据归入陌生人数据库。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当确定满足档案封面更新条件时，利用所述预先训练的评分模型，从所述多个不同维度对新入档的数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的新入档图像；

对于归于所述档案数据库中任一ID的过滤后的新入档图像，依据该过滤后的新入档图像的时空特征、与该ID对应的档案封面的相似度以及对应的人员属性，对该过滤后的新入档图像进行身份再验证；其中，所述时空特征应用于标识所述新入档图像的获取时间以及获取位置；

依据身份再验证通过的过滤后的新入档图像，对该ID对应的档案封面进行更新。

9.一种人员归档装置，其特征在于，包括：

评分处理单元，用于对于档案数据库中任一标识ID，利用预先训练的评分模型，从多个不同维度对该ID下的采集数据中的图像进行评分，并过滤评分低于预设评分阈值的图像，以得到过滤后的图像；其中，所述多个不同维度用于表征图像中的人员成像质量；

特征提取单元，用于利用预先训练的多个特征提取模型，分别对所述过滤后的图像进行特征提取，以得到多种不同类型的特征；其中，不同特征提取模型用于提取不同类型的特征，所述多种不同类型的特征用于唯一标识一个人员；

聚类单元，用于分别对所述多种不同类型的特征进行聚类，以得到所述多种不同类型的特征对应的多个聚类中心；其中，一种类型的特征对应至少一个聚类中心；

归档处理单元，用于依据所述多个聚类中心生成档案封面，并依据所述档案封面进行人员归档。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现如权利要求1-8任一项所述的方法。

Images