CN115035610A - 归档方法、计算机程序产品、存储介质及电子设备 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种归档方法、计算机程序产品、存储介质及电子设备。其中，归档方法包括：获取人脸档案集和人体档案集；获取人脸档案集和人体档案集中的脸人绑定关系；根据脸人绑定关系，将人脸档案集和人体档案集中对应于同一人的档案进行合并，得到脸人档案集。该方法的优势在于：脸人绑定关系容易获取，并且绑定精度高；合并人脸档案与人体档案是一种后处理方法，对人脸档案集和人体档案集本身可以不产生任何影响；合并人脸档案和人体档案有利于提升档案的质量；合并人脸档案和人体档案有利于改善后续的分析结果。

Description

归档方法、计算机程序产品、存储介质及电子设备

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种归档方法、计算机程序产品、存储介质及电子设备。

背景技术

从大量的行人图像中扣取出人脸图片和人体图片后，分别根据人脸图片的特征以及人体图片的特征进行聚类，可以得到人脸档案和人体档案。但这两种档案是相互独立的，单独利用其中的一种档案进行行人分析，得到的结果往往是残缺不全的，无法满足用户的需求。目前，对于如何合并这两种档案，尚无有效的解决方案。

发明内容

本申请实施例的目的在于提供一种归档方法、计算机程序产品、存储介质及电子设备，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种归档方法，包括：获取人脸档案集和人体档案集，所述人脸档案集中的每个人脸档案对应一个人，且包括至少一张人脸图片，所述人体档案集中的每个人体档案对应一个人，且包括至少一张人体图片；获取所述人脸档案集和所述人体档案集中的脸人绑定关系，所述脸人绑定关系是指所述人脸档案中的人脸图片和所述人体档案中的人体图片之间的绑定关系，若一张人脸图片和一张人体图片属于同一人，则二者相互绑定；根据所述脸人绑定关系，将所述人脸档案集和所述人体档案集中对应于同一人的档案进行合并，得到脸人档案集。

上述方法针对人脸档案和人体档案的合并提出了一种新的解决方案，该方案利用脸人绑定关系合并人脸档案与人体档案，其至少具有以下优势：

其一，脸人绑定关系属于一种先验信息，该信息容易获取，并且绑定精度通常都很高，有利于人脸档案和人体档案的正确合并；

其二，合并人脸档案与人体档案是一种后处理方法，对人脸档案集和人体档案集本身可以不产生任何影响，即不会干扰人脸档案和人体档案本身的应用；

其三，利用脸人绑定关系合并人脸档案和人体档案，相当于对档案中的图片在一定程度上进行了重新分类，将更多的属于同一人的图片聚集到同一个档案中，从而有利于提升档案的质量(包括档案的纯度和召回)；

其四，合并人脸档案和人体档案能够丰富单个人的信息，从而有利于改善后续的某些分析(例如，行人分析)的结果，例如提高行人轨迹的召回等。

在第一方面的一种实现方式中，所述根据所述脸人绑定关系，将所述人脸档案集和所述人体档案集中对应于同一人的档案进行合并，包括：根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并。

发明人发现，人脸档案的纯度一般高于人体档案，所以将人体档案向人脸档案合并，得到的脸人档案质量更佳。

在第一方面的一种实现方式中，所述根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并，包括：对于所述人体档案集中的每个人体档案，若其中具有脸人绑定关系的人体图片所绑定的人脸图片均属于同一人脸档案，则将该人体档案中的人体图片加入到该人脸档案中。

上述实现方式可视为一种投票策略，每张具有脸人绑定关系的人体图片所绑定的人脸图片的归属视为一票，若一个人体档案中的投票结果唯一(所绑定的人脸图片均属于同一人脸档案)，则直接进人体档案和人脸档案的合并。这种投票策略并非根据脸人绑定关系盲目进行合并，从而有利于得到高质量的脸人档案。

在第一方面的一种实现方式中，所述根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并，包括：对于所述人体档案集中的每个人体档案，若其中具有脸人绑定关系的人体图片所绑定的人脸图片属于多个不同的人脸档案，则执行以下步骤：将该人体档案中具有脸人绑定关系的人体图片加入到其所绑定的人脸图片所属的人脸档案中；对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，并根据计算出的距离将该人体图片加入到该人体档案中具有脸人绑定关系的人体图片所加入的一个人脸档案中。

上述实现方式可视为一种投票策略，每张具有脸人绑定关系的人体图片所绑定的人脸图片的归属视为一票，若一个人体档案中的投票结果不唯一(所绑定的人脸图片属于不同的人脸档案)，则先合并那些具有脸人绑定关系的人体图片，再利用特征之间的距离精细化处理不具有脸人绑定关系的人体图片。这种投票策略并非根据脸人绑定关系盲目进行合并，从而有利于得到高质量的脸人档案。

在第一方面的一种实现方式中，所述对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，并根据计算出的距离将该人体图片加入到该人体档案中具有脸人绑定关系的人体图片所加入的一个人脸档案中，包括：对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，确定计算出的距离中的最小距离，并将该人体图片加入到目标人脸档案中，所述目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小距离的人体图片所加入的人脸档案。

在上述实现方式中，特征之间距离越小，表明人体图片和人脸图片越相似，越有可能属于同一人，从而根据特征之间的最小距离进行档案合并是合理的，有利于得到高质量的脸人档案。

在第一方面的一种实现方式中，所述对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，确定计算出的距离中的最小距离，并将该人体图片加入到目标人脸档案中，包括：获取该人体档案中不具有脸人绑定关系的人体图片的特征对应的概率密度，并确定计算出的概率密度中的最大概率密度，所述最大概率密度对应的人体图片为基准人体图片，其余概率密度对应的人体图片为剩余人体图片；计算所述基准人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的第一距离，确定计算出的第一距离中的最小第一距离，并将所述基准人体图片加入到第一目标人脸档案中，所述第一目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小第一距离的人体图片所加入的人脸档案；将所述基准人体图片作为该人体档案中具有脸人绑定关系的人体图片，对于每张剩余人体图片，计算该剩余人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的第二距离，确定计算出的第二距离中的最小第二距离，并将该剩余人体图片加入到第二目标人脸档案中，所述第二目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小第二距离的人体图片所加入的人脸档案；其中，所述第一目标人脸档案和所述第二目标人脸档案均属于所述目标人脸档案。

在上述实现方式中，对于人体档案中不具有脸人绑定关系的人体图片分两轮进行合并，第一轮先合并对应的概率密度最高的基准人体图片，第二轮将基准人体图片也视为具有脸人绑定关系的人体图片，再合并剩余人体图片，两轮合并时都是选择距离最近的人脸图片所在的人脸档案加入。

在第二轮合并时，由于将基准人体图片也视为具有脸人绑定关系的人体图片，故此时所有具有脸人绑定关系的人体图片的特征大概率覆盖了该人体档案中人体图片的特征分布最集中的位置，即簇的中心(将每张人体图片的特征视为特征空间中的一个特征点)。话句话说，剩余人体图片的特征与簇中心相距不会太远，从而计算剩余人体图片的特征与簇中心的第二距离，并基于得到的最小第二距离确定剩余人体图片应加入的人脸档案更为合理。特别是对于具有脸人绑定关系的人体图片的特征和不具有脸人绑定关系的人体图片的特征在簇中分布不均匀的情况，这两类特征之间的距离间隔较远，直接计算距离并进行档案合并和可能会导致错误的合并结果。

在第一方面的一种实现方式中，所述将该人体图片加入到目标人脸档案中，包括：若所述最小距离小于距离阈值，则将该人体图片加入到所述目标人脸档案中。

在上述实现方式中，通过设置距离阈值来判断是否需要合并人体图片，可以避免将相对意义上相似度最高(对应最小距离)但绝对意义上相似度较低(不小于距离阈值)的人体图片加入到人脸档案中，从而有利于得到高质量的脸人档案。

在第一方面的一种实现方式中，所述距离阈值与该人体图片中人体的属性相关。

在上述实现方式中，可以根据人体的属性对距离阈值进行调节，使得距离阈值的设置更加合理。

在第一方面的一种实现方式中，所述人体的属性包括人体的以下至少一项属性：朝向属性；衣着颜色属性；载具属性；遮挡属性；环境属性。

在上述实现方式中的各种属性涵盖了对距离阈值影响较为显著的因素。

在第一方面的一种实现方式中，所述距离阈值与该人体图片中人体的朝向属性相关，所述朝向属性的可取值包括正面、侧面和背面；若该人体图片中人体的朝向属性为正面，则所述距离阈值为第一距离阈值；若该人体图片中人体的朝向属性为侧面，则所述距离阈值为第二距离阈值，且所述第二距离阈值大于所述第一距离阈值；若该人体图片中人体的朝向属性为背面，则所述距离阈值为第三距离阈值，且所述第三距离阈值大于所述第二距离阈值。

发明人发现，具有脸人绑定关系的人体图片人体朝向多为正面，没有脸人绑定关系的人体图片人体朝向多为侧面或背面，两张正面人体图片的特征之间的距离一般小于一张正面人体图片与一张侧面或背面人体图片的特征之间的距离，所以对于不具有脸人绑定关系的人体图片是侧面或背面的情况，距离阈值可以适当设置的大一些，以平衡这种因朝向属性上的差异带来的距离变化，避免轻易否定掉一些本来可以进行合并的侧面或背面人体图片。

在第一方面的一种实现方式中，对于所述人体档案集中的每个人体档案，若其中的人体图片均不具有脸人绑定关系，则不将该人体档案与所述人脸档案集中的人脸档案合并，且不将该人体档案加入到所述脸人档案集中。

上述实现方式可视为一种投票策略，每张具有脸人绑定关系的人体图片所绑定的人脸图片的归属视为一票，若一个人体档案中的投票结果为0票(人体图片均不具有脸人绑定关系)，表明该人体档案的归属不明确，所以不应进行人体档案的合并，避免产生错误的合并结果，另外由于人体档案的纯度常常不高，所以该人体档案也不加入到脸人档案集中，避免影响脸人档案的质量。

在第一方面的一种实现方式中，所述脸人绑定关系包括同帧绑定关系和/或跨帧绑定关系；其中，所述同帧绑定关系是指所绑定的一张人脸图片和一张人体图片来源于同一原始图片中的同一人，所述跨帧绑定关系是指所绑定的一张人脸图片和一张人体图片分别来源于同一原始视频的不同帧中的同一人。

在上述实现方式中，通过同一张原始图片和不同的原始图片都可以建立脸人绑定关系，即脸人绑定关系的来源丰富，获取容易。

在第一方面的一种实现方式中，所述人脸档案集中的一张人脸图片至多绑定所述人体档案集中的一张人体图片，且所述人体档案集中的一张人体图片至多绑定所述人脸档案集中的一张人脸图片。

在上述实现方式中，如果存在脸人绑定关系，则必然是人脸图片和人体图片一一绑定，不存在一对多绑定的情况，此举有利于避免因绑定关系复杂化而导致的档案合并逻辑复杂化。

在第一方面的一种实现方式中，所述获取人脸档案集和人体档案集，包括：获取人脸特征集以及人体特征集，所述人脸特征集中包括多张人脸图片的特征，所述人体特征集中包括多张人体图片的特征；对所述人脸特征集中的特征进行聚类，并根据聚类结果得到所述人脸档案集，所述人脸档案集的每个人脸档案中的人脸图片的特征属于同一个簇；以及，对所述人体特征集中的特征进行聚类，并根据聚类结果得到所述人体档案集，所述人体档案集的每个人体档案中的人体图片的特征属于同一个簇。

在上述实现方式中，通过特征聚类可以快速、自动构建人脸档案集和人体档案集。

第二方面，本申请实施例提供一种归档装置，包括：

档案集获取模块，用于获取人脸档案集和人体档案集，所述人脸档案集中的每个人脸档案对应一个人，且包括至少一张人脸图片，所述人体档案集中的每个人体档案对应一个人，且包括至少一张人体图片；

绑定关系获取模块，用于获取所述人脸档案集和所述人体档案集中的脸人绑定关系，所述脸人绑定关系是指所述人脸档案中的人脸图片和所述人体档案中的人体图片之间的绑定关系，若一张人脸图片和一张人体图片属于同一人，则二者相互绑定；

档案合并模块，用于根据所述脸人绑定关系，将所述人脸档案集和所述人体档案集中对应于同一人的档案进行合并，得到脸人档案集。

第三方面，本申请实施例提供一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

第五方面，本申请实施例提供一种电子设备，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的归档方法的步骤；

图2示出了本申请实施例提供的归档方法的工作原理；

图3示出了本申请实施例提供的归档装置包含的功能模块；

图4示出了本申请实施例提供的电子设备的结构。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

首先说明一下本申请方案中提到的“人”的概念，“人”应理解为处于各种状态下的人，在后文中多以行人为例，但不构成对本申请保护范围的限制。所谓“行人”，可以理解为在一段时间内会进行运动的人，但并不一定任何时刻都在运动。

图1示出了本申请实施例提供的一种归档方法的流程。该方法可以但不限于由图4中的电子设备执行，关于该电子设备可能的结构可以参考后文关于图4的阐述。参照图1，归档方法包括：

步骤S110：获取人脸档案集和人体档案集。

人脸档案集是至少一个人脸档案的集合，人脸档案集中的每个人脸档案对应一个人，每个人脸档案的内容包括至少一张人脸图片，理想情况下，这些人脸图片应属于同一人，但实际中，由于归档算法(例如，下面提到的聚类算法)的局限性，这些人脸图片未必属于同一人。

由此，可以引出人脸档案的纯度和召回的概念：假设一个人脸档案X对应行人A，X中包含100张人脸图片，其中90张确实是行人A的人脸，另外10张其实是行人B的人脸，则X的纯度为90/100＝90％。假设用于构建人脸档案的原始图片集中，行人A的人脸共出现了120次，理想情况下，X中应该有120张行人A的人脸，但实际只有90张，则X的召回为90/120＝75％。人脸档案的纯度和/或召回也可以统称为人脸档案的质量，这两个指标的值越高，人脸档案的质量越好。

注意，并不排除两个人脸档案对应同一个人的现象，该现象可称为人脸档案的分裂，例如，行人A星期一不佩戴任何饰品出门，星期二佩戴墨镜和口罩出门，可能会产生两个针对行人A的人脸档案。对于存在档案分裂的情况，纯度和召回的计算公式可能需要相应的调整，并且档案的召回可能会降低。

除了人脸图片，人脸档案中还可能包含一些附加信息，例如以下信息中的一项或多项：档案中每张人脸图片的采集时间，档案中每张人脸图片的采集地点，根据档案中的采集地点得到的行人轨迹，等等。

可以通过以下方式建立人脸档案集：

首先，获取用于构建人脸档案集的原始图片集，该原始图片集中包含摄像头采集到的多张原始图片，这些原始图片可能是单张的照片，也可能是视频帧。

然后，在原始图片集中进行人脸检测，根据人脸检测结果(可以是人脸框)从原始图片中扣取出人脸图片。当然，此时也可以进行一定的筛选，例如过滤掉面积太小的人脸或者模糊不清的人脸，等等。

再然后，提取每张人脸图片的特征，得到人脸特征集。例如，可以将人脸图片送入一个预训练的神经网络提取其特征，或者也可以采用传统算法提取人脸图片的特征，提取到的特征可以表示为特征向量的形式。可选的，人脸图片中人脸的属性，例如，人脸朝向、性别、是否佩戴眼镜、是否佩戴耳环、发型、年龄段等，也可以量化后作为特征的一部分。

最后，对人脸特征集中的特征进行聚类，并根据聚类结果得到人脸档案集。其中，聚类形成的每个簇中的特征所对应的人脸图片可以归为一个人脸档案，对于人脸图片的附加信息(例如，采集时间、采集地点)，随同人脸图片一起进行归档即可，而有的附加信息，则需要在得到人脸档案后再生成，例如人轨迹，需要在得到人脸档案后，根据档案中的采集时间和采集地点信息生成。归档所用的聚类算法不限，例如可以是dbscan、density peak、层次聚类、谱聚类，等等，利用聚类算法可以快速、自动地完成特征分类，从而快速构建出人脸档案集。

注意，如果在执行步骤S110之前已经获得了人脸特征集，则在步骤S110中只需直接对人脸特征集进行聚类即可。如果在执行步骤S110之前已经获得了人脸档案集，则在步骤S110中只需直接读取人脸档案集中的人脸档案即可。

人体档案集是至少一个人体档案的集合，人体档案集中的每个人体档案对应一个人，每个人体档案的内容包括至少一张人体图片，人体图片可以指包含人的整个或部分身体(例如，半身)的图片。需要注意，一张原始图片中包含人体图片，但不一定包含人脸图片：例如行人背对摄像头时，可以形成人体图片，但不会形成人脸图片；相应地，一张原始图片中包含人脸图片，但不一定包含人体图片：例如，行人的面部占据了整个画面，则可以形成人脸图片，但不会形成人体图片。

理想情况下，一个人体档案中的人体图片应属于同一人，但实际中，由于归档算法的局限性，这些人体图片未必属于同一人。关于人体档案的纯度和召回的概念，和人脸档案类似，不再重复阐述，人体档案的纯度和/或召回也可以统称为人体档案的质量，这两个指标的值越高，人体档案的质量越好。同样，人体档案也可能产生分裂的现象，对于存在档案分裂的情况，档案的召回可能会降低。

除了人体图片，人体档案中还可能包含一些附加信息，例如以下信息中的一项或多项：档案中每张人体图片的采集时间，档案中每张人体图片的采集地点，根据档案中的采集地点得到的行人轨迹，等等。

建立人体档案集的方式和建立人脸档案集是类似的，可以概括为：首先获取人体特征集，人体特征集中包括多张人体图片的特征；然后，对人体特征集中的特征进行聚类，并根据聚类结果得到人体档案集，人体档案集的每个人体档案中的人体图片的特征属于同一个簇。

注意，如果在执行步骤S110之前已经获得了人体特征集，则在步骤S110中只需直接对人体特征集进行聚类即可，如果在执行步骤S110之前还未获得人体特征集，则需要从原始图片集(可以和构建人脸档案集的原始图片集是同一个)中进行人体检测、特征提取以获得人体特征集。如果在执行步骤S110之前已经获得了人体档案集，则在步骤S110中只需直接读取人体档案集中的人体档案即可。

步骤S110中获得人脸档案集与获得人体档案集的步骤可以先后执行(顺序无所谓)，也可以并行执行。

步骤S120：获取人脸档案集和人体档案集中的脸人绑定关系。

脸人绑定关系是指人脸档案中的人脸图片和人体档案中的人体图片之间的绑定关系，若某个人脸档案中的一张人脸图片和某个人体档案中的一张人体图片属于同一人，则二者相互绑定，形成一项脸人绑定关系。应当理解，绑定的一张人脸图片和一张人体图片属于同一人，是一种理想情况，无论是通过人工还是通过计算机程序生成脸人绑定关系，都难以保证绝对正确，但发明人已通过大量实验证实，脸人绑定关系的精度还是非常高的。

如果在执行步骤S120之前已经获得了脸人绑定关系，则在步骤S120中只需直接读取脸人绑定关系即可。如果在执行步骤S120之前还未获得脸人绑定关系，则可以分析原始图片集以获得脸人绑定关系。

脸人绑定关系可以包括以下两种中的至少一种：

(1)同帧绑定关系

同帧绑定关系是指所绑定的一张人脸图片和一张人体图片来源于同一原始图片中的同一人。其中，原始图片是指步骤S110中用于构建人脸档案集和人体档案集的原始图片集中的图片。例如，在某张原始图片上先检测人体，在得到的人体框内再检测人脸，若得到的人体图片和人脸图片都符合要求，比如，都是清晰、无遮挡的，则可以将二者绑定。

(2)跨帧绑定关系

跨帧绑定关系是指所绑定的一张人脸图片和一张人体图片分别来源于同一原始视频的不同帧中的同一人。其中，原始视频是指步骤S110中用于构建人脸档案集和人体档案集的原始图片集中的视频帧所构成的视频。例如，在某个原始视频的所有帧中检测人脸和人体，假设第1帧得到的人脸图片最清晰，第5帧得到的人体图片最清晰，则可以将第1帧中的人脸图片和第5帧中的人体图片绑定。

按照同帧绑定关系和跨帧绑定关系的定义，可以利用计算机程序自动分析原始图片集，得到其中的脸人绑定关系。不难看出，脸人绑定关系这一信息具有较为丰富的来源，其获取容易，并且一般而言绑定精度也比较高，从而后续步骤S130中依赖于脸人绑定关系进行档案合并，其基础是可靠的。

脸人绑定关系可以是一对一绑定，也可以是一对多绑定。一对一绑定是指：人脸档案集中的一张人脸图片至多绑定人体档案集中的一张人体图片，且人体档案集中的一张人体图片至多绑定人脸档案集中的一张人脸图片，即一张图片(人脸图片或人体图片)至多出现在一项脸人绑定关系中。一对多绑定是指：人脸档案集中的一张人脸图片可以绑定人体档案集中的多张人体图片，和/或，人体档案集中的一张人体图片可以绑定人脸档案集中的多张人脸图片，即一张图片(人脸图片或人体图片)可以出现在多项脸人绑定关系中。

在允许跨帧绑定时，很容易形成一对多的绑定关系。例如，第1帧得到的人脸图片可以分别和第1～5帧得到的5张人体图片绑定，得到5项脸人绑定关系；又例如，第1帧得到的人体图片可以分别和第1、7、10帧得到的3张人脸图片绑定，得到3项脸人绑定关系，等等。

相较而言，一对一绑定有利于简化绑定关系，从而简化后续步骤S130中的档案合并逻辑，因此在后文主要以一对一绑定为例进行阐述，但也不排除采用一对多绑定的方案。

步骤S130：根据脸人绑定关系，将人脸档案集和人体档案集中对应于同一人的档案进行合并，得到脸人档案集。

档案合并就是将一个档案中的部分或全部的图片加入到另一个档案中的操作。在合并档案时，除了图片会从一个档案加入另一个档案之外，若档案中还包含有附加信息(例如，采集时间、采集地点)，这些附加信息也可以随图片一同加入另一个档案。不过后文为简单起见，主要阐述图片在档案合并时如何处理，对于附加信息则将其忽略。

根据上面对档案合并的定义，档案合并既可能是整体合并，也可能是部分合并，取决于不同的实现方式。例如，人脸档案X中有100张人脸图片，人脸档案Y中有200张人脸图片，人体档案Z中有50张人体图片，将Z的50张人体图片全部加入到X中，使X包含的图片变为150张，这属于整体合并；而如果只将Z的20张人体图片加入到X中，使X包含的图片变为120张，这属于部分合并，对于部分合并的情况，可以将一个档案中的图片合并至多个不同的档案中，比如Z的剩下30张人体图片可以加入到Y中，使Y包含的图片变为230张。

合并档案后，原来的档案是否继续保留是可选的。在一种实现方式中，可以继续保留合并之前的人脸档案及人体档案，因为这些档案可能本来已经在某些应用中被使用。

步骤S130中得到的脸人档案集是至少一个脸人档案的集合。脸人档案和人脸档案或人体档案类似，每个脸人档案对应一个人，其中至少包含图片，还可能包含附加信息。脸人档案可能有三种来源：

(a)由对应于同一人的人脸档案和人体档案合并产生，这类脸人档案中既包含人脸图片，也包含人体图片(当然还可能有合并的附加信息，从略)。

(b)直接将人脸档案作为脸人档案。例如，某个人脸档案未与任何人体档案合并，可以直接将其加入到脸人档案集中，作为一个脸人档案。

(c)直接将人体档案作为脸人档案。例如，某个人体档案未与任何人脸档案合并，可以直接将其加入到脸人档案集中，作为一个脸人档案。

其中，来源(a)是脸人档案集必然要支持的一种档案来源(注意，脸人档案集支持(a)类档案，不等于其中必然会有(a)类档案，比如恰好所有的人脸档案和人体档案都无法进行合并的情况)，来源(b)和(c)则是可选的，例如，在一种实现方式中，脸人档案集中只允许加入来源(a)和(b)的档案，不允许加入来源(c)的档案。

在步骤S130中，合并人脸档案与人体档案是有条件的，即所合并的档案要对应同一人，沿用前面档案X、Y、Z的例子，若进行整体合并，则表明X和Y对应同一行人，若进行部分合并，则表明X和Y的一部分(20张人体图片)对应同一行人、Y的另一部分(30张人体图片)和Z对应同一行人。

在该条件的限制下，并不一定人脸档案集和人体档案集中的每个档案都会参与合并，例如，人脸档案M对应行人C，而人体档案集中的任意一个人体档案都不对应行人C，此时M无法参与合并。另外，步骤S130中合并档案要依赖于脸人绑定关系，但完全可能存在某些人脸图片和某些人体图片对应同一人，但却没有建立脸人绑定关系的情况，例如，人脸档案M对应行人C，人体档案N也对应行人C，但M和N中的图片并未建立脸人绑定关系，因此无从“知道”M和N都对应行人C，此时至少M和N不会合并。综合以上分析，完全有可能存在无法与任何档案合并的档案，这也是脸人档案集中可能存在来源(b)和/或来源(c)的档案的原因。

档案合并至少有两种方向：一种是根据脸人绑定关系，将人脸档案集中的人脸档案向人体档案集中对应于同一人的人体档案进行合并，即保留人体档案中的人体图片不变，将人脸档案中的人脸图片加入到人体档案中，(若人体档案未参与合并则不加入人脸图片)；另一种是根据脸人绑定关系，将人体档案集中的人体档案向人脸档案集中对应于同一人的人脸档案进行合并，即保留人脸档案中的人脸图片不变，将人体档案中的人体图片加入到人脸档案中(若人脸档案未参与合并则不加入人体图片)。

发明人研究发现，由于人脸数据相对来说比较规则，五官之间的相对位置关系基本固定，不像人体可能摆成各种姿势，所以在采用现有检测算法时，人脸的检测结果往往会比人体好一些，从而人脸档案的纯度往往会高于人体档案，因此将人体档案向人脸档案合并，得到的脸人档案质量更佳，基于此发现，后文主要以人体档案向人脸档案合并的方式为例进行介绍，但并非要排除人脸档案向人体档案合并的方式。

对于人体档案集中的每个人体档案，其合并逻辑可以是相同的，因此可以以其中任意一个人体档案为例进行介绍：

由于脸人绑定关系实际上是人脸图片和人体图片的对应关系，所以，若人体档案中的某张人体图片具有脸人绑定关系，则可以根据脸人绑定关系找到其对应的人脸图片，又因为脸人绑定关系中的人脸图片和人体图片是属于同一人的，所以该人体图片和该人脸图片所属的人脸档案也是对应于同一人的，从而至少该人体图片可以合并到该人脸档案中。以此类推，人体档案中所有具有脸人绑定关系的人体图片都可以合并到某个人脸档案中，至于人体档案中不具有脸人绑定关系的人体图片，则存在多种处理策略，例如可以不参与合并，或者可以跟随具有脸人绑定关系的人体图片进行合并，等等，后文会详细介绍其中的一些策略。

处理完人体档案集中所有的人体档案后，脸人档案集也就产生了，根据合并的情况，脸人档案集中的脸人档案可能来源于(a)、(b)、(c)中的一种或多种。

对于人体档案集如何使用，本申请并不限定，例如，可以将其用于行人分析，包括但不限于行人活动范围分析、行人轨迹分析、同行人分析，这些分析可能会用到脸人档案中的附加信息。

综上所述，图1中的归档方法针对人脸档案和人体档案的合并提出了一种新的解决方案，填补了现有技术中的空白，且该方案至少具有以下优势：

其一，脸人绑定关系属于一种比较容易获取的先验信息(“先验”是指在步骤S130中合并档案之前就可以提前获取到的信息)，并且人脸与人体的绑定精度通常都很高，从而有利于人脸档案和人体档案的正确合并。

其二，合并人脸档案与人体档案是一种后处理方法，至少在部分实现方式中，档案合并对人脸档案集和人体档案集本身不产生任何影响，即不会干扰人脸档案和人体档案本身的应用。

其三，利用脸人绑定关系合并人脸档案和人体档案，相当于对档案中的图片在一定程度上进行了重新分类，将更多的属于同一人的图片聚集到同一个档案中，从而有利于提升档案的质量。以人体档案向人脸档案合并的情况为例，如前所述，人体档案纯度相对较低，合并后的脸人档案是以人脸档案为基础的，其纯度大概率会高于合并前的人体档案。前文还提到，对于档案分裂的情况，召回可能会降低，而档案合并则可以将本来属于同一人的分裂档案重新聚合在一起，从而可以提高档案的召回。

其四，合并人脸档案和人体档案能够丰富单个人的信息，从而有利于改善后续的某些分析(例如，行人分析)的结果。以行人轨迹分析为例，轨迹的召回可以理解为一个档案中涵盖的行人轨迹占该行人实际的总轨迹的比例，由于合并产生的脸人档案中包含的图片更多了，所以附带的图片采集时间和采集地点也就更多了，所形成的行人轨迹也就更加完整，轨迹的召回自然也就相应地提高，行人轨迹分析的结果也会相应地改善。

下面，在以上实施例的基础上，继续介绍步骤S130中进行档案合并可能采取的一些策略，这些策略可用于处理人体档案集中的每个人体档案，在实施时这些策略可以全部实施，也可以只实施其中的一项或几项：

策略1：若人体档案中具有脸人绑定关系的人体图片所绑定的人脸图片均属于同一人脸档案，则将人体档案中的人体图片加入到该人脸档案中。

例如，参照图2，每个虚线圆圈表示一个档案，左侧为人体档案，右侧为人脸档案，每个虚线圆圈中的三角形表示档案中的一张图片，人体档案中的三角形表示人体图片，人脸档案中的三角形表示人脸图片，三角形之间的连线表示脸人绑定关系，具有脸人绑定关系的图片用实心三角形表示，位于连线两端，不具有脸人绑定关系的图片用空心三角形表示。

对于人体档案X1，其中包含3张具有脸人绑定关系的人体图片，且这3张人体图片所绑定的人脸图片都属于人脸档案Y1，所以应该将X1中的7张人体图片都加入到Y1中，或者也可以认为是将X1整体合并到Y1中。但需注意，合并X1以后的Y1还不一定是脸人档案集中的脸人档案，因为不排除Y1还可能与人体档案集中的其他人体档案合并。

策略2：若人体档案中具有脸人绑定关系的人体图片所绑定的人脸图片属于多个不同的人脸档案，则对人体档案执行以下步骤：

步骤1：将人体档案中具有脸人绑定关系的人体图片加入到其所绑定的人脸图片所属的人脸档案中。

步骤2：对于人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与人体档案中具有脸人绑定关系的人体图片的特征之间的距离，并根据计算出的距离将该人体图片加入到人体档案中具有脸人绑定关系的人体图片所加入的一个人脸档案中。

其中，人脸图片的特征和人体图片的特征若在步骤S110中已经得到，直接使用即可，若在步骤S110中未得到，则可以从人体图片和人脸图片中提取出特征。特征之间的距离可以采用各种距离定义方式，例如欧式距离、余弦距离等。

例如，参照图2，对于人体档案X2，其中包含2张具有脸人绑定关系的人体图片，分别是人体图片4和人体图片5，且人体图片4所绑定的人脸图片属于人脸档案Y2，人体图片5所绑定的人脸图片属于人脸档案Y3。从而，可以首先将人体图片4加入到Y2中，将人体图片5加入到Y3中。对于人体图片3，则可以计算该图片的特征与人体图片4的特征之间的距离以及和人体图片5的特征之间的距离，然后根据算出的2个距离来决定人体图片3是应该加入到Y2还是Y3(也有可能不加入Y2和Y3中的任何一个)，具体做法可以参照后文的例子。对于人体图片1和人体图片2，可以采取和人体图片3类似的方式，分别计算2个距离，然后根据计算出的距离确定应该与哪个人脸档案合并。

需要注意，计算特征之间的距离还存在更复杂的方式，详见后文关于多轮合并的介绍。另外，合并了X2以后的Y2和Y3还不一定是脸人档案集中的脸人档案，因为不排除Y2和Y3还可能与人体档案集中的其他人体档案合并，比如在图2中Y3还会和人体档案X4合并。

策略3：若人体档案中的人体图片均不具有脸人绑定关系，则不将人体档案与人脸档案集中的人脸档案合并，并且也不将人体档案加入到脸人档案集中，此时可将人体档案丢弃或者继续保留。

例如，参照图2，对于人体档案X3，其中包含的4张人体图片均不具有脸人绑定关系，则X3不会与人脸档案集中的任何人脸档案合并，并且X3也不会加入脸人档案集(即此时脸人档案集中不存在来源(c)的脸人档案)。

以上的策略1～3可以视为一种通过投票进行档案合并的方案，每张具有脸人绑定关系的人体图片所绑定的人脸图片的归属情况视为一票：

若一个人体档案中的投票结果唯一(所绑定的人脸图片均属于同一人脸档案)，则直接进行人体档案和人脸档案的合并；

若一个人体档案中的投票结果不唯一(所绑定的人脸图片属于不同的人脸档案)，则先合并那些具有脸人绑定关系的人体图片，再利用特征之间的距离精细化处理不具有脸人绑定关系的人体图片；

若一个人体档案中的投票结果为0票(人体图片均不具有脸人绑定关系)，表明该人体档案的在人脸档案集中并没对应于同一人的人脸档案(至少从脸人绑定关系的角度来看是如此)，所以不应进行人体档案的合并，避免产生错误的合并结果，另外由于人体档案的纯度常常不高，所以该人体档案也不加入到脸人档案集中，避免影响脸人档案的质量。

可见，策略1～3在进行档案合并时不仅仅是利用了脸人绑定关系，而且还结合了投票的思想，并非根据脸人绑定关系盲目进行合并(例如，仅根据X2中的人体图片4具有的脸人绑定关系，就直接将X2与Y2合并)，从而有利于得到高质量的脸人档案。

应当理解，档案合并可以采用的策略有很多，不限于上述策略1～3。例如，对于人体档案中不具有的脸人绑定关系人体图片，也可以直接不参与合并；又例如，策略1也可以改为，若人体档案中具有脸人绑定关系的人体图片所绑定的人脸图片中的大部分(比如，大于90％)属于同一人脸档案，则将人体档案中的人体图片加入到该人脸档案中，等等。

下面继续介绍策略2的步骤2的一些可能的实现方式：

方式1：

对于人体档案中不具有脸人绑定关系的每张人体图片，首先计算该人体图片的特征与人体档案中具有脸人绑定关系的人体图片的特征之间的距离，然后确定计算出的距离中的最小距离，最后将该人体图片加入到目标人脸档案中，目标人脸档案是指：人体档案中具有脸人绑定关系的人体图片中、对应于最小距离的人体图片所加入的人脸档案。

例如，参照图2，对于人体图片3，分别计算该图片的特征与人体图片4的特征之间的距离以及与人体图片5的特征之间的距离，得到2个距离，分别记为d34和d35，假设d34＜d35，则d34为最小距离，人体图片3应该加入到人体图片4所加入的人脸档案(目标人脸档案)，即Y2中。对于人体图片1和人体图片2，可以采取和人体图片3类似的处理方式，不再赘述。

简单总结方式1：特征之间的距离越小，表明人体图片(其中可能包含人脸)和人脸图片相似度越高，越有可能属于同一人，从而根据特征之间的最小距离进行档案合并是合理的，有利于得到高质量的脸人档案。

可选的，方式1在将人体图片加入到目标人脸档案之前，还可以先判断该最小距离是否小于一个距离阈值，若小于距离阈值，才将该人体图片加入到目标人脸档案中，否则，该人体图片可以不加入任何人脸档案。上述距离阈值可以是一个预设的值，或者，距离阈值也可以是一个临时计算的值。

可以用数学公式表示这一判断条件：d<th，其中，d为最小距离，th为距离阈值，若满足d<th，则合并d对应的人体图片。

在该可选方案中，通过设置距离阈值来判断是否需要合并人体图片，可以避免将相对意义上相似度最高(对应最小距离)但绝对意义上相似度较低(不小于距离阈值)的人体图片加入到人脸档案中，从而有利于得到高质量的脸人档案。

进一步的，针对不同的人体图片还可以设置不同的距离阈值，例如，距离阈值可以设置为人体图片中人体的属性相关，换句话说，可以根据人体的属性对距离阈值进行调节，使得距离阈值的设置更加合理。例如，人体的属性可以包括、但不限于人体的朝向属性、衣着颜色属性、载具属性、遮挡属性、环境属性等等，影响距离阈值的人体的属性可以为一项或多项。

下面以人体的朝向属性为例，介绍如何根据人体的属性设置距离阈值，对于其他人体属性，也可以参考设置：

人体的朝向属性的可取值包括正面、侧面和背面，通过分析人体图片可以得到人体的朝向属性，例如，可以用一个神经网络模型预测人体的朝向属性。若人体图片中人体的朝向属性为正面，则距离阈值为第一距离阈值；若人体图片中人体的朝向属性为侧面，则距离阈值为第二距离阈值；若人体图片中人体的朝向属性为背面，则距离阈值为第三距离阈值。其中，第二距离阈值大于第一距离阈值，且第三距离阈值大于第二距离阈值。

可以用数学公式表示朝向属性对距离阈值的影响：若人体图片中人体的朝向属性为正面，则要进行合并的条件为d<th，其中d为最小距离，th为第一距离阈值；若人体图片中人体的朝向属性为侧面，则要进行合并的条件为d<th*r_side，其中th*r_side为第二距离阈值，r_side为一个调整系数，且r_side>1，例如可以取1.2、1.3等；若人体图片中人体的朝向属性为背面，则要进行合并的条件为d<th*r_back，其中th*r_back为第三距离阈值，r_back为一个调整系数，且r_back>r_side，例如可以取1.4、1.5等。

在上述数学公式中，第一距离阈值为基准，第二、第三距离阈值都是在此基准的基础上乘上调整系数得到的，当然第二、第三距离阈值也可以直接表示为一个数值，而非上述乘积的形式。

之所以要根据人体的朝向属性设置不同的距离阈值，是因为发明人研究发现，具有脸人绑定关系的人体图片的朝向属性多为正面，没有脸人绑定关系的人体图片的朝向属性多为侧面或背面，因为在构建脸人绑定关系时，很可能会选择质量更好的人体图片用于绑定。

从而，两张正面人体图片的特征之间的距离一般小于一张正面人体图片的特征与一张侧面或背面人体图片的特征之间的距离，所以对于不具有脸人绑定关系的人体图片是侧面或背面的情况，距离阈值可以适当设置的大一些，以平衡这种因朝向属性上的差异带来的距离变化，避免轻易否定掉一些本来可以进行合并的侧面或背面人体图片。又由于一张正面人体图片的特征与一张侧面人体图片的特征之间的距离，一般小于一张正面人体图片的特征与一张背面人体图片的特征之间的距离，所以可以将第三距离阈值设置为大于第二距离阈值。

人体的衣着颜色属性可以指人体图片中人的衣着颜色，例如，黑色、白色、红色、多色等。人体的载具属性可以指人体图片中的人是否使用载具，载具包括自行车、平衡车、滑板、电动车、汽车等，也可以指人具体使用的是哪种载具。人体的遮挡属性可以指人体图片中的人体是否存在遮挡。人体的环境属性可以指人体图片中的人所处的环境，例如，白天、黑夜、室内、室外等。

方式2：

步骤a：获取人体档案中不具有脸人绑定关系的人体图片的特征对应的概率密度，并确定计算出的概率密度中的最大概率密度。

人体图片的特征可以表示为特征向量的形式，而n维(n＞1)特征向量可以视为n维空间中的一个特征点，从而人体档案中的人体图片的特征形成了n维空间中的一个点集，n维空间中任意一个位置的概率密度表示了该位置附近的特征点的密集程度，由于每个特征点自身也是n维空间中的一个位置，所以每张人体图片的特征都对应一个概率密度。

根据人体档案中所有人体图片的特征，可以计算出其中任意一张人体图片的特征对应的概率密度。或者，在步骤S110中，若人体档案集是通过聚类得到的，一些聚类算法(比如，density peak)本来就要计算特征对应的概率密度，可以直接使用步骤S110中的计算结果。

为后文表述方便，将人体档案中与最大概率密度对应的人体图片称为基准人体图片，与其余概率密度对应的人体图片称为剩余人体图片。例如，参照图2，经过计算，人体图片3为基准人体图片，人体图片1和人体图片2为剩余人体图片。

步骤b：计算基准人体图片的特征与人体档案中具有脸人绑定关系的人体图片的特征之间的第一距离，确定计算出的第一距离中的最小第一距离，并将基准人体图片加入到第一目标人脸档案，第一目标人脸档案是指人体档案中具有脸人绑定关系的人体图片中、对应于最小第一距离的人体图片所加入的人脸档案。一旦基准人体图片加入到第一目标人脸档案，则可以将基准人体图片视为人体档案中具有脸人绑定关系的人体图片，在此基础上再执行后续步骤。

注意，步骤b中的“第一距离”只是为了便于和下面的“第二距离”区分，“第一”并不具有其他特殊含义，步骤c中的“第二距离”也应类似理解。

例如，参照图2，对于人体图片3，分别计算该图片的特征与人体图片4的特征之间的第一距离以及和人体图片5的特征之间的第一距离，得到2个第一距离，分别记为d34和d35，假设d34＜d35，则d34为最小第一距离，人体图片3应该加入到人体图片4所加入的人脸档案(第一目标人脸档案)，即Y2中。

进一步的，参照方式1，在将基准人体图片加入到第一目标人脸档案之前，还可以先判断第一距离是否小于第一距离阈值，若小于第一距离阈值，才将基准人体图片加入到第一目标人脸档案中，否则，基准人体图片可以不加入任何人脸档案，并且也不将其视为人体档案中具有脸人绑定关系的人体图片。同样类似于方式1，第一距离阈值的取值也可以和基准人体图片中人体的属性相关。

步骤c：对于每张剩余人体图片，计算该剩余人体图片的特征与人体档案中具有脸人绑定关系的人体图片的特征之间的第二距离，确定计算出的第二距离中的最小第二距离，并将该剩余人体图片加入到第二目标人脸档案中，第二目标人脸档案是指人体档案中具有脸人绑定关系的人体图片中、对应于最小第二距离的人体图片所加入的人脸档案。

例如，参照图2，将人体图片3也视为具有脸人绑定关系的人体图片，对于人体图片1，分别计算该图片的特征与人体图片4的特征之间的第二距离、与人体图片5的特征之间的第二距离以及与人体图片3的特征之间的第二距离，得到3个第二距离，分别记为d14、d15和d13，假设d13＜d14<d15，则d13为最小第二距离，人体图片1应该加入到人体图片3所加入的人脸档案(第二目标人脸档案)，即Y2中。对于人体图片2，可以采取和人体图片1类似的处理方式，不再赘述。

进一步的，参照方式1，在将剩余人体图片加入到第二目标人脸档案之前，还可以先判断第二距离是否小于第二距离阈值(和第一距离阈值可以相同也可以不同)，若小于第二距离阈值，才将剩余人体图片加入到第二目标人脸档案中，否则，剩余人体图片可以不加入任何人脸档案。同样类似于方式1，第二距离阈值的取值也可以和剩余人体图片中人体的属性相关。

方式2中的第一目标人脸档案只有一个，第二目标人脸档案则可能有多个，每张剩余人体图片都有自己对应的第二目标人脸档案，当然不排除这些第二目标人脸档案中存在重复的人脸档案。

简单总结方式2：方式2对于人体档案中不具有脸人绑定关系的人体图片分两轮进行合并，第一轮先合并对应的概率密度最高的基准人体图片，第二轮将基准人体图片也视为具有脸人绑定关系的人体图片，再合并剩余人体图片，两轮合并时都是选择距离最近的人脸图片所在的人脸档案加入。

在第二轮合并时，由于将基准人体图片也视为具有脸人绑定关系的人体图片，而剩余人体图片对应的概率密度都不及基准人体图片(当然不排除本来具有脸人绑定关系的人体图片对应的概率密度大于基准人体图片)，故此时所有具有脸人绑定关系的人体图片的特征大概率覆盖了该人体档案中人体图片的特征分布最集中的位置，即簇中心。话句话说，剩余人体图片的特征与簇中心相距不会太远，从而计算剩余人体图片的特征与簇中心的第二距离，并基于得到的最小第二距离确定剩余人体图片应加入的人脸档案更为合理。特别是对于具有脸人绑定关系的人体图片的特征和不具有脸人绑定关系的人体图片的特征在簇中分布不均匀的情况，这两类特征之间的距离间隔较远，直接计算距离并进行档案合并和可能会导致质量较差的合并结果。

例如，换一个角度看待图2，将图2中的三角形理解为对应图片的特征，将每个虚线圆圈理解为一个簇中特征分布的区域。可以看出，人体图片3的特征大致上位于簇中心，人体图片1的特征、人体图片2的特征、人体图片4的特征、人体图片5的特征则位于簇中比较边缘的位置。并且，人体图片1的特征和人体图片2的特征，与人体图片4的特征和人体图片5的特征之间的距离是比较远的，即具有脸人绑定关系的人体图片的特征和不具有脸人绑定关系的人体图片的特征在簇中分布不均匀。

考虑人体图片1，若直接计算该图片的特征与人体图片4的特征之间的距离d14、与人体图片5的特征之间的距离d15，则d14和d15都是比较大的，假设d14为最小距离，若根据距离阈值判断是否应该合并人体图片1，则由于d14的值较大，判断结果很可能是不合并。

但是，若通过两轮合并，在第一轮合并后将人体图片3也视为具有脸人绑定关系的人体图片，则第二轮合并时还会计算人体图片1的特征与人体图片3的特征之间的距离d13，从图2可知，d13的值是比较小的，同时也是最小第二距离，在此基础上再根据第二距离阈值判断是否应该合并人体图片1，则由于d13的值较小，判断结果很可能是要合并，这样就有效避免了直接将人体图片1排除在合并对象之外的情况，有利于在脸人档案中合并入更多的人体图片，提高脸人档案的质量。

对于人体图片2可以类似人体图片1分析，不再赘述。

需要指出，若允许人体档案中不具有脸人绑定关系的人体图片分成多轮进行合并(比如，在方式2中分成两轮进行合并)，并且允许在不同的合并轮次中，人体档案中具有脸人绑定关系的人体图片的数量是可变的(比如，在方式2中，第一轮合并之后该数量可能会增加1)，则方式2也可以视为方式1的一种特例，此时方式2中的第一目标人脸档案和第二目标人脸档案都属于方式1中的目标人脸档案。

图3示出了本申请实施例提供的归档装置200的一种可能的结构。参照图3，归档装置200包括：

档案集获取模块210，用于获取人脸档案集和人体档案集，所述人脸档案集中的每个人脸档案对应一个人，且包括至少一张人脸图片，所述人体档案集中的每个人体档案对应一个人，且包括至少一张人体图片；

绑定关系获取模块220，用于获取所述人脸档案集和所述人体档案集中的脸人绑定关系，所述脸人绑定关系是指所述人脸档案中的人脸图片和所述人体档案中的人体图片之间的绑定关系，若一张人脸图片和一张人体图片属于同一人，则二者相互绑定；

档案合并模块230，用于根据所述脸人绑定关系，将所述人脸档案集和所述人体档案集中对应于同一人的档案进行合并，得到脸人档案集。

在归档装置200的一种实现方式中，档案合并模块230根据所述脸人绑定关系，将所述人脸档案集和所述人体档案集中对应于同一人的档案进行合并，包括：根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并。

在归档装置200的一种实现方式中，档案合并模块230根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并，包括：对于所述人体档案集中的每个人体档案，若其中具有脸人绑定关系的人体图片所绑定的人脸图片均属于同一人脸档案，则将该人体档案中的人体图片加入到该人脸档案中。

在归档装置200的一种实现方式中，档案合并模块230根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并，包括：对于所述人体档案集中的每个人体档案，若其中具有脸人绑定关系的人体图片所绑定的人脸图片属于多个不同的人脸档案，则执行以下步骤：将该人体档案中具有脸人绑定关系的人体图片加入到其所绑定的人脸图片所属的人脸档案中；对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，并根据计算出的距离将该人体图片加入到该人体档案中具有脸人绑定关系的人体图片所加入的一个人脸档案中。

在归档装置200的一种实现方式中，档案合并模块230对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，并根据计算出的距离将该人体图片加入到该人体档案中具有脸人绑定关系的人体图片所加入的一个人脸档案中，包括：对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，确定计算出的距离中的最小距离，并将该人体图片加入到目标人脸档案中，所述目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小距离的人体图片所加入的人脸档案。

在归档装置200的一种实现方式中，档案合并模块230对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，确定计算出的距离中的最小距离，并将该人体图片加入到目标人脸档案中，包括：获取该人体档案中不具有脸人绑定关系的人体图片的特征对应的概率密度，并确定计算出的概率密度中的最大概率密度，所述最大概率密度对应的人体图片为基准人体图片，其余概率密度对应的人体图片为剩余人体图片；计算所述基准人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的第一距离，确定计算出的第一距离中的最小第一距离，并将所述基准人体图片加入到第一目标人脸档案中，所述第一目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小第一距离的人体图片所加入的人脸档案；将所述基准人体图片作为该人体档案中具有脸人绑定关系的人体图片，对于每张剩余人体图片，计算该剩余人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的第二距离，确定计算出的第二距离中的最小第二距离，并将该剩余人体图片加入到第二目标人脸档案中，所述第二目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小第二距离的人体图片所加入的人脸档案；其中，所述第一目标人脸档案和所述第二目标人脸档案均属于所述目标人脸档案。

在归档装置200的一种实现方式中，档案合并模块230将该人体图片加入到目标人脸档案中，包括：若所述最小距离小于距离阈值，则将该人体图片加入到所述目标人脸档案中。

在归档装置200的一种实现方式中，所述距离阈值与该人体图片中人体的属性相关。

在归档装置200的一种实现方式中，所述人体的属性包括人体的以下至少一项属性：朝向属性；衣着颜色属性；载具属性；遮挡属性；环境属性。

在归档装置200的一种实现方式中，所述距离阈值与该人体图片中人体的朝向属性相关，所述朝向属性的可取值包括正面、侧面和背面；若该人体图片中人体的朝向属性为正面，则所述距离阈值为第一距离阈值；若该人体图片中人体的朝向属性为侧面，则所述距离阈值为第二距离阈值，且所述第二距离阈值大于所述第一距离阈值；若该人体图片中人体的朝向属性为背面，则所述距离阈值为第三距离阈值，且所述第三距离阈值大于所述第二距离阈值。

在归档装置200的一种实现方式中，对于所述人体档案集中的每个人体档案，若其中的人体图片均不具有脸人绑定关系，则不将该人体档案与所述人脸档案集中的人脸档案合并，且不将该人体档案加入到所述脸人档案集中。

在归档装置200的一种实现方式中，所述脸人绑定关系包括同帧绑定关系和/或跨帧绑定关系；其中，所述同帧绑定关系是指所绑定的一张人脸图片和一张人体图片来源于同一原始图片中的同一人，所述跨帧绑定关系是指所绑定的一张人脸图片和一张人体图片分别来源于同一原始视频的不同帧中的同一人。

在归档装置200的一种实现方式中，所述人脸档案集中的一张人脸图片至多绑定所述人体档案集中的一张人体图片，且所述人体档案集中的一张人体图片至多绑定所述人脸档案集中的一张人脸图片。

在归档装置200的一种实现方式中，档案集获取模块210获取人脸档案集和人体档案集，包括：获取人脸特征集以及人体特征集，所述人脸特征集中包括多张人脸图片的特征，所述人体特征集中包括多张人体图片的特征；对所述人脸特征集中的特征进行聚类，并根据聚类结果得到所述人脸档案集，所述人脸档案集的每个人脸档案中的人脸图片的特征属于同一个簇；以及，对所述人体特征集中的特征进行聚类，并根据聚类结果得到所述人体档案集，所述人体档案集的每个人体档案中的人体图片的特征属于同一个簇。

本申请实施例提供的归档装置200，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法实施例中相应内容。

图4示出了本申请实施例提供的电子设备300的一种可能的结构。参照图4，电子设备300包括：处理器310、存储器320以及通信接口330，这些组件通过通信总线340和/或其他形式的连接机构(未示出)互连并相互通讯。

其中，处理器310包括一个或多个(图中仅示出一个)，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器310可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(Network Processor，简称NP)或者其他常规处理器；还可以是专用处理器，包括图形处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network ProcessingUnit，简称NPU)、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器310为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器320包括一个或多个(图中仅示出一个)，其可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory，简称EEPROM)等。

处理器310以及其他可能的组件可对存储器320进行访问，读和/或写其中的数据。特别地，在存储器320中可以存储一个或多个计算机程序指令，处理器310可以读取并运行这些计算机程序指令，以实现本申请实施例提供的归档方法。

通信接口330包括一个或多个(图中仅示出一个)，可以用于和其他设备进行直接或间接地通信，以便进行数据的交互。通信接口330可以包括进行有线和/或无线通信的接口。

可以理解，图4所示的结构仅为示意，电子设备300还可以包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。例如，电子设备300还可能包括图像采集模块(例如，摄像头)，用于拍摄照片或视频，电子设备300可以从拍摄到的照片或者视频中获得人脸图片以及人体图片，并构建脸人绑定关系。

图4中所示的各组件可以采用硬件、软件或其组合实现。电子设备300可能是实体设备，例如服务器、PC机、笔记本电脑、平板电脑、手机、摄像机、照相机、抓拍机、机器人等，也可能是虚拟设备，例如虚拟机、容器等。并且，电子设备300也不限于单台设备，也可以是多台设备的组合或者大量设备构成的集群。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，这些计算机程序指令被处理器读取并运行时，执行本申请实施例提供的归档方法。例如，计算机可读存储介质可以实现为图4中电子设备300中的存储器320。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序指令，这些计算机程序指令被处理器读取并运行时，执行本申请实施例提供的归档方法。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种归档方法，其特征在于，包括：

获取人脸档案集和人体档案集，所述人脸档案集中的每个人脸档案对应一个人，且包括至少一张人脸图片，所述人体档案集中的每个人体档案对应一个人，且包括至少一张人体图片；

获取所述人脸档案集和所述人体档案集中的脸人绑定关系，所述脸人绑定关系是指所述人脸档案中的人脸图片和所述人体档案中的人体图片之间的绑定关系，若一张人脸图片和一张人体图片属于同一人，则二者相互绑定；

根据所述脸人绑定关系，将所述人脸档案集和所述人体档案集中对应于同一人的档案进行合并，得到脸人档案集。

2.根据权利要求1所述的归档方法，其特征在于，所述根据所述脸人绑定关系，将所述人脸档案集和所述人体档案集中对应于同一人的档案进行合并，包括：

根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并。

3.根据权利要求2所述的归档方法，其特征在于，所述根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并，包括：

对于所述人体档案集中的每个人体档案，若其中具有脸人绑定关系的人体图片所绑定的人脸图片均属于同一人脸档案，则将该人体档案中的人体图片加入到该人脸档案中。

4.根据权利要求2所述的归档方法，其特征在于，所述根据所述脸人绑定关系，将所述人体档案集中的人体档案向所述人脸档案集中对应于同一人的人脸档案进行合并，包括：

对于所述人体档案集中的每个人体档案，若其中具有脸人绑定关系的人体图片所绑定的人脸图片属于多个不同的人脸档案，则执行以下步骤：

将该人体档案中具有脸人绑定关系的人体图片加入到其所绑定的人脸图片所属的人脸档案中；

对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，并根据计算出的距离将该人体图片加入到该人体档案中具有脸人绑定关系的人体图片所加入的一个人脸档案中。

5.根据权利要求4所述的归档方法，其特征在于，所述对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，并根据计算出的距离将该人体图片加入到该人体档案中具有脸人绑定关系的人体图片所加入的一个人脸档案中，包括：

对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，确定计算出的距离中的最小距离，并将该人体图片加入到目标人脸档案中，所述目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小距离的人体图片所加入的人脸档案。

6.根据权利要求5所述的归档方法，其特征在于，所述对于该人体档案中不具有脸人绑定关系的每张人体图片，计算该人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的距离，确定计算出的距离中的最小距离，并将该人体图片加入到目标人脸档案中，包括：

获取该人体档案中不具有脸人绑定关系的人体图片的特征对应的概率密度，并确定计算出的概率密度中的最大概率密度，所述最大概率密度对应的人体图片为基准人体图片，其余概率密度对应的人体图片为剩余人体图片；

计算所述基准人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的第一距离，确定计算出的第一距离中的最小第一距离，并将所述基准人体图片加入到第一目标人脸档案中，所述第一目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小第一距离的人体图片所加入的人脸档案；

将所述基准人体图片作为该人体档案中具有脸人绑定关系的人体图片，对于每张剩余人体图片，计算该剩余人体图片的特征与该人体档案中具有脸人绑定关系的人体图片的特征之间的第二距离，确定计算出的第二距离中的最小第二距离，并将该剩余人体图片加入到第二目标人脸档案中，所述第二目标人脸档案为该人体档案中具有脸人绑定关系的人体图片中、对应于所述最小第二距离的人体图片所加入的人脸档案；

其中，所述第一目标人脸档案和所述第二目标人脸档案均属于所述目标人脸档案。

7.根据权利要求5或6所述的归档方法，其特征在于，所述将该人体图片加入到目标人脸档案中，包括：

若所述最小距离小于距离阈值，则将该人体图片加入到所述目标人脸档案中；

其中，所述距离阈值与该人体图片中人体的属性相关，所述人体的属性包括人体的以下至少一项属性：

朝向属性；

衣着颜色属性；

载具属性；

遮挡属性；

环境属性。

8.根据权利要求7所述的归档方法，其特征在于，所述距离阈值与该人体图片中人体的朝向属性相关，所述朝向属性的可取值包括正面、侧面和背面；

若该人体图片中人体的朝向属性为正面，则所述距离阈值为第一距离阈值；

若该人体图片中人体的朝向属性为侧面，则所述距离阈值为第二距离阈值，且所述第二距离阈值大于所述第一距离阈值；

若该人体图片中人体的朝向属性为背面，则所述距离阈值为第三距离阈值，且所述第三距离阈值大于所述第二距离阈值。

9.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-8中任一项所述的方法。

11.一种电子设备，其特征在于，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1-8中任一项所述的方法。

Images