CN115953650B - 特征融合模型的训练方法和装置 - Google Patents

Abstract

本申请实施例公开了一种特征融合模型的训练方法和装置。该方法通过人脸图像和人体图像分别聚类得到人脸聚类簇和人体聚类簇，并利用人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；然后将第一行人档案中的人脸图像和人体图像进行特征融合和聚类，得到人脸人体聚类簇；若不存在目标人脸图像或者包含人脸图像的人体图像，将人脸人体聚类簇中的图像从第一行人档案中删除，得到第二行人档案；进而从第二行人档案中筛选出人脸图像和人体图像对特征融合模型进行训练。通过本申请，解决了相关技术中由于无法获取高置信度的行人档案的技术问题，达到了提高行人档案的准确性的技术效果。

Description

特征融合模型的训练方法和装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种特征融合模型的训练方法和装置。

背景技术

在建立档案过程中，将属于同一个人的图像归为同一个行人档案，属于不同人的图像归属为不同的行人档案。然而，针对海量图像的建档，现有方案一：采用传统人工打标签方式建档，会导致工作量大，效率低以及人工失误带来的误差等问题。现有方案二：一般聚焦在纯人脸档案，并补充展示人体、车辆等信息的全息档案。在建档过程中，采用最大相似度归档或者单一因素（人脸或人体）进行图像聚类，准确性较低，不同的结果也无法统一管理；而且，建档后的行人档案可能会存在噪声图像，若无法有效剔除噪声图像，就会大大降低行人档案的准确性。另外，采用现有方案获取的行人档案作为训练数据，用于训练相关的模型，由于训练数据本身的置信度较低，显然无法进一步提升模型的识别效果。

针对上述的问题，尚未提出有效地解决方案。

发明内容

本申请实施例提供了一种特征融合模型的训练方法和装置，以至少解决相关技术中由于无法获取高置信度的行人档案的技术问题。

根据本申请实施例的一个方面，提供了一种训练数据处理方法，包括：获取预定时间周期内采集的行人的人脸图像和人体图像，并对所述人脸图像和所述人体图像分别聚类，得到人脸聚类簇和人体聚类簇；根据所述人体聚类簇中的人体图像内的人脸图像和所述人脸聚类簇中的人脸图像，关联所述人脸聚类簇和所述人体聚类簇，得到第一行人档案；将所述第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；在不存在目标人脸图像或者包含人脸图像的人体图像的情况下，将所述人脸人体聚类簇中的人脸图像和人体图像从所述第一行人档案中删除，得到第二行人档案，其中，所述目标人脸图像为从所述第一行人档案中选取的人脸图像。

可选地，在得到第二行人档案之后，所述方法还包括：将所述第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像，并判断所述第一人脸图像的图像采集地点和所述第二人脸图像的图像采集地点之间的第一时空可达性，其中，所述第一人脸图像为从所述第二行人档案中选取的人脸图像，所述第二人脸图像为除从所述第二行人档案中选取的人脸图像以外的人脸图像；在不满足所述第一时空可达性的情况下，将所述第二人脸图像从所述第二行人档案中删除。

可选地，在将所述第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像之后，所述方法还包括：获取所述第一人脸图像的人脸特征和所述第二人脸图像的人脸特征之间的人脸特征相似度；在所述人脸特征相似度低于预设人脸特征相似度阈值的情况下，将所述第二人脸图像从所述第二行人档案中删除。

可选地，在得到第二行人档案之后，所述方法还包括：将所述第二行人档案中的人体图像分类为第一人体图像和第二人体图像，并判断所述第一人体图像的图像采集地点和所述第二人体图像的图像采集地点之间的第二时空可达性，其中，所述第一人体图像包含人脸图像，所述第二人体图像不含人脸图像；在不满足所述第二时空可达性的情况下，将所述第二人体图像从所述第二行人档案中删除。

可选地，在将所述第二行人档案中的人体图像分类为第一目标图像和第二目标图像之后，所述方法还包括：获取所述第一人体图像的人体特征和所述第二人体图像的人体特征之间的人体特征相似度；在所述人体特征相似度低于预设人体特征相似度阈值的情况下，将所述第二人体图像从所述第二行人档案中删除。

可选地，在得到第二行人档案之后，所述方法还包括：获取同一行人的多个第二行人档案，其中，每个第二行人档案对应于不同的预定时间周期；对所述多个第二行人档案内的人体图像进行服装分类，得到所述同一行人的服装分类结果，其中，所述服装分类结果包括不同服装类型对应的人脸图像和人体图像。

根据本申请实施例的另一个方面，还提供了一种特征融合模型的训练方法，包括：根据上述中任一项所述的训练数据处理方法，获取预定时间周期的第二行人档案；从所述第二行人档案中筛选出人脸图像和人体图像作为训练数据，使用所述训练数据对特征融合模型进行训练。

可选地，所述特征融合模型是根据预定行人档案内的人脸图像和人体图像或者历史时间周期的第二行人档案内的人脸图像和人体图像训练得到的，其中，所述历史时间周期包括所述预定时间周期之前的至少一个时间周期。

根据本申请实施例的另一个方面，还提供了一种训练数据处理装置，包括：第一处理模块，用于获取预定时间周期内采集的行人的人脸图像和人体图像，并对所述人脸图像和所述人体图像分别聚类，得到人脸聚类簇和人体聚类簇；第二处理模块，用于根据所述人体聚类簇中的人体图像内的人脸图像和所述人脸聚类簇中的人脸图像，关联所述人脸聚类簇和所述人体聚类簇，得到第一行人档案；第三处理模块，用于将所述第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；第四处理模块，用于在不存在目标人脸图像或者包含人脸图像的人体图像的情况下，将所述人脸人体聚类簇中的人脸图像和人体图像从所述第一行人档案中删除，得到第二行人档案，其中，所述目标人脸图像为从所述第一行人档案中选取的人脸图像。

根据本申请实施例的另一个方面，还提供了一种特征融合模型的训练装置，包括：获取模块，用于根据上述中任一项所述的训练数据处理方法，获取预定时间周期的第二行人档案；训练模块，用于从所述第二行人档案中筛选出人脸图像和人体图像作为训练数据，使用所述训练数据对特征融合模型进行训练。

根据本申请实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述中任一项所述的方法的步骤。

根据本申请实施例的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述中任一项所述的方法的步骤。

在本申请实施例中，通过人脸图像和人体图像分别聚类得到人脸聚类簇和人体聚类簇，并利用人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；然后将第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；若不存在目标人脸图像或者包含人脸图像的人体图像，将人脸人体聚类簇中的人脸图像和人体图像从第一行人档案中删除，得到第二行人档案，进而解决了相关技术中由于无法获取高置信度的行人档案的技术问题，达到了提高行人档案的准确性的技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种训练数据处理方法的流程图；

图2为本申请实施例提供的一种特征融合模型的训练方法的流程图；

图3为本申请实施例提供的一种训练数据处理装置的示意图；

图4为本申请实施例提供的一种特征融合模型的训练装置的示意图；

图5为本申请实施例提供的一种目标聚档系统的结构图；

图6为本申请实施例提供的一种图像采集单元的示意图；

图7为本申请实施例提供的一种视频分析模块处理视频流的流程图；

图8为本申请实施例提供的一种原始的档案后处理逻辑的示意图；

图9为本申请实施例提供的一种使用融合模型进行档案后处理的示意图；

图10为本申请实施例提供的一种行人档案内人体图像进行服装分类的流程图；

图11为本申请实施例提供的一种训练数据组织的示意图；

图12为本申请实施例提供的一种特征融合模型的训练方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为了便于描述，下面对本申请中出现的部分名词或术语进行详细说明。

目标聚档：把属于同一行人的人脸图像、人体图像和该目标所驾驶的车辆图片等汇聚在一起，并结合抓拍时间和空间信息，能够快速、准确的绘制目标活动路线等信息。

行人重识别：是利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测技术相结合，可广泛应用于智能视频监控、智能安保等领域。

自主学习：指随着已部署系统的持续运行，利用汇聚档案的高置信数据，进行行人重识别模型自主进化，阶段性触发并更新模型，提升模型能力，进而持续提升档案的汇聚效果。

根据本申请实施例的一个方面，提供了一种训练数据处理方法，图1为本申请实施例提供的一种训练数据处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取预定时间周期内采集的行人的人脸图像和人体图像，并对人脸图像和人体图像分别聚类，得到人脸聚类簇和人体聚类簇；

步骤S104，根据人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；

步骤S106，将第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；

步骤S108，在不存在目标人脸图像或者包含人脸图像的人体图像的情况下，将人脸人体聚类簇中的人脸图像和人体图像从第一行人档案中删除，得到第二行人档案，其中，目标人脸图像为从第一行人档案中选取的人脸图像。

另外，在存在目标人脸图像或者包含人脸图像的人体图像的情况下，将人脸人体聚类簇中的人脸图像和人体图像在第一行人档案中保留，得到第二行人档案。

需要说明的是，不同行人的人脸图像和人体图像采用不同的身份标签进行标识，每个身份标签对应不同的行人档案。

通过上述步骤，可以通过人脸图像和人体图像分别聚类得到人脸聚类簇和人体聚类簇，并利用人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；然后将第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；若不存在目标人脸图像或者包含人脸图像的人体图像，将人脸人体聚类簇中的人脸图像和人体图像从第一行人档案中删除，得到第二行人档案，进而解决了相关技术中由于无法获取高置信度的行人档案的技术问题，达到了提高行人档案的准确性的技术效果。

在一种可选的实施例中，对人脸图像和人体图像分别聚类，得到人脸聚类簇和人体聚类簇，包括：提取人脸图像的人脸特征，并将人脸特征进行聚类，得到人脸聚类簇；提取人体图像的人体特征，并将人体特征进行聚类，得到人体聚类簇。

在对人脸图像进行聚类过程中，通过人脸识别模型提取人脸图像的人脸特征，并利用预定聚类算法将人脸特征进行聚类，得到人脸聚类簇。另外，在对人体图像进行聚类过程中，通过人体识别模型提取人体图像的人体特征，并利用预定聚类算法将人体特征进行聚类，得到人体聚类簇。需要说明的是，上述预定聚类算法包括但不限于基于密度的聚类算法(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)、基于网络的聚类算法(infomap)等。此外，本申请的实施例中对于人脸聚类簇的数量和人体聚类簇的数量并不做任何限定。

进一步地，上述人体识别模型又称为行人重识别模型，其是根据预定行人档案内的人体图像或者历史时间周期的第二行人档案内的人体图像训练得到的，其中，历史时间周期包括预定时间周期之前的至少一个时间周期。

在一种可选的实施例中，在得到第二行人档案之后，上述方法还包括：将第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像，并判断第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一时空可达性，其中，第一人脸图像为从第二行人档案中选取的人脸图像，第二人脸图像为除从第二行人档案中选取的人脸图像以外的人脸图像；在不满足第一时空可达性的情况下，将第二人脸图像从第二行人档案中删除。

可选地，获取第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一空间距离，包括：获取第一人脸图像的图像采集地点的第一经纬度和第二人脸图像的图像采集地点的第二经纬度；根据第一经纬度和第二经纬度计算出第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一空间距离。

进一步地，计算第一空间距离可以采用如下的表达式：

其中，

表示第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一空间距离；/>

表示第二人脸图像的图像采集地点的经度；/>

表示第一人脸图像的图像采集地点的经度；/>

表示第二人脸图像的图像采集地点的纬度；/>

表示第一人脸图像的图像采集地点的纬度。

可选地，将第一空间距离和第一空间距离阈值进行比较，并基于比较结果判定是否满足时空可达性，包括：在第一空间距离大于第一空间距离阈值时，则判定不满足时空可达性；或者，在第一空间距离小于或者等于第一空间距离阈值时，则判定满足第一时空可达性。

在本申请的上述实施例中，通过将第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一空间距离和第一空间距离阈值进行比较，利用比较结果来实现判定是否满足第一时空可达性。

在一种可选的实施例中，获取第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一空间距离阈值，包括：获取第一人脸图像的图像采集时间和第二人脸图像的图像采集时间之间的第一时间间隔；在第一人脸图像的运动姿态和第二人脸图像的运动姿态相同的情况下，获取运动姿态对应的预定运动速度；基于第一时间间隔和预定运动速度，计算出第一空间距离阈值。

进一步地，计算第一空间距离阈值可以采用如下的表达式：

其中，

表示第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一空间距离阈值；/>

表示相同运动姿态对应的预定运动速度；/>

表示第一人脸图像的图像采集时间和第二人脸图像的图像采集时间之间的第一时间间隔，又称为第一时间差。

需要说明的是，上述运动姿态包括但不限于步行、骑车、开车等。

进一步地，不同运动姿态对应的预定运动速度也不同，例如，步行对应的平均速度为

，骑车对应的平均速度为/>

，开车对应的平均速度为/>

。

在本申请的上述实施例中，通过利用第一人脸图像的图像采集时间和第二人脸图像的图像采集时间之间的第一时间间隔，以及在第一人脸图像的运动姿态和第二人脸图像的运动姿态相同时该运动姿态对应的预定运动速度，准确地计算出第一空间距离阈值。

在一种可选的实施例中，在将第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像之后，上述方法还包括：获取第一人脸图像的人脸特征和第二人脸图像的人脸特征之间的人脸特征相似度；在人脸特征相似度低于预设人脸特征相似度阈值的情况下，将第二人脸图像从第二行人档案中删除。

进一步地，在获取第一人脸图像的人脸特征和第二人脸图像的人脸特征之间的人脸特征相似度的过程中，计算人脸特征相似度可以采用如下的表达式：

其中，

表示第一人脸图像的人脸特征和第二人脸图像的人脸特征之间的人脸特征相似度；/>

表示第二人脸图像的人脸特征；/>

表示第一人脸图像的人脸特征。

可选地，首先计算第一人脸图像的人脸特征和第二人脸图像的人脸特征之间的人脸特征相似度，然后将该人脸特征相似度和预设人脸特征相似度阈值进行比较，若该人脸特征相似度小于预设人脸特征相似度阈值，则将第二人脸图像从第二行人档案中删除；若该人脸特征相似度大于或者等于预设人脸特征相似度阈值，则保留第二行人档案中的第二人脸图像。需要说明的是，上述预设相似度阈值可以根据应用场景的需要而设置。

在本申请的上述实施例中，通过利用人脸特征相似度的方式实现第二行人档案的人脸图像去噪，将不满足应用场景需要的人脸图像从第二行人档案中删除，从而提高第二行人档案中的人脸图像的准确性。

在一种可选的实施例中，在得到第二行人档案之后，上述方法还包括：将第二行人档案中的人体图像分类为第一人体图像和第二人体图像，并判断第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二时空可达性，其中，第一人体图像包含人脸图像，第二人体图像不含人脸图像；在不满足第二时空可达性的情况下，将第二人体图像从第二行人档案中删除。

在一种可选的实施例中，判断第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的时空可达性，包括：获取第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二空间距离和第二空间距离阈值，其中，第二空间距离阈值是根据第一人体图像的图像采集时间和第二人体图像的图像采集时间之间的时间间隔确定；将第二空间距离和第二空间距离阈值进行比较，并基于比较结果判定是否满足时空可达性。

可选地，获取第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二空间距离，包括：获取获取第一人体图像的图像采集地点的第一经纬度和第二人体图像的图像采集地点的第二经纬度；根据第一经纬度和第二经纬度计算出第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二空间距离。

进一步地，计算第二空间距离可以采用如下的表达式：

其中，

表示第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二空间距离；/>

表示第二人体图像的图像采集地点的经度；/>

表示第一人体图像的图像采集地点的经度；/>

表示第二人体图像的图像采集地点的纬度；/>

表示第一人体图像的图像采集地点的纬度。

可选地，将第二空间距离和第二空间距离阈值进行比较，并基于比较结果判定是否满足时空可达性，包括：在第二空间距离大于第二空间距离阈值时，则判定不满足时空可达性；或者，在第二空间距离小于或者等于第二空间距离阈值时，则判定满足所述时空可达性。

在本申请的上述实施例中，通过将第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二空间距离和第二空间距离阈值进行比较，利用比较结果来实现判定是否满足时空可达性。

在一种可选的实施例中，获取第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二空间距离阈值，包括：获取第一人体图像的图像采集时间和第二人体图像的图像采集时间之间的第二时间间隔；在第一人体图像的运动姿态和第二人体图像的运动姿态相同的情况下，获取运动姿态对应的预定运动速度；基于第二时间间隔和预定运动速度，计算出第二空间距离阈值。

进一步地，计算第二空间距离阈值可以采用如下的表达式：

其中，

表示第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二空间距离阈值；/>

表示相同运动姿态对应的预定运动速度；/>

表示第一人体图像的图像采集时间和第二人体图像的图像采集时间之间的第二时间间隔，又称为第二时间差。

需要说明的是，上述运动姿态包括但不限于步行、骑车、开车等。

进一步地，不同运动姿态对应的预定运动速度也不同，例如，步行对应的平均速度为

，骑车对应的平均速度为/>

，开车对应的平均速度为/>

。

在本申请的上述实施例中，通过利用第一人体图像的图像采集时间和第二人体图像的图像采集时间之间的第二时间间隔，以及在第一人体图像的运动姿态和第二人体图像的运动姿态相同时该运动姿态对应的预定运动速度，准确地计算出第二空间距离阈值。

在一种可选的实施例中，在将第二行人档案中的人体图像分类为第一目标图像和第二目标图像之后，上述方法还包括：获取第一人体图像的人体特征和第二人体图像的人体特征之间的人体特征相似度；在人体特征相似度低于预设人体特征相似度阈值的情况下，将第二人体图像从第二行人档案中删除。

进一步地，在获取第一人体图像的人体特征和第二人体图像的人体特征之间的人体特征相似度的过程中，计算人体特征相似度可以采用如下的表达式：

其中，

表示第一人体图像的人体特征和第二人体图像的人体特征之间的人体特征相似度；/>

表示第二人体图像的人体特征；/>

表示第一人体图像的人体特征。

可选地，首先计算第一人体图像的人体特征和第二人体图像的人体特征之间的人体特征相似度，然后将该人体特征相似度和预设人体特征相似度阈值进行比较，若该人体特征相似度小于预设人体特征相似度阈值，则将第二人体图像从第二行人档案中删除；若该人体特征相似度大于或者等于预设人体特征相似度阈值，则保留第二行人档案中的第二人体图像。需要说明的是，上述预设相似度阈值可以根据应用场景的需要而设置。

在本申请的上述实施例中，通过利用人体特征相似度的方式实现第二行人档案的人体图像去噪，将不满足应用场景需要的人体图像从第二行人档案中删除，从而提高第二行人档案中的人体图像的准确性。

在一种可选的实施例中，在得到第二行人档案之后，上述方法还包括：获取同一行人的多个第二行人档案，其中，每个第二行人档案对应于不同的预定时间周期；对多个第二行人档案内的人体图像进行服装分类，得到同一行人的服装分类结果，其中，服装分类结果包括不同服装类型对应的人脸图像和人体图像。

可选地，在得到第二行人档案之后，获取同一行人在多个预定时间周期内的第二行人档案，使用已训练好的服装识别模型对多个第二行人档案内的人体图像进行服装分类，从而得到同一行人的服装分类结果。对于多个第二行人档案内的人脸图像和人体图像而言，其采用该行人的身份标签进行标识，即第二行人档案与身份标签一一对应。

需要说明的是，服装识别模型可以用于识别人体图像中的服装特征，包括款式，类别，颜色等。它通过使用神经网络，将人体图像的信息转换为模型能够解释的特征，然后根据这些特征进行服装分类。

在本申请的上述实施例中，通过对多个第二行人档案内人体图像进行服装分类，从而得到同一行人的同一服装类型对应的人脸图像和人体图像。

根据本申请实施例的另一个方面，还提供了一种特征融合模型的训练方法，图2为本申请实施例提供的一种特征融合模型的训练方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，根据上述中任一项的训练数据处理方法，获取预定时间周期的第二行人档案；

步骤S204，从第二行人档案中筛选出人脸图像和人体图像作为训练数据，使用训练数据对特征融合模型进行训练。

在本申请的实施例中，该方法通过人脸图像和人体图像分别聚类得到人脸聚类簇和人体聚类簇，并利用人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；然后将第一行人档案中的人脸图像和人体图像进行特征融合和聚类，得到人脸人体聚类簇；若不存在目标人脸图像或者包含人脸图像的人体图像，将人脸人体聚类簇中的图像从第一行人档案中删除，得到第二行人档案；进而从第二行人档案中筛选出人脸图像和人体图像对特征融合模型进行训练。通过本申请，解决了相关技术中由于无法获取高置信度的行人档案的技术问题，达到了提高行人档案的准确性的技术效果。

需要说明的是，采用本申请的特征融合模型的训练方法能够提高特征融合模型的准确性，提升特征融合模型的识别效果。

进一步地，还可以从预定行人档案内的人脸图像和人体图像或者历史时间周期的第二行人档案内的人脸图像和人体图像筛选出人脸图像和人体图像作为训练数据，使用训练数据对特征融合模型进行训练。利用该方式可以在从第二行人档案中筛选出人脸图像和人体图像作为训练数据的基础上，增加训练数据的样本量，进一步提升训练效果。而训练完成的特征融合模型可以应用于下一时间周期的建档。

另外，在组织训练数据的过程中，无论是从第二行人档案中筛选出人脸图像和人体图像，还是从预定行人档案内的人脸图像和人体图像或者历史时间周期的第二行人档案内的人脸图像和人体图像筛选出人脸图像和人体图像，均为同一行人的同一服装类型对应的人脸图像和人体图像，即同一的身份标签的同一服装类型对应的人脸图像和人体图像。

可选地，上述特征融合模型是根据预定行人档案内的人脸图像和人体图像或者历史时间周期的第二行人档案内的人脸图像和人体图像训练得到的，其中，历史时间周期包括预定时间周期之前的至少一个时间周期。

需要说明的是，上述特征融合模型自主进化，阶段性触发并更新模型，提升模型能力，进而持续提升档案的汇聚效果。

根据本申请实施例的另一个方面，还提供了一种训练数据处理装置，图3为本申请实施例提供的一种训练数据处理装置的示意图，如图3所示，该训练数据处理装置包括：第一处理模块302、第二处理模块304、第三处理模块306和第四处理模块308。下面对该训练数据处理装置进行详细说明。

第一处理模块302，用于获取预定时间周期内采集的行人的人脸图像和人体图像，并对人脸图像和人体图像分别聚类，得到人脸聚类簇和人体聚类簇；

第二处理模块304，与第一处理模块302连接，用于根据人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；

第三处理模块306，与第二处理模块304连接，用于将第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；

第四处理模块308，与第三处理模块306连接，用于在不存在目标人脸图像或者包含人脸图像的人体图像的情况下，将人脸人体聚类簇中的人脸图像和人体图像从第一行人档案中删除，得到第二行人档案，其中，目标人脸图像为从第一行人档案中选取的人脸图像。

在本申请的实施例中，该装置可以通过人脸图像和人体图像分别聚类得到人脸聚类簇和人体聚类簇，并利用人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；然后将第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；若不存在目标人脸图像或者包含人脸图像的人体图像，将人脸人体聚类簇中的人脸图像和人体图像从第一行人档案中删除，得到第二行人档案，进而解决了相关技术中由于无法获取高置信度的行人档案的技术问题，达到了提高行人档案的准确性的技术效果。

此处需要说明的是，上述第一处理模块302、第二处理模块304、第三处理模块306和第四处理模块308对应于方法实施例中的步骤S102至S108，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。

可选地，上述装置还包括：第一判断模块，用于在得到第二行人档案之后，将第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像，并判断第一人脸图像的图像采集地点和第二人脸图像的图像采集地点之间的第一时空可达性，其中，第一人脸图像为从第二行人档案中选取的人脸图像，第二人脸图像为除从第二行人档案中选取的人脸图像以外的人脸图像；第一删除模块，用于在不满足第一时空可达性的情况下，将第二人脸图像从第二行人档案中删除。

可选地，上述装置还包括：第一获取模块，用于在将第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像之后，获取第一人脸图像的人脸特征和第二人脸图像的人脸特征之间的人脸特征相似度；第二删除模块，用于在人脸特征相似度低于预设人脸特征相似度阈值的情况下，将第二人脸图像从第二行人档案中删除。

可选地，上述装置还包括：第二判断模块，用于在得到第二行人档案之后，将第二行人档案中的人体图像分类为第一人体图像和第二人体图像，并判断第一人体图像的图像采集地点和第二人体图像的图像采集地点之间的第二时空可达性，其中，第一人体图像包含人脸图像，第二人体图像不含人脸图像；第三删除模块，用于在不满足第二时空可达性的情况下，将第二人体图像从第二行人档案中删除。

可选地，上述装置还包括：第二获取模块，用于在将第二行人档案中的人体图像分类为第一目标图像和第二目标图像之后，获取第一人体图像的人体特征和第二人体图像的人体特征之间的人体特征相似度；第四删除模块，用于在人体特征相似度低于预设人体特征相似度阈值的情况下，将第二人体图像从第二行人档案中删除。

可选地，上述装置还包括：第二获取模块，用于在得到第二行人档案之后，获取同一行人的多个第二行人档案，其中，每个第二行人档案对应于不同的预定时间周期；分类模块，用于对多个第二行人档案内的人体图像进行服装分类，得到同一行人的服装分类结果，其中，服装分类结果包括不同服装类型对应的人脸图像和人体图像。

根据本申请实施例的另一个方面，还提供了一种特征融合模型的训练装置，图4为本申请实施例提供的一种特征融合模型的训练装置的示意图，如图4所示，该特征融合模型的训练装置包括：获取模块402和训练模块404。下面对该特征融合模型的训练装置进行详细说明。

获取模块402，用于根据上述中任一项的训练数据处理方法，获取预定时间周期的第二行人档案；

训练模块404，与获取模块402连接，用于从第二行人档案中筛选出人脸图像和人体图像作为训练数据，使用训练数据对特征融合模型进行训练。

在本申请的实施例中，该装置通过人脸图像和人体图像分别聚类得到人脸聚类簇和人体聚类簇，并利用人体聚类簇中的人体图像内的人脸图像和人脸聚类簇中的人脸图像，关联人脸聚类簇和人体聚类簇，得到第一行人档案；然后将第一行人档案中的人脸图像和人体图像进行特征融合和聚类，得到人脸人体聚类簇；若不存在目标人脸图像或者包含人脸图像的人体图像，将人脸人体聚类簇中的图像从第一行人档案中删除，得到第二行人档案；进而从第二行人档案中筛选出人脸图像和人体图像对特征融合模型进行训练。通过本申请，解决了相关技术中由于无法获取高置信度的行人档案的技术问题，达到了提高行人档案的准确性的技术效果。

此处需要说明的是，上述获取模块402和训练模块404对应于方法实施例中的步骤S202至S204，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。

可选地，上述特征融合模型是根据预定行人档案内的人脸图像和人体图像或者历史时间周期的第二行人档案内的人脸图像和人体图像训练得到的，其中，历史时间周期包括预定时间周期之前的至少一个时间周期。

根据本申请实施例的另一个方面，还提供了一种目标聚档系统，图5为本申请实施例提供的一种目标聚档系统的结构图，如图5所示，该系统包括：图像采集单元、目标聚档智能分析单元以及数据存储与系统管理单元。

图像采集单元包含若干个高清摄像机和治安监控相机，高清摄像机采集人脸图像、人体图像。治安监控相机采集人体图像（少量图像带人脸）。图6为本申请实施例提供的一种图像采集单元的示意图，如图6所示，在一个区域内架设多个相机。

目标聚档智能分析单元包含人体人脸分析服务器、自主进化服务器以及网络传输单元。

图7为本申请实施例提供的一种视频分析模块处理视频流的流程图，如图7所示，视频分析模块处理接入的视频流（高清摄像机和治安监控相机），通过人脸、人体检测，目标追踪和关联关系分析，输出同一行人的人脸最优帧和人体最优帧。

人脸图像、人体图像来源于视频结构化解析和前端智能相机抓拍，数据汇聚至人脸人体分析服务器，实现目标聚档能力。

使用人脸图像进行目标建档，建立携带有身份标签的行人档案。通过人脸识别模型，对人脸图像提取人脸特征，将人脸特征一起输入到聚类算法中（不限于DBSCAN、infomap等聚类算法），得到人脸建档结果。其中，对人脸聚类簇中的人脸图像进行身份标签的标注，得到携带有身份标签的行人档案。

使用人体图像进行聚类，通过人体识别模型（又称为行人重识别模型），对人体图像提取人体特征，将人体特征一起输入到聚类算法中（不限于DBSCAN、infomap等聚类算法），得到人体聚类结果（对应于上述人体聚类簇）。

通过人脸人体关联关系，将人体聚类簇中含有已成功聚类的关联人脸的簇保留，其他人体聚类簇认为无人脸可展示，可将其过滤。至此，目标档案的构建已完成。

自主进化服务器，实现人脸人体融合学习，阶段性触发并更新融合模型，持续提升档案汇聚效果，具备档案自主进化能力。

图8为本申请实施例提供的一种原始的档案后处理逻辑的示意图，如图8所示，当遇到单个人体聚类簇中，存在多个不同身份的关联人脸时，一种做法是以关联人体作为底图，将候选人体依次和各人体底图进行相似度比较，将相似度最大的底图作为该候选人体的归档结果。当遇到单个人脸聚类簇中，存在多个不同身份的关联人体时，选择相信人脸结果，直接将多个人体簇以人脸身份合并。图9为本申请实施例提供的一种使用融合模型进行档案后处理的示意图，如图9所示，将人脸人体进行特征融合，使用人脸人体融合特征进行簇内聚类（不限于DBSCAN、infomap等聚类算法），因融合模型在不断自主学习，拥有两个维度视觉特征的捕捉能力，比图8的逻辑处理更可信。

假设单个人体簇中，有b11，b12，b13，b24，b25，b36六张人体图。其中第一个数字是身份类别分别为ID1、ID2、ID3，第二个数字是人体图片编号，分别为1-6。其中b11，b24，b36存在关联的人脸f11，f24，f36，因此该人体聚类簇中含有三个身份的人脸，此时人脸信息和人体信息不能单纯的选择信哪个。使用人脸人体融合模型，将b11+f11，b12，b13，b24+f24，b25，b36+f36分别提取融合特征，利用这六条融合特征重新聚类，根据聚类结果对人体簇进行身份标签确认。假设用融合特征进行聚类后，有3个聚类簇。对3个簇分别进行校验，看第

个簇中，是否存在人脸证件照或人脸封面（一般为质量较高的人体图像作为人脸封面，且封面数量有限），若存在，则该簇的所有人脸图像、人体图像均为该身份标签。若第/>

个簇中，不存在人脸证件照或封面，则认为该簇是错误数据，需要将这部分数据的身份标签删除，从而提升该档案的准确率。可选地，以人脸为例，以证件照为中心C1，抓拍到高质量的人脸图像，且和中心C1相似度≥Th1的作为若干张人脸封面。

首先，进行档案内去噪，确保单个档案内留下同一个人的人脸、人体数据，再用于融合模型自主学习。在

周期内，分别按人脸净化人脸，人体净化人体的方案。

人脸图像去噪方案有两种，可使用其中一种，或者两种组合使用。

方案1，对于行人档案内的任一人脸图像（对应于上述第二人脸图像）而言，计算该人脸图像的图像采集地点和人体封面的图像采集地点之间的空间距离，利用空间距离和空间距离阈值比较，确定行人档案内的该人脸图像的保留或者删除。

方案2，对于行人档案内的任一人脸图像而言，计算该人脸图像和人体封面之间的人体特征相似度，利用人体特征相似度和预设人体特征相似度阈值比较，确定行人档案内的该人脸图像的保留或者删除。

人体图像去噪方案有两种，可使用其中一种，或者两种组合使用。

方案1，对于行人档案内的任一人体图像（对应于上述第二人体图像）而言，计算该人体图像的图像采集地点和人体封面的图像采集地点之间的空间距离，利用空间距离和空间距离阈值比较，确定行人档案内的该人体图像的保留或者删除。

方案2，对于行人档案内的任一人体图像而言，计算该人体图像和人体封面之间的人体特征相似度，利用人体特征相似度和预设人体特征相似度阈值比较，确定行人档案内的该人体图像的保留或者删除。

图10为本申请实施例提供的一种行人档案内人体图像进行服装分类的流程图，如图10所示，在上面已经去噪的行人档案内，使用已训练好的服装识别模型，将周期

到/>

（比如周期/>

为一个月）的每个行人档案的人体图像进行服装分类，将行人档案X分为服装A、服装B、服装C等等。利用各档案的单套服装的人脸图像和人体图像进行特征融合模型训练。利用服装识别模型，按规则组织训练样本，进行特征融合模型训练迭代至收敛，自动部署提升行人重识别效果，提升目标聚档系统能力。

自主学习的触发时间以周期

为单位，比如/>

周期，在/>

时刻触发特征融合模型学习，待模型收敛后，应用于/>

周期的行人档案的人脸图像和人体图像打标签。在/>

时刻触发下一次特征融合模型的自主学习，并应用于/>

周期的档案的人脸图像和人体图像打标签。图11为本申请实施例提供的一种训练数据组织的示意图，如图11所示，使用历史身份标签老数据、历史身份标签新增数据和新生成身份标签数据，通过结合身份和服装类型，将组织训练数据/>

（由历史身份标签老数据、历史身份标签新增数据和新生成身份标签数据组成，每个身份标签仅挑选出一套服装的人脸图像和人体图像，由/>

个身份标签组成），按照分类模型的训练方式启动模型训练，直至模型收敛。随着时间/>

的推移，训练数据逐步增加，特征融合模型的能力和适应性也在增强，用于行人档案内人脸图像和人体图像打标签的效果也相应提升。

在

周期，使用预定身份标签数据，作为历史身份标签老数据。当系统运行了一个/>

周期后，行人档案中生成大量新数据，经过去噪后。将“历史身份标签老数据、历史身份标签新增数据和新生成身份标签数据”作为该周期的训练数据。训练数据

，其中，/>

个身份标签，每个身份标签取/>

张人脸图像和人体图像，可以组成/>

个合规的三元组。某个身份标签中，取同一套服装的人脸图像和人体图像进行训练，直至模型训练收敛。因为人体重识别模型学习到外观特征，包括服装颜色、款式等信息，如果该身份标签在不同天或者同一天有换装行为，取了多套衣服组成该身份标签的K张人脸图像和人体图像会误导模型训练，导致训练效果较差。

将

周期自主训练的特征融合模型用于/>

周期的目标聚档系统，此时该系统的人体聚类效果能相应提升。再用/>

周期获得的行人档案，上个周期已存在的身份标签称为历史身份标签老数据，新周期获得且和上周期身份标签相同的称为历史身份标签新增数据，与上周期身份标签不同的数据为新生成身份标签数据。重复上个周期训练数据的组织方式，进行特征融合模型的迭代训练。

图12为本申请实施例提供的一种特征融合模型的训练方法的流程图，如图12所示，假设人脸特征是

维向量，人体特征是/>

维向量，例如两者均是/>

维。为了人脸和人体充分融合学习，采用transformer神经网络进行特征内、特征间的交互学习。第一，预设每份特征长度为/>

，将人脸特征分为/>

份（

），同样地，将人体特征分为/>

份（/>

）。第二，输入人脸特征和人体特征，通过特征融合模型推理，得到人脸人体融合特征，将人脸人体融合特征，经过降维层将特征长度变为/>

。进一步地，将/>

份

长度的短特征作为transformer神经网络的输入，进行充分学习，最后进行身份标签分类。使其获得了融合特征的强分类能力。最终利用后续的自主学习样本组织方案，可以持续更新学习该特征融合模型。

网络传输单元指设置在前端机箱中的工业交换机和光纤收发器，其负责构建路口局域网，实现前端数据的传输、交换，并将前端记录的抓拍数据传输至后端监控中心。

数据存储和系统管理单元设置在后端监控中心，其主要负责存储图像采集单元采集的视频，抓拍的人脸图像、人体图像等。系统管理负责对抓拍系统进行配置和管理。

需要说明的是，采用前端摄像机和后端服务器协作实现目标聚档智能分析，在人工智能、安防等领域，通过图像聚类，将属于同一个人的图像归为同一个档案，属于不同人的图像归属为不同的档案，可以用于分析和预测用户的行为，实现目标识别等应用。比如，在出现异常事件时，可快速从海量图像中通过以图像等进行搜索，获取有用的信息，并基于目标聚档能力做上层应用分析，起到提示作用。

根据本申请实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述中任一项的方法的步骤。

根据本申请实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述中任一项的方法的步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种训练数据处理方法，其特征在于，该方法包括：

获取预定时间周期内采集的行人的人脸图像和人体图像，并对所述人脸图像和所述人体图像分别聚类，得到人脸聚类簇和人体聚类簇；

根据所述人体聚类簇中的人体图像内的人脸图像和所述人脸聚类簇中的人脸图像，关联所述人脸聚类簇和所述人体聚类簇，得到第一行人档案；

将所述第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；

在不存在目标人脸图像或者不存在包含人脸图像的人体图像的情况下，将所述人脸人体聚类簇中的人脸图像和人体图像从所述第一行人档案中删除，得到第二行人档案，其中，所述目标人脸图像为从所述第一行人档案中选取的人脸图像。

2.根据权利要求1所述的方法，其特征在于，在得到第二行人档案之后，所述方法还包括：

将所述第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像，并判断所述第一人脸图像的图像采集地点和所述第二人脸图像的图像采集地点之间的第一时空可达性，其中，所述第一人脸图像为从所述第二行人档案中选取的人脸图像，所述第二人脸图像为除从所述第二行人档案中选取的人脸图像以外的人脸图像；

在不满足所述第一时空可达性的情况下，将所述第二人脸图像从所述第二行人档案中删除。

3.根据权利要求2所述的方法，其特征在于，在将所述第二行人档案中的人脸图像分类为第一人脸图像和第二人脸图像之后，所述方法还包括：

获取所述第一人脸图像的人脸特征和所述第二人脸图像的人脸特征之间的人脸特征相似度；

在所述人脸特征相似度低于预设人脸特征相似度阈值的情况下，将所述第二人脸图像从所述第二行人档案中删除。

4.根据权利要求1所述的方法，其特征在于，在得到第二行人档案之后，所述方法还包括：

将所述第二行人档案中的人体图像分类为第一人体图像和第二人体图像，并判断所述第一人体图像的图像采集地点和所述第二人体图像的图像采集地点之间的第二时空可达性，其中，所述第一人体图像包含人脸图像，所述第二人体图像不含人脸图像；

在不满足所述第二时空可达性的情况下，将所述第二人体图像从所述第二行人档案中删除。

5.根据权利要求4所述的方法，其特征在于，在将所述第二行人档案中的人体图像分类为第一目标图像和第二目标图像之后，所述方法还包括：

获取所述第一人体图像的人体特征和所述第二人体图像的人体特征之间的人体特征相似度；

在所述人体特征相似度低于预设人体特征相似度阈值的情况下，将所述第二人体图像从所述第二行人档案中删除。

6.根据权利要求1至5任一项所述的方法，其特征在于，在得到第二行人档案之后，所述方法还包括：

获取同一行人的多个第二行人档案，其中，每个第二行人档案对应于不同的预定时间周期；

对所述多个第二行人档案内的人体图像进行服装分类，得到所述同一行人的服装分类结果，其中，所述服装分类结果包括不同服装类型对应的人脸图像和人体图像。

7.一种特征融合模型的训练方法，其特征在于，包括：

根据权利要求1至6中任一项所述的训练数据处理方法，获取预定时间周期的第二行人档案；

从所述第二行人档案中筛选出人脸图像和人体图像作为训练数据，使用所述训练数据对特征融合模型进行训练。

8.根据权利要求7所述的方法，其特征在于，所述特征融合模型是根据预定行人档案内的人脸图像和人体图像或者历史时间周期的第二行人档案内的人脸图像和人体图像训练得到的，其中，所述历史时间周期包括所述预定时间周期之前的至少一个时间周期。

9.一种训练数据处理装置，其特征在于，包括：

第一处理模块，用于获取预定时间周期内采集的行人的人脸图像和人体图像，并对所述人脸图像和所述人体图像分别聚类，得到人脸聚类簇和人体聚类簇；

第二处理模块，用于根据所述人体聚类簇中的人体图像内的人脸图像和所述人脸聚类簇中的人脸图像，关联所述人脸聚类簇和所述人体聚类簇，得到第一行人档案；

第三处理模块，用于将所述第一行人档案中的人脸图像和人体图像进行特征融合，并基于融合特征进行聚类，得到人脸人体聚类簇；

第四处理模块，用于在不存在目标人脸图像或者不存在包含人脸图像的人体图像的情况下，将所述人脸人体聚类簇中的人脸图像和人体图像从所述第一行人档案中删除，得到第二行人档案，其中，所述目标人脸图像为从所述第一行人档案中选取的人脸图像。

10.一种特征融合模型的训练装置，其特征在于，包括：

获取模块，用于根据权利要求1至6中任一项所述的训练数据处理方法，获取预定时间周期的第二行人档案；

训练模块，用于从所述第二行人档案中筛选出人脸图像和人体图像作为训练数据，使用所述训练数据对特征融合模型进行训练。

11.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行权利要求1至8中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8中任一项所述的方法的步骤。

Images