CN110765863B - 一种基于时空约束的目标聚类方法及系统 - Google Patents

Abstract

本发明实施例提供一种基于时空约束的目标聚类方法及系统。该方法包括构建待聚类样本池，选取人脸样本集和行人样本集，对人脸样本集和行人样本集分别进行图卷积，得到人脸相似度和行人相似度，再进行融合卷积得到融合视觉相似度，进一步得到样本聚类结果，获取摄像机转移概率矩阵，得到更新的摄像机转移概率矩阵，对单个个体的路径合理性进行评估，得到合理性评估结果，对样本聚类结果进行优化，得到聚类优化结果，迭代将聚类优化结果存入已聚类样本池。本发明实施例通过对人员图像信息进行，采用加权图模型卷积对人脸和行人图像进行融合，并对人员在不同摄像机之间转移的概率进行分析，通过对整体概率进行全局优化，有效提升人员聚类的准确率。

Description

一种基于时空约束的目标聚类方法及系统

技术领域

本发明涉及信息技术领域，尤其涉及一种基于时空约束的目标聚类方法及系统。

背景技术

随着社会的快速发展，对于人员信息获取的要求越来越高，而人员聚类技术实现不同时间和位置采集的人员图像按身份进行归类，在新零售、社会治安防控等领域有着广泛的应用需求。例如，通过人员聚类让商场掌握每个顾客的行动轨迹、逗留区域、商品偏好等信息，实现精准用户画像，帮助商家优化产品陈列及人员配置，引导和触发用户隐性需求，实现精准营销。

现有人员聚类研究的主要关注点在人脸或行人图像的特征提取和相似度量，而融合人脸与行人特征、利用摄像机网络时空约束进行聚类的技术很少，且存在下列不足之处：(1)人脸和人形特征未能有效融合，现有人员聚类技术主要基于人脸图像，然而实际应用中非人脸识别专用摄像机采集的人脸图像由于清晰度不足、角度较大、遮挡等原因，往往不足以实现准确的人员聚类。摄像机网络采集的人员全身的视觉信息，例如衣服款式、颜色、附属物等，可作为鉴别人员身份的重要依据；(2)未能将人员的时空约束信息有效应用于摄像机网络中人员聚类。现有跨摄像机跟踪技术通常只是将同一人出现在两个摄像头之间的可能时间作为约束条件，而没有考虑人员的姿态、移动方式对摄像机转移概率的影响，也很少分析一个人及人员群体在一定时间内连续轨迹的整体概率。

针对上述问题，需要提出一种基于时空约束的目标聚类方法，能提升摄像机网络中人员聚类识别的准确率。

发明内容

本发明实施例提供一种基于时空约束的目标聚类方法及系统，用以解决现有技术中针对人脸和行人图像的识别准确率低，无法将时空约束信息有效应用于人员聚类中的缺陷。

第一方面，本发明实施例提供一种基于时空约束的目标聚类方法，包括：

S1，获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；

S2，根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；

S3，对所述人脸样本集进行图卷积，得到人脸相似度；

S4，对所述行人样本集进行图卷积，得到行人相似度；

S5，对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；

S6，基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；

S7，获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；

S8，基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；

S9，基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；

S10，对步骤S6至S9进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池。

第二方面，本发明实施例提供一种基于时空约束的目标聚类系统，包括：

获取模块，用于获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；

样本选取模块，用于根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；

人脸图卷积模块，用于对所述人脸样本集进行图卷积，得到人脸相似度；

行人图卷积模块，用于对所述行人样本集进行图卷积，得到行人相似度；

融合模块，用于对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；

聚类模块，用于基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；

摄像机转移概率模块，用于获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；

个体评估模块，用于基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；

优化模块，用于基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；

迭代输出模块，用于对聚类到优化过程进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池。

第三方面，本发明实施例提供一种电子设备，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述一种基于时空约束的目标聚类方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述一种基于时空约束的目标聚类方法的步骤。

本发明实施例提供的一种基于时空约束的目标聚类方法及系统，通过针对局部区域摄像机网络采集的人员图像信息进行人员聚类，采用加权图模型卷积的方法基于图像质量对人脸和行人图像特征进行有效融合，并基于时空约束对人员在不同摄像机之间转移的概率进行分析，通过对人员在一定时间内连续轨迹的整体概率进行评估和全局优化，有效提升人员聚类的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于时空约束的目标聚类方法流程图；

图2为本发明实施例提供的一种基于时空约束的目标聚类系统结构图；

图3为本发明实施例提供的电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于时空约束的目标聚类方法及系统，结合人脸和行人图像质量评估，采用基于加权图模型卷积的方法对人脸特征和行人特征进行融合聚类，并结合一定时间内人员群体连续轨迹的整体概率优化，有效提升摄像机网络中人员聚类的准确率，预计人员聚类的准确率提升30％，具体实现参见以下各实施例。

图1为本发明实施例提供的一种基于时空约束的目标聚类方法流程图，如图1所示，包括：

S1，获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；

S2，根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；

S3，对所述人脸样本集进行图卷积，得到人脸相似度；

S4，对所述行人样本集进行图卷积，得到行人相似度；

S5，对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；

S6，基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；

S7，获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；

S8，基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；

S9，基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；

S10，对步骤S6至S9进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池。

具体地，首先获取一定数量的人脸图像和行人图像，作为待聚类样本池，然后按照一系列预先设定的预设人脸质量阈值从待聚类样本池中筛选出一定数量的人脸样本集，同样按照一系列预先设定的预设行人质量阈值从待聚类样本池中筛选出一定数量的行人样本集，然后基于人脸样本集进行加权图模型卷积，得到人脸相似度，基于行人样本集进行加权图模型卷积，得到行人相似度，进一步地，将人脸相似度和行人相似度进行融合卷积处理，得到样本之间的融合视觉相似度，再基于融合视觉相似度，对人脸样本集和行人样本集进行聚类操作，得到样本聚类结果，再定义摄像机转移概率矩阵，基于得到的样本聚类结果对定义的摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵，接下来基于样本聚类结果和更新的摄像机转移概率矩阵，对单个个体，即单人员在预设时间段(取一定的时间长度)移动路径的合理性进行评估，输出合理性评估结果，再基于合理性评估结果对样本聚类优化结果进行进一步地优化，得到聚类优化结果，最后重复迭代执行聚类到优化的步骤，直至聚类优化结果收敛，获得最佳聚类结果，并将该结果存入已聚类样本池中，完成人员聚类的操作。

本发明实施例通过针对局部区域摄像机网络采集的人员图像信息进行人员聚类，采用加权图模型卷积的方法基于图像质量对人脸和行人图像特征进行有效融合，并基于时空约束对人员在不同摄像机之间转移的概率进行分析，通过对人员在一定时间内连续轨迹的整体概率进行评估和全局优化，有效提升人员聚类的准确率。

在上述实施例的基础上，作为一种可选实施例，所述根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集，具体包括：

设置所述若干预设人脸质量阈值为TF_Q1>TF_Q2>…>TF_QN，所述若干预设行人质量阈值为TP_Q1>TP_Q2>…>TP_QN；

假设所述待聚类样本池为{F}，从{F}中筛选出人脸质量分高于TF_Q1的人脸子集{F1}；

从{F}中筛选出行人质量分高于TP_Q1的行人子集{F2}；

从{F}中筛选出人脸质量分高于TF_Q2的人脸子集{F3}；

从{F}中筛选出行人质量分高于TP_Q2的行人子集{F4}；

交替降低人脸质量阈值和行人质量阈值，直至筛选出新的人脸子集{F_2N-1}和新的行人子集{F_2N}。

具体地，设置一系列的人脸质量阈值TF_Q1>TF_Q2>…>TF_QN，同时设置一系列的行人质量阈值TP_Q1>TP_Q2>…>TP_QN，从待聚类样本池{F}中筛选出人脸质量分高于TF_Q1的人脸子集{F1}，对{F₁}执行聚类操作；再从{F}中筛选出行人质量分高于TP_Q1的行人子集{F2}，对{F₂}执行聚类操作；再从{F}中筛选出人脸质量分高于TF_Q2的人脸子集{F3}，对{F₃}执行聚类操作；再从{F}中筛选出行人质量分高于TP_Q2的行人子集{F4}，对{F₄}执行聚类操作；按照前述操作流程，交替降低人脸质量阈值和行人质量阈值，直至筛选出新的人脸子集{F_2N-1}和新的行人子集{F_2N}，并将新增加的信息进行增量聚类。

本发明实施例通过分级分步选取不同质量的样本进行聚类，从而有效避免低质量照片产生的误聚和漏聚。

在上述实施例的基础上，作为一种可选实施例，所述对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度，具体包括：

定义所述融合视觉相似度为Score＝α*Q_f*S_f+β*e^-t*Q_p*S_p；

其中，α、β为权重系数，通过数据训练获得，Q_f为人脸质量分，Q_p为行人质量分，S_f为所述人脸相似度，S_p为所述行人相似度，t为时间，按照天数表示，e^-t表示行人图像的权重与时间成反比。

具体地，定义融合视觉相似度的计算方法如下：

Score＝α*Q_f*S_f+β*e^-t*Q_p*S_p

其中，α、β为权重系数，通过数据训练获得，Q_f为人脸质量分，Q_p为行人质量分，S_f为所述人脸相似度，S_p为所述行人相似度，t为时间，按照天数表示，e^-t表示行人图像的权重与时间成反比，一般认为时间越长，该行人换装的可能性越大。

在上述实施例的基础上，作为一种可选实施例，所述获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵，具体包括：

获取所述摄像机转移概率矩阵，定义为P(Δt,Ci,Cj,g,m)；

基于所述样本聚类结果、所述人脸样本集和所述行人样本集，生成同一类图像的样本对，其中每个样本对中，第一个样本出现位置为C_i，姿态为g，移动方式为m，第二个样本出现位置为C_j，两个样本出现的时间差为Δt；

将所有的样本对按照不同的矩阵分量Δt,Ci,Cj,g,m进行分类累积，得到所述更新的摄像机转移概率矩阵。

具体地，首先定义摄像机转移概率矩阵为P(Δt,Ci,Cj,g,m)，基于前述实施例得到的样本聚类结果，在人脸样本集和行人样本集中，生成同一类图像的样本对，其中每个样本对中，第一个样本出现位置为C_i，姿态为g，移动方式为m，第二个样本出现位置为C_j，两个样本出现的时间差为Δt；再将样本集中所有的样本对按照不同的矩阵分量Δt,Ci,Cj,g,m进行分类累积，得到更新的摄像机转移概率矩阵。该矩阵主要是根据已聚类人员特征信息元组，结合人员姿态和移动方式，估计人员在特定时间从一个摄像机转移到另一个摄像机的概率。

在上述实施例的基础上，作为一种可选实施例，所述基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果，具体包括：

基于所述样本聚类结果，提取所述单个个体的所有样本，将所述单个个体的所有样本按照时间进行排序，得到排序样本；

将所述排序样本中每两个相邻的样本，采用所述更新的摄像机转移概率矩阵计算所述每两个相邻的样本的转移概率；

将所有的转移概率进行相乘，得到所述合理性评估结果。

具体地，基于前述实施例得到的样本聚类结果，将单个个体，即单人员的所有样本提取出来，再将提取出的所有样本按照时间顺序进行排序，得到排序样本，再将同一个人员的每两个相邻接的样本，使用更新的摄像机转移概率矩阵来计算每两个相邻接的样本转移概率，最后将所有邻接的概率相乘，得到单个人员的合理性评估结果。该结果用于根据单个人员的所有特征信息元组，根据更新的摄像机转移概率矩阵计算该单个人员移动的整体路径的合理性，例如，在极端时间内出现在两个较远的位置便认为是不合理的。

本发明实施例通过有效利用行人姿态和移动方式对于人员在不同摄像机之间转移的概率进行评估，同时分析一个人在较长时间内连续轨迹的整体概率的合理性，从而大幅提升连续时间摄像机网络中人员聚类的准确率。

在上述实施例的基础上，作为一种可选实施例，所述待聚类样本池包括存储待聚类样本的个体特征信息元组，其中所述个体特征信息元组具体包括：

人脸特征、人脸质量分、行人特征、行人质量分、行人姿态、移动方式、时间和位置。

具体地，待聚类样本池存储了待聚类样本的人员特征信息元组，每个元组格式如下：人脸特征；人脸质量分；行人特征；行人质量分；行人姿态；移动方式；时间；位置。

其中，人脸特征用于计算不同人脸图像之间的相似度，进而判断是否属于同一身份；人脸质量分用于表示人脸的质量，通常质量分越高，表示该人脸图像越清晰完整，用于人脸识别的准确率越高；行人特征用于计算不同行人图像之间的相似度，进而判断是否属于同一身份；行人质量分用于表示行人的质量，通常质量分越高，表示该行人图像越清晰完整，用于行人聚类的准确率越高；行人姿态记录行人的朝向正面、侧面、背面等。移动方式包括步行、骑自行车、骑电动车等。

本发明实施例通过充分利用摄像机网络采集的人员全身的视觉信息，如衣服款式、颜色、附属物等信息，作为鉴别人员身份的重要依据，有效对各项特征进行了识别和提取。

在上述实施例的基础上，作为一种可选实施例，所述已聚类样本池包括存储已聚类样本的所述个体特征信息元组，所述个体特征信息元组按个体ID进行归档，每个ID对应若干所述个体特征信息元组中的信息。

具体地，最终输出的聚类优化结果存储在已聚类样本池中，因此已聚类样本池对应于已聚类样本的人员特征信息元组，按照单个人员的ID进行归档，则每个ID对应保护一系列的该单个人员的特征信息元组。

下面以某大型商场人员聚类的实施例为例，具体说明本发明的目标聚类算法：

首先，设置一系列的人脸质量阈值TA_Q1>TA_Q2>…>TA_QN，并设置一系列的行人质量阈值TB_Q1>TB_Q2>…>TB_QN；

构建人员经过摄像头网络产生的人员特征信息元组(人脸特征；人脸质量分；行人特征；行人质量分；行人姿态；移动方式；时间；位置)，并将人员特征信息元组存入待聚类样本池；

选取人脸质量分>TA_Q1的一批人脸样本，以及行人质量分>TB_Q1的一批行人样本；

分别对人脸样本和行人样本进行加权图卷积操作，得到人脸输出结果和行人输出结果；

再基于人脸图像和行人图像的质量，对人脸输出结果和行人输出结果进行融合，形成样本之间的融合视觉相似度；

基于融合视觉相似度对人脸样本和行人样本进行聚类，得到样本聚类结果；

基于样本聚类结果对获取的摄像机转移概率矩阵进行更新，并得到更新的摄像机转移概率矩阵；

进一步对单个行人在一定时间内的路径合理性进行评估；

基于单个行人的路径合理性评估结果对样本聚类结果进行优化处理；

对聚类到优化的操作进行迭代，直到聚类结果收敛，获得最佳聚类结果，并存入已聚类样本池；

依次选取人脸质量>TA_Q2、行人质量>TB_Q2、……、人脸质量>TA_QN、行人质量>TB_QN的样本，重复进行聚类。

本发明实施例通过针对局部区域摄像机网络采集的人员图像信息进行人员聚类，采用加权图模型卷积的方法基于图像质量对人脸和行人图像特征进行有效融合，并基于时空约束对人员在不同摄像机之间转移的概率进行分析，通过对人员在一定时间内连续轨迹的整体概率进行评估和全局优化，有效提升人员聚类的准确率。

图2为本发明实施例提供的一种基于时空约束的目标聚类系统结构图，如图2所示，包括：获取模块201、样本选取模块202、人脸图卷积模块203、行人图卷积模块204、融合模块205、聚类模块206、摄像机转移概率模块207、个体评估模块208、优化模块209和迭代输出模块210；其中：

获取模块201用于获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；样本选取模块202用于根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；人脸图卷积模块203用于对所述人脸样本集进行图卷积，得到人脸相似度；行人图卷积模块204用于对所述行人样本集进行图卷积，得到行人相似度；融合模块205用于对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；聚类模块206用于基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；摄像机转移概率模块207用于获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；个体评估模块208用于基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；优化模块209用于基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；迭代输出模块210用于对聚类到优化过程进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池。

本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法算法流程相同，此处不再赘述。

本发明实施例通过针对局部区域摄像机网络采集的人员图像信息进行人员聚类，采用加权图模型卷积的方法基于图像质量对人脸和行人图像特征进行有效融合，并基于时空约束对人员在不同摄像机之间转移的概率进行分析，通过对人员在一定时间内连续轨迹的整体概率进行评估和全局优化，有效提升人员聚类的准确率。

在上述实施例的基础上，作为一种可选实施例，所述样本选取模块202具体用于：

设置所述若干预设人脸质量阈值为TF_Q1>TF_Q2>…>TF_QN，所述若干预设行人质量阈值为TP_Q1>TP_Q2>…>TP_QN；

假设所述待聚类样本池为{F}，从{F}中筛选出人脸质量分高于TF_Q1的人脸子集{F1}；

从{F}中筛选出行人质量分高于TP_Q1的行人子集{F2}；

从{F}中筛选出人脸质量分高于TF_Q2的人脸子集{F3}；

从{F}中筛选出行人质量分高于TP_Q2的行人子集{F4}；

交替降低人脸质量阈值和行人质量阈值，直至筛选出新的人脸子集{F_2N-1}和新的行人子集{F_2N}。

本发明实施例通过分级分步选取不同质量的样本进行聚类，从而有效避免低质量照片产生的误聚和漏聚。

在上述实施例的基础上，作为一种可选实施例，所述融合模块205具体用于：

定义所述融合视觉相似度为Score＝α*Q_f*S_f+β*e^-t*Q_p*S_p；

其中，α、β为权重系数，通过数据训练获得，Q_f为人脸质量分，Q_p为行人质量分，S_f为所述人脸相似度，S_p为所述行人相似度，t为时间，按照天数表示，e^-t表示行人图像的权重与时间成反比。

在上述实施例的基础上，作为一种可选实施例，所述摄像机转移概率模块207具体用于：

获取所述摄像机转移概率矩阵，定义为P(Δt,Ci,Cj,g,m)；

基于所述样本聚类结果、所述人脸样本集和所述行人样本集，生成同一类图像的样本对，其中每个样本对中，第一个样本出现位置为C_i，姿态为g，移动方式为m，第二个样本出现位置为C_j，两个样本出现的时间差为Δt；

将所有的样本对按照不同的矩阵分量Δt,Ci,Cj,g,m进行分类累积，得到所述更新的摄像机转移概率矩阵。

在上述实施例的基础上，作为一种可选实施例，所述个体评估模块208具体用于：

基于所述样本聚类结果，提取所述单个个体的所有样本，将所述单个个体的所有样本按照时间进行排序，得到排序样本；

将所述排序样本中每两个相邻的样本，采用所述更新的摄像机转移概率矩阵计算所述每两个相邻的样本的转移概率；

将所有的转移概率进行相乘，得到所述合理性评估结果。

本发明实施例通过有效利用行人姿态和移动方式对于人员在不同摄像机之间转移的概率进行评估，同时分析一个人在较长时间内连续轨迹的整体概率的合理性，从而大幅提升连续时间摄像机网络中人员聚类的准确率。

在上述实施例的基础上，作为一种可选实施例，所述获取模块201中的待聚类样本池包括存储待聚类样本的个体特征信息元组，其中所述个体特征信息元组具体包括：

人脸特征、人脸质量分、行人特征、行人质量分、行人姿态、移动方式、时间和位置。

本发明实施例通过充分利用摄像机网络采集的人员全身的视觉信息，如衣服款式、颜色、附属物等信息，作为鉴别人员身份的重要依据，有效对各项特征进行了识别和提取。

在上述实施例的基础上，作为一种可选实施例，所述迭代输出模块210中的已聚类样本池包括存储已聚类样本的所述个体特征信息元组，所述个体特征信息元组按个体ID进行归档，每个ID对应若干所述个体特征信息元组中的信息。

本发明实施例通过针对局部区域摄像机网络采集的人员图像信息进行人员聚类，采用加权图模型卷积的方法基于图像质量对人脸和行人图像特征进行有效融合，并基于时空约束对人员在不同摄像机之间转移的概率进行分析，通过对人员在一定时间内连续轨迹的整体概率进行评估和全局优化，有效提升人员聚类的准确率。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：S1，获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；S2，根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；S3，对所述人脸样本集进行图卷积，得到人脸相似度；S4，对所述行人样本集进行图卷积，得到行人相似度；S5，对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；S6，基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；S7，获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；S8，基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；S9，基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；S10，对步骤S6至S9进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：S1，获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；S2，根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；S3，对所述人脸样本集进行图卷积，得到人脸相似度；S4，对所述行人样本集进行图卷积，得到行人相似度；S5，对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；S6，基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；S7，获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；S8，基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；S9，基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；S10，对步骤S6至S9进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于时空约束的目标聚类方法，其特征在于，包括：

S1，获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；

S2，根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；

S3，对所述人脸样本集进行图卷积，得到人脸相似度；

S4，对所述行人样本集进行图卷积，得到行人相似度；

S5，对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；

S6，基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；

S7，获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；

S8，基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；

S9，基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；

S10，对步骤S6至S9进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池；

所述对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度，具体包括：

定义所述融合视觉相似度为Score＝α*Q_f*S_f+β*e^-t*Q_p*S_p；

其中，α、β为权重系数，通过数据训练获得，Q_f为人脸质量分，Q_p为行人质量分，S_f为所述人脸相似度，S_p为所述行人相似度，t为时间，按照天数表示，e^-t表示行人图像的权重与时间成反比。

2.根据权利要求1所述的一种基于时空约束的目标聚类方法，其特征在于，所述根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集，具体包括：

设置所述若干预设人脸质量阈值为TF_Q1>TF_Q2>…>TF_QN，所述若干预设行人质量阈值为TP_Q1>TP_Q2>…>TP_QN；

假设所述待聚类样本池为{F}，从{F}中筛选出人脸质量分高于TF_Q1的人脸子集{F1}；

从{F}中筛选出行人质量分高于TP_Q1的行人子集{F2}；

从{F}中筛选出人脸质量分高于TF_Q2的人脸子集{F3}；

从{F}中筛选出行人质量分高于TP_Q2的行人子集{F4}；

交替降低人脸质量阈值和行人质量阈值，直至筛选出新的人脸子集{F2N-1}和新的行人子集{F2N}。

3.根据权利要求1所述的一种基于时空约束的目标聚类方法，其特征在于，所述获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵，具体包括：

获取所述摄像机转移概率矩阵，定义为P(Δt,Ci,Cj,g,m)；

基于所述样本聚类结果、所述人脸样本集和所述行人样本集，生成同一类图像的样本对，其中每个样本对中，第一个样本出现位置为C_i，姿态为g，移动方式为m，第二个样本出现位置为C_j，两个样本出现的时间差为Δt；

将所有的样本对按照不同的矩阵分量Δt,Ci,Cj,g,m进行分类累积，得到所述更新的摄像机转移概率矩阵。

4.根据权利要求1所述的一种基于时空约束的目标聚类方法，其特征在于，所述基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果，具体包括：

基于所述样本聚类结果，提取所述单个个体的所有样本，将所述单个个体的所有样本按照时间进行排序，得到排序样本；

将所述排序样本中每两个相邻的样本，采用所述更新的摄像机转移概率矩阵计算所述每两个相邻的样本的转移概率；

将所有的转移概率进行相乘，得到所述合理性评估结果。

5.根据权利要求1至4中任一所述的一种基于时空约束的目标聚类方法，其特征在于，所述待聚类样本池包括存储待聚类样本的个体特征信息元组，其中所述个体特征信息元组具体包括：

人脸特征、人脸质量分、行人特征、行人质量分、行人姿态、移动方式、时间和位置。

6.根据权利要求5所述的一种基于时空约束的目标聚类方法，其特征在于，所述已聚类样本池包括存储已聚类样本的所述个体特征信息元组，所述个体特征信息元组按个体ID进行归档，每个ID对应若干所述个体特征信息元组中的信息。

7.一种基于时空约束的目标聚类系统，其特征在于，包括：

获取模块，用于获取人脸图像集和行人图像集，基于所述人脸图像集和所述行人图像集构建待聚类样本池；

样本选取模块，用于根据若干预设人脸质量阈值从所述待聚类样本池中选取人脸样本集，根据若干预设行人质量阈值从所述待聚类样本池中选取行人样本集；

人脸图卷积模块，用于对所述人脸样本集进行图卷积，得到人脸相似度；

行人图卷积模块，用于对所述行人样本集进行图卷积，得到行人相似度；

融合模块，用于对所述人脸相似度和所述行人相似度进行融合卷积，得到融合视觉相似度；

聚类模块，用于基于所述融合视觉相似度，对所述人脸样本集和所述行人样本集进行聚类，得到样本聚类结果；

摄像机转移概率模块，用于获取摄像机转移概率矩阵，基于所述样本聚类结果对所述摄像机转移概率矩阵进行更新，得到更新的摄像机转移概率矩阵；

个体评估模块，用于基于所述样本聚类结果和所述更新的摄像机转移概率矩阵，对单个个体在预设时间内的路径合理性进行评估，得到合理性评估结果；

优化模块，用于基于所述合理性评估结果对所述样本聚类结果进行优化，得到聚类优化结果；

迭代输出模块，用于对聚类到优化过程进行迭代，直至所述聚类优化结果收敛，将所述聚类优化结果存入已聚类样本池；

所述融合模块具体用于：

定义所述融合视觉相似度为Score＝α*Q_f*S_f+β*e^-t*Q_p*S_p；

其中，α、β为权重系数，通过数据训练获得，Q_f为人脸质量分，Q_p为行人质量分，S_f为所述人脸相似度，S_p为所述行人相似度，t为时间，按照天数表示，e^-t表示行人图像的权重与时间成反比。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述一种基于时空约束的目标聚类方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述一种基于时空约束的目标聚类方法的步骤。

Images