CN115631464A - 面向大时空目标关联的行人立体表示方法 - Google Patents

Abstract

本发明公开了一种面向大时空目标关联的行人立体表示方法，包括：首先对视频中的行人进行检测跟踪，获取行人图像，并提取能够帮助区分行人身份的图像特征；然后，分析行人图像中行人的朝向，分类到正面、左侧、右侧、背面等朝向，分析图像拍摄视角的高低，是否属于高视角图像；之后，按视角、朝向、衣着，对行人图像特征进行划分，保存一定数量的图像特征，形成对一个行人在各种视角、各种朝向的完整视觉描述，即立体表示；最后，在进行行人关联时若判定两个立体表示属于同一行人，则判断是否有换装情况，按衣着类型更新、合并立体表示。基于构建的行人立体表示，可实现更准确、更高效的大时空目标关联。

Description

面向大时空目标关联的行人立体表示方法

技术领域

本发明涉及图像识别技术领域，更具体的说是涉及一种面向大时空目标关联的行人立体表示方法。

背景技术

公共安全是国家和人民的重要需求，以监控视频为主的公安基础设施建设发展迅猛，国家和社会对监控视频智能分析技术也提出了更高的要求。监控视频由于其实时性强、蕴含信息量大，在智慧社区、智慧政务、治安态势预警、大规模群体事件感知和预防等方面发挥着不可取代的重要作用。但是高密度的城市监控设备和复杂的监控系统为监控内容分析带来了巨大的挑战。在监控视频内容分析中，将同一目标的时间、地点线索关联起来形成行人的轨迹，已成为智能监控系统的基础任务。一种流行的做法是利用基于内容的图像检索技术，将目标人物的图像作为查询图像，在摄像机网络中进行图像检索，查找该人物的其他图像，借助摄像机的地理位置和视频拍摄时间，确定该人物出现的时间和地点。这就是行人再识别技术。

目前，行人再识别已成为监控视频智能化分析的重要基础技术之一。行人再识别技术与时空线索结合产生的新方法，也被广泛应用于多目标跨摄像机跟踪任务当中。行人再识别主要利用人体的表观特征进行相似性匹配，如衣服的颜色、样式、纹理等，主要研究如何克服摄像机视角、图像质量、行人姿态变化等因素带来的干扰。但是，在大时空应用中，目标人物的外观变化可能较大，甚至出现更换衣服的情况，仅依靠视觉表观特征难以准确检索到该人物对应的全部图像。另一类基于身份识别的方法，如人脸识别，虽然不受大时空下人体表观变化影响，但清晰的正面人脸往往难以获取，无法完整地勾画行人的轨迹。

因此，如何解决长时间、大范围监控视频中目标人物的时空位置查找问题，提高行人轨迹关联的完整度是本领域技术人员亟需解决的问题。

此外，大时空范围监控视频中车辆、机载/弹载传感器在从不同视角度获取的舰船、飞机、导弹发射车等时敏目标视频，也需要进行目标关联；本发明中的行人目标立体表示方法也可以推广应用于建立这些目标的立体表示，实现多视角、多状态（姿态）跨时空目标关联。

发明内容

有鉴于此，本发明提供了一种面向大时空目标关联的行人立体表示方法，解决了大时空目标关联中同一行人变化大、难关联的问题，能够有效提高行人轨迹生成的完整性和准确性。

为了实现上述目的，本发明采用如下技术方案：

一种面向大时空目标关联的行人立体表示方法，包括如下步骤：

步骤1：对监控视频中的行人目标进行检测和跟踪，获取行人图像，利用关键点检测技术对所述行人图像进行关键点检测，获得人体关键点检测结果，并提取图像特征；

利用至少一种特征提取手段，获取能够帮助区分不同行人身份的行人图像的图像特征，如行人再识别特征、人脸特征、人体属性特征等，以及获取行人的姿态关键点信息；

步骤2：根据人体关键点检测结果对所述行人图像进行质量分类，标记质量类别，并删除部分低质量的所述行人图像；

将图像质量评分超过一定阈值的图像标记为“高质量”或“低质量”图像，若图像质量低于一定阈值，则舍弃；

步骤3：根据人体关键点检测结果对保留的行人图像进行视角判断，并标记视角类别；

对步骤2产生的“高质量”或“低质量”图像，利用视角分类区分图像是否属于高视角拍摄的情况，将图像标记为“高视角”或“水平视角”图像；

步骤4：根据人体关键点检测结果对保留的行人图像进行人体朝向分类，并标记朝向类别；

对步骤2产生的“高质量”或“低质量”图像，利用朝向分类区分行人图像中人体的朝向，将图像标记为“正面”、“背面”、“左侧面”或“右侧面”；

步骤5：根据质量类别、视角类别和朝向类别对所述行人图像进行分类，如果每种类别中行人图像数量超过预设的聚类阈值，则利用聚类分析方法对每种类别的所述行人图像进行聚类，删除冗余图像；

对步骤2产生的“高质量”或“低质量”图像，根据图像质量标记、视角标记、朝向标记进行分类，若类别中图像数量超过一定值，则利用聚类分析，去除冗余图像；

步骤6：将保留的行人图像对应的图像特征根据标记组织起来，形成多层次的树状结构，作为行人目标的立体表示；

对步骤5保留下来的图像，将图像特征根据图像的标记组织起来，形成多层次的树状结构，这种图像特征的组织形式被称为行人立体表示；这些立体表示会被用于搜索视频中指定行人目标，形成行人的关联轨迹；

步骤7：对所有行人目标的立体表示进行轨迹关联判断，如果两个立体表示中的行人目标被判定为同一个行人，则判断两个行人立体表示之间是否存在衣着更换的现象，若未换装，则直接合并立体表示，将标记相同的行人图像合并到同一小类，并返回步骤5进行冗余图像去除，若存在换装现象，则不进行合并，最终获得关联立体表示。

优选的，所述步骤2中进行所述行人图像质量分类具体包括如下步骤：

步骤21：人体关键点检测结果，包括所述行人图像中行人目标的人体关键点信息，删除存在两个行人目标的行人图像、人体关键点信息中人体头部关键点信息缺失的行人图像，以及图像分辨率小于设定的分辨率阈值的行人图像；根据人体头部包含的关键点的置信度总和与设定缺失阈值进行对比，判断是否缺失；

步骤22：如果步骤21中保留的行人图像的所述行人图像，如果人体关键点检测结果中的人体关键点置信度的加权和大于质量阈值，且图像分辨率大于分辨率阈值，则将对应的所述行人图像标记为高质量图像，否则标记为低质量图像。

优选的，所述步骤3中进行所述行人图像的视角分类具体包括如下步骤：

步骤31：对所述行人图像使用关键点检测算法得到行人的颈部、左肩、右肩等关键点坐标；记录颈部关键点纵坐标为neck；在左肩关键点纵坐标和右肩关键点纵坐标中取较小值作为肩部纵坐标，记为shoulder；以行人从头部关键点至脚部关键点的纵向距离作为行人身高，记为h；

如果左肩关键点纵坐标或右肩关键点纵坐标缺失，则选择左肩关键点纵坐标和右肩关键点纵坐标中的最大值作为肩部纵坐标，否则选择最小值作为肩部纵坐标；

步骤32：计算行人的头身比，即身高与头部的比例；如果检测到颈部关键点存在，则计算头身比为h/neck；否则，就用肩膀的位置代替人体头部的位置，计算头身比为h/shoulder；

步骤33：由于高视角图像人的头身比会比正常视角小，根据头身比对人体图像进行视角高低的分类；根据高低视角下行人头身比的统计数据，得到视角分类阈值，将头身比大于阈值的图像标记为水平视角图像；小于视角分类阈值的，则标记为高视角图像。

优选的，所述步骤4中进行人体朝向分类具体包括如下步骤：

步骤41：根据人体关键点检测工具生成的人体关键点信息，先判断行人朝向是否为未知朝向，从上半身所有关键点的置信度中挑选出的最小置信度低于设置的朝向分类阈值a，则将该行人的朝向归于未知朝向，否则进入步骤42进行朝向分类；

步骤42：根据所述步骤41的行人朝向判断结果，如果其不是未知朝向，则根据肩膀长度和颈部关键点到置信度不为零的任意髋关节关键点的距离的比例判断行人朝向是否为侧面，然后再根据鼻子向量的夹角判断行人的朝向是左侧还是右侧；

根据左肩关键点坐标和右肩关键点坐标计算肩膀长度，公式为l=||p ₁-p ₂||，其中p ₁表示左肩关键点坐标，p ₂表示右肩关键点坐标；如果比例小于设定侧面阈值，则判断为侧面，否则进入步骤43；根据颈部关键点坐标和鼻子关键点坐标计算颈部关键点和鼻子关键点组成的鼻子向量，根据颈部关键点坐标和左肩关键点坐标计算颈部关键点和左肩关键点组成的基准向量，计算鼻子向量与基准向量之间的夹角c，如果夹角c取值范围为（0,180），则判断行人朝向右侧，如果夹角c取值范围为（180,360），则判断行人朝向左侧；

步骤43：根据步骤41中提取人体关键点信息得到人体水平向量和人体垂直向量之间的夹角e，根据夹角e的值判断人体的朝向为正面或者背面；

根据左肩关键点坐标和右肩关键点坐标计算由左侧肩关键点和右侧肩关键点组成的人体水平向量，根据颈部关键点坐标和左髋关节关键点坐标计算由颈部关键点和左髋关节关键点组成的人体左垂直向量，根据颈部关键点坐标和右髋关节关键点坐标计算由颈部关键点和右髋关节关键点组成的人体右垂直向量，人体左垂直向量和人体右垂直向量求和获得人体垂直向量；如果夹角位于正面阈值范围内，夹角e≥270-正面阈值，且夹角e≤270+正面阈值，则判断人体的朝向为正面；如果夹角位于反面阈值范围内，即夹角e≥90-正面阈值，且夹角e≤90+正面阈值，则判断人体的朝向为背面。

优选的，所述步骤5中采用聚类分析方法进行图像去冗余具体包括如下步骤：

步骤51：根据质量、视角、朝向分类结果，计算每类中行人图像的图像特征的方差，若方差大于聚类阈值，则对所述类中的图像进行聚类，保证该类中每个簇的方差小于聚类阈值，根据上述聚类结果，将类中的图像按照类中簇的分布划分为若干小类；

方差计算公式为：

其中，N为类中的行人图像数量；f _i 是该类中第i张行人图像的行人再识别提取的图像特征；f _mean 是该类所有行人图像的平均行人再识别特征；Dist（）表示余弦距离；若Var≥聚类阈值则对该类中的图片使用K均值聚类算法聚为两个簇，将该类中的行人图像按照簇的分布划分为两小类(C ₁ ,C ₂)，重新计算每个小类的方差，记每个小类中特征的方差为(Var ₁,Var ₂)，如果每个小类的方差均大于或等于聚类阈值，则重复聚类操作，并计算聚类后生成的若干小类的方差，直至每个小类的方差均小于聚类阈值，该类图片按照聚类结果被分为若干小类(C ₁,C ₂,...,C _n)，且每个小类中图片的方差Var _i <T _var ；若有Var＜聚类阈值，将该类中所有图片标记为C ₁；

步骤52：对步骤51中所述方差大于聚类阈值的类，在步骤51后所产生的每个小类中，选取一张行人图像保留；对方差小于聚类阈值的类，选取一张图像保留。

优选的，组织方式可采用树状组织形式，首先以质量类别划分，每个质量类别节点下以视角类别划分若干视角节点，每个视角节点下划分若干朝向类别节点，这样划分主要是为了在大时空行人关联过程中，对两个行人立体表示进行比对时，易于选到相同质量、相同视角、相同朝向下的图像特征进行比对。

优选的，所述步骤7中进行轨迹关联的具体过程为：

步骤71：采用行人人脸识别和行人再识别提取的图像特征之间的相似度，对行人目标的立体表示进行同一行人判断；如果人脸识别结果相同，或图像特征的相似度差值小于目标阈值，则将对应的两个立体表示中的行人目标判定为同一个行人；

步骤72：根据判定为同一行人的立体表示对应的行人图像，基于颜色和纹理的图像底层特征判断两个立体表示之间是否存在衣着更换的现象，若未换装，则直接合并，将标记相同的行人图像合并到同一小类，并返回步骤5进行冗余图像删除，若存在换装现象，则不进行合并，获得新的关联立体表示。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种面向大时空目标关联的行人立体表示方法，首先对视频中的行人进行检测跟踪，获取行人图像，并提取能够帮助区分行人身份的图像特征；然后，分析行人图像中行人的朝向，分类到正面、左侧、右侧、背面等朝向，分析图像拍摄视角的高低，是否属于高视角图像；之后，按视角、朝向、衣着，对行人图像特征进行划分，保存一定数量的图像特征，形成对一个行人在各种视角、各种朝向的完整视觉描述，即立体表示；最后，在进行行人关联时若判定两个立体表示属于同一行人，则判断是否有换装情况，按衣着类型更新、合并立体表示。本发明所提出的行人立体表示方法解决了大时空目标关联中同一行人变化大、难关联的问题，能够有效提高行人轨迹生成的完整性和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的面向大时空目标关联的行人立体表示方法流程图。

图2附图为本发明提供的生成立体表示效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种面向大时空目标关联的行人立体表示方法，在比对监控视频中行人目标的特征之前，先建立行人更加完整的视觉描述，从而减少行人表观变化对目标关联的影响，能够有效提高大时空下目标关联的准确度，在大规模时空场景中能够实现更加完整的行人目标轨迹还原。

参见图1，为本实施例公开的一种面向大时空目标关联的行人立体表示方法的流程图。首先对视频中的行人进行检测跟踪，获取行人图像，并提取能够帮助区分行人身份的图像特征；然后，分析行人图像中行人的朝向，分类到正面、左侧、右侧、背面等朝向，分析图像拍摄视角的高低，是否属于高视角图像；之后，按视角、朝向、衣着，对行人图像特征进行划分，保存一定数量的图像特征，形成对一个行人在各种视角、各种朝向的完整视觉描述，即立体表示；最后，在进行行人关联时若判定两个立体表示属于同一行人，则判断是否有换装情况，按衣着类型更新、合并立体表示。具体包括如下步骤：

S1：对监控视频中的行人目标进行检测、跟踪，获取行人目标的图像，对获取的图像利用行人再识别模型提取行人的再识别特征，并利用人体关键点检测模型OpenPose，获取COCO格式的行人的姿态关键点坐标，包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、脖子、左手肘、右手肘、左手腕、右手腕、左臀、右臀、左膝、右膝、左脚踝、右脚踝共18个关键点，以及这些关键点的置信度，置信度取值范围为0到1；

S2：对步骤1产生的图像和其关键点检测结果，将图像质量评分超过一定阈值的图像标记为“高质量”或“低质量”图像，若图像质量低于一定阈值，则舍弃；

S3：对步骤S2产生的“高质量”或“低质量”图像，利用视角分类区分图像是否属于高视角拍摄的情况，将图像标记为“高视角”或“水平视角”图像；

S4：对步骤S2产生的“高质量”或“低质量”图像，利用朝向分类区分行人图像中人体的朝向，将图像标记为“正面”、“背面”、“左侧面”或“右侧面”；

S5：对步骤S2保留下来的图像，根据根据图像质量标记、视角标记、朝向标记进行分类，若一个细分类别，其中的图像数量超过阈值，则去除冗余图像；

S6：对步骤S5保留下来的图像，利用图像质量、视角分类、朝向分类三种标记，将图像的再识别特征利用字典组织成树状结构；

S7：对步骤S6判定为属于同一行人的立体表示，判断两个立体表示之间是否存在衣着更换的现象，若未换装，则直接合并立体表示，并执行步骤5的冗余图像去除，若存在换装现象，则不进行合并，最终获得关联立体表示；

S7中进行轨迹关联的具体过程为：

S71：采用行人人脸识别和行人再识别提取的图像特征之间的相似度，对行人目标的立体表示进行同一行人目标判断；如果人脸识别结果相同，或图像特征的相似度差值小于目标阈值，则将对应的两个立体表示中的行人目标判定为同一个行人；

S72：根据判定为同一行人的立体表示对应的行人图像，基于颜色和纹理的图像底层特征判断两个立体表示之间是否存在衣着更换的现象，若未换装，则直接合并，将标记相同的行人图像合并到同一小类，并返回S5进行冗余图像删除，若存在换装现象，则不进行合并，获得新的关联立体表示。

实施例1

在一个实施例中，S2具体执行步骤包括：

S21：遍历所有行人图像，判断人体关键点检测结果中，是否出现两个不同的行人，若一幅行人图像中出现两个不同的行人，则直接舍弃该图像，否则进入S22；

S22：遍历所有行人图像，判断是否存在人体头部关键点信息缺失情况，计算鼻子、左眼、右眼、左耳、右耳五个点的置信度的总和Conf_head，若Conf_head<2.5，则存在人体头部关键点信息缺失，舍弃该图像；

S23：遍历所有行人图像，判断是否存在人体上半身关键点信息缺失情况，计算左肩、右肩、左手肘、右手肘、左手腕、右手腕6个点的置信度的总和Conf_up，若Conf_up<2.5，则存在人体上半身关键点信息缺失，舍弃该图像；另外，若左肩和右肩的置信度均为0，则当前判断当前图像的左肩、右肩都未检测到，舍弃该图像；

S24：对没有被舍弃的行人图像，按下面公式计算人体关键点置信度的加权和Conf_all：

其中，conf_i是第i个关键点的置信度，w_i是每个关键点的权重，从所有关键点的权重集合w=[10,10,10,10,10,8,8,5,5,3,3,3,3,3,3,3,3]中取值；若加权和大于阈值40且图像分辨率大于50*100，则标记为“高质量图像”，否则标记为“低质量图像”。

实施例2

在一个实施例中，S3具体执行步骤包括：

S31：根据人体关键点检测结果，得到该图像中行人的颈部纵坐标neck，左肩纵坐标left_shoulder和右肩纵坐标right_shoulder，当左肩或者右肩的纵坐标有一者缺失时，即left_shoulder*right_shoulder=0时，shoulder=max(left_shoulder,right_shoulder)，max()函数表示取两个数值中的最大值；当左肩膀纵坐标右肩膀纵坐标都存在时，即left_shoulder*right_shoulder≠0时，shoulder=min(left_shoulder,right_shoulder)，min函数表示取两个数值中的最小值；以行人从头部至脚部的纵向距离作为行人的身高h，h可以使用图像的高度近似；

S32：按下面公式计算行人的头身比x；round()函数表示对数值进行四舍五入取整；

；

S33：根据上一步骤得到的头身比x，对行人图像进行分类；如果

，则将该图像标记为“水平视角图像”；如果

，则将该图像标记为“高视角图像”。

实施例3

在一个实施例中，S4具体执行步骤包括：

S41：根据所述步骤1中提取人体关键点信息，获取最小置信度；如果肩和髋关节的关键点置信度都不为0，则从中选择最小的置信度；如果只有左肩和右肩关键点的置信度都不为0，则从中挑选最小的置信度；如果该最小置信度低于设定的阈值a，则判断其朝向为未知朝向；否则执行步骤42；

S42：根据所述步骤1中提取人体关键点信息，计算左右肩关键点之间的长度l，计算公式如下：

l=||p ₁-p ₂||

此处，p ₁和p ₂为两个人体关键点坐标，分别为左肩关键点坐标和右肩关键点坐标，l为所求长度；

然后再计算颈部关键点到置信度不为零的髋关节关键点之间的距离d，二者之间的比值l/d小于设定的阈值b则判断其为侧面，否则执行S43。

如果鼻子关键点置信度为0，则使用置信度不为0的耳朵或者眼睛关键点信息代替鼻子关键点；根据S1中提取人体关键点信息，计算颈部和鼻子两个关键点组成的向量m，颈部和左肩两个关键点组成的向量n，然后计算两个向量之间的夹角c，夹角计算公式如下：

c=arccos(m·n/||m||||n||)

如果0<c<180，则人体朝向判断为右朝向，如果360>c>180，则人体朝向判断为左朝向；否则，执行S43；

S43：根据步骤1中提取人体关键点信息得到人体水平向量和人体垂直向量之间的夹角e，根据夹角e的值判断人体的朝向为正面或者背面；由左肩关键点起到右肩关键点止构成人体水平向量i，由颈部关键点起到左髋关节关键点止得到人体左垂直向量lv，由颈部关键点起到右髋关节关键点止得到人体右垂直向量rv，lv和rv求和得到人体垂直向量v，计算人体水平向量i和人体垂直向量v之间的夹角e。如果e≥270-阈值f且e≤270+阈值f,则判断该行人为正朝向;如果e≥90-阈值f且e≤90+阈值f ,则判断该行人为背面朝向；

S44：如果人体关键点信息根据步骤S41，步骤S42，步骤S43未能对行人进行朝向分类，则将人体朝向判定为未知朝向。

实施例4

在一个实施例中，对S2保留下来的图像，根据根据图像质量标记、视角标记、朝向标记进行分类，若一个细分类别，如“高质量-水平视角-正面”类，其中的图像数量超过4张，则利用下面的步骤S51、S52去除冗余：

S51：按下面公式计算该类方差

：

其中N是该类中的图片数量；f _i 是该类中第i张行人图像的行人再识别提取的图像特征；f _mean 是该类所有行人图像的平均行人再识别特征；Dist(a,b)是计算距离的函数，可取余弦距离；若Var≥T _var ，T _var 可取0.04，则对该类中的图片使用K均值聚类算法聚为两个簇，将该类图片按照簇的分布划分为两小类(C ₁ ,C ₂)，重新计算每个小类方差，记每个小类中特征的方差为(Var ₁,Var ₂)；若C _i的方差

，则重复上述聚类操作，直到该类图片按照聚类结果被分为若干小类(C ₁,C ₂,...,C _n)，且每个小类中图片的方差Var _i <T _var ；若有Var<T _var ，将该类中所有图片标记为C ₁；

S52：对于S51中类中，从每个小类（C ₁,...,C _n）（若Var<T _var ，则n=1）中选取一张图片保留。

实施例5

在一个实施例中，组织成树状结构的过程，如图2所示。在大时空目标关联的应用中，将以立体表示替代图像对搜索结果进行排序并建立关联轨迹。立体表示比对时，遵循相同图像标记优先比对的原则，若两个立体表示存在相同的类别，则取该类别下的图像平均特征计算余弦距离作为立体表示的距离。否则，计算所有类别的平均特征的余弦距离。若两个立体表示的距离大于0.8，则认为其同属一个行人。

此外，本发明的原理也可用于在不同时空、从不同视角度获取的地面各种车辆、海上和水上舰船、空中飞机等时敏目标分析，通过构建目标立体表示，实现跨时空目标关联。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种面向大时空目标关联的行人立体表示方法，其特征在于，包括以下步骤：

步骤1：对监控视频中的行人目标进行跟踪，获取行人图像，利用关键点检测技术对所述行人图像进行关键点检测，获得人体关键点检测结果，并提取图像特征；

步骤2：根据人体关键点检测结果对所述行人图像进行质量分类，标记质量类别，并删除部分低质量的所述行人图像；

步骤3：根据人体关键点检测结果对保留的行人图像进行视角分类，并标记视角类别；

步骤4：根据人体关键点检测结果对保留的行人图像进行人体朝向分类，并标记朝向类别；

步骤5：根据质量类别、视角类别和朝向类别对所述行人图像进行分类，如果每种类别中行人图像数量超过预设的聚类阈值，则利用聚类分析方法对每种类别的所述行人图像进行聚类，根据聚类结果删除冗余图像；

步骤6：将保留的行人图像对应的图像特征根据标记组织起来，形成多层次的树状结构，作为行人目标的立体表示；

步骤7：对所有行人目标的立体表示通过同一行人判断和衣着判断，进行轨迹关联，根据判断结果进行立体表示合并更新，获得关联立体表示。

2.根据权利要求1所述的面向大时空目标关联的行人立体表示方法，其特征在于，所述步骤2中进行所述行人图像质量分类具体包括如下步骤：

步骤21：人体关键点检测结果包括所述行人图像中行人目标的人体关键点信息，根据人体关键点信息删除存在两个行人目标的行人图像、人体关键点信息中人体头部关键点信息缺失的行人图像，以及图像分辨率小于设定的分辨率阈值的行人图像；

根据人体头部包含的关键点的置信度总和与设定缺失阈值进行对比，判断是否缺失；

步骤22：如果步骤21中保留的行人图像的人体关键点检测结果中的人体关键点置信度的加权和大于质量阈值，且图像分辨率大于分辨率阈值，则将对应的所述行人图像标记为高质量图像，否则标记为低质量图像。

3.根据权利要求1所述的面向大时空目标关联的行人立体表示方法，其特征在于，所述步骤3中进行所述行人图像的视角分类具体包括如下步骤：

步骤31：人体关键点检测结果中的人体关键点信息包括行人目标各关键点坐标，获取头部关键点坐标、颈部关键点坐标、左肩关键点坐标、右肩关键点坐标和脚部关键点坐标；如果左肩关键点坐标或右肩关键点坐标缺失，则选择左肩关键点坐标的左肩关键点纵坐标和右肩关键点坐标的右肩关键点纵坐标中的最大值作为肩部纵坐标，否则选择最小值作为肩部纵坐标；计算头部关键点坐标和脚部关键点坐标之间的总线距离，作为行人身高；

步骤32：根据颈部关键点坐标的颈部关键点纵坐标、肩部纵坐标和行人身高计算行人头身比；当颈部关键点坐标存在，则头身比=行人身高/颈部关键点纵坐标；否则头身比=行人身高/肩部纵坐标；

步骤33：如果行人图像中头身比大于或等于视角分类阈值，则将其标记为水平视角图像，否则标记为高视角图像。

4.根据权利要求1所述的面向大时空目标关联的行人立体表示方法，其特征在于，所述步骤4中进行人体朝向分类具体包括如下步骤：

步骤41：根据人体关键点检测结果，获取行人目标上半身所有关键点的置信度，如果其中的最小置信度小于朝向分类阈值，则该行人图像中的行人目标朝向标记为未知朝向，否则进入步骤42进行朝向分类；

步骤42：从人体关键点检测结果中的人体关键点信息获取左肩关键点坐标、右肩关键点坐标、颈部关键点坐标、左髋关节关键点坐标、右髋关节关键点坐标和鼻子关键点坐标；根据左肩关键点坐标和右肩关键点坐标计算肩膀长度，公式为l=||p ₁-p ₂||，其中p ₁表示左肩关键点坐标，p ₂表示右肩关键点坐标；计算颈部关键点到置信度不为零的任意髋关节关键点的距离，根据肩膀长度与距离的比例判断行人朝向是否为侧面，如果比例小于设定侧面阈值，则判断为侧面；根据颈部关键点坐标和鼻子关键点坐标计算颈部关键点和鼻子关键点组成的鼻子向量，根据颈部关键点坐标和左肩关键点坐标计算颈部关键点和左肩关键点组成的基准向量，计算鼻子向量与基准向量之间的夹角c，如果夹角c取值范围为（0,180），则判断行人朝向右侧，如果夹角c取值范围为（180,360），则判断行人朝向左侧；

步骤43：根据人体关键点信息中的左肩关键点坐标和右肩关键点坐标计算由左肩关键点和右肩关键点组成的人体水平向量，根据颈部关键点坐标和左髋关节关键点坐标计算由颈部关键点和左髋关节关键点组成的人体左垂直向量，根据颈部关键点坐标和右髋关节关键点坐标计算由颈部关键点和右髋关节关键点组成的人体右垂直向量，人体左垂直向量和人体右垂直向量求和获得人体垂直向量，计算人体水平向量和人体垂直向量之间的夹角e；如果夹角e位于正面阈值范围内，则判断人体的朝向为正面；如果夹角e位于反面阈值范围内，则判断人体的朝向为背面。

5.根据权利要求1所述的面向大时空目标关联的行人立体表示方法，其特征在于，所述步骤5中采用聚类分析方法进行图像去冗余具体包括如下步骤：

步骤51：根据质量类别、视角类别和朝向类别，计算每类中行人图像的图像特征的方差，若方差大于或等于聚类阈值，则对类中的图像进行聚类，将类中的图像按照类中簇的分布划分为若干小类；

步骤52：分别从方差小于聚类阈值的类中或者每个小类中选取一张行人图像，其余均删除。

6.根据权利要求1所述的面向大时空目标关联的行人立体表示方法，其特征在于，步骤6的组织过程中首先以质量类别划分，每个质量类别节点下以视角类别划分若干视角节点，每个视角节点下划分若干朝向类别节点。

7.根据权利要求5所述的面向大时空目标关联的行人立体表示方法，其特征在于，所述步骤7中进行轨迹关联的具体过程为：

步骤71：采用行人人脸识别和行人再识别提取的图像特征之间的相似度，对行人目标的立体表示进行同一行人判断；如果人脸识别结果相同，或图像特征的相似度差值小于目标阈值，则将对应的两个立体表示中的行人目标判定为同一个行人；

步骤72：根据判定为同一行人的立体表示对应的行人图像，基于颜色和纹理的图像底层特征判断两个立体表示之间是否存在衣着更换的现象，若未换装，则直接合并，将标记相同的行人图像合并到同一小类，并返回步骤5进行冗余图像删除，若存在换装现象，则不进行合并，获得新的关联立体表示。

8.根据权利要求5所述的面向大时空目标关联的行人立体表示方法，其特征在于，方差计算公式为：

其中，N为类中的行人图像数量；f _i 是该类中第i张行人图像的行人再识别提取的图像特征；f _mean 是该类所有行人图像的平均图像特征；Dist（）表示余弦距离；

若Var≥聚类阈值，则对该类中的行人图像使用K均值聚类算法聚为两个簇，将该类中的行人图像按照簇的分布划分为两小类，重新计算每个小类的方差，如果每个小类的方差均大于或等于聚类阈值，则对每个小类再次进行聚类操作，生成若干小类，并计算聚类后生成的若干小类的方差，直至每个小类的方差均小于聚类阈值，从每个小类中选取一张行人图像保留。

Images