CN115994925A - 一种基于关键点检测的多行人快速跟踪方法 - Google Patents

Abstract

本发明提出了一种基于关键点检测的多行人快速跟踪方法，涉及行人跟踪领域。单摄像头下通过快速跟踪预测法，采用多层次融合匹配法对新检测目标与行人历史轨迹进行匹配从而实现单摄像头下多行人快速跟踪的目的。多摄像头下，依据摄像头的空间位置关联关系，限定轨迹路径的可匹配范围，通过人脸队列中保存的人脸特征信息对不同摄像头下的轨迹进行相互匹配，匹配完成后按照时间序列形成跨摄像头下的行人运动轨迹。根据行人运动轨迹一方面可以及时预测行人的位置信息，另一方面可以迅速锁定目标人物的历史轨迹并对其个人历史行为进行深度挖掘与分析。

Description

一种基于关键点检测的多行人快速跟踪方法

技术领域

本发明涉及行人跟踪领域，具体而言，涉及一种基于关键点检测的多行人快速跟踪方法。

背景技术

随着人工智能的发展，城市智慧安防视觉领域技术的发展逐渐从安全防护系统向安防平台转变。随着监控技术的普及化，视频图像信息在智慧安防视觉领域发挥的作用日益增加。通过摄像机组系统，追踪目标人物的行动轨迹，有助于加强城市智慧安全系统的建设。特别是对于如工业园区、工地建设区及一些安全风险系数较高的场所，实时高效快速跟踪人物轨迹对于安全事故的预防或对于第一时间追溯安全事故的原因具有极其重要的意义。

公开号为CN111008993A的专利描述了一种行人跨境追踪方法，单摄像头下通过KCF、KalmanFilter或深度学习的算法进行单人跟踪，跨境摄像头下通过人脸特征、属性特征、步态特征进行匹配关联。此方法在单人跟踪时适合人数较少、运动不太快的场景。同时出现人数较多时单摄像头下的跟踪效果会受到较为明显的影响，单摄像头下的跟踪效果会在较高程度上影响跨境摄像头的效果。此方法在跨摄像头匹配时同时结合人脸特征、属性特征及步态特征，消耗的算力会较大，在多摄像头之间匹配准确率十分依赖单摄像头的准确度，单摄像头下的跟踪效果受到影响的情况下会给多摄像头下的匹配带来不可忽视的困扰。

发明内容

本发明的目的在于提供一种基于关键点检测的多行人快速跟踪方法，其能够在单摄像头下每隔一定帧数对行人进行重新检测并匹配校正，基于行人检测算法在检测行人的同时能够计算行人的重心坐标，一举两得，一定程度上提高了关键点的精度；在多摄像头下用人脸特征队列进行特征匹配，关联不同摄像头下的轨迹，较大程度上降低了计算量，加快了跟踪行人轨迹的实时速度，由于多摄像头下的轨迹之间的匹配在一定程度上依赖单摄像头下的匹配效果，当单摄像头下的跟踪效果在准确度上得到较好的提高时，多摄像头下的轨迹关联过程也会省时省力。

本发明的实施例是这样实现的：

本申请实施例提供一种基于关键点检测的多行人快速跟踪方法，其包括S1：单摄像头下进行行人检测：从单摄像头获取当前帧，将当前帧设为第1帧，结合行人检测算法，进行行人人体骨骼关键点检测与重心点检测，基于人体骨骼关键点与重心点预测出每个行人的行人框坐标与人头框坐标；基于行人框坐标与人头框坐标获取行人框区域图像和人头框区域图像，基于行人特征算法提取行人特征，基于人脸检测算法进行人脸检测，若检测到人脸则进行人脸质量评估，基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map。

S2：为每一个行人创建一条轨迹Track并自动分配一个ID，同时将行人的骨骼关键点、重心点、行人框坐标、人头框坐标和行人特征保存到Track，将步骤S1所得的Map保存到Track的人脸特征队列中。

S3：单摄像头下行人快速跟踪：连续n帧，即从第(k-1)*n+2帧到第k*n+1帧，k与n均为正整数，对保存在Track的最新行人骨骼关键点与重心点进行快速跟踪，跟踪过程基于获得的行人关键点并继续提取行人Hog与Cn特征并及时更新Track，同时对人头框区域图像进行人脸检测，若检测到人脸则进行人脸质量评估，基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map并保存至该Track的人脸特征队列中。

S4：单摄像头下行人匹配：将第k*n+2帧通过执行步骤S1的操作获得新的数据，进一步与步骤S3的最后一帧所得的Track建立匹配关系。

S5：多摄像头下行人匹配：基于每个摄像头的空间位置关联关系，限定Track的可匹配范围，若摄像头对应的人脸特征队列中没有保存到人脸特征，则不进行匹配；若摄像头对应的人脸特征队列中保存到人脸特征，则通过队列的人脸特征相似度计算结果对不同摄像头下的Track进行匹配，匹配完成后按照时间序列形成跨摄像头下的行人运动轨迹。

在本发明的一些实施例中，上述人脸质量评估的具体步骤为：根据人脸姿态角度、人脸图像模糊度和人脸对称均匀度这三个质量评价指标对采集到的人脸进行加权评分，得到人脸质量评估得分。

在本发明的一些实施例中，上述基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map的具体步骤为：1)人脸特征队列已保存满：若人脸质量评估得分低于人脸特征队列所有Map中人脸质量分数的最低分，则不进行特征提取操作。若人脸质量评估得分高于人脸特征队列所有Map中人脸质量分数的最低分，则进行人脸特征提取，将人脸特征与人脸质量评估得分生成一个Map并替代最低分所对应的Map。2)人脸特征队列未保存满：只要人脸质量评估得分高于阈值，就提取人脸特征并与人脸质量评估得分形成一个Map保存到人脸特征队列中。

在本发明的一些实施例中，上述进一步与S3的Track建立匹配关系的具体步骤为：

S4-1：对所有行人和所有存活的Track建立关联关系。

S4-2：对成功匹配到行人的Track进行信息更新操作。

S4-3：对未匹配到Track的行人逐一进行初始化操作。

S4-4：对长时间未匹配到行人的Track进行消除操作。

在本发明的一些实施例中，上述进一步与S3的Track建立匹配关系的具体步骤为：若(k*n+2)/(m*n)为整数，k与n均为正整数，m的取值范围为3～6，则采用余弦定理计算提取到的人脸特征与尚存活的Track人脸特征队列中所保存的特征之间的相似度，根据相似度进行匹配。对于剩余的未匹配成功的行人、未检测到人脸和人脸质量评估得分低于阈值的行人，采用多层次融合匹配法与尚未匹配成功的Track进行匹配。若(k*n+2)/(m*n)为非整数，新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法。对成功匹配到行人的Track进行信息更新操作，对未匹配到Track的行人逐一进行初始化操作，对长时间未匹配到行人的Track进行消除操作。

在本发明的一些实施例中，上述S4-1的具体步骤为：

S4-1-1：若(k*n+2)/(m*n)结果为整数，且能够提取到人脸，同时人脸质量合格并提取了人脸特征：在尚存活的Track中选取具有有效人脸特征信息的Track，用余弦定理计算新得到行人的人脸特征与Track的人脸特征队列中拥有最高人脸质量评估得分的Map中的人脸特征之间的相似度，在满足阈值条件下得出相互匹配成功的行人与Track的编号，输出匹配对1。

S4-1-2：对于以下三种情况下的行人：1)行人提取不到人脸，2)行人提取到了人脸但是人脸质量不合格，3)人脸质量合格且提取了人脸特征并与Track中的人脸特征信息进行了匹配但是匹配结果失败，这三种情况下新检测到的行人与尚未匹配成功的尚存活的Track之间按照多层次融合匹配法进行匹配，输出匹配对2。

S4-1-3：若(k*n+2)/(m*n)结果为非整数：新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法，输出匹配对3。

在本发明的一些实施例中，上述多层次融合匹配法的具体步骤为：根据Track的未匹配行人的帧数参数对参与匹配的行人加以正比例的欧式距离约束，在此基础上对第一优先级参与匹配的Track在Oks距离矩阵的横向与纵向建立匹配对，结合Hog特征与Cn特征的余弦距离矩阵进行补充，采用循环排除法输出最佳匹配对。对优先级排最后的有交集组的Track在特征余弦距离矩阵的横向与纵向用贪婪法建立匹配对；对其他优先级的Track，在Hog特征与Cn特征余弦距离矩阵的横向与纵向建立匹配对，结合Oks矩阵进行补充，采用循环排除法输出降低相似度带来的干扰，输出最佳匹配对。

在本发明的一些实施例中，上述通过队列的人脸特征相似度计算结果对不同摄像头下的Track进行匹配的具体步骤为：多摄像头Track之间的匹配用各自的人脸特征队列中人脸质量评估得分排前三的Map中的人脸特征相互按余弦定理计算，每次计算得到9个相似度结果，取平均值最高的为最终计算结果。

相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

在单摄像头下检测出行人关键点，基于行人检测算法在检测行人的同时能够计算行人的重心坐标，通过快速跟踪法预测行人关键点，每隔n帧重新检测行人并采用多层次融合oks距离与行人特征的匹配法对行人进行匹配，形成单摄像头下的轨迹Track。人是非刚性物体，姿态变化各种各样，其中，依据行人的重心坐标与骨骼关键点联合计算oks距离的方法可降低非刚性物体在相邻两帧的匹配过程中因瞬时姿态变化带来的距离计算的影响，能有效提高匹配的可靠性。多层次融合匹配法按照优先级分为多级次进行匹配，每一级次按照最适合的方法进行具体匹配实现，优点在于优先让置信度高的对象参与匹配，置信度最低的对象最后参与匹配；匹配过程中涉及到循环排除法，进一步的优点在于优先处理干扰少的匹配对，对于结果比较相近的匹配对暂时往后推一步，因此随着匹配的进行，因相似度差异不大而带来的干扰越来越少，执行到最终得到较高的匹配准确度；单摄像头下行人匹配效果较好，行人轨迹跟踪速度快，算力消耗较少。

多摄像头用人脸特征队列进行匹配计算，关联不同摄像头下的轨迹Track，通过人脸质量评估模型筛选出符合要求的人脸再进行人脸特征提取，大幅提高了人脸匹配准确率，因此多摄像头下轨迹Track之间的匹配准确率也随之得到提高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明中一实施例的整体过程示意图；

图2为本发明中一实施例的多摄像头下行人匹配的流程图；

图3为本发明中一实施例的基于人脸质量评估得分进一步判断是否提取人脸特征的流程图；

图4为本发明中一实施例的进一步与步骤S3的最后一帧所得的Track建立匹配关系的具体步骤示意图；

图5为本发明中一实施例的对所有行人和所有存活的Track建立关联关系的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。

实施例

请参阅图1和图2，为本申请实施例提供的一种基于关键点检测的多行人快速跟踪方法的过程示意图，本申请实施例提供一种基于关键点检测的多行人快速跟踪方法，其包括S1：单摄像头下进行行人检测：从单摄像头获取当前帧，将当前帧设为第1帧，结合行人检测算法，进行行人人体骨骼关键点检测与重心点检测，基于人体骨骼关键点与重心点预测出每个行人的行人框坐标与人头框坐标；基于行人框坐标与人头框坐标获取行人框区域图像和人头框区域图像，基于行人特征算法提取行人特征，基于人脸检测算法进行人脸检测，若检测到人脸则进行人脸质量评估，基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map。

上述步骤中，上述行人检测算法具体为：基于OpenPose模型增加了姿态对齐和解码模块，实现人体的实例分割，同时输出人体骨骼点。损失函数增加实例分割约束，用来提高预测关键点的准确性。根据骨骼点预测出行人框位置，人头框位置，根据人体实例分割所得图像计算出人体区域的重心。行人特征算法具体为：用Hog与Cn特征提取模型对行人框区域图像提取行人特征并保存。

从摄像头获取当前帧(设为第一帧)图像进行多人人体关键点检测，基于OpenPose网络的基础上增加姿态对齐模块和decode模块，损失函数增加了实例分割约束，改进后的模型比之前的模型所预测的关键点精度更高，检测骨骼点的同时，分割行人并计算出行人重心坐标。根据骨骼关键点位置信息预测出图像中每个行人的行人框坐标位置与人头框坐标位置。用Hog与Cn特征提取模型对行人框区域图像提取行人特征，同时在人头框区域检测人脸，有的行人检测到了人脸框有的没有检测到人脸框，对检测到的人脸进行质量评估计算其得分，对于未检测到的人脸避免计算可以很大程度上减少算力。

S2：为每一个行人创建一条轨迹Track并自动分配一个ID，同时将行人的骨骼关键点、重心点、行人框坐标、人头框坐标和行人特征保存到Track，将S1所得的Map保存到Track的人脸特征队列中。

上述步骤中，为每一个行人自动创建Track并分配一个ID，是为了将每个行人分配到一个轨迹中，更方便之后的行人轨迹匹配，同时保存行人的相关信息，对于检测到人脸并且人脸质量得分达到阈值条件的，提取其人脸特征并与人脸质量评估得分生成一个Map，对于达到阈值的人脸质量进行人脸特征提取能够筛选出部分满足条件的人脸特征，避免将不满足阈值条件的人脸特征存入特征队列中占用存储空间，将Map保存到该Track的人脸特征队列中。

S3：单摄像头下行人快速跟踪：连续n帧，即从第(k-1)*n+2帧到第k*n+1帧，k与n均为正整数，对保存在Track的最新行人骨骼关键点与重心点进行快速跟踪，跟踪过程基于获得的行人关键点并继续提取行人Hog与Cn特征并及时更新Track，同时对人头框区域图像进行人脸检测，若检测到人脸则进行人脸质量评估，基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map并保存至该Track的人脸特征队列中。

上述步骤中，从第(k-1)*n+2帧到第k*n+1帧连续快速跟踪预测，跟踪过程根据行人骨骼关键点以及人体重心点预测出下一帧的骨骼关键点与重心点，根据骨骼关键点与重心点预测出行人框，继续提取行人框图像区域内Hog与Cn特征并及时更新Track，同时对人头框区域图像进行人脸检测，如检测到则进行人脸质量评估，根据评估得分进一步判断是否提取人脸特征，若人脸质量评估得分在人脸特征队列中高于最低分则提取人脸特征，若人脸质量评估得分高于阈值则需要考虑特征队列是否存满，如果提取则将其特征与人脸质量得分生成一个Map保存到该Track的人脸特征队列中。上述人脸特征提取包括人脸对齐与特征提取两个环节。通过PNP算法求出106个人脸关键点映射成标准人脸关键点的变换矩阵，将人脸图像乘以该矩阵所得的新图像作为基于MobileNet网络的输入数据，输出512维的人脸特征数据。

S4：单摄像头下行人匹配：将第k*n+2帧通过执行S1的操作获得新的数据，进一步与S3的Track建立匹配关系。

上述步骤中，第k*n+2帧通过执行步骤S1获取最新的行人相关信息，及时更新数据后获得最新的行人轨迹Track并与之前的Track建立匹配关系。

S5：多摄像头下行人匹配：基于每个摄像头的空间位置关联关系，限定Track的可匹配范围，若摄像头对应的人脸特征队列中没有保存到人脸特征，则不进行匹配；若摄像头对应的人脸特征队列中保存到人脸特征，则通过队列的人脸特征相似度计算结果对不同摄像头下的Track进行匹配，匹配完成后按照时间序列形成跨摄像头下的行人运动轨迹。

上述步骤中，通过各摄像头之间的空间位置联系限定Track的匹配范围，将相近的Track优先匹配能够尽可能的减少算力，避免浪费算力在没有联系的Track的匹配上。并且优先对保存人脸特征的Track队列进行相似度计算，再进行匹配，最后按照时间顺序排列行人运动轨迹，形成多摄像头下的完整的行人运动轨迹。

在本发明的一些实施例中，上述人脸质量评估的具体步骤为：根据人脸姿态角度、人脸图像模糊度和人脸对称均匀度这三个质量评价指标对采集到的人脸进行加权评分，得到人脸质量评估得分。

上述实施例中，人脸姿态角度：通过一个基于MLP的神经网络实现检测，输入106个人脸关键点，输出欧拉角Yaw、Pitch和Roll；人脸图像模糊度：通过一个基于CNN的4分类网络实现检测，输入112×112×3的人脸图像，输出4个类别，分别为特别模糊、一般模糊、清晰、特别清晰；人脸对称均匀度：根据106个人脸关键点分别获取左、右半边脸的多心区域，通过左、右半边脸形成的多边形区域的面积比值来计算人脸对称均匀度，对这三个质量评价指标进行加权评分，使得数据会更加简便易算，减少计算量。

请参阅图3，在本发明的一些实施例中，上述基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map的具体步骤为：1)人脸特征队列已保存满：若人脸质量评估得分低于人脸特征队列所有Map中人脸质量分数的最低分，则不进行特征提取操作。若人脸质量评估得分高于人脸特征队列所有Map中人脸质量分数的最低分，则进行人脸特征提取，将人脸特征与人脸质量评估得分生成一个Map并替代最低分所对应的Map。2)人脸特征队列未保存满：只要人脸质量评估得分高于阈值，就提取人脸特征并与人脸质量评估得分形成一个Map保存到人脸特征队列中。

上述实施例中，人脸特征队列已保存满时，若人脸质量评估得分高于人脸特征队列所有Map中人脸质量分数的最低分，则进行人脸特征提取，将人脸特征与人脸质量评估得分生成一个Map并替代最低分所对应的Map。人脸特征队列未保存满时，只要人脸质量评估得分高于阈值，就提取人脸特征并与人脸质量评估得分形成一个Map保存到人脸特征队列中。这样能够避免人脸特征队列中出现过多的人脸质量导致增加了计算量，浪费算力，并且在人脸特征队列已存满时，替换掉人脸特征队列中的最低值，使数据匹配更加准确。

请参阅图4，在本发明的一些实施例中，上述进一步与S3的Track建立匹配关系的具体步骤为：

S4-1：对所有行人和所有存活的Track建立关联关系。

S4-2：对成功匹配到行人的Track进行信息更新操作。

S4-3：对未匹配到Track的行人逐一进行初始化操作。

S4-4：对长时间未匹配到行人的Track进行消除操作。

上述实施例中，对所有行人和所有存活的Track建立关联关系是一个生成匹配对的过程。对成功匹配到行人的Track进行信息更新操作：更新Track中最新的行人框位置、人头框位置、行人的Hog特征与Cn特征、人体关键点、人体重心点等信息；如检测到人脸，则进行人脸质量评估。对未匹配到Track的行人逐一进行初始化操作：为没有匹配到Track的行人自动创建新tarck，并分配ID，保存行人框位置、人头框位置、行人的Hog特征与Cn特征、人体关键点、人体重心点等信息。如检测到人脸，人脸质量分数超过阈值并提取到人脸特征，则将其与人脸质量得分形成Map并保存；对长时间未匹配到行人的Track进行消除操作：连续多帧(超过预设阈值)没有匹配到新的行人，则认为该Track处于不存活的状态，将其删除。

在本发明的一些实施例中，上述进一步与步骤S3的最后一帧所得的Track建立匹配关系的具体步骤为：若(k*n+2)/(m*n)为整数，k与n均为正整数，m的取值范围为3～6，则采用余弦定理计算提取到的人脸特征与尚存活的Track人脸特征队列中所保存的特征之间的相似度，根据相似度进行匹配。对于剩余的未匹配成功的行人、未检测到人脸和人脸质量评估得分低于阈值的行人，采用多层次融合匹配法与尚未匹配成功的Track进行匹配。若(k*n+2)/(m*n)为非整数，新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法。对成功匹配到行人的Track进行信息更新操作，对未匹配到Track的行人逐一进行初始化操作，对长时间未匹配到行人的Track进行消除操作。

上述实施例中，当(k*n+2)/(m*n)为整数，k与n均为正整数，m的取值范围为3～6，采用余弦定理计算提取到的人脸特征与尚存活的Track人脸特征队列中所保存的特征之间的相似度，Track之间根据相似度进行匹配，可以优先匹配相似度较高的匹配对，相似度较高的匹配对能够更快的匹配，使匹配过程更快；对剩余的未匹配成功的行人、未检测到人脸和人脸质量评估得分低于阈值的行人，采用多层次融合匹配法与尚未匹配成功的Track进行匹配，尽可能输出匹配度较高的匹配对，增加准确度。当(k*n+2)/(m*n)为非整数，新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法，能够得到较高的匹配准确度。对成功匹配到行人的Track进行信息更新操作，及时更新信息能够避免匹配出错导致最终匹配结果准确度不高，对未匹配到Track的行人逐一进行初始化操作，上述初始化操作包括为没有匹配到Track的行人自动创建新tarck，并分配ID，保存行人框位置、人头框位置、行人的Hog特征与Cn特征、人体关键点、人体重心点等信息。将长时间未匹配到行人的Track删除，避免占用匹配空间增加算力。

请参阅图5，在本发明的一些实施例中，上述步骤S4-1的具体步骤为：

S4-1-1：若(k*n+2)/(m*n)结果为整数，且能够提取到人脸，同时人脸质量合格并提取了人脸特征：在尚存活的Track中选取具有有效人脸特征信息的Track，用余弦定理计算新得到行人的人脸特征与Track的人脸特征队列中拥有最高人脸质量评估得分的Map中的人脸特征之间的相似度，在满足阈值条件下得出相互匹配成功的行人与Track的编号，输出匹配对1。

S4-1-2：对于以下三种情况下的行人：1)行人提取不到人脸，2)行人提取到了人脸但是人脸质量不合格，3)人脸质量合格且提取了人脸特征并与Track中的人脸特征信息进行了匹配但是匹配结果失败，这三种情况下新检测到的行人与尚未匹配成功的尚存活的Track之间按照多层次融合匹配法进行匹配，输出匹配对2。

S4-1-3：若(k*n+2)/(m*n)结果为非整数：新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法，输出匹配对3。

上述实施例中，对所有行人和所有存活的Track建立关联关系能够输出多个匹配对，如果(k*n+2)/(m*n)为整数，当n取值8，m取值4，并且行人能够提取到人脸，同时人脸质量合格并提取了人脸特征；在尚存活的Track中选取具有有效人脸特征信息的Track，用余弦定理计算新得到行人的人脸特征与Track的人脸特征队列中拥有最高人脸质量得分的Map中的人脸特征之间的相似度，优先筛选出满足条件的人脸特征，减少计算量；在满足阈值条件下得出相互匹配成功的行人与Track的编号，输出匹配对1。对于以下情况的行人：行人提取不到人脸、行人提取到了人脸但是人脸质量不合格和人脸质量合格且提取了人脸特征并与Track中的人脸特征信息进行了匹配但是匹配结果失败，这三种情况下新检测到的行人与尚未匹配成功的尚存活的Track之间按照多层次融合匹配法进行匹配，尚未匹配成功则不满足相似度计算，相似度较低的情况下使用多层次匹配法进行匹配，输出匹配对2。当(k*n+2)/(m*n)结果为非整数：新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法，通过优先级以及匹配法进行匹配，随着匹配的进行会逐渐降低相似度带来的影响，尽量选择最佳匹配对输出，增加多层次融合匹配法的准确度，输出匹配对3。

在本发明的一些实施例中，上述多层次融合匹配法的具体步骤为：根据Track的未匹配行人的帧数参数对参与匹配的行人加以正比例的欧式距离约束，在此基础上对第一优先级参与匹配的Track在Oks距离矩阵的横向与纵向建立匹配对，结合Hog特征与Cn特征的余弦距离矩阵进行补充，采用循环排除法输出最佳匹配对。对优先级排最后的有交集组的Track在特征余弦距离矩阵的横向与纵向用贪婪法建立匹配对；对其他优先级的Track，在Hog特征与Cn特征余弦距离矩阵的横向与纵向建立匹配对，结合Oks矩阵进行补充，采用循环排除法输出降低相似度带来的干扰，输出最佳匹配对。

上述实施例中，多层次融合匹配法”的实现过程为：

(1)匹配优先级：Track有个实时更新的参数叫做未匹配行人的帧数参数，用来表示当前状态存活的Track已经连续多少帧没有匹配到新的行人。将所有的Track按照未匹配行人的帧数参数进行分组，数值相同的分配到同一组；在同一个分组里，按照行人框是否跟其他行人框有交集分为有交集组和非交集组，有交集组里边包括多组，产生交集的为同一组。当Track与新的行人进行匹配时，优先级顺序为：Track的未匹配行人的帧数参数越小的组，越优先与新检测的行人进行匹配；同一个Track组，优先匹配非交集组；对于有交集组，组内优先Track总数量少的组进行匹配。

(2)匹配法：对于参与匹配的行人与Track，建立三个距离矩阵进行匹配分析。第一个距离矩阵为基于Hog特征与Cn特征加权计算得到的特征余弦距离矩阵；第二个矩阵为Oks距离矩阵；第三个距离矩阵为欧式距离矩阵。

根据Track的未匹配行人的帧数参数对参与匹配的行人加以正比例的欧式距离约束，在此基础上对第一优先级参与匹配的Track在Oks距离矩阵的横向与纵向建立匹配对，结合Hog特征与Cn特征的余弦距离矩阵进行补充，采用循环排除法输出最佳匹配对。循环排除法的优点在于优先处理干扰少的匹配对，对于结果比较相近的匹配对暂时往后推一步，因此随着匹配的进行，因相似度差异不大而带来的干扰越来越少，执行到最终得到较高的匹配准确度；对优先级排最后的有交集组的Track在特征余弦距离矩阵的横向与纵向用贪婪法建立匹配对；对其他优先级的Track，在Hog特征与Cn特征余弦距离矩阵的横向与纵向建立匹配对，结合Oks矩阵进行补充，采用循环排除法输出降低相似度带来的干扰，输出最佳匹配对。

在本发明的一些实施例中，上述通过队列的人脸特征相似度计算结果对不同摄像头下的Track进行匹配的具体步骤为：多摄像头Track之间的匹配用各自的人脸特征队列中人脸质量评估得分排前三的Map中的人脸特征相互按余弦定理计算，每次计算得到9个相似度结果，取平均值最高的为最终计算结果。

上述实施例中，根据人脸特征相似度计算结果对不同摄像头下的Track进行匹配，因此选择最终计算结果用各自的人脸特征队列中人脸质量评估得分排前三的Map中的人脸特征相互按余弦定理计算，每次计算均能得到多个相似度结果，将多个相似度结果取平均值最高的作为最终计算结果，这样能够避免出现特殊值导致匹配的准确度不高。

综上所述，本申请实施例提供的一种基于关键点检测的多行人快速跟踪方法，在单摄像头下检测出行人关键点，基于行人检测算法在检测行人的同时能够计算行人的重心坐标，可以一定程度上提高关键点的精度。通过快速跟踪法预测行人关键点，每隔n帧重新检测行人并采用多层次融合oks距离与行人特征的匹配法对行人进行匹配，形成单摄像头下的轨迹Track。多层次融合匹配法按照优先级分为多级次进行匹配，每一级次按照最适合的方法进行具体匹配实现，优点在于优先让置信度高的对象参与匹配，置信度最低的对象最后参与匹配；匹配过程中涉及到循环排除法，进一步的优点在于优先处理干扰少的匹配对，对于结果比较相近的匹配对暂时往后推一步，因此随着匹配的进行，因相似度差异不大而带来的干扰越来越少，执行到最终得到较高的匹配准确度；单摄像头下行人匹配效果较好，行人轨迹跟踪速度快，算力消耗较少。多摄像头用人脸特征队列进行匹配计算，关联不同摄像头下的轨迹Track，通过人脸质量评估模型筛选出符合要求的人脸再进行人脸特征提取，大幅提高了人脸匹配准确率，因此多摄像头下轨迹Track之间的匹配准确率也随之得到提高。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (8)

1.一种基于关键点检测的多行人快速跟踪方法，其特征在于，包括以下步骤：

S1：单摄像头下进行行人检测：从单摄像头获取当前帧，将当前帧设为第1帧，结合行人检测算法，进行行人人体骨骼关键点检测与重心点检测，基于人体骨骼关键点与重心点预测出每个行人的行人框坐标与人头框坐标；基于行人框坐标与人头框坐标获取行人框区域图像和人头框区域图像，基于行人特征算法提取行人特征，基于人脸检测算法进行人脸检测，若检测到人脸则进行人脸质量评估，基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map；

S2：为每一个行人创建一条轨迹Track并自动分配一个ID，同时将行人的骨骼关键点、重心点、行人框坐标、人头框坐标和行人特征保存到Track，将步骤S1所得的Map保存到Track的人脸特征队列中；

S3：单摄像头下行人快速跟踪：连续n帧，即从第(k-1)*n+2帧到第k*n+1帧，k与n均为正整数，对保存在Track的最新行人骨骼关键点与重心点进行快速跟踪，跟踪过程基于获得的行人关键点并继续提取行人Hog与Cn特征并及时更新Track，同时对人头框区域图像进行人脸检测，若检测到人脸则进行人脸质量评估，基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map并保存至该Track的人脸特征队列中；

S4：单摄像头下行人匹配：将第k*n+2帧通过执行步骤S1的操作获得新的数据，进一步与步骤S3的最后一帧所得的Track建立匹配关系；

S5：多摄像头下行人匹配：基于每个摄像头的空间位置关联关系，限定Track的可匹配范围，若摄像头对应的人脸特征队列中没有保存到人脸特征，则不进行匹配；若摄像头对应的人脸特征队列中保存到人脸特征，则通过队列的人脸特征相似度计算结果对不同摄像头下的Track进行匹配，匹配完成后按照时间序列形成跨摄像头下的行人运动轨迹。

2.如权利要求1所述的一种基于关键点检测的多行人快速跟踪方法，其特征在于，所述人脸质量评估的具体步骤为：根据人脸姿态角度、人脸图像模糊度和人脸对称均匀度这三个质量评价指标对采集到的人脸进行加权评分，得到人脸质量评估得分。

3.如权利要求1所述的一种基于关键点检测的多行人快速跟踪方法，其特征在于，所述基于人脸质量评估得分进一步判断是否提取人脸特征，若提取人脸则将人脸特征与人脸质量评估得分生成一个Map的具体步骤为：

1)人脸特征队列已保存满：若人脸质量评估得分低于人脸特征队列所有Map中人脸质量分数的最低分，则不进行特征提取操作；若人脸质量评估得分高于人脸特征队列所有Map中人脸质量分数的最低分，则进行人脸特征提取，将人脸特征与人脸质量评估得分生成一个Map并替代最低分所对应的Map；

2)人脸特征队列未保存满：只要人脸质量评估得分高于阈值，就提取人脸特征并与人脸质量评估得分形成一个Map保存到人脸特征队列中。

4.如权利要求1所述的一种基于关键点检测的多行人快速跟踪方法，其特征在于，所述进一步与步骤S3的最后一帧所得的Track建立匹配关系的具体步骤为：

S4-1：对所有行人和所有存活的Track建立关联关系；

S4-2：对成功匹配到行人的Track进行信息更新操作；

S4-3：对未匹配到Track的行人逐一进行初始化操作；

S4-4：对长时间未匹配到行人的Track进行消除操作。

5.如权利要求1所述的一种基于关键点检测的多行人快速跟踪方法，其特征在于，所述进一步与步骤S3的最后一帧所得的Track建立匹配关系的具体步骤为：

若(k*n+2)/(m*n)为整数，k与n均为正整数，m的取值范围为3～6，则采用余弦定理计算提取到的人脸特征与尚存活的Track人脸特征队列中所保存的特征之间的相似度，根据相似度进行匹配；

对于剩余的未匹配成功的行人、未检测到人脸和人脸质量评估得分低于阈值的行人，采用多层次融合匹配法与尚未匹配成功的Track进行匹配；

若(k*n+2)/(m*n)为非整数，新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法；

对成功匹配到行人的Track进行信息更新操作；对未匹配到Track的行人逐一进行初始化操作；对长时间未匹配到行人的Track进行消除操作。

6.如权利要求4所述的一种基于关键点检测的多行人快速跟踪方法，其特征在于，所述步骤S4-1的具体步骤为：

S4-1-1：若(k*n+2)/(m*n)结果为整数，且能够提取到人脸，同时人脸质量合格并提取了人脸特征：在尚存活的Track中选取具有有效人脸特征信息的Track，用余弦定理计算新得到行人的人脸特征与Track的人脸特征队列中拥有最高人脸质量评估得分的Map中的人脸特征之间的相似度，在满足阈值条件下得出相互匹配成功的行人与Track的编号，输出匹配对1；

S4-1-2：对于以下三种情况下的行人：1)行人提取不到人脸；2)行人提取到了人脸但是人脸质量不合格；3)人脸质量合格且提取了人脸特征并与Track中的人脸特征信息进行了匹配但是匹配结果失败；这三种情况下新检测到的行人与尚未匹配成功的尚存活的Track之间按照多层次融合匹配法进行匹配，输出匹配对2；

S4-1-3：若(k*n+2)/(m*n)结果为非整数：新检测到的行人与尚存活的Track之间的匹配方法直接采用多层次融合匹配法，输出匹配对3。

7.如权利要求5或6所述的一种基于关键点检测的多行人快速跟踪方法，其特征在于，所述多层次融合匹配法的具体步骤为：

根据Track的未匹配行人的帧数参数对参与匹配的行人加以正比例的欧式距离约束，在此基础上对第一优先级参与匹配的Track在Oks距离矩阵的横向与纵向建立匹配对，结合Hog特征与Cn特征的余弦距离矩阵进行补充，采用循环排除法输出最佳匹配对；

对优先级排最后的有交集组的Track在特征余弦距离矩阵的横向与纵向用贪婪法建立匹配对；对其他优先级的Track，在Hog特征与Cn特征余弦距离矩阵的横向与纵向建立匹配对，结合Oks矩阵进行补充，采用循环排除法输出降低相似度带来的干扰，输出最佳匹配对。

8.如权利要求1所述的一种基于关键点检测的多行人快速跟踪方法，其特征在于，所述通过队列的人脸特征相似度计算结果对不同摄像头下的Track进行匹配的具体步骤为：

多摄像头Track之间的匹配用各自的人脸特征队列中人脸质量评估得分排前三的Map中的人脸特征相互按余弦定理计算，每次计算得到9个相似度结果，取平均值最高的为最终计算结果。

Images