CN113822163A - 一种复杂场景下的行人目标跟踪方法及装置 - Google Patents
一种复杂场景下的行人目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN113822163A CN113822163A CN202110981011.2A CN202110981011A CN113822163A CN 113822163 A CN113822163 A CN 113822163A CN 202110981011 A CN202110981011 A CN 202110981011A CN 113822163 A CN113822163 A CN 113822163A
- Authority
- CN
- China
- Prior art keywords
- target
- time
- obj
- tracking
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种复杂场景下的行人目标跟踪方法及装置。所述方法包括选定目标人物，获取目标图像的起始时刻，建立运动轨迹；计算检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，如果该时间间隔超过预设轨迹消失时间阈值，则目标已经丢失；否则计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，提取目标人脸特征和内嵌特征，进行人物相似度匹配。本发明实现在较短时间间隔内的目标人物跟踪定位场景下，结合脸部信息、目标人物的上半身身体特征进行辅助判别关联，进行有效的特征对匹配的结果进行验证和修正，有利于提升复杂场景下的目标人物的跟踪效果。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种复杂场景下的行人目标跟踪方法及装置。
背景技术
重点人物的目标跟踪有很重要的使用价值，在现实世界中，运动场景都比较复杂，简单的线性运动模型、或者传统的目标跟踪技术，都显得捉襟见肘。一些应用场景中，行人目标交叠，并且行人的特征变化不显著，导致两个目标人物的轨迹交叉、误匹配，最终导致目标人物丢失。对目标人物的智能监控和追踪都会带来不好的体验。
基于深度学习等相关性滤波的单目标跟踪虽然也取得了比较好的跟踪效果，但是在效率上还是不好，对应对复杂场景的行人目标跟踪效果也不是很好。
人脸特征、身份重识别的内嵌特征在生物特征识别、身份辨别领域都取得了很好的效果，用这些稳定的特征进行目标人物跟踪辅助是有效的技术途径。
发明内容
本发明提供了一种复杂场景下的行人目标跟踪方法，包括：
选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；
计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：
如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；
如果该时间间隔在预设轨迹消失时间阈值内，则计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
如上所述的复杂场景下的行人目标跟踪方法，其中，在复杂场景下进行某一目标人物追踪时，先查找该目标人物的目标图像在视频中的起始时刻t，该时刻代表获得了一个新的检测目标，为该目标重新建立一条运动轨迹Trackobj，记录此时的目标图像为imaget，其位置为positionobj_t(xobj_t,yobj_t,widthobj_t,heightobj_t)，t+k时刻的图像为记为imaget+k，位置为positionobj_t+k(xobj_t+k,yobj_t+k,widthobj_t+k,heightobj_t+k)，k与视频跳帧处理有关是自然数，k∈{1,2,..}。
如上所述的复杂场景下的行人目标跟踪方法，其中，如果该时间间隔在预设轨迹消失时间阈值内，则具体执行如下子步骤：
对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，得到t+k时刻的预测位置positionpredict；
计算t+k时刻的预测位置positionpredict与实际位置positionobj_t+k之间的距离；
将满足距离条件的t+k时刻的若干目标组成一组候选集objSet{obj0,obj1,...,objm}。
如上所述的复杂场景下的行人目标跟踪方法，其中，对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，具体为：采用kalman线性预测，根据当前帧位置positionobj_t+k和新更新目标的位置信息positionobj_t计算Kalman状态参数，通过Kalman状态参数预测下一时刻目标应该出现的位置及大小postionpredict(xpre，ypre，widthpre，heightpre)。
如上所述的复杂场景下的行人目标跟踪方法，其中，进行人物相似度匹配，具体包括如下子步骤：
对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；
如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFeat+k，计算目标人物object在t时刻对应的人脸特征FaceFeat和t+k时刻对应的人脸特征FaceFeat+k的相似度simi(ReidFeat,ReidFeat+k)，如果相似度大于给定的阈值faceThr，那么认为是同一个目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；
如果人脸区域不存在，则提取内嵌特征ReidFeat+k，计算目标人物object在t时刻对应的内嵌特征ReidFeat和t+k时刻对应的内嵌特征ReidFeat+k的相似度simi(ReidFeat,ReidFeat+k)，如果相似度阈值大于给定的阈值AttriThr，那么认为是同一目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
本发明还提供一种复杂场景下的行人目标跟踪装置，包括：运动轨迹创建模块21、目标运动轨迹检测模块22、目标运动轨迹确定模块23；
运动轨迹创建模块21，用于选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；
目标运动轨迹检测模块22，用于计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；如果该时间间隔在预设轨迹消失时间阈值内，则触发目标运动轨迹确定模块23；
目标运动轨迹确定模块23，用于计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
如上所述的复杂场景下的行人目标跟踪装置，其中，如果该时间间隔在预设轨迹消失时间阈值内，则目标运动轨迹检测模块22具体用于：对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，得到t+k时刻的预测位置positionpredict；计算t+k时刻的预测位置positionpredict与实际位置positionobj_t+k之间的距离；将满足距离条件的t+k时刻的若干目标组成一组候选集objSet{obj0,obj1,...,objm}。
如上所述的复杂场景下的行人目标跟踪装置，其中，对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，具体为：采用kalman线性预测，根据当前帧位置positionobj_t+k和新更新目标的位置信息positionobj_t计算Kalman状态参数，通过Kalman状态参数预测下一时刻目标应该出现的位置及大小postionpredict(xpre，ypre，widthpre，heightpre)。
如上所述的复杂场景下的行人目标跟踪装置，其中，目标运动轨迹确定模块23具体用于：对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFeat+k，计算目标人物object在t时刻对应的人脸特征FaceFeat和t+k时刻对应的人脸特征FaceFeat+k的相似度simi(FaceFeat,FaceFeat+k)，如果相似度大于给定的阈值faceThr，那么认为是同一个目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；如果人脸区域不存在，则提取内嵌特征ReidFeat+k，计算目标人物object在t时刻对应的内嵌特征ReidFeat和t+k时刻对应的内嵌特征ReidFeat+k的相似度simi(ReidFeat,ReidFeat+k)，如果相似度阈值大于给定的阈值AttriThr，那么认为是同一目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
本发明还提供一种计算机存储介质，其特征在于，包括：至少一个存储器和至少一个处理器；
存储器用于存储一个或多个程序指令；
处理器，用于运行一个或多个程序指令，用以执行上述任一项所述的一种复杂场景下的行人目标跟踪方法。
本发明实现的有益效果如下：本发明提出一个实时的且通过多种特征属性约束的方式进行跟踪的改进方法。实现在较短时间间隔内的目标人物跟踪定位场景下，结合脸部信息、目标人物的上半身内嵌特征进行辅助判别关联，进行有效的特征对匹配的结果进行验证和修正，有利于提升复杂场景下的目标人物的跟踪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种复杂场景下的行人目标跟踪方法流程图；
图2是当判定时间间隔在预设轨迹消失时间阈值内所执行方法流程图
图3是进行人物相似度匹配方法流程图；
图4是本发明实施例二提供的一种复杂场景下的行人目标跟踪装置示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明实施例一提供一种复杂场景下的行人目标跟踪方法，包括：
步骤110、选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；
在复杂场景下进行某一目标人物追踪时，先查找该目标人物的目标图像在视频中的起始时刻t，该时刻代表获得了一个新的检测目标，为该目标重新建立一条运动轨迹Trackobj，记录此时的目标图像为imaget，其位置为positionobj_t，t+k时刻的图像为记为imaget+k，位置为positionobj_t+k。
设定对于任意的目标object，其位置表示为position(x，y，width，height)，其中，x，y是目标外接矩形的左上角坐标，用其表示目标的位置，width，height是对应矩形的宽度和高度，用其表示目标的大小，因此此时对应t时刻的目标人物object的位置为positionobj_t(xobj_t,yobj_t,widthobj_t,heightobj_t)，同样地，t+k时刻的图像位置为positionobj_t+k(xobj_t+k,yobj_t+k,widthobj_t+k,heightobj_t+k)，k与视频跳帧处理有关是自然数，k∈{1,2,..}，k愈大，对应算法运算量愈小，但是会影响跟踪体验，本发明优选k＝6。
步骤120、计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内，如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；如果该时间间隔在预设轨迹消失时间阈值内，则执行步骤130；
本发明实施例中，对于t+k时刻检测到的目标图像imaget+k，位置为positionobj_t+k，计算t+k时刻，距离运动轨迹最后更新的时间的时间间隔，判断时间间隔是否在轨迹消失的时间阈值endTrackThr(优选可设置endTrackThr＝60)内，如果时间间隔大于该阈值，则人物目标丢失太久，目标已经丢失，追踪结束；
如图2所示，如果时间间隔在时间阈值内，则执行如下子步骤：
步骤210、对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，得到t+k时刻的预测位置positionpredict；
优选地，本发明采用kalman(卡尔曼)线性预测，根据当前帧位置positionobj_t+k和新更新目标的位置信息positionobj_t计算Kalman状态参数，通过Kalman状态参数预测下一时刻目标应该出现的位置及大小postionpredict(xpre，ypre，widthpre，heightpre)；
其中，Kalman预测具体方法为：
Kalman状态估计使用一个8维空间去刻画轨迹在某时刻的状态
分别表示目标的中心位置、纵横比、高度、以及在图像坐标中对应的速度信息；卡尔曼滤波器采用匀速模型和线性观测模型，对应的观测变量为中心位置(x,y)，纵横比r，高度h，最终得到预测的位置postionpredict(xpre，ypre，widthpre，heightpre)，其中，xpre＝x，ypre＝y，widthpre＝h*r，heightpre＝h。Kalman预测性能比较稳定、且能够可靠地预测下一帧目标出现的位置，利于提升轨迹连接效果。
步骤220、计算t+k时刻的预测位置positionpredict与实际位置positionobj_t+k之间的距离，将满足距离条件的t+k时刻的若干目标组成一组候选集objSet{obj0,obj1,...,objm}；
具体地，计算t+k时刻的预测位置positionpredict与实际位置positionobj_t+k之间的距离的计算公式为：
其中，xcenpredict＝xpredict+widthpredict*0.5，ycenpredict＝ypredict+heightpredict*0.5，如果位置距离dist(positionpredict,positionobj_t+k)<1.5*(widthpredict+widthobj_t+k)，则认为是满足距离条件的目标，保存到候选集objSet中，通过距离条件筛选可以确定t+k时刻的目标图像imaget+k与t时刻目标图像imaget是否是同一个目标集合objSet。
若经距离条件筛选后所得的候选集objSet为空，则继续进行下一帧的目标追踪。此外，计算距离轨迹Trackobj最后更新的时间间隔timeInterval，判断间隔timeInterval是否大于轨迹消失的时间阈值，直到间隔timeInterval大于轨迹消失的时间阈值endTrackThr，结束该轨迹，建立新的轨迹。
返回参见图1，步骤130、计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；
内嵌特征(embedding feature)指目标人物穿着、人脸、发型等综合特征，本申请综合考虑人脸特征和内嵌特征，实现对目标任务的精准追踪定位。
本发明实施例中，如图3所示，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，具体包括如下子步骤：
步骤310、对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测，如果人脸区域存在，则执行步骤320，否则执行步骤330；
步骤320、提取t+k时刻对应的人脸特征FaceFeat+k，计算目标人物object在t时刻对应的人脸特征FaceFeat和t+k时刻对应的人脸特征FaceFeat+k的相似度simi(FaceFeat,FaceFeat+k)，如果相似度大于给定的阈值faceThr(优选地，阈值faceThr＝0.7)，那么认为是同一个目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；
若目标图像候选集objSet的所有成员中存在多个相似度大于给定的阈值faceThr的目标，则选择相似度最高的目标作为目标人物的运动轨迹，对应目标object记录添加到轨迹Trackobj中，完成匹配。
步骤330、提取内嵌特征ReidFeat+k(优选提取上半身属性特征)，计算目标人物object在t时刻对应的内嵌特征ReidFeat和t+k时刻对应的内嵌特征ReidFeat+k的相似度simi(ReidFeat,ReidFeat+k)，如果相似度阈值大于给定的阈值AttriThr(优选AttriThr＝0.75)，那么认为是同一目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；
具体地，相似度的计算公式为：
其中，缓冲轨迹的目标特征为fea0(fea01,fea02,...,fea0N)，目标objnew的特征为fea1(fea11,fea12,...,fea1N)，N为对应特征的维数；若Step22使用该公式计算相似度时，目标特征fea0表示t时刻对应的人脸特征FaceFeat，fea1表示t+k时刻对应的人脸特征FaceFeat+k；若Step23使用该公式计算相似度时，目标特征fea0表示t时刻对应的内嵌特征ReidFeat，fea1表示t+k时刻对应的内嵌特征ReidFeat+k；
若目标图像候选集objSet的所有成员中存在多个相似度大于给定的阈值AttriThr的目标，则选择相似度最高的目标作为目标人物的运动轨迹，对应目标object记录添加到轨迹Trackobj中，完成匹配，由此完成跟踪，等待下一帧的新目标输入。
实施例二
如图4所示，本发明实施例二提供一种复杂场景下的行人目标跟踪装置40，包括运动轨迹创建模块41、目标运动轨迹检测模块42、目标运动轨迹确定模块43；
运动轨迹创建模块41，用于选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；
具体地，在复杂场景下进行某一目标人物追踪时，先查找该目标人物的目标图像在视频中的起始时刻t，该时刻代表获得了一个新的检测目标，为该目标重新建立一条运动轨迹Trackobj，记录此时的目标图像为imaget，其位置为positionobj_t(xobj_t,yobj_t,widthobj_t,heightobj_t)，t+k时刻的图像为记为imaget+k，位置为positionobj_t+k(xobj_t+k,yobj_t+k,widthobj_t+k,heightobj_t+k)，k与视频跳帧处理有关是自然数，k∈{1,2,..}。
目标运动轨迹检测模块42，用于计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；如果该时间间隔在预设轨迹消失时间阈值内，则触发目标运动轨迹确定模块43；
具体地，如果该时间间隔在预设轨迹消失时间阈值内，则具体包括：对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，得到t+k时刻的预测位置positionpredict；计算t+k时刻的预测位置positionpredict与实际位置positionobj_t+k之间的距离；将满足距离条件的t+k时刻的若干目标组成一组候选集objSet{obj0,obj1,...,objm}。
其中，对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，具体为：采用kalman线性预测，根据当前帧位置positionobj_t+k和新更新目标的位置信息positionobj_t计算Kalman状态参数，通过Kalman状态参数预测下一时刻目标应该出现的位置及大小postionpredict(xpre，ypre，widthpre，heightpre)。
目标运动轨迹确定模块43，用于计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
具体地，进行人物相似度匹配，具体包括：对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFeat+k，计算目标人物object在t时刻对应的人脸特征FaceFeat和t+k时刻对应的人脸特征FaceFeat+k的相似度simi(FaceFeat,FaceFeat+k)，如果相似度大于给定的阈值faceThr(优选地，阈值faceThr＝0.7)，那么认为是同一个目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；如果人脸区域不存在，则提取内嵌特征ReidFeat+k(优选提取上半身内嵌特征)，计算目标人物object在t时刻对应的内嵌特征ReidFeat和t+k时刻对应的内嵌特征ReidFeat+k的相似度simi(ReidFeat,ReidFeat+k)，如果相似度阈值大于给定的阈值AttriThr(优选AttriThr＝0.75)，那么认为是同一目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
与上述实施例对应的，本发明实施例提供一种计算机存储介质，包括：至少一个存储器和至少一个处理器；
存储器用于存储一个或多个程序指令；
处理器，用于运行一个或多个程序指令，用以执行复杂场景下的行人目标跟踪方法。
与上述实施例对应的，本发明实施例提供一种计算机可读存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被处理器执行复杂场景下的行人目标跟踪方法。
本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的一种复杂场景下的行人目标跟踪方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种复杂场景下的行人目标跟踪方法，其特征在于，包括：
选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；
计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：
如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；
如果该时间间隔在预设轨迹消失时间阈值内，则计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
2.如权利要求1所述的复杂场景下的行人目标跟踪方法，其特征在于，在复杂场景下进行某一目标人物追踪时，先查找该目标人物的目标图像在视频中的起始时刻t，该时刻代表获得了一个新的检测目标，为该目标重新建立一条运动轨迹Trackobj，记录此时的目标图像为imaget，其位置为positionobj_t(xobj_t,yobj_t,widthobj_t,heightobj_t)，t+k时刻的图像为记为imaget+k，位置为positionobj_t+k(xobj_t+k,yobj_t+k,widthobj_t+k,heightobj_t+k)，k与视频跳帧处理有关是自然数，k∈{1,2,..}。
3.如权利要求2所述的复杂场景下的行人目标跟踪方法，其特征在于，如果该时间间隔在预设轨迹消失时间阈值内，则具体执行如下子步骤：
对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，得到t+k时刻的预测位置positionpredict；
计算t+k时刻的预测位置positionpredict与实际位置positionobj_t+k之间的距离；
将满足距离条件的t+k时刻的若干目标组成一组候选集objSet{obj0,obj1,...,objm}。
4.如权利要求3所述的复杂场景下的行人目标跟踪方法，其特征在于，对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，具体为：采用kalman线性预测，根据当前帧位置positionobj_t+k和新更新目标的位置信息positionobj_t计算Kalman状态参数，通过Kalman状态参数预测下一时刻目标应该出现的位置及大小postionpredict(xpre，ypre，widthpre，heightpre)。
5.如权利要求2所述的复杂场景下的行人目标跟踪方法，其特征在于，进行人物相似度匹配，具体包括如下子步骤：
对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；
如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFeat+k，计算目标人物object在t时刻对应的人脸特征FaceFeat和t+k时刻对应的人脸特征FaceFeat+k的相似度simi(FaceFeat,FaceFeat+k)，如果相似度大于给定的阈值faceThr，那么认为是同一个目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；
如果人脸区域不存在，则提取内嵌特征ReidFeat+k，计算目标人物object在t时刻对应的内嵌特征ReidFeat和t+k时刻对应的内嵌特征ReidFeat+k的相似度simi(ReidFeat,ReidFeat+k)，如果相似度阈值大于给定的阈值AttriThr，那么认为是同一目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
6.一种复杂场景下的行人目标跟踪装置，其特征在于，包括：运动轨迹创建模块21、目标运动轨迹检测模块22、目标运动轨迹确定模块23；
运动轨迹创建模块21，用于选定目标人物，获取目标图像的起始时刻，为目标人物建立运动轨迹；
目标运动轨迹检测模块22，用于计算下一次检测到目标图像的时刻距离运动轨迹最后更新时刻之间的时间间隔，判断该时间间隔是否在预设轨迹消失时间阈值内：如果该时间间隔超过预设轨迹消失时间阈值，则表示目标人物丢失太久，确定目标已经丢失；如果该时间间隔在预设轨迹消失时间阈值内，则触发目标运动轨迹确定模块23；
目标运动轨迹确定模块23，用于计算根据所预测的目标图像位置信息与实际目标图像的位置信息的距离，筛选满足距离条件的目标组成候选集，从候选集中提取目标人脸特征和内嵌特征，进行人物相似度匹配，若能够匹配到目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
7.如权利要求6所述的复杂场景下的行人目标跟踪装置，其特征在于，如果该时间间隔在预设轨迹消失时间阈值内，则目标运动轨迹检测模块22具体用于：对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，得到t+k时刻的预测位置positionpredict；计算t+k时刻的预测位置positionpredict与实际位置positionobj_t+k之间的距离；将满足距离条件的t+k时刻的若干目标组成一组候选集objSet{obj0,obj1,...,objm}。
8.如权利要求7所述的复杂场景下的行人目标跟踪装置，其特征在于，对运动轨迹中最后更新时刻t所对应的目标图像位置positionobj_t进行预测，具体为：采用kalman线性预测，根据当前帧位置positionobj_t+k和新更新目标的位置信息positionobj_t计算Kalman状态参数，通过Kalman状态参数预测下一时刻目标应该出现的位置及大小postionpredict(xpre，ypre，widthpre，heightpre)。
9.如权利要求6所述的复杂场景下的行人目标跟踪装置，其特征在于，目标运动轨迹确定模块23具体用于：对t+k时刻的目标图像候选集objSet的所有成员，进行人脸检测；如果人脸区域存在，则提取t+k时刻对应的人脸特征FaceFeat+k，计算目标人物object在t时刻对应的人脸特征FaceFeat和t+k时刻对应的人脸特征FaceFeat+k的相似度simi(FaceFeat,FaceFeat+k)，如果相似度大于给定的阈值faceThr，那么认为是同一个目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物；如果人脸区域不存在，则提取内嵌特征ReidFeat+k，计算目标人物object在t时刻对应的内嵌特征ReidFeat和t+k时刻对应的内嵌特征ReidFeat+k的相似度simi(ReidFeat,ReidFeat+k)，如果相似度阈值大于给定的阈值AttriThr，那么认为是同一目标人物，则更新目标人物运动轨迹，否则完成本次跟踪，等待下一帧的目标人物。
10.一种计算机存储介质，其特征在于，包括：至少一个存储器和至少一个处理器；
存储器用于存储一个或多个程序指令；
处理器，用于运行一个或多个程序指令，用以执行如权利要求1-5任一项所述的复杂场景下的行人目标跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110981011.2A CN113822163A (zh) | 2021-08-25 | 2021-08-25 | 一种复杂场景下的行人目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110981011.2A CN113822163A (zh) | 2021-08-25 | 2021-08-25 | 一种复杂场景下的行人目标跟踪方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113822163A true CN113822163A (zh) | 2021-12-21 |
Family
ID=78923374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110981011.2A Pending CN113822163A (zh) | 2021-08-25 | 2021-08-25 | 一种复杂场景下的行人目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822163A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114066944A (zh) * | 2022-01-17 | 2022-02-18 | 天津聚芯光禾科技有限公司 | 基于行人跟踪的光模块生产车间工人岗位行为分析方法 |
| CN114140864A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 轨迹跟踪方法、装置、存储介质及电子设备 |
| CN115080551A (zh) * | 2022-06-15 | 2022-09-20 | 苏州轻棹科技有限公司 | 一种目标轨迹的管理方法和装置 |
| CN116434150A (zh) * | 2023-06-14 | 2023-07-14 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 面向拥挤场景的多目标检测跟踪方法、系统及存储介质 |
-
2021
- 2021-08-25 CN CN202110981011.2A patent/CN113822163A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114066944A (zh) * | 2022-01-17 | 2022-02-18 | 天津聚芯光禾科技有限公司 | 基于行人跟踪的光模块生产车间工人岗位行为分析方法 |
| CN114066944B (zh) * | 2022-01-17 | 2022-04-12 | 天津聚芯光禾科技有限公司 | 基于行人跟踪的光模块生产车间工人岗位行为分析方法 |
| CN114140864A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 轨迹跟踪方法、装置、存储介质及电子设备 |
| CN115080551A (zh) * | 2022-06-15 | 2022-09-20 | 苏州轻棹科技有限公司 | 一种目标轨迹的管理方法和装置 |
| CN115080551B (zh) * | 2022-06-15 | 2024-05-03 | 苏州轻棹科技有限公司 | 一种目标轨迹的管理方法和装置 |
| CN116434150A (zh) * | 2023-06-14 | 2023-07-14 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 面向拥挤场景的多目标检测跟踪方法、系统及存储介质 |
| CN116434150B (zh) * | 2023-06-14 | 2023-12-05 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 面向拥挤场景的多目标检测跟踪方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113822163A (zh) | 一种复杂场景下的行人目标跟踪方法及装置 | |
| Miao et al. | Pose-guided feature alignment for occluded person re-identification | |
| CN108446585B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| Yang et al. | Robust face alignment under occlusion via regional predictive power estimation | |
| US9349066B2 (en) | Object tracking and processing | |
| CN112288770A (zh) | 基于深度学习的视频实时多目标检测与跟踪方法和装置 | |
| CN112651995B (zh) | 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法 | |
| CN111767847B (zh) | 一种集成目标检测和关联的行人多目标跟踪方法 | |
| CN113628244B (zh) | 基于无标注视频训练的目标跟踪方法、系统、终端及介质 | |
| CN113409361B (zh) | 一种多目标跟踪方法、装置、计算机及存储介质 | |
| CN112668483B (zh) | 一种融合行人重识别和人脸检测的单目标人物跟踪方法 | |
| US20220245924A1 (en) | Training method for multi-object tracking model and multi-object tracking method | |
| CN111914878A (zh) | 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质 | |
| CN111553234A (zh) | 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置 | |
| CN112131944B (zh) | 一种视频行为识别方法及系统 | |
| JP2022082493A (ja) | ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法 | |
| CN111640138A (zh) | 一种目标跟踪方法、装置、设备及存储介质 | |
| CN114998628A (zh) | 基于模板匹配的孪生网络长时目标跟踪方法 | |
| CN108875611B (zh) | 视频动作识别方法和装置 | |
| Hall et al. | The detection, tracking, and temporal action localisation of swimmers for automated analysis | |
| Zhou et al. | SiamET: a Siamese based visual tracking network with enhanced templates | |
| CN114387304A (zh) | 目标跟踪方法、计算机程序产品、存储介质及电子设备 | |
| CN117576530A (zh) | 基于运动与外观特征自适应融合的多目标关联与跟踪方法 | |
| CN112884804A (zh) | 行动对象追踪方法及相关设备 | |
| CN116958872A (zh) | 一种羽毛球运动的智能化辅助训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |