CN115311329A - 一种基于双环节约束的视频多目标跟踪方法 - Google Patents

一种基于双环节约束的视频多目标跟踪方法 Download PDF

Info

Publication number
CN115311329A
CN115311329A CN202211130193.3A CN202211130193A CN115311329A CN 115311329 A CN115311329 A CN 115311329A CN 202211130193 A CN202211130193 A CN 202211130193A CN 115311329 A CN115311329 A CN 115311329A
Authority
CN
China
Prior art keywords
track
detection target
historical
similarity
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211130193.3A
Other languages
English (en)
Other versions
CN115311329B (zh
Inventor
满庆奎
徐晓刚
李冠华
管慧艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunqi Smart Vision Technology Co ltd
Original Assignee
Hangzhou Yunqi Smart Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yunqi Smart Vision Technology Co ltd filed Critical Hangzhou Yunqi Smart Vision Technology Co ltd
Priority to CN202211130193.3A priority Critical patent/CN115311329B/zh
Publication of CN115311329A publication Critical patent/CN115311329A/zh
Application granted granted Critical
Publication of CN115311329B publication Critical patent/CN115311329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双环节约束的视频多目标跟踪方法，涉及视频、图像技术领域。包括以下步骤：记录检测目标的时间信息、位置信息和内容特征；计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配；对于未匹配的轨迹容器，进一步计算轨迹历史速度与临时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配；将有效匹配的检测目标存放到对应轨迹容器中。本发明匹配结果真实可靠，有效的减少了轨迹碎片以及遮挡等情况导致的串号现象。

Description

一种基于双环节约束的视频多目标跟踪方法
相关申请的交叉引用
本申请是基于申请号为201910964726X，申请日为：2019年10月11日，发明名称为：一种基于多维特征融合的视频多目标跟踪方法的分案申请。
技术领域
本发明涉及视频、图像处理技术领域，尤其涉及一种基于双环节约束的视频多目标跟踪方法。
背景技术
多目标跟踪技术是视频分析技术的一个重要环节，该技术把输入的检测目标Detection图像，按照出现的时间先后顺序，通过目标历史轨迹分析得到运动方向、预测的位置，结合目标之间的内容特征相似度进行匹配连接。如何有效的把每一视频帧中的目标，与历史帧中的轨迹目标进行匹配串联是该技术的关键。目前多目标跟踪技术领域都一般通过目标预测(Kalman轨迹预测比较成熟的选择方案)位置，然后用检测目标的实际位置与预测的位置进行匹配，然后对于没有匹配完成的轨迹和目标进行特征相似度匹配；或者，优先用特征相似度优先匹配轨迹和目标，保证长距离的运动目标能匹配完成，然后用检测目标的实际位置与预测的位置匹配。
针对日常监控视频中，目标的相互遮挡导致的目标重叠、目标检测丢失，目标的快速运动现象比较普遍；从而导致单纯的位置匹配、特征相似度匹配不能很好的解决问题，导致最终轨迹碎片过多，轨迹中串号(IDSwitch)现象严重。
发明内容
本发明的目的在于提供一种基于双环节约束的视频多目标跟踪方法，匹配结果真实可靠，有效的减少了轨迹碎片以及遮挡等情况导致的串号现象。
为实现上述目的，本发明提供如下技术方案：
一种基于双环节约束的视频多目标跟踪方法，其特征在于，包括以下步骤：
S1，记录检测目标的时间信息、位置信息和内容特征；
S2，计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配；
S3，对于未匹配的轨迹容器，进一步计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配；
S4，将有效匹配的检测目标存放到对应轨迹容器中。
进一步的，所述S2的具体内容如下：
提取检测目标的内容特征，与所有轨迹容器中存储的内容特征进行内容特征相似度计算，得到相应的相似度值序列；从所述相似度值序列中找到最大的相似度值与第一阈值进行比较，并计算检测目标与轨迹容器中最后一帧的距离，与距离阈值进行比较；若最大的相似度值大于第一阈值且该距离在距离阈值以内，则认定为有效匹配。
进一步的，所述S2的具体内容如下：
若轨迹容器已存在检测目标的历史记录信息，对当前帧应当出现检测目标的位置信息进行实时预测，得到预测矩形区域；
检测实际检测目标的矩形区域，计算预测矩形区域与矩形区域的交并比，以1与交并比的差作为实际检测目标与预测检测目标的距离；取最小距离对应的轨迹容器与检测目标计算其内容特征相似度与第一阈值进行比较，若最大的相似度值大于第一阈值，则认定为有效匹配。
进一步的，所述S3的具体内容如下：
对于未匹配的轨迹容器，取与检测目标的内容特征相似度最大的轨迹容器PTrackCont，同时记录对应的相似度值SimiCont；计算检测目标与所有轨迹容器的距离，取距离最小值对应的轨迹容器PtrackEuc，计算该轨迹容器PtrackEuc与检测目标的内容特征相似度值SimiEuc；
S31，若PTrackCont与PtrackEuc相同，且SimiCont大于等于有效匹配的相似度阈值，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；
S32，若PTrackCont与PtrackEuc不同，当SimiCont与SimiEuc中较大的值大于等于给定的参数阈值时，计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配；当SimiCont与SimiEuc中较大的值小于给定的参数阈值时，取两者中较大的值对应的轨迹容器，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；
S33，若检测目标依旧没有找到有效匹配的轨迹容器，取SimiCont与SimiEuc中剩余较小的值，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配。
进一步的，所述轨迹历史速度与实时速度的计算方法如下：
Vhist＝(Rt-Rt-Δt)/Δt，其中，Rt是历史记录信息的倒数第一帧的位置信息，Rt-Δt是历史记录信息的倒数第二帧的位置信息，Δt是两帧历史记录信息的时间间隔；
Vcur＝(Rcur-Rt)/Δtcur，其中，Rt是历史记录信息的倒数第一帧的位置信息，Rcur是检测目标的位置信息，Δtcur是检测目标时间与历史记录信息的倒数第一帧的时间间隔。
进一步的，所述检测目标与历史轨迹运动方向的运动夹角的计算方法如下：
Figure BDA0003849922170000041
其中，
Figure BDA0003849922170000042
是Rt中心点位置到Rcur中心点位置的矢量表达；
Figure BDA0003849922170000043
是Rt-Δt中心点位置到Rt中心点位置的矢量表达。
进一步的，在所述S31中，若PTrackCont的历史记录信息中仅有一帧信息，则直接计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配。
进一步的，所述距离为欧式距离。
进一步的，所述内容特征采用深度卷积神经网络提取。
进一步的，所述位置信息包括检测目标的中心位置、纵横比和高度。
与现有技术相比，本发明的有益效果是：本发明从多特征融合的角度，采用特征匹配优先，前两个环节中，每一个环节的匹配结果都添加内容特征相似度约束，保证匹配的结果输出真实可靠；对最后剩余离散未匹配成功的检测目标，进行了欧式距离空间与内容特征空间选择最优的匹配逻辑，然后用时间、位置、速度、角度的多维约束，保证了匹配的真实可靠。本发明运行效率高，远超实时要求，有效的减少了轨迹碎片，以及遮挡等现象导致的串号现象，取得了很好的应用效果。
附图说明
图1为本发明的整体原理框图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种基于双环节约束的视频多目标跟踪方法，其特征在于，包括以下步骤：
S1，记录检测目标的时间信息、位置信息和内容特征。
具体的，对新加入的检测目标Detection，开启一条新的轨迹容器PathTrack，初始化设置轨迹的寿命期限MaxAge，优先的MaxAge＝56；初始化新轨迹容器PathTrack的Kalman滤波器的状态矩阵为初始化状态；记录检测目标Detection的时间信息，位置信息，在图像坐标中对应的速度信息，以及检测目标Detection的图像内容特征，保存到MsgBox单元堆栈中。所述位置信息包括检测目标的中心位置、纵横比和高度。优先的，所述图像内容特征采用深度卷积神经网络提取的抽象特征。
S2，计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配。采用内容特征匹配，保证匹配的结果输出真实可靠。
步骤S2存在三种具体实施例，具体如下：
于实施例一中，所述S2的具体内容如下：
提取检测目标Detection的图像内容特征，与所有轨迹容器PathTrack中存储的MsgBox信息的图像内容特征进行内容特征相似度计算。其中，记两个N维的图像内容特征X，Y描述分别为：X(x1,x2,...,xN)，Y(y1,y2,...,yN)，对应的X，Y之间的图像内容相似度计算公式为：
Figure BDA0003849922170000061
按照内容特征的相似度计算公式，从而得到对应Detection与PathTrack中存储的MsgBox信息的图像内容特征的相似度结果序列。从所述相似度值序列中找到最大的相似度值及其Detection与PathTrack对应关系，记Detection的中心位置为(xdet,ydet)，PathTrack中倒数第一个MsgBox中心位置信息为(xlast,ylast)，对应的距离计算公式：
Figure BDA0003849922170000071
如果对应的距离D与Detection的宽度尺寸信息的比值大于对应的距离阈值条件distThr，那么认为是无效的匹配。否则，将该最大的相似度值与第一阈值进行比较，若最大的相似度值大于第一阈值SimiThr，则认定为有效匹配，跳转至S4；否则认为是无效匹配。作为优选，距离阈值distThr＝1.1，第一阈值SimiThr＝0.5。
于实施例二中，所述S2的具体内容如下：
若轨迹容器PathTrack已存在检测目标Detection的历史记录信息，则利用Kalman滤波器对历史记录信息，对当前帧应当出现检测目标Detection的位置信息(包括检测目标Detection的中心位置、纵横比和高度以及在图像坐标中对应的速度信息predictDetection)进行实时预测，得到一预测矩形区域PreRect。其中，Kalman滤波器采用匀速模型和线性观测模型。
检测实际检测目标Detection所在的矩形区域Rect，分别与所有已存在检测目标Detection的轨迹容器的预测矩形区域PreRect进行位置距离的计算得到对应的距离关系序列。在此，本发明提出的位置距离的计算方法为：计算预测矩形区域PreRect与矩形区域Rect的交并比，然后以1与交并比的差作为实际检测目标与预测检测目标的距离dist；具体公式如下：
Figure BDA0003849922170000081
从距离关系序列中，取最小距离对应的轨迹容器PathTrack与检测目标Detection计算其内容特征相似度并与实施例一中的第一阈值SimiThr进行比较，若最大的相似度值大于第一阈值SimiThr，则认定为有效匹配，跳转至S4；否则认为是无效匹配。
实施例二利用Kalman预测对历史轨迹数据进行分析预测位置，用预测的位置与目标进行位置匹配，并对已匹配完成的配对进行图像内容相似度的约束，进一步提高了匹配的可靠性。
于实施例三中，所述S2的具体内容还可以是实施例一和实施例二的叠加，具体如下：
若轨迹容器PathTrack已存在检测目标Detection的历史记录信息，则利用Kalman滤波器对历史记录信息，对当前帧应当出现检测目标Detection的位置信息(包括检测目标Detection的中心位置、纵横比和高度以及在图像坐标中对应的速度信息predictDetection)进行实时预测，得到一预测矩形区域PreRect。其中，Kalman滤波器采用匀速模型和线性观测模型。
提取检测目标Detection的图像内容特征，与所有轨迹容器PathTrack中存储的MsgBox信息的图像内容特征进行内容特征相似度计算。其中，记两个N维的图像内容特征X，Y描述分别为：X(x1,x2,...,xN)，Y(y1,y2,...,yN)，对应的X，Y之间的图像内容相似度计算公式为：
Figure BDA0003849922170000082
按照内容特征的相似度计算公式，从而得到对应Detection与PathTrack中存储的MsgBox信息的图像内容特征的相似度结果序列。从所述相似度值序列中找到最大的相似度值及其Detection与PathTrack对应关系，记Detection的中心位置为(xdet,ydet)，PathTrack中倒数第一个MsgBox中心位置信息为(xlast,ylast)，对应的距离计算公式：
Figure BDA0003849922170000091
如果对应的距离D与Detection的宽度尺寸信息的比值大于对应的距离阈值条件distThr，那么认为是无效的匹配。否则，将该最大的相似度值与第一阈值进行比较，若最大的相似度值大于第一阈值SimiThr，则认定为有效匹配，跳转至S4；否则认为是无效匹配。作为优选，距离阈值distThr＝1.1，第一阈值SimiThr＝0.5。
若为无效匹配，进一步检测实际检测目标Detection所在的矩形区域Rect，分别与所有已存在检测目标Detection的轨迹容器的预测矩形区域PreRect进行位置距离的计算得到对应的距离关系序列。在此，本发明提出的位置距离的计算方法为：计算预测矩形区域PreRect与矩形区域Rect的交并比，然后以1与交并比的差作为实际检测目标与预测检测目标的距离dist；具体公式如下：
Figure BDA0003849922170000092
从距离关系序列中，取最小距离对应的轨迹容器PathTrack与检测目标Detection计算其内容特征相似度并与所述第一阈值SimiThr进行比较，若最大的相似度值大于第一阈值SimiThr，则认定为有效匹配，跳转至S4；否则认为是无效匹配。
与实施例一、实施例二相比，实施例三采用了的特征匹配分两个环节，每一个环节的匹配结果都添加内容特征相似度约束，保证匹配的结果输出真实可靠。
S3，对于未匹配的轨迹容器PathTrack，进一步计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配。具体内容如下：
对于未匹配的轨迹容器PathTrack，一方面，取与检测目标Detection的内容特征相似度最大的轨迹容器PTrackCont，同时记录对应的相似度值SimiCont；值得一提的是，若该相似度值SimiCont小于给定阈值0.3，则判定PTrackCont不存在，跳转至S1。
另一方面，计算检测目标与所有轨迹容器的欧式距离，取距离最小值对应的轨迹容器PtrackEuc，计算该轨迹容器PtrackEuc与检测目标的内容特征相似度值SimiEuc；若该距离最小值与Detection的宽度的比值大于给定阈值MoveDist，优选的MoveDist＝3.3，则判定PtrackEuc不存在，跳转至S1。值得一提的是，此处的欧式距离dist计算公式为：
Figure BDA0003849922170000101
其中，dist为欧式距离；(xnew,ynew)为矩形区域Rect的中心点坐标；(xhist,yhist)为预测矩形区域PreRect的中心点坐标。
S31，若PTrackCont与PtrackEuc相同，且SimiCont大于等于有效匹配的相似度阈值ValidSimiThr，优选的，ValidSimiThr＝0.65。那么，如果PTrackCont中，历史信息MsgBox存在两帧及以上时，计算轨迹历史速度Vhist与实时速度Vcur的变化比例、检测目标与历史轨迹运动方向的运动夹角Angle和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配，跳至S4。具体的，计算分析Vcur与Vhist变化幅度，变化倍数小于给定的参数阈值[1/VThr,VThr]，优选的，VThr＝2；同时，方向夹角Angle小于给定的参数阈值AngleThr，优选的AngleThr＝45°。如果不满足，认为是无效的匹配；否则，计算宽度比例变化，具体倒数第一个MsgBox中的宽度尺寸信息与矩形区域Rect的宽度比值，如果在给定的变化阈值区间[1/ChangeRate,ChangeRate]内，那么认为是有效的匹配，优选的ChangeRate＝1.5；那么认为与是有效的匹配，跳转到S4。
而若PTrackCont的历史记录信息中仅有一帧信息，则直接计算宽度变化比例，若宽度变化比例在给定的阈值区间[1/ChangeRate,ChangeRate]内，则认定为有效匹配，跳至S4。以下为历史速度Vhist、实时速度Vcur、运动夹角Angle的具体计算方法。
所述轨迹历史速度与实时速度的计算方法如下：
Vhist＝(Rt-Rt-Δt)/Δt，其中，Rt是MsgBox信息的倒数第一帧的位置信息，Rt-Δt是MsgBox倒数第二帧的位置信息，记Rt的中心(xt,yt)，Rt-Δt的中心(xt-Δt,yt-Δt)，那么(Rt-Rt-Δt)的计算公式：
Figure BDA0003849922170000111
Δt是两帧历史记录信息的时间间隔。
Vcur＝(Rcur-Rt)/Δtcur，其中，Rt是MsgBox信息的倒数第一帧的位置信息，Rcur是Detection的位置信息，记Rcur的中心(xcur,ycur)，那么(Rcur-Rt)的计算公式：
Figure BDA0003849922170000112
Δtcur是检测目标时间与历史记录信息的倒数第一帧的时间间隔。
所述检测目标与历史轨迹运动方向的运动夹角的计算方法如下：
Figure BDA0003849922170000121
其中，
Figure BDA0003849922170000122
是Rt中心点位置到Rcur中心点位置的矢量表达；
Figure BDA0003849922170000123
是Rt-Δt中心点位置到Rt中心点位置的矢量表达。
S32，若PTrackCont与PtrackEuc不同，当SimiCont与SimiEuc中较大的值大于等于给定的参数阈值DirectMatchThr时，优选DirectMatchThr＝0.85，计算宽度变化比例。若宽度变化比例在给定的阈值区间[1/ChangeRate,ChangeRate]内，则认定为有效匹配，跳至S4；当SimiCont与SimiEuc中较大的值小于给定的参数阈值时，取两者中较大的值对应的轨迹容器记为PTrackBetter。同S31，当PTrackBetter中历史轨迹MsgBox存在两帧以上，提取Vcur与Vhist，Angle信息。计算轨迹历史速度Vhist与实时速度Vcur的变化比例、检测目标与历史轨迹运动方向的运动夹角Angle和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配，跳至S4。
S33，若检测目标Detection依旧没有找到有效匹配的轨迹容器，取SimiCont与SimiEuc中剩余较小的值对应的轨迹容器(即S32中为进行匹配的剩余轨迹容器)，记为PTrackLast。同S31，当PTrackLast中历史轨迹MsgBox存在两帧以上，提取Vcur与Vhist，Angle信息。计算轨迹历史速度Vhist与实时速度Vcur的变化比例、检测目标与历史轨迹运动方向的运动夹角Angle和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配，跳转到S4。否则跳转到S1，开启一条新的轨迹容器。
S4，将有效匹配的检测目标存放到对应轨迹容器中。具体的，如果轨迹容器匹配到了新的检测目标Detection，那么对应记录Detection信息的MsgBox存放到轨迹容器PathTrack的堆栈中，按顺序保存；同时，轨迹的存在寿命计数器为0，同时，更新Kalman状态矩阵的状态；如果没有匹配到新的检测目标Detection，那么寿命计数器加1，直到该轨迹寿命计数器达到MaxAge，该轨迹结束。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (7)

1.一种基于双环节约束的视频多目标跟踪方法，其特征在于，包括以下步骤：
S1，记录检测目标的时间信息、位置信息和内容特征；
S2，计算检测目标与所有轨迹容器的内容特征相似度，若最大的相似度值大于第一阈值，则认定为有效匹配；
若轨迹容器已存在检测目标的历史记录信息，对当前帧应当出现检测目标的位置信息进行实时预测，得到预测矩形区域；
提取检测目标的内容特征，与所有轨迹容器中存储的内容特征进行内容特征相似度计算，得到相应的相似度值序列；从所述相似度值序列中找到最大的相似度值与第一阈值进行比较，并计算当前检测目标所在矩形区域的中心位置与轨迹容器中最后一帧的检测目标所在矩形区域的中心位置的欧式距离，与距离阈值进行比较；若最大的相似度值大于第一阈值且该距离在距离阈值以内，则认定为有效匹配，否则认定为无效匹配；
若为无效匹配，进一步检测实际检测目标的矩形区域，计算预测矩形区域与矩形区域的交并比，以1与交并比的差作为实际检测目标与预测检测目标的距离；取最小距离对应的轨迹容器与检测目标计算其内容特征相似度与第一阈值进行比较，若相似度值大于第一阈值，则认定为有效匹配；
S3，对于未匹配的轨迹容器，进一步计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角、宽度变化比例，若三者都在给定的阈值区间内，则认定为有效匹配；所述宽度变化比例为轨迹容器中最后一帧的检测目标所在矩形区域的宽度与当前检测目标所在矩形区域的宽度比值；
S4，将有效匹配的检测目标存放到对应轨迹容器中。
2.根据权利要求1所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述S3的具体内容如下：
对于未匹配的轨迹容器，取与检测目标的内容特征相似度最大的轨迹容器PTrackCont，同时记录对应的相似度值SimiCont；计算检测目标的中心点坐标与所有轨迹容器的预测矩形区域的中心点坐标的欧式距离，所述预测矩形区域为利用Kalman滤波器根据轨迹容器的历史记录信息对当前帧应当出现检测目标的位置信息进行实时预测而得到的，取距离最小值对应的轨迹容器PtrackEuc，计算该轨迹容器PtrackEuc与检测目标的内容特征相似度值SimiEuc；
S31，若PTrackCont与PtrackEuc相同，且SimiCont大于等于有效匹配的相似度阈值，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；
S32，若PTrackCont与PtrackEuc不同，当SimiCont与SimiEuc中较大的值大于等于给定的参数阈值时，计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配；当SimiCont与SimiEuc中较大的值小于给定的参数阈值时，取两者中较大的值对应的轨迹容器，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配；
S33，若检测目标依旧没有找到有效匹配的轨迹容器，取SimiCont与SimiEuc中剩余较小的值对应的轨迹容器，计算轨迹历史速度与实时速度的变化比例、检测目标与历史轨迹运动方向的运动夹角和宽度变化比例，若三者都在相应给定的阈值区间内，则认定为有效匹配。
3.根据权利要求1或2所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述轨迹历史速度与实时速度的计算方法如下：
Vhist＝(Rt-Rt-Δt)/Δt，其中，Rt是历史记录信息的倒数第一帧的位置信息，Rt-Δt是历史记录信息的倒数第二帧的位置信息，Δt是两帧历史记录信息的时间间隔；
Vcur＝(Rcur-Rt)/Δtcur，其中，Rt是历史记录信息的倒数第一帧的位置信息，Rcur是检测目标的位置信息，Δtcur是检测目标时间与历史记录信息的倒数第一帧的时间间隔。
4.根据权利要求3所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述检测目标与历史轨迹运动方向的运动夹角的计算方法如下：
Figure FDA0003849922160000031
其中，
Figure FDA0003849922160000032
是Rt中心点位置到Rcur中心点位置的矢量表达；
Figure FDA0003849922160000033
是Rt-Δt中心点位置到Rt中心点位置的矢量表达。
5.根据权利要求2所述的基于双环节约束的视频多目标跟踪方法，其特征在于，在所述S31中，若PTrackCont的历史记录信息中仅有一帧信息，则直接计算宽度变化比例，若宽度变化比例在给定的阈值区间内，则认定为有效匹配。
6.根据权利要求1所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述内容特征采用深度卷积神经网络提取。
7.根据权利要求1所述的基于双环节约束的视频多目标跟踪方法，其特征在于，所述位置信息包括检测目标的中心位置、纵横比和高度。
CN202211130193.3A 2019-10-11 2019-10-11 一种基于双环节约束的视频多目标跟踪方法 Active CN115311329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211130193.3A CN115311329B (zh) 2019-10-11 2019-10-11 一种基于双环节约束的视频多目标跟踪方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211130193.3A CN115311329B (zh) 2019-10-11 2019-10-11 一种基于双环节约束的视频多目标跟踪方法
CN201910964726.XA CN110675432B (zh) 2019-10-11 2019-10-11 一种基于多维特征融合的视频多目标跟踪方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910964726.XA Division CN110675432B (zh) 2019-10-11 2019-10-11 一种基于多维特征融合的视频多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN115311329A true CN115311329A (zh) 2022-11-08
CN115311329B CN115311329B (zh) 2023-05-23

Family

ID=69081635

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910964726.XA Active CN110675432B (zh) 2019-10-11 2019-10-11 一种基于多维特征融合的视频多目标跟踪方法
CN202211130193.3A Active CN115311329B (zh) 2019-10-11 2019-10-11 一种基于双环节约束的视频多目标跟踪方法
CN202211130202.9A Active CN115311330B (zh) 2019-10-11 2019-10-11 一种基于位置预测的视频多目标跟踪方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910964726.XA Active CN110675432B (zh) 2019-10-11 2019-10-11 一种基于多维特征融合的视频多目标跟踪方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211130202.9A Active CN115311330B (zh) 2019-10-11 2019-10-11 一种基于位置预测的视频多目标跟踪方法

Country Status (1)

Country Link
CN (3) CN110675432B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914754B (zh) * 2020-08-03 2023-06-30 杭州云栖智慧视通科技有限公司 一种图像内容相似度度量方法、装置及计算机设备
CN112184769B (zh) * 2020-09-27 2023-05-02 上海高德威智能交通系统有限公司 一种跟踪异常的识别方法、装置及设备
CN114913198A (zh) * 2021-01-29 2022-08-16 清华大学 一种多目标跟踪方法及装置、存储介质、终端
CN113112526B (zh) * 2021-04-27 2023-09-22 北京百度网讯科技有限公司 目标跟踪方法、装置、设备和介质
CN114155273B (zh) * 2021-10-20 2024-06-04 浙江大立科技股份有限公司 一种结合历史轨迹信息的视频图像单目标跟踪方法
CN113971216B (zh) * 2021-10-22 2023-02-03 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和存储器
CN114329063B (zh) * 2021-10-29 2024-06-11 腾讯科技（深圳）有限公司 视频片段检测方法、装置以及设备
CN115965657B (zh) * 2023-02-28 2023-06-02 安徽蔚来智驾科技有限公司 目标跟踪方法、电子设备、存储介质及车辆
CN117315421B (zh) * 2023-09-26 2024-10-18 中国人民解放军91977部队 海上目标的航迹预测方法及装置
CN117495917B (zh) * 2024-01-03 2024-03-26 山东科技大学 基于jde多任务网络模型的多目标跟踪方法
CN118279568B (zh) * 2024-05-31 2024-09-17 西北工业大学 分布式双红外传感器时序孪生网络多目标同一性判定方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094279A (zh) * 2014-04-30 2014-10-08 中国科学院自动化研究所 大范围优先的跨摄像机视觉目标再识别方法
EP2840528A2 (en) * 2013-08-20 2015-02-25 Ricoh Company, Ltd. Method and apparatus for tracking object
CN104915970A (zh) * 2015-06-12 2015-09-16 南京邮电大学 一种基于轨迹关联的多目标跟踪方法
CN105261035A (zh) * 2015-09-15 2016-01-20 杭州中威电子股份有限公司 一种高速公路运动目标跟踪方法及装置
CN107291216A (zh) * 2016-04-05 2017-10-24 中兴通讯股份有限公司 一种移动终端目标跟踪方法、装置和移动终端
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN108460787A (zh) * 2018-03-06 2018-08-28 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
WO2019006632A1 (zh) * 2017-07-04 2019-01-10 深圳大学 一种视频多目标跟踪方法及装置
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
CN109344712A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种道路车辆跟踪方法
CN110084836A (zh) * 2019-04-26 2019-08-02 西安电子科技大学 基于深度卷积特征分层响应融合的目标跟踪方法
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110276783A (zh) * 2019-04-23 2019-09-24 上海高重信息科技有限公司 一种多目标跟踪方法、装置及计算机系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
CN104517275A (zh) * 2013-09-27 2015-04-15 株式会社理光 对象检测方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2840528A2 (en) * 2013-08-20 2015-02-25 Ricoh Company, Ltd. Method and apparatus for tracking object
CN104094279A (zh) * 2014-04-30 2014-10-08 中国科学院自动化研究所 大范围优先的跨摄像机视觉目标再识别方法
CN104915970A (zh) * 2015-06-12 2015-09-16 南京邮电大学 一种基于轨迹关联的多目标跟踪方法
CN105261035A (zh) * 2015-09-15 2016-01-20 杭州中威电子股份有限公司 一种高速公路运动目标跟踪方法及装置
CN107291216A (zh) * 2016-04-05 2017-10-24 中兴通讯股份有限公司 一种移动终端目标跟踪方法、装置和移动终端
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
WO2019006632A1 (zh) * 2017-07-04 2019-01-10 深圳大学 一种视频多目标跟踪方法及装置
CN108460787A (zh) * 2018-03-06 2018-08-28 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
CN109344712A (zh) * 2018-08-31 2019-02-15 电子科技大学 一种道路车辆跟踪方法
CN110276783A (zh) * 2019-04-23 2019-09-24 上海高重信息科技有限公司 一种多目标跟踪方法、装置及计算机系统
CN110084836A (zh) * 2019-04-26 2019-08-02 西安电子科技大学 基于深度卷积特征分层响应融合的目标跟踪方法
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NICOLAI WOJKE ET AL.: "SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC", 《ARXIV:1703.07402V1》 *
ZHIYONG WEI等: "A multi-target recognition algorithm for 6-DOF tracking", 《2016 INTERNATIONAL CONFERENCE ON PROGRESS IN INFORMATICS AND COMPUTING (PIC)》 *
朱朔: "基于机器视觉的无人平台目标识别与跟踪系统设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
杜永胜: "基于运动特征的视频网络多目标匹配和跟踪方法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Also Published As

Publication number Publication date
CN110675432B (zh) 2022-11-08
CN115311330A (zh) 2022-11-08
CN115311330B (zh) 2023-04-07
CN115311329B (zh) 2023-05-23
CN110675432A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110675432B (zh) 一种基于多维特征融合的视频多目标跟踪方法
Luo et al. Fast and furious: Real time end-to-end 3d detection, tracking and motion forecasting with a single convolutional net
CN110400332B (zh) 一种目标检测跟踪方法、装置及计算机设备
Ren et al. Deep reinforcement learning with iterative shift for visual tracking
CN106780557B (zh) 一种基于光流法和关键点特征的运动目标跟踪方法
Angeli et al. Incremental vision-based topological SLAM
CN110084831A (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
Du et al. Online deformable object tracking based on structure-aware hyper-graph
Du et al. An overview of correlation-filter-based object tracking
CN113052873B (zh) 一种在线自监督学习场景适应的单目标跟踪方法
Fan et al. Siamese residual network for efficient visual tracking
Tsintotas et al. DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
US20120224744A1 (en) Image analysis method
Cao et al. Correlation-based tracking of multiple targets with hierarchical layered structure
Wang et al. Deep learning and multi-modal fusion for real-time multi-object tracking: Algorithms, challenges, datasets, and comparative study
Wang et al. Learning Target-aware Attention for Robust Tracking with Conditional Adversarial Network.
Yang et al. Accurate visual tracking via reliable patch
CN102789645A (zh) 一种用于周界防范的多目标快速跟踪方法
Song et al. A cross frame post-processing strategy for video object detection
Tang et al. Place recognition using line-junction-lines in urban environments
Cao et al. A long-memory pedestrian target tracking algorithm incorporating spatiotemporal trajectory feature enhancement model
Li et al. Online parallel framework for real-time visual tracking
CN113887449A (zh) 多目标跟踪方法及计算机可读存储介质
Xiao et al. Research on scale adaptive particle filter tracker with feature integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant