CN109919974A - 基于r-fcn框架多候选关联的在线多目标跟踪方法 - Google Patents
基于r-fcn框架多候选关联的在线多目标跟踪方法 Download PDFInfo
- Publication number
- CN109919974A CN109919974A CN201910129845.3A CN201910129845A CN109919974A CN 109919974 A CN109919974 A CN 109919974A CN 201910129845 A CN201910129845 A CN 201910129845A CN 109919974 A CN109919974 A CN 109919974A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- candidate
- track
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于R‑FCN框架多候选关联的在线多目标跟踪方法,本方法首先对于每帧中目标建立候选选择模型,筛选出没有冗余的最佳候选框;其次,融合目标外观信息、目标尺度信息和目标运动信息等多种特征信息作为数据关联的匹配代价;通过匈牙利算法并利用计算的匹配代价对相邻帧中轨迹和目标候选框进行数据关联,并完成对跟踪轨迹的更新;最后利用RANSAC算法确定的直线方程对存在的跟踪轨迹进行优化得到目标最终的跟踪轨迹。本方法克服了检测器检测结果的可靠性问题,减少了目标漏检和检测漂移对跟踪轨迹的影响,对复杂跟踪场景具有较好的鲁棒性。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于R-FCN框架的多候选关联的在线多目标跟踪方法。
背景技术
随着智能信息化技术的不断发展,人工智能技术得到广泛的应用。人工智能技术在教育、医疗、家居、移动机器人以及电子商务等各行业应用显著,正在不断的冲击着传统行业,传统的安防系统正由数字化、网络化,而逐步走向智能化,而作为其重要组成部分的智能控制监控的核心技术正是在线多目标跟踪技术。
传统的监控系统中,目标的跟踪主要靠人工来完成,不仅耗费了大量的人力、物力,还可能会因为监控人员无法长时间保持高度注意力而产生错报和漏报的状况。因此智能在线多目标跟踪技术的需求越来越大,受到了国内外研究学者们的高度重视。近些年,随着高性能计算机的增长、摄像机质量的提升以及智能视频分析需求的增加,对在线多目标跟踪的性能也提出了更高的要求。
复杂场景下在线多目标跟踪是比较困难的,但是实际应用价值是巨大的。在线多目标跟踪技术在智能监控、视频检索、人机交互和车辆导航等众多方向都展现出了显著的重要性。目前,已经有大量的模型被提出,以解决在线多目标跟踪存在的众多挑战。其中,基于检测的在线多目标跟踪方法因其思想和实现简单被广泛研究和应用。首先,使用离线训练好的目标检测器逐帧获取检测结果;其次,通过相似性匹配方法对检测结果进行关联;然后,不断利用生成的轨迹与检测结果进行匹配生成更可靠的轨迹。虽然这种基于检测的在线多目标跟踪方法在跟踪准确度、生成轨迹数量和轨迹身份转换等多个方面都取得了不错的跟踪效果,但大多数方法都忽略了检测结果的可靠性问题。当目标检测器对目标的检测结果出现大面积检测失败时,目标轨迹与目标检测之间的数据关联成功率较低,即该目标在当前帧跟踪失败,因此这种方法将不再适用。
如何将不可靠的检测结果与存在的轨迹进行数据关联已经是在线多目标跟踪研究的重点之一。因此,本领域的技术人员致力于开发一种基于候选选择模型的多特征数据关联的多目标跟踪方法,以改善对复杂场景下目标检测器检测结果不可靠的适应能力,提高多目标跟踪准确度,获得更多完整目标轨迹。
发明内容
本发明所要解决的技术问题是提供一种基于R-FCN框架多候选关联的在线多目标跟踪方法,本方法克服现有在线多目标跟踪方法中检测结果可靠性缺陷,提高复杂场景下多目标的跟踪精确度,并减少了对目标检测结果的依赖性,更加适合实际复杂场景的应用。
为解决上述技术问题,本发明基于R-FCN框架多候选关联的在线多目标跟踪方法包括如下步骤:
步骤一、采用摄像机采集目标图像,对图像每帧中目标建立候选选择模型,筛选出每帧中没有冗余的目标最佳候选框;
步骤二、融合目标最佳候选框中目标外观特征信息、目标尺度特征信息和目标运动特征信息作为数据关联的匹配代价;
步骤三、通过匈牙利算法利用计算的匹配代价对相邻帧中轨迹和目标候选框进行数据关联,并完成对跟踪轨迹的更新;
步骤四、利用RANSAC算法确定的直线方程对存在的跟踪轨迹进行优化得到目标最终的跟踪轨迹。
进一步,所述候选选择模型包括如下步骤:
1)利用需要跟踪目标Z在上一帧中的信息,训练一个尺度相关滤波器f 和初始化一个UKF预测器u,在当前帧中收集来自尺度相关滤波器的跟踪结果 z1、UKF预测器的预测结果z2和检测结果z3作为所有目标候选框v;
2)对于不同来源的目标候选框采取不同的评价方式,采用R-FCN框架的分类结果作为z1和z3的评价得分,使用轨迹置信度函数作为z2的评价得分, R-FCN框架的分类得分函数:
其中,z表示感兴趣区域的特征映射图,将区域z平均分为kxk 个部分,r表示感兴趣区域的某一部分对应的特征映射图,用bin(i,j)表示感兴趣区域的第(i,j)个部分所有像素点的集合,并用(x,y)表示某个像素点位置,ni,j表示该部分像素点个数,c表示目标类别数量;
轨迹置信度函数:
Sstk=max(1-log(1+α.Ltrk),0)I(Ldet>=2)
其中,α表示转化因子,Ldet表示一条轨迹连续跟踪的检测数量,Ltrk表示一条轨迹自上次成功匹配后连续丢失的检测数量,目标轨迹Ti由Ldet和Ltrk共同进行表示,I(x)表示0、1函数;
3)将R-FCN框架的分类得分函数和轨迹置信度函数进行整合,得到完整的评价函数:
S=Sd(c|r,z)·T(z∈Vdet)+Sstk·T(z∈Vtrk)
其中,Sd(c|r,z)表示使用R-FCN框架的分类得分函数,z表示感兴趣区域的特征映射图,r表示感兴趣区域的某一部分对应的特征映射图,c表示目标类别数量,T表示0、1函数,Vdet表示检测框集合,Vtrk表示预测框集合,Sstk轨迹置信度函数;
进一步,所述数据关联的匹配代价计算包括如下步骤:
1)利用Siamese网络框架在重新识别数据集学习一种关于目标外观之间的相似性度量方法;
2)根据实际跟踪场景的要求,确定不同的比例融合目标外观相似性特征信息、目标尺度相似性特征信息以及目标运动特征信息作为数据关联的匹配代价,多特征融合匹配代价:
其中,Am,Aa,As分别表示目标轨迹与候选间的运动信息匹配代价、外观相似度信息匹配代价和尺度相似度信息匹配代价,Tj表示第j条轨迹,Tj t’表示轨迹Tj在第t帧中目标的预测结果,Di t表示视频序列第t帧检测结果中第i个目标框,α,β分别表示运动信息和外观信息所占总匹配代价的比例因子,分别取值为 0.3和0.6。
进一步,所述跟踪轨迹优化包括如下步骤:
1)将待处理的跟踪轨迹简化为每帧中目标框的质心连接而成;
2)运用RANSAC算法对每条收集的跟踪轨迹点建立数学模型,通过不断迭代优化,确定目标轨迹方程:
其中,Qt表示轨迹在第t帧中目标框质心坐标,为二维向量的最优参数。
由于本发明基于R-FCN框架多候选关联的在线多目标跟踪方法采用了上述技术方案,即本方法首先对于每帧中目标建立候选选择模型,筛选出没有冗余的最佳候选框;其次,融合目标外观信息、目标尺度信息和目标运动信息等多种特征信息作为数据关联的匹配代价;通过匈牙利算法并利用计算的匹配代价对相邻帧中轨迹和目标候选框进行数据关联,并完成对跟踪轨迹的更新;最后利用RANSAC算法确定的直线方程对存在的跟踪轨迹进行优化得到目标最终的跟踪轨迹。本方法克服了检测器检测结果的可靠性问题,减少了目标漏检和检测漂移对跟踪轨迹的影响,对复杂跟踪场景具有较好的鲁棒性。
附图说明
下面结合附图和实施方式对本发明作进一步的详细说明:
图1为本方法的流程框图;
图2为本方法中R-FCN框架的网络架构示意图;
图3为本方法中存在漏检目标的跟踪轨迹图;
图4(a-1)、图4(a-2)、图4(a-3)、图4(b-1)、图4(b-2)、图 4(c-1)、图4(c-2)、图4(c-3)为本方法多目标跟踪效果示意图。
具体实施方式
实施例如图1所示,本发明基于R-FCN框架多候选关联的在线多目标跟踪方法包括如下步骤:
步骤一、采用摄像机采集目标图像,对图像每帧中目标建立候选选择模型,筛选出每帧中没有冗余的目标最佳候选框;
步骤二、融合目标最佳候选框中目标外观特征信息、目标尺度特征信息和目标运动特征信息作为数据关联的匹配代价;
步骤三、通过匈牙利算法利用计算的匹配代价对相邻帧中轨迹和目标候选框进行数据关联,并完成对跟踪轨迹的更新;轨迹与目标候选框间的数据关联通过匈牙利算法每次寻找一条增广路径完成目标候选框的最大完备匹配;
步骤四、利用RANSAC算法确定的直线方程对存在的跟踪轨迹进行优化得到目标最终的跟踪轨迹。
优选的,所述候选选择模型包括如下步骤:
1)利用需要跟踪目标Z在上一帧中的信息,训练一个尺度相关滤波器f 和初始化一个UKF预测器u,在当前帧中收集来自尺度相关滤波器的跟踪结果 z1、UKF预测器的预测结果z2和检测结果z3作为所有目标候选框v;
2)对于不同来源的目标候选框采取不同的评价方式,采用R-FCN框架的分类结果作为z1和z3的评价得分,使用轨迹置信度函数作为z2的评价得分;
如图2所示,R-FCN框架网络由全卷积网络FCN、区域生成网络RPN和 ROI子网络三个部分构成,使用轻量级SqueezeNet网络作为提取目标映射图的基本结构;
R-FCN框架的分类得分函数:
其中,z表示感兴趣区域的特征映射图,将区域z平均分为kxk 个部分,r表示感兴趣区域的某一部分对应的特征映射图,用bin(i,j)表示感兴趣区域的第(i,j)个部分所有像素点的集合,并用(x,y)表示某个像素点位置,ni,j表示该部分像素点个数,c表示目标类别数量;
轨迹置信度函数:
Sstk=max(1-log(1+α.Ltrk),0)I(Ldet>=2)
其中,α表示转化因子,Ldet表示一条轨迹连续跟踪的检测数量,Ltrk表示一条轨迹自上次成功匹配后连续丢失的检测数量,目标轨迹Ti由Ldet和Ltrk共同进行表示,I(x)表示0、1函数;
3)将R-FCN框架的分类得分函数和轨迹置信度函数进行整合,得到完整的评价函数:
S=Sd(c|r,z)·T(z∈Vdet)+Sstk·T(z∈Vtrk)
其中,Sd(c|r,z)表示使用R-FCN框架的分类得分函数,z表示感兴趣区域的特征映射图,r表示感兴趣区域的某一部分对应的特征映射图,c表示目标类别数量,T表示0、1函数,Vdet表示检测框集合,Vtrk表示预测框集合,Sstk轨迹置信度函数;
优选的,所述数据关联的匹配代价计算包括如下步骤:
1)利用Siamese网络框架在重新识别数据集学习一种关于目标外观之间的相似性度量方法;
采用Siamese框架,将Spp network加到网络的全连接之前适应不同尺寸图像的输入,减少输入图像的信息损失,从而提取更加健壮的特征信息;预训练模型选取深度残差网络ResNet-50,去除ResNet-50的平均池化层和全连接层,通过其卷积层提取目标外观特征,并在重新识别数据集Market1501上进行微调,得到网络的训练权重,为了更好地区分正负样本,采用对比损失作为Siamese 网络训练的损失函数,每次从一批训练样本中挑选最难训练的一组样本进行训练,使正样本之间的欧式距离尽量小,负样本之间的欧式距离尽量大;
2)根据实际跟踪场景的要求,确定不同的比例融合目标外观相似性特征信息、目标尺度相似性特征信息以及目标运动特征信息作为数据关联的匹配代价,多特征融合匹配代价:
其中,Am,Aa,As分别表示目标轨迹与候选间的运动信息匹配代价、外观相似度信息匹配代价和尺度相似度信息匹配代价,Tj表示第j条轨迹,Tj t’表示轨迹Tj在第t帧中目标的预测结果,Di t表示视频序列第t帧检测结果中第i个目标框,α,β分别表示运动信息和外观信息所占总匹配代价的比例因子,分别取值为 0.3和0.6。
目标运动特征信息的匹配代价:
其中,Tj表示第j条轨迹,Tj t’表示轨迹Tj在第t帧中的预测框位置,Di t表示第 t帧中第i个候选框,最低重叠率σ=0.3;
外观相似度特征信息的匹配代价:
其中,f1,f2分别表示使用Siamese网络对一组输入提取的外观特征向量, ||f1-f2||表示f1与f2之间的欧式距离;
尺度相似度特征信息的匹配代价:
其中,h1、w1分别表示Tj t’的长和宽,h2、w2分别表示Di t的长和宽,γ取1.4。
优选的,所述跟踪轨迹优化包括如下步骤:
1)将待处理的跟踪轨迹简化为每帧中目标框的质心连接而成;
2)运用RANSAC算法对每条收集的跟踪轨迹点建立数学模型,通过不断迭代优化,确定目标轨迹方程:
其中,Qt表示轨迹在第t帧中目标框质心坐标,为二维向量的最优参数。
跟踪轨迹优化首先用Vs表示一条轨迹上所有的节点,包含局内点和局外点, 优化轨迹的关键是正确判别轨迹上的局内点和局外点,在短时间内,假设跟踪目标做直线运动,一条轨迹在某帧中的空间位置可以通过如下方式建模:
其中,a0,a1均为二维向量,Ps(t)表示轨迹上的第t个跟踪位置;因此,可以通过如下公式判断局内点和局外点:
Vs(inliers)={Vs(t):|a1t+a0-Ps(t)|<d}
其中d表示阈值,取值为5;
其次,为了使轨迹上局内点数量最大,可以通过如下公式优化:
其中,为最优参数,由于轨迹由局内点和局外点两部分组成,可以使用RANSAC算法寻找一条包含更多局内点的最佳轨迹;当某条轨迹在第t个位置对应的检测丢失时,可以使用计算轨迹在第t个虚拟点位置信息,并修正丢失的目标框信息,虚拟点位置的特征可由轨迹上所有目标框特征的平均值计算。
本方法在设计的相关算法的作用下,可以充分利用候选选择模型提供的目标位置候选信息,提高目标轨迹与候选结果之间的成功匹配率,进而减少目标轨迹关联过程中对检测结果的过分依赖,利用Siamese网络框架实现了两目标外观相似性度量的计算,保证了算法对复杂跟踪场景下目标的判别能力,最后合理使用RANSAC算法对目标轨迹进行优化,减少了目标漏检对跟踪轨迹的影响,本方法可以直接应用于人机交互、视频监控、视频分析等多个领域。
以下结合附图对本方法的构思,具体算法结构及产生的技术效果做进一步说明,以充分了解本发明的目的、特征和效果。
按照图2所示的R-FCN框架的网络架构示意图,本方法的具体步骤如下:
1、以采集的MOT16测试数据集为例,这批数据由摄像机在不同场景下不同角度和不同运动状态下拍摄的,采用MOT16测试数据集的7个视频序列进行实验结果分析,见表1;
表1
序列名称 | 分辨率 | 长度 | 目标数量 | 视角 | 相机 |
MOT16-01 | 1920x1080 | 450 | 23 | 中 | 静 |
MOT16-03 | 1920x1080 | 1500 | 148 | 高 | 静 |
MOT16-06 | 640x480 | 1194 | 221 | 中 | 动 |
MOT16-07 | 1920x1080 | 500 | 54 | 中 | 动 |
MOT16-08 | 1920x1080 | 625 | 63 | 中 | 静 |
MOT16-12 | 1920x1080 | 900 | 86 | 中 | 动 |
MOT16-14 | 1920x1080 | 750 | 164 | 中 | 动 |
2、选取公共的CLEAR MOT标准对算法评估,使用其中5个重要性能指标:多目标跟踪准确度MOTA(Multiple object tracking accuracy)、目标丢失次数 (Falsepositive)、目标被误报次数(False negative)、真实跟踪轨迹数量(Mostly Trackedtargets)和丢失轨迹数量(Mostly lost targets);其中,真实跟踪轨迹数量MT指跟踪结果占其真实轨迹长度比例大于80%的轨迹数量,丢失轨迹数量ML指跟踪结果占其真实轨迹长度比例小于20%的轨迹数量,MOTA、MT 越高越好,FP、FN和ML越低越好;
3、实验参数设置,从7个测试数据集视频中选取3个视频序列进行定性分析,视频序列检测结果由MOT16平台提供,多目标跟踪轨迹如图3所示;
4、依据上述参数和图1所示的算法框架进行计算,选取相同的参数和评价指标,将本方法与一些现有的基于检测的多目标跟踪方法进行比较,实验结果如表2所示。
表2
算法 | MOTA(%)↑ | MT(%)↑ | ML(%)↓ | FP↓ | FN↓ |
GMMCP | 38.1 | 8.6 | 50.9 | 6,607 | 105,315 |
MHT_DAM | 45.8 | 16.2 | 43.2 | 6,412 | 91,758 |
HLSP_T* | 35.9 | 8.7 | 50.1 | 6,412 | 107,918 |
CDA_DDAL* | 43.9 | 10.7 | 44.4 | 6,450 | 95,175 |
AMIR<sup>*</sup> | 47.2 | 14.0 | 41.6 | 2,681 | 92,856 |
本方法* | 48.5 | 14.1 | 37.9 | 7,906 | 82,841 |
由表2可知,本方法在跟踪准确率MOTA、真实跟踪轨迹数量MT、丢失跟踪轨迹数量ML和目标漏检FN等多个性能指标上处于明显优势,对于复杂场景下检测结果丢失和检测漂移等问题处理能力较强,这主要归功于本方法建立了候选选择模型,目标候选数据不再仅仅依靠目标检测器提供,还可以通过尺度相关滤波器跟踪结果和UKF预测两种方式获得。当目标被漏检或者检测结果漂移时,可以通过其他两种方法提供的候选框中挑选更加可靠的候选框进行数据关联,从而提高了目标数据关联的成功率,减少目标漏检和检测漂移对跟踪结果的影响。此外,本方法在目标漏检FN上有较大提升的原因,还在于采用RANSAC方法对轨迹进行优化处理,进一步解决目标丢失问题,为了提高跟踪准确率,同时保证跟踪实时性,每隔5帧对轨迹进行一次优化处理,利用同一条轨迹上前后帧位置信息,恢复丢失目标位置信息,使跟踪轨迹更加连续更加平滑。但在FP指标处理上不如AMIR方法,这主要因为此方法使用了循环神经网络(RNN)的结构,在多条线索上用一个时间窗口联合推理,允许矫正数据关联的错误,减少了目标误报。
如图4所示,MOT16测试数据集中3个视频序列是在不同场景、不同光照条件下拍摄的,其中有些序列跟踪场景比较复杂,人流密集,相互遮挡严重,稳定准确跟踪目标难度较大;
如图4(a)所示,其中MOT16-01视频序列是在比较暗的场景下拍摄的,人流适中,目标间交互存在短时间遮挡,图4(a)中显示了其中的106#、264#、349#三帧视觉跟踪效果图,其中编号为4号、6号的目标从106#运动到349# 过程中虽然有短暂的遮挡和目标漏检,这两个目标仍然持续准确的被跟踪;
如图4(b)所示,其中MOT16-03序列总共有1500帧,分辨率比较高,帧数较快,是在灯光较亮的场景下拍摄的,跟踪场景比较复杂,人流较为密集,然而除少数目标因漏检和被遮挡而跟踪失败外,大部分目标都能被正常跟踪,说明本方法对复杂环境有较好的鲁棒性,图4(b)中包含了其中的319#、424# 两帧跟踪结果图,大部分目标(如159号、144号、99号、116号、131号等) 从319帧运动到424帧都能被跟踪,而少数目标如86号、114号、142号等因遮挡导致跟踪失败,137号目标因被路灯遮挡与旁边外观相似的目标发生IDS 转换;
如图4(c)所示,其中MOT16-06序列总共有1194帧,是在人流较为密集的马路边上拍摄的,由于拍摄过程中相机是不断向前运动的,并且路边行人比较多,因此有很多目标频繁进出跟踪场景;图4(c)中包含了其中的473#、 531#、1074#三帧跟踪结果图,对比473#和531#两帧图片,容易看到除了336 号和294号目标因自身大部分遮挡和外观变化原因跟踪失败外,其他目标基本都能正常跟踪,观察1074#发现仅283号目标在之前两帧均有出现,并且目标 IDS一直未发生变化,目标被持续稳定跟踪。
本方法使用候选选择模型得到目标最佳候选,并通过融合多种目标特征作为目标数据关联的匹配代价,完成在线多目标跟踪任务,并且算法设计简单,满足实时性要求。对于目标短时间被遮挡、目标漏检以及复杂背景环境具有较好的鲁棒性,适合实际复杂场景的应用。
Claims (4)
1.一种基于R-FCN框架多候选关联的在线多目标跟踪方法,其特征在于本方法包括如下步骤:
步骤一、采用摄像机采集目标图像,对图像每帧中目标建立候选选择模型,筛选出每帧中没有冗余的目标最佳候选框;
步骤二、融合目标最佳候选框中目标外观特征信息、目标尺度特征信息和目标运动特征信息作为数据关联的匹配代价;
步骤三、通过匈牙利算法利用计算的匹配代价对相邻帧中轨迹和目标候选框进行数据关联,并完成对跟踪轨迹的更新;
步骤四、利用RANSAC算法确定的直线方程对存在的跟踪轨迹进行优化得到目标最终的跟踪轨迹。
2.根据权利要求1所述的基于R-FCN框架多候选关联的在线多目标跟踪方法,其特征在于:所述候选选择模型包括如下步骤:
1)利用需要跟踪目标Z在上一帧中的信息,训练一个尺度相关滤波器f和初始化一个UKF预测器u,在当前帧中收集来自尺度相关滤波器的跟踪结果z1、UKF预测器的预测结果z2和检测结果z3作为所有目标候选框v;
2)对于不同来源的目标候选框采取不同的评价方式,采用R-FCN框架的分类结果作为z1和z3的评价得分,使用轨迹置信度函数作为z2的评价得分,R-FCN框架的分类得分函数:
其中,z表示感兴趣区域的特征映射图,将区域z平均分为kxk个部分,r表示感兴趣区域的某一部分对应的特征映射图,用bin(i,j)表示感兴趣区域的第(i,j)个部分所有像素点的集合,并用(x,y)表示某个像素点位置,ni,j表示该部分像素点个数,c表示目标类别数量;
轨迹置信度函数:
Sstk=max(1-log(1+α.Ltrk),0)I(Ldet>=2)
其中,α表示转化因子,Ldet表示一条轨迹连续跟踪的检测数量,Ltrk表示一条轨迹自上次成功匹配后连续丢失的检测数量,目标轨迹Ti由Ldet和Ltrk共同进行表示,I(x)表示0、1函数;
3)将R-FCN框架的分类得分函数和轨迹置信度函数进行整合,得到完整的评价函数:
S=Sd(c|r,z)·T(z∈Vdet)+Sstk·T(z∈Vtrk)
其中,Sd(c|r,z)表示使用R-FCN框架的分类得分函数,z表示感兴趣区域的特征映射图,r表示感兴趣区域的某一部分对应的特征映射图,c表示目标类别数量,T表示0、1函数,Vdet表示检测框集合,Vtrk表示预测框集合,Sstk轨迹置信度函数。
3.根据权利要求1所述的基于R-FCN框架多候选关联的在线多目标跟踪方法,其特征在于:所述数据关联的匹配代价计算包括如下步骤:
1)利用Siamese网络框架在重新识别数据集学习一种关于目标外观之间的相似性度量方法;
2)根据实际跟踪场景的要求,确定不同的比例融合目标外观相似性特征信息、目标尺度相似性特征信息以及目标运动特征信息作为数据关联的匹配代价,多特征融合匹配代价:
其中,Am,Aa,As分别表示目标轨迹与候选间的运动信息匹配代价、外观相似度信息匹配代价和尺度相似度信息匹配代价,Tj表示第j条轨迹,Tj t,表示轨迹Tj在第t帧中目标的预测结果,Di t表示视频序列第t帧检测结果中第i个目标框,α,β分别表示运动信息和外观信息所占总匹配代价的比例因子,分别取值为0.3和0.6。
4.根据权利要求1所述的基于R-FCN框架多候选关联的在线多目标跟踪方法,其特征在于:所述跟踪轨迹优化包括如下步骤:
1)将待处理的跟踪轨迹简化为每帧中目标框的质心连接而成;
2)运用RANSAC算法对每条收集的跟踪轨迹点建立数学模型,通过不断迭代优化,确定目标轨迹方程:
其中,Qt表示轨迹在第t帧中目标框质心坐标,为二维向量的最优参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910129845.3A CN109919974B (zh) | 2019-02-21 | 2019-02-21 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910129845.3A CN109919974B (zh) | 2019-02-21 | 2019-02-21 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109919974A true CN109919974A (zh) | 2019-06-21 |
CN109919974B CN109919974B (zh) | 2023-07-14 |
Family
ID=66962054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910129845.3A Active CN109919974B (zh) | 2019-02-21 | 2019-02-21 | 基于r-fcn框架多候选关联的在线多目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109919974B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660083A (zh) * | 2019-09-27 | 2020-01-07 | 国网江苏省电力工程咨询有限公司 | 一种结合视频场景特征感知的多目标跟踪方法 |
CN110751205A (zh) * | 2019-10-17 | 2020-02-04 | 北京百度网讯科技有限公司 | 物体关联方法、装置、设备和介质 |
CN110796678A (zh) * | 2019-10-29 | 2020-02-14 | 中山大学 | 一种基于IoU的水下多目标跟踪方法 |
CN111462177A (zh) * | 2020-03-14 | 2020-07-28 | 华中科技大学 | 一种基于多线索的在线多目标跟踪方法和系统 |
CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
CN111507327A (zh) * | 2020-04-07 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
CN111652900A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大华技术股份有限公司 | 基于场景流的客流量的计数方法、系统及设备、存储装置 |
CN111709974A (zh) * | 2020-06-22 | 2020-09-25 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
CN111862153A (zh) * | 2020-07-10 | 2020-10-30 | 电子科技大学 | 一种面向行人的长时间多目标跟踪方法 |
CN111899275A (zh) * | 2020-08-12 | 2020-11-06 | 中国科学院长春光学精密机械与物理研究所 | 一种目标检测跟踪方法、装置及存储介质 |
CN111914625A (zh) * | 2020-06-18 | 2020-11-10 | 西安交通大学 | 基于检测器与跟踪器数据关联的多目标车辆跟踪装置 |
CN112528927A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 |
CN112561963A (zh) * | 2020-12-18 | 2021-03-26 | 北京百度网讯科技有限公司 | 目标跟踪的方法、装置、路侧设备以及存储介质 |
CN112581496A (zh) * | 2019-09-29 | 2021-03-30 | 四川大学 | 一种基于强化学习的多目标行人轨迹跟踪方法 |
CN112734800A (zh) * | 2020-12-18 | 2021-04-30 | 上海交通大学 | 一种基于联合检测与表征提取的多目标跟踪系统和方法 |
CN112767438A (zh) * | 2021-01-05 | 2021-05-07 | 北京航空航天大学 | 结合时空运动的多目标跟踪方法 |
CN113012193A (zh) * | 2019-12-20 | 2021-06-22 | 四川大学 | 一种基于深度学习的多行人跟踪方法 |
CN114549593A (zh) * | 2022-02-25 | 2022-05-27 | 北京拙河科技有限公司 | 一种多目标多摄像头的目标追踪方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463909A (zh) * | 2014-11-28 | 2015-03-25 | 北京交通大学长三角研究院 | 基于信度组合地图模型的视觉目标跟踪方法 |
CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
CN107464256A (zh) * | 2017-07-05 | 2017-12-12 | 河海大学 | 一种目标检测与可能性判别修正的关联方法 |
CN107545582A (zh) * | 2017-07-04 | 2018-01-05 | 深圳大学 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
CN108304808A (zh) * | 2018-02-06 | 2018-07-20 | 广东顺德西安交通大学研究院 | 一种基于时空信息与深度网络的监控视频对象检测方法 |
CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
CN109360226A (zh) * | 2018-10-17 | 2019-02-19 | 武汉大学 | 一种基于时间序列多特征融合的多目标跟踪方法 |
-
2019
- 2019-02-21 CN CN201910129845.3A patent/CN109919974B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463909A (zh) * | 2014-11-28 | 2015-03-25 | 北京交通大学长三角研究院 | 基于信度组合地图模型的视觉目标跟踪方法 |
CN106846355A (zh) * | 2016-12-16 | 2017-06-13 | 深圳大学 | 基于提升直觉模糊树的目标跟踪方法及装置 |
CN107545582A (zh) * | 2017-07-04 | 2018-01-05 | 深圳大学 | 基于模糊逻辑的视频多目标跟踪方法及装置 |
CN107464256A (zh) * | 2017-07-05 | 2017-12-12 | 河海大学 | 一种目标检测与可能性判别修正的关联方法 |
CN108304808A (zh) * | 2018-02-06 | 2018-07-20 | 广东顺德西安交通大学研究院 | 一种基于时空信息与深度网络的监控视频对象检测方法 |
CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
CN109360226A (zh) * | 2018-10-17 | 2019-02-19 | 武汉大学 | 一种基于时间序列多特征融合的多目标跟踪方法 |
Non-Patent Citations (2)
Title |
---|
吴国星: "智能视频监控下的目标跟踪关键技术研究", 《中国博士学位论文全文数据库》 * |
蒋胜 等: "基于R-FCN的行人检测方法研究", 《计算机工程与应用》 * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660083A (zh) * | 2019-09-27 | 2020-01-07 | 国网江苏省电力工程咨询有限公司 | 一种结合视频场景特征感知的多目标跟踪方法 |
CN112581496A (zh) * | 2019-09-29 | 2021-03-30 | 四川大学 | 一种基于强化学习的多目标行人轨迹跟踪方法 |
CN110751205A (zh) * | 2019-10-17 | 2020-02-04 | 北京百度网讯科技有限公司 | 物体关联方法、装置、设备和介质 |
CN110796678A (zh) * | 2019-10-29 | 2020-02-14 | 中山大学 | 一种基于IoU的水下多目标跟踪方法 |
CN110796678B (zh) * | 2019-10-29 | 2023-06-09 | 中山大学 | 一种基于IoU的水下多目标跟踪方法 |
CN113012193B (zh) * | 2019-12-20 | 2022-07-26 | 四川大学 | 一种基于深度学习的多行人跟踪方法 |
CN113012193A (zh) * | 2019-12-20 | 2021-06-22 | 四川大学 | 一种基于深度学习的多行人跟踪方法 |
CN111462177A (zh) * | 2020-03-14 | 2020-07-28 | 华中科技大学 | 一种基于多线索的在线多目标跟踪方法和系统 |
CN111462177B (zh) * | 2020-03-14 | 2023-04-07 | 华中科技大学 | 一种基于多线索的在线多目标跟踪方法和系统 |
CN111507327A (zh) * | 2020-04-07 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
CN111507327B (zh) * | 2020-04-07 | 2023-04-14 | 浙江大华技术股份有限公司 | 一种目标检测方法及装置 |
CN111476826A (zh) * | 2020-04-10 | 2020-07-31 | 电子科技大学 | 一种基于ssd目标检测的多目标车辆跟踪方法 |
CN111652900B (zh) * | 2020-05-29 | 2023-09-29 | 浙江大华技术股份有限公司 | 基于场景流的客流量的计数方法、系统及设备、存储介质 |
CN111652900A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大华技术股份有限公司 | 基于场景流的客流量的计数方法、系统及设备、存储装置 |
CN111914625A (zh) * | 2020-06-18 | 2020-11-10 | 西安交通大学 | 基于检测器与跟踪器数据关联的多目标车辆跟踪装置 |
CN111914625B (zh) * | 2020-06-18 | 2023-09-19 | 西安交通大学 | 基于检测器与跟踪器数据关联的多目标车辆跟踪装置 |
CN111709974A (zh) * | 2020-06-22 | 2020-09-25 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
CN111709974B (zh) * | 2020-06-22 | 2022-08-02 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
CN111862153A (zh) * | 2020-07-10 | 2020-10-30 | 电子科技大学 | 一种面向行人的长时间多目标跟踪方法 |
CN111862153B (zh) * | 2020-07-10 | 2022-06-24 | 电子科技大学 | 一种面向行人的长时间多目标跟踪方法 |
CN111899275A (zh) * | 2020-08-12 | 2020-11-06 | 中国科学院长春光学精密机械与物理研究所 | 一种目标检测跟踪方法、装置及存储介质 |
CN112734800A (zh) * | 2020-12-18 | 2021-04-30 | 上海交通大学 | 一种基于联合检测与表征提取的多目标跟踪系统和方法 |
CN112561963A (zh) * | 2020-12-18 | 2021-03-26 | 北京百度网讯科技有限公司 | 目标跟踪的方法、装置、路侧设备以及存储介质 |
CN112528927A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 |
CN112528927B (zh) * | 2020-12-22 | 2024-05-10 | 阿波罗智联(北京)科技有限公司 | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 |
CN112767438B (zh) * | 2021-01-05 | 2022-08-05 | 北京航空航天大学 | 结合时空运动的多目标跟踪方法 |
CN112767438A (zh) * | 2021-01-05 | 2021-05-07 | 北京航空航天大学 | 结合时空运动的多目标跟踪方法 |
CN114549593B (zh) * | 2022-02-25 | 2022-11-29 | 北京拙河科技有限公司 | 一种多目标多摄像头的目标追踪方法及系统 |
CN114549593A (zh) * | 2022-02-25 | 2022-05-27 | 北京拙河科技有限公司 | 一种多目标多摄像头的目标追踪方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109919974B (zh) | 2023-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919974A (zh) | 基于r-fcn框架多候选关联的在线多目标跟踪方法 | |
CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
CN109816689A (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
CN104183127B (zh) | 交通监控视频检测方法和装置 | |
CN109919981A (zh) | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 | |
CN107067413B (zh) | 一种时空域统计匹配局部特征的运动目标检测方法 | |
CN106707296A (zh) | 一种基于双孔径光电成像系统的无人机检测与识别方法 | |
CN109919977A (zh) | 一种基于时间特征的视频运动人物跟踪与身份识别方法 | |
CN106296742A (zh) | 一种结合特征点匹配的在线目标跟踪方法 | |
CN109871763A (zh) | 一种基于yolo的特定目标跟踪方法 | |
CN106709938B (zh) | 基于改进tld的多目标追踪方法 | |
CN110298865B (zh) | 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法 | |
CN104835182A (zh) | 摄像机上实现动态目标实时跟踪的方法 | |
CN107564035B (zh) | 基于重要区域识别和匹配的视频跟踪方法 | |
CN108460790A (zh) | 一种基于一致性预测器模型的视觉跟踪方法 | |
CN110176025B (zh) | 一种基于姿态的监考人跟踪方法 | |
CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
CN103593679A (zh) | 一种基于在线机器学习的视觉人手跟踪方法 | |
CN105184229A (zh) | 一种动态场景下基于在线学习的实时行人检测方法 | |
Naik et al. | DeepPlayer-track: player and referee tracking with jersey color recognition in soccer | |
CN105741326B (zh) | 一种基于聚类融合的视频序列的目标跟踪方法 | |
CN113608663A (zh) | 一种基于深度学习和k-曲率法的指尖跟踪方法 | |
CN110555867B (zh) | 一种融合物体捕获识别技术的多目标物体跟踪方法 | |
CN108520529A (zh) | 基于卷积神经网络的可见光和红外视频目标跟踪方法 | |
Feng et al. | Learning multi-layer attention aggregation Siamese network for robust RGBT tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |