CN109344712B - 一种道路车辆跟踪方法 - Google Patents

一种道路车辆跟踪方法 Download PDF

Info

Publication number
CN109344712B
CN109344712B CN201811007277.1A CN201811007277A CN109344712B CN 109344712 B CN109344712 B CN 109344712B CN 201811007277 A CN201811007277 A CN 201811007277A CN 109344712 B CN109344712 B CN 109344712B
Authority
CN
China
Prior art keywords
target
track
tracking
state
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811007277.1A
Other languages
English (en)
Other versions
CN109344712A (zh
Inventor
王正宁
吕侠
张翔
周阳
曾凡伟
赵德明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811007277.1A priority Critical patent/CN109344712B/zh
Publication of CN109344712A publication Critical patent/CN109344712A/zh
Application granted granted Critical
Publication of CN109344712B publication Critical patent/CN109344712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种道路车辆跟踪方法，属于计算视觉处理技术领域。本发明结合双目相机帧间图像多于单目的优势，提出了一种描述能力更强的多角度光流特征代替原来的多面光流特征，有效的解决了当遇到外观相似，距离较近的车辆相互遮挡时，出现的错跟、漂移等技术问题。

Description

一种道路车辆跟踪方法
技术领域
本发明属于图像处理和计算机视觉领域，具体涉及一种基于图像信息的多目标跟踪方法。
背景技术
随着人工智能技术的蓬勃发展，以(Advanced Driver Assistance System，简称ADAS)和无人驾驶技术为核心的智能汽车成为未来汽车的发展方向，作为其关键技术之一的多目标跟踪和检测，一直是该领域的研究热点。
目前大多数的多目标跟踪，处理对象集中在RGB图像，采用边检测边跟踪(Tracking By Detection)框架，即由检测和跟踪模块共同实现多目标跟踪任务。根据处理过程使用的数据范围我们可将多目标跟踪算法分为在线跟踪(Online Tracking)和离线跟踪(Offline Tracking)。如由Milan等提出了一种基于全局能量函数优化的离线多目标跟踪算法，其全局能量函数囊括了运动模型、互斥模型、外观模型、轨迹精度、正则项等六大多目标跟踪要素。由Choi等提出了一种融合了在线和离线特征的半在线跟踪方法，这样算法即满足只使用当前及历史信息的要求，又引入了离线算法中时间窗口的概念。由Xiang等提出的一种基于马尔科夫决策(MDP)框架的在线多目标跟踪方法，跟踪问题在MDP框架下实际上变为寻找最优决策使获得奖励最大的过程。在目标连接阶段，其采用了多区域光流特征对目标间相似性进行编码，在道路环境不怎么复杂的情况下，能取得较好的结果。但如果面对城市复杂的交通环境，在解决目标遮挡，轨迹互斥、外观相似误检等棘手问题上，上述方法仍存在一定的不足。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种改进的基于MDP框架的车辆跟踪方法，在目标连接阶段，本发明结合双目相机帧间图像，提出了一种描述能力更强的多角度光流特征代替原来的多面光流特征，以有效解决交通环境下车辆的相互遮挡、轨迹互斥、外观相似误检等技术问题。
本发明的一种道路车辆跟踪方法，包括下列步骤：
步骤1：对当前帧t进行目标检测，获取第t帧的目标检测集合：
基于预设的检测器，进行视频帧的目标检测处理，获取目标检测结果，得到多目标的检测集合
Figure BDA0001784239050000011
其中，各检测目标的检测结果包括2D包围盒，所述2D包围盒的信息包括：中心坐标(x2D,y2D)，尺度大小(h2D,w2D)，检测置信度s2D；
步骤2：遍历检测集合
Figure BDA0001784239050000021
对各检测目标进行激活处理：
步骤201：将当前检测目标
Figure BDA0001784239050000022
的状态设置为激活状态；
步骤202：在激活状态下对当前检测目标
Figure BDA0001784239050000023
进行决策评估：
分别计算决策a1和a2的激活状态奖励函数值，选择激活状态奖励函数值最大的决策作为第i个检测目标
Figure BDA0001784239050000024
在激活状态下的决策评估结果；
所述激活状态奖励函数为
Figure BDA0001784239050000025
其中，y(a)的取值为：当决策a＝a1时，y(a)＝1；决策a＝a2时，y(a)＝-1；所述a1表示从激活状态转换为跟踪状态；所述a2表示从激活状态转换为终止状态；
特征向量φActive＝[x2D,y2D,h2D,w2D,s2D]，wactive、bActive分别表示特征向量φActive的线性分类斜率、修正值；
步骤203：若当前决策评估结果为a1，则表示检测目标被激活，将当前检测目标
Figure BDA0001784239050000026
加入激活目标集
Figure BDA0001784239050000027
若当前决策评估结果为a2，则将当前检测目标设置为终止状态；
步骤204：判断检测集合
Figure BDA0001784239050000028
是否遍历完全，若是，则对非起始帧执行步骤3；否则对集合
Figure BDA0001784239050000029
的下一个检测目标继续执行步骤201；
步骤3：遍历当前帧t的上一帧t-1的轨迹集合
Figure BDA00017842390500000210
中的每个轨迹
Figure BDA00017842390500000211
对既有轨迹进行更新处理，得到当前帧的轨迹集合
Figure BDA00017842390500000212
其中，j为轨迹区分符，轨迹
Figure BDA00017842390500000213
Figure BDA00017842390500000214
为跟踪目标
Figure BDA00017842390500000215
分别在起始帧到t-1帧的轨迹目标
Figure BDA00017842390500000216
的集合，其中帧标识ρ＝1,2,…,t-1；
t-1帧的轨迹目标
Figure BDA00017842390500000217
的速度vj,t-1＝{vx,vy}，t-1帧的轨迹目标
Figure BDA00017842390500000218
的状态cj,t-1包括：跟踪状态、丢失状态、终止状态；
步骤301：根据当前轨迹
Figure BDA00017842390500000219
的轨迹状态cj,t-1进行不同处理：
若处于跟踪状态，则转至步骤302；
若处于丢失状态，则转至步骤305；
若处于终止状态，则直接转入步骤309；
步骤302：对目标集合
Figure BDA0001784239050000031
中的第t-1帧的轨迹目标
Figure BDA0001784239050000032
进行滤波，得到第t帧的预测目标
Figure BDA0001784239050000033
用跟踪目标
Figure BDA0001784239050000034
的当前在线模板集合中的锚点模板对预测目标
Figure BDA0001784239050000035
进行光流跟踪处理，得到2D光流跟踪框，以及两者的光流误差，并将光流误差的中值记为
Figure BDA0001784239050000036
步骤303：在跟踪状态下，对轨迹目标
Figure BDA0001784239050000037
进行的决策评估：
分别计算决策a3和a4的跟踪状态奖励函数值，选择跟踪状态奖励函数值最大的决策作为当前轨迹
Figure BDA0001784239050000038
在跟踪状态下的决策评估结果；
所述跟踪状态奖励函数为：
Figure BDA0001784239050000039
其中，y(a)的取值为：若a＝a3，则y(a)＝1；若a＝a4，则y(a)＝-1；所述a3表示持续跟踪状态；所述a4表示从跟踪状态转换为丢失状态；
e0表示预设的光流误差阈值，iou表示轨迹目标
Figure BDA00017842390500000310
与激活目标集
Figure BDA00017842390500000311
中的各目标的重合面积的最大者；o0表示预设的重合面积阈值；
步骤304：若当前决策评估结果为a3，则将预测目标
Figure BDA00017842390500000312
的2D包围盒更新为2D光流跟踪框，再转入步骤307；
若决策评估结果为a4，则将轨迹目标
Figure BDA00017842390500000313
的状态置为丢失状态，并转入步骤305；
步骤305：目标处于丢失状态，执行目标连接判断处理；
从集合
Figure BDA00017842390500000314
中提取预测目标
Figure BDA00017842390500000315
的近邻目标，作为当前帧t的观测目标，记为dk，其中k表示观测目标区分符；
提取各观测目标与轨迹目标
Figure BDA00017842390500000316
之间的2D相似差异特征信息
Figure BDA00017842390500000317
并计算决策a5和a6的丢失状态奖励函数值，选择丢失状态奖励函数值最大的决策作为对应的决策评估结果；
所述丢失状态奖励函数
Figure BDA00017842390500000318
其中，y(a)的取值为：若a＝a5，则y(a)＝-1；若a＝a6，则y(a)＝1；所述a5表示持续丢失状态；a6表示从丢失状态转换为跟踪状态；
w2D、b2D分别表示观测目标与预测目标之间的2D相似差异特征信息的线性分类斜率、的修正值；
所述2D相似差异特征信息
Figure BDA0001784239050000041
包括：观测目标与轨迹目标的五个光流误差中值；观测目标与轨迹目标的归一化相关系数；轨迹目标的2D光流跟踪框与观测目标的归一化相关系数；轨迹目标的2D光流跟踪框与观测目标的包围盒的高度比；观测目标与轨迹目标的包围盒的高度比；轨迹目标的2D光流跟踪框与观测目标的包围盒的面积比；观测目标与轨迹目标的归一化的相似度量值
Figure BDA0001784239050000042
所述五个光流误差中值包括双目视图的左视图帧间光流误差中值、右视图帧间光流误差中值、左视图与右视图交叉光流误差中值、右视图与左视图交叉光流误差中值和循环光流误差中值；
其中循环光流误差中值为：将轨迹目标、观测目标所对应的左、右视图的进行任意排列，从各排列结果的第1个视图开始，按顺序从第1个视图到第4个视图，再到第1个视图的顺序进行目标光流跟踪处理，从最后的光流跟踪结果中得到循环光流误差中值；
步骤306：若当前决策评估结果为a5，则表示目标连接失败，将当前帧的轨迹目标
Figure BDA0001784239050000043
的状态cj,t置为丢失状态，并判断同一跟踪目标
Figure BDA0001784239050000044
的丢失状态持续帧数是否达到预设上限，若是，则将当前帧的轨迹目标
Figure BDA0001784239050000045
的状态cj,t置为终止状态后转入步骤309；否则直接转入步骤309；
若当前决策评估结果为a6，则表示目标连接成功，将将当前帧的轨迹目标
Figure BDA0001784239050000046
的状态cj,t置为跟踪状态，并执行步骤307；
步骤307：对跟踪目标
Figure BDA0001784239050000047
进行轨迹更新处理，得到当前帧的轨迹
Figure BDA0001784239050000048
判断当前跟踪目标
Figure BDA0001784239050000049
的锚点在最近两帧是否改变，若是，则执行步骤307-1；否则执行步骤307-2；其中，所述锚点为在线模板集合中的锚点模板的模板索引；
步骤307-1：将集合
Figure BDA00017842390500000410
中距预测目标
Figure BDA00017842390500000411
距离最近的目标记为
Figure BDA00017842390500000412
并将预测目标
Figure BDA00017842390500000413
和目标
Figure BDA00017842390500000414
的均值作为当前帧的轨迹目标
Figure BDA00017842390500000415
对跟踪目标
Figure BDA00017842390500000416
的在线模板集合进行更新处理：对在线模板集合中的各非锚点模板与预测目标
Figure BDA0001784239050000051
进行光流跟踪处理，得到各非锚点模板与预测目标
Figure BDA0001784239050000052
的光流误差的中值，将最大中值所对应的非锚点模板更新为轨迹目标
Figure BDA0001784239050000053
的2D包围盒对应的图像块；
步骤307-2：将
Figure BDA0001784239050000054
中距预测目标
Figure BDA0001784239050000055
距离最近的检测目标记为
Figure BDA0001784239050000056
并将预测目标
Figure BDA0001784239050000057
和检测目标
Figure BDA0001784239050000058
的均值作为当前帧的该轨迹目标
Figure BDA0001784239050000059
对跟踪目标
Figure BDA00017842390500000510
的在线模板集合进行更新处理：对在线模板集合中的各在线模板进行光流跟踪处理，得到各在线模板与预测目标
Figure BDA00017842390500000511
之间的光流误差的中值，将最小中值所对应的在线模板更新为轨迹目标
Figure BDA00017842390500000512
的2D包围盒对应的图像块，并将更新后的在线模板作为跟踪目标
Figure BDA00017842390500000513
在当前帧的锚点模板；
其中，跟踪目标
Figure BDA00017842390500000514
的在线模板集合的初始值为：最近K帧的轨迹目标的2D包围盒对应的图像块，其中K表示预设在线模板数量，若当前帧数t＜K，则在线模板集合为最近t帧的轨迹目标的2D包围盒对应的图像块；其中锚点模板的初始值为：对应跟踪目标
Figure BDA00017842390500000515
在最近帧的轨迹目标的在线模板；
步骤308：将目标
Figure BDA00017842390500000516
从集合
Figure BDA00017842390500000517
中剔除，并将轨迹目标
Figure BDA00017842390500000518
加入
Figure BDA00017842390500000519
步骤309：判断集合
Figure BDA00017842390500000520
是否遍历完全，若是，则转入步骤310；否则，对集合
Figure BDA00017842390500000521
中的下一个轨迹继续执行步骤301；
步骤310：判断当前帧的激活目标集合
Figure BDA00017842390500000522
是否为空集，若是，则直接转入步骤311；否则将
Figure BDA00017842390500000523
中的目标初始化为当前帧新的轨迹集
Figure BDA00017842390500000524
然后转入步骤311；
步骤311：判断当前帧是否为最后一帧，若是，则输出轨迹集合
Figure BDA00017842390500000525
并结束；否则，继续对下一帧执行步骤2。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明结合双目相机帧间图像多于单目的优势，提出了一种描述能力更强的多角度光流特征代替原来的多面光流特征，有效的解决了当遇到外观相似，距离较近的车辆相互遮挡时，出现的错跟、漂移等技术问题。
附图说明
图1是MDP跟踪算法中的状态空间示意图；
图2是目标激活处理流程示意图；
图3是既有轨迹更新处理流程示意图；
图4是本发明的五维FB error特征提取示意图；
图5是本发明与现有的MDP跟踪算法对两种场景的跟踪效果对比图，其中图5-(a)是MDP跟踪算法针对相互遮挡场景的跟踪效果；图5-(b)是MDP跟踪算法针对目标外观相似场景的跟踪效果；图5-(c)是本发明针对相互遮挡场景的跟踪效果；图5-(d)是本发明针对目标外观相似场景的跟踪效果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明的车辆跟踪方法是基于空间信息的MDP跟踪算法，在MDP跟踪算法中，其定义了一个状态空间S，由四个子空间构成：Sactive、Stracked、Sinactive、Slost；其中，Sactive代表激活状态空间，Stracked代表跟踪状态空间，Sinactive代表终止状态空间，Slost代表丢失状态空间。状态空间描述目标在其生存期中四种可能状态：激活状态(Active)、跟踪状态(Tracked)、终止状态(Inactive)、丢失状态(Lost)，如图1所示。该状态空间S涉及7种不同的决策a1～a7，其中，a1表示从激活状态转换为跟踪状态；a2表示从激活状态转换为终止状态；a3表示持续跟踪状态；a4表示从跟踪状态转换为丢失状态；a5表示持续丢失状态；a6表示从丢失状态转换为跟踪状态；a7表示从丢失状态转换为终止状态。特定决策产生唯一状态，运动目标的跟踪状态可以通过不同决策相互转换，但目标在每个状态的奖励函数都不一样，奖励函数的构造依赖于运动目标的2D图像信息，决策ak(k＝1～7)是使得奖励函数产生最大值时的决策。
参见图2、3本发明道路车辆跟踪方法，具体实现步骤如下(t为视频帧数，T为视频总帧数)：
步骤1：对当前帧t进行目标检测，获取第t帧的目标检测集合：
基于预设的检测器，进行视频帧的目标检测处理，得到检测集合
Figure BDA0001784239050000061
检测集合中的各目标
Figure BDA0001784239050000062
(其中i为检测目标区分符)的检测结果2D包围盒。
步骤2：遍历检测集合
Figure BDA0001784239050000063
对各目标的进行激活处理。
步骤201：取第i(初始值为1)个目标
Figure BDA0001784239050000064
并将其状态设置为Sactive；
步骤202：对第i个目标
Figure BDA0001784239050000071
在激活状态Sactive下进行决策评估：
分别计算决策a1和a2的激活状态奖励函数值，选择激活状态奖励函数值最大的决策作为第i个目标
Figure BDA0001784239050000072
在激活状态Sactive下的决策评估结果；
所述激活状态奖励函数为
Figure BDA0001784239050000073
其中，y(a)的取值为：当决策a＝a1时，y(a)＝1；决策a＝a2时，y(a)＝-1；所述a1表示从激活状态转换为跟踪状态；所述a2表示从激活状态转换为终止状态；
特征向量φActive＝[x2D,y2D,h2D,w2D,s2D]，wactive、bActive分别表示特征向量φActive的线性分类斜率、修正值；
即，本发明中，线性分类斜率、修正值的具体取值均通过数据集训练得到，例如通过一个用于区分目标跟踪与否的二分类器SVM来得到线性分类斜率、修正值的具体取值。
步骤203：若当前决策评估结果为a1，则表示目标被激活，将当前目标
Figure BDA0001784239050000074
加入激活目标集
Figure BDA0001784239050000075
(
Figure BDA0001784239050000076
的初始值为空集)；若当前决策评估结果为a2，则将当前目标设置为终止状态Sinactive；
步骤204：判断检测集合
Figure BDA0001784239050000077
是否遍历完全，即判断i是否等于检测集合
Figure BDA0001784239050000078
的元素个数，若是，则表示遍历完全，并对非起始帧执行步骤3；否则令i＝i+1，继续执行步骤201；
步骤3：遍历当前帧t的上一帧t-1的轨迹集合
Figure BDA0001784239050000079
中的每个轨迹
Figure BDA00017842390500000710
对既有轨迹进行更新处理：
其中，j为轨迹区分符，每个轨迹对应一个轨迹目标，即j也为当前轨迹所对应的轨迹目标
Figure BDA00017842390500000711
的区分符；
用J表示集合
Figure BDA00017842390500000712
的元素数，j从1开始编号，则
Figure BDA00017842390500000713
步骤301：取第j(初始值为1)个轨迹
Figure BDA00017842390500000714
并根据轨迹目标
Figure BDA00017842390500000715
的状态cj,t-1进行不同处理：
若处于Stracked，则转至步骤302；
若处于Slost，则转至步骤305；
若处于Sinactive，则直接转入步骤309；
步骤302：对目标集合
Figure BDA0001784239050000081
中时间最近的目标
Figure BDA0001784239050000082
(即
Figure BDA0001784239050000083
)进行滤波，得到其在第t帧的预测目标
Figure BDA0001784239050000084
用
Figure BDA0001784239050000085
的在线模板中的匹配锚点模板panchor与
Figure BDA0001784239050000086
进行前后向光流跟踪(FB-tracking)，获取匹配误差中值
Figure BDA0001784239050000087
以及2D光流跟踪框(光流估计包围盒)；
计算
Figure BDA0001784239050000088
与
Figure BDA0001784239050000089
中各目标的重合面积，并选其最大者记为iou；
步骤303：在跟踪状态Stracked下进行当前轨迹
Figure BDA00017842390500000810
的决策评估：
分别计算决策a3和a4的跟踪状态奖励函数值，选择跟踪状态奖励函数值最大的决策作为当前轨迹
Figure BDA00017842390500000811
在跟踪状态Stracked下的决策评估结果；
所述跟踪状态奖励函数为：
Figure BDA00017842390500000812
其中，y(a)的取值为：若a＝a3，则y(a)＝1；若a＝a4，则y(a)＝-1；e0表示预设的光流误差阈值，o0表示预设的重合面积阈值；
步骤304：若当前决策评估结果为a3，则预测目标
Figure BDA00017842390500000813
的2D包围盒更新为2D光流跟踪框，再转入步骤307；
若决策评估结果为a4，则将轨迹目标
Figure BDA00017842390500000814
的状态置为丢失状态，并转入步骤305；
步骤305：目标处于Slost，执行目标连接判断处理。
从集合
Figure BDA00017842390500000815
中提取预测目标
Figure BDA00017842390500000816
(跟踪目标)的近邻目标，作为当前帧t的观测目标，记为dk，其中k表示观测目标区分符；
提取各观测目标与轨迹目标
Figure BDA00017842390500000817
之间的2D相似差异特征信息
Figure BDA00017842390500000818
并计算决策a5和a6的丢失状态奖励函数值，选择丢失状态奖励函数值最大的决策作为对应的决策评估结果；
所述丢失状态奖励函数
Figure BDA00017842390500000819
其中，y(a)的取值为：若a＝a5，则y(a)＝-1；若a＝a6，则y(a)＝1；所述a5表示持续丢失状态；a6表示从丢失状态转换为跟踪状态；
w2D、b2D分别表示观测目标与预测目标之间的2D相似差异特征信息的线性分类斜率、的修正值；
所述2D相似差异特征信息
Figure BDA0001784239050000091
包括：观测目标与轨迹目标的五个光流误差中值；观测目标与轨迹目标的归一化相关系数；轨迹目标的2D光流跟踪框与观测目标的归一化相关系数；轨迹目标的2D光流跟踪框与观测目标的包围盒的高度比；观测目标与轨迹目标的包围盒的高度比；轨迹目标的2D光流跟踪框与观测目标的包围盒的面积比；观测目标与轨迹目标的归一化的相似度量值
Figure BDA0001784239050000092
如表1所示。
表1 2D相似性特征构造
Figure BDA0001784239050000093
表中FB error，即光流误差中值，共由5组FB error组成：左视图帧间误差
Figure BDA0001784239050000094
右视图帧间误差
Figure BDA0001784239050000095
左视图与右视图交叉误差
Figure BDA0001784239050000096
右视图与左视图交叉误差
Figure BDA0001784239050000097
循环误差
Figure BDA0001784239050000098
其提取方法如图4所示，其中Lt-1、Rt-1分别表示轨迹目标所对应的左、右视图，Lt、Rt分别表示观测目标所对应的左、右视图。
对于帧间及交叉误差中值：
分别对轨迹目标所对应的左、右视图中的2D包围盒进行光流点采样处理，得到左、右采样图像块pL,t-1、pR,t-1；然后再对左采样图像块pL,t-1在观测目标所在的左视图进行光流跟踪，对右采样图像块pR,t-1在观测目标所在的右视图进行光流跟踪，获取两个帧间光流误差中值；以及对左采样图像块pL,t-1在观测目标所在的右视图进行光流跟踪，对右采样图像块pR,t-1在观测目标所在的左视图进行光流跟踪，获取两个交叉光流误差中值。
对于循环光流误差中值：
即将轨迹目标所对应的左、右视图Lt-1、Rt-1，以及观测目标所对应的左、右视图Lt、Rt进行任意排列，从各排列结果的第1个视图开始，按顺序从第1个视图到第4个视图，再到第1个视图的顺序进行目标光流跟踪处理，从最后的光流跟踪结果中得到循环光流误差中值。
本具体实施方式中，光流跟踪处理顺序为Lt-1→Lt→Rt→Rt-1→Lt-1，即从t-1时刻左图像Lt-1的2D包围盒出发，对对t-1时刻右图像进行LK光流匹配，以FB error中值为阈值选取匹配点并求出匹配后的2D包围盒BR,t-1；以BR,t-1为基础，在t-1时刻右图像和t时刻右图像之间匹配，得到包围盒BR,t；然后从t时刻右图像到t时刻左图像得到BL,t；最后由t时刻左图像匹配回t-1时刻左图像，此时取匹配误差总集的中值作为循环光流误差中值(循环FBerror)。
归一化交叉相关系数NCC，用来表示目标间的相似度，是一个二维向量，其分量分别表示跟踪目标的2D光流跟踪框与观测目标的包围盒对应的图像块之间的归一化相关系数和跟踪目标与观测目标之间的归一化相关系数。
高度比率Height ratio，和重叠度Overlap分别代表2D特征包围盒高度比和跟踪与检测结果IOU(Intersection over Union，重叠度)，是二维向量，其各分量信息见上表；
分类分数Score是一个表示归一化分类分数的一维向量。本具体实施方式中，可分辨离线构建关于目标连接是否成功的二分类SVM分类器，用于获取分类分数，即将分类器的分类分数作为对应的相似度量值。
步骤306：若当前决策评估结果为a5，则表示目标连接失败，将当前帧的轨迹目标
Figure BDA0001784239050000101
的状态cj,t置为丢失状态，
步骤306：若当前决策评估结果为a5，则表示目标连接失败，将当前帧的轨迹目标
Figure BDA0001784239050000102
的状态cj,t置为丢失状态，并判断同一跟踪目标
Figure BDA0001784239050000103
的丢失状态持续帧数是否达到预设上限(例如K帧)，若是，则将其置为终止状态，再进入步骤309；否则，直接进入步骤309；
若当前决策评估结果为a6，则表示目标连接成功，将将当前帧的轨迹目标
Figure BDA0001784239050000104
的状态cj,t置为跟踪状态，然后进入步骤307；
步骤307：更新当前帧轨迹，得到当前帧新的轨迹集
Figure BDA0001784239050000111
进入骤308；
其中，具体更新方式如下：
(1)轨迹目标所绑定的在线模板索引(锚点)没有改变，这种情况代表跟踪阶段成功。此时更新包括两部分：
(1-1)将
Figure BDA0001784239050000112
中距离当前目标最近的检测目标记为
Figure BDA0001784239050000113
并将
Figure BDA0001784239050000114
和
Figure BDA0001784239050000115
的均值作为当前帧该轨迹目标
Figure BDA0001784239050000116
(1-2)更新K个在线模板，对在线模板采用锚点不变的更新模式：
计算在线模板集合中的各非锚点模板与预测目标
Figure BDA0001784239050000117
之间的光流误差的中值，将最大中值所对应的非锚点模板更新为轨迹目标
Figure BDA0001784239050000118
的包围盒对应的图像块。
(2)轨迹目标所绑定的在线模板索引(锚点)改变，这种情况属于跟踪失败但连接成功。此时更新也分两部分：
(2-1)将连接上的检测目标
Figure BDA0001784239050000119
和预测目标的均值作为当前帧最终的轨迹目标
Figure BDA00017842390500001110
(2-2)计算在线模板集合中各在线模板与预测目标
Figure BDA00017842390500001111
之间的光流误差的中值，将最小中值所对应的在线模板更新为轨迹目标
Figure BDA00017842390500001112
的包围盒对应的图像块，并将更新后的在线模板作为跟踪目标
Figure BDA00017842390500001113
在当前帧的锚点模板。
步骤308：将
Figure BDA00017842390500001114
从
Figure BDA00017842390500001115
中剔除，并将
Figure BDA00017842390500001116
加入
Figure BDA00017842390500001117
用于得到当前帧t的第j个轨迹
Figure BDA00017842390500001118
步骤309：判断集合
Figure BDA00017842390500001119
是否遍历完全，即判断j是否等于集合
Figure BDA00017842390500001120
的元素个数，若是，则表示遍历完全，并转入步骤310；否则，令j＝j+1，继续执行步骤301；
步骤310：判断第t帧的
Figure BDA00017842390500001121
是否为空集，若是，则直接转入步骤311；否则将
Figure BDA00017842390500001122
中的检测目标初始化为当前帧新的轨迹集合
Figure BDA00017842390500001123
然后转入步骤311；
步骤311：令t＝t+1，判断是否超出最后一帧，若未超出则返回步骤2；否则输出轨迹集合
Figure BDA00017842390500001124
并结束。
实施例
为了进一步说明本发明的跟踪处理性能，将本发明的跟踪方法与现有的MDP跟踪算法针对两种场景(相互遮挡场景、目标外观相似场景)进行了跟踪性能对比，如图5所示，从图可知，当出现遮挡和目标外观相似等复杂的道路情况时，本发明改进后的跟踪方法仍能有效的跟踪到目标，相比现有跟踪算法有很大的效果提升，即本发明的性能明显优于现有的MDP跟踪算法。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种道路车辆跟踪方法，其特征在于，包括下列步骤：
步骤1：对当前帧t进行目标检测，获取第t帧的目标检测集合：
基于预设的检测器，进行视频帧的目标检测处理，获取目标检测结果，得到多目标的检测集合
Figure FDA0003142526030000011
其中，各检测目标的检测结果包括2D包围盒，所述2D包围盒的信息包括：中心坐标(x2D,y2D)，尺度大小(h2D,w2D)，检测置信度s2D；
步骤2：遍历检测集合
Figure FDA0003142526030000012
对各检测目标进行激活处理：
步骤201：将当前检测目标
Figure FDA0003142526030000013
的状态设置为激活状态；
步骤202：在激活状态下对当前检测目标
Figure FDA0003142526030000014
进行决策评估：
分别计算决策a1和a2的激活状态奖励函数值，选择激活状态奖励函数值最大的决策作为第i个检测目标
Figure FDA0003142526030000015
在激活状态下的决策评估结果；
所述激活状态奖励函数为
Figure FDA0003142526030000016
其中，s表示状态，y(a)的取值为：当决策a＝a1时，y(a)＝1；决策a＝a2时，y(a)＝-1；所述a1表示从激活状态转换为跟踪状态；所述a2表示从激活状态转换为终止状态；
特征向量φActive＝[x2D,y2D,h2D,w2D,s2D]，wactive、bActive分别表示特征向量φActive的线性分类斜率、修正值；
步骤203：若当前决策评估结果为a1，则表示检测目标被激活，将当前检测目标
Figure FDA0003142526030000017
加入激活目标集
Figure FDA0003142526030000018
若当前决策评估结果为a2，则将当前检测目标设置为终止状态；
步骤204：判断检测集合
Figure FDA0003142526030000019
是否遍历完全，若是，则对非起始帧执行步骤3；否则对集合
Figure FDA00031425260300000110
的下一个检测目标继续执行步骤201；
步骤3：遍历当前帧t的上一帧t-1的轨迹集合
Figure FDA00031425260300000111
中的每个轨迹
Figure FDA00031425260300000112
对既有轨迹进行更新处理，得到当前帧的轨迹集合
Figure FDA00031425260300000113
其中，j为轨迹区分符，轨迹
Figure FDA00031425260300000114
Figure FDA00031425260300000115
为跟踪目标
Figure FDA00031425260300000116
分别在起始帧到t-1帧的轨迹目标
Figure FDA00031425260300000117
的集合，其中帧标识ρ＝1,2,…,t-1；
t-1帧的轨迹目标
Figure FDA0003142526030000021
的速度vj,t-1＝{vx,vy}，t-1帧的轨迹目标
Figure FDA0003142526030000022
的状态cj,t-1包括：跟踪状态、丢失状态、终止状态；
步骤301：根据当前轨迹
Figure FDA0003142526030000023
的轨迹状态cj,t-1进行不同处理：
若处于跟踪状态，则转至步骤302；
若处于丢失状态，则转至步骤305；
若处于终止状态，则直接转入步骤309；
步骤302：对目标集合
Figure FDA0003142526030000024
中的第t-1帧的轨迹目标
Figure FDA0003142526030000025
进行滤波，得到第t帧的预测目标
Figure FDA0003142526030000026
用跟踪目标
Figure FDA0003142526030000027
的当前在线模板集合中的锚点模板对预测目标
Figure FDA0003142526030000028
进行光流跟踪处理，得到2D光流跟踪框，以及两者的光流误差，并将光流误差的中值记为
Figure FDA0003142526030000029
步骤303：在跟踪状态下，对轨迹目标
Figure FDA00031425260300000210
进行的决策评估：
分别计算决策a3和a4的跟踪状态奖励函数值，选择跟踪状态奖励函数值最大的决策作为当前轨迹
Figure FDA00031425260300000211
在跟踪状态下的决策评估结果；
所述跟踪状态奖励函数为：
Figure FDA00031425260300000212
其中，y(a)的取值为：若a＝a3，则y(a)＝1；若a＝a4，则y(a)＝-1；所述a3表示持续跟踪状态；所述a4表示从跟踪状态转换为丢失状态；
e0表示预设的光流误差阈值，iou表示轨迹目标
Figure FDA00031425260300000213
与激活目标集
Figure FDA00031425260300000214
中的各目标的重合面积的最大者；o0表示预设的重合面积阈值；
步骤304：若当前决策评估结果为a3，则将预测目标
Figure FDA00031425260300000215
的2D包围盒更新为2D光流跟踪框，再转入步骤307；
若决策评估结果为a4，则将轨迹目标
Figure FDA00031425260300000216
的状态置为丢失状态，并转入步骤305；
步骤305：目标处于丢失状态，执行目标连接判断处理；
从集合
Figure FDA00031425260300000217
中提取预测目标
Figure FDA00031425260300000218
的近邻目标，作为当前帧t的观测目标，记为dk，其中k表示观测目标区分符；
提取各观测目标与轨迹目标
Figure FDA0003142526030000031
之间的2D相似差异特征信息
Figure FDA0003142526030000032
并计算决策a5和a6的丢失状态奖励函数值，选择丢失状态奖励函数值最大的决策作为对应的决策评估结果；
所述丢失状态奖励函数
Figure FDA0003142526030000033
其中，y(a)的取值为：若a＝a5，则y(a)＝-1；若a＝a6，则y(a)＝1；所述a5表示持续丢失状态；a6表示从丢失状态转换为跟踪状态；
w2D、b2D分别表示观测目标与预测目标之间的2D相似差异特征信息的线性分类斜率、的修正值；
所述2D相似差异特征信息
Figure FDA0003142526030000034
包括：观测目标与轨迹目标的五个光流误差中值；观测目标与轨迹目标的归一化相关系数；轨迹目标的2D光流跟踪框与观测目标的归一化相关系数；轨迹目标的2D光流跟踪框与观测目标的包围盒的高度比；观测目标与轨迹目标的包围盒的高度比；轨迹目标的2D光流跟踪框与观测目标的包围盒的面积比；观测目标与轨迹目标的归一化的相似度量值
Figure FDA0003142526030000035
所述五个光流误差中值包括双目视图的左视图帧间光流误差中值、右视图帧间光流误差中值、左视图与右视图交叉光流误差中值、右视图与左视图交叉光流误差中值和循环光流误差中值；
其中循环光流误差中值为：将轨迹目标、观测目标所对应的左、右视图的进行任意排列，从各排列结果的第1个视图开始，按顺序从第1个视图到第4个视图，再到第1个视图的顺序进行目标光流跟踪处理，从最后的光流跟踪结果中得到循环光流误差中值；
步骤306：若当前决策评估结果为a5，则表示目标连接失败，将当前帧的轨迹目标
Figure FDA0003142526030000036
的状态cj,t置为丢失状态，并判断同一跟踪目标
Figure FDA0003142526030000037
的丢失状态持续帧数是否达到预设上限，若是，则将当前帧的轨迹目标
Figure FDA0003142526030000038
的状态cj,t置为终止状态后转入步骤309；否则直接转入步骤309；
若当前决策评估结果为a6，则表示目标连接成功，将将当前帧的轨迹目标
Figure FDA0003142526030000039
的状态cj,t置为跟踪状态，并执行步骤307；
步骤307：对跟踪目标
Figure FDA00031425260300000310
进行轨迹更新处理，得到当前帧的轨迹
Figure FDA00031425260300000311
判断当前跟踪目标
Figure FDA0003142526030000041
的锚点在最近两帧是否改变，若是，则执行步骤307-1；否则执行步骤307-2；其中，所述锚点为在线模板集合中的锚点模板的模板索引；
步骤307-1：将集合
Figure FDA0003142526030000042
中距预测目标
Figure FDA0003142526030000043
距离最近的目标记为
Figure FDA0003142526030000044
并将预测目标
Figure FDA0003142526030000045
和目标
Figure FDA0003142526030000046
的均值作为当前帧的轨迹目标
Figure FDA0003142526030000047
对跟踪目标
Figure FDA0003142526030000048
的在线模板集合进行更新处理：对在线模板集合中的各非锚点模板与预测目标
Figure FDA0003142526030000049
进行光流跟踪处理，得到各非锚点模板与预测目标
Figure FDA00031425260300000410
的光流误差的中值，将最大中值所对应的非锚点模板更新为轨迹目标
Figure FDA00031425260300000411
的2D包围盒对应的图像块；
步骤307-2：将
Figure FDA00031425260300000412
中距预测目标
Figure FDA00031425260300000413
距离最近的检测目标记为
Figure FDA00031425260300000414
并将预测目标
Figure FDA00031425260300000415
和检测目标
Figure FDA00031425260300000416
的均值作为当前帧的该轨迹目标
Figure FDA00031425260300000417
对跟踪目标
Figure FDA00031425260300000418
的在线模板集合进行更新处理：对在线模板集合中的各在线模板进行光流跟踪处理，得到各在线模板与预测目标
Figure FDA00031425260300000419
之间的光流误差的中值，将最小中值所对应的在线模板更新为轨迹目标
Figure FDA00031425260300000420
的2D包围盒对应的图像块，并将更新后的在线模板作为跟踪目标
Figure FDA00031425260300000421
在当前帧的锚点模板；
其中，跟踪目标
Figure FDA00031425260300000422
的在线模板集合的初始值为：最近K帧的轨迹目标的2D包围盒对应的图像块，其中K表示预设在线模板数量，若当前帧数t＜K，则在线模板集合为最近t帧的轨迹目标的2D包围盒对应的图像块；其中锚点模板的初始值为：对应跟踪目标
Figure FDA00031425260300000423
在最近帧的轨迹目标的在线模板；
步骤308：将目标
Figure FDA00031425260300000424
从集合
Figure FDA00031425260300000425
中剔除，并将轨迹目标
Figure FDA00031425260300000426
加入
Figure FDA00031425260300000427
步骤309：判断集合
Figure FDA00031425260300000428
是否遍历完全，若是，则转入步骤310；否则，对集合
Figure FDA00031425260300000429
中的下一个轨迹继续执行步骤301；
步骤310：判断当前帧的激活目标集合
Figure FDA00031425260300000430
是否为空集，若是，则直接转入步骤311；否则将
Figure FDA00031425260300000431
中的目标初始化为当前帧新的轨迹集
Figure FDA00031425260300000432
然后转入步骤311；
步骤311：判断当前帧是否为最后一帧，若是，则输出轨迹集合
Figure FDA00031425260300000433
并结束；否则，继续对下一帧执行步骤2。
2.如权利要求1所述的方法，其特征在于，步骤305中，获取循环光流误差中值时，优选的排列方式为：轨迹目标对应的左或右视图排在第1个位置。
CN201811007277.1A 2018-08-31 2018-08-31 一种道路车辆跟踪方法 Active CN109344712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811007277.1A CN109344712B (zh) 2018-08-31 2018-08-31 一种道路车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811007277.1A CN109344712B (zh) 2018-08-31 2018-08-31 一种道路车辆跟踪方法

Publications (2)

Publication Number Publication Date
CN109344712A CN109344712A (zh) 2019-02-15
CN109344712B true CN109344712B (zh) 2021-09-24

Family

ID=65292167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811007277.1A Active CN109344712B (zh) 2018-08-31 2018-08-31 一种道路车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN109344712B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311330B (zh) * 2019-10-11 2023-04-07 杭州云栖智慧视通科技有限公司 一种基于位置预测的视频多目标跟踪方法
CN110889453A (zh) * 2019-11-28 2020-03-17 华南理工大学 目标检测与追踪方法、装置、系统、介质和设备
CN111368938A (zh) * 2020-03-19 2020-07-03 南京因果人工智能研究院有限公司 一种基于mdp的多目标车辆跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982559A (zh) * 2012-11-28 2013-03-20 大唐移动通信设备有限公司 车辆跟踪方法及系统
CN104658006A (zh) * 2013-11-22 2015-05-27 上海宝康电子控制工程有限公司 基于变分光流实现车辆跟踪的方法
CN106846355A (zh) * 2016-12-16 2017-06-13 深圳大学 基于提升直觉模糊树的目标跟踪方法及装置
CN107478858A (zh) * 2017-07-24 2017-12-15 大连理工大学 基于斯托克斯矢量光流的运动速度检测传感器装置及检测方法
CN107563310A (zh) * 2017-08-16 2018-01-09 电子科技大学 一种违章变道检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20130265423A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation Video-based detector and notifier for short-term parking violation enforcement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982559A (zh) * 2012-11-28 2013-03-20 大唐移动通信设备有限公司 车辆跟踪方法及系统
CN104658006A (zh) * 2013-11-22 2015-05-27 上海宝康电子控制工程有限公司 基于变分光流实现车辆跟踪的方法
CN106846355A (zh) * 2016-12-16 2017-06-13 深圳大学 基于提升直觉模糊树的目标跟踪方法及装置
CN107478858A (zh) * 2017-07-24 2017-12-15 大连理工大学 基于斯托克斯矢量光流的运动速度检测传感器装置及检测方法
CN107563310A (zh) * 2017-08-16 2018-01-09 电子科技大学 一种违章变道检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于移动侦测的智能安防监控系统的构建;罗彤;《广播电视信息》;20180615(第06期);第94-98页 *
多帧背景差与双门限结合的运动目标检测方法;王凯等;《小型微型计算机系统》;20170115;第38卷(第01期);第179-183页 *

Also Published As

Publication number Publication date
CN109344712A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
Rangesh et al. No blind spots: Full-surround multi-object tracking for autonomous vehicles using cameras and lidars
Frossard et al. End-to-end learning of multi-sensor 3d tracking by detection
CN109285180B (zh) 一种3d的道路车辆跟踪方法
Han et al. Active object detection with multistep action prediction using deep q-network
Spencer et al. Defeat-net: General monocular depth via simultaneous unsupervised representation learning
CN102741884B (zh) 移动体检测装置及移动体检测方法
CN109344712B (zh) 一种道路车辆跟踪方法
CN109813334B (zh) 基于双目视觉的实时高精度车辆里程计算方法
Manglik et al. Forecasting time-to-collision from monocular video: Feasibility, dataset, and challenges
Kampelmühler et al. Camera-based vehicle velocity estimation from monocular video
CN109934846A (zh) 基于时间和空间网络的深度集成目标跟踪方法
Garg et al. Look no deeper: Recognizing places from opposing viewpoints under varying scene appearance using single-view depth estimation
Huang et al. Siamsta: Spatio-temporal attention based siamese tracker for tracking uavs
CN117425916A (zh) 遮挡感知的多对象跟踪
CN103198491A (zh) 室内的视觉定位方法
CN115457086A (zh) 基于双目视觉和卡尔曼滤波的多目标跟踪算法
Feng et al. Using appearance to predict pedestrian trajectories through disparity-guided attention and convolutional LSTM
CN113379795B (zh) 一种基于条件卷积和光流特征的多目标跟踪与分割方法
Hayakawa et al. Recognition and 3d localization of pedestrian actions from monocular video
Duan Deep learning-based multitarget motion shadow rejection and accurate tracking for sports video
CN116934796A (zh) 基于孪生残差注意力聚合网络的视觉目标跟踪方法
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
Delibaşoğlu PESMOD: small moving object detection benchmark dataset for moving cameras
KR101437228B1 (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
Lu et al. A robust tracking architecture using tracking failure detection in Siamese trackers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant