CN110348363A - 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法 - Google Patents
基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法 Download PDFInfo
- Publication number
- CN110348363A CN110348363A CN201910604229.9A CN201910604229A CN110348363A CN 110348363 A CN110348363 A CN 110348363A CN 201910604229 A CN201910604229 A CN 201910604229A CN 110348363 A CN110348363 A CN 110348363A
- Authority
- CN
- China
- Prior art keywords
- frame image
- frame
- target vehicle
- vehicle
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明在深入研究基于深度学习的目标跟踪算法SiameseFC基础上，针对该算法在相似车辆干扰下容易发生跟踪错误的现象，提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，首先，获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框；其次，获取输入视频序列中第三帧图像上的目标车辆的跟踪框；再次，将第四帧至第t帧图像分为偶数帧与奇数帧图像，获取第四帧至第t帧中偶数帧图像上目标车辆跟踪位置；最后，获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置；本发明算法的中心误差均值与原算法相比降低了26.08个像素，精度提高了24.55％，成功率提高了18.31％。
Description
技术领域
本发明涉及计算机图像处理、智能交通、车辆目标跟踪领域，具体涉及一种基于多帧角度信息融合的消除相似车辆干扰的车辆跟踪算法。
背景技术
车辆跟踪算法是使用计算机视觉、图像处理以及机器学习等相关技术对视频序列进行处理并得到感兴趣目标的特征，从而在连续的视频序列中预测出目标车辆的位置、运动轨迹以及包裹目标的最小矩形尺寸。在车辆跟踪的实际应用过程中，经常会遇到光照变化、遮挡、平面内旋转、相似车辆干扰以及快速运动等各种复杂环境。因此，研究准确度高、鲁棒性强的视频车辆跟踪技术具有重要的实用价值。
现有的车辆跟踪算法一般采用第一帧中的目标模板与当前帧的搜索区域进行相似度计算，并将最大相似度的所在位置确定为跟踪位置，搜索区域内相似车辆的出现会影响目标车辆的正常跟踪。此外，现有的车辆跟踪算法大多没有采用车辆多帧信息之间具有相关性的先验知识，这就导致了现有的车辆跟踪算法的准确度达不到实际应用的要求。
发明内容
本发明的目的是提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，解决现有车辆跟踪算法在相似车辆干扰下会出现跟踪错误的技术问题。
本发明的技术方案是提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，包括以下步骤：
步骤一、获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框；
步骤二、获取输入视频序列中第三帧图像上的目标车辆的跟踪框；
步骤2.1、将第一帧图像的目标车辆模板与第三帧图像搜索区域输入SiameseFC网络，获取第三帧图像的相似度响应热图；
步骤2.2、根据获取的第三帧图像的相似度响应热图判断，是否有相似目标出现，若获取的第三帧图像的相似度响应热图上只有一个亮点，则认为无相似目标出现，将选取该亮点的位置为第三帧图像上目标车辆的跟踪位置；若获取的第三帧图像的相似度响应热图上至少有两个亮点，则认为有相似目标出现，对第三帧图像的相似度响应热图进行预处理，获取第三帧图像上搜索区域内所有车辆的偏转角；
步骤2.3、获取第一帧和第二帧图像上目标车辆的运动偏转角，然后将该偏转角与第三帧图像上搜索区域内所有车辆的偏转角进行比对，选取差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第三帧图像中目标车辆的跟踪位置；
步骤三、将第四帧至第t帧图像分为偶数帧与奇数帧图像，获取第四帧至第t帧中偶数帧图像上目标车辆的跟踪位置；
步骤3.1、利用相似度响应热图，获取无相似目标出现时，第2N帧图像上目标车辆的跟踪位置；或有相似目标出现时，第2N帧图像上搜索区域内所有车辆的偏转角；
步骤3.11、将第一帧图像的目标车辆模板与第2N帧图像搜索区域输入SiameseFC网络，获取第2N帧图像的相似度响应热图；其中N为大于等于2的正整数；
步骤3.12、根据获取的第2N帧图像的相似度响应热图判断，是否有相似目标出现，若获取的第2N帧图像的相似度响应热图上只有一个亮点，则认为无相似目标出现，将选取该亮点的位置为第2N帧图像上目标车辆的跟踪位置；若获取的第2N帧图像的相似度响应热图上至少有两个亮点，则认为有相似目标出现，对第2N帧图像的相似度响应热图进行预处理，获取第2N帧图像上搜索区域内所有车辆的偏转角；
步骤3.2、利用ORB特征角点检测算法，获得第2N帧图像上目标车辆的偏转角；
步骤3.21、提取第2N-1帧与第2N帧图像中搜索区域内的图像角点特征并进行特征匹配操作；其中N为大于等于2的正整数；
步骤3.22、使用ORB特征角点检测算法提取第2N-1帧图像中目标车辆图像的特征点；使用ORB特征角点检测算法提取第2N帧图像中搜索区域内所有车辆图像的特征点；其中N为大于等于2的正整数；
步骤3.23、然后根据特征点分别计算ORB特征描述子；
步骤3.24、选取BF匹配中的K近邻模式对ORB特征描述子进行匹配，获得第2N帧图像上目标车辆的偏转角；
步骤3.3、根据步骤3.1与步骤3.2获得的偏转角，获取第2N帧图像中目标车辆的跟踪位置；
在步骤3.1获取的第2N帧图像上搜索区域内所有车辆的偏转角中选取与步骤3.2获取的第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第2N帧图像中目标车辆的跟踪位置；
步骤四、获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置；
步骤4.1、将第一帧图像的目标车辆模板与第2N+1帧图像搜索区域输入SiameseFC网络，获取第2N+1帧图像的相似度响应热图；其中N为大于等于2的正整数；
步骤4.2、根据获取的第2N+1帧图像的相似度响应热图判断，是否有相似目标出现，若获取的第2N+1帧图像的相似度响应热图上只有一个亮点，则认为无相似目标出现，将选取该亮点的位置为第2N+1帧图像上目标车辆的跟踪位置；若获取的第2N+1帧图像的相似度响应热图上至少有两个亮点，则认为有相似目标出现，对第2N+1帧图像的相似度响应热图进行预处理，获取第2N+1帧图像上搜索区域内所有车辆的偏转角；
步骤4.3、获取当相似目标出现时，当前奇数帧图像上目标车辆的跟踪位置；
在获取的第2N+1帧图像上搜索区域内所有车辆的偏转角中选取与第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第2N+1帧图像中目标车辆的跟踪位置。
进一步地，所述步骤一具体为：
步骤1.1、采集输入视频中所有图像，在第一帧图像上标记目标车辆的跟踪框；
步骤1.2、提取第一帧图像上的目标车辆模板；
步骤1.3、利用第一帧图像上标记的目标车辆跟踪框及第一帧图像的目标车辆模板，采用现有跟踪算法，跟踪第二帧图像，获得第二帧图像上的目标车辆跟踪框。
进一步地，步骤3.24的具体过程为：
步骤3.241、获取匹配后的每对ORB特征点形成的直线与Y轴的夹角；之后将角度值按大小进行排序；
步骤3.242、当角度值的个数为一个，将该值默认为第2N帧图像上目标车辆的偏转角；当角度值个数为偶数，选择位于中间的两个角度值的平均值作为第2N帧图像上目标车辆的偏转角；当角度值的个数为奇数，选择位于中间的三个角度值，对这三个值进行取平均值作为第2N帧图像上目标车辆的偏转角。
进一步地，步骤3.12及步骤4.2中对相似度响应热图进行预处理的过程如下：
a、获取一个阈值T，然后将相似度响应热图中的相似值小于T的值默认为零；T的求解方式如下式所示：
其中，pixel_max为相似度响应热图中热度最大值，pixel_min为相似度响应热图中热度最小值，并都大于零，其中m用于确定阈值T的大小；
b、之后将阈值处理后的相似度响应热图的响应值进行归一化至0到255范围，并将归一化后的图像进行低通滤波处理，对滤波后图像进行OTUS阈值处理，获得二值热图；
c、检测二值热图中亮区域的外轮廓并存储亮区域内所有点的坐标以及对应的相似度响应值；
d、选取所有轮廓中相似度响应值最大点的位置坐标；
e、根据相似度响应值最大点与响应图中心点确定的直线与Y轴构成的夹角，获得搜索区域内所有车辆的偏转角。
进一步地，所述现有跟踪算法为SiameseFC目标跟踪算法。
进一步地，初步采用汉宁窗对相似度响应热图进行操作来减轻相似车辆的干扰，除此之外主要使用多帧信息融合的方法对相似车辆进行排除。
本发明还提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪系统，包括处理器及存储器，其特殊之处在于：所述存储器中存储计算机程序，计算机程序在处理器中运行时，执行基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法。
本发明还提供一种计算机可读存储介质，其特殊之处在于：储存有计算机程序，计算机程序被执行时实现基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法。
本发明与现有技术相比，具有以下技术效果：
1、在相似车辆干扰的情况下，本发明将SiameseFC算法以及ORB特征点匹配等算法进行有效结合，并充分采用车辆多帧信息具有相关性的先验知识，正确的跟踪目标车辆，并且很好的适应了尺度变化的环境。
2、本算法能做到在快速运动、运动模糊、具有尺度变换以及相似车辆干扰等情况下准确跟踪目标车辆。
3、与原算法相比，本发明的跟踪准确度高于相关的对比算法。
附图说明
图1为实施例中偶数帧图像目标车辆位置获取方法流程示意图；
图2a为偶数帧图像中目标车辆位置获取流程图；
图2b为实施例中奇数帧图像目标车辆位置获取方法流程示意图；
图3a为目标驶离摄像头搜索区域；
图3b为搜索区域的相似度响应热图；
图3c为相似度响应热图的响应波峰；
图4a为添加汉宁窗口后的响应热图；
图4b为添加汉宁窗口后的响应波峰；
图5为阈值处理后的响应热图；
图6为二值热图；
图7为添加矩形框后的相似度热图；
图8a为偶数帧图像A-SiameseFC算法原理示意图；
图8b为奇数帧图像A-SiameseFC算法原理示意图；
图9a为实施例中目标车辆驶离固定摄像头的跟踪视频序列1第1帧的跟踪图；
图9b为实施例中目标车辆驶离固定摄像头的跟踪视频序列1第16帧的跟踪图；
图9c为实施例中目标车辆驶离固定摄像头的跟踪视频序列1第24帧的跟踪图；
图9d为实施例中目标车辆驶离固定摄像头的跟踪视频序列1第29帧的跟踪图；
图10a为实施例中目标车辆驶离固定摄像头的跟踪视频序列2第2帧的跟踪图；
图10b为实施例中目标车辆驶离固定摄像头的跟踪视频序列2第13帧的跟踪图；
图10c为实施例中目标车辆驶离固定摄像头的跟踪视频序列2第35帧的跟踪图；
图10d为实施例中目标车辆驶离固定摄像头的跟踪视频序列2第44帧的跟踪图；
图11a为实施例中目标车辆驶向固定摄像头的跟踪视频序列3第3帧的跟踪图；
图11b为实施例中目标车辆驶向固定摄像头的跟踪视频序列3第23帧的跟踪图；
图11c为实施例中目标车辆驶向固定摄像头的跟踪视频序列3第41帧的跟踪图；
图11d为实施例中目标车辆驶向固定摄像头的跟踪视频序列3第53帧的跟踪图；
图12a为实施例中目标车辆驶向固定摄像头的跟踪视频序列4第1帧的跟踪图；
图12b为实施例中目标车辆驶向固定摄像头的跟踪视频序列4第12帧的跟踪图；
图12c为实施例中目标车辆驶向固定摄像头的跟踪视频序列4第23帧的跟踪图；
图12d为实施例中目标车辆驶向固定摄像头的跟踪视频序列4第27帧的跟踪图；
图13a为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列5第6帧的跟踪图；
图13b为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列5第12帧的跟踪图；
图13c为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列5第19帧的跟踪图；
图13d为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列5第29帧的跟踪图；
图14a为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列6第1帧的跟踪图；
图14b为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列6第8帧的跟踪图；
图14c为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列6第18帧的跟踪图；
图14d为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列6第23帧的跟踪图；
图15a为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列7第4帧的跟踪图；
图15b为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列7第23帧的跟踪图；
图15c为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列7第26帧的跟踪图；
图15d为实施例中目标车辆被后边的车辆光线照射，由远到近驶向摄像头的跟踪视频序列7第34帧的跟踪图；
图16为实施例中三种跟踪算法的精度曲线对比图；
图17为实施例中三种跟踪算法的成功率曲线。
具体实施方式
以下结合附图及具体实施例对本发明做进一步地描述。
本实施例基于多帧角度信息融合的消除相似车辆干扰的车辆跟踪算法通过以下步骤实现：
步骤一、获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框；
步骤1.1、采集输入视频中所有图像，在第一帧图像上标记目标车辆的跟踪框；
步骤1.2、提取第一帧图像上的目标车辆模板；
步骤1.3、利用第一帧图像上标记的目标车辆跟踪框及第一帧图像的目标车辆模板，采用SiameseFC目标跟踪算法，跟踪第二帧图像，获得第二帧图像上的目标车辆跟踪框；其他实施例中，也可以采用其他的现有跟踪算法，跟踪第二帧图像。
步骤二、获取输入视频序列中第三帧图像上的目标车辆的跟踪框；
步骤2.1、将第一帧图像的目标车辆模板与第三帧图像搜索区域输入SiameseFC网络，获取第三帧图像的相似度响应热图；
步骤2.2、根据获取的第三帧图像的相似度响应热图判断，是否有相似目标出现，若无，选取相似度响应热图亮度值最大的位置为目标车辆的跟踪位置；否则，对第三帧图像的相似度响应热图进行预处理，获取第三帧图像上搜索区域内所有车辆的偏转角；
步骤2.3、如果第三帧相似度响应热图中有多个相似目标出现，通过获取第一帧和第二帧图像上目标车辆的运动偏转角，然后将第三帧目标车辆的候选车辆的偏转角进行比对，选取差值绝对值最小的偏转角，排除相似车辆进而获取第三帧的目标车辆位置。
从第四帧图像开始依次完成第五帧图像、第六帧图像……第t帧图像上目标车辆跟踪位置的确认，其中t为视频序列总图像帧数；本实施例将第四帧至第t帧图像分为偶数帧与奇数帧图像，从图1可以看出，偶数帧图像上目标车辆跟踪位置通过以下方法确认；
步骤三、获取第四帧至第t帧中偶数帧图像上目标车辆跟踪位置；
步骤3.1、利用相似度响应热图，获取无相似目标出现时，第2N帧图像上目标车辆的跟踪位置；或有相似目标出现时，第2N帧图像上搜索区域内所有车辆的偏转角；
步骤3.11、将第一帧图像的目标车辆模板与第2N帧图像搜索区域输入SiameseFC网络，获取第2N帧图像的相似度响应热图；其中N为大于等于2的正整数；
步骤3.12、根据获取的第2N帧图像的相似度响应热图判断，是否有相似目标出现，若获取的第2N帧图像的相似度响应热图上只有一个亮点，则认为无相似目标出现，将选取该亮点的位置为第2N帧图像上目标车辆的跟踪位置；若获取的第2N帧图像的相似度响应热图上至少有两个亮点，则认为有相似目标出现，对第2N帧图像的相似度响应热图进行预处理，获取第2N帧图像上搜索区域内所有车辆的偏转角θ、α2、α3……αn；其中n为相似目标的数量。本实施例以具有一个相似目标为例，进行说明。
对相似度响应热图进行预处理的过程如下：
a、获取一个阈值T，然后将相似度响应热图中的相似值小于T的值默认为零；T的求解方式如下式所示：
其中，pixel_max为相似度响应热图中热度最大值，pixel_min为相似度响应热图中热度最小值，并都大于零，m用于确定阈值T的大小。m值太大就会完全消除相似车辆的响应区域甚至消除跟踪车辆的响应区域，太小就会导致相似车辆和跟踪车辆连在一起的响应区域无法分开，因此多次实验后本实施例将m设定为4，从而为进一步获取精确的跟踪坐标提供了一定的基础，处理后的相似度响应热图如图5所示。由图5可见，除了目标车辆和相似车辆的亮区域外，其他相似度较低的物体的响应区域都被消除了。本实施例选取一个相似目标。该方法也适用于多个相似目标的场景。
b、之后将阈值处理后的相似度响应热图的响应值进行归一化至0到255范围，并将归一化后的图像进行低通滤波处理从而使图像变得平滑，滤波器大小为1×1，为方便后边的轮廓查找需要对滤波后图像进行OTUS阈值处理，获得二值热图，滤波阈值处理后的图像如图6所示；
c、为了获取第2N帧图像上目标车辆和相似车辆的位置，需要检测二值热图中的亮区域的外轮廓并存储亮区域内所有点的坐标，以及对应的相似度响应值，经过轮廓提取操作后，就可以得到中间区域和右下角亮区域的点集，然后寻找包裹点集的最小矩形并添加在相似度响应热图，其结果如图7所示。
d、选取所有轮廓中相似度响应值最大点的位置P1与P2，如果有多个相似目标出现，则认为有多个相似度最大点对应的位置出现；
e、获取搜索区域图像中心位置和P1所形成的向量与Y轴构成的方向夹角ɑ2和搜索区域图像中心位置和P2所形成的向量与纵轴构成的方向夹角θ，如图8a所示。
步骤3.2、利用第2N-1帧图像及第2N帧图像中搜索区域的ORB特征角点，获取第2N帧图像上目标车辆的偏转角；结合图2a对步骤3.2详细说明：
步骤3.21、提取第2N-1帧与第2N帧图像中搜索区域内的图像角点特征并进行特征匹配操作；其中N为大于等于2的正整数；
步骤3.22、使用ORB特征角点检测算法提取第2N-1帧图像中目标车辆图像的特征点；使用ORB特征角点检测算法提取第2N帧图像中搜索区域内所有车辆图像的特征点；其中N为大于等于2的正整数；
步骤3.23、然后根据特征点分别计算ORB特征描述子；
步骤3.24、选取BF匹配中的K近邻模式对ORB特征描述子进行匹配，获得第2N帧图像上目标车辆的偏转角α1；
本实施例，通过图1中的角度计算模块实现角度计算，具体过程如下：
步骤3.241、以图像左上角的像素点为坐标原点建立坐标系，在通过ORB特征点提取和匹配后，获得了目标车辆的特征点位置信息，为每对特征点的坐标进行求差值操作，通过X坐标的变化值和Y坐标的变化的反正切值求出特征点对所形成的向量与Y轴构成的夹角，之后将角度值按大小进行排序；
步骤3.242、获得的ORB特征点对的角度值的个数是不确定的，经多次试验发现中间的角度值大小比较接近标记文件中的偏转角，越偏离中间的角度值与标记文件中偏转角的差距越大。通过这个特性，当角度值的个数只有一个时，将该值默认为偏转角。当角度值个数是偶数时，选择中间两个角度值的平均值作为偏转角。当角度值的个数是奇数时，选择中间三个角度值，对这三个值进行取平均值从而确定出最佳的偏转角。
步骤3.3、根据步骤3.1与步骤3.2获得的偏转角，获取第2N帧图像中目标车辆的跟踪位置；
在步骤3.1获取的第2N帧图像上搜索区域内所有车辆的偏转角θ、α2中选取与步骤3.2获取的第2N帧图像上目标车辆的偏转角α1差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第2N帧图像中目标车辆的跟踪位置。
步骤四、获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置；结合图2b进行详细说明：
通过第2N帧图像上目标车辆的跟踪位置可以获取到第2N+1帧中目标的搜索区域，将第一帧图像的目标车辆模板与第2N+1帧图像搜索区域输入SiameseFC网络，获取272×272大小的第2N+1帧图像的相似度响应热图；其中N为大于等于2的正整数；第2N+1帧的搜索区域的长度和宽度分别为第2N+1帧跟踪坐标框长度和宽度的1.5倍，中心坐标是跟踪框中心坐标，其搜索区域如图3a，图3b是相似度响应热图，图3c是相似度响应热图的波峰表示。本实施例中响应图有两个亮区域，中间的亮区域代表跟踪车辆，右下角亮区域是驶入搜索区域的相似车辆所产生的。
采用汉宁窗作用在相似度响应热图上来消弱相似车辆的影响，二维汉宁窗图像的尺寸大小为272×272，图4a是添加汉宁窗口后的二维相似度响应热图，图4b是对应相似度响应热图的波峰表示。由图4a可见中间亮区域整体变亮，由图4b可见中间部分波峰的高度明显增加，说明汉宁窗口在一定程度上增加了目标车辆的响应值。但是右下角最亮点的相似值与中心区域的最亮点的相似值相比依然大一些，在大部分情况下还是不能排除相似车辆的影响。
为了进一步解决这个问题，需要利用车辆运动过程中两帧内运动方向不会发生剧烈变化的先验知识，也就是从第2N-1帧到第2N帧目标车辆的运动方向角和第2N帧到第2N+1帧车辆运动方向角的差值不会很大。
为了获得第2N帧到第2N+1帧目标车辆的运动方向角，以及第2N+1帧相似车辆的运动方向角，就需要对相似度响应热图进行预处理。
在对相似度响应热图进行预处理之前，首先根据获取的第2N+1帧相似度响应热图判断，是否有相似目标出现，若无，选取相似度响应热图亮度值最大的位置为目标车辆的跟踪位置；否则，对第2N+1帧图像的相似度响应热图进行预处理，获取第2N+1帧图像上搜索区域内所有车辆的偏转角；
对相似度响应热图进行预处理的过程如下：
a、获取一个阈值T，然后将相似度响应热图中的相似值小于T的值默认为零；T的求解方式如下式所示：
其中，pixel_max为相似度响应热图中热度最大值，pixel_min为相似度响应热图中热度最小值，并都大于零，m用于确定阈值T的大小。m值太大就会完全消除相似车辆的响应区域甚至消除跟踪车辆的响应区域，太小就会导致相似车辆和跟踪车辆连在一起的响应区域无法分开，因此多次实验后本实施例将m设定为4，从而为进一步获取精确的跟踪坐标提供了一定的基础，处理后的相似度响应热图如图5所示。由图5可见，除了目标车辆和相似车辆的亮区域外，其他相似度较低的物体的响应区域都被消除了。
b、之后将阈值处理后的相似度响应热图的响应值进行归一化至0到255范围，并将归一化后的图像进行低通滤波处理，从而使图像变得平滑，滤波器大小为1×1，为方便后边的轮廓查找需要对滤波后图像进行OTUS阈值处理，获得二值热图，滤波阈值处理后的图像如图6所示；
c、为了获取第2N+1帧目标车辆和相似车辆的位置，需要检测二值热图中亮区域的外轮廓并存储亮区域内所有点的坐标，以及对应的相似度响应值，经过轮廓提取操作后，就可以得到中间亮区域和右下角亮区域的点集，然后寻找包裹点集的最小矩形并添加在相似度响应热图，其结果如图7所示。
d、选取所有轮廓中相似度响应值最大点的位置P1与P2，如果有多个相似目标出现，则认为有多个相似度最大点对应的位置出现；
e、获取搜索区域图像中心位置和P1所形成的向量与Y轴构成的方向夹角ɑ2和搜索区域图像中心位置和P2所形成的向量与纵轴构成的方向夹角θ，如图8b所示。
最后，根据第2N+1帧图像上搜索区域内所有车辆的偏转角，获取当相似目标出现时，当前奇数帧图像上目标车辆的跟踪位置；
在获取的第2N+1帧图像上搜索区域内所有车辆的偏转角θ和ɑ2中，选取与第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第2N+1帧图像中目标车辆的跟踪位置，从而排除了相似车辆的影响。
本实施例还提供一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪系统，包括处理器及存储器，存储器中存储计算机程序，计算机程序在处理器中运行时，执行基于多帧角度信息融合的消除相似车辆干扰的车辆跟踪算法的步骤。
本实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现基于多帧角度信息融合的消除相似车辆干扰的车辆跟踪算法的步骤。在一些可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行上述基于多帧角度信息融合的消除相似车辆干扰的车辆跟踪算法的步骤。
用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
通过以下实验，对上述算法进行测试。
本实施例跟踪算法的软硬件配置为Intel(R)Core(TM)i7-8700K CPU@3.7GHz，16.00GB内存，图形显卡为NVIDIA GeForce GTX 1080，Windows1064位的操作系统，以Python3.6为开发工具，使用CUDA8.0和cudnn6.0进行加速，在TensorFlow深度学习框架下对算法进行测试。
定性分析
为验证本发明算法的有效性，从公开数据集DETRAC中选取4组视频，由于DETRAC中具有模糊属性的场景过少，所以使用高斯模糊的方法对数据集中3组视频序列进行雾化处理，总计7组具有挑战性的序列进行测试。这些视频序列包含的挑战因素如表4所示。
表4 视频序列属性介绍
下面对7个序列进行定性分析，对SiameseFC算法、MDNet算法以及本发明A-SiameseFC算法进行评估，并选出一些具有代表性的帧进行跟踪效果比对。
图9a、图9b、图9c、图9d、图10a、图10b、图10c及图10d都是目标车辆驶离固定摄像头的跟踪视频序列。图9c为目标车辆驶离固定摄像头的跟踪视频序列1的第24帧，从图中可见当相似的黑色车辆靠近目标黑色车辆时，由于外形以及颜色的相似干扰导致MDNet算法跟踪失败。图9d为目标车辆驶离固定摄像头的跟踪视频序列1的第29帧，从图中可见由于相似的黑色轿车进入SiamesFC的搜索区域，导致SiameseFC算法跟踪失败。只有本发明A-SiameseFC算法跟踪准确。图10c为目标车辆驶离固定摄像头的跟踪视频序列2的第35帧，从图中可以看出，SiameseFC算法发生了跟踪错误的情况，而本发明A-SiameseFC算法和MDNet算法跟踪正确，但是MDNet跟踪框不仅框住了目标车辆还框住了背景区域，没有很好的适应尺度变化的情况。
图11a、图11b、图11c、图11d、图12a、图12b、图12c及图12d是目标车辆驶向固定摄像头的跟踪视频序列，从图11a至图11d中可以看到目标车辆左后方的相似车辆在不断靠近目标车辆，随着相似车辆的不断靠近从而导致与目标模板的相似度不断提升，在图11c中第41帧的时候，SiameseFC算法跟踪错误。从图12b至图12d中发现，在第12帧中目标车辆被交通标志牌所遮挡引起了目标车辆与模板的相似度降低从而使SiameseFC跟踪目标失败，虽然本发明A-SiameseFC算法的跟踪框在目标车上，但是跟踪框与标记框所占比重较低，这是由于遮挡噪声进入了目标搜索框所导致跟踪不准确。
上述三组视频都是经过高斯雾化过的图像，从而使视频序列更加具有挑战性。图13a、图13b、图13c、图13d、图14a、图14b、图14c和图14d中的目标车辆都是被后边的车辆光线照射，同时车辆是由远到近驶向摄像头的，所以一开始都看不出车辆颜色，当目标车辆靠近摄像头的时候，后方车辆的光照影响逐渐降低，三种算法都能正确跟踪车辆。由图15c可见，在第26帧中，SiameseFC算法跟踪错误。由图15d可见，第34帧中，MDNet算法跟踪框发生漂移。只有本发明A-SiameseFC算法能正确跟踪目标车辆。
从上述七组视频序列的跟踪效果来看，本发明A-SiameseFC算法能做到在快速运动、运动模糊、具有尺度变换以及相似车辆干扰等情况下准确跟踪目标车辆。
定量分析
使用实验选取的七组具有挑战性的视频序列对MDNet、SiameseFC以及本发明A-SiameseFC跟踪算法进行定量比较，每次实验运行10次，去除最大值和最小值，将余下的数值平均值作为实验结果，对比的标准为平均中心误差、运行速度、基于中心误差的精度图以及成功率图。平均中心误差越小、帧数越高、以及在成功率图和基于中心误差的精度图中跟踪算法的曲线越高说明跟踪算法的性能越好。表5描述了SiameseFC、MDNet和A-SiameseFC算法的平均中心误差(CLE)，表6描述了SiameseFC、MDNet以及A-SiameseFC算法的帧率(FPS)。
表5 平均中心位置误差(单位：像素)
表6 帧率(FPS)
对表5进行分析可知，本发明A-SiameseFC在七组视频序列上的平均中心误差均值与MDNet相比从12.69像素降低到了5.54像素，与SiameseFC相比降低了25.39个像素。为进一步地对比三种算法的鲁棒性，以下是用OPE评估标准得到三种算法的精度曲线图和成率曲线图。
由图16可见，本发明A-SiameseFC算法在不同阈值下的精度都比其他两个算法高。在精度曲线内，中心误差像素取20像素的时候，三种算法的精度分别为：MDNet：80.34％；SiameseFC：72.35％；本发明算法：96.9％。本发明算法与MDNet相比，精度提高了16.56％。与SiameseFC相比提高了24.55％。
图17为OPE评价的成功率曲线图。图x轴是不同重叠阈值，y轴是对应的成功率。当重叠阈值取0.5的时候，算法的成功率分别为：SiameseFC：67.08％；MDNet：61.38％；本发明A-SiameseFC：85.39％。本发明算法与SiameseFC相比较，成功率提高了18.31％。在一定程度上增强了相似目标干扰下算法的鲁棒性与准确性。
Claims (8)
1.基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，其特征在于，包括以下步骤：
步骤一、获取输入视频序列中第一帧与第二帧图像上的目标车辆的跟踪框；
步骤二、获取输入视频序列中第三帧图像上的目标车辆的跟踪框；
步骤2.1、将第一帧图像的目标车辆模板与第三帧图像搜索区域输入SiameseFC网络，获取第三帧图像的相似度响应热图；
步骤2.2、根据获取的第三帧相似度响应热图判断，是否有相似目标出现，若获取的第三帧相似度响应热图上只有一个亮点，则认为无相似目标出现，将选取该亮点的位置为第三帧图像上目标车辆的跟踪位置；若获取的第三帧相似度响应热图上至少有两个亮点，则认为有相似目标出现，对第三帧图像的相似度响应热图进行预处理，获取第三帧图像上搜索区域内所有车辆的偏转角；
步骤2.3、获取第一帧和第二帧图像上目标车辆的运动偏转角，然后将该偏转角与第三帧图像上搜索区域内所有车辆的偏转角进行比对，选取差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第三帧图像中目标车辆的跟踪位置；
步骤三、将第四帧至第t帧图像分为偶数帧与奇数帧图像，获取第四帧至第t帧中偶数帧图像上目标车辆跟踪位置；
步骤3.1、利用相似度响应热图，获取无相似目标出现时，第2N帧图像上目标车辆的跟踪位置；或有相似目标出现时，第2N帧图像上搜索区域内所有车辆的偏转角；
步骤3.11、将第一帧图像的目标车辆模板与第2N帧图像搜索区域输入SiameseFC网络，获取第2N帧图像的相似度响应热图；其中N为大于等于2的正整数；
步骤3.12、根据获取的第2N帧图像的相似度响应热图判断，是否有相似目标出现，若获取的第2N帧图像的相似度响应热图上只有一个亮点，则认为无相似目标出现，将选取该亮点的位置为第2N帧图像上目标车辆的跟踪位置；若获取的第2N帧图像的相似度响应热图上至少有两个亮点，则认为有相似目标出现，对第2N帧图像的相似度响应热图进行预处理，获取第2N帧图像上搜索区域内所有车辆的偏转角；
步骤3.2、利用ORB特征角点检测算法，获得第2N帧图像上目标车辆的偏转角；
步骤3.21、提取第2N-1帧与第2N帧图像中搜索区域内的图像角点特征并进行特征匹配操作；其中N为大于等于2的正整数；
步骤3.22、使用ORB特征角点检测算法提取第2N-1帧图像中目标车辆图像的特征点；使用ORB特征角点检测算法提取第2N帧图像中搜索区域内所有车辆图像的特征点；其中N为大于等于2的正整数；
步骤3.23、然后根据特征点分别计算ORB特征描述子；
步骤3.24、选取BF匹配中的K近邻模式对ORB特征描述子进行匹配，获得第2N帧图像上目标车辆的偏转角；
步骤3.3、根据步骤3.1与步骤3.2获得的偏转角，获取第2N帧图像中目标车辆的跟踪位置；
在步骤3.1获取的第2N帧图像上搜索区域内所有车辆的偏转角中选取与步骤3.2获取的第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第2N帧图像中目标车辆的跟踪位置；
步骤四、获取第四帧至第t帧中奇数帧图像上目标车辆的跟踪位置；
步骤4.1、将第一帧图像的目标车辆模板与第2N+1帧图像搜索区域输入SiameseFC网络，获取第2N+1帧图像的相似度响应热图；其中N为大于等于2的正整数；
步骤4.2、根据获取的第2N+1帧图像的相似度响应热图判断，是否有相似目标出现，若获取的第2N+1帧图像的相似度响应热图上只有一个亮点，则认为无相似目标出现，将选取该亮点的位置为第2N+1帧图像上目标车辆的跟踪位置；若获取的第2N+1帧图像的相似度响应热图上至少有两个亮点，则认为有相似目标出现，对第2N+1帧图像的相似度响应热图进行预处理，获取第2N+1帧图像上搜索区域内所有车辆的偏转角；
步骤4.3、获取当相似目标出现时，当前奇数帧图像上目标车辆的跟踪位置；
在获取的第2N+1帧图像上搜索区域内所有车辆的偏转角中选取与第2N帧图像上目标车辆的偏转角差值绝对值最小的偏转角，将该偏转角在相似度响应热图中对应的响应点位置作为第2N+1帧图像中目标车辆的跟踪位置。
2.根据权利要求1所述的基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，其特征在于，所述步骤一具体为：
步骤1.1、采集输入视频中所有图像，在第一帧图像上标记目标车辆的跟踪框；
步骤1.2、提取第一帧图像上的目标车辆模板；
步骤1.3、利用第一帧图像上标记的目标车辆跟踪框及第一帧图像的目标车辆模板，采用现有跟踪算法，跟踪第二帧图像，获得第二帧图像上的目标车辆跟踪框。
3.根据权利要求2所述的基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，其特征在于，步骤3.24的具体过程为：
步骤3.241、获取匹配后的每对ORB特征点形成的直线与Y轴的夹角；之后将角度值按大小进行排序；
步骤3.242、当角度值的个数为一个，将该值默认为第2N帧图像上目标车辆的偏转角；当角度值个数为偶数，选择位于中间的两个角度值的平均值作为第2N帧图像上目标车辆的偏转角；当角度值的个数为奇数，选择位于中间的三个角度值，对这三个值进行取平均值作为第2N帧图像上目标车辆的偏转角。
4.根据权利要求3所述的基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，其特征在于，步骤3.12及步骤4.2中对相似度响应热图进行预处理的过程如下：
a、获取一个阈值T，然后将相似度响应热图中的相似值小于T的值默认为零；T的求解方式如下式所示：
其中，pixel_max为相似度响应热图中热度最大值，pixel_min为相似度响应热图中热度最小值，并都大于零，其中m用于确定阈值T的大小；
b、之后将阈值处理后的相似度响应热图的响应值进行归一化至0到255范围，并将归一化后的图像进行低通滤波处理，对滤波后图像进行OTUS阈值处理，获得二值热图；
c、检测二值热图中亮区域的外轮廓并存储亮区域内所有点的坐标以及对应的相似度响应值；
d、选取所有轮廓中相似度响应值最大点的位置坐标；
e、根据相似度响应值最大点与响应图中心点确定的直线与Y轴构成的夹角，获得搜索区域内所有车辆的偏转角。
5.根据权利要求4所述的基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，其特征在于：所述现有跟踪算法为SiameseFC目标跟踪算法。
6.根据权利要求5所述的基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法，其特征在于：采用汉宁窗对相似度响应热图进行操作。
7.一种基于多帧角度信息融合消除相似车辆干扰的车辆跟踪系统，包括处理器及存储器，其特征在于：所述存储器中存储计算机程序，计算机程序在处理器中运行时，执行权利要求1至6任一所述的方法。
8.一种计算机可读存储介质，其特征在于：储存有计算机程序，计算机程序被执行时实现权利要求1至6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910604229.9A CN110348363B (zh) | 2019-07-05 | 2019-07-05 | 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910604229.9A CN110348363B (zh) | 2019-07-05 | 2019-07-05 | 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110348363A true CN110348363A (zh) | 2019-10-18 |
| CN110348363B CN110348363B (zh) | 2021-06-15 |
Family
ID=68178418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910604229.9A Active CN110348363B (zh) | 2019-07-05 | 2019-07-05 | 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110348363B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956643A (zh) * | 2019-12-04 | 2020-04-03 | 齐鲁工业大学 | 一种基于MDNet的改进车辆跟踪方法及系统 |
| CN111914627A (zh) * | 2020-06-18 | 2020-11-10 | 广州杰赛科技股份有限公司 | 一种车辆识别与追踪方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090153549A1 (en) * | 2007-12-18 | 2009-06-18 | Navteq North America, Llc | System and method for producing multi-angle views of an object-of-interest from images in an image dataset |
| CN102815259A (zh) * | 2012-08-07 | 2012-12-12 | 北京经纬恒润科技有限公司 | 一种前照灯的调节方法、装置及驾驶员辅助系统 |
| CN105809167A (zh) * | 2015-03-13 | 2016-07-27 | 西安邮电大学 | 一种用于分割监控视频中存在粘连车辆的方法 |
-
2019
- 2019-07-05 CN CN201910604229.9A patent/CN110348363B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090153549A1 (en) * | 2007-12-18 | 2009-06-18 | Navteq North America, Llc | System and method for producing multi-angle views of an object-of-interest from images in an image dataset |
| US20130318078A1 (en) * | 2007-12-18 | 2013-11-28 | Navteq B.V. | System and Method for Producing Multi-Angle Views of an Object-of-Interest from Images in an Image Dataset |
| CN102815259A (zh) * | 2012-08-07 | 2012-12-12 | 北京经纬恒润科技有限公司 | 一种前照灯的调节方法、装置及驾驶员辅助系统 |
| CN105809167A (zh) * | 2015-03-13 | 2016-07-27 | 西安邮电大学 | 一种用于分割监控视频中存在粘连车辆的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956643A (zh) * | 2019-12-04 | 2020-04-03 | 齐鲁工业大学 | 一种基于MDNet的改进车辆跟踪方法及系统 |
| CN111914627A (zh) * | 2020-06-18 | 2020-11-10 | 广州杰赛科技股份有限公司 | 一种车辆识别与追踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110348363B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427905B (zh) | 行人跟踪方法、装置以及终端 | |
| Fernandez-Sanjurjo et al. | Real-time visual detection and tracking system for traffic monitoring | |
| Calvet et al. | Detection and accurate localization of circular fiducials under highly challenging conditions | |
| EP2265023B1 (en) | Subject tracking device and subject tracking method | |
| CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
| Zhang et al. | Visual tracking using Siamese convolutional neural network with region proposal and domain specific updating | |
| CN103136519A (zh) | 一种基于虹膜识别的视线跟踪定位方法 | |
| CN110136069A (zh) | 文本图像矫正方法、装置与电子设备 | |
| CN110570456A (zh) | 基于yolo目标检测算法和光流追踪算法融合的机动车轨迹提取方法 | |
| US9323989B2 (en) | Tracking device | |
| CN110348363A (zh) | 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪算法 | |
| Zheng et al. | A rapid webcam-based eye tracking method for human computer interaction | |
| Zhang et al. | Exploiting Offset-guided Network for Pose Estimation and Tracking. | |
| CN103761747A (zh) | 一种基于加权分布场的目标跟踪方法 | |
| Zhang et al. | Bidirectional multiple object tracking based on trajectory criteria in satellite videos | |
| CN102013007B (zh) | 用于检测面部的装置和方法 | |
| CN104376323A (zh) | 一种确定目标距离的方法及装置 | |
| Vyacheslavovich et al. | Advanced Hough-based method for on-device document localization | |
| US20160203612A1 (en) | Method and apparatus for generating superpixels for multi-view images | |
| CN109523573A (zh) | 目标对象的跟踪方法和装置 | |
| US20060126940A1 (en) | Apparatus and method for detecting eye position | |
| Li et al. | Adaptive weighted CNN features integration for correlation filter tracking | |
| US10140509B2 (en) | Information processing for detection and distance calculation of a specific object in captured images | |
| Zayene et al. | Data, protocol and algorithms for performance evaluation of text detection in arabic news video | |
| KR101683194B1 (ko) | 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |