CN113673395A - 一种车辆轨迹的处理方法及装置 - Google Patents
一种车辆轨迹的处理方法及装置 Download PDFInfo
- Publication number
- CN113673395A CN113673395A CN202110913282.4A CN202110913282A CN113673395A CN 113673395 A CN113673395 A CN 113673395A CN 202110913282 A CN202110913282 A CN 202110913282A CN 113673395 A CN113673395 A CN 113673395A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- detection
- motion
- matching
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 191
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 description 7
- 230000008034 disappearance Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种车辆轨迹的处理方法及装置，用于实现车辆运动轨迹的稳定检测。本申请实施例方法包括：获取包含目标车辆的检测视频；将所述检测视频通过车辆检测模型输出检测车辆框，所述车辆检测模型用于根据所述检测视频的所有视频帧上的所述目标车辆的位置信息生成检测车辆框；将所述检测视频通过第一跟踪模块进行所述目标车辆的运动状态预测，所述第一跟踪模块用于预测车辆运动轨迹的线性变化；根据所述运动状态预测的结果与所述检测车辆框在并集上的交集进行匹配并得到第一匹配值；根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果。
Description
技术领域
本申请实施例涉及安防监控领域，尤其涉及一种车辆轨迹的处理方法及装置。
背景技术
城市的交通管理是城市规划建设的重要环节，现如今，随着市场的汽车保有量的上升，城市交通管理的压力也随之增大，相对于汽车的衍生行业在用户交通需求的压力下得到飞速发展，例如新能源电车充电行业、停车运营行业等。
就停车运营这一块来说，目前已经衍生出智慧停车系统，该系统是通过利用高位视频来作为采集设备，对视频监控的采集区域内的进行车辆跟踪，得到车辆的行驶轨迹，再根据该行驶轨迹来对车辆的行为状态进行分析。针对于上述所提到的车辆跟踪是基于检测的跟踪技术，在连续的视频帧中用目标检测算法得到目标的位置信息，并对该位置信息进行数据关联。
由于现有的跟踪技术缺乏专一性，在实施时若是遇到目标遮挡、目标交叉、出现新目标等情况，会使车辆运动轨迹的检测结果受到影响，从而导致车辆运动轨迹检测不稳定。
发明内容
本申请实施例提供了一种车辆轨迹的处理方法及装置，用于实现稳定的车辆运动轨迹检测。
本申请在第一方面提供了一种车辆轨迹的处理方法，包括：
获取包含目标车辆的检测视频；
将所述检测视频通过车辆检测模型输出检测车辆框，所述车辆检测模型用于根据所述检测视频的所有视频帧上的所述目标车辆的位置信息生成检测车辆框；
将所述检测视频通过第一跟踪模块进行所述目标车辆的运动状态预测，所述第一跟踪模块用于预测车辆运动轨迹的线性变化；
根据所述运动状态预测的结果与所述检测车辆框在并集上的交集进行匹配并得到第一匹配值；
根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果。
可选的，所述根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果，包括：
判断所述第一匹配值是否大于第一预设值，若是，则确定所述检测车辆框与所述运动状态预测的结果匹配成功，并对所述目标车辆的运动轨迹进行更新；
若否，则从所述检测视频中获取所述目标车辆的外观信息。
可选的，所述从所述检测视频中获取所述目标车辆的外观信息之后，所述处理方法还包括：
将所述外观信息通过车辆重识别模型提取所述目标车辆的128维特征向量，所述车辆重识别模型用于对车辆进行外观特征提取；
根据所述运动状态预测的结果和所述128维特征向量生成代价矩阵；
将所述代价矩阵通过第一分配模块输出第二匹配结果，所述第一分配模块用于确定所述运动状态预测的结果与所述检测车辆框的运动匹配数据；
根据所述第二匹配结果对所述目标车辆的运动轨迹进行处理。
可选的，所述根据所述第二匹配结果对所述目标车辆的运动轨迹进行处理，包括：
根据所述第二匹配结果确定所述运动状态预测的结果、所述检测车辆框之间的运动匹配数据与运动未匹配数据；
根据所述运动匹配数据对所述目标车辆的运动轨迹进行更新；
根据所述运动未匹配数据二次生成所述目标车辆的运动轨迹，并将二次生成的运动轨迹标记为不确定状态；
判断所述检测车辆框之后的连续预设数量视频帧的检测车辆框是否与对应运动状态预测的结果匹配，若是，则将所述不确定状态调整为确定状态，并将所述二次生成的运动轨迹添加到更新后的运动轨迹中；
若否，则删除所述二次生成的运动轨迹。
可选的，所述将所述检测视频通过车辆检测模型输出检测车辆框，包括：
根据所述检测视频获取预设时间内的连续视频帧；
将所述连续视频帧通过车辆检测模型输出检测车辆框。
可选的，所述获取包含目标车辆的检测视频之前，所述处理方法还包括：
获取包含真实场景下车辆的训练模型图像；
对所述训练模型图像进行加工，形成包含数据标注信息的车辆图像样本集，所述车辆图像样本集为包含真实场景下车辆的图像样本集，所述数据标注信息为标注训练、验证及测试信息；
将带有训练及验证标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型训练，直至所述车辆检测模型与所述车辆重识别模型达到收敛；
将带有测试标注信息的车辆图像样本集分别输入到所述车辆检测模型以及所述车辆重识别模型测试，直至所述车辆检测模型与所述车辆重识别模型测试完成。
可选的，所述形成包含数据标注信息的车辆图像样本集之后，所述将带有训练及验证标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型训练之前，所述处理方法还包括：
将所述车辆图像样本集进行数据清洗，所述数据清洗包括对无效图像数据的处理；
将所述车辆图像样本集进行数据增强，所述数据增强包括对图像的尺寸、亮度、色调、对比度以及饱和度的调整。
本申请在第二方面提供了一种车辆轨迹的处理装置，包括：
第一获取单元，用于获取包含目标车辆的检测视频；
车辆检测单元，用于将所述检测视频通过车辆检测模型输出检测车辆框，所述车辆检测模型用于根据所述检测视频的所有视频帧上的所述目标车辆的位置信息生成检测车辆框；
车辆轨迹预测单元，用于将所述检测视频通过第一跟踪模块进行所述目标车辆的运动状态预测，所述第一跟踪模块用于预测车辆运动轨迹的线性变化；
第一匹配单元，用于根据所述运动状态预测的结果与所述检测车辆框在并集上的交集进行匹配并得到第一匹配值；
第一确定单元，用于根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果。
可选的，所述第一确定单元，包括：
第一判断模块，用于判断所述第一匹配值是否大于第一预设值；
第一执行模块，用于当所述第一判断模块确定所述第一匹配值大于第一预设值时，确定所述检测车辆框与所述运动状态预测的结果匹配成功，并对所述目标车辆的运动轨迹进行更新；
第二执行模块，用于当所述第一判断模块确定所述第一匹配值不大于第一预设值时，则从所述检测视频中获取所述目标车辆的外观信息。
可选的，所述处理装置还包括：
外观特征提取单元，用于将所述外观信息通过车辆重识别模型提取所述目标车辆的128维特征向量，所述车辆重识别模型用于对车辆进行外观特征提取；
矩阵生成单元，用于根据所述运动状态预测的结果和所述128维特征向量生成代价矩阵；
第一输出单元，用于将所述代价矩阵通过第一分配模块输出第二匹配结果，所述第一分配模块用于确定所述运动状态预测的结果与所述检测车辆框的运动匹配数据；
第一处理单元，用于根据所述第二匹配结果对所述目标车辆的运动轨迹进行处理。
可选的，所述第一处理单元，包括：
第二确定模块，用于根据所述第二匹配结果确定所述运动状态预测的结果、所述检测车辆框之间的运动匹配数据与运动未匹配数据；
更新模块，用于根据所述运动匹配数据对所述目标车辆的运动轨迹进行更新；
生成模块，用于根据所述运动未匹配数据二次生成所述目标车辆的运动轨迹，并将二次生成的运动轨迹标记为不确定状态；
第二判断模块，用于判断所述检测车辆框之后的连续预设数量视频帧的检测车辆框是否与对应运动状态预测的结果匹配；
第三执行模块，用于当所述第二判断子模块确定所述检测车辆框之后的连续预设数量视频帧的检测车辆框与对应运动状态预测的结果匹配，则将所述不确定状态调整为确定状态，并将所述二次生成的运动轨迹添加到更新后的运动轨迹中；
第四执行模块，用于当所述第二判断子模块确定所述检测车辆框之后的连续预设数量视频帧的检测车辆框未与对应运动状态预测的结果匹配，则删除所述二次生成的运动轨迹。
可选的，所述车辆检测单元，包括：
第二获取模块，用于根据所述检测视频获取预设时间内的连续视频帧；
第二输出模块，用于将所述连续视频帧通过车辆检测模型输出检测车辆框。
可选的，所述处理装置还包括：
第三获取单元，用于获取包含真实场景下车辆的训练模型图像；
训练数据加工单元，用于对所述训练模型图像进行加工，形成包含数据标注信息的车辆图像样本集，所述车辆图像样本集为包含真实场景下车辆的图像样本集，所述数据标注信息为标注训练、验证及测试信息；
模型训练单元，用于将带有训练及验证标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型训练，直至所述车辆检测模型与所述车辆重识别模型达到收敛；
模型测试单元，用于将带有测试标注信息的车辆图像样本集分别输入到所述车辆检测模型以及所述车辆重识别模型测试，直至所述车辆检测模型与所述车辆重识别模型测试完成。
可选的，所述处理装置还包括：
数据清洗单元，用于将所述车辆图像样本集进行数据清洗，所述数据清洗包括对无效图像数据的处理；
数据增强单元，用于将所述车辆图像样本集进行数据增强，所述数据增强包括对图像的尺寸、亮度、色调、对比度以及饱和度的调整。
本申请在第三方面提供了一种车辆轨迹的处理装置，包括：
处理器、存储器、输入输出单元、总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述处理器具体执行如下操作：
获取包含目标车辆的检测视频；
将所述检测视频通过车辆检测模型输出检测车辆框，所述车辆检测模型用于根据所述检测视频的所有视频帧上的所述目标车辆的位置信息生成检测车辆框；
将所述检测视频通过第一跟踪模块进行所述目标车辆的运动状态预测，所述第一跟踪模块用于预测车辆运动轨迹的线性变化；
根据所述运动状态预测的结果与所述检测车辆框在并集上的交集进行匹配并得到第一匹配值；
根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果。
可选的，所述处理器还用于执行第一方面中的任意可选方案的操作。
从以上技术方案可以看出，本申请实施例具有以下优点：
在本申请实施例中，可以将包含目标车辆的检测视频通过车辆检测模型进行检测，输出车辆检测框，利用第一跟踪模块对该目标车辆的运动状态进行预测，再根据该车辆检测框与运动状态预测之间的联系进行匹配，最后根据匹配的值确定目标车辆的运动轨迹的预测结果。通过检测与预测数据的匹配值的大小来确定目标车辆运动轨迹的检测，减少了因目标遮挡等因素而造成检测结果受影响的情况，从而实现了车辆运动轨迹的稳定检测。
附图说明
图1为本申请实施例中车辆轨迹的处理方法的一种实施例流程示意图；
图2-1及图2-2为本申请实施例中车辆轨迹的处理方法的另一种实施例流程示意图；
图3为本申请实施例中车辆轨迹的处理装置的一种实施例结构示意图；
图4为本申请实施例中车辆轨迹的处理装置的另一种实施例结构示意图；
图5为本申请实施例中车辆轨迹的处理装置的另一种实施例结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的阐述，显然阐述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护范围。
本申请实施例提供了一种车辆轨迹的处理方法及装置，用于实现车辆运动轨迹的稳定检测。
在本实施例中，车辆轨迹的处理方法可在系统实现，可以在服务器实现，也可以在终端实现，具体不做明确限定。为方便描述，本申请实施例使用系统为执行主体举例描述。
请参阅图1，在本申请实施例中，一种车辆轨迹的处理方法的一个实施例包括：
101、系统获取包含目标车辆的检测视频；
在本申请实施例中，系统首先需要根据包含了想要检测的目标车辆的视频来输出检测车辆框，得到该目标车辆的检测运动轨迹信息；然后，再将该视频通过第一跟踪模块来生成目标车辆的预测运动轨迹信息，通过检测运动轨迹信息与预测运动轨迹信息的关联匹配结果来确定目标车辆的运动轨迹的预测结果。因此，系统获取包含目标车辆的检测视频是后续通过该检测视频得到检测与预测运动轨迹数据的前提条件，而获取包含目标车辆的检测视频的渠道通常是采取高位摄像头来拍摄视频。
102、系统将检测视频通过车辆检测模型输出检测车辆框；
在本申请实施例中，系统需要获取到该目标车辆的检测运动轨迹信息，因此需要将已经得到的检测视频输入至车辆检测模型中，以输出该目标车辆的检测车辆框。在此处的车辆检测模型用于根据检测视频的所有视频帧上的目标车辆的位置信息生成检测车辆框。
103、系统将检测视频通过第一跟踪模块进行目标车辆的运动状态预测；
系统在获取目标车辆的预测运动轨迹信息的过程时，可以将检测视频输入至第一跟踪模块来预测车辆运动轨迹的线性变化。而卡尔曼滤波跟踪算法是利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。综上所述，在此处的第一跟踪模块可以选择卡尔曼滤波跟踪模块。
104、系统根据运动状态预测的结果与检测车辆框在并集上的交集进行匹配并得到第一匹配值；
在系统获取到状态预测的结果与检测的结果后，可以进一步地对车辆框进行严格IOU匹配，通过严格IOU匹配到的值即为第一匹配值。由于检测视频中按照预设次数截取的视频帧上的车辆处于静止状态，前后帧的车辆检测框会有较高的IOU，则对于这部分车辆可以直接使用严格IOU匹配，此处的使用严格IOU匹配可以减少特征提取耗时。一般来说，为了能够使得检测精确些，通常会将IOU匹配值的门槛设为0.5，若是匹配到的第一匹配值大于0.5，则确定匹配成功，反之则确定匹配未成功；而在本申请实施例中，为了使系统的检测更为精确，将IOU匹配值设为一个较高的值，例如将IOU匹配值的门槛设为0.9。
在本申请实施例中，卡尔曼滤波器对车辆轨迹进行运动状态预测，预测数据与检测数据之间的马氏距离作为运动信息的关联。检测数据与追踪数据的运动匹配度计算公式如公式(1)：
其中，公式(1)中的dj表示第j个检测结果状态，yi表示轨迹当前帧的预测结果，Si表示轨迹由卡尔曼滤波器预测得到的当前时刻观察空间协方差矩阵。
105、系统根据第一匹配值确定目标车辆的运动轨迹的预测结果。
例如，系统根据状态预测的结果与检测结果的第一匹配值大于0.9时，则可以认为目标之间相关性较大，检测框与状态预测结果匹配成功，从而系统可以对目标车辆的运动轨迹进行更新，反之则可以认为目标之间的相关性不大，检测框与状态预测结果匹配未成功，可以将该目标车辆的运动轨迹的预测结果确定为虚检或者不确定状态等。
在本申请实施例中，系统将包含目标车辆的检测视频通过车辆检测模型进行检测，输出车辆检测框，利用第一跟踪模块对该目标车辆的运动状态进行预测，再根据该车辆检测框与运动状态预测之间的联系进行匹配，最后根据匹配的值确定目标车辆的运动轨迹的预测结果。通过检测与预测数据的匹配值的大小来确定目标车辆运动轨迹的检测，减少了因目标遮挡等因素而造成检测结果受影响的情况，从而实现了车辆运动轨迹的稳定检测。
下面将结合图2-1至图2-2对一种车辆轨迹的处理方法的另一个实施例进行详细描述。
请参阅图2-1至图2-2，在本申请实施例中，一种车辆轨迹的处理方法的另一个实施例包括：
201、系统获取包含真实场景下车辆的训练模型图像；
202、系统对训练模型图像进行加工，形成包含数据标注信息的车辆图像样本集；
203、系统将车辆图像样本集进行数据清洗；
204、系统将车辆图像样本集进行数据增强；
205、系统将带有训练及验证标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型训练，直至车辆检测模型与车辆重识别模型达到收敛；
206、系统将测试标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型测试，直至车辆检测模型与车辆重识别模型测试完成；
在本申请实施例中，在对车辆轨迹进行处理之前，需要先将处理车辆轨迹所需要用到的车辆检测模型以及车辆重识别模型训练好，而要训练好这两个模型，则需要先获取并处理好训练这两个模型需要的训练数据。
例如，在获取到训练模型图像之后，可以先随机对该训练模型图像进行数据注上训练、验证及测试的标签，然后为了去掉数据的冗余性，系统可以进一步地对该数据进行数据清洗以及数据增强，数据清洗包括对无效图像数据的处理，数据增强包括对图像的尺寸、亮度、色调、对比度以及饱和度的调整。
车辆图像样本集数据在处理好后，便可以依照标签来将样本集数据分别输入模型，使模型完成训练、验证以及测试的过程。
207、系统获取包含目标车辆的检测视频；
本实施例中的步骤207与前述实施例中步骤101类似，此处不再赘述。
208、系统根据检测视频获取预设时间内的连续视频帧；
209、系统将连续视频帧通过车辆检测模型输出检测车辆框；
在系统对目标车辆进行车辆位置检测时，可以从包含有目标车辆的检测视频连续截取一部分视频，然后将该部分视频按照预设时间截取成一定数量的视频帧再输入训练好的车辆检测模型，从而得到检测车辆框。
进一步地，系统还可以预先设置好检测区域，然后根据预先设置好的检测区域对检测车辆框进行过滤，计算车辆框与检测区域的IOU，过滤掉IOU＝0的车辆框。
210、系统将检测视频通过第一跟踪模块进行目标车辆的运动状态预测；
211、系统根据运动状态预测的结果与检测车辆框在并集上的交集进行匹配并得到第一匹配值；
本实施例中的步骤210至211与前述实施例中步骤103至104类似，此处不再赘述。
212、系统判断第一匹配值是否大于第一预设值；若是，则执行步骤213，若否，则执行步骤214；
在本申请实施例中，第一预设值即为IOU匹配值的门槛值，若第一匹配值大于该第一预设值，则确定该目标之间相关性较大，若不大于该第一预设值，则确定该目标之间的相关性不大。
213、系统确定检测车辆框与运动状态预测的结果匹配成功，并对目标车辆的运动轨迹进行更新；
当系统确定第一匹配值大于第一预设值时，系统确定检测车辆框与运动状态预测的结果匹配成功，并对目标车辆的运动轨迹进行更新。
214、系统从检测视频中获取目标车辆的外观信息；
当系统确定第一匹配值不大于第一预设值时，系统从检测视频中获取目标车辆的外观信息，进一步分析目标车辆的检测与预测数据。
215、系统将外观信息通过车辆重识别模型提取目标车辆的128维特征向量；
216、系统根据运动状态预测的结果和128维特征向量生成代价矩阵；
217、系统将代价矩阵通过第一分配模块输出第二匹配结果；
218、系统根据第二匹配结果确定运动状态预测的结果、检测车辆框之间的运动匹配数据与运动未匹配数据；
219、系统根据运动匹配数据对目标车辆的运动轨迹进行更新；
220、系统根据运动未匹配数据二次生成目标车辆的运动轨迹，并将二次生成的运动轨迹标记为不确定状态；
221、系统判断检测车辆框之后的连续预设数量视频帧的检测车辆框是否与对应运动状态预测的结果匹配；若是，则执行步骤222，若否，则执行步骤223；
第一分配模块用于确定运动状态预测的结果与检测车辆框的运动匹配数据，车辆重识别模型用于对车辆进行外观特征提取。
在对数据进行匹配的过程中，可以使用卡尔曼滤波器的预测结果和车辆重识别模型提取的外观特征综合起来计算相似度，得到代价矩阵，而代价矩阵中过大的值又能够被门控矩阵限制。当车辆由于遮挡，在监控区域内消失一段时间再次出现在监控区域内时，使用卡尔曼滤波器预测和IOU匹配均无法将新出现的车辆检测框和先前的轨迹匹配上，由于车辆重识别模型可以对车辆外观信息进行特征提取，因此，系统可以提取出车辆的128维特征向量，使用余弦距离来度量表观特征之间的匹配程度，其计算公式如公式(2)：
其中，公式(2)中r表示特征向量，R表示追踪器特征向量集合。计算所有检测结果与追踪结果的特征余弦距离，通过匈牙利算法实现最小代价分配，获得匹配结果。
最后，将公式(1)与公式(2)进行线性加权作为最终的匹配结果，其计算公式如公式(3)：
ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j) 公式(3)
其中，公式(3)中λ是一个参数平衡因子，在本申请实施例中，在系统对数据之间进行匹配的时候，车辆检测框可以优先匹配消失时间较短的轨迹，当目标车辆长时间消失时，使用卡尔曼滤波器预测出的结果将会不可靠，在消失的这段时间里没有观测对象来进行调整，其预测结果的不确定性将会增加，消失时间更长的轨迹和车辆检测框进行匹配时，计算得到的马式距离会更小，会导致车辆检测框优先和消失时间更长的轨迹进行匹配，因此匹配过程中车辆检测框需要优先匹配消失时间更短的轨迹，以维持目标车辆的运动轨迹的连续性。
进一步地，系统匹配上的结果用目标车辆的车辆检测框修正卡尔曼滤波的预测结果；未匹配上的检测结果则生成新的轨迹，并将该轨迹标记为不确定状态。
222、系统将不确定状态调整为确定状态，并将二次生成的运动轨迹添加到更新后的运动轨迹中；
当系统确定检测车辆框之后的连续预设数量视频帧的检测车辆框与对应运动状态预测的结果匹配时，系统将不确定状态调整为确定状态，并将二次生成的运动轨迹添加到更新后的运动轨迹中。
进一步地，还可以将该更新的运动轨迹赋予独特的轨迹ID。
223、系统删除二次生成的运动轨迹。
当系统确定检测车辆框之后的连续预设数量视频帧的检测车辆框与对应运动状态预测的结果未匹配时，系统会将此次检查认为是虚检，并删除二次生成的运动轨迹。
在本申请实施例中，系统可以根据第一匹配值确定目标车辆的运动轨迹的预测结果的基础上，还可以进一步地针对该目标车辆的运动轨迹的匹配情况进行相应的更新、生成或删除，提高了车辆运动轨迹检测的精确性。
上面对本申请实施例中的车辆轨迹的处理方法进行了描述，下面对本申请实施例中的车辆轨迹的处理装置进行描述：
请参阅图3，本申请实施例中，一种车辆轨迹的处理装置的一个实施例包括：
第一获取单元301，用于获取包含目标车辆的检测视频；
车辆检测单元302，用于将检测视频通过车辆检测模型输出检测车辆框，车辆检测模型用于根据检测视频的所有视频帧上的目标车辆的位置信息生成检测车辆框；
车辆轨迹预测单元303，用于将检测视频通过第一跟踪模块进行目标车辆的运动状态预测，第一跟踪模块用于预测车辆运动轨迹的线性变化；
第一匹配单元304，用于根据运动状态预测的结果与检测车辆框在并集上的交集进行匹配并得到第一匹配值；
第一确定单元305，用于根据第一匹配值确定目标车辆的运动轨迹的预测结果。
在本申请实施例中，第一获取单元301获取到包含目标车辆的检测视频后，车辆检测单元302将该检测视频通过车辆检测模型进行检测并输出车辆检测框，利用第一跟踪模块对该目标车辆的运动状态进行预测，第一匹配单元304再根据该车辆检测框与运动状态预测之间的联系进行匹配，最后第一确定单元305根据匹配的值确定目标车辆的运动轨迹的预测结果。通过检测与预测数据的匹配值的大小来确定目标车辆运动轨迹的检测，减少了因目标遮挡等因素而造成检测结果受影响的情况，从而实现了车辆运动轨迹的稳定检测。
请参阅图4，本申请实施例中，一种车辆轨迹的处理装置的另一个实施例包括：
第三获取单元401，用于获取包含真实场景下车辆的训练模型图像；
训练数据加工单元402，用于对训练模型图像进行加工，形成包含数据标注信息的车辆图像样本集，车辆图像样本集为包含真实场景下车辆的图像样本集，数据标注信息为标注训练、验证及测试信息；
数据清洗单元403，用于将车辆图像样本集进行数据清洗，数据清洗包括对无效图像数据的处理；
数据增强单元404，用于将车辆图像样本集进行数据增强，数据增强包括对图像的尺寸、亮度、色调、对比度以及饱和度的调整；
模型训练单元405，用于将带有训练及验证标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型训练，直至车辆检测模型与车辆重识别模型达到收敛；
模型测试单元406，用于将带有测试标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型测试，直至车辆检测模型与车辆重识别模型测试完成；
第一获取单元407，用于获取包含目标车辆的检测视频；
车辆检测单元408，用于将检测视频通过车辆检测模型输出检测车辆框，车辆检测模型用于根据检测视频的所有视频帧上的目标车辆的位置信息生成检测车辆框；
车辆轨迹预测单元409，用于将检测视频通过第一跟踪模块进行目标车辆的运动状态预测，第一跟踪模块用于预测车辆运动轨迹的线性变化；
第一匹配单元410，用于根据运动状态预测的结果与检测车辆框在并集上的交集进行匹配并得到第一匹配值；
第一确定单元411，用于根据第一匹配值确定目标车辆的运动轨迹的预测结果；
外观特征提取单元412，用于将外观信息通过车辆重识别模型提取目标车辆的128维特征向量，车辆重识别模型用于对车辆进行外观特征提取；
矩阵生成单元413，用于根据运动状态预测的结果和128维特征向量生成代价矩阵；
第一输出单元414，用于将代价矩阵通过第一分配模块输出第二匹配结果，第一分配模块用于确定运动状态预测的结果与检测车辆框的运动匹配数据；
第一处理单元415，用于根据第二匹配结果对目标车辆的运动轨迹进行处理。
在本申请实施例中，车辆检测单元408可以包括第二获取模块4081以及第二输出模块4082；
第二获取模块4081，用于根据检测视频获取预设时间内的连续视频帧；
第二输出模块4082，用于将连续视频帧通过车辆检测模型输出检测车辆框。
在本申请实施例中，第一确定单元411可以包括第一判断模块4111、第一执行模块4112以及第二执行模块4113。
第一判断模块4111，用于判断第一匹配值是否大于第一预设值；
第一执行模块4112，用于当第一判断模块4111确定第一匹配值大于第一预设值时，确定检测车辆框与运动状态预测的结果匹配成功，并对目标车辆的运动轨迹进行更新；
第二执行模块4113，用于当第一判断模块4111确定第一匹配值不大于第一预设值时，则从检测视频中获取目标车辆的外观信息。
在本申请实施例中，第一处理单元415可以包括第二确定模块4151、更新模块4152、生成模块4153、第二判断模块4154、第三执行模块4155以及第四执行模块4156。
第二确定模块4151，用于根据第二匹配结果确定运动状态预测的结果、检测车辆框之间的运动匹配数据与运动未匹配数据；
更新模块4152，用于根据运动匹配数据对目标车辆的运动轨迹进行更新；
生成模块4153，用于根据运动未匹配数据二次生成目标车辆的运动轨迹，并将二次生成的运动轨迹标记为不确定状态；
第二判断模块4154，用于判断检测车辆框之后的连续预设数量视频帧的检测车辆框是否与对应运动状态预测的结果匹配；
第三执行模块4155，用于当第二判断子模块4154确定检测车辆框之后的连续预设数量视频帧的检测车辆框与对应运动状态预测的结果匹配，则将不确定状态调整为确定状态，并将二次生成的运动轨迹添加到更新后的运动轨迹中；
第四执行模块4156，用于当第二判断子模块4154确定检测车辆框之后的连续预设数量视频帧的检测车辆框未与对应运动状态预测的结果匹配，则删除二次生成的运动轨迹。
上述实施例中，各个单元及模块的功能与图2所示实施例中的步骤对应，此处不再赘述。
下面对本申请实施例中的一种车辆轨迹的处理方法及装置进行详细描述，请参阅图5，在本申请实施例中一种车辆轨迹的处理装置的另一实施例包括：
处理器501、存储器502、输入输出单元503、总线504；
处理器501与存储器502、输入输出单元503以及总线504相连；
处理器501具体执行如下操作：
获取包含目标车辆的检测视频；
将检测视频通过车辆检测模型输出检测车辆框，车辆检测模型用于根据检测视频的所有视频帧上的目标车辆的位置信息生成检测车辆框；
将检测视频通过第一跟踪模块进行目标车辆的运动状态预测，第一跟踪模块用于预测车辆运动轨迹的线性变化；
根据运动状态预测的结果与检测车辆框在并集上的交集进行匹配并得到第一匹配值；
根据第一匹配值确定目标车辆的运动轨迹的预测结果。
本实施例中，处理器501的功能与前述图1至图4所述实施例中的步骤对应，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种车辆轨迹的处理方法，其特征在于，包括：
获取包含目标车辆的检测视频；
将所述检测视频通过车辆检测模型输出检测车辆框，所述车辆检测模型用于根据所述检测视频的所有视频帧上的所述目标车辆的位置信息生成检测车辆框；
将所述检测视频通过第一跟踪模块进行所述目标车辆的运动状态预测，所述第一跟踪模块用于预测车辆运动轨迹的线性变化；
根据所述运动状态预测的结果与所述检测车辆框在并集上的交集进行匹配并得到第一匹配值；
根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果。
2.根据权利要求1所述的处理方法，其特征在于，所述根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果，包括：
判断所述第一匹配值是否大于第一预设值，若是，则确定所述检测车辆框与所述运动状态预测的结果匹配成功，并对所述目标车辆的运动轨迹进行更新；
若否，则从所述检测视频中获取所述目标车辆的外观信息。
3.根据权利要求2所述的处理方法，其特征在于，所述从所述检测视频中获取所述目标车辆的外观信息之后，所述处理方法还包括：
将所述外观信息通过车辆重识别模型提取所述目标车辆的128维特征向量，所述车辆重识别模型用于对车辆进行外观特征提取；
根据所述运动状态预测的结果和所述128维特征向量生成代价矩阵；
将所述代价矩阵通过第一分配模块输出第二匹配结果，所述第一分配模块用于确定所述运动状态预测的结果与所述检测车辆框的运动匹配数据；
根据所述第二匹配结果对所述目标车辆的运动轨迹进行处理。
4.根据权利要求3所述的处理方法，其特征在于，所述根据所述第二匹配结果对所述目标车辆的运动轨迹进行处理，包括：
根据所述第二匹配结果确定所述运动状态预测的结果、所述检测车辆框之间的运动匹配数据与运动未匹配数据；
根据所述运动匹配数据对所述目标车辆的运动轨迹进行更新；
根据所述运动未匹配数据二次生成所述目标车辆的运动轨迹，并将二次生成的运动轨迹标记为不确定状态；
判断所述检测车辆框之后的连续预设数量视频帧的检测车辆框是否与对应运动状态预测的结果匹配，若是，则将所述不确定状态调整为确定状态，并将所述二次生成的运动轨迹添加到更新后的运动轨迹中；
若否，则删除所述二次生成的运动轨迹。
5.根据权利要求1至4任意一项所述的处理方法，其特征在于，所述将所述检测视频通过车辆检测模型输出检测车辆框，包括：
根据所述检测视频获取预设时间内的连续视频帧；
将所述连续视频帧通过车辆检测模型输出检测车辆框。
6.根据权利要求5所述的处理方法，其特征在于，所述获取包含目标车辆的检测视频之前，所述处理方法还包括：
获取包含真实场景下车辆的训练模型图像；
对所述训练模型图像进行加工，形成包含数据标注信息的车辆图像样本集，所述车辆图像样本集为包含真实场景下车辆的图像样本集，所述数据标注信息为标注训练、验证及测试信息；
将带有训练及验证标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型训练，直至所述车辆检测模型与所述车辆重识别模型达到收敛；
将带有测试标注信息的车辆图像样本集分别输入到所述车辆检测模型以及所述车辆重识别模型测试，直至所述车辆检测模型与所述车辆重识别模型测试完成。
7.根据权利要求6所述的处理方法，其特征在于，所述形成包含数据标注信息的车辆图像样本集之后，所述将带有训练及验证标注信息的车辆图像样本集分别输入到车辆检测模型以及车辆重识别模型训练之前，所述处理方法还包括：
将所述车辆图像样本集进行数据清洗，所述数据清洗包括对无效图像数据的处理；
将所述车辆图像样本集进行数据增强，所述数据增强包括对图像的尺寸、亮度、色调、对比度以及饱和度的调整。
8.一种车辆轨迹的处理装置，其特征在于，包括：
第一获取单元，用于获取包含目标车辆的检测视频；
车辆检测单元，用于将所述检测视频通过车辆检测模型输出检测车辆框，所述车辆检测模型用于根据所述检测视频的所有视频帧上的所述目标车辆的位置信息生成检测车辆框；
车辆轨迹预测单元，用于将所述检测视频通过第一跟踪模块进行所述目标车辆的运动状态预测，所述第一跟踪模块用于预测车辆运动轨迹的线性变化；
第一匹配单元，用于根据所述运动状态预测的结果与所述检测车辆框在并集上的交集进行匹配并得到第一匹配值；
第一确定单元，用于根据所述第一匹配值确定所述目标车辆的运动轨迹的预测结果。
9.根据权利要求8所述的处理装置，其特征在于，所述第一确定单元，包括：
第一判断模块，用于判断所述第一匹配值是否大于第一预设值；
第一执行模块，用于当所述第一判断模块确定所述第一匹配值大于第一预设值时，确定所述检测车辆框与所述运动状态预测的结果匹配成功，并对所述目标车辆的运动轨迹进行更新；
第二执行模块，用于当所述第一判断模块确定所述第一匹配值不大于第一预设值时，则从所述检测视频中获取所述目标车辆的外观信息。
10.根据权利要求9所述的处理装置，其特征在于，所述处理装置还包括：
外观特征提取单元，用于将所述外观信息通过车辆重识别模型提取所述目标车辆的128维特征向量，所述车辆重识别模型用于对车辆进行外观特征提取；
矩阵生成单元，用于根据所述运动状态预测的结果和所述128维特征向量生成代价矩阵；
第一输出单元，用于将所述代价矩阵通过第一分配模块输出第二匹配结果，所述第一分配模块用于确定所述运动状态预测的结果与所述检测车辆框的运动匹配数据；
第一处理单元，用于根据所述第二匹配结果对所述目标车辆的运动轨迹进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913282.4A CN113673395A (zh) | 2021-08-10 | 2021-08-10 | 一种车辆轨迹的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913282.4A CN113673395A (zh) | 2021-08-10 | 2021-08-10 | 一种车辆轨迹的处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673395A true CN113673395A (zh) | 2021-11-19 |
Family
ID=78542067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110913282.4A Pending CN113673395A (zh) | 2021-08-10 | 2021-08-10 | 一种车辆轨迹的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673395A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103720A1 (zh) * | 2021-12-10 | 2023-06-15 | 北京字跳网络技术有限公司 | 视频特效处理方法、装置、电子设备及程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
| CN111932580A (zh) * | 2020-07-03 | 2020-11-13 | 江苏大学 | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统 |
| CN112069969A (zh) * | 2020-08-31 | 2020-12-11 | 河北省交通规划设计院 | 一种高速公路监控视频跨镜车辆跟踪方法及系统 |
| CN112435276A (zh) * | 2020-11-13 | 2021-03-02 | 鹏城实验室 | 一种车辆跟踪方法、装置、智能终端及存储介质 |
| CN112669345A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 一种面向云端部署的多目标轨迹跟踪方法及系统 |
| CN112750150A (zh) * | 2021-01-18 | 2021-05-04 | 西安电子科技大学 | 基于车辆检测和多目标跟踪的车流量统计方法 |
-
2021
- 2021-08-10 CN CN202110913282.4A patent/CN113673395A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932580A (zh) * | 2020-07-03 | 2020-11-13 | 江苏大学 | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统 |
| CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
| CN112069969A (zh) * | 2020-08-31 | 2020-12-11 | 河北省交通规划设计院 | 一种高速公路监控视频跨镜车辆跟踪方法及系统 |
| CN112435276A (zh) * | 2020-11-13 | 2021-03-02 | 鹏城实验室 | 一种车辆跟踪方法、装置、智能终端及存储介质 |
| CN112669345A (zh) * | 2020-12-30 | 2021-04-16 | 中山大学 | 一种面向云端部署的多目标轨迹跟踪方法及系统 |
| CN112750150A (zh) * | 2021-01-18 | 2021-05-04 | 西安电子科技大学 | 基于车辆检测和多目标跟踪的车流量统计方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103720A1 (zh) * | 2021-12-10 | 2023-06-15 | 北京字跳网络技术有限公司 | 视频特效处理方法、装置、电子设备及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
| KR101764845B1 (ko) | 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법 | |
| CN112016445B (zh) | 一种基于监控视频的遗留物检测方法 | |
| CN110532916B (zh) | 一种运动轨迹确定方法及装置 | |
| JP4884096B2 (ja) | 物体識別システム | |
| CN109754009B (zh) | 物品识别方法、装置、售货系统和存储介质 | |
| CN111027481B (zh) | 基于人体关键点检测的行为分析方法及装置 | |
| US20140161319A1 (en) | Information processing apparatus, method for tracking object and program storage medium | |
| CN111126153B (zh) | 基于深度学习的安全监测方法、系统、服务器及存储介质 | |
| CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
| KR20160118830A (ko) | 압력 센서를 이용한 객체 인식 방법 | |
| CN114783037B (zh) | 目标重识别方法、目标重识别装置和计算机可读存储介质 | |
| KR20180070258A (ko) | 주행상황에서의 동시적 물체 인식 및 학습 방법 | |
| CN112668524A (zh) | 多目标跟踪系统及方法 | |
| CN104219488A (zh) | 目标图像的生成方法和装置、以及视频监控系统 | |
| CN113673395A (zh) | 一种车辆轨迹的处理方法及装置 | |
| CN114943750A (zh) | 目标跟踪方法、装置及电子设备 | |
| EP2259221A1 (en) | Computer system and method for tracking objects in video data | |
| CN116157831A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN111860512B (zh) | 一种车辆识别方法、装置、电子设备及计算机可读存储介质 | |
| CN115294172A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN113657169B (zh) | 一种步态识别方法、装置、系统和计算机可读存储介质 | |
| US20210287051A1 (en) | Methods and systems for recognizing object using machine learning model | |
| CN115471671A (zh) | 一种网络模型的训练方法、目标识别方法及相关设备 | |
| CN112990153A (zh) | 一种多目标行为识别方法、装置、存储介质以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |