CN111667512A - 基于改进卡尔曼滤波的多目标车辆轨迹预测方法 - Google Patents

基于改进卡尔曼滤波的多目标车辆轨迹预测方法 Download PDF

Info

Publication number
CN111667512A
CN111667512A CN202010465436.3A CN202010465436A CN111667512A CN 111667512 A CN111667512 A CN 111667512A CN 202010465436 A CN202010465436 A CN 202010465436A CN 111667512 A CN111667512 A CN 111667512A
Authority
CN
China
Prior art keywords
target
target vehicle
vehicle
image
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010465436.3A
Other languages
English (en)
Other versions
CN111667512B (zh
Inventor
陈友荣
陈鹏
任条娟
江俊
苏子漪
刘半藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuren University
Original Assignee
Zhejiang Shuren University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shuren University filed Critical Zhejiang Shuren University
Priority to CN202010465436.3A priority Critical patent/CN111667512B/zh
Publication of CN111667512A publication Critical patent/CN111667512A/zh
Application granted granted Critical
Publication of CN111667512B publication Critical patent/CN111667512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于改进卡尔曼滤波的多目标车辆轨迹预测方法，该方法采用图像均衡化、归一化等预处理方式，消除了运动模糊、背景干扰、光照变化等环境因素造成的干扰；同时引入YOLO网络，实时检测图像中目标车辆的目标位置，获知该目标车辆的类型；使用目标检测框与目标预测框的重合交并比作为连接权值，采用KM匹配算法判断相同识别类型的目标车辆当前位置与预测位置的比配关系，从而避免目标车辆的丢失；结合扩展卡尔曼滤波算法预测目标位置信息，提高了目标车辆轨迹预测的准确性。本发明加强了检测目标车辆与预测目标车辆数据的关联性，可解决目标车辆检测实时性不足导致目标丢失和非线性场景预测精度不高问题。

Description

基于改进卡尔曼滤波的多目标车辆轨迹预测方法
技术领域：
本发明涉及多目标车辆轨迹预测领域，具体涉及一种基于改进卡尔曼滤波的多目标车辆轨迹预测方法。
背景技术：
近年来，由于驾驶员的驾驶行为而引发交通事故的数量迅速增加。加强驾驶员对路况的分析能力，辅助驾驶员判断交通环境是解决这一问题的重要途径。目前通过车载视觉传感器进行实时准确的车辆行驶环境分析，并进行车辆轨迹预测，可有效减少交通事故的发生。同时车辆轨迹预测可为智能交通系统(Intelligent Transportation System,ITS)中自主协作驾驶、碰撞预警、防碰撞等相关安全技术应用提供实用基础，如在目标车辆路径预测的过程中，可对目标车辆进行检测和跟踪，并在此基础上对目标车辆轨迹进行预测，获得目标车辆的运动趋势，从而及时发出警告提醒驾驶员或采取主动控制车辆制动、转向等措施以避免交通事故的发生。因此在目标车辆轨迹预测的研究中，对于目标车辆的检测和轨迹预测是加速智能交通系统应用的关键因素。
目前目标车辆的轨迹预测是智能交通系统应用的重要部分。现今部分学者侧重于构建运动学和动力学模型，进行车辆轨迹预测。如Hu J等人提出了一种基于三自由度车辆动力学模型的轨迹预测方法，通过使用动态图像车道ROI(region of interest)区域提取，将提取ROI区域进行霍夫线检测和二次曲线拟合，并建立动力学模型实现目标车辆轨迹预测。Houenou A等人提出了一种基于恒定横摆角速度和加速度运动模型的预测和多项式轨迹规划相结合的轨迹预测方法，弥补在长时域预测上的不足。Czyz J等人改进粒子滤波方法，并结合颜色特征提出了一种基于混合值序列的状态估计方法，从而通过颜色特征弥补粒子滤波特征的不足，实现运动目标的跟踪。Shao X等人提出了一种使用约束贝叶斯状态估计和粒子滤波的方法，在目标车辆发生遮挡的情况下通过多帧关联的方式实现运动轨迹预测。Vashishtha D等人提出了一种使用最大似然多重模型(Maximum LikelihoodMultiple Model,MLMM)滤波的方法，通过一个极大似然规则组合独立的4种运动学模型相关估计值，获得总体估计值预测车辆轨迹。然而上述方法都是通过建立运动学和动力学模型预测目标车辆轨迹。部分车辆运动轨迹是非线性的，易出现很多曲线的轨迹。但是在曲线轨迹预测上基于模型的轨迹预测方法预测精度不高。
因此部分学者侧重于研究基于数据驱动的轨迹预测方法。该方法采用分类方法和回归方法两种思路处理轨迹预测问题，如季学武等人提出了一种基于长短期记忆网络(Long Short-term Memory,LSTM)的车辆轨迹预测方法，构建轨迹输出模块，同时对轨迹输出模块采用编码器-解码器结构生成任意长度的轨迹序列从而预测轨迹。孙红等人提出了一种基于聚类分区域的隐马尔可夫模型，通过大量GPS数据的训练，得出最佳模型参数，最后通过隐状态之间的转移矩阵预测移动对象轨迹最终位置。刘军等人提出了一种利用Haar-like特征训练的Adaboost级联分类器，识别前方车辆并通过卡尔曼滤波方法对检测的目标车辆进行轨迹预测。Shirazi M等人提出了一种使用深度神经网络(deep neuralnetwork,DNN)和LSTM的目标车辆轨迹预测方法，通过DNN网络检测目标结合LSTM网络预测未来2s目标位置。上述方法都使用了数据驱动的轨迹预测方法，但在目标检测时目标检测网络存在实时性和精度的不足，导致目标丢失和数据丢失，且轨迹预测时需要大量连续数据计算量等问题。
综上所述，目前基于模型的轨迹预测方法着重于在构建动力学和运动学模型，且模型多为线性模型，在非线性场景使用时精度不高。数据驱动的轨迹预测方法在检测目标时由于检测精度和实时性存在不足，同时在交通环境中由于快速移动、光照变化、环境干扰等问题会造成部分视频帧中的目标位置信息丢失，在轨迹预测时需要补偿相应的位置信息，从而增加了整体方法的复杂度和计算量。鉴于现有技术中的各种方法都存在各自的缺陷，发明人通过研究，提出一种全新的多目标车辆轨迹预测方法，即：一种基于改进卡尔曼滤波的多目标轨迹预测方法，本案由此而生。
发明内容：
针对上述现有方法的不足，本发明提出一种基于改进卡尔曼滤波的多目标轨迹预测方法，可解决目标车辆检测实时性不足导致目标丢失和非线性场景预测精度不高问题，从而加强检测目标车辆与预测目标车辆数据的关联性，有效避免目标车辆丢失，并提高目标车辆轨迹预测的准确性。
为了实现上述发明目的，本发明所采用的技术方案为：
基于改进卡尔曼滤波的多目标轨迹预测方法，内容包括：
步骤1：YOLO网络参数初始化，对网上公开的数据集以及摄像头采集的图像进行处理，并增加对应标签；
步骤2：数据处理后获得包括公交车、私家车、消防车、吉普车、面包车、出租车、货车不同类别的图像若干张，对图像中所有车辆进行标注，建立训练集；
步骤3：根据当前所处状态，读取对应状态下的图像，将图像进行亮度直方化及归一化处理后送入YOLO卷积网络，完成网络模型训练后，当前状态进入应用状态，继续执行步骤4；
步骤4：根据YOLO网络检测输出，获取当前时刻目标车辆在图像中的位置信息和检测框信息，创建检测的车辆目标赋予ID，令当前帧检测目标集合G为当前帧检测出来的所有目标车辆集合；判断当前检测图像是否为视频流的第一帧，若不是，则计算上一时刻预测集合J与未成功匹配集合R的并集T，然后执行步骤5；若是第一帧，则令未成功匹配集合R为空集，继续执行步骤5；
步骤5：根据识别目标车辆类型，将集合G、集合T、集合J和集合R分别分成七个相同类型的子集合LGi、LTi、LJi、LRi；使用KM匹配算法获得集合LGi中的目标车辆与集合LTi中目标车辆的匹配关系，获得集合LGi和LTi内未成功匹配的目标车辆；如果该未匹配车辆目标属于集合LJi，则保留该车辆目标，并将该车辆目标添加到集合LRi；如果该未匹配车辆目标属于集合LGi，则该车辆目标为新加入的目标车辆，创建该目标对象赋予ID和目标参数；如果该未匹配车辆目标属于集合LRi，则记录该车辆目标未匹配成功的次数，如果该次数超过阈值，则删除该车辆目标，否则不操作；
步骤6：计算集合G内每一个车辆目标在当前时刻的速度及坐标，判断集合G内目标车辆是否为新加入的目标车辆，如果是新加入的目标车辆，则初始化当前时刻k的目标车辆的预测状态估计值
Figure BDA0002512479370000041
和预测状态协方差矩阵
Figure BDA0002512479370000042
步骤7：根据当前时刻k的识别结果，计算观测向量与期望测量值的差Vk，并计算向量Vk的协方差矩阵Sk；
步骤8：通过当前时刻k的预测状态估计值
Figure BDA0002512479370000043
计算当前时刻k的目标车辆的运动状态变量Xk；通过当前时刻k的预测状态协方差矩阵
Figure BDA0002512479370000044
计算当前时刻k的状态协方差矩阵Pk；
步骤9：对当前检测目标分别预测和输出每个目标车辆的下一时刻k+1的预测状态估计值
Figure BDA0002512479370000045
计算时刻k+1的预测状态协方差矩阵
Figure BDA0002512479370000046
步骤10：判断集合G内每一个车辆目标是否均预测更新完成，若更新完成，则将集合G赋予集合J，并加载训练好的YOLO网络模型；若尚未完成预测更新，则选择下一个目标车辆，重新执行步骤6。
进一步，所述步骤1中，初始化YOLO网络权重、偏置项和节点向量参数；利用opencv-python库的resize函数来调节图像的分辨率，增加对应标签；利用opencv-python库的getRotationMatrix2D函数，将图像进行旋转，旋转角度设置为随机生成，旋转范围为7度-15度；通过将图像往水平和垂直方向上随机移动1-10个像素距离，实现图像的平移；通过给图像做中心对称实现图像的对称数据增强。
进一步，所述步骤3中，若处于训练状态，则读取训练集中的车辆图像；若处于评估状态，则读取数据集的测试集图像；若处于应用状态，则读取摄像头采集的图像；将读取的RGB图像转化为YCbCr图像后进行亮度分量Y的直方化处理，将处理后的YCbCr图像转化为RGB图像，更新当前的图像。
进一步，所述步骤3中，网络模型的训练方法为：计算卷积神经网络中每一层输出特征值，将所有的特征值组成卷积神经网络中卷积层的输出特征值矩阵；根据当前权重矩阵进行训练，并计算损失函数，若损失函数值小于阈值则训练完成，并将当前状态修改为评估状态后执行步骤3，若损失函数值大于等于阈值，则利用损失值进行反向传播，更新网络的偏置和权重后重新进行训练。
进一步，所述步骤3中，当前状态为评估状态时，将图像送入YOLO的网络卷积层，提取图像特征，调用图像检测函数，对提取特征进行循环判断，获得检测框；根据检测框计算每一个类标签的概率，对每一个类标签概率进行判断，选择最大概率的类型作为目标；根据测试集的识别结果，计算测试集的类别精度和召回率，当类别精度和召回率均小于设定阈值，则将当前状态修改为训练状态后重新进行训练，否则认定训练模型有效，将当前状态修改为应用状态；
通过下列公式计算每一个检测框与其他检测框的两框重叠比例IOU，如果IOU值大于设定阈值，则将该框删除：
Figure BDA0002512479370000061
其中，IOU表示模型产生的目标窗口和原标记窗口的交叠率，DetectionResult表示检测框内图像数据，GroundTruth表示标注的图像数据；
测试集的类别精度Precision和召回率Recall按照下式计算：
Figure BDA0002512479370000062
Figure BDA0002512479370000063
其中，TP表示正确检测车辆数量，FP表示错误检测车辆数量，FN表示漏检的车辆数量。
进一步，所述步骤5中，对每一个相同识别类型i的KM匹配的实现方法具体如下：
5.1)判断集合LTi内目标车辆元素是否多于集合LGi：如果LTi内目标车辆元素多于或等于集合LGi内目标车辆元素，则令集合K为LTi集合，令集合L为LGi集合；若LTi内目标车辆元素小于集合LGi内目标车辆元素，则令集合K为LGi集合，令集合L为LTi集合；
5.2)通过下列公式计算集合K中每一个目标车辆与集合L中每一个目标车辆的重合比例，作为连接权重Wh：
Figure BDA0002512479370000064
其中，PredictionBox表示当前图像中上一时刻目标车辆的预测目标窗口，DetectionBox表示当前时刻目标车辆的检测目标窗口；
5.3)判断目标车辆数较少的集合L是否饱和目标车辆数较多的集合K中的所有元素：如果饱和，则输出目标车辆预测框集合K，然后退出；若仍不饱和，则继续执行步骤5.4)；
5.4)在目标车辆数较多的集合K中寻找一个目标数较少的集合L的非饱和点e，令非饱和点集合V′＝{e}，已选饱和点集合
Figure BDA0002512479370000071
5.5)如果|NG(K)|＝|K|，其中NG(K)表示目标车辆集合K的邻域，|NG(K)表示目标车辆集合K的邻域阶数，跳到步骤5.8)；若不满足上述关系，则任选一个顶点p∈(NG(K)-B)，继续执行步骤5.6)；
5.6)如果p是目标车辆较少的集合L的饱和点，则执行步骤5.7)，否则，存在一条e和p的可扩路Path，令集合为(L-E(Path)∪(E(Path)-L)，并更新集合L为该集合，其中E(Path)表示可扩路Path的边集合，跳到步骤5.3)；
5.7)由于p是目标车辆较少的集合L的饱和点，因此目标车辆较少的集合中存在一条边ep，将e添加到非饱和点集合V′，将p添加到已选饱和点集合B，转到步骤5.5)；
5.8)输出集合L中目标车辆和K中目标车辆的匹配关系，输出集合L和K内未成功匹配的目标车辆。
进一步，所述步骤6中，令车辆目标的运动状态变量为Xk＝[x(k),y(k),s(k),r(k),vx(k),vy(k),vs(k)]，其中x(k)和y(k)分别表示当前时刻k的目标车辆在x轴和y轴上的位置，s(k)表示当前时刻k的目标车辆所在检测框的面积，r(k)表示当前时刻k的目标车辆所在检测框宽度和高度之比，vx(k)和vy(k)表示当前时刻k的目标车辆在x轴和y轴上的速度，vs(k)表示当前时刻k的目标车辆检测框面积的变化速度，vx(k)、vy(k)和vs(k)分别通过下列公式计算：
Figure BDA0002512479370000072
Figure BDA0002512479370000081
Figure BDA0002512479370000082
进一步，所述步骤7中，Vk按下式计算：
Vk＝Zk-h(Xk|k-1)
其中Zk为观测向量，h(Xk|k-1)表示期望测量值；协方差矩阵Sk按下式计算：
Figure BDA0002512479370000083
Figure BDA0002512479370000084
其中，
Figure BDA0002512479370000085
表示k-1时刻预测k时刻的状态协方差矩阵，Rk表示与观测向量相关的协方差矩阵，Hk表示与期望测量值相关的雅可比矩阵。
进一步，所述步骤8中，当前时刻k的目标车辆的运动状态变量Xk按下式计算：
Figure BDA0002512479370000086
上式中，Kk表示最佳卡尔曼增益，可表示为：
Figure BDA0002512479370000087
当前时刻k的状态协方差矩阵Pk按下式计算：
Figure BDA0002512479370000088
上式中，I表示单位矩阵。
进一步，所述预测和输出每个目标车辆的下一时刻k+1的预测状态估计值
Figure BDA0002512479370000089
时，采用如下公式计算：
Figure BDA00025124793700000810
其中Gk表示输入矩阵，Wk表示系统输入，Fk表示线性化状态转移矩阵，Fk可表示为：
Figure BDA0002512479370000091
其中，Δt表示时刻k+1和时刻k的时间间隔，可以用帧数差表示；
时刻k+1的预测状态协方差矩阵
Figure BDA0002512479370000092
计算，根据当前时刻k的状态协方差矩阵Pk和过程噪声协方差矩阵Q获得，按下式计算：
Figure BDA0002512479370000093
其中，过程噪声矩阵Q为：Q＝I7*7，I7*7表示7×7的单位矩阵。
本发明的有益效果主要表现在：本发明采用图像均衡化、归一化等预处理，能够消除运动模糊、背景干扰、光照变化等环境因素造成的干扰；同时引入YOLO网络，实时检测图像中目标车辆的目标位置，获知该目标车辆的类型；使用目标检测框与目标预测框的重合交并比作为连接权值，采用KM匹配算法判断相同识别类型的目标车辆当前位置与预测位置的比配关系，从而避免目标车辆的丢失；结合扩展卡尔曼滤波算法预测目标位置信息，提高了目标车辆轨迹预测的准确性。
总之，本发明可实时检测和预测图像中的多目标车辆，加强检测目标车辆与预测目标车辆数据的关联性，有效避免目标车辆丢失，并提高目标车辆轨迹预测的准确性，可解决目标车辆检测实时性不足导致目标丢失和非线性场景预测精度不高问题。
以下通过附图和具体实施方式对本发明做进一步阐述。
附图说明：
图1为本发明实施例中多目标车辆轨迹预测方法的工作流程示意图。
具体实施方式：
本实施例公开一种基于改进卡尔曼滤波的多目标车辆轨迹预测方法，如图1所示，主要步骤如下：
1)初始化YOLO网络权重、偏置项和节点向量等参数。对网上公开的数据集和摄像头采集的图像，利用opencv-python库的resize函数来调节图像的分辨率，增加对应标签；利用opencv-python库的getRotationMatrix2D函数，将图像进行旋转，旋转角度设置为随机生成，旋转范围为7度-15度；通过将图像往水平和垂直方向上随机移动1-10个像素距离，实现图像的平移；通过给图像做中心对称实现图像的对称数据增强。
2)经过平移、旋转、对称和缩放的数据增强操作，获得包含bus(公交车)、familysedan(私家车)、fire engine(消防车)、jeep(吉普车)、minibus(面包车)、taxi(出租车)、truck(货车)等七类不同类别的图像共5875张，并对图像中所有车辆进行标注，建立训练集。
3)判断当前所处状态：如果当前处于训练状态，则读取车辆训练集中的车辆图像；如果当前处于评估状态，则读取数据集的测试集图像；如果当前处于应用状态，则读取摄像头采集的图像。
4)读取RGB图像数据，将RGB图像转化为YCbCr图像，采用公式(1)对图像的亮度分量Y进行直方化处理，并将处理后的YCbCr图像转化为RGB图像，更新当前的图像。
Figure BDA0002512479370000101
其中，SRn表示处理后的亮度分量值，Si表示像素i的亮度分量值为i的像素个数，N表示像素个数总和。
5)对图像大小归一化处理，得到网络输入的尺寸为518×518图像，并将其图像送入YOLO的卷积网络。
6)再次判断当前所处状态：如果当前状态是训练状态，则判断图像是否处理完成，如果每一个图像均处理完，则执行步骤(7)，若未处理完则读取训练集中下一个图像，并跳到步骤(4)；如果当前状态是评估状态，读取数据集的测试集图像中的下一个图像，并判断图像是否处理完成，如果每一个图像均处理完，则跳到步骤(10)，若未处理完则读取测试集中下一个图像，跳到步骤(4)；如果当前状态是应用状态，跳到步骤(12)。
7)通过YOLO的网络卷积层，计算卷积神经网络中网格大小分别为13×13、26×26和52×52的三层卷积层的每一层输出特征值，将所有的特征值组成卷积神经网络中卷积层的输出特征值矩阵。输出节点取值k(i)公式为：
k(i)＝g(w1β1+w2β2+b) (2)
其中g()表示激活函数，w1和w2表示输出的权重，b表示其偏置项参数，β1和β2表示节点矩阵的向量。
8)根据当前权重矩阵，进行训练，并通过公式(3)计算表达预测值与真实情况之间差距程度的损失函数，如果损失函数小于阈值Lossy，则训练完成，获得训练好的网络模型，并将当前状态修改为评估状态，跳到步骤(3)，若损失函数不满足上述条件，则继续执行步骤(9)。
Loss＝α1Loss中心坐标及宽高+α2Loss置信度+α3Loss分类 (3)
其中，Loss表示总损失度，Loss中心坐标及宽高表示预测的坐标与实际的坐标的误差，Loss置信度表示每个边界框预测值的置信度误差，Loss分类表示分类时的概率值误差，α1,α2,α3表示误差损失因子。
9)利用损失值进行反向传播，通过公式(4)和(5)更新网络的偏置和权重，跳到步骤(8)。
Figure BDA0002512479370000111
Figure BDA0002512479370000112
其中，
Figure BDA0002512479370000121
表示更新后的偏置，bn表示更新前的偏置项，
Figure BDA0002512479370000122
表示当前层的敏感度图，η表示学习率，即梯度，
Figure BDA0002512479370000123
表示更新后的权重，ωn表示更新前的权重。
10)将图像送入YOLO的网络卷积层，提取图像特征，调用图像检测函数，对提取特征进行循环判断，获得检测框。通过公式(6)依次计算每一个检测框与其他检测框的两框重叠比例IOU。如果IOU值大于设定阈值，则将该框删除。
Figure BDA0002512479370000124
其中，IOU表示模型产生的目标窗口和原标记窗口的交叠率，DetectionResult表示检测框内图像数据，GroundTruth表示标注的图像数据。根据检测框，计算每一个类标签的概率。对每一个类标签概率进行判断，选择最大概率的类型作为目标。
11)根据测试集的识别结果，通过公式(7)和(8)计算测试集的类别精度Precision和召回率Recall。如果类别精度Precision和召回率Recall都小于96％，将当前状态变为训练状态进行重新训练，跳到步骤(3)，否则该训练模型有效，将当前状态变为应用状态，跳到步骤(3)。
Figure BDA0002512479370000125
Figure BDA0002512479370000126
其中，TP表示正确检测车辆数量，FP表示错误检测车辆数量，FN表示漏检的车辆数量。
12)加载训练好的YOLO网络模型，将摄像头采集并经过亮度均衡化处理和归一化后的图像输入YOLO网络。
13)根据YOLO网络检测输出，获取当前时刻目标车辆在图像中的位置信息和检测框信息。令x(k)，y(k)分别表示车辆目标在x轴和y轴的位置，s(k)表示检测框的面积，r(k)表示检测框宽度和高度之比。创建检测的车辆目标赋予ID，令当前帧检测目标集合G为当前帧检测出来的所有目标车辆集合。
14)判断当前检测图像是否为视频流的第一帧，若是第一帧图像，则令未成功匹配集合R为空集，跳到步骤(16)，否则继续执行步骤(15)。
15)计算上一时刻预测集合J与未成功匹配集合R的并集T，令T＝R∪J。
16)根据识别目标车辆类型，将当前检测目标集合G和集合T分别分成7个相同类型的子集合LGi和LTi，同理将上一时刻预测集合J和未成功匹配集合R分别分成7个相同类型的子集合LJi和LRi。
17)使用KM匹配算法获得每一个识别为相同类型的当前帧检测目标集合LGi中的目标车辆与集合LTi中目标车辆的匹配关系，获得集合LGi和LTi内未成功匹配的目标车辆。判断该未成功匹配的车辆目标是否属于集合LJi、LGi或LRi。如果该车辆目标属于上一时刻预测集合LJi内，则保留该车辆目标，并将该车辆目标添加到未成功匹配目标集合LRi。如果该车辆目标属于集合LGi内元素相匹配，则该车辆目标为新加入的目标车辆，创建该目标对象赋予ID和目标参数。如果该车辆目标属于未成功匹配目标集合LRi，则记录该车辆目标未匹配成功的次数；如果该次数超过阈值，则删除该车辆目标，否则不操作。本步骤中对每一个相同识别类型i的KM匹配算法的实现方法具体如下：
17.1)判断集合LTi内目标车辆元素是否多于当前检测目标集合LGi：如果LTi内目标车辆元素多于或等于集合LGi内目标车辆元素，则令集合K为LTi集合，令集合L为LGi集合；若LTi内目标车辆元素小于集合LGi内目标车辆元素，则令集合K为LGi集合，令集合L为LTi集合(K和L为二分图两侧的变量集合，K始终放置集合元素较多的集合，L始终放置集合元素较少的集合)；
17.2)通过公式(9)计算集合K中每一个目标车辆与集合L中每一个目标车辆的重合比例，作为连接权重Wh。
Figure BDA0002512479370000141
其中，PredictionBox表示当前图像中上一时刻目标车辆的预测目标窗口，DetectionBox表示当前时刻目标车辆的检测目标窗口。
17.3)判断目标车辆数较少的集合L是否饱和目标车辆数较多的集合K中的所有元素：如果饱和，则输出目标车辆预测框集合K，然后退出；若仍不饱和，则继续执行步骤(17.4)。
17.4)在目标车辆数较多的集合K中寻找一个目标数较少的集合L的非饱和点e，令非饱和点集合V′＝{e}，已选饱和点集合
Figure BDA0002512479370000142
17.5)如果|NG(K)|＝|K|，其中NG(K)表示目标车辆集合K的邻域，|NG(K)|表示目标车辆集合K的邻域阶数，跳到步骤(17.8)；若不满足上述关系，则任选一个顶点p∈(NG(K)-B)，继续执行步骤(17.6)。
17.6)如果p是目标车辆较少的集合L的饱和点，则执行步骤(17.7)，否则，存在一条e和p的可扩路Path，令集合为(L-E(Path)∪(E(Path)-L)，并更新集合L为该集合，其中E(Path)表示可扩路Path的边集合，跳到步骤(17.3)。
17.7)由于p是目标车辆较少的集合L的饱和点，因此目标车辆较少的集合中存在一条边ep，将e添加到非饱和点集合V′，将p添加到已选饱和点集合B，转到步骤(17.5)。
17.8)输出集合L中目标车辆和K中目标车辆的匹配关系，输出集合L和K内未成功匹配的目标车辆。
18)计算当前检测目标集合G内每一个车辆目标在当前时刻的速度及坐标，令车辆目标的运动状态变量为Xk＝[x(k),y(k),s(k),r(k),vx(k),vy(k),vs(k)]，其中x(k)和y(k)分别表示当前时刻k的目标车辆在x轴和y轴上的位置，s(k)表示当前时刻k的目标车辆所在检测框的面积，r(k)表示当前时刻k的目标车辆所在检测框宽度和高度之比，vx(k)和vy(k)表示当前时刻k的目标车辆在x轴和y轴上的速度，可通过公式(10)～(11)计算，vs(k)表示当前时刻k的目标车辆检测框面积的变化速度，可通过公式(12)计算。判断目标集合G内目标车辆是否为新加入的目标车辆，如果是新加入的目标车辆，则初始化当前时刻k的目标车辆的预测状态估计值
Figure BDA0002512479370000151
和预测状态协方差矩阵
Figure BDA0002512479370000152
Figure BDA0002512479370000153
Figure BDA0002512479370000154
Figure BDA0002512479370000155
19)根据当前时刻k的识别结果，通过公式(13)计算观测向量与期望测量值的差；
Vk＝Zk-h(Xk|k-1) (13)
其中Zk为观测向量，h(Xk|k-1)表示期望测量值，Vk表示观测向量与期望测量值的差。通过公式(14)和(15)计算向量Vk的协方差矩阵Sk。
Figure BDA0002512479370000156
Figure BDA0002512479370000157
其中，
Figure BDA0002512479370000158
表示k-1时刻预测k时刻的状态协方差矩阵，Rk表示与观测向量相关的协方差矩阵，Hk表示与期望测量值相关的雅可比矩阵。
20)通过当前时刻k的预测状态估计值
Figure BDA0002512479370000159
计算当前时刻k的目标车辆的运动状态变量Xk：
Figure BDA00025124793700001510
其中，Kk表示最佳卡尔曼增益，可表示为：
Figure BDA0002512479370000161
通过当前时刻k的预测状态协方差矩阵
Figure BDA0002512479370000162
计算当前时刻k的状态协方差矩阵Pk：
Figure BDA0002512479370000163
其中，I表示单位矩阵。
21)对当前检测目标分别使用公式(19)预测和输出每个目标车辆的下一时刻k+1的预测状态估计值
Figure BDA0002512479370000164
Figure BDA0002512479370000165
其中Gk表示输入矩阵，Wk表示系统输入，Fk表示线性化状态转移矩阵，可表示为：
Figure BDA0002512479370000166
其中，Δt表示时刻k+1和时刻k的时间间隔，可以用帧数差表示。
22)根据当前时刻k的状态协方差矩阵Pk和过程噪声协方差矩阵Q，计算时刻k+1的预测状态协方差矩阵
Figure BDA0002512479370000167
Figure BDA0002512479370000168
其中，过程噪声矩阵Q为：
Q＝I7*7 (22)
其中，I7*7表示7×7的单位矩阵。
23)判断集合G内每一个车辆目标是否预测更新完成，若更新完成则将集合G赋予集合J，跳到步骤12，否则选择下一个目标车辆，跳到步骤18。
以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。

Claims (10)

1.基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：内容包括：
步骤1：YOLO网络参数初始化，对网上公开的数据集以及摄像头采集的图像进行处理，并增加对应标签；
步骤2：数据处理后获得包括公交车、私家车、消防车、吉普车、面包车、出租车、货车不同类别的图像若干张，对图像中所有车辆进行标注，建立训练集；
步骤3：根据当前所处状态，读取对应状态下的图像，将图像进行亮度直方化及归一化处理后送入YOLO卷积网络，完成网络模型训练后，当前状态进入应用状态，继续执行步骤4；
步骤4：根据YOLO网络检测输出，获取当前时刻目标车辆在图像中的位置信息和检测框信息，创建检测的车辆目标赋予ID，令当前帧检测目标集合G为当前帧检测出来的所有目标车辆集合；判断当前检测图像是否为视频流的第一帧，若不是，则计算上一时刻预测集合J与未成功匹配集合R的并集T，然后执行步骤5；若是第一帧，则令未成功匹配集合R为空集，继续执行步骤5；
步骤5：根据识别目标车辆类型，将集合G、集合T、集合J和集合R分别分成七个相同类型的子集合LGi、LTi、LJi、LRi；使用KM匹配算法获得集合LGi中的目标车辆与集合LTi中目标车辆的匹配关系，获得集合LGi和LTi内未成功匹配的目标车辆；如果该未匹配车辆目标属于集合LJi，则保留该车辆目标，并将该车辆目标添加到集合LRi；如果该未匹配车辆目标属于集合LGi，则该车辆目标为新加入的目标车辆，创建该目标对象赋予ID和目标参数；如果该未匹配车辆目标属于集合LRi，则记录该车辆目标未匹配成功的次数，如果该次数超过阈值，则删除该车辆目标，否则不操作；
步骤6：计算集合G内每一个车辆目标在当前时刻的速度及坐标，判断集合G内目标车辆是否为新加入的目标车辆，如果是新加入的目标车辆，则初始化当前时刻k的目标车辆的预测状态估计值
Figure FDA0002512479360000021
和预测状态协方差矩阵
Figure FDA0002512479360000022
步骤7：根据当前时刻k的识别结果，计算观测向量与期望测量值的差Vk，并计算向量Vk的协方差矩阵Sk；
步骤8：通过当前时刻k的预测状态估计值
Figure FDA0002512479360000023
计算当前时刻k的目标车辆的运动状态变量Xk；通过当前时刻k的预测状态协方差矩阵
Figure FDA0002512479360000024
计算当前时刻k的状态协方差矩阵Pk；
步骤9：对当前检测目标分别预测和输出每个目标车辆的下一时刻k+1的预测状态估计值
Figure FDA0002512479360000025
计算时刻k+1的预测状态协方差矩阵
Figure FDA0002512479360000026
步骤10：判断集合G内每一个车辆目标是否均预测更新完成，若更新完成，则将集合G赋予集合J，并加载训练好的YOLO网络模型；若尚未完成预测更新，则选择下一个目标车辆，重新执行步骤6。
2.根据权利要求1所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：所述步骤1中，初始化YOLO网络权重、偏置项和节点向量参数；利用opencv-python库的resize函数来调节图像的分辨率，增加对应标签；利用opencv-python库的getRotationMatrix2D函数，将图像进行旋转，旋转角度设置为随机生成，旋转范围为7度-15度；通过将图像往水平和垂直方向上随机移动1-10个像素距离，实现图像的平移；通过给图像做中心对称实现图像的对称数据增强。
3.根据权利要求1所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：所述步骤3中，若处于训练状态，则读取训练集中的车辆图像；若处于评估状态，则读取数据集的测试集图像；若处于应用状态，则读取摄像头采集的图像；将读取的RGB图像转化为YCbCr图像后进行亮度分量Y的直方化处理，将处理后的YCbCr图像转化为RGB图像，更新当前的图像。
4.根据权利要求1所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：所述步骤3中，网络模型的训练方法为：计算卷积神经网络中每一层输出特征值，将所有的特征值组成卷积神经网络中卷积层的输出特征值矩阵；根据当前权重矩阵进行训练，并计算损失函数，若损失函数值小于阈值则训练完成，并将当前状态修改为评估状态后执行步骤3，若损失函数值大于等于阈值，则利用损失值进行反向传播，更新网络的偏置和权重后重新进行训练。
5.根据权利要求3所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：所述步骤3中，当前状态为评估状态时，将图像送入YOLO的网络卷积层，提取图像特征，调用图像检测函数，对提取特征进行循环判断，获得检测框；根据检测框计算每一个类标签的概率，对每一个类标签概率进行判断，选择最大概率的类型作为目标；根据测试集的识别结果，计算测试集的类别精度和召回率，当类别精度和召回率均小于设定阈值，则将当前状态修改为训练状态后重新进行训练，否则认定训练模型有效，将当前状态修改为应用状态；
通过下列公式计算每一个检测框与其他检测框的两框重叠比例IOU，如果IOU值大于设定阈值，则将该框删除：
Figure FDA0002512479360000031
其中，IOU表示模型产生的目标窗口和原标记窗口的交叠率，DetectionResult表示检测框内图像数据，GroundTruth表示标注的图像数据；
测试集的类别精度Precision和召回率Recall按照下式计算：
Figure FDA0002512479360000041
Figure FDA0002512479360000042
其中，TP表示正确检测车辆数量，FP表示错误检测车辆数量，FN表示漏检的车辆数量。
6.根据权利要求1所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：所述步骤5中，对每一个相同识别类型i的KM匹配的实现方法具体如下：
5.1)判断集合LTi内目标车辆元素是否多于集合LGi：如果LTi内目标车辆元素多于或等于集合LGi内目标车辆元素，则令集合K为LTi集合，令集合L为LGi集合；若LTi内目标车辆元素小于集合LGi内目标车辆元素，则令集合K为LGi集合，令集合L为LTi集合；
5.2)通过下列公式计算集合K中每一个目标车辆与集合L中每一个目标车辆的重合比例，作为连接权重Wh：
Figure FDA0002512479360000043
其中，PredictionBox表示当前图像中上一时刻目标车辆的预测目标窗口，DetectionBox表示当前时刻目标车辆的检测目标窗口；
5.3)判断目标车辆数较少的集合L是否饱和目标车辆数较多的集合K中的所有元素：如果饱和，则输出目标车辆预测框集合K，然后退出；若仍不饱和，则继续执行步骤5.4)；
5.4)在目标车辆数较多的集合K中寻找一个目标数较少的集合L的非饱和点e，令非饱和点集合V′＝{e}，已选饱和点集合
Figure FDA0002512479360000044
5.5)如果|NG(K)|＝|K|，其中NG(K)表示目标车辆集合K的邻域，|NG(K)|表示目标车辆集合K的邻域阶数，跳到步骤5.8)；若不满足上述关系，则任选一个顶点p∈(NG(K)-B)，继续执行步骤5.6)；
5.6)如果p是目标车辆较少的集合L的饱和点，则执行步骤5.7)，否则，存在一条e和p的可扩路Path，令集合为(L-E(Path)∪(E(Path)-L)，并更新集合L为该集合，其中E(Path)表示可扩路Path的边集合，跳到步骤5.3)；
5.7)由于p是目标车辆较少的集合L的饱和点，因此目标车辆较少的集合中存在一条边ep，将e添加到非饱和点集合V′，将p添加到已选饱和点集合B，转到步骤5.5)；
5.8)输出集合L中目标车辆和K中目标车辆的匹配关系，输出集合L和K内未成功匹配的目标车辆。
7.根据权利要求1所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：进一步，所述步骤6中，令车辆目标的运动状态变量为Xk＝[x(k),y(k),s(k),r(k),vx(k),vy(k),vs(k)]，其中x(k)和y(k)分别表示当前时刻k的目标车辆在x轴和y轴上的位置，s(k)表示当前时刻k的目标车辆所在检测框的面积，r(k)表示当前时刻k的目标车辆所在检测框宽度和高度之比，vx(k)和vy(k)表示当前时刻k的目标车辆在x轴和y轴上的速度，vs(k)表示当前时刻k的目标车辆检测框面积的变化速度，vx(k)、vy(k)和vs(k)分别通过下列公式计算：
Figure FDA0002512479360000051
Figure FDA0002512479360000052
Figure FDA0002512479360000053
8.根据权利要求1所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：进一步，所述步骤7中，Vk按下式计算：
Vk＝Zk-h(Xk|k-1)
其中Zk为观测向量，h(Xk|k-1)表示期望测量值；协方差矩阵Sk按下式计算：
Figure FDA0002512479360000061
Figure FDA0002512479360000062
其中，
Figure FDA0002512479360000063
表示k-1时刻预测k时刻的状态协方差矩阵，Rk表示与观测向量相关的协方差矩阵，Hk表示与期望测量值相关的雅可比矩阵。
9.根据权利要求1所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：进一步，所述步骤8中，当前时刻k的目标车辆的运动状态变量Xk按下式计算：
Figure FDA0002512479360000064
上式中，Kk表示最佳卡尔曼增益，可表示为：
Figure FDA0002512479360000065
当前时刻k的状态协方差矩阵Pk按下式计算：
Figure FDA0002512479360000066
上式中，I表示单位矩阵。
10.根据权利要求9所述的基于改进卡尔曼滤波的多目标轨迹预测方法，其特征在于：进一步，所述预测和输出每个目标车辆的下一时刻k+1的预测状态估计值
Figure FDA0002512479360000067
时，采用如下公式计算：
Figure FDA0002512479360000068
其中Gk表示输入矩阵，Wk表示系统输入，Fk表示线性化状态转移矩阵，Fk可表示为：
Figure FDA0002512479360000071
其中，Δt表示时刻k+1和时刻k的时间间隔，可以用帧数差表示；
时刻k+1的预测状态协方差矩阵
Figure FDA0002512479360000072
计算，根据当前时刻k的状态协方差矩阵Pk和过程噪声协方差矩阵Q获得，按下式计算：
Figure FDA0002512479360000073
其中，过程噪声矩阵Q为：Q＝I7*7，I7*7表示7×7的单位矩阵。
CN202010465436.3A 2020-05-28 2020-05-28 基于改进卡尔曼滤波的多目标车辆轨迹预测方法 Active CN111667512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010465436.3A CN111667512B (zh) 2020-05-28 2020-05-28 基于改进卡尔曼滤波的多目标车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010465436.3A CN111667512B (zh) 2020-05-28 2020-05-28 基于改进卡尔曼滤波的多目标车辆轨迹预测方法

Publications (2)

Publication Number Publication Date
CN111667512A true CN111667512A (zh) 2020-09-15
CN111667512B CN111667512B (zh) 2024-04-09

Family

ID=72384801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010465436.3A Active CN111667512B (zh) 2020-05-28 2020-05-28 基于改进卡尔曼滤波的多目标车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN111667512B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562331A (zh) * 2020-11-30 2021-03-26 的卢技术有限公司 一种基于视觉感知的他方车辆轨迹预测方法
CN112801191A (zh) * 2021-02-02 2021-05-14 中国石油大学(北京) 管道事故处置的智能推荐方法、装置及设备
CN113052118A (zh) * 2021-04-07 2021-06-29 上海浩方信息技术有限公司 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质
CN113763425A (zh) * 2021-08-30 2021-12-07 青岛海信网络科技股份有限公司 道路区域标定方法及电子设备
CN114567726A (zh) * 2022-02-25 2022-05-31 苏州安智汽车零部件有限公司 一种类人眼自适应消抖前视摄像头
CN115179959A (zh) * 2022-07-18 2022-10-14 福州大学 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法
WO2022239637A1 (ja) * 2021-05-14 2022-11-17 株式会社デンソー 追跡装置、追跡方法、追跡プログラム
CN115631082A (zh) * 2022-12-21 2023-01-20 南京感动科技有限公司 一种基于高速路网拓扑结构的多场景路径还原方法
CN115661720A (zh) * 2022-11-10 2023-01-31 南京智蓝芯联信息科技有限公司 一种被遮挡车辆的目标跟踪识别方法及系统
CN116758259A (zh) * 2023-04-26 2023-09-15 中国公路工程咨询集团有限公司 一种公路资产信息识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744058A (zh) * 2013-12-24 2014-04-23 河海大学 基于指数加权衰减记忆滤波的弹道轨迹形成方法
CN107016412A (zh) * 2017-03-29 2017-08-04 北京北昂科技有限公司 基于外观和运动连续性交叉验证的自适应模板更新策略
US20180150704A1 (en) * 2016-11-28 2018-05-31 Kwangwoon University Industry-Academic Collaboration Foundation Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
KR20180080004A (ko) * 2017-01-03 2018-07-11 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN110675435A (zh) * 2019-10-08 2020-01-10 嘉兴智驾科技有限公司 基于卡尔曼滤波和χ2检测平滑处理的车辆轨迹跟踪方法
CN110688940A (zh) * 2019-09-25 2020-01-14 北京紫睛科技有限公司 一种快速的基于人脸检测的人脸追踪方法
CN110866544A (zh) * 2019-10-28 2020-03-06 杭州飞步科技有限公司 传感器数据的融合方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744058A (zh) * 2013-12-24 2014-04-23 河海大学 基于指数加权衰减记忆滤波的弹道轨迹形成方法
US20180150704A1 (en) * 2016-11-28 2018-05-31 Kwangwoon University Industry-Academic Collaboration Foundation Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
KR20180080004A (ko) * 2017-01-03 2018-07-11 국방과학연구소 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
CN107016412A (zh) * 2017-03-29 2017-08-04 北京北昂科技有限公司 基于外观和运动连续性交叉验证的自适应模板更新策略
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN110688940A (zh) * 2019-09-25 2020-01-14 北京紫睛科技有限公司 一种快速的基于人脸检测的人脸追踪方法
CN110675435A (zh) * 2019-10-08 2020-01-10 嘉兴智驾科技有限公司 基于卡尔曼滤波和χ2检测平滑处理的车辆轨迹跟踪方法
CN110866544A (zh) * 2019-10-28 2020-03-06 杭州飞步科技有限公司 传感器数据的融合方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FLORIAN PARTICKE 等: "Entropy-Based Intention Change Detection with a Multi-Hypotheses Filter", 《2018 21ST INTERNATIONAL CONFERENCE ON INFORMATION FUSION (FUSION)》 *
刘开展: "基于物体检测与光流计算的多目标速度估算与轨迹跟踪", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 7 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112562331A (zh) * 2020-11-30 2021-03-26 的卢技术有限公司 一种基于视觉感知的他方车辆轨迹预测方法
CN112801191A (zh) * 2021-02-02 2021-05-14 中国石油大学(北京) 管道事故处置的智能推荐方法、装置及设备
CN112801191B (zh) * 2021-02-02 2023-11-21 中国石油大学(北京) 管道事故处置的智能推荐方法、装置及设备
CN113052118A (zh) * 2021-04-07 2021-06-29 上海浩方信息技术有限公司 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质
WO2022239637A1 (ja) * 2021-05-14 2022-11-17 株式会社デンソー 追跡装置、追跡方法、追跡プログラム
CN113763425A (zh) * 2021-08-30 2021-12-07 青岛海信网络科技股份有限公司 道路区域标定方法及电子设备
CN114567726A (zh) * 2022-02-25 2022-05-31 苏州安智汽车零部件有限公司 一种类人眼自适应消抖前视摄像头
CN115179959A (zh) * 2022-07-18 2022-10-14 福州大学 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法
CN115661720A (zh) * 2022-11-10 2023-01-31 南京智蓝芯联信息科技有限公司 一种被遮挡车辆的目标跟踪识别方法及系统
CN115631082A (zh) * 2022-12-21 2023-01-20 南京感动科技有限公司 一种基于高速路网拓扑结构的多场景路径还原方法
CN116758259A (zh) * 2023-04-26 2023-09-15 中国公路工程咨询集团有限公司 一种公路资产信息识别方法及系统

Also Published As

Publication number Publication date
CN111667512B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN109447018B (zh) 一种基于改进Faster R-CNN的道路环境视觉感知方法
CN110796168B (zh) 一种基于改进YOLOv3的车辆检测方法
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN111310583B (zh) 一种基于改进的长短期记忆网络的车辆异常行为识别方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
Fang et al. Road-sign detection and tracking
WO2023097971A1 (zh) 4d毫米波雷达数据处理的方法
US8379928B2 (en) Obstacle detection procedure for motor vehicle
JP5124592B2 (ja) 車両を検出および追跡するためのシステムおよび方法
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
KR101395094B1 (ko) 개체 검출 방법 및 시스템
CN109658442B (zh) 多目标跟踪方法、装置、设备及计算机可读存储介质
Wu et al. Adaptive vehicle detector approach for complex environments
CN110348332B (zh) 一种交通视频场景下机非人多目标实时轨迹提取方法
Zaghari et al. The improvement in obstacle detection in autonomous vehicles using YOLO non-maximum suppression fuzzy algorithm
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
Zhang et al. A framework for turning behavior classification at intersections using 3D LIDAR
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN114049610B (zh) 一种高速公路上机动车倒车和逆行违法行为主动发现方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
CN116630920A (zh) 改进的YOLOv5s网络模型的车道线种类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant