CN111027461A - 基于多维单步lstm网络的车辆轨迹预测方法 - Google Patents

基于多维单步lstm网络的车辆轨迹预测方法 Download PDF

Info

Publication number
CN111027461A
CN111027461A CN201911243162.7A CN201911243162A CN111027461A CN 111027461 A CN111027461 A CN 111027461A CN 201911243162 A CN201911243162 A CN 201911243162A CN 111027461 A CN111027461 A CN 111027461A
Authority
CN
China
Prior art keywords
model
vehicle
prediction
frame
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911243162.7A
Other languages
English (en)
Other versions
CN111027461B (zh
Inventor
侯俊
赵嘉成
赵祥模
张阳
刘怀杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201911243162.7A priority Critical patent/CN111027461B/zh
Publication of CN111027461A publication Critical patent/CN111027461A/zh
Application granted granted Critical
Publication of CN111027461B publication Critical patent/CN111027461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种基于多维单步LSTM网络的车辆轨迹预测方法，首先针对单目摄像机存在的镜头畸变情况进行矫正，克服了因获取的行车视频数据画面失真所导致的目标检测漏检的问题；其次，利用基于KITTI数据集训练的YOLO目标检测模型来检测视频中的车辆边框坐标，采用多维单步LSTM网络，通过对前两秒的轨迹进行学习，预测一秒后的轨迹，并采用滑动窗口的方法循环学习并预测整个视频的车辆轨迹。本发明采用多维单步LSTM网络对时间序列进行预测，解决了长序列训练过程中的梯度消失与梯度爆炸问题，相比普通的利用RNN进行时间序列预测的方法，本发明能够在更长的序列中有更好的表现，能极大的降低成本，且采用端到端的模型，通过目标检测模型输出的周围车辆边框信息。

Description

基于多维单步LSTM网络的车辆轨迹预测方法
技术领域
本发明属于计算机技术领域，具体涉及一种基于多维单步LSTM网络的车辆轨迹预测方法。
背景技术
近年来，随着汽车的普及，车辆碰撞等问题所带来的交通安全问题日趋严重，交通事故频发更是严重威胁人们的生命与财产安全。为了减少行车中的碰撞问题，需要一种预测周围车辆的行车轨迹的方法从而感知危险，提前进行制动等措施。在传统的车辆轨迹预测中，大多采用激光雷达或者车载GPS设备来收集车辆的位置数据，从而对车辆的历史行驶轨迹进行分析后进行预测。但这一类方法仍存在一定局限性，激光雷达因其较为昂贵的价格使得产品难以普及，车载GPS普及过程极为缓慢。因此，目前出现通过摄像头来获取车辆位置数据的方法，由于高清摄像头价格较为低廉且目标检测技术也得到了长足的发展，通过车载单目摄像头来获取周围车辆位置数据，并以此预测周围车辆轨迹变得可行，且更符合当前的实际情况。
目前通过单目摄像头的来获得周围车辆的位置信息的方法中，在图像传感器获取图像前，必须通过镜头进行成像。由于透镜的固有特性(凸透镜汇聚光线、凹透镜发散光线)，被拍摄物体经过透镜成像后变成了弯曲的，这便是镜头畸变。由于畸变，图像中的物体失去了原来的形状，使得目标检测算法出现漏判等现象，因此需要对车载单目摄像头获取的数据进行畸变矫正。
由于汽车行驶的位置序列之间存在很强的相关性和依赖性，借助于时间序列方法能够分析与表征序列值之间的隐性关系，根据汽车行驶的历史位置序列，可以预测未来时刻的位置。而长短期记忆网络(Long Short-Term Memory，LSTM)主要用于处理时间序列数据，广泛的应用在语音识别、文本识别等领域。通过构建多维单步LSTM时间序列预测模型，对车辆的历史轨迹进行学习从而预测将来一段时刻的位置，可使驾驶员提前感知潜在的碰撞危险，提供一定的制动时间，减少车辆碰撞等交通问题。
发明内容
本发明的目的在于提供一种基于多维单步LSTM网络的车辆轨迹预测方法，采用端到端模型，通过矫正单目摄像头的镜头畸变，获取周围车辆的位置信息，分别对两个方向的坐标序列进行多维单步LSTM时间序列预测，从而达到车辆轨迹预测的目的，解决现有技术的问题。
为了实现上述目的，本发明采用的技术方案是，一种基于多维单步LSTM网络的车辆轨迹预测方法，包括以下具体步骤：
S1，获取行车视频数据；
S2，确定S1获取视频数据所用摄像头的畸变参数，具体为：
S21，使用行车记录仪拍摄标准矩形黑白棋盘格图片，并多次改变拍摄位置、拍摄角度与拍摄姿态，拍摄多张棋盘格图片；
S22，对S21拍摄得到的棋盘格图片的格角点进行检测，得到用于标定的三维点与其对应图像上的二维点对，对图像进行校准以获得摄像头内参数矩阵与畸变系数；
S3，构建基于YOLO的端到端车辆检测追踪模型，并对端到端车辆检测追踪模型进行优化；
S4，使用S22得到的摄像头内参数矩阵与畸变系数对S1所得视频数据进行逐帧的畸变矫正，得到一系列矫正后的图像，并使用S3得到的端到端车辆检测追踪模型对得到的矫正后的图像进行车辆边框检测，得到每一帧的车辆边框坐标信息；
S5，构建端到端的车辆轨迹预测模型，具体为：
S51，建立多步LSTM时间序列预测模型：确定训练集中学习组和预测组的帧数以及测试集中学习组和预测组的帧数，定义LSTM模型有一个隐藏层，以及一个用于进行预测的输出层，其中该模型的隐藏层有50个LSTM单元，输出层预测单个数值；
S52，在算法层采用adam对损失函数mse对S51所构建的模型进行优化，得到优化后的端到端的车辆轨迹预测模型；
S6，将S3得到的车辆边框信息的X，Y坐标构成时间序列，分别输入S5所得端到端的车辆轨迹预测模型进行训练，得到预测的X，Y坐标序列，并绘制预测车辆的边框信息；
S7，车辆在行驶过程中，根据所得行车记录仪实时采集的视频信息、S5所构建的模型以及S6所得车辆的边框信息，实现车辆轨迹预测。
S1中，行车中视频数据来自行车记录仪中的视频，采用H.264/MOV格式以1280×720的分辨率进行编码。
S2中，使用单目摄像头，所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码。
S21中，在保证摄像头光圈、焦距不变的情况下，多次改变拍摄位置、拍摄角度，使棋盘格图片在摄像头视野内的左上角、右上角、左下角、右下角以及正中心不同位置，拍摄时要有倾斜角度，且使棋盘格图片占据摄像头视野的1/4，拍摄15张棋盘格图片。
构建基于YOLO的端到端车辆检测追踪模型，具体包括以下步骤：
S31，使用ImageNet 1000类数据训练YOLO网络的前20个卷积层、1个平均池化层以及一个全连接层，得到预训练检测追踪模型；
S32，对S31得到的前20个卷积层网络参数来初始化YOLO模型的前20个卷积层的网络参数，然后使用转化为VOC格式的KITTI 3类标注数据集(Car，Van，Truck)进行YOLO模型训练，同时为了提高精度，得到训练检测追踪模型和权重参数；
S33，对S32所构建的模型进优化，在卷积层全部使用Batch Normalization对模型进行优化，得到优化后的端到端车辆检测追踪模型。
S32中，调整训练图像的分辨率为224×224；
S33中，调整输入图像分辨率为448×448。
将步骤S4检测到的车辆边框坐标信息分为水平坐标X与竖直坐标Y，并逐帧构建时间序列X(X1，X2…Xi)与Y(Y1，Y2…Yi)，分别对两个时间序列在S5中进行预测。
采用均方和误差作为loss函数评估S32所得训练模型的稳健性和精确度，即网络输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方和误差；loss为：
Figure BDA0002306822980000041
其中coordError为预测数据与标定数据之间的坐标误差，iouError为IOU误差，classError为分类误差。
S5中，S5中，训练集中学习组为第i～i+29帧，训练集中预测组为第i+60帧，测试集的学习组为第i+30～i+59帧，测试集的预测组为第i+90帧，其中i＝1，2，3…30为一个预测周期，预测周期取决于S1所获取视频数据的分辨率。
S5中，模型的运行环境为：GeForce GTX 760、16GB RAM和Keras 2.2.4；网络各层均使用修正单元Relu作为激活函数。
与现有技术相比，本发明至少具有以下有益效果：
首先本发明针对单目摄像机存在的镜头畸变情况进行矫正，克服了因获取的行车视频数据画面失真所导致的目标检测漏检的问题；其次，利用基于KITTI数据集训练的YOLO目标检测模型来检测视频中的车辆边框坐标，本发明采用多维单步LSTM网络对时间序列进行预测，解决了长序列训练过程中的梯度消失与梯度爆炸问题，相比普通的利用RNN进行时间序列预测的方法，本发明能够在更长的序列中有更好的表现，同时在收集车辆位置信息的方式上；仿真结果表明，本发明能够较为准确的预测行驶中的车辆一秒后的位置，同时在模型泛化方面具有一定的有效性与可靠性，可以广泛应用于各类高级辅助驾驶系统的防碰撞环节中。
进一步的，本发明仅采用一个车载单目摄像头，相比于使用激光雷达的相关方法，能极大的降低成本，且采用端到端的模型，通过目标检测模型输出的周围车辆边框信息，输入单目摄像机采集的视频数据，可直接预测出该车辆一秒后的位置信息，从而简化了预测模式。
进一步的，S32中，调整训练图像的分辨率为224×224；能够在不失真的条件下提高处理速度，S33中，调整输入图像分辨率为448×448能有效提高精度。
进一步的，本发明逐帧将边框信息分为水平坐标时间序列X(X1，X2…Xi)与竖直坐标时间序列Y(Y1，Y2…Yi)；最后，分别对两个时间序列进行预测，采用多维单步LSTM网络，通过对前两秒的轨迹进行学习，预测一秒后的轨迹，并采用滑动窗口的方法循环学习并预测整个视频的车辆轨迹。
附图说明
图1是本发明的实现流程框图。
图2a是棋盘图标定前的图像数据采集的图像数据。
图2b为棋盘图标定后的图像数据采集的图像数据。
图3a为畸变矫正前的图像数据和图3b为畸变矫正后的图像数据。
图4a为在原视频中第一时间的预测结果。
图4b为在原视频中相对图4a预测时间的下一时间预测结果。
图4c为在原视频中相对图4b预测时间的下一时间预测结果。
图4d为在原视频中相对图4c预测时间的下一时间预测结果。
图5a是一个方向上的预测结果与真实结果的对比效果图。
图5b是另一个方向上的预测结果与真实结果的对比效果图。
图6是本发明的预测算法模型架构图。
图7是本发明的时间序列预测结构图。
具体实施方式
本发明首先利用行车记录仪采集行车视频数据，通过棋盘标定法获取使用的行车记录仪的镜头畸变系数对获取的视频进行畸变矫正，利用基于KITTI数据集训练的YOLO作为车辆特征提取网络，获取视频中出现的临近车辆的坐标信息，并将坐标转化为两个方向的时间序列，通过多维单步LSTM预测模型，分别对两个时间序列进行预测，输出预测结果并合成在原视频中。
参考图1，一种基于多维单步LSTM网络的车辆轨迹预测方法，包括以下具体步骤：
S1，获取行车视频数据；行车中视频数据来自行车记录仪中的视频，采用H.264/MOV格式以1280×720的分辨率进行编码；
S2，确定S1获取视频数据所用摄像头的畸变参数，使用单目摄像头，所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码，具体为：
S21，使用行车记录仪拍摄标准矩形黑白棋盘格图片，并多次改变拍摄位置、拍摄角度与拍摄姿态，拍摄多张棋盘格图片；在保证摄像头光圈、焦距不变的情况下，多次改变拍摄位置、拍摄角度，使棋盘格图片在摄像头视野内的左上角、右上角、左下角、右下角以及正中心不同位置，拍摄时要有倾斜角度，且使棋盘格图片占据摄像头视野的1/4，拍摄15张棋盘格图片；
S22，对S21拍摄得到的棋盘格图片的格角点进行检测，得到用于标定的三维点与其对应图像上的二维点对，对图像进行校准以获得摄像头内参数矩阵与畸变系数；
S3，构建基于YOLO的端到端车辆检测追踪模型，并对端到端车辆检测追踪模型进行优化；
S4，使用S22得到的摄像头内参数矩阵与畸变系数对S1所得视频数据进行逐帧的畸变矫正，得到一系列矫正后的图像，并使用S3得到的端到端车辆检测追踪模型对得到的矫正后的图像进行车辆边框检测，得到每一帧的车辆边框坐标信息；
S5，构建端到端的车辆轨迹预测模型，具体为：
S51，建立多步LSTM时间序列预测模型：确定训练集中学习组和预测组的帧数以及测试集中学习组和预测组的帧数，定义LSTM模型有一个隐藏层，以及一个用于进行预测的输出层，其中该模型的隐藏层有50个LSTM单元，输出层预测单个数值；S5中，训练集中学习组为第i～i+29帧，训练集中预测组为第i+60帧，测试集的学习组为第i+30～i+59帧，测试集的预测组为第i+90帧，其中i＝1，2，3…30为一个预测周期，预测周期取决于S1所获取视频数据的分辨率；
S52，在算法层采用adam对损失函数mse对S51所构建的模型进行优化，得到优化后的端到端的车辆轨迹预测模型；运行环境为：GeForce GTX 760、16GB RAM和Keras 2.2.4；网络各层均使用修正单元Relu作为激活函数。
S6，将S3得到的车辆边框信息的X，Y坐标构成时间序列，分别输入S5所得端到端的车辆轨迹预测模型进行训练，得到预测的X，Y坐标序列，并绘制预测车辆的边框信息；
S7，车辆在行驶过程中，根据所得行车记录仪实时采集的视频信息、S5所构建的模型以及S6所得车辆的边框信息，实现车辆轨迹预测。
S3中，构建基于YOLO的端到端车辆检测追踪模型，具体包括以下步骤：
S31，使用ImageNet 1000类数据训练YOLO网络的前20个卷积层、1个平均池化层以及一个全连接层，调整训练图像的分辨率为224×224；得到预训练检测追踪模型；
S32，对S31得到的前20个卷积层网络参数来初始化YOLO模型的前20个卷积层的网络参数，然后使用转化为VOC格式的KITTI 3类标注数据集(Car，Van，Truck)进行YOLO模型训练，同时为了提高精度，得到训练检测追踪模型和权重参数；
S33，对S32所构建的模型进优化，在卷积层全部使用Batch Normalization对模型进行优化，调整输入图像分辨率为448×448，得到优化后的端到端车辆检测追踪模型。
将步骤S4检测到的车辆边框坐标信息分为水平坐标X与竖直坐标Y，并逐帧构建时间序列X(X1，X2…Xi)与Y(Y1，Y2…Yi)，分别对两个时间序列在S5中进行预测。
采用均方和误差作为loss函数评估S32所得训练模型的稳健性和精确度，即网络输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方和误差；loss为：
Figure BDA0002306822980000071
其中coordError为预测数据与标定数据之间的坐标误差，iouError为IOU误差，classError为分类误差。
参照图1，本发明的具体实现步骤如下：
S1，使用车载行车记录仪采集行车中视频数据
首先利用行车记录仪采集行车视频数据，采用H.264/MOV格式以1280×720的分辨率进行编码。
S2，确定单目摄像头的畸变参数
通过单目摄像机获取的视频数据会因为透镜的固有特性而产生畸变，引起失真，因此需要对获取的视频数据进行畸变矫正。
使用该行车记录仪拍摄标准10×7(7行10列)黑白棋盘格图片，并多次改变拍摄位置、拍摄角度与拍摄姿态，拍摄15张，所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码，对拍摄的棋盘照片的格角点进行检测，计算畸变参数，其中径向畸变三个(k1，k2，k3)，切向畸变两个(p1，p2)，参考图2a和图2b。
径向畸变：
Xcorrect＝x(1+k1r2+k2r4+k3r6)
Ycorrect＝y(1+k1r2+k2r4+k3r6)
切向畸变：
Xcorrect＝x+[2p1xy+p2(r2+2x2)]
Ycorrect＝y+[p1(r2+2y2)+2p2xy]
S3，构建基于YOLO的端到端车辆检测追踪模型，参考图3a和图3b：
S31，预训练：使用ImageNet 1000类数据训练YOLO网络的前20个卷积层、1个平均池化层以及一个全连接层，同时调整训练图像的分辨率为224×224；其中，卷积层用来提取图像特征，全连接层用来检测图像位置。
S32，训练检测模型：对步骤S31得到的前20个卷积层网络参数来初始化YOLO模型的前20个卷积层的网络参数，保留泛化能力，然后使用转化为VOC格式的KITTI 3类标注数据集(Car，Van，Truck)进行YOLO模型训练，同时为了提高精度，调整输入图像分辨率为448×448；
S33，采用Batch Normalization在网络模型的中间层内添加正态标准化处理，作为BN层出现，同时约束网络模型在训练过程中自动调整该标准化的强度，从而加快训练速度并降低权值初始化的成本；使用RELU作为激活函数，同时为了防止过拟合，在全连接层后加上一个ratio＝0.5的输出层；
S4，将S1中获取的视频按图片逐帧提取，并通过S2中得到的畸变参数来矫正畸变图像，使用S32得到的检测模型对矫正后的图像进行车辆边框检测，得到每一帧的车辆矩形边框信息(x1，y1)与(x2，y2)，分别为矩形边框的左上角坐标与右下角坐标，为便于后续计算，将每一帧的数据保存为矩形边框的中心坐标(X，Y)，矩形高度h，矩形宽度w。
S5，构建端到端的车辆轨迹预测模型：
S51，建立多维单步LSTM时间序列预测模型，具体为：分别对S3得到的每一帧的中心坐标构建时间序列X(X1，X2…Xi)与Y(Y1，Y2…Y)，采用滑动窗口分割数据，训练集与测试集的构成形式如图7所示，学习组一组为30帧数据，预测组一组为1帧数据，通过学习训练集的30组数据来对测试集的30组数据进行预测；
参考图6，S5中，训练集中学习组为第i～i+29帧，训练集中预测组为第i+60帧，测试集的学习组为第i+30～i+59帧，测试集的预测组为第i+90帧，其中i＝1，2，3…30为一个预测周期，预测周期取决于S1所获取视频数据的分辨率；
使用scikit-learn中的MinMaxScaler函数对学习组数据进行归一化，定义LSTM模型有一个隐藏层，以及一个用于进行预测的输出层，其中该模型的隐藏层有50个LSTM单元，输出层预测单个数值；
S52，在算法层采用adam对损失函数mse对S51所构建的模型进行优化，得到优化后的端到端的车辆轨迹预测模型；
采用MSE(Mean Squared Error)对S51所得训练模型的稳健性和精确度进行评估，MSE的值越小，说明预测模型描述实验数据具有更好的精确度，
Figure BDA0002306822980000091
其中，
Figure BDA0002306822980000092
为第i组数据的真实值，
Figure BDA0002306822980000093
为模型对第i组数据的预测值，N为数据集的大小；
S6，将S51得到的车辆边框信息的X，Y坐标构成时间序列，分别带入S51所构建的模型进行训练，得到预测的X，Y坐标序列，并使用moviepy.editor函数绘制预测车辆的边框信息。
S7，车辆在行驶过程中，采用S2所得摄像机镜头畸变参数对行车记录仪的视频数据进行矫正，使用S3所构建的模型对视频中的车辆位置进行检测，输出车辆位置坐标，借助S5中的预测模型对下一秒的位置进行预测，得到临近车辆的下一时刻位置，如图4a、图4b、图4c以及图4d所示。本发明模型预测结果与测试集性能比较结果如图5a和图5b所示，本发明所得训练模型的稳健性和精确度均符合要求。

Claims (10)

1.基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，包括以下具体步骤：
S1，获取行车视频数据；
S2，确定S1获取视频数据所用摄像头的畸变参数，具体为：
S21，使用行车记录仪拍摄标准矩形黑白棋盘格图片，并多次改变拍摄位置、拍摄角度与拍摄姿态，拍摄多张棋盘格图片；
S22，对S21拍摄得到的棋盘格图片的格角点进行检测，得到用于标定的三维点与其对应图像上的二维点对，对图像进行校准以获得S1获取视频数据所用摄像头内参数矩阵与畸变系数；
S3，构建基于YOLO的端到端车辆检测追踪模型，并对端到端车辆检测追踪模型进行优化；
S4，使用S22得到的摄像头内参数矩阵与畸变系数对S1所得视频数据进行逐帧的畸变矫正，得到一系列矫正后的图像，并使用S3得到的端到端车辆检测追踪模型对得到的矫正后的图像进行车辆边框检测，得到每一帧的车辆边框坐标信息；
S5，构建端到端的车辆轨迹预测模型，具体为：
S51，建立多步LSTM时间序列预测模型：确定训练集中学习组和预测组的帧数以及测试集中学习组和预测组的帧数，定义LSTM模型有一个隐藏层，以及一个用于进行预测的输出层，其中该模型的隐藏层有50个LSTM单元，输出层预测单个数值；
S52，在算法层采用adam对损失函数mse对S51所构建的模型进行优化，得到优化后的端到端的车辆轨迹预测模型；
S6，将S3得到的车辆边框信息的X，Y坐标构成时间序列，分别输入S5所得端到端的车辆轨迹预测模型进行训练，得到预测的X，Y坐标序列，并绘制预测车辆的边框信息；
S7，车辆在行驶过程中，根据所得行车记录仪实时采集的视频信息、S5所构建的模型以及S6所得车辆的边框信息，实现车辆轨迹预测。
2.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，S1中，行车中视频数据来自行车记录仪中的视频，采用H.264/MOV格式以1280×720的分辨率进行编码。
3.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，S2中，使用单目摄像头，所拍摄的棋盘图片采用JPEG格式以1280×720分辨率进行编码。
4.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，S21中，在保证摄像头光圈、焦距不变的情况下，多次改变拍摄位置、拍摄角度，使棋盘格图片在摄像头视野内的左上角、右上角、左下角、右下角以及正中心不同位置，拍摄时设有倾斜角度，且使棋盘格图片占据摄像头视野的1/4，拍摄15张棋盘格图片。
5.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，构建基于YOLO的端到端车辆检测追踪模型，具体包括以下步骤：
S31，使用ImageNet 1000类数据训练YOLO网络的前20个卷积层、1个平均池化层以及一个全连接层，得到预训练检测追踪模型；
S32，对S31得到的前20个卷积层网络参数来初始化YOLO模型的前20个卷积层的网络参数，然后使用转化为VOC格式的KITTI 3类标注数据集进行YOLO模型训练，得到训练检测追踪模型和权重参数；
S33，对S32所构建的模型进优化，在卷积层全部使用Batch Normalization对模型进行优化，得到优化后的端到端车辆检测追踪模型。
6.根据权利要求5所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，S32中，调整训练图像的分辨率为224×224；
S33中，调整输入图像分辨率为448×448。
7.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，将步骤S4检测到的车辆边框坐标信息分为水平坐标X与竖直坐标Y，并逐帧构建时间序列X(X1，X2…Xi)与Y(Y1，Y2…Yi)，分别对两个时间序列在S5中进行预测。
8.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，采用均方和误差作为loss函数评估S32所得训练模型的稳健性和精确度，即网络输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方和误差；loss为：
Figure FDA0002306822970000031
其中coordError为预测数据与标定数据之间的坐标误差，iouError为IOU误差，classError为分类误差。
9.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，S5中，训练集中学习组为第i～i+29帧，训练集中预测组为第i+60帧，测试集的学习组为第i+30～i+59帧，测试集的预测组为第i+90帧，其中i＝1，2，3…30为一个预测周期，预测周期取决于S1所获取视频数据的分辨率。
10.根据权利要求1所述的基于多维单步LSTM网络的车辆轨迹预测方法，其特征在于，S5中，模型的运行环境为：GeForce GTX 760、16GB RAM和Keras 2.2.4；网络各层均使用修正单元Relu作为激活函数。
CN201911243162.7A 2019-12-06 2019-12-06 基于多维单步lstm网络的车辆轨迹预测方法 Active CN111027461B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911243162.7A CN111027461B (zh) 2019-12-06 2019-12-06 基于多维单步lstm网络的车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911243162.7A CN111027461B (zh) 2019-12-06 2019-12-06 基于多维单步lstm网络的车辆轨迹预测方法

Publications (2)

Publication Number Publication Date
CN111027461A true CN111027461A (zh) 2020-04-17
CN111027461B CN111027461B (zh) 2022-04-29

Family

ID=70204574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911243162.7A Active CN111027461B (zh) 2019-12-06 2019-12-06 基于多维单步lstm网络的车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN111027461B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860269A (zh) * 2020-07-13 2020-10-30 南京航空航天大学 一种多特征融合的串联rnn结构及行人预测方法
CN111932583A (zh) * 2020-06-05 2020-11-13 西安羚控电子科技有限公司 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN112364119A (zh) * 2020-12-01 2021-02-12 国家海洋信息中心 基于lstm编解码模型的海洋浮标轨迹预测方法
CN112907622A (zh) * 2021-01-20 2021-06-04 厦门市七星通联科技有限公司 视频中目标物体的轨迹识别方法、装置、设备、存储介质
CN113269115A (zh) * 2021-06-04 2021-08-17 北京易航远智科技有限公司 一种基于Informer的行人轨迹预测方法
CN113592905A (zh) * 2021-07-12 2021-11-02 北京航空航天大学 基于单目摄像头的车辆行驶轨迹预测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809131A (zh) * 2016-03-08 2016-07-27 宁波裕兰信息科技有限公司 一种基于图像处理技术进行车位积水检测的方法及系统
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
CN107492113A (zh) * 2017-06-01 2017-12-19 南京行者易智能交通科技有限公司 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法
US20180120843A1 (en) * 2016-11-03 2018-05-03 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Vehicle Using Neural Network
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109829936A (zh) * 2019-01-29 2019-05-31 青岛海信网络科技股份有限公司 一种目标追踪的方法及设备
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法
CN110223510A (zh) * 2019-04-24 2019-09-10 长安大学 一种基于神经网络lstm的多因素短期车流量预测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
CN105809131A (zh) * 2016-03-08 2016-07-27 宁波裕兰信息科技有限公司 一种基于图像处理技术进行车位积水检测的方法及系统
US20180120843A1 (en) * 2016-11-03 2018-05-03 Mitsubishi Electric Research Laboratories, Inc. System and Method for Controlling Vehicle Using Neural Network
CN107492113A (zh) * 2017-06-01 2017-12-19 南京行者易智能交通科技有限公司 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法
CN109829386A (zh) * 2019-01-04 2019-05-31 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109934844A (zh) * 2019-01-28 2019-06-25 中国人民解放军战略支援部队信息工程大学 一种融合地理空间信息的多目标跟踪方法及系统
CN109829936A (zh) * 2019-01-29 2019-05-31 青岛海信网络科技股份有限公司 一种目标追踪的方法及设备
CN110223510A (zh) * 2019-04-24 2019-09-10 长安大学 一种基于神经网络lstm的多因素短期车流量预测方法
CN110135314A (zh) * 2019-05-07 2019-08-16 电子科技大学 一种基于深度轨迹预测的多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANGHAN NING等: "Spatially supervised recurrent convolutional neural networks for visual object tracking", 《2017 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS)》 *
高军等: "基于YOLO和RRN的运动目标跟踪方法", 《计算机工程与设计》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932583A (zh) * 2020-06-05 2020-11-13 西安羚控电子科技有限公司 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN111860269A (zh) * 2020-07-13 2020-10-30 南京航空航天大学 一种多特征融合的串联rnn结构及行人预测方法
CN111860269B (zh) * 2020-07-13 2024-04-16 南京航空航天大学 一种多特征融合的串联rnn结构及行人预测方法
CN112364119A (zh) * 2020-12-01 2021-02-12 国家海洋信息中心 基于lstm编解码模型的海洋浮标轨迹预测方法
CN112364119B (zh) * 2020-12-01 2023-04-18 国家海洋信息中心 基于lstm编解码模型的海洋浮标轨迹预测方法
CN112907622A (zh) * 2021-01-20 2021-06-04 厦门市七星通联科技有限公司 视频中目标物体的轨迹识别方法、装置、设备、存储介质
CN113269115A (zh) * 2021-06-04 2021-08-17 北京易航远智科技有限公司 一种基于Informer的行人轨迹预测方法
CN113269115B (zh) * 2021-06-04 2024-02-09 北京易航远智科技有限公司 一种基于Informer的行人轨迹预测方法
CN113592905A (zh) * 2021-07-12 2021-11-02 北京航空航天大学 基于单目摄像头的车辆行驶轨迹预测方法
CN113592905B (zh) * 2021-07-12 2023-07-07 北京航空航天大学 基于单目摄像头的车辆行驶轨迹预测方法

Also Published As

Publication number Publication date
CN111027461B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN111027461B (zh) 基于多维单步lstm网络的车辆轨迹预测方法
CN110210350B (zh) 一种基于深度学习的快速停车位检测方法
US20070127778A1 (en) Object detecting system and object detecting method
US20030190058A1 (en) Apparatus and method for measuring queue length of vehicles
US20040234136A1 (en) System and method for vehicle detection and tracking
EP1679639A1 (en) Object classification method for a collision warning system
CN107480646B (zh) 一种基于双目视觉的车载视频异常运动检测方法
US8867845B2 (en) Path recognition device, vehicle, path recognition method, and path recognition program
CN111709416A (zh) 车牌定位方法、装置、系统及存储介质
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN111444778A (zh) 一种车道线检测方法
CN112381132A (zh) 一种基于多个摄像头融合的目标物跟踪方法和系统
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN113449650A (zh) 一种车道线检测系统及方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN114092683A (zh) 基于视觉反馈和深度网络的轮胎变形量识别方法及装置
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN114898353A (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN112070039B (zh) 一种基于哈希编码的车辆碰撞检测方法及系统
CN116740657A (zh) 一种基于相似三角形的目标检测以及测距方法
KR102489884B1 (ko) 차량 번호판 인식율 개선을 위한 이미지 처리 장치 및 이를 이용한 이미지 처리 방법
WO2018143277A1 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN112946627B (zh) 基于视觉信息的毫米波雷达检测系统及检测方法
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant