CN113837298A - 基于深度学习的智能车辆周边行人行为预测方法和系统 - Google Patents

基于深度学习的智能车辆周边行人行为预测方法和系统 Download PDF

Info

Publication number
CN113837298A
CN113837298A CN202111144955.0A CN202111144955A CN113837298A CN 113837298 A CN113837298 A CN 113837298A CN 202111144955 A CN202111144955 A CN 202111144955A CN 113837298 A CN113837298 A CN 113837298A
Authority
CN
China
Prior art keywords
pedestrian
speed
neural network
convolutional neural
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111144955.0A
Other languages
English (en)
Other versions
CN113837298B (zh
Inventor
高洪波
王源源
何希
朱菊萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Advanced Technology University of Science and Technology of China filed Critical Institute of Advanced Technology University of Science and Technology of China
Priority to CN202111144955.0A priority Critical patent/CN113837298B/zh
Publication of CN113837298A publication Critical patent/CN113837298A/zh
Application granted granted Critical
Publication of CN113837298B publication Critical patent/CN113837298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的智能车辆周边行人行为预测方法，所述方法包括如下步骤：步骤S1：检测车辆自身位置，记录车辆自身运动数据；步骤S2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；步骤S3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；步骤S4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。本发明简化预测方法，提高预测速度；提高对行人行为预测的精确度；可持续迭代得到长时间的预测轨迹，对智能车辆研究具有重要意义。

Description

基于深度学习的智能车辆周边行人行为预测方法和系统
技术领域
本发明涉及智能驾驶的技术领域，具体地，涉及基于深度学习的智能车辆周边行人行为预测方法和系统。
背景技术
智能驾驶是战略性新兴产业的一个重要的组成部分，发展智能驾驶不但能提高交通效率和减少事故发生率，对国家战略发展以及综合国力提升同样具有重要意义，同时，对智能驾驶技术的研究可以提升我国在深度学习以及汽车方面的综合竞争力，具有重要意义。
根据最近的一份报告，约90％的事故原因来自于驾驶员的错误，比如：30％的事故是由于驾驶员醉酒，10％的事故是驾驶员分心造成的，而随着机器学习的发展，我们也逐渐认识到智能车辆有潜力能减少有驾驶员操作失误造成的交通事故，而且，通过智能车辆的行为预测，也能把劳动力从简单和重复的驾驶中解放出来，提高生产力。
智能车辆的行为预测会根据周围环境当前和过去的观测来预测附近障碍物的未来状态，这个功能有助于帮助车辆驾驶时降低风险，但是，常规的行为预测解决方案适用于较短预测范围的简单驾驶情况，最近，与传统方法相比基于深度学习的方法在更复杂的环境中具有优越的性能，因此变得流行。
实际上，为了在道路上安全有效地运行，自动驾驶汽车不仅应了解附近道路参与者的当前状态，而且应主动预测其未来的行为(也称为运动或轨迹)，这个普遍问题的其中一个重要部分就是预测行人，或弱势道路参与者的行为，但目前绝大多数的智能车辆都将周边车辆行为预测放在了首位，而对行人的行为预测则普遍较少，通过对智能车辆周边行人的行为预测，能帮助驾驶员减少事故发生率，最大限度地保障驾驶员进而行人的安全。
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，使用CNN进行特征提取，优点就是使用者完全不用关心具体的特征是哪些，即实现了特征提取的封装，这种封装在智能驾驶的研究中具有极高的应用价值，同时其优越的效果和正确率也让其具有在智能驾驶研究中不可替代的地位，通过将行人行为轨迹以矩阵形式作为输入数据并进行特征提取，可以较为简单地实现对行人行为倾向的预测，从而对行人轨迹实现预测，实现对智能驾驶的辅助效果。
本发明方法包括对道路环境、行人状况检测、对道路方向系的选取、对行人历史运动信息进行采集并处理，并根据行人欲道路的相对位置实现对行人状态的初步判断，进而选择合适的模型对行人行为轨迹进行预测，并最终输出预测得到的行人轨迹进行评估。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于深度学习的智能车辆周边行人行为预测方法和系统。
根据本发明提供的一种基于深度学习的智能车辆周边行人行为预测方法，所述方法包括如下步骤：
步骤S1：检测车辆自身位置，记录车辆自身运动数据；
步骤S2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；
步骤S3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；
步骤S4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
优选地，所述步骤S2包括：
通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；
根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测。
优选地，所述步骤S3包括：
对输入的数据进行处理，采用变卷积核的方法对输入数据进行特征提取，通过调节行人在各方向上前进的权重实现对行人行动特征的有效提取；
步骤S3.1：采用卷积核对输入数据矩阵进行卷积；通过对卷积核的调整，将特征提取由池化层提前到了卷积层；
步骤S3.2：数据矩阵通过权重卷积核消除了各方向的权重差，进入池化层；池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层
步骤S3.3：得到的4*4矩阵后进入全连接层，将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练；对全连接层的训练完成后，通过新的数据对卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，通过反复调试，得到各种情况下结果最优的各方向权重；
步骤S3.4：完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。
优选地，所述步骤S3.4包括：对输出结果为速度大小的全连接层进行训练时，以速度大小作为输出结果；对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C和行人的主要前进方向相反方向D上，通过比重的形式表述；训练后的全连接层，赋予A、B、C、D相应的比重，通过比重确定预测的行人移动方向，通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。
优选地，通过对输出数据的迭代得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，初始位置与两轨迹构成一完整闭合图形，通过对闭合图形面积S的计算，得到卷积神经网络CNN的评价指标。
本发明还提供一种基于深度学习的智能车辆周边行人行为预测系统，所述系统包括如下模块：
模块M1：检测车辆自身位置，记录车辆自身运动数据；
模块M2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；
模块M3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；
模块M4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
优选地，所述模块M2包括：
通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；
根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测。
优选地，所述模块M3包括：
对输入的数据进行处理，采用变卷积核的方法对输入数据进行特征提取，通过调节行人在各方向上前进的权重实现对行人行动特征的有效提取；
模块M3.1：采用卷积核对输入数据矩阵进行卷积；通过对卷积核的调整，将特征提取由池化层提前到了卷积层；
模块M3.2：数据矩阵通过权重卷积核消除了各方向的权重差，进入池化层；池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层
模块M3.3：得到的4*4矩阵后进入全连接层，将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练；对全连接层的训练完成后，通过新的数据对卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，通过反复调试，得到各种情况下结果最优的各方向权重；
模块M3.4：完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。
优选地，所述模块M3.4包括：对输出结果为速度大小的全连接层进行训练时，以速度大小作为输出结果；对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C和行人的主要前进方向相反方向D上，通过比重的形式表述；训练后的全连接层，赋予A、B、C、D相应的比重，通过比重确定预测的行人移动方向，通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。
优选地，通过对输出数据的迭代得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，初始位置与两轨迹构成一完整闭合图形，通过对闭合图形面积S的计算，得到卷积神经网络CNN的评价指标。
与现有技术相比，本发明具有如下的有益效果：
1、本发明简化预测方法，提高预测速度；
2、本发明提高对行人行为预测的精确度；
3、本发明可持续迭代得到长时间的预测轨迹，对智能车辆研究具有重要意义。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是一种基于深度学习的智能车辆周边行人行为预测方法流程示意图；
图2是道路方向系示意图；
图3是道路模拟图；
图4是卷积神经网络结构图；
图5是卷积神经网络训练流程图；
图6是预测轨迹图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供一种基于深度学习的智能车辆周边行人行为预测方法，包括：步骤1：检测车辆自身位置，并记录车辆自身运动数据。
步骤2：利用车载传感器对智能车辆周边障碍物进行检测，并对周围道路环境进行定位与分类，同时确定行人位置及运动状态；通过车辆传感器的数据建立道路方向系，并将其均匀划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，并以该行人的移动轨迹确定其主要前进方向A；根据道路方向系获得该行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，并通过补行的方式将得到的数据用10*10矩阵Vp表示，其中Vp的形式如下：
Figure BDA0003285113060000061
其中行表示不同方向，列表示时间推移，此矩阵将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测；通过行人所在位置以及道路信息判断行人主要前进方向A的垂直方向B、C上是否存在可选道路，若存在，则定义为true，否则定义为false。判断垂直方向B、C上是否存在可选道路时，目标预测时间内行人沿主要前进方向A走过的距离上若存在可选道路，同样视为true。
步骤3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；为了更好地从行人之前的行动轨迹中提取特征从而实现对行人轨迹的预测，必须对输入的数据进行处理，这里采用变卷积核的方法对输入数据进行特征提取：即通过调节特定情况下行人在各方向上前进的权重实现对行人行动特征的有效提取。通过权利要求2得到行人的主要前进方向A，并通过权利要求4对行人主要前进方向A的垂直方向B、C上是否存在可选道路，从而确定各方向所占权重t1、t2…t8，进而构建卷积核。这里的权重同样需要通过训练以及调试得到一个更为接近的结果；为了实现对输入数据初步的特征提取，须采用卷积核对输入数据矩阵进行卷积。这里构建3*3卷积核从左到右、从上到下地对输入数据进行卷积，将输入的10*10矩阵进行特征提取为8*8的矩阵。通过对卷积核的调整，将主要的特征提取由池化层提前到了卷积层，减少了不同方向上权重不同对特征提取的影响。不同行对应的卷积核由该行方向对应的权重决定，从而实现对不同方向上的速度进行有效的特征提取。如第一行的卷积核为：
t8 t1 t2
t8 t1 t2
t8 t1 t2
原始输入的数据矩阵经过卷积核特征提取后得到8*8矩阵，此时的矩阵因为已经通过权重卷积核消除了各方向的权重差，因此各行具有一致性，并进入池化层。由于各行的权重差在卷积层已经被消除，因此池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层；得到的4*4矩阵已经实现将行人行动轨迹特征进行提取，此时直接进入全连接层，并将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练。对全连接层的训练完成后，可通过新的数据对已经实现的卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，并通过反复调试，得到各种情况下结果最优的各方向权重。完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。对输出结果为速度大小的全连接层进行训练时，直接以速度大小作为输出结果。对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，即将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C、以及行人的主要前进方向相反方向D上，通过比重的形式表述。训练后的全连接层，并不直接输出预测行人行动方向，而是赋予A、B、C、D相应的比重，通过比重从而确定预测的行人移动方向，并通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。
步骤4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
对输出结果的评价过程，通过对输出数据的迭代可得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，并将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，此时初始位置与两轨迹构成一完整闭合图形，通过对该图形面积S的计算，即可得到该卷积神经网络CNN的评价指标：S越小，则预测轨迹越接近实际轨迹；S越大，则越偏离实际轨迹。
数据集的场景需完整，并且有较高的采样频率；数据集的场景设置在无信号的交叉点，这里行人经常通过，事故更容易发生，且人行道与机动车道相分离。为确保安全，对最高车速要有所限制。
具体来说，信息数据的收集过程如下：
行人的真实地面位置可以通过道路的平面视图标记获得。为获取前方道路几何信息，智能车辆可以在数字地图中定位自己。道路坐标系与交叉口布局对齐。并将收集到的道路数据同样由平面视图表示。其中道路坐标系如图2所示，道路模拟图如图3所示.
交叉口布局和收集的数据场景，是基于行人与周围的道路布局，并且分为两类，包括：行人沿主要前进方向A在预测时间内走过的距离中在垂直于A的方向上存在道路、行人沿主要前进方向A在预测时间内走过的距离中在垂直于A的方向上不存在道路。
收集的信息中记录的帧有以下特征：道路交叉口数据在初始收集并建立平面视图后不再变动，并根据交叉口位置建立道路坐标系，通过将行人位置在平面视图上标记，可以方便进一步逐帧记录行人运动状态。其中进入交叉口入口线的第一帧记作TTE＝0，之后所有帧均取正值。之后逐帧记录行人的速度大小及方向。
将所采集的数据逐帧在平面视图上标记，并进行初步处理：通过对行人运动的连续标记得到一条完整轨迹，并根据道路方向确认行人的主要前进方向以及行人沿主要前进方向A在预测时间内走过的距离中在垂直于A的方向上是否存在道路。并根据判断结果选择各方向上合适的权重。
将采集到的行人数据通过补行变为10*10的矩阵，并作为输入矩阵输入卷积神经网络。为了得到合适大小的矩阵进入下一步池化层，需对采集到的行人行为数据矩阵进行补行得到10阶方阵。这里可以补零也可以直接补行，即将末行补至首行同时将首行补至末行。补零较为简单，但由于本算法将主要的特征提取过程提前，因此补零会带来大量误差，而通过补行的方法，可以尽量的减少误差，使特征的提取更加精确，提高预测结果精确度。
得到了处理后的输入矩阵，需明确卷积层中的卷积核，这里的卷积核由通过判断行人的主要前进方向以及行人沿主要前进方向A在预测时间内走过的距离中在垂直于A的方向上是否存在道路得到的权重决定。
此时目标行人的权重分为两种情况，其一是前方在主要前进方向A的垂直方向C、D上存在道路，另一种是不存在。由于这里的权重同样代表行人在此方向上前进的可能性，因此在训练的初期，需对权重进行预设。这里假设C方向存在可选道路，则此时C侧方向的权重初始设置为tAC＝1、tC＝1、tA’C＝0.5(tAC表示A、C方向之间的方向权重，A’为主要前进方向A的反方向)；对于C侧方向不存在道路时，则将C侧方向的权重初始设置为tAC＝0.75、tC＝0.5、tA’C＝0.25。并根据之后的训练以及检验对权重进行调整得到最为合适的结果。
明确了卷积核并完成卷积后，进行卷积层后向传播，将得到的8*8矩阵前向传播至池化层进行进一步特征提取。通过卷积层中权重对各方向数据的处理，此时得到的数据在各方向上权重保持一致，此时采用高斯模糊的方法对数据进一步处理，实现进一步特征提取。并将得到的8*8矩阵提取为4*4矩阵。
经过了池化层的进一步特征提取，池化层后向传播进入全连接层。经过了池化层可以选择后向传播以及前向传播，其中前向传播可对卷积核进行调整，但后向传播会导致各方向在不同时间上的权重不同，因此此时选择前向传播进入全连接层，并在卷积神经网络训练完成后对各方向权重调整。
将池化得到的4*4矩阵展开并通过激励函数ReLU消除负数无关项，随后进行全连接，其中输出分别设置为行人TTE＝10时的速度大小和方向，并进行训练。对速度大小的训练仅需要将速度大小作为输出结果；对速度方向的训练则将速度分解为主要前进方向A及其垂直方向C、D和A’，分解的速度仅取正值，并以比例形式表达，分别为PA、PA’、PC、PD，取正值的两方向上的比例和为1。将二者结合即得到了行人在TTE＝10的预测速度。
通过输入大量数据完成对卷积神经网络的训练后，输入检验数据并得到预测速度，随后根据对预测速度与实际速度的分析，对权重进行相应调整：对于主要前进方向存在两条可选道路时，如果预测速度与实际速度方向普遍相差较大，则对主要前进方向的垂直方向进行调整；对于主要前进方向前方不存在道路时，如果预测速度大小与实际速度大小普遍相差较大，则对主要前进方向与主要前进方向所夹方向权重进行调整。
通过对权重的多次调整，即可实现检验数据的预测速度与实际速度相接近，此时可将输出的预测速度作为新的输入数据加入输入矩阵，并经过反复迭代后得到一条完整的预测行人行为轨迹。
对输出结果的校验及评估。得到了行人的完整预测轨迹，通过在平面图上与行人实际行动轨迹对比，并将预测终点与实际终点相连接，得到完整图形，将图形面积S作为神经网络的评价指标，S越小，精度越高。
本发明提供了一种基于深度学习的智能车辆周边行人行为预测方法，通过卷积神经网络CNN结合道路环境以及行人历史运动信息实现对行人轨迹的预测。通过卷积神经网络的优势，结合行人的意图以及道路环境，提出了一种在线行人轨迹预测方法。优化了自动驾驶系统中行人规避系统，为智能车辆的路径规划提供了新的解决方案。同时对行人速度方向和大小分解预测并反复迭代的预测方法，可在更长时间内对行人轨迹进行更精确的预测，对只能车辆的研究具有重要意义。
本发明还提供一种基于深度学习的智能车辆周边行人行为预测系统，所述系统包括如下模块：模块M1：检测车辆自身位置，记录车辆自身运动数据；
模块M2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；
根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测。
模块M3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；对输入的数据进行处理，采用变卷积核的方法对输入数据进行特征提取，通过调节行人在各方向上前进的权重实现对行人行动特征的有效提取；
模块M3.1：采用卷积核对输入数据矩阵进行卷积；通过对卷积核的调整，将特征提取由池化层提前到了卷积层；
模块M3.2：数据矩阵通过权重卷积核消除了各方向的权重差，进入池化层；池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层；
模块M3.3：得到的4*4矩阵后进入全连接层，将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练；对全连接层的训练完成后，通过新的数据对卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，通过反复调试，得到各种情况下结果最优的各方向权重；
模块M3.4：完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。
模块M3.4包括：对输出结果为速度大小的全连接层进行训练时，以速度大小作为输出结果；对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C和行人的主要前进方向相反方向D上，通过比重的形式表述；训练后的全连接层，赋予A、B、C、D相应的比重，通过比重确定预测的行人移动方向，通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。
模块M4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
通过对输出数据的迭代得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，初始位置与两轨迹构成一完整闭合图形，通过对闭合图形面积S的计算，得到卷积神经网络CNN的评价指标。
本发明简化预测方法，提高预测速度；提高对行人行为预测的精确度；可持续迭代得到长时间的预测轨迹，对智能车辆研究具有重要意义。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于，所述方法包括如下步骤：
步骤S1：检测车辆自身位置，记录车辆自身运动数据；
步骤S2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；
步骤S3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；
步骤S4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
2.根据权利要求1所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于，所述步骤S2包括：
通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；
根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测。
3.根据权利要求1所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于，所述步骤S3包括：
对输入的数据进行处理，采用变卷积核的方法对输入数据进行特征提取，通过调节行人在各方向上前进的权重实现对行人行动特征的有效提取；
步骤S3.1：采用卷积核对输入数据矩阵进行卷积；通过对卷积核的调整，将特征提取由池化层提前到了卷积层；
步骤S3.2：数据矩阵通过权重卷积核消除了各方向的权重差，进入池化层；池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层
步骤S3.3：得到的4*4矩阵后进入全连接层，将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练；对全连接层的训练完成后，通过新的数据对卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，通过反复调试，得到各种情况下结果最优的各方向权重；
步骤S3.4：完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。
4.根据权利要求3所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于：所述步骤S3.4包括：对输出结果为速度大小的全连接层进行训练时，以速度大小作为输出结果；对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C和行人的主要前进方向相反方向D上，通过比重的形式表述；训练后的全连接层，赋予A、B、C、D相应的比重，通过比重确定预测的行人移动方向，通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。
5.根据权利要求1所述的一种基于深度学习的智能车辆周边行人行为预测方法，其特征在于，通过对输出数据的迭代得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，初始位置与两轨迹构成一完整闭合图形，通过对闭合图形面积S的计算，得到卷积神经网络CNN的评价指标。
6.一种基于深度学习的智能车辆周边行人行为预测系统，其特征在于，所述系统包括如下模块：
模块M1：检测车辆自身位置，记录车辆自身运动数据；
模块M2：利用车载传感器对智能车辆周边障碍物进行检测，对周围道路环境进行定位于分类，确定行人位置及运动状态；
模块M3：将得到的行人运动状态数据作为输入数据输入卷积神经网络CNN进行轨迹预测；
模块M4：根据卷积神经网络CNN的轨迹预测输出行人的预测轨迹。
7.根据权利要求6所述的一种基于深度学习的智能车辆周边行人行为预测系统，其特征在于，所述模块M2包括：
通过车辆传感器的数据建立道路方向系，将道路方向系划分为八个部分，以行人为坐标原点并根据道路方向建立该道路方向系，以行人的移动轨迹确定其主要前进方向A；
根据道路方向系获得行人连续十组、间隔0.05s的在各方向上的速度作为卷积神经网络CNN的输入数据，通过补行的方式将得到的数据用10*10矩阵Vp表示，矩阵Vp将作为卷积神经网络的输入数据进入卷积神经网络CNN对行人轨迹进行预测。
8.根据权利要求6所述的一种基于深度学习的智能车辆周边行人行为预测系统，其特征在于，所述模块M3包括：
对输入的数据进行处理，采用变卷积核的方法对输入数据进行特征提取，通过调节行人在各方向上前进的权重实现对行人行动特征的有效提取；
模块M3.1：采用卷积核对输入数据矩阵进行卷积；通过对卷积核的调整，将特征提取由池化层提前到了卷积层；
模块M3.2：数据矩阵通过权重卷积核消除了各方向的权重差，进入池化层；池化层采用高斯模糊的方法进一步地进行特征提取，并得到新的4*4矩阵进入全连接层
模块M3.3：得到的4*4矩阵后进入全连接层，将输出结果分别设定为速度大小和速度方向，通过数据集对两个全连接层进行训练；对全连接层的训练完成后，通过新的数据对卷积神经网络CNN进行校验，得到预测的行人移动速度，通过将预测的行人移动速度与实际行人移动速度进行对比，调整不同情况下各方向权重的大小，通过反复调试，得到各种情况下结果最优的各方向权重；
模块M3.4：完成参数调整核对卷积神经网络的训练后，输入检验数据并将得到的预测速度大小以及速度方向作为新的数据添加至输入数据矩阵中，再次进入卷积神经网络，通过反复迭代得到预测的行人行为轨迹。
9.根据权利要求6所述的一种基于深度学习的智能车辆周边行人行为预测系统，其特征在于：所述模块M3.4包括：对输出结果为速度大小的全连接层进行训练时，以速度大小作为输出结果；对输出结果为速度方向的全连接层进行训练时，采用正交分解的方法，将速度分解在行人主要前进方向A、行人主要前进方向的垂直方向B、C和行人的主要前进方向相反方向D上，通过比重的形式表述；训练后的全连接层，赋予A、B、C、D相应的比重，通过比重确定预测的行人移动方向，通过与速度大小结合实现对行人速度的预测，进而实现对行人轨迹的完整预测。
10.根据权利要求6所述的一种基于深度学习的智能车辆周边行人行为预测系统，其特征在于，通过对输出数据的迭代得到完整的预测轨迹，将该预测轨迹与实际轨迹做对比，将预测轨迹在目标预测时间后的位置与实际轨迹在目标预测时间后的位置相连接，初始位置与两轨迹构成一完整闭合图形，通过对闭合图形面积S的计算，得到卷积神经网络CNN的评价指标。
CN202111144955.0A 2021-09-28 2021-09-28 基于深度学习的智能车辆周边行人行为预测方法和系统 Active CN113837298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111144955.0A CN113837298B (zh) 2021-09-28 2021-09-28 基于深度学习的智能车辆周边行人行为预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111144955.0A CN113837298B (zh) 2021-09-28 2021-09-28 基于深度学习的智能车辆周边行人行为预测方法和系统

Publications (2)

Publication Number Publication Date
CN113837298A true CN113837298A (zh) 2021-12-24
CN113837298B CN113837298B (zh) 2023-07-18

Family

ID=78967116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111144955.0A Active CN113837298B (zh) 2021-09-28 2021-09-28 基于深度学习的智能车辆周边行人行为预测方法和系统

Country Status (1)

Country Link
CN (1) CN113837298B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111114543A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种轨迹预测方法及装置
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
CN111260950A (zh) * 2020-01-17 2020-06-09 清华大学 一种基于轨迹预测的轨迹跟踪方法、介质和车载设备
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
DE102020211971A1 (de) * 2019-10-01 2021-04-01 Robert Bosch Gesellschaft mit beschränkter Haftung Fahrzeugtrajektorienvorhersage unter verwendung von strassentopologie und verkehrsteilnehmer-objektzuständen
CN113316788A (zh) * 2021-04-20 2021-08-27 深圳市锐明技术股份有限公司 行人运动轨迹的预测方法、装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020211971A1 (de) * 2019-10-01 2021-04-01 Robert Bosch Gesellschaft mit beschränkter Haftung Fahrzeugtrajektorienvorhersage unter verwendung von strassentopologie und verkehrsteilnehmer-objektzuständen
CN111161322A (zh) * 2019-12-31 2020-05-15 大连理工大学 一种基于人车交互的lstm神经网络行人轨迹预测方法
CN111260950A (zh) * 2020-01-17 2020-06-09 清华大学 一种基于轨迹预测的轨迹跟踪方法、介质和车载设备
CN111114543A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种轨迹预测方法及装置
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN113316788A (zh) * 2021-04-20 2021-08-27 深圳市锐明技术股份有限公司 行人运动轨迹的预测方法、装置、电子设备和存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MINNE: "自动驾驶轨迹预测-综述", pages 1, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/365881810> *
RUIJIE QUAN等: "Holistic LSTM for Pedestrian Trajectory Prediction", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 30, pages 3229 - 3239, XP011842583, DOI: 10.1109/TIP.2021.3058599 *
刘文等: "移动目标轨迹预测方法研究综述", 《智能科学与技术学报》, vol. 3, no. 2, pages 149 - 160 *
王天保: "图卷积神经网络行人轨迹预测算法", 《哈尔滨工业大学学报》, vol. 53, no. 2, pages 53 - 60 *
连静等: "基于人-车交互的行人轨迹预测", 《中国公路学报》, vol. 34, no. 5, pages 215 - 223 *
高洪波: "智能视频监控中的行人跟踪算法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 5, pages 136 - 60 *

Also Published As

Publication number Publication date
CN113837298B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN112133089B (zh) 一种基于周围环境与行为意图的车辆轨迹预测方法、系统及装置
CN111931905A (zh) 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
Khakzar et al. A dual learning model for vehicle trajectory prediction
CN110843789B (zh) 一种基于时序卷积网络的车辆换道意图预测方法
CN111554105B (zh) 一种复杂交通路口的智能流量识别与统计方法
CN114323054B (zh) 自动驾驶车辆行驶轨迹的确定方法、装置及电子设备
Niranjan et al. Deep learning based object detection model for autonomous driving research using carla simulator
Jain et al. Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks
Zarei et al. Fast-Yolo-Rec: Incorporating yolo-base detection and recurrent-base prediction networks for fast vehicle detection in consecutive images
CN112614373A (zh) 一种基于BiLSTM周车换道意图预测方法
Mukherjee et al. Interacting vehicle trajectory prediction with convolutional recurrent neural networks
Wang et al. RETRACTED ARTICLE: Intelligent traffic monitoring and traffic diagnosis analysis based on neural network algorithm
CN114566052B (zh) 一种基于车流方向判别高速公路车流监控设备转动的方法
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN116495007A (zh) 一种考虑物理约束的车辆轨迹深度学习预测方法
Shao et al. Failure detection for motion prediction of autonomous driving: An uncertainty perspective
CN113837298B (zh) 基于深度学习的智能车辆周边行人行为预测方法和系统
US20230154195A1 (en) Driving scenario understanding
CN113837977B (zh) 对象跟踪方法、多目标跟踪模型训练方法及相关设备
CN110555425A (zh) 一种视频流实时行人检测方法
Jiangzhou et al. Research on real-time object detection algorithm in traffic monitoring scene
CN115482662A (zh) 一种危险工况下驾驶员避撞行为预测方法及系统
Schörner et al. Grid-based micro traffic prediction using fully convolutional networks
CN114677662A (zh) 一种车辆前方障碍状态预测方法、装置、设备及存储介质
CN114155504A (zh) 用于自动驾驶的视觉识别车辆方法、装置、出行装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant