CN116080681A - 基于循环卷积神经网络的周车行为识别与轨迹预测方法 - Google Patents

基于循环卷积神经网络的周车行为识别与轨迹预测方法 Download PDF

Info

Publication number
CN116080681A
CN116080681A CN202211705303.4A CN202211705303A CN116080681A CN 116080681 A CN116080681 A CN 116080681A CN 202211705303 A CN202211705303 A CN 202211705303A CN 116080681 A CN116080681 A CN 116080681A
Authority
CN
China
Prior art keywords
vehicle
node
neural network
information
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211705303.4A
Other languages
English (en)
Inventor
高洪波
何希
朱菊萍
沈达
苏慧萍
谢岳松
姚卯青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Weilai Automobile Technology Anhui Co Ltd
Original Assignee
University of Science and Technology of China USTC
Weilai Automobile Technology Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Weilai Automobile Technology Anhui Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202211705303.4A priority Critical patent/CN116080681A/zh
Publication of CN116080681A publication Critical patent/CN116080681A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，属于智能驾驶领域。包括以下步骤：步骤1：针对自动驾驶车辆行驶环境，采集车辆相关数据；步骤2：基于采集的数据集，对车辆行为、道路环境、行人/骑行人行为建模，构建基于矢量表示的人‑车‑路耦合关系模型；步骤3：基于人‑车‑路耦合关系模型，利用长短期记忆网络对目标车辆进行行为模式识别；步骤4：结合人‑车‑路耦合关系模型和车辆行为识别结果，基于卷积神经网络，实现目标车辆的轨迹预测。与现有技术相比，本发明的积极效果是：本发明有效地提高了自动驾驶车辆对周围车辆行为识别与轨迹预测的准确性，增强了自动驾驶车辆行驶的高效性与安全性。

Description

基于循环卷积神经网络的周车行为识别与轨迹预测方法
技术领域
本发明涉及智能驾驶领域，尤其涉及一种基于循环卷积神经网络的周车行为识别与轨迹预测方法。
背景技术
对于自动驾驶车辆而言，安全问题摆在首位。为了提早发现道路上存在的危险，需要能够对车辆周围道路环境的未来变化具有一定的认知能力，即对周围环境具有较强的预测能力，因此车辆轨迹预测是一个十分值得研究的技术挑战。特别地，自动驾驶车辆对周围车辆的行为进行提前预测，对于自动驾驶车辆的行驶安全和效率有着十分重要的影响。如何准确、可靠地预测周车未来轨迹，成为了自动驾驶车辆研究的关键问题之一。
例如，当他车突然插入到自动驾驶车辆前方时，自动驾驶车辆只能通过紧急制动来避免或减小危害，否则发生碰撞的风险非常大。若自动驾驶车辆能够预测到周围车辆的未来行驶轨迹，就可以提前进行平滑的减速，避免碰撞，同时保证了车内人员的驾乘舒适性，因此对周围车辆的未来轨迹进行预测可以提升自动驾驶车辆行驶的安全性。
发明内容
本发明的目的在于克服现有技术存在的不足或缺陷，以便于在城市拥堵工况下，针对道路、车流约束的实际情况，设计基于循环卷积神经网络的周车行为识别与轨迹预测方法，从而提高自动驾驶车辆行驶的安全性与高效性。
为实现上述目的，本发明提供了一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，包括如下步骤：
步骤1：针对自动驾驶车辆行驶环境，采集车辆相关数据；
步骤2：基于采集的数据集，对车辆行为、道路环境、行人/骑行人行为建模，构建基于矢量表示的人-车-路耦合关系模型；
步骤3：基于人-车-路耦合关系模型，利用长短期记忆网络对目标车辆进行行为模式识别；
步骤4：结合人-车-路耦合关系模型和车辆行为识别结果，基于卷积神经网络，实现目标车辆的轨迹预测。
优选地，所述步骤2包括：
车辆行为包括车辆的轨迹信息，道路环境包括车道线位置、斑马线位置等信息，行人/骑行人行为包括行人/骑行人的轨迹信息。
采用矢量表示方法，将车辆行为、道路环境、行人/骑行人行为按不同类别分别建立不同矢量节点，基于图神经网络，为每种类别建立其内部的节点子图，进而建立不同类别之间的全局交互图，获取车-路、车-人、车-车等之间的交互矢量化关系，构建基于矢量表示的人-车-路耦合关系模型。
优选地，所述步骤3包括：
车辆行为模式包括直行、左转弯、右转弯、左换道与右换道。
基于目标车辆状态信息，结合人-车-路耦合关系模型的全局交互特征信息，采用多层长短期记忆网络结构，只将最后一个节点作为分类结果输出，即5种行为模式识别结果。
优选地，所述步骤4包括：
采用卷积神经网络和多层感知器对目标车辆进行长时域多模态轨迹预测，列出所有可能的预测轨迹并选择出可能性最大的预测轨迹。
本发明以自动驾驶车辆为研究对象，考虑城市工况拥堵和道路、车流约束的实际情况，基于对城市道路环境的理解，对自动驾驶车辆周围(目标)车辆进行长时域多模态轨迹预测。
综上所述，本发明提出一种融合多个现有模型的新方案，能提高自动驾驶车辆对周围车辆行为识别与轨迹预测的准确性。具体来说，对于车辆行为模式识别，在现有方法采用LSTM模型进行识别的基础上，融合人-车-路耦合关系模型(此模型的公式也是现有技术)，因此能更好地对车辆行为进行识别，即精准识别出直行、左右换道、左右转弯5种行为模式；对于车辆轨迹预测，首先是基于车辆行为模式识别结果，然后是再融合人-车-路耦合关系模型的结果，最后采用CNN模型+多层感知器(现有方法采用CNN模型进行轨迹预测)对目标车辆进行长时域多模态轨迹预测，并能提高轨迹预测的精度。
与现有技术相比，本发明存在以下技术效果：
1)本发明提出了一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，有效地提高了自动驾驶车辆对周围车辆行为识别与轨迹预测的准确性，增强了自动驾驶车辆行驶的安全性与高效性。
2)本发明搭建了基于长短期记忆网络的车辆行为模式识别模型，基于人-车-路耦合关系模型，采用长短期记忆网络对目标车辆进行行为模式识别，包括直行、左右换道、左右转弯5种行为模式，提高了行为模式识别的准确率。
3)本发明搭建了基于卷积神经网络与多层感知器的车辆轨迹预测模型，基于人-车-路耦合关系模型，结合行为模式识别结果，利用卷积神经网络与多层感知器对目标车辆进行长时域多模态轨迹预测，减小了车辆轨迹预测的偏移误差，提高了预测精度。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种基于循环卷积神经网络的周车行为识别与轨迹预测方法的流程示意图；
图2是基于矢量表示的人-车-路耦合关系模型示意图；
图3是基于长短期记忆网络的车辆行为模式识别模型示意图；
图4是基于卷积神经网络与多层感知器的车辆轨迹预测模型示意图；
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，包括如下步骤S1～S4：
S1、针对自动驾驶车辆行驶环境，采集车辆相关数据；
S2、基于采集的数据集，对车辆行为、道路环境、行人/骑行人行为建模，构建基于矢量表示的人-车-路耦合关系模型；
S3、基于人-车-路耦合关系模型，利用长短期记忆网络对目标车辆进行行为模式识别；
S4、结合人-车-路耦合关系模型和车辆行为识别结果，基于卷积神经网络，实现目标车辆的轨迹预测。
优选地，所述步骤S1，包括：
利用多种车载传感器，比如摄像头，激光雷达等，采集自动驾驶车辆所处环境的地图数据以及所有周边车辆/行人/骑行人的位置与运动数据，进而建立数据集。但由于实际因素限制，可以采用智能驾驶领域的相关开源数据集，如Waymo数据集、KITTI数据集、NuScenes数据集等。
需要说明的是，本说明采用Waymo运动数据集，含574小时的数据，103,354个带地图数据片段，有汽车、行人、自行车三类标签，每个对象都带有2D框标注，挖掘用于行为预测研究的行为和场景，包括转弯、并道、变道和交汇，地点包括：旧金山、凤凰城、山景城、洛杉矶、底特律和西雅图等。
优选地，所述步骤S2，如图2所示，包括：
车辆行为包括车辆的轨迹信息，道路环境包括车道线位置、斑马线位置等信息，行人/骑行人行为包括行人/骑行人的轨迹信息。
采用矢量表示方法，将车辆行为、道路环境、行人/骑行人行为按不同类别分别建立不同矢量节点，为每种类别建立其内部互相联系的节点子图，即建立包含不同数量矢量节点的不同折线子图，然后基于图神经网络使用注意力机制来捕捉车道和代理之间的交互，并对折线子图之间的交互进行建模，即构建不同类别之间的全局交互图，获取车-路、车-人、车-车等之间的交互矢量化关系，构建基于矢量表示的人-车-路耦合关系模型。
需要说明的是，输入信息为经过栅格化、矢量化的地图信息，具体为Waymo运动数据集中的车辆、行人、骑行人轨迹特征、车道特征、交通灯特征等矢量信息，其最终表示为矢量节点特征信息，输出信息为全局交互特征信息。
需要进一步说明的是，栅格化、矢量化的地图信息是指对自动驾驶车辆所处的行驶环境进行栅格化后再进行矢量化，得出最终的矢量化地图信息。栅格地图是彩色地图通过扫描形成地图图像后，经过数字变换和图像处理形成的地图图像数据，基本构图单元是栅格(像素)，数据由点阵组成。矢量地图是依据相应的规范和标准对地图上的所有内容进行编码和属性的定义，确定地图要素的类别、等级和特征，并加上相应的坐标位置来表示，数据形式由点，线组成。
需要进一步说明的是，矢量节点i的特征信息
Figure BDA0004026209890000061
包括矢量的起点坐标
Figure BDA0004026209890000062
终点坐标
Figure BDA0004026209890000063
对应的属性特征ai，如对象类型、轨迹的时间戳、道路特征类型或车道的速度限制等，以及对应不同类别j的整数ID，同一类别的所有矢量节点通过拼接操作(直接连接)组成Pj，因此Vi∈Pj。其中，i，j＝{1，2，…，P}，P表示同一类别的最大矢量节点数。
多个同类别的不同节点特征信息通过聚合、拼接等关系操作建立多个内部关系节点子图(折线子图)，其公式如下：
Figure BDA0004026209890000064
其中，
Figure BDA0004026209890000065
表示第l层节点子图的节点特征信息，l＝{0，1，…，P}，
Figure BDA0004026209890000066
是输入特征信息Vi，
Figure BDA0004026209890000067
是聚合节点i连接的所有邻居节点信息，选择最大池化操作，
Figure BDA0004026209890000068
则表示节点i与其邻居节点j之间的关系，选择拼接操作即可，
Figure BDA0004026209890000069
表示第l+1层节点子图的节点特征信息。
多个不同类别的节点子图经过池化得出多个不同节点子图特征信息，其公式如下：
Figure BDA00040262098900000610
其中，
Figure BDA00040262098900000611
表示矢量节点Vi总共P层的特征信息集合，Pj为不同类别的节点子图特征信息。
进而，基于图神经网络建立全局交互图，其公式如下：
Figure BDA0004026209890000071
其中，
Figure BDA0004026209890000072
表示不同类别的节点子图特征信息集合，GNN(·)是对应的一层图神经网络，
Figure BDA0004026209890000073
表示不同类别的全局交互图特征信息集合。
更具体地，该全局交互图采用自注意力机制，其公式如下：
Figure BDA0004026209890000074
其中，P表示节点特征矩阵，PQ,PK,PV是其对应的线性投影。
所述步骤S3，如图3所示，包括：
车辆行为模式包括直行、左转弯、右转弯、左换道与右换道。
基于目标车辆状态信息，结合人-车-路耦合关系模型的全局交互特征信息，采用多层长短期记忆网络结构，只将最后一个节点作为分类结果输出，即5种行为模式识别结果。
需要说明的是，输入信息为全局交互特征信息与车辆状态信息，输出信息为直行、左转弯、右转弯、左换道与右换道的车辆行为模式识别结果。
需要进一步说明的是，车辆状态信息包括车辆ID，车辆横、纵坐标，车辆速度，车辆加速度以及车辆航向角等信息。
需要说明的是，长短期记忆网络(LSTM，Long Short-Term Memory)是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM主要通过遗忘门、输入门与输出门实现信息的选择性遗忘和记忆，并且轨道(被称为细胞状态)上只有简单的线性运算(即乘法和加法)，从而实现长期记忆，有效抑制长期记忆的梯度耗散问题。具体公式如下：
ft＝σ(Wf·[ht-1，xt]+bf)
it＝σ(Wi·[ht-1，xt]+bi)
Figure BDA0004026209890000081
Figure BDA0004026209890000082
0t＝σ(Wo·[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，ft是指遗忘门的输出值，σ(·)是Sigmoid函数，Wf是遗忘门的权重矩阵，ht-1和xt分别是上一时刻LSTM的输出值和当前时刻网络的输入值，[ht-1，xt]表示将两个向量连接成一个更长的向量，bf是遗忘门的偏置项，it是指输入门的输出值，Wi是遗忘门的权矩阵，bi是遗忘门的偏置项，
Figure BDA0004026209890000083
指的是当前内存，tanh(-)是tanh函数，WC是当前内存的权矩阵，Ct是指当前时刻的细胞状态，Ct-1是指长时记忆，ot是指输出门的输出值，Wo是输出门的权矩阵，bo是输出门的偏置项，ht是当前时间LSTM的输出值。
本说明采用2层LSTM结构，输入层是全局交互特征信息与车辆状态信息，经过2个LSTM层之后，再经过一个全连接层，并只将最后一个节点输出作为分类结果，即5种行为模式识别结果，更为具体地说，输出结果是目标车辆预测时间内最有可能处于5种行为模式之一。其中，预测时间可选择3秒，5秒或者8秒。此外，损失函数可采用交叉熵损失函数。
需要说明的是，输入层的数据格式为(批处理大小，特征长度，嵌入)。其中批处理大小可设为100，输入数据的特征数量(LSTM单元的数量)可设为25，输入LSTM单元的对应矢量长度(嵌入)为1。2个LSTM层的数据格式为(隐藏层节点数)，则隐藏层节点的数量可选择为256。全连接层的数据格式为(输入大小，输出大小)，全连接层的输入大小与隐藏层节点数是一样为256，输出大小为5。输出层的数据格式为(批处理大小，特征长度，输出大小)。其中批处理大小可设为100，输入数据的特征数量(LSTM单元的数量)为25，输出大小为5。
所述步骤S4，如图4所示，包括：
采用卷积神经网络和多层感知器对目标车辆进行长时域多模态轨迹预测，列出所有可能的预测轨迹并选择出可能性最大的预测轨迹。
需要说明的是，输入信息为全局交互特征信息，行为模式识别结果以及栅格化、矢量化的地图信息，利用卷积神经网络模型与多层感知器一起训练车辆轨迹预测模型，输出信息为目标车辆预测时间内的K条预测轨迹及相应置信度。
需要进一步说明的是，卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，其公式如下：
Figure BDA0004026209890000091
其中，
Figure BDA0004026209890000092
表示第l层第i个神经元的卷积输出，
Figure BDA0004026209890000093
为第l+1层第j个神经元对第i个神经元的权重，
Figure BDA0004026209890000094
为第l+1层第j个神经元的偏差量,f(·)为激活函数，
Figure BDA0004026209890000101
表示第l+1层第j个神经元的卷积输出。
经典卷积神经网络模型有Inception、Xception、SeNet、ResNext等。本说明的卷积神经网络模型可以选择Inception/Xception等模型。
需要进一步说明的是，多层感知器(MLP，Multilayer Perceptron)是一种前馈人工神经网络模型，其公式如下：
Figure BDA0004026209890000102
其中，l层共有m个神经元，
Figure BDA0004026209890000103
为第l层的第k个神经元的卷积输出，
Figure BDA0004026209890000104
为第l层第k个神经元对l+1层第j个神经元的权重，f(·)为激活函数，
Figure BDA0004026209890000105
为第l+1层的第j个神经元的卷积输出。
本说明的多层感知器结构包括规范化层，全连接层以及非线性激活函数层。层规范化是指在训练时和测试时对数据同时进行处理，通过对输入同一层的数据进行汇总，计算平均值和方差，来对每一层的输入数据做规范化处理，进而加快网络的收敛速度。非线性激活函数可以选择ReLU函数。
需要进一步说明的是，K条预测轨迹及相应置信度中K＝6，即需要对预测时间内对目标车辆的6条未来轨迹进行预测，并给出每条轨迹对应的置信度Ci＝i/∑KeK，i＝{1,2,…,}，e为自然常数(欧拉数)，
Figure BDA0004026209890000106
选择其中置信度最大(可能性最大)的那条未来轨迹作为预测结果。其中，预测时间可选择3秒，5秒或者8秒。
综上所述，本发明提出一种融合多个现有模型的新方案，能提高自动驾驶车辆对周围车辆行为识别与轨迹预测的准确性。
具体来说，对于车辆行为模式识别，在现有方法采用LSTM模型进行识别的基础上，融合人-车-路耦合关系模型(此模型的公式也是现有技术)，因此能更好地对车辆行为进行识别，即精准识别出直行、左右换道、左右转弯5种行为模式；对于车辆轨迹预测，首先是基于车辆行为模式识别结果，然后是再融合人-车-路耦合关系模型的结果，最后采用CNN模型+多层感知器(现有方法采用CNN模型进行轨迹预测)对目标车辆进行长时域多模态轨迹预测，并能提高轨迹预测的精度。
总得来说，本发明以自动驾驶车辆为平台，提出了一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，基于人-车-路耦合关系模型，结合基于长短期记忆网络的5种车辆行为模式识别模型，利用基于卷积神经网络与多层感知器的车辆轨迹预测模型，对目标车辆进行长时域多模态轨迹预测，研究长时域内面向周围车辆的端到端行为预测算法，有效地提高了自动驾驶车辆对周围车辆行为识别与轨迹预测的准确性，增强了自动驾驶车辆行驶的安全性与高效性。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，其特征在于，包括以下步骤：
步骤1：针对自动驾驶车辆行驶环境，采集车辆相关数据；
步骤2：基于采集的数据集，对车辆行为、道路环境、行人/骑行人行为建模，构建基于矢量表示的人-车-路耦合关系模型；
步骤3：基于人-车-路耦合关系模型，利用长短期记忆网络对目标车辆进行行为模式识别；
步骤4：结合人-车-路耦合关系模型和车辆行为识别结果，基于卷积神经网络，实现目标车辆的轨迹预测。
2.根据权利要求1所述的一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，其特征在于，所述步骤2包括：
车辆行为包括车辆的轨迹信息，道路环境包括车道线位置、斑马线位置等信息，行人/骑行人行为包括行人/骑行人的轨迹信息；
采用矢量表示方法，将车辆行为、道路环境、行人/骑行人行为按不同类别分别建立不同矢量节点，基于图神经网络，为每种类别建立其内部的节点子图，进而建立不同类别之间的全局交互图，获取车-路、车-人、车-车等之间的交互矢量化关系，构建基于矢量表示的人-车-路耦合关系模型。
3.根据权利要求2所述的一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，其特征在于，所述步骤2具体包括：
包括矢量节点i的特征信息
Figure FDA0004026209880000011
包括矢量的起点坐标
Figure FDA0004026209880000012
终点坐标
Figure FDA0004026209880000013
对应的属性特征ai，包括对象类型、轨迹的时间戳、道路特征类型或车道的速度限制，以及对应不同类别j的整数ID，同一类别的所有矢量节点通过拼接操作组成Pj，Vi∈Pj；其中，i,j＝{1,2,…,}，P表示同一类别的最大矢量节点数；
多个同类别的不同节点特征信息通过聚合、拼接关系操作建立多个内部关系节点子图，其公式如下：
Figure FDA0004026209880000021
其中，
Figure FDA0004026209880000022
表示第l层节点子图的节点特征信息，l＝{0,1,…,P}，
Figure FDA0004026209880000023
是输入特征信息Vi，
Figure FDA0004026209880000024
是聚合节点i连接的所有邻居节点信息，选择最大池化操作，
Figure FDA0004026209880000025
则表示节点i与其邻居节点j之间的关系，选择拼接操作即可，
Figure FDA0004026209880000026
表示第l+1层节点子图的节点特征信息；
多个不同类别的节点子图经过池化得出多个不同节点子图特征信息，其公式如下：
Figure FDA0004026209880000027
其中，
Figure FDA0004026209880000028
表示矢量节点Vi总共P层的特征信息集合，Pj为不同类别的节点子图特征信息；
进而，通过图神经网络建立全局交互图，其公式如下：
Figure FDA0004026209880000029
其中，
Figure FDA00040262098800000210
表示不同类别的节点子图特征信息集合，GNN(·)是对应的一层图神经网络，
Figure FDA00040262098800000211
表示不同类别的全局交互图特征信息集合。
4.根据权利要求1所述的一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，其特征在于，所述步骤3包括：
车辆行为模式包括直行、左转弯、右转弯、左换道与右换道；
基于目标车辆状态信息，结合人-车-路耦合关系模型的全局交互特征信息，采用多层长短期记忆网络结构，只将最后一个节点作为分类结果输出，即上述5中行为模式识别结果。
5.根据权利要求4所述的一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，其特征在于，
所述步骤3采用2层LSTM结构，输入层是全局交互特征信息与车辆状态信息，经过2个LSTM层之后，再经过一个全连接层，并只将最后一个节点输出作为分类结果，即5种行为模式识别结果，更为具体地说，输出结果是目标车辆预测时间内最有可能处于5种行为模式之一。
6.根据权利要求5所述的一种基于循环卷积神经网络的周车行为识别与轨迹预测方法，其特征在于：
所述LSTM结构通过遗忘门、输入门与输出门实现信息的选择性遗忘和记忆，具体公式如下：
ft＝σ(Wf·[ht-1,xt]+bf)
it＝σ(Wi·[ht-1,xt]+bi)
Figure FDA0004026209880000031
Figure FDA0004026209880000032
ot＝σ(Wo·[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
其中，ft是指遗忘门的输出值，σ(·)是Sigmoid函数，Wf是遗忘门的权重矩阵，ht-1和xt分别是上一时刻LSTM的输出值和当前时刻网络的输入值，[ht-1,xt]表示将两个向量连接成一个更长的向量，bf是遗忘门的偏置项，it是指输入门的输出值，Wi是遗忘门的权矩阵，bi是遗忘门的偏置项，
Figure FDA0004026209880000033
指的是当前内存，tanh(·)是tanh函数，-C是当前内存的权矩阵，Ct是指当前时刻的细胞状态，Ct-1是指长时记忆，ot是指输出门的输出值，Wo是输出门的权矩阵，bo是输出门的偏置项，ht是当前时间LSTM的输出值。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。
CN202211705303.4A 2022-12-29 2022-12-29 基于循环卷积神经网络的周车行为识别与轨迹预测方法 Pending CN116080681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211705303.4A CN116080681A (zh) 2022-12-29 2022-12-29 基于循环卷积神经网络的周车行为识别与轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211705303.4A CN116080681A (zh) 2022-12-29 2022-12-29 基于循环卷积神经网络的周车行为识别与轨迹预测方法

Publications (1)

Publication Number Publication Date
CN116080681A true CN116080681A (zh) 2023-05-09

Family

ID=86198501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211705303.4A Pending CN116080681A (zh) 2022-12-29 2022-12-29 基于循环卷积神经网络的周车行为识别与轨迹预测方法

Country Status (1)

Country Link
CN (1) CN116080681A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882148A (zh) * 2023-07-03 2023-10-13 成都信息工程大学 一种基于空间社会力图神经网络的行人轨迹预测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116882148A (zh) * 2023-07-03 2023-10-13 成都信息工程大学 一种基于空间社会力图神经网络的行人轨迹预测方法及系统
CN116882148B (zh) * 2023-07-03 2024-01-30 成都信息工程大学 基于空间社会力图神经网络的行人轨迹预测方法及系统

Similar Documents

Publication Publication Date Title
CN109697852B (zh) 基于时序交通事件的城市道路拥堵程度预测方法
Diehl et al. Graph neural networks for modelling traffic participant interaction
CN109670277B (zh) 一种基于多模态数据融合与多模型集成的旅行时间预测方法
CN112215337B (zh) 一种基于环境注意力神经网络模型的车辆轨迹预测方法
US11555706B1 (en) Processing graph representations of tactical maps using neural networks
CN113486726B (zh) 一种基于改进卷积神经网络的轨道交通障碍物检测方法
CN113362491B (zh) 一种车辆轨迹预测及驾驶行为分析方法
Niranjan et al. Deep learning based object detection model for autonomous driving research using carla simulator
Wheeler et al. Factor graph scene distributions for automotive safety analysis
Katariya et al. Deeptrack: Lightweight deep learning for vehicle trajectory prediction in highways
CN110991523A (zh) 一种面向无人驾驶车辆检测算法性能的可解释性评估方法
Sun et al. Vehicle turning behavior modeling at conflicting areas of mixed-flow intersections based on deep learning
DE102021132082A1 (de) Ende-zu-ende-system-training unter verwendung vereinigter bilder
CN115690153A (zh) 一种智能体轨迹预测方法及系统
CN116080681A (zh) 基于循环卷积神经网络的周车行为识别与轨迹预测方法
CN115909239A (zh) 车辆意图识别方法、装置、计算机设备和存储介质
Bharilya et al. Machine learning for autonomous vehicle's trajectory prediction: A comprehensive survey, challenges, and future research directions
Geng et al. Dynamic-learning spatial-temporal Transformer network for vehicular trajectory prediction at urban intersections
Selvaraj et al. Edge learning of vehicular trajectories at regulated intersections
Hao et al. Aggressive lane-change analysis closing to intersection based on UAV video and deep learning
CN116071728A (zh) 基于transformer和姿态估计的行人轨迹预测方法及存储介质
Li A scenario-based development framework for autonomous driving
Wen et al. Modeling human driver behaviors when following autonomous vehicles: An inverse reinforcement learning approach
CN113119996B (zh) 一种轨迹预测方法、装置、电子设备及存储介质
Lu et al. DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination