CN112417756B - 一种自动驾驶算法的交互式仿真测试系统 - Google Patents
一种自动驾驶算法的交互式仿真测试系统 Download PDFInfo
- Publication number
- CN112417756B CN112417756B CN202011266351.9A CN202011266351A CN112417756B CN 112417756 B CN112417756 B CN 112417756B CN 202011266351 A CN202011266351 A CN 202011266351A CN 112417756 B CN112417756 B CN 112417756B
- Authority
- CN
- China
- Prior art keywords
- scene
- track
- automatic driving
- obstacle
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 72
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 53
- 238000012360 testing method Methods 0.000 title claims abstract description 47
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 18
- 230000003068 static effect Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 50
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000005094 computer simulation Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 230000004888 barrier function Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种自动驾驶算法的交互式仿真测试系统，包括通过网关连接的自动驾驶仿真端、动态障碍物模拟终端和数据库；所述自动驾驶仿真端包括自动驾驶算法执行模块、动态障碍物控制模块、场景静态构建模块、网络通信模块和显示模块；所述动态障碍物模拟终端包括网络通信模块、控制模块、场景构建模块和轨迹预测神经网络模型库；根据自动驾驶车辆和障碍物的历史轨迹、和静态场景模型，调用轨迹预测神经网络模型执行预测算法，计算各障碍物下一个周期的运动轨迹，并发送给网络通信模块。可以更好的模拟真实交通环境中自动驾驶车辆与各动态障碍物的交互过程，对自动驾驶算法的测试更符合实际情况，可以测试自动驾驶算法在复杂环境中的表现。
Description
技术领域
本发明涉及自动驾驶测试技术领域，具体地涉及一种自动驾驶算法的交互式仿真测试系统。
背景技术
目SAE L2/L3级自动驾驶技术逐渐体现在量产车型上，部分主机厂和自动驾驶核心技术供应商正在开展L4/L5级别自动驾驶前瞻技术和量产化研究。然而，让少数自动驾驶车辆在相对封闭的环境下行驶，和让其在现实环境内自主驾驶，两者之间存在着巨大差异，自动驾驶车辆在量产前，需要进行大量的测试以确保其安全性和可靠性。目前国内外车企多在封闭/半封闭循环场地进行实车测试，这无疑会消耗大量的时间和人力、物力，且部分典型场景也无法复现。部分车企亦采用SIL(Software in Loop)、HIL(Hardware in Loop)、VIL(Vehicle in Loop)方法，人为在场景仿真软件中搭建典型场景。
传统的自动驾驶算法仿真测试使用预先采集或自定义的场景来构建仿真测试场景，自动驾驶算法根据输入的仿真测试场境来执行决策规划和控制算法，然后对算法执行的结果进行评价。
公告号为CN 110263381 A的专利公开了一种自动驾驶车辆测试仿真场景生成方法，基于高精度地图提取某区域内的真实路网信息，并通过基于蒙特卡洛方法生成相关道路、环境的补充定义参数，与真实路网信息共同组成自动驾驶车辆测试静态仿真场景；基于蒙特卡洛方法生成多辆人工驾驶车辆的初始状态，并对每辆人工驾驶车辆赋予驾驶员模块，使其具备车辆行驶中的基本逻辑判断能力及驾驶行为能力，完善自动驾驶车辆测试动态仿真场景。该方法所开发的自动驾驶车辆测试仿真场景生成方法，全面考虑了路况、交通状况、道路标识、天气等因素，实现了仿真和测试典型场景快速搭建。但是其并没有考虑各动态障碍物轨迹运动的动态变化，传统方法中场景是预先指定的，场景中的各动态障碍物会沿着预先设定好的轨迹运动，然而在真实的道路中自动驾驶车辆面对的是复杂可变的环境，道路中的车辆、行人等都是动态变化的，它们的运动受自动驾驶车辆以及其它障碍物的运动轨迹影响。传统的场景测试方法没有考虑这些因素，然而这些因素在自动驾驶算法的测试中是不能忽略的，否则极易引发安全事故。
发明内容
为了解决上述存在的技术问题，本发明提供了一种自动驾驶算法的交互式仿真测试系统，根据构建的模型预测车辆等动态障碍物在场景中的运动轨迹，动态障碍物和自动驾驶仿真端每隔一段时间进行状态交互，构建动态仿真测试场景，对自动驾驶算法进行仿真测试。可以更好的模拟真实交通环境中自动驾驶车辆与各动态障碍物的交互过程，对自动驾驶算法的测试更符合实际情况，可以测试自动驾驶算法在复杂环境中的表现。
本发明的技术方案是：
一种用于自动驾驶算法的仿真测试场景的动态障碍物运动轨迹预测方法，包括以下步骤：
S01：对动态障碍物的轨迹信息按照相同时间间隔取点，生成轨迹向量；
S02：将道路分成N段，每一段使用向量表示，生成道路向量；
S03：建立图卷积神经网络，将每个轨迹向量和其前一个、后一个轨迹向量连接，将每个轨迹向量和其相邻车辆的时间间隔小于设定值的轨迹向量相连接，将每个轨迹向量和距离小于设定值的车道向量连接，生成邻接关系矩阵；
S04：建立自注意力图神经网络，所述自注意力图神经网络用于提取交互信息，将轨迹向量、道路向量以及邻接关系矩阵输入自注意力图神经网络，提取交互特征信息；
S05：对于动态障碍物的运动轨迹，使用LSTM编码模块计算编码后的特征，然后根据轨迹点当前位置从自注意力图神经网络查询当前位置区域内的交互特征，将编码后的特征和交互特征进行拼接，使用LSTM解码模块进行解码，输出预测轨迹点。
优选的技术方案中，所述步骤S01中生成轨迹向量包括，对每条运动轨迹以第一个运动轨迹点为中心点，对其它坐标进行正则化，将每个障碍物的运动轨迹通过多个首尾相连的向量表示，生成轨迹向量。
优选的技术方案中，所述轨迹向量包括起点坐标、结束点坐标、速度和时间。
优选的技术方案中，所述道路向量包括起点坐标、结束点坐标、交通标志信息。
本发明还公开了一种自动驾驶车辆测试动态仿真测试场景的构建方法，包括：
S11：通过自动驾驶仿真端根据场景静态信息、自动驾驶车辆信息、及目的地生成静态场景模型；
S12：根据自动驾驶车辆和障碍物的历史轨迹和生成的静态场景模型，调用权利要求1-4任一项所述的动态障碍物运动轨迹预测方法计算各障碍物下一个周期的运动轨迹；
S13：每隔一段时间进行状态交互，构建动态仿真测试场景。
优选的技术方案中，所述步骤S11中还根据各动态障碍物的驾驶风险等级生成静态场景模型。
本发明又公开了一种自动驾驶算法的交互式仿真测试系统，包括通过网关连接的自动驾驶仿真端、动态障碍物模拟终端和数据库；
所述自动驾驶仿真端包括自动驾驶算法执行模块、动态障碍物控制模块、场景静态构建模块、网络通信模块和显示模块；
自动驾驶算法执行模块根据输入的场景静态信息和动态障碍物状态数据，执行规划和控制算法，控制自动驾驶车辆在场景中运动；
动态障碍物控制模块，用于根据动态障碍物的运动轨迹控制动态障碍物运动；
场景静态构建模块，根据场景静态信息进行初始化构建静态场景三维模型；
网络通信模块，将自动驾驶车辆的状态、轨迹发送给网关，接收网关发送的数据并发送给动态障碍物控制模块和自动驾驶算法执行模块；
显示模块，用于显示数据信息；
所述动态障碍物模拟终端包括网络通信模块、控制模块、场景构建模块和轨迹预测神经网络模型库；
网络通信模块，用于网关与控制模块之间的数据接收和发送；
控制模块，根据自动驾驶车辆和障碍物的历史轨迹、和静态场景模型，调用轨迹预测神经网络模型执行预测算法，计算各障碍物下一个周期的运动轨迹，并发送给网络通信模块；
场景构建模块，根据场景静态信息和动态障碍物信息进行初始化构建场景模型；
轨迹预测神经网络模型库，根据预先收集的行人和车辆的运动轨迹数据和设计的神经网络结构，经过训练生成轨迹预测神经网络模型，存储于模型库中形成轨迹预测神经网络模型库；
所述数据库用于存储账号信息、场景静态信息及交互过程的动态轨迹数据。
优选的技术方案中，所述显示模块，根据场景静态构建模块传输的数据渲染道路、交通标识信息、静态障碍物信息；根据自动驾驶算法传输的自动驾驶车辆轨迹动态显示车辆在场景中的运动轨迹；根据动态障碍物控制模块传输的动态障碍物位置动态显示其在场景中的运动轨迹。
与现有技术相比，本发明的优点是：
本发明根据构建的循环神经网络模型预测车辆等动态障碍物在场景中的运动轨迹，动态障碍物和自动驾驶仿真端每隔一段时间进行状态交互，构建动态仿真测试场景，对自动驾驶算法进行仿真测试。可以更好的模拟真实交通环境中自动驾驶车辆与各动态障碍物的交互过程，对自动驾驶算法的测试更符合实际情况，可以测试自动驾驶算法在复杂环境中的表现。可以大大提高自动驾驶算法仿真测试的准确性。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明自动驾驶算法的交互式仿真测试系统的组成图；
图2为本发明自动驾驶仿真端的原理框图；
图3为本发明动态障碍物模拟终端的原理框图；
图4为本发明用于自动驾驶算法的仿真测试场景的动态障碍物运动轨迹预测方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
下面结合附图，对本发明的较佳实施例作进一步说明。
如图1所示，一种自动驾驶算法的交互式仿真测试系统，在真实道路环境中采集路网信息、交通标志、车辆的轨迹数据，对数据进行标注，训练循环神经网络模型，根据模型预测车辆等动态障碍物在场景中的运动轨迹。动态障碍物和自动驾驶仿真端通过网络模块和网关每隔一段时间进行状态交互，构建动态仿真测试场景，对自动驾驶算法进行仿真测试。系统由自动驾驶仿真端、网关、动态障碍物模拟终端和数据库四部分组成。
各部分具体功能如下：
1）自动驾驶仿真端（简称仿真端）由自动驾驶算法执行模块、动态障碍物控制模块、场景静态构建模块、网络通信模块和显示模块组成，如图2所示。
自动驾驶算法执行模块，根据输入的场景静态信息和动态障碍物状态数据，执行规划和控制算法，控制自动驾驶车辆在场景中运动。
场景静态构建模块，根据场景静态信息进行初始化构造静态场景三维模型，静态信息具体包含道路结构信息、交通设施信息、静态障碍物及动态障碍物的三维模型等信息。道路结构信息包括：道路长度、车道线、弯道曲率半径、坡度、交叉路段分叉角度以及车道宽度信息。交通设施信息包含交通信号灯、交通标识线和交通标志。
网络通信模块，将自动驾驶车辆的状态、轨迹等数据发送给网关，接收网关发送的数据并发送给动态障碍物模块和自动驾驶算法执行模块。
显示模块，根据场景静态构建模块传输的数据，渲染道路、交通标识信息、静态障碍物信息；根据自动驾驶算法传输的自动驾驶车辆轨迹，动态显示车辆在场景中的运动轨迹；根据动态障碍物控制模块传输的动态障碍物位置动态显示其在场景中的运动轨迹。
2）网关主要负责终端间的数据转发、从数据库中查询和存储数据。
3）动态障碍物模拟终端由网络通信模块、控制模块、场景构建模块和轨迹预测神经网络模型库组成，如图3所示。
网络通信模块负责网关与控制端之间的数据接收和发送。
控制模块负责根据自动驾驶车辆和障碍物的历史轨迹、场景的静态模型，调度轨迹预测神经网络模型执行预测算法，计算各障碍物下一个周期的运动轨迹，轨迹信息包含相对坐标、速度、时间，并发送给网络通信模块。
场景构建模块，根据场景静态信息及动态障碍物信息进行初始化构造场景模型，静态信息包含静态障碍物信息以及动态障碍物的形状、大小等信息。
轨迹预测神经网络模型库，根据预先收集的行人和车辆的运动轨迹数据和设计的神经网络结构，经过训练生成轨迹预测神经网络模型，存储在模型库中形成轨迹预测神经网络模型库。
生成轨迹预测神经网联模型库，具体步骤如下：
3.4.1采集数据
使用摄像头采集各种道路（高速路、城市快速路、城市主干路、城市次干路、城市支路、国道、省道、县道、乡道）上车辆或行人的运动的视频数据。
3.4.2数据提取
使用动态目标检测与识别模型提取车辆或行人的几何尺寸和轨迹。轨迹信息具体包含坐标位置、速度、方向、时间，车辆的几何尺寸信息包含长、宽、高，行人的几何信息包含身高。
3.4.3 数据预处理与标注
对数据进行标注，行人相关数据标注其年龄类型，具体包含儿童、成年人、老年人。对车辆相关数据标注其车辆具体的类型，具体类型包含小汽车、小货车、大货车、大巴车、自行车、摩托车和三轮车。标注道路的结构信息，交通标志、交通信号灯信息。人工根据车辆的运动轨迹，预测出车辆的目的地，并标注其出起点坐标和终点坐标。数据预处理：对每个车辆的轨迹点计算相邻车辆编号，具体包含左前方、右前方、同车道前方、左后方、右后方、同车道后方。
3.4.4 模型设计
根据神经网络模型LSTM，对每一种道路类型，每一类车辆或行人，输入经过预处理后的数据，使用梯度下降法训练模型的参数。模型的输出为车辆或行人在未来预定时间的轨迹信息，轨迹信息具体包含位置、速度和时间。将训练好的模型加入模型库中存储。
一个较佳的实施例，轨迹预测模型结构如图4所示，使用一个自注意力神经网络提前车辆间的全局交互信息，方法如下：
1、对于每个运动的车辆等动态障碍物，对其轨迹信息按照相同时间间隔取点，并连线生成向量，向量信息包含起点坐标、结束点坐标，速度。坐标由x,y两个方向的数值组成，对每条轨迹以第一个轨迹点为中心点，对其它坐标进行正则化。每个障碍物的轨迹使用多个首尾相连的向量表示，生成轨迹向量。
2、对道路，采用等距法将其分成N段，每一段使用向量表示，生成道路向量，向量信息包含车道的起点坐标、结束点坐标、交通标志信息（如限速）。
3、建立图卷积神经网络，将每个轨迹向量和其前一个、后一个轨迹向量连接，将每个轨迹向量和其相邻车辆的时间间隔小于设定值的轨迹向量相连接，将每个轨迹向量和距离小于设定值的道路向量连接。
4、将轨迹向量、道路向量以及它们间的邻接关系矩阵输入自注意力图神经网络，该网络用于提取交互信息。
5、对于动态障碍物的轨迹，使用一个LSTM Encoder模块计算编码后的特征，然后根据轨迹点当前位置从自注意力图神经网络查询当前位置区域内的交互特征，将编码后的特征和交互特征进行拼接，使用一个LSTM Decoder模块进行解码，输出一个轨迹。
6、使用梯度下降法训练该模型的参数。
7、将训练好的模型加入模型库中存储。
4）数据库用于存储账号信息、场景静态场景数据及交互过程的动态轨迹数据。
二、自动驾驶仿真端通过网络模块、网关与动态障碍物模拟终端进行数据交互。交互的流程如下：
1身份验证
仿真端和动态障碍物模拟终端连接网关，并发送账号、密码。网关查询数据库存储的账号、密码检查终端的身份是否合法。
2 查询场景
仿真端向网关发送查询请求，网关查询数据库中可用的场景，返回对应的场景列表信息，场景列表信息包含多个场景基础信息，具体包含场景编号、场景名称、场景描述。仿真端发送场景编号，网关查询数据库，返回场景的静态信息及各障碍物初始轨迹信息，轨迹信息包含位置坐标信息、角度和速度。
3仿真端选择场景、设置目的地及各障碍物驾驶风险等级
仿真端发送的场景编号、自动驾驶车辆信息、目的地经纬度坐标、动态障碍物的驾驶风险等级给网关。网关根据场景编号从数据库查询场景静态信息，将场景静态信息、自动驾驶车辆信息、目的地经纬度坐标、各动态障碍物的驾驶风险等级发送给动态障碍物模拟终端。
4 动态障碍物模拟终端初始化
动态障碍物模拟终端网络通信模块接收网关发送的场景静态信息、自动驾驶车辆信息、驾驶风险等级信息后，把数据转发给控制模块。控制模块调用静态场景控制模块生成静态场景模型。控制模块根据障碍物的数量和类型，从轨迹预测模型库中选择相应的模型进行初始化。初始化完成后，控制模块发送“初始化完成”给网络通信模块，网络通信模块转发给网关。
5 仿真端根据初始信息进行仿真
仿真端接收到网关发送的动态障碍物模拟终端初始化完成数据后，由场景静态模块根据查询的场景静态信息进行初始化，场景静态信息具体包含道路的结构、车道线、交通标志信息、静态障碍物信息以及动态障碍物的形状、大小等信息。自动驾驶算法执行模块根据用户设置的目的地、场景静态信息以及动态障碍物的轨迹信息进行决策和规划，控制车辆运动。动态障碍物控制模块根据障碍物的轨迹信息，控制障碍物沿着轨迹运动。
6 假设一个交互周期时长为T，网络及计算延时为d，仿真端在T-d 时刻，上传一个交互周期内自动驾驶车辆及各障碍物的运动轨迹信息给网关，网关转发自动驾驶车辆及各障碍物的轨迹信息给动态障碍物模拟终端，并将数据存储至数据库。
7动态障碍物模拟终端中的网络通信模块接收到自动驾驶车辆及各动态障碍物轨迹信息后转发给控制模块，控制模块调用静态场景模型和轨迹预测神经网络模型，计算各障碍物在下一个周期运动的轨迹，并将轨迹发送给网络通信模块，网络通信模块将数据发送给网关。网关转发轨迹数据给仿真端。仿真端根据障碍物的轨迹，控制下一个周期各障碍物的运动。
8重复步骤6和7，直到自动驾驶汽车到达目的地或自动驾驶汽车与其它车辆发生碰撞。
9当自动驾驶汽车到达目的地或自动驾驶汽车与其它车辆发生碰撞，仿真端发送结束指令给网关，网关转发该指令给动态障碍物模拟终端，各终端断开和网关的连接。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (9)
1.一种用于自动驾驶算法的仿真测试场景的动态障碍物运动轨迹预测方法，其特征在于，包括以下步骤：
S01：对动态障碍物的轨迹信息按照相同时间间隔取点，生成轨迹向量；
S02：将道路分成N段，每一段使用向量表示，生成道路向量；
S03：建立图卷积神经网络，将每个轨迹向量和其前一个、后一个轨迹向量连接，将每个轨迹向量和其相邻车辆的时间间隔小于设定值的轨迹向量相连接，将每个轨迹向量和距离小于设定值的车道向量连接，生成邻接关系矩阵；
S04：建立自注意力图神经网络，所述自注意力图神经网络用于提取交互信息，将轨迹向量、道路向量以及邻接关系矩阵输入自注意力图神经网络，提取交互特征信息；
S05：对于动态障碍物的运动轨迹，使用LSTM编码模块计算编码后的特征，然后根据轨迹点当前位置从自注意力图神经网络查询当前位置区域内的交互特征，将编码后的特征和交互特征进行拼接，使用LSTM解码模块进行解码，输出预测轨迹点。
2.根据权利要求1所述的用于自动驾驶算法的仿真测试场景的动态障碍物运动轨迹预测方法，其特征在于，所述步骤S01中生成轨迹向量包括，对每条运动轨迹以第一个运动轨迹点为中心点，对其它坐标进行正则化，将每个障碍物的运动轨迹通过多个首尾相连的向量表示，生成轨迹向量。
3.根据权利要求1所述的用于自动驾驶算法的仿真测试场景的动态障碍物运动轨迹预测方法，其特征在于，所述轨迹向量包括起点坐标、结束点坐标、速度和时间。
4.根据权利要求1所述的用于自动驾驶算法的仿真测试场景的动态障碍物运动轨迹预测方法，其特征在于，所述道路向量包括起点坐标、结束点坐标、交通标志信息。
5.一种自动驾驶车辆测试动态仿真测试场景的构建方法，其特征在于，包括：
S11：通过自动驾驶仿真端根据场景静态信息、自动驾驶车辆信息、及目的地生成静态场景模型；
S12：根据自动驾驶车辆和障碍物的历史轨迹和生成的静态场景模型，调用权利要求1-4任一项所述的动态障碍物运动轨迹预测方法计算各障碍物下一个周期的运动轨迹；
S13：每隔一段时间进行状态交互，构建动态仿真测试场景。
6.根据权利要求5所述的自动驾驶车辆测试动态仿真测试场景的构建方法，其特征在于，所述步骤S11中还根据各动态障碍物的驾驶风险等级生成静态场景模型。
7.一种自动驾驶算法的交互式仿真测试系统，其特征在于，包括通过网关连接的自动驾驶仿真端、动态障碍物模拟终端和数据库；
所述自动驾驶仿真端包括自动驾驶算法执行模块、动态障碍物控制模块、场景静态构建模块、网络通信模块和显示模块；
自动驾驶算法执行模块根据输入的场景静态信息和动态障碍物状态数据，执行规划和控制算法，控制自动驾驶车辆在场景中运动；
动态障碍物控制模块，用于根据动态障碍物的运动轨迹控制动态障碍物运动；
场景静态构建模块，根据场景静态信息进行初始化构建静态场景三维模型；
网络通信模块，将自动驾驶车辆的状态、轨迹发送给网关，接收网关发送的数据并发送给动态障碍物控制模块和自动驾驶算法执行模块；
显示模块，用于显示数据信息；
所述动态障碍物模拟终端包括网络通信模块、控制模块、场景构建模块和轨迹预测神经网络模型库；
网络通信模块，用于网关与控制模块之间的数据接收和发送；
控制模块，根据自动驾驶车辆和障碍物的历史轨迹、和静态场景模型，调用轨迹预测神经网络模型执行预测算法，计算各障碍物下一个周期的运动轨迹，并发送给网络通信模块；
场景构建模块，根据场景静态信息和动态障碍物信息进行初始化构建场景模型；
轨迹预测神经网络模型库，根据预先收集的行人和车辆的运动轨迹数据和设计的神经网络结构，经过训练生成轨迹预测神经网络模型，存储于模型库中形成轨迹预测神经网络模型库；
所述数据库用于存储账号信息、场景静态信息及交互过程的动态轨迹数据。
8.根据权利要求7所述的自动驾驶算法的交互式仿真测试系统，其特征在于，所述显示模块，根据场景静态构建模块传输的数据渲染道路、交通标识信息、静态障碍物信息；根据自动驾驶算法传输的自动驾驶车辆轨迹动态显示车辆在场景中的运动轨迹；根据动态障碍物控制模块传输的动态障碍物位置动态显示其在场景中的运动轨迹。
9.根据权利要求7所述的自动驾驶算法的交互式仿真测试系统，其特征在于，通过权利要求1-4任一项所述的动态障碍物运动轨迹预测方法生成轨迹预测神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011266351.9A CN112417756B (zh) | 2020-11-13 | 2020-11-13 | 一种自动驾驶算法的交互式仿真测试系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011266351.9A CN112417756B (zh) | 2020-11-13 | 2020-11-13 | 一种自动驾驶算法的交互式仿真测试系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112417756A CN112417756A (zh) | 2021-02-26 |
| CN112417756B true CN112417756B (zh) | 2023-11-17 |
Family
ID=74831210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011266351.9A Active CN112417756B (zh) | 2020-11-13 | 2020-11-13 | 一种自动驾驶算法的交互式仿真测试系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112417756B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861988B (zh) * | 2021-03-04 | 2022-03-11 | 西南科技大学 | 一种基于注意力图神经网络的特征匹配方法 |
| CN112926224B (zh) * | 2021-03-30 | 2024-02-02 | 深圳安途智行科技有限公司 | 基于事件的仿真方法及计算机设备 |
| CN113128381A (zh) * | 2021-04-06 | 2021-07-16 | 浙江吉利控股集团有限公司 | 障碍物轨迹预测方法、系统及计算机存储介质 |
| WO2022241771A1 (zh) * | 2021-05-21 | 2022-11-24 | 华为技术有限公司 | 一种预测方法、装置、车辆和智能驾驶系统 |
| CN113447276A (zh) * | 2021-05-26 | 2021-09-28 | 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） | 车辆测试系统和车辆测试方法 |
| CN113536548A (zh) * | 2021-06-29 | 2021-10-22 | 的卢技术有限公司 | 一种基于carla的预制轨迹仿真场景的搭建方法 |
| CN113419518B (zh) * | 2021-07-12 | 2022-11-29 | 沈阳东信创智科技有限公司 | 一种基于vts的vil测试平台 |
| CN113516749B (zh) * | 2021-09-14 | 2021-12-17 | 中国汽车技术研究中心有限公司 | 自动驾驶视觉传感器数据采集方法、装置、设备及介质 |
| CN114018265B (zh) * | 2021-10-28 | 2024-02-02 | 山东新一代信息产业技术研究院有限公司 | 一种巡检机器人行驶轨迹生成方法、设备及介质 |
| CN114267191B (zh) * | 2021-12-10 | 2023-04-07 | 北京理工大学 | 缓解交通拥堵驾驶员控制系统、方法、介质、设备及应用 |
| CN114179835B (zh) * | 2021-12-30 | 2024-01-05 | 清华大学苏州汽车研究院（吴江） | 基于真实场景下强化学习的自动驾驶车辆决策训练方法 |
| CN114734482B (zh) * | 2022-04-06 | 2024-01-12 | 深圳市普渡科技有限公司 | 道路识别功能的测试方法、计算机设备和存储介质 |
| CN115081186B (zh) * | 2022-05-17 | 2023-09-26 | 同济大学 | 一种支持数据驱动的驾驶行为仿真系统及其仿真方法 |
| CN115221722B (zh) * | 2022-07-28 | 2023-11-17 | 北京百度网讯科技有限公司 | 自动驾驶车辆的仿真测试方法、模型训练方法和设备 |
| CN115616937B (zh) * | 2022-12-02 | 2023-04-04 | 广汽埃安新能源汽车股份有限公司 | 自动驾驶仿真测试方法、装置、设备和计算机可读介质 |
| CN116030438B (zh) * | 2023-03-30 | 2023-06-23 | 斯润天朗（北京）科技有限公司 | 基于时间同步的协作式感知方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110588653A (zh) * | 2018-05-24 | 2019-12-20 | 通用汽车环球科技运作有限责任公司 | 自主车辆的控制系统、控制方法以及控制器 |
| CN110843794A (zh) * | 2020-01-15 | 2020-02-28 | 北京三快在线科技有限公司 | 驾驶场景理解方法、装置和轨迹规划方法、装置 |
| CN111002980A (zh) * | 2019-12-10 | 2020-04-14 | 苏州智加科技有限公司 | 基于深度学习的道路障碍物轨迹预测方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11772663B2 (en) * | 2018-12-10 | 2023-10-03 | Perceptive Automata, Inc. | Neural network based modeling and simulation of non-stationary traffic objects for testing and development of autonomous vehicle systems |
| US20200341474A1 (en) * | 2019-04-23 | 2020-10-29 | WeRide Corp. | Method and device for generating an autonomous driving trajectory of a vehicle |
-
2020
- 2020-11-13 CN CN202011266351.9A patent/CN112417756B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110588653A (zh) * | 2018-05-24 | 2019-12-20 | 通用汽车环球科技运作有限责任公司 | 自主车辆的控制系统、控制方法以及控制器 |
| CN111002980A (zh) * | 2019-12-10 | 2020-04-14 | 苏州智加科技有限公司 | 基于深度学习的道路障碍物轨迹预测方法和系统 |
| CN110843794A (zh) * | 2020-01-15 | 2020-02-28 | 北京三快在线科技有限公司 | 驾驶场景理解方法、装置和轨迹规划方法、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112417756A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112417756B (zh) | 一种自动驾驶算法的交互式仿真测试系统 | |
| US11554785B2 (en) | Driving scenario machine learning network and driving environment simulation | |
| Fernando et al. | Deep inverse reinforcement learning for behavior prediction in autonomous driving: Accurate forecasts of vehicle motion | |
| RU2733015C1 (ru) | Оперативное управление автономным транспортным средством | |
| EP3958129A1 (en) | Method and system for validating autonomous control software for a self-driving vehicle | |
| CN111316286A (zh) | 轨迹预测方法及装置、存储介质、驾驶系统与车辆 | |
| CN112307566A (zh) | 车辆仿真测试方法、装置、设备及存储介质 | |
| US11628850B2 (en) | System for generating generalized simulation scenarios | |
| Niranjan et al. | Deep learning based object detection model for autonomous driving research using carla simulator | |
| CN110716529A (zh) | 一种自动驾驶测试用例自动生成方法和装置 | |
| CN111735639B (zh) | 一种面向智能网联汽车示范区的自动驾驶场景最小集生成方法 | |
| CN111752258A (zh) | 自主车辆的操作测试 | |
| KR102657921B1 (ko) | 융합된 이미지를 사용한 엔드 투 엔드 시스템 트레이닝 | |
| CN115221722B (zh) | 自动驾驶车辆的仿真测试方法、模型训练方法和设备 | |
| US11875680B2 (en) | Systems and methods for augmenting perception data with supplemental information | |
| WO2022160900A1 (zh) | 一种测试场景构建方法及装置 | |
| CN113511204A (zh) | 一种车辆换道行为识别方法及相关设备 | |
| Bai et al. | Cyber mobility mirror for enabling cooperative driving automation in mixed traffic: A co-simulation platform | |
| CN110675476A (zh) | 一种直观传达自动驾驶场景定义的方法和装置 | |
| CN111983934B (zh) | 一种无人车仿真测试用例生成方法及系统 | |
| Tewari et al. | AI-based autonomous driving assistance system | |
| CN114969004A (zh) | 轨迹融合方法、装置、设备、介质及产品 | |
| Bossert et al. | A modular test strategy for highly autonomous driving based on autonomous parking pilot and highway pilot | |
| Wan et al. | Fusing onboard modalities with V2V information for autonomous driving | |
| US11814070B1 (en) | Simulated driving error models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |