CN106503393A - 一种利用仿真生成样本实现无人车自主行进的方法 - Google Patents
一种利用仿真生成样本实现无人车自主行进的方法 Download PDFInfo
- Publication number
- CN106503393A CN106503393A CN201611004536.6A CN201611004536A CN106503393A CN 106503393 A CN106503393 A CN 106503393A CN 201611004536 A CN201611004536 A CN 201611004536A CN 106503393 A CN106503393 A CN 106503393A
- Authority
- CN
- China
- Prior art keywords
- unmanned vehicle
- data
- recognition
- network
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
- G06F30/36—Circuit design at the analogue level
- G06F30/367—Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明提出一种利用仿真生成样本实现无人车自主行进的方法。该方法首先构建无人车仿真模型，在仿真平台构建复杂环境，操控无人车运行，实时记录传感器反馈的数据，并以对应的控制指令作为标签，用于端到端的神经网络训练。由于实际应用场景与仿真环境不完全相同，进一步在现实世界操控机器人并记录数据，对已训练好的网络进行微调。本发明通过仿真解决缺少标注样本的问题，可在仿真平台实现大量训练样本的生成自动化，省时省力。
Description
技术领域
本发明属于人工智能领域，涉及利用仿真生成样本实现无人车自主行进的方法，尤其是涉及在仿真平台生成训练样本，并应用于无人车自主行进的网络训练方法。
背景技术
针对深度神经网络，许多研究已经表明，网络能从大量带有标注的训练样本中学习得到模型。训练得到的模型可应用于自然和人为问题，包括无人车自主行进任务，且具有优异的性能。但网络的良好性能需要大量训练数据，而不同领域、不同的任务所需的训练数据不完全相同，若在现实世界中针对性地采集数据并进行标注，耗时且成本昂贵。
以无人车导航为例，比如在只有人类转向角度作为训练信号的情况下，网络能自动学习检测有用的道路特征。该方法可大大减少训练样本量，带来更好的性能以及更小巧的系统。
发明内容
本发明所要解决的技术问题是提供利用仿真生成样本实现无人车自主行进的方法，使得能提高数据的有效性和利用率。为此，本发明提供以下技术方案：
一种利用仿真生成样本实现无人车自主行进的方法，该方法包括如下步骤：
步骤一、搭建仿真模型，在仿真平台生成训练样本；
步骤二、用步骤一生成的训练样本通过循环神经网络实现端到端训练，端到端的一端是指输入传感器测量数据，另一端是指输出无人车的控制指令；
步骤三、控制无人车在现实场景中运行，获取相应的传感器数据和控制指令，对步骤二的神经网络的各层参数进行处理，得到适用于该无人车自主行进的循环神经网络。
在上述技术方案的基础上，本发明还可以采用一下进一步的技术方案：
步骤一中，搭建仿真模型并在仿真平台生成训练样本的方法如下：
1-1.搭建无人车仿真模型，添加激光测距传感器；
1-2.在仿真平台随机加入障碍物，构建场景；
1-3.将无人车置于仿真场景中，控制无人车在仿真场景中无碰撞地安全行驶，记录无人车的转向角速度和运行速度，同时将测距传感器测量得到的数据及相应的时间戳记录到本地；
1-4.重复执行场景构建及无人车运行，产生足量数据，并指定激光测距传感器测量数据为神经网络的输入，控制指令为神经网络的输出。
步骤二中，使用循环神经网络实现端到端训练的具体方法如下：
2-1.建立处理序列数据的循环神经网络，将测距传感器测量数据预处理后作为循环神经网络的输入，标记为，xt表示t时刻神经网络的输入数据，将转向角速度和速度等控制指令作为神经网络输出，标记为，ot表示t时刻神经网络输出的控制参数，将循环神经网络隐藏单元标记为，st表示t时刻神经网络隐藏单元的状态，其中xt,ot,st是一一对应的，下标表示t时刻；
2-2.使用循环神经网络进行端到端的训练。
步骤三中，使用实际数据对网络进行微调处理的具体方法如下：
3-1.在现实场景中控制无人车安全无碰撞地运行，采集测距传感器数据并记录遥控器的控制指令，获得现实场景中的训练数据。
3-2.将测距传感器数据作为网络输入，将遥控器控制指令作为网络输出，在步骤二的基础上，对循环神经网络进行微调处理，得到适用于该无人车自主行进的循环神经网络。
由于采用本发明的技术方案，本发明的有益效果为：本发明不直接在现实场景中控制无人车采集大量训练数据，而是搭建仿真平台并构建模型，在虚拟环境下快速获得训练样本，减少采集样本的时间，降低成本。本发明先用低成本的仿真平台采样，得到一个效果一般的网络，然后用少量现实场景的数据调整网络，就能得到效果不差于传统方法的神经网络，该方法可大大减少训练样本量，带来更好的性能以及更小巧的系统。
附图说明
图1是本发明循环神经网络结构示意图；
图2是本发明将循环神经网络展开后的示意图；
图3是本发明端到端训练示意图。
具体实施方式
参阅图1、图2，本发明提出了一种利用仿真生成样本实现无人车自主行进的方法，以下结合附图作进一步描述：
步骤一、搭建仿真模型，在仿真平台生成训练样本；
搭建无人车仿真模型，添加必要的传感器，如摄像头、激光测距仪等；
编写程序，在仿真平台随机加入障碍物，构建复杂环境；
步骤一中，搭建仿真模型并在仿真平台生成训练样本的方法如下：
1-1. 搭建无人车仿真模型，可以使用开源的杰克描述包（Jackal_descriptionpackage），这个包用统一机器人描述格式（URDF）语言描述的一个无人驾驶地面车辆模型；
1-2. 在机器人操作系统（ROS）的眺望台仿真平台（Gazebo）可加载上述的无人车模型，编写程序，随机加入障碍物，构建复杂环境；
1-3.将无人车置于仿真场景中，控制无人车在仿真场景中无碰撞地安全行驶，记录无人车的转向角速度和运行速度，同时将测距传感器测量得到的数据及相应的时间戳记录到本地；
1-4.重复执行场景构建及无人车运行，产生足量数据，并指定激光测距传感器测量数据为神经网络的输入，控制指令为神经网络的输出，两者共同组成训练样本。
这个步骤将无人车置于复杂环境中，编写程序控制无人车在场景中无碰撞地安全行驶，记录控制指令，如转向角速度和运行速度，同时将各传感器测量得到的数据记录到本地，并保持数据的前后顺序不变；
重复执行环境构建及无人车运行，产生足量数据，每组数据包括某时刻传感器测量得到的数据和无人车的控制指令，足量数据是指以20组连续数据为一个序列，共得到8000个序列，每个序列包含20个传感器数据和20个控制指令，并指定传感器测量数据为神经网络输入，控制指令为神经网络的输出，两者共同组成训练样本。
步骤二、用循环神经网络实现端到端训练；
确定本方法应用领域为实时连续的无人车自主行进；
设计能处理序列数据的循环神经网络（RNN），网络结构图如图1所示，展开后如图2所示；
将传感器测量数据预处理后作为神经网络输入，标记为。将转角和速度等控制指令作为神经网络输出，标记为。将RNN的隐藏单元标记为；
结合图2可知，以t时刻为例，纵向上，有一条单向流动的信息流是从输入单元到达隐藏单元的，将传感器数据xt输入到神经网络中；横向上，隐藏层的输入还包括前一时刻的隐藏层输出st-1，即st是结合当前的观测数据 -1以及记忆的计算得到的；另一条纵向单向流动的信息流从隐藏单元到达输出单元，即可以从隐藏单元st计算得到网络的输出ot，因此t时刻的输出是由当前的输入和前一时刻的状态共同决定的。同理，该时刻的隐藏单元输出st同样会传递到下一时刻，与xt+1共同决定st+1。
如图3所示，使用循环神经网络（RNN）实现端到端训练，以记录的控制指令作为目标值，与预处理后测量数据通过RNN网络计算得到的控制指令比较，得到误差值，利用反向传播算法调整RNN的参数，根据实际数据量迭代适当次数，可取值为序列数的5至10倍。
步骤三中，使用实际数据对网络进行微调处理的具体方法如下：
3-1.在现实场景中控制无人车安全无碰撞地运行，采集测距传感器数据并记录遥控器的控制指令，获得现实场景中的训练数据。
3-2.将测距传感器数据作为网络输入，将遥控器控制指令作为网络输出，在步骤二的基础上，对循环神经网络进行微调处理，得到适用于该无人车自主行进的循环神经网络。
在现实场景中控制无人车安全无碰撞地运行，采集传感器数据并记录遥控器的控制指令，获得少量现实场景中的训练数据；
现实场景中运行无人车与仿真平台的情景不完全相同，根据研究表明，网络的前几层能准确检测并提取有效的特征，可固定前几层网络的参数，利用新获得的训练数据对网络重新训练，实现微调，得到适用于该无人车自主行进的神经网络。
Claims (4)
1.一种利用仿真生成样本实现无人车自主行进的方法，其特征在于,该方法包括如下步骤：
步骤一、搭建仿真模型，在仿真平台生成训练样本；
步骤二、用步骤一生成的训练样本通过循环神经网络实现端到端训练，端到端的一端是指输入传感器测量数据，另一端是指输出无人车的控制指令；
步骤三、控制无人车在现实场景中运行，获取相应的传感器数据和控制指令，对步骤二的神经网络的各层参数进行处理，得到适用于该无人车自主行进的循环神经网络。
2.如权利要求1所述的利用仿真生成样本实现无人车导航的方法，其特征在于,步骤一中，搭建仿真模型并在仿真平台生成训练样本的方法如下：
1-1.搭建无人车仿真模型，添加激光测距传感器；
1-2.在仿真平台随机加入障碍物，构建场景；
1-3.将无人车置于仿真场景中，控制无人车在仿真场景中无碰撞地安全行驶，记录无人车的转向角速度和运行速度，同时将测距传感器测量得到的数据及相应的时间戳记录到本地；
1-4.重复执行场景构建及无人车运行，产生足量数据，并指定激光测距传感器测量数据为神经网络的输入，控制指令为神经网络的输出。
3.如权利要求2所述的利用仿真生成样本实现无人车自主行进的方法，其特征在于,步骤二中，使用循环神经网络实现端到端训练的具体方法如下：
2-1.建立处理序列数据的循环神经网络，将测距传感器测量数据预处理后作为循环神经网络的输入，标记为，xt表示t时刻神经网络的输入数据，将速度和转向角速度等控制指令作为神经网络输出，标记为，ot表示t时刻神经网络输出的控制参数，将循环神经网络隐藏单元标记为，st表示t时刻神经网络隐藏单元的状态，其中xt,ot,st是一一对应的，下标表示t时刻；
2-2.使用循环神经网络进行端到端的训练。
4.如权利要求3所述的利用仿真生成样本实现无人车自主行进的方法，其特征在于,步骤三中，使用实际数据对网络进行微调处理的具体方法如下：
3-1.在现实场景中控制无人车安全无碰撞地运行，采集测距传感器数据并记录遥控器的控制指令，获得现实场景中的训练数据；
3-2.将测距传感器数据作为网络输入，将遥控器控制指令作为网络输出，在步骤二的基础上，对循环神经网络进行微调处理，得到适用于该无人车自主行进的循环神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611004536.6A CN106503393A (zh) | 2016-11-15 | 2016-11-15 | 一种利用仿真生成样本实现无人车自主行进的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611004536.6A CN106503393A (zh) | 2016-11-15 | 2016-11-15 | 一种利用仿真生成样本实现无人车自主行进的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106503393A true CN106503393A (zh) | 2017-03-15 |
Family
ID=58324652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611004536.6A Pending CN106503393A (zh) | 2016-11-15 | 2016-11-15 | 一种利用仿真生成样本实现无人车自主行进的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106503393A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106990714A (zh) * | 2017-06-05 | 2017-07-28 | 李德毅 | 基于深度学习的适配控制方法与装置 |
| CN107403197A (zh) * | 2017-07-31 | 2017-11-28 | 武汉大学 | 一种基于深度学习的裂缝识别方法 |
| CN107491073A (zh) * | 2017-09-05 | 2017-12-19 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆的数据训练方法和装置 |
| CN108490927A (zh) * | 2018-01-24 | 2018-09-04 | 天津大学 | 一种应用于无人驾驶汽车的目标跟踪系统及跟踪方法 |
| CN108958233A (zh) * | 2017-05-18 | 2018-12-07 | 北京图森未来科技有限公司 | 一种感知模拟方法和装置 |
| CN109711477A (zh) * | 2018-12-29 | 2019-05-03 | 百度在线网络技术（北京）有限公司 | 一种自动驾驶模型的训练方法及装置 |
| JP2019098949A (ja) * | 2017-12-04 | 2019-06-24 | アセントロボティクス株式会社 | 学習方法、学習装置及び学習プログラム |
| CN110705101A (zh) * | 2019-09-30 | 2020-01-17 | 深圳市商汤科技有限公司 | 网络训练方法、车辆行驶方法及相关产品 |
| CN111581887A (zh) * | 2020-05-16 | 2020-08-25 | 郑州轻工业大学 | 一种虚拟环境中基于仿真学习的无人车智能训练方法 |
| WO2020177417A1 (zh) * | 2019-03-01 | 2020-09-10 | 北京三快在线科技有限公司 | 控制无人驾驶设备及训练模型 |
| CN112416968A (zh) * | 2020-12-09 | 2021-02-26 | 中国船舶工业系统工程研究院 | 一种支持数据集生成的无人艇数据管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104850120A (zh) * | 2015-03-19 | 2015-08-19 | 武汉科技大学 | 基于ihdr自主学习框架的轮式移动机器人导航方法 |
| CN105139072A (zh) * | 2015-09-09 | 2015-12-09 | 东华大学 | 应用于非循迹智能小车避障系统的强化学习算法 |
| CN105760894A (zh) * | 2016-03-16 | 2016-07-13 | 哈尔滨伟方智能科技开发有限责任公司 | 一种基于机器视觉及机器学习的机器人导航方法 |
| CN105807630A (zh) * | 2015-01-21 | 2016-07-27 | 福特全球技术公司 | 虚拟传感器试验台 |
| CN105915853A (zh) * | 2016-05-27 | 2016-08-31 | 大连楼兰科技股份有限公司 | 基于红外感知的远程无人定损方法及系统 |
-
2016
- 2016-11-15 CN CN201611004536.6A patent/CN106503393A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105807630A (zh) * | 2015-01-21 | 2016-07-27 | 福特全球技术公司 | 虚拟传感器试验台 |
| CN104850120A (zh) * | 2015-03-19 | 2015-08-19 | 武汉科技大学 | 基于ihdr自主学习框架的轮式移动机器人导航方法 |
| CN105139072A (zh) * | 2015-09-09 | 2015-12-09 | 东华大学 | 应用于非循迹智能小车避障系统的强化学习算法 |
| CN105760894A (zh) * | 2016-03-16 | 2016-07-13 | 哈尔滨伟方智能科技开发有限责任公司 | 一种基于机器视觉及机器学习的机器人导航方法 |
| CN105915853A (zh) * | 2016-05-27 | 2016-08-31 | 大连楼兰科技股份有限公司 | 基于红外感知的远程无人定损方法及系统 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108958233A (zh) * | 2017-05-18 | 2018-12-07 | 北京图森未来科技有限公司 | 一种感知模拟方法和装置 |
| CN108958233B (zh) * | 2017-05-18 | 2021-09-03 | 北京图森未来科技有限公司 | 一种感知模拟方法和装置 |
| CN106990714A (zh) * | 2017-06-05 | 2017-07-28 | 李德毅 | 基于深度学习的适配控制方法与装置 |
| CN107403197B (zh) * | 2017-07-31 | 2020-01-24 | 武汉大学 | 一种基于深度学习的裂缝识别方法 |
| CN107403197A (zh) * | 2017-07-31 | 2017-11-28 | 武汉大学 | 一种基于深度学习的裂缝识别方法 |
| CN107491073A (zh) * | 2017-09-05 | 2017-12-19 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆的数据训练方法和装置 |
| CN107491073B (zh) * | 2017-09-05 | 2021-04-02 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆的数据训练方法和装置 |
| WO2019047657A1 (zh) * | 2017-09-05 | 2019-03-14 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆的数据训练方法和装置 |
| JP2019098949A (ja) * | 2017-12-04 | 2019-06-24 | アセントロボティクス株式会社 | 学習方法、学習装置及び学習プログラム |
| CN108490927A (zh) * | 2018-01-24 | 2018-09-04 | 天津大学 | 一种应用于无人驾驶汽车的目标跟踪系统及跟踪方法 |
| CN109711477A (zh) * | 2018-12-29 | 2019-05-03 | 百度在线网络技术（北京）有限公司 | 一种自动驾驶模型的训练方法及装置 |
| CN109711477B (zh) * | 2018-12-29 | 2021-03-09 | 百度在线网络技术（北京）有限公司 | 一种自动驾驶模型的训练方法及装置 |
| WO2020177417A1 (zh) * | 2019-03-01 | 2020-09-10 | 北京三快在线科技有限公司 | 控制无人驾驶设备及训练模型 |
| CN110705101A (zh) * | 2019-09-30 | 2020-01-17 | 深圳市商汤科技有限公司 | 网络训练方法、车辆行驶方法及相关产品 |
| CN111581887A (zh) * | 2020-05-16 | 2020-08-25 | 郑州轻工业大学 | 一种虚拟环境中基于仿真学习的无人车智能训练方法 |
| CN111581887B (zh) * | 2020-05-16 | 2023-04-07 | 郑州轻工业大学 | 一种虚拟环境中基于仿真学习的无人车智能训练方法 |
| CN112416968A (zh) * | 2020-12-09 | 2021-02-26 | 中国船舶工业系统工程研究院 | 一种支持数据集生成的无人艇数据管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106503393A (zh) | 一种利用仿真生成样本实现无人车自主行进的方法 | |
| CN112232490B (zh) | 一种基于视觉的深度模仿强化学习驾驶策略训练方法 | |
| AU2020100371A4 (en) | Hierarchical multi-object tracking method based on saliency detection | |
| WO2020108309A1 (zh) | 控制设备移动的方法、装置、存储介质及电子设备 | |
| JP2020126607A (ja) | カメラから取得されたイメージと、それに対応するレーダまたはライダを通じて取得されたポイントクラウドマップをニューラルネットワークのそれぞれのコンボリューションステージごとに統合する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
| Pérez et al. | Ground vehicle detection through aerial images taken by a UAV | |
| CN107255923A (zh) | 基于rbf辨识的ica‑cmac神经网络的欠驱动无人艇航迹跟踪控制方法 | |
| CN107038713A (zh) | 一种融合光流法和神经网络的运动目标捕捉方法 | |
| CN111795700A (zh) | 一种无人车强化学习训练环境构建方法及其训练系统 | |
| KR20200010640A (ko) | 모션 인식 모델을 이용한 자체 운동 추정 장치 및 방법, 모션 인식 모델 트레이닝 장치 및 방법 | |
| CN107679489A (zh) | 基于场景分割的自动驾驶处理方法、装置及计算设备 | |
| Ou et al. | Autonomous quadrotor obstacle avoidance based on dueling double deep recurrent Q-learning with monocular vision | |
| CN107895378A (zh) | 目标检测方法和装置、存储介质、电子设备 | |
| Bakken et al. | End-to-end learning for autonomous crop row-following | |
| Verma et al. | Implementation and validation of behavior cloning using scaled vehicles | |
| CN111552294B (zh) | 基于时间依赖的室外机器人寻路仿真系统及方法 | |
| CN110766216A (zh) | 一种端到端移动机器人路径导航模拟方法及系统 | |
| CN114153216B (zh) | 基于深度强化学习和块规划的月面路径规划系统和方法 | |
| Song et al. | Search and tracking strategy of autonomous surface underwater vehicle in oceanic eddies based on deep reinforcement learning | |
| Zhang et al. | Learning how to avoiding obstacles for end-to-end driving with conditional imitation learning | |
| Cui et al. | End-to-end visual target tracking in multi-robot systems based on deep convolutional neural network | |
| RU2742394C1 (ru) | Способ построения интеллектуальной системы определения областей маршрутов полета беспилотного летательного аппарата в моделирующих комплексах | |
| Chen et al. | Motion planning for heterogeneous unmanned systems under partial observation from uav | |
| CN114495036A (zh) | 一种基于三阶段注意力机制的车辆轨迹预测方法 | |
| Tiwari et al. | Deep learning based lateral control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170315 |