CN108469815A - 一种基于意图的计算机深度学习自动导航和驾驶系统及其方法 - Google Patents
一种基于意图的计算机深度学习自动导航和驾驶系统及其方法 Download PDFInfo
- Publication number
- CN108469815A CN108469815A CN201810165166.7A CN201810165166A CN108469815A CN 108469815 A CN108469815 A CN 108469815A CN 201810165166 A CN201810165166 A CN 201810165166A CN 108469815 A CN108469815 A CN 108469815A
- Authority
- CN
- China
- Prior art keywords
- intention
- extraction
- navigation
- path planning
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title description 9
- 238000013439 planning Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000013016 learning Effects 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Abstract
本发明公开了一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，包括以下步骤：S1：顶层路径规划；S2:意图提取；S3：底层基于意图的决策。所述顶层路径规划，用启发式A星路径规划来进行点对点路径计算。其优点在于，不需要传统意义上的高精度雷达地图，普通的地图导航结果即可用于自动驾驶。路径规划只用于意图提取，所述意图提取，对于自动驾驶，意图提取来源于路径规划。所述底层基于意图的决策，利用深度模仿学习来学习各种驾驶技能。这种方式省去了维护高精度地图和设备的麻烦和费用。可以驾驶到任何没有预建地图的道路。因为这种抽象，我们的系统也能直接应用到室内机器人导航，只需要提供人类所需的商场平面图等即可。
Description
技术领域
本发明涉及汽车自动驾驶技术领域，尤其涉及一种基于意图的计算机深度学习自动导航和驾驶系统及其方法。
背景技术
现有技术中点对点导航是无人驾驶和室内机器人导航最基本的需求。然而，现有自动导航技术尚不能达到人类导航的地步。例如，当人们来到一家新的商城，人们可以轻易到达自己想去的商店，只需要商城的导航平面图就好。人们可以轻松地规避人群，规避障碍，开关玻璃门，甚至搭乘电梯以到达自己的目的地。相似地，当人们驾车到一个新的城市，人们可以轻松地驾到目的地，只需要GPS导航就好。人们可以轻松地规避路上车辆和障碍，等停红绿灯，遵守交通规则地驾到目的地。
人们能轻松完成这类任务基于两个要素：
1、人们可以基于粗略的平面地图自己规划路线或者遵循规划好的路线到达目的地。
2、人们从驾校学到的驾驶技巧可以适应到任何路况。
近年来，自动导航和驾驶得到了巨大的发展。总的来说，目前自动驾驶可以分为两大类。
1、基于地图和检测的自动驾驶。
2、基于深度学习的自动驾驶。
传统的基于地图和检测的自动驾驶，需要预先建立道路的高精度地图，运用雷达等高精度设备做决策和障碍物检测。
基于纯视觉的自动驾驶还略显不足，MobileEye和特斯拉致力于运用纯视觉进行自动驾驶。他们点对点导航基本依赖GPS导航的精准，决策和检测分开。容易出现漏检而出现事故。特斯拉就因错把卡车检测为天空而发生惨烈车祸。近年来，计算机深度学习的巨大发展，在图像检测和识别方面在数据集上结果都达到了人类水平。然而，基于深度学习的计算机自动驾驶决策还不够成熟。英伟达公司在2013年，提出了基于纯视觉的端对端深度学习决策系统，实际路测效果也非常不错。然而，英伟达公司的系统只能跑固定的路线，不能基于实际路况的不同而做出不同的决策。
本专利提出，一种基于意图的深度学习自动驾驶系统，通过结合路径规划和技能学习(类似人类在驾校学习驾驶技能)，实现点对点无人驾驶和导航。
发明内容
现有基于地图的自动驾驶，需要高精度地图和高精度设备。高精度地图，不适合没有地图的新道路，极大的限制了自动驾驶的使用。维护更新高精度地图也费时费力。传统的谷歌，百度地图，无法满足自动驾驶需要。高精度设备造价昂贵，极大的限制了自动驾驶的普及。现有的基于学习的自动驾驶，无法实现点对点导航，只能跑固定路线。传统的基于检测的自动驾驶，容易漏检造成事故。
为了解决现有技术中的以上问题，本发明目的是提供一种基于意图的计算机深度学习自动导航和驾驶方法。造价便宜，利用深度学习在图像识别的巨大优势，我们提出一种全新的端对端的深度学习智能点对点驾驶导航系统。
本发明解决技术问题采用如下技术方案：
本发明的出发点是模拟人类驾驶和导航。人类具有很强的抽象问题的能力，人们往往把GPS导航驾驶抽象为意图，而非精确的遵循GPS规划的路线。
例如，GPS导航时，人们总是处理为：保持当前道路行驶，下一个路口左转，下一个路口上立交桥等等。人类擅长抽象地处理事物而非精确地执行命令。例如，人们很难精确地向前驾驶30米。然而，处理这种抽象比精确执行命令有更多地好处。人们可以更灵活多变地处理各种突发情况。更主要地，因为不需要精确的命令指导，而只需要抽象的意图，我们的自动驾驶系统不需要依赖高精度地图和高精度设备。省去了维护高精度地图和设备的麻烦和费用。而且，可以驾驶到任何没有预建地图的道路。同时，因为这种抽象，我们的系统也能直接应用到室内机器人导航。只需要提供人类所需的商场平面图等。
一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，包括三部分：顶层路径规划→意图提取→底层基于意图的决策。
所述顶层路径规划：可以利用任何现有的路径规划策略。我们的路径规划不需要高精度地图，普通的谷歌地图精度就足够了。具体，我们用启发式A星路径规划来进行点对点路径计算。其特征在于，路径规划只用于意图提取。
所述意图提取：需要预定义意图，对于自动驾驶，我们利用谷歌地图提供的导航意图。例如，下一个路口左转，保持当前道路直行。在这基础上，我们进一步抽象为，左转，直行，右转等等。意图可以根据需求自行制定。对于自动驾驶，意图提取来源于路径规划，基于路径规划，我们从中提取意图。例如，GPS导航根据导航路线，会语音提示意图。
所述底层基于意图的决策：这是整个系统的核心。我们利用深度模仿学习(imitation learning)来学习各种驾驶技能。就像人类需要到驾校学习驾驶技能一样，我们通过人类示范驾驶技能，利用深度模仿学习来学习各种驾驶技能。我们框架的优势是我们只需要一套深度神经网络就可以学习所有技能，不需要为不同技能制定专门的学习算法。通过意图作为开关来选择需要调用的技能。就像人驾驶时候，需要停车时，就回想如何停车一样。同时，类似人类，我们的系统也能在驾驶过程中，逐步提高驾驶技能。
系统顶层，规划出从起点到终点的路径(如图1、图2所示)。这部分的核心创新点是，我们系统的路径规划不需要高精度地图，甚至可以是不完全地图。例如，商城平面图，谷歌地图等等。地图上可以缺失动态障碍物，例如，行人，移动车辆；可以缺失静态障碍物，例如，商城翻新，道路维修造成的地图未及时更新等状况。我们系统的路径规划需要保证最基本的几何结构就好，例如，何处有多个路口。给出这样的地图，我们做最简单的路径规划。例如，室内机器人：A星路径规划，自动驾驶，谷歌导航。由于，我们系统的顶层决策信息十分粗糙，我们将维护动态环境的问题移到底层决策上，这样，极大地提高了我们系统的灵活性。同时，减去了维护高精度实时地图的巨大开销。
通过我们的系统，容易实现各种环境的自适应，不需要额外信息。只需要提供新环境的大致平面地图或者新城市的谷歌地图即可。类比与人类，人们在驾驶学校拿到驾照，在道路上驾照一定路程，例如，一万公里，人们就能够胜任各种复杂路况，到了新城市，也只需要新城市的谷歌地图做导航用。我们的系统采用同样的模式，而且，基于纯视觉导航，自动驾驶，成本更低廉。
系统信号，意图(如图1、图2所示)。意图作为连接顶层导航和底层决策的信号指导。如图所示，从同样的出发地，基于不同的路径规划，产生不同意图，从而指导车辆或者机器人导航到不同的目的地。确切地说，在只有一条道路的情况下，意图的作用不明显，车辆会自动行驶并规避障碍物，在遇到岔路口，车辆本身无法判断该左转还是右转的情况下，意图作为指导，引导车辆到达目的地。意图本身来自系统顶层路径规划。具体来说，我们设计了两种不同的意图表达方式。实际上，意图可以有不用表达方式，我们只探索了其中两种，用以启发其他从业者，系统结构设计本身应当属于本专利范畴。
进一步的，基于命令的意图，大多数情况下，司机听从命令式导航指导就可以到达目的地。例如，沿着当前道路直行，下一个路口左转，下一个路口右转等等。我们抽象出基本的四种意图：左转，直行，右转和到达。具体的提取方式，源自于顶层路径规划的路径偏转角度。如果前方路径左偏超过预设阈值，就产生左转意图，超过右偏阈值，就产生右转意图，否则，产生直行意图。到达目的地产生到达意图，让车辆安全停车。
进一步的，基于路径的意图，我们设计了基于路径的意图来弥补命令意图需要手动设置阈值的问题。这种意图产生更直接，实验效果更好，具有更多信息。主要基于自动导航(GPS导航)的定位系统，截取自身周围的环境(例如，周围20米范围内的地图信息)。将顶层路径规划投射到这个局部地图上。具体地，我们用不同颜色来区分未来路径和历史路径。一种颜色代表未来路径，一种颜色代表历史行驶路径。为了保证方向统一，我们旋转局部地图，保证局部地图行驶方向始终朝向北方。
进一步的，基于意图的决策：此部分是最核心的部分。我们利用深度模仿学习(imitation learning or learn from demonstration)来学习基于不同意图的技能技巧。类似人们在驾校学习的分科目技能，直行，爬坡，侧方位停车等等。我们离线学习基于不同意图的技能以保证自动驾驶的安全。和传统分开学习技能不同，我们设计了同一个神经网络学习所有技能。类似人类一个大脑可以学习不同技能。这样，各种技能能相互分享经验，学习更高效，更鲁棒。基于上述不同意图，我们设计了两种网络结构。
第一种，基于命令的意图，我们的神经网络输入是视觉信息和相对于的意图，输出是车辆控制参数，速度和转向角。和传统神经网络只输出转向角不同，我们同时输出速度，使车辆行驶更平稳。因为，行驶过程无法保证速度不变。人们转弯的时候，往往会先减速。恶劣天气也会减速慢行，我们同时输出速度和转向角能保证完全操控车辆。
基于命令的意图，其特征在于，还包括下面网络结构和步骤(如图4)：
第一组线：
步骤101，根据谷歌地图、商场平面图等地图工具规划路径。
步骤102，基于路径规划，提取意图，变成适当的运动指标(左转，右转，直行)。
步骤103，通过独热编码后，串联Fully Connected ReLU提升到64维度特征变量。
第二组线：
步骤104，相关设备对视觉图像特征进行处理。
步骤105，视觉反馈通过RestNet50,提取2048维视觉特征。
两条线合并：
步骤106，接下来两条线提取的特征串联为2112维度特征，并连接到Fullyconnected linear到2维控制输出。
步骤107，通过均方差来训练控制，做出控制变量决定(速度和转向角)。
第二种，基于路径的意图，基于路径的意图神经网络相对简单，因为更多的信息已经包含在意图中了。我们利用孪生网络来辅助学习。输入是视觉信息和基于路径的意图，输出同样是速度和转向角。
基于路径的意图，其特征在于，还包括下面网络结构和步骤(如图5)：
第一组线：
步骤201，根据谷歌地图、商场平面图等地图工具规划路径。
步骤202，将规划路径投射到局部地图连接，形成224x224x3的局部彩色地图，数据包含未来路径和历史路径。
步骤203，通过RestNet50提取2048维度意图特征。
第二组线：
步骤204，相关设备对视觉图像特征进行处理。
步骤205，视觉反馈通过RestNet50,提取2048维视觉特征。
两条线合并：
步骤206，接下来两条线提取的特征串联为4096维度特征，并连接到Fullyconnected linear到2维控制输出。
步骤207，通过均方差来训练控制，做出控制变量决定(速度和转向角)。
其中，步骤203中的设备可以和步骤205中的特征提取共享相同ResNet50参数(孪生网络)
所有神经网络采用有监督的模仿学习方式来学习技能。利用人类驾驶作为老师来教导学习。我们已经在Pioneer机器人和单座电瓶车上验证了我们算法的有效性。机器人和小车都能能鲁棒地完成点对点导航。尤其是车辆，我自己坐在上面，感觉很平稳。为了使车辆能达到我们需求的速度和转向角，我们利用PID控制来实现。
本发明具有如下有益效果：我们的自动驾驶系统不需要依赖高精度地图和高精度设备。首先用户根据需求制定顶层路径规划，接下来对路径进行意图提取，最后底层基于意图做出决策。这种方式省去了维护高精度地图和设备的麻烦和费用。而且，可以驾驶到任何没有预建地图的道路。同时，因为这种抽象，我们的系统也能直接应用到室内机器人导航。只需要提供人类所需的商场平面图等。
附图说明
图1为系统运行结构示意图1；
图2为系统运行结构示意图2；
图3为系统流程结构示意图；
图4基于命令的意图结构示意图；
图5基于路径的意图结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
系统顶层，规划出从起点到终点的路径(如图1、图2)。这部分的核心创新点是，我们系统的路径规划不需要高精度地图，甚至可以是不完全地图。例如，商城平面图，谷歌地图等等。地图上可以缺失动态障碍物，例如，行人，移动车辆；可以缺失静态障碍物，例如，商城翻新，道路维修造成的地图未及时更新等状况。我们系统的路径规划需要保证最基本的几何结构就好，例如，何处有多个路口。给出这样的地图，我们做最简单的路径规划。例如，室内机器人：A星路径规划，自动驾驶，谷歌导航。由于，我们系统的顶层决策信息十分粗糙，我们将维护动态环境的问题移到底层决策上，这样，极大地提高了我们系统的灵活性。同时，减去了维护高精度实时地图的巨大开销。
通过我们的系统，容易实现各种环境的自适应，不需要额外信息。只需要提供新环境的大致平面地图或者新城市的谷歌地图即可。类比与人类，人们在驾驶学校拿到驾照，在道路上驾照一定路程，例如，一万公里，人们就能够胜任各种复杂路况，到了新城市，也只需要新城市的谷歌地图做导航用。我们的系统采用同样的模式，而且，基于纯视觉导航，自动驾驶，成本更低廉。
根据图1、图2进一步阐述：
首先用户根据需求制定顶层路径规划，接下来对路径进行意图提取，最后底层基于意图做出决策。根据图1、图2所示，我们从起点出发，终点结束。根据商城平面图或谷歌地图或其他工具地图，在顶层规划出路径。路径规划出来后，进行意图的提取，目前我们的系统主要设置了4种意图：左转，直行，右转和到达。具体的提取方式，源自于顶层路径规划的路径偏转角度。如果前方路径左偏超过预设阈值，就产生左转意图，超过右偏阈值，就产生右转意图，否则，产生直行意图。到达目的地产生到达意图，让车辆安全停车。
进一步的，根据图1显示，它的意图提取次序依次为：直行、左转、直行和到达。根据图2显示，它的意图提取次序依次为：直行、右转、直行和到达。
车辆具体在执行的时候，需要基于意图做出决策。
我们利用深度模仿学习(imitation learning or learn from demonstration)来学习基于不同意图的技能技巧。类似人们在驾校学习的分科目技能，直行，爬坡，侧方位停车等等。我们离线学习基于不同意图的技能以保证自动驾驶的安全。和传统分开学习技能不同，我们设计了同一个神经网络学习所有技能。类似人类一个大脑可以学习不同技能。这样，各种技能能相互分享经验，学习更高效，更鲁棒。基于上述不同意图，我们设计了两种网络结构。
第一种，基于命令的意图，我们的神经网络输入是视觉信息和相对于的意图，输出是车辆控制参数，速度和转向角。和传统神经网络只输出转向角不同，我们同时输出速度，使车辆行驶更平稳。因为，行驶过程无法保证速度不变。人们转弯的时候，往往会先减速。恶劣天气也会减速慢行，我们同时输出速度和转向角能保证完全操控车辆。
基于命令的意图，其特征在于，还包括下面网络结构和步骤(如图4)：
第一组线：
步骤101，根据谷歌地图、商场平面图等地图工具规划路径。
步骤102，基于路径规划，提取意图，变成适当的运动指标(左转，右转，直行)。
步骤103，通过独热编码后，串联Fully Connected ReLU提升到64维度特征变量。
第二组线：
步骤104，相关设备对视觉图像特征进行处理。
步骤105，视觉反馈通过RestNet50,提取2048维视觉特征。
两条线合并：
步骤106，接下来两条线提取的特征串联为2112维度特征，并连接到Fullyconnected linear到2维控制输出。
步骤107，通过均方差来训练控制，做出控制变量决定(速度和转向角)。
第二种，基于路径的意图，基于路径的意图神经网络相对简单，因为更多的信息已经包含在意图中了。我们利用孪生网络来辅助学习。输入是视觉信息和基于路径的意图，输出同样是速度和转向角。
基于路径的意图，其特征在于，还包括下面网络结构和步骤(如图5)：
第一组线：
步骤201，根据谷歌地图、商场平面图等地图工具规划路径。
步骤202，将规划路径投射到局部地图连接，形成224x224x3的局部彩色地图，数据包含未来路径和历史路径。
步骤203，通过RestNet50提取2048维度意图特征。
第二组线：
步骤204，相关设备对视觉图像特征进行处理。
步骤205，视觉反馈通过RestNet50,提取2048维视觉特征。
两条线合并：
步骤206，接下来两条线提取的特征串联为4096维度特征，并连接到Fullyconnected linear到2维控制输出。
步骤207，通过均方差来训练控制，做出控制变量决定(速度和转向角)。
其中，步骤203中的设备可以和步骤205中的特征提取共享相同ResNet50参数(孪生网络)
所有神经网络采用有监督的模仿学习方式来学习技能。利用人类驾驶作为老师来教导学习。我们已经在Pioneer机器人和单座电瓶车上验证了我们算法的有效性。机器人和小车都能能鲁棒地完成点对点导航。尤其是车辆，我自己坐在上面，感觉很平稳。为了使车辆能达到我们需求的速度和转向角，我们利用PID控制来实现。
以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，包括以下步骤：
S1：顶层路径规划；
S2:意图提取；
S3：底层基于意图的决策。
2.根据权利要求1所述的一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，所述顶层路径规划，可以利用任何现有的路径规划策略。路径规划不需要高精度地图，普通的谷歌等地图精度就足够了。具体，用启发式A星路径规划来进行点对点路径计算。其特征在于，路径规划只用于意图提取。
3.根据权利要求1所述的一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，所述意图提取，需要预定义意图，对于自动驾驶，意图提取来源于路径规划，基于路径规划，从中提取意图，利用谷歌等地图提供的导航意图。
4.根据权利要求1所述的一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，所述底层基于意图的决策，利用深度模仿学习(imitation learning)来学习各种驾驶技能。
5.根据权利要求1所述的一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，所述底层基于意图的决策，还包括基于命令的意图，其特征在于，包括下面的步骤：
第一组线：
步骤101，根据谷歌地图、商场平面图等地图工具规划路径。
步骤102，基于路径规划，提取意图，变成适当的运动指标(左转，右转，直行)。
步骤103，通过独热编码后，串联Fully Connected ReLU提升到64维度特征变量。
第二组线：
步骤104，相关设备对视觉图像特征进行处理。
步骤105，视觉反馈通过RestNet50,提取2048维视觉特征。
两条线合并：
步骤106，接下来两条线提取的特征串联为2112维度特征，并连接到Fully connectedlinear到2维控制输出。
步骤107，通过均方差来训练控制，做出控制变量决定(速度和转向角)。
6.根据权利要求1所述的一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，所述底层基于意图的决策，还包括基于路径的意图，其特征在于，包括下面的步骤：
第一组线：
步骤201，根据谷歌地图、商场平面图等地图工具规划路径。
步骤202，将规划路径投射到局部地图连接，形成224x224x3的局部彩色地图，数据包含未来路径和历史路径。
步骤203，通过RestNet50提取2048维度意图特征。
第二组线：
步骤204，相关设备对视觉图像特征进行处理。
步骤205，视觉反馈通过RestNet50,提取2048维视觉特征。
两条线合并：
步骤206，接下来两条线提取的特征串联为4096维度特征，并连接到Fully connectedlinear到2维控制输出。
步骤207，通过均方差来训练控制，做出控制变量决定(速度和转向角)。
其中，步骤203中的设备可以和步骤205中的特征提取共享相同ResNet50参数(孪生网络)
7.根据权利要求1所述的一种基于意图的计算机深度学习自动导航和驾驶方法，其特征在于，还包括所有神经网络采用有监督的模仿学习方式来学习技能。为了使车辆能达到我们需求的速度和转向角，利用PID控制来实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810165166.7A CN108469815A (zh) | 2018-02-27 | 2018-02-27 | 一种基于意图的计算机深度学习自动导航和驾驶系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810165166.7A CN108469815A (zh) | 2018-02-27 | 2018-02-27 | 一种基于意图的计算机深度学习自动导航和驾驶系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108469815A true CN108469815A (zh) | 2018-08-31 |
Family
ID=63264171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810165166.7A Pending CN108469815A (zh) | 2018-02-27 | 2018-02-27 | 一种基于意图的计算机深度学习自动导航和驾驶系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108469815A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109445443A (zh) * | 2018-12-24 | 2019-03-08 | 江苏集萃微纳自动化系统与装备技术研究所有限公司 | 一种辅助自动驾驶的座椅及其自动驾驶方法 |
| CN115202351A (zh) * | 2022-07-15 | 2022-10-18 | 沈阳工业大学 | 一种考虑意图及个体操作习惯的智能避障方法 |
| US11893457B2 (en) | 2020-01-15 | 2024-02-06 | International Business Machines Corporation | Integrating simulated and real-world data to improve machine learning models |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1363005A2 (en) * | 2002-05-15 | 2003-11-19 | Caterpillar Inc. | Engine control system using a cascaded neural network |
| CN103134514A (zh) * | 2012-12-25 | 2013-06-05 | 上海博泰悦臻电子设备制造有限公司 | 导航设备、导航路径的获取方法及路段提取方法与装置 |
| CN103456185A (zh) * | 2013-08-27 | 2013-12-18 | 李德毅 | 智能车在城市道路行驶中的接力导航方法 |
| CN105136144A (zh) * | 2015-08-05 | 2015-12-09 | 中科新松有限公司 | 商场导航系统以及商场导航方法 |
| CN106840178A (zh) * | 2017-01-24 | 2017-06-13 | 中南大学 | 一种基于ArcGIS的地图创建与智能车辆自主导航方法及系统 |
| CN106990714A (zh) * | 2017-06-05 | 2017-07-28 | 李德毅 | 基于深度学习的适配控制方法与装置 |
| CN107200017A (zh) * | 2017-05-22 | 2017-09-26 | 北京联合大学 | 一种基于深度学习的无人驾驶车辆控制系统 |
| CN107229690A (zh) * | 2017-05-19 | 2017-10-03 | 广州中国科学院软件应用技术研究所 | 基于路侧传感器的高精度动态地图数据处理系统及方法 |
| CN107246878A (zh) * | 2017-06-28 | 2017-10-13 | 北京新能源汽车股份有限公司 | 一种导航路径的确定方法、装置及汽车 |
| CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
| US20170371339A1 (en) * | 2016-06-28 | 2017-12-28 | Ford Global Technologies, Llc | Detecting Physical Threats Approaching A Vehicle |
| CN107610235A (zh) * | 2017-08-21 | 2018-01-19 | 北京精密机电控制设备研究所 | 一种基于深度学习的移动平台导航方法和装置 |
-
2018
- 2018-02-27 CN CN201810165166.7A patent/CN108469815A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1363005A2 (en) * | 2002-05-15 | 2003-11-19 | Caterpillar Inc. | Engine control system using a cascaded neural network |
| CN103134514A (zh) * | 2012-12-25 | 2013-06-05 | 上海博泰悦臻电子设备制造有限公司 | 导航设备、导航路径的获取方法及路段提取方法与装置 |
| CN103456185A (zh) * | 2013-08-27 | 2013-12-18 | 李德毅 | 智能车在城市道路行驶中的接力导航方法 |
| CN105136144A (zh) * | 2015-08-05 | 2015-12-09 | 中科新松有限公司 | 商场导航系统以及商场导航方法 |
| US20170371339A1 (en) * | 2016-06-28 | 2017-12-28 | Ford Global Technologies, Llc | Detecting Physical Threats Approaching A Vehicle |
| CN106840178A (zh) * | 2017-01-24 | 2017-06-13 | 中南大学 | 一种基于ArcGIS的地图创建与智能车辆自主导航方法及系统 |
| CN107229690A (zh) * | 2017-05-19 | 2017-10-03 | 广州中国科学院软件应用技术研究所 | 基于路侧传感器的高精度动态地图数据处理系统及方法 |
| CN107200017A (zh) * | 2017-05-22 | 2017-09-26 | 北京联合大学 | 一种基于深度学习的无人驾驶车辆控制系统 |
| CN106990714A (zh) * | 2017-06-05 | 2017-07-28 | 李德毅 | 基于深度学习的适配控制方法与装置 |
| CN107451526A (zh) * | 2017-06-09 | 2017-12-08 | 蔚来汽车有限公司 | 地图的构建及其应用 |
| CN107246878A (zh) * | 2017-06-28 | 2017-10-13 | 北京新能源汽车股份有限公司 | 一种导航路径的确定方法、装置及汽车 |
| CN107610235A (zh) * | 2017-08-21 | 2018-01-19 | 北京精密机电控制设备研究所 | 一种基于深度学习的移动平台导航方法和装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109445443A (zh) * | 2018-12-24 | 2019-03-08 | 江苏集萃微纳自动化系统与装备技术研究所有限公司 | 一种辅助自动驾驶的座椅及其自动驾驶方法 |
| US11893457B2 (en) | 2020-01-15 | 2024-02-06 | International Business Machines Corporation | Integrating simulated and real-world data to improve machine learning models |
| CN115202351A (zh) * | 2022-07-15 | 2022-10-18 | 沈阳工业大学 | 一种考虑意图及个体操作习惯的智能避障方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Deep imitation learning for autonomous driving in generic urban scenarios with enhanced safety | |
| CN104819724B (zh) | 一种基于gis的无人地面车辆自主行驶辅助系统 | |
| CN106774313B (zh) | 一种基于多传感器的室外自动避障agv导航方法 | |
| US9989964B2 (en) | System and method for controlling vehicle using neural network | |
| Rathinam et al. | Vision-based monitoring of locally linear structures using an unmanned aerial vehicle | |
| CN109084798B (zh) | 网络下发带有道路属性的控制点的路径规划方法 | |
| CN112212872B (zh) | 基于激光雷达和导航地图的端到端自动驾驶方法及系统 | |
| Zhao et al. | Dynamic motion planning for autonomous vehicle in unknown environments | |
| Cai et al. | Vision-based trajectory planning via imitation learning for autonomous vehicles | |
| CN108225364A (zh) | 一种无人驾驶汽车驾驶任务决策系统及方法 | |
| CN107167139A (zh) | 一种变电站巡检机器人视觉定位导航方法及系统 | |
| CN106843235A (zh) | 一种面向无人自行车的人工势场路径规划法 | |
| CN108469815A (zh) | 一种基于意图的计算机深度学习自动导航和驾驶系统及其方法 | |
| Guan et al. | Integrated decision and control: Towards interpretable and computationally efficient driving intelligence | |
| CN113635909A (zh) | 一种基于对抗生成模仿学习的自动驾驶控制方法 | |
| CN105867112A (zh) | 一种基于参数自动优化的控制算法的智能车及其控制方法 | |
| Liu et al. | Vision-guided planning and control for autonomous taxiing via convolutional neural networks | |
| CN206862369U (zh) | 一种基于bim的机器人区域导航系统 | |
| Gong et al. | Intuitive decision-making modeling for self-driving vehicles | |
| Milanés et al. | An approach to driverless vehicles in highways | |
| Madhavan et al. | Intelligent vehicle systems: a 4D/RCS Approach | |
| CN110530389B (zh) | 基于高精度导航电子地图的路口模式识别方法及识别系统 | |
| Kenmogne et al. | A global navigation management architecture applied to autonomous robots in Urban environments | |
| Rosero et al. | CNN-Planner: A neural path planner based on sensor fusion in the bird's eye view representation space for mapless autonomous driving | |
| Kosinski et al. | Developing Autonomous Street-Legal Vehicles: Analysis Of 2017 Intelligent Ground Vehicle Competition (Igvc) Self-Drive/Auto-Nav Competition Vehicle Design And Implementation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180831 |