CN111552294B - 基于时间依赖的室外机器人寻路仿真系统及方法 - Google Patents
基于时间依赖的室外机器人寻路仿真系统及方法 Download PDFInfo
- Publication number
- CN111552294B CN111552294B CN202010407337.XA CN202010407337A CN111552294B CN 111552294 B CN111552294 B CN 111552294B CN 202010407337 A CN202010407337 A CN 202010407337A CN 111552294 B CN111552294 B CN 111552294B
- Authority
- CN
- China
- Prior art keywords
- robot
- neural network
- virtual
- path
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004088 simulation Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 48
- 230000006399 behavior Effects 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 230000036962 time dependent Effects 0.000 claims abstract description 15
- 230000007175 bidirectional communication Effects 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims description 46
- 238000003062 neural network model Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 239000002245 particle Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 241000282414 Homo sapiens Species 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 claims description 2
- 238000011160 research Methods 0.000 abstract description 12
- 230000007787 long-term memory Effects 0.000 abstract description 10
- 230000006403 short-term memory Effects 0.000 abstract description 7
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本公开提出了基于时间依赖的室外机器人寻路仿真系统及方法，包括虚拟环境系统：被配置为设置虚拟机器人及其所处的环境；基于时间依赖的端到端神经网络：包括相互连接的卷积层和长短期记忆神经网络；所述虚拟环境系统和基于时间依赖的端到端神经网络双向通信，虚拟环境系统用于提供虚拟机器人行为状态及环境数据；基于时间依赖的端到端神经网络根据提供的数据进行训练和仿真测试。通过设置相互通信的虚拟环境系统和基于时间依赖的端到端神经网络，采用虚拟仿真实现用于机器人寻路或导航的神经网络训练和测试，采用仿真寻路，大大降低了研究成本，在仿真环境中通过测试的神经网络可直接部署在现实世界的机器人，缩短了研究周期。
Description
技术领域
本公开涉及机器人导航相关技术领域，具体的说，是涉及基于时间依赖的机器人的寻路仿真系统及方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
目前，随着人工智能领域的发展，许多凭借人力完成的工作越来越依赖于机器人，人工智能为人类的双手解放做出贡献。其中，室外轮式移动机器人(以下简称机器人)在自动驾驶和物流运输等方面的作用渐趋显著，寻路算法的稳健性和实时性作为机器人正常运行的基本前提之一有着重要的意义。传统研究是将局部路径优化算法与传感器信息或者全局地图结合实现自主寻路，机器学习的兴起为机器人自主寻路的研究提供了新的方向，即机器人可以有效利用视觉信息，将相关特征映射到控制输出。然而，机器人的构造千变万化，行为特征也千差万别。若将多种寻路方法分别对应于一类机器人进行研究，排列组合的研究过程会带来高成本和长周期。
发明人发现，现有的机器人寻路方法存在以下问题：(1)机器人的种类多且寻路环境复杂，全面研究机器人自主寻路需要考虑不同机器人和寻路算法排列组合研究带来的高成本；(2)目前针对室外机器人自主寻路的方法，真实环境的数据采集和测试过程周期长，过程中需要测试机器人的实时性能，会带来额外的工作量；(3)现有的端到端机器人寻路相关神经网络所含的参数多，训练时间长，且多数未考虑机器人的连续状态变化以及视觉信息的积累对机器人的路径规划带来的影响。
发明内容
本公开为了解决上述问题，提出了基于时间依赖的室外机器人寻路仿真系统及方法，通过设置相互通信的虚拟环境系统和基于时间依赖的端到端神经网络，采用虚拟仿真实现用于机器人寻路或导航的基于时间依赖的端到端神经网络训练和测试，采用仿真寻路，大大降低了研究成本，在仿真环境中通过测试的神经网络可直接部署在现实世界的机器人，缩短了研究周期。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了基于时间依赖的室外机器人寻路仿真系统包括：
虚拟环境系统：被配置为设置虚拟机器人，以及模拟虚拟机器人所处的环境；
基于时间依赖的端到端神经网络：包括相互连接的卷积层和长短期记忆神经网络；
所述虚拟环境系统和基于时间依赖的端到端神经网络双向通信，虚拟环境系统用于向提供虚拟机器人的行为状态及环境数据；基于时间依赖的端到端神经网络根据采集的数据进行训练，并通过虚拟环境系统的虚拟机器人进行仿真测试。
一个或多个实施例提供了基于时间依赖的室外机器人寻路仿真方法，包括如下步骤：
获取虚拟环境系统中虚拟机器人的行为状态数据以及虚拟机器人的视觉信息，构建训练集；
将训练集的数据传输至基于时间依赖端到端的神经网络模型，通过反向传播算法进行网络训练，获得训练后的神经网络模型；
训练后的神经网络模型在虚拟环境系统中进行测试，测试通过，训练后的神经网络模型即为真实机器人的自主寻路导航模型。
与现有技术相比，本公开的有益效果为：
本公开通过设置相互通信的虚拟环境系统和基于时间依赖的端到端神经网络，虚拟环境系统通过计算机图形技术搭建仿真环境，提供不同环境下的虚拟机器人的不同行为动作状态，以及基于时间依赖的端到端神经网络的训练数据和测试环境，可较全面描述真实世界，在虚拟环境系统中进行测试可避免复杂的机器人构造对于寻路算法的研究带来的干扰，可模拟真实环境突发事件，快速实现天气变化。本公开机器人仿真寻路，大大降低了研究成本，在仿真环境中通过测试的神经网络可直接部署在现实世界的机器人，缩短了研究周期。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是根据一个或多个实施方式的寻路仿真系统的框图；
图2是本公开实施例1的虚拟环境系统可实现的场景及天气变化示例图；
图3是本公开实施例1的基于时间依赖的端到端神经网络结构示意图；
图4是本公开实施例1的神经网络的训练过程损失函数变化示意图；
图5是本公开实施例1的仿真方法流程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
在一个或多个实施方式中公开的技术方案中，如图1所示，基于时间依赖的室外机器人寻路仿真系统,包括：
虚拟环境系统：被配置为设置虚拟机器人，以及模拟虚拟机器人所处的环境：包括模拟具有时间标记的真实环境突发事件及天气变化；
基于时间依赖的端到端神经网络：包括相互连接的卷积层和长短期记忆神经网络；
所述虚拟环境系统和基于时间依赖的端到端神经网络双向通信，虚拟环境系统的虚拟机器人用于向基于时间依赖的端到端神经网络提供其行为状态及环境数据；基于时间依赖的端到端神经网络根据采集的数据进行训练，并通过虚拟环境系统的虚拟机器人进行仿真测试。
本实施例搭建虚拟环境系统和构建基于时间依赖的端到端神经网络，基于时间依赖的端到端神经网络通过虚拟环境系统采集训练数据，训练后的神经网络模型可在该环境中进行仿真测试，根据测试结果决定该神经网络模型能否应用于真实环境。
机器人导航系统构建，需要考虑天气变化，道路的崎岖程度以及周边环境的复杂性等多种影响因素，在单一城市采集全面的环境变化信息会使得数据采集过程繁琐，本实施例中设置仿真环境模拟各种机器人的活动环境，直接通过虚拟环境的模拟提供训练数据，不需要在实际环境中采集，解决了数据采集过程繁琐、成本高、效率低的问题。
采用卷积层和长短期记忆神经网络结合的神经网络模型，可学习不同时刻机器人获得的视觉特征和状态行为信息，使机器人决策更接近于人类。
虚拟环境系统提供的数据包括虚拟机器人采集的视觉信息、虚拟机器人的行为状态数据及其对应的时间信息；
数据集中的图片数据作为卷积层的输入，卷积层提取的特征信息和机器人的历史行为状态融合作为长短期神经网络的输入。
作为进一步的改进，虚拟环境系统中的虚拟机器人可设置为多个，可以包括不同运行机制的机器人模型，根据运行机制不同可以包括四轮驱动的轮式移动机器人、两轮驱动的轮式移动机器人以及模仿人类行为的多足机器人，其中轮式移动机器人通过控制轮子加减速，四轮机器人的轮子控制较两轮复杂，多足机器人用状态机控制前进，行进过程中需要的内存较多。本实施例以四轮轮式移动机器人为主。
在一些实施例中，每个虚拟机器人可以包括：移动控制模块、视觉信息获取模块和避障模块。
移动控制模块：被配置为实现虚拟机器人的加速、减速、刹车、转弯、前进后退等行为动作；或者还可以设置机器人的前照灯的开闭，在夜晚时可模拟机器人真实环境寻路情况。
视觉信息获取模块可以为设置在虚拟机器人上的虚拟摄像头，虚拟摄像头获取视野范围内的视觉信息。
避障模块：被配置为实现用于检测虚拟机器人的障碍物，在与障碍物的距离小于安全范围发出避障指令，根据避障指令转换车道、停车或者重新规划路径。
作为进一步的改进，虚拟环境系统还包括天气状况模拟模块、多场景变化模块和突发事件模拟模块；可以实现不同天气变化下多种场景的模拟仿真，如图2所示。
天气状况模拟模块：被配置为用于采用粒子系统模拟天气状况变化及一天内太阳高度角变化。
可选的，天气系统的实现过程中，以粒子系统为主，调节粒子系统参数为辅，采用粒子系统设置天气预设体，将预设体与虚拟机器人对象绑定，在虚拟机器人所处的设定周圈范围内执行渲染操作。其中，所述天气预设体可以包括雨、雪天等天气预设体。
雾天及一天内的太阳高度角变化可以通过设置粒子系统参数实现，如可以在应用引擎Unity中设置实现粒子系统，可以通过设置按钮调节Unity中的相应参数实现。依赖于模拟软件本身的参数修改实现,可以有效降低仿真系统内存消耗。
由于粒子系统的渲染代价与粒子系统的渲染成正相关，只进行局部渲染，运行时降低内存消耗。
多场景变化模块：被配置为用于提供机器人的活动场景，提供基于路径寻路环境和基于平面的避障环境。
多场景变化模块的一种可实现的方法，采用数组构建可移动平面，可移动平面上设置车道，在车道的周圈通过设置预设体搭建周围物体。
在普通的路径寻路场景中机器人的可移动平面表示为一个二维数组[2,n]，2表示左右车道，n表示单一车道可移动点，机器人行进过程中按照原始的车道行驶，行进过程中检测距离自己6个移动点处是否有障碍物，如果有障碍物变换车道，没有则沿当前车道行驶；在广场环境中机器人的可移动点表示为二维数组[n1,n2],n1表示多重车道，n2为每个车道的移动点，机器人未检测到当前车道的障碍物则不改变车道，若检测到，可随机选择当前车道的左侧或者右侧进行避障。
具体的，基于路径寻路的场景和广场场景，其中每个场景道路两侧的环境可随意改变，采用几何图像搭建可以提供汽车、行人、树木等预设体，同时设置预设体的参数添加到道路两侧中实现景物的变化，同时提供了沙漠、草丛等周围地面材质，根据需求，本实施例采用Unity软件进行虚拟环境系统的构建，可直接在Unity3D中自行添加或者改变场景，充分模拟机器人室外寻路时遇到的复杂环境。
可选的，在Unity3D的仿真环境中，各种场景的设置通过点击按钮触发场景变换，选定场景后，相应的预设体被采用，机器人的寻路环境重新被渲染，包括路面和周围环境等，每个场景道路两侧的环境可随意改变通过点击按钮实现本仿真环境中设定场景的改变或者在Unity3D中自行选择需要添加或者改变预设体的方法实现。
突发事件模拟模块：被配置为用于结合PathNode类和Vector3类生成路径，通过PathNode类确定节点的位置，通过Vector3类确定单个节点处向量方向，路面材质基于每个节点进行渲染，得到完整路径渲染得到的路径根据节点初值的随机性呈现出多样化；障碍物在路径表面随机生成，所述障碍物可以包括静态障碍物和动态障碍物。
路径采用节点随机生成，不依赖于固定的地图。障碍物在平面可移动点范围内随机生成，即机器人的前进路况是不可预测的。并且，虚拟机器人和障碍物可以采用几何体对象搭建，运行过程不发生卡顿现象。
可选的，突发事件模拟模块还被配置为设置不同的路面材质；具体的实现方法为通过采集实际的路面材质图像并存储，通过选择图片显示实现各个路面的切换。
具体的，在Unity3D中，仿真场景中设置路面材质转换按钮，每次点击按钮可利用Random()函数随机选取一个0-4中的1个数字对应于五种不同的路面材质之一，选定材质后场景重新渲染，实现路面随机变化。
作为进一步得改进，基于时间依赖的端到端神经网络，其卷积层提取机器人的寻路视觉特征数据，长短期记忆神经网络根据视觉特征数据与虚拟机器人行为动作状态，学习机器人行为的时间依赖关系，采用反向传播算法进行训练实现权重调节，获得训练后的神经网络模型；
作为一种可以实现方式，基于时间依赖的端到端神经网络的具体结构可以为：包括依次连接的批次标准化层、卷积层、最大池化层，最大池化层的输出端连接长短期记忆神经网络，长短期记忆神经网络输出端连接全连接层，批次标准化层和长短期记忆神经网络的输入端为神经网络的输入端，最后一层全连接层为神经网络的输出端。
可选的，本实施例中基于时间依赖的端到端神经网络具体的结构如图3所示，包括一个批次标准化层，四个作为特征译码器的卷积层，两个作为时序译码器的长短期记忆神经网络层，一个最大池化层和三个全连接层。在批次标准化层输入端输入虚拟机器人的视觉信息，在长短期记忆神经网络的输入端输入卷积层提取的特征数据和包含随时间变化的虚拟机器人的行为状态数据。神经网络的输出端数据包括机器人的油门开度及转向角。通过不断变换虚拟环境系统的环境信息变化及控制虚拟机器人躲避障碍物，获得训练数据，训练后通过测试数据进行测试。
具体的，批次标准化层采用批标准化即BN算法规范化所有层的输入，固定每层输入信号的均值与方差。
批次标准化层：用于规范每个输入单元数据的均值和方差以稳定学习，允许单元的非线性统计与单元之间的关系发生变化，显著减少多层之间的协调和更新问题。
最大池化层：对卷积层的输出进行调整，使得输入表示近似不变。
卷积层：用于对图像数据进行处理提取图像数据的视觉特征数据。
可选的，卷积层的可以根据需要设置，优选的，本实施例可以设置四个卷积层，四个卷积层作为特征译码器，充分提取图片中与机器人前进相关度最高的视觉信息，其中前三个卷积层的卷积核大小为5×5，第四层的卷积核大小为3×3，每一层的激活函数都使用ReLU函数。
长短期记忆神经网络：长短期记忆神经网络的输入端输入输入数据包括虚拟机器人的历史行为状态数据与卷积层输出的视觉特征数据，长短期记忆神经网络作为时序译码器，学习序列样本中多帧之间的视觉特征数据和机器人行为状态的时间依赖性；可选的，本实施例的长短期记忆神经网络可以设置为两个。
全连接层中的每个神经元与其前一层的所有神经元进行全连接，全连接层整合具有类别区分性的局部信息，将分类结果输出。可选的，本实施例的全连接层可以设置为三个。
本实施例所述的基于时间依赖的端到端神经网络结构简单，参数较少，加快了训练过程，对于GPU的要求较低。
实施例2
本实施例提供基于时间依赖的室外机器人寻路仿真方法，可以在实施例1中所述的仿真系统中实现，包括如下步骤：
步骤1、搭建用于机器人寻路的虚拟环境系统，虚拟环境系统包括对现实突发事件的模拟，机器人的结构改变和避障机制，天气环境的变化以及提供多种寻路场景；具体的，可以采用实施例1中所述的虚拟环境系统。构建基于时间依赖端到端的神经网络模型；建立虚拟环境系统与基于时间依赖端到端的神经网络模型的通信；
步骤2、获取虚拟环境系统中虚拟机器人的行为状态数据以及虚拟机器人的视觉信息，构建训练集；
其中，虚拟机器人的行为状态包括加速、减速、刹车、转弯、前进、后退以及是否开前照灯等信息，对应的虚拟机器人的运行数据包括油门开度、转向角以及照明通路的通断，虚拟机器人的视觉信息由虚拟机器人的摄像装置从虚拟环境系统中采集。
步骤3、将训练集的数据传输至基于时间依赖端到端的神经网络模型，通过反向传播算法进行网络训练，获得训练后的神经网络模型；
步骤4、训练后的神经网络模型在虚拟环境系统中进行测试，测试通过，训练后的神经网络模型即可以作为真实机器人的自主寻路导航模型。根据测试结果判断该网络算法能否直接应用于真实环境，若测试结果良好，则直接应用于真实机器人。
步骤2中，构建训练集过程中为提高训练集的样本的多样性，可采用如下方法：
步骤21、变换设置虚拟环境系统中虚拟机器人运行场景，控制虚拟机器人行驶过程中控制改变天气状况和随机设置障碍物；
步骤22、控制虚拟机器人躲避障碍物和调整机器人的状态适合各种天气变化；
步骤23、获取虚拟机器人移动过程中的视觉信息数据及行为状态数据，构建训练集。
步骤3中，训练方法可以为：将虚拟机器人的视觉信息和实时记录的行为状态作为输入，采用反向传播算法最小化损失函数值，结合早停法终止训练过程，获得训练结果。
本实施例的训练过程可以采用带有TensorFlow后端的Keras部署神经网络，使用Adam优化器，学习率为10-3，批处理的大小为64，训练损失函数为均方差(MSE)，采用早停法终止训练过程，防止过度训练，具体的，包括如下步骤：
步骤31、将虚拟机器人的视觉信息数据转换为RGB图像，划分为不同的序列样本；
机器人的视觉信息转化为160×120的RGB图像，连续10张图片作为一个序列。机器人的行为状态信息存储在虚拟环境系统Unity日志中，划分为与相应图片对应的序列；
步骤32、将序列样本输入至基于时间依赖端到端的神经网络模型的卷积层，提取机器人的寻路视觉特征数据，长短期记忆神经网络根据视觉特征数据与虚拟机器人行为动作状态，建立多帧视觉特征数据及虚拟机器人运动状态的联系；
具体的，可以在序列样本中随机选取80％作为训练集，剩余20％作为测试集，输入神经网络进行训练，其中视觉信息的图片信息输入卷积层，卷积层获得的图片特征即为视觉特征数据、通过历史多帧视觉信息提取的视觉特征数据以及机器人的历史状态共同作为长短期记忆神经网络层的输入，建立帧序列的时间依赖关系；
步骤33、采用反向传播算法调节权重，实现卷积层和长短期记忆网络层的参数共享；
步骤34、采用早停法判断是否满足训练结束条件，结束训练。具体的，设置早停法的patience参数，如可以设置为10，在观察到验证集10次较差的表现后终止训练。
在训练过程中，还可以可视化训练损失和验证损失的变化，可以如图4所示。
本实施例的神经网络模型摒弃卷积层预训练的方法，将卷积层和长短期记忆神经网络共同训练，通过反向传播算法调节权重，使得各层参数充分共享，预测结果是各层学习机器人视觉信息以及行为状态所得，输出控制更接近于人类决策。
步骤4中，训练后的神经网络模型在虚拟环境系统中进行测试的方法，具体为：
步骤41、变换设置虚拟环境系统中虚拟机器人运行场景，控制改变天气状况，在虚拟机器人行驶路径上随机设置障碍物；变换设置的虚拟机器人运行场景可以是与构建训练集时不同的场景，天气和障碍物也可以是不同的；
步骤42、实时获取虚拟机器人的视觉信息数据和行为状态数据传输至训练后的神经网络模型，作为神经网络模型的输入；
步骤43、神经网络模型的预测信息输出虚拟环境系统，根据预测控制虚拟机器人在在虚拟环境系统中的自主寻路；
步骤44、获取虚拟机器人在自主寻路行驶过程中人工干预的次数或者时间，计算测试过程中人工干预与自主寻路的时间或路程比，当小于设定的阈值，则测试通过。
可以理解的，当不需人工干预或者干预的时间或者次数较少，可以认为测试通过。本实施例的测试环境为基于虚拟环境系统搭建的与参与训练相异的场景，可探究机器人在面对相对或者完全陌生环境下的表现，搭建的新场景可充分检测网络模型的有效性和泛化能力。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (8)
1.基于时间依赖的室外机器人寻路仿真系统，其特征是，包括：
虚拟环境系统：被配置为设置虚拟机器人，以及模拟虚拟机器人所处的环境；所述虚拟环境系统包括突发事件模拟模块：被配置为用于实现结合PathNode类和Vector3类生成路径，通过PathNode类确定节点的位置，通过Vector3类确定单个节点处向量方向，路径采用节点随机生成，不依赖于固定的地图；通过采集实际的路面材质图像并存储，通过选择图片显示实现各个路面的随机切换，路面材质基于每个节点进行渲染，得到完整路径渲染得到的路径根据节点初值的随机性呈现出多样化；障碍物在路径表面可移动点范围内随机生成，即机器人的前进路况是不可预测的，所述障碍物包括静态障碍物和动态障碍物；
基于时间依赖的端到端神经网络：包括相互连接的卷积层和长短期记忆神经网络，具体包括依次连接的批次标准化层、卷积层和最大池化层，最大池化层的输出端连接长短期记忆神经网络，长短期记忆神经网络输出端连接全连接层，批次标准化层和长短期记忆神经网络的输入端为神经网络的输入端，最后一层全连接层为神经网络的输出端；其中，卷积层提取机器人的寻路视觉特征数据，卷积层提取的视觉特征数据与虚拟机器人行为动作状态融合作为长短期记忆神经网络的输入，长短期记忆神经网络学习序列样本中多帧之间的视觉特征数据和机器人行为状态的时间依赖性，建立多帧视觉特征数据及虚拟机器人运动状态的联系，采用反向传播算法进行训练实现权重调节，使得各层参数充分共享，获得训练后的神经网络模型；预测结果是各层学习机器人视觉信息以及行为状态所得，输出控制更接近于人类决策；
所述虚拟环境系统和基于时间依赖的端到端神经网络双向通信，虚拟环境系统用于向提供虚拟机器人的行为状态及环境数据；基于时间依赖的端到端神经网络根据采集的数据进行训练，并通过虚拟环境系统的虚拟机器人进行仿真测试。
2.如权利要求1所述的基于时间依赖的室外机器人寻路仿真系统，其特征是：虚拟机器人包括移动控制模块、视觉信息获取模块和避障模块；
移动控制模块：被配置为实现虚拟机器人的加速、减速、刹车、转弯、前进或者后退的行为动作；或者设置机器人的前照灯的开闭；
视觉信息获取模块为设置在虚拟机器人上的虚拟摄像头，虚拟摄像头获取视野范围内的视觉信息；
避障模块：被配置为实现用于检测虚拟机器人的障碍物，在与障碍物的距离小于安全范围发出避障指令。
3.如权利要求1所述的基于时间依赖的室外机器人寻路仿真系统，其特征是：虚拟环境系统还包括天气状况模拟模块、多场景变化模块；
天气状况模拟模块：被配置为用于采用粒子系统模拟天气状况变化及一天内太阳高度角变化；
多场景变化模块：被配置为用于提供机器人的活动场景，包括基于路径寻路环境和基于平面的避障环境。
4.如权利要求3所述的基于时间依赖的室外机器人寻路仿真系统，其特征是：雾天及一天内的太阳高度角变化通过设置粒子系统参数实现；
或者，采用粒子系统设置天气预设体，将预设体与虚拟机器人对象绑定，在虚拟机器人所处的设定周圈范围内执行渲染操作。
5.基于时间依赖的室外机器人寻路仿真方法，用于如权利要求1所述的基于时间依赖的室外机器人寻路仿真系统，其特征是，包括如下步骤：
获取虚拟环境系统中虚拟机器人的行为状态数据以及虚拟机器人的视觉信息，构建训练集；
将训练集的数据传输至基于时间依赖端到端的神经网络模型，通过反向传播算法进行网络训练，获得训练后的神经网络模型；
训练后的神经网络模型在虚拟环境系统中进行测试，测试通过，训练后的神经网络模型即为真实机器人的自主寻路导航模型。
6.如权利要求5所述的基于时间依赖的室外机器人寻路仿真方法，其特征是：构建训练集的步骤，方法具体为：
变换设置虚拟环境系统中虚拟机器人运行场景，控制虚拟机器人行驶过程中控制改变天气状况和随机设置障碍物；
控制虚拟机器人躲避障碍物，调整机器人的行为状态以适合各种天气变化；
获取虚拟机器人移动过程中的视觉信息数据及行为状态数据，构建训练集。
7.如权利要求5所述的基于时间依赖的室外机器人寻路仿真方法，其特征是：将获取的信息传输至基于时间依赖端到端的神经网络模型，通过反向传播算法进行网络训练，获得训练后的神经网络模型的方法，具体为：将虚拟机器人的视觉信息和实时记录的行为状态作为输入，采用反向传播算法最小化损失函数值，结合早停法终止训练过程，获得训练结果。
8.如权利要求5所述的基于时间依赖的室外机器人寻路仿真方法，其特征是：训练后的神经网络模型在虚拟环境系统中进行测试的方法，具体为：
变换设置虚拟环境系统中虚拟机器人运行场景，控制改变天气状况，在虚拟机器人行驶路径上随机设置障碍物；
实时获取虚拟机器人的视觉信息数据和行为状态数据传输至训练后的神经网络模型，作为神经网络模型的输入；
神经网络模型的预测信息输出虚拟环境系统，根据预测控制虚拟机器人在在虚拟环境系统中的自主寻路；
获取虚拟机器人在自主寻路行驶过程中人工干预的次数或者时间，计算测试过程中人工干预与自主寻路的时间或路程比，当小于设定的阈值，则测试通过。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010407337.XA CN111552294B (zh) | 2020-05-14 | 2020-05-14 | 基于时间依赖的室外机器人寻路仿真系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010407337.XA CN111552294B (zh) | 2020-05-14 | 2020-05-14 | 基于时间依赖的室外机器人寻路仿真系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111552294A CN111552294A (zh) | 2020-08-18 |
| CN111552294B true CN111552294B (zh) | 2024-03-26 |
Family
ID=72008152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010407337.XA Active CN111552294B (zh) | 2020-05-14 | 2020-05-14 | 基于时间依赖的室外机器人寻路仿真系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111552294B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112212867B (zh) * | 2020-10-19 | 2024-05-28 | 中国科学技术大学 | 一种机器人自定位与导航的方法及系统 |
| CN114979029B (zh) * | 2022-05-16 | 2023-11-24 | 百果园技术(新加坡)有限公司 | 一种虚拟机器人的控制方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251958A (zh) * | 2007-07-06 | 2008-08-27 | 浙江大学 | 面向训练的汽车驾驶模拟机实现方法 |
| CN106873585A (zh) * | 2017-01-18 | 2017-06-20 | 无锡辰星机器人科技有限公司 | 一种导航寻路方法、机器人及系统 |
| CN107392189A (zh) * | 2017-09-05 | 2017-11-24 | 百度在线网络技术（北京）有限公司 | 用于确定无人车的驾驶行为的方法和装置 |
| CN109407679A (zh) * | 2018-12-28 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶汽车的方法和装置 |
| CN109693672A (zh) * | 2018-12-28 | 2019-04-30 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶汽车的方法和装置 |
| CN109782600A (zh) * | 2019-01-25 | 2019-05-21 | 东华大学 | 一种通过虚拟环境建立自主移动机器人导航系统的方法 |
| CN110488821A (zh) * | 2019-08-12 | 2019-11-22 | 北京三快在线科技有限公司 | 一种确定无人车运动策略的方法及装置 |
| CN110766216A (zh) * | 2019-10-17 | 2020-02-07 | 山东师范大学 | 一种端到端移动机器人路径导航模拟方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9989964B2 (en) * | 2016-11-03 | 2018-06-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling vehicle using neural network |
| US11966838B2 (en) * | 2018-06-19 | 2024-04-23 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
-
2020
- 2020-05-14 CN CN202010407337.XA patent/CN111552294B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251958A (zh) * | 2007-07-06 | 2008-08-27 | 浙江大学 | 面向训练的汽车驾驶模拟机实现方法 |
| CN106873585A (zh) * | 2017-01-18 | 2017-06-20 | 无锡辰星机器人科技有限公司 | 一种导航寻路方法、机器人及系统 |
| CN107392189A (zh) * | 2017-09-05 | 2017-11-24 | 百度在线网络技术（北京）有限公司 | 用于确定无人车的驾驶行为的方法和装置 |
| CN109407679A (zh) * | 2018-12-28 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶汽车的方法和装置 |
| CN109693672A (zh) * | 2018-12-28 | 2019-04-30 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶汽车的方法和装置 |
| CN109782600A (zh) * | 2019-01-25 | 2019-05-21 | 东华大学 | 一种通过虚拟环境建立自主移动机器人导航系统的方法 |
| CN110488821A (zh) * | 2019-08-12 | 2019-11-22 | 北京三快在线科技有限公司 | 一种确定无人车运动策略的方法及装置 |
| CN110766216A (zh) * | 2019-10-17 | 2020-02-07 | 山东师范大学 | 一种端到端移动机器人路径导航模拟方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张裕天.基于视觉感知的多模态多任务端到端自动驾驶方法研究.《中国优秀硕士学位论文全文数据库 工程科技辑》.2020,(第01期),正文第35、42-43、48、51、61-62、70、74页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111552294A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Learning by cheating | |
| Okuyama et al. | Autonomous driving system based on deep q learnig | |
| Codevilla et al. | End-to-end driving via conditional imitation learning | |
| Ly et al. | Learning to drive by imitation: An overview of deep behavior cloning methods | |
| Bojarski et al. | End to end learning for self-driving cars | |
| Chen et al. | Stabilization approaches for reinforcement learning-based end-to-end autonomous driving | |
| CN112232490B (zh) | 一种基于视觉的深度模仿强化学习驾驶策略训练方法 | |
| CN111552294B (zh) | 基于时间依赖的室外机器人寻路仿真系统及方法 | |
| CN114035575B (zh) | 基于语义分割的无人驾驶车辆运动规划方法及系统 | |
| Sorokin et al. | Learning to navigate sidewalks in outdoor environments | |
| Babiker et al. | Convolutional neural network for a self-driving car in a virtual environment | |
| Pouyanfar et al. | Roads: Randomization for obstacle avoidance and driving in simulation | |
| Hossain et al. | Autonomous-driving vehicle learning environments using unity real-time engine and end-to-end CNN approach | |
| JP2022191188A (ja) | 予測システムを訓練するためのシステムと方法 | |
| Cai et al. | Carl-lead: Lidar-based end-to-end autonomous driving with contrastive deep reinforcement learning | |
| Li | A hierarchical autonomous driving framework combining reinforcement learning and imitation learning | |
| Garg et al. | A deep reinforcement learning agent for traffic intersection control optimization | |
| Sarkar et al. | Planning robot motion using deep visual prediction | |
| Jaladi et al. | End-to-end training and testing gamification framework to learn human highway driving | |
| Liu et al. | An autopilot system based on ROS distributed architecture and deep learning | |
| Tippannavar et al. | SDR–Self Driving Car Implemented using Reinforcement Learning & Behavioural Cloning | |
| Gupta et al. | Smart autonomous vehicle using end to end learning | |
| Zhang et al. | A virtual end-to-end learning system for robot navigation based on temporal dependencies | |
| Ansari et al. | Simulation of steering a self-driving car using 1) PID controller 2) neural network | |
| CN114170488A (zh) | 基于条件模仿学习和强化学习的自动驾驶方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |