CN110286677A - 一种用于数据采集的无人车控制方法和系统 - Google Patents
一种用于数据采集的无人车控制方法和系统 Download PDFInfo
- Publication number
- CN110286677A CN110286677A CN201910509290.5A CN201910509290A CN110286677A CN 110286677 A CN110286677 A CN 110286677A CN 201910509290 A CN201910509290 A CN 201910509290A CN 110286677 A CN110286677 A CN 110286677A
- Authority
- CN
- China
- Prior art keywords
- sample
- neural network
- unmanned vehicle
- historical sample
- group historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000006073 displacement reaction Methods 0.000 claims abstract description 45
- 238000003062 neural network model Methods 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims description 187
- 239000010410 layer Substances 0.000 claims description 121
- 239000011229 interlayer Substances 0.000 claims description 66
- 230000001186 cumulative effect Effects 0.000 claims description 37
- 238000011156 evaluation Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 9
- 238000005265 energy consumption Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 210000004218 nerve net Anatomy 0.000 claims 3
- 238000010276 construction Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005086 pumping Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
Abstract
本发明涉及一种用于数据采集的无人车控制方法和系统，包括：采集无人车所在区域的整体环境观测数据；将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；按照所述无人车的移动位移指令移动至数据站进行采集作业。本发明提出的技术方案无需远端控制中心，各无人车将其所在区域的整体环境观测数据代入其搭载的神经网络模型，获取其对应的移动位移指令并按照移动位移指令进行采集作业；消除了远端控制时产生的网络干扰风险，减少了远端控制建设成本；同时克服了主流无人干预采集方案中的规划难度大、耗时长和规划方案难以复用的缺点，提高了无人车的采集效率和采集精准度。
Description
技术领域
本发明涉及无人车数据采集领域，具体涉及一种用于数据采集的无人车控制方法和系统。
背景技术
智慧城市，无人工厂，智慧农场等场景中对数据的更新，采集即时性，完备性都有较高需求，即要求待采集区域内各类数据均被尽可能多，尽可能完整的采集；这对无人车路径的规划提出了极高的要求。
目前主流的方案使用一些无人车或无人机进行区域内的数据采集。在有人工干预的方案中，各个无人车需要人工的进行控制和操作，极大增加了采集任务的人工成本，同时，人工控制需要远端控制中心，增加建设成本和网络干扰的风险。
在无人干预的方案中，各个无人车根据事先设定的轨迹，按照设定速度进行采集任务。在此方案执行前，需要设计轨迹与运行速度，需要同时考虑采集任务的地理信息，和无人车的续航能力，移动速度等信息，以及传感器的有效范围。
针对不同的采集任务，不仅要考虑区域内数据分布，障碍物的位置，还需要考虑不同地形对无人车续航能力的影响，才可以规划出一个合理的轨迹。此规划过程耗时而且需要极高准确性，因为一旦开始执行采集任务，难以进行更新。即使是同一采集任务，无人车的信息一旦改变，例如续航时间，最高移动速度的变化，也需要重新规划轨迹和速度。
发明内容
针对现有技术的不足，本发明的目的是提出一种用于数据采集的无人车控制方法，该方法无需远端控制中心，各无人车将其所在区域的整体环境观测数据代入其搭载的神经网络模型，获取其对应的移动位移指令并按照移动位移指令进行高能效，高数据质量的采集作业。
本发明的目的是采用下述技术方案实现的：
本发明提供一种用于数据采集的无人车控制方法，其改进之处在于，所述方法包括：
采集无人车所在区域的整体环境观测数据；
将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；
按照所述无人车的移动位移指令移动至数据站进行采集作业；
其中，所述无人车所在区域的整体环境观测数据包括：无人车所在区域中采集站的数据剩余信息、无人车所在位置信息和无人车所剩能量信息。
优选的，所述预先训练的神经网络模型的获取过程包括：
步骤1：初始化迭代次数t＝0；
步骤2：判断采集区域的历史样本库中历史样本的数量是否大于k1.B(N+1)，若是，则在所述样本库中抽取B组历史样本；否则，返回步骤1；
步骤3：利用所述B组历史样本获取所述预先训练的神经网络模型；
步骤4：若所述预先训练的神经网络收敛,则结束任务；否则,令t＝t+1，并返回步骤2；
其中，所述B组历史样本中第b组历史样本 为所述B组历史样本中第b组历史样本中第Xb+i时刻对应的样本；Xb为B组历史样本中第b组历史样本的起始时刻，Xb+N为B组历史样本中第b组历史样本的最终时刻，k1为样本抽取比例系数。
进一步的，所述步骤3，包括：
步骤a.利用B组历史样本中各组历史样本中起始时刻对应的样本数据分别训练决策神经网络和评价神经网络；
步骤b.利用B组历史样本中各组历史样本中最终时刻对应的样本数据分别训练目标决策神经网络和目标评价神经网络；
步骤c.分别更新决策神经网络、目标决策神经网络、评价神经网络和目标评价神经网络输入层至隐含层间的权重。
进一步的，所述步骤a，包括：
分别将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述决策神经网络的输入层样本信息和输出层样本信息，训练所述决策神经网络；
将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的无人车累计奖励值作为所述评价神经网络的输出层样本信息，训练所述评价神经网络；
其中，所述样本数据中的无人车累计奖励值为从样本对应时刻开始到样本所在的采集任务结束时刻为止各时刻的无人车奖励值的总和。
进一步的，所述步骤b，包括：
分别将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标决策神经网络的输入层样本信息和输出层样本信息，训练所述目标决策神经网络。
将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的无人车累计奖励值作为所述目标评价神经网络的输出层样本信息，训练所述目标评价神经网络。
进一步的，所述步骤c中，决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代决策神经网络的输入层至隐含层间的权重；为第t-1次迭代决策神经网络的输入层至隐含层间的权重；α1为决策神经网络的学习率；πt第t次迭代决策神经网络的输出层样本信息；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车的移动位移指令；
目标决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标决策神经网络的输入层至隐含层间的权重；为第t-1次迭代目标决策神经网络的输入层至隐含层间的权重；τ1为目标决策神经网络的更新速率；
评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代评价神经网络的输入层至隐含层间的权重；为第t-1次迭代评价神经网络的输入层至隐含层间的权重；α2为评价神经网络的学习率；L(t)为第t次迭代神经网络模型的评价误差值；
目标评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标评价神经网络的输入层至隐含层间的权重；为第t-1次迭代目标评价神经网络的输入层至隐含层间的权重；τ2为目标评价神经网络的更新速率。
进一步的，按下式确定所述第t次迭代神经网络模型的评价误差值L(t)：
式中，为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值；
按下式确定所述第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值
式中，ξ为衰减值；z为时间步长；为第t次迭代时B组历史样本中第b组历史样本中最终时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值；Xb+i为B组历史样本中第b组历史样本的起始时刻后的第i个时刻；
按下式确定所述为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值
式中，ht(k)为第k个数据站到第t次迭代时累计被采集次数；A为数据站总数；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车能量消耗值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车采集数据量。
本发明提供一种用于数据采集的无人车控制系统，其改进之处在于，所述系统包括：
第一采集模块，用于采集无人车所在区域的整体环境观测数据；
获取模块，用于将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；
第二采集模块，用于按照所述无人车的移动位移指令移动至数据站进行采集作业；
其中，所述无人车所在区域的整体环境观测数据包括：无人车所在区域中采集站的数据剩余信息、无人车所在位置信息和无人车所剩能量信息。
优选的，所述预先训练的神经网络模型的获取过程包括：
步骤1：初始化迭代次数t＝0；
步骤2：判断采集区域的历史样本库中历史样本的数量是否大于k1.B(N+1)，若是，则在所述样本库中抽取B组历史样本；否则，返回步骤1；
步骤3：利用所述B组历史样本获取所述预先训练的神经网络模型；
步骤4：若所述预先训练的神经网络收敛,则结束任务；否则,令t＝t+1，并返回步骤2；
其中，所述B组历史样本中第b组历史样本 为所述B组历史样本中第b组历史样本中第Xb+i时刻对应的样本；Xb为B组历史样本中第b组历史样本的起始时刻，Xb+N为B组历史样本中第b组历史样本的最终时刻，k1为样本抽取比例系数。
进一步的，所述步骤3，包括：
步骤a.利用B组历史样本中各组历史样本中起始时刻对应的样本数据分别训练决策神经网络和评价神经网络；
步骤b.利用B组历史样本中各组历史样本中最终时刻对应的样本数据分别训练目标决策神经网络和目标评价神经网络；
步骤c.分别更新决策神经网络、目标决策神经网络、评价神经网络和目标评价神经网络输入层至隐含层间的权重。
进一步的，所述步骤a，包括：
分别将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述决策神经网络的输入层样本信息和输出层样本信息，训练所述决策神经网络；
将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的无人车累计奖励值作为所述评价神经网络的输出层样本信息，训练所述评价神经网络；
其中，所述样本数据中的无人车累计奖励值为从样本对应时刻开始到样本所在的采集任务结束时刻为止各时刻的无人车奖励值的总和。
进一步的，所述步骤b，包括：
分别将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标决策神经网络的输入层样本信息和输出层样本信息，训练所述目标决策神经网络。
将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的无人车累计奖励值作为所述目标评价神经网络的输出层样本信息，训练所述目标评价神经网络。
进一步的，所述步骤c中，决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代决策神经网络的输入层至隐含层间的权重；为第t-1次迭代决策神经网络的输入层至隐含层间的权重；α1为决策神经网络的学习率；πt第t次迭代决策神经网络的输出层样本信息；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车的移动位移指令；
目标决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标决策神经网络的输入层至隐含层间的权重；为第t-1次迭代目标决策神经网络的输入层至隐含层间的权重；τ1为目标决策神经网络的更新速率；
评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代评价神经网络的输入层至隐含层间的权重；为第t-1次迭代评价神经网络的输入层至隐含层间的权重；α2为评价神经网络的学习率；L(t)为第t次迭代神经网络模型的评价误差值；
目标评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标评价神经网络的输入层至隐含层间的权重；为第t-1次迭代目标评价神经网络的输入层至隐含层间的权重；τ2为目标评价神经网络的更新速率。
进一步的，按下式确定所述第t次迭代神经网络模型的评价误差值L(t)：
式中，为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值；
按下式确定所述第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值
式中，ξ为衰减值；z为时间步长；为第t次迭代时B组历史样本中第b组历史样本中最终时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值；Xb+i为B组历史样本中第b组历史样本的起始时刻后的第i个时刻；
按下式确定所述为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值
式中，ht(k)为第k个数据站到第t次迭代时累计被采集次数；A为数据站总数；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车能量消耗值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车采集数据量。
与最接近的现有技术相比，本发明具有的有益效果：
本发明提供的技术方案，采集无人车所在区域的整体环境观测数据；将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；无需在无人车采集作业前对其行进路线进行规划，克服了主流无人干预采集方案中的规划难度大、耗时长和规划方案难以复用的缺点；按照所述无人车的移动位移指令移动至数据站进行采集作业；无需远端控制中心对无人车进行控制，消除了远端控制时产生的网络干扰风险，减少了远端控制建设成本；提高了无人车的采集效率和采集精准度。
附图说明
图1是一种用于数据采集的无人车控制方法流程图；
图2是一种用于数据采集的无人车控制系统结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供了一种用于数据采集的无人车控制方法，如图1所示，所述方法包括：
步骤101.采集无人车所在区域的整体环境观测数据；
在本发明的最佳实施例中，所述采集无人车所在区域的整体环境观测数据之前，包括：
确定待采集区域的尺寸、形状、所有无人车的总调度次数、区域内数据站的分布情况和区域内障碍物的分布情况，根据所述待采集区域的尺寸、形状、所有无人车的总调度次数、区域内数据站的分布情况和区域内障碍物的分布情况建立任务模型，并将其传输给各无人车；将搭载了神经网络模型的无人车部署到待采集区域中；
在本发明的最佳实施例中，建立的某任务模型为：给定待采集区域为长宽均为160m的矩形；以待采集区域最左下角为原点，10m为单位长度，建立直角坐标系；使用256数据点表征待采集区域内数据站和障碍物的分布情况；任务中设定所有无人车的总调度次数为400次。
在本发明的最佳实施例中，采集无人车所在区域的整体环境观测数据包括：部署到待采集区域中各无人车采集各自附近的局部环境观测数据，各无人车间通过车载的WIFI模块共享信息；获取采集无人车所在区域的整体环境观测数据。
步骤102.将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；
在本发明的最佳实施例中，神经网络模型中决策神经网络和目标决策神经网络使用的是tensorflow搭建的隐含层为三层卷积神经网络和三层全连接层的深度神经网络；其中，卷积神经网络的卷积核感受野为长宽均为2的矩形，每一层全连接层的神经元数目为800，输出层节点数为2。
神经网络模型中评价神经网络和目标评价神经网络使用的是tensorflow搭建的隐含层为三层卷积神经网络和三层全连接层的深度神经网络；其中，卷积神经网络的卷积核感受野为长宽均为2的矩形，每一层全连接层的神经元数目为800，输出层节点数为1。
步骤103.按照所述无人车的移动位移指令移动至数据站进行采集作业；
在本发明的最佳实施例中，各无人车上均搭载一套神经网络模型，对于各无人车上搭载的神经网络模型的训练方法一致；无人车搭载了神经网络模型使得无人车无需远端人工干预，避免建立远端控制中心产生的费用；各无人车搭载的神经网络模型，一次训练，多次使用，可以减少每个采集任务路径规划的开销；同时这些神经网络模型可以根据实际环境观测值做出不同决策，提高了路径规划的动态性；在采集作业时各个无人车合作完成数据采集，保证整个区域内数据均匀性，提高数据采集量，降低能量消耗。
其中，所述无人车所在区域的整体环境观测数据包括：无人车所在区域中采集站的数据剩余信息、无人车所在位置信息和无人车所剩能量信息。
具体的，所述预先训练的神经网络模型的获取过程包括：
步骤1：初始化迭代次数t＝0；
步骤2：判断采集区域的历史样本库中历史样本的数量是否大于k1.B(N+1)，若是，则在所述样本库中抽取B组历史样本；否则，返回步骤1；
步骤3：利用所述B组历史样本获取所述预先训练的神经网络模型；
步骤4：若所述预先训练的神经网络收敛,则结束任务；否则,令t＝t+1，并返回步骤2；
其中，所述B组历史样本中第b组历史样本 为所述B组历史样本中第b组历史样本中第Xb+i时刻对应的样本；Xb为B组历史样本中第b组历史样本的起始时刻，Xb+N为B组历史样本中第b组历史样本的最终时刻，k1为样本抽取比例系数。
在本发明的最佳实施例中，若采集区域的历史样本库中历史样本阈值大于20480时，在所述采集区域的历史样本库中抽取10组样本数据，每组样本数据有124个样本；共计1024个样本；此时样本抽取比例为1/20；时间步长为5；衰减值为0.95。
抽取1024个样本的方法为：
将采集区域的历史样本库中历史样本根据其自身的样本权重值所在区间分为10组，在任一组随机抽取一个样本；记录所抽取的样本对应的时刻，在数据库中抽取与所述抽取的样本时间上相邻的123个时刻对应的样本；
例如，在第8组样本中抽取的任一样本对应的时刻为t1；则在数据库中再在抽取时刻t1+1到时刻t1+123对应的样本。
在本发明的最佳实施例中，获取采集区域的历史样本库中各历史样本的最大权重l；对采集区域的历史样本库中各历史样本的最大权重取整为l*；将区间[0,l*]均分为10份；获取各历史样本所属的区间。
在本发明的最佳实施例中，采集区域的历史样本库中各历史样本的样本权重设定方法为：令采集区域的历史样本库中第一个历史样本的样本权重为0；有历史样本存入数据库时，获取目前采集区域的历史样本库中最大的样本权重；在所述采集区域的历史样本库中最大的样本权重上加一个极小值ε作为目前要存入数据库中的历史样本的样本权重值。
进一步的，所述步骤3，包括：
步骤a.利用B组历史样本中各组历史样本中起始时刻对应的样本数据分别训练决策神经网络和评价神经网络；
步骤b.利用B组历史样本中各组历史样本中最终时刻对应的样本数据分别训练目标决策神经网络和目标评价神经网络；
步骤c.分别更新决策神经网络、目标决策神经网络、评价神经网络和目标评价神经网络输入层至隐含层间的权重。
在本发明的最佳实施例中，所述步骤c之后，包括：
更新所述B组历史样本中各组历史样本中起始时刻对应的样本的权重值，更新方法为：其中，为B组历史样本中各组历史样本中起始时刻对应的样本的权重值；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值。
具体的，所述步骤a，包括：
分别将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述决策神经网络的输入层样本信息和输出层样本信息，训练所述决策神经网络；
将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的无人车累计奖励值作为所述评价神经网络的输出层样本信息，训练所述评价神经网络；
其中，所述样本数据中的无人车累计奖励值为从样本对应时刻开始到样本所在的采集任务结束时刻为止各时刻的无人车奖励值的总和。
具体的，所述步骤b，包括：
分别将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标决策神经网络的输入层样本信息和输出层样本信息，训练所述目标决策神经网络。
将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的无人车累计奖励值作为所述目标评价神经网络的输出层样本信息，训练所述目标评价神经网络。
具体的，所述步骤c中，决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代决策神经网络的输入层至隐含层间的权重；为第t-1次迭代决策神经网络的输入层至隐含层间的权重；α1为决策神经网络的学习率；πt第t次迭代决策神经网络的输出层样本信息；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车的移动位移指令；
目标决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标决策神经网络的输入层至隐含层间的权重；为第t-1次迭代目标决策神经网络的输入层至隐含层间的权重；τ1为目标决策神经网络的更新速率；
评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代评价神经网络的输入层至隐含层间的权重；为第t-1次迭代评价神经网络的输入层至隐含层间的权重；α2为评价神经网络的学习率；L(t)为第t次迭代神经网络模型的评价误差值；
目标评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标评价神经网络的输入层至隐含层间的权重；为第t-1次迭代目标评价神经网络的输入层至隐含层间的权重；τ2为目标评价神经网络的更新速率。
具体的，按下式确定所述第t次迭代神经网络模型的评价误差值L(t)：
式中，为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值；
按下式确定所述第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值
式中，ξ为衰减值；z为时间步长；为第t次迭代时B组历史样本中第b组历史样本中最终时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值；Xb+i为B组历史样本中第b组历史样本的起始时刻后的第i个时刻；
按下式确定所述为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值
式中，ht(k)为第k个数据站到第t次迭代时累计被采集次数；A为数据站总数；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车能量消耗值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车采集数据量。
本发明提供一种用于数据采集的无人车控制系统，如图2所示，所述系统包括：
第一采集模块，用于采集无人车所在区域的整体环境观测数据；
获取模块，用于将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；
第二采集模块，用于按照所述无人车的移动位移指令移动至数据站进行采集作业；
其中，所述无人车所在区域的整体环境观测数据包括：无人车所在区域中采集站的数据剩余信息、无人车所在位置信息和无人车所剩能量信息。
具体的，所述预先训练的神经网络模型的获取过程包括：
步骤1：初始化迭代次数t＝0；
步骤2：判断采集区域的历史样本库中历史样本的数量是否大于k1.B(N+1)，若是，则在所述样本库中抽取B组历史样本；否则，返回步骤1；
步骤3：利用所述B组历史样本获取所述预先训练的神经网络模型；
步骤4：若所述预先训练的神经网络收敛,则结束任务；否则,令t＝t+1，并返回步骤2；
其中，所述B组历史样本中第b组历史样本 为所述B组历史样本中第b组历史样本中第Xb+i时刻对应的样本；Xb为B组历史样本中第b组历史样本的起始时刻，Xb+N为B组历史样本中第b组历史样本的最终时刻，k1为样本抽取比例系数。
具体的，所述步骤3，包括：
步骤a.利用B组历史样本中各组历史样本中起始时刻对应的样本数据分别训练决策神经网络和评价神经网络；
步骤b.利用B组历史样本中各组历史样本中最终时刻对应的样本数据分别训练目标决策神经网络和目标评价神经网络；
步骤c.分别更新决策神经网络、目标决策神经网络、评价神经网络和目标评价神经网络输入层至隐含层间的权重。
具体的，所述步骤a，包括：
分别将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述决策神经网络的输入层样本信息和输出层样本信息，训练所述决策神经网络；
将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的无人车累计奖励值作为所述评价神经网络的输出层样本信息，训练所述评价神经网络；
其中，所述样本数据中的无人车累计奖励值为从样本对应时刻开始到样本所在的采集任务结束时刻为止各时刻的无人车奖励值的总和。
具体的，所述步骤b，包括：
分别将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标决策神经网络的输入层样本信息和输出层样本信息，训练所述目标决策神经网络。
将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的无人车累计奖励值作为所述目标评价神经网络的输出层样本信息，训练所述目标评价神经网络。
具体的，所述步骤c中，决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代决策神经网络的输入层至隐含层间的权重；为第t-1次迭代决策神经网络的输入层至隐含层间的权重；α1为决策神经网络的学习率；πt第t次迭代决策神经网络的输出层样本信息；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车的移动位移指令；
目标决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标决策神经网络的输入层至隐含层间的权重；为第t-1次迭代目标决策神经网络的输入层至隐含层间的权重；τ1为目标决策神经网络的更新速率；
评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代评价神经网络的输入层至隐含层间的权重；为第t-1次迭代评价神经网络的输入层至隐含层间的权重；α2为评价神经网络的学习率；L(t)为第t次迭代神经网络模型的评价误差值；
目标评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标评价神经网络的输入层至隐含层间的权重；为第t-1次迭代目标评价神经网络的输入层至隐含层间的权重；τ2为目标评价神经网络的更新速率。
具体的，按下式确定所述第t次迭代神经网络模型的评价误差值L(t)：
式中，为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值；
按下式确定所述第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值
式中，ξ为衰减值；z为时间步长；为第t次迭代时B组历史样本中第b组历史样本中最终时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值；Xb+i为B组历史样本中第b组历史样本的起始时刻后的第i个时刻；
按下式确定所述为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值
式中，ht(k)为第k个数据站到第t次迭代时累计被采集次数；A为数据站总数；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车能量消耗值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车采集数据量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种用于数据采集的无人车控制方法，其特征在于，所述方法包括：
采集无人车所在区域的整体环境观测数据；
将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；
按照所述无人车的移动位移指令移动至数据站进行采集作业；
其中，所述无人车所在区域的整体环境观测数据包括：无人车所在区域中采集站的数据剩余信息、无人车所在位置信息和无人车所剩能量信息。
2.如权利要求1所述的方法，其特征在于，所述预先训练的神经网络模型的获取过程包括：
步骤1：初始化迭代次数t＝0；
步骤2：判断采集区域的历史样本库中历史样本的数量是否大于k1.B(N+1)，若是，则在所述样本库中抽取B组历史样本；否则，返回步骤1；
步骤3：利用所述B组历史样本获取所述预先训练的神经网络模型；
步骤4：若所述预先训练的神经网络收敛,则结束任务；否则,令t＝t+1，并返回步骤2；
其中，所述B组历史样本中第b组历史样本 为所述B组历史样本中第b组历史样本中第Xb+i时刻对应的样本；Xb为B组历史样本中第b组历史样本的起始时刻，Xb+N为B组历史样本中第b组历史样本的最终时刻，k1为样本抽取比例系数。
3.如权利要求2所述的方法，其特征在于，所述步骤3，包括：
步骤a.利用B组历史样本中各组历史样本中起始时刻对应的样本数据分别训练决策神经网络和评价神经网络；
步骤b.利用B组历史样本中各组历史样本中最终时刻对应的样本数据分别训练目标决策神经网络和目标评价神经网络；
步骤c.分别更新决策神经网络、目标决策神经网络、评价神经网络和目标评价神经网络输入层至隐含层间的权重。
4.如权利要求3所述的方法，其特征在于，所述步骤a，包括：
分别将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述决策神经网络的输入层样本信息和输出层样本信息，训练所述决策神经网络；
将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中起始时刻对应的样本数据中的无人车累计奖励值作为所述评价神经网络的输出层样本信息，训练所述评价神经网络；
其中，所述样本数据中的无人车累计奖励值为从样本对应时刻开始到样本所在的采集任务结束时刻为止各时刻的无人车奖励值的总和。
5.如权利要求4所述的方法，其特征在于，所述步骤b，包括：
分别将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标决策神经网络的输入层样本信息和输出层样本信息，训练所述目标决策神经网络。
将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的整体环境观测值和无人车的移动位移指令作为所述目标评价神经网络的输入层样本信息，将所述B组历史样本中各组历史样本中最终时刻对应的样本数据中的无人车累计奖励值作为所述目标评价神经网络的输出层样本信息，训练所述目标评价神经网络。
6.如权利要求3所述的方法，其特征在于，所述步骤c中，决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代决策神经网络的输入层至隐含层间的权重；为第t-1次迭代决策神经网络的输入层至隐含层间的权重；α1为决策神经网络的学习率；πt第t次迭代决策神经网络的输出层样本信息；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的无人车的移动位移指令；
目标决策神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标决策神经网络的输入层至隐含层间的权重；为第t-1次迭代目标决策神经网络的输入层至隐含层间的权重；τ1为目标决策神经网络的更新速率；
评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代评价神经网络的输入层至隐含层间的权重；为第t-1次迭代评价神经网络的输入层至隐含层间的权重；α2为评价神经网络的学习率；L(t)为第t次迭代神经网络模型的评价误差值；
目标评价神经网络的输入层至隐含层间的权重更新公式为：
式中，为第t次迭代目标评价神经网络的输入层至隐含层间的权重；为第t-1次迭代目标评价神经网络的输入层至隐含层间的权重；τ2为目标评价神经网络的更新速率。
7.如权利要求6所述的方法，其特征在于，按下式确定所述第t次迭代神经网络模型的评价误差值L(t)：
式中，为第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值；
按下式确定所述第t次迭代时B组历史样本中第b组历史样本中起始时刻对应的样本数据中的预计无人车累计奖励值
式中，ξ为衰减值；z为时间步长；为第t次迭代时B组历史样本中第b组历史样本中最终时刻对应的样本数据中的无人车累计奖励值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值；Xb+i为B组历史样本中第b组历史样本的起始时刻后的第i个时刻；
按下式确定所述为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的样本数据中的无人车奖励值
式中，ht(k)为第k个数据站到第t次迭代时累计被采集次数；A为数据站总数；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车能量消耗值；为第t次迭代时B组历史样本中第b组历史样本中第Xb+i时刻对应的无人车采集数据量。
8.一种用于数据采集的无人车控制系统，其特征在于，所述系统包括：
第一采集模块，用于采集无人车所在区域的整体环境观测数据；
获取模块，用于将无人车所在区域的整体环境观测数据代入预先训练的神经网络模型，获取无人车的移动位移指令；
第二采集模块，用于按照所述无人车的移动位移指令移动至数据站进行采集作业；
其中，所述无人车所在区域的整体环境观测数据包括：无人车所在区域中采集站的数据剩余信息、无人车所在位置信息和无人车所剩能量信息。
9.如权利要求8所述的系统，其特征在于，所述预先训练的神经网络模型的获取过程包括：
步骤1：初始化迭代次数t＝0；
步骤2：判断采集区域的历史样本库中历史样本的数量是否大于k1.B(N+1)，若是，则在所述样本库中抽取B组历史样本；否则，返回步骤1；
步骤3：利用所述B组历史样本获取所述预先训练的神经网络模型；
步骤4：若所述预先训练的神经网络收敛,则结束任务；否则,令t＝t+1，并返回步骤2；
其中，所述B组历史样本中第b组历史样本 为所述B组历史样本中第b组历史样本中第Xb+i时刻对应的样本；Xb为B组历史样本中第b组历史样本的起始时刻，Xb+N为B组历史样本中第b组历史样本的最终时刻，k1为样本抽取比例系数。
10.如权利要求9所述的系统，其特征在于，所述步骤3，包括：
步骤a.利用B组历史样本中各组历史样本中起始时刻对应的样本数据分别训练决策神经网络和评价神经网络；
步骤b.利用B组历史样本中各组历史样本中最终时刻对应的样本数据分别训练目标决策神经网络和目标评价神经网络；
步骤c.分别更新决策神经网络、目标决策神经网络、评价神经网络和目标评价神经网络输入层至隐含层间的权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509290.5A CN110286677B (zh) | 2019-06-13 | 2019-06-13 | 一种用于数据采集的无人车控制方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910509290.5A CN110286677B (zh) | 2019-06-13 | 2019-06-13 | 一种用于数据采集的无人车控制方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110286677A true CN110286677A (zh) | 2019-09-27 |
| CN110286677B CN110286677B (zh) | 2021-03-16 |
Family
ID=68004112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910509290.5A Active CN110286677B (zh) | 2019-06-13 | 2019-06-13 | 一种用于数据采集的无人车控制方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110286677B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407931A (zh) * | 2016-09-19 | 2017-02-15 | 杭州电子科技大学 | 一种新型深度卷积神经网络运动车辆检测方法 |
| CN107102644A (zh) * | 2017-06-22 | 2017-08-29 | 华南师范大学 | 基于深度强化学习的水下机器人轨迹控制方法及控制系统 |
| WO2018153563A1 (de) * | 2017-02-27 | 2018-08-30 | Robert Bosch Gmbh | Künstliches neuronales netz und unbemanntes luftfahrzeug zum erkennen eines verkehrsunfalls |
| CN108510737A (zh) * | 2018-04-12 | 2018-09-07 | 中南大学 | 一种融合风环境的无人驾驶车辆电源实时监控方法及装置 |
| CN108510130A (zh) * | 2018-04-12 | 2018-09-07 | 中南大学 | 一种智能无人驾驶车辆极限里程智能多源评估方法及装置 |
| CN108508372A (zh) * | 2018-04-24 | 2018-09-07 | 中南大学 | 一种基于环境视觉融合的无人驾驶电量计算和预警方法与系统 |
| KR101897407B1 (ko) * | 2017-06-14 | 2018-10-18 | 국방과학연구소 | 무인차량의 자율주행을 위한 적응적 동역학 모델 기반 최적 경로계획 방법 및 그 장치 |
| US20180307231A1 (en) * | 2017-04-19 | 2018-10-25 | 4D Tech Solutions, Inc. | Intelligent electronic speed controller (iesc) |
| CN108803604A (zh) * | 2018-06-06 | 2018-11-13 | 深圳市易成自动驾驶技术有限公司 | 车辆自动驾驶方法、装置以及计算机可读存储介质 |
-
2019
- 2019-06-13 CN CN201910509290.5A patent/CN110286677B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407931A (zh) * | 2016-09-19 | 2017-02-15 | 杭州电子科技大学 | 一种新型深度卷积神经网络运动车辆检测方法 |
| WO2018153563A1 (de) * | 2017-02-27 | 2018-08-30 | Robert Bosch Gmbh | Künstliches neuronales netz und unbemanntes luftfahrzeug zum erkennen eines verkehrsunfalls |
| US20180307231A1 (en) * | 2017-04-19 | 2018-10-25 | 4D Tech Solutions, Inc. | Intelligent electronic speed controller (iesc) |
| KR101897407B1 (ko) * | 2017-06-14 | 2018-10-18 | 국방과학연구소 | 무인차량의 자율주행을 위한 적응적 동역학 모델 기반 최적 경로계획 방법 및 그 장치 |
| CN107102644A (zh) * | 2017-06-22 | 2017-08-29 | 华南师范大学 | 基于深度强化学习的水下机器人轨迹控制方法及控制系统 |
| CN108510737A (zh) * | 2018-04-12 | 2018-09-07 | 中南大学 | 一种融合风环境的无人驾驶车辆电源实时监控方法及装置 |
| CN108510130A (zh) * | 2018-04-12 | 2018-09-07 | 中南大学 | 一种智能无人驾驶车辆极限里程智能多源评估方法及装置 |
| CN108508372A (zh) * | 2018-04-24 | 2018-09-07 | 中南大学 | 一种基于环境视觉融合的无人驾驶电量计算和预警方法与系统 |
| CN108803604A (zh) * | 2018-06-06 | 2018-11-13 | 深圳市易成自动驾驶技术有限公司 | 车辆自动驾驶方法、装置以及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| LIU CHI: "Learning-Based Energy-Efficient Data Collection by Unmanned Vehicles in Smart Cities", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110286677B (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | A deep reinforcement learning network for traffic light cycle control | |
| CN113110592B (zh) | 一种无人机避障与路径规划方法 | |
| CN110750096B (zh) | 静态环境下基于深度强化学习的移动机器人避碰规划方法 | |
| CN106779148B (zh) | 一种多模型多特征融合的高速铁路沿线风速预测方法 | |
| CN106779151B (zh) | 一种高速铁路沿线风速多点多层耦合预测方法 | |
| CN112465151A (zh) | 一种基于深度强化学习的多智能体联邦协作方法 | |
| CN110470301A (zh) | 多动态任务目标点下的无人机路径规划方法 | |
| CN103699125B (zh) | 一种基于鼠脑海马导航的机器人仿真导航方法 | |
| CN106020189A (zh) | 基于邻域约束的空地异构机器人系统路径规划方法 | |
| CN110544296A (zh) | 一种敌方威胁不确定环境下无人机三维全局航迹智能规划方法 | |
| CN111752304B (zh) | 无人机数据采集方法及相关设备 | |
| CN110427690A (zh) | 一种基于全局粒子群算法生成ato速度曲线的方法及装置 | |
| CN115060263A (zh) | 一种考虑低空风和无人机能耗的航迹规划方法 | |
| CN108985488A (zh) | 个体出行目的地预测的方法 | |
| CN113391633A (zh) | 一种面向城市环境的移动机器人融合路径规划方法 | |
| CN116169776A (zh) | 电力系统云边协同人工智能调控方法、系统、介质及设备 | |
| Deng et al. | Advanced self-improving ramp metering algorithm based on multi-agent deep reinforcement learning | |
| Li et al. | 3D reconstruction based on hierarchical reinforcement learning with transferability | |
| CN114815891A (zh) | 一种基于per-idqn的多无人机围捕战术方法 | |
| CN116972854B (zh) | 基于gps定位的农机导航路径规划方法及系统 | |
| CN109752952A (zh) | 一种获取多维随机分布及强化控制器的方法和装置 | |
| CN110286677A (zh) | 一种用于数据采集的无人车控制方法和系统 | |
| CN116620327A (zh) | 基于PPO和Lattice实现自动驾驶的高速场景的变道决策方法 | |
| CN117007066A (zh) | 多规划算法集成的无人驾驶轨迹规划方法及相关装置 | |
| CN115951711A (zh) | 一种高海况环境下的无人集群多目标搜索和追捕方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |