CN113110459A - 一种多足机器人运动规划方法 - Google Patents
一种多足机器人运动规划方法 Download PDFInfo
- Publication number
- CN113110459A CN113110459A CN202110423988.2A CN202110423988A CN113110459A CN 113110459 A CN113110459 A CN 113110459A CN 202110423988 A CN202110423988 A CN 202110423988A CN 113110459 A CN113110459 A CN 113110459A
- Authority
- CN
- China
- Prior art keywords
- legged robot
- motion planning
- virtual
- neural network
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000009471 action Effects 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 18
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 238000004088 simulation Methods 0.000 claims abstract description 14
- 238000002474 experimental method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 9
- 230000005021 gait Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 7
- 210000003371 toe Anatomy 0.000 description 5
- 241000238631 Hexapoda Species 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种多足机器人运动规划方法包括：采集常见障碍物的图像信息；根据图像信息获取常见障碍物的三角网状图；基于三角网状图构建常见障碍物的模型库，并将模型库导入虚拟环境中构建虚拟运动规划实验场景；在所述虚拟环境中构建虚拟多足机器人，并根据深度强化学习算法设计虚拟多足机器人的状态空间和动作空间；根据状态空间和动作空间设计基于深度强化学习算法的神经网络结构和奖励函数；在所述虚拟运动规划实验场景中对所述虚拟多足机器人进行运动规划任务的仿真训练，获取运动规划神经网络模型；采用无线通信的方式将实体多足机器人与上位机连接后，将虚拟环境下的网络模型应用于实体多足机器人上，并根据实际情况微调相关参数。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种从虚拟到现实的多足机器人运动规划方法。
背景技术
随着科技的发展和探索，人类生产生活对机器人的使用越来越多，而多足机器人作为移动机器人的一种，具有的地形适应能力强、运动方式多样和稳定性好等优点，在多种领域都有着广泛的应用。
其中，对于多足机器人运动规划方法的研究一直是领域内的热点。但是目前的研究方法中，对机器人及障碍物的数学建模过程和相关约束条件的数学化均较为繁琐，且针对不同的足式机器人和不同的研究场景，需要进行复杂的参数调整。虽然能够实现避障和目标可达，但是该类算法的复杂度较高，通用性较差，且一旦障碍物发生变化，参数的实时调整难度较大，因此算法的灵活性较差。
目前传统的算法中，对包含障碍物场景的复杂度普遍较低，而实际场景中，障碍物类别更多，随机性更大。在面对障碍物种类繁多、障碍物可移动的场景时，目前的多足机器人运动规划算法有着应用场景相对简单、算法迁移性较差等局限性。
在进行多足机器人的运动规划方法研究时，从虚拟到现实是一种可行性较强的研究思路。在传统的相关研究中，对仿真环境的运用，多为机器人进行一比一建模后对已经设计好的算法进行测试和调整。虽然能避免直接采用实体机器人进行实验所具有的潜在的风险，但是并未完全发挥出虚拟环境的特点与优势。随着多足机器人的发展，搭载的传感器种类越来越多，机器人结构的复杂度越来越高，对其运动规划算法的性能要求也日益增高。因此，现有算法复杂度高，灵活性差，应用场景简单，算法迁移难度大是目前有待解决的问题。
发明内容
本发明要解决的技术问题是如何降低算法难度，丰富应用场景，提高不同场景的通用性，提供一种多足机器人运动规划方法。
本发明是通过下述技术方案来解决上述技术问题：
一种多足机器人运动规划方法，所述运动规划方法包括：
采集常见障碍物的图像信息；
根据所述图像信息获取所述常见障碍物的三角网状图；
基于所述三角网状图构建所述常见障碍物的模型库，并将所述常见障碍物的模型库导入虚拟仿真软件中构建虚拟运动规划实验场景；
在所述虚拟运动规划实验场景中构建虚拟多足机器人，并根据深度强化学习算法设计所述虚拟多足机器人的状态空间和动作空间；
根据所述状态空间和所述动作空间设计基于所述深度强化学习算法的神经网络结构和奖励函数；
在所述虚拟运动规划实验场景中对所述虚拟多足机器人进行运动规划任务的仿真训练，获取运动规划神经网络模型；
实体多足机器人将实际状态信息无线传输至上位机，所述上位机根据所述实际状态信息和训练后的所述运动规划神经网络模型返回相应的动作信息至所述实体多足机器人，并由所述实体多足机器人的下位机执行。
进一步地，根据所述深度强化学习算法设计所述虚拟多足机器人的所述状态空间包括：
获取所述虚拟多足机器人前方部分地形范围内的二维地形信息；
获取所述虚拟多足机器人的每个足尖坐标；
获取所述虚拟多足机器人的运动规划目标点坐标。
更进一步地，根据所述深度强化学习算法设计所述虚拟多足机器人的所述动作空间包括：
根据所述虚拟多足机器人的基本步态，设计以所述虚拟多足机器人步长，步高，转角为参数的三维动作；
所述神经网络结构输出所述三维动作后，基于相关步态函数进行步态规划。
更进一步地，所述进行运动规划任务的仿真训练包括：
在所述虚拟运动规划实验场景中随机生成任务场景，获取起始位置处的状态信息，并将所述起始位置处的状态信息输入至所述神经网络结构中；
所述神经网络结构输出当前时刻采取动作的均值，随机探索动作分量与所述动作的均值相加后确定当前时刻采取的动作，所述虚拟多足机器人在所述虚拟运动规划实验场景中执行该动作；
若达到所述运动规划目标点坐标，则结束本次仿真；
若未达到所述运动规划目标点坐标，则更新所述神经网络结构的网络参数并计算损失函数，继续仿真直至达到所述运动规划目标点坐标为止。
进一步地，所述图像信息包括3D点云图像和深度图像。
进一步地，包括通过贪心三角形算法获取所述三角网状图，并根据所述三角网状图构建所述常见障碍物的模型库。
进一步地，所述奖励函数包括：
当所述虚拟多足机器人在位置远离和/或前进方向偏离所述运动规划目标点坐标时奖励值为负；
当所述虚拟多足机器人在位置接近和/或前进方向朝向所述运动规划目标点坐标时奖励值为正；
当所述虚拟多足机器人碰撞和/或到达所述运动规划目标点坐标时有特殊的奖励值。
进一步地，所述神经网络结构包括卷积神经网络和全连接层，所述二维地形信息输入至所述卷积神经网络并经卷积和池化后输出的特征与所述每个足尖坐标及所述运动规划目标点坐标重新结合后输入至所述全连接层，最终输出当前时间步内基于当前状态信息的最佳动作。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明研究思路简单，无需大量的关于机器人的运动学与动力学建模；本发明具有普适性，对于不同的多足机器人研究思路相同；本发明中对障碍物库进行搭建的过程有效地对常见障碍物种类进行了归类与虚拟环境重建，保证了虚拟环境训练的真实性；本发明中，深度神经网络对运动规划中的路径规划和轨迹规划函数进行了统一与有效的拟合，实现了端到端的运动规划策略；本发明中采用的传感器均为常见的传感器，无需巨额花费。
附图说明
图1为本发明一种多足机器人运动规划方法一实施例中的方法流程图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示为本发明一实施例中的方法流程图：
S01：采集常见障碍物的图像信息；
在一个示例中，选用合适的激光雷达与双目相机，安放在合适的位置，对常见障碍物进行3D点云图像与深度图像的采集。目前所用的传感器均为常见的传感器，且信息采集的对象为椅子、桌子、柜子等常见障碍物。
S02：根据所述图像信息获取所述常见障碍物的三角网状图；
在一个示例中，基于上一步中采集到的3D点云图像信息，通过贪心三角化算法得到常见障碍物的三角网状图；结合基于深度学习的语义分割方法，对常见障碍物进行分割与标记。
S03：基于所述三角网状图构建所述常见障碍物的模型库，并将所述常见障碍物的模型库导入虚拟仿真软件中构建虚拟运动规划实验场景；
在一个示例中，基于前两步的工作，构建出基于三角网状图的包含多种常见障碍物模型的模型库，该模型库的格式为在虚拟环境可导入与识别的格式。选用具有精确物理引擎的合适的虚拟仿真软件，目前选用的是V-rep仿真软件。将所搭建的模型库导入该虚拟环境中后，可以在该库中调用任意数量的障碍物，其大小可以调整，并将其与该虚拟环境中自带的简单的障碍物组合使用，作为运动规划实验场景设计与搭建的基本元素。
S04：在所述虚拟运动规划实验场景中构建虚拟多足机器人，并根据深度强化学习算法设计所述虚拟多足机器人的状态空间和动作空间；
在一个示例中，基于六足机器人的结构原理，在虚拟环境中精确搭建出虚拟六足机器人的仿真模型，确保仿真模型包含了深度相机、陀螺仪等必须的传感器，且虚拟六足机器人的数据形式与实体六足机器人中传感器的数据形式一致。
据深度强化学习算法需要，设计虚拟六足机器人的状态空间和动作空间。以机器人前方部分范围内的地形信息、足尖的坐标信息和运动规划目标点的信息构成状态空间，以与虚拟六足机器人步态控制相关的参数作为动作空间。具体内容为：首先利用视觉传感器采集机器人前方部分地形范围内的深度图，并通过坐标转换将其转换为2.5D栅格地图，得到机器人前方一定范围内的地形高度图，作为状态空间的第一部分，记为S1；其次获取机器人每个足尖在机器人自身坐标系下的坐标，作为状态空间的第二部分，记为S2；最后，将运动规划的目标点坐标作为状态空间的第三部分，记为S3。最终，构成由三部分共同组成的状态空间，并将S2与S3压缩为一维向量的形式进行储存。
以六足机器人实际拓扑结构为依据，对机器人的动作空间进行设计。具体方式为将动作空间设计为以机器人常用基本步态为基础，以步长、步高和转角为参数的三维空间，神经网络结构输出该三维动作后，基于相关步态函数进行步态规划。
S05：根据所述状态空间和所述动作空间设计基于所述深度强化学习算法的神经网络结构和奖励函数；
在一个示例中，根据状态空间和动作空间的形式，对神经网络结构进行设计。由于状态空间包含了二维地形信息S1以及一维向量信息S2和S3，因此采用卷积神经网络和全连接层网络相结合的神经网络结构，将状态信息S1输入卷积神经网络，并经过卷积与池化后输出的特征与状态信息S2和S3进行重新结合后输入全连接层网络，最终输出当前时间步内基于当前状态信息的最佳动作。
在一个示例中，奖励函数设计是强化学习的关键部分，为了保证机器人在位置远离与前进方向偏离目标点时奖励值为负，在位置接近与前进方向偏向目标点时奖励值为正，且在发生碰撞和到达目标点时分别有特殊的奖励值，将奖励函数设计为以负指数函数和三角函数为核心的多项式相加的形式，本实例中的奖励函数具体设计如下式所示：
lmax是可以调整的超参，d是到目标点的距离，α是和目标点的夹角
S06：在所述虚拟运动规划实验场景中对所述虚拟多足机器人进行运动规划任务的仿真训练，获取运动规划神经网络模型；
在一个示例中，基于深度强化学习算法，在虚拟环境中进行运动规划任务的仿真训练，得到从传感器信息到动作输出的端到端的运动规划神经网络模型。考虑到将算法迁移到实体多足机器人上，可能会出现的因模型误差和环境变化产生的噪声，在训练时，碰撞检测的范围留有一定阈值，且在场景中加入了移动型障碍物，来对对算法的鲁棒性进行提升。
S07：实体多足机器人将实际状态信息无线传输至上位机，所述上位机根据所述实际状态信息和训练后的所述运动规划神经网络模型返回相应的动作信息至所述实体多足机器人，并由所述实体多足机器人的下位机执行。
在一个示例中，实体多足机器人与上位机通过远程通信方式进行连接，实体机器人通过深度相机采集到地形深度信息，将其发送到上位机进行图像分析与处理；利用运动学正解原理可以得到六条腿足尖的坐标；而目标点在机器人自身坐标系下的坐标则可以通过位移计算与坐标系转换来得到。最后，基于经由虚拟环境训练得到的神经网络模型，对每一个时间步内的状态信息都输出一个该状态下的最佳动作发送回实体多足机器人端，并通过相关步态函数在与实体多足机器人相连接的下位机中实现相应的步态动作，最终实现实体多足机器人的运动规划。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (8)
1.一种多足机器人运动规划方法，其特征在于，所述运动规划方法包括：
采集常见障碍物的图像信息；
根据所述图像信息获取所述常见障碍物的三角网状图；
基于所述三角网状图构建所述常见障碍物的模型库，并将所述常见障碍物的模型库导入虚拟仿真软件中构建虚拟运动规划实验场景；
在所述虚拟运动规划实验场景中构建虚拟多足机器人，并根据深度强化学习算法设计所述虚拟多足机器人的状态空间和动作空间；
根据所述状态空间和所述动作空间设计基于所述深度强化学习算法的神经网络结构和奖励函数；
在所述虚拟运动规划实验场景中对所述虚拟多足机器人进行运动规划任务的仿真训练，获取运动规划神经网络模型；
实体多足机器人将实际状态信息无线传输至上位机，所述上位机根据所述实际状态信息和训练后的所述运动规划神经网络模型返回相应的动作信息至所述实体多足机器人，并由所述实体多足机器人的下位机执行。
2.如权利要求1所述的一种多足机器人运动规划方法，其特征在于，根据所述深度强化学习算法设计所述虚拟多足机器人的所述状态空间包括：
获取所述虚拟多足机器人前方部分地形范围内的二维地形信息；
获取所述虚拟多足机器人的每个足尖坐标；
获取所述虚拟多足机器人的运动规划目标点坐标。
3.如权利要求2所述的一种多足机器人运动规划方法，其特征在于，根据所述深度强化学习算法设计所述虚拟多足机器人的所述动作空间包括：
根据所述虚拟多足机器人的基本步态，设计以所述虚拟多足机器人步长，步高，转角为参数的三维动作；
所述神经网络结构输出所述三维动作后，基于相关步态函数进行步态规划。
4.如权利要求3所述的一种多足机器人运动规划方法，其特征在于，所述进行运动规划任务的仿真训练包括：
在所述虚拟运动规划实验场景中随机生成任务场景，获取起始位置处的状态信息，并将所述起始位置处的状态信息输入至所述神经网络结构中；
所述神经网络结构输出当前时刻采取动作的均值，随机探索动作分量与所述动作的均值相加后确定当前时刻采取的动作，所述虚拟多足机器人在所述虚拟运动规划实验场景中执行该动作；
若达到所述运动规划目标点坐标，则结束本次仿真；
若未达到所述运动规划目标点坐标，则更新所述神经网络结构的网络参数并计算损失函数，继续仿真直至达到所述运动规划目标点坐标为止。
5.如权利要求4所述的一种多足机器人运动规划方法，其特征在于，所述图像信息包括3D点云图像和深度图像。
6.如权利要求4所述的一种多足机器人运动规划方法，其特征在于，包括通过贪心三角形算法获取所述三角网状图，并根据所述三角网状图构建所述常见障碍物的模型库。
7.如权利要求4所述的一种多足机器人运动规划方法，其特征在于，所述奖励函数包括：
当所述虚拟多足机器人在位置远离和/或前进方向偏离所述运动规划目标点坐标时奖励值为负；
当所述虚拟多足机器人在位置接近和/或前进方向朝向所述运动规划目标点坐标时奖励值为正；
当所述虚拟多足机器人碰撞和/或到达所述运动规划目标点坐标时有特殊的奖励值。
8.如权利要求1至7任一项所述的一种多足机器人运动规划方法，其特征在于，所述神经网络结构包括卷积神经网络和全连接层，所述二维地形信息输入至所述卷积神经网络并经卷积和池化后输出的特征与所述每个足尖坐标及所述运动规划目标点坐标重新结合后输入至所述全连接层，最终输出当前时间步内基于当前状态信息的最佳动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110423988.2A CN113110459A (zh) | 2021-04-20 | 2021-04-20 | 一种多足机器人运动规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110423988.2A CN113110459A (zh) | 2021-04-20 | 2021-04-20 | 一种多足机器人运动规划方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113110459A true CN113110459A (zh) | 2021-07-13 |
Family
ID=76718862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110423988.2A Pending CN113110459A (zh) | 2021-04-20 | 2021-04-20 | 一种多足机器人运动规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113110459A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113946153A (zh) * | 2021-11-25 | 2022-01-18 | 北京神舟航天软件技术股份有限公司 | 虚实结合模式下虚拟无人设备导航系统 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469446A (zh) * | 2014-09-05 | 2016-04-06 | 富泰华工业（深圳）有限公司 | 点云网格简化系统及方法 |
| CN107450555A (zh) * | 2017-08-30 | 2017-12-08 | 唐开强 | 一种基于深度强化学习的六足机器人实时步态规划方法 |
| CN107562052A (zh) * | 2017-08-30 | 2018-01-09 | 唐开强 | 一种基于深度强化学习的六足机器人步态规划方法 |
| CN109483530A (zh) * | 2018-10-18 | 2019-03-19 | 北京控制工程研究所 | 一种基于深度强化学习的足式机器人运动控制方法及系统 |
| CN109540151A (zh) * | 2018-03-25 | 2019-03-29 | 哈尔滨工程大学 | 一种基于强化学习的auv三维路径规划方法 |
| CN109839922A (zh) * | 2017-11-28 | 2019-06-04 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶车辆的方法及装置 |
| CN109855616A (zh) * | 2019-01-16 | 2019-06-07 | 电子科技大学 | 一种基于虚拟环境和强化学习的多传感器机器人导航方法 |
| CN109871011A (zh) * | 2019-01-15 | 2019-06-11 | 哈尔滨工业大学（深圳） | 一种基于预处理层与深度强化学习的机器人导航方法 |
| CN110262511A (zh) * | 2019-07-12 | 2019-09-20 | 同济人工智能研究院(苏州)有限公司 | 基于深度强化学习的双足机器人自适应性行走控制方法 |
| CN110764415A (zh) * | 2019-10-31 | 2020-02-07 | 清华大学深圳国际研究生院 | 一种四足机器人腿部运动的步态规划方法 |
| CN110861084A (zh) * | 2019-11-18 | 2020-03-06 | 东南大学 | 一种基于深度强化学习的四足机器人跌倒自复位控制方法 |
| CN111540040A (zh) * | 2020-04-20 | 2020-08-14 | 上海曼恒数字技术股份有限公司 | 一种基于点云数据进行模型构建方法、装置、存储介质 |
| CN111638646A (zh) * | 2020-05-29 | 2020-09-08 | 平安科技（深圳）有限公司 | 四足机器人行走控制器训练方法、装置、终端及存储介质 |
| CN111687846A (zh) * | 2020-06-24 | 2020-09-22 | 山东大学 | 一种四足机器人分布式高实时性控制系统及方法 |
| CN111730595A (zh) * | 2020-06-28 | 2020-10-02 | 常州工学院 | 一种斜坡条件下双足机器人步态稳定控制方法 |
| CN112218744A (zh) * | 2018-04-22 | 2021-01-12 | 谷歌有限责任公司 | 学习多足机器人的敏捷运动的系统和方法 |
| CN112232350A (zh) * | 2020-10-27 | 2021-01-15 | 广东技术师范大学 | 基于强化学习的水田机器人机械腿长度调整方法与系统 |
| CN112440281A (zh) * | 2020-11-16 | 2021-03-05 | 浙江大学 | 一种基于数字孪生的机器人轨迹规划方法 |
| CN112631131A (zh) * | 2020-12-19 | 2021-04-09 | 北京化工大学 | 一种四足机器人运动控制自生成和实物迁移方法 |
| CN112666939A (zh) * | 2020-12-09 | 2021-04-16 | 深圳先进技术研究院 | 一种基于深度强化学习的机器人路径规划算法 |
-
2021
- 2021-04-20 CN CN202110423988.2A patent/CN113110459A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469446A (zh) * | 2014-09-05 | 2016-04-06 | 富泰华工业（深圳）有限公司 | 点云网格简化系统及方法 |
| CN107450555A (zh) * | 2017-08-30 | 2017-12-08 | 唐开强 | 一种基于深度强化学习的六足机器人实时步态规划方法 |
| CN107562052A (zh) * | 2017-08-30 | 2018-01-09 | 唐开强 | 一种基于深度强化学习的六足机器人步态规划方法 |
| CN109839922A (zh) * | 2017-11-28 | 2019-06-04 | 百度在线网络技术（北京）有限公司 | 用于控制无人驾驶车辆的方法及装置 |
| CN109540151A (zh) * | 2018-03-25 | 2019-03-29 | 哈尔滨工程大学 | 一种基于强化学习的auv三维路径规划方法 |
| CN112218744A (zh) * | 2018-04-22 | 2021-01-12 | 谷歌有限责任公司 | 学习多足机器人的敏捷运动的系统和方法 |
| CN109483530A (zh) * | 2018-10-18 | 2019-03-19 | 北京控制工程研究所 | 一种基于深度强化学习的足式机器人运动控制方法及系统 |
| CN109871011A (zh) * | 2019-01-15 | 2019-06-11 | 哈尔滨工业大学（深圳） | 一种基于预处理层与深度强化学习的机器人导航方法 |
| CN109855616A (zh) * | 2019-01-16 | 2019-06-07 | 电子科技大学 | 一种基于虚拟环境和强化学习的多传感器机器人导航方法 |
| CN110262511A (zh) * | 2019-07-12 | 2019-09-20 | 同济人工智能研究院(苏州)有限公司 | 基于深度强化学习的双足机器人自适应性行走控制方法 |
| CN110764415A (zh) * | 2019-10-31 | 2020-02-07 | 清华大学深圳国际研究生院 | 一种四足机器人腿部运动的步态规划方法 |
| CN110861084A (zh) * | 2019-11-18 | 2020-03-06 | 东南大学 | 一种基于深度强化学习的四足机器人跌倒自复位控制方法 |
| CN111540040A (zh) * | 2020-04-20 | 2020-08-14 | 上海曼恒数字技术股份有限公司 | 一种基于点云数据进行模型构建方法、装置、存储介质 |
| CN111638646A (zh) * | 2020-05-29 | 2020-09-08 | 平安科技（深圳）有限公司 | 四足机器人行走控制器训练方法、装置、终端及存储介质 |
| CN111687846A (zh) * | 2020-06-24 | 2020-09-22 | 山东大学 | 一种四足机器人分布式高实时性控制系统及方法 |
| CN111730595A (zh) * | 2020-06-28 | 2020-10-02 | 常州工学院 | 一种斜坡条件下双足机器人步态稳定控制方法 |
| CN112232350A (zh) * | 2020-10-27 | 2021-01-15 | 广东技术师范大学 | 基于强化学习的水田机器人机械腿长度调整方法与系统 |
| CN112440281A (zh) * | 2020-11-16 | 2021-03-05 | 浙江大学 | 一种基于数字孪生的机器人轨迹规划方法 |
| CN112666939A (zh) * | 2020-12-09 | 2021-04-16 | 深圳先进技术研究院 | 一种基于深度强化学习的机器人路径规划算法 |
| CN112631131A (zh) * | 2020-12-19 | 2021-04-09 | 北京化工大学 | 一种四足机器人运动控制自生成和实物迁移方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113946153A (zh) * | 2021-11-25 | 2022-01-18 | 北京神舟航天软件技术股份有限公司 | 虚实结合模式下虚拟无人设备导航系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112859859B (zh) | 一种基于三维障碍物体素对象映射的动态栅格地图更新方法 | |
| Lobos-Tsunekawa et al. | Visual navigation for biped humanoid robots using deep reinforcement learning | |
| US9019278B2 (en) | Systems and methods for animating non-humanoid characters with human motion data | |
| Pan et al. | FCL: A general purpose library for collision and proximity queries | |
| CN106599108A (zh) | 一种三维环境中多模态环境地图构建方法 | |
| CN103413352A (zh) | 基于rgbd多传感器融合的场景三维重建方法 | |
| Vonásek et al. | High-level motion planning for CPG-driven modular robots | |
| Garrote et al. | 3D point cloud downsampling for 2D indoor scene modelling in mobile robotics | |
| Martyshkin | Motion planning algorithm for a mobile robot with a smart machine vision system | |
| CN113110459A (zh) | 一种多足机器人运动规划方法 | |
| Zhang et al. | Safe and efficient robot manipulation: Task-oriented environment modeling and object pose estimation | |
| Orsula et al. | Learning to Grasp on the Moon from 3D Octree Observations with Deep Reinforcement Learning | |
| Cheng et al. | Mapping and path planning simulation of mobile robot slam based on ROS | |
| CN112684709B (zh) | 一种集群跟踪运动学建模方法、设备及存储介质 | |
| Liu | Implementation of SLAM and path planning for mobile robots under ROS framework | |
| JP5766936B2 (ja) | ３次元環境復元装置、３次元環境復元方法、及びロボット | |
| Martín et al. | Octree-based localization using RGB-D data for indoor robots | |
| CN116295415A (zh) | 一种基于脉冲神经网络强化学习的无地图迷宫导航方法和系统 | |
| CN114986524A (zh) | 基于脑机接口的机械臂轨迹规划方法、装置以及电子设备 | |
| CN114571460A (zh) | 机器人控制方法、装置及存储介质 | |
| Horváth et al. | Probabilistic occupancy grid map building for Neobotix MP500 robot | |
| Li et al. | Pose synthesis using the inverse of jacobian matrix learned from examples | |
| Belter et al. | On-Board Perception and Motion Planning for Legged Locomotion over Rough Terrain. | |
| Hong et al. | Design and Implementation of Path Planning for Wheel‐Track Hybrid Mobile Robot | |
| Wei et al. | An improved Rapidly-exploring Random Tree Approach for Robotic Dynamic Path Planning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |