CN108536011A - 一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法 - Google Patents
一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法 Download PDFInfo
- Publication number
- CN108536011A CN108536011A CN201810226656.3A CN201810226656A CN108536011A CN 108536011 A CN108536011 A CN 108536011A CN 201810226656 A CN201810226656 A CN 201810226656A CN 108536011 A CN108536011 A CN 108536011A
- Authority
- CN
- China
- Prior art keywords
- hexapod robot
- robot
- neural network
- layer
- motion control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000238631 Hexapoda Species 0.000 title claims abstract description 58
- 230000033001 locomotion Effects 0.000 title claims abstract description 57
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 238000011217 control strategy Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 2
- 230000004083 survival effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 210000002683 foot Anatomy 0.000 description 3
- 230000005021 gait Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法，该方法相较于传统的通过预先编程实现机器人的运动控制的方式，本发明使用了深度强化学习，让机器人能够根据环境的复杂变化情况，自适应的调整运动策略，提高了在复杂环境下的“存活率”和适应能力；同时，相较于单一的actor‑critic深度强化学习架构，本方法实现了多actor‑多critic的深度强化学习架构，在训练深度神经网络时，能够加快训练，更快的收敛神经网络。
Description
技术领域
本发明涉及机器学习领域和机器人运动控制技术领域，更具体地，涉及一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法。
背景技术
随着时代的发展，移动机器人在现实生活中充当的角色越来越重要，在各个领域发挥着作用，比如在搜救、灾难应对、医疗保健、交通等。现实世界是一个非结构化，动态化的环境，而机器人运动控制又是一个多维度的控制问题，创造出能够在这样的环境下自适应运动的机器人，一直是机器人领域的一大挑战。
传统的六足机器人运动控制方法都是通过预先编程的方式，即把六足机器人的各种运动步态编码在六足机器人的运动控制芯片当中。但是在地形复杂多样的环境下，六足机器人传统的预先编程方式的运动控制方法，在编程实现上存在着很大的难度且需要花费大量的时间。同时，六足机器人传统的预先编程方式的运动控制方法都是基于六足机器人机体结构完整的情况下设计的。但是，现实世界环境总是会出现各种意外的情况，比如六足机器人的某条或者多条机械腿出现问题，包括机械腿从机器人主体上断裂分离、机械腿的运动控制单元失效等，这时六足机器人还是按照预设的步态运动，就会导致重心不稳而摔倒在地。
发明内容
本发明的目的是解决现有技术当六足机器人处在复杂环境或者自身腿部结构出现问题时，容易出现的六足机器人因重心不稳而摔倒在地的技术问题，提供了一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法。该方法通过深度强化学习自适应的调整运动控制策略，提高六足机器人的复杂环境适应能力和“生存”能力。
为实现以上发明目的，采用的技术方案是：
一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法，包括以下步骤：
S1.由四轴飞行器通过俯视摄像头获取复杂环境的地形信息，并根据环境地形信息，以六足机器人当前的所在位置为起点，设置一个终点，规划运动轨迹，并传递给六足机器人；
S2.六足机器人通过安装在机体上的RGB摄像头获取机体周围的环境照片，记为D1，以及通过六足机器人机体上装有的传感器获取机体当前的状态信息，包括线速度、角速度、六足机器人在三维空间中的姿态表示四元数、还有每个腿部关节自由度的角度，记为D2；
S3.六足机器人通过预先训练过的基于行动-评价架构的深度神经网络对机体周围的复杂地形环境照片和六足机器人自身当前的状态信息进行数据融合、降维和特征的提取；
S4. 六足机器人根据数据融合、降维和特征提取的结果得出六足机器人的运动控制策略，然后在整体运动轨迹的基础上，根据控制策略来控制六足机器人每条腿上每个正常工作的关节驱动机构来完成关节的自由度运动，从而实现六足机器人即使一两个关节自由度出现问题的情况下，也能完成复杂地形环境的自适应运动。
优选地，所述基于行动-评价架构的深度神经网络包括神经网络actor和神经网络critic，神经网络actor用于制定六足机器人的运动控制策略，输出六足机器人每个关节的运动控制信号；神经网络critic用于对神经网络actor输出的运动控制信号进行评价，并进行反馈，从而让神经网络actor不断调整运动控制策略，达到六足机器人自适应复杂环境运动控制。
优选地，所述神经网络actor包括两个输入层Lin1和Lin2，还有若干的卷积层，若干的池化层，一层全连接层和一层输出层；其中，两个输入层Lin1的输入是复杂地形环境信息，然后经过卷积层和池化层的图像特征提取和生存，进入全连接层；输入层Lin2的输入是机器人自身的状态信息，然后到达全连接层；全连接层和输出层组合构成一个深层网络，最终输出机器人运动控制信号。
优选地，神经网络critic包括一个输入层Lin3，两个全连接层，一个输出层；其中输入层Lin3的输入信息包括机器人当前自身状态信息以及神经网络actor输出的运动控制信号，经过全连接层后，输出反馈信号。
与现有技术相比，本发明的有益效果是：
相较于传统的通过预先编程实现机器人的运动控制的方式，本发明使用了深度强化学习，让机器人能够根据环境的复杂变化情况，自适应的调整运动策略，提高了在复杂环境下的“存活率”和适应能力；同时，相较于单一的actor-critic深度强化学习架构，本方法实现了多actor-多critic的深度强化学习架构，在训练深度神经网络时，能够加快训练，更快的收敛神经网络。
附图说明
图1为方法的流程示意图。
图2为基于行动-评价架构的深度神经网络的示意图。
图3为神经网络actor的示意图。
图4为神经网络critic的示意图。
图5为基于行动-评价架构的深度神经网络的训练示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1所示，本发明提供了一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法，包括以下步骤：
S1.由四轴飞行器通过俯视摄像头获取复杂环境的地形信息，并根据环境地形信息，以六足机器人当前的所在位置为起点，设置一个终点，规划运动轨迹，并传递给六足机器人；
S2.六足机器人通过安装在机体上的RGB摄像头获取机体周围的环境照片，记为D1，以及通过六足机器人机体上装有的传感器获取机体当前的状态信息，包括线速度、角速度、六足机器人在三维空间中的姿态表示四元数、还有每个腿部关节自由度的角度，记为D2；
S3.六足机器人通过预先训练过的基于行动-评价架构的深度神经网络对机体周围的复杂地形环境照片和六足机器人自身当前的状态信息进行数据融合、降维和特征的提取；
S4. 六足机器人根据数据融合、降维和特征提取的结果得出六足机器人的运动控制策略，然后在整体运动轨迹的基础上，根据控制策略来控制六足机器人每条腿上每个正常工作的关节驱动机构来完成关节的自由度运动，从而实现六足机器人即使一两个关节自由度出现问题的情况下，也能完成复杂地形环境的自适应运动。
本实施例中，如图2所示，所述基于行动-评价架构的深度神经网络包括神经网络actor和神经网络critic，神经网络actor用于制定六足机器人的运动控制策略，输出六足机器人每个关节的运动控制信号；神经网络critic用于对神经网络actor输出的运动控制信号进行评价，并进行反馈，从而让神经网络actor不断调整运动控制策略，达到六足机器人自适应复杂环境运动控制。
本实施例中，如图3所示，所述神经网络actor包括两个输入层Lin1和Lin2，还有若干的卷积层，若干的池化层，一层全连接层和一层输出层；其中，两个输入层Lin1的输入是复杂地形环境信息，然后经过卷积层和池化层的图像特征提取和生存，进入全连接层；输入层Lin2的输入是机器人自身的状态信息，然后到达全连接层；全连接层和输出层组合构成一个深层网络，最终输出机器人运动控制信号。
本实施例中，如图4所示，神经网络critic包括一个输入层Lin3，两个全连接层，一个输出层；其中输入层Lin3的输入信息包括机器人当前自身状态信息以及神经网络actor输出的运动控制信号，经过全连接层后，输出反馈信号。
步骤S3中，要预先训练基于行动-评价(Actor-Critic)架构的深度神经网络，训练的具体步骤如下：
首先在动力学仿真平台上实现复杂地形环境，并且加入六足机器人模型，然后通过六足机器人获取复杂地形环境信息和自身的状态信息，存入缓存池中，供神经网络获取训练。
本发明实现了多actor神经网络和多critic神经网络结合的模型，如图5所示，多个actor网络同时去从缓存池中去获取训练数据，然后经过critic网络评价后，输出最好的运动控制策略，这样做加快了训练使得网络收敛的更快。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法，其特征在于：包括以下步骤：
S1.由四轴飞行器通过俯视摄像头获取复杂环境的地形信息，并根据环境地形信息，以六足机器人当前的所在位置为起点，设置一个终点，规划运动轨迹，并传递给六足机器人；
S2.六足机器人通过安装在机体上的RGB摄像头获取机体周围的环境照片，记为D1，以及通过六足机器人机体上装有的传感器获取机体当前的状态信息，包括线速度、角速度、六足机器人在三维空间中的姿态表示四元数、还有每个腿部关节自由度的角度，记为D2；
S3.六足机器人通过预先训练过的基于行动-评价架构的深度神经网络对机体周围的复杂地形环境照片和六足机器人自身当前的状态信息进行数据融合、降维和特征的提取；
S4. 六足机器人根据数据融合、降维和特征提取的结果得出六足机器人的运动控制策略，然后在整体运动轨迹的基础上，根据控制策略来控制六足机器人每条腿上每个正常工作的关节驱动机构来完成关节的自由度运动，从而实现六足机器人即使一两个关节自由度出现问题的情况下，也能完成复杂地形环境的自适应运动。
2.根据权利要求1所述的基于深度强化学习的六足机器人复杂地形自适应运动控制方法，其特征在于：所述基于行动-评价架构的深度神经网络包括神经网络actor和神经网络critic，神经网络actor用于制定六足机器人的运动控制策略，输出六足机器人每个关节的运动控制信号；神经网络critic用于对神经网络actor输出的运动控制信号进行评价，并进行反馈，从而让神经网络actor不断调整运动控制策略，达到六足机器人自适应复杂环境运动控制。
3.根据权利要求2所述的基于深度强化学习的六足机器人复杂地形自适应运动控制方法，其特征在于：所述神经网络actor包括两个输入层Lin1和Lin2，还有若干的卷积层，若干的池化层，一层全连接层和一层输出层；其中，两个输入层Lin1的输入是复杂地形环境信息，然后经过卷积层和池化层的图像特征提取和生存，进入全连接层；输入层Lin2的输入是机器人自身的状态信息，然后到达全连接层；全连接层和输出层组合构成一个深层网络，最终输出机器人运动控制信号。
4.根据权利要求2所述的基于深度强化学习的六足机器人复杂地形自适应运动控制方法，其特征在于：神经网络critic包括一个输入层Lin3，两个全连接层，一个输出层；其中输入层Lin3的输入信息包括机器人当前自身状态信息以及神经网络actor输出的运动控制信号，经过全连接层后，输出反馈信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810226656.3A CN108536011A (zh) | 2018-03-19 | 2018-03-19 | 一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810226656.3A CN108536011A (zh) | 2018-03-19 | 2018-03-19 | 一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108536011A true CN108536011A (zh) | 2018-09-14 |
Family
ID=63484935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810226656.3A Pending CN108536011A (zh) | 2018-03-19 | 2018-03-19 | 一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108536011A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109483530A (zh) * | 2018-10-18 | 2019-03-19 | 北京控制工程研究所 | 一种基于深度强化学习的足式机器人运动控制方法及系统 |
| CN109934332A (zh) * | 2018-12-31 | 2019-06-25 | 中国科学院软件研究所 | 基于评论家和双经验池的深度确定性策略梯度学习方法 |
| CN110909762A (zh) * | 2019-10-15 | 2020-03-24 | 北京航空航天大学 | 基于多传感器融合的机器人姿态识别方法及装置 |
| CN111045443A (zh) * | 2018-10-11 | 2020-04-21 | 北京航空航天大学 | 移动控制方法、装置、设备及存储介质 |
| CN111487864A (zh) * | 2020-05-14 | 2020-08-04 | 山东师范大学 | 一种基于深度强化学习的机器人路径导航方法及系统 |
| WO2021056591A1 (zh) * | 2019-09-29 | 2021-04-01 | 西门子股份公司 | 用于控制多轴运动机器的方法、装置和存储介质 |
| CN112596534A (zh) * | 2020-12-04 | 2021-04-02 | 杭州未名信科科技有限公司 | 基于深度强化学习的四足机器人的步态训练方法、装置、电子设备及介质 |
| CN112904859A (zh) * | 2021-01-20 | 2021-06-04 | 北京理工大学 | 一种基于强化学习的多足机器人步态切换方法 |
| CN112947428A (zh) * | 2021-02-02 | 2021-06-11 | 广东工业大学 | 一种四足机器人的移动控制方法及装置 |
| CN113696179A (zh) * | 2021-08-27 | 2021-11-26 | 上海大学 | 基于深度学习的轮式平台复杂地形自适应优化方法及系统 |
| CN113741448A (zh) * | 2021-08-30 | 2021-12-03 | 苏州同元软控信息技术有限公司 | 火星车的全自动控制方法及装置 |
| WO2021248825A1 (en) * | 2020-06-12 | 2021-12-16 | Huawei Technologies Co., Ltd. | Systems and methods for learning reusable options to transfer knowledge between tasks |
| CN116151359A (zh) * | 2022-11-29 | 2023-05-23 | 哈尔滨理工大学 | 一种基于深度神经网络的六足机器人驾驶员决策模型分层训练方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102637036A (zh) * | 2012-05-08 | 2012-08-15 | 北京理工大学 | 一种复合式仿生四足机器人控制器 |
| CN103786806A (zh) * | 2014-01-20 | 2014-05-14 | 北京航空航天大学 | 一种多功能腿轮复合机器人及其多运动模式智能切换方法 |
| CN106094516A (zh) * | 2016-06-08 | 2016-11-09 | 南京大学 | 一种基于深度强化学习的机器人自适应抓取方法 |
| US20170169313A1 (en) * | 2015-12-14 | 2017-06-15 | Samsung Electronics Co., Ltd. | Image processing apparatus and method based on deep learning and neural network learning |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN107450555A (zh) * | 2017-08-30 | 2017-12-08 | 唐开强 | 一种基于深度强化学习的六足机器人实时步态规划方法 |
-
2018
- 2018-03-19 CN CN201810226656.3A patent/CN108536011A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102637036A (zh) * | 2012-05-08 | 2012-08-15 | 北京理工大学 | 一种复合式仿生四足机器人控制器 |
| CN103786806A (zh) * | 2014-01-20 | 2014-05-14 | 北京航空航天大学 | 一种多功能腿轮复合机器人及其多运动模式智能切换方法 |
| US20170169313A1 (en) * | 2015-12-14 | 2017-06-15 | Samsung Electronics Co., Ltd. | Image processing apparatus and method based on deep learning and neural network learning |
| CN106094516A (zh) * | 2016-06-08 | 2016-11-09 | 南京大学 | 一种基于深度强化学习的机器人自适应抓取方法 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN107450555A (zh) * | 2017-08-30 | 2017-12-08 | 唐开强 | 一种基于深度强化学习的六足机器人实时步态规划方法 |
Non-Patent Citations (3)
| Title |
|---|
| YAGUANG ZHU等: "A study of arbitrary gait pattern generation for turning of a bio-inspired hexapod robot", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 * |
| 孔令文 等: "基于模糊神经网络的六足机器人自主导航闭环控制系统设计", 《机器人》 * |
| 朱雅光 等: "基于自适应－模糊控制的六足机器人单腿柔顺控制", 《浙江大学学报（工学版）》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11161609B2 (en) | 2018-10-11 | 2021-11-02 | Beihang University | Multi-UAV continuous movement control method, apparatus, device, and storage medium for energy efficient communication coverage |
| CN111045443A (zh) * | 2018-10-11 | 2020-04-21 | 北京航空航天大学 | 移动控制方法、装置、设备及存储介质 |
| CN111045443B (zh) * | 2018-10-11 | 2021-07-02 | 北京航空航天大学 | 无人机通信网络移动控制方法、装置、设备及存储介质 |
| CN109483530A (zh) * | 2018-10-18 | 2019-03-19 | 北京控制工程研究所 | 一种基于深度强化学习的足式机器人运动控制方法及系统 |
| CN109934332A (zh) * | 2018-12-31 | 2019-06-25 | 中国科学院软件研究所 | 基于评论家和双经验池的深度确定性策略梯度学习方法 |
| WO2021056591A1 (zh) * | 2019-09-29 | 2021-04-01 | 西门子股份公司 | 用于控制多轴运动机器的方法、装置和存储介质 |
| CN110909762B (zh) * | 2019-10-15 | 2022-10-04 | 北京航空航天大学 | 基于多传感器融合的机器人姿态识别方法及装置 |
| CN110909762A (zh) * | 2019-10-15 | 2020-03-24 | 北京航空航天大学 | 基于多传感器融合的机器人姿态识别方法及装置 |
| CN111487864A (zh) * | 2020-05-14 | 2020-08-04 | 山东师范大学 | 一种基于深度强化学习的机器人路径导航方法及系统 |
| WO2021248825A1 (en) * | 2020-06-12 | 2021-12-16 | Huawei Technologies Co., Ltd. | Systems and methods for learning reusable options to transfer knowledge between tasks |
| US11511413B2 (en) | 2020-06-12 | 2022-11-29 | Huawei Technologies Co. Ltd. | Systems and methods for learning reusable options to transfer knowledge between tasks |
| CN112596534A (zh) * | 2020-12-04 | 2021-04-02 | 杭州未名信科科技有限公司 | 基于深度强化学习的四足机器人的步态训练方法、装置、电子设备及介质 |
| CN112904859B (zh) * | 2021-01-20 | 2022-05-10 | 北京理工大学 | 一种基于强化学习的多足机器人步态切换方法 |
| CN112904859A (zh) * | 2021-01-20 | 2021-06-04 | 北京理工大学 | 一种基于强化学习的多足机器人步态切换方法 |
| CN112947428A (zh) * | 2021-02-02 | 2021-06-11 | 广东工业大学 | 一种四足机器人的移动控制方法及装置 |
| CN112947428B (zh) * | 2021-02-02 | 2023-12-22 | 广东工业大学 | 一种四足机器人的移动控制方法及装置 |
| CN113696179A (zh) * | 2021-08-27 | 2021-11-26 | 上海大学 | 基于深度学习的轮式平台复杂地形自适应优化方法及系统 |
| CN113696179B (zh) * | 2021-08-27 | 2024-01-19 | 上海大学 | 基于深度学习的轮式平台复杂地形自适应优化方法及系统 |
| CN113741448A (zh) * | 2021-08-30 | 2021-12-03 | 苏州同元软控信息技术有限公司 | 火星车的全自动控制方法及装置 |
| CN113741448B (zh) * | 2021-08-30 | 2024-06-18 | 苏州同元软控信息技术有限公司 | 火星车的全自动控制方法及装置 |
| CN116151359A (zh) * | 2022-11-29 | 2023-05-23 | 哈尔滨理工大学 | 一种基于深度神经网络的六足机器人驾驶员决策模型分层训练方法 |
| CN116151359B (zh) * | 2022-11-29 | 2023-09-29 | 哈尔滨理工大学 | 一种基于深度神经网络的六足机器人驾驶员决策模型分层训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108536011A (zh) | 一种基于深度强化学习的六足机器人复杂地形自适应运动控制方法 | |
| US8583286B2 (en) | Hybrid control device | |
| Asada et al. | RoboCup: Today and tomorrow—What we have learned | |
| Coleman | A stability study of a three-dimensional passive-dynamic model of human gait | |
| Hoch et al. | Where infants go: Real‐time dynamics of locomotor exploration in crawling and walking infants | |
| Ossmy et al. | Variety wins: Soccer-playing robots and infant walking | |
| Floreano et al. | From wheels to wings with evolutionary spiking circuits | |
| JP2006082150A (ja) | ロボット装置及びその行動制御方法 | |
| Nakajima | Evaluation of the mobility performance of a personal mobility vehicle for steps | |
| Kashyap et al. | Multi-objective trajectory planning of humanoid robot using hybrid controller for multi-target problem in complex terrain | |
| Min et al. | Group escape behavior of multiple mobile robot system by mimicking fish schools | |
| Calderon et al. | A Robot soccer team as a strategy to develop educational iniciatives | |
| Behnke et al. | Playing soccer with RoboSapien | |
| Aylett et al. | Living with robots: What every anxious human needs to know | |
| Kortenkamp et al. | The 1996 AAAI mobile robot competition and exhibition | |
| Eckmiller | Neural nets for sensor and motor trajectories | |
| Fujita et al. | Vision, Strategy, and Localization Using the Sony Robots at RoboCup-98 | |
| Marshall et al. | Collision Design | |
| Lund | AI in children’s play with LEGO robots | |
| Sakhinethi et al. | Design, fabrication & control of modified shrala robot for campaigning in indian election: Shrala–social humanoid robot based on autonomous learning algorithm | |
| Gupta et al. | Futuristic humanoid robots: An overview | |
| Gu et al. | How Can AI and Robots Go Hand in Hand? | |
| Stankevich | Intellectual robots in Russia: experience of development and RoboCup participation | |
| Kuriyama et al. | Learning Interaction Rules through Compression of Sensori-Motor Causality Space. | |
| Behnke | Playing Soccer with Humanoid Robots. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180914 |