CN107562052A - 一种基于深度强化学习的六足机器人步态规划方法 - Google Patents

一种基于深度强化学习的六足机器人步态规划方法 Download PDF

Info

Publication number
CN107562052A
CN107562052A CN201710762331.2A CN201710762331A CN107562052A CN 107562052 A CN107562052 A CN 107562052A CN 201710762331 A CN201710762331 A CN 201710762331A CN 107562052 A CN107562052 A CN 107562052A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
mtr
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710762331.2A
Other languages
English (en)
Other versions
CN107562052B (zh
Inventor
唐开强
留沧海
孙建
洪俊
刘佳生
侯跃南
艾攀华
潘东旭
钱勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710762331.2A priority Critical patent/CN107562052B/zh
Publication of CN107562052A publication Critical patent/CN107562052A/zh
Application granted granted Critical
Publication of CN107562052B publication Critical patent/CN107562052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于深度强化学习的六足机器人步态规划方法，步骤包括：获取环境信息、进行环境建模、落脚点筛选、制定上层运动策略、下层执行策略以及机器人运动驱动六个步骤。该六足机器人步态规划方法让六足机器人利用深度学习和强化学习算法，能够在走由环境抽象而来的梅花桩迷宫问题中求解最优路径，并且能够根据最优路径选择合适的落脚点，从而实现在非结构环境的高效行走。

Description

一种基于深度强化学习的六足机器人步态规划方法
技术领域
本发明涉及一种机器人步态规划方法，尤其是一种基于深度强化学习的六足机器人步态 规划方法。
背景技术
六足机器人在结构上具有多冗余自由度，因而具有较高的地形环境适应能力。六足机器 人能够在路况复杂的野外行走、越障，完成轮式或履带式所不能完成的非结构性环境中的运 输作业，在森林采伐、矿山开采、水下建筑、核工业、军事运输及探测、星球探测等领域有 着非常广阔的应用前景。因此，六足机器人的相关研究一直备受各国专家学者的关注，但是 如何提高六足机器人在非结构环境下的移动能力仍然是个悬而未决的课题。
发明内容
本发明要解决的技术问题是六足机器人传统预先编程的方法，无法实现步态规划的非结 构环境这一情况。
为了解决上述技术问题，本发明提供了一种基于深度强化学习的六足机器人步态规划方 法，包括如下步骤：
步骤1，获取环境信息，由六足机器人通过卫星地图、摄像头获取环境路况信息；
步骤2，进行环境建模，通过细化等面积分割离散的方式对获取的环境路况信息进行离 散化处理，将环境路况信息转变为各个分散独立的落脚点；
步骤3，落脚点筛选，根据六足机器人自身参数以及运动参数对各个分散独立的落脚点 进行筛选，获得满足六足机器人运动要求的落脚点，即相邻落脚点之间需满足距离和高度差 的约束条件；
步骤4，制定上层运动策略，对满足六足机器人运动要求的各个落脚点进行分析，用深 度学习基于图像信息提取落脚点选出满足六足机器人运动步态的落脚点选出满足六足机器人 运动步态的落脚点，六足机器人的运动步态包括三足步态、四足步态以及五足步态，在六足 机器人不同运动步态的受约束条件下，通过强化学习完成六足机器人落脚点的选取确定以及 质心运动路径规划；
步骤5，下层执行策略，由六足机器人前部的摄像头获取目标落脚点图像，再根据目标 落脚点图像利用双目测距方法计算出目标落脚点的位置信息，利用坐标变换算法建立六足机 器人每个关节自由度坐标系与六足机器人机身坐标系的对应关系，计算出在目标落脚点的位 置信息以及质心运动路径规划条件下的六足机器人各个关节的运动方案；
步骤6，机器人运动驱动，根据六足机器人各个关节的运动方案驱动各个关节运动，实 现六足机器人步态运动。
作为本发明的进一步限定方案，步骤3中，六足机器人自身参数包括机器人臀、大腿以 及小腿的长度，运动参数包括每个关节的自由度。
作为本发明的进一步限定方案，步骤5中，利用双目测距方法计算出目标落脚点的位置 信息的具体步骤为：
步骤5.1，获取摄像头的焦距f、左右两个摄像头的中心距Tx以及目标落脚点在左右两个 摄像头的像平面的投影点到各自像平面最左侧的物理距离xl和xr，左右两个摄像头对应的 左侧的像平面和右侧的像平面均为矩形平面，且位于同一成像平面上，左右两个摄像头的光 心投影分别位于相应像平面的中心处，即Ol、Or在成像平面的投影点，则视差d为：
d＝xl-xr (1)
步骤5.2，利用三角形相似原理建立Q矩阵为：
式(2)和(3)中，(X,Y,Z)为目标落脚点在以左摄像头光心为原点的立体坐标系中的 坐标，W为旋转平移变换比例系数，(x,y)为目标落脚点在左侧的像平面中的坐标，cx和cy分 别为左侧的像平面和右侧的像平面的坐标系与立体坐标系中原点的偏移量，cx'为cx的修正 值；
步骤5.3，计算得到目标落脚点到成像平面的空间距离为：
将左摄像头的光心所在位置作为机器人所在位置，将(X,Y,Z)作为目标落脚点的位置信 息。
作为本发明的进一步限定方案，步骤5中，计算出在目标落脚点的位置信息以及质心运 动路径规划条件下的六足机器人各个关节的运动方案的具体方法为：
足端轨迹规划：建立六足机器人各个关节的简化模型，假设在直线步行时机体质心做匀 速运动，以足端初始位置为坐标原点进行足端轨迹规划，建立了坐标系D0-XYZ，该坐标系 是以足端抬腿初始点D0为原点且随着机身运动而平移的坐标系，足端轨迹用足端在坐标系 D0-XYZ中的坐标x(t)、y(t)以及z(t)来表示；
根关节转角计算：根据获得的已知机器人足端轨迹，利用逆运动学求解根关节的目标转 角，将臀和机体投影到地面，将坐标系D0-XYZ转换成以根关节A为坐标原点的坐标系 A-X1Y1Z1，设D0在A-X1Y1Z1中的坐标为(xD,yD,zD)，则足端轨迹表示为：
则根关节转角α1为：
髋关节转角计算：以根关节A为坐标原点，Y2轴垂直于腿平面ABCDt，建立坐标系 A-X2Y2Z2，B表示髋关节，C表示膝关节，Dt为运动过程中足端的位置，则足端轨迹表示为：
由上式可知：
由余弦定理可得：
其中，LAB、LBC和LCDt为已知量，则髋关节转角α2为：
将式(8)和式(9)中lADt和lBDt的表达式代入式(12)即可求出α2的表达式；
膝关节转角计算：以髋关节B为原点，Y3轴垂直于腿平面ABCDt，建立坐标系B-X3Y3Z3， 则足端轨迹表示为：
在ΔBCDt中，LBC和LCDt已知量，由余弦定理得膝关节转角α3为：
将式(9)的lBDt表达式代入式(14)即可求出α3的表达式。
本发明的有益效果在于：(1)通过卫星地图和机器视觉结合的方式，有效的完成了大环 境地图的构建和机器人附近局部地图的感知，有利于机器人进行步态规划和行走，使机器人 能够在整体上做到质心轨迹最优路径规划，在局部上做到落脚点的精确落足；(2)将复杂的 地形环境通过细化等面积分割离散的方式，将复杂环境地形转变成类似于梅花桩一样分散独 立的落脚点，减小了地形复杂程度对机器人步态规划的影响；(3)根据六足机器人自身参数 和运动参数筛选出满足六足机器人运动步态的落脚点，为强化学习等人工智能算法的应用降 低了难度；(4)基于机器学习的控制方法通过机器人不断与环境交互，逐渐积累经验，来提 高机器人的性能，以此来完善六足机器人在崎岖地形自主步行策略，增强六足机器人在非结 构环境下移动能力，其存在以下优点：首先，通过机器人的学习可以调整运动模型中某些难 以确定的参数；其次，机器人的某些动作基本无法通过手动调节来实现，但可以通过制定相 应的学习规则来实现；最后，通过不断的学习和积累知识，机器人也能够对没有经过训练的 场景做出正确的反应；(5)将底层关节运动与上层制定运动规划策略进行结合，完善了机器 人的运动系统。
附图说明
图1为本发明的方法流程图；
图2为本发明的细化等面积分割地形环境离散化示意图；
图3为本发明的落脚点类似梅花桩分散分布示意图；
图4为本发明的单腿的足端摆动仿真示意图；
图5为本发明的筛选出满足六足机器人运动步态的落脚点示意图；
图6为本发明的落脚点选取和质心运动规划示意图；
图7为本发明的机身简化模型的立体示意图；
图8为本发明的机身简化模型的俯视示意图；
图9为本发明的根关节处坐标系示意图；
图10为本发明的髋关节处坐标系示意图；
图11为本发明的膝关节处坐标系示意图。
具体实施方式
如图1所示，本发明公开的基于深度强化学习的六足机器人步态规划方法，包括获取环 境信息、完成环境建模、筛选合适落脚点、制定运动策略、执行运动策略以及开始行走等步 骤，具体为：
步骤1，获取环境信息，由六足机器人通过卫星地图、摄像头获取环境路况信息；
步骤2，进行环境建模，通过细化等面积分割离散的方式对获取的环境路况信息进行离 散化处理，分割图像如图2所示，将环境路况信息转变为类似于梅花桩一样的各个分散独立 的落脚点，具体如图3所示；
步骤3，落脚点筛选，根据六足机器人自身参数以及运动参数对各个分散独立的落脚点 进行筛选，去掉不满足的梅花桩，获得满足六足机器人运动要求的落脚点，即相邻落脚点之 间需满足距离和高度差的约束条件，筛选后的效果如图5所示；
步骤4，制定上层运动策略，对满足六足机器人运动要求的各个落脚点进行分析，用深 度学习基于图像信息提取落脚点选出满足六足机器人运动步态的落脚点选出满足六足机器人 运动步态的落脚点，六足机器人的运动步态包括三足步态、四足步态以及五足步态，在六足 机器人不同运动步态的受约束条件下，通过强化学习完成六足机器人落脚点的选取确定以及 质心运动路径规划；
步骤5，下层执行策略，由六足机器人前部的摄像头获取目标落脚点图像，再根据目标 落脚点图像利用双目测距方法计算出目标落脚点的位置信息，利用坐标变换算法建立六足机 器人每个关节自由度坐标系与六足机器人机身坐标系的对应关系，计算出在目标落脚点的位 置信息以及质心运动路径规划条件下的六足机器人各个关节的运动方案；
步骤6，机器人运动驱动，根据六足机器人各个关节的运动方案驱动各个关节运动，实 现六足机器人步态运动。
其中，步骤3中，六足机器人自身参数包括机器人臀、大腿以及小腿的长度，运动参数 包括每个关节的自由度，根据机器人臀、大腿、小腿等的长度和每个关节的自由度，计算出 单腿的足端摆动的范围，此过程可以通过Adams软件仿真来完成，仿真效果图4所示。
进一步地，步骤4中，制定上层运动策略，根据步骤3筛选出来的落脚点，通过用深度 学习基于图像信息与六足机器人的三种运动步态：三足步态、四足步态、五足步态进行对比 分析，得出契合落脚点的运动步态，六足机器人的运动策略，在六足机器人不同运动步态受 约束下，通过强化学习完成六足机器人落脚点的选取以及质心运动路径规划；
六足机器人路径规划和落脚点选取的过程符合强化学习且满足马尔科夫性质的条件，对 于离散的问题，Q-learning算法假设六足机器人的状态集S和动作集A可以被分成离散的值。 在一个确定的时间步t，六足机器人观察到自身系统的状态st，然后选择一个动作at；在执行 动作at之后，六足机器人获得一个回报值rt+1，这个回报值反映了在短期看来执行的动作at的好坏程度；在执行动作at之后，系统由状态st转移到状态st+1；然后系统会根据所知道的最 好的知识来选择动作at+1。
Q-learning的目标是学习一个策略π:S×Ui∈SA(i)→[0,1]，使得从每个状态获取的折扣 后的期望回报值之和最大化：
其中，Pss' a＝Pr{st+1＝s'|st＝s,at＝a}是执行动作a后状态由s转移到s’的概率，Pπ(s',a')是 在策略π的前提在状态s’时选择动作a’的概率，r(s,a)＝E{rt+1|st＝s,at＝a}是期望的单步回报 值，Q(s,a)是状态动作对(s,a)的值函数。at是学习步长，Q-learning的单步更新规则可以描述 为：
最优值函数Q*(s,a)满足贝尔曼方程：
获取Q*(s,a)后，最优策略即为：
强化学习是一种通过与环境的交互来学习最优策略的机器学习方法。试错式的搜索和延 时回报值是强化学习最为关键的两个特性。为了获取较大的回报值，六足机器人在强化学习 过程中需要倾向于选择过去尝试过的能够带来很大回报值的动作；但是为了发现新的策略， 六足机器人就必须选择过去没有尝试过的动作。六足机器人需要利用它所知道的信息以获取 回报值，但是同时也需要探索新的空间使得未来能做出更优的动作选择。学习后的落脚点选 取和质心运动规划示意图如图6所示。
进一步地，步骤5中，利用双目测距方法计算出目标落脚点的位置信息的具体步骤为：
步骤5.1，获取摄像头的焦距f、左右两个摄像头的中心距Tx以及目标落脚点在左右两个 摄像头的像平面的投影点到各自像平面最左侧的物理距离xl和xr，左右两个摄像头对应的 左侧的像平面和右侧的像平面均为矩形平面，且位于同一成像平面上，左右两个摄像头的光 心投影分别位于相应像平面的中心处，即Ol、Or在成像平面的投影点，则视差d为：
d＝xl-xr (1)
步骤5.2，利用三角形相似原理建立Q矩阵为：
式(2)和(3)中，(X,Y,Z)为目标落脚点在以左摄像头光心为原点的立体坐标系中的 坐标，W为旋转平移变换比例系数，(x,y)为目标落脚点在左侧的像平面中的坐标，cx和cy分 别为左侧的像平面和右侧的像平面的坐标系与立体坐标系中原点的偏移量，cx'为cx的修正 值，两者数值一般相差不大，为方便起见在本申请中认为两者近似相等；
步骤5.3，计算得到目标落脚点到成像平面的空间距离为：
将左摄像头的光心所在位置作为机器人所在位置，将(X,Y,Z)作为目标落脚点的位置信 息。
进一步地，步骤5中，计算出在目标落脚点的位置信息以及质心运动路径规划条件下的 六足机器人各个关节的运动方案的具体方法为：
足端轨迹规划：建立如图6和7所示的六足机器人各个关节的简化模型，图中A点为4 号腿的根关节，D0为4号腿开始抬腿时的足端点，D1为足端落下点。假设在直线步行时机体质心做匀速运动，以足端初始位置为坐标原点进行足端轨迹规划，建立了坐标系D0-XYZ，该坐标系是以足端抬腿初始点D0为原点且随着机身运动而平移的坐标系，足端轨迹用足端在 坐标系D0-XYZ中的坐标x(t)、y(t)以及z(t)来表示；
根关节转角计算：如图9所示，根据获得的已知机器人足端轨迹，利用逆运动学求解根 关节的目标转角，将臀和机体投影到地面，AA1代表机体，A为根关节，A1为水平油缸与机 身连接的铰点，A1b代表水平油缸，b为水平油缸和臀连接的铰点，ADt代表腿在地面的投影， Dt为运动过程中足端的位置，α1为根关节转角，将坐标系D0-XYZ转换成以根关节A为坐标 原点的坐标系A-X1Y1Z1，设D0在A-X1Y1Z1中的坐标为(xD,yD,zD)，则足端轨迹表示为：
则根关节转角α1为：
髋关节转角计算：如图10所示，以根关节A为坐标原点，Y2轴垂直于腿平面ABCDt，建立坐标系A-X2Y2Z2，B表示髋关节，C表示膝关节，Dt为运动过程中足端的位置，则足端 轨迹表示为：
由上式可知：
由余弦定理可得：
其中，LAB、LBC和LCDt为已知量，可直接测量机器人获得，为方便区分已知量和未知量， 已知量均以L表示，未知量以l表示，髋关节转角α2为：
将式(8)和式(9)中lADt和lBDt的表达式代入式(12)即可求出α2的表达式；
膝关节转角计算：如图11所示，以髋关节B为原点，Y3轴垂直于腿平面ABCDt，建立坐标系B-X3Y3Z3，则足端轨迹表示为：
在ΔBCDt中，LBC和LCDt已知量，由余弦定理得膝关节转角α3为：
将式(9)的lBDt表达式代入式(14)即可求出α3的表达式。
相比于传统的六足机器人步行运动采取固定的步态的方法，如三足步态、四足步态、波 动步态等，本申请将几种不同的步态根据参数的不同分别做成几组步态数据，当有不同需求 的时候调用。非结构路况复杂，传统预先编程的方法的无法实现，需要用机器学习的方法。 强化学习可以通过不断与环境交互，逐渐累积经验，获得最优策略。让六足机器人通过“学 习”，能够在迷宫走梅花桩问题中求解最优路径，并且能够根据最优路径选择合适的落脚点， 从而模拟实现在非结构环境的高效行走。机器学习帮助机器人主动适应一些新的环境，从而 避免研究人员为不同的场景编制程序。

Claims (4)

1.一种基于深度强化学习的六足机器人步态规划方法，其特征在于，包括如下步骤：
步骤1，获取环境信息，由六足机器人通过卫星地图、摄像头获取环境路况信息；
步骤2，进行环境建模，通过细化等面积分割离散的方式对获取的环境路况信息进行离散化处理，将环境路况信息转变为各个分散独立的落脚点；
步骤3，落脚点筛选，根据六足机器人自身参数以及运动参数对各个分散独立的落脚点进行筛选，获得满足六足机器人运动要求的落脚点，即相邻落脚点之间需满足距离和高度差的约束条件；
步骤4，制定上层运动策略，对满足六足机器人运动要求的各个落脚点进行分析，用深度学习基于图像信息提取落脚点选出满足六足机器人运动步态的落脚点，六足机器人的运动步态包括三足步态、四足步态以及五足步态，在六足机器人不同运动步态的受约束条件下，通过强化学习完成六足机器人落脚点的选取确定以及质心运动路径规划；
步骤5，下层执行策略，由六足机器人前部的摄像头获取目标落脚点图像，再根据目标落脚点图像利用双目测距方法计算出目标落脚点的位置信息，利用坐标变换算法建立六足机器人每个关节自由度坐标系与六足机器人机身坐标系的对应关系，计算出在目标落脚点的位置信息以及质心运动路径规划条件下的六足机器人各个关节的运动方案；
步骤6，机器人运动驱动，根据六足机器人各个关节的运动方案驱动各个关节运动，实现六足机器人步态运动。
2.根据权利要求1所述的基于深度强化学习的六足机器人步态规划方法，其特征在于，步骤3中，六足机器人自身参数包括机器人臀、大腿以及小腿的长度，运动参数包括每个关节的自由度。
3.根据权利要求1所述的基于深度强化学习的六足机器人步态规划方法，其特征在于，步骤5中，利用双目测距方法计算出目标落脚点的位置信息的具体步骤为：
步骤5.1，获取摄像头的焦距f、左右两个摄像头的中心距Tx以及目标落脚点在左右两个摄像头的像平面的投影点到各自像平面最左侧的物理距离xl和xr，左右两个摄像头对应的左侧的像平面和右侧的像平面均为矩形平面，且位于同一成像平面上，左右两个摄像头的光心投影分别位于相应像平面的中心处，即Ol、Or在成像平面的投影点，则视差d为：
d＝xl-xr (1)
步骤5.2，利用三角形相似原理建立Q矩阵为：
<mrow> <mi>Q</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>c</mi> <mi>x</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>c</mi> <mi>y</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mi>f</mi> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mfrac> <mn>1</mn> <msub> <mi>T</mi> <mi>x</mi> </msub> </mfrac> </mrow> </mtd> <mtd> <mfrac> <mrow> <msub> <mi>c</mi> <mi>x</mi> </msub> <mo>-</mo> <msup> <msub> <mi>c</mi> <mi>x</mi> </msub> <mo>&amp;prime;</mo> </msup> </mrow> <msub> <mi>T</mi> <mi>x</mi> </msub> </mfrac> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>Q</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>x</mi> </mtd> </mtr> <mtr> <mtd> <mi>y</mi> </mtd> </mtr> <mtr> <mtd> <mi>d</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>x</mi> <mo>-</mo> <msub> <mi>c</mi> <mi>x</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>y</mi> <mo>-</mo> <msub> <mi>c</mi> <mi>y</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mi>f</mi> </mtd> </mtr> <mtr> <mtd> <mfrac> <mrow> <mo>-</mo> <mi>d</mi> <mo>+</mo> <msub> <mi>c</mi> <mi>x</mi> </msub> <mo>-</mo> <msup> <msub> <mi>c</mi> <mi>x</mi> </msub> <mo>&amp;prime;</mo> </msup> </mrow> <msub> <mi>T</mi> <mi>x</mi> </msub> </mfrac> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> <mtr> <mtd> <mi>Z</mi> </mtd> </mtr> <mtr> <mtd> <mi>W</mi> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
式(2)和(3)中，(X,Y,Z)为目标落脚点在以左摄像头光心为原点的立体坐标系中的坐标，W为旋转平移变换比例系数，(x,y)为目标落脚点在左侧的像平面中的坐标，cx和cy分别为左侧的像平面和右侧的像平面的坐标系与立体坐标系中原点的偏移量，cx'为cx的修正值；
步骤5.3，计算得到目标落脚点到成像平面的空间距离为：
<mrow> <mi>Z</mi> <mo>=</mo> <mfrac> <mrow> <mo>-</mo> <msub> <mi>T</mi> <mi>x</mi> </msub> <mi>f</mi> </mrow> <mrow> <mi>d</mi> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>x</mi> </msub> <mo>-</mo> <msup> <msub> <mi>c</mi> <mi>x</mi> </msub> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
将左摄像头的光心所在位置作为机器人所在位置，将(X,Y,Z)作为目标落脚点的位置信息。
4.根据权利要求1所述的基于深度强化学习的六足机器人步态规划方法，其特征在于，步骤5中，计算出在目标落脚点的位置信息以及质心运动路径规划条件下的六足机器人各个关节的运动方案的具体方法为：
足端轨迹规划：建立六足机器人各个关节的简化模型，假设在直线步行时机体质心做匀速运动，以足端初始位置为坐标原点进行足端轨迹规划，建立了坐标系D0-XYZ，该坐标系是以足端抬腿初始点D0为原点且随着机身运动而平移的坐标系，足端轨迹用足端在坐标系D0-XYZ中的坐标x(t)、y(t)以及z(t)来表示；
根关节转角计算：根据获得的已知机器人足端轨迹，利用逆运动学求解根关节的目标转角，将臀和机体投影到地面，将坐标系D0-XYZ转换成以根关节A为坐标原点的坐标系A-X1Y1Z1，设D0在A-X1Y1Z1中的坐标为(xD,yD,zD)，则足端轨迹表示为：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>x</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>x</mi> <mi>D</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>y</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>y</mi> <mi>D</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>z</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>z</mi> <mi>D</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
则根关节转角α1为：
<mrow> <msub> <mi>&amp;alpha;</mi> <mn>1</mn> </msub> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>x</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>y</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>y</mi> <mi>D</mi> </msub> </mrow> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>y</mi> <mi>D</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mi>&amp;pi;</mi> <mn>2</mn> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
髋关节转角计算：以根关节A为坐标原点，Y2轴垂直于腿平面ABCDt，建立坐标系A-X2Y2Z2，B表示髋关节，C表示膝关节，Dt为运动过程中足端的位置，则足端轨迹表示为：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>x</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>y</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </msqrt> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>y</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>z</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>z</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>z</mi> <mi>D</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
由上式可知：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>l</mi> <mrow> <msub> <mi>AD</mi> <mi>t</mi> </msub> </mrow> </msub> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>x</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>z</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mrow> <mi>y</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>y</mi> <mi>D</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>z</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>z</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>l</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> </msub> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>-</mo> <msub> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msubsup> <mi>z</mi> <mn>2</mn> <mn>2</mn> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mrow> <mi>x</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>x</mi> <mi>D</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mrow> <mi>y</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>y</mi> <mi>D</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <msub> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>z</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>z</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
由余弦定理可得：
<mrow> <msub> <mi>&amp;alpha;</mi> <mn>21</mn> </msub> <mo>=</mo> <mi>arccos</mi> <mfrac> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>CD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>L</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> </msub> <msub> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;alpha;</mi> <mn>22</mn> </msub> <mo>=</mo> <mi>arccos</mi> <mfrac> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>AD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <msub> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中，LAB、LBC和LCDt为已知量，则髋关节转角α2为：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;alpha;</mi> <mn>2</mn> </msub> <mo>=</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mn>21</mn> </msub> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mn>22</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>-</mo> <mi>arccos</mi> <mfrac> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>CD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>L</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> </msub> <msub> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mi>arccos</mi> <mfrac> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>AD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <msub> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> </msub> </mrow> </mfrac> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
将式(8)和式(9)中lADt和lBDt的表达式代入式(12)即可求出α2的表达式；
膝关节转角计算：以髋关节B为原点，Y3轴垂直于腿平面ABCDt，建立坐标系B-X3Y3Z3，则足端轨迹表示为：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>x</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>(</mo> <mi>t</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>y</mi> <mi>D</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <msub> <mi>L</mi> <mrow> <mi>A</mi> <mi>B</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>z</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>z</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>z</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>z</mi> <mi>D</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
在ΔBCDt中，LBC和LCDt已知量，由余弦定理得膝关节转角α3为：
<mrow> <msub> <mi>&amp;alpha;</mi> <mn>3</mn> </msub> <mo>=</mo> <mi>arccos</mi> <mfrac> <mrow> <msubsup> <mi>L</mi> <mrow> <mi>D</mi> <mi>C</mi> </mrow> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>CD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> <mo>-</mo> <msubsup> <mi>L</mi> <mrow> <msub> <mi>BD</mi> <mi>t</mi> </msub> </mrow> <mn>2</mn> </msubsup> </mrow> <mrow> <mn>2</mn> <msub> <mi>L</mi> <mrow> <mi>B</mi> <mi>C</mi> </mrow> </msub> <msub> <mi>L</mi> <mrow> <msub> <mi>CD</mi> <mi>t</mi> </msub> </mrow> </msub> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
将式(9)的lBDt表达式代入式(14)即可求出α3的表达式。
CN201710762331.2A 2017-08-30 2017-08-30 一种基于深度强化学习的六足机器人步态规划方法 Active CN107562052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710762331.2A CN107562052B (zh) 2017-08-30 2017-08-30 一种基于深度强化学习的六足机器人步态规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710762331.2A CN107562052B (zh) 2017-08-30 2017-08-30 一种基于深度强化学习的六足机器人步态规划方法

Publications (2)

Publication Number Publication Date
CN107562052A true CN107562052A (zh) 2018-01-09
CN107562052B CN107562052B (zh) 2021-08-10

Family

ID=60977934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710762331.2A Active CN107562052B (zh) 2017-08-30 2017-08-30 一种基于深度强化学习的六足机器人步态规划方法

Country Status (1)

Country Link
CN (1) CN107562052B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255059A (zh) * 2018-01-19 2018-07-06 南京大学 一种基于模拟器训练的机器人控制方法
CN108333931A (zh) * 2018-01-25 2018-07-27 北京理工大学 一种面向崎岖地形的四足机器人双层结构步态规划方法
CN108387866A (zh) * 2018-01-16 2018-08-10 南京航空航天大学 一种基于强化学习的无人机查找非法广播电台方法
CN109116854A (zh) * 2018-09-16 2019-01-01 南京大学 一种基于强化学习的多组机器人协作控制方法及控制系统
CN109521771A (zh) * 2018-11-22 2019-03-26 西北工业大学 一种六足机器人运动控制算法
CN109807901A (zh) * 2019-03-30 2019-05-28 华南理工大学 一种六足机器人及其足端轨迹的规划方法
CN110307848A (zh) * 2019-07-04 2019-10-08 南京大学 一种移动机器人导航方法
CN111312362A (zh) * 2020-01-20 2020-06-19 深圳市丞辉威世智能科技有限公司 原地踏步训练方法、装置、终端及存储介质
CN111605642A (zh) * 2020-06-11 2020-09-01 哈尔滨工业大学 六足机器人的自由容错步态规划方法、装置及存储介质
CN111891249A (zh) * 2020-06-19 2020-11-06 浙江大学 一种液压六足机器人及基于质心起伏的行走步态控制方法
CN112051797A (zh) * 2020-09-07 2020-12-08 腾讯科技（深圳）有限公司 足式机器人运动控制方法、装置、设备及介质
CN112114589A (zh) * 2020-09-07 2020-12-22 腾讯科技（深圳）有限公司 足式机器人运动控制方法、装置、设备及介质
CN112650222A (zh) * 2020-12-10 2021-04-13 华南理工大学 一种多足机器人的跳跃步态规划方法
CN112792819A (zh) * 2021-02-04 2021-05-14 上海电气集团股份有限公司 爬行机器人及控制方法
CN112904859A (zh) * 2021-01-20 2021-06-04 北京理工大学 一种基于强化学习的多足机器人步态切换方法
CN112967337A (zh) * 2021-03-23 2021-06-15 乐聚(深圳)机器人技术有限公司 双足机器人控制方法、装置以及双足机器人
CN113110459A (zh) * 2021-04-20 2021-07-13 上海交通大学 一种多足机器人运动规划方法
CN113253727A (zh) * 2021-05-13 2021-08-13 乐聚(深圳)机器人技术有限公司 一种机器人的轨迹确定方法、装置、设备及存储介质
CN113917917A (zh) * 2021-09-24 2022-01-11 四川启睿克科技有限公司 室内仿生多足机器人避障方法、装置及计算机可读介质
CN114563954A (zh) * 2022-02-28 2022-05-31 山东大学 一种基于强化学习和位置增量的四足机器人运动控制方法
CN114609918A (zh) * 2022-05-12 2022-06-10 齐鲁工业大学 一种四足机器人运动控制方法、系统、存储介质及设备
CN115542913A (zh) * 2022-10-05 2022-12-30 哈尔滨理工大学 一种基于几何与物理特征地图的六足机器人容错自由步态规划方法
CN117067223A (zh) * 2023-10-16 2023-11-17 哈尔滨理工大学 一种基于运动稳定性估计的六足机器人自由步态规划方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028757A1 (ja) * 2002-09-26 2004-04-08 National Institute Of Advanced Industrial Science And Technology 歩行ロボットの歩行歩容生成装置
CN104192221A (zh) * 2014-09-26 2014-12-10 哈尔滨工业大学 一种电驱动六足机器人运动控制系统及方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004028757A1 (ja) * 2002-09-26 2004-04-08 National Institute Of Advanced Industrial Science And Technology 歩行ロボットの歩行歩容生成装置
CN104192221A (zh) * 2014-09-26 2014-12-10 哈尔滨工业大学 一种电驱动六足机器人运动控制系统及方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢晴勤: ""大型重载液压驱动六足机器人的步态控制研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
唐开强 等: ""约束条件下基于强化学习的六足机器人步态规划"", 《第18届中国系统仿真技术及其应用学术年会论文集》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108387866A (zh) * 2018-01-16 2018-08-10 南京航空航天大学 一种基于强化学习的无人机查找非法广播电台方法
CN108387866B (zh) * 2018-01-16 2021-08-31 南京航空航天大学 一种基于强化学习的无人机查找非法广播电台方法
CN108255059B (zh) * 2018-01-19 2021-03-19 南京大学 一种基于模拟器训练的机器人控制方法
CN108255059A (zh) * 2018-01-19 2018-07-06 南京大学 一种基于模拟器训练的机器人控制方法
CN108333931A (zh) * 2018-01-25 2018-07-27 北京理工大学 一种面向崎岖地形的四足机器人双层结构步态规划方法
CN108333931B (zh) * 2018-01-25 2020-10-02 北京理工大学 一种面向崎岖地形的四足机器人双层结构步态规划方法
CN109116854A (zh) * 2018-09-16 2019-01-01 南京大学 一种基于强化学习的多组机器人协作控制方法及控制系统
CN109521771A (zh) * 2018-11-22 2019-03-26 西北工业大学 一种六足机器人运动控制算法
CN109807901A (zh) * 2019-03-30 2019-05-28 华南理工大学 一种六足机器人及其足端轨迹的规划方法
CN110307848A (zh) * 2019-07-04 2019-10-08 南京大学 一种移动机器人导航方法
CN111312362A (zh) * 2020-01-20 2020-06-19 深圳市丞辉威世智能科技有限公司 原地踏步训练方法、装置、终端及存储介质
CN111312362B (zh) * 2020-01-20 2024-05-10 深圳市丞辉威世智能科技有限公司 原地踏步训练方法、装置、终端及存储介质
CN111605642B (zh) * 2020-06-11 2021-05-04 哈尔滨工业大学 六足机器人的自由容错步态规划方法、装置及存储介质
CN111605642A (zh) * 2020-06-11 2020-09-01 哈尔滨工业大学 六足机器人的自由容错步态规划方法、装置及存储介质
CN111891249A (zh) * 2020-06-19 2020-11-06 浙江大学 一种液压六足机器人及基于质心起伏的行走步态控制方法
WO2022048472A1 (zh) * 2020-09-07 2022-03-10 腾讯科技（深圳）有限公司 足式机器人运动控制方法、装置、设备及介质
CN112051797B (zh) * 2020-09-07 2023-12-26 腾讯科技（深圳）有限公司 足式机器人运动控制方法、装置、设备及介质
CN112114589B (zh) * 2020-09-07 2024-02-09 腾讯科技（深圳）有限公司 足式机器人运动控制方法、装置、设备及介质
EP4116782A4 (en) * 2020-09-07 2023-10-25 Tencent Technology (Shenzhen) Company Limited METHOD, APPARATUS AND DEVICE FOR CONTROLLING LEGGED ROBOT MOVEMENT, AND MEDIUM
CN112114589A (zh) * 2020-09-07 2020-12-22 腾讯科技（深圳）有限公司 足式机器人运动控制方法、装置、设备及介质
CN112051797A (zh) * 2020-09-07 2020-12-08 腾讯科技（深圳）有限公司 足式机器人运动控制方法、装置、设备及介质
CN112650222A (zh) * 2020-12-10 2021-04-13 华南理工大学 一种多足机器人的跳跃步态规划方法
CN112650222B (zh) * 2020-12-10 2022-04-22 华南理工大学 一种多足机器人的跳跃步态规划方法
CN112904859B (zh) * 2021-01-20 2022-05-10 北京理工大学 一种基于强化学习的多足机器人步态切换方法
CN112904859A (zh) * 2021-01-20 2021-06-04 北京理工大学 一种基于强化学习的多足机器人步态切换方法
CN112792819A (zh) * 2021-02-04 2021-05-14 上海电气集团股份有限公司 爬行机器人及控制方法
CN112967337B (zh) * 2021-03-23 2022-05-03 乐聚(深圳)机器人技术有限公司 双足机器人控制方法、装置以及双足机器人
CN112967337A (zh) * 2021-03-23 2021-06-15 乐聚(深圳)机器人技术有限公司 双足机器人控制方法、装置以及双足机器人
CN113110459A (zh) * 2021-04-20 2021-07-13 上海交通大学 一种多足机器人运动规划方法
CN113253727A (zh) * 2021-05-13 2021-08-13 乐聚(深圳)机器人技术有限公司 一种机器人的轨迹确定方法、装置、设备及存储介质
CN113253727B (zh) * 2021-05-13 2024-06-14 乐聚(深圳)机器人技术有限公司 一种机器人的轨迹确定方法、装置、设备及存储介质
CN113917917B (zh) * 2021-09-24 2023-09-15 四川启睿克科技有限公司 室内仿生多足机器人避障方法、装置及计算机可读介质
CN113917917A (zh) * 2021-09-24 2022-01-11 四川启睿克科技有限公司 室内仿生多足机器人避障方法、装置及计算机可读介质
WO2023159978A1 (zh) * 2022-02-28 2023-08-31 山东大学 一种基于强化学习和位置增量的四足机器人运动控制方法
CN114563954A (zh) * 2022-02-28 2022-05-31 山东大学 一种基于强化学习和位置增量的四足机器人运动控制方法
CN114609918A (zh) * 2022-05-12 2022-06-10 齐鲁工业大学 一种四足机器人运动控制方法、系统、存储介质及设备
CN115542913B (zh) * 2022-10-05 2023-09-12 哈尔滨理工大学 一种基于几何与物理特征地图的六足机器人容错自由步态规划方法
CN115542913A (zh) * 2022-10-05 2022-12-30 哈尔滨理工大学 一种基于几何与物理特征地图的六足机器人容错自由步态规划方法
CN117067223A (zh) * 2023-10-16 2023-11-17 哈尔滨理工大学 一种基于运动稳定性估计的六足机器人自由步态规划方法
CN117067223B (zh) * 2023-10-16 2024-01-05 哈尔滨理工大学 一种基于运动稳定性估计的六足机器人自由步态规划方法

Also Published As

Publication number Publication date
CN107562052B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN107562052A (zh) 一种基于深度强化学习的六足机器人步态规划方法
CN112666939B (zh) 一种基于深度强化学习的机器人路径规划算法
CN101619984B (zh) 一种基于颜色路标的移动机器人视觉导航方法
CN105666498B (zh) 提高六足机器人行走稳定性的步态规划方法
CN108333931A (zh) 一种面向崎岖地形的四足机器人双层结构步态规划方法
CN115100622A (zh) 深部受限空间无人运输设备可行驶域检测和自主避障方法
CN108089578A (zh) 一种用于双足步行机器人的步行运动规划方法
CN103786806A (zh) 一种多功能腿轮复合机器人及其多运动模式智能切换方法
CN107045552A (zh) 一种基于正弦对角步态与快速查表法的四足机器人运动控制方法及控制装置
CN109333534A (zh) 预规划的实时步态控制算法
CN103514622A (zh) 虚拟角色的步态自动适应地形的系统及方法
CN110109653A (zh) 一种陆战兵棋智能引擎及其运行方法
CN113641180B (zh) 一种基于变质心的机器人越障控制方法和系统
Zhang et al. A free gait generation method for quadruped robots over rough terrains containing forbidden areas
Yoo et al. Recent progress and development of the humanoid robot HanSaRam
CN107944476A (zh) 一种基于深度强化学习的黄桃挖核机器人行为控制方法
CN115877861A (zh) 一种基于分层互协策略的多足机器人步态与轨迹规划方法
Yao et al. Hierarchical terrain-aware control for quadrupedal locomotion by combining deep reinforcement learning and optimal control
Walas et al. Supporting locomotive functions of a six-legged walking robot
CN110310369B (zh) 一种受限约束下的月背复杂地形可通过性判别方法及系统
Wettergreen Robotic walking in natural terrain
Wang et al. Vision-based Terrain Perception of Quadruped Robots in Complex Environments
CN114995476B (zh) 一种步行机器人坡地崎岖地形的步态生成与姿态控制方法
Belter et al. On-Board Perception and Motion Planning for Legged Locomotion over Rough Terrain.
Adiyatov Path planning framework for unmanned ground vehicles on uneven terrain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant