CN111829528B - 仿生滑翔机器海豚的实时路径规划方法及系统 - Google Patents

仿生滑翔机器海豚的实时路径规划方法及系统 Download PDF

Info

Publication number
CN111829528B
CN111829528B CN202010731231.5A CN202010731231A CN111829528B CN 111829528 B CN111829528 B CN 111829528B CN 202010731231 A CN202010731231 A CN 202010731231A CN 111829528 B CN111829528 B CN 111829528B
Authority
CN
China
Prior art keywords
dolphin
bionic gliding
gliding
path planning
bionic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010731231.5A
Other languages
English (en)
Other versions
CN111829528A (zh
Inventor
喻俊志
吴正兴
王健
孟岩
谭民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010731231.5A priority Critical patent/CN111829528B/zh
Publication of CN111829528A publication Critical patent/CN111829528A/zh
Application granted granted Critical
Publication of CN111829528B publication Critical patent/CN111829528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
    • B63C11/00—Equipment for dwelling or working underwater; Means for searching for underwater objects
    • B63C11/52—Tools specially adapted for working underwater, not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种仿生滑翔机器海豚的实时路径规划方法及系统，所述路径规划方法包括：基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作，从而可实现对仿生滑翔机器海豚的实时路径的有效规划。

Description

仿生滑翔机器海豚的实时路径规划方法及系统
技术领域
本发明涉及水下机器人规划技术领域，特别涉及一种仿生滑翔机器海豚的实时路径规划方法及系统。
背景技术
近年来，水下仿生机器人在海上巡游、搜救、探索等任务方面起着愈加重要的作用，引起了许多科研人员的广泛关注。仿生机器人凭借其优越的机动性和高速性，成功实现了前后滚翻、连续跃水等高难度杂技动作，但随之而来的是巨大的能量消耗。因此，通过借鉴水下滑翔器的浮力调节机制，科研人员研制了仿生滑翔机器海豚，使其兼具滑翔运动和仿海豚波动运动，从而同时获得高机动与强续航的能力，极大扩展了实际应用的领域和范围。
而路径规划问题一直以来都是水下机器人的研究热点，其目标是规划出从初始点到目标点的一条最优路径，并且充分考虑路径长度、安全性和光滑性，对水下机器人的自主作业意义重大。近年来，路径规划的环境适应性问题越来越受到研究者的关注，其主要分为传统规划方法和智能规划方法。其中，传统规划方法主要依靠全局地图信息获取障碍位置，提前规划路径。因此该方法往往对应静态且障碍位置已知的环境，难以满足实时性要求。智能规划方法通过学习规划策略，对路径进行优化，从而提高环境适应性。但既往研究的环境大多较为简单且静态，不适用于实际应用。
发明内容
为了解决现有技术中的上述问题，即为了能够根据动态变化环境规划路径，本发明的目的在于提供一种仿生滑翔机器海豚的实时路径规划方法及系统。
为解决上述技术问题，本发明提供了如下方案：
一种仿生滑翔机器海豚的实时路径规划方法，包括：
基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
可选地，所述路径规划方法还包括：
根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，建立多目标优化函数；
根据所述多目标优化函数，修正所述路径规划网络。
可选地，根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，建立多目标优化函数，具体包括：
根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，确定所述仿生滑翔机器海豚在水下当前的状态量；
所述状态量包括：
仿生滑翔机器海豚的当前位置与障碍物之间的距离dobs；当仿生滑翔机器海豚在设定阈值范围内没有探测到障碍物时，则dobs为常数；当探测到多个障碍物时，dobs为仿生滑翔机器海豚的当前位置与各障碍物之间的最小距离；
仿生滑翔机器海豚当前位置与距离最近障碍物之间的方位夹角
Figure GDA0003345796820000031
仿生滑翔机器海豚当前位置与目标点之间的方位夹角
Figure GDA0003345796820000032
第一布尔值Bwall；当仿生滑翔机器海豚在规划过程中碰到墙壁，Bwall为1，反之为0；
第二布尔值Bgoal；当仿生滑翔机器海豚到达目标点时，Bgoal为1，反之为0；
根据以下公式，确定所述多目标优化函数R：
Figure GDA0003345796820000033
其中，ri表示子奖励项，ωi表示各项奖励的权重正常数，i＝1,2,3,4,5,6；
(1)r1＝-dg/dmax；其中，dg表示仿生滑翔机器海豚当前位置与目标点之间的距离，dmax表示模拟地图的最大距离；
(2)r2＝-f(dobs)；其中，f(x)为势场函数：
Figure GDA0003345796820000034
a表示仿生滑翔机器海豚与障碍物的距离阈值，x表示未知变量；
(3)
Figure GDA0003345796820000035
(4)
Figure GDA0003345796820000036
其中
Figure GDA0003345796820000037
表示相邻两步的方位角差值，g(x)为分段函数：
Figure GDA0003345796820000038
(5)r5＝-Cwall/ω5；如果仿生滑翔机器海豚越过地图的边界，则Cwall为正常数，否则为0；
(6)r6＝-Cgoal/ω6；如果仿生滑翔机器海豚到达目标点，则Cgoal为正常数，否则为0。
可选地，dmax为模拟地图的对角距离。
可选地，所述路径规划方法还包括：
根据所述当前状态量、动作量及路径规划网络，确定最小化损失函数；
通过迭代最小化损失函数，更新状态量。
可选地，根据以下公式确定最小化损失函数L(θj)：
Figure GDA0003345796820000041
其中，sj表示状态量，θj表示价值网络的参数，aj表示动作量，j表示目标趋近阶段TAS或障碍避碰阶段OAS，Qj(sj,aj；θj)为行为值函数，E(·)表示求期望，γ表示折扣因子，s′j表示下一步状态，a′j表示下一步动作，θ′j表示目标网络的参数。
可选地，根据以下公式，确定前进步长l：
Figure GDA0003345796820000042
其中，
Figure GDA0003345796820000043
表示仿生滑翔机器海豚运动方向，r表示转向半径。
为解决上述技术问题，本发明还提供了如下方案：
一种仿生滑翔机器海豚的实时路径规划系统，包括：
第一确定单元，用于基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
建模单元，用于根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
计算单元，用于根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
第二确定单元，用于根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
为解决上述技术问题，本发明还提供了如下方案：
一种仿生滑翔机器海豚的实时路径规划系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
为解决上述技术问题，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
根据本发明的实施例，本发明公开了以下技术效果：
本发明首先确定多种转向模态及对应的最小转向半径，并实时根据仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，调整路径规划网络，所述路径规划网络包括趋近网络和避障网络，进而确定前进方向及前进步长，以控制仿生滑翔机器海豚的前进动作，从而可实现对仿生滑翔机器海豚的实时路径的有效规划。
附图说明
图1是本发明仿生滑翔机器海豚的实时路径规划方法的流程图；
图2是本发明仿生滑翔机器海豚的实时路径规划方法的一具体实施例流程图；
图3是本发明仿生滑翔机器海豚的实时路径规划系统的模块结构示意图。
符号说明：
第一确定单元—1，建模单元—2，计算单元—3，第二确定单元—4。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是提供一种仿生滑翔机器海豚的实时路径规划方法，首先确定多种转向模态及对应的最小转向半径，并实时根据仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，调整路径规划网络，所述路径规划网络包括趋近网络和避障网络，进而确定前进方向及前进步长，以控制仿生滑翔机器海豚的前进动作，从而可实现对仿生滑翔机器海豚的实时路径的有效规划。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明仿生滑翔机器海豚的实时路径规划方法包括：
步骤100：基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径。
步骤200：根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络。
步骤300：根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长。
步骤400：根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
其中，仿生滑翔机器海豚主要由腰尾装置和胸鳍装置构成，腰尾关节均由电机驱动，两侧胸鳍由舵机驱动。其中，腰尾装置的身体、尾鳍模式(body-caudal fin，BCF)主要用于提供推力，胸鳍装置的中间鳍、对鳍模式(median paired fin，MPF)则用来产生转向力矩。
在步骤100中，以右转向为例，构建四种基于BCF和MPF的转向模态(在本发明中，为了追求转向力矩最大化，设置固定角度为90°)：模态一，利用BCF模态产生前进推力，并保持一侧胸鳍为90°，以此产生转向力矩；模态二，保持尾鳍静止，利用单侧胸鳍实现MPF运动；模态三，在模态二的基础上使另一侧胸鳍保持偏置90°；模态四，首先将一侧胸鳍偏置180°，然后双侧胸鳍同时拍动以产生转向差动力矩。
将所述转向模态应用于仿生滑翔机器海豚，在实际水池中进行转向半径测试，确定模态四获取到最小转向半径，大约0.2米。
优选地，本发明仿生滑翔机器海豚的实时路径规划方法还包括：
S1：根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，建立多目标优化函数。
具体包括：
S11：根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，确定所述仿生滑翔机器海豚在水下当前的状态量。
其中，所述状态量包括：
仿生滑翔机器海豚的当前位置与障碍物之间的距离dobs；当仿生滑翔机器海豚在设定阈值范围内没有探测到障碍物时，则dobs为常数；当探测到多个障碍物时，dobs为仿生滑翔机器海豚的当前位置与各障碍物之间的最小距离；
仿生滑翔机器海豚当前位置与距离最近障碍物之间的方位夹角
Figure GDA0003345796820000091
主要用于让仿生滑翔机器海豚选择最佳避障方向，进一步缩短避障距离；
仿生滑翔机器海豚当前位置与目标点之间的方位夹角
Figure GDA0003345796820000092
主要有两个功能：一方面，通过调整前进方向，引导仿生滑翔机器海豚到达目标点；另一方面，通过不断优化
Figure GDA0003345796820000093
的变化率，保证路径的平滑；
第一布尔值Bwall；当仿生滑翔机器海豚在规划过程中碰到墙壁，Bwall为1，反之为0；
第二布尔值Bgoal；当仿生滑翔机器海豚到达目标点时，Bgoal为1，反之为0；
S12：根据以下公式，确定所述多目标优化函数R：
Figure GDA0003345796820000094
其中，ri表示子奖励项，ωi表示各项奖励的权重正常数，i＝1,2,3,4,5,6；
(1)r1＝-dg/dmax；其中，dg表示仿生滑翔机器海豚当前位置与目标点之间的距离，dmax表示模拟地图的最大距离；在本实施例中，dmax为模拟地图的对角距离；
(2)r2＝-f(dobs)；其中，f(x)为势场函数：
Figure GDA0003345796820000101
a表示仿生滑翔机器海豚与障碍物的距离阈值，x表示未知变量；
(3)
Figure GDA0003345796820000102
(4)
Figure GDA0003345796820000103
其中
Figure GDA0003345796820000104
表示相邻两步的方位角差值，g(x)为分段函数：
Figure GDA0003345796820000105
(5)r5＝-Cwall/ω5；如果仿生滑翔机器海豚越过地图的边界，则Cwall为正常数，否则为0；
(6)r6＝-Cgoal/ω6；如果仿生滑翔机器海豚到达目标点，则Cgoal为正常数，否则为0。
S2：根据所述多目标优化函数，修正所述路径规划网络。
进一步地，本发明仿生滑翔机器海豚的实时路径规划方法还包括：
根据所述当前状态量、动作量及路径规划网络，确定最小化损失函数；
通过迭代最小化损失函数，更新状态量。
其中，根据以下公式确定最小化损失函数L(θj)：
Figure GDA0003345796820000106
其中，sj表示状态量，θj表示价值网络的参数，aj表示动作量，j表示目标趋近阶段TAS或障碍避碰阶段OAS，Qj(sj,aj；θj)为行为值函数，E(·)表示求期望，γ表示折扣因子，s′j表示下一步状态，a′j表示下一步动作，θ′j表示目标网络的参数。
针对路径规划问题，本发明提出一种离散动作空间法，即朝某一方向移动一个步长为l的距离，其中方向角的范围为±30°，方向角步长为2°。所述方向角步长越小，动作空间越大，路径平滑度越好，但网络训练难度也越大，越难收敛。
本发明利用多边形来近似圆，然后运用余弦定理可以得到前进步长l、仿生滑翔机器海豚运动方向
Figure GDA0003345796820000113
以及转向半径r之间的关系如下：
Figure GDA0003345796820000111
当l取最小值，
Figure GDA0003345796820000112
取最大值时，转向半径r可以得到最小值。
本发明仿生滑翔机器海豚的实时路径规划方法首先设计滑翔海豚的多种平面转向模态，并基于此求取滑翔海豚的运动学约束条件(即最小转向半径)。然后，将路径规划问题转化为一个多目标优化问题，并基于此设计状态量、动作量、多目标优化函数以及分层网络结构。最后，通过运用分层深度强化学习算法，设计目标趋近阶段和障碍避碰阶段并分别规划，从而得到兼具平滑性与安全性的平面路径。
此外，本发明还提供一种仿生滑翔机器海豚的实时路径规划系统，能够根据动态变化环境规划路径。
如图3所示，本发明仿生滑翔机器海豚的实时路径规划系统包括第一确定单元1、建模单元2、计算单元3及第二确定单元4。
具体地，所述第一确定单元1用于基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
所述建模单元2用于根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
所述计算单元3用于根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
所述第二确定单元4用于根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
此外，本发明还提供了一种仿生滑翔机器海豚的实时路径规划系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
进一步地，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作。
相对于现有技术，本发明仿生滑翔机器海豚的实时路径规划系统、计算机可读存储介质与上述仿生滑翔机器海豚的实时路径规划方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种仿生滑翔机器海豚的实时路径规划方法，其特征在于，所述路径规划方法包括：
基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作；
所述路径规划方法还包括：
根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，确定所述仿生滑翔机器海豚在水下当前的状态量；
所述状态量包括：
仿生滑翔机器海豚的当前位置与障碍物之间的距离dobs；当仿生滑翔机器海豚在设定阈值范围内没有探测到障碍物时，则dobs为常数；当探测到多个障碍物时，dobs为仿生滑翔机器海豚的当前位置与各障碍物之间的最小距离；
仿生滑翔机器海豚当前位置与距离最近障碍物之间的方位夹角
Figure FDA0003345796810000011
仿生滑翔机器海豚当前位置与目标点之间的方位夹角
Figure FDA0003345796810000012
第一布尔值Bwall；当仿生滑翔机器海豚在规划过程中碰到墙壁，Bwall为1，反之为0；
第二布尔值Bgoal；当仿生滑翔机器海豚到达目标点时，Bgoal为1，反之为0；
根据以下公式，建立多目标优化函数R：
Figure FDA0003345796810000021
其中，ri表示子奖励项，ωi表示各项奖励的权重正常数，i＝1，2，3，4，5，6；
(1)r1＝-dg/dmax；其中，dg表示仿生滑翔机器海豚当前位置与目标点之间的距离，dmax表示模拟地图的最大距离；
(2)r2＝-f(dobs)；其中，f(x)为势场函数：
Figure FDA0003345796810000022
a表示仿生滑翔机器海豚与障碍物的距离阈值，x表示未知变量；
(3)
Figure FDA0003345796810000023
(4)
Figure FDA0003345796810000024
其中
Figure FDA0003345796810000025
表示相邻两步的方位角差值，g(x)为分段函数：
Figure FDA0003345796810000026
(5)r5＝-Cwall/ω5；如果仿生滑翔机器海豚越过地图的边界，则Cwall为正常数，否则为0；
(6)r6＝-Cgoal/ω6；如果仿生滑翔机器海豚到达目标点，则Cgoal为正常数，否则为0；
根据所述多目标优化函数，修正所述路径规划网络。
2.根据权利要求1所述的仿生滑翔机器海豚的实时路径规划方法，其特征在于，所述路径规划方法还包括：
根据所述当前的状态量、动作量及路径规划网络，确定最小化损失函数；
通过迭代最小化损失函数，更新状态量。
3.根据权利要求2所述的仿生滑翔机器海豚的实时路径规划方法，其特征在于，根据以下公式确定最小化损失函数Lj(θj)：
Lj(θj)＝E((yj-Qj(sj，aj；θj))2)
Figure FDA0003345796810000031
其中，sj表示状态量，θj表示价值网络的参数，aj表示动作量，j表示目标趋近阶段TAS或障碍避碰阶段OAS，Qj(sj，aj；θj)为行为值函数，E(·)表示求期望，γ表示折扣因子，s′j表示下一步状态，a′j表示下一步动作，θ′j表示目标网络的参数。
4.根据权利要求1-3中任一项所述的仿生滑翔机器海豚的实时路径规划方法，其特征在于，根据以下公式，确定前进步长l：
Figure FDA0003345796810000032
其中，
Figure FDA0003345796810000033
表示仿生滑翔机器海豚运动方向，r表示转向半径。
5.一种仿生滑翔机器海豚的实时路径规划系统，其特征在于，所述路径规划系统包括：
第一确定单元，用于基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
建模单元，用于根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
计算单元，用于根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
第二确定单元，用于根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作；
其中，所述路径规划网络，其修正方法为：
根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，确定所述仿生滑翔机器海豚在水下当前的状态量；
所述状态量包括：
仿生滑翔机器海豚的当前位置与障碍物之间的距离dobs；当仿生滑翔机器海豚在设定阈值范围内没有探测到障碍物时，则dobs为常数；当探测到多个障碍物时，dobs为仿生滑翔机器海豚的当前位置与各障碍物之间的最小距离；
仿生滑翔机器海豚当前位置与距离最近障碍物之间的方位夹角
Figure FDA0003345796810000041
仿生滑翔机器海豚当前位置与目标点之间的方位夹角
Figure FDA0003345796810000042
第一布尔值Bwall；当仿生滑翔机器海豚在规划过程中碰到墙壁，Bwall为1，反之为0；
第二布尔值Bgoal；当仿生滑翔机器海豚到达目标点时，Bgoal为1，反之为0；
根据以下公式，建立多目标优化函数R：
Figure FDA0003345796810000043
其中，ri表示子奖励项，ωi表示各项奖励的权重正常数，i＝1，2，3，4，5，6；
(1)r1＝-dg/dmax；其中，dg表示仿生滑翔机器海豚当前位置与目标点之间的距离，dmax表示模拟地图的最大距离；
(2)r2＝-f(dobs)；其中，f(x)为势场函数：
Figure FDA0003345796810000044
a表示仿生滑翔机器海豚与障碍物的距离阈值，x表示未知变量；
(3)
Figure FDA0003345796810000045
(4)
Figure FDA0003345796810000046
其中
Figure FDA0003345796810000047
表示相邻两步的方位角差值，g(x)为分段函数：
Figure FDA0003345796810000051
(5)r5＝-Cwall/ω5；如果仿生滑翔机器海豚越过地图的边界，则Cwall为正常数，否则为0；
(6)r6＝-Cgoal/ω6；如果仿生滑翔机器海豚到达目标点，则Cgoal为正常数，否则为0；
根据所述多目标优化函数，修正所述路径规划网络。
6.一种仿生滑翔机器海豚的实时路径规划系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作；
其中，所述路径规划网络，其修正方法为：
根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，确定所述仿生滑翔机器海豚在水下当前的状态量；
所述状态量包括：
仿生滑翔机器海豚的当前位置与障碍物之间的距离dobs；当仿生滑翔机器海豚在设定阈值范围内没有探测到障碍物时，则dobs为常数；当探测到多个障碍物时，dobs为仿生滑翔机器海豚的当前位置与各障碍物之间的最小距离；
仿生滑翔机器海豚当前位置与距离最近障碍物之间的方位夹角
Figure FDA0003345796810000061
仿生滑翔机器海豚当前位置与目标点之间的方位夹角
Figure FDA0003345796810000062
第一布尔值Bwall；当仿生滑翔机器海豚在规划过程中碰到墙壁，Bwall为1，反之为0；
第二布尔值Bgoal；当仿生滑翔机器海豚到达目标点时，Bgoal为1，反之为0；
根据以下公式，建立多目标优化函数R：
Figure FDA0003345796810000063
其中，ri表示子奖励项，ωi表示各项奖励的权重正常数，i＝1，2，3，4，5，6；
(1)r1＝-dg/dmax；其中，dg表示仿生滑翔机器海豚当前位置与目标点之间的距离，dmax表示模拟地图的最大距离；
(2)r2＝-f(dobs)；其中，f(x)为势场函数：
Figure FDA0003345796810000064
a表示仿生滑翔机器海豚与障碍物的距离阈值，x表示未知变量；
(3)
Figure FDA0003345796810000065
(4)
Figure FDA0003345796810000066
其中
Figure FDA0003345796810000067
表示相邻两步的方位角差值，g(x)为分段函数：
Figure FDA0003345796810000068
(5)r5＝-Cwall/ω5；如果仿生滑翔机器海豚越过地图的边界，则Cwall为正常数，否则为0；
(6)r6＝-Cgoal/ω6；如果仿生滑翔机器海豚到达目标点，则Cgoal为正常数，否则为0；
根据所述多目标优化函数，修正所述路径规划网络。
7.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
基于仿生滑翔机器海豚的尾鳍模式和对鳍模式，确定多种转向模态及对应的最小转向半径；
根据所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，得到路径规划网络，所述路径规划网络包括趋近网络和避障网络；
根据所述最小转向半径、所述仿生滑翔机器海豚在水下的当前位置、目标点及障碍位置，确定所述仿生滑翔机器海豚的动作量，所述动作量包括前进方向及前进步长；
根据所述动作量及路径规划网络，确定所述仿生滑翔机器海豚的当前动作；
其中，所述路径规划网络，其修正方法为：
根据所述仿生滑翔机器海豚在水下的当前位置、目标点、障碍位置及模拟地图，确定所述仿生滑翔机器海豚在水下当前的状态量；
所述状态量包括：
仿生滑翔机器海豚的当前位置与障碍物之间的距离dobs；当仿生滑翔机器海豚在设定阈值范围内没有探测到障碍物时，则dobs为常数；当探测到多个障碍物时，dobs为仿生滑翔机器海豚的当前位置与各障碍物之间的最小距离；
仿生滑翔机器海豚当前位置与距离最近障碍物之间的方位夹角
Figure FDA0003345796810000071
仿生滑翔机器海豚当前位置与目标点之间的方位夹角
Figure FDA0003345796810000081
第一布尔值Bwall；当仿生滑翔机器海豚在规划过程中碰到墙壁，Bwall为1，反之为0；
第二布尔值Bgoal；当仿生滑翔机器海豚到达目标点时，Bgoal为1，反之为0；
根据以下公式，建立多目标优化函数R：
Figure FDA0003345796810000082
其中，ri表示子奖励项，ωi表示各项奖励的权重正常数，i＝1，2，3，4，5，6；
(1)r1＝-dg/dmax；其中，dg表示仿生滑翔机器海豚当前位置与目标点之间的距离，dmax表示模拟地图的最大距离；
(2)r2＝-f(dobs)；其中，f(x)为势场函数：
Figure FDA0003345796810000083
a表示仿生滑翔机器海豚与障碍物的距离阈值，x表示未知变量；
(3)
Figure FDA0003345796810000084
(4)
Figure FDA0003345796810000085
其中
Figure FDA0003345796810000086
表示相邻两步的方位角差值，g(x)为分段函数：
Figure FDA0003345796810000087
(5)r5＝-Cwall/ω5；如果仿生滑翔机器海豚越过地图的边界，则Cwall为正常数，否则为0；
(6)r6＝-Cgoal/ω6；如果仿生滑翔机器海豚到达目标点，则Cgoal为正常数，否则为0；
根据所述多目标优化函数，修正所述路径规划网络。
CN202010731231.5A 2020-07-27 2020-07-27 仿生滑翔机器海豚的实时路径规划方法及系统 Active CN111829528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010731231.5A CN111829528B (zh) 2020-07-27 2020-07-27 仿生滑翔机器海豚的实时路径规划方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010731231.5A CN111829528B (zh) 2020-07-27 2020-07-27 仿生滑翔机器海豚的实时路径规划方法及系统

Publications (2)

Publication Number Publication Date
CN111829528A CN111829528A (zh) 2020-10-27
CN111829528B true CN111829528B (zh) 2022-02-08

Family

ID=72925630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010731231.5A Active CN111829528B (zh) 2020-07-27 2020-07-27 仿生滑翔机器海豚的实时路径规划方法及系统

Country Status (1)

Country Link
CN (1) CN111829528B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114851184B (zh) * 2021-01-20 2023-05-09 广东技术师范大学 一种面向工业机器人的强化学习奖励值计算方法
CN113970887B (zh) * 2021-11-22 2023-11-14 大连海事大学 一种基于能耗最优的多水下滑翔机路径规划系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059700A (zh) * 2007-03-23 2007-10-24 北京大学 一种水下仿生机器人协作运输方法
WO2013103994A2 (en) * 2012-01-08 2013-07-11 Oppenheimer Steven Charles System and method for item self-assessment as being extant or displaced
WO2015125014A2 (en) * 2014-02-19 2015-08-27 Cgg Services Sa Method and autonomous underwater vehicle able to maintain a planned arrangement
CN105589464A (zh) * 2016-03-28 2016-05-18 哈尔滨工程大学 一种基于速度障碍法的uuv动态避障方法
CN106708068A (zh) * 2017-01-19 2017-05-24 中国科学院自动化研究所 仿生波动鳍推进水下航行器路径跟踪控制方法
WO2017095539A1 (en) * 2015-11-30 2017-06-08 Raytheon Company Navigation system for autonomous underwater vehicle based on coherence map
KR20170071440A (ko) * 2015-12-15 2017-06-23 성균관대학교산학협력단 파라미터 적응형 백스테핑 제어 auv 시스템
CN108931243A (zh) * 2018-04-17 2018-12-04 哈尔滨工程大学 一种复杂海洋环境影响下基于能耗和采样量多目标优化的uuv路径规划方法
CN109470249A (zh) * 2018-11-07 2019-03-15 河海大学 一种水下航行器的最优路径规划与避障设计方法
CN109540151A (zh) * 2018-03-25 2019-03-29 哈尔滨工程大学 一种基于强化学习的auv三维路径规划方法
CN110006434A (zh) * 2019-04-23 2019-07-12 河海大学常州校区 温跃层海域中基于蚁群算法避障的水下滑翔机路径规划方法
CN110262555A (zh) * 2019-07-12 2019-09-20 南京航空航天大学 连续障碍环境下无人机实时避障控制方法
CN111152904A (zh) * 2020-01-06 2020-05-15 张尚丽 一种多级驱动仿生水下机器人驱动系统及驱动方法
CN111290435A (zh) * 2020-03-12 2020-06-16 国家深海基地管理中心 一种波浪滑翔器的路径规划方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271132B2 (en) * 2008-03-13 2012-09-18 Battelle Energy Alliance, Llc System and method for seamless task-directed autonomy for robots
US9864098B2 (en) * 2013-09-30 2018-01-09 Exxonmobil Upstream Research Company Method and system of interactive drill center and well planning evaluation and optimization
JP6761216B2 (ja) * 2015-12-09 2020-09-23 国立研究開発法人 海上・港湾・航空技術研究所 水中航走体の経路設定方法、それを用いた水中航走体の最適制御方法及び水中航走体並びに移動体の経路設定方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059700A (zh) * 2007-03-23 2007-10-24 北京大学 一种水下仿生机器人协作运输方法
WO2013103994A2 (en) * 2012-01-08 2013-07-11 Oppenheimer Steven Charles System and method for item self-assessment as being extant or displaced
WO2015125014A2 (en) * 2014-02-19 2015-08-27 Cgg Services Sa Method and autonomous underwater vehicle able to maintain a planned arrangement
WO2017095539A1 (en) * 2015-11-30 2017-06-08 Raytheon Company Navigation system for autonomous underwater vehicle based on coherence map
KR20170071440A (ko) * 2015-12-15 2017-06-23 성균관대학교산학협력단 파라미터 적응형 백스테핑 제어 auv 시스템
CN105589464A (zh) * 2016-03-28 2016-05-18 哈尔滨工程大学 一种基于速度障碍法的uuv动态避障方法
CN106708068A (zh) * 2017-01-19 2017-05-24 中国科学院自动化研究所 仿生波动鳍推进水下航行器路径跟踪控制方法
CN109540151A (zh) * 2018-03-25 2019-03-29 哈尔滨工程大学 一种基于强化学习的auv三维路径规划方法
CN108931243A (zh) * 2018-04-17 2018-12-04 哈尔滨工程大学 一种复杂海洋环境影响下基于能耗和采样量多目标优化的uuv路径规划方法
CN109470249A (zh) * 2018-11-07 2019-03-15 河海大学 一种水下航行器的最优路径规划与避障设计方法
CN110006434A (zh) * 2019-04-23 2019-07-12 河海大学常州校区 温跃层海域中基于蚁群算法避障的水下滑翔机路径规划方法
CN110262555A (zh) * 2019-07-12 2019-09-20 南京航空航天大学 连续障碍环境下无人机实时避障控制方法
CN111152904A (zh) * 2020-01-06 2020-05-15 张尚丽 一种多级驱动仿生水下机器人驱动系统及驱动方法
CN111290435A (zh) * 2020-03-12 2020-06-16 国家深海基地管理中心 一种波浪滑翔器的路径规划方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"Autonomous soft robotic ish capable of escape maneuvers using fluidic elastomer actuators";A. D. Marchese等;《Soft Robot》;20141231;第1卷(第1期);75-87 *
3-D Path Planning With Multiple Motions for a Gliding Robotic Dolphin;Jian Wang等;《IEEE Transactions on Systems, Man, and Cybernetics: Systems》;20191231;1-12 *
A Paradigm for Path Following Control of a Ribbon-Fin Propelled Biomimetic Underwater Vehicle;Rui Wang 等;《IEEE TRANSACTIONS ON SYSTEMS MAN AND CYBERNETICS: SYSTEMS》;20190605;第49卷(第3期);482-493 *
An energy-efficient data collection protocol with AUV path planning in the Internet of Underwater Things;Khan, Muhammad Toaha Raza等;《Journal of Network & Computer Applications》;20191231;第35卷;20-31 *
一种具有三自由度鳍肢的机器海豚的机构设计与实现;危常明等;《Proceedings of the 30th Chinese Control Conference》;20110724;4078-4082 *
仿生游动控制方法与应用;喻俊志;《2015年中国自动化大会摘要集中国自动化学会会议论文集》;20151231;全文 *
基于传感探测系统的多自治水下机器人编队协调控制;庞师坤等;《上海交通大学学报》;20190531;第53卷(第5期);549-555 *

Also Published As

Publication number Publication date
CN111829528A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN110989576B (zh) 速差滑移转向车辆的目标跟随及动态障碍物避障控制方法
CN111829528B (zh) 仿生滑翔机器海豚的实时路径规划方法及系统
Wang et al. 3-D path planning with multiple motions for a gliding robotic dolphin
Song et al. Guidance and control of autonomous surface underwater vehicles for target tracking in ocean environment by deep reinforcement learning
He et al. A novel model predictive artificial potential field based ship motion planning method considering COLREGs for complex encounter scenarios
CN114077256A (zh) 一种水上无人船路径规划方法
Zhang et al. A multi-objective path planning method for the wave glider in the complex marine environment
Yan et al. Real-world learning control for autonomous exploration of a biomimetic robotic shark
Zhang et al. A hybrid path planning algorithm considering AUV dynamic constraints based on improved A* algorithm and APF algorithm
Ma et al. Path planning of UUV based on HQPSO algorithm with considering the navigation error
Wang et al. Obstacle avoidance for environmentally-driven USVs based on deep reinforcement learning in large-scale uncertain environments
Zhao et al. A hybrid A* path planning algorithm based on multi-objective constraints
Song et al. Surface path tracking method of autonomous surface underwater vehicle based on deep reinforcement learning
Su et al. A constrained locking sweeping method and velocity obstacle based path planning algorithm for unmanned surface vehicles in complex maritime traffic scenarios
Sebastian et al. Neural network based heterogeneous sensor fusion for robot motion planning
CN113093804A (zh) 基于反演滑模控制的无人艇编队控制方法和控制系统
Howlett et al. Learning real-time A* path planner for unmanned air vehicle target sensing
CN114943168B (zh) 一种水上浮桥组合方法及系统
Song et al. Search and tracking strategy of autonomous surface underwater vehicle in oceanic eddies based on deep reinforcement learning
CN110989350A (zh) 一种基于膜计算实现井下移动机器人位姿优化方法及装置
CN114609925B (zh) 水下探索策略模型的训练方法及仿生机器鱼水下探索方法
Zhang et al. A new hybrid path planning method for the sailboat architecture wave glider in the wind field environment
Zhang et al. Residual Reinforcement Learning for Motion Control of a Bionic Exploration Robot—RoboDact
Wang et al. Target-following control of a biomimetic autonomous system based on predictive reinforcement learning
Cui et al. Intelligent Ship Decision System Based on DDPG Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant