CN116578102A - 水下自主航行器避障方法、装置、计算机设备和存储介质 - Google Patents
水下自主航行器避障方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116578102A CN116578102A CN202310856190.6A CN202310856190A CN116578102A CN 116578102 A CN116578102 A CN 116578102A CN 202310856190 A CN202310856190 A CN 202310856190A CN 116578102 A CN116578102 A CN 116578102A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- auv
- state space
- space vector
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 239000013598 vector Substances 0.000 claims abstract description 345
- 230000006870 function Effects 0.000 claims description 171
- 239000011159 matrix material Substances 0.000 claims description 74
- 238000005259 measurement Methods 0.000 claims description 59
- 238000001914 filtration Methods 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 description 60
- 230000009471 action Effects 0.000 description 28
- 238000012549 training Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 25
- 230000000694 effects Effects 0.000 description 14
- 239000003795 chemical substances by application Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000001968 nicotinic acid Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请涉及一种水下自主航行器避障方法、装置、计算机设备和存储介质。确定水下自主航行器AUV的当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量；利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略是根据预设策略和奖励函数确定的；根据第一动作向量，向目标区域移动，以执行AUV的避障任务。采用本方法能够提高AUV的避障能力。
Description
技术领域
本申请涉及海洋工程技术领域，特别是涉及一种水下自主航行器避障方法、装置、计算机设备和存储介质。
背景技术
水下自主航行器（Autonomous underwater vehicle，AUV）是开展海洋勘察与科学考察的重要设备，它凭借着机动性强、无人员伤亡风险、适应能力与生存能力高、制造与维护成本低等诸多优点，被广泛应用于多种水下任务中。由于海洋环境复杂多变，充满各种障碍物，在AUV的行进过程中，保证AUV不与障碍物发生碰撞十分重要。
传统技术中，通常采用路径搜索法、人工势场法或智能仿生学算法进行AUV的自主避障，但是，上述方法的避障能力较差。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高水下自主航行器的避障能力的水下自主航行器避障方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种水下自主航行器避障方法。该方法包括：
确定该水下自主航行器AUV的当前时刻的第一避障状态空间向量；该第一避障状态空间向量包括该AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及该AUV期望到达的目标区域的目标区域状态空间向量；
利用目标策略根据该第一避障状态空间向量，确定该AUV的当前时刻的第一动作向量；该目标策略是根据预设策略和奖励函数确定的；
根据该第一动作向量，向该目标区域移动，以执行该AUV的避障任务。
在其中一个实施例中，该确定该第一障碍物状态空间向量，包括：
若该障碍物处于AUV探测范围内，则根据当前时刻的该障碍物对应的第一量测信息、上一时刻的该障碍物的初始障碍物状态空间向量，确定该第一障碍物状态空间向量；
若该障碍物不处于AUV探测范围内，则根据上一时刻的该障碍物的初始障碍物状态空间向量，确定该第一障碍物状态空间向量。
在其中一个实施例中，该若该障碍物处于AUV探测范围内，则根据当前时刻的该障碍物对应的第一量测信息、上一时刻的该障碍物的初始障碍物状态空间向量，确定该第一障碍物状态空间向量，包括：
根据该初始障碍物状态空间向量对应的第一协方差矩阵和该障碍物对应的噪声，确定该障碍物对应的滤波增益；
基于该第一量测信息、该滤波增益和该初始障碍物状态空间向量，确定该第一障碍物状态空间向量。
在其中一个实施例中，该方法还包括：
利用该滤波增益更新该第一协方差矩阵，得到该第一障碍物状态空间向量对应的第二协方差矩阵，并返回执行根据该第二协方差矩阵和该障碍物对应的噪声，确定该障碍物对应的新滤波增益，并基于该当前时刻的该障碍物对应的第二量测信息、该新滤波增益和该第一障碍物状态空间向量，确定下一时刻该障碍物的障碍物状态空间向量的步骤。
在其中一个实施例中，该若该障碍物不处于AUV探测范围内，则根据上一时刻的该障碍物的初始障碍物状态空间向量，确定该第一障碍物状态空间向量，包括：
根据该初始障碍物状态空间向量对应的第一协方差矩阵和该障碍物对应的噪声，确定该障碍物对应的滤波增益；
基于该滤波增益和该初始障碍物状态空间向量，确定该第一障碍物状态空间向量。
在其中一个实施例中，该奖励函数包括到达奖励函数、碰撞惩罚函数、靠近目标奖励函数、靠近障碍物惩罚函数和脱离集群惩罚函数中至少一项；
该到达奖励函数用于表征该AUV与该目标区域的第一距离，与第一奖励值之间的关系的函数；
该碰撞惩罚函数用于表征该AUV与该障碍物或其他AUV的第二距离，与第一惩罚值之间的关系的函数；
该靠近目标奖励函数用于表征上一时刻的该AUV与该目标区域的距离与当前时刻的该AUV与该目标区域的距离的第一差值，与第二奖励值之间的关系的函数；
该靠近障碍物惩罚函数用于表征AUV与障碍物的距离与第一预设距离阈值的第二差值，与第二惩罚值之间的关系的函数；
该脱离集群惩罚函数用于表征该AUV与该其他AUV之间的距离与第二预设距离阈值的第三差值，与第三惩罚值之间的关系的函数。
在其中一个实施例中，该方法还包括：
根据该AUV与该目标区域的第一距离，利用该到达奖励函数确定该第一距离对应的第一奖励值；
根据该AUV与该障碍物的第二距离，利用该碰撞惩罚函数确定该第二距离对应的第一惩罚值；
根据该上一时刻的该AUV与该目标区域的距离与该当前时刻的该AUV与该目标区域的距离的第一差值，利用该靠近目标奖励函数确定该第一差值对应的第二奖励值；
根据该AUV与该障碍物的距离与第一预设距离阈值的第二差值，利用该靠近障碍物惩罚函数确定该第二差值对应的第二惩罚值；
根据该AUV与该其他AUV之间的距离与第二预设距离阈值的第三差值，利用该脱离集群惩罚函数确定该第三差值对应的第三惩罚值；
根据该第一避障状态空间向量、该第一奖励值、该第一惩罚值、该第二奖励值、该第二惩罚值和该第三惩罚值，确定AUV的当前时刻的第一动作向量。
第二方面，本申请还提供了一种水下自主航行器避障装置。该装置包括：
第一确定模块，用于确定该水下自主航行器AUV的当前时刻的第一避障状态空间向量；该第一避障状态空间向量包括该AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及该AUV期望到达的目标区域的目标区域状态空间向量；
第二确定模块，用于利用目标策略根据该第一避障状态空间向量，确定该AUV的下一时刻的第二动作向量；该目标策略是根据预设策略和奖励函数确定的；
执行模块，用于根据该第二动作向量，向该目标区域移动，以执行该AUV的避障任务。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以上方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以上方法的步骤。
上述水下自主航行器避障方法、装置、计算机设备和存储介质，确定水下自主航行器AUV的当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量；利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略是根据预设策略和奖励函数确定的；根据第一动作向量，向目标区域移动，以执行AUV的避障任务。传统技术中，通过在障碍物附近区域产生虚拟的斥力势场，对AUV产生斥力作用，以目标点为中心生成虚拟的引力势场，对AUV产生引力作用，通过计算合力控制AUV运动，避开环境中的障碍物最终抵达目标点，但是容易陷入局部最优，导致避障能力较差。而本申请实施例中，通过确定第一避障状态空间向量，并利用根据预设策略和奖励函数训练得到的目标策略确定第一动作向量，并根据第一动作向量向目标区域移动，以学习训练的方式为AUV提供了路径导航，执行AUV的避障任务，能够提高AUV的避障能力。
附图说明
图1为本申请实施例提供的一种水下自主航行器避障方法的流程示意图；
图2为本申请实施例提供的一种大地坐标系和随体坐标系的示例图；
图3为本申请实施例提供的一种MADDPG算法的示例图之一；
图4为本申请实施例提供的一种MADDPG算法的示例图之二；
图5为本申请实施例提供的一种第一障碍物状态空间向量确定方法的流程示意图之一；
图6为本申请实施例提供的一种第一障碍物状态空间向量确定方法的流程示意图之二；
图7为本申请实施例提供的一种第二障碍物状态空间向量确定方法的流程示意图；
图8为本申请实施例提供的一种水下自主航行器避障装置的结构框图；
图9为本申请实施例提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
传统技术中，通常利用传统路径搜索方法、基于人工势场的方法以及智能仿生学算法进行智能体的避障，例如进行水下自主航行器避障的避障。
传统路径搜索方法是基于已建立的环境模型，然后按照一定策略在所给的起点与终点之间搜索出最优路径的方法。其中最主流的算法包括快速步进方法等。其特点为过程简单，易于实现，但同时也存在着处理速度慢、可行性相对较差等问题。
基于人工势场的方法的思想是通过在障碍物附近区域产生虚拟的斥力势场，对AUV产生斥力作用，以目标点为中心生成虚拟的引力势场，对AUV产生引力作用，通过计算合力控制AUV运动，避开环境中的障碍物最终抵达目标点。人工势场法的优势在于方法简单、效率高，但也面临着容易陷入局部最优、目标不可达以及实时避障能力较弱等问题。
由于传统路径搜索算法存在着路径优化效果差、处理速度慢等问题。因此针对更加复杂的环境，采用智能仿生学路径搜索算法效率较高，其中，常用的算法包括蚁群优化算法、粒子群优化算法、遗传算法等，但智能算法也存在收敛速度慢，计算时间长以及易陷入局部最优等问题。
在传统避障方法中，上述问题的产生通常由于以下几个原因：
（1）对水下因素考虑不周全，由于AUV水下环境工作于水下环境中，因此需在环境建模时考虑水下环境的差异性，包括海流影响下的AUV动力学模型、水下定位问题、水下通信局限性、探测局限性等。（2）对障碍物的建模较简单，且多数算法只针对于静态障碍物，然而实际情况下，水下环境及其复杂，既有礁石等静态障碍物，也有鱼群、其它航行器等动态障碍物，因此AUV对动态障碍物的躲避同样是重要的问题。（3）存在中心化的情况：当前研究中，针对多AUV的编队避障算法多数基于领航者-跟随者编队控制算法，其中领航者AUV在算法中起到决定性的作用。由于AUV之间通过水声通讯传递信息，其稳定性不能得到保证，因此基于多AUV集群智能的避障算法不应过度依赖于其中的某一个AUV，而应该尽可能采用分布式的结构，以增加系统的鲁棒性。因此不适宜使用传统的领航者-跟随者方法进行编队控制避障。（4）AUV之间的协同性不足，针对多AUV 避障的问题，在多数算法中，每个AUV分别探测周围的环境，并根据自身探测结果选择避障策略。这些算法没有充分利用AUV之间信息交互的能力，使得AUV之间不能很好的相互配合协同避障，因此不能够最大化避障效率和避障效果。
综上，传统技术中的避障方法的避障能力较差。为解决水下自主航行器的避障能力较差的问题，本申请实施例提供了一种水下自主航行器避障方法。
在一个实施例中，提供了一种水下自主航行器避障方法，参考图1，图1为本申请实施例提供的一种水下自主航行器避障方法的流程示意图，该方法包括以下步骤：
S101、确定水下自主航行器AUV的当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量。
在本申请实施例中，第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量。第一障碍物状态空间向量可以是根据上一时刻的初始障碍物状态空间向量得到当前时刻的预测障碍物状态空间向量，再利用当前时刻的障碍物的量测信息对预测障碍物状态向量进行修正得到的。AUV期望到达的目标区域的目标区域状态空间向量根据实际情况进行人工设定，也可以利用AUV作为中心来标定。第一AUV状态空间向量可以根据上一时刻的AUV对应的动作向量、构建的在海流干扰下的AUV运动模型来确定。
具体地，为建立对海流干扰下的AUV运动模型，描述AUV运动状态，即获取当前时刻
的第一AUV状态空间向量，首先，需要建立合适的坐标系。其中，该第一AUV状态空间向量包
括AUV的位置信息和速度信息。依照国际水池会议（ITTC）给出的建议，建立两个笛卡尔直角
坐标系作为参考坐标系，参考图2，图2为本申请实施例提供的一种大地坐标系和随体坐标
系的示例图，分别为大地坐标系 E-XYZ和AUV随体坐标系O-XYZ。其中，大地坐标系的原点E
可以取地球表面任意一点，坐标轴指向北，指向东，垂直于地平面指向下。地球自
转与公转的影响可以被忽略，可近似认为大地坐标系E-XYZ为惯性系。随体坐标系随AUV一
同运动，其原点O选取AUV的重心，坐标轴平行于AUV纵向轴线，指向前方，平行于AUV横
向轴线，指向右侧，垂直于XOY平面指向AUV底部。
其次，建立海流干扰下的AUV二维平面运动模型。由于在三维空间中，AUV拥有六个自由度，且各个自由度之间存在强耦合，因此在三维空间中对其AUV控制器进行设计是十分困难的。对于避障任务而言，通常考虑AUV与障碍物在水平面之间的相对位置关系，因此对AUV三维空间运动模型做出一定简化，得到二维水平面中的AUV平面运动模型。
在二维水平面中，可以假设AUV在水平面上运动，不受恢复力的作用。假设AUV的舰体关于中纵剖面对称，并将随体坐标系的原点选在AUV的重心处。假设AUV的运动速度较慢，高于二阶的粘性类水动力通常可以忽略，只考虑一阶线性粘性类水动力的影响。同时，在海洋环境中，海流干扰对AUV的运动也存在着影响。由于一般情况下，海流的流动线路及流速相对固定，并且流场的尺度远大于AUV的尺度，因此可以假设海流为定常无旋的均匀流场。
基于上述假设条件，可由 AUV 的三维空间运动模型简化得到海流干扰下 AUV的二维平面运动模型如下：
其中，描述了AUV在二维平面中的位置坐标与艏向角，x和y表示二维
平面中的位置坐标，表示艏向角；表示AUV与海流
的相对速度，描述了AUV相对于海流沿两个坐标轴方向的速度分量及其艏摇角速度，r表示
艏摇角速度，表示海洋沿两个坐标轴方向的速度分量，u、v表示AUV沿两个坐标轴
方向的速度分量。表示AUV的控制输入，表示输入转换矩阵，表示AUV的推进器推力与舵机的控制力。表示随体坐标系到大地坐标系的
矩阵转换，，M表示AUV的惯性系数矩阵，，表示AUV的科氏力-向
心力系数矩阵，其中包含类科氏力矩阵与向心力矩阵两部分，。D表示粘性类水
动力矩阵，仅与AUV的运动状态有关。“”表示连续情况，无“”表示离散情况。矩阵表示具
体如下：
通常情况下，M为非奇异矩阵，因此平面运动模型也可以表示为：
在算法仿真过程中，需要使用离散化模型，对上述模型离散化，可得到海流干扰下的AUV二维平面运动模型如下：
其中，表示采样间隔时间，即。t表示当前采样、t+1表示下一次采样。
模型中相关参数选取如下：
需要说明的是，如果将第一避障状态空间向量记作，可分解为三部分，分别为
自身状态(AUV的第一AUV状态空间向量)、观测信息(障碍物的第一障碍物状态空间向量和
其他AUV的状态空间向量)、目标信息(AUV期望到达的目标区域的目标区域状态空间向量)，
由下式表示：。
其中，表示AUV自身的状态信息，通过AUV自身携带的姿态传感器获得，为AUV自身的位置在X轴和在Y
轴的坐标、表示艏向角，表示AUV沿两个方向的速度，表示艏摇角速
度。表示AUV观测到的障碍物以及其它AUV的状态信息，通过AUV携带的声呐传感器获
得，有，表示某个障碍物的位置坐标、速
度、以及外接圆半径。由于声呐传感器的观测距离有限，且受到观测噪声的影响，本章结合
卡尔曼滤波算法获取障碍物的状态信息。表示目标区域中心的信息，，其中，为目标区域中心的坐标，表示航向误差，
为AUV当前艏向角与目标当前方向之间的夹角，其计算方法为：
上述信息定义在大地坐标系下，但实际情况中，AUV在海洋环境中难以获得自身的定位信息，而且大地坐标系的坐标信息也不符合正常的避障逻辑，人类在避障时，将自身看作参考系的原点，依据相对位置信息进行路径规划和避障。因此将对状态空间的设计做出改进，不使用AUV的位置坐标，并将AUV自身看作原点进行参考系的变换，将状态中障碍物与目标点的位置坐标转化为与AUV的相对位置作为其状态。
经过参考系的变换，状态空间发生了相应的变化，有，。其中，表示障碍物
的第一障碍物状态空间向量和其他AUV的状态空间向量相对于AUV在X轴上的坐标，表示
障碍物的第一障碍物状态空间向量和其他AUV的状态空间向量相对于AUV在Y轴上的坐标，为目标区域相对于AUV在X轴上的坐标，为目标区域相对于AUV在Y轴上的坐标。
与上述标号的取法类似，u、v表示沿两个坐标轴方向的速度分量，角标j表示障碍物的第一障碍物状态空间向量和其他AUV的状态空间向量相关参数。
S102、利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略根据预设策略和奖励函数确定。
其中，预设策略根据预设奖励函数不断调整，以获得目标策略，该目标策略可以利用MADDPG算法训练后得到。该目标策略是最优策略。第一动作向量为当前时刻AUV要采取的下一步动作。
在本申请实施例中，可以利用MADDPG（Multi-agent Deep Deterministic PolicyGradient，多智能体深度确定性策略梯度）算法对预设策略进行训练，得到目标策略。其中，在训练的过程中奖励函数不断进行调整，以得到最优的目标策略。然后，可以利用目标策略，并根据当前时刻的第一避障状态空间向量，得到AUV的当前时刻所要进行的第一动作向量。
即，利用目标策略根据当前时刻的第一避障状态空间向量，确定AUV所要采取的下一步的动作（第一动作向量），其中，预设策略根据与环境交互的奖励函数不断调整，以获得最优策略，最优策略的学习过程可以利用MADDPG算法。
参考图3，图3为本申请实施例提供的一种MADDPG算法的示例图之一，MADDPG算法是DDPG算法为适应多智能体任务的改进。MADDPG算法由多个DDPG网络组成，每个智能体都有其生成者网络和评价者网络，其最大的特点为智能体的评价者网络可以获取每个智能体的信息，从全局的角度指导生成者网络进行训练。而执行时，生成者网络只使用每个智能体独立获取的局部信息选择动作，如下图所示。因此MADDPG是一个集中式训练，分布式执行的多智能体强化学习算法。此外，MADDPG算法优化了经验回放池，使之能够应用于多智能体的动态环境。策略优化方面，MADDPG算法中，每个智能体学习多个策略，通过所有智能体策略的整体效果对策略进行优化，使得算法能够更加稳定。
在MADDPG算法中，对于确定性策略梯度算法，有公式：
其中，D为经验回放池，存储的数据为：，通过集中式训练，
动作值函数可通过由下式定义的损失函数更新：
其中，表示目标策略的集合，其参数为，为通过延迟的更新
得到。
x表示当前时刻的第一避障状态空间向量，表示下一时刻的第一避障状态空间
向量，a表示动作，r表示奖励值，“’”均表示下一时刻的情况，y表示当前动作值函数的目标
值。可以看出，通过上述算法，评价者网络使用了全局信息进行学习，而生成者网络只使用
局部观测信息选择动作，实现了集中式训练分布式执行的多智能体强化学习算法。
需要说明的是，在本申请实施例中可以采用MADDPG算法进行训练，以执行AUV的避障任务。因此，需要为每个AUV构建一个生成者网络用于生成动作与一个评价者网络用于输出值函数。参考图4，图4为本申请实施例提供的一种MADDPG算法的示例图之二，对于生成者网络，输入的是对应AUV的状态，为12维向量，输出为对应AUV的动作为2维向量。网络包含三个全连接层，其中前两个全连接层使用ReLU激活函数，输出层使用tanh激活函数。对于评价者网络，其可以使用全局信息，设AUV的数目为2，则评价者网络的输入包括两个AUV的状态，为24维向量，以及两个AUV的动作，为4维向量。评价者网络的输出为动作值函数，用以评估当前的状态动作对的价值。网络包含四个全连接层，其中前三个全连接层均使用ReLU激活函数。
其中，每个AUV的动作空间，即AUV的生成者网络的输出，为一个2维向量。可转化为
第二章AUV二维平面运动模型中的输入中的AUV的推进器推力与舵机控制力，再代入到平
面运动模型中，可计算出AUV的状态变化。设AUV网络输出的动作向量，AUV控
制输入。由于生成者网络的激活层使用tanh激活函数，因此有。而对AUV控制输入，有，。因
此，需对生成者网络的输出y做如下转换：
在评估和执行的的过程中，可以直接使用生成者网络的输出作为最优策略，转换
为AUV的控制输入。而在训练的过程中，需要首先考虑探索潜在的更优策略，平衡探索与利
用的关系，以获得更好的训练效果。需要注意的是，在探索潜在的更优策略的过程，也需要
将选择的动作的范围控制在[-1,1]之间，再通过上述的转换关系转换为AUV的控制输入。需
要说明的是，是推进器推力，是舵机控制力，对应的y[0]、y[1]是网络的直接输出，
和为线性转换关系。
S103、根据第一动作向量，向目标区域移动，以执行AUV的避障任务。
具体地，AUV可以根据第一动作向量，向目标区域进行移动。AUV根据第一动作向量移动后会产生新的状态向量，可以使用已经建立的海流干扰下的AUV运动模型得到下一时刻AUV的状态。同时，根据第一障碍物状态空间向量得到下一时刻的预测障碍物状态空间向量，再利用下一时刻的障碍物的量测信息对下一时刻的预测障碍物状态空间向量进行修正，得到下一时刻的第二障碍物空间向量。由此，可以根据下一时刻的第二障碍物空间向量、下一时刻AUV的状态以及通过传感器测得的下一时刻的目标区域状态空间向量，得到新的动作向量。因此，AUV可以根据新的动作向量向目标区域进行移动，再执行上述相同的步骤，以到达目标区域，完成了AUV的避障任务。
需要说明的是，在确定AUV下一步所要执行的动作向量前，可以利用算
法、添加高斯噪声、添加OU噪声算法中的至少一种，以解决强化学习的训练过程中，动作的
选择策略也会对训练效果造成很大的影响，需要在探索潜在的更优策略与利用已知信息选
择当前最优动作之间找到一个平衡点的问题。优选的，为添加高斯噪声、添加OU(Ornstein
Uhlenbeck，奥恩斯坦-乌伦贝克)噪声算法。具体地，算法中，代表一个较小的
概率，在选择动作时，AUV有的概率以贪心策略选择动作，即选择当前情况下回报最高
的动作另外有的概率随机选择动作进行探索。因此，AUV在多数情况下会选择回报最高的
动作，在少数情况下会通过随机选择动作探索环境。然而，算法主要适用于离散
动作空间的问题，在动作空间连续的情况下，不能取得很好的效果。添加高斯噪声算法中，
在当前动作选择策略的基础上，添加均值为零的高斯噪声，进行的探索学习。并且随着训练
的进行，逐渐减小高斯噪声的方差大小，提高训练数据的质量。在添加OU噪声算法中，在当
前动作选择策略的基础上，添加OU噪声，进行探索学习。OU噪声由OU过程中采样获得，OU过
程是一个具有马尔可夫性的随机过程。OU过程是一个均值回归，当状态偏离时，下一步会向
均值靠近。因此可以利用这个特性使得智能体在一定范围内进行探索，同时也保证学习的
效率。
上述水下自主航行器避障方法中，确定水下自主航行器AUV的当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量；利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略是根据预设策略和奖励函数确定的；根据第一动作向量，向目标区域移动，以执行AUV的避障任务。传统技术中，通过在障碍物附近区域产生虚拟的斥力势场，对AUV产生斥力作用，以目标点为中心生成虚拟的引力势场，对AUV产生引力作用，通过计算合力控制AUV运动，避开环境中的障碍物最终抵达目标点，但是容易陷入局部最优，导致避障能力较差。而本申请实施例中，通过确定第一避障状态空间向量，并利用根据预设策略和奖励函数训练得到的目标策略确定第一动作向量，并根据第一动作向量向目标区域移动，以学习训练的方式为AUV提供了路径导航，执行AUV的避障任务，能够提高AUV的避障能力。
在一个实施例中，本实施例涉及的是如何确定第一障碍物状态空间向量的一种可能的实现方式，在上述实施例的基础上，上述S101包括：
方案一、若障碍物处于AUV探测范围内，则根据当前时刻的障碍物对应的第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。
其中，障碍物对应的第一量测信息可以是AUV的传感器获取的，该第一量测信息受到了量测噪声的影响，该传感器可以包括声呐传感器等，本申请实施例对传感器不做限制。障碍物的初始障碍物状态空间向量可以是预测的障碍物状态空间向量。
在本申请实施例中，如果障碍物处于AUV探测范围内，则AUV的传感器可以获取当前时刻的第一量测信息，可以根据第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，并利用预设滤波算法得到当前时刻的第一障碍物状态空间向量。其中，预设滤波算法可以是卡尔曼滤波算法。
需要说明的是，依照常见的障碍物运动特性，当时间间隔较小时，可以假设障碍物速度只发生轻微变动，障碍物近似做匀速直线运动。因此，可以选择建立二维空间中障碍物的匀速直线运动模型，并且加入高斯噪声，作为障碍物运动过程中受到的随机扰动的影响，可以表示障碍物的加速度。考虑二维平面内的动态障碍物，障碍物状态空间向量可以表示为：
障碍物离散时间下的匀速直线运动模型可以由下式表示：
其中，X表示障碍物状态空间向量，x表示障碍物的X轴坐标，y表示障碍物的y轴坐
标，表示障碍物的速度在X轴方向的分量，表示障碍物的速度在Y轴方向的分量，表
示在当前时刻的障碍物第一状态空间向量，表示在下一时刻的障碍物第二状态空间
向量，表示状态转移矩阵，表示状态噪声（高斯噪声），服从高斯分布，表示当前时
刻状态与下一时刻状态的采样间隔时间。
多数AUV使用声呐作为传感器获取障碍物信息，通过AUV上布置的声呐阵列，可对周围环境进行量测，获取邻近区域内的障碍物量测信息。当前多数研究假设传感器可以获取到准确的障碍物量测信息，但在实际情况中，传感器到的信息会受到量测噪声的影响，产生一定的误差。通过在传感器量测信息中添加高斯噪声的方式，可以建立对于障碍物的不完美感知模型，以模拟AUV实际的障碍物量测信息的场景。可以用表示为：
。
其中，O表示被量测障碍物的实际状态，即其实际位置或者速度，表示量测过程
中传感器的量测噪声，服从高斯分布，表示AUV对障碍物状态的量测结果，即，障碍物对
应的量测信息。
方案二、若障碍物不处于AUV探测范围内，则根据上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。
具体地，如果障碍物不处于AUV探测范围内，则AUV的传感器无法获取当前时刻的第一量测信息，则可以根据上一时刻的障碍物的初始障碍物状态空间向量，并利用预设滤波算法得到当前时刻的第一障碍物状态空间向量。其中，预设滤波算法可以是卡尔曼滤波算法。
本实施例中，若障碍物处于AUV探测范围内，则根据当前时刻的障碍物对应的第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量，若障碍物不处于AUV探测范围内，则根据上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。由于考虑到了障碍物相对于AUV探测范围内的情况，针对不同情况给出不同的应对策略，能够提高障碍物状态空间向量估计的准确性。
在一个实施例中，图5为本申请实施例提供的一种第一障碍物状态空间向量确定方法的流程示意图之一，本实施例涉及的是若障碍物处于AUV探测范围内，则如何根据当前时刻的障碍物对应的第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量的一种可能的实现方式，在上述实施例的基础上，上述方案一包括：
S501、根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益。
其中，初始障碍物状态空间向量对应的第一协方差矩阵，可以表示对障碍物预测的不确定性。障碍物对应的噪声可以包括障碍物运动过程中的过程噪声。
具体地，可以根据初始障碍物状态空间向量对应的第一协方差矩阵、障碍物的状态转移矩阵、障碍物运动过程中的过程噪声、系统的量测矩阵，确定第一量测信息的不确定性，再根据第一量测信息的不确定性可以得到障碍物对应的滤波增益。
S502、基于第一量测信息、滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
具体地，可以先根据初始障碍物状态空间向量确定当前时刻的障碍物状态空间向量，再根据当前时刻的障碍物状态空间向量、第一量测信息、滤波增益，确定第一障碍物状态空间向量。其中，第一障碍物状态空间向量是当前时刻的障碍物状态空间向量的最优估计。
例如，可以将时间离散化，障碍物状态空间向量的方程可以通过如下理论模型公式表示：
第一量测信息通过如下理论模型公式表示：
其中，与可以分别用于表示理论模型下的障碍物在上一时刻与当前
时刻的状态空间向量，表示当前时刻的传感器对障碍物的量测信息，即，当前时刻的第
一量测信息。A为障碍物的状态转移矩阵，上一时刻的障碍物运动过程中的过程
噪声，H表示系统的量测矩阵，表示系统的量测噪声。过程噪声与量测噪声均服从高斯
分布，过程噪声V(k)的协方差用Q表示，量测噪声W(k)的协方差用R表示。
具体计算时，在已知上一时刻的初始障碍物状态空间向量的情况下，根据上述理论模型公式，可以利用下述预测公式预测当前时刻的第一障碍物状态空间向量，以得到接近于上述标准模型公式中真实值的预测值：
其中，表示上一时刻的初始障碍物状态空间向量；表
示当前时刻的预测障碍物状态空间向量，是根据上一时刻的初始障碍物状态空间向量，对
当前时刻的第一障碍物状态空间向量进行初步预测，需要说明的是，还需要利用障碍物的
第一量测信息对当前时刻的预测障碍物状态空间向量进行修正，以得到当前时刻的第一障
碍物状态空间向量。同时，可以利用下述公式计算在当前时刻的第一障碍物状态空间向量
对应的协方差矩阵，即，当前时刻的第一障碍物状态空间向量的不确定性。
其中，表示上一时刻的初始障碍物状态空间向量对应的第一协方
差矩阵，A表示障碍物的状态转移矩阵，表示障碍物的状态转移矩阵的转置，Q表示障碍
物对应的噪声的协方差（过程噪声V(k)协方差），V(k)表示当前时刻的障碍物运动过程中的
过程噪声。
再通过量测矩阵计算得到量测信息对应的协方差矩阵S(k)表示当前时刻的第一量测信息的不确定性：
滤波增益为：
可由下式计算得到当前时刻的障碍物状态空间向量的最优估计，即，第一障
碍物状态空间向量，当前时刻的第一障碍物状态空间向量可以通过以下公式确定：
其中，H表示系统的量测矩阵，表示系统的量测矩阵的转置，R表示量测噪声W
(k)的协方差。
本实施例中，根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益，基于第一量测信息、滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。通过最小化均方误差实现对障碍物状态空间向量的最优估计，即，首先对障碍物状态空间向量进行了预测，再通过第一量测信息对障碍物状态空间向量进行校正，以得到当前时刻的障碍物状态空间向量的最优估计，即第一障碍物状态空间向量。通过多次循环，可以递归得到每一时刻对障碍物状态空间向量的最优估计。在量测信息存在噪声的情况下，使得避障算法能够得到更加准确的障碍物状态空间向量作为输入，从而提高提高了AUV的避障能力。
可选的，利用滤波增益更新第一协方差矩阵，得到第一障碍物状态空间向量对应的第二协方差矩阵，并返回执行根据第二协方差矩阵和障碍物对应的噪声，确定障碍物对应的新滤波增益，并基于当前时刻的障碍物对应的第二量测信息、新滤波增益和第一障碍物状态空间向量，确定下一时刻障碍物的障碍物状态空间向量的步骤。
具体地，可以首先确定滤波增益、滤波增益的逆矩阵与量测信息对应的协方差矩阵的乘积结果，再确定该乘积结果与第一协方差矩阵的差值，将该差值作为第一障碍物状态空间向量对应的第二协方差矩阵。
接上述举例，第一协方差矩阵可由以下公式进行更新，以得到第一障碍物状态空间向量对应的第二协方差矩阵：
其中，表示下一时刻的障碍物状态空间对应的协方差矩阵。
其次，在得到第一障碍物状态空间向量对应的第二协方差矩阵之后，返回执行根据第二协方差矩阵和障碍物对应的噪声，确定障碍物对应的新滤波增益，并基于当前时刻的障碍物对应的第二量测信息、新滤波增益和第一障碍物状态空间向量，确定下一时刻障碍物的障碍物状态空间向量的步骤。由于协方差矩阵在不断更新，使得避障算法能够得到更加准确的障碍物状态空间向量作为输入，从而提高了AUV的避障能力。
在一个实施例中，图6为本申请实施例提供的一种第一障碍物状态空间向量确定方法的流程示意图之二，本实施例涉及的是若障碍物不处于AUV探测范围内，则如何根据上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量的一种可能的实现方式，在上述实施例的基础上，上述方案二包括：
S601、根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益。
具体地，可以根据初始障碍物状态空间向量对应的第一协方差矩阵、障碍物的状态转移矩阵、障碍物运动过程中的过程噪声、系统的量测矩阵，确定第一量测信息的不确定性，再根据第一量测信息的不确定性可以得到障碍物对应的滤波增益。
S602、基于滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
具体地，可以先根据初始障碍物状态空间向量确定当前时刻的障碍物状态空间向量，再根据当前时刻的障碍物状态空间向量、滤波增益，确定第一障碍物状态空间向量。其中，第一障碍物状态空间向量是当前时刻的障碍物状态空间向量的最优估计。
本实施例中，根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益，基于滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量，能够提高AUV的避障能力。
在一个实施例中，奖励函数包括到达奖励函数、碰撞惩罚函数、靠近目标奖励函数、靠近障碍物惩罚函数和脱离集群惩罚函数中至少一项；到达奖励函数用于表征AUV与目标区域的第一距离，与第一奖励值之间的关系的函数；碰撞惩罚函数用于表征AUV与障碍物或其他AUV的第二距离，与第一惩罚值之间的关系的函数；靠近目标奖励函数用于表征上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，与第二奖励值之间的关系的函数；靠近障碍物惩罚函数用于表征AUV与障碍物的距离与第一预设距离阈值的第二差值，与第二惩罚值之间的关系的函数；脱离集群惩罚函数用于表征AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，与第三惩罚值之间的关系的函数。
可选的，图7为本申请实施例提供的一种第二障碍物状态空间向量确定方法的流程示意图，本实施例涉及的是如何确定第一动作向量的一种可能的实现方式，在上述实施例的基础上，方法还包括：
S701、根据AUV与目标区域的第一距离，利用到达奖励函数确定第一距离对应的第一奖励值。
具体地，可以计算AUV与目标区域的第一距离，可以利用到达奖励函数确定
第一距离对应的第一奖励值。如果该第一距离等于第一预设距离，该第一预设距离可以是
0，则可以认为AUV到达目标区域，，即，第一奖励值为1；如果该第一距离大于第一
预设距离，则可以认为AUV还未到达目标区域，，即，第一奖励值为0。
S702、根据AUV与障碍物的第二距离，利用碰撞惩罚函数确定第二距离对应的第一惩罚值。
具体地，可以计算AUV与障碍物的第二距离，可以利用碰撞惩罚函数确
定第二距离对应的第一惩罚值。如果该第二距离等于第二预设距离，该第二预设距离可以
是0，则可以认为AUV与障碍物发生碰撞，，即，第一惩罚值为-1；如果该第二距
离大于第二预设距离，则可以认为AUV还未碰撞障碍物，，即，第一惩罚值为0。
S703、根据上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，利用靠近目标奖励函数确定第一差值对应的第二奖励值。
具体地，可以计算上一时刻的AUV与目标区域的距离，与，当前时刻的AUV与目标区域的距离的第一差值，可以利用靠近目标奖励函数和修正函数对第一差值进行修正，得到第一差值对应的第二奖励函数；其中，修正可以是将第一差值与预设修正系数相乘，得到修正后的第一差值。还可以利用靠近目标奖励函数将第一差值作为第二奖励值。
例如，当AUV靠近目标区域时，AUV可以获得第二奖励值，具体公式如下：
其中，表示目标区域的X轴坐标，表示目标区域的Y轴坐标，表
示AUV的X轴坐标，表示AUV的Y轴坐标，表示上一时刻的AUV与目标区域的
距离，表示当前时刻的AUV与目标区域的距离。
S704、根据AUV与障碍物的距离与第一预设距离阈值的第二差值，利用靠近障碍物惩罚函数确定第二差值对应的第二惩罚值。
具体地，可以计算AUV与障碍物的距离与第一预设距离阈值的第二差值，可以利用靠近障碍物惩罚函数和修正函数对第二差值进行修正，得到第二差值对应的第二惩罚函数；其中，修正可以是将第二差值与预设修正系数相乘，得到修正后的第二差值。还可以直接利用靠近障碍物惩罚函数将第二差值作为第二惩罚值。
例如，为避免AUV与障碍物发生碰撞，当AUV靠近障碍物时，AUV会获得第二惩罚值，具体公式如下：
其中，表示第二惩罚值，表示第一预设距离阈值，表示AUV
与障碍物的距离，表示障碍物的X轴坐标，表示障碍物的Y轴坐标，
表示AUV的X轴坐标，表示AUV的Y轴坐标。
S705、根据AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，利用脱离集群惩罚函数确定第三差值对应的第三惩罚值。
具体地，可以计算AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，可以利用脱离集群惩罚函数和修正函数对第三差值进行修正，得到第三差值对应的第三惩罚函数；其中，修正可以是将第三差值与预设修正系数相乘，得到修正后的第三差值。还可以直接利用脱离集群惩罚函数将第三差值作为第三惩罚值。
例如，当多个AUV组成集群完成协作任务时，应该保持该协作任务的整体性，因此，
当AUV与其他AUV距离过远时，该AUV会获得第三惩罚值，具体公式如下：
其中，表示第三惩罚值，表示AUV与其他AUV之间的距离，表示
该AUV的X轴坐标，其他AUV的X轴坐标，表示该AUV的Y轴坐标，表示其
他AUV的Y轴坐标，表示第二预设距离阈值。
S706、根据第一避障状态空间向量、第一奖励值、第一惩罚值、第二奖励值、第二惩罚值和第三惩罚值，确定AUV的当前时刻的第一动作向量。
具体地，可以将第一奖励值、第一惩罚值、第二奖励值、第二惩罚值和第三惩罚值求和，得到总奖励值，根据前一时刻的初始避障状态空间向量和总奖励值，并利用预设算法进行训练，可以得到当前时刻的AUV的第一动作向量，即，可以得到AUV的下一步动作。
例如，预设算法可以是上述实施例中的MADDPG算法，总奖励值可以通过如下
公式获得：
本实施例中，根据AUV与目标区域的第一距离，利用到达奖励函数确定第一距离对应的第一奖励值，根据AUV与障碍物的第二距离，利用碰撞惩罚函数确定第二距离对应的第一惩罚值，根据上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，利用靠近目标奖励函数确定第一差值对应的第二奖励值，根据AUV与障碍物的距离与第一预设距离阈值的第二差值，利用靠近障碍物惩罚函数确定第二差值对应的第二惩罚值，根据AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，利用脱离集群惩罚函数确定第三差值对应的第三惩罚值，最后根据第一避障状态空间向量、第一奖励值、第一惩罚值、第二奖励值、第二惩罚值和第三惩罚值，确定AUV的第一动作向量。由于考虑到了各个场景下的AUV航行情况来设计多种奖励函数，利用多种奖励函数进行训练，实时控制AUV的航行路线，提高了AUV避障的能力。
可选的，在获取障碍物信息时，如果考虑到所有的障碍物的情况，会出现如下问题：
（1）状态空间的维度会随着障碍物数量的变化而变化，当障碍物数量改变时，状态空间的维度也随之改变，原有的神经网络的将不再适用，因此使得AUV 在训练完成后，只能应用于特定障碍物数目的避障场景，适用性较差。
（2）当障碍物数量较大时，状态空间的维度也会随之增加，神经网络的规模也会大幅增加，极大的影响训练效率。
因此，考虑到对于某一个AUV而言，远处的障碍物对该AUV行动策略的影响较小，对
于障碍物的选择，可以使用k近邻法。k为预先设定的常数，代表AUV在AUV对应的状态空间
中，只考虑与AUV距离最近的k个障碍物的状态信息，有此时，状
态空间的维度即可固定，也可以避免神经网络规模过大的问题。特别的，当k=1时，AUV 只考
虑与其距离最近的障碍物的状态信息，状态空间进一步简化，即，最近邻法。其中，表
示第n个障碍物。
在一个最详细的实施例中，可以将深度强化学习算法与卡尔曼滤波算法结合，主体使用MADDPG算法及其网络结构。为贴近海洋实际情况，引入海流干扰下的AUV的运动模型、动态障碍物模型、不完美感知模型，针对不完美感知模型，引入卡尔曼滤波算法获取对障碍物状态信息的最优估计。在此基础上，给出了强化学习的状态空间、动作空间与奖励函数。仿真结果表明，本申请实施例提供的方法能够为AUV提供正确的避障策略，成功的完成避障任务。其中，MADDPG算法具有集中式训练，分布式执行的特点，在发挥集群智能优势的同时又保证了算法的鲁棒性。
对于本申请提出的方法进行验证，可以使用python进行仿真实验。仿真实验基于300的二维未知环境模型进行。动态障碍物的数量、大小、初始位置与初始速度均在一定范围内随机生成。AUV的数量设为2，AUV的外接圆半径设置为5m。AUV的起点坐标设置为(0，0)与(0，50)，目标点坐标设置为(300，300)，目标范围半径为50m，即当AUV与目标点的欧式距离小于50m时，认为AUV到达目标区域，完成任务。回报的折扣率，目标网络的更新速率。对于深度神经网络的训练，其中设置生成者网络的学习率为0.0001，使用Adam优化器进行训练，而评价者网络的学习率设置为0.001，同样采用Adam优化器。总共进行500轮训练，训练的批处理大小设置为1000，经验回放池的容量设置为100000。为使本申请实施例提供的水下自主航行器避障避障方法可以适用于不同的环境模型，每轮训练均随机重置障碍物信息，因此奖励函数的值会一定程度上受到随机的障碍物信息的影响。为了减小这种随机性导致的奖励函数曲线不稳定，仿真实验中使用每十轮训练的奖励平均值画出训练曲线。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的水下自主航行器避障方法的水下自主航行器避障装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个水下自主航行器避障装置实施例中的具体限定可以参见上文中对于水下自主航行器避障方法的限定，在此不再赘述。
在一个实施例中，提供了一种水下自主航行器避障装置，图8为本申请实施例提供的一种水下自主航行器避障装置的结构框图，水下自主航行器避障装置800包括第一确定模块801、第二确定模块802和执行模块803，具体地：
第一确定模块801，用于确定水下自主航行器AUV当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量。
第二确定模块802，用于利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略是根据预设策略和奖励函数确定的。
执行模块803，用于根据第一动作向量，向目标区域移动，以执行AUV的避障任务。
在一个实施例中，第一确定模块801包括：
第一确定子模块，用于若障碍物处于AUV探测范围内，则根据当前时刻的障碍物对应的第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。
第二确定子模块，用于若障碍物不处于AUV探测范围内，则根据上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，第一确定子模块包括：
第一确定单元，用于根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益。
第二确定单元，用于基于第一量测信息、滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，水下自主航行器避障装置800还包括：
第三确定模块，用于利用滤波增益更新第一协方差矩阵，得到第一障碍物状态空间向量对应的第二协方差矩阵，并返回执行根据第二协方差矩阵和障碍物对应的噪声，确定障碍物对应的新滤波增益，并基于当前时刻的障碍物对应的第二量测信息、新滤波增益和第一障碍物状态空间向量，确定下一时刻障碍物的障碍物状态空间向量的步骤。
在一个实施例中，第二确定子模块包括：
第三确定单元，用于根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益。
第四确定单元，用于基于滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，奖励函数包括到达奖励函数、碰撞惩罚函数、靠近目标奖励函数、靠近障碍物惩罚函数和脱离集群惩罚函数中至少一项；到达奖励函数用于表征AUV与目标区域的第一距离，与第一奖励值之间的关系的函数；碰撞惩罚函数用于表征AUV与障碍物或其他AUV的第二距离，与第一惩罚值之间的关系的函数；靠近目标奖励函数用于表征上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，与第二奖励值之间的关系的函数；靠近障碍物惩罚函数用于表征AUV与障碍物的距离与第一预设距离阈值的第二差值，与第二惩罚值之间的关系的函数；脱离集群惩罚函数用于表征AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，与第三惩罚值之间的关系的函数。
在一个实施例中，水下自主航行器避障装置800具体用于根据AUV与目标区域的第一距离，利用到达奖励函数确定第一距离对应的第一奖励值；根据AUV与障碍物的第二距离，利用碰撞惩罚函数确定第二距离对应的第一惩罚值；根据上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，利用靠近目标奖励函数确定第一差值对应的第二奖励值；根据AUV与障碍物的距离与第一预设距离阈值的第二差值，利用靠近障碍物惩罚函数确定第二差值对应的第二惩罚值；根据AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，利用脱离集群惩罚函数确定第三差值对应的第三惩罚值；根据第一避障状态空间向量、第一奖励值、第一惩罚值、第二奖励值、第二惩罚值和第三惩罚值，确定AUV的当前时刻的第一动作向量。
上述水下自主航行器避障装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种水下自主航行器避障方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
确定水下自主航行器AUV的当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量；
利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略是根据预设策略和奖励函数确定的；
根据第一动作向量，向目标区域移动，以执行AUV的避障任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若障碍物处于AUV探测范围内，则根据当前时刻的障碍物对应的第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量；
若障碍物不处于AUV探测范围内，则根据上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益；
基于第一量测信息、滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用滤波增益更新第一协方差矩阵，得到第一障碍物状态空间向量对应的第二协方差矩阵，并返回执行根据第二协方差矩阵和障碍物对应的噪声，确定障碍物对应的新滤波增益，并基于当前时刻的障碍物对应的第二量测信息、新滤波增益和第一障碍物状态空间向量，确定下一时刻障碍物的障碍物状态空间向量的步骤。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益；
基于滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，处理器执行计算机程序时还实现到达奖励函数用于表征AUV与目标区域的第一距离，与第一奖励值之间的关系的函数；
碰撞惩罚函数用于表征AUV与障碍物或其他AUV的第二距离，与第一惩罚值之间的关系的函数；
靠近目标奖励函数用于表征上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，与第二奖励值之间的关系的函数；
靠近障碍物惩罚函数用于表征AUV与障碍物的距离与第一预设距离阈值的第二差值，与第二惩罚值之间的关系的函数；
脱离集群惩罚函数用于表征AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，与第三惩罚值之间的关系的函数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据AUV与目标区域的第一距离，利用到达奖励函数确定第一距离对应的第一奖励值；
根据AUV与障碍物的第二距离，利用碰撞惩罚函数确定第二距离对应的第一惩罚值；
根据上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，利用靠近目标奖励函数确定第一差值对应的第二奖励值；
根据AUV与障碍物的距离与第一预设距离阈值的第二差值，利用靠近障碍物惩罚函数确定第二差值对应的第二惩罚值；
根据AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，利用脱离集群惩罚函数确定第三差值对应的第三惩罚值；
根据第一避障状态空间向量、第一奖励值、第一惩罚值、第二奖励值、第二惩罚值和第三惩罚值，确定AUV的当前时刻的第一动作向量。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
确定水下自主航行器AUV的当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量；
利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略是根据预设策略和奖励函数确定的；
根据第一动作向量，向目标区域移动，以执行AUV的避障任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若障碍物处于AUV探测范围内，则根据当前时刻的障碍物对应的第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量；
若障碍物不处于AUV探测范围内，则根据上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益；
基于第一量测信息、滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用滤波增益更新第一协方差矩阵，得到第一障碍物状态空间向量对应的第二协方差矩阵，并返回执行根据第二协方差矩阵和障碍物对应的噪声，确定障碍物对应的新滤波增益，并基于当前时刻的障碍物对应的第二量测信息、新滤波增益和第一障碍物状态空间向量，确定下一时刻障碍物的障碍物状态空间向量的步骤。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益；
基于滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，计算机程序被处理器执行时还实现到达奖励函数用于表征AUV与目标区域的第一距离，与第一奖励值之间的关系的函数；
碰撞惩罚函数用于表征AUV与障碍物或其他AUV的第二距离，与第一惩罚值之间的关系的函数；
靠近目标奖励函数用于表征上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，与第二奖励值之间的关系的函数；
靠近障碍物惩罚函数用于表征AUV与障碍物的距离与第一预设距离阈值的第二差值，与第二惩罚值之间的关系的函数；
脱离集群惩罚函数用于表征AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，与第三惩罚值之间的关系的函数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据AUV与目标区域的第一距离，利用到达奖励函数确定第一距离对应的第一奖励值；
根据AUV与障碍物的第二距离，利用碰撞惩罚函数确定第二距离对应的第一惩罚值；
根据上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，利用靠近目标奖励函数确定第一差值对应的第二奖励值；
AUV与障碍物的距离与第一预设距离阈值的第二差值，利用靠近障碍物惩罚函数确定第二差值对应的第二惩罚值；
根据AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，利用脱离集群惩罚函数确定第三差值对应的第三惩罚值；
根据第一避障状态空间向量、第一奖励值、第一惩罚值、第二奖励值、第二惩罚值和第三惩罚值，确定AUV的当前时刻的第一动作向量。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
确定水下自主航行器AUV的当前时刻的第一避障状态空间向量；第一避障状态空间向量包括AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及AUV期望到达的目标区域的目标区域状态空间向量；
利用目标策略根据第一避障状态空间向量，确定AUV的当前时刻的第一动作向量；目标策略是根据预设策略和奖励函数确定的；
根据第一动作向量，向目标区域移动，以执行AUV的避障任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若障碍物处于AUV探测范围内，则根据当前时刻的障碍物对应的第一量测信息、上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量；
若障碍物不处于AUV探测范围内，则根据上一时刻的障碍物的初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益；
基于第一量测信息、滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用滤波增益更新第一协方差矩阵，得到第一障碍物状态空间向量对应的第二协方差矩阵，并返回执行根据第二协方差矩阵和障碍物对应的噪声，确定障碍物对应的新滤波增益，并基于当前时刻的障碍物对应的第二量测信息、新滤波增益和第一障碍物状态空间向量，确定下一时刻障碍物的障碍物状态空间向量的步骤。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据初始障碍物状态空间向量对应的第一协方差矩阵和障碍物对应的噪声，确定障碍物对应的滤波增益；
基于滤波增益和初始障碍物状态空间向量，确定第一障碍物状态空间向量。
在一个实施例中，计算机程序被处理器执行时还实现到达奖励函数用于表征AUV与目标区域的第一距离，与第一奖励值之间的关系的函数；
碰撞惩罚函数用于表征AUV与障碍物或其他AUV的第二距离，与第一惩罚值之间的关系的函数；
靠近目标奖励函数用于表征上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，与第二奖励值之间的关系的函数；
靠近障碍物惩罚函数用于表征AUV与障碍物的距离与第一预设距离阈值的第二差值，与第二惩罚值之间的关系的函数；
脱离集群惩罚函数用于表征AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，与第三惩罚值之间的关系的函数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据AUV与目标区域的第一距离，利用到达奖励函数确定第一距离对应的第一奖励值；
根据AUV与障碍物的第二距离，利用碰撞惩罚函数确定第二距离对应的第一惩罚值；
根据上一时刻的AUV与目标区域的距离与当前时刻的AUV与目标区域的距离的第一差值，利用靠近目标奖励函数确定第一差值对应的第二奖励值；
AUV与障碍物的距离与第一预设距离阈值的第二差值，利用靠近障碍物惩罚函数确定第二差值对应的第二惩罚值；
根据AUV与其他AUV之间的距离与第二预设距离阈值的第三差值，利用脱离集群惩罚函数确定第三差值对应的第三惩罚值；
根据第一避障状态空间向量、第一奖励值、第一惩罚值、第二奖励值、第二惩罚值和第三惩罚值，确定AUV的当前时刻的第一动作向量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种水下自主航行器避障方法，其特征在于，所述方法包括：
确定所述水下自主航行器AUV的当前时刻的第一避障状态空间向量；所述第一避障状态空间向量包括所述AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及所述AUV期望到达的目标区域的目标区域状态空间向量；
利用目标策略根据所述第一避障状态空间向量，确定所述AUV的当前时刻的第一动作向量；所述目标策略是根据预设策略和奖励函数确定的；
根据所述第一动作向量，向所述目标区域移动，以执行所述AUV的避障任务。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一障碍物状态空间向量，包括：
若所述障碍物处于AUV探测范围内，则根据当前时刻的所述障碍物对应的第一量测信息、上一时刻的所述障碍物的初始障碍物状态空间向量，确定所述第一障碍物状态空间向量；
若所述障碍物不处于AUV探测范围内，则根据上一时刻的所述障碍物的初始障碍物状态空间向量，确定所述第一障碍物状态空间向量。
3.根据权利要求2所述的方法，其特征在于，所述若所述障碍物处于AUV探测范围内，则根据当前时刻的所述障碍物对应的第一量测信息、上一时刻的所述障碍物的初始障碍物状态空间向量，确定所述第一障碍物状态空间向量，包括：
根据所述初始障碍物状态空间向量对应的第一协方差矩阵和所述障碍物对应的噪声，确定所述障碍物对应的滤波增益；
基于所述第一量测信息、所述滤波增益和所述初始障碍物状态空间向量，确定所述第一障碍物状态空间向量。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
利用所述滤波增益更新所述第一协方差矩阵，得到所述第一障碍物状态空间向量对应的第二协方差矩阵，并返回执行根据所述第二协方差矩阵和所述障碍物对应的噪声，确定所述障碍物对应的新滤波增益，并基于所述当前时刻的所述障碍物对应的第二量测信息、所述新滤波增益和所述第一障碍物状态空间向量，确定下一时刻所述障碍物的障碍物状态空间向量的步骤。
5.根据权利要求2所述的方法，其特征在于，所述若所述障碍物不处于AUV探测范围内，则根据上一时刻的所述障碍物的初始障碍物状态空间向量，确定所述第一障碍物状态空间向量，包括：
根据所述初始障碍物状态空间向量对应的第一协方差矩阵和所述障碍物对应的噪声，确定所述障碍物对应的滤波增益；
基于所述滤波增益和所述初始障碍物状态空间向量，确定所述第一障碍物状态空间向量。
6.根据权利要求1所述的方法，其特征在于，所述奖励函数包括到达奖励函数、碰撞惩罚函数、靠近目标奖励函数、靠近障碍物惩罚函数和脱离集群惩罚函数中至少一项；
所述到达奖励函数用于表征所述AUV与所述目标区域的第一距离，与第一奖励值之间的关系的函数；
所述碰撞惩罚函数用于表征所述AUV与所述障碍物或其他AUV的第二距离，与第一惩罚值之间的关系的函数；
所述靠近目标奖励函数用于表征上一时刻的所述AUV与所述目标区域的距离与当前时刻的所述AUV与所述目标区域的距离的第一差值，与第二奖励值之间的关系的函数；
所述靠近障碍物惩罚函数用于表征所述AUV与所述障碍物的距离与第一预设距离阈值的第二差值，与第二惩罚值之间的关系的函数；
所述脱离集群惩罚函数用于表征所述AUV与所述其他AUV之间的距离与第二预设距离阈值的第三差值，与第三惩罚值之间的关系的函数。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述AUV与所述目标区域的第一距离，利用所述到达奖励函数确定所述第一距离对应的第一奖励值；
根据所述AUV与所述障碍物的第二距离，利用所述碰撞惩罚函数确定所述第二距离对应的第一惩罚值；
根据所述上一时刻的所述AUV与所述目标区域的距离与所述当前时刻的所述AUV与所述目标区域的距离的第一差值，利用所述靠近目标奖励函数确定所述第一差值对应的第二奖励值；
根据所述AUV与所述障碍物的距离与第一预设距离阈值的第二差值，利用所述靠近障碍物惩罚函数确定所述第二差值对应的第二惩罚值；
根据所述AUV与所述其他AUV之间的距离与第二预设距离阈值的第三差值，利用所述脱离集群惩罚函数确定所述第三差值对应的第三惩罚值；
根据所述第一避障状态空间向量、所述第一奖励值、所述第一惩罚值、所述第二奖励值、所述第二惩罚值和所述第三惩罚值，确定所述AUV的当前时刻的第一动作向量。
8.一种水下自主航行器避障装置，其特征在于，所述装置包括：
第一确定模块，用于确定所述水下自主航行器AUV的当前时刻的第一避障状态空间向量；所述第一避障状态空间向量包括所述AUV的第一AUV状态空间向量、障碍物的第一障碍物状态空间向量以及所述AUV期望到达的目标区域的目标区域状态空间向量；
第二确定模块，用于利用目标策略根据所述第一避障状态空间向量，确定所述AUV的下一时刻的第二动作向量；所述目标策略是根据预设策略和奖励函数确定的；
执行模块，用于根据所述第二动作向量，向所述目标区域移动，以执行所述AUV的避障任务。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310856190.6A CN116578102B (zh) | 2023-07-13 | 2023-07-13 | 水下自主航行器避障方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310856190.6A CN116578102B (zh) | 2023-07-13 | 2023-07-13 | 水下自主航行器避障方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116578102A true CN116578102A (zh) | 2023-08-11 |
| CN116578102B CN116578102B (zh) | 2023-09-19 |
Family
ID=87538234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310856190.6A Active CN116578102B (zh) | 2023-07-13 | 2023-07-13 | 水下自主航行器避障方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578102B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803321A (zh) * | 2018-05-30 | 2018-11-13 | 清华大学 | 基于深度强化学习的自主水下航行器轨迹跟踪控制方法 |
| JP2021034050A (ja) * | 2019-08-21 | 2021-03-01 | 哈爾浜工程大学 | 強化学習に基づくａｕｖ行動計画及び動作制御方法 |
| CN112925319A (zh) * | 2021-01-25 | 2021-06-08 | 哈尔滨工程大学 | 一种基于深度强化学习的水下自主航行器动态避障方法 |
| CN113359448A (zh) * | 2021-06-03 | 2021-09-07 | 清华大学 | 一种针对时变动力学的自主水下航行器轨迹跟踪控制方法 |
| CN114879719A (zh) * | 2022-04-12 | 2022-08-09 | 江苏中科智能科学技术应用研究院 | 一种适用于油电混动无人机的智能避障方法 |
| CN115542901A (zh) * | 2022-09-21 | 2022-12-30 | 北京航空航天大学 | 基于近端策略训练的可变形机器人避障方法 |
| CN116203979A (zh) * | 2022-12-14 | 2023-06-02 | 西北工业大学 | 基于深度确定性策略梯度的单目无人机避障方法、装置及介质 |
-
2023
- 2023-07-13 CN CN202310856190.6A patent/CN116578102B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108803321A (zh) * | 2018-05-30 | 2018-11-13 | 清华大学 | 基于深度强化学习的自主水下航行器轨迹跟踪控制方法 |
| JP2021034050A (ja) * | 2019-08-21 | 2021-03-01 | 哈爾浜工程大学 | 強化学習に基づくａｕｖ行動計画及び動作制御方法 |
| CN112925319A (zh) * | 2021-01-25 | 2021-06-08 | 哈尔滨工程大学 | 一种基于深度强化学习的水下自主航行器动态避障方法 |
| CN113359448A (zh) * | 2021-06-03 | 2021-09-07 | 清华大学 | 一种针对时变动力学的自主水下航行器轨迹跟踪控制方法 |
| CN114879719A (zh) * | 2022-04-12 | 2022-08-09 | 江苏中科智能科学技术应用研究院 | 一种适用于油电混动无人机的智能避障方法 |
| CN115542901A (zh) * | 2022-09-21 | 2022-12-30 | 北京航空航天大学 | 基于近端策略训练的可变形机器人避障方法 |
| CN116203979A (zh) * | 2022-12-14 | 2023-06-02 | 西北工业大学 | 基于深度确定性策略梯度的单目无人机避障方法、装置及介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZHAOQI YANG 等: "Secure and Cooperative Target Tracking via AUV Swarm: A Reinforcement Learning Approach", 2021 IEEE GLOBAL COMMUNICATIONS CONFERENCE (GLOBECOM) * |
| 陈卓 等: "基于激光雷达的无人艇海上目标检测与跟踪方法研究", 中国造船, vol. 63, no. 6, pages 264 - 272 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116578102B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108803321B (zh) | 基于深度强化学习的自主水下航行器轨迹跟踪控制方法 | |
| Li et al. | Path planning technologies for autonomous underwater vehicles-a review | |
| CN109241552B (zh) | 一种基于多约束目标的水下机器人运动规划方法 | |
| Sun et al. | Mapless motion planning system for an autonomous underwater vehicle using policy gradient-based deep reinforcement learning | |
| Cao et al. | Target search control of AUV in underwater environment with deep reinforcement learning | |
| Zeng et al. | A survey on path planning for persistent autonomy of autonomous underwater vehicles | |
| CN109765929B (zh) | 一种基于改进rnn的uuv实时避障规划方法 | |
| Guo et al. | Research progress of path planning methods for autonomous underwater vehicle | |
| CN110471426A (zh) | 基于量子狼群算法的无人驾驶智能车自动避碰方法 | |
| CN112612290B (zh) | 一种考虑洋流的水下航行器三维多任务路径规划方法 | |
| Song et al. | Guidance and control of autonomous surface underwater vehicles for target tracking in ocean environment by deep reinforcement learning | |
| Li et al. | Three-dimensional path planning for AUVs in ocean currents environment based on an improved compression factor particle swarm optimization algorithm | |
| Yang et al. | Intelligent path planning of underwater robot based on reinforcement learning | |
| CN112650246B (zh) | 一种船舶自主导航方法及装置 | |
| Lan et al. | Path planning for underwater gliders in time-varying ocean current using deep reinforcement learning | |
| Yan et al. | Autonomous underwater vehicles: localization, tracking, and formation | |
| CN113391633A (zh) | 一种面向城市环境的移动机器人融合路径规划方法 | |
| Yan et al. | A novel path planning for AUV based on objects’ motion parameters predication | |
| Xue et al. | Multi-agent deep reinforcement learning for UAVs navigation in unknown complex environment | |
| Zhang et al. | Intelligent vector field histogram based collision avoidance method for auv | |
| CN116578102B (zh) | 水下自主航行器避障方法、装置、计算机设备和存储介质 | |
| CN116466701A (zh) | 一种无人水面艇能耗最小轨迹规划方法 | |
| CN116243717A (zh) | 考虑海流不确定性的水下机器人时间最优路径规划方法 | |
| CN115793639A (zh) | 基于强化学习算法的无人艇复杂路径规划方法及装置 | |
| CN113008223B (zh) | 基于粒子滤波与图优化的海底地形同步定位与建图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |