CN112180950A - 一种基于强化学习的智能船舶自主避碰及路径规划方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的智能船舶自主避碰及路径规划方法，包括以下步骤：1)获取本船周围的环境信息以及本船信息，感知环境状态空间；2)根据环境状态空间内的障碍物位置、航速，航向在内的相关信息计算避碰参数，判断是否存在碰撞风险；3)如果无碰撞风险，则直接进行路径规划；如果存在碰撞风险，则建立融合LSTM和强化学习原理搭建的智能船避碰模型，寻找避让的最佳避碰策略，获取对应的本船避碰所需的航速和航向；4)避碰策略执行结束之后，根据设定条件确定碰撞风险消失的临界位置点作为新的起点，然后利用路径规划算法重新进行路径规划。本发明引入了LSTM神经网络，运用Bellman方程更新最优策略，实现避碰动作的连续性。

Description

一种基于强化学习的智能船舶自主避碰及路径规划方法

技术领域

本发明涉及路径规划技术，尤其涉及一种基于强化学习的智能船舶自主避碰及路径规划方法。

背景技术

随着人工智能技术的发展，船舶智能化、自动化的发展已经成为一个主流趋势。目前对于智能船舶避碰和路径规划的研究有很多，如果采用现有的方法进行避碰和路径规划，往往会造成分析量大、不符合避碰规则以及路径规划不及时、不智能等结果，难以实现快速的避碰决策以及路径规划。为了保障智能船舶航行安全，亟需一种能够实现自主避碰以及实时路径规划的方法。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于强化学习的智能船舶自主避碰及路径规划方法。

本发明解决其技术问题所采用的技术方案是：一种基于强化学习的智能船舶自主避碰及路径规划方法，包括以下步骤：

1)获取本船周围的环境信息以及本船信息，感知环境状态空间；

所述环境信息为本船周围的船舶信息包括周围船舶的经度、纬度、航速、航向、船长、船宽、真方位、相对方位、MMSI信息；

所述本船信息包括船速、航向、吃水深度、经度、纬度信息；

2)根据环境状态空间内的障碍物位置、航速，航向在内的相关信息计算DCPA、TCPA和SDA避碰参数，判断是否存在碰撞风险；

3)如果无碰撞风险，则直接(利用Dijkstra算法)进行路径规划；如果存在碰撞风险，则建立融合LSTM和强化学习原理搭建的智能船避碰模型，寻找避让的最佳避碰策略，获取对应的本船避碰所需的航速和航向；

5)避碰策略执行结束之后，根据设定条件确定碰撞风险消失的临界位置点作为新的起点，然后利用Dijkstra算法重新进行路径规划。

按上述方案，所述步骤2)中避碰参数DCPA、TCPA、SDA计算如下：

DCPA计算公式:

TCPA计算公式:

其中(x，y)表示本船的位置，(x₀，y₀)表示障碍物的位置，

表示相对航向，α_t目标船真方位，v_r表示相对航速；

SDA计算公式：

其中R_f、R_a、R_p、R_s分别为图2船舶领域模型的纵向半径的前后半径，横向半径的左右半径，q为障碍物方位。

按上述方案，所述步骤3)中建立融合LSTM和强化学习原理搭建的智能船避碰模型，具体如下：

3.1)根据对环境的感知构建Markov决策过程E＝<S，R，P，A>，其中，S为状态空间，R为奖励空间，P为状态转移概率，A为动作空间；

3.2)数据准备：对船舶的静态数据和动态参数进行预处理，包括：

数据核验，对数据的完整性和准确性进行审核，删除错误的数据，并对缺失的数据进行补充；

数据去重，删除同一MMSI船舶、同一时刻的重复数据；

数据降噪，删除异常数据；

3.3)模型训练：将准备好的数据输入融合LSTM和强化学习原理搭建的模型进行训练；

所述模型的结构如下：LSTM神经网络具有若干层计算单元，包括有输入门、输出门和遗忘门，利用LSTM神经网络对数据进行训练，根据智能船的观察值输出避碰动作，可达到记忆避碰动作的目的。然后基于强化学习的原理，根据奖励值的大小评价当前避碰策略的优劣程度。

3.4)根据训练得到可行的避碰策略更新本船的位置、航向、航速信息，同时返回奖励值，然后把奖励值代入动作价值函数，通过求解Bellman最优方程确定最有价值，从而确定最优避碰策略，然后根据最优避碰策略确定本船的航向和航速，并更新奖励值；

利用Bellman方程不断更新价值函数，直到最优价值收敛，从而获取最优避碰策略，即航速和航向；

状态价值函数

v_π(s)＝∑_a∈Aπ(a|s)q_π(s,a),s∈S

v_π(s)：状态价值函数

q_π(s,a)：动作价值函数

S:表示状态空间；

s：表示状态；

a：表示动作；

动作价值函数：

q_π(s,a)＝r(s,a)+γ∑_s′∈Sp(s′|s,a)v_π(s′),s∈S,a∈A

p(s′|s,a)：状态转移概率；

r(s,a)：“状态-动作”的期望奖励；

γ：折扣系数；

A：表示动作空间；

s′：表示下一状态；

最优状态价值和最优动作价值满足Bellman最优方程：

q_*(s,a)＝r(s,a)+γ∑_s′∈Sp(s′|s,a)v_*(s′),s∈S,a∈A

用Bellman最优方程求解出最优价值后，采用

s∈S确定出一个确定性的最优策略。

按上述方案，所述步骤3.4)中所述的奖励值包括：

R_offcourse＝-w_offcourse*D_offcourse

R_t＝R_distance+R_offcourse+R_collision

其中，R_distance表示接近目的地的奖励值，R_offcourse表示偏离航向的奖励值，R_collision表示避碰的奖励值，w_distance、w_offcourse、w_collision分别表示距离、偏离航线、避碰对激励函数的影响权重，Z₀表示本船到障碍物的距离，(x₀，y₀)表示障碍物的位置，(x_goal，y_goal)表示目的地的位置，R_t则表示在t时刻奖励值的总和。

按上述方案，所述步骤5)中设定条件为本船到障碍物的距离大于等于安全会遇距离时的最小值。

当本船与障碍物之间的距离大于等于安全会遇距离时，即碰撞风险消失，船舶重新启动路径规划，把碰撞风险消失的位置作为路径规划的起点，以目的地作为终点，利用Dijkstra算法重新进行路径规划。

本发明产生的有益效果是：

1、本发明引入了LSTM神经网络，运用Bellman方程更新最优策略，采用强化学习所学习到的策略进行避碰，实现避碰动作的连续性；

2、本发明将强化学习和Dijkstra最短路径算法相结合，在实现智能船自主避碰的同时对智能船的路径进行规划，提升智能船航行安全。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的结构示意图；

图2是本发明实施例的船舶领域模型图；

图3是本发明实施例的强化学习方法的原理图；

图4是本发明实施例的LSTM神经网络结构图；

图5是本发明实施例的路径规划的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提出了一种基于强化学习的智能船舶自主避碰及路径规划方法，包括以下步骤：

1)通过雷达、AIS等设备获取本船周围的环境信息以及本船信息，感知环境状态空间；

所获取的信息主要包括本船的信息和障碍物的信息；所述本船信息包括船速、航向、吃水、经度、纬度等信息，所述障碍物信息包括经度、纬度、航速、航向、船长、船宽、真方位、相对方位、MMSI等信息；

2)计算避碰参数DCPA、TCPA、SDA；

DCPA计算公式:

TCPA计算公式:

其中(x，y)表示本船的位置，(x₀，y₀)表示障碍物的位置，

表示相对航向，α_t目标船真方位，v_r表示相对航速

SDA计算公式：

其中R_f、R_a、R_p、R_s分别为图2中船舶领域模型的纵向半径的前后半径，横向半径的左右半径，q为障碍物方位。

3)根据计算的避碰参数判断是否有碰撞风险，当TCPA>0，并且DCPA<SDA时，则判断会发生碰撞风险；如存在碰撞风险，则运用强化学习方法学习避碰策略；

如果没有碰撞风险，则根据Dijkstra算法进行路径规划；

4)利用融合LSTM和强化学习原理搭建的智能船避碰训练模型来学习避碰策略。具体包括以下子步骤：

步骤4.1)根据对环境的感知构建Markov决策过程E＝<S，R，P，A>，其中S为状态空间，R为奖励空间，P为状态转移概率，A为动作空间；

步骤4.2)对船舶的静态数据和动态参数进行预处理，数据准备阶段；

步骤4.3)将准备好的数据输入融合LSTM和强化学习原理搭建的模型进行训练；

模型的结构如图3和图4：LSTM神经网络具有若干层计算单元，包括有输入门、输出门和遗忘门，利用LSTM神经网络对数据进行训练，根据智能船的观察值输出避碰动作，可达到记忆避碰动作的目的。然后基于强化学习的原理，根据奖励值的大小评价当前避碰策略的优劣程度。

根据奖励函数并返回一个奖励值，用来评价避碰策略的好坏；奖励函数包括：

R_offcourse＝-w_offcourse*D_offcourse

R_t＝R_distance+R_offcourse+R_collision

其中R_distance表示接近目的地的奖励值，R_offcourse表示偏离航向的奖励值，R_collision表示避碰的奖励值，w_distance、w_offcourse、w_collision分别表示距离、偏离航线、避碰对激励函数的影响权重，Z₀表示本船到障碍物的距离，(x₀，y₀)表示障碍物的位置，(x_goal，y_goal)表示目的地的位置。R_t则表示在t时刻奖励值的总和。

步骤4.5)利用Bellman方程不断的更新价值函数，直到最优价值改变很小，从而获取最优避碰策略，即航速和航向；

状态价值函数：

v_π(s)＝∑_a∈Aπ(a|s)q_π(s,a),s∈S

动作价值函数：

q_π(s,a)＝r(s,a)+γ∑_s′∈Sp(s′|s,a)v_π(s′),s∈S,a∈A

最优状态价值和最优动作价值满足Bellman最优方程：

q_*(s,a)＝r(s,a)+γ∑_s′∈Sp(s′|s,a)v_*(s′),s∈S,a∈A

用Bellman最优方程求解出最优价值后，可以用

s∈S确定出一个确定性的最优策略。

5)根据最优策略计算船和障碍物之间碰撞风险消失的临界点，即本船到障碍物的距离大于等于安全会遇距离时的最小值，然后启动路径规划程序，利用Dijkstra算法重新进行路径规划，如图5。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于强化学习的智能船舶自主避碰及路径规划方法，其特征在于，包括以下步骤：

1)获取本船周围的环境信息以及本船信息，感知环境状态空间；

所述环境信息为本船周围的船舶信息包括周围船舶的经度、纬度、航速、航向、船长、船宽、真方位、相对方位、MMSI信息；

所述本船信息包括船速、航向、吃水深度、经度、纬度信息；

2)根据环境状态空间内的障碍物位置、航速，航向在内的相关信息计算避碰参数，判断是否存在碰撞风险；

3)如果无碰撞风险，则直接进行路径规划；如果存在碰撞风险，则建立融合LSTM和强化学习原理搭建的智能船避碰模型，寻找避让的最佳避碰策略，获取对应的本船避碰所需的航速和航向；

4)避碰策略执行结束之后，根据设定条件确定碰撞风险消失的临界位置点作为新的起点，然后利用路径规划算法重新进行路径规划。

2.根据权利要求1所述的基于强化学习的智能船舶自主避碰及路径规划方法，其特征在于，所述步骤3)中进行路径规划是利用Dijkstra算法进行路径规划。

3.根据权利要求1所述的基于强化学习的智能船舶自主避碰及路径规划方法，其特征在于，所述步骤2)中避碰参数包括：DCPA、TCPA、SDA，计算如下：

DCPA计算公式:

TCPA计算公式:

其中(x，y)表示本船的位置，(x₀，y₀)表示障碍物的位置，

表示相对航向，α_t目标船真方位，v_r表示相对航速；

SDA计算公式：

其中，R_f、R_a、R_p、R_s分别船舶领域模型的纵向半径的前后半径，横向半径的左右半径，q为障碍物方位。

4.根据权利要求1所述的基于强化学习的智能船舶自主避碰及路径规划方法，其特征在于，所述步骤3)中建立融合LSTM和强化学习原理搭建的智能船避碰模型，具体如下：

3.1)根据对环境的感知构建Markov决策过程E＝<S，R，P，A>，其中，S为状态空间，R为奖励空间，P为状态转移概率，A为动作空间；

3.2)数据准备：对船舶的静态数据和动态参数进行预处理，包括：

数据核验，对数据的完整性和准确性进行审核，删除错误的数据，并对缺失的数据进行补充；

数据去重，删除同一MMSI船舶、同一时刻的重复数据；

数据降噪，删除异常数据；

3.3)模型训练：将准备好的数据输入融合LSTM和强化学习原理搭建的模型进行训练；

3.4)根据训练得到可行的避碰策略更新本船的位置、航向、航速信息，同时返回奖励值，然后把奖励值代入动作价值函数，通过求解Bellman最优方程确定最有价值，从而确定最优避碰策略，然后根据最优避碰策略确定本船的航向和航速，并更新奖励值；

利用Bellman方程不断更新价值函数，直到最优价值收敛，从而获取最优避碰策略，即航速和航向；

状态价值函数：

v_π(s)＝∑_a∈Aπ(a|s)q_π(s,a),s∈S

其中，v_π(s)为状态价值函数，q_π(s,a)为动作价值函数，S表示状态空间，s表示状态，a表示动作；

动作价值函数：

q_π(s,a)＝r(s,a)+γ∑_s′∈Sp(s′|s,a)v_π(s′),s∈S,a∈A

其中，p(s′|s,a)为状态转移概率，r(s,a)为“状态-动作”的期望奖励，γ为折扣系数，A表示动作空间，s′表示下一状态；

最优状态价值和最优动作价值满足Bellman最优方程：

q_*(s,a)＝r(s,a)+γ∑_s′∈Sp(s′|s,a)v_*(s′),s∈S,a∈A

用Bellman最优方程求解出最优价值后，采用

确定出一个确定性的最优策略。

5.根据权利要求4所述的基于强化学习的智能船舶自主避碰及路径规划方法，其特征在于，所述步骤3.4)中所述的奖励值包括：

R_offcourse＝-w_offcourse*D_offcourse

R_t＝R_distance+R_offcourse+R_collision

其中，R_distance表示接近目的地的奖励值，R_offcourse表示偏离航向的奖励值，R_collision表示避碰的奖励值，w_distance、w_offcourse、w_collision分别表示距离、偏离航线、避碰对激励函数的影响权重，Z₀表示本船到障碍物的距离，(x₀，y₀)表示障碍物的位置，(x_goal，y_goal)表示目的地的位置，R_t则表示在t时刻奖励值的总和。

6.根据权利要求1所述的基于强化学习的智能船舶自主避碰及路径规划方法，其特征在于，所述步骤5)中设定条件为本船到障碍物的距离大于等于安全会遇距离时的最小值。

Images