CN113173232B

CN113173232B - 一种基于人机共融的船舶智能辅助驾控系统及方法

Info

Publication number: CN113173232B
Application number: CN202110249191.5A
Authority: CN
Inventors: 万程鹏; 赵银祥; 张笛; 张金奋; 吴兵
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2021-03-08
Filing date: 2021-03-08
Publication date: 2022-06-14
Anticipated expiration: 2041-03-08
Also published as: CN113173232A

Abstract

本发明公开了一种基于人机共融的船舶智能辅助驾控系统及方法，其中系统包括：感知模块，用于采集航行环境信息和船舶信息；认知模块，用于采用预设的认知模型对所述感知模块获取的信息进行分析和处理，判断和更新两船或多船混行的态势和船舶自身的状态；决策模块，用于根据所述感知模块和所述认知模块获得的信息对船舶的航行轨迹、船舶速度、航向进行制定，生成驾驶策略；控制模块，用于根据所述驾驶策略辅助驾驶员控制船舶。本发明通过构建常规船和智能船安全的人机共融模式，为常规船和智能船混行场景下的避障提供辅助决策，提高常规船和智能船混行的安全性，可广泛应用于智能船舶辅助驾驶领域。

Description

一种基于人机共融的船舶智能辅助驾控系统及方法

技术领域

本发明涉及智能船舶辅助驾驶领域，尤其涉及一种基于人机共融的船舶智能辅助驾控系统及方法。

背景技术

随着船舶智能化和自主化进程的加快，我国不断加大对智能船发展的重视程度，就目前智能船发展的状况来看，智能船舶将在中长期内投入运营，航道内势必会出现常规船和智能船混行的情况。然而目前针对常规船和智能船混行的风险研究较为缺乏，如何辅助驾驶员安全驾驶得到更多人的关注。

术语解释：

常规船，由驾驶员驾驶的能航行或停泊于水域进行运输或作业的交通工具。

智能船，具有一定智能等级，在智能系统或者岸基远程控制下能够航行或停泊于水域进行运输或作业的交通工具。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于一种基于人机共融的船舶智能辅助驾控系统及方法。

本发明所采用的技术方案是：

一种基于人机共融的船舶智能辅助驾控系统，包括：

感知模块，用于采集航行环境信息和船舶信息；其中，航行环境信息包括气象信息、水文信息和航道信息；船舶信息包括本船的能源消耗、船舶状况、位置信息、航向信息、航速信息，以及他船的航向信息、位置信息、航速信息；

认知模块，用于采用预设的认知模型对所述感知模块获取的信息进行分析和处理，判断和更新两船或多船混行的态势和船舶自身的状态；

决策模块，用于根据所述感知模块和所述认知模块获得的信息对船舶的航行轨迹、船舶速度、航向进行制定，生成驾驶策略；

控制模块，用于根据所述驾驶策略辅助驾驶员控制船舶。

进一步，所述感知模块包括：

视觉感知系统，包括毫米波雷达、超声波雷达、红外设备和摄像头，用于对目标进行检测跟踪，以及对图像进行识别并分割；

水文气象感知系统，包括压力传感器、水文测控设备以及气象测控设备，所述压力传感器用于获取水的压力信息，所述水文测控设备用于对水深、水流方向进行监测和感知，所述气象测控设备用于对天气、风级、风向以及能见度进行监测和感知；

船体监测系统，包括设备监测传感器，用于对本船的设备状态进行监测、故障定位和诊断、健康评估和管理；

数据处理系统，包括数据接收终端、数据处理芯片以及数据发送终端，所述数据接收终端用于接收他船的信息，他船的信息包括静态船舶数据和动态船舶数据；所述数据处理芯片用于对所述视觉感知系统、所述水文气象感知系统、所述船体监测系统以及他船的信息进行筛选、降噪处理，并通过数据发送终端发送至认知模块。

进一步，所述认知模型为采用知识图谱技术构建的认知模型；

所述认知模型用于对感知模块获取的信息进行数据挖掘处理、认知计算和推理处理、知识表示处理，并实时对航行态势进行判断，将认知的信息发送到所述决策模块。

进一步，所述决策模块包括：

航行决策系统，用于根据从所述感知模块和所述认知模块获取的信息，采用路径规划算法，对本船航行的目的地、路线信息进行决策，并将决策信息发送到控制模块；

风险决策系统，用于构建风险决策模型，将从所述认知模块获取的信息代入所述风险决策模型，对目前船舶所处的风险等级进行决策，对采取措施的时机进行决策，并将决策信息发送到控制模块；

避碰决策系统，用于根据从所述感知模块和所述风险决策系统获得的信息，采用神经网络避碰决策算法，对避碰所需的速度、航向进行调整，并将决策信息发送到控制模块。

进一步，所述控制模块包括：

动力控制系统，包括动力传感器和动力设备，所述决策模块的信息通过所述动力传感器传输到所述动力设备，控制发动机的转速，为船舶航行提供动力；

航向控制系统，包括舵角传感器和舵设备，所述决策模块的信息通过所述舵角传感器传输到所述舵设备，控制船舶的航向；

速度控制系统，包括速度传感器和速度控制器，所述决策模块的信息通过所述速度传感器传输到所述速度控制器，对速度进行控制，保证船舶的安全航速。

进一步，所述控制模块还包括MPC路径跟踪控制器，所述MPC路径跟踪控制器包括预测模型、反馈校正单元和滚动优化单元；

所述预测模型用于预测船舶航行的轨迹；

所述反馈校正单元用于根据参考轨迹对预测的轨迹进行校正反馈；

所述滚动优化单元用于根据反馈的信息对船舶航行的轨迹进行实时优化。

进一步，所述预测模型的表达式为：

x(t+1)＝Ax(t)+Bu(t)

y(t)＝Cx(t)

其中，x(t+1)代表下一时刻状态，x(t)代表上一时刻状态，u(t)代表未来输入，y(t)代表模型输出的状态，A、B、C均为系数矩阵。

进一步，所述反馈校正单元的表达式为：

y(t+1|t)＝y_m(t+1|t)+e(t+1|t)

e(t+1|t)＝y(t|t)-y_m(t|t)

本发明所采用的另一技术方案是：

一种基于人机共融的船舶智能辅助驾控方法，包括：

采集航行环境信息和船舶信息；

采用预设的认知模型对采集到的信息进行分析和处理，判断和更新两船或多船混行的态势和船舶自身的状态，获得航行状态信息；

根据采集到的信息和所述航行状态信息对船舶的航行轨迹、船舶速度、航向进行制定，生成驾驶策略；

根据所述驾驶策略辅助驾驶员控制船舶；

其中，航行环境信息包括气象信息、水文信息和航道信息；船舶信息包括本船的能源消耗、船舶状况、位置信息、航向信息、航速信息，以及他船的航向信息、位置信息、航速信息。

进一步，所述根据所述驾驶策略辅助驾驶员控制船舶的步骤包括对航行路径跟踪的步骤，包括：

预测船舶航行的轨迹；

根据参考轨迹对预测的轨迹进行校正反馈；

根据反馈的信息对船舶航行的轨迹进行实时优化。

本发明的有益效果是：本发明通过构建常规船和智能船安全的人机共融模式，为常规船和智能船混行场景下的避障提供辅助决策，提高常规船和智能船混行的安全性。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本发明实施例中一种基于人机共融的船舶智能辅助驾控系统的结构框图；

图2是本发明实施例中MPC路径跟踪控制器的工作流程图；

图3是本发明实施例中感知阶段采集信息的示意图；

图4是本发明实施例中一种基于人机共融的船舶智能辅助驾控方法的步骤流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

如图1所示，本实施例提供一种基于人机共融的船舶智能辅助驾控系统，包括：

感知模块，用于采集航行环境信息和船舶信息，作为感知阶段，该阶段获取的信息如图 3所示；其中，航行环境信息主要包括温度、湿度、风流状况等气象信息，水深、流向、流速等水文信息和交通密度、航道边界、航道宽度等航道信息；船舶信息主要包括本船的能源消耗、船舶状况、位置、航向、航速等信息，以及他船的航向、位置、航速等信息。

认知模块，用于采用预设的认知模型对感知模块获取的信息进行分析和处理，判断和更新两船或多船混行的态势和船舶自身的状态，作为数据处理和理解阶段。其中，两船或多船混行的态势是指常规船和智能船之间形成的追越、会遇和交叉相遇等航行态势；船舶自身状态主要是指船舶的速度、航向、船体结构状况、偏离航线误差等船舶自身的情况。

决策模块，用于根据感知模块和认知模块获得的信息对船舶的航行轨迹、船舶速度、航向进行制定，生成驾驶策略；作为驾驶策略生成阶段。

控制模块，根据驾驶策略对常规船和智能船进行协同控制，作为船舶执行阶段。

具体地，感知模块包括：

视觉感知系统：由毫米波雷达、超声波雷达、红外设备和摄像头组成。主要功能是对目标进行检测跟踪、对图像进行识别并分割。

水文气象感知系统：由压力传感器、水文测控设备以及气象测控设备组成。压力传感器用于获取水的压力，水文测控设备主要是对水深、水流方向等进行监测和感知，气象测控设备主要是对天气、风级、风向以及能见度进行监测和感知。

船体监测系统：由设备监测传感器组成。主要对于本船的重要设备状态进行实时监测、故障定位和诊断、健康评估和管理。

数据处理系统：由数据接收终端、数据处理芯片以及数据发送终端组成。数据接收终端主要接收他船的信息，主要信息包括静态船舶数据(船名、呼号、船长、总吨、目的港、货物等)和动态船舶数据(船位、速度)等。数据处理芯片对视觉感知系统、水文气象感知系统、船体监测系统以及他船的信息进行筛选、降噪处理，并通过数据发送终端，发送至认知模块。

具体地，认知模块主要包括：

认知计算系统：主要采用知识图谱技术构建的认知模型。知识图谱技术主要是指知识图谱建立和应用的技术，该认知模型主要是对感知模块获取的信息进行数据挖掘、认知计算和推理、知识表示等处理，并实时对航行态势进行判断，把认知信息发送到决策模块。

具体地，决策模块主要包括：

航行决策系统：根据从感知模块和认知模块获取的信息，采用路径规划算法，对本船航行的目的地、路线信息进行决策，并将决策信息发送到控制模块。

风险决策系统：基于常规船的事故数据把风险要素作为输入，风险等级作为输出利用机器学习算法进行训练和学习，构建风险决策模型，把从认知模块获取的信息代入风险决策模型，对目前船舶所处的风险等级进行决策，对采取措施的时机进行决策，并将决策信息发送到控制模块。

避碰决策系统：根据从感知模块和风险决策系统获取的信息，采用神经网络避碰决策算法，对避碰所需的速度、航向进行调整，并将决策信息发送到控制模块。

具体地，控制模块主要包括：

动力控制系统：由动力传感器和动力设备组成，决策模块的信息通过动力传感器传输到动力设备，控制发动机的转速为船舶航行提供动力。

航向控制系统：由舵角传感器和舵设备组成，决策模块的信息通过舵角传感器传输到舵设备，控制船舶航向。

速度控制系统：由速度传感器和速度控制器组成，决策模块的信息通过速度传感器传输到速度控制器，对速度进行控制，保证船舶的安全航速。

进一步作为可选的实施方式，控制模块中还包括MPC路径跟踪控制器，MPC路径跟踪控制器包括预测模型、反馈校正单元和滚动优化单元三部分。

如图2所示，在本实施例的MPC路径跟踪控制器中，首先根据感知模块获取当前智能船的运动状态，根据决策模块获取参考路径，RBF神经网络通过状态历史信息对未知干扰项进行逼近，并结合系统预测模型对预测时域Np内的所有未来状态进行预测，根据规划路径和预测路径误差建立优化函数，通过求解优化函数计算出最优控制输出，等下一时刻，船舶运动系统继续将状态值皮馈给控制器，进行滚动优化。以下对预测模型、反馈校正单元和滚动优化单元三部分进行详细说明。

(1)预测模型

1)功能：根据智能船的历史信息{u(t-j)，y(t-j)|j≥1}和未来输入{u(t+j-1)|j＝1，2，...，M}，预测系统未来响应{y(t+j)，y(t-j)|j＝1，2，...，P}。

2)形式：

参数模型包括：微分方程、差分方程、状态方程、传递函数等；

非参数模型包括：脉冲响应、阶跃响应、模糊模型、智能模型等。

本实施例采取状态方程作为预测模型，公式如下：

x(t+1)＝Ax(t)+Bu(t) (1)

y(t)＝Cx(t) (2)

其中，x(t)为上一时刻状态，u(t)为未来输入，x(t+1)为下一时刻状态，y(t)为输出状态， A、B、C均为系数矩阵。

(2)、反馈校正单元

模型预测控制算法，每一时刻都会将参考路径的信息与基于模型预测的预测轨迹进行对比并修正，然后在再进行新的优化。反馈校正的公式如下：

y(t+1|t)＝y_m(t+1|t)+e(t+1|t) (3)

e(t+1|t)＝y(t|t)-y_m(t|t) (4)

(3)、滚动优化单元

1)实时在线优化，每时刻反复进行。

2)根据预测轨迹与参考路径的误差设置优化函数，实时进行滚动优化。

综上所述，本实施例提供的一种基于人机共融的船舶智能辅助驾控系统，包括四个模块，分别为感知模块、认知模块、决策模块和控制模块。有利于构建常规船和智能船安全的人机共融模式，为常规船和智能船混行场景下的避障提供辅助决策，从而提高常规船和智能船混行的安全性。

如图4所示，本实施例还提供一种基于人机共融的船舶智能辅助驾控方法，包括：

S1、采集航行环境信息和船舶信息；

S2、采用预设的认知模型对采集到的信息进行分析和处理，判断和更新两船或多船混行的态势和船舶自身的状态，获得航行状态信息；

S3、根据采集到的信息和航行状态信息对船舶的航行轨迹、船舶速度、航向进行制定，生成驾驶策略；

S4、根据驾驶策略辅助驾驶员控制船舶；

进一步作为可选的实施方式，根据驾驶策略辅助驾驶员控制船舶的步骤包括对航行路径跟踪的步骤，包括：

预测船舶航行的轨迹；

根据参考轨迹对预测的轨迹进行校正反馈；

根据反馈的信息对船舶航行的轨迹进行实时优化。

本实施例的一种基于人机共融的船舶智能辅助驾控方法与上述的一种基于人机共融的船舶智能辅助驾控系统具有对应的关系，具有相应的功能及有益效果。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种基于人机共融的船舶智能辅助驾控系统，其特征在于，包括：

控制模块，用于根据所述驾驶策略辅助驾驶员控制船舶；

所述感知模块包括：

数据处理系统，包括数据接收终端、数据处理芯片以及数据发送终端，所述数据接收终端用于接收他船的信息，他船的信息包括静态船舶数据和动态船舶数据；所述数据处理芯片用于对所述视觉感知系统、所述水文气象感知系统、所述船体监测系统以及他船的信息进行筛选、降噪处理，并通过数据发送终端发送至认知模块；

所述认知模型为采用知识图谱技术构建的认知模型；

所述认知模型用于对感知模块获取的信息进行数据挖掘处理、认知计算和推理处理、知识表示处理，并实时对航行态势进行判断，将认知的信息发送到所述决策模块；

所述决策模块包括：

避碰决策系统，用于根据从所述感知模块和所述风险决策系统获得的信息，采用神经网络避碰决策算法，对避碰所需的速度、航向进行调整，并将决策信息发送到控制模块；

所述控制模块包括：

2.根据权利要求1所述的一种基于人机共融的船舶智能辅助驾控系统，其特征在于，所述控制模块还包括MPC路径跟踪控制器，所述MPC路径跟踪控制器包括预测模型、反馈校正单元和滚动优化单元；

所述预测模型用于预测船舶航行的轨迹；

3.根据权利要求2所述的一种基于人机共融的船舶智能辅助驾控系统，其特征在于，所述预测模型的表达式为：

x(t+1)＝Ax(t)+Bu(t)

y(t)＝Cx(t)

4.根据权利要求2所述的一种基于人机共融的船舶智能辅助驾控系统，其特征在于，所述反馈校正单元的表达式为：

y(t+1|t)＝y_m(t+1|t)+e(t+1|t)

e(t+1|t)＝y(t|t)-y_m(t|t)

5.一种利用权利要求1-4任一项所述的基于人机共融的船舶智能辅助驾控系统的驾控方法，其特征在于，包括：

采集航行环境信息和船舶信息；

根据所述驾驶策略辅助驾驶员控制船舶；

6.根据权利要求5所述的驾控方法，其特征在于，所述根据所述驾驶策略辅助驾驶员控制船舶的步骤包括对航行路径跟踪的步骤，包括：

预测船舶航行的轨迹；

根据参考轨迹对预测的轨迹进行校正反馈；

根据反馈的信息对船舶航行的轨迹进行实时优化。