CN113942623A - 一种智慧航行平台和航行方法 - Google Patents

Abstract

本发明提供了一种智慧航行平台和航行方法，通过各类传感器获取智能船舶环境感知数据并进行数据融合，实现了在通航条件畅通情况下完成基本的自主航行任务，在通航条件复杂的情况下为驾驶人员提供航行决策建议的功能。本发明重构并以视频图像形式展示航行场景，方便了驾驶人员了解船舶航行状态。

Description

一种智慧航行平台和航行方法

技术领域

本发明属于无人船智能感知与数据融合技术领域，具体涉及一种智慧航行平台和航行方法。

背景技术

近年来，随着物联网、大数据和机器智能等信息通信新技术的迅速发展，作为海洋开发和海上交通的重要载体-船舶的智能化水平也成为亟待提高的关键问题。

目前不少国家已启动无人船的研制和相关基础设施建设，中国也提出建成船舶信息感知网、物联网及信息物理系统CPS管理平台，实现船舶大数据与智能化技术的深化应用。物联网(Internet of Things，IoT)技术使万物互联成为可能，通过智能感知和数据处理，使无人船在智能航行、资产追踪、远程监测、故障诊断/预测等领域实现智能化。智能航行控制作为船舶智能化实现的关键技术之一，是指无人船利用控制技术、大数据处理、多传感器信息融合技术等对感知和获得的信息进行分析和处理，对船舶航路、航速进行设计和迭代优化，最终实现自主航行。

有鉴于此，有必要提供一种智慧航行平台作为海洋开发和海上交通的重要载体。

发明内容

本发明要解决的技术问题是：提供一种智慧航行平台和航行方法，用于自主航行。

本发明为解决上述技术问题所采取的技术方案为：一种智慧航行平台，包括船载平台与岸基平台；船载平台包括感知模块、船载数据处理模块、船载通信模块、船载监控模块、执行模块；感知模块的信号发送端连接船载数据处理模块的信号接收端，用于通过传感器获取船舶周边环境的信息并发送给船载数据处理模块；感知模块包括航海雷达、AIS设备、风向风速仪和若干个自适应瞭望装置；自适应瞭望装置分布在船舶边沿，包括布置在船首的第一自适应瞭望装置，布置在船尾的第二自适应瞭望装置，布置在左舷两端的第三自适应瞭望装置和第四自适应瞭望装置，布置在右舷两端的第五自适应瞭望装置和第六自适应瞭望装置，布置在左舷中间的第七自适应瞭望装置，布置在左舷中间的第八自适应瞭望装置，用于全面监控船舶周边环境；船载数据处理模块的双向信号收发端连接船载通信模块的双向信号收发端，用于处理并上传船舶周边环境信息、接收航行指令控制执行模块；船载通信模块包括5G通信设备和数传电台，5G通信设备用于向岸基平台传输图像数据，数传电台用于向岸基平台传输传感器数据；船载监控模块的信号发送端连接船载数据处理模块的信号接收端，用于实时采集船舶周边的状况并上传图像数据；执行模块的信号接收端连接船载数据处理模块的信号发送端，用于根据收到的航行指令通过舵机控制船舶的速度与方向；岸基平台包括岸基数据处理模块、岸基通信模块、岸基监控模块；岸基通信模块的双向信号收发端连接岸基数据处理模块的双向信号收发端，用于通过无线方式接收船载通信模块发送的视频数据和传感器数据并发送给岸基数据处理模块，同时将岸基数据处理模块输出的航行指令发送给船载通信模块；岸基监控模块的信号发送端连接岸基数据处理模块的信号接收端，用于实时采集船舶周边的状况并上传视频信号；岸基数据处理模块用于融合处理包括视频图像数据、激光测距数据、AIS数据、雷达观测数据、电子海图数据。

按上述方案，自适应瞭望装置包括摄像单元组合、激光测距仪、云台和云台防摇摆装置；摄像单元组合包括高清日间摄像机、红外摄像机和激光摄像机，摄像单元组合和激光测距仪固定在云台上；云台防摇摆装置设置在云台上。

按上述方案，船载数据处理模块包括船舶智能控制终端；船载监控模块包括摄像机。

按上述方案，执行模块包括舵机、柴油机和连接结构；连接结构用于连接舵机与柴油机的油门和把手。

按上述方案，岸基监控模块、岸基数据处理模块和操作模块通过上位机程序实现，上位机程序采用包括Python、QML、JS、HTML、CSS、SQL的环境开发而成；船载通信模块与岸基通信模块之间的通信链路采用区块链技术保证信息安全。

按上述方案，岸基平台还包括操作模块和显示模块；操作模块的信号发送端连接岸基数据处理模块的信号接收端，用于将用户的操作转换为控制命令输出给岸基数据处理模块；显示模块的信号接收端连接岸基数据处理模块的信号发送端，用于显示船舶的各种状态信息。

一种智慧航行方法，包括以下步骤：

S1：摄像机获取船舶周围的图像数据、激光雷达获取船舶周边物体距离的雷达观测数据、激光测距仪获取物体的距离数据、风向风速仪获取风速和风向数据、AIS设备获取船舶自身和周围其他船舶位置的数据，上述传感器分别将采集的传感器数据发送给船载数据处理模块；

S2：船载数据处理模块通过船载通信模块的5G通信设备将图像数据发送到岸基通信模块、通过船载通信模块的数传电台将包括航海雷达数据、AIS设备数据、风向风速数据和激光测距数据的环境感知数据发送传到岸基通信模块；岸基通信模块将收到的数据传输给岸基数据处理模块；

S3：岸基数据处理模块对包括图像数据、雷达观测数据、电子海图信息和AIS信息的数据进行融合；

S4：岸基数据处理模块通过融合后的数据推算船舶周边的大致环境，并作出船舶航行指令；

S5：岸基数据处理模块依次通过岸基通信模块、船载通信模块的数传电台将船舶航行指令回传到船载数据处理模块；

S6：船载数据处理模块解析船舶航行指令，并控制舵机驱动船舶燃油机对船舶施加动力和方向，实现无人船航行。

进一步的，所述的步骤S3中，具体步骤为：

S31：融合图像数据、雷达观测数据以及激光测距数据，将通过图像识别得到的物体类型、物体特征与雷达扫测得到的障碍物的特征、方位数据作匹配，再通过激光测距仪校正，生成包括船舶、航道、航标、桥墩及其他水上漂浮物的对象模型；

S32：将对象模型与电子海图信息、AIS信息进行融合，形成信息完备的船舶航行环境模型。

进一步的，所述的步骤S31中，具体步骤为：

S311：通过现有数据提取水上各类物体的特征构建特征库，通过深度学习构建和训练水上物体识别模型；

S312：通过深度学习构建和训练水上物体检测模型，解析图像数据并提取物体特征；

S313：通过深度学习构建和训练雷达图像检测模型，解析雷达观测数据并提取物体特征；

S314：将步骤S312得到的物体特征与步骤S313得到的物体特征进行匹配融合，采用步骤S311得到的水上物体识别模型从融合后的物体特征中识别物体；

S315：从水上物体识别模型中选择图像特征与雷达检测特征最匹配的位置，采用激光测距数据对比并校正雷达观测数据中的距离，得到水上物体识别结果。

进一步的，所述的步骤S32中，具体步骤为：

S321：通过时空检索、量纲整合，对电子海图信息、AIS信息以及水上物体识别结果进行时空配准以及数据标准化；

S322：融合电子海图信息、AIS信息和水上物体识别结果；

S323：重构船舶航行感知的场景，得到船舶融合信息模型。

本发明的有益效果为：

1.本发明的一种智慧航行平台和航行方法，通过各类传感器获取智能船舶环境感知数据并进行数据融合，实现了在通航条件畅通情况下完成基本的自主航行任务，在通航条件复杂的情况下为驾驶人员提供航行决策建议的功能。

2.本发明重构并以视频图像形式展示航行场景，方便了驾驶人员了解船舶航行状态。

附图说明

图1是本发明实施例的系统结构示意图。

图2是本发明实施例的环境感知与数据融合过程图。

图3是本发明实施例的云台布置示意图。

图4是本发明实施例的自适应瞭望装置布置示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，本发明的实施例包括船载平台与岸基平台。

船载平台包括智能感知模块、数据处理模块、通信模块、监控模块和执行模块。

智能感知模块包括摄像机、航海雷达、激光测距仪、船舶自动识别系统AIS设备和风向风速仪，通过这些传感器获取船舶周边环境信息，还拥有多个自适应瞭望装置，并合理布置在船舶周围；如图3所示，自适应瞭望装置包括由1个高清日间摄像机、1个红外摄像机和1个激光摄像机组成的摄像单元组合、云台、激光测距仪、以及设置在云台上的云台防摇摆装置；参见图4，合理布置是指为满足对船舶周边环境的全面监控，需要在船舶周围布置8个自适应瞭望装置，布置情况为船首1个、船尾1个、左舷2个、右舷2个及两边中间各一个。智能感知模块利用各类传感器数据实现数字赋能，借助物联网技术打造新的传感器网络，实现现场环境的全面感知，结合智能云计算等技术，实现信息的深度感知，最终实现数据决策替代经验决策。

数据处理模块包括船舶智能控制终端，通过船舶智能控制终端处理感知模块获得的数据。

通信模块包括5G通信设备和数传电台，通过5G设备向岸基传输视频数据，通过数传电台向岸基传输传感器数据；通信模块由传感器获取船舶周边环境信息，经过数传电台，传输到上位机程序；再由上位机程序发出航行指令，经过数传电台，到船舶智能航行终端；这个信息传输的链路易被其他人员获取船舶数据或者下达干扰航行的指令，因此，我们采取区块链技术来保证这条信息传输链路的安全。

监控模块包括摄像机，通过摄像机和5G通信可以实时观察船舶周边的状况。

执行模块包括舵机、柴油机和连接舵机和柴油机的机械结构，通过舵机执行岸基发送过来的船舶航行指令，再通过一个特殊的机械结构将舵机与柴油机的油门和把手连接，实现舵机控制船舶的速度与方向。

岸基平台包括通信模块、监控模块、操作模块和数据处理模块。

通信模块同船载平台的通信模块。

监控模块、操作模块和数据处理模块通过上位机程序实现，上位机程序通过Python、QML、JS、HTML、CSS、SQL等多种语言开发而成。

上位机程序对视频图像数据、激光测距仪、AIS数据、雷达观测数据、电子海图/ECDIS数据等多种类型进行融合，其融合的过程包括：

第一步融合图像数据、雷达观测数据以及激光测距仪数据，根据图像识别程序识别出的物体类型、物体特征与雷达扫测结果中障碍物的特征、方位等数据作匹配，再通过激光测距仪校正，生成对应的船舶、航道、航标、桥墩及其他水上漂浮物模型；

第二步将上述生成的对象模型与电子海图信息、AIS信息进行融合，形成信息完备的船舶航行环境模型。

如图2所示，数据融合的实施流程如下所示：

(1)通过现有数据，提取水上各类物体的特征构建特征库，基于深度学习训练水上物体识别模型；

(2)基于深度学习技术构建水上物体检测模型，对摄像机获取的视频图像数据进行解析，提取出图像中的物体特征；

(3)基于深度学习技术训练雷达图像检测模型，提取雷达探测图像中出现的物体特征；

(4)将水上物体检测模型提取的物体特征与雷达探测图像解析模型提取的物体特征进行匹配融合，通过水上物体识别模型对物体进行识别；

(5)在模型中选择视频特征与雷达检测特征最匹配的位置，通过激光测距仪与雷达上的距离对比，进行校正；

(6)利用时空检索、量纲整合，对电子海图信息、AIS信息以及水上物体识别结果进行时空配准以及数据标准化；

(7)融合电子海图信息、AIS信息和水上物体识别结果；

(8)重构船舶航行感知的场景，得到易观察的船舶融合信息展示模型。

本发明中，上位机程序获得船舶周边环境信息后发送航行指令到执行模块的具体实现过程如下：

S1、由风向风速仪获取风速和风向数据，由激光测距仪获取物体的距离数据，由激光雷达获取船舶周边物体的距离数据，由AIS设备获取船舶自身的位置数据和周围其他船舶的数据，由摄像机获取船舶周围的图像数据。

S2、通过5G将船舶上的图像数据传到岸基上位机程序内，通过数传电台将环境感知数据(航海雷达、AIS设备、风向风速仪和激光测距仪)传到上位机程序内；

S3、将图像数据、雷达观测数据、电子海图信息和AIS信息等数据进行融合；

S4、由融合后的数据可知船舶周边的大致环境，从而作出合适的船舶航行指令；

S5、通过数传电台，将船舶航行指令回传到船舶上的船舶智能控制终端；

S6、智能控制终端解析船舶航行指令，并控制执行模块内的舵机，再由舵机驱动船舶燃油机的动力和方向，实现无人船航行。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种智慧航行平台，其特征在于：包括船载平台与岸基平台；

船载平台包括感知模块、船载数据处理模块、船载通信模块、船载监控模块、执行模块；

感知模块的信号发送端连接船载数据处理模块的信号接收端，用于通过传感器获取船舶周边环境的信息并发送给船载数据处理模块；感知模块包括航海雷达、AIS设备、风向风速仪和若干个自适应瞭望装置；自适应瞭望装置分布在船舶边沿，包括布置在船首的第一自适应瞭望装置，布置在船尾的第二自适应瞭望装置，布置在左舷两端的第三自适应瞭望装置和第四自适应瞭望装置，布置在右舷两端的第五自适应瞭望装置和第六自适应瞭望装置，布置在左舷中间的第七自适应瞭望装置，布置在左舷中间的第八自适应瞭望装置，用于全面监控船舶周边环境；船载数据处理模块的双向信号收发端连接船载通信模块的双向信号收发端，用于处理并上传船舶周边环境信息、接收航行指令控制执行模块；船载通信模块包括5G通信设备和数传电台，5G通信设备用于向岸基平台传输图像数据，数传电台用于向岸基平台传输传感器数据；船载监控模块的信号发送端连接船载数据处理模块的信号接收端，用于实时采集船舶周边的状况并上传图像数据；执行模块的信号接收端连接船载数据处理模块的信号发送端，用于根据收到的航行指令通过舵机控制船舶的速度与方向；

岸基平台包括岸基数据处理模块、岸基通信模块、岸基监控模块；岸基通信模块的双向信号收发端连接岸基数据处理模块的双向信号收发端，用于通过无线方式接收船载通信模块发送的视频数据和传感器数据并发送给岸基数据处理模块，同时将岸基数据处理模块输出的航行指令发送给船载通信模块；岸基监控模块的信号发送端连接岸基数据处理模块的信号接收端，用于实时采集船舶周边的状况并上传视频信号；岸基数据处理模块用于融合处理包括视频图像数据、激光测距数据、AIS数据、雷达观测数据、电子海图数据。

2.根据权利要求1所述的一种智慧航行平台，其特征在于：

自适应瞭望装置包括摄像单元组合、激光测距仪、云台和云台防摇摆装置；摄像单元组合包括高清日间摄像机、红外摄像机和激光摄像机，摄像单元组合和激光测距仪固定在云台上；云台防摇摆装置设置在云台上。

3.根据权利要求1所述的一种智慧航行平台，其特征在于：

船载数据处理模块包括船舶智能控制终端；船载监控模块包括摄像机。

4.根据权利要求1所述的一种智慧航行平台，其特征在于：

执行模块包括舵机、柴油机和连接结构；连接结构用于连接舵机与柴油机的油门和把手。

5.根据权利要求1所述的一种智慧航行平台，其特征在于：

岸基监控模块、岸基数据处理模块和操作模块通过上位机程序实现，上位机程序采用包括Python、QML、JS、HTML、CSS、SQL的环境开发而成；船载通信模块与岸基通信模块之间的通信链路采用区块链技术保证信息安全。

6.根据权利要求1所述的一种智慧航行平台，其特征在于：

岸基平台还包括操作模块和显示模块；操作模块的信号发送端连接岸基数据处理模块的信号接收端，用于将用户的操作转换为控制命令输出给岸基数据处理模块；显示模块的信号接收端连接岸基数据处理模块的信号发送端，用于显示船舶的各种状态信息。

7.一种基于权利要求1至6中任意一项所述的智慧航行平台的航行方法，其特征在于：包括以下步骤：

S1：摄像机获取船舶周围的图像数据、激光雷达获取船舶周边物体距离的雷达观测数据、激光测距仪获取物体的距离数据、风向风速仪获取风速和风向数据、AIS设备获取船舶自身和周围其他船舶位置的数据，上述传感器分别将采集的传感器数据发送给船载数据处理模块；

S2：船载数据处理模块通过船载通信模块的5G通信设备将图像数据发送到岸基通信模块、通过船载通信模块的数传电台将包括航海雷达数据、AIS设备数据、风向风速数据和激光测距数据的环境感知数据发送传到岸基通信模块；岸基通信模块将收到的数据传输给岸基数据处理模块；

S3：岸基数据处理模块对包括图像数据、雷达观测数据、电子海图信息和AIS信息的数据进行融合；

S4：岸基数据处理模块通过融合后的数据推算船舶周边的大致环境，并作出船舶航行指令；

S5：岸基数据处理模块依次通过岸基通信模块、船载通信模块的数传电台将船舶航行指令回传到船载数据处理模块；

S6：船载数据处理模块解析船舶航行指令，并控制舵机驱动船舶燃油机对船舶施加动力和方向，实现无人船航行。

8.根据权利要求7所述的航行方法，其特征在于：所述的步骤S3中，具体步骤为：

S31：融合图像数据、雷达观测数据以及激光测距数据，将通过图像识别得到的物体类型、物体特征与雷达扫测得到的障碍物的特征、方位数据作匹配，再通过激光测距仪校正，生成包括船舶、航道、航标、桥墩及其他水上漂浮物的对象模型；

S32：将对象模型与电子海图信息、AIS信息进行融合，形成信息完备的船舶航行环境模型。

9.根据权利要求8所述的航行方法，其特征在于：所述的步骤S31中，具体步骤为：

S311：通过现有数据提取水上各类物体的特征构建特征库，通过深度学习构建和训练水上物体识别模型；

S312：通过深度学习构建和训练水上物体检测模型，解析图像数据并提取物体特征；

S313：通过深度学习构建和训练雷达图像检测模型，解析雷达观测数据并提取物体特征；

S314：将步骤S312得到的物体特征与步骤S313得到的物体特征进行匹配融合，采用步骤S311得到的水上物体识别模型从融合后的物体特征中识别物体；

S315：从水上物体识别模型中选择图像特征与雷达检测特征最匹配的位置，采用激光测距数据对比并校正雷达观测数据中的距离，得到水上物体识别结果。

10.根据权利要求9所述的航行方法，其特征在于：所述的步骤S32中，具体步骤为：

S321：通过时空检索、量纲整合，对电子海图信息、AIS信息以及水上物体识别结果进行时空配准以及数据标准化；

S322：融合电子海图信息、AIS信息和水上物体识别结果；

S323：重构船舶航行感知的场景，得到船舶融合信息模型。

Images