CN110127000B

CN110127000B - 一种面向运输船舶的智能航行眼系统

Info

Publication number: CN110127000B
Application number: CN201910447085.0A
Authority: CN
Inventors: 马勇; 赵玉蛟; 甘浪雄
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2019-05-27
Filing date: 2019-05-27
Publication date: 2021-10-22
Anticipated expiration: 2039-05-27
Also published as: CN110127000A

Abstract

本发明公开了一种面向运输船舶的智能航行眼系统，包括：信息采集模块，包括多个自适应瞭望装置、雷达装置和AIS装置；所述自适应瞭望装置，用于采集船舶瞭望区域的视频图像数据；图像处理模块，用于对自适应瞭望装置采集的图像进行拼接，获得船舶瞭望区域的全景图像，然后进行图像识别；数据融合模块，用于融合雷达扫测数据、AIS信息、电子海图以及图像识别结果，构建航行场景对应的融合环境模型；信息存储模块，用于实时存储信息采集模块采集的信息和融合环境模型的数据信息。本发明通过实时获取船舶的航行信息和动态资料，为船舶的经济航行和安全导航提供技术支持。

Description

一种面向运输船舶的智能航行眼系统

技术领域

本发明涉及船舶航行辅助技术，尤其涉及一种面向运输船舶的智能航行眼系统。

背景技术

在船舶航行过程中，海上航行环境复杂，船员工作强度大，导致安全隐患问题突出。同时，船舶配备的导航设备种类有限、功能单一，没有有机地结合加以综合利用；设备布局不合理，人员处理能力又有限，容易出现失误，带来安全隐患。为了保障船舶航行经济效益和航海安全，使用现代化的技术手段为船舶航行提供服务和导航显得尤为重要。无人船艇的“瞭望”是无人船的信息感知手段，无人船通过各种传感设备采集数据来进行环境信息感知。同有人驾驶船舶的瞭望一样，信息感知是无人船艇进行实现自主运作航行的基础。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种面向运输船舶的智能航行眼装置。

本发明解决其技术问题所采用的技术方案是：一种面向运输船舶的智能航行眼系统，包括：

信息采集模块，包括多个自适应瞭望装置、雷达装置和AIS装置；

所述自适应瞭望装置，用于采集船舶瞭望区域的视频图像数据；

图像处理模块，用于对自适应瞭望装置采集的图像进行拼接，获得船舶瞭望区域的全景图像，然后进行图像识别；

数据融合模块，用于融合雷达扫测数据、AIS信息、电子海图以及图像识别结果，构建航行场景对应的融合环境模型；

信息存储模块，用于实时存储信息采集模块采集的信息和融合环境模型的数据信息。

按上述方案，所述自适应瞭望装置包括由1个高清日间摄像机、1个红外摄像机和1个激光摄像机组成的摄像单元组合、云台、以及设置在云台上的云台防摇摆装置；所述云台通过转轴与摄像单元组合连接。

按上述方案，所述自适应瞭望装置为7个，布置情况为船首1个、船尾1个、左舷2个、右舷2个及驾驶台1个。

按上述方案，所述图像处理模块将船体不同部位的自适应瞭望装置采集的图像分别进行裁切，获得用于拼合的一张实景图像和一张热源图像，拼合后的图像为船体周围的全景图和全景热源图，再对船体周围环境的全景图和全景热源图进行图像识别，识别出图像中的物体的类型以及相关的特征信息。

按上述方案，所述数据融合模块融合雷达扫测数据、AIS信息、电子海图以及图像识别结果，构建航行场景对应的融合环境模型，具体如下：

1)对于雷达扫测数据进行特征提取，提取雷达扫描到的障碍物的轮廓信息以及与自身相对位置信息；然后对雷达扫测数据进行特征识别，识别并标注其中的障碍物对象类型；

2)对于图像数据的特征提取是提取图像中物体对象的识别信息，包括:障碍物的类型特征、航标对象的指示信息的特征以及船舶对象的可观测信息：船名、船舶外形；对图像数据通过深度学习算法进行图像特征识别，并标注图中的障碍物的类型、航标对象和船舶对象；

3)融合步骤1)和步骤2)的障碍物、船舶和航标的识别与标注结果，构建航行场景对应的环境模型；

4)查询航行眼所处位置及附近的电子海图信息、AIS信息，筛选返回数据中的船舶分布信息、交通信息、航标分布信息，然后进行融合匹配，融合匹配流程具体为：根据步骤3)构建的环境模型与从AIS数据和电子海图获取的信息进行匹配，匹配视野中的物体对象；然后建立障碍物、船舶、航标对应的模型，在图像识别结果的基础上，标注障碍物、船舶、航标的详细信息，然后将当前位置的气象和水文数据也标注在视频图像上，最终形成一个综合全面的融合环境视频模型。

本发明产生的有益效果是：智能航行眼充分利用高性能传感器、处理器，智能融合图像、雷达、AIS、电子海图、红外等多源数据，科学表征内河水域特征，构建集成电子航道图、船舶航行态势、动态通航环境于一体的导航服务平台，为运输船舶提供监管和服务为一体的综合手段，包括提供诸如路径导航、内河水文气象资料分析、潮汐资料和港口资料等具备船舶、船队一体化管理的航海安全综合保障系统，通过实时获取船舶的航行信息和动态资料，为船舶的经济航行和安全导航提供技术支持。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的整体流程示意图；

图2是本发明实施例的智能航行眼装置布置示意图；

图3是本发明实施例的自适应瞭望模块结构图；

图4是本发明实施例的数据融合方法流程图；

图5是本发明实施例的环境模型示意图。

图中：1-自适应瞭望装置外壳，2-激光灯源，3-激光摄像机，4-激光摄像机镜头，5-高清日间摄像机，6-红外灯源，7-红外摄像机，8-红外摄像机镜头，9-云台，10-连接杆，11-连接球，12-底座，13-铅坠，14-云台控制器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，本实施例提供了一种面向运输船舶的智能航行眼装置，包括自适应瞭望模块、数据融合模块、高性能图像处理模块、信息存储设备、信息输入/输出接口。

其中，自适应瞭望模块包括高清日间摄像机5、变焦红外摄像机7、激光摄像机3、云台9、云台防摇摆装置以及云台控制器14，云台防摇摆装置由支架、铅坠13、连接杆10组成，在航行风浪较大时，防止“瞭望”装置的摇晃造成的感知信息误差。当船舶船体发生摇晃时，云台防摇摆装置支架随船体摆动，此时，铅坠13以连接球11为着力点，在重力作用下使与其连接的连接杆保持竖直，从而确保云台及安装在上面的摄像机不会发生摇摆，从而防止传感设备和云台的损坏，保证传感器感知信息的正确性。

所述数据融合模块可融合自适应瞭望模块感知的信息、雷达扫测信息、AIS信息，所述图像处理模块，通过编辑图像将自适应瞭望装置采集的图像进行拼接，获得船舶瞭望区域的全景图像，实现瞭望决策等功能。

在本实施例中，7个瞭望装置布置情况为船首1个、船尾1个、左舷2个、右舷2个及驾驶台1个，特别说明，这些瞭望装置的监测区域可覆盖船舶瞭望区域，以达到无死角监测。自适应“瞭望”装置包括1个高清日间摄像机、1个红外摄像机、1个激光摄像机、云台、云台防摇摆装置。如图3所示，高清日间摄像机，红外摄像机，激光摄像机，配备的云台可通过两个轴向实现360度转动，云台防摇摆装置由支架、铅坠、连接杆组成，在航行风浪较大时，防止“瞭望”装置的摇晃造成的感知信息误差。当船舶船体发生摇晃时，云台防摇摆装置支架随船体摆动，此时，铅坠以连接球为着力点，在重力作用下使与其连接的连接杆保持竖直，从而确保云台及安装在上面的摄像机不会发生摇摆，从而防止传感设备和云台的损坏，保证传感器感知信息的正确性。自适应“瞭望”装置可以通过高性能图像处理设备的反馈自动调节云台的姿态，以最大化感知区域。

自适应瞭望装置获取到的图像信息将通过数据线传输给图像处理设备。图像处理设备中配备基于OpenCV框架的图像处理程序以及图像识别系统。图像识别系统由实景识别和热源识别两个部分组成，全部基于卷积神经网络，通过大量船舶、航标、生物以及其他常见水上漂浮物的有标签图像进行训练，可以识别出障碍物的类型。多个传感器获取的图像传输到高性能图像处理设备，经由图像处理程序将船体不同部位的传感器传来的图像分别被裁切、拼合为一张实景图像和一张热源图像，拼合后的图像为船体周围的全景图和全景热源图。再将船体周围环境的全景图和全景热源图输入图像识别程序，识别出图像中的水上漂浮物体的类型以及相关的特征信息。高性能图像处理设备还可以通过图像判定每个瞭望装置的感知区域，并将判定结果反馈到自适应瞭望装置，使自适应瞭望装置自动调节云台。

如图4所示，多源数据融合模块开始融合图像处理模块的识别结果、雷达扫测数据、AIS信息、电子海图。多源数据融合模块的第一次融合是根据图像识别程序识别出的物体类型、物体特征与雷达扫测结果中障碍物的特征、方位等数据作匹配，融合所有数据，构建航行场景对应的环境模型。

第二次融合是查询航行眼所处位置及附近的电子海图信息、AIS信息，筛选返回数据中的船舶分布信息、交通信息、航标分布信息，然后进行融合匹配，融合匹配流程具体为：根据构建的环境模型与从AIS数据和电子海图获取的信息进行匹配，匹配视野中的物体对象；然后建立障碍物、船舶、航标对应的模型，在图像识别结果的基础上，标注障碍物、船舶、航标的详细信息，然后将当前位置的气象和水文数据也标注在视频图像上，最终形成一个综合全面的融合环境视频模型，从而完成多源数据融合过程。最终的环境模型及其特征属性如图5所示。

自适应“瞭望”装置中的控制会根据高性能图像处理设备的反馈选择控制命令，进行摄像机焦距调整和云台控制，通过控制云台中的电机转动，带动传感器运动，达到调整传感器感知区域的目的。

每隔一定周期，将对“瞭望”装置、雷达扫测数据、AIS信息以及图像识别结果和数据融合结果进行一次采样，并存储到信息存储设备中，用于记录航行状态，为算法改进、模型训练提供数据来源。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种面向运输船舶的智能航行眼系统，其特征在于，包括：

所述图像处理模块将船体不同部位的自适应瞭望装置采集的图像分别进行裁切，获得用于拼合的一张实景图像和一张热源图像，拼合后的图像为船体周围的全景图和全景热源图，再对船体周围环境的全景图和全景热源图进行图像识别，识别出图像中的物体的类型以及相关的特征信息；

具体如下：

4)查询航行眼所处位置及附近的电子海图信息、AIS信息，筛选返回数据中的船舶分布信息、交通信息、航标分布信息，然后进行融合匹配，融合匹配流程具体为：根据步骤3)构建的环境模型与从AIS数据和电子海图获取的信息进行匹配，匹配视野中的物体对象；然后建立障碍物、船舶、航标对应的模型，在图像识别结果的基础上，标注障碍物、船舶、航标的详细信息，然后将当前位置的气象和水文数据也标注在视频图像上，最终形成一个综合全面的融合环境视频模型；

2.根据权利要求1所述的一种面向运输船舶的智能航行眼系统，其特征在于，所述自适应瞭望装置包括由1个高清日间摄像机、1个红外摄像机和1个激光摄像机组成的摄像单元组合、云台、以及设置在云台上的云台防摇摆装置；所述云台通过转轴与摄像单元组合连接。

3.根据权利要求1所述的一种面向运输船舶的智能航行眼系统，其特征在于，所述自适应瞭望装置为7个，布置情况为船首1个、船尾1个、左舷2个、右舷2个及驾驶台1个。