CN105204411A - 一种基于双目立体视觉的船舶靠泊辅助系统及方法 - Google Patents

Abstract

本发明提供了一种基于双目立体视觉的船舶靠泊辅助系统及方法，系统由数据采集平台和数据处理平台构成，其中：数据采集平台包含数据采集模块，数据采集模块由双目相机和嵌入式处理器组成，来实现数据采集模块功能；数据处理平台包含数据处理模块、数据存储模块和数据传输模块，数据处理平台采用工控机或高性能嵌入式设备来实现数据处理、数据存储和数据传输模块的功能。本发明采用有线或无线连接的方式实现将双目左/右图像、码头的轮廓、船舶到码头的距离和角度以及预警信息传输给外界客户端以辅助船舶靠泊，或传输到显示终端辅助舰载操作员安全作业。本发明基于立体视觉的测距技术不仅成本低，而且能获取丰富的环境信息。

Description

一种基于双目立体视觉的船舶靠泊辅助系统及方法

技术领域

本发明涉及船舶停泊技术领域，具体地，涉及一种基于双目立体视觉的船舶靠泊辅助系统及方法。

背景技术

船舶靠泊时，如果速度过快或角度过大，容易造成船舶撞击码头等安全事故。早期船舶靠泊主要依赖于船员的经验，可靠性差。为保证安全，需要使用辅助靠泊系统实时可靠的获取船舶相对码头的速度和角度等信息，来辅助靠泊人员安全作业。无人船舶在码头靠泊时也需要实时获取外界的环境信息，来进行自主控制安全靠岸。尤其是需要实时获取船舶相对于码头的距离、角度等信息。船舶需要安装靠泊辅助系统来感知靠泊船舶与码头之间的相对信息，当船舶靠泊时辅助系统实时地将此信息反馈给无人船舶控制系统或者输出到显示终端辅助靠泊人员安全作业。

目前已存在一些船舶靠泊辅助系统，不过都有着各自的不足，如基于雷达、空气声波和激光测距等的靠泊技术。雷达、空气声波以及一维的激光测距传感器的都只能获取少量的环境信息，抗干扰能力和对环境的适应能力不强，当船舶出现剧烈的晃动或码头几何结构不标准时，很容易丢失目标或出现错误检测。如2011年11月9日公开号为CN102236327A的发明专利“一种船舶激光靠泊监测系统”，是基于两个固定的激光测距仪实现的距离和角度的检测，获取的环境信息很少。三维激光测距传感器能够获取到较为丰富的环境信息，但是成本过高。如公开公告日为2014.07.02，申请公布号为CN103901806A的发明专利“一种智能船舶靠泊辅助系统及方法”，采用激光扫描仪作为主传感器，来获取三维激光点云数据。

最近几年，基于立体视觉的方法已变得越来越普及，现代的立体匹配算法也不再是稀疏和基于特征的方法，而是几乎能够对图像中每个像素做深度的估计。基于立体视觉的测距技术不仅成本较低，而且能够获取非常丰富的环境信息，不仅能够获取彩色图像信息，还能获取稠密的三维环境信息，甚至远远超过三维激光传感器。基于立体视觉的靠泊技术在船舶靠泊领域里会有比较广阔的应用前景。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于双目立体视觉的船舶靠泊辅助系统及方法，通过双目立体视觉的方法来解决目前的船舶靠泊辅助系统获取环境信息有限，环境适应能力和抗干扰能力不佳，以及成本过高的问题。

根据本发明的一个方面，提供一种基于双目立体视觉的船舶靠泊辅助系统，所述系统包括数据采集平台和数据处理平台，数据采集平台和数据处理平台之间采用有线或无线的连接方式；

所述的数据采集平台包括数据采集模块，数据采集模块实时采集双目立体图像数据，对双目立体图像数据进行计算以获取稠密视差图，并将采集到的双目立体图像数据以及计算获取的稠密视差图通过有线或者无线的传输方式发送到数据处理平台；

所述的数据处理平台包括数据处理模块、数据存储模块和数据传输模块，其中：所述数据处理模块实时地对数据采集模块所输出的稠密视差图进行处理，以获得实时码头的轮廓、船舶到码头的距离和角度以及预警信息；所述数据存储模块用于实时保存双目立体图像、稠密视差图、码头的轮廓、船舶到码头的距离和角度以及预警信息；所述数据传输模块用于将双目左/右图像、码头轮廓、船舶到码头的距离和角度以及预警信息采用有线或无线连接的方式实时传输给外界客户端以辅助船舶在码头靠泊，或输出到显示终端辅助舰载操作员安全作业。

优选地，所述的数据采集模块由双目相机和嵌入式处理器组成，其中：所述双目相机用于实时采集双目立体图像数据，并传输给嵌入式处理器；所述嵌入式处理器对双目立体图像数据进行立体匹配计算，以获取稠密视差图。

更优选地，所述的嵌入式处理器计算稠密视差图采用半全局匹配算法。

优选地，所述的数据处理模块实时地对稠密视差图进行处理，具体的：将稠密视差图转换为三维点云，在三维点云中提取出码头轮廓，或直接在稠密视差图中提取码头轮廓，并计算船舶到码头的距离和角度。

更优选地，所述的数据处理模块对码头轮廓和船舶到码头的距离和角度信息进行分析，推导出船舶在码头靠泊的预警信息。

更优选地，所述的预警信息多级推导规则如下：

当船舶与码头的距离小于L3米时发出三级预警；

当距离小于L2米时发出二级预警；

当距离小于L1米时发出一级预警；

其中：L1<L2<L3。

根据本发明的另一个方面，提供一种基于双目立体视觉的船舶靠泊辅助系统的辅助靠泊方法，包括如下步骤：

步骤1:数据采集模块实时采集双目立体图像数据，并对双目图像进行立体匹配计算，获取稠密视差图；

步骤2：将步骤1中采集到的双目立体图像数据和计算出的稠密视差图通过有线或者无线的传输方式发送到数据处理模块；

步骤3：数据处理模块实时地对步骤2传输的数据进行处理，获得实时码头的轮廓、船舶到码头的距离和角度，以及预警信息；

步骤4：数据存储模块实时保存步骤1、3得到的双目立体图像、稠密视差图、码头的轮廓、船舶到码头的距离和角度以及预警信息，同时数据传输模块实时地将双目左/右图像、码头的轮廓、船舶到码头的距离和角度以及预警信息通过有线或者无线的方式发送给外界，外界利用这些信息辅助船舶在码头靠泊；

步骤5：重复步骤1到步骤4，进行数据的实时更新，从而实现装置的码头停靠辅助功能。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过双目立体视觉技术、图像处理技术、网络技术等的综合运用来辅助船舶在码头停靠。通过双目相机获取丰富的码头环境信息，提高了获取码头信息的鲁棒性。相对于三维激光扫描仪，本发明成本更低获取环境信息更加丰富。

2、通过本发明可以获取到视频影像、码头的轮廓、船舶到码头的距离和角度信息，以及预警信息。本发明能够存储上述信息，并将信息通过有线或无线的方式传输给外界用户。可以将信息传输给外界客户端如无人船舶系统，来辅助无人船舶码头停靠；也可以输出到显示终端辅助舰载操作员安全作业。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的系统架构图；

图2为本发明一实施例的数据流程图；

图3为本发明一实施例的安装示意图；

图中：1为数据采集平台；2为数据处理平台。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种基于双目立体视觉的船舶靠泊辅助系统，所述系统由数据采集平台1和数据处理平台2构成，其中：所述数据采集平台1和数据处理平台2之间采用有线或无线的连接方式；所述数据处理平台2采用有线或无线连接的方式将处理信息传输给外界客户端如无人船控制系统以辅助船舶在码头靠泊，或输出到显示终端辅助舰载操作员安全作业。

本实施例中，所述数据采集平台1包含数据采集模块，数据采集模块由双目相机和嵌入式处理器组成，来实现数据采集功能。

本实施例中，所述数据处理平台2包含数据处理模块、数据存储模块和数据传输模块；所述数据处理平台2采用工控机或高性能嵌入式设备来实现数据处理模块、数据存储模块和数据传输模块的功能。

如图2所示，为一实施例的数据流程图。本实施例所述系统由数据采集模块、数据处理模块、数据存储模块和数据传输模块共四个模块组成，其中数据采集模块由双目相机和嵌入式处理器组成；在系统实时工作以前，先对双目相机用CameraCalibrationToolboxforMatlab标定工具进行离线标定，获取双目相机的内参数、畸变参数和外参数；双目相机获取双目立体图像并传输给嵌入式处理器，嵌入式处理器首先利用标定参数对双目图像进行校正，再使用半全局匹配的立体配算法实时处理双目立体图像，生成稠密视差图；数据采集模块将采集到的双目左图像和计算获取的稠密视差图通过有线或无线的方式传输给数据处理模块。数据处理模块应用计算机视觉和模式识别技术在稠密视差图中提取出码头的轮廓，或将稠密视差图转换为三维点云数据来提取码头的轮廓，并计算船舶与码头的距离和角度信息，并根据距离信息推导出预警信息；数据存储模块将双目立体图像、稠密视差图、码头轮廓、船舶到码头的距离和角度信息以及预警信息存储在本地硬盘中；数据传输模块将双目左图像或右图像、码头轮廓、船舶到码头的距离和角度以及预警信息通过有线或无线的方式传输给外界客户端如无人船控制系统以辅助船舶在码头靠泊，或输出到显示终端辅助舰载操作员安全作业。

作为一优选的实施方式，对于所述码头轮廓的提取，首先将码头建模为平面模型，在稠密视差图中采用高斯滤波、边缘提取技术获取码头迎水面轮廓；或者在三维点云数据中采用RANSAC算法、点云投影、降采样、滤波技术获取码头迎水面轮廓。

作为一优选的实施方式，所述预警信息的多级推导规则如下：

当码头与船舶的距离小于L3米时发出三级预警，当距离小于L2米时发出二级预警，当距离小于L1米时发出一级预警，其中L1<L2<L3。

如图3所示，为本实施例所述系统的安装示意图；其中：将所述的数据采集平台1通过螺丝安装在船舶主桅杆上，离船身具有一定的高度；所述数据采集平台1安装时，在水平方向上使双目相机的光轴朝向船艏方向；在竖直方向上使双目相机的光轴与船长方向具有一定的夹角a，使数据采集平台1获取到船舶前方的视野。所述的数据处理平台2可以放置在桅杆上，也可以放置船舶上其他任意可行的位置；通过有线或无线的方式连接数据处理平台2，即可获取到双目左图像、码头的轮廓、船舶到码头的距离和角度以及预警信息。

在另一实施例中，基于上述系统实现的基于双目立体视觉的船舶靠泊辅助系统的辅助靠泊方法，包括如下步骤：

步骤1:数据采集模块实时采集双目立体图像数据，并对双目图像进行立体匹配计算，获取稠密视差图；

步骤2：将步骤1中采集到的双目立体图像数据和计算出的稠密视差图通过有线或者无线的传输方式发送到数据处理模块；

步骤3：数据处理模块实时地对步骤2传输的数据进行处理，获得实时码头的轮廓、船舶到码头的距离和角度，以及预警信息；

步骤4：数据存储模块实时保存步骤1、3得到的双目立体图像、稠密视差图、码头的轮廓、船舶到码头的距离和角度以及预警信息，同时数据传输模块实时地将双目左/右图像、码头的轮廓、船舶到码头的距离和角度以及预警信息通过有线或者无线的方式发送给外界，外界利用这些信息辅助船舶在码头靠泊；

步骤5：重复步骤1到步骤4，进行数据的实时更新，从而实现装置的码头停靠辅助功能。

本发明通过双目立体视觉技术、图像处理技术、网络技术等的综合运用来辅助船舶在码头停靠，通过双目相机获取丰富的码头环境信息，提高了获取码头信息的鲁棒性，相对于三维激光扫描仪，本发明成本更低获取环境信息更加丰富。通过本发明可以获取到视频影像、码头的轮廓、船舶到码头的距离和角度信息，以及预警信息；本发明能够存储上述信息，并将信息通过有线或无线的方式传输给外界用户；可以将信息传输给外界客户端如无人船舶系统，来辅助无人船舶码头停靠；也可以输出到显示终端辅助舰载操作员安全作业。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于双目立体视觉的船舶靠泊辅助系统，其特征在于，所述系统包括数据采集平台和数据处理平台，数据采集平台和数据处理平台之间采用有线或无线的连接方式；

所述的数据采集平台包括数据采集模块，数据采集模块实时采集双目立体图像数据，对双目立体图像数据进行计算以获取稠密视差图，并将采集到的双目立体图像数据以及计算获取的稠密视差图通过有线或者无线的传输方式发送到数据处理平台；

所述的数据处理平台包括数据处理模块、数据存储模块和数据传输模块，其中：所述数据处理模块实时地对数据采集模块所输出的稠密视差图进行处理，以获得实时码头的轮廓、船舶到码头的距离和角度以及预警信息；所述数据存储模块用于实时保存双目立体图像、稠密视差图、码头的轮廓、船舶到码头的距离和角度以及预警信息；所述数据传输模块用于将双目左/右图像、码头轮廓、船舶到码头的距离和角度以及预警信息采用有线或无线连接的方式实时传输给外界客户端以辅助船舶在码头靠泊，或输出到显示终端辅助舰载操作员安全作业。

2.根据权利要求1所述的一种基于双目立体视觉的船舶靠泊辅助系统，其特征在于，所述的数据采集模块由双目相机和嵌入式处理器组成，其中：所述双目相机用于实时采集双目立体图像数据，并传输给嵌入式处理器；所述嵌入式处理器对双目立体图像数据进行立体匹配计算，以获取稠密视差图。

3.根据权利要求2所述的一种基于双目立体视觉的船舶靠泊辅助系统，其特征在于，所述的嵌入式处理器计算稠密视差图采用半全局匹配算法。

4.根据权利要求1所述的一种基于双目立体视觉的船舶靠泊辅助系统，其特征在于，所述的数据处理模块实时地对稠密视差图进行处理，具体的：将稠密视差图转换为三维点云，在三维点云中提取出码头轮廓，或直接在稠密视差图中提取码头轮廓，并计算船舶到码头的距离和角度。

5.根据权利要求4所述的一种基于双目立体视觉的船舶靠泊辅助系统，其特征在于，所述的数据处理模块对码头轮廓和船舶到码头的距离和角度信息进行分析，推导出船舶在码头靠泊的预警信息。

6.根据权利要求5所述的一种基于双目立体视觉的船舶靠泊辅助系统，其特征在于，所述的预警信息多级推导规则如下：

当船舶与码头的距离小于L3米时发出三级预警；

当距离小于L2米时发出二级预警；

当距离小于L1米时发出一级预警；

其中：L1<L2<L3。

7.一种采用权利要求1-6任一项所述系统的基于双目立体视觉的船舶靠泊辅助方法，其特征在于，包括如下步骤：

步骤1:数据采集模块实时采集双目立体图像数据，并对双目图像进行立体匹配计算，获取稠密视差图；

步骤2：将步骤1中采集到的双目立体图像数据和计算出的稠密视差图通过有线或者无线的传输方式发送到数据处理模块；

步骤3：数据处理模块实时地对步骤2传输的数据进行处理，获得实时码头的轮廓、船舶到码头的距离和角度，以及预警信息；

步骤4：数据存储模块实时保存步骤1、3得到的双目立体图像、稠密视差图、码头的轮廓、船舶到码头的距离和角度以及预警信息，同时数据传输模块实时地将双目左/右图像、码头的轮廓、船舶到码头的距离和角度以及预警信息通过有线或者无线的方式发送给外界，外界利用这些信息辅助船舶在码头靠泊；

步骤5：重复步骤1到步骤4，进行数据的实时更新，从而实现装置的码头停靠辅助功能。