CN111752286A - 一种小型无人船艇自动停泊方法 - Google Patents

Abstract

本发明公开了一种小型无人船艇自动停泊方法，属于无人船艇自动停泊技术领域，方法具体包括根据水岸图像信息提取实时水岸线；计算船艇与实时水岸线的实时姿态信息；根据所述实时姿态信息调整船艇航向，实现船艇的自动停泊。本发明能够自动精准停靠至指定位置，不受环境影响，准确度高；占用空间小，利于拓展，且对辅助设施要求低，使用维护方便，实用性强，应用范围广。

Description

一种小型无人船艇自动停泊方法

技术领域

本发明涉及无人船艇自动停泊技术领域，尤其涉及一种小型无人船艇自动停泊方法。

背景技术

现今，不少国家已开始研制无人船艇，无人船艇是一种可以无需遥控，借助精确卫星定位和自身传感即可按照预设任务在水面航行的全自动水面机器人，英文缩写为USV。相比传统船艇只，无人船艇是一种更安全，操作更容易的新型船艇只。随着社会对安全、效率、回报率等的要求越来越高，无人船艇必然会获得更加迅猛的发展。但与无人船艇发展态势相反的是，无人船艇的停泊技术发展非常缓慢，关注和研究的人也较少，目前主要还是人工参与，但人工回收则难免在回收过程中因不当操作导致船身触礁等事故，容易无人船艇船艇身，甚至会损坏其搭载的货物或电子元件。可以看出，人工回收对停船艇人员的技术要求较高，且回收效率低下。

目前，现有技术的无人船艇中大多采用船控模块控制无人船艇根据自动记忆返回本次航程出发的码头。但这种采用记忆路径返回的方法在GPS、电子罗盘、加速度传感器等精度不高的情况下自动停泊的能力很差，近岸环境下GPS会因遮挡物的存在信号极易丢失，也不利于船艇的自动停泊。进一步地，该方法采用的激光雷达成本较高且在类似沙滩等低矮岸线会有较大误差。

现有技术的无人船艇中还采用船艇磁力系泊装置，利用磁力代替缆绳进行系泊，使船艇能自动靠离码头(或其他船艇)。但这种采用磁力停泊的方法局限性较大，无人船艇需要有足够的空间才能装下该系统，不利于拓展。

以上方案，忽略各技术本身会存在的缺点之外，均存在结构比较复杂，对辅助设施要求高，使用维护不便的问题。对于民用或者低端科研无人船艇而言，成本支出和收入显然不符，实用性不强。

发明内容

本发明的目的在于克服人工停泊对技术人员要求高、效率低，自动停泊精度低、能力差，磁力停泊应用局限等问题，提供一种小型无人船艇自动停泊方法。

本发明的目的是通过以下技术方案来实现的：一种小型无人船艇自动停泊方法，包括以下步骤：

根据水岸图像信息提取实时水岸线；

计算船艇与实时水岸线的实时姿态信息；

根据所述实时姿态信息调整船艇航向，实现船艇的自动停泊。

具体地，所述根据水岸图像信息提取实时水岸线具体包括：

根据所述初始水岸图像信息提取初始帧水岸线；

根据所述后续帧水岸图像信息、初始水岸线提取实时水岸线。

具体地，所述根据所述初始水岸图像信息提取初始帧水岸线具体包括以下步骤：

将所述初始水岸图像进行最大熵分割处理得到二值图像；

提取所述二值图像中的水面区域作为初始生长区域；

将初始生长区域载入区域生长堆栈中，向外执行区域生长得到水面区域轮廓；

去除水面区域轮廓边缘像素得到初始帧水岸线。

具体地，所述将所述初始水岸图像进行最大熵分割处理步骤前还包括：

将所述初始水岸图像转为Lab颜色空间图像；

对所述Lab颜色空间图像L分量进行最大熵分割处理得到二值图像。

具体地，所述将初始生长区域载入区域生长堆栈中步骤前还包括：

对所述二值图像进行形态学操作，消除最大熵分割造成的过分割影响。

具体地，所述根据所述后续帧水岸图像信息、初始水岸线提取实时水岸线具体包括：

计算所述后续帧水岸图像中的前帧图像与后帧图像的特征点并进行特征点匹配，得到通过匹配的第一匹配特征点对；

根据所述第一匹配特征点对计算投影矩阵；

将所述初始帧水岸线扩大第一像素，通过所述投影矩阵将前帧图像中的水岸线投影至后帧图像中的水岸线上生成掩模；

在掩模内，将掩模下边沿作为生长初始点集合区域生长得到实时水岸线。具体地，所述将所述初始帧水岸线扩大第一像素具体包括：

根据当前船艇的行驶速度、航向、图像传感器帧率确定水岸线扩大的第一像素值。

具体地，所述将掩模下边沿作为生长初始点集合区域生长步骤前还包括：

对所述掩模边缘像素进行拟合补齐处理，以补齐掩膜缺失部分。

具体地，所述计算船艇与实时水岸线的实时姿态信息包括：

将所述实时水岸线分为若干分；

计算船艇与若干分实时水岸线之间的距离，以及距离方差值；

根据所述距离方差值断船艇与实时水岸线之间的方向，以进一步调整船艇航向，实现船艇的自动停泊。

具体地，所述根据所述距离方差值断船艇与实时水岸线之间的方向具体包括：

判断距离方差值与阈值之间的大小关系，若所述距离方差值小于阈值，则船艇当前正对实时水岸线，继续保持当前航向航行；

若所述距离方差值大于阈值，则船艇偏离实时水岸线，控制船艇向最大距离对应的水岸线行驶。

与现有技术相比，本发明有益效果是：

(1)本发明根据水岸图像信息提取实时水岸线，计算船艇与实时水岸线的实时姿态信息进而调整船艇航向，自动精准停靠至指定位置，整个无人船艇停泊过程全自动，不受环境影响，准确度高，占用空间小，利于拓展，且对辅助设施要求低，使用维护方便，实用性强，应用范围广。

(2)本发明对Lab颜色空间图像的L分量进行最大熵分割处理得到二值图像，由于L分量保留了图像的细节信息，能够更准确的提取图像特征。

(3)本发明对二值图像进行形态学操作，能够消除最大熵分割造成的过分割影响，即避免了水岸轮廓过于靠近水岸线对后续生长造成的影响，进而保证了提取的初始水岸线的准确性。

(4)本发明对掩模边缘像素进行拟合补齐处理，以补齐掩膜缺失部分，进而得到完整的实时水岸线，利于船艇准确停靠。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图中：

图1为本发明实施例1的系统框图；

图2为本发明实施例1的动力模块框图；

图3为本发明实施例1的通信模块框图；

图4为本发明实施例1的方法流程图；

图5为本发明实施例1的初始帧水岸线提取方法流程图；

图6为本发明实施例1的水岸图像示意图；

图7为本发明实施例1的形态学处理后得到的样本图像

图8为本发明实施例1的初始生长区域及生长结果示意图；

图9为本发明实施例1的实时帧水岸线提取方法流程图；

图10为本发明实施例1的相邻帧水岸图像特征检测与匹配结果示意图；

图11为本发明实施例1的进行拟合补齐处理的掩模示意图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，属于“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明提供一种小型无人船艇自动停泊方法，根据实时提取的水岸线计算船艇与水岸线之间的距离、方向等姿态信息，以整船艇航向实现船艇的自动停泊，整个无人船艇停泊过程全自动，不受环境影响，准确度高。

为便于理解本发明，先对本实施例中的小型无人艇自动停泊方法应用的系统进行说明，具体地，该系统具体包括电源模块、数据采集模块、动力模块、控制模块、服务器和远程控制；数据采集模块包括图像采集单元、定位单元、距离检测单元和姿态信息采集单元，将采集的水岸图像信息、位置信息、距离信息、航向信息等传输至控制模块，控制动力模块调整船艇行驶速度与方向，实现船艇的自动航行与停泊。更为具体地，控制模块经通信模块将船艇当前的航行信息传输至服务器和远程控制模块，实现无人船艇的远程航向控制。

进一步地，图像采集单元具体为双目视觉摄像头，用于采集分辨率为640x400的高清水岸彩色RGB图像；定位单元具体为GPS传感器，用于定位船艇的实时位置；距离检测单元具体为超声波传感器，本实施例中具体采用了4路超声波传感器，以检测船艇前方的障碍物实现避障功能，且该超声波传感器还用于自动停泊时检测水岸线与船艇之间的距离，以实现船艇的自动停泊；姿态信息采集单元具体为陀螺仪，本实施例中具体采用的是六轴陀螺仪，用于检测船艇的航向、加速度等。双目视觉摄像头、GPS传感器、陀螺仪输出端与控制模块的连接，4路超声波传感器经GPIO与控制模块连接。控制模块采用嵌入式GPU平台，搭载Linux系统，平台预留外设包括SPI、I2C、USB等接口，以实现与数据采集模块、通信模块、动力模块之间的通信，监控无人船艇当前行驶状态。

进一步地，无人船艇船体还包括磁吸圆球装置、磁吸底座和通信天线，无人船艇船体采用PVC材质，船体上方为密封舱门，前部分呈半圆形，通过铰链固定于船体前端，舱门后部对称安装两个向外的磁吸圆球装置，船体相应位置安装磁吸底座，磁吸圆球与底座通过磁力吸和将密封舱门固定，船体前方对称分布4路超声波传感器，其中，中间两路超声波传感器朝向正前方，两侧的超声波传感器朝向左右两方；GPS传感器位于船体后侧左翼，通信天线位于船体后侧右翼；双目视觉摄像头基架安装于密封舱门后部，双目视觉摄像头通过连杆安装于基架上方30cm处。

进一步地，如图2所示，无人船艇船体上的动力模块包括安装于船体后部的用于方向控制的步进电机和控制航速的直流电机，即通过控制模块改变发送的PWM信号占空比实现对船艇速度的控制，通过控制模块发送脉冲控制步进电机转向以控制船艇航向。进一步地，船体后部垂直于船体安装一根传动轴，上方安装步进电机以控制传动轴转动，传动轴下方安装一垂直于传动轴的带直流电机的螺旋桨；传动轴两个各安装一限位开关，当传动轴转动至某一固定位置即触发限位开关，通过限位开关感知旋转角度，以方便步进电机复位归零。

进一步地，如图3所示，本实施例中小型无人艇自动停泊系统中的通信方式包括两种通信方式，一路为绑定云服务器的远程通信，另一路是近距离无线数传通信，在远程通信中，控制模块将4G通信单元虚拟为无线网卡，将linux系统端口与架设于云端的服务器绑定以获得公网访问。远程控制时计算机访问云端服务器相应端口，云端服务器将访问请求和数据转发至绑定的远程控制模块。

进一步地，无人船艇船体上的电源管理模块采用大容量锂电池，供电电压为24V，通过电源管理调压输出三路电路，分别为24V，12.6V，5V，24V输出至两路电机驱动，12.6V输出至控制模块，5V电路输出至各路数据采集单元，为整个系统提供工作电压。

本实施例小型无人艇自动停泊系统的控制方法如图4所示，一种小型无人船艇自动停泊方法，具体包括以下步骤：

S01：根据水岸图像信息提取实时水岸线；

S02：计算船艇与实时水岸线的实时姿态信息；其中，姿态信息具体为方向、距离、加速度等信息。

S03：根据实时姿态信息调整船艇航向，实现船艇的自动停泊。

进一步地，根据水岸图像信息提取实时水岸线具体包括：

S011：根据初始水岸图像信息提取初始帧水岸线；

S012：根据后续帧水岸图像信息、初始水岸线提取实时水岸线。

更进一步地，如图5所示，步骤S011提取初始帧水岸线具体包括：

S0111：将初始水岸图像转为Lab颜色空间图像和灰度图像；具体地，如图6(a)所示，获取到的水岸图像通常为RGB图像，本实施例以河道内水岸图像为例，水岸线为两条在远处相交的曲线组成，有较为明显的倒影，又RGB图像中R，G，B三个颜色分量高度相关，不适宜直接进行图像分割，Lab颜色空间常用作图像分割的颜色空间，其中L分量为亮度分量，保留了图像的细节信息，并且能很好的表征水岸图像的亮度特征。因此本发明首先将RGB颜色空间图像转为Lab颜色空间，在L分量上提取感兴趣区域，转换后L分量的取值范围为[0，100]。

S0112：对Lab颜色空间图像的L分量进行最大熵分割处理得到二值图像；具体地，通过遍历图像灰度寻找到最大熵分割阈值，将图像分割为只包含前景像素(目前水岸线)和背景像素的二值图像，二值化后的图像前景像素为高亮度区域，如图6(b)所示，一般包含天空区域和水面区域中的天空倒影部分，图6(a)为进行最大熵分出处理的原始图像。

S0113：对二值图像进行形态学操作，消除最大熵分割造成的过分割影响。具体地，最大熵分割后图像某些部分存在过分割，导致部分前景像素弥散到水岸线以上的岸体区域。因此，本发明采用中腐蚀和膨胀相结合的形态学操作方式，首先对最大熵分割处理的二值图像采用6×6的结构元素进行腐蚀运算，在此基础上再进行一次膨胀运算，避免了最大熵分割后水岸轮廓过于靠近水岸线对后续生长造成影响，膨胀运算采用的结构元素小于腐蚀运算的结构元素，在本发明中采用4×4的结构元素进行膨胀运算，图7为腐蚀膨胀后得到的样本图像。

S0114：提取二值图像中的水面区域作为初始生长区域；具体地，对进行形态学操作后的图像进行轮廓提取，保留面积最大的两个区域，通过计算两个区域内像素Y坐标之和找出和最大的区域即为水面区域，提取出该轮廓区域，即为感兴趣区域，如图8(a)所示。

S0115：将初始生长区域载入区域生长堆栈中，在灰度图像上向外执行区域生长得到水面区域轮廓，去除水面区域轮廓边缘像素得到初始帧水岸线。具体地，本发明将最大熵分割后提取得到的感兴趣区域(水面区域)作为初始生长条件，载入区域生长的生长点堆栈中，将初始生长区域中轮廓线上的点标记为待生长点，轮廓线以内的点标记为已生长点，在灰度图像上采用8邻域区域生长的方式开始向外进行区域生长，其中生长准则制定如下：

其中Th为生长阈值，本发明将最大熵分割中前景像素图像熵乘以一个经验系数作为区域生长阈值，D_k为第i个种子点像素的灰度值与其第k个未生长邻域像素的灰度值之差的绝对值。生长结果结果如下图8(b)所示，提取生长区域的轮廓，将边缘像素去除后保留最长的一条线段即为提取到的初始帧水岸线。

更进一步地，如图9所示，步骤S012提取实时水岸线首先要确定合适的背景运动模型，对预测帧进行背景补偿。本发明实时水岸线提取方法能够处理摄像机空间上的平移、旋转等三维立体运动，具有较高的精度，适合实际应用，具体包括以下步骤：

S0121：计算后续帧水岸图像中的前帧图像与后帧图像的特征点并进行特征点匹配，得到通过匹配的第一匹配特征点对；具体地，将水岸图像转为灰度图，再对时间顺序上相邻两帧图片分别做ORB特征点检测，生成具有方向信息的oFAST特征点和rBRIEF二进制描述子，根据描述子对前后两帧图像进行特征匹配，并使用RANSAC算法对误匹配进行剔除，得到匹配后的第一匹配特征点对。图10为相邻帧水岸图像特征检测与匹配结果示意图，图中方框为投影变换示意。

S0122：根据第一匹配特征点对计算投影矩阵；具体地，背景补偿效果直接取决于全局运动估计精度，进而影响到水岸线提取的准确性。因此，本发明根据匹配后的第一匹配特征点对计算投影矩阵，从而计算背景模型的运动参数。

S0123：将初始帧水岸线扩大二十个像素，通过投影矩阵将前帧图像中的水岸线投影至后帧图像中的水岸线上生成掩模，获得后帧图片水岸线的大致区域；具体地，根据当前船艇的行驶速度、航向、图像传感器帧率(双目视觉摄像头帧率)确定水岸线扩大的像素值。

S0124：对掩模边缘像素进行拟合补齐处理，以补齐掩膜缺失部分。具体地，由于相机运动的原因将会造成预测区域某部分边界缺失，此时通过将缺失方向根据原边界点延长，将延长线扩大四十像素并投影拼接的方式补齐，以得到完整的掩膜，如图11所示，其中白色部分为区域生长的掩模区域，左下角部分填充区域，可以看出进行拟合补齐处理后的掩模区域完全覆盖在水岸线之上，保证了水岸提取的准确性。

S0125：将补齐的掩模下边沿作为生长初始点集合区域生长得到实时水岸线。具体地，生长策略具体为将完整掩膜下边界全部压入堆栈作为待生长种子点，在掩膜区域内开始区域生长，得到最终生长区域后，按照初始帧水岸线提取方式剔除边界点，提取最长线段即为实时水岸线。

更进一步地，本发明还对水岸线轮廓复杂且倒影明显人工湖面，水岸线近似直线、拍摄时间为傍晚、图像整理光照较暗的江面水岸图像等都采用本发明方法实现了水岸线的提取，实验表明，本发明算法均能有效提取到水岸线，且本发明水岸线算法提取到的水岸线与人工手动提取的水岸线样本偏移误差平均在仅在5像素左右，平均耗时仅为34ms，水岸线的提取准确率、效率高。

进一步地，步骤S02计算船艇与实时水岸线的实时姿态信息具体包括：

S021：将实时水岸线分为若干分；具体地，在本实施例中将水岸线分为左、中、右三部分。

S022：计算船艇与左、中、右实时水岸线之间的距离，平均距离以及距离方差值；

S023：根据距离方差值断船艇与实时水岸线之间的方向，以进一步调整船艇航向，实现船艇的自动停泊。

更进一步地，步骤S023根据距离方差值断船艇与实时水岸线之间的方向具体包括：

判断距离方差值与阈值之间的大小关系，若距离方差值小于阈值，船艇左中右三部分与实时水岸线的距离几乎相等，船艇当前正对实时水岸线，继续保持当前航向航行；

若距离方差值大于阈值，则船艇偏离实时水岸线，控制船艇向最远距离对应的水岸线行驶，且转向角度正比于距离方差。

更进一步地，当监测到船艇与水岸线距离低于第一阈值时，则通过船体前端的超声波获得实时距离信息，减慢航速微调以完成最终靠岸停泊。

本发明根据水岸图像信息提取实时水岸线，计算船艇与实时水岸线的实时姿态信息进而调整船艇航向，自动精准停靠至指定位置，整个无人船艇停泊过程全自动，不受环境影响，准确度高，占用空间小，利于拓展，且对辅助设施要求低，结构比较简单，使用维护方便，实用性强，应用范围广。

以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (10)

1.一种小型无人船艇自动停泊方法，其特征在于：所述方法包括：

根据水岸图像信息提取实时水岸线；

计算船艇与实时水岸线的实时姿态信息；

根据所述实时姿态信息调整船艇航向，实现船艇的自动停泊。

2.根据权利要求1所述的一种小型无人船艇自动停泊方法，其特征在于：所述根据水岸图像信息提取实时水岸线具体包括：

根据所述初始水岸图像信息提取初始帧水岸线；

根据所述后续帧水岸图像信息、初始水岸线提取实时水岸线。

3.根据权利要求2所述的一种小型无人船艇自动停泊方法，其特征在于：所述根据所述初始水岸图像信息提取初始帧水岸线具体包括以下步骤：

将所述初始水岸图像进行最大熵分割处理得到二值图像；

提取所述二值图像中的水面区域作为初始生长区域；

将初始生长区域载入区域生长堆栈中，向外执行区域生长得到水面区域轮廓；

去除水面区域轮廓边缘像素得到初始帧水岸线。

4.根据权利要求3所述的一种小型无人船艇自动停泊方法，其特征在于：所述将所述初始水岸图像进行最大熵分割处理步骤前还包括：

将所述初始水岸图像转为Lab颜色空间图像；

对所述Lab颜色空间图像的L分量进行最大熵分割处理得到二值图像。

5.根据权利要求3所述的一种小型无人船艇自动停泊方法，其特征在于：所述将初始生长区域载入区域生长堆栈中步骤前还包括：

对所述二值图像进行形态学操作，消除最大熵分割造成的过分割影响。

6.根据权利要求2所述的一种小型无人船艇自动停泊方法，其特征在于：所述根据所述后续帧水岸图像信息、初始水岸线提取实时水岸线具体包括：

计算所述后续帧水岸图像中的前帧图像与后帧图像的特征点并进行特征点匹配，得到通过匹配的第一匹配特征点对；

根据所述第一匹配特征点对计算投影矩阵；

将所述初始帧水岸线扩大第一像素，通过所述投影矩阵将前帧图像中的水岸线投影至后帧图像中的水岸线上生成掩模；

在掩模内，将掩模下边沿作为生长初始点集合区域生长得到实时水岸线。

7.根据权利要求6所述的一种小型无人船艇自动停泊方法，其特征在于：所述将所述初始帧水岸线扩大第一像素具体包括：

根据当前船艇的行驶速度、航向、图像传感器帧率确定水岸线扩大的第一像素值。

8.根据权利要求6所述的一种小型无人船艇自动停泊方法，其特征在于：所述将掩模下边沿作为生长初始点集合区域生长步骤前还包括：

对所述掩模边缘像素进行拟合补齐处理，以补齐掩膜缺失部分。

9.根据权利要求1所述的一种小型无人船艇自动停泊方法，其特征在于：所述计算船艇与实时水岸线的实时姿态信息包括：

将所述实时水岸线分为若干分；

计算船艇与若干分实时水岸线之间的距离，以及距离方差值；

根据所述距离方差值断船艇与实时水岸线之间的方向，以进一步调整船艇航向，实现船艇的自动停泊。

10.根据权利要求9所述的一种小型无人船艇自动停泊方法，其特征在于：所述根据所述距离方差值断船艇与实时水岸线之间的方向具体包括：

判断距离方差值与阈值之间的大小关系，若所述距离方差值小于阈值，则船艇当前正对实时水岸线，继续保持当前航向航行；

若所述距离方差值大于阈值，则船艇偏离实时水岸线，控制船艇向最大距离对应的水岸线行驶。

Images