CN110120073A - 一种基于灯标视觉信号引导无人艇回收的方法 - Google Patents

Abstract

一种基于灯标视觉信号引导无人艇回收的方法，在无人艇和艇架上都安装了摄像头和绿色信号灯后，对摄像头拍摄的原始图像进行处理和分析，得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，实现无人艇的回收。本发明能够在无人艇驶入艇架时实时检测和计算，灵敏度和精度高，准确快速的得出无人艇和艇架的方位和偏移角，能够快速有效的引导无人艇与艇架的对中和驶入，快速准确，安全有效。

Description

一种基于灯标视觉信号引导无人艇回收的方法

技术领域

本发明涉及无人设备应用技术领域，尤其涉及无人艇的布放和回收，具体是一种基于灯标视觉信号引导无人艇回收的方法。

背景技术

21世纪是“海洋的世纪”。当今国际海洋形势正在发生重要变革，这对中国的海洋战略的构建与发展既是机遇同时又是异常严峻的挑战。因此，分析当前中国周边海洋安全形势，测量我国近海浅海的大陆架及海洋地貌测绘，对中国海洋强国战略的构建，海上力量的大力发展以及国家海洋权益的维护至关重要。

无人艇是一种无人操作的水面舰艇，主要用于执行危险或者不适于有人船只执行的任务。无人艇上配备先进的控制系统、传感器系统、通信系统和武器系统后，更是能够执行多种战争或非战争的军事或民事任务。由于无人艇的吃水浅、机动性强，能够优秀的执行海洋测绘、提供海洋地理信息、数据和基础图形、对海洋气象要素、海洋水质要素、海洋生物要素等进行检测的任务，为国家及时采取救灾措施提供及时全面的信息，对海上经济目标进行巡航保护和海洋监控违法行为等提供便利。因此，无人艇的开发和利用具有重大意义。

无人艇布放回收是指无人艇在完成水上任务之后，通过一定方式获取无人艇方位和偏移角信号，根据获取的信号引导无人艇按3至5节左右的速度驶入艇架，随后母船再对艇架连同无人艇进行回收。传统方法是通过GPS和惯导获取无人艇（艇架）相对于艇架（无人艇）的方位和偏移角信号，实时性和精度不够高，无法准确快速的实现无人艇与艇架的对中和驶入。因此，引导无人艇的回收和布放的设备或方法，一直是人们研究的方向。

发明内容

为了解决现有技术的不足，本发明提出一种利用对灯标的视觉信号进行分析，判断无人艇相对于艇架的方位和角度，并依此引导无人艇进入艇架，实现无人艇回收的方法。

本发明要解决的技术问题是通过以下技术方案实现的：

一种基于灯标视觉信号引导无人艇回收的方法，在无人艇和艇架上都安装了摄像头和绿色信号灯后，对摄像头拍摄的原始图像进行处理和分析，得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，实现无人艇的回收，具体的图像处理和分析过程包括以下步骤：

（1）对原始图像进行颜色阈值分割，得到颜色阈值分割图；

（2）对原始图像进行亮度阈值分割，得到亮度阈值分割图；

（3）对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，得到颜色亮度阈值分割图；

（4）对颜色亮度阈值分割图进行开操作和闭操作，得到只包含绿色信号灯的最终图像；

（5）对最终图像从左至右按一定比例划分，依次为“偏左”、“安全通行”、“偏右”区域；

（6）对最终图像中像素点进行统计，求取信号灯区域在x方向上的坐标均值；

（7）根据坐标均值大小判断无人艇上的绿色信号灯相对于艇架的方位信息，同理可得艇架上的绿色信号灯相对于无人艇的方位信息；

（8）再将均值结合摄像头内参求取出无人艇上的绿色信号灯相对于艇架的偏移角，同理可得艇架上的绿色信号灯相对于无人艇的偏移角。

在步骤（1）中，对原始图像进行颜色阈值分割，包括以下步骤：

①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声。均值滤波是一种采用邻域平均法的线性滤波方法，即用一片图像区域的各个像素的均值代替原图像中的各个像素值，均值滤波公式如下：

式中，S_xy代表中心在点(x,y)处，大小为10×10的邻域矩形子图像窗口的100个坐标，g(s,t)代表100个坐标中的一个对应的像素值。代表100个坐标对应的像素的平均值；

②将均值滤波后的图像转换到HSV色彩空间，HSV色彩空间由独立的色调、饱和度以及亮度三个通道构成，在更加符合人眼感知的基础上可以表示任意的颜色，RGB转HSV的公式如下：

其中，H、S、V分别是HSV色彩空间的色调值、饱和度值以及亮度分量值，R、G、B分别是RGB色彩空间的红绿蓝三个色度值。M为R、G、B三个分量中的最大值，m为R、G、B三个分量中的最小值；

③将HSV色彩空间的图像中的色调分量进行直方图均衡化，以便通过拉伸像素分布范围来增强图像对比度；

④对均衡化后的图像按色调、饱和度、亮度三个分量进行颜色阈值分割，得到颜色阈值分割图。选用的信号灯为绿色，色调H的范围为0~180，饱和度S的范围0~255，亮度V的范围0~255，按照绿色进行分割，经过多次实验对比，选用绿色色调H的范围为35~90，饱和度S的范围50~255，亮度V的范围为200~255。将图像中色调、饱和度、亮度分量都处于绿色范围内的像素置白，即像素设置为255，其余为黑，像素设置为0。

在步骤（2）中，对原始图像进行亮度阈值分割，包括以下步骤：

①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声；

②将均值滤波之后的图像进行灰度化，得到灰度图像，转换公式为：

其中，R(x ,y)代表在图像中坐标为（x ,y）的位置的红色分量值，G(x ,y)代表在图像中坐标为（x ,y）的位置的绿色分量值，B（x ,y）代表在图像中坐标为（x ,y）的位置的蓝色分量值，Gray(x ,y)代表在图像中最终保留的坐标为（x ,y）的位置的灰度值；

③将灰度图像按照一定阈值进行分割，得到亮度阈值分割图。灰度范围为0~255，由于信号灯中心区域亮度高，拍摄出的图像上近乎于白色，在颜色阈值分割图上显示的就是黑色，需要进行亮度阈值分割，设置阈值为253，灰度值高于253的置白，即像素变为255，低于253的置黑，即像素变为0。

在步骤（3）中，对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，具体操作为：亮度阈值分割图可以很好的弥补信号灯在颜色阈值分割图中的空洞区域，因此需要将颜色阈值分割图、亮度阈值分割图加权求和，得到融合后的颜色亮度阈值分割图，其中颜色阈值分割图权重为0.5，亮度阈值分割图权重为0.5。

在步骤（4）中，对颜色亮度阈值分割图进行开操作和闭操作，具体操作为：

①设置开操作和闭操作的形态学处理的内核大小为5×5；

②对颜色亮度阈值分割图进行开操作，即先腐蚀后膨胀，其目的是去除图像中的噪点，平滑物体的轮廓、断开图像中较小的狭颈，并消除细的突出物；

③再对图像进行闭操作，即先膨胀后腐蚀，其目的是弥合图像中较小窄的间断和细长的沟壑，消除小的空洞，填补轮廓线的断裂，连接连通域。

在步骤（5）中，对最终图像从左至右按一定比例划分，具体操作为：将720×1280的颜色亮度阈值分割图从左到右的x方向上按照4：2：4的比例依次划分为“偏左”、“安全通行”、“偏右”区域。

在步骤（6）中，对最终图像中像素点进行统计，具体操作为：由于颜色亮度阈值分割图是像素只有0和255的二值图，所以统计所有像素大于0，即为255的像素点的x方向坐标，并求取均值，公式如下：

其中，代表x方向上的坐标均值，代表像素为255的像素点的x方向坐标，n代表像素为255的像素点数目。

在步骤（7）中，根据坐标均值大小，判断无人艇、艇架相对于各自的方位信息的具体操作为：

①若x方向上的坐标均值落入“偏左”区域，则输出信号“偏左”；

②若x方向上的坐标均值落入“偏右”区域，则输出信号“偏右”；

③若x方向上的坐标均值落入“安全通行”区域，则不输出信号。

在步骤（8）中，所述均值结合摄像头内参，求取出无人艇（艇架）上的信号灯相对于艇架（无人艇）上的摄像头的偏移角的具体操作为：

①通过网格标定法对摄像头进行标定，得到摄像头的内参即x方向上的归一化焦距；

②结合x方向上的坐标均值和归一化焦距计算出信号灯中心相对于摄像头的偏移角，其公式如下：

其中，为信号灯中心相对于摄像头的偏移角，代表x方向上的坐标均值，摄像头的内参即x方向上的归一化焦距。

在本发明中，按照上述步骤流程，将无人艇和艇架上的摄像头拍摄到的绿色信号灯图像进行处理后，即可得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，来实现无人艇的回收。

与现有技术相比，本发明能够在无人艇驶入艇架时实时检测和计算，灵敏度和精度高，准确快速的得出无人艇和艇架的方位和偏移角，能够快速有效的引导无人艇与艇架的对中和驶入，快速准确，安全有效。

附图说明

图1 为本发明的流程图；

图2 为本发明的摄像头以及信号灯安装位置示意图；

图3 为本发明的颜色阈值分割图；

图4 为本发明的亮度阈值分割图；

图5 为本发明的加权融合后的颜色亮度阈值分割图；

图6 为本发明的进行形态学处理开操作和闭操作之后的图像。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

一种基于灯标视觉信号引导无人艇回收的方法，在图1中为无人艇与艇架上安装的摄像头和绿色信号灯，依照图1中的流程图，具体的操作方法包括以下步骤：

步骤1、对原始图像进行颜色阈值分割，得到颜色阈值分割图，如图3所示。具体实施方式如下：

1）对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声。均值滤波是一种采用邻域平均法的线性滤波方法，即用一片图像区域的各个像素的均值代替原图像中的各个像素值。均值滤波公式如下：

式中，S_xy代表中心在点(x,y)处，大小为10×10的邻域矩形子图像窗口的100个坐标，g(s,t)代表100个坐标中的一个对应的像素值。代表100个坐标对应的像素的平均值；

2）将均值滤波后的图像转换到HSV色彩空间，HSV色彩空间由独立的色调、饱和度以及亮度三个通道构成，在更加符合人眼感知的基础上可以表示任意的颜色，RGB转HSV的公式如下：

其中，H、S、V分别是HSV色彩空间的色调值、饱和度值以及亮度分量值，R、G、B分别是RGB色彩空间的红绿蓝三个色度值。M为R、G、B三个分量中的最大值，m为R、G、B三个分量中的最小值。

3）将HSV色彩空间的图像中的色调分量进行直方图均衡化，以便通过拉伸像素分布范围来增强图像对比度。

4）对均衡化后的图像按色调、饱和度、亮度三个分量进行颜色阈值分割，得到颜色阈值分割图。选用的信号灯为绿色，色调H的范围为0~180，饱和度S的范围0~255，亮度V的范围0~255，按照绿色进行分割，经过多次实验对比，选用绿色色调H的范围为35~90，饱和度S的范围50~255，亮度V的范围为200~255。将图像中色调、饱和度、亮度分量都处于绿色范围内的像素置白，即像素设置为255，其余为黑，像素设置为0。

步骤2、对原始图像进行亮度阈值分割，得到亮度阈值分割图，如图4。具体实施方式如下：

1）对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声。

2）将均值滤波之后的图像进行灰度化，得到灰度图像，转换公式为：

其中，R(x ,y)代表在图像中坐标为（x ,y）的位置的红色分量值，G(x ,y)代表在图像中坐标为（x ,y）的位置的绿色分量值，B（x ,y）代表在图像中坐标为（x ,y）的位置的蓝色分量值，Gray(x ,y)代表在图像中最终保留的坐标为（x ,y）的位置的灰度值。

3）将灰度图像按照一定阈值进行分割，得到亮度阈值分割图。灰度范围为0~255，由于信号灯中心区域亮度高，拍摄出的图像上近乎于白色，在颜色阈值分割图上显示的就是黑色，需要进行亮度阈值分割，设置阈值为253，灰度值高于253的置白，即像素变为255，低于253的置黑，即像素变为0。

步骤3、对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，得到颜色亮度阈值分割图，如图5所示。具体实施方式如下：

亮度阈值分割图可以很好的弥补信号灯在颜色阈值分割图中的空洞区域，因此需要将颜色阈值分割图、亮度阈值分割图加权求和，得到融合后的颜色亮度阈值分割图，其中颜色阈值分割图权重为0.5，亮度阈值分割图权重为0.5。

步骤4、对颜色亮度阈值分割图进行形态学处理的开操作、闭操作，得到只包含绿色信号灯的最终图像，如图6所示。具体实施方式如下：

1）设置开操作和闭操作的形态学处理的内核大小为5×5。

2）对颜色亮度阈值分割图进行开操作，即先腐蚀后膨胀，其目的是去除图像中的噪点，平滑物体的轮廓、断开图像中较小的狭颈，并消除细的突出物。

3）再对图像进行闭操作，即先膨胀后腐蚀，其目的是弥合图像中较小窄的间断和细长的沟壑，消除小的空洞，填补轮廓线的断裂，连接连通域。

步骤5、对最终图像从左至右按一定比例划分，具体实施方式如下：

将720×1280的颜色亮度阈值分割图从左到右的x方向上按照4：2：4的比例依次划分为“偏左”、“安全通行”、“偏右”区域。

步骤6、对最终图像中像素点进行统计，求取信号灯区域在x方向上的坐标均值。具体实施方式如下：

由于颜色亮度阈值分割图是像素只有0和255的二值图，所以统计所有像素大于0，即为255的像素点的x方向坐标，并求取均值，公式如下：

其中，代表x方向上的坐标均值，代表像素为255的像素点的x方向坐标，n代表像素为255的像素点数目。

步骤7、根据坐标均值大小，判断无人艇、艇架相对于各自的方位信息。具体实施方式如下：

1）若x方向上的坐标均值落入“偏左”区域，则输出信号“偏左”。

2）若x方向上的坐标均值落入“偏右”区域，则输出信号“偏右”。

3）若x方向上的坐标均值落入“安全通行”区域，则不输出信号。

步骤8、根据x方向上的坐标均值结合摄像头内参，求取出无人艇（艇架）上的信号灯相对于艇架（无人艇）上的摄像头的偏移角，具体实施方式如下：

1）通过网格标定法对摄像头进行标定，得到摄像头的内参即x方向上的归一化焦距。

2）结合x方向上的坐标均值和归一化焦距计算出信号灯中心相对于摄像头的偏移角，其公式如下：

其中，为信号灯中心相对于摄像头的偏移角，代表x方向上的坐标均值，摄像头的内参即x方向上的归一化焦距。

本发明所述的无人艇在回收入艇架时，绿色信号灯进行照明指示，各自摄像头拍下图像，依照上述步骤进行处理，即可得到无人艇和艇架的方位和角度信息，依次进行引导，即可有效的将无人艇引导入艇架内，实现无人艇的回收。

因此，本发明能够在无人艇驶入艇架时实时检测和计算，灵敏度和精度高，准确快速的得出无人艇和艇架的方位和偏移角，能够快速有效的引导无人艇与艇架的对中和驶入，快速准确，安全有效。

Claims (9)

1.一种基于灯标视觉信号引导无人艇回收的方法，其特征在于：在无人艇和艇架上都安装了摄像头和绿色信号灯后，对摄像头拍摄的原始图像进行处理和分析，得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，实现无人艇的回收，具体的图像处理和分析过程包括以下步骤：

(1)对原始图像进行颜色阈值分割，得到颜色阈值分割图；

(2)对原始图像进行亮度阈值分割，得到亮度阈值分割图；

(3)对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，得到颜色亮度阈值分割图；

(4)对颜色亮度阈值分割图进行开操作和闭操作，得到只包含绿色信号灯的最终图像；

(5)对最终图像从左至右按一定比例划分，依次为“偏左”、“安全通行”、“偏右”区域；

(6)对最终图像中像素点进行统计，求取信号灯区域在x方向上的坐标均值；

(7)根据坐标均值大小判断无人艇上的绿色信号灯相对于艇架的方位信息，同理可得艇架上的绿色信号灯相对于无人艇的方位信息；

(8)再将均值结合摄像头内参求取出无人艇上的绿色信号灯相对于艇架的偏移角，同理可得艇架上的绿色信号灯相对于无人艇的偏移角。

2.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（1）中，对原始图像进行颜色阈值分割，包括以下步骤：

①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声；均值滤波是一种采用邻域平均法的线性滤波方法，即用一片图像区域的各个像素的均值代替原图像中的各个像素值，均值滤波公式如下：

式中，S_xy代表中心在点(x,y)处，大小为10×10的邻域矩形子图像窗口的100个坐标，g(s,t)代表100个坐标中的一个对应的像素值；代表100个坐标对应的像素的平均值；

②将均值滤波后的图像转换到HSV色彩空间，HSV色彩空间由独立的色调、饱和度以及亮度三个通道构成，在更加符合人眼感知的基础上可以表示任意的颜色，RGB转HSV的公式如下：

其中，H、S、V分别是HSV色彩空间的色调值、饱和度值以及亮度分量值，R、G、B分别是RGB色彩空间的红绿蓝三个色度值；M为R、G、B三个分量中的最大值，m为R、G、B三个分量中的最小值；

③将HSV色彩空间的图像中的色调分量进行直方图均衡化，以便通过拉伸像素分布范围来增强图像对比度；

④对均衡化后的图像按色调、饱和度、亮度三个分量进行颜色阈值分割，得到颜色阈值分割图；选用的信号灯为绿色，色调H的范围为0~180，饱和度S的范围0~255，亮度V的范围0~255，按照绿色进行分割，经过多次实验对比，选用绿色色调H的范围为35~90，饱和度S的范围50~255，亮度V的范围为200~255；将图像中色调、饱和度、亮度分量都处于绿色范围内的像素置白，即像素设置为255，其余为黑，像素设置为0。

3.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（2）中，对原始图像进行亮度阈值分割，包括以下步骤：

①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声；

②将均值滤波之后的图像进行灰度化，得到灰度图像，转换公式为：

其中，R(x ,y)代表在图像中坐标为（x ,y）的位置的红色分量值，G(x ,y)代表在图像中坐标为（x ,y）的位置的绿色分量值，B（x ,y）代表在图像中坐标为（x ,y）的位置的蓝色分量值，Gray(x ,y)代表在图像中最终保留的坐标为（x ,y）的位置的灰度值；

③将灰度图像按照一定阈值进行分割，得到亮度阈值分割图；灰度范围为0~255，由于信号灯中心区域亮度高，拍摄出的图像上近乎于白色，在颜色阈值分割图上显示的就是黑色，需要进行亮度阈值分割，设置阈值为253，灰度值高于253的置白，即像素变为255，低于253的置黑，即像素变为0。

4.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（3）中，对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，具体操作为：亮度阈值分割图可以很好的弥补信号灯在颜色阈值分割图中的空洞区域，因此需要将颜色阈值分割图、亮度阈值分割图加权求和，得到融合后的颜色亮度阈值分割图，其中颜色阈值分割图权重为0.5，亮度阈值分割图权重为0.5。

5.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（4）中，对颜色亮度阈值分割图进行开操作和闭操作，具体操作为：

①设置开操作和闭操作的形态学处理的内核大小为5×5；

②对颜色亮度阈值分割图进行开操作，即先腐蚀后膨胀，其目的是去除图像中的噪点，平滑物体的轮廓、断开图像中较小的狭颈，并消除细的突出物；

③再对图像进行闭操作，即先膨胀后腐蚀，其目的是弥合图像中较小窄的间断和细长的沟壑，消除小的空洞，填补轮廓线的断裂，连接连通域。

6.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（5）中，对最终图像从左至右按一定比例划分，具体操作为：将720×1280的颜色亮度阈值分割图从左到右的x方向上按照4：2：4的比例依次划分为“偏左”、“安全通行”、“偏右”区域。

7.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（6）中，对最终图像中像素点进行统计，具体操作为：由于颜色亮度阈值分割图是像素只有0和255的二值图，所以统计所有像素大于0，即为255的像素点的x方向坐标，并求取均值，公式如下：

其中，代表x方向上的坐标均值，代表像素为255的像素点的x方向坐标，n代表像素为255的像素点数目。

8.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（7）中，根据坐标均值大小，判断无人艇、艇架相对于各自的方位信息的具体操作为：

①若x方向上的坐标均值落入“偏左”区域，则输出信号“偏左”；

②若x方向上的坐标均值落入“偏右”区域，则输出信号“偏右”；

③若x方向上的坐标均值落入“安全通行”区域，则不输出信号。

9.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（8）中，所述均值结合摄像头内参，求取出无人艇（艇架）上的信号灯相对于艇架（无人艇）上的摄像头的偏移角的具体操作为：

①通过网格标定法对摄像头进行标定，得到摄像头的内参即x方向上的归一化焦距；

②结合x方向上的坐标均值和归一化焦距计算出信号灯中心相对于摄像头的偏移角，其公式如下：

其中，为信号灯中心相对于摄像头的偏移角，代表x方向上的坐标均值，摄像头的内参即x方向上的归一化焦距。