CN110120073B - 一种基于灯标视觉信号引导无人艇回收的方法 - Google Patents

一种基于灯标视觉信号引导无人艇回收的方法 Download PDF

Info

Publication number
CN110120073B
CN110120073B CN201910245416.2A CN201910245416A CN110120073B CN 110120073 B CN110120073 B CN 110120073B CN 201910245416 A CN201910245416 A CN 201910245416A CN 110120073 B CN110120073 B CN 110120073B
Authority
CN
China
Prior art keywords
image
threshold segmentation
color
unmanned ship
signal lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910245416.2A
Other languages
English (en)
Other versions
CN110120073A (zh
Inventor
谢少荣
徐海彬
李小毛
陈加宏
彭艳
蒲华燕
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910245416.2A priority Critical patent/CN110120073B/zh
Publication of CN110120073A publication Critical patent/CN110120073A/zh
Application granted granted Critical
Publication of CN110120073B publication Critical patent/CN110120073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于灯标视觉信号引导无人艇回收的方法，在无人艇和艇架上都安装了摄像头和绿色信号灯后，对摄像头拍摄的原始图像进行处理和分析，得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，实现无人艇的回收。本发明能够在无人艇驶入艇架时实时检测和计算，灵敏度和精度高，准确快速的得出无人艇和艇架的方位和偏移角，能够快速有效的引导无人艇与艇架的对中和驶入，快速准确，安全有效。

Description

一种基于灯标视觉信号引导无人艇回收的方法
技术领域
本发明涉及无人设备应用技术领域，尤其涉及无人艇的布放和回收，具体是一种基于灯标视觉信号引导无人艇回收的方法。
背景技术
21世纪是“海洋的世纪”。当今国际海洋形势正在发生重要变革，这对中国的海洋战略的构建与发展既是机遇同时又是异常严峻的挑战。因此，分析当前中国周边海洋安全形势，测量我国近海浅海的大陆架及海洋地貌测绘，对中国海洋强国战略的构建，海上力量的大力发展以及国家海洋权益的维护至关重要。
无人艇是一种无人操作的水面舰艇，主要用于执行危险或者不适于有人船只执行的任务。无人艇上配备先进的控制系统、传感器系统、通信系统和武器系统后，更是能够执行多种战争或非战争的军事或民事任务。由于无人艇的吃水浅、机动性强，能够优秀的执行海洋测绘、提供海洋地理信息、数据和基础图形、对海洋气象要素、海洋水质要素、海洋生物要素等进行检测的任务，为国家及时采取救灾措施提供及时全面的信息，对海上经济目标进行巡航保护和海洋监控违法行为等提供便利。因此，无人艇的开发和利用具有重大意义。
无人艇布放回收是指无人艇在完成水上任务之后，通过一定方式获取无人艇方位和偏移角信号，根据获取的信号引导无人艇按3至5节左右的速度驶入艇架，随后母船再对艇架连同无人艇进行回收。传统方法是通过GPS和惯导获取无人艇（艇架）相对于艇架（无人艇）的方位和偏移角信号，实时性和精度不够高，无法准确快速的实现无人艇与艇架的对中和驶入。因此，引导无人艇的回收和布放的设备或方法，一直是人们研究的方向。
发明内容
为了解决现有技术的不足，本发明提出一种利用对灯标的视觉信号进行分析，判断无人艇相对于艇架的方位和角度，并依此引导无人艇进入艇架，实现无人艇回收的方法。
本发明要解决的技术问题是通过以下技术方案实现的：
一种基于灯标视觉信号引导无人艇回收的方法，在无人艇和艇架上都安装了摄像头和绿色信号灯后，对摄像头拍摄的原始图像进行处理和分析，得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，实现无人艇的回收，具体的图像处理和分析过程包括以下步骤：
（1）对原始图像进行颜色阈值分割，得到颜色阈值分割图；
（2）对原始图像进行亮度阈值分割，得到亮度阈值分割图；
（3）对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，得到颜色亮度阈值分割图；
（4）对颜色亮度阈值分割图进行开操作和闭操作，得到只包含绿色信号灯的最终图像；
（5）对最终图像从左至右按一定比例划分，依次为“偏左”、“安全通行”、“偏右”区域；
（6）对最终图像中像素点进行统计，求取信号灯区域在x方向上的坐标均值；
（7）根据坐标均值大小判断无人艇上的绿色信号灯相对于艇架的方位信息，同理可得艇架上的绿色信号灯相对于无人艇的方位信息；
（8）再将均值结合摄像头内参求取出无人艇上的绿色信号灯相对于艇架的偏移角，同理可得艇架上的绿色信号灯相对于无人艇的偏移角。
在步骤（1）中，对原始图像进行颜色阈值分割，包括以下步骤：
①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声。均值滤波是一种采用邻域平均法的线性滤波方法，即用一片图像区域的各个像素的均值代替原图像中的各个像素值，均值滤波公式如下：
Figure DEST_PATH_IMAGE001
式中，Sxy代表中心在点(x,y)处，大小为10×10的邻域矩形子图像窗口的100个坐标，g(s,t)代表100个坐标中的一个对应的像素值。
Figure DEST_PATH_IMAGE003
代表100个坐标对应的像素的平均值；
②将均值滤波后的图像转换到HSV色彩空间，HSV色彩空间由独立的色调、饱和度以及亮度三个通道构成，在更加符合人眼感知的基础上可以表示任意的颜色，RGB转HSV的公式如下：
Figure 12090DEST_PATH_IMAGE004
其中，H、S、V分别是HSV色彩空间的色调值、饱和度值以及亮度分量值，R、G、B分别是RGB色彩空间的红绿蓝三个色度值。M为R、G、B三个分量中的最大值，m为R、G、B三个分量中的最小值；
③将HSV色彩空间的图像中的色调分量进行直方图均衡化，以便通过拉伸像素分布范围来增强图像对比度；
④对均衡化后的图像按色调、饱和度、亮度三个分量进行颜色阈值分割，得到颜色阈值分割图。选用的信号灯为绿色，色调H的范围为0~180，饱和度S的范围0~255，亮度V的范围0~255，按照绿色进行分割，经过多次实验对比，选用绿色色调H的范围为35~90，饱和度S的范围50~255，亮度V的范围为200~255。将图像中色调、饱和度、亮度分量都处于绿色范围内的像素置白，即像素设置为255，其余为黑，像素设置为0。
在步骤（2）中，对原始图像进行亮度阈值分割，包括以下步骤：
①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声；
②将均值滤波之后的图像进行灰度化，得到灰度图像，转换公式为：
Figure DEST_PATH_IMAGE005
其中，R(x ,y)代表在图像中坐标为（x ,y）的位置的红色分量值，G(x ,y)代表在图像中坐标为（x ,y）的位置的绿色分量值，B（x ,y）代表在图像中坐标为（x ,y）的位置的蓝色分量值，Gray(x ,y)代表在图像中最终保留的坐标为（x ,y）的位置的灰度值；
③将灰度图像按照一定阈值进行分割，得到亮度阈值分割图。灰度范围为0~255，由于信号灯中心区域亮度高，拍摄出的图像上近乎于白色，在颜色阈值分割图上显示的就是黑色，需要进行亮度阈值分割，设置阈值为253，灰度值高于253的置白，即像素变为255，低于253的置黑，即像素变为0。
在步骤（3）中，对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，具体操作为：亮度阈值分割图可以很好的弥补信号灯在颜色阈值分割图中的空洞区域，因此需要将颜色阈值分割图、亮度阈值分割图加权求和，得到融合后的颜色亮度阈值分割图，其中颜色阈值分割图权重为0.5，亮度阈值分割图权重为0.5。
在步骤（4）中，对颜色亮度阈值分割图进行开操作和闭操作，具体操作为：
①设置开操作和闭操作的形态学处理的内核大小为5×5；
②对颜色亮度阈值分割图进行开操作，即先腐蚀后膨胀，其目的是去除图像中的噪点，平滑物体的轮廓、断开图像中较小的狭颈，并消除细的突出物；
③再对图像进行闭操作，即先膨胀后腐蚀，其目的是弥合图像中较小窄的间断和细长的沟壑，消除小的空洞，填补轮廓线的断裂，连接连通域。
在步骤（5）中，对最终图像从左至右按一定比例划分，具体操作为：将720×1280的颜色亮度阈值分割图从左到右的x方向上按照4：2：4的比例依次划分为“偏左”、“安全通行”、“偏右”区域。
在步骤（6）中，对最终图像中像素点进行统计，具体操作为：由于颜色亮度阈值分割图是像素只有0和255的二值图，所以统计所有像素大于0，即为255的像素点的x方向坐标，并求取均值，公式如下：
Figure 567836DEST_PATH_IMAGE006
其中，
Figure 100002_DEST_PATH_IMAGE007
代表x方向上的坐标均值，
Figure 477761DEST_PATH_IMAGE008
代表像素为255的像素点的x方向坐标，n代表像素为255的像素点数目。
在步骤（7）中，根据坐标均值大小，判断无人艇、艇架相对于各自的方位信息的具体操作为：
①若x方向上的坐标均值落入“偏左”区域，则输出信号“偏左”；
②若x方向上的坐标均值落入“偏右”区域，则输出信号“偏右”；
③若x方向上的坐标均值落入“安全通行”区域，则不输出信号。
在步骤（8）中，所述均值结合摄像头内参，求取出无人艇（艇架）上的信号灯相对于艇架（无人艇）上的摄像头的偏移角的具体操作为：
①通过网格标定法对摄像头进行标定，得到摄像头的内参即x方向上的归一化焦距；
②结合x方向上的坐标均值和归一化焦距计算出信号灯中心相对于摄像头的偏移角，其公式如下：
Figure 100002_DEST_PATH_IMAGE009
其中，
Figure 650117DEST_PATH_IMAGE010
为信号灯中心相对于摄像头的偏移角，
Figure 805155DEST_PATH_IMAGE007
代表x方向上的坐标均值，
Figure 100002_DEST_PATH_IMAGE011
摄像头的内参即x方向上的归一化焦距。
在本发明中，按照上述步骤流程，将无人艇和艇架上的摄像头拍摄到的绿色信号灯图像进行处理后，即可得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，来实现无人艇的回收。
与现有技术相比，本发明能够在无人艇驶入艇架时实时检测和计算，灵敏度和精度高，准确快速的得出无人艇和艇架的方位和偏移角，能够快速有效的引导无人艇与艇架的对中和驶入，快速准确，安全有效。
附图说明
图1 为本发明的流程图；
图2 为本发明的摄像头以及信号灯安装位置示意图；
图3 为本发明的颜色阈值分割图；
图4 为本发明的亮度阈值分割图；
图5 为本发明的加权融合后的颜色亮度阈值分割图；
图6 为本发明的进行形态学处理开操作和闭操作之后的图像。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
一种基于灯标视觉信号引导无人艇回收的方法，在图1中为无人艇与艇架上安装的摄像头和绿色信号灯，依照图1中的流程图，具体的操作方法包括以下步骤：
步骤1、对原始图像进行颜色阈值分割，得到颜色阈值分割图，如图3所示。具体实施方式如下：
1）对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声。均值滤波是一种采用邻域平均法的线性滤波方法，即用一片图像区域的各个像素的均值代替原图像中的各个像素值。均值滤波公式如下：
Figure 746566DEST_PATH_IMAGE001
式中，Sxy代表中心在点(x,y)处，大小为10×10的邻域矩形子图像窗口的100个坐标，g(s,t)代表100个坐标中的一个对应的像素值。
Figure 254088DEST_PATH_IMAGE003
代表100个坐标对应的像素的平均值；
2）将均值滤波后的图像转换到HSV色彩空间，HSV色彩空间由独立的色调、饱和度以及亮度三个通道构成，在更加符合人眼感知的基础上可以表示任意的颜色，RGB转HSV的公式如下：
Figure 212816DEST_PATH_IMAGE012
其中，H、S、V分别是HSV色彩空间的色调值、饱和度值以及亮度分量值，R、G、B分别是RGB色彩空间的红绿蓝三个色度值。M为R、G、B三个分量中的最大值，m为R、G、B三个分量中的最小值。
3）将HSV色彩空间的图像中的色调分量进行直方图均衡化，以便通过拉伸像素分布范围来增强图像对比度。
4）对均衡化后的图像按色调、饱和度、亮度三个分量进行颜色阈值分割，得到颜色阈值分割图。选用的信号灯为绿色，色调H的范围为0~180，饱和度S的范围0~255，亮度V的范围0~255，按照绿色进行分割，经过多次实验对比，选用绿色色调H的范围为35~90，饱和度S的范围50~255，亮度V的范围为200~255。将图像中色调、饱和度、亮度分量都处于绿色范围内的像素置白，即像素设置为255，其余为黑，像素设置为0。
步骤2、对原始图像进行亮度阈值分割，得到亮度阈值分割图，如图4。具体实施方式如下：
1）对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声。
2）将均值滤波之后的图像进行灰度化，得到灰度图像，转换公式为：
Figure 100002_DEST_PATH_IMAGE013
其中，R(x ,y)代表在图像中坐标为（x ,y）的位置的红色分量值，G(x ,y)代表在图像中坐标为（x ,y）的位置的绿色分量值，B（x ,y）代表在图像中坐标为（x ,y）的位置的蓝色分量值，Gray(x ,y)代表在图像中最终保留的坐标为（x ,y）的位置的灰度值。
3）将灰度图像按照一定阈值进行分割，得到亮度阈值分割图。灰度范围为0~255，由于信号灯中心区域亮度高，拍摄出的图像上近乎于白色，在颜色阈值分割图上显示的就是黑色，需要进行亮度阈值分割，设置阈值为253，灰度值高于253的置白，即像素变为255，低于253的置黑，即像素变为0。
步骤3、对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，得到颜色亮度阈值分割图，如图5所示。具体实施方式如下：
亮度阈值分割图可以很好的弥补信号灯在颜色阈值分割图中的空洞区域，因此需要将颜色阈值分割图、亮度阈值分割图加权求和，得到融合后的颜色亮度阈值分割图，其中颜色阈值分割图权重为0.5，亮度阈值分割图权重为0.5。
步骤4、对颜色亮度阈值分割图进行形态学处理的开操作、闭操作，得到只包含绿色信号灯的最终图像，如图6所示。具体实施方式如下：
1）设置开操作和闭操作的形态学处理的内核大小为5×5。
2）对颜色亮度阈值分割图进行开操作，即先腐蚀后膨胀，其目的是去除图像中的噪点，平滑物体的轮廓、断开图像中较小的狭颈，并消除细的突出物。
3）再对图像进行闭操作，即先膨胀后腐蚀，其目的是弥合图像中较小窄的间断和细长的沟壑，消除小的空洞，填补轮廓线的断裂，连接连通域。
步骤5、对最终图像从左至右按一定比例划分，具体实施方式如下：
将720×1280的颜色亮度阈值分割图从左到右的x方向上按照4：2：4的比例依次划分为“偏左”、“安全通行”、“偏右”区域。
步骤6、对最终图像中像素点进行统计，求取信号灯区域在x方向上的坐标均值。具体实施方式如下：
由于颜色亮度阈值分割图是像素只有0和255的二值图，所以统计所有像素大于0，即为255的像素点的x方向坐标，并求取均值，公式如下：
Figure 743155DEST_PATH_IMAGE006
其中，
Figure 761926DEST_PATH_IMAGE007
代表x方向上的坐标均值，
Figure 174453DEST_PATH_IMAGE008
代表像素为255的像素点的x方向坐标，n代表像素为255的像素点数目。
步骤7、根据坐标均值大小，判断无人艇、艇架相对于各自的方位信息。具体实施方式如下：
1）若x方向上的坐标均值落入“偏左”区域，则输出信号“偏左”。
2）若x方向上的坐标均值落入“偏右”区域，则输出信号“偏右”。
3）若x方向上的坐标均值落入“安全通行”区域，则不输出信号。
步骤8、根据x方向上的坐标均值结合摄像头内参，求取出无人艇（艇架）上的信号灯相对于艇架（无人艇）上的摄像头的偏移角，具体实施方式如下：
1）通过网格标定法对摄像头进行标定，得到摄像头的内参即x方向上的归一化焦距。
2）结合x方向上的坐标均值和归一化焦距计算出信号灯中心相对于摄像头的偏移角，其公式如下：
Figure 671293DEST_PATH_IMAGE014
其中，
Figure 852876DEST_PATH_IMAGE010
为信号灯中心相对于摄像头的偏移角，
Figure 511391DEST_PATH_IMAGE007
代表x方向上的坐标均值，
Figure 411213DEST_PATH_IMAGE011
摄像头的内参即x方向上的归一化焦距。
本发明所述的无人艇在回收入艇架时，绿色信号灯进行照明指示，各自摄像头拍下图像，依照上述步骤进行处理，即可得到无人艇和艇架的方位和角度信息，依次进行引导，即可有效的将无人艇引导入艇架内，实现无人艇的回收。
因此，本发明能够在无人艇驶入艇架时实时检测和计算，灵敏度和精度高，准确快速的得出无人艇和艇架的方位和偏移角，能够快速有效的引导无人艇与艇架的对中和驶入，快速准确，安全有效。

Claims (9)

1.一种基于灯标视觉信号引导无人艇回收的方法，其特征在于：在无人艇和艇架上都安装了摄像头和绿色信号灯后，对摄像头拍摄的原始图像进行处理和分析，得到无人艇上的绿色信号灯相对于艇架的方位信息，或者艇架上的绿色信号灯相对于无人艇的方位信息，以及无人艇上的绿色信号灯相对于艇架的偏移角，或者艇架上的绿色信号灯相对于无人艇的偏移角，并依此引导无人艇进入艇架，实现无人艇的回收，具体的图像处理和分析过程包括以下步骤：
（1）对原始图像进行颜色阈值分割，得到颜色阈值分割图；
（2）对原始图像进行亮度阈值分割，得到亮度阈值分割图；
（3）对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，得到颜色亮度阈值分割图；
（4）对颜色亮度阈值分割图进行开操作和闭操作，得到只包含绿色信号灯的最终图像；
（5）对最终图像从左至右按一定比例划分，依次为“偏左”、“安全通行”、“偏右”区域；
（6）对最终图像中像素点进行统计，求取信号灯区域在x方向上的坐标均值；
（7）根据坐标均值大小判断无人艇上的绿色信号灯相对于艇架的方位信息，同理可得艇架上的绿色信号灯相对于无人艇的方位信息；
（8）再将均值结合摄像头内参求取出无人艇上的绿色信号灯相对于艇架的偏移角，同理可得艇架上的绿色信号灯相对于无人艇的偏移角。
2.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（1）中，对原始图像进行颜色阈值分割，包括以下步骤：
①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声；均值滤波是一种采用邻域平均法的线性滤波方法，即用一片图像区域的各个像素的均值代替原图像中的各个像素值，均值滤波公式如下：
Figure 393322DEST_PATH_IMAGE002
式中，Sxy代表中心在点(x,y)处，大小为10×10的邻域矩形子图像窗口的100个坐标，g(s,t)代表100个坐标中的一个对应的像素值；
Figure 621358DEST_PATH_IMAGE006
代表100个坐标对应的像素的平均值；
②将均值滤波后的图像转换到HSV色彩空间，HSV色彩空间由独立的色调、饱和度以及亮度三个通道构成，在更加符合人眼感知的基础上可以表示任意的颜色，RGB转HSV的公式如下：
Figure DEST_PATH_IMAGE007
其中，H、S、V分别是HSV色彩空间的色调值、饱和度值以及亮度分量值，R、G、B分别是RGB色彩空间的红绿蓝三个色度值；M为R、G、B三个分量中的最大值，m为R、G、B三个分量中的最小值；
③将HSV色彩空间的图像中的色调分量进行直方图均衡化，以便通过拉伸像素分布范围来增强图像对比度；
④对均衡化后的图像按色调、饱和度、亮度三个分量进行颜色阈值分割，得到颜色阈值分割图；选用的信号灯为绿色，色调H的范围为0~180，饱和度S的范围0~255，亮度V的范围0~255，按照绿色进行分割，经过多次实验对比，选用绿色色调H的范围为35~90，饱和度S的范围50~255，亮度V的范围为200~255；将图像中色调、饱和度、亮度分量都处于绿色范围内的像素置白，即像素设置为255，其余为黑，像素设置为0。
3.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（2）中，对原始图像进行亮度阈值分割，包括以下步骤：
①对原始图像按照10×10的模板进行均值滤波，对图像进行平滑处理，有效的去除图像中的噪声；
②将均值滤波之后的图像进行灰度化，得到灰度图像，转换公式为：
Figure DEST_PATH_IMAGE009
其中，R(x ,y)代表在图像中坐标为（x ,y）的位置的红色分量值，G(x ,y)代表在图像中坐标为（x ,y）的位置的绿色分量值，B（x ,y）代表在图像中坐标为（x ,y）的位置的蓝色分量值，Gray(x ,y)代表在图像中最终保留的坐标为（x ,y）的位置的灰度值；
③将灰度图像按照一定阈值进行分割，得到亮度阈值分割图；灰度范围为0~255，由于信号灯中心区域亮度高，拍摄出的图像上近乎于白色，在颜色阈值分割图上显示的就是黑色，需要进行亮度阈值分割，设置阈值为253，灰度值高于253的置白，即像素变为255，低于253的置黑，即像素变为0。
4.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（3）中，对颜色阈值分割图像和亮度阈值分割图像按照一定比例加权融合，具体操作为：亮度阈值分割图可以很好的弥补信号灯在颜色阈值分割图中的空洞区域，因此需要将颜色阈值分割图、亮度阈值分割图加权求和，得到融合后的颜色亮度阈值分割图，其中颜色阈值分割图权重为0.5，亮度阈值分割图权重为0.5。
5.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（4）中，对颜色亮度阈值分割图进行开操作和闭操作，具体操作为：
①设置开操作和闭操作的形态学处理的内核大小为5×5；
②对颜色亮度阈值分割图进行开操作，即先腐蚀后膨胀，其目的是去除图像中的噪点，平滑物体的轮廓、断开图像中较小的狭颈，并消除细的突出物；
③再对图像进行闭操作，即先膨胀后腐蚀，其目的是弥合图像中较小窄的间断和细长的沟壑，消除小的空洞，填补轮廓线的断裂，连接连通域。
6.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（5）中，对最终图像从左至右按一定比例划分，具体操作为：将720×1280的颜色亮度阈值分割图从左到右的x方向上按照4：2：4的比例依次划分为“偏左”、“安全通行”、“偏右”区域。
7.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（6）中，对最终图像中像素点进行统计，具体操作为：由于颜色亮度阈值分割图是像素只有0和255的二值图，所以统计所有像素大于0，即为255的像素点的x方向坐标，并求取均值，公式如下：
Figure DEST_PATH_IMAGE011
其中，
Figure DEST_PATH_IMAGE013
代表x方向上的坐标均值，
Figure DEST_PATH_IMAGE015
代表像素为255的像素点的x方向坐标，n代表像素为255的像素点数目。
8.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（7）中，根据坐标均值大小，判断无人艇、艇架相对于各自的方位信息的具体操作为：
①若x方向上的坐标均值落入“偏左”区域，则输出信号“偏左”；
②若x方向上的坐标均值落入“偏右”区域，则输出信号“偏右”；
③若x方向上的坐标均值落入“安全通行”区域，则不输出信号。
9.根据权利要求1所述的基于灯标视觉信号引导无人艇回收的方法，其特征在于：在步骤（8）中，所述均值结合摄像头内参，求取出无人艇上的信号灯相对于艇架上的摄像头的偏移角，或者艇架上的信号灯相对于无人艇上的摄像头的偏移角，具体操作为：
①通过网格标定法对摄像头进行标定，得到摄像头的内参即x方向上的归一化焦距；
②结合x方向上的坐标均值和归一化焦距计算出信号灯中心相对于摄像头的偏移角，其公式如下：
Figure DEST_PATH_IMAGE017
其中，
Figure DEST_PATH_IMAGE019
为信号灯中心相对于摄像头的偏移角，
Figure 409710DEST_PATH_IMAGE020
代表x方向上的坐标均值，
Figure 958503DEST_PATH_IMAGE022
摄像头的内参即x方向上的归一化焦距。
CN201910245416.2A 2019-03-28 2019-03-28 一种基于灯标视觉信号引导无人艇回收的方法 Active CN110120073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910245416.2A CN110120073B (zh) 2019-03-28 2019-03-28 一种基于灯标视觉信号引导无人艇回收的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910245416.2A CN110120073B (zh) 2019-03-28 2019-03-28 一种基于灯标视觉信号引导无人艇回收的方法

Publications (2)

Publication Number Publication Date
CN110120073A CN110120073A (zh) 2019-08-13
CN110120073B true CN110120073B (zh) 2020-12-22

Family

ID=67520728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910245416.2A Active CN110120073B (zh) 2019-03-28 2019-03-28 一种基于灯标视觉信号引导无人艇回收的方法

Country Status (1)

Country Link
CN (1) CN110120073B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110733607B (zh) * 2019-10-24 2020-10-16 上海大学 群体式无人艇布放与回收系统
CN111366959B (zh) * 2020-03-16 2021-11-30 华中科技大学 一种基于图像的无人艇回收方法及系统
CN113408437A (zh) * 2021-06-23 2021-09-17 南通大学 一种无人扫地车与垃圾站的对正系统及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN105223960A (zh) * 2015-10-14 2016-01-06 上海大学 一种无人艇布放回收装置
CN106444759A (zh) * 2016-09-29 2017-02-22 浙江嘉蓝海洋电子有限公司 一种无人艇自动回航的方法和系统
CN107293103A (zh) * 2017-07-24 2017-10-24 武汉理工大学 一种基于红外传感的无人艇智能寻迹系统
CN107830860A (zh) * 2017-10-31 2018-03-23 江苏科技大学 一种无人艇起吊回收视觉引导方法
CN108820136A (zh) * 2018-05-29 2018-11-16 上海大学 一种基于遥控器的无人艇布放回收控制系统及方法
CN109460705A (zh) * 2018-09-26 2019-03-12 北京工业大学 基于机器视觉的输油管道监控方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663348A (zh) * 2012-03-21 2012-09-12 中国人民解放军国防科学技术大学 一种光学遥感图像中的海上舰船检测方法
CN105223960A (zh) * 2015-10-14 2016-01-06 上海大学 一种无人艇布放回收装置
CN106444759A (zh) * 2016-09-29 2017-02-22 浙江嘉蓝海洋电子有限公司 一种无人艇自动回航的方法和系统
CN107293103A (zh) * 2017-07-24 2017-10-24 武汉理工大学 一种基于红外传感的无人艇智能寻迹系统
CN107830860A (zh) * 2017-10-31 2018-03-23 江苏科技大学 一种无人艇起吊回收视觉引导方法
CN108820136A (zh) * 2018-05-29 2018-11-16 上海大学 一种基于遥控器的无人艇布放回收控制系统及方法
CN109460705A (zh) * 2018-09-26 2019-03-12 北京工业大学 基于机器视觉的输油管道监控方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Autopilot System Based on Color Recognition Algorithm and Internal Model Control Scheme for Controlling Approaching Maneuvers of a Small Boat》;Sin-Der Lee等;《IEEE Journal of Oceanic Engineering》;20100430;第35卷(第2期);第376-387页 *
《一种新型无人艇（器）快速收放系统的方案设计》;姚智刚等;《舰船科学技术》;20171231;第39卷(第12期);第139-142页 *
《无人水面艇收放技术发展趋势探讨》;张晓东等;《中国舰船研究》;20181231;第13卷(第6期);第50-57页 *

Also Published As

Publication number Publication date
CN110120073A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110120073B (zh) 一种基于灯标视觉信号引导无人艇回收的方法
CN106548467B (zh) 红外图像和可见光图像融合的方法及装置
CN105631880B (zh) 车道线分割方法和装置
CN107392963B (zh) 一种用于软式自主空中加油的仿鹰眼运动目标定位方法
CN103761529B (zh) 一种基于多色彩模型和矩形特征的明火检测方法和系统
CN104766049B (zh) 一种物体颜色识别方法及系统
CN116309607B (zh) 基于机器视觉的船艇式智能水上救援平台
Yang et al. Vehicle color recognition using monocular camera
CN105760869B (zh) 一种基于图像灰度识别及处理的阅卷方法
CN110610485A (zh) 一种基于ssim算法的特高压输电线路通道隐患预警方法
CN112927233A (zh) 一种船用激光雷达与视频联合目标捕捉方法
CN111985435A (zh) 一种基于机器视觉的无人机水域监测巡航方法
Singh et al. Contrast and color improvement based haze removal of underwater images using fusion technique
CN110766636B (zh) 一种用于ai芯片的智能图像处理方法
CN106815602B (zh) 一种基于多层次特征描述的跑道fod图像探测方法及装置
CN114022820A (zh) 一种基于机器视觉的航标灯灯质智能检测方法
CN110543873B (zh) 一种基于图像的无人船识别会遇局面的方法
CN111105390B (zh) 一种改进的海天线检测和评估方法
CN108830834B (zh) 一种爬索机器人视频缺陷信息自动提取方法
CN108280809B (zh) 一种基于大气散射物理模型的有雾图像天空区域估计方法
CN105184296A (zh) 图像处理方法和装置
CN106971391A (zh) 一种基于颜色识别的多模板定位浸锡检测方法
CN113989692A (zh) 基于通道分析的穿戴场景识别系统及方法
KR101480171B1 (ko) 영상의 픽셀정보 및 이동평균에 의한 픽셀정보 변화 패턴을 이용한 해안선 자동추출 장치 및 방법
CN113610940A (zh) 基于海洋矢量文件和影像通道阈值的临海区域匀色方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant