CN108549381A - 一种基于图像视觉的无人船避障装置及方法 - Google Patents

Abstract

本发明涉及一种基于图像视觉的无人船避障装置及方法。无人船在向目标点自主航行的过程中，所述摄像头将会实时的采集河面的图像数据，对于采集到的图像数据，图像处理器不仅会进行实时的处理，还会把拍摄到的图像保存到内置储存卡中，在处理器完成对障碍物位置的确定后，将会进行避障算法的计算，计算结果为无人船方向舵应该转动的角度，并将这一信息发送给船体控制器，控制器接收到该信息后，进行及时的转向来避免碰撞。本发明能够有效、快速对目标水面障碍物进行检测，并通知无人船方向舵的转向及转角，有效的避免了无人船在航行的过程中和障碍物发生碰撞。

Description

一种基于图像视觉的无人船避障装置及方法

技术领域

本发明涉及一种基于图像视觉的无人船避障装置及方法，特别适合于内河无人船的避障。

背景技术

无人船是一种水面自主机器人，其体量小、吃水浅、机动灵活，作为大型检测船向不易抵达的浅水区的功能延伸，目前无人船在内河水域的调查工作中得到了广泛的应用。通常，船只在航行过程中，都会经常遇到各种各样的障碍物，对于有驾驶员的船只，驾驶员看到该障碍物后就可以调转船向进行躲避。但对于无人船，船上并无人员来观看四周情况，这时海面上的障碍物就极易对无人船带来巨大危险。因此，亟需一种能够智能识别障碍物并进行有效规避的方法。

发明内容

本发明的目的在于提供一种基于图像视觉的无人船避障装置及方法，以解决或至少缓解上面存在的问题。

为实现上述目的，本发明的技术方案是：一种基于图像视觉的无人船避障装置，包括摄像头、图像处理器、船体控制器以及云台，所述摄像头经图像处理器与船体控制器，所述摄像头设置于所述云台上，并通过云台控制与水面成角度固定于无人船船头位置，以拍摄无人船前方水面图像。

在本发明一实施例中，所述摄像头为CCD摄像头，所述图像处理器为树莓派3B控制板，所述船体控制器为STM32控制器，CCD摄像头通过USB接口与树莓派3B控制板连接，树莓派3B控制板通过RS232串口与STM32控制器进行数据传输。

在本发明一实施例中，当无人船在航行的过程中，图像处理器会实时地处理摄像头传送过来的图像，计算出障碍物的质心；而后，根据计算得出的障碍物的质心、摄像头的分辨率及摄像头拍摄的实际物理大小，判断得出无人船方向舵应该转动的角度；进而，图像处理器将要转动的角度发送给船体控制器，船体控制器将对无人船方向舵进行相应的调整实现对障碍物的规避。

本发明还提供了一种基于上述所述装置的避障方法，包括如下步骤：

对得到的水面图像进行灰度处理得到灰度图像；对灰度图像进行中值滤波来消除太阳光反射对障碍物识别形成的干扰；对滤波后的图像进行浮雕预处理，是指标绘图像上的一个像素与其相邻左上方的像素之间差值，为了使图像保持预定的亮度，在处理过程中为此差值加一个数值为128的常量，对图像的每一个像素f(i，j)进行操作

f(i，j)＝f(i，j)-f(i-1，j-1)+128

该操作突出了边缘像素，消除了水面图像的边缘，且图像信息也没有过多丢失；对浮雕预处理的水面图像进行水面/河岸分割，沿列方向均匀分割为N幅子图像f_j，其中j＝1，2,……N,N>3，根据上一时刻各子图像包含的水面/河岸的第一概率为计算当前时刻各子图像包含水面/河岸的第二概率以及令则对应的子图像f_max即为水面/河岸所在的图像，并将该子图像f_max所在位置上方的图像从水面图像中去除，得到水面区域的图像；对分割后的图像进行改进的Grabcut算法进行障碍物的提取，得到一个包含障碍物的二值化的图像；对得到的二值化图像进行canny边缘检测得到障碍物的轮廓；以图像像素点(0，0)为原点，以行、列方向为正方向建立直角坐标系，得到所得障碍物的质心坐标，标记为(x，y)。

在本发明一实施例中，还包括如下步骤：

假设摄像头的分辨率是(m，n)，摄像头拍摄的实际物理大小是M米*N米，则在行方向上每个像素点代表的实际物理距离是M/m米，在列方向上每个像素点代表的实际物理距离是N/n米，则障碍物质心点距离摄像头的水平距离是[(y-m/2)*M/m]米，距离摄像头竖直距离是[(n-x)*N/n+h/tanθ]米，进一步得到障碍物和摄像头所成的平面角β＝arctan{[(y-m/2)*M/m]/[(n-x)*N/n+h/tanθ]}；因此，判断得出无人船方向舵应该转动的角度为α＝90-β；进一步的，图像处理器将要转动的角度发送给船体控制器，船体控制器将对无人船方向舵进行相应的调整实现对障碍物的规避。

相较于现有技术，本发明具有以下有益效果：

1、本发明装置可以根据工程的需要调整摄像头的角度来调整避障范围。

2、本发明装置及方法运用改进的Grabcut图像算法，这种算法可以更有效的检测与分割水面障碍物，实现全方位避障提高避障精度；

3、本发明装置及方法首次运用强大的树莓派作为外接的图像处理工具，使得无人船从发现障碍物到精确避开障碍物，大约只需要0.3秒的时间。

附图说明

图1是本发明避障策略流程图。

图2是本发明无人船避障系统的示意图。

图3是摄像头成像模型示意图。

图中：1-摄像头，2-图像处理器，3-船体控制器，4-云台。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明的一种基于图像视觉的无人船避障装置，包括摄像头1、图像处理器2、船体控制器3以及云台4，所述摄像头经图像处理器与船体控制器，所述摄像头设置于所述云台上，并通过云台控制与水面成角度固定于无人船船头位置，以拍摄无人船前方水面图像。所述摄像头为CCD摄像头，所述图像处理器为树莓派3B控制板，所述船体控制器为STM32控制器，CCD摄像头通过USB接口与树莓派3B控制板连接，树莓派3B控制板通过RS232串口与STM32控制器进行数据传输。

当无人船在航行的过程中，图像处理器会实时地处理摄像头传送过来的图像，计算出障碍物的质心；而后，根据计算得出的障碍物的质心、摄像头的分辨率及摄像头拍摄的实际物理大小，判断得出无人船方向舵应该转动的角度；进而，图像处理器将要转动的角度发送给船体控制器，船体控制器将对无人船方向舵进行相应的调整实现对障碍物的规避。

如图1所示，本发明还提供了一种基于上述所述装置的避障方法，包括如下步骤：

对得到的水面图像进行灰度处理得到灰度图像；对灰度图像进行中值滤波来消除太阳光反射对障碍物识别形成的干扰；对滤波后的图像进行浮雕预处理，是指标绘图像上的一个像素与其相邻左上方的像素之间差值，为了使图像保持预定的亮度，在处理过程中为此差值加一个数值为128的常量，对图像的每一个像素f(i，j)进行操作

f(i，j)＝f(i，j)-f(i-1，j-1)+128

该操作突出了边缘像素，消除了水面图像的边缘，且图像信息也没有过多丢失；对浮雕预处理的水面图像进行水面/河岸分割，沿列方向均匀分割为N幅子图像f_j，其中j＝1，2,……N,N>3，根据上一时刻各子图像包含的水面/河岸的第一概率为计算当前时刻各子图像包含水面/河岸的第二概率以及令则对应的子图像f_max即为水面/河岸所在的图像，并将该子图像f_max所在位置上方的图像从水面图像中去除，得到水面区域的图像；对分割后的图像进行改进的Grabcut算法进行障碍物的提取，得到一个包含障碍物的二值化的图像；对得到的二值化图像进行canny边缘检测得到障碍物的轮廓；以图像像素点(0，0)为原点，以行、列方向为正方向建立直角坐标系，得到所得障碍物的质心坐标，标记为(x，y)。

还包括如下步骤：

假设摄像头的分辨率是(m，n)，摄像头拍摄的实际物理大小是M米*N米，则在行方向上每个像素点代表的实际物理距离是M/m米，在列方向上每个像素点代表的实际物理距离是N/n米，则障碍物质心点距离摄像头的水平距离是[(y-m/2)*M/m]米，距离摄像头竖直距离是[(n-x)*N/n+h/tanθ]米，进一步得到障碍物和摄像头所成的平面角β＝arctan{[(y-m/2)*M/m]/[(n-x)*N/n+h/tanθ]}；因此，判断得出无人船方向舵应该转动的角度为α＝90-β；进一步的，图像处理器将要转动的角度发送给船体控制器，船体控制器将对无人船方向舵进行相应的调整实现对障碍物的规避。

以下为本发明的具体实现过程。

图2示给出了根据本发明一个实施无人船避障系统的示意图，图2所示的系统包括图像采集设备、图像计算设备和船体控制设备。图像采集设备使用的是能够读取到前景目标的深度信息的摄像头，比如深度摄像头，其适用于采集水面障碍物的原始图像。图像计算设备可以是诸如手机、平板电脑、嵌入式ARM开发板、树莓派等，其适用于进行实时的图像处理任务。在该避障系统中，图像采集设备和图像处理设备两者之间的距离较近，两者之间进行数据传输可以使用有线的方式进行，这样保证了数据传输的高效性和稳定性，例如，图像采集设备可以通过USB接口、RS485、RS232、SPI等方式和图像处理设备进行连接，本发明对图像采集设备和图像处理设备之间的连接方式不做限制。

船体控制设备应该要能够保证合理高效的调度船体的各个舵机、电机以及读取各个传感器的数据，该设备可以是ARM系列芯片或者STM系列芯片等，本发明中采用的是STM32系列芯片。在该避障系统中，图像处理器和船体控制器距离很近，可以采用有线或者无线的方式进行数据传输，无线的传输方式可包括蓝牙、WIFI、ZigBee等协议，有线的方式可以采用USB接口、SPI、IIC、UART等协议，本发明中采用的是用RS232的方式对图像处理设备和船体控制器进行数据交互。

本实施例中，采用深度摄像头作为图像采集设备，树莓派3B作为图像处理设备，STM32控制板作为船体控制器，按照图2的方式连接好避障装置，所述用户将摄像头和水面成45度角固定在船体的前端，采用USB接口的方式将深度摄像头和树莓派3B连接，树莓派3B与船体控制器STM32控制板通过RS232串口相连接。无人船规划好航迹上电后，树莓派将运行避障的程序来达到实时避障额效果，当摄像头采集到图像后，将对摄像头采集到的图像进行处理，同时保存到树莓派的内置存储卡，从中确定水面障碍物的位置。我们的摄像头使用的是720p的CCD摄像头，假设摄像头的分辨率是(320，240)，即拍摄的照片的宽度是320个像素点，高度是240个像素点，对拍摄到的水面图像进行灰度处理，得到灰度图像；对灰度图像进行中值滤波来消除太阳光反射对障碍物识别形成的干扰；对滤波后的图像进行浮雕预处理，是指标绘图像上的一个像素和它左上方的那个像素之间差值得一种处理过程，为了使图像保持一定的亮度，在处理过程中为这个差值加了一个数值为128的常量，对图像的每一个像素f(i，j)进行操作

f(i，j)＝f(i，j)-f(i-1，j-1)+128

该操作突出了边缘像素，而水面光影无明显的边缘，故基本上被消除了，而且图像信息也没有过多丢失；进一步的，对浮雕预处理的水面图像进行水面/河岸分割得到水面区域，沿列方向均匀分割为N幅子图像f_j，其中j＝1，2,……N,N>3，根据上一时刻各子图像包含的水面/河岸的第一概率为计算当前时刻各子图像包含水面/河岸的第二概率以及令则对应的子图像f_max即为水面/河岸所在的图像，并将该子图像f_max所在的位置的上方的图像从所述的图像中去除，得到水面区域的图像；进一步的，对分割后的图像进行改进的Grabcut算法进行障碍物的提取，该算法会对图像不断进行迭代直至消除背景，得到一个包含障碍物的二值化的图像；对得到的二值化图像进行canny边缘检测得到障碍物的轮廓；进一步的，以图像像素点(0，0)为原点，以行、列方向为正方向建立直角坐标系，得到所得障碍物的质心坐标，标记为(x，y)。进一步的，因为摄像头的分辨率是(m，n)，假设摄像头拍摄的实际物理大小是M米*N米，则在行方向上每个像素点代表的实际物理距离是M/m米，在列方向上每个像素点代表的实际物理距离是N/n米，则障碍物质心点距离摄像头的水平距离是[(y-m/2)*M/m]米，距离摄像头竖直距离是[(n-x)*N/n+h/tan45°]米，如图3所示，进一步可以得到障碍物和摄像头所成的平面角β＝arctan{[(y-m/2)*M/m]/[(n-x)*N/n+h/45°]}。则无人船方向舵应该转动的角度为α＝90-β。进一步的，图像处理器将要转动的角度通过RS232发送给船体控制器，控制器将对方向舵进行相应的调整实现对障碍物的规避。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于图像视觉的无人船避障装置，其特征在于，包括摄像头、图像处理器、船体控制器以及云台，所述摄像头经图像处理器与船体控制器，所述摄像头设置于所述云台上，并通过云台控制与水面成角度固定于无人船船头位置，以拍摄无人船前方水面图像。

2.根据权利要求1所述的装置，其特征在于，所述摄像头为CCD摄像头，所述图像处理器为树莓派3B控制板，所述船体控制器为STM32控制器，CCD摄像头通过USB接口与树莓派3B控制板连接，树莓派3B控制板通过RS232串口与STM32控制器进行数据传输。

3.根据权利要求1或2所述的装置，其特征在于，当无人船在航行的过程中，图像处理器会实时地处理摄像头传送过来的图像，计算出障碍物的质心；而后，根据计算得出的障碍物的质心、摄像头的分辨率及摄像头拍摄的实际物理大小，判断得出无人船方向舵应该转动的角度；进而，图像处理器将要转动的角度发送给船体控制器，船体控制器将对无人船方向舵进行相应的调整实现对障碍物的规避。

4.一种基于权利要求1至3任一所述装置的避障方法，其特征在于，包括如下步骤：

对得到的水面图像进行灰度处理得到灰度图像；对灰度图像进行中值滤波来消除太阳光反射对障碍物识别形成的干扰；对滤波后的图像进行浮雕预处理，是指标绘图像上的一个像素与其相邻左上方的像素之间差值，为了使图像保持预定的亮度，在处理过程中为此差值加一个数值为128的常量，对图像的每一个像素f(i，j)进行操作

f(i，j)＝f(i，j)-f(i-1，j-1)+128

该操作突出了边缘像素，消除了水面图像的边缘，且图像信息也没有过多丢失；对浮雕预处理的水面图像进行水面/河岸分割，沿列方向均匀分割为N幅子图像f_j，其中j＝1，2,……N,N>3，根据上一时刻各子图像包含的水面/河岸的第一概率为计算当前时刻各子图像包含水面/河岸的第二概率以及令则对应的子图像f_max即为水面/河岸所在的图像，并将该子图像f_max所在位置上方的图像从水面图像中去除，得到水面区域的图像；对分割后的图像进行改进的Grabcut算法进行障碍物的提取，得到一个包含障碍物的二值化的图像；对得到的二值化图像进行canny边缘检测得到障碍物的轮廓；以图像像素点(0，0)为原点，以行、列方向为正方向建立直角坐标系，得到所得障碍物的质心坐标，标记为(x，y)。

5.根据权利要求4所述的方法，其特征在于，还包括如下步骤：

假设摄像头的分辨率是(m，n)，摄像头拍摄的实际物理大小是M米*N米，则在行方向上每个像素点代表的实际物理距离是M/m米，在列方向上每个像素点代表的实际物理距离是N/n米，则障碍物质心点距离摄像头的水平距离是[(y-m/2)*M/m]米，距离摄像头竖直距离是[(n-x)*N/n+h/tanθ]米，进一步得到障碍物和摄像头所成的平面角β＝arctan{[(y-m/2)*M/m]/[(n-x)*N/n+h/tanθ]}；因此，判断得出无人船方向舵应该转动的角度为α＝90-β；进一步的，图像处理器将要转动的角度发送给船体控制器，船体控制器将对无人船方向舵进行相应的调整实现对障碍物的规避。