CN103033817B - 大型auv避碰用障碍物自主识别系统 - Google Patents

Abstract

本发明公开了一种大型AUV避碰用障碍物自主识别系统，属于数字图像处理技术领域。装置包括多波束前视声纳、声纳计算机、中央控制计算机，前视声纳与声纳计算机之间通过网络通讯，声纳计算机与中央控制计算机之间通过RS422连接；多波束前视声纳采集障碍物信息，转换为图像后发送给声纳计算机；声纳计算机接收声纳图像，实时计算出障碍物距离、方位、大小信息并将它们发送给中央控制计算机。本发明判断障碍物实时性强，无需先验知识，适用于大型AUV避碰系统。

Description

大型AUV避碰用障碍物自主识别系统

技术领域

发明涉及一种障碍物自主识别系统，具体涉及一种大型AUV避碰用障碍物自主识别系统，属于数字图像处理技术领域。

背景技术

目前世界正面临着人口、资源和环境三大难题。随着各国经济的快速发展和人口的不断增多,人类消耗的自然资源越来越多,陆地上的资源面临枯竭,而占地球表面积的71%的海洋和海洋底部却蕴藏着极其丰富的生物资源及矿产资源。海洋作为人类尚未开发的宝地和高技术领域之一,已经成为各国的重要战略目标,是近几年国际上激烈竞争的焦点,很多国家都在大力进行海洋资源开发。认识海洋、开发海洋需要各种高技术,它们是建设海洋强国、捍卫国家安全的关键。作为探索内空间的最重要手段之一的无人水下航行器(Unmanned UnderseaVehicle,UUV)技术与探索外空间的运载火箭技术有同等重要占领的意义,因此,无人水下航行器的发展一直为世界各海洋强国所关注。无人潜航器(UUV)最早出现于20世纪60年代。在发展初期，UUV主要用于进行打捞、深水勘探、水下电缆铺设等民用领域，后来逐步扩展到反潜战、水雷战、目标靶、侦察与监视、后勤支援等军事应用。80年代末，随着计算机技术、人工智能技术、微电子技术、导航技术、指挥与控制技术、逻辑与软件技术的突飞猛进，UUV在水下侦察、水下通信和反潜、反水雷作战等领域的应用得到了空前发展。一般来说，UUV可以分为两大类：一类是有缆UUV，又称为水下遥控运载工具(RemotelyOperated Vehicle，ROV)；另一类是无缆UUV，又称为水下自主式无人运载工具(Autonomous Underwater Vehicle，AUV)，AUV代表了UUV的发展方向。

AUV在执行任务时，可以根据内置的电子海图规划处路径，再根据该路径运行，但由于海洋水下存在难以预料的障碍物，为了避开这些障碍物，AUV避碰系统必不可少，它也是AUV自主能力和智能力的体现。AUV大都采用声纳作为避碰系统的重要设备。我们采用的多波束前视声纳安装在AUV头部，实时获取前方障碍物信息，为避碰系统提供准确的障碍物相关数据。由于众多干扰，声纳常常会输出“伪信息”，它会导致避碰系统误判，使AUV不能向正确的方向前进。这就需要我们采用算法提高障碍物探测的准确度。同时，由于障碍物的不可预知性，采用何种避碰算法，如何进行避碰规划，确保AUV能及时快速对障碍物做出反应是避碰系统性能提高的关键点。

发明内容

有鉴于此，本发明提供了一种大型AUV避碰用障碍物自主识别系统，通过使用多波束前视声纳检测障碍物，确定障碍物距离、方位和大小，确保AUV能及时快速对障碍物做出反应。

一种大型AUV避碰用障碍物自主识别系统，包括多波束前视声纳、避碰计算机和中央控制计算机，多波束前视声纳与避碰计算机之间通过网络通讯，多波束前视声纳上电后等待避碰计算机的控制指令，当收到工作指令则立即向避碰计算机返回声纳数据，避碰计算机接收声纳数据进行实时处理，同时控制多波束前视声纳；避碰计算机与中央控制计算机通过RS422连接，避碰计算机将计算出的障碍物距离、方位、大小信息发送给中央控制计算机；

其识别步骤为：

（1）利用多波束前视声纳实时采集前方障碍物信息，得到数字信号后通过网络传送给避碰计算机；

（2）避碰计算机接收到多波束前视声纳发送来的数字信号后，通过数字图像处理识别算法计算出障碍物的距离、方位、大小信息；

（3）避碰计算机将计算出的障碍物的距离、方位、大小信息通过RS422发送给中央控制计算机。

其中所述步骤（2）的数字图像处理识别算法包括如下步骤：

1）坐标变换

当声纳数据到来时，根据波束编号和波束灰度值数组计算出二维数字图像X1，其变换公式为：

X1(i,j)＝array[angle(i,j)*500+radius(i,j)]

其中angle(i,j)＝atan(i/j)*180/π意为坐标(i,j)处图像X1的像素与声纳原点的角度，范围：-60°≤angle(i,j)＜60°，意为坐标(i,j)处图像X1的像素与声纳原点的距离,array[x]意为声纳输出的数据数组中下标为x的数据，X1(i,j)为坐标(i,j)处图像X1的像素灰度值；

将一维数组格式的声纳数据转换为的二维图像格式，是后续处理的基础和前提，即后续处理都是在该图像格式下进行的；该步骤完成数据的映射，即从一种形式到另外一种形式的映射，以便于后续处理；

2）平滑滤波

对7*7窗口内的像素值排序以求得中值，算法如下：

$X2(i,j)=\begin{array}{c}\mathrm{median}\left\{X1(s,t)\right\}\\ (s,t)\∈S_{\mathrm{ij}}\end{array}$

式中，X2(i,j)是像素X1(i,j)的中值，S_ij是像素X1(i,j)的邻域，声纳图像X1经平滑滤波后，得到低噪声声纳图像X2；

多波束前视声纳的图像噪声较大，图像噪声来自水面或水底的散射等原因造成的，此处的平滑滤波有效地降低了这些噪声，为后续的处理减小了处理压力和复杂度；

3）基于空间相关性的自适应阈值分割

对声纳图像X2进行自适应阈值分割处理，声纳图像X2生成以0、1表示的二值黑白声纳图像X3；

自适应阈值分割前的图像是用灰度值表示的（8bits），每个像素点有2的8次方（即256）个可能的灰度值，分割后的图像每个像素点只有2种（0或者1）可能的值；自适应阈值是图像预处理步骤中最重要的一步，其分割效果好坏直接影响到识别效果甚至是识别成败，其作用是将图像的像素由多值变换为二值，便于后续的识别处理；

4）图像形态学运算

图像形态学运算用来连接不连续的目标区域和去掉小面积伪目标区域，即去掉噪声，它包含腐蚀运算和膨胀运算，算法如下：

腐蚀：

${\mathrm{dst}}_{\mathrm{erode}}(x,y)=\begin{array}{c}\min \left\{\mathrm{src}(x+x^{\′},y+y^{\′})\right\}\\ (x^{\′},y^{\′})\∈{\mathrm{kernel}}_{\mathrm{erode}}\end{array}$

其中，dst_erode(x,y)为坐标为(x,y)的像素src(x,y)腐蚀运算结果，kernel_erode为腐蚀运算的核；

膨胀：

${\mathrm{dst}}_{\mathrm{dilate}}(x,y)=\begin{array}{c}\max \left\{\mathrm{stc}(x+x^{\′},y+y^{\′})\right\}\\ (x^{\′},y^{\′})\∈\mathrm{kerne}{l}_{\mathrm{dilate}}\end{array}$

其中，dst_dilate(x,y)为坐标为(x,y)的像素src(x,y)膨胀运算结果，kernel_dilate为膨胀运算的核；声纳图像X3经腐蚀运算和膨胀运算后得到声纳图像X4；

经自适应阈值分割后的二值图像的目标区域绝大时候都不是连续的且包含较多面积较小的伪目标区域，采用形态学运算来连接不连续的目标区域和去掉小面积伪目标区域,即进一步降低噪声，减轻识别处理的处理压力和复杂度；

5）基于多次非定数迭代的轮廓拟合

图像形态学运算后的声纳图像X4去掉了较多噪声，然后进行障碍物的轮廓拟合运算；本发明采用了多次非定数迭代的方法，不断合并相距很近的障碍物，直到不能合并为止；该迭代次数是非定值的，而是根据声纳图像X4中障碍物特性决定的；具体流程为：

1，新建一幅和输入声纳图像X4大小相同的图像Y用以存储障碍物的识别结果；

2，用Teh-Chin链逼近算法计算出声纳图像X4所有障碍物轮廓，并记录其个数到objectNumber变量，即障碍物数量的变量；

3，对于X4中第i个障碍物（i=1-objectNumber），当第i个障碍物的轮廓面积大于预先设定的障碍物面积Z时，跳至4；否则跳至5；

4，被识别的障碍物个数numActualObstacle（numActualObstacle初始值为0）加1，填充第i个障碍物轮廓并记录在图像Y中，计算第i个障碍物轮廓的最小均方椭圆拟合，将该拟合得到的椭圆曲线等分为90个点，用直线分别逼近该椭圆曲线的弧得到90段直线的顶点坐标点，计算这些顶点坐标点与sonar坐标之间的最小距离、最大最小方位角度，将拟合的椭圆曲线和障碍物轮廓合并并填充，将结果记录在图像Y中；sonar坐标的含义是：声纳输出的数据变换后是二维图像，真实有用的图像范围是一个扇形，扇形的顶点即sonar坐标；

5，将包含识别结果的图像Y赋值给声纳图像X4，再次计算该声纳图像X4所有障碍物轮廓，记录其个数到objectNumber变量、覆盖2中objectNumber变量的值；

6，若objectNumber等于numActualObstacle，则声纳图像X4中再无可以合并的障碍物，此时跳至6）；否则，跳至2；

6）输出障碍物识别结果信息,输出包含识别结果的图像Y中障碍物的距离、方位、大小信息，避碰计算机发送控制指令给多波束前视声纳,再次获取下一帧声纳图像后，跳至1），进行下一帧声纳图像的处理。

有益效果：

1、固定阈值分割结果通常高度依赖声纳图像的背景灰度值，基于7*7正方形窗口的空间相关性的自适应阈值分割能得到更好的分割结果，用这个方法能很好地把目标和背景分割开来。

2、障碍物的轮廓拟合运算算法保留了原声纳图像X1中的障碍物的形状特性，而且解决了相距很近的障碍物合并的问题，提高了障碍物的识别率、降低了虚警率。

3、本发明将多波束前视声纳、声纳计算机、中央控制计算机组合在一起，将识别软件嵌入到声纳计算机中，能实时计算出前方障碍物距离、方位和大小等信息。本发明核心在于基于多次非定数迭代的轮廓拟合，整个工作流程都自主完成。

附图说明

图1是本发明的系统组成图。

图2是本发明的算法结构图。

图3是常规算法障碍物识别效果图。

图4是采用本发明算法后障碍物识别效果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图1所示，本发明的大型AUV避碰用障碍物自主识别系统，包括多波束前视声纳、避碰计算机和中央控制计算机，多波束前视声纳与避碰计算机之间通过网络通讯，多波束前视声纳上电后等待避碰计算机的控制指令，当收到工作指令则立即向避碰计算机返回声纳数据，避碰计算机接收声纳数据进行实时处理，同时控制多波束前视声纳。避碰计算机与中央控制计算机通过RS422连接，避碰计算机将计算出的障碍物距离、方位、大小信息发送给中央控制计算机。

综合考虑AUV的需求和前视声纳探测能力，本实施例采用加拿大imagenex公司837B声纳作为水声探测设备做了声纳图像识别方面的研究。与其他同类型声纳相比，该声纳是高性能、高速率、可编程、低功耗，非常适合在AUV上使用。837B声纳的技术参数如下：

频率	120KHz
		波束宽度	120°（水平）*2.5°（垂直）
工作深度	0～1000米
		探测距离	0～300米
通讯接口	10Mbps Ethernet
		供电	22～32VDC
重量	21Kg（空中）

探测区域：以声纳为起点，扫描距离的1/7到6/7。

目标大小：至少有一个目标的直径≥6米。

探测误差：探测距离误差≤2米，探测角度误差≤5度。

如附图2所示，其识别步骤为：

（1）多波束前视声纳实时采集前方障碍物信息，得到数字信号后通过网络传送给避碰计算机；

（2）避碰计算机接收到多波束前视声纳发送来的数字信号后，通过数字图像处理识别算法计算出障碍物的距离、方位、大小信息；

（3）避碰计算机将计算出的障碍物的距离、方位、大小信息通过RS422发送给中央控制计算机。

上述步骤（2）所采用的数字图像处理识别算法包括如下步骤：

1）坐标变换

声纳发送来的数据是含120个波束的灰度值数组，每个波束含500个灰度值元素，该灰度值数组共有120*500=60000个元素。需要将数组格式数据转换为直角坐标系数据以便后续图像处理,通过1～120波束的波束编号和该灰度值数组计算出数字图像X1，其变换公式为：

X1(i,j)＝array[angle(i,j)*500+radius(i,j)]

其中angle(i,j)＝atan(i/j)*180/π意为坐标(i,j)处图像X1的像素与声纳原点的角度，范围：-60°≤angle(i,j)＜60°，意为坐标(i,j)处图像X1的像素与声纳原点的距离,array[x]意为声纳输出的数据数组中下标为x的数据，X1(i,j)为坐标(i,j)处图像X1的像素灰度值；

2）平滑滤波

多波束声纳图像X1的反向散射噪声较大，基于7*7窗口的中值滤波能很好地去除图像中的反向散射噪声，提高声纳图像质量，利于后续处理，该算法如下：

$X2(i,j)=\begin{array}{c}\mathrm{median}\left\{X1(s,t)\right\}\\ (s,t)\∈S_{\mathrm{ij}}\end{array}$

式中，X2(i,j)是像素X1(i,j)的中值，S_ij是像素X1(i,j)的邻域，具体方法为：将以像素f(i,j)为中心的7*7正方形窗口邻域的所有像素值读入数组array[49]，对该数组进行排序，array[25]为该7*7邻域的中值，用该值代替像素f(i,j)。声纳图像X1经平滑滤波后，得到低噪声声纳图像X2；

3）基于空间相关性的自适应阈值分割

经过自适应阈值分割处理后，声纳图像X2就变成以0、1表示的二值黑白声纳图像X3；

4）图像形态学运算

经自适应阈值分割后的二值图像X3的目标区域绝大时候都不是连续的且包含较多面积较小的伪目标区域，为此需要进行形态学运算，以连接不连续的目标区域和去掉小面积伪目标区域,形态学运算包含腐蚀运算和膨胀运算两个步骤。

腐蚀：

${\mathrm{dst}}_{\mathrm{erode}}(x,y)=\begin{array}{c}\min \left\{\mathrm{src}(x+x^{\′},y+y^{\′})\right\}\\ (x^{\′},y^{\′})\∈{\mathrm{kernel}}_{\mathrm{erode}}\end{array}$

其中，dst_erode(x,y)为坐标为(x,y)的像素src(x,y)腐蚀运算结果，kernel_erode为腐蚀运算的核；

膨胀：

${\mathrm{dst}}_{\mathrm{dilate}}(x,y)=\begin{array}{c}\max \left\{\mathrm{stc}(x+x^{\′},y+y^{\′})\right\}\\ (x^{\′},y^{\′})\∈\mathrm{kerne}{l}_{\mathrm{dilate}}\end{array}$

其中，dst_dilate(x,y)为坐标为(x,y)的像素src(x,y)膨胀运算结果，kernel_dilate为膨胀运算的核；

具体实现为：用3*3的椭圆窗口核做2次腐蚀运算，然后用13*13的椭圆窗口核做2次膨胀运算。声纳图像X3经过形态学运算后，得到声纳图像X4；

5）基于多次非定数迭代的障碍物识别

形态学运算后的声纳图像X4去掉了较多噪声，然后进行障碍物的轮廓拟合运算;本发明采用了多次非定数迭代的方法，不断合并相距很近的障碍物，直到不能合并为止,该迭代次数是非定值的，而是根据声纳图像X4中障碍物特性决定的,具体实现为：

1，新建一幅和输入声纳图像X4大小相同的图像Y用以存储障碍物的识别结果。

2，用Teh-Chin链逼近算法计算出声纳图像X4所有障碍物轮廓，并记录其个数到objectNumber变量;

3，对于X4中第i个障碍物（i=1-objectNumber），当第i个障碍物的轮廓面积大于预先设定的障碍物面积Z时，跳至4；否则跳至5;

4，被识别的障碍物个数numActualObstacle（numActualObstacle初始值为0）加1，填充第i个障碍物轮廓并记录在图像Y中，计算第i个障碍物轮廓的最小均方椭圆拟合，将该拟合得到的椭圆曲线等分为90个点，用直线分别逼近该椭圆曲线的弧得到90段直线的顶点坐标点，计算这些顶点坐标点与sonar坐标之间的最小距离、最大最小方位角度，将拟合的椭圆曲线和障碍物轮廓合并并填充，将结果记录在图像Y中;

5，将包含识别结果的图像Y赋值给声纳图像X4，再次计算该声纳图像X4所有障碍物轮廓，记录其个数到objectNumber变量、覆盖2中objectNumber变量的值;

6，若objectNumber等于numActualObstacle，则声纳图像X4中再无可以合并的障碍物，此时跳至6）；否则，跳至2;

该算法保留了原声纳图像X1中的障碍物的形状特性，而且解决了相距很近的障碍物合并的问题，提高了障碍物的识别率、降低了虚警率;

6）输出障碍物识别结果信息,输出包含识别结果的图像Y中障碍物的距离、方位、大小信息，避碰计算机发送控制指令给多波束前视声纳,再次获取下一帧声纳图像后，跳至1），进行下一帧声纳图像的处理。

如附图3和4，利用本发明的方法得到了障碍物准确的大小、方位、距离信息。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种大型AUV避碰用障碍物自主识别系统，其特征在于，包括多波束前视声纳、避碰计算机和中央控制计算机，多波束前视声纳与避碰计算机之间通过网络通讯，多波束前视声纳上电后等待避碰计算机的控制指令，当收到工作指令则立即向避碰计算机返回声纳数据，避碰计算机接收声纳数据进行实时处理，同时控制多波束前视声纳；避碰计算机与中央控制计算机通过RS422连接，避碰计算机将计算出的障碍物距离、方位、大小信息发送给中央控制计算机；

其识别步骤为：

（1）利用多波束前视声纳实时采集前方障碍物信息，得到数字信号后通过网络传送给避碰计算机；

（2）避碰计算机接收到多波束前视声纳发送来的数字信号后，通过数字图像处理识别算法计算出障碍物的距离、方位、大小信息；

（3）避碰计算机将计算出的障碍物的距离、方位、大小信息通过RS422发送给中央控制计算机；

所述步骤（2）的数字图像处理识别算法包括如下步骤：

1）坐标变换将一维数组格式的声纳数据转换为的二维图像格式，是后续处理的基础和前提；

当声纳数据到来时，根据波束编号和波束灰度值数组计算出二维数字图像X1，其变换公式为：

X1(i,j)＝array[angle(i,j)*500+radius(i,j)]

其中angle(i,j)＝atan(i/j)*180/π意为坐标(i,j)处图像X1的像素与声纳原点的角度，范围：-60°≤angle(i,j)＜60°，意为坐标(i，j）处图像X1的像素与声纳原点的距离,array[x]意为声纳输出的数据数组中下标为x的数据，X1(i,j)为坐标(i,j)处图像X1的像素灰度值；

2）为降低多波束前视声纳的图像噪声进行平滑滤波；

对7*7窗口内的像素值排序以求得中值，算法如下：

$X2(i,j)=\begin{array}{c}\mathrm{median}\left\{X1(s,t)\right\}\\ (s,t)\∈S_{\mathrm{ij}}\end{array}$

式中，X2(i,j)是像素X1(i,j)的中值，S_ij是像素X1(i,j)的邻域，声纳图像X1经平滑滤波后，得到低噪声声纳图像X2；

3）为便于后续的识别处理，进行基于空间相关性的自适应阈值分割，将图像的像素由多值变换为二值；

对声纳图像X2进行自适应阈值分割处理，声纳图像X2生成以0、1表示的二值黑白声纳图像X3；

4）经自适应阈值分割后的二值图像的目标区域绝大时候都不是连续的且包含较多面积较小的伪目标区域，采用形态学运算来连接不连续的目标区域和去掉小面积伪目标区域，即去掉噪声，它包含腐蚀运算和膨胀运算，算法如下：

腐蚀：

${\mathrm{dst}}_{\mathrm{erode}}(x,y)=\begin{array}{c}\min \left\{\mathrm{src}(x+x^{\′},y+y^{\′})\right\}\\ (x^{\′},y^{\′})\∈{\mathrm{kernel}}_{\mathrm{erode}}\end{array}$

其中，dst_erode(x,y)为坐标为(x,y)的像素src(x,y)腐蚀运算结果，kernel_erode为腐蚀运算的核；

膨胀：

${\mathrm{dst}}_{\mathrm{dilate}}(x,y)=\begin{array}{c}\max \left\{\mathrm{stc}(x+x^{\′},y+y^{\′})\right\}\\ (x^{\′},y^{\′})\∈\mathrm{kerne}{l}_{\mathrm{dilate}}\end{array}$

其中，dst_dilate(x,y)为坐标为(x,y)的像素src(x,y)膨胀运算结果，kernel_dilate为膨胀运算的核；声纳图像X3经腐蚀运算和膨胀运算后得到声纳图像X4；

5）基于多次非定数迭代的轮廓拟合；

图像形态学运算后的声纳图像X4去掉了较多噪声，然后进行障碍物的轮廓拟合运算；采用多次非定数迭代，不断合并相距很近的障碍物，直到不能合并为止；该迭代次数是非定值的，由声纳图像X4中障碍物特性决定，具体流程为：

1，新建一幅和输入声纳图像X4大小相同的图像Y用以存储障碍物的识别结果，将障碍物个数numActualObstacle数值初始为0；

2，用Teh-Chin链逼近算法计算出声纳图像X4所有障碍物轮廓，并记录其个数到objectNumber变量，即障碍物数量的变量；

3，对于X4中第i个障碍物，i为正整数，数值范围为1到objectNumber，当第i个障碍物的轮廓面积大于预先设定的障碍物面积Z时，跳至4；否则跳至5；

4，被识别的障碍物个数加1，填充第i个障碍物轮廓并记录在图像Y中，计算第i个障碍物轮廓的最小均方椭圆拟合，将该拟合得到的椭圆曲线等分为90个点，用直线分别逼近该椭圆曲线的弧得到90段直线的顶点坐标点，计算这些顶点坐标点与sonar坐标之间的最小距离、最大最小方位角度，将拟合的椭圆曲线和障碍物轮廓合并并填充，将结果记录在图像Y中；

5，将包含识别结果的图像Y赋值给声纳图像X4，再次计算该声纳图像X4所有障碍物轮廓，记录其个数到objectNumber变量、覆盖2中objectNumber变量的值；

6，若objectNumber等于numActualObstacle，则声纳图像X4中再无可以合并的障碍物，此时跳至6）；否则，跳至2；

6）输出障碍物识别结果信息,输出包含识别结果的图像Y中障碍物的距离、方位、大小信息，避碰计算机发送控制指令给多波束前视声纳,再次获取下一帧声纳图像后，跳至1），进行下一帧声纳图像的处理。

2.如权利要求1所述的大型AUV避碰用障碍物自主识别系统，其特征在于所述sonar坐标的含义是：声纳输出的数据变换后是二维图像，真实有用的图像范围是一个扇形，扇形的顶点即sonar坐标。