CN110174109A - 一种基于海空协同的无人船多元联合导航方法 - Google Patents

Abstract

本发明公开了一种基于海空协同的无人船多元联合导航方法，其特征在于包括以下步骤：S1：读取电子海图和雷达图像信息，对电子海图和雷达图像进行预处理；S2：采用Hausdorff距离匹配方式对电子海图和雷达图像进行搜索匹配获取融合图像；S3：读取摄像机图像、将摄像机图像与融合图像进行边缘处理提取摄像机图像与融合图像的可用轮廓；S4：采用hausdorff距离匹配算法搜索并匹配摄像机图像和融合图像，将搜索到的图像与融合图像进行融合最终实现三幅图像的空间跨尺度融合，将融合后的图像作为无人船的导航实时环境信息。因此该方法改善了无人船自主航行和路径规划过程中由于获取海面环境不准确造成的路径错误规划问题。

Description

一种基于海空协同的无人船多元联合导航方法

技术领域

本发明涉及无人船控制领域，尤其涉及一种基于海空协同的无人船多元联合导航方法。

背景技术

无人船在自主导航和路径规划的过程中，能否获得准确的海域环境信息尤为重要。现阶段路径规划多使用电子海图作为环境信息，电子海图对于海面固定不变的碍航物显示比较准确，但是电子海图无法发现海面上移动的碍航物，如渔船、游艇等。为解决这一问题，采用无人船装载船载雷达来实时获取海域环境信息。虽然达到了一定的准确性，但是雷达容易受到海浪的影响，当无人船波动比较大时，雷达很难获得准确的海域信息，甚至雷达很长一段时间都无法获得海域环境图像，这就给自主航行和路径规划带来很大的问题。

发明内容

根据现有技术存在的问题，本发明公开了一种基于海空协同的无人船多元联合导航方法，具体包括如下步骤：

S1：读取电子海图和雷达图像信息，对电子海图和雷达图像进行预处理；

S2：采用Hausdorff距离匹配方式对电子海图和雷达图像进行搜索匹配获取融合图像；

S3：读取摄像机图像、将摄像机图像与融合图像进行边缘处理提取摄像机图像与融合图像的可用轮廓；

S4：采用hausdorff距离匹配算法搜索并匹配摄像机图像和融合图像，将搜索到的图像与融合图像进行融合最终实现三幅图像的空间跨尺度融合，将融合后的图像作为无人船的导航实时环境信息。

进一步的，S1具体采用如下方式：

S11：利用仿射变换，对雷达图像进行旋转，使得雷达图像和电子海图方向一致。然后对雷达图像进行缩放，使雷达图像的像素点实际距离和电子海图像素点实际距离一致：

S12：对电子海图和雷达图像进行阈值分割，分割出海域和陆地信息：

S13：采用Canny边缘检测算法，获取电子海图和雷达图像的边缘信息：

进一步的，S2具体采用如下方式：

S21：获取雷达的边缘点存放点集中：

S22：用雷达图像在电子海图上按照从上到下，从左到右逐个像素点进行搜寻，以左上角像素点作为匹配点，在电子海图上获取和雷达图像大小一致的区域作为感兴趣区域，获取感兴趣的边缘存放在点集中，遍历所有像素点：

S23：采用Hausdorff距离匹配算法，计算雷达图像点集和电子海图感兴趣区域的点集之间的最小距离，获得最优匹配点：

S24：以匹配点作为起点，雷达图像大小作为融合区域，在电子海图中获取相应的感兴趣区域，然后将两幅图像逐个像素点进行比较。当两个像素点灰度值一致时，输出当前灰度值，否则输出灰度值为255，即白色。遍历所有像素点，融合两幅图像，最后获得融合图。

进一步的，S3具体采用如下方式：

S31：根据固定阈值分割获取摄像机图像和融合图像，将摄像机图像和融合图像转化为二值图像：

S32：利用边缘提取算法获取摄像机图像和融合图像的可用轮廓，并将提取的有用轮廓分别存放在指定的序列中：

S33：利用固定阈值算法对两个可用轮廓序列进行轮廓筛选：设定轮廓阈值，分别删除可用轮廓序列中小于轮廓阈值的轮廓和噪点轮廓；

S34：利用迭代器获取两个轮廓序列中的轮廓，将轮廓画在空图像中，将有用轮廓完整提取出来作为可用轮廓。

进一步的，S4具体采用如下方式：

S41：利用搜寻算法将摄像机图像在融合图上进行逐个像素点的搜索，在融合图中提取与摄像机图像尺寸相同的区域作为感兴趣区；

S42：利用迭代器搜寻摄像机图像和感兴趣区域中的轮廓点分别存放在不同的点集中；

S43：对于在每个像素点处获得的轮廓点集，利用hausdorff算法计算两个点集之间的最小距离，将当前最小距离与对上一像素点搜寻中计算的最小距离进行相比，将二者中的最小距离存放在缓存区，且输出最小距离的感兴趣区域的左上角坐标值作为匹配点；

S44：依次循环上述过程，直到摄像机图像将整幅融合图像搜寻一遍获得最小距离值、并输出对应感兴趣区域的左上角坐标值作为最优匹配点；

S45：利用比较法将摄像机图像和融合图中最匹配的感兴趣区域进行比较，将摄像机图像叠加到融合图像。

由于采用了上述技术方案，本发明提供的一种基于海空协同的无人船多元联合导航方法，该方法首选读取电子海图、雷达实时图像和拍摄到的摄像机图像的相关信息，采用Hausdorff距离匹配算法将三种尺度不同的图像进行空间跨尺度融合，将融合后的图像作为无人船的导航实时环境信息，因此该方法改善了无人船自主航行和路径规划过程中由于获取海面环境不准确造成的路径错误规划问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于海空协同的无人船多元联合导航系统与方法流程图；

图2为本发明Hausdorff距离匹配流程图：

图3为本发明电子海图与雷达图像叠加流程图；

图4为本发明阈值分割迭代法流程图；

图5为本发明摄像机图像融合流程图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于海空协同的无人船多元联合导航方法，具体包括以下步骤：

S1：读取电子海图和雷达图像信息，对雷达图像进行坐标转换和尺度归一化处理。由于电子海图作为基图，首先将电子海图进行坐标系转换。由于电子海图上的信息是实际的距离，需要通过变换为像素坐标系，换算出每个像素代表的实际距离。在此之前需要将大地坐标系换算成直角坐标系，这里采用的是墨卡托投影方式。

其中大地坐标到直角坐标表达方式为：

墨卡托投影公式(1)为：

其中，为基准纬度，地球的长半径是a，r₀为基准纬度纬圈半径，则有公式：

q为等量纬度，则公式为：

不同基准纬度下变换公式如下

(x₂,y₂)＝k(x₁,y₁) (4)

其中表示不同的基准纬度。

其中：直角坐标到像素坐标：

由于像素坐标系和直角坐标系的原点不同、方向不同，为了使坐标系显示一致，需要将直角坐标变换到像素坐标系下，若(x₀,y₀)和(x₁，y₁)分别代表直角坐标和像素坐标，则两坐标系之间的变换关系如下：

其中W和H分别代表坐标系的横幅和纵幅。

雷达图像作为实时图像叠加到电子海图中，需要对雷达图像进行如下处理。

⑴雷达图像的坐标转换：

雷达获取海面环境信息生成极坐标图像，显示在计算机屏幕上需要是直角坐标系，为了使得极坐标系下的数据在直角坐标系下显示准确，这里需要进行坐标系变换。如果(r,θ)和(x,y)分别表示极坐标和直角坐标，则两坐标系的变换公式如下：

其中a和b表示直角坐标系下的横幅和纵幅，θ和r分别代表极坐标下的方位和半径，spokeAzimuth则表示方位角。

(2)雷达图像的空点补偿：

在雷达生成的极坐标图像中，数据一般集中在距离雷达扫描中心点较近的地方，在进行坐标变换时，点密度分布均匀。当距离雷达比较远时，数据点一般比较稀疏，由于在进行坐标变换时，坐标的选取点通常为整数，所以很容易丢失那些距离比较远的数据点，在图像显示时，就会出很多空点，这里采用插值法来补偿那些空点。

由变形可得：

x＝x₀+(y-y₀)tanθ (8)

其中y和θ已知，根据公式(8)计算得到相应的x坐标，由于x轴上不是连续的，两条相邻的扫描线扫描过后会在在x轴上出现间隔Δx，推导得出公式(9)：

Δx＝(y₀-y)(tanθ-tanα) (9)

由公式得出，若是在x轴上出现了空白的点，此时的Δx＞1，这时则需要将在空白的点上补上相应的RGB的值。

S2：采用Hausdorff距离匹配方式对电子海图和雷达图像进行搜索匹配获取融合图像，实现两幅不同空间尺度的图像的空间跨尺度融合之前，需要将两幅图像在空间上进行预处理。

(1)两幅图像的尺度一致：

由于电子海图测量的的实际距离远，雷达测量的实际距离近，理论上，雷达图像应该是电子海图中的一个比较小的部分，因此，两幅图像的比例尺不一致。求缩放倍数z的公式如下

其中R_x和E_x分别表示雷达和电子海图的实际距离，R_p和E_p分别代表两幅图像的像素值。

(2)两幅图像方向一致

雷达图像是按照船艏方向为上方扫面生成图像，电子海图和地图显示一致，遵循上北下南的方式显示，由于船艏方向不一定为北方，所以需要将雷达图像旋转一定角度，变换的公式如下

缩放仿射矩阵则旋转角度的仿射矩阵则对应坐标可表示为

S3：读取摄像机图像、将摄像机图像与融合图像进行边缘处理提取摄像机图像与融合图像的可用轮廓。

S4：采用hausdorff距离匹配算法搜索并匹配摄像机图像和融合图像，将搜索到的图像与融合图像进行融合最终实现三幅图像的空间跨尺度融合，将融合后的图像作为无人船的导航实时环境信息。

对于完成前期预处理的两幅图像，要想实现两幅图像的空间跨尺度融合，需要采用合适的匹配算法。Hansdorff距离匹配算法通过比较图像的边缘点的最小距离，可以实现图像的成功匹配。

如图2所示的Hauadorff距离匹配的具体实施方法，步骤如下：

实施例：

进一步的，Hausdorff距离的定义

Hausdorff距离是描述两组点集之间相似程度的一种度量，假设两组点集集合A＝{a₁,a₂,a₃,...,a_p}，B＝{b₁,b₂,b₃,...,b_q}，则两组点集之间的Hausdorff距离定义为：

H(A,B)＝max(h(A,B),h(B,A)) (12)

假设定义(β为空间任意一点)，则Hausdorff距离这个过程称为Hausdorff距离变换。

设A₁和B₁分别为基准图A和实时图B的某一特征段，A₁＝{L₁,L₂,...,L_K}，B₁＝{l₁,l₂,...,l_k}，则点集A₁和B₁之间的有向Hausdorff距离为：

S2:电子海图和雷达图像的搜索匹配

如图3所示的电子海图与雷达图像叠加具体实施方法，步骤如下：

第一步：使雷达图像(M₁*M₂)直接在电子海图上进行搜索，搜索规则按照从左到右，从上到下的方式逐个像素点进行移动。当雷达图像搜索到电子海图的行边界时，就从下一行的起点重新搜索，雷达图像不超过电子海图(N₁*N₂)范围。每个像素点都进行一次相关计算，当遍历所有的像素点后，输出最佳匹配点坐标(u,v)；

第二步：在找到第一部搜索匹配的匹配点坐标(u,v)后，以该点作为电子海图中的起始点，获取电子海图中(M₁*M₂)的范围，然后将雷达图像分割成更小的子图(m₁×m₂)，用子图继续在电子海图(M₁*M₂)上进行搜索匹配，重复第一步操作，最终输出最佳匹配点坐标点(x,y)。

3、电子海图和雷达图像的叠加匹配

通过搜索匹配找到图像中的最佳匹配点(x,y)后，以改点作为起点，以雷达的图像大小作为匹配区域，这个区域就是雷达在电子海图中理论最佳匹配区域，也就是认为的重叠区域。然后将雷达图像叠加到电子海图中。叠加的规则遵循障碍物全显示且障碍物最大的规则，换句话说，就是认为图像中的白色全部为障碍物，且不区分障碍物原始存在于哪个图像，最终都会显示在融合后的图像上。在叠加过程中，以匹配点作为起点，雷达图像大小作为融合区域，在电子海图中获取相应的感兴趣区域，然后将两幅图像逐个像素点进行比较。当两个像素点灰度值一致时，输出当前灰度值，否则输出灰度值为255，即白色。遍历所有像素点，融合两幅图像，最后获得融合图。

S3：读取摄像机图像，将摄像机图像进行预处理；

1、图像的平滑处理：

图像的平滑处理是十分常见的图片处理方式之一，无人机在海面上受到海风的影响产生振动，很容易给摄像机获取的图像带来一些噪声，平滑处理很容易过滤掉这些由于外界干扰带来的噪声，更有效的保留图片真实信息，具有很好的滤波效果。平滑处理的主要原理是：由于噪声一般都是很不稳定的高频信号，而真实信号通常为低频，只要采用一些方法，对输入的信号进行过滤，使高频信号不能通过，同时增强低频信号，就有效的实现了过滤效果。图像滤波通过输入图像f(x,y)，与脉冲响应h(x,y)的卷积来实现。

式中g(x,y)是经过滤波后输出的图像。可将(16)离散化可得到如下形式：

脉冲响应h[i,j]其实就是一个通过卷积计算获得的模板，它的大小是[2m+1]×[2n+1]。其中，对于图像每个像素点[i,j]，输出响应g[i,j]到各像素点[i,j]处都是由移动这个模板，然后通过计算模板与像素点[i,j]邻域加权得到的每个像素点。表达式为：

其中，σ为高斯函数的均方差。σ值选取的越大，图像平滑度越高，图像的清晰度就会越低。

经平滑滤波后的输出图像为：

2、图像阈值分割

阈值分割就是分离出图像的前景和背景，通常情况下，选取前景为白色，背景为黑色。实现图像二值化，理论思想是对一幅图像进行阈值分割，将图像分割成黑色和白色。图像中，为了方便，将海水设置为黑色，障碍物设置为白色。由于海水和陆地的灰度值不同，使用二值化，很容易将图像分割出来。

如图4所示的阈值分割的迭代方法，步骤如下：

设原始的灰度图像为I，阈值分割公式如下：

式中I(i,j)表示分割前图像(i,j)处的灰度。由此可以看出，选取不同的阈值，对于图像的结果会有很大的影响。在实际操作中手动选取不同的阈值，又会十分麻烦，所以选取一种好的获取阈值的方法也十分重要。这里选取一种自适应阈值方法，即迭代法。

迭代法是采用一种无限迭代，最终计算出前景和后景无限接近的一种方法。它的实现流程是：第一步，遍历所有的像素点，得到最大灰度m₁和最小灰度m₂，计算T＝(m₁+m₂)/2，此时求出的阈值作为迭代法的第一个阈值。第二步，以第一个阈值作为分界，大于阈值的像素点作为前景，否则作为背景。遍历所有的像素点，求出前景平均灰度值m₃和背景的平均灰度值m₄，再次计算阈值T₁＝(m₃+m₄)/2。重复上述步骤，直到T_n＝T_n-1时，迭代停止，此时的阈值就是最佳阈值T_n。由于在迭代的过程中，很难使得T_n＝T_n-1，迭代浪费大量时间，所以一般情况下，只要使得结果满足一个合适的居间即可，即时停止迭代。认为迭代已经达到最终的结果。

S3中提取摄像机图像与融合图像的可用轮廓：利用迭代法获取阈值分割后图像的轮廓，将轮廓放在容器中。由于图像中存在许多小轮廓影响匹配，可以设定阈值对轮廓进行筛选，剔除小的噪声，保留大的完整的轮廓，将筛选后的轮廓画在新的空图像中。

S4：采用hausdorff距离匹配算法计算两个轮廓点集之间的最小距离，实现两幅图像的叠加匹配，具体采用如下方式：

1、利用搜寻算法，将摄像机图像在融合图上从上到下，从左到右进行逐行搜索，在融合图中取与摄像机图像尺寸相同的区域作为感兴趣区，每隔一个像素点提取一个感兴趣区域：

2、利用迭代器搜寻摄像机图像和感兴趣区域中的轮廓点，分别存放在不同的点集中。设置初始距离值，保存在缓存区中：

3、利用hausdorff算法，计算两个点集之间的最小距离，并且与上一次搜寻计算的距离进行相比，将距离比较小的存放在缓存区，且输出小距离的感兴趣区域的左上角坐标值作为匹配点：

4、依次循环上述过程，直到摄像机图像将整幅融合图搜寻一遍，获得最小的距离值，且输出对应的感兴趣区域的左上角坐标值作为最优匹配点：

5、通过搜索匹配算法最终会得到最优的匹配点f(x,y)，这个匹配点是最匹配的区域的左上角像素坐标值，得到这个坐标值，可以通过提取感兴趣区域。以匹配点f(x,y)为最上角起点，模板的宽w和高h作为感兴趣的的宽和高提取被搜索图像上的感兴趣区域，然后将感兴趣区域和模板进行像素点融合匹配。图像都为二值图，黑色代表海水，白色代表碍航物，融合时，若两幅图像同时为黑色，R(i,j)输出黑色，两幅图中同为白色，则R(i,j)，输出白色，两幅图中任意一幅图出现白色，则R(i,j)输出白色。具体融合过程如图5所示。

本发明公开的一种基于海空协同的无人船多元联合导航方法，该方法读取数据库中存放的电子海图数据，编程处理成图片形式显示在界面上作为融合基图。船载雷达获取的雷达图像显示海面当前时刻的环境信息。无人机搭载摄像机俯视拍摄海面环境信息生成摄像机图像。获取三类尺度不同的图像信息，进行空间跨尺度融合。由于图像的空间尺度不统一，首先需要对图像的空间尺进行统一处理，使图像在空间上显示一致。其次需要尺度归一化后的图像进行阈值分割、边缘获取等处理。最后将处理后的图像进行特征值匹配、模板匹配等，找到基图上准确的匹配位置，实现图像的空间跨尺度融合。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于海空协同的无人船多元联合导航方法，其特征在于包括以下步骤：

S1：读取电子海图和雷达图像信息，对电子海图和雷达图像进行预处理；

S2：采用Hausdorff距离匹配方式对电子海图和雷达图像进行搜索匹配获取融合图像；

S3：读取摄像机图像、将摄像机图像与融合图像进行边缘处理提取摄像机图像与融合图像的可用轮廓；

S4：采用hausdorff距离匹配算法搜索并匹配摄像机图像和融合图像，将搜索到的图像与融合图像进行融合最终实现三幅图像的空间跨尺度融合，将融合后的图像作为无人船的导航实时环境信息。

2.根据权利要求1所述的一种基于海空协同的无人船多元联合导航方法，其特征还在于：S3具体采用如下方式：

S31：根据固定阈值分割获取摄像机图像和融合图像，将摄像机图像和融合图像转化为二值图像：

S32：利用边缘提取算法获取摄像机图像和融合图像的可用轮廓，并将提取的有用轮廓分别存放在指定的序列中：

S33：利用固定阈值算法对两个可用轮廓序列进行轮廓筛选：设定轮廓阈值，分别删除可用轮廓序列中小于轮廓阈值的轮廓和噪点轮廓；

S34：利用迭代器获取两个轮廓序列中的轮廓，将轮廓画在空图像中，将有用轮廓完整提取出来作为可用轮廓。

3.根据权利要求1所述的一种基于海空协同的无人船多元联合导航方法，其特征还在于：S4具体采用如下方式：

S41：利用搜寻算法将摄像机图像在融合图上进行逐个像素点的搜索，在融合图中提取与摄像机图像尺寸相同的区域作为感兴趣区；

S42：利用迭代器搜寻摄像机图像和感兴趣区域中的轮廓点分别存放在不同的点集中；

S43：对于在每个像素点处获得的轮廓点集，利用hausdorff算法计算两个点集之间的最小距离，将当前最小距离与对上一像素点搜寻中计算的最小距离进行相比，将二者中的最小距离存放在缓存区，且输出最小距离的感兴趣区域的左上角坐标值作为匹配点；

S44：依次循环上述过程，直到摄像机图像将整幅融合图像搜寻一遍获得最小距离值、并输出对应感兴趣区域的左上角坐标值作为最优匹配点；

S45：利用比较法将摄像机图像和融合图中最匹配的感兴趣区域进行比较，将摄像机图像叠加到融合图像。