CN115205564A - 基于无人机的船体维护巡检方法 - Google Patents

Abstract

本发明公开了基于无人机的船体维护巡检方法，涉及图像配准领域。包括：获取模板图像和实时图像；对实时图像进行不同分辨率的下采样，对每组采样图像进行不同程度的模糊处理，获取差分图像及其对应的掩膜图像；计算差分图像中每个像素点的两个模糊损失量；确定差分图像中每个像素点的连续程度；确定实时图像与模板图像中所有的匹配点及其描述符；进行角点匹配并获取调整角度对航线进行调整。本发明通过对图像进行边缘识别，并剔除物体轮廓内部的边缘线，保留物体轮廓边缘线，选取合适的关键点作为匹配点以保证角点匹配的准确性，保证巡检的航线达到对船体维护的目的。

Description

基于无人机的船体维护巡检方法

技术领域

本发明涉及图像配准领域，具体涉及基于无人机的船体维护巡检方法。

背景技术

对于船只来说，按照既定航线进行工作是非常重要的，因为水下环境难以观测，通过规划好的路线行进，能够避免触礁等危险，但是由于自然环境等一系列影响，可能会使船只偏离既定路线，在偏离既定航线的情况下，就有可能出现触礁等危险，导致船体造成损伤，因此需要对船只的航线进行调整，使船只的航线回到既定航线，避免对船体造成损伤，通过保证船只保持在既定航线的方法以达到船体维护的目的。

在对航线进行监测的时候，由于无人机技术具有超高清矩阵拍照功能，可以快速提取目标的高清细节，将无人机技术与电力巡检、管道巡检、河道巡检等精密结合，为巡检工作带来了全新的作业模式，针对危险、紧急、重复性任务设计一系列解决方案，为系统建设、运维等工作提供高效保障。利用无人机技术提取目标的高清细节，然后通过无人机偏离航线时所拍摄的目标物的位置发生改变形成多尺度的现象，判断船只偏离航线，利用目标物的偏移，通过角点匹配的方法确定船只的偏移量，从而根据角点匹配得到的偏移量帮助船只回到航线上，但是角点匹配时，选择关键角点是非常重要的。

现有技术中对于角点匹配中的角点，大多是选择图像中特征比较强烈的点作为角点，因此选择的角点部分存在物体内部，然而如果选取物体轮廓内部的像素点作为关键点，可能会导致匹配内容为局部特征，但是由于有的局部特征可能不具备尺度不变性，会导致匹配结果存在较大的误差。

发明内容

针对上述技术问题，本发明提供了基于无人机的船体维护巡检方法，具体包括：

获取模板图像和实时图像，所述实时图像为行驶过程中船体目标物的图像，模板图像为正常航线上船体目标物的图像；

对实时图像进行不同分辨率的下采样得到

组不同分辨率的采样图像，再分别对 每组采样图像进行不同程度的模糊处理得到模糊程度由小到大排列的每组对应的

张模 糊图像；

对每组模糊图像中相邻的两张图像进行差分处理，得到每组中的

张差分图像， 利用每张差分图像及其对应的两张模糊图像得到两张掩膜图像；

获取每张差分图像中每个像素点为中心的匹配窗口，将每个匹配窗口的图像域和尺度域中的极值像素点作为每个匹配窗口的极值像素点，得到每张差分图像中所有匹配窗口的极值像素点；

根据每张差分图像对应的在两张掩膜图像中的每个极值像素点及其邻域像素点的灰度值，计算每张差分图像中每个极值像素点的两个模糊损失量；

根据每张差分图像中每个极值像素点及其邻域像素点的灰度值，确定每张差分图像中每个极值像素点的连续程度；

根据每张差分图像每个极值像素点的连续程度和模糊损失量获取每个极值像素点的权重值，根据所有差分图像中每个极值像素点的权重值确定实时图像中所有的匹配点；

设置描述符窗口的大小，以每个匹配点为中心点的描述符窗口内的所有像素点的梯度信息构建每个匹配点的描述符，同理得到模板图像中每个匹配点的描述符；

利用获取实时图像中所有匹配点及该匹配点的描述符的方法获取模板图像中的所有匹配点及该匹配点的描述符，计算模板图像中与实时图像中描述符相同的匹配点之间的欧式距离；

根据匹配点之间的欧式距离对模板图像和实时图像进行角点匹配，获取匹配后的实时图像相对于模板图像的位置角度作为调整角度，根据调整角度对航线进行调整。

每张差分图像中每个极值像素点的两个模糊损失量的方法为：

获取每张差分图像对应的两张模糊图像，将差分图像对应的两张模糊图像分别与模板图像相乘得到两张掩膜图像；

根据每张差分图像对应的两张掩膜图像计算每张掩膜图像中每个极值像素点的模糊损失量，计算方法如下：

获取模板图像中每个极值像素点及其八邻域像素点的灰度值，计算每个极值像素点与其八邻域像素点的灰度差值之和，将得到的和作为模板图像中每个极值像素点相对于邻域像素点的突出程度；

获取每张掩膜图像中每个极值像素点及其八邻域像素点的灰度值，计算每个极值像素点与其八邻域像素点的灰度差值之和，将得到的和作为掩膜图像中每个极值像素点相对于邻域像素点的突出程度；

获取模板图像中每个极值像素点相对于邻域像素点的突出程度，将差分图像对应的两张掩膜图像上，与模板图像中相同位置的像素点相对于邻域像素点的突出程度之差，作为差分图像上相同位置的极值像素点的两个模糊损失量，得到差分图像上每个极值像素点的两个模糊损失量。

确定每张差分图像中每个极值像素点的连续程度的过程如下：

设置滑窗大小，以极值像素点为初始点，以初始点为中心点进行滑窗遍历；

遍历方法为：以从左往右，自上而下的方式移动滑窗中心点，每当中心点的邻域内像素点存在灰度值大于0的像素点时，初始点的连续程度加1，当中心点的邻域像素点的灰度值皆为0时，停止遍历，此时遍历过的所有极值像素点的连续程度相同；

更换差分图像中未遍历过的极值像素点为初始点，对差分图像中未遍历过的像素点根据遍历方法进行遍历，得到差分图像中每个极值像素点的连续程度。

获取每个极值像素点的权重值的方法为：

获取差分图像上每个极值像素点的两个模糊损失量以及连续程度，计算每个极值像素点的连续程度的二倍与两个模糊损失量之和的商，对得到的商进行归一化处理，将归一化处理后的值作为每个极值像素点的权重值。

确定实时图像中所有的匹配点的方法如下：

设置匹配阈值，保留实时图像中权重值大于匹配阈值的极值像素点作为目标灰度图像中的匹配点，确定实时图像中所有的匹配点。

构建每个匹配点的描述符的过程为：

以匹配点为中心获取描述符窗口，获取描述符窗口中每个像素点的梯度信息，将描述符窗口以匹配点为中心划分为四个种子点；

统计每个种子点在八个方向上的梯度信息总量，将得到的每个种子点的梯度信息总量作为匹配点的描述符，得到每个匹配点的描述符。

根据调整角度对航线进行调整的过程为：

获取匹配后的模板图像和实时图像，提取实时图像中每个像素点相对于模板图像中像素点的位置角度，将提取的位置角度作为调整角度；

根据调整角度对船体的行驶轨迹进行调整，使调整后的行驶轨迹与航线重合。

根据匹配点之间的欧式距离对模板图像和实时图像进行角点匹配的过程如下：

获取模板图像和实时图像中每个匹配点及其描述符，将模板图像中与实时图像中匹配点的描述符相同的匹配点进行连接，根据匹配点的描述符中的向量值计算相互匹配的匹配点之间的欧式距离，计算方法为：获取模板图像和实时图像中描述符相同的匹配点的描述符，对描述符中每个维度的向量值差值之和的算术平方根作为模板图像和实时图像中描述符相同的匹配点的欧式距离；

设置距离阈值，在模板图像中为实时图像中的每个匹配点选出欧式距离的最近距离和次近距离对应的两个匹配点，当最近距离与次近距离的比值小于等于距离阈值时，选取距离最近的匹配点与实时图像中的匹配点匹配成功并进行连线；当最近距离与次近距离的比值大于距离阈值时，将实时图像中该匹配点筛除，继续下一个匹配点的匹配。

相比于现有技术，本发明实施例的有益效果在于：

1.本发明首先计算所有高频像素点的模糊损失量，根据模糊损失量先计算像素点为边界轮廓边缘点的可能性，经过高斯模糊之后，模糊损失量越小，则像素点越有可能是边缘像素点，利用模糊损失量确定的边缘像素点的准确性较高。

2.本发明计算边缘像素点的连续性，将模糊损失量与连续性结合作为关键点的权重值，辅助筛选了全局特征作为最终的关键点，避免选取局部特征作为关键点会出现关键点不具备尺度不变性，影响匹配结果，从而提高了匹配准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于无人机的船体维护巡检方法提供的流程框图；

图2为本发明实施例基于无人机的船体维护巡检方法提供的方法流程图；

图3为本发明实施例基于无人机的船体维护巡检方法提供的匹配点获取方法示意图；

图4为本发明实施例基于无人机的船体维护巡检方法提供的差分图像匹配窗口及其图像域和尺度域示意图；

图5为本发明实施例基于无人机的船体维护巡检方法提供的描述符的获取示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本发明实施例提供了基于无人机的船体维护巡检方法，如图1与图2所示，具体内容包括：

本实施例基于无人机按照船只的预定航线进行巡检，获取无人机在巡检工作时以船体上某一物体为目标物时的每一时刻的图像作为实时图像，分别对模板图像和实时图像进行差分处理获取匹配点，构建模板图像和实时图像中匹配点的描述符，根据描述符确定匹配点的对应关系，并利用SIFT算法对模板图像和实时图像中的匹配点进行角点匹配，根据角点匹配的结果获取调整角度对船只的行驶轨迹进行调整。

S101、获取模板图像和实时图像：

本实施例是基于图像的角点匹配的匹配结果确定船只行驶轨迹的调整角度，因此首先需要获取进行角点匹配的图像，即模板图像和实时图像。

无人机不仅能够进行巡查工作，由于无人机具有超高清矩阵拍照功能，可以快速提取目标区域的高清细节，因此本实施例通过无人机获取选定的目标物在船体行驶过程中的实时目标物的实时图像，并在船只还未行驶前获取无人机相对于船只目标物的目标物的模板图像；

对获取的目标物的模板图像和目标物的实时图像进行灰度化处理得到模板图像和实时图像。

S102、计算每张掩膜图像中每个像素点的模糊损失量：

本实施例通过对目标物的模板图像和目标物的实时图像进行不同分辨率的下采样处理得到多张采样图像（此处采样图像包括模板采样图像和实时采样图像），并对不同分辨率的采样图像进行不同程度的模糊处理（即设置不同的高斯矩阵尺寸进行模糊处理），每张采样图像模糊处理得到的多张模糊图像进行差分处理得到差分图像，通过对差分图像与差分处理前的两张模糊图像相乘得到掩膜图像，计算每张掩膜图像上每个像素点的模糊损失量，因为差分图像上的点多数为轮廓上的边缘像素点，因此得到的掩膜图像也基本上是轮廓上的边缘点，但是得到的掩膜图像上还可能会存在小部分的目标物内部区域的像素点，轮廓边缘像素点的模糊损失量相对于区域内部边缘像素点的模糊损失量较小，因此计算每张掩膜图像上每个像素点的模糊损失量确定出边缘像素点。

在进行SIFT特征匹配之前，需要对获取的图像进行下采样，对下采样后的图像再 进行高斯模糊，利用模糊后的图像得到差分图像，通过对差分图像进行分析确定进行角点 匹配的匹配点，对图像进行处理得到匹配点的匹配点获取方法示意图如图3所示，图中

表 示高斯金字塔采样的尺度参数，相同尺度参数下的图像再经过不同程度的高斯模糊，其中

表示高斯模糊的高斯矩阵尺寸，根据不同的高斯矩阵尺寸对采样图像进行模糊处理，得 到多张相同尺度参数相同高斯矩阵尺度不同的模糊图像，再利用模糊图像进行差分处理得 到差分图像，根据差分图像进行关键点（极值像素点）的选取。

对获取模板图像和实时图像皆进行如下处理：

1.进行下采样：

对获取模板图像和实时图像进行不同分辨率的下采样，得到

组不同分辨率的模 板采样图像和

组不同分辨率的实时采样图像，得到两个金字塔形状的数量为

的多分辨 率的采样图像（采样图像包括模板采样图像和实时采样图像）；

2．进行高斯模糊处理：

对数量为

的两个金字塔形状的采样图像（采样图像包括模板采样图像和实时采 样图像）利用高斯模糊的算法进行模糊处理，对图像进行模糊处理的方法有均值模糊、高斯 模糊等方法，实施者可根据实际情况自行选择，本实施例选择高斯模糊，对两个金字塔形状 的

组采样图像（采样图像包括模板采样图像和实时采样图像）进行不同程度的高斯模糊， 得到模糊程度由小到大排列的每组对应的

张模糊图像（模糊图像包括模板模糊图像和实 时模糊图像）；

3.进行差分处理：

针对模板模糊图像，共有

张图像，对于每一组不同模糊程度的模板模糊图 像，对相邻两张模板模糊图像进行差分处理，得到相同分辨率下的

张模板差分图像；

针对实时模糊图像，共有

张图像，对于每一组不同模糊程度的实时模糊图 像，对相邻两张实时模糊图像进行差分处理，得到相同分辨率下的

张实时差分图像；

4.计算每张掩膜图像中每个像素点的模糊损失量：

对于步骤3得到的模板图像对应的

张差分图像，做以下处理：

获取每张差分图像对应的两张模糊图像，将差分图像对应的两张模糊图像分别与模板图像相乘得到两张掩膜图像；

根据每张差分图像对应的两张掩膜图像计算每张掩膜图像中每个像素点的模糊损失量，计算方法如下：

获取模板图像中每个像素点及其八邻域像素点的灰度值，计算每个像素点与其八邻域像素点的灰度差值之和，将得到的和作为模板图像中每个像素点相对于邻域像素点的突出程度；

获取每张掩膜图像中每个像素点及其八邻域像素点的灰度值，计算每个像素点与其八邻域像素点的灰度差值之和，将得到的和作为掩膜图像中每个像素点相对于邻域像素点的突出程度；

获取模板图像中每个像素点相对于邻域像素点的突出程度，将差分图像对应的两张掩膜图像上，与模板图像中相同位置的像素点相对于邻域像素点的突出程度之差，作为差分图像上相同位置的像素点的两个模糊损失量，得到差分图像上每个像素点的两个模糊损失量，计算公式为：

式中：

表示掩膜图像中第

个像素点的模糊损失量，

为掩膜图像中第

个像 素点对应在模板图像中的像素点的灰度值，

为掩膜图像中第

个像素点对应在模板图像 中的像素点的八邻域内的第

个像素点的灰度值，

表示掩膜图像中第

个像素点对应在模 板图像中的像素点的八邻域内像素点的序号，

表示掩膜图像中第

个像素点的灰度值，

表示掩膜图像中第

个像素点的八邻域内的第

个像素点的灰度值，

表示掩膜图像中第

个像素点的八邻域内像素点的序号；

表示模板图像中的像素点相对于邻域内像素点的突出程度，

表示模糊后的图像对应的掩膜图像中的像素点相对于邻域内像素点的突出 程度，由于高斯模糊就是在高斯滑窗内将各点的值与其权重相乘再求和作为中心像素点模 糊后的结果，故计算模糊损失量时就需要考虑像素点模糊前后与邻域各点的突出程度是否 发生变化，并将模糊前后的突出程度做差结果作为当前模糊图像及其对应的掩膜图像中像 素点经过模糊处理后的模糊损失量；

由于相同分辨率的模糊图像包含

张不同程度的模糊图像，点都会得到

个模糊 损失量：

。

根据获取模板图像对应的所有掩膜图像的每个像素点的模糊损失量的方法，计算目标物的实时灰度图像对应的所有掩膜图像的每个像素点的模糊损失量，至此，得到了每张掩膜图像中每个像素点的模糊损失量。

S103、计算每张差分图像上每个像素点的连续程度：

对所有差分后的差分图像进行边缘识别，因为差分图像是在模糊后的图像基础上进行差分的，边缘点往往由于比较明显而不容易被模糊，进行相邻图像差分后也容易被保留下来，且区域轮廓强边缘往往保留的更加完整，区域内部的弱边缘保留的较少。基于边缘轮廓上像素点的连续性比较强，而轮廓内部区域的像素点的连续性可能会比较小，因为内部区域的线条可能会比较少，且轮廓上的边缘像素点几乎是连续不断的，形成一个连通域构成外轮廓，因此通过像素点的连续性判断像素点是否为轮廓上的边缘像素点，本实施例利用像素点的连续程度作为判断像素点是否为轮廓上的边缘像素点的指标之一。

对模板差分图像和实时差分图像皆做以下处理：

设置3*3大小的滑窗，在差分图像上选取初始点，以初始点为中心点进行滑窗遍历；

遍历方法为：以从左往右，自上而下的方式移动滑窗中心点，每当中心点的邻域内像素点存在灰度值大于0的像素点时，初始点的连续程度加1，当中心点的邻域像素点的灰度值皆为0时，停止遍历，此时遍历过的所有像素点的连续程度相同，即：

式中：

表示初始像素点的连续程度，

表示滑窗窗口中像素点的灰度值；

更换差分图像中未遍历过的像素点为初始点，对差分图像中未遍历过的像素点根据遍历方法进行遍历，得到差分图像中每个像素点的连续程度。

根据遍历方法对模板差分图像和实时差分图像进行遍历，得到模板差分图像和实时差分图像中所有像素点的连续程度。

S104、计算每张差分图像上每个像素点作为关键点的权重值：

本实施例通过差分图像上每个像素点的模糊损失量和连续程度作为每个像素点作为关键点（即图像上目标物的轮廓上的外边缘点）的判断指标，将利用像素点的模糊损失量和连续程度得到的指标值作为每个像素点作为关键点的权重值，利用权重值在后续的过程中确定出所有的匹配点。

对模板差分图像和实时差分图像（以下统一简称差分图像，处理方法相同）做以下处理：

获取差分图像上每个像素点的两个模糊损失量以及连续程度，计算每个像素点的二倍的连续程度与两个模糊损失量之和的商，对得到的商进行归一化处理，将归一化处理后的值作为每个像素点作为关键点的权重值，则每张差分图像上每个像素点作为关键点的权重值的计算公式如下：

式中：

表示第

张差分图像上第

个像素点作为关键点的权重值，

表示第

张差分图像上第

个像素点的连续程度，

表示第

张掩膜图像上第

个像素点的模 糊损失程度，

表示第

张掩膜图像上第

个像素点的模糊损失程度；

是因为当前进行边缘识别的差分图像是由两张相邻的模糊 图像进行差分所得，差分后的图像内保留的都是高频像素点，其中两张模糊图像中每个像 素点高斯模糊时的损失量与该点是否为边界轮廓边缘点都很大联系，故使用当前边缘点的 两张模糊图像中的模糊损失量作为当前像素点边缘连续性的权重值的指标；

是为了将像素点模糊损失量越小与连续程度越大的变化关联起 来，因为边界轮廓边缘点满足这一关联性，而区域内部的边缘点满足损失量大且连续程度 小的特征；

故当

越大时说明该点为边界轮廓边缘点的可能性大，该点被赋予后续作 为关键点的权重越大，后续更有可能被选为关键点进行匹配；反之当

越小时说明该 点为区域内部边缘点的可能性越大，该点被赋予后续作为关键点的权重越小，后续被选为 关键点进行匹配的可能性小。

通过模糊损失量与连续程度作为计算像素点为边界轮廓边缘像素点的可能性的参数，使用可能性作为后续选取该点作为关键点的权重值，使得后续选取的关键点为全局关键点，提高了匹配准确率。

S105、确定模板图像和实时图像中的匹配点：

本实施例是基于角点匹配对船只的行驶轨迹进行调整，使其回归航线轨道，保证船只在行驶过程中的安全问题，从而保证了对船体的维护。

对模板差分图像和实时差分图像（以下统一简称差分图像，处理方法相同）做以下处理：

获取每张差分图像对应的相邻两张差分图像，设置匹配窗口的大小，本实施例设 置（

）*(

)大小的匹配窗口，实施者可自行设置，以每张差分图像中每个像素点为 中心；

获取每张差分图像及其相邻两张差分图像中相同位置的像素点的匹配窗口；

Difference of Gaussian(DOG)是高斯函数的差分，而DOG三维图中的最大值和最小值点是角点，利用DOG函数确定每张差分图像中的极值像素点作为关键点，差分图像匹配窗口及其图像域和尺度域示意图如图4所示；

获取每张差分图像中每个像素点为中心的匹配窗口，将每个匹配窗口的图像域和尺度域中的极值像素点作为每个匹配窗口的极值像素点，得到每张差分图像中所有匹配窗口的极值像素点，即：

比较三张差分图像中的相同位置的匹配窗口中每个像素点的灰度值，即得到差分图像的匹配窗口及其图像域和尺度域的极值像素点，将得到的两个极值像素点作为差分图像的匹配窗口的极值像素点（即关键点），得到每个匹配窗口的极值像素点（即关键点）作为差分图像的极值像素点（即关键点）；

得到所有差分图像中所有的极值像素点（即关键点），将所有差分图像中的所有极值像素点（即关键点）对应在实时图像中的关键点；

设置匹配阈值0.6，保留实时图像中权重值大于匹配阈值的关键点作为实时图像中的匹配点，确定实时图像中所有的匹配点；

本实施例通过S102中步骤4至S104中的方法得到每个像素点的权重值，然后以每个像素点为中心点设置匹配窗口，根据匹配窗口的图像域和尺度域的极值像素点得到每个匹配窗口的极值像素点，得到每张差分图像中的所有极值像素点作为关键点，再利用所有关键点的权重值得到实时图像中的所有匹配点；

还可以选择对差分图像中每个像素点设置匹配窗口，根据匹配窗口的图像域和尺度域的极值像素点得到每个匹配窗口的极值像素点，从而得到每张差分图像中的所有极值像素点，然后对极值像素点根据S102中步骤4至S104中的方法得到每个极值像素点的权重值，通过每个极值像素点的权重值得到实时图像中的所有匹配点；

根据确定实时图像中所有的匹配点的方法确定模板图像的匹配点。

S106、对模板图像和实时图像进行角点匹配：

寻找两幅图像之间的特征像素点的对应关系，从而确定两幅图像的位置关系，即为对两幅不同视角的图进行角点匹配，检测出来之后可以对其进行后续的处理工作。在本实施例中，通过获取模板图像和实时图像中的匹配点，利用匹配点的描述符来确定匹配点的对应关系，从而进行角点匹配，角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。对于同一场景，即使视角发生变化，通常具备稳定性质的特征。

1.构建匹配点的描述符：

描述符应该不随各种变化而改变，比如光照变化、视角变化等等，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率；

将匹配点附近的区域划分为4*4个子区域，每个子区域作为一个种子点，每个种子点有8个方向，统计的4*4*8=128个梯度信息即为该关键点的特征向量，即描述符，描述符的获取示意图如图5所示；

以匹配点为中心获取描述符窗口，获取描述符窗口中每个像素点的梯度信息，将描述符窗口以匹配点为中心划分为四个种子点；

统计每个种子点在八个方向上的梯度信息总量，将得到的每个种子点的梯度信息总量作为匹配点的描述符，得到每个匹配点的描述符；

对匹配点周围像素区域分块，计算块内梯度总量，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象表述。

如图5所示，对于4*4块，每块的所有像素点的梯度做高斯加权，每块最终取8个方向，即可以生成4*4*8维度的向量，以这4*4*8=128维向量作为中心关键点的数学描述；还可以选择2*2的块，但是4*4*8共128维向量的描述子进项匹配点表征，综合效果最佳。

2.对模板图像和实时图像进行角点匹配：

获取模板图像和实时图像中每个匹配点及其描述符，将模板图像中与实时图像中匹配点的描述符相同的匹配点进行连接，根据匹配点的描述符中的向量值计算相互匹配的匹配点之间的欧式距离，计算方法如下：

式中：

表示描述符相同的匹配点之间的欧式距离，其中

表示模板图像中匹配 点的描述符中的第

个向量值，

表示实时图像中匹配点的描述符中的第

个向量值，

表示匹配点的描述符中向量值的序号，由于本实施例选择的描述符是128维的，因此描述符 的向量值得数量为128。

其中，模板图像和实时图像中匹配点的描述符为：

式中：

表示实时图像中匹配点的描述符，

表示模板图像中匹配点的描述 符，在模板图像中为实时图像中的每个匹配点选出欧式距离最近

和次近距离

对应 的两个匹配点，当

时，选取距离最近的匹配点与实时图像中的匹配点匹配成功并 进行连线；当

时，将实时图像中该匹配点筛除，继续下一个匹配点的匹配。

S107、调整船体的行驶路线：

根据角点匹配后的结果对船只的行驶轨迹进行调整，使船只回归航线轨迹，保证船只在行驶过程中的安全性，避免由于偏离航线造成的触礁等危险，可能会对船体造成损伤，甚至威胁到船只上人员的安全。

获取匹配成功后实时图像相对于模板图像的位置角度

，对船只的行驶轨迹进行 调整，首先调整水平方向角度，使得实时图像相对于模板图像的位置角度在水平方向上无 偏移，再调整竖直方向角度，使得实时图像相对于模板图像的位置角度在竖直方向上无偏 移，完成对船只的行驶轨迹的调整，通过角度调整，使无人机相对于目标物的角度与初始角 度相同，使船只按照航线轨迹继续行驶，避免，完成基于无人机的窗体维护巡检。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于无人机的船体维护巡检方法，其特征在于，包括：

获取模板图像和实时图像，所述实时图像为行驶过程中船体目标物的图像，模板图像为正常航线上船体目标物的图像；

对实时图像进行不同分辨率的下采样得到

组不同分辨率的采样图像，再分别对每组 采样图像设置不同的高斯矩阵尺寸，进行不同程度的模糊处理得到模糊程度由小到大排列 的每组对应的

张模糊图像；

对每组模糊图像中相邻的两张图像进行差分处理，得到每组中的

张差分图像，利用 每张差分图像及其对应的两张模糊图像得到两张掩膜图像；

获取每张差分图像中每个像素点为中心的匹配窗口，将每个匹配窗口的图像域和尺度域中的极值像素点作为每个匹配窗口的极值像素点，得到每张差分图像中所有匹配窗口的极值像素点；

根据每张差分图像对应的在两张掩膜图像中的每个极值像素点及其邻域像素点的灰度值，计算每张差分图像中每个极值像素点的两个模糊损失量；

根据每张差分图像中每个极值像素点及其邻域像素点的灰度值，确定每张差分图像中每个极值像素点的连续程度；

根据每张差分图像每个极值像素点的连续程度和模糊损失量获取每个极值像素点的权重值，根据所有差分图像中每个极值像素点的权重值确定实时图像中所有的匹配点；

设置描述符窗口的大小，以每个匹配点为中心点的描述符窗口内的所有像素点的梯度信息构建每个匹配点的描述符，同理得到模板图像中每个匹配点的描述符；

利用获取实时图像中所有匹配点及该匹配点的描述符的方法获取模板图像中的所有匹配点及该匹配点的描述符，计算模板图像中与实时图像中描述符相同的匹配点之间的欧式距离；

根据匹配点之间的欧式距离对模板图像和实时图像进行角点匹配，获取匹配后的实时图像相对于模板图像的位置角度作为调整角度，根据调整角度对航线进行调整。

2.根据权利要求1所述的基于无人机的船体维护巡检方法，其特征在于，所述每张差分图像中每个极值像素点的两个模糊损失量的方法为：

获取每张差分图像对应的两张模糊图像，将差分图像对应的两张模糊图像分别与模板图像相乘得到两张掩膜图像；

根据每张差分图像对应的两张掩膜图像计算每张掩膜图像中每个极值像素点的模糊损失量，计算方法如下：

获取模板图像中每个极值像素点及其八邻域像素点的灰度值，计算每个极值像素点与其八邻域像素点的灰度差值之和，将得到的和作为模板图像中每个极值像素点相对于邻域像素点的突出程度；

获取每张掩膜图像中每个极值像素点及其八邻域像素点的灰度值，计算每个极值像素点与其八邻域像素点的灰度差值之和，将得到的和作为掩膜图像中每个极值像素点相对于邻域像素点的突出程度；

获取模板图像中每个极值像素点相对于邻域像素点的突出程度，将差分图像对应的两张掩膜图像上，与模板图像中相同位置的像素点相对于邻域像素点的突出程度之差，作为差分图像上相同位置的极值像素点的两个模糊损失量，得到差分图像上每个极值像素点的两个模糊损失量。

3.根据权利要求1所述的基于无人机的船体维护巡检方法，其特征在于，所述确定每张差分图像中每个极值像素点的连续程度的过程如下：

设置滑窗大小，以极值像素点为初始点，以初始点为中心点进行滑窗遍历；

遍历方法为：以从左往右，自上而下的方式移动滑窗中心点，每当中心点的邻域内像素点存在灰度值大于0的像素点时，初始点的连续程度加1，当中心点的邻域像素点的灰度值皆为0时，停止遍历，此时遍历过的所有极值像素点的连续程度相同；

更换差分图像中未遍历过的极值像素点为初始点，对差分图像中未遍历过的像素点根据遍历方法进行遍历，得到差分图像中每个极值像素点的连续程度。

4.根据权利要求1所述的基于无人机的船体维护巡检方法，其特征在于，所述获取每个极值像素点的权重值的方法为：

获取差分图像上每个极值像素点的两个模糊损失量以及连续程度，计算每个极值像素点的连续程度的二倍与两个模糊损失量之和的商，对得到的商进行归一化处理，将归一化处理后的值作为每个极值像素点的权重值。

5.根据权利要求1所述的基于无人机的船体维护巡检方法，其特征在于，所述确定实时图像中所有的匹配点的方法如下：

设置匹配阈值，保留实时图像中权重值大于匹配阈值的极值像素点作为目标灰度图像中的匹配点，确定实时图像中所有的匹配点。

6.根据权利要求1所述的基于无人机的船体维护巡检方法，其特征在于，所述构建每个匹配点的描述符的过程为：

以匹配点为中心获取描述符窗口，获取描述符窗口中每个像素点的梯度信息，将描述符窗口以匹配点为中心划分为四个种子点；

统计每个种子点在八个方向上的梯度信息总量，将得到的每个种子点的梯度信息总量作为匹配点的描述符，得到每个匹配点的描述符。

7.根据权利要求1所述的基于无人机的船体维护巡检方法，其特征在于，所述根据调整角度对航线进行调整的过程为：

获取匹配后的模板图像和实时图像，提取实时图像中每个像素点相对于模板图像中像素点的位置角度，将提取的位置角度作为调整角度；

根据调整角度对船体的行驶轨迹进行调整，使调整后的行驶轨迹与航线重合。

8.根据权利要求1所述的基于无人机的船体维护巡检方法，其特征在于，所述根据匹配点之间的欧式距离对模板图像和实时图像进行角点匹配的过程如下：

获取模板图像和实时图像中每个匹配点及其描述符，将模板图像中与实时图像中匹配点的描述符相同的匹配点进行连接，根据匹配点的描述符中的向量值计算相互匹配的匹配点之间的欧式距离，计算方法为：获取模板图像和实时图像中描述符相同的匹配点的描述符，对描述符中每个维度的向量值差值之和的算术平方根作为模板图像和实时图像中描述符相同的匹配点的欧式距离；

设置距离阈值，在模板图像中为实时图像中的每个匹配点选出欧式距离的最近距离和次近距离对应的两个匹配点，当最近距离与次近距离的比值小于等于距离阈值时，选取距离最近的匹配点与实时图像中的匹配点匹配成功并进行连线；当最近距离与次近距离的比值大于距离阈值时，将实时图像中该匹配点筛除，继续下一个匹配点的匹配。

Images