CN110045381B - 一种基于线特征简化的侧扫声呐线特征匹配改进方法 - Google Patents

Abstract

本发明属于图像处理领域，具体涉及一种基于线特征简化的侧扫声呐线特征匹配改进方法。本发明主要包括两大步骤：对提取的线特征进行简化处理以及线特征之间的匹配。侧扫声呐图像由于自身的特点，在提取线特征之后，在某些区域会存在过多相似度极高的线特征，通过线特征的简化处理将多条相似度极高的线特征简化，最终确定最少数量线特征代表待处理区域的提取特征，线特征匹配利用射影变换找到对应特征。本发明首先将提取的线特征进行简化处理，可以更简洁描述图像特点，也更有利于提高后续线特征匹配率和匹配速度；基于简化特征的基础上，利用射影变换实现线特征在匹配图像中的映射，通过设计线特征之间的匹配约束条件来完成线特征之间的匹配。

Description

一种基于线特征简化的侧扫声呐线特征匹配改进方法

技术领域

本发明属于图像处理领域，具体涉及一种基于线特征简化的侧扫声呐线特征匹配改进方法。

背景技术

图像的匹配是图像处理的一个关键环节，在图像拼接、三维重建和目标跟踪等方面担任着着重要的基础工作。关于图像的匹配方法可以概括地划分成两类：基于图像灰度信息的匹配方法以及基于图像特征匹配方法。基于灰度的匹配方法利用两幅图像中一定区域内灰度信息的相似程度来判断图像之间是否匹配，这类方法计算量大，鲁棒性相对较差。而基于特征的匹配方法可以减少计算量，而且相对于基于灰度的匹配方法具有更强的抗噪性和鲁棒性，受外界环境影响较小，所以，近年来有关图像的匹配研究中大多都是利用图像的特征来完成匹配。王力在《基于直线特征的异源景象匹配技术研究》一文对直线特征匹配的研究中构造了直线匹配的条件向量，利用相似度量函数来判断两直线特征之间是否匹配；黄勇在《基于相关点与几何约束的直线匹配方法研究》一文对图像提取点特征后，利用直线特征的最近点以及次近点距离之间的比值构造出匹配度量函数；韩丹在《边缘点作用下的立体影像特征线匹配方法研究》一文中将直线之间的匹配简化为边缘主点，然后利用核极线约束以及灰度相似性约束相结合的方式完成图像间的直线特征匹配；这类方法虽然也能完成图像间的线特征匹配，但是面对有较大形变的图像时，会因对角度约束不够造成无法完成准确的匹配；而高新凯在《基于几何不变量的直线匹配与三维》一文中利用射影变换对线特征匹配，效果更好，在图像发生大角度变化时也能实现准确的匹配，但是在前期仅针对匹配关系时所构造的约束条件都是以距离为约束条件，且是对线特征所有状态进行了统一考虑，这在对侧扫声呐的线特征匹配过程中会因图像特点产生一些误匹配。

发明内容

针对上面方法存在的问题，本发明的目的在于针对侧扫声呐图像特点设计一种特征简化和匹配相结合的线特征匹配方法，即一种基于线特征简化的侧扫声呐线特征匹配改进方法。由于侧扫声呐图像提取的线特征会出现相似特征较多的问题，对后续线特征的匹配率和匹配速度带来不利影响，因此设计了特征简化方法，简化之后再进行后续线特征匹配。而针对利用射影变换作用于侧扫声呐图像时存在的不足，本发明考虑到不同状态下的线特征，并分别进行了考虑，而且在匹配条件中加入角度来约束匹配关系，使得约束条件更完整，最终匹配效果更好。这样就通过简化和匹配相结合的方法完成最终的匹配。

本发明的目的是这样实现的：

一种基于线特征简化的侧扫声呐线特征匹配改进方法，包括侧扫声呐图像线特征简化处理和侧扫声呐图像线特征匹配处理两个步骤。

所述的侧扫声呐图像线特征简化处理包括以下步骤：

(1)选中其中一条直线，求出该直线的角度，设为θ，再从Hough变换得到的余下直线中选择和上述直线倾斜角度相近的直线，此处设置的阈值为π/10，即选择所有满足斜率为[θ-π/10，θ+π/10]的直线，将其组合成作为一个直线集，若不存在这样的直线，则存储该直线作为直线特征，从总直线集中删除，使得该直线不参与后续操作中，重复步骤(1)，若存在这样的直线，则转到第(2)步；

(2)选定原直线段的两端点和直线段中间点，存储其位置坐标；在第(1)步所形成的直线集中依次选取直线，也存储其直线段两端点坐标和中间坐标，得到两直线段六个点的坐标；

(3)构建六个点之间的距离，这里的距离只指不在同一直线段上的点之间的距离，得到九个距离值d1，d2，d3，d4，d5，d6，d7，d8，d9，接着对这九个距离值进行判定，当其中之一的距离小于设定阈值时，则判定该选取的直线段为待选直线，接着按照同样的思想将第(1)步中得到的剩余线段进行求取，这样遍历完第(1)步中得到的直线段后，得到一个待选的直线段集，该直线集中存储了斜率相似而且直线段距离相近的直线段，如果数量大于1，则进行下一步；否则，则将初始选中的直线段作为直线特征，并将该直线屏蔽，保证该直线段不会参与到后面的处理中，其选择约束条件为：

式中(x₁，y₁)，(x₂，y₂)是初始选出的线特征端点坐标，(x₃，y₃)是中点坐标，而(X₁，Y₁)和(X₂，Y₂)是余下待处理线特征的端点坐标，(X₃，Y₃)是余下待处理线特征的中点坐标，d_j为方法中提到的九个距离值；

(4)计算初始线段的长度，并从得到的直线段集中依次选取直线段并计算长度值和初始线段长度比较，从中选择出最长的直线段，该直线段即为本区域的特征直线，将其保存；转到步骤(1)，重复进行，直到声纳图像的所有特征直线都参与到计算；

(5)将保存的直线呈现在声呐图像中，便是最终检测到的直线特征。

所述的侧扫声呐图像线特征匹配处理包括以下步骤：

这里设p₁为待匹配图像，而p₂为匹配图像，将两图直线特征提取结果分别保存；

首先要求出待匹配的两侧扫声呐图像之间对应的射影变换矩阵，射影变换矩阵根据点与点之间的匹配关系求取，求得射影变换矩阵之后，便建立起了两图像间点与点之间的对应联系，通过这个条件设计线特征之间的匹配约束条件，基本步骤为：

首先假设射影变换之后的每条直线都能精确定位或者仅发生轻微整体平移，则要在p₂中找到p₁中l₁的映射直线l′₁，并划定匹配区域，假设直线映射没有发生角度变化，所以以l′₁为中线，左右方向平移同样距离为匹配区域，在方形区域中寻找与l′₁具有相同角度的直线特征，距离最近的为匹配直线，其条件约束为：

式中(x_i，y_i)是l′₁的两端点坐标，(X_i，Y_i)是p₂的线特征集中的线特征端点坐标，M为线特征中点坐标，(M.x，M.y)和(M.X，M.Y)分别为l′₁的中点坐标以及p₂的线特征集中的线特征中点坐标，中间公式为p₂中检测到的线特征端点到线特征l′₁的距离公式，A、B、C为l′₁的直线方程系数，R₁，R₂分别为l′₁的半径以及p₂中与之匹配线特征的半径；

由于并非所有直线特征经过映射之后对应的线特征能够精确定位，也会造成角度变化等一些变动，因此通过限定变化的阈值来寻找图像之间的匹配线特征：p₁中的直线特征l₁映射在p₂中为l′₁，若在划定的区域中没有满足条件的匹配线特征时，需要考虑到角度、距离以及位置变化等；

角度、距离限定：直线l₁映射为l′₁，相匹配直线特征即使不严格和l′₁对应，但是角度和距离并不会相差太大，因此设定一个相对较小的角度阈值T，将所有直线角度值与l′₁的角度差值θ限定于T之内，得到p₂中直线特征l_i端点和映射直线l′₁的距离，为{dis1，dis2}，为保证匹配直线之间的位置关系，则距离不能相差太大，因此设定距离阈值，要求2个距离值中最大值dis max＝max{dis1，dis2}要限定在距离阈值之内，不满足条件者判定为非匹配直线特征；

位置限定：先求出映射直线特征l′₁的中点坐标(M.x，M.y)及l′₁的半径lr，求出p₂中直线特征两端点到(M.x，M.y)的距离r1和r2，r＝min{r1，r2}，若r≤lr，则满足直线特征匹配在距离方面的要求，这样，通过上述条件的筛选找到准确的匹配直线特征，角度发生变化的情况下条件约束为：

式中(x_i，y_i)是l′₁的两端点坐标，(X_i，Y_i)是p₂的线特征集中的线特征端点坐标，(M.x，M.y)为l′₁的中点坐标，中间公式为p₂中检测到的线特征端点到线特征l′₁的距离，A、B、C为l′₁的直线方程系数，lr为线特征l′₁的半径。

本发明的有益效果在于：

本发明提供了一种线特征简化和线特征匹配相结合的匹配方法。首先将提取的线特征进行简化处理，可以更简洁描述图像特点，也更有利于提高后续线特征匹配率和匹配速度；基于简化特征的基础上，利用射影变换实现线特征在匹配图像中的映射，通过设计线特征之间的匹配约束条件来完成线特征之间的匹配。

附图说明

图1是本发明的线特征简化示意图；

图2是待处理的侧扫声呐图像；

图3是未简化处理时提取的线特征结果；

图4是简化处理后提取的线特征结果；

图5中(A)(B)是角度相同情况下条件约束示意图；

图6是角度约束条件示意图；

图7是距离约束条件示意图；

图8是位置约束条件示意图；

图9是设计方法效果示意图；

图10～13是本发明的侧扫声呐图像线特征匹配实验结果，其中图10为状态1情况下匹配结果，图11为状态2情况下匹配结果，图12为状态3情况下匹配结果，图13为状态4情况下匹配结果。

具体实施方式

下面结合附图对本发明进一步详细说明。

一种基于线特征简化的侧扫声呐线特征匹配改进方法，包括以下步骤：

步骤1：对提取的线特征进行简化处理；

侧扫声呐图像由于自身的特点，在提取线特征之后，在某些区域会存在过多相似度极高的线特征，本环节就是针对这一问题进行处理，将多条相似度极高的线特征简化，最终确定最少数量线特征代表待处理区域的提取特征。

步骤2：在简化之后的线特征基础之上完成线特征之间的匹配；

本设计方法是利用射影变换来找到对应特征，图像中提取的线特征以端点为媒介经射影变换矩阵在匹配图像中找到对应位置，根据对应位置在匹配图像中所有线特征中按照建立的约束条件找到最相似的线特征作为匹配线特征，完成两图像间的线特征匹配。

1、侧扫声呐图像线特征简化处理：

(1)选中其中一条直线，求出该直线的角度，设为θ，再从Hough变换得到的余下直线中选择和上述直线倾斜角度相近的直线，此处设置的阈值为π/10，即选择所有满足斜率为[θ-π/10，θ+π/10]的直线，将其组合成作为一个直线集，若不存在这样的直线，则存储该直线作为直线特征，从总直线集中删除，使得该直线不参与后续操作中，重复(1)。若存在这样的直线，则转到第(2)步。

(2)选定原直线段的两端点和直线段中间点，存储其位置坐标；在上一步所形成的直线集中依次选取直线，也存储其直线段两端点坐标和中间坐标。这样我们便得到两直线段六个点的坐标。

(3)构建六个点之间的距离，这里的距离只指不在同一直线段上的点之间的距离。可以得到九个距离值d1,d2,d3,d4,d5,d6,d7,d8,d9。接着对这九个距离值进行判定，当其中之一的距离小于设定阈值时，这里阈值取15，则判定该选取的直线段为待选直线，接着按照同样的思想将第(1)步中得到的剩余线段进行求取。这样遍历完(1)中的直线段后，则可以得到一个待选的直线段集，该直线集中存储了斜率相似而且直线段距离相近的直线段，如果数量大于1，则进行下一步；否则，则将初始选中的直线段作为直线特征，并将该直线屏蔽，保证该直线段不会参与到后面的处理中。其选择约束条件为：

式中(x₁，y₁)，(x₂，y₂)是初始选出的线特征端点坐标，(x₃，y₃)是中点坐标，而(X₁，Y₁)和(X₂，Y₂)是余下待处理线特征的端点坐标，(X₃，Y₃)是余下待处理线特征的中点坐标，d_j为方法中提到的九个距离值。

(4)计算初始线段的长度，并从得到的直线段集中依次选取直线段并计算长度值和初始线段长度比较，从中选择出最长的直线段，该直线段即为本区域的特征直线，将其保存，如图1。转到(1)，重复进行，直到声纳图像的所有特征直线都参与到计算。

(5)将保存的直线呈现在声呐图像中，便是最终检测到的直线特征。实验结果如图4。

2、侧扫声呐图像线特征匹配处理：

这里设p₁为待匹配图像，而p₂为匹配图像，将两图直线特征提取结果分别保存；

首先要求出待匹配的两侧扫声呐图像之间对应的射影变换矩阵，这里的射影变换矩阵根据点与点之间的匹配关系求取，如SIFT算法。求得射影变换矩阵之后，便建立起了两图像间点与点之间的对应联系。通过这个条件设计线特征之间的匹配约束条件，基本步骤如下：

首先假设射影变换之后的每条直线都能精确定位或者仅发生轻微整体平移，则要在p₂中找到p₁中l₁的映射直线l′₁，并划定匹配区域，这里认为直线映射没有发生角度变化，所以以l′₁为中线，左右方向平移同样距离为匹配区域，这里选择的距离为3，在方形区域中寻找与l′₁具有相同角度的直线特征，距离最近的为匹配直线，如图5中(A)和(B)。该情况下条件约束如下：

式中(x_i，y_i)是l′₁的两端点坐标，(X_i，Y_i)是p₂的线特征集中的线特征端点坐标，M为线特征中点坐标，(M.x，M.y)和(M.X，M.Y)分别为l′₁的中点坐标以及p₂的线特征集中的线特征中点坐标，中间公式为p₂中检测到的线特征端点到线特征l′₁的距离公式，A、B、C为l′₁的直线方程系数，R₁，R₂分别为l′₁的半径以及p₂中与之匹配线特征的半径。

但是并不能保证所有的直线特征经过映射之后对应的线特征能够精确定位，可能也会造成角度变化等一些变动，但是通过多组实验表明，即使经过单应性变化对应线特征有变化，变动幅度也是有限的，因此可以限定变化的阈值来寻找图像之间的匹配线特征：p₁中的直线特征l₁映射在p₂中为l′₁。在上步划定的区域中没有满足条件的匹配线特征时，这里要考虑到角度、距离以及位置变化等。

角度、距离限定：直线l₁映射为l′₁，实验表明，相匹配直线特征即使不严格和l′₁对应，但是角度和距离并不会相差太大，这里设定一个相对较小的角度阈值T，将所有直线角度值与l′₁的角度差值θ限定于T之内。如图6，可以得到p₂中直线特征l_i端点和映射直线l′₁的距离，为{dis1，dis2}，要保证匹配直线之间的位置关系，则距离不能相差太大，这里设定距离阈值为5，即5个像素。即2个距离值中最大值dis max＝max{dis1，dis2}要限定在5之内，如图7。不满足条件者基本可以判定为非匹配直线特征。

位置限定：先求出映射直线特征l′₁的中点坐标(M.x，M.y)及l′₁的半径lr，求出p₂中直线特征两端点到(M.x，M.y)的距离r1和r2，r＝min{r1，r2}，若r≤lr，则满足直线特征匹配在距离方面的要求，如图8。这样，通过上述条件的筛选可以找到准确的匹配直线特征。这里给出条件约束下的理想结果示意图，如图9。角度发生变化的情况下条件约束如下：

式中(x_i，y_i)是l′₁的两端点坐标，(X_i，Y_i)是p₂的线特征集中的线特征端点坐标，(M.x，M.y)为l′₁的中点坐标，中间公式为p₂中检测到的线特征端点到线特征l′₁的距离，A、B、C为l′₁的直线方程系数，lr为线特征l′₁的半径。

通过以上两步骤完成侧扫声呐图像间的线特征匹配，可以从实验结果图10～13看到，本发明所提出的方法可以精确地实现侧扫声呐图像之间的线特征匹配。

Claims (1)

1.一种基于线特征简化的侧扫声呐线特征匹配改进方法，其特征在于，包括以下步骤：

步骤1：侧扫声呐图像线特征简化处理；

步骤1.1：选中其中一条直线，求出该直线的角度，设为θ，再从Hough变换得到的余下直线中选择和上述直线倾斜角度相近的直线，此处设置的阈值为π/10，即选择所有满足斜率为[θ-π/10，θ+π/10]的直线，将其组合成作为一个直线集，若不存在这样的直线，则存储该直线作为直线特征，从总直线集中删除，使得该直线不参与后续操作中，重复步骤1.1，若存在这样的直线，则转到步骤1.2；

步骤1.2：选定原直线段的两端点和直线段中间点，存储其位置坐标；在步骤1.1所形成的直线集中依次选取直线，也存储其直线段两端点坐标和中间坐标，得到两直线段六个点的坐标；

步骤1.3：构建六个点之间的距离，这里的距离只指不在同一直线段上的点之间的距离，得到九个距离值d1，d2，d3，d4，d5，d6，d7，d8，d9，接着对这九个距离值进行判定，当其中之一的距离小于设定阈值时，则判定该选取的直线段为待选直线，接着按照同样的思想将步骤1.1中得到的剩余线段进行求取，这样遍历完步骤1.1中得到的直线段后，得到一个待选的直线段集，该直线集中存储了斜率相似而且直线段距离相近的直线段，如果数量大于1，则进行下一步；否则，则将初始选中的直线段作为直线特征，并将该直线屏蔽，保证该直线段不会参与到后面的处理中，其选择约束条件为：

式中(x₁，y₁)，(x₂，y₂)是初始选出的线特征端点坐标，(x₃，y₃)是中点坐标，而(X₁，Y₁)和(X₂，Y₂)是余下待处理线特征的端点坐标，(X₃，Y₃)是余下待处理线特征的中点坐标，d_j为方法中提到的九个距离值；

步骤1.4：计算初始线段的长度，并从得到的直线段集中依次选取直线段并计算长度值和初始线段长度比较，从中选择出最长的直线段，该直线段即为本区域的特征直线，将其保存；转到步骤1.1，重复进行，直到声纳图像的所有特征直线都参与到计算；

步骤1.5：将保存的直线呈现在声呐图像中，便是最终检测到的直线特征；

步骤2：侧扫声呐图像线特征匹配处理；

这里设p₁为待匹配图像，而p₂为匹配图像，将两图直线特征提取结果分别保存；

首先要求出待匹配的两侧扫声呐图像之间对应的射影变换矩阵，射影变换矩阵根据点与点之间的匹配关系求取，求得射影变换矩阵之后，便建立起了两图像间点与点之间的对应联系，通过这个条件设计线特征之间的匹配约束条件，基本步骤为：

首先假设射影变换之后的每条直线都能精确定位或者仅发生轻微整体平移，则要在p₂中找到p₁中l₁的映射直线l′₁，并划定匹配区域，假设直线映射没有发生角度变化，所以以l′₁为中线，左右方向平移同样距离为匹配区域，在方形区域中寻找与l′₁具有相同角度的直线特征，距离最近的为匹配直线，其条件约束为：

式中(x_i，y_i)是l′₁的两端点坐标，(X_i，Y_i)是p₂的线特征集中的线特征端点坐标，M为线特征中点坐标，(M.x，M.y)和(M.X，M.Y)分别为l′₁的中点坐标以及p₂的线特征集中的线特征中点坐标，中间公式为p₂中检测到的线特征端点到线特征l′₁的距离公式，A、B、C为l′₁的直线方程系数，R₁，R₂分别为l′₁的半径以及p₂中与之匹配线特征的半径；

由于并非所有直线特征经过映射之后对应的线特征能够精确定位，也会造成角度变化等一些变动，因此通过限定变化的阈值来寻找图像之间的匹配线特征：p₁中的直线特征l₁映射在p₂中为l′₁，若在划定的区域中没有满足条件的匹配线特征时，需要考虑到角度、距离以及位置变化等；

角度、距离限定：直线l₁映射为l′₁，相匹配直线特征即使不严格和l′₁对应，但是角度和距离并不会相差太大，因此设定一个相对较小的角度阈值T，将所有直线角度值与l′₁的角度差值θ限定于T之内，得到p₂中直线特征l_i端点和映射直线l′₂的距离，为{dis1，dis2}，为保证匹配直线之间的位置关系，则距离不能相差太大，因此设定距离阈值，要求2个距离值中最大值dis max＝max{dis1，dis2}要限定在距离阈值之内，不满足条件者判定为非匹配直线特征；

位置限定：先求出映射直线特征l′₁的中点坐标(M.x，M.y)及l′₁的半径lr，求出p₂中直线特征两端点到(M.x，M.y)的距离r1和r2，r＝min{r1，r2}，若r≤lr，则满足直线特征匹配在距离方面的要求，这样，通过上述条件的筛选找到准确的匹配直线特征，角度发生变化的情况下条件约束为：

式中(x_i，y_i)是l′₁的两端点坐标，(X_i，Y_i)是p₂的线特征集中的线特征端点坐标，(M.x，M.y)为l′₁的中点坐标，中间公式为p₂中检测到的线特征端点到线特征l′₁的距离，A、B、C为l′₁的直线方程系数，lr为线特征l′₁的半径。

Images