CN113096171A - 多波束与侧扫声纳图像的多尺度迭代自适应配准方法 - Google Patents

Abstract

多波束与侧扫声纳图像的多尺度迭代自适应配准方法，属于多波束与侧扫声纳数据融合研究领域。本发明主要针对目前多波束与侧扫声纳图像配准方法未顾及图像形变细节信息，存在局部纹理失真的问题，提出了结合小波变换、仿射变换和Demons配准算法的多尺度迭代自适应配准方法。利用小波变换提取侧扫声纳图像低频信息并重构图像，先后采用仿射变换和Demons算法将重构图像与多波束图像进行迭代自适应配准，获取配准变换模型，利用该模型对侧扫声纳原图像进行整体配准变换，获得多波束图像地理坐标约束的侧扫声纳图像。

Description

多波束与侧扫声纳图像的多尺度迭代自适应配准方法

技术领域

本发明属于多波束与侧扫声纳数据融合研究领域，尤其涉及多波束与侧扫声纳图像配准方面。

背景技术

多波束测深系统(MBES)通过精确测量声波往返的时间和到达角度，可以得到高精度的海底位置和深度信息，同时获得海底声强图像。然而，受成像原理的限制，多波束声图的分辨率较低，图像质量较差，难以反映海底地貌的纹理信息。侧扫声纳系统(SSS)通过接收海底反向散射的时序回波信号，可以绘制高分辨率、高质量的海底回波图像。但是，为了提高探测的分辨率并减弱船体噪声的影响，侧扫声纳通常采用拖曳式安装，导致侧扫图像位置信息不准确。基于此，将多波束和侧扫声纳图像配准融合，可获取位置信息准确且纹理信息丰富的声纳图像，有助于提高海底地形地貌及障碍物的探测精度及海底底质分类能力。

对于多波束与侧扫声纳图像的配准，由于其成像原理的差异性以及海洋环境的复杂性，其配准方法较为复杂。国内外专家学者大多采用基于特征的图像配准方法。虽然这些方法很大程度上实现了多波束和侧扫声纳图像的配准，但存在特征点对要求高、图像变换形式简单以及未顾及图像细节差异等问题。

为了顾及声纳图像的细节信息，王达等利用改进的非刚性变换算法(Demons算法)对声纳图像进行配准，该配准方法属于基于物理模型的配准方法，能够实现图像的自适应配准。但该算法未考虑多波束图像与侧扫图像之间的分辨率差异，若直接利用Demons算法将侧扫声纳图像配准到多波束图像上，会损失侧扫图像的细节信息，降低融合声纳图像的质量。

因此，亟需开展考虑多波束与侧扫声纳图像纹理细节的图像配准方法研究，从而进一步提高二者数据融合的质量。

发明内容

本发明主要针对目前多波束与侧扫声纳图像配准方法未顾及图像形变细节信息，存在局部纹理失真的问题，提出了结合小波变换、仿射变换和Demons配准算法的多尺度迭代自适应配准方法。利用小波变换提取侧扫声纳图像低频信息并重构图像，先后采用仿射变换和Demons算法将重构图像与多波束图像进行迭代自适应配准，获取配准变换模型，利用该模型对侧扫声纳原图像进行整体配准变换，获得多波束图像地理坐标约束的侧扫声纳图像。

为了达到上述目的，本发明的技术方案为：

多波束与侧扫声纳图像的多尺度迭代自适应配准方法，具体包括以下步骤：

第一步，对侧扫声纳图像进行小波变换

利用小波变换对侧扫声纳图像进行多尺度分解，所述的小波变换为PWT算法，每一次小波变换，将图像分解成4个相同尺寸的小波分解图像，分别表示：低频信息LL、水平方向高频信息HL、竖直方向高频信息LH、对角方向的高频信息HH；然后将侧扫声纳图像小波分解后得到的低频信息LL进行重构，得到与原始的侧扫声纳图像尺寸相同的大尺度图像，即侧扫声纳低频图像；

第二步，利用仿射变换对侧扫声纳低频图像和多波束声纳图像进行粗配准

首先提取多波束声纳图像与侧扫声纳图像的匹配特征点对后，利用仿射变换得到粗配准的旋转变换矩阵；将旋转变换矩阵作用在第一步得到的侧扫声纳低频图像上，得到粗配准侧扫声纳低频图像；

第三步，对粗配准侧扫声纳低频图像进行精配准

Demons算法根据图像间对应像素点的灰度梯度计算出位移向量v，通过每一次移动位移向量v，使待配准图像逐像素地配准到参考图像；该算法的前提设定是图像灰度在变换过程中保持不变即：

I(x(t),y(t),t)＝c (1)

式中，I表示图像灰度，t表示图像变换经历的时间，x(t)、y(t)表示t时间内图像横纵方向上的变化，c表示一个常量；对上式求微分得：

设两图变换经历的时间t为单位时间，则有：

式中，s表示参考图像灰度信息，m表示待配准图像灰度信息，将其代入式(2)可得：

式中，

表示参考图像灰度的梯度向量；进一步变换可得到经典Demons算法的基本方程：

当参考图像某区域梯度范数很小时，即

时，式(5)出现问题，所以在分母中加入了一项图像灰度差：

(6)式得到的位移量v，能够准确描述图像间灰度的变化情况；利用Active Demons算法，将原始算法中移动图像的单侧力驱动改成合力驱动，即：

式中，参数α称为均化系数，用于调节图像单次位移的幅度；

表示待配准图像灰度的梯度向量；

在进行图像配准时，先采用较小的α值迭代，然后再使用较大的α值继续精化迭代，这样设置的配准算法收敛速度快而且配准精度高；在Demons算法中，需要在每一次迭代中利用高斯滤波器对位移场进行平滑处理，从而得到配准所需的最佳图像变换模型；

第四步，对原始侧扫图像进行配准

利用第二步得到的仿射变换矩阵以及第三步得到的Demons精配准模型，依次对原始侧扫声纳图像进行配准，最终得到既有准确位置信息又有丰富纹理信息的高质量声纳图像。

本发明的有益效果：本发明将仿射变换与Demons算法结合用于图像配准，能够在匹配点对数量较少的情况下实现高精度配准；同时又考虑了多波束图像与侧扫声纳图像的尺度差异性，采用小波变换算法减小二者的尺度差异，从而进一步提高了多波束图像与侧扫声纳图像的配准效果。多波束与侧扫声纳图像的优质配准，为二者后续的数据融合奠定了更加优良的基础，也为海底地形地貌的高精度探测提供了更加充足的资料。

附图说明

图1为本实验多波束图像；

图2为本实验侧扫声纳图像；

图3为本实验经小波变换得到的侧扫声纳低频图像；

图4为本实验提起的匹配特征点对；

图5为本实验经仿射变换后的粗配准侧扫声纳低频图像；

图6为本实验经Demons算法配准后的侧扫声纳低频图像；

图7为使用Demons算法迭代过程中MI值的变化曲线；

图8为使用Demons算法迭代过程中MSE值的变化曲线；

图9为本实验最终得到的侧扫声纳配准图像

图10为本发明方法的流程图。

具体实施方式

以下根据附图和实施例对本发明的技术方案进行进一步说明。

多波束与侧扫声纳图像的多尺度迭代自适应配准方法，具体包括以下步骤：

第一步，对侧扫声纳图像进行小波变换

Demons配准算法可以实现像素级别的图像配准，但是对于多波束和侧扫声纳图像配准而言，侧扫声纳图像具有更加丰富的细节信息，若利用Demons算法将尺度较小的侧扫声纳图像配准到尺度较大的多波束图像上，将会损失侧扫图像的细节信息，为此，本发明在图像配准前先对侧扫声纳图像进行多尺度分解，利用分解得到的低频信息重构图像，将大尺度的侧扫声纳图像与多波束图像进行配准。

小波变换由于能够解决时间域与频率域分辨率的矛盾，可以将图像在独立频带和不同空间上分解为低频信息和高频信息，因此广泛应用于图像处理。目前，基于小波变换的多尺度分解算法主要有金字塔状结构算法(PWT)和树状结构算法(TWT)，本发明采用经典的PWT算法。每一次变换，可以将图像分解成4个相同尺寸的小波分解图像，分别表示低频部分信息(LL)，水平方向高频信息(HL)，竖直方向高频信息(LH)，以及对角方向的高频信息(HH)。

然后将侧扫声纳图像小波分解后得到的LL部分进行重构，得到与原侧扫图像尺寸相同的大尺度图像，将其与尺度相近的多波束图像实施配准更符合实际。

第二步，对低频侧扫图像进行仿射变换

传统的利用Demons算法进行图像配准时，使用的参考图像和待配准图像之间存在的差异较小，因此可以直接利用该算法求得的位移场进行配准。然而在多波束图像和侧扫声纳图像中，由于海洋环境等因素的影响，图像中会存在较多噪声，使得图像的可视性差且灰度变化复杂。如果直接使用Demons算法的结果只会配准到全局图像每个像素点灰度差异较小的位置，而对于整体框架的配准并不准确。为此，本发明利用仿射变换先对二者声纳图像进行粗配准。

仿射变换是一种常用的基于特征的图像变换方法，它利用匹配的特征点对解算配准变换矩阵，该方法能够保证图像中线条的平行关系不变，且所需要的控制点对数较少，但是其配准较为粗糙，且配准效果与特征点的选择密切相关。

在提取多波束图像与侧扫声纳图像的匹配特征点对后，就可以利用仿射变换得到粗配准的旋转变换矩阵。将该矩阵作用在上一步得到的侧扫声纳图像低频图像上，得到粗配准侧扫声纳低频图像。

第三步，对粗配准侧扫声纳低频图像进行精配准

Demons算法根据图像间对应像素点的灰度梯度计算出位移向量v，通过每一次移动向量v，使待配准图像逐像素地配准到参考图像。该算法的前提假设是图像灰度在变换过程中保持不变即：

I(x(t),y(t),t)＝c (1)

式中，I表示图像灰度，t表示图像变换经历的时间，x(t)、y(t)表示t时间内图像横纵方向上的变化，c表示一个常量。对上式求微分得：

假设两图变换时间t为单位时间，则有：

式中，s表示参考图像灰度信息，m表示待配准图像灰度信息，将其代入式(2)可得：

式中，

表示参考图像灰度的梯度向量。进一步变换可得到经典Demons算法的基本方程：

当参考图像某区域梯度范数很小时，即

时，式(5)出现问题，所以在分母中加入了一项图像灰度差：

(6)式得到的位移量v，能够准确描述图像间灰度的变化情况。为了提高Demons算法的收敛速率以及配准精度，Wang等提出了Active Demons算法，该算法结合牛顿第三定律，将原始算法中移动图像的单侧力驱动改成合力驱动，即：

式中，参数α称为均化系数，用于调节图像单次位移的幅度，α越大单次位移量越小，收敛速度越慢，每次调节的幅度越细微；反之则算法收敛越快，但配准越粗糙。

为此，在进行图像配准时，一般先采用较大的α值迭代，然后再使用小的α值继续精化迭代，这样设置的配准算法收敛速度快而且配准精度高。

在Demons算法中，待配准图像中的每一个像素点都能够随着灰度梯度自由移动，这样会出现图像变换不够平滑的现象。因此需要在每一次迭代中利用高斯滤波器对位移场进行平滑处理，从而得到配准所需的最佳图像变换模型。

对上一步得到的粗配准侧扫声纳低频图像进行Demons算法精细化配准，并将该过程的位移场模型保留。

第四步，对原始侧扫图像进行配准

利用第二步得到的仿射变换矩阵以及第三步得到的Demons精配准模型，依次对原始侧扫声纳图像进行配准，最终得到既有准确位置信息又有丰富纹理信息的高质量声纳图像。

为了验证多尺度自适应配准方法的有效性，采用实测数据分析说明。实测数据来源于青岛胶州湾海域的同一海底区域，由Klein 4000侧扫系统采集的侧扫声纳数据和R2Sonic 2024浅水多波束系统采集的多波束数据组成。为了减小海底复杂环境的影响，以达到最佳匹配效果，首先将测区进行分块，对每一块区域单独进行配准。在两幅声纳图像中分别选取320×320像素的小区域，对多波束和侧扫声纳图像进行辐射畸变改正、几何畸变改正、图像增强、回波异常值改正和噪声抑制等预处理后，得到改正后的多波束和侧扫声纳图像分别如图1和图2所示。

按照本文提出的操作流程，首先采用“db5”小波对侧扫图像进行3层小波分解，将其第3层的低频信息做小波重构，得到侧扫声纳的大尺度声图，如图3所示。

其次，根据海底特征物的特点，在两幅原始的声纳图像中选取阴影的上下边界点和阴影横向最宽点构成4对匹配特征点对，如图4所示。

进一步，对侧扫声纳的低频图像进行仿射变换，得到图5所示的变换结果。

接下来利用Active Demons算法对粗配准图像进行自适应迭代精配准。利用模板尺寸60×60、标准差为10的高斯低通滤波器进行平滑处理，设置迭代次数80次，其中α＝0.7的60次，α＝1.6的20次，最终得到的精配准图像如图6所示。

为了定量评价配准效果，采用均方差(MSE，Mean Square Error)和互信息值(MI，Mutual Information)作为评价指标：

式中，n和m表示横纵方向上图像的像素点个数，与s(i,j)和m(i,j)表示两图中每个像素点对应的灰度值。MSE值越小，表示图像之间差异越小，配准效果越好。

MI(s,m)＝H(s)+H(m)-H(s,m) (9)

式中，H(s)、H(m)、H(s,m)分别表示参考图像的信息熵、待配准图像的信息熵以及两图之间的联合信息熵。对于2维图像，信息熵的计算方式如下：

其中i表示图像中的灰度值，h_i表示图像中灰度i对应的像素点个数，N表示图像的灰度级数，p_i表示灰度i出现的概率。联合信息熵则需要利用两幅图像的联合直方图，基本方式与计算信息熵类似。MI值越大，表示两图像相关性越大，配准效果越好。

在每一次迭代之后分别计算得到MI和MSE，如图7和图8所示。

最后，将之前的仿射变换模型以及保存的Demons配准变换模型先后用于原始的侧扫声纳图像上，最终得到侧扫声纳图像的配准结果如图9所示。

为了进一步说明本方法的有效性，分别计算了原始侧扫声纳图像与多波束图像在配准前、仿射变换粗配准后、Demons算法精配准后三个阶段的MI和MSE值，如表1所示。

表1配准算法各阶段的MI和MSE

由表1可以看出，较配准前，经仿真仿射变换粗配准后MI提高了43.6％，MSE降低了4.3％，经Demons算法精配准后MI提高了59.0％，MSE降低了5.9％。由此可见，相比于直接使用基于特征的配准方法，经小波变换后再利用Demons算法可以有效提高多波束与侧扫声纳图像配准质量，得到既有准确的位置信息又有丰富纹理信息的声纳图像。

最后应说明的是：以上实验仅用以说明本发明的方法方案，而非对其限制；尽管已经对本发明进行了详细的说明，本领域的普通方法人员应当理解：其对前述所记载的方法方案进行修改，或者对其中部分或者全部方法特征进行等同替换，并不使相应方法方案的本质脱离本发明方法方案的范围。

Claims (1)

1.多波束与侧扫声纳图像的多尺度迭代自适应配准方法，其特征在于，具体包括以下步骤：

第一步，对侧扫声纳图像进行小波变换

利用小波变换对侧扫声纳图像进行多尺度分解，所述的小波变换采用PWT算法，每一次小波变换，将图像分解成4个相同尺寸的小波分解图像，分别表示：低频信息LL、水平方向高频信息HL、竖直方向高频信息LH、对角方向的高频信息HH；然后将侧扫声纳图像小波分解后得到的低频信息LL进行重构，得到与原始的侧扫声纳图像尺寸相同的大尺度图像，即侧扫声纳低频图像；

第二步，利用仿射变换对侧扫声纳低频图像和多波束声纳图像进行粗配准

首先提取多波束声纳图像与侧扫声纳图像的匹配特征点对后，利用仿射变换得到粗配准的旋转变换矩阵；将旋转变换矩阵作用在第一步得到的侧扫声纳低频图像上，得到粗配准侧扫声纳低频图像；

第三步，对粗配准侧扫声纳低频图像进行精配准

Demons算法根据图像间对应像素点的灰度梯度计算出位移向量v，通过每一次移动位移向量v，使待配准图像逐像素地配准到参考图像；该算法的前提设定是图像灰度在变换过程中保持不变即：

I(x(t),y(t),t)＝c (1)

式中，I表示图像灰度，t表示图像变换经历的时间，x(t)、y(t)表示t时间内图像横纵方向上的变化，c表示一个常量；对上式求微分得：

设两图变换经历的时间t为单位时间，则有：

式中，s表示参考图像灰度信息，m表示待配准图像灰度信息，将其代入式(2)可得：

v·▽s＝m-s (4)

式中，

▽s表示参考图像灰度的梯度向量；进一步变换可得到经典Demons算法的基本方程：

当参考图像某区域梯度范数很小时，即||▽s||→0时，式(5)出现问题，所以在分母中加入了一项图像灰度差：

(6)式得到的位移量v，能够准确描述图像间灰度的变化情况；利用Active Demons算法，将原始算法中移动图像的单侧力驱动改成合力驱动，即：

式中，参数α称为均化系数，用于调节图像单次位移的幅度；▽m表示待配准图像灰度的梯度向量；

在进行图像配准时，先采用小的α值迭代，然后再使用大的α值继续精化迭代，这样设置的配准算法收敛速度快而且配准精度高；在Demons算法中，需要在每一次迭代中利用高斯滤波器对位移场进行平滑处理，从而得到配准所需的最佳图像变换模型；

第四步，对原始侧扫图像进行配准

利用第二步得到的仿射变换矩阵以及第三步得到的Demons精配准模型，依次对原始侧扫声纳图像进行配准，最终得到既有准确位置信息又有丰富纹理信息的高质量声纳图像。

Images