CN114066795A - Df-sas高低频声呐图像精细配准融合方法 - Google Patents

Df-sas高低频声呐图像精细配准融合方法 Download PDF

Info

Publication number
CN114066795A
CN114066795A CN202111400163.5A CN202111400163A CN114066795A CN 114066795 A CN114066795 A CN 114066795A CN 202111400163 A CN202111400163 A CN 202111400163A CN 114066795 A CN114066795 A CN 114066795A
Authority
CN
China
Prior art keywords
image
fusion
frequency
sonar
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111400163.5A
Other languages
English (en)
Inventor
李蕊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202111400163.5A priority Critical patent/CN114066795A/zh
Publication of CN114066795A publication Critical patent/CN114066795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本申请提出的DF‑SAS高低频声呐图像精细配准融合方法，首先对原始瀑布图像进行初步处理，使其转变成一幅经过畸变改正且具有精确地理坐标的地理编码图像，然后对两张高频、低频地理编码图像进行匹配、融合处理，融合后的图像既具有原来高频图像的海床表面精细地貌信息，又具有原来低频图像的浅地层掩埋地层信息，最终达到自动提取并识别目标位置和分布的任务，这一套处理流程可以大幅提高大规模精细作业的效率以及目标判别的正确率，同时减轻了工作人员的工作负担，对海床表面的高分辨率成像、海洋矿产资源勘探和海底管线和电缆监测等工作具有较大的实际应用价值。

Description

DF-SAS高低频声呐图像精细配准融合方法
技术领域
本申请涉及一种声呐图像精细配准融合方法，特别涉及一种DF-SAS高低频声呐图像精细配准融合方法，属于声呐图像配准融合技术领域。
背景技术
声波由于其在水中优秀传播特性成为人类探索海洋时不可或缺的伙伴，而采用声波进行测量的声呐作为人类在海洋调查中主要探测工具，在目前的海洋科考、海洋工程等方面起到了不可替代的作用。水下声呐成像是声呐在海洋探索中非常重要的应用，合成孔径声呐是一种采用了合成孔径技术的侧扫式主动成像声呐。与侧扫声呐相比,合成孔径声呐具有较高的方位向分辨率,且其与距离和频率都无关。由于低频信号可探测到海底浅地层的回波信息,所以低频合成孔径声呐可以承担起探测海底掩埋和半掩埋物的任务。双频合成孔径声呐(DF-SAS)同时装备了高频和低频两组模块，可同时进行高分辨率海底地貌成像和浅地层的掩埋和半掩埋物勘探任务。目前的作业模式为：实际扫测工作开始后，技术人员必须同时关注至少两块显示屏上扫过的高频和低频的未经处理的初始瀑布图像,迅速判断目标区域的具体位置及分布来为海上实时作业提供参考。
这种较为原始的采用人工判读方式虽然短期可以满足作业要求,可一旦出现实时、快速、长期、同步观测要求，会大幅降低大规模作业的效率以及目标判读的正确率，具体来讲主要有如下两点不足：
第一，当前DF-SAS系统显控设备上采用的图像是未经处理的原始瀑布图像，瀑布图像是按照时序逐扫描线记录合成后的回波强度信息的条带图像,其存在严重的横向几何畸变且未进行姿态、航向改正，目标的形状和位置在图像上都会与实际相差甚远，基于这样的图像进行判读会大幅降低目标判读的正确率。
第二，当前的作业模式要求技术人员必须同时关注高频、低频两套显控设备显示的图像，手动判断两张图像中目标区域的位置和分布情况，这种原始的工作模式严重降低了大规模作业的效率，加重了工作人员的工作负担。
合成孔径技术最早起源于雷达成像领域，然而与合成孔径雷达(SAR)经过几十年的发展所获得的巨大成功相比，目前合成孔径声呐技术仍未完全成熟，原因主要有两点：一个是水声环境异常恶劣，另一个是声速远远小于光速。
现有技术的图像配准：获得质量较高的图像融合结果的前提就是初始图像要经过精确配准,图像配准是将两张或多张图像的所有图像放至同一参考系内，让所有图像达到同一度量标准要求的过程，具体可以根据图像配准过程中处理信息类型的不同，分为如下几类方法：基于空间域灰度信息的图像配准方法、基于变换域系数信息的图像配准方法、基于提取的特征信息的图像配准方法。
现有技术的图像融合：图像融合是将多幅在同一参考系下的图像的同一片区域的信息进行某种数值处理，得到的融合图像包含多幅源图像的大部分特征信息，最终达到一幅图像所包含的信息代表多幅图像所包含信息的目的，当前，图像融合成熟的领域主要集中在像素级上，有基于空间域、基于多分辨变换域、基于单尺度变换域三种融合方法。
当前计算机视觉、遥感和医学图像融合等方面开展了大量研究，而在声呐图像融合方面的相对较少。
综上所述，现有技术的双频合成孔径声呐图像配准融合存在许多不足，本申请的难点和待解决的问题主要集中在以下方面：
第一，当前DF-SAS原始的采用人工判读方式一旦出现实时、快速、长期、同步观测要求，会大幅降低大规模作业的效率以及目标判读的正确率，一是当前DF-SAS系统显控设备上采用的图像是未经处理的原始瀑布图像，瀑布图像是按照时序逐扫描线记录合成后的回波强度信息的条带图像,其存在严重的横向几何畸变且未进行姿态、航向改正，目标的形状和位置在图像上都会与实际相差甚远，基于这样的图像进行判读会大幅降低目标判读的正确率；二是当前的作业模式要求技术人员必须同时关注高频、低频两套显控设备显示的图像，手动判断两张图像中目标区域的位置和分布情况，这种原始的工作模式严重降低了大规模作业的效率，加重了工作人员的工作负担；
第二，现有技术合成孔径声呐高低频两张图像判读繁琐低效，判读信息不直观不准确,无法对相干斑噪声实现较大程度的抑制，现有技术DF-SAS高低频声呐图像配准方法缺少基于地理坐标与灰度分布的前置匹配工作，缺少高低频声呐图像粗匹配,也缺少适合方法的图像精配准，无法得到经过精确配准的高低频声呐图像,无法为后续图像融合提供较准确的初始图像；
第三，现有技术基于多分辨分析图像融合方法采用系数求平均的方式处理，缺点是对系数求取平均会对数据产生模糊效应,即相邻系数之间的差异度变小，降低融合效果。另外，多分辨分析中的分解层数也没有标准的定量分析，分解层数过少导致图像细节抽取不足；分解层数过多，低频部分影响逐渐加大，这时低频系数一个微小的变化就会影响融合图像一片区域的变化，同时，高频系数也会随着分解层数加大而对噪声及误配准等情况更加敏感，所以在确定多分辨分解层数时，既要保证提取足够的细节信息，又要尽量减少噪声和误配准对图像质量造成的影响，现有技术很难达到满意效果；
第四，基于稀疏表示的图像融合也存在明显不足，一是源图像的细节信息如边缘和纹理容易被模糊，也会降低计算效率，这都会导致融合图像细节信息不足；二是范数取大值的融合策略会导致融合图像灰度不连续的情况出现，合成孔径声呐图像同一块区域，假如高频图像的灰度较高，低频图像的灰度较低，但两者分布都很均匀,而且两者细节分布也不近相同，采用范数取大值的融合策略会导致结果不稳定的情况出现；三是采用重复度较高的滑窗策略处理图像块，一次处理就会耗时数分钟，造成方法效率十分低下，几乎失去了使用价值。
发明内容
针对上述不足，本申请首先对原始瀑布图像进行初步处理，使其转变成一幅经过畸变改正且具有精确地理坐标的地理编码图像，然后对两张高频、低频地理编码图像进行匹配、融合处理，融合后的图像既具有原来高频图像的海床表面精细地貌信息，又具有原来低频图像的浅地层掩埋地层信息，最终达到自动提取并识别目标位置和分布的任务，这一套处理流程可以大幅提高大规模精细作业的效率以及目标判别的正确率，同时减轻了工作人员的工作负担，这对于海床表面的高分辨率成像、海洋矿产资源的勘探和海底管线和电缆的监测等工作具有较大的实际应用价值。
为实现以上技术下效果，本申请所采用的技术方法如下：
DF-SAS高低频声呐图像精细配准融合方法，首先设计一套适合于合成孔径声呐的从初始数据到成果图像的高低频图像前置处理方法；然后设计一套适合于合成孔径声呐高低频声呐图像的配准方法；最后设计一套适合于DF-SAS高低频声呐图像的融合方法，在一张图像上同时处理海底上下两层信息；
第一，提出一套适合于合成孔径声呐的图像预处理流程，包括合成孔径声呐初始数据处理、瀑布图制作及处理、地理编码图制作及处理的方法，然后基于SAS相干斑噪声成因，提出基于窗口的均值滤波算法，对相干斑噪声实现较大程度的抑制；
第二，提出DF-SAS高低频声呐图像配准方法，首先基于地理坐标与灰度分布进行图像的前置匹配工作；然后进行高低频声呐图像粗匹配；最后进行图像的配准，最终得到一对经过精确配准的高低频声呐图像,为后续图像融合提供较准确的初始图像；具体步骤为：
第1步：高低频声呐图像坐标与灰度匹配，包括声呐图像坐标及尺寸匹配、声呐图像灰度匹配，；
第2步：高低频声呐图像粗匹配，首先是高低频图像特征点提取，包括高低频图像特征点检测和声呐图像特征点描述，然后是改进FLANN实现特征点匹配；
第3步：高低频声呐图像配准，包括提取精匹配点对、基于仿射变换的声呐图像配准；
第三，提出改良多分辨分析链接稀疏表示的图像融合方法，以多分辨变换为框架，并结合稀疏表示进行改良，低频系数采用稀疏表示链接多分辨变换的图像融合方法进行处理，高频系数则采用系数绝对值取大的策略链接融合，低频系数融合采用的字典是由初始合成孔径声呐图像样本学习得到，采用由初始图像学习的字典来表示低频系数图像，先把初始图像块均值归一化为零，保证得到的字典的每个原子均值也是0，确保字典的结构独立性，采用一个字典来对待融合图像进行处理，具体流程包括：一是多分辨分解变换，二是低频系数多分辨融合，三是高频系数链接融合，四是多分辨变换重构；最后基于融合图像进行分析应用，分辨一幅融合图像上的海底表面地貌信息和浅地层掩埋信息,对掩埋半掩埋物探测及裸露管线和电缆的探测。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，声呐图像坐标及尺寸匹配：生成两张同分辨率的具有实际地理坐标信息的高低频地理编码图后，选取高低频两张图像中地理坐标相同的区域，首先确定两张裁剪图像左上角实际地理坐标，然后按照对应的像素坐标裁剪出固定像素尺寸的图像块，完成基于地理坐标的两张图像的前置匹配。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，步骤一，高低频图像特征点检测：
(a)计算合并分图像
构建得到的合并分图像J∑(x)在点x＝(x，y)T处的值等于在输入图像J内由像素原点O和点x构成的矩形内所有像素值的总和，表达式如式1所示：
Figure BDA0003370883840000041
一旦合并分图像计算完成，计算图像J中任意尺寸大小的矩形区域内的像素总和仅需三次加减运算即可完成，进行一次这种运算所需时间与矩形区域的尺寸大小无关，后续步骤采用大尺寸矩阵滤波器；
(b)黑塞矩阵计算特征点
通过计算图像中每个像素点的黑塞矩阵选取特征点，检测特征点的依据是选取出所有像素点邻域内行列式值中的最大值,构建多分辨图像采用高斯核卷积进行卷积运算，图像J中任意一个点a(x,y)在a处尺度为b的多分辨黑塞矩阵E(a,b)定义为：
Figure BDA0003370883840000042
式中，H(a，b)是高斯二阶微分
Figure BDA0003370883840000043
在点a处与图像J的卷积，其它同理，采用矩阵卷积滤波器与合并分图像进行近似计算，用Axx、Axy和Ayy,近似替代Hxx、Hxy和Hyy表示区分，得到多分辨黑塞矩阵的行列式近似计算：
det(Eapprox)＝AxxAyy-(rAxy)2 式3
参数r是一个调节参数，用于平衡黑塞矩阵行列式，本申请取0.9，尺寸大小为9×9的矩阵滤波器，其近似等同于尺度b取1.2的高斯卷积核，采用这组滤波器作为与初始合并分图像做运算的最小尺度，图中滤波器从左到右分别代表Hyy、Hxy、Ayy、Axy；
(c)构建尺度空间
通过不断扩大矩阵滤波器的尺寸与同一个合并分图像做卷积运算构建图像金字塔，快速构建尺度空间；
(d)搜索确定特征点
为找到特征点在图像中的坐标和图像所对应的尺度，在一个3×3×3的三维空间内采用非极大值抑制算法，把某尺度上在图像对应坐标的位置的黑塞矩阵行列式的值与其上下左右相邻的共26个值进行比较；
另外，还要采用空间插值得到更亚维度的特征点，综合找到的特征点便具有位置、尺度稳定性。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，步骤二，声呐图像特征点描述：
(a)特征点的主方向
首先计算特征点邻域内的哈尔小波特征，即计算在半径为6c，c是特征点所处的尺度，圆心是特征点所在位置，在x和y方向上对图像进行边长为4c的哈尔小波运算所求得的系数矢量，然后按照距离给系数矢量加上一定的权重,主方向的确定根据滑动窗口角度为60度对之内的所有系数做运算,结果选择所有向量中模长最长的那个，得到特征点的主方向；
(b)基于累计小波系数构造特征点的表达算子
在特征点的周围取一个正方形框，框的边长为20c，框的方向就是上一步通过哈尔小波检测出来的主方向，然后把该框分为16个子区域，每个子区域统计出25个像素的水平方向和垂直方向的哈尔小波系数，x和y方向都是相对主方向的，累计小波系数为水平方向值dx之和，水平方向绝对值|dx|之和，垂直方向值dy之和，垂直方向绝对值|dy|之和。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，提取精匹配点对中，剔除特征点匹配提取出来的误配准点对，具体流程包括：
流程一：输入特征点匹配提取的配准点对,从中随机选取两对不同的配准点对，构建基于这两个随机点对的单应性矩阵；
流程二：用流程一的矩阵模型去测试所用的其它点对数据，如果某个点对适应估算的矩阵模型，符合临界值要求，认定它也是局内点对；
流程三：然后再随机选取两个不同的点对，重复流程一和流程二，反复迭代足够多次后，从中选取局内点对最多的估算模型作为最佳模型；
流程四：采用最佳模型再次测试所有配准点对，所有符合临界值要求的点对认定是正确的配准点对，其它不符合要求的就是误配准点对。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，基于仿射变换的声呐图像配准具体步骤如下：
步骤1：由求得的精匹配点对重新估算仿射变换模型，计算得出仿射变换矩阵的6个参数；
步骤2：代入仿射变换方程，将目标图像放入源图像的坐标系内，完成仿射变换；
通过仿射变换将目标图像精确配准到源图像的坐标系内,实现图像的精配准，为后续融合打基础。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，第一步，多分辨分解变换：将两张合成孔径声呐高低频声呐图像JA、JB进行多分辨分解变换，得到各自的低频系数HA、HB和高频系数EA、EB；
基于多分辨分解变换的图像融合流程包括以下步骤：
(1)系数分解：对已经精确配准的两张高低频声呐图像分别进行金字塔变换图像分解与小波多分辨变换分解；
(2)系数链接融合：首先对各层系数归一化处理，然后采用金字塔，顶层图像系数采取取平均的策略，其余各层采取绝对值取大策略进行融合，多分辨变换也采用相同融合策略链接；
(3)高低频系数重构：将经过融合处理的各层系数通过金字塔逆变换或多分辨重构方法进行系数重构，得到最终高低频融合图像。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，第二步，低频系数多分辨融合：采用基于稀疏表示的多分辨图像融合方法对低频系数HA、HB进行融合处理，得到最终低频融合系数HF；
合成孔径声呐图像低频系数多分辨融合的具体流程包括以下步骤：
(1)选取一系列合成孔径声呐图像作为训练图像，采用改进KSVD算法进行字典学习,得到包含合成孔径声呐图像特征的自训练冗余字典A；
(2)对于待融合的合成孔径声呐低频图像{J1,J2,…,JJ}，分别采用滑窗方式从左上到右下以步长为q取出所有尺寸为
Figure BDA0003370883840000071
的声呐图像块，用
Figure BDA0003370883840000072
图像中的位于位置i的一组图像块,M是待融合图像块的个数；
(3)然后把
Figure BDA0003370883840000073
里的所有声呐图像块变换成一系列m维列向量，即
Figure BDA0003370883840000074
然后将他们归一化处理,即
Figure BDA0003370883840000075
如式4：
Figure BDA0003370883840000076
(4)采用字典A计算
Figure BDA0003370883840000077
中每个
Figure BDA0003370883840000078
的稀疏系数
Figure BDA0003370883840000079
Figure BDA00033708838400000710
b为设置的临界值；
(5)然后把稀疏系数的k1范数作为活跃程度测量，采用k1范数取大融合策略对
Figure BDA00033708838400000711
进行融合，得到融合稀疏系数
Figure BDA00033708838400000712
Figure BDA00033708838400000713
之后求得
Figure BDA00033708838400000714
的融合结果为
Figure BDA00033708838400000715
Figure BDA00033708838400000716
式中，
Figure BDA00033708838400000717
为各声呐图像块
Figure BDA00033708838400000718
中k1范数最大的各元素的均值；
(6)对i＝1,2,…M所有声呐图像块重复(2)至(5),得到各自的融合结果
Figure BDA00033708838400000719
把所有
Figure BDA00033708838400000720
恢复回尺寸为m×m的图像块，总体拼接成一张声呐图像，然后将所有重复取样过的像素点做平均处理，得到融合图像JF。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，第三步，高频系数链接融合：采用比较各层高频系数绝对值的方式对高频系数EA、EB进行链接融合处理，得到最终高频融合系数EF。
DF-SAS高低频声呐图像精细配准融合方法，进一步的，第四步：多分辨变换重构：将得到的低频融合系数HF和高频融合系数EF进行多分辨重构，得到最终的高低频声呐图像融合结果JF。
与现有技术相比，本申请的创新点和优势在于：
第一，双频合成孔径声呐(DF-SAS)同时装备了高频和低频两组模块,可同时进行高分辨率的海底地貌成像和浅地层掩埋物勘探任务，本申请提出一种可以同时高效处理DF-SAS高频和低频信息的方法，即通过融合两张图像的信息达到自动分辨目标的目的，基于DF-SAS生成的两张高低频声呐图像，对二者进行融合，融合后的图像既具有原来高频图像海床表面精细的地貌信息，又具有原来低频图像浅地层的掩埋物信息，本申请高低频声呐图像精细配准融合判读方式寻找目标能大幅提高大规模作业效率以及目标判读的正确率，对海床表面的高分辨率成像、海洋矿产资源勘探和海底管线和电缆监测等工作具有较大的实际应用价值；
第二，本申请一是提出一套适合于合成孔径声呐的图像预处理流程，包括合成孔径声呐初始数据处理、瀑布图制作及处理、地理编码图制作及处理的方法，然后基于SAS相干斑噪声成因，提出基于窗口的均值滤波算法，对相干斑噪声实现较大程度的抑制；二是提出DF-SAS高低频声呐图像配准方法，首先基于地理坐标与灰度分布进行图像的前置匹配工作；然后进行高低频声呐图像粗匹配,最后基于仿射变换进行图像配准，最终得到一对经过精确配准的合成孔径声呐高低频声呐图像,为后续图像融合提供较准确的初始图像；三是提出改良多分辨分析链接稀疏表示的图像融合方法，以多分辨变换为框架，并结合稀疏表示进行改良，低频系数采用稀疏表示链接多分辨变换的图像融合方法进行处理，高频系数则采用系数绝对值取大的策略链接融合，低频系数融合采用的字典是由初始合成孔径声呐图像样本学习得到；最后基于融合图像进行分析应用，分辨一幅融合图像上的海底表面地貌信息和浅地层掩埋信息,对掩埋半掩埋物探测以及裸露管线和电缆的探测，成功解决了合成孔径声呐高低频两张图像判读繁琐低效的问题，判读信息直观准确；
第三，本申请通过采用改良多分辨分析链接稀疏表示的图像融合方法在有效克服两种原始方法不足的同时，性能上也有较大改进；一是与基于多分辨分析的图像融合相比,将稀疏表示图像融合作为低频系数融合策略，可以比简单系数取平均的策略得到更好的图像对比度。同时，由于稀疏表示亦可有效提取图像细节信息，多分辨分解的层数不必要设置的太高，较大程度上减轻误配准对图像质量的影响；二是和基于稀疏表示的图像融合算法相比,结合多分辨分析可以把高频成分和低频成分分离开来，把提取图像细节的任务交给高频融合模块去做，较大程度上避免图像融合后模糊情况的出现，另外，保证噪声对低频部分的影响非常微小，基于稀疏表示的图像融合产生的灰度不连续的情况就可以得到有效解决，同时，滑动窗口的步长适当加大，这样都会使待处理的图像块数目大幅降低，有效提高融合算法的计算效率；
第四，本申请首先对原始瀑布图像进行初步处理，使其转变成一幅经过畸变改正且具有精确地理坐标的地理编码图像，然后对两张高频、低频地理编码图像进行匹配、融合处理，融合后的图像既具有原来高频图像的海床表面精细地貌信息，又具有原来低频图像的浅地层掩埋地层信息，最终达到自动提取并识别目标位置和分布的任务，这一套处理流程可以大幅提高大规模精细作业的效率以及目标判别的正确率，同时减轻了工作人员的工作负担，融合图像EN、RCE、FSD、SF等指标都有明显提高，同时解决了多分辨变换和稀疏表示两者的不足，优势相当明显，融合图像既包含了SAS高频图像的海床表面信息，又包含浅地层的地层信息。可以在一幅图上自动识别出哪里是海床，哪里是浅地层，为声呐图像的解译工作提供极大的便利。
附图说明
图1是DF-SAS高低频声呐图像精细配准融合方法的技术路线图。
图2是本申请代表性的两张图像坐标及尺寸匹配示意图。
图3是图像灰度匹配后两张图像灰度匹配示意图。
图4是本申请尺寸大小为9×9的矩阵滤波器示意图。
图5是采用非极大值抑制方法初步确定特征点过程示意图。
图6是经过剔除误匹配点对后的匹配结果示意图。
图7是改良多分辨分析链接稀疏表示的图像融合的流程示意图。
图8是本申请实验初始待融合高低频声呐图像示意图。
图9是各种结合多分辨分析和稀疏表示的图像融合结果及冗余字典示意图。
图10是实验对融合图像进行地貌分类识别结果示意图。
具体实施方法
下面结合附图，对本申请提供的DF-SAS高低频声呐图像精细配准融合方法的技术方案进行驶一步的描述，使本领域的技术人员能够更好的理解本申请并能够予以实施。
合成孔径声呐(SAS)是一种采用合成孔径技术的侧扫主动式成像声呐，与侧扫声呐相比，合成孔径声呐具有较高的方位向分辨率，且其与距离和频率都无关。由于低频信号可探测到海底浅地层的回波信息,所以低频合成孔径声呐可承担起探测海底掩埋和半掩埋物的任务，双频合成孔径声呐(DF-SAS)同时装备了高频和低频两组模块,可同时进行高分辨率的海底地貌成像和浅地层掩埋物勘探任务。但采用人工判读方式寻找目标会大幅降低大规模作业效率以及目标判读的正确率。本申请提出一种可以同时高效处理DF-SAS高频和低频信息的方法，即通过融合两张图像的信息达到自动分辨目标的目的，基于DF-SAS生成的两张高低频声呐图像，对二者进行融合，融合后的图像既具有原来高频图像海床表面精细的地貌信息，又具有原来低频图像浅地层的掩埋物信息，对海床表面的高分辨率成像、海洋矿产资源勘探和海底管线和电缆监测等工作具有较大的实际应用价值。
为解决合成孔径声呐高低频两张图像人工判读繁琐低效，以及判读信息不直观不准确的问题,本申请提出一套适合于双频合成孔径声呐高低频声呐图像的精确配准融合方法，首先提出一套适合于合成孔径声呐的从初始数据到成果图像的高低频图像前置处理方法；然后提出一套适合于合成孔径声呐高低频声呐图像的配准方法；最后提出一套适合于合成孔径声呐高低频声呐图像的融合方法，在一张图像上同时处理海底上下两层信息；DF-SAS高低频声呐图像精细配准融合方法的技术路线如图1所示。
第一，提出一套适合于合成孔径声呐的图像预处理流程，包括合成孔径声呐初始数据处理、瀑布图制作及处理、地理编码图制作及处理的方法，然后基于SAS相干斑噪声成因，提出基于窗口的均值滤波算法，对相干斑噪声实现较大程度的抑制；
第二，提出DF-SAS高低频声呐图像配准方法，首先基于地理坐标与灰度分布进行图像的前置匹配工作；然后进行高低频声呐图像粗匹配,包括一是提取高低频图像特征点，二是改进FLANN实现特征点匹配；最后基于仿射变换进行图像配准，最终得到一对经过精确配准的合成孔径声呐高低频声呐图像,为后续图像融合提供较准确的初始图像；
第三，提出改良多分辨分析链接稀疏表示的图像融合方法，以多分辨变换为框架，并结合稀疏表示进行改良，低频系数采用稀疏表示链接多分辨变换的图像融合方法进行处理，高频系数则采用系数绝对值取大的策略链接融合，低频系数融合采用的字典是由初始合成孔径声呐图像样本学习得到，采用由初始图像学习的字典来表示低频系数图像，先把初始图像块均值归一化为零，保证得到的字典的每个原子均值也是0，确保字典的结构独立性，采用一个字典来对待融合图像进行处理，具体流程包括：一是多分辨分解变换，二是低频系数多分辨融合，三是高频系数链接融合，四是多分辨变换重构；最后基于融合图像进行分析应用，分辨一幅融合图像上的海底表面地貌信息和浅地层掩埋信息,对掩埋半掩埋物探测以及裸露管线和电缆的探测。
一、DF-SAS高低频声呐图像配准
经过对DF-SAS声呐图像的前置处理,得到具有实际地理坐标信息的合成孔径声呐图像,下一步实现合成孔径声呐高低频声呐图像的精确配准。
第1步：高低频声呐图像坐标与灰度匹配，包括声呐图像坐标及尺寸匹配、声呐图像灰度匹配，；
第2步：高低频声呐图像粗匹配，首先是高低频图像特征点提取，包括高低频图像特征点检测和声呐图像特征点描述，然后是改进FLANN实现特征点匹配；
第3步：高低频声呐图像配准，包括提取精匹配点对、基于仿射变换的声呐图像配准；
(一)高低频声呐图像坐标与灰度匹配
DF-SAS高低频声呐图像坐标与灰度匹配包括图像坐标及尺寸匹配和灰度匹配两个步骤，实现两张图像预先匹配。
(1)声呐图像坐标及尺寸匹配
生成两张同分辨率的具有实际地理坐标信息的高低频地理编码图后，选取高低频两张图像中地理坐标相同的区域，首先确定两张裁剪图像左上角实际地理坐标，然后按照对应的像素坐标裁剪出固定像素尺寸的图像块，完成基于地理坐标的两张图像的前置匹配，选取具有代表性的两张图像坐标及尺寸匹配图如图2所示。
(2)声呐图像灰度匹配
由于是由不同的传感器成像产生的结果，两张图像灰度差异明显，不宜于后续融合处理，本申请采用直方图匹配算法对图像灰度进行匹配，具体方法为把高频图像灰度分布匹配到低频灰度分布区间，图像灰度匹配后两张图像如图3所示。
(二)高低频声呐图像粗匹配
合成孔径高低频声呐图像粗匹配包括两个步骤，一是提取高低频图像特征点，二是改进FLANN实现特征点匹配。
1.高低频图像特征点提取
改进图像多分辨空间的构建方法，进行高低频图像特征点的快捷提取，包括以下步骤：
(1)步骤一，高低频图像特征点检测：
(a)计算合并分图像
构建得到的合并分图像J∑(x)在点x＝(x，y)T处的值等于在输入图像J内由像素原点O和点x构成的矩形内所有像素值的总和，表达式如式1所示：
Figure BDA0003370883840000111
一旦合并分图像计算完成，计算图像J中任意尺寸大小的矩形区域内的像素总和仅需三次加减运算即可完成，进行一次这种运算所需时间与矩形区域的尺寸大小无关，后续步骤采用大尺寸矩阵滤波器。
(b)黑塞矩阵计算特征点
通过计算图像中每个像素点的黑塞矩阵选取特征点，检测特征点的依据是选取出所有像素点邻域内行列式值中的最大值,构建多分辨图像采用高斯核卷积进行卷积运算，图像J中任意一个点a(x,y)在a处尺度为b的多分辨黑塞矩阵E(a,b)定义为：
Figure BDA0003370883840000112
式中，H(a，b)是高斯二阶微分
Figure BDA0003370883840000121
在点a处与图像J的卷积，其它同理，采用矩阵卷积滤波器与合并分图像进行近似计算，用Axx、Axy和Ayy,近似替代Hxx、Hxy和Hyy表示区分，得到多分辨黑塞矩阵的行列式近似计算：
det(Eapprox)＝AxxAyy-(rAxy)2 式3
参数r是一个调节参数，用于平衡黑塞矩阵行列式，本申请取0.9，尺寸大小为9×9的矩阵滤波器如图4所示，其近似等同于尺度b取1.2的高斯卷积核，采用这组滤波器作为与初始合并分图像做运算的最小尺度，图中滤波器从左到右分别代表Hyy、Hxy、Ayy、Axy。
(c)构建尺度空间
通过不断扩大矩阵滤波器的尺寸与同一个合并分图像做卷积运算构建图像金字塔，极大的提高运算效率，快速构建尺度空间。
(d)搜索确定特征点
为找到特征点在图像中的坐标和图像所对应的尺度，在一个3×3×3的三维空间内采用非极大值抑制方法，把某尺度上在图像对应坐标的位置的黑塞矩阵行列式的值与其上下左右相邻的共26个值进行比较。如图5所示，如果标记×的位置的黑塞矩阵行列式的值大于其它值，那么该点就作为该区域挑选的特征点。
另外，由于第一图像层内的图像阶之间的尺度差异相对大，还要采用空间插值得到更亚维度的特征点，综合上述方法找到的特征点便具有位置、尺度稳定性。
(2)步骤二，声呐图像特征点描述：
(a)特征点的主方向
首先计算特征点邻域内的哈尔小波特征，即计算在半径为6c，c是特征点所处的尺度，圆心是特征点所在位置，在x和y方向上对图像进行边长为4c的哈尔小波运算所求得的系数矢量，然后按照距离给系数矢量加上一定的权重,主方向的确定根据滑动窗口角度为60度对之内的所有系数做运算,结果选择所有向量中模长最长的那个，得到特征点的主方向。
(b)基于累计小波系数构造特征点的表达算子
在特征点的周围取一个正方形框，框的边长为20c，框的方向就是上一步通过哈尔小波检测出来的主方向，然后把该框分为16个子区域，每个子区域统计出25个像素的水平方向和垂直方向的哈尔小波系数，x和y方向都是相对主方向的，累计小波系数为水平方向值dx之和，水平方向绝对值|dx|之和，垂直方向值dy之和，垂直方向绝对值|dy|之和。把16个子区域中累计的向量放在一起得到一个64维的表达算子,表达算子表现对应特征点的方向性质。
(三)高低频声呐图像配准
1.提取精匹配点对
剔除特征点匹配提取出来的误配准点对，具体流程包括：
流程一：输入特征点匹配提取的配准点对,从中随机选取两对不同的配准点对，构建基于这两个随机点对的单应性矩阵；
流程二：用流程一的矩阵模型去测试所用的其它点对数据，如果某个点对适应估算的矩阵模型，符合临界值要求，认定它也是局内点对；
流程三：然后再随机选取两个不同的点对，重复流程一和流程二，反复迭代足够多次后，从中选取局内点对最多的估算模型作为最佳模型；
流程四：采用最佳模型再次测试所有配准点对，所有符合临界值要求的点对认定是正确的配准点对，其它不符合要求的就是误配准点对。
2.基于仿射变换的声呐图像配准
基于仿射变换的声呐图像配准具体步骤如下：
步骤1：由上一步求得的精匹配点对重新估算仿射变换模型，计算得出仿射变换矩阵的6个参数；
步骤2：代入仿射变换方程，将目标图像放入源图像的坐标系内，完成仿射变换；
通过仿射变换将目标图像精确配准到源图像的坐标系内,实现图像的精配准，为后续融合打下基础。
(四)实验及结果分析
提取精匹配点对，迭代次数设为1800，图6是匹配结果。观察图像，经过剔除误匹配点对后，错误点对基本被剔除干净，同时由于在高低频声呐图像粗匹配放宽了临界值，正确匹配点对的个数也很多，这就可以保证后续图像配准的稳定性。
图像仿射变换，通过一系列配准操作，终于得到两张经过精确配准的图像，为后续融合打下了坚实的基础。
二、改良多分辨分析链接稀疏表示的图像融合
(一)现有技术两种融合方法的不足
1.基于多分辨分析图像融合的不足
多分辨分析中的低频成分表达图像的轮廓信息，现有技术融合方法采用系数求平均的方式处理，最大限度保存初始图像的外部轮廓，相应缺点是对系数求取平均会对数据产生模糊效应,即相邻系数之间的差异度变小，降低融合效果。
另外，多分辨分析中的分解层数也没有标准的定量分析，分解层数过少导致图像细节抽取不足；分解层数过多，低频部分影响逐渐加大，这时低频系数一个微小的变化就会影响融合图像一片区域的变化，同时，高频系数也会随着分解层数加大而对噪声及误配准等情况更加敏感。所以在确定多分辨分解层数时，既要保证提取足够的细节信息，又要尽量减少噪声和误配准对图像质量造成的影响。
2.基于稀疏表示的图像融合的不足
第一，源图像的细节信息如边缘和纹理容易被模糊，主要原因一是字典的表达能力和抗噪能力是一对矛盾关系，即如果源图像被噪声严重污染，字典的冗余度越高，重构结果会越不稳定，另外也会降低计算效率，这都会导致融合图像细节信息不足；二是采用重复度高的滑窗处理会造成相邻区域大范围重叠，造成图像细节模糊。
第二，范数取大值的融合策略会导致融合图像灰度不连续的情况出现，合成孔径声呐图像同一块区域，假如高频图像的灰度较高，低频图像的灰度较低，但两者分布都很均匀,而且两者细节分布也不近相同，采用范数取大值的融合策略会导致结果不稳定的情况出现；
第三，采用重复度较高的滑窗策略处理图像块，一次处理就会耗时数分钟。
(二)图像融合方法流程
采用改良多分辨分析链接稀疏表示的图像融合的主要流程如图7所示，以多分辨变换为框架，并结合稀疏表示进行改良，低频系数采用稀疏表示链接多分辨变换的图像融合方法进行处理，高频系数则采用系数绝对值取大的策略链接融合，低频系数融合采用的字典是由初始合成孔径声呐图像样本学习得到，采用由初始图像学习的字典来表示低频系数图像，先把初始图像块均值归一化为零，保证得到的字典的每个原子均值也是0，确保字典的结构独立性，采用一个字典来对待融合图像进行处理，具体流程包括：
1.第一步，多分辨分解变换
将两张合成孔径声呐高低频声呐图像JA、JB进行多分辨分解变换，得到各自的低频系数HA、HB和高频系数EA、EB；
基于多分辨分解变换的图像融合流程包括以下步骤：
(1)系数分解：对已经精确配准的两张高低频声呐图像分别进行金字塔变换图像分解与小波多分辨变换分解；
(2)系数链接融合：首先对各层系数归一化处理，然后采用金字塔，顶层图像系数采取取平均的策略，其余各层采取绝对值取大策略进行融合，多分辨变换也采用相同融合策略链接；
(3)高低频系数重构：将经过融合处理的各层系数通过金字塔逆变换或多分辨重构方法进行系数重构，得到最终高低频融合图像。
2.第二步，低频系数多分辨融合
采用基于稀疏表示的多分辨图像融合方法对低频系数HA、HB进行融合处理，得到最终低频融合系数HF；
合成孔径声呐图像低频系数多分辨融合的具体流程包括以下步骤：
(1)选取一系列合成孔径声呐图像作为训练图像，采用改进KSVD算法进行字典学习,得到包含合成孔径声呐图像特征的自训练冗余字典A；
(2)对于待融合的合成孔径声呐低频图像{J1,J2,…,JJ}，分别采用滑窗方式从左上到右下以步长为q取出所有尺寸为
Figure BDA0003370883840000151
的声呐图像块，用
Figure BDA0003370883840000152
图像中的位于位置i的一组图像块,M是待融合图像块的个数；
(3)然后把
Figure BDA0003370883840000153
里的所有声呐图像块变换成一系列m维列向量，即
Figure BDA0003370883840000154
然后将他们归一化处理,即
Figure BDA0003370883840000155
如式4：
Figure BDA0003370883840000156
(4)采用字典A计算
Figure BDA0003370883840000157
中每个
Figure BDA0003370883840000158
的稀疏系数
Figure BDA0003370883840000159
Figure BDA00033708838400001510
b为设置的临界值；
(5)然后把稀疏系数的k1范数作为活跃程度测量，采用k1范数取大融合策略对
Figure BDA00033708838400001511
进行融合，得到融合稀疏系数
Figure BDA00033708838400001512
Figure BDA00033708838400001513
之后求得
Figure BDA00033708838400001514
的融合结果为
Figure BDA00033708838400001515
Figure BDA00033708838400001516
式中，
Figure BDA00033708838400001517
为各声呐图像块
Figure BDA00033708838400001518
中k1范数最大的各元素的均值；
(6)对i＝1,2,…M所有声呐图像块重复(2)至(5),得到各自的融合结果
Figure BDA00033708838400001519
把所有
Figure BDA00033708838400001520
恢复回尺寸为m×m的图像块，总体拼接成一张声呐图像，然后将所有重复取样过的像素点做平均处理，得到融合图像JF。
3.第三步，高频系数链接融合
采用比较各层高频系数绝对值的方式对高频系数EA、EB进行链接融合处理，得到最终高频融合系数EF；
4.第四步：多分辨变换重构
将得到的低频融合系数HF和高频融合系数EF进行多分辨重构，得到最终的高低频声呐图像融合结果JF；
(三)相比现有技术方法的优势
通过采用改良多分辨分析链接稀疏表示的图像融合方法在有效克服两种原始方法不足的同时，性能上也有较大改进。
第一，与基于多分辨分析的图像融合相比,将稀疏表示图像融合作为低频系数融合策略，可以比简单系数取平均的策略得到更好的图像对比度。同时，由于稀疏表示亦可有效提取图像细节信息，多分辨分解的层数不必要设置的太高，较大程度上减轻误配准对图像质量的影响。
第二，和基于稀疏表示的图像融合算法相比,结合多分辨分析可以把高频成分和低频成分分离开来，把提取图像细节的任务交给高频融合模块去做，较大程度上避免图像融合后模糊情况的出现。另外，噪声信息通常表现在图像的高频成分中，这样就会保证噪声对低频部分的影响非常微小，基于稀疏表示的图像融合产生的灰度不连续的情况就可以得到有效解决。同时，在大多数多分辨分析方法中，多分辨分解带来的是分解图像的尺寸会大幅降低，滑动窗口的步长可以适当加大，这样都会使待处理的图像块数目大幅降低，有效提高融合算法的计算效率。
(四)融合实验及结果分析
(1)实验设置
本申请采用多种多分辨分析工具以及稀疏表示算法对合成孔径声呐高低频声呐图像进行融合实验,具体采用一对图像,尺寸为512×512作为示例,采用LP、RP、DWT、DTCWT、CVT、NSCT、NSST共7种多分辨分析工具,低频系数采用稀疏表示图像融合算法，字典学习的样本尺寸均设为512×512，滑动窗口大小设置为8，字典大小设置为1024，字典迭代次数设置为40，生成包含合成孔径声呐图像特征的一个大小为64×1024的冗余字典A，之后设置融合图像块之间的重复采样值为6，允许误差设为0.1，高频系数采用绝对值取大的策略进行融合，金字塔层数、小波变换和双树复小波变换层数统一设为6层，CVT层数设为7层，AWT的小波基采用db4函数，DTCWT滤波器设置分别为legall和qshift_06,NSCT采用pyrexc滤波器作为塔型分解滤波器，采用vk滤波器作为方向滤波器，各层的方向数目定为4，8，8，16，16，NSST采用maxflat滤波器作为塔型分解器，各层的方向数目定为8，8，16，16。
选用信息嫡(EN)、均方交叉嫡(RCE)、规范化互信息(QMI)、相对标准差(FSD)、空间频率(SF)、平均结构相似性(MSSIM)来对融合图像进行客观质量评价。
(2)实验结果
初始待融合高低频声呐图像如图8，各种结合多分辨分析和稀疏表示的图像融合结果及冗余字典如图9，把所有实验结果的各项融合质量评价指标结果综合对比可知，基于多分辨分析的图像融合方法在EN、RCE、FSD、SF等方面表现尚可，而在QMI上表现不佳，原因在于基于多分辨分析的图像融合方法在图像信息丰富度方面表现较好而在图像误配准的影响下导致图像相似度较低；而基于稀疏表示的图像融合方法在QMI表现尚可，却在EN、RCE、FSD、SF等方面表现逊色,原因在于基于稀疏表示的图像融合方法在图像误配准上处理较好，但在保持图像信息细节等方面不太擅长。采用本申请改良多分辨分析链接稀疏表示的融合图像各项指标都有明显提高，同时解决了多分辨变换和稀疏表示两者的不足，优势相当明显。
(五)具体应用
通过采用改良多分辨分析链接稀疏表示的图像融合方法得到的融合图像既包含了SAS高频图像的海床表面信息，又包含浅地层的地层信息。如果可以在一幅图上自动识别出哪里是海床，哪里是浅地层，就可以为声呐图像的解译工作提供极大的便利。以下基于融合后的图像对图像中的可能地貌进行识别。
(1)初始两张SAS图像为JA、JB，选取SUR-CT的融合图像为JF，将初始图像分别减去融合图像，得到差值图像，即AA、AB：
AA＝JA-JF 式8
AB＝JA-JF 式9
(2)在融合图像JF中，判断差值图像AA中灰度值大于f的位置，看作是低频部分，标记为虚点，差值图像A，中灰度值大于f的位置，看作是高频部分，标记为实点，结果如图10所示，最右侧是对融合图像进行的地貌分类识别结果，实点区域表示检测到的海床表面信息，虚点区域表示检测到的海床表面下的浅地层信息,可以明显分辨出图像各块特征地貌信息是来自海床表面还是来自浅地层。

Claims (10)

1.DF-SAS高低频声呐图像精细配准融合方法，其特征在于，首先设计一套适合于合成孔径声呐的从初始数据到成果图像的高低频图像前置处理方法；然后设计一套适合于合成孔径声呐高低频声呐图像的配准方法；最后设计一套适合于DF-SAS高低频声呐图像的融合方法，在一张图像上同时处理海底上下两层信息；
第一，提出一套适合于合成孔径声呐的图像预处理流程，包括合成孔径声呐初始数据处理、瀑布图制作及处理、地理编码图制作及处理的方法，然后基于SAS相干斑噪声成因，提出基于窗口的均值滤波算法，对相干斑噪声实现较大程度的抑制；
第二，提出DF-SAS高低频声呐图像配准方法，首先基于地理坐标与灰度分布进行图像的前置匹配工作；然后进行高低频声呐图像粗匹配；最后进行图像的配准，最终得到一对经过精确配准的高低频声呐图像,为后续图像融合提供较准确的初始图像；具体步骤为：
第1步：高低频声呐图像坐标与灰度匹配，包括声呐图像坐标及尺寸匹配、声呐图像灰度匹配，；
第2步：高低频声呐图像粗匹配，首先是高低频图像特征点提取，包括高低频图像特征点检测和声呐图像特征点描述，然后是改进FLANN实现特征点匹配；
第3步：高低频声呐图像配准，包括提取精匹配点对、基于仿射变换的声呐图像配准；
第三，提出改良多分辨分析链接稀疏表示的图像融合方法，以多分辨变换为框架，并结合稀疏表示进行改良，低频系数采用稀疏表示链接多分辨变换的图像融合方法进行处理，高频系数则采用系数绝对值取大的策略链接融合，低频系数融合采用的字典是由初始合成孔径声呐图像样本学习得到，采用由初始图像学习的字典来表示低频系数图像，先把初始图像块均值归一化为零，保证得到的字典的每个原子均值也是0，确保字典的结构独立性，采用一个字典来对待融合图像进行处理，具体流程包括：一是多分辨分解变换，二是低频系数多分辨融合，三是高频系数链接融合，四是多分辨变换重构；最后基于融合图像进行分析应用，分辨一幅融合图像上的海底表面地貌信息和浅地层掩埋信息,对掩埋半掩埋物探测及裸露管线和电缆的探测。
2.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，声呐图像坐标及尺寸匹配：生成两张同分辨率的具有实际地理坐标信息的高低频地理编码图后，选取高低频两张图像中地理坐标相同的区域，首先确定两张裁剪图像左上角实际地理坐标，然后按照对应的像素坐标裁剪出固定像素尺寸的图像块，完成基于地理坐标的两张图像的前置匹配。
3.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，步骤一，高低频图像特征点检测：
(a)计算合并分图像
构建得到的合并分图像J∑(x)在点x＝(x，y)T处的值等于在输入图像J内由像素原点O和点x构成的矩形内所有像素值的总和，表达式如式1所示：
Figure FDA0003370883830000021
一旦合并分图像计算完成，计算图像J中任意尺寸大小的矩形区域内的像素总和仅需三次加减运算即可完成，进行一次这种运算所需时间与矩形区域的尺寸大小无关，后续步骤采用大尺寸矩阵滤波器；
(b)黑塞矩阵计算特征点
通过计算图像中每个像素点的黑塞矩阵选取特征点，检测特征点的依据是选取出所有像素点邻域内行列式值中的最大值,构建多分辨图像采用高斯核卷积进行卷积运算，图像J中任意一个点a(x,y)在a处尺度为b的多分辨黑塞矩阵E(a,b)定义为：
Figure FDA0003370883830000022
式中，H(a，b)是高斯二阶微分
Figure FDA0003370883830000023
在点a处与图像J的卷积，其它同理，采用矩阵卷积滤波器与合并分图像进行近似计算，用Axx、Axy和Ayy,近似替代Hxx、Hxy和Hyy表示区分，得到多分辨黑塞矩阵的行列式近似计算：
det(Eapprox)＝AxxAyy-(rAxy)2 式3
参数r是一个调节参数，用于平衡黑塞矩阵行列式，本申请取0.9，尺寸大小为9×9的矩阵滤波器，其近似等同于尺度b取1.2的高斯卷积核，采用这组滤波器作为与初始合并分图像做运算的最小尺度，图中滤波器从左到右分别代表Hyy、Hxy、Ayy、Axy；
(c)构建尺度空间
通过不断扩大矩阵滤波器的尺寸与同一个合并分图像做卷积运算构建图像金字塔，快速构建尺度空间；
(d)搜索确定特征点
为找到特征点在图像中的坐标和图像所对应的尺度，在一个3×3×3的三维空间内采用非极大值抑制算法，把某尺度上在图像对应坐标的位置的黑塞矩阵行列式的值与其上下左右相邻的共26个值进行比较；
另外，还要采用空间插值得到更亚维度的特征点，综合找到的特征点便具有位置、尺度稳定性。
4.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，步骤二，声呐图像特征点描述：
(a)特征点的主方向
首先计算特征点邻域内的哈尔小波特征，即计算在半径为6c，c是特征点所处的尺度，圆心是特征点所在位置，在x和y方向上对图像进行边长为4c的哈尔小波运算所求得的系数矢量，然后按照距离给系数矢量加上一定的权重,主方向的确定根据滑动窗口角度为60度对之内的所有系数做运算,结果选择所有向量中模长最长的那个，得到特征点的主方向；
(b)基于累计小波系数构造特征点的表达算子
在特征点的周围取一个正方形框，框的边长为20c，框的方向就是上一步通过哈尔小波检测出来的主方向，然后把该框分为16个子区域，每个子区域统计出25个像素的水平方向和垂直方向的哈尔小波系数，x和y方向都是相对主方向的，累计小波系数为水平方向值dx之和，水平方向绝对值|dx|之和，垂直方向值dy之和，垂直方向绝对值|dy|之和。
5.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，提取精匹配点对中，剔除特征点匹配提取出来的误配准点对，具体流程包括：
流程一：输入特征点匹配提取的配准点对,从中随机选取两对不同的配准点对，构建基于这两个随机点对的单应性矩阵；
流程二：用流程一的矩阵模型去测试所用的其它点对数据，如果某个点对适应估算的矩阵模型，符合临界值要求，认定它也是局内点对；
流程三：然后再随机选取两个不同的点对，重复流程一和流程二，反复迭代足够多次后，从中选取局内点对最多的估算模型作为最佳模型；
流程四：采用最佳模型再次测试所有配准点对，所有符合临界值要求的点对认定是正确的配准点对，其它不符合要求的就是误配准点对。
6.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，基于仿射变换的声呐图像配准具体步骤如下：
步骤1：由求得的精匹配点对重新估算仿射变换模型，计算得出仿射变换矩阵的6个参数；
步骤2：代入仿射变换方程，将目标图像放入源图像的坐标系内，完成仿射变换；
通过仿射变换将目标图像精确配准到源图像的坐标系内,实现图像的精配准，为后续融合打基础。
7.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，第一步，多分辨分解变换：将两张合成孔径声呐高低频声呐图像JA、JB进行多分辨分解变换，得到各自的低频系数HA、HB和高频系数EA、EB；
基于多分辨分解变换的图像融合流程包括以下步骤：
(1)系数分解：对已经精确配准的两张高低频声呐图像分别进行金字塔变换图像分解与小波多分辨变换分解；
(2)系数链接融合：首先对各层系数归一化处理，然后采用金字塔，顶层图像系数采取取平均的策略，其余各层采取绝对值取大策略进行融合，多分辨变换也采用相同融合策略链接；
(3)高低频系数重构：将经过融合处理的各层系数通过金字塔逆变换或多分辨重构方法进行系数重构，得到最终高低频融合图像。
8.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，第二步，低频系数多分辨融合：采用基于稀疏表示的多分辨图像融合方法对低频系数HA、HB进行融合处理，得到最终低频融合系数HF；
合成孔径声呐图像低频系数多分辨融合的具体流程包括以下步骤：
(1)选取一系列合成孔径声呐图像作为训练图像，采用改进KSVD算法进行字典学习,得到包含合成孔径声呐图像特征的自训练冗余字典A；
(2)对于待融合的合成孔径声呐低频图像{J1,J2,…,JJ}，分别采用滑窗方式从左上到右下以步长为q取出所有尺寸为
Figure FDA0003370883830000041
的声呐图像块，用
Figure FDA0003370883830000042
图像中的位于位置i的一组图像块,M是待融合图像块的个数；
(3)然后把
Figure FDA0003370883830000043
里的所有声呐图像块变换成一系列m维列向量，即
Figure FDA0003370883830000044
然后将他们归一化处理,即
Figure FDA0003370883830000045
如式4：
Figure FDA0003370883830000046
(4)采用字典A计算
Figure FDA0003370883830000047
中每个
Figure FDA0003370883830000048
的稀疏系数
Figure FDA0003370883830000049
Figure FDA00033708838300000410
b为设置的临界值；
(5)然后把稀疏系数的k1范数作为活跃程度测量，采用k1范数取大融合策略对
Figure FDA00033708838300000411
进行融合，得到融合稀疏系数
Figure FDA00033708838300000412
Figure FDA0003370883830000051
之后求得
Figure FDA0003370883830000052
的融合结果为
Figure FDA0003370883830000053
Figure FDA0003370883830000054
式中，
Figure FDA0003370883830000055
为各声呐图像块
Figure FDA0003370883830000056
中k1范数最大的各元素的均值；
(6)对i＝1,2,…M所有声呐图像块重复(2)至(5),得到各自的融合结果
Figure FDA0003370883830000057
把所有
Figure FDA0003370883830000058
恢复回尺寸为m×m的图像块，总体拼接成一张声呐图像，然后将所有重复取样过的像素点做平均处理，得到融合图像JF。
9.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，第三步，高频系数链接融合：采用比较各层高频系数绝对值的方式对高频系数EA、EB进行链接融合处理，得到最终高频融合系数EF。
10.根据权利要求1所述的DF-SAS高低频声呐图像精细配准融合方法，其特征在于，第四步：多分辨变换重构：将得到的低频融合系数HF和高频融合系数EF进行多分辨重构，得到最终的高低频声呐图像融合结果JF。
CN202111400163.5A 2021-11-24 2021-11-24 Df-sas高低频声呐图像精细配准融合方法 Pending CN114066795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111400163.5A CN114066795A (zh) 2021-11-24 2021-11-24 Df-sas高低频声呐图像精细配准融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111400163.5A CN114066795A (zh) 2021-11-24 2021-11-24 Df-sas高低频声呐图像精细配准融合方法

Publications (1)

Publication Number Publication Date
CN114066795A true CN114066795A (zh) 2022-02-18

Family

ID=80276778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111400163.5A Pending CN114066795A (zh) 2021-11-24 2021-11-24 Df-sas高低频声呐图像精细配准融合方法

Country Status (1)

Country Link
CN (1) CN114066795A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100298A (zh) * 2022-08-25 2022-09-23 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法
CN116363038A (zh) * 2023-06-02 2023-06-30 深圳英美达医疗技术有限公司 超声图像融合方法、装置、计算机设备及存储介质
CN116363038B (zh) * 2023-06-02 2024-06-07 深圳英美达医疗技术有限公司 超声图像融合方法、装置、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100298A (zh) * 2022-08-25 2022-09-23 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法
CN115100298B (zh) * 2022-08-25 2022-11-29 青岛杰瑞工控技术有限公司 一种用于深远海视觉养殖的光-声图像融合方法
CN116363038A (zh) * 2023-06-02 2023-06-30 深圳英美达医疗技术有限公司 超声图像融合方法、装置、计算机设备及存储介质
CN116363038B (zh) * 2023-06-02 2024-06-07 深圳英美达医疗技术有限公司 超声图像融合方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109740665B (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN111563878B (zh) 一种空间目标定位方法
CN111476159B (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN113469177A (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN110135438B (zh) 一种基于梯度幅值预运算的改进surf算法
CN112102197A (zh) 一种辅助潜水员的水下目标检测系统及方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN110298271A (zh) 基于关键点检测网络和空间约束混合模型的海水区域检测方法
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
Reggiannini et al. Seafloor analysis and understanding for underwater archeology
CN114418953A (zh) 一种基于时间历程累计图像的声呐目标检测方法和系统
CN115471749A (zh) 地外探测无监督学习的多视角多尺度目标识别方法及系统
Li et al. Automatic detection of pipelines from sub-bottom profiler sonar images
CN114066795A (zh) Df-sas高低频声呐图像精细配准融合方法
Foresti et al. A voting-based approach for fast object recognition in underwater acoustic images
CN114494371A (zh) 基于多尺度相位一致性的光学图像和sar图像配准方法
Olson Adaptive-scale filtering and feature detection using range data
CN111275680B (zh) 基于Gabor卷积网络的SAR图像变化检测方法
CN113239828A (zh) 一种基于tof摄像模组的人脸识别方法及装置
CN111948658A (zh) 水底地貌影像识别匹配的深水区定位方法
CN116310837A (zh) 一种sar舰船目标旋转检测方法及系统
CN114120129B (zh) 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN113674407B (zh) 基于双目视觉图像的三维地形重建方法、装置及存储介质
Wang et al. Underwater Terrain Image Stitching Based on Spatial Gradient Feature Block.
CN112529072A (zh) 一种基于声呐图像处理的水下沉埋物识别与定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication