CN108399602A - 一种大区域多条带侧扫声呐图像的联合拼接方法 - Google Patents

一种大区域多条带侧扫声呐图像的联合拼接方法 Download PDF

Info

Publication number
CN108399602A
CN108399602A CN201810226648.9A CN201810226648A CN108399602A CN 108399602 A CN108399602 A CN 108399602A CN 201810226648 A CN201810226648 A CN 201810226648A CN 108399602 A CN108399602 A CN 108399602A
Authority
CN
China
Prior art keywords
image
ribbon
sidescan
band
joining method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810226648.9A
Other languages
English (en)
Other versions
CN108399602B (zh
Inventor
朱邦彦
王晓
储征伟
刘文伍
孙静雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Surveying And Mapping Investigation And Research Institute Ltd By Share Ltd
Original Assignee
Nanjing Surveying And Mapping Investigation And Research Institute Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Surveying And Mapping Investigation And Research Institute Ltd By Share Ltd filed Critical Nanjing Surveying And Mapping Investigation And Research Institute Ltd By Share Ltd
Priority to CN201810226648.9A priority Critical patent/CN108399602B/zh
Publication of CN108399602A publication Critical patent/CN108399602A/zh
Application granted granted Critical
Publication of CN108399602B publication Critical patent/CN108399602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8902—Side-looking sonar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种大区域多条带侧扫声呐图像的联合拼接方法，包括如下步骤：图像几何变换：旋转和裁剪；SURF(Speeded Up Robust Features)特征分块匹配；特征拼接的地理位置误差诱因及解决策略；多条带图像特征拼接后的地理基准重确定；图像间的联合地理编码和特征拼接。与现有技术相比，本发明提高了多条带侧扫声呐图像特征拼接效率，实现了特征拼接后图像位置统一，实现了大区域海底地貌“一张图”的精细获取。

Description

一种大区域多条带侧扫声呐图像的联合拼接方法
技术领域
本发明涉及一种大区域多条带侧扫声呐图像的联合拼接方法，本发明所属技术领域为测绘科学或测量数据处理技术领域，尤其适应于大区域海底地貌“一张图”的精细获取。
背景技术
侧扫声呐(Side Scan Sonar，SSS)作为高分辨率海底地貌图像的获取设备，目前应用日益广泛。大区域海底地貌“一张图”的精细获取，是开展海洋工程建设和海洋开发论证的基础地理信息数据之一。受限于SSS拖曳作业模式及船姿等因素影响，地理编码图像往往位置不准，导致地理拼接图像存在相邻条带共视目标错位的问题；而目前广泛使用的国外数据处理软件如SonarWeb(Chesaspeake)、Isis(Triton)、Sips(Caris)等，均基于地理编码完成图像拼接，难以满足图像后续深层次应用。因此，基于特征的SSS图像拼接，成为研究的重点，赵建虎等最早提出了基于共视海床目标的侧扫声呐条带图像分段拼接方法，该方法保证了相邻条带图像中共视目标特征保形，基于航迹分段匹配有效缩短了SURF配准的时间，提高了运算效率，但耗时仍较大，还不能满足程序实时处理的要求。王爱学等顾及局部畸变，又深入研究给出了弹性畸变配准方法，可保证共视目标的绝对保形；郭军，倪先锋后续也研究了基于SURF特征的SSS图像拼接；但均未解决效率不高的缺陷。同时，基于特征进行图像匹配，受限于海洋中无海底靶标，无法对图像进行整体位置纠正，条带数增加后，导致拼接后图像存在位置“漂移”，当测区内全部测线无法基于特征完成拼接时，也无法联合特征和地理编码实现测区所有条带的拼接，也即无法精细获取海底地貌“一张图”。
发明内容
为提高大区域多条带侧扫声呐图像特征拼接效率，同时解决特征拼接位置漂移的问题，本发明提供了一种基于几何变换的分段Speed-up Robust Features(SURF)特征提取和配准方法；给出一种多条带图像分组拼接方法，实现联合特征和地理编码的大区域多条带侧扫声呐图像拼接。
本发明的目的是这样实现的：
一种大区域多条带侧扫声呐图像的联合拼接方法，包括如下步骤：
第一步，图像几何变换：旋转和裁剪；
第二步，SURF特征分块匹配；
第三步，特征拼接的地理位置误差纠正；
第四步，多条带图像特征拼接后的地理基准重新确定；
第五步，联合特征和地理编码的图像拼接。
第一步中所述旋转角θ计算公式为：
式中Hi是第iPing的航向角，N为条带图像的总Ping数。
第一步中所述旋转后的新图尺寸计算公式为：
widthnew＝Height×|sin(θ)|+Width×|cos(θ)|
heightnew＝Width×|sin(θ)|+Height×|cos(θ)|
式中Width和Height分别为瀑布图像的宽度和高度。
第一步中所述变换矩阵参数计算公式为：
式中x,y分别代表像素点在图像宽度和高度上的位置。
第一步中所述旋转变换计算公式为：
式中srcx、srcy表示像素点在原图的横坐标和纵坐标，dstx、dsty表示像素点在旋转后新图的位置。
第一步中所述裁剪后图像左上角的坐标(x,y)及图像大小要根据地理编码图像四个端点坐标进行重新确定，计算公式为：
x＝min(LB,LT,RB,RT)x
y＝min(LB,LT,RB,RT)y
width＝max(LB,LT,RB,RT)x-x
height＝max(LB,LT,RB,RT)y-y
式中，LB，LT，RB，RT为原始地理编码图像四个端点的坐标。
第二步中所述SURF特征分块匹配，将左、右条带特征点检测范围分别设定为(变换后)图像宽度的50％-100％，0％-50％(即公共覆盖率)。
第三步中所述特征拼接的地理位置误差纠正。将待拼接图像平均分组，底层组图像仅为2或3幅图像。对3幅图像进行基准变换完成图像拼接，避免目标失真。三幅图像的旋转、缩放参数计算如下：将旋转角度均分到两幅图像中，同时旋转一半角度，旋转角度大小相同，方向相反。拼接后图像的像素尺寸rnew近似表示为：
式中左、右条带图像的像素尺寸为r，配准得到的缩放参数为s。
第四步中所述多条带图像特征拼接后的地理基准确定，在所有匹配点对中计算坐标差异最小的点，取其坐标均值作为全图的位置基准，经推算得到图像左上角的地理坐标。当多条带图像进行特征拼接时，根据匹配结果不断调整基准坐标。根据多条带图像连续拼接时存在的几种匹配情况，针对性给出位置基准确定方法：(a)所有条带都能正确匹配，可直接按照上述步骤确定拼接图像的左上角地理坐标和分辨率；(b)拼接末端存在无法匹配的条带，将最后一个可特征拼接条带的位置基准赋予拼接后图像，保证可联合最后一个条带进行地理编码拼接；(c)两端均存在无法匹配的条带，此时特征拼接后联合第一个条带地理拼接时采用第二个条带的地理基准，联合最后一个条带拼接时再以其前一个条带的位置基准，以此尽可能保证相邻条带位置关系的一致性。
第五步中所述联合特征和地理编码进行图像拼接。
积极有益效果：本发明所提供的大区域多条带侧扫声呐图像拼接方法具有两方面的优点：一方面提高了大区域多条带侧扫声呐图像特征拼接效率、解决了位置漂移的问题；另一方面本方法实现了联合特征和地理编码的大区域多条带侧扫声呐图像拼接，实现了大区域海底地貌“一张图”的精细获取。
附图说明
图1为本发明实施例的流程图；
图2为大区域多条带联合特征和地理编码的图像拼接结果实例。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
根据图1所示的方法流程，以“深圳某水域侧扫声呐测量”为应用实例，对本发明进一步阐明：
应用实例测区水深在12米左右，采用双频Edgetech-4200系统的120kHZ低频数据，为保证数据质量，测量时船速较慢，保持在4-5节。设计条带数目为13，扫幅为200米，采用往返测量模式，条带间重叠度约为50％，因部分测量条带重复，仅选取10个条带进行后续拼接实验。
(1)选取实验区两条测线，将匹配点坐标经过旋转逆变换后计算变换模型参数与基于航迹分块计算的参数进行比较，如下：
h0 h1 h2 h3 h4 h5
基于航迹分块 0.9936 -0.00187 182.799 0.00187 0.9936 -315.5
基于几何变换后分块 0.9899 -0.00370 190.906 0.0037 0.9899 -308.868
(2)分别对这两个条带基于全图SURF特征提取、航迹分块和几何变换的分块SURF特征提取，全部SURF特征点对参与匹配计算，耗时分别为120s、30s和7s，表明基于几何变换的分块SURF特征提取、匹配效率最高。
(3)对实验区10个条带图像依次进行基于几何变换的分块SURF特征提取、分块匹配，计算匹配点对数目及变换模型参数(刚性变换)，如下：
匹配条带 匹配点对数目 S×cosθ -S×sinθ h2 h5
1-2 15 1.00325 -0.0059 297.7 -68.8
2-3 26 0.99941 -0.0034 322.3 -157.6
3-4 45 0.99802 -0.0001 160.3 -298.9
4-5 91 0.99704 -0.0009 -71.6 -747.7
5-6 4 0.86459 -0.7162 927.1 -956.4
6-7 7 1.08771 -0.3428 -108.5 -822.4
7-8/8-9/9-10 0
条带1-5两两匹配得到的缩放和旋转参数较为接近；条带5和6，6和7的匹配点对数目较少，计算得到的缩放参数和旋转参数与前面4对参数差别较大，计算结果不可信；后面四个条带因缺少特征无法正确匹配。因此测区条带只能联合特征与地理编码完成图像拼接。
(4)根据上述计算结果，对条带1-5分别进行基于几何变换的SURF分组特征拼接(改进特征拼接方法)、传统固定条带1旋转变换其余4个条带SURF特征拼接和地理拼接，如下：
多条带图像拼接后共视特征点对平均坐标偏差从地理编码的8.91m降低到1.17m，实现了特征拼接后图像位置统一；
(5)对测区10个条带进行联合特征和地理编码拼接，结果如下图2。条带1-5特征拼接后地理坐标经过了一系列的基准调整后与剩余条带进行地理编码拼接，在拼接处有一些偏差，但幅度不大，而且图像整体的旋转和缩放基本一致，验证了联合特征与地理编码的大区域多条带侧扫声呐图像拼接方法的可行性，实现了大区域海底地貌“一张图”的精细获取。
本发明所提供的大区域多条带侧扫声呐图像拼接方法具有两方面的优点：一方面提高了大区域多条带侧扫声呐图像特征拼接效率、解决了位置漂移的问题；另一方面本方法实现了联合特征和地理编码的大区域多条带侧扫声呐图像拼接，实现了大区域海底地貌“一张图”的精细获取。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，本发明要求保护范围由所附的权利要求书、说明书及其等效物界定。

Claims (10)

1.一种大区域多条带侧扫声呐图像的联合拼接方法，其特征在于，包括如下步骤：
第一步，图像几何变换：旋转和裁剪；
第二步，SURF特征分块匹配；
第三步，特征拼接的地理位置误差纠正；
第四步，多条带图像特征拼接后的地理基准重新确定；
第五步，联合特征和地理编码的多条带图像拼接。
2.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第一步中所述旋转角θ计算公式为：
式中Hi是第iPing的航向角，N为条带图像的总Ping数。
3.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第一步中所述旋转后的新图尺寸计算公式为：
widthnew＝Height×|sin(θ)|+Width×|cos(θ)|
heightnew＝Width×|sin(θ)|+Height×|cos(θ)|
式中Width和Height分别为瀑布图像的宽度和高度。
4.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第一步中所述变换矩阵参数计算公式为：
式中x,y分别代表像素点在图像宽度和高度上的位置。
5.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第一步中所述旋转变换计算公式为：
式中srcx、srcy表示像素点在原图的横坐标和纵坐标，dstx、dsty表示像素点在旋转后新图的位置。
6.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第一步中所述裁剪后图像左上角的坐标(x,y)及图像大小要根据地理编码图像四个端点坐标进行重新确定，计算公式为：
x＝min(LB,LT,RB,RT)x
y＝min(LB,LT,RB,RT)y
width＝max(LB,LT,RB,RT)x-x
height＝max(LB,LT,RB,RT)y-y
式中，LB，LT，RB，RT为原始地理编码图像四个端点的坐标。
7.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第二步中所述SURF特征分块匹配，分块策略为：将左、右条带特征点检测范围分别设定为(变换后)图像宽度的50％-100％，0％-50％(即公共覆盖率)。
8.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第三步中所述特征拼接的地理位置误差纠正；将待拼接图像平均分组，底层组图像仅为2或3幅图像；对3幅图像进行基准变换完成图像拼接，避免目标失真；三幅图像的旋转、缩放参数计算如下：将旋转角度均分到两幅图像中，同时旋转一半角度，旋转角度大小相同，方向相反；拼接后图像的像素尺寸rnew近似表示为：
式中左、右条带图像的像素尺寸为r，配准得到的缩放参数为s。
9.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第四步中所述多条带图像特征拼接后的地理基准重新确定，在所有匹配点对中计算坐标差异最小的点，取其坐标均值作为全图的位置基准，经推算得到拼接后图像左上角的地理坐标；当多条带图像进行特征拼接时，根据匹配结果不断调整基准坐标；根据多条带图像连续拼接时存在的几种匹配情况，针对性给出位置基准确定方法：(a)所有条带都能正确匹配，可直接按照上述步骤确定拼接图像的左上角地理坐标和分辨率；(b)拼接末端存在无法匹配的条带，将最后一个可特征拼接条带的位置基准赋予拼接后图像，保证可联合最后一个条带进行地理编码拼接；(c)两端均存在无法匹配的条带，此时特征拼接后联合第一个条带地理拼接时采用第二个条带的地理基准，联合最后一个条带拼接时再以其前一个条带的位置基准，以此尽可能保证相邻条带位置关系的一致性。
10.根据权利要求1所述的大区域多条带侧扫声呐图像的联合拼接方法，其特征在于：第五步中所述联合特征和地理编码进行图像拼接。
CN201810226648.9A 2018-03-19 2018-03-19 一种大区域多条带侧扫声呐图像的联合拼接方法 Active CN108399602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810226648.9A CN108399602B (zh) 2018-03-19 2018-03-19 一种大区域多条带侧扫声呐图像的联合拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810226648.9A CN108399602B (zh) 2018-03-19 2018-03-19 一种大区域多条带侧扫声呐图像的联合拼接方法

Publications (2)

Publication Number Publication Date
CN108399602A true CN108399602A (zh) 2018-08-14
CN108399602B CN108399602B (zh) 2022-03-15

Family

ID=63092981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810226648.9A Active CN108399602B (zh) 2018-03-19 2018-03-19 一种大区域多条带侧扫声呐图像的联合拼接方法

Country Status (1)

Country Link
CN (1) CN108399602B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862677A (zh) * 2021-01-11 2021-05-28 西北工业大学 一种同平台异源声呐的声学图像拼接方法
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN117522684A (zh) * 2023-12-29 2024-02-06 湖南大学无锡智能控制研究院 水下侧扫声呐图像拼接方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120109563A1 (en) * 2010-10-29 2012-05-03 President And Fellows Of Harvard College Method and apparatus for quantifying a best match between series of time uncertain measurements
CN103390273A (zh) * 2013-07-19 2013-11-13 哈尔滨工程大学 一种基于gps定位辅助的多波束侧扫声纳图像配准方法
CN106023075A (zh) * 2016-05-11 2016-10-12 中国人民解放军海军工程大学 一种干涉合成孔径声纳图像的处理和拼接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120109563A1 (en) * 2010-10-29 2012-05-03 President And Fellows Of Harvard College Method and apparatus for quantifying a best match between series of time uncertain measurements
CN103390273A (zh) * 2013-07-19 2013-11-13 哈尔滨工程大学 一种基于gps定位辅助的多波束侧扫声纳图像配准方法
CN106023075A (zh) * 2016-05-11 2016-10-12 中国人民解放军海军工程大学 一种干涉合成孔径声纳图像的处理和拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAO WANG 等: "A Side Scan Sonar Image Target Detection Algorithm Based on a Neutrosophic Set and Diffusion Maps", 《REMOTE SENSING》 *
赵建虎 等: "侧扫声纳条带图像分段拼接方法研究", 《武汉大学学报·信息科学版》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862677A (zh) * 2021-01-11 2021-05-28 西北工业大学 一种同平台异源声呐的声学图像拼接方法
CN112862677B (zh) * 2021-01-11 2024-02-09 西北工业大学 一种同平台异源声呐的声学图像拼接方法
CN114972019A (zh) * 2021-04-14 2022-08-30 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN114972019B (zh) * 2021-04-14 2024-05-24 华东师范大学 基于tof相机的深度图像拼接方法、装置及计算机设备
CN117522684A (zh) * 2023-12-29 2024-02-06 湖南大学无锡智能控制研究院 水下侧扫声呐图像拼接方法、装置及系统
CN117522684B (zh) * 2023-12-29 2024-03-19 湖南大学无锡智能控制研究院 水下侧扫声呐图像拼接方法、装置及系统

Also Published As

Publication number Publication date
CN108399602B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN108399602A (zh) 一种大区域多条带侧扫声呐图像的联合拼接方法
CN104156968B (zh) 大面积地形复杂区域无人机序列影像快速无缝拼接方法
CN105193445B (zh) 一种超声探头标定体模、超声探头标定系统及其标定方法
Lee et al. Robust exemplar-based inpainting algorithm using region segmentation
CN105352476A (zh) 船载水岸线水上水下一体化测量系统集成方法
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN104778695A (zh) 一种基于梯度显著性的水天线检测方法
CN110120050B (zh) 基于素描信息和超像素分割的光学遥感图像海陆分割方法
CN109858527B (zh) 一种图像融合方法
CN103226828B (zh) 一种水下机器人声视觉三维成像的图像配准方法
CN105550994B (zh) 一种基于卫星影像的无人机影像快速概略拼接方法
CN114926739B (zh) 内河航道水上水下地理空间信息无人化协同采集处理方法
CN107025687A (zh) 一种基于视觉依赖曲率估算的文物线图绘制方法
CN114418953B (zh) 一种基于时间历程累计图像的声呐目标检测方法和系统
CN109031319A (zh) 一种侧扫声纳图像拼接系统及其方法
CN111780772B (zh) 一种地图盲区车辆定位纠偏方法
CN109903379A (zh) 一种基于点云优化采样的三维重建方法
CN109409286A (zh) 基于伪样本增强训练的船舶目标检测方法
CN107103610A (zh) 立体测绘卫星影像匹配可疑区域自动检测方法
CN117576219A (zh) 大广角鱼眼镜头单次拍摄图像的相机标定设备及标定方法
CN105678791A (zh) 一种基于参数不唯一的车道线检测与跟踪方法
CN106289181A (zh) 一种基于视觉测量的实时slam方法
CN107871323A (zh) 一种基于全固态雷达的海冰运动信息获取方法
CN113805178A (zh) 一种水面静态碍航物探测方法
Hancer et al. Advanced contour reconnection in scanned topographic maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant