CN117522684A - 水下侧扫声呐图像拼接方法、装置及系统 - Google Patents

水下侧扫声呐图像拼接方法、装置及系统 Download PDF

Info

Publication number
CN117522684A
CN117522684A CN202311846312.XA CN202311846312A CN117522684A CN 117522684 A CN117522684 A CN 117522684A CN 202311846312 A CN202311846312 A CN 202311846312A CN 117522684 A CN117522684 A CN 117522684A
Authority
CN
China
Prior art keywords
image
scan sonar
information
coordinate information
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311846312.XA
Other languages
English (en)
Other versions
CN117522684B (zh
Inventor
崔庆佳
杨佳颖
秦晓辉
谢国涛
王晓伟
秦洪懋
徐彪
秦兆博
丁荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Institute Of Intelligent Control Hunan University
Original Assignee
Wuxi Institute Of Intelligent Control Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Institute Of Intelligent Control Hunan University filed Critical Wuxi Institute Of Intelligent Control Hunan University
Priority to CN202311846312.XA priority Critical patent/CN117522684B/zh
Publication of CN117522684A publication Critical patent/CN117522684A/zh
Application granted granted Critical
Publication of CN117522684B publication Critical patent/CN117522684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20028Bilateral filtering
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明涉及侧扫声呐技术领域,具体公开了一种水下侧扫声呐图像拼接方法、装置及系统,包括:获取水下侧扫声呐的实时定位信息,并对所述实时定位信息进行航迹处理获得定位航迹处理结果;获取水下侧扫声呐的图像采集信息,并对所述图像采集信息进行去噪以及矫正处理,获得矫正图像;根据所述定位航迹处理结果确定目标地理坐标信息;根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果。本发明提供的水下侧扫声呐图像拼接方法能够有效提高侧扫声呐的拼接质量。

Description

水下侧扫声呐图像拼接方法、装置及系统
技术领域
本发明涉及侧扫声呐技术领域,尤其涉及一种水下侧扫声呐图像拼接方法、水下侧扫声呐图像拼接装置及水下侧扫声呐系统。
背景技术
海洋资源丰富,如何高效的利用和探索海洋资源,进行水下作业,对社会发展意义重大。水下侧扫声呐是对海底地形和目标进行大范围扫描定位的主要装备和手段。侧扫声呐是一种利用回声测距原理来测量海底信息和水下物体的海洋探测装备。图像拼接技术是指通过解析侧扫声呐的数据,将其转换为图像,通过图像进行一系列处理和拼接,得到整个能够反应海底地形地貌的图像。侧扫声呐图像拼接技术是获取海底地貌信息,开展海洋相关活动非常重要的技术手段,为充分开发利用海洋资源,海底隧道等等提供便利。成熟和先进的侧扫声呐图像拼接技术对于水下相关工程的发展有着至关重要的作用。但是由于水下环境复杂,受条件限制,侧扫声呐在扫描水下地形过程中,会存在诸多问题,例如,行驶速度的不同会导致生成的声呐图像存在着速度畸变,而水域中水深的变化也时刻影响着声呐图像的精度,加上水下环境非常复杂,水下作业难度非常大,为图像拼接技术带来了很大的挑战。
现有技术中虽然存在能够提高侧扫声呐图像拼接质量的拼接方法,但是由于侧扫声呐畸变严重,检测出的特征点往往不够准确,并且对畸变矫正的强度要求比较高,当畸变矫正后的结果不够理想时,很容易出现特征点匹配失败的情况,从而导致图像拼接错误,影响图像拼接的效果。另外,现有的侧扫声呐的图像拼接方法还存在着侧扫声呐在作业过程中,因航速不稳定或抖动而导致的变形失真;受海洋环境中洋流等因素的影响,而导致获取到的地理信息存在一定的偏差;以及水深和速度变化导致的图像畸变等问题。当侧扫声呐按照非直线轨迹进行扫描时,所生成的拼接图像会存在较大的缝隙,造成声呐图像与实际情况的误差较大。所生成拼接图像质量较差,并不能很好的反应实际的海底地形地貌等信息。
因此,如何能够有效提高侧扫声呐图像拼接质量成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种水下侧扫声呐图像拼接方法、水下侧扫声呐图像拼接装置及水下侧扫声呐系统,解决相关技术中存在的侧扫声呐图像拼接质量差的问题。
作为本发明的第一个方面,提供一种水下侧扫声呐图像拼接方法,其中,包括:
获取水下侧扫声呐的实时定位信息,并对所述实时定位信息进行航迹处理获得定位航迹处理结果;
获取水下侧扫声呐的图像采集信息,并对所述图像采集信息进行去噪以及矫正处理,获得矫正图像,其中对所述图像采集信息进行去噪以及矫正处理包括根据所述图像采集信息去噪后获得的侧扫声呐的海底线进行矫正;
根据所述定位航迹处理结果确定目标地理坐标信息;
根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果,其中,根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果,包括:
将所述矫正图像划分成矩形图像条带;
根据所述目标地理坐标信息对每一个矩形图像条带进行列像素点缩放和插值处理,以获得重塑条带;
根据所述目标地理坐标信息对每个重塑条带均进行平移旋转处理,并将平移旋转处理后的所有重塑条带映射到所述目标地理坐标信息的相应坐标位置,获得侧扫声呐图像拼接结果。
进一步地,根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果,包括:
将所述矫正图像划分成矩形图像条带;
根据所述目标地理坐标信息对每一个矩形图像条带进行列像素点缩放和插值处理,以获得重塑条带;
根据所述目标地理坐标信息对每个重塑条带均进行平移旋转处理,并将平移旋转处理后的所有重塑条带映射到所述目标地理坐标信息的相应坐标位置,获得侧扫声呐图像拼接结果。
进一步地,根据所述目标地理坐标信息对每一个矩形图像条带进行列像素点缩放和插值处理,以获得重塑条带,包括:
计算每一个矩形图像条带的每一列起始坐标点;
根据每一列起始坐标点对该矩形图像条带中对应的该列像素点进行缩放和插值处理,获得重塑条带。
进一步地,根据所述目标地理坐标信息对每个重塑条带均进行平移旋转处理,并将平移旋转处理后的所有重塑条带映射到所述目标地理坐标信息的相应坐标位置,获得侧扫声呐图像拼接结果,包括:
根据所述目标地理坐标信息确定每个重塑条带的目标旋转角度;
每个所述目标旋转角度对相应的重塑条带进行平移旋转处理,获得旋转后的重塑条带;
根据所述目标地理坐标信息将所有旋转后的重塑条带置入图像中相应坐标位置,获得侧扫声呐图像拼接结果。
进一步地,根据所述定位航迹处理结果确定目标地理坐标信息,包括:
将所述定位航迹处理结果中的轨迹点进行坐标系转换,获得平面坐标系下的轨迹点坐标信息;
根据侧扫声呐量程计算垂直于轨迹点连线的线段;
根据垂直于轨迹点连线的线段和所述轨迹点坐标信息确定线段端点的坐标信息;
根据线段端点的坐标信息确定目标条带的目标地理坐标信息。
进一步地,对所述图像采集信息进行去噪以及矫正处理,获得矫正图像,包括:
对所述图像采集信息进行图像滤波处理,获得滤波后的图像;
对滤波后的图像进行海底线检测,获得侧扫声呐的海底线;
根据检测得到的侧扫声呐的海底线对滤波后的图像进行斜距矫正,获得矫正图像。
进一步地,对滤波后的图像进行海底线检测,获得侧扫声呐的海底线,包括:
对所述滤波后的图像进行图像通道转换,获得单通道的灰度图像;
对所述单通道的灰度图像进行二值化处理,获得二值图像;
根据边缘检测算子对所述二值图像进行边缘检测,获得二值图像边缘点;
将所述二值图像的每一行像素中靠近中心线且反方向上临近的连续预设个数的相速度的灰度值均为255的二值图像边缘点作为海底线边缘点;
将所述中心线两侧的海底线边缘点均进行平滑滤波,获得侧扫声呐的海底线。
进一步地,根据检测得到的侧扫声呐的海底线对滤波后的图像进行斜距矫正,获得矫正图像,包括:
根据检测得到的侧扫声呐的海底线确定当前侧扫声呐距离海底的高度;
根据当前侧扫声呐距离海底的高度与侧扫声呐回波点的斜距计算侧扫声呐回波点的平距;
根据侧扫声呐回波点的平距对滤波后的图像中的像素点进行斜距矫正,获得矫正图像。
作为本发明的另一个方面,提供一种水下侧扫声呐图像拼接装置,用于实现前文所述的水下侧扫声呐图像拼接方法,其中,包括:
第一获取模块,用于获取水下侧扫声呐的实时定位信息,并对所述实时定位信息进行航迹处理获得定位航迹处理结果;
第二获取模块,用于获取水下侧扫声呐的图像采集信息,并对所述图像采集信息进行去噪以及矫正处理,获得矫正图像;
确定模块,用于根据所述定位航迹处理结果确定目标地理坐标信息;
配准模块,用于根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果。
作为本发明的另一个方面,提供一种水下侧扫声呐系统,其中,包括:前文所述的水下侧扫声呐图像拼接装置、侧扫声呐、设置在侧扫声呐上的图像获取装置以及定位装置,所述图像获取装置和定位装置均与所述水下侧扫声呐图像拼接装置通信连接,
所述侧扫声呐用于向水中发射声波信号,并接收经过反射后的回波信号;
所述图像获取装置用于根据侧扫声呐的回波信号生成侧扫声呐的图像采集信息;
所述定位装置用于对侧扫声呐进行实时定位并获得实时定位信息;
所述水下侧扫声呐图像拼接装置用于根据实时定位信息以及图像采集信息进行处理后获得侧扫声呐图像拼接结果。
本发明提供的水下侧扫声呐图像拼接方法,通过对实时位置信息进行航迹处理后获得目标地理坐标信息,然后将图像采集信息处理后基于目标地理坐标信息进行配准获得图像拼接结果。这种水下侧扫声呐图像拼接方法由于对采集的图像信息进行矫正处理,能够有效提高侧扫声呐的图像指令,另外由于将基于实时位置信息获得的目标地理坐标信息与矫正后的图像进行配准,这种将地理信息与声呐信息进行结合的方式能够有效提升图像拼接的精确度。因此,本发明提供的水下侧扫声呐图像拼接方法能够有效提高侧扫声呐的拼接质量。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。
图1为本发明提供的水下侧扫声呐图像拼接方法的流程图。
图2为本发明提供的航迹处理的结果示意图。
图3为本发明提供的获得矫正图像的方法流程图。
图4为本发明提供的海底线检测的方法流程图。
图5为本发明提供的海底线检测结果的示意图。
图6为本发明提供的斜距矫正的流程图。
图7为本发明提供的平距计算的示意图。
图8为本发明提供的斜距矫正后的图像。
图9为本发明提供的根据定位航迹处理结果确定目标地理坐标信息的流程图。
图10为本发明提供的根据轨迹点获得目标条带的示意图。
图11为本发明提供的获得侧扫声呐图像拼接结果的方法流程图。
图12a为本发明提供的根据矫正图像获得声呐图像拼接结果的一种示意图。
图12b为本发明提供的根据矫正图像获得声呐图像拼接结果的另一种示意图。
图12c为本发明提供的矫正图像中的一个条带进行缩放和插值处理后获得的重塑条带的一种示意图。
图12d为本发明提供的矫正图像中的一个条带进行缩放和插值处理后获得的重塑条带的另一种示意图。
图12e为本发明提供的重塑条带旋转后的示意图。
图12f为本发明提供的将旋转后的重塑条带置入图像中相应坐标位置后的一种示意图。
图12g为本发明提供的将旋转后的重塑条带置入图像中相应坐标位置后的另一种示意图。
图12h为本发明提供的目标条带的形状判断示意图。
图13为本发明提供的获得侧扫声呐图像拼接结果的示意图。
图14为本发明提供的根据重塑条带映射到目标地理坐标信息的流程图。
图15为本发明提供的水下侧扫声呐图像拼接装置的结构框图。
图16为本发明提供的速度矫正的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包括,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
当前很多侧扫声呐数据处理技术都是对声呐数据进行解析,利用瀑布显示的方式进行图像展示,没有对原始图像中存在的畸变进行矫正,并进一步进行图像拼接,所以并不能很好的反映出水下情况。另外,在侧扫声呐在作业过程中,诸多因素使得获取到的声呐图像存在着失真,例如:因航速不稳定或抖动而导致的变形失真;受海洋环境中洋流等因素的影响,而导致获取到的地理信息存在一定的偏差;以及水深和速度变化导致的图像畸变等问题。
基于此,在本实施例中提供了一种水下侧扫声呐图像拼接方法,图1是根据本发明实施例提供的水下侧扫声呐图像拼接方法的流程图,如图1所示,包括:
S100、获取水下侧扫声呐的实时定位信息,并对所述实时定位信息进行航迹处理获得定位航迹处理结果;
在本发明实施例中,具体可以通过侧扫声呐的GPS进行实时定位,获得实时定位信息,并对该实时定位信息进行航迹处理,具体可以理解为对实时定位信息进行平滑处理,获得定位航迹处理结果。
具体地,由于GPS存在定位不准等不稳定因素,会给后续拼接生成的图像造成比较大的误差。因此,首先需要通过滤波器滤波,在这里具体可以通过高斯平滑滤波:
其中,表示像素点的权重,/>表示像素点在/>方向的坐标,/>表示像素点在方向的坐标,/>表示滤波器频带宽度。
通过上述滤波器平滑航迹,去除实时定位信息中的噪声数据,为后续结合前后GPS信息,计算每条声呐扫描先的地理坐标信息,将每条像素条映射到相应的坐标信息提高准确性。
如图2所示,波浪曲线为航迹处理前的实时定位信息示意,平滑曲线为航迹处理后的实时定位信息示意。
S200、获取水下侧扫声呐的图像采集信息,并对所述图像采集信息进行去噪以及矫正处理,获得矫正图像;
在本发明实施例中,由于海底的环境比较复杂,海水中的漂浮物,鱼群以及船舶等产生的噪声都会导致生成的侧扫声呐图像中有噪声,因此需要对原始侧扫声呐图像进行图像滤波。具体地,针对水下侧扫声呐的图像采集信息通过去噪以及矫正处理后,可以对发生畸变的图像进行矫正,从而能够有效提升原始数据的质量和准确度,继而能够提高最终拼接图像的完整性以及准确性。
S300、根据所述定位航迹处理结果确定目标地理坐标信息;
在本发明实施例中,根据前文获得的定位航迹处理结果计算目标地理坐标信息。具体地,可以结合定位航迹处理结果计算每条扫描线的地理坐标信息,以获得目标地理坐标信息。该目标地理坐标信息能够作为所述矫正图像的配准以实现图像拼接。
S400、根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果。
在本发明实施例中,针对前文获得的矫正图像进行处理后与目标地理坐标信息进行配准,即将矫正图像中的每条像素条均映射到目标地理坐标信息中的相应的坐标位置,以获得拼接后的图像。
因此,本发明提供的水下侧扫声呐图像拼接方法,通过对实时位置信息进行航迹处理后获得目标地理坐标信息,然后将图像采集信息处理后基于目标地理坐标信息进行配准获得图像拼接结果。这种水下侧扫声呐图像拼接方法由于对采集的图像信息进行矫正处理,能够有效提高侧扫声呐的图像指令,另外由于将基于实时位置信息获得的目标地理坐标信息与矫正后的图像进行配准,这种将地理信息与声呐信息进行结合的方式能够有效提升图像拼接的精确度。因此,本发明提供的水下侧扫声呐图像拼接方法能够有效提高侧扫声呐的拼接质量。
在本发明实施例中,如图3所示,对所述图像采集信息进行去噪以及矫正处理,获得矫正图像,包括:
S210、对所述图像采集信息进行图像滤波处理,获得滤波后的图像;
在本发明实施例中,由于海底的环境比较复杂,海水中的漂浮物,鱼群以及船舶等产生的噪声都会导致生成的侧扫声呐图像中有噪声,因此需要对原始侧扫声呐图像进行图像滤波。
本发明实施例中采用了双边滤波对图像进行去噪,结合图像的空间邻近度和像素值相似度进行折中处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。而相比均值滤波、中值滤波和高斯滤波都属于各向同性滤波,由于它们对待噪声和图像的边缘信息都采取一样的态度,结果在噪声被磨平的同时,图像中具有重要地位的边缘、纹理和细节也同时被抹平了,而本发明实施例中的双边滤波可以很好地保护边缘,即可以在去噪的同时,保护图像的边缘特性。
本发明的双边滤波通过将高斯滤波(空间邻近)原理中各个点到中心点的空间邻近度计算的各个权值进行优化,将其优化为空间邻近度计算的权值和像素值相似度计算的权值的乘积,优化后的权值再与图像做卷积运算,从而达到保边去噪的效果。
S220、对滤波后的图像进行海底线检测,获得侧扫声呐的海底线;
在本发明实施例中,针对上述滤波后的图像进行海底线检测,具体地,如图4所示,对滤波后的图像进行海底线检测,获得侧扫声呐的海底线,包括:
S221、对所述滤波后的图像进行图像通道转换,获得单通道的灰度图像;
为了方便检测海底线,首先将侧扫声呐图像从三通道的BGR 彩色图像转换为单通道的灰度图像,通过下述公式计算得出目标灰度图像的灰度值,其中B,G,R依次为BGR色彩空间的图像的 B 通道、G 通道、R 通道中的像素点:
S222、对所述单通道的灰度图像进行二值化处理,获得二值图像;
通过下述公式将上述的灰度图像处理为二值图像,在这里设定像素阈值为30,像素最大阈值/>为255,因此对于图像中的像素值为:
其中,表示设定像素阈值,/>表示像素最大阈值,/>表示输入图像中某一点的像素值,/>表示结果图像中对应点的像素值,上述公式表示将输入图像中大于设定像素阈值的像素值赋值为最大值,而将其他像素值赋值为0。
通过该方式可以有效实现图像中重要信息与背景的分离,以便于后续进行海底线的检测。
S223、根据边缘检测算子对所述二值图像进行边缘检测,获得二值图像边缘点;
通过sobel算子利用边缘常常是图像中像素灰度变化最显著的地方,这一特点通过局部差分来检测图像中的边缘,sobel算子包含两组3*3的滤波器:
如下是用于检测x方向边缘的卷积核:
如下是用于检测y方向边缘的卷积核:
上述这两个算子对输入图像进行卷积操作,得到x和y方向上各点的卷积结果,即垂直梯度和水平梯度/>
其中,表示输入图像;
然后针对垂直梯度和水平梯度/>作一个平方和运算:
如果某点的梯度/>大于某一阈值,则认为该点/>为边缘点。
S224、将所述二值图像的每一行像素中靠近中心线且反方向上临近的连续预设个数的相速度的灰度值均为255的二值图像边缘点作为海底线边缘点;
需要说明的是,由于有噪声干扰,会导致检测出的边缘点不够准确,因此得到边缘点之后,对于图像中每一行像素,将最靠近中心线且反方向上邻近的连续三个像素点的灰度值都为255的边缘点作为真正的海底线边缘点。
S225、将所述中心线两侧的海底线边缘点均进行平滑滤波,获得侧扫声呐的海底线。
将上述得到的左侧和右侧的海底线边缘点将分别进行高斯平滑滤波,从而得到更加平滑和真实的侧扫声呐的海底线。具体如图5所示,为检测得到的海底线A和B,位于两条海底线中间的区域C则为需要去除的水柱区。
S230、根据检测得到的侧扫声呐的海底线对滤波后的图像进行斜距矫正,获得矫正图像。
由于侧扫声呐图像上从左到右是按照声波返回时间长短来计算的,因此侧扫声图横向的指标实际上是和斜距成正比的。这里斜距就定义为从侧扫声呐头到地形某处的直线距离(一般忽略微观地形起伏)。因此,要使横向反映的是横距而非斜距,就要进行斜距校正。
具体地,如图6所示,根据检测得到的侧扫声呐的海底线对滤波后的图像进行斜距矫正,获得矫正图像,包括:
S231、根据检测得到的侧扫声呐的海底线确定当前侧扫声呐距离海底的高度;
应当理解的是,通过确定海底线,并根据该海底线对应的声波信号的传输时间即可确定当前侧扫声呐距离海底的高度。
S232、根据当前侧扫声呐距离海底的高度与侧扫声呐回波点的斜距计算侧扫声呐回波点的平距;
结合图7所示,在海底可以近似看作为一个水平面的情况下,海底回波点平距可以如下计算:
其中,表示平距,/>表示斜距,/>表示侧扫声呐离海底线的高度。
S233、根据侧扫声呐回波点的平距对滤波后的图像中的像素点进行斜距矫正,获得矫正图像。
斜距矫正具体为,图像宽度设定为,原始图像上某点/>,对应斜距矫正后的平距图像上点/>,则原始图像上的点/>与矫正后的平距图像上点/>之间的换算关系为:
根据上式,计算出平距位置,并对斜距点的灰度值赋值给改正后的平距点。
由于原始声呐数据记录的距离都是倾斜距离,解析出来的原始图像存在水柱区,对侧扫声呐图像进行斜距矫正,调整图像横向上的像素点位置,去除水柱区。图8所示,为斜距矫正后的图像,图8相比图5所示已经去除了中间的水柱区域C。
另外,侧扫声呐在采集数据的过程中,行进速度不断改变,造成侧扫声呐图像纵向上分辨率不一致,存在信息缺失或者重复,因此需要对声呐数据进行速度矫正。
具体地,速度矫正过程如下:
侧扫声呐对同一区间进行扫描时,声呐扫描的频率固定不变,因此,行驶速度越快,扫描时间就会越短,图像纵向上的压缩变形就会越严重,相反,当速度越慢,就容易出现重复区域的现象,如图16所示。
在本发明实施例中,利用记录的地理坐标信息对声呐图像进行速度矫正,想要侧扫声呐图像中像素点在纵向和横向上所表示的实际距离相同,由下式可以得到一个期望固定速度
其中,表示侧扫声呐的实际扫描距离,/>表示声呐图像的宽度,/>表示每一ping图像纵向上像素点的个数,/>表示每一PING声呐的周期。
通过地理坐标信息可以求出侧扫声呐行驶过的实际距离,再根据已知的行驶时间计算出着区间内的实际行驶速度
因此可以计算出实际行驶速度与期望固定速度/>的比例/>,根据这个比例对图像进行拉伸和压缩:
在本发明实施例中,如图9所示,根据所述定位航迹处理结果确定目标地理坐标信息,包括:
S310、将所述定位航迹处理结果中的轨迹点进行坐标系转换,获得平面坐标系下的轨迹点坐标信息;
应当理解的是,通过定位航迹处理结果已知行驶的轨迹坐标点,需要完成地理信息坐标系的转化,由于所得的轨迹坐标是基于经纬度坐标系,因此需要将数据由经纬度坐标系转化成平面坐标系,方便后续的拼接工作。
S320、根据侧扫声呐量程计算垂直于轨迹点连线的线段;
结合图10所示,已知侧扫声呐的量程,通过计算垂直于轨迹点P1和P2连线的线段以及计算垂直于轨迹点P2和P3连线的线段,而计算出每个像素条带的四个坐标顶点。
S330、根据垂直于轨迹点连线的线段和所述轨迹点坐标信息确定线段端点的坐标信息;
S340、根据线段端点的坐标信息确定目标条带的目标地理坐标信息。
具体地,如图10所示,由轨迹点的连线,计算其垂直线段,从而计算出的坐标点,依次类推,可以由/>的连线计算出/>,从而计算出单个条带实际的四边形顶点坐标/>
在本发明实施例中,具体以对轨迹点连线做垂直线,计算出该轨迹点对应的条带的四个顶点。
具体地,由直线方程的两点式可知直线方程为:
即:
直线斜率为/>
由上述公式可以计算出对应条带的四个顶点。
这时候对条带坐标情况分类讨论,通过计算在指定范围内,两条直线是否有交点,从而判断该条带为四边形还是三角形;
当两条直线在条带顶点区间范围内有交点时,则该条带为三角形;如果不是上述情况的话,则认为条带为四边形。
需要说明的是,在本发明实施例中,如确定当前条带为三角形区域,则能够对有交叉的部分的冗余信息进行去除。例如图12h所示,第一条带1经过判断后存在交点,则第一条带1为三角形区域,而第一条带1的阴影区域信息不准确,且为冗余区域,因此区域对该区域去除。即针对第一条带1和第二条带2,由于第一条带1的阴影区域与第二条带2重叠,因此对第一条带1的阴影部分去除,则会消除重叠区域。因此,通过在计算目标条带顶点之后对条带的形状进行判断,能够有效去除重叠区域,提升图像拼接的准确性。
具体地,如图11所示,根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果,包括:
S410、将所述矫正图像划分成矩形图像条带;
如图12a和图12b所示,将所述矫正图像划分为四个矩形图像条带。
S420、根据所述目标地理坐标信息对每一个矩形图像条带进行列像素点缩放和插值处理,以获得重塑条带;
将该条带图像通过平移,旋转,翻转等,将图像与地图中的坐标拟合,将拟合后的内容放在计算出的坐标在图片上所对应的位置上。
具体地,根据所述目标地理坐标信息对每一个矩形图像条带进行列像素点缩放和插值处理,以获得重塑条带,包括:
计算每一个矩形图像条带的每一列起始坐标点;
根据每一列起始坐标点对该矩形图像条带中对应的该列像素点进行缩放和插值处理,获得重塑条带。
在本发明实施例中,针对每一列像素条采用最近邻插值法,具体地,已知原始像素尺寸为,目标图像尺寸为/>,因此,可求出目标图像的像素值:
其中,表示目标图像坐标位置/>的像素值,/>表示目标图像坐标位置的像素值。
如图12c和图12d所示,已知四边形的四个顶点和形状,需要轨迹点对应的原始条带进行缩放,重塑成计算后的四边形条带形状。重塑的过程,需要计算调条带每一列的起始坐标点,通过起始坐标点的距离对条带中对应的该列像素点进行缩放,依次根据坐标点对每一列像素点进行缩放,从而完成条带的重塑。
S430、根据所述目标地理坐标信息对每个重塑条带均进行平移旋转处理,并将平移旋转处理后的所有重塑条带映射到所述目标地理坐标信息的相应坐标位置,获得侧扫声呐图像拼接结果。
在本发明实施例中,通过计算目标地理坐标信息的每个顶点倾斜的角度实现对相应条带的旋转,进而实现条带的映射。
具体地,根据所述目标地理坐标信息对每个重塑条带均进行平移旋转处理,并将平移旋转处理后的所有重塑条带映射到所述目标地理坐标信息的相应坐标位置,获得侧扫声呐图像拼接结果,如图14所示,包括:
S431、根据所述目标地理坐标信息确定每个重塑条带的目标旋转角度;
根据目标条带实际的四边形顶点坐标计算顶点倾斜的角度,根据该倾斜的角度确定每个重塑条带的目标旋转角度。
S432、每个所述目标旋转角度对相应的重塑条带进行平移旋转处理,获得旋转后的重塑条带;
根据上述确定的目标旋转角度对相应的重塑条带进行平移旋转处理,如图12e所示。
S433、根据所述目标地理坐标信息将所有旋转后的重塑条带置入图像中相应坐标位置,获得侧扫声呐图像拼接结果。
根据上述计算的坐标点将旋转后的重塑条带放入整体图像中对应的位置,如图12f和图12g所示。
依次对每个条带进行上述的操作,最后可以生成拼接的图像如图13所示。
综上,本发明提供的水下侧扫声呐图像拼接方法,对于声呐图像的畸变修正效果显著,有效的提高了侧扫声呐图像质量,并且地理信息与声呐数据配准度更加精确,有效的把图像缝隙控制在一定范围内,很大程度提高了侧扫拼接图像的可读性,以及信息完整性。为整个水下地形地貌进行全面了解,有效的对水下资源进行勘探和开发提供了技术保证。
作为本发明的另一实施例,提供一种水下侧扫声呐图像拼接装置10,用于实现前文所述的水下侧扫声呐图像拼接方法,如图15所示,包括:
第一获取模块100,用于获取水下侧扫声呐的实时定位信息,并对所述实时定位信息进行航迹处理获得定位航迹处理结果;
第二获取模块200,用于获取水下侧扫声呐的图像采集信息,并对所述图像采集信息进行去噪以及矫正处理,获得矫正图像;
确定模块300,用于根据所述定位航迹处理结果确定目标地理坐标信息;
配准模块400,用于根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果。
本发明提供的水下侧扫声呐图像拼接装置,通过对实时位置信息进行航迹处理后获得目标地理坐标信息,然后将图像采集信息处理后基于目标地理坐标信息进行配准获得图像拼接结果。这种水下侧扫声呐图像拼接方法由于对采集的图像信息进行矫正处理,能够有效提高侧扫声呐的图像指令,另外由于将基于实时位置信息获得的目标地理坐标信息与矫正后的图像进行配准,这种将地理信息与声呐信息进行结合的方式能够有效提升图像拼接的精确度。因此,本发明提供的水下侧扫声呐图像拼接装置能够有效提高侧扫声呐的拼接质量。
关于本发明的水下侧扫声呐图像拼接装置的具体工作原理及过程可以参照前文的水下侧扫声呐图像拼接方法的描述,此处不再赘述。
作为本发明的另一实施例,提供一种水下侧扫声呐系统,其中,包括:前文所述的水下侧扫声呐图像拼接装置、侧扫声呐、设置在侧扫声呐上的图像获取装置以及定位装置,所述图像获取装置和定位装置均与所述水下侧扫声呐图像拼接装置通信连接,
所述侧扫声呐用于向水中发射声波信号,并接收经过反射后的回波信号;
所述图像获取装置用于根据侧扫声呐的回波信号生成侧扫声呐的图像采集信息;
所述定位装置用于对侧扫声呐进行实时定位并获得实时定位信息;
所述水下侧扫声呐图像拼接装置用于根据实时定位信息以及图像采集信息进行处理后获得侧扫声呐图像拼接结果。
在本发明实施例中,通过采用前文的水下侧扫声呐图像拼接装置实现对图像的拼接,能够通过对实时位置信息进行航迹处理后获得目标地理坐标信息,然后将图像采集信息处理后基于目标地理坐标信息进行配准获得图像拼接结果。这种水下侧扫声呐图像拼接方法由于对采集的图像信息进行矫正处理,能够有效提高侧扫声呐的图像指令,另外由于将基于实时位置信息获得的目标地理坐标信息与矫正后的图像进行配准,这种将地理信息与声呐信息进行结合的方式能够有效提升图像拼接的精确度。
需要说明的是,在本发明实施例中,所述图像获取装置具体可以为能够直接采集图像的摄像装置,也可以为根据声呐回波信息生成图像的装置,具体可以根据需要进行选择,此处不作限定。
另外,本发明实施例中的定位装置具体可以为GPS定位装置,也可以为其他能够实现定位功能的装置,具体本发明实施例并不做限定。
关于本发明提的水下侧扫声呐图像拼接系统的具体工作原理及过程可以参照前文的水下侧扫声呐图像拼接方法的描述,此处不再赘述。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (9)

1.一种水下侧扫声呐图像拼接方法,其特征在于,包括:
获取水下侧扫声呐的实时定位信息,并对所述实时定位信息进行航迹处理获得定位航迹处理结果;
获取水下侧扫声呐的图像采集信息,并对所述图像采集信息进行去噪以及矫正处理,获得矫正图像,其中对所述图像采集信息进行去噪以及矫正处理包括根据所述图像采集信息去噪后获得的侧扫声呐的海底线进行矫正;
根据所述定位航迹处理结果确定目标地理坐标信息;
根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果,其中,根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果,包括:
将所述矫正图像划分成矩形图像条带;
根据所述目标地理坐标信息对每一个矩形图像条带进行列像素点缩放和插值处理,以获得重塑条带;
根据所述目标地理坐标信息对每个重塑条带均进行平移旋转处理,并将平移旋转处理后的所有重塑条带映射到所述目标地理坐标信息的相应坐标位置,获得侧扫声呐图像拼接结果。
2.根据权利要求1所述的水下侧扫声呐图像拼接方法,其特征在于,根据所述目标地理坐标信息对每一个矩形图像条带进行列像素点缩放和插值处理,以获得重塑条带,包括:
计算每一个矩形图像条带的每一列起始坐标点;
根据每一列起始坐标点对该矩形图像条带中对应的该列像素点进行缩放和插值处理,获得重塑条带。
3.根据权利要求1所述的水下侧扫声呐图像拼接方法,其特征在于,根据所述目标地理坐标信息对每个重塑条带均进行平移旋转处理,并将平移旋转处理后的所有重塑条带映射到所述目标地理坐标信息的相应坐标位置,获得侧扫声呐图像拼接结果,包括:
根据所述目标地理坐标信息确定每个重塑条带的目标旋转角度;
每个所述目标旋转角度对相应的重塑条带进行平移旋转处理,获得旋转后的重塑条带;
根据所述目标地理坐标信息将所有旋转后的重塑条带置入图像中相应坐标位置,获得侧扫声呐图像拼接结果。
4.根据权利要求1至3中任意一项所述的水下侧扫声呐图像拼接方法,其特征在于,根据所述定位航迹处理结果确定目标地理坐标信息,包括:
将所述定位航迹处理结果中的轨迹点进行坐标系转换,获得平面坐标系下的轨迹点坐标信息;
根据侧扫声呐量程计算垂直于轨迹点连线的线段;
根据垂直于轨迹点连线的线段和所述轨迹点坐标信息确定线段端点的坐标信息;
根据线段端点的坐标信息确定目标条带的目标地理坐标信息。
5.根据权利要求1至3中任意一项所述的水下侧扫声呐图像拼接方法,其特征在于,对所述图像采集信息进行去噪以及矫正处理,获得矫正图像,包括:
对所述图像采集信息进行图像滤波处理,获得滤波后的图像;
对滤波后的图像进行海底线检测,获得侧扫声呐的海底线;
根据检测得到的侧扫声呐的海底线对滤波后的图像进行斜距矫正,获得矫正图像。
6.根据权利要求5所述的水下侧扫声呐图像拼接方法,其特征在于,对滤波后的图像进行海底线检测,获得侧扫声呐的海底线,包括:
对所述滤波后的图像进行图像通道转换,获得单通道的灰度图像;
对所述单通道的灰度图像进行二值化处理,获得二值图像;
根据边缘检测算子对所述二值图像进行边缘检测,获得二值图像边缘点;
将所述二值图像的每一行像素中靠近中心线且反方向上临近的连续预设个数的相速度的灰度值均为255的二值图像边缘点作为海底线边缘点;
将所述中心线两侧的海底线边缘点均进行平滑滤波,获得侧扫声呐的海底线。
7.根据权利要求5所述的水下侧扫声呐图像拼接方法,其特征在于,根据检测得到的侧扫声呐的海底线对滤波后的图像进行斜距矫正,获得矫正图像,包括:
根据检测得到的侧扫声呐的海底线确定当前侧扫声呐距离海底的高度;
根据当前侧扫声呐距离海底的高度与侧扫声呐回波点的斜距计算侧扫声呐回波点的平距;
根据侧扫声呐回波点的平距对滤波后的图像中的像素点进行斜距矫正,获得矫正图像。
8.一种水下侧扫声呐图像拼接装置,用于实现权利要求1至7中任意一项所述的水下侧扫声呐图像拼接方法,其特征在于,包括:
第一获取模块,用于获取水下侧扫声呐的实时定位信息,并对所述实时定位信息进行航迹处理获得定位航迹处理结果;
第二获取模块,用于获取水下侧扫声呐的图像采集信息,并对所述图像采集信息进行去噪以及矫正处理,获得矫正图像;
确定模块,用于根据所述定位航迹处理结果确定目标地理坐标信息;
配准模块,用于根据所述矫正图像与所述目标地理坐标信息进行配准获得侧扫声呐图像拼接结果。
9.一种水下侧扫声呐系统,其特征在于,包括:权利要求8所述的水下侧扫声呐图像拼接装置、侧扫声呐、设置在侧扫声呐上的图像获取装置以及定位装置,所述图像获取装置和定位装置均与所述水下侧扫声呐图像拼接装置通信连接,
所述侧扫声呐用于向水中发射声波信号,并接收经过反射后的回波信号;
所述图像获取装置用于根据侧扫声呐的回波信号生成侧扫声呐的图像采集信息;
所述定位装置用于对侧扫声呐进行实时定位并获得实时定位信息;
所述水下侧扫声呐图像拼接装置用于根据实时定位信息以及图像采集信息进行处理后获得侧扫声呐图像拼接结果。
CN202311846312.XA 2023-12-29 2023-12-29 水下侧扫声呐图像拼接方法、装置及系统 Active CN117522684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311846312.XA CN117522684B (zh) 2023-12-29 2023-12-29 水下侧扫声呐图像拼接方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311846312.XA CN117522684B (zh) 2023-12-29 2023-12-29 水下侧扫声呐图像拼接方法、装置及系统

Publications (2)

Publication Number Publication Date
CN117522684A true CN117522684A (zh) 2024-02-06
CN117522684B CN117522684B (zh) 2024-03-19

Family

ID=89745972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311846312.XA Active CN117522684B (zh) 2023-12-29 2023-12-29 水下侧扫声呐图像拼接方法、装置及系统

Country Status (1)

Country Link
CN (1) CN117522684B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399602A (zh) * 2018-03-19 2018-08-14 南京市测绘勘察研究院股份有限公司 一种大区域多条带侧扫声呐图像的联合拼接方法
CN110412584A (zh) * 2019-05-31 2019-11-05 上海大学 一种水下前视声呐移动快速拼接系统
WO2022166097A1 (zh) * 2021-02-08 2022-08-11 中国科学院声学研究所 一种侧扫声呐的水下目标多模式成像方法
CN116523822A (zh) * 2023-01-12 2023-08-01 西安热工研究院有限公司 一种基于侧扫声呐的海缆检测识别方法
CN116957935A (zh) * 2023-07-26 2023-10-27 武汉大学 基于航迹线约束的侧扫声呐条带图像拼接方法
CN116990824A (zh) * 2023-08-04 2023-11-03 中国人民解放军32021部队 集群侧扫系统的图形地理信息编码和融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399602A (zh) * 2018-03-19 2018-08-14 南京市测绘勘察研究院股份有限公司 一种大区域多条带侧扫声呐图像的联合拼接方法
CN110412584A (zh) * 2019-05-31 2019-11-05 上海大学 一种水下前视声呐移动快速拼接系统
WO2022166097A1 (zh) * 2021-02-08 2022-08-11 中国科学院声学研究所 一种侧扫声呐的水下目标多模式成像方法
CN116523822A (zh) * 2023-01-12 2023-08-01 西安热工研究院有限公司 一种基于侧扫声呐的海缆检测识别方法
CN116957935A (zh) * 2023-07-26 2023-10-27 武汉大学 基于航迹线约束的侧扫声呐条带图像拼接方法
CN116990824A (zh) * 2023-08-04 2023-11-03 中国人民解放军32021部队 集群侧扫系统的图形地理信息编码和融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
侯雪;周兴华;唐秋华;王朝阳;: "一种基于MATLAB的声呐条带图像自动拼接算法", 海岸工程, no. 04, 15 December 2014 (2014-12-15) *
张友文;: "条带式合成孔径声呐相位梯度自聚焦算法", 哈尔滨工业大学学报, no. 05, 15 May 2009 (2009-05-15) *

Also Published As

Publication number Publication date
CN117522684B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110969624A (zh) 一种激光雷达三维点云分割方法
CN111028154B (zh) 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法
Inglis et al. A pipeline for structured light bathymetric mapping
CN101529202A (zh) 用于处理与建筑立面有关的激光扫描样本和数字摄影图像的系统和方法
JPH11149558A (ja) 画像処理装置
Negahdaripour et al. On processing and registration of forward-scan acoustic video imagery
JP4825836B2 (ja) 道路地図データ作成システム
CN110706177A (zh) 一种侧扫声呐图像灰度均衡化方法及系统
JP2022051770A (ja) 地図生成システム、地図生成方法及び地図生成プログラム
JP6956325B2 (ja) レーン特定方法およびレーン特定装置
Li et al. Automatic detection of pipelines from sub-bottom profiler sonar images
CN112862879B (zh) 一种基于tin模型的地铁隧道三维模型构建方法
CN117522684B (zh) 水下侧扫声呐图像拼接方法、装置及系统
CN116957935A (zh) 基于航迹线约束的侧扫声呐条带图像拼接方法
CN108399602A (zh) 一种大区域多条带侧扫声呐图像的联合拼接方法
Wang et al. Nonmetric camera calibration for underwater laser scanning system
CN111948658A (zh) 水底地貌影像识别匹配的深水区定位方法
Carrere Development of multiple source data processing for structural analysis at a regional scale
King et al. Real-time side scan image generation and registration framework for auv route following
CN115082811A (zh) 一种依据图像数据的海上航行船舶识别与距离测量的方法
CN115436966A (zh) 一种激光雷达参考水深控制点批量提取方法
CN113960610A (zh) 一种侧扫声呐的无缝地理编码成图方法和系统
Zhang et al. A mosaic method based on feature matching for side scan sonar images
JP3460356B2 (ja) 円ないし楕円の検出方法およびその装置
Brunken et al. Incorporating Plane-Sweep in Convolutional Neural Network Stereo Imaging for Road Surface Reconstruction.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant