CN116719031A - 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统 - Google Patents

一种合成孔径雷达sar图像的海洋涡旋检测方法及系统 Download PDF

Info

Publication number
CN116719031A
CN116719031A CN202310994886.5A CN202310994886A CN116719031A CN 116719031 A CN116719031 A CN 116719031A CN 202310994886 A CN202310994886 A CN 202310994886A CN 116719031 A CN116719031 A CN 116719031A
Authority
CN
China
Prior art keywords
vortex
image
sar
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310994886.5A
Other languages
English (en)
Other versions
CN116719031B (zh
Inventor
李晓明
訾楠楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202310994886.5A priority Critical patent/CN116719031B/zh
Publication of CN116719031A publication Critical patent/CN116719031A/zh
Application granted granted Critical
Publication of CN116719031B publication Critical patent/CN116719031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G01S13/9021SAR image post-processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种合成孔径雷达SAR图像的海洋涡旋检测方法及系统。该方法包括:首先,获取待测SAR图像。然后,对待测SAR图像进行预处理。再将预处理后的待测SAR图像输入涡旋检测模型,以便利用涡旋检测模型得到标注图像。标注图像为在待测SAR图像中标注出涡旋位置后得到的图像,所述涡旋检测模型是预先根据含有多种涡旋类型的SAR图像训练得到的。这样,由于采用足量含有不同涡旋类型的SAR图像训练得到涡旋检测模型,并通过多次迭代训练对涡旋检测模型中的网络结构进行了改进,可以使涡旋检测模型具有更高的涡旋检测精度和更广泛的海域适用范围。如此,可以实现不同海域的SAR图像上的涡旋检测,提高了对SAR图像上的海洋涡旋的检测精度和适用海域的泛化性。

Description

一种合成孔径雷达SAR图像的海洋涡旋检测方法及系统
技术领域
本申请涉及卫星遥感海洋监测技术领域,尤其涉及一种合成孔径雷达SAR图像的海洋涡旋检测方法及系统。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种高分辨率成像雷达,可以在能见度极低的气象条件下得到类似光学照相的高分辨雷达图像。可安装在飞机、卫星、宇宙飞船等飞行平台上,全天时全天候对地实施观测。因此,SAR系统常被应用于海洋涡旋检测方面。
海洋涡旋是一种旋转的、以封闭环流为主要特征的水体,在海洋中主要呈现螺旋结构,并且广泛存在于世界海洋中,其直径范围从几百米到几百公里不等。涡旋中间有抽吸能力,尤其是小尺度漩涡,对海上人员活动构成严重威胁。此外,涡旋可以将海洋深层的营养物质带到海洋表层,提高海洋表层的初级生产力,不仅有利于海洋浮游生物的繁殖,而且还影响海洋中渔场的空间分布。因此,海洋涡旋的检测对于航行安全、航线规划、深海捕捞及远洋渔业等实际应用中均具有重要意义。
目前,随着SAR数据呈爆炸式增长,深度学习方法也开始被应用到SAR图像涡旋检测领域,来满足大量增长的图像检测需求。然而,由于现有的方法应用的深度学习算法大多只是迁移学习,能否应用到其他海域目前尚不清楚,并且这些方法中的深度学习算法都预先已知待检测SAR图像含有海洋涡旋,导致现有技术存在仅能使用小范围的待检测SAR图像,泛化性较弱的问题。
发明内容
有鉴于此,本申请提供了一种合成孔径雷达SAR图像的海洋涡旋检测方法及系统,旨在提高对SAR图像中的海洋涡旋的检测的泛化性。
第一方面,本申请提供了一种合成孔径雷达SAR图像的海洋涡旋检测方法,该方法包括:
获取待测SAR图像;
对所述待测SAR图像进行预处理;
将预处理后的待测SAR图像输入涡旋检测模型,以便利用所述涡旋检测模型得到标注图像,所述标注图像为在所述待测SAR图像中标注出涡旋位置的图像,所述涡旋检测模型是预先根据含有多种涡旋类型的SAR图像训练得到的。
可选地,所述对所述待测SAR图像进行预处理,包括:
对所述待测SAR图像进行辐射校正、热噪声去除、斑点滤波、地理编码和分贝化中的一种或多种操作。
可选地,对所述待测SAR图像进行预处理包括对所述待测SAR图像进行地理编码,所述标注图像中包括第一标注框,所述第一标注框用于标注所述标注图像中的第一涡旋的区域;
所述方法还包括:将所述标注图像输入到地理仿射变换模型,以便利用所述地理仿射变换模型将所述第一标注框的像素坐标转换为地理坐标,得到所述第一涡旋的涡心经纬度信息和尺寸信息。
可选地,所述涡旋检测模型是由如下方式进行训练的:
步骤a、获取训练样本集;
步骤b、根据所述训练样本集训练深度学习模型,得到第一训练模型;
步骤c、测试所述第一训练模型的性能是否达到预设标准,若达到,进入步骤d,若没有达到,进入步骤e;
步骤d、将所述第一训练模型作为所述涡旋检测模型输出;
步骤e、调整训练参数,重复步骤b至步骤c,所述训练参数包括批大小、初始模型学习率、截至模型学习率、线程数和训练迭代次数中的一种或多种参数。
可选地,所述深度学习模型包括YOLOv5网络结构,所述YOLOv5网络结构包括输入层、骨干层、瓶颈层和输出层,所述根据所述训练样本集训练深度学习模型,得到第一训练模型,包括对所述YOLOv5网络结构进行如下改进:
在所述骨干层中加入通道注意力机制;
将所述瓶颈层的最近邻上采样替换为内容感知特征重组上采样算子;
在所述输出层确定锚框的尺寸,所述锚框为所述YOLOv5网络结构的输出特征图中标注出的目标区域;
将所述YOLOv5网络结构的沿通道方向拼接的特征融合方法替换为加权双向特征金字塔网络的特征融合方法;
为所述YOLOv5网络结构中的损失函数中的正样本的损失增加权重,得到所述第一训练模型中的网络结构。
可选地,所述训练样本集包括复杂样本和简单样本;
所述复杂样本为海洋背景占比大于涡旋占比的涡旋图像,所述复杂样本用于提高所述涡旋检测模型的泛化性;
所述简单样本为海洋背景占比小于涡旋占比的涡旋图像,所述简单样本用于加快所述涡旋检测模型的收敛速度。
可选地,所述训练样本集是通过如下方式获取的:
获取多个SAR图像,所述多个SAR图像上含有多种不同尺寸和不同类型的涡旋;
根据所述多个SAR图像得到涡旋样本集,所述涡旋样本集包括多个涡旋样本,所述多个涡旋样本是根据对多个SAR图像中的涡旋进行裁剪得到的;
采用最小外接矩形法对所述多个涡旋样本中的涡旋进行标注,得到所述训练样本集。
可选地,在所述步骤b之前对所述训练样本集中的所述多个涡旋样本进行在线数据增强操作,包括:
利用几何变换方法或像素变换方法对所述多个涡旋样本进行数据增强,得到多个第一涡旋样本;
利用马赛克数据增强算法对所述多个第一涡旋样本进行图像拼接或特征融合,得到多个第二涡旋样本,以便将所述多个第二涡旋样本输入所述深度学习模型。
第二方面,本申请提供了一种合成孔径雷达SAR图像的海洋涡旋检测系统,所述系统包括:图像获取单元、图像预处理单元和涡旋检测模型;
所述图像获取单元,用于获取待测SAR图像;
所述图像预处理单元,用于对所述待测SAR图像进行预处理;
所述涡旋检测模型,用于接收预处理后的所述待测SAR图像,以便根据所述待测SAR图像得到标注图像,所述标注图像为在所述待测SAR图像中标注出涡旋位置的图像,所述涡旋检测模型是预先根据含有多种涡旋类型的SAR图像训练得到的。
可选地,所述图像预处理单元对所述待测SAR图像进行地理编码,所述标注图像中包括第一标注框,所述第一标注框用于标注所述标注图像中的第一涡旋的所在区域;
所述系统还包括:地理仿射变换模型,所述地理仿射变换模型用于接收所述标注图像,将所述标注框的像素坐标转换为地理坐标,得到所述第一涡旋的涡心经纬度信息和尺寸信息。
本申请提供了一种合成孔径雷达SAR图像的海洋涡旋检测方法及系统。该方法包括:首先,获取待测SAR图像。然后,对待测SAR图像进行预处理。再将预处理后的待测SAR图像输入涡旋检测模型,以便利用涡旋检测模型得到标注图像。标注图像为在待测SAR图像中标注出涡旋位置后得到的图像,所述涡旋检测模型是预先根据含有多种不同涡旋类型的SAR图像训练得到的。这样,由于采用足量含有不同涡旋类型的SAR图像训练得到涡旋检测模型,并且通过多次迭代训练对涡旋检测模型中的网络结构进行了改进,可以使涡旋检测模型具有更高的涡旋检测精度和更广泛的海域适用范围。如此,可以实现不同海域的SAR图像上的涡旋检测,提高了对SAR图像上的海洋涡旋的检测精度和适用海域的泛化性。
附图说明
为更清楚地说明本实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的合成孔径雷达图像的海洋涡旋检测方法的一种方法流程图;
图2为本申请实施例提供的对某一SAR图像进行预处理之前和预处理之后的效果对比图;
图3为本申请实施例提供的涡旋检测模型输出的多个标注图像的效果示意图;
图4为本申请实施例提供的合成孔径雷达图像的海洋涡旋检测方法中的涡旋检测模型的训练方式的另一种方法流程图;
图5为本申请实施例提供的对涡旋样本进行在线增强的示意图;
图6为本申请实施例提供的改进后的YOLOv5神经网络的结构示意图;
图7为本申请实施例提供的ECA注意力机制的流程示意图;
图8为本申请实施例提供的CARAFE 上采样算子的结构示意图;
图9为本申请实施例提供的合成孔径雷达图像的海洋涡旋检测系统的一种结构示意图;
图10为本申请实施例提供的合成孔径雷达图像的海洋涡旋检测系统的另一种结构示意图。
具体实施方式
正如前文所述,最近几年人工智能领域的进步给海洋研究者们带来了新的研究思路。目前,深度学习方法已在遥感资料处理中得到了初步应用,并且取得了良好的效果。然而,在现有的深度算法中,将所有待检测的 SAR 图像都预设为含有海洋涡旋,往往会导致检测精度不高,并且在某一海域建立的深度学习算法能否应用到其他海域目前尚不清楚,因此,现有技术中的SAR 图像中的涡旋检测方法的泛化性都较弱,不能适用于不同海域的SAR 图像中的涡旋检测。
本申请提供了一种合成孔径雷达SAR图像的海洋涡旋检测方法及系统。该方法包括:首先,获取待测SAR图像。然后,对待测SAR图像进行预处理。再将预处理后的待测SAR图像输入涡旋检测模型,以便利用涡旋检测模型得到标注图像。标注图像为在待测SAR图像中标注出涡旋位置后得到的图像,所述涡旋检测模型是预先根据含有多种不同涡旋类型的SAR图像训练得到的。这样,由于采用足量含有不同涡旋类型的SAR图像训练得到涡旋检测模型,并且通过多次迭代训练对涡旋检测模型中的网络结构进行了改进,可以使涡旋检测模型具有更高的涡旋检测精度和更广泛的海域适用范围。如此,可以实现不同海域的SAR图像上的涡旋检测,提高了对SAR图像上的海洋涡旋的检测精度和适用海域的泛化性。
参见图1,图1为本申请实施例提供的合成孔径雷达图像的海洋涡旋检测方法的一种方法流程图,包括:
S101:获取待测SAR图像。
其中,SAR图像也称合成孔径雷达图像,是利用微波作为传输介质收集目标物的相位与幅度信息的全息成像,属于主动成像。与自然场景图像和光学遥感图像相比,SAR图像有许多优点,不仅可以以较低分辨率在大范围内收集信息,或者在较小区域内收集详细的高分辨率图像,而且具有全天时的数据获取能力,成像不受光线限制,白天或黑夜均可工作,无阳光照射要求。
S102:对待测SAR图像进行预处理。
可以理解的是,SAR图像的预处理是用于改善待测SAR图像的图像质量,统一图像的灰度值和对比度,为后续的特征提取和分类识别打好基础。如图2所示,图2为对某一SAR图像进行预处理之前和预处理之后的对比图。
可选地,对待测SAR图像预处理可以包括对所述待测SAR图像进行辐射校正、热噪声去除、斑点滤波、地理编码和分贝化中的一种或多种操作。
其中,辐射校正用于消除图像数据中依附在辐射亮度中的各种失真。热噪声去除用于为全体像素值减去全黑时引入的平均热噪声值,增强图像细节。斑点滤波用于去除待测SAR图像中的斑点噪声,使图像更均匀。地理编码用于根据统计资料或地址信息对待测SAR图像建立空间坐标关系。分贝化用于将低灰度值的像素进行压缩,从而扩大像素的动态范围,改善待测SAR图像的亮度和对比度,增强图片细节和信息。
S103:将预处理后的待测SAR图像输入涡旋检测模型,以便利用涡旋检测模型得到标注图像。
其中,标注图像为在待测SAR图像中标注出涡旋位置的图像。可选地,如图3所示,在标注图像中可以通过利用框线标出涡旋区域的方式标注出涡旋位置。当然,也可以采用其他方式标注出涡旋位置,例如同时输出涡旋在待测SAR图像上的位置坐标和所标框线的宽高信息,均不影响本申请实施例的正常实现。
其中,涡旋检测模型是预先根据含有多种涡旋类型的SAR图像训练得到的。涡旋检测模型是在深度学习模型的基础上,对深度学习模型中的YOLOv5网络结构进行多次改进,多次迭代训练得到的,具有较高的精度和较强的泛化性,可以适用于不同海域的SAR图像。
可选地,若对待测SAR图像进行预处理时包括地理编码的操作,还可以将标注图像输入到地理仿射变换模型中,以便该地理仿射变换模型根据标注图像中标注出的涡旋位置,得到涡旋对应的地理位置和尺寸信息。其中涡旋的尺寸信息为涡旋的长半轴和短半轴的半径。
作为举例,若标注图像中包括第一标注框,第一标注框用于标注该标注图像中的第一涡旋的区域。则方法还包括:将标注图像输入到地理仿射变换模型,以便利用地理仿射变换模型将标注图像中的第一标注框的像素坐标转换为地理坐标,得到第一涡旋的涡心经纬度信息和尺寸信息。
需要说明的是,该地理仿射变换模型是利用开源的地理空间数据抽象库(Geospatial Data Abstraction Library,GDAL),将地理空间数据和像素坐标对应起来,实现像素坐标和地理坐标的转换。其中,地理空间数据抽象库是一个在X/MIT许可协议下读写空间数据的开源库,可以通过命令行工具来进行数据的转换和处理。
可选地,地理仿射变换模型可以包括如下公式:
;
其中,lon 为目标涡旋对应的地理经度,lat 为目标涡旋对应的地理纬度。Trans(0)和Trans(3)为平移参数,Trans(0)表示标注图像左上角的经度,Trans(3)表示标注图像左上角的纬度。Trans(1)和Trans(5)为缩放参数,Trans(1)表示标注图像的横向分辨率,Trans(5)表示标注图像的纵向分辨率。Trans(2)和Trans(4)为旋转参数,Trans(2)表示标注图像的经向旋转角度,Trans(4)表示标注图像的纬向旋转角度。col为目标涡旋对应的像素横坐标,row为目标涡旋对应的像素纵坐标。
本申请实施例根据含有多种涡旋类型的SAR图像训练得到涡旋检测模型,并且通过多次迭代训练对涡旋检测模型中的网络结构进行了改进,可以使涡旋检测模型具有更高的涡旋检测精度和更广泛的海域适用范围。实现了不同海域的SAR图像上的涡旋检测,提高了对SAR图像上的海洋涡旋的检测精度和适用海域的泛化性。并且,本申请实施例还利用了地理仿射变换模型,将得到的标注图像中的涡旋的像素坐标转化为实际的地理坐标,为涡旋检测赋予了地理意义,为海洋涡旋的研究和应用提供了有力支持。
在本申请实施例中,上述图1所述的涡旋检测模型存在多种可能的训练方式,下面进行举例介绍。需要说明的是,下文介绍中给出的实现方式仅作为示例性的说明,并不代表本申请实施例的全部实现方式。
参见图4,该图为本申请实施例提供的一种合成孔径雷达图像的海洋涡旋检测方法中的涡旋检测模型的训练方式的另一种方法流程图,该方法包括:
S201:获取训练样本集。
其中,训练样本集包括复杂样本和简单样本。复杂样本为海洋背景占比大于涡旋占比的涡旋图像,用于提高所述涡旋检测模型的泛化性。简单样本为海洋背景占比小于涡旋占比的涡旋图像,用于加快涡旋检测模型的收敛速度。
可选地,训练样本集可以由如下方式得到:首先,获取多个SAR图像,获取的SAR图像上含有多种不同尺寸和不同类型的涡旋。然后,根据得到的多个SAR图像得到涡旋样本集,该涡旋样本集包括多个涡旋样本,多个涡旋样本是根据对多个SAR图像中的涡旋进行裁剪得到的。最后,采用最小外接矩形法对多个涡旋样本中的涡旋进行标注,得到训练样本集。
其中,最小外接矩形法是指找到一个矩形能够完全包裹住所有给定点,且这个矩形的面积最小,这个矩形就是最小外接矩形。在本实施例中,可以采用锚框来标注出各个涡旋区域。在一些实施例中,也可以利用Labelme软件(一种在线的Java Script图像标注工具)来对涡旋进行标注,均不影响本申请实施例的正常实现。
可选地,获取多个SAR图像可以通过如下方式获取:首先,采集多个区域中含有涡旋特征的SAR图像。然后,对得到的SAR图像进行预处理,得到最终的多个SAR图像。其中,对SAR图像预处理的方式与上述图1中的预处理方式相同,在此不做赘述。
在一些实施例中,可以通过目视解译的方式选取SAR图像中的不同尺寸、不同类型和不同形状的涡旋,以此来提高训练样本集的样本质量。其中,目视解译是遥感图像解译的一种,是遥感成像的逆过程。它指专业人员通过直接观察或借助辅助判读仪器在遥感图像上获取特定目标地物信息的过程。也可以采用其他方式选取SAR图像上的涡旋,均不影响本申请实施例的正常实现。
在一些实施例中,在对SAR中的涡旋进行裁剪时,可以需要充分考虑前景和后景在图像上的占比,其中,前景为涡旋特征,后景为海洋背景。从而使训练样本集中包含大量的后景相对于前景占比大的涡旋样本。如此,可以使后续模型的训练过程中是模型学习到健壮的涡旋特征,从而提升涡旋检测模型的精度和泛化性。同时,从训练样本集也可以包含少部分前景相对于后景占比大的涡旋样本,有助于加快模型在训练过程中的收敛速度。
可选地,在利用所述训练样本集中的涡旋样本训练模型前,可以对涡旋样本进行在线数据增强操作。在每次迭代训练前,需要对输入到网络中的样本进行平移、旋转或去噪等增强操作。通过数据增强,每次迭代训练的图像数量保持不变,但由于所使用增强方法的随机性,导致每次迭代训练的图像都不同,从而间接增加了数据量,有利于提高训练质量。
可选地,如图5 所示,可以采用如下方式对涡旋样本进行在线数据增强:首先,利用几何变换方法或像素变换方法对多个涡旋样本进行数据增强,得到多个第一涡旋样本。然后,利用马赛克数据增强算法对第一涡旋样本进行图像拼接或特征融合,得到多个第二涡旋样本,以便将多个第二涡旋样本输入深度学习模型进行训练。当然,也可以采用其他方式进行数据增强,也不影响本申请实施例的正常实现。
其中,几何变换方法为基于几何变换的数据增强方法,包括转置、随机旋转90、垂直翻转、水平翻转和任意翻转。像素变换方法为基于像素变换的数据增强方法,包括:中值滤波、随机Gamma变换、直方图均衡化和高斯噪声等等。
其中,马赛克(Mosaic)数据增强算法,主要用于将四张图像进行拼接到一张图上作为训练样本。由于本实施例中的Mosaic算法用于目标检测,进行拼接时标注涡旋的锚框的坐标也要做相应的变化。
S202:根据训练样本集训练深度学习模型,得到第一训练模型。
其中,在对深度学习模型训练的过程中,可以对深度学习模型中的YOLOv5网络结构进行改进。其中,YOLOv5网络结构本质上是一种目标检测算法,其结构主要包括以下组成部分:输入层、骨干层、瓶颈层和输出层。
其中,输入层包括Mosaic数据增强单元,用于随机缩放、随机裁剪、随机排布的方式进行拼接输入的图片。骨干层具有较强的特征提取能力和计算效率,用于提取图片的特征,并不断缩小特征图。瓶颈层主要用于实现浅层图形特征和深层语义特征的融合。输出层用于输出不同大小的特征图。
可选地,如图6所示,图6为本申请实施例提供的改进后的YOLOv5神经网络的结构示意图。其中,图6中黑色矩形框用于表示在本实施例中对YOLOv5网络结构的改进部分。具体地,在本申请实施例中,可以对YOLOv5网络结构进行如下改进:在骨干层中加入通道注意力机制。将瓶颈层的最近邻上采样替换为内容感知特征重组上采样算子。在输出层确定锚框的尺寸,锚框为YOLOv5网络结构的输出特征图中标注出的目标区域。将YOLOv5网络结构的沿通道方向拼接的特征融合方法替换为加权双向特征金字塔网络的特征融合方法。为YOLOv5网络结构中的损失函数中的正样本的损失增加权重,得到第一训练模型中的网络结构。
其中,此处的通道注意力机制可以为ECA(Efficient Channel Attention)注意力机制。如图7所示,图7为ECA注意力机制的流程图。该注意力机制可以根据每个通道的重要性来自适应地调整通道权重,从而增强特征图对涡旋特征的表达能力,提高模型的效率和性能。
其中,内容感知特征重组上采样算子(Content-Aware ReAssembly of Features,CARAFE)是许多卷积网络架构中的关键操作,对于目标检测和语义/实例分割等密集预测任务至关重要。CARAFE上采样算子是一种轻量级的通用上采样算子,能够根据输入特征图的细节信息来自适应地调整上采样过程中的权重分配,从而在保持涡旋纹理细节的同时有效地上采样。如图8所示,图8为CARAFE 上采样算子的结构示意图。其中,x为原始的输入特征图,H、W和C为输入特征图x的形状参数。Cm为压缩通道数,Kup为重组内核大小,σ为上采样倍率,σW和σH为输出特征图x’的形状参数。N(xl, kup) 表示为以位置l为中心的x的 kup×kup子区域,即xl的邻域。Wl’为每个位置 l’ 预测的位置合适的内核。
其中,输出层输出的特征图中的锚框大小是根据公共数据集(Common Objects inContext,COCO)中的目标尺寸进行默认设置的。为了使训练的网络结构上更好地收敛,本实施例中可以使用K-means 聚类方法对数据集中涡旋目标的高度和宽度重新进行聚类,得到调整后的锚框的大小。例如,80×80 的输出特征图的锚框大小为(66,48)、(71,76)和(107,73)。40×40 的输出特征图的锚框大小为(109,107)、(149,97)和(146,136)。20×20 的输出特征图的锚框大小为(196,124)、(207,174)和(277,206)。
其中,加权双向特征金字塔网络(Bi-directional Feature Pyramid Network,BiFPN_add)是一种带权特征图融合方法,通过引入可学习的权重来学习不同输入特征的重要性,同时重复应用自上而下和自下而上的多尺度特征融合。传统的特征融合方法仅仅是简单地将多个特征图在通道维度上进行拼接,存在会导致计算量的急剧增加的问题。而替换后的BiFPN_add 特征融合方法通过加和操作将多个特征图对应位置的元素相加来融合多个特征图,不仅减小了参数量,而且通过引入权重,还提高了网络结构中的特征图的涡旋表达能力。
可选地,考虑到 YOLOv5 网络结构会将所有涡旋样本中的背景识别为负样本,这导致了正样本和负样本之间的数量不平衡问题。因此,YOLOv5网络结构中的损失函数中的正样本增加权重,来平衡正样本和负样本的损失比。
可以理解的是,上述多个对YOLOv5网络结构的改进是在对深度学习模型的迭代训练中逐步改进的。对于本技术领域的普通技术人员来说,在不脱离本申请实施例提出的改进原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本申请实施例的保护范围。
S203:测试第一训练模型的性能是否达到预设标准,若达到,进入步骤S204,若没有达到,进入步骤S205。
可选地,可以利用测试样本集来测试第一训练模型的性能。其中,测试样本集可分为输入样本集和输出结果集。该输入样本集包括的输入样本为采集到的原始图像,用于输入到第一训练模型中,得到输出图像。输出结果集中的结果样本为原始图像对应的标注了涡旋位置的图像,用于与输出图像进行比对得到测试结果。在一些实施例中,输出结果集中的结果样本的获取方式可以与训练样本集中的涡旋样本的获取方式一致,也不影响本申请实施例的正常实现。
可选地,可以利用精确率、召回率和综合性指标平均精度等多种指标来评估最终的测试结果,来判断第一训练模型的性能是否达到预设标准。
S204:将第一训练模型作为涡旋检测模型输出。
S205:调整训练参数,重复步骤S202至步骤S203。
其中,训练参数包括批大小、初始模型学习率、截至模型学习率、线程数和训练迭代次数中的一种或多种参数。
本申请实施例通过改进YOLOv5网络结构的骨干层、瓶颈层、输出层、特征融合方法和损失函数,来使深度学习模型中的网络结构充分学习到SAR图像上海洋涡旋的纹理特征,从而得到最终的涡旋检测模型。涡旋检测模型经过多次迭代训练,具有高精度识别功能,可以识别到不同海域及不同海洋背景的SAR图像上的涡旋,提高了SAR图像涡旋的检测精度,实现了适用于不同海域的SAR图像的海洋涡旋检测。
以上为本申请实施例提供的合成孔径雷达图像的海洋涡旋检测方法的一些具体实现方式,基于此,本申请还提供了对应的装置。下面将从功能单元化的角度对本申请实施例提供的装置进行介绍。
参见图9所示的合成孔径雷达SAR图像的海洋涡旋检测系统300的结构示意图,该系统300包括图像获取单元310、图像预处理单元320和涡旋检测模型330。
图像获取单元310,用于获取待测SAR图像;
图像预处理单元320,用于对待测SAR图像进行预处理;
涡旋检测模型330,用于接收预处理后的待测SAR图像,以便根据待测SAR图像得到标注图像述标注图像为在待测SAR图像中标注出涡旋位置的图像,涡旋检测模型是预先根据含有多种涡旋类型的SAR图像训练得到的。
可选地,图像预处理单元,还用于对待测SAR图像进行辐射校正、热噪声去除、斑点滤波、地理编码和分贝化中的一种或多种操作。
可选地,若图像预处理单元对待测SAR图像进行地理编码,标注图像中包括第一标注框,第一标注框用于标注该标注图像中的第一涡旋的所在区域;
所述系统还包括:地理仿射变换模型,地理仿射变换模型用于接收标注图像,将标注图像中的涡旋的像素坐标转换为地理坐标,得到第一标注框的涡心经纬度信息和尺寸信息。
其中,涡旋检测模型的训练过程与图4所述的训练方式一致,在此不作赘述。
可选地,如图10 所示,含有地理仿射变换模型的合成孔径雷达SAR图像的海洋涡旋检测系统可以采用如下方式对原始SAR图像进行检测:首先,将原始图像输入预处理模块,经过预处理模块对原始SAR图像进行辐射校正、热噪声去除、斑点滤波、地理编码和分贝化等操作。然后,将预处理后的SAR图像输入涡旋检测模型,该涡旋检测模型可以将SAR图像平均裁剪为6份,经过改进后的YOLOv5神经网络得到子图像,作为标注出涡旋位置的目标图像。最后,将该子图像输入地理仿射变换模型,得到子图像中的目标涡旋的涡心经纬度坐标和涡旋尺寸。
本申请实施例在利用涡旋检测模型实现SAR图像的高精度涡旋检测的基础上,将地理仿射变换模型和图像预处理单元与涡旋检测模型相结合,形成一个完整的系统。如此,本申请实施例能够通过图像预处理单元,突出待测SAR图像中的涡旋特征,从而能够准确地检测SAR图像中的海洋涡旋。并且可以将SAR图像中的涡旋的位置和尺寸信息与实际的地理空间信息相关联,为后续SAR图像涡旋的研究和应用提供了数据支持。
本申请实施例中提到的 “第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识,并不代表顺序上的第一、第二。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如只读存储器(英文:read-only memory,ROM)/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请示例性的实施方式,并非用于限定本申请的保护范围。

Claims (10)

1.一种合成孔径雷达SAR图像的海洋涡旋检测方法,其特征在于,所述方法包括:
获取待测SAR图像;
对所述待测SAR图像进行预处理;
将预处理后的待测SAR图像输入涡旋检测模型,以便利用所述涡旋检测模型得到标注图像,所述标注图像为在所述待测SAR图像中标注出涡旋位置的图像,所述涡旋检测模型是预先根据含有多种涡旋类型的SAR图像训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述对所述待测SAR图像进行预处理,包括:
对所述待测SAR图像进行辐射校正、热噪声去除、斑点滤波、地理编码和分贝化中的一种或多种操作。
3.根据权利要求2所述的方法,其特征在于,对所述待测SAR图像进行预处理包括对所述待测SAR图像进行地理编码,所述标注图像中包括第一标注框,所述第一标注框用于标注所述标注图像中的第一涡旋的区域;
所述方法还包括:将所述标注图像输入到地理仿射变换模型,以便利用所述地理仿射变换模型将所述第一标注框的像素坐标转换为地理坐标,得到所述第一涡旋的涡心经纬度信息和尺寸信息。
4.根据权利要求1所述的方法,其特征在于,所述涡旋检测模型是由如下方式进行训练的:
步骤a、获取训练样本集;
步骤b、根据所述训练样本集训练深度学习模型,得到第一训练模型;
步骤c、测试所述第一训练模型的性能是否达到预设标准,若达到,进入步骤d,若没有达到,进入步骤e;
步骤d、将所述第一训练模型作为所述涡旋检测模型输出;
步骤e、调整训练参数,重复步骤b至步骤c,所述训练参数包括批大小、初始模型学习率、截至模型学习率、线程数和训练迭代次数中的一种或多种参数。
5.根据权利要求4所述的方法,其特征在于,所述深度学习模型包括YOLOv5网络结构,所述YOLOv5网络结构包括输入层、骨干层、瓶颈层和输出层,所述根据所述训练样本集训练深度学习模型,得到第一训练模型,包括对所述YOLOv5网络结构进行如下改进:
在所述骨干层中加入通道注意力机制;
将所述瓶颈层的最近邻上采样替换为内容感知特征重组上采样算子;
在所述输出层确定锚框的尺寸,所述锚框为所述YOLOv5网络结构的输出特征图中标注出的目标区域;
将所述YOLOv5网络结构的沿通道方向拼接的特征融合方法替换为加权双向特征金字塔网络的特征融合方法;
为所述YOLOv5网络结构中的损失函数中的正样本的损失增加权重,得到所述第一训练模型中的网络结构。
6.根据权利要求4所述的方法,其特征在于,所述训练样本集包括复杂样本和简单样本;
所述复杂样本为海洋背景占比大于涡旋占比的涡旋图像,所述复杂样本用于提高所述涡旋检测模型的泛化性;
所述简单样本为海洋背景占比小于涡旋占比的涡旋图像,所述简单样本用于加快所述涡旋检测模型的收敛速度。
7.根据权利要求4所述的方法,其特征在于,所述训练样本集是通过如下方式获取的:
获取多个SAR图像,所述多个SAR图像上含有多种不同尺寸和不同类型的涡旋;
根据所述多个SAR图像得到涡旋样本集,所述涡旋样本集包括多个涡旋样本,所述多个涡旋样本是根据对多个SAR图像中的涡旋进行裁剪得到的;
采用最小外接矩形法对所述多个涡旋样本中的涡旋进行标注,得到所述训练样本集。
8.根据权利要求7所述的方法,其特征在于,在所述步骤b之前对所述训练样本集中的所述多个涡旋样本进行在线数据增强操作,包括:
利用几何变换方法或像素变换方法对所述多个涡旋样本进行数据增强,得到多个第一涡旋样本;
利用马赛克数据增强算法对所述多个第一涡旋样本进行图像拼接或特征融合,得到多个第二涡旋样本,以便将所述多个第二涡旋样本输入所述深度学习模型。
9.一种合成孔径雷达SAR图像的海洋涡旋检测系统,其特征在于,所述系统包括:图像获取单元、图像预处理单元和涡旋检测模型;
所述图像获取单元,用于获取待测SAR图像;
所述图像预处理单元,用于对所述待测SAR图像进行预处理;
所述涡旋检测模型,用于接收预处理后的所述待测SAR图像,以便根据所述待测SAR图像得到标注图像,所述标注图像为在所述待测SAR图像中标注出涡旋位置的图像,所述涡旋检测模型是预先根据含有不同涡旋类型的SAR图像训练得到的。
10.根据权利要求9所述的系统,其特征在于,所述图像预处理单元对所述待测SAR图像进行地理编码,所述标注图像中包括第一标注框,所述第一标注框用于标注所述标注图像中的第一涡旋的所在区域;
所述系统还包括:地理仿射变换模型,所述地理仿射变换模型用于接收所述标注图像,将所述标注框的像素坐标转换为地理坐标,得到所述第一涡旋的涡心经纬度信息和尺寸信息。
CN202310994886.5A 2023-08-08 2023-08-08 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统 Active CN116719031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310994886.5A CN116719031B (zh) 2023-08-08 2023-08-08 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310994886.5A CN116719031B (zh) 2023-08-08 2023-08-08 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统

Publications (2)

Publication Number Publication Date
CN116719031A true CN116719031A (zh) 2023-09-08
CN116719031B CN116719031B (zh) 2023-10-13

Family

ID=87873785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310994886.5A Active CN116719031B (zh) 2023-08-08 2023-08-08 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统

Country Status (1)

Country Link
CN (1) CN116719031B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576553A (zh) * 2024-01-15 2024-02-20 中国海洋大学 双极化sar图像海洋冰涡识别方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298280A (zh) * 2019-06-20 2019-10-01 上海海洋大学 一种基于mkl多特征融合的海洋涡旋识别方法
WO2020037965A1 (zh) * 2018-08-21 2020-02-27 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
CN112766194A (zh) * 2021-01-26 2021-05-07 上海海洋大学 一种海洋中尺度涡检测方法
CN114022774A (zh) * 2022-01-10 2022-02-08 航天宏图信息技术股份有限公司 一种基于雷达影像的海洋中尺度涡监测方法和装置
CN114494894A (zh) * 2022-04-18 2022-05-13 中国海洋大学 海洋黑涡自动识别与关键参数反演方法、装置和电子设备
CN115267770A (zh) * 2022-01-13 2022-11-01 中国科学院空天信息创新研究院 一种sar图像海洋涡旋检测方法及系统
CN115343711A (zh) * 2022-08-10 2022-11-15 河南大学 一种基于改进YOLOx的SAR图像舰船目标检测方法
CN115601649A (zh) * 2022-11-04 2023-01-13 上海海事大学(Cn) 基于TransUnet的海洋内波条纹分割方法、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037965A1 (zh) * 2018-08-21 2020-02-27 北京大学深圳研究生院 一种用于视频预测的多运动流深度卷积网络模型方法
CN110298280A (zh) * 2019-06-20 2019-10-01 上海海洋大学 一种基于mkl多特征融合的海洋涡旋识别方法
CN112766194A (zh) * 2021-01-26 2021-05-07 上海海洋大学 一种海洋中尺度涡检测方法
CN114022774A (zh) * 2022-01-10 2022-02-08 航天宏图信息技术股份有限公司 一种基于雷达影像的海洋中尺度涡监测方法和装置
CN115267770A (zh) * 2022-01-13 2022-11-01 中国科学院空天信息创新研究院 一种sar图像海洋涡旋检测方法及系统
CN114494894A (zh) * 2022-04-18 2022-05-13 中国海洋大学 海洋黑涡自动识别与关键参数反演方法、装置和电子设备
CN115343711A (zh) * 2022-08-10 2022-11-15 河南大学 一种基于改进YOLOx的SAR图像舰船目标检测方法
CN115601649A (zh) * 2022-11-04 2023-01-13 上海海事大学(Cn) 基于TransUnet的海洋内波条纹分割方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576553A (zh) * 2024-01-15 2024-02-20 中国海洋大学 双极化sar图像海洋冰涡识别方法、装置和电子设备
CN117576553B (zh) * 2024-01-15 2024-04-02 中国海洋大学 双极化sar图像海洋冰涡识别方法、装置和电子设备

Also Published As

Publication number Publication date
CN116719031B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
TWI762860B (zh) 目標檢測及目標檢測網路的訓練方法、裝置、設備及儲存媒體
CN110598784B (zh) 基于机器学习的建筑垃圾分类方法及装置
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN112446327A (zh) 一种基于无锚框的遥感图像目标检测方法
CN111753677B (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN113628180B (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
Wang et al. Ship detection based on fused features and rebuilt YOLOv3 networks in optical remote-sensing images
CN112069910B (zh) 一种遥感图像多方向舰船目标检测方法
CN115497005A (zh) 一种融合特征转移与注意力机制的yolov4遥感目标检测方法
CN113888547A (zh) 基于gan网络的无监督域自适应遥感道路语义分割方法
CN116719031B (zh) 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统
CN115546650A (zh) 基于yolo-v网络的检测遥感影像中舰船方法
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
CN113011295B (zh) 基于遥感影像识别光伏发电站的方法、计算机设备和介质
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN112883900A (zh) 遥感影像裸地反演可视图的方法及装置
CN115047455A (zh) 一种轻量化的sar图像舰船目标检测方法
CN116385911A (zh) 一种用于无人机巡检绝缘子的轻量型目标检测方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法
Drees et al. Multi-modal deep learning with sentinel-3 observations for the detection of oceanic internal waves
CN112365508A (zh) 基于视觉注意与残差网络的sar遥感图像水域分割方法
Huang et al. A deep learning approach to detecting ships from high-resolution aerial remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant