CN117173550A - 合成孔径声纳图像水下小目标检测方法及系统 - Google Patents
合成孔径声纳图像水下小目标检测方法及系统 Download PDFInfo
- Publication number
- CN117173550A CN117173550A CN202311062705.1A CN202311062705A CN117173550A CN 117173550 A CN117173550 A CN 117173550A CN 202311062705 A CN202311062705 A CN 202311062705A CN 117173550 A CN117173550 A CN 117173550A
- Authority
- CN
- China
- Prior art keywords
- image
- synthetic aperture
- target detection
- aperture sonar
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 115
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000001629 suppression Effects 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 14
- 238000007906 compression Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- CLSIFQGHPQDTHQ-DTWKUNHWSA-N (2s,3r)-2-[(4-carboxyphenyl)methyl]-3-hydroxybutanedioic acid Chemical compound OC(=O)[C@H](O)[C@@H](C(O)=O)CC1=CC=C(C(O)=O)C=C1 CLSIFQGHPQDTHQ-DTWKUNHWSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
本发明公开了合成孔径声纳图像水下小目标检测方法及系统,该方法包括对阵元接收的声学回波数据进行处理,经冗余切割算法处理得到满足尺寸要求的图像切片;将图像切片逐个输入预先建立和训练好的小目标检测模型,得到每个切片目标检测结果,再利用二次非极大值抑制对切片中同一目标的重复识别结果进行筛选,最终实现合成孔径声纳图像水下小目标检测;该小目标检测模型采用改进的SSD网络实现轻量化目标检测,改进的SSD网络包括基础特征提取网络,基础特征提取网络采用改进的特征提取模块。本发明可对水下小目标进行检测,有效提高了目标检测的精度,同时避免目标漏检问题,为合成孔径声纳图像水下小目标检测任务提供有效解决手段。
Description
技术领域
本发明涉及水声信号处理领域,尤其涉及合成孔径声纳图像水下小目标检测方法及系统。
背景技术
合成孔径声纳(Synthetic Aperture Sonar,SAS)通过对基阵多个回波信号进行相干处理,合成等效虚拟长孔径来获得海底声纳图像。与侧扫声纳图像相比,SAS图像最为显著的优点是方位向分辨率较高,且理论分辨率与目标距离以及采用的声波频段无关。不过,感兴趣小目标实际物理尺寸较小,导致其有效像素点少,在SAS图像中的相对像素比也较低,这给后续的目标检测和识别带来了挑战。
传统的SAS图像感兴趣小目标检测先从SAS图像中提取感兴趣(Regions ofInterest,ROI)目标‘切片’;接着,对切片内目标做分割处理,然后,进一步提取分割图像的特征;最后,利用分类器对提取特征进行分类识别。不过,切片选取算法鲁棒性差、目标分割和特征提取算法的设计十分困难且容易造成有用信息丢失、浅层分类器也容易达到性能瓶颈。以深度学习为核心的人工智能算法引起了全世界高度重视,它从根本上改变了人们处理复杂和不确定性问题的方法,与传统的机器学习和信号处理方法相比,深度学习模拟人类视觉神经系统的层次体系,含有更多的隐含单元层,通过对原始数据逐层的非线性变换,可以得到更高层次的、更加抽象的特征表达,高层次的表达能够强化输入数据的区分能力,同时削弱不相关因素的不利影响。因此,通过借鉴深度学习技术提高SAS图像感兴趣小目标的检测识别精度具有重要的理论和实践意义。目前,基于卷积神经网络(ConvolutionalNeural Networks,CNN)的目标检测模型在一个框架内实现了目标检测和识别的统一。目标检测模型可分为基于候选区域和基于回归两类,其中基于候选区域的模型主要代表有R-CNN(Region-CNN)、Fast R-CNN(Fast Region-CNN)和Faster R-CNN(Faster Region-CNN)等,基于回归思想的模型主要代表有YOLO(You Only Look Once)和SSD(Single ShotDetection,单阶段目标检测器),SSD模型较好的兼顾了检测精度和检测速度。不过,两类目标检测模型输入图像的尺寸都相对较小,如基于候选区域的模型检测考虑Faster R-CNN原始图像输入大小是1000像素×600像素,SSD原始图像输入大小是300像素×300像素或512像素×512像素;YOLO原始图片输入大小是416像素×416像素或544像素×544像素。因此,简单的下采样操作,无法保证上述目标检测模型对感兴趣小目标的检测效果。
综上所述,目前急需一种适用高分辨率大尺寸SAS图像水下小目标的检测方法,以避免漏检,同时提高目标检测精度。
发明内容
本发明的目的在于克服现有技术缺陷,提出了合成孔径声纳图像水下小目标检测方法及系统。
为了实现上述目的,本发明提出了一种合成孔径声纳图像水下小目标检测方法,所述方法包括:
步骤1)对阵元接收的声学回波数据进行处理得到合成孔径声纳图像,经冗余切割算法处理得到满足尺寸要求的若干个图像切片;
步骤2)将图像切片逐个输入预先建立和训练好的小目标检测模型,得到每个切片目标检测结果,再利用二次非极大值抑制对切片中同一目标的重复识别结果进行筛选,最终实现合成孔径声纳图像水下小目标检测;
所述小目标检测模型采用改进的SSD网络实现轻量化目标检测,所述改进的SSD网络包括基础特征提取网络,所述基础特征提取网络采用改进的特征提取模块。
优选的,所述步骤1)具体包括:
对阵元接收到的声学回波数据进行处理,得到合成孔径声纳图像I,尺寸为N×N;
经冗余切割算法处理后得到若干个图像切片Ir,c,h,s,其中,r表示该图像切片在I中的列坐标,c表示该图像切片在I中的行坐标,h表示该图像切片的尺寸,s表示该图像切片的割切步长,相邻图像切片在横向和纵向存在重叠,单边重叠比例为保证感兴趣小目标在图像切片中有完整存在的设定值,I的四个顶点图像是两边重叠,边沿图像是三边重叠,其余图像切片是四边重叠。
优选的,所述小目标检测模型包括依次连接的基础特征提取网络,附加特征提取网络、候选框生成模块和检测结果预测模块,其中,
所述基础特征提取网络包括2个改进的特征提取模块,分别输出2个尺寸的特征层;
所述附加特征提取网络包括4个卷积层,分别输出4个尺寸的特征层;
所述候选框生成模块,用于根据预先定义的尺度和纵横比从上述6个尺寸的特征层中提取数量和大小不同的候选框;
所述检测结果预测模块,用于对候选框内目标的类型和位置进行判断,并利用非极大值抑制算法对候选框内目标进行优化。
优选的,所述改进的特征提取模块的输入为特征D,输出为:
其中,D'为第一支路的输出,所述第一支路为依次连接的扩张层、分割层、三个并联支路、拼接层、通道选择组件和压缩层,所述扩张层和压缩层均包括BN层和ReLU层,所述并联支路包括依次连接的多尺度组件和空间选择组件,其中,
所述扩张层,用于负责输入特征通道扩张;
所述分割层,用于负责通道切割;
所述多尺度组件,用于负责输入信息的多尺度分解;
所述空间选择组件,用于负责选取多尺度层中有用的空间信息;
所述拼接层,用于负责通道整合;
所述通道选择组件,用于通过学习权重选择包含重要信息的通道;
所述压缩层,用于负责将特征通道压缩成与输入特征一致的数量。
优选的,所述特征提取模块的处理过程具体包括:
输入特征D经过扩张层,其输出特征Dex为:
Dex=Fex(D),D∈ΦH×H×M
其中,Fex为通道扩张操作,扩张层的卷积核尺寸为1×1,输出通道数量为扩张后的通道数M+;
Dex进入分割层及每个分支的多尺度组件,第k个分支的多尺度组件输出Dk branchs为:
其中,为分割后的特征,按三个并联支路均匀分割;/>输出特征图尺寸为H×H,通道数为M+/3,Fbranchs为多尺度深度可分离空洞卷积操作,
Dk branchs输入空间选择组件,其输出特征满足下式:
其中,输出特征图尺寸为H×H,通道数为M+/3;/>为第k个分支的空间权重,σ为激活函数,f3*3为卷积核尺寸为3×3的卷积操作,Fconcat为通道拼接操作,AvgPool为平均池化操作,MaxPool为最大值池化操作;
利用拼接层对3个在通道维度上拼接,拼接后的输出特征Dconcat为:
其中,Dconcat输出特征图的尺寸为H×H,通道数为M+,Fconcat为通道拼接操作;
Dconcat输入通道选择组件,其输出特征Dchanel为:
schanel=MLP(AvgPool(Dconcat))+MLP(MaxPool(Dconcat))
Dchanel=schanel·Dconcat
其中,Dchanel输出特征图的尺寸为H×H,通道数为M+,schanel为Dconcat的通道权重系数,MLP为共享全连接网络;
对Dchanel进行通道压缩,通道压缩后的特征D'为:
D'=Fsq(Dchanel),D'∈ΦH×H×M
其中,D'输出特征图的尺寸为H×H,通道数与输入特征D的通道数相等,为M,Fsq为通道压缩操作,卷积核尺寸为1×1。
优选的,所述检测结果预测模块的处理过程具体包括:
对于图像切片的检测信息Br,c,i,j,经二次非极大值抑制算法Soft-NMS剔除重叠建议框,最终得到每个类别中每个位置上回归修正后得分最高的包围框,即小目标检测结果
其中,r表示在合成孔径声纳图像I中的列坐标,c表示在I中的行坐标,i表示目标的类型;其中Si为当前循环中得分最高的候选框,br,c,i为当前位置上的检测信息,iou表示交并比函数,Tt为IoU阈值。
优选的,所述方法还包括小目标检测模型的训练步骤,具体包括:
从真实水下环境中采集原始声纳数据,经处理得到标准尺寸合成孔径声纳图像,并进行标注生成训练集;
将训练集数据依次输入改进的SSD网络,直至满足训练要求,得到训练好的小目标检测模型。
另一方面,本发明提出了一种合成孔径声纳图像水下小目标检测系统,所述系统包括:
处理模块,用于对阵元接收的声学回波数据进行处理得到合成孔径声纳图像,经冗余切割算法处理得到满足尺寸要求的若干个图像切片;
平台部署模块,用于将预先建立和训练好的小目标检测模型部署到嵌入式平台;和
检测输出模块,用于将图像切片逐个输入预先建立和训练好的小目标检测模型,得到每个切片目标检测结果,再利用二次非极大值抑制对切片中同一目标的重复识别结果进行筛选,最终实现合成孔径声纳图像水下小目标检测;
所述小目标检测模型采用改进的SSD网络实现轻量化目标检测,所述改进的SSD网络包括基础特征提取网络,所述基础特征提取网络采用改进的特征提取模块。
与现有技术相比,本发明的优势在于:
本发明将合成孔径声纳与改进的SSD目标检测模型相结合,提出了一种水下小目标检测模型,该方法以端到端的方式解决现有方法存在漏检以及水下小目标检测精度低的问题,通过改进特征提取单元,提高了网络对水下小目标的适应能力。另外,由于采用冗余切割,保证了水下小目标检测的完整性。
附图说明
图1是本发明提供的基于改进SSD的水下小目标检测方法与系统实现框架;
图2是本发明使用的改进特征提取模块;
图3是本发明使用的改进SSD网络结构;
图4是本发明使用的改进HRSSD水下小目标检测方法;
图5是本发明提供的SAS图像水下小目标检测效果图1;
图6是本发明提供的SAS图像水下小目标检测效果图2;
图7是本发明提供的SAS图像水下小目标检测效果图3。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
本发明的实施例1提出了一种合成孔径声纳图像水下小目标检测方法。
本发明包括合成孔径声纳图像预处理、数据集制作、模型训练和平台部署。第一步,利用合成孔径声纳采集海底目标图像、对数据进行标注并生成目标检测数据集;第二步,初始化训练参数,对改进的SSD模型进行训练,并对目标检测结果进行质量评估;第三步,将训练好的目标检测模型部署到边缘计算平台,实现对水下小目标在线检测以及结果输出。其总体流程框图如图1所示,具体步骤如下:
步骤1、水下目标检测数据集制作
步骤1-1、利用合成孔径声纳采集子模块从真实水下环境中采集原始声纳数据;
步骤1-2、利用开源软件labelImg对声纳图像进行标注;
步骤1-3、按照VOC数据集格式,采用随机划分的原则,对标注好的合成孔径声纳图像进行划分,分为训练样本集和测试样本集。
步骤2、模型训练
步骤2-1、在深度学习服务器上搭建训练平台所需的环境,包括开源软件Anaconda、Pytorch以及Torchvision等,同时对模型训练初始化参数进行设定,包括batchsize和epoch等;
步骤2-2、搭建改进的特征提取模块,改进的特征提取模块(Inverted ResidualBlock Plus and Plus,IRB++)如图2所示。IRB++模块从多尺度、空间和通道三个维度对输入信息进行选择,其中改进的注意力组件记作BSC(Branch Spatial Channel Attention)。IRB++模块沿用IRB+模块先“扩张”后“压缩”的策略,并由扩张层、分割层、多尺度(SelectiveDilated Kernel,SDK)组件、空间选择(Spatial Attention,SA)组件、拼接层、通道选择(Channel Attention,CA)组件和压缩层组成,其中扩张层负责输入特征通道扩张;分割层负责通道切割;多尺度组件负责输入信息的多尺度分解;空间选择组件负责选取多尺度层中有用的空间信息;拼接层负责通道整合;通道选择组件通过学习权重选择包含重要信息的通道;压缩层负责将特征通道压缩成与输入特征的一致的数量
对于一个任意的输入特征D∈ΦH×H×M,其中H×H为输入特征的尺寸,M为输入特征的通道数。输入特征D进入IRB++模块的两个支路网络:左侧支路负责感兴趣小目标特征提取和选择;右侧支路保持输入特征D不变,并最后与上侧支路网络的输出特征相加。对于下侧支路网络,输入特征D首先经过扩张层,其输出特征的数学表达为:
Dex=Fex(D),D∈ΦH×H×M (1)
其中D为原始输入特征,Dex为经过扩张层后的特征,Fex为通道扩张操作,扩张层的卷积核尺寸为1×1,输出通道数量为M+。
接着,输出特征Dex送入IRB++分割层和多尺度组件,其输出特征的数学表达式为:
其中为分割后的特征,k表示第k个分支,共3个分支,具体是按通道均匀分割;为多尺度组件输出的特征图,特征图尺寸为H×H,通道数为M+/3,Fbranchs为多尺度深度可分离空洞卷积操作。在多尺度组件中,卷积核的实际覆盖范围与空洞率之间的关系如下:
Rrdf=R+(κ-1)(R-1) (3)
其中Rrdf为该层卷积核实际覆盖范围,R为该层卷积核尺寸,κ为该层空洞率大小。例如,一个卷积核尺寸为3×3,空洞率2的空洞卷积层,卷积核实际覆盖范围为Rrdf=5。增大空洞率κ可以扩大卷积层的感受野。即降低模型的计算成本和较少模型的参数,本文κ=1,2,即Rrdf=3,5。
然后,输出特征送入空间选择组件,其输出特征的数学表达式为:
其中为第k个分支的空间权重,σ为激活函数,f3*3为卷积核尺寸为3×3的卷积操作,Fconcat为通道拼接操作,AvgPool为平均池化操作,MaxPool为最大值池化操作。/>为空间选择组件的输出,输出特征图尺寸为H×H,通道数为M+/3。
随后,利用拼接层对K个在通道维度上拼接,其输出特征的数学表达式为:
其中Dconcat为拼接后的输出特征,输出特征图的尺寸H×H,通道数为M+与扩张后的通道数相等,Fconcat为通道拼接操作。
接着,将Dconcat送入通道选择组件,其输出特征的数学表达式为:
schanel=MLP(AvgPool(Dconcat))+MLP(MaxPool(Dconcat)) (7)
Dchanel=schanel·Dconcat (8)
其中Dchanel为通道选择组件的输出特征,输出特征图的尺寸H×H,通道数为M+,schanel为Dconcat的通道权重系数,MLP共享全连接网络,AvgPool为平均池化操作,MaxPool为最大值池化操作。
然后,对Dchanel进行通道压缩,数学表达式为:
D'=Fsq(Dchanel),D'∈ΦH×H×M (9)
其中D'为通道压缩后的特征,特征图的尺寸H×H,通道数为M与输入特征D的通道数相等,Fsq为通道压缩操作,卷积核尺寸为1×1。
通过上面的计算,最后可以得到IRB++模块的输出特征数学表达式为:
其中为IRB++模块的输出特征,D∈ΦH×W×M,特征图尺寸为H×H,通道数为M。
步骤2-3、搭建改进的目标检测SSD-MV3P,网络结构如图3所示。在SSD-MV3模型内,利用IRB++替换IRB+模块,生成新的轻量化目标检测网络,记做SSD-MV3P。SSD-MV3P与SSD-MV3的网络结构保持一致,包括基础特征提取网络,附加特征提取网络,候选框生成和检测结果预测四个部分。SSD-MV3P基础网络由前14个卷积层组成,附加特征提取网络由后4个卷积层组成,其中各卷积层输入通道、中间通道、输出通道、步长和激活函数(RE表示ReLU激活函数,HS表示H-Swich激活函数)与SSD-MV3保持一致;不同的是SSD-MV3P利用IRB++替换SSD-MV3中IRB+模块,IRB++模块对应的分支数量为2、卷积核尺寸为3×3和5×5。基础网络中Out_Conv1和Out_Conv2,附加特征提取网络Conv19_1、Conv19_2、Conv19_3和Conv19_4用于候选框的生成,其中Out_Conv1、Out_Conv2、Conv19_1、Conv19_2、Conv19_3和Conv19_4的输入特征图尺寸为19×19、10×10、5×5、3×3、2×2和1×1。候选框生成部分根据预先定义的尺度(scales)和纵横比(aspect ratios)从上述6个尺度的特征层中提取数量和大小不同的候选框;卷积预测部分则是对候选框内目标的类型和位置进行判断,并利用非极大值抑制算法对候选框内目标进行优化。
步骤2-4、实时监测改进SSD网络的训练过程、以及测试结果,当评价指标满足要求时停止训练。
步骤3、平台部署
步骤3-1、在边缘计算平台上搭建目标检测运行环境。
步骤3-2、将训练好的目标检测模型部署到平台端,搭建高分辨率大尺寸SAS图像水下小目标检测方法HRSSD、方法流程如图4所示。SAS图像分辨率高,感兴趣小目标相对像素比低,直接将原始SAS图像输入到SSD-MV3,无法保证感兴趣小目标的检测效果。HRSSD采用先切割、后检测、再确认的策略对SAS图像感兴趣小目标进行检测识别。HRSSD包括以下三步:首先对高分辨率大尺寸SAS图像进行逐行、逐列冗余切割;然后,利用改进的感兴趣小目标检测模型SSD_MV3P对图像切片分别进行检测识别;最后,选用Soft-NMS对检测结果进行二次非极大值抑制,并将最终结果在高分辨率大尺寸SAS图像上显示。
假设高分辨率大尺寸SAS图像I的尺寸为N×N,经切割算法处理后的图像切片数学描述如下:
其中Ir,c,h,s表示图像切片,r表示SAS图像I中的列坐标,c表示SAS图像I中的行坐标,h表示图像切片的尺寸,s表示图像切片的割切步长。为了保证感兴趣小目标在图像切片中的完整性,相邻图像切片在横向和纵向存在重叠,其中单边重叠比例为20%(保证感兴趣小目标在图像切片中有完整的存在)。SAS图像I四个顶点图像存在两边重叠,其余边沿图像是三边重叠,其余图像切片是四边重叠。例如左上角的切片文件名为3200-500-500-450.jpg,即指r为3200,c为500,h为500,s为450。
图像切片Ir,c,h,s经SSD_MV3P生成感兴趣小目标检测结果,包括目标类型、概率和位置信息,记作:
其中Br,c,i,j表示图像切片的检测信息,r表示SAS图像I中的列坐标,c表示SAS图像I中的行坐标,i表示目标的类型。
检测结果Br,c,i经非极大值抑制算法Soft-NMS剔除重叠建议框,最终得到每个类别中每个位置上回归修正后得分最高的包围框,记作:
其中S为当前循环中得分最高的候选框,br,c,i为当前位置上的检测信息,iou表示交并比函数,Tt为IoU阈值,为二次非极大值抑制后的感兴趣小目标检测结果,并最终在SAS图像中显示。
步骤4、显示目标检测结果并对感兴趣目标进行显示。
实施例2
本发明的实施例2提出了一种合成孔径声纳图像水下小目标检测系统,基于实施例1的方法实现,系统包括:
1、处理模块,用于对阵元接收的声学回波数据进行处理得到合成孔径声纳图像,经冗余切割算法处理得到满足尺寸要求的若干个图像切片;包括合成孔径声纳子模块和图像冗余切割子模块;其中,
合成孔径声纳子模块,用于对接收到的阵元数据进行处理,得到实时合成孔径声纳图像;
图像切割子模块,用于对合成孔径声纳图像进行冗余切割,保证水下小目标的完整性;
2、平台部署模块,用于将预先建立和训练好的小目标检测模型部署到边缘计算平台;
3、检测输出模块,用于将图像切片逐个输入预先建立和训练好的小目标检测模型,得到每个切片目标检测结果,再利用二次非极大值抑制对切片中同一目标的重复识别结果进行筛选,最终实现合成孔径声纳图像水下小目标检测;包括:二次非极大值抑制子模块,用于对同一位置目标的冗余识别结果进行筛选;以及结果输出子模块,用于对水下小目标进行显示输出。
所述小目标检测模型采用改进的SSD网络实现轻量化目标检测,所述改进的SSD网络包括基础特征提取网络,所述基础特征提取网络采用改进的特征提取模块。
在训练过程中,还包括:数据集制作模块、模型训练模块。
4、数据集制作模块
包括:数据采集子模块、数据标注子模块和目标检测数据集制作子模块;其中,
数据采集子模块,从真实环境中获取水下合成孔径声纳图像;
数据标注子模块,结合任务需求对合成孔径声纳图像中水下小目标进行标注;
目标检测数据集制作子模块,按照标准目标检测数据集格式,将数据随机划分为训练集和测试集。
5、模型训练模块
包括:参数设置子模块、模型测试子模块。
所述参数设置子模块,用于完成模型训练所需参数初始化工作;
所述模型测试模块子模块,用于实时监视模型训练状态。
下面结合仿真实验,对本发明的技术效果作进一步的说明:
实验平台操作系统为RedHat 7.5、环境管理软件为Anaconda3、深度学习框架为Torch1.3.1和Torchvision 0.4.2等;BatchSize等于64、学习率等于0.001、所有模型均在GPU上进行训练和测试。为了检验HRSSD对高分辨率大尺寸SAS图像感兴趣小目标的检测识别性能,建立了一个SAS感兴趣小目标数据集:SST(Sonar Small Targets)。SST包含三种类型的目标:非目标、疑似物和圆柱物,共计2490幅图像,采集地点包括千岛湖、丹江口等地。
在HRSSD框架内,本实验比较分析SE、ECA、CBMA和本文BSC注意力组件在数据集SST上的性能差异。SSD-MV3的特征提取模块为IRB+,采用SE注意力组件;SSD-MV3E的特征提取模块为IRB_E,采用ECA注意力组件;SSD-MV3C的特征提取模块为IRB_C,采用CBAM注意力组件;SSD-MV3P的特征提取模块为IRB++,采用BSC注意力组件。分别记录检测模型在迭代1000次时对感兴趣小目标数据集SST的mAP数值、参数大小和平均检测时间。
表1不同注意力机制对SSD-MV3P性能的影响
从表1可以发现,SSD-MV3P的检测精度比SSD-MV3、SSD-MV3E和SSD-MV3C分别高4.39%、2.35%和2.51%,其中SSD-MV3E和SSD-MV3C两个模型的检测精度接近;模型参数比SSD-MV3、SSD-MV3E和SSD-MV3C分别增加4.6MB、7.1MB和5.7MB;检测时间比SSD-MV3、SSD-MV3E和SSD-MV3C分别增加23.81ms、24.94ms和13.29ms。鉴于目标模型和运算时间运行在相对较低水平,可以满足SAS图像感兴趣小目标检测的实时性要求,SSD-MV3P更适合SAS图像感兴趣小目标检测识别。
为了验证HRSSD的有效性,利用HRSSD对三个场景下的高分辨率大尺寸SAS图像感兴趣小目标进行检测识别,检测结果如图5、图6和图7所示。基于SSD-MV3P的HRSSD算法对感兴趣小目标能实现准确检测识别,并且检测结果完整、无重复。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种合成孔径声纳图像水下小目标检测方法,所述方法包括:
步骤1)对阵元接收的声学回波数据进行处理得到合成孔径声纳图像,经冗余切割算法处理得到满足尺寸要求的若干个图像切片;
步骤2)将图像切片逐个输入预先建立和训练好的小目标检测模型,得到每个切片目标检测结果,再利用二次非极大值抑制对切片中同一目标的重复识别结果进行筛选,最终实现合成孔径声纳图像水下小目标检测;
所述小目标检测模型采用改进的SSD网络实现轻量化目标检测,所述改进的SSD网络包括基础特征提取网络,所述基础特征提取网络采用改进的特征提取模块。
2.根据权利要求1所述的合成孔径声纳图像水下小目标检测方法,其特征在于,所述步骤1)具体包括:
对阵元接收到的声学回波数据进行处理,得到合成孔径声纳图像I,尺寸为N×N;
经冗余切割算法处理后得到若干个图像切片Ir,c,h,s,其中,r表示该图像切片在I中的列坐标,c表示该图像切片在I中的行坐标,h表示该图像切片的尺寸,s表示该图像切片的割切步长,相邻图像切片在横向和纵向存在重叠,单边重叠比例为保证感兴趣小目标在图像切片中有完整存在的设定值,I的四个顶点图像是两边重叠,边沿图像是三边重叠,其余图像切片是四边重叠。
3.根据权利要求2所述的合成孔径声纳图像水下小目标检测方法,其特征在于,所述小目标检测模型包括依次连接的基础特征提取网络,附加特征提取网络、候选框生成模块和检测结果预测模块,其中,
所述基础特征提取网络包括2个改进的特征提取模块,分别输出2个尺寸的特征层;
所述附加特征提取网络包括4个卷积层,分别输出4个尺寸的特征层;
所述候选框生成模块,用于根据预先定义的尺度和纵横比从上述6个尺寸的特征层中提取数量和大小不同的候选框;
所述检测结果预测模块,用于对候选框内目标的类型和位置进行判断,并利用非极大值抑制算法对候选框内目标进行优化。
4.根据权利要求3所述的合成孔径声纳图像水下小目标检测方法,其特征在于,所述改进的特征提取模块的输入为特征D,输出为:
其中,D'为第一支路的输出,所述第一支路为依次连接的扩张层、分割层、三个并联支路、拼接层、通道选择组件和压缩层,所述扩张层和压缩层均包括BN层和ReLU层,所述并联支路包括依次连接的多尺度组件和空间选择组件,其中,
所述扩张层,用于负责输入特征通道扩张;
所述分割层,用于负责通道切割;
所述多尺度组件,用于负责输入信息的多尺度分解;
所述空间选择组件,用于负责选取多尺度层中有用的空间信息;
所述拼接层,用于负责通道整合;
所述通道选择组件,用于通过学习权重选择包含重要信息的通道;
所述压缩层,用于负责将特征通道压缩成与输入特征一致的数量。
5.根据权利要求4所述的合成孔径声纳图像水下小目标检测方法,其特征在于,所述特征提取模块的处理过程具体包括:
输入特征D经过扩张层,其输出特征Dex为:
Dex=Fex(D),D∈ΦH×H×M
其中,Fex为通道扩张操作,扩张层的卷积核尺寸为1×1,输出通道数量为扩张后的通道数M+;
Dex进入分割层及每个分支的多尺度组件,第k个分支的多尺度组件输出Dk branchs为:
其中,为分割后的特征,按三个并联支路均匀分割;/>输出特征图尺寸为H×H,通道数为M+/3,Fbranchs为多尺度深度可分离空洞卷积操作,
Dk branchs输入空间选择组件,其输出特征满足下式:
其中,输出特征图尺寸为H×H,通道数为M+/3;/>为第k个分支的空间权重,σ为激活函数,f3*3为卷积核尺寸为3×3的卷积操作,Fconcat为通道拼接操作,AvgPool为平均池化操作,MaxPool为最大值池化操作;
利用拼接层对3个在通道维度上拼接,拼接后的输出特征Dconcat为:
其中,Dconcat输出特征图的尺寸为H×H,通道数为M+,Fconcat为通道拼接操作;
Dconcat输入通道选择组件,其输出特征Dchanel为:
schanel=MLP(AvgPool(Dconcat))+MLP(MaxPool(Dconcat))
Dchanel=schanel·Dconcat
其中,Dchanel输出特征图的尺寸为H×H,通道数为M+,schanel为Dconcat的通道权重系数,MLP为共享全连接网络;
对Dchanel进行通道压缩,通道压缩后的特征D'为:
D'=Fsq(Dchanel),D'∈ΦH×H×M
其中,D'输出特征图的尺寸为H×H,通道数与输入特征D的通道数相等,为M,Fsq为通道压缩操作,卷积核尺寸为1×1。
6.根据权利要求3所述的合成孔径声纳图像水下小目标检测方法,其特征在于,所述检测结果预测模块的处理过程具体包括:
对于图像切片的检测信息Br,c,i,j,经二次非极大值抑制算法Soft-NMS剔除重叠建议框,最终得到每个类别中每个位置上回归修正后得分最高的包围框,即小目标检测结果
其中,r表示在合成孔径声纳图像I中的列坐标,c表示在I中的行坐标,i表示目标的类型;其中Si为当前循环中得分最高的候选框,br,c,i为当前位置上的检测信息,iou表示交并比函数,Tt为IoU阈值。
7.根据权利要求1所述的合成孔径声纳图像水下小目标检测方法,其特征在于,所述方法还包括小目标检测模型的训练步骤,具体包括:
从真实水下环境中采集原始声纳数据,经处理得到标准尺寸合成孔径声纳图像,并进行标注生成训练集;
将训练集数据依次输入改进的SSD网络,直至满足训练要求,得到训练好的小目标检测模型。
8.一种合成孔径声纳图像水下小目标检测系统,其特征在于,所述系统包括:
处理模块,用于对阵元接收的声学回波数据进行处理得到合成孔径声纳图像,经冗余切割算法处理得到满足尺寸要求的若干个图像切片;
平台部署模块,用于将预先建立和训练好的小目标检测模型部署到嵌入式平台;和
检测输出模块,用于将图像切片逐个输入预先建立和训练好的小目标检测模型,得到每个切片目标检测结果,再利用二次非极大值抑制对切片中同一目标的重复识别结果进行筛选,最终实现合成孔径声纳图像水下小目标检测;
所述小目标检测模型采用改进的SSD网络实现轻量化目标检测,所述改进的SSD网络包括基础特征提取网络,所述基础特征提取网络采用改进的特征提取模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311062705.1A CN117173550A (zh) | 2023-08-22 | 2023-08-22 | 合成孔径声纳图像水下小目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311062705.1A CN117173550A (zh) | 2023-08-22 | 2023-08-22 | 合成孔径声纳图像水下小目标检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117173550A true CN117173550A (zh) | 2023-12-05 |
Family
ID=88938691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311062705.1A Pending CN117173550A (zh) | 2023-08-22 | 2023-08-22 | 合成孔径声纳图像水下小目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117173550A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
CN114782772A (zh) * | 2022-04-08 | 2022-07-22 | 河海大学 | 一种基于改进ssd算法的水上漂浮物检测识别方法 |
CN116612378A (zh) * | 2023-05-22 | 2023-08-18 | 河南大学 | 一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法 |
-
2023
- 2023-08-22 CN CN202311062705.1A patent/CN117173550A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
CN114782772A (zh) * | 2022-04-08 | 2022-07-22 | 河海大学 | 一种基于改进ssd算法的水上漂浮物检测识别方法 |
CN116612378A (zh) * | 2023-05-22 | 2023-08-18 | 河南大学 | 一种基于ssd改进的不平衡数据及复杂背景下水下小目标检测方法 |
Non-Patent Citations (1)
Title |
---|
李宝奇等: ""基于改进SSD的合成孔径声呐图像水下多尺度目标轻量化检测模型"", 《电子与信息学报》, vol. 43, no. 10, 31 October 2021 (2021-10-31), pages 2854 - 2862 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472627B (zh) | 一种端到端的sar图像识别方法、装置及存储介质 | |
CN110059558B (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
CN111339858B (zh) | 一种基于神经网络的油气管道标志物识别方法 | |
CN108230339B (zh) | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN109271856B (zh) | 基于扩张残差卷积的光学遥感图像目标检测方法 | |
US20210224609A1 (en) | Method, system and device for multi-label object detection based on an object detection network | |
CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
CN111401293B (zh) | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
CN112861785B (zh) | 一种基于实例分割和图像修复的带遮挡行人重识别方法 | |
US11348349B2 (en) | Training data increment method, electronic apparatus and computer-readable medium | |
CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
KR102325347B1 (ko) | 머신러닝 기반 결함 분류 장치 및 방법 | |
Avola et al. | Real-time deep learning method for automated detection and localization of structural defects in manufactured products | |
CN115223043A (zh) | 一种草莓缺陷检测方法、装置、计算机设备及存储介质 | |
CN113962973A (zh) | 一种基于卫星技术的输电线路无人机智能巡检系统及方法 | |
CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
CN112215301A (zh) | 基于卷积神经网络的影像直线探测方法 | |
CN116523885A (zh) | 一种基于多尺度融合及深度学习的pcb缺陷检测方法 | |
CN113763384B (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
CN117173550A (zh) | 合成孔径声纳图像水下小目标检测方法及系统 | |
CN111862039A (zh) | 快速编带视觉检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |