CN116758411A - 一种基于遥感图像逐像素处理的舰船小目标检测方法 - Google Patents
一种基于遥感图像逐像素处理的舰船小目标检测方法 Download PDFInfo
- Publication number
- CN116758411A CN116758411A CN202310504135.0A CN202310504135A CN116758411A CN 116758411 A CN116758411 A CN 116758411A CN 202310504135 A CN202310504135 A CN 202310504135A CN 116758411 A CN116758411 A CN 116758411A
- Authority
- CN
- China
- Prior art keywords
- pixel
- remote sensing
- ship
- target detection
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 230000001629 suppression Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000003475 lamination Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及遥感图像目标检测技术领域，特别是一种基于遥感图像逐像素处理的舰船小目标检测方法；该方法首先进行图像超分辨率重建及数据标注等工作；利用RegNet得到多尺度特征图；通过特征金字塔将多尺度特征图进行特征融合，得到多尺度特征信息；在特征图上对每个像素点进行采样，对每个像素点进行中心度分支预测和回归分类；对预测结果进行非极大值抑制来消除重复框；通过损失函数计算预测误差，并使用反向传播算法更新模型参数，得到舰船目标检测模型；本发明基于遥感图像逐像素处理的舰船小目标检测方法在特征提取基础上增加了反卷积层，有效解决了目标特征信息不足的问题，提升了小目标检测精度，通过逐像素预测的方式解决了检测模型冗余问题。
Description
技术领域
本发明涉及遥感图像目标检测技术领域，特别是一种基于遥感图像逐像素处理的舰船小目标检测方法。
背景技术
随着自然图像目标检测算法的不断发展和遥感成像技术的迅速进步，利用遥感图像进行空对地自动化目标探测与分析已经在海面监控领域得到了广泛的应用。虽然许多遥感图像研究者将自然图像领域的技术引入到遥感图像目标检测中，但是由于遥感图像具有从高空成像和随机排布的特点，使得使用与自然图像相同的水平检测框无法精确定位目标，因此近年来遥感图像目标检测开始采用旋转检测框。此外，基于遥感图像的舰船检测技术也已经成为海面管理的重要手段。
光学遥感图像中的舰船目标由于具有任意方向和多尺度的特点，采用旋转框检测方法可以更好地贴合目标并避免背景干扰。基于遥感图像逐像素处理的舰船检测网络利用全卷积网络和特定的锚框来直接预测旋转框的位置、长宽和角度信息，能够在不同的尺度下进行目标检测，同时处理不同尺度的物体；但在处理小目标上的表现不是很好，光学遥感图像包含信息极多，且背景复杂，常有目标尺寸小于输入图像5％的舰船小目标出现，这种目标尺寸占比过小的情况会导致图像特征信息不足、小目标被归类为背景等检测问题。传统的基于锚框的方法是网络中预定义的一些固定大小、长宽比的矩形框，生成的候选框数量较多，训练和推理时计算量大，需要消耗更多的内存和计算资源，使得模型庞大，增加了模型训练和部署难度，也增加了检测时需要的计算资源，造成检测模型冗余，不利于算法迁移和移动式平台嵌入。
综上所述，如何在遥感图像目标检测中准确检测小目标，以及如何解决检测模型冗余、实现网络轻量化，仍是当前遥感图像目标检测领域中有待解决的问题。
发明内容
因此，本发明的目的是提供一种基于遥感图像逐像素处理的舰船小目标检测方法，解决小目标检测困难和检测模型冗余问题。
为实现上述目的，本发明提供了如下方案：
一种基于遥感图像逐像素处理的舰船小目标检测方法，包含如下步骤：
步骤a、使用基于生成对抗网络的图像切片增强算法，对获取的图像进行超分辨率重建处理；
步骤b、调整网络初始宽度和宽度乘数系数，让RegNet网络提取输入图像特征，得到不同层次的特征，加入反卷积操作，使模型检测小目标更准确；
步骤c、对所述不同层次特征，通过双向特征金字塔模块，使用自顶向下和自底向上路径进行特征融合，使用上下文细化模块的注意力机制，增强模型对区域内目标的关注程度；
步骤d、在特征图上对每个像素点进行采样预测，通过中心度分支由候选框内关键点坐标，判断该物体边界框位置信息，使用回归分支估计目标框的尺寸和位置，生成有关物体的边界框，通过一个多元分类器得到该区域内不同目标类别概率得分，设置阈值，得分低于阈值的目标类别视为背景，得分高于阈值的目标类别保留为预测结果；
步骤e、对边界框使用边界框偏移和缩放比例进行校正，之后使用非极大值抑制进行边界框去重，对边界框按照置信度从高到低进行排序，逐个选择置信度最高的边界框，将置信度最高的边界框与剩余所有的边界框进行交并比计算，得到精确的物体边界框；
步骤f、通过损失函数计算误差，并使用反向传播算法更新模型参数，得到任意方向舰船小目标检测模型；
步骤g、使用所述任意方向舰船小目标检测模型，对输入遥感图像进行检测。
上述的一种基于遥感图像逐像素处理的舰船小目标检测方法，为处理含舰船目标的低分辨率遥感图像，所述步骤a包括使用基于生成对抗网络的图像切片增强算法，对输入图像中的模糊目标进行单帧、多帧图像高清重建，恢复图像中目标纹理细节。
上述的一种基于遥感图像逐像素处理的舰船小目标检测方法，为了准确检测小目标，所述步骤b包括：
通过RegNet模型使用NRB结构，在每个块中利用多尺度的信息进行特征提取；
在特征提取网络基础上增加了反卷积层，通过反卷积操作将低分辨率的特征图上采样到高分辨率。
上述的一种基于遥感图像逐像素处理的舰船小目标检测方法，为了减少信息的丢失和模糊性，在双向特征金字塔特征融合过程，每个级别的金字塔中，正向路径将上一级别的特征图通过卷积和池化操作缩小，并与下一级别的特征图进行特征融合；反向路径则将下一级别的特征图通过上采样和卷积操作放大，并与上一级别的特征图进行特征融合。
上述的一种基于遥感图像逐像素处理的舰船小目标检测方法，所述步骤d包括：
将特征图中的每一个点重新映射回原始图片，若映射回原始图片中的点位于边界框范围内且分类类别符合预期，则将该点赋为正向权值，否则视为负；
对每个像素点上的预测，由三个分支共同完成，对于每个像素点，在特征图上以其为中心生成一个正方形感受野区域，每个区域具有固定的尺度大小和对应的权值；
分类分支会输出该像素点属于哪个类别的概率；中心点分支会预测该像素点是否为物体的中心点；最后，边界框回归分支会预测该像素点对应物体的边界框；这三个分支共同处理每个level中的每个像素点，最终可以得到所有可能的物体框。
通过网络预测的边界框偏移量和缩放比例对原始边界框进行校正，得到更加精确的物体边界框后，利用非极大值抑制的方法去除重复的检测框。
上述的一种基于遥感图像逐像素处理的舰船小目标检测方法，为了防止模型过拟合，综合了分类损失、回归损失和中心损失，整个网络的损失函数是使用带有L2正则化的交叉熵损失函数计算误差，并使用反向传播算法更新模型参数，得到任意方向舰船小目标检测模型，带有L2正则化的交叉熵损失函数表示为：
其中，L2表示正则化的交叉熵损失函数，yi表示第i个样本的真实标签，真为0，假为1，γi表示相应的预测概率值，N表示样本数量，//w//2表示权重向量的平方和，λ表示正则化系数，log为自然对数。
有益效果：
第一、本发明在检测模型的特征提取网络加入了反卷积模块，反卷积模块通过对特征图进行上采样操作，增加特征图分辨率，同时为后续卷积操作提供更丰富特征信息，然后进行卷积操作，生成与原始特征图相同尺寸的输出，使得模型可以更容易地捕捉到小目标的细节信息，从而提高模型对小目标检测精度；并在数据处理部分使用基于生成对抗网络的图像切片增强算法有效解决了目标特征信息不足的问题，实现了对低分辨率遥感图像的舰船目标检测和对小目标的检测。
第二、本发明使用逐像素预测的方法，无预定义锚框，减少了计算复杂度，能够在不同的尺度下进行目标检测，同时处理不同尺度的物体，大大减少了网络模型参数，实现了网络模型轻量化，解决了检测模型冗余的问题，可以在保证高效率的同时，减少资源消耗，提高模型实用性，促进算法迁移和与移动嵌入式平台的结合，适用于手机、无人机、智能相机等移动设备上的检测任务；网络模型的轻量化通过降低模型的计算复杂度，提高模型的计算速度和响应速度；移动平台的硬件资源及算力有限，但需要满足实时目标检测的需求。本发明的轻量化目标检测网络模型可以弥补这种不足，实现快速、精准的小目标检测。
附图说明
图1为本发明基于遥感图像逐像素处理的舰船小目标检测方法流程图。
图2为图像超分辨率重建对比示意图。
图3为水平采样与旋转采样对比图。
图4为任意方向舰船目标检测网络整体网络结构图。
图5为任意方向光学遥感舰船目标检测效果图。
具体实施方式
下面将结合附图对本发明具体实施方式做进一步详细描述。
该具体实施方式下的基于遥感图像逐像素处理的舰船小目标检测方法，流程图如图1所示，包含如下步骤：
步骤a、使用基于生成对抗网络的图像切片增强算法，对获取的图像进行超分辨率重建处理；
首先对输入图像采用基于生成对抗网络的图像切片增强算法进行超分辨率重建，为了增加数据的样本量，先将原始图像通过图像切片被分成相同大小的小图块；将其输入生成器网络，生成器不断生成高分辨率图像。此时是通过随机噪声输入生成器来得到初始图像的高分辨率版本；
由深度卷积神经网络构成的判别器网络接受生成器生成的高分辨率图片，同时接受对应的真实低分辨率图像，并评估生成器生成的图片与真实图片之间的差别；
生成器和判别器的目标通过对抗学习的方式进行优化，生成器和判别器的损失函数表示为下式：
其中，V(D,G)是生成器G和判别器D之间的损失函数，minG和maxD表示最小化生成器的损失函数和最大化判别器的损失函数，表示表示对真实数据样本x，以pdata(x)中的概率分布为权重，对log D(x)取期望值，其中pdata(x)是真实数据的概率分布，D(x)表示判别器对于数据样本x的预测结果，/>表示对于从先验噪声分布p(z)中采样得到的随机噪声向量z，以p(z)为权重计算log(1-D(G(z)))的期望值，G(z)表示生成器在给定随机噪声向量z的情况下生成的假样本，如图2所示为图像超分辨率重建前后对比图；
本实施例中所使用数据集由DIOR、NWPUVHR-10、HRSC2016和DOTA数据集，其中除了HRSC2016数据集是只包含一类遥感目标，其余三个数据集都是包含多类遥感目标，都包含舰船目标，使用roLabelImg工具进行数据标注，生成XML文件来记录标注结果，如图4所示为水平采样与旋转采样对比图，本实施方式按照7:1比例划分训练集和测试集。
步骤b、调整网络初始宽度和宽度乘数系数，让RegNet网络提取输入图像特征，得到不同层次的特征，加入反卷积操作，使模型检测小目标更准确；
将输入图像，通过一个卷积层进行特征提取，进行下采样。再特征图将送入多个基础块中，每个基础块包含一系列的残差连接和规则化设计，以逐渐提高特征表达能力。最后，将所有经过基础块处理后的特征图送入一个全局池化层中，并连接到最终的输出层；RegNet设计了一组灵活的超参数，包括深度、初始宽度、陡峭度、宽度参数、瓶颈比率、分组数等，通过特定超参数组合，可以得到符合需求的特征提取网络，RegNet的网络结构主要由三部分组成：stem、body和head；
stem：包含32个3x3的卷积核，步距为2，同时也包含BN和ReLU激活函数；
body：由四个堆叠的stage组成，经过多个堆叠的stage进行特征提取和降维；
head：将所有经过stage处理后的特征图进行平均池化，最后通过一个全连接输出层产生最终的预测结果；
RegNet首先通过stem部分对输入进行处理，然后经过多个堆叠的stage进行特征提取和降维，最终通过head部分输出预测结果。
为使提升小目标检测能力，本发明在RegNet网络基础上引入反卷积操作，通过反卷积将经过卷积操作得到的特征图重新映射回原始输入图像的空间中，并将特征图进行放大操作，从而得到输出图像，本发明的反卷积通过插值和卷积两个操作实现，其中插值操作是将低分辨率的特征图上采样到与输入图像相同的大小，这里采用双三次插值；
双三次插值首先以目标像素点为中心，在源图像上选取一个4×4的插值邻域，在插值区域内的每个像素点处，构建一个二元三次多项式模型：其中，p(x,y)为插值后得到的像素值，ai,j表示该多项式的系数，x和y分别表示目标像素点在插值区域内的相对坐标；利用插值区域内的16个像素点的值，可以得到16个二元方程组，即：p(xi,j,yi,j)＝fi,j，其中，fi,j表示插值区域内第i行第j列像素点的灰度值，(xi,j,yi,j)表示该像素点在插值区域内的相对坐标；解出这16个方程组，得到16个系数ai,j，通过得到的系数计算目标像素点的灰度值g，可以有效避免双线性插值和最近邻插值等低阶插值方法带来的模糊和失真问题。
步骤c、对所述不同层次特征，通过双向特征金字塔模块，使用自顶向下和自底向上路径进行特征融合，使用上下文细化模块的注意力机制，增强模型对区域内目标的关注程度；首先，用卷积层来生成一个包含多尺度特征的初始特征金字塔，接着采用自底向上的方式，将低分辨率的特征向高分辨率的特征进行融合，每一层特征都会被提取并且与比它下面的层级之前的特征进行融合，主要是卷积操作和特征放缩；采用自顶向下的方式，将高分辨率的特征向低分辨率的特征进行融合，以便更好地处理小物体和精细的位置信息；最后采用一组可学习的残差连接来整合两个方向的信息流，并对特征图进行多次迭代，来将自底向上和自顶向下的信息进行融合获得最终的多尺度特征金字塔，从而得到更好的特征表示；
为提高检测精度，本发明引入多尺度注意力机制，将不同分辨率和尺度的特征进行融合，让检测模型能在多个分辨率下探测到目标区域，能够更好地捕捉不同尺度物体的信息，本发明结合了双向特征金字塔和多尺度注意力机制。
步骤d、在特征图上对每个像素点进行采样预测，通过中心度分支由候选框内关键点坐标，判断该物体边界框位置信息，使用回归分支估计目标框的尺寸和位置，生成有关物体的边界框，通过一个多元分类器得到该区域内不同目标类别概率得分，设置阈值，得分低于阈值的目标类别视为背景，得分高于阈值的目标类别保留为预测结果；
在特征图上，对每个像素点作为所属位置区域中心点，保留该点的特征信息，并在该区域的每个任意方向采样多组矩形锚框，在特征图上对每个像素点进行采样预测，通过中心度分支由候选框内关键点坐标判断该物体边界框位置信息，使用回归器估计目标框的尺寸和位置，生成有关物体的边界框，通过一个多元分类器判断该区域是否包含物体并确定物体的边界框。
中心度分支对每个像素点逐个预测，将每个像素p(i,j)视为一个候选检测框，预测该位置是否为物体中心点，同时给出中心度权值，表示物体的中心距离该位置的远近，中心度分支会输出该位置处是否为物体的中心点的概率表示该像素点是否有可能是某个物体的中心点；如果该位置是物体的中心点，那么其对应的中心度得分Dij高；否则，Dij低；进行检测时，首先从中心度分支的输出中选择中心度得分最高的位置作为检测框的中心点；
回归分支采用Smooth L1回归器，估计目标框的尺寸和位置，生成有关物体的边界框；其中分类分支计算每个像素点属于各个类别的概率得分，采用多元分类器，使用softmax函数将每个类别的概率得分计算出来，生成一个概率分布向量，表示该特征图归属于特定类别的概率；将待检测光学遥感舰船图像生成的特征图输入多元分类网络，softmax函数可以将一个K维向量转化为K个0到1之间的实数值，并且这些实数值的和等于1，将一个实向量归一化后生成一个概率分布向量，x＝[x1,x2,…,xk]，xi表示第i个类别的得分，softmax函数计算每个类别的概率得分：e表示自然对数的底数，Pi表示第i个类别的概率得分；公式中分母部分是所有类别得分的指数和，将分子得分的指数除以指数和，即可得到每个类别的概率得分。
步骤e、对边界框使用边界框偏移和缩放比例进行校正，之后使用非极大值抑制进行边界框去重，对边界框按照置信度从高到低进行排序，逐个选择置信度最高的边界框，将置信度最高的边界框与剩余所有的边界框进行交并比计算，得到精确的物体边界框；
由于光学遥感图像包含信息很多，会产生干扰信息及重复框，需要通过NMS去除，将所有目标框按照得分进行降序排列，取出得分最高的目标框，将其加入最终输出结果列表L中，并从目标框列表中移除；计算剩余目标框与得分最高的目标框的IoU值，将IoU值大于一定阈值的目标框从列表中删除；
目标框之间的IoU值，是用于衡量两个目标框之间的重叠程度，计算方式如下：
其中，A和B分别代表目标框A和目标框B，当两个目标框完全重叠时，它们的IoU值为1；当两个目标框没有任何重叠部分时，它们的IoU值为0。
步骤f、通过损失函数计算误差，并使用反向传播算法更新模型参数，得到任意方向舰船小目标检测模型；
为了模型对训练数据过度拟合，使用正则化的交叉熵损失函数来提高模型泛化能力，同时能够有效进行分类，正则化的核心思想是通过在损失函数中加入一个惩罚项，限制模型的复杂度，从而减少模型对训练数据的过拟合程度，在交叉熵损失函数中加入正则项后，模型会更倾向于选择较简单的模型，进而避免出现过度拟合的风险，正则交叉熵损失函数表示为：
其中，L2表示正则化的交叉熵损失函数，yi表示第i个样本的真实标签，真为0，假为1，γi表示相应的预测概率值，N表示样本数量，//w//2表示权重向量的平方和，λ表示正则化系数，log为自然对数；若检测模型在测试集上表现不佳，可以结合实际情况调整模型参数，增加正则化系数λ的值，从而更加平滑地控制模型的复杂度，防止过拟合。
在得到模型误差后，使用基于链式法则的梯度下降算法，将输出误差沿着网络的反方向传播，计算每个参数对误差的贡献，实现参数的更新，具体实现方式为：
使用当前模型参数对输入进行一次前向传播，得到输出结果；
计算损失函数，将输出结果与真实标签进行比较，计算损失函数值；
根据链式法则，计算每个参数对损失函数的梯度，就是参数的灵敏度；
根据损失函数的梯度，使用一定的学习率来更新模型参数；重复上述步骤直到损失函数的值收敛或达到一定的迭代次数；
在正则交叉熵损失函数中，反向传播算法需要计算的损失函数的梯度由两部分组成：一部分是交叉熵损失函数的梯度，另一部分是正则化项的梯度，对于每个参数，梯度等于损失函数对该参数的偏导数加上正则化项对该参数的偏导数。
步骤g、使用所述任意方向舰船小目标检测模型，对输入遥感图像进行检测。
先将训练好的目标检测模型加载到内存中，再将待检测的图像进行预处理，同时将图像转换为适合模型输入的格式，将经过预处理后的图像输入到加载的模型中，模型对图像进行预测并输出检测结果，即目标物体的类别和位置信息；最后将检测结果输出到屏幕上，以便于使用者直观地了解检测结果，如图4为舰船小目标检测网络结构图，图5为本发明舰船目标检测效果图。
最后应说明的是，以上仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述具体实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述具体实施方式所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明具体实施方式技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (7)
1.一种基于遥感图像逐像素处理的舰船小目标检测方法，其特征在于，包含如下步骤：
步骤a、使用基于生成对抗网络的图像切片增强算法，对获取的图像进行超分辨率重建处理；
步骤b、调整网络初始宽度和宽度乘数系数，让RegNet网络提取输入图像特征，得到不同层次的特征，加入反卷积操作，使模型检测小目标更准确；
步骤c、对所述不同层次特征，通过双向特征金字塔模块，使用自顶向下和自底向上路径进行特征融合，使用上下文细化模块的注意力机制，增强模型对区域内目标的关注程度；
步骤d、在特征图上对每个像素点进行采样预测，通过中心度分支由候选框内关键点坐标，判断该物体边界框位置信息，使用回归分支估计目标框的尺寸和位置，生成有关物体的边界框，通过一个多元分类器得到该区域内不同目标类别概率得分，设置阈值，得分低于阈值的目标类别视为背景，得分高于阈值的目标类别保留为预测结果；
步骤e、对边界框使用边界框偏移和缩放比例进行校正，之后使用非极大值抑制进行边界框去重，对边界框按照置信度从高到低进行排序，逐个选择置信度最高的边界框，将置信度最高的边界框与剩余所有的边界框进行交并比计算，得到精确的物体边界框；
步骤f、通过损失函数计算误差，并使用反向传播算法更新模型参数，得到任意方向舰船小目标检测模型；
步骤g、使用所述任意方向舰船小目标检测模型，对输入遥感图像进行检测。
2.根据权利要求1所述的一种基于遥感图像逐像素处理的舰船小目标检测方法，其特征在于，为处理含舰船目标的低分辨率遥感图像，所述步骤a包括使用基于生成对抗网络的图像切片增强算法，对输入图像中的模糊目标进行单帧、多帧图像高清重建，恢复图像中目标纹理细节。
3.根据权利要求1所述的一种基于遥感图像逐像素处理的舰船小目标检测方法，其特征在于，为了准确检测小目标，所述步骤b包括：
通过RegNet模型使用NRB结构，在每个块中利用多尺度的信息进行特征提取；
在特征提取网络基础上增加了反卷积层，通过反卷积操作将低分辨率的特征图上采样到高分辨率。
4.根据权利要求1所述的一种基于遥感图像逐像素处理的舰船小目标检测方法，其特征在于，为了减少信息的丢失和模糊性，在双向特征金字塔特征融合过程，每个级别的金字塔中，正向路径将上一级别的特征图通过卷积和池化操作缩小，并与下一级别的特征图进行特征融合；反向路径则将下一级别的特征图通过上采样和卷积操作放大，并与上一级别的特征图进行特征融合。
5.根据权利要求1所述的一种基于遥感图像逐像素处理的舰船小目标检测方法，其特征在于，所述步骤d包括：
将特征图中的每一个点重新映射回原始图片，若映射回原始图片中的点位于边界框范围内且分类类别符合预期，则将该点赋为正向权值，否则视为负；
对每个像素点上的预测，由三个分支共同完成，对于每个像素点，在特征图上以其为中心生成一个正方形感受野区域，每个区域具有固定的尺度大小和对应的权值；
分类分支会输出该像素点属于哪个类别的概率；中心点分支会预测该像素点是否为物体的中心点；最后，边界框回归分支会预测该像素点对应物体的边界框；这三个分支共同处理每个level中的每个像素点，最终可以得到所有可能的物体框。
6.根据权利要求5所述的一种基于遥感图像逐像素处理的舰船小目标检测方法，其特征在于，通过网络预测的边界框偏移量和缩放比例对原始边界框进行校正，得到更加精确的物体边界框后，利用非极大值抑制的方法去除重复的检测框。
7.根据权利要求1或6所述的一种基于遥感图像逐像素处理的舰船小目标检测方法，其特征在于，为了防止模型过拟合，综合了分类损失、回归损失和中心损失，整个网络的损失函数是使用带有L2正则化的交叉熵损失函数计算误差，并使用反向传播算法更新模型参数，得到任意方向舰船小目标检测模型，带有L2正则化的交叉熵损失函数表示为：
其中，L2表示正则化的交叉熵损失函数，yi表示第i个样本的真实标签，真为0，假为1，γi表示相应的预测概率值，N表示样本数量，//w//2表示权重向量的平方和，λ表示正则化系数，log为自然对数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504135.0A CN116758411A (zh) | 2023-05-06 | 2023-05-06 | 一种基于遥感图像逐像素处理的舰船小目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504135.0A CN116758411A (zh) | 2023-05-06 | 2023-05-06 | 一种基于遥感图像逐像素处理的舰船小目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116758411A true CN116758411A (zh) | 2023-09-15 |
Family
ID=87954093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310504135.0A Pending CN116758411A (zh) | 2023-05-06 | 2023-05-06 | 一种基于遥感图像逐像素处理的舰船小目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758411A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152576A (zh) * | 2023-10-27 | 2023-12-01 | 北京观微科技有限公司 | 遥感图像的舰船检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-05-06 CN CN202310504135.0A patent/CN116758411A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152576A (zh) * | 2023-10-27 | 2023-12-01 | 北京观微科技有限公司 | 遥感图像的舰船检测方法、装置、电子设备及存储介质 |
| CN117152576B (zh) * | 2023-10-27 | 2023-12-29 | 北京观微科技有限公司 | 遥感图像的舰船检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11798132B2 (en) | Image inpainting method and apparatus, computer device, and storage medium | |
| CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN110189255B (zh) | 基于两级检测的人脸检测方法 | |
| CN112541904B (zh) | 一种无监督遥感图像变化检测方法、存储介质及计算设备 | |
| CN111914686B (zh) | 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统 | |
| CN111310666B (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
| CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
| CN110765865B (zh) | 基于改进的yolo算法的水下目标检测方法 | |
| CN111368769A (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
| CN113591617B (zh) | 基于深度学习的水面小目标检测与分类方法 | |
| CN116579616B (zh) | 一种基于深度学习的风险识别方法 | |
| CN114926693A (zh) | 基于加权距离的sar图像小样本识别方法及装置 | |
| CN115965862A (zh) | 基于掩码网络融合图像特征的sar舰船目标检测方法 | |
| CN116758411A (zh) | 一种基于遥感图像逐像素处理的舰船小目标检测方法 | |
| CN114782311A (zh) | 一种基于CenterNet改进的多尺度缺陷目标检测方法及系统 | |
| CN116824413A (zh) | 一种基于多尺度空洞卷积的航拍图像目标检测方法 | |
| Zuo et al. | A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN110084203B (zh) | 基于上下文关联的全卷积网络飞机层级检测方法 | |
| CN117315380A (zh) | 一种基于深度学习的肺炎ct图像分类方法及系统 | |
| CN112365508A (zh) | 基于视觉注意与残差网络的sar遥感图像水域分割方法 | |
| CN116665153A (zh) | 一种基于改进型Deeplabv3+网络模型的道路场景分割方法 | |
| CN116363610A (zh) | 一种基于改进YOLOv5的航拍车辆旋转目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |