CN114821326A - 一种宽幅遥感影像中密集弱小目标检测识别方法 - Google Patents
一种宽幅遥感影像中密集弱小目标检测识别方法 Download PDFInfo
- Publication number
- CN114821326A CN114821326A CN202210455974.3A CN202210455974A CN114821326A CN 114821326 A CN114821326 A CN 114821326A CN 202210455974 A CN202210455974 A CN 202210455974A CN 114821326 A CN114821326 A CN 114821326A
- Authority
- CN
- China
- Prior art keywords
- weak
- prediction
- image
- training
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000005520 cutting process Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 101100441244 Caenorhabditis elegans csp-1 gene Proteins 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种宽幅遥感影像中密集弱小目标检测识别方法。该方法利用Mosaic、旋转、MixUp、缩放等手段进行样本扩增，获得丰富的、多尺度的训练样本；然后利用Transformer改进YOLOv5网络，并增加弱小目标检测头，增强模型对图像中全局信息和上下文信息的表征能力，提高密集场景下弱小目标检测识别性能；同时，使用多模型融合预测方法，提高预测精度，避免模型陷入局部最优；最后，使用分块检测的方法进行宽幅遥感影像中密集弱小目标检测识别。本发明使用了多模型融合预测，可以提高模型目标检测识别能力，避免模型陷入局部最优。
Description
技术领域
本发明涉及遥感图像处理领域，具体涉及一种宽幅遥感影像中密集弱小目标检测识别方法，可用于遥感影像中弱小目标的检测和识别。
背景技术
遥感影像目标检测识别广泛应用于国防军事等各个领域。然而由于一些目标本身固有特征，如物理尺寸小、边缘信息模糊、分布密集等，其在遥感影像中呈现弱小特点，并极大增加了目标检测识别的难度。在实际场景中，普遍存在密集弱小目标检测识别应用，如遥感影像中车辆识别、帐篷检测等，因此遥感影像中弱小目标检测识别具有重要的研究意义。
目前已有的弱小目标检测识别方法，概括起来可以分为基于传统浅层网络的弱小目标检测识别方法和基于深度学习的弱小目标检测识别方法。基于传统浅层网络的弱小目标检测识别方法主要通过对目标的纹理、灰度等特征，通过人工特征设计和学习的方式来实现对目标的检测识别，其漏检率较低，但是对于复杂场景的检测效果较差。基于深度学习的弱小目标检测识别方法主要通过增强对小目标的感受野、多尺度的信息融合、优化训练和标注以减少标签噪声的输入等方法强化对小目标的检测能力，如数据增强、注意力增强、多尺度特征融合增强等，然而基于深度学习的弱小目标检测识别方法容易因为过度卷积导致弱小目标位置信息的丢失，产生漏检问题。
发明内容
鉴于此，本发明提供一种宽幅遥感影像中密集弱小目标检测识别方法，可以有效解决光学遥感影像中密集弱小目标检测识别问题。
为了实现上述目的，本发明采用的技术方案为：
一种宽幅遥感影像中密集弱小目标检测识别方法，包括如下步骤：
(1)数据准备：对遥感影像数据集中的图像数据进行数据增广，获取数量更多、尺度更多的样本数据；
(2)特征提取：从训练样本集中抽取训练样本，加入Transformer编码器，改进YOLOv5网络，用于提取训练样本的多尺度特征；
(3)多尺度预测：增加弱小目标检测头，用于弱小目标检测识别，并结合原有的检测头实现多尺度目标预测，然后使用NMS非极大值抑制对多个检测头的预测结果进行融合；
(4)多模型融合预测：基于训练集训练n个模型，并将n个模型的预测结果使用WBF加权边界框进行融合，得到最终的预测结果，并用预测结果对各个模型调参；返回步骤(2)，直至各个模型损失函数一致收敛，完成模型训练，构成集成模型；
(5)弱小目标检测识别：使用集成模型对宽幅遥感影像中的密集弱小目标进行检测识别。
进一步的，所述步骤(1)中对训练集和测试集中的图像数据进行数据增广，包括以下方式：
(101)Mosaic马赛克处理：从训练集Dtrain中随机选取4张图片，对4张图片进行随机缩放、裁剪、色域变换，然后将4张图片随机排布组合成新的样本，并重新记录新样本中目标标注框坐标；
(102)旋转处理：以训练样本图像中心作为旋转中心点，设置旋转角度为45°，顺时针旋转7次，生成7个新样本；每次旋转后都计算目标标注框位置，并重新写入标注文件；
(103)MixUp混合处理：从训练样本中随机选取2张训练样本，记作x1和x2，其对应标签分别为y1和y2，计算混合后的样本xmix及其标签ymix：
λ＝Beta(α,β)
xmix＝λ*x1+(1-λ)*x2
ymix＝λ*y1+(1-λ)*y2
其中，参数α和β为按需设置的参数，Beta()为贝塔函数，λ为混合权重；
(104)缩放处理：将数据样本分别缩放到原始样本的1.5倍、0.75倍、0.5倍，获得不同尺度的训练样本。
进一步的，所述步骤(2)中对YOLOv5的改进为：
将原始YOLOv5网络颈部中的CSP模块替换为Transformer编码器，用于提取全局和上下文特征，加强密集场景下弱小目标检测能力；其中，Transformer编码器由注意力模块和全连接模块组成，注意力模块包含LayerNorm、注意力层、Dropout层，全连接模块包含LayerNorm、全连接层、Dropout层；注意力模块和全连接模块之间使用残差连接。
进一步的，所述步骤(3)的具体方式为：
在原始YOLOv5骨干网络的CSP_1层后，依次连接Concat、Transformer编码器、CONV层，用于提取图像的浅层特征，并增加一个检测头l，用于加强弱小目标的检测能力；
检测头l使用浅层的高分辨率特征图计算小目标的预测结果，然后将这个预测结果和其他检测头的预测结果使用NMS非极大值抑制进行融合，得到一个预测结果。
进一步的，所述步骤(4)的具体方式为：
(401)基于步骤(1)～(3)的方法随机训练n个模型，得到n个预测结果
其中，
为检测头i预测的边界框的左上角坐标，
为检测头i预测的边界框的右下角坐标，si为预测框i的置信度，i＝1,2,3,l；
(402)使用WBF加权边界框对n个预测结果融合，得到最终的预测结果：
其中，
为融合结果的左上角坐标，
为融合结果的右下角坐标，sP为融合结果的置信度；
(403)使用融合后的预测结果对模型参数进行反馈调节，直至各个模型损失函数一致收敛，完成模型训练，形成集成模型。
进一步的，步骤(5)的具体方式为：
(501)影像分块：影像尺寸为w×h，其中w、h分别为影像的宽度和长度；设定裁剪窗口宽度为w，长度为d，使裁剪窗口以(d-lobj)的步长沿影像长度方向滑动，将影像裁剪成影像块，其中lobj是影像中最大的目标尺寸；
(502)将影像块分别送入集成模型进行密集弱小目标预测；
(503)将预测后的影像块拼接，并对重叠区域的预测框使用NMS非极大值抑制进行融合。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明使用Mosaic、旋转、MixUp等手段对训练样本进行样本扩充，有效提高了模型的鲁棒性。并且对图像样本进行缩放，获得多尺度的样本数据，提高模型对不同尺度目标的检测识别能力；
(2)本发明在YOLOv5网络中加入Transformer编码器，能够更好的提取全局信息和上下文信息，同时增加了一个检测头，使用对弱小目标更敏感的浅层特征进行结果预测，有利于密集场景下弱小目标的检测识别；
(3)本发明使用了多模型融合预测，可以提高模型目标检测识别能力，避免模型陷入局部最优。
附图说明
图1是本发明中改进后的YOLOv5网络示意图；
图2是Transformer编码器的结构示意图；
图3是本发明实施例的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
一种宽幅遥感影像中密集弱小目标检测识别方法，包括如下步骤：
(1)数据准备：对遥感影像数据集中的图像数据进行数据增广，通过缩放等手段获取数量更多、尺度更多的样本数据；
(2)特征提取：从训练样本集中抽取训练样本，加入Transformer编码器，改进YOLOv5网络，用于提取训练样本的多尺度特征；
(3)多尺度预测：增加弱小目标检测头，用于弱小目标检测识别，并结合原有的检测头实现多尺度目标预测，然后使用NMS对多个检测头的预测结果进行融合；
(4)多模型融合预测：基于训练集训练n个模型，并将n个模型的预测结果使用WBF进行融合，作为最终的预测结果分别对各个模型调参，返回步骤(2)直至各个模型损失函数一致收敛，完成模型训练，构成集成模型；
(5)密集弱小目标检测识别：使用集成模型对宽幅遥感影像中的密集弱小目标进行检测识别。
步骤(1)中对训练集和测试集中的图像数据进行数据增广，包括以下方式：
(101)Mosaic：从训练集Dtrain中随机选取4张图片，对4张图片进行随机缩放、裁剪、色域变换，然后将4张图片随机排布组合成新的样本，并重新记录新样本中目标标注框坐标。该方法可有效丰富训练样本集，并且增加了小目标数量，提高模型对弱小目标的鲁棒性；
(102)旋转：以训练样本图像中心作为旋转中心点，设置旋转角度为45°，顺时针旋转7次，生成7个新样本。每次旋转后都计算目标标注框位置，并重新写入标注文件；
(103)MixUp：从训练样本中随机选取2张训练样本，记作x1和x2，其对应标签分别为y1和y2，计算混合后的样本xmix及其标签ymix：
λ＝Beta(α,β)
xmix＝λ*x1+(1-λ)*x2
ymix＝λ*y1+(1-λ)*y2
其中，参数α和β可根据需要设置。
(104)缩放：本发明中将数据样本分别缩放到原始样本的1.5倍、0.75倍、0.5倍，获得不同尺度的训练样本。
原始YOLOv5网络的颈部由CSP、CBL、上采样、Concat模块级联构成，并采用了残差结构，用于进一步提升特征的多样性和鲁棒性。本方法将原始YOLOv5网络颈部中的CSP模块替换为Transformer编码器，用于提取全局和上下文特征，加强密集场景下弱小目标检测能力；其中，Transformer编码器由注意力模块和全连接模块组成，注意力模块包含LayerNorm、注意力层、Dropout层，全连接模块包含LayerNorm、全连接层、Dropout层。同时，在注意力模块和全连接模块之间使用残差连接。
原始YOLOv5网络包含3个检测头，利用不同尺度的特征图进行目标检测结果的预测和输出。本方法中，在原始YOLOv5骨干网络的CSP_1层后，依次连接Concat、Transformer编码器、CONV层，用于提取图像的浅层特征，并增加一个检测头l，用于加强弱小目标的检测能力；检测头l使用浅层的高分辨率特征图计算小目标的预测结果，然后将这个预测结果和其他检测头的预测结果使用非极大值抑制NMS进行融合，得到一个预测结果。
步骤(4)的多模型融合预测，包括以下过程：
(401)基于步骤(1)～(3)随机训练n个模型，得到n个预测结果
其中，
为检测头i预测的边界框的左上角坐标，
为检测头i预测的边界框的右下角坐标，si为预测框i的置信度，i＝1,2,3,l；
(402)使用WBF对n个预测结果融合，得到最终的预测结果：
其中，
为融合结果的左上角坐标，
为融合结果的右下角坐标，sP为融合结果的置信度；
(403)使用融合后的预测结果对模型参数进行反馈调节，直至各个模型损失函数一致收敛，完成模型训练，形成集成模型。
步骤(5)中对宽幅遥感影像中密集弱小目标检测识别，包括以下过程：
(501)影像分块：影像尺寸为w×h，其中w、h分别为影像的宽度和长度。设定裁剪窗口宽度为w，长度为d，使裁剪窗口以(d-lobj)的步长沿影像长度方向滑动，将影像裁剪成若干个影像块，其中lobj是影像中最大的目标尺寸；
(502)将若干个影像块分别送入集成模型进行密集弱小目标预测；
(503)将预测后的影像块拼接，并对重叠区域的预测框使用NMS进行融合。
如图1所示，本方法对YOLOv5网络的创新之处在于：
(1)将原始YOLOv5网络的颈部中的CSP层替换成了Transformer编码器，可以更好地提取全局和上下文特征，加强密集场景下弱小目标检测能力，Transformer编码器结构示意如图2所示；
(2)增加了一个对弱小目标敏感的检测头l，提高了模型对弱小目标的检测能力，同时也提高了模型对各尺度样本数据的鲁棒性；
(3)本方法利用多个模型进行目标预测，并对多个模型的预测结果使用WBF算法进行融合，作为最终的目标预测结果，有助于提高模型预测精度，避免模型陷入局部最优。
如图3所示，本方法的具体实施过程如下：
1、数据准备
将遥感图像数据集D划分为训练集Dtrain和测试集Dtest，Dtrain和Dtest中的样本不存在重合。对Dtrain使用Mosaic、旋转、MixUp等方法进行样本扩充，并进行缩放，获得更丰富的多尺度样本数据。具体步骤如下：
(1)Mosaic：从训练集Dtrain中随机选取4张图片，对4张图片进行随机缩放、裁剪、色域变换，然后将4张图片随机排布组合成新的样本，并重新记录新样本中目标标注框坐标。该方法可有效丰富训练样本集，并且增加了小目标数量，提高模型对弱小目标的鲁棒性；
(2)旋转：以训练样本图像中心作为旋转中心点，设置旋转角度为45°，顺时针旋转7次，生成7个新样本。每次旋转后都计算目标标注框位置，并重新写入标注文件；
(3)MixUp：从训练样本中随机选取2张训练样本，记作x1和x2，其对应标签分别为y1和y2，计算混合后的样本xmix及其标签ymix：
λ＝Beta(α,β)
xmix＝λ*x1+(1-λ)*x2
ymix＝λ*y1+(1-λ)*y2
其中，本发明中取参数α＝β＝0.5。
(4)缩放：本发明中将数据样本分别缩放到原始样本的1.5倍、0.75倍、0.5倍，获得不同尺度的训练样本。
2、特征提取
将预处理后的图像送入基于Transformer的YOLOv5网络进行特征提取，分别得到训练样本不同尺度的特征图。
3、多尺度预测
在原始YOLOv5骨干网络的CSP_1层后，依次连接Concat、Transformer编码器、CONV层，用于提取图像的浅层特征，并增加一个检测头l，用于加强弱小目标的检测能力；
检测头l使用浅层的高分辨率特征图计算小目标的预测结果，然后将这个预测结果和其他检测头的预测结果使用非极大值抑制NMS进行融合，得到一个预测结果。
4、多模型融合预测
随机训练n个模型，得到n个预测结果：
其中，
为检测头i预测的边界框的左上角坐标，
为检测头i预测的边界框的右下角坐标，si为预测框i的置信度，i＝1,2,3,l；
使用WBF对n个预测结果融合，得到最终的预测结果：
其中，
为融合结果的左上角坐标，
为融合结果的右下角坐标，sP为融合结果的置信度；
使用融合后的预测结果对模型参数进行反馈调节，直至各个模型损失函数一致收敛，完成模型训练，形成集成模型。
5、密集弱小目标检测识别
(1)影像分块：影像尺寸为w×h，其中w、h分别为影像的宽度和长度。设定裁剪窗口宽度为w，长度为d，使裁剪窗口以(d-lobj)的步长沿影像长度方向滑动，将影像裁剪成若干个影像块，其中lobj是影像中最大的目标尺寸；
(2)将若干个影像块分别送入集成模型进行密集弱小目标预测；
(3)将预测后的影像块拼接，并对重叠区域的预测框使用NMS进行融合。
Claims (6)
1.一种宽幅遥感影像中密集弱小目标检测识别方法，其特征在于，包括如下步骤：
(1)数据准备：对遥感影像数据集中的图像数据进行数据增广，获取数量更多、尺度更多的样本数据；
(2)特征提取：从训练样本集中抽取训练样本，加入Transformer编码器，改进YOLOv5网络，用于提取训练样本的多尺度特征；
(3)多尺度预测：增加弱小目标检测头，用于弱小目标检测识别，并结合原有的检测头实现多尺度目标预测，然后使用NMS非极大值抑制对多个检测头的预测结果进行融合；
(4)多模型融合预测：基于训练集训练n个模型，并将n个模型的预测结果使用WBF加权边界框进行融合，得到最终的预测结果，并用预测结果对各个模型调参；返回步骤(2)，直至各个模型损失函数一致收敛，完成模型训练，构成集成模型；
(5)弱小目标检测识别：使用集成模型对宽幅遥感影像中的密集弱小目标进行检测识别。
2.根据权利要求1所述的一种宽幅遥感影像中密集弱小目标检测识别方法，其特征在于，所述步骤(1)中对训练集和测试集中的图像数据进行数据增广，包括以下方式：
(101)Mosaic马赛克处理：从训练集Dtrain中随机选取4张图片，对4张图片进行随机缩放、裁剪、色域变换，然后将4张图片随机排布组合成新的样本，并重新记录新样本中目标标注框坐标；
(102)旋转处理：以训练样本图像中心作为旋转中心点，设置旋转角度为45°，顺时针旋转7次，生成7个新样本；每次旋转后都计算目标标注框位置，并重新写入标注文件；
(103)MixUp混合处理：从训练样本中随机选取2张训练样本，记作x1和x2，其对应标签分别为y1和y2，计算混合后的样本xmix及其标签ymix：
λ＝Beta(α,β)
xmix＝λ*x1+(1-λ)*x2
ymix＝λ*y1+(1-λ)*y2
其中，参数α和β为按需设置的参数，Beta()为贝塔函数，λ为混合权重；
(104)缩放处理：将数据样本分别缩放到原始样本的1.5倍、0.75倍、0.5倍，获得不同尺度的训练样本。
3.根据权利要求2所述的一种宽幅遥感影像中密集弱小目标检测识别方法，其特征在于，所述步骤(2)中对YOLOv5的改进为：
将原始YOLOv5网络颈部中的CSP模块替换为Transformer编码器，用于提取全局和上下文特征，加强密集场景下弱小目标检测能力；其中，Transformer编码器由注意力模块和全连接模块组成，注意力模块包含LayerNorm、注意力层、Dropout层，全连接模块包含LayerNorm、全连接层、Dropout层；注意力模块和全连接模块之间使用残差连接。
4.根据权利要求3所述的一种宽幅遥感影像中密集弱小目标检测识别方法，其特征在于，所述步骤(3)的具体方式为：
在原始YOLOv5骨干网络的CSP_1层后，依次连接Concat、Transformer编码器、CONV层，用于提取图像的浅层特征，并增加一个检测头l，用于加强弱小目标的检测能力；
检测头l使用浅层的高分辨率特征图计算小目标的预测结果，然后将这个预测结果和其他检测头的预测结果使用NMS非极大值抑制进行融合，得到一个预测结果。
5.根据权利要求4所述的一种宽幅遥感影像中密集弱小目标检测识别方法，其特征在于，所述步骤(4)的具体方式为：
(401)基于步骤(1)～(3)的方法随机训练n个模型，得到n个预测结果
其中，
为检测头i预测的边界框的左上角坐标，
为检测头i预测的边界框的右下角坐标，si为预测框i的置信度，i＝1,2,3,l；
(402)使用WBF加权边界框对n个预测结果融合，得到最终的预测结果：
其中，
为融合结果的左上角坐标，
为融合结果的右下角坐标，sP为融合结果的置信度；
(403)使用融合后的预测结果对模型参数进行反馈调节，直至各个模型损失函数一致收敛，完成模型训练，形成集成模型。
6.根据权利要求1所述的一种宽幅遥感影像中密集弱小目标检测识别方法，其特征在于，步骤(5)的具体方式为：
(501)影像分块：影像尺寸为w×h，其中w、h分别为影像的宽度和长度；设定裁剪窗口宽度为w，长度为d，使裁剪窗口以(d-lobj)的步长沿影像长度方向滑动，将影像裁剪成影像块，其中lobj是影像中最大的目标尺寸；
(502)将影像块分别送入集成模型进行密集弱小目标预测；
(503)将预测后的影像块拼接，并对重叠区域的预测框使用NMS非极大值抑制进行融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210455974.3A CN114821326A (zh) | 2022-04-28 | 2022-04-28 | 一种宽幅遥感影像中密集弱小目标检测识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210455974.3A CN114821326A (zh) | 2022-04-28 | 2022-04-28 | 一种宽幅遥感影像中密集弱小目标检测识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114821326A true CN114821326A (zh) | 2022-07-29 |
Family
ID=82509951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210455974.3A Pending CN114821326A (zh) | 2022-04-28 | 2022-04-28 | 一种宽幅遥感影像中密集弱小目标检测识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114821326A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051984A (zh) * | 2022-12-20 | 2023-05-02 | 中国科学院空天信息创新研究院 | 一种基于Transformer的弱小目标检测方法 |
| CN116452972A (zh) * | 2023-03-17 | 2023-07-18 | 兰州交通大学 | 一种基于Transformer端到端的遥感图像车辆目标检测方法 |
| CN116994116A (zh) * | 2023-08-04 | 2023-11-03 | 北京泰策科技有限公司 | 基于自注意力模型与yolov5的目标检测方法及系统 |
| CN117253154A (zh) * | 2023-11-01 | 2023-12-19 | 华南农业大学 | 一种基于深度学习的集装箱弱小序列号目标检测识别方法 |
-
2022
- 2022-04-28 CN CN202210455974.3A patent/CN114821326A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051984A (zh) * | 2022-12-20 | 2023-05-02 | 中国科学院空天信息创新研究院 | 一种基于Transformer的弱小目标检测方法 |
| CN116051984B (zh) * | 2022-12-20 | 2023-07-04 | 中国科学院空天信息创新研究院 | 一种基于Transformer的弱小目标检测方法 |
| CN116452972A (zh) * | 2023-03-17 | 2023-07-18 | 兰州交通大学 | 一种基于Transformer端到端的遥感图像车辆目标检测方法 |
| CN116994116A (zh) * | 2023-08-04 | 2023-11-03 | 北京泰策科技有限公司 | 基于自注意力模型与yolov5的目标检测方法及系统 |
| CN116994116B (zh) * | 2023-08-04 | 2024-04-16 | 北京泰策科技有限公司 | 基于自注意力模型与yolov5的目标检测方法及系统 |
| CN117253154A (zh) * | 2023-11-01 | 2023-12-19 | 华南农业大学 | 一种基于深度学习的集装箱弱小序列号目标检测识别方法 |
| CN117253154B (zh) * | 2023-11-01 | 2024-02-13 | 华南农业大学 | 一种基于深度学习的集装箱弱小序列号目标检测识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934163B (zh) | 一种基于场景先验和特征再融合的航空图像车辆检测方法 | |
| CN114821326A (zh) | 一种宽幅遥感影像中密集弱小目标检测识别方法 | |
| CN111814623A (zh) | 一种基于深度神经网络的车辆车道偏离视觉检测方法 | |
| CN112949633A (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN114943876A (zh) | 一种多级语义融合的云和云影检测方法、设备及存储介质 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN114067142B (zh) | 一种实现场景结构预测、目标检测和车道级定位的方法 | |
| CN112712052A (zh) | 一种机场全景视频中微弱目标的检测识别方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN113159215A (zh) | 一种基于Faster Rcnn的小目标检测识别方法 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| CN112487981A (zh) | 基于双路分割的ma-yolo动态手势快速识别方法 | |
| CN112861700A (zh) | 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 | |
| CN112288776A (zh) | 一种基于多时间步金字塔编解码器的目标跟踪方法 | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| CN114943888B (zh) | 基于多尺度信息融合的海面小目标检测方法 | |
| CN112700476A (zh) | 一种基于卷积神经网络的红外船视频跟踪方法 | |
| CN116935332A (zh) | 一种基于动态视频的渔船目标检测与跟踪方法 | |
| CN118230323A (zh) | 一种融合空间细节上下文与多尺度交互图像语义分割方法 | |
| Yuan et al. | Multi-objects change detection based on Res-UNet | |
| CN117710843A (zh) | 一种基于无人机视频的交叉口动态信号配时方案检测方法 | |
| Liangjun et al. | MSFA-YOLO: A Multi-Scale SAR Ship Detection Algorithm Based on Fused Attention | |
| CN114820931B (zh) | 基于虚拟现实的智慧城市cim可视化实时成像方法 | |
| CN115861948A (zh) | 车道线检测方法、设备及预警方法、系统、介质 | |
| CN113378598A (zh) | 一种基于深度学习的动态条码检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |