CN117611998A - 一种基于改进YOLOv7的光学遥感图像目标检测方法 - Google Patents
一种基于改进YOLOv7的光学遥感图像目标检测方法 Download PDFInfo
- Publication number
- CN117611998A CN117611998A CN202311569862.1A CN202311569862A CN117611998A CN 117611998 A CN117611998 A CN 117611998A CN 202311569862 A CN202311569862 A CN 202311569862A CN 117611998 A CN117611998 A CN 117611998A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- optical remote
- yolov7
- improved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 131
- 230000003287 optical effect Effects 0.000 title claims abstract description 98
- 230000006870 function Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000003121 nonmonotonic effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进YOLOv7的光学遥感图像目标检测方法,包括:获取待检测光学遥感图像;将待检测光学遥感图像输入到基于改进YOLOv7网络模型得到的光学遥感图像目标检测网络模型中,输出目标检测结果;采用基于改进YOLOv7网络模型得到的光学遥感图像目标检测网络模型可以更准确地捕捉到小目标的位置信息,提升网络对检测目标的定位能力,避免漏检和误检的问题。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于改进YOLOv7的光学遥感图像目标检测方法。
背景技术
遥感影像目标检测具有广泛的应用价值,包括地质勘探、情报侦察和城市规划等领域。与传统的自然图像不同,遥感影像中的目标信息呈现碎片化分布,背景复杂多变的特点。这种特点导致在特征图上存在大量干扰信息,同时个别地物目标密集分布,进一步增加了遥感图像目标检测的难度。相较而言,传统算法在遥感目标检测方面的效果较差,在复杂条件下精度低且容易遗漏。
随着人工智能技术的不断发展,特别是深度学习的应用,研究人员已经取得了在遥感图像目标检测领域的重要突破。他们使用深度学习技术解决了传统算法无法解决的问题,并在多个开源数据集上展示出优越的检测效果。目前,基于深度学习的遥感影像目标检测的算法主要分为两类,分别是单阶段目标检测算法和两阶段目标检测算法。两阶段目标检测算法如R-CNN、Fast R-CNN、Faster R-CNN等,通过区域提议网络选取生成候选区域,再对其进行分类和回归得到检测结果。然而,在小目标的检测上仍存在准确率较低的问题。单阶段目标检测算法如SSD、YOLO等能够直接对目标进行定位,并输出目标的类别检测信息,然而,在小目标的检测和密集目标的情况下,单阶段算法可能会出现准确率较低的问题,为此,亟需一种能解决遥感图像目标检测中出现的小目标分布密集、目标尺度差异和背景复杂等问题的目标检测方法。
发明内容
本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此,本发明的目的在于提出一种基于改进YOLOv7的光学遥感图像目标检测方法,解决遥感图像背景复杂、对于密集分布的目标无法进行准确检测、尺度变化范围较大及小目标特征信息太少难以提取等检测难点。
为达到上述目的,本发明实施例提出了一种基于改进YOLOv7的光学遥感图像目标检测方法,包括:
获取待检测光学遥感图像;
将待检测光学遥感图像输入到基于改进YOLOv7网络模型得到的光学遥感图像目标检测网络模型中,输出目标检测结果。
优选的,基于改进YOLOv7网络模型得到光学遥感图像目标检测网络模型的方法,包括:
对原始YOLOv7网络模型的骨干网络包括的ELAN模块和MP模块嵌入具有偏移学习能力的可变形卷积模块;
对原始YOLOv7网络模型的颈部网络添加ACmix注意力机制;
将原始YOLOv7网络模型的CIoU损失函数替换为WIoU损失函数,得到改进YOLOv7网络模型;
获取光学遥感图像目标检测数据集;
根据光学遥感图像目标检测数据集对改进YOLOv7网络模型进行迭代训练,在收敛后选取精度最高的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型。
优选的,对原始YOLOv7网络模型的骨干网络包括的ELAN模块和MP模块嵌入具有偏移学习能力的可变形卷积模块,包括:
将原始YOLOv7网络模型的骨干网络中的任一层ELAN模块中部分CBS模块替换为DCNv2可变形卷积模块,并将替换卷积后的CBS模块重新命名为DCNS模块,新的ELAN模块命名为PELAN模块;
将原始YOLOv7网络模型的骨干网络中的任一层MP模块中部分CBS模块替换为DCNv2可变形卷积模块,并将替换卷积后的CBS模块重新命名为DCNS模块,,新的MP模块命名为PMP模块。
优选的,对原始YOLOv7网络模型的颈部网络添加ACmix注意力机制,包括将对原始YOLOv7网络模型的颈部网络添加ACmix模块;
所述ACmix模块,用于:
使用3个1×1的卷积对输入特征进行投影,将其分成N个部分,得到3×N个映射后的中间特征;
将3×N个映射后的中间特征分别输入第一个分支及第二个分支;
第一个分支中,使用卷积操作来获取局部感受野的特征信息,将局部感受野的特征信息经过全连接层后,再进行位移和聚合操作,然后,对输入的特征进行卷积处理,从而得到大小为H×W×C的特征;
在第二个分支上,利用ACmix注意力机制来获取全局感受野的特征信息,得到3×N个全局感受野的特征信息对应着Query、Key和Value特征图,对Query、Key和Value特征图进行卷积处理,得到了大小为H×W×C的特征;
将第一个分支及第二个分支对应的H×W×C的特征进行相加,得到最终的H×W×C的特征。
优选的,所述光学遥感图像目标检测数据集,包括:训练集、验证集、测试集。
优选的,所述WIoU损失函数,包括:
其中,LIoU为定位损失函数,即IoU损失,LIoU∈[0,1],在LIoU中Wi和Hi表示两个框的重叠部分的尺寸,w代表预测框的宽,h代表预测框的高;wgt代表真实框的宽,hgt代表真实框的高;
其中,RWIoU为距离注意力,RWIoU∈[1,e),x,y表示预测框的中心坐标,xgt、ygt表示真实框的中心坐标,Wg和Hg表示最小包围框的尺寸,上标*表示将Wg及Hg从计算图中分离,将其从变量变为常量;RWIoU∈[1,e);
LWIoUv1=RWIoULIoU
其中,LWIoUv1为WIoUv1的损失,即WIoUv1的损失函数。
优选的,所述光学遥感图像目标检测数据集,包括:若干个不同的目标类别;所述目标类别包括:飞机、机场、棒球场、篮球场、桥梁、烟囱、水坝、高速公路服务区、高速公路收费站、高尔夫球场、田径场、港口、立交桥、船只、体育场、储罐、网球场、火车站、车辆及风车。
优选的,在收敛后选取精度最高的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型,包括:
计算每个改进YOLOv7网络模型的平均准确率均值;
其中,P为精确度,TP为正确预测为正样本且实际为正样本的数量;FP为错误地将负样本预测为正样本的数量;
召回率R是指正确预测为正样本的数量与实际为正样本的数量之间的比值,其计算公式为:
其中,FN为将实际为正样本的样本错误预测为负样本的数量;
平均准确率AP和平均准确率均值mAP的计算公式如下
AP=∫0 1P(R)dR
其中,AP为平均准确率,P(R)为以召回率为X轴和准确率为Y轴绘制出的曲线,又称P-R曲线,P-R曲线与坐标轴围成图形的面积大小即为平均准确率;mAP为平均准确率均值,n为目标类别数,n取20;APi为第i个目标的平均精度;
选取平均准确率均值最大的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型。
优选的,所述PMP模块包括两个分支,第一个分支包括最大卷积层MaxPool和一个CBS模块,第二个分支包括一个CBS模块和一个DCNS模块。
优选的,所述PELAN模块包括两个分支,第一个分支包括一个CBS模块,第二个分支包括一个CBS模块和4个DCNS模块。
优选的,在根据光学遥感图像目标检测数据集对改进YOLOv7网络模型进行迭代训练之前,还包括:
对光学遥感图像目标检测数据集包括的光学遥感图像灰度化处理,得到灰度图像;
获取灰度图像中各像素点的灰度值并绘制灰度直方图;
根据灰度直方图中的灰度级及灰度级对应的频数,通过预设算法计算得到每个像素点的关注度值;
将每个像素点的关注度值与预设关注度阈值作比较,将关注度值大于等于预设关注度阈值的像素点作为第一关注度像素点;将关注度值小于预设关注度阈值的像素点作为第二关注度像素点;
根据第一关注度像素点对应的关注度值及第一关注度像素点的灰度值,通过预设增强算法计算得到第一关注度像素点增强后的灰度值;
根据第一关注度像素点增强后的灰度值及第二关注度像素点对应的灰度值生成增强后的光学遥感图像,得到增强后的光学遥感图像目标检测数据集。
根据本发明的一些实施例,提出了一种基于YOLOv7网络模型的改进方法,通过引入PELAN结构和PMP结构来降低网络复杂度,可以更准确地捕捉到小目标的位置信息,从而减少漏检和误检的问题,以实现检测速度和精度的更好平衡。此外,还引入了ACmix注意力机制到YOLOv7网络中,以抑制复杂背景和噪声的干扰,使网络能够更好地感知特征图中的空间位置信息,并增强在复杂背景下提取目标特征的能力,从而更好地检测小目标。另外,损失函数被替换为WIoU,以进一步增加对普通质量锚框的关注度,从而使锚框的预测更加准确,并有效降低漏检和误检的概率;实验结果显示,本发明所提出的一种基于改进YOLOv7的光学遥感图像目标检测方法在光学遥感图像目标检测方面取得了显著成果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据本发明一个实施例的一种基于改进YOLOv7的光学遥感图像目标检测方法流程图;
图2是根据本发明一个实施例的一种基于改进YOLOv7的光学遥感图像目标检测模型流程图;
图3是根据本发明一个实施例的基于可变形卷积的DCNS模块的框图;
图4是根据本发明一个实施例基于可变形卷积的PELAN模块的框图;
图5是根据本发明一个实施例基于可变形卷积的PMP模块的框图;
图6是根据本发明一个实施例ACmix模块的框图;
图7是根据本发明一个实施例改进后的YOLOv7网络模型的框图;
图8是根据本发明一个实施例原始YOLOv7光学遥感图像检测效果图;
图9是根据本发明一个实施例改进后的YOLOv7光学遥感图像检测效果图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1
如图1所示,一种基于改进YOLOv7的光学遥感图像目标检测方法,包括:
S1:获取待检测光学遥感图像;
S2:将待检测光学遥感图像输入到基于改进YOLOv7网络模型得到的光学遥感图像目标检测网络模型中,输出目标检测结果。
该实施例中,改进YOLOv7网络模型得到的光学遥感图像目标检测网络模型为提前训练好的基于改进YOLOv7的光学遥感图像目标检测模型。
上述技术方案有益效果:YOLOv7是一种实时目标检测算法,相比其他算法具有更快的检测速度,通过改进YOLOv7,使用更高分辨率的输入图像、引入注意力机制等,从而提升了光学遥感图像目标检测的准确性,通过使用光学遥感图像目标检测网络模型,可以同时检测和识别图像中的多个目标,包括建筑物、车辆、道路等;这对于遥感图像分析和应用具有重要意义,改进的YOLOv7网络模型通过对数据的充分学习和建模,能够适应不同类型的光学遥感图像数据,提高了目标检测的鲁棒性和泛化能力,通过改进YOLOv7,进一步优化了模型的设计,能够更好地捕捉和理解光学遥感图像中的目标信息,使得光学遥感图像的目标检测能够更加高效快速地完成。
实施例2
如图2所示,基于改进YOLOv7网络模型得到光学遥感图像目标检测网络模型的方法,包括:
S1:对原始YOLOv7网络模型的骨干网络包括的ELAN模块和MP模块嵌入具有偏移学习能力的可变形卷积模块;
S2:对原始YOLOv7网络模型的颈部网络添加ACmix注意力机制;
S3:将原始YOLOv7网络模型的CIoU损失函数替换为WIoU损失函数,得到改进YOLOv7网络模型;
S4:获取光学遥感图像目标检测数据集;
S5:根据光学遥感图像目标检测数据集对改进YOLOv7网络模型进行迭代训练,在收敛后选取精度最高的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型。
上述技术方案有益效果:将部分卷积替换为可变形卷积DCNv2卷积模块,可变形卷积具有更灵活的感受野,可以根据遥感图像中目标对象的形状和尺寸的不同而自适应改变感受野的大小和形状;其原理是通过学习像素点的偏移量来适应目标物体的形状和姿态,从而提高模型对目标细节的感知能力;在YOLOv7网络的颈部部分添加ACmix注意力机制,该注意力机制将卷积与自注意力两部分结合起来,从而提高网络对遥感图像中小尺寸目标的关注度;将网络中的原来的CIoU损失函数替换为WIoU损失函数,该损失函数是基于动态非单调的聚焦机制设计的;动态非单调聚焦机制使用"离群度"代替传统的IoU来评估锚框的质量,并采用明智的梯度增益分配策略,使得模型更加关注低质量的锚框;通过这种方式,模型可以更准确地进行目标定位,提高了模型的性能;通过光学遥感图像目标检测数据集对改进YOLOv7网络模型进行迭代训练,在收敛后选取精度mAP最高的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型。
实施例3
如图3-5所示,对原始YOLOv7网络模型的骨干网络包括的ELAN模块和MP模块嵌入具有偏移学习能力的可变形卷积模块,包括:
将原始YOLOv7网络模型的骨干网络中的任一层ELAN模块中部分CBS模块替换为DCNv2可变形卷积模块,并将替换卷积后的CBS模块重新命名为DCNS模块,新的ELAN模块命名为PELAN模块;
将原始YOLOv7网络模型的骨干网络中的任一层MP模块中部分CBS模块替换为DCNv2可变形卷积模块,并将替换卷积后的CBS模块重新命名为DCNS模块,,新的MP模块命名为PMP模块。
如图3所示,将部分卷积替换为可变形卷积DCNv2卷积模块,可变形卷积具有更灵活的感受野,可以根据遥感图像中目标对象的形状和尺寸的不同而自适应改变感受野的大小和形状;其原理是通过学习像素点的偏移量来适应目标物体的形状和姿态,从而提高模型对目标细节的感知能力。
如图4-5所示,将网络中的ELAN模块中的部分卷积替换为DCNv2可变形卷积模块,并将替换卷积后的CBS模块重新命名为DCNS模块,新的ELAN模块命名为PELAN模块,新的MP模块命名为PMP模块;ELAN模块中部分CBS模块替换为DCNv2可变形卷积模块,DCNv2可变形卷积模块能够根据目标的形状变化进行卷积操作,可变形卷积具有更灵活的感受野,可以根据遥感图像中目标对象的形状和尺寸的不同而自适应改变感受野的大小和形状,这样可以提高模型对光学遥感图像中复杂形状目标的检测能力,增强形状学习能力;DCNv2可变形卷积模块能够学习目标的偏移量,并在卷积操作中应用这些偏移,从而减少目标位置的定位误差,这有助于改进YOLOv7网络模型在目标检测中提升定位准确性;通过替换部分CBS模块为DCNv2可变形卷积模块,可以提高网络的灵活性和可扩展性,这有助于改进YOLOv7网络模型在不同任务和数据集上进行自适应和迁移,增加网络灵活性。
上述技术方案有益效果:将原始YOLOv7网络模型的骨干网络中的任一层ELAN模块中部分CBS模块替换为DCNv2可变形卷积模块,DCNv2可变形卷积模块能够根据目标的形状变化进行卷积操作,可变形卷积具有更灵活的感受野,可以根据遥感图像中目标对象的形状和尺寸的不同而自适应改变感受野的大小和形状,这样可以提高模型对光学遥感图像中复杂形状目标的检测能力,增强形状学习能力;DCNv2可变形卷积模块能够学习目标的偏移量,并在卷积操作中应用这些偏移,从而减少目标位置的定位误差,这有助于改进YOLOv7网络模型在目标检测中提升定位准确性;通过替换部分CBS模块为DCNv2可变形卷积模块,可以提高网络的灵活性和可扩展性,这有助于改进YOLOv7网络模型在不同任务和数据集上进行自适应和迁移,增加网络灵活性。
实施例4
如图6所示,对原始YOLOv7网络模型的颈部网络添加ACmix注意力机制,包括将对原始YOLOv7网络模型的颈部网络添加ACmix模块;
所述ACmix模块,用于:
使用3个1×1的卷积对输入特征进行投影,将其分成N个部分,得到3×N个映射后的中间特征;
将3×N个映射后的中间特征分别输入第一个分支及第二个分支;
第一个分支中,使用卷积操作来获取局部感受野的特征信息,将局部感受野的特征信息经过全连接层后,再进行位移和聚合操作,然后,对输入的特征进行卷积处理,从而得到大小为H×W×C的特征;
在第二个分支上,利用ACmix注意力机制来获取全局感受野的特征信息,得到3×N个全局感受野的特征信息对应着Query、Key和Value特征图,对Query、Key和Value特征图进行卷积处理,得到了大小为H×W×C的特征;
将第一个分支及第二个分支对应的H×W×C的特征进行相加,得到最终的H×W×C的特征。
如图6所示,首先,使用三个1×1的卷积对输入特征进行投影,将其分成N个部分,从而得到3N个映射后的中间特征;在第一个分支中,使用卷积操作来获取局部感受野的特征信息;将中间特征经过全连接层后,再进行位移和聚合操作,然后,对输入的特征进行卷积处理,从而得到大小为H×W×C的特征;在第二个分支上,利用自注意力机制来获取全局感受野,并且更加关注重要的区域;这里的3N个中间特征对应着三个特征图,它们分别是Query、Key和Value。这些特征遵循多头自注意力模块的原则,在经过卷积处理后得到了大小为H×W×C的特征;最后,将以上两个分支的输出进行相加。
上述技术方案有益效果:在YOLOv7网络的颈部部分添加ACmix注意力机制,ACmix注意力机制将卷积与自注意力两部分结合起来,从而提高网络对遥感图像中小尺寸目标的关注度;通过ACmix模块中的第一个分支,使用卷积操作来获取局部感受野的特征信息;经过全连接层、位移和聚合操作后,对输入特征进行卷积处理,得到局部感受野特征;这可以帮助模型更好地捕捉目标的局部细节信息,提升模型对目标定位和识别的准确性;ACmix模块中的第二个分支利用ACmix注意力机制,获取全局感受野的特征信息。通过对3×N个映射后的中间特征分别进行卷积处理,得到3×N个全局感受野的特征对应的Query、Key和Value特征图;经过卷积处理后,得到大小为H×W×C的特征;这有助于模型在检测目标时,能够充分利用全局上下文信息,提升模型对目标的理解和区分能力;ACmix模块将第一个分支和第二个分支对应的H×W×C的特征进行相加,得到最终的H×W×C的特征;这样的特征融合能够有效地结合局部和全局感受野的特征信息,在保持局部细节的同时,为模型提供全局上下文信息;这有助于提高模型的鲁棒性和泛化能力,增强模型对不同尺度目标的检测和识别能力。
所述光学遥感图像目标检测数据集,包括:训练集、验证集、测试集。
实施例5
所述WIoU损失函数,包括:
其中,LIoU为定位损失函数,即IoU损失,LIoU∈[0,1],在LIoU中Wi和Hi表示两个框的重叠部分的尺寸,w代表预测框的宽,h代表预测框的高;wgt代表真实框的宽,hgt代表真实框的高;
其中,RWIoU为距离注意力,RWIoU∈[1,e),x,y表示预测框的中心坐标,xgt、ygt表示真实框的中心坐标,Wg和Hg表示最小包围框的尺寸,上标*表示将Wg及Hg从计算图中分离,将其从变量变为常量;RWIoU∈[1,e);
LWIoUv1=RWIoULIoU
其中,LWIoUv1为WIoUv1的损失,即WIoUv1的损失函数。
该实施例中,RWIoU通过基于注意力的方式放大普通质量锚框的LIoU。
该实施例中,IoU是指交并比(Intersection over Union),是交集与并集的比值,是计算两个集合重叠部分的一种常用度量方法。在目标检测领域中,IoU通常用于衡量两个边界框(bounding box)之间的重叠程度。
该实施例中,其中M=(x,y,w,h)表示预测框的位置,N=(xgt,ygt,wgt,hgt)表示的是真实框的位置,其中,x,y表示预测框的中心坐标,w代表预测框的宽,h代表预测框的高;xgt,ygt表示真实框的中心坐标,wgt代表真实框的宽,hgt代表真实框的高。
该实施例中,WIoU损失函数有三个版本,本发明采用的是V1版本,所以是WIoUv1,而LWIoUv1代表WIoUv1的损失,即WIoUv1损失函数的计算公式。
上述技术方案有益效果:WIoU损失函数是基于动态非单调的聚焦机制设计的;动态非单调聚焦机制使用"离群度"代替传统的IoU来评估锚框的质量,并采用明智的梯度增益分配策略,使得模型更加关注低质量的锚框;由于训练数据不可避免地包含低质量的样本,几何因素如距离和长宽比会加剧对低质量样本的惩罚,从而降低模型的泛化性能,因此构建了距离注意力函数,在锚盒与目标盒重合较好的情况下减弱几何因素的惩罚,使模型获得更好的泛化能力;通过这种方式,模型可以更准确地进行目标定位,提高了模型的性能。
实施例6
所述光学遥感图像目标检测数据集,包括:若干个不同的目标类别;所述目标类别包括:飞机、机场、棒球场、篮球场、桥梁、烟囱、水坝、高速公路服务区、高速公路收费站、高尔夫球场、田径场、港口、立交桥、船只、体育场、储罐、网球场、火车站、车辆及风车。
以上技术方案的有益效果:光学遥感图像目标检测数据集包括若干个不同的目标类别,可以提供丰富的目标样本,有助于模型学习不同类别目标的特征和区分能力;使用多类别数据集训练目标检测模型可以增强其泛化能力。由于光学遥感图像中的目标种类繁多且具有复杂的外观和背景变化,模型在多类别数据集上的训练可以使其学会更好地适应不同类别目标的特征和背景环境;提高目标的分类准确性,通过训练模型从多个目标类别中进行学习和区分,可以提高模型对不同类别目标的分类能力,并降低误分类率;提供更多不同类别目标的定位样本,有助于模型学习和提高目标定位的准确性;模型可以通过多类别数据集中的样本,学习目标的不同形状、尺度和位置等特征,从而更好地进行目标的定位和精确定位;通过提供多类别的真实场景数据,挑战性的目标检测任务和评测指标,从而鼓励研究者开发出更加高效和准确的目标检测算法和模型,推动该领域的研究进展。
实施例7
在收敛后选取精度最高的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型,包括:
计算每个改进YOLOv7网络模型的平均准确率均值;
其中,P为精确度,TP为正确预测为正样本且实际为正样本的数量;FP为错误地将负样本预测为正样本的数量;
召回率R是指正确预测为正样本的数量与实际为正样本的数量之间的比值,其计算公式为:
其中,FN为将实际为正样本的样本错误预测为负样本的数量;
平均准确率AP和平均准确率均值mAP的计算公式如下
AP=∫0 1P(R)dR
其中,AP为平均准确率,P(R)为以召回率为X轴和准确率为Y轴绘制出的曲线,又称P-R曲线,P-R曲线与坐标轴围成图形的面积大小即为平均准确率;mAR为平均准确率均值,n为目标类别数,n取20;APi为第i个目标的平均精度;
选取平均准确率均值最大的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型。
上述技术方案有益效果:通过选择精度最高的改进YOLOv7网络模型,可以使光学遥感图像目标检测模型在检测准确度上得到提升;精度高的模型能够更准确地检测光学遥感图像中的各种目标物体,降低漏检和误检率,提高整体的目标检测准确性;改进后的YOLOv7网络模型通常对不同的目标类别和场景都有更好的泛化能力;这意味着模型能够更好地适应各种光学遥感图像中的目标物体和环境变化,从而提高模型在不同数据集和测试样本上的表现和准确率;精度最高的改进YOLOv7模型通常具有更好的目标定位能力;这意味着模型能够更准确地定位目标物体的位置和边界框,提高目标边界框的精确性,减少定位误差,从而提升目标检测的定位精度;改进后的YOLOv7网络模型通常能够更好地处理细小目标和密集目标的检测;光学遥感图像中可能存在一些细小的目标物体,以及大量密集分布的目标物体,如小型建筑物、车辆等;选择精度最高的改进模型可以提升模型对这些细小目标和密集目标的检测能力,增加模型的敏感性和鲁棒性。
实施例8
如图5所示,所述PMP模块包括两个分支,第一个分支包括最大卷积层MaxPool和一个CBS模块,第二个分支包括一个CBS模块和一个DCNS模块。
以上技术方案有益效果:第一个分支包括最大卷积层MaxPool和一个CBS模块。最大池化层可用于减少特征图的尺寸,同时保留更重要的特征信息。CBS模块(ChannelBoosting and Spatial Adaptation)可用于增强特征的表达能力,并在通道和空间上自适应调整特征第二个分支包括一个CBS模块和一个DCNS模块(Densely Connected NestedStructure),用于进一步增强特征的通道之间的互动和信息传递。通过这种特征融合的方式,PMP模块可以提供多尺度的感受野,有助于提高目标检测模型对不同尺度目标的检测准确性;PMP模块中的CBS模块和DCNS模块可以在不同分支中重复使用,实现参数的共享和复用;这样的设计可以减少模型的参数量和计算量,提高模型的训练效率和推理速度;同时,参数共享和复用也有助于增强模型对不同尺度目标的检测能力,并提高模型的泛化能力;PMP模块中的分支和模块的设计具有层级性和可拓展性;模块的层级性指的是不同模块之间的依赖关系和逐层的特征处理方式,有助于提取更丰富和高级的特征表示;模块的可拓展性指的是可以根实际需求灵活地增加、减少或调整模块的数量和结构,以适应不同的任务和数据;这种层级性和可拓展性的设计可以使PMP模块具备更强的适应性、扩展性和表达能力。
实施例9
如图4所示,所述PELAN模块包括两个分支,第一个分支包括一个CBS模块,第二个分支包括一个CBS模块和4个DCNS模块。
上述技术方案有益效果:PELAN模块的第一个分支包括一个CBS模块,用于对特征进行通道增强和空间自适应;这个分支可以在较浅的层级上进行特征提取,捕捉较低级别的图像特征;而第二个分支则包括一个CBS模块和4个DCNS模块(Densely ConnectedNested Structure),用于进一步增强特征的表达能力;这个分支可以在更深的层级上进行特征提取,捕捉更高级别的图像特征;通过渐进式地进行特征提取,PELAN模块可以从浅到深地捕捉和融合多种级别的特征,提高模型对目标的表达能力和检测准确性;第二个分支中的4个DCNS模块(Densely Connected Nested Structure)用于增加特征之间的交互和信息传递;DCNS模块通过构建稠密连接的方式,让低级别的特征能够直接传递给高级别的特征,使得特征融合更加全面和深入;通过多级特征融合,PELAN模块可以在不同层级和不同尺度上融合特征信息,提升模型对不同尺度目标的检测能力和泛化能力;PELAN模块中的CBS模块和DCNS模块可以在不同分支中重复使用,实现参数的共享和复用;这种设计既可以减少模型的参数量和计算量,又可以增强模型对不同尺度目标的检测能力;参数共享和复用还有助于提高模型的泛化能力和训练效率。
实施例10
在根据光学遥感图像目标检测数据集对改进YOLOv7网络模型进行迭代训练之前,还包括:
对光学遥感图像目标检测数据集包括的光学遥感图像灰度化处理,得到灰度图像;
获取灰度图像中各像素点的灰度值并绘制灰度直方图;
根据灰度直方图中的灰度级及灰度级对应的频数,通过预设算法计算得到每个像素点的关注度值;
将每个像素点的关注度值与预设关注度阈值作比较,将关注度值大于等于预设关注度阈值的像素点作为第一关注度像素点;将关注度值小于预设关注度阈值的像素点作为第二关注度像素点;
根据第一关注度像素点对应的关注度值及第一关注度像素点的灰度值,通过预设增强算法计算得到第一关注度像素点增强后的灰度值;
根据第一关注度像素点增强后的灰度值及第二关注度像素点对应的灰度值生成增强后的光学遥感图像,得到增强后的光学遥感图像目标检测数据集。
该实施例中,将光学遥感图像灰度化处理的具体方式包括但不限于:平均值法,将彩色图像的每个像素的红、绿、蓝三个通道的取值相加,然后除以3,得到灰度图像的像素值;加权平均法,将彩色图像的每个像素的红、绿、蓝三个通道的取值按照一定权重相加,然后得到灰度图像的像素值。一般常用的权重是通过心理学实验获得的,比如红色通道权重为0.299、绿色通道权重为0.587、蓝色通道权重为0.114;最大值法,将彩色图像的每个像素的红、绿、蓝三个通道的取值取最大值,然后得到灰度图像的像素值;最小值法,将彩色图像的每个像素的红、绿、蓝三个通道的取值取最小值,然后得到灰度图像的像素值。
该实施例中,将彩色图像转换为灰度图像可以减少图像的数据量,通过灰度化处理,可以去除颜色的干扰,更好地突出图像的对比度,使得图像中的细节更加清晰可见。
该实施例中,灰度直方图是对图像中每个灰度级别的像素数量进行统计的图表,它可以反映图像中不同灰度级别的分布情况。在灰度直方图中,横轴表示灰度级别,通常为0-255,纵轴表示对应灰度级别的像素数量。
该实施例中,预设算法为:
其中,ALi为像素点i的关注度值,Ms为灰度值为s的频数,Pi为像素点i的灰度值,T(Pi-s)为像素点i的灰度值与灰度值为s之间的距离;ALn为归一化处理后的关注度值,ALmax为关注度值的最大值,ALmin为关注度值的最小值。
该实施例中,预设关注度阈值可以取值0.8。
该实施例中,预设增强算法具体为:
Fj=Ej+(ALj-0.8)Ej
其中,Fj为第一关注度像素点j增强后的灰度值,Ej为第一关注度像素点j增强前的灰度值,ALj为第一关注度像素点j的关注度值归一化处理后的关注度值。
上述技术方案的有益效果是:通过将光学遥感图像目标检测数据集包括的光学遥感图像灰度化处理,可以减少图像的数据量,通过灰度化处理,可以去除颜色的干扰,更好地突出图像的对比度,使得图像中的细节更加清晰可见,通过计算每个像素点的关注度值,并根据预设关注度阈值进行筛选,可以将图像中的关注度较高的像素点选取为第一关注度像素点;这样可以集中网络模型的注意力,提高对重要目标的检测能力,减少背景干扰;通过预设增强算法,对第一关注度像素点的灰度值进行增强,可以提升目标的对比度,增强图像的细节信息;通过筛选出第一关注度像素点,将其增强后的灰度值与第二关注度像素点对应的灰度值结合生成增强后的光学遥感图像,这样可以减少数据集中的噪声和冗余信息,提升模型的训练效果和泛化能力。
为了更好的说明改进YOLOv7的光学遥感图像目标检测模型拥有显著的提升,采用以下实验数据进行佐证。
实验的软件环境为Windows 11,Python 3.6,CUDA 11.1,Pytorch 1.8.0;硬件环境为CPU:Intel Core i7-12700K,内存为32G;GPU:NVIDIA GeForce RTX 3080,显存为10G;训练时采用的参数如下,训练轮数设置为300次,批量设置为16,输入图像大小为640×640像素。
为了保证数据集的有效性和可靠性,对数据集采用了严格的划分方式。具体而言,训练集包含了5,862张图像,验证集包含了5,863张图像,而测试集则包含了剩余的11,738张图像。这样的划分方式旨在确保训练、验证和测试数据的分布相似,以便准确评估遥感目标检测算法的性能;数据集包含了来自不同地区和场景的遥感图像,旨在提供更多样化的目标检测样本;数据集总共包含了23,463张800像素×800像素大小的图像;每张图像都经过精细标注,标注了图像中目标物体的位置和类别信息。数据集涵盖了20个不同的目标类别,包括飞机、机场、棒球场、篮球场、桥梁、烟囱、水坝、高速公路服务区、高速公路收费站、高尔夫球场、田径场、港口、立交桥、船只、体育场、储罐、网球场、火车站、车辆和风车。
在测试集上评估算法的检测性能时,使用了三个指标:检测精度、检测速度和模型复杂度。
在各项超参数相同的情况下,本发明将PELAN模块、PMP模块、ACmix注意力机制和WIoU损失函数对遥感图像目标检测性能的影响,本文在DIOR数据集上进行对比实验,实验结果如下表所示:
从表中可以看出,第一组为原始Yolov7算法,mAP为87.5%;第二组为将部分ELAN模块替换为PELAN模块,mAP为87.5%,尽管mAP没有提升,但这些改变带来了参数量和运算量的减少,使得模型更加轻量化;第三组为将部分MP模块替换为PMP模块,mAP为89.7%,上升了2.2%;第四组为加入了ACmix注意力机制,mAP为89.8%,上升了2.3%;第五组为使用WIoU损失函数,使模型对普通质量锚框更加关注,mAP为89.4,上升了1.9%;第六组为在第二组的基础上将部分MP模块替换为PMP模块,mAP为90.1%,提升了2.6%;第七组为在第六组的基础上,加入了ACmix注意力机制,mAP为90.4%,上升了2.9%;第八组为本文所提出的最终算法,mAP较原Yolov7提高了3.1%,如图8-9所示,证明了本发明所提出的改进算法有助于提升网络的检测性能。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,包括:
获取待检测光学遥感图像;
将待检测光学遥感图像输入到基于改进YOLOv7网络模型得到的光学遥感图像目标检测网络模型中,输出目标检测结果。
2.根据权利要求1所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,基于改进YOLOv7网络模型得到光学遥感图像目标检测网络模型的方法,包括:
对原始YOLOv7网络模型的骨干网络包括的ELAN模块和MP模块嵌入具有偏移学习能力的可变形卷积模块;
对原始YOLOv7网络模型的颈部网络添加ACmix注意力机制;
将原始YOLOv7网络模型的CIoU损失函数替换为WIoU损失函数,得到改进YOLOv7网络模型;
获取光学遥感图像目标检测数据集;
根据光学遥感图像目标检测数据集对改进YOLOv7网络模型进行迭代训练,在收敛后选取精度最高的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型。
3.根据权利要求2所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,对原始YOLOv7网络模型的骨干网络包括的ELAN模块和MP模块嵌入具有偏移学习能力的可变形卷积模块,包括:
将原始YOLOv7网络模型的骨干网络中的任一层ELAN模块中部分CBS模块替换为DCNv2可变形卷积模块,并将替换卷积后的CBS模块重新命名为DCNS模块,新的ELAN模块命名为PELAN模块;
将原始YOLOv7网络模型的骨干网络中的任一层MP模块中部分CBS模块替换为DCNv2可变形卷积模块,并将替换卷积后的CBS模块重新命名为DCNS模块,新的MP模块命名为PMP模块。
4.根据权利要求2所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,所述光学遥感图像目标检测数据集,包括:训练集、验证集、测试集。
5.根据权利要求2所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,所述WIoU损失函数,包括:
其中,LIoU为定位损失函数,即IoU损失,LIoU∈[0,1],在LIoU中Wi和Hi表示两个框的重叠部分的尺寸,w代表预测框的宽,h代表预测框的高;wgt代表真实框的宽,hgt代表真实框的高;
其中,RWIoU为距离注意力,RWIoU∈[1,e),x,y表示预测框的中心坐标,xgt、ygt表示真实框的中心坐标,Wg和Hg表示最小包围框的尺寸,上标*表示将Wg及Hg从计算图中分离,将其从变量变为常量;RWIoU∈[1,e);
LWIoUv1=RWIoULIoU
其中,LWIoUv1为WIoUv1的损失,即WIoUv1的损失函数。
6.根据权利要求2所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,所述光学遥感图像目标检测数据集,包括:若干个不同的目标类别;所述目标类别包括:飞机、机场、棒球场、篮球场、桥梁、烟囱、水坝、高速公路服务区、高速公路收费站、高尔夫球场、田径场、港口、立交桥、船只、体育场、储罐、网球场、火车站、车辆及风车。
7.根据权利要求2所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,在收敛后选取精度最高的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型,包括:
计算每个改进YOLOv7网络模型的平均准确率均值;
其中,P为精确度,TP为正确预测为正样本且实际为正样本的数量;FP为错误地将负样本预测为正样本的数量;
召回率R是指正确预测为正样本的数量与实际为正样本的数量之间的比值,其计算公式为:
其中,FN为将实际为正样本的样本错误预测为负样本的数量;
平均准确率AP和平均准确率均值mAP的计算公式如下
其中,AP为平均准确率,P(R)为以召回率为X轴和准确率为Y轴绘制出的曲线,又称P-R曲线,P-R曲线与坐标轴围成图形的面积大小即为平均准确率;mAP为平均准确率均值,n为目标类别数,n取20;APi为第i个目标的平均精度;
选取平均准确率均值最大的改进YOLOv7网络模型作为光学遥感图像目标检测网络模型。
8.根据权利要求3所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,所述PMP模块包括两个分支,第一个分支包括最大卷积层MaxPool和一个CBS模块,第二个分支包括一个CBS模块和一个DCNS模块。
9.根据权利要求3所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,所述PELAN模块包括两个分支,第一个分支包括一个CBS模块,第二个分支包括一个CBS模块和4个DCNS模块。
10.根据权利要求2所述的基于改进YOLOv7的光学遥感图像目标检测方法,其特征在于,在根据光学遥感图像目标检测数据集对改进YOLOv7网络模型进行迭代训练之前,还包括:
对光学遥感图像目标检测数据集包括的光学遥感图像灰度化处理,得到灰度图像;
获取灰度图像中各像素点的灰度值并绘制灰度直方图;
根据灰度直方图中的灰度级及灰度级对应的频数,通过预设算法计算得到每个像素点的关注度值;
将每个像素点的关注度值与预设关注度阈值作比较,将关注度值大于等于预设关注度阈值的像素点作为第一关注度像素点;将关注度值小于预设关注度阈值的像素点作为第二关注度像素点;
根据第一关注度像素点对应的关注度值及第一关注度像素点的灰度值,通过预设增强算法计算得到第一关注度像素点增强后的灰度值;
根据第一关注度像素点增强后的灰度值及第二关注度像素点对应的灰度值生成增强后的光学遥感图像,得到增强后的光学遥感图像目标检测数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311569862.1A CN117611998A (zh) | 2023-11-22 | 2023-11-22 | 一种基于改进YOLOv7的光学遥感图像目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311569862.1A CN117611998A (zh) | 2023-11-22 | 2023-11-22 | 一种基于改进YOLOv7的光学遥感图像目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117611998A true CN117611998A (zh) | 2024-02-27 |
Family
ID=89943546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311569862.1A Pending CN117611998A (zh) | 2023-11-22 | 2023-11-22 | 一种基于改进YOLOv7的光学遥感图像目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117611998A (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648184A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 一种遥感图像高空卷云的检测方法 |
CN113971783A (zh) * | 2021-10-17 | 2022-01-25 | 河南工业大学 | 一种基于yolov5算法的管制刀具检测模型 |
WO2022016355A1 (zh) * | 2020-07-21 | 2022-01-27 | 华为技术有限公司 | 标注信息的确定方法及装置 |
CN114821358A (zh) * | 2022-04-29 | 2022-07-29 | 中国科学院长春光学精密机械与物理研究所 | 光学遥感图像海上舰船目标提取与识别方法 |
CN115937643A (zh) * | 2022-11-25 | 2023-04-07 | 贵州大学 | 一种目标检测方法及系统 |
CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
CN116453186A (zh) * | 2023-04-14 | 2023-07-18 | 淮阴工学院 | 一种基于YOLOv5改进的口罩佩戴检测方法 |
CN116503750A (zh) * | 2023-04-12 | 2023-07-28 | 中国人民解放军战略支援部队信息工程大学 | 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及系统 |
CN116580305A (zh) * | 2023-05-15 | 2023-08-11 | 中国石油大学(华东) | 一种基于深度学习的茶芽检测方法及其模型搭建方法 |
CN116630932A (zh) * | 2023-04-20 | 2023-08-22 | 重庆邮电大学 | 一种基于改进yolov5的道路遮挡目标检测方法 |
CN116721054A (zh) * | 2023-04-25 | 2023-09-08 | 大连理工大学 | 一种刀具出厂质量检测方法 |
CN116823738A (zh) * | 2023-06-05 | 2023-09-29 | 盐城工学院 | 一种基于YOLOv8的PCB裸板表面缺陷检测方法 |
CN116883859A (zh) * | 2023-07-05 | 2023-10-13 | 中北大学 | 一种基于YOLOv7-RS的遥感图像目标检测方法 |
CN116895036A (zh) * | 2023-07-12 | 2023-10-17 | 南京邮电大学 | 一种基于深度学习的耕地保护预警方法及装置 |
CN117058752A (zh) * | 2023-07-19 | 2023-11-14 | 大连民族大学 | 一种基于改进YOLOv7的学生课堂行为检测方法 |
-
2023
- 2023-11-22 CN CN202311569862.1A patent/CN117611998A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108648184A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 一种遥感图像高空卷云的检测方法 |
WO2022016355A1 (zh) * | 2020-07-21 | 2022-01-27 | 华为技术有限公司 | 标注信息的确定方法及装置 |
CN113971783A (zh) * | 2021-10-17 | 2022-01-25 | 河南工业大学 | 一种基于yolov5算法的管制刀具检测模型 |
CN114821358A (zh) * | 2022-04-29 | 2022-07-29 | 中国科学院长春光学精密机械与物理研究所 | 光学遥感图像海上舰船目标提取与识别方法 |
CN115937643A (zh) * | 2022-11-25 | 2023-04-07 | 贵州大学 | 一种目标检测方法及系统 |
CN116503750A (zh) * | 2023-04-12 | 2023-07-28 | 中国人民解放军战略支援部队信息工程大学 | 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及系统 |
CN116453186A (zh) * | 2023-04-14 | 2023-07-18 | 淮阴工学院 | 一种基于YOLOv5改进的口罩佩戴检测方法 |
CN116630932A (zh) * | 2023-04-20 | 2023-08-22 | 重庆邮电大学 | 一种基于改进yolov5的道路遮挡目标检测方法 |
CN116721054A (zh) * | 2023-04-25 | 2023-09-08 | 大连理工大学 | 一种刀具出厂质量检测方法 |
CN116580305A (zh) * | 2023-05-15 | 2023-08-11 | 中国石油大学(华东) | 一种基于深度学习的茶芽检测方法及其模型搭建方法 |
CN116385810A (zh) * | 2023-06-05 | 2023-07-04 | 江西农业大学 | 一种基于YOLOv7的小目标检测方法及系统 |
CN116823738A (zh) * | 2023-06-05 | 2023-09-29 | 盐城工学院 | 一种基于YOLOv8的PCB裸板表面缺陷检测方法 |
CN116883859A (zh) * | 2023-07-05 | 2023-10-13 | 中北大学 | 一种基于YOLOv7-RS的遥感图像目标检测方法 |
CN116895036A (zh) * | 2023-07-12 | 2023-10-17 | 南京邮电大学 | 一种基于深度学习的耕地保护预警方法及装置 |
CN117058752A (zh) * | 2023-07-19 | 2023-11-14 | 大连民族大学 | 一种基于改进YOLOv7的学生课堂行为检测方法 |
Non-Patent Citations (2)
Title |
---|
BO TIAN: "Remote Sensing Image Target Detection Method Based on Refined Feature Extraction", 《MDPI》, 27 July 2023 (2023-07-27), pages 1 - 12 * |
曹晓飞: "适用于假体视觉的红外图像增强算法研究", 《中国优秀硕士论文电子期刊网》, 15 January 2020 (2020-01-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009679B (zh) | 一种基于多尺度特征卷积神经网络的目标定位方法 | |
CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
CN110796168A (zh) | 一种基于改进YOLOv3的车辆检测方法 | |
CN108009509A (zh) | 车辆目标检测方法 | |
CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
CN113486764B (zh) | 一种基于改进的YOLOv3的坑洼检测方法 | |
CN111738055B (zh) | 多类别文本检测系统和基于该系统的票据表单检测方法 | |
CN109492596A (zh) | 一种基于K-means聚类和区域推荐网络的行人检测方法及系统 | |
CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
CN106295532A (zh) | 一种视频图像中的人体动作识别方法 | |
CN110334656A (zh) | 基于信源概率加权的多源遥感图像水体提取方法及装置 | |
CN115170611A (zh) | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 | |
CN112488229A (zh) | 一种基于特征分离和对齐的域自适应无监督目标检测方法 | |
CN114529581A (zh) | 基于深度学习及多任务联合训练的多目标跟踪方法 | |
CN102024149B (zh) | 物体检测的方法及层次型物体检测器中分类器的训练方法 | |
Cheng et al. | YOLOv3 Object Detection Algorithm with Feature Pyramid Attention for Remote Sensing Images. | |
Zhang et al. | Adaptive anchor networks for multi-scale object detection in remote sensing images | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
CN113657414B (zh) | 一种物体识别方法 | |
Fan et al. | A novel sonar target detection and classification algorithm | |
CN114549909A (zh) | 一种基于自适应阈值的伪标签遥感图像场景分类方法 | |
CN113989256A (zh) | 遥感图像建筑物的检测模型优化方法及检测方法、装置 | |
CN104008374B (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |