CN110659601A - 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 - Google Patents
基于中心点的深度全卷积网络遥感图像密集车辆检测方法 Download PDFInfo
- Publication number
- CN110659601A CN110659601A CN201910887781.3A CN201910887781A CN110659601A CN 110659601 A CN110659601 A CN 110659601A CN 201910887781 A CN201910887781 A CN 201910887781A CN 110659601 A CN110659601 A CN 110659601A
- Authority
- CN
- China
- Prior art keywords
- target
- central point
- network
- remote sensing
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提出一种基于中心点的深度全卷积网络遥感图像密集车辆检测方法,主要解决现有遥感影像中目标小且排列密集导致检测精度低的问题。其方案为:在遥感影像目标检测数据集中获取训练集和测试集;构建中心点深度全卷积网络密集车辆目标检测模型,设定目标中心点分类任务和目标尺寸回归任务的整体损失函数;将训练集输入到构建的网络模型中进行训练,得到训练好的车辆检测模型;将测试集输入训练好的车辆目标检测模型中,预测输出目标的中心点位置和目标尺寸。本发明降低了目标尺寸对密集场景目标定位的影响,提高了遥感影像中密集车辆目标的召回率,提升了车辆目标的检测精度。可用于城市规划,车流控制,交通监管及军事侦查。
Description
技术领域
本发明属于遥感影像技术领域,特别涉及一种车辆目标检测方法,可用于城市规划,车流控制,交通监管及军事侦查。
背景技术
遥感影像车辆目标检测旨在对遥感影像中的车辆目标进行定位和识别,传统的遥感影像目标检测方法有基于模板匹配的方法、基于知识的方法和基于检测对象的方法,这些方法极大程度上依赖于大量的特征工程来实现对遥感影像中目标的检测。然而,对于遥感影像中目标背景复杂、尺寸小、排列密集、尺度差异明显等问题,这些方法的适应性并不强。近年来,遥感影像目标检测普遍采用基于深度学习的方法。深度卷积神经网络在目标检测问题上不需要手工设计特征,对遥感影像数据自行进行特征提取,性能表现超过传统算法。目前在基于深度学习的目标检测方法中,主要可分为两大类,一类是单阶段的SDD,YOLO系列的算法,另一类是两阶段的Faster R-CNN系列的方法。然而无论是单阶段方法还是两阶段的方法,都需要设定一些繁杂的超参数,增加了算法的复杂性,并且这类算法需要在一些事先设定好的位置上进行检测和识别,很难处理密集排列的目标,从而导致密集目标的检测性能很差。
发明内容
本发明的目的在于克服上述现有技术的不足,提出一种基于中心点的深度全卷积网络遥感图像密集车辆检测方法,以通过提高遥感影像中密集车辆的召回率,提高车辆目标的检测精度。
本发明的技术方案是,首先用深度全卷积网络的骨干网络提取遥感图像不同层级的特征图,再通过对不同层级的特征图进行多尺度特征融合,增强特征图的细节信息和语义信息,最后在增强后的特征图上引入两个并列的子网络,即目标中心点分类子网络和目标尺寸回归子网络,分别用于目标中心点的分类和目标尺寸的回归。其具体实现步骤包括如下:
(1)构建训练集和测试集:获取带有人工标注的光学遥感图像,构成遥感图像密集车辆目标检测数据集,将数据集中的75%作为训练集M,其余25%作为测试集N;
(2)构建中心点深度全卷积网络的密集车辆目标检测模型:
(2a)从深度全卷积网络的骨干网络ResNet-50中获得3个不同尺度特征图C3,C4,C5,并对其进行融合得到多尺度特征图F;
(2b)构建中心点深度全卷积网络的目标中心点分类子网络和目标尺寸回归子网络:
用一个1×1的卷积层和一个Sigmoid激活层组成目标中心点分类子网络;
用一个1×1的卷积层和一个线性激活层组成目标尺寸回归子网络;
(2c)将融合后的多尺度特征图F先通过一个3×3的卷积层,再在其后连接(2b)构建的两个子网络;
(2d)设定中心点深度全卷积网络模型的整体损失函数:L=λcLcenter+λsLsize,其中Lcenter是目标中心点分类子网络的分类损失函数,λc是分类损失函数在整体损失函数中的加权因子;Lsize是目标尺寸回归子网络的回归损失函数,λs是回归损失函数在整体损失函数中的加权因子;
(3)对(2)构建的密集车辆目标检测模型进行训练:
将在ImageNet数据集上使用骨干网络ResNet-50训练的分类模型的权重参数设置为中心点深度全卷积网络密集车辆目标检测模型的初始化参数;
将训练的初始学习率设为0.002,训练步数设为4500,使用Adam优化算法,利用训练集M和整体损失函数L,对密集车辆目标检测模型进行训练,当训练轮数达到150时,得到训练好的中心点深度全卷积网络密集车辆目标检测模型;
(4)将测试集N中的所有图像输入到训练好的中心点深度全卷积网络密集车辆目标检测模型中,预测输出每幅图像中的车辆目标中心点位置和目标尺寸。
本发明与现有技术相比,具有以下优点:
第一,本发明在提取遥感图像特征的时候,考虑低级特征图的细节信息和高层级特征图的语义信息,采用多尺度特征融合的方法丰富了特征图的表达,改善了由于遥感影像中目标尺寸小,背景复杂,很难获得目标精确定位的问题,同时提高了目标中心点的分类置信度。
第二,本发明将车辆目标检测任务解耦成两个子任务,即目标中心点定位任务和目标尺寸回归任务,降低了目标的尺寸对目标定位的影响,对目标小且排列密集的目标,极大地提高了目标的召回率。
第三,本发明使用深度全卷积网络以像素级预测的方式实现车辆目标中心点的分类和目标尺寸的回归,简化了车辆目标检测模型,提高了车辆目标检测算法的运行速度。
附图说明
图1为本发明的实现流程图;
图2为仿真使用的遥感影像;
图3为用本发明和现有技术对图2进行检测的仿真结果图像。
具体实施方式
下面结合附图对本发明的实施例和效果作进一步详细说明。
参照图1,本实例基于中心点深度全卷积网络遥感图像密集车辆检测方法,其实现步骤如下:
步骤1,获取遥感影像的训练集和测试集。
获取公开的遥感图像目标检测数据集DOTA_v1.0,该数据集包含2806幅宽为800~4000像素大小的遥感图像,以及对应遥感图像中目标类别和目标位置的真实标签。本实例从该数据集中获取包含车辆的622幅遥感图像数据构成车辆目标检测数据集,将其中75%作为训练集M,25%作为测试集N,其中训练集M中包含467幅遥感图像,测试集N中包含155幅遥感图像。
步骤2,构建中心点深度全卷积网络密集车辆检测模型。
2.1)从深度全卷积网络的骨干网络ResNet-50中获得3个不同尺度特征图C3,C4,C5,并对其进行融合得到多尺度特征图F:
2.2.1)将特征图C3经过一个2倍的上采样层得到通道维数为256的特征图P3,将特征图C4经过一个4倍的上采样层得到通道维数为256的特征图P4,将特征图C5经过一个8倍的上采样层得到通道维数为256的特征图P5;
2.2.2)分别对经过上采样层得到的三个特征图P3,P4,P5使用L2正则化,获得归一化后的特征图N3,N4,N5,再将这三个归一化后的特征图N3,N4,N5沿通道轴进行拼接,获得包含低层级细节信息和高层级语义信息的多尺度特征图F;
2.3)构建中心点深度全卷积网络的目标中心点分类子网络和目标尺寸回归子网络;
用一个1×1的卷积层和一个Sigmoid激活层组成目标中心点分类子网络;
用一个1×1的卷积层和一个线性激活层组成目标尺寸回归子网络;
2.4)将融合后的多尺度特征图F首先通过一个3×3的卷积层,将特征图F的维数降到256维,再在后面接2.3)构建的两个子网络,用于以像素级的方式对车辆目标进行分类和回归。
2.5)设定中心点深度全卷积网络密集车辆目标检测模型的整体损失函数L:
2.5.1)设定目标中心点分类子网络的分类损失函数Lcenter如下:
其中,K是一幅图片中的目标数量,W,H分别表示图像的宽和高,r为下采样因子,pij是网络估计位置(i,j)为目标中心点的概率,yij对应于真实标注,其中yij=1表示正样本中心点,yij=0表示负样本;αij表示正负样本的平衡参数,γ表示专注参数,本实施例取值2;Mij是对每个正样本中心点生成一个2维的高斯掩模,其表示如下:
其中(xk,yk,wk,hk)分别对应目标的中心点坐标、宽和高,σw和σh是正比于目标宽和高的方差,β是一个控制样本惩罚的超参数,本实施例取值为4;
2.5.2)设定目标尺寸回归子网络的回归损失函数Lsize如下:
其中,x=sk-tk,sk表示网络回归的目标尺寸,tk表示正样本目标的真实标注尺寸,K表示一幅图片中目标的数量;
2.5.3)由目标分类子网络的分类损失函数Lcenter和目标尺寸回归子网络的回归损失函数Lsize,设定中心点深度全卷积网络密集车辆目标检测模型的整体损失函数L:
L=λcLcenter+λsLsize
其中λc是分类损失函数在整体损失函数中的加权因子;λs是回归损失函数在整体损失函数中的加权因子;本实施例中,λc取0.01,λs取1;
步骤3,对步骤2构建的中心点深度全卷积网络密集车辆检测模型进行训练。
3.1)设置训练参数:
在本实施例中,将在ImageNet数据集上使用骨干网络ResNet-50训练的分类模型权重参数,设置为中心点深度全卷积网络密集车辆目标检测模型的初始化参数,将训练的初始学习率设置为0.002,训练步数设置为4500,训练轮数设置为150;
3.2)将步骤1中获得的训练集M输入到中心点深度全卷积网络密集车辆目标检测模型中,并通过Adam优化算法优化步骤2中设定的整体损失函数L,来更新网络模型的权重参数,当训练的轮数达到100轮时,将学习率衰减为0.0002,接着训练达到150轮时,得到训练好的中心点深度全卷积网络密集车辆目标检测模型。
步骤4,将步骤1测试集N中所有图像输入到训练好的中心点深度全卷积网络密集车辆目标检测模型中,预测输出每幅图像中车辆目标的中心点位置和目标的尺寸。
以下结合仿真实验,对本发明的技术效果进一步说明:
1.仿真条件
仿真实验采用武汉大学和华中科技大学联合发布的大型遥感影像目标检测数据集DOTA_v1.0,该数据集包含2806幅宽为800~4000像素大小的遥感图像,188282个目标实例。本实施例从数据集中的一幅图像上裁取一个512×512的图像块,如图2所示。
仿真所用的处理器为Xeon(R)CPU E5-2678 v3@ 2.50GHz×48,内存为128.00GB,GPU为12G的GeForce GTX1080Ti,仿真平台为Ubuntu16.04操作系统,使用Keras深度学习框架,采用Python语言实现。
2.仿真内容及分析:
分别利用本发明和现有车辆目标检测方法,对图2进行车辆检测算法仿真,仿真结果如图3所示,其中图3(a)为用现有技术仿真结果图,图3(b)为本发明仿真结果图。
从图3(a)的结果看出,仿真结果中密集排列的车辆漏检严重、召回率低,从图3(b)可以看出,本发明极大地提高了密集场景中车辆的召回率,将本发明的仿真结果与真实标注结果进行比对,本发明的召回率由42.6%提高到99.4%,衡量目检测性能的AP指标由45.1%提高到90.64%。
综上,本发明将车辆目标检测任务解耦成两个子任务,即车辆目标中心点的定位任务和目标尺寸的回归任务,并利用深度全卷积网络以像素级的方式对车辆目标中心点和目标尺寸进行分类和回归,降低了车辆目标尺寸对目标定位的影响,极大地提高了密集目标的召回率。以像素级的方式对车辆目标进行分类和回归,简化了车辆目标检测模型,提高了车辆目标检测算法的运行速度。
Claims (4)
1.一种基于中心点的深度全卷积网络遥感图像密集车辆检测方法,其特征在于,包括如下:
(1)构建训练集和测试集:获取带有人工标注的光学遥感图像,构成遥感图像密集车辆目标检测数据集,将数据集中的75%作为训练集M,其余25%作为测试集N;
(2)构建中心点深度全卷积网络的密集车辆目标检测模型:
(2a)从深度全卷积网络的骨干网络ResNet-50中获得3个不同尺度特征图C3,C4,C5,并对其进行融合得到多尺度特征图F;
(2b)构建中心点深度全卷积网络的目标中心点分类子网络和目标尺寸回归子网络:
用一个1×1的卷积层和一个Sigmoid激活层组成目标中心点分类子网络;
用一个1×1的卷积层和一个线性激活层组成目标尺寸回归子网络;
(2c)将融合后的多尺度特征图F先通过一个3×3的卷积层,再在其后连接(2b)构建的两个子网络;
(2d)设定中心点深度全卷积网络模型的整体损失函数:L=λcLcenter+λsLsize,其中Lcenter是目标中心点分类子网络的分类损失函数,λc是分类损失函数在整体损失函数中的加权因子;Lsize是目标尺寸回归子网络的回归损失函数,λs是回归损失函数在整体损失函数中的加权因子;
(3)对(2)构建的密集车辆目标检测模型进行训练:
将在ImageNet数据集上使用骨干网络ResNet-50训练的分类模型的权重参数设置为中心点深度全卷积网络密集车辆目标检测模型的初始化参数;
将训练的初始学习率设为0.002,训练步数设为4500,使用Adam优化算法,利用训练集M和整体损失函数L,对密集车辆目标检测模型进行训练,当训练轮数达到150时,得到训练好的中心点深度全卷积网络密集车辆目标检测模型;
(4)将测试集N中的所有图像输入到训练好的中心点深度全卷积网络密集车辆目标检测模型中,预测输出每幅图像中的车辆目标中心点位置和目标尺寸。
2.根据权利要求1所述的方法,其特征在于,(2a)对3个不同尺度特征图C3,C4,C5进行融合,得到多尺度特征图F,其实现如下:
(2a1)将特征图C3经过一个2倍的上采样层得到通道维数为256的特征图P3,将特征图C4经过一个4倍的上采样层得到通道维数为256的特征图P4,将特征图C5经过一个8倍的上采样层得到通道维数为256的特征图P5;
(2a2)分别对经过上采样层得到的三个特征图P3,P4,P5使用L2正则化,获得归一化后的特征图N3,N4,N5,再将这三个归一化后的特征图N3,N4,N5沿通道轴进行拼接,获得包含低层级细节信息和高层级语义信息的多尺度特征图F。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910887781.3A CN110659601B (zh) | 2019-09-19 | 2019-09-19 | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910887781.3A CN110659601B (zh) | 2019-09-19 | 2019-09-19 | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110659601A true CN110659601A (zh) | 2020-01-07 |
CN110659601B CN110659601B (zh) | 2022-12-02 |
Family
ID=69037323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910887781.3A Active CN110659601B (zh) | 2019-09-19 | 2019-09-19 | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110659601B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325116A (zh) * | 2020-02-05 | 2020-06-23 | 武汉大学 | 一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法 |
CN111353459A (zh) * | 2020-03-10 | 2020-06-30 | 北京观微科技有限公司 | 一种资源受限条件下的舰船目标检测方法 |
CN113033363A (zh) * | 2021-03-15 | 2021-06-25 | 西南交通大学 | 一种基于深度学习的车辆稠密目标检测方法 |
CN114596913A (zh) * | 2022-02-25 | 2022-06-07 | 河南大学 | 基于深度中心点模型的蛋白质折叠识别方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
US20190087673A1 (en) * | 2017-09-15 | 2019-03-21 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for identifying traffic light |
CN109919108A (zh) * | 2019-03-11 | 2019-06-21 | 西安电子科技大学 | 基于深度哈希辅助网络的遥感图像快速目标检测方法 |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
-
2019
- 2019-09-19 CN CN201910887781.3A patent/CN110659601B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190087673A1 (en) * | 2017-09-15 | 2019-03-21 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for identifying traffic light |
WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
CN109063594A (zh) * | 2018-07-13 | 2018-12-21 | 吉林大学 | 基于YOLOv2的遥感图像快速目标检测方法 |
CN109919108A (zh) * | 2019-03-11 | 2019-06-21 | 西安电子科技大学 | 基于深度哈希辅助网络的遥感图像快速目标检测方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325116A (zh) * | 2020-02-05 | 2020-06-23 | 武汉大学 | 一种基于线下训练-线上学习深度可演化的遥感影像目标检测方法 |
CN111353459A (zh) * | 2020-03-10 | 2020-06-30 | 北京观微科技有限公司 | 一种资源受限条件下的舰船目标检测方法 |
CN113033363A (zh) * | 2021-03-15 | 2021-06-25 | 西南交通大学 | 一种基于深度学习的车辆稠密目标检测方法 |
CN114596913A (zh) * | 2022-02-25 | 2022-06-07 | 河南大学 | 基于深度中心点模型的蛋白质折叠识别方法及系统 |
CN114596913B (zh) * | 2022-02-25 | 2023-03-31 | 河南大学 | 基于深度中心点模型的蛋白质折叠识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110659601B (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111444821B (zh) | 一种城市道路标志自动识别方法 | |
CN110659601B (zh) | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 | |
CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
CN114842365B (zh) | 一种无人机航拍目标检测识别方法和系统 | |
CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
CN112232371B (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
CN113255589B (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
CN114612835A (zh) | 一种基于YOLOv5网络的无人机目标检测模型 | |
Xing et al. | Traffic sign recognition using guided image filtering | |
CN113313094B (zh) | 一种基于卷积神经网络的车载图像目标检测方法和系统 | |
CN114092917B (zh) | 一种基于mr-ssd的被遮挡交通标志检测方法及系统 | |
CN113723377A (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
CN113239753A (zh) | 基于YOLOv4改进的交通标志检测与识别方法 | |
CN111259733A (zh) | 一种基于点云图像的船舶识别方法及装置 | |
CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
CN113361528B (zh) | 一种多尺度目标检测方法及系统 | |
CN113378642B (zh) | 一种对农村违法占地建筑物进行检测的方法 | |
CN113313000B (zh) | 一种基于光学图像的气液两相流智能识别方法 | |
CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
CN117079163A (zh) | 一种基于改进yolox-s的航拍图像小目标检测方法 | |
CN111832463A (zh) | 一种基于深度学习的交通标志检测方法 | |
CN117152513A (zh) | 一种面向夜间场景的车辆边界定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |