CN109063594A - 基于YOLOv2的遥感图像快速目标检测方法 - Google Patents

基于YOLOv2的遥感图像快速目标检测方法 Download PDF

Info

Publication number
CN109063594A
CN109063594A CN201810767515.2A CN201810767515A CN109063594A CN 109063594 A CN109063594 A CN 109063594A CN 201810767515 A CN201810767515 A CN 201810767515A CN 109063594 A CN109063594 A CN 109063594A
Authority
CN
China
Prior art keywords
target
remote sensing
network
training
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810767515.2A
Other languages
English (en)
Inventor
王世刚
李奇
赵岩
韦健
赵文婷
卢洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201810767515.2A priority Critical patent/CN109063594A/zh
Publication of CN109063594A publication Critical patent/CN109063594A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

基于YOLOv2的遥感图像快速目标检测方法属图像处理和模式识别技术领域，本发明实现了对遥感图像中的重要目标的快速检测；首先构建了遥感图像数据集用于模型的训练及性能检测；然后提出了一种适用于遥感图像分类的卷积神经网络结构用于特征提取，进而构建目标检测网络。针对卷积神经网络对小目标检测能力差这一问题，本发明采用增加训练尺度、批量正则化等方法提升了网络的性能。本发明定义了偏移因子校正目标位置，利用SVM分类器对检测结果进行目标背景二次分类，在保证检测精度的同时保障了检测速度，实现了端到端检测。最重要的是，模型允许将新数据的检测结果扩充到训练数据集中，从而更新训练目标检测网络，不断提升模型的泛化能力。

Description

基于YOLOv2的遥感图像快速目标检测方法
技术领域
本发明属图像处理和模式识别技术领域，具体涉及一种基于YOLOv2的遥感图像快速目标检测方法。
背景技术
遥感技术凭借其迅猛的发展以及在获取地面信息方面所特有的优势，广泛地应用到军事和国民经济的各个领域。利用遥感图像处理系统准确的搜索发现并识别各类重要目标，实现遥感图像数据向有用信息的快速转化，不但可以节约人力资源，更重要的是可以提高信息获取的效率，充分发挥遥感探测的优势。因此如何快速、准确的从海量遥感图像中挖掘出重点目标信息成为了至关重要的问题。目前我国利用遥感数据进行重点目标情报整编仍处在人工判读的阶段，人工判读不仅需要极强的专业背景知识，而且处理速度慢，对于从卫星传回的海量遥感数据不能及时有效的进行处理，仅有小部分信息得以利用，对于大部分信息由于不能及时处理而失去实时性、失去了其本身的价值，造成了信息资源的极大浪费。
目前遥感图像目标识别系统主要是针对特定目标的识别系统，如舰船目标识别系统、机场目标识别系统、建筑物提取系统、港口识别系统等。这些针对特定目标的识别系统在特定领域识别效果好，但是系统不具有泛化能力，在其他领域不能很好的应用。目前的遥感图像目标识别系统目标识别种类单一，局限性大。对于复杂环境下的目标识别鲁棒性差，并且缺少对遥感数据的有效管理。
传统的多源遥感图像重点目标检测算法存在以下几个方面：基于统计分类的目标识别：主要是根据遥感图像中的目标的统计特性，如目标的灰度、纹理、形状等，然后通过特征匹配来进行目标识别。基于知识的目标识别：利用与遥感图像中重点目标相关的专家知识来进行参数模型的构建，如目标的上下文信息、目标的形状以及目标的地理信息等。基于模型的目标识别：取遥感图像中重点目标的重要特征，将重点目标样本空间简化为目标模型、背景模型或环境模型。但是目标检测是一个复杂的图像分析处理过程，已有的许多检测模型，包括一些成熟的算法，只有有限的能够应用到在实际的军事场景中。
相比于传统方法的对目标先验知识要求高、模型泛化能力差等特点，目前基于深度学习的遥感图像目标识别得到了广泛的应用。但鉴于实际应用的复杂性和多变性，大多数的检测方法仅具备部分的有效性，有必要对目标检测算法进行改进和扩展，使其能够更好的应用到具体遥感对地观测任务中。
发明内容
本发明的目的在于对遥感图像中的关键目标进行快速检测，提供一种基于YOLOv2的遥感图像快速目标检测方法。
本发明构建了遥感图像数据集，针对遥感图像目标检测问题提出了一种改进的卷积神经网络作为模型的特征提取网络，包括下列步骤：
1制作遥感图像数据集，并对图像进行预处理操作，具体包括下列步骤：
1.1预处理：用暗通道去雾算法对雾天图像进行去雾处理，用MSRCR图像增强算法获得清晰度和对比度得到提升的遥感图像数据集；
1.2对步骤1.1.1获得的遥感图像数据集进行人工标注，将待检测目标划分为飞机、船、车辆、广场、操场、建筑六个类别，记录目标位置坐标，将图像中包含的目标类别信息，及其对应的坐标信息存储为XML文件格式；
1.3将步骤1.1.1获得的遥感图像数据集通过翻转、旋转、裁切、加入噪声、调整色调来扩大样本数，选取遥感图像数据集中80％作为训练集，剩下的20％作为测试集；
2针对步骤1.1制作的遥感图像数据集，构建卷积神经网络作为模型的特征提取网络，利用特征提取网络进行分类网络预训练，结合YOLOv2模型构建目标检测网络，具体包括下列步骤：
2.1将特征提取网络分为21层，包含15个卷积层和6个池化层，具体网络结构及设置如下：
(1)第1、3、5、6、7、9、10、11、13、14、15、17、18、19、20层为卷积层，第2、 4、8、12、16、21层为池化层；
(2)卷积层中第1、3、5、7、9、11、13、15、17、19层filter设置为3×3，深度分别设置为32、64、128、128、256、256、512、512、1024、1024，第6、10、14、18、20层 filter设置为1×1，深度分别设置为64、128、256、512、1000；
(3)池化层中第2、4、8、12、16层采用最大池化方式，filter设置为2×2，stride 设置为2，第21层采用全局平均池化方式；
2.2对步骤1.2.1构建的特征提取网络进行预训练，具体包括下列步骤：
2.2.1用所述特征提取网络在ImageNet1000类分类数据集上训练150轮，网络输入为 224×224，采用随机梯度下降算法；初始学习率为0.1；权重衰减参数取0.0005；momentum 取0.9；
2.2.2用步骤1.1.3所述遥感图像数据集，继续对1.2.2.1中的特征提取网络进行微调，训练10轮，更改网络输入为448×448，learning rate更改为0.001；
2.3用尺寸为544×544×3的图像作为模型输入，通过YOLOv2模型构建目标检测网络，具体包括下列步骤：
2.3.1获得步骤1.2.1中特征提取网络的第15层的输出34×34×512维特征图；
2.3.2将步骤1.2.3.1输出的34×34×512维特征图，转化为17×17×1024维特征图；
2.3.3将步骤1.2.3.2获得的输出与步骤1.2.1中特征提取网络的第19层的输出进行整合，得到17×17×3072维的特征图；
2.3.4将1.2.3.3的输出经filter为3×3、深度为1024的卷积层，输出17×17×1024 维特征图；
2.3.5将1.2.3.3的输出经filter为3×3、深度为55的卷积层，输出17×17×55维特征图；
2.4对步骤1.2.1构建的检测网络中的每个卷积层的输出，进行BatchNormalization 操作；
3提升目标检测精确度，设定网络超参数训练检测网络，具体包括下列步骤：
3.1用K-means维度聚类算法，对步骤1.1.3所述遥感图像数据集的训练集中手工标记的目标框进行聚类，找到目标框的统计规律，采用距离d度量数据间的相似度：
d(box,centroid)＝1-IOU(box,centroid)
式中IOU计算结果为目标框box之间的交并比；以聚类个数k作为anchor个数,以k个聚类中心box的宽高维度作为anchor的维度；
3.2用多尺度输入方法对检测网络进行训练，训练过程中每迭代10次就随机改变模型的输入尺寸，尺寸S计算公式：
S＝32×(15+x)
其中：模型采用的下降因子为32，所以S为32的倍数；x为0到9的随机整数；
3.3设置检测网络阈值为0.3；权重衰减参数取0.0005；初始学习率设置为0.0001；batch 取64；subdivisions取8；momentum取9；训练次数max_batches取45000；学习率调整方式policy设定为steps方式；根据训练次数设置steps为100,25000,35000，scales为 10,0.1,0.1；
3.4用步骤1.1.3中的训练集对步骤1.2.3构建的目标检测网络进行训练，参数设置如步骤1.3.3中所述，激活函数用leak RELU函数；
3.5将步骤1.1.3中的测试集用经步骤1.3.4训练好的目标检测网络进行测试；
4获取步骤1.3.5中返回参数，优化检测结果：判断检测结果的合理性，对检测结果位置及类别进行修正，具体包括下列步骤：
4.1目标位置坐标修正，具体包括下列步骤：
4.1.1获取检测结果目标的位置信息:x,y,w,h；x、y为目标框中心坐标，w、h分别为目标框的宽度和高度；
4.1.2定义横向检测偏移因子hof，纵向检测偏移因子vof，计算公式为：
x＝xt+wt·hof+cx
y＝yt+ht·vof+cy
其中：xt,yt,wt,ht分别表示目标标注框的中心坐标及宽高；cx,cy为偏置项；
4.1.3利用梯度下降算法计算各个类别的hof及vof,计算公式为：
其中：m表示训练样本个数，i表示第i个样本；利用梯度下降算法可求得当J(hof)取得最小值时cx及hof的值，且hof最优解为(wtTwt)-1wtT(x-xt)；同理可求得vof的最优解；
4.2目标分类结果修正，具体包括下列步骤：
4.2.1在步骤1.1.3制作的遥感图像数据集中收集目标及背景样本；
4.2.2将步骤1.4.2.1中待检测地物目标图像标注为1；选择无目标图像作为背景，标注为0；
4.2.3将步骤1.4.2.2中训练样本送到线性SVM分类器中训练，基于HOG特征提取遥感图像中的目标及背景特征，用训练好的SVM分类器对置信度低于50％的检测结果进行二次分类，从而降低误检率。
5.利用新数据的检测结果扩充步骤1构建的遥感图像数据集，重复步骤3.4，不断提升提高模型的泛化能力。
本发明的基于YOLOv2的遥感图像快速目标检测方法，实现了对遥感图像中的重要目标的快速检测；提出了一种适用于遥感图像分类的卷积神经网络结构用于特征提取，进而构建目标检测网络。为了获得最佳的检测效果，利用自主构建的遥感图像数据集训练目标检测网络。但由于卷积神经网络的运算特性使得模型极难提取小目标的特征，针对这一问题，本发明采用增加训练尺度、批量正则化等方法提升了网络的性能。同时，使用偏移因子校正及SVM分类器对目标背景分类等方法对目标检测结果进行优化，在保证检测精度的同时保障了检测速度，实现了端到端检测。最重要的是模型能够将新数据的检测结果导入数据集存储，从而更新训练目标检测网络，不断提升模型的泛化能力。
附图说明
图1为遥感图像数据集样本数据图
图2为遥感图像数据集目标标注XML文件数据图
图3为特征提取网络结构图
图4为特征提取网络预训练流程图
图5为目标检测网络输入输出流程图
图6为目标检测网络目标检测流程图
图7为遥感图像目标检测系统流程图
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。一种基于YOLOv2的遥感图像快速目标检测方法，包括下列步骤：
1.制作遥感图像数据集如图1所示，并对收集的遥感图像进行预处理、目标标注以及数据扩充，具体包括下列步骤：
1.1预处理：用暗通道去雾算法对雾天图像进行去雾处理，用MSRCR图像增强算法获得清晰度和对比度得到提升的遥感图像数据集。
1.2对步骤1.1获得的遥感图像数据集进行人工标注，将待检测目标划分为飞机、船、车辆、广场、操场、建筑六个类别，记录目标位置坐标，将图像中包含的目标类别信息及其对应的坐标信息存储为XML文件格式。如图2，XML文件中存储了图像大小、目标类别、目标位置等信息。
1.3将步骤1.1获得的遥感图像数据集通过翻转、旋转、裁切、加入噪声、调整色调来扩大样本数，选取遥感图像数据集中80％作为训练集，剩下的20％作为测试集。
训练集指用于训练目标检测网络的遥感图像样本。
测试集指用于目标检测网络测试，衡量目标检测性能的遥感图像样本。
2.针对步骤1制作的遥感图像数据集，构建卷积神经网络作为模型的特征提取网络，利用特征提取网络进行分类网络预训练，结合YOLOv2模型构建目标检测网络，具体包括下列步骤：
2.1将特征提取网络分为21层，包含15个卷积层和6个池化层，网络结构如图3所示，具体网络结构及设置如下：
(1)第1、3、5、6、7、9、10、11、13、14、15、17、18、19、20层为卷积层，第2、 4、8、12、16、21层为池化层。
(2)卷积层中第1、3、5、7、9、11、13、15、17、19层filter设置为3×3，深度分别设置为32、64、128、128、256、256、512、512、1024、1024，第6、10、 14、18、20层filter设置为1×1，深度分别设置为64、128、256、512、1000。
(3)池化层中第2、4、8、12、16层采用最大池化方式，filter设置为2×2，stride 设置为2，第21层采用全局平均池化方式。
其中卷积层深度即卷积核的个数，同时也对应了图像的通道数。
2.2对步骤2.1构建的特征提取网络进行预训练，流程图如图4，具体包括下列步骤：
2.2.1用所述特征提取网络在ImageNet1000类分类数据集上训练150轮，网络输入为 224×224，采用随机梯度下降算法；初始学习率为0.1；权重衰减参数取0.0005；momentum 取0.9。
2.2.2用步骤1.3所述遥感图像数据集继续对2.2.1中的特征提取网络进行微调，训练 10轮，更改网络输入为448×448，learning rate更改为0.001。
2.3用尺寸为544×544×3的图像作为模型输入，通过YOLOv2模型构建目标检测网络，网络的输入输出流程图见图5，具体包括下列步骤：
2.3.1获得步骤2.1中特征提取网络的第15层的输出34×34×512维的特征图。
2.3.2将2.3.1输出的34×34×512维特征图转化为17×17×1024维特征图。
2.3.3将步骤2.3.2获得的输出与步骤2.1中特征提取网络的第19层的输出进行整合，得到17×17×3072维的特征图。
2.3.4将2.3.3的输出经由filter为3×3，深度为1024的卷积层，输出17×17×1024 维特征图。
2.3.5将2.3.3的输出经由filter为3×3，深度为55的卷积层，输出17×17×55维特征图。
每个检测框包含目标位置坐标、目标框宽度高度、目标类别信息及目标分类置信度共 2+2+6+1＝11个参数，每个目标使用5个检测框进行检测，因此步骤2.3.5设置的最终卷积网络深度为11×5＝55。
2.4对步骤2.1构建的检测网络中的每个卷积层的输出进行Batch Normalization操作。 Batch Normalization操作指批归一化操作，能够加快网络收敛速度。
3.提升目标检测精确度，设定网络超参数训练检测网络，具体包括下列步骤：
3.1用K-means维度聚类算法，对步骤1.3所述遥感图像数据集的训练集中手工标记的目标框进行聚类，找到目标框的统计规律，采用距离d度量数据间的相似度：
d(box,centroid)＝1-IOU(box,centroid)
式中IOU计算结果为目标框box之间的交并比；以聚类个数k作为anchor个数,以k个聚类中心box的宽高维度作为anchor的维度。
3.2用多尺度输入方法对检测网络进行训练，训练过程中每迭代10次就随机改变模型的输入尺寸，尺寸S计算公式：
S＝32×(15+x)
其中：模型采用的下降因子为32，所以S为32的倍数；x为0到9的随机整数。
3.3设置检测网络阈值为0.3；权重衰减参数取0.0005；初始学习率设置为0.0001；batch 取64；subdivisions取8；momentum取9；训练次数max_batches取45000；学习率调整方式policy设定为steps方式；根据训练次数设置steps为100,25000,35000，scales为 10,0.1,0.1。网络超参数可以根据训练过程中的实际需要进行适当调整。
3.4使用步骤1.3中训练集对步骤2.3构建的目标检测网络进行训练，参数设置如步骤 3.3中所述，激活函数使用leak RELU函数，函数定义为：
其中a的值根据激活函数在网络中的位置取不同值。
3.5将步骤1.3中的测试集用经步骤3.4训练好的目标检测网络进行测试。
4如图7，获取步骤3.5中返回的目标检测参数，对检测结果进行优化，判断检测结果的合理性，对检测结果位置及类别进行修正，实现过程如流程图6所示，具体包括下列步骤：
4.1目标位置坐标修正，具体包括下列步骤：
4.1.1获取检测结果目标的位置信息:x,y,w,h；x、y为目标框中心坐标，w、h分别为目标框的宽度和高度。
4.1.2定义横向检测偏移因子hof，纵向检测偏移因子vof，计算公式如下：
x＝xt+wt·hof+cx
y＝yt+ht·vof+cy
其中：xt,yt,wt,ht分别表示目标标注框的中心坐标及宽高；cx,cy为偏置项。
4.1.3利用梯度下降算法计算各个类别的hof及vof,计算公式如下：
其中：m表示训练样本个数，i表示第i个样本；利用梯度下降算法可求得当J(hof)取得最小值时cx及hof的值，且hof最优解为(wtTwt)-1wtT(x-xt)；同理可求得vof的最优解。
4.2目标分类结果修正，具体包括下列步骤：
4.2.1在步骤1.3制作的遥感图像数据集中收集目标及背景样本。
4.2.2将步骤4.2.1中待检测地物目标图像标注为1；选择无目标图像作为背景，标注为0。
4.2.3将步骤4.2.2中训练样本送到线性SVM分类器中训练，基于HOG算子提取遥感图像中的目标及背景特征，使用训练好的SVM分类器对检测结果进行分类，从而降低误检率。
5.利用新数据的检测结果扩充步骤1构建的遥感图像数据集，如图7所示，重复步骤3.4，不断提升提高模型的泛化能力。

Claims (8)

1.一种基于YOLOv2的遥感图像快速目标检测方法，其特征在于：构建了遥感图像数据集，针对遥感图像目标检测问题提出了一种改进的卷积神经网络作为模型的特征提取网络，包括下列步骤：
1.1制作遥感图像数据集，并对图像进行预处理操作，具体包括下列步骤：
1.1.1预处理：用暗通道去雾算法对雾天图像进行去雾处理，用MSRCR图像增强算法获得清晰度和对比度得到提升的遥感图像数据集；
1.1.2对步骤1.1.1获得的遥感图像数据集进行人工标注，将待检测目标划分为飞机、船、车辆、广场、操场、建筑六个类别，记录目标位置坐标，将图像中包含的目标类别信息及其对应的坐标信息存储为XML文件格式；
1.1.3将步骤1.1.1获得的遥感图像数据集通过翻转、旋转、裁切、加入噪声、调整色调来扩大样本数，选取遥感图像数据集中80％作为训练集，剩下的20％作为测试集；
1.2针对步骤1.1制作的遥感图像数据集，构建卷积神经网络作为模型的特征提取网络，利用特征提取网络进行分类网络预训练，结合YOLOv2模型构建目标检测网络，具体包括下列步骤：
1.2.1将特征提取网络分为21层，包含15个卷积层和6个池化层，具体网络结构及设置如下：
(1)第1、3、5、6、7、9、10、11、13、14、15、17、18、19、20层为卷积层，第2、4、8、12、16、21层为池化层；
(2)卷积层中第1、3、5、7、9、11、13、15、17、19层filter设置为3×3，深度分别设置为32、64、128、128、256、256、512、512、1024、1024，第6、10、14、18、20层filter设置为1×1，深度分别设置为64、128、256、512、1000；
(3)池化层中第2、4、8、12、16层采用最大池化方式，filter设置为2×2，stride设置为2，第21层采用全局平均池化方式；
1.2.2对步骤1.2.1构建的特征提取网络进行预训练，具体包括下列步骤：
1.2.2.1用所述特征提取网络在ImageNet1000类分类数据集上训练150轮，网络输入为224×224，采用随机梯度下降算法；初始学习率为0.1；权重衰减参数取0.0005；momentum取0.9；
1.2.2.2用步骤1.1.3所述遥感图像数据集，继续对1.2.2.1中的特征提取网络进行微调，训练10轮，更改网络输入为448×448，learning rate更改为0.001；
1.2.3用尺寸为544×544×3的图像作为模型输入，通过YOLOv2模型构建目标检测网络，具体包括下列步骤：
1.2.3.1获得步骤1.2.1中特征提取网络的第15层的输出34×34×512维特征图；
1.2.3.2将步骤1.2.3.1输出的34×34×512维特征图，转化为17×17×1024维特征图；
1.2.3.3将步骤1.2.3.2获得的输出与步骤1.2.1中特征提取网络的第19层的输出进行整合，得到17×17×3072维的特征图；
1.2.3.4将1.2.3.3的输出经filter为3×3、深度为1024的卷积层，输出17×17×1024维特征图；
1.2.3.5将1.2.3.3的输出经filter为3×3、深度为55的卷积层，输出17×17×55维特征图；
1.2.4对步骤1.2.1构建的检测网络中的每个卷积层的输出，进行BatchNormalization操作；
1.3提升目标检测精确度，设定网络超参数训练检测网络，具体包括下列步骤：
1.3.1用K-means维度聚类算法，对步骤1.1.3所述遥感图像数据集的训练集中手工标记的目标框进行聚类，找到目标框的统计规律，采用距离d度量数据间的相似度：
d(box,centroid)＝1-IOU(box,centroid)
式中IOU计算结果为目标框box之间的交并比；以聚类个数k作为anchor个数,以k个聚类中心box的宽高维度作为anchor的维度；
1.3.2用多尺度输入方法对检测网络进行训练，训练过程中每迭代10次就随机改变模型的输入尺寸，尺寸S计算公式：
S＝32×(15+x)
其中：模型采用的下降因子为32，所以S为32的倍数；x为0到9的随机整数；
1.3.3设置检测网络阈值为0.3；权重衰减参数取0.0005；初始学习率设置为0.0001；batch取64；subdivisions取8；momentum取9；训练次数max_batches取45000；学习率调整方式policy设定为steps方式；根据训练次数设置steps为100,25000,35000，scales为10,0.1,0.1；
1.3.4用步骤1.1.3中的训练集对步骤1.2.3构建的目标检测网络进行训练，参数设置如步骤1.3.3中所述，激活函数用leak RELU函数；
1.3.5将步骤1.1.3中的测试集用经步骤1.3.4训练好的目标检测网络进行测试；
1.4获取步骤1.3.5中返回参数，优化检测结果：判断检测结果的合理性，对检测结果位置及类别进行修正，具体包括下列步骤：
1.4.1目标位置坐标修正，具体包括下列步骤：
1.4.1.1获取检测结果目标的位置信息:x,y,w,h；x、y为目标框中心坐标，w、h分别为目标框的宽度和高度；
1.4.1.2定义横向检测偏移因子hof，纵向检测偏移因子vof，计算公式为：
x＝xt+wt·hof+cx
y＝yt+ht·vof+cy
其中：xt,yt,wt,ht分别表示目标标注框的中心坐标及宽高；cx,cy为偏置项；
1.4.1.3利用梯度下降算法计算各个类别的hof及vof,计算公式为：
其中：m表示训练样本个数，i表示第i个样本；利用梯度下降算法可求得当J(hof)取得最小值时cx及hof的值，且hof最优解为(wtTwt)-1wtT(x-xt)；同理可求得vof的最优解；
1.4.2目标分类结果修正，具体包括下列步骤：
1.4.2.1在步骤1.1.3制作的遥感图像数据集中收集目标及背景样本；
1.4.2.2将步骤1.4.2.1中待检测地物目标图像标注为1；选择无目标图像作为背景，标注为0；
1.4.2.3将步骤1.4.2.2中训练样本送到线性SVM分类器中训练，基于HOG特征提取遥感图像中的目标及背景特征，用训练好的SVM分类器对置信度低于50％的检测结果进行二次分类，从而降低误检率。
2.按权利要求1所述的基于YOLOv2的遥感图像快速目标检测方法，其特征在于：步骤1.1.3所述的训练集指用于训练目标检测网络的遥感图像样。
3.按权利要求1所述的基于YOLOv2的遥感图像快速目标检测方法，其特征在于：步骤1.1.3所述的测试集指用于目标检测网络测试，衡量目标检测性能的遥感图像样本。
4.按权利要求1所述的基于YOLOv2的遥感图像快速目标检测方法，其特征在于：步骤1.2.1所述的卷积层深度即卷积核的个数，同时也对应图像的通道数。
5.按权利要求1所述的基于YOLOv2的遥感图像快速目标检测方法，其特征在于：步骤1.2.4所述的Batch Normalization指批归一化，目的在于加快网络收敛速度。
6.按权利要求1所述的基于YOLOv2的遥感图像快速目标检测方法，其特征在于：步骤1.3.4所述的leak RELU激活函数定义为：
其中a的值根据激活函数在网络中的位置取不同值。
7.按权利要求1所述的基于YOLOv2的遥感图像快速目标检测方法，其特征在于：步骤1.4所述的返回参数指目标检测参数，包括目标位置坐标、目标框宽度和高度、目标类别信息及目标分类置信度，共2+2+6+1＝11个参数；对每个目标用5个检测框进行检测，步骤1.2.3.5设置的最终卷积网络深度为11×5＝55；步骤1.2.3.5将步骤1.2.3.3的输出经filter为3×3，深度为55的卷积层，输出17×17×55维特征图。
8.按权利要求1所述的基于YOLOv2的遥感图像快速目标检测方法，其特征在于：用步骤1.4检测步骤1.1构建的数据集以外的其他遥感图像数据，将获得的检测结果继续执行步骤1.3，不断提升网络的目标检测性能。
CN201810767515.2A 2018-07-13 2018-07-13 基于YOLOv2的遥感图像快速目标检测方法 Pending CN109063594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810767515.2A CN109063594A (zh) 2018-07-13 2018-07-13 基于YOLOv2的遥感图像快速目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810767515.2A CN109063594A (zh) 2018-07-13 2018-07-13 基于YOLOv2的遥感图像快速目标检测方法

Publications (1)

Publication Number Publication Date
CN109063594A true CN109063594A (zh) 2018-12-21

Family

ID=64816363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810767515.2A Pending CN109063594A (zh) 2018-07-13 2018-07-13 基于YOLOv2的遥感图像快速目标检测方法

Country Status (1)

Country Link
CN (1) CN109063594A (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711381A (zh) * 2019-01-04 2019-05-03 北京环境特性研究所 遥感图像的目标识别方法、装置和计算机设备
CN109800805A (zh) * 2019-01-14 2019-05-24 上海联影智能医疗科技有限公司 基于人工智能的图像处理系统以及计算机设备
CN109918523A (zh) * 2019-02-14 2019-06-21 广东工业大学 一种基于yolo9000算法的电路板元器件检测方法
CN109948415A (zh) * 2018-12-30 2019-06-28 中国科学院软件研究所 基于背景过滤和尺度预测的光学遥感图像目标检测方法
CN109977837A (zh) * 2019-03-20 2019-07-05 常熟理工学院 基于人体姿态不变特征的行人再识别方法
CN110135522A (zh) * 2019-05-28 2019-08-16 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110232362A (zh) * 2019-06-18 2019-09-13 西安电子科技大学 基于卷积神经网络和多特征融合的舰船尺寸估计方法
CN110321794A (zh) * 2019-05-23 2019-10-11 湖南大学 一种融入语义模型的遥感图像油罐检测方法
CN110502654A (zh) * 2019-08-26 2019-11-26 长光卫星技术有限公司 一种适用于多源异构遥感数据的目标库生成系统
CN110659601A (zh) * 2019-09-19 2020-01-07 西安电子科技大学 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN110751232A (zh) * 2019-11-04 2020-02-04 哈尔滨理工大学 一种中文复杂场景文本检测与识别方法
CN110969156A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 奶牛奶头检测卷积神经网络模型及其构建方法
CN111079639A (zh) * 2019-12-13 2020-04-28 中国平安财产保险股份有限公司 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN111079849A (zh) * 2019-12-23 2020-04-28 西南交通大学 语音辅助的视听协同学习新目标网络模型的构建方法
CN111161160A (zh) * 2019-12-04 2020-05-15 新奇点企业管理集团有限公司 一种雾天障碍物检测方法、装置、电子设备和存储介质
CN111222474A (zh) * 2020-01-09 2020-06-02 电子科技大学 一种任意尺度的高分辨率图像小目标检测方法
CN111260608A (zh) * 2020-01-08 2020-06-09 来康科技有限责任公司 一种基于深度学习的舌部区域检测方法及系统
CN111368769A (zh) * 2020-03-10 2020-07-03 大连东软信息学院 基于改进锚点框生成模型的船舶多目标检测方法
CN111382761A (zh) * 2018-12-28 2020-07-07 展讯通信(天津)有限公司 一种基于cnn的检测器、图像检测方法及终端
CN111401128A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种提高车辆识别率的方法
CN111507196A (zh) * 2020-03-21 2020-08-07 杭州电子科技大学 一种基于机器视觉和深度学习的车辆类型识别方法
CN111898523A (zh) * 2020-07-29 2020-11-06 电子科技大学 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN111914767A (zh) * 2020-08-05 2020-11-10 北京市遥感信息研究所 一种基于多源遥感数据的散乱污企业检测方法及系统
CN111931817A (zh) * 2020-07-10 2020-11-13 首钢集团有限公司 一种球团矿矿相识别方法和装置
CN112232102A (zh) * 2019-07-15 2021-01-15 中国司法大数据研究院有限公司 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统
CN112329893A (zh) * 2021-01-04 2021-02-05 中国工程物理研究院流体物理研究所 基于数据驱动的异源多目标智能检测方法及系统
CN112419182A (zh) * 2020-11-19 2021-02-26 中国石油大学(华东) 基于图像加噪和去噪的台风遥感图像自动增强系统、计算机设备、存储介质
CN112613603A (zh) * 2020-12-25 2021-04-06 西安交通大学 基于限幅器的神经网络训练方法及其应用
CN112861720A (zh) * 2021-02-08 2021-05-28 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN113305848A (zh) * 2021-06-11 2021-08-27 哈尔滨工业大学 一种基于YOLO v2网络的实时抓取检测方法
CN113536986A (zh) * 2021-06-29 2021-10-22 南京逸智网络空间技术创新研究院有限公司 一种基于代表特征的遥感图像中的密集目标检测方法
CN114067173A (zh) * 2021-11-07 2022-02-18 西北工业大学 基于多清晰度集成自训练的小样本低质量图像目标检测方法
CN115147738A (zh) * 2022-06-24 2022-10-04 中国人民公安大学 一种定位方法、装置、设备及存储介质
CN115457396A (zh) * 2022-09-26 2022-12-09 河北省科学院地理科学研究所 一种基于遥感影像的地表目标地物检测方法
CN115631417A (zh) * 2022-11-11 2023-01-20 生态环境部南京环境科学研究所 一种基于卷积神经网络的蝴蝶图像识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100310121A1 (en) * 2009-06-09 2010-12-09 Lockheed Martin Corporation System and method for passive automatic target recognition (ATR)
CN107134144A (zh) * 2017-04-27 2017-09-05 武汉理工大学 一种用于交通监控的车辆检测方法
CN107316016A (zh) * 2017-06-19 2017-11-03 桂林电子科技大学 一种基于Hadoop和监控视频流的车辆轨迹统计方法
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100310121A1 (en) * 2009-06-09 2010-12-09 Lockheed Martin Corporation System and method for passive automatic target recognition (ATR)
CN107134144A (zh) * 2017-04-27 2017-09-05 武汉理工大学 一种用于交通监控的车辆检测方法
CN107316016A (zh) * 2017-06-19 2017-11-03 桂林电子科技大学 一种基于Hadoop和监控视频流的车辆轨迹统计方法
CN108062764A (zh) * 2017-11-30 2018-05-22 极翼机器人(上海)有限公司 一种基于视觉的物体跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG LU ET AL.: "A NOVEL APPROACH OF FACIAL EXPRESSION RECOGNITION BASED ON SHEARLET TRANSFORM", 《2017 IEEE GLOBAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING(GLOBALSIP)》 *
李策 等.: "一种高分辨率遥感图像视感知目标检测算法", 《西安交通大学学报》 *

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382761A (zh) * 2018-12-28 2020-07-07 展讯通信(天津)有限公司 一种基于cnn的检测器、图像检测方法及终端
CN109948415A (zh) * 2018-12-30 2019-06-28 中国科学院软件研究所 基于背景过滤和尺度预测的光学遥感图像目标检测方法
CN109711381B (zh) * 2019-01-04 2021-03-23 北京环境特性研究所 遥感图像的目标识别方法、装置和计算机设备
CN109711381A (zh) * 2019-01-04 2019-05-03 北京环境特性研究所 遥感图像的目标识别方法、装置和计算机设备
CN109800805A (zh) * 2019-01-14 2019-05-24 上海联影智能医疗科技有限公司 基于人工智能的图像处理系统以及计算机设备
CN109918523A (zh) * 2019-02-14 2019-06-21 广东工业大学 一种基于yolo9000算法的电路板元器件检测方法
CN109918523B (zh) * 2019-02-14 2021-03-30 广东工业大学 一种基于yolo9000算法的电路板元器件检测方法
CN109977837A (zh) * 2019-03-20 2019-07-05 常熟理工学院 基于人体姿态不变特征的行人再识别方法
CN110969156A (zh) * 2019-05-17 2020-04-07 丰疆智能科技股份有限公司 奶牛奶头检测卷积神经网络模型及其构建方法
CN110321794A (zh) * 2019-05-23 2019-10-11 湖南大学 一种融入语义模型的遥感图像油罐检测方法
CN110321794B (zh) * 2019-05-23 2023-02-28 湖南大学 一种融入语义模型的遥感图像油罐检测方法
CN110135522B (zh) * 2019-05-28 2023-03-28 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110135522A (zh) * 2019-05-28 2019-08-16 金陵科技学院 一种检测与标注遥感图像小目标一体化的智能方法
CN110232362B (zh) * 2019-06-18 2023-04-07 西安电子科技大学 基于卷积神经网络和多特征融合的舰船尺寸估计方法
CN110232362A (zh) * 2019-06-18 2019-09-13 西安电子科技大学 基于卷积神经网络和多特征融合的舰船尺寸估计方法
CN112232102A (zh) * 2019-07-15 2021-01-15 中国司法大数据研究院有限公司 一种基于深度神经网络和多任务学习的建筑物目标识别方法和系统
CN110502654A (zh) * 2019-08-26 2019-11-26 长光卫星技术有限公司 一种适用于多源异构遥感数据的目标库生成系统
CN110659601A (zh) * 2019-09-19 2020-01-07 西安电子科技大学 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN110659601B (zh) * 2019-09-19 2022-12-02 西安电子科技大学 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN110751232A (zh) * 2019-11-04 2020-02-04 哈尔滨理工大学 一种中文复杂场景文本检测与识别方法
CN111161160A (zh) * 2019-12-04 2020-05-15 新奇点企业管理集团有限公司 一种雾天障碍物检测方法、装置、电子设备和存储介质
CN111079639A (zh) * 2019-12-13 2020-04-28 中国平安财产保险股份有限公司 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN111079639B (zh) * 2019-12-13 2023-09-19 中国平安财产保险股份有限公司 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN111079849A (zh) * 2019-12-23 2020-04-28 西南交通大学 语音辅助的视听协同学习新目标网络模型的构建方法
CN111260608A (zh) * 2020-01-08 2020-06-09 来康科技有限责任公司 一种基于深度学习的舌部区域检测方法及系统
CN111222474B (zh) * 2020-01-09 2022-11-04 电子科技大学 一种任意尺度的高分辨率图像小目标检测方法
CN111222474A (zh) * 2020-01-09 2020-06-02 电子科技大学 一种任意尺度的高分辨率图像小目标检测方法
CN111401128A (zh) * 2020-01-16 2020-07-10 杭州电子科技大学 一种提高车辆识别率的方法
CN111368769B (zh) * 2020-03-10 2024-03-12 大连东软信息学院 基于改进锚点框生成模型的船舶多目标检测方法
CN111368769A (zh) * 2020-03-10 2020-07-03 大连东软信息学院 基于改进锚点框生成模型的船舶多目标检测方法
CN111507196A (zh) * 2020-03-21 2020-08-07 杭州电子科技大学 一种基于机器视觉和深度学习的车辆类型识别方法
CN111931817A (zh) * 2020-07-10 2020-11-13 首钢集团有限公司 一种球团矿矿相识别方法和装置
CN111898523A (zh) * 2020-07-29 2020-11-06 电子科技大学 一种基于迁移学习的遥感图像特种车辆目标检测方法
CN111914767B (zh) * 2020-08-05 2023-10-10 北京市遥感信息研究所 一种基于多源遥感数据的散乱污企业检测方法及系统
CN111914767A (zh) * 2020-08-05 2020-11-10 北京市遥感信息研究所 一种基于多源遥感数据的散乱污企业检测方法及系统
CN112419182A (zh) * 2020-11-19 2021-02-26 中国石油大学(华东) 基于图像加噪和去噪的台风遥感图像自动增强系统、计算机设备、存储介质
CN112613603B (zh) * 2020-12-25 2023-04-07 西安交通大学 基于限幅器的神经网络训练方法及其应用
CN112613603A (zh) * 2020-12-25 2021-04-06 西安交通大学 基于限幅器的神经网络训练方法及其应用
CN112329893A (zh) * 2021-01-04 2021-02-05 中国工程物理研究院流体物理研究所 基于数据驱动的异源多目标智能检测方法及系统
CN112861720B (zh) * 2021-02-08 2024-05-14 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN112861720A (zh) * 2021-02-08 2021-05-28 西北工业大学 基于原型卷积神经网络的遥感图像小样本目标检测方法
CN113305848B (zh) * 2021-06-11 2022-06-07 哈尔滨工业大学 一种基于YOLO v2网络的实时抓取检测方法
CN113305848A (zh) * 2021-06-11 2021-08-27 哈尔滨工业大学 一种基于YOLO v2网络的实时抓取检测方法
CN113536986A (zh) * 2021-06-29 2021-10-22 南京逸智网络空间技术创新研究院有限公司 一种基于代表特征的遥感图像中的密集目标检测方法
CN114067173A (zh) * 2021-11-07 2022-02-18 西北工业大学 基于多清晰度集成自训练的小样本低质量图像目标检测方法
CN115147738A (zh) * 2022-06-24 2022-10-04 中国人民公安大学 一种定位方法、装置、设备及存储介质
CN115457396A (zh) * 2022-09-26 2022-12-09 河北省科学院地理科学研究所 一种基于遥感影像的地表目标地物检测方法
CN115631417A (zh) * 2022-11-11 2023-01-20 生态环境部南京环境科学研究所 一种基于卷积神经网络的蝴蝶图像识别方法

Similar Documents

Publication Publication Date Title
CN109063594A (zh) 基于YOLOv2的遥感图像快速目标检测方法
CN104182763B (zh) 一种基于花朵特征的植物种类识别系统
CN102867196B (zh) 基于Gist特征学习的复杂海面遥感影像舰船检测方法
CN103413151B (zh) 基于图正则低秩表示维数约简的高光谱图像分类方法
CN104484681B (zh) 基于空间信息和集成学习的高光谱遥感影像分类方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN106683102B (zh) 基于脊波滤波器和卷积结构学习模型的sar图像分割方法
CN106503739A (zh) 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统
CN107909015A (zh) 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN107229917A (zh) 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法
CN107341813B (zh) 基于结构学习和素描特性推理网络的sar图像分割方法
CN110414509B (zh) 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法
CN107992818B (zh) 一种光学遥感图像海面船只目标的检测方法
CN102096825A (zh) 基于图的半监督高光谱遥感图像分类方法
CN103208001A (zh) 结合形状自适应邻域和纹理特征提取的遥感图像处理方法
CN106257498A (zh) 基于异构纹理特征的锌浮选工况状态划分方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN106611420A (zh) 基于反卷积网络和素描图方向约束的sar图像分割方法
CN102567963A (zh) 基于量子多目标聚类的遥感图像分割方法
CN113963222A (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN106611421A (zh) 基于特征学习和素描线段约束的sar图像分割方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
CN106651884A (zh) 基于素描结构的平均场变分贝叶斯sar图像分割方法
CN108021890A (zh) 一种基于plsa和bow的高分遥感影像港口检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication