CN104463249B - 一种基于弱监督学习框架的遥感图像机场检测方法 - Google Patents

一种基于弱监督学习框架的遥感图像机场检测方法 Download PDF

Info

Publication number
CN104463249B
CN104463249B CN201410751420.3A CN201410751420A CN104463249B CN 104463249 B CN104463249 B CN 104463249B CN 201410751420 A CN201410751420 A CN 201410751420A CN 104463249 B CN104463249 B CN 104463249B
Authority
CN
China
Prior art keywords
segment
positive
remote sensing
training set
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410751420.3A
Other languages
English (en)
Other versions
CN104463249A (zh
Inventor
韩军伟
张鼎文
李超
郭雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201410751420.3A priority Critical patent/CN104463249B/zh
Publication of CN104463249A publication Critical patent/CN104463249A/zh
Application granted granted Critical
Publication of CN104463249B publication Critical patent/CN104463249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于弱监督学习框架的遥感图像机场检测方法。首先得到正样本中图块的显著性，正样本集中图块的相似性，正负样本类间差异性，然后利用贝叶斯框架对这三类信息进行融合，得到初始的正负训练集，然后利用这些训练集迭代训练得到最终的稳定的机场检测器，用该机场检测器检测测试图片的机场，最终取得更具准确性，鲁棒性的机场检测结果。

Description

一种基于弱监督学习框架的遥感图像机场检测方法
技术领域
本发明属于计算机视觉算法研究领域，涉及一种基于弱监督学习框架的遥感图像机场检测方法，可以在遥感图像数据库中准确、鲁棒地检测出图像的机场。
背景技术
遥感技术的飞速发展促使许多卫星和航空传感器可以提供具有高空间分辨率的光学图像，这些图像有广泛的应用，如灾害治理，土地规划，监控和交通规划。在这些应用中，自然或人造物体的自动检测是一个基础任务，而且已经吸引了越来越多的研究兴趣。光学遥感图像的机场中包含的丰富的空间信息和详细的结构信息，为我们解决这一挑战性的任务提供了新的机遇。
早期对于遥感图像的机场检测都是无监督的方式，首先开始于通过对像素的聚类得到感兴趣区域，然后基于形状和频谱信息检测机场。此后，许多监督学习的方法得以提出，它们利用训练样本中的先验信息有效地学习出机场检测模型，通过依赖于大量的人工标注训练样本，然后将问题转化为分类问题去解决，监督学习的方法可以比无监督的方法得到更好的效果，因此，基本上所有的机场检测系统都是基于监督学习工具。
遥感技术的最新进展已经导致了卫星和航空影像的数量和质量的爆炸式增长。它同时也带来了光学遥感图像机场检测任务中两个日益严重的问题。首先，基于监督学习的机场检测方法通常需要大量的训练数据，这些训练数据需要人工将图片中的的每一个机场标注在一个矩形框中，然而，大规模图像集的手动标注通常代价昂贵，有时甚至是不可靠的。例如，对于滑坡等自然物体，合适的手动标注通常需要大量的专业知识。此外，对于飞机和汽车等人造物体，人工标注也是困难的，因为这些机场对象的覆盖范围看起来很小，特别是当图像的背景中包含复杂的纹理时。因而在这些小区域实现精确标注是非常困难的。此外，如果机场被遮挡或伪装，手动人工标注的准确性和可靠性也会降低。因此，对于大型光学卫星和空间图像数据集，利用弱监督方法训练机场检测器成为一个引人注目的方向。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种基于弱监督学习框架的遥感图像机场检测方法，解决人工标注费时费力的问题。
技术方案
一种基于弱监督学习框架的遥感图像机场检测方法，其特征在于：利用方形滑动窗口在拍摄的遥感图像中提取图块，然后利用训练得到的机场检测器对图块进行分类，并利用非极大值抑制的方法保留得分最高的窗口以解决不同尺度下所取窗口可能高度重叠的问题，从而得到最终的机场检测结果；所述机场检测器的训练步骤如下：
步骤1、对遥感图像数据库中随机抽取的多幅遥感图像进行正负样本分类，将含有机场信息的遥感图像作为正样本图像，未含有机场信息的遥感图像作为负样本图像；
步骤2、利用多尺度方形滑动窗口在每一幅遥感图像中提取图块，将正样本图像得到的图块作为正样本集中的图块负样本图像得到的图块作为负样本集中的图块所述滑动步长为所选取窗口大小的1/3；
步骤3、计算正样本集中图块的显著性：以正样本图集中的每一个图块周围图块作为字典对该图块进行稀疏编码χp≈Dicpαp，根据编码的稀疏度||αp||0和编码产生的残差rp＝χp-Dicpαp，得到图块相对于周围背景的显著值其中：χp为图块的原始RGB特征，Dicp和αp分别是图块周围图块构成的字典和编码产生的稀疏系数，表示出现的概率；
步骤4、计算正负样本集的类间差异性：以反映图块出现在负样本集中的概率作为该图块与负样本之间的差异性，且其中为负样本集X-中第j维特征所对应的第k个高斯分量的权重，均值和方差，表示该高斯混合模型中高斯分量的数目；
步骤5、获取近似初始正训练集：根据判断图块为机场的概率，当图块是机场的概率大于阈值时，将该图块作为初始训练集中的正图块，所述阈值范围为0.5～1；将选出的图块作为近似正训练集；
步骤6、计算正样本图像中图块与近似正训练集的相似性：首先利用高斯混合模型拟合近似正训练集中的样本分布；以作为图块与近似正训练集之间的相似性；其中：表示图块的第j维特征，H表示图块的特征的总维数，其中为正样本集中第k个图块对应的高斯混合模型中第j维特征的权重，均值和方差；
步骤7、产生初始训练集：利用贝叶斯框架对步骤2-6得到的显著性、类内相似性、类间差异性进行融合，最终得到图块是机场的概率其中
和分别为图块xp属于近似正训练集和负训练集的概率，用最近邻法计算；
当图块是机场的概率大于阈值时，该图块作为初始训练集中的正图块；所述阈值范围为0.5～1；
初始训练集中的负训练集由负样本图像随机采样产生；
步骤8、训练机场检测器：利用初始训练集对支持向量机进行迭代训练得到稳定的机场检测器，在每次迭代中，前一次迭代所更新得到的最新训练集用于训练当前的机场检测器，再利用训练后得到的当前的机场检测器对训练集进行更新并用作下一次迭代的训练集，直到该模型开始漂移时迭代结束，并将漂移前一次的机场检测器作为最终的机场检测器。
所述多尺度方形滑动窗口大小为size∈{60,100,130}。
所述最近邻法计算：图块xp与正负样本集中特征距离最接近的图块之间的特征距离作为图块xp属于正负样本集的概率，公式分别为 其中||·||1表示L1范数，和分别表示图块xp在正负样本集中最近邻图块的特征。
所述遥感图像数据库采用Landsat库。
所述步骤3中的稀疏编码采用论文PJ.Han,P.Zhou,D.Zhang,G.Cheng,L.Guo,Z.Liu,S.Bu,and J.Wu,“Efficient,simultaneous detection of multi-classgeospatial targets based on visual saliency modeling and discriminativelearning of sparse coding,”ISPRS J.Photogramm.Remote Sens.,vol.89,pp.37-48,2014中的方法。
所述步骤4和6中的高斯混合模型采用论文C.M.Bishop,Pattern recognitionand machine learning.springer,Aug.2006中的方法。
所述非极大值抑制采用论文G.Cheng,J.Han,L.Guo,X.Qian,P.Zhou,X.Yao,andX.Hu,“Object detection in remote sensing imagery using a discriminativelytrained mixture model,”ISPRS J.Photogramm.Remote Sens.,vol.85,pp.32-43,2013中的方法。
有益效果
本发明提出的一种基于弱监督学习框架的遥感图像机场检测方法，首先得到正样本中图块的显著性，正样本集中图块的相似性，正负样本类间差异性，然后利用贝叶斯框架对这三类信息进行融合，得到初始的正负训练集，然后利用这些训练集迭代训练得到最终的稳定的机场检测器，用该机场检测器检测测试图片的机场，最终取得更具准确性，鲁棒性的机场检测结果。
本发明中弱监督学习仅仅需要知道图片中有无机场，而不需要标注机场的具体位置和大小，因此标注工作量大大减少，然后利用获得的具有弱标签的图片集训练一个机场探测器，并根据训练得到的机场探测器对图片进行重新自动标注，随后根据自动标注的结果更新训练集的标签，此后迭代这个过程，直到检测到模型开始漂移，从而确定最终的机场检测器，并利用该机场检测器取得更具准确性，鲁棒性的机场检测结果。
附图说明
图1：本发明方法的基本流程图
图2：实验结果图
图3：PR结果图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
用于实施的硬件环境是：Intel Pentium 2.93GHz CPU计算机、2.0GB内存，运行的软件环境是：Matlab R2011b和Windows XP。实验选取了Landsat库中的所有图像作为测试数据，该数据库中包含180幅短波-红外遥感图像，是国际公开的用于测试遥感图像机场检测计算模型的数据库。
本发明具体实施如下：
1、对遥感图像数据库中随机抽取的多幅遥感图像进行正负样本分类，将含有机场信息的遥感图像作为正样本图像，未含有机场信息的遥感图像作为负样本图像；
2、利用多尺度方形滑动窗口在每一幅遥感图像中提取图块，将正样本图像得到的图块作为正样本集中的图块负样本图像得到的图块作为负样本集中的图块所述滑动步长为所选取窗口大小的1/3；
3、计算正样本集中图块的显著性：以正样本图集中的每一个图块周围图块作为字典对该图块进行稀疏编码χp≈Dicpαp，根据编码的稀疏度||αp||0和编码产生的残差rp＝χp-Dicpαp，得到图块相对于周围背景的显著值其中：χp为图块的原始RGB特征，Dicp和αp分别是图块周围图块构成的字典和编码产生的稀疏系数，表示出现的概率；
4、计算正负样本集的类间差异性：以反映图块出现在负样本集中的概率作为该图块与负样本之间的差异性，且
其中为负样本集X-中第j维特征所对应的第k个高斯分量的权重，均值和方差，表示该高斯混合模型中高斯分量的数目；
5、获取近似初始正训练集，以判断图块为机场的概率，当图块是机场的概率大于阈值时，将该图块作为初始训练集中的正图块，所述阈值范围为0.5～1；将选出的图块作为近似正训练集；
6、计算正样本图像中图块与近似正训练集的相似性：首先利用高斯混合模型拟合近似正训练集中的样本分布；以作为图块与近似正训练集之间的相似性；其中：表示图块的第j维特征，H表示图块的特征的总维数，其中为正样本集中第k个图块对应的高斯混合模型中第j维特征的权重，均值和方差；
7、产生初始训练集：利用贝叶斯框架对步骤2-6得到的显著性、类内相似性、类间差异性进行融合，最终得到图块是机场的概率其中
和分别为图块xp属于近似正训练集和负训练集的概率，用最近邻法计算；
当图块是机场的概率大于阈值时，该图块作为初始训练集中的正图块；所述阈值范围为0.5～1；
初始训练集中的负训练集由负样本图像随机采样产生；
8、训练机场检测器：利用初始训练集对支持向量机进行迭代训练得到稳定的机场检测器，在每次迭代中，前一次迭代所更新得到的最新训练集用于训练当前的机场检测器，再利用训练后得到的当前的机场检测器对训练集进行更新并用作下一次迭代的训练集，直到该模型开始漂移时迭代结束，并将漂移前一次的机场检测器作为最终的机场检测器。
本发明选用PR曲线对检测结果进行评估。该曲线定义为在分割阈值变化下，准确率(PRE)和召回率(TPR)的变化关系。计算公式如下：
其中FP为检测到的虚警区域；TP为检测到的实警区域，P为ground truth中机场的区域。附图2为一些本发明的实验结果，附图3为本发明方法的PR曲线。从实验结果可以看出本发明提出的方法可以更加准确和鲁棒地对遥感图像实现机场的检测。

Claims (4)

1.一种基于弱监督学习框架的遥感图像机场检测方法，其特征在于：利用方形滑动窗口在拍摄的遥感图像中提取图块，然后利用训练得到的机场检测器对图块进行分类，并利用非极大值抑制的方法保留得分最高的窗口以解决不同尺度下所取窗口高度重叠的问题，从而得到最终的机场检测结果；所述机场检测器的训练步骤如下：
步骤1、对遥感图像数据库中随机抽取的多幅遥感图像进行正负样本分类，将含有机场信息的遥感图像作为正样本图像，未含有机场信息的遥感图像作为负样本图像；
步骤2、利用多尺度方形滑动窗口在每一幅遥感图像中提取图块，将正样本图像得到的图块作为正样本集中的图块负样本图像得到的图块作为负样本集中的图块滑动步长为所选取窗口大小的1/3；
步骤3、计算正样本集中图块的显著性：以正样本图集中的每一个图块周围图块作为字典对该图块进行稀疏编码χp≈Dicpαp，根据编码的稀疏度||αp||0和编码产生的残差rp＝χp-Dicpαp，得到图块相对于周围背景的显著值其中：χp为图块的原始RGB特征，Dicp和αp分别是图块周围图块构成的字典和编码产生的稀疏系数，表示出现的概率；
步骤4、计算正负样本集的类间差异性：以反映图块出现在负样本集中的概率作为该图块与负样本之间的差异性，且其中为负样本集X-中第j维特征所对应的第k个高斯分量的权重，均值和方差，表示高斯混合模型中高斯分量的数目；
步骤5、获取近似初始正训练集：根据判断图块为机场的概率，当图块是机场的概率大于阈值时，将该图块作为初始训练集中的正图块，所述阈值范围为0.5～1；将选出的图块作为近似正训练集；
步骤6、计算正样本图像中图块与近似正训练集的相似性：首先利用高斯混合模型拟合近似正训练集中的样本分布；以作为图块与近似正训练集之间的相似性；其中：表示图块的第j维特征，H表示图块的特征的总维数，其中为正样本集中第k个图块对应的高斯混合模型中第j维特征的权重，均值和方差；
步骤7、产生初始训练集：利用贝叶斯框架对步骤2-6得到的显著性、类内相似性、类间差异性进行融合，最终得到图块是机场的概率其中
和分别为图块xp属于近似正训练集和负训练集的概率，用最近邻法计算；
当图块是机场的概率大于阈值时，该图块作为初始训练集中的正图块；所述阈值范围为0.5～1；
初始训练集中的负训练集由负样本图像随机采样产生；
步骤8、训练机场检测器：利用初始训练集对支持向量机进行迭代训练得到稳定的机场检测器，在每次迭代中，前一次迭代所更新得到的最新训练集用于训练当前的机场检测器，再利用训练后得到的当前的机场检测器对训练集进行更新并用作下一次迭代的训练集，直到该模型开始漂移时迭代结束，并将漂移前一次的机场检测器作为最终的机场检测器。
2.根据权利要求1所述基于弱监督学习框架的遥感图像机场检测方法，其特征在于：所述多尺度方形滑动窗口大小为size∈{60,100,130}。
3.根据权利要求1所述基于弱监督学习框架的遥感图像机场检测方法，其特征在于：所述最近邻法计算：图块xp与正负样本集中特征距离最接近的图块之间的特征距离作为图块xp属于正负样本集的概率，公式分别为其中||·||1表示L1范数，和分别表示图块xp在正负样本集中最近邻图块的特征。
4.根据权利要求1所述基于弱监督学习框架的遥感图像机场检测方法，其特征在于：所述遥感图像数据库采用Landsat库。
CN201410751420.3A 2014-12-09 2014-12-09 一种基于弱监督学习框架的遥感图像机场检测方法 Active CN104463249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410751420.3A CN104463249B (zh) 2014-12-09 2014-12-09 一种基于弱监督学习框架的遥感图像机场检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410751420.3A CN104463249B (zh) 2014-12-09 2014-12-09 一种基于弱监督学习框架的遥感图像机场检测方法

Publications (2)

Publication Number Publication Date
CN104463249A CN104463249A (zh) 2015-03-25
CN104463249B true CN104463249B (zh) 2018-02-02

Family

ID=52909263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410751420.3A Active CN104463249B (zh) 2014-12-09 2014-12-09 一种基于弱监督学习框架的遥感图像机场检测方法

Country Status (1)

Country Link
CN (1) CN104463249B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013637B2 (en) * 2015-01-22 2018-07-03 Microsoft Technology Licensing, Llc Optimizing multi-class image classification using patch features
CN105678322A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 样本标注方法和装置
CN107369098B (zh) * 2016-05-11 2021-10-26 华为技术有限公司 社交网络中数据的处理方法和装置
CN106326938B (zh) * 2016-09-12 2019-03-08 西安电子科技大学 基于弱监督学习的sar图像目标鉴别方法
EP3399465A1 (en) * 2017-05-05 2018-11-07 Dassault Systèmes Forming a dataset for fully-supervised learning
CN107610224B (zh) * 2017-09-25 2020-11-13 重庆邮电大学 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法
CN108268857B (zh) * 2018-02-05 2019-03-22 六安同辉智能科技有限公司 查处违章的巡查移动车
CN109754020B (zh) * 2019-01-10 2020-08-04 东华理工大学 融合多层级渐进策略和非监督学习的地面点云提取方法
CN110321778B (zh) * 2019-04-26 2022-04-05 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN110263620B (zh) * 2019-05-06 2021-06-01 杭州电子科技大学 一种基于l2,1偏标记学习的年龄估计方法
CN111126504A (zh) * 2019-12-27 2020-05-08 西北工业大学 多源不完备信息融合图像目标分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005010561A2 (en) * 2003-07-22 2005-02-03 L-3 Communications Security and Detection Systems Corporation Methods and apparatus for detecting objects in baggage using x-rays
CN101944233A (zh) * 2010-09-25 2011-01-12 西北工业大学 高分辨遥感图像中快速提取机场目标的方法
CN102156882A (zh) * 2011-04-14 2011-08-17 西北工业大学 一种基于高分辨遥感图像的机场目标检测方法
CN102831402A (zh) * 2012-08-09 2012-12-19 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005010561A2 (en) * 2003-07-22 2005-02-03 L-3 Communications Security and Detection Systems Corporation Methods and apparatus for detecting objects in baggage using x-rays
CN101944233A (zh) * 2010-09-25 2011-01-12 西北工业大学 高分辨遥感图像中快速提取机场目标的方法
CN102156882A (zh) * 2011-04-14 2011-08-17 西北工业大学 一种基于高分辨遥感图像的机场目标检测方法
CN102831402A (zh) * 2012-08-09 2012-12-19 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法

Also Published As

Publication number Publication date
CN104463249A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
CN104463249B (zh) 一种基于弱监督学习框架的遥感图像机场检测方法
CN106845374B (zh) 基于深度学习的行人检测方法及检测装置
CN105809198B (zh) 基于深度置信网络的sar图像目标识别方法
CN110018524B (zh) 一种基于视觉-属性的x射线安检违禁品识别方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN102073846B (zh) 基于航拍图像的交通信息获取方法
Nie et al. Pavement distress detection based on transfer learning
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN105389550B (zh) 一种基于稀疏指引与显著驱动的遥感目标检测方法
CN106408030B (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN112395987B (zh) 基于无监督域适应cnn的sar图像目标检测方法
CN108564115A (zh) 基于全卷积gan的半监督极化sar地物分类方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN104392228A (zh) 基于条件随机场模型的无人机图像目标类检测方法
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN109191255B (zh) 一种基于无监督特征点检测的商品对齐方法
CN103745233B (zh) 基于空间信息迁移的高光谱图像分类方法
CN108764082A (zh) 一种飞机目标检测方法、电子设备、存储介质及系统
CN104463248A (zh) 基于深度玻尔兹曼机提取高层特征的高分辨率遥感图像飞机检测方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN108776777A (zh) 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
Onishi et al. Deep convolutional neural network for cloud coverage estimation from snapshot camera images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant