CN105930868B - 一种基于层次化增强学习的低分辨率机场目标检测方法 - Google Patents

一种基于层次化增强学习的低分辨率机场目标检测方法 Download PDF

Info

Publication number
CN105930868B
CN105930868B CN201610247053.2A CN201610247053A CN105930868B CN 105930868 B CN105930868 B CN 105930868B CN 201610247053 A CN201610247053 A CN 201610247053A CN 105930868 B CN105930868 B CN 105930868B
Authority
CN
China
Prior art keywords
pixel
super
feature
image
study
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610247053.2A
Other languages
English (en)
Other versions
CN105930868A (zh
Inventor
赵丹培
马媛媛
姜志国
史振威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610247053.2A priority Critical patent/CN105930868B/zh
Publication of CN105930868A publication Critical patent/CN105930868A/zh
Application granted granted Critical
Publication of CN105930868B publication Critical patent/CN105930868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于层次化增强学习的低分辨率机场目标检测方法,其步骤为:①将输入的遥感图像进行超像素分割;②提取输入图像的边界超像素构造背景信息集;③通过最小距离相似性测量算子学习每个超像素与背景信息集间的特征相似度,提取出深层特征;④定义学习过程的结束条件,判断步骤③是否满足结束条件,若满足执行⑥,否则执行⑤;⑤利用反向传播理论,将③中所述深层特征作为增强因子作用于本层输入图像,将增强处理后的图像作为下一层学习过程的输入图像,执行①,继续下一层学习;⑥停止学习,将步骤③所述本层学习到的深层特征作为超像素的显著特征,获得最终显著图;⑦生成原始图像的直线特征图,将其与显著图融合,通过显著区域定位和区域合并,确定机场目标区域,完成目标检测。

Description

一种基于层次化增强学习的低分辨率机场目标检测方法
技术领域
本发明属于计算机视觉与图像处理的应用领域,涉及一种在低分辨率遥感图像中利用层次化增强学习思想的机场目标检测方法。遥感图像中的机场目标结构复杂,在远距离成像时分辨率较低,在大幅面遥感图像中目标所占比例较小,背景中存在与目标结构、颜色相似的建筑群,传统的机场检测方法大部分都是基于线性几何特征或模板匹配方法,受分辨率和成像质量的影响较大。近几年,有学者将显著性模型引入到遥感目标检测中,对于高分辨率的遥感目标例如,建筑物、油库等目标取得了较好的检测结果,但对于远距离、低分辨率的机场目标检测来说,现有的显著性模型受相似结构、对比度、颜色和分辨率等限制和影响,很难将机场目标从复杂地物背景中准确、快速地检测出来。
针对这一问题,我们对现存的自底向上的数据驱动型的显著性检测方法进行了实验和总结,重点研究如何由底层特征生成深层特征来实现显著性检测。我们提出了一种基于层次化增强学习思想的机场目标显著性检测方法,该方法采用增强学习的理论,利用多尺度超像素分割和基于最小距离的相似性测量算子逐层提取出深层特征,并在本层与下一层之间利用反向传播理论,用本层的学习系数指导下一层的学习,逐层强化各个区域之间的差异,可以根据终止学习条件来自主决定学习的层数,直至将场景中最显著的目标区域从背景中提取出来,再结合图像的直线特征快速实现机场目标的定位。
这种基于层次化增强学习的显著性检测模型采用的是无监督的学习方式,能够自适应控制学习过程,不需要大量的训练样本和训练时间,计算过程简单,效率较高,对于大幅面、低分辨率遥感图像中的机场目标具有较好的检测性能。
背景技术
随着对地观测技术的发展,遥感图像在军事和民用领域的应用范围日趋广泛。在图像处理和模式识别理论飞速发展的推动下,对遥感图像丰富信息的深度挖掘与智能处理成为了研究的热点和难点。遥感图像信息丰富,数据量较大,不仅包括复杂多变的地面环境和形状各异的人造目标,而且光照不均与云层遮挡所引起的模糊和大气折射与大气湍流所造成的目标变形与失真也对图像质量产生影响。遥感图像获取的过程中也受成像设备与天气的影响,当光照变化、雨雪、烟尘和浓雾干扰时,获得遥感图像清晰度下降,而积水造成的折射会改变目标的外貌、纹理等信息,进而改变目标的形状和灰度等特征,同时,当光照发生变化时摄像设备由于过度或者不足曝光而导致目标部分重要信息丢失,也会对目标的检测造成极大的干扰,甚至导致检测失败。另外,遥感图像中的目标形状多样、颜色各异、结构多变,也对检测造成干扰,目标除了桥梁与机场等在空间上呈二维分布,其他大部分目标呈三维状态,表现为目标的阴影,对于目标检测来说,难度增大。遥感图像中目标存在被植被或者其他障碍物遮挡的情况,故其形状具有不完整性,由于航拍的图像是随机获取的,因此目标的位置具有不确定性。正是由于复杂的外在环境给遥感图像中的目标检测带来了难度,因此采用合适的方法将遥感目标从背景复杂、环境多样和信息量丰富的遥感图像中检测出来成为诸多学者研究的重点。
目前典型目标的检测识别算法主要包括:基于聚类的方法,基于特征匹配的方法和基于分类器的方法等。基于聚类的方法是一种无监督的算法,虽然此类方法不需要训练样本,减少了用于人工标注和样本训练的时间,但由于遥感图像中存在目标失真与变形的情况,则采用非监督的方法会造成错检和漏检,具有较大的局限性,在遥感图像的目标检测中很难被广泛应用。基于特征匹配的方法通常利用低层特征比如纹理特征、局部特征描述子等与模板特征匹配来实现检测,运算量较大,自适应能力较差。基于分类器的方法采用的分类器主要有支持向量机(SVM)、特征袋模型、Adaboost分类器、神经网络分类器等。这些方法首先需要足够数量的训练样本来训练分类器,其次需要选择合适有效的特征来进行分类,并且需要人工标定大量的样本标签,时间开销较大。
专利CN103729848A提出了一种基于光谱显著性的高光谱遥感图像小目标检测方法,该方法选取图像的光谱信息和空间信息构造特征向量,应用改进的Itti模型和改进的进化规划方法局部显著图和全局显著图,最终生成总的视觉显著图,作为最终的目标检测结果。该方法只能检测出目标区域的大致位置,而不能得到目标精确的边界信息,对于复杂背景下的目标检测问题,该方法的适应性较差。一种基于选择性视觉注意机制的遥感图像机场目标快速检测和识别的方法由专利CN102214298A提出,该方法利用改进的注意力选择模型(GBVS)得到遥感图像的显著区域,然后根据区域上的SIFT特性结合HDR树达到机场目标识别的目的。专利CN104156722A提出了一种基于高分辨率遥感图像的机场目标检测方法,该方法检测图像中的平行直线作为机场跑道,对图像拍摄过程中的扭曲,遮挡等不确定因素鲁棒性较差。
本发明针对低分辨率遥感图像的机场检测问题,提出一种新的基于层次化增强学习思想的机场目标显著性检测方法,能够准确、高效地解决大幅面遥感图像中的机场目标检测问题。
发明内容
本发明提出一种基于层次化增强学习的低分辨率机场目标检测方法,其特征在于:包括如下步骤:
步骤1:将输入的遥感图像利用简单线性迭代聚类算法(Simple LinearIterative Clustering,SLIC)进行超像素分割,将图像中近邻区域内具有颜色相似性的像素聚类,采用超像素来表示聚为一类的区域,得到分割后的图像;
步骤2:提取分割后图像中超像素的颜色特征作为各个区域的底层特征,构建特征集;再提取出位于图像边界位置的所有超像素的底层特征构造背景信息集,利用图论的方法来提取背景信息集;
步骤3:学习每个超像素与背景信息集间的特征相似度,采用基于最小距离的相似性测量算子(Least Distance Similarity Measure operator,LDSM),学习每个超像素与背景之间的特征差异,突出与背景信息集差别超过预定阈值的超像素,压制与背景信息集差别小于预定阈值的超像素,使越接近背景信息集的超像素的学习系数越趋近于0,从而得到一种能够反映图像子区域与背景区域差异程度的深层特征;
步骤4:定义学习过程的结束条件,判断步骤3中所有超像素的深层特征是否满足该结束条件,若满足则停止学习,执行步骤6,若不满足,则继续下一层学习,执行步骤5;
步骤5:利用反向传播的理论,将步骤3中学习得到的深层特征作为增强因子,反向传播至本层得输入图像,对本层经过超像素分割后的图像进行增强处理,并将增强后的新图像作为下一层学习的输入图像,执行步骤1;这样,通过多次无监督的学习,逐层将图像子区域与背景区域的差异明显化,使深层特征能够辨别背景与目标差异的能力不断增强;
步骤6:停止学习后,将步骤3中学习得到的深层特征作为对应超像素区域的显著特征,从而得到最终的显著图;
步骤7:生成原始遥感图像的直线特征图,将其与显著图进行融合得到特征融合图,根据特征融合图中的最显著区域来确定机场位置,同时通过区域合并确定机场范围;在遥感图像中标注相应区域,即可获得机场目标检测的最终结果。
本发明具有如下的优点和有益效果:
(1)本发明是基于最小距离的相似性测量算子的特征学习方法,对应每个超像素提取一个深层特征,从而学习出每个超像素与背景信息间的特征差异。
(2)本发明采用层次化增强的结构框架自适应学习深层特征。在图像的每层学习更新过程中,都使得目标区域的特征表示更加显著,同时压制背景区域的特征表示,使得显著目标逐步突显出来。
(3)本发明自适应决定学习层数。该模型根据不同的输入图像特征,得到不同的学习结束阈值,当增强矩阵中的目标区域足够显著时,可以自动控制结束学习过程,从而自适应地决定学习的层数,减少了人工干预,这使得该算法对不同的输入图像具有很好的适应性。
(4)本发明采用由精到粗的超像素分割方法。在层次化学习中进行超像素分割时先进行精细分割再进行粗分割。首先进行精细分割,可以提高分割的准确性,便于得到图像中目标物体的精确边界信息,再进行粗分割,可以在保证准确度的基础上提高算法的快速性。
(5)本发明采用显著区域合并的方法确定机场目标区域。在对特征融合图进行处理的过程中,合并与最显著区域相邻接的显著区域,这使得停机坪、跑道等机场的各个部分都可以被完整的检测出来,同时对不同尺寸的机场具有灵活的适应性,解决了超像素尺寸与机场尺寸不匹配的矛盾。
本发明提出的基于层次化增强学习的机场目标检测方法,可以准确检测出不同尺寸和光照条件下低分辨率遥感图像中的机场目标,具有较好的鲁棒性。
附图说明
图1本发明针对低分辨率遥感图像的机场目标检测算法流程图详解;
图2基于图论的边界超像素提取仿射矩阵示例;
图3本发明中的机场目标检测算法各步骤中间结果的示意图;
图4本发明中的机场目标检测算法在多种尺度和光照条件下的检测效果图,图4(a)小尺寸机场目标的检测效果图,图4(b)大尺寸机场目标的检测效果图,图4(c)光照不充足时机场目标的检测效果图。
具体实施方式
参见图1所示,本发明针对低分辨率遥感图像的层次化增强学习机场检测算法,其具体实施步骤如下:
步骤1:将输入的遥感图像利用简单线性迭代聚类算法(SLIC)进行超像素分割,将图像中近邻区域内具有颜色相似性的像素聚类,采用超像素来表示聚为一类的区域,得到分割后的图像;
对输入图像I,大小为WI×HI,利用SLIC进行超像素分割,SLIC算法是以彩色图像的颜色特征以及各像素点的位置信息为约束,采用K-means聚类算法进行聚类;提取图像LAB空间的颜色特征,将局部具有相似颜色特征的像素点用超像素来代表,进行下一步的运算,减少了运算复杂度和计算量。选取超像素的个数为k,则分割后的图像I包含k个超像素区域,其超像素的特征集为P={p1,p2,…,pk};
已知分割后的图像中含有的超像素数目为k,选取每个超像素的颜色特征构造底层特征,即将图像变换到LAB彩色空间,分别求取每个超像素中所有像素的L、A、B三通道的值,取其均值,作为该超像素的底层特征,即对于第i个超像素,1≤i≤k,其底层特征pi表示为:
pi=(lli,lai,lbi) (1)
其中,lli,lai,lbi分别表示在LAB颜色空间的第i个超像素中的所有像素点L、A、B值的均值。
步骤2:提取分割后的图像中超像素的颜色特征作为各个区域的底层特征,构建特征集;再提取出位于图像边界位置的所有超像素的底层特征构造背景信息集,利用图论的方法来提取背景信息集;
根据背景先验的原理,目标出现在图像中央位置的概率较大,而图像边界是背景的概率较大;因此,基于这种假设,对于分割后的图像I,超像素特征集为P={p1,p2,…,pk},将位于边界的n个超像素提取出来,组成背景信息集B={b1,b2,…,bn},0<n<k;利用图论的知识提取出边界的超像素;将超像素分割后的图像表示为一张图模型G,G=(V,E),V是所有超像素的集合且V=P,E是边界超像素的集合,通过一个仿射矩阵来提取边界,对于边界的超像素来说,可以组成一个连通的集合,如果第i1个超像素和第i2个超像素相连则反之则因此在仿射矩阵W中大部分的元素为0,通过该仿射矩阵,提取出位于边界的超像素集合B,即背景信息集B表示为:
B={b1,b2,…,bn},0<n<k (2)
bj=(llj,laj,lbj),1≤j≤n (3)
其中n表示背景超像素的个数,bj表示边界超像素的底层特征,llj,laj,lbj分别表示位于LAB颜色空间的第j个超像素中的所有像素点L、A、B值的均值。
步骤3:学习每个超像素与背景信息集间的特征相似度,采用基于最小距离的相似性测量算子(LDSM),学习每个超像素与背景之间的特征差异,突出与背景信息集差别超过预定阈值的超像素,压制与背景信息集差别小于预定阈值的超像素,使越接近背景信息集的超像素的学习系数越趋近于0,从而得到一种能够反映图像子区域与背景区域差异程度的深层特征;
LDSM算子的求解模型:
假设数据集(xq,yq)包含Q组数据,其中q=1,2,…,Q,q表示(xq,yq)数据集中的任意一组数据,xq与yq分别为维数相同的列向量。xq是变量,而yq是其对应的值;在回归模型设置中,满足如下假设:各观测值yq相互独立,并且xq满足正则分布,即其均值满足∑qxq/Q=0,方差满足
令相似性测量的学习系数为αq,则LDSM算子的公式定义为:
式(4)是一个线性不等式约束的二次规划问题;xq与yq越接近,αq越趋近于1,反之则远离1;因此用学习系数αq与1的相近程度作为xq与yq相似度的测量判别准则;对于超像素分割后的图像I中的特征集P={p1,p2,…,pk},利用背景信息集B={b1,b2,…,bn}使用上述LSDM算子进行学习,经过一次学习,得到图像每个超像素区域相对背景信息集逻辑回归后的系数k表示所有超像素的个数;同时,这也是基于LDSM算子学习出来的表示k个超像素所对应的图像子区域的深层特征;
具体描述为:定义超像素数据集(pi,bj),其中pi表示特征集中超像素的底层特征,bj表示背景信息集中超像素的底层特征,即pi∈P,bj∈B,定义αij为pi相对bj的学习系数,将学习系数αij作用于其对应的超像素底层特征pi,即αijpi,当bj与αijpi最相似时,学习出αij的值为:
通过求解公式(5),得到相似性测量的学习系数αij,当pi与bj相近时,αij近似为1;当pi与bj完全相等时,αij等于1;当pi与bj相差较大时,αij远离1。由此,可将学习系数αij按公式(6)规范化为βij,则
其中,表示将|aij-1|的取值范围规范化到区间[0,1]。由此可得到一组规范化后的学习系数,如下式所示:
第i行表示用特征集中第i个超像素去学习所有背景超像素所得到的学习系数,对每行中各元素取均值,定义深层特征βi的计算公式为:
其中n为背景超像素的个数;因此,由公式(7)得到一个k维列向量 表示深层特征向量,k表示所有超像素的个数。
步骤4:定义学习过程的结束条件,判断步骤3中所有超像素的深层特征是否满足该结束条件,若满足则停止学习,执行步骤6,若不满足,则继续下一层学习,执行步骤5;
经过上述LDSM学习过程,得到深层特征向量利用深层特征判断学习过程是否结束;
定义判断学习过程结束的阈值Tβ,其大小取决于学习到的深层特征的离散程度,阈值定义如下:
其中表示深层特征的均值,Tβ的值表示的是深层特征的方差,定义第i个深层特征βi与其均值的偏差Δβii=1,2,…,k,k表示所有超像素的个数;在本层的学习过程中,当满足Δβi>Tβ的βi的个数小于c时,学习终止,执行步骤6,否则,执行步骤5;其中,c表示人工设定的学习结束阈值,设定c=3,即认为一幅图像中显著的超像素区域个数不会大于3。
步骤5:利用反向传播的理论,将步骤3中学习得到的深层特征作为增强因子,反向传播至本层输入图像,对本层经过超像素分割后的图像进行增强处理,并将增强后的新图像作为下一层学习的输入图像,执行步骤1;这样,通过多次无监督的学习,逐层将图像子区域与背景区域的差异明显化,使深层特征辨别背景与目标差异的能力不断增强;
当学习到的深层特征向量不满足学习结束条件时,构造增强矩阵Λ:
Λ=(f(β1),f(β2),…,f(βk)) (10)
f(βi)=βi 2 (11)
即f(βi)为βi的正相关函数,f(βi)称为增强因子。
反向传播算法(Back-propagation Algorithm)最早应用于神经网络学习,是用来训练多层感知器的监督学习算法。反向传播算法利用梯度下降原理,计算权重系数在学习过程中对网络存在的影响即学习误差,通过前向传导和反向回馈来控制网络的学习程度。假设给定一个学习集合,对其进行前向传导的学习,计算其学习系数,计算学习到的误差,误差表明了本次学习的有效性,将这个误差作为参数返回到原学习网络中进行调整原参数的权重,再进行下一次的学习,如此周而复始直至得到的学习误差小到可以接受的范围而停止学习。对于神经网络的学习来说,算法需要大量的样本来进行训练,才能使其结果更接近真实的情况。虽然这种算法不适用于无监督学习的情况,但是我们在分层学习的算法中借鉴了这种反向传播的思想,并将其延伸到无监督学习的领域内,即通过每层学习得到的学习系数,反馈至该层的输入图像中,对输入图像进行更新,这是反向的过程;将更新之后的图像在层与层之间进行传递,这是传播的过程,通过这一反向传播过程,使背景特征逐步被压制,从而突出目标区域;
根据反向传播的分层学习理论,将增强矩阵反向传播至本层输入图像的位置,增强输入图像,如公式(12)所示:
It+1=It.*Λ=(p1,p2,…,pk).*(f(β1),f(β2),…,f(βk)) (12)
It表示本层的输入图像,It+1表示下一层的输入图像,t为本层层级数,“.*”表示两个矩阵中对应元素相乘。
在第t次的学习过程中,对于本层的输入图像It,利用SLIC算法对其进行超像素分割,将图像分割为kt个图像子区域,则输入图像包含近似kt个超像素;采用的超像素分割数目满足以下条件:
k1≥k2≥k3≥…≥kt≥…,t=1,2,3,… (13)
即本算法采用由精到粗的分割模式,最初的精细分割能够准确地保留图像的边缘特征,而后续的粗分割可以适当减少运算量。
更新后的图像It+1将作为下一层的输入图像开始下一层的增强学习。执行步骤1。
步骤6:停止学习后,将步骤3中学习得到的深层特征作为对应超像素区域的显著特征,从而得到最终的显著图;
当深层特征满足迭代结束条件时,则结束学习过程;并将此时的增强矩阵Λ作为对应超像素的显著特征,即显著图S可表示为:
S=ΛT (14)
ΛT表示在第T层学习过程中得到的增强矩阵Λ,T为总的学习迭代次数。
步骤7:生成原始遥感图像的直线特征图,将其与显著图进行融合得到特征融合图,根据特征融合图中的最显著区域确定机场位置,同时通过区域合并确定机场范围;在遥感图像中标注相应区域,即可获得机场目标检测的最终结果。
利用LSD直线特征提取方法得到原始图像的直线特征,对于每个像素点,用5×5的小区域进行遍历,统计每个小区域中的直线数目,作为该像素点的直线特征值,由此方法可生成原始图像的直线特征图LI
将显著图S与直线特征图LI进行特征融合:
Sfinal=S×LI (15)
对于特征融合图Sfinal,设pmax为最显著区域,则认为pmax的位置即为机场目标所在的位置;设pm为与pmax邻接的超像素,pm∈P,若pm处的显著性值大于某一阈值th,则认为pm区域足够显著,同样将其视为机场区域,将超像素pm与pmax合并;同理,合并所有与pmax邻接的显著区域,得到新的显著区域pall
pall=pmax+…+pm+… (16)
其中,pm表示显著性值大于th且与pmax邻接的区域,该公式中‘+’表示区域合并;
pall的显著区域代表了遥感图像中机场目标的尺寸和位置信息,以Sfinal为模板,以pall区域作为目标区域,在遥感图像中标注出对应的区域,即为检测到的机场目标。
图2是基于图论的边界超像素提取仿射矩阵示例图。在边界超像素的提取过程中,利用图论模型,将整幅图像看作一张图,其中,图的结点为每个超像素区域,相邻结点之间有边相连。利用该图模型构造仿射矩阵,通过仿射矩阵,可以提取出位于边界的超像素集合。
图3是本发明中机场目标检测算法各步骤中间结果的示意图,图中列举出对图像利用SLIC进行超像素分割、背景信息集提取、显著图检测、特征融合以及机场区域标注等步骤的结果示例图。由示意图可以看出,由深层特征学习生成的显著图对多种机场目标都能够完整地描述出机场所在的显著区域,经过区域合并等处理步骤后,显著图更整洁,机场区域更完整,检测效果更精确。
图4是本发明中机场目标检测算法在多种尺度和光照条件下的检测效果图。图4(a)是对小尺寸机场的检测效果图。从检测结果可以看出,本发明提出的这种机场目标检测方法能够较好地检测出整个机场区域,并且能够很好地压制周围背景区域的干扰,因此,该显著图与经处理后的显著图相差不大,检测出的机场显著区域比较完整。图4(b)是对大尺寸机场的检测效果图。从检测结果可以看出,实际机场区域由多个显著的超像素块拼接而成,经过区域合并后,将所有显著区域合并成一幅完整的显著图,得到了更准确的机场目标区域。图4(c)是在光照不充足的条件下机场的检测效果图。从检测结果可以看出,当光照不足时,该机场检测模型仍能够准确地提取出机场所在位置,虽然完整检测出整个机场区域的能力不如光照条件良好时,但是经过区域合并等处理,该模型仍然能够准确地定位机场区域。由图4可以看出,这种基于层次化增强学习的机场检测方法对于遥感图像的地表环境、目标尺度大小以及光照变化都具有很好的自适应能力,即该算法具有应用范围广,鲁棒性好的特点。

Claims (7)

1.一种基于层次化增强学习的低分辨率机场目标检测方法,其特征在于包括如下步骤:
步骤1:将输入的遥感图像利用简单线性迭代聚类算法(Simple Linear IterativeClustering,SLIC)进行超像素分割,将图像中近邻区域内具有颜色相似性的像素聚类,采用超像素来表示聚为一类的区域,得到分割后的图像;
步骤2:提取分割后图像中超像素的颜色特征作为各个区域的底层特征,构建特征集;再提取出位于图像边界位置的所有超像素的底层特征构造背景信息集,利用图论的方法来提取背景信息集;
步骤3:学习每个超像素与背景信息集间的特征相似度,采用基于最小距离的相似性测量算子(Least Distance Similarity Measure operator,LDSM),学习每个超像素与背景之间的特征差异,突出与背景信息集差别超过预定阈值的超像素,压制与背景信息集差别小于预定阈值的超像素,使越接近背景信息集的超像素的学习系数越趋近于0,从而得到一种能够反映图像子区域与背景区域差异程度的深层特征;
步骤4:定义学习过程的结束条件,判断步骤3中所有超像素的深层特征是否满足该结束条件,若满足则停止学习,执行步骤6,若不满足,则继续下一层的学习,执行步骤5;
步骤5:利用反向传播的理论,将步骤3中学习得到的深层特征作为增强因子,反向传播至本层的输入图像,对本层经过超像素分割后的图像进行增强处理,并将增强后的新图像作为下一层学习的输入图像,执行步骤1;这样,通过多次无监督的学习,逐层将图像子区域与背景区域的差异明显化,使深层特征能够辨别背景与目标差异的能力不断增强;
步骤6:停止学习后,将步骤3中学习得到的深层特征作为对应超像素区域的显著特征,从而得到最终的显著图;
步骤7:生成原始遥感图像的直线特征图,将其与显著图进行融合得到特征融合图,根据特征融合图中的最显著区域确定机场位置,同时通过区域合并确定机场范围;在遥感图像中标注相应区域,即可获得机场目标检测的最终结果。
2.如权利要求1所述的基于层次化增强学习的低分辨率机场目标检测方法,其特征在于:利用步骤1所述对图像进行超像素分割,具体步骤包括:
对输入图像I,大小为WI×HI,利用SLIC进行超像素分割,SLIC算法是以彩色图像的颜色特征以及各像素点的位置信息为约束,采用K-means聚类算法进行聚类;提取图像LAB空间的颜色特征,将局部具有相似颜色特征的像素点用超像素来代表,进行下一步的运算,减少了运算复杂度和计算量;选取超像素的个数为k,则分割后的图像I包含k个超像素区域,其超像素的特征集为P={p1,p2,…,pk};
已知分割后的图像中含有的超像素数目为k,选取每个超像素的颜色特征构造底层特征,即将图像变换到LAB彩色空间,分别求取每个超像素中所有像素的L、A、B三通道的值,取其均值,作为该超像素的底层特征,即对于第i个超像素,1≤i≤k,其底层特征pi表示为:
pi=(lli,lai,lbi) (1)
其中,lli,lai,lbi分别表示在LAB颜色空间的第i个超像素中的所有像素点L、A、B值的均值。
3.如权利要求1所述的基于层次化增强学习的低分辨率机场目标检测方法,其特征在于:步骤2所述提取位于图像边界位置的所有超像素,构造背景信息集;具体包括:
根据背景先验的原理,目标出现在图像中央位置的概率较大,而图像边界是背景的概率较大;因此,基于这种假设,对于分割后的图像I,超像素的特征集为P={p1,p2,…,pk},将位于边界的n个超像素提取出来,组成背景信息集B={b1,b2,…,bn},0<n<k;利用图论的知识来提取边界的超像素;将超像素分割后的图像表示为一张图模型G,G=(V,E),V是所有超像素的集合且V=P,E是边界超像素的集合,通过一个仿射矩阵来提取边界,对于边界的超像素来说,可以组成一个连通的集合,如果第i1个超像素和第i2个超像素相连则反之则因此在仿射矩阵W中大部分的元素为0,通过该仿射矩阵,提取出位于边界的超像素集合B,即背景信息集B表示为:
B={b1,b2,…,bn},0<n<k (2)
bj=(llj,laj,lbj),1≤j≤n (3)
其中n表示背景超像素的个数,bj表示边界超像素的底层特征,llj,laj,lbj分别表示位于LAB颜色空间的第j个超像素中的所有像素点L、A、B值的均值。
4.如权利要求1所述的基于层次化增强学习的低分辨率机场目标检测方法,其特征在于:步骤3所述采用基于最小距离的相似性测量(LDSM)算子的特征学习方法,学习出一种能够反映图像子区域与背景区域差异程度的深层特征,具体包括:
LDSM算子的求解模型:
假设数据集(xq,yq)包含Q组数据,其中q=1,2,…,Q,(xQ,yQ)表示(xq,yq)数据集中的一组数据,xq与yq分别为维数相同的列向量;xq是变量,而yq是其对应的值;在回归模型设置中,满足如下假设:各观测值yq相互独立,并且xq满足正则分布,即其均值满足∑qxq/Q=0,方差满足
令相似性测量的学习系数为αq,则LDSM算子的公式定义为:
式(4)是一个线性不等式约束的二次规划问题;xq与yq越接近,αq越趋近于1,反之则远离1;因此用学习系数αq与1的相近程度作为xq与yq相似度的测量判别准则;对于超像素分割后的图像I中的特征集P={p1,p2,…,pk},利用背景信息集B={b1,b2,…,bn}使用LSDM算子进行学习,经过一次学习,得到图像每个超像素区域相对背景信息集逻辑回归后的系数k表示所有超像素的个数;同时,这也是基于LDSM算子学习出来的表示k个超像素所对应的图像子区域的深层特征;
具体描述为:定义超像素数据集(pi,bj),其中pi表示特征集中的超像素的底层特征,bj表示背景信息集中的超像素的底层特征,即pi∈P,bj∈B,定义αij为pi相对bj的学习系数,将学习系数αij作用于其对应的超像素底层特征pi,即αijpi,当bj与αijpi最相似时,学习出αij的值为:
通过求解公式(5),得到相似性测量的学习系数αij,当pi与bj相近时,αij近似为1;当pi与bj完全相等时,αij等于1;当pi与bj相差较大时,αij远离1;由此,将学习系数αij按公式(6)规范化为βij,则
其中,表示将|aij-1|的取值范围规范化到区间[0,1],由此得到一组规范化后的学习系数,如下式所示:
第i行表示用特征集中第i个超像素去学习所有背景超像素所得到的学习系数,对每行中各元素取均值,定义深层特征βi的计算公式为:
其中n为背景超像素的个数;因此,由公式(7)得到一个k维列向量 表示深层特征向量,k表示所有超像素的个数。
5.如权利要求4所述的基于层次化增强学习的低分辨率机场目标检测方法,其特征在于:按照步骤4所述定义学习过程的结束条件,判断本层的深层特征是否满足所述结束条件,具体包括:
经过上述LDSM学习过程,得到深层特征向量利用深层特征判断学习过程是否结束;
定义判断学习过程结束的阈值Tβ,其大小取决于学习到的深层特征的离散程度,阈值定义如下:
其中表示深层特征的均值,Tβ的值表示的是深层特征的方差,定义第i个深层特征βi与其均值的偏差Δβik表示所有超像素的个数;在本层的学习过程中,当满足Δβi>Tβ的βi的个数小于c时,学习终止,执行步骤6,否则,执行步骤5;其中,c表示人工设定的学习结束阈值,设定c=3,即认为一幅图像中显著的超像素区域个数不会大于3。
6.如权利要求4所述的基于层次化增强学习的低分辨率机场目标检测方法,其特征在于:按照步骤5所述,利用反向传播思想更新下一层的输入图像,具体包括:
当学习到的深层特征向量不满足学习结束条件时,构造增强矩阵Λ:
Λ=(f(β1),f(β2),…,f(βk)) (10)
f(βi)=βi 2 (11)
即f(βi)为βi的正相关函数,f(βi)称为增强因子;
反向传播算法(Back-propagation Algorithm)根据分层学习的理论,将增强矩阵反向传播至本层输入图像的位置,增强输入图像,如公式(12)所示:
It+1=It.*Λ=(p1,p2,…,pk).*(f(β1),f(β2),…,f(βk)) (12)
It表示本层的输入图像,It+1表示下一层的输入图像,t为本层层级数,“.*”表示两个矩阵中对应元素相乘;其中pi表示特征集中超像素的底层特征;
在第t次的学习过程中,对于本层的输入图像It,应用SLIC算法对其进行超像素分割,将图像分割为kt个图像子区域,则输入图像包含kt个超像素;采用的超像素分割数目满足以下条件:
k1≥k2≥k3≥…≥kt≥…,t=1,2,3,… (13)
即采用由精到粗的分割模式,最初的精细分割能够准确地保留图像的边缘特征,后续的粗分割可以适当减少运算量;
更新后的图像It+1将作为下一层的输入图像开始下一层的学习,执行步骤1。
7.如权利要求6所述的基于层次化增强学习的低分辨率机场目标检测方法,其特征在于:按照步骤6所述结束学习,获得显著图,具体包括:
当深层特征满足迭代结束条件时,则结束学习过程;并将此时的增强矩阵Λ作为对应超像素的显著特征,即显著图S可表示为:
S=ΛT (14)
ΛT表示在第T层学习过程中得到的增强矩阵Λ,T为总的学习迭代次数。
CN201610247053.2A 2016-04-20 2016-04-20 一种基于层次化增强学习的低分辨率机场目标检测方法 Active CN105930868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610247053.2A CN105930868B (zh) 2016-04-20 2016-04-20 一种基于层次化增强学习的低分辨率机场目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610247053.2A CN105930868B (zh) 2016-04-20 2016-04-20 一种基于层次化增强学习的低分辨率机场目标检测方法

Publications (2)

Publication Number Publication Date
CN105930868A CN105930868A (zh) 2016-09-07
CN105930868B true CN105930868B (zh) 2019-02-12

Family

ID=56838556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610247053.2A Active CN105930868B (zh) 2016-04-20 2016-04-20 一种基于层次化增强学习的低分辨率机场目标检测方法

Country Status (1)

Country Link
CN (1) CN105930868B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529391B (zh) * 2016-09-08 2019-06-18 长安大学 一种鲁棒的限速交通标志检测与识别方法
CN106709517B (zh) * 2016-12-19 2020-09-04 航天恒星科技有限公司 红树林识别方法及系统
CN106875396B (zh) * 2016-12-28 2020-12-01 深圳信息职业技术学院 基于运动特性的视频显著区的提取方法和装置
CN106650816A (zh) * 2016-12-28 2017-05-10 深圳信息职业技术学院 一种视频质量评价方法和装置
CN106909902B (zh) * 2017-03-01 2020-06-05 北京航空航天大学 一种基于改进的层次化显著模型的遥感目标检测方法
CN107122713B (zh) * 2017-03-27 2020-07-28 华南理工大学 一种基于深度学习的似物性检测方法
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN107766810B (zh) * 2017-10-10 2021-05-14 湖南省测绘科技研究所 一种云、影检测方法
CN108710885B (zh) * 2018-03-29 2021-07-23 百度在线网络技术(北京)有限公司 目标对象的检测方法和装置
CN108875588B (zh) * 2018-05-25 2022-04-15 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109086776A (zh) * 2018-07-06 2018-12-25 航天星图科技(北京)有限公司 基于超像素区域相似性检测的典型地震灾害信息提取算法
CN109543561B (zh) * 2018-10-31 2020-09-18 北京航空航天大学 航拍视频显著性区域检测方法和装置
CN109902555B (zh) * 2019-01-11 2020-09-22 西安电子科技大学 一种基于对象的多尺度层次表达学习的变化检测方法
CN110276269B (zh) * 2019-05-29 2021-06-29 西安交通大学 一种基于注意力机制的遥感图像目标检测方法
CN110503146B (zh) * 2019-08-21 2021-12-14 杭州比智科技有限公司 数据增强方法、装置、计算设备及计算机存储介质
CN110826573B (zh) * 2019-09-16 2023-10-27 北京联合大学 一种显著图融合方法及系统
CN110751155A (zh) * 2019-10-14 2020-02-04 西北工业大学 一种新的基于Faster R-CNN的目标检测方法
CN110910417B (zh) * 2019-10-29 2022-03-29 西北工业大学 一种基于超像素邻帧特征对比的弱小运动目标检测方法
CN111209808B (zh) * 2019-12-25 2023-07-18 北京航空航天大学杭州创新研究院 一种基于分层处理的无人机图像语义分割识别方法
CN111191629B (zh) * 2020-01-07 2023-12-15 中国人民解放军国防科技大学 一种基于多目标的图像能见度检测方法
CN112580431B (zh) * 2020-11-20 2022-06-24 北京航空航天大学 一种适用于星上在轨处理的高带宽遥感图像目标提取方法
CN112765339B (zh) * 2021-01-21 2022-10-04 山东师范大学 一种基于强化学习的个性化图书推荐方法及系统
CN113658129B (zh) * 2021-08-16 2022-12-09 中国电子科技集团公司第五十四研究所 一种结合视觉显著性和线段强度的阵地提取方法
CN114386524A (zh) * 2022-01-17 2022-04-22 深圳市城图科技有限公司 一种动态自适应图分层模仿学习的电力设备识别方法
CN114484148B (zh) * 2022-02-15 2024-01-02 河海大学常州校区 一种地下管道检测机器人检测系统及检测方法
CN114677368B (zh) * 2022-04-19 2022-10-25 中国人民解放军32021部队 一种图像显著性检测方法及装置
CN116187399B (zh) * 2023-05-04 2023-06-23 北京麟卓信息科技有限公司 一种基于异构芯片的深度学习模型计算误差定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"A novel airport detection method via line segment classification and texture classification";Gefu Tang等;《IEEE Geoscience Remote Sensing Letters》;20151231;第12卷(第12期);第2408-2412页
"Recent advances in hierarchical reinforcement learning";Andrew G.Barto等;《Discrete Event Dynamic Systems:Theory and Applications》;20031231;第13卷;第41-77页
"Saliency-guided unsupervised feature learning for scene classification";Fan Zhang等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20150430;第53卷(第4期);第2175-2184页
"Scene classification via a gradient boosting random convolutional network framework";Fan Zhang等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20160331;第54卷(第3期);第1793-1802页
"基于分层自适应部分模型的遥感图像飞机目标检测";何楚等;《武汉大学学报 (信息科学版)》;20130630;第38卷(第6期);第656-660页

Also Published As

Publication number Publication date
CN105930868A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105930868B (zh) 一种基于层次化增强学习的低分辨率机场目标检测方法
TWI794414B (zh) 用於使用深度感測器進行即時物件偵測的系統和方法
CN108710875B (zh) 一种基于深度学习的航拍公路车辆计数方法及装置
Zhou et al. Robust matching for SAR and optical images using multiscale convolutional gradient features
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN109409263B (zh) 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN107657226B (zh) 一种基于深度学习的人数估计方法
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN106909902B (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN104408469A (zh) 基于图像深度学习的烟火识别方法及系统
CN104392228A (zh) 基于条件随机场模型的无人机图像目标类检测方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN104463249B (zh) 一种基于弱监督学习框架的遥感图像机场检测方法
CN106599994A (zh) 一种基于深度回归网络的视线估计方法
CN101976504B (zh) 一种基于颜色空间信息的多车辆视频跟踪方法
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN103218831A (zh) 一种基于轮廓约束的视频运动目标分类识别方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN105574488A (zh) 一种基于低空航拍红外图像的行人检测方法
Tan et al. Vehicle detection in high resolution satellite remote sensing images based on deep learning
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN104657717A (zh) 一种基于分层核稀疏表示的行人检测方法
CN113158943A (zh) 一种跨域红外目标检测方法
CN104517095A (zh) 一种基于深度图像的人头分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant