CN108427919B - 一种基于形状引导显著性模型的无监督油罐目标检测方法 - Google Patents
一种基于形状引导显著性模型的无监督油罐目标检测方法 Download PDFInfo
- Publication number
- CN108427919B CN108427919B CN201810153495.XA CN201810153495A CN108427919B CN 108427919 B CN108427919 B CN 108427919B CN 201810153495 A CN201810153495 A CN 201810153495A CN 108427919 B CN108427919 B CN 108427919B
- Authority
- CN
- China
- Prior art keywords
- shape
- graph
- obtaining
- superpixels
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于形状引导显著性模型的无监督油罐目标检测方法。其步骤为:输入遥感图像,计算遥感图像的边缘响应图并对遥感图像中的每个像素进行聚类组成超像素,得到遥感图像的全部超像素;基于所述全部超像素和所述边缘响应图得到多个聚类区域;利用聚类区域,得到圆形概率和圆形概率图;根据全部超像素和圆形概率图计算基于形状引导的显著性图;通过形状引导的显著性图得到二值结果图;利用二值结果图在遥感图像中标出油罐区域,得到目标区域。通过该目标检测方法可以准确检测出不同尺寸和光照条件下低分辨率遥感图像中的油罐目标,具有较好的鲁棒性。
Description
技术领域
本发明涉及遥感图像处理与场景应用的技术领域,更具体的说是涉及一种基于形状引导显著性模型的无监督油罐目标检测方法。
背景技术
随着硬件技术的高速发展以及遥感卫星技术的广泛应用,针对遥感图像中典型地物目标的检测技术吸引了越来越多的研究人员的目光,遥感图像目标检测无论在军事还是民用领域都具有至关重要的意义,特别是在使用遥感数据较多的军事领域中,准确而高效的自动目标检测算法是十分急需的。
针对油罐目标而言,因油罐本身颜色、纹理、形状不同以及复杂的外界环境等多种因素,油罐目标检测的难度随之增大。但也正是由于复杂的外在环境与内在多样性给遥感图像中的油罐目标检测带来了持续的研究热度,采用合适的方法将形状、颜色、纹理不一的油罐遥感目标从背景复杂、环境多样和信息量丰富的遥感图像中检测出来成为诸多学者研究的重点。
目前油罐目标的检测识别算法主要包括:基于hough变换的方法,基于阴影线索的的方法和基于分类器的方法等。基于hough变换的方法是一种无监督的算法,虽然此类方法不需要训练样本,减少了用于人工标注和样本训练的时间,但hough变换本身需要遍历全图并搜索3维参数空间,并且对于数据量较大的遥感图像以及油罐尺寸变化较大的情况,其计算时间与空间开销都较大,很难在实际情况中应用。基于阴影线索的方法主要是根据油罐目标在白天投射到地面上的阴影来定位油罐目标,这种算法在夜晚、阴雨天气等情况下,阴影线索难以获得,因此具有很大的局限性。基于分类器的方法采用的分类器主要有支持向量机(SVM)、特征袋模型、Adaboost分类器、神经网络分类器等。这些方法首先需要足够数量的训练样本来训练分类器,其次需要选择合适有效的特征来进行分类,并且需要人工标定大量的样本标签,时间开销较大。
专利CN104217196A提出了一种基于视觉显著性和hough变换的遥感图像圆形油罐检测方法,该方法先对遥感影像进行MHC视觉显著变换得到显著图,再在显著图的基础上利用hough变换进行圆检测得到疑似油罐区域,最后利用SVM进行分类得到最终检测结果。该方法只能针对较明亮的油罐有一定的效果,而对于颜色较暗或处于复杂背景下的油罐目标检测效果较差。
专利CN106909902A提出一种基于改进的层次化显著模型的遥感目标检测方法,该方法针对输入图像首先构建全局信息集与背景信息集,并计算输入图像中潜在目标区域与背景信息集特征相似度,利用迭代过程不断增强潜在目标区域与背景信息集之间的差异,直至满足结束条件。由于该算法需要不断迭代,计算复杂度较高,不适用于大幅面的遥感图像。
因此,如何提供一种能够在低分辨率遥感图像中准确检测油罐的目标检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于形状引导显著性模型的无监督油罐目标检测方法,能够准确、高效地解决大幅面低分辨率条件下遥感图像中的油罐目标检测问题。
为了实现上述目的,本发明采用如下技术方案:
一种基于形状引导显著性模型的无监督油罐目标检测方法,包括如下步骤:
步骤1:输入遥感图像,计算所述遥感图像的边缘响应图以及对所述遥感图像中的每个像素进行聚类组成超像素,并得到所述遥感图像的全部超像素;
步骤2:基于所述全部超像素和所述边缘响应图得到多个聚类区域;
步骤3:利用所述聚类区域,得到圆形概率和圆形概率图;
步骤4:根据所述全部超像素和所述圆形概率图计算基于形状引导的显著性图;
步骤5:通过所述形状引导的显著性图得到二值结果图;
步骤6:利用所述二值结果图在所述遥感图像中标出油罐区域,得到目标区域。
本发明的有益效果为:本发明提出的基于形状引导显著性模型的无监督油罐目标检测方法,可以准确检测出不同尺寸和光照条件下低分辨率遥感图像中的油罐目标,具有较好的鲁棒性。
进一步,在所述步骤2中,基于所述全部超像素和所述边缘响应图得到多个聚类区域的具体步骤为:
步骤21:将所述全部超像素的颜色特征变换到CIELab色彩空间,并计算所述全部超像素在CIELab色彩空间的颜色特征向量;
步骤22:根据步骤1的所述边缘响应图,计算超像素与相邻超像素之间的边缘阻隔度值;
步骤23:基于全部超像素建立图结构模型,并利用所述边缘阻隔度值以及所述颜色特征向量计算图结构模型中边的权值;
步骤24:将边的权值从小到大排列,并按照基于图的快速图像分割算法得到多个聚类区域。
上述进一步技术方案的有益效果为:本发明根据边缘响应图和超像素之间的相似程度合并相似超像素,减少了后续操作计算量。
进一步,在所述步骤3中,利用所述聚类区域,得到所述聚类区域为圆形的概率和圆形概率图的具体步骤为:
步骤31:计算每个所述聚类区域的图形形状的弦特征;
步骤32:根据所述聚类区域图形大小建立自适应的圆形模板,并计算圆形模板的弦特征;
步骤33:通过所述图形形状的弦特征以及所述圆形模板的弦特征,计算皮尔逊相关系数,并将所述皮尔逊相关系数归一化后作为聚类区域的圆形概率;
步骤34:根据每个所述聚类区域的圆形概率,得到圆形概率图。
上述进一步技术方案的有益效果为:本发明通过图形形状的弦特征与圆形模板的弦特征之间的皮尔逊相关系数,判断待测聚类区域的形状是圆形的概率,该方法不仅能够量化描述待测形状的圆度,而且对于轻微形变具有较强的鲁棒性。
进一步,在所述步骤4中,根据所述全部超像素和所述圆形概率图计算基于形状引导的显著性图的具体步骤为:
步骤41:根据步骤3的所述圆形概率图得到基于形状引导的颜色后验概率信息;
步骤42:利用所述基于形状引导的颜色后验概率信息和所述全部超像素得到原始特征表示字典和稀疏表示系数;
步骤43:通过所述原始特征表示字典和所述稀疏表示系数生成基于形状引导的显著性图。
进一步,步骤41:根据步骤3的所述圆形概率图得到基于形状引导的颜色后验概率信息的具体步骤为:
步骤411:设定阈值并根据所述圆形概率图的响应值,将步骤1得到的所述全部超像素划分为目标集合和背景集合;
步骤412:根据所述形状引导信息以及所述目标集合和背景集合,并利用贝叶斯公式得到所述基于形状引导的颜色后验概率信息。
上述进一步技术方案的有益效果为:把形状引导信息作为先验知识,结合目标集合与背景集合中在CIELab颜色空间中的不同颜色特征向量,利用贝叶斯公式得到基于形状引导的颜色后验概率信息,克服了贝叶斯推测只依赖于颜色特征向量的技术缺陷。
进一步,步骤42:利用所述形状引导颜色后验信息和所述全部超像素得到原始特征表示字典和稀疏表示系数的具体步骤为:
步骤421:计算所述全部超像素在CIELab色彩空间颜色特征、RGB色彩空间颜色特征和XY坐标位置特征的特征表示向量,得到全部超像素的原始特征表示字典;
步骤422:通过所述基于形状引导的颜色后验概率信息计算每个超像素为背景超像素的概率,并利用每个超像素为背景超像素的概率对所述原始特征表示字典进行加权,得到加权特征表示字典;
步骤423:所述加权特征表示字典对所述全部超像素进行稀疏表示得到稀疏表示系数。
上述进一步技术方案的有益效果为:本发明构建加权特征表示字典的时候,利用了每个超像素是背景超像素的概率对原始特征表示字典中相应的元素进行加权,在保持算法无监督特性的同时,避免了筛选字典元素可能带来的误差,增强了特征表示字典对于背景超像素集合的表示能力。
进一步,步骤43:通过所述原始特征表示字典和所述稀疏表示系数生成基于形状引导的显著性图的具体步骤为:
步骤431:利用所述稀疏表示系数和所述原始特征表示字典,对所述全部超像素进行稀疏重建,得到稀疏重建误差;
步骤432:将所述稀疏重建误差进行归一化,得到所述基于形状引导的显著性图。
进一步,在所述步骤5中,通过所述形状引导的显著性图得到二值结果图的具体步骤为:
步骤51:步骤4得到的所述基于形状引导的显著性图作为引导信息,对遥感图像中所有像素点建立能量函数;
步骤52:在遥感图像图像上创建无向图;
步骤53:根据无向图,通过GrabCut in One Cut图割算法最小化式所述能量函数,得出最优目标集合与背景集合,并创建二值结果图。
上述进一步技术方案的有益效果为:本发明在基于形状引导的显著性图之后,对遥感图像所有像素构建能量函数,并利用GrabCut in One Cut图割算法获得了使能量函数最小化的最优目标集合与背景集合,弥补了基于形状引导的显著性图对于候选区域可能产生遗漏的技术缺陷,同时解决了基于形状引导的显著性图取固定阈值时对算法鲁棒性带来负面影响的问题。
与现有技术相比,本发明公开的一种基于形状引导显著性模型的无监督油罐目标检测方法,在保证高准确率的同时不需要大量的训练数据,解决了监督学习算法因难以获取遥感图像数据检测效率低或者产生过拟合的技术缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明一种基于形状引导显著性模型的无监督油罐目标检测方法流程图;
图2附图为本发明一种基于形状引导显著性模型的无监督油罐目标检测方法对大小不同油罐目标的检测效果图;
图3附图为本发明一种基于形状引导显著性模型的无监督油罐目标检测方法对颜色不同油罐目标的检测效果图;
图4附图为本发明一种基于形状引导显著性模型的无监督油罐目标检测方法对油罐在排列十分紧密的条件下的目标检测效果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种基于形状引导显著性模型的无监督油罐目标检测方法,参见附图1,具体步骤包括:
一种基于形状引导显著性模型的无监督油罐目标检测方法,包括如下步骤:
步骤1,输入遥感图像,利用结构边缘检测算法SED(Structured Edge Detection,SED)对输入遥感图像中每个像素的边缘响应强度进行检测,生成边缘响应图;同时,利用每个像素的颜色特征和位置特征,采用简单线性迭代聚类算法SLIC(Simple LinearIterative Clustering,SLIC)进行聚类,即提取遥感图像中的每个像素在CIELab色彩空间的颜色特征,将位置相近且具有相似颜色特征的像素聚在一起组成超像素;
若遥感图像总的超像素分割个数为k,则分割后的遥感图像中全部超像素的数量为k,其中,k个超像素组成超像素集合Ω。
步骤2,(1)选取步骤1中全部超像素的颜色特征来构造底层特征,即将全部超像素变换到CIELab色彩空间;
分别求取每个超像素中所有像素在CIELab色彩空间三个颜色通道的值,并求出每个超像素中所有像素在每个颜色通道的均值,三个颜色通道的均值作为该超像素的颜色特征,则第i个超像素的颜色特征向量fi color表示为:
(2)根据步骤1中的边缘响应图,计算超像素i与相邻超像素j之间的边缘阻隔度值ESij;边缘阻隔度值的计算公式如下:
其中,1≤i≤k,i表示超像素集合Ω中的任意一个超像素,NB(i)表示与超像素i相邻的超像素的集合,超像素j是集合NB(i)中的任意一个超像素,SBij表示超像素i与超像素j相邻的边界像素集合,像素α是集合SBij中的任意一个元素,|SBij|是集合SBij中元素的数量,E(α)表示像素α在步骤1中边缘响应图中的响应值,ESij表示超像素i和相邻超像素j之间的边缘阻隔度值,其值越大说明超像素i与超像素j之间存在的边缘越强;
(3)基于全部超像素建立图结构模型,并利用所述边缘阻隔度值以及所述颜色特征向量计算图结构模型中边的权值;
根据步骤1得到的全部超像素,在输入的遥感图像上建立图结构模型:其中,每个超像素作为一个节点,任意两个相邻的超像素所对应的节点也相邻,并且任意两个相邻节点之间存在具有权值的边,图结构模型由节点与节点之间的边组成;其中,边的权值计算公式如下:
其中,ωij表示超像素i与相邻超像素j之间的边的权值,Ω表示超像素集合,i表示超像素集合Ω中的任意一个超像素,NB(i)表示与超像素i相邻的超像素的集合,j是集合NB(i)的任意一个超像素,ESij是超像素i与相邻超像素j之间的边缘阻隔度值,fi color与分别代表超像素i与相邻超像素j的颜色特征向量;||·||2表示2的范数;
(4)根据公式(3)计算图结构模型中所有边的权值,并将边的权值从小到大排序,采用基于图的快速图像分割算法EGBIS(Efficient Graph-Bsased Image Segmentation),将遥感图像中属于一个区域的超像素聚集在一起,得到能够体现目标完整形状的聚类区域。
步骤3,(1)将步骤2得到的每一个聚类区域单独作为一个图形,描述图形形状的弦特征;
利用图形边界处任意两点之间的连线——弦,以及图形中所有弦的分布情况定义图形形状的弦特征Chordobject,图形形状的弦特征Chordobject计算公式为:
Chordobject=[Cl,Cd,Cln,Crn] (4)
式中其中,hl表示图形中所有弦根据长度大小均匀离散为hl个区间,分别表示图形中长度大小属于第1,2,…hl区间内的弦的数量,Cl表示每个区间内弦的数量所形成的直方图向量;其中,hd表示图形中所有弦根据方向角的大小被均匀离散为hd个区间,分别代表图形中方向角大小属于第1,2,...,hd区域内的弦的数量,Cd表示每个区间内弦的数量所形成的直方图向量;其中,hn表示图形中所有弦根据图形边界在弦左端点处法线的方向角的大小被均匀离散成hn个区域,分别代表图形中图形边界在其左端点处法线方向角的大小属于第1,2,...,hn区间内的弦的数量,Cln表示每个区间内的弦的数量所形成的直方图向量;其中hn表示图形中所有弦根据图形边界在弦右端点处法线方向角的大小被均匀离散成hn个区域,分别代表图形中图形边界在其右端点处法线方向角的大小属于第1,2,...,hn区间内的弦的数量,Crn表示每个区间内的弦的数量所形成的直方图向量;
(2)根据上述步骤计算得到的聚类区域的弦特征具有旋转以及轻微形变不变性,但是并不具备尺度不变性,因此,为了消除尺度变化带来的影响,还需要根据每个聚类区域图形大小构建相应的圆形模板;
其中圆形模板半径为:
其中,Area表示聚类区域图形面积,Radius表示构建的圆形模板的半径。通过圆形模板半径获得圆形模板后,将圆形模板作为图形,并根据步骤3(1)的流程,计算获得圆形模板的弦特征Chordtemplate,其计算公式为:
Chordtemplate=[C1l,C1d,C1ln,C1m] (6)
式中其中,kl表示图形中所有弦根据长度大小均匀离散为kl个区间,分别表示图形中长度大小属于第1,2,...kl区间内的弦的数量,C1l表示每个区间内弦的数量所形成的直方图向量;其中,kd表示图形中所有弦根据方向角的大小被均匀离散为kd个区间,分别代表图形中方向角大小属于第1,2,…,kd区域内的弦的数量,C1d表示每个区间内弦的数量所形成的直方图向量;其中,kn表示图形中所有弦根据图形边界在弦左端点处法线的方向角的大小被均匀离散成个kn区域,分别代表图形中图形边界在其左端点处法线方向角的大小属于第1,2…kn区间内的弦的数量,C1ln表示每个区间内的弦的数量所形成的直方图向量;其中kn表示图形中所有弦根据图形边界在弦右端点处法线方向角的大小被均匀离散成kn个区域,分别代表图形中图形边界在其右端点处法线方向角的大小属于第1,2…kn 1,2,...,hn区间内的弦的数量,C1m表示每个区间内的弦的数量所形成的直方图向量;
(3)计算Chordobject与Chordtemplate之间的皮尔逊相关系数,其计算公式为:
其中,dn表示弦特征Chordobject与Chordtemplate中元素的数量,和分别表示弦特征Chordobject与Chordtemplate中第i个元素的值,和分表表示弦特征Chordobject与Chordtemplate中所有元素的均值;
得到Pcircle后,将Pcircle归一化至[0,1]区间,其计算公式为:
其中,R表示全部聚类区域组成的聚类区域集合,r表示聚类区域集合R中的任意一个聚类区域,表示聚类区域r的Pcircle,minPcircle代表所有Pcircle中的最小值,maxPcircle代表所有Pcircle中的最大值;将归一化的作为聚类区域r的圆形概率;
(4)根据每个所述聚类区域的圆形概率,计算圆形概率图Mapcircle,其计算公式为:
其中R表示全部聚类区域组成的聚类区域集合,r表示聚类区域集合R中的任意一个聚类区域,αr表示聚类区域r中任意的一个像素,Mapcircle(αr)表示像素αr在圆形概率图Mapcircle中的响应值,表示聚类区域r的圆形概率;
其中,在圆形概率图中响应值越大,其聚类区域为圆形区域的可能性越大。
步骤4,(1)设定阈值L,将全部超像素粗略地分为目标集合与背景集合,即:
其中,i表示全部超像素集合Ω中的任意一个超像素,Mapcircle(i)是超像素i中所有的像素在圆形概率图Mapcircle中响应值的均值,obj与bkg分别表示粗略划分出的目标集合与背景集合;
(2)对于遥感图像中的任意一个像素α,将像素α在圆形概率图Mapcircle(α)中的响应值作为先验信息p(obj),使用贝叶斯公式推测像素α属于目标集合的概率,得到基于形状引导的颜色后验概率信息,其计算公式为:
其中,Z表示所有像素集合,zα=[lα,aα,bα]T表示像素α在CIELab颜色空间中的颜色特征向量,lα,aα,bα分别表示像素α在L,a,b三个颜色通道中的取值,p(zα|obj)与p(zα|bkg)分别表示与像素α具有相同颜色特征向量的像素分别出现在目标集合obj与背景集合bkg中的似然概率,其中,p(zα|obj)与p(zα|bkg)计算公式如下:
上式中与分别表示具有颜色特征zα的像素在目标集合与背景集合中的数量,Nobj与Nbkg分别表示目标集合与背景集合中全部像素数量的个数,p(zα|obj)与p(zα|bkg)分别是具有颜色特征zα的像素出现在目标集合与背景集合中的似然概率。
步骤5,(1)综合考虑全部超像素的CIELab色彩空间颜色特征、RGB色彩空间颜色特征和XY坐标位置特征,构建每个超像素的特征表示向量;
每个超像素的特征表示向量计算公式如下:
其中,Ω表示超像素集合,i表示超像素集合Ω中的任意一个超像素,分别表示超像素i的所有像素在CIELab色彩空间L,a,b三个颜色通道中的均值,分别表示超像素i的所有像素在RGB色彩空间R,G,B三个颜色通道中的均值,分别表示超像素i的所有像素x轴坐标与y轴坐标取值的均值;
将全部超像素的特征表示向量聚集在一起,构成原始特征表示字典D1,
D1=[f1,f2......fk] (14)
其中,f1,f2......fk分别表示遥感图像中第1,2,···,k个超像素的特征表示向量;
其中,i表示超像素集合Ω中的任意一个超像素,α表示超像素i中的任意一个像素,p(obj|zαi)是根据式(10)计算得到的像素αi属于目标集合的概率,m(·)表示平均值;
(3)利用遥感图像中每个超像素是背景超像素的概率ωbkg对原始特征表示字典D1进行加权得到加权特征表示字典D':
(4)得到加权特征表示字典D'之后,对全部超像素进行稀疏表示;
其中,i表示超像素集合Ω中的任意一个超像素,D'是加权特征表示字典,θi表示对超像素i进行稀疏表示后得到的稀疏表示系数;||·||2表示2范数,||·||1表示1范数;
(5)计算全部超像素的稀疏表示系数矩阵后,A=[θ1,θ2,L,θk],A表示图像中所有超像素的稀疏表示系数矩阵,θ1,θ2......θk为第1,2,···,k个超像素的稀疏表示系数。
步骤6,(1)利用步骤5中得到稀疏表示系数和原始特征表示字典D1,对全部超像素进行稀疏重建,得到稀疏重建误差;
稀疏重建误差计算公式为:
εi=||fi-D1θi||,i∈Ω (18)
其中,i表示超像素集合Ω中的任意一个超像素,fi是根据式(13)得到的超像素i的特征表示向量,θi表示超像素i的稀疏表示系数,D1表示原始特征表示字典,εi表示对超像素i进行稀疏重建后的稀疏重建误差;
(2)获得全部超像素的稀疏重建误差之后,将稀疏重建误差进行归一化,生成基于形状引导的显著性图Mapsaliency为;
Mapsaliency(αi)=εi,αi∈i,i∈Ω (19)
其中,i是超像素集合Ω中的任意一个超像素,像素αi是超像素i中的任意一个像素,Mapsaliency(αi)是像素αi在基于形状引导的显著性图Mapsaliency中的显著值,εi是超像素i的稀疏重建误差。
步骤7,通过步骤6,生成的基于形状引导的显著性图,即初步得到粗略的候选区域,为了准确确定输出结果中每个像素点所属的类别,即目标或是背景,需要为输入的遥感图像中所有像素分配类别标签,视为一个最小化能量函数的过程。
(1)将步骤6得到的基于形状引导的显著性图作为引导信息,结合目标与背景之间在视觉外观上的差异,对遥感图像所有像素建立能量函数如下:
式中,Z表示遥感图像中所有像素的集合,α表示所有像素集合Z中的任意一个像素,S表示为目标像素的集合,S表示为背景像素的集合,E(S)表示关于S的能量函数;m(Mapsaliency)表示显著性图中所有像素的显著值的均值,Mapsaliency(α)表示像素α在显著性图中的显著值,sα表示像素α在输出结果中所属类别的标志,当像素属于目标时sα=1,反之sα=0;表示集合S与集合S之间视觉外观上的差异,其中hS与分别表示集合S与集合在CIELab色彩空间中的颜色直方图;表示正则化项,即相邻像素在输出结果中所属类别不一致所带来的惩罚,计算公式如下:
其中,α,β表示所有像素集合Z中的任意两个相邻的像素,zα与zβ分别表示像素α与像素β在CIELab颜色空间中的颜色特征向量,sα与sβ分别表示像素α与像素β在输出结果中所属类别的标志,当像素属于目标时sα=1,反之sα=0;
(2)在遥感图像上构建无向图,其计算公式为:
G=<ν,ε> (22)
其中,ν=Z∪{src,snk},ν表示无向图中所有节点的集合,Z表示遥感图像中所有像素点的集合,源点(src)和汇点(snk)分别代表目标和背景;ε表示无向图中所有边的集合,其中ε包括遥感图像中所有像素与相邻像素之间的边{α,β}、遥感图像所有像素与源点之间的边{α,src}、遥感图像所有像素与汇点之间的边{α,snk};
通过无向图,可以构建出遥感图像中每个像素点与源点、汇点的连接关系;
(3)构建好无向图之后,通过GrabCut in One Cut图割算法最小化能量函数,最小化能量函数后若仍与源点相连的像素为属于目标的像素,与汇点相连的像素为属于背景的像素,从而获得获得最优目标集合S*和背景集合
其中,像素α表示所有像素集合Z中任意一个像素,Mapbinary(α)是像素α在二值结果图Mapbinary中的值。
步骤8,针对步骤7获得的二值结果图Mapbinary,在所述遥感图像中提取Mapbinary(α)=1的全部连通域,即为油罐区域,得到目标区域。
为进一步优化上述技术方案,在上述步骤8完成后,由于在遥感图像中油罐目标一般不会过小,考虑到面积因素,剔除像素数少于10个像素的连通域。然后提取每一个剩下的连通域并将之视为一个图形,重复步骤3,计算所有连通域图形是圆形的概率;并且考虑到油罐一般具有明显的圆形轮廓而背景区域很少存在圆形区域的形状因素,为了进一步减少虚景率,根据实验结果设定一阈值L1为0.9,将圆形概率小于阈值L1的连通域去除,剩余的连通域即为油罐目标区域,最后在输入图像中标注出油罐区域,完成油罐目标检测。
本发明与现有技术相比,具有如下有益效果:
(1)本发明提出的基于形状引导显著性模型的无监督油罐目标检测方法,可以准确检测出不同尺寸和光照条件下低分辨率遥感图像中的油罐目标,具有较好的鲁棒性。
(2)本发明首先对输入遥感图像进行超像素分割生成超像素集合,之后根据边缘响应图和超像素之间的相似程度合并相似超像素,减少了后续操作计算量,并且避免了超像素本身具有的过分割。
(3)本发明通过图形形状的弦特征与圆形模板的弦特征之间的皮尔逊相关系数,判断待测聚类区域的形状是圆形的概率,不仅能够量化描述待测形状的圆度,而且对于轻微形变具有较强的鲁棒性。
(4)本发明把形状引导信息作为先验知识,结合目标集合与背景集合在CIELab颜色空间中的不同颜色特征向量,利用贝叶斯公式得到基于形状引导的颜色后验概率信息,克服了贝叶斯推测只依赖于颜色特征向量的技术缺陷。
(5)本发明在构建加权特征表示字典的时候,利用了每个超像素是背景超像素的概率对原始特征表示字典中相应的元素进行加权,在保持算法无监督特性的同时,避免了筛选字典元素可能带来的误差,增强了特征表示字典对于背景超像素集合的表示能力。
(6)本发明公开的一种基于形状引导显著性模型的无监督油罐目标检测方法,在保证高准确率的同时不需要大量的训练数据,解决了监督学习算法因难以获取遥感图像数据检测效率低或者产生过拟合的技术缺陷。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于形状引导显著性模型的无监督油罐目标检测方法,其特征在于,包括如下步骤:
步骤1:输入遥感图像,计算所述遥感图像的边缘响应图以及对所述遥感图像中的每个像素进行聚类组成超像素,得到所述遥感图像的全部超像素;
步骤2:基于所述全部超像素和所述边缘响应图得到多个聚类区域;具体步骤为:
步骤21:将所述全部超像素的颜色特征变换到CIELab色彩空间,并计算所述全部超像素在CIELab色彩空间的颜色特征向量;
步骤22:根据步骤1的所述边缘响应图,计算超像素与相邻超像素之间的边缘阻隔度值;
步骤23:基于全部超像素建立图结构模型,并利用所述边缘阻隔度值以及所述颜色特征向量计算图结构模型中边的权值;
步骤24:将边的权值从小到大排列,并按照基于图的快速图像分割算法得到多个聚类区域;
步骤3:利用所述聚类区域,得到圆形概率和圆形概率图;
步骤4:根据所述全部超像素和所述圆形概率图构建基于形状引导的显著性图;
步骤5:通过所述形状引导的显著性图得到二值结果图;
步骤6:利用所述二值结果图在所述遥感图像中标出油罐区域,得到目标区域。
2.根据权利要求1所述的一种基于形状引导显著性模型的无监督油罐目标检测方法,其特征在于,在所述步骤3中,利用所述聚类区域,得到所述聚类区域为圆形的概率和圆形概率图的具体步骤为:
步骤31:计算每个所述聚类区域的图形形状的弦特征;
步骤32:根据聚类区域图形大小建立自适应的圆形模板,并计算圆形模板的弦特征;
步骤33:通过所述图形形状的弦特征以及所述圆形模板的弦特征,计算皮尔逊相关系数,并将所述皮尔逊相关系数归一化后作为聚类区域的圆形概率;
步骤34:根据每个所述聚类区域的圆形概率,得到圆形概率图。
3.根据权利要求1所述的一种基于形状引导显著性模型的无监督油罐目标检测方法,其特征在于,在所述步骤4中,根据所述全部超像素和所述圆形概率图计算基于形状引导的显著性图的具体步骤为:
步骤41:根据步骤3的所述圆形概率图得到基于形状引导的颜色后验概率信息;
步骤42:利用所述基于形状引导的颜色后验概率信息和所述全部超像素得到原始特征表示字典和稀疏表示系数;
步骤43:通过所述原始特征表示字典和所述稀疏表示系数生成基于形状引导的显著性图。
4.根据权利要求3所述的一种基于形状引导显著性模型的无监督油罐目标检测方法,其特征在于,步骤41:根据步骤3的所述圆形概率图得到基于形状引导的颜色后验概率信息的具体步骤为:
步骤411:设定阈值,并根据所述圆形概率图的响应值,将步骤1得到的所述全部超像素划分为目标集合和背景集合;
步骤412:根据所述形状引导信息以及所述目标集合和背景集合,并利用贝叶斯公式得到所述基于形状引导的颜色后验概率信息。
5.根据权利要求4所述的一种基于形状引导显著性模型的无监督油罐目标检测方法,其特征在于,步骤42:利用所述基于形状引导的颜色后验概率信息和所述全部超像素得到原始特征表示字典和稀疏表示系数的具体步骤为:
步骤421:计算所述全部超像素在CIELab色彩空间颜色特征、RGB色彩空间颜色特征和XY坐标位置特征的特征表示向量,得到全部超像素的原始特征表示字典;
步骤422:通过所述基于形状引导的颜色后验概率信息计算每个超像素为背景超像素的概率,并利用每个超像素为背景超像素的概率对所述原始特征表示字典进行加权,得到加权特征表示字典;
步骤423:所述加权特征表示字典对所述全部超像素进行稀疏表示得到稀疏表示系数。
6.根据权利要求5所述的一种基于形状引导显著性模型的无监督油罐目标检测方法,其特征在于,步骤43:通过所述原始特征表示字典和所述稀疏表示系数生成基于形状引导的显著性图的具体步骤为:
步骤431:利用所述稀疏表示系数和所述原始特征表示字典,对所述全部超像素进行稀疏重建,得到稀疏重建误差;
步骤432:将所述稀疏重建误差进行归一化,得到所述基于形状引导的显著性图。
7.根据权利要求1所述的一种基于形状引导显著性模型的无监督油罐目标检测方法,其特征在于,在所述步骤5中,通过所述形状引导的显著性图得到二值结果图的具体步骤为:
步骤51:将步骤4得到的所述基于形状引导的显著性图作为引导信息,对遥感图像中所有像素点建立能量函数;
步骤52:在遥感图像图像上创建无向图;
步骤53:根据无向图,通过GrabCutinOneCut图割算法最小化所述能量函数,得出最优目标集合与背景集合,并创建二值结果图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810153495.XA CN108427919B (zh) | 2018-02-22 | 2018-02-22 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810153495.XA CN108427919B (zh) | 2018-02-22 | 2018-02-22 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108427919A CN108427919A (zh) | 2018-08-21 |
CN108427919B true CN108427919B (zh) | 2021-09-28 |
Family
ID=63157043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810153495.XA Active CN108427919B (zh) | 2018-02-22 | 2018-02-22 | 一种基于形状引导显著性模型的无监督油罐目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108427919B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522813B (zh) * | 2018-10-24 | 2023-06-06 | 北京航空航天大学 | 一种基于行人显著特征的改进随机游走算法 |
CN109949348B (zh) * | 2019-01-22 | 2023-04-18 | 天津大学 | 一种基于超像素运动统计的误匹配去除方法 |
CN110097569B (zh) * | 2019-04-04 | 2020-12-22 | 北京航空航天大学 | 基于颜色马尔科夫链显著性模型的油罐目标检测方法 |
CN110210453B (zh) * | 2019-06-14 | 2021-06-29 | 中国资源卫星应用中心 | 一种基于遥感图像特征的油罐存储量确定方法及系统 |
CN114998290A (zh) * | 2022-06-20 | 2022-09-02 | 佛山技研智联科技有限公司 | 基于有监督模式的织物瑕疵检测方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103258324A (zh) * | 2013-04-02 | 2013-08-21 | 西安电子科技大学 | 基于可控核回归和超像素分割的遥感图像变化检测方法 |
CN103413120A (zh) * | 2013-07-25 | 2013-11-27 | 华南农业大学 | 基于物体整体性和局部性识别的跟踪方法 |
CN104217438A (zh) * | 2014-09-19 | 2014-12-17 | 西安电子科技大学 | 基于半监督的图像显著性检测方法 |
CN104794688A (zh) * | 2015-03-12 | 2015-07-22 | 北京航空航天大学 | 基于深度信息分离天空区域的单幅图像去雾方法及装置 |
CN105976378A (zh) * | 2016-05-10 | 2016-09-28 | 西北工业大学 | 基于图模型的显著性目标检测方法 |
CN106997597A (zh) * | 2017-03-22 | 2017-08-01 | 南京大学 | 一种基于有监督显著性检测的目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8401292B2 (en) * | 2011-04-26 | 2013-03-19 | Eastman Kodak Company | Identifying high saliency regions in digital images |
-
2018
- 2018-02-22 CN CN201810153495.XA patent/CN108427919B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103258324A (zh) * | 2013-04-02 | 2013-08-21 | 西安电子科技大学 | 基于可控核回归和超像素分割的遥感图像变化检测方法 |
CN103413120A (zh) * | 2013-07-25 | 2013-11-27 | 华南农业大学 | 基于物体整体性和局部性识别的跟踪方法 |
CN104217438A (zh) * | 2014-09-19 | 2014-12-17 | 西安电子科技大学 | 基于半监督的图像显著性检测方法 |
CN104794688A (zh) * | 2015-03-12 | 2015-07-22 | 北京航空航天大学 | 基于深度信息分离天空区域的单幅图像去雾方法及装置 |
CN105976378A (zh) * | 2016-05-10 | 2016-09-28 | 西北工业大学 | 基于图模型的显著性目标检测方法 |
CN106997597A (zh) * | 2017-03-22 | 2017-08-01 | 南京大学 | 一种基于有监督显著性检测的目标跟踪方法 |
Non-Patent Citations (4)
Title |
---|
Advanced Deep-Learning Techniques for Salient and Category-Specific Object Detection;Junwei Han etc.;《IEEExplorer》;20180131;全文 * |
Automatic Image Segmentation Using Saliency Detection and Superpixel Graph Cuts;Sandeul Kang etc.;《Springer》;20131231;全文 * |
Superpixel-based saliency detection;Zhi Liu etc.;《IEEExplorer》;20131003;全文 * |
基于显著语义模型的机场与油库目标的识别方法;赵丹培等;《计算机辅助设计与图形学学报》;20140131;第26卷(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108427919A (zh) | 2018-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108427919B (zh) | 一种基于形状引导显著性模型的无监督油罐目标检测方法 | |
CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
CN111652216B (zh) | 基于度量学习的多尺度目标检测模型方法 | |
CN110543837B (zh) | 一种基于潜在目标点的可见光机场飞机检测方法 | |
CN106909902B (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
Chen et al. | Vehicle detection in high-resolution aerial images via sparse representation and superpixels | |
CN102509091B (zh) | 一种飞机尾号识别方法 | |
CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
Zhong et al. | Multiagent object-based classifier for high spatial resolution imagery | |
CN105930815A (zh) | 一种水下生物检测方法和系统 | |
CN112036231B (zh) | 一种基于车载视频的车道线和路面指示标志检测与识别方法 | |
CN108230330B (zh) | 一种快速的高速公路路面分割和摄像机定位的方法 | |
CN112784757B (zh) | 海上sar舰船目标显著性检测与识别方法 | |
Liu et al. | Survey of road extraction methods in remote sensing images based on deep learning | |
CN115170805A (zh) | 一种结合超像素和多尺度分层特征识别的图像分割方法 | |
Yuan et al. | Efficient cloud detection in remote sensing images using edge-aware segmentation network and easy-to-hard training strategy | |
CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
Liu et al. | A semi-supervised high-level feature selection framework for road centerline extraction | |
Zuo et al. | A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields | |
CN112164087B (zh) | 基于边缘约束和分割边界搜索的超像素分割方法及装置 | |
CN108960005B (zh) | 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统 | |
US11847811B1 (en) | Image segmentation method combined with superpixel and multi-scale hierarchical feature recognition | |
CN105844299B (zh) | 一种基于词袋模型的图像分类方法 | |
CN115512331A (zh) | 一种交通标志检测方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |