CN108022245A - 基于面线基元关联模型的光伏面板模板自动生成方法 - Google Patents
基于面线基元关联模型的光伏面板模板自动生成方法 Download PDFInfo
- Publication number
- CN108022245A CN108022245A CN201711274248.7A CN201711274248A CN108022245A CN 108022245 A CN108022245 A CN 108022245A CN 201711274248 A CN201711274248 A CN 201711274248A CN 108022245 A CN108022245 A CN 108022245A
- Authority
- CN
- China
- Prior art keywords
- template
- photovoltaic panel
- line
- segmentation
- primitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000003709 image segmentation Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000003595 spectral effect Effects 0.000 claims abstract description 5
- 230000001815 facial effect Effects 0.000 claims description 37
- 230000006978 adaptation Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 abstract description 11
- 230000007547 defect Effects 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于面线基元关联模型的光伏面板模板自动生成方法,其主要步骤为:首先进行遥感图像分割与直线检测,获得面、线基元;而后分析光伏面板的光谱特征、形状特征,设置光伏面板提取的规则集进行光伏面板的初步提取;在此基础上,结合面、线基元的特征,进行疑似光伏面板基元位置的面线关联关系建模,然后采用面线基元最佳适配度指标,对光伏面板模板进行提取,生成初步的面板模板集合,最后对初步生成的模板集的面积进行高斯分布建模,剔除面积离群的模板,得到标准模板集。本发明基于RLPAF模型,提出了面线基元最佳适配度的概念,能够自动生成模板,并且可以避免分割后分类的常规OBIA提取光伏面板目标在形态上存在的精度缺陷。
Description
技术领域
本发明涉及一种服务于遥感图像目标识别的方法,具体说是一种基于面线基元关联模型的光伏面板模板自动生成方法,应用于基于模板匹配的高分辨率遥感影像上的光伏面板的自动精确提取,属于遥感图像处理与目标识别领域。
背景技术
面向对象图像分析(Object-based image analysis,OBIA),即一般采用先分割后分类的遥感图像分析技术框架,已被认为是实现中高分辨率遥感图像信息提取的“范式技术”,相较传统的面向像素图像分析(Pixel-based image analysis,PBIA)技术,OBIA由于特征极大丰富,为此理论上相较PBIA具有更强的技术性能。现有OBIA一般采用显式的特征集,构建规则分析或通过监督分类的方式实现。近年来,随着深度学习等新型机器学习技术的飞速发展,基于图斑自动提取深度特征和分类的深度学习监督分类方法得到了成功应用并显著提高了分类精度,但深度学习和传统监督分类相比一般需要大样本训练,对样本量有较高的要求。
总体上看,各种OBIA方法在特征提取和分类环节上存在不同,但相同点是都要进行图像分割,然后基于分割得到的图斑(称为对象基元,或特征基元)进行后续分析。然而,作为至关重要的技术环节的图像分割却是一个病态技术,具有模糊性。而图像分割的过、欠分割、边缘定位误差会对后续信息提取技术环节有不利影响。特别地,在具有明确形态结构的人工地物提取上,往往存在由于分割精度不足带来的目标对象的丢失、混分和形态缺陷,这为后续分析和制图等带来困难。
此外,完全在图斑的基础上进行后续特征提取和分析也存在技术局限性。在主流的OBIA技术和软件系统如eCognition和ENVI中,一些PBIA中常见的图像处理技术,如直线检测、形态学、图像变换与频率域分析等等没有(或难以)得到深入融合与应用,这在一定程度上限制了OBIA技术应用的灵活性和方法性能。
为了提高OBIA的方法性能,我们在“A Region–Line Primitive AssociationFramework for Object-Based Remote Sensing Image Analysis”(见Photogrammetricengineering&Remote sensing,2016,82(2):149-159)和“Technical design and systemimplementation of region-line primitive association framework”(见ISPRSJournal of Photogrammetry and Remote Sensing,2017,130:202-216)2篇论文中提出了面线基元关联模型(Region-line primitive association framework,RLPAF)。RLPAF除了面基元之外,还利用了线基元(即图像中提取的直线)作为后续特征提取和分析的基础基元。其优点在于:直线具有自己的特征,如线密度、主方向信息等。RLPAF结合了面、线基元各自的优势,实现了信息互补,这扩充了OBIA的特征库,使得OBIA在实现上更为灵活,性能得以增强。
基于面线协同分析的RLPAF弱化了分割在OBIA中的作用,但是在实践中发现,在一些对于目标识别准确性要求较高的场合,如需要精确提取高分影像上的小型人工地物,由于图像分割误差所造成的对象丢失、混分、形态不准等缺陷依旧可能造成提取准确性和几何精度达不到技术要求。为此,在现有分割技术基础上,需要设计降低对分割依赖性的影像信息提取与分析方法。
对于光伏面板(Photovoltaic panel,PVP)等小型人工地物,如采用OBIA的常规思路方式进行提取,即在图像分割后,提取满足规则的图斑进行输出,其缺陷在于:1)一般规则难以保证光伏面板和其他地物的分离;部分非光伏面板区块可能满足以上规则,但如果对规则加以更为严苛的条件限制,又难以保证规则的通用性,造成面板丢失;这也是OBIA规则分类的固有缺陷;2)由于分割难以避免存在欠、过分割错误,造成部分面板形态达不到规则要求而无法提取;3)部分面板分割边缘定位精度由于各种因素干扰,存在局部不准确的现象,输出结果形态不准,这为后续成果应用(面积分析、制图)造成干扰。
模板匹配技术是根据已知模式(模板图)到另一幅图(搜索图)中搜索相匹配的子图像的技术。它能利用图像信息和有关识别模式的先验知识,很直接地反映图像之间的相似度,且由于能够输出固定的形态对象,因此可以避免分割的上述缺陷。在图像目标识别技术的研究应用中,模板匹配技术是其中一个重要的研究方向,在图像处理、模式识别等领域也得到越来越广泛的应用,尤其是在条码识别、生物特征识别技术(人脸识别、指纹识别等)、车牌识别、字符识别等方面已经达到商业应用阶段。
光伏面板等人工地物对象理论上适宜用模板匹配的方式在高分影像上进行识别,寻求较高的定位与识别精度。但实际应用中模板匹配技术存在的技术问题包括:1)通常需要用户手工提供特定模板。模板生成方式包括:用户提供草图(草图模板),或更为常见地,从图像上手动勾画(图像模板);2)图像模板设置效果往往和图像(不同图像成像分辨率、成像波段、角度等都有差异)紧密相关,图像改变可能造成模板失效,为此往往需要在新图像上重新选择模板;3)即使在同一图像内,在大范围的遥感图像上对象往往因拍照角度或者摆放位置等原因存在形变,又或者因曝光导致的色调差异等原因,这都会对模板设置带来困难。
发明内容
针对上述现有技术中存在的缺陷,本发明的目的是提出一种基于面线基元关联模型的模板自动生成方法,用于以模板匹配的方式实现高分辨率遥感图像中光伏面板的自动提取。
为便于理解本发明技术方案,首先说明一下光伏面板及其图像的特点。光伏面板的外观特点具有一定的制式:由蓝色晶元块组合而成,四边往往镶嵌白边,形态上表现为长宽比基本一致的矩形块。由于无人机航飞拍摄角度、面板摆放角度(方位角和倾角)、光照条件、传感器曝光条件、光伏面板使用年限等影响,光伏面板可能发生以下情况:如形态上发生畸变(非规则矩形,部分接近平行四边形),色调发生变化。此外,光伏面板布设环境可能比较复杂,如布设于城市的大型房屋屋顶,或其他较为复杂的环境内。这些都为模板设置带来困难,是影响提取精度的不利条件。针对以上情况,本发明提出了面线基元最佳适配度的概念,在面线基元最佳适配度的基础上设计了光伏面板模板集自动生成的方法。
为实现上述目的,本发明采用如下技术方案:
基于面线基元关联模型的光伏面板模板自动生成方法,包括如下步骤:
(1)对一幅多光谱遥感图像进行图像分割与直线检测,获得面基元和线基元;
(2)分析光伏面板的光谱特征和形状特征,设置光伏面板提取的规则集进行光伏面板的初步提取,提取疑似光伏面板面基元;
(3)提取与疑似光伏面板面基元呈单侧相切关系的直线,进行疑似光伏面板基元的面线关联关系建模;
(4)采用面线基元最佳适配度指标,对光伏面板模板进行提取,生成初步的面板模板集合;
(5)对初步得到的模板集的面积进行高斯分布建模,剔除面积离群的模板,得到最后的模板集。
作为优选,所述步骤(1)中基于硬边界约束与两阶段合并的遥感图像分割方法进行图像分割获得面基元。所述基于硬边界约束与两阶段合并的遥感图像分割方法的具体步骤为:先进行边缘约束的分水岭分割与边缘分配,获得初始亚基元;在此基础上,进行一次边缘约束的层次化基元合并,使亚基元在边界控制下极限增长,得到初始基元集合;在此基础上,舍弃边缘约束,用一个尺度参数进行第二次层次化合并,直到所有基元的合并代价均超过此较小尺度参数,方法结束,输出最终分割结果。
作为优选,所述步骤(2)中,光伏面板提取的规则集包括:
规则1:图斑的蓝色波段均值高于红、绿波段均值;
规则2:图斑的矩形度>T1并且长宽比>T2并且长宽比<T3;
规则3:图斑的亮边缘占比>T4;
其中,T1、T2、T3、T4为用户自定义阈值。
作为优选,所述步骤(3)中,根据如下规则提取与面基元呈单侧相切关系的直线:
规则1:|Pos(Q,L)|+|Zero(Q,L)|=|Q|或者|Neg(Q,L)|+|Zero(Q,L)|=|Q|
规则2:|L|≥Ta并且
其中,Q表示面基元,L表示线基元,|·|表示集合的基,Neg(Q,L)、Zero(Q,L)、Pos(Q,L)分别表示从Q中提取的位于直线L的下方、直线L上和直线L的上方的子区域,Proj(L,Q)表示Q在L上的垂直投影得到的直线段,In(L,Q)、Touch(L,Q)分别表示直线L的被Q包含、与Q相交的子集,Ta和Tb为用户自定义的阈值。
作为优选,所述步骤(4)中,定义候选模板TP和区域Q的匹配度ρ为:
其中,Li属于Lj属于和分别为与区域Q的相切直线集合中的第一、第二主方向的两个子集,TP(Q,Li,Lj)表示被区域Q和直线Li、Lj定义的平行四边形,|·|表示集合的基;
定义区域Q的最佳适配度模板BTP满足如下条件:
即在所有由第一、第二主方向直线线对围成的候选模板中,面积和区域Q最接近的平行四边形即为最佳适配度模板。
作为优选,所述步骤(1)中对图像进行多尺度分割,步骤(4)中在多尺度分割所得到的图斑序列中,挑选出和其BTP面积最为接近的那个图斑所对应的BTP作为基于尺度的最佳适配度模板。
作为优选,所述步骤(5)中剔除面积离群的模板为去掉大小超过对高斯分布的4倍标准差大小的模板。
本发明的方法首先进行图像分割和直线检测,获得面、线基元。在此基础上,分析光伏面板的特征,设置通用的规则集进行光伏面板面基元的初步提取。而后结合面、线特征,进行面线关联关系建模,在此基础上,基于面线基元最佳适配度指标,进行基于面线关联特征的模板自动生成,得到初步的面板模板集合,最后对得到的模板集的面积大小进行高斯分布建模,剔除面积大小离群的模板,得到最后的模板集。应用模板集进行模板匹配,可提取影像上的光伏面板。与现有技术相比,本发明的优点是:本发明基于RLPAF模型,提出了面线基元最佳适配度的概念,利用其能够自动生成模板,避免了模板匹配提取影像上目标过程中模板的手工生成步骤,而后即可利用自动生成的模板,通过模板匹配提取高分辨率遥感影像上的光伏面板目标。实践证明,方法可以避免分割后分类的常规OBIA提取光伏面板目标在形态上存在的精度缺陷,而且技术流程可实现完全自动化,展示出先进性和实用价值。
附图说明
图1为本发明实施例中基于硬边界约束与两阶段合并的图像分割流程示意图。
图2为本发明实施例中面线基元关联建模和最佳适配模板生成示意图,其中(a)为面线基元关联模型,(b)为基于面线基元的模板生成。
图3为本发明实施例的基于面线基元关联模型的光伏面板模板自动生成方法流程示意图。
图4为本发明应用示例中采集的原图。
图5为本发明应用示例中面基元提取结果图。
图6为本发明应用示例中线基元提取结果图。
图7为本发明应用示例中模板提取结果图。
图8为本发明应用示例中模板匹配结果图。
具体实施方式
下面结合附图和具体实施例来对本发明作进一步描述。
如图3所示,本发明实施例公开的基于面线基元关联模型的光伏面板模板自动生成,主要包括如下步骤:
步骤1:对图像进行图像分割和直线检测获取面、线基元。对一幅遥感影像进行基于硬边界约束与两阶段合并的图像分割,和相位编组直线检测,获得面(分割图斑)、线(边缘直线)基元。具体包括:
(1)硬边界约束与两阶段合并的图像分割
首先对于一幅多光谱遥感图像进行Canny边缘约束下的分水岭分割与边缘分配,获得亚基元,亚基元是进行层次化合并(即多级合并)的基底;然后进行边缘约束的层次化亚基元合并,使得亚基元在边缘控制下进行极限增长,得到初始基元集合,在此基础上,舍弃边缘约束,用一个较小的合并阈值(即算法所需的尺度参数)进行第二次层次化亚基元合并,直到所有基元的合并代价均超过此较小的合并阈值,得到最终分割结果完成图像分割过程。图1为硬边界约束与两阶段合并的图像分割的流程示意图,具体过程详见论文Segmentation of high spatial resolution remote sensing imagery based on hard-boundary constraint and two-stage merging(Min Wang and Rongxing Li,IEEETRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING,VOL.52,NO.9,SEPTEMBER 2014)。
(2)相位编组直线检测
可采用Burns等人提出的相位编组直线提取方法提取直线,得到线基元。首先计算图像梯度,获取梯度方向图;在获得图像的梯度图后,依据这些方向信息将像素编组为直线边缘支持区域;通过上述处理,图像梯度方向图已经被分割为多个直线支持区,采用加权最小二乘法拟合出支持区的梯度强度平面,然后和支持区代表平均强度的平面相交,交线即为所要提取的直线。
步骤2:分析光伏面板的光谱特征和形状特征,设置光伏面板提取的规则集进行光伏面板的初步提取,提取疑似光伏面板面基元。如光伏面板呈蓝色,则通过比较面基元的蓝波段与红、绿波段的灰度值的大小判断该面基元是否为疑似光伏面板面基元。此外,面板接近矩形,再设置矩形度、长宽比指标,筛选提取疑似的光伏面板。
本实施例中,对于某个分割得到的图斑,它构成图像上的一个区域,该区域需要其满足以下3条规则,可认为其是疑似光伏面板面基元:
规则1:图斑的蓝色波段均值高于红、绿波段均值;
规则2:图斑的矩形度>T1并且长宽比>T2并且长宽比<T3;
规则3:图斑的亮边缘(即灰度值高于内部的边缘)占比>T4;
其中T1、T2、T3、T4为用户自定义阈值。
这些规则采用宽松的阈值设置,使得其不受遥感图像成像参数、模板位置、摆放角度的影响,为此保证了规则的普适性。由于面板数量较多,规则提取后,就可得到疑似光伏面板面基元。
步骤3:结合面、线基元的特征对疑似光伏面板基元进行基于RLPAF的面线基元关系建模。首先对面线基元关联建模介绍如下:
给定面基元Q,直线L为图像I的两个子集区域,其中Q={qi=(xi,yi)|i∈[1,k],k=|Q|},L={li=(xi,yi)|i∈[1,k],k=|L|},x和y是像素坐标,|·|代表集合的基。L需要与区域Q有交集,即
我们在面线关联模型中定义了方向和拓扑算子的集合,并产生Q和L的各自的子集。其中方向算子定义如下:
Dir(Q,L)={Neg(Q,L),Zero(Q,L),Pos(Q,L)}, (2)
该集合是从Q中提取的子区域,三个子区域分别位于直线L的下方、直线上和直线的上方。其中,Neg(Q,L)被定义如下:
Neg(Q,L)={qi=(xi,yi)|yi-axi-b<0}. (3)
我们定义拓扑算子集合如下:
Top(L,Q)={In(L,Q),Touch(L,Q),Out(L,Q),Proj(L,Q)}. (4)
前三个操作符表示直线L的子集,分别被Q包含、相交或者相离。例如,操作符Touch(L,Q)被定义如下:
Touch(L,Q)={li|li∈BQ,li∈L}. (5)
其中,BQ是由4-邻域定义的Q的边界像素,操作符Proj(L,Q)是指Q在L上的垂直投影得到的直线段,如图2(a)所示。
在面线基元关联框架模型中,如果满足下式,则区域Q被认为与直线L单侧相切(Unilateraland tangent,UT):
|Pos(Q,L)|+|Zero(Q,L)|=|Q|or|Neg(Q,L)|+|Zero(Q,L)|=|Q|. (6)
为了提取有意义的关系,当面、线建立了相切关系的时候,线应该是较长的,并且该区域的投影长度不应超过落入内部的线的部分,公式如下:
Ta和Tb是2个用户自定义的阈值。
本实施例中,采用面线基元关联模型RLPAF进行疑似光伏面板基元位置区域的面(分割图斑)、线(直线)基元关联关系建模。如图2(a)所示,直线与区域Q可能呈包含、相交或相离三种关系,将与区域Q呈单侧相切关系的直线抽取出来,建立它们和区域Q的面线基元关联关系。
步骤4:基于面线最佳适配度指标,对光伏面板模板进行提取,生成初步的面板模板集合。本步骤主要依赖步骤3中与面基元呈单侧相切关系的直线,通过计算面基元第一、第二主方向相切直线围成的面积是否能较好的套和疑似光伏面板面基元区域,判断该疑似光伏面板面基元是否为真正的面板基元,最后生成初步的面板模板集合。
对于某个疑似面板的区域Q,基于面线基元关联特征的最佳适配度模板是被定义在图像I上的一个平行四边形区域(Parallelogram,PG),该平行四边形区域PG能够最为精确地套合区域Q。为了找到最佳适配度模板,我们将区域Q中所有满足公式1到7的直线放入集合{L},如图2(b)所示。所以,面线转换就是从{L}中提取满足特定条件的直线子集{L*}。该特定条件为:{L*}中所有的直线均满足以下两个条件:1)它们都是区域Q的相切直线;2){L*}中的直线的方向沿着所有相切直线{L}的第一和第二主方向。为了获取直线的主方向,我们把360度分为16个间隔,选择包含线的数目最多和次多的区间方向作为{L*}的第一、第二主方向。
设和为{L*}中的第一、第二主方向的两个子集。对于一个标准矩形,其第一、第二主方向将呈垂直分布。假设L1(l1s,l1e)和L2(l2s,l2e)分别是中的两条直线。ls和le分别代表线的起点和终点。设l12为直线L1和L2.直线的交点。不失一般性,我们假定区域Q在L1的下方,L2的右方。由三个顶点l12,l1e,和l2e可以唯一确定一个平行四边形,该平行四
边形的第四个顶点是l′12为:
l′12=l1e+l2e-l12 (8)
为此,该平行四边形是被区域Q和直线L1、L2定义的平行四边形,顶点是l12,l1e,l′12和l2e,我们把该平行四边形作为Q的一个候选模板,并将其表示为TP(Q,L1,L2)。如图2所示,区域Q和它的相切线也能组成其他候选模板,例如TP(Q,L1,L4),TP(Q,L2,L3),和TP(Q,L3,L4)。
定义候选模板TP和区域Q的匹配度ρ为:
其中Li属于Lj属于|·|代表集合的基。定义区域Q的最佳适配度模板BTP应满足如下条件:
BTP(Q)=argmaxTPρ(Q,TP(Q,Li,Lj))
(10)
即在所有由第一、第二主方向直线线对围成的候选模板中,面积和区域Q最接近的平行四边形即为最佳适配度模板。
在面向对象图像分析中,区域Q通常是通过图像分割获取的,如果采用多尺度分割进行区域合并操作,则通过父图斑求得的最佳适配度模板比子图斑可能更加契合。所谓多尺度分割,这里是指在图像分割中指定多个尺度参数,大尺度图斑(父图斑)由小尺度(子)图斑合并而来,并建立父图斑由哪些子图斑合并而来的父子关系。据此,我们定义基于尺度的最佳适配度模板(Scale-based BTP,SBTP)。令{Q(s)|s∈N}是一个由多尺度图像分割得到的具有父子关系的所有尺度的分割结果的集合,其中s是分割尺度参数,N是自然数。在分割层次上,大尺度的父图斑是由附近几个小尺度的邻居子图斑合并组成。因此,对于{Q(s)}中的某个Q,其SBTP定义如下:
SBTP(Q)=argmaxTPρ(Q(s),TP(Q(s),Li,Lj)) (11)
其中,Li,Lj分别是分别属于第一、第二主方向的两条直线,公式(11)表示在多尺度分割所得到的图斑序列中,挑选出和其BTP面积最为接近的那个图斑所对应的BTP作为SBTP。
为挑选出合格的基于尺度的最佳适配模板(Qualified SBTP,QSBTP),还要求其与区域Q之间匹配度满足所设阈值,即:
ρ(Q,SBTP(Q))>Tρ (12)
因此,通过多尺度分割获取QSBTP可以比单尺度分割获取到的更多合适模板。
通过上述定义可知,模板的大小由面基元Q和Q的线基元的尺寸共同确定。模板的形状包括角度和方向由直线基元确定,模板所需要的光谱(灰度)信息由其面基元确定。因此,在面线基元关联框架模型中,面基元与线基元高度融合,体现了面线基元关联框架模型的技术特点。由于采用相切直线约束模板生成,保证最佳适配度模板框定的图斑具有平直的四边,确保了图斑的“人工地物属性”。除此之外,相切直线实际上是边缘直线,这也保证了模板在形状上的准确性。
步骤5:对初步得到的模板集的面积进行高斯分布建模,剔除面积离群的模板,得到最后的模板集。
通过最佳适配度指标可确定形态精确的分割图斑对应的平行四边形区域作为后续匹配的模板集合。模板集合形成后,假定模板大小符合高斯分布,并去掉大小超过对高斯分布的4倍标准差大小的模板;这是由于光伏面板大小基本固定,面积偏离分布的过大、过小的模板均非光伏面板而被抛弃。通过以上处理可以确保剩余的模板均为形态完整的真实光伏面板。以上处理可能造成少量最佳适配度模板丢失,但其对后续匹配无影响。
下面结合一具体应用示例对本发明的实施效果及优点进行说明。数据准备:采用具有红、绿、蓝三波段的无人机影像进行图像测试,无人机型号为大疆DJ1Inspire1pro可变形无人机,搭载禅思X5航拍相机,图像大小为3377×2128个像素。
(1)图像分割获取面、线基元。
第一步:对训练图像集中的图像利用基于硬边界约束与两阶段合并的图像分割方法对图像进行分割。分割尺度参数设置为110,获得图像面基元,如图5所示。
第二步:获取图像集的直线基元。相位编组法提取直线的参数设置为:梯度幅度差限为1,最短直线长度为10。得到结果如图6所示。
(2)设置规则提取疑似光伏面板面基元
结合光谱、形状等特征设置如下规则集:
规则1:面基元范围内蓝色块区域面积超过70%;规则2:矩形度>0.8;规则3:长宽比范围:1.0~2.0;规则4:高亮边缘占比>=0.95。
(3)面线关联建模
(4)采用面线基元最佳适配度指标,生成初步面板模板集合
即将所有由第一、第二主方向直线线对围成的候选模板中,面积最接近区域Q的面积的候选模板标记为最佳适配模板。
(5)对初步面板模板集合的面积进行高斯分布建模,得到最终模板集
对初步面板模板集合的面积进行排序,采样位于中间位置80%数量的面板,后利用极大似然估计得到采样后面板集的均值和标准差,并抛弃面积大于均值加4倍标准差或者面积小于均值减4倍标准差之外的模板。如图7所示,得到最终模板集。
(6)采用逐点匹配的方式进行模板匹配,输出模板集中最大匹配度的模板作为某个像素点位置的匹配结果,结果如图8所示。
相比eCognition软件的模板匹配方法,本发明方法的特色在于将面线基元关联框架模型和模板匹配技术结合应用到光伏面板提取这一任务中,提出了面线基元最佳适配度的概念,针对光伏面板的提取,设计了模板自动生成的方法。本发明具有如下优点:1)降低了方法对分割的依赖性;2)自动生成模板而非人工设定,提升了方法的普适性,降低了方法对用户的要求。
Claims (8)
1.基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,包括如下步骤:
(1)对一幅多光谱遥感图像进行图像分割与直线检测,获得面基元和线基元;
(2)分析光伏面板的光谱特征和形状特征,设置光伏面板提取的规则集进行光伏面板的初步提取,提取疑似光伏面板面基元;
(3)提取与疑似光伏面板面基元呈单侧相切关系的直线,进行疑似光伏面板基元的面线关联关系建模;
(4)采用面线基元最佳适配度指标,对光伏面板模板进行提取,生成初步的面板模板集合;
(5)对初步得到的模板集的面积进行高斯分布建模,剔除面积离群的模板,得到最后的模板集。
2.根据权利要求1所述的基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,所述步骤(1)中基于硬边界约束与两阶段合并的遥感图像分割方法进行图像分割获得面基元。
3.根据权利要求2所述的基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,所述基于硬边界约束与两阶段合并的遥感图像分割方法的具体步骤为:先进行边缘约束的分水岭分割与边缘分配,获得初始亚基元;在此基础上,进行一次边缘约束的层次化基元合并,使亚基元在边界控制下极限增长,得到初始基元集合;在此基础上,舍弃边缘约束,用一个尺度参数进行第二次层次化合并,直到所有基元的合并代价均超过此较小尺度参数,方法结束,输出最终分割结果。
4.根据权利要求1所述的基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,所述步骤(2)中,光伏面板提取的规则集包括:
规则1:图斑的蓝色波段均值高于红、绿波段均值;
规则2:图斑的矩形度>T1并且长宽比>T2并且长宽比<T3;
规则3:图斑的亮边缘占比>T4;
其中,T1、T2、T3、T4为用户自定义阈值。
5.根据权利要求1所述的基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,所述步骤(3)中,根据如下规则提取与面基元呈单侧相切关系的直线:
规则1:|Pos(Q,L)|+|Zero(Q,L)|=|Q|或者|Neg(Q,L)|+|Zero(Q,L)|=|Q|
规则2:|L|≥Ta并且
其中,Q表示面基元,L表示线基元,|·|表示集合的基,Neg(Q,L)、Zero(Q,L)、Pos(Q,L)分别表示从Q中提取的位于直线L的下方、直线L上和直线L的上方的子区域,Proj(L,Q)表示Q在L上的垂直投影得到的直线段,In(L,Q)、Touch(L,Q)分别表示直线L的被Q包含、与Q相交的子集,Ta和Tb为用户自定义的阈值。
6.根据权利要求1所述的基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,所述步骤(4)中,定义候选模板TP和区域Q的匹配度ρ为:
<mrow>
<mi>&rho;</mi>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>,</mo>
<mi>T</mi>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>Q</mi>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mi>T</mi>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&cap;</mo>
<mi>Q</mi>
<mo>|</mo>
</mrow>
<mrow>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>T</mi>
<mi>P</mi>
<mo>(</mo>
<mi>Q</mi>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>,</mo>
<mo>|</mo>
<mi>Q</mi>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
其中,Li属于Lj属于和分别为与区域Q的相切直线集合中的第一、第二主方向的两个子集,TP(Q,Li,Lj)表示被区域Q和直线Li、Lj定义的平行四边形,|·|表示集合的基;
定义区域Q的最佳适配度模板BTP满足如下条件:
<mrow>
<mi>B</mi>
<mi>T</mi>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi>max</mi>
</mrow>
<mrow>
<mi>T</mi>
<mi>P</mi>
</mrow>
</munder>
<mi>&rho;</mi>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>,</mo>
<mi>T</mi>
<mi>P</mi>
<mo>(</mo>
<mrow>
<mi>Q</mi>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>L</mi>
<mi>j</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
即在所有由第一、第二主方向直线线对围成的候选模板中,面积和区域Q最接近的平行四边形即为最佳适配度模板。
7.根据权利要求6所述的基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,所述步骤(1)中对图像进行多尺度分割,步骤(4)中在多尺度分割所得到的图斑序列中,挑选出和其BTP面积最为接近的那个图斑所对应的BTP作为基于尺度的最佳适配度模板。
8.根据权利要求1所述的基于面线基元关联模型的光伏面板模板自动生成方法,其特征在于,所述步骤(5)中剔除面积离群的模板为去掉大小超过对高斯分布的4倍标准差大小的模板。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711274248.7A CN108022245B (zh) | 2017-12-06 | 2017-12-06 | 基于面线基元关联模型的光伏面板模板自动生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711274248.7A CN108022245B (zh) | 2017-12-06 | 2017-12-06 | 基于面线基元关联模型的光伏面板模板自动生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108022245A true CN108022245A (zh) | 2018-05-11 |
CN108022245B CN108022245B (zh) | 2020-04-03 |
Family
ID=62078689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711274248.7A Active CN108022245B (zh) | 2017-12-06 | 2017-12-06 | 基于面线基元关联模型的光伏面板模板自动生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108022245B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108923749A (zh) * | 2018-06-11 | 2018-11-30 | 东北电力大学 | 基于红外视频的光伏组件热斑检测定位方法 |
CN109785318A (zh) * | 2019-01-25 | 2019-05-21 | 南京泛在地理信息产业研究院有限公司 | 基于面线基元关联约束的遥感图像变化检测方法 |
CN109919088A (zh) * | 2019-03-06 | 2019-06-21 | 贵州师范大学 | 一种喀斯特地区火龙果单株识别自动提取方法 |
CN109934866A (zh) * | 2019-03-07 | 2019-06-25 | 武大吉奥信息技术有限公司 | 一种图斑划分模式的提取方法、拷贝方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208121A (zh) * | 2013-04-12 | 2013-07-17 | 南京师范大学 | 基于硬边界约束与两阶段合并的遥感图像分割方法 |
-
2017
- 2017-12-06 CN CN201711274248.7A patent/CN108022245B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103208121A (zh) * | 2013-04-12 | 2013-07-17 | 南京师范大学 | 基于硬边界约束与两阶段合并的遥感图像分割方法 |
Non-Patent Citations (8)
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108923749A (zh) * | 2018-06-11 | 2018-11-30 | 东北电力大学 | 基于红外视频的光伏组件热斑检测定位方法 |
CN109785318A (zh) * | 2019-01-25 | 2019-05-21 | 南京泛在地理信息产业研究院有限公司 | 基于面线基元关联约束的遥感图像变化检测方法 |
CN109785318B (zh) * | 2019-01-25 | 2020-09-22 | 南京泛在地理信息产业研究院有限公司 | 基于面线基元关联约束的遥感图像变化检测方法 |
CN109919088A (zh) * | 2019-03-06 | 2019-06-21 | 贵州师范大学 | 一种喀斯特地区火龙果单株识别自动提取方法 |
CN109919088B (zh) * | 2019-03-06 | 2022-09-23 | 贵州师范大学 | 一种喀斯特地区火龙果单株识别自动提取方法 |
CN109934866A (zh) * | 2019-03-07 | 2019-06-25 | 武大吉奥信息技术有限公司 | 一种图斑划分模式的提取方法、拷贝方法及装置 |
CN109934866B (zh) * | 2019-03-07 | 2020-12-08 | 武大吉奥信息技术有限公司 | 一种图斑划分模式的提取方法、拷贝方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108022245B (zh) | 2020-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107516077B (zh) | 基于激光点云和影像数据融合的交通标牌信息提取方法 | |
Wang et al. | Photovoltaic panel extraction from very high-resolution aerial imagery using region–line primitive association analysis and template matching | |
CN110263717B (zh) | 一种融入街景影像的土地利用类别确定方法 | |
CN104134234B (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
Zhou et al. | On detecting road regions in a single UAV image | |
CN108022245B (zh) | 基于面线基元关联模型的光伏面板模板自动生成方法 | |
CN107527054B (zh) | 基于多视角融合的前景自动提取方法 | |
CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
CN104318051B (zh) | 基于规则的大范围水体信息遥感自动提取系统及方法 | |
Jiao et al. | A survey of road feature extraction methods from raster maps | |
CN111160328B (zh) | 一种基于语义分割技术的交通标线自动提取的方法 | |
CN110634131B (zh) | 一种裂缝图像识别与建模方法 | |
CN108090485A (zh) | 基于多视角融合的图像前景自动提取方法 | |
CN110390228A (zh) | 基于神经网络的交通标志图片识别方法、装置及存储介质 | |
CN102147867A (zh) | 一种基于主体的国画图像和书法图像的识别方法 | |
CN115908774B (zh) | 一种基于机器视觉的变形物资的品质检测方法和装置 | |
CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
Lauziere et al. | A model-based road sign identification system | |
Liu et al. | Object-oriented detection of building shadow in TripleSat-2 remote sensing imagery | |
CN115690513A (zh) | 一种基于深度学习的城市行道树种类识别方法 | |
CN117079097A (zh) | 一种基于视觉显著性的海面目标识别方法 | |
CN112686872B (zh) | 基于深度学习的木材计数方法 | |
CN114926635B (zh) | 与深度学习方法相结合的多焦图像中目标分割方法 | |
Benedek | An embedded marked point process framework for three-level object population analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |