CN109215049B - 基于多尺度三维先验信息的屋顶分割方法、系统与设备 - Google Patents
基于多尺度三维先验信息的屋顶分割方法、系统与设备 Download PDFInfo
- Publication number
- CN109215049B CN109215049B CN201810788765.4A CN201810788765A CN109215049B CN 109215049 B CN109215049 B CN 109215049B CN 201810788765 A CN201810788765 A CN 201810788765A CN 109215049 B CN109215049 B CN 109215049B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- roof
- scale
- pixel
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 255
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉领域,具体涉及一种基于多尺度三维先验信息的屋顶分割方法、系统与设备,旨在提高屋顶分割的准确度和精细度。本发明的屋顶分割方法,首先对航拍图像进行多尺度超像素分割,得到多尺度的分割图层;然后针对每个尺度的分割图层,计算基于混合暗通道先验的逐像素深度信息、对应分割区域的近邻对比度信息、对应分割区域的形状先验信息,并计算近邻对比度信息和形状先验信息的混合概率图;接下来利用概率图模型融合多个尺度的混合概率图得到最终概率图,并根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果;最后根据初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果。本发明提高了屋顶分割的准确度和精细度。
Description
技术领域
本发明涉及计算机视觉领域,具体涉及一种基于多尺度三维先验信息的屋顶分割方法、系统与设备。
背景技术
从航拍数据中提取建筑物在城市规划、三维城市重建等领域有着广泛的用途。尽管该方面的研究在最近几年取得了较大的进展,但是想要设计一个通用、鲁棒的方法仍然十分具有挑战性。因为随着光照条件、反射率、图像分辨率和图像质量的变化,建筑物往往呈现出不同的外观。
大部分现有的建筑物提取方法都是基于一些设定对图像特征进行分析和处理。作为人造物体,建筑物往往具有规则的形状、一致的颜色分布以及与周围环境明显区分等特点。尽管上述特点的有效性在很多研究中得到证明,问题在于图像特征和设定都存在不确定性。一方面,这些设定并不是对每一个建筑物都正确的,另一方面,从图像中提取的用于支撑这些设定的特征也往往存在错误信息,而且这些错误难以完全避免。
有鉴于此,特提出本发明。
发明内容
为了解决现有技术中的上述问题,本发明提出了一种基于多尺度三维先验信息的屋顶分割方法、系统与设备,提高了屋顶分割的精度。
本发明的一方面,提出一种基于多尺度三维先验信息的屋顶分割方法,包括以下步骤:
对航拍图像进行多尺度超像素分割,得到多尺度的分割图层;
针对每个尺度的所述分割图层,计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息,并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图;
利用概率图模型融合多个尺度的所述混合概率图得到最终概率图,并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果;
根据所述初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果。
优选地,“对航拍图像进行多尺度超像素分割,得到多尺度的分割图层”的步骤包括:
利用均值漂移分割算法(Mean-shift)将所述航拍图像初始分割成多个过分割区域;
计算每个过分割区域的最大内切圆直径,以该直径的大小作为该过分割区域的尺度;
根据预先设定的3个递增的尺度阈值{th1,th2,th3},先后对尺度小于所述尺度阈值的过分割区域进行近邻超像素区域融合,每次融合的输入都是上一层的输出,最终生成3个尺度递增的分割图层;
其中,所述近邻超像素区域融合利用基于密度的聚类算法DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)计算相应的超像素特征,将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。
优选地,针对每个尺度的所述分割图层,计算所述基于混合暗通道先验的逐像素深度信息,具体包括:
将所述航拍图像中暗通道值小于暗通道阈值的区域划分为近景区域,其余部分划分为远景区域;
计算所述近景区域中各像素点的R、G、B颜色通道中的最小值;
计算所述远景区域中预设大小的近邻区域内所有像素包含的R、G、B颜色通道中的最小值;
将所述航拍图像中亮度大于亮度阈值的像素区域内的暗通道值进行衰减;
将所述航拍图像各个像素的暗通道值取倒数,得到所述基于混合暗通道先验的逐像素深度信息d。
优选地,针对每个尺度的所述分割图层,根据下式计算所述分割图层对应分割区域的近邻对比度信息:
其中,
w(rj)为近邻区域rj的权重,D(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离,
i、j为近邻区域的序号,且i≠j;δ为近邻区域距离的标准差;xi、xj分别为两个近邻区域的中心点坐标;vi、vj分别为两个近邻区域的颜色与深度的组合变量;vi、vj均包含4个分量[r,g,b,d],r、g、b分别为三个通道的颜色值,d为所述基于混合暗通道先验的逐像素深度信息。
优选地,针对每个尺度的所述分割图层,计算所述分割图层对应分割区域的形状先验信息,具体包括:
将所述分割图层重新标记为4邻域相连的区块;
计算每一个区块的偏心率先验信息,并归一化为0到255范围内的值;
计算每一个区块的紧致性先验信息,并归一化为0到255范围内的值;
其中,
所述分割区域的形状先验信息包括:偏心率先验信息和紧致性先验信息;
所述每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比;
所述每一个区块的紧致性为c=4A/P2,A和P代表该区块的面积和周长。
优选地,针对每个尺度的所述分割图层,根据下式计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图:
S=II(Src+Set×Scp)
其中,
S为所述混合概率图中的初始概率值;Src为所述分割图层对应分割区域的近邻对比度信息;Set为所述偏心率先验信息;Scp为所述紧致性先验信息;II代表混合概率图的归一化操作,用于将混合概率图取值范围归一化为0到255。
优选地,“利用概率图模型融合多个尺度的所述混合概率图得到最终概率图”具体包括:
利用下式的多级推理概率图模型融合多个尺度的所述混合概率图,对每个所述分割图层中各分割区域的概率值进行最小优化更新:
其中,
S为融合概率值的集合;l为分割图层的序号;i为分割区域的序号;Nl为第l个分割图层对应的分割区域总数;为要计算的集合S中第l个分割图层中第i个分割区域的概率值;为数据项,为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值;为多级推理项;分别为第l个、第l+1个分割图层对应分割区域的集合;
选取第1个所述分割图层中各分割区域最小优化更新后的概率值,构成多尺度推理得到的所述最终概率图。
优选地,“根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果”具体包括:
根据下式计算概率阈值:
基于计算得到的概率阈值τ,根据下式从概率图中区分屋顶区域与非屋顶区域,获得所述初始屋顶分割结果:
其中,P(i)为所述最终概率图中的概率值;
R(x,y)=1表示位置(x,y)上的像素分类为屋顶,S(x,y)表示所述最终概率图中位置(x,y)处的概率值,i表示像素的序号。
优选地,“根据所述初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果”具体包括:
根据所述初始屋顶分割结果,利用下式的高阶条件随机场模型计算出所述精确屋顶分割结果:
其中,
V表示图像中所有像素的集合,F为8邻域像素点对集,P为过分割区域的集合,yi、yj分别表示像素i和j的标记,yc为分割区域c中所有像素标记的集合;Ii和Ij表示像素i和j的颜色向量,θλ为常量,用来控制各个项之间的平衡关系。
本发明的另一发面,提出一种基于多尺度三维先验信息的屋顶分割系统,基于上面所述的基于多尺度三维先验信息的屋顶分割方法;所述系统包括:超像素分割模块、混合概率图计算模块、初始屋顶分割模块、精确屋顶分割模块;
所述超像素分割模块配置为:对航拍图像进行多尺度超像素分割,得到多尺度的分割图层;
所述混合概率图计算模块配置为:针对每个尺度的所述分割图层,计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息,并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图;
所述初始屋顶分割模块配置为:利用概率图模型融合多个尺度的所述混合概率图得到最终概率图,并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果;
所述精确屋顶分割模块配置为:根据所述初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果。
本发明的第三方面,提出一种存储设备,其存储有程序,所述程序适于由处理器加载并执行,以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
本发明的第四方面,提出一种处理设备,包括:处理器和存储器;
所述处理器,适于执行程序;
所述存储器,适于存储该程序;
所述程序适于由所述处理器加载并执行,以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
与最接近的现有技术相比,本发明至少具有如下有益效果:
本发明的屋顶分割方法首先对航拍图像进行多尺度分割;然后,计算每个分割图层的三维先验信息的混合概率图;其次对概率图进行多尺度融合及阈值自动分割;最后,利用高阶条件随机场进行优化,从而获得精细屋顶分割结果。本发明的分割方法提高了屋顶分割的准确度和精细度,有效去除了道路、植被及建筑侧面等干扰像素。
附图说明
图1是本发明实施例中基于多尺度三维先验信息的屋顶分割方法的主要步骤示意图;
图2a-图2c是本发明实施例中航拍图像的混合暗通道计算结果及对应的深度信息先验;
图3是本发明实施例中航拍图像的多尺度分割结果及对应分割图层的区域对比度结果;
图4是本发明实施例中不同尺度的三维先验信息混合概率图结果及三个尺度推理出来的最终概率图结果;
图5a-图5f是本发明实施例中基于不同先验信息屋顶分割的结果及所有先验信息融合后屋顶分割的结果;
图6是本发明实施例中基于多尺度三维先验信息的屋顶分割系统的主要构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
图1是本发明一种基于多尺度三维先验信息的屋顶分割方法实施例的主要步骤示意图。如图1所示,本实施例的分割方法包括步骤S1-S4:
在步骤S1中,对航拍图像进行多尺度超像素分割,得到多尺度的分割图层。具体包括步骤S11-S13:
步骤S11,利用均值漂移分割算法将航拍图像初始分割成多个过分割区域;
步骤S12,计算每个过分割区域的最大内切圆直径,以该直径的大小作为该过分割区域的尺度;
步骤S13,根据预先设定的3个递增的尺度阈值{th1,th2,th3}(本实施例中为{7,15,21}),先后对尺度小于尺度阈值的过分割区域进行近邻超像素区域融合,每次融合的输入都是上一层的输出,最终生成3个尺度递增的分割图层;
其中,近邻超像素区域融合利用基于密度的聚类算法计算相应的超像素特征,将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。
在步骤S2中,针对每个尺度的所述分割图层,计算基于混合暗通道先验的逐像素深度信息、分割图层对应分割区域的近邻对比度信息、分割图层对应分割区域的形状先验信息,并计算分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图。具体包括步骤S21-S24:
在步骤S21中,针对每个尺度的分割图层,计算基于混合暗通道先验的逐像素深度信息,具体包括步骤S211-S214:
步骤S211,将航拍图像中暗通道值小于暗通道阈值(本实施例中为T=100)的区域划分为近景区域,其余部分划分为远景区域;
步骤S212,计算近景区域中各像素点的R、G、B颜色通道中的最小值Iminc(p);其中,p表示需要计算最小值的像素。
步骤S213,对远景区域计算原始暗通道值Idark(p),即计算远景区域中预设大小(如5x5)的近邻区域内所有像素包含的R、G、B颜色通道中的最小值;
步骤S214,为了克服航拍图像中高亮区域带来的误差,将航拍图像中亮度大于预设的亮度阈值(如200)的像素区域内的暗通道值进行衰减,即亮度大于200的像素区域暗通道值衰减为Idark(p)0.95。进一步地,将输入的航拍图像各个像素的暗通道值取倒数,即可得到对应的深度信息d。
图2a-图2c分别是本实施例中航拍图像的混合暗通道计算结果及对应的深度信息先验。其中,图2a是输入的航拍图像,图2b是混合暗通道计算结果,图2c是深度信息计算结果。
在步骤S22中,针对每个尺度的所述分割图层,根据公式(1)计算分割图层对应分割区域的近邻对比度信息:
其中,w(rj)为近邻区域rj的权重,即区域内像素个数,D(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离,如公式(2)所示:
i、j为近邻区域的序号,且i≠j;δ为近邻区域距离的标准差;xi、xj分别为两个近邻区域的中心点坐标;vi、vj分别为两个近邻区域的颜色与深度的组合变量;vi、vj均包含4个分量[r,g,b,d],r、g、b分别为三个通道的颜色值,d为步骤S21中计算出的基于混合暗通道先验的逐像素深度信息。近邻区域的对比度信息用来衡量每个超像素与相邻超像素之间的对比强度,当前超像素内颜色及深度越特别,与周边超像素的颜色及深度距离越大,它所得的区域对比度应该越高。图3是本实施例中航拍图像的多尺度分割结果及对应分割图层的区域对比度结果。其中,图3中左边一列从上到下分别是输入航拍图像的三个分割图层,中间一列从上到下分别是当前分割图层对应区域的放大结果,分割区域逐渐合并,右边一列从上到下分别是当前分割图层计算得到的深度信息。
在步骤S23中,针对每个尺度的分割图层,计算该分割图层对应分割区域的形状先验信息,具体包括步骤S231-S233:
步骤S231,将分割图层重新标记为4邻域相连的区块;
步骤S232,计算每一个区块的偏心率先验信息,并归一化为0到255范围内的值;
步骤S233,计算每一个区块的紧致性先验信息,并归一化为0到255范围内的值。
其中,分割区域的形状先验信息包括:偏心率先验信息和紧致性先验信息;每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比;每一个区块的紧致性为c=4A/P2,A和P代表该区块的面积和周长。
在步骤S24中,针对每个尺度的分割图层,根据公式(3)计算该分割图层对应分割区域的近邻对比度信息和该分割图层对应分割区域的形状先验信息的混合概率图:
S=II(Src+Set×Scp) (3)
其中,S为混合概率图中的初始概率值;Src为分割图层对应分割区域的近邻对比度信息;Set为偏心率先验信息;Scp为紧致性先验信息;II代表混合概率图的归一化操作,用于将混合概率图取值范围归一化为0到255。
在步骤S3中,利用概率图模型融合多个尺度的混合概率图得到最终概率图,并根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果。具体包括步骤S31-S32:
在步骤S31中,利用概率图模型融合多个尺度的所述混合概率图得到最终概率图,具体包括S311-S312:
步骤S311,利用多级推理概率图模型融合多个尺度的混合概率图,对每个分割图层中各分割区域的概率值进行最小优化更新,如公式(4)-(6)所示:
S为本实施例要计算的融合概率值的集合;l为分割图层的序号,本实施例中分割尺度为3层;i为分割区域的序号;Nl为第l个分割图层对应的分割区域总数;为要计算的集合S中第l个分割图层中第i个分割区域的概率值;为数据项,为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值;为多级推理项;分别为第l个、第l+1个分割图层对应分割区域的集合。
步骤S312,选取第1个分割图层中各分割区域最小优化更新后的概率值,构成多尺度推理得到的最终概率图。
图4是本实施例中不同尺度的三维先验信息混合概率图结果及三个尺度推理出来的最终概率图结果。如图4所示,其中左上方的图为分割图层1得到的概率图结果,右上方的图为分割图层2得到的概率图结果,左下方的图为分割图层3得到的分割结果,右下方的图为不同尺度的三个分割图层混合得到的概率图结果。
在步骤S32中,根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果,具体包括步骤S321-S322:
步骤S321,采用Ostu自动阈值化方法确定二值化阈值,概率阈值τ的计算方法如公式(7)-(11)所示:
其中,P(i)为最终概率图中的概率值,i表示像素的序号。
步骤S322,基于计算得到的阈值τ,根据最终概率图中每个像素位置上的概率值将对应像素分为屋顶区域及非屋顶区域,如公式(12)所示:
R(x,y)=1表示位置(x,y)上的像素分类为屋顶,S(x,y)表示所述最终概率图中位置(x,y)处的概率值。
在步骤S4中,根据混合概率图,利用高阶条件随机场生成精确屋顶分割结果,如公式(13)-(14)所示:
其中,一元项为公式(12)中初始分割结果中像素i处分为屋顶标记的概率值的对数似然的负值;二元项为光滑项,用于使相邻的像素具有相同的标记;高阶项为区域一致项,用来保证属于同一超像素内的像素具有相同的标记;V表示图像中所有像素的集合,F为8邻域像素点对集,P为过分割区域的集合,yi、yj分别表示像素i和j的标记,yc为分割区域c中所有像素标记的集合;Ii和Ij表示像素i和j的颜色向量,θλ为常量,用来控制各个项之间的平衡关系。
最终通过求解上述能量项,得到精确的屋顶分割结果。
图5a-图5f是基于不同先验信息屋顶分割的结果及所有先验信息融合后屋顶分割的结果。其中,图5a表示第一个分割图层计算得到的概率结果,图5b表示利用第一个分割图层概率得到的屋顶分割结果,图5c表示不同尺度分割图层得到的混合概率结果,图5d表示利用混合概率得到的屋顶分割结果,图5e表示高阶条件随机场优化得到的概率结果,图5f表示高阶条件随机场优化得到的屋顶分割结果,可见,最终得到的屋顶分割结果像素精确度明显提高,有效去除了道路、植被及建筑侧面等干扰像素。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
与上面的分割方法基于同样的技术构思,本发明还提出一种基于多尺度三维先验信息的屋顶分割系统,下面进行说明。
图6是本发明的一种基于多尺度三维先验信息的屋顶分割系统实施例的主要构成示意图。如图6所示,基于上面所述的基于多尺度三维先验信息的屋顶分割方法;本实施例的分割系统1包括:超像素分割模块10、混合概率图计算模块20、初始屋顶分割模块30、精确屋顶分割模块40。
超像素分割模块10配置为:对航拍图像进行多尺度超像素分割,得到多尺度的分割图层。
混合概率图计算模块20配置为:针对每个尺度的所述分割图层,计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息,并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图。
初始屋顶分割模块30配置为:利用概率图模型融合多个尺度的所述混合概率图得到最终概率图,并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果。
精确屋顶分割模块40配置为:根据所述初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果。
关于每个模块的具体功能可参看前面分割方法实施例中的描述,此处不再赘述。
基于上面的分割方法,本发明还提出一种存储设备的实施例,其存储有程序,所述程序适于由处理器加载并执行,以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
进一步地,本发明还提出一种处理设备的实施例,包括:处理器和存储器。处理器适于执行程序;存储器适于存储该程序;所述程序适于由所述处理器加载并执行,以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤、模块,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (12)
1.一种基于多尺度三维先验信息的屋顶分割方法,其特征在于,包括以下步骤:
对航拍图像进行多尺度超像素分割,得到多尺度的分割图层;
针对每个尺度的所述分割图层,计算基于混合暗通道先验的逐像素深度信息、并应用所述基于混合暗通道先验的逐像素深度信息计算所述分割图层对应分割区域的近邻对比度信息;以及,
针对每个尺度的所述分割图层,计算所述分割图层对应分割区域的形状先验信息,并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图;
利用概率图模型融合多个尺度的所述混合概率图得到最终概率图,并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果;
根据所述初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果。
2.根据权利要求1所述的屋顶分割方法,其特征在于,“对航拍图像进行多尺度超像素分割,得到多尺度的分割图层”的步骤包括:
利用均值漂移分割算法将所述航拍图像初始分割成多个过分割区域;
计算每个过分割区域的最大内切圆直径,以该直径的大小作为该过分割区域的尺度;
根据预先设定的3个递增的尺度阈值{th1,th2,th3},先后对尺度小于所述尺度阈值的过分割区域进行近邻超像素区域融合,每次融合的输入都是上一层的输出,最终生成3个尺度递增的分割图层;
其中,所述近邻超像素区域融合利用基于密度的聚类算法计算相应的超像素特征,将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。
3.根据权利要求1所述的屋顶分割方法,其特征在于,针对每个尺度的所述分割图层,计算所述基于混合暗通道先验的逐像素深度信息,具体包括:
将所述航拍图像中暗通道值小于暗通道阈值的区域划分为近景区域,其余部分划分为远景区域;
计算所述近景区域中各像素点的R、G、B颜色通道中的最小值;
计算所述远景区域中预设大小的近邻区域内所有像素包含的R、G、B颜色通道中的最小值;
将所述航拍图像中亮度大于亮度阈值的像素区域内的暗通道值进行衰减;
将所述航拍图像各个像素的暗通道值取倒数,得到所述基于混合暗通道先验的逐像素深度信息d。
5.根据权利要求1所述的屋顶分割方法,其特征在于,针对每个尺度的所述分割图层,计算所述分割图层对应分割区域的形状先验信息,具体包括:
将所述分割图层重新标记为4邻域相连的区块;
计算每一个区块的偏心率先验信息,并归一化为0到255范围内的值;
计算每一个区块的紧致性先验信息,并归一化为0到255范围内的值;
其中,
所述分割区域的形状先验信息包括:偏心率先验信息和紧致性先验信息;
所述每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比;
所述每一个区块的紧致性为c=4A/P2,A和P代表该区块的面积和周长。
6.根据权利要求5所述的屋顶分割方法,其特征在于,针对每个尺度的所述分割图层,根据下式计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图:
S=II(Src+Set×Scp)
其中,
S为所述混合概率图中的初始概率值;Src为所述分割图层对应分割区域的近邻对比度信息;Set为所述偏心率先验信息;Scp为所述紧致性先验信息;II代表混合概率图的归一化操作,用于将混合概率图取值范围归一化为0到255。
7.根据权利要求6所述的屋顶分割方法,其特征在于,“利用概率图模型融合多个尺度的所述混合概率图得到最终概率图”具体包括:
利用下式的多级推理概率图模型融合多个尺度的所述混合概率图,对每个所述分割图层中各分割区域的概率值进行最小优化更新:
其中,
S为融合概率值的集合;l为分割图层的序号;i为分割区域的序号;Nl为第l个分割图层对应的分割区域总数;为要计算的集合S中第l个分割图层中第i个分割区域的概率值;为数据项,为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值;为多级推理项;分别为第l个、第l+1个分割图层对应分割区域的集合;
选取第1个所述分割图层中各分割区域最小优化更新后的概率值,构成多尺度推理得到的所述最终概率图。
9.根据权利要求8所述的屋顶分割方法,其特征在于,“根据所述初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果”具体包括:
根据所述初始屋顶分割结果,利用下式的高阶条件随机场模型计算出所述精确屋顶分割结果:
其中,
V表示图像中所有像素的集合,F为8邻域像素点对集,P为过分割区域的集合,yi、yj分别表示像素i和j的标记,yc为分割区域c中所有像素标记的集合;Ii和Ij表示像素i和j的颜色向量,θλ为常量,用来控制各个项之间的平衡关系。
10.一种基于多尺度三维先验信息的屋顶分割系统,其特征在于,基于权利要求1-9中任一项所述的基于多尺度三维先验信息的屋顶分割方法;所述系统包括:超像素分割模块、混合概率图计算模块、初始屋顶分割模块、精确屋顶分割模块;
所述超像素分割模块配置为:对航拍图像进行多尺度超像素分割,得到多尺度的分割图层;
所述混合概率图计算模块配置为:针对每个尺度的所述分割图层,计算基于混合暗通道先验的逐像素深度信息、并应用所述基于混合暗通道先验的逐像素深度信息计算所述分割图层对应分割区域的近邻对比度信息;以及,
针对每个尺度的所述分割图层,计算所述分割图层对应分割区域的形状先验信息,并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图;
所述初始屋顶分割模块配置为:利用概率图模型融合多个尺度的所述混合概率图得到最终概率图,并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果;
所述精确屋顶分割模块配置为:根据所述初始屋顶分割结果,利用高阶条件随机场生成精确屋顶分割结果。
11.一种存储设备,其存储有程序,其特征在于,所述程序适于由处理器加载并执行,以实现权利要求1-9中任一项所述的基于多尺度三维先验信息的屋顶分割方法。
12.一种处理设备,包括:处理器和存储器;
所述处理器,适于执行程序;
所述存储器,适于存储该程序;
其特征在于,所述程序适于由所述处理器加载并执行,以实现权利要求1-9中任一项所述的基于多尺度三维先验信息的屋顶分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810788765.4A CN109215049B (zh) | 2018-07-18 | 2018-07-18 | 基于多尺度三维先验信息的屋顶分割方法、系统与设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810788765.4A CN109215049B (zh) | 2018-07-18 | 2018-07-18 | 基于多尺度三维先验信息的屋顶分割方法、系统与设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109215049A CN109215049A (zh) | 2019-01-15 |
CN109215049B true CN109215049B (zh) | 2020-11-06 |
Family
ID=64990010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810788765.4A Active CN109215049B (zh) | 2018-07-18 | 2018-07-18 | 基于多尺度三维先验信息的屋顶分割方法、系统与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109215049B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112580641B (zh) * | 2020-11-23 | 2024-06-04 | 上海明略人工智能(集团)有限公司 | 图像特征的提取方法及装置、存储介质、电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012096988A2 (en) * | 2011-01-10 | 2012-07-19 | Rutgers, The State University Of New Jersey | Method and apparatus for shape based deformable segmentation of multiple overlapping objects |
CN104574375A (zh) * | 2014-12-23 | 2015-04-29 | 浙江大学 | 结合彩色和深度信息的图像显著性检测方法 |
CN104951765A (zh) * | 2015-06-18 | 2015-09-30 | 北京航空航天大学 | 基于形状先验信息和视觉对比度的遥感图像目标分割方法 |
CN105321176A (zh) * | 2015-09-30 | 2016-02-10 | 西安交通大学 | 一种基于分层高阶条件随机场的图像分割方法 |
CN105760886A (zh) * | 2016-02-23 | 2016-07-13 | 北京联合大学 | 一种基于目标识别与显著性检测的图像场景多对象分割方法 |
CN107330907A (zh) * | 2017-06-28 | 2017-11-07 | 陕西师范大学 | 一种结合深度学习形状先验的mrf图像分割方法 |
CN107944492A (zh) * | 2017-11-27 | 2018-04-20 | 深圳市唯特视科技有限公司 | 一种基于稀疏表示的土地利用覆盖分类方法 |
CN107944470A (zh) * | 2017-11-03 | 2018-04-20 | 西安电子科技大学 | 基于轮廓波fcn‑crf的sar图像分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8009880B2 (en) * | 2007-05-11 | 2011-08-30 | Microsoft Corporation | Recovering parameters from a sub-optimal image |
-
2018
- 2018-07-18 CN CN201810788765.4A patent/CN109215049B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012096988A2 (en) * | 2011-01-10 | 2012-07-19 | Rutgers, The State University Of New Jersey | Method and apparatus for shape based deformable segmentation of multiple overlapping objects |
CN104574375A (zh) * | 2014-12-23 | 2015-04-29 | 浙江大学 | 结合彩色和深度信息的图像显著性检测方法 |
CN104951765A (zh) * | 2015-06-18 | 2015-09-30 | 北京航空航天大学 | 基于形状先验信息和视觉对比度的遥感图像目标分割方法 |
CN105321176A (zh) * | 2015-09-30 | 2016-02-10 | 西安交通大学 | 一种基于分层高阶条件随机场的图像分割方法 |
CN105760886A (zh) * | 2016-02-23 | 2016-07-13 | 北京联合大学 | 一种基于目标识别与显著性检测的图像场景多对象分割方法 |
CN107330907A (zh) * | 2017-06-28 | 2017-11-07 | 陕西师范大学 | 一种结合深度学习形状先验的mrf图像分割方法 |
CN107944470A (zh) * | 2017-11-03 | 2018-04-20 | 西安电子科技大学 | 基于轮廓波fcn‑crf的sar图像分类方法 |
CN107944492A (zh) * | 2017-11-27 | 2018-04-20 | 深圳市唯特视科技有限公司 | 一种基于稀疏表示的土地利用覆盖分类方法 |
Non-Patent Citations (3)
Title |
---|
"Interactive Stereo Image Segmentation With RGB-D Hybrid Constraints";Wei Ma 等;《IEEE SIGNAL PROCESSING LETTERS》;20161130;第23卷(第11期);1533-1537 * |
"Robust Rooftop Extraction From Visible Band Images Using Higher Order CRF";Er Li 等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20150831;第53卷(第8期);4483-4495 * |
"基于概率图模型和形状先验的图像分割方法研究";张硕;《中国优秀硕士学位论文全文数据库-信息科技辑》;20160315;第2016年卷(第3期);I138-7092 * |
Also Published As
Publication number | Publication date |
---|---|
CN109215049A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
CN110232713B (zh) | 一种图像目标定位修正方法及相关设备 | |
CN109785385B (zh) | 视觉目标跟踪方法及系统 | |
CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
CN112085840A (zh) | 语义分割方法、装置、设备及计算机可读存储介质 | |
CN112132014B (zh) | 基于非督导金字塔相似性学习的目标重识别方法及系统 | |
CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN113223614A (zh) | 一种染色体核型分析方法、系统、终端设备和存储介质 | |
CN114241326A (zh) | 一种渐进式遥感影像地物要素智能生产方法及系统 | |
CN111783721A (zh) | 一种激光点云的车道线提取方法及电子设备 | |
Wang et al. | Fast vanishing point detection method based on road border region estimation | |
JP2023131117A (ja) | 結合感知モデルのトレーニング、結合感知方法、装置、機器および媒体 | |
CN113724388A (zh) | 高精地图的生成方法、装置、设备以及存储介质 | |
CN109215049B (zh) | 基于多尺度三维先验信息的屋顶分割方法、系统与设备 | |
CN111696147B (zh) | 一种基于改进YOLOv3模型的深度估计方法 | |
CN110660095B (zh) | 动态环境下的视觉slam初始化方法、系统、装置 | |
JP6800901B2 (ja) | 物体領域識別装置、物体領域識別方法およびプログラム | |
CN113642542B (zh) | 基于位置约束的手写汉字同名笔画提取方法 | |
Namouchi et al. | Piecewise horizontal 3d roof reconstruction from aerial lidar | |
CN113284158B (zh) | 一种基于结构约束聚类的图像边缘提取方法及系统 | |
CN111695552B (zh) | 多特征融合的水下目标建模及优化方法 | |
CN115205478A (zh) | 一种基于视觉的地面物理特性推断框架的实现方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |