CN109215049A - 基于多尺度三维先验信息的屋顶分割方法、系统与设备 - Google Patents

基于多尺度三维先验信息的屋顶分割方法、系统与设备 Download PDF

Info

Publication number
CN109215049A
CN109215049A CN201810788765.4A CN201810788765A CN109215049A CN 109215049 A CN109215049 A CN 109215049A CN 201810788765 A CN201810788765 A CN 201810788765A CN 109215049 A CN109215049 A CN 109215049A
Authority
CN
China
Prior art keywords
segmentation
roof
pixel
layer
probability graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810788765.4A
Other languages
English (en)
Other versions
CN109215049B (zh
Inventor
徐士彪
孟维亮
郭建伟
张晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810788765.4A priority Critical patent/CN109215049B/zh
Publication of CN109215049A publication Critical patent/CN109215049A/zh
Application granted granted Critical
Publication of CN109215049B publication Critical patent/CN109215049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉领域，具体涉及一种基于多尺度三维先验信息的屋顶分割方法、系统与设备，旨在提高屋顶分割的准确度和精细度。本发明的屋顶分割方法，首先对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；然后针对每个尺度的分割图层，计算基于混合暗通道先验的逐像素深度信息、对应分割区域的近邻对比度信息、对应分割区域的形状先验信息，并计算近邻对比度信息和形状先验信息的混合概率图；接下来利用概率图模型融合多个尺度的混合概率图得到最终概率图，并根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果；最后根据初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。本发明提高了屋顶分割的准确度和精细度。

Description

基于多尺度三维先验信息的屋顶分割方法、系统与设备
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于多尺度三维先验信息的屋顶分割方法、系统与设备。
背景技术
从航拍数据中提取建筑物在城市规划、三维城市重建等领域有着广泛的用途。尽管该方面的研究在最近几年取得了较大的进展，但是想要设计一个通用、鲁棒的方法仍然十分具有挑战性。因为随着光照条件、反射率、图像分辨率和图像质量的变化，建筑物往往呈现出不同的外观。
大部分现有的建筑物提取方法都是基于一些设定对图像特征进行分析和处理。作为人造物体，建筑物往往具有规则的形状、一致的颜色分布以及与周围环境明显区分等特点。尽管上述特点的有效性在很多研究中得到证明，问题在于图像特征和设定都存在不确定性。一方面，这些设定并不是对每一个建筑物都正确的，另一方面，从图像中提取的用于支撑这些设定的特征也往往存在错误信息，而且这些错误难以完全避免。
有鉴于此，特提出本发明。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种基于多尺度三维先验信息的屋顶分割方法、系统与设备，提高了屋顶分割的精度。
本发明的一方面，提出一种基于多尺度三维先验信息的屋顶分割方法，包括以下步骤：
对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；
针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；
利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；
根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。
优选地，“对航拍图像进行多尺度超像素分割，得到多尺度的分割图层”的步骤包括：
利用均值漂移分割算法(Mean-shift)将所述航拍图像初始分割成多个过分割区域；
计算每个过分割区域的最大内切圆直径，以该直径的大小作为该过分割区域的尺度；
根据预先设定的3个递增的尺度阈值{th1,th2,th3}，先后对尺度小于所述尺度阈值的过分割区域进行近邻超像素区域融合，每次融合的输入都是上一层的输出，最终生成3个尺度递增的分割图层；
其中，所述近邻超像素区域融合利用基于密度的聚类算法DBSCAN(Density-BasedSpatial Clustering of Applications with Noise)计算相应的超像素特征，将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。
优选地，针对每个尺度的所述分割图层，计算所述基于混合暗通道先验的逐像素深度信息，具体包括：
将所述航拍图像中暗通道值小于暗通道阈值的区域划分为近景区域，其余部分划分为远景区域；
计算所述近景区域中各像素点的R、G、B颜色通道中的最小值；
计算所述远景区域中预设大小的近邻区域内所有像素包含的R、G、B颜色通道中的最小值；
将所述航拍图像中亮度大于亮度阈值的像素区域内的暗通道值进行衰减；
将所述航拍图像各个像素的暗通道值取倒数，得到所述基于混合暗通道先验的逐像素深度信息d。
优选地，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息：
其中，
w(rj)为近邻区域rj的权重，D(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离，
i、j为近邻区域的序号，且i≠j；δ为近邻区域距离的标准差；xi、xj分别为两个近邻区域的中心点坐标；vi、vj分别为两个近邻区域的颜色与深度的组合变量；vi、vj均包含4个分量[r,g,b,d]，r、g、b分别为三个通道的颜色值，d为所述基于混合暗通道先验的逐像素深度信息。
优选地，针对每个尺度的所述分割图层，计算所述分割图层对应分割区域的形状先验信息，具体包括：
将所述分割图层重新标记为4邻域相连的区块；
计算每一个区块的偏心率先验信息，并归一化为0到255范围内的值；
计算每一个区块的紧致性先验信息，并归一化为0到255范围内的值；
其中，
所述分割区域的形状先验信息包括：偏心率先验信息和紧致性先验信息；
所述每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比；
所述每一个区块的紧致性为c＝4A/P2，A和P代表该区块的面积和周长。
优选地，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图：
S＝II(Src+Set×Scp)
其中，
S为所述混合概率图中的初始概率值；Src为所述分割图层对应分割区域的近邻对比度信息；Set为所述偏心率先验信息；Scp为所述紧致性先验信息；II代表混合概率图的归一化操作，用于将混合概率图取值范围归一化为0到255。
优选地，“利用概率图模型融合多个尺度的所述混合概率图得到最终概率图”具体包括：
利用下式的多级推理概率图模型融合多个尺度的所述混合概率图，对每个所述分割图层中各分割区域的概率值进行最小优化更新：
其中，
S为融合概率值的集合；l为分割图层的序号；i为分割区域的序号；Nl为第l个分割图层对应的分割区域总数；为要计算的集合S中第l个分割图层中第i个分割区域的概率值；为数据项，为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值；为多级推理项；分别为第l个、第l+1个分割图层对应分割区域的集合；
选取第1个所述分割图层中各分割区域最小优化更新后的概率值，构成多尺度推理得到的所述最终概率图。
优选地，“根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果”具体包括：
根据下式计算概率阈值：
基于计算得到的概率阈值τ，根据下式从概率图中区分屋顶区域与非屋顶区域，获得所述初始屋顶分割结果：
其中，P(i)为所述最终概率图中的概率值；
R(x,y)＝1表示位置(x,y)上的像素分类为屋顶，S(x,y)表示所述最终概率图中位置(x,y)处的概率值，i表示像素的序号。
优选地，“根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果”具体包括：
根据所述初始屋顶分割结果，利用下式的高阶条件随机场模型计算出所述精确屋顶分割结果：
其中，
一元项为所述初始屋顶分割结果中像素i被分为屋顶的概率值的对数似然的负值；
二元项为光滑项，用于使相邻的像素具有相同的标记：
高阶项为区域一致项，用来保证属于同一超像素内的像素具有相同的标记；
V表示图像中所有像素的集合，F为8邻域像素点对集，P为过分割区域的集合，yi、yj分别表示像素i和j的标记，yc为分割区域c中所有像素标记的集合；Ii和Ij表示像素i和j的颜色向量，θλ为常量，用来控制各个项之间的平衡关系。
本发明的另一发面，提出一种基于多尺度三维先验信息的屋顶分割系统，基于上面所述的基于多尺度三维先验信息的屋顶分割方法；所述系统包括：超像素分割模块、混合概率图计算模块、初始屋顶分割模块、精确屋顶分割模块；
所述超像素分割模块配置为：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；
所述混合概率图计算模块配置为：针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；
所述初始屋顶分割模块配置为：利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；
所述精确屋顶分割模块配置为：根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。
本发明的第三方面，提出一种存储设备，其存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
本发明的第四方面，提出一种处理设备，包括：处理器和存储器；
所述处理器，适于执行程序；
所述存储器，适于存储该程序；
所述程序适于由所述处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
与最接近的现有技术相比，本发明至少具有如下有益效果：
本发明的屋顶分割方法首先对航拍图像进行多尺度分割；然后，计算每个分割图层的三维先验信息的混合概率图；其次对概率图进行多尺度融合及阈值自动分割；最后，利用高阶条件随机场进行优化，从而获得精细屋顶分割结果。本发明的分割方法提高了屋顶分割的准确度和精细度，有效去除了道路、植被及建筑侧面等干扰像素。
附图说明
图1是本发明实施例中基于多尺度三维先验信息的屋顶分割方法的主要步骤示意图；
图2a-图2c是本发明实施例中航拍图像的混合暗通道计算结果及对应的深度信息先验；
图3是本发明实施例中航拍图像的多尺度分割结果及对应分割图层的区域对比度结果；
图4是本发明实施例中不同尺度的三维先验信息混合概率图结果及三个尺度推理出来的最终概率图结果；
图5a-图5f是本发明实施例中基于不同先验信息屋顶分割的结果及所有先验信息融合后屋顶分割的结果；
图6是本发明实施例中基于多尺度三维先验信息的屋顶分割系统的主要构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
图1是本发明一种基于多尺度三维先验信息的屋顶分割方法实施例的主要步骤示意图。如图1所示，本实施例的分割方法包括步骤S1-S4：
在步骤S1中，对航拍图像进行多尺度超像素分割，得到多尺度的分割图层。具体包括步骤S11-S13：
步骤S11，利用均值漂移分割算法将航拍图像初始分割成多个过分割区域；
步骤S12，计算每个过分割区域的最大内切圆直径，以该直径的大小作为该过分割区域的尺度；
步骤S13，根据预先设定的3个递增的尺度阈值{th1,th2,th3}(本实施例中为{7,15,21})，先后对尺度小于尺度阈值的过分割区域进行近邻超像素区域融合，每次融合的输入都是上一层的输出，最终生成3个尺度递增的分割图层；
其中，近邻超像素区域融合利用基于密度的聚类算法计算相应的超像素特征，将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。
在步骤S2中，针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、分割图层对应分割区域的近邻对比度信息、分割图层对应分割区域的形状先验信息，并计算分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图。具体包括步骤S21-S24：
在步骤S21中，针对每个尺度的分割图层，计算基于混合暗通道先验的逐像素深度信息，具体包括步骤S211-S214：
步骤S211，将航拍图像中暗通道值小于暗通道阈值(本实施例中为T＝100)的区域划分为近景区域，其余部分划分为远景区域；
步骤S212，计算近景区域中各像素点的R、G、B颜色通道中的最小值Iminc(p)；其中，p表示需要计算最小值的像素。
步骤S213，对远景区域计算原始暗通道值Idark(p)，即计算远景区域中预设大小(如5x5)的近邻区域内所有像素包含的R、G、B颜色通道中的最小值；
步骤S214，为了克服航拍图像中高亮区域带来的误差，将航拍图像中亮度大于预设的亮度阈值(如200)的像素区域内的暗通道值进行衰减，即亮度大于200的像素区域暗通道值衰减为Idark(p)0.95。进一步地，将输入的航拍图像各个像素的暗通道值取倒数，即可得到对应的深度信息d。
图2a-图2c分别是本实施例中航拍图像的混合暗通道计算结果及对应的深度信息先验。其中，图2a是输入的航拍图像，图2b是混合暗通道计算结果，图2c是深度信息计算结果。
在步骤S22中，针对每个尺度的所述分割图层，根据公式(1)计算分割图层对应分割区域的近邻对比度信息：
其中，w(rj)为近邻区域rj的权重，即区域内像素个数，D(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离，如公式(2)所示：
i、j为近邻区域的序号，且i≠j；δ为近邻区域距离的标准差；xi、xj分别为两个近邻区域的中心点坐标；vi、vj分别为两个近邻区域的颜色与深度的组合变量；vi、vj均包含4个分量[r,g,b,d]，r、g、b分别为三个通道的颜色值，d为步骤S21中计算出的基于混合暗通道先验的逐像素深度信息。近邻区域的对比度信息用来衡量每个超像素与相邻超像素之间的对比强度，当前超像素内颜色及深度越特别，与周边超像素的颜色及深度距离越大，它所得的区域对比度应该越高。图3是本实施例中航拍图像的多尺度分割结果及对应分割图层的区域对比度结果。其中，图3中左边一列从上到下分别是输入航拍图像的三个分割图层，中间一列从上到下分别是当前分割图层对应区域的放大结果，分割区域逐渐合并，右边一列从上到下分别是当前分割图层计算得到的深度信息。
在步骤S23中，针对每个尺度的分割图层，计算该分割图层对应分割区域的形状先验信息，具体包括步骤S231-S233：
步骤S231，将分割图层重新标记为4邻域相连的区块；
步骤S232，计算每一个区块的偏心率先验信息，并归一化为0到255范围内的值；
步骤S233，计算每一个区块的紧致性先验信息，并归一化为0到255范围内的值。
其中，分割区域的形状先验信息包括：偏心率先验信息和紧致性先验信息；每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比；每一个区块的紧致性为c＝4A/P2，A和P代表该区块的面积和周长。
在步骤S24中，针对每个尺度的分割图层，根据公式(3)计算该分割图层对应分割区域的近邻对比度信息和该分割图层对应分割区域的形状先验信息的混合概率图：
S＝II(Src+Set×Scp) (3)
其中，S为混合概率图中的初始概率值；Src为分割图层对应分割区域的近邻对比度信息；Set为偏心率先验信息；Scp为紧致性先验信息；II代表混合概率图的归一化操作，用于将混合概率图取值范围归一化为0到255。
在步骤S3中，利用概率图模型融合多个尺度的混合概率图得到最终概率图，并根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果。具体包括步骤S31-S32：
在步骤S31中，利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，具体包括S311-S312：
步骤S311，利用多级推理概率图模型融合多个尺度的混合概率图，对每个分割图层中各分割区域的概率值进行最小优化更新，如公式(4)-(6)所示：
S为本实施例要计算的融合概率值的集合；l为分割图层的序号，本实施例中分割尺度为3层；i为分割区域的序号；Nl为第l个分割图层对应的分割区域总数；为要计算的集合S中第l个分割图层中第i个分割区域的概率值；为数据项，为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值；为多级推理项；分别为第l个、第l+1个分割图层对应分割区域的集合。
步骤S312，选取第1个分割图层中各分割区域最小优化更新后的概率值，构成多尺度推理得到的最终概率图。
图4是本实施例中不同尺度的三维先验信息混合概率图结果及三个尺度推理出来的最终概率图结果。如图4所示，其中左上方的图为分割图层1得到的概率图结果，右上方的图为分割图层2得到的概率图结果，左下方的图为分割图层3得到的分割结果，右下方的图为不同尺度的三个分割图层混合得到的概率图结果。
在步骤S32中，根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果，具体包括步骤S321-S322：
步骤S321,采用Ostu自动阈值化方法确定二值化阈值，概率阈值τ的计算方法如公式(7)-(11)所示：
其中，P(i)为最终概率图中的概率值，i表示像素的序号。
步骤S322,基于计算得到的阈值τ，根据最终概率图中每个像素位置上的概率值将对应像素分为屋顶区域及非屋顶区域，如公式(12)所示：
R(x,y)＝1表示位置(x,y)上的像素分类为屋顶，S(x,y)表示所述最终概率图中位置(x,y)处的概率值。
在步骤S4中，根据混合概率图，利用高阶条件随机场生成精确屋顶分割结果，如公式(13)-(14)所示：
其中，一元项为公式(12)中初始分割结果中像素i处分为屋顶标记的概率值的对数似然的负值；二元项为光滑项，用于使相邻的像素具有相同的标记；高阶项为区域一致项，用来保证属于同一超像素内的像素具有相同的标记；V表示图像中所有像素的集合，F为8邻域像素点对集，P为过分割区域的集合，yi、yj分别表示像素i和j的标记，yc为分割区域c中所有像素标记的集合；Ii和Ij表示像素i和j的颜色向量，θλ为常量，用来控制各个项之间的平衡关系。
最终通过求解上述能量项，得到精确的屋顶分割结果。
图5a-图5f是基于不同先验信息屋顶分割的结果及所有先验信息融合后屋顶分割的结果。其中，图5a表示第一个分割图层计算得到的概率结果，图5b表示利用第一个分割图层概率得到的屋顶分割结果，图5c表示不同尺度分割图层得到的混合概率结果，图5d表示利用混合概率得到的屋顶分割结果，图5e表示高阶条件随机场优化得到的概率结果，图5f表示高阶条件随机场优化得到的屋顶分割结果，可见，最终得到的屋顶分割结果像素精确度明显提高，有效去除了道路、植被及建筑侧面等干扰像素。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
与上面的分割方法基于同样的技术构思，本发明还提出一种基于多尺度三维先验信息的屋顶分割系统，下面进行说明。
图6是本发明的一种基于多尺度三维先验信息的屋顶分割系统实施例的主要构成示意图。如图6所示，基于上面所述的基于多尺度三维先验信息的屋顶分割方法；本实施例的分割系统1包括：超像素分割模块10、混合概率图计算模块20、初始屋顶分割模块30、精确屋顶分割模块40。
超像素分割模块10配置为：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层。
混合概率图计算模块20配置为：针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图。
初始屋顶分割模块30配置为：利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果。
精确屋顶分割模块40配置为：根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。
关于每个模块的具体功能可参看前面分割方法实施例中的描述，此处不再赘述。
基于上面的分割方法，本发明还提出一种存储设备的实施例，其存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
进一步地，本发明还提出一种处理设备的实施例，包括：处理器和存储器。处理器适于执行程序；存储器适于存储该程序；所述程序适于由所述处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤、模块，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (12)

1.一种基于多尺度三维先验信息的屋顶分割方法，其特征在于，包括以下步骤：
对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；
针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；
利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；
根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。
2.根据权利要求1所述的屋顶分割方法，其特征在于，“对航拍图像进行多尺度超像素分割，得到多尺度的分割图层”的步骤包括：
利用均值漂移分割算法将所述航拍图像初始分割成多个过分割区域；
计算每个过分割区域的最大内切圆直径，以该直径的大小作为该过分割区域的尺度；
根据预先设定的3个递增的尺度阈值{th1,th2,th3}，先后对尺度小于所述尺度阈值的过分割区域进行近邻超像素区域融合，每次融合的输入都是上一层的输出，最终生成3个尺度递增的分割图层；
其中，所述近邻超像素区域融合利用基于密度的聚类算法计算相应的超像素特征，将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。
3.根据权利要求1所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，计算所述基于混合暗通道先验的逐像素深度信息，具体包括：
将所述航拍图像中暗通道值小于暗通道阈值的区域划分为近景区域，其余部分划分为远景区域；
计算所述近景区域中各像素点的R、G、B颜色通道中的最小值；
计算所述远景区域中预设大小的近邻区域内所有像素包含的R、G、B颜色通道中的最小值；
将所述航拍图像中亮度大于亮度阈值的像素区域内的暗通道值进行衰减；
将所述航拍图像各个像素的暗通道值取倒数，得到所述基于混合暗通道先验的逐像素深度信息d。
4.根据权利要求1所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息：
其中，
w(rj)为近邻区域rj的权重，D(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离，
i、j为近邻区域的序号，且i≠j；δ为近邻区域距离的标准差；xi、xj分别为两个近邻区域的中心点坐标；vi、vj分别为两个近邻区域的颜色与深度的组合变量；vi、vj均包含4个分量[r,g,b,d]，r、g、b分别为三个通道的颜色值，d为所述基于混合暗通道先验的逐像素深度信息。
5.根据权利要求1所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，计算所述分割图层对应分割区域的形状先验信息，具体包括：
将所述分割图层重新标记为4邻域相连的区块；
计算每一个区块的偏心率先验信息，并归一化为0到255范围内的值；
计算每一个区块的紧致性先验信息，并归一化为0到255范围内的值；
其中，
所述分割区域的形状先验信息包括：偏心率先验信息和紧致性先验信息；
所述每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比；
所述每一个区块的紧致性为c＝4A/P2，A和P代表该区块的面积和周长。
6.根据权利要求5所述的屋顶分割方法，其特征在于，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图：
S＝II(Src+Set×Scp)
其中，
S为所述混合概率图中的初始概率值；Src为所述分割图层对应分割区域的近邻对比度信息；Set为所述偏心率先验信息；Scp为所述紧致性先验信息；II代表混合概率图的归一化操作，用于将混合概率图取值范围归一化为0到255。
7.根据权利要求6所述的屋顶分割方法，其特征在于，“利用概率图模型融合多个尺度的所述混合概率图得到最终概率图”具体包括：
利用下式的多级推理概率图模型融合多个尺度的所述混合概率图，对每个所述分割图层中各分割区域的概率值进行最小优化更新：
其中，
S为融合概率值的集合；l为分割图层的序号；i为分割区域的序号；Nl为第l个分割图层对应的分割区域总数；为要计算的集合S中第l个分割图层中第i个分割区域的概率值；为数据项，为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值；为多级推理项；分别为第l个、第l+1个分割图层对应分割区域的集合；
选取第1个所述分割图层中各分割区域最小优化更新后的概率值，构成多尺度推理得到的所述最终概率图。
8.根据权利要求7所述的屋顶分割方法，其特征在于，“根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果”具体包括：
根据下式计算概率阈值：
基于计算得到的概率阈值τ，根据下式从概率图中区分屋顶区域与非屋顶区域，获得所述初始屋顶分割结果：
其中，P(i)为所述最终概率图中的概率值；
R(x,y)＝1表示位置(x,y)上的像素分类为屋顶，S(x,y)表示所述最终概率图中位置(x,y)处的概率值，i表示像素的序号。
9.根据权利要求8所述的屋顶分割方法，其特征在于，“根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果”具体包括：
根据所述初始屋顶分割结果，利用下式的高阶条件随机场模型计算出所述精确屋顶分割结果：
其中，
一元项为所述初始屋顶分割结果中像素i被分为屋顶的概率值的对数似然的负值；
二元项为光滑项，用于使相邻的像素具有相同的标记：
高阶项为区域一致项，用来保证属于同一超像素内的像素具有相同的标记；
V表示图像中所有像素的集合，F为8邻域像素点对集，P为过分割区域的集合，yi、yj分别表示像素i和j的标记，yc为分割区域c中所有像素标记的集合；Ii和Ij表示像素i和j的颜色向量，θλ为常量，用来控制各个项之间的平衡关系。
10.一种基于多尺度三维先验信息的屋顶分割系统，其特征在于，基于权利要求1-9中任一项所述的基于多尺度三维先验信息的屋顶分割方法；所述系统包括：超像素分割模块、混合概率图计算模块、初始屋顶分割模块、精确屋顶分割模块；
所述超像素分割模块配置为：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；
所述混合概率图计算模块配置为：针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；
所述初始屋顶分割模块配置为：利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；
所述精确屋顶分割模块配置为：根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。
11.一种存储设备，其存储有程序，其特征在于，所述程序适于由处理器加载并执行，以实现权利要求1-9中任一项所述的基于多尺度三维先验信息的屋顶分割方法。
12.一种处理设备，包括：处理器和存储器；
所述处理器，适于执行程序；
所述存储器，适于存储该程序；
其特征在于，所述程序适于由所述处理器加载并执行，以实现权利要求1-9中任一项所述的基于多尺度三维先验信息的屋顶分割方法。
CN201810788765.4A 2018-07-18 2018-07-18 基于多尺度三维先验信息的屋顶分割方法、系统与设备 Active CN109215049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810788765.4A CN109215049B (zh) 2018-07-18 2018-07-18 基于多尺度三维先验信息的屋顶分割方法、系统与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810788765.4A CN109215049B (zh) 2018-07-18 2018-07-18 基于多尺度三维先验信息的屋顶分割方法、系统与设备

Publications (2)

Publication Number Publication Date
CN109215049A true CN109215049A (zh) 2019-01-15
CN109215049B CN109215049B (zh) 2020-11-06

Family

ID=64990010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810788765.4A Active CN109215049B (zh) 2018-07-18 2018-07-18 基于多尺度三维先验信息的屋顶分割方法、系统与设备

Country Status (1)

Country Link
CN (1) CN109215049B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580641A (zh) * 2020-11-23 2021-03-30 上海明略人工智能(集团)有限公司 图像特征的提取方法及装置、存储介质、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279423A1 (en) * 2007-05-11 2008-11-13 Microsoft Corporation Recovering parameters from a sub-optimal image
WO2012096988A2 (en) * 2011-01-10 2012-07-19 Rutgers, The State University Of New Jersey Method and apparatus for shape based deformable segmentation of multiple overlapping objects
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN104951765A (zh) * 2015-06-18 2015-09-30 北京航空航天大学 基于形状先验信息和视觉对比度的遥感图像目标分割方法
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法
CN107330907A (zh) * 2017-06-28 2017-11-07 陕西师范大学 一种结合深度学习形状先验的mrf图像分割方法
CN107944492A (zh) * 2017-11-27 2018-04-20 深圳市唯特视科技有限公司 一种基于稀疏表示的土地利用覆盖分类方法
CN107944470A (zh) * 2017-11-03 2018-04-20 西安电子科技大学 基于轮廓波fcn‑crf的sar图像分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080279423A1 (en) * 2007-05-11 2008-11-13 Microsoft Corporation Recovering parameters from a sub-optimal image
WO2012096988A2 (en) * 2011-01-10 2012-07-19 Rutgers, The State University Of New Jersey Method and apparatus for shape based deformable segmentation of multiple overlapping objects
CN104574375A (zh) * 2014-12-23 2015-04-29 浙江大学 结合彩色和深度信息的图像显著性检测方法
CN104951765A (zh) * 2015-06-18 2015-09-30 北京航空航天大学 基于形状先验信息和视觉对比度的遥感图像目标分割方法
CN105321176A (zh) * 2015-09-30 2016-02-10 西安交通大学 一种基于分层高阶条件随机场的图像分割方法
CN105760886A (zh) * 2016-02-23 2016-07-13 北京联合大学 一种基于目标识别与显著性检测的图像场景多对象分割方法
CN107330907A (zh) * 2017-06-28 2017-11-07 陕西师范大学 一种结合深度学习形状先验的mrf图像分割方法
CN107944470A (zh) * 2017-11-03 2018-04-20 西安电子科技大学 基于轮廓波fcn‑crf的sar图像分类方法
CN107944492A (zh) * 2017-11-27 2018-04-20 深圳市唯特视科技有限公司 一种基于稀疏表示的土地利用覆盖分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ER LI 等: ""Robust Rooftop Extraction From Visible Band Images Using Higher Order CRF"", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
WEI MA 等: ""Interactive Stereo Image Segmentation With RGB-D Hybrid Constraints"", 《IEEE SIGNAL PROCESSING LETTERS》 *
张硕: ""基于概率图模型和形状先验的图像分割方法研究"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580641A (zh) * 2020-11-23 2021-03-30 上海明略人工智能(集团)有限公司 图像特征的提取方法及装置、存储介质、电子设备
CN112580641B (zh) * 2020-11-23 2024-06-04 上海明略人工智能(集团)有限公司 图像特征的提取方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN109215049B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN111914834B (zh) 图像识别方法、装置、计算机设备和存储介质
Saxena et al. Make3d: Learning 3d scene structure from a single still image
CN104424634B (zh) 对象跟踪方法和装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
WO2019210555A1 (zh) 一种基于深度神经网络的人数统计方法及装置、存储介质
CN110472534A (zh) 基于rgb-d数据的3d目标检测方法、装置、设备和存储介质
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN108052624A (zh) 点云数据处理方法、装置及计算机可读存储介质
CN110309842B (zh) 基于卷积神经网络的物体检测方法及装置
CN109584302A (zh) 相机位姿优化方法、装置、电子设备和计算机可读介质
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
JP2019016114A (ja) 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム
CN110796141A (zh) 目标检测方法及相关设备
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
CN112717414A (zh) 游戏场景编辑方法、装置、电子设备以及存储介质
CN115019273A (zh) 一种目标检测方法、装置、汽车及存储介质
US11908096B2 (en) Stereoscopic image acquisition method, electronic device and storage medium
CN109255792A (zh) 一种视频图像的分割方法、装置、终端设备及存储介质
CN108986210B (zh) 三维场景重建的方法和设备
CN109215049A (zh) 基于多尺度三维先验信息的屋顶分割方法、系统与设备
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN116958485A (zh) 一种可视域分析方法及装置
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN113343987B (zh) 文本检测处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant