CN114863288A - 一种建筑物轮廓提取及规则化方法及装置 - Google Patents
一种建筑物轮廓提取及规则化方法及装置 Download PDFInfo
- Publication number
- CN114863288A CN114863288A CN202210780828.8A CN202210780828A CN114863288A CN 114863288 A CN114863288 A CN 114863288A CN 202210780828 A CN202210780828 A CN 202210780828A CN 114863288 A CN114863288 A CN 114863288A
- Authority
- CN
- China
- Prior art keywords
- building
- pixel
- vector
- grid
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 title claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000009467 reduction Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 70
- 230000008569 process Effects 0.000 claims description 9
- 238000012946 outsourcing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种建筑物轮廓提取及规则化方法及装置，涉及遥感影像处理技术领域，具体为：对待分割多光谱影像的值域进行降位预处理，得到待分割影像；利用预先训练完成的语义分割模型对待分割影像进行处理，得到建筑物轮廓影像；对建筑物轮廓影像中建筑物轮廓进行优化；对优化后的建筑物轮廓进行规则化处理，得到建筑物边界。本申请提高了建筑物轮廓提取及规则化的便利性、实用性与准确性。
Description
技术领域
本申请涉及遥感影像处理技术领域，尤其是涉及一种建筑物轮廓提取及规则化方法及装置。
背景技术
基于深度学习的语义分割在对于国土规划、环境保护、减灾防灾等领域有着重要意义。而建筑物的自动提取是其中比较重要的部分，遥感对地观测技术具有大范围、长时间和周期性监测的优势，利用高分辨率遥感影像来自动提取建筑物是当前较为流行的技术。
语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别，语义可解释性即分类类别在真实世界中是有意义的，虽然无监督分类也可用于分割，但是结果不一定是有意义的。
目前，建筑物的提取主要方法包括人工解译，基于像素提取，面向对象提取与基于深度学习提取；人工解译提取的信息准去，精度较高，边缘准确，但是需要大量的人力，总体效率较低；基于像素的提取技术较为成熟，适用性较强，但是存在边界不准而且飞地现象较多的问题；面向对象提取自动化程度较高，边界精度也较为可观，但是存在一定的规则集适应性问题；基于深度学习的提取自动化程度也较高，而且速度较快，但是需要大量的样本数据；但是在实际的操作中大多数情况下样本不足，甚至没有合适的样本与模型，导致提取的建筑物结果精度较差，椒盐噪声较多等问题；依赖于重新采集样本或者既有的样本库，这就导致工作量巨大或应用限制多等问题。
发明内容
有鉴于此，本申请提供了一种建筑物轮廓提取及规则化方法及装置，以解决上述技术问题。
第一方面，本申请实施例提供了一种建筑物轮廓提取及规则化方法，包括：
对待分割多光谱影像的值域进行降位预处理，得到待分割影像；
利用预先训练完成的语义分割模型对待分割影像进行处理，得到建筑物轮廓影像；
对建筑物轮廓影像中建筑物轮廓进行优化；
对优化后的建筑物轮廓进行规则化处理，得到建筑物边界。
进一步，所述语义分割模型采用Unet++网络。
进一步，所述语义分割模型的训练过程包括：
对多光谱影像样本进行图分割，得到初步分割结果；
对初步分割结果进行矢量化，得到分割结果矢量；
从分割结果矢量中选取出建筑物分割结果矢量作为样本矢量；
利用样本矢量生成的栅格，对多光谱影像样本进行切割，生成多个预设大小的样本栅格块；
利用多个样本栅格块对语义分割模型进行训练。
进一步，对建筑物轮廓影像中建筑物轮廓进行优化；包括：
根据分类索引得到建筑物轮廓影像的建筑物栅格掩膜；
从建筑物栅格掩膜中获取建筑物矢量V0；
将建筑物矢量V0中面积小于第一阈值的建筑物面删除，得到矢量V1；
从矢量V1中读取出外环矢量边界，然后将外环矢量边界进行矢量栅格化，得到建筑物栅格R1，将建筑物范围内栅格化为像素值1；
对建筑物栅格R1中的凸起与凹陷进行相应的删除与填充操作，得到建筑物栅格R2；
将建筑物栅格R2进行栅格矢量化，将矢量化结果通过Douglas-Peucker算法生成优化后的建筑物矢量V2。
进一步，对生成的建筑物栅格R1中的凸起与凹陷进行删除与填充操作，得到建筑物栅格R2；包括：
将建筑物栅格R1最外围添加一圈0值像素；
从建筑物栅格R1的第二行开始，逐行逐像素地获取当前像素值与下一像素值，如果当前像素值为0且下一像素值为1，则为凸起；判断当前像素加上预设像素长度的值是否大于建筑物像素宽度，如果为是，将当前像素后的全部像素设置为无效像素值0，否则，判断当前像素后的预设像素长度内是否存在像素值为0的像素，若为是，则将当前像素到0值像素之间的像素值全部设置为0；
从建筑物栅格R1的第二列开始，逐列逐像素地获取当前像素值与下一像素值，如果当前像素值为0且下一像素值为1，则为凸起；判断当前像素加上预设像素长度的值是否大于建筑物像素宽度，如果为是，将当前像素后的全部像素设置为无效像素值0，否则，判断当前像素后的预设像素长度内是否存在像素值为0的像素，若为是，则将当前像素到0值像素之间的像素值全部设置为0；
从建筑物栅格R1的第二行开始，逐行逐像素地获取当前像素值与下一像素值，如果当前像素值为1且下一像素值为0，则为凹陷；判断当前像素后预设像素长度内是否存在像素值为1的像素，若为是，则将当前像素到1值像素之间的像素值全部设置为1；
从建筑物栅格R1的第二列开始，逐列逐像素地获取当前像素值与下一像素值，如果当前像素值为1且下一像素值为0，则为凹陷；判断当前像素之后预设像素长度内是否存在像素值为1的像素，若为是，则将当前像素到1值像素之间的像素值全部设置为1；
将完成上述处理后的建筑物栅格R1记为建筑物栅格R2。
进一步，对优化后的建筑物轮廓进行规则化处理，得到建筑物边界；包括：
使用Melkman算法对优化后的建筑物矢量V2计算凸包，然后使用RotatingCalipers算法计算出最小外包矩形，从而确定建筑物的第一主轴Main_Axis1；
将优化后的建筑物矢量V2中线段长度小于第二阈值的线段删除，得到矢量V3；
根据最小外包矩形的顶点位置重新排列矢量V3的顶点顺序，将最接近外包矩形的顶点作为起始点；
对重新排列顶点顺序的矢量V3，计算相邻两条边的夹角
，
：
如果
在
区间内， 
为垂直角度阈值；那么以两条边中的短边的另一端点计算到两条边中的短边的垂足点的坐标，以垂足点替换两条边的连接点；
如果
在
区间内，
为平行角度阈值，那么直接删除相邻两条边间的中间点；
否则，保持相邻两条边不变，由此生成矢量V4；
将矢量V4中最长的边作为建筑物的第二主轴Main_Axis2，判断第二主轴Main_Axis2与第一主轴Main_Axis1之间的夹角是否小于第三阈值，若为是，则使用第一主轴Main_Axis1作为最终主轴，否则使用第二主轴Main_Axis2作为最终主轴；
依据最终主轴，计算矢量V4中每条线段与最终主轴的夹角
：
如果
在
区间内，则以该条线段的中点为圆心进行旋转，直至该条线段与主轴垂直，将旋转后的线段放入集合ResultSet；
如果
在
区间内，以所述线段的中点为圆心旋转与主轴平行，将旋转后的线段放入集合ResultSet；
否则，将所述线段放入集合ResultSet；
对于集合ResultSet中相邻的两条线段，如果两条线段平行，计算两条线段之间的距离，如果距离小于第四阈值，那么删除两条线段中较短的线段；否则，从第一条线段的尾点向第二条线段引垂线；如果两条线段垂直，则将第一条线段延长与第二条线段相交；由此，将集合ResultSet中所有的线段连接起来，形成建筑物边界。
第二方面，本申请实施例提供了一种建筑物轮廓提取及规则化装置，包括：
预处理单元，用于对待分割多光谱影像的值域进行降位预处理，得到待分割影像；
语义分割单元，用于利用预先训练完成的语义分割模型对待分割影像进行处理，得到建筑物轮廓影像；
优化单元，用于对建筑物轮廓影像中建筑物轮廓进行优化；
规则化处理单元，用于对优化后的建筑物轮廓进行规则化处理，得到建筑物边界。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的建筑物轮廓提取及规则化方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的建筑物轮廓提取及规则化方法。
本申请提高了建筑物轮廓提取及规则化的便利性、实用性与准确性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的建筑物轮廓提取及规则化方法的流程图；
图2为本申请实施例提供的建筑物轮廓提取及规则化装置的功能结构图；
图3为本申请实施例提供的电子设备的结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请实施例的设计思想进行简单介绍。
现有的建筑物提取方法在实际应用中存在稳定性、准确性、简便性较低的技术问题，为解决该技术问题，本申请实施例提供了一种建筑物轮廓提取及规则化方法，适用于中高分辨率多光谱或高光谱遥感影像数据，针对在建筑物影像样本矢量较少甚至没有的情况下，提供了一种样本生成的方式；同时在样本数量与精度不够的情况下导致的训练模型不理想，同时针对深度学习语义分割本身的局限性，进而导致的建筑物语义分割结果精确度存在一定偏差的情况下，设计了一种样本选择与生成流程，同时基于后天的知识与理论逻辑，将较为不规则的建筑物像素块分割结果规则化为较为符合建筑物实际轮廓的矢量边界；该方法为实际的建筑物提取业务应用中提供了一种快速有效的使用模式，具有较高的便利性、实用性与准确性。
在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。
如图1所示，本申请实施例提供了一种建筑物轮廓提取及规则化方法，包括：
步骤101：对待分割多光谱影像的值域进行降位预处理，输出待分割影像；
将待分割多光谱影像的值域进行降8位的预处理，输出8bit的待分割影像，可以提高后续模型的处理效率。
步骤102：利用预先训练完成的语义分割模型对待分割影像进行处理，得到建筑物轮廓影像；
目前领域内大多数的优秀的深度学习语义分割模型的精度相差并不是非常巨大，尤其是对于建筑物这种边缘特征非常明显的地物，所以选择了一种目前较为流行的语义分割模型Unet++。Unet++是在Unet的基础上的改进，将1至4层的Unet网络全部连结在一起，无论那个层次的深度有效，让网络自己去学习不同深度的特征的重要性，将不同深度的特征进行了整合。
在实际的训练过程中，由于样本缺失或者模型泛化问题，导致实际生产中没有合适的样本；所以此过程设计了一个样本采集与栅格样本生成的方法。
首先基于高分辨率多光谱影像进行图分割，形成一个初步分割结果，然后根据该结果直接挑选出建筑物分割结果矢量作为样本矢量，为了增加模型的特征泛化能力与精度，同时可以挑选一些其他样本，如植被，水体等；同时可以根据精度进行样本矢量编辑修改；基于该矢量样本掩膜对多光谱影像进行自动栅格样本切割分块，生成64 * 64大小的样本栅格块。将样本数据分为测试集与验证集，对语义分割模型进行训练；
最后使用训练好的模型对8bit影像进行语义分割得到结果R0。
步骤103：对建筑物轮廓影像中建筑物轮廓的边界进行优化；
此步骤主要是将上一步语义分割的结果R0进行一定的预处理，删除较为明显的噪声与像素上的逻辑干扰。
如图3所示，具体包括：
将上一步语义分割的结果R0根据分类索引进行建筑物掩膜栅格输出，从建筑物栅格掩膜中获取建筑物矢量V0；将建筑物矢量V0中面积小于第一阈值的建筑物面删除（去除特别小的面），得到矢量V1；此步骤会得到较多的矢量结构，由于实际模型精度的影响，会存在内环状结构，但是在大多数实际的建筑物中并不会存在环状结构，所以统一将该情况作为误提取，具体方法为：从矢量V1中读取出外环矢量边界，然后将外环矢量边界进行矢量栅格化，得到建筑物栅格R1，将建筑物范围内栅格化为像素值1；这样内环结构直接会被覆盖为1值，去除镂空；此时生成的建筑物栅格考虑到边缘的较小凸起与凹陷需要进行相应的删除与填充操作，否则会影响整体算法精度，出现尖锐角或者较小的凸起与凹陷，而实际建筑物中出现这些情况非常罕见，具体方法为：将建筑物栅格R1最外围添加一圈0值像素；
从建筑物栅格R1的第二行开始，逐行逐像素地获取当前像素值与下一像素值，如果当前像素值为0且下一像素值为1，则为凸起；判断当前像素加上预设像素长度之后是否大于建筑物像素宽度，如果为是，那么将当前像素后的全部像素设置为无效像素值0，否则，判断当前像素后预设像素长度内是否存在像素值为0的像素，若为是，则将当前像素到0值像素之间的像素值全部设置为0；其中，像素长度Pixel_threshold根据经验值确定。
从建筑物栅格R1的第二列开始，逐列逐像素地获取当前像素值与下一像素值，如果当前像素值为0且下一像素值为1，则为凸起；判断当前像素加上预设像素长度之后是否大于建筑物像素宽度，如果为是，那么将当前像素后的全部像素设置为无效像素值0，否则，判断当前像素后预设像素长度内是否存在像素值为0的像素，若为是，则将当前像素到0值像素之间的像素值全部设置为0；
从建筑物栅格R1的第二行开始，逐行逐像素地获取当前像素值与下一像素值，如果当前像素值为1且下一像素值为0，则为凹陷；判断当前像素后预设像素长度内是否存在像素值为1的像素，若为是，则将当前像素到1值像素之间的像素值全部设置为1；
从建筑物栅格R1的第二列开始，逐列逐像素地获取当前像素值与下一像素值，如果当前像素值为1且下一像素值为0，则为凹陷；判断当前像素之后预设像素长度内是否存在像素值为1的像素，若为是，则将当前像素到1值像素之间的像素值全部设置为1；
将完成上述处理后的建筑物栅格R1记为建筑物栅格R2。
最后再将建筑物栅格R2进行栅格矢量化，再将矢量化结果进行Douglas-Peucker算法生成优化后的建筑物矢量V2。
步骤104：对优化后的建筑物轮廓进行规则化处理，得到建筑物边界；
此步骤主要是为了将建筑物轮廓进行规则化，使其符合实际的建筑物轮廓形状。具体的，该步骤包括：
第一步：使用Melkman算法对优化后的建筑物矢量V2计算凸包，然后使用RotatingCalipers算法计算出最小外包矩形，从而确定建筑物的第一主轴Main_Axis1；
第二步：将优化后的建筑物矢量V2中线段长度小于第二阈值的线段删除（去除特别短的线段），得到矢量V3；
第三步：根据最小外包矩形的顶点位置重新排列矢量V3的顶点顺序，将最接近外包矩形的顶点作为起始点；这样可以保证该点在优化过程中不会被删除掉，使得模型贴合规则形状；
第四步：对重新排列顶点顺序的矢量V3，计算相邻两条边的夹角
，
：如果
在
区间内, 
为垂直角度阈值，
为一个接近0°的角度值；那么以两条边中的短边的另一端点计算到两条边中的短边的垂足点的坐标，以垂足点替换两条边的连接点；如果
在
区间内，
为平行角度阈值，
为接近180°的角度值；那么直接删除相邻两条边间的中间点；否则，保持相邻两条边不变，由此生成矢量V4；
第五步：将矢量V4中最长的边作为建筑物的第二主轴Main_Axis2，判断第二主轴Main_Axis2与第一主轴Main_Axis1之间的夹角是否小于第三阈值，若为是，则使用第一主轴Main_Axis1作为最终主轴，否则使用第二主轴Main_Axis2作为最终主轴；
第六步：依据最终主轴，计算矢量V4中每条线段与最终主轴的夹角
：如果
在
区间内，则以该条线段的中点为圆心进行旋转，直至该条线段与主轴垂直，将旋转后的线段放入集合ResultSet；如果
在
区间内，以所述线段的中点为圆心旋转与主轴平行，将旋转后的线段放入集合ResultSet；否则，将所述线段放入集合ResultSet；
第七步：对于集合ResultSet中相邻的两条线段，如果两条线段平行，计算两条线段之间的距离，如果距离小于第四阈值，那么删除两条线段中较短的线段；否则，从第一条线段的尾点向第二条线段引垂线；如果两条线段垂直，则将第一条线段延长与第二条线段相交；由此，将集合ResultSet中所有的线段连接起来，形成建筑物边界。
具体实例：选取北京地区的GF2影像，数据经过了辐射校正与几何校正，最后融合为0.8米分辨率多光谱影像；考虑到建筑物的提取，挑选一块建筑物较为典型的区域，裁切了大小3600*3600、波段数为4的多光谱影像作为实验数据。
使用图分割方法针对上一步裁切的多光谱影像进行分割，然后输出分割矢量，选择部分建筑物矢量作为样本矢量数据集，考虑到泛化能力，同时也挑选一些植被与道路部分作为对比样本，使用该矢量对影像进行栅格切片算法，得到栅格样本。
利用训练集进行模型训练，调整参数使得模型的泛化能力得到增强；在模型收敛且精度合格后，使用模型对待测影像进行语义分割，得到分割结果集，然后将建筑物分类的结果单独输出得到建筑物语义分割结果。
将语义分割的结果做初步的预处理，去除建筑物中存在的镂空，将边界进行一定的优化，去除明显的凸起与凹陷，最后进行Douglas-Peucker算法进一步简化边界。
轮廓预处理完成后，需要规则化边界；主要基于不同的分辨率影像设置不同的阈值进行规则化处理，先去除阈值范围以内的短边，然后依赖夹角阈值优化临接的边走向，最后根据主轴方向判断是否旋转各个边，连结各个结果边的交点得到建筑物规则化矢量边界。
基于上述实施例，本申请实施例提供了一种建筑物轮廓提取及规则化装置，参阅图2所示，本申请实施例提供的建筑物轮廓提取及规则化装置200至少包括：
预处理单元201，用于对待分割多光谱影像的值域进行降位预处理，得到待分割影像；
语义分割单元202，用于利用预先训练完成的语义分割模型对待分割影像进行处理，得到建筑物轮廓影像；
优化单元203，用于对建筑物轮廓影像中建筑物轮廓进行优化；
规则化处理单元204，用于对优化后的建筑物轮廓进行规则化处理，得到建筑物边界。
需要说明的是，本申请实施例提供的建筑物轮廓提取及规则化装置200解决技术问题的原理与本申请实施例提供的建筑物轮廓提取及规则化方法相似，因此，本申请实施例提供的建筑物轮廓提取及规则化装置200的实施可以参见本申请实施例提供的建筑物轮廓提取及规则化方法的实施，重复之处不再赘述。
如图3所示，本申请实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本申请实施例提供的建筑物轮廓提取及规则化方法。
本申请实施例提供的电子设备300还可以包括连接不同组件（包括处理器301和存储器302）的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
存储器302可以包括易失性存储器形式的可读介质，例如随机存储器（RandomAccess Memory，RAM）3021和/或高速缓存存储器3022，还可以进一步包括只读存储器（ReadOnly Memory，ROM）3023。
存储器302还可以包括具有一组（至少一个）程序模块3025的程序工具3024，程序模块3025包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备300也可以与一个或多个外部设备304（例如键盘、遥控器等）通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信（例如手机、电脑等），和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备（例如路由器、调制解调器等）通信。这种通信可以通过输入/输出（Input /Output，I/O）接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络（例如局域网（Local AreaNetwork，LAN），广域网（Wide Area Network，WAN）和/或公共网络，例如因特网）通信。如图3所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列（Redundant Arrays of IndependentDisks，RAID）子系统、磁带驱动器以及数据备份存储子系统等。
需要说明的是，图3所示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的建筑物轮廓提取及规则化方法。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (9)
1.一种建筑物轮廓提取及规则化方法，其特征在于，包括：
对待分割多光谱影像的值域进行降位预处理，得到待分割影像；
利用预先训练完成的语义分割模型对待分割影像进行处理，得到建筑物轮廓影像；
对建筑物轮廓影像中建筑物轮廓进行优化；
对优化后的建筑物轮廓进行规则化处理，得到建筑物边界。
2.根据权利要求1所述的建筑物轮廓提取及规则化方法，其特征在于，所述语义分割模型采用Unet++网络。
3.根据权利要求2所述的建筑物轮廓提取及规则化方法，其特征在于，所述语义分割模型的训练过程包括：
对多光谱影像样本进行图分割，得到初步分割结果；
对初步分割结果进行矢量化，得到分割结果矢量；
从分割结果矢量中选取出建筑物分割结果矢量作为样本矢量；
利用样本矢量生成的栅格，对多光谱影像样本进行切割，生成多个预设大小的样本栅格块；
利用多个样本栅格块对语义分割模型进行训练。
4.根据权利要求1所述的建筑物轮廓提取及规则化方法，其特征在于，对建筑物轮廓影像中建筑物轮廓进行优化；包括：
根据分类索引得到建筑物轮廓影像的建筑物栅格掩膜；
从建筑物栅格掩膜中获取建筑物矢量V0；
将建筑物矢量V0中面积小于第一阈值的建筑物面删除，得到矢量V1；
从矢量V1中读取出外环矢量边界，然后将外环矢量边界进行矢量栅格化，得到建筑物栅格R1，将建筑物范围内栅格化为像素值1；
对建筑物栅格R1中的凸起与凹陷进行相应的删除与填充操作，得到建筑物栅格R2；
将建筑物栅格R2进行栅格矢量化，将矢量化结果通过Douglas-Peucker算法生成优化后的建筑物矢量V2。
5.根据权利要求4所述的建筑物轮廓提取及规则化方法，其特征在于，对生成的建筑物栅格R1中的凸起与凹陷进行删除与填充操作，得到建筑物栅格R2；包括：
将建筑物栅格R1最外围添加一圈0值像素；
从建筑物栅格R1的第二行开始，逐行逐像素地获取当前像素值与下一像素值，如果当前像素值为0且下一像素值为1，则为凸起；判断当前像素加上预设像素长度的值是否大于建筑物像素宽度，如果为是，将当前像素后的全部像素设置为无效像素值0，否则，判断当前像素后的预设像素长度内是否存在像素值为0的像素，若为是，则将当前像素到0值像素之间的像素值全部设置为0；
从建筑物栅格R1的第二列开始，逐列逐像素地获取当前像素值与下一像素值，如果当前像素值为0且下一像素值为1，则为凸起；判断当前像素加上预设像素长度的值是否大于建筑物像素宽度，如果为是，将当前像素后的全部像素设置为无效像素值0，否则，判断当前像素后的预设像素长度内是否存在像素值为0的像素，若为是，则将当前像素到0值像素之间的像素值全部设置为0；
从建筑物栅格R1的第二行开始，逐行逐像素地获取当前像素值与下一像素值，如果当前像素值为1且下一像素值为0，则为凹陷；判断当前像素后预设像素长度内是否存在像素值为1的像素，若为是，则将当前像素到1值像素之间的像素值全部设置为1；
从建筑物栅格R1的第二列开始，逐列逐像素地获取当前像素值与下一像素值，如果当前像素值为1且下一像素值为0，则为凹陷；判断当前像素之后预设像素长度内是否存在像素值为1的像素，若为是，则将当前像素到1值像素之间的像素值全部设置为1；
将完成上述处理后的建筑物栅格R1记为建筑物栅格R2。
6.根据权利要求5所述的建筑物轮廓提取及规则化方法，其特征在于，对优化后的建筑物轮廓进行规则化处理，得到建筑物边界；包括：
使用Melkman算法对优化后的建筑物矢量V2计算凸包，然后使用Rotating Calipers算法计算出最小外包矩形，从而确定建筑物的第一主轴；
将优化后的建筑物矢量V2中线段长度小于第二阈值的线段删除，得到矢量V3；
根据最小外包矩形的顶点位置重新排列矢量V3的顶点顺序，将最接近外包矩形的顶点作为起始点；
对重新排列顶点顺序的矢量V3，计算相邻两条边的夹角
，
：
如果
在
区间内, 
为垂直角度阈值；那么以两条边中的短边的另一端点计算到两条边中的短边的垂足点的坐标，以垂足点替换两条边的连接点；
如果
在
区间内，
为平行角度阈值，那么直接删除相邻两条边间的中间点；
否则，保持相邻两条边不变，由此生成矢量V4；
将矢量V4中最长的边作为建筑物的第二主轴，判断第二主轴与第一主轴之间的夹角是否小于第三阈值，若为是，则使用第一主轴作为最终主轴，否则使用第二主轴作为最终主轴；
依据最终主轴，计算矢量V4中每条线段与最终主轴的夹角
：
如果
在
区间内，则以该条线段的中点为圆心进行旋转，直至该条线段与主轴垂直，将旋转后的线段放入集合ResultSet；
如果
在
区间内，以所述线段的中点为圆心旋转与主轴平行，将旋转后的线段放入集合ResultSet；
否则，将所述线段放入集合ResultSet；
对于集合ResultSet中相邻的两条线段，如果两条线段平行，计算两条线段之间的距离，如果距离小于第四阈值，那么删除两条线段中较短的线段；否则，从第一条线段的尾点向第二条线段引垂线；如果两条线段垂直，则将第一条线段延长与第二条线段相交；由此，将集合ResultSet中所有的线段连接起来，形成建筑物边界。
7.一种建筑物轮廓提取及规则化装置，其特征在于，包括：
预处理单元，用于对待分割多光谱影像的值域进行降位预处理，得到待分割影像；
语义分割单元，用于利用预先训练完成的语义分割模型对待分割影像进行处理，得到建筑物轮廓影像；
优化单元，用于对建筑物轮廓影像中建筑物轮廓进行优化；
规则化处理单元，用于对优化后的建筑物轮廓进行规则化处理，得到建筑物边界。
8.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的建筑物轮廓提取及规则化方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-6任一项所述的建筑物轮廓提取及规则化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210780828.8A CN114863288B (zh) | 2022-07-05 | 2022-07-05 | 一种建筑物轮廓提取及规则化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210780828.8A CN114863288B (zh) | 2022-07-05 | 2022-07-05 | 一种建筑物轮廓提取及规则化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114863288A true CN114863288A (zh) | 2022-08-05 |
| CN114863288B CN114863288B (zh) | 2022-09-23 |
Family
ID=82626920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210780828.8A Active CN114863288B (zh) | 2022-07-05 | 2022-07-05 | 一种建筑物轮廓提取及规则化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114863288B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071605A (zh) * | 2023-03-07 | 2023-05-05 | 超音速人工智能科技股份有限公司 | 基于深度学习的标注方法、装置及存储介质 |
| CN117095300A (zh) * | 2023-10-19 | 2023-11-21 | 腾讯科技（深圳）有限公司 | 建筑图像处理方法、装置、计算机设备和存储介质 |
| CN117475305A (zh) * | 2023-10-26 | 2024-01-30 | 广西壮族自治区自然资源遥感院 | 多类别建筑轮廓智能提取与规则化方法、应用系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096497A (zh) * | 2016-05-28 | 2016-11-09 | 安徽省（水利部淮河水利委员会）水利科学研究院 | 一种针对多元遥感数据的房屋矢量化方法 |
| CN109903304A (zh) * | 2019-02-25 | 2019-06-18 | 武汉大学 | 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法 |
| EP3889833A1 (en) * | 2020-04-01 | 2021-10-06 | HERE Global B.V. | Method and apparatus for extracting a satellite image-based building footprint |
| CN114529837A (zh) * | 2022-02-25 | 2022-05-24 | 广东南方数码科技股份有限公司 | 建筑物轮廓提取方法、系统、计算机设备及存储介质 |
-
2022
- 2022-07-05 CN CN202210780828.8A patent/CN114863288B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106096497A (zh) * | 2016-05-28 | 2016-11-09 | 安徽省（水利部淮河水利委员会）水利科学研究院 | 一种针对多元遥感数据的房屋矢量化方法 |
| CN109903304A (zh) * | 2019-02-25 | 2019-06-18 | 武汉大学 | 一种基于卷积神经元网络和多边形规则化的建筑物轮廓自动提取算法 |
| EP3889833A1 (en) * | 2020-04-01 | 2021-10-06 | HERE Global B.V. | Method and apparatus for extracting a satellite image-based building footprint |
| CN114529837A (zh) * | 2022-02-25 | 2022-05-24 | 广东南方数码科技股份有限公司 | 建筑物轮廓提取方法、系统、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 孙金彦等: "高分辨率遥感影像中建筑物轮廓信息矢量化", 《遥感学报》 * |
| 王伟玺等: "基于栅格填充的直角多边形建筑物轮廓规则化方法", 《武汉大学学报(信息科学版)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071605A (zh) * | 2023-03-07 | 2023-05-05 | 超音速人工智能科技股份有限公司 | 基于深度学习的标注方法、装置及存储介质 |
| CN116071605B (zh) * | 2023-03-07 | 2023-09-01 | 超音速人工智能科技股份有限公司 | 基于深度学习的标注方法、装置及存储介质 |
| CN117095300A (zh) * | 2023-10-19 | 2023-11-21 | 腾讯科技（深圳）有限公司 | 建筑图像处理方法、装置、计算机设备和存储介质 |
| CN117095300B (zh) * | 2023-10-19 | 2024-02-06 | 腾讯科技（深圳）有限公司 | 建筑图像处理方法、装置、计算机设备和存储介质 |
| CN117475305A (zh) * | 2023-10-26 | 2024-01-30 | 广西壮族自治区自然资源遥感院 | 多类别建筑轮廓智能提取与规则化方法、应用系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114863288B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114863288B (zh) | 一种建筑物轮廓提取及规则化方法及装置 | |
| CN110322495B (zh) | 一种基于弱监督深度学习的场景文本分割方法 | |
| CN110148085B (zh) | 人脸图像超分辨率重建方法及计算机可读取的存储介质 | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN111428748A (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN111582218A (zh) | 一种基于深度学习的遥感影像岛礁提取方法 | |
| US20220004740A1 (en) | Apparatus and Method For Three-Dimensional Object Recognition | |
| CN113920148B (zh) | 基于多边形的建筑物边界提取方法、设备及存储介质 | |
| CN113838005A (zh) | 基于维度转换的岩体裂隙智能识别与三维重构方法及系统 | |
| CN112700418A (zh) | 一种基于改进编解码网络模型的裂缝检测方法 | |
| WO2023247827A1 (en) | Method and system for processing point-cloud data | |
| Zhang et al. | A graph-voxel joint convolution neural network for ALS point cloud segmentation | |
| Wang et al. | What is the real need for scene text removal? exploring the background integrity and erasure exhaustivity properties | |
| Guo et al. | SGLBP: Subgraph‐based local binary patterns for feature extraction on point clouds | |
| CN111160369B (zh) | 破解汉字验证码的方法、系统、电子设备及存储介质 | |
| CN111985487A (zh) | 一种遥感影像目标提取方法、电子设备及存储介质 | |
| CN116630610A (zh) | 基于语义分割模型和条件随机场的roi区域提取方法 | |
| Yan et al. | GEOP-Net: Shape reconstruction of buildings from LiDAR point clouds | |
| CN114694019A (zh) | 基于异常检测的遥感影像建筑物迁移提取方法 | |
| CN108985306B (zh) | 基于改进边界代数法的相交多边形提取方法 | |
| CN110991267A (zh) | 基于图像或视频人群计数的密度图生成方法和装置 | |
| CN115937599A (zh) | 一种改进自适应池化的深度学习遥感影像分类方法 | |
| Wang et al. | Remote sensing image building extraction method based on deep learning | |
| Iturburu et al. | Towards rapid and automated vulnerability classification of concrete buildings | |
| CN116563538B (zh) | 图像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |