CN115017968A - 一种基于U-Net模型的复杂建筑物分类提取方法 - Google Patents

一种基于U-Net模型的复杂建筑物分类提取方法 Download PDF

Info

Publication number
CN115017968A
CN115017968A CN202210376367.8A CN202210376367A CN115017968A CN 115017968 A CN115017968 A CN 115017968A CN 202210376367 A CN202210376367 A CN 202210376367A CN 115017968 A CN115017968 A CN 115017968A
Authority
CN
China
Prior art keywords
building
image
net model
model
buildings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210376367.8A
Other languages
English (en)
Inventor
周忠发
黎前霞
肖冬娜
黄登红
闫利会
黄有燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Education University
Original Assignee
Guizhou Education University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Education University filed Critical Guizhou Education University
Priority to CN202210376367.8A priority Critical patent/CN115017968A/zh
Publication of CN115017968A publication Critical patent/CN115017968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于U‑Net模型的复杂建筑物分类提取方法,包括以步骤:Step1.获取无人机影像数据;Step2.制作建筑物分类数据集。Step3.使用分类建筑物数据集分别训练U‑Net模型,获取建筑物提取模型;Step4.增强数据集;Step5.使用增强数据集对U‑Net模型进行微调训练,获得微调后建筑物提取模型;Step6.模型测试:将预测数据集的建筑物影像输入到步骤Step5获得微调建筑物提取模型中,分类对建筑物进行识别。本发明能够在建筑物数据集有限条件下,对复杂建筑物类型进行有效识别提取,分割后的建筑物轮廓边缘清晰,建筑物完整,能以独栋形式存在,有效提高了对复杂建筑物的提取准确度。

Description

一种基于U-Net模型的复杂建筑物分类提取方法
技术领域
本发明涉及一种建筑物分类提取方法,尤其是一种基于U-Net模型的复杂建筑物分类提取方法,属于遥感图像数据信息提取技术领域。
背景技术
目前对建筑物的分类识别和提取主要集中在颜色、纹理等相似的大规模建筑物的提取,而对多种复杂屋顶建筑物类型的识别较少。传统的建筑物提取方法是对建筑物的颜色、形状和纹理进行提取,这些方法在建筑物结构复杂的情况下存在提取精度不高、过分割的现象、且数据易缺失和获取成本高等问题。
近年来,深度学习算法在计算机视觉领域被广泛应用于图像分类、目标检测、图像去噪、语义分割等任务中。不同于传统图像处理方法,深度学习算法可以从影像数据中学习到不同建筑物的特征,从而能够对不同的建筑物进行分类。而采用深度学习方法需获取大量样本数据进行训练,但获取的大部分样本仅来自某一地区和某一时段,这将导致训练出的深度学习分类模型的时空泛化能力较差,如果直接将上述分类模型用于其他地区或时相,分类精度往往难以得到保证。
U-Net模型是一个具有编解码器结构的全卷积神经网络,该模型中的编码器模块用于特征提取,解码器模块用于恢复原始图像分辨率的特征图。U-Net模型在小尺度图像数据集上取得较好的分割效果,由于其编解码器结构,适合于复杂建筑物图像分割提取。U-Net模型使用跳跃连接将编码器模块的浅层特征图与解码器模块的深层特征图结合起来,对复杂区域复杂建筑物和房顶类型多样的建筑进行分类训练,分类提取更深层次的建筑物细节信息。鉴于此,如何进一步提高复杂建筑物分割精度以及独栋建筑物分类情况,已成为目前亟待解决的技术难题。
发明内容
本发明所要解决的技术问题在于提供一种基于U-Net模型的复杂建筑物分类提取方法,该方法能简便快速的对复杂建筑进行识别和提取,且识别精确度高、适用性强,从而克服上述现有技术的不足。
为解决上述技术问题,本发明采用的技术方案是:一种基于U-Net模型的复杂建筑物分类提取方法,该复杂建筑物分类提取方法包括以下步骤:
Step1.获取无人机影像数据;
Step2.构建数据集:使用标注软件标注上述步骤Step1影像中的建筑物,得到影像对应的建筑物标签样本,对影像和标签进行切割,最终获得多种建筑物样本的数据集;
Step3.使用上述步骤Step2所获得的分类建筑物数据集分别对U-Net模型进行训练,获得建筑物分类提取模型;
Step4.增强分类建筑物数据集:通过数据增强处理得到大量的分类建筑物样本,每一样本包括处理后的图像及其对应的建筑物样本标签,获取增强后分类建筑物数据集;
Step5.使用上述Step4所制作的增强后分类建筑物数据集对经上述步骤Step3训练过的U-Net模型进行一一微调训练,获得调整后建筑物提取模型;
Step6.模型测试,将测试影像输入至上述步骤Step5调整后建筑物提取模型中,即可得到关于建筑物的二值图像,进而将该二值图像与影像中的建筑物进行比对以及使用评价指标对预测结果进行分析。
在本发明的一个具体实施例中,上述步骤Step1可包括以下步骤:
1)使用无人机平台搭载可见光传感器,根据实际环境规划无人机飞行的航线,设置合理的航高、航向和旁向重叠度,获取高分辨率的无人机遥感影像;
2)将无人机拍摄的照片利用智能摄影测量软件进行照片的初始化处理、特征点匹配、影像拼接、校正(因无人机抖动产生的变形、扭曲、模糊和噪音等)、图像增强、匀色、裁剪、重建等处理,生成具有红、绿、蓝3个波段的高分辨率正射影像。
本领域技术人员可以理解的是,上述步骤1)中使用的成像设备可以是任何适用的现有无人机设备,例如大疆Mavic 2Pro无人机、大疆精灵4无人机等。
在本发明的一个具体实施例中,上述步骤Step2可包括以下步骤:
1)选用无人机遥感影像作为样本数据,使用软件对影像中的建筑物进行分类人工目视标注;
2)将不同尺度大小的原始影像和标签分割成相同目标大小的样本,标签中255表背景,0代表的建筑物,并将所有样本按比例划分为训练集、验证集和测试集,其中,包括样本有平房-房顶有水(Water on the Roof,BW)、平房-房顶无水(Bungalow-roof withoutWater,BN)、彩钢房(Color Steel House,BS)、砖瓦房(Brick and Tile House,BT)4种类型。
(1)可以理解的是,上述步骤1)中,可以使用任何适用的现有图像标注工具进行人工标注,例如深度学习图像标注工具labelme、labelmg以及ArcMap等软件。
在本发明的一个具体实施例中,上述步骤Step3可包括以下步骤:
1)压缩路径由4个模块组成,每个模块使用3个有效卷积和1个最大池化下采样,每次降采样之后特征图的个数乘2,因此特征图尺寸有所变化,最终获得特征图。
2)扩张路径由4个模块组成,每个模块开始之前通过反卷积将特征图的尺寸乘2,同时将其个数减半,然后和左侧对称的压缩路径的特征图合并,由于左侧压缩路径和右侧扩展路径的特征图的尺寸不一样,U-Net是通过将压缩路径的特征图裁剪到和扩展路径相同尺寸的特征图进行归一化的,扩展路径的卷积操作依旧使用的是有效卷积操作,最终获得与原始影像一样大小的特征图。
(1)设置卷积核大小为3×3、填充为0和步长为1的卷积层;
(2)设置卷积核大小为2×2、步长为2的池化层;
(3)设置2倍的最近邻插值层;
(4)设置卷积核大小为1×1的卷积层;
(5)将上述步骤Step2制作的数据输出送入U-Net模型,对所述数据训练集中的每一张图像进行四次下采样;
(6)将上述步骤Step2获得的所述数据集的训练集输入U-Net模型,对所述数据集的训练集中的每一张图像进行四次上采样,并结合上述步骤(5)获得的下采样图像将对应层中大小相同的输出进行拼接;
(7)对经过上述步骤(6)处理过的上采样图像进行1×1的卷积操作,使用激活函数得到所述数据集训练集中的每一张图像的最终识别图;
(8)使用上述步骤(7)中所获得的所述最终识别图与其所对应图像的真实值之间的差异作为损失,基于该损失进一步更新U-Net模型,实现对U-Net模型的训练。
(9)可以理解的是,上述步骤Step3中,对U-Net模型的训练可经过多次迭代以使U-Net模型达到理想性能,迭代次数越多,U-Net模型所能达到的性能越理想,但这也会导致成本的升高,训练时的学习率和具体迭代次数可以由本领域技术人员根据实际情况进行设置。
a.其中,上述步骤(5)中,四次下采样中的每一次均先经过两次3×3的卷积,其中每次卷积后都使用激活函数进行激活,然后再经过一次2×2的池化操作;
b.上述步骤(6)中,四次上采样均经过两次3×3的卷积,其中卷积后使用激活函数进行激活,每一次均经过2倍的最近邻插值操作。
c.可以理解的是,上述步骤(5)和(6)中使用的激活函数可以是任何适用的现有激活函数,例如ReLU激活函数。
d.可以理解的是,上述步骤(7)中使用的激活函数可以是任何适用的现有激活函数,例如softmax激活函数。
可以理解的是,上述步骤Step4可包括以下步骤:
1)对样本图像进行颜色变换和几何变换等,如按照90°、180°、270°顺时针旋转得到的样本数据,最终获得新的增强分类建筑物数据集。
可以理解的是,上述步骤Step5中将增强后的分类建筑物数据集训练完U-Net模型得到微调建筑物提取模型后,利用预测影像进行预测,微调式训练时的学习率和迭代次数可以由本领域技术人员根据实际情况进行设置。
可以理解的是,上述步骤Step6中,该处理方法使用U-Net模型对案例区3建筑物进行分割提取,其中,上述处理方法在处理复杂建筑物图像时尤其有效。
在本发明的一个具体实施例中,为验证识别结果的精度,通过使用F1-score、OA、IoU和漏检率(Missed Detection Rate,MDR)对识别的结果进行评估判断。评价指标的公式如下:
Figure BDA0003590566780000061
Figure BDA0003590566780000062
Figure BDA0003590566780000063
Figure BDA0003590566780000064
其中,TP表示正确预测结果;FP表示预测结果为建筑物,实际非建筑物;FN表示预测非建筑物、实际为建筑物;TN表示预测结果为非建筑物。
本发明的有益效果:与现有技术相比,本发明具有以下特点:
(1)该方法基于不同场景的分类建筑物数据集,包括空间分布密度不均、不规则和分布散乱、风格多样、房顶类型多样的建筑物样本,使用分类的建筑物样本对U-Net模型进行训练,经过分类训练的U-Net模型能够对建筑物进行准确分割,分割后的轮廓边缘清晰,建筑物得以独栋提取,有效提高对复杂建筑物的分割准确性。
(2)本发明对建筑物进行分类标注,使用U-Net模型对其进行分类训练,分类提取建筑物的方法,对训练的样本有限时,对样本进行增强操作,从而达到有效识别出目标建筑物。
(3)本发明结合无人机成本低、获取影像空间分辨率高的特点,弥补了获取卫星影像困难的问题,解决了获取大量高质量样本的难题,使得复杂建筑物提取更准确。
(4)本发明充分发挥U-Net模型所需样本量少、能更深层的学习图像特征的特点,通过卷积与反卷积、特征融合,避免了信息损失的困难,大大提高了影像的识别率。
(5)本发明针对建筑物复杂、种类繁多和分布密度不均等问题,对建筑物进行分类标注,使用U-Net模型分别进行训练,有效提高了复杂区域复杂建筑的提取效果。
附图说明
图1是本发明提供的训练方法的流程示意图;
图2是本发明的不同案例区不同建筑物类型;
图3是本发明的四类建筑物分割的样本影像和对应标注的样本图,图中:BS为彩钢房,BT为砖瓦房,BW为平房-房顶有水,BN为平房-房顶无水;
图4是本发明的U-Net模型图;
图5是本发明的不同建筑物类型、不同场景的影像、样本和预测结果图;图中:黑色图斑为提取的不同类型的建筑物,白色为提出的背景值。
下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制。
实施例:一种基于U-Net模型的复杂建筑物分类提取方法,包括以下步骤:
Step1.获取无人机影像数据;
Step2.制作数据集。使用标注软件标注上述步骤Step1影像中的建筑物,得到影像对应的建筑物标签样本,对影像和标签进行切割,最终形成数据集;
Step3.使用上述步骤Step2所获得的数据集对U-Net模型进行训练,建筑物提取模型;
Step4.增强数据集。通过数据增强处理得到大量样本,每一样本包括处理后的图像及其对应的建筑物样本标签,获取增强数据集;
Step5.使用上述Step4所制作的增强数据集对经上述步骤Step3训练过的U-Net模型进行微调训练,获得调整后建筑物提取模型;
Step6.模型测试。将测试影像输入至上述步骤Step5调整后建筑物提取模型中,即可得到关于建筑物的二值图像,进而将该二值图像与影像中的建筑物进行比对以及使用评价指标对预测结果进行分析。
在本实施例中,上述步骤Step1包括步骤:1)使用多旋翼可见光无人机飞行器作为无人机平台,搭载24mm低畸变广角相机、高精度防抖云台以及1英寸CMOS图像传感器。根据案例区3实际环境规划无人机飞行的航线,设置航向和旁向重叠度分别为80%和80%,获取高分辨率的无人机航片;2)将无人机拍摄的照片利用智能摄影测量软件进行照片的初始化处理、特征点匹配、影像拼接、校正(因无人机抖动产生的变形、扭曲、模糊和噪音等)、图像增强、匀色、裁剪、重建等处理,生成具有红、绿、蓝3个波段的数字正射影像图。
这里,步骤Step1中获取的影像为乡村聚落的无人机建筑物影像。图2为不同案例区不同建筑物的分布图。
在本实施例中,上述步骤Step2包括步骤:1)选用无人机遥感影像作为样本数据,使用软件对影像中的建筑物进行人工目视标注;2)将不同尺度大小的原始影像和标签分割成512piexl×512piexl相同目标大小的样本,标签中255表背景,0代表的建筑物。其中,将建筑进行了分类标注,包括彩钢房(BS),砖瓦房(BT),平房-房顶有水(BW)和平房-房顶无水(BN)四类建筑物,并标注出这四类的标注样本,并将四类建筑物的所有样本按比例划分为训练集、验证集和测试集。图3为四类建筑物分割的样本影像和对应标注的样本图。
在本实施例中,上述步骤Step3包括步骤:1)压缩路径由4个模块组成,每个模块使用3个有效卷积和1个最大池化下采样,每次降采样之后特征图的个数乘2,因此特征图尺寸有所变化,最终获得特征图;2)扩张路径由4个模块组成,每个模块开始之前通过反卷积将特征图的尺寸乘2,同时将其个数减半,然后和左侧对称的压缩路径的特征图合并,由于左侧压缩路径和右侧扩展路径的特征图的尺寸不一样,U-Net是通过将压缩路径的特征图裁剪到和扩展路径相同尺寸的特征图进行归一化的,扩展路径的卷积操作依旧使用的是有效卷积操作,最终得到与原图相同大小的结果图。
(1)设置卷积核大小为3×3、填充为0和步长为1的卷积层;
(2)设置卷积核大小为2×2、步长为2的池化层;
(3)设置2倍的最近邻插值层;
(4)设置卷积核大小为1×1的卷积层;
(5)将上述步骤Step2制作的数据输出送入U-Net模型,对所述数据训练集中的每一张图像进行四次下采样;
(6)将上述步骤Step2获得的所述数据集的训练集输入U-Net模型,对所述数据集的训练集中的每一张图像进行四次上采样,并结合上述步骤5)获得的下采样图像将对应层中大小相同的输出进行拼接;
(7)对经过上述步骤6)处理过的上采样图像进行1×1的卷积操作,使用softm ax激活函数得到所述数据集训练集中的每一张图像的最终识别图;
(8)使用上述步骤7)中所获得的所述最终识别图与其所对应图像的真实值之间的差异作为损失,基于该损失进一步更新U-Net模型,实现对U-Net模型的训练。
(9)上述步骤Step3中,为以使U-Net模型达到理想性能,对U-Net模型的进行训练时,将训练时的学习率设定为0.0001,迭代次数为50,根据实践经验,20代后损失值基本稳定。
a.其中,上述步骤5)中,四次下采样中的每一次均先经过两次3×3的卷积,其中每次卷积后都使用激活函数进行激活,然后再经过一次2×2的池化操作;
b.上述步骤6)中,四次上采样均经过两次3×3的卷积,其中卷积后使用激活函数进行激活,每一次均经过2倍的最近邻插值操作。
在本实施例中,上述步骤Step4包括步骤:1)对四类建筑物样本图像进行几何变换,包括按照90°、180°、270°顺时针旋转得到的样本数据、归一化处理以得到新的样本数据,最终获得新的增强数据集。
在本实施例中,上述步骤Step5包括步骤:将增强数据训练完U-Net模型得到微调建筑物提取模型后,利用预测影像进行预测,微调式训练时的学习率和迭代次数分别为0.00001和50,U-Net模型进行微调式训练。其中,图4展示了U-Net模型图。
在本实施例中,上述步骤Step6中,该处理方法使用U-Net模型对案例区3建筑物进行分割提取,其中,上述处理方法在处理案例区3乡村聚落建筑物图像时尤其有效。
在本发明的一个具体实施例中,为验证识别结果的精度,通过使用F1-score、OA、IoU和漏检率(Missed Detection Rate,MDR)对识别结果的进行评估判断。评价指标的公式如下:
Figure BDA0003590566780000111
Figure BDA0003590566780000112
Figure BDA0003590566780000113
Figure BDA0003590566780000114
其中,TP表示正确预测结果;FP表示预测结果为建筑物,实际非建筑物;FN表示预测非建筑物、实际为建筑物;TN表示预测结果为非建筑物。
表1不同建筑物提取结果精度分析
Figure BDA0003590566780000115
从表1可知:(1)同一建筑物,不同场景的识别结果分析。无论F1-score、MDR、OA以及IoU,案例区2BS的识别结果均达到最高,F1-score高达95.45%,较案例区1、案例区3和案例区4分别提高11.32%,5.78%和3.39%;MDR低至2.29%,较案例区1、案例区3和案例区4分别降低20.74%,13.47%和13.87%;OA为99.99%,较案例区1、案例区3和案例区4提高0.31%,0.06%和1.59%;IoU为99.55%,较案例区1、案例区3和案例区4分别提高13.43%,15.21%和8.50%。分析发现,在4个验证区中,案例区2验证区的建筑物最少,分布较分散,其验证区建筑物与样本建筑差异较少,进而得到最好的识别结果;案例区1的验证区虽与制作样本的是同一幅影像,但验证区内建筑物分布密集、建筑物类型复杂,致使识别结果相对较差。
(2)同一地貌类型场景中,不同建筑物的识别结果分析。对于案例区1验证区的BS、BT、BW和BN的识别结果分析发现,其中,平BW的F1-score、IoU都是最高,分别为85.76%和87.16%,MDR最低,为17.92%;而识别结果最差是BN,F1-score、OA、IoU和MDR分别为70.37%、97.35%、65.17%和30.12%。这说明不是建筑物反射率越高,识别精度就越高。
(3)不同建筑物不同场景的识别结果分析。对于案例区1、案例区2、案例区3、案例区4而言,最高最低F1-score出现在不同场景不同建筑类型,案例区2BS的F1-score最高为95.45%,案例区1BN的F1-score最低为70.37%;整体识别精度F1-score分别在70.37%~85.76%、82.13%~95.45%、82.99%~94.99%、75.41%~91.06%之间,案例区4差距最大,且为15.65%,案例区3差距最小为12.00%。从MDR分析,整体来看,案例区1和案例区4的MDR整体较高,说明漏提情况较多,而案例区2和案例区3漏提相对较少;从建筑物分类来看,MD R最低是案例区2BT的识别精度为2.29%,最高是案例区1的BW为30.12%。从整体精度分析,整体识别精度都较高,最高精度高达99.99%,最低精度为97.35%。从IoU分析,在不同建筑物类型中,BS和BT的IoU计算结果最低达到84.34%,说明U-Net模型能够良好的应用于BS和BT的提取,而对于案例区1的BN和案例区4的BW的计算精度较低,分别为65.17%和67.91%,受地貌影响较大。
对4种场景识别结果分析可知(图5),U-Net模型能够识别大多数建筑物,但微小建筑物识别有遗漏。案例区2和案例区3的识别结果较好,除部分建筑物被高大树木覆盖,致使识别结果和实际建筑物边界不一致外,大多建筑物提取较为完整,与实际边界吻合度较高;案例区4建筑物提取结果相对较好,大多以独栋形式存在,建筑物提取较为完整,但边界吻合度没有前者高,边界有较大的齿轮存在,主要受影像的影响,影像空间分辨率虽高,但因数据采集的问题导致建筑物边界存在一个不平滑的白边;案例区1的识别结果最差,建筑物大部分被提取出来,但是少部分提取的不完整,有的建筑物仅被提取出一半,因建筑物分布密集、房屋类型特征过于复杂,U-Net模型不能很好学习建筑物中的特征信息,致使最终识别结果较差。
对4类建筑物识别结果分析(图5),BN识别结果的斑点严重,孔洞较多,完整建筑物比其他3类建筑物要少,且识别结果边界与实物吻合度不高,错提情况较多;BT的识别结果与BN相比,斑点孔洞较少,但是还是存在识别结果与实际建筑物边界不吻合的现象;BS和BW的识别结果最好,斑点孔洞很少出现,识别结果边界与实际建筑物吻合度较高,很少出现错题现象。
上述对实施例的描述仅为便于技术人员理解和应用本发明。熟悉本领域技术的人员可以对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,研究人员根据本发明的提示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种基于U-Net模型的复杂建筑物分类提取方法,其特征在于,包括以下步骤:
Step1.获取无人机影像数据;
Step2.制作数据集:使用标注软件分类标注上述步骤Step1影像中的建筑物,得到影像对应的建筑物标签样本,对影像和标签进行切割,获得多种建筑物样本数据集;
Step3.使用上述步骤Step2所获得的数据集对U-Net模型进行训练,获得建筑物分类提取模型;
Step4.增强数据集:通过数据增强处理得到大量分类建筑物样本,每一样本包括处理后的图像及其对应的建筑物样本标签,获取增强后分类建筑物数据集;
Step5.使用上述Step4所制作的增强后分类建筑物数据集对经上述步骤Step3训练过的U-Net模型进行微调训练,获得调整后建筑物提取模型;
Step6.模型测试:将测试影像输入至上述步骤Step5调整后建筑物提取模型中,即可得到关于建筑物的二值图像,进而将该二值图像与影像中的建筑物进行比对以及使用评价指标对预测结果进行分析。
2.根据权利要求书1所述的基于U-Net模型的复杂建筑物分类提取方法,其特征在于,所述步骤Step1包括以下步骤:
1)使用无人机平台搭载可见光传感器,获取无人机遥感影像;
2)数据预测处理:将获取的无人机航拍影像导入智能摄影测量软件进行影像预处理,包括初始化处理、特征点匹配、影像拼接、校正、图像增强、匀色、裁剪、重建处理和影像拼接,获取具有红、绿、蓝3个波段的数字正射影像。
3.根据权利要求书1所述的基于U-Net模型的复杂建筑物分类提取方法,其特征在于,所述步骤Step2中对建筑物进行分类标注,选用无人机遥感影像作为样本数据,使用标注软件对影像中的建筑物进行人工目视分类标注,将不同尺度大小的原始影像和标签分割成相同目标大小的样本,标签中255表背景,0代表的建筑物,并将所有样本按比例划分为训练集、验证集和测试集,最终完成数据集的制作。
4.根据权利要求书1所述的基于U-Net模型的复杂建筑物分类提取方法,其特征在于,所述步骤Step3模型训练包括压缩路径和扩展路径两部分,压缩路径由4个模块组成,每个模块使用3个有效卷积和1个最大池化下采样,每次降采样之后特征图的个数乘2,因此特征图尺寸有所变化,最终获取特征图变小;扩张路径由4个模块组成,每个模块开始之前通过反卷积将特征图的尺寸乘2,同时将其个数减半,然后和左侧对称的压缩路径的特征图合并,由于左侧压缩路径和右侧扩展路径的特征图的尺寸不一样,U-Net是通过将压缩路径的特征图裁剪到和扩展路径相同尺寸的特征图进行归一化的,扩展路径的卷积操作依旧使用的是有效卷积操作,最终得到与输入影像一样大小的建筑物分类结果,由于该任务是一个二分类任务,所以网络有两个输出特征图,包括以下步骤:
1)设置卷积核大小为3×3、填充为0和步长为1的卷积层;
2)设置卷积核大小为2×2、步长为2的池化层;
3)设置2倍的最近邻插值层;
4)设置卷积核大小为1×1的卷积层;
5)将上述步骤Step2制作的数据输出送入U-Net模型,对所述数据训练集中的每一张图像进行四次下采样;
6)将上述步骤Step2获得的所述数据集的训练集输入U-Net模型,对所述数据集的训练集中的每一张图像进行四次上采样,并结合上述步骤5)获得的下采样图像将对应层中大小相同的输出进行拼接;
7)对经过上述步骤6)处理过的上采样图像进行1×1的卷积操作,使用激活函数得到所述数据集训练集中的每一张图像的最终识别图;
8)使用上述步骤7)中所获得的所述最终识别图与其所对应图像的真实值之间的差异作为损失,基于该损失进一步更新U-Net模型,实现对U-Net模型的训练。
5.根据权利要求书4所述的基于U-Net模型的复杂建筑物分类提取方法,其特征在于,所述步骤5)中,四次下采样中的每一次均先经过两次3×3的卷积,其中每次卷积后都使用激活函数进行激活,然后再经过一次2×2的池化操作;上述步骤6)中,四次上采样均经过两次3×3的卷积,其中卷积后使用激活函数进行激活,每一次均经过2倍的最近邻插值操作。
6.根据权利要求书1所述的基于U-Net模型的复杂建筑物分类提取方法,其特征在于,所述步骤Step4中对样本进行数据增强处理,是对样本图像进行包括旋转在内的几何变换、颜色变换和归一化处理得到新的图像,从而增加训练用的样本数量,获取增强数据集。
7.根据权利要求书1所述的基于U-Net模型的复杂建筑物分类提取方法,其特征在于,所述步骤Step5中将增强数据训练完U-Net模型得到微调建筑物提取模型后,利用预测影像进行预测。
8.根据权利要求书1所述的基于U-Net模型的复杂建筑物分类提取方法,其特征在于,所述步骤Step6中,使用F1-score、OA、IoU和漏检率对识别的结果进行评估判断,评价指标的公式如下:
Figure FDA0003590566770000041
Figure FDA0003590566770000042
Figure FDA0003590566770000043
Figure FDA0003590566770000044
其中,TP表示正确预测结果;FP表示预测结果为建筑物,实际非建筑物;FN表示预测非建筑物、实际为建筑物;TN表示预测结果为非建筑物。
CN202210376367.8A 2022-04-11 2022-04-11 一种基于U-Net模型的复杂建筑物分类提取方法 Pending CN115017968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210376367.8A CN115017968A (zh) 2022-04-11 2022-04-11 一种基于U-Net模型的复杂建筑物分类提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210376367.8A CN115017968A (zh) 2022-04-11 2022-04-11 一种基于U-Net模型的复杂建筑物分类提取方法

Publications (1)

Publication Number Publication Date
CN115017968A true CN115017968A (zh) 2022-09-06

Family

ID=83067440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210376367.8A Pending CN115017968A (zh) 2022-04-11 2022-04-11 一种基于U-Net模型的复杂建筑物分类提取方法

Country Status (1)

Country Link
CN (1) CN115017968A (zh)

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
CN111415363B (zh) 一种图像边缘识别方法
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN107818303B (zh) 无人机油气管线影像自动对比分析方法、系统及软件存储器
CN107862698A (zh) 基于k均值聚类的光场前景分割方法及装置
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN114549956A (zh) 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法
CN114241372A (zh) 一种应用于扇扫拼接的目标识别方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN115690513A (zh) 一种基于深度学习的城市行道树种类识别方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN108022245A (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN113033386A (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN114943823B (zh) 基于深度学习语义感知的无人机图像拼接方法及系统
CN116189136A (zh) 一种基于深度学习的雨雪天气下交通信号灯检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination