CN111325076B - 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 - Google Patents

一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 Download PDF

Info

Publication number
CN111325076B
CN111325076B CN201811543246.8A CN201811543246A CN111325076B CN 111325076 B CN111325076 B CN 111325076B CN 201811543246 A CN201811543246 A CN 201811543246A CN 111325076 B CN111325076 B CN 111325076B
Authority
CN
China
Prior art keywords
net
training
seg
result
ground building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811543246.8A
Other languages
English (en)
Other versions
CN111325076A (zh
Inventor
孟祥杰
乐国庆
苏帅
刘振
许静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huahang Radio Measurement Research Institute
Original Assignee
Beijing Huahang Radio Measurement Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huahang Radio Measurement Research Institute filed Critical Beijing Huahang Radio Measurement Research Institute
Priority to CN201811543246.8A priority Critical patent/CN111325076B/zh
Publication of CN111325076A publication Critical patent/CN111325076A/zh
Application granted granted Critical
Publication of CN111325076B publication Critical patent/CN111325076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于U‑net与Seg‑net网络融合的航空地面建筑物提取方法，包括以下步骤：步骤S1、训练样本制作；步骤S2、深度学习模型训练；步骤S3、测试训练模型；步骤S4、输出结果，获取地面建筑物在原图中的位置。本发明应用于无人机光电吊舱对地的光电侦查，转化为图像语义分割任务，有效提取地面建筑物进行分析，提高识别效果。

Description

一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法
技术领域
本发明涉及计算机视觉领域的予以分割问题，主要应用于无人机光电吊舱对地的光电侦查，并对重点区域的目标建筑物提取与分析。
背景技术
在航空飞行器对地面侦察和作战过程中，快速准确地获得地物类型信息，尤其是地面建筑物信息，对于目标识别和精确打击具有重要的意义。
随着机载设备性能提升，航空图像对地面建筑物区域成像分辨率越来高，其成像呈现如下特点：(1)地面建筑物的几何结构更加清晰；(2)地面建筑物的位置布局更加明显；(3)地面建筑内部的纹理特征信息更加清晰。
在传统的方法中，主要通过阈值分割、纹理信息、轮廓匹配等信息，实现对地面建筑物目标的分割和提取。但这些方法识别效果不好。
发明内容
针对上述的问题，本发明提供一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法，应用于无人机光电吊舱对地的光电侦查，转化为图像语义分割任务，有效提取地面建筑物进行分析，提高识别效果。
本发明包括以下步骤：
步骤S1、训练样本制作:
选择现有的图像数据库，进行裁剪及处理，获得训练样本；
步骤S2、深度学习模型训练:
选取U-net和Seg-net网络的框架，使用训练样本，分别进行模型训练，最后获得两个训练模型；
步骤S3、测试训练模型:
步骤S301、首先对原图像进行切割，然后通过步骤S2得到的模型对每一张图像进行前向预测分割，获得两张MASK结果图像；
步骤S302、对两张结果图的每个像素点采取投票表决其类别，票数最多的类别即为该像素点的类别；
步骤S4、输出结果:
输出二值化的标记分割结果，并可以通过标记位置获取地面建筑物在原图中的位置。
进一步，所述步骤S1的训练样本中含有标注信息。
进一步，所述步骤S1的训练样本做裁剪、旋转、镜像、光照调整、增加噪声操作。
进一步，所述步骤S3还利用形态学处理孤立像素点的分类或修复断裂边缘。
进一步，所述步骤S3中对原图像的切割采用有重叠的裁剪方式。
进一步，步骤S302中投票为，两张结果图中相同位置像素点的类别以U-net预测的类别为优先级进行最终类别的决策。
本发明有益效果如下：
本发明将深度学习的语义分割技术应用于航空飞行器对航空图像地面建筑物提取上。根据航空光电图像数据集及自有数据集，构建训练集和测试集。利用训练集在端到端的U-net与Seg-net融合网络架构进行训练，得到模型，对测试集进行测试，然后将测试结果进行融合，提取地面建筑物。U-net与Seg-net融合网络架构可以提取图像中的高级语义特征，进而提高识别效果，可以明显提升武器的侦察智能水平和精确打击能力。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1训练数据集中的原图与标记图像。
图2 U-net网络结构图。
图3 Seg-net网络结构图。
图4测试原图像。
图5 Seg-net与U-net测试分割结果。
图6最终输出结果。
图7本发明的流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。
本发明的一个具体实施例，包括以下步骤：
步骤S1、训练样本制作。
选择现有的图像数据库，数据库包括原始图像及label(标记)图像，进行裁剪及各种处理操作，获得训练样本。如图1所示。
本实施例选择了INRIA aerial image dataset:Inria(法国国家信息与自动化研究所)，建立的城市建筑物检测的数据库，为不同的城市遥感图像。覆盖810km2，其中405km2为训练图像，405km2为测试图像，训练图像和测试图像各包含样本数200张，每张图像的像素数最大为5000*5000，像素分辨率为0.3米，真实标记数据按照建筑物和非建筑物分为两类，训练样本中含有真实标注信息。
对于数据集中标注好的图像，由于图像分辨率过大，计算机内存承受不了而且其尺寸也各不相同，首先将所有原图做随机切割，获得256*256的小图。做裁剪、旋转、镜像、光照调整、增加噪声等操作来增加可用来训练以及模拟多种情况的训练样本。
步骤S2、深度学习模型训练。本实施例选取了可以提取图像中的高级语义特征的U-net和Seg-net网络的框架，使用训练样本，再调整两个网络的相应参数后分别进行模型训练，最后获得两个训练模型。
步骤S3、测试训练模型
步骤S301、首先对原图像进行切割，切割成可以处理的256*256小图，然后通过U-net与Seg-net的模型对每一张图像进行前向预测分割，最终获得两张MASK(掩模)结果图像；如图5所示；
步骤S302、采取模型融合的思路，对两张结果图的每个像素点采取投票表决其类别，也即两张结果图中相同位置像素点的类别以U-net预测的类别为优先级进行最终类别的决策，票数最多的类别即为该像素点的类别。如下表所示。
U-net Seg-net 结果
建筑物 建筑物 建筑物
建筑物 非建筑物 建筑物
非建筑物 建筑物 非建筑物
非建筑物 非建筑物 非建筑物
通过这种方式，可以很好地去掉一些明显分类错误的像素点，很大程度上改善模型的预测能力。
同时由于投票后会存在某些孤立像素点的分类问题，使用形态学处理来减少该问题带来的影响，也即对投票后的结果图进行小区域的腐蚀和膨胀。
考虑到大图在裁剪后分割的边缘部分存在的拼接痕迹问题，使用形态学处理的方式修复断裂边缘的连接。或者采用有重叠的裁剪方式。
步骤S4、输出结果。输出二值化的标记分割结果，并可以通过标记位置获取地面建筑物在原图中的位置。
综上所述，本发明提供的用于遥感图像的地面目标分割技术，适用于无人机光电吊舱对地光电侦查的地面建筑物提取分析。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法，包括以下步骤：
步骤S1、训练样本制作：
选择现有的图像数据库，进行裁剪及处理，获得训练样本；
步骤S2、深度学习模型训练：选取U-net和Seg-net网络的框架，使用训练样本，分别进行模型训练，最后获得两个训练模型；
步骤S3、测试训练模型：
步骤S301、首先对原图像进行切割，然后通过步骤S2得到的模型对每一张图像进行前向预测分割，获得两张MASK结果图像；
步骤S302、对两张结果图像的每个像素点采取投票表决其类别，票数最多的类别即为该像素点的类别；
步骤S4、输出结果：
输出二值化的标记分割结果，通过标记位置获取地面建筑物在原图中的位置。
2.如权利要求1所述的方法，其特征在于，所述步骤S1的训练样本中含有标注信息。
3.如权利要求1所述的方法，其特征在于，所述步骤S1的训练样本做裁剪、旋转、镜像、光照调整、增加噪声操作。
4.如权利要求1所述的方法，其特征在于，所述步骤S3还利用形态学处理孤立像素点的分类或修复断裂边缘。
5.如权利要求1所述的方法，其特征在于，所述步骤S3中对原图像的切割采用有重叠的裁剪方式。
6.如权利要求1所述的方法，其特征在于，所述步骤S302中投票为，两张结果图中相同位置像素点的类别以U-net预测的类别为优先级进行最终类别的决策。
CN201811543246.8A 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 Active CN111325076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811543246.8A CN111325076B (zh) 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811543246.8A CN111325076B (zh) 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Publications (2)

Publication Number Publication Date
CN111325076A CN111325076A (zh) 2020-06-23
CN111325076B true CN111325076B (zh) 2023-05-16

Family

ID=71172354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811543246.8A Active CN111325076B (zh) 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Country Status (1)

Country Link
CN (1) CN111325076B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347927B (zh) * 2020-11-06 2022-12-13 天津市勘察设计院集团有限公司 基于卷积神经网络概率决策融合的高分影像建筑提取方法
CN113487638A (zh) * 2021-07-06 2021-10-08 南通创越时空数据科技有限公司 高精度语义分割算法U2-net的地物边缘检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825178A (zh) * 2016-03-14 2016-08-03 民政部国家减灾中心 基于遥感图像的功能区划分方法以及设备
CN106056968A (zh) * 2016-07-29 2016-10-26 北京华航无线电测量研究所 一种基于光学图像的车位检测方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031188A1 (en) * 2003-08-10 2005-02-10 Luu Victor Van Systems and methods for characterizing a sample

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825178A (zh) * 2016-03-14 2016-08-03 民政部国家减灾中心 基于遥感图像的功能区划分方法以及设备
CN106056968A (zh) * 2016-07-29 2016-10-26 北京华航无线电测量研究所 一种基于光学图像的车位检测方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裔阳，等.一种顾及形状特征的遥感图像道路提取方法.《地理空间信息》.2017,第15卷(第4期),47-50. *

Also Published As

Publication number Publication date
CN111325076A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN109271856B (zh) 基于扩张残差卷积的光学遥感图像目标检测方法
CN108427912B (zh) 基于稠密目标特征学习的光学遥感图像目标检测方法
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN108460341B (zh) 基于集成深度卷积网络的光学遥感图像目标检测方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
Liu et al. Automated vehicle extraction and speed determination from QuickBird satellite images
CN110751099B (zh) 一种基于深度学习的无人机航拍视频轨迹高精度提取方法
CN110807422A (zh) 一种基于深度学习的自然场景文本检测方法
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN110610483B (zh) 裂纹图像获取、检测方法、计算机设备及可读存储介质
CN112446852B (zh) 一种隧道成像平面展示方法及缺陷智能识别系统
CN111325076B (zh) 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法
US20220327684A1 (en) Method and device for detecting mechanical equipment parts
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN111612747A (zh) 产品表面裂缝快速检测方法及检测系统
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN105469099B (zh) 基于稀疏表示分类的路面裂缝检测和识别方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN117173550A (zh) 合成孔径声纳图像水下小目标检测方法及系统
CN116778357A (zh) 利用可见光缺陷识别的电力线路无人机巡检方法和系统
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant