CN111325076A - 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 - Google Patents

一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 Download PDF

Info

Publication number
CN111325076A
CN111325076A CN201811543246.8A CN201811543246A CN111325076A CN 111325076 A CN111325076 A CN 111325076A CN 201811543246 A CN201811543246 A CN 201811543246A CN 111325076 A CN111325076 A CN 111325076A
Authority
CN
China
Prior art keywords
net
training
category
seg
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811543246.8A
Other languages
English (en)
Other versions
CN111325076B (zh
Inventor
孟祥杰
乐国庆
苏帅
刘振
许静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huahang Radio Measurement Research Institute
Original Assignee
Beijing Huahang Radio Measurement Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huahang Radio Measurement Research Institute filed Critical Beijing Huahang Radio Measurement Research Institute
Priority to CN201811543246.8A priority Critical patent/CN111325076B/zh
Publication of CN111325076A publication Critical patent/CN111325076A/zh
Application granted granted Critical
Publication of CN111325076B publication Critical patent/CN111325076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于U‑net与Seg‑net网络融合的航空地面建筑物提取方法，包括以下步骤：步骤S1、训练样本制作；步骤S2、深度学习模型训练；步骤S3、测试训练模型；步骤S4、输出结果，获取地面建筑物在原图中的位置。本发明应用于无人机光电吊舱对地的光电侦查，转化为图像语义分割任务，有效提取地面建筑物进行分析，提高识别效果。

Description

一种基于U-net与Seg-net网络融合的航空地面建筑物提取 方法
技术领域
本发明涉及计算机视觉领域的予以分割问题，主要应用于无人机光电吊舱对地的光电侦查，并对重点区域的目标建筑物提取与分析。
背景技术
在航空飞行器对地面侦察和作战过程中，快速准确地获得地物类型信息，尤其是地面建筑物信息，对于目标识别和精确打击具有重要的意义。
随着机载设备性能提升，航空图像对地面建筑物区域成像分辨率越来高，其成像呈现如下特点：(1)地面建筑物的几何结构更加清晰；(2)地面建筑物的位置布局更加明显；(3)地面建筑内部的纹理特征信息更加清晰。
在传统的方法中，主要通过阈值分割、纹理信息、轮廓匹配等信息，实现对地面建筑物目标的分割和提取。但这些方法识别效果不好。
发明内容
针对上述的问题，本发明提供一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法，应用于无人机光电吊舱对地的光电侦查，转化为图像语义分割任务，有效提取地面建筑物进行分析，提高识别效果。
本发明包括以下步骤：
步骤S1、训练样本制作:
选择现有的图像数据库，进行裁剪及处理，获得训练样本；
步骤S2、深度学习模型训练:
选取U-net和Seg-net网络的框架，使用训练样本，分别进行模型训练，最后获得两个训练模型；
步骤S3、测试训练模型:
步骤S301、首先对原图像进行切割，然后通过步骤S2得到的模型对每一张图像进行前向预测分割，获得两张MASK结果图像；
步骤S302、对两张结果图的每个像素点采取投票表决其类别，票数最多的类别即为该像素点的类别；
步骤S4、输出结果:
输出二值化的标记分割结果，并可以通过标记位置获取地面建筑物在原图中的位置。
进一步，所述步骤S1的训练样本中含有标注信息。
进一步，所述步骤S1的训练样本做裁剪、旋转、镜像、光照调整、增加噪声操作。
进一步，所述步骤S3还利用形态学处理孤立像素点的分类或修复断裂边缘。
进一步，所述步骤S3中对原图像的切割采用有重叠的裁剪方式。
进一步，步骤S302中投票为，两张结果图中相同位置像素点的类别以U-net预测的类别为优先级进行最终类别的决策。
本发明有益效果如下：
本发明将深度学习的语义分割技术应用于航空飞行器对航空图像地面建筑物提取上。根据航空光电图像数据集及自有数据集，构建训练集和测试集。利用训练集在端到端的U-net与Seg-net融合网络架构进行训练，得到模型，对测试集进行测试，然后将测试结果进行融合，提取地面建筑物。U-net与Seg-net融合网络架构可以提取图像中的高级语义特征，进而提高识别效果，可以明显提升武器的侦察智能水平和精确打击能力。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1训练数据集中的原图与标记图像。
图2 U-net网络结构图。
图3 Seg-net网络结构图。
图4测试原图像。
图5 Seg-net与U-net测试分割结果。
图6最终输出结果。
图7本发明的流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。
本发明的一个具体实施例，包括以下步骤：
步骤S1、训练样本制作。
选择现有的图像数据库，数据库包括原始图像及label(标记)图像，进行裁剪及各种处理操作，获得训练样本。如图1所示。
本实施例选择了INRIA aerial image dataset:Inria(法国国家信息与自动化研究所)，建立的城市建筑物检测的数据库，为不同的城市遥感图像。覆盖810km2，其中405km2为训练图像，405km2为测试图像，训练图像和测试图像各包含样本数200张，每张图像的像素数最大为5000*5000，像素分辨率为0.3米，真实标记数据按照建筑物和非建筑物分为两类，训练样本中含有真实标注信息。
对于数据集中标注好的图像，由于图像分辨率过大，计算机内存承受不了而且其尺寸也各不相同，首先将所有原图做随机切割，获得256*256的小图。做裁剪、旋转、镜像、光照调整、增加噪声等操作来增加可用来训练以及模拟多种情况的训练样本。
步骤S2、深度学习模型训练。本实施例选取了可以提取图像中的高级语义特征的U-net和Seg-net网络的框架，使用训练样本，再调整两个网络的相应参数后分别进行模型训练，最后获得两个训练模型。
步骤S3、测试训练模型
步骤S301、首先对原图像进行切割，切割成可以处理的256*256小图，然后通过U-net与Seg-net的模型对每一张图像进行前向预测分割，最终获得两张MASK(掩模)结果图像；如图5所示；
步骤S302、采取模型融合的思路，对两张结果图的每个像素点采取投票表决其类别，也即两张结果图中相同位置像素点的类别以U-net预测的类别为优先级进行最终类别的决策，票数最多的类别即为该像素点的类别。如下表所示。
U-net Seg-net 结果
建筑物 建筑物 建筑物
建筑物 非建筑物 建筑物
非建筑物 建筑物 非建筑物
非建筑物 非建筑物 非建筑物
通过这种方式，可以很好地去掉一些明显分类错误的像素点，很大程度上改善模型的预测能力。
同时由于投票后会存在某些孤立像素点的分类问题，使用形态学处理来减少该问题带来的影响，也即对投票后的结果图进行小区域的腐蚀和膨胀。
考虑到大图在裁剪后分割的边缘部分存在的拼接痕迹问题，使用形态学处理的方式修复断裂边缘的连接。或者采用有重叠的裁剪方式。
步骤S4、输出结果。输出二值化的标记分割结果，并可以通过标记位置获取地面建筑物在原图中的位置。
综上所述，本发明提供的用于遥感图像的地面目标分割技术，适用于无人机光电吊舱对地光电侦查的地面建筑物提取分析。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法，包括以下步骤：
步骤S1、训练样本制作：
选择现有的图像数据库，进行裁剪及处理，获得训练样本；
步骤S2、深度学习模型训练：选取U-net和Seg-net网络的框架，使用训练样本，分别进行模型训练，最后获得两个训练模型；
步骤S3、测试训练模型：
步骤S301、首先对原图像进行切割，然后通过步骤S2得到的模型对每一张图像进行前向预测分割，获得两张MASK结果图像；
步骤S302、对两张结果图像的每个像素点采取投票表决其类别，票数最多的类别即为该像素点的类别；
步骤S4、输出结果：
输出二值化的标记分割结果，通过标记位置获取地面建筑物在原图中的位置。
2.如权利要求1所述的方法，其特征在于，所述步骤S1的训练样本中含有标注信息。
3.如权利要求1所述的方法，其特征在于，所述步骤S1的训练样本做裁剪、旋转、镜像、光照调整、增加噪声操作。
4.如权利要求1所述的方法，其特征在于，所述步骤S3还利用形态学处理孤立像素点的分类或修复断裂边缘。
5.如权利要求1所述的方法，其特征在于，所述步骤S3中对原图像的切割采用有重叠的裁剪方式。
6.如权利要求1所述的方法，其特征在于，所述步骤S302中投票为，两张结果图中相同位置像素点的类别以U-net预测的类别为优先级进行最终类别的决策。
CN201811543246.8A 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法 Active CN111325076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811543246.8A CN111325076B (zh) 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811543246.8A CN111325076B (zh) 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Publications (2)

Publication Number Publication Date
CN111325076A true CN111325076A (zh) 2020-06-23
CN111325076B CN111325076B (zh) 2023-05-16

Family

ID=71172354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811543246.8A Active CN111325076B (zh) 2018-12-17 2018-12-17 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法

Country Status (1)

Country Link
CN (1) CN111325076B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347927A (zh) * 2020-11-06 2021-02-09 天津市勘察设计院集团有限公司 基于卷积神经网络概率决策融合的高分影像建筑提取方法
CN113487638A (zh) * 2021-07-06 2021-10-08 南通创越时空数据科技有限公司 高精度语义分割算法U2-net的地物边缘检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031188A1 (en) * 2003-08-10 2005-02-10 Luu Victor Van Systems and methods for characterizing a sample
CN105825178A (zh) * 2016-03-14 2016-08-03 民政部国家减灾中心 基于遥感图像的功能区划分方法以及设备
CN106056968A (zh) * 2016-07-29 2016-10-26 北京华航无线电测量研究所 一种基于光学图像的车位检测方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031188A1 (en) * 2003-08-10 2005-02-10 Luu Victor Van Systems and methods for characterizing a sample
CN105825178A (zh) * 2016-03-14 2016-08-03 民政部国家减灾中心 基于遥感图像的功能区划分方法以及设备
CN106056968A (zh) * 2016-07-29 2016-10-26 北京华航无线电测量研究所 一种基于光学图像的车位检测方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裔阳，等: "一种顾及形状特征的遥感图像道路提取方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347927A (zh) * 2020-11-06 2021-02-09 天津市勘察设计院集团有限公司 基于卷积神经网络概率决策融合的高分影像建筑提取方法
CN113487638A (zh) * 2021-07-06 2021-10-08 南通创越时空数据科技有限公司 高精度语义分割算法U2-net的地物边缘检测方法

Also Published As

Publication number Publication date
CN111325076B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN109271856B (zh) 基于扩张残差卷积的光学遥感图像目标检测方法
CN109635666B (zh) 一种基于深度学习的图像目标快速检测方法
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
US10628890B2 (en) Visual analytics based vehicle insurance anti-fraud detection
CN110148130B (zh) 用于检测零件缺陷的方法和装置
US10643332B2 (en) Method of vehicle image comparison and system thereof
KR20200013148A (ko) 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
CN110610483B (zh) 裂纹图像获取、检测方法、计算机设备及可读存储介质
CN110969166A (zh) 一种巡检场景下小目标识别方法和系统
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
CN111951284B (zh) 一种基于深度学习的光学遥感卫星图像精细化云检测方法
CN112766110A (zh) 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN111046950A (zh) 一种图像处理方法、装置、存储介质和电子装置
CN108648210B (zh) 一种静态复杂场景下快速多目标检测方法及装置
CN112733711A (zh) 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法
CN111325076B (zh) 一种基于U-net与Seg-net网络融合的航空地面建筑物提取方法
CN114972880A (zh) 一种标签识别方法、装置、电子设备及存储介质
Yu YOLO V5s-based deep learning approach for concrete cracks detection
CN105469099B (zh) 基于稀疏表示分类的路面裂缝检测和识别方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN111597939B (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN116958837A (zh) 基于无人机的市政设施故障检测系统
CN110728316A (zh) 一种课堂行为检测方法、系统、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant