CN107480679A - 基于卷积神经网络的分类和连通区域分析的路网提取方法 - Google Patents

基于卷积神经网络的分类和连通区域分析的路网提取方法 Download PDF

Info

Publication number
CN107480679A
CN107480679A CN201710260027.8A CN201710260027A CN107480679A CN 107480679 A CN107480679 A CN 107480679A CN 201710260027 A CN201710260027 A CN 201710260027A CN 107480679 A CN107480679 A CN 107480679A
Authority
CN
China
Prior art keywords
image
neural networks
convolutional neural
sample
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710260027.8A
Other languages
English (en)
Other versions
CN107480679B (zh
Inventor
李玉鑑
曾少锋
夏威
耿丹阳
钟南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Engineering Laboratory Co Ltd
Beijing University of Technology
Original Assignee
China National Engineering Laboratory Co Ltd
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Engineering Laboratory Co Ltd, Beijing University of Technology filed Critical China National Engineering Laboratory Co Ltd
Priority to CN201710260027.8A priority Critical patent/CN107480679B/zh
Publication of CN107480679A publication Critical patent/CN107480679A/zh
Application granted granted Critical
Publication of CN107480679B publication Critical patent/CN107480679B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Abstract

本发明公开一种用于提取遥感图像中路网的方法，首先需要以d×d的滑动窗口在有标注的图像上采集道路及背景作为训练样本，滑动窗口中心像素为道路则视为正类样本，滑动窗口中心s×s区域不含道路则视为负类样本。采用卷积神经网络对样本进行训练，然后对图像中的像素进行分类得到一幅二值图像，作为初步的提取结果，通过分析二值图像中的连通区域，并将N个最大的连通区域作为最终的提取结果。本发明方法的创新之处在于引入卷积神经网络对像素进行分类，并通过分析连通区域对分类结果进行优化。

Description

基于卷积神经网络的分类和连通区域分析的路网提取方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于卷积神经网络的分类和连通区域分析的路网提取方法。
背景技术
遥感图像路网提取是指由算法自动在卫星采集的图像中标注出图像中的路段。目前，道路提取的主要工作仍然是通过人工方式完成的，例如，电子地图的生成与更新就需要专门的人员驾驶数据采集车对实际道路进行数据采集。人工采集的工作量大，道路更新效率低，而路网自动提取方法能够有效避免这些问题。另外，路网提取也可用于道路异常自动监测的工作中，为实时报警提供了可能，能有效防止道路拥堵，重大灾害的发生。
目前，已经存在多种路网提取方法，Poullis和You将这些方法归为三类，基于像素，基于区域，以及基于知识的方法。基于像素的方法依靠边缘，线等检测器提取道路片段；基于区域的方法通过将图像划分区域，分区域对图像中的像素进行分类，然后通过道路特征，对得到的结果进行过滤；基于知识的方法利用更高层的信息检测道路；如使用Gabor滤波器或tensor voting方法等方法提取道路特征进行分类，或通过图割等方法来提取道路区域。传统的道路检测算法一般需要根据道路所具有的特征，如结构细长，曲率较小，且宽度一般恒定等来设计特征检测算法，无法胜任图像分辨率低，场景复杂等情况下的提取任务。
近些年，随着深度学习的方法的出现，自主学习特征已成为可能，网络层数的增加也使得神经网络的分类能力更强。本发明通过卷积神经网络对图像区域进行分类，得到像素的分类结果；将分类结果看作是二值图像，通过分析二值图像连通区域的大小对识别结果进行筛选得到最终的提取结果。本发明可操作性，可扩展性较强，适用于各种条件下的道路提取任务。
发明内容
本发明要解决的技术问题是，提供一种基于卷积神经网络的分类和连通区域分析的路网提取方法，用于遥感图像中路网提取，通过卷积神经网络对图像像素进行分类，再经过连通区域对分类结果进行优化。
为实现上述目的，本发明采用如下的技术方案：
一种基于卷积神经网络的分类和连通区域分析的路网提取方法包括以下步骤：
步骤1：对中的图像进行人工标注，得到标签图像
步骤2：依据以滑动窗口的形式从中采集正类和负类样本；
步骤3：通过卷积神经网络训练样本；
步骤4：用训练好的神经网络对未标注图像中的像素进行分类，得到一幅二值图像；
步骤5：求解分类得到的二值图像中所包含的连通区域，保留最大的N个连通区域。
一种基于卷积神经网络的分类和连通区域分析的路网提取方法包括以下步骤：
步骤1：输入数据集及
步骤2：人工标记数据集中的图像，得到各图像对应的标签图像标签图像仅含道路区域以及背景区域
步骤3：取及其标签图像Im大小为r×c；
步骤4：设d为奇数，以d×d的滑动窗口，在Im上采集样本其中的中心像素为(d-1)/2<i<r-(d-3)/2，(d-1)/2<j<c-(d-3)/2；若则在Lm中取窗口若对于均有则否则丢弃
步骤5：随机丢弃中样本，使得中样本数量不大于10倍的中样本数量；
步骤6：构建卷积神经网络，对样本进行训练；
步骤7：取图像I′大小为r×c；
步骤8：新建像素值为0的灰度图像M，大小为r×c；
步骤9：在I′中逐像素采集样本并通过训练好的卷积神经网络判断其类别，若则Mij＝255；
步骤10：分析M中的连通区域，保留N个最大的连通区域。
作为优选，卷积神经网络结构及参数为：卷积层conv1，128个卷积核，卷积核大小为5×5；下采样层pool1，采用最大池化，池化核大小为2×2，；卷积层conv2，64个卷积核，卷积核大小为5×5；下采样层pool2，采用最大池化，池化核大小为2×2；全连接层ip3，64个神经元；全连接层ip4，2个神经元；网络最后通过softmax分类器进行分类。网络通过随机梯度下降方法进行优化，冲量单元取值为0.9，权值衰减取值为0.0005
本发明的遥感图像中路网提取的方法，首先需要以d×d的滑动窗口在有标注的图像上采集道路及背景作为训练样本，滑动窗口中心像素为道路则视为正类样本，滑动窗口中心s×s区域不含道路则视为负类样本。采用卷积神经网络对样本进行训练，然后对图像中的像素进行分类得到一幅二值图像，作为初步的提取结果，通过分析二值图像中的连通区域，并将N个最大的连通区域作为最终的提取结果。本发明方法的创新之处在于引入卷积神经网络对像素进行分类，并通过分析连通区域对分类结果进行优化。
附图说明
图1(a)为原图像；
图1(b)标签图像；
图2为本发明路网提取的方法流程图。
具体实施方式
本发明实施例提供一种基于卷积神经网络的分类和连通区域分析的路网提取方法，对于图像I，I中包含道路区域以及背景区域道路提取问题就是求解含有道路标记的图像M，使得M中道路标记区域及背景区域尽可能的分别与及一致，如图1(a)、1(b)所示。
本发明首先将道路识别问题转换为图像中像素的分类问题。假设有遥感图像集其子集用于采集训练样本，子集为待标注图像集，设图像I大小为r×c，Iij为图像I的第i行第j列像素，为通过滑动窗口得到的以Iij为中心，大小为d×d的样本，分类任务就是求解概率和若则否则其次，道路一般具有连续性，因此通过分析标记图像的连通区域可以进一步对分类结果进行优化。本发明的技术方案流程如下：
步骤1：对中的图像进行人工标注，得到标签图像
步骤2：依据以滑动窗口的形式从中采集正类和负类样本。
步骤3：通过卷积神经网络训练样本。
步骤4：用训练好的神经网络对未标注图像中的像素进行分类，得到一幅二值图像。
步骤5：求解分类得到的二值图像中所包含的连通区域，保留最大的N个连通区域。
本发明方法的基本原理是：将图像像素及其周围区域内的像素值作为训练样本，通过卷积神经网络对该样本自主提取特征，然后对未标注图像中的像素进行分类，将分类得到的二值图像作为初步提取结果，依据道路具有连续的特性，通过对二值图像连通区域的分析，过滤分类错误的结果，得到更精确的标注结果。
实施例1：
本发明的一种基于卷积神经网络的分类和连通区域分析的路网提取方法包括以下步骤：
步骤1：输入数据集及
步骤2：人工标记数据集中的图像，得到各图像对应的标签图像集具体标记方法为：以粗细为1像素，RGB取值为(255,0,0)的画笔沿图像道路中心画线，图像其它区域像素值置为(0,0,0)。
步骤3：m＝1。
步骤4：取及其标签图像Im大小为r×c。
步骤5：i＝(d+1)/2；j＝(d+1)/2。d为奇数，可取道路宽度3-5倍。
步骤6：取样本若则在Lm中取窗口对于 均有则否则丢弃s可取0.5-1倍的道路宽度。
步骤7：i＝i+1；j＝j+1；若i<r-(d-3)/2且j<c-(d-3)/2，则转步骤6，否则转步骤8。
步骤8：m＝m+1；若m<k+1，则转步骤4，否则转步骤9。
步骤9：随机丢弃中样本，使得中样本数量不大于10倍的中样本数量。
步骤10：构建卷积神经网络，对样本进行训练。卷积神经网络结构及参数为：卷积层conv1，128个卷积核，卷积核大小为5×5；下采样层pool1，采用最大池化，池化核大小为2×2，；卷积层conv2，64个卷积核，卷积核大小为5×5；下采样层pool2，采用最大池化，池化核大小为2×2；全连接层ip3，64个神经元；全连接层ip4，2个神经元；网络最后通过softmax分类器进行分类。网络通过随机梯度下降方法进行优化，冲量单元取值为0.9，权值衰减取值为0.0005。
步骤11：取图像I′大小为r×c。
步骤12：新建灰度图像M，大小为r×c，且均有Mij＝0。
步骤13：i＝(d+1)/2。
步骤14：j＝(d+1)/2。
步骤15：取窗口
步骤16：将输入网络，并输出其类别，若则Mij＝255。
步骤17：j＝j+1；若j<c-(d-3)/2，转步骤15，否则转步骤18。
步骤18：i＝i+1；若i<r-(d-3)/2，转步骤14，否则转步骤19。
步骤19：分析M′中的连通区域，保留N个最大的连通区域。

Claims (3)

1.一种基于卷积神经网络的分类和连通区域分析的路网提取方法，其特征在于，包括以下步骤：
步骤1：对中的图像进行人工标注，得到仅含道路区域及背景区域的标签图像
步骤2：依据以滑动窗口的形式从中采集正类和负类样本；
步骤3：通过卷积神经网络训练样本；
步骤4：用训练好的神经网络对未标注图像中的像素进行分类，得到一幅二值图像；
步骤5：求解分类得到的二值图像中所包含的连通区域，保留最大的N个连通区域。
2.一种基于卷积神经网络的分类和连通区域分析的路网提取方法，其特征在于，包括以下步骤：
步骤1：输入数据集及
步骤2：人工标记数据集中的图像，得到各图像对应的标签图像
步骤3：取及其标签图像Im大小为r×c；
步骤4：设d为奇数，以d×d的滑动窗口，在Im上采集样本其中的中心像素为(d-1)/2<i<r-(d-3)/2，(d-1)/2<j<c-(d-3)/2；若则在Lm中取窗口对于若则否则丢弃
步骤5：随机丢弃中样本，使得中样本数量不大于10倍的中样本数量；
步骤6：构建卷积神经网络，对样本进行训练；
步骤7：取图像I′大小为r×c；
步骤8：新建像素值为0的灰度图像M′，大小为r×c；
步骤9：在I′中逐像素采集样本并通过训练好的卷积神经网络判断其类别，若则Mij′＝255；
步骤10：分析M′中的连通区域，保留N个最大的连通区域。
3.如权利要求2所述的基于卷积神经网络的分类和连通区域分析的路网提取方法，其特征在于，卷积神经网络结构及参数为：卷积层conv1，128个卷积核，卷积核大小为5×5；下采样层pool1，采用最大池化，池化核大小为2×2，；卷积层conv2，64个卷积核，卷积核大小为5×5；下采样层pool2，采用最大池化，池化核大小为2×2；全连接层ip3，64个神经元；全连接层ip4，2个神经元；网络最后通过softmax分类器进行分类。网络通过随机梯度下降方法进行优化，冲量单元取值为0.9，权值衰减取值为0.0005。
CN201710260027.8A 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法 Expired - Fee Related CN107480679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710260027.8A CN107480679B (zh) 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710260027.8A CN107480679B (zh) 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法

Publications (2)

Publication Number Publication Date
CN107480679A true CN107480679A (zh) 2017-12-15
CN107480679B CN107480679B (zh) 2021-08-17

Family

ID=60594339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710260027.8A Expired - Fee Related CN107480679B (zh) 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法

Country Status (1)

Country Link
CN (1) CN107480679B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108877267A (zh) * 2018-08-06 2018-11-23 武汉理工大学 一种基于车载单目相机的交叉路口检测方法
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109145718A (zh) * 2018-07-04 2019-01-04 国交空间信息技术（北京）有限公司 基于拓扑感知的遥感影像的路网提取方法及装置
CN109325501A (zh) * 2018-08-14 2019-02-12 王斌 基于吉他背板图像的材质识别方法、装置及可读存储介质
CN109815859A (zh) * 2019-01-10 2019-05-28 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
CN111046768A (zh) * 2019-12-04 2020-04-21 武汉大学 一种同时提取遥感影像道路路面和中心线的深度学习方法
CN111340001A (zh) * 2020-03-24 2020-06-26 武汉理工大学 一种基于遥感影像深度学习的交通拥堵识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077757A (zh) * 2014-06-09 2014-10-01 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法
CN105975913A (zh) * 2016-04-28 2016-09-28 武汉大学 一种基于自适应聚类学习的道路网提取的方法
CN106295562A (zh) * 2016-08-09 2017-01-04 中国科学院遥感与数字地球研究所 一种高分辨率遥感影像道路信息提取方法
CN106548182A (zh) * 2016-11-02 2017-03-29 武汉理工大学 基于深度学习和主成因分析的路面裂纹检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077757A (zh) * 2014-06-09 2014-10-01 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法
CN105975913A (zh) * 2016-04-28 2016-09-28 武汉大学 一种基于自适应聚类学习的道路网提取的方法
CN106295562A (zh) * 2016-08-09 2017-01-04 中国科学院遥感与数字地球研究所 一种高分辨率遥感影像道路信息提取方法
CN106548182A (zh) * 2016-11-02 2017-03-29 武汉理工大学 基于深度学习和主成因分析的路面裂纹检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘如意等: "一种自动的高分辨率遥感影像道路提取方法", 《西安电子科技大学学报（自然科学版）》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109145718A (zh) * 2018-07-04 2019-01-04 国交空间信息技术（北京）有限公司 基于拓扑感知的遥感影像的路网提取方法及装置
CN108877267A (zh) * 2018-08-06 2018-11-23 武汉理工大学 一种基于车载单目相机的交叉路口检测方法
CN109325501A (zh) * 2018-08-14 2019-02-12 王斌 基于吉他背板图像的材质识别方法、装置及可读存储介质
CN109325501B (zh) * 2018-08-14 2021-12-03 王斌 基于吉他背板图像的材质识别方法、装置及可读存储介质
CN109815859A (zh) * 2019-01-10 2019-05-28 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
CN109815859B (zh) * 2019-01-10 2021-10-01 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
CN111046768A (zh) * 2019-12-04 2020-04-21 武汉大学 一种同时提取遥感影像道路路面和中心线的深度学习方法
CN111340001A (zh) * 2020-03-24 2020-06-26 武汉理工大学 一种基于遥感影像深度学习的交通拥堵识别方法
CN111340001B (zh) * 2020-03-24 2023-10-10 武汉理工大学 一种基于遥感影像深度学习的交通拥堵识别方法

Also Published As

Publication number Publication date
CN107480679B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN107480679A (zh) 基于卷积神经网络的分类和连通区域分析的路网提取方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
Samiappan et al. Using unmanned aerial vehicles for high-resolution remote sensing to map invasive Phragmites australis in coastal wetlands
Li et al. Object-based land-cover classification for metropolitan Phoenix, Arizona, using aerial photography
Castillejo-González et al. Object-and pixel-based analysis for mapping crops and their agro-environmental associated measures using QuickBird imagery
Pu et al. Object-based urban detailed land cover classification with high spatial resolution IKONOS imagery
CN109255334A (zh) 基于深度学习语义分割网络的遥感影像地物分类方法
CN109800736A (zh) 一种基于遥感影像和深度学习的道路提取方法
CN103984946B (zh) 一种基于K‑means的高分辨率遥感地图道路提取方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN104077577A (zh) 一种基于卷积神经网络的商标检测方法
CN107665492A (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN108734719A (zh) 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN106023145A (zh) 基于超像素标注的遥感图像的分割与识别方法
CN109583345A (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
Li et al. Coastal wetland classification with multiseasonal high-spatial resolution satellite imagery
Chatterjee et al. Intelligent Road Maintenance: a Machine Learning Approach for surface Defect Detection.
Bhagat et al. Eff-UNet++: A novel architecture for plant leaf segmentation and counting
CN107767416A (zh) 一种低分辨率图像中行人朝向的识别方法
Blanco et al. Ecological site classification of semiarid rangelands: Synergistic use of Landsat and Hyperion imagery
Arvor et al. Towards user-adaptive remote sensing: Knowledge-driven automatic classification of Sentinel-2 time series
CN107766810A (zh) 一种云、影检测方法
Honawad et al. Soil classification and suitable crop prediction
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
Solaimani et al. Land use/cover change detection based on remote sensing data (A case study; Neka Basin)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210817

CF01 Termination of patent right due to non-payment of annual fee