CN107480679B - 基于卷积神经网络的分类和连通区域分析的路网提取方法 - Google Patents

基于卷积神经网络的分类和连通区域分析的路网提取方法 Download PDF

Info

Publication number
CN107480679B
CN107480679B CN201710260027.8A CN201710260027A CN107480679B CN 107480679 B CN107480679 B CN 107480679B CN 201710260027 A CN201710260027 A CN 201710260027A CN 107480679 B CN107480679 B CN 107480679B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
image
road
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710260027.8A
Other languages
English (en)
Other versions
CN107480679A (zh
Inventor
李玉鑑
曾少锋
夏威
耿丹阳
钟南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cccc Information Technology National Engineering Laboratory Co ltd
Beijing University of Technology
Original Assignee
Cccc Information Technology National Engineering Laboratory Co ltd
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cccc Information Technology National Engineering Laboratory Co ltd, Beijing University of Technology filed Critical Cccc Information Technology National Engineering Laboratory Co ltd
Priority to CN201710260027.8A priority Critical patent/CN107480679B/zh
Publication of CN107480679A publication Critical patent/CN107480679A/zh
Application granted granted Critical
Publication of CN107480679B publication Critical patent/CN107480679B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Abstract

本发明公开一种用于提取遥感图像中路网的方法，首先需要以d×d的滑动窗口在有标注的图像上采集道路及背景作为训练样本，滑动窗口中心像素为道路则视为正类样本，滑动窗口中心s×s区域不含道路则视为负类样本。采用卷积神经网络对样本进行训练，然后对图像中的像素进行分类得到一幅二值图像，作为初步的提取结果，通过分析二值图像中的连通区域，并将N个最大的连通区域作为最终的提取结果。本发明方法的创新之处在于引入卷积神经网络对像素进行分类，并通过分析连通区域对分类结果进行优化。

Description

基于卷积神经网络的分类和连通区域分析的路网提取方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于卷积神经网络的分类和连通区域分析的路网提取方法。
背景技术
遥感图像路网提取是指由算法自动在卫星采集的图像中标注出图像中的路段。目前，道路提取的主要工作仍然是通过人工方式完成的，例如，电子地图的生成与更新就需要专门的人员驾驶数据采集车对实际道路进行数据采集。人工采集的工作量大，道路更新效率低，而路网自动提取方法能够有效避免这些问题。另外，路网提取也可用于道路异常自动监测的工作中，为实时报警提供了可能，能有效防止道路拥堵，重大灾害的发生。
目前，已经存在多种路网提取方法，Poullis和You将这些方法归为三类，基于像素，基于区域，以及基于知识的方法。基于像素的方法依靠边缘，线等检测器提取道路片段；基于区域的方法通过将图像划分区域，分区域对图像中的像素进行分类，然后通过道路特征，对得到的结果进行过滤；基于知识的方法利用更高层的信息检测道路；如使用Gabor滤波器或tensor voting方法等方法提取道路特征进行分类，或通过图割等方法来提取道路区域。传统的道路检测算法一般需要根据道路所具有的特征，如结构细长，曲率较小，且宽度一般恒定等来设计特征检测算法，无法胜任图像分辨率低，场景复杂等情况下的提取任务。
近些年，随着深度学习的方法的出现，自主学习特征已成为可能，网络层数的增加也使得神经网络的分类能力更强。本发明通过卷积神经网络对图像区域进行分类，得到像素的分类结果；将分类结果看作是二值图像，通过分析二值图像连通区域的大小对识别结果进行筛选得到最终的提取结果。本发明可操作性，可扩展性较强，适用于各种条件下的道路提取任务。
发明内容
本发明要解决的技术问题是，提供一种基于卷积神经网络的分类和连通区域分析的路网提取方法，用于遥感图像中路网提取，通过卷积神经网络对图像像素进行分类，再经过连通区域对分类结果进行优化。
为实现上述目的，本发明采用如下的技术方案：
一种基于卷积神经网络的分类和连通区域分析的路网提取方法包括以下步骤：
步骤1：对
Figure BDA0001274477130000021
中的图像进行人工标注，得到标签图像
Figure BDA0001274477130000022
步骤2：依据
Figure BDA0001274477130000023
以滑动窗口的形式从
Figure BDA0001274477130000024
中采集正类和负类样本；
步骤3：通过卷积神经网络训练样本；
步骤4：用训练好的神经网络对未标注图像中的像素进行分类，得到一幅二值图像；
步骤5：求解分类得到的二值图像中所包含的连通区域，保留最大的N个连通区域。
一种基于卷积神经网络的分类和连通区域分析的路网提取方法包括以下步骤：
步骤1：输入数据集
Figure BDA0001274477130000025
及
Figure BDA0001274477130000026
步骤2：人工标记数据集
Figure BDA0001274477130000027
中的图像，得到各图像对应的标签图像
Figure BDA0001274477130000028
标签图像仅含道路区域
Figure BDA0001274477130000029
以及背景区域
Figure BDA00012744771300000210
步骤3：取
Figure BDA00012744771300000211
及其标签图像
Figure BDA00012744771300000212
Im大小为r×c；
步骤4：设d为奇数，以d×d的滑动窗口，在Im上采集样本
Figure BDA00012744771300000213
其中
Figure BDA00012744771300000214
的中心像素为
Figure BDA00012744771300000215
(d-1)/2<i<r-(d-3)/2，(d-1)/2<j<c-(d-3)/2；若
Figure BDA00012744771300000216
则
Figure BDA00012744771300000217
在Lm中取窗口
Figure BDA00012744771300000218
若对于
Figure BDA00012744771300000219
均有
Figure BDA00012744771300000220
则
Figure BDA00012744771300000221
否则丢弃
Figure BDA00012744771300000222
步骤5：随机丢弃
Figure BDA00012744771300000223
中样本，使得
Figure BDA00012744771300000224
中样本数量不大于10倍的
Figure BDA00012744771300000225
中样本数量；
步骤6：构建卷积神经网络，对样本进行训练；
步骤7：取图像
Figure BDA00012744771300000226
I′大小为r×c；
步骤8：新建像素值为0的灰度图像M，大小为r×c；
步骤9：在I′中逐像素采集样本
Figure BDA00012744771300000227
并通过训练好的卷积神经网络判断其类别，若
Figure BDA00012744771300000228
则Mij＝255；
步骤10：分析M中的连通区域，保留N个最大的连通区域。
作为优选，卷积神经网络结构及参数为：卷积层conv1，128个卷积核，卷积核大小为5×5；下采样层pool1，采用最大池化，池化核大小为2×2，；卷积层conv2，64个卷积核，卷积核大小为5×5；下采样层pool2，采用最大池化，池化核大小为2×2；全连接层ip3，64个神经元；全连接层ip4，2个神经元；网络最后通过softmax分类器进行分类。网络通过随机梯度下降方法进行优化，冲量单元取值为0.9，权值衰减取值为0.0005
本发明的遥感图像中路网提取的方法，首先需要以d×d的滑动窗口在有标注的图像上采集道路及背景作为训练样本，滑动窗口中心像素为道路则视为正类样本，滑动窗口中心s×s区域不含道路则视为负类样本。采用卷积神经网络对样本进行训练，然后对图像中的像素进行分类得到一幅二值图像，作为初步的提取结果，通过分析二值图像中的连通区域，并将N个最大的连通区域作为最终的提取结果。本发明方法的创新之处在于引入卷积神经网络对像素进行分类，并通过分析连通区域对分类结果进行优化。
附图说明
图1(a)为原图像；
图1(b)标签图像；
图2为本发明路网提取的方法流程图。
具体实施方式
本发明实施例提供一种基于卷积神经网络的分类和连通区域分析的路网提取方法，对于图像I，I中包含道路区域
Figure BDA0001274477130000031
以及背景区域
Figure BDA0001274477130000032
道路提取问题就是求解含有道路标记的图像M，使得M中道路标记区域及背景区域尽可能的分别与
Figure BDA0001274477130000033
及
Figure BDA0001274477130000034
一致，如图1(a)、1(b)所示。
本发明首先将道路识别问题转换为图像中像素的分类问题。假设有遥感图像集
Figure BDA0001274477130000035
其子集
Figure BDA0001274477130000036
用于采集训练样本，子集
Figure BDA0001274477130000037
为待标注图像集，
Figure BDA0001274477130000038
设图像I大小为r×c，Iij为图像I的第i行第j列像素，
Figure BDA0001274477130000039
为通过滑动窗口得到的以Iij为中心，大小为d×d的样本，分类任务就是求解概率
Figure BDA00012744771300000310
和
Figure BDA0001274477130000041
若
Figure BDA0001274477130000042
则
Figure BDA0001274477130000043
否则
Figure BDA0001274477130000044
其次，道路一般具有连续性，因此通过分析标记图像的连通区域可以进一步对分类结果进行优化。本发明的技术方案流程如下：
步骤1：对
Figure BDA0001274477130000045
中的图像进行人工标注，得到标签图像
Figure BDA0001274477130000046
步骤2：依据
Figure BDA0001274477130000047
以滑动窗口的形式从
Figure BDA0001274477130000048
中采集正类和负类样本。
步骤3：通过卷积神经网络训练样本。
步骤4：用训练好的神经网络对未标注图像中的像素进行分类，得到一幅二值图像。
步骤5：求解分类得到的二值图像中所包含的连通区域，保留最大的N个连通区域。
本发明方法的基本原理是：将图像像素及其周围区域内的像素值作为训练样本，通过卷积神经网络对该样本自主提取特征，然后对未标注图像中的像素进行分类，将分类得到的二值图像作为初步提取结果，依据道路具有连续的特性，通过对二值图像连通区域的分析，过滤分类错误的结果，得到更精确的标注结果。
实施例1：
本发明的一种基于卷积神经网络的分类和连通区域分析的路网提取方法包括以下步骤：
步骤1：输入数据集
Figure BDA0001274477130000049
及
Figure BDA00012744771300000410
步骤2：人工标记数据集
Figure BDA00012744771300000411
中的图像，得到各图像对应的标签图像集
Figure BDA00012744771300000412
具体标记方法为：以粗细为1像素，RGB取值为(255,0,0)的画笔沿图像道路中心画线，图像其它区域像素值置为(0,0,0)。
步骤3：m＝1。
步骤4：取
Figure BDA00012744771300000413
及其标签图像
Figure BDA00012744771300000414
Im大小为r×c。
步骤5：i＝(d+1)/2；j＝(d+1)/2。d为奇数，可取道路宽度3-5倍。
步骤6：取样本
Figure BDA00012744771300000415
若
Figure BDA00012744771300000416
则
Figure BDA00012744771300000417
在Lm中取窗口
Figure BDA00012744771300000418
对于
Figure BDA00012744771300000419
Figure BDA00012744771300000420
均有
Figure BDA00012744771300000421
则
Figure BDA00012744771300000422
否则丢弃
Figure BDA00012744771300000423
s可取0.5-1倍的道路宽度。
步骤7：i＝i+1；j＝j+1；若i<r-(d-3)/2且j<c-(d-3)/2，则转步骤6，否则转步骤8。
步骤8：m＝m+1；若m<k+1，则转步骤4，否则转步骤9。
步骤9：随机丢弃
Figure BDA0001274477130000051
中样本，使得
Figure BDA0001274477130000052
中样本数量不大于10倍的
Figure BDA0001274477130000053
中样本数量。
步骤10：构建卷积神经网络，对样本进行训练。卷积神经网络结构及参数为：卷积层conv1，128个卷积核，卷积核大小为5×5；下采样层pool1，采用最大池化，池化核大小为2×2，；卷积层conv2，64个卷积核，卷积核大小为5×5；下采样层pool2，采用最大池化，池化核大小为2×2；全连接层ip3，64个神经元；全连接层ip4，2个神经元；网络最后通过softmax分类器进行分类。网络通过随机梯度下降方法进行优化，冲量单元取值为0.9，权值衰减取值为0.0005。
步骤11：取图像
Figure BDA0001274477130000054
I′大小为r×c。
步骤12：新建灰度图像M，大小为r×c，且
Figure BDA0001274477130000055
均有Mij＝0。
步骤13：i＝(d+1)/2。
步骤14：j＝(d+1)/2。
步骤15：取窗口
Figure BDA0001274477130000056
步骤16：将
Figure BDA0001274477130000057
输入网络，并输出其类别，若
Figure BDA0001274477130000058
则Mij＝255。
步骤17：j＝j+1；若j<c-(d-3)/2，转步骤15，否则转步骤18。
步骤18：i＝i+1；若i<r-(d-3)/2，转步骤14，否则转步骤19。
步骤19：分析M′中的连通区域，保留N个最大的连通区域。

Claims (2)

1.一种基于卷积神经网络的分类和连通区域分析的路网提取方法，其特征在于，包括以下步骤：对于图像I，I中包含道路区域
Figure FDA0002990016180000011
以及背景区域
Figure FDA0002990016180000012
步骤1：输入数据集
Figure FDA0002990016180000013
及
Figure FDA0002990016180000014
其中，设有遥感图像集
Figure FDA0002990016180000015
其子集
Figure FDA0002990016180000016
用于采集训练样本，子集
Figure FDA0002990016180000017
为待标注图像集；
步骤2：人工标记数据集
Figure FDA0002990016180000018
中的图像，得到各图像对应的标签图像
Figure FDA0002990016180000019
标签图像仅含道路区域
Figure FDA00029900161800000110
以及背景区域
Figure FDA00029900161800000111
步骤3：取
Figure FDA00029900161800000112
及其标签图像
Figure FDA00029900161800000113
Im大小为r×c；
步骤4：设d为奇数，以d×d的滑动窗口，在Im上采集样本
Figure FDA00029900161800000114
其中
Figure FDA00029900161800000115
的中心像素为
Figure FDA00029900161800000116
(d-1)/2<i<r-(d-3)/2，(d-1)/2<j<c-(d-3)/2；若
Figure FDA00029900161800000117
则
Figure FDA00029900161800000118
在Lm中取窗口
Figure FDA00029900161800000119
对于
Figure FDA00029900161800000120
若
Figure FDA00029900161800000121
则
Figure FDA00029900161800000122
否则丢弃
Figure FDA00029900161800000123
步骤5：随机丢弃
Figure FDA00029900161800000124
中样本，使得
Figure FDA00029900161800000125
中样本数量不大于10倍的
Figure FDA00029900161800000126
中样本数量；
步骤6：构建卷积神经网络，对样本进行训练；
步骤7：取图像
Figure FDA00029900161800000127
I′大小为r×c；
步骤8：新建像素值为0的灰度图像M′，大小为r×c；
步骤9：在I′中逐像素采集样本
Figure FDA00029900161800000128
并通过训练好的卷积神经网络判断其类别，若
Figure FDA00029900161800000129
则M′ij＝255；
步骤10：分析M′中的连通区域，保留N个最大的连通区域。
2.如权利要求1所述的基于卷积神经网络的分类和连通区域分析的路网提取方法，其特征在于，卷积神经网络结构及参数为：卷积层conv1，128个卷积核，卷积核大小为5×5；下采样层pool1，采用最大池化，池化核大小为2×2；卷积层conv2，64个卷积核，卷积核大小为5×5；下采样层pool2，采用最大池化，池化核大小为2×2；全连接层ip3，64个神经元；全连接层ip4，2个神经元；网络最后通过softmax分类器进行分类；网络通过随机梯度下降方法进行优化，冲量单元取值为0.9，权值衰减取值为0.0005。
CN201710260027.8A 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法 Expired - Fee Related CN107480679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710260027.8A CN107480679B (zh) 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710260027.8A CN107480679B (zh) 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法

Publications (2)

Publication Number Publication Date
CN107480679A CN107480679A (zh) 2017-12-15
CN107480679B true CN107480679B (zh) 2021-08-17

Family

ID=60594339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710260027.8A Expired - Fee Related CN107480679B (zh) 2017-04-20 2017-04-20 基于卷积神经网络的分类和连通区域分析的路网提取方法

Country Status (1)

Country Link
CN (1) CN107480679B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109145718A (zh) * 2018-07-04 2019-01-04 国交空间信息技术（北京）有限公司 基于拓扑感知的遥感影像的路网提取方法及装置
CN108877267B (zh) * 2018-08-06 2020-11-03 武汉理工大学 一种基于车载单目相机的交叉路口检测方法
CN109325501B (zh) * 2018-08-14 2021-12-03 王斌 基于吉他背板图像的材质识别方法、装置及可读存储介质
CN109815859B (zh) * 2019-01-10 2021-10-01 中交信息技术国家工程实验室有限公司 一种低等级道路自动提取及变化分析方法
CN111046768B (zh) * 2019-12-04 2022-02-01 武汉大学 一种同时提取遥感影像道路路面和中心线的深度学习方法
CN111340001B (zh) * 2020-03-24 2023-10-10 武汉理工大学 一种基于遥感影像深度学习的交通拥堵识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077757A (zh) * 2014-06-09 2014-10-01 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法
CN105975913A (zh) * 2016-04-28 2016-09-28 武汉大学 一种基于自适应聚类学习的道路网提取的方法
CN106295562A (zh) * 2016-08-09 2017-01-04 中国科学院遥感与数字地球研究所 一种高分辨率遥感影像道路信息提取方法
CN106548182A (zh) * 2016-11-02 2017-03-29 武汉理工大学 基于深度学习和主成因分析的路面裂纹检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077757A (zh) * 2014-06-09 2014-10-01 中山大学 一种融合实时交通状态信息的道路背景提取与更新方法
CN105975913A (zh) * 2016-04-28 2016-09-28 武汉大学 一种基于自适应聚类学习的道路网提取的方法
CN106295562A (zh) * 2016-08-09 2017-01-04 中国科学院遥感与数字地球研究所 一种高分辨率遥感影像道路信息提取方法
CN106548182A (zh) * 2016-11-02 2017-03-29 武汉理工大学 基于深度学习和主成因分析的路面裂纹检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种自动的高分辨率遥感影像道路提取方法;刘如意等;《西安电子科技大学学报（自然科学版）》;20170228;第44卷(第1期);第100-105页 *

Also Published As

Publication number Publication date
CN107480679A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107480679B (zh) 基于卷积神经网络的分类和连通区域分析的路网提取方法
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN110363140B (zh) 一种基于红外图像的人体动作实时识别方法
CN107316307B (zh) 一种基于深度卷积神经网络的中医舌图像自动分割方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN107609485B (zh) 交通标志的识别方法、存储介质、处理设备
CN108918527A (zh) 一种基于深度学习的印刷品缺陷检测方法
CN104616032A (zh) 基于深度卷积神经网络的多摄像机系统目标匹配方法
CN110046631A (zh) 用于自动推断时空图像的变化的系统和方法
CN105184271A (zh) 一种基于深度学习的车辆自动检测方法
Radhika et al. Cyclone damage detection on building structures from pre-and post-satellite images using wavelet based pattern recognition
CN106874929B (zh) 一种基于深度学习的珍珠分类方法
CN111079821A (zh) 一种脱轨自动制动拉环脱落故障图像识别方法
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN111401426A (zh) 基于伪标签学习的小样本高光谱图像分类方法
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
CN107766810B (zh) 一种云、影检测方法
CN116597312A (zh) 基于小样本图像语义分割的农作物叶片病虫害识别的方法
CN108509826A (zh) 一种遥感影像的道路识别方法及其系统
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN112308087A (zh) 基于动态视觉传感器的一体化成像识别系统和方法
CN112507327B (zh) 一种基于机器学习的晴雨检测与处理方法
Harika et al. Extracting water bodies in rgb images using deeplabv3+ algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210817

CF01 Termination of patent right due to non-payment of annual fee