CN111814597A - 一种耦合多标签分类网络和yolo的城市功能分区方法 - Google Patents

一种耦合多标签分类网络和yolo的城市功能分区方法 Download PDF

Info

Publication number
CN111814597A
CN111814597A CN202010569585.4A CN202010569585A CN111814597A CN 111814597 A CN111814597 A CN 111814597A CN 202010569585 A CN202010569585 A CN 202010569585A CN 111814597 A CN111814597 A CN 111814597A
Authority
CN
China
Prior art keywords
remote sensing
feature
typical
sensing image
classification network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010569585.4A
Other languages
English (en)
Inventor
周侗
钱振
刘润瑞
陶菲
林霜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010569585.4A priority Critical patent/CN111814597A/zh
Publication of CN111814597A publication Critical patent/CN111814597A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于城市规划和城市管理领域，公开了一种耦合多标签分类网络和YOLO的城市功能分区方法。包括：将具有地物类型标签第一训练集分为非典型地物数据集和典型地物数据集，分别对多标签分类网络和YOLO目标检测算法模型进行；将具有功能标签的第二训练集的遥感影像数据分别输入训练后的上述两个模型，输出遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物尺寸和典型地物空间位置信息，并计算典型地物面积占比率；采用得到的上述属性和功能类型标注训练决策树模型；使用训练好的上述模型对目标城市进行功能分区。该方法通过决策树模型实现了多标签分类网络和YOLO的城市功能的耦合使用，提高城市功能分区的准确率和可解释性。

Description

一种耦合多标签分类网络和YOLO的城市功能分区方法
技术领域
本发明属于城市规划和城市管理领域，特别涉及一种耦合多标签分类网络和YOLO的城市功能分区方 法。
背景技术
遥感影像是城市规划和监测重要的数据之一。随着遥感技术的快速发展，多源遥感数据在LULC监测 等方面得到了广泛的应用。如基于Landsat8监测土地利用变化，基于Luojia-1和NPP VIIRS提取城市建城 区。随着人工智能的发展，遥感图像分析的方法得到了扩充，基于卷积神经网络及其变种算法的遥感地物 提取因精度高、鲁棒性强等优点逐步代替了传统的研究。因此如何使用人工智能算法结合高精度遥感影像 识别城市功能类型成为亟需解决的问题。
发明内容
本发明的目的是提供一种耦合多标签分类网络和YOLO的城市功能分区方法，更准确、更高效地识别 城市区域功能类型，从而监测城市规划状态和空间分布格局。
为达到上述目的，本发明提供了一种耦合多标签分类网络和YOLO的城市功能分区方法，包括如下步 骤：
S1.样本采集与标注：采集遥感影像样本，标记遥感影像样本中的各遥感影像的地物类型，得到具有地 物类型标签的遥感影像数据库，将所述遥感影像数据库分为第一训练集和第二训练集，并标记所述第二训 练集中的遥感影像的功能类型；
S2.多标签分类网络模型训练：根据所述第一训练集中的遥感影像的地物类型确定非典型地物遥感数据 集和典型地物遥感数据集；采用所述非典型地物遥感数据集对构建好的多标签分类网络模型进行训练，得 到训练后的多标签分类网络模型；
其中，所述非典型地物遥感数据集中的遥感影像含非典型地物，所述非典型地物为所述遥感影像数据 中空间纹理特征不明显的地物，所述典型地物遥感数据集中的遥感影像含典型地物，所述典型地物为所述 遥感影像数据中空间纹理特征明显的地物；
S3.YOLO目标检测算法模型训练：将所述典型地物遥感数据集中的遥感影像添加典型地物的尺寸和空 间位置信息后，得到具有空间信息标签的典型地物遥感数据集，采用所述具有空间信息标签的典型地物遥 感数据集对构建好的YOLO目标检测算法模型进行训练，得到训练后的YOLO目标检测算法模型；
S4.决策树模型训练：将所述第二训练集中的遥感影像数据作为训练后的多标签分类网络模型的输入， 获取所述训练后的多标签分类网络模型输出的遥感影像非典型地物类型置信度；将所述第二训练集中的遥 感影像数据作为训练后的YOLO目标检测算法模型的输入，获取所述训练后的YOLO目标检测算法模型 输出的遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息，根据所述典型地物尺寸计 算得到典型地物面积占比率；根据所述第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置 信度、典型地物面积占比率和地物类型标签，采用所述第二训练集对构建好的决策树模型进行训练，得到 训练后的决策树模型；
S5.目标城市功能分区：将目标城市划分为若干个目标街区，并获取各个所述目标街区的遥感影像数据；
将各个所述目标街区的遥感影像数据作为训练后的多标签分类网络模型的输入，获取所述训练后的多 标签分类网络模型输出的各个所述目标街区遥感影像非典型地物类型置信度；
将各个所述目标街区的遥感影像数据作为训练后的YOLO目标检测算法模型的输入，获取所述训练后 的YOLO目标检测算法模型输出的各个所述目标街区遥感影像典型地物类型置信度、典型地物尺寸和典型 地物空间位置信息，根据所述典型地物尺寸计算得到典型地物面积占比率；
将各个所述目标街区遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率 作为所述训练后的决策树模型的输入，获取所述决策树模型输出的所述目标城市的功能分区结果。
进一步的，步骤S2中，所述采用所述非典型地物遥感数据集对多标签分类网络模型进行训练，得到 训练后的多标签分类网络模型，具体为：
S21.将所述非典型地物遥感数据集中遥感影像的尺寸统一变换为M*M像素，并将变换后的遥感影像 及其对应的地物类型标记数据输入多标签分类网络模型中，前向传播获得多标签分类网络模型输出的所述 变换后的遥感影像地物的类型置信度；
S22.利用二元交叉熵为损失函数，将损失函数值按极小化误差的方法进行反向传播，调整所述多标签 分类网络模型的权重，得到训练后的多标签分类网络模型，其中，损失函数计算公式如下：
Figure BDA0002549041910000021
Figure BDA0002549041910000022
上式中，J(θ)为二元交叉熵，N代表样本数，x(i)代表第i个变换后的遥感影像，hθ()代表激活函数， y(i)代表第i个变换后的遥感影像的标签，w为多标签分类网络模型的权重。
进一步的，步骤S3中，所述采用所述具有空间信息标签的典型地物遥感数据集对构建好的YOLO目 标检测算法模型进行训练，得到训练后的YOLO目标检测算法模型，具体包括：
S31.将所述典型地物遥感数据集中遥感影像的尺寸统一为N*N像素后下采样32倍、16倍和8倍，得 到多尺度典型地物特征图集；
S32.将所述多尺度典型地物特征图集中的特征图及其对应的地物类型标注数据和空间信息标注数据输 入构建好的YOLO目标检测算法模型中，前向传播获得YOLO目标检测算法模型输出的遥感影像的地物 类型置信度、地物尺寸和地物空间位置信息；
S33.将损失函数值按极小化误差的方法进行反向传播，调整YOLO目标检测算法模型的权重，得到训 练后的YOLO目标检测算法模型，所述损失函数的计算公式如下：
Loss＝Loss1+Loss2+Loss3+Loss4+Loss5，
Figure BDA0002549041910000023
Figure BDA0002549041910000024
Figure BDA0002549041910000025
Figure BDA0002549041910000026
Figure BDA0002549041910000027
上式中，Loss1,Loss2,Loss3,Loss4,Loss5分别代表空间位置误差、尺寸误差、有地物时的置信度误差， 没有地物时的置信度误差以及分类误差，
Figure BDA0002549041910000028
代表示性函数，其中，如果第i个网格中的第j个先验框中有 物体时，
Figure BDA0002549041910000029
反之为0，S代表特征图的网格数量，B代表先验框的数量。
Figure BDA00025490419100000210
代表第i个网格中的第 j个先验框中的识别精度。
进一步的，步骤S4中，所述根据所述第二训练集中遥感影像的非典型地物类型置信度、典型地物类 型置信度、典型地物面积占比率和功能类型标签，采用所述第二训练集对构建好的决策树模型进行训练， 得到训练后的决策树模型，具体包括：
S41.将所述第二训练集中的各个遥感影像设定为所述决策树模型的当前叶节点；
S42.针对遥感影像的每一属性，以多个互不相同的特征阈值分别对所述当前叶节点进行划分，并求取 每次划分后所对应的基尼系数；其中，所述特征阈值在对应于所述属性的所有遥感影像的特征值的范围内 任意取值；
其中，所述属性包括遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率；
所述基尼系数的计算公式为：
Figure BDA00025490419100000211
Figure BDA0002549041910000031
上式中，Gini_Index为基尼系数，Prob2(j|h)指第二训练集中所述属性特征值为h的遥感影像属于第j 类功能的概率，nj(h)为第二训练集中所述属性的特征值为h且属于第j类功能的遥感影像个数，n(h)为第 二训练集中所述属性特征值为h的遥感影像的个数，J为功能类型数；
S43.以与最小所述基尼系数所对应的划分来分裂该当前叶节点，以形成所述决策树的下一层叶节点；
S44.将所述下一层叶节点设为所述当前叶节点，重复所述步骤S42、S43，直至满足预设树高时停止。
进一步的，所述典型地物面积占比率的计算公式如下：
Figure BDA0002549041910000032
其中，i为遥感影像的序号，Ai sch为第i个遥感影像的典型地物面积占比率，
Figure BDA0002549041910000033
为第i个遥感影像的典 型地物的宽度，
Figure BDA0002549041910000034
为第i个遥感影像的典型地物的长度。
进一步的，所述非典型地物包括居民区地物、工业区地物和裸地/农田地物，所述典型地物包括操场地 物。
与现有技术相比，本发明充分利用多标签分类网络对非典型地物(大面积地物，如居民区、工厂、裸 地/农田)高效识别以及YOLO目标检测算法对典型地物(如操场)精确定位进而可快速识别非典型和典 型地物类型的优点，采用训练集对这两个模型进行训练，得到训练后的多标签分类网络模型和YOLO目标 检测算法，然后采用验证集(第二训练集)基于两个训练好的模型对决策树模型进行训练，实现了两种深 度学习模型的耦合使用，提高城市功能分区的准确率和可解释性。
附图说明
图1是本发明提供的一种耦合多标签分类网络和YOLO的城市功能分区方法流程图；
图2是本发明实施例中构建的多标签分类网络和YOLO目标检测算法模型的结构图；
图3是本发明实施例中采集的部分遥感影像示意图；
图4是本发明实施例中训练多标签分类网络模型和YOLO目标检测算法模型时的网络学习损失示意 图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请 实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部 的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本申请保护的范围。
如图1所示，本申请实施例提供的耦合多标签分类网络和YOLO目标检测算法的城市功能区分类方法， 具体包括以下步骤：
S1：样本采集与标注：采集遥感影像样本，标记遥感影像样本中的各遥感影像的地物类型，得到具有 地物类型标签的遥感影像数据库，将所述遥感影像数据库分为第一训练集和第二训练集，并对所述第二训 练集中的遥感影像进行功能类型标记；
S11：采集遥感影像样本。
本申请从地理空间数据云和开放网络地图接口获取城市遥感影像。
对于获得的城市遥感影像进行大气校正和地理配准后得到遥感影像样本，具体过程为：
大气校正。在遥感影像处理软件中对城市遥感影像进行大气校正，减小云和雾对城市遥感影像清晰度 的影响；
地理配准。路网数据的空间参考与其他步骤中的数据空间参考不一致，导致空间分析时其位置无法相 互匹配，因此需在ArcGIS软件中将数据转换为相应的地理坐标系，并进行几何校正。
S12：标记遥感影像样本中的各遥感影像的地物类型，得到具有地物类型标签的遥感影像数据库；
本发明实施例中，地物类型选择为居民区、工厂、裸地/农田和操场。以独热编码方式对遥感影像进行 居民区、工厂、裸地/农田和操场等地物类型标记，若遥感影像为居民区，则编码为(1,0,0,0)，若遥感影 像为工厂则编码为(0,1,0,0)，若遥感影像为裸地/农田则编码为(0,0,1,0)，若遥感影像为操场则编码为操 场则编码为(0,0,0,1)，若遥感影像包含全部地物则编码为(1,1,1,1)其他情况同理；
S13：将遥感影像数据库分为第一训练集和第二训练集，并对第二训练集中的遥感影像进行功能类型 标记。
S2.多标签分类网络模型训练：根据所述第一训练集中的遥感影像的地物类型确定非典型地物遥感数据 集和典型地物遥感数据集；采用所述非典型地物遥感数据集对构建好的多标签分类网络模型进行训练，得 到训练后的多标签分类网络模型；
S21.根据所述第一训练集中的遥感影像的地物类型确定非典型地物遥感数据集和典型地物遥感数据集；
其中，所述非典型地物遥感数据集中的遥感影像含非典型地物，所述非典型地物为所述遥感影像数据 中空间纹理特征不明显的地物，所述典型地物遥感数据集中的遥感影像含典型地物，所述典型地物为所述 遥感影像数据中空间纹理特征明显的地物；若遥感影像包含的地物类型为非典型地物，则将该遥感影像归 为非典型地物遥感数据集；若遥感影像包含的地物类型为典型地物，则将该遥感影像归为典型地物遥感数 据集；若遥感影像既包含非典型地物又包含典型地物，则将该遥感影像归为典型地物遥感数据集同时归为典型地物遥感数据集和非典型地物遥感数据集；本发明实施例中，居民区、工厂、裸地/农田为非典型地物， 操场为典型地物。
S22.构建多标签分类网络，具体如图2(a)所示。
基于GeForce RTX 2080Ti GPU硬件平台，利用Python Keras模块，以残差神经网络为基础架构，构 建多标签分类网络。该多标签分类网络中输入图像的尺寸确定为M*M像素。本发明实施例中M取值为 300。
S23.将非典型地物遥感数据集中的遥感影像的尺寸统一变换为300*300像素后，将其与对应的地物类 型标记数据输入多标签分类网络模型中，前向传播获得多标签分类网络模型输出的所述变换后的遥感影像 样本地物的类型置信度；
S24.利用二元交叉熵为损失函数，将损失函数值按极小化误差的方法进行反向传播，调整所述多标签 分类网络模型的权重，得到训练后的多标签分类网络模型，其中，损失函数计算公式如下：
Figure BDA0002549041910000041
Figure BDA0002549041910000042
上式中，J(θ)为二元交叉熵，N代表样本数，x(i)代表第i个变换后的遥感影像样本，hθ()代表激活函 数，y(i)代表第i个变换后的遥感影像的标签，w为多标签分类网络模型的权重。
S3.YOLO目标检测算法模型训练：将所述典型地物遥感数据集中的遥感影像样本添加典型地物的尺寸 和空间位置信息后，得到具有空间信息标签的典型地物遥感数据集，采用具有空间信息标签的典型地物遥 感数据集对构建好的YOLO目标检测算法模型进行训练，得到训练后的YOLO目标检测算法模型。
S31.将典型地物遥感数据集中的遥感影像添加典型地物的尺寸和空间位置信息。
利用LabelImg工具，为典型地物遥感数据集中的遥感影像添加典型地物的尺寸和空间位置信息，如(w, h,x,y,c)，其中w和h分别代表操场的宽和长，x和y分别代表操场的中心点坐标，c代表该遥感影像含 有操场的置信度。
S32.构建YOLO目标检测算法模型，具体如图2(b)所示。
使用YOLO v3开源程序，基于GeForce RTX 2080Ti GPU硬件平台，利用PythonKeras模块，构建 YOLO目标检测算法模型。
S33.将典型地物遥感数据集中遥感影像的尺寸统一为N*N像素，本发明实施例中N取值为256。对统 一尺寸后的遥感影像下采样32倍、16倍和8倍，得到下采样32倍的特征图、下采样16倍的特征图和下 采样8倍的特征图，构建多尺度典型地物特征图集。
S34.将步骤S33得到的多尺度典型地物特征图集中的特征图及其对应的地物类型和空间信息的标注数 据输入构建好的YOLO目标检测算法模型中，前向传播获得YOLO目标检测算法模型输出的遥感影像的 地物类型置信度、地物尺寸和地物空间位置信息；
S35.将损失函数值按极小化误差的方法进行反向传播，调整YOLO目标检测算法模型的权重以调整 先验框的大小和类别置信度(C)，得到训练后的YOLO目标检测算法模型。本发明实施例中，先验框的大 小包括宽度(w)，长度(h)和中心点坐标(x，y)，其中损失函数计算公式如下：
Figure BDA0002549041910000051
上式中，Loss1,Loss2,Loss3,Loss4,Loss5分别代表空间位置误差、尺寸误差、有地物时的置信度误差， 没有地物时的置信度误差以及分类误差，
Figure BDA0002549041910000052
代表示性函数，其中，如果第i个网格中的第j个先验框中有 物体时，
Figure BDA0002549041910000053
反之为0，S代表特征图的网格数量，B代表先验框的数量。
Figure BDA0002549041910000054
代表第i个网格中的第 j个先验框中的识别精度。
S4.决策树模型训练。
S41.将第二训练集中的遥感影像数据作为训练后的多标签分类网络模型的输入，获取训练后的多标签 分类网络模型输出的遥感影像非典型地物类型置信度；
本发明实施例中，输出的遥感影像非典型地物类型置信度为
Figure BDA0002549041910000055
其中，Pi res为第二 训练集中第i个遥感影像为居民地的置信度，Pi ind为第二训练集中第i个遥感影像为工厂的置信度，Pi bar为 第二训练集中第i个遥感影像为裸地/农田的置信度；
S42.将第二训练集中的遥感影像数据作为训练后的YOLO目标检测算法模型的输入，获取训练后的 YOLO目标检测算法模型输出的遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息；
本发明实施例中，典型地物为操场，输出的遥感影像典型地物类型置信度为{Pi sch}，其中，Pi sch为 第二训练集中第i个遥感影像操场的置信度；输出的典型地物尺寸为宽度
Figure BDA0002549041910000056
长度
Figure BDA0002549041910000057
典型地物位置 信息为中心点坐标(xi,yi)。
S43.根据典型地物面积占比率公式计算操场的面积占比率。
Figure BDA0002549041910000058
其中，Ai sch为典型地物面积占比，
Figure BDA0002549041910000059
为典型地物的宽度，
Figure BDA00025490419100000510
为典型地物的长度。
S44.根据第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比 率和地物类型标签，采用所述第二训练集对构建好的决策树模型进行训练，得到训练后的决策树模型；
S441.将第二训练集中的各个遥感影像设定为决策树模型的当前叶节点；
S442.针对遥感影像的每一属性，以多个互不相同的特征阈值分别对所述当前叶节点进行划分，并求取 每次划分后所对应的基尼系数；其中，所述特征阈值在对应于所述属性的所有遥感影像的特征值的范围内 任意取值；
在本发明实施例中，属性包括遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面 积占比率；针对每一个属性，即分别针对非典型地物类型置信度属性、典型地物类型置信度属性和典型地 物面积占比率属性，以多个互不相同的特征阈值分别对所述当前叶节点进行划分，并求取每次划分后所对 应的基尼系数；
本发明实施例中，基尼系数的计算公式为：
Figure BDA0002549041910000061
Figure BDA0002549041910000062
上式中，Gini_Index为基尼系数，Prob2(j|h)指第二训练集中所述属性特征值为h的遥感影像属于第j 类功能的概率，nj(h)为第二训练集中所述属性的特征值为h且属于第j类功能的遥感影像个数，n(h)为第 二训练集中所述属性特征值为h的遥感影像的个数，J为功能类型数；
本发明实施例中，J＝4，功能类型包括居民区、工业区、裸地/农田和学校。
S443.以与最小所述基尼系数所对应的划分来分裂该当前叶节点，以形成所述决策树的下一层叶节点；
S444.将所述下一层叶节点设为所述当前叶节点，重复所述步骤S442、S443，直至满足预设树高时停 止。
本发明实施例中，树高设为4。
S5.目标城市功能分区。
S51.将目标城市划分为若干个目标街区；
S511.使用百度地图提供的开放路网获取接口，利用网络爬虫技术，基于地理方位爬取目标城市中的路 网数据和河网数据。
S512.对于获得的路网、河网数据，还需要进行数据清洗，具体过程为：
地理范围筛选。因路网数据通过网络地图接口获取，部分数据存在地理范围越界问题，需在地理信息 系统软件中对该部分数据进行编辑剔除。
文件格式转换。原始路网数据为文本格式，不易于在地理信息系统软件中进行空间分析，需将该类文 件转换为图形文件(ShapeFile)，便于空间分析和可视化操作。
地图匹配。路网数据的空间参考与其他步骤中的数据空间参考不一致，导致空间分析时其位置无法相 互匹配，因此需在ArcGIS软件中将数据转换为相应的地理坐标系，并进行几何校正。
S513.使用路网数据和河网数据分割目标城市，形成若干目标街区，具体过程为：
使用ArcGIS软件从路网数据和河网数据中筛选三级以上的道路数据和主要河流数据，将其转为面状 数据，并合并；
使用合并的道路和河流数据，分割城市，形成若干个目标街区。
S52.获取各个目标街区的遥感影像数据
本申请实施例从地理空间数据云和开放网络地图接口下载目标城市的遥感影像数据。用各个目标街区 对目标城市的遥感影像数据进行裁剪，得到各个目标街区的遥感影像数据。
S53.将各个目标街区的遥感影像数据作为训练后的多标签分类网络模型的输入，获取所述训练后的多 标签分类网络模型输出的各个所述目标街区遥感影像非典型地物类型置信度；
S54.将各个目标街区的遥感影像数据作为训练后的YOLO目标检测算法模型的输入，获取所述训练后 的YOLO目标检测算法模型输出的各个目标街区遥感影像典型地物类型置信度、典型地物尺寸和典型地物 空间位置信息，根据所述典型地物尺寸计算得到典型地物面积占比率；
S55.将各个目标街区遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率 作为所述训练后的决策树模型的输入，获取所述决策树模型输出的所述目标城市的功能分区结果。
下面结合实际应用场景对本发明实施例提供的技术方案进行详细说明。
本发明实施例中所采集的遥感影像样本中第一训练集包括从江浙沪一带和南通市除港闸区、崇川区 以外的其他区域选取的一系列遥感影像，其中，非典型地物遥感数据集包括工业区地物200张，居民区 地物200张，裸地/农田地物200张，这些地物类型的混合图像400张，典型地物遥感数据集包括操场地 物400张。本发明实施例中所采集的遥感影像样本中第二训练集包括从南通市崇川区选取的420张遥感 影像，其中，居民区232张，学校18张、工业区109张、裸地/农田61张。其中，部分遥感影像样本如 图3所示，图3(a)为从南通市崇川区采集的部分遥感影像，图3(b)为非典型地物遥感数据集中的部 分遥感影像，图3(c)为典型地物遥感数据集中的部分遥感影像。目标城市为南通市港闸区。具体环境 为：Jupyter Notebook和ArcGIS软件平台以及GeForce RTX 2080Ti GPU等硬件平台，利用Python及其 相关库进行开发实验，如Numpy、Pandas、Keras、Matplotlib等。其中，路网数据利用网络爬虫通过百 度地图API获取；遥感影像数据为2018年百度遥感影像，分辨率为0.5米；其他数据分别从相关平台获 取。
图4为训练多标签分类网络模型和YOLO目标检测算法模型时的网络学习损失示意图，其中，图4(a) 为多标签分类网络的学习状况，虽然曲线波动较大，但趋势已基本收敛，当训练到第50个epoch(迭代次 数)时达到较好结果。图4(b)展示了YOLO的学习状况，当训练达到第90个epoch时损失值已基本收敛， 可达到较好结果。
根据第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比率和 功能类型标签构建结构化表，部分数据如表1所示，使用结构化表训练决策树模型，当决策树模型树高为 4时，模型的平均精度、平均Kappa系数分别可达83.9％和75.4％。
表1
Figure BDA0002549041910000071
采用训练好的多标签分类网络、YOLO目标检测算法模型和决策树模型对港闸区进行城市功能分区， 精度和Kappa系数分别可达78.9％和71.1％。
本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明 本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都 落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种耦合多标签分类网络和YOLO的城市功能分区方法，其特征在于，包括如下步骤：
S1.样本采集与标注：采集遥感影像样本，标记遥感影像样本中的各遥感影像的地物类型，得到具有地物类型标签的遥感影像数据库，将所述遥感影像数据库分为第一训练集和第二训练集，并标记所述第二训练集中的遥感影像的功能类型；
S2.多标签分类网络模型训练：根据所述第一训练集中的遥感影像的地物类型确定非典型地物遥感数据集和典型地物遥感数据集；采用所述非典型地物遥感数据集对构建好的多标签分类网络模型进行训练，得到训练后的多标签分类网络模型；
其中，所述非典型地物遥感数据集中的遥感影像含非典型地物，所述非典型地物为所述遥感影像数据中空间纹理特征不明显的地物，所述典型地物遥感数据集中的遥感影像含典型地物，所述典型地物为所述遥感影像数据中空间纹理特征明显的地物；
S3.YOLO目标检测算法模型训练：将所述典型地物遥感数据集中的遥感影像添加典型地物的尺寸和空间位置信息后，得到具有空间信息标签的典型地物遥感数据集，采用所述具有空间信息标签的典型地物遥感数据集对构建好的YOLO目标检测算法模型进行训练，得到训练后的YOLO目标检测算法模型；
S4.决策树模型训练：将所述第二训练集中的遥感影像数据作为训练后的多标签分类网络模型的输入，获取所述训练后的多标签分类网络模型输出的遥感影像非典型地物类型置信度；将所述第二训练集中的遥感影像数据作为训练后的YOLO目标检测算法模型的输入，获取所述训练后的YOLO目标检测算法模型输出的遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息，根据所述典型地物尺寸计算得到典型地物面积占比率；根据所述第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比率和地物类型标签，采用所述第二训练集对构建好的决策树模型进行训练，得到训练后的决策树模型；
S5.目标城市功能分区：将目标城市划分为若干个目标街区，并获取各个所述目标街区的遥感影像数据；
将各个所述目标街区的遥感影像数据作为训练后的多标签分类网络模型的输入，获取所述训练后的多标签分类网络模型输出的各个所述目标街区遥感影像非典型地物类型置信度；
将各个所述目标街区的遥感影像数据作为训练后的YOLO目标检测算法模型的输入，获取所述训练后的YOLO目标检测算法模型输出的各个所述目标街区遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息，根据所述典型地物尺寸计算得到典型地物面积占比率；
将各个所述目标街区遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率作为所述训练后的决策树模型的输入，获取所述决策树模型输出的所述目标城市的功能分区结果。
2.根据权利要求1所述的城市功能区分类方法，其特征在于，步骤S2中，所述采用所述非典型地物遥感数据集对多标签分类网络模型进行训练，得到训练后的多标签分类网络模型，具体为：
S21.将所述非典型地物遥感数据集中遥感影像的尺寸统一变换为M*M像素，并将变换后的遥感影像及其对应的地物类型标记数据输入多标签分类网络模型中，前向传播获得多标签分类网络模型输出的所述变换后的遥感影像地物的类型置信度；
S22.利用二元交叉熵为损失函数，将损失函数值按极小化误差的方法进行反向传播，调整所述多标签分类网络模型的权重，得到训练后的多标签分类网络模型，其中，损失函数计算公式如下：
Figure FDA0002549041900000011
Figure FDA0002549041900000012
上式中，J(θ)为二元交叉熵，N代表样本数，x(i)代表第i个变换后的遥感影像，hθ()代表激活函数，y(i)代表第i个变换后的遥感影像的标签，w为多标签分类网络模型的权重。
3.根据权利要求2所述的城市功能区分类方法，其特征在于，步骤S3中，所述采用所述具有空间信息标签的典型地物遥感数据集对构建好的YOLO目标检测算法模型进行训练，得到训练后的YOLO目标检测算法模型，具体包括：
S31.将所述典型地物遥感数据集中遥感影像的尺寸统一为N*N像素后下采样32倍、16倍和8倍，得到多尺度典型地物特征图集；
S32.将所述多尺度典型地物特征图集中的特征图及其对应的地物类型标注数据和空间信息标注数据输入构建好的YOLO目标检测算法模型中，前向传播获得YOLO目标检测算法模型输出的遥感影像的地物类型置信度、地物尺寸和地物空间位置信息；
S33.将损失函数值按极小化误差的方法进行反向传播，调整YOLO目标检测算法模型的权重，得到训练后的YOLO目标检测算法模型，所述损失函数的计算公式如下：
Figure FDA0002549041900000021
上式中，Loss1,Loss2,Loss3,Loss4,Loss5分别代表空间位置误差、尺寸误差、有地物时的置信度误差，没有地物时的置信度误差以及分类误差，
Figure FDA0002549041900000022
代表示性函数，其中，如果第i个网格中的第j个先验框中有物体时，
Figure FDA0002549041900000023
反之为0，S代表特征图的网格数量，B代表先验框的数量。
Figure FDA0002549041900000024
代表第i个网格中的第j个先验框中的识别精度。
4.根据权利要求3所述的城市功能区分类方法，其特征在于，步骤S4中，所述根据所述第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比率和功能类型标签，采用所述第二训练集对构建好的决策树模型进行训练，得到训练后的决策树模型，具体包括：
S41.将所述第二训练集中的各个遥感影像设定为所述决策树模型的当前叶节点；
S42.针对遥感影像的每一属性，以多个互不相同的特征阈值分别对所述当前叶节点进行划分，并求取每次划分后所对应的基尼系数；其中，所述特征阈值在对应于所述属性的所有遥感影像的特征值的范围内任意取值；
其中，所述属性包括遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率；
所述基尼系数的计算公式为：
Figure FDA0002549041900000025
Figure FDA0002549041900000026
上式中，Gini_Index为基尼系数，Prob2(j|h)指第二训练集中所述属性特征值为h的遥感影像属于第j类功能的概率，nj(h)为第二训练集中所述属性的特征值为h且属于第j类功能的遥感影像个数，n(h)为第二训练集中所述属性特征值为h的遥感影像的个数，J为功能类型数；
S43.以与最小所述基尼系数所对应的划分来分裂该当前叶节点，以形成所述决策树的下一层叶节点；
S44.将所述下一层叶节点设为所述当前叶节点，重复所述步骤S42、S43，直至满足预设树高时停止。
5.根据权利要求1所述的城市功能区分类方法，其特征在于，所述典型地物面积占比率的计算公式如下：
Figure FDA0002549041900000027
其中，i为遥感影像的序号，Ai sch为第i个遥感影像的典型地物面积占比率，
Figure FDA0002549041900000031
为第i个遥感影像的典型地物的宽度，
Figure FDA0002549041900000032
为第i个遥感影像的典型地物的长度。
6.根据权利要求1所述的城市功能分区方法，其特征在于，所述非典型地物包括居民区地物、工业区地物和裸地/农田地物，所述典型地物包括操场地物。
CN202010569585.4A 2020-06-20 2020-06-20 一种耦合多标签分类网络和yolo的城市功能分区方法 Withdrawn CN111814597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010569585.4A CN111814597A (zh) 2020-06-20 2020-06-20 一种耦合多标签分类网络和yolo的城市功能分区方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010569585.4A CN111814597A (zh) 2020-06-20 2020-06-20 一种耦合多标签分类网络和yolo的城市功能分区方法

Publications (1)

Publication Number Publication Date
CN111814597A true CN111814597A (zh) 2020-10-23

Family

ID=72845369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010569585.4A Withdrawn CN111814597A (zh) 2020-06-20 2020-06-20 一种耦合多标签分类网络和yolo的城市功能分区方法

Country Status (1)

Country Link
CN (1) CN111814597A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733781A (zh) * 2021-01-20 2021-04-30 中国科学院地理科学与资源研究所 结合poi数据的城市功能区识别方法、存储介质和电子设备
CN112733782A (zh) * 2021-01-20 2021-04-30 中国科学院地理科学与资源研究所 基于道路网的城市功能区识别方法、存储介质和电子设备
CN113627288A (zh) * 2021-07-27 2021-11-09 武汉大学 一种面向海量影像的智能化信息标签获取方法
CN113657324A (zh) * 2021-08-24 2021-11-16 速度时空信息科技股份有限公司 基于遥感影像地物分类的城市功能区识别方法
CN113689085A (zh) * 2021-07-30 2021-11-23 深圳集智数字科技有限公司 一种多指标要素的特征属性信息处理方法以及装置
CN115937681A (zh) * 2022-12-05 2023-04-07 中铁第四勘察设计院集团有限公司 一种遥感影像样本数据清洗方法
WO2023143000A1 (zh) * 2022-01-28 2023-08-03 同济大学 一种基于多源大数据的老龄友好街道建成环境审计系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733781A (zh) * 2021-01-20 2021-04-30 中国科学院地理科学与资源研究所 结合poi数据的城市功能区识别方法、存储介质和电子设备
CN112733782A (zh) * 2021-01-20 2021-04-30 中国科学院地理科学与资源研究所 基于道路网的城市功能区识别方法、存储介质和电子设备
CN112733782B (zh) * 2021-01-20 2022-02-11 中国科学院地理科学与资源研究所 基于道路网的城市功能区识别方法、存储介质和电子设备
CN113627288A (zh) * 2021-07-27 2021-11-09 武汉大学 一种面向海量影像的智能化信息标签获取方法
CN113627288B (zh) * 2021-07-27 2023-08-18 武汉大学 一种面向海量影像的智能化信息标签获取方法
CN113689085A (zh) * 2021-07-30 2021-11-23 深圳集智数字科技有限公司 一种多指标要素的特征属性信息处理方法以及装置
CN113657324A (zh) * 2021-08-24 2021-11-16 速度时空信息科技股份有限公司 基于遥感影像地物分类的城市功能区识别方法
WO2023143000A1 (zh) * 2022-01-28 2023-08-03 同济大学 一种基于多源大数据的老龄友好街道建成环境审计系统
CN115937681A (zh) * 2022-12-05 2023-04-07 中铁第四勘察设计院集团有限公司 一种遥感影像样本数据清洗方法
CN115937681B (zh) * 2022-12-05 2024-04-19 中铁第四勘察设计院集团有限公司 一种遥感影像样本数据清洗方法

Similar Documents

Publication Publication Date Title
CN111814597A (zh) 一种耦合多标签分类网络和yolo的城市功能分区方法
CN110705457B (zh) 一种遥感影像建筑物变化检测方法
CN106778605B (zh) 导航数据辅助下的遥感影像道路网自动提取方法
CN110246112B (zh) 基于深度学习的激光扫描slam室内三维点云质量评价方法
Movaghati et al. Road extraction from satellite images using particle filtering and extended Kalman filtering
Sohn et al. An implicit regularization for 3D building rooftop modeling using airborne lidar data
CN113065594B (zh) 一种基于北斗数据与遥感影像融合的路网提取方法及装置
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN113723715B (zh) 公交线网自动匹配道路网络方法、系统、设备及存储介质
Meng et al. Automatic classification of rural building characteristics using deep learning methods on oblique photography
CN109145836A (zh) 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法
CN111598942A (zh) 一种用于对电力设施仪表进行自动定位的方法及系统
CN115409069A (zh) 村镇建筑的识别方法、分类方法、装置、电子设备和介质
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN116503705B (zh) 一种数字城市多源数据的融合方法
CN113077424A (zh) 一种基于深度学习的输电线路通道环境变化检测方法及系统
CN107967454B (zh) 顾及空间邻域关系的双路卷积神经网络遥感分类方法
CN110636248B (zh) 目标跟踪方法与装置
KR102156085B1 (ko) 고해상도 드론 영상을 활용한 산림지역 변화 탐지 및 변화지역 투수/불투수도 갱신 방법
Li et al. Automatic detection and recognition of road intersections for road extraction from imagery
CN112686254B (zh) 一种基于红外卫星云图的台风中心定位方法
CN116363319B (zh) 一种建筑物屋顶的建模方法、建模装置、设备及介质
CN117570968A (zh) 基于视觉路标的地图构建与维护方法、装置及存储介质
CN117392541A (zh) 一种利用unet模型的管道周边建筑物影像识别与管理方法
Kim et al. Analysis of Domestic Building Detection Based on the YOLO

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201023