CN116385716A - 一种基于遥感图的三维地图地物数据自动化生产方法 - Google Patents
一种基于遥感图的三维地图地物数据自动化生产方法 Download PDFInfo
- Publication number
- CN116385716A CN116385716A CN202211664363.6A CN202211664363A CN116385716A CN 116385716 A CN116385716 A CN 116385716A CN 202211664363 A CN202211664363 A CN 202211664363A CN 116385716 A CN116385716 A CN 116385716A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- map
- data
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000004040 coloring Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 2
- 239000003643 water by type Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008485 antagonism Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供了一种基于遥感图的三维地图地物数据自动化生产方法及装置。该方法包括：通过采集卫星遥感图像数据获取地面场景图像；对地面场景图像预处理，选取出物类目标并上色处理，得到标记遥感图像；对标记遥感图像进行灰度化处理，并根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到对应地面场景图像的图像标签；利用深度学习的分割模型对地面场景图像进行语义分割，得到语义分割结果；将语义分割结果与历史地图数据进行差分处理，根据差分结果对历史地图数据进行更新，得到更新后的地图数据。
Description
技术领域
本申请涉及遥感图像和语义分割的地图数据生产技术领域，尤其涉及一种基于遥感图的三维地图地物数据自动化生产方法及装置，通过利用遥感技术与语义分割技术相结合来搭建一条从真实世界到三维地图应用终端的高效高质量数据自动化生产通道。
背景技术
近些年，国内道路交通及相关设施的基础建设日新月异，广大用户日常出行需求旺盛，对所使用到的电子地图数据更新的速度、质量和准确率提出了更高的要求。然而，传统的地图数据采集和生产过程，即通过采集设备实地采集后对采集资料进行人工处理的模式，存在着数据更新慢、加工成本高等问题。该方法的缺点是时间周期长、耗费大量的人力物力成本，若场景变化发现不及时，还会造成地图导航错误等影响用户体验的结果。
发明内容
本发明的目的在于地图数据生产自动化的实现，就是在基础地图数据生产过程中，引入遥感技术与图像AI技术，结合多年地图标注数字化生产作业规范及经验，制造出一条自动化生产线从而持续的提供高效高质量的地图数据，数据采集模式已经从“区域性定时性的计划采集模式”转变为了“动态的AI智能更新”，以解决地图生产线专业化程度高、人工成本大、作业效率低等问题，最终满足广大用户出行过程对电子地图产品数据的需求。
本申请实施例提供了一种基于遥感图的三维地图地物数据自动化生产方法，包括：
通过采集卫星遥感图像数据获取地面场景图像；
对所述地面场景图像预处理，选取出物类目标并上色处理，得到标记遥感图像；
对所述标记遥感图像进行灰度化处理，并根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到对应所述地面场景图像的图像标签；
利用深度学习的分割模型对所述地面场景图像进行语义分割，得到语义分割结果；
将所述语义分割结果与历史地图数据进行差分处理，根据差分结果对所述历史地图数据进行更新，得到更新后的地图数据。
在一些实施例中，所述物类目标包括以下至少之一：道路、水域、建筑、植被。
在一些实施例中，所述方法还包括：
将所述地面场景图像及对应所述地面场景图像的标签图像作为训练样本，对深度学习模型进行训练，得到所述深度学习的分割模型。
在一些实施例中，所述得到语义分割结果后，还包括：利用交并比判断分割结果的准确程度，舍弃准确率低的分割结果。
本申请实施例提供了一种基于遥感图的三维地图地物数据自动化生产装置，包括：
卫星数据采集模块，被配置为通过采集卫星数据采集高分辨率地面场景图像，将图像进行预处理，针对于每张原始遥感图像，选取出物类目标，并根据该物类目标所分配的RGB值对该物类目标进行上色处理，得到标记遥感图像；然后对标记遥感图像进行灰度化处理，并且根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到原始遥感图像训练样本对应的标签图像；
基于深度学习的卫星数据分割与评估模块，被配置为利用深度学习的各种分割模型对原始图像进行语义分割，得到语义分割结果，利用交并比判断分割结果的准确程度，舍弃准确率低的分割结果；
基于历史库的场景变化检测模块，被配置为将所述语义分割结果与历史地图数据进行差分处理，差分正向生成新增和修改，反向产生删除对所述历史地图进行更新，得到更新后的地图数据。
本申请上述实施例的有益效果包括：
利用遥感技术与图像视觉AI能力可以确定出三维地图中各种场景的内容及位置，与历史数据对比，可以分析研究出地图场景在数量上和空间上的变化规律，能够科学的提供资料使地图数据更新得更快更准。同时结合强大而专业的数据融合能力，实现100％信息融入，从而构建出高质量的全国基础地图更新。通过利用遥感技术与语义分割技术相结合来搭建一条从真实世界到三维地图应用终端的高效高质量数据自动化生产通道。以解决地图生产线专业化程度高、人工成本大、作业效率低等问题，最终满足广大用户出行过程对电子地图产品数据的需求。
附图说明
附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为基于遥感图的三维地图地物数据自动化生产方法流程示意图；
图2为地物分割方案示意图；
图3为地图地物变化检测流程效果示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
如图1所示，整个发明主要分为三个部分：基于遥感卫星图像的数据采集模块，基于深度学习的卫星数据分割与评估模块，基于历史库的场景变化检测模块。
1.卫星数据采集模块
通过采集卫星数据采集高分辨率地面场景图像，将图像进行预处理，针对于每张原始遥感图像，选取出物类目标，并根据该物类目标所分配的RGB值对该物类目标进行上色处理，得到标记遥感图像；然后对标记遥感图像进行灰度化处理，并且根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到原始遥感图像训练样本对应的标签图像。比如正射投影等方法，去掉建筑侧影对分割产生的影响。
2.基于深度学习的卫星数据分割与评估模块
利用深度学习的各种分割模型(包括但不限于u-net，deepLabv3，mask-rcnn等)对原始图像进行语义分割，分割出道路、水域、建筑、植被等信息，利用交并比判断分割结果的准确程度，舍弃准确率低的分割结果。
3.基于历史库的场景变化检测模块
利用我们的分割方法生成diff文件，与地图数据进行差分处理，差分正向生成新增和修改，反向产生删除对目标地图进行更新,从而完成对地图进行更新处理。
本申请一个实施例基于遥感图的三维地图地物数据自动化生产方法的地物分割方案如图2所示。
首先，我们对目标卫星的遥感卫星数据进行预处理。先把遥感卫星数据进行正射投影，消除建筑侧影对模型的影响。具体方法是利用目标卫星0.3米的卫星数据自带的RPC信息与通过DSM生成的DEM数字高程模型做数字微分纠正进行正射变换，从而得到正射投影后的遥感数据。针对于每张原始遥感图像，划分为道路、水域、建筑、植被等类别。对每种类别的目标根据所设定的RGB值进行上色，同时进行灰度化处理。根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，最终得到与遥感图像一一对应的图像标签。数据标注完成后，将数据集划分为训练集跟测试集。然后对数据集进行数据增强处理。常用的数据增强方式是几何变换和添加噪声。我们利用的是生成对抗网络，生成对抗网络受到博弈论的启发，其包括一个生成器和一个判别器，以对抗学习的方式生成能够以假乱真的数据，因此，在这里我们把生成对抗网络当作一种高级的数据增强方式对数据集进行处理。我们利用的主要是有监督的条件生成对抗网络pix2pix，但是考虑到有些数据难以获得匹配的标注数据，因此我们也同时采用了无监督的循环一致生成对抗网络cyclegan分别对成对的数据和不成对的数据都进行数据增强处理以扩充数据。
将经过处理后的遥感卫星图像输入到分割网络的编码器中，编码器由深度卷积网络和金字塔池化模块构成。先通过深度卷积网络提取到图像的特征。得到的特征分别输入到金字塔池化模块和解码器中。其中输入到金字塔池化模块的特征以不同尺度的卷积去提取不同尺度的特征，然后再把得到的结果拼接起来通过1X1的卷积进行降维，再上采样4倍输入到解码器中去。同时解码器把由深度卷积网络提取到的特征经过1X1的卷积进行降维后再与刚刚上采样4倍的结果进行特征融合，最后经过2个3X3的卷积得到最终的分割结果。
在训练过程中不断的优化分割模型，构建出一个精准的遥感图像分割模型，把得到的分割结果与真实结果进行矩阵计算，得到召回精确率、召回率以及F值。如图3所示，接下来进行差分处理来实现场景变化检测，将分割后的结果与历史语义分割结果进行差分对比获取diff数据，设定阈值为0.5，差分结果正向生成新增mark和修改，反向产生删除mark对目标地图实现对更新。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成。
Claims (5)
1.一种基于遥感图的三维地图地物数据自动化生产方法，其特征在于，所述方法包括：
通过采集卫星遥感图像数据获取地面场景图像；
对所述地面场景图像预处理，选取出物类目标并上色处理，得到标记遥感图像；
对所述标记遥感图像进行灰度化处理，并根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到对应所述地面场景图像的图像标签；
利用深度学习的分割模型对所述地面场景图像进行语义分割，得到语义分割结果；
将所述语义分割结果与历史地图数据进行差分处理，根据差分结果对所述历史地图数据进行更新，得到更新后的地图数据。
2.根据权利要求1所述的基于遥感图的三维地图地物数据自动化生产方法，其特征在于，所述物类目标包括以下至少之一：道路、水域、建筑、植被。
3.根据权利要求1所述的基于遥感图的三维地图地物数据自动化生产方法，其特征在于，所述方法还包括：
将所述地面场景图像及对应所述地面场景图像的标签图像作为训练样本，对深度学习模型进行训练，得到所述深度学习的分割模型。
4.根据权利要求1所述的基于遥感图的三维地图地物数据自动化生产方法，其特征在于，所述得到语义分割结果后，还包括：利用交并比判断分割结果的准确程度，舍弃准确率低的分割结果。
5.一种基于遥感图的三维地图地物数据自动化生产装置，其特征在于，所述装置包括：
卫星数据采集模块，被配置为通过采集卫星数据采集高分辨率地面场景图像，将图像进行预处理，针对于每张原始遥感图像，选取出物类目标，并根据该物类目标所分配的RGB值对该物类目标进行上色处理，得到标记遥感图像；然后对标记遥感图像进行灰度化处理，并且根据其中物类目标所分配的灰度值对该物类目标的每个像素点重新赋予灰度值，从而得到原始遥感图像训练样本对应的标签图像；
基于深度学习的卫星数据分割与评估模块，被配置为利用深度学习的各种分割模型对原始图像进行语义分割，得到语义分割结果，利用交并比判断分割结果的准确程度，舍弃准确率低的分割结果；
基于历史库的场景变化检测模块，被配置为将所述语义分割结果与历史地图数据进行差分处理，差分正向生成新增和修改，反向产生删除对所述历史地图进行更新，得到更新后的地图数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211664363.6A CN116385716A (zh) | 2022-12-23 | 2022-12-23 | 一种基于遥感图的三维地图地物数据自动化生产方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211664363.6A CN116385716A (zh) | 2022-12-23 | 2022-12-23 | 一种基于遥感图的三维地图地物数据自动化生产方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385716A true CN116385716A (zh) | 2023-07-04 |
Family
ID=86960288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211664363.6A Pending CN116385716A (zh) | 2022-12-23 | 2022-12-23 | 一种基于遥感图的三维地图地物数据自动化生产方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385716A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422787A (zh) * | 2023-12-18 | 2024-01-19 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
-
2022
- 2022-12-23 CN CN202211664363.6A patent/CN116385716A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422787A (zh) * | 2023-12-18 | 2024-01-19 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
| CN117422787B (zh) * | 2023-12-18 | 2024-03-08 | 中国人民解放军国防科技大学 | 一种融合判别式和生成式模型的遥感影像转换地图方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986099B (zh) | 基于融合残差修正的卷积神经网络的耕地监测方法及系统 | |
| CN113449594B (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
| CN110619282A (zh) | 一种无人机正射影像建筑物自动提取方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN113191374B (zh) | 基于金字塔注意力网络的PolSAR图像山脊线提取方法 | |
| CN112070078A (zh) | 基于深度学习的土地利用分类方法及系统 | |
| CN112347970A (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
| CN111666909A (zh) | 基于面向对象和深度学习的疑似污染场地空间识别方法 | |
| CN113256649B (zh) | 一种基于深度学习的遥感图像选站选线语义分割方法 | |
| CN109829507B (zh) | 航拍高压输电线路环境检测方法 | |
| CN112560716A (zh) | 一种基于低层特征融合的高分辨率遥感影像水体提取方法 | |
| CN111738113A (zh) | 基于双注意力机制与语义约束的高分辨遥感图像的道路提取方法 | |
| CN112287838B (zh) | 基于静止气象卫星影像序列的云雾自动判识方法及系统 | |
| CN112001293A (zh) | 结合多尺度信息和编解码网络的遥感影像地物分类方法 | |
| CN111414954A (zh) | 一种岩石图像检索方法及其系统 | |
| CN114821326A (zh) | 一种宽幅遥感影像中密集弱小目标检测识别方法 | |
| CN113420619A (zh) | 一种遥感影像建筑物提取方法 | |
| CN116385716A (zh) | 一种基于遥感图的三维地图地物数据自动化生产方法 | |
| CN112598684A (zh) | 一种基于语义分割技术的露天矿区地物分割方法 | |
| CN111461121A (zh) | 一种基于yolov3网络的电表示数识别方法 | |
| CN115527027A (zh) | 一种基于多特征融合机制的遥感影像地物分割方法 | |
| CN114821229A (zh) | 基于条件生成对抗网络的水下声学数据集增广方法及系统 | |
| CN113780117B (zh) | 一种快速识别并提取河口羽状流轮廓相关参数的方法 | |
| CN115830322A (zh) | 一种基于弱监督网络的建筑物语义分割标签扩充方法 | |
| Alirezaie et al. | Open GeoSpatial Data as a Source of Ground Truth for Automated Labelling of Satellite Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |