CN112396039B - 一种基于邻域关系的火星栅格地形地图生成方法 - Google Patents
一种基于邻域关系的火星栅格地形地图生成方法 Download PDFInfo
- Publication number
- CN112396039B CN112396039B CN202110036562.1A CN202110036562A CN112396039B CN 112396039 B CN112396039 B CN 112396039B CN 202110036562 A CN202110036562 A CN 202110036562A CN 112396039 B CN112396039 B CN 112396039B
- Authority
- CN
- China
- Prior art keywords
- grid
- terrain
- mars
- function
- neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000009499 grossing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 241000282326 Felis catus Species 0.000 claims 2
- 238000001514 detection method Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 241000651994 Curio Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Astronomy & Astrophysics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于邻域关系的火星栅格地形地图生成方法,属于计算机图像处理技术领域。该火星栅格地形地图生成方法将收集的火星近地面图片输入地形分类网络中进行训练,当交叉熵损失函数收敛时,完成对地形分类网络的训练,以训练好的地形分类网络为基础,在火星近距离地面图片上划分栅格并逐窗口地预测地形类别,后续在上述栅格地形地图上进行结果的平滑,设计了基于邻域关系的多尺度融合与投票平滑算法,最终生成栅格地形地图。本发明的栅格地形地图生成方法仅依赖于能够提供火星近地面图片的传感器设备,方法简单,是基于导航相机、避障相机等设备实现地形理解的有效方法。
Description
技术领域
本发明属于计算机图像处理技术领域,尤其涉及一种基于邻域关系的火星栅格地形地图生成方法。
背景技术
地形地图的生成是计算机视觉领域中的一个重要任务,被广泛运用在障碍避让、路径规划等诸多任务场景。尤其在当前的地外探测任务中,地面地形的识别是探险车实现环境语义理解、安全路径搜寻的基础。
区别于熟悉可见的地球地表环境,火星地外环境中地面数据存在着非结构化场景差异不明显、危险区域难界定、目标先验知识欠缺、地形纹理难区分等问题。现有的解决方案包括以下三种:(1)使用语义分割算法实现像素级别的地形识别;(2)由目标检测完成对典型目标的侦测后,组合判断地形种类;(3)直接通过分类模型给出粗略的结果。其中,语义分割方法需要专家级的地质知识、大量的高质量标注数据以及高性能的推理设备;而目标检测的方法则依赖于各个子目标识别效果;至于直接分类则往往只适用于单地形场景。
发明内容
针对现有技术的不足,本发明提供了一种基于邻域关系的火星栅格地形地图生成方法。
本发明的目的是通过以下技术方案来实现的:一种基于邻域关系的火星栅格地形地图生成方法,包括以下步骤:
(1)收集火星近地面图片,进行地形类别标注,并对火星近地面图片进行随机翻转、剪裁、伽马变换进行图像增强,获得火星近地面图片数据集;
(2)将步骤(1)获得的火星近地面图片数据集输入地形分类网络中进行训练,当交叉熵损失函数收敛时,完成对地形分类网络的训练;
(3)将火星近距离地面图片划分栅格,选取栅格中的第一个栅格,所述第一个栅格采用若干组0~3的系数向外进行多尺度的扩张,形成若干组候选区域,所述候选区域在邻域范围内,所述邻域是以第一个栅格为中心的5×5栅格区域,并将所述若干组候选区域依次输入训练好的地形分类网络中,分别得到地形预测的概率值;
(4)在第一个栅格的邻域区间中,计算各栅格候选区域与第一个栅格的第一个候选区域之间的重叠面积,生成相应的投票权重,再根据步骤(3)得到的地形预测的概率值,生成平滑的后概率值:
(5)采用步骤(4)的方法遍历第一个栅格的所有候选区域,生成平滑的后概率值,融合所有后概率值,得到第一个栅格的平滑概率值;
(6)将步骤(5)中生成的平滑概率值中最大概率值的地形类别作为标签,并进一步在第一个栅格中平滑掉特异性的结果,获得第一个栅格的地形地图;
(7)遍历栅格中的每一个栅格,采用与第一个栅格相同的系数向外进行多尺度的扩张,重复步骤(3)-(7),获得每一个栅格的地形地图。
与现有技术相比,本发明的有益效果是:本发明是基于邻域关系的栅格地形地图主要针对火星近地面图片进行地形识别,并在全局图像中构建稠密的栅格地图。由于,实际工程中因栅格大小不定、输入区域扰动等因素,独立的栅格预测会带来全局结果一致性差、平滑性欠缺等问题。本发明的栅格地图生成方法中引入多尺度预测加权融合、邻域关系投票平滑方法,从而提升火星栅格地形地图的整体表现,使得本发明的栅格地图生成方法仅依赖于能够提供火星近地面图片的传感器设备,方法简单,是基于导航相机、避障相机等设备实现地形理解的有效方法。
附图说明
图1为地形分类模型总体架构示意图;
图2为栅格地形地图生成流程图;
图3为本发明的效果示意图,图3中的(a)为火星近距离地面图片,图3中的(b)为通过本发明方法形成的栅格地形地图。
具体实施方式
本发明提供了一种基于邻域关系的火星栅格地形地图生成方法,包括以下步骤:
(1)以NASA公开的火星数据集“Mars32k”作为任务样本,并从中挑选了部分火星近地面图片进行地形类别的标注。该图片集由火星车“好奇号”拍摄,包含了约32,000张涵盖了火星的各种地理和地质特征的彩色图片,如山脉和山谷,火山口,沙丘和岩石等地形。任务中总计选用了涵盖了10种地形,并对火星近地面图片进行随机翻转、剪裁、伽马变换进行图像增强,获得火星近地面图片数据集。
构建地形分类网络:
如图1为地形分类模型总体架构示意图,所述地形分类网络基于开源的深度学习框架pytorch,在公开的网络模型的基础上进行改造,实现了主体网络、层级特征融合模块、损失函数模块的构建,具体构建过程如下:
(a)构建主体网络:主体网络包括特征提取模块与分类器模块两个部分,所述主体网络可以直接选用公开的Resnet101结构,将Resnet101结构中的分类器的输出数目设为10类,与当前地形分类任务相匹配。
(c)损失函数模块:以交叉熵损失作为损失函数,拟合地形分类概率与真实的标签,并以批量随机梯度下降法作为优化方法,反向传播并更新整个地形分类网络。
(2)将步骤(1)获得的火星近地面图片数据集输入地形分类网络中进行训练,当交叉熵损失函数收敛时,完成对地形分类网络的训练;
(3)以地形分类网络为基础,在火星近距离地面图片上划分栅格并逐窗口地预测地形类别,后续在上述栅格地形地图上进行结果的平滑,设计了基于邻域关系的多尺度融合与投票平滑算法,最终生成地形地图,定义栅格与邻域并实现多尺度推理以适应不同尺度的地形目标;在邻域内以投票的方式平滑预测概率以提升结果的区域关联性;以特异性指标抑制局部预测偏差的问题。如图2所示为栅格地形地图生成流程图,包括以下过程:
(3.1)栅格邻域内的多尺度推理
所述候选区域在邻域范围内,邻域是以第一个栅格为中心外扩的5×5栅格区域。若干组候选区域依次输入训练好的地形分类网络中,分别得到地形预测的概率值,则第一个栅格的所有预测概率值集合记为。其中,为地形类别的数目。
(3.2)基于邻域关系的栅格平滑算法
(3.3)地形地图的生成
(3.4)遍历栅格中的每一个栅格,采用与第一个栅格相同的系数向外进行多尺度的扩张,重复步骤(3.1)-(3.3),获得每一个栅格的地形地图。
通过本发明生成的火星栅格地形地图与火星近距离地面图片进行比较,其结果如图3所示,图3中的(a)为火星近距离地面图片,图3中的(b)为通过本发明方法形成的栅格地形地图,图3中的(b)所示的栅格地形地图以稠密小栅格为单位给出了完整的地形分布,在兼顾准确率与实时性的情况下,避免了传统目标检测、语义分割方案中的边界模糊、标注困难等问题。
Claims (1)
1.一种基于邻域关系的火星栅格地形地图生成方法,其特征在于,包括以下步骤:
(1)收集火星近地面图片,进行地形类别标注,并对火星近地面图片进行随机翻转、剪裁、伽马变换进行图像增强,获得火星近地面图片数据集;
(2)将步骤(1)获得的火星近地面图片数据集输入地形分类网络中进行训练,当交叉熵损失函数收敛时,完成对地形分类网络的训练;
所述地形分类网络是基于开源的深度学习框架pytorch,在公开的网络模型的基础上进行改造,实现了主体网络、层级特征融合模块、损失函数模块的构建,具体构建过程如下:
(a)构建主体网络:主体网络包括特征提取模块与分类器模块两个部分,所述主体网络可以直接选用公开的Resnet101结构,将Resnet101结构中的分类器的输出数目设为10类,与当前地形分类任务相匹配;
函数cat(x)选用concatenate(x)函数,在通道上拼接上述四组特征图fi(0≤i<4),并通过第二映射函数δ(x)映射,得到融合的特征图fi′(0≤i<4),实现通道的调整,融合的特征图与特征图f4相加输入分类器模块,计算如下:
fout=f4+δ(cat(fi′))
其中,第二映射函数δ(x)为两组连续的包含3×3卷积、批量标准化、线性整流函数三个部分的组合模块;
(c)损失函数模块:以交叉熵损失作为损失函数,拟合地形分类概率与真实的标签,并以批量随机梯度下降法作为优化方法,反向传播并更新整个地形分类网络;
(3)将火星近距离地面图片划分栅格,选取栅格中的第一个栅格,所述第一个栅格采用若干组0~3的系数向外进行多尺度的扩张,形成若干组候选区域,所述候选区域在邻域范围内,所述邻域是以第一个栅格为中心的5×5栅格区域,并将所述若干组候选区域依次输入训练好的地形分类网络中,分别得到地形预测的概率值;
(4)在第一个栅格的邻域区间中,计算各栅格候选区域与第一个栅格的第一个候选区域之间的重叠面积,生成相应的投票权重,再根据步骤(3)得到的地形预测的概率值,生成平滑的后概率值:
(5)采用步骤(4)的方法遍历第一个栅格的所有候选区域,生成平滑的后概率值,融合所有后概率值,得到第一个栅格的平滑概率值;
(6)将步骤(5)中生成的平滑概率值中最大概率值的地形类别作为标签,并进一步在第一个栅格中平滑掉特异性的结果,获得第一个栅格的地形地图;
(7)遍历栅格中的每一个栅格,采用与第一个栅格相同的系数向外进行多尺度的扩张,重复步骤(3)-(7),获得每一个栅格的地形地图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110036562.1A CN112396039B (zh) | 2021-01-12 | 2021-01-12 | 一种基于邻域关系的火星栅格地形地图生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110036562.1A CN112396039B (zh) | 2021-01-12 | 2021-01-12 | 一种基于邻域关系的火星栅格地形地图生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112396039A CN112396039A (zh) | 2021-02-23 |
CN112396039B true CN112396039B (zh) | 2022-06-24 |
Family
ID=74624864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110036562.1A Active CN112396039B (zh) | 2021-01-12 | 2021-01-12 | 一种基于邻域关系的火星栅格地形地图生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112396039B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378390B (zh) * | 2021-06-15 | 2022-06-24 | 浙江大学 | 一种基于深度学习的地外星表通行性分析方法及系统 |
CN113867340B (zh) * | 2021-09-17 | 2024-02-13 | 北京控制工程研究所 | 一种地外未知环境超视距全局路径规划系统和方法 |
CN117312760B (zh) * | 2023-11-28 | 2024-01-30 | 中国电子科技集团公司第五十四研究所 | 一种基于空间栅格的运动目标时空分布预测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101651964A (zh) * | 2009-09-18 | 2010-02-17 | 北京邮电大学 | 一种异构网络信息下发的栅格划分方法及系统 |
CN106227753A (zh) * | 2016-07-15 | 2016-12-14 | 西安测绘研究所 | 利用手绘地图检索空间场景的方法 |
CN110264572A (zh) * | 2019-06-21 | 2019-09-20 | 哈尔滨工业大学 | 一种融合几何特性与力学特性的地形建模方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7715591B2 (en) * | 2002-04-24 | 2010-05-11 | Hrl Laboratories, Llc | High-performance sensor fusion architecture |
CN108717710B (zh) * | 2018-05-18 | 2022-04-22 | 京东方科技集团股份有限公司 | 室内环境下的定位方法、装置及系统 |
-
2021
- 2021-01-12 CN CN202110036562.1A patent/CN112396039B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101651964A (zh) * | 2009-09-18 | 2010-02-17 | 北京邮电大学 | 一种异构网络信息下发的栅格划分方法及系统 |
CN106227753A (zh) * | 2016-07-15 | 2016-12-14 | 西安测绘研究所 | 利用手绘地图检索空间场景的方法 |
CN110264572A (zh) * | 2019-06-21 | 2019-09-20 | 哈尔滨工业大学 | 一种融合几何特性与力学特性的地形建模方法及系统 |
Non-Patent Citations (1)
Title |
---|
Finding the lowest-cost path for searching the grid-based environment;Bo Gao et al.;《2009 International Conference on Mechatronics and Automation》;20090918;第593-598页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112396039A (zh) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112396039B (zh) | 一种基于邻域关系的火星栅格地形地图生成方法 | |
CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
CN109359684B (zh) | 基于弱监督定位和子类别相似性度量的细粒度车型识别方法 | |
CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
CN113378686B (zh) | 一种基于目标中心点估计的两阶段遥感目标检测方法 | |
CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
CN112287832A (zh) | 一种基于高分辨率遥感影像的城镇违法建筑物检测方法 | |
CN109389057B (zh) | 一种基于多尺度高级语义融合网络的物体检测方法 | |
CN110853026A (zh) | 一种融合深度学习与区域分割的遥感影像变化检测方法 | |
CN115546768B (zh) | 基于多尺度机制和注意力机制的路面标线识别方法及系统 | |
CN116539004A (zh) | 一种采用无人机测绘的通信线路工程勘察设计方法与系统 | |
CN114120115B (zh) | 一种融合点特征和网格特征的点云目标检测方法 | |
CN110533100B (zh) | 一种基于机器学习进行cme检测和跟踪的方法 | |
CN111738206B (zh) | 基于CenterNet的用于无人机巡检的挖掘机检测方法 | |
CN114897738A (zh) | 一种基于语义不一致性检测的图像盲修复方法 | |
CN116778146A (zh) | 基于多模态数据的道路信息提取方法及装置 | |
CN113033432A (zh) | 一种基于渐进监督的遥感影像居民区提取方法 | |
Sofla et al. | Road extraction from satellite and aerial image using SE-Unet | |
CN113239736A (zh) | 一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统 | |
CN113052108A (zh) | 基于深度神经网络的多尺度级联航拍目标检测方法和系统 | |
CN112241676A (zh) | 一种地形杂物自动识别的方法 | |
CN110598711B (zh) | 一种结合分类任务的目标分割方法 | |
Ansith et al. | A modified Generative Adversarial Network (GAN) architecture for land use classification | |
Zhang et al. | Fast and Slow Changes Constrained Spatio-Temporal Subpixel Mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |