CN117315324B - 一种用于火星崎岖地形的轻量级分类检测方法及系统 - Google Patents

一种用于火星崎岖地形的轻量级分类检测方法及系统 Download PDF

Info

Publication number
CN117315324B
CN117315324B CN202311100838.3A CN202311100838A CN117315324B CN 117315324 B CN117315324 B CN 117315324B CN 202311100838 A CN202311100838 A CN 202311100838A CN 117315324 B CN117315324 B CN 117315324B
Authority
CN
China
Prior art keywords
mars
terrain
data set
convolution
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311100838.3A
Other languages
English (en)
Other versions
CN117315324A (zh
Inventor
冯李航
汪穗
王东
肖迪
郭子旭
贾立鑫
陈升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202311100838.3A priority Critical patent/CN117315324B/zh
Publication of CN117315324A publication Critical patent/CN117315324A/zh
Application granted granted Critical
Publication of CN117315324B publication Critical patent/CN117315324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于火星崎岖地形的轻量级分类检测方法及系统包括:获取火星近景图像并构建火星地形分割图像数据集,将数据集划分为训练数据集和测试数据集;根据火星地形分割图像数据集建立火星地形分割框架;将训练数据集输入到火星地形分割框架进行训练,待收敛后得到训练好的轻量级地形分割框架;利用测试数据集对训练好的轻量级地形分割框架进行评估,并获取不同地形的分类检测结果;本发明提供方法通过深度可分离卷积降低参数量,利用包含多尺度空洞卷积的增强感受野模块提高特征提取能力,保证了轻量级下的框架性能,使得构建的地形分割框架能够容易地部署到火星车上,为火星车的自主导航提供更高精度、更高效的方法。

Description

一种用于火星崎岖地形的轻量级分类检测方法及系统
技术领域
本发明涉及火星探测技术领域,具体为一种用于火星崎岖地形的轻量级分类检测方法及系统。
背景技术
在太阳系中,火星是毗邻地球的一颗类地行星,同时也是与地球最相似的类地行星,这使其成为各个国家深空探测的主要目标。以无人甚至载人方式对火星地表实行大范围巡视探测是我国将来火星探测的发展方向之一。未来火星探测任务对地表探测位置、探测范围、着陆精度和移动效率的需求将大幅提高。这要求探测系统具有更强、更精细的地外环境感知能力。
与地球上的自然环境不同,火星地貌变化丰富,具有不明显特征和经验知识少的特点。火星地形崎岖复杂,存在较多表面平坦却易下滑易沉陷的危险,且地形在颜色、纹理等特征表现上都与地球地表存在较大差异。视觉感知是火星探测车实现自主探测的手段之一,目前火星车已配备视觉传感器,通过视觉手段获取地形图像,利用图像识别地形是直接有效的方式。近年深度学习方法因其优异性能在地面上的图像识别和检测领域取得了良好应用。但随着深度学习模型性能的不断提升,网络参数量也在不断增加,需要充足的算力作为支撑。然而,火星车的发射成本高,地外环境恶劣,对计算芯片能力要求高,计算资源受限问题尤为突出,对轻量化计算的需求极为迫切。
现有技术中,CN202210836220.2公布了一种火星陨石坑识别方法,该方法改进了一种语义分割模型,加入了通道注意力机制,提高了识别精度及对大陨石坑的分割效果,但该模型仅仅识别了火星上的陨石,未能识别其他地形地貌;CN202110565199.2公布了一种火星表面三维地形检测方法,该方法基于图像和点云信息的融合,通过已训练好的目标检测网络,对火星地表地形进行三维检测,但该方法训练的网络参数量较大,不能满足火星车低算力资源的要求。CN202210072417.3公布了一种火星表面形态检测方法,该方法可用于数据标注信息稀缺情况下的火星表面地形检测,但该方法存在网络参数量较大的问题,不适用于火星车地形分类。
综上,现有技术大多使用更深更复杂的网络进行火星表面地形的识别,尚且没有轻量级的火星车地形分类方法。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述存在的问题,提出了本发明。
本发明实施例的第一方面,提供一种用于火星崎岖地形的轻量级分类检测方法,包括:获取火星近景图像并构建火星地形分割图像数据集,将所述火星地形分割图像数据集划分为训练数据集和测试数据集;根据所述火星地形分割图像数据集建立火星地形分割框架;将所述训练数据集输入到所述火星地形分割框架进行训练,待收敛后得到训练好的轻量级地形分割框架;利用所述测试数据集对所述训练好的轻量级地形分割框架进行评估,并获取不同地形的分类检测结果。
作为本发明所述的用于火星崎岖地形的轻量级分类检测方法的一种优选方案,其中:所述火星地形分割框架的建立包括,
根据所述火星地形分割图像数据集搭建基于轻量级网络模型的火星地形分割框架,所述火星地形分割框架的结构顺序依次为输入层、编码器模块、解码器模块和输出层;
在所述输入层对所述火星地形分割图像数据集的输入图像进行预处理;
所述编码器模块通过深度可分离卷积和增强感受野来降低所述预处理后的图像的空间维数,捕获图像的语义信息;
将所述编码器模块的输出作为所述解码器模块的输入,在所述解码器模块通过上采样将目标细节和空间维数恢复到输入图像的大小;
所述输出层将经过所述编码器模块和所述解码器模块处理后的图像分割为不同地形类别的图像并输出。
作为本发明所述的用于火星崎岖地形的轻量级分类检测方法的一种优选方案,其中:在所述输入层进行预处理的过程包括,
在所述输入层对所述火星地形分割图像数据集的输入图像使用几何变换扩充数量,并在所述输入图像上随机添加高斯噪声进行颜色增强处理;
对所述增强处理后的输入图像进行归一化处理,将增强处理后的输入图像的特征值大小调整到相近范围。
作为本发明所述的用于火星崎岖地形的轻量级分类检测方法的一种优选方案,其中:所述编码器模块包括主干网络和增强感受野模块;
所述主干网络使用MobileNetV3,通过深度可分离卷积降低预处理后的输入图像的网络参数量,所述主干网络包括编码器输入层、bneck单元以及编码器输出层;
所述编码器输入层使用16通道的3×3卷积核结合非线性的hswish激活函数,提取所述预处理后的输入图像的特征,公式表示为:
所述输入层提取的特征进入所述bneck单元进行更深层次的特征提取,特征图X经过卷积算子K转换为特征图Y,卷积算子的计算过程表示为:
其中,Yi=[Y1,Y2…Yc],Yc表示输出特征图的一个单通道的二维特征层,Vi=[V1,V2…VC]表示学习到的一组卷积核,VC表示第C个卷积核的参数,X表示特征图,Xs表示输入特征图的一个单通道的二维特征层;
经过所述卷积算子输出的特征图Y由全局平均池化将包含全局信息的特征图压缩成特征向量,公式表示为:
其中,Uc表示通道数为C的特征向量,H表示特征图的宽度,W表示特征图的高度;
所述全局平均池化后的特征将通过两层全连接层来全面捕获通道依赖性,第一个全连接层把C个通道压缩成个通道通过RELU激活函数,第二个全连接层将通道数恢复成C个,再通过Sigmoid激活得到权重q,具体公式如下:
q=ζ(f(z,W))=ζ(W2R(W1z))
其中,R表示RELU函数,γ表示压缩的比例;
最后将得到的注意力权重加权到每个通道的特征上,即将特征图Y中的每个特征乘以对应的权重,得到最终输出,表示为:
其中,表示最终输出,qC表示每个特征的对应权重。
作为本发明所述的用于火星崎岖地形的轻量级分类检测方法的一种优选方案,其中:还包括,
所述输入图像经过主干网络提取的特征图分为两部分,第一部分来自最后一个卷积输出的高维特征图,第二部分来自中间卷积输出的低维特征图;
所述高维特征图被输入到所述增强感受野模块,首先在每个分支中采用瓶颈结构,由1×1卷积层减少所述高维特征图的通道数,再加上一个3×3卷积层提取特征,同时在另外两个分支中分别使用1×3卷积层和3×1卷积层代替3×3卷积层,以减少参数和更深的非线性层;
在每个分支处特定内核尺寸的卷积层之后是具有不同空洞率的卷积层,最后将所有分支的特征图进行融合。
作为本发明所述的用于火星崎岖地形的轻量级分类检测方法的一种优选方案,其中:所述解码器模块的处理过程包括,
将所述主干网络中间卷积输出的低维特征图和经过所述增强感受野模块的输出特征图作为所述解码器模块的输入;
对所述低维特征图使用1×1卷积进行通道降维,避免过多的通道数掩盖所述增强感受野模块输出的特征图,对所述增强感受野模块的输出特征图进行上采样,得到与所述低维特征图尺寸相同的特征图;
将降维后的低维特征图和上采样的特征图进行融合,利用3×3卷积提取特征,最后再次进行上采样得到与原图分辨率大小相同的预测图。
作为本发明所述的用于火星崎岖地形的轻量级分类检测方法的一种优选方案,其中:所述火星地形分割框架的训练包括,
设置训练参数,所述训练参数包括以下至少之一:训练批次样本数、累积梯度步长、最大迭代次数;
将所述训练数据集随机不重复地输入到所述火星地形分割框架得到预测图象,并使用标签图像计算目标函数值;
根据所述目标函数值使用设置的优化算法更新参数;
重复上述步骤直到训练数据集中的全部图像都完成一次训练为止,待收敛后得到训练好的轻量级地形分割框架。
作为本发明所述的用于火星崎岖地形的轻量级分类检测方法的一种优选方案,其中:对所述训练好的轻量级地形分割框架进行评估包括,
利用所述测试数据集对所述训练好的轻量级地形分割框架进行评估,评估指标包括mPA和mIoU,公式表示为:
其中,mPA表示每个类中被正确分类像素数目的比例再求所有类的平均,k表示类别数,表示分类准确的像素数目,/>表示分类错误的像素数目,mIoU表示基于类别进行计算将每一类别的IoU计算之后进行累加再进行平均,NTP表示预测为正类,真实为正类,NFN表示预测为负类,真实为正类,NFP表示预测为正类,真实为负类。
本发明实施例的第二方面,提供一种用于火星崎岖地形的轻量级分类检测系统,包括:
数据集构建单元,用于获取火星近景图像并构建火星地形分割图像数据集,将所述火星地形分割图像数据集划分为训练数据集和测试数据集;
框架搭建单元,用于根据所述火星地形分割图像数据集建立火星地形分割框架;
框架训练单元,用于将所述训练数据集输入到所述火星地形分割框架进行训练,待收敛后得到训练好的轻量级地形分割框架;
评估分类单元,用于利用所述测试数据集对所述训练好的轻量级地形分割框架进行评估,并获取不同地形的分类检测结果。
本发明实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,包括:
所述计算机程序指令被处理器执行时实现如本发明任一实施例所述的方法。
本发明的有益效果:本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统,在使用深度可分离卷积降低参数量的情况下,通过RFB模块扩大感受野,提高特征提取能力,保证了框架的性能,使得构建的轻量分割框架能够容易地部署到火星车上。本发明提供的方法与传统的地形分类方法相比,节省了大量的算力资源,充分将深度学习和计算机视觉的优势利用在火星表面地形分类上,从而实现更高精度、更高效的火星车自主导航。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统的整体流程图;
图2为本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统的轻量化分割框架的结构图;
图3为本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统的MobileNetV3中bneck单元示意图;
图4为本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统的各类地形的典型样本示意图;
图5为本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统的分割框架得到的不同地形的评估指标结果图;
图6为本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统的不同地形的预测结果可视化图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1~图5为本发明的一个实施例,提供了一种用于火星崎岖地形的轻量级分类检测方法,包括以下步骤:
S1:获取火星近景图像并构建火星地形分割图像数据集,并对每张火星近景图像配置地形类别标签,将火星地形分割图像数据集划分为训练数据集和测试数据集。
S2:根据火星地形分割图像数据集建立火星地形分割框架。需要说明的是:
根据火星地形分割图像数据集搭建基于轻量级网络模型的火星地形分割框架,如图2所示,火星地形分割框架的结构顺序依次为输入层、编码器模块、解码器模块和输出层,在输入层对火星地形分割图像数据集的输入图像进行预处理;编码器模块通过深度可分离卷积和增强感受野来降低预处理后的图像的空间维数,捕获图像的语义信息;将编码器模块的输出作为解码器模块的输入,在解码器模块通过上采样将目标细节和空间维数恢复到输入图像的大小;输出层将经过编码器模块和解码器模块处理后的图像分割为不同地形类别的图像并输出。
具体的,在输入层对火星地形分割图像数据集的输入图像使用几何变换扩充数量,并在输入图像上随机添加高斯噪声进行颜色增强处理;对增强处理后的输入图像进行归一化处理,将增强处理后的输入图像的特征值大小调整到相近范围,使模型训练收敛平稳;
应说明的,归一化处理的公式如下:
其中,xi表示图像像素点值,min(x)、max(x)分别表示图像像素的最小值和最大值;
进一步的,编码器模块包括主干网络和增强感受野模块;
主干网络使用MobileNetV3,通过深度可分离卷积降低预处理后的输入图像的网络参数量,主干网络包括编码器输入层、15个bneck单元以及编码器输出层;编码器输入层使用16通道的3×3卷积核结合非线性的hswish激活函数,提取预处理后的输入图像的特征,公式表示为:
如图3所示,输入层提取的特征进入bneck单元进行更深层次的特征提取,benck单元由倒残差结构和Squeeze-and-Excitation(SE)模块组成。倒残差结构可进行升维和降维操作,且能够降低计算量。SE模块能够建立卷积特征通道间的依赖性来提高网络表示能力。在SE模块的输入层中,特征图X经过卷积算子K转换为特征图Y,卷积算子的计算过程表示为:
其中,Y=[Y1,Y2…Yc],Yc表示输出特征图的一个单通道的二维特征层,Vi=[V1,V2…VC]表示学习到的一组卷积核,VC表示第C个卷积核的参数,X表示特征图,Xs表示输入特征图的一个单通道的二维特征层;
经过卷积算子输出的特征图Y由全局平均池化将包含全局信息的特征图压缩成特征向量,公式表示为:
其中,Uc表示通道数为C的特征向量,H表示特征图的宽度,W表示特征图的高度;
全局平均池化后的特征将通过两层全连接层来全面捕获通道依赖性,第一个全连接层把C个通道压缩成个通道通过RELU激活函数,第二个全连接层将通道数恢复成C个,再通过Sigmoid激活得到权重q,具体公式如下:
q=ζ(f(z,W))=ζ(W2R(W1z))
其中,R表示RELU函数,γ表示压缩的比例;
最后将得到的注意力权重加权到每个通道的特征上,即将特征图Y中的每个特征乘以对应的权重,得到最终输出,表示为:
其中,表示最终输出,qC表示每个特征的对应权重。
再进一步的,输入图像经过主干网络提取的特征图分为两部分,第一部分来自最后一个卷积输出的高维特征图,第二部分来自中间卷积输出的低维特征图;高维特征图被输入到RFB模块,RFB模块是一个多分支卷积块,内部结构可分为两部分,分别为具有不同核的多分支卷积层和空洞卷积层,多分支卷积层利用不同的卷积核尺寸来实现多尺度的感受野;
首先,在每个分支中采用瓶颈结构,由1×1卷积层减少高维特征图的通道数,再加上一个3×3卷积层提取特征,同时在另外两个分支中分别使用1×3卷积层和3×1卷积层代替3×3卷积层,以减少参数和更深的非线性层;空洞卷积层主要是为了生成更高分辨率的特征图,在具有更多上下文的更大区域捕获信息,同时保持相同数量的参数。在每个分支处特定内核尺寸的卷积层之后是具有不同空洞率的卷积层,最后将所有分支的特征图进行融合。此外,在RFB模块的输入与输出之间还加入了一个shortcut层,有效避免了部分信息丢失。
更进一步的,将主干网络中间卷积输出的低维特征图和经过增强感受野模块的输出特征图作为解码器模块的输入;对低维特征图使用1×1卷积进行通道降维,避免过多的通道数掩盖增强感受野模块输出的特征图,对增强感受野模块的输出特征图进行上采样,得到与低维特征图尺寸相同的特征图;将降维后的低维特征图和上采样的特征图进行融合,利用3×3卷积提取特征,最后再次进行上采样得到与原图分辨率大小相同的预测图。
S3:将训练数据集输入到火星地形分割框架进行训练,待收敛后得到训练好的轻量级地形分割框架。需要说明的是:
设置训练参数,训练参数包括以下至少之一:训练批次样本数、累积梯度步长、最大迭代次数;
将训练数据集随机不重复地输入到火星地形分割框架得到预测图象,并使用标签图像计算目标函数值;
根据目标函数值使用设置的优化算法更新参数,优化算法参数通常包括以下至少之一:初始学习率、目标学习率、学习率调整参数、动量、权值衰减系数;
重复上述步骤直到训练数据集中的全部图像都完成一次训练为止,待收敛后得到训练好的轻量级地形分割框架。
S4:读取测试数据集,输入到S3训练好的框架进行分割,计算得到预测图像,并使用标签图像计算评估指标,结果如图5所示。评估指标包括平均像素准确率mPA(mean PixelAccuracy)、平均交并比mIoU(mean Intersection over Union),公式表示为:
其中,mPA表示每个类中被正确分类像素数目的比例再求所有类的平均,k表示类别数,表示分类准确的像素数目,/>表示分类错误的像素数目,mIoU表示基于类别进行计算将每一类别的IoU计算之后进行累加再进行平均,NTP表示预测为正类,真实为正类,NFN表示预测为负类,真实为正类,NFR表示预测为正类,真实为负类。
S5:重复S3到S4。读取训练数据集,计算预测结果与目标函数值,优化模型参数;读取测试数据集,计算预测结果与评估指标,直到满足终止条件。终止条件为以下之一:模型评估指标达到要求、迭代次数大于最大迭代次数。
进一步地,火星近景语义数据库包括至少10000张图像,如图4所示,按照地形类别分为土壤、细沙、基岩和大岩石,以及未被标记的背景类别。
进一步地,从数据集中随机抽取80%图像设置为训练数据集,剩下的设置为测试数据集,训练数据集和验证数据集中的图像不重复。
进一步地,编码器主干网络采用MobileNetV3网络,MobileNetV3使用深度可分离卷积减少参数量,深度可分离卷积包括Depthwise卷积和Pointwise卷积。Depthwise卷积将卷积核划分为单个通道形式,并对每个通道进行卷积。Pointwise卷积是1×1卷积,可对特征图进行升维和降维,并融合通道之间的信息。对标准卷积和深度可分离卷积进行参数量分析,公式表示为:
其中,Ps表示标准卷积参数量,Pd表示深度可分离卷积参数量,CK×CK表示卷积核尺寸,I表示输入通道数,E表示输出通道数,CF×CF×I表示输入特征图尺寸,CF×CF×E表示输出特征图尺寸;
其中,ε表示深度可分离卷积和标准卷积的参数量大小比例,通常当E的值很大时,且使用3×3的卷积核,深度可分离卷积中的参数量可以减少约9倍。
进一步地,编码器RFB模块使用空洞卷积。空洞卷积在标准卷积中进行插值,加入了空格,空洞卷积的使用能够增加感受野且降低计算量,同时能够捕获多尺度的上下文信息,保持分辨率,空洞卷积的卷积核大小为:
Ca=CK+(CK-1)×(a-1)
其中,Ca表示空洞卷积的卷积核尺寸,CK表示标准卷积的尺寸,a为新的超参数,a-1表示添加的空格数。
通过空洞卷积后的特征图尺寸为:
其中,CF表示特征图尺寸,p表示卷积核周围的填充数,s表示步长。
进一步地,训练过程中损失函数包括Dice Loss和Focal Loss。Dice Loss基于Dice系数创建,Dice系数是用于比较两个样本一致性的度量函数,对二分类问题有效。DiceLoss取0到1的值,较大的值表示更高的相似度。Dice系数可表示为:
其中,|X∩Y|表示X和Y的交集,|X|和|Y|分别代表X和Y的样本数,为保证分母在[0,1]范围内,将分子乘以2,因此Dice Loss可表示为:
Focal Loss对Cross-Entropy Loss进行修改,降低了易于分类的样本权重,让模型更关注难以分类的样本。Focal Loss可表示为:
LFocal=-α(1-pt)βlog(pt)
其中,pt被定义为:
其中,y指定真值类,p是模型对标记为真值类的估计概率,α和β是可调超参数。当y=1时,α=∈[0,1],当y为两种类型的样本分配不同的权重比时;如果α=∈[0,1],且y=1,则系数为1-α。模型的目标预测值由p表示,当y=1和p=1时,表示对权重贡献为0的样本为正样本,当y为otherwise且p=0时,表示对权重贡献为0的样本为负样本。
进一步地,优化器采用算法包括以下之一:SGD、Adam、RAdam等。其中,学习率参数可以进行动态调整,调整策略包括初始学习率调整和训练过程中的学习率调整。学习率调整策略使用的算法包括以下之一:线性、指数式、余弦式等。优选的,优化算法式带有动量的Adam算法;训练过程中的学习率调整策略为余弦式衰减。
进一步地,优化算法Adam算法基于梯度的移动指数加权平均和RMSprop算法改进,利用梯度的一阶矩估计和二阶矩估计动态调整参数学习率。经过偏置校准后,每次迭代学习率都有确定范围,能使参数更平稳。Adam的优化公式表示为:
其中,dt和ut分别表示梯度的一阶积分和二阶积分,和/>分别表示dt和ut的无偏估计,lr表示学习率,δ1和δ2分别表示指数加权平均数的衰减率,ε是一个很小的正数,用于防止分母为0的情况。
进一步地,余弦式衰减的核心思想是将学习率根据余弦函数的形式随着训练进行而逐渐减小。具体地,余弦式衰减可分为两个阶段。第一阶段是学习率从初始值线性下降到最小值,第二个阶段是学习率按照余弦函数的形式从最小值逐渐增加到初始值。在训练初期时,较大的学习率能够加快模型收敛;在训练后期时,较小的学习率能够使模型趋于稳定,避免过拟合。余弦式衰减的公式表示为:
其中,lrn表示当前学习率,lr表示初始学习率,lrmin表示最小学习率,N表示总的训练轮次,n表示当前训练轮次。
由上述可得,本发明的有益效果为:
本发明提供的一种用于火星崎岖地形的轻量级分类检测方法及系统,在使用深度可分离卷积降低参数量的情况下,通过RFB模块扩大感受野,提高特征提取能力,保证了框架的性能,使得构建的轻量分割框架能够容易地部署到火星车上。本发明提供的方法与传统的地形分类方法相比,节省了大量的算力资源,充分将深度学习和计算机视觉的优势利用在火星表面地形分类上,从而实现更高精度、更高效的火星车自主导航。
本发明公开的第二方面,
提供一种用于火星崎岖地形的轻量级分类检测系统,包括:
数据集构建单元,用于获取火星近景图像并构建火星地形分割图像数据集,将火星地形分割图像数据集划分为训练数据集和测试数据集;
框架搭建单元,用于根据火星地形分割图像数据集建立火星地形分割框架;
框架训练单元,用于将训练数据集输入到火星地形分割框架进行训练,待收敛后得到训练好的轻量级地形分割框架;
评估分类单元,用于利用测试数据集对训练好的轻量级地形分割框架进行评估,并获取不同地形的分类检测结果。
本发明公开的第三方面,
提供一种计算机可读存储介质,其上存储有计算机程序指令,包括:
计算机程序指令被处理器执行时实现前述中任意一项的方法。
本发明可以是方法、装置、系统和/或计算机程序产品,计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
实施例2
参照图6为本发明的第二个实施例,该实施例不同于第一个实施例的是,提供了一种用于火星崎岖地形的轻量级分类检测方法及系统的验证测试,为对本方法中采用的技术效果加以验证说明。
本实施例使用公开的大规模火星近景语义数据集“AI4MARS”进行测试,该数据集由好奇号漫游车(MSL)的导航相机(NAVCAM)和彩色桅杆相机(Mastcam)的图像,以及机遇号漫游车(MER)和勇气号漫游车(MER)的图像组成。AI4MARS计划所用图像大约为3.5万张图像,目前已在线公布的MSL图像大约为1.6万张,其中包括了约1500张被称为“goldstandard”的验证图像。
根据火星地形分割图像数据集建立火星地形分割框架,并以MobileNetV3作为主干网络,使用RFB模块增强感受野并提高特征提取能力,同时以ResNet101、Xception和ASPP模块的MobileNetV3网络进行对比,对比结果如表1所示。分类后的可视化结果如图6所示,其中(a)表示原始图像,(b)、(c)、(d)、(e)分别表示ResNet101、Xception、ASPP模块的MobileNetV3网络和RFB-DeepMobile分割框架得到的分类结果。
表1:不同模型的性能对比结果。
ResNet101 Xception MobileNetV3+ASPP Ours
Params 60.990M 54.709M 4.834M 3.492M
MIoU 69.09% 70.64% 69.95% 71.10%
MPA 81.59% 81.83% 82.23% 83.68%
表2所示为使用不同尺寸的图像的推理速度和计算量,当输入小尺寸图像时,本发明提出的框架的计算量小于9G,FPS甚至接近92;与其他模型相比,本发明提出的框架的FLOPs减少了数倍,FPS增长了更大的数值。
表2:不同尺寸图像的模型推理速度。
由上述可知,本发明提供的方法与传统的地形分类方法相比,节省了大量的算力资源,充分将深度学习和计算机视觉的优势利用在火星表面地形分类上,从而实现更高精度、更高效的火星车自主导航。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种用于火星崎岖地形的轻量级分类检测方法,其特征在于,包括:
获取火星近景图像并构建火星地形分割图像数据集,将所述火星地形分割图像数据集划分为训练数据集和测试数据集;
根据所述火星地形分割图像数据集建立火星地形分割框架;
所述火星地形分割框架的建立包括,
根据所述火星地形分割图像数据集搭建基于轻量级网络模型的火星地形分割框架,所述火星地形分割框架的结构顺序依次为输入层、编码器模块、解码器模块和输出层;
在所述输入层对所述火星地形分割图像数据集的输入图像进行预处理;
所述编码器模块通过深度可分离卷积和增强感受野来降低所述预处理后的图像的空间维数,捕获图像的语义信息;
将所述编码器模块的输出作为所述解码器模块的输入,在所述解码器模块通过上采样将目标细节和空间维数恢复到输入图像的大小;
所述输出层将经过所述编码器模块和所述解码器模块处理后的图像分割为不同地形类别的图像并输出;
在所述输入层进行预处理的过程包括,
在所述输入层对所述火星地形分割图像数据集的输入图像使用几何变换扩充数量,并在所述输入图像上随机添加高斯噪声进行颜色增强处理;
对所述增强处理后的输入图像进行归一化处理,将增强处理后的输入图像的特征值大小调整到相近范围;
所述编码器模块包括主干网络和增强感受野模块;
所述主干网络使用MobileNetV3,通过深度可分离卷积降低预处理后的输入图像的网络参数量,所述主干网络包括编码器输入层、bneck单元以及编码器输出层;
所述编码器输入层使用16通道的3×3卷积核结合非线性的hswish激活函数,提取所述预处理后的输入图像的特征,公式表示为:
所述输入层提取的特征进入所述bneck单元进行更深层次的特征提取,特征图X经过卷积算子K转换为特征图Y,卷积算子的计算过程表示为:
其中,Yi=[Y1,Y2...Yc],Yc表示输出特征图的一个单通道的二维特征层,Vi=[V1,V2…VC]表示学习到的一组卷积核,VC表示第C个卷积核的参数,X表示特征图,Xs表示输入特征图的一个单通道的二维特征层;
经过所述卷积算子输出的特征图Y由全局平均池化将包含全局信息的特征图压缩成特征向量,公式表示为:
其中,Uc表示通道数为C的特征向量,H表示特征图的宽度,W表示特征图的高度;
所述全局平均池化后的特征将通过两层全连接层来全面捕获通道依赖性,第一个全连接层把C个通道压缩成个通道通过RELU激活函数,第二个全连接层将通道数恢复成C个,再通过Sigmoid激活得到权重q,具体公式如下:
q=ζ(f(z,W))=ζ(W2R(W1z))
其中,R表示RELU函数,γ表示压缩的比例;
最后将得到的注意力权重加权到每个通道的特征上,即将特征图Y中的每个特征乘以对应的权重,得到最终输出,表示为:
其中,表示最终输出,qC表示每个特征的对应权重;
所述输入图像经过主干网络提取的特征图分为两部分,第一部分来自最后一个卷积输出的高维特征图,第二部分来自中间卷积输出的低维特征图;
所述高维特征图被输入到所述增强感受野模块,首先在每个分支中采用瓶颈结构,由1×1卷积层减少所述高维特征图的通道数,再加上一个3×3卷积层提取特征,同时在另外两个分支中分别使用1×3卷积层和3×1卷积层代替3×3卷积层,以减少参数和更深的非线性层;
在每个分支处特定内核尺寸的卷积层之后是具有不同空洞率的卷积层,最后将所有分支的特征图进行融合;
所述解码器模块的处理过程包括,
将所述主干网络中间卷积输出的低维特征图和经过所述增强感受野模块的输出特征图作为所述解码器模块的输入;
对所述低维特征图使用1×1卷积进行通道降维,避免过多的通道数掩盖所述增强感受野模块输出的特征图,对所述增强感受野模块的输出特征图进行上采样,得到与所述低维特征图尺寸相同的特征图;
将降维后的低维特征图和上采样的特征图进行融合,利用3×3卷积提取特征,最后再次进行上采样得到与原图分辨率大小相同的预测图;
将所述训练数据集输入到所述火星地形分割框架进行训练,待收敛后得到训练好的轻量级地形分割框架;
利用所述测试数据集对所述训练好的轻量级地形分割框架进行评估,并获取不同地形的分类检测结果。
2.如权利要求1所述的用于火星崎岖地形的轻量级分类检测方法,其特征在于:所述火星地形分割框架的训练包括,
设置训练参数,所述训练参数包括以下至少之一:训练批次样本数、累积梯度步长、最大迭代次数;
将所述训练数据集随机不重复地输入到所述火星地形分割框架得到预测图象,并使用标签图像计算目标函数值;
根据所述目标函数值使用设置的优化算法更新参数;
重复上述步骤直到训练数据集中的全部图像都完成一次训练为止,待收敛后得到训练好的轻量级地形分割框架。
3.如权利要求2所述的用于火星崎岖地形的轻量级分类检测方法,其特征在于:对所述训练好的轻量级地形分割框架进行评估包括,
利用所述测试数据集对所述训练好的轻量级地形分割框架进行评估,评估指标包括mPA和mIoU,公式表示为:
其中,mPA表示每个类中被正确分类像素数目的比例再求所有类的平均,k表示类别数,表示分类准确的像素数目,/>表示分类错误的像素数目,mIoU表示基于类别进行计算将每一类别的IoU计算之后进行累加再进行平均,NTP表示预测为正类,真实为正类,NFN表示预测为负类,真实为正类,NFP表示预测为正类,真实为负类。
4.一种实施如权利要求1~3任一所述的用于火星崎岖地形的轻量级分类检测方法的系统,其特征在于,包括:
数据集构建单元,用于获取火星近景图像并构建火星地形分割图像数据集,将所述火星地形分割图像数据集划分为训练数据集和测试数据集;
框架搭建单元,用于根据所述火星地形分割图像数据集建立火星地形分割框架;
框架训练单元,用于将所述训练数据集输入到所述火星地形分割框架进行训练,待收敛后得到训练好的轻量级地形分割框架;
评估分类单元,用于利用所述测试数据集对所述训练好的轻量级地形分割框架进行评估,并获取不同地形的分类检测结果。
5.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1~3中任一所述的方法。
CN202311100838.3A 2023-08-30 2023-08-30 一种用于火星崎岖地形的轻量级分类检测方法及系统 Active CN117315324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311100838.3A CN117315324B (zh) 2023-08-30 2023-08-30 一种用于火星崎岖地形的轻量级分类检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311100838.3A CN117315324B (zh) 2023-08-30 2023-08-30 一种用于火星崎岖地形的轻量级分类检测方法及系统

Publications (2)

Publication Number Publication Date
CN117315324A CN117315324A (zh) 2023-12-29
CN117315324B true CN117315324B (zh) 2024-03-22

Family

ID=89272787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311100838.3A Active CN117315324B (zh) 2023-08-30 2023-08-30 一种用于火星崎岖地形的轻量级分类检测方法及系统

Country Status (1)

Country Link
CN (1) CN117315324B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549563A (zh) * 2022-02-26 2022-05-27 福建工程学院 一种基于DeepLabV3+的复合绝缘子实时分割方法及系统
CN114937151A (zh) * 2022-05-06 2022-08-23 西安电子科技大学 基于多感受野和注意力特征金字塔的轻量级目标检测方法
CN115035402A (zh) * 2022-04-15 2022-09-09 南京信息工程大学 一种用于土地覆盖分类问题的多级特征聚合系统及方法
CN115984850A (zh) * 2023-02-15 2023-04-18 安徽大学 基于改进Deeplabv3+的轻量级遥感影像语义分割方法
CN116205881A (zh) * 2023-02-27 2023-06-02 广东技术师范大学 一种基于轻量级语义分割的数码喷印图像缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669325B (zh) * 2021-01-06 2022-10-14 大连理工大学 一种基于主动式学习的视频语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549563A (zh) * 2022-02-26 2022-05-27 福建工程学院 一种基于DeepLabV3+的复合绝缘子实时分割方法及系统
CN115035402A (zh) * 2022-04-15 2022-09-09 南京信息工程大学 一种用于土地覆盖分类问题的多级特征聚合系统及方法
CN114937151A (zh) * 2022-05-06 2022-08-23 西安电子科技大学 基于多感受野和注意力特征金字塔的轻量级目标检测方法
CN115984850A (zh) * 2023-02-15 2023-04-18 安徽大学 基于改进Deeplabv3+的轻量级遥感影像语义分割方法
CN116205881A (zh) * 2023-02-27 2023-06-02 广东技术师范大学 一种基于轻量级语义分割的数码喷印图像缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于密集层和注意力机制的快速语义分割;程晓悦 等;《计算机工程》;20200430;第46卷(第04期);第247-259页 *
基于轻量级无锚点深度卷积神经网络的树上苹果检测模型;夏雪 等;《智慧农业(中英文)》;20200331;第2卷(第01期);第99-110页 *

Also Published As

Publication number Publication date
CN117315324A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN112991354B (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN112766280A (zh) 一种基于图卷积的遥感图像道路提取方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN112329801A (zh) 一种卷积神经网络非局部信息构建方法
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN114120036A (zh) 一种轻量化的遥感图像云检测方法
CN112926533A (zh) 基于双向特征融合的光学遥感图像地物分类方法及系统
CN115512226A (zh) 融入注意力机制多尺度CNN的LiDAR点云滤波方法
CN115311508A (zh) 一种基于深度u型网络的单帧图像红外弱小目标检测方法
CN114972753A (zh) 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
CN114511785A (zh) 基于瓶颈注意力模块的遥感图像云检测方法及系统
CN117830835A (zh) 一种基于深度学习的卫星遥感图像分割方法
CN117788996A (zh) 一种融合大核注意力卷积的轻量化遥感图像目标检测方法
CN112597875A (zh) 一种多分支网络的抗漏检航拍目标检测方法
CN117315324B (zh) 一种用于火星崎岖地形的轻量级分类检测方法及系统
CN116956214A (zh) 基于正则化集成学习的多模态细粒度论文分类方法和系统
CN113762478A (zh) 射频干扰检测模型、射频干扰检测方法及装置
CN117808650B (zh) 一种基于Transform-Flownet和R-FPN的降水预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant