CN112257817A - 一种地形地质在线语义识别方法、装置及电子设备 - Google Patents

一种地形地质在线语义识别方法、装置及电子设备 Download PDF

Info

Publication number
CN112257817A
CN112257817A CN202011509843.6A CN202011509843A CN112257817A CN 112257817 A CN112257817 A CN 112257817A CN 202011509843 A CN202011509843 A CN 202011509843A CN 112257817 A CN112257817 A CN 112257817A
Authority
CN
China
Prior art keywords
terrain
geological
semantic
vibration information
geology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011509843.6A
Other languages
English (en)
Other versions
CN112257817B (zh
Inventor
李月华
李小倩
朱世强
谢天
费哲遥
何伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202011509843.6A priority Critical patent/CN112257817B/zh
Publication of CN112257817A publication Critical patent/CN112257817A/zh
Application granted granted Critical
Publication of CN112257817B publication Critical patent/CN112257817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种地形地质在线语义识别方法、装置及电子设备，包括：利用IMU传感器和相机分别获取振动信息和图像信息；利用宽度学习模型对所述振动信息进行地形地质预测，获得地形地质语义分类结果；利用振动信息和图像信息计算探测器在空间中的行驶轨迹，并生成图像和振动信息的匹配关系；根据所述匹配关系和所述地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将其作为图像与地形地质语义信息映射的真值；基于神经网络搭建地形地质在线学习与语义分类模型，并训练所述地形地质在线学习与语义分类模型；输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。

Description

一种地形地质在线语义识别方法、装置及电子设备
技术领域
本申请涉及语义识别技术领域，尤其涉及一种地形地质在线语义识别方法、装置及电子设备。
背景技术
目前探测器感知系统具备较为先进的环境探测与导航能力，但是对于巡视地形的认知与分类仍无法满足实际的应用需求，目前探测器主要依靠视觉作为解决方案，有些问题还未解决：视觉传感设备仅能对环境外部结构、颜色等特征进行有效提取和识别，无法对材质和力学等特征进行精确感知，探测系统不具备对地形的力学特性如软硬程度等物理属性的认知能力，从而无法对地形的进行较好的预判。
发明内容
本申请实施例的目的是提供一种地形地质在线语义识别方法、装置及电子设备，以解决相关技术无法对地形进行较好的预判的问题。
根据本申请实施例的第一方面，提供一种地形地质在线语义识别方法，包括：利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；利用所述振动信息和所述图像信息探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系；根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。
根据本申请实施例的第二方面，提供一种地形地质在线语义识别装置，包括：获取模块，用于利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；分类模块，对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；配准模块，利用所述振动信息和所述图像信息探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系；真值生成模块，用于根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；模型训练模块，用于基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；识别模块，用于输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。
根据本申请实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请采用的地形地质在线语义识别方法可提高探测器的环境感知能力。由于高精度的IMU传感器价格昂贵，如果在所有探测器的每个轮子上进行安装成本极高，而高分辨率的相机价格较低，由于仅使用IMU传感器生成地形地质语义信息的真值，而不是直接在运行过程使用IMU传感器识别地形地质信息，既可以充分利用环境的材质和力学等特征，提高探测器对地形地质物理属性的感知能力，又可重复利用IMU传感器，降低探测器的制造成本。此外，这种通过IMU传感器采集振动信息生成地形地质语义信息，并作为图像与地形地质分类映射真值的方法，简化了数据集的制作过程，赋予了探测器在线学习的能力，可提升探测器的地形地质在线语义识别能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种地形地质在线语义识别方法的流程图。
图2是根据一示例性实施例示出的地形地质分类定义示意图。
图3是根据一示例性实施例示出的模糊宽度学习模型框架示意图。
图4是根据一示例性实施例示出的一种地形地质在线学习与语义分类模型框架示意图。
图5是根据一示例性实施例示出的一种地形地质在线语义识别装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
图1是根据一示例性实施例示出的一种地形地质在线语义识别方法的流程图，如图1所示，可以包括以下步骤：
步骤S101，利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；
本实施例中，所述探测器可以是各式自主移动机器人，也可以是轮式、履带式移动小车，包括各式移动底盘，但不限于此，本实施例以探测器为轮式移动小车为例，IMU传感器安装在小车每个轮子上，用于获取小车的振动信息，相机安装在小车前方，用于获取地形地质的图像信息。所述某一地形一般指月球、火星等地外环境中的地形，也可以指沙漠、荒野等地球上的野外环境，包括室内环境，本发明以地外环境为例，因其图像与地形地质语义分类的映射关系相对于其他类型环境更难以通过实地试验获得。
步骤S102，对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；
具体地，首先将IMU传感采集的振动信息进行预处理，得到所述振动信息的特征描述，将所述特征描述输入所述宽度学习模型，模型的输出即为所述振动信息对应的地形地质语义分类结果。下面详细描述一下基于振动信息的地形语义宽度学习模型的构建和训练。
步骤S1021，根据地形松软程度，设计不同地形的地形地质语义分类标签；
具体地，为了使探测器具有对不同地形地质物理属性的分辨能力，针对地形地质的松软程度不同，对力的反馈存在差异，根据地质的松软程度定义N种不同地形地质分类，如图2所示，根据地形地质的力学特性，生成从平坦坚固的基石到松软的沙地，再到危险的内聚性较差的松散地形的地形地质分类。
步骤S1022，利用IMU传感器在所述设计的地形中采集振动信息，生成振动信息与地形地质语义分类的映射；
具体地，地形地质的力学特性一般是相似的，而图像特性的差异是很大的，因此，可采集探测器在所设计地形中的IMU传感器数据，并将其与所处的地形进行关联，生成振动信息与地形分类的映射关系，将其作为宽度学习网络模型的真值。
步骤S1023，对所述振动信息进行预处理，得到所述振动信息的特征描述；具体地，对所述振动信息进行分段处理，生成特征向量，为了便于对振动信息进行处理，对所述向量做标准化处理，再对向量进行归一化处理，最后，取前m位的幅值构成振动特征的特征向量。具体地， IMU在一个采样时刻可以得到6个数据，分别3个方向上的加速度和3个方向的角速度。为了使在线分类阶段对不同的地形有较高的分辨率，将IMU采集的数据信息进行分段处理，每段数据包含k个采样信息，从而可以生成一个6×k大小的向量，即：
Figure 899380DEST_PATH_IMAGE001
其中，i表示三个方向。接着对IMU的原始数据做标准化处理，将v和w在每个方向上的k维向量归一化。然后为了剔除振动数据中存在的噪声，提高基于振动信息的地形地质语义分类准确性，将小波变换作用到每个向量上，再对每个向量进行归一化处理，取前m位的幅值构成特征向量，用于实际训练的特征表示，即：
Figure 613258DEST_PATH_IMAGE002
Figure 425618DEST_PATH_IMAGE003
表示IMU数据的特征向量，后续可以对这些特征向量进行基于深度神经网络的训 练。
步骤S1024，基于宽度学习构造神经网络训练模型；具体地，基于宽度学习定义模型的输入输出数据，并对输入数据进行模糊处理，作为特征节点；定义网络的增强节点，由所述特征节点计算得到；定义输出权重，根据所述特征节点、所述增强节点和所述输出权重定义输出模型；通过岭回归的广义近似逆求解网络训练模型的输出权重，从而得到神经网络训练模型。具体地，设定训练数据集为：IMU数据样本IÎRA´N，地形地质样本OÎRB´N，A、B分别为输入和输出数据的维度，N是样本数量。首先基于TS模糊系统（Takagi–Sugeno）对输入数据进行模糊处理：
Figure 351986DEST_PATH_IMAGE004
式中，
Figure 697517DEST_PATH_IMAGE005
表示第m种模糊规则处理的第k个节点，
Figure 51138DEST_PATH_IMAGE006
为输入数据的第k个元素。然后对 模糊处理后的数据进行加权优化，则第i组模糊特征节点可表示为：
Figure 114909DEST_PATH_IMAGE007
式中，
Figure 844967DEST_PATH_IMAGE008
表示加权系数，则所有的特征节点可表示为
Figure 45005DEST_PATH_IMAGE009
。然后定义 m组增强节点，每组包含hi个节点，则第j组增强节点可表示为：
Figure 569527DEST_PATH_IMAGE010
式中，
Figure 356479DEST_PATH_IMAGE011
是线性激活函数，
Figure 624650DEST_PATH_IMAGE012
、
Figure 210352DEST_PATH_IMAGE013
是由宽度学习网络随机生成的权重和偏置，则 所有的增强可表示为
Figure 968092DEST_PATH_IMAGE014
。则最终宽度学习网络的输出可表示为：
Figure 6455DEST_PATH_IMAGE015
式中，
Figure 579782DEST_PATH_IMAGE016
，
Figure 754411DEST_PATH_IMAGE017
是连接特征节点和增强节点到输入层的输出权重，
Figure 886315DEST_PATH_IMAGE018
通过岭回归的广义近似逆进行求解：
Figure 146395DEST_PATH_IMAGE019
矩阵
Figure 21947DEST_PATH_IMAGE020
的伪逆通过岭回归近似求解：
Figure 51083DEST_PATH_IMAGE021
式中，l是正则化参数，E是单位矩阵。对其进行优化求解，即可得到输出权重的解为：
Figure 855353DEST_PATH_IMAGE022
宽度学习网络训练的结果即为输出权重
Figure 337150DEST_PATH_IMAGE018
。
步骤S1025，根据所述振动特征描述和与所述振动特征对应的松软属性标签，训练 所述神经网络模型，获得振动信息与地形语义信息映射的宽度学习模型；具体地，如图3所 示，首先输入训练样本I、O，根据预先设定的模糊规则对输入数据进行模糊处理，计算模糊 特征节点
Figure 750814DEST_PATH_IMAGE023
，生成特征节点组
Figure 634456DEST_PATH_IMAGE024
；然后随机生成增强节点的权重
Figure 108163DEST_PATH_IMAGE012
和偏置
Figure 342835DEST_PATH_IMAGE013
，计算增强 节点
Figure 294611DEST_PATH_IMAGE025
，生成增强节点组
Figure 298339DEST_PATH_IMAGE026
最后对宽度学习进行优化求解，获得网络输出权重
Figure 456130DEST_PATH_IMAGE018
。
步骤S103，利用所述振动信息和所述图像信息计算探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系；该步骤包括以下子步骤：
步骤S1031，在探测器工作前对IMU传感器和相机的时间同步关系和空间位置关系进行标定；
本实施例中，所述时间同步关系和空间位置关系的标定包括离线的方法和在线的方法，但不仅限于此，本实施例以离线标定为例，为了更好地融合IMU采集的振动信息和相机采集的图像信息，利用kalibr工具包对IMU传感器和相机进行空间位置关系和时间同步关系标定。首先下载kalibr工具包，并准备相应的标定板，其次控制探测器产生转动、平移等运动形式，保证IMU传感器采集到三个方向的速度和三个方向的加速度，然后录制连续一段时间内IMU传感器采集的振动信息和相机拍摄的标定板图像数据，并利用kalibr工具包将录制的数据转换为.bag文件，最后利用kalibr工具包对.bag文件进行处理，输出IMU传感器与相机的时间同步误差、相对位姿矩阵和重投影误差，当时间同步误差和重投影误差在设定的阈值内时，完成标定。
步骤S1032，根据所述IMU传感器采集的振动信息和所述相机采集的图像信息计算探测器在该空间中的行驶轨迹；具体的，为了更加精确地估计探测器的运动轨迹，在系统正式运行前，已完成空间位置关系和时间同步关系标定，运行过程中使用ORB-SLAM3算法同时处理所述IMU传感器采集的振动信息和图像信息，其中，IMU传感器采集的振动信息主要用于探测器的初始化位姿估计，以获得更加精确的初始位姿，图像信息主要用于视觉里程计，即根据图像特征点估计探测器位姿。同时，联合振动信息和图像信息优化位姿估计，以获得更加精确地行驶轨迹。
步骤S1033，设ti时刻下，相机拍摄到的图像F中存在某空间位置点P，探测器经过该点P的时刻为tj；具体的，为了更好地匹配空间位置点P所对应的图像信息和振动信息，将相机拍摄P点的时刻记为ti，将探测器经过P点时产生振动的时刻记为tj。
步骤S1034，根据所述行驶轨迹与所述IMU与相机之间的空间位置关系，估算tj时刻下的振动信息所对应的ti时刻，并提取该时刻的图像F，即求得所述图像和振动信息的匹配关系；具体的，行驶轨迹是由图像信息提取的环境特征点所构成的稀疏路标点地图，即行驶轨迹中任意路标均对应一帧图像。假设探测器路过路标点P的时刻为tj，并产生振动信息，则可以根据行驶轨迹以及IMU传感器与相机之间的空间位置关系，计算P点所对应的图像，则可生成振动信息与图像信息的匹配关系。
步骤S104，根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；
具体地，在探测器行驶过程中，无法直接通过图像信息获取地形地质的语义分类，即无法直接根据图像对地形地质的力学特性进行判断，因此将所有振动信息输入宽度学习模型进行地形地质语义分类，并根据振动信息与图像信息的匹配关系，生成图像信息与地形地质语义分类的映射关系，将该映射关系作为图像信息与地形地质语义分类映射的真值。
步骤S105，基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；
具体地，为了充分利用图像序列之间的关联性，如图4所示，首先搭建基于多层CNN-GRU的地形地质在线学习与语义分类模型，CNN网络用于提取图像特征，多层GRU网络用于分析图像序列之间的相关性。然后利用所述图像信息与地形地质语义分类的真值，对所述地形地质在线学习与语义分类模型进行训练。
步骤S106，输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。
具体地，高精度的IMU传感器价格昂贵，而相机的价格非常便宜，为了降低探测器的成本，可将训练好的地形地质在线学习与语义分类模型移植到未安装IMU传感器的探测器中，输入待识别的图像信息至所述地形地质在线学习与语义分类模型，即可获得语义分类结果，实现在线语义识别预测。
步骤S107，还包括：加强所述地形地质在线学习与语义分割模型的步骤。
具体地，该步骤：根据探测器轮子经过区域与图像信息构成的映射数据关系，重复地形地质在线学习与语义分割模型的训练过程，实现模型的加强。
与前述的一种地形地质在线语义识别方法的实施例相对应，本申请还提供了一种地形地质在线语义识别装置的实施例。
图5是根据一示例性实施例示出的一种地形地质在线语义识别装置框图。参照图5，该装置包括：
获取模块901，用于利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；
分类模块902，用于对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；
配准模块903，用于根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；
真值生成模块904，用于根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；
模型训练模块905，用于基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；
识别模块906，用于输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。
还包括强化模块，用于加强所述地形地质在线学习与语义分割模型。
本申请实施例还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种地形地质在线语义识别方法，其特征在于，包括：
利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；
对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；
利用所述振动信息和所述图像信息计算探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系；
根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；
基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；
输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。
2.根据权利要求1所述的一种地形地质在线语义识别方法，其特征在于，基于振动信息的地形语义宽度学习模型由以下步骤进行构建并训练：
根据地形松软程度，设计不同地形的地形地质语义分类标签；
利用IMU传感器在所述设计的地形中采集振动信息，生成振动信息与地形地质语义分类的映射；
对所述振动信息进行预处理，得到所述振动信息的特征描述；
基于宽度学习构造神经网络训练模型；
根据所述特征描述和与所述特征描述对应的松软属性标签，训练所述神经网络模型，获得振动信息与地形语义信息映射的宽度学习模型。
3.根据权利要求2所述的一种地形地质在线语义识别方法，其特征在于，对所述振动信息进行预处理，得到所述振动信息的特征描述，具体包括：
对所述振动信息进行分段处理，生成特征向量，对所述向量做标准化处理，再对向量进行归一化处理，最后，取前m位的幅值构成振动信息的特征描述。
4.根据权利要求2所述的一种地形地质在线语义识别方法，其特征在于，基于宽度学习构造神经网络训练模型，具体包括：
基于宽度学习定义模型的输入输出数据，并对输入数据进行模糊处理，作为特征节点；
定义网络的增强节点，由所述特征节点计算得到；
定义输出权重，根据所述特征节点、所述增强节点和所述输出权重定义输出模型；
通过岭回归的广义近似逆求解网络训练模型的输出权重，从而得到神经网络训练模型。
5.根据权利要求1所述的一种地形地质在线语义识别方法，其特征在于，利用所述振动信息和所述图像信息计算探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系，具体包括：
在探测器工作前对IMU传感器和相机的时间同步关系和空间位置关系进行标定；
根据所述IMU传感器采集的振动信息和所述相机采集的图像信息计算探测器在该空间中的行驶轨迹；
设ti时刻下，相机拍摄到的图像F中存在某空间位置点P，探测器经过该点P的时刻为tj；
根据所述行驶轨迹与所述IMU与相机之间的空间位置关系，估算tj时刻下的振动信息所对应的ti时刻，并提取该时刻的图像F，即求得所述图像和振动信息的匹配关系。
6.根据权利要求1所述的一种地形地质在线语义识别方法，其特征在于，还包括：
加强所述地形地质在线学习与语义分类模型的步骤。
7.根据权利要求6所述的一种地形地质在线语义识别方法，其特征在于，所述加强所述地形地质在线学习与语义分类模型的步骤，包括：
根据IMU传感器采集的振动数据与图像信息构成的映射数据关系，重复地形地质在线学习与语义分类模型的训练过程，实现模型的加强。
8.一种地形地质在线语义识别装置，其特征在于，包括：
获取模块，用于利用与探测器刚性联结的IMU传感器采集探测器在某一地形中运动的振动信息，利用与探测器刚性联结的相机采集所述地形的图像信息；
分类模块，对所述振动信息进行预处理，得到所述振动信息的特征描述，并利用宽度学习模型对所述特征描述进行地形地质预测，获得基于振动信息的地形地质语义分类结果；
配准模块，利用所述振动信息和所述图像信息计算探测器在空间中的行驶轨迹，根据所述行驶轨迹和IMU传感器与相机的空间位置关系，计算图像和振动信息的匹配关系；
真值生成模块，用于根据所述匹配关系和所述基于振动信息的地形地质语义分类结果，生成图像信息与地形地质语义分类的映射，将所述映射作为图像与地形地质语义信息映射的真值；
模型训练模块，用于基于神经网络搭建地形地质在线学习与语义分类模型，根据所述真值，训练所述地形地质在线学习与语义分类模型；
识别模块，用于输入待识别的图像信息至所述地形地质在线学习与语义分类模型中，获取语义分类结果，实现地形地质在线语义识别预测。
9.根据权利要求8所述的一种地形地质在线语义识别装置，其特征在于，还包括：
强化模块，用于加强所述地形地质在线学习与语义分类模型。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的方法。
CN202011509843.6A 2020-12-18 2020-12-18 一种地形地质在线语义识别方法、装置及电子设备 Active CN112257817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011509843.6A CN112257817B (zh) 2020-12-18 2020-12-18 一种地形地质在线语义识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011509843.6A CN112257817B (zh) 2020-12-18 2020-12-18 一种地形地质在线语义识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112257817A true CN112257817A (zh) 2021-01-22
CN112257817B CN112257817B (zh) 2021-03-30

Family

ID=74224975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011509843.6A Active CN112257817B (zh) 2020-12-18 2020-12-18 一种地形地质在线语义识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112257817B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298326A (zh) * 2021-07-27 2021-08-24 成都西辰软件有限公司 智能化电子化事件监督方法、设备及存储介质
CN113682500A (zh) * 2021-08-20 2021-11-23 吉林大学 一种模拟复杂火星地形地貌的试验环境

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830325A (zh) * 2018-06-20 2018-11-16 哈尔滨工业大学 一种基于学习的振动信息地形分类识别方法
CN110909637A (zh) * 2019-11-08 2020-03-24 清华大学 一种基于视触融合的室外移动机器人地形识别方法
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111160198A (zh) * 2019-12-23 2020-05-15 北方工业大学 基于宽度学习的物体识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830325A (zh) * 2018-06-20 2018-11-16 哈尔滨工业大学 一种基于学习的振动信息地形分类识别方法
CN110909637A (zh) * 2019-11-08 2020-03-24 清华大学 一种基于视触融合的室外移动机器人地形识别方法
CN110956651A (zh) * 2019-12-16 2020-04-03 哈尔滨工业大学 一种基于视觉和振动触觉融合的地形语义感知方法
CN111160198A (zh) * 2019-12-23 2020-05-15 北方工业大学 基于宽度学习的物体识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白成超: "基于视/触信息的巡视器地形感知方法研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298326A (zh) * 2021-07-27 2021-08-24 成都西辰软件有限公司 智能化电子化事件监督方法、设备及存储介质
CN113298326B (zh) * 2021-07-27 2021-10-26 成都西辰软件有限公司 智能化电子化事件监督方法、设备及存储介质
CN113682500A (zh) * 2021-08-20 2021-11-23 吉林大学 一种模拟复杂火星地形地貌的试验环境
CN113682500B (zh) * 2021-08-20 2023-11-17 吉林大学 一种模拟复杂火星地形地貌的试验环境

Also Published As

Publication number Publication date
CN112257817B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
Batool et al. Sensors technologies for human activity analysis based on SVM optimized by PSO algorithm
CN110059601B (zh) 一种多特征提取与融合的智能故障诊断方法
Feng et al. Similarity-based meta-learning network with adversarial domain adaptation for cross-domain fault identification
Khan et al. Fruits diseases classification: exploiting a hierarchical framework for deep features fusion and selection
CN112257817B (zh) 一种地形地质在线语义识别方法、装置及电子设备
CN111260057B (zh) 一种基于虚拟传感器的足式机器人地形感知方法
CN111323228B (zh) 一种基于时间序列映射与卷积神经网络的故障诊断方法
CN105046717B (zh) 一种鲁棒性的视频目标对象跟踪方法
CN107643181A (zh) 一种基于图像识别的滚动轴承变工况故障诊断方法
CN113111947A (zh) 图像处理方法、装置和计算机可读存储介质
Azzam et al. A stacked LSTM-based approach for reducing semantic pose estimation error
Pucci et al. Human activities classification using biaxial seismic sensors
CN111126494A (zh) 基于各向异性卷积的图像分类方法及系统
CN114494947B (zh) 一种基于量子优化算法的交通视频车辆分类方法
CN110705384A (zh) 一种基于跨域迁移增强表示的车辆再识别方法
CN105809200A (zh) 一种生物启发式自主抽取图像语义信息的方法及装置
Feng et al. A novel approach for trajectory feature representation and anomalous trajectory detection
CN115345322B (zh) 一种基于层级化元迁移的小样本雷达目标识别方法
Wang et al. Accelerometer-based gesture recognition using dynamic time warping and sparse representation
CN115664970A (zh) 基于双曲空间的网络异常点检测方法
CN114723998A (zh) 基于大边界贝叶斯原型学习的小样本图像分类方法及装置
CN110334734B (zh) 一种基于元学习技术的智能传感融合方法
CN113723468A (zh) 一种三维点云的物体检测方法
CN113269235A (zh) 一种基于无监督学习的装配体变化检测方法及设备
Hu et al. Observer-based learning and non-high-gain recognition of univariate time series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant