CN117553808A - 基于深度学习的机器人定位导航方法、装置、设备及介质 - Google Patents

基于深度学习的机器人定位导航方法、装置、设备及介质 Download PDF

Info

Publication number
CN117553808A
CN117553808A CN202410049104.5A CN202410049104A CN117553808A CN 117553808 A CN117553808 A CN 117553808A CN 202410049104 A CN202410049104 A CN 202410049104A CN 117553808 A CN117553808 A CN 117553808A
Authority
CN
China
Prior art keywords
prediction frame
feature points
dynamic
prediction
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410049104.5A
Other languages
English (en)
Other versions
CN117553808B (zh
Inventor
王在俊
高耀文
钱奕舟
王雪
宁伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Flight University of China
Original Assignee
Civil Aviation Flight University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation Flight University of China filed Critical Civil Aviation Flight University of China
Priority to CN202410049104.5A priority Critical patent/CN117553808B/zh
Publication of CN117553808A publication Critical patent/CN117553808A/zh
Application granted granted Critical
Publication of CN117553808B publication Critical patent/CN117553808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的机器人定位导航方法、装置、设备及介质，包括：首先通过改进的目标检测算法，获取检测图像的先验信息，再提取检测图像的ORB特征点；然后使用先验信息和动态特征点剔除机制剔除先验动态特征点，初步得到图像中的静态特征点；最后结合对极几何约束，对静态特征点进行异常点的二次剔除处理，得到最后用于定位、导航所需的目标特征点；根据目标特征点进行姿态识别和定位导航，实现对动态环境中的干扰因素的排除，提高定位导航的及时性和精准性。

Description

基于深度学习的机器人定位导航方法、装置、设备及介质
技术领域
本发明涉及数据处理领域，尤其涉及一种基于深度学习的机器人定位导航方法、装置、设备及介质。
背景技术
随着人工智能的发展，机器人在我们生活中应用越来越广泛，如何精准对机器人进行控制，是提高机器人执行效率的重要问题，对于机器人的控制，目前主要采用SLAM（Simultaneous Localization and Mapping，同时定位与地图构建）系统进行定位导航。
发明人在实现本发明的过程中，意识到当前方式至少存在如下技术问题：在动态环境中，因为环境变化等因素的影响，往往会让机器人在识别定位时速度较慢，导致不及时，同时在未正确识别动态物体为同一物体时，也往往使得定位精准程度受到影响。
发明内容
本发明实施例提供一种基于深度学习的机器人定位导航方法、装置、计算机设备和存储介质，以提高机器人定位导航的精准性和及时性。
为了解决上述技术问题，本申请实施例提供一种基于深度学习的机器人定位导航方法，包括：
获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征；
获取所述检测图像的先验信息，并基于所述ORB特征提取的特征点与所述先验信息结合，剔除先验动态特征点，得到静态特征点；
采用对极几何约束，对所述ORB特征中的静态特征点进行二次异常剔除处理，得到目标特征点；
根据所述目标特征点进行姿态识别和定位导航。
可选地，所述基于所述ORB特征与所述先验信息结合，得到先验动态特征点包括：
基于所述先验信息，采用目标检测网络对所述检测图像进行目标预测，得到若干预测框；
根据预先设置的物体类别，对所述预测框进行调整和分类，得到第一预测框和第二预测框，其中，所述物体类别包括静态物体、潜在动态物体和动态物体，所述第一预测框为包含所有静态物体和潜在动态物体；
将所述第二预测框内ORB特征对应的特征点，作为所述先验动态特征点。
可选地，所述根据预先设置的物体类别，对所述预测框进行调整和分类，得到第一预测框和第二预测框包括：
若所述预测框内的物体类别为静态物体或潜在动态物体，则将所述预测框作为所述第一预测框；
若所述预测框内的物体类别为动态物体，则将所述预测框作为所述第一预测框；
若所述预测框内的物体类别包含动态物体，并包含静态物体和潜在动态物体的至少一种，则将所述静态物体和潜在动态物体对应的特征点保留，其他特征点作为所述先验动态特征点。
可选地，所述目标检测网络为改进的YOLOv5s 网络，其中，所述改进的YOLOv5s 采用GhostNet作为主干网络，所述GhostNet采用轻量化的分组卷积和通道注意力机制，所述改进的YOLOv5s采用SIOU损失作为损失函数，所述SIOU损失包括角度损失、距离损失、形状损失和IOU损失。
可选地，所述SIOU损失采用如下方式表示：
其中，Ω为形状损失，Δ为距离损失；
所述形状损失Ω表示为：
其中，ωw，ωh和θ是形状损失的定义值；
所述距离损失Δ包含角度损失Λ，总的距离损失Δ表示为：
其中，ρx是计算的预测框和真实框在x轴方向的距离平方除以覆盖两个盒子的最小围盒x轴长度平方的值，ρy是计算的预测框和真实框在y轴方向的距离平方除以覆盖两个盒子的最小围盒y轴长度平方的值;
所述距离损失Δ中的角度损失Λ表示为：
其中，σ为预测框和真实框中心点之间的欧氏距离，ch为预测框和真实框在x轴或y轴方向差的绝对值。
为了解决上述技术问题，本申请实施例还提供一种基于深度学习的机器人定位导航装置，包括：
特征提取模块，用于获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征；
动态先验点确认模块，用于获取检测图像的先验信息，并基于ORB特征与先验信息结合，剔除先验动态特征点，得到静态特征点；
二次剔除模块，用于采用对极几何约束，对ORB特征中的静态特征点进行二次异常剔除处理，得到目标特征点；
定位模块，用于根据目标特征点进行姿态识别和定位导航。
可选地，先验点确认模块包括：
预测框生成单元，用于基于先验信息，采用目标检测网络对检测图像进行目标预测，得到若干预测框；
预测框分类单元，用于根据预先设置的物体类别，对预测框进行调整和分类，得到第一预测框和第二预测框，其中，物体类别包括静态物体、潜在动态物体和动态物体，第一预测框为包含所有静态物体和潜在动态物体；
先验点确定单元，用于将第二预测框内ORB特征对应的特征点，作为先验动态特征点。
可选地，所述预测框分类单元包括：
第一判断子单元，用于若预测框内的物体类别为静态物体或潜在动态物体，则将预测框作为第一预测框；
第二判断子单元，用于若预测框内的物体类别为动态物体，则将预测框作为第一预测框；
第三判断子单元，用于若预测框内的物体类别包含动态物体，并包含静态物体和潜在动态物体的至少一种，则将静态物体和潜在动态物体对应的特征点保留，其他特征点作为先验动态特征点。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于深度学习的机器人定位导航方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的机器人定位导航方法的步骤。
本发明实施例提供的基于深度学习的机器人定位导航方法、装置、计算机设备及存储介质，通过获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征点；通过目标检测网络获取检测图像的先验信息，并基于ORB特征与先验信息结合，剔除先验动态特征点，得到静态特征点；采用对极几何约束，对ORB特征中的静态特征点进行二次异常剔除处理，得到目标特征点；根据目标特征点进行姿态识别和定位导航，实现对动态环境中的干扰因素的排除，提高定位导航的及时性和精准性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的基于深度学习的机器人定位导航方法的一个实施例的流程图；
图3是本申请一个改进后的目标检测算法示意图；
图4是根据本申请的基于深度学习的机器人定位导航装置的一个实施例的结构示意图；
图5是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104和服务器105。网络104用以在该第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用该第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。
该第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器( Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3 )、MP4( Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4 )播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对该第一终端设备101、第二终端设备102、第三终端设备103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于深度学习的机器人定位导航方法由服务器执行，相应地，基于深度学习的机器人定位导航装置设置于服务器中。
应该理解，图1中的第一、第二、第三终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的第一终端设备101、第二终端设备102、第三终端设备103具体可以对应的是实际生产中的应用系统。
请参阅图2，图2示出本发明实施例提供的一种基于深度学习的机器人定位导航方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S201：获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征。
具体地，ORB-SLAM2 延续 PTAM 的算法框架，使用 ORB 特征，拥有比 PTAM 更好的视角不变性，并且 ORB-SLAM2 具有更加鲁棒的关键帧和三维点选择机制,整体系统分为跟踪、局部建图、回环检测 3 个线程, 系统在回环检测后进行全局约束调整。ORB-SLAM2系统结构完善,性能较好。因此,目前众多研究动态场景的系统都是在 ORB-SLAM2 的基础上进行改善的,本文提出的语义视觉 SLAM 也是以该系统为基础,具体的系统框架如图3 所示。改进后的系统在原跟踪线程上添加基于改进YOLOv5s算法的先验动态特征点剔除模块。首先会检测图片获取先验信息,然后与ORB特征提取相结合，根据自定义动态特征点剔除机制剔除先验动态点，然后将结果传回跟踪线程。然后再使用对极几何约束方法进行二次判断，最终将所有不符合条件的特征点剔除，保留静态特征点。 改进的YOLOv5s和几何约束方法共同将提取的ORB特征点中的动态特征点进行精确剔除,使用剩余的静态特征点进行后续位姿估计。
S202：使用改进的轻量化目标检测网络获取检测图像的先验信息，并基于ORB特征与先验信息结合，剔除先验动态特征点，得到静态特征点。
优选地，本申请采用目标检测网络进行先验信息区域的识别确认，目标检测网络为改进的YOLOv5s 网络，其中，改进的YOLOv5s 采用GhostNet作为主干网络，GhostNet采用轻量化的分组卷积和通道注意力机制，改进的YOLOv5s采用SIOU损失作为损失函数，SIOU损失角度损失、距离损失、形状损失和IOU损失。
随着计算机视觉应用场景的不断扩大和多样化， 轻量级网络结构的研究和应用成为当前热点之一。 在 YOLOv5s 网络中，主干网络是整个模型的核心组成部分，决定了模型的性能和速度。然而，传统的主干网络如 Darknet53 具有较多的参数和计算量，导致模型较大且运行速度较慢。受限于移动设备的硬 件条件和环境影响，为提高模型的轻量化和速度，本文将 YOLOv5s 网络原有的普通卷积层替换为更加轻量化的深度可分离卷积GhostConv。GhostNet采用轻量化的分组卷积和通道注意力机制，以保持高准确率的同时减少网络的计算量和存储空间。同时，GhostNet使用反向残差模块来加速模型训练和降低模型的复杂度。因此，将原有的普通卷积层替换为 GhostConv 不仅可以提高 YOLOv5s的速度，还可以减少网络的参数量和存储空间，更利于在嵌入式和资源受限的移动设备进行实时目标检测。
在深度学习中，注意力机制已被广泛应用于图像识别、自然语言处理等任务中，取得了良好的效 果。注意力机制是一种加强模型特征表达能力的计 算单元，可以让模型在处理数据时更关注重要的部 分，同时减少不必要的计算。在加入 Ghost 模块后， 参数量和计算量都大幅降低，加快了训练和推理速度，但同时网络对全局特征的提取也减少了。因此，为减少冗余信息和增强特征图中重要的特征信息，本申请选择在 Backbone 添加跨空间学习的高效多尺度注意力模块EMA。
其中，EMA注意力机制是一种高效的多尺度注意力模块。它以保留每个通道上的信息和降低计算开销为目标，通过将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组中均匀分布。具体来说，除了对全局信息进行编码以重新校准每个并行分支中的通道权重外，还通过跨维度交互进一步聚合两个并行分支的输出特征，以捕获像素级成对关系。
进一步地，在一具体可选实施方式中，基于ORB特征与先验信息结合，剔除先验动态特征点，得到静态特征点：
基于先验信息，采用目标检测网络对检测图像进行目标预测，得到若干预测框；
根据预先设置的物体类别，对预测框进行调整和分类，得到第一预测框和第二预测框，其中，物体类别包括静态物体、潜在动态物体和动态物体，第一预测框为包含所有静态物体和潜在动态物体；
将第二预测框内ORB特征对应的特征点，作为先验动态特征点。
优选地，根据预先设置的物体类别，对预测框进行调整和分类，得到第一预测框和第二预测框包括：
若预测框内的物体类别为静态物体或潜在动态物体，则将预测框作为第一预测框；
若预测框内的物体类别为动态物体，则将预测框作为第一预测框；
若预测框内的物体类别包含动态物体，并包含静态物体和潜在动态物体的至少一种，则将静态物体和潜在动态物体对应的特征点保留，其他特征点作为先验动态特征点。
本实施例中，将YOLO检测出来的物体分为动态、潜在动态、静态三类。其中人在环境中一般都是运动的，设定为动态物体，电脑等固定的物体设为静态，键盘，鼠标，椅子等物体会随着人的使用而产生位置的变化，设定为潜在动态物体。将处在动态物体的检测框内的静态物体检测框里面的特征点保留，潜在动态物体不处于动态物体检测框内的特征点也进行保留，这样在一定程度上提高保留的特征点的数量，提高系统的定位精度。
S203：采用对极几何约束，对ORB特征中的保留的静态特征点进行二次异常剔除处理，得到目标特征点。
在目标检测中，损失函数由分类损失，边界框损失和置信度损失三部分组成。其中边界框的损失值即检测框与真实框匹配程度，通常采用 IOU（Intersection Over Union）指标来度量。 IOU 是通过计算检测框和真实框之间的重叠部分面积与并集面积之比得到的。 IOU 的计算公式定义如下：
其中P为检测框，R为真实框，这种原始的IOU在许多情况下并不适用。
YOLOv5s使用CIOU[16]作为模型的损失函数，CIOU 同时考虑到了预测框与真实框的长宽比例问题和回归框宽高比例以及真实框与预测框中心距离。CIoU 的计算公式下：
其中是覆盖两个盒子的最小围盒的对角线长度，是两个预测框中心点的欧式距离。α为权衡长宽比例造成的损失和IOU部分造成的损失的平衡因子, ν为预测框和真实框长宽比例差值的归一化，定义分别如下：
CIOU 损失函数有效解决了 IOU、DIOU 存在的问题，但由于v仅反映纵横比的差异，因此 CIOU 可能会以不恰当的方法优化相似性，即存在当目标框非常小或者存在较大的偏移时，损失函数的值会出现较大偏差，以及没有考虑到考虑GT与预测检测框之间不匹配的方向等问题。本文使用新的SIOU替换现有的SIOU作为YOLOv5s的损失函数。SIOU进一步考虑了真实框和预测框之间的向量角度，重新定义相关损失函数，具体包含四个部分：角度损失(Angle cost)、距离损失(Distance cost)、形状损失(Shape cost)、IOU损失(IOUcost）。
优选地，SIOU损失采用如下方式表示：
其中，Ω为形状损失，Δ为距离损失；
形状损失Ω表示为：
其中，ωw，ωh和θ是形状损失的定义值；
在考虑距离损失Λ时进一步考虑到角度损失Λ，总的距离损失Λ表示为：
其中，ρx计算的预测框和真实框在x轴方向的距离平方除以覆盖两个盒子的最小围盒x轴长度平方的值，ρy是计算的预测框和真实框在y轴方向的距离平方除以覆盖两个盒子的最小围盒y轴长度平方的值;
其中的角度损失Λ表示为：
其中，σ为预测框和真实框中心点之间的欧氏距离，ch为预测框和真实框在x轴或y轴方向差的绝对值。
其中，ωw，ωh和θ的值对于每个数据集都是唯一的，定义距离成本时考虑了角度成本，引入SIOU能够有效的弥补CIOU损失函数存在的不足，提高模型训练的速度和推理的准确性，加速收敛，更好的适应动态场景下目标检测的任务需求。
S204：根据目标特征点进行姿态识别和定位导航。
本实施例中，通过获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征；使用目标检测算法获取检测图像的先验信息，并基于ORB特征与先验信息结合，得到静态特征点；采用对极几何约束，对ORB特征中的保留的静态特征点进行二次异常剔除处理，得到目标特征点；根据目标特征点进行姿态识别和定位导航，实现对动态环境中的干扰因素的排除，提高定位导航的及时性和精准性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图4示出与上述实施例基于深度学习的机器人定位导航方法一一对应的基于深度学习的机器人定位导航装置的原理框图。如图4所示，该基于深度学习的机器人定位导航装置包括特征提取模块31、先验点确认模块32、剔除模块33和定位模块34。各功能模块详细说明如下：
特征提取模块31，用于获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征；
先验点确认模块32，用于获取检测图像的先验信息，并基于ORB特征与先验信息结合，剔除先验动态特征点，保留静态特征点；
剔除模块33，用于采用对极几何约束，对剔除先验动态特征点后保留的静态特征点进行二次异常剔除处理，得到目标特征点；
定位模块34，用于根据目标特征点进行姿态识别和定位导航。
可选地，先验点确认模块包括：
预测框生成单元，用于基于先验信息，采用目标检测网络对检测图像进行目标预测，得到若干预测框；
预测框分类单元，用于根据预先设置的物体类别，对预测框进行调整和分类，得到第一预测框和第二预测框，其中，物体类别包括静态物体、潜在动态物体和动态物体，第一预测框为包含所有静态物体和潜在动态物体；
先验点确定单元，用于将第二预测框内ORB特征对应的特征点，作为先验动态特征点。
可选地，预测框分类单元包括：
第一判断子单元，用于若预测框内的物体类别为静态物体或潜在动态物体，则将预测框作为第一预测框；
第二判断子单元，用于若预测框内的物体类别为动态物体，则将预测框作为第一预测框；
第三判断子单元，用于若预测框内的物体类别包含动态物体，并包含静态物体和潜在动态物体的至少一种，则将静态物体和潜在动态物体对应的特征点保留，其他特征点作为先验动态特征点。
关于基于深度学习的机器人定位导航装置的具体限定可以参见上文中对于基于深度学习的机器人定位导航方法的限定，在此不再赘述。上述基于深度学习的机器人定位导航装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或D界面显示存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于深度学习的机器人定位导航方法的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行基于深度学习的机器人定位导航方法的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于深度学习的机器人定位导航方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于深度学习的机器人定位导航方法，其特征在于，包括：
获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征；
获取所述检测图像的先验信息，并基于所述ORB特征与所述先验信息结合，剔除先验动态特征点，得到静态特征点；
采用对极几何约束，对所述ORB特征中的保留的静态特征点进行二次异常剔除处理，得到目标特征点；
根据所述目标特征点进行姿态识别和定位导航。
2.如权利要求1所述的基于深度学习的机器人定位导航方法，其特征在于，所述基于所述ORB特征与所述先验信息结合，剔除先验动态特征点包括：
基于所述先验信息，采用目标检测网络对所述检测图像进行目标预测，得到若干预测框；
根据预先设置的物体类别，对所述预测框进行调整和分类，得到第一预测框和第二预测框，其中，所述物体类别包括静态物体、潜在动态物体和动态物体，所述第一预测框为包含所有静态物体和潜在动态物体；
将所述第二预测框内ORB特征对应的特征点，作为所述先验动态特征点。
3.如权利要求2所述的基于深度学习的机器人定位导航方法，其特征在于，所述根据预先设置的物体类别，对所述预测框进行调整和分类，得到第一预测框和第二预测框包括：
若所述预测框内的物体类别为静态物体或潜在动态物体，则将所述预测框作为所述第一预测框；
若所述预测框内的物体类别为动态物体，则将所述预测框作为所述第一预测框；
若所述预测框内的物体类别包含动态物体，并包含静态物体和潜在动态物体的至少一种，则将所述静态物体和潜在动态物体对应的特征点保留，其他特征点作为所述先验动态特征点。
4.如权利要求2所述的基于深度学习的机器人定位导航方法，其特征在于，所述目标检测网络为改进的YOLOv5s 网络，其中，所述改进的YOLOv5s 采用GhostNet作为主干网络，所述GhostNet采用轻量化的分组卷积和通道注意力机制，所述改进的YOLOv5s采用SIOU损失作为损失函数，所述SIOU损失包括角度损失、距离损失、形状损失和IOU损失。
5.如权利要求4所述的基于深度学习的机器人定位导航方法，其特征在于，所述SIOU损失采用如下方式表示：
其中，Ω为形状损失，Δ为距离损失；
所述形状损失Ω表示为：
其中，ωw，ωh和θ是形状损失的定义值；
所述距离损失Δ包含角度损失Λ，总的距离损失Δ表示为：
其中，ρx是计算的预测框和真实框在x轴方向的距离平方除以覆盖两个盒子的最小围盒x轴长度平方的值，ρy是计算的预测框和真实框在y轴方向的距离平方除以覆盖两个盒子的最小围盒y轴长度平方的值;
所述距离损失Δ中的角度损失Λ表示为：
其中，σ为预测框和真实框中心点之间的欧氏距离，ch为预测框和真实框在x轴或y轴方向差的绝对值。
6.一种基于深度学习的机器人定位导航装置，其特征在于，所述基于深度学习的机器人定位导航装置包括：
特征提取模块，用于获取图像先验信息的改进目标检测算法，并提取检测图像的ORB特征；
先验点确认模块，用于获取检测图像的先验信息，并基于ORB特征与先验信息结合，剔除先验动态特征点，保留静态特征点；
剔除模块，用于采用对极几何约束，对保留的静态特征点中的异常特征点进行二次异常剔除处理，得到目标特征点；
定位模块，用于根据目标特征点进行姿态识别和定位导航。
7.如权利要求6所述的基于深度学习的机器人定位导航装置，其特征在于，所述先验点确认模块包括：
预测框生成单元，用于基于先验信息，采用目标检测网络对检测图像进行目标预测，得到若干预测框；
预测框分类单元，用于根据预先设置的物体类别，对预测框进行调整和分类，得到第一预测框和第二预测框，其中，物体类别包括静态物体、潜在动态物体和动态物体，第一预测框为包含所有静态物体和潜在动态物体；
先验点确定单元，用于将第二预测框内ORB特征对应的特征点，作为先验动态特征点。
8.如权利要求7所述的基于深度学习的机器人定位导航装置，其特征在于，所述预测框分类单元包括：
第一判断子单元，用于若预测框内的物体类别为静态物体或潜在动态物体，则将预测框作为第一预测框；
第二判断子单元，用于若预测框内的物体类别为动态物体，则将预测框作为第一预测框；
第三判断子单元，用于若预测框内的物体类别包含动态物体，并包含静态物体和潜在动态物体的至少一种，则将静态物体和潜在动态物体对应的特征点保留，其他特征点作为先验动态特征点。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于深度学习的机器人定位导航方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于深度学习的机器人定位导航方法。
CN202410049104.5A 2024-01-12 2024-01-12 基于深度学习的机器人定位导航方法、装置、设备及介质 Active CN117553808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410049104.5A CN117553808B (zh) 2024-01-12 2024-01-12 基于深度学习的机器人定位导航方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410049104.5A CN117553808B (zh) 2024-01-12 2024-01-12 基于深度学习的机器人定位导航方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117553808A true CN117553808A (zh) 2024-02-13
CN117553808B CN117553808B (zh) 2024-04-16

Family

ID=89811562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410049104.5A Active CN117553808B (zh) 2024-01-12 2024-01-12 基于深度学习的机器人定位导航方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117553808B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399683A (zh) * 2022-01-18 2022-04-26 南京甄视智能科技有限公司 一种基于改进yolov5的端到端半监督目标检测方法
CN116052046A (zh) * 2023-01-12 2023-05-02 燕山大学 一种基于目标跟踪的动态场景双目视觉slam方法
CN116067374A (zh) * 2023-01-05 2023-05-05 南京航空航天大学 基于目标检测算法YOLOv4及几何约束的动态场景SLAM定位方法
CN116310799A (zh) * 2023-02-14 2023-06-23 重庆理工大学 语义信息与几何约束相结合的动态特征点剔除方法
CN116429087A (zh) * 2023-04-12 2023-07-14 电子科技大学中山学院 一种适应于动态环境的视觉slam方法
CN117315547A (zh) * 2023-10-18 2023-12-29 哈尔滨理工大学 一种解决动态物体大占比的视觉slam方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399683A (zh) * 2022-01-18 2022-04-26 南京甄视智能科技有限公司 一种基于改进yolov5的端到端半监督目标检测方法
CN116067374A (zh) * 2023-01-05 2023-05-05 南京航空航天大学 基于目标检测算法YOLOv4及几何约束的动态场景SLAM定位方法
CN116052046A (zh) * 2023-01-12 2023-05-02 燕山大学 一种基于目标跟踪的动态场景双目视觉slam方法
CN116310799A (zh) * 2023-02-14 2023-06-23 重庆理工大学 语义信息与几何约束相结合的动态特征点剔除方法
CN116429087A (zh) * 2023-04-12 2023-07-14 电子科技大学中山学院 一种适应于动态环境的视觉slam方法
CN117315547A (zh) * 2023-10-18 2023-12-29 哈尔滨理工大学 一种解决动态物体大占比的视觉slam方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
AI小怪兽: "Yolov5改进---注意力机制", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/654025829> *
MINGJING LI: "An Improved Lightweight Dense Pedestrian Detection Algorithm", 《APPLIED SCIENCES》, vol. 13, no. 15, 28 July 2023 (2023-07-28), pages 1 - 15 *
W94GHZ: "YOLOv5改进实战 | 更换主干网络Backbone（一）之轻量化网络Ghostnet", Retrieved from the Internet <URL:https://blog.csdn.net/qq_45062768/article/details/133811684> *
XING WANG: "SAR Image Aircraft Target Recognition Based on Improved YOLOv5", 《APPLIED SCIENCES》, vol. 13, no. 10, 17 May 2023 (2023-05-17), pages 1 - 17 *
XINGXING WANG: "Research on surface defect detection of disc harrow based on YOLOv5", 《2023 IEEE 3RD INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY, BIG DATA AND ARTIFICIAL INTELLIGENCE (ICIBA)》, 6 June 2023 (2023-06-06), pages 802 - 808 *
我悟了: "pytorch代码实现注意力机制之EMA", Retrieved from the Internet <URL:https://blog.csdn.net/DM_zx/article/details/132707712> *
李嘉铭: "动态环境下基于语义信息与几何约束的视觉SLAM系统", 《智能科学与技术学报》, vol. 5, no. 4, 31 December 2023 (2023-12-31), pages 477 - 485 *
炼丹代师: "ghostNET", Retrieved from the Internet <URL:https://blog.csdn.net/qq_44840741/article/details/121477732?spm=1001.2101.3001.6650.7&utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-7-121477732-blog-104758269.235%5Ev43%5Epc_blog_bottom_relevance_base3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~Rate-7-121477732-blog-104758269.235%5Ev43%5Epc_blog_bottom_relevance_base3&utm_relevant_index=14> *
赵燕成: "动态场景下融合YOLOv5s的视觉SLAM算法研究", 《无线电工程》, 29 June 2023 (2023-06-29), pages 1 - 11 *
闫河: "结合语义信息的视觉里程计动态特征点剔除方法", 《信息与控制》, vol. 52, no. 05, 31 October 2023 (2023-10-31), pages 616 - 625 *

Also Published As

Publication number Publication date
CN117553808B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN110020620B (zh) 一种大姿态下的人脸识别方法、装置及设备
JP7425147B2 (ja) 画像処理方法、テキスト認識方法及び装置
US20230017112A1 (en) Image generation method and apparatus
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
EP3916634A2 (en) Text recognition method and device, and electronic device
CN112395390B (zh) 意图识别模型的训练语料生成方法及其相关设备
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN113887615A (zh) 图像处理方法、装置、设备和介质
CN112464827B (zh) 口罩佩戴识别方法、装置、设备及存储介质
CN116186295B (zh) 基于注意力的知识图谱链接预测方法、装置、设备及介质
CN115700845B (zh) 人脸识别模型训练方法、人脸识别方法、装置及相关设备
CN117553808B (zh) 基于深度学习的机器人定位导航方法、装置、设备及介质
CN113255539B (zh) 多任务融合的人脸定位方法、装置、设备及存储介质
CN111967579A (zh) 使用卷积神经网络对图像进行卷积计算的方法和装置
CN117519996B (zh) 一种数据处理方法、装置、设备以及存储介质
CN117542085B (zh) 基于知识蒸馏的园区场景行人检测方法、装置及设备
CN117173731B (zh) 一种模型训练的方法、图像处理的方法以及相关装置
CN113657353B (zh) 公式识别方法、装置、电子设备及存储介质
CN112949317B (zh) 文本语义识别方法、装置、计算机设备及存储介质
CN113139490B (zh) 一种图像特征匹配方法、装置、计算机设备及存储介质
CN117894036A (zh) 基于边缘设备的行人目标检测方法、装置、设备及介质
CN118298201A (zh) 设备识别匹配模型训练方法、设备识别匹配方法及设备
CN114332933A (zh) 一种模型训练、手势识别方法、装置、设备及介质
CN112464842A (zh) 年龄显示方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant