CN114905506A

CN114905506A - 一种基于视觉感知和空间认知神经机制的机器人导航系统

Info

Publication number: CN114905506A
Application number: CN202210393779.2A
Authority: CN
Inventors: 于晓龙; 韩冰; 任涛; 杨帆; 牛建伟; 侯人鸾; 郭昱亮; 马群
Original assignee: Hangzhou Innovation Research Institute of Beihang University
Current assignee: Hangzhou Innovation Research Institute of Beihang University
Priority date: 2022-04-15
Filing date: 2022-04-15
Publication date: 2022-08-16

Abstract

本发明属于机器人导航技术领域，公开了一种基于视觉感知和空间认知神经机制的机器人导航系统，包括：图像采集模块、信息采集模块、中央控制模块、图像预处理模块、三维模型构建模块、定位模块、标注模块、行进方向判断模块、遮挡判断模块、姿态调整模块、路径规划模块、导航控制模块以及显示模块。本发明将视觉信息与空间模型向结合，全面清晰的掌握机器人所处的位置与终点的空间关系与距离信息；同时结合视觉图像进行姿态、行进方向以及前方障碍物判断，并利用神经网络模型基于相关数据进行路径规划与导航，在不需要校准的基础上，快速、准确的进行机器人的姿态调整、定位以及路径规划，提高了导航的效率与精度。

Description

一种基于视觉感知和空间认知神经机制的机器人导航系统

技术领域

本发明属于机器人导航技术领域，尤其涉及一种基于视觉感知和空间认知神经机制的机器人导航系统。

背景技术

目前，自主定位导航是机器人实现智能化的前提之一，是赋予机器人感知行动能力的关键因素。导航是指移动机器人通过传感器感知环境和自身状态，实现在有障碍物的环境中面向目标的自主运动。

移动机器人的导航方式例如惯性导航、二维码导航等；这其中，惯性导航是以陀螺仪形成一个导航坐标系的自主导航方式，将采集陀螺仪的数据，将它对时间进行积分，就能够得到移动机器人的偏向角和位置等信息，需要采用磁钉来辅助机器人自主导航进行校准，机器人通过磁导航传感器检测磁钉产生的磁场，根据磁场强度的变化来实现校准，但这种导航方式需要铺设磁钉，存在耗费成本高的问题；二维码导航则是在机器人运行路径上按照一定间隔贴附二维码，机器人通过扫描设备扫描路径上的二维码来获取位置、角度等信息，从而实现对机器人的导航，但这种方式中需要二维码之间铺设的间隔很短，导致在较长路径上二维码铺设数量太多，且二维码受磨损需要经常更换，存在维护耗时耗力的问题。

通过上述分析，现有技术存在的问题及缺陷为：现有的机器人导航需要进行校准，成本高，耗时耗力且导航精度不高。

发明内容

针对现有技术存在的问题，本发明提供了一种基于视觉感知和空间认知神经机制的机器人导航系统。

本发明是这样实现的，一种基于视觉感知和空间认知神经机制的机器人导航系统，所述基于视觉感知和空间认知神经机制的机器人导航系统包括：

标注模块，与中央控制模块连接，用于基于确定的机器人的当前坐标数据以及目标地点的坐标数据在构建的当前区域三维模型中进行机器人出发点与终点的标注；同时用于将机器人虚拟化标志标注于所述三维模型中；

行进方向判断模块，与中央控制模块连接，用于基于标注出发点与终点的三维模型判断机器人的行进方向；

遮挡判断模块，与中央控制模块连接，用于基于预处理后的图像结合标注出发点与终点的三维模型判断机器人行进方向上是否存在障碍物；并将障碍物标注于构建的三维模型中；

姿态调整模块，与中央控制模块连接，用于基于判断的机器人的行进方向进行机器人姿态的调整；

路径规划模块，与中央控制模块连接，用于利用神经网络模型基于预处理后的机器人前后左右图像结合标注有出发点、终点以及障碍物的区域三维模型进行机器人的路径规划；

导航控制模块，与中央控制模块连接，用于将路径规划结果标注于构建的三维模型中控制机器人行进，并在行进过程中实时进行机器人的行进方向、姿态的调整。

进一步，所述基于视觉感知和空间认知神经机制的机器人导航系统还包括：

图像采集模块，与中央控制模块连接，用于利用设置于机器人上的摄像设备采集机器人前后左右的图像；

信息采集模块，与中央控制模块连接，用于进行机器人所处区域的环境图像以及构造数据采集；

中央控制模块，与图像采集模块、信息采集模块、图像预处理模块、三维模型构建模块、定位模块、标注模块、行进方向判断模块、遮挡判断模块、姿态调整模块、路径规划模块、导航控制模块以及显示模块连接，用于利用单片机或控制器控制各个模块正常工作；

图像预处理模块，与中央控制模块连接，用于对采集的机器人前后左右的图像进行预处理；

三维模型构建模块，与中央控制模块连接，用于基于采集的相关图像构建当前区域的三维模型；

定位模块，与中央控制控制模块连接，用于确定机器人的当前坐标数据以及目标地点的坐标数据；

显示模块，与中央控制模块连接，用于利用显示器显示标注有出发点、终点、路径规划结果、机器人虚拟化标志的三维模型以及采集的机器人前后左右的图像。

进一步，所述信息采集模块包括：

周边环境图像采集单元，用于利用摄像设备采集机器人所处区域的环境图像；

区域建筑数据采集单元，用于获取机器人所处区域的建筑数据以及构造数据。

进一步，所述图像预处理模块对采集的机器人前后左右的图像进行预处理包括：

利用如下清晰度处理模型对采集的机器人前后左右的图像进行去噪增强处理：

其中，m×n表示机器人摄像设备采集图像的像素；B(I，J)表示机器人摄像设备的采集图像的像素灰度矩阵，0≤I≤m-1，0≤J≤n-1；B_dif表示机器人摄像设备采集图像的灰度差值的1/2；

B_max表示机器人摄像设备采集图像的最大灰度值；B_min表示机器人摄像设备采集图像的最小灰度值；C表示机器人摄像设备采集图像的灰度图像的清晰度。

进一步，所述遮挡判断模块基于预处理后的图像结合标注出发点与终点的三维模型判断机器人行进方向上是否存在障碍物包括：

首先，获取确定的机器人行进方向，结合标注出发点与终点的三维模型采集机器人面向终点时视觉图像；

其次，基于所述三维模型确定终点位置是否具备物体或建筑；同时判断所述采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑；

最后，基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑判断结果判断机器人行进方向上是否存在障碍物。

进一步，所述基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑判断结果判断机器人行进方向上是否存在障碍物包括：

当采集的机器人面向终点时视觉图像中不存在终点位置所具备的物体或者建筑时，则判断机器人行进方向上存在障碍物；

所述基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑判断结果判断机器人行进方向上是否存在障碍物还包括：

当采集的机器人面向终点时视觉图像中存在终点位置所具备的物体或者建筑时，判断所述视觉图像中的物体或者建筑存在遮挡区域，若存在遮挡区域，则判断机器人行进方向上存在障碍物。

进一步，所述若存在当采集的机器人面向终点时视觉图像中存在终点位置所具备的物体或者建筑时，判断所述视觉图像中的物体或者建筑存在遮挡区域包括：

利用几何计算方法结合三维模型确定所述终点位置设置的物体或者建筑的深度信息；

基于所述深度信息结合三维模型构建一个覆盖所述物体或者建筑的圆柱，采集结合计算方法判断所述物体或者建筑所在的圆柱与其他建筑或构造所在的圆柱是否有重合或一定范围内是否有其他圆柱；

若述物体或者建筑所在的圆柱与其他建筑或构造所在的圆柱有重合或一定范围内有其他圆柱，则判断机器人行进方向上存在障碍物。

本发明的另一目的在于提供本发明的应用实施例提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于视觉感知和空间认知神经机制的机器人导航系统。

本发明的应用实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于视觉感知和空间认知神经机制的机器人导航系统。

本发明的应用实施例提供了一种信息数据处理终端，所述信息数据处理终端用于实现所述基于视觉感知和空间认知神经机制的机器人导航系统。

结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：

第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

本发明结合视觉图像以及三维空间模型确定机器人的起始点与终点，并将获取采集的坐标数据标注于构建的三维模型中，将视觉信息与空间模型向结合，全面清晰的掌握机器人所处的位置与终点的空间关系与距离信息；同时结合视觉图像进行姿态、行进方向以及前方障碍物判断，并利用神经网络模型基于相关数据进行路径规划与导航，在不需要校准的基础上，快速、准确的进行机器人的姿态调整、定位以及路径规划，提高了导航的效率与精度。

第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

本发明具有自主导航、抗干扰能力强、自动避障的优点，也通过视觉定位与空间认知克服了现有的机器人导航需要进行校准，成本高，耗时耗力且导航精度不高的缺陷。

附图说明

图1是本发明实施例提供的基于视觉感知和空间认知神经机制的机器人导航系统示意图；

图2是本发明实施例提供的信息采集模块2结构示意图；

图3是本发明实施例提供的遮挡判断模块基于预处理后的图像结合标注出发点与终点的三维模型判断机器人行进方向上是否存在障碍物的方法流程图；

图中：1、图像采集模块；2、信息采集模块；3、中央控制模块；4、图像预处理模块；5、三维模型构建模块；6、定位模块；7、标注模块；8、行进方向判断模块；9、遮挡判断模块；10、姿态调整模块；11、路径规划模块；12、导航控制模块；13、显示模块；21、周边环境图像采集单元；22、区域建筑数据采集单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。

如图1所示，本发明实施例提供的基于视觉感知和空间认知神经机制的机器人导航系统包括：

图像采集模块1，与中央控制模块3连接，用于利用设置于机器人上的摄像设备采集机器人前后左右的图像；

信息采集模块2，与中央控制模块3连接，用于进行机器人所处区域的环境图像以及构造数据采集；

中央控制模块3，与图像采集模块1、信息采集模块2、图像预处理模块4、三维模型构建模块5、定位模块6、标注模块7、行进方向判断模块8、遮挡判断模块9、姿态调整模块10、路径规划模块11、导航控制模块12以及显示模块13连接，用于利用单片机或控制器控制各个模块正常工作；

图像预处理模块4，与中央控制模块3连接，用于对采集的机器人前后左右的图像进行预处理；

三维模型构建模块5，与中央控制模块3连接，用于基于采集的相关图像构建当前区域的三维模型；

定位模块6，与中央控制控制模块3连接，用于确定机器人的当前坐标数据以及目标地点的坐标数据；

标注模块7，与中央控制模块3连接，用于基于确定的机器人的当前坐标数据以及目标地点的坐标数据在构建的当前区域三维模型中进行机器人出发点与终点的标注；同时用于将机器人虚拟化标志标注于所述三维模型中；

行进方向判断模块8，与中央控制模块3连接，用于基于标注出发点与终点的三维模型判断机器人的行进方向；

遮挡判断模块9，与中央控制模块3连接，用于基于预处理后的图像结合标注出发点与终点的三维模型判断机器人行进方向上是否存在障碍物；并将障碍物标注于构建的三维模型中；

姿态调整模块10，与中央控制模块3连接，用于基于判断的机器人的行进方向进行机器人姿态的调整；

路径规划模块11，与中央控制模块3连接，用于利用神经网络模型基于预处理后的机器人前后左右图像结合标注有出发点、终点以及障碍物的区域三维模型进行机器人的路径规划；

导航控制模块12，与中央控制模块3连接，用于将路径规划结果标注于构建的三维模型中控制机器人行进，并在行进过程中实时进行机器人的行进方向、姿态的调整；

显示模块13，与中央控制模块3连接，用于利用显示器显示标注有出发点、终点、路径规划结果、机器人虚拟化标志的三维模型以及采集的机器人前后左右的图像。

如图2所示，本发明实施例提供的信息采集模块2包括：

周边环境图像采集单元21，用于利用摄像设备采集机器人所处区域的环境图像；

区域建筑数据采集单元22，用于获取机器人所处区域的建筑数据以及构造数据。

本发明实施例提供的图像预处理模块对采集的机器人前后左右的图像进行预处理包括：

如图3所示，本发明实施例提供的遮挡判断模块基于预处理后的图像结合标注出发点与终点的三维模型判断机器人行进方向上是否存在障碍物包括：

S101，获取确定的机器人行进方向，结合标注出发点与终点的三维模型采集机器人面向终点时视觉图像；

S102，基于所述三维模型确定终点位置是否具备物体或建筑；同时判断所述采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑；

S103，基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑判断结果判断机器人行进方向上是否存在障碍物。

本发明实施例提供的基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑判断结果判断机器人行进方向上是否存在障碍物包括：

当采集的机器人面向终点时视觉图像中不存在终点位置所具备的物体或者建筑时，则判断机器人行进方向上存在障碍物。

本发明实施例提供的基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑判断结果判断机器人行进方向上是否存在障碍物还包括：

本发明实施例提供的若存在当采集的机器人面向终点时视觉图像中存在终点位置所具备的物体或者建筑时，判断所述视觉图像中的物体或者建筑存在遮挡区域包括：

二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用的应用实施例。

本发明的应用实施例提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于视觉感知和空间认知神经机制的机器人导航系统。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于视觉感知和空间认知神经机制的机器人导航系统，其特征在于，所述基于视觉感知和空间认知神经机制的机器人导航系统包括：

2.如权利要求1所述基于视觉感知和空间认知神经机制的机器人导航系统，其特征在于，所述基于视觉感知和空间认知神经机制的机器人导航系统还包括：

3.如权利要求2所述基于视觉感知和空间认知神经机制的机器人导航系统，其特征在于，所述信息采集模块包括：

4.如权利要求2所述基于视觉感知和空间认知神经机制的机器人导航系统，其特征在于，所述图像预处理模块对采集的机器人前后左右的图像进行预处理包括：

5.如权利要求1所述基于视觉感知和空间认知神经机制的机器人导航系统，其特征在于，所述遮挡判断模块基于预处理后的图像结合标注出发点与终点的三维模型判断机器人行进方向上是否存在障碍物包括：

6.如权利要求5所述基于视觉感知和空间认知神经机制的机器人导航系统，其特征在于，所述基于采集的机器人面向终点时视觉图像中是否存在终点位置所具备的物体或者建筑判断结果判断机器人行进方向上是否存在障碍物包括：

7.如权利要求6所述基于视觉感知和空间认知神经机制的机器人导航系统，其特征在于，所述若存在当采集的机器人面向终点时视觉图像中存在终点位置所具备的物体或者建筑时，判断所述视觉图像中的物体或者建筑存在遮挡区域包括：

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任意一项所述基于视觉感知和空间认知神经机制的机器人导航系统。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7任意一项所述基于视觉感知和空间认知神经机制的机器人导航系统。

10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-7任意一项所述基于视觉感知和空间认知神经机制的机器人导航系统。