CN113420590A - 弱纹理环境下的机器人定位方法、装置、设备及介质 - Google Patents

弱纹理环境下的机器人定位方法、装置、设备及介质 Download PDF

Info

Publication number
CN113420590A
CN113420590A CN202110523181.6A CN202110523181A CN113420590A CN 113420590 A CN113420590 A CN 113420590A CN 202110523181 A CN202110523181 A CN 202110523181A CN 113420590 A CN113420590 A CN 113420590A
Authority
CN
China
Prior art keywords
image
robot
pose
feature
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110523181.6A
Other languages
English (en)
Other versions
CN113420590B (zh
Inventor
牛建伟
姚立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110523181.6A priority Critical patent/CN113420590B/zh
Publication of CN113420590A publication Critical patent/CN113420590A/zh
Application granted granted Critical
Publication of CN113420590B publication Critical patent/CN113420590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本申请实施例公开了一种弱纹理环境下的机器人定位方法、装置、设备及介质。所述方法包括：获取机器人上的相机传感器采集的图像帧，对图像帧进行灰度化处理，得到灰度图像，并计算图像帧的深度信息；根据图像帧的深度信息，对灰度图像进行特征提取，得到灰度图像的特征点和特征面；获取图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新初始位姿，得到机器人自身的位置和姿态。本申请实施例针对弱纹理环境，采用点面特征作为约束来计算机器人的位姿，精确度高且抗干扰能力强。

Description

弱纹理环境下的机器人定位方法、装置、设备及介质
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种弱纹理环境下的机器人定位方法、装置、设备及介质。
背景技术
随着工业4.0时代的到来，机器人将在各个领域发挥非常重要的作用，服务型的机器人作为人类的助手越来越多的走进各个楼宇。在机器人的实际应用中，准确获取机器人自身的位置和姿态，是提供许多更高层次服务的前提。
基于视觉的定位方法，可以使用成本低廉的相机传感器获取到直观、丰富的场景信息，提供较为准确的机器人设备的位姿信息，在目前的机器人设备中得到了广泛的应用。
然而，对于写字楼这种弱纹理场景而言，现有的单目视觉定位方法提取到的特征信息具有量少和重复性高两个缺点，其由于匹配不到足够的视觉特征信息而会定位失败。
发明内容
由于现有方法存在上述问题，本申请实施例提供一种弱纹理环境下的机器人定位方法、装置、设备及介质。
第一方面，本申请实施例提供了一种弱纹理环境下的机器人定位方法，包括：
获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；
根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；
获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
可选的，在更新所述初始位姿后，还包括：
将所述灰度图像中匹配的特征面点集进行融合，并根据融合后的结果更新所述初始位姿。
可选的，在得到机器人自身的位置和姿态后，还包括：
判断是否需要插入新的关键帧，判断条件包括下述中的一项或多项：
距离上一次全局重定位后需要超过至少20帧图像；
局部地图构建处于空闲状态，或距上一个关键帧插入后，已经有超过至少20帧图像；
当前帧跟踪少于50个地图云点；
当前帧跟踪少于参考关键帧云点的90％；
提取出了新的特征面；
若判断需要插入新的关键帧，则插入，并根据插入的关键帧对所述初始位姿进行优化。
可选的，在更新所述初始位姿后，还包括：
根据弱纹理环境中的相同信息，计算回环误差，并根据所述回环误差对所述初始位姿再次进行优化，以获得更加准确的机器人自身位置和姿态。
可选的，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面，包括：
根据快速特征点提取算法ORB提取灰度图像中的特征角点，以及，利用凝聚层次聚类面抽取方法PEAC从所述灰度图像和深度信息中提取特征面。
可选的，所述计算所述图像帧的深度信息，包括：
获取所述图像帧的预测结构信息；
将所述预测结构信息输入至结构化模型中，得到所述图像帧的深度信息；
其中，所述结构化模型L为：
Figure BDA0003064870850000031
其中，N(p)表示像素p处由预测深度产生的表面法线值，N0(p)表示像素P处的法线真值，N和N0表示单位法线，D(p)表示像素p处深度的预测值，D0(p)表示像素p处的深度的真值。
第二方面，本申请实施例提供了一种弱纹理环境下的机器人定位装置，包括：
第一处理模块，用于获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；
第二处理模块，用于根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；
第三处理模块，用于获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
可选的，所述第三处理模块在更新所述初始位姿后，还具体用于：
将所述灰度图像中匹配的特征面点集进行融合，并根据融合后的结果更新所述初始位姿。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的弱纹理环境下的机器人定位方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的弱纹理环境下的机器人定位方法。
由上面技术方案可知，本申请实施例获取机器人上的相机传感器采集的图像帧，对图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息，从而根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面，通过获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，并根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。由此可知，本申请实施例针对弱纹理环境，使用点面特征作为约束来计算机器人的位姿精确度高且抗干扰能力强。此外，本申请实施例所依赖的单目相机具有体积小、低功耗、安全便携、对人体没有危害的特点，并且硬件设备便宜，实现成本低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本申请实施例提供的弱纹理环境下的机器人定位方法的流程图；
图2是本申请实施例提供的弱纹理环境下的机器人定位方法的示意图；
图3是本申请实施例提供的单目深度预测网络的结构示意图；
图4是本申请实施例提供的弱纹理环境下的机器人定位装置的结构示意图；
图5是本申请实施例的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
需要说明的是，目前，机器人场景下的定位方法主要有：激光定位、红外光学定位、蓝牙定位、视觉定位四种。
上述四种方式主要由以下缺点：
激光定位：基本原理就是利用定位光塔，对定位空间发射横竖两个方向扫射的激光，在被定位物体上放置多个激光感应接收器，通过计算两束光线到达定位物体的角度差，解算出待测定位节点的坐标。但激光定位价格高，不利于大面积推广。
红外光学定位：利用多个红外摄像头对室内空间进行覆盖，还需要在被追踪物体上放置红外反光点，通过捕捉这些反光点来确定物体在空间中的位置信息。这种定位系统定位精度较高，但造价昂贵，供货量很小，不适合机器人设备。
蓝牙定位:即利用低功耗蓝牙设备向周围发送自己特有的ID，接收到该ID的应用软件会根据其信息采取一些动作。缺点是定位精度很低且设备要求较高，不适用于机器人应用。
视觉定位：视觉定位方案利用摄像头采集信息，并提取图像中的特征来进行定位，该方法的精度没有激光定位、红外光学定位等方案高，但其算法简单、价格便宜、且容易扩展，使它成为目前机器人上相对主流的定位方案。但纯视觉定位算法存在以下问题：尺度不确定性、三角化算法退化、不能与重力对齐、对环境干扰敏感等问题。
为解决现有方法存在的上述问题，本申请实施例提供了一种弱纹理环境下的机器人定位方法，获取机器人上的相机传感器采集的图像帧，对图像帧进行灰度化处理，通过得到灰度图像，并计算所述图像帧的深度信息，从而根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面，通过获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，并根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。由此可知，本申请实施例针对弱纹理环境，使用点面特征作为约束来计算机器人的位姿精确度高且抗干扰能力强。此外，本申请实施例所依赖的单目相机具有体积小、低功耗、安全便携、对人体没有危害的特点，并且硬件设备便宜，实现成本低。
下面对本申请进行具体说明。
图1为本申请实施例提供的弱纹理环境下的机器人定位方法的流程图，图2是本申请实施例提供的弱纹理环境下的机器人定位方法的示意图。下面结合图1和图2对本申请实施例提供的弱纹理环境下的机器人定位方法进行详细解释和说明。
如图1所示，为本申请实施例提供的弱纹理环境下的机器人定位方法，该方法包括如下步骤：
步骤101：获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；
在本步骤中，首先通过机器人上的单目相机中读取新的一帧图像，并对该图像帧进行灰度化处理，利用深度学习技术生成深度信息，同时结合上一帧的位姿信息来进行深度的传播，从而进行深度的优化。具体的，计算深度信息时，利用预训练模型预测出结构信息，主要包括表面法线图和边缘概率图。表面法线预测模块使用带有跳跃层的全卷积神经网络，结合了VGG-16网络中的多尺度特征图来进行表面法线的估计。其编码层保持和VGG-16中卷积1层到卷积5层一样的结构，而其解码层则和编码层相对称，由卷积层和上池化层组成。为了产生高分辨率的结果，同时缓解梯度消失的问题，该模块使用上游和下游对应部分卷积层相连的跳跃层。为了进一步补偿在池化操作中损失的空间信息，该模块将上游部分池化层的参数保存作为下游部分的上池化部分的参数。该模块使用估计值和真值点积的逆作为损失函数。而对于边缘概率图部分，使用VGG-16作为特征提取结构，后面为一组辅助输出层，可以计算出多尺度的边缘概率图。最后是一个权重融合层，用来学习结合多尺度结果的权重，从而产生最终的结果。然后将结构信息输入到如图3所示的单目深度预测网络中。其中单目深度预测网络的主体部分采用的是全卷积残差神经网络FCRN，在对结构信息的提取过程中，使用单层的CNN网络，分别将结构信息投影到与目标阶段相对应的尺寸上，执行加的操作。
本发明对于单目深度预测网络设计了结构化损失函数L，定义为：
Figure BDA0003064870850000071
其中N(p)表示像素p处由预测深度产生的表面法线值，N0(p)表示像素P处的法线真值，N和N0都为单位法线。D(p)表示像素p处深度的预测值，D0(p)表示像素p处的深度的真值。损失函数值越小，预测越接近于真值。
在进行深度传播时，需要获取追踪模块提供的位姿信息。将当前帧预测的深度图，利用位姿信息进行投影。当下一帧图像不能获取预测的深度值时，使用传播的深度进行特征的抽取；否则将传播的深度图与预测的深度图进行平均操作，从而提高深度图以及定位的整体准确性。传播的方程为：
Figure BDA0003064870850000072
对于当前图像帧t上的一个像素点p＝(u,v)而言，其像素点的深度可以由最近的关键帧kj的深度图
Figure BDA0003064870850000073
传播计算出。其中矩阵K表示相机的内参数矩阵，是一个相机在出厂时就确定了的参数；Tt＝[Rt,tt]表示相机在世界坐标下的位姿；Puv表示像素点在归一化平面的坐标值。
步骤102：根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；
在本步骤中，结合灰度图像和深度信息，对灰度图像的特征点和特征面进行抽取。具体的，点面特征的获取包括：点特征的提取和面特征的提取。点特征的提取是使用ORB算子提取图像中的特征角点；面特征的提取是利用凝聚层次聚类面抽取方法PEAC(PlaneExtraction using Agglomerative Hierarchical Clustering)从单目图像和深度信息中提取面特征。
步骤103：获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
在本步骤中，首先利用恒定运动模型来获取当前帧的初始位姿，然后利用恒定运动模型进行点特征和面特征的匹配，利用特征间的对应关系作为约束求解位姿。具体的，初始位姿的获取是按照上一帧的位姿加上上一帧与前一帧之间的位移量得到。获取的方法：
Figure BDA0003064870850000081
其中V表示运动模型中的运动速度，Tl表示上一帧Fl的位姿(从世界坐标到相机坐标)，
Figure BDA0003064870850000082
表示再前一帧Fll相机坐标系到世界坐标系的转换。
特征匹配是利用匀速运动模型进行特征的投影与距离计算，特征之间的距离小于阈值则视为匹配的特征对。位姿计算是利用匹配的特征对，使用ICP方法计算出相邻帧之间的位姿变化。通过优化下述方程来进行位姿的估算：
Figure BDA0003064870850000083
在优化方程中，第一部分为点的投影误差，第二部分为面的投影误差。H(·)表示Huber范数[55]，
Figure BDA0003064870850000084
表示马氏距离，Σ表示相应的协方差矩阵。χpo表示匹配的特征点对，χpl表示匹配的特征面。xi表示当前图像帧中的坐标点，
Figure BDA0003064870850000091
表示匹配的特征点的世界坐标，p(·)表示相机坐标系到像素坐标的投影函数。πi表示当前帧的面特征，
Figure BDA0003064870850000092
表示匹配的面特征的世界坐标，q(·)表示将面转为最优化表示：
Figure BDA0003064870850000093
由上面技术方案可知，本申请实施例获取机器人上的相机传感器采集的图像帧，对图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息，从而根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面，通过获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，并根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。由此可知，本申请实施例针对弱纹理环境，使用点面特征作为约束来计算机器人的位姿精确度高且抗干扰能力强。此外，本申请实施例所依赖的单目相机具有体积小、低功耗、安全便携、对人体没有危害的特点，并且硬件设备便宜，实现成本低。
基于上述实施例的内容，在本实施例中，在更新所述初始位姿后，还包括：
将所述灰度图像中匹配的特征面点集进行融合，并根据融合后的结果更新所述初始位姿。
在本实施例中，对于经过匹配的面特征，进行融合操作。具体的，在更新了当前帧的位姿之后，计算其与上一帧的位姿变化，作为运动模型进行存储。之后对于当前帧提取的面特征进行筛选，将相互匹配的帧进行融合，将匹配面的点集进行融合，之后利用PEAC方法更新面的方程；对于新的面特征进行插入操作。
基于上述实施例的内容，在本实施例中，在得到机器人自身的位置和姿态后，还包括：
判断是否需要插入新的关键帧，判断条件包括下述中的一项或多项：
距离上一次全局重定位后需要超过至少20帧图像；
局部地图构建处于空闲状态，或距上一个关键帧插入后，已经有超过至少20帧图像；
当前帧跟踪少于50个地图云点；
当前帧跟踪少于参考关键帧云点的90％；
提取出了新的特征面；
若判断需要插入新的关键帧，则插入，并根据插入的关键帧对所述初始位姿进行优化。
在本实施例中，需要说明的是，在完成定位之后，判断是否需要插入关键帧，如果需要，则插入。判断需要遵循以下几个条件：1)距离上一次全局重定位后需要超过20帧图像。2)局部地图构建处于空闲状态，或距上一个关键帧插入后，已经有超过20帧图像。3)当前帧跟踪少于50个地图云点。4)当前帧跟踪少于参考关键帧云点的90％。5)提取出了新的面特征。
基于上述实施例的内容，在本实施例中，将上述计算得到的三位特征点参数化到地图数据库中；对地图中重复的特征点进行融合；对地图中跟踪质量不佳的特征点进行剔除；对地图中的冗余关键帧进行剔除。具体的，使用逆深度的方法即图像坐标u,v和深度值的倒数来参数化三维特征点。
局部优化是指把得到的位姿变换矩阵和局部地图中的3D特征点更新到系统状态向量中，根据公式计算包含图像特征点重投影误差；再利用高斯牛顿法优化状态变量，得到更加精准的地图特征点和位姿变换矩阵。
局部优化即优化一组具有共视关系的关键帧KL以及在这些关键帧中所有可以被观测到的特征点PL和特征面PLL。所有的其他的关键帧KF，可以观测到PL/PLL中的点面但是不在KL中，都参与误差函数的计算但是在优化过程中保持固定不变。局部优化的方程如下：
Figure BDA0003064870850000111
Figure BDA0003064870850000112
Figure BDA0003064870850000113
其中，Xk表示关键帧k与点集PL之间的匹配点，XPk表示关键帧k与面的集合PLL之间的匹配面。本申请实施例采用Ceres solver来优化该目标函数，具体使用了高斯牛顿法进行优化。给定一个待解的线性最小二乘问题：
Figure BDA0003064870850000114
高斯牛顿法的算法具体步骤描述如下：
1、给定初始值x0。
2、对于第k次迭代，求出当前的雅可比矩阵J(xk)和误差f(xk)。
3、求解增量方程：HΔxk＝g
4、若Δxk足够小，则停止。否则，令xk+1＝xk+Δxk，返回步骤2并重复步骤2至步骤4的过程。
关键帧的筛选是控制问题规模的另一部分，当算法在同一场景下运行时，关键帧的数量应该控制在一个有限的范围内，只有当场景改变时，关键帧的数量才会增加。本发明筛选的策略在于如果一个关键帧中90％的点都可以被其他至少三个关键帧同时观测到，则认为该关键帧是冗余的，将其删除。
基于上述实施例的内容，在本实施例中，在更新所述初始位姿后，还包括：
根据弱纹理环境中的相同信息，计算回环误差，并根据所述回环误差对所述初始位姿再次进行优化，以获得更加准确的机器人自身位置和姿态。
在本实施例中，需要说明的是，为了解决视觉累积误差的问题。室内环境又是地图重复利用率非常高的场景，因此需要回环检测以得到全局一致的轨迹和地图，回环检测还可用于解决重定位的问题。通常依赖视觉词袋的构建和图像间的相似性计算来实现。当系统检测到回环后就可以对全局的相机位姿进行优化，从而消除漂移并将误差均匀地分配到整个场景中，最终形成全局一致的三维地图。具体的，首先对于当前关键帧，计算其词袋向量和共视图中所有相关联的帧的词袋向量的相关性，并且记录下最低分值。词袋模型通过K聚类算法构成图像的单词表集合，之后通过文档-逆文档频率(Term Frequency-InverseDocument Frequency，TF-IDF)来描述每个视觉单词的权重，从而获得单张图片的描述向量。之后丢掉所有得分低于最低值的关键帧以及其相连的所有关键帧。为了获取候选回环，必须检测到三个连续的候选关键帧。在检测到回环候选帧之后，需要计算当前关键帧和回环关键帧之间的回环累计误差。同时也需要对于回环中重复的地图点特征进行融合。最后通过图优化将回环闭合的误差分散到图像中去。在回环优化之后，所有的地图点都会根据关键帧的校正进行变换。
基于上述实施例的内容，在本实施例中，所述计算所述图像帧的深度信息，包括：
获取所述图像帧的预测结构信息；
将所述预测结构信息输入至结构化模型中，得到所述图像帧的深度信息；
其中，所述结构化模型L为：
Figure BDA0003064870850000121
其中，N(p)表示像素p处由预测深度产生的表面法线值，N0(p)表示像素P处的法线真值，N和N0表示单位法线，D(p)表示像素p处深度的预测值，D0(p)表示像素p处的深度的真值。
由此可见，本申请实施例提供的弱纹理环境下的机器人定位方法有如下有益效果：
(1)本申请是第一种针对弱纹理环境定位的单目特征点法定位方法，使用深度学习技术作为定位系统的深度模块，为单目定位提供了更充足的信息；同时，针对弱纹理环境，使用点面特征作为约束来计算机器人的位姿。
(2)本申请结合单目图像提取结构信息来辅助单目深度估计，针对弱纹理环境中结构性强的特点，在单目深度预测网络中加入结构信息作为约束，增强了预测深度的结构性。
(3)本申请在单目深度预测中，提出了结构化损失函数，以鼓励单目深度预测结果的结构性。
(4)本申请提出的定位技术所依赖的单目相机具有体积小、低功耗、安全便携、对人体没有危害的特点，并且硬件设备便宜，实现成本低。
基于相同的发明构思，本发明另一实施例提供了一种弱纹理环境下的机器人定位装置，如图4所示，所述装置包括：
第一处理模块1，用于获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；
第二处理模块2，用于根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；
第三处理模块3，用于获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
基于上述实施例的内容，在本实施例中，所述第三处理模块在更新所述初始位姿后，还具体用于：
将所述灰度图像中匹配的特征面点集进行融合，并根据融合后的结果更新所述初始位姿。
本实施例所述的弱纹理环境下的机器人定位装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图5所述电子设备的结构示意图，具体包括如下内容：处理器501、存储器502、通信接口503和通信总线504；
其中，所述处理器501、存储器502、通信接口503通过所述通信总线504完成相互间的通信；所述通信接口503用于实现各设备之间的信息传输；
所述处理器501用于调用所述存储器502中的计算机程序，所述处理器执行所述计算机程序时实现上述一种弱纹理环境下的机器人定位方法，例如：获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种弱纹理环境下的机器人定位方法，例如：获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的弱纹理环境下的机器人定位方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种弱纹理环境下的机器人定位方法，其特征在于，包括：
获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；
根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；
获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
2.根据权利要求1所述的弱纹理环境下的机器人定位方法，其特征在于，在更新所述初始位姿后，还包括：
将所述灰度图像中匹配的特征面点集进行融合，并根据融合后的结果更新所述初始位姿。
3.根据权利要求1所述的弱纹理环境下的机器人定位方法，其特征在于，在得到机器人自身的位置和姿态后，还包括：
判断是否需要插入新的关键帧，判断条件包括下述中的一项或多项：
距离上一次全局重定位后需要超过至少20帧图像；
局部地图构建处于空闲状态，或距上一个关键帧插入后，已经有超过至少20帧图像；
当前帧跟踪少于50个地图云点；
当前帧跟踪少于参考关键帧云点的90％；
提取出了新的特征面；
若判断需要插入新的关键帧，则插入，并根据插入的关键帧对所述初始位姿进行优化。
4.根据权利要求1所述的弱纹理环境下的机器人定位方法，其特征在于，在更新所述初始位姿后，还包括：
根据弱纹理环境中的相同信息，计算回环误差，并根据所述回环误差对所述初始位姿再次进行优化，以获得更加准确的机器人自身位置和姿态。
5.根据权利要求1所述的弱纹理环境下的机器人定位方法，其特征在于，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面，包括：
根据快速特征点提取算法ORB提取灰度图像中的特征角点，以及，利用凝聚层次聚类面抽取方法PEAC从所述灰度图像和深度信息中提取特征面。
6.根据权利要求1所述的弱纹理环境下的机器人定位方法，其特征在于，所述计算所述图像帧的深度信息，包括：
获取所述图像帧的预测结构信息；
将所述预测结构信息输入至结构化模型中，得到所述图像帧的深度信息；
其中，所述结构化模型L为：
Figure FDA0003064870840000021
其中，N(p)表示像素p处由预测深度产生的表面法线值，N0(p)表示像素P处的法线真值，N和N0表示单位法线，D(p)表示像素p处深度的预测值，D0(p)表示像素p处的深度的真值。
7.一种弱纹理环境下的机器人定位装置，其特征在于，包括：
第一处理模块，用于获取机器人上的相机传感器采集的图像帧，对所述图像帧进行灰度化处理，得到灰度图像，并计算所述图像帧的深度信息；
第二处理模块，用于根据所述图像帧的深度信息，对所述灰度图像进行特征提取，得到所述灰度图像的特征点和特征面；
第三处理模块，用于获取所述图像帧的初始位姿以及上一时刻的图像帧位姿，根据相邻图像帧的特征点和特征面之间的对应关系，计算相邻图像帧之间的位姿变化，进而更新所述初始位姿，得到机器人自身的位置和姿态。
8.根据权利要求7所述的弱纹理环境下的机器人定位装置，其特征在于，所述第三处理模块在更新所述初始位姿后，还具体用于：
将所述灰度图像中匹配的特征面点集进行融合，并根据融合后的结果更新所述初始位姿。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述弱纹理环境下的机器人定位方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述弱纹理环境下的机器人定位方法的步骤。
CN202110523181.6A 2021-05-13 2021-05-13 弱纹理环境下的机器人定位方法、装置、设备及介质 Active CN113420590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110523181.6A CN113420590B (zh) 2021-05-13 2021-05-13 弱纹理环境下的机器人定位方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110523181.6A CN113420590B (zh) 2021-05-13 2021-05-13 弱纹理环境下的机器人定位方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113420590A true CN113420590A (zh) 2021-09-21
CN113420590B CN113420590B (zh) 2022-12-06

Family

ID=77712257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110523181.6A Active CN113420590B (zh) 2021-05-13 2021-05-13 弱纹理环境下的机器人定位方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113420590B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742884A (zh) * 2022-06-09 2022-07-12 杭州迦智科技有限公司 一种基于纹理的建图、里程计算、定位方法及系统
CN114812540A (zh) * 2022-06-23 2022-07-29 深圳市普渡科技有限公司 一种建图方法、装置和计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN110570474A (zh) * 2019-09-16 2019-12-13 北京华捷艾米科技有限公司 一种深度相机的位姿估计方法及系统
CN110631554A (zh) * 2018-06-22 2019-12-31 北京京东尚科信息技术有限公司 机器人位姿的确定方法、装置、机器人和可读存储介质
CN110866496A (zh) * 2019-11-14 2020-03-06 合肥工业大学 基于深度图像的机器人定位与建图方法和装置
CN111260709A (zh) * 2020-01-15 2020-06-09 浙江大学 一种面向动态环境的地面辅助的视觉里程计方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112308917A (zh) * 2020-10-15 2021-02-02 江苏大学 一种基于视觉的移动机器人定位方法
CN112785637A (zh) * 2021-01-20 2021-05-11 大连理工大学 一种基于动态融合网络的光场深度估计方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169540A1 (zh) * 2018-03-06 2019-09-12 斯坦德机器人（深圳）有限公司 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN110631554A (zh) * 2018-06-22 2019-12-31 北京京东尚科信息技术有限公司 机器人位姿的确定方法、装置、机器人和可读存储介质
WO2020259248A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110570474A (zh) * 2019-09-16 2019-12-13 北京华捷艾米科技有限公司 一种深度相机的位姿估计方法及系统
CN110866496A (zh) * 2019-11-14 2020-03-06 合肥工业大学 基于深度图像的机器人定位与建图方法和装置
CN111260709A (zh) * 2020-01-15 2020-06-09 浙江大学 一种面向动态环境的地面辅助的视觉里程计方法
CN111595333A (zh) * 2020-04-26 2020-08-28 武汉理工大学 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112308917A (zh) * 2020-10-15 2021-02-02 江苏大学 一种基于视觉的移动机器人定位方法
CN112785637A (zh) * 2021-01-20 2021-05-11 大连理工大学 一种基于动态融合网络的光场深度估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENYANG ZHANG: "PL-GM:RGB-D SLAM With a Novel 2D and 3D Geometric Constraint Model of Point and Line Features", 《IEEE ACCESS》 *
LIZHI ZHANG等: "Point-Plane SLAM Based on Line-Based Plane Segmentation Approach", 《PROCEEDINGS OF THE 2016 IEEE》 *
RUBEN GOMEZ-OJEDA等: "PL-SLAM: A Stereo SLAM System Through the Combination of Points and Line Segments", 《IEEE TRANSACTIONS ON ROBOTICS》 *
马鑫等: "基于点线特征的快速视觉SLAM方法", 《浙江大学学报（工学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742884A (zh) * 2022-06-09 2022-07-12 杭州迦智科技有限公司 一种基于纹理的建图、里程计算、定位方法及系统
CN114742884B (zh) * 2022-06-09 2022-11-22 杭州迦智科技有限公司 一种基于纹理的建图、里程计算、定位方法及系统
CN114812540A (zh) * 2022-06-23 2022-07-29 深圳市普渡科技有限公司 一种建图方法、装置和计算机设备

Also Published As

Publication number Publication date
CN113420590B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN108764048B (zh) 人脸关键点检测方法及装置
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN110717927A (zh) 基于深度学习和视惯融合的室内机器人运动估计方法
CN111462210B (zh) 一种基于极线约束的单目线特征地图构建方法
CN113420590B (zh) 弱纹理环境下的机器人定位方法、装置、设备及介质
CN111667535B (zh) 一种针对遮挡场景下的六自由度位姿估计方法
CN113706626B (zh) 一种基于多传感器融合及二维码校正的定位与建图方法
CN112396595B (zh) 一种动态环境下基于点线特征的语义slam方法
CN112435262A (zh) 基于语义分割网络和多视图几何的动态环境信息检测方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN112652020B (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN112967340A (zh) 同时定位和地图构建方法、装置、电子设备及存储介质
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN117218195A (zh) 基于点、线特征约束的同时定位与建图方法
CN112308917A (zh) 一种基于视觉的移动机器人定位方法
He et al. Observation‐driven Bayesian filtering for global location estimation in the field area
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN115239776A (zh) 点云的配准方法、装置、设备和介质
Wu et al. Self-supervised monocular depth estimation scale recovery using ransac outlier removal
CN114821113A (zh) 基于自适应鲁棒核的单目视觉惯性slam方法与系统
CN113847907A (zh) 定位方法及装置、设备、存储介质
CN115235505A (zh) 一种基于非线性优化的视觉里程计方法
Liang et al. Improved visual odometry method for matching 3D point cloud data
Xin et al. A Method for Unseen Object Six Degrees of Freedom Pose Estimation Based on Segment Anything Model and Hybrid Distance Optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant