CN116245899A - 一种基于Canny边缘的动态视觉里程计方法 - Google Patents

一种基于Canny边缘的动态视觉里程计方法 Download PDF

Info

Publication number
CN116245899A
CN116245899A CN202211704585.6A CN202211704585A CN116245899A CN 116245899 A CN116245899 A CN 116245899A CN 202211704585 A CN202211704585 A CN 202211704585A CN 116245899 A CN116245899 A CN 116245899A
Authority
CN
China
Prior art keywords
dynamic
edge
canny edge
image
canny
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211704585.6A
Other languages
English (en)
Other versions
CN116245899B (zh
Inventor
王圣茂
丁金虎
路明
姚尚军
吕聪聪
王�锋
王诗明
吴少雷
陈江
朱国庆
何路
王欣宇
侯冠宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaxiao Technology Co ltd
Huaibei Mining Group Co ltd Property Branch
China University of Mining and Technology CUMT
Original Assignee
Zhejiang Huaxiao Technology Co ltd
Huaibei Mining Group Co ltd Property Branch
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huaxiao Technology Co ltd, Huaibei Mining Group Co ltd Property Branch, China University of Mining and Technology CUMT filed Critical Zhejiang Huaxiao Technology Co ltd
Priority to CN202211704585.6A priority Critical patent/CN116245899B/zh
Publication of CN116245899A publication Critical patent/CN116245899A/zh
Application granted granted Critical
Publication of CN116245899B publication Critical patent/CN116245899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Canny边缘的动态视觉里程计方法，包括：S1：通过图像数据构建当前帧和关键帧；S2：对关键帧的彩色图像进行实例分割；S3：判断是否存在潜在的高动态物体，若存在，则进入步骤S4；否则，进入步骤S5；S4：高动态物体防漏检，然后进入步骤S5；S5：基于图像分割的Canny边缘提取和分类；S6：进行Canny边缘权重更新；S7：进行图像2D‑3D配准位姿估计。本发明提供的基于Canny边缘的动态视觉里程计方法，解决了高动态场景传统SLAM技术容易出现动态物体漏检以及高动态物体分割导致有用信息丢失的问题。

Description

一种基于Canny边缘的动态视觉里程计方法
技术领域
本发明涉及机器人自主导航技术领域，具体涉及一种基于Canny边缘的动态视觉里程计方法。
背景技术
室内场景下，移动机器人要实现正常地工作需要对自身准确定位同时构建其准确定位所需要的地图。SLAM用于解决移动机器人在未知环境中的导航任务，其要求移动机器人在运动过程中对自身位姿进行估计，同时自主建立或者更新环境地图。传统视觉SLAM基于计算机多视图几何学理论，该理论建立在“场景不随时间发生变化”这一假设上。然而，在移动机器人的实际工作场景中，很多场景难以满足这一假设。因此，虽然传统视觉SLAM技术在仓储、无人车间等场景得到了实际应用，但很难推广到诸如实验室、办公室、商场等动态场景，当图像中的动态像素占比过大时，可能导致传统视觉SLAM无法正常工作。
目前，动态视觉SLAM的技术方案主要是利用几何约束或者结合人工智能技术对图像进行运动分割以区分出动态特征点和静态特征点，并主要利用静态特征点进行帧间匹配以跟踪相机位姿。由于动态场景复杂多变，极易受环境中各种动态变化的随机因素影响，使得完成动态SLAM面临诸多挑战。传统的基于特征点法的动态视觉SLAM存在一些已知的不足：一是不同特征点间的描述具有相似性；二是特征点在图像中的分布通常是不均匀的；此外，特征点法仅利用了图像中少量的点特征，而丢弃了图像中可能有用的大量信息。
发明内容
为了解决机器人在动态场景中无法自主导航的问题，本发明提供一种基于Canny边缘的动态视觉里程计方法。为了实现上述技术目的，本发明采用如下技术方案：
一种基于Canny边缘的动态视觉里程计方法，包括如下步骤：
S1：通过图像数据构建当前帧和关键帧；
S2：对关键帧的彩色图像进行实例分割；
S3：判断是否存在潜在的高动态物体，若存在，则进入步骤S4；否则，进入步骤S5；
S4：高动态物体防漏检，然后进入步骤S5；
S5：基于图像分割的Canny边缘提取和分类；
S6：进行Canny边缘权重更新；
S7：进行图像2D-3D配准位姿估计。
与现有技术相比，本发明的有益效果：
由于传统机器人即时定位与地图构建(Simultaneous Localization andMapping，SLAM)在动态场景下难以区分动态物体，且在进行动态物体检测时容易存在高动态物体漏检情况，造成位姿估计的精度降低。本发明的创新点是采用一种判断潜在高动态物体和有效防止动态物体漏检的方法，先基于MASK R-CNN深度神经网络对关键帧的彩色图像进行实例分割，判断是否存在潜在的高动态物体，如果判断为真，则融合深度图像信息对目标检测框高动态物体进行像素级分割以去除高动态物体，然后基于Canny边缘特征进行帧间配准实现里程计相机的位姿跟踪，充分利用图像边缘特征在动态视觉场景的优势，通过全局结构信息描述图像内容，提高动态视觉SLAM的位姿估计精度。
本发明作为一种以机器视觉为基础的机器人定位导航技术，具有适应性强、精度高、鲁棒性强的特点。本发明提供的基于Canny边缘的动态视觉里程计方法，解决了高动态场景传统SLAM技术容易出现动态物体漏检以及高动态物体分割导致有用信息丢失的问题。通过在TUM数据集上进行实验，实验表明本发明在低动态和高动态场景下比现有视觉里程计有更高的精度和鲁棒性，可有效消除行人、动物、运动小车等高动态物体对里程计位姿跟踪性能的不良影响。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域中的普通技术人员来说，在不付出创造性劳动的前提下，还可根据这些附图获得其他附图。
图1为本发明方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于Canny边缘的动态视觉里程计方法，包括如下步骤：
S1：通过RGB-D图像数据构建当前帧和关键帧；
S2：使用MASK R-CNN深度神经网络对关键帧的彩色图像进行实例分割；
S3：判断是否存在潜在的高动态物体，若存在，则进入步骤S4；否则，进入步骤S5；
步骤S3中判断是否存在潜在高动态物体步骤如下：
S31：基于步骤S2，对关键帧的彩色图像进行实例分割，并记录当前关键帧此时检测到的高动态物体数量，记为NC；
S32：上一个关键帧对应彩色图像检测到的高动态物体数量记为NS；
S33：当NC大于或等于NS时，则认为不存在潜在的高动态物体；否则认为存在潜在的高动态物体。
S4：高动态物体防漏检，然后进入步骤S5；
步骤S4中通过完成融合深度图像信息对目标检测框内的高动态物体进行像素级别的分割，以实现高动态物体防漏检，具体步骤如下：
S41：对于YOLOv4高动态物体检测框内的所有像素点的深度进行统计，并将没有深度值的像素点舍弃；
S42：对于剩余的有深度的像素点按照深度值从小到大进行排序得到有序数组D，有序数组D元素个数记为k，取有序数组D子区间D′
D'＝[D[i],D[j]],i＝k×0.25,j＝k×0.35,i,j∈N+
D′数组内元素个数为n，则均值m为：
Figure BDA0004025891240000031
则前景背景间分割的深度阈值th为：
th＝m+0.25
S43：当高动态物体目标检测框内的有效像素深度值不超过th时，判断对应像素点为前景像素点即高动态物体对应的像素点，否则为背景像素点。
S5：基于图像分割的Canny边缘提取和分类；
步骤S5中基于图像分割的Canny边缘提取和分类步骤如下：
S51：针对步骤S2彩色图像实例分割结果和步骤S4的像素级别分割结果，从关键帧彩色图像中提取到Canny边缘信息；
S52：将彩色图像灰度化，彩色图转灰度图的计算公式为：
I(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)
其中，R(x,y)、G(x,y)、B(x,y)分别表示彩色图像坐标(x，y)处对应的R通道，G通道和B通道的像素值，I(x,y)则为灰度图像中坐标(x，y)处对应的像素值；
S53：对灰度图执行Canny边缘检测，标记出图像中的Canny边缘点得到对应的Canny边缘二值图像；
S54：结合步骤S2彩色图像实例分割结果和步骤S4的像素级别分割结果，根据Canny边缘点落在掩膜之上的位置，将Canny边缘点标记为高动态、低动态以及静态边缘点；
当Canny边缘点落在高动态物体的掩膜之上时，将Canny边缘点标记为高动态边缘点；当Canny边缘点落在低动态物体的掩膜之上时，将Canny边缘点标记为低动态边缘点，其余的Canny边缘点标记为静态边缘点；
S55：对于检测出来的高动态边缘点不用来进行匹配，直接将其剔除；而静态边缘点和低动态边缘点用来构建成本函数。
S6：进行Canny边缘权重更新；
步骤S6中Canny权重更新采用基于实例分割结果和光度残差的静态权重更新策略对边缘点的权值进行更新，具体步骤如下：
S61：对Canny边缘点进行初始权重赋值，其中为静态边缘点所赋静态权重wS大于等于1.0，为低动态边缘点所赋权重wd小于1.0；
S62：根据彩色图转灰度图计算公式，光度残差计算公式为：
Rei＝0.299Ri′+0.587Gi′+0.114B′i-0.299Ri+0.587Gi+0.114Bi
其中，Rei表示关键帧上的非高动态边缘点成功重投影到当前帧的彩色图像上的第i个边缘点对应的残差值，Ri、Gi、Bi表示该边缘点在关键帧彩色图像上对应的三通道像素值，Ri′、Gi′、B′i表示该边缘点重投影到当前帧时得到的对应的三通道像素值；
S63：非高动态边缘点静态权重计算公式为：
Figure BDA0004025891240000041
Figure BDA0004025891240000042
Figure BDA0004025891240000043
其中，wi为对应的第i个非高动态边缘点的权重值，avg为残差值Rei组成的光度残差数组Re的均值，mad为对应的偏差值，数组Re元素个数设为h，
Figure BDA0004025891240000051
表示Re数组中间元素的数值(若Re数组包含奇数个元素，
Figure BDA0004025891240000052
表示Re数组中间元素的数值，若Re数组包含偶数个元素，则
Figure BDA0004025891240000053
表示Re数组中间两个元素的数值的平均值)，1e为科学计数法表示；
设wSi为第i个静态边缘点的权重，wdi为第i个低动态边缘点的权重，则非高动态边缘点权重进行如下更新：对于静态边缘点，其静态边缘点权重wSi仍为其静态权重wS；对于低动态边缘点，其低动态边缘点权重wdi要在自身低动态权重基础上乘以非高动态边缘点的权重值，即更新为wdi×wi。
S7：进行图像2D-3D配准位姿估计。
步骤S7中基于Canny边缘的关键帧-当前帧3D-2D配置和位姿估计，具体步骤如下：
设pi(u,v)为关键帧Canny边缘二值图像上的一个像素点坐标，结合其深度图像上对应的深度值，通过逆投影变换得到其在相机坐标系下的像素点坐标p'i，再通过投影函数将p'i投影到对应的像素平面上得到pj。当pj的坐标值超过当前帧彩色图像的成像范围时，对应的残差项被舍弃，否则关键帧上Canny边缘像素点pi(u,v)重投影到当前帧的残差ri定义如下：
ri＝Dj(pj)
其中，Dj函数表示根据像素点pj从当前帧对应的距离变换中查询对应的值；
当ri大于阈值Θout时，认为对应的Canny边缘点是外点，此时ri亦被舍弃，不参与成本函数的构建；成本函数公式如下：
Figure BDA0004025891240000054
其中，s表示所有残差项的数量，wi表示步骤S6更新过的Canny边缘点pi对应的权值(包含了静态边缘点wSi和低动态边缘点wdi两部分)，δH表示胡伯核函数，用来减轻异常残差值对非线性优化过程的影响，通过LM优化方法来最小化上述成本函数的值来求得关键帧到当前帧的最优变换估计，进而得到对当前帧的最优位姿估计，即：
Figure BDA0004025891240000055
Figure BDA0004025891240000061
即为经过成本函数优化过的最优位姿估计矩阵，argmin函数表示使函数最小情况时的参数值，
Figure BDA0004025891240000063
表示使成本函数E最小时，对应的位姿估计矩阵，也就是最优位姿估计矩阵
Figure BDA0004025891240000062
本发明作为一种以机器视觉为基础的机器人定位导航技术，具有适应性强、精度高、鲁棒性强的特点。本发明提供的基于Canny边缘的动态视觉里程计方法，解决了高动态场景传统SLAM技术容易出现动态物体漏检以及高动态物体分割导致有用信息丢失的问题。通过在TUM数据集上进行实验，实验表明本发明在低动态和高动态场景下比现有视觉里程计有更高的精度和鲁棒性，可有效消除行人、动物、运动小车等高动态物体对里程计位姿跟踪性能的不良影响。

Claims (8)

1.一种基于Canny边缘的动态视觉里程计方法，其特征在于，包括如下步骤：
S1：通过图像数据构建当前帧和关键帧；
S2：对关键帧的彩色图像进行实例分割；
S3：判断是否存在潜在的高动态物体，若存在，则进入步骤S4；否则，进入步骤S5；
S4：高动态物体防漏检，然后进入步骤S5；
S5：基于图像分割的Canny边缘提取和分类；
S6：进行Canny边缘权重更新；
S7：进行图像2D-3D配准位姿估计。
2.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法，其特征在于，步骤S1中图像为RGB-D图像。
3.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法，其特征在于，步骤S2中使用MASK R-CNN深度神经网络对关键帧的彩色图像进行实例分割。
4.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法，其特征在于，步骤S3中判断是否存在潜在高动态物体步骤如下：
S31：基于步骤S2，对关键帧的彩色图像进行实例分割，并记录当前关键帧此时检测到的高动态物体数量，记为NC；
S32：上一个关键帧对应彩色图像检测到的高动态物体数量记为NS；
S33：当NC大于或等于NS时，则认为不存在潜在的高动态物体；否则认为存在潜在的高动态物体。
5.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法，其特征在于，步骤S4中通过完成融合深度图像信息对目标检测框内的高动态物体进行像素级别的分割，以实现高动态物体防漏检，具体步骤如下：
S41：对于YOLOv4高动态物体检测框内的所有像素点的深度进行统计，并将没有深度值的像素点舍弃；
S42：对于剩余的有深度的像素点按照深度值从小到大进行排序得到有序数组D，有序数组D元素个数记为k，取有序数组D子区间D′
D'＝[D[i],D[j]],i＝k×0.25,j＝k×0.35,i,j∈N+
D′数组内元素个数为n，则均值m为：
Figure FDA0004025891230000021
则前景背景间分割的深度阈值th为：
th＝m+0.25
S43：当高动态物体目标检测框内的有效像素深度值不超过th时，判断对应像素点为前景像素点即高动态物体对应的像素点，否则为背景像素点。
6.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法，其特征在于，步骤S5中基于图像分割的Canny边缘提取和分类步骤如下：
S51：针对步骤S2彩色图像实例分割结果和步骤S4的像素级别分割结果，从关键帧彩色图像中提取到Canny边缘信息；
S52：将彩色图像灰度化，彩色图转灰度图的计算公式为：
I(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)
其中，R(x,y)、G(x,y)、B(x,y)分别表示彩色图像坐标(x，y)处对应的R通道，G通道和B通道的像素值，I(x,y)则为灰度图像中坐标(x，y)处对应的像素值；
S53：对灰度图执行Canny边缘检测，标记出图像中的Canny边缘点得到对应的Canny边缘二值图像；
S54：结合步骤S2彩色图像实例分割结果和步骤S4的像素级别分割结果，根据Canny边缘点落在掩膜之上的位置，将Canny边缘点标记为高动态、低动态以及静态边缘点；
当Canny边缘点落在高动态物体的掩膜之上时，将Canny边缘点标记为高动态边缘点；当Canny边缘点落在低动态物体的掩膜之上时，将Canny边缘点标记为低动态边缘点，其余的Canny边缘点标记为静态边缘点；
S55：对于检测出来的高动态边缘点不用来进行匹配，直接将其剔除；而静态边缘点和低动态边缘点用来构建成本函数。
7.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法，其特征在于，步骤S6中Canny权重更新采用基于实例分割结果和光度残差的静态权重更新策略对边缘点的权值进行更新，具体步骤如下：
S61：对Canny边缘点进行初始权重赋值，其中为静态边缘点所赋静态权重wS大于等于1.0，为低动态边缘点所赋权重wd小于1.0；
S62：根据彩色图转灰度图计算公式，光度残差计算公式为：
Rei＝0.299R′i+0.587G′i+0.114B′i-0.299Ri+0.587Gi+0.114Bi
其中，Rei表示关键帧上的非高动态边缘点成功重投影到当前帧的彩色图像上的第i个边缘点对应的残差值，Ri、Gi、Bi表示该边缘点在关键帧彩色图像上对应的三通道像素值，R′i、G′i、B′i表示该边缘点重投影到当前帧时得到的对应的三通道像素值；
S63：非高动态边缘点静态权重计算公式为：
Figure FDA0004025891230000031
Figure FDA0004025891230000032
Figure FDA0004025891230000033
其中，wi为对应的第i个非高动态边缘点的权重值，avg为残差值Rei组成的光度残差数组Re的均值，mad为对应的偏差值，数组Re元素个数设为h，
Figure FDA0004025891230000034
表示Re数组中间元素的数值，若Re数组包含奇数个元素，
Figure FDA0004025891230000035
表示Re数组中间元素的数值，若Re数组包含偶数个元素，则
Figure FDA0004025891230000036
表示Re数组中间两个元素的数值的平均值，1e为科学计数法表示；
设wSi为第i个静态边缘点的权重，wdi为第i个低动态边缘点的权重，则非高动态边缘点权重进行如下更新：对于静态边缘点，其静态边缘点权重wSi仍为其静态权重wS；对于低动态边缘点，其低动态边缘点权重wdi要在自身低动态权重基础上乘以非高动态边缘点的权重值，即更新为wdi×wi。
8.根据权利要求1所述的基于Canny边缘的动态视觉里程计方法，其特征在于，步骤S7中基于Canny边缘的关键帧-当前帧3D-2D配置和位姿估计，具体步骤如下：
设pi(u,v)为关键帧Canny边缘二值图像上的一个像素点坐标，结合其深度图像上对应的深度值，通过逆投影变换得到其在相机坐标系下的像素点坐标p'i，再通过投影函数将p'i投影到对应的像素平面上得到pj。当pj的坐标值超过当前帧彩色图像的成像范围时，对应的残差项被舍弃，否则关键帧上Canny边缘像素点pi(u,v)重投影到当前帧的残差ri定义如下：
ri＝Dj(pj)
其中，Dj函数表示根据像素点pj从当前帧对应的距离变换中查询对应的值；
当ri大于阈值Θout时，认为对应的Canny边缘点是外点，此时ri亦被舍弃，不参与成本函数的构建；成本函数公式如下：
Figure FDA0004025891230000041
其中，s表示所有残差项的数量，wi表示非高动态边缘点的权重值，δH表示胡伯核函数，用来减轻异常残差值对非线性优化过程的影响，通过LM优化方法来最小化上述成本函数的值来求得关键帧到当前帧的最优变换估计，进而得到对当前帧的最优位姿估计，即：
Figure FDA0004025891230000042
Figure FDA0004025891230000043
即为经过成本函数优化过的最优位姿估计矩阵，argmin函数表示使函数最小情况时的参数值，
Figure FDA0004025891230000044
表示使成本函数E最小时，对应的位姿估计矩阵，也就是最优位姿估计矩阵
Figure FDA0004025891230000045
CN202211704585.6A 2022-12-29 2022-12-29 一种基于Canny边缘的动态视觉里程计方法 Active CN116245899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211704585.6A CN116245899B (zh) 2022-12-29 2022-12-29 一种基于Canny边缘的动态视觉里程计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211704585.6A CN116245899B (zh) 2022-12-29 2022-12-29 一种基于Canny边缘的动态视觉里程计方法

Publications (2)

Publication Number Publication Date
CN116245899A true CN116245899A (zh) 2023-06-09
CN116245899B CN116245899B (zh) 2024-03-26

Family

ID=86623365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211704585.6A Active CN116245899B (zh) 2022-12-29 2022-12-29 一种基于Canny边缘的动态视觉里程计方法

Country Status (1)

Country Link
CN (1) CN116245899B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311666A (zh) * 2020-05-13 2020-06-19 南京晓庄学院 一种融合边缘特征和深度学习的单目视觉里程计方法
CN111950599A (zh) * 2020-07-20 2020-11-17 重庆邮电大学 一种动态环境下融合边缘信息的稠密视觉里程计方法
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法
CN112749665A (zh) * 2021-01-15 2021-05-04 东南大学 一种基于图像边缘特征的视觉惯性slam方法
CN113837243A (zh) * 2021-09-03 2021-12-24 重庆邮电大学 基于边缘信息的rgb-d相机动态视觉里程计方法
US20220051431A1 (en) * 2018-12-17 2022-02-17 The Brigham And Women's Hospital, Inc. System and methods for a trackerless navigation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220051431A1 (en) * 2018-12-17 2022-02-17 The Brigham And Women's Hospital, Inc. System and methods for a trackerless navigation system
CN111311666A (zh) * 2020-05-13 2020-06-19 南京晓庄学院 一种融合边缘特征和深度学习的单目视觉里程计方法
CN111950599A (zh) * 2020-07-20 2020-11-17 重庆邮电大学 一种动态环境下融合边缘信息的稠密视觉里程计方法
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法
CN112749665A (zh) * 2021-01-15 2021-05-04 东南大学 一种基于图像边缘特征的视觉惯性slam方法
CN113837243A (zh) * 2021-09-03 2021-12-24 重庆邮电大学 基于边缘信息的rgb-d相机动态视觉里程计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI ZHOU等: "Canny-VO: Visual Odometry With RGB-D Cameras Based on Geometric 3-D–2-D Edge Alignment", IEEE TRANSACTIONS ON ROBOTICS, 26 October 2018 (2018-10-26) *
姚二亮;张合新;宋海涛;张国良;: "基于语义信息和边缘一致性的鲁棒SLAM算法", 机器人, no. 06, 28 May 2019 (2019-05-28) *

Also Published As

Publication number Publication date
CN116245899B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN106056643B (zh) 一种基于点云的室内动态场景slam方法及系统
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN112396595B (zh) 一种动态环境下基于点线特征的语义slam方法
CN113284179B (zh) 一种基于深度学习的机器人多物体分拣方法
Li et al. Fast visual odometry using intensity-assisted iterative closest point
CN112435262A (zh) 基于语义分割网络和多视图几何的动态环境信息检测方法
CN111964680B (zh) 一种巡检机器人的实时定位方法
US20190080190A1 (en) System and method of selecting a keyframe for iterative closest point
CN113570662B (zh) 3d定位来自真实世界图像中地标的系统和方法
CN113052907B (zh) 一种动态环境移动机器人的定位方法
CN115995039A (zh) 用于全向地点识别的提升语义图嵌入
CN112486172B (zh) 道路边缘检测方法及机器人
CN105654515A (zh) 基于分片及多特征自适应融合的目标跟踪方法
Hadviger et al. Feature-based event stereo visual odometry
Wang et al. An improved ArUco marker for monocular vision ranging
KR102213310B1 (ko) 이동 로봇 및 이의 사람 인식 및 추적 방법
CN116245899B (zh) 一种基于Canny边缘的动态视觉里程计方法
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN117011660A (zh) 一种低纹理场景下融合深度信息的点线特征slam方法
CN110570473A (zh) 一种基于点线融合的权重自适应位姿估计方法
CN114972491A (zh) 视觉slam方法、电子设备、存储介质及产品
KR102406240B1 (ko) 강인한 스테레오 비주얼 관성 항법 장치 및 방법
CN111260709B (zh) 一种面向动态环境的地面辅助的视觉里程计方法
CN111951303A (zh) 一种机器人运动姿态视觉估计方法
Xu et al. Dynamic object detection using improved vibe for RGB-D SLAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant