CN116067360A - 一种基于双重约束的机器人地图构建方法、存储介质及设备 - Google Patents

一种基于双重约束的机器人地图构建方法、存储介质及设备 Download PDF

Info

Publication number
CN116067360A
CN116067360A CN202310031294.3A CN202310031294A CN116067360A CN 116067360 A CN116067360 A CN 116067360A CN 202310031294 A CN202310031294 A CN 202310031294A CN 116067360 A CN116067360 A CN 116067360A
Authority
CN
China
Prior art keywords
point
static
points
feature
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310031294.3A
Other languages
English (en)
Other versions
CN116067360B (zh
Inventor
徐韬
陈孟元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN202310031294.3A priority Critical patent/CN116067360B/zh
Publication of CN116067360A publication Critical patent/CN116067360A/zh
Application granted granted Critical
Publication of CN116067360B publication Critical patent/CN116067360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双重约束的机器人地图构建方法，包括下列步骤：步骤S1、通过聚合注意力机制特征动态调节的目标检测网络对潜在动态物体所在区域添加边界框；步骤S2、采用密度聚类算法初步区分边界框内前景点和背景点，并通过计算前景点内的边界点的静态概率准确区分边界点的运动状态从而得到初步静态点集合，然后使用初步静态点集合对相机位姿进行初步估计；步骤S3、采用双重静态点约束方法进一步确定潜在动态物体的运动状态；步骤S4、剔除动态点集合，并使用高质量的静态点集合进行二次位姿优化。本发明进一步确定特征点的真实运动状态，得到静态点集合，并基于此对相机位姿进行二次优化。

Description

一种基于双重约束的机器人地图构建方法、存储介质及设备
技术领域
本发明属于同步定位与地图创建(Simultaneous LocationAnd Mapping，SLAM)技术领域，具体涉及基于一种基于双重约束的机器人地图构建方法、存储介质及设备。
背景技术
同步定位与地图构建(Simultaneous Localization and Mapping，SLAM)是移动机器人在未知环境下，使用自身搭载的相机、激光雷达等传感器，建立局部环境地图，同时估计机器人自身所处位置。当前主流视觉SLAM系统都在大规模环境中实现了高精度的定位与构图，但该方法动态场景下易出现动态物体检测不完整以及难以准确判断潜在动态物体的运动状态等问题，如在潜在动态物体检测环节中使用目标检测网络仅能获取图像中的潜在动态物体的检测框，而对于检测框内特征点的运动状态却难以准确区分。由于在实际场景中一些点实际上是动态的却被误分类为静态点(如一本书在手上晃动)和存在一些对象由静态转换成动态的问题，从而降低系统精度，因此动态物体对SLAM系统定位精度的影响较大，系统位姿估计与地图构建的准确性也受到影响。
发明内容
本发明的目的是提供一种基于双重约束的机器人地图构建方法，用于解决现有技术中由于潜在动态物体的检测框中特征点的运动状态却难以准确区分，动态的却被误分类为静态点，静态转换成动态出现错误，从而降低系统精度，令动态物体对SLAM系统定位精度产生不利影响的问题。
所述的一种基于双重约束的机器人地图构建方法，包括下列步骤：
步骤S1、通过聚合注意力机制特征动态调节的目标检测网络对潜在动态物体所在区域添加边界框；
步骤S2、采用密度聚类算法初步区分边界框内前景点和背景点，并通过计算前景点内的边界点的静态概率准确区分边界点的运动状态从而得到初步静态点集合，然后使用初步静态点集合对相机位姿进行初步估计；
步骤S3、采用双重静态点约束方法进一步确定潜在动态物体的运动状态；
步骤S4、剔除动态点集合，并使用高质量的静态点集合进行二次位姿优化。
优选的，所述步骤3中，双重静态点约束方法将空间中的3D点投影至当前帧和关键帧，计算当前帧投影点与极线的距离，若距离小于设定阈值则空间中3D点即为静态点，反之通过计算投影点实际位置与其匹配点的2范数或深度差值进一步判断3D点的运动状态；若2范数大于设定阈值，说明投影点实际位置与其匹配点位置误差较大，此时空间中3D点为动态点；若深度差值大于设定阈值，说明实际深度与估计深度相差较大，此时空间中3D点为动态点。
优选的，所述步骤3中，双重静态点约束方法的计算方式如下：
Figure BDA0004045519770000021
其中，ω表示静态点得分，λ和μ代表权重参数，A、B表示极线方程的参数，S1为空间中3D点S在关键帧K上的实际投影点，S2为3D点s在当前帧C中的投影点，S′2为在当前帧C中与S1匹配得到的点，F为基础矩阵，Φ是S点在当前帧的投影深度与实际深度的深度差值，∨为或符号。
优选的，所述步骤3中，当
Figure BDA0004045519770000022
趋近于0+时，取λ＝1，μ＝0，此时ω趋近于0+，说明空间中3D点S在当前帧投影点S2离极线越近，S即为静态点；若
Figure BDA0004045519770000023
大于设定的第一阈值ε1，取λ＝0，μ＝1，此时若||S2-S′2||2＞ε2或Φ＞ε3则认为S点为动态点，反之即为静态点，其中ε2、ε3分别为对应的第二阈值和第三阈值；基于此对临界点ω的得分设定动态阈值ε4，若ω＞ε4，S即为动态点。
优选的，所述步骤1中，聚合注意力机制将为各层通道分配权重，将H×W×C的输入特征图F输入到聚合注意力机制中，分别使用尺寸为(τ，1)和(1，ρ)的池化核对特征图沿横向和纵向进行编码，然后两个方向感知的特征图通过concat操作得到特征图f，计算方式如下：
Figure BDA0004045519770000024
其中，τ、ρ分别表示池化核的高、宽，Pc(h，u)表示高度为h的第u个位置的特征图输出，Pc(v，w)表示宽度为w的第v个位置的特征图输出，c表示通道数，f1表示1×1的卷积变换函数，η表示非线性激活函数，f表示特征图；
还将特征图f分解为两个单独的张量fx和fy，再经过卷积变换将fx和fy变换为与输入F具有相同通道数的张量，最后通过卷积变换和sigmoid激活函数处理得到聚合注意力权重，其计算方式如下：
Fu＝Γ(c1(fx))*Γ(c2(fy))
其中，Fu表示聚合注意力权重，Γ表示sigmoid激活函数，fx和fy分别为特征图分解的两个张量，c1和c2分别表示对应两个分解后张量的1×1的卷积变换函数。
优选的，所述步骤1中，将聚合注意力机制嵌入残差网络中，再使用特征动态调节网络对输出层L1、L2和L3之间的融合比例进行动态调节；动态调节的具体步骤如下：(1)特征图尺寸调整：采用下采样或上采样的方式对不同层级的特征图的尺寸进行调整；(2)生成权重：对3个输出层的特征图进行1×1的卷积变换得到权重向量a、b、c；(3)权重向量拼接与归一化：将权重向量进行拼接并通过sigmoid函数归一化并将输入映射至[0，1]范围内且和为1；(4)计算各个输出层的输出，包括：计算L1的输出y1：
Figure BDA0004045519770000031
和
Figure BDA0004045519770000032
分别为L1、L2和L3层级的第(i，j)个位置的特征图输出，将
Figure BDA0004045519770000033
和
Figure BDA0004045519770000034
分别与L1层级的可学习权重a、b、c相乘之后再相加即可得到输出y1；以相同方式计算出L2、L3的输出y2、y3。
优选的，所述步骤2中，采用密度聚类算法并结合图像深度信息区分检测框内的前景点和背景点，并采取自适应的方法确定密度聚类算法的邻域半径eps和邻域样本数的阈值min Pts，聚类完成后，将聚类中样本平均值最低的样本作为检测框的前景点；同时为避免边缘信息聚类错误，通过前景点内的特征点标签
Figure BDA0004045519770000035
以及其组成的集合OK，计算前景点内距离边界最近的特征点的静态概率P，若P小于设定阈值，则说明此边界点没有误分类，静态概率P的计算方式如下：
Figure BDA0004045519770000036
其中，P表示边界特征点的静态概率，
Figure BDA0004045519770000037
表示第K帧前景点内特征点的标签，pi为前景点内的第i个特征点，OK表示第K帧前景点内特征点的标签集合，
Figure BDA0004045519770000041
为第K帧内前景点的第j个边界点，MK表示第K帧内前景点的边界像素点集合，e为自然常数；
求出边界点的静态概率之后将其与设定阈值进行对比，若小于设定阈值则该点为静态点，从而得到初步静态点集合U，然后采用最小化重投影误差进行相机初步位姿估计，为后续二次相机位姿优化提供优化初值，计算方式如下：
Figure BDA0004045519770000042
其中，{R，t}为相机位姿，对应旋转矩阵R和平移向量t；κ表示Huber核函数；n为静态点集中匹配点对的总数；κi为2D特征点坐标；Pi表示与特征点匹配的3D空间点坐标；π(·)为从相机坐标到像素坐标的投影函数。
优选的，所述步骤4中，将动态点全部剔除，以初步位姿估计的结果作为位姿优化的初始值，使用初步静态点和双重约束静态点方法筛选出的全部静态点对位姿初值进行联合优化，优化方法依然采用最小化重投影误差。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于双重约束的机器人地图构建方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于双重约束的机器人地图构建方法的步骤。
本发明具有以下优点：
1、在潜在动态物体检测环节中使用目标检测网络仅能获取图像中的潜在动态物体的检测框，而对于检测框内特征点的运动状态却难以准确区分。针对该问题，本方法提出一种基于双重静态点约束的位姿优化方法，首先，通过DBSCAN密度聚类算法初步区分检测框内的前景点和背景点，并通过计算前景点内边界点的静态概率准确区分边界点的运动状态从而得到初步静态点集合，然后使用初步静态点集合进行初步相机位姿估计。由于在实际场景中一些点实际上是动态的却被误分类为静态点(如一本书在手上晃动)和存在一些对象由静态转换成动态的问题，从而降低系统精度。针对该问题，提出一种双重静态点约束方法进一步确定特征点的真实运动状态，得到静态点集合，并使用全部的静态点对相机位姿进行二次优化。
2、本方法提出一种融合聚合注意力机制和特征动态调节的目标检测网络AFNET。该网络backbone部分为融合注意力机制的聚合注意力模块，通过该模块增强可见区域的特征表示，同时获取感兴趣区域的位置信息，充分利用有效特征处理缺失信息，同时抑制无用信息。该网络head部分为特征动态调节模块，该模块通过对不同3个特征层之间的特征的融合比例进行动态调节，提高对外观缺失物体的检测准确性。
附图说明
图1为本发明一种基于双重约束的机器人地图构建方法的流程示意图。
图2为本发明一种基于双重约束的机器人地图构建方法的流程图。
图3为本发明所设计目标检测网络结构图。
图4为本发明所设计聚合注意力机制的结构图。
图5为本发明在公开数据集TUM潜在动态物体目标检测的效果图。
图6为本发明选取公开TUM数据集验证初步静态点提取的效果图。
图7为本发明选取公开TUM数据集验证特征提取的效果图。
图8为本发明在公开数据集TUM中动态序列w/half下运行得到的轨迹图。
图9为本发明在公开数据集TUM中动态序列w/xyz下运行得到的轨迹图。
图10为本发明在公开数据集TUM中动态序列w/rpy下运行得到的轨迹图。
图11为本发明在公开数据集TUM下运行得到的绝对轨迹误差评估数据柱状图。
图12为本发明在公开数据集TUM下运行得到的相对轨迹平移误差评估数据柱状图。
图13为本发明在另一组实验中的真实实验场景和对应的平面图。
图14为本发明在上述实验的真实场景中对潜在动态物体的目标检测图。
图15为本发明在上述实验的真实场景中特征提取的效果图。
图16为为本发明与传统方法在移动机器人真实场景所得运动轨迹的对比图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
实施例一：
如图1-16所示，本发明提供了一种基于双重约束的机器人地图构建方法，包括下列步骤。
步骤S1、通过聚合注意力机制特征动态调节的目标检测网络对潜在动态物体所在区域添加边界框。
聚合注意力机制将为各层通道分配权重。将H×W×C的输入特征图F输入到聚合注意力机制中，分别使用尺寸为(τ，1)和(1，ρ)的池化核对特征图沿横向和纵向进行编码，然后两个方向感知的特征图通过concat操作得到特征图f，计算方式如下：
Figure BDA0004045519770000061
其中，τ、ρ分别表示池化核的高、宽，Pc(h，u)表示高度为h的第u个位置的特征图输出，Pc(v，w)表示宽度为w的第v个位置的特征图输出，c表示通道数，f1表示1×1的卷积变换函数，η表示非线性激活函数，f表示特征图。
步骤S1中，还将特征图f分解为两个单独的张量fx和fy，再经过卷积变换将fx和fy变换为与输入F具有相同通道数的张量，最后通过卷积变换和sigmoid激活函数处理得到聚合注意力权重，其计算方式如下：
Fu＝Γ(c1(fx))*Γ(c2(fy))
其中，Fu表示聚合注意力权重，Γ表示sigmoid激活函数，fx和fy分别为特征图分解的两个张量，c1和c2分别表示对应两个分解后张量的1×1的卷积变换函数。
本方法将聚合注意力机制嵌入残差网络中，再使用特征动态调节网络对输出层L1、L2和L3之间的融合比例进行动态调节。动态调节的具体步骤如下：(1)特征图尺寸调整：采用下采样或上采样的方式对不同层级的特征图的尺寸进行调整；(2)生成权重：对3个输出层的特征图进行1×1的卷积变换得到权重向量a、b、c；(3)权重向量拼接与归一化：将权重向量进行拼接并通过sigmoid函数归一化并将输入映射至[0，1]范围内且和为1；(4)计算各个输出层的输出，例如，计算L1的输出y1：
Figure BDA0004045519770000071
和
Figure BDA0004045519770000072
分别为L1、L2和L3层级的第(i，j)个位置的特征图输出，将
Figure BDA0004045519770000073
和
Figure BDA0004045519770000074
分别与L1层级的可学习权重a、b、c相乘之后再相加即可得到输出y1。同理可计算出L2、L3的输出y2、y3。
视觉SLAM系统在运行的过程中由于外观缺失的物体占据图像中较大区域，若无法准确识别场景中的潜在动态物体，将对SLAM系统的稳定性造成影响。为提高对外观缺失物体的检测准确性，本方法设计聚合注意力机制并将其加入残差网络中构造backbone(主干网络)，通过对输入的特征图在通道维度和空间方向两个方面的信息进行关注，然后采用残差网络进一步提取特征，最后进行特征融合合并输出。本方法通过聚合注意力机制特征动态调节的目标检测网络添加边界框，以加强对机视野中外观缺失物体的识别率，提高目标检测的精度。聚合注意力模块能增强网络对外观缺失物体的特征表达，该模块不仅增大了感兴趣区域空间位置，充分突出外观缺失部分的有效信息，同时抑制无用信息的干扰。
步骤S2、采用密度聚类算法初步区分边界框内前景点和背景点，并通过计算前景点内的边界点的静态概率准确区分边界点的运动状态从而得到初步静态点集合，然后使用初步静态点集合对相机位姿进行初步估计。
目标检测算法只能对潜在动态物体进行检测框标记，为了进一步确定检测框内特征点的运动状态，所述步骤S2中，利用行人为前景的非刚体且与背景深度有较大断层的性质，采用密度聚类算法并结合图像深度信息区分检测框内的前景点和背景点，并采取自适应的方法确定密度聚类算法的邻域半径eps和邻域样本数的阈值min Pts。聚类完成后，将聚类中样本平均值最低的样本作为检测框的前景点。同时为避免边缘信息聚类错误，通过前景点内的特征点标签
Figure BDA0004045519770000078
以及其组成的集合OK，计算前景点内距离边界最近的特征点的静态概率P，若P小于设定阈值，则说明此边界点没有误分类，静态概率P的计算方式如下：
Figure BDA0004045519770000075
其中，P表示边界特征点的静态概率，
Figure BDA0004045519770000076
表示第K帧前景点内特征点的标签，pc为前景点内的第i个特征点，OK表示第K帧前景点内特征点的标签集合，
Figure BDA0004045519770000077
为第K帧内前景点的第j个边界点，MK表示第K帧内前景点的边界像素点集合，e为自然常数。
求出边界点的静态概率之后将其与设定阈值进行对比，若小于设定阈值则该点为静态点，从而得到初步静态点集合U，然后采用最小化重投影误差进行相机初步位姿估计，为后续二次相机位姿优化提供优化初值，计算方式如下：
Figure BDA0004045519770000081
其中，{R，t}为相机位姿，对应旋转矩阵R和平移向量t；κ表示Huber核函数；n为静态点集中匹配点对的总数；κi为2D特征点坐标；Pi表示与特征点匹配的3D空间点坐标；π(·)为从相机坐标到像素坐标的投影函数。
步骤S3、采用双重静态点约束方法进一步确定潜在动态物体的运动状态。
针对存在一些点实际上是动态却被错误的归类为静态(如一本书在手上晃动)和存在一些对象从静态转换为动态的问题，本方法通过设计一种双重静态点约束方法进一步确定初步静态点集合中特征点的运动状态。双重静态点约束方法将空间中的3D点投影至当前帧和关键帧，计算当前帧投影点与极线的距离，若距离小于设定阈值则空间中3D点即为静态点，反之通过计算投影点实际位置与其匹配点的2范数或深度差值进一步判断3D点的运动状态。若2范数大于设定阈值，说明投影点实际位置与其匹配点位置误差较大，此时空间中3D点为动态点；若深度差值大于设定阈值，说明实际深度与估计深度相差较大，此时空间中3D点为动态点。该方法计算方式如下：
Figure BDA0004045519770000082
其中，ω表示静态点得分，λ和μ代表权重参数，A、B表示极线方程的参数，S1为空间中3D点S在关键帧K上的实际投影点，S2为3D点S在当前帧C中的投影点，S′2为在当前帧C中与S1匹配得到的点，F为基础矩阵，Φ是S点在当前帧的投影深度与实际深度的深度差值，∨为或符号。
当
Figure BDA0004045519770000083
趋近于0+时，取λ＝1，μ＝0，此时ω趋近于0+，说明空间中3D点S在当前帧投影点S2离极线越近，s即为静态点；若
Figure BDA0004045519770000084
大于设定的第一阈值ε1，取λ＝0，μ＝1，此时若||S2-S′2||2＞ε2或Φ＞εx则认为S点为动态点，反之即为静态点，其中ε2、ε3分别为对应的第二阈值和第三阈值。基于此对临界点ω的得分设定动态阈值ε4，若ω＞ε4，S即为动态点(经过实验验证ε1＝0.65，ε2＝0.1，ε3＝0.6，获得的轨迹误差最小)。
步骤S4、剔除动态点集合，并使用高质量的静态点集合进行二次位姿优化。
基于前一步确定静态点和动态点后，将动态点全部剔除，以初步位姿估计的结果作为位姿优化的初始值，使用初步静态点和双重约束静态点方法筛选出的全部静态点对位姿初值进行联合优化，优化方法依然采用最小化重投影误差。
传统SLAM算法易出现动态物体检测不完整以及难以准确判断潜在动态物体的运动状态等问题，最终导致SLAM系统定位与地图构建效果较差，基于此方法提出一种改进SLAM算法。此方法包括潜在动态物体检测和基于双重静态点约束的位姿优化两个环节。在潜在动态物体检测阶段，通过本文所提的AFNET目标检测网络对图像信息中的潜在动态物体进行目标检测，并提取图像ORB特征点。在基于双重静态点约束的位姿优化阶段，通过密度聚类算法初步提取潜在动态物体的静态点并通过计算边界点的静态概率，生成初步静态点集合，并使用其进行初步位姿估计，然后使用双重静态点约束方法进一步确定物体运动状态并剔除动态点，再使用全部静态点集合进行二次位姿优化，提升系统精度。
图5所示为本方法在公开数据集TUM潜在动态物体目标检测效果图，本方法选取数据集中存在外观缺失场景来验证本方法的效果。由图可知，由于本方法融合了聚合注意力机制增加外观缺失物体的特征表示，同时通过特征动态调节提升检测精度。因此本方法可对外观缺失的动态物体进行精确分割。
图7为本方法选取公开TUM数据集验证特征提取效果图。传统的动态SLAM方法在特征点较少的情况下，剔除动态物体静态特征点不足。本方法通过DBSCAN密度聚类算法和静态概率筛选初步静态点，并采取双重静态点约束方法筛选高质量特征点，提取效果更好。
图8-图10分别为本方法在公开数据集TUM中动态序列w/half、w/xyz和w/rpy中运行轨迹图。图中线条分别表示相机运动真实轨迹、SLAM方法估计的相机运动轨迹和轨迹误差。在结合SLAM方法后，由于使用了基于双重静态点约束的位姿优化方法提升了系统的精度，因此本方法轨迹与真实轨迹相近。
图11和图12为本方法算在公开数据集不同序列下的绝对轨迹误差和相对轨迹平移误差评估数据柱状图，并采用均方根误差(RMSE)和标准差(S.D.)作为衡量标准，其值越低代表SLAM系统越稳定。由图可知本方法对动态环境中外观缺失物体依然具有较高鲁棒性。
用另一组实验对本实施例的方法进行说明：选取实验室场景如图13所示，即真实实验环境如图13左所示，大小为12m×5m。图13右为真实场景平面布局，其中包括工作台，机器人运动路线和行人往返路线。
图14为真实场景中物体目标检测效果图，通过该实验证明本方法在实际场景中目标检测效果。由图可以看出人物外观严重缺失，本方法通过增强外观缺失物体的像素权重，因此本方法可有效检测外观缺失物体。
图15为真实场景中特征提取效果图，实验通过实际场景中获取的图像帧验证本方法的有效性。由图可知，本方法通过双重静态点约束方法进一步区分了特征点的运动状态，增加了系统位姿估计与构图准确性。
图16所示为本方法与传统方法运行轨迹对比图。由图16可以看出，在动态场景下本方法由于加入AFNET目标检测算法检测场景中潜在动态物体，并利用基于双重静态点约束的位姿优化方法精确去除动态点，因此本方法对动态环境下外观缺失具有较高鲁棒性。
实施例二：
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤：
步骤S1、通过聚合注意力机制特征动态调节的目标检测网络对潜在动态物体所在区域添加边界框。
步骤S2、采用密度聚类算法初步区分边界框内前景点和背景点，并通过计算前景点内的边界点的静态概率准确区分边界点的运动状态从而得到初步静态点集合，然后使用初步静态点集合对相机位姿进行初步估计。
步骤S3，采用双重静态点约束方法进一步确定潜在动态物体的运动状态。
步骤S4，剔除动态点集合，并使用高质量的静态点集合进行二次位姿优化。
上述存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可以存储程序代码的介质。
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
实施例三：
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时依照实施例一的方法实现以下步骤：
步骤S1、通过聚合注意力机制特征动态调节的目标检测网络对潜在动态物体所在区域添加边界框。
步骤S2、采用密度聚类算法初步区分边界框内前景点和背景点，并通过计算前景点内的边界点的静态概率准确区分边界点的运动状态从而得到初步静态点集合，然后使用初步静态点集合对相机位姿进行初步估计。
步骤S3，采用双重静态点约束方法进一步确定潜在动态物体的运动状态。
步骤S4，剔除动态点集合，并使用高质量的静态点集合进行二次位姿优化。
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (10)

1.一种基于双重约束的机器人地图构建方法，其特征在于：包括下列步骤：
步骤S1、通过聚合注意力机制特征动态调节的目标检测网络对潜在动态物体所在区域添加边界框；
步骤S2、采用密度聚类算法初步区分边界框内前景点和背景点，并通过计算前景点内的边界点的静态概率准确区分边界点的运动状态从而得到初步静态点集合，然后使用初步静态点集合对相机位姿进行初步估计；
步骤S3、采用双重静态点约束方法进一步确定潜在动态物体的运动状态；
步骤S4、剔除动态点集合，并使用高质量的静态点集合进行二次位姿优化。
2.根据权利要求1所述的一种基于双重约束的机器人地图构建方法，其特征在于：所述步骤3中，双重静态点约束方法将空间中的3D点投影至当前帧和关键帧，计算当前帧投影点与极线的距离，若距离小于设定阈值则空间中3D点即为静态点，反之通过计算投影点实际位置与其匹配点的2范数或深度差值进一步判断3D点的运动状态；若2范数大于设定阈值，说明投影点实际位置与其匹配点位置误差较大，此时空间中3D点为动态点；若深度差值大于设定阈值，说明实际深度与估计深度相差较大，此时空间中3D点为动态点。
3.根据权利要求2所述的一种基于双重约束的机器人地图构建方法，其特征在于：所述步骤3中，双重静态点约束方法的计算方式如下：
Figure FDA0004045519760000011
其中，ω表示静态点得分，λ和μ代表权重参数，A、B表示极线方程的参数，S1为空间中3D点S在关键帧K上的实际投影点，S2为3D点S在当前帧C中的投影点，S′2为在当前帧C中与S1匹配得到的点，F为基础矩阵，Φ是S点在当前帧的投影深度与实际深度的深度差值，∨为或符号。
4.根据权利要求3所述的一种基于双重约束的机器人地图构建方法，其特征在于：所述步骤3中，当
Figure FDA0004045519760000012
趋近于0+时，取λ＝1，μ＝0，此时ω趋近于0+，说明空间中3D点S在当前帧投影点S2离极线越近，S即为静态点；若
Figure FDA0004045519760000013
大于设定的第一阈值ε1，取λ＝0，μ＝1，此时若||S2-S′2||2＞ε2或Φ＞ε3则认为s点为动态点，反之即为静态点，其中ε2、ε3分别为对应的第二阈值和第三阈值；基于此对临界点ω的得分设定动态阈值ε4，若ω＞ε4，S即为动态点。
5.根据权利要求1所述的一种基于双重约束的机器人地图构建方法，其特征在于：所述步骤1中，聚合注意力机制将为各层通道分配权重，将H×W×C的输入特征图F输入到聚合注意力机制中，分别使用尺寸为(τ，1)和(1，ρ)的池化核对特征图沿横向和纵向进行编码，然后两个方向感知的特征图通过concat操作得到特征图f，计算方式如下：
Figure FDA0004045519760000021
其中，τ、ρ分别表示池化核的高、宽，Pc(h，u)表示高度为h的第u个位置的特征图输出，Pc(v，w)表示宽度为w的第v个位置的特征图输出，c表示通道数，f1表示1×1的卷积变换函数，η表示非线性激活函数，f表示特征图；
还将特征图f分解为两个单独的张量fx和fy，再经过卷积变换将fx和fy变换为与输入F具有相同通道数的张量，最后通过卷积变换和sigmoid激活函数处理得到聚合注意力权重，其计算方式如下：
Fu＝Γ(c1(fx))*Γ(c2(fy))
其中，Fu表示聚合注意力权重，Γ表示sigmoid激活函数，fx和fy分别为特征图分解的两个张量，c1和c2分别表示对应两个分解后张量的1×1的卷积变换函数。
6.根据权利要求5所述的一种基于双重约束的机器人地图构建方法，其特征在于：所述步骤1中，将聚合注意力机制嵌入残差网络中，再使用特征动态调节网络对输出层L1、L2和L3之间的融合比例进行动态调节；动态调节的具体步骤如下：(1)特征图尺寸调整：采用下采样或上采样的方式对不同层级的特征图的尺寸进行调整；(2)生成权重：对3个输出层的特征图进行1×1的卷积变换得到权重向量a、b、c；(3)权重向量拼接与归一化：将权重向量进行拼接并通过sigmoid函数归一化并将输入映射至[0，1]范围内且和为1；(4)计算各个输出层的输出，包括：计算L1的输出y1：
Figure FDA0004045519760000031
和
Figure FDA0004045519760000032
分别为L1、L2和L3层级的第(i，j)个位置的特征图输出，将
Figure FDA0004045519760000033
和
Figure FDA0004045519760000034
分别与L1层级的可学习权重a、b、c相乘之后再相加即可得到输出y1；以相同方式计算出L2、L3的输出y2、y3。
7.根据权利要求1所述的一种基于双重约束的机器人地图构建方法，其特征在于：所述步骤2中，采用密度聚类算法并结合图像深度信息区分检测框内的前景点和背景点，并采取自适应的方法确定密度聚类算法的邻域半径eps和邻域样本数的阈值min Pts，聚类完成后，将聚类中样本平均值最低的样本作为检测框的前景点；同时为避免边缘信息聚类错误，通过前景点内的特征点标签
Figure FDA0004045519760000035
以及其组成的集合OK，计算前景点内距离边界最近的特征点的静态概率P，若P小于设定阈值，则说明此边界点没有误分类，静态概率P的计算方式如下：
Figure FDA0004045519760000036
其中，P表示边界特征点的静态概率，
Figure FDA0004045519760000037
表示第K帧前景点内特征点的标签，pi为前景点内的第i个特征点，OK表示第K帧前景点内特征点的标签集合，
Figure FDA0004045519760000038
为第K帧内前景点的第j个边界点，MK表示第K帧内前景点的边界像素点集合，e为自然常数；
求出边界点的静态概率之后将其与设定阈值进行对比，若小于设定阈值则该点为静态点，从而得到初步静态点集合U，然后采用最小化重投影误差进行相机初步位姿估计，为后续二次相机位姿优化提供优化初值，计算方式如下：
Figure FDA0004045519760000039
其中，{R，t}为相机位姿，对应旋转矩阵R和平移向量t；κ表示Huber核函数；n为静态点集中匹配点对的总数；κi为2D特征点坐标；Pi表示与特征点匹配的3D空间点坐标；π(·)为从相机坐标到像素坐标的投影函数。
8.根据权利要求1所述的一种基于双重约束的机器人地图构建方法，其特征在于：所述步骤4中，将动态点全部剔除，以初步位姿估计的结果作为位姿优化的初始值，使用初步静态点和双重约束静态点方法筛选出的全部静态点对位姿初值进行联合优化，优化方法依然采用最小化重投影误差。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的一种基于双重约束的机器人地图构建方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的一种基于双重约束的机器人地图构建方法的步骤。
CN202310031294.3A 2023-01-09 2023-01-09 一种基于双重约束的机器人地图构建方法、存储介质及设备 Active CN116067360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310031294.3A CN116067360B (zh) 2023-01-09 2023-01-09 一种基于双重约束的机器人地图构建方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310031294.3A CN116067360B (zh) 2023-01-09 2023-01-09 一种基于双重约束的机器人地图构建方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN116067360A true CN116067360A (zh) 2023-05-05
CN116067360B CN116067360B (zh) 2023-08-22

Family

ID=86176273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310031294.3A Active CN116067360B (zh) 2023-01-09 2023-01-09 一种基于双重约束的机器人地图构建方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN116067360B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740949B1 (en) * 2007-06-14 2017-08-22 Hrl Laboratories, Llc System and method for detection of objects of interest in imagery
JP6852936B1 (ja) * 2019-11-15 2021-03-31 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ 深度点線特徴に基づくドローン視覚走行距離計方法
CN114119732A (zh) * 2021-12-06 2022-03-01 福建工程学院 基于目标检测和K-means聚类的联合优化动态SLAM方法
CN114782691A (zh) * 2022-04-20 2022-07-22 安徽工程大学 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN114943741A (zh) * 2022-06-02 2022-08-26 安徽大学 一种动态场景下基于目标检测和几何概率的视觉slam方法
CN115115672A (zh) * 2022-08-29 2022-09-27 东南大学 基于目标检测和特征点速度约束的动态视觉slam方法
CN115565039A (zh) * 2022-09-20 2023-01-03 华中科技大学 基于自注意力机制的单目输入动态场景新视图合成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740949B1 (en) * 2007-06-14 2017-08-22 Hrl Laboratories, Llc System and method for detection of objects of interest in imagery
JP6852936B1 (ja) * 2019-11-15 2021-03-31 広東工業大学Ｇｕａｎｇｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｔｅｃｈｎｏｌｏｇｙ 深度点線特徴に基づくドローン視覚走行距離計方法
CN114119732A (zh) * 2021-12-06 2022-03-01 福建工程学院 基于目标检测和K-means聚类的联合优化动态SLAM方法
CN114782691A (zh) * 2022-04-20 2022-07-22 安徽工程大学 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN114943741A (zh) * 2022-06-02 2022-08-26 安徽大学 一种动态场景下基于目标检测和几何概率的视觉slam方法
CN115115672A (zh) * 2022-08-29 2022-09-27 东南大学 基于目标检测和特征点速度约束的动态视觉slam方法
CN115565039A (zh) * 2022-09-20 2023-01-03 华中科技大学 基于自注意力机制的单目输入动态场景新视图合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WU WENXIN等: "YOLO-SLAM：A semantic SLAM system towards dynamic environment with geometric constraint", NEURAL COMPUTING AND APPLICATIONS *
YANG SHIQING等: "Visual SLAM Based on Senmantic Segmentation and Geometric Constraints for Dynamic Indoor Environments", IEEE ACCESS *
唐裕亮: "动态环境下结合深度学习的语义SLAM研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 05 *

Also Published As

Publication number Publication date
CN116067360B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
US11763485B1 (en) Deep learning based robot target recognition and motion detection method, storage medium and apparatus
Von Stumberg et al. Gn-net: The gauss-newton loss for multi-weather relocalization
US20210142095A1 (en) Image disparity estimation
US11182644B2 (en) Method and apparatus for pose planar constraining on the basis of planar feature extraction
CN111144364B (zh) 一种基于通道注意更新机制的孪生网络目标跟踪方法
CN106991388B (zh) 关键点定位方法
EP1612733A2 (en) Color segmentation-based stereo 3D reconstruction system and process
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN111480183B (zh) 用于产生透视效果的光场图像渲染方法和系统
CN109829353B (zh) 一种基于空间约束的人脸图像风格化方法
CN108428249A (zh) 一种基于光流跟踪和双几何模型的初始位姿估计方法
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
Joung et al. Unsupervised stereo matching using confidential correspondence consistency
WO2023016182A1 (zh) 位姿确定方法、装置、电子设备和可读存储介质
Hirner et al. FC-DCNN: A densely connected neural network for stereo estimation
Kim et al. Adversarial confidence estimation networks for robust stereo matching
CN114283265A (zh) 一种基于3d旋转建模的无监督人脸转正方法
CN116067360B (zh) 一种基于双重约束的机器人地图构建方法、存储介质及设备
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN114842506A (zh) 一种人体姿态估计方法及系统
CN110059651B (zh) 一种相机实时跟踪注册方法
CN114612545A (zh) 图像分析方法及相关模型的训练方法、装置、设备和介质
CN113888603A (zh) 基于光流跟踪和特征匹配的回环检测及视觉slam方法
Ghanem et al. Face completion using generative adversarial network with pretrained face landmark generator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 241000 No. 8 Beijing Middle Road, Jiujiang District, Wuhu City, Anhui Province

Applicant after: ANHUI POLYTECHNIC University

Address before: No. 8 Beijing Middle Road, Wuhu Economic and Technological Development Zone, Anhui Province, 241000

Applicant before: ANHUI POLYTECHNIC University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant