CN117593650B - 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 - Google Patents

基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 Download PDF

Info

Publication number
CN117593650B
CN117593650B CN202410073229.1A CN202410073229A CN117593650B CN 117593650 B CN117593650 B CN 117593650B CN 202410073229 A CN202410073229 A CN 202410073229A CN 117593650 B CN117593650 B CN 117593650B
Authority
CN
China
Prior art keywords
point
points
millimeter wave
static
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410073229.1A
Other languages
English (en)
Other versions
CN117593650A (zh
Inventor
李琛玮
赵映重
曾啟华
陆新飞
薛旦
史颂华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Geometry Partner Intelligent Driving Co ltd
Original Assignee
Shanghai Geometry Partner Intelligent Driving Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Geometry Partner Intelligent Driving Co ltd filed Critical Shanghai Geometry Partner Intelligent Driving Co ltd
Priority to CN202410073229.1A priority Critical patent/CN117593650B/zh
Publication of CN117593650A publication Critical patent/CN117593650A/zh
Application granted granted Critical
Publication of CN117593650B publication Critical patent/CN117593650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其中，该方法包括：输入4D毫米波雷达点云数据进行数据预处理；输入图像数据，对图像数据和动态目标点云进行图像预处理与数据关联；最后对获取到的动态目标数据进行视觉SLAM处理。本发明还涉及一种相应的装置、处理器及其存储介质。采用了本发明的该方法、装置、处理器及其存储介质，利用4D毫米波雷达的实时测速能力，分离出场景中的动态目标点云，将其投影至图像平面后，利用SAM图像分割网络，实时对动态目标像素级的分割，进而滤除动态目标视觉特征的误提取与匹配，增强了视觉SLAM中相机位姿估计与地图点的精度。

Description

基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法
技术领域
本发明涉及4D毫米波雷达技术领域，尤其涉及定位与建图技术领域，具体是指一种基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法。
背景技术
近年来，随着传感设备的不断更新迭代，定位与建图技术（SimultaneousLocalization and Mapping，SLAM）已经变得越来越成熟，成为了自动驾驶、室内机器人导航、安防监控、虚拟现实、游戏开发等应用领域中不可或缺的技术手段。其中视觉因其可以提供稠密且丰富的环境信息而受到广泛关注。然而，受限于摄像头的成像原理，其采集车辆的位置、速度等信息都是二维平面位置信息，且单帧图像无法描述目标的运动信息。在真实环境中，通常存在大量动态物体，仅使用图像信息难以识别场景中的动态目标，导致在视觉SLAM前端提取的特征点无法稳定的跟踪匹配，进而影响相机位姿估计以及地图点构建，使得地图构建的精度较低和鲁棒性较差。
目前，关于动态场景下视觉SLAM方法中有基于光流法、实例分割网络以及基于连续帧目标深度变化对动态目标进行分割。其中基于光流法，是通过计算像素特征的光流不一致性来区分静态背景和移动目标，实现高效的动态目标检测。然而，光流法本身易受光照影响，精度和鲁棒性较差。基于实例分割网络的动态场景下视觉SLAM方法，是通过设置特定目标进而进行像素级语义分割，并未对分割结果是否为动态目标进行严格的检测，极易出现误判，反而影响了正常的特征提取流程，进而导致最终的位姿估计精度较低。第三种方法中常见的是使用RGBD相机连续检测场景中深度的变化，进而从中找出动态目标，并将动态目标范围内的点云进行滤除，实现动态场景下的SLAM，但其使用的RGBD相机无法适用于室外场景，并且需要多帧的深度信息进行判断，时效性以及环境普适性较差。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法、装置、处理器及其计算机可读存储介质。
为了实现上述目的，本发明的该基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法、装置、处理器及其计算机可读存储介质如下：
该基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其主要特点是，所述的方法包括以下步骤：
（1）输入4D毫米波雷达点云数据进行预处理，并以此进行点云动态点与静态点的剥离；
（2）基于所述的4D毫米波雷达点云数据获取当前最新时间戳的图像数据进行数据关联；
（3）将4D毫米波雷达的动态点投影到输入图像上进行空间关联，并将其输入到SAM图像分割模型中进行训练，以此得到数个包含动态目标边界像素坐标的分割实例；
（4）对获取到的动态目标边界像素坐标进行ORB特征提取，得到滤除所有动态目标特征点后的所有静态特征点，并进行静态特征点匹配；
（5）基于三角化原理对匹配的静态特征点对，求解与静态目标特征点对应的有效的三维点，并基于该三维点计算局部点云地图中的地图点以及相应的位姿；
（6）对所述的局部点云地图进行局部BA优化以及回环检测处理，并以此得到当前环境的全局静态特征点地图和优化后的位姿。
较佳地，所述的步骤（1）具体包括以下步骤：
（1.1）输入4D毫米波雷达点云数据，其中所述的4D毫米波雷达点云数据/>包含4维信息，分别为空间坐标x，y，z以及对应点的多普勒速度信息v；
（1.2）使用统计滤波计算每个点云周围的邻域内点的统计特征，并根据预先设定的阈值判断是否将该点视为噪声并进行滤除；
（1.3）使用半径滤波算法计算每个点云周围的邻域内点的数量，若某个点周围的点数小于设定的阈值，则认为该点为噪声点，则将其滤除；
（1.4）基于随机采样一致算法进行重复迭代，直到最终的拟合结果下内点数量最多时，剥离出4D毫米波雷达点云数据中的初步静态点/>；
（1.5）计算自车速度进一步获取4D毫米波雷达点云数据中的所有动态点和静态点；
（1.6）基于所述的多普勒速度信息v计算自车速度；
（1.7）基于自车速度计算4D毫米波雷达点云数据中的点的预测多普勒速度与观测多普勒速度差值以及该差值的均值；
（1.8）通过设置速度阈值进行动态点与静态点的判断，并滤除每帧点云中的静态点，以此输出动态点。
较佳地，所述的步骤（1.5）具体包括以下步骤：
（1.5.1）求出所述的初步静态点中点的方向标量/>，其中/>为点的坐标，为点的方向；
（1.5.2）按照以下方式获取4D毫米波雷达所测得的静态目标点的多普勒速度：
；
其中：
；
；
其中，为自车速度，/>、/>和/>分别为自车在x，y，z三个方向上的速度，/>、/>和分别为当前该点在x，y，z三个方向上的大小，T为转置；
若有N个观测，则将上述方程进一步修改为：
；
其中，表示毫米波雷达点云中的多普勒速度观测向量，H为观测矩阵，/>为自车速度。
较佳地，所述的步骤（1.6）为：通过构建最小二乘问题，基于QR分解求出自车速度/>，具体如下：
所述的最小二乘问题的解为：/>；
将所述的观测矩阵H进行QR分解可得自车速度：
；
。
较佳地，所述的步骤（1.7）具体包括以下步骤：
（1.7.1）按照以下方式计算4D毫米波雷达点云数据中点的预测多普勒速度与观测多普勒速度的差值：
；
其中，为第i个点/>预测多普勒速度与观测多普勒速度的差值，与/>分别为点/>的方向坐标与观测多普勒速度；
（1.7.2）按照以下方式计算所有点云的相对多普勒速度均值为：
；
其中n为点的个数。
较佳地，所述的步骤（1.8）具体包括以下步骤：
（1.8.1）设置速度阈值，对每帧4D毫米波雷达点云中的点进行判断，当该点的多普勒速度与相对多普勒速度均值/>之差的绝对值低于所设阈值，则认为该点为静态点，否则为动态点/>1，具体如下式所示：
；
（1.8.2）根据上式滤除每帧点云中的静态点，输出动态点。
较佳地，所述的步骤（2）具体包括以下步骤：
（2.1）输入图像数据；
（2.2）以最新输入图像的时间戳为基准，弹出雷达点云队列中与该时间戳相差较大的点云帧，直到雷达点云队列的队首存放的是与最新图像时间戳最接近的雷达点云帧，以此完成数据关联。
较佳地，所述的步骤（3）具体包括以下步骤：
（3.1）使用相机内参矩阵K以及相机与毫米波雷达的空间标定矩阵T，将4D毫米波雷达的动态点投影至输入图像/>上，完成空间关联，具体为：
；
其中，为尺度因子，R与t分别为相机坐标系到世界坐标系的旋转矩阵与平移向量，/>为毫米波雷达点云投影至图像上的像素坐标；
（3.2）将输入图像以及动态目标的像素坐标/>作为提示点输入到经过训练的SAM图像分割模型中，所述的SAM模型首先利用预训练的卷积神经网络提取图像特征，并对提示点的位置信息进行编码；
（3.3）随后所述的SAM模型通过自注意力机制学习每个像素在空间上的重要性，以增强图像分割的准确性，在获得空间注意力权重后，所述的SAM模型将图像特征和提示点特征进行融合，并通过分类器对融合后的特征进行分类预测，从而实现像素级的实例分割；
（3.4）记录对输入图像中动态目标的实例分割结果/>与/>，其中/>为所述动态目标的像素坐标，/>为最终得到s个不同的动态目标实例，其中M为动态目标边界的像素坐标。
较佳地，所述的步骤（4）具体包括以下步骤：
（4.1）使用ORB特征提取算法对获取到的动态目标边界像素坐标进行特征提取，待提取到图像的ORB特征点后，根据当前已经生成的动态目标的像素坐标边界信息进行特征判断，若所述的特征点/>则滤除该特征点，具体如下：
；
以此得到滤除所有动态特征点后的所有静态特征点；
（4.2）使用前后两帧图像中的所有静态特征点的ORB描述子，通过计算每个特征点描述子之间的Hamming距离，将距离最小的特征对进行匹配，从而得到前后帧静态特征点匹配对。
较佳地，所述的步骤（5）具体包括以下步骤：
（5.1）根据所述的静态特征点匹配对，求解更为准确的基础矩阵E与单应矩阵H，并将所述的基础矩阵E进行SVD分解可得：
；
其中，U为左奇异向量矩阵，为右奇异向量矩阵，/>、/>为矩阵E的特征值。
同理可将H矩阵进行分解，得到两帧图像之间的旋转矩阵R以及平移向量t；
（5.2）根据当前帧的位姿和相机内参矩阵K，基于三角化原理求解静态目标特征点对应的有效的三维点，具体计算方式如下式构建非线性最小二乘问题：
；
其中，分别为匹配的特征点的像素齐次坐标，z为尺度因子；
（5.3）待优化出静态目标特征点对应的三维点的尺度因子z后，根据特征点的像素坐标p，使用下式计算该静态目标特征点对应的地图点P：
；
（5.4）将计算出的地图点添加到局部地图中，完成初步的地图点与位姿计算。
较佳地，所述的步骤（6）具体包括以下步骤：
（6.1）将局部地图中的有效三维点投影至输入图像上，根据投影结果与原静态目标特征点像素坐标的差值构建非线性最小二乘问题，具体如下式：
；
其中，为旋转矩阵与平移向量的李代数表示，n为地图点的数量，/>为第i个地图点，/>为与地图点对应的像素坐标，/>为尺度因子；
（6.2）使用LM非线性优化方法最小化静态目标三维点重投影误差，进而优化静态地图点以及相机位姿，并将优化后的地图点存入全局地图中，并将这一帧的地图点与位姿作为关键帧，同时将前后两帧之间的相对位姿插入因子图中作为约束；
（6.3）同时开启回环检测线程，若检测到回环，则使用图优化算法添加回环between约束因子对全局地图进行回环修正，最终得到环境的全局静态特征点地图和优化后的位姿。
该实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的装置，其主要特点是，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
该实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
采用了本发明的该基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法、装置、处理器及其计算机可读存储介质，利用4D毫米波雷达的实时测速能力，分离出场景中的动态目标点云，将其投影至图像平面后，利用SAM图像分割网络，实时对动态目标像素级的分割，进而滤除动态目标视觉特征的误提取与匹配，增强了视觉SLAM中相机位姿估计与地图点的精度。同时，由于4D毫米波雷达不受天气环境影响，在各种环境下都可以实现对动态目标的检测，辅以具有最大分割数据集的SAM分割网络，可以实现各种动态目标的分割与检测。因此，在动态环境下本技术方案所提的视觉SLAM方法具有较好的鲁棒性、时效性、环境普适性。
附图说明
图1为本发明的基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法的流程示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
本技术方案使用到的关键术语和技术缩略语的解释如下：
SLAM：实时定位与建图技术
Radar：毫米波雷达
SAM：图像分割模型
RGBD：彩色信息（RGB）与深度信息（D）
BA：光束平差法
QR分解：正交三角分解法，将一个矩阵分解为一个正交矩阵与上三角矩阵。常用于求解线性方程组与最小二乘逼近问题。
请参阅图1所示，该基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其中，所述的方法包括以下步骤：
（1）输入4D毫米波雷达点云数据进行预处理，并以此进行点云动态点与静态点的剥离；
（2）基于所述的4D毫米波雷达点云数据获取当前最新时间戳的图像数据进行数据关联；
（3）将4D毫米波雷达的动态点投影到输入图像上进行空间关联，并将其输入到SAM图像分割模型中进行训练，以此得到数个包含动态目标边界像素坐标的分割实例；
（4）对获取到的动态目标边界像素坐标进行ORB特征提取，得到滤除所有动态目标特征点后的所有静态特征点，并进行静态特征点匹配；
（5）基于三角化原理对匹配的静态特征点对，求解与静态目标特征点对应的有效的三维点，并基于该三维点计算局部点云地图中的地图点以及相应的位姿；
（6）对所述的局部点云地图进行局部BA优化以及回环检测处理，并以此得到当前环境的全局静态特征点地图和优化后的位姿。
作为本发明的优选实施方式，所述的步骤（1）具体包括以下步骤：
（1.1）输入4D毫米波雷达点云数据，其中所述的4D毫米波雷达点云数据/>包含4维信息，分别为空间坐标x，y，z以及对应点的多普勒速度信息v；
（1.2）使用统计滤波计算每个点云周围的邻域内点的统计特征，并根据预先设定的阈值判断是否将该点视为噪声并进行滤除；
（1.3）使用半径滤波算法计算每个点云周围的邻域内点的数量，若某个点周围的点数小于设定的阈值，则认为该点为噪声点，则将其滤除；
（1.4）基于随机采样一致算法进行重复迭代，直到最终的拟合结果下内点数量最多时，剥离出4D毫米波雷达点云数据中的初步静态点/>；
（1.5）计算自车速度进一步获取4D毫米波雷达点云数据中的所有动态点和静态点；
（1.6）基于所述的多普勒速度信息v计算自车速度；
（1.7）计算4D毫米波雷达点云数据中的点相对于地面的绝对速度以及所有点云的绝对速度均值；
（1.8）通过设置速度阈值进行动态点与静态点的判断，并滤除每帧点云中的静态点，以此输出动态点。
作为本发明的优选实施方式，所述的步骤（1.5）具体包括以下步骤：
（1.5.1）求出所述的初步静态点中点的方向标量/>，其中/>为点的坐标，/>为点的方向；
（1.5.2）按照以下方式获取4D毫米波雷达所测得的静态目标点的多普勒速度：
；
其中：
；
；
其中，为自车速度，/>、/>和/>分别为自车在x，y，z三个方向上的速度，/>、/>和分别为当前该点在x，y，z三个方向上的大小，T为转置；
若有N个观测，则将上述方程进一步修改为：
；
其中，表示毫米波雷达点云中的多普勒速度观测向量，H为观测矩阵，/>为自车速度。
作为本发明的优选实施方式，所述的步骤（1.6）为：通过构建最小二乘问题，基于QR分解求出自车速度/>，具体如下：
所述的最小二乘问题的解为：/>；
将所述的观测矩阵H进行QR分解可得自车速度：
；
。
作为本发明的优选实施方式，所述的步骤（1.7）具体包括以下步骤：
（1.7.1）按照以下方式计算4D毫米波雷达点云数据中点的预测多普勒速度与观测多普勒速度的差值：
；
其中，为第i个点/>预测多普勒速度与观测多普勒速度的差值，/>与/>分别为点/>的方向坐标与多普勒速度；
（1.7.2）按照以下方式计算所有点云的相对多普勒速度均值：
；
其中n为点的个数。
作为本发明的优选实施方式，所述的步骤（1.8）具体包括以下步骤：
（1.8.1）设置速度阈值，对每帧4D毫米波雷达点云中的点进行判断，当该点的速度与绝对速度均值/>之差的绝对值低于所设阈值，则认为该点为静态点/>，否则为动态点/>1，具体如下式所示：
；
（1.8.2）根据上式滤除每帧点云中的静态点，输出动态点。
作为本发明的优选实施方式，所述的步骤（2）具体包括以下步骤：
（2.1）输入图像数据；
（2.2）以最新输入图像的时间戳为基准，弹出雷达点云队列中与该时间戳相差较大的点云帧，直到雷达点云队列的队首存放的是与最新图像时间戳最接近的雷达点云帧，以此完成数据关联。
作为本发明的优选实施方式，所述的步骤（3）具体包括以下步骤：
（3.1）使用相机内参矩阵K以及相机与毫米波雷达的空间标定矩阵T，将4D毫米波雷达的动态点投影至输入图像/>上，完成空间关联，具体为：
；
其中，为尺度因子，R与t分别为相机坐标系到世界坐标系的旋转矩阵与平移向量，/>为毫米波雷达点云投影至图像上的像素坐标；
（3.2）将输入图像以及动态目标的像素坐标/>作为提示点输入到经过训练的SAM图像分割模型中，所述的SAM模型首先利用预训练的卷积神经网络提取图像特征，并对提示点的位置信息进行编码；
（3.3）随后所述的SAM模型通过自注意力机制学习每个像素在空间上的重要性，以增强图像分割的准确性，在获得空间注意力权重后，所述的SAM模型将图像特征和提示点特征进行融合，并通过分类器对融合后的特征进行分类预测，从而实现像素级的实例分割；
（3.4）记录对输入图像中动态目标的实例分割结果/>与/>，其中/>为所述动态目标的像素坐标，/>为最终得到s个不同的动态目标实例，其中M为动态目标边界的像素坐标。
作为本发明的优选实施方式，所述的步骤（4）具体包括以下步骤：
（4.1）使用ORB特征提取算法对获取到的动态目标边界像素坐标进行特征提取，待提取到图像的ORB特征点后，根据当前已经生成的动态目标的像素坐标边界信息进行特征判断，若所述的特征点/>则滤除该特征点，具体如下：
；
以此得到滤除所有动态特征点后的所有静态特征点；
（4.2）使用前后两帧图像中的所有静态特征点的ORB描述子，通过计算每个特征点描述子之间的Hamming距离，将距离最小的特征对进行匹配，从而得到前后帧静态特征点匹配对。
作为本发明的优选实施方式，所述的步骤（5）具体包括以下步骤：
（5.1）根据所述的静态特征点匹配对，求解更为准确的基础矩阵E与单应矩阵H，并将所述的基础矩阵E进行SVD分解可得：
；
其中，U为左奇异向量矩阵，为右奇异向量矩阵，/>、/>为矩阵E的特征值。
同理可将H矩阵进行分解，得到两帧图像之间的旋转矩阵R以及平移向量t；
（5.2）根据当前帧的位姿和相机内参矩阵K，基于三角化原理求解静态目标特征点对应的有效的三维点，具体计算方式如下式构建非线性最小二乘问题：
；
其中，分别为匹配的特征点的像素齐次坐标，z为尺度因子；
（5.3）待优化出静态目标特征点对应的三维点的尺度因子z后，根据特征点的像素坐标p，使用下式计算该静态目标特征点对应的地图点P：
；
（5.4）将计算出的地图点添加到局部地图中，完成初步的地图点与位姿计算。
作为本发明的优选实施方式，所述的步骤（6）具体包括以下步骤：
（6.1）将局部地图中的有效三维点投影至输入图像上，根据投影结果与原静态目标特征点像素坐标的差值构建非线性最小二乘问题，具体如下式：
；
其中，为旋转矩阵与平移向量的李代数表示，n为地图点的数量，/>为第i个地图点，/>为与地图点对应的像素坐标，/>为尺度因子；
（6.2）使用LM非线性优化方法最小化静态目标三维点重投影误差，进而优化静态地图点以及相机位姿，并将优化后的地图点存入全局地图中，并将这一帧的地图点与位姿作为关键帧，同时将前后两帧之间的相对位姿插入因子图中作为约束；
（6.3）同时开启回环检测线程，若检测到回环，则计算当前帧与候选回环帧之间的位姿变换，并将该位姿变换作为回环约束因子添加至因子图中，最后基于因子图优化算法将全局地图上的所有关键帧位姿量以及地图点作为优化变量，对全局地图进行回环修正，最终得到环境的全局静态特征点地图和优化后的位姿。
本技术方案的该基于4D毫米波雷达与视觉融合的动态场景鲁棒SLAM方法的主要步骤包括：三个部分，分别是雷达点云预处理，图像预处理与数据关联以及视觉SLAM。下面将详细介绍各个步骤具体的处理过程。
1.雷达点云预处理
a）输入4D毫米波雷达点云数据 ，其中/>包含4维信息，分别为空间坐标x ，y ，z以及对应点的多普勒速度信息v
b）使用统计滤波计算每个点周围的邻域内点的统计特征，如平均值和标准差，然后根据预先设定的阈值来判断是否将该点视为噪声并进行滤除。接着使用半径滤波算法计算每个点周围的邻域内点的数量，若某个点周围的点数小于设定的阈值，则认为该点是噪声点，将其滤除。最后基于随机采样一致算法，重复迭代直到最终的拟合结果下内点数量最多时，剥离出点云数据中的静态点/>，注意考虑到实际情况，随机采样一致算法无法严格的剥离出静态点与动态点，故这里的静态点并非点云数据/>中的所有静态点，还需要根据这些静态点计算自车速度进而重新判断点云数据/>中的动态点与静态点。
c）估计自身速度：
c1. 求出静态点云中点的方向标量/>其中/>为点的坐标，/>为其方向。
c2. 4D毫米波雷达所测得的静态目标点的多普勒速度等于方向/>与自车速度的乘积：
；
其中：
；
；
分别表示x，y，z三个方向上的大小以及速度;
若有N个观测，则该方程可写为：
；
其中表示毫米波雷达点云中的多普勒速度观测向量，H为观测矩阵，/>为自车速度。
c3. 构建最小二乘问题，并基于QR分解求出自车速度/>具体步骤如下：
上述最小二乘问题的解为：；
将H进行QR分解可得：
；/>
；
c4. 计算4D毫米波雷达点云数据中点的预测多普勒速度与观测多普勒速度的差值，其中/>为点/>预测多普勒速度与观测多普勒速度的差值，/>与/>分别为点/>的坐标与多普勒速度：
；
c5. 计算所有点云的相对多普勒速度均值为，其中n为点的个数：
；
d)设置速度阈值，对每帧4D毫米波雷达点云中的点进行判断，其速度与均值之差的绝对值低于所设阈值则认为是静态点/>，否则为动态点/>1，如下式。
；
e）滤除每帧点云中的静态点，输出动态点。
2.图像预处理与数据关联
a）输入图像数据
b）以最新输入图像的时间戳为基准，弹出雷达点云队列中与之时间戳相差较大的点云帧，直到雷达点云队列的队首存放的是与图像时间戳最接近的雷达点云帧，基于上述方法实现雷达动态目标点云数据与图像数据的时间关联， 接着使用相机内参矩阵K以及相机与毫米波雷达的空间标定矩阵T，将4D毫米波雷达的动态点投影至图像/>上，完成空间关联，具体计算方法如下：
；
其中为尺度因子，K为相机内参，T为4D毫米波雷达与相机的外参矩阵，R与t分别为相机坐标系到世界坐标系的旋转矩阵与平移向量，/>为4D毫米波雷达点云中的动态点，为毫米波雷达点云投影至图像上的像素坐标。
c）将图像以及动态目标的像素坐标作为提示点输入到经过训练的SAM大模型实例分割网络中，其中提示点像素坐标用于指示模型需要关注的区域，而图像数据则提供了整体的视觉信息。接着图像数据通过卷积神经网络（CNN）对图像进行特征提取，得到图像的高级语义特征表示。SAM大模型网络利用输入的提示点像素坐标，结合图像特征，通过空间注意力机制来学习不同位置的注意力权重，这些权重可以强调或抑制不同位置的特征，使模型更关注与提示点相关的区域。在得到经过空间注意力调控的特征表示后，使用各种像素级分割算法（如全卷积网络、语义分割网络等）来实现对实例的像素级分割。并且SAM模型根据提示点和图像特征，以及学习到的空间注意力权重，对每个像素进行分类，从而实现像素级的实例分割。最后生成对输入图像/>中动态目标的实例分割结果，根据动态目标的像素坐标/>，最终得到/>个不同的实例/>，其中M为动态目标边界的像素坐标。
3.视觉SLAM
a）使用ORB特征提取算法，提取到图像的ORB特征点后，根据2c步生成的动态目标的像素坐标边界信息进行判断，若/>则滤除该特征点，具体流程如下：
；
得到滤除所有动态特征点后的所有静态特征点。
接着使用两帧图像中的所有静态特征点的ORB描述子，通过计算每个特征点描述子之间的Hamming距离，最后将距离最小的特征对进行匹配，得到前后帧静态特征点匹配对。这一步减少了由动态目标特征点所导致的误匹配的特征点对。
b）根据匹配的静态特征点对，求解更准确的基础矩阵E与单应矩阵H，将其基础矩阵E进行SVD分解可得：
；
其中t与R分别为平移向量与旋转矩阵，同理可将H矩阵进行分解。得到两帧图像之间的旋转矩阵R以及平移向量t。并根据当前帧的位姿和相机内参矩阵K，基于三角化原理求解静态目标特征点对应的有效的三维点，具体计算方式如下式构建非线性最小二乘问题：
；
其中分别为匹配的特征点的像素齐次坐标，K为相机内参。优化出其对应的三维点的尺度因子z后，使用下式计算其地图点P：
；
最后将其添加到局部地图中，完成初步的地图点与位姿计算。本步骤中使用了两帧图像中的静态目标的特征点对求解当前位姿以及地图点，提高了局部点云地图的质量，为接下来的优化问题提供了良好的数据基础。
c）进行局部BA，具体将局部地图中的有效三维点投影至图像上，根据投影结果与原静态目标特征点像素坐标的差值构建非线性最小二乘问题，具体如下式：
；
其中为旋转矩阵与平移向量的李代数表示，n为地图点的数量，/>为第i个地图点，/>为与地图点对应的像素坐标，/>为其尺度因子。
接着使用LM非线性优化方法最小化静态目标三维点重投影误差，进而优化静态地图点以及相机位姿，并将优化后的地图点存入全局地图中，将两帧之间的相对位姿插入因子图中作为约束。同时开启回环检测线程，若检测到回环，则使用图优化算法添加回环between约束因子对全局地图进行回环修正，最终得到环境的全局静态特征点地图和优化后的位姿。
该实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的装置，其中，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
该实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的处理器，其中，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
采用了本发明的该基于4D毫米波雷达与SAM图像分割的动点滤除视觉SLAM方法、装置、处理器及其计算机可读存储介质，利用4D毫米波雷达的实时测速能力，分离出场景中的动态目标点云，将其投影至图像平面后，利用SAM图像分割网络，实时对动态目标像素级的分割，进而滤除动态目标视觉特征的误提取与匹配，增强了视觉SLAM中相机位姿估计与地图点的精度。同时，由于4D毫米波雷达不受天气环境影响，在各种环境下都可以实现对动态目标的检测，辅以具有最大分割数据集的SAM分割网络，可以实现各种动态目标的分割与检测。因此，在动态环境下本技术方案所提的视觉SLAM方法具有较好的鲁棒性、时效性、环境普适性。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (12)

1.一种基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的方法包括以下步骤：
（1）输入4D毫米波雷达点云数据进行预处理，并以此进行点云动态点与静态点的剥离；
（2）基于所述的4D毫米波雷达点云数据获取当前最新时间戳的图像数据进行数据关联；
（3）将4D毫米波雷达的动态点投影到输入图像上进行空间关联，并将其输入到SAM图像分割模型中进行训练，以此得到数个包含动态目标边界像素坐标的分割实例；
（4）对获取到的动态目标边界像素坐标进行ORB特征提取，得到滤除所有动态目标特征点后的所有静态特征点，并进行静态特征点匹配；
（5）基于三角化原理对匹配的静态特征点对，求解与静态目标特征点对应的有效的三维点，并基于该三维点计算局部点云地图中的地图点以及相应的位姿；
（6）对所述的局部点云地图进行局部BA优化以及回环检测处理，并以此得到当前环境的全局静态特征点地图和优化后的位姿；
所述的步骤（1）具体包括以下步骤：
（1.1）输入4D毫米波雷达点云数据，其中所述的4D毫米波雷达点云数据/>包含4维信息，分别为空间坐标x，y，z以及对应点的多普勒速度信息；
（1.2）使用统计滤波计算每个点云周围的邻域内点的统计特征，并根据预先设定的阈值判断是否将该点视为噪声并进行滤除；
（1.3）使用半径滤波算法计算每个点云周围的邻域内点的数量，若某个点周围的点数小于设定的阈值，则认为该点为噪声点，则将其滤除；
（1.4）基于随机采样一致算法进行重复迭代，直到最终的拟合结果下内点数量最多时，剥离出4D毫米波雷达点云数据中的初步静态点/>；
（1.5）基于所述的初步静态点的多普勒速度信息计算自车速度；
（1.6）基于所述的自车速度计算4D毫米波雷达点云数据中的点的预测的多普勒速度与观测的多普勒速度的差值以及该差值的均值；
（1.7）通过设置速度阈值，对所述的4D毫米波雷达点云数据中的所有动态点与静态点进行判断，并滤除每帧点云中的所述的静态点，以此输出所述的动态点；
所述的步骤（1.5）包括按照以下步骤获取多普勒速度信息：
（1.5.1）求出所述的初步静态点中点的方向标量/>，其中/>为点的坐标，/>为点的方向；
（1.5.2）按照以下方式获取4D毫米波雷达所测得的初步静态点的多普勒速度/>：
;
其中：
；
；
其中，为自车速度，/>、/>和/>分别为自车在x，y，z三个方向上的速度，/>、/>和/>分别为当前该点在x，y，z三个方向上的大小，T为转置符号；
若有N个观测，则将上述方程进一步修改为：
；
其中，表示毫米波雷达点云中的多普勒速度观测向量，H为观测矩阵，/>为自车速度。
2.根据权利要求1所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1.5）具体为：通过构建最小二乘问题，基于QR分解求出所述的自车速度/>，具体如下：
所述的最小二乘问题的解为：/>；
将所述的观测矩阵H进行QR分解可得所述的自车速度：
；
。
3.根据权利要求2所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1.6）具体包括以下步骤：
（1.6.1）按照以下方式计算4D毫米波雷达点云数据中点的预测的多普勒速度与观测的多普勒速度的差值：
；
其中，为第i个点/>预测的多普勒速度与观测的多普勒速度的差值，与/>分别为点/>的方向坐标与观测的多普勒速度；
（1.6.2）按照以下方式计算所有点云的相对多普勒速度均值为：
；
其中为点的个数。
4.根据权利要求3所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（1.7）具体包括以下步骤：
（1.7.1）设置速度阈值，对每帧4D毫米波雷达点云中的点进行判断，当该点的多普勒速度与相对多普勒速度均值/>之差的绝对值低于所设阈值，则认为该点为静态点，否则为动态点/>1，具体如下式所示：
；
（1.7.2）根据上式滤除每帧点云中的静态点，输出动态点。
5.根据权利要求4所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（2）具体包括以下步骤：
（2.1）输入图像数据；
（2.2）以最新输入图像的时间戳为基准，弹出雷达点云队列中与该时间戳相差较大的点云帧，直到雷达点云队列的队首存放的是与最新图像时间戳最接近的雷达点云帧，以此完成数据关联。
6.根据权利要求5所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（3）具体包括以下步骤：
（3.1）使用相机内参矩阵K以及相机与毫米波雷达的空间标定矩阵T，将4D毫米波雷达的动态点投影至输入图像/>上，完成空间关联，具体为：/>；
其中，为尺度因子，R与t分别为相机坐标系到世界坐标系的旋转矩阵与平移向量，/>为毫米波雷达点云投影至图像上的像素坐标；
（3.2）将输入图像以及动态目标的像素坐标/>作为提示点输入到经过训练的SAM图像分割模型中，所述的SAM图像分割模型首先利用预训练的卷积神经网络提取图像特征，并对提示点的位置信息进行编码；
（3.3）随后所述的SAM图像分割模型通过自注意力机制学习每个像素在空间上的重要性，以增强图像分割的准确性，在获得空间注意力权重后，所述的SAM图像分割模型将图像特征和提示点特征进行融合，并通过分类器对融合后的特征进行分类预测，从而实现像素级的实例分割；
（3.4）记录对输入图像中动态目标的实例分割结果/>与/>，其中/>为所述动态目标的像素坐标，/>为最终得到s个不同的动态目标实例，其中M为动态目标边界的像素坐标。
7.根据权利要求6所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（4）具体包括以下步骤：
（4.1）使用ORB特征提取算法对获取到的动态目标边界像素坐标进行特征提取，待提取到图像的ORB特征点后，根据当前已经生成的动态目标的像素坐标边界信息进行特征判断，若所述的特征点/>则滤除该特征点，具体如下：
;
以此得到滤除所有动态特征点后的所有静态特征点；
（4.2）使用前后两帧图像中的所有静态特征点的ORB描述子，通过计算每个特征点描述子之间的Hamming距离，将距离最小的特征对进行匹配，从而得到前后帧静态特征点匹配对。
8.根据权利要求7所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（5）具体包括以下步骤：
（5.1）根据所述的静态特征点匹配对，求解更为准确的基础矩阵E，并将所述的基础矩阵E进行SVD分解可得：
;
其中，U为左奇异向量矩阵，为右奇异向量矩阵，/>、/>为矩阵E的特征值；
（5.2）根据当前帧的位姿和相机内参矩阵K，基于三角化原理求解静态目标特征点对应的有效的三维点，具体计算方式如下式构建非线性最小二乘问题：;
其中，分别为匹配的特征点的像素齐次坐标，z为尺度因子；
（5.3）待优化出静态目标特征点对应的三维点的尺度因子z后，根据特征点的像素坐标p，使用下式计算该静态目标特征点对应的地图点P：
;
（5.4）将计算出的地图点添加到局部地图中，完成初步的地图点与位姿计算。
9.根据权利要求8所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法，其特征在于，所述的步骤（6）具体包括以下步骤：
（6.1）将局部地图中的有效三维点投影至输入图像上，根据投影结果与原静态目标特征点像素坐标的差值构建非线性最小二乘问题，具体如下式：;
其中，为旋转矩阵与平移向量的李代数表示，n为地图点的数量，/>为第i个地图点，/>为与地图点对应的像素坐标，/>为尺度因子；
（6.2）使用LM非线性优化方法最小化静态目标三维点重投影误差，进而优化静态地图点以及相机位姿，并将优化后的地图点存入全局地图中，并将这一帧的地图点与位姿作为关键帧，同时将前后两帧之间的相对位姿插入因子图中作为约束；
（6.3）同时开启回环检测线程，若检测到回环，则计算当前帧与候选回环帧之间的位姿变换，并将该位姿变换作为回环约束因子添加至因子图中，最后基于因子图优化算法将全局地图上的所有关键帧位姿量以及地图点作为优化变量，对全局地图进行回环修正，最终得到环境的全局静态特征点地图和优化后的位姿。
10.一种实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的装置，其特征在于，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1～9中任一项所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
11.一种实现基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1～9中任一项所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1～9中任一项所述的基于4D毫米波雷达与SAM图像分割模型的动点滤除视觉SLAM方法的步骤。
CN202410073229.1A 2024-01-18 2024-01-18 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法 Active CN117593650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410073229.1A CN117593650B (zh) 2024-01-18 2024-01-18 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410073229.1A CN117593650B (zh) 2024-01-18 2024-01-18 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法

Publications (2)

Publication Number Publication Date
CN117593650A CN117593650A (zh) 2024-02-23
CN117593650B true CN117593650B (zh) 2024-04-26

Family

ID=89911930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410073229.1A Active CN117593650B (zh) 2024-01-18 2024-01-18 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法

Country Status (1)

Country Link
CN (1) CN117593650B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
US11287529B1 (en) * 2021-06-16 2022-03-29 Aeva, Inc. Techniques for doppler point set registration
CN115200588A (zh) * 2022-09-14 2022-10-18 煤炭科学研究总院有限公司 移动机器人的slam自主导航方法及其装置
CN115482282A (zh) * 2022-09-15 2022-12-16 浙江大学 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN115953747A (zh) * 2022-10-20 2023-04-11 江苏集萃深度感知技术研究所有限公司 车端目标分类检测方法及车端雷视融合设备
CA3179118A1 (en) * 2021-10-12 2023-04-12 Avidbots Corp Localization framework for dynamic environments for autonomous indoor semi-autonomous devices
CN116359905A (zh) * 2023-05-11 2023-06-30 上海交通大学 基于4d毫米波雷达的位姿图slam计算方法及系统
CN116643291A (zh) * 2023-05-29 2023-08-25 中国矿业大学(北京) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN116978009A (zh) * 2023-07-14 2023-10-31 广西大学 基于4d毫米波雷达的动态物体滤除方法
CN117274515A (zh) * 2023-09-08 2023-12-22 浙江师范大学 基于ORB和NeRF映射的视觉SLAM方法及系统
CN117387604A (zh) * 2023-08-25 2024-01-12 西北工业大学 基于4d毫米波雷达和imu融合的定位与建图方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110208793A (zh) * 2019-04-26 2019-09-06 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
US11287529B1 (en) * 2021-06-16 2022-03-29 Aeva, Inc. Techniques for doppler point set registration
CA3179118A1 (en) * 2021-10-12 2023-04-12 Avidbots Corp Localization framework for dynamic environments for autonomous indoor semi-autonomous devices
CN115200588A (zh) * 2022-09-14 2022-10-18 煤炭科学研究总院有限公司 移动机器人的slam自主导航方法及其装置
CN115482282A (zh) * 2022-09-15 2022-12-16 浙江大学 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN115953747A (zh) * 2022-10-20 2023-04-11 江苏集萃深度感知技术研究所有限公司 车端目标分类检测方法及车端雷视融合设备
CN116359905A (zh) * 2023-05-11 2023-06-30 上海交通大学 基于4d毫米波雷达的位姿图slam计算方法及系统
CN116643291A (zh) * 2023-05-29 2023-08-25 中国矿业大学(北京) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN116978009A (zh) * 2023-07-14 2023-10-31 广西大学 基于4d毫米波雷达的动态物体滤除方法
CN117387604A (zh) * 2023-08-25 2024-01-12 西北工业大学 基于4d毫米波雷达和imu融合的定位与建图方法及系统
CN117274515A (zh) * 2023-09-08 2023-12-22 浙江师范大学 基于ORB和NeRF映射的视觉SLAM方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semantic SLAM With More Accurate Point Cloud Map in Dynamic Environments;Yingchun Fan等;《 IEEE Access 2020 Computer Science, Engineering》;20200617;第112237-112252页 *
动态环境下基于动态区域剔除的双目视觉SLAM算法;魏彤;李绪;;机器人;20200331(第03期);第82-91页 *

Also Published As

Publication number Publication date
CN117593650A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN111665842B (zh) 一种基于语义信息融合的室内slam建图方法及系统
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN110070578B (zh) 一种回环检测方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111144213A (zh) 一种对象检测方法和相关设备
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
Cao et al. Tracking registration algorithm for augmented reality based on template tracking
CN115077519A (zh) 基于模板匹配与激光惯导松耦合的定位建图方法和装置
CN115900712A (zh) 一种信源可信度评价组合定位方法
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
Santos et al. A real-time low-cost marker-based multiple camera tracking solution for virtual reality applications
Acharya et al. Modelling uncertainty of single image indoor localisation using a 3D model and deep learning
Revaud et al. Robust automatic monocular vehicle speed estimation for traffic surveillance
CN115511970B (zh) 一种面向自主泊车的视觉定位方法
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
Arnaud et al. Partial linear gaussian models for tracking in image sequences using sequential monte carlo methods
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN115100565A (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN110458887A (zh) 一种基于pca的加权融合室内定位方法
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant