CN117928519A - 服务机器人的多传感器融合定位与建图方法及系统 - Google Patents
服务机器人的多传感器融合定位与建图方法及系统 Download PDFInfo
- Publication number
- CN117928519A CN117928519A CN202410309965.2A CN202410309965A CN117928519A CN 117928519 A CN117928519 A CN 117928519A CN 202410309965 A CN202410309965 A CN 202410309965A CN 117928519 A CN117928519 A CN 117928519A
- Authority
- CN
- China
- Prior art keywords
- semantic
- frame
- service robot
- point cloud
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000013507 mapping Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 title claims abstract description 22
- 230000010354 integration Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000005259 measurement Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims 1
- 230000015556 catabolic process Effects 0.000 abstract description 4
- 238000006731 degradation reaction Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008878 coupling Effects 0.000 abstract description 3
- 238000010168 coupling process Methods 0.000 abstract description 3
- 238000005859 coupling reaction Methods 0.000 abstract description 3
- 230000019771 cognition Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种服务机器人的多传感器融合定位与建图方法及系统，属于服务机器人技术领域；本方法利用了深度学习的方法提取并融合多模态语义信息，避免了传统几何信息在非结构化场景、纹理不丰富的场景中的退化问题，并且有助于减小动态障碍物对定位和建图结果的影响，同时语义信息的引入能够帮助服务机器人建立带有语义认知的环境地图，从而促进了服务机器人执行更高阶的任务，例如运送特定物体、到达指定对象附近、场景理解等；本方法建立了将语义残差、传统几何残差、光度残差、IMU预积分紧耦合的系统，能够同时利用语义和几何特征对机器人的位姿进行优化，充分提升了多传感器信息的利用率，同时通过关键帧和滑动窗口减小了计算消耗。
Description
技术领域
本发明涉及多传感器融合技术，同时定位与建图技术，属于服务机器人技术领域，具体涉及一种服务机器人的多传感器融合定位与建图方法及系统。
背景技术
同时定位与建图（SLAM）技术是机器人在未知环境中作业的基础需求。现有的单一传感器SLAM技术较为成熟，如基于激光雷达的LOAM，基于相机的ORB-SLAM等，但它们仍无法处理由于传感器自身能力限制而带来的退化和误差，例如激光雷达无法处理玻璃面、缺少结构化信息的场景，相机在黑暗中无法提取有效信息，惯性测量单元（IMU）能够在短时间内解决激光雷达和相机信息退化的问题，但无法避免长期工作时的漂移问题。不同的传感器各有优势和缺陷，并且能够相互补偿，故而融合多传感器的信息在实际应用中是十分必要的。
现有的SLAM技术通常假设环境为静态，对于服务机器人经常面对的动态障碍物繁多的场景鲁棒性较差，一旦定位和建图结果被动态障碍物所干扰，机器人难以恢复到正确的位姿，而语义信息能够较好地减少动态障碍物的影响，同时能够处理纹理匮乏的场景，并且相较于传统方法单纯的建图，将语义信息投影到环境地图中能够提升机器人的场景理解能力。但由于场景中相同标签的物体众多，单纯的语义信息的定位精度较差，仍旧需要传统方法的辅助。
当机器人搭载多传感器时，对多模态信息进行松耦合虽然能够减少运算消耗，但是降低了整个系统的精度和信息的利用率，紧耦合的信息融合方式能够更高效和充分地利用多模态信息。
发明内容
有鉴于此，本发明提供了一种服务机器人的多传感器融合定位与建图方法及系统，该方法根据不同传感器的输入提取并融合多模态语义信息，提取点云几何信息，像素光度误差信息和IMU预积分信息，并针对不同信息设计残差因子，通过滑动窗口联合优化实现服务机器人定位。在服务机器人搭载多传感器的情况下，该方法可以综合处理不同模态的数据，以达到提升定位和建图精度、增进机器人的场景理解能力、提高多传感器信息利用率的目的。
本发明为达到上述发明目的，采用如下技术方案：
一种服务机器人的多传感器融合定位与建图方法，包括：
步骤S1，对服务机器人搭载的多个传感器采集的多模态数据进行初步处理，包括：
S101，对服务机器人搭载的单目相机、激光雷达和惯性测量单元IMU进行内、外参标定以及时间对齐；
S102，经过设定的时间间隔获得单目相机采集的RGB图像数据和激光雷达采集的点云数据关键帧；
S103，通过惯性测量单元IMU对点云数据去畸变，实现运动补偿；
S104，以惯性测量单元IMU初始时间段测量的加速度和角速度数据积分作为服务机器人位姿初值，初始化系统；
步骤S2，针对RGB图像数据和点云数据分别提取语义特征，并对RGB图像数据和点云数据语义特征进行融合并输出融合图像，再预测融合图像域中的语义信息；
步骤S3，对点云数据进行几何特征提取；
步骤S4，优化因子设计，具体包括：
根据步骤S2预测的语义信息获得多模态语义特征因子；
根据点云数据的几何特征得到激光雷达里程计因子；
利用RGB图像数据相邻关键帧获得图像光度信息因子；
利用相邻关键帧之间的相对运动获取IMU预积分残差因子；
步骤S5，根据步骤S4获得的五个因子，得到如下优化方程：
其中，表示关键帧的序号；/>为滑动窗口大小；/>为选取的滑动窗口内所有关键帧对应的位姿的集合；/>、/>、/>、/>分别为语义、IMU、相机、激光雷达测量值对应的协方差；/>表示通过协方差矩阵的逆对不同测量的残差进行加权求和；
通过GTSAM优化方法解算所述优化方程得到最优的机器人的位姿信息，并根据里程计结果将语义信息投影到地图中，建立带有语义信息的环境地图。
较佳的，所述S103中，运动补偿的方法包括：通过球面线性插值法得到在不同激光雷达点云对应时间戳处IMU测量的位姿，并依此将激光雷达点云投影到所对应的点云帧中。
较佳的，所述步骤S2具体包括如下步骤：
S201，根据S1中标定的内、外参矩阵将三维激光雷达点云投影到二维图像平面，实现点云数据和RGB图像中像素点的关联；
S202，对所述二维图像和所述RGB图像数据分别通过CNN提取语义特征得到特征向量和/>；
S203，分别对特征向量和/>进行查询、键和值的编码，经过第一个Transformer层后得到特征向量/>和/>，再将/>和/>串联并拉平为/>，对其进行查询、键和值的编码，再经第二个Transformer层后得到融合后的特征向量/>；
S204，将输入Decoder模块，预测每个像素点的语义标签/>，及其该标签的相应概率/>，即像素点/>在位置/>处的语义观测/>为/>类的概率。
较佳的，所述S204中，移除设定类别的像素，减少动态障碍物的影响。
较佳的，所述S4中多模态语义特征因子的计算方法包括：
令语义观测似然函数表示像素点/>在位置/>处的语义观测/>为类为真的概率，其中/>为第/>帧在语义空间中的投影，/>为第/>帧的位姿；表示第/>帧像素点/>在语义域中的投影到语义标记为/>的区域的投影/>距离，/>与/>的大小成反比，具体表示如下：
根据S2中所得到的多模态语义分类结果计算多模态语义特征因子，具体表示如下：
其中为语义标签集合，/>为第/>帧的像素点集合。
较佳的，所述步骤S3中，对点云数据进行传统几何特征提取的方法包括：采用LOAM中通过曲率提取特征的方法，计算当前点云前后/>个点连接的曲率，曲率高于0.1的为边缘点，其余为平面点，具体计算公式如下：
其中，为计算的曲率；/>表示第/>帧；/>表示在雷达坐标系下；/>和/>分别表示第/>帧上点云/>及其邻近点云/>的坐标值，对二者坐标的差值求和，除以所取的邻近点总数，得到曲率；取/>，/>。
较佳的，所述S4中，激光雷达里程计因子的计算方法包括：
首先根据惯性测量单元IMU在第帧测量的位姿，将S3中提取的雷达坐标系下的边缘特征/>和平面特征/>投影到世界坐标系，分别得到/>和/>，与相邻10帧关键帧的特征所组成的局部特征地图做残差，/>和/>分别为局部特征地图中的边缘特征和平面特征，用特征匹配残差表示激光雷达里程计因子，具体表示如下：
其中为Huber损失函数。
较佳的，所述图像光度信息因子的计算方法包括：
设一个空间点在第/>帧和第/>帧中成像的像素点分别为/>和/>；假设相邻关键帧具有光度不变性，则用相同像素间的光度误差表示图像光度信息因子，具体表示如下：
其中、/>分别为空间点/>在第/>帧和第/>帧中成像的像素点对应的灰度值；/>为第/>帧的像素点集合；/>；/>为第/>帧和第/>帧之间的位姿变换。
较佳的，所述IMU预积分残差因子的计算方法包括：
获得相邻关键帧之间的相对运动，IMU预积分测量值分别包含速度、位置和旋转/>，则IMU预积分残差因子/>为速度/>，位置/>，旋转三个变量之和，计算具体表示如下：
其中为第/>帧的旋转矩阵的转置；/>为第/>帧的旋转矩阵；/>为重力加速度；/>、/>分别为第/>帧的位置和速度；/>、/>分别为第/>帧的位置和速度；/>为相邻两关键帧的时间差。
一种实现服务机器人的多传感器融合定位与建图方法的系统，用于实现步骤S1至S5的方法。
本发明具有如下有益效果：
（1）本发明所提供的方法利用了深度学习的方法提取并融合多模态语义信息，避免了传统几何信息在非结构化场景、纹理不丰富的场景中的退化问题，并且有助于减小动态障碍物对定位和建图结果的影响，同时语义信息的引入能够帮助服务机器人建立带有语义认知的环境地图，从而促进了服务机器人执行更高阶的任务，例如运送特定物体、到达指定对象附近、场景理解等。
（2）本发明所提供的方法建立了将语义残差、传统几何残差、光度残差、IMU预积分紧耦合的系统，能够同时利用语义和几何特征对机器人的位姿进行优化，充分提升了多传感器信息的利用率，同时通过关键帧和滑动窗口减小了计算消耗。
附图说明
图1为采用本发明所提供的方法的多传感器语义特征融合示意图；
图2为采用本发明所提供的方法的滑动窗口因子图优化示意图；
图3为采用本发明所提供的方法及系统的流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明所采用的实验设备为Velodyne VLP-16激光雷达，单目相机为罗技ProC920，IMU为Xsens MTI-G-710，运行的操作系统为Linux，服务机器人工作的环境为场景较大的餐厅内。
本实施例中，一种服务机器人的多传感器融合定位与建图方法及系统，如图3所示，具体步骤如下所述：
步骤S1，对服务机器人搭载的多个传感器采集的多模态数据进行初步处理，包括：
S101，对服务机器人搭载的单目相机、激光雷达和惯性测量单元IMU进行内、外参标定以及时间对齐；
S102，实施例中采用的雷达频率为20Hz，间隔16ms采集RGB图像数据和点云数据关键帧；
S103通过球面线性插值法得到在不同激光雷达点云对应时间戳处IMU测量的位姿，并依此将激光雷达点云投影到所对应的点云帧中，实现点云去畸变；
S104，以惯性测量单元IMU在机器人移动前5s测量的加速度和角速度数据积分作为服务机器人位姿初值，初始化系统；
步骤S2，首先采集餐厅的图像以及激光雷达信息，对数据进行标定作为数据集，对RGB图像数据和点云数据分别提取语义特征，并对RGB图像数据和点云数据语义特征进行融合并输出融合图像，再预测融合图像域中的语义信息，融合流程和框架如图1所示，包括：
S201，根据S1中标定的内、外参矩阵将三维激光雷达点云投影到二维图像平面，实现点云数据和RGB图像中像素点的关联；
S202，对二维点云数据和图像数据分别通过CNN提取语义特征得到特征向量和。
S203，分别对特征向量和/>进行查询、键和值的编码，经过第一个Transformer层后得到特征向量/>和/>，再将/>和/>串联并拉平为/>，对其进行查询、键和值的编码，再经第二个Transformer层后得到融合后的特征向量/>；
S204，将输入Decoder模块，预测每个像素点的语义标签/>，及其该标签的相应概率/>，即像素点/>在位置/>处的语义观测/>为/>类的概率，针对餐厅内的动态障碍物最多的类别，移除类别为“人”的像素。
步骤S3，对点云数据进行几何特征提取，具体方法包括：采用LOAM中通过曲率提取特征的方法，计算当前点云前后5个点连接的曲率，曲率高于0.1的为边缘点，其余为平面点，具体计算公式如下：
其中，为计算的曲率；/>表示第/>帧；/>表示在雷达坐标系下；/>和/>分别表示第/>帧上点云/>及其邻近点云/>的坐标值，对二者坐标的差值求和，除以所取的邻近点总数，得到曲率；/>。
步骤S4，优化因子设计，具体包括：
根据步骤S2预测的语义信息获得多模态语义特征因子；
根据点云数据的几何特征得到激光雷达里程计因子；
利用RGB图像数据相邻关键帧获得图像光度信息因子；
利用相邻关键帧之间的相对运动获取IMU预积分残差因子；具体计算过程如下：
S401，多模态语义特征因子计算，令语义观测似然函数表示像素点/>在位置/>处的语义观测/>为/>类为真的概率，其中/>为第/>帧在语义空间中的投影，/>为第/>帧的位姿；/>表示第/>帧像素点/>在语义域中的投影到语义标记为/>的区域的投影/>距离，/>与/>的大小成反比，具体表示如下：
根据S2中所得到的多模态语义分类结果计算多模态语义特征因子，具体表示如下：
其中为语义标签集合，/>为第/>帧的像素点集合。
S402，激光雷达里程计因子计算，首先根据惯性测量单元IMU在第帧测量的位姿，将S3中提取的雷达坐标系下的边缘特征/>和平面特征/>投影到世界坐标系，分别得到/>和/>，与相邻10帧关键帧的特征所组成的局部特征地图做残差，/>和/>分别为局部特征地图中的边缘特征和平面特征，用特征匹配残差表示激光雷达里程计因子，具体表示如下：
其中为Huber损失函数。
S403，图像光度信息因子计算，一个空间点在第/>帧和第/>帧中成像的像素点分别为/>和/>；假设相邻关键帧具有光度不变性，则用相同像素间的光度误差表示图像光度信息因子，具体表示如下：
其中、/>分别为空间点/>在第/>帧和第/>帧中成像的像素点对应的灰度值；/>为第/>帧的像素点集合；/>，/>为第/>帧和第/>帧之间的位姿变换。
S404，IMU预积分残差因子计算，获得相邻关键帧之间的相对运动，IMU预积分测量值分别包含速度、位置/>和旋转/>，则IMU预积分残差因子/>为速度/>，位置/>，旋转/>三个变量之和，计算具体表示如下：
其中为第/>帧的旋转矩阵的转置；/>为第/>帧的旋转矩阵；/>为重力加速度；/>、/>分别为第/>帧的位置和速度；/>、/>分别为第/>帧的位置和速度；/>为相邻两关键帧的时间差。
步骤S5，根据步骤S4获得的五个因子，进行滑动窗口批量优化，优化框架如图2所示，得到如下优化方程：
其中，表示关键帧的序号；/>为滑动窗口大小，取6个关键帧；/>为选取的滑动窗口内所有关键帧对应的位姿的集合；/>、/>、/>、/>分别为语义、IMU、相机、激光雷达测量值对应的协方差；/>表示通过协方差矩阵的逆对不同测量的残差进行加权求和；
通过GTSAM优化方法解算所述优化方程得到最优的机器人的位姿信息，并根据里程计结果将语义信息投影到地图中，建立带有语义信息的环境地图。
本发明还提供了一种服务机器人的多传感器融合定位与建图方法的系统用于实现步骤S1至S5的方法。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种服务机器人的多传感器融合定位与建图方法，其特征在于，包括：
步骤S1，对服务机器人搭载的多个传感器采集的多模态数据进行初步处理，包括：
S101，对服务机器人搭载的单目相机、激光雷达和惯性测量单元IMU进行内、外参标定以及时间对齐；
S102，经过设定的时间间隔获得单目相机采集的RGB图像数据和激光雷达采集的点云数据关键帧；
S103，通过惯性测量单元IMU对点云数据去畸变，实现运动补偿；
S104，以惯性测量单元IMU初始时间段测量的加速度和角速度数据积分作为服务机器人位姿初值，初始化系统；
步骤S2，针对RGB图像数据和点云数据分别提取语义特征，并对RGB图像数据和点云数据语义特征进行融合并输出融合图像，再预测融合图像域中的语义信息；
步骤S3，对点云数据进行几何特征提取；
步骤S4，优化因子设计，具体包括：
根据步骤S2预测的语义信息获得多模态语义特征因子；
根据点云数据的几何特征得到激光雷达里程计因子；
利用RGB图像数据相邻关键帧获得图像光度信息因子；
利用相邻关键帧之间的相对运动获取IMU预积分残差因子；
步骤S5，根据步骤S4获得的五个因子，得到如下优化方程：
其中，表示关键帧的序号；/>为滑动窗口大小；/>为选取的滑动窗口内所有关键帧对应的位姿的集合；/>、/>、/>、/>分别为语义、IMU、相机、激光雷达测量值对应的协方差；表示通过协方差矩阵的逆对不同测量的残差进行加权求和；
通过GTSAM优化方法解算所述优化方程得到最优的机器人的位姿信息，并根据里程计结果将语义信息投影到地图中，建立带有语义信息的环境地图。
2.如权利要求1中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述S103中，运动补偿的方法包括：通过球面线性插值法得到在不同激光雷达点云对应时间戳处IMU测量的位姿，并依此将激光雷达点云投影到所对应的点云帧中。
3.如权利要求1中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述步骤S2具体包括如下步骤：
S201，根据S1中标定的内、外参矩阵将三维激光雷达点云投影到二维图像平面，实现点云数据和RGB图像中像素点的关联；
S202，对所述二维图像和所述RGB图像数据分别通过CNN提取语义特征得到特征向量和/>；
S203，分别对特征向量和/>进行查询、键和值的编码，经过第一个Transformer层后得到特征向量/>和/>，再将/>和/>串联并拉平为/>，对其进行查询、键和值的编码，再经第二个Transformer层后得到融合后的特征向量/>；
S204，将输入Decoder模块，预测每个像素点的语义标签/>，及其该标签的相应概率，即像素点/>在位置/>处的语义观测/>为/>类的概率。
4.如权利要求3中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述S204中，移除设定类别的像素，减少动态障碍物的影响。
5.如权利要求3中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述S4中多模态语义特征因子的计算方法包括：
令语义观测似然函数表示像素点/>在位置/>处的语义观测/>为/>类为真的概率，其中/>为第/>帧在语义空间中的投影，/>为第/>帧的位姿；/>表示第/>帧像素点/>在语义域中的投影到语义标记为/>的区域的投影/>距离，与/>的大小成反比，具体表示如下：
根据S2中所得到的多模态语义分类结果计算多模态语义特征因子，具体表示如下：
其中为语义标签集合，/>为第/>帧的像素点集合。
6.如权利要求1中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述步骤S3中，对点云数据进行传统几何特征提取的方法包括：采用LOAM中通过曲率提取特征的方法，计算当前点云前后/>个点连接的曲率，曲率高于0.1的为边缘点，其余为平面点，具体计算公式如下：
其中，为计算的曲率；/>表示第/>帧；/>表示在雷达坐标系下；/>和/>分别表示第/>帧上点云/>及其邻近点云/>的坐标值，对二者坐标的差值求和，除以所取的邻近点总数，得到曲率；取/>，/>。
7.如权利要求6中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述S4中，激光雷达里程计因子的计算方法包括：
首先根据惯性测量单元IMU在第帧测量的位姿，将S3中提取的雷达坐标系下的边缘特征/>和平面特征/>投影到世界坐标系，分别得到/>和/>，与相邻10帧关键帧的特征所组成的局部特征地图做残差，/>和/>分别为局部特征地图中的边缘特征和平面特征，用特征匹配残差表示激光雷达里程计因子，具体表示如下：
其中为Huber损失函数。
8.如权利要求1中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述图像光度信息因子的计算方法包括：
设一个空间点在第/>帧和第/>帧中成像的像素点分别为/>和/>；假设相邻关键帧具有光度不变性，则用相同像素间的光度误差表示图像光度信息因子，具体表示如下：
其中、/>分别为空间点/>在第/>帧和第/>帧中成像的像素点对应的灰度值；为第/>帧的像素点集合；/>；/>为第/>帧和第/>帧之间的位姿变换。
9.如权利要求1中所述的一种服务机器人的多传感器融合定位与建图方法，其特征在于，所述IMU预积分残差因子的计算方法包括：
获得相邻关键帧之间的相对运动，IMU预积分测量值分别包含速度、位置/>和旋转/>，则IMU预积分残差因子/>为速度/>，位置/>，旋转/>三个变量之和，计算具体表示如下：
其中为第/>帧的旋转矩阵的转置；/>为第/>帧的旋转矩阵；/>为重力加速度；/>、分别为第/>帧的位置和速度；/>、/>分别为第/>帧的位置和速度；/>为相邻两关键帧的时间差。
10.一种实现权利要求1至9任一个所述的服务机器人的多传感器融合定位与建图方法的系统，其特征在于，用于实现步骤S1至S5的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410309965.2A CN117928519A (zh) | 2024-03-19 | 2024-03-19 | 服务机器人的多传感器融合定位与建图方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410309965.2A CN117928519A (zh) | 2024-03-19 | 2024-03-19 | 服务机器人的多传感器融合定位与建图方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117928519A true CN117928519A (zh) | 2024-04-26 |
Family
ID=90757808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410309965.2A Pending CN117928519A (zh) | 2024-03-19 | 2024-03-19 | 服务机器人的多传感器融合定位与建图方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117928519A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406544A (zh) * | 2016-11-21 | 2017-02-15 | 中国兵器工业计算机应用技术研究所 | 一种语义式人机自然交互控制方法及系统 |
| CN108334199A (zh) * | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
| US20200184718A1 (en) * | 2018-12-05 | 2020-06-11 | Sri International | Multi-modal data fusion for enhanced 3d perception for platforms |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN116977628A (zh) * | 2023-04-01 | 2023-10-31 | 安徽大学 | 一种应用于动态环境的基于多模态语义框架的slam方法及系统 |
-
2024
- 2024-03-19 CN CN202410309965.2A patent/CN117928519A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406544A (zh) * | 2016-11-21 | 2017-02-15 | 中国兵器工业计算机应用技术研究所 | 一种语义式人机自然交互控制方法及系统 |
| CN108334199A (zh) * | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
| US20200184718A1 (en) * | 2018-12-05 | 2020-06-11 | Sri International | Multi-modal data fusion for enhanced 3d perception for platforms |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN116977628A (zh) * | 2023-04-01 | 2023-10-31 | 安徽大学 | 一种应用于动态环境的基于多模态语义框架的slam方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
| CN110261870B (zh) | 一种用于视觉-惯性-激光融合的同步定位与建图方法 | |
| CN112396595B (zh) | 一种动态环境下基于点线特征的语义slam方法 | |
| CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
| CN112435262A (zh) | 基于语义分割网络和多视图几何的动态环境信息检测方法 | |
| CN112556719B (zh) | 一种基于cnn-ekf的视觉惯性里程计实现方法 | |
| CN111667523B (zh) | 一种基于多模态多源的深度数据精炼方法及系统 | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| Ling et al. | Building maps for autonomous navigation using sparse visual SLAM features | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| CN115719436A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| Shan et al. | Toward a unified theoretical framework for photogrammetry | |
| CN116977628A (zh) | 一种应用于动态环境的基于多模态语义框架的slam方法及系统 | |
| CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
| Liao et al. | SE-Calib: Semantic Edge-Based LiDAR–Camera Boresight Online Calibration in Urban Scenes | |
| CN113804182B (zh) | 一种基于信息融合的栅格地图创建方法 | |
| Canovas et al. | Onboard dynamic RGB‐D simultaneous localization and mapping for mobile robot navigation | |
| CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
| CN112945233B (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
| CN117367427A (zh) | 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法 | |
| CN112731503A (zh) | 一种基于前端紧耦合的位姿估计方法及系统 | |
| CN117928519A (zh) | 服务机器人的多传感器融合定位与建图方法及系统 | |
| CN116468786A (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
| CN112446885A (zh) | 一种动态环境下基于改进的语义光流法的slam方法 | |
| Huang et al. | LOG-LIO: A LiDAR-Inertial Odometry with Efficient Local Geometric Information Estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |