CN111060924A - 一种slam与目标跟踪方法 - Google Patents

一种slam与目标跟踪方法 Download PDF

Info

Publication number
CN111060924A
CN111060924A CN201911211526.3A CN201911211526A CN111060924A CN 111060924 A CN111060924 A CN 111060924A CN 201911211526 A CN201911211526 A CN 201911211526A CN 111060924 A CN111060924 A CN 111060924A
Authority
CN
China
Prior art keywords
scene
target
dimensional
points
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911211526.3A
Other languages
English (en)
Other versions
CN111060924B (zh
Inventor
王忠立
蔡伯根
李文仪
王剑
陆德彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201911211526.3A priority Critical patent/CN111060924B/zh
Publication of CN111060924A publication Critical patent/CN111060924A/zh
Application granted granted Critical
Publication of CN111060924B publication Critical patent/CN111060924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

单一的激光雷达同步定位与构图系统存在能耗高、感知分辨率低，对于深度值变化不明显的场景。单一的视觉同步定位与构图系统，精度低、易受光照变化干扰。本申请提供了一种SLAM与目标跟踪方法，包括：1：采集真实城市道路场景下三维点云数据和图像视频数据，并对其进行处理；2：根据处理结果进行分割处理，得到静态场景和动态场景；3：对所述静态场景处理，输出自身定位与静态场景子图，对所述动态场景处理，输出动态目标位姿与轨迹，构建动态对象子图；4：采用图优化全局优化方法，最终输出优化后的所述自身定位和场景地。能提高大规模复杂场景下无人驾驶汽车的定位精度，构建一致性好的高精度场景地图，同时实现对运动目标的跟踪。

Description

一种SLAM与目标跟踪方法
技术领域
本申请属于同步定位与构图技术领域，特别是涉及一种SLAM与目标跟踪方法。
背景技术
无人驾驶汽车作为汽车发展的主要发展方向之一，其在未来改变人类出行方式中扮演者越来越重要的角色。高精度地图为无人驾驶平台提供丰富的信息，是无人驾驶汽车实现自主导航的关键所在。构建高精度地图，车辆需要感知自身在真实物理空间中的方位，以及场景的三维结构，这依赖于同步定位与构图技术。传统的同步定位与构图技术专注于研究无移动目标的理想静态场景，如乡村道路，林间小道，而无人驾驶车辆所面对的环境中，往往包含许多移动目标，如场景复杂的真实城区环境。因此研制一种面向城市道路场景的同步定位与构图系统，必然能够提高无人驾驶汽车在城区环境的定位精度，构建一致性好的城区场景地图，增强同步定位与技术的环境适应性，为同步定位与构图技术实现商用奠定基础。
目前的同步定位与构图方法按照应用场景的不同，分为静态场景与动态场景，静态场景下的移动机器人同步定位与构图假设环境中不存在其他动态目标，移动的传感器从静态对象(地面，树木、墙壁)上提取特征信息，以计算自身定位与构造静态地图。动态场景则是在静态场景的基础上加入移动对象，移动对象会对背景有遮挡，影响对静态场景的特征提取。按传感器的不同分为：基于激光雷达的同步定位与构图，基于视觉的同步定位与构图。
单一的激光雷达同步定位与构图系统存在能耗高、感知分辨率低的特点，对于深度值变化不明显的场景，无法完成高精度场景建图。而单一的视觉同步定位与构图系统，精度低、定位精度易受光照变化影响。
发明内容
1.要解决的技术问题
基于单一的激光雷达同步定位与构图系统存在能耗高、感知分辨率低的特点，对于深度值变化不明显的场景，无法完成高精度场景建图。而单一的视觉同步定位与构图系统，精度低、定位精度易受光照变化影响，本申请提供了一种可同时实现SLAM与目标跟踪的方法。
2.技术方案
为了达到上述的目的，本申请提供了一种SLAM与目标跟踪方法，所述方法包括如下步骤：
步骤1：采集真实城市道路场景下三维点云数据，对所述三维点云数据进行滤波处理，采集真实城市道路场景下图像视频数据，对所述图像视频流数据进行目标检测和车道线检测，获取目标回归框坐标和车道线坐标；
步骤2：根据所述车道线检测结果对滤波后的所述三维点云数据进行分割处理，得到静态场景和动态场景；
步骤3：对所述静态场景进行基于静态特征点的同步定位和构图，输出自身定位与静态场景子图，对所述动态场景三维点云数据进行三维目标检测，输出三维回归框坐标，将所述三维回归框坐标结合所述目标回归框坐标进行检测结果决策融合，基于所述融合结果进行基于贝叶斯滤波的多目标跟踪，输出动态目标位姿与轨迹，构建动态对象子图；
步骤4：采用图优化全局优化方法，输入所述自身定位，将所述静态特征点与动态语义对象作为统一的路标点，优化自身位置与路标位置，输出优化后的所述自身定位和场景地图。
本申请提供的另一种实施方式为：所述动态场景点为所述车道线内的所述三维点云数据；所述静态场景点包括所述车道线外的所述三维点云数据和被滤波的所述三维点云数据。
本申请提供的另一种实施方式为：所述步骤1中对所述三维点云数据进行的滤波处理为基于特征轴的地面点提取，将原始三维点云数据分为地面点与非地面点。
本申请提供的另一种实施方式为：所述三维点云数据通过激光雷达进行采集，所述图像视频数据通过摄像头采集。
本申请提供的另一种实施方式为：所述步骤2中包括预先对所述摄像头进行内参标定，获取摄像头内参；并对激光雷达与摄像头进行联合标定，获取所述三维点云数据与所述图像像素点之间的投影变换矩阵。
本申请提供的另一种实施方式为：所述步骤2中基于所述视频流的车道线检测输出的二维坐标，经过所述摄像头内参的透视变换，得到摄像头坐标系下的坐标信息；再根据联合校准的结果，对所述摄像头坐标系下的点进行旋转平移变换，得到车道线信息在激光雷达坐标系下的坐标。
本申请提供的另一种实施方式为：所述步骤3包括如下步骤：
a、对于所述静态场景，对激光雷达每一圈扫描的点计算曲率，按曲率大小对所有点进行排序，取曲率排名前四的点作为边缘点，取曲率排名最后的两个点视为平面点；
b、根据相邻两帧数据计算边缘点与线的运动变化，平面点与面的运动变化，用莱文贝格-马夸特方法进行优化，输出优化后的结果并以此作为自身相邻两帧的运动变化；
c、利用点柱编码器，对动态场景三维点云数据进行基于竖直方向上三维点云数据数量特征提取，将三维信息转换为二维信息，再使用二维卷积神经网络对二维编码信息进行检测，获取三维目标的类别与三维回归框坐标；
d、将三维目标投影到二维图像，剔除与二维检测目标类别不匹配的目标，将剩余类别匹配的对象作为融合后的决策结果，输出决策结果的位姿，对决策结果进行基于贝叶斯滤波的多目标跟踪，输出目标的运动轨迹。
本申请提供的另一种实施方式为：所述步骤3中动态目标的数学模型为：
Figure BDA0002298277400000031
其中，St表示第t帧检测到的所有语义目标，Sk表示当前语义目标，一个目标状态Sk应该包含三个部分：
Figure BDA0002298277400000032
表示检测分类结果，包括“车”、“自行车”、“行人”等；
Figure BDA0002298277400000033
表示检测到该目标的置信度；
Figure BDA0002298277400000034
表示检测到该目标的矩形回归框，表示目标在三维点云数据数据中的位置。
本申请提供的另一种实施方式为：所述步骤4中所述图优化的路标点包括了静态场景特征点的几何信息与动态场景中的语义目标信息。
本申请提供的另一种实施方式为：所述几何信息和所述语义目标信息统一在期望似然测量模型中，所述模型为：
ED[log p(Z|X，L，D)|Xi，Li，Z]
其中，Xi表示i时刻几何对象的位置，
Li表示i时刻语义对象的位置，
Z表示两者的观测值。
优化问题转化为给定初始估计Xi和Li，让这个期望测量似然取最大值的X和L即是我们所需要的下一步状态的Xi+1和Li+1，优化模型为：
Xi+1，Li+1＝arg maxED[log p(Z|X，L，D)|Xi，Li，Z]
其中，Xi表示i时刻几何对象的位置，
Li表示i时刻语义对象的位置，Z表示两者的观测值，
Xi+1表示第i+1时刻几何对象的位置，
Li+1表示第i+1时刻语义对象的位置
3.有益效果
与现有技术相比，本申请提供的一种SLAM与目标跟踪方法的有益效果在于：
本申请提供的SLAM与目标跟踪方法，通过分别基于激光雷达三维点云数据滤波处理，基于摄像头视频流车道线检测，对单帧数据进行场景分割，巧妙地将复杂的城区场景分割为静态场景与动态场景。分别对静态场景与动态场景实施不同的同步定位与构图技术，可以实现对静态场景的重构与对动态对象的实时跟踪。最后构建的基于多信息的图优化数学模型，可在一个优化框架下同时更新静态几何特征与动态语义对象的位置，达到全局最优。
本申请所提的SLAM与目标跟踪方法，在对静态场景提取特征点，实施静态场景下的同步定位与构图的同时，对车道线内的动态场景实施基于激光雷达与图像融合的目标检测，提取动态语义对象，实施基于Bayes滤波的多目标跟踪，并构建同时更新静态场景特征点与动态语义对象的图优化模型，实现了在复杂城市场景中对无人驾驶汽车定位精度高，构建高精度地图一致性好的目标。
本申请提出的SLAM与目标跟踪方法，能提高大规模复杂场景下无人驾驶汽车的定位精度，构建一致性好的高精度场景地图，同时实现对运动目标的跟踪。
本申请提出的SLAM与目标跟踪方法，基于3D激光雷达和摄像头的数据融合，通过对道路上车道线的检测与地面点的提取，实现将道路环境分割为运动目标部分与静态背景部分，进而实现车辆高精度的自身定位和环境地图的构建。
本申请提出的SLAM与目标跟踪方法，实现方法简单高效，场景分割效果好，通过有效区分环境中的运动目标和静态背景，实现高精度定位与一致性建图的同时，还能实现目标跟踪效果。
附图说明
图1是本申请的SLAM与目标跟踪方法原理示意图；
图2是本申请的静态场景下同步定位与构图原理示意图。
具体实施方式
在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
SLAM(simultaneous localization and mapping),也称为CML(ConcurrentMapping and Localization),即时定位与地图构建，或并发建图与定位。
视频流是指视频数据的传输，例如，它能够被作为一个稳定的和连续的流通过网络处理。因为流动，客户机浏览器或插件能够在整个文件被传输完成前显示多媒体数据。视频流技术基于2密钥技术，视频译码技术和可升级的视频分发技术发展。
UKF(Unscented Kalman Filter)，中文释义是无损卡尔曼滤波、无迹卡尔曼滤波或者去芳香卡尔曼滤波。是无损变换(UT)和标准Kalman滤波体系的结合，通过无损变换使非线性系统方程适用于线性假设下的标准Kalman滤波体系。
参见图1～2，本申请提供一种SLAM与目标跟踪方法，所述方法包括如下步骤：
步骤1：采集真实城市道路场景下三维点云数据，对所述三维点云数据进行滤波处理，采集真实城市道路场景下图像视频数据，对所述图像视频流数据进行目标检测和车道线检测，获取目标回归框坐标和车道线坐标；从视频流获取的检测对象与滤波后的点云需要进行同步操作，分别提取两个时间轴上对应一点的数据，整合成一帧数据。
步骤2：根据所述车道线检测结果对滤波后的所述三维点云数据进行分割处理，得到静态场景和动态场景；
步骤3：对所述静态场景进行基于静态特征点的同步定位和构图，输出自身定位与静态场景子图，对所述动态场景三维点云数据进行三维目标检测，输出三维回归框坐标，将所述三维回归框坐标结合所述目标回归框坐标进行检测结果决策融合，基于所述融合结果进行基于贝叶斯滤波的多目标跟踪，输出动态目标位姿与轨迹，构建动态对象子图；
步骤4：采用图优化全局优化方法，输入所述自身定位，将所述静态特征点与动态语义对象作为统一的路标点，优化自身位置与路标位置，输出优化后的所述自身定位和场景地图。
进一步地，所述动态场景点为所述车道线内的所述三维点云数据；所述静态场景点包括所述车道线外的所述三维点云数据和被滤波的所述三维点云数据。
进一步地，所述步骤1中对所述三维点云数据进行的滤波处理为基于特征轴的地面点提取，将原始三维点云数据分为地面点与非地面点。
进一步地，所述三维点云数据通过激光雷达进行采集，所述图像视频数据通过摄像头采集。这里的摄像头采用单目摄像头。
进一步地，所述步骤2中包括预先对所述摄像头进行内参标定，获取摄像头内参；并对激光雷达与摄像头进行联合标定，获取所述三维点云数据与所述图像像素点之间的投影变换矩阵。
进一步地，所述步骤2中基于所述视频流的车道线检测输出的二维坐标，经过所述摄像头内参的透视变换，得到摄像头坐标系下的坐标信息；再根据联合校准的结果，对所述摄像头坐标系下的点进行旋转平移变换，得到车道线信息在激光雷达坐标系下的坐标。
进一步地，所述步骤3包括如下步骤：
a、对于所述静态场景，对激光雷达每一圈扫描的点计算曲率，按曲率大小对所有点进行排序，取曲率排名前四的点作为边缘点，取曲率排名最后的两个点视为平面点；
b、根据相邻两帧数据计算边缘点与线的运动变化，平面点与面的运动变化，用莱文贝格-马夸特方法进行优化，输出优化后的结果并以此作为自身相邻两帧的运动变化；
c、利用点柱编码器，对动态场景三维点云数据进行基于竖直方向上三维点云数据数量特征提取，将三维信息转换为二维信息，再使用二维卷积神经网络对二维编码信息进行检测，获取三维目标的类别与三维回归框坐标；
d、将三维目标投影到二维图像，剔除与二维检测目标类别不匹配的目标，将剩余类别匹配的对象作为融合后的决策结果，输出决策结果的位姿，对决策结果进行基于贝叶斯滤波的多目标跟踪，输出目标的运动轨迹。
进一步地，所述步骤3中动态目标的数学模型为：
Figure BDA0002298277400000061
其中，St表示第t帧检测到的所有语义目标，Sk表示当前语义目标，一个目标状态Sk应该包含三个部分：
Figure BDA0002298277400000062
表示检测分类结果，包括“车”、“自行车”、“行人”等；
Figure BDA0002298277400000063
表示检测到该目标的置信度；
Figure BDA0002298277400000064
表示检测到该目标的矩形回归框，表示目标在三维点云数据数据中的位置。
进一步地，所述步骤4中所述图优化的路标点包括了静态场景特征点的几何信息与动态场景中的语义目标信息。
进一步地，所述几何信息和所述语义目标信息统一在期望似然测量模型中，所述模型为：
ED[log p(Z|X，L，D)|Xi，Li，Z]
其中，Xi表示i时刻几何对象的位置，
Li表示i时刻语义对象的位置，
Z表示两者的观测值。
优化问题转化为给定初始估计Xi和Li，让这个期望测量似然取最大值的X和L即是我们所需要的下一步状态的Xi+1和Li+1，优化模型为：
Xi+1,Li+1＝arg maxED[log p(Z|X,L,D)|Xi,Li,Z]
其中，Xi表示i时刻几何对象的位置，
Li表示i时刻语义对象的位置，Z表示两者的观测值，
Xi+1表示第i+1时刻几何对象的位置，
Li+1表示第i+1时刻语义对象的位置
该决策模型为软决策模型，将观测到的路标点状态视为一个静态特征点与动态语义对象的一个概率分布叠加。
实施例
参见图1，本申请包括：
S1.分别采集真实城市道路场景下三维点云数据与图像视频数据，将采集到的三维点云数据进行地面点分割，得到地面点与非地面点，对视频流数据进行目标检测与车道线检测，获取目标回归框坐标与车道线坐标。
S2.对非地面三维点云数据，根据车道线坐标进行分割，将车道线内的点作为动态场景点；将车道线外的三维点云数据与S1得到的地面三维点云数据进行整合，得到静态场景点；
S3.对静态场景进行基于特征点的同步定位与构图，输出自身定位与静态场景子图。对动态场景三维点云数据进行目标检测，输出三维回归框坐标，结合S1的二维回归框进行检测结果决策融合，最后基于融合结果进行基于Bayes滤波的多目标跟踪，输出动态目标位姿与轨迹；
S4.将三维目标投影到二维图像，剔除与二维检测目标类别不匹配的目标，将剩余类别匹配的对象作为融合后的决策结果，输出决策结果的位姿。对决策结果进行基于Bayes滤波的多目标跟踪，输出目标的运动轨迹；
对三维点云数据进行的滤波处理为基于特征轴的地面点提取，将原始三维点云数据数据分为地面点与非地面点。
同步处理要求：从视频流获取的检测对象与滤波后的三维点云数据需要进行同步操作，分别提取两个时间轴上对应一点的数据，整合成一帧数据。
预先对摄像头进行内参标定，获取摄像头内参。对激光雷达与摄像头进行联合标定，获取三维三维点云数据与图像像素点之间的投影变换矩阵。
基于视频流的车道线检测所输出的二维坐标，经过摄像头内参的透视变换，得到投影后摄像头坐标系下的坐标信息。再根据联合校准的结果，对摄像头坐标系下的点进行旋转平移变换，得到车道线信息在激光雷达坐标系下的坐标。
结合图2，本实施例中，步骤S3中对静态场景实施基于特征点的同步定位与构图的具体步骤为：
S311.对于静态场景部分，对激光雷达每一圈所扫描的点计算曲率，按曲率大小对点进行排序，取曲率排名前四的点作为边缘点，取曲率排名最后的两个点视为平面点。
S312.根据相邻两帧数据计算边缘点与线的运动变化，平面点与面的运动变化，对运动变化运用莱文贝格-马夸特(LM)方法进行优化，输出优化后的结果并以此作为无人驾驶汽车自身相邻两帧的运动变化。
本实施例中，步骤S3中对动态场景实施基于激光雷达与视觉融合的动态目标检测与跟踪的具体步骤为：
S321.利用点柱编码器，对动态场景三维点云数据进行基于Z轴方向三维点云数据数量特征提取，将三维信息转换为二维信息。再使用二维卷积神经网络对二维编码信息进行检测，获取三维目标的类别与三维回归框。
S322.将三维目标投影到二维图像，剔除与二维检测目标类别不匹配的目标，将剩余类别匹配的对象作为融合后的决策结果，输出决策结果的位姿。对决策结果实施基于无迹卡尔曼滤波的多目标跟踪，输出目标的运动轨迹。
动态目标的数学模型应符合如下模型：
Figure BDA0002298277400000081
其中，St表示第t帧检测到的所有语义目标，Sk表示当前语义目标，一个目标状态Sk应该包含三个部分：
Figure BDA0002298277400000082
表示检测分类结果，包括“车”、“自行车”、“行人”等；
Figure BDA0002298277400000083
表示检测到该目标的置信度；
Figure BDA0002298277400000084
表示检测到该目标的矩形回归框，表示目标在三维点云数据数据中的位置。
图优化优化路标点部分，路标点包括了静态场景特征点的几何信息与动态场景中的语义目标信息，两者应统一在一个数学模型中，统一在期望似然测量模型中：
ED[log p(Z|X，L，D)|Xi，Li，Z]
其中，Xi表示i时刻几何对象的位置；
Li表示i时刻语义对象的位置；
Z表示两者的观测值。
优化问题转化为给定初始估计Xi和Yi，让这个期望测量似然取最大值的X和L即是我们所需要的下一步状态的Xi+1和Li+1，优化模型为：
Xi+1，Li+1＝arg max ED[log p(Z|X，L，D)|Xi，Li，Z]
其中，Xi表示i时刻几何对象的位置；
Li表示i时刻语义对象的位置，Z表示两者的观测值；
Xi+1表示第i+1时刻几何对象的位置；
Li+1表示第i+1时刻语义对象的位置。
决策模型为软决策模型，将观测到的路标点状态视为一个静态特征点与动态语义对象的一个概率分布叠加。
本申请所提的SLAM与目标跟踪方法，在对静态场景提取特征点，实施静态场景下的同步定位与构图的同时，对车道线内的动态场景实施基于激光雷达与图像融合的目标检测，提取动态语义对象，实施基于Bayes滤波的多目标跟踪，并构建同时更新静态场景特征点与动态语义对象的图优化模型，实现了在复杂城市场景中对无人驾驶汽车定位精度高，构建高精度地图一致性好的目标。
尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (10)

1.一种SLAM与目标跟踪方法，其特征在于：所述方法包括如下步骤：
步骤1：采集真实城市道路场景下三维点云数据，对所述三维点云数据进行滤波处理，采集真实城市道路场景下图像视频数据，对所述图像视频流数据进行目标检测和车道线检测，获取目标回归框坐标和车道线坐标；
步骤2：根据所述车道线检测结果对滤波后的所述三维点云数据进行分割处理，得到静态场景和动态场景；
步骤3：对所述静态场景进行基于静态特征点的同步定位和构图，输出自身定位与静态场景子图，对所述动态场景三维点云数据进行三维目标检测，输出三维回归框坐标，将所述三维回归框坐标结合所述目标回归框坐标进行检测结果决策融合，基于所述融合结果进行基于贝叶斯滤波的多目标跟踪，输出动态目标位姿与轨迹，构建动态对象子图；
步骤4：采用图优化全局优化方法，输入所述自身定位，将所述静态特征点与动态语义对象作为统一的路标点，优化自身位置与路标位置，输出优化后的所述自身定位和场景地图。
2.如权利要求1所述的SLAM与目标跟踪方法，其特征在于：所述动态场景点为所述车道线内的所述三维点云数据；所述静态场景点包括所述车道线外的所述三维点云数据和被滤波的所述三维点云数据。
3.如权利要求1所述的SLAM与目标跟踪方法，其特征在于：所述步骤1中对所述三维点云数据进行的滤波处理为基于特征轴的地面点提取，将原始三维点云数据分为地面点与非地面点。
4.如权利要求1～3中任一项所述的SLAM与目标跟踪方法，其特征在于：所述三维点云数据通过激光雷达进行采集，所述图像视频数据通过摄像头采集。
5.如权利要求4所述的SLAM与目标跟踪方法，其特征在于：所述步骤2中包括预先对所述摄像头进行内参标定，获取摄像头内参；并对激光雷达与摄像头进行联合标定，获取所述三维点云数据与所述图像像素点之间的投影变换矩阵。
6.如权利要求4所述的SLAM与目标跟踪方法，其特征在于：所述步骤2中基于所述视频流的车道线检测输出的二维坐标，经过所述摄像头内参的透视变换，得到摄像头坐标系下的坐标信息；再根据联合校准的结果，对所述摄像头坐标系下的点进行旋转平移变换，得到车道线信息在激光雷达坐标系下的坐标。
7.如权利要求4所述的SLAM与目标跟踪方法，其特征在于：所述步骤3包括如下步骤：
a、对于所述静态场景，对激光雷达每一圈扫描的点计算曲率，按曲率大小对所有点进行排序，取曲率排名前四的点作为边缘点，取曲率排名最后的两个点视为平面点；
b、根据相邻两帧数据计算边缘点与线的运动变化，平面点与面的运动变化，用莱文贝格-马夸特方法进行优化，输出优化后的结果并以此作为自身相邻两帧的运动变化；
c、利用点柱编码器，对动态场景三维点云数据进行基于竖直方向上三维点云数据数量特征提取，将三维信息转换为二维信息，再使用二维卷积神经网络对二维编码信息进行检测，获取三维目标的类别与三维回归框坐标；
d、将三维目标投影到二维图像，剔除与二维检测目标类别不匹配的目标，将剩余类别匹配的对象作为融合后的决策结果，输出决策结果的位姿，对决策结果进行基于贝叶斯滤波的多目标跟踪，输出目标的运动轨迹。
8.如权利要求4所述的SLAM与目标跟踪方法，其特征在于：所述步骤3中动态目标的数学模型为：
Figure FDA0002298277390000021
其中，St表示第t帧检测到的所有语义目标，Sk表示当前语义目标，一个目标状态Sk应该包含三个部分：
Figure FDA0002298277390000022
表示检测分类结果，包括“车”、“自行车”、“行人”；
Figure FDA0002298277390000023
表示检测到该目标的置信度；
Figure FDA0002298277390000024
表示检测到该目标的矩形回归框，表示目标在三维点云数据数据中的位置。
9.如权利要求4所述的SLAM与目标跟踪方法，其特征在于：所述步骤4中所述图优化的路标点包括了静态场景特征点的几何信息与动态场景中的语义目标信息。
10.如权利要求9所述的SLAM与目标跟踪方法，其特征在于：所述几何信息和所述语义目标信息统一在期望似然测量模型中，所述模型为：
ED[logp(Z|X，L，D)|Xi，Li，Z]
其中，Xi表示i时刻几何对象的位置；
Li表示i时刻语义对象的位置；
Z表示两者的观测值；
优化问题转化为给定初始估计Xi和Yi，期望测量似然取最大值取X和L，即为所需要的下一步状态的Xi+1和Li+1，优化模型为：
Xi+1，Li+1＝argmaxED[logp(Z|X，L，D)|Xi，Li，Z]
其中，Xi表示i时刻几何对象的位置，
Li表示i时刻语义对象的位置，Z表示两者的观测值，
Xi+1表示第i+1时刻几何对象的位置，
Li+1表示第i+1时刻语义对象的位置。
CN201911211526.3A 2019-12-02 2019-12-02 一种slam与目标跟踪方法 Active CN111060924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911211526.3A CN111060924B (zh) 2019-12-02 2019-12-02 一种slam与目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911211526.3A CN111060924B (zh) 2019-12-02 2019-12-02 一种slam与目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111060924A true CN111060924A (zh) 2020-04-24
CN111060924B CN111060924B (zh) 2021-10-15

Family

ID=70299391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911211526.3A Active CN111060924B (zh) 2019-12-02 2019-12-02 一种slam与目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111060924B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111578957A (zh) * 2020-05-07 2020-08-25 泉州装备制造研究所 基于三维点云地图定位的智能车纯追踪循迹方法
CN111611997A (zh) * 2020-04-30 2020-09-01 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111866305A (zh) * 2020-08-11 2020-10-30 普达迪泰（天津）智能装备科技有限公司 室内外特定条件下的图像增强与环境适应性方法
CN113177969A (zh) * 2021-04-29 2021-07-27 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN113516688A (zh) * 2021-07-19 2021-10-19 合肥云息通信技术有限公司 一种用于车辆的多维智能定位跟踪系统
CN115188081A (zh) * 2022-09-13 2022-10-14 北京航空航天大学 一种面向复杂场景的检测跟踪一体化方法
CN115565057A (zh) * 2021-07-02 2023-01-03 北京小米移动软件有限公司 地图生成方法、装置、足式机器人及存储介质
CN117036408A (zh) * 2023-08-22 2023-11-10 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117252992A (zh) * 2023-11-13 2023-12-19 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
CN104658036B (zh) * 2015-01-30 2018-06-15 郑州大学 一种快速建立智能交通三维场的方法
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN109902430A (zh) * 2019-03-13 2019-06-18 上海车右智能科技有限公司 交通场景生成方法、装置、系统、计算机设备和存储介质
CN110009718A (zh) * 2019-03-07 2019-07-12 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
US20190286915A1 (en) * 2018-03-13 2019-09-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
CN110264525A (zh) * 2019-06-13 2019-09-20 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658036B (zh) * 2015-01-30 2018-06-15 郑州大学 一种快速建立智能交通三维场的方法
CN107833236A (zh) * 2017-10-31 2018-03-23 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法
US20190286915A1 (en) * 2018-03-13 2019-09-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
CN108596974A (zh) * 2018-04-04 2018-09-28 清华大学 动态场景机器人定位建图系统及方法
CN110009718A (zh) * 2019-03-07 2019-07-12 深兰科技（上海）有限公司 一种三维高精度地图生成方法及装置
CN109902430A (zh) * 2019-03-13 2019-06-18 上海车右智能科技有限公司 交通场景生成方法、装置、系统、计算机设备和存储介质
CN110264525A (zh) * 2019-06-13 2019-09-20 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANG，ZL.ET AL: "IMU-Assisted 2D SLAM Method for Low-Texture and Dynamic Environments", 《APPLIED SCIENCES-BASEL》 *
吴皓: "基于视觉SLAM 的物体实例识别与语义地图构建", 《华中科技大学学报》 *
王忠立等: "大规模环境下基于图优化SLAM 的图构建方法", 《哈尔滨工业大学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611997B (zh) * 2020-04-30 2023-04-18 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111611997A (zh) * 2020-04-30 2020-09-01 青岛联合创智科技有限公司 一种基于人体动作迁移的卡通定制形象运动视频生成方法
CN111578957B (zh) * 2020-05-07 2022-05-10 泉州装备制造研究所 基于三维点云地图定位的智能车纯追踪循迹方法
CN111578957A (zh) * 2020-05-07 2020-08-25 泉州装备制造研究所 基于三维点云地图定位的智能车纯追踪循迹方法
CN111866305A (zh) * 2020-08-11 2020-10-30 普达迪泰（天津）智能装备科技有限公司 室内外特定条件下的图像增强与环境适应性方法
CN113177969A (zh) * 2021-04-29 2021-07-27 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN113177969B (zh) * 2021-04-29 2022-07-15 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN115565057B (zh) * 2021-07-02 2024-05-24 北京小米移动软件有限公司 地图生成方法、装置、足式机器人及存储介质
CN115565057A (zh) * 2021-07-02 2023-01-03 北京小米移动软件有限公司 地图生成方法、装置、足式机器人及存储介质
CN113516688A (zh) * 2021-07-19 2021-10-19 合肥云息通信技术有限公司 一种用于车辆的多维智能定位跟踪系统
CN115188081B (zh) * 2022-09-13 2022-12-02 北京航空航天大学 一种面向复杂场景的检测跟踪一体化方法
CN115188081A (zh) * 2022-09-13 2022-10-14 北京航空航天大学 一种面向复杂场景的检测跟踪一体化方法
CN117036408A (zh) * 2023-08-22 2023-11-10 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117036408B (zh) * 2023-08-22 2024-03-29 哈尔滨理工大学 一种动态环境下联合多目标跟踪的物体slam方法
CN117252992A (zh) * 2023-11-13 2023-12-19 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备
CN117252992B (zh) * 2023-11-13 2024-02-23 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备

Also Published As

Publication number Publication date
CN111060924B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN111060924B (zh) 一种slam与目标跟踪方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN107967473B (zh) 基于图文识别和语义的机器人自主定位和导航
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别系统及方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN110675418A (zh) 一种基于ds证据理论的目标轨迹优化方法
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
CN112799096B (zh) 基于低成本车载二维激光雷达的地图构建方法
CN113160327A (zh) 一种点云补全的实现方法和系统
CN112833892B (zh) 一种基于轨迹对齐的语义建图方法
Qian et al. Robust visual-lidar simultaneous localization and mapping system for UAV
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
CN109917419A (zh) 一种基于激光雷达与图像的深度填充密集系统及方法
CN114639115B (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN114966696A (zh) 一种基于Transformer的跨模态融合目标检测方法
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN114116933B (zh) 一种基于单目图像的语义拓扑联合建图方法
Gao et al. Multi-source data-based 3D digital preservation of largescale ancient chinese architecture: A case report
Tao et al. Automated processing of mobile mapping image sequences
Zhao et al. Alignment of continuous video onto 3D point clouds
Lyu et al. 3DOPFormer: 3D occupancy perception from multi-camera images with directional and distance enhancement
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
Qin et al. 3D reconstruction through fusion of cross-view images
WO2023283929A1 (zh) 双目相机外参标定的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant