CN117928522A - 基于多源传感器的地铁运行环境地图构建方法及装置 - Google Patents
基于多源传感器的地铁运行环境地图构建方法及装置 Download PDFInfo
- Publication number
- CN117928522A CN117928522A CN202311787002.5A CN202311787002A CN117928522A CN 117928522 A CN117928522 A CN 117928522A CN 202311787002 A CN202311787002 A CN 202311787002A CN 117928522 A CN117928522 A CN 117928522A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- environment map
- operation environment
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- GPRLSGONYQIRFK-MNYXATJNSA-N triton Chemical compound [3H+] GPRLSGONYQIRFK-MNYXATJNSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于多源传感器的地铁运行环境地图构建方法及装置，涉及高精度地图生成技术领域，所述方法包括：最小化点云数据与已知地图平面之间的残差；在残差收敛的情况下，将点云数据与已知地图平面进行融合，构建第一地铁运行环境地图；将目标点云数据投影到目标图像上；基于最小化目标点云数据的重投影误差，以及最小化目标点云数据在目标图像中的投影位置与目标点云数据在第一地铁运行环境地图中的位置之间的光度误差，对第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；在重投影误差和光度误差收敛的情况下，基于目标图像对第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。本发明实现了地铁运行环境地图的构建。
Description
技术领域
本发明涉及高精度地图生成技术领域，尤其涉及一种基于多源传感器的地铁运行环境地图构建方法及装置。
背景技术
随着自动驾驶技术在城市轨道交通领域的不断应用正逐渐增加，高精度地图的重要性愈发凸显。自动驾驶列车需要依赖高精度地铁运行环境地图来实现自主导航、碰撞避免和列车控制等关键功能。
但是在轨道交通中构建高精度地铁运行环境地图面临多个挑战，包括但不限于隧道和站台等地下结构复杂多样、环境特征单一、视角狭窄和光线忽明忽暗等、隧道内缺乏GPS信号、多传感器数据量大、列车运行速度高和车载计算设备能力受限等挑战，导致高精度地铁运行环境地图的构建变得更为困难。
发明内容
本发明提供一种基于多源传感器的地铁运行环境地图构建方法及装置，用以解决现有技术中高精度地铁运行环境地图难以构建的缺陷，实现构建高精度地铁运行环境地图。
本发明提供一种基于多源传感器的地铁运行环境地图构建，包括：
获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；
基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；
基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；
将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；
基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；
在所述重投影误差和所述光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
在一些实施例中，在所述将目标点云数据投影到目标图像上之前，还包括：
对所述目标图像进行线特征提取，得到所述目标图像的线特征；
对所述目标点云数据进行线特征提取，得到所述目标点云数据的线特征；
基于所述目标图像的线特征描述符和所述目标点云数据的线特征描述符之间的匹配关系，构建匹配概率矩阵；
根据所述匹配概率矩阵和PNL算法，得到所述目标点云数据与所述目标图像之间的变换矩阵。
在一些实施例中，所述对所述目标图像进行线特征提取，得到所述目标图像的线特征，包括：
基于Canny边缘检测器和霍夫变换检测器，对所述目标图像进行直线提取，获取所述目标图像对应的候选直线；
按照预设的线段条件，对所述候选直线进行筛选，得到第一目标线段；
基于卷积神经网络对所述第一目标线段进行线特征提取，得到所述目标图像的线特征。
在一些实施例中，所述对所述目标点云数据进行线特征提取，得到所述目标点云数据的线特征，包括：
基于随机抽样一致算法对所述目标点云数据进行识别，得到候选线段；
基于卷积神经网络对所述候选线段进行局部上下文信息和几何特征分析，筛选出第二目标线段；
基于所述卷积神经网络对所述第二目标线段进行线特征提取，得到所述目标点云数据的线特征。
在一些实施例中，在所述获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像之前，还包括：
基于消息过滤器分别订阅激光雷达、惯性传感器和视觉相机的数据流；
基于时间同步机制接收并时间同步所述激光雷达、所述惯性传感器和所述视觉相机的数据流。
在一些实施例中，所述方法还包括：
对相邻同步时间内发送的所述IMU数据进行采集，得到IMU采集数据；
在预设持续时间内所述IMU采集数据的统计结果小于预设阈值的情况下，检测在预设时间窗口内所述IMU采集数据的统计结果是否小于所述预设阈值；所述预设时间窗口包括多个所述预设持续时间；
在检测到在所述预设时间窗口内所述IMU采集数据的统计结果小于所述预设阈值的情况下，确定列车处于静止状态，并停止构建地铁运行环境地图。
本发明还提供一种基于多源传感器的地铁运行环境地图构建装置，包括：
获取模块，用于获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；
补偿模块，用于基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；
第一构建模块，用于基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；
投影模块，用于将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；
第二构建模块，用于基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；
第三构建模块，用于在所述重投影误差和所述光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于多源传感器的地铁运行环境地图构建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多源传感器的地铁运行环境地图构建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多源传感器的地铁运行环境地图构建方法。
本发明提供的基于多源传感器的地铁运行环境地图构建方法及装置，通过IMU数据对初始点云数据进行反向传播补偿，得到准确的点云数据，通过最小化补偿后的点云数据与已知地图平面之间的残差；在残差收敛的情况下，将补偿后的点云数据与所述已知地图平面进行融合，实现构建地铁运行环境地图；通过最小化目标点云数据的重投影误差，以及最小化目标点云数据在目标图像中的投影位置与目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，实现对地铁运行环境地图的多次优化，提高了地铁运行环境地图的精度和准确性；通过对地铁运行环境地图进行渲染，实现对地铁运行环境地图的着色，有利于观看。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于多源传感器的地铁运行环境地图构建方法的流程示意图；
图2是本发明提供的基于多源传感器的地铁运行环境地图构建装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。需要说明的是，在不冲突的情况下，本发明的实施方式及实施方式中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明提供的基于多源传感器的地铁运行环境地图构建方法的流程示意图，如图1所示，本发明提供一种基于多源传感器的地铁运行环境地图构建方法，该方法包括以下步骤：
步骤110，获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像。
具体地，为了确保列车的运行安全，需要在列车前方安装较远和较清晰的环境感知设备，用来满足列车安全运行和异常响应时间。将激光雷达、视觉相机和惯性传感器搭载至列车上，列车在正线按计划运行。
优选地，激光雷达采用了LIVOX Tele15激光雷达。LIVOX Tele15激光雷达为首款500米量程车载激光雷达，适用于远距离、高精度探测，且体积小巧、可靠性强，高度符合城市轨道交通列车运行环境高精度构建的需求。
优选地，视觉相机采用LUCID Triton相机。LUCID Triton是540万像素和千兆以太网的工业相机，广泛应用在汽车辅助驾驶领域。
获取列车上激光雷达产生的初始点云数据、惯性传感器产生的惯性测量单元(Inertial measurement unit，IMU)数据和视觉相机产生的图像。
步骤120，基于IMU数据对初始点云数据进行反向传播补偿，得到补偿后的点云数据。
具体地，对于激光雷达来说，列车的连续移动会导致运动失真。具体而言就是：
当接收到IMU数据时，初始点云数据会进行前向传播。通过误差状态迭代卡尔曼滤波器(Error-state Iterated Kalman Filter，EsIKF)对上一时刻的点云状态及噪声进行处理，得到下一时刻的点云状态估计。下一时刻的点云状态估计包括下一时刻的点云传播状态Xk+1和下一时刻的点云协方差Pk+1，下一时刻的协方差Pk+1代表了当前时刻的点云真实状态Xk与向前传递的点云传播状态Xk+1之间的误差的协方差。
当点云累计时间间隔达到Tk时，新扫描的特征点应该与传播状态Xk+1和协方差矩阵Pk+1融合，以生成最优点云状态更新。然而，虽然新的扫描位于时间Tk，但是特征点是在采样时间Tk-1测量的，这就是导致主体参数系不匹配。
为了解决这个问题，利用惯性传感器产生的IMU数据对初始点云数据进行反向传播补偿，以恢复初始点云数据的准确性，得到补偿后的点云数据。具体而言就是：
为了补偿时间Tk-1到Tk之间的相对运动造成的运动失真，需要利用IMU数据将下一时刻的点云传播状态Xk+1的零位姿和静止状态进行反向传播计算，得到前一时刻的点云状态误差，即得到当前时刻的点云状态误差。利用当前时刻的点云状态误差对当前时刻的点云状态进行补偿，得到补偿后的点云数据。
步骤130，基于误差状态迭代卡尔曼滤波器，最小化补偿后的点云数据与已知地图平面之间的残差；在残差达到收敛的情况下，将补偿后的点云数据与已知地图平面进行融合，构建第一地铁运行环境地图。
具体地，在进行反向传播补偿后，通过误差状态迭代卡尔曼滤波器对补偿后的点云数据与已知地图平面之间的残差进行最小化。残差是指观测值(补偿后的点云数据)与估计值(补偿后的点云数据在已知地图平面上的位置)之间的差异。最小化残差有助于提高列车状态的估计精度，列车状态包括位置、姿态和速度等信息。
在残差达到收敛的情况下，将补偿后的点云数据与已知地图平面进行融合，即将补偿后的点云数据正确地投影到已知地图平面上，累积的3D点云数据在已知地图平面上构建出几何结构，同时也提供深度信息，从而构建出第一地铁运行环境地图。
步骤140，将目标点云数据投影到目标图像上；目标点云数据是从第一地铁运行环境地图中选取的预设数量个补偿后的点云数据；目标图像是与目标点云数据对应的图像。
具体地，从第一地铁运行环境地图中选取预设数量个补偿后的点云数据作为目标点云数据。具体过程可以是：计算第一地铁运行环境地图中所有补偿后的点云数据的重投影误差，当某个补偿后的点云数据的重投影误差小于最大重投影误差(与图像分辨率有关)时，则该补偿后的点云数据为目标点云数据，选取预设数量个目标点云数据。例如，预设数量为100个。
将目标点云数据投影到目标图像上。目标图像是指与目标点云数据对应的图像，即目标图像上存在目标点云数据对应的图像点。
通过将3D的目标点云数据投影到目标图像上，得到2D的投影点，通过2D-3D之间的对应关系计算相机的旋转矩阵和平移向量，即相机的位姿。
步骤150，基于最小化目标点云数据的重投影误差，以及最小化目标点云数据在目标图像中的投影位置与目标点云数据在第一地铁运行环境地图中的位置之间的光度误差，对第一地铁运行环境地图进行优化，构建第二地铁运行环境地图。
具体地，将目标点云数据重新投影到目标图像上，得到重投影点；将重投影点与实际的图像点之间的差异作为重投影误差。基于误差状态迭代卡尔曼滤波器对重投影误差进行最小化，通过最小化重投影误差优化相机的位姿，得到最佳相机位姿。通过最佳相机位姿对第一地铁运行环境地图进行初次优化。
接着，基于误差状态迭代卡尔曼滤波器，对目标点云数据在目标图像中的投影位置与目标点云数据在第一地铁运行环境地图中的位置之间的光度误差进行最小化。基于最小化的光度误差对第一地铁运行环境地图进行再次优化，得到构建好的第二地铁运行环境地图。
可选地，通过目标点云数据在图像中的投影位置和目标点云数据在第一地铁运行环境地图中的位置之间的颜色差异，确定光度误差。
步骤160，在重投影误差和光度误差收敛的情况下，基于图像对第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
具体地，在重投影误差和光度误差收敛的情况下，利用目标图像对第二地铁运行环境地图进行渲染，更新第二地铁运行环境地图中的颜色，得到构建好的第三地铁运行环境地图。
本发明提供的基于多源传感器的地铁运行环境地图构建方法，通过IMU数据对初始点云数据进行反向传播补偿，得到准确的点云数据，通过最小化补偿后的点云数据与已知地图平面之间的残差；在残差收敛的情况下，将补偿后的点云数据与所述已知地图平面进行融合，实现构建地铁运行环境地图；通过最小化目标点云数据的重投影误差，以及最小化目标点云数据在目标图像中的投影位置与目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，实现对地铁运行环境地图的多次优化，提高了地铁运行环境地图的精度和准确性；通过对地铁运行环境地图进行渲染，实现对地铁运行环境地图的着色，有利于观看。
在一些实施例中，在将目标点云数据投影到目标图像上之前，还包括：
对目标图像进行线特征提取，得到目标图像的线特征；
对目标点云数据进行线特征提取，得到目标点云数据的线特征；
基于目标图像的线特征描述符和目标点云数据的线特征描述符之间的匹配关系，构建匹配概率矩阵；
根据匹配概率矩阵和PNL算法，得到目标点云数据与目标图像之间的变换矩阵。
具体地，目标图像和目标点云数据最好是同一时刻的，以确保视觉相机和激光雷达捕获了相同的场景。
分别对目标图像和目标点云数据进行线特征提取，获取目标图像的线特征和目标点云数据的线特征。
基于特征描述符的匹配算法，确定目标图像的线特征描述符和目标点云数据的线特征描述符之间的匹配关系，根据匹配关系构建匹配概率矩阵。匹配概率矩阵包含了任一图像数据的线特征描述符与任一目标点云数据的线特征描述符之间的匹配概率。
根据匹配概率矩阵和PNL(Perspective-N-Line)算法，计算出目标点云数据与目标图像之间的变换矩阵，具体过程可以是：选取匹配概率大于预设匹配概率(例如90％)的匹配线段，利用匹配线段之间的几何关系，估计相机的透视变换参数，这些透视变换参数描述了点云数据到图像的透视投影变化，根据相机的透视变换参数可以得到变换矩阵。通过变换矩阵可以将目标点云数据投影到目标图像上，实现点云数据和图像之间的融合。
本发明提供的基于多源传感器的地铁运行环境地图构建方法，通过分别对目标图像和目标点云数据进行线特征提取；确定目标图像的线特征描述符和目标点云数据的线特征描述符之间的匹配关系，构建匹配概率矩阵；根据匹配概率矩阵和PNL算法，得到目标点云数据与目标图像之间的变换矩阵，有利于后续通过变换矩阵将目标点云数据投影到目标图像上。
在一些实施例中，对目标图像进行线特征提取，得到目标图像的线特征，包括：
基于Canny边缘检测器和霍夫变换检测器，对目标图像进行直线提取，获取目标图像对应的候选直线；
按照预设的线段条件，对候选直线进行筛选，得到第一目标线段；
基于卷积神经网络对第一目标线段进行线特征提取，得到目标图像的线特征。
具体地，Canny边缘检测器对目标图像进行目标图像进行多级边缘检测，根据像素梯度变化，寻找目标图像的边缘，最终得到目标图像对应的二值灰度图像。
霍夫变换检测器对二值灰度图像进行检测，通过霍夫坐标系的直线与笛卡尔坐标系的点之间的映射关系，判断二值灰度图像中的点是否构成直线，将找出的直线作为目标图像对应的候选直线。
按照预设的线段条件(例如线段的方向和线段的长度等条件)，对候选直线进行筛选，得到第一目标线段。使用卷积神经网络对第一目标线段进行线特征提取，得到目标图像的线特征。
本发明提供的基于多源传感器的地铁运行环境地图构建方法，通过基于Canny边缘检测器和霍夫变换检测器，获取目标图像对应的候选直线，从候选直线筛选出第一目标线段，基于卷积神经网络对第一目标线段进行线特征提取，实现了获取目标图像的线特征，有利于后续得到变换矩阵。
在一些实施例中，对目标点云数据进行线特征提取，得到目标点云数据的线特征，包括：
基于随机抽样一致算法对目标点云数据进行识别，得到候选线段；
基于卷积神经网络对候选线段进行局部上下文信息和几何特征分析，筛选出第二目标线段；
基于卷积神经网络对第二目标线段进行线特征提取，得到目标点云数据的线特征。
具体地，先使用随机抽样一致算法(RANdom SAmple Consensus，RANSAC)识别目标点云数据中潜在的候选线段，然后使用卷积神经网络对候选线段进行局部上下文信息和几何特征分析，从候选线段中筛选出第二目标线段。具体过程可以是：将候选线段对应的点云数据输入到卷积神经网络中，通过卷积层、池化层等操作，学习点云数据的反射强度信息、长度、角度、宽度等信息，根据先验知识(已知特征物体的反射率，长度，角度等信息)筛选出线段。
最后，再次使用卷积神经网络对第二目标线段进行线特征提取，得到目标点云数据的线特征。
本发明提供的基于多源传感器的地铁运行环境地图构建方法，通过随机抽样一致算法对所述目标点云数据进行识别，得到候选线段，基于卷积神经网络对候选线段进行局部上下文信息和几何特征分析，筛选出第二目标线段，基于卷积神经网络对第二目标线段进行线特征提取，实现了获取目标点云数据的线特征，有利于后续得到变换矩阵。
在一些实施例中，在获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像之前，还包括：
基于消息过滤器分别订阅激光雷达、惯性传感器和视觉相机的数据流；
基于时间同步机制接收并时间同步激光雷达、惯性传感器和视觉相机的数据流。
具体地，采用IMU静态标定方法对惯性传感器进行标定。具体过程如下：
首先，将惯性传感器安装在静止平台上，确保平台不会发生物理运动。
其次，记录一段时间内惯性传感器输出的加速度和角速度等数据。然后，执行误差参数估计，如零偏校准(传感器本身的内在偏差引起的误差)、尺度因子校准(传感器的尺度不准确引起的)和非正交误差校准(传感器轴之间的误差)。
其中，零偏校准通过计算数据的平均值或中位数并结合重力加速度，估算每个轴上的零偏误差来实现；尺度因子校准通过比较测量的加速度或角速度与真实静止情况下的标准值来实现；非正交误差校准是在不同方向上进行一系列旋转和测量，然后分析这些数据以估算非正交误差来实现。
最终，验证校准结果并记录详细信息，以确保惯性传感器产生的IMU数据的准确性和可靠性。
采用张正友标定算法对视觉相机的内部参数进行标定。具体过程如下：
首先，准备一个具有已知特征的棋盘格标定板。
其次，将棋盘格标定板放到已固定好的视觉相机的视野中，采集一系列不同角度和位置的照片。
然后，使用张正友标定算法来估计相机的内部参数。具体是：提取照片中的特征点坐标，通过最小化相机投影误差，将像素坐标和世界坐标之间的映射关系建立起来，根据透视原理估计出视觉相机的内部参数，例如相机焦距、主点坐标和畸变系数等。
最后，通过应用这些估计的内部参数，可以对从视觉相机获取的图像数据进行校正，以获得准确的测量结果和几何变换。
在对惯性传感器和视觉相机的内部参数进行标定之后，使用容器(docker)配置机器人操作系统(Robot Operating System，ROS)环境和启动各个传感器(例如激光雷达、惯性传感器和视觉相机)的ROS驱动，确定各个传感器能够以ROS消息的形式发布数据。
通过ROS内置的消息过滤器(message_filters)分别订阅各个传感器的数据流，通过ROS内置的时间同步机制(TimeSynchronizer)接收各个传感器的数据流，并时间同步各个传感器的数据流，以确保各个传感器的数据流在时间上保持一致。
可选地，通过时间戳对各个传感器的数据流进行时间同步。同步后的各个传感器的数据流的时间戳是相同的。
本发明提供的基于多源传感器的地铁运行环境地图构建方法，通过消息过滤器分别订阅激光雷达、惯性传感器和视觉相机的数据流；通过时间同步机制接收并时间同步激光雷达、惯性传感器和视觉相机的数据流，实现了不同传感器的数据流时间同步。
在一些实施例中，本发明提供的基于多源传感器的地铁运行环境地图构建方法还包括：
对相邻同步时间内发送的IMU数据进行采集，得到IMU采集数据；
在预设持续时间内IMU采集数据的统计结果小于预设阈值的情况下，检测在预设时间窗口内IMU采集数据的统计结果是否小于预设阈值；预设时间窗口包括多个预设持续时间；
在检测到在预设时间窗口内IMU采集数据的统计结果小于预设阈值的情况下，确定列车处于静止状态，并停止构建地铁运行环境地图。
具体地，在时间同步后，IMU数据的发送频率降低了。例如原始IMU数据发送频率为250Hz，在时间同步后，IMU数据发送频率为5Hz。
为了避免大量的IMU数据被漏掉，对相邻同步时间内发送的IMU数据进行采集，得到IMU采集数据。例如，第一次同步时间是0.2s，第二次同步时间是0.4s，对0.2s至0.4s之间发送的IMU数据进行采集。
对预设持续时间内采集到的IMU采集数据(例如线性加速度和角速度等数据)进行积分、方差等统计分析，判断IMU采集数据的统计结果是否小于预设阈值，即判断列车是否存在预设持续时间内存在连续零速情况。预设阈值和预设持续时间可以根据实际情况进行设置。
在预设持续时间内IMU采集数据的统计结果小于第一预设阈值的情况下，表明列车可能处于静止状态，此时还需要进一步判断。
设置一个预设时间窗口，其包含多个预设持续时间。检测在预设时间窗口内IMU采集数据的统计结果是否小于预设阈值。在检测到在预设时间窗口内IMU采集数据的统计结果小于预设阈值的情况下，确定列车处于静止状态。
预设时间窗口的设置可以根据具体应用的要求进行调整，以平滑静止状态的检测精度和实时性。
在列车确定为处于静止状态，系统会认定列车正在停靠车站。此时，系统记录一定时间内的数据，停止构建地铁运行环境地图。
本发明提供的基于多源传感器的地铁运行环境地图构建方法，通过对IMU采集数据进行统计分析，实现了确定列车是否处于静止状态的确定，在确定列车处于静止状态时，停止构建地铁运行环境地图，有助于节省车载设备的计算资源和数据存储空间。
下面对本发明提供的基于多源传感器的地铁运行环境地图构建装置进行描述，下文描述的基于多源传感器的地铁运行环境地图构建装置与上文描述的基于多源传感器的地铁运行环境地图构建方法可相互对应参照。
图2是本发明提供的基于多源传感器的地铁运行环境地图构建装置的结构示意图，如图2所示，本发明提供一种基于多源传感器的地铁运行环境地图构建装置，包括：获取模块210、补偿模块220、第一构建模块230、投影模块240、第二构建模块250和第三构建模块260；其中：
获取模块210，用于获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；
补偿模块220，用于基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；
第一构建模块230，用于基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；
投影模块240，用于将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；
第二构建模块250，用于基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；
第三构建模块260，用于在所述重投影误差和所述光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
在一些实施例中，所述装置包括：
第一提取模块，用于对所述目标图像进行线特征提取，得到所述目标图像的线特征；
第二提取模块，用于对所述目标点云数据进行线特征提取，得到所述目标点云数据的线特征；
匹配模块，用于基于所述目标图像的线特征描述符和所述目标点云数据的线特征描述符之间的匹配关系，构建匹配概率矩阵；
得到模块，用于根据所述匹配概率矩阵和PNL算法，得到所述目标点云数据与所述目标图像之间的变换矩阵。
在一些实施例中，所述第一提取模块具体用于：
基于Canny边缘检测器和霍夫变换检测器，对所述目标图像进行直线提取，获取所述目标图像对应的候选直线；
按照预设的线段条件，对所述候选直线进行筛选，得到第一目标线段；
基于卷积神经网络对所述第一目标线段进行线特征提取，得到所述目标图像的线特征。
在一些实施例中，所述第二提取模块具体用于：
基于随机抽样一致算法对所述目标点云数据进行识别，得到候选线段；
基于卷积神经网络对所述候选线段进行局部上下文信息和几何特征分析，筛选出第二目标线段；
基于所述卷积神经网络对所述第二目标线段进行线特征提取，得到所述目标点云数据的线特征。
在一些实施例中，所述装置包括：
订阅模块，用于基于消息过滤器分别订阅激光雷达、惯性传感器和视觉相机的数据流；
时间同步模块，用于基于时间同步机制接收并时间同步所述激光雷达、所述惯性传感器和所述视觉相机的数据流。
在一些实施例中，所述装置包括：
数据采集模块，用于对相邻同步时间内发送的所述IMU数据进行采集，得到IMU采集数据；
检测模块，用于在预设持续时间内所述IMU采集数据的统计结果小于预设阈值的情况下，检测在预设时间窗口内所述IMU采集数据的统计结果是否小于所述预设阈值；所述预设时间窗口包括多个所述预设持续时间；
处理模块，用于在检测到在所述预设时间窗口内所述IMU采集数据的统计结果小于所述预设阈值的情况下，确定列车处于静止状态，并停止构建地铁运行环境地图。
在此需要说明的是，本发明提供的上述基于多源传感器的地铁运行环境地图构建装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于多源传感器的地铁运行环境地图构建方法，该方法包括：获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；在所述重投影误差和光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于多源传感器的地铁运行环境地图构建方法，该方法包括：获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；在所述重投影误差和光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于多源传感器的地铁运行环境地图构建方法，该方法包括：获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；在所述重投影误差和光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。
进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本发明中“至少一个”是指一个或者多个，“多个”是指两个或多于两个。本发明的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于多源传感器的地铁运行环境地图构建方法，其特征在于，包括：
获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；
基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；
基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；
将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；
基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；
在所述重投影误差和所述光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
2.根据权利要求1所述的基于多源传感器的地铁运行环境地图构建方法，其特征在于，在所述将目标点云数据投影到目标图像上之前，还包括：
对所述目标图像进行线特征提取，得到所述目标图像的线特征；
对所述目标点云数据进行线特征提取，得到所述目标点云数据的线特征；
基于所述目标图像的线特征描述符和所述目标点云数据的线特征描述符之间的匹配关系，构建匹配概率矩阵；
根据所述匹配概率矩阵和PNL算法，得到所述目标点云数据与所述目标图像之间的变换矩阵。
3.根据权利要求2所述的基于多源传感器的地铁运行环境地图构建方法，其特征在于，所述对所述目标图像进行线特征提取，得到所述目标图像的线特征，包括：
基于Canny边缘检测器和霍夫变换检测器，对所述目标图像进行直线提取，获取所述目标图像对应的候选直线；
按照预设的线段条件，对所述候选直线进行筛选，得到第一目标线段；
基于卷积神经网络对所述第一目标线段进行线特征提取，得到所述目标图像的线特征。
4.根据权利要求2所述的基于多源传感器的地铁运行环境地图构建方法，其特征在于，所述对所述目标点云数据进行线特征提取，得到所述目标点云数据的线特征，包括：
基于随机抽样一致算法对所述目标点云数据进行识别，得到候选线段；
基于卷积神经网络对所述候选线段进行局部上下文信息和几何特征分析，筛选出第二目标线段；
基于所述卷积神经网络对所述第二目标线段进行线特征提取，得到所述目标点云数据的线特征。
5.根据权利要求1所述的基于多源传感器的地铁运行环境地图构建方法，其特征在于，在所述获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像之前，还包括：
基于消息过滤器分别订阅激光雷达、惯性传感器和视觉相机的数据流；
基于时间同步机制接收并时间同步所述激光雷达、所述惯性传感器和所述视觉相机的数据流。
6.根据权利要求5所述的基于多源传感器的地铁运行环境地图构建方法，其特征在于，所述方法还包括：
对相邻同步时间内发送的所述IMU数据进行采集，得到IMU采集数据；
在预设持续时间内所述IMU采集数据的统计结果小于预设阈值的情况下，检测在预设时间窗口内所述IMU采集数据的统计结果是否小于所述预设阈值；所述预设时间窗口包括多个所述预设持续时间；
在检测到在所述预设时间窗口内所述IMU采集数据的统计结果小于所述预设阈值的情况下，确定列车处于静止状态，并停止构建地铁运行环境地图。
7.一种基于多源传感器的地铁运行环境地图构建装置，其特征在于，包括：
获取模块，用于获取列车上激光雷达产生的初始点云数据、惯性传感器产生的IMU数据和视觉相机产生的图像；
补偿模块，用于基于所述IMU数据对所述初始点云数据进行反向传播补偿，得到补偿后的点云数据；
第一构建模块，用于基于误差状态迭代卡尔曼滤波器，最小化所述补偿后的点云数据与已知地图平面之间的残差；在所述残差收敛的情况下，将所述补偿后的点云数据与所述已知地图平面进行融合，构建第一地铁运行环境地图；
投影模块，用于将目标点云数据投影到目标图像上；所述目标点云数据是从所述第一地铁运行环境地图选中取的预设数量个所述补偿后的点云数据；所述目标图像是与所述目标点云数据对应的图像；
第二构建模块，用于基于最小化所述目标点云数据的重投影误差，以及最小化所述目标点云数据在所述目标图像中的投影位置与所述目标点云数据在所述第一地铁运行环境地图中的位置之间的光度误差，对所述第一地铁运行环境地图进行优化，构建第二地铁运行环境地图；
第三构建模块，用于在所述重投影误差和所述光度误差收敛的情况下，基于所述目标图像对所述第二地铁运行环境地图进行渲染，构建第三地铁运行环境地图。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于多源传感器的地铁运行环境地图构建方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多源传感器的地铁运行环境地图构建方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多源传感器的地铁运行环境地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311787002.5A CN117928522A (zh) | 2023-12-22 | 2023-12-22 | 基于多源传感器的地铁运行环境地图构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311787002.5A CN117928522A (zh) | 2023-12-22 | 2023-12-22 | 基于多源传感器的地铁运行环境地图构建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117928522A true CN117928522A (zh) | 2024-04-26 |
Family
ID=90767833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311787002.5A Pending CN117928522A (zh) | 2023-12-22 | 2023-12-22 | 基于多源传感器的地铁运行环境地图构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117928522A (zh) |
-
2023
- 2023-12-22 CN CN202311787002.5A patent/CN117928522A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6812404B2 (ja) | 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム | |
| CN109887057B (zh) | 生成高精度地图的方法和装置 | |
| US10636151B2 (en) | Method for estimating the speed of movement of a camera | |
| US10341633B2 (en) | Systems and methods for correcting erroneous depth information | |
| WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| CN113160327A (zh) | 一种点云补全的实现方法和系统 | |
| CN113587934B (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
| EP3126864A1 (fr) | Procédé de géo-localisation de l'environnement d'un porteur | |
| CN114758504A (zh) | 一种基于滤波校正的网联车超速预警方法及系统 | |
| CN113240813A (zh) | 三维点云信息确定方法及装置 | |
| CN113450334B (zh) | 一种水上目标检测方法、电子设备及存储介质 | |
| KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN114662587A (zh) | 一种基于激光雷达的三维目标感知方法、装置及系统 | |
| CN116958452A (zh) | 三维重建方法和系统 | |
| CN117928522A (zh) | 基于多源传感器的地铁运行环境地图构建方法及装置 | |
| CN114964276A (zh) | 一种融合惯导的动态视觉slam方法 | |
| CN113052846B (zh) | 一种多线雷达点云稠密化方法和装置 | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| US20230421739A1 (en) | Robust Stereo Camera Image Processing Method and System | |
| CN117433511B (zh) | 一种多传感器融合定位方法 | |
| CN115077467B (zh) | 清洁机器人的姿态估计方法、装置及清洁机器人 | |
| CN116045965A (zh) | 一种融合多传感器的环境地图构建方法 | |
| CN117804442A (zh) | 飞行器的位姿确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |