CN115144828B - 一种智能汽车多传感器时空融合的自动在线标定方法 - Google Patents

一种智能汽车多传感器时空融合的自动在线标定方法 Download PDF

Info

Publication number
CN115144828B
CN115144828B CN202210785604.6A CN202210785604A CN115144828B CN 115144828 B CN115144828 B CN 115144828B CN 202210785604 A CN202210785604 A CN 202210785604A CN 115144828 B CN115144828 B CN 115144828B
Authority
CN
China
Prior art keywords
track
point cloud
calibration
target
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210785604.6A
Other languages
English (en)
Other versions
CN115144828A (zh
Inventor
毕欣
仝盼盼
杨士超
熊璐
翁才恩
张博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202210785604.6A priority Critical patent/CN115144828B/zh
Publication of CN115144828A publication Critical patent/CN115144828A/zh
Application granted granted Critical
Publication of CN115144828B publication Critical patent/CN115144828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及传感器融合技术领域，具体涉及一种智能汽车多传感器时空融合的自动在线标定方法，包括：同步触发多组传感器进行采集获得与传感器对应的多组采集数据。通过帧间关联的方式获得目标A的轨迹Li。将目标A的轨迹Li进行同一目标关联。对目标A的轨迹Li进行匹配并获得粗标定外参。对多组采集数据投影后，进行特征提取获得对应的边缘特征。将各种边缘特征进行原始时间戳的对准并进行特征匹配。计算获得精标定外参，通过迭代得T2。实时判断特征匹配误差是否大于上述所述最优的阈值T2，如果是持续在线标定。多传感器有相互重叠的视场就能够在重叠的视场中实现自动在线标定，减少人工标定的繁琐过程，提高标定效率。

Description

一种智能汽车多传感器时空融合的自动在线标定方法
技术领域
本发明涉及传感器融合技术领域，具体涉及一种智能汽车多传感器时空融合的自动在线标定方法。
背景技术
在自动驾驶汽车中多种传感器信息融合感知的方法通常比单一传感器感知的方法更健壮，可以克服光照、恶劣环境等因素影响。
然而，有效地利用来自不同来源的信息需要在所涉及的传感器之间进行精确的标定，这通常意味着一个繁琐的过程。多传感器标定是一个繁琐的问题。现有的自动驾驶汽车标定方法存在不同的问题，当遇到特定环境，例如：在颠簸路况下，振动导致各传感器之间位置关系发生人眼不易察觉的细微改变，进而导致先前已标定完成的旋转及平移外参矩阵不再适用，即配准精度降低甚至失效。
发明内容
为解决上述技术问题，本发明提供一种智能汽车多传感器时空融合的自动在线标定方法，所述的智能汽车多传感器时空融合的自动在线标定方法包括：
S1、通过接收触发信号，同步触发多组传感器进行采集获得与传感器对应的多组采集数据；
S2、对采集数据进行投影，并通过帧间关联的方式获得目标A 在一个预先设置时间段t的轨迹Li；
S3、通过软件时间同步的方式，将目标A的轨迹Li进行同一目标关联；
S4、对目标A的轨迹Li进行匹配并获得粗标定外参，记录粗标定外参并计算粗标定误差；
S5、对多组采集数据投影后，进行特征提取获得对应的边缘特征；
S6、通过时间同步，将各种边缘特征进行原始时间戳的对准并进行特征匹配；
S7、在粗标定外参的基础上对各组传感器的边缘特征进行匹配，并计算获得精标定外参，特征匹配误差迭代得到一个最优的精标定误差阈值T2，并记录精标定外参；
S8、实时判断特征匹配误差是否大于上述所述最优的阈值T2，如果是，则执行S5。
优选的：所述传感器包括激光雷达、相机、毫米波雷达中三种组合；所述采集数据包括激光雷达采集周围的激光点云数据、毫米波雷达采集其探测范围的毫米波点云数据、相机采集其视角范围的图像数据。
优选的：所述采集数据进行投影方法包括：先对于激光雷达获得激光雷达采集周围的激光点云数据，然后去除地面上的激光点云数据后，选择一个预设高度与地面平行的平面作为点云投影平面，将激光点云数据进行俯视图投影到该平面。
优选的：所述帧间关联的方式包括：利用点云聚类算法获得当前帧Pi，计算获得当前帧Pi的聚类的方框计算中心，对于前一帧Pi-1点云也是通过同样的方式计算中心，通过匈牙利匹配将这两帧的中心点关联，同时之后的多帧也是利用连续的两帧点云不断关联后，就产生了运动目标的跟踪轨迹。
优选的：同一目标关联为：1、根据观测到目标A的同一时间段 t内的激光雷达目标轨迹L1、相机目标轨迹L2、毫米波雷达目标轨迹 L3，在这三条轨迹中通过插值的方式，使得三个传感器采集的数据在时间上对齐，三个传感器对目标的轨迹Li，得到时间-位置、时间-速度曲线用于三个轨迹匹配；2、将得到的三个时间-位置轨迹，通过欧几里得距离计算这些轨迹，计算两两传感器轨迹中关键点的欧几里得距离，以轨迹关键点距离之和最小的为同一目标的轨迹，完成三个传感器对同一目标的轨迹关联。
优选的：所述误差数值分数的计算方法由两部分组成，一部分是图像下三个传感器匹配好的轨迹Li，对相机图像上点轨迹L2、激光雷达点的轨迹L1、毫米波雷达点的轨迹L3两两关键点的坐标相减的范数；另一部分为在图像正视图上轨迹匹配好的目标A的三个传感器中心坐标点进行轨迹中每一帧的两两相减的范数；然后将这两个范数相加，获得误差数值分数。
优选的：所述关联优化形式：
，其中含义：每个雷达点pt分别在鸟瞰图关键点特征Fh和正视图关键点特征Fv上迭代，系数α为鸟瞰图关键点特征与正视图关键点特征分配不同的权重，α为自定义值，w是滑动窗口的大小，通过考虑前面w 个帧来计算帧t的分数。
优选的：精标定外参获得方法为：
采用一个预先设置系列的预处理方法对RGB图像和点云数据进行特征提取，获得灰度图像的线特征和点云数据的边缘点特征；
通过特征过滤进行细化；
通过对粗标定外参添加扰动，将点云边缘特征投影到灰度图像上，粗标定外参通过基于目标轨迹的自动标定方式计算激光点云数据的边缘点特征与灰度图像分别相乘求和得到一个分数值并优化每个扰动的得分，最后得分最大的为优化的精标定外参。
优选的：所述特征过滤进行细化方法为：在图像处理中，首先将RGB图像转换成灰度；在激光点云数据处理过程中，利用距离不连续性来获取更多的边界线特征；采用局部映射的方法将三帧点云数据合并为一帧。
优选的：所述边界线特征提取方法为：利用正态分布变换方法计算当前帧和前两帧之间的变换矩阵获得点云密度图；点云密度图转换为图像形式，图像形式中每个像素存储对应激光雷达点的距离信息；通过比较当前点和邻近点之间的距离，通过剔除距离过远的离群点，提取边界线特征。
本发明的技术效果和优点：本发明的技术效果能够自动实现激光雷达、相机、毫米波雷达三者的自动标定，只要三个传感器有相互重叠的视场就能够在重叠的视场中实现自动标定，减少人工标定的繁琐过程，提高标定效率。
同时本发明中的在线校准能够实现在颠簸、振动、复杂因素导致的传感器微小校准偏差的情况下，进行在线监测，并进行在线校准，保证多传感器标定的准确性，解决因为传感器标定导致的感知偏差以及准度问题。
附图说明
图1为本发明提出的一种智能汽车多传感器时空融合的自动在线标定方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
参考图1，在本实施例中提出了一种智能汽车多传感器时空融合的自动在线标定方法，所述的智能汽车多传感器时空融合的自动在线标定方法包括：
S1、通过接收触发信号，同步触发多组传感器进行采集获得与传感器对应的多组采集数据。传感器可以包括激光雷达、相机、毫米波雷达中的两种或者三种组合，当然并不排除其他的传感器，具体在此不做赘述。在本实施例中，以激光雷达、相机、毫米波雷达三种组合为例，触发信号可以通过硬件触发方式进行触发。例如，一般激光雷达通过接收GPS秒脉冲信号，将其内部的时间与GPS时间同步，通过秒脉冲信号触发激光雷达工作，同时将GPS秒脉冲信号传入控制器，控制器通过接收GPS秒脉冲信号后，通过I/O口输出一次上升沿信号，之后每隔100ms输出一次上升沿信号，来触发相机工作。如此，激光雷达工作频率10Hz正好与相机的工作频率10Hz对应，完成激光雷达和相机的数据采集时间同步。所述采集数据包括激光雷达采集周围的激光点云数据、毫米波雷达采集其探测范围的毫米波点云数据、相机采集其视角范围的图像数据。
S2、对采集数据进行投影，并通过帧间关联的方式获得目标A 在一个预先设置时间段t的轨迹Li。具体可以先对其中一组采集数据进行投影，然后进行任意连续两帧的多目标进行匹配，通过多帧匹配获得时间段t的目标A的轨迹L1，并对其他组的采集数据通过帧间匹配关联的方式获得目标A和该时间段内的目标A的轨迹Li，此处的i 为2至n，n为传感器的数量。以激光雷达、相机、毫米波雷达三者为例。可以先将激光点云数据进行鸟瞰图投影，通过帧间关联的方式跟踪运动目标A，并获得一段时间内目标A的轨迹L1；对于相机图像数据和毫米波点云数据也进行鸟瞰图投影，也通过帧间关联的方式跟踪运动目标A，获得一段时间内目标A的轨迹L2和L3。投影方法可以包括：先对于激光雷达获得激光雷达采集周围的激光点云数据，然后去除地面上的激光点云数据后，选择一个预设高度与地面平行的平面作为点云投影平面，将激光点云数据进行俯视图投影到该平面。所述的帧间关联的方式包括：利用点云聚类算法获得当前帧Pi，计算获得当前帧Pi(激光雷达点云数据采集的频率为10Hz，也就是每秒能够进行10次的点云采集，即10帧)的聚类的方框计算中心(方框长宽各自的一半就是方框的中心)，对于前一帧Pi-1点云也是通过同样的方式计算中心，通过匈牙利匹配将这两帧的中心点关联，同时之后的多帧也是利用连续的两帧点云不断关联后，就产生了运动目标的跟踪轨迹。聚类算法、匈牙利匹配为现有技术，具体在此不做赘述。对于相机图像，先进行目标检测，将检测后的目标位置方框计算其中心，再进行鸟瞰图投影，也就是将相机的图像进行透视变换，获得相机图像在鸟瞰图下的目标检测中心位置，通过多帧图像进行上述过程，然后利用匈牙利匹配，寻找相邻两帧图像的相同目标的匹配，获得运动目标的跟踪轨迹。对于毫米波雷达由于本身获取的数据能够直接转换成二维平面鸟瞰图，并进行连续两帧点云数据的关联，获得运动目标跟踪轨迹。(此时的目标跟踪轨迹，是多个目标的轨迹，因此需要进行S3处理)。
S3、由于三个传感器的帧率不同，通过软件时间同步的方式，将目标A的轨迹Li进行同一目标关联；此处的i为1至n，n为传感器数量。具体关联方法可以为：1、根据观测到目标A的同一时间段t 内的激光雷达目标轨迹L1、相机目标轨迹L2、毫米波雷达目标轨迹 L3，在这三条轨迹中通过插值的方式，使得三个传感器采集的数据在时间上对齐，其实由于前面的硬件同步已经实现相机和激光雷达的每一帧数据对齐，这里的插值更多的是毫米波雷达，使得毫米波雷达插值后的数据关键帧为10Hz的，从而实现三个传感器时间序列上关键点对齐使得轨迹更加平滑。此时，三个传感器对目标的轨迹Li(都在鸟瞰图的投影平面上)，可以得到时间-位置、时间-速度曲线，其中时间-位置可以用于三个轨迹匹配，时间-速度可以辅助激光雷达和毫米波雷达轨迹匹配；2、将得到的三个时间-位置轨迹，通过欧几里得距离计算这些轨迹，计算两两传感器轨迹中关键点(同一目标的中心点) 的欧几里得距离，以轨迹关键点距离之和最小的为同一目标的轨迹，从而完成三个传感器对同一目标的轨迹关联。
S4、通过误差检测模块对目标A的轨迹Li进行匹配并获得粗标定外参，记录粗标定外参并计算粗标定误差；然后进行轨迹关联优化，得到每次计算的误差数值分数，通过不断迭代粗标定外参即粗外参矩阵，利用梯度下降法观测当前误差数值分数与相邻的误差数值分数的结果，确定粗外参矩阵数字变化趋势，从而得到一个最优的阈值T1，此时误差数值分数对应的粗外参矩阵就是所需的多组传感器粗标定的粗外参矩阵。具体为在所述轨迹关联的基础上，将三个传感器的目标A的轨迹Li组合到图像上，图像可以是鸟瞰图。寻找目标在各传感器轨迹的关键点，数据关键点为已经在数据序列上对齐的三个传感器每一帧的目标中心点，寻找各个轨迹的关键点，关键点可以为始末点以及轨迹的时间倒数为零的点等，将图像上的这些关键点的像素值与激光点云数据坐标值进行矩阵转换，此时是鸟瞰图下进行转换，故可以进行x，y方向的平移，以及围绕z轴的旋转操作。毫米波雷达同理。然后将激光雷达和毫米波雷达投影到图像的正视图上，通过关联的目标A，得到目标A中心在图像的位置、激光点云数据坐标投影到图像后目标的中心位置、以及目标毫米波点云数据投影到图像的目标位置，这里的位置为像素坐标，通过点云和像素转换关系，将同一目标在三个传感器的中心位置进行对齐，此时，在图像正视图上可以进行z方向的平移，以及围绕x，y周的旋转操作，从而与前一步骤一起完成三个传感器空间六自由度粗外参矩阵的获取。误差数值分数的计算方法由两部分组成，一部分是图像下三个传感器匹配好的轨迹 Li，对相机图像上点轨迹L2、激光雷达点的轨迹L1、毫米波雷达点的轨迹L3两两关键点的坐标相减的范数；另一部分为在图像正视图上轨迹匹配好的目标A的三个传感器中心坐标点进行轨迹中每一帧的两两相减的范数。然后将这两个范数相加，获得误差数值分数，也就是要进行迭代的损失函数。通过对损失函数的不断优化，得到最小的损失函数，完成对一个目标的轨迹重合，从而获得各传感器空间配准的粗外参矩阵。例如，像素值与激光点云数据坐标值矩阵形式：矩阵即多组传感器联合标定的粗外参矩阵形式，其中R为3*3旋转矩阵，T为3*1平移矩阵。关联优化形式：
，其中含义：每个雷达点pt分别在鸟瞰图关键点特征Fh和正视图关键点特征Fv上迭代，系数α为鸟瞰图关键点特征与正视图关键点特征分配不同的权重，α为自定义值，w是滑动窗口的大小，通过考虑前面w 个帧来计算帧t的分数。比较方式：分数为标量形式，直接比较大小。
S5、对多组采集数据投影后进行特征提取获得对应的边缘特征。将上述基于运动目标的粗标定完成的多组传感器，通过对激光点云数据投影到正视图上，由于激光点云数据的在正视图是利用激光点云数据的距离作为像素值，利用距离不连续性来获得激光点云的边缘特征，同时，对相机图像数据进行Canny处理得到图像的边缘特征。Canny 就是一种边缘特征提取方法，就是将图像转化为黑白图像，其中边缘线条为白色，其他为黑色，具体在此不做赘述。
S6、通过时间同步，将各种边缘特征进行原始时间戳的对准并通过匹配外参矩阵进行特征匹配。通过时间同步，将激光点云与相机图像的原始时间戳对准实现各帧同步，在相同的帧中提取激光点云边缘特征和相机图像的边缘特征。这里是特征匹配的前提是，要将激光点云数据和图像数据的原始数据的时间戳要对准，也就是让两者的时间一致。
S7、在粗标定外参的基础上对各组传感器的边缘特征进行匹配，并计算获得精标定外参，特征匹配误差迭代得到一个最优的精标定误差阈值T2，并记录精标定外参。可以对激光点云的边缘特征与图像的边缘特征进行匹配，并记录精标定外参即精外参矩阵，其中误差检测模块为将激光点云数据的边缘点与图像数据的边缘点(图像边缘白色对于像素值为255，非边缘部分的像素值为0)分别相乘求和得到目标函数，并乘以-1，转化为损失函数，通过不断迭代粗外参矩阵进行损失函数优化获得优化分数，通过梯度下降的方式将优化分数与相邻的分数进行比较，最终得到最小分数，此时的最小分数为一个最优的阈值T2(这个阈值是当前优化分数与相邻优化分数的差值不是很大时，迭代结束，认为这个粗外参矩阵为当前的最大分数值)，此时优化分数对应的外参矩阵就是所需的多组传感器精标定的精外参矩阵。S4的误差为粗标定的误差，实现的是大范围自动标定，是通过基于运动的方式迭代的。S7的误差是精标定的误差，是微动误差，实现更加精准的标定，是通过基于特征的方式迭代的。基于特征的标定精确度比基于运动的高。
S8、完成多组传感器自动标定后，通过在线监测模块实时判断特征匹配误差是否大于上述所述最优的阈值T2，如果否，则持续进行在线监测，不断判断特征匹配误差是否大于上述所述最优的阈值T2，如果是，则执行S5。
在上述的中S1-S4可以认为是基于运动目标的多传感器自动标定；
对于激光雷达、毫米波雷达、相机时空标定，从激光雷达、毫米波雷达、相机的目标检测开始，之后每个传感器都用单独的跟踪器进行目标的检测跟踪，不同传感器采用不同的追踪器以适应它们的具体情况。然后，使用校准不变度量将不同传感器的确认轨迹相互关联。每个前述阶段都具有内置的离群值过滤机制，以防止后续步骤的结果降级。有了相关的轨迹，继续进行计算轻量级的去校准检测。轻量级预先标定，最后，如果检测到去校准，则进行基于图优化的传感器校准。
跟踪模块将前一步的检测作为输入，将它们在不同的时间帧之间关联起来，并提供对其状态的估计，这些估计稍后用于后续步骤的输入。因为跟踪是特定于传感器的，所以在每个相应的坐标系中去进行跟踪。通过使用全局最近邻方法和匈牙利算法来完成对轨迹的检测。单个轨道的状态估计由使用恒定转弯速率和速度运动模型的扩展卡尔曼滤波器提供。
对于目标A的轨迹Li的轨迹管理是基于历史轨迹的，即在连续可靠检测N次之后确认目标轨迹。具体的是通过共同的历史轨迹观察每个轨迹对候选轨迹的两个标准：(1)速度范数差异的平均值和(2) 位置范数差异的平均值。轨迹对必须满足这两个标准并且不超过预定义的阈值。如果可能存在多个关联，则不会关联任何关联。这种保守的方法有助于消除错误的关联，否则这种错误的关联会危及后续的校准步骤。但是，剩余的轨迹可以用更常见的关联指标(例如：欧几里得距离或马氏距离)关联在一起并在轨迹融合模块中使用。
在上述的中S5-S8可以认为是基于边缘特征的多传感器在线标定；
对于激光雷达和相机外参矩阵标定，主要通过提取环境中的线特征进行精确配准。
(1)采用一个预先设置系列的预处理方法(如对于图像进行 Canny处理，对于点云数据，点云数据包括激光点云数据、毫米波点云数据，通过距离的不连续性进行提取)对RGB图像和点云数据进行特征提取，获得灰度图像的线特征和点云数据的边缘点特征。
①在图像处理中，首先将RGB图像转换成灰度图像，然后通过线监测算法提取边界线特征。然后，对这些灰度图像进行距离变换。如此可以允许更大的搜索步长，从而防止优化过程陷入局部解。
②在激光点云数据处理过程中，主要是利用距离不连续性来获取更多的边界线特征。为了达到这一目的，采用局部映射的方法将三帧点云数据合并为一帧，从而可以在一帧中显示更多的点。具体地，利用正态分布变换(NDT)方法计算当前帧和前两帧之间的变换矩阵获得点云密度图。点云密度图转换为图像形式，图像形式中每个像素存储对应激光雷达点的距离信息。通过比较当前点和邻近点之间的距离，通过剔除距离过远的离群点，可以更准确地提取边界线特征。
(2)通过特征过滤进行细化
随后采用两种滤波方法来剔除离群点。由于点云数据已转换为图像形式，因此设计了一个卷积核来过滤掉距离所有8个邻接点都超过阈值T1的点。因为我们设计的卷积核是3*3(3行，3列的)的，因此对于中间的网格周围有8个网格，即8个相邻点。这种过滤方法可以去除所有的离群点以及与地面对应的点。因此，可以将剩余要素标识为线要素。在第一次过滤后，应用点云聚类算法如k-means方法，去除邻接点较少的线要素，聚类算法为现有技术，具体在此不做赘述。上述两个过滤步骤可以提供更有条理的点云线特征，这可为后续步骤提供更好的优化结果。
(3)通过对粗标定的外参矩阵添加扰动，将点云边缘特征投影到灰度图像(图像边缘白色对于像素值为255，非边缘部分的像素值为0)上，通过前面的基于目标轨迹的自动标定方式得到粗标定的外参矩阵，计算激光点云数据的边缘点特征与灰度图像分别相乘求和得到一个分数值并优化每个扰动的得分，最后得分最大的为优化的外参矩阵。这个数值是需要不断迭代优化的，最终设置一个阈值，小于该阈值迭代就结束了。分数值优化需要不断迭代优化的，小于一个预先设置的阈值迭代就结束了。为了便于计算，这里可以采用将激光点云数据的边缘点特征与灰度图像分别相乘求和后乘以-1，得到损失函数，利用梯度下降的方式优化每个扰动的得分，最后得分最小，也就是激光雷达点云与相机图像数据达到此时的最佳对齐，从而完成外参矩阵的优化。扰动和优化为现有技术，具体在此不做赘述。
在优化过程中，为了兼顾计算精度和效率。在优化前，提取灰度图像上的线特征，并计算投影到灰度区域上的激光雷达点的比例。为了计算精度，采用两个搜索步骤来准确地找到解。首先，为了避免搜索陷入局部解，采用了具有预设宽的图像线、较小的灰度变化和相对较大的步长的粗略搜索，使得能够快速地发现可能包含最优解的区域。然后，应用灰度变化较大的较细的图像线特征，以及较小的步长，以获得更精确的校准结果。当投影到灰色区域的激光雷达点的比例超过特定阈值时，将在这两步大小和灰度变化之间进行切换。为了提高计算效率，提出一种自适应优化方法，使优化朝着正确的方向进行。采用搜索法对成本函数进行优化。它会将当前分数与相邻的若干分数进行比较。在此过程中，如果搜索程序发现具有较高分数的外参矩阵，则它将停止当前搜索过程，并在提供较高分数的位置开始新的搜索过程。此外，这种搜索过程在达到设定的迭代次数或找到最佳分数时会停止，从而能够提高计算效率。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。本发明中未具体描述和解释说明的结构、装置以及操作方法，如无特别说明和限定，均按照本领域的常规手段进行实施。

Claims (10)

1.一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述的智能汽车多传感器时空融合的自动在线标定方法包括：
S1、通过接收触发信号，同步触发多组传感器进行采集获得与传感器对应的多组采集数据；
S2、对采集数据进行投影，并通过帧间关联的方式获得目标A在一个预先设置时间段t的轨迹Li；
S3、通过软件时间同步的方式，将目标A的轨迹Li进行同一目标关联；
S4、对目标A的轨迹Li进行匹配并获得粗标定外参，记录粗标定外参并计算粗标定误差；
S5、对多组采集数据投影后，进行特征提取获得对应的边缘特征；
S6、通过时间同步，将各种边缘特征进行原始时间戳的对准并进行特征匹配；
S7、在粗标定外参的基础上对各组传感器的边缘特征进行匹配，并计算获得精标定外参，特征匹配误差迭代得到一个最优的精标定误差阈值T2，并记录精标定外参；
S8、实时判断特征匹配误差是否大于上述所述最优的阈值T2，如果是，则执行S5。
2.根据权利要求1所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述传感器包括激光雷达、相机、毫米波雷达中三种组合；所述采集数据包括激光雷达采集周围的激光点云数据、毫米波雷达采集其探测范围的毫米波点云数据、相机采集其视角范围的图像数据。
3.根据权利要求2所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述采集数据进行投影方法包括：先对于激光雷达获得激光雷达采集周围的激光点云数据，然后去除地面上的激光点云数据后，选择一个预设高度与地面平行的平面作为点云投影平面，将激光点云数据进行俯视图投影到该平面。
4.根据权利要求3所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述帧间关联的方式包括：利用点云聚类算法获得当前帧Pi，计算获得当前帧Pi的聚类的方框计算中心，对于前一帧Pi-1点云也是通过同样的方式计算中心，通过匈牙利匹配将这两帧的中心点关联，同时之后的多帧也是利用连续的两帧点云不断关联后，就产生了运动目标的跟踪轨迹。
5.根据权利要求2所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，同一目标关联为：1、根据观测到目标A的同一时间段t内的激光雷达目标轨迹L1、相机目标轨迹L2、毫米波雷达目标轨迹L3，在这三条轨迹中通过插值的方式，使得三个传感器采集的数据在时间上对齐，三个传感器对目标的轨迹Li，得到时间-位置、时间-速度曲线用于三个轨迹匹配；2、将得到的三个时间-位置轨迹，通过欧几里得距离计算这些轨迹，计算两两传感器轨迹中关键点的欧几里得距离，以轨迹关键点距离之和最小的为同一目标的轨迹，完成三个传感器对同一目标的轨迹关联。
6.根据权利要求2所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述误差数值分数的计算方法由两部分组成，一部分是图像下三个传感器匹配好的轨迹Li，对相机图像上点轨迹L2、激光雷达点的轨迹L1、毫米波雷达点的轨迹L3两两关键点的坐标相减的范数；另一部分为在图像正视图上轨迹匹配好的目标A的三个传感器中心坐标点进行轨迹中每一帧的两两相减的范数；然后将这两个范数相加，获得误差数值分数。
7.根据权利要求1所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述关联优化形式：
其中含义：每个雷达点pt分别在鸟瞰图关键点特征Fh和正视图关键点特征Fv上迭代，系数α为鸟瞰图关键点特征与正视图关键点特征分配不同的权重，α为自定义值，w是滑动窗口的大小，通过考虑前面w个帧来计算帧t的分数。
8.根据权利要求1所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，精标定外参获得方法为：
采用一个预先设置系列的预处理方法对RGB图像和点云数据进行特征提取，获得灰度图像的线特征和点云数据的边缘点特征；
通过特征过滤进行细化；
通过对粗标定外参添加扰动，将点云边缘特征投影到灰度图像上，粗标定外参通过基于目标轨迹的自动标定方式计算激光点云数据的边缘点特征与灰度图像分别相乘求和得到一个分数值并优化每个扰动的得分，最后得分最大的为优化的精标定外参。
9.根据权利要求8所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述特征过滤进行细化方法为：在图像处理中，首先将RGB图像转换成灰度；在激光点云数据处理过程中，利用距离不连续性来获取更多的边界线特征；采用局部映射的方法将三帧点云数据合并为一帧。
10.根据权利要求9所述的一种智能汽车多传感器时空融合的自动在线标定方法，其特征在于，所述边界线特征提取方法为：利用正态分布变换方法计算当前帧和前两帧之间的变换矩阵获得点云密度图；点云密度图转换为图像形式，图像形式中每个像素存储对应激光雷达点的距离信息；通过比较当前点和邻近点之间的距离，通过剔除距离过远的离群点，提取边界线特征。
CN202210785604.6A 2022-07-05 2022-07-05 一种智能汽车多传感器时空融合的自动在线标定方法 Active CN115144828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210785604.6A CN115144828B (zh) 2022-07-05 2022-07-05 一种智能汽车多传感器时空融合的自动在线标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210785604.6A CN115144828B (zh) 2022-07-05 2022-07-05 一种智能汽车多传感器时空融合的自动在线标定方法

Publications (2)

Publication Number Publication Date
CN115144828A CN115144828A (zh) 2022-10-04
CN115144828B true CN115144828B (zh) 2024-04-12

Family

ID=83411289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210785604.6A Active CN115144828B (zh) 2022-07-05 2022-07-05 一种智能汽车多传感器时空融合的自动在线标定方法

Country Status (1)

Country Link
CN (1) CN115144828B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994934B (zh) * 2023-03-16 2023-06-13 福思(杭州)智能科技有限公司 数据时间对齐方法、装置以及域控制器
CN118154688A (zh) * 2024-05-11 2024-06-07 擎翌(上海)智能科技有限公司 基于多源数据匹配的位姿校正方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN111025250A (zh) * 2020-01-07 2020-04-17 湖南大学 一种车载毫米波雷达在线标定方法
CN112146682A (zh) * 2020-09-22 2020-12-29 福建牧月科技有限公司 智能汽车的传感器标定方法、装置、电子设备及介质
CN113252066A (zh) * 2020-02-13 2021-08-13 纳恩博（北京）科技有限公司 里程计设备参数的标定方法及装置、存储介质、电子装置
WO2021195939A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 一种双目拍摄装置的外参的标定方法、可移动平台及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7081849B2 (en) * 2004-10-28 2006-07-25 Northrop Grumman Corporation Process for sensor resources management

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103390281A (zh) * 2013-07-29 2013-11-13 西安科技大学 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN111025250A (zh) * 2020-01-07 2020-04-17 湖南大学 一种车载毫米波雷达在线标定方法
CN113252066A (zh) * 2020-02-13 2021-08-13 纳恩博（北京）科技有限公司 里程计设备参数的标定方法及装置、存储介质、电子装置
WO2021195939A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 一种双目拍摄装置的外参的标定方法、可移动平台及系统
CN112146682A (zh) * 2020-09-22 2020-12-29 福建牧月科技有限公司 智能汽车的传感器标定方法、装置、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多传感器信息融合的视觉SLAM算法研究;周健烙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715;第2020卷(第7期);I138-1266 *
基于室内移动机器人同时定位的多传感器在线标定;许凤麟;《中国优秀硕士学位伦全文数据库 信息科技辑》;20210915;第2021卷(第9期);I138-272 *

Also Published As

Publication number Publication date
CN115144828A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN113269098B (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN107292911B (zh) 一种基于多模型融合和数据关联的多目标跟踪方法
CN115144828B (zh) 一种智能汽车多传感器时空融合的自动在线标定方法
EP2858008B1 (en) Target detecting method and system
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
US20170248971A1 (en) Method for detecting target object, detection apparatus and robot
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
EP1505543A2 (en) Video object tracking
US12008785B2 (en) Detection, 3D reconstruction and tracking of multiple rigid objects moving in relation to one another
CN113223045B (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN111709968B (zh) 一种基于图像处理的低空目标探测跟踪方法
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
US20220366570A1 (en) Object tracking device and object tracking method
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN112381132A (zh) 一种基于多个摄像头融合的目标物跟踪方法和系统
CN112683228A (zh) 单目相机测距方法及装置
CN112541423A (zh) 一种同步定位与地图构建方法和系统
Nath et al. On road vehicle/object detection and tracking using template
CN113988228A (zh) 一种基于rfid和视觉融合的室内监控方法及系统
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant