CN116449356A - 基于聚集的lidar数据对准 - Google Patents

基于聚集的lidar数据对准 Download PDF

Info

Publication number
CN116449356A
CN116449356A CN202211259264.XA CN202211259264A CN116449356A CN 116449356 A CN116449356 A CN 116449356A CN 202211259264 A CN202211259264 A CN 202211259264A CN 116449356 A CN116449356 A CN 116449356A
Authority
CN
China
Prior art keywords
data
lidar
vehicle
alignment
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211259264.XA
Other languages
English (en)
Inventor
X·杜
胡峣
W·张
余浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN116449356A publication Critical patent/CN116449356A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种LIDAR到车辆对准系统包括存储器和对准以及自主驾驶模块。存储器存储基于一个或多个LIDAR传感器的输出和定位数据提供的数据点。对准模块执行对准过程，包括：基于定位数据；确定主车辆是否正在转向；响应于主车辆转向；选择数据点的一部分；聚集所选部分以提供聚集的数据；基于聚集的数据选择目标；以及基于所选目标，迭代地减少损失函数的损失值，以提供合成LIDAR到车辆变换矩阵。自主驾驶模块：基于合成LIDAR到车辆变换矩阵，将至少所选部分转换到车辆坐标或世界坐标中的至少一个，以提供合成数据；并基于合成数据执行一个或多个自主驾驶操作。

Description

基于聚集的LIDAR数据对准
引言
本章节中提供的信息是出于总体呈现本公开背景的目的。在本章节中描述的程度上，目前命名的发明人的工作以及在提交时可能以其他方式不符合现有技术的描述的方面，既不明确也不隐含地被认为是针对本公开的现有技术。
技术领域
本公开涉及车辆物体检测系统以及更特别地涉及车辆光检测和测距（LIDAR）系统。
背景技术
车辆可以包括用于检测周围环境和该环境中的物体的各种传感器。传感器可以包括摄像机、无线电检测和测距（雷达）传感器、LIDAR传感器等。车辆控制器可以响应于检测到的周围环境执行各种操作。所述操作可以包括执行部分和/或完全自主的车辆操作、防撞操作和信息报告操作。所执行的操作的准确性可以基于从传感器收集的数据的准确性。
发明内容
公开了一种LIDAR到车辆对准系统，并且该系统包括存储器、对准模块和自主驾驶模块。存储器被配置成存储基于一个或多个LIDAR传感器的输出和定位数据提供的数据点。对准模块被配置成执行对准过程，包括：基于定位数据；确定主车辆是否正在转向；响应于主车辆转向；选择数据点的一部分；聚集数据点的所选部分以提供聚集的数据；基于聚集的数据选择目标；以及基于所选的目标，迭代地减少损失函数的损失值，以提供合成LIDAR到车辆变换矩阵。自主驾驶模块被配置成：基于合成LIDAR到车辆变换矩阵，将数据点的至少所选部分转换到车辆坐标或世界坐标中的至少一者，以提供合成数据；以及基于合成数据执行一个或多个自主驾驶操作。
在其他特征中，对准模块被配置成从全局位置传感器或惯性测量传感器中的一者或多者接收定位数据。
在其他特征中，对准模块被配置成当主车辆没有转向时，抑制执行数据选择和聚集以及目标选择。
在其他特征中，对准模块被配置成基于转向点选择数据点和目标。
在其他特征中，对准模块被配置成基于转向点选择区域，基于所选区域移除地面点，识别目标，以及执行数据聚类算法来选择要监视的目标之一。
在其他特征中，对准模块被配置成累积多个场景的LIDAR数据，并且基于多个场景的LIDAR数据，最小化损失值。
在其他特征中，对准模块被配置成执行连续性检查，以确定选择哪些数据点以及丢弃哪些数据点。
在其他特征中，对准模块被配置成：聚集预定义空间的数据的LIDAR扫描；基于数据的聚集LIDAR扫描，执行目标选择；以及在执行目标选择之后，使用强度过滤器和随机过滤器对与数据的聚集LIDAR扫描相关联的每帧数据进行下采样，以提供合成目标数据。
在其他特征中，对准模块被配置成：取得多个LIDAR扫描中的每一个的z值；获得与LIDAR扫描相关联的聚集数据的正态分布，以提取与LIDAR扫描相关联的聚集数据的第一平均值；选择第一平均值周围的数据；获得第一平均值周围的所选数据的另一正态分布，以获得不基于地面点的第二平均值；提取第二平均值周围的地面点；将除地面点之外的数据标记为目标数据；以及当收集了预定量的目标数据时，执行聚类算法以选择目标数据的一部分。
在其他特征中，对准模块被配置成当迭代地减小损失值时：加载优化参数和初始估计的LIDAR到车辆变换矩阵；并且迭代地（i）改变初始估计的LIDAR到车辆变换矩阵或最后确定的LIDAR到车辆变换矩阵，以提供合成LIDAR到车辆变换矩阵，（ii）评估合成LIDAR到车辆变换矩阵中的改变，包括确定损失值，以及（iii）基于损失值，确定是否执行另一次迭代。
在其他特征中，对准模块被配置成在评估损失函数时：使用合成LIDAR到车辆变换矩阵来计算LIDAR到世界变换矩阵；基于LIDAR到世界变换矩阵将聚集数据投影到世界坐标数据；将二叉树应用于世界坐标数据；通过为每个LIDAR数据点计算到相邻数据点的距离来提供距离；以及基于距离的平均值来确定损失值。
在其他特征中，损失函数是基于密度的损失函数，其表征相对于所选目标之一的LIDAR未对准严重性或点密度中的至少一者。
在其他特征中，自主车辆驾驶方法包括：存储基于一个或多个LIDAR传感器的输出和定位数据提供的数据点；执行LIDAR到车辆对准过程，包括（i）基于定位数据，确定主车辆是否正在转向，（ii）响应于主车辆转向，选择数据点的一部分并聚集数据点的所选部分以提供聚集数据，（iii）基于聚集数据选择目标，以及（iv）基于所选目标，迭代地减少损失函数的损失值以提供合成LIDAR到车辆变换矩阵；基于合成LIDAR到车辆变换矩阵，将数据点的至少所选部分转换到车辆坐标或世界坐标中的至少一者，以提供合成数据；以及基于合成数据执行一个或多个自主驾驶操作。
在其他特征中，自主车辆驾驶方法进一步包括：基于转向点选择区域；基于所选区域移除地面点；识别目标；以及执行数据聚类算法来选择要监视的目标之一。
在其他特征中，自主车辆驾驶方法进一步包括：执行连续性检查，以确定选择哪些数据点以及丢弃哪些数据点；以及累积多个场景的LIDAR数据，并且基于多个场景的LIDAR数据，最小化损失值。
在其他特征中，自主车辆驾驶方法进一步包括：聚集预定义空间的数据的LIDAR扫描；基于数据的聚集LIDAR扫描，执行目标选择；以及在执行目标选择之后，使用强度过滤器和随机过滤器对与数据的聚集LIDAR扫描相关联的每帧数据进行下采样，以提供合成目标数据。
在其他特征中，自主车辆驾驶方法进一步包括：取得多个LIDAR扫描中的每一个的z值；基于与LIDAR扫描相关联的聚集数据确定至少一个平均值；基于所述至少一个平均值提取地面点；将除地面点之外的数据标记为目标数据；以及当收集了预定量的目标数据时，执行聚类算法以选择目标数据的一部分。在其他特征中，自主车辆驾驶方法进一步包括：取得多个LIDAR扫描中的每一个的z值；获得与LIDAR扫描相关联的聚集数据的正态分布，以提取与LIDAR扫描相关联的聚集数据的第一平均值；选择第一平均值周围的数据；获得第一平均值周围的所选数据的另一正态分布，以获得不基于地面点的第二平均值；提取第二平均值周围的地面点；将除地面点之外的数据标记为目标数据；以及当收集了预定量的目标数据时，执行聚类算法以选择目标数据的一部分。
在其他特征中，自主车辆驾驶方法进一步包括，当迭代地减少损失值时：加载优化参数和初始估计的LIDAR到车辆变换矩阵；以及迭代地（i）改变初始估计的LIDAR到车辆变换矩阵或最后确定的LIDAR到车辆变换矩阵，以提供合成LIDAR到车辆变换矩阵，（ii）评估合成LIDAR到车辆变换矩阵的改变，包括确定损失值，以及（iii）基于损失值，确定是否执行另一次迭代。
在其他特征中，自主车辆驾驶方法进一步包括，当评估损失函数时：使用合成LIDAR到车辆变换矩阵来计算LIDAR到世界变换矩阵；基于LIDAR到世界变换矩阵将聚集数据投影到世界坐标数据；基于世界坐标数据，通过为每个LIDAR数据点计算到相邻数据点的距离来提供距离；以及基于距离的平均值来确定损失值。在其他特征中，自主车辆驾驶方法进一步包括，当评估损失函数时：使用合成LIDAR到车辆变换矩阵来计算LIDAR到世界变换矩阵；基于LIDAR到世界变换矩阵将聚集数据投影到世界坐标数据；将二叉树应用于世界坐标数据；通过为每个LIDAR数据点计算到相邻数据点的距离来提供距离；以及基于距离的平均值来确定损失值。
在其他特征中，损失函数是基于密度的损失函数，其表征相对于所选目标之一的LIDAR未对准严重性或点密度中的至少一者。
本发明提供了以下技术方案：
1. 一种LIDAR到车辆对准系统，包括：
存储器，其被配置成存储基于一个或多个LIDAR传感器的输出和定位数据提供的数据点；
对准模块，其被配置成执行对准过程，包括
基于定位数据，确定主车辆是否正在转向，
响应于主车辆转向，选择数据点的一部分并聚集数据点的所选部分以提供聚集的数据，
基于聚集的数据选择目标，以及
基于所选的目标，迭代地减少损失函数的损失值，以提供合成LIDAR到车辆变换矩阵；和
自主驾驶模块，其被配置成
基于合成LIDAR到车辆变换矩阵，将数据点的至少所选部分转换到车辆坐标或世界坐标中的至少一者，以提供合成数据，以及
基于合成数据执行一个或多个自主驾驶操作。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成从全局位置传感器或惯性测量传感器中的一者或多者接收定位数据。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成当主车辆没有拐弯时，抑制执行数据选择和聚集以及目标选择。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成基于转向点选择数据点和目标。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成基于转向点选择区域，基于所选区域移除地面点，识别多个目标，并执行数据聚类算法以选择所述多个目标中的一个来监视。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成累积多个场景的LIDAR数据，并且基于所述多个场景的LIDAR数据，最小化损失值。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成执行连续性检查，以确定选择哪些数据点以及丢弃哪些数据点。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成：
聚集预定义空间的数据的LIDAR扫描；
基于数据的聚集LIDAR扫描，执行目标选择；和
在执行目标选择之后，使用强度过滤器和随机过滤器对与数据的聚集LIDAR扫描相关联的每帧数据进行下采样，以提供合成目标数据。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成：
取得多个LIDAR扫描中每一个的z值；
获得与LIDAR扫描相关联的聚集数据的正态分布，以提取与LIDAR扫描相关联的聚集数据的第一平均值；
选择第一平均值周围的数据；
获得第一平均值周围的所选数据的另一正态分布，以获得不基于地面点的第二平均值；
提取第二平均值周围的地面点；
将除地面点之外的数据标记为目标数据；和
当收集了预定量的目标数据时，执行聚类算法以选择目标数据的一部分。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成，当迭代地减小损失值时：
加载优化参数和初始估计的LIDAR到车辆变换矩阵；并且
迭代地
改变初始估计的LIDAR到车辆变换矩阵或最后确定的LIDAR到车辆变换矩阵，以提供合成LIDAR到车辆变换矩阵，
评估合成LIDAR到车辆变换矩阵中的改变，包括确定损失值，以及
基于损失值，确定是否执行另一次迭代。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成当评估损失函数时：
使用合成LIDAR到车辆变换矩阵来计算LIDAR到世界变换矩阵；
基于LIDAR到世界变换矩阵将聚集数据投影到世界坐标数；
将二叉树应用于世界坐标数据；
通过为每个LIDAR数据点计算到相邻数据点的距离来提供距离；和
基于所述多个距离的平均值来确定损失值。
根据技术方案1所述的LIDAR到车辆对准系统，其中，所述损失函数是基于密度的损失函数，其表征相对于所选目标之一的LIDAR未对准严重性或点密度中的至少一者。
一种自主车辆驾驶方法，包括：
存储基于一个或多个LIDAR传感器的输出和定位数据提供的数据点；
执行LIDAR到车辆对准过程，包括
基于定位数据，确定主车辆是否正在转向，
响应于主车辆转向，选择数据点的一部分并聚集数据点的所选部分以提供聚集数据，
基于聚集数据选择目标，以及
基于所选目标，迭代地减少损失函数的损失值以提供合成LIDAR到车辆变换矩阵；
基于合成LIDAR到车辆变换矩阵，将数据点的至少所选部分转换到车辆坐标或世界坐标中的至少一者，以提供合成数据；以及
基于合成数据执行一个或多个自主驾驶操作。
根据技术方案13所述的自主车辆驾驶方法，进一步包括：
基于转向点选择区域；
基于所选区域移除地面点；
识别多个目标；和
执行数据聚类算法以选择所述多个目标中的一个来监视。
根据技术方案13所述的自主车辆驾驶方法，进一步包括：
执行连续性检查，以确定选择哪些数据点以及丢弃哪些数据点；和
累积多个场景的LIDAR数据，并且基于多个场景的LIDAR数据，最小化损失值。
根据技术方案13所述的自主车辆驾驶方法，进一步包括：
聚集预定义空间的数据的LIDAR扫描；
基于数据的聚集LIDAR扫描，执行目标选择；和
在执行目标选择之后，使用强度过滤器和随机过滤器对与数据的聚集LIDAR扫描相关联的每帧数据进行下采样，以提供合成目标数据。
根据技术方案13所述的自主车辆驾驶方法，进一步包括：
取得多个LIDAR扫描中的每一个的z值；
基于与LIDAR扫描相关联的聚集数据确定至少一个平均值；
基于所述至少一个平均值提取地面点；
将除地面点之外的数据标记为目标数据；和
当收集了预定量的目标数据时，执行聚类算法以选择目标数据的一部分。
根据技术方案13所述的自主车辆驾驶方法，进一步包括，当迭代地减小损失值时：
加载优化参数和初始估计的LIDAR到车辆变换矩阵；和
迭代地
改变初始估计的LIDAR到车辆变换矩阵或最后确定的LIDAR到车辆变换矩阵，以提供合成LIDAR到车辆变换矩阵，
评估合成LIDAR到车辆变换矩阵的改变，包括确定损失值，以及
基于损失值，确定是否执行另一次迭代。
根据技术方案13所述的自主车辆驾驶方法，进一步包括，当评估损失函数时：
使用合成LIDAR到车辆变换矩阵来计算LIDAR到世界变换矩阵；
基于LIDAR到世界变换矩阵将聚集数据投影到世界坐标数据；
基于世界坐标数据，通过为每个LIDAR数据点计算到相邻数据点的距离来提供距离；和
基于距离的平均值来确定损失值。
根据技术方案13所述的自主车辆驾驶方法，其中，所述损失函数是基于密度的损失函数，其表征相对于所选目标之一的LIDAR未对准严重性或点密度中的至少一者。根据详细描述、权利要求和附图，本公开的另外应用性领域将变得清楚。详细的描述和具体的示例仅仅旨在是出于说明的目的，而不旨在限制本公开的范围。
附图说明
根据详细描述和附图，本公开将得到更全面理解，其中：
根据详细描述和附图，本公开将得到更全面理解，其中：
图1是包括根据本公开的对准验证模块的示例车辆系统的功能框图；
图2是根据本公开的包括车辆和后台办公室的示例对准系统的功能框图；
图3图示了根据本公开的示例对准方法；
图4更详细地图示了图3的对准方法；
图5图示了根据本公开的示例缓冲器管理和数据过滤方法；
图6图示了根据本公开的示例特征提取和过滤算法；
图7图示了根据本公开的示例目标选择算法；
图8图示了根据本公开的示例优化算法；
图9是使用根据本公开的第一密度表征方法的损失对平移距离的示例绘图；和
图10是使用根据本公开的第二密度表征方法的损失对平移距离的示例绘图。
在附图中，附图标记可以重复用于识别相似和/或相同的元件。
具体实施方式
自主驾驶模块可以执行传感器对准和融合操作、感知和定位操作、以及路径规划和车辆控制操作。所陈述的操作可以基于从各种传感器收集的数据以及从全局定位系统（GPS）收集的数据来执行，所述传感器诸如是LIDAR传感器、雷达传感器、摄像机和惯性测量传感器（或惯性测量单元）。传感器对准和融合可以包括每个传感器的坐标系与诸如车辆坐标系的参考坐标系的对准。融合可以指代收集和组合来自各种传感器的数据。
感知是指对车辆周围环境的监视以及对周围环境中各种特征和/或物体的检测和识别。这可以包括确定特征和物体的各个方面。如本文使用的术语“特征”指代能够可靠地用于确定物体位置的一个或多个检测点。这与检测到的其他数据点不同，其他数据点不提供关于物体位置的可靠信息，例如树叶或树枝上的点。所确定的方面可以包括物体距离、位置、大小、形状、取向、轨迹等。这可以包括确定检测到的物体的类型，例如，该物体是否是交通标志、车辆、电线杆、行人、地面等。也可以检测车道标志信息。特征可以指代建筑物的表面、边缘或角落。定位是指确定的关于主车辆的信息，诸如位置、速度、航向等。基于收集的感知和定位信息执行路径规划和车辆控制（例如，制动、转向和加速）。
车辆可以包括多个LIDAR传感器。包括LIDAR到车辆对准和LIDAR到LIDAR对准的LIDAR传感器对准影响所确定的感知和定位信息的准确性，所确定的感知和定位信息包括特征和物体信息，诸如上文所述。GPS测量用于车辆定位、地图绘制和LIDAR对准。
从不同LIDAR传感器收集的数据在被评估之前被变换（或投影）到相同的坐标系。例如，LIDAR数据可以被变换到车辆坐标系或世界坐标系。该变换的准确性基于对准系统的对准状态。对准是指用于将LIDAR坐标数据变换为车辆坐标数据的变换矩阵TLtoV中的条目是否有效。变换矩阵TLtoV可以用于将车辆坐标系中的坐标变换到LIDAR坐标数据。由于各种原因，随着时间的推移，对准可能变得劣化或不正确，使得变换矩阵TLtoV的条目不再有效。由于传感器的未对准、传感器的振动、事故等，对准可能变得劣化。LIDAR传感器的重新对准可以由经训练的服务技术人员使用特殊设备在对准服务中心离线执行。车辆的客户通常不能执行LIDAR传感器的离线对准。
LIDAR帧的聚集包括使用定位数据，诸如GPS数据和来自惯性测量单元（IMU）的数据、LIDAR数据和LIDAR到车辆坐标对准变换矩阵TLtoV（以下称为“变换矩阵TLtoV”）。变换矩阵TLtoV用于提供车辆坐标系中的合成数据。如果没有执行对准，则由于变换矩阵TLtoV中的误差，合成图像是模糊的。当执行例如自主车辆机动、物体检测、碰撞避免等时，未对准可能引起误差。
本文阐述的示例包括在线未对准检测和校正。提供了一种对准算法，其包括确定用于在LIDAR和车辆坐标之间变换数据的有效变换矩阵TLtoV。公开了一种对准算法，其最大化所选目标的聚集LIDAR点云的点密度。当点云的体积增加（或点云的密度减少）时，对准误差的量趋于增加。通过增加与所选目标相关联的点密度和/或减少点的体积，图像的锐度得到改进，并且对准误差量减少。
对准算法包括：动态处理LIDAR数据以计算对准结果的子算法；在拐弯机动期间自动选择一个或多个目标的子算法；一个或多个损失函数的使用；优化所使用的一个或多个损失函数的子算法；和使用多个场景数据生成结果的子算法。损失函数可以是用于表征未对准严重性的基于密度的损失函数。优化一个或多个损失函数的子算法加速了正在执行的对应迭代过程，如下面进一步解释的。每个数据场景指代为车辆驾驶过的特定区域收集的LIDAR数据图像集。为多个场景收集的数据用于改进合成确定的变换的鲁棒性。对准算法执行目标选择，并且适用于用于对准目的的任何形状目标。
变换矩阵TLtoV可以由等式1表示，其中R是3×3旋转矩阵，并且T是平移向量。旋转矩阵R是基于滚动、俯仰和偏航角生成的，如等式2所示。平移向量T可以由等式3表示，并且是用于平移的3×1向量，其中Tx、Ty、Tz是x、y和z方向的平移值。R和T取决于Tx、Ty、Tz以及滚动、俯仰和偏航角。
变换矩阵 （1）
（2）
（3）。
车辆坐标中的数据等于变换矩阵TLtoV和收集的LIDAR传感器数据的乘积。变换矩阵TLtoV的逆可以用于从车辆坐标变换到LIDAR坐标。
本文阐述的示例包括LIDAR到车辆对准系统和算法，其“在线”生成变换矩阵TLtoV。变换矩阵TLtoV用于提供LIDAR和车辆坐标之间的动态线性映射。这为个体车辆以及大型车队提供了动态校准，同时最小化和/或消除了对于制造厂、经销商和/或服务站对准的需要。
图1示出了包括在线对准模块104的车辆102的示例车辆系统100。下面参考图1-10进一步描述由在线对准模块104执行的操作。车辆系统100可以包括自主驾驶模块105、车身控制模块（BCM）107、远程信息处理模块106、推进控制模块108、动力转向系统109、制动系统111、导航系统112、信息娱乐系统114、空调系统116和其他车辆系统和模块118。自主驾驶模块105包括在线对准模块104、融合模块113、感知模块115、地图绘制和定位模块117以及路径规划模块121。地图绘制和定位模块117可以包括GPS校正模块。下面进一步描述这些模块的操作。
模块和系统104-108、112-115、118和121可以经由控制器局域网（CAN）总线、以太网、局域互联网络（LIN）总线、另一总线或通信网络和/或无线地彼此通信。项目119可以指代和/或包括CAN总线、以太网、LIN总线和/或其他总线和/或通信网络。该通信可以包括其他系统，诸如系统109、111、116。电源122可以被包括并且为自主驾驶模块105和其他系统、模块、设备和/或部件供电。电源122可以包括附件电源模块、一个或多个电池、发电机和/或其他电源。
远程信息处理模块106可以包括收发器130和远程信息处理控制模块132。推进控制模块108可以控制推进系统136的操作，该推进系统136可以包括引擎系统138和/或一个或多个电动马达140。引擎系统138可以包括内燃机141、起动机马达142（或起动机）、燃料系统144、点火系统146和节气门系统148。
自主驾驶模块105可以基于来自传感器160的数据控制模块和系统106、108、109、111、112、114、116、118以及其他设备和系统。其他设备和系统可以包括门和窗致动器162、内部灯164、外部灯166、后备箱马达和锁168、座椅位置马达170、座椅温度控制系统172和车辆后视镜马达174。传感器160可以包括温度传感器、压力传感器、流率传感器、位置传感器等。传感器160可以包括LIDAR传感器180、雷达传感器182、摄像机184、惯性测量传感器186、GPS传感器190和/或其他环境和特征检测传感器。GPS传感器190可以被实施为导航系统112的一部分。LIDAR传感器180、惯性测量传感器186和GPS传感器190可以提供下面提到的LIDAR数据点、惯性测量数据和GPS数据。
自主驾驶模块105可以包括存储器192，该存储器192可以存储传感器数据、历史数据、对准信息等。存储器192可以包括下面提到的专用缓冲器。
图2示出了示例对准系统200，其包括第一（或主）车辆（例如，图1的车辆102）和/或其他车辆、分布式通信网络202和后台办公室204。主车辆包括自主驾驶模块105、车辆传感器160、远程信息处理模块106和致动器210。致动器210可以包括马达、驱动器、阀、开关等。
后台办公室204可以是为车辆提供服务的中央办公室，包括数据收集和处理服务。后台办公室204可以包括收发器211和具有控制模块216和存储器218的服务器214。此外或作为替代，车辆可以与服务器之外的其他基于云的网络设备通信。
自主驾驶模块105可以包括传感器数据收集模块212、在线对准模块104、融合模块113、感知模块115、地图绘制和定位模块117以及路径规划模块121。传感器数据收集模块212可以从传感器160收集数据，包括来自多个LIDAR传感器的LIDAR数据。在线对准模块104可以基于传感器160（例如，传感器180、182、184、186、190）的输出来执行传感器对准操作，如下面进一步描述的。融合模块113在被变换成例如车辆或世界坐标之后聚集从差异传感器接收的数据。聚集可以是基于时间的。
在线对准模块104确定LIDAR传感器和/或其他传感器是否对准，这意味着由LIDAR传感器和/或其他传感器为相同的一个或多个特征和/或物体提供的信息的差异在彼此的预定范围内。在线对准模块104可以确定LIDAR传感器的六个自由度的差值，包括滚动、俯仰、偏航、x、y和z差值，并且基于该信息确定LIDAR传感器是否对准。x坐标可以指代横向水平方向。y坐标可以指代前和后或纵向方向，并且z方向可以指代竖直方向。x、y、z坐标可以不同地交换和/或定义。如果没有对准，则可以重新校准一个或多个LIDAR传感器和/或可以执行下面如进一步描述的对准过程。
感知模块115可以基于从融合模块113提供的变换和聚集的传感器数据来执行感知操作。接收的数据可以用于确定对应主车辆（例如，图1的车辆102）周围的环境的方面。这可以包括（i）生成如上陈述的感知信息，和/或（ii）特征和物体的检测和识别，如果还没有执行的话，以及确定特征和物体相对于主车辆102的位置、距离和轨迹。映射和定位模块117map执行GPS映射和定位操作，包括实时GPS定位，这指代提供主车辆的当前位置的GPS信息。
路径规划模块121可以基于地图绘制和定位模块117的输出来确定车辆的路径。路径规划模块121可以执行自主车辆操作，其包括基于确定的路径控制车辆102的操作，包括控制动力转向系统109、推进控制模块108、制动系统111和/或图1的其他系统和设备的操作。这可以包括控制致动器210的操作和/或执行报告信息、生成警报消息、警报附近的车辆等。自主车辆操作可以包括碰撞避免操作和/或信息报告操作。
自主驾驶模块105可以在离线模式或在线模式下操作。离线模式指代当后台办公室204为自主驾驶模块105收集数据并执行数据处理时。这可以包括，例如，从车辆102收集GPS数据，并执行GPS定位校正和用于数据注释的LIDAR对准，并将校正的GPS数据和数据注释提供回到自主驾驶模块105。自主驾驶模块105的神经网络可以基于数据注释来训练。GPS位置校正可以在数据注释之前进行。尽管图2中未示出，但服务器214的控制模块216可以包括模块212、104、113中的一者或多者，和/或执行与模块212、104和/或113中的一者或多者类似的操作。
在离线模式期间，服务器214正在处理先前在延长的时间段内收集的数据。在在线模式期间，自主驾驶模块105执行GPS定位校正和/或LIDAR对准。这可以借助或不借助基于云的网络设备（诸如服务器214）来实现。在在线模式期间，自主驾驶模块105使用收集的和/或历史数据执行实时GPS定位和LIDAR对准。这可以包括从其他车辆和/或基础设施设备收集的数据。基于云的网络设备可以提供历史数据、历史结果和/或执行其他操作来帮助实时GPS定位和LIDAR对准。实时GPS定位是指提供主车辆当前位置的GPS信息。为一个或多个LIDAR传感器的当前状态生成LIDAR对准信息。
模块105、212、104、113、115、117、121可以访问存储器192。存储器192可以包括例如原始数据缓冲器220、目标数据缓冲器222、结果变换矩阵缓冲器224和其他缓冲器226。原始数据缓冲器220可以存储从诸如图1的LIDAR传感器180的传感器收集的原始数据。目标数据缓冲器222可以存储与一个或多个所选目标相关联的数据。结果变换矩阵缓冲器224可以存储使用图3-8的方法和算法确定的所确定的变换矩阵。
图3示出了示例对准方法，其可以由图1-2的在线对准模块104实施。对准方法可以包括图4-8的方法和算法，其可以由图1-2的系统实施。执行对准方法以确定最佳对准变换矩阵TLtoV，其是4×4矩阵。变换矩阵是一种线性映射，其可以用于从车辆到LIDAR坐标或从LIDAR到车辆坐标的动态变换。对准方法可以迭代地执行，并且可以在300开始。在302，LIDAR数据和定位数据可以被加载到原始数据缓冲器220中。LIDAR数据的时间戳i可以由等式4表示。定位数据可以由等式5表示，并且可以由GPS传感器190和/或惯性测量传感器186提供。传感器190和186提供车辆取向和平移信息。等式5提供了车辆（V）到世界（W）变换矩阵T VtoW，i 。
（4）
，其中/> （5）。
在304，在线对准模块104可以确定车辆102是否正在拐弯。拐弯（或转向）是指当车辆向左或向右转时。这可能包括进行左手转向和右手转向、掉头、在环形入口坡道或出口坡道上驾驶等。如果车辆正在拐弯，则执行操作306，否则执行操作302。这确保了在执行对准时车辆正在移动。如果车辆没有移动，则不执行对准。在一个实施例中，如果车辆没有转向，则不执行对准。
在306，在线对准模块104选择并聚集与拐弯（或转向）事件相关联的数据。世界坐标L W 中的聚集LIDAR数据可以由等式6表示，其中X是矩阵乘法，，并且基于转向点选择特定点，如下面进一步描述的。图3的方法是一种优化方法，该方法从变换矩阵TLtoV的初始估计和/或缺省值开始，并且然后包括优化该矩阵中的条目。
（6）。
在308，在线对准模块104基于聚集的数据执行目标选择。在线对准模块104确定转向点，并基于该转向点确定要监视的所选区域。所选区域的周界可以是圆形的，并且离转向点有预定的距离。从所选区域中移除地面点，并选择所选区域中的一个或多个目标来监视。地面点j选自，其中等式7成立为真。移除地面点，并且然后实施数据聚类算法，诸如基于密度的带噪声应用空间聚类（DBSCAN）算法，以识别和选择一个或多个目标。每个目标（例如灯杆、交通标志、树等）以与地面点相关联的最大点数被选择。
在310，在线对准模块104确定目标数据缓冲器222是否已满。如果是，则执行操作312，否则可以执行操作302。一旦存在足够的目标数据（例如，与3-10个目标相关联的数据），则执行操作312。
在312，在线对准模块104执行损失函数的优化，这可以由等式7表示。在线对准模块104搜索最佳对准变换矩阵TLtoV，以利用基于梯度的变步长优化来最小化损失函数。
（7）。
执行损失函数的优化，以最小化点相对于目标的参考点的距离，并且因此最大化每个目标的点密度，并且结果锐化一个或多个目标的图像。该方法可以在执行操作312之后在314结束。上面陈述的方法提供了总体流程，并且包括（i）动态目标选择算法和（ii）快速优化算法。
图4更详细地示出了图3的对准方法。该方法可以在400开始。在402，在线对准模块104例如从传感器186、190加载LIDAR帧和惯性导航系统（INS）数据。LIDAR帧和INS数据可以被加载到例如自主驾驶模块105的队列中。
在404，在线对准模块104累积N帧数据，以便构建扫描。在406，在线对准模块104使用插值计算对应于定位数据的INS系统数据。
在408，在线对准模块104确定车辆速度是否大于预定速度阈值。如果是，则执行操作410，否则执行操作402。在410，在线对准模块104将LIDAR数据和定位数据存储在原始数据缓冲器220中。
在412，在线对准模块104运行如图5中所示的缓冲管理和数据过滤算法（或方法）。在414，在线对准模块104运行如图6中所示的特征提取和过滤算法。
在416，在线对准模块104累积多个场景的数据。累积多个不同场景（例如，与多个拐弯事件相关联的场景）的数据。积累多个场景的数据以改进鲁棒性。每个场景可以与一个或多个目标相关联。在418，在线对准模块104运行优化算法并将结果保存在结果变换矩阵缓冲器224中。
在420，在线对准模块104确定存储在原始数据缓冲器220中的所有原始数据是否都用于该方法的当前迭代。如果是，则执行操作422，否则执行操作402。在422，在线对准模块104报告对准结果。这可以包括报告变换矩阵T LtoV 以供未来使用。在执行操作422之后，该方法可以在424结束。
图5图示了示例缓冲器管理和数据过滤方法。该方法可以迭代执行，并且可以在500开始。在502，在线对准模块104将车辆到世界变换数据转换成6参数数据，其包括Tx、Ty、Tz、滚动（α）、俯仰（β）、偏航（ɣ）数据。
在504，在线对准模块104将LIDAR数据、车辆到世界变换数据和6参数数据附加到一个或多个缓冲器（例如，原始数据缓冲器220和其他缓冲器226中的一个或多个）。在一个实施例中，三个原始数据缓冲器用于分别存储LIDAR数据、车辆到世界变换数据和6参数数据。在506，在线对准模块104为6个参数中的每一个加载相当于6个参数数据的最后两个缓冲事件。
在508，在线对准模块104确定两个连续事件的数据价值之间的差是否大于预定的差阈值。如果是，则执行操作510，否则执行操作502。实施操作506和508以执行连续性检查并检测不连续性（或误差）。例如，如果车辆正在移动，并且两个连续事件的数据指示车辆静止不动或者车辆在错误的方向上移动，则存在不连续性和/或误差。如果存在不连续性和/或误差，则执行操作510以从存储数据记录的一个或多个缓冲器中移除对应的数据记录。如果不存在不连续性和/或误差，则执行操作502。
在512，在线对准模块104确定存储在一个或多个缓冲器中的数据量是否大于最大阈值。在514，在线对准模块104从一个或多个缓冲器中移除数据的初始数据点（或数据的最旧存储的数据点），并将数据就绪标志设置等于真。在执行操作514之后，该方法可以在516结束。
图6图示了示例特征提取和过滤算法。该算法可以迭代执行，并且可以在600开始。在602，在线对准模块104确定就绪标志是否等于真。如果是，则执行操作604，否则该方法可以在624结束。
在604，在线对准模块104计算缓冲时段期间的偏航角改变。在606，在线对准模块104确定偏航角改变是否大于预定角度阈值（例如，80°或90°）。如果是，则执行操作608，否则该方法可以在624结束。
在608，在线对准模块104确定关于转向位置的信息。该信息可以包括转向角（例如，在45°的偏航角改变）和/或转向是否长于预定的距离阈值（例如，20米）。
在610，在线对准模块104确定转向位置信息是否可用。如果是，则执行操作612，否则该方法可以在624结束。在612，在线对准模块104为顺序收集的数据点计算车辆Tx和Ty值的改变。
在614，在线对准模块104如果数据中存在不连续性并且改变大于预定阈值，则该方法可以在624结束，否则可以执行操作616。在616，在线对准模块104聚集预定义区域内的数据的LIDAR扫描以用于数据选择。例如，转向参考点x，y附近的区域，诸如在x+20到x+40，y+30到y+60的范围内。执行操作616用于区域选择，其中在后续操作中选择目标。在618，在线对准模块104执行目标选择，如下面关于图7的方法所述。
在620，在线对准模块104使用强度过滤器和随机过滤器对每个数据帧进行下采样，以最小化计算量。在622，将目标数据保存到目标数据缓冲器222，清除一个或多个缓冲器中的原始数据（例如，清除最后800帧），并将数据就绪标志设置等于假。将数据就绪标志设置等于假使得在线对准模块104等待另一预定量的数据被收集在一个或多个缓冲器中（例如，在原始数据缓冲器中）。在执行操作622之后，图6的方法可以在624结束。
在上述方法中，预定数量的数据帧（例如，800帧）被收集在第一个一个或多个缓冲器（原始数据缓冲器）中，在选择目标并且从帧数据获得的对应目标数据被存储在第二个一个或多个缓冲器（目标数据缓冲器）中之后，所述预定数量的数据帧（例如，800帧）被清除。选择目标，并将目标数据存储在第二个一个或多个缓冲器中，直到执行优化才清除所述第二个一个或多个缓冲器。
图7图示了示例目标选择算法。该算法可以迭代执行，并且可以在700开始。在702，在线对准模块104获得每次LIDAR扫描的z值。大多数LIDAR数据点都是地面点。出于该原因，计算在z方向上执行。
在704，在线对准模块104获得LIDAR数据的正态分布以提取平均值。在706，在线对准模块104选择平均值加上或减去第一阈值（或预定值）周围的数据。在708，在线对准模块104获得所选数据的正态分布，以确定不基于地面点的另一平均值。
在710，在线对准模块104提取另一平均值加上或减去第二阈值（或预定值）周围的地面点。这可以使用等式8来实施。地面点从LIDAR点云中识别并在竖直维度z中移除，其中ε是参考所选数据点的平均值的阈值。
（8）。
在712，在线对准模块104将其他数据点标记为目标数据。
在714，在线对准模块104确定存储在目标数据缓冲器222中的目标数据量是否大于第三阈值。如果是，则该方法可以在724结束，否则可以执行操作716。
在716，在线对准模块104对目标数据执行聚类（例如，执行DBSCAN以找到聚类）。在718，在线对准模块104选择具有最多点的N个目标。在720，在线对准模块104基于预定义的空间过滤器选择地面点。
在722，在线对准模块104聚集所有选择的目标数据和地面数据，并将聚集的数据保存到目标数据缓冲器222。在执行操作720之后，该方法可以在724结束。
图8图示了优化对准结果（或变换矩阵TLtoV）的示例优化算法。这可以通过降低和最小化诸如使用公式8计算的损失来实现。该算法可以迭代执行，并且可以在800开始。在802，在线对准模块104加载5个优化参数（Tx，Ty，α，β，ɣ）和对准矩阵TLtoV的初始估计，并将步长值设置为等于0。未加载参数Tz。
在804，在线对准模块104确定步长值是否大于预定的步长数阈值。如果是，则该方法可以在826结束，否则执行操作806。
在806，在线对准模块104通过基于平移改变（例如，0.1米或/>0.2度）进行对5个参数（Tx，Ty，α，β，ɣ ）中的一个或多个的改变来增加或减少对准结果。
在808，在线对准模块104评估损失函数。该评估可以包括：（i）使用当前对准结果（TLtoV）计算LIDAR到世界变换矩阵TLtoW；（ii）将聚集LIDAR数据投影到世界坐标（TVtoW,I XTLtoV X Li）；（iii）将K-D树应用于世界坐标数据；（iv）对于每个点，计算到相邻点的距离；以及（v）使用所有距离的平均值作为由损失函数提供的损失（或损失值）,类似于等式8所示。K-D树用于组织数据和快速确定距离。K-D树是一种二叉树，其中每个节点都是K维点。在810，如果损失减少，则在线对准模块104更新对准结果。如果损失减少（即改进），则维持在806做出的改变。
在812，在线对准模块104确定对于该方法的最后两次迭代，对准结果改变是否在相同的方向上。例如，最后两次迭代可能在一个或多个参数中具有相同的增加量，或者在一个或多个参数中具有相同的减少量。
在814，在线对准模块104确定改变是否在第一预定义的范围内。如果是，则执行操作816，否则执行操作818。在816，在线对准模块104增加在806做出的改变。例如，该变化可以增加0.2米和/或0.4度。在818，在线对准模块104维持在806做出的改变。
在820，在线对准模块104确定改变是否在第二预定义的范围内。如果是，则执行操作822，否则执行操作818。在822，在线对准模块104减少在806做出的改变。例如，该改变可以减小0.5米和/或0.1度。
在824，在线对准模块104确定损失的改变是否小于预定的损失阈值。如果是，则该方法可以在826结束，否则执行操作804。
图8的优化算法（或方法）包括搜索最佳LIDAR到车辆变换矩阵TLtoV，其利用基于梯度的变步长优化来最小化损失函数。优化算法可以附加地或替代地实施随机梯度下降（SGD）算法、均方根传播和自适应梯度算法（或自适应动量（ADAM）算法）、粒子群优化（PSO）和通用算法（GA）以优化对准结果（或变换矩阵TLtoV）。
在图8的方法中可以利用一个或多个不同的损失函数来表征点密度。增加所选目标的点密度，以改进图像清晰度和合成决策准确性。基于合成图像执行动作。作为第一示例，可以实施第一密度表征方法，其包括对于每个所选的数据点，确定在所选点的预定半径（例如，0.5米）内有多少其他点的计数。图9示出了使用第一密度表征方法的损失对平移距离的示例绘图。作为另一个示例，可以实施第二密度表征方法，其包括对于每个点，计算最近的20个点的平均距离。这可以包括使用等式8。图10示出了使用第二密度表征方法的损失对平移距离的示例绘图。作为第三示例，可以实施第三密度表征方法，其包括对于每个点，使用附近点上的点云对准（PCA）来计算三个特征值的和。
图3-8的上述操作意指是说明性的示例。取决于应用，操作可以顺序地、同步地、同时地、连续地、在重叠的时间段期间或者以不同的次序执行。此外，取决于实施方式和/或事件顺序，可以不执行或跳过任何操作。
前面的描述本质上仅仅是说明性的，并且决不是旨在限制本公开、其应用或用途。本公开的广泛教导可以以多种形式实施。因此，虽然本公开包括特定的示例，但是本公开的真实范围不应该被如此限制，因为在研究附图、说明书和所附权利要求后，其他修改将变得清楚。应当理解，在不变更本公开的原理的情况下，方法内的一个或多个步骤可以以不同的次序（或同时）执行。此外，尽管每个实施例在上面被描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在任何其他实施例的特征中实施和/或与任何其他实施例的特征组合，即使该组合没有被明确描述。换句话说，所描述的实施例不是互斥的，并且一个或多个实施例彼此的置换仍在本公开的范围内。
元件之间（例如，模块、电路元件、半导体层等之间）的空间和功能关系是使用各种术语来描述的，包括“连接”、“接合”、“耦合”、“相邻”、“紧挨着”、“在顶部”、“上方”、“下方”和“设置”。除非明确描述为“直接的”，否则当在以上公开中描述第一和第二元件之间的关系时，该关系可以是第一和第二元件之间不存在其他介入元件的直接关系，但是也可以是第一和第二元件之间存在一个或多个介入元件（空间上或功能上）的间接关系。如本文使用的，短语A、B和C中的至少一者应该被解释为意指逻辑（A“或”B“或”C），使用非排他的逻辑“或”，并且不应该被解释为意指“A中的至少一个、B中的至少一个和C中的至少一个”。
在图中，如箭头所指示的箭头方向通常表明对图示感兴趣的信息流（诸如数据或指令）。例如，当元件A和元件B交换多种信息，但是从元件A传输到元件B的信息与图示相关时，箭头可以从元件A指向元件B。该单向箭头不暗示着没有其他信息从元件B传输到元件A。此外，对于从元件A发送到元件B的信息，元件B可以向元件A发送对该信息的请求或接收确认。
在本申请中，包括下面的定义，术语“模块”或术语“控制器”可以用术语“电路”代替。术语“模块”可以指代以下各项中的一部分或包括以下各项：专用集成电路（ASIC）；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列（FPGA）；执行代码的处理器电路（共享、专用或群组）；存储由处理器电路执行的代码的存储器电路（共享的、专用的或群组的）；提供所述功能的其他合适的硬件部件；或者上述的一些或全部的组合，诸如在片上系统中。
该模块可以包括一个或多个接口电路。在一些示例中，接口电路可以包括连接到局域网（LAN）、互联网、广域网（WAN）或其组合的有线或无线接口。本公开的任何给定模块的功能可以分布在经由接口电路连接的多个模块中。例如，多个模块可以允许负载平衡。在另外的示例中，服务器（也称为远程或云）模块可以代表客户端模块完成一些功能。
如上面使用的术语代码可以包括软件、固件和/或微码，并且可以指代程序、例程、函数、类、数据结构和/或物体。术语共享处理器电路包括执行来自多个模块的一些或所有代码的单个处理器电路。术语组处理器电路包括处理器电路，其与附加的处理器电路组合，执行来自一个或多个模块的一些或所有代码。对多个处理器电路的引用包括分立管芯上的多个处理器电路、单个管芯上的多个处理器电路、单个处理器电路的多个核心、单个处理器电路的多个线程或者上述的组合。术语共享存储器电路包括存储来自多个模块的一些或所有代码的单个存储器电路。术语“组存储器电路”包括与附加存储器组合存储来自一个或多个模块的一些或所有代码的存储器电路。
术语存储器电路是术语计算机可读介质的子集。如本文使用的术语“计算机可读介质”不包括通过介质（诸如在载波上）传播的瞬态电信号或电磁信号；因此，术语“计算机可读介质”可以因此被认为是有形的和非暂时性的。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如闪存电路、可擦除可编程只读存储器电路或掩模只读存储器电路）、易失性存储器电路（诸如静态随机存取存储器电路或动态随机存取存储器电路）、磁存储介质（诸如模拟或数字磁带或硬盘驱动器）和光存储介质（诸如CD、DVD或蓝光光盘）。
本申请中描述的装置和方法可以部分或全部由专用计算机实施，该专用计算机是通过配置通用计算机来执行计算机程序中体现的一个或多个特定功能而创建的。上面描述的功能框、流程图部件和其他元件充当软件规范，其可以由熟练的技术人员或程序员的日常工作翻译成计算机程序。
计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统（BIOS）、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
计算机程序可以包括：（i）要被解析的描述性文本，诸如HTML（超文本标记语言）、XML（可扩展标记语言）或JSON（JavaScript物体符号）；（ii）汇编代码；（iii）由编译器从源代码生成的目标代码；（iv）由解释器执行的源代码；（v）由实时编译器编译和执行的源代码等。仅作为示例，源代码可以使用来自包括以下各项语言的语法来编写：C、C++、C#、Objective C、Swift、Haskell、Go、SQL、R、Lisp、Java®、Fortran、Perl、Pascal、Curl、OCaml、Javascript®、HTML5（超文本标记语言第五修订版）、Ada、ASP（活动服务器页面）、PHP （PHP：超文本预处理器）、Scala、Eiffel、Smalltalk、Erlang、Ruby、Flash®、VisualBasic®、Lua、MATLAB、SIMULINK和Python®。

Claims (10)

1.一种LIDAR到车辆对准系统，包括：
存储器，其被配置成存储基于一个或多个LIDAR传感器的输出和定位数据提供的数据点；
对准模块，其被配置成执行对准过程，包括
基于定位数据，确定主车辆是否正在转向，
响应于主车辆转向，选择数据点的一部分并聚集数据点的所选部分以提供聚集的数据，
基于聚集的数据选择目标，以及
基于所选的目标，迭代地减少损失函数的损失值，以提供合成LIDAR到车辆变换矩阵；和
自主驾驶模块，其被配置成
基于合成LIDAR到车辆变换矩阵，将数据点的至少所选部分转换到车辆坐标或世界坐标中的至少一者，以提供合成数据，以及
基于合成数据执行一个或多个自主驾驶操作。
2.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成从全局位置传感器或惯性测量传感器中的一者或多者接收定位数据。
3.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成当主车辆没有拐弯时，抑制执行数据选择和聚集以及目标选择。
4.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成基于转向点选择数据点和目标。
5.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成基于转向点选择区域，基于所选区域移除地面点，识别多个目标，并执行数据聚类算法以选择所述多个目标中的一个来监视。
6.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成累积多个场景的LIDAR数据，并且基于所述多个场景的LIDAR数据，最小化损失值。
7.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成执行连续性检查，以确定选择哪些数据点以及丢弃哪些数据点。
8.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成：
聚集预定义空间的数据的LIDAR扫描；
基于数据的聚集LIDAR扫描，执行目标选择；和
在执行目标选择之后，使用强度过滤器和随机过滤器对与数据的聚集LIDAR扫描相关联的每帧数据进行下采样，以提供合成目标数据。
9.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成：
取得多个LIDAR扫描中每一个的z值；
获得与LIDAR扫描相关联的聚集数据的正态分布，以提取与LIDAR扫描相关联的聚集数据的第一平均值；
选择第一平均值周围的数据；
获得第一平均值周围的所选数据的另一正态分布，以获得不基于地面点的第二平均值；
提取第二平均值周围的地面点；
将除地面点之外的数据标记为目标数据；和
当收集了预定量的目标数据时，执行聚类算法以选择目标数据的一部分。
10.根据权利要求1所述的LIDAR到车辆对准系统，其中，所述对准模块被配置成，当迭代地减小损失值时：
加载优化参数和初始估计的LIDAR到车辆变换矩阵；并且
迭代地
改变初始估计的LIDAR到车辆变换矩阵或最后确定的LIDAR到车辆变换矩阵，以提供合成LIDAR到车辆变换矩阵，
评估合成LIDAR到车辆变换矩阵中的改变，包括确定损失值，以及
基于损失值，确定是否执行另一次迭代。
CN202211259264.XA 2022-01-06 2022-10-14 基于聚集的lidar数据对准 Pending CN116449356A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/569,948 US20230213633A1 (en) 2022-01-06 2022-01-06 Aggregation-based lidar data alignment
US17/569948 2022-01-06

Publications (1)

Publication Number Publication Date
CN116449356A true CN116449356A (zh) 2023-07-18

Family

ID=86766171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211259264.XA Pending CN116449356A (zh) 2022-01-06 2022-10-14 基于聚集的lidar数据对准

Country Status (3)

Country Link
US (1) US20230213633A1 (zh)
CN (1) CN116449356A (zh)
DE (1) DE102022128437A1 (zh)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9043069B1 (en) * 2012-11-07 2015-05-26 Google Inc. Methods and systems for scan matching approaches for vehicle heading estimation
US9835719B2 (en) * 2016-04-18 2017-12-05 Denso International America, Inc. Systems and methods for adaptive sensor angle positioning in vehicles
KR101877388B1 (ko) * 2016-07-21 2018-07-11 엘지전자 주식회사 차량용 라이다 장치
CN106405555B (zh) * 2016-09-23 2019-01-01 百度在线网络技术（北京）有限公司 用于车载雷达系统的障碍物检测方法和装置
KR102647693B1 (ko) * 2016-11-28 2024-03-15 주식회사 에이치엘클레무브 레이더 장치 및 그의 오차 보정 방법
US10509120B2 (en) * 2017-02-16 2019-12-17 GM Global Technology Operations LLC Lidar-radar relative pose calibration
CN110537109B (zh) * 2017-04-28 2024-02-20 深圳市大疆创新科技有限公司 用于自主驾驶的感测组件
US10386856B2 (en) * 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
CN109212530B (zh) * 2017-07-04 2022-03-11 阿波罗智能技术(北京)有限公司 用于确定障碍物速度的方法和装置
US10866313B2 (en) * 2017-07-07 2020-12-15 Waymo Llc Vehicle sensor synchronization using an external clock source
US10776983B2 (en) * 2018-02-27 2020-09-15 Nvidia Corporation Analysis of point cloud data using depth and texture maps
US10830869B2 (en) * 2018-05-15 2020-11-10 GM Global Technology Operations LLC Vehicle radar system and method of calibrating the same
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
WO2020006667A1 (en) * 2018-07-02 2020-01-09 Beijing DIDI Infinity Technology and Development Co., Ltd Vehicle navigation system using pose estimation based on point cloud
US10782136B2 (en) * 2018-09-28 2020-09-22 Zoox, Inc. Modifying map elements associated with map data
US11435194B2 (en) * 2019-01-28 2022-09-06 Uatc, Llc Scaffolds for globally consistent maps
US11906660B2 (en) * 2019-08-30 2024-02-20 Nvidia Corporation Object detection and classification using LiDAR range images for autonomous machine applications
CN111413721B (zh) * 2020-01-14 2022-07-19 华为技术有限公司 车辆定位的方法、装置、控制器、智能车和系统
CN113950703A (zh) * 2020-05-15 2022-01-18 百度时代网络技术（北京）有限公司 具有用于点云融合的探测器
CN111681172A (zh) * 2020-06-17 2020-09-18 北京京东乾石科技有限公司 协同构建点云地图的方法、设备和系统
US20210405185A1 (en) * 2020-06-30 2021-12-30 Tusimple, Inc. System and method providing truck-mounted sensors to detect trailer following vehicles and trailer conditions
US20220163635A1 (en) * 2020-11-23 2022-05-26 Harman International Industries, Incorporated Systems and methods for reducing cognitive workload and energy consumption by a sensor utilized on a vehicle
US20220197301A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Vehicle Localization Based on Radar Detections
CN112991537B (zh) * 2021-04-29 2021-09-10 深圳大学 城市场景重建方法、装置、计算机设备和存储介质
KR20230101560A (ko) * 2021-12-29 2023-07-06 현대자동차주식회사 차량용 라이다 시스템 및 그 객체 검출 방법

Also Published As

Publication number Publication date
US20230213633A1 (en) 2023-07-06
DE102022128437A1 (de) 2023-07-06

Similar Documents

Publication Publication Date Title
EP3875985B1 (en) Method, apparatus, computing device and computer-readable storage medium for positioning
CN108372857B (zh) 自主驾驶系统的通过事件发生和情节记忆回顾进行有效情景感知
JP7482978B2 (ja) 車両センサの較正及び位置特定
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
EP3875907B1 (en) Method, apparatus, computing device and computer-readable storage medium for positioning
CN111860493B (zh) 一种基于点云数据的目标检测方法及装置
CN113223317B (zh) 一种更新地图的方法、装置和设备
US11481913B2 (en) LiDAR point selection using image segmentation
CN111986128A (zh) 偏心图像融合
CN111860227A (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
CN112440990A (zh) 用于自主和半自主车辆的路径规划
US11741720B2 (en) System and method for tracking objects using using expanded bounding box factors
CN115436917A (zh) Lidar视轴对准误差和主车辆定位误差的协同估计和校正
US20220205804A1 (en) Vehicle localisation
CN111457933A (zh) 用于确定车道等级静态和动态信息的方法和设备
CN114968187A (zh) 用于自动驾驶系统的感知系统开发的平台
CN112712608B (zh) 用于通过车辆收集性能数据的系统和方法
US20220404506A1 (en) Online validation of lidar-to-lidar alignment and lidar-to-vehicle alignment
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116449356A (zh) 基于聚集的lidar数据对准
JP7429246B2 (ja) 対象を識別する方法とシステム
US20230266451A1 (en) Online lidar-to-ground alignment
CN113850209B (zh) 一种动态物体检测方法、装置、交通工具及存储介质
CN117826816A (zh) 用以解决智能队列定位误差的安全冗余方法
CN115965929A (zh) 一种基于点云的障碍物检测方法、装置和域控制器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination