CN115496782A - Lidar对lidar对准和lidar对车辆对准的在线验证 - Google Patents

Lidar对lidar对准和lidar对车辆对准的在线验证 Download PDF

Info

Publication number
CN115496782A
CN115496782A CN202210563210.6A CN202210563210A CN115496782A CN 115496782 A CN115496782 A CN 115496782A CN 202210563210 A CN202210563210 A CN 202210563210A CN 115496782 A CN115496782 A CN 115496782A
Authority
CN
China
Prior art keywords
lidar
alignment
point
lidar sensor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210563210.6A
Other languages
English (en)
Inventor
胡峣
X·杜
W·张
余浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN115496782A publication Critical patent/CN115496782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/18—Roll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种LIDAR对LIDAR对准系统，包括存储器和自主驾驶模块。存储器基于第一和第二LIDAR传感器的输出存储第一和第二点。自主驾驶模块执行验证过程以确定LIDAR传感器的对准是否满足对准条件。该验证过程包括：在车辆坐标系中聚集第一和第二点以提供聚集的LIDAR点；基于聚集的LIDAR点，执行（i）包括确定第一和第二LIDAR传感器之间的俯仰和横滚差的第一方法，（ii）包括确定第一和第二LIDAR传感器之间的偏航差的第二方法，或者（iii）点云配准以确定第一和第二LIDAR传感器之间的旋转和平移差；以及基于第一方法、第二方法或点云配准的结果，确定是否满足对准条件。

Description

LIDAR对LIDAR对准和LIDAR对车辆对准的在线验证
引言
本节中提供的信息是为了总体呈现本公开的背景。在本节中描述的程度上，目前命名的发明人的工作，以及在提交时可能不符合现有技术的描述的方面，既不明确也不隐含地被认为是本公开的现有技术。
技术领域
本公开涉及车辆对象检测系统，且更特别地，涉及车辆光检测和测距（LIDAR）系统。
背景技术
车辆可以包括用于检测周围环境和该环境中的对象的各种传感器。传感器可以包括摄像机、无线电检测和测距（RADAR）传感器、LIDAR传感器等。车辆控制器可以响应于检测到的环境来执行各种操作。这些操作可以包括执行部分和/或完全自主的车辆操作、防撞操作和信息报告操作。所执行的操作的准确性可以基于从传感器收集的数据的准确性。
发明内容
提供了一种LIDAR对LIDAR对准系统，该系统包括存储器和自主驾驶模块。存储器被配置成存储（i）基于第一LIDAR传感器的输出而提供的第一数据点，以及（ii）基于第二LIDAR传感器的输出而提供的第二数据点。自主驾驶模块被配置成执行验证过程以确定第一LIDAR传感器和第二LIDAR传感器的对准是否满足一个或多个对准条件。该验证过程包括：在车辆坐标系中聚集第一数据点和第二数据点，以提供聚集的LIDAR点；基于所聚集的LIDAR点，以下各者中的的至少一者：（i）执行包括确定第一LIDAR传感器和第二LIDAR传感器之间的俯仰和横滚差的第一方法，（ii）执行包括确定第一LIDAR传感器和第二LIDAR传感器之间的偏航差的第二方法，或者（iii）执行点云配准以确定第一LIDAR传感器和第二LIDAR传感器之间的旋转和平移差；基于第一方法、第二方法或点云配准中的至少一者的结果，确定是否满足所述一个或多个对准条件；以及响应于不满足所述一个或多个对准条件，重新校准第一LIDAR传感器或第二LIDAR传感器中的至少一者。
在其他特征中，自主驾驶模块进一步被配置成：确定是否满足多个使能条件，包括以下各者中的两者或更多者：确定车辆是否正在移动、确定车辆是否处于已知位置、确定车辆的速度是否大于预定速度、确定车辆的加速度是否大于预定加速度、或确定偏航率是否大于预定偏航率；以及响应于满足使能条件，聚集第一数据点和第二数据点。
在其他特征中，第一数据点和第二数据点的聚集包括：执行点配准以在第二时间处在第一LIDAR传感器的坐标系中映射第一时间处的第一数据点；聚集来自第一LIDAR传感器的映射的第一数据点以提供第一聚集点；执行点配准以在第二时间处在第二LIDAR传感器的坐标系中映射第一时间处的第二数据点；以及聚集来自第二LIDAR传感器的映射的第二数据点以提供第二聚集点。
在其他特征中，聚集第一数据点和第二数据点还包括：基于第一LIDAR传感器的旋转校准值和平移校准值将第一聚集点映射到车辆坐标系；以及基于第二LIDAR传感器的旋转校准值和平移校准值将第二聚集点映射到车辆坐标系。
在其他特征中，聚集第一数据点和第二数据点包括：基于第一LIDAR传感器的旋转校准值和平移校准值将第一数据点映射到车辆坐标系；以及基于第二LIDAR传感器的旋转校准值和平移校准值将第二数据点映射到车辆坐标系。
在其他特征中，自主驾驶模块被配置成：基于聚集的LIDAR点，执行地面拟合和选择以提供地面区域中的第一LIDAR传感器的第一选择点和地面区域中的第二LIDAR传感器的第二选择点；并且基于第一选择点和第二选择点执行第一方法。
在其他特征中，自主驾驶模块被配置成执行第一方法，并且基于第一方法的结果，确定是否满足所述一个或多个对准条件。
在其他特征中，自主驾驶模块被配置成执行第二方法，基于第二方法的结果，确定是否满足所述一个或多个对准条件。
在其他特征中，自主驾驶模块被配置成执行点云配准，并且基于点云配准的结果，确定是否满足所述一个或多个对准条件。
在其他特征中，自主驾驶模块被配置成执行第一方法、第二方法和点云配准，并且基于第一方法、第二方法和点云配准的结果，确定是否满足所述一个或多个对准条件。
在其他特征中，所述自主驾驶模块被配置成：整合来自所述第一方法、所述第二方法和所述点云配准中的一者或多者的结果，包括确定六个自由度的差值向量的加权和；以及响应于所述差值中一者或多者超过预定阈值，以下至少一者：（i）将第一LIDAR传感器和第二LIDAR传感器中的一者或多者识别为可疑的，或者（ii）重新校准第一LIDAR传感器和第二LIDAR传感器中的所述一者或多者。
在其他特征中，自主驾驶模块被配置成基于获知从第一LIDAR传感器坐标系到车辆坐标系的变换是准确的以及差值向量的加权和，确定从第二LIDAR传感器坐标系到车辆坐标系的变换是否准确。
在其他特征中，自主驾驶模块被配置成基于第一LIDAR传感器与车辆的对准结果和第二LIDAR传感器与车辆的对准结果，计算第一LIDAR传感器和第二LIDAR传感器之间的六个自由度差值。
在其他特征中，提供了一种LIDAR到LIDAR对准验证方法，并且该方法包括：在车辆坐标系中聚集第一数据点和第二数据点以提供聚集的LIDAR点，其中第一数据点是基于第一LIDAR传感器的输出提供的，并且第二数据点是基于第二LIDAR传感器的输出提供的；基于所聚集的LIDAR点，以下各者中的至少一者：（i）执行包括确定第一LIDAR传感器和第二LIDAR传感器之间的俯仰和横滚差的第一方法，（ii）执行包括确定第一LIDAR传感器和第二LIDAR传感器之间的偏航差的第二方法，或者（iii）执行点云配准以确定第一LIDAR传感器和第二LIDAR传感器之间的旋转和平移差；基于第一方法、第二方法或点云配准中的至少一者的结果，确定是否满足一个或多个对准条件；以及响应于不满足所述一个或多个对准条件，重新校准第一LIDAR传感器或第二LIDAR传感器中的至少一者。
在其他特征中，该方法还包括：确定是否满足多个使能条件，包括以下各者中的两者或更多者：确定车辆是否正在移动、确定车辆是否处于已知位置、确定车辆的速度是否大于预定速度、确定车辆的加速度是否大于预定加速度、或确定偏航率是否大于预定偏航率；以及响应于满足使能条件，聚集第一数据点和第二数据点。
在其他特征中，第一数据点和第二数据点的聚集包括：执行点配准以在第二时间处在第一LIDAR传感器的坐标系中映射第一时间处的第一数据点；聚集来自第一LIDAR传感器的映射的第一数据点以提供第一聚集点；执行点配准以在第二时间处在第二LIDAR传感器的坐标系中映射第一时间处的第二数据点；聚集来自第二LIDAR传感器的映射的第二数据点以提供第二聚集点；基于第一LIDAR传感器的旋转校准值和平移校准值将第一聚集点映射到车辆坐标系；以及基于第二LIDAR传感器的旋转校准值和平移校准值将第二聚集点映射到车辆坐标系。
在其他特征中，该方法还包括：基于聚集的LIDAR点，执行地面拟合和选择以提供地面区域中的第一LIDAR传感器的第一选择点和地面区域中的第二LIDAR传感器的第二选择点；以及基于第一选择点和第二选择点执行第一方法。
在其他特征中，该方法还包括执行第一方法和第二方法，并且基于第一方法和第二方法的结果，确定是否满足所述一个或多个对准条件。
在其他特征中，该方法还包括执行点云配准，并且基于点云配准的结果，确定是否满足一个或多个对准条件。
在其他特征中，该方法还包括执行第一方法、第二方法和点云配准，并且基于第一方法、第二方法和点云配准的结果，确定是否满足一个或多个对准条件。
本发明提供了以下技术方案：
1. 一种LIDAR到LIDAR对准系统，包括：
存储器，其被配置成存储（i）基于第一LIDAR传感器的输出提供的第一数据点，以及（ii）基于第二LIDAR传感器的输出提供的第二数据点；和
自主驾驶模块，其被配置成执行验证过程以确定所述第一LIDAR传感器和所述第二LIDAR传感器的对准是否满足一个或多个对准条件，所述验证过程包括
在车辆坐标系中聚集所述第一数据点和所述第二数据点以提供聚集的LIDAR点，
基于聚集的LIDAR点，以下至少一项
执行包括确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的俯仰和横滚差的第一方法，
执行包括确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的偏航差的第二方法，或者
执行点云配准以确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的旋转和平移差，
基于所述第一方法、所述第二方法或所述点云配准中的至少一者的结果，确定是否满足所述一个或多个对准条件，以及
响应于不满足所述一个或多个对准条件，重新校准所述第一LIDAR传感器或所述第二LIDAR传感器中的至少一者。
2. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块还被配置成：
确定是否满足多个使能条件，所述使能条件包括以下两者或更多者
确定所述车辆是否正在移动，
确定所述车辆是否处于已知位置，
确定所述车辆的速度是否大于预定速度，
确定所述车辆的加速度是否大于预定的加速度，或者
确定偏航率是否大于预定的偏航率；以及
响应于满足所述多个使能条件，聚集所述第一数据点和所述第二数据点。
3. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述第一数据点和所述第二数据点的聚集包括：
执行点配准以在第二时间处在所述第一LIDAR传感器的坐标系中映射第一时间处的第一数据点；
聚集来自所述第一LIDAR传感器的映射的第一数据点以提供第一聚集点；
执行点配准以在第二时间处在所述第二LIDAR传感器的坐标系中映射所述第一时间处的第二数据点；和
聚集来自所述第二LIDAR传感器的所映射的第二数据点，以提供第二聚集点。
4. 根据技术方案3所述的LIDAR对LIDAR对准系统，其中，所述第一数据点和所述第二数据点的聚集还包括：
基于所述第一LIDAR传感器的旋转校准值和平移校准值将所述第一聚集点映射到车辆坐标系；和
基于所述第二LIDAR传感器的旋转校准值和平移校准值将所述第二聚集点映射到车辆坐标系。
5. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述第一数据点和所述第二数据点的聚集包括：
基于第一LIDAR传感器的旋转校准值和平移校准值将所述第一数据点映射到车辆坐标系；和
基于第二LIDAR传感器的旋转校准值和平移校准值将所述第二数据点映射到车辆坐标系。
6. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成：
基于聚集的LIDAR点，执行地面拟合和选择以提供地面区域中的第一LIDAR传感器的第一选择点和地面区域中的第二LIDAR传感器的第二选择点；以及
基于所述第一选择点和所述第二选择点执行所述第一方法。
7. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述第一方法，并且基于所述第一方法的结果，确定是否满足所述一个或多个对准条件。
8. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述第二方法，基于所述第二方法的结果，确定是否满足所述一个或多个对准条件。
9. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述点云配准，并且基于所述点云配准的结果，确定是否满足所述一个或多个对准条件。
10. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述第一方法、所述第二方法和所述点云配准，并且基于所述第一方法、所述第二方法和所述点云配准的结果，确定是否满足所述一个或多个对准条件。
11. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成：
整合来自第一方法、第二方法和点云配准中的一者或多者的结果，包括确定六个自由度的差值向量的加权和；以及
响应于所述差值中的一个或多个超过预定阈值，以下中的至少一者：（i）将所述第一LIDAR传感器和所述第二LIDAR传感器中的一者或多者识别为可疑的，或者（ii）重新校准所述第一LIDAR传感器和所述第二LIDAR传感器中的所述一者或多者。
12. 根据技术方案11所述的LIDAR到LIDAR对准系统，其中，所述自主驾驶模块被配置成基于获知从所述第一LIDAR传感器坐标系到所述车辆坐标系的变换是准确的以及差值向量的加权和，确定从所述第二LIDAR传感器坐标系到所述车辆坐标系的变换是否是准确的。
13. 根据技术方案1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成基于所述第一LIDAR传感器对所述车辆的对准结果和所述第二LIDAR传感器对所述车辆的对准结果，计算所述第一LIDAR传感器和所述第二LIDAR传感器之间的六个自由度差值。
14. 一种LIDAR到LIDAR对准验证方法，包括：
在车辆坐标系中聚集所述第一数据点和所述第二数据点以提供聚集的LIDAR点，其中，所述第一数据点是基于所述第一LIDAR传感器的输出提供的，并且所述第二数据点是基于第二LIDAR传感器的输出提供的；
基于聚集的LIDAR点，以下至少一项：
执行包括确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的俯仰和横滚差的第一方法，
执行包括确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的偏航差的第二方法，或者
执行点云配准以确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的旋转和平移差；
基于所述第一方法、所述第二方法或所述点云配准中的至少一者的结果，确定是否满足所述一个或多个对准条件；以及
响应于不满足所述一个或多个对准条件，重新校准所述第一LIDAR传感器或所述第二LIDAR传感器中的至少一者。
15. 根据技术方案14所述的方法，进一步包括：
确定是否满足多个使能条件，包括以下两者或更多者
确定所述车辆是否正在移动，
确定所述车辆是否处于已知位置，
确定所述车辆的速度是否大于预定速度，
确定所述车辆的加速度是否大于预定的加速度，或者
确定所述偏航率是否大于预定的偏航率；以及
响应于所述多个使能条件被满足，聚集所述第一数据点和所述第二数据点。
16. 根据技术方案14所述的方法，其中，所述第一数据点和所述第二数据点的聚集包括：
执行点配准以在第二时间处在所述第一LIDAR传感器的坐标系中映射第一时间处的第一数据点；
聚集来自所述第一LIDAR传感器的映射的第一数据点以提供第一聚集点；
执行点配准以在第二时间处在所述第二LIDAR传感器的坐标系中映射第一时间处的第二数据点；
聚集来自所述第二LIDAR传感器的映射的第二数据点以提供第二聚集点；
基于第一LIDAR传感器的旋转校准值和平移校准值将所述第一聚集点映射到车辆坐标系；和
基于第二LIDAR传感器的旋转校准值和平移校准值将所述第二聚集点映射到车辆坐标系。
17. 根据技术方案14所述的方法，进一步包括：
基于聚集的LIDAR点，执行地面拟合和选择以提供地面区域中的第一LIDAR传感器的第一选择点和地面区域中的第二LIDAR传感器的第二选择点；以及
基于所述第一选择点和所述第二选择点执行所述第一方法。
18. 根据技术方案14所述的方法，还包括执行所述第一方法和所述第二方法，并且基于所述第一方法和所述第二方法的结果，确定是否满足所述一个或多个对准条件。
19. 根据技术方案14所述的方法，还包括执行所述点云配准，并且基于所述点云配准的结果，确定是否满足所述一个或多个对准条件。
20. 根据技术方案14所述的方法，还包括执行所述第一方法、所述第二方法和所述点云配准，并且基于所述第一方法、所述第二方法和所述点云配准的结果，确定是否满足所述一个或多个对准条件。
根据详细描述、权利要求和附图，本公开的进一步应用领域将变得显而易见。详细的描述和具体的示例仅仅是为了说明的目的，而不是为了限制本发明的范围。
附图说明
根据详细描述和随附附图，本公开将得到更加全面的理解，其中：
图1是根据本公开的包括验证对准模块的示例车辆系统的功能框图；
图2是根据本公开的基于由验证对准模块执行的LIDAR传感器对准来操作的示例自主驾驶模块的功能框图；
图3是根据本公开的包括LIDAR对准模块和LIDAR对准验证模块的对准系统的示例的功能框图；
图4图示了根据本公开的验证LIDAR传感器对准的示例方法；
图5图示了根据本公开的示例使能条件检查方法；
图6图示了根据本公开的示例地面拟合和选择方法；
图7是图示根据本公开的偏航差检测的示例图；且
图8是示例对象检测方法。
在附图中，附图标记可以重复用于标识相似和/或相同的元件。
具体实施方式
自主驾驶模块可以执行传感器对准和融合操作、感知和定位操作、以及路径规划和车辆控制操作。所述操作可以基于从各种传感器收集的数据和从全球定位系统（GPS）收集的数据来执行，所述传感器诸如是LIDAR传感器、RADAR传感器、摄像机和惯性测量传感器（或惯性测量单元）。传感器对准和融合可包括每个传感器的坐标系与参考坐标系（诸如车辆坐标系）的对准。融合可以指收集和组合来自各种传感器的数据。
感知是指对车辆周围环境的监测以及对周围环境中各种特征和/或对象的检测和识别。这可以包括确定特征和对象的各个方面。如本文使用的术语“特征”指的是能够可靠地用于确定对象位置的一个或多个检测点。这与检测到的其他数据点不同，其他数据点不提供关于对象位置的可靠信息，例如树叶或树枝上的点。所确定的方面可以包括对象距离、位置、大小、形状、取向、轨迹等。这可以包括确定检测到的对象的类型，例如该对象是否是交通标志、车辆、电线杆、行人、地面等。也可以检测车道标志信息。特征可以指建筑物的表面、边缘或角落。定位指的是确定的关于主车辆的信息，诸如位置、速度、航向等。基于收集的感知和定位信息来执行路径规划和车辆控制（例如，制动、转向和加速）。
车辆可以包括多个LIDAR传感器。包括LIDAR到车辆对准和LIDAR到LIDAR对准的LIDAR传感器对准影响所确定的感知和定位信息的准确性，所确定的感知和定位信息包括特征和对象信息，诸如上文所描述的那些。LIDAR对准可能需要定期重新校准，以解决不同驾驶条件导致的对准中的任何偏移。在线验证（意味着运行时间中的车内验证）具有挑战性，因为目标对象不是预先确定的。
本文阐述的示例包括LIDAR到LIDAR对准和LIDAR到车辆对准验证方法。通过验证来检测LIDAR未对准，以启动重新校准过程。验证方法包括地面拟合、目标检测和点云配准的整合。在一个实施例中，基于目标（例如，地面、交通标志、灯杆等）来确定LIDAR传感器之间的横滚、俯仰和偏航差。在相同或替代实施例中，基于LIDAR传感器的点云配准的差来确定LIDAR传感器的旋转和平移差。验证方法包括（i）用于确定LIDAR传感器之间在俯仰、横滚、偏航、x、y、z值上的差的第一六参数向量的第一方法，和/或（ii）用于确定俯仰、横滚、偏航、x、y、z值的第二六参数向量的第二方法。第一方法基于选择某些对象来确定横滚、俯仰和偏航。第二方法基于从LIDAR传感器的点云中确定旋转和平移差。这些方法的结果可以被加权和聚集，以提供合成的六参数向量，基于该向量进行对准的确定。
图1示出了车辆102的示例车辆系统100，包括用于LIDAR到LIDAR和LIDAR到车辆对准的对准验证模块104。由对准验证模块104执行的操作在下面至少参考图2-8进一步描述。
车辆系统100可包括自主驾驶模块105、车身控制模块（BCM）107、远程信息处理模块106、推进控制模块108、动力转向系统109、制动系统111、导航系统112、信息娱乐系统114、空调系统116和其他车辆系统和模块118。自主驾驶模块105可以包括对准验证模块104，并且还可以包括传感器对准和融合模块113、感知和定位模块115以及路径规划模块117。下面进一步描述这些模块的操作。
模块和系统104-108、112-115和118可以经由控制器局域网（CAN）总线、以太网、局域互联网络（LIN）总线、另一总线或通信网络和/或无线地相互通信。对象119可以指和/或包括CAN总线、以太网、LIN总线和/或其他总线和/或通信网络。该通信可以包括其他系统，诸如系统109、111、116。可以包括电源120，并为自主驾驶模块105和其他系统、模块、装置和/或部件供电。电源120可以包括附件电源模块、一个或多个电池、发电机和/或其他电源。
远程信息处理模块106可以包括收发器130和远程信息处理控制模块132。推进控制模块108可控制推进系统136的操作，推进系统136可包括发动机系统138和/或一个或多个电动马达140。发动机系统138可包括内燃机141、起动机马达142（或起动器）、燃料系统144、点火系统146和节气门系统148。
自主驾驶模块105可以基于来自传感器160的数据来控制模块和系统106、108、109、111、112、114、116、118以及其他装置和系统。其他装置和系统可以包括门和窗致动器162、内部灯164、外部灯166、行李箱马达和锁168、座椅位置马达170、座椅温度控制系统172和车辆反射镜马达174。传感器160可以包括温度传感器、压力传感器、流速传感器、位置传感器等。传感器160可包括LIDAR传感器180、RADAR传感器182、摄像机184、惯性测量传感器186、地图传感器188、GPS系统190和/或其他环境和特征检测传感器和/或系统。GPS系统190可以被实施为导航系统112的一部分。
图2示出了基于由对准验证模块104执行的LIDAR传感器对准操作的示例自主驾驶模块200。自主驾驶模块200可以代替图1的一个或多个自主驾驶模块105，并且可以包括传感器对准和融合模块113、对准验证模块104、感知和定位模块115以及路径规划模块117。
传感器对准和融合模块113可基于传感器160（例如，传感器180、182、184、186、188、190）的输出执行传感器对准和融合操作，如上所述。对准验证模块104确定LIDAR传感器是否对准，这意味着由LIDAR传感器针对相同的一个或多个特征和/或对象提供的信息的差在彼此的预定范围内。对准验证模块104确定LIDAR传感器的六个自由度的差值，包括横滚、俯仰、偏航、x、y和z差值，并且基于该信息确定LIDAR传感器是否对准。如果没有对准，则LIDAR传感器中的一个或多个可以被重新校准。在一个实施例中，当LIDAR传感器中的一个被确定为未对准时，未对准的LIDAR传感器被重新校准。在另一实施例中，当LIDAR传感器中的一个被确定为未对准时，则包括未对准的LIDAR传感器的两个或更多个LIDAR传感器被重新校准。在另一个实施例中，未对准的LIDAR传感器被隔离并且不再被使用，并且生成指示信号，指示该LIDAR传感器需要维修。来自未对准传感器的数据可被丢弃。在未对准的LIDAR传感器的重新校准和/或维修之后，可以收集额外的数据。
在验证之后，感知和定位模块115可以基于收集和聚集的传感器数据来执行感知和定位操作，以确定对应主车辆（例如，图1的车辆102）周围的环境的方面。这可以包括如上所述生成感知和定位信息。这可以包括检测和识别特征和对象，以及确定特征和对象相对于主车辆的位置、距离和轨迹。路径规划模块117可以基于感知和定位模块115的输出来确定车辆的路径。路径规划模块117可基于确定的路径来控制车辆的操作，包括经由致动器204控制动力转向系统、推进控制模块和制动系统的操作。致动器204可以包括马达、驱动器、阀、开关等。
自主驾驶模块105可包括存储器192，存储器192可存储传感器数据、历史数据和本文提及的其他数据和信息。
图3示出了包括LIDAR对准模块302和LIDAR对准验证模块304的对准系统300。关于与LIDAR传感器180相关地执行的操作，对准系统300可以表示图1-2的传感器对准和融合模块113和对准验证模块104的部分。LIDAR对准模块302可以收集传感器的输出和/或保存的传感器数据，诸如从LIDAR传感器180、惯性测量传感器182和GPS系统190的输出收集和/或基于这些输出生成的数据。示出了传感器数据306。
LIDAR对准模块302可以使用相应的坐标系独立地测量LIDAR传感器的输出，一个坐标系用于一个LIDAR传感器。每个LIDAR传感器生成点云数据，其中每个点包括x、y和z坐标。x坐标可以指横向水平方向。y坐标可以指前后或纵向方向，并且z方向可以指竖直方向。在其他坐标系中，x、y和z可以被不同地定义。每个LIDAR传感器可以安装在车辆上的相应位置中，并且具有相应的取向。由于LIDAR传感器处于不同的位置并且可以处于不同的取向，因此LIDAR传感器可以报告同一检测到的对象的不同值。LIDAR对准模块302针对每个LIDAR传感器执行LIDAR到车辆变换，并为一个或多个LIDAR传感器提供六个对准参数308，其表示横滚、俯仰、偏航、x、y和z变换值。参数可以表示为矩阵（例如，4×4矩阵）。
LIDAR对准验证模块304接收LIDAR对准模块302的输出，该输出可以包括每个LIDAR传感器的六个参数值和/或代表性的值矩阵。基于接收到的值，LIDAR对准验证模块304执行LIDAR到LIDAR对准的在线验证，并提供指示对准是否满足特定条件的诊断结果数据310。在线验证是指在运行时间中在车辆内执行的验证，而不是在后台（或中央）办公室或稍后在车辆中执行的验证（称为离线）。这可以针对部分或完全自主的车辆执行。在线和离线之间的区别主要与运行时间相关联。如果验证是在车辆的常规驾驶任务期间执行的，则其被视为在线。因此，在线验证可以在后台办公室处执行，只要是在运行时间期间即可。车辆可以在其常规驾驶任务之外执行验证过程，诸如在车辆正在其处维修的经销商处。在这种情况下，即使验证是在车辆中执行的，它也被认为是离线的。
LIDAR对LIDAR对准的验证包括：监测启动在线验证过程的使能条件，该在线验证过程基于车辆动态和定位以及感知结果；将LIDAR点云聚集到车辆坐标系：确定俯仰、横滚和偏航差；确定旋转和平移差；和/或基于来自多个不同方法执行的结果的整合来做出决策。LIDAR点云的聚集可以包括，当对应的主车辆处于静态状态（即，不移动）时，使用LIDAR到车辆变换来将每个点映射到车辆坐标系中。例如，车辆坐标系可以具有作为参考点的重心或车辆上的其他点。LIDAR点云的聚集还可以包括，当主车辆处于动态状态（即，移动）时，首先使用点配准来聚集多个LIDAR坐标系，随后应用LIDAR到车辆变换。
可以使用第一方法并基于从两个LIDAR传感器接收到的数据来确定俯仰和横滚差。如下所述，俯仰和横滚差可以基于地面拟合和选择来确定。第一方法可以包括使用空间滤波器、基于斜率的算法、形态变换等。空间滤波器使用空间中的三维（3D）区域来挑选区域内的点。例如，空间滤波器可以被定义为具有范围
Figure DEST_PATH_IMAGE001
，其中
Figure DEST_PATH_IMAGE002
是预定值（或阈值）。如果点的（x，y，z）满足在该区域内的预定条件，则它被空间滤波器选择。基于斜率的算法通过检查一个点和相邻点之间的斜率是否满足预定条件（例如，斜率小于预定阈值）来检测地面（例如，地面或路面）上的点。形态变换指的是用于分析和处理几何的结构的理论和技术。该理论和技术可以基于集合论、晶格理论、拓扑学、和随机函数。
两个LIDAR之间的偏航差的确定可以基于目标检测，并且可以包括使用空间滤波器、强度滤波器、聚类和/或点云配准。强度滤波器可以包括强度范围，该强度范围被定义为选择强度值在该强度范围内的点。例如，强度滤波器可以被定义为
Figure DEST_PATH_IMAGE003
，其中i是强度并且
Figure DEST_PATH_IMAGE004
是预定阈值。聚类是将一组对象进行分组使得同一组（称为聚类）中的对象比其他组（聚类）中的对象彼此更相似（在某种意义上）的任务。点云配准是寻找对准两个点云的空间变换（例如，缩放、旋转和平移）的过程。
基于点云配准确定两个LIDAR传感器之间的旋转和平移差，诸如迭代最近点（ICP）、广义ICP、正态分布变换（NDT）等。ICP是用于最小化两个点云之间的差的算法。ICP可以包括计算两次扫描之间的对应关系和计算变换，该变换最小化对应点之间的距离。广义ICP类似于ICP，并且可以包括将概率模型附加到ICP的最小化操作。NDT是距离扫描的一种表示，其可以在匹配2D距离扫描时使用。类似于占用网格，2D平面被细分为单元。为每个单元分配正态分布，该分布局部地对测量点的概率进行建模。变换的结果是分段连续且可微分的概率密度，其可以用于使用牛顿算法来匹配另一次扫描。
模块302、304可以执行LIDAR到LIDAR对准和验证，其包括将一个LIDAR传感器的点数据变换到另一个LIDAR传感器的坐标系并验证该变换。除了LIDAR到车辆对准之外，出于冗余的目的和验证的目的，并且考虑到在执行这些变换中的误差，这也可以被执行。可以针对来自每个LIDAR传感器的数据集执行LIDAR到车辆变换。一般而言，如果LIDAR到LIDAR和LIDAR到车辆之间的变换差是小的（例如，低于预定阈值），则LIDAR传感器被对准。如果不是，则LIDAR传感器中的一个或多个可能需要重新校准和/或维修。执行LIDAR到LIDAR变换的结果可以用于推断LIDAR到车辆变换。可以使用两次LIDAR到车辆变换来计算LIDAR到LIDAR变换。对LIDAR到LIDAR变换是准确的验证推断出每个LIDAR到车辆变换是准确的。当验证LIDAR到LIDAR变换和/或LIDAR到车辆变换时，使用至少两个LIDAR传感器。
对准验证
图4示出了验证LIDAR传感器对准的示例方法，该方法可以迭代执行。该方法可以由图1-3的对准验证模块104、304来执行。该方法可以开始于402，其包括检查使能条件参数以确定是否开始验证过程。使能条件与车辆动态、车辆位置、周围对象的检测和定位等相关联。
检查使能条件
在404，对准验证模块确定是否满足使能条件。如果是，则执行操作406。操作402、404可以包括关于图5的方法描述的操作。
图5的方法可以开始于502，其包括测量、读取和/或确定车辆速度和加速度。在504，对准验证模块确定车辆是否不移动（或静态）。如果是，则执行操作506，否则执行操作516。
在506，对准验证模块收集车辆GPS数据。在508，对准验证模块基于车辆GPS数据确定车辆是否在预定位置处。如果是，则执行操作514，否则执行操作510。在510，对准验证模块检测校准目标。这可以包括使用感知操作和/或执行图6的目标检测方法，这将在下面参考操作408和412进一步描述。
在512，对准验证模块确定校准目标是否存在。如果是，则执行操作514，否则执行操作518。在514，对准验证模块确定满足使能条件，并且继续目标到操作408。
在516，对准验证模块确定动态参数是否在预定范围内。动态参数可以包括车辆速度、加速度和偏航率条件。例如，当加速度、速度和偏航率分别大于某些预定阈值时。如果不在预定范围内，则执行操作518，否则执行操作522。
在518，对准验证模块确定特征点的数量是否大于或等于预定数量。如果是，则执行操作520，否则执行操作522。在520，对准验证模块确定满足使能条件，并且继续点配准到操作408。在522，对准验证模块确定不满足使能条件，并且不继续。图4的方法可以在操作522之后结束。
LIDAR点聚集
再次参考图4，在406，对准验证模块聚集车辆坐标系中的LIDAR点。操作406可包括对在车辆不移动时收集的点执行的静态聚集，并且可另外包括对在车辆移动时收集的点执行的动态聚集。静态聚集包括针对每个LIDAR传感器执行LIDAR到车辆变换。作为示例，可以使用两个LIDAR传感器A和B。来自LIDAR A的点（表示为
Figure DEST_PATH_IMAGE005
）和用于LIDAR A的旋转R A 和平移t A 的校准值用于将来自LIDAR A的点聚集和/或映射到车辆坐标系。所产生的点表示为
Figure DEST_PATH_IMAGE006
。这可以使用等式1来完成，其中i是点数。
Figure DEST_PATH_IMAGE007
（1）。
来自LIDAR B的点（表示为
Figure DEST_PATH_IMAGE008
）以及用于旋转R B 和平移t B 的LIDAR B校准值用于将来自LIDAR B的点聚集和/或映射到车辆坐标系。所产生的点表示为
Figure DEST_PATH_IMAGE009
。这可以使用等式2来完成。在本示例中，LIDAR到LIDAR不是直接进行比较，而是通过LIDAR到车辆变换间接比较。
Figure DEST_PATH_IMAGE010
（2）。
动态聚集包括在时间
Figure DEST_PATH_IMAGE011
处获取LIDAR A和B中的每一者的点，表示为LIDAR j，其中j是A或B，并执行点配准。执行点配准以在时间k处在LIDAR j的坐标系中映射时间k'处的点。这可以使用等式3来完成，使得
Figure DEST_PATH_IMAGE012
和
Figure DEST_PATH_IMAGE013
重叠。
Figure DEST_PATH_IMAGE014
（3）。
执行的配准方法可以包括ICP、广义ICP、边缘和表面特征点配准、NDT等。然后使用等式4针对LIDAR j（A或B）聚集映射的点。
Figure DEST_PATH_IMAGE015
（4）。
然后，通过执行LIDAR配准生成的
Figure 445553DEST_PATH_IMAGE005
和
Figure DEST_PATH_IMAGE016
值用作输入，以执行与静态聚集相同的聚集，并分别输入到等式1和2中，以提供所得到的聚集和映射点
Figure DEST_PATH_IMAGE017
、
Figure DEST_PATH_IMAGE018
。聚集和映射点
Figure 300377DEST_PATH_IMAGE017
、
Figure 14867DEST_PATH_IMAGE018
可以被提供作为用于操作408、412和416的输入。
由于两个LIDAR传感器不同地检测一个位置，因此即使当映射到相同的坐标系时，也可以确定俯仰和横滚差、偏航差、旋转差和/或平移差。这些差在下面的操作410、414、416中被确定。为了确定俯仰和横滚差，可以选择两个相应的地面位置，一个在车辆的一侧上，且一个在车辆的前方。检测车辆一侧上的地面位置时的竖直高度差可以用来确定横滚差。检测车辆前方地面位置时的竖直高度差可用于确定俯仰差。对于偏航差，可以选择竖直延伸的对象（例如，灯杆）。检测对象位置的水平差可以用于确定偏航差。
地面拟合和选择
在408，对准验证模块执行地面拟合和选择。操作408、410可以被称为俯仰和横滚差方法。操作408可以包括图6的操作，其可以开始于602。在602，对准验证模块从存储器中读取聚集的且如上所确定的LIDAR点。在604，对准验证模块确定车辆是否在预定的已知位置。如果否，则执行操作606，否则执行操作608。
在606，执行地面拟合。在606A，对准验证模块将点投影到网格上，其中网格的每行代表波束，并且网格的每列代表方位角。在606B，对准验证模块计算每个点相对于其在前一行中的对应点的斜率。在606C，对准验证模块使用z<θ来确定网格（或坐标系）的最低行中的地面点，其中θ是预定阈值。当该点的z值小于预定阈值时，则该点是最低行中的地面点。
在606D，对准验证模块确定是否标记了相邻点和地面点。如果是，可以执行操作608，否则可以执行操作606E。在606E，对准验证模块选择地面点Pi的未标记点Pj。在606F，对准验证模块确定Pj的斜率是否接近Pi的斜率。如果是，则执行操作606G，否则执行操作606H。在606G，对准验证模块将Pj标记为地面点。在606H，对准验证模块将Pj标记为非地面点。在操作606G和606H之后，执行操作606D。
在608，对准验证模块基于空间滤波器选择候选点，其中
Figure DEST_PATH_IMAGE019
。
Figure DEST_PATH_IMAGE020
可以分别具有不同的俯仰和横滚值。在610，对准验证模块使用主成分分析将平面与所选择的地面点拟合，并去除距离平面地面大于预定距离的点。
在612，对准验证模块使用选择彼此预定范围内的点的方法，从LIDAR A和B中选择与相同地面区域相关联的点。该方法可以包括使用k-d树，其是二叉树，其中每个叶节点是k维点。k-d树可用于选择距离接近的点。
Δz以及俯仰和横滚差
再次参考图4的方法，在410，对准验证模块计算LIDAR传感器的输出数据点（简称为“点”）之间的z差（或Δz），并确定LIDAR传感器之间的俯仰和横滚差。为了确定俯仰差，获得上面选择的地面点
Figure DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
。使用等式5确定z的差值。
Figure DEST_PATH_IMAGE023
（5） 。
使用等式6来确定俯仰差。
Figure DEST_PATH_IMAGE024
（6）
其中，Pitch_diff：俯仰差。
为了确定横滚差，获得上面选择的地面点
Figure DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE028
。使用等式7确定z的差。
Figure DEST_PATH_IMAGE029
（7）。
使用等式8确定横滚差。
Figure DEST_PATH_IMAGE030
（8）
其中，Roll_diff：横滚差。
目标检测
在412处，对准验证模块检测目标（例如，特征和/或对象）。与大型建筑物不同，目标可以指能够被完全检测到的小对象。目标点是特征点，但不是所有的特征点都是目标点。目标检测可以使用以下实现：空间滤波器，其中
Figure DEST_PATH_IMAGE031
，距离
Figure DEST_PATH_IMAGE032
；强度滤波器和聚类；和点云配准。如果车辆的位置是已知的（例如，具有已知对象的停车场，诸如处于已知位置的灯杆），则可以使用空间滤波器。如果车辆的位置未知，则强度滤波器和聚类可以与点云配准一起执行，以挑选目标，并且然后计算与目标的角度差。然后基于角度差来确定偏航差。
偏航差
在414，对准验证模块确定LIDAR传感器的点之间的偏航差。操作412、414可指的是偏航差方法。如图7所示，可以使用等式9-11来确定偏航差，其中，
Figure DEST_PATH_IMAGE033
是参考线和如由LIDAR A看到的目标之间的角度，
Figure DEST_PATH_IMAGE034
是参考线和如由LIDAR B看到的目标之间的角度，并且偏航差是
Figure DEST_PATH_IMAGE035
。点700指的是车辆的参考点（例如，重心）。点702指的是如由LIDAR A看到的目标，并且点704指的是如由LIDAR B看到的目标。
Figure DEST_PATH_IMAGE036
（9）
Figure DEST_PATH_IMAGE037
（10）
Figure DEST_PATH_IMAGE038
（11）
其中，Yaw_diff：偏航差。
点云配准
在416，对准验证模块执行点云配准以确定平移和旋转信息。操作416可以被称为点云差方法，并且包括确定旋转和平移差。使用来自LIDAR A和B的聚集点，或者
Figure DEST_PATH_IMAGE039
，对准验证模块执行点云配准，包括确定变换T B-A ，使得满足等式12，其中
Figure DEST_PATH_IMAGE040
与
Figure DEST_PATH_IMAGE041
对准。
Figure DEST_PATH_IMAGE042
（12）。
对准验证模块将变换T B-A 转换成旋转角度和平移值，其是横滚差、俯仰差、偏航差、x差、y差和z差值。上述技术包括移动第一点云以重叠第二点云，并确定第一点云移动了多少，其由旋转和平移值表示。在一个实施例中，移动第一点云以尽可能接近完美地重叠和匹配第二点云。然后，旋转和平移值被转换为六个自由度。俯仰、横滚、偏航、x、y、z误差可以被计算出来，并指示LIDAR传感器之间的未对准程度。
从操作410、414和416，为LIDAR传感器确定两组六个自由度的值。第一组来自操作410和414，并且第二组来自操作416。
整合结果和最终决策
在418，对准验证模块整合俯仰和横滚差方法、偏航差方法和点云差方法的结果操作410、414和416。操作418可以包括使用来自第一方法（或操作408、410、412、414）的结果和/或来自第二方法（操作416）的结果。六个差值的第一向量可以从操作410、414的组合结果获得。六个差值的第二向量可以从执行操作416中获得。该方法的编号指示为变量i。六个参数差的向量
Figure DEST_PATH_IMAGE043
由等式13表示。可以为所执行的每种方法确定相似的向量。
Figure DEST_PATH_IMAGE044
（13）
这些方法的整合结果可以使用等式14来确定，其中，w i 是被应用于每个向量的经校准的权重。可以对向量的每个值应用相同的权重，其中对每个向量应用不同的权重。替代地，可以对每个向量的每个差值应用不同的权重。
Figure DEST_PATH_IMAGE045
（14）。
在420，对准验证模块执行最终决策，诸如确定是否满足对准条件。如果条件满足，则LIDAR传感器被对准。如果所得到的向量
Figure DEST_PATH_IMAGE046
的值大于预定向量的预定阈值，则认为对准验证已经失败。预定向量可以包括对应于六个不同参数的六个阈值。当超过阈值中的一个或多个时，则可以认为对准验证已经失败。然后，可以重新校准和/或维修和/或替换LIDAR传感器中的一个或多个，以提供新的校准值，并且可以用新的校准值重复上述过程。例如，当横滚、俯仰和偏航差值中的一者或多者大于或等于0.3°时，则不满足条件，并且可以重新校准一个或多个LIDAR传感器。作为另一个示例，当x、y、z差值大于或等于5.0厘米（cm）时，则不满足条件，并且可以重新校准LIDAR传感器中的一个或多个。如果向量
Figure 567333DEST_PATH_IMAGE046
的结果值小于或等于预定阈值向量的值，则认为对准验证已经通过。
当存在多于两个的LIDAR时，可以针对每对LIDAR传感器确定向量
Figure 254142DEST_PATH_IMAGE046
。如果
Figure 76605DEST_PATH_IMAGE046
大于预定阈值的向量，则被评估的LIDAR传感器对中的一个或多个可以被识别为可疑的。可疑LIDAR可以被重新校准，或者可疑LIDAR的交集可以被校准。例如，如果LIDAR传感器A和B之间的差大，LIDAR传感器A和C之间的差大，并且LIDAR传感器B和C之间的差小，则LIDAR传感器A可以被重新校准，并且LIDAR传感器B和C可以不被重新校准。
在一个实施例中，提供了第一LIDAR传感器到车辆变换的对准结果和第二LIDAR传感器到车辆变换的对准结果。基于这些结果，针对两个LIDAR传感器确定六个自由度差值。
在另一实施例中，当已知第一LIDAR传感器的对准结果是准确的并且来自第一LIDAR传感器到车辆变换（或对准）的结果是已知的时，则可以确定第二LIDAR到车辆变换（或对准）是否准确。第一LIDAR到车辆变换（或对准）可以提供第一六个差值，并且第一LIDAR到第二LIDAR变换（或对准）可以提供第二六个值。为了获得第二LIDAR到车辆变换（或对准）的六个值的准确值（或地面实况），第一六个差值可以被添加到第二六个差值。第二LIDAR到车辆变换（或对准）的六个值的该地面实况与第二LIDAR到车辆变换（或对准）的现有校准结果之间的差是根据六个差值生成的。然后，可以将合成的六个差值与六个阈值进行比较，以确定第二LIDAR到车辆变换（或对准）是否准确。
如果对准验证被认为已经失败，则可以执行操作422，否则可以执行操作402。在422，对准验证模块可以触发LIDAR对准过程，以重新校准已经被识别为没有通过对准验证过程的所识别的LIDAR传感器。可疑的LIDAR传感器可能不被使用和/或依赖，直到被重新校准和/或维修。
上述操作旨在是说明性的示例。取决于应用，操作可以顺序地、同步地、同时地、连续地、在重叠的时间段期间或者以不同的顺序执行。此外，取决于实施方式和/或事件顺序，可以不执行或跳过任何操作。
下表1指示了执行操作408、410、412、414（方法1）、操作416（方法2）和操作418的优点。
比较 基于目标 基于点配准 两种方法的整合
能够验证取向差 是 是 是
能够验证平移差 否 是 是
能够应用于任意位置 否 是 是
能够在动态状态期间应用 否 是 是
计算资源 低 高 高
变化 高 低 低
表1-执行图4的一些操作的优点。
在一个实施例中，上述示例包括动态LIDAR到车辆验证。动态LIDAR到车辆验证包括动态状态下的点配准、LIDAR数据的运动失真去除和惯性导航系统（INS）误差补偿。这些示例可以包括与参考进行比较，包括提供LIDAR对准结果和确定参考，诸如地面实况、历史结果和车队统计。“地面实况”指的是已知正确的点和/或信息，其然后可以用作参考，基于该参考生成信息和/或做出决策。
图8示出了对象检测方法，其可以被整合到上述方法中以检测对象。该方法可以开始于802，其中图1的自主驾驶模块105对于正在被考虑的每种类型的对象，循环通过使用LIDAR传感器收集的数据的每次扫描。
在802A，自主驾驶模块105读取经由LIDAR传感器收集的数据，并在世界坐标系中聚集该数据。在802B，自主驾驶模块105执行LIDAR数据分割。在802C，自主驾驶模块105滤波出低强度点或强度水平小于预定阈值（例如，T1）的点。
在802D，自主驾驶模块105滤波出低和高范围（距离）数据或预定范围T2-T3之外的数据。在802E，自主驾驶模块105滤波数据位置（均值漂移聚类）和空间维度（x，y，z中的范围）。
在802F，自主驾驶模块105消除数据点少于N1的潜在对象，其中N1是预定阈值点数。在802G，自主驾驶模块105针对每次扫描检测（一个或多个）对象。
在804，自主驾驶模块105确定在至少N2连续扫描中是否存在所考虑的对象，其中N2是扫描的预定阈值次数。如果是，则执行操作806，否则执行操作808。在806，自主驾驶模块105指示检测到了对象。在808，自主驾驶模块105指示没有检测到对象。
值T1、T2、T3、N1、N2以及x、y、z中的范围是可校准的，并且可以特定于所考虑的每个对象。具有真实已知位置的对象也可以被检测，例如，使用高清晰度地图、车辆到车辆通信和/或车辆到基础设施通信。
前面的描述本质上仅仅是说明性的，并决不旨在限制本公开、其应用或用途。本公开的广泛教导可以以多种形式实施。因此，尽管本公开包括特定示例，但是本公开的真实范围不应该如此限制，因为在研究附图、说明书和所附权利要求后，其他修改将变得明显。应当理解，在不更改本公开的原理的情况下，方法中的一个或多个步骤可以以不同的顺序（或同时）执行。此外，尽管每个实施例在上面被描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在任何其他实施例中实施和/或与任何其他实施例的特征相结合，即使该结合没有被明确描述。换句话说，所描述的实施例并不相互排斥，并且一个或多个实施例彼此的置换仍在本公开的范围内。
使用各种术语来描述元件（例如，模块、电路元件、半导体层等之间）之间的空间和功能关系，包括“连接的”、“接合的”、“耦合的”、“相邻的”、“紧挨着的”、“在……顶部上”、“上方”、“下方”和“设置的”。除非明确描述为“直接的”，否则当在上述公开中描述第一和第二元件之间的关系时，该关系可以是在第一和第二元件之间不存在其他介入元件的直接关系，但是也可以是在第一和第二元件之间存在一个或多个介入元件（空间上抑或功能上）的间接关系。如本文所用，短语“A、B和C中的至少一者”应被解释为意指使用非排他性逻辑“或”来表示逻辑“A或B或C”，并且不应解释为意指“A中的至少一个、B中的至少一个和C中的至少一个”。
在图中，如由箭头所指示的箭头方向通常表示对图示所关注的信息流（诸如数据或指令）。例如，当元件A和元件B交换各种信息、但是从元件A传输到元件B的信息与图示相关时，箭头可以从元件A指向元件B。这个单向箭头并不意味着没有其他信息从元件B传输到元件A。此外，对于从元件A发送到元件B的信息，元件B可以向元件A发送对信息的请求或接收确认。
在本申请中，包括下面的定义，术语“模块”或术语“控制器”可以用术语“电路”代替。术语“模块”或术语“控制器”可以指、是其一部分或包括：专用集成电路（ASIC）；数字、模拟或混合模拟/数字离散电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列（FPGA）；执行代码的处理器电路（共享、专用或组）；存储由处理器电路执行的代码的存储器电路（共享、专用或组）；提供所述功能的其他合适的硬件部件；或者上述的一些或全部的组合，诸如在片上系统中。
模块或控制器可以包括一个或多个接口电路。在一些示例中，接口电路可以包括连接到局域网（LAN）、互联网、广域网（WAN）或其组合的有线或无线接口。本公开的任何给定模块的功能可以分布在经由接口电路连接的多个模块中。例如，多个模块可能允许负载平衡。在另外的示例中，服务器（也称为远程或云）模块可以代表客户端模块完成一些功能。
如上所述，术语“代码”可以包括软件、固件和/或微码，并且可以指程序、例程、函数、类、数据结构和/或对象。术语“共享处理器电路”涵盖执行一些或所有来自多个模块的代码的单个处理器电路。术语“组处理器电路”涵盖结合附加的处理器电路执行来自一个或多个模块的一些或所有代码的处理器电路。对“多个处理器电路”的引用涵盖分立管芯上的多个处理器电路、单个管芯上的多个处理器电路、单个处理器电路的多个内核、单个处理器电路的多个线程或以上各者的组合。术语“共享存储器电路”涵盖存储来自多个模块的一些或全部代码的单个存储器电路。术语“组存储器电路”涵盖与附加存储器结合存储来自一个或多个模块的部分或全部代码的存储器电路。
术语“存储器电路”是术语计算机可读介质的子集。如本文使用的术语“计算机可读介质”不涵盖通过介质（诸如在载波上）传播的瞬态电信号或电磁信号；因此，术语“计算机可读介质”可以被认为是有形的和非暂时性的。非暂时性有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如闪存电路、可擦除可编程只读存储器电路或屏蔽只读存储器电路）、易失性存储器电路（诸如静态随机存取存储器电路或动态随机存取存储器电路）、磁存储介质（诸如模拟或数字磁带或硬盘驱动器）和光存储介质（诸如CD、DVD或蓝光光盘）。
本申请中描述的设备和方法可以部分或全部由专用计算机实施，该专用计算机通过配置通用计算机来执行计算机程序中包含的一个或多个特定功能而创建。上文描述的功能框、流程图部件和其他元件用作软件规范，其可以通过熟练的技术人员或程序员的日常工作将其翻译成计算机程序。
计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以涵盖与专用计算机的硬件交互的基本输入/输出系统（BIOS）、与专用计算机的特定装置交互的装置驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
计算机程序可以包括：（i）待解析的描述性文本，诸如HTML（超文本标记语言）、XML（可扩展标记语言）或JSON（JavaScript Object Notation）（ii）汇编代码，（iii）由编译器从源代码生成的目标代码，（iv）由解释器执行的源代码，（v）由及时编译器编译和执行的源代码，等等。仅作为示例，源代码可以使用来自以下语言的语法编写：C、C++、C#、Objective-C、Swift、Haskell、Go、SQL、R、Lisp、Java®、Fortran、Perl、Pascal、Curl、OCaml、Javascript®、HTML5（超文本标记语言第五修订版）、Ada、ASP（活动服务器页面）、PHP （PHP：超文本预处理器）、Scala、Eiffel、Smalltalk、Erlang、Ruby、Flash®、Visual Basic®、Lua、MATLAB、SIMULINK和Python®。

Claims (10)

1.一种LIDAR到LIDAR对准系统，包括：
存储器，其被配置成存储（i）基于第一LIDAR传感器的输出提供的第一数据点，以及（ii）基于第二LIDAR传感器的输出提供的第二数据点；和
自主驾驶模块，其被配置成执行验证过程以确定所述第一LIDAR传感器和所述第二LIDAR传感器的对准是否满足一个或多个对准条件，所述验证过程包括
在车辆坐标系中聚集所述第一数据点和所述第二数据点以提供聚集的LIDAR点，
基于聚集的LIDAR点，以下至少一项
执行包括确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的俯仰和横滚差的第一方法，
执行包括确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的偏航差的第二方法，或者
执行点云配准以确定所述第一LIDAR传感器和所述第二LIDAR传感器之间的旋转和平移差，
基于所述第一方法、所述第二方法或所述点云配准中的至少一者的结果，确定是否满足所述一个或多个对准条件，以及
响应于不满足所述一个或多个对准条件，重新校准所述第一LIDAR传感器或所述第二LIDAR传感器中的至少一者。
2.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块还被配置成：
确定是否满足多个使能条件，所述使能条件包括以下两者或更多者
确定所述车辆是否正在移动，
确定所述车辆是否处于已知位置，
确定所述车辆的速度是否大于预定速度，
确定所述车辆的加速度是否大于预定的加速度，或者
确定偏航率是否大于预定的偏航率；以及
响应于满足所述多个使能条件，聚集所述第一数据点和所述第二数据点。
3.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述第一数据点和所述第二数据点的聚集包括：
执行点配准以在第二时间处在所述第一LIDAR传感器的坐标系中映射第一时间处的第一数据点；
聚集来自所述第一LIDAR传感器的映射的第一数据点以提供第一聚集点；
执行点配准以在第二时间处在所述第二LIDAR传感器的坐标系中映射所述第一时间处的第二数据点；和
聚集来自所述第二LIDAR传感器的所映射的第二数据点，以提供第二聚集点。
4.根据权利要求3所述的LIDAR对LIDAR对准系统，其中，所述第一数据点和所述第二数据点的聚集还包括：
基于所述第一LIDAR传感器的旋转校准值和平移校准值将所述第一聚集点映射到车辆坐标系；和
基于所述第二LIDAR传感器的旋转校准值和平移校准值将所述第二聚集点映射到车辆坐标系。
5.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述第一数据点和所述第二数据点的聚集包括：
基于第一LIDAR传感器的旋转校准值和平移校准值将所述第一数据点映射到车辆坐标系；和
基于第二LIDAR传感器的旋转校准值和平移校准值将所述第二数据点映射到车辆坐标系。
6.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成：
基于聚集的LIDAR点，执行地面拟合和选择以提供地面区域中的第一LIDAR传感器的第一选择点和地面区域中的第二LIDAR传感器的第二选择点；以及
基于所述第一选择点和所述第二选择点执行所述第一方法。
7.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述第一方法，并且基于所述第一方法的结果，确定是否满足所述一个或多个对准条件。
8.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述第二方法，基于所述第二方法的结果，确定是否满足所述一个或多个对准条件。
9.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述点云配准，并且基于所述点云配准的结果，确定是否满足所述一个或多个对准条件。
10.根据权利要求1所述的LIDAR对LIDAR对准系统，其中，所述自主驾驶模块被配置成执行所述第一方法、所述第二方法和所述点云配准，并且基于所述第一方法、所述第二方法和所述点云配准的结果，确定是否满足所述一个或多个对准条件。
CN202210563210.6A 2021-06-17 2022-05-23 Lidar对lidar对准和lidar对车辆对准的在线验证 Pending CN115496782A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/350780 2021-06-17
US17/350,780 US20220404506A1 (en) 2021-06-17 2021-06-17 Online validation of lidar-to-lidar alignment and lidar-to-vehicle alignment

Publications (1)

Publication Number Publication Date
CN115496782A true CN115496782A (zh) 2022-12-20

Family

ID=84283685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210563210.6A Pending CN115496782A (zh) 2021-06-17 2022-05-23 Lidar对lidar对准和lidar对车辆对准的在线验证

Country Status (3)

Country Link
US (1) US20220404506A1 (zh)
CN (1) CN115496782A (zh)
DE (1) DE102022108842A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11970185B2 (en) * 2021-10-01 2024-04-30 Ford Global Technologies, Llc Data structure for storing information relating to an environment of an autonomous vehicle and methods of use thereof

Also Published As

Publication number Publication date
US20220404506A1 (en) 2022-12-22
DE102022108842A1 (de) 2022-12-22

Similar Documents

Publication Publication Date Title
US20200049511A1 (en) Sensor fusion
US10955857B2 (en) Stationary camera localization
US20210215505A1 (en) Vehicle sensor calibration
WO2020185489A1 (en) Sensor validation using semantic segmentation information
RU2717616C2 (ru) Отслеживание объектов путем обучения без контроля
AU2018282302A1 (en) Integrated sensor calibration in natural scenes
US11042758B2 (en) Vehicle image generation
CN104833370A (zh) 用于映射、定位和位姿校正的系统和方法
CN110726399A (zh) 姿态估计
CN111986128A (zh) 偏心图像融合
RU2767949C2 (ru) Способ (варианты) и система для калибровки нескольких лидарных датчиков
EP3875905B1 (en) Method, device and medium for detecting environmental change
CN112172778A (zh) 车辆姿势确定
CN114994635A (zh) 一种智能驾驶可行驶区域检测方法和装置
CN115436917A (zh) Lidar视轴对准误差和主车辆定位误差的协同估计和校正
US20220205804A1 (en) Vehicle localisation
WO2022078342A1 (zh) 动态占据栅格估计方法及装置
CN115496782A (zh) Lidar对lidar对准和lidar对车辆对准的在线验证
CN117590362A (zh) 一种多激光雷达外参标定方法、装置和设备
US11087147B2 (en) Vehicle lane mapping
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
WO2022271742A1 (en) Granularity-flexible existence-based object detection
US11631197B2 (en) Traffic camera calibration
CN113301496A (zh) 增强的传感器操作
US20230266451A1 (en) Online lidar-to-ground alignment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination