CN113847930A - 多传感器校准系统 - Google Patents

多传感器校准系统 Download PDF

Info

Publication number
CN113847930A
CN113847930A CN202010598425.2A CN202010598425A CN113847930A CN 113847930 A CN113847930 A CN 113847930A CN 202010598425 A CN202010598425 A CN 202010598425A CN 113847930 A CN113847930 A CN 113847930A
Authority
CN
China
Prior art keywords
lane marker
corner
world coordinates
lane
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010598425.2A
Other languages
English (en)
Inventor
钱辰哲
赵季
马智杯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN202010598425.2A priority Critical patent/CN113847930A/zh
Priority to US16/937,508 priority patent/US11908163B2/en
Priority to AU2021204030A priority patent/AU2021204030A1/en
Priority to EP21181384.5A priority patent/EP3929872A1/en
Priority to JP2021105382A priority patent/JP2022008790A/ja
Publication of CN113847930A publication Critical patent/CN113847930A/zh
Priority to US18/512,205 priority patent/US20240095960A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本公开涉及一种多传感器校准系统。公开了用于在车辆上执行多传感器校准的技术。一种方法包括：从位于车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项；从每个传感器数据项提取车道标志的位置信息；以及基于确定在来自每个传感器数据项的车道标志的位置信息与车道标志的先前存储的位置信息之间的差异，计算至少两个传感器的外在参数。

Description

多传感器校准系统
技术领域
本文档描述了针对位于车辆中的具有预定和/或耐用标记的传感器执行多传感器校准的技术。
背景技术
车辆可以包括用于多种目的而附接到车辆的相机。例如，用于安全目的、用于驾驶辅助或用于促进自主驾驶，可以将相机附接到车辆的顶部。安装在车辆上的相机可以获得在车辆周围的一个或多个区域的图像。这些图像可以被处理以获得关于道路或关于车辆周围的对象的信息。例如，可以分析由相机获得的图像，以确定在自主驾驶车辆周围的对象的距离，从而可以在对象附近安全地操纵自主驾驶车辆。
发明内容
描述了用于校准位于车辆上或车辆中的多个传感器的示例性多传感器校准技术。在示例实施例中，自主驾驶车辆操作的方法包括：从位于车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项；从每个传感器数据项提取车道标志的位置信息；以及，基于确定在来自每个传感器数据项的车道标志的位置信息与车道标志的先前存储的位置信息之间的差异，计算至少两个传感器的外在参数。
在一些实施例中，从至少两个传感器中的每个传感器获得传感器数据项，并且从每个传感器数据项提取车道标志的位置信息包括：从位于车辆上的相机接收包括车道标志的图像；从图像确定车道标志的拐角的像素位置；从位于车辆上的光检测和测距(LiDAR)传感器接收帧，帧包括道路的区域的点云数据(PCD)，该道路的区域包括车道标志；以及，确定车道标志的拐角的三维(3D)世界坐标的集合。
在一些实施例中，通过以下方式确定车道标志的拐角的3D世界坐标的集合：基于车辆的位置获得车道标志的拐角的先前存储的三维(3D)世界坐标的第二集合，其中车道标志的先前存储的位置信息包括车道标志的拐角的先前存储的3D世界坐标的第二集合；以及将车道标志的拐角的先前存储的3D世界坐标投影到LiDAR传感器的坐标系，以获得在帧中的车道标志的拐角的3D世界坐标的集合。
在一些实施例中，通过以下方式来计算至少两个传感器的外在参数：针对车道标志的每个拐角计算第一损失函数，第一损失函数计算在车道标志的拐角的像素位置与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；针对车道标志的每个拐角计算第二损失函数，第二损失函数计算在从集合获得的车道标志的拐角的3D世界坐标与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；以及，分别基于第一损失函数和第二损失函数，对相机和LiDAR传感器的外在参数进行估算。
在一些实施例中，通过以下方式将车道标志的拐角的先前存储的3D世界坐标的第二集合投影到LiDAR传感器的坐标系：通过将从LiDAR传感器接收的PCD与点云图参考的一个或多个点关联来获得经变换的点云；从先前获得的PCD图提取子图；执行经变换的点云至子图的配准，以获得描述在经变换的点云与子图之间的变换的第一变换矩阵，其中配准将变换的点云关联至子图；确定描述附加变换矩阵，其描述在LiDAR传感器的位置、点云图参考的一个或多个点以及与位于车辆中的惯性测量单元-全球导航卫星系统(IMU-GNSS)传感器相关联的参考点之间的变换；以及，基于第一变换矩阵、附加变换矩阵和车道标志的拐角的先前存储的3D世界坐标的第二集合，计算在帧中的车道标志的拐角的3D世界坐标的集合。
在一些实施例中，基于由IMU-GNSS传感器提供的测量和先前存储的LiDAR到IMU的外在参数将PCD与点云图参考关联，并且先前存储的LiDAR到IMU的外在参数描述了在LiDAR和IMU-GNSS传感器的位置与取向之间的空间关系。在一些实施例中，子图包括在PCD被接收时在车辆位置的预定距离内的点的3D世界坐标。
示例实施例公开了用于校准在车辆上或车辆中的多个传感器的系统，系统包括处理器，处理器被配置为：从位于车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项；从每个传感器数据项提取车道标志的位置信息；以及基于确定在来自每个传感器数据项的车道标志的位置信息与车道标志的先前存储的位置信息之间的差异，计算至少两个传感器的外在参数。
在一些实施例中，处理器被配置为从至少两个传感器中的每个传感器获得传感器数据项，并且通过被配置为以下方式而从每个传感器数据项提取车道标志的位置信息：从位于车辆上的相机接收包括车道标志的图像；从图像确定车道标志的拐角的位置；从位于车辆上的光检测和测距(LiDAR)传感器接收帧，帧包括区域的点云数据(PCD)，该区域包括车道标志；以及，确定车道标志的拐角的三维(3D)世界坐标的集合，其中至少两个传感器包括相机和LiDAR传感器。
在一些实施例中，通过处理器确定车道标志的拐角的3D世界坐标的集合，处理器被配置为：基于车辆的位置，获得车道标志的拐角的先前存储的三维(3D)世界坐标的第二集合，其中车道标志的先前存储的位置信息包括车道标志的拐角的先前存储的3D世界坐标的第二集合；以及，通过使用车道标志的拐角的先前存储的3D世界坐标的第二集合与LiDAR传感器的坐标系，获得在帧中的车道标志的拐角的3D世界坐标的集合。在一些实施例中，通过处理器计算相机的外在参数，处理器被配置为：针对车道标志的拐角计算损失函数，损失函数计算在车道标志的拐角的位置与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；并且基于损失函数，对相机的外在参数进行估算。
在一些实施例中，通过处理器计算LiDAR传感器的外在参数，处理器被配置为：针对车道标志的拐角计算损失函数，损失函数计算在从集合获得的车道标志的拐角的3D世界坐标与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；以及基于损失函数，对LiDAR传感器的外在参数进行估算。在一些实施例中，通过处理器将车道标志的拐角的先前存储的3D世界坐标的第二集合与LiDAR传感器的坐标系一起使用，处理器被配置为：使用从LiDAR传感器接收的PCD与点云图参考的一个或多个点获得变换的点云；执行经变换的点云至子图的配准以获得第一变换矩阵，第一变换矩阵描述在经变换的点云与子图之间的变换，其中子图从前一PCD图获得；确定附加变换矩阵，附加变换矩阵描述在LiDAR传感器的位置、点云图参考的一个或多个点以及与位于车辆中的惯性测量单元-全球导航卫星系统(IMU-GNSS)传感器相关联的参考点之间的变换；以及，基于第一变换矩阵、附加变换矩阵和车道标志的拐角的先前存储的3D世界坐标的第二集合，计算在帧中的车道标志的拐角的3D世界坐标的集合。在一些实施例中，PCD被关联至点云图参考。
示例实施例公开了在其上存储有代码的非暂时性计算机可读存储介质，当由处理器执行该代码时，导致处理器实现方法，该方法包括：从位于车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项；从每个传感器数据项提取车道标志的位置信息；以及，基于确定在来自每个传感器数据项的车道标志的位置信息与车道标志的先前存储的位置信息之间的差异，计算至少两个传感器的外在参数。
在一些实施例中，从至少两个传感器中的每个传感器获得传感器数据项，并且从每个传感器数据项提取车道标志的位置信息包括：从位于车辆上的第一传感器接收包括车道标志的第一传感器数据；从图像确定车道标志的拐角的位置；从位于车辆上的第二传感器接收包括车道标志的道路的区域的第二传感器数据；以及，确定车道标志的拐角的三维(3D)世界坐标的集合。
在一些实施例中，通过以下方式确定车道标志的拐角的3D世界坐标的集合：基于车辆的位置获得车道标志的拐角的先前存储的三维(3D)世界坐标的第二集合，其中车道标志的先前存储的位置信息包括车道标志的拐角的先前存储的3D世界坐标的第二集合；以及，将车道标志的拐角的先前存储的3D世界坐标的第二集合投影到第二传感器的坐标系，以获得在第二传感器数据中的车道标志的拐角的3D世界坐标的集合。在一些实施例中，通过以下方式来计算至少两个传感器的外在参数：针对至少两个车道标志的拐角中的每个车道标志的拐角计算第一损失函数，第一损失函数计算在车道标志的拐角的位置与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；针对至少两个车道标志的拐角中的每个车道标志的拐角计算第二损失函数，第二损失函数计算在从集合获得的车道标志的拐角的3D世界坐标与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；以及，分别基于第一损失函数和第二损失函数，对第一传感器和第二传感器的外在参数进行估算。
在一些实施例中，通过以下方式将车道标志的拐角的先前存储的3D世界坐标的第二集合投影到第二传感器的坐标系：通过将从第二传感器接收的第二传感器数据关联至点云图参考的一个或多个点来获得经变换的点云；从先前获得的地图提取子图；通过将经变换的点云关联至子图，获得描述在经变换的点云与子图之间的变换的第一变换矩阵；确定附加变换矩阵，该附加变换矩阵描述第二传感器的位置、点云图参考的一个或多个点以及与位于车辆中的惯性测量单元-全球导航卫星系统(IMU-GNSS)传感器关联的参考点之间的变换；并且基于第一变换矩阵、附加变换矩阵以及车道标志的拐角的先前存储的3D世界坐标的第二集合，计算在第二传感器数据中的车道标志的拐角的3D世界坐标的集合。在一些实施例中，子图包括在接收到第二传感器数据时在车辆的位置的预定距离内的点的3D世界坐标。
在另一个示例性方面中，上述方法以处理器可执行代码的形式实施，并且被存储在非暂时性计算机可读存储介质中。非暂时性计算机可读存储包括代码，当由处理器执行该代码时，导致处理器实现在实施例中描述的方法。
在又一个示例性实施例中，公开了被配置为执行上述方法或可操作地执行上述方法的设备。
在附图、说明书和权利要求中更详细地描述了上述和其它方面及其实现。
附图说明
图1A示出了相关的校准系统，以利用在车辆上的相机执行静态校准操作。
图1B示出了相关的成对的校准技术。
图1C示出了位于车辆中并且使用示例性技术进行校准的传感器的功能框图。
图2示出了示例性多传感器校准系统。
图3示出了针对示例性多传感器校准技术的信号处理和姿态估算操作的概览图。
图4示出了从相机获得的图像的示例，其中图像在道路的任一侧上包括多个车道块。
图5示出了由相机前端模块执行的操作的示例性流程图。
图6示出了示例性前端信号处理，以在车辆朝向校准道路路段行进时，标识从相机获得的多个图像中的被跟踪的和未被跟踪的车道块。
图7示出了由LiDAR前端模块执行的操作的示例性流程图。
图8示出了多传感器校准约束。
图9示出了执行多传感器校准的示例性流程图。
图10示出了位于车辆中以执行多传感器校准技术的计算机的示例性框图。
具体实施方式
自主驾驶车辆包括安装在自主驾驶车辆上的相机和光检测和测距(LiDAR)传感器，以获得在自主驾驶车辆周围的一个或多个区域的传感器数据项(例如，来自相机的图像和来自LiDAR传感器的点云图)。这些传感器数据项可以通过在自主驾驶车辆上的计算机来分析，以获得在自主驾驶车辆周围关于道路或关于对象的距离或其它信息。但是，需要对在自主驾驶车辆上的相机和LiDAR传感器进行校准，以使在自主驾驶车辆上的计算机可以精确地或准确地检测对象并且确定该对象的距离。在相关的校准系统中，训练有素的技术人员设置用于数据收集的校准板、并且基于该数据运行校准。整个过程可能非常耗时并且不容易操作。
针对自主驾驶，自主驾驶车辆传感器在一起应当具有冗余性地覆盖360度视野以确保安全。安装在车辆上的多个LiDAR和相机以指定的取向被安装在不同的位置处。附加地，相关的校准技术依赖于在自主驾驶车辆中的惯性测量单元-全球导航卫星系统(IMU-GNSS)传感器，其中通过操作由制造商提供的精确、准确和易于操作的校准，将IMU-GNSS传感器与自主驾驶车辆车身框架对齐。由于IMU-GNSS在运动期间表现最佳，因此自主驾驶车辆在校准过程中保持运动。校准过程估算特定传感器相对于位于车辆本体或参考传感器(例如，IMU)上的预定参考坐标的相对平移和取向。在相关的校准系统中，需要专门且训练有素的团队来执行这样的详尽的任务。
图1A示出了相关的校准系统100，以利用在车辆上的相机执行静态校准操作。在相关的校准系统100中，首先将车辆106驾驶到目标校准板102被定位的位置。目标校准板102具有黑白正方形的预定图案。此外，目标校准板102被定位于距车辆106固定距离处，以便目标校准版102距相机104和LiDAR传感器108的距离是固定的。相机104可以拍摄目标校准板102的数张照片，并且LiDAR传感器108可以扫描包括目标校准板102的在车辆106的前方的区域。在车辆106上的计算机可以使用空间几何关系来计算在目标校准板102与相机104之间的距离以及在目标校准板102与LiDAR传感器108之间的距离。需要对每对相机和LiDAR重复执行这样的处理，并且这样的处理不能被用于校准具有IMU的多对传感器。
然而，与图1A中描述的相关校准系统100类似的相关校准系统需要具有一个或多个目标校准板，该一个或多个目标校准板需要在距车辆的位置的一个或多个距离处被正确地设置(例如，正确的位置和正确的取向)。如果目标(多个)校准板未被定位或(例如，成角度的)放置在他们需要在的地方，则该系统的设置很麻烦，甚至可能引起校准不准确。其次，尽管为了便于描述，图1A示出了具有一个相机104和一个LiDAR传感器108的相关校准系统，但是相关校准系统包括以成对的方式校准的多个相机和LiDAR传感器(如图1B所示)。在相关的成对校准的校准中，使用由相机110A-110B捕获的图像将相机110A与另一个相机110B进行校准，使用由相机110A捕获的图像和由LiDAR 112A捕获的点云数据将LiDAR 112A与相机110A进行校准，等等。实际上，在相机和LiDAR两者中的目标校准板拐角检测的准确度都不是完美的，每次校准都会有一个很小的误差，因此，它对在三个传感器之中的循环一致性没有数学上的准确性。
图1C示出了位于车辆中、并且使用示例性技术进行校准的传感器的功能框图。相关的校准技术可以包括：可以使用由包括目标校准板的区域的第一相机150和第一LiDAR传感器152获得的第一测量集合，一起校准第一相机150和第一LiDAR传感器152；使用由包括目标校准板的区域的相机150、154获得的第二测量集合，校准第一相机150和第二相机154；使用由包括目标校准板的区域的LiDAR传感器152、156获得的第三测量集合，校准第一LiDAR传感器152和第二LiDAR传感器156；以及，使用由包括目标校准板的区域的第一相机传感器150和IMU-GNSS传感器158获得的第四测量集合，校准第一相机传感器150和惯性测量单元-全球导航卫星系统(IMU-GNSS)传感器158。在校准阶段期间的不同时间点处获得第一测量集合、第二测量集合、第三测量集合和第四测量集合。因此，这样的成对的校准技术不仅计算量大而且耗时。本文档中描述的技术可以由一些实施例使用，以解决上述问题以及其他问题。
描述了可以使用在校准阶段期间从多个传感器获得的、同时的测量，来校准多个传感器的示例性多传感器校准技术。获得的测量可以被使用以校准多种类型的传感器(诸如，相机和LiDAR传感器)。
图2示出了示例性多传感器校准系统200，示例性多传感器校准系统200包括在道路208上的车辆202，其中车辆202包括多个相机和多个LiDAR传感器。在图2中，为了便于描述，示出了单个相机204和单个LiDAR传感器206。然而，多个相机和多个LiDAR传感器可以被定位于车辆202上或放置在车辆202上，以获得校准道路路段212的传感器数据项，可以朝向校准道路路段212行驶车辆202。本文描述的用于相机204和LiDAR传感器206的校准技术可以被应用到被定位于车辆202上的其它传感器(例如，其它相机和其它LiDAR传感器)，并且可以获得校准道路路段212的传感器数据项。车辆212可以是自主驾驶车辆。
道路208包括校准道路路段212，校准道路路段212具有可以被粘贴在道路208的任一侧上的车道标志。车道标志包括位于道路208的第一侧上的车道块210a的第一集合，以及位于道路208的与第一侧相对的第二侧上的车道块210b的第二集合。在每个车道块的集合中，一个车道块可以从另一个车道块分隔预定的距离，以在道路上形成虚线的集合。车道块210a、210b可以具有矩形形状，并且可以具有白色。如在图2中示出的，车道块210a、210b的第一集合和第二集合可以彼此平行，并且可以延伸100米、150米或200米的长度，以使位于车辆202中的计算机能够执行在一些实施例中描述的多传感器校验技术。
道路208可以是直的(如图2所示)，并且可以具有平坦的顶表面，以便位于车辆202上的传感器可以轻松地获得校准道路路段212的传感器数据项。在一些实施例中，具有校准道路路段212的道路208可以被构建为车辆202被停放的在设施中或设施外侧的私有道路，使得当车辆202被发动以行驶到目的地时，在该私有道路上可以校准在车辆202上的多个传感器。在一些其它实施例中，道路208可以是公共道路，其中校准道路路段212排除了其中没有虚线的具有停车标志或交通信号灯的区域。可以选择或建造道路208，使得车辆202可以以大约恒定的速度行驶经过校准道路路段212，使得位于车辆202上的传感器能够以稳定的速率获得校准道路路段212的传感器数据项。
位于车辆202中的是存储高清晰度(HD)地图(在图10中示为“HD地图数据库1015”)的计算机。HD地图数据库包括每个车道块的每个拐角212a-212d的三维(3D)世界坐标。HD地图数据库还包括每个车道块的每个车道拐角的唯一标识符、针对每个车道块的唯一标识符，以及在大地参考中的、表示的校准道路路段212的LiDAR点云图。
图3示出了用于示例性多传感器校准技术300的信号处理和姿态估算操作的概览图。车辆包括传感器(例如，相机和LiDAR传感器)，每个传感器可以获得校准道路路段的传感器测量302，因为车辆可以被驶向或定位于与校准道路路段相邻并且面向校准道路路段(如图2所示)。示例性多传感器校准技术300可以在前端信号处理306中的传感器测量上执行信号处理，并且在后端优化308中执行姿态估算。如在一些示例性实施例中进一步描述的，位于车辆中的计算机可以基于在HD地图数据库304中有关车道块的信息，执行前端信号处理306和后端优化308，以获得针对每个传感器测量302的校准结果310。与前端信号处理306相关联的操作从(从相机获得的)图像和从LiDAR传感器获得的点云提取车道块拐角，并且将提取的拐角与从HD地图数据库304获得的那些拐角的3D世界坐标相关联。给定车道块拐角的这种关联，可以执行与后端优化308相关联的操作，以对多个传感器(例如，相机、LiDAR传感器和IMU-GNSS)的外在参数进行估算。
下面各个章节的示例标题被用于促进对所公开主题的理解，并且不以任何方式限制所要求保护的主题的范围。因此，一个示例章节的一个或多个特征可以与另一示例章节的一个或多个特征组合。
I.(a)针对从相机获得的图像的前端信号处理
图4示出了从相机获得的图像的示例，其中图像在道路的任一侧上包括多个车道块。包括在位于车辆中的计算机中的相机前端模块(在图10中示出为“1020”)可以在图像中检测到两个虚线车道402a、402b，多个车道块404a-404b，以及针对每个车道块的多个车道拐角406a-406d。在示例实现方式中，深度神经网络可以被使用以检测两个虚线车道402a、402b，多个车道块404a-404b以及针对每个车道块的多个车道拐角406a-406d。
图5示出了由相机前端模块执行的操作的示例性流程图。在操作502处，相机前端模块确定是否从相机获得下一个图像。如果相机前端模块确定在操作502处获得下一个图像，则相机前端模块执行操作504至510。并且，如果相机前端模块确定未获得下一个图像，则相机前端模块执行操作512至516。
在操作504处，相机前端模块获得由相机捕获的下一个图像。在操作506处，相机前端模块检测车道块并且提取块的拐角。在操作508处，如果存在这样的前一图像帧，则相机前端模块跟踪来自前一图像帧的车道块。在操作510处，相机前端模块针对每个新出现的车道块分配唯一的标识符。在操作510之后，相机前端模块再次执行操作502。
在操作512处，相机前端模块从HD地图获取或获得由拐角点表示的车道块。在操作514处，相机前端模块将HD地图获得的车道块与通过地图图像配准而从一个图像帧检测到的块相关联。在操作516处，相机前端模块可以通过拓扑顺序将来自图像帧的所有出现的车道块与地图车道块相关联。
在示例实现中，相机前端模块可以针对每个虚线车道从下到上地对在图像中检测到的车道块排序。根据在图像平面中检测到的车道块的像素位置，相机前端模块可以针对每个虚线车道从下到上地对车道块排序。相机前端模块可以基于从HD地图数据库获得的信息，将一个或多个唯一车道块标识符确定或分配给位于图像的底部处的一个或多个车道块。相机前端模块还可以根据在图像平面中的像素位置(例如，位于图像的底部的一个或多个车道块上方)来推断针对在图像中的其它车道块的唯一车道块标识符。
在一些实施例中，针对相机前端模块将从每个图像检测到的车道块与从HD地图数据库检测到的车道块的车道块标识符相关联的计算量大且困难，这至少是因为在执行多传感器校准技术之前，可能不知道相机-IMU-GNSS的准确的外在参数。将从一个图像检测到的车道块的集合与它们的来自HD地图的对应的车道块相关联，在计算上更加可行并且更容易。在这样的实施例中，可以针对位于由相机获得的第一图像中的一个或多个车道块的集合形成手动关联。例如，执行校准的驾驶员或人员可以使用位于车辆中的计算机，来手动地将一个或多个车道块的第一集合与来自HD地图数据库的一个或多个车道块标识符相关联。
在一些实施例中，相机前端模块可以通过(例如)由具有点特征的RANSAC框架估算在连续帧之间的单应性，来确定从(从相机获得的)图像标识的一个或多个车道块在从相机获得的前一图像中的存在。在相机前端模块执行单应性操作之后，相机前端模块可以将前一图像帧包装到当前的图像帧。如果相机前端模块确定在来自当前图像帧的车道块与来自前一图像帧的另一个车道块之间的并集上交集(Intersection-over-Union(loU))较大(例如，超过80％)，则位于前一图像帧和当前图像帧中的两个车道块可以被认为是相同的。
在一些实施例中，针对在两个或更多个图像帧之间成功地跟踪的车道块，相机前端模块可以针对成功地跟踪的车道块分配车道块标识符。在这样的实施例中，车道块标识符与在前一帧中分配给车道块的那些标识符相同。在一些其它实施例中，针对在前一图像帧中不存在的、在当前图像帧中的未被跟踪的或新的车道块，相机前端模块可以根据被跟踪的车道块的车道块标识符针对未被跟踪的车道块分配车道块标识符。
图6示出了示例性的前端信号处理，以在车辆朝向校准道路路段(如图2所描述的)行进时标识在从相机获得的多个图像中的被跟踪的或未被跟踪的车道块。图6示出了从位于车辆上的相机获得的四个图像602a至602d。如在图6中示出的，每个图像可以包括以虚线布置的多个车道块。相机前端模块可以检测并分配字母“a”以在图像平面中索引车道块。相机前端模块可以使用数字来索引在HD地图数据库604中的车道块。因此，在示例实现方式中，相机前端模块可以基于车辆的位置(例如，纬度、经度和/或高度)和姿态(例如，俯仰、偏航和/或侧倾)将来自图像的车道块“a”与在HD地图数据库604中的车道块“1”相关联，可以从IMS-GNSS传感器获得车辆的位置和姿态。
针对多个图像602a至602d，相机前端模块可以生成在图像602a至602d中的车道块与在HD地图数据库604中的车道块之间的相关联的列表。例如，相机前端模块可以使用符号<a,1>来表示在图像602a、602b与HD地图数据库604之间的一对匹配的车道块。在时间t处，相机前端模块可以生成<a,1>，在时间t+1处，相机前端模块可以跟踪或确定在图像602b中的车道块“a”与在图像602a中的车道块“a”是相同的车道块。因此，针对在时间t+1处的图像602b，由于车道块“b”是车道块“a”的上邻，并且在HD地图数据库604中车道块“2”是车道块“1”的上邻，因此相机前端模块可以将针对车道块“b”的符号生成为<b，2>。在时间t+2处，由于车道块“c”是车道块“b”的上邻，并且在HD地图数据库604中车道块“3”也是车道块“2”的上邻，因此相机前端模块可以确定在图像602c中已经跟踪了车道块“a”和“b”，并且相机前端模块可以将针对车道块“c”的符号生成为<c，3>，以此类推。
相机前端模块可以在从相机获得的图像中，针对由相机前端模块检测到的每个车道块分配车道拐角标识符。在图6中，如果相机前端模块确定在图像602a中标识的车道块<a，1>，则可以给车道块“a”的四个拐角分配与在HD地图数据库604中的车道块“1”的拐角标识符相同的标识符。
I.前端信号处理
I.(b)针对从LiDAR传感器获得的传感器数据项的前端信号处理
由于针对当前使用的32线或64线LiDAR传感器的点云稀疏，因此很难通过从LiDAR传感器获得的点云测量来提取车道拐角。为了克服这个问题，可以获得点云的多个帧以获得密集的点云。但是，为了累积密集的点云，应该知道针对每一帧的准确的LiDAR姿态。LiDAR姿态可以从IMU+GNSS传感器测量和LiDAR-IMU外在参数导出。然而，要完成多传感器校准，需要累积密集的点云，但是要累积密集的点云，校准技术需要精确的LiDAR-IMU外在参数，这是需要通过获得密集的点云来解决的参数。
图7示出了由LiDAR前端模块(在图10中示出为“1025”)执行的操作的示例性流程图。在操作702处，在车辆可以被驶向或定位于邻近校准道路路段、并且面向校准道路路段的道路上时，LiDAR前端模块获得从由LiDAR传感器执行的测量获得的帧的点云数据(PCD)。作为示例，位于车辆上的LiDAR传感器可以在多个帧中获得传感器测量，其中每个帧包括校准道路路段的至少一部分的PCD(如在图2中描述的)。
在操作704处，LiDAR前端模块通过使用完善的技术(诸如，迭代闭合点(ICP)和/或正态分布变换(NDT))将在操作702处获得的单个点云配准到点云图参考中，从而获得经变换的单个扫描点云。点云图参考可以是先前获得的点云图参考，该点云图参考包括在包括道路的空间区域中先前获得的各个点的3D世界坐标，该道路包括校准道路路段，其中3D世界坐标可以通过LiDAR获得。可以将点云图参考存储在HD地图数据库中，以便可以通过LiDAR前端模块从HD地图数据库获得点云图参考的3D世界坐标。所获得的单个扫描点云被变换到一个或多个点云图参考，这至少是因为LiDAR传感器和IMU+GNSS传感器可以被定位于车辆的不同区域中，并且因为先前获得的点云图参考(在操作706中进一步描述)从在车辆上的IMU+GNSS传感器的位置或角度描述了包括校准道路路段的道路的3D点云信息。
基于GNSS+IMU传感器提供的测量信息(例如，车辆的纬度、经度、高度、航向、俯仰角和/或偏航角)和先前存储的或粗略的LiDAR到IMU外在参数
Figure BDA0002557823090000151
在操作702处获得的单个扫描点云可以被变换为一个或多个点云图参考点。先前存储的LiDAR到IMU外在参数可以描述位于车辆上或车辆中的LiDAR传感器和IMU-GNSS传感器的空间关系(例如，角度或位置)，或者可以描述LiDAR传感器与IMU-GNSS传感器之间的位置或取向关系。参考在车辆上的IMU-GNSS传感器的位置描述了点云图参考的一个或多个点的位置，而PCD参考LiDAR传感器描述了各个点的位置。IMU-GNSS和LiDAR传感器可以被定位于车辆上的不同位置处，并且具有不同的取向。因此，执行PCD到一个或多个点云图参考点的变换，以将PCD与先前获得的密集的点云图参考相关联。
在一些实施例中，PCD帧是指单个扫描点云，经变换的PCD是指经变换的单个扫描点云，并且点云图和点云子图是指通常从LiDAR数据生成的3D点云图。
在提取操作706处，LiDAR前端模块可以从先前获得的点云图提取子图，先前获得的点云图包括包含校准道路路段的道路的密集的点云，其中LiDAR前端模块基于可以从GNSS+IMU传感器获得的车辆的位置提取子图。先前获得的点云图包括包含校准道路路段的道路的先前获得的各个点的3D世界坐标，其中可以通过LiDAR获得3D世界坐标。可以将先前获得的点云图存储在HD地图数据库中，以便可以通过LiDAR前端模块从HD地图数据库获得先前获得的点云图的3D世界坐标。因此，先前获得的点云图从LiDAR数据生成，该LiDAR数据可以在车辆前方大约150至200米的区域内提供点云信息。当在操作702处获得单个扫描点云时，可以提取子图以标识在车辆的位置的预定距离内(例如，在车辆的位置前方50米内)的区域。提取子图是有益的技术解决方案，这至少是因为它通过将经变换的点云图配准到完整点云图的一部分来减少计算量。由LiDAR前端模块使用子图，以配准从操作704获得的经变换的单个扫描点云配准。
在操作708处，经变换的单个扫描点云被与3D点云子图配准，以执行拟合操作，其中来自经变换的单个扫描点云的信息被拟合到、或关联到3D点云子图。配准方法可以包括正态分布变换(NDT)和/或迭代最近点(ICP)。LiDAR前端模块可以将通过在操作708处执行配准而提供的经变换矩阵表示为Trefine。在操作704中，使用Trefine参数与预定的LiDAR-IMU外在参数进行比较。
在操作710处，LiDAR前端模块通过求解在等式(1)中的(多个)经变换矩阵
Figure BDA0002557823090000161
来计算在由LiDAR传感器获得的单个扫描点云与3D点云图的一部分之间的变换。操作702至708建立了一系列变换，并且LiDAR前端模块可以计算本文描述的变换的组成。LiDAR前端模块可以将pmap和plidar分别地表示为在地图参考和LiDAR参考中的点的坐标。
Figure BDA0002557823090000162
其中
Figure BDA0002557823090000163
是在LiDAR帧(或LiDAR的平移和取向)到IMU+GNSS帧(作为IMU+GNSS传感器的原点/参考点)之间的变换，该变换是通过先前存储的、或粗略的LiDAR到IMU外在参数获得的。
Figure BDA0002557823090000164
是在IMU-GNSS参考与点云图参考(例如，ENU或东北上参考)的一个或多个点之间的变换。
在操作712处，LiDAR前端模块计算每个车道块的车道拐角的3D世界坐标。LiDAR前端模块可以从HD地图数据库获得每个车道拐角的3D世界坐标。LiDAR前端模块可以针对每个车道拐角求解等式(2)，以获得在LiDAR帧中每个车道拐角的3D世界坐标。在等式(2)中，从HD地图数据库获得的HD地图数据库车道拐角坐标可以被包括在pmap中。
Figure BDA0002557823090000165
基于上述技术，可以通过变换在点云地图参考中的车道拐角来获得在LiDAR参考中的3D世界坐标和车道拐角标识符。
II.在后端优化中的姿态估算
后端优化操作(如在图3中描述的)可以由后端校准模块(在图10中示出为“1030”)执行，以使能所有传感器的一致并且准确的校准。后端校准模块可以执行操作，以同时地校准多个传感器以优化外在参数。图8示出了多传感器校准约束，其中T1＝(T2 o T3)，其中符号“o”表示将T2和T3相加的一些运算符，并且其中T1、T2和T3描述了相对于另一个传感器的外在参数的一个传感器的外在参数。例如，如在图8中示出的，在相机与LiDAR之间的外在参数(T1)可以等于从该相机到IMU-GNSS的外在参数(T3)加上从IMU-GNSS到LiDAR的外在参数(T2)。由于IMU外在参数可以被预先校准，因此可以提供值得信赖的定位信息，以及来自HD地图的值得信赖的信息。
使用在章节II中描述的技术，后端校准模块可以基于确定在来自每个传感器数据项的车道标志的位置信息(例如，从相机获得的图像和从LiDAR传感器获得的PCD)与车道标志的先前存储的位置信息之间的差异，计算位于车辆上的传感器(例如，相机、LiDAR)的外在参数。
外在矩阵是如下所示的4x4矩阵，并且外在矩阵由3个自由度(DoF)平移和3个DoF旋转组成，其可以用李代数(lie algebra)表示为3x3旋转矩阵。变量r指示3x3旋转矩阵的元素，并且变量t指示1x3变换向量。
Figure BDA0002557823090000171
从一个传感器到另一个传感器的每个变换矩阵可以被表示为旋转和平移矩阵。例如，如果车辆包括三个相机、两个LiDAR和两个IMU，则可以存在12个变换矩阵，以用于后端校准模块估算。
II.(a)内在和外在参数
内在和外在参数可以被描述如下：
相机仿射变换：
Figure BDA0002557823090000172
相机内在和失真：
Figure BDA0002557823090000181
相机-IMU外在：
Figure BDA0002557823090000182
LiDAR-IMU外在：
Figure BDA0002557823090000183
LiDAR-相机外在：
Figure BDA0002557823090000184
LiDAR-LiDAR外在：
Figure BDA0002557823090000185
II.(b)损失函数
为了估算在上文章节II.(a)中描述的参数，损失函数可以被描述如下。损失函数可以是来自至少两个不同传感器(例如，相机和LiDAR传感器)的不同观测的最小平方和。可以从HD地图获取车道标志，车道标志可以成为IMU的观测，并且车道标志可以由相机和LiDAR传感器两者、利用在一些实施例中描述的一些处理来观测。一个车道块的四个拐角点可以被用于与损失函数相关的操作。然后，损失就是在2D或3D中由不同传感器捕获的每个拐角点的欧几里得(Euclidean)距离的总和。
相机-IMU：从在2D图像空间中的地图点(例如，从HD地图获得的车道标志拐角的3D世界坐标)和图像点的距离计算损失：
Figure BDA0002557823090000186
LiDAR-IMU：从在3D空间中的地图点和LiDAR点的距离计算损失：
Figure BDA0002557823090000187
相机-LiDAR：从在2D图像空间中的图像点和LiDAR点的距离计算损失：
Figure BDA0002557823090000191
相机-相机：从来自在2D图像空间中的两个图像的点的距离计算损失：
Figure BDA0002557823090000192
LiDAR-LiDAR：从来自在3D空间中的两个LiDAR的点的距离计算损失：
Figure BDA0002557823090000193
后端校准模块可以最小化上述损失函数，以获得针对两个传感器的外在参数。在一些实施例中，后端校准模块可以在由相机提供的图像或由LiDAR传感器提供的帧的PCD数据之间添加约束，以提供在图像之间、和帧的PCD数据之间的循环一致性。约束可以被描述为重量损失的一种形式，它被定义为三个变换矩阵相乘的弗罗贝尼乌斯范数(FrobeniusNorm)。因此，为了确保多传感器的一致性，可以添加以下约束：
仿射约束：用于具有较大重叠FOV的相机：
Figure BDA0002557823090000194
具有李代数的相机-LiDAR-IMU一致性约束：用于具有重叠FOV的相机和LiDAR：
Figure BDA0002557823090000195
具有李代数的LiDAR-LiDAR约束：
Figure BDA0002557823090000196
II.(c)消失点(VP)约束
VP还可以提供针对旋转矩阵的约束。将在HP地图中的车道的方向向量表示为d，将在图像平面中的车道VP的齐次坐标表示为v，将针对相机的内在参数矩阵表示为K，将从世界帧到相机帧的旋转矩阵表示为
Figure BDA0002557823090000197
VP约束可以由
Figure BDA0002557823090000198
确定。该约束可以如下：
Figure BDA0002557823090000199
其中Π是将3D点从齐次坐标投影到非齐次坐标的投影函数，并且
Figure BDA0002557823090000201
是在图像平面中检测到的VP。
图9示出了执行多传感器校准的示例性流程图。在获得操作902处，从位于车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项。在提取操作904处，从每个传感器数据项提取车道标志的位置信息。
在一些实施例中，从至少两个传感器中的每个传感器获得传感器数据项、并且从每个传感器数据项提取车道标志的位置信息包括：从位于车辆上的相机接收包括车道标志的图像；从图像确定车道标志的拐角的像素位置；从位于车辆上的光检测和测距(LiDAR)传感器接收帧，帧包括道路的区域的点云数据(PCD)，该道路的区域包括车道标志；以及，确定车道标志的拐角的三维(3D)世界坐标的集合。
在一些实施例中，通过以下方式确定车道标志的拐角的3D世界坐标的集合：基于车辆的位置，获得车道标志的拐角的先前存储的三维(3D)世界坐标的第二集合，其中车道标志的先前存储的位置信息包括车道标志的拐角的先前存储的3D世界坐标的第二集合；以及，将车道标志的拐角的先前存储的3D世界坐标的第二集合投影到LiDAR传感器的坐标系，以获得在帧中的车道标志的拐角的3D世界坐标的集合。
在计算操作906处，基于确定在来自每个传感器数据项的车道标志的位置信息与车道标志的先前存储的位置信息之间的差异，计算至少两个传感器的外在参数。
在一些实施例中，通过以下方式计算至少两个传感器的外在参数：针对车道标志的每个拐角计算第一损失函数，第一损失函数计算在车道标志的拐角的像素位置与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；针对车道标志的每个拐角计算第二损失函数，第二损失函数计算在从集合获得的车道标志的拐角的3D世界坐标与从第二集合获得的先前存储的车道标志的拐角的3D世界坐标之间的距离；以及，分别基于第一损失函数和第二损失函数，对相机和LiDAR传感器的外在参数进行估算。
在一些实施例中，通过以下方式将车道标志的拐角的先前存储的3D世界坐标的第二集合投影到LiDAR传感器的坐标系：通过将从LiDAR传感器接收的PCD与点云图参考的一个或多个点关联，来获得经变换的点云；从先前获得的PCD图提取子图；将经变换的点云的配准至子图，以获得第一变换矩阵，第一变换矩阵描述在经变换的点与子图之间的变换，其中配准将经变换的点云关联至子图；确定附加变换矩阵，附加变换矩阵描述在LiDAR传感器的位置、点云图参考的一个或多个点，以及与位于车辆中的惯性测量单元-全球导航卫星系统(IMU-GNSS)传感器相关联的参考点之间的变换；基于第一变换矩阵、附加变换矩阵，以及车道标志的拐角的先前存储的3D世界坐标的第二集合，计算在帧中的车道标志的拐角的3D世界坐标的集合。
在一些实施例中，基于由IMU-GNSS传感器提供的测量和先前存储的LiDAR到IMU外在参数，PCD被关联至点云图参考、，并且先前存储的LiDAR到IMU外在参数描述在LiDAR和IMU-GNSS传感器的位置和取向之间的空间关系。在一些实施例中，子图包括在接收到PCD时、在车辆的位置的预定距离内的点的3D世界坐标。
在一些实施例中，方法包括：从位于车辆上的相机接收包括车道标志的图像；从图像确定车道标志的拐角的位置；从位于车辆上的光检测和测距(LiDAR)传感器接收帧，帧包括区域的点云数据(PCD)，该区域包括车道标志；以及，确定车道标志的拐角的三维(3D)世界坐标的集合，其中至少两个传感器包括相机和LiDAR传感器。在一些实施例中，通过以下方式确定车道标志的拐角的3D世界坐标的集合：基于车辆的位置获得车道标志的拐角的先前存储的三维(3D)世界坐标的第二集合，其中车道标志的先前存储的位置信息包括车道标志的拐角的先前存储的3D世界坐标的第二集合；以及，通过使用车道标志的拐角的先前存储的3D世界坐标的第二集合和LiDAR传感器的坐标系获得在帧中的车道标志的拐角的3D世界坐标的集合。
在一些实施例中，通过以下方式计算相机的外在参数：针对车道标志的拐角计算损失函数，损失函数计算在车道标志的拐角的位置与从第二集合获得的车道标记的拐角的先前存储的3D世界坐标之间的距离；以及，基于损失函数，对相机的外在参数进行估算。在一些实施例中，通过以下方式计算LiDAR传感器的外在参数：针对车道标志的拐角计算损失函数，损失函数计算在从集合获得的车道标志的拐角的3D世界坐标与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；以及，基于损失函数，对LiDAR传感器的外在参数进行估算。在一些实施例中，通过以下方式将车道标志的拐角的先前存储的3D世界坐标的第二集合与LiDAR传感器的坐标系一起使用：使用从LiDAR传感器接收的PCD与点云图参考的一个或多个点，获得经变换的点云；执行经变换的点云至子图的配准，以获得第一变换矩阵，第一变换矩阵描述在经变换的点云与子图之间的变换，其中从先前的PCD图获得子图；确定附加变换矩阵，附加变换矩阵描述在LiDAR传感器的位置、点云图参考的一个或多个点以及与位于车辆中的惯性测量单元-全球导航卫星系统(IMU-GNSS)相关联的参考点之间的变换；以及，基于第一变换矩阵、附加变换矩阵以及车道标志的拐角的先前存储的3D世界坐标的第二集合，计算在帧中的车道标志的拐角的3D世界坐标的集合。在一些实施例中，PCD与点云图参考相关联。
在一些实施例中，从至少两个传感器中的每个传感器获得传感器数据项，并且从每个传感器数据项提取车道标志的位置信息包括：从位于车辆上的第一传感器接收第一传感器数据，第一传感器数据包括车道标志；从图像确定车道标志的拐角的位置；从位于车辆上的第二传感器接收道路的区域的第二传感器数据；以及，确定车道标志的拐角的三维(3D)世界坐标的集合。在一些实施例中，通过以下方式确定车道标志的拐角的3D世界坐标的集合：基于车辆的位置，获得车道标志的拐角的先前存储的三维(3D)世界坐标的第二集合，其中车道标志的先前存储的位置信息包括车道标志的拐角的先前存储的3D世界坐标的第二集合；以及，将车道标志的拐角的先前存储的3D世界坐标的第二集合投影到第二传感器的坐标系，以获得在第二传感器数据中的车道标志的拐角的3D世界坐标的集合。
在一些实施例中，通过以下方式计算至少两个传感器的外在参数：针对车道标志的至少两个拐角中的每个拐角计算第一损失函数，第一损失函数计算在车道标志的拐角的位置与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；针对车道标志的至少两个拐角中的每个拐角计算第二损失函数，第二损失函数计算在从集合获得的车道标志的拐角的3D世界坐标与从第二集合获得的车道标志的拐角的先前存储的3D世界坐标之间的距离；以及，分别基于第一损失函数和第二损失函数，对第一传感器和第二传感器的外在参数进行估算。
在一些实施例中，通过以下方式将车道标志的拐角的先前存储的3D世界坐标的第二集合投影到第二传感器的坐标系：通过将从第二传感器接收的第二传感器数据关联到点云图参考的一个或多个点来获取经变换的点云；从先前存储的地图提取子图；通过将经变换的点云关联至子图，获得第一变换矩阵，第一变换矩阵描述经变换的点云与子图之间的变换；确定附加变换矩阵，附加变换矩阵描述在第二传感器的位置、点云图参考的一个或多个点以及与位于车辆中的惯性测量单元-全球导航卫星系统(IMU-GNSS)传感器相关联的参考点之间的变换；以及，基于第一变换矩阵、附加变换矩阵以及车道标志的拐角的先前存储的3D世界坐标的第二集合，计算在第二传感器数据中的车道标志的拐角的3D世界坐标的集合。在一些实施例中，子图包括在接收到第二传感器数据时、在车辆的位置的预定距离内的点的3D世界坐标。
在一些实现方式中，在各种实施例中描述的方法被实施在存储在非暂时性计算机可读介质上的计算机可读程序中。计算机可读程序包括代码，当由处理器执行该代码时，导致处理器执行在一些实施例中描述的方法，包括图9中描述的方法。
图10示出了位于车辆中以执行在一些实施例中描述的多传感器校准技术的计算机的示例性框图。计算机1000包括至少一个处理器1010和在其上存储的、具有指令的存储器1005。在由处理器1010执行指令时，计算机1000被配置为执行针对相机、LiDAR传感器以及如在图2至9中描述的各种模块的操作，和/或在各个实施例中描述的操作。
在本文档中，术语“示例性”被用于表示“……的示例”，并且除非另有说明，否则并不意味着理想的或优选的实施例。
本文描述的一些实施例是在方法或处理的一般的背景中描述的，该方法或处理可以在一个实施例中由计算机程序产品实现，计算机程序产品被实施在计算机可读介质中，计算机程序产品包括计算机可执行指令(诸如，程序代码)，计算机可执行指令由在网络环境中的计算机执行。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于：只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字通用光盘(DVD)等。因此，计算机可读介质可以包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。计算机可执行指令或处理器可执行指令、关联的数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现在这样的步骤或处理中描述的功能的对应的动作的示例。
可以使用硬件电路、软件或其组合来将在所公开的实施例中的一些实施例实现为设备或模块。例如，硬件电路实现方式可以包括离散的模拟和/或数字部件，例如离散的模拟和/或数字部件被集成为印刷电路板的一部分。备选地或附加地，所公开的部件或模块可以被实现为专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)设备。一些实现方式可以附加地或备选地包括数字信号处理器(DSP)，数字信号处理器是具有针对与本申请所公开的功能相关联的数字信号处理的操作需求而最优化的架构的专用微处理器。类似地，在每个模块内的各种部件或子部件可以以软件、硬件或固件来实现。使用本领域中已知的任何一种连接方法和介质，可以提供模块和/或模块内的部件之间的连接，包括但不限于使用适当协议通过互联网、有线或无线网络进行的通信。
尽管本文档包含许多细节，但是这些细节不应被解释为对所要求保护的发明或可被要求保护的发明的范围的限制，而是对特定实施例的特定特征的描述。，在本文档中被描述的、在分隔的实施例的背景中的某些特征也可以在单个实施例中被组合地实现。相反，在单个实施例的背景中描述的各种特征也可以分别地在多个实施例中、或以任何合适的子组合来实现。而且，尽管上面可能将特征描述为以某些组合起作用甚至最初也这样声称，但是在某些情况下，可以从所要求保护的组合中切除一个或多个特征，并且所要求保护的组合可以针对子组合或子组合的变型。类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示出的特定顺序、或以连续的顺序执行这样的操作，或者执行所有示出的操作以实现期望的结果。
仅描述了一些实现方式和示例，并且可以基于在本公开中描述和图示的内容做出其它实现方式、增强和变型。

Claims (20)

1.一种自主驾驶车辆操作的方法，包括：
从位于车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项；
从每个传感器数据项提取所述车道标志的位置信息；以及
基于确定在来自每个传感器数据项的所述车道标志的所述位置信息与所述车道标志的先前存储的位置信息之间的差异，计算所述至少两个传感器的外在参数。
2.根据权利要求1所述的方法，其中从所述至少两个传感器中的每个传感器获得所述传感器数据项，以及从每个传感器数据项提取所述车道标志的所述位置信息包括：
从位于所述车辆上的相机接收包括所述车道标志的图像；
从所述图像确定所述车道标志的拐角的像素位置；
从位于所述车辆上的光检测和测距LiDAR传感器接收帧，所述帧包括所述道路的区域的点云数据PCD，所述道路的区域包括所述车道标志；以及
确定所述车道标志的所述拐角的三维3D世界坐标的集合。
3.根据权利要求2所述的方法，其中通过以下方式确定所述车道标志的所述拐角的3D世界坐标的所述集合：
基于所述车辆的位置，获得所述车道标志的所述拐角的先前存储的三维3D世界坐标的第二集合，其中所述车道标志的所述先前存储的位置信息包括车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合；以及
将所述车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合投影到所述LiDAR传感器的坐标系，以获得在所述帧中的所述车道标志的所述拐角的3D世界坐标的所述集合。
4.根据权利要求3所述的方法，其中通过以下方式计算所述至少两个传感器的所述外在参数：
针对所述车道标志的每个拐角计算第一损失函数，所述第一损失函数计算所述车道标志的拐角的像素位置与从所述第二集合获得的所述车道标志的所述拐角的所述先前存储的3D世界坐标之间的距离；
针对所述车道标志的每个拐角计算第二损失函数，所述第二损失函数计算从所述集合获得的所述车道标志的所述拐角的3D世界坐标与从所述第二集合获得的所述车道标志的所述拐角的所述先前存储的3D世界坐标之间的距离；以及
分别基于所述第一损失函数和所述第二损失函数，对所述相机和所述LiDAR传感器的所述外在参数进行估算。
5.根据权利要求3所述的方法，其中通过以下方式将所述车道标志的所述拐角的先前存储的3D世界坐标的第二集合投影到所述LiDAR传感器的所述坐标系：
通过将从所述LiDAR传感器接收的所述PCD关联至点云图参考的一个或多个点来获得经变换的点云；
从先前获得的PCD图提取子图；
执行所述经变换的点云至所述子图的配准，以获得第一变换矩阵，所述第一变换矩阵描述所述经变换的点云与所述子图之间的变换，其中所述配准将所述经变换的点云关联至所述子图；
确定附加变换矩阵，所述附加变换矩阵描述在所述LiDAR传感器的位置、所述点云图参考的所述一个或多个点和与位于所述车辆中的惯性测量单元-全球导航卫星系统IMU-GNSS传感器相关联的参考点之间的变换；以及
基于所述第一变换矩阵、所述附加变换矩阵和所述车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合，计算在所述帧中的所述车道标志的所述拐角的3D世界坐标的所述集合。
6.根据权利要求5所述的方法，
其中基于由所述IMU_GNSS传感器提供的测量结果和先前存储的LiDAR到IMU的外在参数，将所述PCD关联至所述点云图参考，以及
其中所述先前存储的LiDAR到IMU的外在参数描述了在所述LiDAR和所述IMU-GNSS传感器的位置与取向之间的空间关系。
7.根据权利要求5所述的方法，其中所述子图包括在接收到所述PCD时在所述车辆的所述位置的预定距离内的点的3D世界坐标。
8.一种用于在车辆上或在车辆中的多个传感器的校准的系统，所述系统包括处理器，所述处理器被配置为：
从位于所述车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项；
从每个传感器数据项提取所述车道标志的位置信息；以及
基于确定来自每个传感器数据项的所述车道标志的所述位置信息与所述车道标志的先前存储的位置信息之间的差异，计算所述至少两个传感器的外在参数。
9.根据权利要求8所述的系统，其中所述处理器被配置为从所述至少两个传感器中的每个传感器获得所述传感器数据项，并且所述处理器通过被配置为以下方式而从每个传感器数据项提取所述车道标志的所述位置信息：
从位于所述车辆上的相机接收包括所述车道标志的图像；
从所述图像确定所述车道标志的拐角的位置；
从位于所述车辆上的光检测和测距LiDAR传感器接收帧，所述帧包括区域的点云数据PCD，所述区域包括所述车道标志；以及
确定所述车道标志的所述拐角的三维3D世界坐标的集合，
其中所述至少两个传感器包括所述相机和所述LiDAR传感器。
10.根据权利要求9所述的系统，其中通过所述处理器确定所述车道标志的所述拐角的3D世界坐标的所述集合，所述处理器被配置为：
基于所述车辆的位置获得所述车道标志的所述拐角的先前存储的三维3D世界坐标的第二集合，其中所述车道标志的所述先前存储的位置信息包括所述车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合；以及
通过使用所述车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合和所述LiDAR传感器的坐标系，获得在所述帧中的所述车道标志的所述拐角的3D世界坐标的所述集合。
11.根据权利要求10所述的系统，其中通过所述处理器计算所述相机的所述外在参数，所述处理器被配置为：
针对所述车道标志的拐角计算损失函数，所述损失函数计算所述车道标志的所述拐角的位置与从所述第二集合获得的所述车道标志的所述拐角的所述先前存储的3D世界坐标之间的距离；以及
基于所述损失函数，对所述相机的所述外在参数进行估算。
12.根据权利要求10所述的系统，其中通过所述处理器计算所述LiDAR传感器的所述外在参数，所述处理器被配置为：
针对所述车道标志的拐角计算损失函数，所述损失函数计算从所述集合获得的所述车道标志的所述拐角的3D世界坐标与从所述第二集合获得的所述车道标志的所述拐角的所述先前存储的3D世界坐标之间的距离；以及
基于所述损失函数，对所述LiDAR传感器的所述外在参数进行估算。
13.根据权利要求10所述的系统，其中通过所述处理器将所述车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合与所述LiDAR传感器的所述坐标系一起使用，所述处理器被配置为：
使用从所述LiDAR传感器接收的所述PCD与点云图参考的一个或多个点获得经变换的点云；
执行所述经变换的点云至子图的配准，以获得第一变换矩阵，所述第一变换矩阵描述所述经变换的点云与所述子图之间的变换，其中从先前的PCD图获得所述子图；
确定附加变换矩阵，所述附加变换矩阵描述在所述LiDAR传感器的位置、所述点云图参考的所述一个或多个点以及与位于所述车辆中的惯性测量单元-全球导航卫星系统IMU-GNSS传感器相关联的参考点之间的变换；以及
基于所述第一变换矩阵、所述附加变换矩阵以及所述车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合，计算在所述帧中的所述车道标志的所述拐角的3D世界坐标的所述集合。
14.根据权利要求13所述的系统，其中所述PCD被关联至所述点云图参考。
15.一种非暂时性计算机可读存储介质，具有存储在其上的代码，当由处理器执行所述代码时，导致所述处理器实现包括以下方式的方法：
从位于车辆上的至少两个传感器中的每个传感器获得包括车道标志的道路的传感器数据项；
从每个传感器数据项提取所述车道标志的位置信息；以及
基于确定来自每个传感器数据项的在所述车道标志的所述位置信息与所述车道标志的先前存储的位置信息之间的差异，计算所述至少两个传感器的外在参数。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中从所述至少两个传感器中的每个传感器获得的所述传感器数据项，以及从每个传感器数据项提取的所述车道标志的所述位置信息包括：
从位于所述车辆上的第一传感器接收包括所述车道标志的第一传感器数据；
从所述图像确定所述车道标志的拐角的位置；
从位于所述车辆上的第二传感器接收所述道路的区域的第二传感器数据，所述道路的区域包括所述车道标志；以及
确定所述车道标志的所述拐角的三维3D世界坐标的集合。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中通过以下方式确定所述车道标志的所述拐角的3D世界坐标的所述集合：
基于所述车辆的位置获得所述车道标志的所述拐角的先前存储的三维(3D)世界坐标的第二集合，其中所述车道标志的所述先前存储的位置信息包括车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合；以及
将所述车道标志的所述拐角的先前存储的3D世界坐标的所述第二集合投影到所述第二传感器的坐标系，以获得在所述第二传感器数据中的所述车道标志的所述拐角的3D世界坐标的所述集合。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中通过以下方式计算所述至少两个传感器的所述外在参数：
针对所述车道标志的至少两个拐角中的每个拐角计算第一损失函数，所述第一损失函数计算所述车道标志的拐角的位置与从所述第二集合获得的所述车道标志的所述拐角的所述先前存储的3D世界坐标之间的距离；
针对所述车道标志的所述至少两个拐角中的每个拐角计算第二损失函数，所述第二损失函数计算从所述集合获得的所述车道标志的所述拐角的3D世界坐标与从所述第二集合获得的所述车道标志的所述拐角的所述先前存储的3D世界坐标之间的距离；以及
分别基于所述第一损失函数和所述第二损失函数，对所述第一传感器和所述第二传感器的所述外在参数进行估算。
19.根据权利要求17所述的非暂时性计算机可读存储介质，其中通过以下方式将所述车道标志的所述拐角的所述先前存储的3D世界坐标的所述第二集合投影到所述第二传感器的所述坐标系：
通过将从所述第二传感器接收的所述第二传感器数据关联至点云图参考的一个或多个点来获得经变换的点云；
从先前获得的地图提取子图；
通过将所述经变换的点云关联至所述子图，获得第一变换矩阵，所述第一变换矩阵描述所述经变换的点云与所述子图之间的变换；
确定附加变换矩阵，所述附加变换矩阵描述在所述第二传感器的位置、所述点云图参考的所述一个或多个点以及与位于所述车辆中的惯性测量单元-全球导航卫星系统IMU-GNSS传感器相关联的参考点之间的变换；以及
基于所述第一变换矩阵、所述附加变换矩阵以及所述车道标志的所述拐角的所述先前存储的3D世界坐标的所述第二集合，计算在所述第二传感器数据中的所述车道标志的所述拐角的3D世界坐标的所述集合。
20.根据权利要求19所述的非暂时性计算机可读存储介质，其中所述子图包括在接收到所述第二传感器数据时、在所述车辆的所述位置的预定距离内的点的3D世界坐标。
CN202010598425.2A 2020-06-28 2020-06-28 多传感器校准系统 Pending CN113847930A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010598425.2A CN113847930A (zh) 2020-06-28 2020-06-28 多传感器校准系统
US16/937,508 US11908163B2 (en) 2020-06-28 2020-07-23 Multi-sensor calibration system
AU2021204030A AU2021204030A1 (en) 2020-06-28 2021-06-17 Multi-sensor calibration system
EP21181384.5A EP3929872A1 (en) 2020-06-28 2021-06-24 Multi-sensor calibration system
JP2021105382A JP2022008790A (ja) 2020-06-28 2021-06-25 マルチセンサキャリブレーションシステム
US18/512,205 US20240095960A1 (en) 2020-06-28 2023-11-17 Multi-sensor calibration system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010598425.2A CN113847930A (zh) 2020-06-28 2020-06-28 多传感器校准系统

Publications (1)

Publication Number Publication Date
CN113847930A true CN113847930A (zh) 2021-12-28

Family

ID=78972170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010598425.2A Pending CN113847930A (zh) 2020-06-28 2020-06-28 多传感器校准系统

Country Status (2)

Country Link
US (1) US11908163B2 (zh)
CN (1) CN113847930A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
TWI755765B (zh) * 2020-06-22 2022-02-21 中強光電股份有限公司 視覺與深度座標系的校正系統、校正方法及校正裝置
CN114639079B (zh) * 2020-12-15 2023-06-30 北京百度网讯科技有限公司 匹配车道线数据的方法、装置、设备和存储介质
US20220194428A1 (en) * 2020-12-17 2022-06-23 6 River Systems, Llc Systems and methods for calibrating sensors of autonomous vehicles
US11593996B2 (en) * 2021-02-09 2023-02-28 Waymo Llc Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
WO2022271750A1 (en) * 2021-06-21 2022-12-29 Cyngn, Inc. Three-dimensional object detection with ground removal intelligence
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840352B2 (en) 2006-09-05 2010-11-23 Honeywell International Inc. Method and system for autonomous vehicle navigation
TW201025217A (en) 2008-12-30 2010-07-01 Ind Tech Res Inst System and method for estimating state of carrier
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
EP2530647A1 (en) 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
US20130030811A1 (en) 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
JP6107081B2 (ja) 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
US8913791B2 (en) 2013-03-28 2014-12-16 International Business Machines Corporation Automatically determining field of view overlap among multiple cameras
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US9719801B1 (en) * 2013-07-23 2017-08-01 Waymo Llc Methods and systems for calibrating sensors using road map data
US9201424B1 (en) 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
JP6034775B2 (ja) 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
US9804594B2 (en) 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US20180281698A1 (en) 2017-03-31 2018-10-04 Magna Electronics Inc. Vehicular camera calibration system
US10401501B2 (en) 2017-03-31 2019-09-03 Uber Technologies, Inc. Autonomous vehicle sensor calibration system
US10176596B1 (en) 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
US10983199B2 (en) 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) * 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
JP6548129B2 (ja) * 2017-09-01 2019-07-24 本田技研工業株式会社 車両制御システム、車両制御方法、及びプログラム
US10473772B2 (en) 2017-10-12 2019-11-12 Ford Global Technologies, Llc Vehicle sensor operation
US11435456B2 (en) 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility
US11415683B2 (en) 2017-12-28 2022-08-16 Lyft, Inc. Mobile sensor calibration
US10733761B2 (en) 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
US10298910B1 (en) 2018-06-29 2019-05-21 Zoox, Inc. Infrastructure free intrinsic calibration
US11067693B2 (en) 2018-07-12 2021-07-20 Toyota Research Institute, Inc. System and method for calibrating a LIDAR and a camera together using semantic segmentation
CN109345596A (zh) 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN109343061B (zh) 2018-09-19 2021-04-02 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
US11105905B2 (en) * 2018-11-30 2021-08-31 Lyft, Inc. LiDAR and camera rotational position calibration using multiple point cloud comparisons
GB2579843A (en) 2018-12-18 2020-07-08 Continental Automotive Gmbh Method and apparatus for calibrating the extrinsic parameter of an image sensor
FR3091777B1 (fr) 2019-01-11 2020-12-18 Thales Sa Méthode de détermination d’un rayon de protection d’un système de navigation basé sur la vision
US10867409B2 (en) 2019-04-22 2020-12-15 Great Wall Motor Company Limited Methods and systems to compensate for vehicle calibration errors
KR20200126540A (ko) 2019-04-30 2020-11-09 주식회사 만도 카메라 보정 시스템 및 그 방법
US10742969B1 (en) 2019-06-28 2020-08-11 GM Cruise Holdings, LLC Control of dynamic scene motion by vehicle based on vehicle sensor capture
US10796453B1 (en) 2019-06-28 2020-10-06 GM Cruise Holdings, LLC Vehicle sensor calibration system using dynamic scene
US11557061B2 (en) 2019-06-28 2023-01-17 GM Cruise Holdings LLC. Extrinsic calibration of multiple vehicle sensors using combined target detectable by multiple vehicle sensors
CN112180362B (zh) 2019-07-05 2024-04-23 北京地平线机器人技术研发有限公司 雷达与相机之间的转换位姿确定方法、装置以及电子设备
US10726579B1 (en) * 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
GB202305331D0 (en) * 2019-12-18 2023-05-24 Motional Ad Llc Camera-to-lidar calibration and validation
US20210215505A1 (en) 2020-01-13 2021-07-15 Ford Global Technologies, Llc Vehicle sensor calibration
US11798191B2 (en) * 2020-03-27 2023-10-24 Intel Corporation Sensor calibration and sensor calibration detection
TWI778368B (zh) 2020-06-08 2022-09-21 威盛電子股份有限公司 車載鏡頭的自動校正方法以及車載鏡頭裝置
US20220066002A1 (en) 2020-08-25 2022-03-03 Pony Ai Inc. Real-time sensor calibration and calibration verification based on statically mapped objects

Also Published As

Publication number Publication date
US11908163B2 (en) 2024-02-20
US20210407130A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
CN113847930A (zh) 多传感器校准系统
JP4600357B2 (ja) 測位装置
CN108694882B (zh) 用于标注地图的方法、装置和设备
EP3929872A1 (en) Multi-sensor calibration system
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
JP6225889B2 (ja) 車両位置推定装置及びプログラム
CN108692719B (zh) 物体检测装置
Pink et al. Visual features for vehicle localization and ego-motion estimation
WO2012043045A1 (ja) 画像処理装置及びそれを用いた撮像装置
EP3032818B1 (en) Image processing device
JP2012127896A (ja) 移動体位置測定装置
KR102441075B1 (ko) 노면표시기반 차량의 위치추정 방법 및 장치
US11702089B2 (en) Multi-sensor sequential calibration system
Jende et al. A fully automatic approach to register mobile mapping and airborne imagery to support the correction of platform trajectories in GNSS-denied urban areas
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
US20230334696A1 (en) Camera orientation estimation
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR20130034528A (ko) 도로시설물 자동 위치측정 방법
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN112446915A (zh) 一种基于图像组的建图方法及装置
CN113516711A (zh) 相机位姿估计技术
US20230351687A1 (en) Method for detecting and modeling of object on surface of road
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
JP6370234B2 (ja) 地図データ生成装置、地図データ生成方法及び地図データ生成用コンピュータプログラムならびに車両位置検出装置
Li et al. Lane detection and road surface reconstruction based on multiple vanishing point & symposia

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination