CN111183370A - 车辆传感器的校准和定位 - Google Patents

车辆传感器的校准和定位 Download PDF

Info

Publication number
CN111183370A
CN111183370A CN201880064781.7A CN201880064781A CN111183370A CN 111183370 A CN111183370 A CN 111183370A CN 201880064781 A CN201880064781 A CN 201880064781A CN 111183370 A CN111183370 A CN 111183370A
Authority
CN
China
Prior art keywords
sensor
data
voxel
vehicle
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880064781.7A
Other languages
English (en)
Other versions
CN111183370B (zh
Inventor
D·亚当斯
I·鲍德温
B·R·杜亚尔
J·S·莱文森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/675,487 external-priority patent/US11175132B2/en
Priority claimed from US15/674,853 external-priority patent/US10983199B2/en
Application filed by Zoox Inc filed Critical Zoox Inc
Priority to CN202311660522.XA priority Critical patent/CN117607841A/zh
Publication of CN111183370A publication Critical patent/CN111183370A/zh
Application granted granted Critical
Publication of CN111183370B publication Critical patent/CN111183370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/16Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring distance of clearance between spaced objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/876Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/295Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/295Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026Antenna boresight
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/874Combination of several systems for attitude determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/872Combination of several systems for attitude determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324Alternative operation using ultrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93273Sensor installation details on the top of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Acoustics & Sound (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了车辆的感知传感器可以用于车辆的各种操作功能。计算设备可以从感知传感器接收传感器数据,并且可以使用传感器数据来校准感知传感器,以启动车辆能够有效操作。为了校准传感器,计算设备可以将传感器数据投影到体元空间中,并确定包括每个体元的占用分数和残差值的体元分数。然后,计算设备可以调整来自至少一个感知传感器的传感器的估计的位置和/或朝向以及相关的传感器数据,以最小化体元分数。计算设备可以使用与最小化的体元分数相对应的调整,来校准传感器。另外,计算设备可以被配置为通过校准与在不同时间捕获的相同点相对应的数据,来计算与车辆相关联的位置中的误差。

Description

车辆传感器的校准和定位
相关申请的交叉引用
本专利申请是2017年8月11日递交的、标题为“车辆传感器的校准和定位”的美国专利申请序列No.15/674,853和2017年8月11日递交的、标题为“传感器扰动”的美国专利申请No.15/675,487的继续并且要求其优先权,所述专利申请的全部内容通过引用并入本文中。
背景技术
许多车辆将传感器数据用于各种功能,例如导航、引导、和避障。各种功能中的每一功能对于车辆的有效操作都是必要的。因此,对传感器进行校准以向车辆计算系统提供准确的输入是重要的。当前的校准技术可能很耗时且计算昂贵。另外,许多当前的校准技术限于离线过程,如果传感器未通过校准和/或对准,则要求车辆停止服务。
附图说明
参考附图描述了具体实施方式。在图中,附图标记的最左边的数字表示该附图标记第一次出现所在的图。在不同图中对相同附图标记的使用指示类似或相同的组件或特征。
图1示出了其中可以使用传感器校准和定位系统的示例环境。
图2是通过传感器校准和定位系统投影到体元(voxel)空间中的体元中以计算残差值的LIDAR数据集的示例说明。
图3是通过传感器校准和定位系统投影到体元空间中的体元中以计算残差值的LIDAR数据集的另一示例说明。
图4示出了扰动LIDAR数据集用于校准LIDAR传感器和/或确定车辆的位置误差的示例过程的图像流程图。
图5是其中可以使用定位系统的示例环境的鸟瞰图。
图6是由用来确定车辆的位置误差的定位系统所使用的第一集合传感器数据和第二集合传感器数据的示例说明。
图7是用于校准车辆的传感器的说明性过程的流程图。
图8是用于校准车辆的传感器的另一说明性过程的流程图。
图9是用于使用LIDAR传感器数据来确定位置误差的说明性过程的流程图。
图10是用于确定车辆的位置误差的说明性过程的流程图。
图11是用于调整LIDAR数据集的维度的说明性过程的流程图。
图12是用于实现在本文中所描述的技术的示例计算机系统的框图。
具体实施方式
本公开总体上涉及用于校准车辆的一个或多个传感器并且使用传感器数据来准确地定位车辆的方法、设备和系统。该车辆可以包括配置有用于导航、引导、避障等的一个或多个传感器的自主驾驶车辆、半自主驾驶车辆、和/或有人驾驶的车辆。所述一个或多个传感器可以包括光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、声音检测和测距(SONAR)传感器、图像捕获设备(例如,RGB相机、强度相机、IR相机、立体相机、深度相机等)或其他传感器。作为非限制性示例,车辆可以是配置有八(8)个光检测和测距(LIDAR)传感器的自主驾驶车辆。每个LIDAR传感器可以返回与环境中检测到的表面相对应的数据。所述数据可以被表示为具有与检测到的表面的至少一部分相对应的坐标(例如,笛卡尔坐标、极坐标等)的点(例如,数据点)。当安装在车辆上时,LIDAR传感器可能需要相对于彼此进行校准,以清晰地统一观看检测到的表面。另外地,LIDAR传感器可能需要共同相对于车辆进行校准,以在相对于车辆的正确位置和/或朝向上共同观察检测到的表面。
本文所述的传感器校准可以利用当车辆处于感兴趣区域中时所收集的数据来执行,所述数据可以对应于自主驾驶车辆行驶的路线或路径。感兴趣区域可以包括中心位置,该中心位置包括某些特性,例如,曲率半径、指定速度、车辆的位置等。感兴趣区域还可以包括围绕中心位置居中的时间窗。该时间窗可以包括在中心位置之前和之后的固定数秒。例如,感兴趣区域可以包括在曲线的顶点之前一秒钟和在顶点之后一秒钟、与车辆的运动相对应的区域。车辆在顶点一秒钟内收集的数据可以用于传感器校准。
在一些示例中,车辆的计算设备可以被配置为确定感兴趣区域。在一些示例中,计算设备可以处理来自一个或多个运动传感器(例如,惯性测量单元(IMU)传感器、加速度计、陀螺仪、旋转(轮)编码器等)的输入,以确定感兴趣区域。在一些示例中,远程计算设备可以被配置为基于从车辆接收的运动传感器数据,来确定感兴趣区域。在这样的示例中,远程计算设备可以将区域指定为感兴趣的区域,以用于将来的传感器校准和/或校准验证。例如,远程计算设备可以从第一车辆接收运动传感器数据,并且可以在对应于感兴趣区域的曲线中的位置处识别偏航(yaw)率。基于对偏航率的识别,远程计算设备可以将该位置指定为感兴趣区域的中心位置。另外,远程计算设备可以在中心位置的任一侧上将固定间隔指定为感兴趣区域。远程计算设备可以随后从感兴趣区域中的第二车辆接收LIDAR数据,并且可以使用在感兴趣区域中捕获的数据来校准第二车辆的传感器。在一些示例中,车辆可以使用LIDAR数据针对地图数据执行定位,其中,地图数据包括这样的信息,其指示某些位置与如先前确定的感兴趣区域相关联。
可以在车辆处于在线模式(例如,在操作中和/或与远程服务器计算设备通信)和/或处于离线模式(例如,不操作和/或不与远程服务器计算设备通信中)时,执行在本文中所描述的传感器校准。校准计算设备(例如,车辆的计算设备和/或远程计算设备)可以从一个或多个传感器接收传感器数据(例如,相应坐标处的数据点)。校准计算设备可以过滤传感器数据以获取在感兴趣区域中收集的数据,并且可以处理经过滤的数据,以校准一个或多个传感器。如下面详细描述的,可以通过将传感器数据投影到体元空间并执行急切搜索(anxious search)来执行这样的校准。在一些示例中,由经校准的传感器捕获的数据可以用于启动对车辆的控制。
体元残差
在一些示例中,各种传感器数据可以被累积到体元空间或阵列中。这样的体元空间可以是包括多个体元的三维表示。作为非限制性示例,体元空间可以是具有长、宽、和高的矩形长方体,其包括多个体元,每个体元具有相似的形状。在一些示例中,体元空间表示环境,以使得可以通过环境中的位置和/或朝向来描述体元空间的起源。类似地,可以通过环境中的位置和朝向、或者相对于体元空间的原点的坐标中的一个或多个,来描述每个体元。在这样示例中,每个体元可以表示环境的一部分。
在一些示例中,每个体元可以与表示多个数据点的统计数据相关联,所述统计数据例如但不限于数据点的数量、数据点的平均位置、数据点的协方差等。由此,从一个或多个传感器接收的数据可以用于填充一个或多个体元。如本文所述,数据的累积可以对应于对一段时间内来自单个传感器的数据,或在单个时间或一段时间段内来自多个传感器的数据进行组合。在一些示例中,统计数据可以至少部分地基于传感器数据而与体元相关联。作为非限制性示例,考虑来自LIDAR设备的LIDAR传感器数据。传感器数据可以包括强度、范围、位置(例如,X、Y、Z)和/或标高、方位角等。可基于环境中的传感器相对于环境中的体元空间的位置和朝向、以及传感器数据相对于传感器的位置,将这样的数据位置投影到体元空间中。在这样的示例中,一旦被投影到传感器空间中,则传感器数据可以与特定体元相关联,该特定体元包含当投影到体元阵列中时,与传感器数据的位置相对应的环境的部分(例如,具有在环境中的位置<0m,-2m,10m>、具有边长为50cm的立方体体元将包含具有位置在<0.2m,-1.9m,10.4m>的LIDAR返回数据)。组合数据可以对应于基于传感器数据来更新以下中的一项或多项:数据点的数量、点的平均位置、或特定体元的协方差。在这样的示例中,与存储所获取的每段传感器数据相反,这样的统计表示可以允许更快的处理、降低的存储器消耗等。
可以对与特定体元相关联的数据的至少一部分执行各种计算。作为非限制性示例,有可能仅通过使用协方差的主分量分析或本征值分解,以基于统计数据来计算最佳拟合平面。在这样的示例中,最小特征向量可以对应于平面的法线,并且对应的本征值可以对应于平面的有效厚度。
可以将残差分配给每个体元。在点的数量高于阈值(例如,2)的情况下,可以计算残差。在一些示例中,可以基于执行一个或多个计算的能力来确定阈值。如上所述,这样的残差可以是最小本征值。在一些示例中,可以将残差计算为平均位置到平面之间的距离。在这样的示例中,可以基于如上类似的方法来计算平面。另外地或替代地,该平面可以从先前的计算中导出和/或至少部分地基于对环境提供的3D网格。在这些示例中,在点的数量低于阈值的情况下,可以通过为该体元的残差分配最大值并且将该体元识别为“无效”来对该体元施加占用惩罚(occupancy penalty)。在一些示例中,最大值可以是体元的长度、宽度、高度、或对角线中的一个或多个。
另外地或替代地,具有至少一个数据点的每个体元可以与最大占用分数相关联。作为非限制性示例,这样的占用分数可以是最大残差值,但可以构想到任何其他值。其中点的数量为零的那些体元可以占用分数为0。
在一些示例中,可以计算总残差,或者计算整个体元空间的残差。在一些示例中,可以将这样的总残差计算为所有体元的每体元的残差与该体元的占用分数的总和。
Figure BDA0002438091290000051
急切搜索
在一些示例中,可以使用急切搜索来使总残差最小化,如将在本文中详细描述的。如上所述,传感器数据至少部分地基于从中生成(即,通过从传感器位置投影到体元空间中)数据的传感器的位置和朝向(或姿态)而与体元相关联。通过对数据源(例如,传感器)应用变换(即,平移或旋转中的一个或多个)以及基于新的传感器姿态将数据重新投影到体元空间中,可以计算出新的总残差。如在本文中详细描述的,这样的急切搜索确定要应用于数据源的、使总残差最小化的变换。
为了找到这样的变换,急切搜索可以包括多个量级(magnitude)和多个搜索方向。在一些示例中,可能存在用于平移分量的26个搜索方向(即,每个平移分量的a+1、0,-1,不包括没有平移的搜索方向)。对这些搜索方向以及对应的总残差(R)的枚举在下表1中被显示。另外或可替代地,可以类似地确定旋转分量的26个另外的搜索方向(即,俯仰、滚动、偏航)。另外或可替代地,在平移或旋转分量的任何一个中(不包括没有运动的情况),可以存在对应于a+1、0或-1运动的所有可能组合的3^6-1个搜索方向。在一些示例中,所述量级可以是预定义集合(例如,{025m,05m,1m,2m,4m,8m})。在其他示例中,所述量级可以对应于具有单个量级的多个标量。
X Y Z R
+1 +1 +1 R<sub>1</sub>
+1 +1 0 R<sub>2</sub>
+1 +1 -1 R<sub>3</sub>
+1 0 +1 R<sub>4</sub>
+1 0 0 R<sub>5</sub>
+1 0 -1 R<sub>6</sub>
+1 -1 +1 R<sub>7</sub>
+1 -1 0 R<sub>8</sub>
-1 -1 -1 R<sub>26</sub>
表1
一旦确定了搜索方向和量级的集合,急切搜索就可以迭代搜索方向和量级的任何一个或多个组合以确定最佳变换。这样的搜索可以如下进行。可以计算原始总残差。接着,每个搜索方向可以按量级的集合中的每个量级缩放。可以基于每个缩放的搜索方向来确定变换。针对每个变换,传感器可以从原始姿态变换,并且传感器数据可以随后至少部分地基于新的传感器姿态而被重新投影到体元空间中。基于经重新投影的传感器数据,可以计算出新的总残差。对于每个量级,如果最小总残差小于原始总残差的某一百分比(例如,80%),则选择变换和总残差作为最佳估计的变换和对应的残差。在最小总残差不小于原始总残差的某一百分比的那些示例中,原始姿态不会被改变。可以针对集合中的所有量级重复该过程。下表2中说明了急切搜索算法的示例。
算法1急切搜索
Figure BDA0002438091290000071
表2
校准
如本文中详细描述的,可以使用急切搜索以最小化使总残差。如由校准计算设备执行的那样,这样的最小化可用于基本同时校准自主驾驶车辆的一个或多个传感器(即,确定传感器非本征(extrinsics)和/或本征(intrinsics))。在这样的示例中,经最小化的残差值可以对应于体元的脆度(例如,清晰度)测量。
在各种示例中,校准计算设备可以被配置为验证车辆上一个或多个传感器的校准。可以在车辆在线或离线时执行校准验证。在线执行的校准可以指通过连续合并新的传感器数据来执行的校准。离线执行的校准可以指在校准中使用先前记录的数据的那些校准。
在一些示例中,可以通过将体元空间从粗离散化连续细化为细离散化来执行校准。例如,给定的体元空间可以被离散化为具有5x5x5的体元(每个体元是每边长为2m的立方体),10x10x10的体元(每个体元是每边长为1m的立方体),20x20x20的体元(每个体元是每边长为0.5m的立方体),依此类推。在一些示例中,可以通过组合来自较细离散化的统计数据来生成较粗离散化,如以上关于累积数据详细描述的。
在一些示例中,可以随后将体元分辨率离散化,以具有越来越精细的分辨率。在这样的示例中,可以使用本征值分解计算来为每个分辨率计算总残差。对于每个分辨率,可以接着单独地对一个或多个传感器中的每个传感器执行急切搜索,以使用点对面计算方法来计算总残差。在这样的方法中,可以在急切搜索期间将与一个或多个剩余传感器相对应的数据保持固定。如果经由急切搜索发现总残差的改进,则可以存储对应的变换。
在一些示例中,在单独地确定了传感器中的每个的变换之后,所有传感器可以使用其对应的变换被同时变换。随后,可以使用本征值分解计算来计算经更新的总残差。如果经更新的总残差小于先前计算的总残差,则将传感器保持为经变换的,并且单独对每个传感器重复急切搜索。
如果经更新的残差不小于先前计算的总残差(或其某一分数),则校准可以继续进行,以同时执行所有传感器的急切搜索。在这样的搜索中,可以通过相同的变换(即,块变换)来变换每个传感器。在一些示例中,急切搜索可以变换用于描述一个或多个传感器的位置和朝向的参考原点。作为非限制性示例,这样的参考原点可以是一个或多个传感器所附接其上的自主驾驶汽车的中心点。在一些示例中,可以存储急切搜索的所得到的块变换。可以使用块变换的变换将总残差计算为经更新的分数。如果经更新的分数不小于经更新的残差,则可以增加体元分辨率,并且可以重复上述参考过程。
在下面的表3中展示了用于校准的示例算法。
算法2校准
Figure BDA0002438091290000091
表3
位置测量误差
在一些示例中,校准计算设备可以扰动来自车辆上的传感器的集体群组的传感器姿态(集体传感器数据)。在这样的示例中,校准计算设备可以确定是否存在位置误差。如在上面详细描述的校准过程中,可以使用急切搜索来确定两个或更多数据集之间的位置测量误差。与校准一样,这样的过程可以包括多个体元分辨率从粗离散化到细离散化的循环。对于每个离散化(或分辨率),可以使用本征值分解计算来执行急切搜索,以确定将总残差最小化的对一个或多个传感器的块变换。从原始姿态所得到的块变换可以对应于位置测量中的误差。作为非限制性示例,可以使用算法(例如,贝叶斯滤波器(例如,卡尔曼滤波器)、束调整、SLAM等)来连续地估计位置或朝向中的一个或多个,其利用一个或多个传感器,所述传感器例如但不限于LIDAR、相机、GPS、IMU、车轮编码器等。位置测量误差过程可以用于基于估计的姿态(例如,如可以从预先定义的地图、数据存储单元等确定的),将从一个或多个传感器返回的传感器数据与期望的数据进行比较。这样的测量误差可以用于补偿未来估计和/或精细化一个或多个传感器的当前位置和/或朝向。下表4中示出了示例测量位置误差算法。
算法3测量位置误差
Figure BDA0002438091290000101
表4
感兴趣区域
在一些示例中,校准计算设备可以确定车辆经过了感兴趣区域,并且可以收集在该感兴趣区域中捕获的数据。校准计算设备可以确定体元分数(即,总残差)。校准计算设备可以将指定体元空间的体元分数与感兴趣区域的期望体元分数进行比较。如果实际体元分数与关联于感兴趣区域的体元分数基本匹配,则校准计算设备可以验证一个或多个传感器的校准。如果实际体元分数高于与感兴趣区域相关联的体元分数,则校准计算设备可以确定所述传感器中的一个或多个未校准。例如,校准计算设备可以确定与感兴趣区域相关联的体元分数是0.3。校准计算设备可以在车辆经过感兴趣区域时捕获数据,并且可以计算实际体元分数为0.8。校准计算设备可以基于期望体元分数与实际体元分数之间的差而确定特定传感器未校准。
在一些示例中,响应于确定传感器未校准,校准计算设备可使得未校准的传感器离线(例如,关闭传感器、忽略从传感器接收的数据等等)。另外,校准计算设备可以使用急切搜索技术来重新校准传感器。
在各种示例中,校准计算设备可以被配置为使用传感器数据来准确地校正车辆的位置和/或朝向中的漂移。在这样的示例中,校正可以是基于车辆的参考位置和/或朝向的。在各种示例中,校准计算设备可以在参考位置处接收第一集体传感器数据,并且可以将第一集体传感器数据投影到体元空间中。校准计算设备可以例如从一个或多个运动传感器和/或一个或多个位置传感器(例如,全球定位系统(GPS)传感器、惯性导航系统(INS)传感器等,和/或各种算法的输出,例如但不限于卡尔曼滤波器、束调节、SLAM等,这些算法将LIDAR、RADAR等作为输入)接收关于车辆已返回到参考位置的指示。校准计算设备可以在参考位置处接收第二集体传感器数据,并且可以将第二集体传感器数据与第一集体传感器数据一起投影到体元空间中。
校准计算设备可以使体元占用的成本函数最小化,并且聚合体元分布统计。接着,校准计算设备可以使用急切搜索技术,以相对于第一集体传感器来扰动第二集体传感器数据从而进行优化(例如,锐化图像)。校准计算设备可以估计从其中捕获了第一集体传感器数据的第一遍到其中捕获了第二集体传感器数据的第二遍的位置误差(例如,增量变换)。校准计算设备可以将该增量变换应用于定位数据(例如,来自运动传感器和/或导航传感器的数据),以精确地定位车辆。
本文描述的方法、设备和系统可以以多种方式来实现。下面参考以下附图提供了示例实现。尽管在LIDAR数据的上下文和/或在自主驾驶汽车的上下文中进行了讨论,但是本文描述的方法、设备和系统可以应用于利用机器视觉的多种系统。此外,尽管主要结合LIDAR数据进行了描述,但是本文描述的方法、设备、和系统不限于LIDAR数据。例如,所述方法、设备和系统可以在制造装配线的上下文中或在航空勘测的上下文中使用。此外,所述数据集可以包括来自立体相机、深度相机、RADAR传感器、声学传感器等的数据。
图1示出了示例环境100,在环境100中可以使用传感器校准和定位系统。车辆102可以在环境100中操作,例如通过沿着路径104行驶。车辆102可以包括完全自主驾驶、半自主驾驶或有人驾驶的车辆。在一些示例中,车辆可以是被配置为根据美国国家公路交通安全管理局发布的5级分类进行操作的自主驾驶车辆,其描述了这样一种车辆,该车辆包括能够对整个旅途执行所有安全关键功能的操作控制系统,其中驾驶员(或乘员)不被预期在任何时候控制车辆。在这样的示例中,由于车辆102可以被配置为控制从开始到停止的所有功能(包括所有泊车功能),因此其可能未被占用。
如图1所示,车辆102可以是双向车辆。在这样的示例中,当以在传统车辆中的向前或向后方向之一进行操作时,自主驾驶双向车辆可以基本上对称地操作和/或出现。在图1中所示的示例车辆102是这样的汽车,其具有车身(例如,车体、车架、或其组合)、四个车轮、以及每个车轮的相应的轮胎。可以考虑其他类型和配置的车辆,例如货车、运动型多功能车、跨界车、卡车、公共汽车、农用车辆、施工车辆、飞行器等。车辆102可以由一个或多个内燃发动机、一个或多个电动机、氢动力、任何其组合、和/或任何其他合适的动力源来提供动力。
在各种示例中,车辆102可以包括计算系统106,计算系统106被配置为处理来自一个或多个传感器的数据,以操作车辆102执行多种任务或功能(例如,导航、引导、避障等)。一个或多个传感器可以包括图像捕获设备(例如,RGB相机、强度相机、IR相机、立体相机、深度相机等)、运动传感器(例如,旋转(车轮)编码器、惯性测量单元(IMU)传感器等)、光检测和测距(LIDAR)传感器、无线电检测和测距(RADAR)传感器、声音导航和测距(SONAR)传感器、全球定位系统(GPS)传感器、惯性导航系统(INS)传感器、麦克风、加速度计、陀螺仪、磁力计、环境传感器(例如,环境温度表、路面温度表、湿度传感器、和大气压力传感器等)、和/或用于操作和/或控制车辆102的其他类型的传感器。
在各种示例中,为了帮助操作车辆102,计算系统106可以通信地耦合至一个或多个远程计算设备,例如校准/定位服务器108。在这样的示例中,计算系统106可以被配置为经由网络110向校准/定位服务器108发送数据和从其接收数据。网络110可以包括公共网络(例如,互联网)、私有网络(例如,机构和/或个人内部网)、或私有网络和公共网络的某种组合。网络110还可以包括任何类型的有线和/或无线网络,网络包括但不限于局域网(LAN)、广域网(WAN)、近场通信(NFC)、卫星网络、电缆网络、Wi-Fi网络、WiMax网络、移动通信网络(例如,3G、4G等)或其任意组合。网络110可以利用通信协议,包括基于分组和/或基于数据报的协议(例如,互联网协议(IP)、超文本传输协议(HTTP)、安全超文本传输协议(HTTPS)、传输控制协议(TCP)、用户数据报协议(UDP))、或其他类型的协议。此外,网络110还可以包括多个设备,所述设备促进网络通信和/或形成网络的硬件基础,例如,交换机、路由器、网关、接入点、防火墙、基站、转发器、骨干设备等等。
在一些示例中,网络110还可以包括启用连接到无线网络的设备,例如无线接入点(WAP)。支持通过WAP进行连接的示例通过各种电磁频率(例如,射频)发送和接收数据,其包括支持电气和电子工程师协会(IEEE)802.11标准(例如,802.11g、802.11n等)和其他标准的WAP。
在各种示例中,校准/定位服务器108可以包括服务器设备112(1)-112(N)。实施例支持这样的场景:其中,服务器设备112可以包括一个或多个计算设备,其以群集或其他分组配置进行操作,以共享资源、平衡负载、提高性能、提供容错支持或冗余、或出于其他目的。服务器设备112可以属于各种类型或类别的设备,例如传统的服务器类型的设备、台式计算机类型的设备、移动设备、专用类型的设备和/或嵌入式类型的设备。因此,尽管被示为台式计算机和膝上型计算机,但是服务器设备112可以包括多种设备类型,并且不限于特定类型的设备。服务器设备112可以表示但不限于台式计算机、服务器计算机、或刀片服务器(例如,网络服务器、映射简化服务器)、或其他计算引擎或网络附接存储单元、个人计算机、移动计算机、膝上型计算机、平板计算机、或其他任何类型的计算设备。此外,尽管在图1的单个位置被示出,但是一个或多个服务器设备不一定停留在单个位置。
在各种示例中,例如当车辆处于在线模式时,计算设备106可以被配置为校准和/或验证车辆102上的一个或多个LIDAR传感器114的校准。在这样的示例中,计算设备106可以被配置为确定一个或多个LIDAR传感器114的实时校准。在一些示例中,校准/定位服务器108可以被配置为校准车辆102上的LIDAR传感器114。在这样的示例中,校准/定位服务器108可以从计算设备106接收传感器数据,并且可以确定一个或多个LIDAR传感器114的校准。因为计算设备106和校准/定位服务器108可以被配置为校准LIDAR传感器,二者在下文中都可以被称为校准计算设备。此外,尽管被示出为分离的组件,但是校准/定位服务器108和计算设备106可以是单个设备。
在各种示例中,校准计算设备106和108可以包括轨迹模块116,其被配置为从车辆102的一个或多个传感器(例如,深度传感器(如,LIDAR、RADAR等)、图像传感器(如,相机等)、运动传感器(如,惯性测量单元(IMU)传感器、加速度计、陀螺仪、旋转(车轮)编码器等)、导航传感器(如,全球定位系统(GPS)传感器、INS传感器等)接收数据。轨迹模块116可以使用来自传感器的数据来确定车辆102的轨迹数据。所述轨迹数据可以包括速度、方向、俯仰、滚动、偏航和/或其速率。
在各种示例中,轨迹模块116可以至少部分地基于轨迹数据来识别感兴趣区域118的中心位置。在一些示例中,可以基于车辆102在给定时间(t)的偏航率来确定中心位置。在一些示例中,可以基于路径104的曲率半径(r)来确定中心位置。在一些示例中,可以基于车辆102在给定时间(t)处的位置和/或速度来确定中心位置。
在各种示例中,轨迹模块116可以通过生成以该中心位置为中心的时间窗来确定感兴趣区域118。在这样的示例中,时间窗可以包括在该中心位置之前的数秒(t-x)和在中心位置之后的数秒(t+x)。在各种示例中,数秒(x)可以是固定的数秒。在一些示例中,数秒(x)可以基于轨迹数据,例如车辆102的速度。
在各种示例中,校准计算设备106和108可以包括校准模块120,该校准模块120配置为校准LIDAR传感器114。在一些示例中,校准模块120可以从轨迹模块116接收感兴趣区域118的数据。在这样的示例中,感兴趣区域118的数据可以包括中心位置和与感兴趣区域118相关联的时间窗(即,(t-x)→(t+x))。校准模块120可以被配置为过滤在时间窗期间由LIDAR传感器114捕获的LIDAR数据,以确定用于校准的LIDAR数据集。另外地或可替代地,这样的校准模块120可以执行搜索(例如但不限于急切搜索)、校准、或测量位置误差确定中的任何一个或多个,如本文中详细讨论的。
在一些示例中,体元的较高残差值可以对应于相对于其他LIDAR传感器未对准或未校准的LIDAR数据。例如,如果用于体元中的所选传感器的LIDAR数据与由与体元中的其他LIDAR传感器相关联的数据确定的平面之间的距离较大,则与其相关联的残差分数可能较高,这指示与所选传感器相关联的数据未对准。
在各种示例中,可以校准单个LIDAR传感器114。在这样的示例中,可以对来自单个LIDAR传感器114的传感器数据执行上述扰动,同时使来自其他传感器的传感器数据保持恒定。在一些示例中,可以对集体传感器数据(例如,元自旋)执行扰动。在一些示例中,来自每个LIDAR传感器114的传感器数据可以被同时扰动。在这样的示例中,可以在一个或多个图形处理单元上并行地执行扰动。
校准模块120可以继续扰动传感器数据,直到优化每个体元的残差值并且作为结果优化了总残差为止。优化可以包括总残差的最小化或最大化。作为非限制性示例,可以使用例如急切搜索来实现这样的优化。在各种示例中,校准模块120可以基于关于一个或多个扰动增加残差值的确定来确定该残差值被优化。在一些示例中,校准模块120可以基于关于一个或多个扰动基本上不改变(即,增加或减小)残差值的确定来确定残差值被优化。在一些示例中,实质的减小可以包括大于阈值减小值的减小。
在各种示例中,校准模块120可以被配置为验证一个或多个传感器的校准。在一些示例中,可以周期性地(例如,每小时、每天、每周一次等)执行验证。在一些示例中,可以基于LIDAR传感器114可能未对准的指示来执行验证。例如,校准模块120可以接收到进入车辆102的乘客碰到LIDAR传感器114的指示,并且可能已经调节了LIDAR传感器114的物理位置。响应于该指示,校准模块120可以验证该校准和/或重新校准该传感器。
在一些示例中,校准模块120可以在验证和/或重新校准期间使得受影响的LIDAR传感器114离线。在这样的示例中,由受影响的LIDAR传感器114所捕获的传感器数据可能不会被车辆102的操作控制系统处理。换句话说,如果受影响的LIDAR传感器114未对准,则从其接收到的数据可以不会负面地影响车辆102的操作。在一些示例中,校准模块120可以在验证和/或重新校准期间使得受影响的LIDAR传感器114保持在线。
为了验证LIDAR传感器114的校准,校准模块120可以识别与感兴趣区域118相关联的数据。在一些示例中,校准模块120可以使用与感兴趣区域118相关联的数据来计算对应于体元空间中每个被占用的体元的残差值。在一些示例中,校准模块120可以将当前残差值与体元空间中的每个体元的初始校准残差值进行比较。在一些示例中,校准模块120可以通过增加体元空间中被占用体元的残差分数,来计算当前体元空间残差值。在这样的示例中,校准模块120可以将当前体元空间残差值与对应于初始校准的体元空间残差值进行比较。在一些示例中,校准模块120可以将每个值的当前体元分数和/或体元空间体元分数与对应于初始校准的相应体元分数进行比较。
在各种示例中,校准模块120可以访问包括与感兴趣区域相关联的残差值和/或体元分数的数据存储。在这样的示例中,校准模块120可以将在特定感兴趣区域中收集的数据的当前残差值和/或体元分数与对应于特定感兴趣区域的存储的残差值和/或体元分数进行比较。
在一些示例中,校准模块120可以基于当前残差值和/或体元分数是大于对应于初始校准的残差值和/或体元分数的阈值,来确定LIDAR传感器114未被校准。响应于确定LIDAR传感器114未校准,校准模块120可以使用上述技术来重新校准LIDAR传感器114。例如,校准模块120可以确定与第一感兴趣区域相关联的体元空间的当前体元分数是0.41,并且与第一感兴趣区域相关联的体元空间的存储的体元分数是0.4。校准模块120可以确定当前体元分数0.41小于高于存储的体元分数0.4的阈值量,并且可以验证LIDAR传感器114的校准。对于另一个示例,校准模块120可以确定与第二感兴趣区域相关联的体元空间的当前体元分数为0.7,并且与第二感兴趣区域相关联的体元空间的存储的体元分数为0.5。校准模块120可以确定当前的体元分数0.7大于高于存储的体元分数0.5的阈值量。基于当前体元分数大于高于存储的体元分数的阈值量,校准模块120可以确定LIDAR传感器114未校准。
在各种示例中,校准计算设备可以包括定位模块122,该定位模块122被配置为确定与车辆102相关联的位置误差(例如,漂移误差)。如上所述,车辆102可以使用一个或多个传感器来确定位置和/或定位。校准计算设备(例如,经由轨迹模块116)可以从一个或多个传感器接收输入,并且可以确定车辆102的位置和/或朝向(例如,定位数据)。在一些示例中,轨迹模块116可以被配置为从一个或多个传感器接收输入,并且可以确定车辆102的轨迹中的误差。在操作中,误差可以随着时间累积,以引起定位和/或轨迹数据的误差。如在下文关于图5和图6更详细地讨论的,为了校正车辆的位置误差和/或轨迹误差,定位模块122处理在参考点处捕获的LIDAR数据。在一些示例中,参考点可以包括在车辆102的路线上的预定义的参考点。在一些示例中,参考点可以包括沿车辆102的路线上的任何点,当车辆102在该路线行驶时,该点将被经过两次。
在一些示例中,定位模块122可以响应于车辆102位于参考点的指示而使得LIDAR传感器114捕获集体传感器数据。在一些示例中,定位模块122可以过滤集体传感器数据以针对参考点的至少两次通过来处理在该参考点处捕获的数据。例如,定位模块122可以接收到这样的指示:车辆102位于其第一次经过的参考点处。定位模块122可以接收与参考点的第一次经过相对应的第一集体传感器数据,并且可以将该第一集体传感器数据投影到体元空间中。接着,定位模块122可以接收到这样的指示:车辆102位于其第二次经过的参考点处。定位模块122可以接收第二次通过参考点相对应的第二集体传感器数据,并且可以将第二集体传感器数据投影到体元空间中。
在各种示例中,定位模块122可以计算体元空间的总残差。在各种示例中,定位模块122可以优化与每个体元相对应的体元分数。可以根据急切搜索、校准、或测量位置误差中的任何一个或多个来执行这样的优化。在各种示例中,定位模块122可以通过在随后捕获的数据集(例如,第二集体数据)上使用急切搜索技术来优化残差值。在这样的示例中,定位模块122可以调整随后捕获的数据集的一个或多个传感器姿态,同时保持第一集体数据的维度不变。基于该调整,定位模块122可以估计从其中捕获第一集体传感器数据的第一次经过到其中捕获第二集体传感器数据的第二次经过的位置和/或朝向(例如,增量变换)中的误差。定位模块122可将增量变换应用于定位数据(例如,来自一个或多个传感器的数据),以精确地定位该车辆。
图2是由传感器校准和定位系统投影到体元空间206中的体元204中以在执行校准时计算残差值208的数据集202的示例图示200。在各种示例中,校准和定位系统的校准计算设备可以从车辆212上的LIDAR传感器210接收传感器数据。校准计算设备可以将传感器数据投影到体元空间206中(其被表示为数据集202)。应当注意的是,仅出于说明目的,将数据集202表示为多个点。如上文详细描述的,数据集202中的这些点表示一个或多个数据点的统计累加。
在各种示例中,校准计算设备可以执行搜索(例如,急切搜索)、执行校准、和/或确定测量位置误差。在一些示例中,校准计算设备可以确定每个体元的最佳拟合平面214,如上面详细描述的。在这样的示例中,最佳拟合平面214可以表示由LIDAR传感器210检测到的物体216的一部分。
图3是如可以在急切搜索、校准或确定测量位置误差中的任何一个中使用的,通过传感器校准和定位投影到体元空间304中的数据集302的另一示例图示300。数据集302可以包括由一个或多个传感器308(被图示为传感器308(1)、308(x))捕获的数据点306。尽管在图3中被描绘为多个点,但出于说明性目的仅描绘了数据点306。如以上详细描述的,仅数据点306的统计累积被存储在每个体元312中。在各种示例中,传感器308(1)可以包括车辆(例如,车辆102)的LIDAR传感器。传感器308(1)可以包括车辆的多个LIDAR传感器308(x)中的一个。例如,传感器308(1)可以包括车辆上的八(x=8)个LIDAR传感器308中的一个。
在各种示例中,校准计算设备可以被配置为确定每个体元312中的平面310,如上文详细描述的(例如,通过使用本征值分解或参考先前生成的图的网格)。在这样的示例中,平面310可以表示由传感器308(除了传感器308(1)之外)检测到的物体。例如,使用来自上面的八个LIDAR传感器308的示例,平面310可以表示来自八个LIDAR传感器308中多至七个传感器的数据。在说明性示例中,平面310横跨体元空间304的宽度。在其他示例中,取决于物体的尺寸,平面310可以占据更少的体元。
在各种示例中,校准计算设备可以基于每个数据点306到平面310的距离来计算每个体元312的残差值。例如,可以在本文所定义的急切搜索、校准或确定测量位置误差中的任意一个或多个中使用该残差。
图4示出了用于扰动LIDAR数据集以校准LIDAR传感器和/或定位车辆的示例过程400的图像流程图。校准计算设备可以从一个或多个传感器接收传感器数据。在一些示例中,来自每个传感器的传感器数据在本文中可以被称为数据集。
在402处,校准计算设备可以将传感器数据投影到体元空间404中,并计算残差值。在一些示例中,残差值可以是体元空间404中每个体元的残差值。在一些示例中,残差值可以包括总残差值(例如,整个体元空间的残差值)。示例406描绘了投影到体元空间中的第一数据集408和第二数据集410。为了说明的目的,将在第一数据集408和第二数据集410中捕获的物体投影到体元中。然而,在其他示例中,可以将物体投影到体元空间404的两个或更多个体元中。在示例406中,第一数据集408和第二数据集410未对准,这表示一个或多个未校准传感器的集体视图。
在一些示例中,校准计算设备可以校准多个传感器中的单个传感器。在这样的示例中,第一数据集408可以表示由单个传感器捕获的数据,第二数据集410可以表示由一个或多个其他传感器捕获的数据。在一些示例中,校准计算设备可以同时校准多个传感器。在这样的示例中,第一数据集408可以表示来自第一传感器的数据,第二数据集410可以表示来自第二传感器的数据。
在412处,校准计算设备可以优化残差值。在一些示例中,残差值的优化可以包括将变换应用于传感器(例如,数据源),并基于该变换来重新计算残差值。在一些示例中,优化可以包括由变换产生的最小化(即,最小)残差值。在一些示例中,优化可以包括由变换产生的最大化(即,最大)残差值。
在各种示例中,在将每个变换应用于传感器的情况下,校准计算设备可以通过将数据重新投影到体元空间404中来重新计算残差值,并且可以基于由该变换产生的新姿态来计算新残差值。示例414示出了传感器数据的扰动,该扰动产生改进的残差分数(即,较小残差分数或较大残差分数,这取决于所应用的数学公式),因此与示例406相比,图像更清晰。在各种示例中,校准计算设备可以将变换应用于与第一数据集408相关联的数据源,同时使与第二数据集410相关联的数据源保持恒定。在一些示例中,校准计算设备可以将变换同时应用于与第一数据集408和第二数据集410相关联的数据源。在这样的示例中,可以例如通过图形处理单元并行地执行所述变换。
在一些示例中,校准计算设备可以通过对第一数据集408和/或第二数据集410执行急切搜索来优化残差值。在这样的示例中,并且如上所述,急切搜索可以包括多个量级和多个搜索方向。一旦确定了一组搜索方向和量级,则急切搜索就可以循环访问搜索方向和量级的任何一个或多个组合以确定最佳变换,从而优化残差值。
在一些示例中,优化可以包括将具有不同量级和/或搜索方向的变换应用于数据源,直到任何另外的变换产生更高的体元值为止。在一些示例中,优化可以包括将不同量级和/或搜索方向的变换应用于数据源,直到该变换使体元值产生最小变化。在一些示例中,最小变化可以包括残差值中的预定义的阈值差异。在示例418中所示的清晰图像表示体元空间404的经优化的体元值。
在420处,校准计算设备可以减小体元空间404中每个体元的体元尺寸。另外地,校准计算设备可以增加填充体元空间404的体元的数量。在一些示例中,校准计算设备可以将体元尺寸减小一半。在其他示例中,校准计算设备可以将体元尺寸减小更多量或更少量。示例422示出了体元尺寸减小的第一迭代,其中体元尺寸被减小了一半。
在各种示例中,在减小体元尺寸的第一迭代之后,校准计算设备可以重复操作402、412、416和420,重新计算体元空间404中每个体元的残差值,将变换应用于一个或多个传感器并且重新计算残差值,优化残差值并且减小体元尺寸。在一些示例中,校准计算设备可以继续迭代,直到体元尺寸被减小到预定义的尺寸为止。在一些示例中,校准计算设备可以执行固定次数的迭代。在至少一个示例中,初始体元尺寸可以包括8m3,并且校准计算设备可以执行六次迭代,直到体元尺寸为0.25m3为止。
图5是其中可以使用定位系统的示例环境500的鸟瞰图。在各种示例中,车辆502可以驱动路径504。在说明性示例中,路径504采用图8的形状。在其他示例中,路径504可以包括其他形状,例如,圆形、椭圆形或任何其他形状,其可以使车辆502通过同一位置达一次以上。如图所示,路径504可以横越网格506。在各种示例中,网格506可以包括体元空间(例如,本文描述的体元空间)的二维表示。在一些示例中,网格506可以包括道路表面的表示。
车辆的操作控制系统可以沿着路径504导航(例如,确定轨迹和速度)车辆502。在一些示例中,被配置为确定位置误差的校准计算设备可以包括该操作控制系统的一部分。在其他示例中,校准计算设备可以与操作控制系统分离,并且可以被配置为扩充操作控制系统。
在各种示例中,校准计算设备可以接收来自一个或多个传感器的输入,以确定在给定时间沿路径504的车辆502的位置508。校准计算设备可以将输入处理成感知的轨迹。在一些示例中,感知的轨迹可以是平滑的(例如,集成速度)轨迹。
如图5所示,可以以固定间隔510来接收来自一个或多个传感器的输入。固定间隔510可以包括确定的输入间隔,以防止感知的轨迹中的“泪流式”或其他感知路径偏差。在一些示例中,可以基于处理数据所需的计算能力,接收信号所需的时间等来限制输入。例如,校准计算设备可以200Hz的固定间隔510从一个或多个传感器接收输入。对输入的200Hz约束可以防止输入轨迹的偏差,由此产生平滑的感知的轨迹。
尽管对输入的约束可以产生平滑的感知的轨迹,但是输入可以包括在给定时间的位置508中的误差。在一些示例中,误差(例如,漂移误差、轨迹误差等)可能是由与导航传感器相关联的误差引起的,例如由不正确或多路径GPS数据引起的误差。在一些示例中,所述误差可能是由与运动传感器相关联的误差引起的。例如,由于传感器漂移,惯性测量单元可能随着时间累积误差。
在各种示例中,校准计算设备可以被配置为使用传感器数据来准确地校正车辆的位置和/或朝向中的漂移和/或与车辆502的运动相关联的轨迹数据中的误差。在一些示例中,校正可以基于车辆502的参考位置512。此外,校正可以基于车辆502在参考位置512处的朝向。
在各种示例中,校准计算设备可以在参考位置512处接收第一集体传感器数据(例如,来自车辆感知传感器的传感器数据,例如,LIDAR传感器),并且可以将第一集体传感器数据投影到体元空间中。在一些示例中,校准计算设备可以使得第一集体传感器数据被车辆感知传感器在参考位置512处捕获。在一些示例中,校准计算设备可以基于车辆位置508对应于参考位置512的时间,从多个传感器数据中过滤第一集体传感器数据。
车辆502可以沿着路径504继续行驶,并且从一个或多个传感器接收到关于车辆502已经返回到参考位置512’的指示。校准计算设备可以在参考位置512’处接收第二集体传感器数据,并且可以将第二集体传感器数据与第一集体传感器数据一起投影到体元空间中。
如针对图6将在下文中更详细地讨论的,校准计算设备可以将第一集体传感器数据与第二集体传感器数据进行比较,以确定从参考位置512到参考位置512’的定位数据中的误差(ΔΤ)。
在各种示例中,校准计算设备可以被配置为识别体元空间中的一个或多个动态物体。在一些示例中,校准计算设备可以通过将第一集体传感器数据与第二集体传感器数据进行比较来识别所述动态物体。在这样的示例中,在第一集体传感器数据中表示的物体(例如,占据体元空间中的至少一个体元、但在第二集体传感器数据中未表示的那些物体)可以被分类为动态物体。
在一些示例中,校准计算设备可以被配置为在捕获第一集体传感器数据之后的短时间(例如,1秒、2秒等)捕获第三集体传感器数据。在这样的示例中,校准计算设备可以将第一集体传感器数据和第三集体传感器数据投影到体元空间中,并且可以比较在体元空间的每个体元中表示的物体。在第一集体传感器数据中的第一组体元和在第二集体传感器数据中的第二组体元中识别的物体可以被分类为动态物体。
在各种示例中,校准计算设备可以被配置为在将第一集体传感器数据与第二集体传感器数据进行比较之前,将动态物体过滤出体元空间,以确定从参考位置512到参考位置512’的定位数据(ΔΤ)中的误差。
图6是在第一时间捕获的第一集体传感器数据602和在第二时间捕获的、投影到体元空间606中的第二集体传感器数据604的示例图示600。在各种示例中,校准计算设备可以使体元占用的成本函数(例如,占用分数)最小化。在这样的示例中,成本函数可以包括体元的占用乘以占用的惩罚。惩罚可以表示具有体元中数据点的最小成本。成本函数最小化可以用以下公式表示:
Figure BDA0002438091290000231
其中,T表示刚性六自由度(6-DOF)变换,通过该变换,可以将成本函数参数化。
在各种示例中,校准计算设备接着可以聚合体元分布统计数据。校准计算设备可以例如通过将每个体元的占用分数和残差值相加,来计算每个体元的体元分数。校准计算设备可以对体元空间606中的每个体元的分数求和,以确定与所捕获的第一集体传感器数据602和第二集体传感器数据604相关联的聚合分数。
在确定聚合分数之后,校准计算设备可以通过相对于第一集体传感器扰动第二集体传感器数据604以锐化图像,来优化数据(例如,最小化聚合分数)。校准计算设备可以使用以上关于图4描述的急切搜索技术以优化数据。换句话说,校准计算设备可以调整第二集体传感器数据604的一个或多个维度,直到清晰图像中的第二集体传感器数据604基本匹配第一集体传感器数据602为止,例如图4的示例418中所描绘的。
在一些示例中,校准计算设备可以调整X、Y、Z和俯仰、滚动、偏航的两个维度,以确定最小聚合分数。在一些示例中,校准计算设备可以调整X、Y、Z和俯仰、滚动、偏航的所有三个维度,以确定最小聚合分数。基于产生最小化的聚合分数的调整,校准计算设备可以从其中捕获第一集体传感器数据602的第一次(在图5中示为参考位置512)到其中捕获了第二集体传感器数据604的第二次(在图5中示为参考位置512’),来估计位置的误差(例如,增量变换)。校准计算设备可以将增量变换应用于定位数据(例如,来自运动传感器和/或导航传感器的数据),以精确地定位车辆。
图7-11是示例过程700、800、900、1000和1100的流程图,其被示为逻辑流程图中的框的集合,其表示可以以硬件、软件或其组合来实现的一系列操作。在软件的上下文中,框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令,当计算机可执行指令由一个或多个处理器执行时,其执行所列举的操作。通常,计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、物体、组件、数据结构等。描述操作的顺序不旨在被理解为限制性的,并且可以以任何顺序和/或并行地组合任意数量的所描述的框,以实现该过程。
图7是由校准计算设备执行的、用于校准车辆(例如,车辆102)的传感器的说明性过程700的流程图。如上所述,校准计算设备可以是车辆计算设备(例如,车辆计算设备106),或者是与校准/定位服务器相关联的服务器设备(例如,校准/定位服务器108)。
在702处,校准计算设备从车辆的多个传感器接收数据集。在一些示例中,多个传感器可以包括多个LIDAR传感器。在其他示例中,多个传感器可以包括多个SONAR传感器、RADAR传感器、相机等。
在704处,校准计算设备将数据集投影到体元空间中。在一些示例中,体元空间可以包括环境的固定的三维网格。
在706处,校准计算设备计算与体元空间相关联的残差值。在一些示例中,校准计算设备可以基于对体元中的点的数量大于阈值数(例如,5)的确定来计算残差值。在各种示例中,残差值可以包括最小本征值,例如,使用对体元的主分量分析所计算出的最小本征值。在一些示例中,可以将残差计算为平均位置到平面之间的距离。在这样的示例中,可以基于以上类似的方法来计算平面。另外地或可替代地,该平面可以从先前计算中和/或至少部分地基于环境提供的3D网格而被导出。在那些示例中,在点的数量低于阈值的情况下,可以通过为该体元的残差分配最大值并将该体元识别为“无效”来对该体元施加占用惩罚。在一些示例中,最大值可以是体元的长度、宽度、高度或对角线中的一个或多个。
另外地或可替代地,具有至少一个数据点的每个体元可以与最大占用分数相关联。作为非限制性示例,这样的占用分数可以是最大残差值,但也可以考虑任何其他值。点的数量为零的那些体元可以具有占用分数为0。
在708处,校准计算设备将变换应用于多个传感器中的至少一个传感器,以最小化与体元空间相关联的残差值。在一些示例中,校准计算设备可以使用急切搜索技术来最小化残差值。通过将变换(即,平移或旋转中的一个或多个)应用于数据源(例如,传感器),以及基于新的传感器姿态将数据重新投影到体元空间中,可以计算出新的总残差。如本文中详细描述的,该急切搜索确定要应用于数据源的变换,该变换将总残差最小化。
为了找到这样的变换,急切搜索可以包括多个量级和多个搜索方向。在一些示例中,可以存在用于平移分量的26个搜索方向(即,每个平移分量的a+1、0,a-1,不包括没有平移的搜索方向)。另外或可替代地,可以类似地确定旋转分量的另外的26个搜索方向(即,俯仰、滚动、偏航)。在一些示例中,可以存在对应于任何平移或旋转分量(不包括无运动的情况)中的a+1、0或a-1运动的所有可能组合的3^6-1个搜索方向。在一些示例中,量级可以是预定义的集合(例如,{0.25m,0.5m,1m,2m,4m,8m})。在其他示例中,量级可以对应于单个量级的多个标量倍数。
一旦确定了一组搜索方向和量级,急切搜索就可以循环访问搜索方向和量级的任意一个或多个组合以确定最优变换,从而最小化残差值。这样的搜索可以如下进行。可以计算原始的总残差。接着,每个搜索方向可以按一组量级中的每个量级缩放。可以基于每个缩放的搜索方向来确定变换。对于每个变换,可以从原始姿态变换传感器,并且可以随后至少部分地基于新的传感器姿态,将传感器数据重新投影到体元空间中。基于重新投影的传感器数据,可以计算出新的总残差。在最小总残差不小于某个百分比的原始总残差的示例中,原始姿态不发生改变。在各种示例中,校准计算设备可以继续对数据应用变换,直到体元和/或体元空间的残差值最小化为止。最小化的残差值可以对应于体元和/或体元空间的最小残差值。在一些示例中,最小化的残差值可以对应于小于阈值量的值,该阈值量小于在应用先前变换时计算出的残差值。阈值量可以包括从源自应用先前变换产生的残差值而降低的值(例如,0.001)或百分比(例如,0.1%)。
在710处,校准计算设备确定与最小化残差值相对应的变换。该变换可以包括对一个或多个平移分量和/或一个或多个旋转分量的修改。
在712处,校准计算设备基于维度调整来校准至少一个传感器。在各种示例中,在车辆的多个传感器被校准之后,校准计算设备可以被配置为确定车辆的漂移误差(即,位置误差)和/或与车辆的轨迹相关联的轨迹误差。
图8是由校准计算设备执行的、用于校准车辆(例如,车辆102)的一个或多个传感器的说明性过程800的流程图。如上所述,校准计算设备可以是车辆计算设备(例如,车辆计算设备106),或者是与校准/定位服务器相关联的服务器设备(例如,校准/定位服务器108)。
在802处,校准计算设备从车辆的第一传感器接收第一传感器数据,并从车辆的第二传感器接收第二传感器数据。在一些示例中,第一传感器和第二传感器可以包括LIDAR传感器。在一些示例中,第一传感器和第二传感器可以是车辆的多个传感器中的两个传感器。在至少一个示例中,车辆可以包括八个传感器。
在804处,校准计算设备将第一传感器数据和第二传感器数据投影到体元空间中。体元空间可以表示包括多个体元的三维表示。
在806处,校准计算设备计算体元空间的残差值。体元空间的残差值可以包括体元空间中的每个体元的残差值的聚合。在一些示例中,残差值可以包括对于在体元空间中的每个占用的体元和/或包括与之相关联的数据点的阈值数量(例如,5)的每个体元的残差值的聚合。在这样的示例中,校准计算设备可以被配置为识别占用的体元(即,包括与第一传感器数据和/或第二传感器数据相对应的数据点的体元)和/或包括数据点的阈值数量的体元。
在各种示例中,体元分数可以包括体元的残差值。在一些示例中,残差值可以对应于与体元相关联的最小本征值。
在一些示例中,可以将残差计算为平均位置到平面之间的距离。在这样的示例中,可以通过使用协方差的主分量分析或本征值分解,基于统计数据计算最佳拟合平面来确定平面。在这样的示例中,最小特征向量可以对应于平面的法线,并且对应的本征值可以对应于平面的有效厚度。另外地或可替代地,该平面可以从先前的计算中导出和/或至少部分地基于环境提供的3D网格。在那些示例中,在点的数量低于阈值的情况下,可以通过为该体元的残差分配最大值并将该体元识别为“无效”,来对该体元施加占用惩罚。在一些示例中,最大值可以是体元的长度、宽度、高度或对角线中的一个或多个。
在808处,校准计算设备可以将变换应用于第一传感器数据或第二传感器数据中的至少一个,以最小化残差值。可以使用急切搜索来执行变换。在一些示例中,可以基于体元空间中的体元的尺寸,来确定变换的量级。在一些示例中,可以使用连续较小的量级来执行多个变换。
在各种示例中,校准计算设备可以确定与各个传感器数据相关联的初始方向和朝向维度。校准计算设备可以调整一个或多个方向维度和一个或多个朝向维度,以最小化体元分数。在一些示例中,可以彼此独立地调节方向维度和朝向维度。在各种示例中,校准计算设备可以一次调整两个维度。在一些示例中,校准计算设备可以一次调整三个维度。
在各种示例中,校准计算设备可以针对方向和/或朝向维度的每个组合来计算残差。与最小残差值相关联的方向和/或朝向维度可被存储为各个维度的最小残差值。
在各种示例中,校准计算设备可以另外最小化与体元空间中的体元相关联的占用分数。在这样的示例中,校准计算可以对占用的体元施加惩罚,以减小与其相关联的占用分数。在各种示例中,最小化残差分数可以包括最小化占用分数。
在810处,校准计算设备确定体元尺寸是否减小到最小尺寸。在各种示例中,最小体元尺寸可以包括体元的预定义的最小高度、宽度和长度。在一些示例中,体元的高度、宽度和长度可以相同(即,体元包括立方体)。在其他示例中,体元的高度、宽度和长度可以不同。
在812处,响应于确定体元尺寸没有减小到最小尺寸,校准计算设备减小体元空间中的体元的尺寸,并且通过执行操作806-810来迭代地最小化残差值,直到体元尺寸减小到最小为止。
在814处,响应于确定体元尺寸减小到最小尺寸,校准计算设备校准第一传感器或第二传感器中的至少一个。在各种示例中,校准计算设备可以确定在整个变换过程中对第一传感器和/或第二传感器进行的总调整。在这样的示例中,总调整可以包括与针对最小体元尺寸计算的最小残差值相关联的传感器数据维度(x,y,z,俯仰,滚动,偏航)与初始传感器数据维度之间的差。因此,总调整可以包括传感器和/或传感器数据的初始X,Y,Z,俯仰,滚动,偏航设置与当体元尺寸和残差值最小化时传感器和/或传感器数据的最终X,Y,Z,俯仰,滚动,偏航设置之间的差。总调整可以被存储为传感器的校准参数,并且可以被应用于从传感器接收的随后数据。
图9是由校准计算设备执行的、用于使用LIDAR传感器数据确定位置数据中的漂移误差的说明性过程900的流程图。如上所述,校准计算设备可以是车辆计算设备(例如,车辆计算设备106),或者是与校准/定位服务器(例如,校准/定位服务器108)相关联的服务器设备。
在902处,校准计算设备基于例如位置数据和/或定位数据,确定车辆在第一时间时在参考点处。位置和/或定位数据可以包括运动传感器数据、导航传感器数据、和/或感知数据(例如,来自LIDAR、一个或多个相机、RADAR、一个或多个超声/一个或多个SONAR等中的任一个或多个)。第一次可以对应于车辆的路径上的参考点的第一次经过。
在904处,校准计算设备可以在第一时间捕获参考点处的环境的第一LIDAR数据。该环境可以包括接近参考点的区域。第二LIDAR数据可以包括由车辆上的LIDAR传感器捕获的第一集体传感器数据(例如,元旋转(metaspin))。
在一些示例中,校准计算设备可以使得LIDAR传感器在参考点处捕获第一LIDAR数据。在一些示例中,校准计算设备可以从每个LIDAR传感器接收数据,并且可以过滤数据以识别在第一时间收集的数据。
在906处,校准计算设备基于位置数据来确定车辆在第二时间处于参考点。第二时间可以对应于第二次通过车辆的路径上的参考点。
在908处,校准计算设备可以在第二时间捕获参考点处的、环境的第二LIDAR数据。第二LIDAR数据可以包括由车辆上的LIDAR传感器捕获的第二集体传感器数据。
在910处,校准计算设备将第一LIDAR数据和第二LIDAR数据投影到体元空间中。体元空间可以包括邻近于参考点的环境的固定三维网格。
在912处,校准计算设备计算体元空间的残差值。体元空间的残差值可以包括体元空间中的每个体元的残差值的总和。在一些示例中,体元空间中的体元分数可以包括体元空间中每个被占用的体元和/或具有与其关联的阈值数量的数据点的每个体元的总和。在一些示例中,每个体元的残差值可以包括该体元的占用分数。
在914处,校准计算设备通过将变换应用于第二LIDAR数据,同时保持与第一LIDAR数据相关联的姿态,来最小化体元空间的残差值,以确定位置数据中的漂移误差。校准计算设备可以对第二LIDAR数据应用变换,该变换调整第二LIDAR数据的一个或多个维度(例如,X,Y,Z,俯仰,滚动,偏航)。在各种示例中,校准计算设备可以通过应用急切搜索技术来最小化残差值。在这样的示例中,急切搜索可以包括多个量级和多个搜索方向。
在一些示例中,校准计算设备可以继续将变换应用于第二LIDAR数据,直到体元空间的残差值的减小量不会从先前的最小值减小到大于阈值量为止。在一些示例中,变换的量级可以与体元空间中的体元的尺寸成比例。
在各种示例中,校准计算设备可以基于变换来计算位置数据中的漂移误差或位置误差。在这样的示例中,漂移误差可以对应于第二LIDAR数据的初始维度与对应于最小化体元分数的第二LIDAR数据的维度之间的差。
图10是由校准计算设备执行的、用于使用LIDAR传感器数据来确定位置数据中的漂移误差的说明性过程1000的流程图。如上所述,校准计算设备可以是车辆计算设备(例如,车辆计算设备106),或者是与校准/定位服务器相关联的服务器设备(例如,校准/定位服务器108)。
在1002处,校准计算设备从多个传感器接收数据。在一些示例中,数据可以包括LIDAR数据。
在1004处,校准计算设备在第一时间识别与第一参考点相关联的第一数据集,并在第二时间识别与参考点相关联的第二数据集。在各种示例中,第一时间可以对应于沿车辆的路径的参考点的第一次经过,并且第二时间可以对应于沿车辆的路径的参考点的第二次经过。在各种示例中,校准计算设备可以基于从车辆的一个或多个传感器接收的定位数据,来确定第一时间和第二时间。在一些示例中,一个或多个传感器可以包括运动传感器和/或位置传感器。
在1006处,校准计算设备相对于第一数据集调整第二数据集,以最小化体元分数。在各种示例中,所述调整可以包括调整与第二数据集相关联的维度。在一些示例中,校准计算设备可以同时调整两个维或三个维。在一些示例中,校准计算设备可以相对于平移(例如,相对于X,Y,Z的方向)的维度和旋转(例如,相对于俯仰,滚动,偏航的朝向)的维度,独立地调整数据点的位置。通过每次调整或扰动,校准计算设备可以计算与每个体元相关联的残差值。校准计算设备可以选择相对于每个维度的数据点的位置,该维度对应于与体元相关联的最小残差值。可以选择与最小残差值相对应的X,Y,Z,俯仰,滚动和偏航中的选定位置作为最终维度。
在1008处,校准计算设备可以基于对第二数据集的总调整来计算位置误差。总调整可以包括与第二数据集相关联的最终维度与初始维度之间的差。
图11是如由校准计算设备执行的、用于识别与体元空间中的体元的最小残差值相关联的一组维度的说明性过程1100的流程图。如上所述,校准计算设备可以是车辆计算设备(例如,车辆计算设备106),或者是与校准/定位服务器(例如,校准/定位服务器108)相关联的服务器设备。
在1102处,校准计算设备接收数据集。在一些示例中,数据集可以包括集体传感器数据(例如,元旋转)。在一些示例中,数据集可以包括与两个或更多个传感器(例如,车辆的LIDAR传感器)相对应的传感器数据。
在1104处,校准计算设备将数据集应用于体元空间。在一些示例中,可以通过基于与每个数据点相关联的坐标将数据集的数据点投影到体元空间中,来应用数据集。
在1106处,校准计算设备识别要应用于第一传感器或第二传感器中的至少一个的变换。该变换可以与体元空间的经优化的残差值相关联。在各种示例中,变换可以包括相应传感器的至少一个方向维度或至少一个朝向维度的扰动。在一些示例中,校准计算设备可以迭代地应用方向维度(即,与传感器的X轴,Y轴,Z轴相关联)和/或朝向维度(即,与传感器的俯仰,滚动,偏航角相关联)的不同组合的变换,直到通过变换得到经优化的残差值为止。在各种示例中,变换的量级可以至少部分地基于体元空间中的个体体元的体元尺寸。在一些示例中,量级可以是预定义的数量和/或数量的集合(例如,{0.25m,0.5m,1m,2m,4m,8m})。在其他示例中,量级可以对应于单个量级的多个标量倍数。
在各种示例中,校准计算设备可以基于与优化的残差值相关联的变换,来校准第一传感器或第二传感器中的至少一个。在一些示例中,校准计算设备可以至少部分地基于变换来确定车辆的漂移误差。
尽管以上关于校准一个或多个传感器和确定测量位置误差而进行参考,但是可以理解,以上详细描述的急切搜索可以在各种其他应用中使用。作为非限制性示例,请考虑以下内容。可以使用与上述测量位置误差方法中描述的相同方法,比较两组或多组积累的传感器数据。当在闭环事件的位置多次产生(例如,识别出与先前状态处于基本相似的位置)两个比较的集合,该比较会产生轨迹漂移,该轨迹漂移可用于轨迹补偿。当在短时间跨度内、沿着轨迹生成比较的两组数据时,该测量位置误差可以用作一种形式的传感器(例如,LIDAR)测距法。当比较来自两个独立轨迹的传感器数据时,该测量位置误差可用于生成先前的地图产品。当确定在先前地图产品和当前集体传感器数据之间的测量位置误差时,测量位置误差提供了传感器的定位和/或地理位置。如上所述,通过相对于一个或多个传感器的其余部分在单个传感器上执行校准,校准的输出可以是车辆的传感器相对于彼此以及相对于车架的校准。另外或可替代地,通过使用本征值分解计算来校准来自单个传感器的传感器数据和来自相同传感器的另外的数据,可以相对于车架校准该传感器。
图12示出了示例校准计算设备1200,其被配置为校准车辆的一个或多个传感器和/或确定车辆的位置误差。校准计算设备1200可以表示车辆计算设备(例如,车辆计算设备106)和/或校准/定位服务器(例如,校准/定位服务器108)。在校准计算设备1200中,例如,一个或多个处理单元1202可以表示CPU类型处理单元、GPU类型处理单元、现场可编程门阵列(FPGA)、另一类数字信号处理器(DSP)、或其他硬件逻辑组件,其在某些情况下可能是由CPU驱动。例如但非限制性的,可以使用的说明性类型的硬件逻辑组件包括专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等。
在一些示例中,校准计算设备1200可以是作为分布式服务平台(例如,云)的一部分的多个设备中的一个,例如,服务器设备112(1),112(2)和112(N)。在一些示例中,校准计算设备1200可以是能够经由邻近网络连接的多个设备中的一个。在各种示例中,校准计算设备1200可以是多个设备中的一个,其既是分布式服务平台的一部分又能够经由邻近网络连接。
在一些示例中,计算机可读介质(CRM)1204可以存储可由一个或多个处理单元1202执行的指令,如上所述,其可以表示集成在校准计算设备1200中的处理单元。CRM 1204也可以存储由外部处理单元(例如,通过外部CPU类型处理单元1206、外部GPU类型处理单元1208)执行和/或通过外部加速器1210(例如,FPGA类型加速器1210(1)、DSP类型加速器1210(2)、或任何其他加速器1210(N))执行的指令。在各种示例中,将至少一个CPU类型处理单元1206、GPU类型处理单元1208和/或加速器1210集成在校准计算设备1200中,而在一些示例中,一个或多个CPU类型处理单元1206、GPU类型处理单元1208、和/或加速器1210在校准计算设备1200的外部。
在所示示例中,CRM 1204还包括数据存储1212。在一些示例中,数据存储1212包括数据存储器,数据存储器例如数据库、数据仓库或其他类型的结构化或非结构化数据存储器。在一些示例中,数据存储1212可以包括具有一个或多个表、索引、存储过程等的语料库和/或关系数据库,以使得能够进行数据访问,其例如包括超文本标记语言(HTML)表、资源描述框架(RDF)表、网络本体语言(OWL)表、和/或可扩展标记语言(XML)表中的一个或多个。数据存储1212可以存储用于存储在CRM 1204中和/或由一个或多个处理单元1202执行的过程、应用程序、组件和/或模块的操作的数据。可替代地,一些或全部上述参考的数据和/或指令可以存储在一个或多个处理单元1202、CPU类型处理单元1206、GPU类型处理单元1208和/或一个或多个加速器1210上机载的、单独的存储设备1214上。例如,数据存储1212可以存储传感器数据、轨迹数据、感兴趣数据区域(例如,与感兴趣区域相关联的体元分数、与感兴趣区域相关联的残差值等)和/或在传感器校准和车辆定位中使用的其他数据。
校准计算设备1200还可以包括一个或多个输入/输出(I/O)接口1216,以允许校准计算设备1200与输入/输出设备通信,例如,包括外围输入设备的用户输入设备(例如,键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备等)和/或包括外围输出设备的输出设备(例如,显示器、打印机、音频扬声器、触觉输出等)。另外,在校准计算设备1200中,一个或多个网络接口1218可以表示例如网络接口控制器(NIC)或其他类型的收发器设备,以通过网络(例如,网络110)发送和接收通信。
在所示的示例中,校准计算设备1200可以经由总线1220将一个或多个处理单元1202可操作地连接到CRM 1204、一个或多个I/O接口1216和一个或多个网络接口1218。在一些示例中,总线1220可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线、以及任何多种本地、外围和/或独立总线中的一个或多个。
在所示示例中,CRM 1204还包括操作系统1222,该操作系统可以是任何类型的操作系统,例如,MICROSOFT WINDOWS,WINDOWS,QNXTM,IBM z/OSTM,LINUX,ANDROID,iOSTM,OSXTM,NETBSDTM或任何其他能够管理校准计算设备1200上的计算机硬件和软件资源的操作系统。
CRM 1204还包括轨迹模块1224(例如,轨迹模块126)、校准模块1226(例如,校准模块120)和定位模块1228(例如,定位模块122)。所描述的功能与轨迹模块1224、校准模块1226和定位模块1228相关,并且所描述的功能可以组合成一个模块,或者可以由大量的模块和/或API分割并执行。在各种示例中,轨迹模块1224可以被配置为从车辆的一个或多个运动传感器(例如,惯性测量单元(IMU)传感器、加速计、陀螺仪、旋转(车轮)编码器等)、一个或多个导航传感器(例如,全球定位系统(GPS)传感器、INS传感器等)和/或一个或多个其他传感器(例如,LIDAR、一个或多个相机、RADAR、一个或多个SONAR等)接收数据。轨迹模块1224可使用来自任何一个或多个上述传感器的数据,来确定车辆的轨迹数据。轨迹数据可以包括速度、方向、位置、俯仰、滚动、偏航和/或其速率,和/或与车辆的运动相关联的其他数据。
在各种示例中,轨迹模块1224可以至少部分地基于轨迹数据,来识别感兴趣区域的中心位置。在一些示例中,可以基于车辆在给定时间的偏航率,来确定中心位置。在一些示例中,可以基于车辆行驶的路径(例如,道路)的曲率半径,来确定中心位置。
在各种示例中,轨迹模块1224可以通过生成以中心位置为中心的时间窗,来确定感兴趣区域。在这样的示例中,时间窗可以包括在中心位置之前的数秒和在中心位置之后的数秒。在各种示例中,数秒可以是固定数秒。在一些示例中,数秒可以基于轨迹数据,例如车辆的速度。
在各种示例中,校准模块1226可以被配置为校准车辆的一个或多个传感器。校准模块1226可以从轨迹模块1224接收感兴趣区域数据。感兴趣区域数据可以包括与感兴趣区域相关联的中心位置和/或时间窗。校准模块1226可以被配置为在车辆处于感兴趣区域中时过滤或提取由一个或多个传感器捕获的LIDAR数据,以确定用于校准的LIDAR数据集。校准模块1226可以将LIDAR数据集投影到三维(3D)体元空间中,并且可以识别具有数据点定位其中的体元。
在各种示例中,校准模块1226可以为体元空间中的每个被占用的体元计算占用分数(例如,成本函数)。在各种示例中,可以通过将体元中的数据点的数量乘以惩罚数来确定占用分数。惩罚数可以表示在体元中具有数据点的最小成本。在各种示例中,校准模块1226可以被配置为最小化体元占用的成本函数,从而最小化在校准中使用的体元的数量。在各种示例中,校准模块1226可以识别具有的占用分数高于阈值的体元,并且可以选择所识别的体元以进行进一步处理。
校准模块1226可以为体元空间中的每个体元计算残差值。在各种示例中,校准模块1226可以通过执行主分量分析来计算残差值。在这样的示例中,残差值可以包括最小本征值。在一些示例中,校准模块1226可以基于来自(x-1)个传感器114的数据,来确定体元的平面,其中,x是车辆上传感器的总数。在这样的示例中,校准模块1226可以基于从单个传感器到由其他传感器确定的平面的距离,来计算体元的残差值。
在各种示例中,校准模块1226可以通过将每个体元的占用分数和残差值相加,来确定每个体元的初始体元分数。在一些示例中,校准模块1226可以计算体元空间的初始总体元分数。
校准模块1226可以通过使用急切搜索技术,调整(例如,扰动)一个或多个传感器捕获的传感器数据的一个或多个维度(X,Y,Z,俯仰,滚动,偏航)来确定一个或多个传感器的校准。校准模块1226可以连续地调整传感器数据的变换,直到每个体元的残差值,以及因此每个体元的体元分数最小化为止。在各种示例中,校准模块1226可以基于确定一个或多个扰动增加了残差值,来确定残差值最小化。在一些示例中,校准模块1226可基于确定一个或多个扰动不会大幅度减小残差值,来确定残差值最小化。在一些示例中,大幅度减小可以包括大于阈值减小值的减小。
在各种示例中,响应于确定对于给定的体元尺寸而最小化残差值,校准模块1226可以减小体元尺寸并重复上述急切搜索技术。在一些示例中,对于体元尺寸减小的每次迭代,校准模块1226可以将体元尺寸减小1/2。在各种示例中,校准模块1226可执行体元尺寸减小的一次或多次迭代。在至少一个示例中,校准模块1226可执行对体元尺寸减小的6次迭代。例如,初始体元可以包括一个12m长的立方体。校准模块1226可以扰动数据,以通过体元尺寸从12m3到0.375m3的每次迭代而最小化残差值(例如,针对12m,6m,3m,1.5m,0.75m,0.375m的每个体元尺寸进行优化)。在一些示例中,校准模块126可以迭代地减小扰动的量级和体元空间中的体元的维度。
在完成体元尺寸减小迭代,并且优化残差值和体元分数之后,校准模块1226可以校准一个或多个传感器。可以通过确定对与要校准的每个传感器相对应的数据进行的总调整和/或对集体传感器数据进行的总调整,来执行校准。校准模块1226可以将总调整应用于随后接收的传感器数据。
在各种示例中,校准模块1226可以被配置为验证一个或多个传感器的校准。在一些示例中,可以周期性地执行验证,例如,每小时、每天、每周一次等。在一些示例中,可以基于一个或多个传感器可能未校准的指示,来执行验证。
在一些示例中,校准模块1226可以在验证和/或重新校准期间,使受影响的传感器离线。在这样的示例中,如果受影响的LIDAR传感器未校准,则从其捕获的数据可能不会对车辆的操作产生负面影响。在一些示例中,校准模块1226可以在验证和/或重新校准期间,使受影响的传感器在线。
为了验证传感器的校准,校准模块1226可以识别与感兴趣区域相关联的数据。在一些示例中,校准模块1226可以使用与感兴趣区域相关联的数据,来计算与体元空间中的每个被占据体元相对应的残差值。在一些示例中,校准模块1226可以将当前残差值与体元空间中的每个体元的初始校准残差值进行比较。在一些示例中,校准模块1226可以通过添加体元空间中被占用体元的残差分数,来计算当前体元空间残差值。在这样的示例中,校准模块1226可以将当前体元空间残差值与对应于初始校准的体元空间残差值进行比较。在一些示例中,校准模块1226可以将每个值的当前体元分数和/或体元空间体元分数与对应于初始校准的相应体元分数进行比较。
在各种示例中,校准模块1226可以访问数据存储1212,该数据存储1212包括与感兴趣区域相关联的残差值和/或体元分数。在这样的示例中,校准模块1226可以将在特定感兴趣区域中收集的数据的当前残差值和/或体元分数与对应于特定感兴趣区域的存储的残差值和/或体元分数进行比较。
在一些示例中,校准模块1226可以基于当前残差值和/或体元分数是大于对应于初始校准的残差值和/或体元分数的阈值,来确定传感器未校准。响应于确定传感器未校准,校准模块1226可以使用上述技术来重新校准传感器。
在各种示例中,校准计算设备1200可以包括定位模块1228,该定位模块1228被配置为确定与车辆相关联的位置误差(例如,漂移误差)。如上所述,车辆可以包括一个或多个运动传感器和/或一个或多个导航传感器和/或一个或多个其他传感器。校准计算设备1200(例如,经由轨迹模块1224)可以接收来自一个或多个传感器的输入,并且可以确定车辆的位置和/或朝向(例如,定位数据)。在操作中,误差可以随着时间累积,以引起定位数据的误差。为了校正车辆的位置误差或漂移误差,定位模块1228处理在参考点处捕获的数据。在一些示例中,参考点可以包括车辆路线上的预定义的参考点。在一些示例中,参考点可以包括沿着车辆路线的、在车辆沿路行进线时将经过两次的任何点。
在一些示例中,定位模块1228可以响应于车辆位于参考点的指示,而使一个或多个传感器捕获集体传感器数据。在一些示例中,定位模块1228可以过滤集体传感器数据以针对参考点的至少两次通过来处理在该参考点处捕获的数据。例如,定位模块1228可以接收这样的指示:车辆位于其第一次经过的参考点处。定位模块1228可以接收与第一次通过参考点相对应的第一集体传感器数据,并且可以将第一集体传感器数据投影到体元空间中。定位模块1228接着可以接收这样的指示:车辆位于其第二次经过的参考点处。定位模块1228可以接收第二次通过参考点相对应的第二集体传感器数据,并且可以将第二集体传感器数据投影到体元空间中。
在各种示例中,定位模块1228可以计算体元空间的初始体元分数。初始体元分数可以包括体元空间中每个体元的占用分数和残差值的总和。在各种示例中,定位模块1228可以最小化与每个体元相对应的体元分数。最小化可以包括最小化体元占用的成本函数。另外,最小化可以包括最小化体元空间中每个体元的残差值。在各种示例中,定位模块1228可以通过在随后捕获的数据集(例如,第二集体数据)上使用急切搜索技术,来最小化残差值。在这样的示例中,定位模块1228可以在保持第一集体数据恒定的同时,调整第二集体数据的一个或多个变换。定位模块1228可以确定对集体数据的总调整,从而引起在体元空间中获得清晰的数据图像。基于总调整,定位模块1228可以估计从其中第一次捕获了第一集体传感器数据到其中第二次捕获了第二集体传感器数据的位置和/或朝向的误差(例如,增量变换)。定位模块1228可以将增量变换应用于定位数据(例如,来自运动传感器和/或导航传感器的数据),以精确地定位车辆。
另外,上述参考数据中的一些或全部可以被存储在单独的存储设备1230上,例如,CPU类型处理单元1206上的存储设备1230(1),GPU类型处理单元1208上的存储设备1230(2),FPGA类型加速器1210(1)上的存储设备1230(3),DSP类型加速器1210(2)上的存储设备1230(4),和/或另一加速器1210(N)的主板上的存储设备1230(M)。
应当理解,本文提出的主题可以被实现为计算机过程、计算机控制的设备、计算系统、或例如计算机可读存储介质的制品。尽管本文描述的主题是在一个或多个计算设备上执行的程序模块的一般上下文中呈现的,但本领域技术人员将认识到,可以结合其他类型的程序模块来执行其他示例。通常,程序模块包括例程、程序、组件、数据结构、以及执行特定任务或实现特定抽象数据类型的其他类型的结构。
本领域的技术人员还将理解,本文描述的主题的各方面可以在本文描述的那些之外的其他计算机系统配置上实践或与其结合实践,其包括多处理器系统、基于微处理器的或可编程消费电子产品、小型计算机、大型计算机、手持式计算机、移动电话设备、平板计算设备、专用硬件设备、网络设备等。
基于前述内容,应当理解,本文已经提出了校准车辆传感器,并使用从其收集的传感器数据来校正位置误差。而且,尽管已经用计算机结构特征、方法动作、和计算机可读介质专用的语言描述了本文提出的主题,但是应该理解,所附权利要求书中定义的本发明不必限于特定的特征、动作、或本文描述的介质。相反,将特定特征、动作和介质公开作为实现权利要求中所述主题的示例形式。
上面描述的主题仅以说明的方式提供,并且其不应解释为限制性的。此外,要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的示例。可以在不遵循所说明和所描述的示例和应用,并且不脱离在所附权利要求中阐述的、本发明的精神和范围的情况下,对本文描述的主题进行各种修改和改变。
示例条款
A:一种系统,包括:一个或多个处理器;以及一个或多个计算机可读存储介质,其通信地耦合至一个或多个处理器并且存储能够由一个或多个处理器执行的指令,以执行以下操作:从车辆上的第一传感器接收第一传感器数据作为第一数据集,以及从车辆上的第二传感器接收第二传感器数据作为第二数据集;将第一数据集和第二数据集投影到体元空间中;识别体元空间中的已占用体元;计算与体元空间中的已占用体元中的个体体元相关联的残差值;调整第一数据集或第二数据集在体元空间中的位置,以优化残差的量级;以及确定与所述体元空间的经优化的体元分数相对应的传感器变换。
B:根据段落A所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:确定每个体元的占用惩罚,其中,所述占用分数是至少部分地基于所述占用惩罚来确定的;以及通过至少部分地基于传感器变换重新投影与第二数据集的至少一个子集相对应的数据点,来使体元空间中每个体元的占用分数最小化。
C:根据段落A或B所述的系统,其中,所述第一传感器和所述第二传感器是相同传感器。
D:根据段落A-C中任一段所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:基于由本征值分解产生的最小本征值或所述第一数据集中的数据点距离平面的距离中的一个或多个,来确定所述残差值,所述平面表示当确定传感器变换时的至少第二数据集。
E:根据段落A-D中任一段所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:从运动传感器、导航传感器、图像传感器、或深度传感器中的至少一个接收输入;至少部分地基于输入来确定车辆的轨迹;以及至少部分地基于车辆的轨迹来确定感兴趣区域,其中,第一数据集或第二数据集是在感兴趣区域中收集的。
F:根据段落E所述的系统,其中,所述感兴趣区域包括中心位置和以所述中心位置为中心的时间窗,其中,所述中心位置基于以下中的至少一个来识别:车辆的偏航率;路径的曲率半径;车辆的位置;或者车辆的速度。
G:根据段落A-F中任一段所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:校准所述第一传感器或所述第二传感器中的至少一个;计算与车辆位置相关联的漂移误差;或者识别与车辆的轨迹相关联的误差。
H:根据段落A-G中任一段所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:减小所述体元空间中的所述体元的尺寸;以及增加填充体元空间的体元的数量。
I:根据段落A-H中任一段所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:计算与所述体元空间相关联的第二体元分数;以及确定与第二经优化的体元分数相对应的第二传感器变换,其中,第一传感器和第二传感器的校准至少部分地基于第二传感器变换。
J:一种计算机可读介质,其上具有计算机可执行指令,所述计算机可执行指令响应于执行而将计算机配置为执行根据段落A-I中任一段所述的系统。
K:一种方法,包括:从车辆的多个传感器接收数据集;将数据集投影到体元空间中;扰动数据集的第一传感器数据,以减小与体元空间相关联的残差值,第一传感器数据对应于多个传感器中的第一传感器;确定对第一传感器数据的传感器变换,该传感器变换对应于与体元空间相关联的最小化的残差值;以及至少部分地基于传感器变换来校准多个传感器中的第一传感器。
L:根据段落K所述的方法,其中,每个体元的残差包括占用分数和残差值的总和,所述残差值与本征值或到平面的距离中的一个相关联。
M:根据段落K或L中任一段所述的方法,还包括:接收关于车辆在第一时间位于参考点的指示;在第一时间捕获第一集体数据集,所述第一集体数据集包括与多个传感器相关联并且对应于参考点处的环境的第一元旋转;接收关于车辆在第二时间位于参考点的指示;在第二时间捕获第二集体数据集,所述第二集体数据集包括与多个传感器相关联并且对应于参考点处的环境的第二元旋转;在参考点,将第一集体数据集和第二集体数据集投影到与环境相对应的体元空间中;扰动第二集体数据集的一个或多个维度,以最小化与第二体元空间相关联的残差值;以及确定第一时间与第二时间之间的定位误差。
N:根据段落K-M中任一段所述的方法,还包括:基于运动传感器数据或导航传感器数据中的至少一个来计算车辆的轨迹;确定所述轨迹对应于感兴趣区域;以及识别与感兴趣区域相关联的时间窗,其中,第一传感器数据包括在感兴趣区域中收集的数据。
O:根据段落N所述的方法,其中,确定所述轨迹对应于所述感兴趣区域基于以下各项中的至少一项:车辆的偏航率;路径的曲率半径;车辆的位置;或者车辆的速度。
P:根据段落K-O中的任一段所述的方法,还包括:确定体元空间中的体元的尺寸不是最小尺寸;减小体元空间中的体元的尺寸;增加体元空间中的体元数量;以及对于体元的每个经减小的尺寸,迭代地确定对第一传感器数据的变换,其中,第一传感器的校准基于对变换的迭代确定。
Q:根据段落K-P中的任一段所述的方法,还包括:接收关于多个传感器中的第一传感器未对准的指示;从对车辆的操作控制系统的输入中去除与第一传感器相关联的数据,其中,校准多个传感器中的至少一个传感器包括:校准第一传感器;响应于第一传感器的校准,将第一传感器数据发送至操作控制系统。
R:一种系统或设备,包括:处理器;以及联接到处理器的计算机可读介质,该计算机可读介质包括用于配置处理器以执行根据段落K-Q中任一段所描述的计算机实现的方法的指令。
S:一种系统或设备,包括:处理设备;以及与存储设备联接的用于存储的设备,所述存储设备包括配置一个或多个设备以执行根据段落K-Q中任一段所描述的计算机实现的方法的指令。
T:一种计算机可读介质,其上具有计算机可执行指令,所述计算机可执行指令响应于执行而配置计算机以执行根据段落K-Q中任一段所述的方法。
U:一种设备,包括:一个或多个处理器;以及通信地耦合至一个或多个处理器并存储可由一个或多个处理器执行的指令的一种或多种计算机可读存储介质,以执行以下操作:从多个传感器接收数据集;将数据集投影到体元空间中,该体元空间包括多个体元;扰动数据集的第一传感器数据,以减小与体元空间相关联的残差值,第一传感器数据对应于多个传感器中的第一传感器,并且残差值至少部分基于从与第一传感器数据相关联的每个体元到平面之间的距离,所述平面表示数据集的一部分或每个体元的最小本征值;以及确定与对应于与体元空间相关联的最小化的残差值的第一传感器数据的变换。
V:根据段落U所述的设备,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:从运动传感器、导航传感器、深度传感器、或图像传感器中的至少一个接收输入;根据该数据计算车辆的轨迹;确定轨迹对应于感兴趣区域;并标识与感兴趣区域相关联的时间窗,其中,数据集包括在感兴趣区域中收集的数据。
W:根据段落U或V所述的设备,其中,扰动第一传感器数据包括相对于一个或多个方向维度以及与第一传感器数据相关联的一个或多个朝向维度调整位置。
X:根据段落U至W中任一段所描述的设备,其中,所述指令还可以由一个或多个处理器执行以:确定体元空间中的体元的尺寸不是最小尺寸;增加体元空间中的体元数量;减小体元空间中的体元的尺寸;以及对于体元的每个经减小的尺寸,迭代地确定对第一传感器数据的变换,其中,对多个传感器中的至少一个传感器的校准基于对变换的迭代确定。
Y:一种系统,包括:一个或多个处理器;以及一个或多个计算机可读存储介质,其通信地耦合至一个或多个处理器并且存储能够由一个或多个处理器执行的指令,以执行以下操作:接收由车辆的多个传感器捕获的传感器数据;以及将传感器数据应用于体元空间;确定多个传感器中的第一传感器的第一姿态和多个传感器中的第二传感器的第二姿态;至少部分地基于一组扰动来识别要应用于第一传感器或第二传感器的变换,所述一组扰动中的每个扰动包括量级和对应于第一传感器或第二传感器中的至少一个方向维度或至少一个朝向维度;计算与应用于第一传感器或第二传感器的每个扰动相关联的体元空间的总残差;至少部分地基于体元空间的优化的总残差,确定第一传感器或第二传感器的优化的姿态,所述优化的总残差值对应于与一组扰动中的一个相关联的变换。
Z:根据段落Y所述的系统,其中,所述朝向维度中的至少一个对应于与所述第一传感器或所述第二传感器相关联的俯仰、滚动和偏航。
AA:根据段落Y或Z所述的系统,其中,方向维度中的至少一个对应于第一传感器或第二传感器相对于X轴、Y轴或Z轴的平移。
AB:根据段落Y-AA中任一段所述的系统,其中,每个扰动的量级至少部分基于体元空间中单个体元的体元尺寸。
AC:根据段落Y-AB中任一段所述的系统,其中,该一组扰动包括朝向的组合,并且方向维度不变。
AD:根据段落AC所描述的系统,进一步包括:确定至少一个量级以应用于该一组扰动;以及将至少一个量级应用于该一组扰动,其中,优化的残差值至少部分地基于将至少一个量级应用于该一组扰动所产生的最优值。
AE:根据段落Y-AD中任一段所述的系统,其中,所述指令还可以由一个或多个处理器执行,以至少部分地基于优化的姿态,来校准第一传感器或第二传感器中的至少一个。
AF:根据段落Y-AE中任一段所述的系统,其中,所述指令还可以由一个或多个处理器执行,以至少部分地基于优化的姿态,来确定与车辆的位置相关联的漂移误差。
AG:一种计算机可读介质,其上具有计算机可执行指令,该计算机可执行指令响应于执行,而配置计算机以执行根据段落A-I中任一段所述的系统。
AH:一种方法,包括:接收数据集,该数据集包括由车辆的第一传感器捕获的第一传感器数据和由第二传感器捕获的第二传感器数据;将数据集应用于体元空间;确定体元空间的残差值;以及相对于相应传感器的至少一个方向维度或至少一个朝向维度,识别要应用于第一传感器或第二传感器中的至少一个的变换,该变换与体元空间的优化残差值相关联。
AI:根据段落AH所描述的方法,其中,识别变换包括独立于至少一个朝向维度而扰动至少一个方向维度。
AJ:根据段落AH或AI中任一段所描述的方法,其中,识别变换包括通过一组扰动来扰动第一传感器或第二传感器。
AK:根据段落AH-AJ中任一段所述的方法,其中,所述数据集是第一数据集,所述方法还包括:接收在第一时间时车辆在参考点处的第一指示;至少部分地基于第一指示,捕获包括环境邻近参考点的第一表示的第一数据集;接收在第二时间时车辆在参考点的第二指示;并且至少部分地基于第二指示,捕获包括环境邻近参考点的第二表示的第二数据集;其中,识别变换包括与第二数据集相关联的扰动维度。
AL:根据段落AH-AK中任一段所述的方法,还包括:至少部分地基于所述变换来校准所述第一传感器或所述第二传感器中的至少一个;或者至少部分地基于变换,来确定车辆的漂移误差。
AM:根据段落AH-AL中任一段所描述的方法,其中,识别变换包括通过一组扰动来扰动第一传感器或第二传感器,并且该方法还包括确定体元空间中的体元的尺寸,其中,该一组扰动中的每个扰动至少部分地基于体元的尺寸。
AN:根据段落AH-AM中任一段所述的方法,其中,识别变换包括通过一组扰动来扰动第一传感器或第二传感器,并且其中,该一组扰动中的的每个扰动都包括相对于至少一个方向维度或至少一个朝向维度的量级。
AO:一种系统或设备,包括:处理器;以及联接到处理器的计算机可读介质,该计算机可读介质包括用于配置处理器以执行根据段落AH-AN中的任一段所描述的计算机实现的方法的指令。
AP:一种系统或设备,包括:处理设备;处理设备;以及与存储设备联接的用于存储的设备,所述存储设备包括配置一个或多个设备以执行根据段落AH-AN中任一段所描述的计算机实现的方法的指令。
AQ:一种计算机可读介质,其上具有计算机可执行指令,所述计算机可执行指令响应于执行而配置计算机以执行根据段落AH-AN中任一段所述的方法。
AR:一种或多种非暂时性计算机可读存储介质,其可通信地耦合至一个或多个处理器并存储可由一个或多个处理器执行的指令,以执行以下操作:接收数据集,数据集包括由第一传感器捕获的第一传感器数据和由第二传感器捕获的第二传感器数据;将数据集投影到体元空间中;识别关于相应传感器的至少一个方向维度或至少一个朝向维度,应用于第一传感器或第二传感器中的至少一个的变换,该变换与体元空间的优化残差值相关联。
AS:根据段落AR所述的一种或多种非暂时性计算机可读存储介质,其中,所述指令还可由一个或多个处理器执行以进行以下操作:至少部分地基于变换,校准第一传感器或第二传感器中的至少一个传感器;或者至少部分地基于变换,来确定车辆的漂移误差。
AT:根据段落AR或AS中任一段所述的一种或多种非暂时性计算机可读存储介质,其中:取向维度对应于俯仰,滚动或偏航中的至少一个;以及方向维度对应于X轴,Y轴或Z轴中的至少一个。
AU:根据段落AR-AT中任一段所述的一个或多个非暂时性计算机可读存储介质,其中,相对于至少一个方向维度或朝向维度,将变换应用于第一传感器或第二传感器中的至少一个包括同时对两个或三个维度的修改。
AV:根据段落AR-AU中任一段所述的一个或多个非暂时性计算机可读存储介质,其中,变换的量级至少部分地基于体元空间中单个体元的体元尺寸。
一种系统或设备,包括:处理器;以及联接到处理器的计算机可读介质,该计算机可读介质包括用于配置处理器以执行根据段落AR-AV中任一段所描述的计算机实现的方法的指令。

Claims (15)

1.一种系统,包括:
一个或多个处理器;以及
一个或多个计算机可读存储介质,其通信地耦合至所述一个或多个处理器并且存储指令,所述指令能够由所述一个或多个处理器执行以进行以下操作:
从车辆上的第一传感器接收第一传感器数据作为第一数据集,以及从所述车辆上的第二传感器接收第二传感器数据作为第二数据集;
将所述第一数据集和所述第二数据集投影到体元空间中;
识别所述体元空间中的已占用体元;
计算与所述体元空间中的所述已占用体元中的个体体元相关联的残差,所述残差包括残差值和占用分数的组合;
调整所述第一数据集或所述第二数据集在所述体元空间中的位置,以优化所述残差的量级;以及
确定与所述体元空间的经优化的体元分数相对应的传感器变换。
2.根据权利要求1所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:
确定每个体元的占用惩罚,其中,所述占用分数是至少部分地基于所述占用惩罚来确定的;以及
通过至少部分地基于所述传感器变换重新投影与所述第二数据集的至少一个子集相对应的数据点,来使得所述体元空间中每个体元的占用分数最小化。
3.根据权利要求1所述的系统,其中,所述传感器变换被应用于所述第一传感器或所述第二传感器,并且是至少部分地基于一组扰动的,所述一组扰动中的每个扰动包括量级以及与所述第一传感器或所述第二传感器中的至少一个相对应的方向维度中的至少一个或朝向维度中的至少一个,并且其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:
计算与应用于所述第一传感器或所述第二传感器的每个扰动相关联的所述体元空间的总残差;以及
至少部分地基于所述体元空间的经优化的总残差来确定所述第一传感器或所述第二传感器的经优化的姿态,所述经优化的总残差值对应于与所述一组扰动中的一个扰动相关联的传感器变换,
其中,所述每个扰动的量级是至少部分地基于所述体元空间中的所述体元的尺寸的。
4.根据权利要求3所述的系统,其中:
所述朝向维度中的所述至少一个对应于与所述第一传感器或所述第二传感器相关联的俯仰、滚动、和偏航;以及
所述方向维度中的所述至少一个对应于所述第一传感器或所述第二传感器相对于X轴、Y轴、或Z轴的平移。
5.根据权利要求1所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:
基于由本征值分解产生的最小本征值或者所述第一数据集中的数据点距离平面的距离中的一个或多个来确定所述残差值,所述平面表示当确定所述传感器变换时的至少所述第二数据集。
6.根据权利要求1所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:
从运动传感器、导航传感器、图像传感器、或深度传感器中的至少一个接收输入;
至少部分地基于所述输入来确定所述车辆的轨迹;以及
至少部分地基于所述车辆的所述轨迹来确定感兴趣区域,
其中,所述第一数据集或所述第二数据集是在所述感兴趣区域中收集的。
7.根据权利要求6所述的系统,其中,所述感兴趣区域包括中心位置和以所述中心位置为中心的时间窗,其中,所述中心位置基于以下中的至少一个来识别:
所述车辆的偏航率;
路径的曲率半径;
所述车辆的位置;或者
所述车辆的速度。
8.根据权利要求1所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:
校准所述第一传感器或所述第二传感器中的至少一个;
计算与所述车辆的位置相关联的漂移误差;或者
识别与所述车辆的轨迹相关联的误差。
9.根据权利要求1所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:
减小所述体元空间中的所述体元的尺寸;以及
增加填充所述体元空间的体元的数量。
10.根据权利要求1所述的系统,其中,所述指令还能够由所述一个或多个处理器执行以进行以下操作:
计算与所述体元空间相关联的第二体元分数;以及
确定与第二经优化的体元分数相对应的第二传感器变换,
其中,所述第一传感器和所述第二传感器的校准是至少部分地基于所述第二传感器变换的。
11.一种方法,包括:
从车辆的多个传感器接收数据集;
将所述数据集投影到体元空间中;
扰动所述数据集的第一传感器数据,以减小与所述体元空间相关联的残差值,所述第一传感器数据对应于所述多个传感器中的第一传感器;
确定对所述第一传感器数据的传感器变换,所述传感器变换对应于与所述体元空间相关联的最小化的残差值;以及
至少部分地基于所述传感器变换来校准所述多个传感器中的所述第一传感器。
12.根据权利要求11所述的方法,还包括:
接收关于所述车辆在第一时间位于参考点的指示;
在所述第一时间捕获第一集体数据集,所述第一集体数据集包括与所述多个传感器相关联并且对应于所述参考点处的环境的第一元旋转;
接收关于所述车辆在第二时间位于所述参考点的指示;
在所述第二时间捕获第二集体数据集,所述第二集体数据集包括与所述多个传感器相关联并且对应于所述参考点处的所述环境的第二元旋转;
将所述第一集体数据集和所述第二集体数据集投影到与所述参考点处的所述环境相对应的所述体元空间中;
扰动所述第二集体数据集的一个或多个维度,以使得与所述第二体元空间相关联的残差值最小化;以及
确定所述第一时间与所述第二时间之间的定位误差。
13.根据权利要求11所述的方法,还包括:
基于运动传感器数据或导航传感器数据中的至少一个来计算所述车辆的轨迹;
确定所述轨迹对应于感兴趣区域;以及
识别与所述感兴趣区域相关联的时间窗,
其中,所述第一传感器数据包括在所述感兴趣区域中收集的数据。
14.根据权利要求11所述的方法,还包括:
确定所述体元空间中的体元的尺寸不是最小尺寸;
减小所述体元空间中的所述体元的尺寸;
增加所述体元空间中的体元的数量;以及
对于所述体元的每个减小的尺寸,迭代地确定对所述第一传感器数据的所述变换,
其中,所述第一传感器的校准是基于对所述变换的迭代确定的。
15.根据权利要求11所述的方法,还包括:
接收关于所述多个传感器中的所述第一传感器未对准的指示;
从对车辆的操作控制系统的输入中去除与所述第一传感器相关联的数据,
其中,校准所述多个传感器中的至少一个传感器包括校准所述第一传感器;以及
响应于所述第一传感器的校准,将所述第一传感器数据发送至所述操作控制系统。
CN201880064781.7A 2017-08-11 2018-08-07 车辆传感器的校准和定位 Active CN111183370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311660522.XA CN117607841A (zh) 2017-08-11 2018-08-07 车辆传感器的校准和定位

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/675,487 US11175132B2 (en) 2017-08-11 2017-08-11 Sensor perturbation
US15/675,487 2017-08-11
US15/674,853 2017-08-11
US15/674,853 US10983199B2 (en) 2017-08-11 2017-08-11 Vehicle sensor calibration and localization
PCT/US2018/045616 WO2019032588A1 (en) 2017-08-11 2018-08-07 CALIBRATION AND LOCATION OF VEHICLE SENSOR

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311660522.XA Division CN117607841A (zh) 2017-08-11 2018-08-07 车辆传感器的校准和定位

Publications (2)

Publication Number Publication Date
CN111183370A true CN111183370A (zh) 2020-05-19
CN111183370B CN111183370B (zh) 2023-12-15

Family

ID=63524360

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880064781.7A Active CN111183370B (zh) 2017-08-11 2018-08-07 车辆传感器的校准和定位
CN202311660522.XA Pending CN117607841A (zh) 2017-08-11 2018-08-07 车辆传感器的校准和定位

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311660522.XA Pending CN117607841A (zh) 2017-08-11 2018-08-07 车辆传感器的校准和定位

Country Status (4)

Country Link
EP (1) EP3665501A1 (zh)
JP (2) JP7196156B2 (zh)
CN (2) CN111183370B (zh)
WO (1) WO2019032588A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114576790A (zh) * 2022-05-05 2022-06-03 湖南大学 一种空调控制装置及中央空调

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007167B2 (ja) * 2017-12-05 2022-01-24 株式会社トプコン 測量装置、測量装置の校正方法および測量装置の校正用プログラム
US11741356B2 (en) * 2019-02-08 2023-08-29 Korea Advanced Institute Of Science & Technology Data processing apparatus by learning of neural network, data processing method by learning of neural network, and recording medium recording the data processing method
SE544470C2 (en) * 2019-07-08 2022-06-07 Scania Cv Ab Method and control arrangement for enabling sensor calibration
CN110702134B (zh) * 2019-10-08 2023-05-05 燕山大学 基于slam技术的车库自主导航装置及导航方法
DE102019008369B4 (de) * 2019-12-02 2022-04-28 Daimler Ag Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs
CN113466834A (zh) * 2020-03-12 2021-10-01 华为技术有限公司 一种激光雷达参数标定方法及装置
EP3907521A1 (en) * 2020-05-04 2021-11-10 Aptiv Technologies Limited Methods and systems for determining alignment parameters of a radar sensor
WO2022133872A1 (en) * 2020-12-24 2022-06-30 Huawei Technologies Co., Ltd. Collaborative environment sensing in wireless networks
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration
WO2022218795A1 (de) * 2021-04-12 2022-10-20 Conti Temic Microelectronic Gmbh Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem
US20230064232A1 (en) * 2021-08-27 2023-03-02 Motional Ad Llc Universal calibration targets and calibration spaces
FR3141535A1 (fr) * 2022-10-26 2024-05-03 Offroad système et méthode de construction d’une carte d’un environnement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339472A (zh) * 2010-12-03 2013-10-02 高通股份有限公司 用于gnss车辆导航的受惯性传感器辅助的航向和定位
GB2507560A (en) * 2012-11-05 2014-05-07 Univ Oxford Extrinsic calibration of mobile camera and lidar
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
CN106463049A (zh) * 2014-04-04 2017-02-22 飞利浦灯具控股公司 用来经由环境感知和传感器校准和验证支持自主车辆的系统和方法
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4608152B2 (ja) * 2000-09-12 2011-01-05 ソニー株式会社 三次元データ処理装置および三次元データ処理方法、並びにプログラム提供媒体
JP4017139B2 (ja) 2001-12-11 2007-12-05 富士フイルム株式会社 溶液製膜方法
JP2006214893A (ja) * 2005-02-04 2006-08-17 Iwate Univ 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
CN101331379B (zh) * 2005-12-16 2012-04-11 株式会社Ihi 自身位置辨认方法和装置以及三维形状的计测方法和装置
WO2010032495A1 (ja) * 2008-09-16 2010-03-25 株式会社アドイン研究所 樹木情報計測方法、樹木情報計測装置、プログラム
JP2013540985A (ja) * 2010-07-26 2013-11-07 コモンウェルス サイエンティフィック アンドインダストリアル リサーチ オーガナイゼーション 3次元走査ビーム・システムおよび方法
JP6442193B2 (ja) * 2014-08-26 2018-12-19 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103339472A (zh) * 2010-12-03 2013-10-02 高通股份有限公司 用于gnss车辆导航的受惯性传感器辅助的航向和定位
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
GB2507560A (en) * 2012-11-05 2014-05-07 Univ Oxford Extrinsic calibration of mobile camera and lidar
CN106463049A (zh) * 2014-04-04 2017-02-22 飞利浦灯具控股公司 用来经由环境感知和传感器校准和验证支持自主车辆的系统和方法
US9612123B1 (en) * 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114576790A (zh) * 2022-05-05 2022-06-03 湖南大学 一种空调控制装置及中央空调

Also Published As

Publication number Publication date
EP3665501A1 (en) 2020-06-17
JP7196156B2 (ja) 2022-12-26
CN111183370B (zh) 2023-12-15
CN117607841A (zh) 2024-02-27
JP2020530569A (ja) 2020-10-22
WO2019032588A1 (en) 2019-02-14
JP2023025266A (ja) 2023-02-21
JP7482978B2 (ja) 2024-05-14

Similar Documents

Publication Publication Date Title
US10983199B2 (en) Vehicle sensor calibration and localization
US11175132B2 (en) Sensor perturbation
CN111183370B (zh) 车辆传感器的校准和定位
US11034349B2 (en) Autonomous driving method and apparatus
CA3028659C (en) Systems and methods for identifying and positioning objects around a vehicle
JP7308855B2 (ja) センサー較正
CN109690623B (zh) 用于识别场景中的相机的姿势的系统和方法
US10916035B1 (en) Camera calibration using dense depth maps
EP3714285B1 (en) Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
US11460568B2 (en) Estimating in-plane velocity from an arbitrary radar return
US11860315B2 (en) Methods and systems for processing LIDAR sensor data
US11527028B2 (en) Systems and methods for monocular based object detection
US20220390607A1 (en) Collaborative estimation and correction of lidar boresight alignment error and host vehicle localization error
Parra-Tsunekawa et al. A kalman-filtering-based approach for improving terrain mapping in off-road autonomous vehicles
CN111402328B (zh) 一种基于激光里程计的位姿计算方法及装置
US10740962B2 (en) Method and apparatus for uncertainty modeling of point cloud
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
US12007228B2 (en) Sensor perturbation
US11851052B2 (en) Vehicle path verification
US20220404506A1 (en) Online validation of lidar-to-lidar alignment and lidar-to-vehicle alignment
US20240102824A1 (en) Moving object, control method of moving object, non-transitory computer-readable storage medium, and moving object control system
AU2017421870B2 (en) Systems and methods for identifying and positioning objects around a vehicle
CN116449356A (zh) 基于聚集的lidar数据对准
CN117557654A (zh) 外参标定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant