CN111902731B - 自动检测传感器校准误差 - Google Patents

自动检测传感器校准误差 Download PDF

Info

Publication number
CN111902731B
CN111902731B CN201980020703.1A CN201980020703A CN111902731B CN 111902731 B CN111902731 B CN 111902731B CN 201980020703 A CN201980020703 A CN 201980020703A CN 111902731 B CN111902731 B CN 111902731B
Authority
CN
China
Prior art keywords
sensor
data
determining
subset
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980020703.1A
Other languages
English (en)
Other versions
CN111902731A (zh
Inventor
D·普法伊费尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN111902731A publication Critical patent/CN111902731A/zh
Application granted granted Critical
Publication of CN111902731B publication Critical patent/CN111902731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

车辆控制系统包括各种传感器。该系统可以包括LIDAR、RADAR、SONAR、相机、麦克风、GPS和红外系统，用于监视和检测环境条件。在一些实施方式中，这些传感器中的一个或多个可能被错误校准。使用这些传感器收集的数据，该系统可以检测到错误校准的传感器，并生成一个或多个传感器被错误校准的指示。例如，可以处理由传感器捕获的数据以确定由传感器数据表示的平均高度，并将其与由其他传感器捕获的数据的平均高度进行比较。基于高度差，可以生成识别错误校准传感器的指示。

Description

自动检测传感器校准误差
相关申请的交叉引用
本专利申请要求于2018年3月21日提交的序列号为15/927,315的美国发明专利申请的优先权。该申请序列号为15/927,315的全部内容通过引用并入本申请。
背景技术
自动驾驶车辆系统可以使用传感器来捕获环境数据。在操作过程中或其他情况下，传感器可能会被错误校准。错误校准的传感器可能会捕获不准确的数据，而可能导致安全结果降低。另外，检测错误校准的传感器可能需要广泛的诊断，同时也要消耗大量的时间、成本和资源。
附图说明
参照附图进行详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记表示相似或相同的部件或特征。
图1是根据本公开的一些示例的示例性车辆的透视图，该示例性车辆包括捕获环境中的数据的示例性传感器以及校准网格。
图2描绘了在用于校准的分区中表示的捕获的传感器数据。
图3A描绘了具有安装到车辆的多个传感器的示例性车辆的侧视图。
图3B描绘了具有安装到车辆的多个传感器的示例性车辆的俯视图。
图4描绘了从多个传感器的各个传感器收集的区域数据，以表格的形式表示。
图5描绘了用于实现本文描述的技术的示例系统的框图。
图6描绘了用于检测错误校准的传感器的示例过程。
图7描绘了用于至少部分地基于LIDAR数据来命令自动驾驶车辆的示例过程。
具体实施方式
本公开描述了用于检测自动驾驶车辆的错误校准的传感器的技术。自动驾驶车辆可以包括多个传感器以捕获对应于车辆环境的数据。该系统可以使用LIDAR传感器来捕获环境中的数据，该数据对应于例如环境中的表面的高度值。在一些情况下，至少部分地基于图像数据、分割数据、分类数据或GPS数据或其任意组合，捕获的数据的一部分可以与地面相关联。可以使用校准网格将捕获的数据划分为多个分区以进行校准。
系统可以选择校准网格的单个分区，以用作比较对应于该分区的各种传感器数据的参考。例如，来自多个传感器的传感器数据可具有对应于分区的多个高度值(例如，对应于尺寸的值)。系统可以计算与多个传感器相关联的平均高度值。在某些情况下，可以将单个传感器的平均高度值与一组传感器的平均高度值进行比较，以确定多个传感器中的一个传感器是否被错误校准。
本文讨论的错误校准的传感器检测技术可以通过减少检测错误校准的传感器所需的计算资源量来改善计算设备的功能，同时保持检测的准确性。在某些情况下，减少计算中使用的数据量可以减少处理时间，减少内存使用量并维持检测错误校准的传感器的准确性。可以理解的是，保持检测错误校准的传感器的准确性可以提高安全效果，并在未检测到的情况下减少可能不准确的传感器数据的收集。此外，减少用于校准误差检测所需的数据量可以通过减少在计算设备与车辆之间传送的数据量来减少网络拥塞。本文讨论了对计算机功能的这些和其他改进。
本文描述的技术可以以多种方式来实现。下面参考以下附图提供示例实施方式。尽管在动驾驶车辆的环境中进行了讨论，但是本文描述的技术可以应用于需要在使用之前和/或使用期间对传感器进行校准的各种系统，并且不限于自动驾驶车辆。在另一个示例中，可以在航空或航海环境中利用这些方法、装置和系统。另外，本文描述的技术可以与真实数据(例如，使用传感器捕获)、模拟数据(例如，由模拟器生成)或两者的任意组合一起使用。
图1示出了自动车辆系统100的示例，该自动车辆系统100被配置为在区域102(例如，路面)上行驶，以例如将人和/或货物从第一位置运输到第二位置。为了说明的目的，系统100可以包括车辆104，其可以是被配置为根据美国国家公路交通安全管理局在2016年发布的5级分类进行操作的自动驾驶交通工具，该5级分类描述了一种能够在整个行程中执行所有安全关键功能的车辆，而驾驶员(或乘员)在任何时候都不希望控制该车辆。在该情况下，由于车辆104可被配置为控制从开始到停止的所有功能，包括所有停车功能，所以它可能未被占用。这仅是示例，并且本文所述的技术可以结合到任何地面车辆中，包括那些部分自主控制的车辆，这样，它们可以在某些驾驶条件下(例如，在有限访问的高速公路上操作时)在没有驾驶员注意或协助的情况下进行自主控制，但在其他驾驶条件下(例如，在市区的城市街道上操作时，或者至少在某些停车功能期间)需要驾驶员的注意和/或协助。如下所述，在某些情况下，当被占用时，系统100可以基于例如针对车辆中的一个或多个乘客的乘客的偏好来限制加速度。
图1所示的示例性车辆104是具有四个车轮106且每个车轮106各自具有轮胎108的车辆。可以设想其他类型和构造的车辆，例如货车、运动型多用途车、跨界车、卡车、公共汽车、农用车辆和建筑车辆。车辆104可以由一个或多个内燃机、一个或多个电池和电动机、氢燃料电池或其任何组合来提供动力。另外，尽管示例性车辆104具有四个车轮，但是本文描述的系统和方法可以结合到具有更少或更多数量的车轮、轮胎和/或履带的车辆中。示例性车辆104具有四轮转向，并且通常可以在所有方向上以相同的性能特性运行，例如，使得当在第一方向126上行驶时，车辆104的第一端110是车辆104的前端，而当在相反的第二方向128上行驶时，第一端110成为车辆104的后端，如图1所示。类似地，当在第二方向128上行驶时，车辆104的第二端112是车辆104的前端，而当在相反的第一方向126上行驶时，第二端112成为车辆104的后端。这些示例特性可以促进更大的可操作性，例如，在狭小空间或拥挤的环境中，例如停车场和市区。
图1中所示的示例性车辆104在其每一侧116上包括一个或多个门114，以便于乘员和货物进出车辆104的内部空间118。本文描述的系统和方法可以被结合到具有更少或更多个门的车辆中。图1所示的车辆104包括挡风玻璃120和顶板122，顶板122在车辆104的第一端110和第二端112之间基本上(例如，几乎全部)延伸。在一些示例中，车辆104可以不包括挡风玻璃。因为示例车辆104是5级自动驾驶车辆，所以不需要挡风玻璃。在一些示例中，车辆104可包括挡风玻璃120，无论车辆104是配置为自主驾驶还是由驾驶员手动控制。在一些示例中，顶板122的至少一部分可以包括一个或多个太阳能电池，其被配置为向车辆104供应电能，以为车辆104的一个或多个电动系统供电。
在图1所示的示例中，系统100可以包括安装在车辆104上的多个传感器124，其可以是RADAR传感器、LIDAR传感器、SONAR传感器、图像传感器、麦克风或其任意组合。车辆104还可以包括任何数量和类型的传感器，并且不限于所提供的示例。传感器124可以以预定的模式布置，例如，以便提供车辆104附近的区域102的期望覆盖区域。在一些示例中，如图所示，传感器124可以以能够在车辆104周围进行大约360度覆盖的模式布置。这可以使车辆104能够检测物体，而不管车辆104在哪个方向126、128上行驶。这还可以使系统100能够检测从车辆104的侧面接近的物体(例如，跑入街道的狗或其他动物)。可以设想传感器124的其他模式和布置。
如图1所示，传感器124可以安装到车辆104的一部分上，其提供车辆104周围的区域102的一部分的现场视线，并且传感器124的至少一部分指向行驶的方向。如图所示，每个示例性传感器124可被安装到接近挡风玻璃120的上边缘的顶板122的一部分或顶板122的顶部。传感器124可被安装在通常对应于挡风玻璃120的上边缘的位置。在传感器124安装在挡风玻璃内部的示例中，可以例如经由透镜或配置为校正数据的算法来校正由挡风玻璃导致的数据的任何失真。如果车辆104由于是双向的而包括两个挡风玻璃(例如示例车辆104)，则每个传感器124可以安装在通常对应于挡风玻璃120的上边缘的位置。
尽管所示的示例性传感器124被安装到顶板122，但是一个或多个传感器124可以被安装到车辆104的其他部分。例如，一个或多个传感器124可以例如在通常与常规汽车的保险杠的位置相对应的位置处安装至车辆104的第一和/或第二端110、112。根据一些示例，还可以安装传感器124以捕获每个轮胎108的路径中或车辆104的每一侧上的区域102的数据。
根据一些示例，例如，传感器124中的一个或多个可以以固定方式安装，使得从传感器124捕获的数据是从相对于车辆104的恒定方向130捕获的。在这样的示例中，数据将始终相对于车辆104在垂直和横向方向上从相同角度捕获。
根据一些示例，可以安装一个或多个传感器124，使得可以相对于车辆104在垂直和/或横向方向上改变传感器124的方向130。在其他示例中，一个或多个传感器124可以连续旋转或振荡，使得传感器的方向130不固定，并且可以相对于车辆104连续扫描区域102。
在一些示例中，传感器124可以被配置为旋转以便改变方向。例如，如果车辆104以更高的速度或基于某些环境条件行驶，则传感器124可以对准车辆104的前方以外更远的位置，从而使得车辆104有相对更多的时间来响应于由传感器124获得的数据。相反，如果车辆104以相对较慢的速度和/或在人口稠密或其他拥挤的区域中行驶，或基于其他环境条件以相对较慢的速度行驶，则传感器124可以对准更靠近车辆104的前部。在一些示例中，传感器124可以被安装成允许这些方向改变中的一个或多个。
在图1所示的示例中，系统100可以将区域102的一部分确定为地面132(例如，接近车辆104的区域，该区域近似为平面和/或位于与车辆平行的平面中)。例如，在某些情况下，数据分割技术可以帮助确定区域102的与地面132相关联的部分。系统100可以捕获数据、分割数据和/或将其他传感器数据与分割的数据相关联。分类器可以接收传感器数据以将数据的至少一部分分类为地面132。
在某些情况下，系统100可以使用GPS数据并将传感器数据与GPS数据相关联。使用GPS数据和传感器数据两者，系统100可以确定与环境的地面132相关联的区域。
在一些示例中，系统100可以假定紧邻车辆的区域102的部分是平面的并且平行于车辆，并且使用这样的部分作为地面132。
根据一些示例，系统100可以覆盖校准网格136或以其他方式将校准网格136关联到与地面132相关联的区域上。校准网格136可以将从一个或多个传感器接收的并且与地面132相关联的数据划分为一个或多个用于校准的分区138。用于校准的分区138可以包括或者可以与区域数据134相关联。区域数据134可以包括与分区相关联的传感器数据的一部分。尽管出于说明性目的在图1中描绘为存在于车辆104之前和之后，但是应当理解，这样的分区可以在车辆104附近的所有方向上延伸，并且不必一定是连续的。
图2示出了传感器数据200的一部分的示例图形表示。区域数据134可以包括多个数据点，其与地面132的一部分相关联的分区相关联。每组数据点202、204、206和208(例如，可以称为对于那些在获取数据时旋转的传感器的扫描)与传感器124关联，其中每个数据点指示例如高度值。因此，出于说明的目的，图2示出了来自四个不同传感器124(例如，传感器A、传感器B、传感器C和传感器D)的传感器数据。可以理解，区域数据134可以包括与任何数量的传感器相关联的传感器数据，并且不限于本文讨论的示例。
在某些情况下，系统100可以在检查与分区相关联的区域数据134之前选择分区。例如，系统100可以检查与分区相关联的数据点的最小数量。作为另一个示例，系统100可以检查与分区相关联的最小数量的传感器124(例如，具有与分区相关联的传感器数据和/或具有捕获分区的视场的多个传感器124)。作为又一个示例，系统100可以检查与与分区相关联的传感器124相关联的数据点的最小数量。换句话说，系统100可能需要每组202、204、206和208最少数量的数据点。因此，系统100可以选择一分区，然后对与该分区相关联的区域数据134执行各种检查。在一些情况下，可以在选择用于本文讨论的检测操作的分区之前执行一个或多个检查以确定数据的阈值量。
图3A描绘了示例性车辆304的侧视图300，该示例性车辆304具有安装至车辆304的多个传感器124。如侧视图300所示，车辆304可以包括任何数量的采用任何组合或构造的传感器124。例如，车辆304至少包括传感器124。在一些情况下，传感器124可以包括RADAR传感器、LIDAR传感器、SONAR传感器、图像传感器、麦克风或其任何组合。车辆304还可包括任何数量和类型的传感器，并且不限于所提供的示例。此外，如侧视图300所示，并且如上所述，传感器124可以安装为使得方向130相对于车辆304固定。根据一些示例，传感器124也可以安装为使得方向130可以相对于车辆304进行更改。在一些示例中，传感器124可以被配置为例如根据车辆速度或环境条件来改变方向130。在一些示例中，传感器124可以旋转和/或振荡，使得方向130不固定，并且可以相对于车辆304连续地扫描区域。
图3B描绘了示例性车辆304的顶视图302，其具有安装至车辆的多个传感器124。例如，传感器124可以在图3B中看到。传感器124例如可以位于同一位置或彼此相邻，但是可以包括具有各种视野的不同传感器类型或模态。如在本公开的上下文中可以理解的，车辆304可以包括任何数量和任何类型的传感器。如在本公开的上下文中可以理解的，安装位置和视野可以包括任何数量的配置。
图4描绘了由安装在车辆104上的传感器124捕获的一组数据的示例数据表400。例如，数据列402代表从各个传感器124(例如，传感器A、传感器B、传感器C和传感器D)收集的传感器数据。另外，例如，数据行404表示由传感器124收集的数据点和/或在地面(例如地面132)的假定平面上方的距离(例如，高度)。参照图2，集合202、204、206和208可以参考数据行404中的数据点。因此，出于示例目的，如图2的集合202、204、206和208所示，每个数据点406可以对应于单个传感器124，并且每个数据点406还可以对应于由传感器124测量的高度值。一组数据可以统称为区域数据134。
然后可以将区域数据134提供给计算设备408，以例如处理和/或分析区域数据134以检测与一个或多个传感器相关联的校准误差。
图5描绘了用于实现本文描述的技术的示例系统500的框图。在至少一个示例中，系统500可以包括车辆502，其可以是与以上参考图1、3A和3B描述的车辆104和304相同的车辆。
车辆502可包括车辆计算设备504、一个或多个传感器系统506、一个或多个发射器508、一个或多个通信连接510，至少一个直接连接512以及一个或多个驱动模块514。
车辆计算设备504可以包括一个或多个处理器516以及与该一个或多个处理器516通信地耦合的存储器518。在所示的示例中，车辆502是自动驾驶车辆；然而，车辆502可以是任何其他类型的车辆。在所示的示例中，车辆计算设备504的存储器518存储定位部件520、感知部件522、计划部件524、一个或多个系统控制器526以及检测器部件528。尽管出于说明性目的在图5中被描绘为驻留在存储器518中，但是可以预期，定位部件520、感知部件522、计划部件524、一个或多个系统控制器526以及检测器部件528可以附加地或替代地变为车辆502可访问(例如，远程存储)。
在至少一个示例中，定位部件520可以包括从传感器系统506接收数据以确定车辆502的位置的功能。例如，定位部件520可以包括和/或请求/接收环境的三维地图，并且可以连续地确定自动驾驶车辆在地图内的位置。在一些情况下，定位部件520可以使用SLAM(同时定位和映射)或CLAMS(同时进行校准、定位和映射)来接收图像数据、LIDAR数据、RADAR数据、SONAR数据、IMU数据、GPS数据、车轮编码器数据或其任意组合等以准确确定自动驾驶车辆的位置。在一些情况下，定位部件520可以向车辆502的各个部件提供数据，以确定用于生成候选轨迹的自动驾驶车辆的初始位置，如本文所讨论的。
在某些情况下，感知部件522可以包括执行对象检测、分割和/或分类的功能。在一些示例中，感知部件522可以提供处理后的传感器数据，该传感器数据指示存在于车辆502附近的实体和/或该实体作为实体类型的分类(例如，汽车、行人、骑自行车的人、建筑物、树木、路面、路缘、人行道、未知等)。在另外的和/或替代的示例中，感知部件522可以提供处理的传感器数据，其指示与检测到的实体和/或该实体所处的环境相关联的一个或多个特征。在一些示例中，与实体相关联的特征可以包括但不限于x位置(全球定位)、y位置(全球定位)、z位置(全球定位)、方向、实体类型(例如，分类)、实体的速度、实体的范围(大小)等。与环境关联的特征可以包括但不限于环境中另一个实体的存在、环境中另一个实体的状态、一天中的时间、一周中的一天、季节、天气状况、黑暗/明亮的指示等。
通常，计划部件524可以确定车辆502要遵循的行驶通过环境的路径。例如，计划部件524可以确定各种路线和轨迹以及各种细节水平。例如，计划部件524可以确定从第一位置(例如，当前位置)到第二位置(例如，目标位置)行进的路线。为了便于讨论，路线可以是在两个位置之间行驶的一系列航路点。作为非限制性示例，航路点包括街道、十字路口、全球定位系统(GPS)坐标等。此外，计划部件524可以生成指令，用于沿着从第一位置到第二位置的路线的至少一部分引导自动驾驶车辆。在至少一个示例中，计划部件524可以确定如何将自动驾驶车辆从航路点序列中的第一航路点引导到航路点序列中的第二航路点。在一些示例中，指令可以是轨迹或轨迹的一部分。在一些示例中，根据滚动时域技术，可以基本上同时(例如，在技术公差内)生成多个轨迹。可以选择具有最高置信水平的滚动时域中的多个轨迹的单个轨迹来操作车辆。
在至少一个示例中，车辆计算设备504可以包括一个或多个系统控制器526，其可以被配置为控制车辆502的转向、推进、制动、安全、发射器、通信和其他系统。这些系统控制器526可以与驱动模块514和/或车辆502的其他部件的相应系统通信和/或控制该驱动模块514和/或车辆502的其他部件的相应系统，这些系统可以被配置为根据从计划系统524提供的轨迹进行操作。
在某些情况下，检测器部件528可以包括执行对错误校准的传感器的检测的功能。在某些情况下，检测器部件528可以从系统控制器526接收数据以确定车辆502是否以特定速度行驶。在一些情况下，检测器部件528可以提供指示以控制车辆502以最大速度或最小速度行驶。在所示的示例中，检测器部件528包括地面部件530、区域部件532、仲裁(quorum)部件534、均值部件536、比较部件538和指示部件540。
在至少一个示例中，地面部件530可以包括确定与环境的地面相关联的区域的功能。例如，感知部件522在分割和/或分类之后，可以将传感器数据提供给地面部件530。在一些情况下，地面部件530可以使用由感知部件提供的数据来隔离与环境的地面相关联的数据。如上所述，地面部件530还可以基于例如系统500相对于已知地面的地图的位置，通过假设紧邻车辆的区域是平坦地面等来选择地面。
在某些情况下，区域部件532可以选择与环境的地面相关联的数据的一部分。例如，区域部件532可以覆盖校准网格以划分地面。然后，区域部件可以选择校准网格的一个分区以及相关数据，以进行进一步分析。在某些情况下，与地面相关联的数据可以包括由传感器124收集的数据，传感器124可以包括一个或多个RADAR传感器、LIDAR传感器、SONAR传感器、图像传感器(例如，立体图像传感器)、飞行时间(ToF)传感器或其任意组合，例如能够测量相对于表面的距离。在一些情况下，区域部件532可以包括基于潜在的感兴趣区域的平坦度来选择区域的功能(例如，结合下面讨论的比较部件538)。例如，区域部件可以比较单个传感器在潜在的感兴趣区域内捕获的高度值。在某些情况下，区域部件532可以确定最高高度值和最低高度值之间的差。在一些情况下，如果该差达到或超过阈值，则区域部件532可以拒绝潜在的感兴趣区域，因为出于校准误差检测的目的，该区域可能不是“平坦”区域。在某些情况下，区域部件532可以设置区域的大小。在一个示例中，尽管可以使用任何尺寸，但是区域可以在50厘米×50厘米的数量级上。
在至少一个示例中，仲裁部件534可以确定特定的一组数据满足仲裁条件。例如，仲裁部件534可以从区域部件532接收与校准网格的分区相关联的数据(例如，区域数据)。仲裁部件534然后可以例如确定与区域数据相关联的传感器的数量。如果与区域数据相关联的传感器的数量没有达到或超过传感器的阈值数量，则仲裁部件534可以提供未达到传感器仲裁的指示。另外，仲裁部件534可以分析与区域数据内的单个传感器相关联的数据集，并确定该数据集内的数据点的数量。仲裁部件534然后可以确定与区域数据内的单个传感器相关联的数据集不包含最小数量的数据点，并且还可以提供针对该特定传感器尚未满足数据点仲裁的指示。如果例如对于足够数量的传感器尚未满足数据点仲裁，则仲裁部件534可接着指示其也未满足传感器仲裁。
作为非限制性示例，仲裁部件534可以为两个、三个或任何数量的多个传感器设置阈值。在将阈值设置为三个传感器并且存在两组传感器数据的示例中，仲裁部件534可以指示未满足传感器仲裁。在这种情况下，不会确定任何校准误差检测。另外，作为示例，仲裁部件534可以在每个传感器十二个数据点处设置阈值数量的点(例如，数据点仲裁)，尽管可以使用任何数量的数据点。因此，在一组传感器数据包含十一个数据点的情况下，仲裁部件534可以指示尚未满足数据点仲裁。如果尚未满足数据点仲裁，则传感器数据将不会有助于传感器仲裁。因此，出于说明的目的，在三组传感器数据可用并且其中一组未满足数据点仲裁的情况下，如果仲裁部件534需要三组传感器数据，则也可能无法满足传感器仲裁。但是，如果有四组传感器数据可用，而其中一组不满足数据点仲裁，则如果仲裁部件534设置为使用三组传感器数据，则仍可以满足传感器仲裁。在这种情况下，可能会对具有足够数据进行分析的三个传感器进行校准误差检测。
均值部件536可以包括计算一组值的平均值的功能。例如，均值部件536可以从区域部件532接收数据。仅作为示例，数据可以表示高度测量值(例如，基于相关联的传感器数据确定的在地面上方或下方的距离)且均值部件536可以生成这些高度值的平均高度值。当然，该示例并不意味着是限制性的。作为另一个非限制性示例，可以针对与例如建筑物的墙壁等相关联的每个传感器数据确定在x方向或y方向上的偏移值。另外，均值部件536可以提供计算修整平均值的功能。当计算修整平均值时，均值部件536可以对高度值进行排序并修整(例如，排除、省略、忽略等)最低值的一部分、修整最高值的一部分或在计算修整平均值之前，修整最低值和最高值的一部分。均值部件536修整的量可以基于固定数量、百分比、标准偏差或基于认为足够的任何其他计算。在一些示例中，均值部件536可以存储平均值。在其他示例中，均值部件536可以将平均值传输到不同的部件，例如区域部件532或比较部件538。
比较部件538可以包括以下功能：比较值、计算差以及提供差是否达到或超过阈值的指示。例如，比较部件538可以从区域部件532接收数据。作为非限制性示例，比较部件538可以接收与传感器相关联的最低值和与传感器相关联的最高值。然后，比较部件532可以提供差是否达到或超过某个最大值的指示。出于说明目的，此指示可能表示传感器在非平坦表面上收集了数据。
作为另一示例，比较部件538可以从均值部件536或从区域部件532接收一个或多个值。在接收到这些值之后，比较部件538然后可以计算这些值之间的差。基于该差，比较部件538可以被配置为提供关于该差是否达到或超过阈值的指示。仅出于说明性目的，比较部件538可以接收由第一传感器捕获的一数据集的平均值(例如，平均值或修整平均值)。然后，比较部件538可以接收两个平均值(例如，第二传感器捕获的第二数据集的平均值和第三传感器捕获的第三数据集的平均值)。然后，比较部件538可以计算与第一传感器相关联的平均值与这些平均值的平均值之间的差，其中这些平均值与第二传感器和第三传感器相关联。在其他情况下，比较部件538可以接收由第一传感器捕获的一数据集的一个平均值和针对由第二传感器捕获的不同数据集的另一个平均值。然后，比较部件可以例如指示该差达到或超过阈值。该阈值可以基于固定值、百分比、标准偏差、或基于认为足够的任何其他计算。在一些示例中，在使用三个以上传感器的情况下，可以使用类似的技术，其中将来自一个传感器的传感器数据的平均值与其余传感器的这些平均值的平均值进行比较。这样的比较通常可以被称为“一个对其余(one-vs-rest)”比较。
下面给出了检测错误校准的传感器的操作示例。在此示例中，区域包括由四个传感器(传感器A，传感器B，传感器C和传感器D)捕获的数据。首先(如上所述)，将传感器的数量与传感器的阈值数量进行比较，在此示例中，可能是三个传感器。另外，可以将每个传感器捕获的数据点数量与每个传感器的阈值数据点数量进行比较。接下来，可以由均值部件536确定由每个单独的传感器捕获的数据的平均高度。在一些情况下，可以使用修整的平均值，如本文所讨论的。因此，这些操作可以包括生成由传感器A捕获的数据的平均高度(例如，称为“avg_A”)。传感器B，C和D的平均值可以分别确定为“avg_B”，“avg_C”和“avg_D”。从传感器A开始，可以将传感器A捕获的数据的平均高度(“avg_A”)与基于传感器B，传感器C和传感器D的平均值的平均高度值进行比较。即，该操作可以包括确定avg_B，avg_C和avg_D的平均值(例如，称为“avg_BCD”)以及确定avg_A与avg BCD之间的差。如果该差达到或超过阈值，则可产生指示，表明传感器A可能被错误校准。可以针对传感器B，传感器C和传感器D执行这些操作，以检测其他传感器是否也被错误校准。
指示部件540可以包括确定一传感器或一组传感器是否不可以用作为参考的功能。下面给出用于确定一传感器或一组传感器是否不可以用作为参考的操作的示例。在该示例中，系统500可以选择传感器A以进行测试。使用均值部件536，系统可以使用传感器B和传感器C的平均值(例如，称为“avg_B”和“avg_C”)。使用比较部件538，系统500可以确定avg_B和avg_C之间的差达到或超过阈值，并且确定avg_B和avg_C不能用作为传感器A的参考。因此，指示部件540可以提供测试不应该完成的指示。
在其他示例中，指示部件540可以使用记录的数据来确定传感器是否被错误校准。仅出于说明目的，系统500可以在一段时间内存储和跟踪传感器被测试的次数，确定传感器被错误校准的次数以及确定传感器未被错误校准的次数。因此，系统500可以分析记录的数据并确定例如质量得分。该质量得分可以指示基于传感器未被错误校准的指示次数和传感器被测试的次数的百分比。系统500还可以分析记录的数据并确定例如测试率或指示率。测试率可以指示基于传感器被测试的次数以及系统500针对特定传感器执行的测试的总数的百分比。当系统500完成一个或多个驱动时，这样的指示部件540可以合并来自随机选择的地面的数据。
下面讨论确定测试率的示例。如上所述，测试率可以是相对于针对特定传感器发起的测试次数的测试完成次数的量度。在平均值的“一对其余”比较中，这些操作可以包括检查以确定“其余”的平均值是否是可靠的基线测量。举例来说，但不限于，系统500可以接收由三个传感器，传感器A、传感器B和传感器C捕获的数据，尽管可以接收来自任何数量的传感器的数据。如本文所述，在传感器A的测试中，可以将由传感器A捕获的数据的平均值(例如，“一个”的平均值)与由传感器B和传感器C捕获的数据的平均值(例如，“其余”的平均值)进行比较。在某些情况下，在确定“其余”平均值之前，可以将传感器B和传感器C的各个平均值进行比较，以确定数据变化是否超过阈值。也就是说，如果传感器B的平均值与传感器C的平均值之差达到或超过阈值，则可能无法执行测试(例如，由于传感器B和传感器C的平均值不一致，它们可能无法提供“其余”的可靠值)。因此，这样的测试可以被认为是失败的测试(例如，未完成)。在这种情况下，传感器A的已启动测试的数量将增加1，但完成的测试的数量将不会增加。因此，随着时间的流逝，测试率可以提供关于与传感器A具有共同可见性的传感器(例如，至少部分重叠的视场)是否可能被错误校准的见解。在某些情况下，可以将测试率确定为百分比，尽管可以将测试率设置为分数或其他统计表示形式。
另外，系统500可以通过针对多个完成的测试将多个测试进行比较而得出质量得分，该多个测试导致相对于完成的测试数量没有校准误差的指示。如果质量得分未达到或超过阈值，则可产生传感器A被错误校准的指示。可以针对传感器B，传感器C等执行这些操作，以检测其他传感器是否也被错误校准。
在某些情况下，系统500可以提供使用单个测试以指示警告传感器可能被错误校准的功能。例如，系统500可以在指示部件540确定传感器A被错误校准之后生成警告：传感器A被错误校准。在其他情况下，系统500可以使用阈值数量的测试来指示传感器可能被错误校准的警告。另外，在其他情况下，系统500可以使用阈值数量的测试来指示传感器可能被错误校准的错误。例如，系统500可以使用如上所述的质量得分来指示传感器可能被错误校准的错误。系统500还可以例如通过使用以上讨论的测试率，以指示警告或错误，表明传感器可能被错误校准。系统500还可以使用单个测试、测试的阈值数量、质量得分和/或测试率的组合来指示警告和/或传感器可能被错误校准的错误。
在一些情况下，系统500可以至少部分地基于传感器被错误校准的指示来禁用传感器。
在一些示例中，检测器部件528可以被存储在经由网络542可访问的远程计算设备(诸如，计算设备544)上。
在至少一个示例中，传感器系统506可以包括LIDAR传感器，RADAR传感器，超声换能器，SONAR传感器，位置传感器(例如，GPS，指南针等)，惯性传感器(例如，惯性测量单元(IMU))，加速度计，磁力计，陀螺仪等)，相机(例如RGB，IR，强度，深度等)，麦克风，车轮编码器，环境传感器(例如温度传感器，湿度传感器，光传感器，压力传感器等)等。传感器系统506可以包括这些或其他类型的传感器中的每一个的多个实例。例如，LIDAR传感器可以包括位于车辆502的角部，前，后，侧面和/或顶部的单独的LIDAR传感器。作为另一个示例，相机传感器可以包括多个相机，这些相机设置在车辆502的外部和/或内部周围的各个位置。传感器系统506可以向车辆计算设备504提供输入。另外和/或可选地，在经过预定时间段之后，接近实时等，传感器系统506可以经由一个或多个网络542以特定的频率将传感器数据发送到一个或多个计算设备544。
如上所述，车辆502还可包括一个或多个用于发射光和/或声音的发射器508。在该示例中，发射器508包括内部音频和视觉发射器，以与车辆502的乘客进行通信。作为示例而非限制，内部发射器可以包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械执行器(例如，安全带拉紧器、座椅定位器、头枕定位器等)等。在该示例中，发射器508还包括外部发射器。作为示例而非限制，在此示例中，外部发射器包括用于发出行驶方向信号的信号灯或车辆动作的其他指示器(例如，指示灯、标志、灯阵列等)，以及一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)以与行人或其他附近的车辆可听地通信，其中的一个或多个可以包括声束转向技术。
车辆502还可包括一个或多个通信连接510，其使得能够在车辆502与一个或多个其他本地或远程计算设备之间进行通信。例如，一个或多个通信连接510可以实现与车辆502和/或驱动模块514上的其他本地计算设备的通信。另外，通信连接510可以允许车辆与其他附近的计算设备(例如，其他附近的车辆，交通信号等)通信。通信连接510也使车辆502能够与远程遥远操作计算设备或其他远程服务通信。
通信连接510可以包括用于将车辆计算设备504连接到另一计算设备或网络(诸如网络542)的物理和/或逻辑接口。例如，通信连接510可以启用基于Wi-Fi的通信，诸如经由IEEE 802.11标准定义的频率，诸如蓝牙的短程无线频率，蜂窝通信(例如2G，3G，4G，4GLTE，5G等)或使相应计算设备能够与其他计算设备对接的任何合适的有线或无线通信协议。
在至少一个示例中，车辆502可以包括一个或多个驱动模块514。在一些示例中，车辆502可以具有单个驱动模块514。在至少一个示例中，如果车辆502具有多个驱动模块514，则单个驱动模块514可以定位在车辆502的相对端(例如，前部和后部等)上。在至少一个示例中，驱动模块514可以包括一个或多个传感器系统，以检测驱动模块514和/或车辆502的周围环境的状况。作为示例而非限制，传感器系统可以包括一个或多个用于感测驱动模块的车轮的旋转的车轮编码器(例如，旋转编码器)、用于测量驱动模块的方向和加速度的惯性传感器(例如，惯性测量单元，加速度计，陀螺仪，磁力计等)、相机或其他图像传感器、用于以声学方式检测驱动模块周围环境中的物体的超声波传感器、LIDAR传感器、RADAR传感器等。一些传感器，例如车轮编码器，对于驱动模块514而言可以是唯一的。在一些情况下，驱动模块514上的传感器系统可以与车辆502的相应系统(例如，传感器系统506)重叠或补充。
驱动模块514可以包括许多车辆系统，该车辆系统包括高压电池、用于驱动车辆的电动机、将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器、转向系统，其包括转向电动机和转向齿条(可以是电动的)、制动系统，其包括液压或电动执行器、悬架系统，其包括液压和/或气动部件、用于分配制动力以减轻牵引力损失并保持控制的稳定性控制系统、HVAC系统、照明设备(例如，用于照明车辆的周围外部环境的例如前照灯/尾灯等车辆的照明设备)以及一个或多个其他系统(例如，冷却系统、安全系统、车载充电系统、其他电气部件，例如DC/DC转换器、高压结、高压电缆、充电系统、充电端口等)。另外，驱动模块514可以包括驱动模块控制器，该驱动模块控制器可以接收和预处理来自传感器系统的数据并控制各种车辆系统的操作。在一些示例中，驱动模块控制器可以包括一个或多个处理器以及与该一个或多个处理器通信耦合的存储器。存储器可以存储一个或多个模块以执行驱动模块514的各种功能。此外，驱动模块514还包括一个或多个通信连接，该通信连接使得各个驱动模块能够与一个或多个其他本地或远程计算设备通信。
在至少一个示例中，定位部件520，感知部件522和/或计划部件524可以如上所述处理传感器数据，并且可以通过一个或多个网络542将它们各自的输出发送至一个或多个计算设备544。在至少一个示例中，定位部件520，感知部件522，计划部件524和/或检测器部件528可以在经过预定时间段之后，以接近实时等的方式，以特定的频率将它们各自的输出发送到一个或多个计算设备544。
车辆502可以经由网络542将传感器数据发送到一个或多个计算设备544。在一些示例中，车辆502可以将原始传感器数据发送到计算设备544。在其他示例中，车辆502可以将处理后的传感器数据和/或传感器数据的表示发送到计算设备544。在一些示例中，在经过预定时间段之后，以接近实时等的方式，车辆502可以特定频率将传感器数据发送到计算设备544。在一些情况下，车辆502可以将传感器数据(原始的或已处理的)作为一个或多个日志文件发送到计算设备544。
计算设备544可以接收(原始或处理的)传感器数据，并且可以基于传感器数据生成和/或更新地图。此外，计算设备544可以分析接收到的传感器数据以确定车辆502的一个或多个传感器是否被错误校准。在至少一个示例中，计算设备544可以包括一个或多个处理器546和与一个或多个处理器546通信耦合的存储器548。在所示的示例中，计算设备544的存储器548存储检测器部件550，该检测器部件550包括地面部件552、区域部件554、仲裁部件556、均值部件558、比较部件560和指示部件562。
通常，检测器部件550可以从一个或多个车辆(例如车辆502)接收数据，并且可以检测错误校准的传感器。可以理解，检测器部件550和其中包括的部件可以在结合检测器部件528讨论的功能上相对应。
车辆502的处理器516和计算设备544的处理器546可以是能够执行指令以处理数据并执行本文所述的操作的任何合适的处理器。作为示例而非限制，处理器516和546可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或处理电子数据以进行变换的任何其他设备或设备的一部分，其将该电子数据转换为可以存储在寄存器和/或存储器中的其他电子数据。在一些示例中，只要将集成电路(例如，ASIC等)、门阵列(例如，FPGA等)和其他硬件设备配置为实现编码指令，就可以将它们视为处理器。
存储器518和存储器548是非暂时性计算机可读介质的示例。存储器518和存储器548可以存储操作系统和一个或多个软件应用程序、指令、程序和/或数据，以实现本文描述的方法和归因于各种系统的功能。在各种实施方式中，可以使用任何适当的存储技术来实现该存储器，例如静态随机存取存储器(SRAM)，同步动态RAM(SDRAM)，非易失性/闪存类型的存储器或能够存储信息的任何其他类型的存储器。本文描述的体系结构、系统和单个元件可以包括许多其他逻辑、编程和物理组件，附图中示出的那些仅仅是与本文的讨论有关的示例。
应当注意，虽然图5被示为分布式系统，但是在替代示例中，车辆502的部件可以与计算设备544相关联和/或计算设备544的部件可以与车辆502相关联。即，车辆502可执行与计算设备544相关联的一个或多个功能，反之亦然。
图6描绘了如本文所讨论的用于确定错误校准的传感器的示例过程。举例来说，如本文中所描述，过程600的一些或全部可由图5中的一个或多个部件执行。例如，过程600的一些或全部可以由检测器部件528、550执行。
在操作602，该过程可以包括捕获环境的传感器数据。在某些情况下，传感器数据可以由传感器系统506捕获。
在操作604，该过程可以包括确定与环境的地面相关联的区域。在某些情况下，地面部件530、552可以确定与地面相关联的区域。在其他情况下，定位部件520和/或感知部件522可以提供可以确定与地面相关联的区域的分割和分类数据。在其他情况下，车辆502可以经由一个或多个网络542接收分割和分类数据，该分割和分类数据可以确定与地面相关联的区域。附加地或可替代地，可以通过例如相对于车辆的地图中指示为已知地面的位置，通过近似靠近车辆(和/或车辆在其上行驶)的区域为地面等来识别这样的区域。
在操作606，该过程可以包括将与该区域相关联的传感器数据的子集确定为区域数据。在某些情况下，区域数据可以指示可以与一个或多个传感器相关联的一个或多个数据点。在一些情况下，操作606可以使用校准网格将与地面相关联的区域划分为多个用于校准的分区。然后，在某些情况下，操作606可以选择单个分区并确定与该分区相关联的区域数据。
在操作608，该过程可以包括执行对与区域数据相关联的足够数据的检查。在某些情况下，区域数据可能没有与区域数据相关联的足够的传感器。在其他情况下，区域数据可能没有与特定传感器关联的足够的数据点。在某些情况下，区域数据可能不与平坦表面相关联，因此可能包含不足的数据。在区域数据包含不足数据的一些情况下，过程600可以返回操作606，以将与该区域相关联的传感器数据的子集确定为不同的区域数据。在区域数据包含足够数据的一些情况下，过程600可以进行到操作610。在一些情况下，操作608可以丢弃数据的一部分和/或移除被测试以进行校准误差的一个或多个传感器(例如，如果单个传感器未达到或超过阈值点数)。
在操作610，该过程可以包括识别待测试的传感器。在某些情况下，识别待测试的传感器包括识别与区域数据相关联的传感器。
在操作612，该过程可以包括确定第一平均高度。在某些情况下，第一平均高度可以与被识别为待测试的传感器相关联。在一些情况下，第一平均高度可以确定为修整平均值，如本文所讨论的。
在操作614，该过程可以包括确定第二平均高度。在某些情况下，第二平均高度可以与待测试的一个或多个参考传感器相关联。在一个或多个参考传感器包括至少两个传感器的情况下，操作614可以包括确定由第一参考传感器捕获的传感器数据的平均高度是否在由第二参考传感器捕获的传感器数据的平均高度的阈值内。即，操作614可以包括内部检查，以确保由参考传感器捕获的数据适合于检测错误校准的传感器。
在“一个对其余”比较的示例中，操作612可以指的是确定“一个”的平均值，而操作614可以指的是确定“其余”的平均值。
操作612和614可以并行或顺序发生。另外，操作612和614可以顺序发生，其中612首先发生或614首先发生。
在操作616，该过程可以包括确定第一平均高度和第二平均高度之间的差。
在操作618，该过程可以包括确定该差是否达到或超过阈值高度值。在某些情况下，该差将达到或超过阈值高度值，然后进行到操作620。在其他情况下，该差可能不会达到或超过阈值高度值，则该过程可以进行到操作622。
在操作620，该过程可以包括生成一个或多个传感器中的至少一个被错误校准的指示。如本文所讨论的，该指示可以表示警告或错误。另外，如本文所讨论的，该指示可以基于单个测试或多个测试，并且可以基于所存储的测试结果数据和对所存储的测试结果数据的分析。
在操作622，该过程可以执行检查是否针对特定区域数据集测试了所有传感器。在某些情况下，如果尚未测试所有传感器，则过程可以返回操作610。在其他情况下，如果所有传感器都已经测试，则过程可以返回操作606以选择另一组区域数据。此外，在一些情况下，如果在操作622中已经测试了所有传感器，则过程可以返回到操作602以捕获或接收环境的更多传感器数据。
如图7所示，图7描绘了用于至少部分地基于传感器数据(例如，LIDAR数据)的位置来命令自动驾驶车辆的示例过程700。举例来说，如本文中所描述，过程700中的一些或全部可由图5中的一个或多个部件执行。例如，过程700中的一些或全部可以由车辆502的一个或多个部件执行。
在操作702，该过程可以包括接收由自动驾驶车辆捕获的传感器数据。在一些情况下，车辆502可以接收传感器数据，以确定与环境的地面相关联的区域。
在操作704，该过程可以包括至少部分地基于传感器数据，生成用于自动驾驶车辆的轨迹。
在操作706，该过程可以包括命令自动驾驶车辆跟随该轨迹。在一些情况下，操作706可以包括生成给自动驾驶车辆的一个或多个系统的路线，轨迹和/或控制信号，以在环境内导航该自动驾驶车辆。
示例条款
A.一种检测错误校准的传感器的方法，所述方法包括：使用围绕自动驾驶车辆设置的多个传感器捕获环境的传感器数据，所述传感器数据包括与第一光检测和测距(LIDAR)传感器相关联的第一光LIDAR数据、与第二LIDAR传感器相关联的第二LIDAR数据以及与第三LIDAR传感器相关联的第三LIDAR数据；确定与所述环境的地面相关联的区域；确定与所述区域相关联的传感器数据的数据子集作为区域数据；确定所述区域数据对应于平坦表面；确定所述区域数据的第一子集的第一平均高度，所述第一子集包括与所述第一LIDAR数据相关联的第一数据；确定所述区域数据的第二子集的第二平均高度，所述第二子集包括与所述第二LIDAR数据和所述第三LIDAR数据相关联的第二数据；确定所述第一平均高度和所述第二平均高度之间的差；确定所述差达到或超过阈值高度值；以及生成传感器被错误校准的指示。
B:段落A所述的方法，还包括：至少部分地基于所述指示，确定所述第一LIDAR传感器被错误校准；至少部分地基于所述第二LIDAR数据和所述第三LIDAR数据生成轨迹；以及至少部分地基于所述轨迹控制自动驾驶车辆。
C:段落A或B所述的方法，还包括：接收与所述传感器数据相关联的分割信息；以及至少部分地基于所述分割信息，确定所述区域与所述环境的地面相关联。
D:段落A至C中任一项所述的方法，还包括：确定所述第一子集达到或超过阈值数量数据值。
E:段落A至D中任一项所述的方法，还包括：确定所述区域数据的第三子集的第三平均高度，所述第三子集包括与所述第二LIDAR数据相关联的第三数据；确定所述区域数据的第四子集的第四平均高度，所述第四子集包括所述第一LIDAR数据和所述第三LIDAR数据；确定所述第三平均高度和所述第四平均高度之间的第二差；以及确定所述第二差达到或超过所述阈值高度值；以及生成第二传感器被错误校准的第二指示。
F:一种系统，包括：一个或多个处理器；以及一种或多种计算机可读介质，其存储可由所述一个或多个处理器执行的指令，其中执行所述指令使得所述系统：从围绕车辆设置的多个传感器接收环境的传感器数据；确定所述传感器数据的数据子集作为区域数据；确定所述区域数据的第一子集的第一平均值，所述第一子集由所述多个传感器中的第一传感器捕获；确定所述区域数据的第二子集的第二平均值，所述第二子集由所述多个传感器中的至少第二传感器和第三传感器捕获；确定所述第一平均值与所述第二平均值之间的差；确定所述差达到或超过阈值；以及生成所述第一传感器被错误校准的指示。
G:段落F所述的系统，其中，所述多个传感器是多个光检测和测距(LIDAR)传感器。
H:段落F或G所述的系统，其中，所述传感器数据表示由三个或更多传感器捕获的数据。
I:段落F至H中任一项所述的系统，其中，当所述指令被执行时，进一步使所述系统：确定所述区域数据的第三子集的第三平均值，所述第三子集由所述第二传感器捕获；确定所述区域数据的第四子集的第四平均值，所述第四子集由所述第一传感器和第三传感器捕获；确定所述第三平均值与所述第四平均值之间的第二差；以及确定所述第二差达到或超过所述阈值；以及生成所述第二传感器被错误校准的第二指示。
J:段落F至I中任一项所述的系统，其中，所述指令进一步使所述系统：为所述区域数据的第一子集确定最高值；为所述区域数据的第一子集确定最低值；确定所述最高值和最低值之间的值差；确定所述值差小于或等于阈值；以及至少部分地基于达到或超过所述阈值的所述值差，确定所述区域数据对应于平坦表面。
K:段落F至J中任一项所述的系统，其中，所述指令进一步使所述系统：接收与所述传感器数据相关联的分割信息；以及至少部分地基于所述分割信息，确定所述区域数据对应于地面。
L:段落F至K中任一项所述的系统，其中，当所述指令被执行时，进一步使所述系统：确定所述区域数据的第一子集达到或超过阈值数量的数据值。
M:段落F至L中任一项所述的系统，其中，所述车辆是自动驾驶车辆，并且其中，当所述指令被执行时，进一步使所述系统：至少部分地基于所述指示，确定所述第一传感器被错误校准；至少部分地基于所述第二传感器和所述第三传感器，生成被配置为使所述自动驾驶车辆沿轨迹行驶的信号；以及将所述信号传输到所述自动驾驶汽车。
N:段落F至M中任一项所述的系统，其中，当所述指令被执行时，进一步使所述系统：增加尝试测试次数的计数；确定与所述第二传感器相关联的数据的第二传感器平均值；确定与所述第三传感器相关联的数据的第三传感器平均值；确定所述第二传感器平均值和所述第三传感器平均值之间的传感器平均值差；确定所述传感器平均值差不超过所述阈值；以及增加成功执行测试次数的计数。
O:段落N所述的系统，其中，所述指令进一步使系统：生成与所述多个传感器中的一个传感器相关联的质量得分，其中，所述质量得分表示成功执行的测试数量与尝试的测试数量之比。
P:一种非暂时性计算机可读介质，其存储指令，当所述指令被执行时使一个或多个处理器执行以下操作，包括：使用车辆的多个传感器捕获环境的传感器数据；确定传感器数据的数据子集作为区域数据；确定所述区域数据的第一子集的第一平均值，所述第一子集与所述多个传感器中的第一传感器相关联；确定所述区域数据的第二子集的第二平均值，所述第二子集与所述多个传感器中的第二传感器相关联；确定所述第一平均值与所述第二平均值之间的差达到或超过阈值；以及生成指示多个传感器中的一个传感器被错误校准的指示。
Q:段落P所述的非暂时性计算机可读存储介质，其中，所述操作还包括：生成测试率，所述测试率指示确定所述差的次数；以及生成成功率，所述成功率指示所述差小于或等于所述阈值的次数。
R:段落P或Q所述的非暂时性计算机可读存储介质，其中，所述操作还包括：至少部分地基于所述指示，禁用所述多个传感器中的一传感器，其中，禁用一传感器包括：指示所述多个传感器的子集作为主动(active)传感器。
S:段落R所述的非暂时性计算机可读存储介质，其中，所述操作还包括：至少部分地基于从一个或多个主动传感器捕获的传感器数据，生成被配置为使自动驾驶车辆沿轨迹行驶的信号；以及将所述信号传输至自动驾驶车辆。
T:段落P至S中任一项所述的非暂时性计算机可读存储介质，其中，操作还包括：确定用于所述区域数据的第一子集的最高值；确定用于所述区域数据的第一子集的最低值；确定所述最高值和所述最低值之间的值差；确定所述值差小于或等于阈值；以及至少部分地基于所述值差，确定所述区域数据对应于平坦表面。
尽管针对一个特定实现描述了上述示例条款，但应理解，在本文档的上下文中，示例条款的内容也可以通过方法、设备、系统和/或计算机可读介质来实现。
结论
尽管已经描述了本文描述的技术的一个或多个示例，但是其各种改变，添加，置换和等同物都包括在本文描述的技术的范围内。
在示例的描述中，参考形成其一部分的附图，其通过说明的方式示出了所要求保护的主题的特定示例。应该理解，可以使用其他示例，并且可以进行诸如结构改变的改变或替换。这样的示例，改变或变更不必偏离相对于预期的所要求保护的主题的范围。尽管此处的步骤可以按一定顺序显示，但在某些情况下，可以更改顺序，以便在不更改所描述系统和方法功能的情况下，可以在不同时间或以不同顺序提供某些输入。所公开的过程也可以以不同的顺序执行。另外，这里不需要以所公开的顺序执行各种计算，并且可以容易地实现使用替代的计算顺序的其他示例。除了重新排序外，这些计算还可以分解为具有相同结果的子计算。

Claims (55)

1.一种用于检测错误校准的传感器的方法，所述方法包括：
使用多个传感器捕获环境的传感器数据，所述传感器数据包括与第一光检测和测距(LIDAR)传感器相关联的第一LIDAR数据、与第二LIDAR传感器相关联的第二LIDAR数据、以及与第三LIDAR传感器相关联的第三LIDAR数据；
确定与所述环境的地面相关联的区域；
确定与所述区域相关联的传感器数据的数据子集作为区域数据；
确定所述区域数据对应于平坦表面；
确定所述区域数据的第一子集的第一平均高度，所述第一子集包括与所述第一LIDAR数据相关联的第一数据；
确定所述区域数据的第二子集的第二平均高度，所述第二子集包括与所述第二LIDAR数据和所述第三LIDAR数据相关联的第二数据；
确定所述第一平均高度和所述第二平均高度之间的差；
确定所述差达到或超过阈值高度值；以及
生成传感器被错误校准的指示。
2.根据权利要求1所述的方法，还包括：
至少部分地基于所述指示，确定所述第一LIDAR传感器被错误校准；
至少部分地基于所述第二LIDAR数据和所述第三LIDAR数据，生成轨迹；以及
至少部分地基于所述轨迹，控制自动驾驶车辆。
3.根据权利要求1所述的方法，还包括：
接收与所述传感器数据相关联的分割信息；以及
至少部分地基于所述分割信息，确定所述区域与所述环境的地面相关联。
4.根据权利要求1至3中任一项所述的方法，还包括：
确定所述区域数据的第三子集的第三平均高度，所述第三子集包括与所述第二LIDAR数据相关联的第三数据；
确定所述区域数据的第四子集的第四平均高度，所述第四子集包括所述第一LIDAR数据和所述第三LIDAR数据；
确定所述第三平均高度和所述第四平均高度之间的第二差；以及
确定所述第二差达到或超过所述阈值高度值；以及
生成第二传感器被错误校准的第二指示。
5.一种非暂时性计算机可读介质，其存储指令，当所述指令被执行时使一个或多个处理器实现根据权利要求1至4中任一项所述的方法。
6.一种用于检测错误校准的传感器的系统，所述系统包括：
一个或多个处理器；以及
一个或多个计算机可读介质，其存储可由所述一个或多个处理器执行的指令，其中执行所述指令使得所述系统：
从多个传感器接收环境的传感器数据；
确定所述传感器数据的数据子集作为区域数据；
确定所述区域数据的第一子集的第一平均值，所述第一子集由所述多个传感器中的第一传感器捕获；
确定所述区域数据的第二子集的第二平均值，所述第二子集由所述多个传感器中的至少第二传感器和第三传感器捕获；
确定所述第一平均值与所述第二平均值之间的差；
确定所述差达到或超过阈值；以及
生成所述第一传感器被错误校准的指示。
7.根据权利要求6所述的系统，其中，当所述指令被执行时，进一步使所述系统：
生成与所述多个传感器中的传感器相关联的质量得分，其中，所述质量得分表示成功执行的测试数量与尝试的测试数量之比。
8.根据权利要求7所述的系统，其中，当所述指令被执行时，进一步使所述系统：
将所述多个传感器的子集指示为主动传感器；以及
基于所述第一传感器被错误校准的指示、所述质量得分、或被指示为主动的所述多个传感器的子集中的一个或多个，控制自动驾驶车辆。
9.根据权利要求6或7中任一项所述的系统，其中，当所述指令被执行时，进一步使所述系统：
确定所述区域数据的第三子集的第三平均值，所述第三子集由所述第二传感器捕获；
确定所述区域数据的第四子集的第四平均值，所述第四子集由所述第一传感器和第三传感器捕获；
确定所述第三平均值与所述第四平均值之间的第二差；以及
确定所述第二差达到或超过所述阈值；以及
生成所述第二传感器被错误校准的第二指示。
10.根据权利要求6或7中任一项所述的系统，其中，所述指令进一步使所述系统：
为所述区域数据的所述第一子集确定最高值；
为所述区域数据的所述第一子集确定最低值；
确定所述最高值和最低值之间的值差；
确定所述值差小于或等于所述阈值；以及
至少部分地基于所述值差达到或超过所述阈值，确定所述区域数据对应于平坦表面。
11.根据权利要求6或7中任一项所述的系统，其中，所述指令进一步使所述系统：
接收与所述传感器数据相关联的分割信息；以及
至少部分地基于所述分割信息，确定所述区域数据对应于地面。
12.根据权利要求6或7中任一项所述的系统，其中，当所述指令被执行时，进一步使所述系统：
确定所述区域数据的第一子集达到或超过阈值数量的数据值。
13.根据权利要求6或7中任一项所述的系统，其中，所述多个传感器在自动驾驶车辆上，并且其中，当所述指令被执行时，进一步使所述系统：
至少部分地基于所述指示，确定所述第一传感器被错误校准；
至少部分地基于所述第二传感器和所述第三传感器，生成被配置为使所述自动驾驶车辆沿轨迹行驶的信号；以及
将所述信号传输到所述自动驾驶车辆。
14.根据权利要求6或7中任一项所述的系统，其中，当所述指令被执行时，进一步使所述系统：
增加尝试的测试数量的第一计数；
确定与所述第二传感器相关联的数据的第二传感器平均值；
确定与所述第三传感器相关联的数据的第三传感器平均值；
确定所述第二传感器平均值和所述第三传感器平均值之间的传感器平均值差；
确定所述传感器平均值差不超过所述阈值；以及
增加成功执行的测试数量的第二计数。
15.根据权利要求6或7中任一项所述的系统，其中，当所述指令被执行时，进一步使所述系统：
生成测试率，所述测试率指示确定所述差的第一次数；以及
生成成功率，所述成功率指示所述差小于或等于所述阈值的第二次数。
16.一种用于检测错误校准的传感器的方法，所述方法包括：
使用围绕自动驾驶车辆设置的多个传感器来捕获环境的传感器数据，所述传感器数据包括与第一光检测和测距(LIDAR)传感器相关联的第一LIDAR数据、与第二LIDAR传感器相关联的第二LIDAR数据、以及与第三LIDAR传感器相关联的第三LIDAR数据；
确定与所述环境的地面相关联的区域；
确定与所述区域相关联的所述传感器数据的数据子集作为区域数据；
确定所述区域数据对应于平坦表面；
确定与所述区域的第一部分相关联的所述区域数据的第一子集的第一平均高度，所述第一子集包括与所述第一LIDAR数据相关联的第一数据；
确定与所述区域的第二部分相关联的所述区域数据的第二子集的第二平均高度，其中所述第一部分的至少一部分不同于所述第二部分，所述第二子集包括与所述第二LIDAR数据和所述第三LIDAR数据相关联的第二数据；
确定所述第一平均高度和所述第二平均高度之间的差；
确定所述差达到或超过阈值高度值；以及
生成传感器被错误校准的指示。
17.根据权利要求16所述的方法，还包括：
至少部分地基于所述指示，确定所述第一LIDAR传感器被错误校准；
至少部分地基于所述第二LIDAR数据和所述第三LIDAR数据，生成轨迹；以及
至少部分地基于所述轨迹，控制所述自动驾驶车辆。
18.根据权利要求16所述的方法，还包括：
接收与所述传感器数据相关联的分割信息；以及
至少部分地基于所述分割信息，确定所述区域与所述环境的所述地面相关联。
19.根据权利要求16所述的方法，还包括：
确定所述第一子集达到或超过阈值数量的数据值。
20.根据权利要求16所述的方法，还包括：
确定所述区域数据的第三子集的第三平均高度，所述第三子集包括与所述第二LIDAR数据相关联的第三数据；
确定所述区域数据的第四子集的第四平均高度，所述第四子集包括所述第一LIDAR数据和所述第三LIDAR数据；
确定所述第三平均高度与所述第四平均高度之间的第二差；以及
确定所述第二差达到或超过所述阈值高度值；以及
生成第二传感器被错误校准的第二指示。
21.一种用于检测错误校准的传感器的系统，所述系统包括：
一个或多个处理器；以及
一个或多个计算机可读介质，其存储可由所述一个或多个处理器执行的指令，其中执行所述指令使得所述系统：
从围绕车辆设置的多个传感器接收环境的传感器数据；
确定与接近所述车辆的所述环境的区域相关联的所述传感器数据的数据子集作为区域数据；
确定与所述区域的第一部分相关联的所述区域数据的第一子集的第一平均高度，所述第一子集由所述多个传感器中的第一传感器捕获；
确定与所述区域的第二部分相关联的所述区域数据的第二子集的第二平均高度，其中所述第一部分的至少一部分不同于所述第二部分，所述第二子集由所述多个传感器中的至少第二传感器和第三传感器捕获；
确定所述第一平均高度与所述第二平均高度之间的差；
确定所述差达到或超过阈值；以及
生成所述第一传感器被错误校准的指示。
22.根据权利要求21所述的系统，其中所述传感器数据表示由至少三个传感器捕获的数据。
23.根据权利要求21所述的系统，其中所述指令在被执行时，进一步使所述系统：
确定所述区域数据的第三子集的第三平均高度，所述第三子集由所述第二传感器捕获；
确定所述区域数据的第四子集的第四平均高度，所述第四子集由所述第一传感器和所述第三传感器捕获；
确定所述第三平均高度与所述第四平均高度之间的第二差；以及
确定所述第二差达到或超过所述阈值；以及
生成所述第二传感器被错误校准的第二指示。
24.根据权利要求21所述的系统，其中所述指令进一步使所述系统：
为所述区域数据的所述第一子集确定最高值；
为所述区域数据的所述第一子集确定最低值；
确定所述最高值与所述最低值之间的值差；
确定所述值差小于或等于阈值；以及
至少部分地基于所述值差达到或超过所述阈值，确定所述区域数据对应于平坦表面。
25.根据权利要求21所述的系统，其中所述指令进一步使所述系统：
接收与所述传感器数据相关联的分割信息；以及
至少部分地基于所述分割信息，确定所述区域数据对应于地面。
26.根据权利要求21所述的系统，其中所述指令在被执行时，进一步使所述系统：
确定所述区域数据的所述第一子集达到或超过阈值数量的数据值。
27.根据权利要求21所述的系统，其中，所述车辆是自动驾驶车辆，并且进一步地，其中，所述指令在被执行时，进一步使所述系统：
至少部分地基于所述指示，确定所述第一传感器被错误校准；
至少部分地基于所述第二传感器和所述第三传感器，生成被配置为使所述自动驾驶车辆沿轨迹行驶的信号；以及
将所述信号传输到所述自动驾驶车辆。
28.根据权利要求21所述的系统，其中所述指令在被执行时，进一步使所述系统：
增加尝试的测试数量的计数；
确定与所述第二传感器相关联的数据的第二传感器平均值；
确定与所述第三传感器相关联的数据的第三传感器平均值；
确定所述第二传感器平均值与所述第三传感器平均值之间的传感器平均值差；
确定所述传感器平均值差不超过阈值；以及
增加成功执行的测试数量的计数。
29.根据权利要求28所述的系统，其中所述指令进一步使所述系统：
生成与所述多个传感器中的一个传感器相关联的质量评分，其中所述质量评分表示成功执行的测试数量与尝试的测试数量之比。
30.根据权利要求21所述的系统，其中所述指令在被执行时，进一步使所述系统：
确定所述区域数据对应于平坦表面。
31.一种非暂时性计算机可读存储介质，其存储指令，当所述指令在被执行时，使一个或多个处理器执行操作，所述操作包括：
使用车辆的多个传感器捕获环境的传感器数据；
将与接近所述车辆的所述环境的区域相关联的所述传感器数据的数据子集确定为区域数据；
确定与所述区域的第一部分相关联的所述区域数据的第一子集的第一平均高度，所述第一子集与所述多个传感器中的第一传感器相关联；
确定与所述区域的第二部分相关联的所述区域数据的第二子集的第二平均高度，其中所述第一部分的至少一部分不同于所述第二部分，所述第二子集与所述多个传感器中的第二传感器相关联；
确定所述第一平均高度和所述第二平均高度之间的差；
确定所述差达到或超过阈值；以及
生成多个传感器中的一个传感器被错误校准的指示。
32.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述操作还包括：
生成测试率，所述测试率指示所述差被确定的次数；以及
生成成功率，所述成功率指示所述差小于或等于所述阈值的次数。
33.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述操作还包括：
至少部分地基于所述指示，禁用所述多个传感器中的传感器，
其中禁用传感器包括将所述多个传感器的子集指示为主动传感器。
34.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述操作还包括：
至少部分地基于从一个或多个主动传感器捕获的传感器数据，生成被配置为使自动驾驶车辆沿轨迹行驶的信号；以及
将所述信号传输到所述自动驾驶车辆。
35.根据权利要求33所述的非暂时性计算机可读存储介质，其中操作还包括：
为所述区域数据的所述第一子集确定最高值；
为所述区域数据的所述第一子集确定最低值；
确定所述最高值与所述最低值之间的值差；
确定所述值差小于或等于阈值；以及
至少部分地基于所述值差，确定所述区域数据对应于平坦表面。
36.一种在检测错误校准的传感器中使用的方法，所述方法包括：
从围绕车辆设置的多个传感器接收环境的传感器数据；
将与接近所述车辆的所述环境的区域相关联的所述传感器数据的数据子集确定为区域数据；
至少部分地基于所述区域数据的第一子集，确定第一值，所述第一子集由所述多个传感器中的第一传感器捕获；
至少部分地基于所述区域数据的第二子集，确定第二值，所述第二子集由所述多个传感器中的至少第二传感器捕获；
确定所述第一值与所述第二值之间的差；以及
确定所述差达到或超过阈值。
37.根据权利要求36所述的方法，还包括：
至少部分地基于所述差达到或超过所述阈值，生成所述第一传感器被误校准的指示；
至少部分地基于所述指示，生成轨迹；以及
至少部分地基于所述轨迹，控制所述车辆。
38.根据权利要求36所述的方法，还包括：
接收与所述传感器数据相关联的分割信息；以及
至少部分地基于所述分割信息，确定所述区域与所述环境的地面相关联。
39.根据权利要求36所述的方法，还包括确定所述区域数据的所述第一子集达到或超过阈值数量的数据值。
40.根据权利要求36所述的方法，还包括：
至少部分地基于所述区域数据的第三子集，确定第三值；
至少部分地基于所述区域数据的第四子集，确定第四值；
确定所述第三值与所述第四值之间的第二差；
确定所述第二差达到或超过所述阈值；以及
生成所述第二传感器被错误校准的指示。
41.一种在检测错误校准的传感器中使用的系统，所述系统包括：
一个或多个处理器；以及
一个或多个非暂时性计算机可读介质，其存储可由所述一个或多个处理器执行的指令，其中执行所述指令使得所述系统：
从围绕车辆设置的多个传感器接收环境的传感器数据；
确定与接近所述车辆的所述环境的区域相关联的所述传感器数据的数据子集作为区域数据；
至少部分地基于所述区域数据的第一子集，确定第一值，所述第一子集由所述多个传感器中的第一传感器捕获；
至少部分地基于所述区域数据的第二子集，确定第二值，所述第二子集由所述多个传感器中的至少第二传感器捕获；
确定所述第一值与所述第二值之间的差；以及
确定所述差达到或超过阈值。
42.根据权利要求41所述的系统，其中：
所述传感器数据表示由三个或更多个传感器捕获的数据，以及
所述第一值或所述第二值中的至少一个包括平均高度尺寸值。
43.根据权利要求41所述的系统，其中，所述指令还使所述系统：
至少部分地基于所述区域数据的第三子集，确定第三值，所述第三子集由所述第二传感器捕获；
至少部分地基于所述区域数据的第四子集，确定第四值，所述第四子集由所述第一传感器和第三传感器捕获；
确定所述第三值与所述第四值之间的第二差；以及
确定所述第二差达到或超过所述阈值；以及
生成所述第二传感器被错误校准的指示。
44.根据权利要求41所述的系统，其中，所述指令还使所述系统：
为所述区域数据的所述第一子集确定最高值；
为所述区域数据的所述第一子集确定最低值；
确定所述最高值与所述最低值之间的值差；
确定所述值差小于或等于值阈值；以及
至少部分地基于所述值差小于或等于所述值阈值，确定所述区域数据与平坦表面相关联。
45.根据权利要求41所述的系统，其中，所述指令还使所述系统：
接收与所述传感器数据相关联的分割信息；以及
至少部分地基于所述分割信息，确定所述区域数据与地面相关联。
46.根据权利要求41所述的系统，其中所述指令还使所述系统确定所述区域数据的所述第一子集达到或超过阈值数量的数据值。
47.根据权利要求41所述的系统，其中，所述车辆是自动驾驶车辆，并且所述指令还使所述系统：
至少部分地基于所述差达到或超过所述阈值，确定所述第一传感器被错误校准；
至少部分地基于所述第二传感器和第三传感器，生成被配置为使所述自动驾驶车辆沿轨迹行驶的信号；以及
将所述信号传输到所述自动驾驶车辆。
48.根据权利要求41所述的系统，其中，所述指令还使所述系统：
增加尝试的测试数量的计数；
确定与所述第二传感器相关联的数据的第二传感器平均值；
确定与第三传感器相关联的数据的第三传感器平均值；
确定所述第二传感器平均值与所述第三传感器平均值之间的传感器平均值差；
确定所述传感器平均值差不超过阈值；以及
增加成功执行的测试数量的计数。
49.根据权利要求48所述的系统，其中所述指令还使所述系统：
生成与所述多个传感器中的一个传感器相关联的质量评分，
其中所述质量评分至少部分地基于成功执行的测试数量和尝试的测试数量。
50.根据权利要求41所述的系统，其中，所述指令还使所述系统确定所述区域数据与平坦表面相关联。
51.一种或多种非暂时性计算机可读存储介质，其存储指令，当所述指令在被执行时，使一个或多个处理器执行操作，所述操作包括：
使用车辆的多个传感器捕获环境的传感器数据；
将与接近所述车辆的所述环境的区域相关联的所述传感器数据的数据子集确定为区域数据；
确定所述区域数据的第一子集的第一值，所述第一子集与所述多个传感器中的第一传感器相关联；
确定所述区域数据的第二子集的第二值，所述第二子集与所述多个传感器中的第二传感器相关联；
确定所述第一值与所述第二值之间的差；以及
确定所述差达到或超过阈值。
52.根据权利要求51所述的一种或多种非暂时性计算机可读存储介质，其中，所述操作还包括：
生成测试率，所述测试率指示所述差被确定的次数；以及
生成成功率，所述成功率指示所述差小于或等于所述阈值的次数。
53.根据权利要求51所述的一种或多种非暂时性计算机可读存储介质，其中，所述操作还包括：
至少部分地基于所述第一传感器被错误校准的指示，禁用所述多个传感器中的所述第一传感器，
其中禁用所述第一传感器包括将所述多个传感器的子集指示为主动传感器。
54.根据权利要求53所述的一种或多种非暂时性计算机可读存储介质，其中所述车辆是自动驾驶车辆，并且所述操作还包括：
至少部分地基于从一个或多个传感器捕获的传感器数据，生成被配置为使所述自动驾驶车辆沿轨迹行驶的信号；以及
将所述信号传输到所述自动驾驶车辆。
55.根据权利要求51所述的一种或多种非暂时性计算机可读存储介质，其中操作还包括：
为所述区域数据的所述第一子集确定最高值；
为所述区域数据的所述第一子集确定最低值；
确定所述最高值与所述最低值之间的值差；
确定所述值差小于或等于值阈值；以及
至少部分地基于所述值差，确定所述区域数据与平坦表面相关联。
CN201980020703.1A 2018-03-21 2019-03-19 自动检测传感器校准误差 Active CN111902731B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/927,315 2018-03-21
US15/927,315 US10705194B2 (en) 2018-03-21 2018-03-21 Automated detection of sensor miscalibration
PCT/US2019/022863 WO2019183027A1 (en) 2018-03-21 2019-03-19 Automated detection of sensor miscalibration

Publications (2)

Publication Number Publication Date
CN111902731A CN111902731A (zh) 2020-11-06
CN111902731B true CN111902731B (zh) 2024-04-16

Family

ID=65995895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020703.1A Active CN111902731B (zh) 2018-03-21 2019-03-19 自动检测传感器校准误差

Country Status (5)

Country Link
US (2) US10705194B2 (zh)
EP (1) EP3769110A1 (zh)
JP (2) JP7488765B2 (zh)
CN (1) CN111902731B (zh)
WO (1) WO2019183027A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10705194B2 (en) 2018-03-21 2020-07-07 Zoox, Inc. Automated detection of sensor miscalibration
DE102018205322A1 (de) * 2018-04-10 2019-10-10 Audi Ag Verfahren und Steuervorrichtung zum Erkennen einer Fehlfunktion zumindest eines Umfeldsensors eines Kraftfahrzeugs
USD922889S1 (en) * 2018-06-29 2021-06-22 Zoox, Inc. Sensor housing
JP7076348B2 (ja) * 2018-09-20 2022-05-27 日立Astemo株式会社 電子制御装置
US11428781B2 (en) * 2018-11-01 2022-08-30 Robert Bosch Gmbh System and method for radar-based localization in sparse environment
DK180555B1 (en) * 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
WO2020121838A1 (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 外界認識装置
IT201900000082A1 (it) * 2019-01-04 2020-07-04 St Microelectronics Srl Dispositivo, sistema, metodo e prodotto informatico di rilevamento e valutazione di grandezze ambientali ed eventi ad approccio modulare e complessita' variabile
EP3908801A2 (en) 2019-01-13 2021-11-17 Nextnav, LLC Systems and methods for determining a height of a mobile device above a surface
US10929711B1 (en) * 2019-03-06 2021-02-23 Zoox, Inc. Time of flight data segmentation
KR102306142B1 (ko) * 2019-04-29 2021-09-30 모셔널 에이디 엘엘씨 센서 고장에 대한 자율 주행 차량 대응방안을 구현하기 위한 시스템 및 방법
US11609315B2 (en) * 2019-08-16 2023-03-21 GM Cruise Holdings LLC. Lidar sensor validation
GB2594111B (en) 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
US11765067B1 (en) 2019-12-28 2023-09-19 Waymo Llc Methods and apparatus for monitoring a sensor validator
USD950405S1 (en) * 2020-01-31 2022-05-03 Zoox, Inc. Sensor housing
JP7363545B2 (ja) * 2020-02-05 2023-10-18 沖電気工業株式会社 キャリブレーション判定結果提示装置、キャリブレーション判定結果提示方法及びプログラム
GB2598110A (en) * 2020-08-18 2022-02-23 Daimler Ag A method for verifying a mounting position of a lidar sensor device on a motor vehicle by an electronic computing device
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration
US20220363286A1 (en) * 2021-05-14 2022-11-17 Toyota Research Institute, Inc. Verifying an object recognition determination produced by a perception system from data received from a ranging sensor system
US20220404506A1 (en) * 2021-06-17 2022-12-22 GM Global Technology Operations LLC Online validation of lidar-to-lidar alignment and lidar-to-vehicle alignment
CN114152880B (zh) * 2022-02-08 2022-04-12 湖南大学 一种软包电池传感器故障在线检测方法
US20240098245A1 (en) * 2022-05-09 2024-03-21 Zoox, Inc. Sensor calibration validation
CN115201865B (zh) * 2022-07-18 2024-08-02 广东汇天航空航天科技有限公司 故障检测与设备选择方法、装置、设备及存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991009375A1 (en) * 1989-12-11 1991-06-27 Caterpillar Inc. Integrated vehicle positioning and navigation system, apparatus and method
CN1333876A (zh) * 1999-01-08 2002-01-30 真实定位公司 无线定位系统的校准
DE102007008798A1 (de) * 2007-02-22 2008-09-04 Götting jun., Hans-Heinrich Anordnung zur Überprüfung eines berührungslos wirkenden Schutzsensors
CN101855529A (zh) * 2007-06-29 2010-10-06 康明斯滤清系统知识产权公司 传感器合理性诊断
CN102292646A (zh) * 2009-01-20 2011-12-21 皇家飞利浦电子股份有限公司 调节用于测量车辆速度的自混合激光传感器系统的方法
CN102346248A (zh) * 2010-07-16 2012-02-08 微软公司 在飞行时间系统中用于三维(3d)传感器的多相位动态校准的系统和方法
JP2015075382A (ja) * 2013-10-08 2015-04-20 株式会社デンソー 物体検出装置
CN105122373A (zh) * 2013-06-27 2015-12-02 桑迪士克科技股份有限公司 用于数据贮存装置的字线瑕疵检测和处理
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
DE102015005961A1 (de) * 2015-05-08 2016-02-25 Daimler Ag Verfahren zum Überwachen der Messsignale wenigstens eines Sensors
US9274525B1 (en) * 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
CN105378506A (zh) * 2013-06-14 2016-03-02 微软技术许可有限责任公司 移动成像平台校准
CN105387873A (zh) * 2014-08-28 2016-03-09 通用汽车环球科技运作有限责任公司 使用地图信息的传感器补偿校准
JP2016215790A (ja) * 2015-05-19 2016-12-22 株式会社デンソー 車線変更計画生成装置、車線変更計画生成方法
CN106463049A (zh) * 2014-04-04 2017-02-22 飞利浦灯具控股公司 用来经由环境感知和传感器校准和验证支持自主车辆的系统和方法
CN106462949A (zh) * 2014-04-22 2017-02-22 微软技术许可有限责任公司 深度传感器校准和逐像素校正
WO2017065678A1 (en) * 2015-10-13 2017-04-20 Qamcom Technology Ab Radar system and method with malfunction monitoring
WO2017079229A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
CN107209030A (zh) * 2015-03-03 2017-09-26 Zf 腓德烈斯哈芬股份公司 用于检测选择杆定位的传感器设备和机动车的选择杆设备
WO2017189361A1 (en) * 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62295121A (ja) * 1986-06-13 1987-12-22 Komatsu Ltd 移動体のセンサのキヤリブレイシヨン方法
KR100418763B1 (ko) * 2000-12-28 2004-02-18 현대자동차주식회사 노면경사 측정방법 및 이를 이용한 차량 속도 제어 시스템
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
JP2007155356A (ja) * 2005-11-30 2007-06-21 Toshiba Corp 測距装置および測距方法
KR100829031B1 (ko) * 2006-07-25 2008-05-16 주식회사 만도 전자 제어 현가 장치 및 그 차고 제어 방법
US9279882B2 (en) * 2008-09-19 2016-03-08 Caterpillar Inc. Machine sensor calibration system
US8364340B2 (en) * 2009-03-31 2013-01-29 General Electric Company Method and systems for virtual sensor selection and blending
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
GB201116961D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Fast calibration for lidars
US9573607B2 (en) * 2013-03-15 2017-02-21 Kanawha Scales & Systems, Inc. System for accurate measurement of vehicle speeds for low speed industrial applications
DE102013213171A1 (de) * 2013-07-04 2015-01-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb
KR20150059489A (ko) * 2013-11-22 2015-06-01 현대자동차주식회사 협로 검출 방법과 협로 검출 장치 및 협로 검출 시스템
JP6032195B2 (ja) * 2013-12-26 2016-11-24 トヨタ自動車株式会社 センサ異常検出装置
US9631914B2 (en) * 2014-03-13 2017-04-25 The Boeing Company Calibration of sensor arrays
KR101567206B1 (ko) * 2014-04-14 2015-11-06 현대자동차주식회사 과속방지턱 검출장치와 이를 이용한 내비게이션 업데이트 장치 및 방법
US20150362587A1 (en) * 2014-06-17 2015-12-17 Microsoft Corporation Lidar sensor calibration using surface pattern detection
CN106030431B (zh) * 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定系统及方法
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
US10156635B2 (en) * 2015-06-05 2018-12-18 Starfish Network, Inc. Overhead object detection using optical measurements
JP6532031B2 (ja) * 2015-07-09 2019-06-19 国立研究開発法人産業技術総合研究所 高度計測システムと高度計測方法
US10082797B2 (en) * 2015-09-16 2018-09-25 Ford Global Technologies, Llc Vehicle radar perception and localization
CN105223952B (zh) * 2015-09-28 2019-03-29 小米科技有限责任公司 平衡车的控制方法及装置
US10352689B2 (en) * 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10828954B2 (en) * 2016-07-13 2020-11-10 Ford Global Technologies, Llc Ride performance optimization systems and devices, and related methods
US10705194B2 (en) 2018-03-21 2020-07-07 Zoox, Inc. Automated detection of sensor miscalibration

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991009375A1 (en) * 1989-12-11 1991-06-27 Caterpillar Inc. Integrated vehicle positioning and navigation system, apparatus and method
CN1333876A (zh) * 1999-01-08 2002-01-30 真实定位公司 无线定位系统的校准
DE102007008798A1 (de) * 2007-02-22 2008-09-04 Götting jun., Hans-Heinrich Anordnung zur Überprüfung eines berührungslos wirkenden Schutzsensors
CN101855529A (zh) * 2007-06-29 2010-10-06 康明斯滤清系统知识产权公司 传感器合理性诊断
CN102292646A (zh) * 2009-01-20 2011-12-21 皇家飞利浦电子股份有限公司 调节用于测量车辆速度的自混合激光传感器系统的方法
CN102346248A (zh) * 2010-07-16 2012-02-08 微软公司 在飞行时间系统中用于三维(3d)传感器的多相位动态校准的系统和方法
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
US9274525B1 (en) * 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
CN105378506A (zh) * 2013-06-14 2016-03-02 微软技术许可有限责任公司 移动成像平台校准
CN105122373A (zh) * 2013-06-27 2015-12-02 桑迪士克科技股份有限公司 用于数据贮存装置的字线瑕疵检测和处理
JP2015075382A (ja) * 2013-10-08 2015-04-20 株式会社デンソー 物体検出装置
CN106463049A (zh) * 2014-04-04 2017-02-22 飞利浦灯具控股公司 用来经由环境感知和传感器校准和验证支持自主车辆的系统和方法
CN106462949A (zh) * 2014-04-22 2017-02-22 微软技术许可有限责任公司 深度传感器校准和逐像素校正
CN105387873A (zh) * 2014-08-28 2016-03-09 通用汽车环球科技运作有限责任公司 使用地图信息的传感器补偿校准
CN107209030A (zh) * 2015-03-03 2017-09-26 Zf 腓德烈斯哈芬股份公司 用于检测选择杆定位的传感器设备和机动车的选择杆设备
DE102015005961A1 (de) * 2015-05-08 2016-02-25 Daimler Ag Verfahren zum Überwachen der Messsignale wenigstens eines Sensors
JP2016215790A (ja) * 2015-05-19 2016-12-22 株式会社デンソー 車線変更計画生成装置、車線変更計画生成方法
WO2017065678A1 (en) * 2015-10-13 2017-04-20 Qamcom Technology Ab Radar system and method with malfunction monitoring
WO2017079229A1 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
WO2017189361A1 (en) * 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JAYANTA KAR等.Calipso lidar calibration at 532 nm:version 4 nighttime algorithm.ATOMOSPHERIC MEASUREMENT TECHNIQUES.2018,第11卷(第3期),1459-1479. *

Also Published As

Publication number Publication date
WO2019183027A1 (en) 2019-09-26
CN111902731A (zh) 2020-11-06
JP2024112857A (ja) 2024-08-21
US10705194B2 (en) 2020-07-07
US11163045B2 (en) 2021-11-02
EP3769110A1 (en) 2021-01-27
JP2021518308A (ja) 2021-08-02
JP7488765B2 (ja) 2024-05-22
US20200400799A1 (en) 2020-12-24
US20190293772A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
CN111902731B (zh) 自动检测传感器校准误差
CN111936825B (zh) 传感器校准
CN112041633B (zh) 使用蒙片进行数据分割的系统和方法
US11521130B2 (en) Road condition deep learning model
JP7466396B2 (ja) 車両制御装置
US11648939B2 (en) Collision monitoring using system data
US20140156178A1 (en) Road marker recognition device and method
US11697412B2 (en) Collision monitoring using statistic models
US11496707B1 (en) Fleet dashcam system for event-based scenario generation
WO2021173198A1 (en) Multi-modal, multi-technique vehicle signal detection
CN102673560A (zh) 识别拐弯机动的方法和驾驶员辅助系统
US11977165B2 (en) Self-reflection filtering
US11709260B2 (en) Data driven resolution function derivation
US20230419830A1 (en) Determining right of way
US11055624B1 (en) Probabilistic heat maps for behavior prediction
CN117241974A (zh) 低能量冲击力碰撞检测
US11932242B1 (en) Fleet dashcam system for autonomous vehicle operation
US11794737B2 (en) Vehicle operation
CN117545674A (zh) 用于识别路缘的技术
US11780471B1 (en) System for determining a state of an object using thermal data
US11636688B1 (en) Enhanced vehicle operation
US20230401680A1 (en) Systems and methods for lidar atmospheric filtering background
CN118613824A (zh) 一种障碍物检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant