CN113165655A

CN113165655A - 确定自主车辆操作可靠性的传感器融合

Info

Publication number: CN113165655A
Application number: CN201980075971.3A
Authority: CN
Inventors: G·戈洛夫
Original assignee: Micron Technology Inc
Current assignee: Micron Technology Inc
Priority date: 2018-11-19
Filing date: 2019-11-15
Publication date: 2021-07-23
Also published as: US20200156651A1; WO2020106562A1; US11173921B2; DE112019005785T5; US20220024493A1

Abstract

一种用于自主车辆的方法包括：从第一传感器模块接收第一对象数据；从第二传感器模块接收第二对象数据；将所述第一对象数据与所述第二对象数据进行比较；基于所述第一对象数据与所述第二对象数据的比较，确定所述第一对象数据是否对应于所述第二对象数据；以及响应于确定所述第一对象数据不对应于所述第二对象数据，对所述自主车辆执行动作。

Description

确定自主车辆操作可靠性的传感器融合

相关申请的交叉引用

本申请要求2018年11月19日提交的标题为“确定自主车辆操作可靠性的传感器融合(SENSOR FUSION TO DETERMINE RELIABILITY OF AUTONOMOUS VEHICLE OPERATION)”的美国专利申请序列第16/194,722号的优先权，该申请的全部公开内容通过引用并入本文。

技术领域

本文公开的至少一些实施例总体上涉及用于自主车辆的计算系统，更具体地，但不限于，使用传感器融合来确定自主车辆的传感器的操作可靠性。

背景技术

自主车辆通常包括多个传感器以帮助控制自主车辆。在某些情况下，传感器故障可能会导致事故、碰撞或与车辆的近距离碰撞。

多传感器融合在计算系统中用于管理来自环境的非理想输入。传感器融合可以使用诸如人工智能(AI)、模式识别、数字信号处理、控制理论和统计估计等技术。来自多个微机电系统(MEMS)的数据可以被融合，以提供具有增加的响应和精度的应用。

传感器技术和处理技术的进步，结合改进的硬件，使得传感器数据的实时融合成为可能。例如，系统可以将MEMS加速度计、陀螺仪、压力传感器、磁传感器和麦克风结合并集成到具有板载处理和无线连接的多传感器组合中。

根据不同的应用，数据融合可以以不同的方式进行，通常涉及复杂程度和被测量元件的数量。特征级融合涉及从不同传感器观察或测量中提取的特征，并将其结合成串联的特征向量。决策级融合在每个传感器单独测量或评估目标后，从每个传感器获取信息。

传感器融合还可以是集中的或分散的，这取决于数据融合发生在哪里。在集中式传感器融合中，数据被转发到中心位置进行关联和融合。在分散式传感器融合中，每个传感器或平台在融合导致的决策中有一定程度的自主权。

在集中式融合的实例中，客户端将所有数据转发到一个中心位置，并且中心位置的实体关联并融合数据。在分散式融合的实例中，客户端处理所有的数据融合。集中式和分散式系统的组合也是存在的。

附图说明

这些实施例是通过示例而非限制的方式在附图中示出的，在附图中，相同的附图标记指示相似的元件。

图1示出了根据一个实施例的自主车辆，其包括向中央处理装置提供数据的传感器模块。

图2示出了根据一个实施例的传感器模块，其包括向处理器提供原始数据的传感器。

图3示出了根据一个实施例的自主车辆，其包括从传感器模块接收数据的中央处理装置。

图4示出了根据一个实施例的车辆，其在操作期间收集数据。

图5示出了根据一个实施例的车辆，其包括向中央处理装置和控制系统提供数据的传感器模块。

图6示出了根据一个实施例的服务器，其存储从车辆接收的事件数据。

图7示出了根据一个实施例的车辆的实例，其包括传感器模块并使用人工神经网络(ANN)模型配置。

图8示出了根据一个实施例的确定来自第一传感器模块的对象数据是否对应于来自第二传感器模块的对象数据的方法。

图9示出了根据一个实施例的自主车辆，其响应于确定来自车辆的第一传感器模块的对象数据不对应于来自车辆的第二传感器模块的对象数据而被控制和/或配置。

图10是包括一或多个各种部件和/或子系统的自主车辆的框图，在各种实施例中，每个部件和/或子系统可以被更新以配置车辆和/或执行与车辆相关联的其他动作。

图11是根据各种实施例的集中式自主车辆操作系统的框图。

具体实施方式

在多种情况下，自主车辆系统的正确操作是至关重要的。例如，正确的车辆导航对于避免与人或其他车辆碰撞至关重要。

关于安全车辆系统操作的实践正变得更加规范。例如，车辆行业正在采用标准化的做法来设计和测试产品。一个实例是ISO 26262，它提供了一种汽车专用的国际标准，重点是安全关键部件。ISO 26262是IEC 61508的衍生产品，是电气和电子系统(E/E)的通用功能安全标准。

汽车行业日益增加的复杂性促使人们进一步努力提供符合安全要求的系统。例如，现代汽车使用诸如线控节流阀的线控系统，其中驾驶员踩下加速器踏板，踏板上的传感器向电子控制单元发送信号。控制单元分析若干因素，诸如发动机转速、车辆速度和踏板位置。然后，它向节流阀体传递命令。测试和验证像线控节流阀这样的系统存在技术问题。

现有车辆通常使用全系统冗余，以提高车辆操作的可靠性，并符合ISO26262汽车安全性和可靠性标准。例如，在多种情况下，车辆使用双重或三重全系统冗余，以提高系统的可靠性和安全性。在一个实例中，现有车辆在相同的部件中使用双重或三重冗余。例如，使用两或三个照相机来检测是否有任何照相机工作不正常；使用两或三个雷达来检测是否有任何雷达工作不正常；使用两或三个激光雷达来检测是否有任何激光雷达工作不正常。

然而，前述全系统冗余存在硬件需求和费用由于全系统冗余而显著增加的技术问题。此外，由于需要维护多个冗余系统，维护的复杂性也增加了。

本文公开的各种实施例通过使用智能传感器来解决上述技术问题，该智能传感器在传感器自身中执行本地传感器数据分析，然后报告检测到的对象。另外，中央传感器健康分析部件(例如，处理器)通过比较传感器之间检测到的对象来确定智能传感器的健康状态(例如，将第一传感器和第二传感器进行比较)。

尽管诸如照相机、雷达和激光雷达之类的传感器不会总是同时检测到所有对象，但是可以预期，在由传感器检测到的对象之间会有统计匹配(例如，当查看在多个对象检测事件中采用的数据样本大小时)。例如，在白天操作期间，预期大部分时间(例如，大于事件的阈值百分比)，照相机、雷达和激光雷达将检测并报告相同的视野中的对象(例如，汽车和行人)。进一步，例如，在夜间操作期间，雷达和激光雷达被期望可靠地检测并报告在相同的视野中检测到的对象(例如，汽车)。

确定传感器(例如，智能传感器)之间未能保持统计检测关系(例如，在预定限度内的统计关联)可以指示在传感器中的一个中或者在传感器融合处理部件中的一个(例如，执行对象数据的统计关联的处理器)中存在故障。响应于确定存在此类故障，可以采取各种动作(例如，可以改变车辆的操作)。在一个实例中，触发安全危险信号(例如，向乘客提供警报，和/或向监控若干车辆的车辆操作的中央服务器发送通信)。

在一个实例中，所采取的动作是禁用车辆的自主操作模式。在一个实例中，要求人员接管对车辆的控制。在一个实例中，动作是自动停止车辆，然后禁用自主模式。

本文的各种实施例通过避免全系统冗余提供节省成本的优点。不是复制整个车辆操作系统，而是为系统的传感器和传感器融合部分提供更低成本的健康分析解决方案。该解决方案不需要传感器和传感器融合冗余。例如，除了传感器和传感器融合处理部件之外，系统中只有该部分需要冗余。

在一个实例中，一个优点可以是降低车辆的布线成本。例如，提供来自传感器模块的对象数据结果，而不需要将高速原始数据信号从传感器传输出去(例如，根据冗余原始视频数据馈送的要求)，这降低了车辆的布线要求。例如，只需要传输检测到的对象(而不是用于检测对象的原始数据)。这显著降低了车辆布线所要求的比特率数据带宽(例如，这避免了将智能传感器模块连接到中央处理部件的高速布线需求)。这在车辆系统层面节省了附加成本。

在一个实例中，提供的另一优点是较小尺寸的中央处理部件。例如，与在中央处理部件中处理原始传感器数据馈送相比，对象数据比较要求显著降低的处理能力。

在各种实施例中，基于类似部件的统计关联来避免全系统冗余(例如，在统计意义上，在某些条件下预期生成相同的或类似的结果的部件中的冗余)。例如，三个不同的部件(例如，照相机、雷达和激光雷达)在某些类型的条件下被期望在它们被识别、报告的对象中具有关联，但是在其他类型的条件下不具有关联(例如，传感器模块在白天报告诸如汽车和行人的对象的相同或类似的数据，但是在夜间和/或对于其他不同类型的对象不报告对象的相同或类似的数据)。例如，预期的统计关联可能因对象类型(例如，雷达或光反射对象对非反射对象)而变化。对象类型(用于提供来自传感器模块的结果数据)可以存储在例如处理原始传感器数据(例如，来自激光雷达)的传感器模块中的数据库中。

本文公开的各种实施例涉及用于自主车辆的系统和方法。车辆可以是例如若干类型的自主车辆中的任何一种(例如，汽车、卡车、飞机、无人机、船只等)。

在一个实施例中，一种用于自主车辆的方法包括从第一传感器模块接收第一对象数据和从第二传感器模块接收第二对象数据。比较第一对象数据和第二对象数据。例如，比较可以由处理器(例如，CPU、GPU或FPGA)来执行。基于第一对象数据与第二对象数据的比较，确定第一对象数据是否对应于第二对象数据。例如，该确定可以基于将统计关联与阈值进行比较(例如，关联是否在一或多个预定限度内)。响应于确定第一对象数据不对应于第二对象数据(例如，由于传感器部件或传感器融合处理的故障)，针对自主车辆执行动作。例如，动作可以是车辆的操作特性的控制的变化，例如导航或发动机控制的改变。

在一些实施例中，基于传感器和/或传感器融合故障的确定来控制车辆的操作或配置。例如，车辆的一或多个系统可以由主机系统控制。关于车辆的操作的数据可以由存储器装置收集。收集的数据由一或多个系统生成。收集后，数据存储在存储器装置中。

在一个实施例中，自主车辆包括收集传感器数据的传感器。车辆的非易失性存储器装置用于接收要存储的各种数据(例如，原始传感器数据和/或来自原始传感器数据的处理的结果，诸如关于检测到的对象的类型或位置的数据)。一或多个计算装置可以控制车辆的操作。这些计算装置中的至少一个用于控制通过非易失性存储器装置收集车辆在操作期间产生的数据。该数据可以包括传感器数据。例如，计算装置是存储器装置的控制器，并且控制器执行存储器装置的固件中的指令。在收集数据之后，存储器装置存储数据(例如，使用诸如3DXP存储器的非易失性存储器)。

图1示出了根据一个实施例的自主车辆610，其包括向中央处理装置618提供数据的传感器模块612、614。每个传感器模块612、614向中央处理装置618提供对象数据。一或多个其他传感器616向中央处理装置618提供传感器数据。在一个实施例中，传感器616提供原始传感器数据和/或对象数据。

中央处理装置618将从每个传感器模块612、614接收的对象数据进行比较。在一个实例中，该比较基于传感器模块612和传感器模块614的视野中的单个对象的检测。在一个实例中，比较基于关联，该关联基于若干事件确定，每个事件与不同对象的检测相关。中央处理装置618使用对象数据的比较来确定来自传感器模块612的对象数据是否对应于来自传感器模块614的对象数据。

如果对象数据匹配，则中央处理装置618确定系统操作是可靠的，并且每个传感器模块612、614操作正确。如果对象数据不匹配，中央处理装置618确定存在系统故障。例如，故障可能存在于传感器模块612和614中的任一或两个中。

在一个实例中，如果数据满足统计关联，则来自传感器模块612、614的对象数据被确定为匹配。在一个实例中，确定关联，并将其与预定极限或阈值进行比较。

响应于确定来自每个传感器模块612、614的对象数据不匹配，中央处理装置618向主机处理装置620发送信号。信号指示已识别出故障。

在一个实施例中，主机处理装置620响应于接收到指示故障识别的信号，执行一或多个动作。在各种实施例中，主机处理装置620向一或多个车辆系统622发送控制信号，该控制信号改变自主车辆610的一或多个方面的操作。在一个实例中，导航、制动控制和/或发动机控制被改变。在另一实例中，更新一或多个车辆系统622的配置。在一个实例中，更新车辆系统622中的一个的固件。在一个实例中，使用无线通信从中央服务器下载固件的至少部分。

在一个实施例中，主机处理装置620执行的动作是启动一或多个诊断测试的执行。例如，可以执行传感器模块612和/或614的诊断测试。在另一实例中，可替代地和/或附加地，可以执行中央处理装置618的诊断测试。

在一个实施例中，传感器616向中央处理装置618提供数据，该数据用于确定自主车辆610的操作情境。例如，传感器616可以提供指示车辆当前是在白天还是在夜间操作的数据。这提供了情境数据，中央处理装置618可以使用该背景数据来将来自传感器模块612、614的对象数据进行比较。

在一个实例中，中央处理装置618是片上系统(SOC)、现场可编程门阵列(FPGA)、CPU或图形处理单元(GPU)。在一个实例中，中央处理装置618将运行时数据存储在易失性存储器装置(例如，DRAM装置)中。在一个实例中，中央处理装置618可以包括实现本文描述的各种实施例的至少部分的逻辑电路。

在一个实例中，主机处理装置620是片上系统(SOC)、现场可编程门阵列(FPGA)、CPU或图形处理单元(GPU)。在一个实例中，主机处理装置620将数据存储在易失性存储器装置中。例如，存储的数据是从车辆系统622接收的。主机处理装置620可以是例如处理器的处理核心、执行单元等。

在一个实例中，中央处理装置618和/或主机处理装置620可以包括诸如一或多个集成电路和/或分立部件、缓冲存储器、高速缓冲存储器或其组合的硬件。主机或中央处理装置可以是微控制器、专用逻辑电路(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)，或者其他合适的处理器。

在一个实例中，每个传感器模块612、614是照相机。每个照相机共享一个共同的视野。预计在正常操作期间，照相机大部分时间都会检测到相同的对象。如果对象数据与预定阈值相比较时不匹配，则确定存在系统故障。在一个实例中，如果系统正确操作，则比较的对象数据预计会超过阈值百分比(例如，60％)。在一个实例中，对于发生在白天的事件，阈值百分比为99％，对于发生在夜间的事件，阈值百分比为70％。

图2示出了根据一个实施例的传感器模块612，其包括向处理器626提供原始数据的传感器624。在一个实例中，传感器模块614与传感器模块612相同或类似。在另一实例中，传感器616类似于传感器模块612。在一个实例中，传感器624是照相机。在另一实例中，传感器624是雷达或激光雷达传感器。例如，处理器626是微处理器、GPU和/或FPGA。

处理器626执行一或多个过程来评估来自传感器624的原始数据。作为该处理的结果，处理器626提供对象数据。对象数据被传输到中央处理装置。对象数据包括例如位置数据和/或对象类型数据。还可以包括表征检测到的对象的其他元数据。

处理器626在操作期间访问存储器628。存储器628例如是易失性存储器和/或非易失性存储器。

存储器628包括对象数据库630。数据库630包括对象类型库。当提供评估来自传感器624的原始数据的结果时，处理器626可以从库中检索预定的对象类型。

在一个实施例中，神经网络632存储在存储器628中。当处理器626评估来自传感器624的原始数据时，神经网络632可用于向该处理器提供一或多个输入。在一个实施例中，神经网络632接收来自传感器616的输入，该输入用于确定自主车辆610的操作情境，作为神经网络632的输出。输出被提供给处理器626，用于评估来自传感器624的原始数据。

图3示出了根据一个实施例的自主车辆170，其包括从传感器模块178接收数据的中央处理装置618。传感器模块178是传感器模块612、614的实例。

在一个实施例中，中央处理装置618从传感器模块178接收对象数据。基于对象数据的比较，中央处理装置618向主机系统172发送信号，指示已经检测到的系统故障。主机系统172是主机处理装置620的实例。响应于接收到指示系统故障的信号，主机系统172通过总线174向车辆系统176发送信号，这使得车辆系统176改变自主车辆170的操作方面。在另一实施例中，主机系统172可以改变操作和/或更新车辆系统185的配置。在另一实施例中，使用无线接口182从服务器188下载用于更新车辆系统185、主机系统172和/或车辆系统176的软件和/或配置的数据，并存储在存储器装置180中。

数据由车辆170的各种系统生成，包括例如车辆系统176、183、185。例如，车辆系统176和183使用一或多个传感器模块178。每个系统可以对传感器数据进行处理，然后将结果数据(例如，对象数据)传输到车辆的另一部件，和/或可以将原始传感器数据传递到另一部件。

在一个实例中，来自车辆系统176的数据通过通信总线174发送到主机系统172。主机系统172控制车辆系统176(例如，图像处理和识别系统)的各种操作。主机系统172通过总线174向车辆系统176发送命令。例如，命令可用于控制发动机操作或用于实现转向控制。

主机系统172还可以控制其他系统，诸如车辆系统183和/或车辆系统185。主机系统172可以通过车辆170的一或多个通信路径(例如，总线174)从这些系统接收回复和/或数据。

在一个实施例中，存储器装置180监控总线174上的通信。存储器装置180可以从总线174收集选定的数据。在一个实例中，存储器装置180监听从总线174提取的某些预定类型的数据。提取的数据由存储器装置180存储。

在一个实施例中，存储器装置180将收集的数据存储在预定的物理位置186。物理位置186可以对应于车辆170的物理定位或位置。在其他情况下，物理位置186可以对应于特定的预定部件或部件类型(例如，特定类型的存储器存储介质)。

在一个实施例中，存储器装置180收集存储在易失性存储器184中的数据。在一个实例中，主机系统172使用易失性存储器184。例如，主机系统172可以从车辆170的各种系统收集数据。该数据可以存储在易失性存储器184中。在一个实施例中，存储器装置180从传感器模块178收集数据。

在一个实施例中，在数据被存储器装置180收集之后，数据被存储在存储器装置180中。存储的数据可以稍后通过无线接口182传输到服务器188。

在一个实施例中，服务器188分析从存储器装置180接收的收集的数据。基于该分析，可以实现或更新车辆170的一或多种配置。例如，服务器188可以经由无线接口182向存储器装置180发送关于在车辆170中实现的配置改变的命令。存储器装置180可以控制配置改变的实现。

在另一实施例中，基于对收集的数据的分析，服务器188向主机系统172发送通信。在一个实例中，该通信可以经由无线接口(未示出)发送。通信可以是例如更新车辆170的配置的命令。该更新可以在主机系统172的控制下实现。在一个实施例中，响应于中央处理装置618对系统故障的确定，执行更新。

在一个实施例中，收集的数据存储在非易失性存储器装置(例如，存储器装置180)中。在存储之后，从非易失性存储器装置移除数据，并且例如由服务器(例如，云中的服务器)(例如，服务器188)进行分析。

在一个实施例中，存储数据的分析用于识别操作车辆的软件(例如，在主机系统172上执行以控制导航的软件)的不安全方面或设计。响应于该分析，可以对车辆执行控制和/或配置动作(例如，经由无线接口182)。在一些情况下，相同或类似的控制和/或配置可以对其他车辆(例如，相同类型和/或使用相同或类似软件的车辆)执行。在各种实施例中，车辆可以是例如若干类型的自主车辆中的任何一种(例如，汽车、卡车、飞机、无人机、船只等)。

在各种实施例中，收集的数据可以由车辆的若干非易失性存储器系统中的任何一个存储(例如，在物理位置186)。存储器系统的一个实例是存储系统，诸如固态驱动器(SSD)。在一些实施例中，存储器系统是混合存储器/存储系统。通常，车辆可以利用包括一或多个存储器装置的存储器系统。存储器装置可以包括介质。介质可以是非易失性存储器装置，诸如“与非”(NAND)。

在一个实施例中，云服务(有时简称为云)用于接收从车辆收集的数据，然后分析数据。例如，当车辆的自动紧急制动系统被激活时，制动事件的事件数据(例如，位置)被传输到例如服务器或云服务中的其他计算装置。

在一个实施例中，从车辆接收并分析由存储器装置180收集的事件数据。例如，可以对接收到的事件数据使用模式识别。在一种情况下，机器学习用于识别数据中的模式或规律。在一些情况下，模式识别系统可以从标记的训练数据中训练(例如，监督学习)。在其他情况下，当没有标记的数据可用时，可以使用其他算法来识别先前未知的模式(例如，无监督学习)。

在一个实施例中，基于对车辆中制动踏板的测量来检测发生在车辆上的事件。例如，可以基于与预定阈值相比较时的脚压力或运动程度来识别事件。在另一实施例中，基于车辆的减速率来识别事件。例如，如果减速率超过预定阈值，则识别出事件(例如，近碰撞)。在另一实例中，在预定的时间段内观察减速率(例如，在该时间段内对减速率进行平均)。响应于检测该事件，下载系统存储器数据。此类事件的检测可以触发存储器装置180对数据的收集。

在一个实施例中，响应于分析事件数据，执行至少一个动作。例如，可以向车辆170(例如，从中获得收集的数据)发送通信，以配置车辆的软件和/或禁用车辆或软件的一或多个功能。

在一个实施例中，响应于识别不安全的软件(例如，基于模式识别或对收集的数据的其他分析确定的，诸如来自传感器模块178的对象数据)，服务器可以执行一或多个动作。例如，服务器可以向当前车辆发送通信。在一种情况下，通信可以使当前车辆采取纠正动作，诸如终止自主导航模式、制动或改变路线，或者更新车辆的固件(例如，经由空中固件更新)。

在一个实施例中，响应于从已经分析了由存储器装置180收集的数据的服务器接收到通信，车辆170可以关闭其自主驾驶模式、使用备用系统和/或激活制动系统来停止车辆。

在另一实施例中，云服务可以向监控其他车辆的操作状态的服务器或其他计算装置(例如，中央监控服务)发送通信。通信可以例如识别软件部件是不安全的。

在一个实施例中，可以基于来自车辆的一或多个传感器或传感器模块的数据来确定车辆是否经历了制动事件和/或是否涉及事故。例如，来自车辆加速度计的数据可以指示车辆的快速减速(例如，减速超过阈值)。在另一种情况下，数据可以指示车辆的紧急系统已经被激活，诸如气囊、紧急制动系统等。在一些实施例中，前述事件的任何一个和/或组合可以被认为是将下载的数据传输到服务器的事件。与前述事件相关联的数据可以由存储器装置180收集。

在一个实施例中，当前车辆上的一或多个传感器模块(例如，传感器模块178)用于在车辆行驶时获得关于制动事件和/或车辆环境中的对象的数据。来自传感器模块的对象数据和/或基于对其他传感器数据和/或其他类型的数据的分析而生成的数据可以例如在由存储器装置180自动收集之后无线地(例如，使用3G、4G或5G网络或其他基于无线电的通信系统)传输到云服务。

在一个实施例中，响应于识别基于收集的数据确定的不安全软件，配置车辆的一或多个动作。例如，可以向车辆发送空中固件更新，用于更新车辆的计算装置的固件(例如，该更新使得车辆避免识别的不安全功能)。在一个实例中，固件更新车辆的导航系统。

图4示出了根据一个实施例的车辆200，其在操作期间收集数据。车辆200是自主车辆610的一个实例。

例如，自主车辆200在行驶过程中检测各种对象。车辆200还检测触发将数据(例如，从系统存储器)下载到非易失性存储器装置的某些事件。在一个实例中，车辆200检测与对象(例如，另一车辆)发生碰撞的事件。响应于检测碰撞，车辆200的计算系统使得系统存储器数据被下载到非易失性存储器装置。这样做是为了允许在碰撞后分析下载的数据。在一个实例中，任何前述数据可以由存储器装置180自动收集。

更具体地，在一个实施例中，图4示出了位于车辆200上的感测系统，用于收集关于车辆操作的信息。这些收集的数据中的任何一个都可以是例如响应于检测事件而从系统存储器和/或其他易失性存储器下载的或者是在车辆正常操作期间例行收集的数据的部分。

例如，感测系统可用于收集对象和事件数据，以发送到云服务进行存储分析。如上所述，对象数据还可以被发送到中央处理装置，以与其他对象数据进行比较。

在各种实施例中，感测系统通常可以包括一或多个传感器模块220、处理器230、存储器240和通信装置(例如，发射器250)。除了对象数据之外，还可以收集其他数据以发送到云服务。

在各种实施例中，感测系统可以包括一或多个传感器模块220(本文有时简称为传感器220)，其被配置为收集关于自主车辆200的操作方面的信息，诸如速度、车辆速度、车辆加速度、制动力、制动减速度等。被配置为收集关于操作驾驶特性的信息的代表性传感器可以包括但不限于转速表，例如车速传感器或车轮速度传感器、制动压力传感器、燃料流量传感器、转向角传感器等。

在各种实施例中，感测系统可以附加地或可替代地包括一或多个传感器220，其被配置为收集关于自主车辆200在其中运行的静态环境的信息，诸如车辆周围的物理对象的存在和内容。物理对象包括例如标志和交通信号(例如，停车标志、建筑区、限速标志、停车灯)、道路车道分隔器(例如，实线和虚线车道线)等。被配置为收集此类静态操作环境信息的代表性传感器可以包括面向外的照相机，这些照相机被定位和定向成使得它们各自的视野可以捕捉各自被配置为收集的信息。例如，被配置为捕捉周围标志的照相机可以被配置为朝向自主车辆200的前方或顶部，并且面向前方(例如，笔直向前或者可能向侧面倾斜最多大约45度)，以便在自主车辆200向前行驶时捕捉其视野内的路边和头顶标志/交通信号。

作为另一实例，被配置为捕获道路车道分隔器的照相机可以被定位在自主车辆200的前/后四分之一的侧面或外侧，并且可以稍微向下定向，以便捕获自主车辆200两侧的道路车道分隔器。用于收集静态操作环境信息的附加代表性传感器可以包括接收器，该接收器被配置为从基站或其他发射器接收无线信号，这些无线信号传达通常可以在标志上找到的或以其他方式与自主车辆200的静态操作环境相关的信息。同样地，全球定位系统(GPS)或其他位置相关传感器可以用来收集关于车辆200在其中运行的静态环境的信息，诸如自主车辆200在哪个街道上行驶，该街道是交通动脉(例如，高速公路)还是其他类型，以及该位置是在城市还是农村地区。

在各种实施例中，感测系统可以附加地或可替代地包括一或多个传感器220，该传感器被配置为收集关于自主车辆200在其中运行的动态环境的信息，诸如关于诸如其他附近车辆的移动对象的存在的信息(例如，连同此类车辆的位置、行进方向、速度和加速度/减速率)，以及关于附近行人的存在的类似信息。在一个实施例中，在评估期间，传感器模块612、614可以使用任何前述信息来生成对象数据。

被配置为收集此类动态操作环境信息的代表性传感器可以包括面向外的照相机，这些照相机被定位和定向成使得它们各自的视野可以捕捉各自被配置为收集的信息。例如，面向外的照相机可以围绕自主车辆200的周边定位(例如，在前部、后部、顶部、侧面和/或四分之一处)，以捕捉可以应用诸如车辆识别算法的图像处理技术的图像。附加地或可替代地，一或多个光学传感器(例如，激光雷达、红外)、声波传感器(例如，声纳、超声波)或类似的检测传感器可以被定位在车辆周围，用于测量动态操作环境信息，诸如距离、相对速度、相对加速度以及附近有人驾驶或自主车辆的运动的类似特性。

在各种实施例中，感测系统可以利用通常在大多数自主车辆中发现的那些传感器作为传感器220，诸如但不限于那些被配置用于测量速度、RPM、燃料消耗率和车辆操作的其他特性的传感器，以及那些被配置用于检测车辆附近的其他车辆或障碍物的存在的传感器。传感器220可以附加地或可替代地包含安装在自主车辆200上的售后市场传感器，以便于收集与驾驶风格相关的附加信息。

在各种实施例中，车辆200的感测系统可以进一步包含车载处理器230、车载存储器240和车载发射器250。一般来说，在各种实施例中，处理器230可以被配置为执行存储在存储器240上的指令，用于处理由传感器200收集的信息，用于随后在车辆200外传输。在各种实施例中，车载处理器230可以附加地或可替代地被配置为执行存储在存储器240上的指令，用于处理来自两或更多个传感器220的信息，以产生关于由自主车辆200检测到的对象特性的进一步信息。例如，在一个实施例中，处理器230可以处理操作特性(诸如制动减速度)，以及动态环境特性(诸如跟随距离)，以避免碎片或动物突然出现在道路中。应当认识到，这仅仅是说明性的实例，并且本领域普通技术人员将认识到传感器数据可以由处理器处理以产生关于由自主车辆200检测到的对象的进一步信息的其他方式。

在各种实施例中，处理器230可以被配置为预处理来自传感器220的信息，用于随后经由发射器250的离车传输。预处理活动可以包括将来自传感器220的信息过滤、组织和打包成用于高效无线传输的格式和通信协议中的一种或组合。在此类实施例中，预处理的信息然后可以由发射器250实时地或以周期性间隔发射到车外车辆200，其中它可以由附近的有人驾驶或自主车辆和/或远程服务器接收。应当理解，根据稍后描述的各种实施例，当被配置为将预处理信息直接传输到附近的有人驾驶或自主车辆时，发射器250可以利用短程无线信号(例如，Wi-Fi、蓝牙)，并且当将预处理信息直接传输到远程服务器时，发射器250可以利用长程信号(例如，蜂窝、卫星)。

在一个实施例中，处理器230可以是独立于主机系统操作以自动从车辆200收集数据的存储器装置(例如，存储器装置180)的处理器。

像传感器220一样，在各种实施例中，处理器230和/或车载发射器250可以整体安装在车辆200(例如，汽车计算机、连接的车辆)中，而在其他实施例中，处理器230和/或发射器250可以作为售后市场特征被添加。

图5示出了根据一个实施例的车辆，其包括向中央处理装置618和控制系统731提供数据的传感器模块737。传感器模块737是传感器模块612、614的实例。

根据一个实施例，在一个实施例中，控制系统731用于响应于检测与车辆711相关联的事件而下载数据。在一个实例中，检测到的事件是基于从中央处理装置618接收的信号确定的系统故障。在一个实例中，中央处理装置618从每个传感器模块737接收对象数据。

在一个实例中，控制系统731包括在图3的存储器装置180中，并且下载的数据由存储器装置180收集。

控制系统731还控制车辆的至少一个操作(例如，导航和/或制动)。控制系统731包括一或多个处理器733、非易失性存储器735和包括易失性存储器727的系统存储器729。系统存储器729还可以包括例如存储在其他易失性存储器装置(未示出)中的车辆711的数据。

易失性存储器727可以是例如动态随机存取存储器装置。易失性存储器727用于存储车辆操作期间软件使用的数据，诸如传感器数据(例如，对象数据)和关于控制系统731的操作状态的数据。对象数据例如由传感器模块737收集。

非易失性存储器735用于在检测到事件后存储来自易失性存储器727的数据。非易失性存储器735的实例包括3D XPoint存储器和NAND闪存，以及诸如固态盘的可移动存储器装置。

如上所述，车辆711使用传感器模块737和控制系统731来检测各种事件。这些事件可以包括例如车辆711与对象的碰撞。其他事件可以是系统活动的检测，诸如紧急制动系统激活或传感器数据超过阈值。当检测到事件时，存储在易失性存储器727中的数据被下载到非易失性存储器735。存储的数据的实例包括传感器数据，诸如关于加速度、车辆速度和制动状态的数据、激光雷达和视频输入、位置数据和控制系统状态，诸如指示事件期间执行的软件的操作状态的程序计数器。在一些实施例中，在控制系统731检测到事件之后，在特定的持续时间内(例如，少于五到十秒)执行将易失性数据下载到非易失性数据。

在一个实施例中，车辆711的控制系统731可以被配置为从非易失性存储器中提取事件数据并分析该数据。事件数据是随着事件的检测在下载后被提取的。例如，事件数据可以无线传输到监控车辆711的行驶和操作的中央服务器。

在一个实施例中，仅下载系统存储器729的预定部分。处理器733可以在检测到事件之后确定要下载的预定部分。在另一实施例中，来自系统存储器729的数据可以以基于数据优先级的顺序逐部分下载。优先级可以由控制系统731检测到的事件类型来确定。

图6示出了根据一个实施例的服务器101，其存储从车辆接收的事件数据。在一个实例中，事件数据对应于由中央处理装置确定来自车辆111的传感器模块的对象数据不匹配。例如，车辆111可以使用将对象数据发送到中央处理装置的传感器模块来检测对象155。

在一个实例中，如果检测到车辆111的感测系统故障，则事件数据160(例如，存储在图5的易失性存储器727中)从系统存储器729下载到非易失性存储器735。事件数据160可以包括数据，诸如传感器数据103(从车辆111的传感器模块获得)、位置数据163、与紧急制动系统的激活相关的数据、或者从人工神经网络输出的数据。在操作期间，车辆711收集关于被检测的对象的数据，诸如对象155和对象157。

事件数据160从非易失性存储器中提取，并通过无线通信网络102通信到服务器101。服务器101分析事件数据160以确定感测故障的原因(例如，软件故障)。例如，服务器101可以使用仿真来确定在车辆111上执行的软件是否运行正确。服务器101可以选择要下载用于分析的事件数据160的类型(例如，传感器数据或控制系统状态)。无线通信网络102的一个实例是蜂窝电话网络。

分析通过服务器101从车辆111接收的收集的事件数据。例如，该分析可以包括模式识别或其他数据分析(例如，确定事件数据与其他数据的关联)。

响应于识别软件故障，执行至少一个动作。例如，服务器101可以向车辆111发送通信，使得车辆重新配置软件。

在一个实例中，车辆可以经由到接入点(或基站)105的无线连接115与服务器101通信，以提交事件数据。无线连接115可以经由无线局域网、蜂窝通信网络和/或到卫星109或通信气球的通信链路107来实现。

可选地，车辆111具有自学习能力。在道路上行驶一段时间后，车辆111可以重新配置其软件。在一个实例中，集中式服务器101可以由车辆111的工厂、生产商或制造商或者用于车辆111的自动驾驶和/或高级驾驶员辅助系统的供应商来操作。

图7示出了根据一个实施例的车辆111的实例，其包括传感器模块137并使用人工神经网络(ANN)模型配置。传感器模块137向计算机131提供对象数据。计算机131包括执行中央处理装置角色的处理器和/或软件处理。

车辆111包括信息娱乐系统149、通信装置139、一或多个传感器137以及连接到车辆111的一些控制的计算机131，诸如用于车辆111方向的转向控制141、用于车辆111停止的制动控制143、用于车辆111速度的加速度控制145等。

车辆111的计算机131包括一或多个处理器133、存储固件(或软件)127的存储器135、ANN模型119和其他数据129。

在一个实例中，响应于来自服务器101的响应于识别故障软件而发送的通信，通过空中更新来更新固件127。可替代地和/或附加地，可以更新车辆111的各种计算装置或系统的其他固件。

一或多个传感器137可以包括可见光照相机、红外照相机、激光雷达、雷达或声纳系统和/或外围传感器，其被配置为向计算机131提供传感器输入。在处理器133中执行的固件(或软件)127的模块将传感器输入应用到由模型119定义的ANN，以生成识别或分类在传感器输入中捕获的事件或对象(例如图像或视频剪辑)的输出。如上所讨论的，来自该识别和/或分类的数据可以包括在由存储器装置(例如，存储器装置180)收集的数据中，并从车辆发送到服务器101。

可替代地和/或附加地，固件(或软件)127的自主驱动模块可以使用不安全软件的识别来生成响应。响应可以是激活和/或调节车辆控制141、143和145中的一个的命令。在一个实施例中，响应是由车辆执行的动作，其中该动作已经基于来自服务器101的更新命令被配置(例如，更新命令可以由服务器101响应于基于事件数据的分析确定车辆111的软件故障而生成)。在一个实施例中，在产生控制响应之前，配置该车辆。在一个实施例中，通过更新车辆111的固件来执行车辆的配置。在一个实施例中，车辆的配置包括更新存储在车辆111中的计算机模型(例如，ANN模型119)。

在一个实施例中，服务器101存储接收到的传感器输入作为传感器数据的部分，用于随后使用监督训练模块117进一步训练或更新ANN模型119。当ANN模型119的更新版本在服务器101中可用时，车辆111可以使用通信装置139来下载更新的ANN模型119，用于安装在存储器135中和/或用于替换先前安装的ANN模型119。这些动作可以响应于确定车辆111未能正确检测到对象和/或响应于识别不安全软件来执行。

在一个实例中，在自主驾驶期间，ANN模型119的输出可用于控制(例如，141、143、145)车辆(例如，111)的加速度、车辆111的速度和/或车辆111的方向。

在一个实例中，从车辆的传感器获得的数据可以是使用使用人眼可见的光成像的照相机或者使用红外光成像的照相机或者声纳、雷达或激光雷达系统捕获对象的图像。在一个实施例中，从车辆的至少一个传感器获得的图像数据是从被分析的车辆收集的数据的部分。在某些情况下，基于传感器和其他收集的数据，为特定车辆配置ANN模型。

图8示出了根据一个实施例的确定来自第一传感器模块的对象数据是否对应于来自第二传感器模块的对象数据的方法。例如，第一传感器模块是传感器模块612，第二传感器模块是传感器模块614。例如，图8的方法可以在图1-7的系统中实现。

图8的方法可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，处理装置、电路、专用逻辑、可编程逻辑、微码、装置硬件、集成电路等)、软件(例如，在处理装置上运行或执行的指令)或其组合。在一些实施例中，图8的方法至少部分由中央处理装置618执行。

尽管以特定的顺序或次序示出，除非另有说明，过程的次序可以修改。因此，所示的实施例应该仅被理解为示例，并且所示的过程可以以不同的次序执行，并且一些过程可以并行执行。附加地，在各种实施例中可以省略一或多个过程。因此，并非每个实施例都需要所有的过程。其他过程流程也是可能的。

在框601中，从自主车辆的第一传感器模块接收第一对象数据。例如，中央处理装置618从传感器模块612接收关于对象的位置和/或类型的对象数据。

在框603中，从自主车辆的第二传感器模块接收第二对象数据。例如，中央处理装置618从传感器模块614接收关于对象的位置和/或类型的对象数据。

在框605中，将第一对象数据与第二对象数据进行比较。例如，中央处理装置618基于统计关联将来自传感器模块612、614的对象数据进行比较。

在框607中，基于对象数据的该比较，确定第一对象数据是否对应于第二对象数据。例如，中央处理装置618将统计关联与预定阈值或限度进行比较，以确定来自传感器模块612的对象数据是否对应于(例如，。匹配)来自传感器模块614的对象数据。

在框609中，响应于确定第一对象数据不对应于第二对象数据，执行与自主车辆的操作相关联的动作。例如，中央处理装置618向主机处理装置620发送信号，以引起一或多个车辆系统622的操作的改变。

在一个实施例中，用于自主车辆(例如，自主车辆610)的方法包括：从第一传感器模块(例如，传感器模块612)接收第一对象数据；从第二传感器模块(例如，传感器模块614)接收第二对象数据；将第一对象数据与第二对象数据进行比较；基于第一对象数据与第二对象数据的比较，确定第一对象数据是否对应于第二对象数据；以及响应于确定第一对象数据不对应于第二对象数据，对自主车辆执行动作。

在一个实施例中，第一传感器模块包含被配置为处理来自传感器的原始数据的处理装置。

在一个实施例中，第一对象数据包含由第一传感器模块检测到的对象的位置和对象类型，并且第二对象数据包含由第二传感器模块检测到的对象的位置和对象类型。

在一个实施例中，将第一对象数据与第二对象数据进行比较包含确定第一对象数据与第二对象数据的关联。

在一个实施例中，非暂时性计算机存储介质存储有指令，当在计算装置(例如，中央处理装置618)上执行该指令时，使得计算装置执行自主车辆的方法，该方法包括：从第一传感器模块接收第一对象数据；从第二传感器模块接收第二对象数据；将第一对象数据与第二对象数据进行比较；基于第一对象数据与第二对象数据的比较，确定第一对象数据是否对应于第二对象数据；以及响应于确定第一对象数据不对应于第二对象数据，执行与自主车辆相关联的动作。

在一个实施例中，处理装置控制自主车辆的导航，并且执行包含使处理装置改变自主车辆的导航路径的动作。

在一个实施例中，自主车辆包含：第一传感器模块，其包含第一传感器(例如，传感器624)和第一处理装置(例如，处理器626)，其中第一处理装置评估来自第一传感器的传感器数据(例如，图2中的原始数据)以提供第一对象数据；第二传感器模块，其包含第二传感器和第二处理装置，其中第二处理装置评估来自第二传感器的传感器数据以提供第二对象数据；中央处理装置，其被配置为接收由自主车辆的传感器模块提供的对象数据；以及存储指令的存储器，其被配置为指示中央处理装置以：接收第一对象数据；接收第二对象数据；将第一对象数据与第二对象数据进行比较；基于比较，确定第一对象数据是否对应于第二对象数据；并且响应于确定第一对象数据不对应于第二对象数据，执行与自主车辆的操作相关联的动作。

在一个实施例中，第一对象数据包括从多个对象类型中选择的对象类型。

在一个实施例中，第一传感器模块进一步包括存储用于神经网络(例如，神经网络632)的数据的第一存储器(例如，存储器628)，并且第一处理装置使用神经网络来评估来自第一传感器的传感器数据。

在一个实施例中，将第一对象数据与第二对象数据进行比较包含执行第一对象数据与第二对象数据的统计关联。

在一个实施例中，指令被进一步配置为指示中央处理装置基于来自除第一传感器和第二传感器之外的至少一个传感器的传感器数据来确定自主车辆的情境，并且确定第一对象数据是否对应于第二对象数据部分地基于情境。

在一个实施例中，自主车辆进一步包含主机处理装置，执行动作包含向主机处理装置发送信号，并且发送信号使得主机处理装置改变自主车辆的车辆系统的配置。

在一个实施例中，第一传感器是激光雷达或雷达传感器，并且第二传感器是照相机。

在一个实施例中，第一处理装置是片上系统、现场可编程门阵列、图形处理单元或专用集成电路。

在一个实施例中，第一对象数据包含由第一传感器模块检测到的对象的位置，第二对象数据包含由第二传感器模块检测到的对象的位置。

在一个实施例中，确定第一对象数据是否对应于第二对象数据包含将第一对象数据匹配第二对象数据的次数与阈值进行比较。

在一个实施例中，指令被进一步配置为指示中央处理装置以确定自主车辆的当前时间对应于白天还是夜间，并且阈值是白天期间的第一阈值，并且是夜间期间的第二阈值。

在一个实施例中，阈值是比较总数的预定百分比。

在一个实施例中，执行与自主车辆的操作相关联的动作包含发送信号，该信号使得自主车辆的主机处理装置执行第一传感器模块或第二传感器模块中的至少一个的诊断测试。

在一个实施例中，第一对象数据包括第一类型的检测对象，其中第二对象数据包括第二类型的检测对象，并且将第一对象数据与第二对象数据进行比较包含将第一类型与第二类型进行比较。

在一个实例中，中央或主机处理装置可以是一或多个诸如微处理器、中央处理单元等的通用处理装置。更具体地，中央或主机处理装置可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、或实现其他指令集的处理器、或实现指令集组合的处理器。中央或主机处理装置还可以是一或多个诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器等的专用处理装置。中央或主机处理装置被配置为执行用于执行本文讨论的操作和步骤的指令。

图9示出了根据一个实施例的自主车辆303，其响应于确定来自车辆的第一传感器模块的对象数据不对应于来自车辆的第二传感器模块的对象数据而被控制和/或配置。传感器模块306提供用于与中央处理装置618进行比较的对象数据。传感器模块306是传感器模块612、614的实例。

基于比较来自传感器模块306的对象数据，中央处理装置618向控制器307发送信号。控制器307是主机处理装置620的实例。在一个实例中，响应于接收到信号，控制器307使得在一或多个显示装置308上向用户显示。在一个实例中，显示器在用户界面中呈现向用户指示已经检测到故障的信息。在一个实例中，呈现指示被识别为故障的部件。显示装置308是车辆系统622的实例。

存储器309存储计算机模型312和训练数据314。计算机模型312是神经网络632的实例。在一个实例中，计算机模型312和/或训练数据314用于配置和/或更新一或多个传感器模块306。在一个实例中，从服务器301接收对计算机模型312和/或训练数据314的更新。

车辆303的系统包括显示装置308或其他装置、系统或部件。在一个实例中，控制器307包括在存储器装置180中，并且控制器307控制来自车辆303的各种系统的数据的收集。

服务器301可以存储例如由控制器307收集并发送到服务器301的事件数据160。事件数据可以包括由中央处理装置618提供的对象数据。

服务器301可以使用事件数据160和/或由中央处理装置618提供的其他数据来确定车辆303的传感器部件和/或传感器软件(例如，在中央处理装置618上执行的软件)操作不正确。响应于该确定，服务器301可以使控制器307终止自主导航模式。可以响应于该确定执行其他动作，包括例如通过更新固件304、更新计算机模型312、更新数据库310中的数据和/或更新训练数据314来配置车辆303。

控制器307可以接收由一或多个传感器模块306收集的数据。传感器模块306可以例如安装在自主车辆303中。传感器模块306可以包括例如照相机、麦克风、运动检测器和/或照相机。传感器模块的至少部分可以提供与车辆303在行驶期间新检测到的对象相关联的数据。

传感器模块306可以提供各种类型的数据供控制器307和/或中央处理装置618收集。例如，收集的数据可以包括来自照相机的图像数据和/或来自麦克风的音频数据。

在一个实施例中，中央处理装置618和/或控制器307分析从传感器模块306收集的数据。对收集的数据的分析包括将一些或所有收集的数据作为一或多个输入提供给计算机模型312。计算机模型312可以是例如通过深度学习训练的人工神经网络。在一个实例中，计算机模型是使用训练数据314训练的机器学习模型。计算机模型312和/或训练数据314可以存储在例如存储器309中。来自计算机模型312的输出可以作为对象数据的部分传输到服务器301。

在一个实施例中，存储器309存储数据库310，该数据库可以包括由传感器模块306收集的数据和/或由通信接口305从计算装置(例如，服务器301)接收的数据。在一个实例中，该通信可用于将收集的数据从传感器模块306无线传输到服务器301。接收的数据可以包括配置、训练和用于配置控制器307对显示装置308或其他车辆系统的控制的其他数据。接收的数据还可以用于更新作为计算机模型312存储在存储器309中的机器学习模型的配置。

在一个实施例中，固件304控制例如控制器307在控制车辆303的部件中的操作。控制器307还可以例如运行固件304，以响应于来自服务器301的通信来执行操作。自主车辆303包括易失性动态随机存取存储器(DRAM)311，用于存储控制器307使用的运行时数据和指令。运行时数据和/或指令可以是响应于检测到事件而下载的数据的部分。

本文公开的系统和方法的至少一些实施例可以使用由控制器或处理器执行的计算机指令(例如，固件)来实现。在一些情况下，硬件电路可以用于实现固件的至少一些功能。固件最初可以存储在非易失性存储介质或另一非易失性装置中，并加载到易失性DRAM和/或处理器内高速缓冲存储器中以供执行。在一个实例中，固件可以被配置为控制对来自车辆的数据的收集。

图10是包括一或多个各种部件和/或子系统的自主车辆(例如，车辆610)的框图，在各种实施例中，每个部件和/或子系统可以更新以配置车辆和/或执行与车辆相关联的其他动作(例如，改变车辆系统的操作、更新配置和/或响应于基于由传感器模块提供的对象数据的比较识别传感器相关故障而执行的其他动作)。图10中所示的系统可以完全安装在车辆内。

系统包括自主车辆子系统402。子系统402是图1的车辆系统622的实例。在所示实施例中，自主车辆子系统402包括地图数据库402A、雷达装置402B、激光雷达装置402C、数码相机402D、声纳装置402E、GPS接收器402F和惯性测量单元402G。自主车辆子系统402的每个部件包含在大多数当前自主车辆中提供的标准部件。在一个实施例中，地图数据库402A存储用于路线选择和导航的多个高清晰度三维地图。雷达装置402B、激光雷达装置402C、数码相机402D、声纳装置402E、GPS接收器402F和惯性测量单元402G可以包含安装在整个自主车辆的多个位置的各个相应装置，如本领域已知的。例如，这些装置可以沿自主车辆的周边安装，以提供位置感知、碰撞避免和其他标准的自主车辆功能。

另外，车辆子系统406包括在系统内。车辆子系统406包括各种防抱死制动系统406A、发动机控制单元402B和传输控制单元402C。这些部件可用于响应于由自主车辆子系统402A生成的流数据来控制自主车辆的操作。自主车辆子系统402和车辆子系统406之间的标准自主车辆交互在本领域中是公知的，在此不再详细描述。

系统的处理侧包括一或多个处理器410、短期存储器412、RF系统414、图形处理单元(GPU)416、长期存储418和一或多个接口420。

一或多个处理器410可以包含中央处理单元、FPGA或支持自主车辆操作所需的任何范围的处理装置。存储器412包含DRAM或其他合适的易失性RAM，用于临时存储处理器410所需的数据。RF系统414可以包含蜂窝收发器和/或卫星收发器。长期存储418可以包含一或多个高容量固态驱动器(SSD)。一般而言，长期存储418可用于存储例如高清晰度地图、路线数据以及任何其他需要永久或半永久存储的数据。GPU 416可以包含一或多个高吞吐量GPU装置，用于处理从自主车辆子系统402A接收的数据。最后，接口420可以包含定位在自主车辆内的各种显示单元(例如，内置式屏幕)。

另外，系统包括报告子系统404，其执行数据收集(例如，从用于驱动车辆的车辆传感器获得的数据的收集)。报告子系统404包括连接到总线408的传感器监控404A，并且记录在总线408上传输的传感器数据以及在总线上传输的任何日志数据。另外，报告子系统404可以包括一或多个端点，以允许系统部件将日志数据直接传输到报告子系统404。

另外，报告子系统404包括打包器404B。在一个实施例中，打包器404B从传感器监控404A或端点检索数据，并打包原始数据以传输到中央系统(如图11中所示)。在一些实施例中，打包器404B可以被配置为以周期性的时间间隔打包数据。可替代地，或者结合前述，打包器404B可以实时传输数据，并且可以压缩数据以促进与中央系统的实时通信。

另外，报告子系统404包括批处理器404C。在一个实施例中，批处理器404C被配置为在传输之前对记录的数据执行任何预处理。例如，批处理器404C可以在由打包器404B打包之前对数据执行压缩操作。在另一实施例中，批处理器404C可以被配置为过滤记录的数据，以在打包或传输之前移除无关数据。在另一实施例中，批处理器404C可以被配置为对记录的数据执行数据清理，以使原始数据符合适于由中央系统进一步处理的格式。

每个装置经由总线408连接。总线408是图3的总线174的实例。在一个实施例中，总线408可以包含控制器局域网(CAN)总线。在一些实施例中，可以使用其他总线类型(例如，FlexRay或MOST总线)。另外，每个子系统可以包括一或多个附加总线来处理内部子系统通信(例如，用于较低带宽通信的LIN总线)。

图11是根据各种实施例的集中式自主车辆操作系统的框图。如图所示，系统包括多个自主车辆502A-502E。每个车辆都是车辆610的实例。

在一个实施例中，每个自主车辆可以包含诸如图10中所示的自主车辆。每个自主车辆502A-502E可以经由网络516与中央系统514通信。在一个实施例中，网络516包含诸如互联网的全球网络。在一个实例中，使用服务器101或301中的一或多个来实现中央系统514。

另外，系统包括多个客户端装置508A、508B。在所示实施例中，客户端装置508A、508B可以包含任何个人计算装置(例如，膝上型电脑、平板电脑、移动电话等)。客户端装置508A、508B可以从中央系统514发出数据请求。在一个实施例中，如前所述，客户端装置508A、508B发送数据请求以支持移动应用或网页数据。

在一个实施例中，中央系统514包括多个服务器504A。在一个实施例中，服务器504A包括被配置为向客户端装置508A、508B提供响应的多个前端网络服务器。另外，服务器504A可以包括一或多个应用服务器，其被配置为执行各种操作来支持一或多个车辆。

另外，在一个实施例中，中央系统514包括多个模型504B。在一个实施例中，模型504B可以存储一或多个用于对自主车辆对象进行分类的神经网络。另外，模型504B可以包括用于预测未来事件的模型。在一些实施例中，模型504B可以存储神经网络和其他机器学习模型的组合。

另外，中央系统514包括一或多个数据库504C。数据库504C可以包括车辆504D、个性504E和原始数据504F的数据库记录。如前所述，原始数据504F可以包含用于存储从传感器和日志接收的原始数据的非结构化数据库。

本公开包括执行上述方法的方法和装置，包括执行这些方法的数据处理系统，以及包含当在数据处理系统上执行时使系统执行这些方法的指令的计算机可读介质。

上述车辆的服务器和/或计算装置可以实现为一或多个数据处理系统。典型的数据处理系统可以包括包括将微处理器和存储器互连的互连(例如，总线和系统核心逻辑)。微处理器通常耦合到高速缓冲存储器。

互连将微处理器和存储器互连在一起，并且还经由输入/输出(I/O)控制器将它们互连到I/O装置。I/O装置可以包括显示装置和/或外围装置，诸如鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、摄像机和本领域已知的其他装置。在一个实施例中，当数据处理系统是服务器系统时，一些I/O装置(诸如打印机、扫描仪、鼠标和/或键盘)是可选的。

互连可以包括通过各种桥、控制器和/或适配器相互连接的一或多条总线。在一个实施例中，I/O控制器包括用于控制USB(通用串行总线)外围装置的USB适配器，和/或用于控制IEEE-1394外围装置的IEEE-1394总线适配器。

存储器可以包括以下一或多个：ROM(只读存储器)、易失性RAM(随机存取存储器)和非易失性存储器，诸如硬盘、闪存等。

易失性RAM通常实现为动态RAM(DRAM)，其需要持续供电以刷新或保持存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁性光驱、光驱(例如，DVD RAM)或即使在系统断电后也能保持数据的其他类型的存储器系统。非易失性存储器也可以是随机存取存储器。

非易失性存储器可以是直接耦合到数据处理系统中其余部件的本地装置。也可以使用远离系统的非易失性存储器，诸如通过诸如调制解调器或以太网接口的网络接口耦合到数据处理系统的网络存储器装置。

在本公开中，一些功能和操作被描述为由软件代码执行或引起，以简化描述。然而，此类表达还用于指定由诸如微处理器的处理器执行代码/指令而产生的功能。

可替代地，或者组合地，本文描述的功能和操作可以使用专用电路来实现(有或没有软件指令)，诸如使用专用集成电路(ASIC)或现场可编程门阵列(FPGA)。实施例可以使用没有软件指令的硬连线电路来实现，或者结合软件指令来实现。因此，这些技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定来源。

虽然一个实施例可以在全功能计算机和计算机系统中实现，但是各种实施例能够以各种形式作为计算产品分布，并且能够被应用，而不管用于实际实现分布的机器或计算机可读介质的特定类型。

所公开的至少一些方面可以至少部分地体现在软件中。也就是说，响应于其处理器(诸如微处理器)，这些技术可以在计算机系统或其他数据处理系统中实施，执行包含在存储器(诸如ROM、易失性RAM、非易失性存储器、高速缓冲或远程存储器装置)中的指令序列。

被执行以实现实施例的例程可以被实现为操作系统或被称为“计算机程序”的特定应用、部件、程序、对象、模块或指令序列的部分。计算机程序通常包括在不同时间设置在计算机的不同存储器和存储装置中的一或多个指令，并且当被计算机中的一或多个处理器读取和执行时，使得计算机执行对执行涉及各个方面的元件所必需的操作。

机器可读介质可用于存储软件和数据，当数据处理系统执行这些软件和数据时，会使系统执行各种方法。可执行的软件和数据可以存储在不同的地方，包括例如ROM、易失性RAM、非易失性存储器和/或高速缓冲。该软件和/或数据的部分可以存储在这些存储装置中的任何一个中。进一步，数据和指令可以从集中式服务器或对等网络获得。数据和指令的不同部分可以在不同时间、不同通信会话或相同通信会话中从不同的集中式服务器和/或对等网络获得。数据和指令可以在应用程序执行之前全部获得。可替代地，当需要执行时，可以动态地、及时地获得部分数据和指令。因此，在特定时刻，不要求数据和指令全部在机器可读介质上。

计算机可读介质的实例包括但不限于非暂时性、可记录和不可记录类型的介质，诸如易失性和非易失性存储器装置、只读存储器(ROM)、随机存取存储器(RAM)、闪存装置、软盘和其他可移动磁盘、磁盘存储介质、光存储介质(例如，光盘只读存储器(CD ROM)、数字多功能盘(DVD)等)等。计算机可读介质可以存储指令。

指令还可以在用于电、光、声或其他形式的传播信号(诸如载波、红外信号、数字信号等)的数字和模拟通信链路中实现。然而，传播信号(诸如载波、红外信号、数字信号等)不是有形的机器可读介质并且没有被配置为存储指令。

通常，机器可读介质包括以机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)可访问的形式提供(即，存储和/或传输)信息的任何机制。

在各种实施例中，可以结合软件指令使用硬连线电路来实现该技术。因此，该技术既不限于硬件电路和软件的任何特定组合，也不限于由数据处理系统执行的指令的任何特定来源。

以上描述和附图是说明性的，不应被解释为限制性的。描述了许多具体细节以提供透彻的理解。然而，在某些情况下，没有描述众所周知的或常规的细节以避免模糊描述。本公开中对一或一个实施例的引用不一定是对相同的实施例的引用；并且，此类引用意味着至少一个。

在前述说明书中，已经参考其特定示例性实施例描述了本公开。显而易见的是，在不脱离所附权利要求中阐述的更广泛的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图被认为是说明性的，而不是限制性的。

Claims

1.一种自主车辆，所述自主车辆包含：

第一传感器模块，所述第一传感器模块包含第一传感器和第一处理装置，其中所述第一处理装置评估来自所述第一传感器的传感器数据以提供第一对象数据；

第二传感器模块，所述第二传感器模块包含第二传感器和第二处理装置，其中所述第二处理装置评估来自所述第二传感器的传感器数据以提供第二对象数据；

中央处理装置，所述中央处理装置被配置为接收由所述自主车辆的传感器模块提供的对象数据；以及

存储指令的存储器，所述指令被配置为指示所述中央处理装置以：

接收所述第一对象数据；

接收所述第二对象数据；

将所述第一对象数据与所述第二对象数据进行比较；

基于所述比较，确定所述第一对象数据是否对应于所述第二对象数据；以及

响应于确定所述第一对象数据不对应于所述第二对象数据，执行与所述自主车辆的操作相关联的动作。

2.根据权利要求1所述的自主车辆，其中所述第一对象数据包括从多个对象类型中选择的对象类型。

3.根据权利要求2所述的自主车辆，其中所述第一传感器模块进一步包括存储用于神经网络的数据的第一存储器，并且其中所述第一处理装置使用所述神经网络来评估来自所述第一传感器的所述传感器数据。

4.根据权利要求1所述的自主车辆，其中将所述第一对象数据与所述第二对象数据进行比较包含执行所述第一对象数据与所述第二对象数据的统计关联。

5.根据权利要求1所述的自主车辆，其中所述指令被进一步配置为指示所述中央处理装置基于来自除所述第一传感器和所述第二传感器之外的至少一个传感器的传感器数据来确定所述自主车辆的情境，并且其中确定所述第一对象数据是否对应于所述第二对象数据部分地基于所述情境。

6.根据权利要求1所述的自主车辆，进一步包含主机处理装置，其中执行所述动作包含向所述主机处理装置发送信号，并且其中发送所述信号使得所述主机处理装置改变所述自主车辆的车辆系统的配置。

7.根据权利要求1所述的自主车辆，其中所述第一传感器是激光雷达或雷达传感器，并且所述第二传感器是照相机。

8.根据权利要求1所述的自主车辆，其中所述第一处理装置是片上系统、现场可编程门阵列、图形处理单元或专用集成电路。

9.根据权利要求1所述的自主车辆，其中所述第一对象数据包含由所述第一传感器模块检测到的对象的位置，并且所述第二对象数据包含由所述第二传感器模块检测到的对象的位置。

10.根据权利要求1所述的自主车辆，其中确定所述第一对象数据是否对应于所述第二对象数据包含将所述第一对象数据匹配所述第二对象数据的次数与阈值进行比较。

11.根据权利要求10所述的自主车辆，其中所述指令被进一步配置为指示所述中央处理装置以确定所述自主车辆的当前时间对应于白天还是夜间，并且其中所述阈值是所述白天期间的第一阈值，并且是所述夜间期间的第二阈值。

12.根据权利要求10所述的自主车辆，其中所述阈值是比较总数的预定百分比。

13.根据权利要求1所述的自主车辆，其中执行与所述自主车辆的操作相关联的所述动作包含发送信号，所述信号使得所述自主车辆的主机处理装置执行所述第一传感器模块或所述第二传感器模块中的至少一个的诊断测试。

14.根据权利要求1所述的自主车辆，其中所述第一对象数据包括第一类型的检测对象，其中所述第二对象数据包括第二类型的检测对象，并且其中将所述第一对象数据与所述第二对象数据进行比较包含将所述第一类型与所述第二类型进行比较。

15.一种用于自主车辆的方法，所述方法包含：

从第一传感器模块接收第一对象数据；

从第二传感器模块接收第二对象数据；

将所述第一对象数据与所述第二对象数据进行比较；

基于所述第一对象数据与所述第二对象数据的比较，确定所述第一对象数据是否对应于所述第二对象数据；以及

响应于确定所述第一对象数据不对应于所述第二对象数据，为所述自主车辆执行动作。

16.根据权利要求15所述的方法，其中所述第一传感器模块包含被配置为处理来自传感器的原始数据的处理装置。

17.根据权利要求15所述的方法，其中所述第一对象数据包含由所述第一传感器模块检测到的对象的位置和对象类型，并且所述第二对象数据包含由所述第二传感器模块检测到的对象的位置和对象类型。

18.根据权利要求15所述的方法，其中所述第一对象数据对应于由所述第一传感器模块的传感器检测到的对象，所述第二对象数据对应于由所述第二传感器模块的传感器检测到的对象，并且将所述第一对象数据与所述第二对象数据进行比较包含确定所述第一对象数据和所述第二对象数据之间的统计匹配。

19.根据权利要求18所述的方法，其中确定所述第一对象数据是否对应于所述第二对象数据包含确定在所述第一对象数据和所述第二对象数据之间是否保持统计检测关系。

20.根据权利要求19所述的方法，其中为所述自主车辆执行所述动作包含以下至少一项：

触发安全危险信号；

向乘客提供警报；

向监控包括所述自主车辆在内的多个车辆的车辆操作的中央服务器发送通信；

禁用所述自主车辆的自主操作模式；

要求人员接管对所述自主车辆的控制；或者

自动停止所述自主车辆。