CN114435351A - 用于基于神经网络的自动驾驶的系统和方法 - Google Patents

Abstract

提供了一种用于车辆的自动驾驶的系统和相应的方法。系统包括生成被用于控制自动驾驶的至少一个输出的至少一个神经网络NN。系统还包括将整批传感器数据路由到至少一个NN的主数据路径，和相对于主数据路径具有减少的时延的低时延数据路径。低时延数据路径将有限传感器数据路由到至少一个NN，至少一个NN被配置为依次采用有限传感器数据以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出。改善至少一个NN对整批传感器数据的处理的性能使得系统能够例如较快地标识安全危害，使得自动驾驶能够转向车辆以及避免接触安全危害。

Description

用于基于神经网络的自动驾驶的系统和方法

背景技术

自动车辆是能够感知自身环境以及利用很少或没有用户输入导航的车辆。自动车辆使用传感器设备检测自身环境，诸如相机，范围(例如，雷达，激光雷达等)传感器，等等。自动车辆也可以使用定位系统的信息(诸如，但不限于，全球定位系统(GPS)、导航系统、车辆到车辆通信、车辆基础设施技术和/或无线系统)以导航车辆，即，执行自动驾驶。

自动驾驶从科幻小说的领域快速移动到成为可达成的现实。高级驾驶辅助系统(“ADAS”)存在以尝试自动化，适应以及增强车辆以用于安全以及更好的驾驶。车辆越来越多地假设驾驶功能的控制，诸如转向，加速以及制动，以及这种自动车辆监视显示周围环境以及驾驶条件以响应事件，诸如，通过所需改变车道或加速/减速以躲避交通，横穿马路的行人，动物，等等。

发明内容

根据示例实施例，用于自动驾驶的系统包括至少一个神经网络(NN)，被配置为生成用于控制自动驾驶的至少一个输出，系统还包括主数据路径，被配置为将整批传感器数据路由到至少一个NN以及低时延数据路径，低时延数据路径具有相对主数据路径的减少的时延。低时延数据路径被配置为将有限传感器数据路由到至少一个NN，至少一个NN被配置为依次采用有限传感器数据以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出。

有限传感器数据相对于整批传感器数据的数量较少，相对于整批传感器数据更粗糙，或其组合。

相对于在不处理经由在整批传感器数据之前的低时延数据路径接收的有限传感器数据的情况下，基于处理整批传感器数据，生成至少一个输出，有限传感器数据使得至少一个NN能够更快地或者以改善的准确性生成至少一个输出。

有限传感器数据包括由至少一个传感器提供的并且与车辆的环境相关的，无线电检测和测距(雷达)数据、光检测和测距(激光雷达)数据、图像数据、音频数据、触觉数据或其组合，车辆由自动驾驶控制。可以理解，然而，有限传感器数据不限于包括雷达数据、激光雷达数据、图像数据、音频数据、触觉数据或其组合

整批传感器数据、有限传感器数据或者其组合的至少一部分由以下各项提供：雷达传感器、激光雷达传感器、声音导航以及测距(声呐)传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器，定位系统(诸如全球定位系统(GPS)，但不限于此)、加速度计、速度传感器、麦克风或其组合。可以理解，然而，整批传感器数据、有限传感器数据或者其组合的至少一部分不限于由上述提及的传感器或其组合提供。

系统还可以包括推断引擎以及决策做出引擎。推断引擎可以包括至少一个NN。至少一个输出可以是从推断引擎至决策引擎的至少一个NN输出的。

决策做出引擎可以被配置为基于生成的至少一个输出，做出用于控制自动驾驶的至少一个决策。

主数据路径可以包括至少一个动态随机读取存储器(DRAM)，被配置为在整批传感器数据被路由到至少一个NN之前，存储整批传感器数据。

主数据路径还可以包括至少一个处理电路，被配置为在整批传感器数据被存储在至少一个DRAM中之前，处理整批传感器数据。

至少一个处理电路是至少一个第一处理电路，其中主数据路径还包括至少一个第二处理电路，至少一个第二处理电路布置在至少一个DRAM和至少一个NN之间，至少一个第二处理电路被配置为在整批传感器数据从至少一个DRAM被路由到至少一个NN之前，处理整批传感器数据、滤波整批传感器数据，或其组合。

低时延数据路径包括至少一个静态随机存取存储器SRAM，被配置为在有限传感器数据被路由到至少一个NN之前，存储有限传感器数据。可以理解至少一个SRAM不限于是(多个)SRAM芯片以及可以被实现于各种方式。例如，根据非限制性示例实施例，至少一个SRAM可以经由在专用集成电路(ASIC)上的、与至少一个NN一起集成的多个触发器或(多个)其他SRAM逻辑/电路来实现。

至少一个NN可以包括至少一个第一NN和至少一个第二NN，其中主数据路径被配置为将整批传感器数据路由到至少一个第一NN，并且其中低时延数据路径被配置为将有限传感器数据路由到至少一个第二NN。

至少一个第二NN小于至少一个第一NN，并且相对于至少一个第一NN执行得更快。

低时延数据路径包括至少一个SRAM，被配置为在有限传感器数据被路由到至少一个第二NN之前，存储有限传感器数据。

至少一个第二NN的输出层被耦合到至少一个第一NN的输入层以提供从至少一个第二NN的输出层到至少一个第一NN的输入层的处理反馈。

至少一个输出包括至少一个第一输出和至少一个第二输出，至少一个第一NN被配置为生成至少一个第一输出，至少一个第二NN被配置为生成至少一个第二输出，至少一个第二输出被用于控制自动驾驶，或者引起对控制提供整批传感器数据的至少一部分的至少一个传感器至少一个参数的改变。

根据另一示例性实施例，用于自动驾驶的方法包括由至少一个神经网络NN生成被用于控制自动驾驶的至少一个输出，方法还包括采用经由低时延数据路径接收的有限传感器数据，以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出，整批传感器数据经由主数据路径被路由到至少一个NN，有限传感器数据经由相对于主数据路径具有减少的时延的低时延路径被路由到至少一个NN。

结合示例系统实施例，备选的方法实施例与这些上述的实施例并行。

根据另一示例实施例，用于自动驾驶的非瞬态计算机可读介质可以具有在其上编码的指令序列，指令序列在由至少一个处理器加载以及执行时，使至少一个处理器实现至少一个神经网络NN，NN被配置为：生成被用于控制自动驾驶的至少一个输出；以及至少一个NN被配置为：采用经由低时延数据路径接收的有限传感器数据，以改善至少一个NN对整批传感器数据的处理的性能，以用于生成至少一个输出，整批传感器数据经由主数据路径被路由到至少一个NN，有限传感器数据经由相对于主数据路径具有减少的时延的低时延路径被路由到至少一个NN。

结合示例系统实施例，备选的非瞬态计算机可读介质实施例和与这些上述的实施例并行。

根据又一示例性实施例，用于自动驾驶的系统包括用于执行生成用于控制自动驾驶的至少一个输出的神经网络处理的部件，以及用于针对神经网络处理路由整批传感器数据的部件，以及用于路由有限传感器数据的部件，其中有限传感器数据具有相对于整批传感器数据的路由的减少的时延，执行包括采用有限传感器数据以改善神经网络对整批传感器数据的处理的性能，以用于生成至少一个输出。

可以理解，在本文中公开的示例实施例可以以方法、装置、系统，或在其上具有程序代码的计算机可读介质的形式实现。

附图说明

上述内容从下面的更特定的示例性实施例的描述将变得明显，如在附图中图示的，其中相似的参考标记指通过不同视角的相同的部分。附图不必按比例绘制，而重点在图示实施例。

图1A是环境的示例性实施例的框图，在其中自动车辆由用于自动驾驶的系统驾驶。

图1B是图1A中的系统的示例性实施例的框图。

图2是用于自动驾驶的系统的示例性实施例的框图。

图3是主数据路径和低时延数据路径的示例性实施例的框图。

图4是用于自动驾驶的方法的示例性实施例的流程图。

图5是在本文公开的实施例内的可选地计算机的示例性内部结构的框图。

具体实施方式

以下是示例性实施例的描述。

应当理解，尽管自动车辆可以在本文中作为自驾驶车辆被示出以及描述，但是本文中公开的自动车辆或自动驾驶的示例性实施例不限于自驾驶汽车或其自动驾驶。例如，自动车辆可以是自动飞行器、自动船、自动水下车辆、自动飞船、自动设备，等等。

自动驾驶的挑战是，对于自动车辆，探测以及分类在它周围环境中的对象与人类一样或优于人类。人类擅于利用非常复杂的人类视觉以及音频系统识别以及感知他们周边的世界，包括下面的功能性部分：眼睛、耳朵以及大脑。在自动驾驶技术中，眼睛以及耳朵可以包括多种传感器的组合，诸如相机、雷达、以及激光雷达传感器，耳朵可以包括麦克风，而大脑可以涉及多个人工智能，机器学习，以及深度学习系统。自动驾驶的目标是具有在实时和类似人类智能中的动态、快速运动的环境的全部理解以响应在环境中的变化，诸如，下文所公开的，图1A中的自动车辆95的环境90。

图1A是环境90的示例性实施例，在其中驾驶自动车辆95。在示例性实施例中，自动车辆95是自驾驶车辆。然而可以理解，自动车辆的示例性实施例不限于自驾驶车辆。自动车辆95被用于自动驾驶的系统100驾驶。系统100采用传感器(未示出)以收集传感器数据。传感器可以被共同处于一地或地理地分散。一部分传感器可以在相对于自动车辆95的远程位置处或被安装到自动车辆95，或作为自动车辆95的结构的一部分被集成。

通常，传感器被采用以收集关于自动车辆95的环境以及自动车辆95本身的状态的传感器数据。可以理解，传感器数据可以被车辆外收集，以及被自动车辆95经由无线连接接收。这种车辆外传感器数据可以由另一车辆收集(未示出)或由服务器提供(未示出)。系统100基于传感器数据，提供用于自动车辆95的各种动作的控制(例如，转向、加速、减速，等等)。系统100可以采用传感器数据以检测在环境90中的对象，以及可以基于此，提供自动车辆95的各种动作的控制。

这些对象可以包括但不限于在环境中的架构元件，诸如路、墙、建筑、道路中心中央分隔带、道路缺陷、桥梁、隧道等，以及其他对象，诸如车辆、行人、旁观者、骑行者、植物、树木、动物等。这些各种动作的控制可以基于对这些物体的(多个)特性的观察，诸如形状、(多个)维度、方位、近似性、纹理(例如，光滑、粗糙、湿、干、结冰，等等)、眼睛注视、速度、加速\减速，等等，和/或环境90本身的(多个)特性，诸如，能见度水平，天气条件，等等。

例如，系统100可以采用这样的传感器数据以检测在路98中的凹洞103a，这引起系统100以避免接触自动车辆95的方式操纵自动车辆95。系统100可以采用这样的传感器数据以检测骑行者103b，以及通过进一步检测由骑行者103b做出的左转向信号105来预测骑行者103b将穿过自动车辆95的路径。响应于这种检测，系统100可以做出决策以放慢自动车辆95以避免骑行者103b接触自动车辆95。系统100可以采用这样的传感器数据以检测桥梁103c，以及当自动车辆95接近桥梁103c时可以减小自动车辆95的速度。这种速度上的减小可以由于被系统100做出的预测，即桥梁103c的地形可能是粗糙的。

这种对象的检测可以由至少一个神经网络(NN)执行，诸如图1B的至少一个NN102，在下文进一步公开，NN 102接收收集的传感器数据。根据示例性实施例，至少一个NN的性能通过采用到至少一个NN的有限传感器数据的低时延数据路径，以及对于整批传感器数据到至少一个NN的主数据路径被改善。有限传感器数据在整批传感器数据之前到达至少一个NN，以总体改善对系统100的的响应，诸如关于图1B在下面公开的。

图1B是图1A中的系统100的示例性实施例的框图。系统100包括至少一个神经网络(NN)102，被配置为生成被用于控制自动驾驶的至少一个输出104。至少一个NN 102可以是卷积神经网络(CNN)、递归神经网络(RNN)或其组合。应当理解，至少一个NN 102不限于CNN，RNN或其组合，并且可以是任何合适的人工神经网络(ANN)或神经网络的组合。

根据示例性实施例，系统100还包括主数据路径106，被配置为将整批传感器数据108路由到至少一个NN 102以及低时延数据路径110，低时延数据路径110具有相对于主数据路径106的减少的延迟。低时延数据路径110被配置为将有限传感器数据112路由到至少一个NN 102，NN 102被配置为依次采用有限传感器数据112以改善至少一个NN对整批传感器数据108的处理的性能，以用于生成至少一个输出104，因此改善系统100在其中的环境90的事件的响应。根据示例性实施例，至少一个输出104可以表示用于控制自动驾驶的决策。备选地，至少一个输出104可以被传送到另一学习系统(未示出)，另一学习系统可以做出用于控制自动驾驶的决策。

有限传感器数据112在整批传感器数据112之前被提供到至少一个NN 102，以改善响应，以及至少一个NN 102做出的决策。为了聚焦于具有更多细节的对象(即，具有增加的分辨率)，有限传感器数据112可以被用于细化图像捕捉的方向，并且可以加速这种更高分辨率图像数据的处理。然而应理解，有限传感器数据112不限于图像数据。对于非限制的示例并且参考图1A，更高的分辨率数据可以使得系统100能够辨别一个接近路98或驾驶另一车辆(未示出)的人(未示出)是否注意到自动车辆95，或和车辆95有眼神接触，以评估碰撞的危险以及可以基于评估的危险调整例如自动车辆95的速度。

有限传感器数据112可以被认为相对于整批传感器108是有限的，因为有限传感器数据112可以被限制为相对于整批传感器数据108具有较少的数量，或可以相对于具有更细的粒度的整批传感器数据108，具有的更粗的粒度。根据示例性实施例，有限传感器数据112可以是传感器数据，该传感器数据相对于其他被包括在整批传感器数据108内的其他传感器数据，被标识为更高的优先级的(例如，更重要)传感器数据。根据示例性实施例，有限传感器数据112可以由传感器的子集提供，传感器子集由整批传感器数据108提供。然而应当理解，有限传感器数据112可以由不提供整批传感器数据108的传感器提供。根据示例性实施例，有限传感器数据112可以被认为是有限的，因为被包括在传感器数据112中的大量传感器读数(例如，测量值)，相对于在给定的时间周期上的整批传感器数据108的大量传感器读数，在给定的时间周期上是较少的。然而，应当理解，有限传感器数据112和整批传感器数据108不限于上述任何特征。

再次参考图1B，有限传感器数据112可以是相对于整批传感器数据108的减少的传感器数据集。整批传感器数据108的处理可以是计算上密集以及耗时的，尽管有限传感器数据112的处理可以相对于整批传感器数据108需要较少的计算循环以及处理时间。这种有限传感器数据112的快速处理可以使得至少一个NN 102优先于整批传感器数据108的传感器数据的第一部分，以用于在整批传感器数据108的第二部分之前处理，以减少用于生成至少一个输出104的时间量，该输出104可以被用于系统100，例如，最终避免在自动车辆的路径中的障碍，诸如如上文所公开的图1中的自动车辆95。

根据示例性实施例，在整批传感器数据108之前，有限传感器数据112被至少一个NN 102处理，这可以使得至少一个NN 102做出由至少一个由输出104表示的决策，引起系统调整传感器的参数以生成整批传感器数据108的传感器数据，参考图1A和图1B的非限制的示例，有限传感器数据112可以包括图像数据，而整批传感器数据108可以包括图像数据以及雷达数据。通过在整批传感器数据108之面接收有限传感器数据112，至少一个NN 102可以较快地检测骑行者103b，以及做出决策以增加捕捉图像数据的分辨率，例如，使得至少一个NN 102能够确定骑行者103b提供左手转向信号105，最终引起系统100较快地做出对左手转向信号105的响应。

对于另一非限制的示例，有限传感器数据112可以是雷达数据以及整批传感器数据108可以包括雷达数据以及其他传感器数据。有限传感器数据112在整批传感器数据108之面到达至少一个NN 102，并且可以引起至少一个NN 102做出决策，例如，调整传送的无线电频率(BF)束以检测对象。这种调整可以使得系统能够较快地检测骑行者130b以避免接触。

返回参考图1B，根据示例性实施例，至少一个NN 102包括至少一个深度NN，即，在输入层和输出层之间具有多层的人工神经网络。至少一个NN 102可以使用至少一个训练数据集(未示出)被训练。至少一个训练数据集可以包括用于自动驾驶的已知的训练数据集，诸如，Astyx Dataset HiRes2019汽车雷达数据集，伯克利深度驾驶数据集，级别5数据集，用于自动驾驶的其他已知的训练数据集，定制的训练数据集，或其组合。

参考图1A和1B，系统100可以在训练模式或操作模式下被操作。在训练模式中，至少一个NN 102可以被训练。例如，系统100可以被部署在自动车辆95中，在训练模式的同时，自动车辆95在自动时可以被人类驾驶员操作。一旦至少一个NN被训练，自动车辆可以被生成自动车辆的环境的数字地图，诸如自动车辆95的环境90，以及在环境90中分类以及标签对象。至少一个输出104可以表示分类的以及标签的对象，被分类以及标签的对象的特性，或基于标签的以及分类的对象的用于控制自动车辆的推荐的动作。

在神经网络训练期间发生的一个问题是过拟合。当过拟合时，训练集的误差被驱动到很小的值，但是当新数据被呈现到神经网络中时，误差较大。神经网络已经记忆了训练示例，但是它没有学习到泛化新状况。根据示例性实施例，在整批传感器数据108之前，提供有限传感器数据112可以防止至少一个NN 102的这种过拟合。

有限传感器数据112可以相对于整批传感器数据108具有较少的数量，相对于整批传感器数据较粗，或二者的组合。有限传感器数据112可以使得至少一个NN 102能够更快地生成至少一个输出104，并且相对于基于不处理经由在整批传感器数据108之面的低时延数据路径接收的有限传感器数据112而生成至少一个输出104，具有改善的准确性。

有限传感器112可以包括雷达数据、激光雷达数据、图像数据、音频数据、触觉数据，或它们的组合，由至少一个传感器(未示出)以及关于自动车辆95的环境90提供，其中自动车辆95被自动驾驶控制。然而，应当理解，有限传感器数据112不限于包括雷达数据、激光雷达数据、图像数据、音频数据、从至少一个触觉传感器获取的触觉数据，或它们的组合。例如，有限传感器数据112可以包括自动车辆95的车轮打滑、其速度、环境90的风速、环境90的温度等。系统100还可以包括推断引擎以及决策做出引擎，诸如图2中的推断引擎222以及决策做出引擎224，在下文公开。

图2是可以被上文公开的图1A和1B的系统100采用的、用于自动驾驶的系统200的示例性实施例的框图。系统200包括至少一个NN 202，NN 202被配置为生成用于控制自动驾驶的至少一个输出204。系统200还包括主数据路径206，被配置为将整批传感器数据108路由到至少一个NN 202，以及具有相对于主数据路径206的减少的时延的低时延数据路径210。低延迟数据路径210被配置为将有限传感器数据212路由到至少一个NN 202，NN 202被配置为依次采用有限传感器数据212以改善至少一个NN的整批传感器数据208的处理的性能，以用于生成至少一个输出204。

系统200经由传感器接口226从至少一个传感器224接收传感器读数222，依次从中提供整批传感器数据208以及有限传感器数据212。应当理解，传感器接口226可以包括多个传感器接口，以及整批传感器208以及有限传感器212不需从单个传感器接口或相同的传感器接口中被产生。传感器接口226可以包括至少一个传感器接口芯片(未示出)，传感器芯片被配置为与至少一个传感器224接合，以从至少一个传感器224收集传感器读数222，以及从中输出整批传感器数据208以及有限传感器数据212。

然而，应当理解，传感器接口226不限于包括至少一个传感器接口芯片，以及可以是任意的合适的接口，被实现于硬件、固件、软件或它们的组合中，其能够和至少一个传感器224，另一传感器系统(未示出)，或它们的组合通信，以收集传感器读数222，从中选择整批传感器数据208以及有限传感器数据212，以及分别地经由主数据路径206以及低时延路径210传送整批传感器数据208以及有限传感器数据212到至少一个NN 202。这样的选择可以通过非限制性的示例性的(多个)硬件滤波器执行。

至少一个传感器224可以包括无线电检测以及测距(雷达)传感器、光传感器以及测距(激光雷达)传感器、声音导航以及测距(声呐)传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器、定位系统(诸如但不限于全球定位系统(GPS))、加速度计、速度传感器、麦克风、或它们的组合。然而可以理解，至少一个传感器224不限于其中。

整批数据传感器数据208、有限传感器数据212或其组合的至少一部分，可以由雷达传感器、激光雷达传感器、声呐传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器、定位系统(诸如但不限于全球定位系统(GPS))、加速度计、速度传感器、麦克风、或它们的组合提供。然而可以理解，批量传感器数据208、有限传感器数据212或它们的组合的至少一部分不限于由任意上述提及的传感器或它们的组合提供。

系统200还包括推断引擎228以及决策做出引擎232。推断引擎228包括至少一个NN202。至少一个NN 202可以是人工智能系统，人工智能系统包括推断规则库(未示出)中的规则集以及基于存储在事实集(未示出)的信息实现规则。事实集是已知的事实的列表，事实存储在至少一个NN 202中，至少一个NN 202可以利用前向链以及后向链方法执行这样的推断。至少一个NN 202可以实现规则，该规则对创建至少一个输出204进行推断，输出204从推断引擎228被传送。

至少一个输出204是从推断引擎228到决策引擎232的至少一个NN 202的输出。决策做出引擎232可以被配置为基于至少一个生成的输出204做出用于控制自动驾驶的至少一个决策233。备选地，至少一个决策做出引擎232可以被配置为基于至少一个输出204调整系统100的参数。例如，至少一个决策做出引擎可以在相机的视场中调整控制要高亮区域的红外光，或改变视场。

如上文所述，低时延数据路径210具有相对于主数据路径206的减少的时延。根据示例性实施例，主数据路径206可以包括至少一个动态随机存取存储器(DRAM)，诸如如下面关于图3所公开的。

图3是主数据路径306以及低时延数据路径310的示例性实施例的框图，其中主数据路径306以及低时延数据路径310可以分别作为主数据路径106、206以及低延迟数据路径110、210被采用，如关于上文中的图1A至图1B以及图2公开的。主数据路径306可以被认为是“主”数据路径，因为它可以被配置为传输所有传感器数据的大部分的传感器数据(例如，整批传感器数据308)，其中所有传感器数据被提供到至少一个NN302以用于处理。根据图3中的示例性实施例，主数据路径306包括至少一个DRAM 334，被配置为在整批传感器数据308被路由到至少一个NN 302之前，存储整批传感器数据308。至少一个NN 302可以作为关于上文中的图1A至图1B以及图2公开的至少一个NN 102、202被采用。

主数据路径306可以还包括可选地至少一个第一信号处理电路336a。至少一个第一处理电路336a被配置为在整批传感器数据308被存储在至少一个DRAM 334中之前，处理整批传感器数据308。

主数据路径306还可以包括，可选地，至少一个第二处理电路336b。至少一个第二处理电路336b可以被布置在至少一个DRAM 334和至少一个NN 302之间。至少一个第二处理电路336b可以被配置为在整批传感器数据308(可以已经被至少一个第一处理电路336a处理)从至少一个DRAM 334被路由到至少一个NN302之前，处理整批传感器数据308，滤波整批传感器数据308，或其组合。

根据示例性实施例，有限传感器数据312可以被至少一个NN 302采用以调整第二处理电路336b的至少一个滤波器，以调整整批传感器数据308的优先级。至少一个滤波器可以包括现有技术的任何滤波器，诸如梳状滤波器或其他滤波器。

低时延数据路径310可以包括，可选的，至少一个静态随机存取存储器(SRAM)338，被配置在有限传感器数据312被路由到至少一个NN 302之前，存储有限传感器数据312。可以理解，至少一个SRAM 312不限于是(多个)SRAM芯片，并且可以以各种方式来实现。例如，按照非限制性示例性实施例，至少一个SRAM 312可以经由在专用集成电路(ASIC)上的、与至少一个NN 302一起集成的多个触发器或(多个)其他SRAM逻辑/电路来实现，而DRAM 334可以从ASIC分离并且在ASIC的外部。

按照示例性实施例，至少一个NN 302可以包括至少一个第一NN 302-1，以及至少一个第二NN 302-2。至少一个第二NN 302-2可以更小，并且可以相对于至少一个第一NN302-1更快地执行。例如，相对于至少一个第一NN 302-1，至少一个第二NN 302-2可以包括更少的节点、连接、层、权重等。

根据示例性实施例，低时延数据路径310可以被配置为通过直接地将有限传感器数据312路由(即经由路由A)到至少一个第一NN 302-1，将有限传感器数据312路由到至少一个NN 302。备选地，低时延数据路径310可以被配置为经由路线B将有限传感器数据312路由到至少一个NN 302，路线B被配置为在将有限传感器数据312被路由到至少一个NN 302的至少一个第一NN 302-1之前，将有限传感器数据312存储在至少一个SRAM 338中。

根据示例性实施例，低时延数据路径310可以被配置为通过将有限传感器数据312直接地路由(即经由路由C)到至少一个第二NN 302-2，将有限传感器数据312路由到至少一个NN 302。备选地，低时延数据路径310可以被配置为经由路线D将有限传感器数据312路由到至少一个NN 302，路线D被配置为在将有限传感器数据312路由到至少一个NN 302的至少一个第二NN302-2之前，将有限传感器数据312存储在至少一个SRAM 338中。

根据示例性实施例，至少一个第二NN 302-2的输出层(未示出)是可以被耦合到至少一个第一NN 302-1的输入层(未示出)，以提供从至少一个第二NN 302-2的输出层到至少一个第一NN 302-1的输入层的处理反馈342。

不管低时延路径310采用路由A、B、C、D中的哪一个或它们的组合，低时延路径310将有限传感器数据312路由到至少一个NN 302，至少一个NN 302被配置为依次采用有限传感器数据312以改善至少一个NN的整批传感器数据308的处理的性能，以用于生成至少一个输出304。至少一个输出304可以包括由至少一个第一NN 302-1生成的至少一个第一输出304a。至少一个输出304还可以包括由至少一个第二NN 302-2生成的至少一个第二输出304b。

根据示例性实施例，至少一个第二NN 302-2可以被配置为生成至少一个第二输出304b，第二输出304b可以被控制自动驾驶，或者引起对控制提供整批传感器数据的至少一部分的至少一个传感器至少一个参数的改变，诸如上文公开的图2中的至少一个传感器224。

如上面进一步公开的，至少一个NN 302可以包括多个神经网络(NN)。快速输入数据，即，有限传感器数据312，可以被提供到多个NN、多个NN的给定的NN、或以统一方式工作的另一系统(未示出)的NN。

图4是用于自动驾驶的方法的示例实施例的流程图400。方法开始(402)以及由至少一个神经网络(NN)生成用于控制自动驾驶的至少一个输出(404)。方法采用经由低时延数据路径接收的有限传感器数据，以改善至少一个NN的整批传感器数据的处理的性能，以用于生成至少一个输出，整批传感器数据经由主数据路径被路由到至少一个NN，有限传感器数据经由低延迟路径被路由到至少一个NN，其中低时延路径具有相对于主数据路径的减少的时延(406)。其后，方法在示例性实施例中结束(408)。

采用有限传感器数据(诸如上文中公开的有限传感器数据112、212、312)，相对于在整批传感器数据之前不处理经由低时延数据路径(诸如上文中公开的低时延数据路径110、210、310)接收的有限传感器数据、基于处理整批传感器数据而生成至少一个输出，使得至少一个NN(诸如上文中公开的至少一个NN 102、202、302)能够更快地生成至少一个输出(例如至少一个输出104、204、304)，或者具有改善的准确度。

方法还可以包括由至少一个传感器(诸如，上文公开的图2中的至少一个传感器224)提供关于车辆的环境(诸如上文公开的图1A的自动车辆95的环境90)，车辆由自动驾驶控制，雷达数据、激光雷达数据、图像数据，音频数据、触觉数据或其组合，包括雷达数据、激光雷达数据、图像数据、音频数据、触觉数据或其组合的有限传感器数据。

方法还可以包括由雷达传感器、激光雷达传感器、声呐传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器、定位系统(诸如GPS但不限于此)、加速度计、速度传感器、麦克风或它们的组合提供整批传感器数据、有限传感器数据或二者的组合的至少一部分。

至少一个NN可以被包括在耦合到决策做出引擎的推断引擎中，诸如耦合到上文公开的图2的决策做出引擎232的推断引擎228，并且该方法还可以包括将来自推断引擎的至少一个NN的至少一个输出，输出到决策做出引擎。方法还可以包括在决策引擎处，基于生成的至少一个输出，做出用于控制自动驾驶的至少一个决策。

主数据路径可以包括至少一个动态随机存取存储器(DRAM)，例如上文所述的图3中的至少一个DRAM 334，以及还方法包括在整批传感器数据被路由到至少一个NN之前，在至少一个DRAM中存储整批传感器数据。主数据路径还可以包括至少一个处理电路，诸如第一处理电路336a，以及方法还可以包括在至少一个DRAM中存储整批传感器数据之前，由至少一个处理电路处理整批传感器数据。

至少一个处理电路可以是至少一个第一处理电路，主数据路径还可以包括至少一个第二处理电路，被布置在至少一个DRAM和至少一个NN之间，诸如上文所公开的图3的至少一个第二处理电路336b，并且方法还可以包括在至少一个第二处理电路处，在从至少一个DRAM将整批传感器数据路由到至少一个NN之前，处理整批传感器数据、滤波整批传感器数据或二者的组合，

低时延数据路径可以包括至少一个静态随机存取存储器(SRAM)，诸如上文所公开的图3的至少一个SRAM 338，以及方法还可以包括在将有限传感器数据路由到至少一个NN之前，在SRAM中存储有限传感器数据。

至少一个NN可以包括至少一个第一NN和至少一个第二NN，诸如上文所公开的图3的至少一个第一NN 302-1以及至少一个第二NN 302-2，并且方法还可以包括经由主数据路径将整批传感器数据路由到至少一个第一NN，以及经由低时延数据路径将有限传感器数据路由到至少一个第二NN。低时延数据路径可以包括至少一个SRAM，以及方法还可以包括在将有限传感器数据路由到至少一个第二NN之前，将有限传感器数据存储在至少一个SRAM中。至少一个第二NN的输出层可以被耦合到至少一个第一NN的输入层，以及方法还可以包括提供从至少一个第二NN的输出层到至少一个第一NN的输入层的处理反馈。

至少一个输出可以包括至少一个第一输出以及至少一个第二输出，诸如上文所公开的图3的至少一个第一输出304a以及至少一个第二输出304b。方法还可以包括由至少一个第一NN生成至少一个第一输出，以及由至少一个第二NN生成至少一个第二输出。至少一个第二NN可以控制自动驾驶，或者引起对控制提供整批传感器数据的至少一部分的至少一个传感器至少一个参数的改变。

图5是计算机500的内部结构的示例性框图，在其中本公开的各种实施例可以被实现。计算机500可以包括系统总线552，其中总线是用于在计算机或数字处理系统的组件之中传送数据的一组硬件线。系统总线552实质上是连接计算机系统的不同元件(例如，处理器、硬盘存储装置、存储器、输入/输出端口、网络端口等)的共享的管道，使得在元件之间能够传送信息。耦合到系统总线552的是用于将各种输入和输出设备(例如键盘、鼠标、显示器、打印机、扬声器等)连接到计算机500的I/O设备接口554。网络接口556允许计算机500连接到附接到网络(例如，全球计算机网络，广域网，局域网等)的各种其它设备。存储器558提供易失性存储器或非易失性存储器用于计算机软件指令560以及数据562，计算机软件指令560以及数据562可以被用于实现当前公开的实施例，其中易失性存储器或非易失性存储器是非瞬态介质的示例。硬盘存储装置564提供非易失性存储器用于计算机软件指令560以及数据562，计算机软件指令560以及数据562可以被用于实现本公开的实施例。中央处理器单元566也被耦合到系统总线552，以及提供计算机指令的执行。

如在本文中所使用的，术语“引擎”可以单独地或以任何组合涉及任意硬件、软件、固件、电子控制系统、处理逻辑、和/或处理设备，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器以及存储器，存储器执行一个或多个软件或固件程序，和/或其他提供描述的功能的合适的组件。

本文公开的示例性实施例可以被配置为使用计算机程序产品；例如，控制可以在软件中被编程以实现示例性实施例。示例性实施例还可以包括非瞬态计算机可读介质，包括可以被处理器执行的指令，以及，当被载入以及执行时，引起处理器完成本文中描述的方法，可以理解的是框图以及流程图的元件可以在软件或硬件中实现，诸如经由如上文中公开的图5的一个或多个电路的分布，或它的等效物，固件，它们的组合，或其他将在未来确定的类似的实施例。

此外，本文中描述的框图以及流程图的元件可以以任何方式在软件、硬件或固件中组合或划分。如果以软件实现，软件可以被编写在可以支持本文中任意公开的实施例的任意语言。软件可以储存在任意计算机可读介质的形式，例如随机存取存储器(RAM)、只读存储器(ROM)，光盘只读存储器(CD-ROM)等。在操作中，通用或专用的处理器或处理核心以本领域熟知的方式加载以及执行软件。可以理解框图以及流程图可以包括多个或更少的元件，可以被布置或定向，或被不同的表示。可以理解，实施例可以指示框图、流程图、和/或网络图，以及说明本文中公开的实施例执行的框图和流程图的数目。

虽然已经具体示出和描述了示例性实施例，但是本领域技术人员将理解，在不脱离由所附权利要求所涵盖的实施例的范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (34)

1.一种用于自动驾驶的系统，所述系统包括：

至少一个神经网络NN，被配置为生成被用于控制所述自动驾驶的至少一个输出；

主数据路径，被配置为将整批传感器数据路由到所述至少一个NN；以及

具有相对于所述主数据路径的减少的时延的低时延数据路径，所述低时延数据路径被配置为将有限传感器数据路由到所述至少一个NN，所述至少一个NN被配置为依次采用所述有限传感器数据以改善所述至少一个NN对所述整批传感器数据的处理的性能，以用于生成所述至少一个输出。

2.根据权利要求1所述的系统，其中所述有限传感器数据相对于所述整批传感器数据的数量较少，相对于所述整批传感器数据更粗糙，或其组合。

3.根据权利要求1所述的系统，其中相对于在不处理经由在所述整批传感器数据之前的所述低时延数据路径接收的所述有限传感器数据的情况下，基于处理所述整批传感器数据，生成所述至少一个输出，所述有限传感器数据使得所述至少一个NN能够更快地或者以改善的准确性生成所述至少一个输出。

4.根据权利要求1所述的系统，其中所述有限传感器数据包括由至少一个传感器提供的并且与车辆的环境相关的，无线电检测和测距(雷达)数据、光检测和测距(激光雷达)数据、图像数据、音频数据、触觉数据或其组合，所述车辆由所述自动驾驶控制。

5.根据权利要求1所述的系统，其中所述整批传感器数据、有限传感器数据或者其组合的至少一部分由以下各项提供：雷达传感器、激光雷达传感器、声音导航以及测距(声呐)传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器，定位系统、加速度计、速度传感器、麦克风或其组合。

6.根据权利要求1所述的系统，其中所述系统还包括：推断引擎和决策引擎，其中所述推断引擎包括所述至少一个NN，并且其中所述至少一个输出是从所述推断引擎至所述决策引擎的所述至少一个NN的输出的。

7.根据权利要求6所述的系统，其中所述决策引擎被配置为基于生成的所述至少一个输出，做出用于控制所述自动驾驶的至少一个决策。

8.根据权利要求1所述的系统，其中所述主数据路径包括至少一个动态随机存取存储器DRAM，被配置为在所述整批传感器数据被路由到所述至少一个NN之前，存储所述整批传感器数据。

9.根据权利要求8所述的系统，其中所述主数据路径还包括至少一个处理电路，被配置为在所述整批传感器数据被存储在至少一个DRAM中之前，处理所述整批传感器数据。

10.根据权利要求9所述的系统，其中所述至少一个处理电路是至少一个第一处理电路，其中所述主数据路径还包括至少一个第二处理电路，所述至少一个第二处理电路布置在所述至少一个DRAM和所述至少一个NN之间，所述至少一个第二处理电路被配置为在所述整批传感器数据从所述至少一个DRAM被路由到所述至少一个NN之前，处理所述整批传感器数据、滤波所述整批传感器数据，或其组合。

11.根据权利要求1所述的系统，其中所述低时延数据路径包括至少一个静态随机存取存储器SRAM，被配置为在所述有限传感器数据被路由到所述至少一个NN之前，存储所述有限传感器数据。

12.根据权利要求1所述的系统，其中所述至少一个NN包括至少一个第一NN和至少一个第二NN，其中所述主数据路径被配置为将所述整批传感器数据路由到所述至少一个第一NN，并且其中所述低时延数据路径被配置为将所述有限传感器数据路由到所述至少一个第二NN。

13.根据权利要求12所述的系统，其中所述至少一个第二NN小于所述至少一个第一NN，并且相对于所述至少一个第一NN执行得更快。

14.根据权利要求12所述的系统，其中所述低时延数据路径包括至少一个SRAM，被配置为在所述有限传感器数据被路由到所述至少一个第二NN之前，存储所述有限传感器数据。

15.根据权利要求12所述的系统，其中所述至少一个第二NN的输出层被耦合到所述至少一个第一NN的输入层以提供从所述至少一个第二NN的所述输出层到所述至少一个第一NN的所述输入层的处理反馈。

16.根据权利要求12所述的系统，其中所述至少一个输出包括至少一个第一输出和至少一个第二输出，所述至少一个第一NN被配置为生成所述至少一个第一输出，所述至少一个第二NN被配置为生成所述至少一个第二输出，所述至少一个第二输出被用于控制所述自动驾驶，或者引起对控制提供所述整批传感器数据的至少一部分的至少一个传感器至少一个参数的改变。

17.一种用于自动驾驶的方法，所述方法包括：

由至少一个神经网络NN生成被用于控制所述自动驾驶的至少一个输出；以及

采用经由低时延数据路径接收的有限传感器数据，以改善所述至少一个NN对整批传感器数据的处理的性能，以用于生成所述至少一个输出，所述整批传感器数据经由主数据路径被路由到所述至少一个NN，所述有限传感器数据经由相对于所述主数据路径具有减少的时延的所述低时延路径被路由到所述至少一个NN。

18.根据权利要求17所述的方法，其中所述有限传感器数据相对于所述整批传感器数据的数量较少，相对于所述整批传感器数据更粗糙，或其组合。

19.根据权利要求17所述的方法，其中相对于在不处理经由在所述整批传感器数据之前的所述低时延数据路径接收的所述有限传感器数据的情况下，基于处理所述整批传感器数据，生成所述至少一个输出，采用所述有限传感器数据使得所述至少一个NN能够更快地或者以改善的准确性生成所述至少一个输出。

20.根据权利要求17所述的方法，还包括：由至少一个传感器提供的并且与车辆的环境相关的，无线电检测以及测距(雷达)数据、光检测以及测距(激光雷达)数据、图像数据，音频数据、触觉数据或其组合，所述车辆由所述自动驾驶控制，包括所述雷达数据、激光雷达数据、图像数据、音频数据、声音数据、触觉数据或其组合的所述有限传感器数据。

21.根据权利要求17所述的方法，还包括：所述整批传感器数据、有限传感器数据或者其组合的至少一部分由以下各项提供：：雷达传感器、激光雷达传感器、声音导航以及测距(声呐)传感器、超声波换能器、相机、红外传感器、俯仰传感器、滚动传感器、偏航传感器、高度传感器、航向传感器、定位系统、加速度计、速度传感器、麦克风或其组合。

22.根据权利要求17所述的方法，其中所述至少一个NN包括：被耦合到决策做出引擎的推断引擎，并且其中所述方法还包括输出从所述推断引擎到所述决策做出引擎的所述至少一个输出。

23.根据权利要求22所述的方法，还包括：在所述决策做出引擎处，基于生成的所述至少一个输出，做出用于控制所述自动驾驶的至少一个决策。

24.根据权利要求17所述的方法，其中所述主数据路径包括至少一个动态随机存取存储器DRAM，并且其中所述方法还包括在所述整批传感器数据被路由到所述至少一个NN之前，存储所述整批传感器数据。

25.根据权利要求24所述的方法，其中所述主数据路径还包括至少一个处理电路，并且所述方法还包括在所述整批传感器数据被存储在至少一个DRAM中之前，处理所述整批传感器数据。

26.根据权利要求25所述的方法，其中所述至少一个处理电路是至少一个第一处理电路，其中所述主数据路径还包括至少一个第二处理电路，所述至少一个第二处理电路布置在所述至少一个DRAM和所述至少一个NN之间，并且所述方法还包括在所述至少一个第二处理电路处，在所述整批传感器数据从所述至少一个DRAM被路由到所述至少一个NN之前，处理所述整批传感器数据、滤波所述整批传感器数据，或其组合。

27.根据权利要求17所述的方法，其中所述低时延数据路径包括至少一个静态随机存取存储器SRAM，并且其中所述方法还包括在所述有限传感器数据被路由到所述至少一个NN之前，存储所述有限传感器数据。

28.根据权利要求17所述的方法，其中所述至少一个NN包括至少一个第一NN和至少一个第二NN，并且其中所述方法还包括经由所述主数据路径将所述整批传感器数据路由到所述至少一个第一NN，以及经由所述低时延数据路径将所述有限传感器数据路由到至少一个第二NN。

29.根据权利要求28所述的方法，其中所述至少一个第二NN小于所述至少一个第一NN，并且相对于所述至少一个第一NN执行得更快。

30.根据权利要求28所述的方法，其中所述低时延路径包括至少一个SRAM，并且其中所述方法还包括在所述有限传感器数据被路由到所述至少一个第二NN之前，存储所述有限传感器数据。

31.根据权利要求28所述的方法，其中所述至少一个第二NN的输出层被耦合到所述至少一个第一NN的输入层，并且其中所述方法还包括提供从所述至少一个第二NN的所述输出层到所述至少一个第一NN的所述输入层的处理反馈。

32.根据权利要求28所述的方法，其中所述至少一个输出包括至少一个第一输出和至少一个第二输出，并且其中所述方法还包括由所述至少一个第一NN生成所述至少一个第一输出，并且由所述至少一个第二NN生成所述至少一个第二输出，所述至少一个第二输出被用于控制所述自动驾驶，或者引起对控制提供所述整批传感器数据的至少一部分的至少一个传感器至少一个参数的改变。

33.一种用于自动驾驶的非瞬态计算机可读介质，所述非瞬态计算机可读介质具有在其上编码的指令序列，所述指令序列在由至少一个处理器加载以及执行时，使所述至少一个处理器实现至少一个神经网络NN，所述NN被配置为：

生成被用于控制所述自动驾驶的至少一个输出；以及

采用经由低时延数据路径接收的有限传感器数据，以改善所述至少一个NN对整批传感器数据的处理的性能，以用于生成所述至少一个输出，所述整批传感器数据经由主数据路径被路由到所述至少一个NN，所述有限传感器数据经由相对于所述主数据路径具有减少的时延的所述低时延路径被路由到所述至少一个NN。

34.一种用于自动驾驶的系统，所述系统包括：

用于执行生成用于控制所述自动驾驶的至少一个输出的神经网络处理的部件；

用于针对所述神经网络处理路由整批传感器数据的部件；以及

用于路由有限传感器数据的部件，其中所述有限传感器数据具有相对于所述整批传感器数据的路由的减少的时延，所述执行包括采用所述有限传感器数据以改善所述神经网络对所述整批传感器数据的处理的性能，以用于生成所述至少一个输出。

Images