CN115668182A - 自主车辆环境感知软件架构 - Google Patents

Abstract

一种用于感测场景的方法。该方法包括从多个传感器模态接收传感器数据，其中每个传感器模态观测包含至少一个感兴趣对象的场景的至少一部分，并生成传达关于场景的信息和感兴趣对象的信息的传感器数据。该方法还包括处理来自每个传感器模态的传感器数据以检测感兴趣对象并产生多个初级检测结果，每个检测结果与相应的传感器模态相关联。该方法还包括将来自第一传感器模态的传感器数据与来自第二传感器模态的传感器数据融合，以生成场景的融合3D地图，处理融合3D地图以检测感兴趣对象并产生次级检测结果，并对初级检测结果和次级检测结果执行对象级融合。

Description

自主车辆环境感知软件架构

技术领域

本发明涉及一种用于执行环境感知的基于计算机的架构。具体地，本发明涉及用于对来自多个传感器(例如根据不同模态操作并根据输入开发对环境的感知的传感器)的输入进行处理的硬件和软件组件，这可以在自主车辆或其它应用中用于路径规划目的。

背景技术

汽车行业正处于颠覆性变化之中，这一变化由自主车辆的进入以及电气化和叫车服务所凸显。尽管自主驾驶在过去几年中已经取得了长足的进步，但除了在最受限的情景下，目前的解决方案对于商业部署而言仍然既不够安全也不够可靠。

目前大多数OEM和一级汽车制造商仍在寻找能够识别人眼所见的任何对象、同时为传感器和处理单元保持合理成本的“终极”自主驾驶技术。在保持汽车的可购性的同时检测动态驾驶环境(例如，道路上的车辆、行人和小障碍物)的能力是一项艰巨的任务。

发明内容

如本文所体现和宽泛描述的，本发明提供了一种用于感测包含感兴趣对象的场景的方法。该方法包括从多个传感器模态接收传感器数据，其中每个传感器模态观测包含至少一个感兴趣对象的场景的至少一部分，并生成传达关于场景的一部分的信息和至少一个感兴趣对象的信息的传感器数据。该方法还包括处理来自每个传感器模态的传感器数据以检测感兴趣对象并产生多个初级检测结果，每个检测结果与相应的传感器模态相关联。该方法还包括将从第一传感器模态获得的传感器数据与从第二传感器模态获得的传感器数据融合以生成场景的融合3D地图，处理融合3D地图以检测场景中的感兴趣对象并产生次级检测结果，并对初级检测结果和次级检测结果执行对象级融合。

如本文所体现和宽泛描述的，本发明还包括一种具有多个传感器模块的系统，每个传感器模块包括传感器和感知功能块，该传感器根据相应的模态进行操作，该相应的模态与多个传感器模块中的一传感器模块的另一个传感器的模态不同，该传感器被配置为观测包含至少一个感兴趣对象的场景的至少一部分，并生成传达关于场景的一部分的信息和至少一个感兴趣对象的信息的传感器数据，感知功能块用于处理传感器数据以输出初级检测结果。该系统还包括传感器融合模块，传感器融合模块被配置为将从根据第一传感器模态操作的第一传感器模块获得的传感器数据与从根据第二传感器模态操作的第二传感器模块获得的传感器数据融合，以生成场景的融合3D地图，处理融合3D地图以检测场景中的感兴趣对象并产生次级检测结果，并对初级检测结果和次级检测结果执行对象级融合。

如本文所体现和宽泛描述的，本发明还包括一种系统，该系统包括用于感测包含感兴趣对象的场景的多个传感器模块，每个传感器模块根据相应的传感器模态操作，每个传感器模块具有用于从相应模态的传感器接收传感器数据的传感器输入、处理传感器数据以检测传感器数据中的感兴趣对象的基于软件的感知实体、和产生从相应模态的传感器获得的传感器数据和从处理获得的初级检测结果的输出。该系统还包括基于软件的感知模块，基于软件的感知模块具有从每个传感器模块接收传感器数据的输入、从每个传感器模块接收初级检测结果的输入、以及处理来自两个或更多个传感器模块的传感器数据和初级检测结果以获得次级检测结果的处理实体。

如本文所体现和宽泛描述的，本发明还提供了一种方法，该方法包括提供用于感测包含感兴趣对象的场景的多个传感器模块，每个传感器模块根据相应的传感器模态进行操作，每个传感器模块包括用于从相应模态的传感器接收传感器数据的传感器输入和基于软件的感知实体。该方法还包括处理传感器数据以检测传感器数据中的感兴趣对象以产生从相应模态的传感器获得的传感器数据和从处理获得的初级检测结果。该方法还包括提供基于软件的感知模块，基于软件的感知模块包括从每个传感器模块接收传感器数据的输入、从每个传感器模块接收初级检测结果的输入，并且处理来自两个或多个传感器模块的传感器数据和初级检测结果以获得次级检测结果。

如本文所体现和宽泛描述的，本发明还包括一种系统，该系统包括多个传感器模块和传感器融合模块，多个传感器模块用于感测包含感兴趣对象的场景，每个传感器模块根据相应的传感器模态进行操作，传感器融合模块用于将来自多个传感器模块的检测结果融合成统一感知解决方案，融合包括确定每个传感器模块的传感器表现，并根据传感器表现来调整来自传感器模块的检测结果在统一感知解决方案中的贡献权重。

如本文所体现和宽泛描述的，本发明还包括一种方法，该方法包括提供用于感测包含感兴趣对象的场景的多个传感器模块，每个传感器模块根据相应的传感器模态进行操作，提供用于通过融合方法将来自多个传感器模块的检测结果融合成统一感知解决方案的传感器融合模块，融合方法包括确定每个传感器模块的传感器表现，并根据传感器表现来调整来自传感器模块的检测结果在统一感知解决方案中的贡献权重。

如本文所体现和宽泛描述的，本发明包括一种系统，该系统包括用于感测包含感兴趣对象的场景的多个传感器模块，每个传感器模块根据相应的传感器模态并根据相应的时域来进行操作，每个传感器模块包括用于从相应模态的传感器接收传感器数据的传感器输入、以及处理传感器数据以检测相应的时域中的传感器数据中的感兴趣对象的基于软件的感知实体。该系统还包括传感器融合模块，该传感器融合模块包括用于从多个传感器模块接收异步检测结果的输入、以及用于使检测结果同步并将经同步的检测结果融合成统一感知解决方案的处理实体。

如本文所体现和宽泛描述的，本发明还包括一种方法，该方法包括提供用于感测包含感兴趣对象的场景的多个传感器模块，每个传感器模块根据相应的传感器模态并根据相应的时域来进行操作，每个传感器模块包括用于从相应模态的传感器接收传感器数据的传感器输入、以及处理传感器数据以检测相应的时域中的传感器数据中的感兴趣对象的基于软件的感知实体。本发明还包括提供传感器融合模块，该传感器融合模块包括用于从多个传感器模块接收异步检测结果的输入、并且通过处理实体处理检测结果以使检测结果同步并将经同步的检测结果融合成统一感知解决方案。

如本文所体现和宽泛描述的，本发明还提供了一种系统，该系统包括用于感测包含感兴趣对象的场景的多个传感器模块，每个传感器模块根据相应的传感器模态并根据相应的时域来进行操作，其中每个传感器模块包括用于从相应模态的传感器接收传感器数据的传感器输入、以及处理传感器数据以检测相应的时域中的传感器数据中的感兴趣对象的模态特定的基于软件的感知实体。该系统还包括传感器融合模块，该传感器融合模块具有用于从多个传感器模块接收异步检测结果的输入、以及用于使检测结果同步并将经同步的检测结果融合成统一感知解决方案的处理实体。

如本文所体现和宽泛描述的，本发明提供一种自动化方法系统，该自动化方法系统包括提供激光雷达装置，该激光雷达装置包括：发射器，发射器被配置为向包括一个或多个目标对象的场景发射包括光脉冲的光；接收器，接收器被配置为检测来自一个或多个目标对象的反射光，激光雷达装置被配置为响应于反射光而生成传达距离值的场景的激光雷达数据。该方法还包括：提供图像捕获设备以生成场景的图像数据，图像数据传达多个像素；提供数据处理实体，数据处理实体具有用于接收激光雷达数据和/或图像数据的输入，并处理激光雷达数据和/或图像数据以获得传达场景的一个或多个特征的场景指纹；在数据处理实体的机器可读储存器中存储激光雷达装置操作模式的库；从库中获得与指纹对应的激光雷达装置操作模式；根据所获得的操作模式来控制激光雷达装置的操作；利用数据处理实体生成场景的3D地图；以及利用数据处理实体处理场景的3D地图以识别场景中的目标对象。

附图说明

图1A是根据本发明的实施方式的示例的环境感知系统的顶层框图；

图1B是由图1A所示的系统的健康监测功能块实施的方法的流程图；

图2是图1所示系统的摄像机感知模块的框图；

图3示出了摄像机感知模块处理后的二维图像，示出了检测结果，特别是对图像中感兴趣对象的识别；

图4A是图1A所示系统的激光雷达感知模块的框图；

图4B是由激光雷达感知模块执行以对激光雷达数据执行运动校正的方法的流程图；

图5是激光雷达感知输出的图示，示出了检测结果，例如在场景中检测到的感兴趣对象；

图6是图1所示系统的雷达感知模块的框图；

图7是示出检测结果(例如检测单个卡车的集群)的雷达感知输出的图示；

图8A是图1A所示系统的自我运动模块的框图；

图8B是示出由图8A的自我运动模块执行的方法的流程图；

图9是由两条叠加轨迹组成的车辆轨迹的表示，蓝色的一条是图8A的自我运动模块基于摄像机和激光雷达的输出，粉色轨迹是GNSS作为地面实况获得的；

图10示出了两个图像之间的自我运动关键点连接；

图11是图1A所示系统的定位模块的框图；

图12类似于图9的表示，示出了基本的定位结果；

图13是图1的系统的传感器融合模块的框图；

图14是由根据本发明的系统获得的环境的3D重建图，3D重建图与来自Velodine64激光雷达的深度图一起被示出以示出差异；

图15是使用RGB-D-V模型的环境的重建图，示出了为感兴趣对象计算的速度；

图16A是图1的系统的原始数据融合模块的框图；

图16B是由图16A的框图中示出的3D重建功能块实施的方法的框图；

图16C是激光雷达操作模式库的概念表示；

图16D是执行包括选择激光雷达类型的系统配置的方法的流程图；

图16E是由图16A所示框图的3D重建模块执行的方法的流程图，示出了选择适合于驾驶环境的激光雷达传感器的操作模式的方法；

图16F是由3D重建功能块执行以执行上采样操作的方法的流程图；

图17示出了基于2D图像和分辨率明显低于2D图像的3D激光雷达点云的地图的重建示例；

图18是3D检测和增强处理的摄像机示图；

图19是3D检测和增强处理的激光雷达示图；

图20是道路上有小障碍物的场景的摄像机示图；

图21示出了图20中的场景的小障碍物检测；

图22是示出图1A的系统的主要软件模块和操作时域的框图；

图23是校准处理的流程图；

图24是图1A的系统的校准模块的框图；

图25是激光雷达点云和图像之间的校准示例；

图26和图27是校准设置的示例；

图28示出了具有自由空间检测的场景；

图29示出了具有道路和车道检测的场景；

图30示出了占用网格的两个示例；

图31是车辆在隧道中的极端情况的第一示例；

图32是极端情况的第五示例，该示例是昆虫或其它异物在玻璃上并且阻挡了图像的一部分；

图33是极端情况的第六示例，该示例是摄像机面向太阳；

图34是极端情况的第七示例，该示例是下雨条件。

具体实施方式

具体参考图1，框图示出了用于执行环境感知的系统10。该系统具有不同的功能元件，这些功能元件以硬件或软件实施以执行各个任务。在顶层，功能元件形成两个单独的功能实体，即，其输出被馈送到包括稍后将详细描述的多个单独模块的感知引擎实体14的传感器感知实体12。感知引擎实体14的输出是可以传递给路径规划模块(未示出)以用于为自主车辆生成驾驶路径的信息。

传感器感知实体12包括与不同传感器相关联的多个模块。在特定示例中，传感器是不同模态的传感器，例如摄像机(camera)传感器、激光雷达传感器和雷达传感器，以及其它可能的传感器。

图2是摄像机感知模块16的框图。将理解，可以存在摄像机感知模块16的若干实例，其中每个实例与不同的摄像机传感器相关联。当每个摄像机面向不同方向以共同提供广角摄像机覆盖范围(即，180度覆盖范围或360度覆盖范围)时，就会出现这种情况。摄像机感知模块16具有摄像机预处理块18，其中，输入20接收来自摄像机传感器的高分辨率图像。摄像机预处理块的目的是使用校准信息来使图像不失真。校准信息将特定于安装，例如放置摄像机的车辆，因为车辆上的安装位置可能会影响校准。校准还取决于光学参数，比如视场和焦距。执行校准时需要考虑这些参数。校准将在后面讨论。校准后的图像信息被提供给摄像机检测块22。检测器块22的目的是识别图像中的感兴趣对象以及图像表示的场景的几何特征。感兴趣对象的示例包括车辆和行人等。几何特征检测的示例包括道路检测、车道检测、地标检测和占用区域等。

摄像机检测器块22可以由被训练以检测图像中的感兴趣对象的卷积神经网络实现。图像中的几何特征可以通过已知的几何算法来检测，这些算法处理图像以提取感兴趣的特征。

图2中描绘的实施方式的具体示例示出了摄像机检测器22的输出包括识别感兴趣对象的第一输出、识别地标的第二输出和识别自由空间的第三输出。图3示出了已经由摄像机检测器块22处理的摄像机图像，其中突出显示了检测结果。感兴趣对象，即车辆，由蓝色边界框识别。自由空间，即摄像机前方的道路，以绿色标识。摄像机检测器功能块还可以输出场景的鸟瞰图作为图像处理的结果，场景的鸟瞰图在图3中在主图像的右侧示出。

图4A是激光雷达感知模块24的框图。在实施方式的该具体示例中，该架构使用单个激光雷达感知模块24，与可能具有多个并行操作的模块实例的摄像机感知形成对比。目的是从多个激光雷达传感器开发统一点云，并且然后在该公共点云中执行检测。但这不是要求。换句话说，可以具有系统具有激光雷达感知模块的多个实例的实施方式，其中对由单个激光雷达传感器生成的单个点云执行检测。

激光雷达感知模块24具有在28处接收所有激光雷达传感器的输入的激光雷达预处理功能块26。在典型实施方式中，激光雷达传感器将安装在车辆上的不同位置以提供广角覆盖范围，例如360度覆盖范围。因此在该实施方式中，输入28的范围可以提供车辆周围的激光雷达图像。具体而言，激光雷达预处理功能块26将输出描绘车辆周围环境的统一点云。

激光雷达预处理功能块26具有两个主要功能。一个是对由于车辆运动引起的激光雷达数据进行校正，另一个是将运动校正的激光雷达数据合并为一个统一点云。由于激光雷达传感器的扫描周期花费一定量的时间(大约50毫秒至100毫秒)，因此存在取决于AV的速度的点云的波动。该波动需要被重新调整(或被展开)以补偿产生的错误。展开机制使用自我运动(Ego-Motion)来计算点云中每个点到其相对于车辆的正确位置的预测。

该展开机制使用在自我运动输入30处提供的自我运动信息。自我运动信息由图1A的系统的自我运动模块提供。稍后将描述该模块。目前，只需说明该模块提供基于摄像机传感器的并且可能从惯性测量单元(IMU)和可能的其它传感器输入的自我运动信息。自我运动信息允许在每一帧上准确定位车辆，并且包括主车辆(host vehicle)的运动矢量和轨迹。图4B是描述由激光雷达预处理功能块26执行的运动校正方法的流程图。该方法开始于32。在步骤34，输入30接收自我运动信息。在步骤36，预处理功能块26从一系列激光雷达传感器接收输入。该示例假设三个激光雷达传感器。可有安装在车辆前方并扫描车辆前方的场景的一个激光雷达传感器(传感器1)，安装在车辆左侧并扫描场景左侧的一个激光雷达传感器(传感器2)，和安装在车辆右侧并扫描场景右侧的一个激光雷达传感器(传感器3)。

步骤38对每个激光雷达传感器流独立地执行自我运动校正。该方法包括重新调整每个激光雷达数据帧中的一些或所有点，以补偿主车辆在激光雷达传感器扫描期间的运动。运动引起的失真取决于车辆的速度和轨迹，还取决于激光雷达传感器本身。例如，生成完整激光雷达数据帧所需的扫描周期相对较短的快速扫描激光雷达相比于扫描周期较长的激光雷达会引起更小的失真。此外，车辆上放置激光雷达的位置也会影响失真。例如，在车辆直线前行而没有任何横向运动分量的情况下，假设车辆的速度相对于激光雷达光学信号的行进速度可以忽略不计，那么在扫描期间产生的激光雷达数据帧可能不会有太大的失真。相比之下，对于安装在车辆侧面并观测场景侧面的激光雷达，例如上面示例中的激光雷达传感器2和激光雷达传感器3，车辆的运动将“拉伸”场景，因为相对于激光雷达感测方向存在显著的横向运动。为了执行校正，激光雷达预处理功能块26中的算法接收自我运动信息作为输入，并且还从校准文件中读取每个激光雷达传感器的规格(如传感器在车辆上的位置)、某些技术规格(如扫描速度)等。因此，校准文件允许从物理传感器中显著提取激光雷达信号处理。通过更改激光雷达校准文件，图1A的架构可以适配一系列不同的激光雷达传感器和传感器位置不同的一系列车辆平台。为了使图1A的架构适配传感器的位置可已经确定的新的车辆平台，只需更改校准文件即可，并且可不需要更改或适配检测算法。这种模块化方法提供了灵活性，因为该方法将处理算法与硬件解耦。

返回参考图4B，处理步骤38的输出是经运动补偿的激光雷达数据帧。在步骤40，经运动补偿的激光雷达数据帧由预处理功能块26“拼接”成统一点云。因此，预处理功能块26的输出42以适合于方法的其余部分、并且独立于传感器的原生数据输出的格式产生点云。

返回参考图4A，可以看出输出40具有传送相同的激光雷达数据的两个流，一个流指向激光雷达检测器功能块42。后者使用卷积神经网络处理统一点云，以检测场景中的感兴趣对象以及几何信息，例如自由空间和占用区域。

图5概念性地示出了激光雷达检测器功能块42的输出，包括在激光雷达数据流中识别出的感兴趣对象的边界框。在这种情况下，感兴趣对象是车辆。在主图像的右侧示出了点云的鸟瞰图，其中感兴趣对象用边界框来标识。每个边界框示出感兴趣对象在点云中的位置，并且还示出速度和轨迹。与每个边界框相关联的箭头描绘了速度和轨迹。

雷达感知模块44的框图如图6所示。雷达感知模块44具有输入46以接收雷达信号。输入46可以同时支持成像雷达和二维雷达。成像雷达能够创建类似于激光雷达点云的4D数据输入，4D数据输入包括每个点的速度。

来自一个或多个成像雷达的输入被馈送到成像预处理功能块48。预处理功能块48对齐不同成像雷达传感器的输出以产生统一成像雷达原始数据。类似地，预处理功能块50从多个2D雷达传感器接收输入并将它们合并成统一2D原始数据。注意，2D预处理功能块50能够从2D雷达数据执行对象检测，并且因此可以在输出51处输出初级对象检测信息，并且在输出53上输出2D原始雷达数据。成像预处理功能块48的输出被提供给3D检测器功能块52，该3D检测器功能块52被实现为被训练用于在成像雷达数据中检测感兴趣对象的卷积神经网络。此外，通过使用几何检测算法，可以识别场景的几何特征，例如平面估计(道路、人行道等)和占用区域。

类似地，2D检测器功能块54从2D预处理功能块50接收原始统一数据并且接收初级对象检测信息作为输入。2D检测器功能块54还使用由卷积神经网络实现的深度神经网络概念来在场景中执行对象检测和几何特征检测。3D检测器功能块52和2D检测器功能块54各自输出检测到的3D对象。两个输出在56处被合并，可以理解的是，可以提供可选机制来以两个检测级别解决差异和消除歧义。

图7是由检测功能块52和54中的任一个检测后的雷达图像的图示，示出了雷达图片中的检测。

图8A是图1所示系统的自我运动模块58的框图。自我运动模块58的目的是在通过融合摄像机、激光雷达和雷达数据而开发的3D点云的每一帧上定位车辆。自我运动算法使用来自传感器、摄像机和激光雷达等的连续数据帧作为输入，以估计连续帧之间的运动，并且因此获得主车辆的运动矢量和轨迹。值得注意的是，可以在不依赖任何附加传感器(例如全球导航卫星系统(GNSS)或IMU传感器)的情况下计算自我运动。这使得能够在没有GNSS信号可用的情况下(例如当车辆在隧道中时)进行自我运动估计。尽管如此，附加传感器仍可出于可靠性目的而被使用，并确定初级自我运动计算是否正确。

自我运动模块58具有自我运动估计功能块59，自我运动估计功能块59在输入60处从传感器融合操作接收先前计算的3D地图，这将在下面详细讨论。自我运动功能块59还在输入62处接收摄像机图像数据帧，并且接收由激光雷达预处理功能块26输出的统一点云激光雷达。自我运动模块的算法比较表示不同时刻处的场景的帧，以识别某些场景特征之间的相对运动。运动的差异代表行进的距离和行进的方向。速度可以根据数据帧之间的时间差来计算。在此基础上，自我运动模块可以输出自我运动信息，自我运动信息用于图1的系统的其它模块。

图10是被重叠以示出相对运动的两个连续图像数据帧的表示。自我运动算法将处理第一摄像机数据帧以识别一个或多个关键点，该一个或多个关键点将用作比较的基础。点的数量和位置可以变化。优选地，使整个图像中的点阵列化以获得不同运动分量(例如，车辆前方、车辆左侧、车辆右侧等)的位移信息。一旦确定了点，算法将处理后续帧以在该帧中定位点，并将计算两帧中对应的点之间的相对位移。基于成对的点之间的位移，计算主车辆的距离、速度和轨迹。优选地，比较3D地图的数据帧，因为除了图像数据之外，3D地图还传达每个点相对于主车辆的距离信息，从而允许更精确地计算连续数据帧中点之间的位移。

自我运动信息由自我运动功能块59输出到可选的自我运动合并功能块64，自我运动合并功能块64合并从不同源接收的自我运动信息。自我运动合并功能块64具有来自IMU单元的输入、以及来自传送GNSS信息的车辆的控制器局域网总线(CANbus)的输入。IMU单元可是图1A所示系统的一部分，并且包括加速度计、陀螺仪、或两者，以提供惯性测量。自我运动合并功能块64处理三个自我运动信息信号，如图8B所示的流程图所描绘的。

该方法开始于66。在步骤68，自我运动合并功能块64从自我运动功能块59接收自我运动信号。在步骤70，自我运动合并功能块64接收IMU信号。在步骤72，自我运动合并功能块64接收GNSS信号。在步骤74比较三个信号。如果这三个信号匹配，则根据决策步骤，该方法针对自我运动的每次新迭代而循环返回。当从每个源产生的自我运动与其它源的偏差不超过预定阈值时，则认为存在匹配。图9示出了匹配的示例，示出了当车辆在特定路径上行驶时计算的自我运动。蓝色轨迹是从自我运动功能块59计算的自我运动输出，而粉红色轨迹是GNSS得到的自我运动。由于两个轨迹几乎相同，因此比较步骤76会认为这两个轨迹是匹配的。

在不匹配并且存在超过阈值的一定量的差异的情况下，该方法继续进行到步骤78，自我运动合并功能块64将识别差异的源，这可涉及在三个源中确定一个故障源。例如，如果两个源重合，而第三个源不重合，则很可能第三个源是故障源。在这种情况下，该方法将在步骤80通过忽略该输入来禁用故障源。在82处记录错误，以便可以在维护期间诊断问题。

图11是定位模块84的框图，定位模块84被提供为在车辆的环境的背景下计算定位信息。例如，定位信息可以指定车辆相对于其它车辆和/或相对于道路特征和地标的位置。这种增加的背景有助于通过自主驾驶逻辑来进行路径规划。在图11的具体示例中，定位模块接收两类输入，即指示车辆绝对位置的输入和指示场景背景的输入。

定位模块84使用这些输入来在场景的背景下定位车辆，优选地基于车辆的先前位置来计算定位的概率或置信度。更具体地，定位模块84具有接收从自我运动模块58输出的自我运动信息的输入86。将自我运动输入86处的自我运动信息提供到贝叶斯滤波器功能块88的输入。此外，定位模块84具有占用网格输入，占用网格输入提供由将稍后描述的传感器融合模块生成的占用网格信息。占用网格信息是基于感知的，并且根据在场景中识别出的感兴趣对象、与已识别出的感兴趣车辆和自由空间相关的跟踪信息等来描述车辆周围的场景。将占用网格信息提供给道路横向估计功能模块90。道路横向估计功能模块90处理占用网格信息以从中提取道路边界。

道路横向估计功能模块90的输出被提供给贝叶斯滤波器功能块88。地标定位功能模块92接收占用网格信息，在输入94处接收地标信息，并在输入96处接收地理信息系统(GIS)/高密度(HD)地图。地标定位功能块92将提取地标，地标是沿着道路通常为静态的对象或特征。示例包括道路标志、交通信号灯、道路交叉口、坡道、休息区、铁路交叉口、桥梁、隧道、道路缺陷(例如部分破损的路面)、减速带、立交桥、人行横道和指定停车位等。地标定位功能块92将合并来自不同源的地标以将统一地标集提供到贝叶斯滤波器功能块88。

贝叶斯滤波器功能块88接收自我运动信息、GNSS信息、道路横向估计、统一地标定位以确定车辆在场景中的位置，随着上述输入的变化通过应用贝叶斯概率分析来不断更新该位置。贝叶斯滤波器功能块88使用描述场景中对象和车辆之间的空间关系的运动模型98，允许创建车辆在驾驶环境中的表示。贝叶斯滤波器功能块88输出定位信息，该定位信息传达车辆在其驾驶环境中的表示，包括车辆附近的感兴趣对象(包括道路边界和地标)。

图13是传感器融合模块100的框图，传感器融合模块100从先前描述的不同传感器接收输入，并整合来自传感器的原始数据以在实施方式的具体示例中生成3D RGB-D-V模型。优选地，传感器融合模块100还结合了3D重建以丰富和增加模型的稳健性。传感器数据以智能方式融合，添加时间信息(例如，来自多个帧的信息)以及单次测量的更准确的表示(例如，单个对象的多次测量以能够减少测量的相对误差)。

3D RGB-D-V还在传感器和感知算法之间提供抽象层。这使得能够更换传感器；品牌、分辨率、位置等，而无需修改算法。这种额外的好处减少了系统所需的测试、验证和确认。

更具体地，传感器融合模块100包括原始数据融合功能块102，原始数据融合功能块102在输入104处接收由激光雷达预处理功能块26输出的原始激光雷达数据。原始数据融合功能块102还接收从摄像机预处理功能块18输出的摄像机图像数据，并且在输入108处接收从图像预处理功能块48和2D雷达预处理功能块50输出的原始雷达数据。

以下专利出版物中提供了包括3D重建的摄像机和激光雷达融合的示例，其内容通过引用并入本文：(1)US 10,444,357；(2)US 2016/0291154；(3)US 10,024,965；(4)US 10,445,928。

图14示出了将摄像机数据与激光雷达数据融合并执行3D重建后生成的3D地图。顶部的图像是从高端激光雷达(如Velodyne HDL-64E激光雷达)获得的3D地图。底部的图像是通过使用原始数据融合功能块102获得的。需要注意的是，即使对于高端激光雷达，深度测量(彩色点)也相对较少并且分辨率较低。相比之下，由原始数据传感器融合102实施的3D重建地图方法产生了分辨率高得多的地图，尽管所使用的激光雷达的分辨率低于用于底部地图的激光雷达的分辨率。在该示例中，底部地图的点数是顶部地图的10倍，而且分辨率要高得多。

图15是利用原始数据传感器融合功能块102获得的高密度3D重建地图的又一个示例。场景中的对象的速度信息被描绘在底部、场景图像下方。

图16A是原始数据融合功能块102的更详细框图。原始数据融合功能块102具有3D重建功能块104、3D增强功能块106、RGB-D-V对象检测器功能块108和几何占用网格功能块112。

3D重建功能块在输入114接收从摄像机预处理功能块18输出的摄像机图像，在输入116接收由自我运动合并功能块64输出的自我运动信息，在输入118接收激光雷达原始数据(例如由激光雷达原始预处理和合并功能块26输出的统一点云)，并且在输入120接收由图像预处理功能块48和2D雷达原始预处理和合并功能块50输出的统一雷达数据。3D重建功能块104具有一个输出，即输出场景的高密度3D地图的输出122。

在实施方式的具体示例中，场景的3D地图被构造为一系列像素，每个像素由红、绿和蓝(RGB)颜色信息表征。至少对于描绘场景的一部分的像素子集，为集合中的各个像素提供与特定参考(例如主车辆)相关的距离(D)信息。虽然期望为摄像机图像中的每个像素提供距离信息，但这可能不切实际并且甚至是不必要的，因为在有些场景区域不需要知道与对象的距离以提供安全和有效的自主驾驶。因此，可以不对那些外围区域执行3D重建。

RGB-D-V数据也被输出到自我运动模块58以能够实现如前所述的自我运动的计算。

图16B是由3D重建功能块104执行的方法的流程图。该方法开始于124。在步骤126，接收摄像机数据的帧，该帧优选地是使得感知解决方案在图像域中非常具有辨别力的高清晰度图像。处理摄像机帧以区分图像中的静态对象和动态对象。可以通过将当前接收到的帧、与一个或多个在先帧进行比较，以确定场景中对象的相对位置，对象如何相对于彼此移动，并且从而确定哪些对象移动和哪些对象静止，来完成该操作。在实施方式的具体示例中，该算法可以将图像划分为扇区并确定扇区中的任何一个是否包含移动对象。如果没有找到，则确定该扇区是静态的。

扇区可以是象限。可替代地，可以将扇区整形以更准确地反映场景(例如，在移动的车辆中向前看时看到的场景)的静态和动态区域。换句话说，场景可以分为三个宽度相同或不同的带，每个带从场景的顶部到底部延伸，有一个覆盖前方道路的中心带和对应于道路两侧的两个平行带。在大多数驾驶情景中，动态对象将被缩减到中心带，而两个平行带将包含静态对象。由于随时间推移，静态对象的位置相对于主车辆是高度可预测的，因此无需像与动态对象相关的测量值那样频繁地更新这些对象的距离测量值，其中，动态对象其自身正在移动且可预测性要低得多。

在步骤130和步骤132接收激光雷达数据和雷达数据。来自位于静态扇区中的对象的距离测量值在多个帧上累积(同时可能进行校正以考虑主车辆的移动)。在步骤136，算法将向激光雷达感知模块24和雷达感知模块发出控制信号，以便将距离收集操作集中到包含动态对象的扇区。例如，对激光雷达操作的这种控制可以调制激光雷达的操作，以更频繁地更新动态对象扇区中的距离测量值，但代价是静态对象的扇区中的距离测量值更新较慢。

激光雷达的调制可以包括动态适配扫描操作。例如，激光雷达具有扫描周期，其中场景或场景的一部分被光学信号扫描并收集光返回。扫描周期由扫描角度和扫描方向所限定。扫描方向可以是水平的，换句话说，扫描将场景从左扫到右。扫描方向也可以是垂直的，例如从上到下。可以使用任何合适的扫描模式，例如在两个不同方向上移动光学信号以完全或部分地“绘制”场景的扫描(例如光栅扫描)。

因此，通过控制扫描，可以根据当前环境来调制或调整距离测量操作，并将距离测量集中在最需要的地方，即在主车辆附近的对象可以相对于主车辆以不可预测的方式移动的区域中。

可用于调制距离测量操作的扫描周期的一个参数是扫描角度，即光学信号的扫描角度。通过减小扫描角度使得扫描角度指向动态对象所在的区域，可以增加扫描频率，因为要扫描的区域更少，因此可以更快地更新距离测量值。除了扫描角度之外，还可以控制扫描轴，即扫描的方向或方位。例如，可以将扫描的方位调整到朝向感兴趣方向，例如包含动态对象的方向。在上面提供的示例中，可以调整扫描方位以匹配主车辆行进方向，例如大多数动态对象所在的前方道路。扫描方向或扫描角度可以周期性地改变以扫描道路两侧，以提供与承载静态对象的扇区相关的距离更新。

可以改变激光雷达的其它参数以提供适配操作。光学信号的强度可以根据场景而变化。此外，可以改变光学信号的脉冲速率，这对于基于脉冲返回累积原理而操作的激光雷达来说可以用来控制信噪比。

根据场景更改激光雷达操作模式的一种实用方法是使用激光雷达操作设置库。在实施方式的这种形式中，3D重建功能块102的算法从库中选择适当的激光雷达操作设置，并向激光雷达感知模块24发送信号以实现该设置。这种方法的一个优点是该库可以被设计为支持一系列不同的激光雷达类型、不同的制造商和型号。因此，该库提供了允许原始数据融合模块102与许多不同激光雷达无缝运行的抽象层。

图16C示出了激光雷达操作模式库的数据结构。该库按激光雷达类型组织，其中每种类型都由唯一标识符标识，唯一标识符将库中的每种类型与其它类型区分开来，以免混淆。每种激光雷达类型由技术规格表征。在具体示例中，激光雷达类型可以是由制造商在产品模型下制造的商业激光雷达产品。每种激光雷达类型下的操作模式都是该激光雷达类型支持的操作模式。在设置图1A中所示系统时，指定激光雷达类型，使得在操作期间将参考正确的操作模式。

该配置方法在图16D的流程图中示出。配置方法开始于步骤140。在步骤142，执行配置的操作员或技术人员将系统设置到可以进行各种系统设置的配置模式。配置模式可以调用GUI屏幕，GUI屏幕中有不同的配置设置可用。通过该GUI屏幕，技术人员在步骤144访问激光雷达设置，在此可以指定激光雷达类型。例如，支持的激光雷达类型列表可以以选项菜单的形式出现，并且技术人员选择实际安装在主车辆上的一种激光雷达类型。一旦选择了激光雷达类型，该选择就被记录在存储在系统存储器中的配置文件中，如步骤146所示。

在操作期间，存储在配置文件中的激光雷达类型用于在存储在存储器中的操作模式中选择将在任何给定时间被实施的操作模式。也就是说，只有与安装的激光雷达类型兼容的操作模式可供选择。3D重建功能块104不能选择与不同激光雷达类型相关联的所有其它模式。请注意，在主车辆上放置多个激光雷达传感器的情况下，可以以独立的方式为每个激光雷达传感器选择操作模式。换言之，可存在识别主车辆上的激光雷达位置(例如前部、侧部或后部)的配置文件，其中可以如上所述为每个位置选择激光雷达类型。在该示例中，配置文件将为每个位置指定激光雷达类型，并且然后系统将能够根据存储在存储器中的操作模式库为每个激光雷达独立选择操作模式。

操作模式库可以周期性地更新以添加新的操作模式以提高系统性能，而无需更改诸如实际传感器的系统硬件。3D重建功能块104基于场景动态地执行在可能的操作模式范围中选择一种操作模式。换言之，3D重建功能块104将选择最匹配场景特征的操作模式。选择逻辑的一个示例是在环境中识别表征环境的特征。可以根据观测到的环境特征选择不同的操作模式。例如，每个操作模式都可以与一组特定的环境特征相关联。一旦识别了这些特征，就会选择与这些特征匹配的操作模式。

在特定示例中，3D重建功能块104计算反映环境的某些特征(例如场景中动态对象的图案(中心相对于侧边)；感知的质量(场景中是否存在模糊或不清楚的扇区)，驾驶环境的类型(城市相对于高速公路或越野))的环境指纹。因此，3D重建功能块可以被配置为将感知输入所传达的环境分类为预定数量的类别之一，每个类别与特定的环境指纹相关联。

可以通过使用卷积神经网络来进行选择，该卷积神经网络经过训练以识别不同驾驶环境并将驾驶环境分类为预定类别。反过来，激光雷达传感器的操作模式与各个类别相关联，并且一旦3D重建功能框图104确定了当前环境的类别，激光雷达操作模式就被自动选择。类别确定是连续执行的，并且如果类别因环境变化而变化，则会触发激光雷达工作模式的自动调整。

请注意，环境的分类可以基于图像信息自身、激光雷达和/或雷达信息自身、或融合的数据摄像机和激光雷达和/或雷达来完成。

该方法由图16E的流程图示出。该方法开始于148。在步骤150，表示主车辆周围环境的感知数据被处理以识别指纹，指纹如前所述包括限定环境的一组特征。在步骤152，基于指纹选择激光雷达的操作模式。在特定示例中，在指纹与操作模式之间可能存在一一对应关系，使得单个操作模式与特定的指纹之一相关联。

一旦3D重建功能块104选择了激光雷达的操作模式，3D重建功能块104就向激光雷达感知模块24发出信号。激光雷达感知模块24负责操作模式的实施，具体地，激光雷达感知模式24将根据选择的操作模式产生控制信号来操作激光雷达传感器。控制信号包括扫描参数、光学询问信号参数等。在附图中未示出的实施方式的具体示例中，激光雷达感知模块包括控制实体，该控制实体从3D重建功能块104接收操作模式选择，并将该信息转换为激光雷达传感器的控制信号，以实施该操作模式。

返回参考图16B的流程图，由3D重建模块执行的方法包括通过对距离测量值进行上采样来对数据执行3D重建。该方法在以下专利出版物中有所描述，其内容通过引用并入本文：(1)US 10,444,357；(2)US 2016/0291154；(3)US 10,024,965；(4)US 10,445,928。为了简单起见，将通过图16F的流程图来进行概括。3D重建的概念是使用视觉相似性来将距离测量值分配给在激光雷达点云中不存在距离测量值的图像中的的像素。这种方法可以应用于图17所示的低密度扫描激光雷达，右下角的表示是来自激光雷达的点云。应当注意，分辨率相对较低。当与图像顶部所示的高密度摄像机图像融合(包括执行上采样操作)时，会生成如左下角所示的丰富的3D地图。3D地图的分辨率明显高于激光雷达点云的分辨率。

参考图16F，3D重建或上采样处理开始于154。在步骤156，摄像机图像被分割。基于视觉相似性执行分割。图像被划分为颜色相对均匀的区域。在将颜色差异和/或强度阈值用于将图像划分为区域的情况下，颜色均匀性是一个可编程参数。此外，区域的粒度也可以变化。较小的区域将提供更精确的上采样，其中计算的距离测量值将更准确地反映真实距离。

在步骤158，该方法将激光雷达点云中的距离测量值与由分割处理产生的各个区域相关联。因此，每个区域将被赋予在区域边界内的多个距离测量值。在这些距离测量值的基础上，该方法将尝试近似构成该区域的几何表面。假设有三个距离测量值。这些测量值限定了一个平面，因此可以假设与三个距离测量值相关的区域是平面的。平面的定向取决于实际的距离测量值。例如，如果所有测量值都相同，则定义区域的平面将是垂直平面。如果距离测量值不同，则该平面将为倾斜的平面。

因此在此示例中，三个距离测量值将该区域表征为平面，并且因此可以基于由来自点云的真实测量值定义的平面方程来计算该区域的每个像素的距离。通过插值和使用平面方程，该方法将为在点云中没有距离测量值可用的区域的每个像素计算距离值。这由图16F的流程图中的步骤160示出。

对于有多于三个距离测量值可用的区域，可以进行更复杂的表面拟合。例如，可以拟合曲面，并且然后可以基于该曲面执行插值。

因此，图16F的方法产生了RGB-D-V值的3D地图，该3D地图非常准确地描绘了场景并且能够实现如下面将描述的更准确和稳健的对象检测。

返回参考图16A，原始数据融合模块102还包括具有三个输入的3D增强功能块106，这三个输入即从雷达感知模块44接收统一雷达数据的输入162、从摄像机感知模块16检测的来自摄像机图像的对象信息的输入164、以及从激光雷达感知模块24接收激光雷达数据(特别是统一点云)的输入166。

3D增强功能块106将来自摄像机图像的对象检测与3D信息(即距离信息)合并，以在摄像机图像不清楚或出于任何其它原因不允许检测有足够置信水平的情况下提供更准确的检测。因此，对于置信度低于通常所需的置信度的摄像机图像中的检测的对象，来自雷达数据和/或激光雷达点云的距离信息允许确认检测是肯定的并且因此增加置信水平或确定检测是错误检测。3D增强功能块可以使用卷积神经网络来执行方法。

图18是3D增强功能块106的3D增强输出的摄像机示图。图19是输出的鸟瞰图。

原始数据融合功能块102还包括RGB-D-V对象检测器功能块110。RGB-D-V对象检测器功能块110在输入处接收在5域空间RGB-D-V中表达的3D地图并且通过具有卷积神经网络的分类处理执行对象检测。RGB-D-V在168处输出检测的对象的描述，包括置信水平。图16A的框图示出了来自3D增强功能框图106的输出流和来自RGB-D-V功能模块110的输出流在170处合并。可以理解，在存在一些差异的情况下，合并功能可以涉及检测的对象和解析逻辑之间的比较。

原始数据融合功能块102还包括几何占用网格功能块112，功能块112在输入172处接收环境3D地图的RGB-D-V数据，并在输入174处从摄像机预处理模块16接收自由空间和车道检测。RGB-D-V模型允许对几何占用网格进行建模。利用摄像机对自由空间和车道的检测以及从激光雷达/雷达接收到的附加信息，其启用RGB-D-V模型(“几何占用网格”模块)创建主车辆周围世界的鸟瞰网格，这比单独使用摄像机更准确。此外，RGB-D-V模型允许在3D空间中进行非常准确的关键点匹配，从而实现非常准确的自我运动估计。占用网格输出的信息的具体示例包括将本车道与主车辆方向或逆向方向上的其它车道、车道交叉口、交通减速等区分开来的车道标记。

图28是描述具有自由空间检测识别的场景的示例输出。

图29是具有车道检测的场景的示例输出。

因此，原始数据融合功能块102在输出176处输出对象检测信息并且在输出178处输出几何占用网格。

如前所述，原始数据传感器融合与3D重建提供了更多信息，更多信息使得检测算法能够比可能的其它方法更远地检测到小对象，以及检测到以其他方法可能无法检测到的较小障碍物。正是这种能力提供了更快速地并且在更苛刻的条件下安全驾驶的能力。该解决方案还减少了错误警报(例如，由于道路变色、反射或激光雷达错误而可能发生的错误警报)的数量。

图20和图21示出的示例示出了在相对较远的距离处成功检测到小障碍物。

返回参考图13，传感器融合模块100包括占用网格功能块180，功能块180从原始数据融合功能块102接收几何占用网格信息，并从自我运动合并功能块64接收自我运动信息。占用网格功能块180更精确地定位占用网格中的主车辆，并输出占用网格信息用作定位模块84的输入。由占用网格功能块180产生的输出的示例在图30中示出。

传感器融合模块100还包括检测合并器，检测合并器从摄像机感知模块16、激光雷达感知模块24和雷达感知模块44接收初级对象检测信息。检测合并器还从原始数据融合功能块102接收检测输出。检测合并器将这些检测输入统一起来，每个检测输入都在一个统一检测输出中反映主车辆的环境，并向这些检测输入添加语义信息，从而使主车辆路径规划控制器更容易进行场景解释。

检测合并器功能块182的输出由跟踪器184接收。跟踪器184通过跟踪通过连续图像帧的角速度和通过深度图像帧的径向速度，来实现算法以遵循检测的对象在3D空间中的运动路径。当雷达多普勒数据可用时，该数据可用于补充跟踪处理。跟踪器184可以使用所计算的与对象有关的速度信息来区分动态对象和静态对象。对于动态对象，跟踪器184生成3d轨迹运动，其对于自主车辆的路径规划软件用于路径规划和碰撞预防是有用的。

返回参考图1，传感器融合模块100具有可选的健康监测功能块200。健康监测块200接收流入检测合并器功能块182的输入并监测输入以识别传感器的故障或退化。在该实施方式中，健康监测功能块200不能访问传感器诊断信息，而是依靠传感器的输出来确定传感器的健康状态。这种方法的优点是健康监测器可以与一系列不同的传感器一起工作，并且不需要调整系统以使系统可以识别不同传感器品牌和类型的诊断信息。

健康监测功能块200根据图1B的流程图执行方法。该方法开始于步骤202。健康监测功能块200在步骤204接收对象检测输入并且在步骤206处理对象检测输入以识别任何传感器流的潜在问题。该方法包括以下任何一项：

1.检测到没有任何检测输入，例如没有信号或信号状态表明与信号源没有通信。这是典型的硬件问题。

2.针对检测结果之间的相关性检查信号。这个概念是看信号在传感器模态的限制内通常是否彼此一致。例如，一些传感器可能能够检测到其它传感器无法检测到的对象，并且因此在一个传感器模态中存在的一些对象检测在另一传感器模态中不存在是正常的。具体而言，摄像机感知模块16可以区分对象类别，即汽车和行人，以及其它类别。因此，与例如雷达对象检测相比，

来自摄像机图像的对象检测将传达关于检测的对象的更多特征。

针对相关性评估检测结果的方法可以通过比较每个传感器模态中的检测的对象来完成，并且如果检测的对象在对象的存在和对象的位置方面在一定的容差范围内一致，则健康监测功能块200确定信号有效并且不采取任何行动，因为系统正在正常执行。这由208处的决定步骤示出。

在特定示例中，该方法比较所有输入中的对象检测，并确定对象是否从任何一个检测流中丢失。如果对象丢失，则健康监测功能块200确定是否有任何丢失对象属于特定传感器模态能够检测的对象类别。在肯定的情况下，该方法标识传感器模态并继续在多个帧上跟踪检测性能。如果特定传感器模态随时间累积的检测错误多于其它传感器模态，这可能是由于检测性能退化所致。退化程度可以通过错误检测的规模来指示。

请注意，传感器模态暂时出现故障(即错过一些检测)并不罕见。这可能是由于其中传感器性能自然退化的主车辆的特定操作条件所致。例如，灰尘可能会积聚在摄像机观测窗上，从而导致摄像机传感器捕获的图像被部分遮挡。图32中示出了一个示例，其中昆虫粘在挡风玻璃上，导致部分摄像机图像不清楚。

图33是当主车辆在日落中行驶并且摄像机传感器部分看不见(blinded)时，传感器性能暂时退化的另一示例。图34是挡风玻璃上的雨使摄像机图像模糊的又一示例。图31是车辆在隧道中行驶的又一示例。

健康监测功能块200被配置为将短期退化与指示持久影响的长期退化区分开来。可以通过查看检测错误率随时间的变化来进行区分。对于暂时退化，检测错误率可能会飙升，但当车辆返回到传感器模态正常运行的操作条件时，该错误率可能会迅速消失。例如，在图40的情况下，当车辆在隧道中时，因为摄像机传感器看不见，摄像机模态的检测错误率应该会增加。但是，当车辆离开隧道时，错误率应该会恢复正常。

为健康监测功能块200的逻辑提供可配置参数以调整系统对检测到的错误的灵敏度。可存在错误率检测阈值和持续时间检测阈值。例如，为了让系统开始对检测错误做出反应，错误率必须超过最小阈值，并且检测率必须在最小时间量内保持在阈值之上。请注意，时间阈值可与检测错误率有关。对于非常高的检测错误率，系统做出反应的时间帧可能会缩短。

如图1A中的步骤210所示，当检测到传感器性能退化时，系统将执行适配。适配可以包括从感知处理中忽略传感器模态以避免破坏感知结果。当检测到硬件故障时就会出现这种情况。健康监测功能块200将通过控制信号通路(图中未示出)生成控制信号，以向处理该传感器模态的输出的所有实体指示忽略输入。例如，在由健康监测模块200检测到雷达感知模块发生故障的情况下，健康监测模块200将向传感器融合模块100(特别是原始数据融合功能块102和检测合并器功能块182)发送控制信号，以忽略来自雷达感知模块的检测结果。因此，感知处理在没有雷达输入的情况下继续进行，并且可能由于缺少传感器模态而导致整体性能退化。

如果发现激光雷达感知模块的硬故障，将采用相同的方法。原始数据融合功能块102和检测合并器功能块182将被指示忽略激光雷达感知输入，结果是将基于摄像机和雷达传感器进行下游处理(特别是原始数据融合计算)，并且总体性能会退化一定预期水平。

其中没有可用图像信息的硬摄像机传感器故障是一个具有挑战性的情况，因为摄像机传感器传达了有关环境的重要信息。然后一种选择是将车辆默认为安全状态，即执行完全停止。为了解决总的摄像机视觉故障，可以为自我运动模块58提供缓冲器，缓冲器中存储了在摄像机传感器操作时收集的许多先前帧，使得在车辆执行完全停止时自我运动信息是可用的，这通常将涉及将车辆驶向路边然后停下来。缓冲器中的帧数将取决于机动的要求。

在没有硬故障的性能退化的情况下，其中，传感器模态继续运行但性能退化，健康监测功能块200将向处理来自该传感器模态的对象检测的各种实体发出控制信号，以补偿退化的性能。一种可能的补偿是在合并来自不同模态的检测结果时给予该传感器模态较少的权重。在特定示例中，检测合并器功能块182仍将来自该性能退化的传感器模态的检测结果与其它传感器模态的检测结果进行合并，但对该传感器模态给予较少的重要性。这种方法允许根据驾驶环境动态地改变不同传感器模态检测的权重，因为在某些条件下低效率操作的传感器自然将产生更多错误，并且这些传感器的输入被调整为对整体结果的贡献更小。相反，在特定驾驶环境中高效操作的传感器模态将显示更少的错误，并将成为检测结果的主要源。

具体示例可以说明这一点。考虑车辆在白天行驶的情况。执行对象检测的主要信息源是摄像机，因为摄像机从车辆周围的场景中捕获大量信息。激光雷达补充了摄像机图像，并且通过执行原始数据融合，可以开发出丰富的环境3D地图。然而，在夜晚，摄像机表现不佳，并且基于摄像机感知的检测操作将开始产生更多错误。随着光量的减少，摄像机传感器产生的检测错误率将逐渐增加，并且同时，在计算最终输出时对其它传感器模态的依赖也会增加。在此示例中，系统将更多地依赖激光雷达传感器，因为激光雷达传感器将显现出比摄像机更少的错误。

图22的框图示出了图1所示系统的时间同步功能。需要多模态和多传感器时间同步，以便对齐在系统的整个操作过程中以不同时间戳记录的对象和数据输入。

时间同步的主要挑战：

·在每个传感器/模态中以独特的时域异步地进行检测，可能导致在模态之间的不同位置检测到对象并导致“双重检测”。

·多传感器和多模态增加了时间同步的复杂性。

·感知系统的输出时序要求应当与传感器时序约束无关。

图1A的系统被配置为使得不同的模态在其自己的时域中异步操作，并且它们与输出时间同步。图22示出了系统架构，其中不同的传感器模态存在于其自己的时域中。具体来说，每个摄像机都有其自己的与传感器的帧速率对齐的时域。

原始数据融合和自我运动两者都是基于图像的，因此它们也与摄像机帧速率同步。从激光雷达时域和雷达时域到原始数据融合的输入被投影到摄像机时域。

对于激光雷达时域，所有激光雷达点都是异步累积的，并使用自我运动将所有激光雷达点投影到单个激光雷达检测率。

对于雷达时域，所有雷达集群都是异步累积的，并使用自我运动将所有雷达集群投影到单个雷达检测率。

输出时域与传感器时域异步，以便根据系统要求提供融合感知解决方案。为了确保时间同步的解决方案，来自每个传感器的相干统一时间戳和来自ecu的通用时间戳必须可用于感知系统。

图1A的系统被配置为执行各种传感器的校准。多传感器校准的主要挑战是：

·摄像机镜头的鱼眼(Fisheye)模型需要复杂的内在的不失真模型

·激光雷达的不规则网格变化需要内在校准解决方案

·不同模态之间的融合需要准确的外在校准。准确的校准对于检测远距离的小障碍物很重要

o提高的检测率

o多检测合并

o远距离检测\尤其是小障碍物

o多激光雷达传感器点云积累

·校准随时间漂移，并且需要在线监测和/或重新校准

·传感器和车辆之间的校准

离线校准是处理以下两种不同情景的方法：

·整车的首次制造

·更换现有车辆上的传感器

对新车辆执行的校准将在指定的校准站点执行，该站点专门用于同时对所有传感器进行即时的内在和外在校准。

此方法的目的是最小化制造过程中自检和校准的时间和成本。

在更换或重新安装传感器的情况下，将开发移动校准套件，这将允许对所有传感器进行内在和外在校准。

图23中的流程图所示的方法是执行校准的方法的示例。

在线校准是感知系统的关键方面，与安全要求直接相关。执行对校准的监测以在线检测校准的任何部分是否发生故障。此外，还执行在线调整，以允许对校准进行修改，从而实现持续安全驾驶。

所有传感器都应校准到相对于AV主体的公共点。在线校准处理包括将所有传感器以6个自由度对准到车辆的某个点。这在图24中示出。图25是激光雷达点云与摄像机图像平面之间的校准示例，激光雷达点的距离被彩色编码(红色表示近，紫色表示远)，并且可以看出，校准是准确的。图26和图27是校准目标的其它示例。

Claims (162)

1.一种用于感测包含感兴趣对象的场景的方法，包括：

a.从多个传感器模态接收传感器数据，其中每个传感器模态观测包含至少一个所述感兴趣对象的所述场景的至少一部分，并生成传达关于所述场景的所述一部分的信息和所述至少一个感兴趣对象的信息的传感器数据；

b.处理来自每个传感器模态的所述传感器数据，以检测感兴趣对象并产生多个初级检测结果，每个检测结果与相应的传感器模态相关联；

c.将从第一传感器模态获得的传感器数据与从第二传感器模态获得的传感器数据融合，以生成所述场景的融合3D地图；

d.处理所述融合3D地图以检测所述场景中的感兴趣对象并产生次级检测结果；

e.对所述初级检测结果和所述次级检测结果执行对象级融合。

2.根据权利要求1所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

3.根据权利要求2所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

4.根据权利要求2所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

5.根据权利要求3所述的方法，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述融合包括将来自所述激光雷达数据的距离值与所述图像数据中的像素相关联。

6.根据权利要求5所述的方法，其中所述融合包括对于所述图像数据中的在所述激光雷达数据中没有可用距离值的第一像素，至少部分地基于所述激光雷达数据中的可用于所述图像数据中的与所述第一像素视觉相似的第二像素的距离值来估计所述第一像素的距离值。

7.根据权利要求6所述的方法，其中所述摄像机的分辨率比所述激光雷达更高。

8.根据权利要求7所述的方法，其中所述融合包括至少部分地基于片段中的像素的视觉相似性来限定所述图像数据中的片段。

9.根据权利要求8所述的方法，其中所述融合限定给定片段的边界，以致于包含描绘所述场景的具有相似颜色的一部分的像素。

10.根据权利要求8所述的方法，其中所述融合识别所述激光雷达数据中的与特定片段中的像素相关联的三个或更多个距离值，并且基于所述多个距离值通过使用平面方程来估计所述特定片段中的在所述激光雷达数据中没有可用距离值的其它像素的距离值。

11.根据权利要求1所述的方法，包括基于所述次级检测结果来计算占用网格。

12.根据权利要求11所述的方法，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

13.根据权利要求12所述的方法，其中所述感兴趣对象包括车辆。

14.根据权利要求13所述的方法，其中所述占用网格识别各个车辆的轨迹。

15.根据权利要求14所述的方法，其中所述占用网格识别各个车辆的速度。

16.根据权利要求15所述的方法，其中所述占用网格限定所述车辆周围的自由空间。

17.根据权利要求16所述的方法，还包括经由通过连续数据帧跟踪检测到的对象来处理所述次级检测结果，以遵循检测到的对象在3D空间中的运动路径。

18.一种系统，包括：

a.多个传感器模块，每个传感器模块包括：

i.传感器，其根据相应模态操作，所述相应模态不同于所述多个传感器模块中的一传感器模块的另一个传感器的模态，所述传感器被配置为观测包含至少一个感兴趣对象的场景的至少一部分，并生成传达关于所述场景的所述一部分的信息和所述至少一个感兴趣对象的信息的传感器数据；

ii.感知功能块，其用于处理所述传感器数据以输出初级检测结果；

b.传感器融合模块，其被配置为：

i.将从根据第一传感器模态操作的第一传感器模块获得的传感器数据与从根据第二传感器模态操作的第二传感器模块获得的传感器数据融合，以生成所述场景的融合3D地图；

ii.处理所述融合3D地图以检测所述场景中的感兴趣对象并产生次级检测结果；

iii.对所述初级检测结果和所述次级检测结果执行对象级融合。

19.根据权利要求18所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

20.根据权利要求19所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

21.根据权利要求19所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

22.根据权利要求20所述的系统，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述传感器融合模块被配置为将来自所述激光雷达数据的距离值与所述图像数据中的像素相关联。

23.根据权利要求22所述的系统，其中所述传感器融合模块被配置为对于所述图像数据中的在所述激光雷达数据中没有可用距离值的第一像素，至少部分地基于所述激光雷达数据中的可用于所述图像数据中的与所述第一像素视觉相似的第二像素的距离值来估计所述第一像素的距离值。

24.根据权利要求23所述的系统，其中所述摄像机的分辨率比所述激光雷达更高。

25.根据权利要求24所述的系统，其中所述传感器融合模块被配置为至少部分地基于片段中的像素的视觉相似性来限定所述图像数据中的片段。

26.根据权利要求25所述的系统，其中所述传感器融合模块被配置为限定给定片段的边界，以包含描绘所述场景的具有相似颜色的一部分的像素。

27.根据权利要求25所述的系统，其中所述传感器融合模块被配置为识别所述激光雷达数据中的与特定片段中的像素相关联的三个或更多个距离值，并且基于所述多个距离值通过使用平面方程来估计所述特定片段中的在所述激光雷达数据中没有可用距离值的其它像素的距离值。

28.根据权利要求18所述的系统，其中所述传感器融合模块被配置为基于所述次级检测结果来计算占用网格。

29.根据权利要求28所述的系统，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

30.根据权利要求29所述的系统，其中所述感兴趣对象包括车辆。

31.根据权利要求30所述的系统，其中所述占用网格识别各个车辆的轨迹。

32.根据权利要求30所述的系统，其中所述占用网格识别各个车辆的速度。

33.根据权利要求30所述的系统，其中所述占用网格限定所述车辆周围的自由空间。

34.根据权利要求18所述的系统，所述传感器融合模块被配置为经由通过连续数据帧跟踪检测到的对象来处理所述次级检测结果，以遵循检测到的对象在3D空间中的运动路径。

35.一种系统，包括：

a.多个传感器模块，所述多个传感器模块用于感测包含感兴趣对象的场景，每个传感器模块根据相应的传感器模态操作；

b.每个传感器模块包括：

i.传感器输入，其用于从所述相应模态的传感器接收传感器数据；

ii.基于软件的感知实体，其处理所述传感器数据以检测所述传感器数据中的感兴趣对象；

iii.输出，其用于产生：

1.从所述相应模态的所述传感器获得的传感器数据；

2.从所述处理中获得的初级检测结果；

c.基于软件的感知模块，其包括：

i.输入，其用于从每个传感器模块接收所述传感器数据；

ii.输入，其用于从每个传感器模块接收所述初级检测结果；

iii.处理实体，其用于处理来自两个或更多个所述传感器模块的所述传感器数据和所述初级检测结果，以获得次级检测结果。

36.根据权利要求35所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

37.根据权利要求36所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

38.根据权利要求36所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

39.根据权利要求37所述的系统，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述感知模块被配置为将所述图像数据与所述激光雷达数据融合以产生环境的3D地图。

40.根据权利要求39所述的系统，其中所述感知模块被配置为在将所述图像数据与所述激光雷达数据融合时，执行所述3D地图的3D重建。

41.根据权利要求39所述的系统，其中所述摄像机的分辨率比所述激光雷达更高。

42.根据权利要求41所述的系统，其中所述感知模块包括神经网络，所述神经网络被训练为处理所述3D地图，以检测感兴趣对象并输出次级检测结果。

43.根据权利要求42所述的系统，其中所述神经网络被配置为将检测到的对象分类为从多个类别中选择的类别。

44.根据权利要求43所述的系统，其中所述多个类别包括车辆和行人。

45.根据权利要求43所述的系统，其中所述多个类别包括静态对象和动态对象。

46.根据权利要求42所述的系统，其中所述感知模块包括检测合并器，所述检测合并器被配置为将所述第一检测结果和所述第二检测结果合并，并输出融合的检测结果。

47.根据权利要求35所述的系统，其中所述感知模块被配置为计算占用网格。

48.根据权利要求47所述的系统，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

49.根据权利要求48所述的系统，其中所述感兴趣对象包括车辆。

50.根据权利要求49所述的系统，其中所述占用网格识别各个车辆的轨迹。

51.根据权利要求50所述的系统，其中所述占用网格识别各个车辆的速度。

52.根据权利要求50所述的系统，其中所述占用网格限定所述车辆周围的自由空间。

53.一种方法，包括：

a.提供用于感测包含感兴趣对象的场景的多个传感器模块，每个传感器模块根据相应的传感器模态进行操作；

b.每个传感器模块包括：

i.用于从所述相应模态的传感器接收传感器数据的传感器输入；

ii.基于软件的感知实体；

c.处理所述传感器数据以检测所述传感器数据中的感兴趣对象以产生：

1.从所述相应模态的所述传感器获得的传感器数据；

2.从所述处理获得的初级检测结果；

d.提供基于软件的感知模块，所述基于软件的感知模块包括：

i.输入，其用于从每个传感器模块接收所述传感器数据；

ii.输入，其用于从每个传感器模块接收所述初级检测结果；

e.处理来自两个或更多个所述传感器模块的所述传感器数据和所述初级检测结果，以获得次级检测结果。

54.根据权利要求53所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

55.根据权利要求54所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

56.根据权利要求54所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

57.根据权利要求55所述的方法，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，包括用所述感知模块将所述图像数据与所述激光雷达数据融合，以产生环境的3D地图。

58.根据权利要求57所述的方法，包括在将所述图像数据与所述激光雷达数据融合时，用所述感知模块执行所述3D地图的3D重建。

59.根据权利要求58所述的方法，其中所述摄像机的分辨率比所述激光雷达更高。

60.根据权利要求58所述的方法，包括用神经网络处理所述3D地图，以检测感兴趣对象并输出次级检测结果。

61.根据权利要求60所述的方法，包括用所述神经网络将检测到的对象分类为从多个类别中选择的类别。

62.根据权利要求61所述的方法，其中所述多个类别包括车辆和行人。

63.根据权利要求62所述的方法，其中所述多个类别包括静态对象和动态对象。

64.根据权利要求53所述的方法，包括用所述感知模块计算占用网格。

65.根据权利要求64所述的方法，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

66.根据权利要求65所述的方法，其中所述感兴趣对象包括车辆。

67.根据权利要求65所述的方法，其中所述占用网格识别各个车辆的轨迹。

68.根据权利要求64所述的方法，其中所述占用网格识别各个车辆的速度。

69.根据权利要求68所述的系统，其中所述占用网格限定所述车辆周围的自由空间。

70.一种系统，包括：

a.多个传感器模块，所述多个传感器模块用于感测包含感兴趣对象的场景，每个传感器模块根据相应的传感器模态进行操作；

b.传感器融合模块，所述传感器融合模块用于将来自所述多个传感器模块的检测结果融合成统一感知解决方案，所述融合包括：

i.确定每个传感器模块的传感器表现；

ii.根据所述传感器表现来调整来自所述传感器模块的所述检测结果在所述统一感知解决方案中的贡献权重。

71.根据权利要求70所述的系统，其中当与来自所述多个传感器模块中的特定传感器模块相关的所述传感器表现提高时，所述传感器融合模块增加来自所述特定传感器模块的所述检测结果的贡献权重。

72.根据权利要求70所述的系统，其中当与来自所述多个传感器模块中的特定传感器模块相关的所述传感器表现降低时，所述传感器融合模块降低来自所述特定传感器模块的所述检测结果的贡献权重。

73.根据权利要求71所述的系统，其中所述多个传感器模块中的每个传感器模块包括：

i.传感器，其根据相应的模态进行操作，所述相应模态与所述多个传感器模块中的一传感器模块的另一个传感器的模态不同，所述传感器被配置为观测包含至少一个感兴趣对象的场景的至少一部分，并生成传达关于所述场景的所述一部分的信息和所述至少一个感兴趣对象的信息的传感器数据；

ii.感知功能块，其用于处理所述传感器数据以输出初级检测结果；

b.所述传感器融合模块被配置为：

i.将从根据第一传感器模态操作的第一传感器模块获得的传感器数据与从根据第二传感器模态操作的第二传感器模块获得的传感器数据融合，以生成所述场景的融合3D地图；

ii.处理所述融合3D地图，以检测所述场景中的感兴趣对象并产生次级检测结果；

iii.对所述初级检测结果和所述次级检测结果执行对象级融合，以产生所述统一感知解决方案。

74.根据权利要求73所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

75.根据权利要求74所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

76.根据权利要求74所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

77.根据权利要求75所述的系统，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述传感器融合模块被配置为将来自所述激光雷达数据的距离值与所述图像数据中的像素相关联。

78.根据权利要求77所述的系统，其中所述传感器融合模块被配置为对于所述图像数据中的在所述激光雷达数据中没有可用距离值的第一像素，至少部分地基于所述激光雷达数据中的可用于所述图像数据中的与所述第一像素视觉相似的第二像素的距离值来估计所述第一像素的距离值。

79.根据权利要求78所述的系统，其中所述摄像机的分辨率比所述激光雷达更高。

80.根据权利要求79所述的系统，其中所述传感器融合模块被配置为至少部分地基于片段中的像素的视觉相似性来限定所述图像数据中的片段。

81.根据权利要求80所述的系统，其中所述传感器融合模块被配置为限定给定片段的边界，以包含描绘所述场景的具有相似颜色的一部分的像素。

82.根据权利要求81所述的系统，其中所述传感器融合模块被配置为识别所述激光雷达数据中的与特定片段中的像素相关联的三个或更多个距离值，并且基于所述多个距离值通过使用平面方程来估计所述特定片段中的在所述激光雷达数据中没有可用距离值的其它像素的距离值。

83.根据权利要求73所述的系统，其中所述传感器融合模块被配置为基于所述次级检测结果来计算占用网格。

84.根据权利要求83所述的系统，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

85.根据权利要求84所述的系统，其中所述感兴趣对象包括车辆。

86.根据权利要求85所述的系统，其中所述占用网格识别各个车辆的轨迹。

87.根据权利要求86所述的系统，其中所述占用网格识别各个车辆的速度。

88.根据权利要求87所述的系统，其中所述占用网格限定所述车辆周围的自由空间。

89.一种方法，包括：

a.提供多个传感器模块，所述多个传感器模块用于感测包含感兴趣对象的场景，每个传感器模块根据相应的传感器模态进行操作；

b.提供传感器融合模块，所述传感器融合模块用于通过融合方法将来自所述多个传感器模块的检测结果融合成统一感知解决方案，所述融合方法包括：

i.确定每个传感器模块的传感器表现；

ii.根据所述传感器表现来调整来自所述传感器模块的所述检测结果在所述统一感知解决方案中的贡献权重。

90.根据权利要求89所述的方法，其中当与来自所述多个传感器模块中的特定传感器模块相关的所述传感器表现提高时，所述传感器融合模块增加来自所述特定传感器模块的所述检测结果的贡献权重。

91.根据权利要求89所述的方法，其中当与来自所述多个传感器模块中的特定传感器模块相关的所述传感器表现降低时，所述传感器融合模块降低来自所述特定传感器模块的所述检测结果的贡献权重。

92.根据权利要求90所述的方法，其中所述多个传感器模块中的每个传感器模块包括：

i.传感器，其根据相应的模态进行操作，所述相应的模态与所述多个传感器模块中的一传感器模块的另一个传感器的模态不同，所述传感器被配置为观测包含至少一个所述感兴趣对象的场景的至少一部分，并生成传达关于所述场景的所述一部分的信息和所述至少一个感兴趣对象的信息的传感器数据；

ii.感知功能块，其用于处理所述传感器数据以输出初级检测结果；

b.所述传感器融合模块被配置为：

i.将从根据第一传感器模态操作的第一传感器模块获得的传感器数据与从根据第二传感器模态操作的第二传感器模块获得的传感器数据融合，以生成所述场景的融合3D地图；

ii.处理所述融合3D地图，以检测所述场景中的感兴趣对象并产生次级检测结果；

iii.对所述初级检测结果和所述次级检测结果执行对象级融合，以产生所述统一感知解决方案。

93.根据权利要求92所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

94.根据权利要求93所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

95.根据权利要求93所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

96.根据权利要求94所述的方法，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述传感器融合模块将来自所述激光雷达数据的距离值与所述图像数据中的像素相关联。

97.根据权利要求96所述的方法，其中所述传感器融合模块对于所述图像数据中的在所述激光雷达数据中没有可用距离值的第一像素，至少部分地基于所述激光雷达数据中的可用于所述图像数据中的与所述第一像素视觉相似的第二像素的距离值来估计所述第一像素的距离值。

98.根据权利要求97所述的方法，其中所述摄像机的分辨率比所述激光雷达更高。

99.根据权利要求98所述的方法，其中所述传感器融合模块至少部分地基于片段中的像素的视觉相似性来限定所述图像数据中的片段。

100.根据权利要求99所述的方法，其中所述传感器融合模块限定给定片段的边界，以包含描绘所述场景的具有相似颜色的一部分的像素。

101.根据权利要求100所述的方法，其中所述传感器融合模块识别所述激光雷达数据中的与特定片段中的像素相关联的三个或更多个距离值，并且基于所述多个距离值通过使用平面方程来估计所述特定片段中的在所述激光雷达数据中没有可用距离值的其它像素的距离值。

102.根据权利要求101所述的方法，其中所述传感器融合模块被配置为基于所述次级检测结果来计算占用网格。

103.根据权利要求102所述的方法，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

104.根据权利要求103所述的方法，其中所述感兴趣对象包括车辆。

105.根据权利要求104所述的方法，其中所述占用网格识别各个车辆的轨迹。

106.根据权利要求105所述的方法，其中所述占用网格识别各个车辆的速度。

107.根据权利要求106所述的方法，其中所述占用网格限定所述车辆周围的自由空间。

108.一种系统，包括：

a.多个传感器模块，所述多个传感器模块用于感测包含感兴趣对象的场景，每个传感器模块根据相应的传感器模态并根据相应的时域来进行操作；

b.每个传感器模块包括：

i.传感器输入，所述传感器输入用于从所述相应模态的传感器接收传感器数据；

ii.基于软件的感知实体，所述基于软件的感知实体处理所述传感器数据，以检测所述相应的时域中的所述传感器数据中的感兴趣对象；

c.传感器融合模块，其包括：

i.输入，所述输入用于从所述多个传感器模块接收异步检测结果；

ii.处理实体，所述处理实体用于使所述检测结果同步并将经同步的检测结果融合成统一感知解决方案。

109.根据权利要求108所述的系统，其中：

a.每个传感器模块的所述感知实体被配置为处理所述传感器数据，以根据所述相应的时域来输出初级检测结果；

b.所述传感器融合模块被配置为：

i.将从根据第一传感器模态操作的第一传感器模块获得的传感器数据与从根据第二传感器模态操作的第二传感器模块获得的传感器数据融合，以生成所述场景的融合3D地图；

ii.处理所述融合3D地图，以检测所述场景中的感兴趣对象并产生次级检测结果；

iii.对所述初级检测结果和所述次级检测结果执行对象级融合。

110.根据权利要求109所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

111.根据权利要求110所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

112.根据权利要求110所述的系统，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

113.根据权利要求112所述的系统，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述传感器融合模块被配置为将来自所述激光雷达数据的距离值与所述图像数据中的像素相关联。

114.根据权利要求113所述的系统，其中所述传感器融合模块被配置为对于所述图像数据中的在所述激光雷达数据中没有可用距离值的第一像素，至少部分地基于所述激光雷达数据中的可用于所述图像数据中的与所述第一像素视觉相似的第二像素的距离值来估计所述第一像素的距离值。

115.根据权利要求114所述的系统，其中所述摄像机的分辨率比所述激光雷达更高。

116.根据权利要求115所述的系统，其中所述传感器融合模块被配置为至少部分地基于片段中的像素的视觉相似性来限定所述图像数据中的片段。

117.根据权利要求116所述的系统，其中所述传感器融合模块被配置为限定给定片段的边界，以包含描绘所述场景的具有相似颜色的一部分的像素。

118.根据权利要求117所述的系统，其中所述传感器融合模块被配置为识别所述激光雷达数据中的与特定片段中的像素相关联的三个或更多个距离值，并且基于所述多个距离值通过使用平面方程来估计所述特定片段中的在所述激光雷达数据中没有可用距离值的其它像素的距离值。

119.根据权利要求118所述的系统，其中所述传感器融合模块被配置为基于所述次级检测结果来计算占用网格。

120.根据权利要求119所述的系统，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

121.根据权利要求120所述的系统，其中所述感兴趣对象包括车辆。

122.根据权利要求121所述的系统，其中所述占用网格识别各个车辆的轨迹。

123.根据权利要求122所述的系统，其中所述占用网格识别各个车辆的速度。

124.根据权利要求123所述的系统，其中所述占用网格限定所述车辆周围的自由空间。

125.根据权利要求124所述的系统，所述传感器融合模块被配置为经由通过连续数据帧跟踪检测到的对象来处理所述次级检测结果，以遵循检测到的对象在3D空间中的运动路径。

126.一种方法，包括：

a.提供多个传感器模块，所述多个传感器模块用于感测包含感兴趣对象的场景，每个传感器模块根据相应的传感器模态并根据相应的时域来进行操作；

b.每个传感器模块包括：

i.传感器输入，所述传感器输入用于从所述相应模态的传感器接收传感器数据；

ii.基于软件的感知实体，所述基于软件的感知实体处理所述传感器数据以检测所述相应的时域中的所述传感器数据中的感兴趣对象；

c.提供传感器融合模块，所述传感器融合模块包括：

i.输入，所述输入用于从所述多个传感器模块接收异步检测结果；

ii.通过处理实体处理所述检测结果，所述处理实体用于使所述检测结果同步并将经同步的检测结果融合成统一感知解决方案。

127.根据权利要求126所述的方法，其中：

a.每个传感器模块的所述感知实体处理所述传感器数据，以根据所述相应的时域来输出初级检测结果；

b.所述传感器融合模块：

i.将从根据第一传感器模态操作的第一传感器模块获得的传感器数据与从根据第二传感器模态操作的第二传感器模块获得的传感器数据融合，以生成所述场景的融合3D地图；

ii.处理所述融合3D地图，以检测所述场景中的感兴趣对象并产生次级检测结果；

iii.对所述初级检测结果和所述次级检测结果执行对象级融合。

128.根据权利要求127所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

129.根据权利要求110所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

130.根据权利要求128所述的方法，其中所述多个传感器模态包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

131.根据权利要求129所述的方法，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述传感器融合模块将来自所述激光雷达数据的距离值与所述图像数据中的像素相关联。

132.根据权利要求131所述的方法，其中所述传感器融合模块对于所述图像数据中的在所述激光雷达数据中没有可用距离值的第一像素，至少部分地基于所述激光雷达数据中的可用于所述图像数据中的与所述第一像素视觉相似的第二像素的距离值来估计所述第一像素的距离值。

133.根据权利要求132所述的方法，其中所述摄像机的分辨率比所述激光雷达更高。

134.根据权利要求133所述的方法，其中所述传感器融合模块至少部分地基于片段中的像素的视觉相似性来限定所述图像数据中的片段。

135.根据权利要求134所述的方法，其中所述传感器融合模块限定给定片段的边界，以包含描绘所述场景的具有相似颜色的一部分的像素。

136.根据权利要求135所述的方法，其中所述传感器融合模块被配置为识别所述激光雷达数据中的与特定片段中的像素相关联的三个或更多个距离值，并且基于所述多个距离值通过使用平面方程来估计所述特定片段中的在所述激光雷达数据中没有可用距离值的其它像素的距离值。

137.根据权利要求136所述的方法，其中所述传感器融合模块基于所述次级检测结果来计算占用网格。

138.根据权利要求137所述的方法，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

139.根据权利要求138所述的方法，其中所述感兴趣对象包括车辆。

140.根据权利要求139所述的方法，其中所述占用网格识别各个车辆的轨迹。

141.根据权利要求140所述的方法，其中所述占用网格识别各个车辆的速度。

142.根据权利要求141所述的方法，其中所述占用网格限定所述车辆周围的自由空间。

143.根据权利要求142所述的方法，所述传感器融合模块被配置为经由通过连续数据帧跟踪检测到的对象来处理所述次级检测结果，以遵循检测到的对象在3D空间中的运动路径。

144.一种系统，包括：

a.多个传感器模块，所述多个传感器模块用于感测包含感兴趣对象的场景，每个传感器模块根据相应的传感器模态并根据相应的时域来进行操作，

b.每个传感器模块包括：

i.传感器输入，所述传感器输入用于从所述相应模态的传感器接收传感器数据；

ii.模态特定的基于软件的感知实体，所述模态特定的基于软件的感知实体处理所述传感器数据，以检测所述相应的时域中的所述传感器数据中的感兴趣对象；

c.传感器融合模块，包括：

i.输入，所述输入用于从所述多个传感器模块接收异步检测结果；

ii.处理实体，所述处理实体用于使所述检测结果同步并将经同步的检测结果融合成统一感知解决方案。

145.根据权利要求144所述的系统，其中所述多个传感器模块包括用于产生描述所述场景的至少一部分的图像数据的摄像机。

146.根据权利要求145所述的系统，其中所述多个传感器模块包括用于产生描述所述场景的至少一部分的激光雷达数据的激光雷达。

147.根据权利要求145所述的系统，其中所述多个传感器模块包括用于产生描述所述场景的至少一部分的雷达数据的雷达。

148.根据权利要求146所述的系统，其中所述图像数据传达多个像素，其中所述激光雷达数据传达多个距离测量值，所述传感器融合模块被配置为将所述图像数据与所述激光雷达数据融合以产生环境的3D地图。

149.根据权利要求148所述的系统，其中所述传感器融合模块被配置为在将所述图像数据与所述激光雷达数据融合时执行所述3D地图的3D重建。

150.根据权利要求149所述的系统，其中所述摄像机的分辨率比所述激光雷达更高。

151.根据权利要求150所述的系统，其中所述感知模块包括神经网络，所述神经网络被训练为处理所述3D地图，以检测感兴趣对象并输出次级检测结果。

152.根据权利要求151所述的系统，其中所述神经网络被配置为将检测到的对象分类为从多个类别中选择的类别。

153.根据权利要求152所述的系统，其中所述多个类别包括车辆和行人。

154.根据权利要求153所述的系统，其中所述多个类别包括静态对象和动态对象。

155.根据权利要求154所述的系统，其中所述感知模块包括检测合并器，所述检测合并器被配置为将所述第一检测结果和所述第二检测结果合并，并输出融合的检测结果。

156.根据权利要求155所述的系统，其中所述感知模块被配置为计算占用网格。

157.根据权利要求156所述的系统，其中所述占用网格限定感兴趣对象和所述感兴趣对象的相对位置。

158.根据权利要求157所述的系统，其中所述感兴趣对象包括车辆。

159.根据权利要求158所述的系统，其中所述占用网格识别各个车辆的轨迹。

160.根据权利要求159所述的系统，其中所述占用网格识别各个车辆的速度。

161.根据权利要求160所述的系统，其中所述占用网格限定所述车辆周围的自由空间。

162.一种自动化方法系统，包括：

a.提供激光雷达装置，所述激光雷达装置包括：

i.发射器，所述发射器被配置为向包括一个或多个目标对象的场景发射包括光脉冲的光；

ii.接收器，所述接收器被配置为检测来自所述目标对象中的一个或多个的反射光，所述激光雷达装置被配置为响应于所述反射光而生成传达距离值的所述场景的激光雷达数据；

b.提供图像捕获设备以生成所述场景的图像数据，所述图像数据传达多个像素；

c.提供数据处理实体，所述数据处理实体具有用于接收所述激光雷达数据和/或所述图像数据的输入，并处理所述激光雷达数据和/或所述图像数据以获得传达所述场景的一个或多个特征的场景指纹；

d.在所述数据处理实体的机器可读储存器中存储激光雷达装置操作模式的库；

e.从所述库中获得与所述指纹对应的激光雷达装置操作模式；

f.根据所获得的操作模式来控制所述激光雷达装置的操作；

g.利用所述数据处理实体来生成所述场景的3D地图；

h.利用所述数据处理实体来处理所述场景的所述3D地图以识别所述场景中的目标对象。

Images