CN113518932B - 提供压缩主动范围样本的系统、方法和组件 - Google Patents

Abstract

一种利用用于供自主和驾驶员辅助运输交通工具中使用的物体检测的随机存取扫描LiDAR传感器的系统、方法和组件，其中，使用基于范围确定激光脉冲的发射而确定的所计算的预期可能范围变化来调度范围确定激光脉冲的后续发射，使得相比于具有较小预期可能范围变化的单个射线的激光脉冲生成和射线样本生成，更频繁地执行具有较大预期可能范围变化的单个射线的激光脉冲生成和射线样本生成，以便提供压缩主动范围扫描。

Description

提供压缩主动范围样本的系统、方法和组件

相关申请的交叉引用

本专利申请要求在2019年1月3日提交的美国分案专利申请号62/787934的优先权，其公开内容通过对其整体而引用并入本文。

版权

本专利文件的公开内容的一部分包含受到（版权或掩膜作品）保护（参见全文引用的代码）的材料。该（版权或掩膜作品）的所有者不反对任何人对专利文件或专利公开的传真复制，因为其出现在专利商标局的专利文件或记录中，但在其他方面保留所有（版权或掩膜作品）的任何权利。

技术领域

所公开的实施例涉及用于解决阻碍使用随机存取扫描LiDAR传感器、特别是用于供自主或驾驶员辅助运输交通工具使用的物体检测的技术问题的解决方案。

背景技术

正进入市场的扫描LiDAR传感器提供随机存取扫描的一些能力（与使用诸如使用Velodyne VLP16之类的固定扫描图案相反）。例如，采用微机电系统（Micro-Electro-Mechanical System）（MEMS）镜来引导激光脉冲的LiDAR传感器（例如加利福尼亚州的普莱森顿的AEye公司的传感器），允许光束在任何复杂路径中转向（steer）（经受（一个或多个）扫描镜和脉冲激光的充电时间的机电约束），使得传感器可以被视为半随机存取系统。作为另一个示例，由数千个微激光器（诸如由Sense Photonics采用的那些）的大型阵列组成的激光发射器虑及未来的真正随机存取扫描LiDAR传感器的可能性；然而，目前此类传感器仅用作闪存LiDAR，其中所有激光器同时发出脉冲。

发明内容

为了提供对各种发明实施例的一些方面的基本理解，以下呈现简化的发明内容。该发明内容并不是本发明的宽泛概述。其并不旨在标识本发明的重要或关键要素，也不在于框定（delineate）本发明的范围。下述发明内容作为下文更加详细描述的前序仅仅以简化的方式呈现本发明的一些概念。

所公开的实施例解决阻碍使用随机存取扫描LiDAR传感器、特别是用于供自主或驾驶员辅助运输交通工具使用的物体检测的技术问题。

所公开的实施例提供了一种利用用于供自主和驾驶员辅助运输交通工具使用的物体检测的随机存取扫描LiDAR传感器的系统、方法和组件，其中使用基于范围确定激光脉冲的发射的所计算的预期可能范围变化来调度范围确定激光脉冲的后续发射，使得相比于具有较小预期可能范围变化的单个射线的激光脉冲生成和射线样本（sample）生成，更频繁地执行具有较大预期可能范围变化的单个射线的激光脉冲生成和射线样本生成，以便提供压缩主动范围扫描。

所公开的实施例最大化了动态场景中的信息吞吐量，从而提供了最有可能发生最大变化的范围样本，以有效预测和识别具有最多动态的内容的场景区域。

附图说明

具体实施方式部分提及了（一个或多个）附图，在其中：

图1说明了根据所公开的实施例提供的关于行人检测的软件压缩主动范围采样（sampling）的示例。

图2说明了根据至少一个所公开的实施例的处理流程的示例。

图3说明了用于运输交通工具的辅助/自动系统的组成组件的示例，包括所公开的实施例中的组件。

具体实施方式

特定实施例的描述并不旨在在限制本发明。相反，本领域技术人员应理解的是，在没有背离本发明的范围的情况下，可以采用多个变体和等同方案。这些等同方案和变体旨在由本发明所涵盖。

在下面描述的各种发明实施例中对附图进行参考，所述附图构成了本文的一部分，并且其中通过说明示出其中本发明可以实践的各种实施例。可以理解的是，在没有背离本发明的范围或精神的情况下，可以利用其它实施例并可以做出结构和功能的修改。

所公开的实施例解决阻碍使用随机存取扫描LiDAR传感器、特别是用于供自主或驾驶员辅助运输交通工具使用的物体检测的技术问题。

随机存取扫描LiDAR传感器能给感测和感知系统提供很大的益处，因为其收集最重要的信息所需的总能量更少（与以可能的最大速率在场景中针对每个角度发出激光脉冲相反）。另外，由于将没有新的信息内容被提供的样本可以被跳过或延迟，因此使用随机存取扫描LiDAR传感器可以减少信息丰富的样本的延迟。

然而，实现使用此类随机存取扫描LiDAR传感器的系统的重大挑战是针对开发算法以充分利用随机存取扫描的相关联需求。这是因为为了以后当系统在办公室离线以开发时开发算法，原始数据不能简单地一次性收集。例如，如果用于收集原始数据的扫描方式未曾捕获到被扫描的环境中存在的任何行人或小物体，则最优地对扫描转向以便检测行人或小物体的算法很难（即使并非不可能）离线开发。相反，研究员必须利用实时系统持续地开发这些算法，以便能够实现尝试对算法做出各种更改以对采样行为进行改进的能力。

如果正在开发移动平台（例如具有辅助和/或自主功能性的运输交通工具）的软件算法，这个问题将更加复杂。通常，这样的开发要求研究员在车上坐一整天，在开发环境（development）下调适、重新编译和测试软件算法，因为汽车驾驶员在城市闲逛来寻找相关的场景来测试算法。这导致软件开发者的算法开发缓慢，所述软件开发者经常蜷缩在汽车的后座上，其中小型显示器和键盘在他们的膝盖上平衡放置。另外，由于要求在数据正被收集和分析以测试软件的整个时间内汽车必须在道路上行驶，这个开发范例会增加成本和人员风险。

再者，针对一个用例（例如，交通工具识别或区分）的软件算法可能生成对其他用例（行人检测）没有用处的扫描图案。此外，如果每个用例都要求新的、单独的路途以找到其场景的示例（特别是当研究员在行驶时开发软件算法时），用于多个用例的扫描算法的开发将会变得很繁重和劳动密集。

这些挑战对将要被运输交通工具市场采用随机存取扫描传感器以支持辅助和/或自主功能性造成了巨大障碍，虽然随机存取扫描传感器在节能和时延减少方面有明显的优势。

因此，所公开的实施例部分使用较低层级的通用随机存取扫描算法来实现，该算法可以提供用于动态场景的高级别信息内容，但是其并不特定于任何特定的用例，而是对大多用例通用。

通常，还存在一些采用非均匀扫描图案的固定扫描图案LiDAR传感器（例如，来自Velodyne（加利福尼亚州圣何塞）、Ouster（加利福尼亚州旧金山）以及Hesai（中国上海）的那些传感器），使得其中统计上存在更多重要信息的区域上存在更高的点密度。例如，与顶部和底部相反，扫描的中心周围可能存在扫描线之间的更窄的垂直间隔。因此这增加了视野附近的远距离物体的角点（angular point）密度。Luminar（加利福尼亚州帕洛阿尔托）和AEVA（加利福尼亚州山景城）也提供了这种方法，从而增加了调整扫描图案的中心的灵活性，以考虑使交通工具倾斜，或者甚至更动态地调整线之间的间距。然而，这些公司并没有提供用于确定这些线应如何为动态图像最优地排序和布置的解决方案。

在至少一个实施例中，LiDAR传感器可以能够进行既有垂直也有水平的随机存取扫描的一些方式。可以给几个主动的扫描模式提供有LiDAR传感器，以集中在由它们的产品中包括的摄像机所确定的特定特征。例如，这些工作响应于区域之间的强度边界（例如，边缘检测），或响应于图像中强度随时间的变化（前景/背景检测）。这些方法基于如下预期来操作：将视频流中信息内容中最高的位置与其中LiDAR数据将是信息量最大的区域紧密相关。

诸如由LizardTech（华盛顿州西雅图）开发的点云（point cloud）压缩可以被用于解决常规限制。常规服务和算法的存在是为了减少点云的存储要求，所述点云已经通过在某一区域中行驶时收集的扫描来预先收集，并组合成大地图。这些集中在移除数据点中最密集聚集的一些，或者通过利用定义表面的功能参数来逼近（approximating）点云的区域。

然而，所公开的实施例与这些实现不同，因为它们还通过提供压缩主动范围采样来解决供随机存取扫描LiDAR传感器使用的常规实施障碍。更特定地，本文描述的算法用于调度单个射线（源于传感器的球面坐标）、用于由随机存取扫描LiDAR传感器生成的范围确定激光脉冲。此类随机存取扫描LiDAR传感器可以是提供可动态配置扫描图案的任何LiDAR传感器。

为了最大化信息递送，在预期与该射线的先前采样相比有最大变化的情况下，用于生成射线请求分组的算法应当请求射线。因此，在预期与先前采样非常小的变化的位置，应该对于调度具有更低的优先级，并被延迟。因此，一般来说，给定的射线（如在传感器的参考系中所考虑的）应该基于可能结果的增加的不确定度（uncertainty）而更快地被重新采样；同样地，射线应该是更慢地被重新采样（具有更长的延迟），结果也将会更确定。

为了进一步说明这种关系，考虑静止的场景，其中传感器和环境中的任何东西都不在移动。一旦每个可能射线已经被采样，则所有后续射线样本将产生与之前相同的范围值，除了在所确定的范围处的表面的继续存在之外，不提供额外信息。

然而，如果场景中的物体应该移动，则与该物体相交的射线（和它新遮挡的场景背景的那些射线，以及移动的物体已经揭开的那些射线）将报告与之前采样的范围不同的范围。射线的两次采样之间的时间跨度以及范围中的差异意味着表面的径向速度（在假设相同物体被两个脉冲击中过，而不是已经移入/移出脉冲间的射线的物体），使得

对于静止的表面，假设t1-t0不是非常小，则径向速度V将接近0。对于朝向或远离传感器移动的表面，径向速度V将具有与0相差不可忽略的量的一些值。对于其中射线已经从物体转移到背景的情况（或反之亦然），至少对于单个样本来说，径向速度V将显得非常极端。

注意，所有LiDAR传感器都在一定程度上表现出范围噪声，使得静止表面的两个范围样本将不同。这个范围噪声独立于采样之间的时间，因此不论是在0.01秒还是10秒内重新采样表面，由于传感器范围噪声的变化被统计地期望是相同的。这意味着在上面的公式中，如果t1-t0足够小，其中噪声主导视速度（apparent velocity）信号，则径向速度V可以显得非常大。因为这个原因，所以可以执行最小重新采样时段以保证在传感器内部生成的范围噪声上的场景中真实变化的可观察性。

为了减少内部传感器范围噪声的影响，可以使用噪声容忍dr值，其中

使得接近或低于噪声水平（Nr）的dr值相比于接近噪声水平的其他dr不具有诸如在r1–r0中所见的极端的相对差异（被考虑为比率）。这也保证即使在其中完全相同的范围被测量两次的情况下，也会出现一些非零信号，使得系统在再次重新采样射线之前不会等待无限久。

备选地，可以使用速度噪声项，与导致这些样本的响应的很大方差的范围噪声项相反，所述速度噪声项保证了具有非常低的delta范围（dr）的样本的相当均匀的响应。用于这个项的值取决于LiDAR系统的最小采样时段和内部范围噪声，但是该值可以被调整以便创建整个系统的期望响应性。

另外，必须确保使用某个最小dt，使得这不接近零，这将导致非常大的视V，这将进而导致射线的采样被“卡住（stuck on）”（在每个机会都请求）。出于眼睛安全的目的，传感器固件中的传感器的调度器保证这一点。另外，任何通信协议的往返传送延迟防止dt实际达到零；因此，在实践中可能不需要做出额外的努力。然而，对于一般的系统，给定传感器射线的样本不应该在时间上太接近彼此而生成，因为那样它们的差异将仅由传感器噪声组成。

一旦给定射线的V值已经被确定，就可以通过下式对在一定量的后续时间内可以预期范围改变多少进行估计：

其中tc是当前时间，并且t1是对射线进行采样的最后时间。

注意，以上使用添加N（Nr到dr，或者Nv到V）在此被验证，因为，虽然实际上N的某些部分可以在现实中被加入dr或被dr减去以得出范围的实际变化，要考虑的是可以预期的“最大值”合理变化；因此，它应当被加入。而且，这个方法确保即使[r1-r0]非常接近0，但最终它增加的使用期限（age）将促使它突出，因为它的固有噪声将使它的预期变化推到某些不可忽略的量。

因此，以下表示采样在其自上次被采样后的时间内（假设它没有加速）可以行驶的最大合理距离：

或者，

具有最大D值的射线表示那些最有可能产生与先前采样相比范围值中的最大差异。

因此，可以定期（如通过所选的最小dt所确定的）为网格中的所有射线计算D。然后可以对这些值进行排序。然后可以请求具有最大D值的多个经排序的射线以用于传感器进行采样，使得射线请求的速率接近最大采样率，这可以从传感器返回。

对于射线请求和响应可以在其中被流水线化及重叠的系统，一旦射线已经被请求但在射线已经被采样和返回之前，则射线可以被标记为未完成（outstanding），并且不包括在D的计算和排序中。

对于最大吞吐量，可能存在用于未完成的请求的数量的某个理想的水平，控制环路可以被配置成通过在每个请求分组中请求更多或更少的射线来工作以维持该水平。太少的未完成请求将有如下风险：传感器将变得空闲或者花费大量时间在间隔很远的射线之间穿行以采样，从而降低了输出采样率。太多的未完成请求会产生时延和关于何时射线将最终得以被采样的不确定性，并且减少了随机存取扫描仪的实用性。通过将未完成请求的数量保持在理想的范围内，实现了时延和采样率之间的较好权衡。

在LIDAR传感器的至少一个实施例中，范围样本可以采用例如采用用户数据报协议（UDP）分组的群组来返回。每次UDP分组被接收时都排序（所有射线的）数千个D值是不可行的。相反，它们可以以某个更合理的频率（例如25Hz）被计算和被排序，这使得射线请求加载到下一个1/25秒帧时段的大型通信分组中。

一旦射线样本被返回，则这些射线的t和r的值可以被更新，使得t1 => t0、r1 =>r0、tc => t1、rNew => r1。然后，t0和r0的先前值可能会被丢弃。

固定扫描图案LiDAR传感器不会对动态场景做出反应，而是依赖于统计的方法来定义在视场中的何处最有可能看到重要信息以及要求什么水平的分辨率。这不会虑及不常规场景（诸如低悬挂障碍）的良好检测，并且要求始终全功率消耗以在所有区域都提供足够的点覆盖。

提供可调节扫描线的传感器在完全固定的扫描图案上稍微改进了一些，但是仍不能提供保证给定场景的最重要部分将被最密集地扫描；另外，系统仍遭受前面提到的挑战，因为转向图案的算法的开发要求研究员在特定用例的环境中利用实时传感器工作，并且严格限定给定方法将为所有场景产出可接受的结果可能是有挑战性的。

使用具有计算机视觉技术的摄像机来确定在何处主动扫描的方法可能导致系统做出错误假设，诸如何处存在具有低对比度的正移动的均匀表面（汽车的侧面），或者何处环境中的照明导致图像中的变化而不导致物理结构的变化（树木的阴影，或交通工具的前灯）。它还强烈依赖于由摄像机提供的数据，该数据不总是可靠的。雨水、来自太阳的光以及诸如在夜晚之类的低照明度会使得摄像机几乎毫无用处。因此，取决于摄像机品质的扫描算法将可能也会刚好在最需要LiDAR的时候变得无用。

因此，当前所公开的方法不使用摄像机，从而摆脱对摄像机始终正常运行的依赖。相反，所公开的实施例提供了确定具有要被采样的最关键信息的区域的完全独立的方法。

常规的点云压缩要求在执行压缩之前先收集完整的（或很大一部分的）数据集，并且没有限定主动随机存取扫描器应该如何操作以生成同样的压缩的点云（尽管它们可以提供一些线索）。并且，点云压缩集中在创建静态环境的地图、完全移除动态物体，而此处所示的方法最集中于动态数据，以提供与实时的自主系统最相关的信息。

同样，常规事件摄像机（例如法国巴黎的Prophesee）连续地收集光，使得何时生成样本的定时是确定性的和后处理的函数（在接收到贡献样本的光子之后被确定）。

在完全不同的方法中，利用LiDAR的随机存取采样要求它被确定何时以及以何角度来创建样本，而无需完全了解自从那个位置的先前采样开始发生了什么。利用LiDAR的随机存取采样只能通过主动脉冲激光在离散时间收集采样的数据，其中脉冲之间的真实值只能被推断。因此，这是更具挑战性的问题，并且在完全不同的域中运行。

因此，所公开的实施例通过完全改变执行随机存取扫描的方法来解决阻碍常规使用随机存取扫描LiDAR传感器、特别是用于供自主和驾驶员辅助运输交通工具使用的物体检测的技术问题。这与基于LiDAR的随机存取扫描的常规使用根本不同，该基于LiDAR的随机存取扫描使用所包括的主动模式或定制方法可以使用嵌入传感器的摄像机以便驱动扫描图案。这是因为没有基于连续输入生成样本的类似方法。因此，即使点云的压缩和类似的视频压缩被广泛传播，也不存在提供当前所公开的压缩主动扫描的常规能力。

为了说明当前所公开的实施例的实用性，考虑示例性所公开的系统，其中随机存取扫描LiDAR传感器与大型监测器一起被安装到定位于房间中的运输交通工具，使得观察者可以看到它们如何被检测。大多数LiDAR采样可以被指向人群中的人（或它们正围绕着移动的任何东西），其中针对房间静止部分的采样率要低得多。

下面的解释提供已经被开发和测试的软件的描述，其遵循所描述的算法以便提供行人检测的有效演示。图1说明了根据所公开的实施例提供的关于行人检测的软件压缩主动范围采样的示例。

例如，如参考图1所示的，操作可以在100处开始并且控制可以进行到110，在110处可以调度单个射线以用于通过至少一个随机存取扫描LiDAR传感器发射范围确定激光脉冲。这可能涉及接受包含用于采样的射线的列表的TCP分组的传感器，其由离散值（例如308x 150的样本网格）寻址，以便提供随机存取采样。另外，这些射线请求可以被加入到传感器的存储器的2D网格中，其中传感器的调度器确定转向（一个或多个）激光光束通过的最优路径，以便在最短时间内服务于射线请求，经受以下约束：眼睛安全、脉冲之间的激光充电的时间以及MEMS镜随时间物理旋转以实现所需角度的能力。

此后，在120处，可以基于调度通过至少一个随机存取扫描LiDAR发射范围确定激光脉冲。随后，可以例如在用户数据报协议（UDP）分组中返回范围样本以用于在群组中处理。此后，在130处，响应于所发射的范围确定激光脉冲而被至少一个随机存取扫描LiDAR感测的采样数据可以被分析以生成射线样本，该射线样本然后被分析以确定射线的预期可能范围变化，该预期可能范围变化然后被用于通过至少一个随机存取扫描LiDAR传感器来调度范围确定激光脉冲的后续发射。因此，应当理解的是，这个分析的一部分确定了来自该射线的先前采样的具有最大的预期可能范围变化的单独的射线。此后，相比于具有更小的预期可能范围变化的那些射线，具有更大的预期可能范围变化的射线更快地（即，更频繁地迭代或定期）被再次采样。这样，用于预期有更多可能范围变化的位置的射线比用于预期与该射线的先前采样相比更少变化的位置的射线更频繁地被采样，以便提供压缩主动范围扫描。

这可以以迭代的方式执行，这可考虑到由于运输交通工具的移动，随着物体在图像场景和（一个或多个）LiDAR传感器的视角中移动的图像场景的变化内容。

因此，应当理解的是，所公开的实施例提供了如下方法：该方法解决连续地收集输入数据以迭代地改变系统如何检测由随机存取扫描LiDAR传感器所采样的动态场景内的物体移动的技术需求。这进一步能够实现使用实时数据来最优地使针对检测行人或小型物体扫描的能力转向，使得能够如下能力：尝试对算法进行各种改变以对采样行为进行改进。

此外，应当理解的是，尽管以流程图格式进行了说明，但这些射线请求分组的接收以及射线何时射出（以及随后被组装进包含经采样的数据的返回分组）的定时是不同时的。对用户来说不一定知道所需射线确切在何时将被采样的定时；然而，通常知道它在一些有限的时间内（诸如在0.1秒以下）。如果射线在被采样之前被请求两次，则第二次请求可能被忽略。

请求列表的长度可以被允许成可改变的；然而，在后面的列表可以被处理之前，通常可以预期整个列表将作为帧被扫描。实践中的行为可以与这个实现不同；在先前的列表已经被完全扫描和递送之前，所接收到的列表的响应可能存在差异。

虽然列表的长度以及它们被发送的频率两者都可以是任意的，但至少对于提供给用于所公开的实施例的传感器的半随机列表，这些因素的组合似乎不能实现每秒超过大约50,000点。

在所公开的实施例中的至少一个中，考虑到各种权衡，0.1秒的帧时段提供了最好的结果。因此，5000的列表大小对于在实施例中的至少一个中所描述的采样方法来说可以是最优的。因此，对应的软件代码可以是：

如图1所示，每个扫描单元格（cell）的所接收到的最新采样数据的聚合可以在130处被保持并且以与请求列表被生成的帧速率相同的帧速率被输出。应当理解的是仅出于输出目的设置该关系，并且该关系不是扫描算法中的某个因素。

对于每个单元格，可以保持先前的两个样本的时间和范围。并且，保持请求最近一次刷新单元格，以及在140处所计算的径向速度和在150处所计算的单元格的不确定度（在下文解释）。因此，这个功能性的软件代码可以是：

可以基于最后两个样本的时间和范围来计算速度，包括限制了单元格将被容忍的延迟的VelocityNoise项，即使该两个样本具有相同范围。尽管来自以下代码的结果似乎运行良好，但这个项的理想水平可能未被定义。

不确定度（当考虑到LiDAR实现时，所述不确定度也可以被认为是可能范围变化）可以是基于自上次被采样后它的速度和时间，对单元格里的表面可能移动得多远的估计。

因此，应当理解的是，在启动期间，可以给予单元格高的不确定度，以促使将RefreshInfo刷新和填充于。

如本文参考图2所解释的，此后，当请求的样本从传感器返回时，单元格的Refreshlnfo被更新以反映最新数据，并且速度项如上所示被更新。

通过设计，具有低速度的单元格可能花费很长时间得以刷新，而具有高速度的单元格将在短得多的延迟之后被刷新。然而，这会导致移动物体的刷新质量不一（spotty），因为空闲的单元格将不会知道物体已经移动进它的空间。为了缓解这一点，当单元格被更新时，它的相邻单元格可能被强制为至少具有它预期的速度，如下：

当到了发出请求列表的时候，将单元格加载进列表以按不确定性排序如下：

为了更快地排序和更好地传播采样，每一个刷新时段可以与2x2块中的不同的单元格一起运行：

因此，如上所见，单元格基于自接收到最后采样以来的时间更新它们的不确定度。具有未决请求的任何单元格都可能被跳过，尽管这只有在响应有一些延迟时才需要发生。

单元格被排序，具有最高不确定度的那些单元格首先被排序。

具有最高不确定度的顶部的PointsPerRequest单元格被加载到请求列表并且被发送到传感器。

图2说明了根据至少一个所公开的实施例的处理流程。在用于压缩主动范围采样的该示例实施例中，LiDAR可以基于采样点的不确定度值生成采样图案。LiDAR可以比具有相对较低不确定度的点更频繁地采样高不确定度的点。不确定度值由两次采样之间（例如，在时间0（“time0”）的采样和时间1（“time1”）的最近采样之间）的时间内的射线的范围变化来确定。所采样的射线的不确定度值可以存储在数据结构中（例如，RefreshStats）。

基于更新不确定度操作205，将所采样的射线的不确定度值以及x-和y-坐标保存到可排序点列表210上。然后可使用可排序点列表210来更新存储在数据结构RefreshStats215上的数据。此外，基于请求采样操作220，将来自可排序点列表210的具有最高不确定度值的预定义数量的所采样的射线添加到采样请求列表225。样本请求列表225是用于LiDAR传感器230在下一采样帧中采样的具有x-和y-坐标的点的列表。

LiDAR传感器230然后可以以采样请求列表中列出的射线角度引导它的光。LiDAR230可以被配置成接收来自所采样的射线的反射光，以确定以下所采样的射线中的每个中的一个或多个：采样点的x-和y-坐标、接收光的强度、光的飞行时间以及采样点的范围。LiDAR 230将接收到的数据存储到范围样本列表235中。

作为更新统计操作240的一部分，数据结构RefreshStats 215然后可以由接收到的当前数据来更新，包括采样点的范围和采样点被LiDAR 230感测的时间。采样点的x-和y-坐标被可用于索引数据结构、RefreshStats 230，以定位数据结构230内的对应单元格以进行更新。还可以为采样点中的每个计算和更新速度。

为了通过LiDAR感测跨采样帧的横向运动，可以实现速度扩展，使得可以为相邻射线扩展并保存所采样的射线的所计算的速度。因此，相邻射线的不确定度可能会增加，从而导致LiDAR对这些相邻射线进行采样以检测那些相邻射线的任何变化。由于速度扩散，通过更频繁地对这些相邻射线进行采样，可以存在更高的概率准确检测跨帧的横向移动。

备选地，所采样的射线的帧可由LiDAR收集。扫描帧可以被划分为具有多个单元格的网格（也称为“GridCycle”），其中每个单元格由行和列位置索引并且对应于采样射线。因此，采样射线可以由网格的单元格表示。以这种方式，可以将采样射线分组为2-单元格x2-单元格的区域（或NxM单元的另一区域配置），其中区域中的每个内的单个单元可以通过标识符“1”、“2”、“3”或“4”进一步被标识。标识符充当对网格的各个区域内的特定单元格进行采样的群组引用。例如，由LiDAR可以对“4”单元格中的所有进行采样。备选地，可以仅请求对“3”单元格中的一些预定义单元格进行采样。此外，可以对不同标识符的混合进行采样，例如，可以对区域的“1”单元格进行采样，然后可以对相邻区域的“2”单元格进行采样，可以对另一个相邻区域的“3”单元格进行采样等诸如此类的。可以理解的是，LiDAR可以配置成以任何预定义的或随机采样配置进行扫描。帧的这种交错划分可用于确保采样的更好传播，并在给定时间强制射线样本的最大角密度。

应当理解的是，本文解释的操作可以结合运行软件算法的一个或多个通用计算机或在运行软件算法的一个或多个通用计算机控制下实现，以提供当前所公开的功能性并将那些计算机转变为专用计算机。

此外，本领域技术人员将认识到，考虑到以上教导，以上示例性实施例可以基于使用利用合适的计算机程序所编程的一个或多个编程处理器。然而，可以使用诸如专用硬件和/或专用处理器之类的硬件组件等同物来实现所公开的实施例。类似地，可以使用通用计算机、基于微处理器的计算机、微控制器、光计算机、模拟计算机、专用处理器、应用专用电路和/或专用硬连线逻辑来构建备选等同实施例。

此外，应当理解的是，上述组件的控制和协作可以使用可以存储在有形的非暂时性存储装置中的软件指令来提供，所述有形的非暂时性存储装置诸如存储指令的非暂时性计算机可读存储装置，所述指令当在一个或多个编程处理器上执行时，执行上述方法操作和产生功能性。在这种情况下，术语“非暂时性”旨在排除传送的信号和传播波，但不排除可擦除或依赖电源来保留信息的存储装置。

本领域技术人员将理解，在考虑上述教导后，用于实现上述实施例中的特定实施例的程序操作和处理以及相关联的数据可以使用磁盘存储设备以及其他形式的存储装置来实现，这些存储装置包括但不限于非暂时性存储介质（其中非暂时性仅旨在排除传播信号，并非暂时性的信号，因为它们会通过移除电源或明确的擦除动作而被擦除），诸如例如只读存储器（ROM）装置、随机存取存储器（RAM）装置、网络存储装置、光存储元件、磁存储元件、磁光存储元件、闪存、核心存储器和/或其他等效的易失性和非易失性存储技术，而无需背离特定实施例。此类备选存储装置应被视为是等同物。

例如，如图3中的框图所示，所公开的实施例可用于运输交通工具设备中，该运输交通工具设备用于在用于运输交通工具305的辅助/自动化系统300中实现辅助和/或自主功能性。这样的系统300可包括至少一个处理器310，该处理器310耦合到并被配置成接收指示与运输交通工具周围环境（surroundings）有关的数据的传感器数据，例如，指示周围环境中存在一个或多个其他交通工具、行人和/或静止或移动物体的数据。该传感器数据可以由用于执行交通工具周围物体距离的测量的一个或多个传感器315（例如LiDAR传感器）来生成。例如，这样的传感器315可以位于例如后视镜、前视镜和侧后视镜中，或者安装到交通工具的顶盖、发动机罩、行李箱或保险杠。

应当理解的是，当前所公开的实施例可以使用至少一个处理器305来实现，所述至少一个处理器305可以运行存储在存储器320中的软件，该软件用于控制本文所公开的操作使得充当多个数据处理单元或至少一个单元，其可能能够处理不同数据处理任务。例如，如果传感器315被配置成测量物体的多于一个距离点，则可以检测或近似物体的形状或形状的近似。因此，在其中传感器是LiDAR传感器的至少一个实现中，可以收集交通工具305的周围环境的高分辨率信息。

还应当理解的是，系统300可以在至少一个处理器305中或其他地方包括硬件和软件，以提供本文描述的各种级别的辅助和/或自主功能性。为了支持或提供辅助和/或自主功能性，所公开的实施例使用压缩主动采样（这里是使用LiDAR的范围样本）的数据收集和分析进行优先排序。通过这种改进的采样（例如，收集和分析），所公开的实施例通过改进准确性、分析速度和交通工具操作的相关联的控制，通过改进用于辅助和/或自主功能性的任何运输交通工具设备的操作来提供技术实用性。

虽然已经描述了某些说明性实施例，但是很明显的是，鉴于前面描述，许多备选方案、修改、排列和变化对于本领域技术人员来说将变得清楚。因此，如上所述的各种实施例旨在是说明性而非限制性的。在不背离本发明的精神和范围的情况下，可以进行各种改变。

如本文所解释的，所公开的实施例能够实现使用范围数据的差异来确定采样频率的能力。然而，应当进一步理解的是，所公开的实施例可以与例如样本强度的变化或者经采样的数据的更高阶导数（例如，加速度而不是速度）之类的其他“误差”度量一起使用。因此，应当理解的是，当前所公开的实施例已经以清楚地描述根据预测或预期的测量的差异可以如何用于确定在传感器射线被重新采样之前等待多长时间的方式已经进行解释。换言之，样本与原先预测的差异或误差越大，则对射线重新采样的优先级就应越高。因此，相对于没有表现出如此大误差的其他射线，样本与预测的差异或误差越大，则采样之间所需的时间就越短。

因此，应当理解的是，在本文公开的一个实现示例中，这可以应用于范围测量和沿着相同射线的后续采样将产生相同范围的预期；然而，相同的基本方法可以应用于其他测量项和预测。例如，所测量的返回信号强度的差异，或所计算的表面反射率的差异，或这些和范围的某种组合的误差项，也可用于确定在重新采样之前的等待的时间。另外，这些直接测度的变化率可以用来预测一些直接测量的未来值；这是因为，通过了解表面的范围和径向速度（两者都经受误差），可能的是预测该表面在给定时间点的未来范围。

因此，应当理解的是，所公开的实施例涵盖使用采样的预测值与其当时测量的实际值之间的误差值的实现，以确定在重新采样该位置之前等待多长时间。从理论上讲，这至少部分基于如下思路：在不偏好时间范围的情况下，如果相对于样本的预测的样本的误差值接近传感器的本底噪声（noise floor），则通常将需要更长的采样时段，以便检测任何变化。相反，如果采样的测量值与它的预测之间的误差明显大于其他位置的大多数其他近期采样，那么它理论上应该被给予优先级来立即再次重新采样。

因此，所公开的实施例的范围包括调度的前述原理，结合它对提供动态可调节扫描图案的LiDAR传感器的应用。然而，应当理解的是，无论测量可能是什么，所公开的实施例通过认识到采样时段可以与根据预期的误差成反比而提供技术实用性。

出于本公开的目的，短语“自主和/或辅助功能性”是指能够实现部分、全部或完全自动化控制各种装置和/或系统的功能性，所述各种装置和/或系统包括交通工具（其中交通工具的控制范围和/或涵盖目前已知的五个级别的驾驶自动化）、安全系统、飞机、火车、无人机和仓库操作。因此，应当理解的是，自主和/或辅助功能性是指由交通工具以自动方式通过车上设备执行的操作或对用户的警报、提示、推荐或方向的输出，其中这些输出是以自动方式通过车上设备生成的。此外，自主和/或辅助功能性可能包括驾驶员辅助功能性（一级），其中车上设备辅助但不控制转向、制动和/或加速，但驾驶员最终控制加速、制动和交通工具周围环境的监测。

因此，应当理解的是，这种自主和/或辅助功能性还可以包括车道偏离警告系统，该车道偏离警告系统提供当在高速公路和主干道上运输交通工具开始移出其车道时（除非转向信号在那个方向上）警告驾驶员的机制。此类系统可能包括如果交通工具正离开其车道，则警告驾驶员（车道偏离警告）（视觉、听觉和/或振动警告），并且所述系统警告驾驶员且如果不采取行动，则自动采取步骤来确保交通工具保持在其车道内（车道保持系统）。

同样地，自主和/或辅助功能性可以包括部分自动化（二级），其中运输交通工具辅助转向或加速功能，并相应地监测交通工具周围环境，使驾驶员能够从驾驶运输交通工具的某些任务中脱离出来。如汽车行业所理解的，部分自动化仍然要求驾驶员做好准备承担运输交通工具操作的所有任务，并且也始终对交通工具周围环境持续监测。

自主和/或辅助功能性可以包括有条件自动化（三级），其中运输交通工具设备负责监测周围环境和控制运输交通工具的转向、制动和加速，而无需驾驶员干预。应当理解的是，在此级别及以上级别，用于执行自主和/或辅助功能性的车上设备将与导航功能性交互或包括导航功能性，使得组件具有数据以确定交通工具将要行驶的地方。在三级及以上级别，理论上许可驾驶员脱离监测交通工具周围环境，但在可能妨碍在有条件自动化模式下安全操作的某些情况下可能会被提示要控制运输交通工具操作。

因此，应当理解的是，自主和/或辅助功能性可以包括接管转向、保持运输交通工具在交通车道中央的系统。

同样地，自主和/或辅助功能性可以包括高度自动化（四级）和完全自动化（五级），其中车上设备能够实现响应于对交通车辆的周围环境的监测而以自动的方式自动转向、制动和加速，而无需驾驶员干预。

因此，应当理解的是，自主和/或辅助功能性可能要求对包括交通工具道路的交通工具的周围环境的监测以及周围环境中的物体的识别，使得能够实现响应于交通事件和导航方向的交通工具的安全操作，其中该安全操作要求确定何时改变车道、何时改变方向、何时改变道路（离开/进入道路）、何时以及以何种顺序并入或穿过道路交叉点、以及何时使用转向信号和其他导航指示器以确保其他交通工具/交通工具驾驶员注意到即将进行的交通工具操纵。

此外，应当理解的是，高度和完全自动化可以包括分析和考虑从交通工具外的来源提供的数据，以便对这种自动化级别是否安全进行确定。例如，此类级别的自主和/或辅助功能性可能涉及确定行人在运输交通工具的周围环境中的可能性，这可能涉及参考指示当前道路是高速公路还是公园道路的数据。另外，这种级别的自主和/或辅助功能性可能涉及访问指示当前道路上是否存在交通堵塞的数据。

在考虑到对自主和/或辅助功能性的车上传感器的可能实现的这种理解的情况下，通过改进用于辅助和/或自主功能性的任何运输交通工具设备的采样（例如，收集和分析）操作，可以提供当前所公开的系统、组件和方法来改进由定位于运输交通工具的传感器捕获的关于交通工具的周围环境的经采样的数据中的物体检测和跟踪。

Claims (21)

1.一种利用用于物体检测的随机存取扫描LiDAR传感器以在运输交通工具中实现辅助和/或自主驾驶功能性的系统，所述系统包括：

至少一个随机存取扫描LiDAR传感器；以及

至少一个数据处理器，所述至少一个数据处理器运行存储在存储器中的软件算法，所述软件算法被配置成控制用于由所述至少一个随机存取扫描LiDAR传感器生成的范围确定激光脉冲的发射的单个射线的调度以生成射线样本，所述射线样本然后被分析以计算所述射线的预期可能范围变化，

其中，所计算的预期可能范围变化然后被用于调度所述至少一个随机存取扫描LiDAR传感器的范围确定激光脉冲的后续发射，使得相比于具有较小预期可能变化的单个射线的激光脉冲生成和射线样本生成，更频繁地执行具有较大预期可能范围变化的单个射线的激光脉冲生成和射线样本生成，以便提供压缩主动范围扫描，以及其中，基于为所述射线所确定的径向速度来确定来自先前采样的所述可能范围变化。

2.根据权利要求1所述的系统，其中，基于具有特定结果的采样的不确定度来确定所述可能范围变化。

3.根据权利要求1所述的系统，其中，所述至少一个随机存取扫描LiDAR传感器包括微机电系统镜以引导脉冲激光允许光束在复杂路径中转向。

4.根据权利要求1所述的系统，其中，所述至少一个随机存取扫描LiDAR传感器包括由微激光器的阵列组成的激光发射器。

5.根据权利要求1所述的系统，其中，所述至少一个LiDAR传感器被配置成执行水平随机存取扫描。

6.根据权利要求1所述的系统，其中，所述至少一个LiDAR传感器被配置成执行垂直随机存取扫描。

7.根据权利要求1所述的系统，其中，所述至少一个LiDAR传感器被配置成提供可动态配置的扫描图案。

8.根据权利要求1所述的系统，其中，定期地计算网格中所有射线的所述可能范围变化，并且为所述至少一个LiDAR传感器请求具有最高可能范围变化值的所述射线，以比所述网格中的其他射线更快地采样。

9.根据权利要求1所述的系统，其中，范围样本在用户数据报协议分组中被返回到所述至少一个处理器。

10.根据权利要求1所述的系统，其中，所述样本的所述可能范围变化以及x-和y-坐标以可排序列表的形式保存在所述存储器中，所述可排序列表然后被用于调度用于发射由所述至少一个随机存取扫描LiDAR传感器生成的范围确定脉冲激光的后续单个射线以生成射线样本。

11.根据权利要求1所述的系统，其中，由所述至少一个LiDAR通过实现速度扩展来检测跨采样帧的横向运动，使得沿采样射线的采样点的所计算的径向速度被扩展和保存用于相邻采样射线，使得所述相邻采样射线中的可能范围变化可以被识别以指示所采样的射线的邻域中的可能范围变化，从而触发所采样的射线的所述邻域的采样以增加发现跨所述采样帧的横向移动的概率。

12.一种用于使用用于物体检测的至少一个LiDAR传感器执行随机存取扫描以实现运输交通工具中辅助和/或自主驾驶功能性的方法，所述方法包括：

调度单个射线以用于通过至少一个随机存取扫描LiDAR传感器发射范围确定激光脉冲；

通过所述至少一个随机存取扫描LiDAR发射所述范围确定激光脉冲；以及

分析响应于所发射的范围确定激光脉冲而感测到的数据以生成射线样本请求，

其中，所计算的预期可能范围变化然后被用于调度所述至少一个随机存取扫描LiDAR传感器的范围确定激光脉冲的后续发射，使得相比于具有较小预期可能变化的单个射线的激光脉冲生成和射线样本生成，更频繁地执行具有较大预期可能范围变化的单个射线的激光脉冲生成和射线样本生成，以便提供压缩主动范围扫描，以及其中，基于为所述射线所确定的径向速度来确定来自先前采样的所述可能范围变化。

13.根据权利要求12所述的方法，其中，基于具有特定结果的采样的不确定度来确定所述可能范围变化。

14.根据权利要求12所述的方法，其中，所述至少一个LiDAR传感器被配置成执行水平随机存取扫描。

15.根据权利要求12所述的方法，其中，所述至少一个LiDAR传感器被配置成执行垂直随机存取扫描。

16.根据权利要求12所述的方法，其中，所述至少一个LiDAR传感器被配置成提供可动态配置的扫描图案。

17.根据权利要求12所述的方法，其中，定期地计算网格中所有射线的所述可能范围变化，并且为所述至少一个LiDAR传感器请求具有最高可能范围变化值的所述射线，以比所述网格中的其他射线更快地采样。

18.根据权利要求12所述的方法，其中，范围样本在用户数据报协议分组中被返回到所述至少一个处理器。

19.根据权利要求12所述的方法，其中，所述样本的所述可能范围变化以及x-和y-坐标以可排序列表的形式保存在存储器中，所述可排序列表然后被用于调度用于发射由所述至少一个随机存取扫描LiDAR传感器生成的范围确定脉冲激光的后续单个射线以生成射线样本。

20.根据权利要求12所述的方法，其中，由所述至少一个LiDAR通过实现速度扩展来检测跨采样帧的横向运动，使得沿采样射线的采样点的所计算的径向速度被扩展和保存用于相邻采样射线，使得所述相邻采样射线中的可能范围变化可以被识别以指示所采样的射线的邻域中的可能范围变化，从而触发所采样的射线的所述邻域的采样以增加发现跨所述采样帧的横向移动的概率。

21.一种包括软件指令的非暂时性计算机可读介质，所述软件指令当在至少一个计算机处理器上执行时，执行一种用于使用用于物体检测的至少一个LiDAR传感器执行随机存取扫描以实现运输交通工具中辅助和/或自主驾驶功能性的方法，所述方法包括：

调度单个射线以用于通过至少一个随机存取扫描LiDAR传感器发射范围确定激光脉冲；

通过所述至少一个随机存取扫描LiDAR发射所述范围确定激光脉冲以生成射线样本；以及

分析响应于所发射的范围确定激光脉冲而感测到的数据以生成射线样本请求，

其中，所计算的预期可能范围变化然后被用于调度所述至少一个随机存取扫描LiDAR传感器的范围确定激光脉冲的后续发射，使得相比于具有较小预期可能变化的单个射线的激光脉冲生成和射线样本生成，更频繁地执行具有较大预期可能范围变化的单个射线的激光脉冲生成和射线样本生成，以便提供压缩主动范围扫描，以及

其中，基于为所述射线所确定的径向速度来确定来自先前采样的所述可能范围变化。