CN112752988B - 雷达空间估计 - Google Patents

雷达空间估计 Download PDF

Info

Publication number
CN112752988B
CN112752988B CN201980063663.9A CN201980063663A CN112752988B CN 112752988 B CN112752988 B CN 112752988B CN 201980063663 A CN201980063663 A CN 201980063663A CN 112752988 B CN112752988 B CN 112752988B
Authority
CN
China
Prior art keywords
cell
radar
radar sensor
occupied
spatial grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980063663.9A
Other languages
English (en)
Other versions
CN112752988A (zh
Inventor
刘煜
王闯
J·K·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN112752988A publication Critical patent/CN112752988A/zh
Application granted granted Critical
Publication of CN112752988B publication Critical patent/CN112752988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

讨论了用于基于雷达传感器数据生成空间网格的技术。空间网格可以包括可以被标注为被占据、被堵塞和/或不受限空间的单元。如果雷达传感器数据与关联于该单元的环境的区域相关联，则该单元可以被标注为被占据。如果相对于雷达传感器，与该单元相关联的环境的区域被标注为被占据的单元阻塞，则该场可以被标注为被堵塞。在一些实例中，可以在被堵塞的区域中检测和/或跟踪对象。如果与该单元相关联的区域在雷达传感器的视场内并且未被占据且未被堵塞，则该单元可以被标注为不受限空间。在一些实例中，空间网格可以用于控制环境中的车辆，例如，自动驾驶车辆。

Description

雷达空间估计
相关申请的交叉引用
本PCT国际申请要求享受于2018年9月28日提交的美国申请第16/147,177号的优先权的权益，其通过引用并入本文。
背景技术
自动驾驶车辆利用各种方法、装置和系统来引导这种自动驾驶车辆通过包括障碍物的环境。例如，自动驾驶车辆利用路线规划方法、装置和系统来导航通过可能包括其他车辆、建筑物、行人或其他对象的面积。在一些示例中，环境中的车辆、建筑物和/或对象可能阻挡环境的面积而对自动驾驶车辆的传感器不可见，这可能在安全地穿越此类面积时提出挑战。
附图说明
参考附图描述了具体实施方式。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的组件或特征。
图1是示出了根据本公开的实施例的车辆在其中操作的示例环境的示意图，该车辆包括雷达空间网格，该雷达空间网格具有与环境的区域相关联的单元，该雷达空间网格的单个单元被标注为被占据、被堵塞或不受限空间。
图2是根据本公开的实施例的用于生成雷达空间网格、输出雷达空间网格和/或基于雷达空间网格控制自动驾驶车辆的示例过程的流程图。
图3是根据本公开的实施例的用于基于表示环境中的静态对象和/或动态对象的雷达传感器数据来确定雷达空间网格中的单元的占据的示例过程的图形流程图。
图4描绘了根据本公开的实施例的用于在对象进入先前被认为是被静态对象占据的区域时，更新雷达空间网格的单元的占据状态的示例过程的图形流程图。
图5是根据本公开的实施例的用于确定被环境中的对象阻塞的雷达空间网格的单元的示例过程的图形流程图。
图6是根据本公开的实施例的将来自多个雷达传感器的数据融合到融合的雷达空间网格中的示例的示意图。
图7是根据本公开的实施例的检测和/或跟踪在环境的被堵塞的区域中的对象的示例的示意图。
图8是根据本公开的实施例的融合的空间网格数据的自顶向下的360度视图的示例的示意图。
图9是根据本公开的实施例的示例系统的示意性框图，该示例系统包括车辆和可用于实现本文描述的雷达空间网格估计技术的计算设备。
具体实施方式
如上面所讨论的，环境中的车辆、建筑物、植被和其他对象可能会阻挡或堵塞环境的面积而对穿越环境的自动驾驶车辆的传感器不可见。这种被堵塞的面积可能在自动驾驶车辆安全地穿越通过环境时提出挑战。
本申请描述了用于至少部分地基于由雷达系统捕获的雷达传感器数据来估计环境中的空间信息(例如，占据、堵塞和/或不受限空间)的技术。雷达传感器数据可以用于生成和维护表示由雷达系统捕获的环境的雷达空间网格。雷达空间网格包括多个单元，这些单元中的每一个与环境的离散部分相关联。可以标注雷达空间网格的单个单元以指示相应单元是否被占据(例如，被静态或动态对象占据)、被堵塞(例如，被对象阻挡)和/或表示不受限空间。在一些实例中，可以利用多个占据状态指示符来标注空间网格的一个或多个单元(例如，可以将一个单元标注为被占据且被堵塞)。在一些示例中，每个单元的占据状态可以由一个或多个概率表示。例如，空间网格中的每个单元可以具有被占据的第一概率、被堵塞的第二概率和/或是不受限空间的第三概率。在一些示例中，第一空间网格可以包括标注有每个单元被占据的概率的多个单元，第二空间网格可以包括标注有每个单元被堵塞的概率的多个单元，和/或第三空间网格可以包括标注有每个单元是不受限空间的概率标注的多个单元。在一些示例中，可以基于与空间网格的相应的单元相关联的概率来确定占据网格的单元是被占据、被堵塞和/或是不受限空间。例如，如果一个单元被占据的概率高于该单元被堵塞的概率，则该单元可以被标注为被占据，反之亦然。在一些实例中，例如，当针对区域接收到的雷达回波不足或在区域落在雷达传感器的视场的外部的情况下，与该区域相关联的单元可能被标注为不确定的，或者该单元可能不包括标注。
被占据的：通过将环境的雷达传感器数据(例如，雷达回波)映射到雷达空间网格的对应的单元，可以将雷达空间网格的单元标注为被占据。在一些示例中，雷达空间网格可以针对被占据的单元指示该单元是被静态对象(例如，建筑物、停放的车辆、植被等)占据还是被动态对象(例如，车辆、自行车、行人等)占据。在静态雷达对象的情况下，接收到速度为零的静态雷达回波。与雷达回波的位置相关联的雷达空间网格的第一单元被标注为被占据。可以基于静态雷达回波和历史回波来针对与第一单元相邻的单元计算占据概率。占据概率高于阈值概率的每个相邻单元可以被标注为被占据。阈值概率可以是预定的，或者可以取决于一个或多个操作条件(例如，车辆的速度、雷达回波的稀疏度等)。在动态对象的情况下，可以接收具有位置和速度的雷达轨迹并将其提供给车辆计算设备的跟踪器。跟踪器输出边界框，该边界框表示跟踪的动态对象的大小、形状和/或姿势。跟踪器可以另外地或可替代地输出表示动态对象的当前行进方向的轨迹或矢量。与被边界框占据的区域相关联的雷达空间网格的一个或多个单元被标注为被动态对象占据(例如，被动态地占据)。
在一些示例中，在检测到第一对象(例如，静态对象)并将与被第一对象占据的第一区域相关联的雷达空间网格的第一单元标注为被占据之后，可以检测到第二对象进入与第一对象相关联的第一区域。基于检测到第二对象进入第一区域，车辆计算设备可以确定第一区域未被占据(例如，是未被占据的)。在一些示例中，尽管区域具有可行驶的表面或者以其他方式可导航，但是各种雷达传感器也可能无法区分高度(例如，它们仅提供二维信息)，并因此可以从区域(例如，立交桥、桥梁等)接收回波。在特定示例中，第一对象可能处于与车辆和第二对象不同的高度，因此当实际上处于车辆和第二对象的高度的区域未被占据时，可以基于雷达回波将该区域显示为要被静态对象(例如，立交桥)占据。在这种情况下，可以更新雷达空间网格以指示第一单元未被占据。
被堵塞的：可以至少部分地基于被占据的单元(例如，第一单元)的位置相对于雷达传感器的位置，将雷达空间网格的单元标注为被堵塞。例如，可以通过对来自雷达传感器的中心(或其他位置)通过相应的被占据的单元的边缘/范围上的点的光线进行光线投射来针对每个被占据的单元计算被堵塞的单元。以延伸超出被占据的单元的光线部分为边界的面积构成了被堵塞的区域。落入被堵塞的区域内(或其面积中的大部分落入被堵塞的区域内)的雷达空间网格的单元可以被标注为被堵塞的。如本文所使用的，如果环境的区域至少部分地被环境中的对象阻挡，则该环境的区域被称为被堵塞的。在雷达传感器的上下文中，如果对象介于雷达传感器与区域之间，则该区域可能被该对象堵塞，使得该对象实质上阻挡了从雷达传感器发射的无线电波并阻止或妨碍无线电波直接到达该区域。然而，例如，由于存在多路径回波和多反弹回波，因此雷达传感器可能仍会接收到与位于被堵塞的区域中的对象相对应的回波。出于本申请的目的，尽管雷达传感器可能能够基于多路径回波、多反弹回波以及其他非直接回波检测到对象的事实，但区域仍被称为被堵塞的。
不受限空间：当雷达空间网格的单元在雷达传感器的视场内并且未被占据且未被堵塞时，可以将这些单元标注为表示不受限空间。
在一些示例中，可以输出雷达空间网格以供自动驾驶车辆的车辆计算设备使用，从而控制自动驾驶车辆安全地穿越环境。随着车辆穿越环境、随着获取附加的雷达数据以及随着环境中的动态对象相对于车辆移动，可以更新雷达空间网格。雷达空间网格可以被车辆计算设备用来更快速且更准确地规划自动驾驶车辆通过环境的轨迹。例如，车辆计算设备可以规划轨迹，以穿过与雷达空间网格的不受限空间单元相对应的环境的区域和/或避免与雷达空间网格的被占据的单元相对应的环境的区域。作为另一示例，车辆计算设备可以规划轨迹，以比车辆接近不受限空间单元更慢的速度接近与雷达空间网格的被堵塞的单元相对应的环境的区域。在一些示例中，雷达空间网格可以将每个单元标注为被占据、被堵塞和/或不受限空间，这可以减少或限制车辆的潜在轨迹的范围，从而减少由车辆计算设备的规划系统为车辆规划轨迹所使用的处理时间和资源。在其他示例中，雷达空间网格可以将雷达空间网格的一个或多个单元标注为不确定的(例如，没有足够的信息来确定单元的占据状态)。
在一些示例中，雷达系统包括多个雷达传感器，这些雷达传感器至少包括第一雷达传感器和第二雷达传感器。在这样的示例中，来自多个雷达传感器的雷达传感器数据可以用于生成复合雷达空间网格或融合的雷达空间网格，其中融合的雷达空间网格中的至少一些单元的占据状态基于来自多个雷达传感器的传感器数据。多个雷达传感器可以位于不同位置(例如，在车辆上的不同位置)和/或可以具有不同或重叠的视场。融合来自多个雷达传感器的雷达传感器数据可能会增加环境中的雷达传感器的视场重叠的部分中的雷达回波的数量，可能会增加与雷达回波相关联的置信度值，可能会减少雷达空间网格的被堵塞的区域和/或可以用于感测车辆周围环境的更大区域。可以以多种方式融合来自多个雷达传感器的雷达传感器数据。在一个特定示例中，通过将两个空间网格的被占据的单元的交集标注为被占据并通过将两个空间网格的被堵塞的单元的交集标注为被堵塞，可以使与第一雷达传感器相对应的雷达空间网格与第二雷达传感器的雷达空间网格相融合。换言之，当第一雷达传感器的雷达传感器数据、第二雷达传感器的雷达传感器数据或第一雷达传感器和第二雷达传感器两者的雷达传感器数据指示与空间网格的单元相对应的区域被占据时，可以将融合的雷达空间网格的单元标注为被占据。然而，当第一雷达传感器和第二雷达传感器两者的雷达传感器数据都指示与空间网格的单元相对应的区域被堵塞时，可以将融合的雷达空间网格的单元标注为被堵塞。换言之，如果至少一个雷达传感器确定特定单元未被堵塞，则该单元被指示为未被堵塞(即，被占据或不受限)。通过融合具有不同位置和/或视场的不同雷达传感器的雷达传感器数据，与每个雷达传感器中的任意一个的雷达空间网格单独相比，融合的雷达空间网格可以具有更少的被堵塞的单元。至少部分地基于第一雷达传感器和第二雷达传感器的雷达传感器数据，可以将融合的雷达空间网格的单元标注为不受限空间。在一个特定示例中，如果融合的雷达空间网格的单元被标注为未被占据且未被堵塞(例如，其未被占据且未被堵塞)，则可以将该单元标注为不受限空间。
除了或代替融合多个雷达传感器的雷达空间网格，基于来自一个或多个雷达传感器的传感器数据生成的雷达空间网格可以与基于一种或多种其他传感器模态(例如，激光雷达传感器、图像传感器、声纳传感器等)的空间网格组合或融合。在一些示例中，雷达空间网格可以与激光雷达空间网格或相机空间网格中的至少一个融合或以其他方式组合。使用其他传感器模态的空间网格(有时称为“堵塞网格”)的附加信息可以在例如于2018年6月18日提交的题为“Occlusion Aware Planning and Control”的美国专利申请第16/011,468号中找到，其通过引用并入本文。
在一些实例中，使用多种传感器模态(例如，雷达传感器、激光雷达传感器、图像传感器等)可以改进与多模态融合的空间网格中的一个或多个单元的占据状态、堵塞状态和/或不受限空间状态相关联的总体置信度水平。在一些实例中，可以并行地(例如，实质上同时地)生成多个空间网格，并且可以组合和/或比较每个空间网格的输出以增加关于复合空间网格或融合的空间网格中的一个或多个单元的状态的总体置信度水平。在一些实例中，一种模态的数据(例如，飞行时间数据)可以用于确定距车辆的阈值距离内的单元的占据状态，而另一模态的数据(例如，雷达和/或激光雷达)可以用于确定达到或超过距车辆的阈值距离的堵塞场的状态。当然，本文描述的示例不旨在是限制性的，并且其他实现方式被认为是在本公开的范围内。
在一些示例中，雷达空间网格数据可以另外地或可替代地与表示环境的地图数据相关联和/或结合其被存储。可以在语义上标记地图数据以指示环境中的对象的类别(例如，可行驶的表面、建筑物、植被等)。地图数据可以补充雷达空间网格并向雷达空间网格提供上下文，反之亦然。例如，如果地图数据指示在被堵塞的区域中存在交叉路口或十字路口，则车辆的规划系统可以确定更慢地接近被堵塞的区域，而如果地图数据显示在被堵塞的区域后面直接有另一座建筑物，则在接近被堵塞的区域时，规划系统可能无需降低车辆的速度。
雷达空间网格的大小和/或网格中的单元的数量以及要生成和/或存储的它们相应的大小可以至少部分地基于一个或多个区域特性。在交叉路口的上下文中，区域特性可以包括但不限于：雷达回波的稀疏度；自动驾驶车辆必须行进的交叉路口的距离(例如，为了避免迎面驶来的交通)；交叉路口的车辆的速度限制(例如，迎面驶来的交通的速度限制)；与速度限制相关联的安全因子(例如，以高效地提高预期交通的速度)；穿越交叉路口距离的自动驾驶车辆的加速度水平和/或平均速度；等等。这些仅是一些示例，并且可以预期其他区域特性。因此，可以调整雷达空间网格的大小，使得当雷达空间网格没有障碍物时，自动驾驶车辆可以安全地穿越区域。
在一些示例中，雷达传感器数据可以用于跟踪被堵塞的区域中的对象。例如，位于第一区域中的对象可以阻挡或堵塞环境的第二区域。通过使用多反弹回波和/或多路径回波，雷达传感器数据可以用于检测位于环境的第二(被堵塞的)区域中的堵塞对象，这些对象无法被车辆的其他传感器(例如，激光雷达传感器、图像传感器等)检测到。可以将雷达空间网格中的与被堵塞对象占据的区域相对应的一个或多个单元标注为被占据。在一些示例中，可以将与被堵塞对象占据的区域相对应的这种单元标注为被堵塞对象占据。在至少一些示例中，这样的单元可以被独立地标注为“被堵塞”和“被占据”。雷达空间网格(或与堵塞对象相对应的原始雷达传感器数据)可以被输出到车辆计算设备的跟踪器，并用于在第二(被堵塞的)区域中跟踪堵塞对象。跟踪堵塞对象可以使自动驾驶车辆的规划系统基于堵塞对象的位置和轨迹做出更快和/或更准确的规划决策。另外，跟踪堵塞对象使得能够维持对原本会丢失的对象的跟踪。因此，跟踪堵塞对象还可以减少处理时间和资源，因为一旦检测到对象并对其分类(例如，分类为车辆、建筑物、行人等)，如果该对象随后变得被堵塞，则可以继续对其进行跟踪，并因此无需在该对象再次变得不堵塞时对其进行重新检测和分类。因此，对自动驾驶车辆的控制可以至少部分地基于对堵塞对象的跟踪。在一些示例中，由于例如由多路径回波或多反弹回波而引起的误差或不确定性，因此可以在被堵塞的区域中调整(例如，减小)轨迹的置信度。更进一步来说，通过跟踪被堵塞的区域中的对象，可以改进自动驾驶车辆的安全性。例如，因为自动驾驶车辆的规划系统具有关于在自动驾驶车辆周围的环境的被堵塞的区域中的对象的位置和/或轨迹的信息，因此该规划系统能够规划自动驾驶车辆的轨迹，该轨迹将避免或以其他方式考虑堵塞对象的位置和/或轨迹。
在一些实例中，并且如上面所指出的，雷达空间网格可以包括多个单元。在一些实例中，这些单元可以表示或包括可以在时间逻辑公式中用于评估或验证自动驾驶车辆的轨迹的时间逻辑符号。例如，可以防止自动驾驶车辆发起轨迹，直到车辆的路径中的单元的占据状态和/或堵塞状态为不受限空间(例如，未被占据且未被堵塞)为止。在一些实例中，自动驾驶车辆的规划系统可以使用时间逻辑(例如，线性时间逻辑或信号时间逻辑)，以至少部分地基于与雷达空间网格相关联的时间逻辑符号来评估自动驾驶车辆的轨迹。
本文所讨论的技术可以以多种方式改进计算设备的功能。例如，在评估雷达空间网格的上下文中，可以调整网格的面积的大小，以确保自动驾驶车辆安全穿越区域，而无需将过多的资源用于不必要的环境确定。在一些实例中，使用多种传感器模态(例如，雷达传感器、激光雷达传感器、图像传感器等)可以改进与被堵塞的场的堵塞状态或占据状态相关联的总体置信度水平。改进的轨迹生成可以(例如，通过确保在发起轨迹之前交叉路口是畅通的、通过减少紧急制动、转弯等的发生)改进安全性结果并可以改进骑乘者(rider)的体验。本文讨论了对计算机的功能和/或用户体验的这些和其他改进。
本文描述的技术可以以多种方式来实现。下面参考以下附图提供示例实现方式。尽管在自动驾驶车辆的上下文中进行了讨论，但是本文描述的方法、装置和系统可以应用于各种系统(例如，机器人平台)，并且不限于自动驾驶车辆。在另一示例中，可以在航空或航海上下文中，或在使用机器视觉的任何系统中利用这些技术。另外地，本文描述的技术可以与真实数据(例如，使用(多个)传感器捕获的)、模拟数据(例如，由模拟器生成的)或两者的任何组合一起使用。
图1是车辆102正在行驶通过的环境100的示意图。在所示的示例中，车辆102包括捕获表示环境100的数据的一个或多个传感器系统104。通过示例而非限制的方式，车辆102可以是被配置为根据由美国国家公路交通安全管理局(U.S.National Highway TrafficSafety Administration)发布的5级分类进行操作的自动驾驶车辆，该分类描述了一种能够在整个行程中执行所有安全关键功能的车辆，其中驾驶员(或乘员)不被期望在任何时间控制该车辆。在这样的示例中，由于车辆102可以被配置为控制从开始到停止的所有功能(包括所有停车功能)，因此该车辆102可以是未被占据的。这仅是示例，并且本文描述的系统和方法可以并入任何地面、空中或水上车辆中，包括从需要由驾驶员在所有时间手动控制的车辆到部分或完全自主控制的那些车辆的范围。下面描述与车辆102相关联的附加细节。
在至少一个示例中，并且如上面所指出的，车辆102可以与可以被设置在车辆102上的(多个)传感器系统104相关联。传感器系统104可以包括无线电检测和测距(雷达)传感器、光检测和测距(激光雷达)传感器、超声换能器、声音导航和测距(声纳)传感器、位置传感器(例如，全球定位系统(GPS)、罗盘等)、惯性传感器(例如，惯性测量单元、加速度计、磁力计、陀螺仪等)、相机(例如，RGB相机、IR相机、强度相机、深度相机、飞行时间相机等)、车轮编码器、麦克风、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)。(多个)传感器系统104可以生成传感器数据，这种传感器数据可以由与车辆102相关联的(多个)车辆计算设备106利用。然而，在其他示例中，(多个)传感器系统104和/或(多个)车辆计算设备106中的一些或全部可以与车辆102分开和/或被设置为远离车辆102，并且可以由一个或多个远程计算设备经由有线网络和/或无线网络将数据捕获、处理、命令和/或控制数据通信到车辆102/从车辆102通信。
在至少一个示例中，(多个)车辆计算设备106可以利用由空间监视组件108中的一个或多个传感器系统104捕获的传感器数据。例如，空间监视组件108可以生成并维护一个或更多个空间网格，这些空间网格包括雷达空间网格110，该雷达空间网格110包括与环境的区域相关联的单元。雷达空间网格110的每个单元可以被标记，以标注与相应的单元相对应的环境的区域被占据、被空间和/或是不受限空间。在一些示例中，单元中的一个或多个可以被标记以指示相应的(多个)单元为被占据、被堵塞和/或是不受限空间的置信度水平。例如，雷达空间网格110的单元可以被标记有其被占据的第一置信度、其被堵塞的第二置信度和/或其是不受限空间的第三置信度。为了简化起见，在该示例中，雷达空间网格110被示为8×8网格。然而，在其他示例中，取决于所需的准确度和精度、存储器大小限制、处理速度和负载限制、传感器范围限制等，任何大小(例如，与空间网格相关联的现实世界中的面积)、形状(例如，空间网格的长度和宽度)和分辨率(例如，用于组成空间网格的单元的大小)可以用于雷达空间网格110。在一些示例中，可以调整空间网格的大小和形状以匹配(多个)传感器系统的可靠范围，这些传感器系统用于捕获从中填充空间网格的传感器数据，并且可以在给定存储器和处理限制的情况下，通过使给定应用所需的准确度度和精度最大化来选择分辨率。在一些示例中，长度和宽度可以相同，而在其他示例中，长度和宽度可以不同。在一个特定示例中，空间网格的大小可以是大约50-200米宽×大约50-200米长，其中每个单元的分辨率为0.25米。
通过示例而非限制的方式，车辆102在穿越环境100的同时捕获包括雷达传感器数据的传感器数据。在所示的示例中，传感器系统104包括雷达传感器112，该雷达传感器112具有的视场β覆盖车辆102周围的环境100的至少一部分。由视场捕获的环境100的部分在该示例中被描绘为感测区域114。在各种示例中，车辆102可以具有任何数量的一个或更多雷达传感器(例如，1个、2个、4个、5个、8个、10个等)。在所示的示例中，视场β被描绘为大约110度的视场。然而，在其他示例中，雷达传感器的视场可以大于这个角度(例如，120度、180度、220度、270度、360度等)或小于这个角度(例如，90度、60度、45度等)。此外，车辆102可以包括具有多个不同视场、范围、扫描速率等的多个雷达传感器。在一些示例(例如，图6中示出的示例)中，车辆可以包括具有至少部分重叠的视场的多个雷达传感器，使得多个雷达传感器共同捕获环境100的至少一部分。
在所示的示例中，多个对象位于感测区域114中。在该示例中，多个对象包括静态对象116(例如，树、杆、标牌、建筑物、停放的汽车等)和动态对象118(例如，行人、车辆、自行车、动物等)。雷达传感器112捕获与静态对象116和动态对象118相对应的雷达传感器数据，并且空间监视组件108生成或更新雷达空间网格110以标注雷达空间网格110的单元，这些单元对应于环境100的被静态对象116和动态对象118占据的区域。雷达传感器112的位置在雷达空间网格110的左下部分中描绘以供参考。两个虚线箭头从雷达传感器112的侧向边缘延伸，并示意性地描绘了雷达传感器112的视场β。雷达空间网格110的以虚线箭头为边界的部分内的单元对应于感测区域114。如所示的，雷达空间网格110包括四个单元，这四个单元被标注为静态占据的区域120。这四个单元对应于环境100的静态对象116所位于的区域。雷达空间网格110还包括被标注为动态占据的区域122的两个单元，这两个单元对应于环境100的动态对象118所位于的区域。基于静态占据的区域120和动态占据的区域122相对于雷达传感器112的位置，空间监视组件108可以确定雷达空间网格的分别被静态对象116和动态对象118堵塞的部分。如在本文中的其他位置处所讨论的，可以通过例如从雷达传感器112的中心(或其他位置)到每个被占据的区域(或被标注为被占据的每个单元)的边缘或范围的光线投射来确定单元是否被堵塞，并且比(多个)被占据的单元距雷达传感器112更远的且以光线为边界的单元可以被确定为被堵塞。空间监视组件108可以将雷达空间网格110的单元标注为被堵塞。在所示的示例中，被静态占据的区域120堵塞的单元被示为被堵塞的区域124，并且被动态占据的区域122堵塞的单元被示为被堵塞的区域126。在该示例中，在雷达传感器112的视场内并且未被占据或未被堵塞的单元被确定为不受限空间，并且因此在雷达空间网格110上被标注为不受限空间区域128。在该示例中，位于雷达传感器的视场之外的单元可以被标注为不确定的，或者可以被简单保留而不加标注。然而，在其他示例中，在雷达传感器中的一个或多个雷达传感器的视场内的且其占据状态的置信度低的一个或多个单元可以被标注为具有不确定的占据状态。
在一些示例中，车辆102可以访问地图数据并且可以确定雷达空间网格110与地图数据的一部分相关联。在此情况下，车辆102可以使用地图数据来补充雷达空间网格110并向雷达空间网格110提供上下文。例如，车辆102可能能够使用雷达空间网格110来帮助将车辆102定位到地图上的特定位置。另外地或可替代地，地图数据可以使车辆102能够进一步完善或推理关于雷达空间网格110的空间标注(被占据、被堵塞、不受限空间)。例如，车辆102可以基于地图数据确定雷达空间网格110的被标注为被堵塞的单元与交叉路口或十字路口相关联，并且车辆102的规划系统可以规划轨迹以谨慎地接近被堵塞的交叉路口/十字路口。
在一些实例中，当雷达空间网格110的单元被标注为被对象占据时，该单元可以存储指示该对象的语义标签的附加元数据和/或指示该对象通过堵塞网格的路径的数据。下面讨论了有关生成和维护雷达空间网格的附加细节。
图2是根据本公开的实施例的用于生成雷达空间网格、输出雷达空间网格和/或基于雷达空间网格控制自动驾驶车辆的示例过程200的流程图。尽管在雷达数据的上下文中进行了讨论，但是示例过程200也可以在激光雷达数据、声纳数据、飞行时间图像数据等的上下文中使用和/或与其结合使用。而且，虽然参考与单个雷达传感器相对应的雷达空间网格对图2进行了描述，但是这些技术也适用于基于多个雷达传感器被填充的雷达空间网格。
在操作202处，使用雷达系统以从环境捕获雷达传感器数据。在一些示例中，雷达系统可以包括一个或多个雷达传感器，并且雷达系统可以是诸如上面描述的车辆102之类的自动驾驶车辆的传感器系统。雷达传感器数据可以包括多个回波，这些回波包括对应于具有位置和零速度的对象的静态回波，以及对应于具有位置和非零速度的移动对象的动态回波或雷达轨迹。车辆计算设备(例如，车辆计算设备106)的感知系统可以处理雷达传感器数据并确定环境中是否存在对象。在操作204处，过程200检测对象是否位于雷达传感器的感测区域内。如果对象没有位于雷达传感器的感测区域内，则该过程在操作202处返回，以随时间推移捕获附加的雷达传感器数据。在操作204处，如果在雷达传感器的感测区域内(例如，在环境的第一区域内)检测到对象，则过程继续进行到操作206处，在操作206处，将雷达空间网格的一个或多个单元(例如，(多个)第一单元)标注为被对象占据。雷达空间网格包括多个单元，这些单元中的每一个与环境的离散部分相关联。雷达空间网格的单个单元可以被标注以指示相应的单元被对象占据。对应于每个对象的单元的数量取决于对象的大小以及雷达空间网格的规模或分辨率。如贯穿本公开所讨论的，雷达空间网格可以表示环境的任何大小或形状。通过示例而非限制的方式，尽管任何大小都可以用于单元，但是该单元可以表示1米宽乘1米长的面积。在这种情况下，具有2米×2米维度的对象将由在雷达空间网格中被标注为被占据的四个单元表示。
在一些实例中，关于单个单元的占据状态的确定可以与占据概率相关联。在一些实例中，单元的占据概率可以至少部分地基于与该单元相关联的回波的数量、具有与该单元相关联的回波的雷达传感器的数量和/或在先前时间间隔中与该单元相关联的回波的历史数量。然而，可以使用任何技术或试探法来确定与雷达空间网格的单元相关联的占据概率。在一些示例中，在没有超过占据概率水平的情况下、在没有返回传感器数据的情况下或者在无法通过其他方式确定占据的情况下，该单元可以被标注为不确定的(例如，没有足够的信息来确定该单元的占据状态)。下面参考图3提供包括何时以及如何将雷达空间网格的单元标注为被占据的示例的附加细节。
在操作208处，可以至少部分地基于被占据的单元的位置相对于雷达传感器的位置，将雷达空间网格的一个或多个单元标注为被堵塞。例如，基于在操作206处被标注为被占据的(多个)第一单元的位置相对于雷达传感器的位置，被对象阻塞的另外一个第二单元(即，被标注为被占据的(多个)第一单元介于雷达传感器的位置与第二单元之间)可以被标注为被阻塞。下面参考图5提供包括何时以及如何将单元标注为被阻塞的示例的附加细节。
在操作210处，将在雷达传感器的视场内的未被标注为被占据或被堵塞的一个或多个第三单元标注为不受限空间。雷达空间网格可以实质上连续更新(例如，在接收并处理附加传感器数据时)或周期性地更新(例如，以大约10赫兹、30赫兹等的周期)，并且可以在操作212处输出以供一个或多个计算设备使用。输出的雷达空间网格可以基于单个雷达传感器的雷达数据，或者可以基于来自多个雷达传感器的数据和/或其他传感器模态(例如，激光雷达空间网格或相机空间网格)。下面结合图6提供包括融合或以其他方式组合来自多个雷达传感器的传感器数据的示例的附加细节。
在一些示例中，在操作214处，自动驾驶车辆的车辆计算设备(例如，车辆计算设备106)可以使用空间网格来控制自动驾驶车辆安全地穿越环境。当车辆穿越环境并且环境中的动态对象相对于车辆移动时，可以更新空间网格。车辆计算设备可以使用空间网格来更快速且准确地规划自动驾驶车辆通过环境的轨迹。例如，车辆计算设备可以规划轨迹以穿过与雷达空间网格的不受限空间单元相对应的环境区域和/或避免环境的与雷达空间网格的被占据的单元相对应的区域。然而，与雷达空间网格单元相关联的区域被标注为不受限空间这一事实并不一定意味着该区域是车辆行进的可用路径。例如，区域可能未被占据且未被堵塞，但由于该区域不是可行驶的表面(例如，路缘，草坪等)，所以不适合驾驶。因此，车辆计算设备可以进一步依赖一个或多个其他传感器系统和/或将映射数据以标识可以安全行驶的环境的面积。由于雷达空间网格将每个单元标注为被占据、被堵塞或不受限空间中的一个，因此雷达空间网格可能会减少(或限制)车辆的潜在轨迹范围，从而减少由车辆计算设备的规划系统为车辆规划轨迹所使用的处理时间和资源。
在一些示例中，当单元被占据、是不确定的和/或当空间网格(例如，雷达空间网格110)的阈值数量的单元被对象占据时，操作214可以包括控制自动驾驶车辆(例如，车辆102)以等待，而不穿越环境(例如，环境100)的一部分。在这样的示例中，在等待期间接收到的附加的雷达/传感器信息可以提供足够的信息，以使车辆安全地穿越环境的一部分(例如，确定没有对象正在穿过被堵塞的区域，从而使得车辆能够穿越)。在一些示例中，在信息充足度低于阈值的情况下(例如，被占据或不确定的单元的数量达到或超过阈值和/或被堵塞的单元的数量达到或超过阈值，使得规划系统无法确定安全轨迹以导航该面积)，操作214可以包括命令车辆102向前缓行(例如，将距离提前到停止线和/或进入十字路口)或以其他方式改变车辆102的位置，以收集附加信息。
在一些示例中，信息的充足度可以对应于确定被标注为不受限空间的单元的数量达到或超过阈值数量，和/或被标注为被堵塞和/或不确定的单元的数量低于阈值(例如，足够低而可以安全地规划跨越该区域的轨迹)。在一些实例中，信息的充足度可以包括在一段时间内观察与被标注为不确定的单元相关联的区域，以增加该单元未被占据的置信度水平。在一些实例中，信息的充足度可以包括确定未被堵塞且未被占据的区域相对于自动驾驶车辆行进的距离和/或相对于穿越该区域的一部分的自动驾驶车辆的速度、加速度和/或时间的范围。
图3是根据本公开的实施例的用于将空间网格的单元标注为被占据的示例过程300的图形流程图。
如图3中示出的，可以通过将环境的雷达传感器数据(例如，雷达回波)映射到雷达空间网格的对应的单元而将雷达空间网格110的单元标注为被占据。在所示的示例中，过程300针对静态对象(例如，建筑物、停放的车辆、植被等)和动态对象(例如，车辆、自行车、行人等)进行区分。因此，在操作302处，该过程可以包括确定检测到的对象的类型。在所示的示例中，对象的类型可以是静态的也可以是动态的。然而，在其他示例中，可以针对检测到的对象确定另外或可替代的对象类型和/或特性(例如，反射率、介电常数、吸收率、密度等)。
在静态对象的情况下，接收速度为零的静态雷达检测304。与静态雷达检测304的位置相关联的雷达空间网格的第一单元被标注为被占据。在操作306处，基于静态雷达回波和历史回波，针对与第一单元相邻的(例如，与第一单元邻近的、最多距第一单元一定数量的(例如，2个、3个等)单元的或最多距第一单元一定距离(例如，1米、5米处等)的)单元计算占据概率，并且在操作308处，过程300确定占据概率是否高于阈值。雷达静态检测周围的点示意性地表示一个邻域，在该邻域内确定单元的可能占据。在一些示例中，雷达静态检测周围的点可以表示高斯分布。雷达回波的大小和邻域的形状可以取决于雷达传感器的噪声或其他特性、雷达传感器的放置、雷达传感器的定向或其他因素。在一些示例中，邻域可以呈圆形、呈椭圆形，大致呈矩形、呈不规则形状或任何其他形状。在一些示例中，阈值概率可以是预定的，或者可以取决于一个或多个操作条件(例如，车辆的速度、雷达回波的稀疏度等)。单元的占据概率可以至少部分地基于与该单元相关联的回波的数量、具有与该单元相关联的回波的雷达传感器的数量和/或在先前时间间隔中与该单元相关联的回波的历史数量。然而，可以使用任何技术或试探法来确定与雷达空间网格的单元相关联的占据概率。在操作310处，将具有高于阈值概率的占据概率的每个邻近单元标注为被占据。阈值概率可以是预定的，或者可以取决于一个或多个操作条件(例如，车辆的速度，雷达回波的稀疏度等)。在所示的示例中，发现在第一单元的右侧、下方和对角线下方/右侧的三个单元的占据概率高于阈值，并被标注为被占据。将第一单元以及在右侧、下方以及对角线下方/右侧的三个相邻单元共同标注为静态占据的区域120。在相邻单元的占据概率小于或等于阈值的情况下，相邻单元在操作312处被标注为不被占据(或不受限空间)。在一些示例中，在没有超过占据概率水平的情况下、在没有(或不足的)传感器数据被返回的情况下、或者在无法以其他方式做出占据的确定的情况下，该单元可以被标注为不确定的(例如，没有足够的信息来确定该单元的占据状态)。
在动态对象的情况下，从雷达传感器112接收与动态对象相对应的雷达传感器数据，该雷达传感器数据包括位置和速度，其被提供给车辆计算设备(例如，车辆计算设备106)的跟踪器。在操作314处，可以(例如，由车辆计算设备106的跟踪器)确定对应于动态对象的位置和/或定向的边界框316。跟踪器输出表示跟踪的动态对象的大小、形状和/或姿势的边界框316。跟踪器可以另外地或可替代地输出表示动态对象的当前行进方向的轨迹或矢量。在操作318处，将与雷达空间网格的被边界框占据的区域相关联的一个或多个单元标注为被动态对象占据(例如，动态占据的)。在一些示例中，可以进一步利用动态对象的轨迹或矢量(速度和方向)来标记雷达空间网格的单元。在示出的示例中，将与被边界框占据的区域相对应的两个单元标注为动态占据的区域122。
图4是示出过程400的图形流程图，该过程400用于基于观察到动态对象移动进入和/或通过先前被指示为被另一个对象(例如，静态对象)占据的区域来更新雷达空间网格的一个或多个单元的占据状态。在一些示例中，尽管区域具有可行驶的表面或者以其他方式可导航，但是各种雷达传感器也可能无法区分高度(例如，它们仅提供二维信息)，并因此可以从区域(例如，立交桥、桥梁等)接收回波。在特定示例中，第一对象可能处于与车辆和第二对象不同的高度，因此当实际上处于车辆和第二对象的高度的区域未被占据时，可以基于雷达回波将该区域显示为要被静态对象(例如，立交桥)占据。如图4中示出的，示出了从时间T1到时间T5的雷达空间网格110的视图的序列。雷达传感器112的相对位置被示为在雷达空间网格110的左下角。在此时间段器件，在雷达空间网格110上表示为动态占据的区域122的动态对象从雷达空间网格110的右下部分朝向雷达空间网格110的左上部分平移。
过程400包括在操作402处，检测第一区域(例如，静态占据的区域120)和进入第一区域的第二对象(例如，动态对象)。这在T3处在雷达空间网格110上示意性地示出，T3示出了动态占据的区域122进入先前标注为静态占据的区域120的区域的第一单元。在T4处，动态占据的区域122继续穿过先前被标注为静态占据的区域120的区域。在时间T5处，动态占据的区域122已经移动超过先前被标注为静态占据的区域120的区域。在操作404处，基于动态对象穿过先前被认为被静态对象占据的区域120，计算设备(例如，车辆计算设备106)可以确定静态对象实际上并未占据该区域的动态对象穿过的至少一部分，并可以确定动态对象穿过的单元至少未被占据。在操作406处，可以更新雷达空间网格110以显示第一区域的单元(即，动态对象穿过的单元)未被占据。这可以通过将这些单元标注为不受限空间或将其标注为不确定的来实现。这由在时间T5的雷达空间网格110示出，其中三个单元(先前是静态占据的区域120的一部分)已经被更新以将其标注为未被占据的单元410。
在一些示例(例如，图4中示出的示例)中，只有动态对象通过的那些单元可以被更新以被标注为未被占据的(例如，不受限空间或不确定的)。然而，在其他示例中，计算设备(例如，车辆计算设备106)可以确定先前被标注为被静态对象占据的整个区域(例如，整个静态占据的区域120)未被占据。例如，如果计算设备(例如，使用边缘检测或分割技术)先前确定整个静态占据的区域120对应于单个对象，则如果动态对象穿过该静态占据的区域的任何部分，计算设备可以确定整个区域未被占据(例如，位于不同的高度)。
图5是根据本公开的实施例的用于确定被环境中的对象阻塞的雷达空间网格的单元的示例过程500的图形流程图。
如图5中示出的，在操作502处，计算设备(例如，车辆计算设备106)可以确定被环境中检测到的对象阻塞的一个或多个单元。可以以各种不同的方式确定要被堵塞的单元。在一些示例中，在操作504处，可以通过对来自雷达传感器112的中心(或其他位置)通过相应的被占据的单元的边缘/范围上的点的光线进行光线投射来针对每个被占据的单元计算被堵塞的单元。以延伸超出被占据的单元的光线部分为边界的面积构成了单元的被堵塞的区域。在这种情况下，在操作506处，可以通过取所有被占据的单元的确定被堵塞的单元的并集来组合每个被占据的单元的被堵塞的单元。在一些示例中，操作502可以包括对来自雷达传感器112的中心(或其他位置)通过每个单元的中心(或其他位置)的光线进行投射，以及将光线已穿过被占据的单元后又穿过的单元标注为被堵塞。
在其他示例中，操作502可以包括通过对来自雷达传感器112的中心(或其他位置)通过被占据的单元的边缘/范围上点的光线508、510、512和514进行光线投射来确定雷达空间网格110的单元被堵塞(例如，如果被占据的区域是连续的并且构成雷达空间网格的多于一个单元，如图5的示例所示)。如所示的，光线508和510穿过在静态占据的区域120的边缘/范围上的点。在静态占据的区域120之外并且在光线508和510之间(或者其面积中的大部分落入该边界内)的单元的区域被确定为第一堵塞的区域516。类似地，光线512和光线514穿过在动态占据的区域122的边缘/范围上的点，并且在动态占据的区域122之外并且在光线512和514之间(或者其面积中的大部分落入该边界内)的单元的区域被确定为第二堵塞的区域518。不管如何计算堵塞状态，一旦确定一个单元对应于一个堵塞的区域，就可以在操作208处将该单元标注为被堵塞。
图2-5示出了根据本公开的实施例的示例过程。图2-5中示出的过程可以但不一定一起使用。这些过程被示为逻辑流程图，其每个操作表示可以以硬件、软件或其组合实现的操作的序列。在软件的上下文中，这些操作表示存储在一个或多个非暂时性计算机可读存储介质上的计算机可执行指令，这些指令当由一个或多个处理器执行时，使计算机或自动驾驶车辆执行所引述的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序不旨在被理解为限制性的，并且可以以任何次序和/或并行组合任何数量的所描述的操作以实现进程。
图6是根据本公开的实施例的将来自多个雷达传感器的数据融合到融合的雷达空间网格中的示例的示意图。
图6示出了车辆602穿越的环境600。如所示的，环境600包括对象604。车辆602可以与图1中示出的车辆相同或不同。在图6的示例中，车辆602包括具有多个雷达传感器的雷达系统，这些雷达传感器至少包括第一雷达传感器和第二雷达传感器。在图6的示例中，第一雷达传感器具有覆盖车辆602周围的环境600的至少一部分的第一视场α。在该示例中，由第一视场α捕获的环境600的部分被描绘为感测区域606。第二雷达传感器具有覆盖车辆602周围的环境600的至少一部分的第二视场β。在该示例中，由第二视场β捕获的环境600的部分被描绘为感测区域608。在各种示例中，车辆102可以具有任何数量的一个或多个雷达传感器(例如，1个、2个、4个、5个、8个、10个等)。如所示的，第一视场α和第二视场β覆盖环境600的不同但重叠的部分。在所示的示例中，第一视场α和第二视场β被描绘为两者为大约110度视图。然而，在其他示例中，雷达传感器的视场可以大于或小于该角度。此外，第一雷达传感器和第二雷达传感器具有不同的视场、范围、扫描速率等。
在图6的示例中，对象604落入两个雷达传感器的感测区域606和608内。由于雷达传感器位于车辆的不同位置(例如，车辆的右侧和左侧、车辆的前部和顶部、车辆的前部和侧面或其他位置)和/或不同的定向或姿势，因此，雷达传感器具有观察环境600的不同视角。示出了第一雷达传感器的雷达空间网格610和第二雷达传感器的雷达空间网格612。在每个网格中，对象604被表示为被静态占据的单元的2×2区域。尽管在此示例中为每个雷达传感器示出了单独的空间网格，但在其他示例中，多个雷达传感器的传感器数据可以同时表示在单个空间网格上，而每个雷达传感器在空间网格上都具有相对位置。然而，由于第一雷达传感器和第二雷达传感器的不同视角，被标注为被堵塞且是不受限空间的第一雷达传感器的雷达空间网格610的单元与被标注为被堵塞且是不受限空间的第二雷达传感器的雷达空间网格612的单元不同。特别地，第一雷达传感器的雷达空间网格610示出了位于静态占据的区域右侧的被标注为被堵塞的更多的单元，而第二雷达传感器的雷达空间网格612则示出了位于静态占据的区域的左侧的被标注为被堵塞的更多的单元。另外地，第一雷达传感器的雷达空间网格610中的被标注为不受限空间的一些单元位于第二雷达传感器的视场之外，反之亦然。
通过融合或以其他方式组合第一雷达传感器的雷达空间网格610和第二雷达传感器的雷达空间网格612，可以获得融合的雷达空间网格614。可替代地，可以通过在单个空间网格上组合来自第一雷达传感器和第二雷达传感器的雷达传感器数据来获得融合的雷达空间网格614。如所示的，与第一雷达传感器的雷达空间网格610或第二传感器的雷达空间网格612中的任一个相比，融合的空间网格614包括被标注为被堵塞的更少的单元和被标注为不受限空间的更多的单元。另外地，与第一雷达传感器的雷达空间网格610或第二传感器的雷达空间网格612中的任一个相比，融合的雷达空间网格614涵盖车辆602周围的环境600的更大区域。另外地，融合的雷达空间网格614可以具有与单个单元的占据状态相关联的较高置信度值，因为该融合的雷达空间网格614可以基于至少在它们的视场的重叠部分中更高数量的雷达回波(例如，来自第一雷达传感器和第二雷达传感器两者的回波)。
如本申请中其他地方所讨论的，可以以多种方式融合来自多个雷达传感器的雷达传感器数据。在图6的示例中，通过将与第一雷达传感器相对应的第一雷达空间网格610和第二雷达传感器的第二雷达空间网格612的被占据的单元的并集标注为被占据，并将两个空间网格的被堵塞的单元的交集标注为被堵塞，来将两个空间网格相结合。换言之，当第一雷达传感器、第二雷达传感器或第一雷达传感器和第二雷达传感器两者的雷达传感器数据指示与空间网格的单元相对应的区域被占据时，可以将融合的雷达空间网格的单元标注为被占据。然而，当第一雷达传感器和第二雷达传感器两者的雷达传感器数据都指示与空间网格的单元相对应的区域被堵塞时，可以将融合的雷达空间网格的单元标注为被堵塞。可以至少部分地基于第一雷达传感器和第二雷达传感器的雷达传感器数据，将融合的雷达空间网格的单元标注为不受限空间。在一个特定示例中，如果融合的雷达空间网格的单元位于任一雷达传感器的视场内并且在融合的雷达空间网格614中未被标注为被占据或被堵塞(例如，它未被占据且未被堵塞)，则可以将其标注为不受限空间。
图7是示出根据公开的实施例的在环境的被堵塞的区域中检测和/或跟踪对象的示例的示意图700。
图7在左侧示出了由相机或其他图像传感器捕获的图像传感器数据702。图像传感器数据702描绘了第一对象704(在此示例中为第一车辆)和第二对象706(在此示例中为第二车辆)。当第二对象706仅部分地被第一对象704堵塞时，捕获图像传感器数据702。因此，计算设备(例如，车辆计算设备106的感知系统)可以对第一对象704与第二对象进行检测并进行分类，并且跟踪器(例如，车辆计算设备106的跟踪器系统)可以基于图像传感器数据702跟踪第一对象704和第二对象706的运动。但是，如果第二对象706在图像传感器的视图中变得被遮挡(例如，如果第一对象704转到第二对象706的前面)时，感知传感器可能不再能够对第二对象706进行检测或跟踪。然而，在一些示例中，通过使用多反弹回波和/或多路径回波，即使在对象在图像传感器的视图中被堵塞并且即使在对象在雷达传感器的直接视图中被堵塞时，雷达传感器仍可以检测并跟踪对象。
图7还在右侧示出了雷达传感器数据708，该雷达传感器数据708与图像传感器数据702中描绘的同一场景相对应，但是在第二对象706被第一对象704阻挡并因此对于传感器(例如，车辆102的传感器系统104)是被堵塞的稍晚的时间。如所示的，雷达传感器数据708包括与第一对象704相对应的第一回波710。尽管从雷达传感器的角度而言第二对象706被第一对象704阻挡的事实，但是在该示例中，雷达传感器数据708仍然凭借多路径回波和/或多反弹回波捕获对应于第二对象706的第二回波712。由于反弹或反射的数量，第二回波712中的回波的数量可以较低。因此，基于第二回波712在被堵塞的区域中检测第二对象706的置信度水平也可以较低。然而，第二回波712可能仍然足以在被堵塞的区域中跟踪第二对象706。在一些示例中，由于例如由多路径回波或多反弹回波引起的误差或不确定性，因此可以在被堵塞的区域中调整(例如，减小)轨迹的置信度。然而，当对象在堵塞之前被预先检测到时，这种降低的置信度可能会被抵消，在这种情况下，可能已经在对象变得被堵塞之前知道对象的轨迹。
在一些示例中，车辆计算设备的跟踪器可以随时间推移跟踪在被堵塞的区域中的雷达回波，并且至少部分地基于跟踪的回波的轨迹是否与针对该跟踪的对象的期望回波匹配来确定该回波是否对应于堵塞对象。如果在堵塞的区域中的跟踪对象的轨迹不按预期表现，则可以将回波确定为幻像回波(phantom return)。在一些示例中，可以使用一种或多种机器学习算法来识别与被堵塞的区域中的对象相对应的回波，并且将与堵塞的区域中的对象相对应的回波与表示噪声或错误检测的幻像回波区分开。例如，雷达回波可以被馈送到卷积神经网络(CNN)或其他机器学习模型，例如，在本申请中其他位置描述的那些模型。
与被堵塞对象(即，第二对象706)占据的区域相对应的雷达空间网格的一个或多个单元可以标注为被占据。在一些示例中，可以将与被堵塞对象占据的区域相对应的这种单元标注为被堵塞对象占据。雷达空间网格(或与堵塞对象相对应的原始雷达传感器数据)可以被输出到车辆计算设备的跟踪器，并且用于跟踪被堵塞的区域中的堵塞对象(即，第二对象706)。跟踪堵塞对象可以允许规划系统(例如，车辆计算设备106的规划系统)基于堵塞对象的位置和轨迹做出更快和/或更准确的规划决策。另外，跟踪堵塞对象使得能够维持对原本会丢失的对象的跟踪。例如，在图7中示出的示例中，可以在第二对象706对于一个或多个传感器系统可见(未被堵塞)的第一时间对第二对象706进行检测、分类和跟踪，并且可以维持该跟踪，并且，即使在第二对象对于一个或多个传感器系统而言被堵塞时，也可以基于雷达多路径回波和/或多反弹回波来更新雷达空间网格。因此，跟踪堵塞对象还可以减少处理时间和资源，因为一旦检测到对象并对其分类(例如，分类为车辆、建筑物、行人等)，如果该对象随后变得被堵塞，则可以继续对其进行跟踪，并因此无需在该对象再次变得不堵塞时对其进行重新检测和分类。因此，对自动驾驶车辆的控制可以至少部分地基于对堵塞对象的跟踪。更进一步，通过跟踪被堵塞的区域中的对象，可以改进自动驾驶车辆的安全性。例如，因为自动驾驶车辆的规划系统具有关于在自动驾驶车辆周围的环境的被堵塞的区域中的对象的位置和/或轨迹的信息，因此该规划系统能够规划自动驾驶车辆的轨迹，该轨迹将避免或以其他方式考虑堵塞对象的位置和/或轨迹。在一些示例中，雷达传感器数据708可以进一步包括对应于幻像回波的一个或多个第三回波714。由于稀疏的回波数量、由于在区域的堵塞之前此位置上未跟踪到对象的事实和/或基于被训练以识别堵塞对象和/或幻像回波的机器学习算法的输出，幻像回波的置信度水平较低，因此可以识别幻像回波并将其滤除。
图8是根据本公开的实施例的融合的空间网格数据800的自顶向下的360度视图的示例的示意图。例如，融合的空间网格数据800可以表示由多个雷达传感器和/或一个或多个其他传感器模态(例如，激光雷达传感器、相机传感器、声纳传感器等)捕获的数据。在一个示例中，可以至少部分地基于捕获车辆802周围的完整360度视场的雷达传感器来生成融合的空间网格数据800。如所示的，在该示例中利用阴影标注静态占据的区域，而动态占据的区域则被标注为实心黑框。堵塞的区域被标注为深灰色斑点。当动态占据的面积在环境周围移动时，由动态对象引起的被堵塞的区域将相应地移动。在该示例中，融合的空间网格将被堵塞的区域中的检测到的对象描绘为被占据。在至少一些示例中(例如，在图8中示出的示例中)，车辆802可以具有雷达传感器，该雷达传感器能够在车辆周围的完整360度中进行感测。因此，可以将这种空间网格中的所有单元标注为被占据、被堵塞和/或不受限。
通过示例的方式参考图1的组件描述了图2-8。然而，参考图2-8示出并描述的示例不限于在环境中或使用图1的组件来执行。例如，参考图2-8描述的示例中的一些或全部可以由图9中的一个或多个组件来执行，如本文所描述的，或通过一个或多个其他系统或组件来执行。
图9描绘了用于实现本文描述的技术的示例系统900的框图。在至少一个示例中，系统900可以包括车辆902，该车辆902可以与图1中示出的车辆102相同或不同。
车辆902可以包括(多个)车辆计算设备904、一个或多个传感器系统906、一个或多个发射器908、一个或多个通信连接910、至少一个直接连接912和一个或多个驱动模块914。
车辆计算设备904可以包括一个或多个处理器916以及与一个或多个处理器916通信地耦合的存储器918。在所示的示例中，车辆902是自动驾驶车辆。然而，车辆902可以是任何其他类型的车辆，或具有至少一个传感器的任何其他系统(例如，具有相机功能的智能手机)。在所示的示例中，车辆计算设备904的存储器918存储了定位组件920、感知组件922、规划组件924、一个或多个系统控制器926、一个或多个地图928、预测组件930、空间监视组件932和跟踪器组件934。尽管出于说明的目的，在图9中将定位组件920、感知组件922、规划组件924、一个或多个系统控制器926、一个或多个地图928、预测组件930、空间监视组件932和/或跟踪器组件934描绘为驻留在存储器918中，但是可以设想这些组件可以另外地或可替代地可访问车辆902(例如，存储在远离车辆902的存储器上或以其他方式由远离车辆902的存储器访问)。在一些实例中，(多个)车辆计算设备904可以对应于图1的(多个)车辆计算设备106或作为其示例。
在至少一个示例中，定位组件920可以包括以下功能：从(多个)传感器系统906接收数据以确定车辆902的位置和/或定向(例如，x位置、y位置、z位置、翻滚(roll)、俯仰(pitch)或偏航(yaw)中的一个或多个)。例如，定位组件920可以包括和/或请求/接收环境的地图，并且可以连续地确定自动驾驶车辆在地图内的位置和/或定向。在一些实例中，定位组件920可以利用SLAM(同时定位和映射)、CLAMS(同时校准、定位和映射)、相对SLAM、束调整、非线性最小二乘优化等以接收图像数据、激光雷达数据、雷达数据、IMU数据、GPS数据、车轮编码器数据等，以准确地确定自动驾驶车辆的位置。在一些实例中，定位组件920可以向车辆902的各种组件提供数据，以确定自动驾驶车辆的初始位置，进而如本文所讨论地生成轨迹和/或确定从存储器中取回地图数据和/或空间网格。
在一些实例中，感知组件922可以包括执行对象检测、分割和/或分类的功能。在一些示例中，感知组件922可以提供处理后的传感器数据，该数据指示车辆902附近的对象的存在和/或对该对象的对象类型的分类(例如，汽车、行人、骑行者、动物、建筑物、树木、路面、路缘、人行道、未知物等)。在附加示例和/或替代性示例中，感知组件922可以提供处理后的传感器数据，该数据指示与检测到的对象(例如，跟踪的对象)和/或该对象位于的环境相关联的一个或多个特性。在一些示例中，与对象相关联的特性可以包括但不限于x位置(全局和/或局部位置)、y位置(全局和/或局部位置)、z位置(全局和/或局部位置)、定向(例如，翻滚、俯仰或偏航)、对象类型(例如，分类)、对象的速度、对象的加速度、对象的范围(大小)等。与环境相关联的特性可以包括但不限于环境中另一对象的存在、环境中另一对象的状态、一天中的时间、一周中的一天、季节、天气条件、黑暗/光的指示等。在一些实例中，感知组件922可以与分割组件938一起操作以分割图像数据，如本文所讨论的。
通常，规划组件924可以确定车辆902要遵循的穿越环境的路径。例如，规划组件924可以确定各种路线和轨迹以及各种细节水平。例如，规划组件924可以确定从第一位置(例如，当前位置)到第二位置(例如，目标位置)行进的路线。出于本讨论的目的，路线可以是在两个位置之间行进的路标的序列。作为非限制性示例，路标包括街道、十字路口、全球定位系统(GPS)坐标等。此外，规划组件924可以生成用于沿着从第一位置到第二位置的路线的至少一部分引导自动驾驶车辆的指令。在至少一个示例中，规划组件924可以确定如何将自动驾驶车辆从路标的序列中的第一路标引导到路标的序列中的第二路标。在一些示例中，指令可以是轨迹或轨迹的一部分。在一些示例中，可以根据滚动时域技术实质上同时(例如，在技术公差内)生成多个轨迹，其中针对车辆902选择多个轨迹中的一个以进行导航。
在一些实例中，规划组件924可以至少部分地基于诸如雷达空间网格之类的空间网格中的一个或多个单元的状态来生成针对车辆902的一个或多个轨迹，如本文所讨论的。在一些示例中，规划组件924可以使用时间逻辑(例如，线性时间逻辑和/或信号时间逻辑)，以评估车辆902的一个或多个轨迹。规划组件924中利用时间逻辑的细节在美国申请序列号15/632,147中进行了讨论，其通过引用以其整体并入本文。如上面所讨论的，在一些示例中，空间网格可以包括时间逻辑符号，以帮助规划者评估车辆902的一个或多个轨迹。
在至少一个示例中，车辆计算设备904可以包括一个或多个系统控制器926，其可以被配置为控制车辆902的转向、推进、制动、安全、发射器、通信和其他系统。这些系统控制器926可以与(多个)驱动模块914和/或车辆902的其他组件的对应系统通信和/或控制这些系统。
存储器918可以进一步包括一个或多个地图928，该地图928可以由车辆902使用以在环境内导航。出于本讨论的目的，地图可以是以二维、三维或N维建模的任何数量的数据结构，这些数据结构能够提供有关环境的信息，例如但不限于拓扑(例如，交叉路口)、街道、山脉、道路、地形和一般环境。在一些实例中，地图可以包括但不限于纹理信息(例如，颜色信息(例如，RGB颜色信息、Lab颜色信息、HSV/HSL颜色信息)等)、强度信息(例如，激光雷达信息、雷达信息等)、空间信息(例如，投影到网格上的图像数据、独立的“面元(surfel)”(例如，与单个颜色和/或强度相关联的多边形))、反射率信息(例如，镜面反射率信息、回射率信息、BRDF信息、BSSRDF信息等)。在一个示例中，地图可以包括环境的三维网格。在一些实例中，可以以图块格式存储地图，使得地图的单个图块表示环境的离散部分，并可以根据需要加载到工作存储器中。在至少一个示例中，一个或多个地图928可以包括至少一个地图(例如，图像和/或网格)。在一些示例中，可以至少部分地基于地图928来控制车辆902。即，地图928可以与定位组件920、感知组件922、规划组件924和/或空间监视组件932结合使用以确定车辆902的位置、标识环境中的对象和/或生成路线和/或轨迹以在环境内导航。
在一些示例中，一个或多个地图928可以被存储在经由(多个)网络938可访问的(多个)远程计算设备(例如，(多个)计算设备936)上。在一些示例中，可以基于例如特性(例如，实体的类型、一天中的时间、一周中的一天、一年中的季节等)来存储多个地图928。存储多个地图928可以具有类似的存储器要求，但是增加了可以访问地图中的数据的速度。
在一些示例中，空间监视组件932和/或地图928可以存储与环境中的单个位置相关联的一个或多个空间网格。例如，当车辆902穿越环境并且将表示车辆902附近的面积的地图加载到存储器中时，也可以将与位置相关联的一个或多个空间网格加载到存储器中。
在一些示例中，预测组件930可以包括在环境中生成对象的预测轨迹的功能。例如，预测组件930生成可以在距车辆902的阈值距离内的针对车辆、行人、动物等的一个或多个预测轨迹。在一些实例中，预测组件930可以测量对象的轨迹并生成当对象进入环境中的堵塞区域时对象的轨迹。因此，即使在对象对于车辆902的一个或多个传感器不可见的情况下，预测组件930也可以在存储器中扩展对象的轨迹，以便即使在传感器数据中没有捕获到对象的情况下，也可以维持关于对象的数据。此外，如参考图6所讨论的，跟踪器934可以用于基于雷达回波(例如，多路径回波和/或多反弹回波)来跟踪被堵塞的区域中的对象。
通常，空间监视组件932可以包括以下功能：生成和/或维护空间网格数据；确定空间网格的被占据、被堵塞和/或不受限空间区域；以及确定空间网格的单元的被占据状态、被堵塞状态和/或不受限空间状态。在一些实例中，空间监视组件932可以对应于图1的空间监视组件108。如本文所讨论的，空间监视组件932可以接收雷达数据、激光雷达数据、图像数据、地图数据等，以确定环境中与占据相关的信息。在一些实例中，空间监视组件932可以向规划组件924提供占据信息，以确定何时令控制车辆902穿越环境。空间监视组件932可以将占据信息提供给预测组件930，以生成针对环境中的被堵塞的区域中的一个或多个对象的预测轨迹。空间监视组件932可以向跟踪器934提供占据信息，以跟踪环境中的被堵塞的区域中的动态对象。
可以理解的是，出于说明的目的，本文讨论的组件(例如，定位组件920、感知组件922、规划组件924、一个或多个系统控制器926、一个或多个地图928、预测组件930、空间监控组件932和跟踪器934)被描述为分开的。然而，由各种组件执行的操作可以被组合或在任何其他组件中执行。通过示例的方式，可以由感知组件922(例如，而不是空间监视组件932)执行空间监视功能，以减少系统所传送的数据量。
在一些实例中，本文讨论的组件中的一些或全部的方面可以包括模型、算法和/或机器学习算法。例如，在一些实例中，存储器918(和/或下面所讨论的存储器942)中的组件可以被实现为神经网络。
如本文所描述的，示例神经网络是生物学启发算法，其使输入数据通过连接层的序列以产生输出。神经网络中的每一层还可以包括另一神经网络，或者可以包括任何数量的层(无论是否卷积)。如在本公开的上下文中可以理解的，神经网络可以利用机器学习，机器学习可以指代基于学习的参数生成输出的一大类这种算法。
尽管在神经网络的上下文进行了讨论，但是可以与本公开一致地使用任何类型的机器学习。例如，机器学习算法可以包括但不限于回归算法(例如，普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(MARS)、本地估计散点平滑(LOESS))、基于实例的算法(例如，岭回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小角度回归(LARS))、决策树算法(例如，分类和回归树(CART)、迭代二分法器3(ID3)、卡方自动交互检测(CHAID)、决策树桩、条件决策树)、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯、平均一依赖估计器(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络)、聚类算法(例如，k均值、k中位数、期望最大化(EM)、分层聚类)、关联规则学习算法(例如，感知机、反向传播、Hopfield网络、径向基函数网络(RBFN))、深度学习算法(例如，深玻尔兹曼机(DBM)、深度信念网络(DBN)、卷积神经网络(CNN)、堆叠式自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维标度(MDS)、投影寻踪、线性判别分析(LDA)、混合物判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、集成算法(例如，提升、自举聚合(袋装)、AdaBoost、堆叠泛化(混合)、梯度提升机(GBM)、梯度提升回归树(GBRT)、随机森林)、SVM(支持向量机)、有监督学习、无监督学习、半监督学习等。
架构的附加示例包括神经网络，例如，ResNet70、ResNet101、VGG、DenseNet、PointNet等。
在至少一个示例中，传感器系统906可以包括激光雷达传感器、雷达传感器、超声换能器、声纳传感器、位置传感器(例如，GPS、罗盘等)、惯性传感器(例如，惯性测量单元(IMU)、加速度计、磁力计、陀螺仪等)、相机(例如，RGB相机、IR相机、强度相机、深度相机、飞行时间相机等)、麦克风、车轮编码器、环境传感器(例如，温度传感器、湿度传感器、光传感器、压力传感器等)等。(多个)传感器系统906可以包括这些或其他类型的传感器中的每一个的多个实例。例如，激光雷达传感器可以包括位于车辆902的拐角、前面、后面、侧面和/或顶部的单独的激光雷达传感器。作为另一个示例，相机传感器可以包括设置在车辆902外部和/或内部的周围各种位置多个相机。作为另一个示例，雷达系统可以包括设置在车辆902周围的各种位置的相同或不同雷达传感器的多个实例。(多个)传感器系统906可以向车辆计算设备904提供输入。另外地或可替代地，在经过预定时间段之后，(多个)传感器系统906可以经由一个或多个网络938以特定频率(例如，接近实时等)将传感器数据发送到一个或多个计算设备。在一些实例中，(多个)传感器系统906可以对应于图1的(多个)传感器系统104。
如上面所描述的，车辆902还可以包括用于发射光和/或声音的一个或多个发射器908。在该示例中，发射器908包括内部音频和视觉发射器以与车辆902的乘客进行通信。通过示例而非限制的方式，内部发射器可以包括：扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械致动器(例如，安全带拉紧器、座椅定位器、头枕定位器等)等。在该示例中，发射器908还包括外部发射器。通过示例而非限制的方式，该示例中的外部发射器包括用于以信号通知行驶方向的灯或车辆动作的其他指示器(例如，指示灯、标志、灯阵列等)，以及用于与行人或其他附近的车辆可听地通信的一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)，这些发射器的一个或多个包括声束转向技术。
车辆902还可以包括一个或多个通信连接910，该通信连接910实现车辆902与一个或多个其他本地计算设备或远程计算设备之间的通信。例如，(多个)通信连接910可以促进与车辆902上的(多个)其他本地计算设备和/或(多个)驱动模块914的通信。而且，(多个)通信连接910可以允许车辆与其他附近的(多个)计算设备(例如，其他附近的车辆、交通信号等)进行通信。(多个)通信连接910还使车辆902能够与远程遥距操作计算设备或其他远程服务通信。
(多个)通信连接910可以包括用于将车辆计算设备904连接到另一计算设备或网络(例如，(多个)网络946)的物理和/或逻辑接口。例如，(多个)通信连接910可以实现基于Wi-Fi的通信，例如，经由IEEE 802.11标准定义的频率、短距离无线频率(例如，)、蜂窝通信(例如，2G、4G、4G、4G LTE、5G等)或者使相应的计算设备能够与(多个)其他计算设备接合的任何合适的有线或无线通信协议。
在至少一个示例中，车辆902可以包括一个或多个驱动模块914。在一些示例中，车辆902可以具有单个驱动模块914。在至少一个示例中，如果车辆902具有多个驱动模块914，则单个驱动模块914可以定位在车辆902的相对两端(例如，前方和后方等)。在至少一个示例中，(多个)驱动模块914可以包括一个或多个传感器系统，以检测(多个)驱动模块914和/或车辆902的周围环境的状况。通过示例而非限制的方式，(多个)传感器系统可以包括：一个或多个车轮编码器(例如，旋转编码器)以感测驱动模块的车轮的旋转；惯性传感器(例如，惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动模块的定向以及加速度；相机或其他图像传感器、超声波传感器以声学地检测驱动模块周围环境中的对象；激光雷达传感器；雷达传感器等。对于(多个)驱动模块914而言，诸如车轮编码器之类的一些传感器可以是唯一的。在一些实例中，(多个)驱动模块914上的(多个)传感器系统可以重叠或补充车辆902的对应系统(例如，(多个)传感器系统906)。
(多个)驱动模块914可以包括车辆系统中的许多车辆系统，包括：高压电池、推进车辆的电动机、将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器、包括转向电动机和转向机架(其可以是电动的)的转向系统、包括液压或电动致动器的制动系统、包括液压和/或气动组件的悬架系统、用于分配制动力以减轻牵引力损失并维持控制的稳定性控制系统、HVAC系统、照明(例如，用于照亮车辆的外部环境的前灯/尾灯的照明)以及一个或多个其他系统(例如，冷却系统、安全系统、车载充电系统、诸如DC/DC转换器、高压结、高压电缆、充电系统、充电端口等之类的其他电气组件)。另外地，(多个)驱动模块914可以包括驱动模块控制器，该驱动模块控制器可以接收和预处理来自(多个)传感器系统的数据并控制各种车辆系统的操作。在一些示例中，驱动模块控制器可以包括一个或多个处理器以及与该一个或多个处理器通信地耦合的存储器。存储器可以存储一个或多个模块以执行(多个)驱动模块914的各种功能。此外，(多个)驱动模块914还包括一个或多个通信连接，该通信连接使得相应的驱动模块能够与一个或多个其他本地或远程计算设备进行通信。
在至少一个示例中，直接连接912可以提供物理接口以使一个或多个驱动模块914与车辆902的主体耦合。例如，直接连接912可以允许能量、流体、空气、数据等在(多个)驱动模块914与车辆之间进行传送。在一些实例中，直接连接912可以进一步将(多个)驱动模块914可释放地固定到车辆902的主体。
在至少一个示例中，定位组件920、感知组件922、规划组件924、一个或多个系统控制器926、一个或多个地图928、预测组件930、空间监视组件932、跟踪器934和/或跟踪器934可以如上面所描述地处理传感器数据，并且可以通过一个或多个网络938将它们相应的输出发送到一个或多个计算设备936。在至少一个示例中，定位组件920、感知组件922、规划组件924、一个或多个系统控制器926、一个或多个地图928、预测组件930、空间监视组件932和/或跟踪器934可以在经过预定时间段之后，以特定频率(例如，接近实时等)将它们相应的输出发送到一个或多个计算设备936。
在一些示例中，车辆902可以经由(多个)网络938将传感器数据发送到一个或多个计算设备936。在一些示例中，车辆902可以将原始传感器数据发送到(多个)计算设备936。在其他示例中，车辆902可以将处理后的传感器数据和/或传感器数据的表示(例如，空间网格数据)发送到(多个)计算设备936。在一些示例中，车辆902可以在经过预定时间段之后，以特定频率(例如，接近实时等)将传感器数据发送到(多个)计算设备936。在一些实例中，车辆902可以将传感器数据(原始的或处理后的)发送到(多个)计算设备936作为一个或多个日志文件。
(多个)计算设备936可以包括(多个)处理器940和存储器952，该存储器952存储(多个)地图组件944和/或空间监视组件948。
在一些实例中，(多个)地图组件944可以包括将(多个)空间网格与地图位置进行关联的功能。除了在(多个)车辆计算设备904处执行功能之外或作为其代替，空间监视组件948可以执行与针对空间监视组件932所描述的功能实质上相同的功能。在一些实例中，空间网格的大小可以至少部分地基于区域特性，例如，到交叉路口或其他地图特征的距离、速度限制、速度限制安全因子等。
车辆902的(多个)处理器916和(多个)计算设备936的(多个)处理器940可以是能够执行指令以处理数据并执行如本文所描述的操作的任何合适的处理器。通过示例而非限制的方式，(多个)处理器916和940可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或处理电子数据以将该电子数据转换为可以存储在寄存器和/或存储器中的其他电子数据的任何其他设备或设备的一部分。在一些示例中，只要将集成电路(例如，ASIC等)、门阵列(例如，FPGA等)和其他硬件设备配置为实现编码指令，就可以将它们视为处理器。
存储器918和存储器942是非暂时性计算机可读介质的示例。存储器918和存储器942可以存储操作系统和一个或多个软件应用程序、指令、程序和/或数据，以实现本文所描述的方法以及从属于各种系统的功能。在各种实现方式中，可以使用任何合适的存储技术来实现该存储器，例如，静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)，非易失性/闪存类型的存储器或能够存储信息的任何其他类型的存储器。本文描述的架构、系统和单个元件可以包括许多其他逻辑组件、程序化组件和物理组件，其中附图中示出的那些仅仅是与本文的讨论有关的示例。
应该注意的是，尽管图9被图示为分布式系统，但是在替代示例中，车辆902的组件可以与(多个)计算设备936相关联和/或(多个)计算设备936的组件可以与车辆902相关联。即，车辆902可以执行与(多个)计算设备936相关联的功能中的一个或多个，反之亦然。此外，可以在本文讨论的设备中的任何设备上执行预测组件930、空间监视组件932和/或跟踪器934的方面。
条款示例
A：一种自动驾驶车辆，包括：雷达系统；一个或多个处理器，其通信地耦合到所述雷达系统；以及一个或多个计算机可读介质，其存储由所述一个或多个处理器可执行的指令，其中，所述指令在被执行时使所述自动车辆执行操作，所述操作包括：由所述雷达系统捕获环境的雷达传感器数据；至少部分地基于所述雷达传感器数据来检测所述环境的第一区域中的对象；至少部分地基于检测到所述环境的所述第一区域中的所述对象，将空间网格的第一单元标注为被占据，所述第一单元与所述环境的所述第一区域相关联；至少部分地基于所述第一单元的位置相对于所述雷达系统的雷达传感器的位置，将所述空间网格的第二单元标注为被堵塞，所述第二单元与所述环境的第二区域相关联；至少部分地基于所述雷达传感器的视场，将所述空间网格的第三单元标注为不受限空间，所述第三单元与所述环境中的在所述雷达传感器的视场内并且未被占据且未被堵塞的区域相关联；以及至少部分地基于对所述空间网格的所述第一单元、所述第二单元和所述第三单元的所述标注来在所述环境内控制所述自动驾驶车辆。
B：示例A的自动驾驶车辆，其中：所述雷达传感器包括第一雷达传感器，并且所述雷达系统包括所述第一雷达传感器和第二雷达传感器，将所述空间网格的所述第一单元标注为被占据是基于所述第一雷达传感器或所述第二雷达传感器中的至少一个的雷达传感器数据的，将所述空间网格的所述第一单元标注为被占据指示与所述空间网格的所述第一单元相对应的区域被占据，以及将所述空间网格的所述第二单元标注为被对象堵塞是基于所述第一雷达传感器与所述第二雷达传感器的雷达传感器数据的，将所述空间网格的所述第二单元标注为被对象堵塞指示与所述空间网格的所述第二单元相对应的区域被堵塞。
C：示例A或B中的任一项的自动驾驶车辆，所述操作进一步包括：至少部分地基于所述雷达传感器数据，检测所述环境的所述第二区域中的对象；以及在所述第二区域中跟踪所述对象，其中，在所述环境内控制所述自动驾驶车辆是进一步至少部分地基于在所述第二区域中对所述对象的跟踪的。
D：示例A-C中的任一项的自动驾驶车辆，所述操作进一步包括：确定所述对象是静态对象；计算所述空间网格的所述第一单元的相邻单元的占据概率；以及至少部分地基于所述第一单元的所述相邻单元的所述占据概率高于阈值概率，将所述第一单元的所述相邻单元标注为被所述静态对象占据。
E：示例A-D中的任一项的自动驾驶车辆，所述操作进一步包括：至少部分地基于所述雷达传感器数据或其他传感器数据来确定包括第二单元的第二区域；至少部分地基于所述雷达传感器数据来检测所述对象进入所述第二区域；至少部分地基于所述对象进入所述第二区域来确定所述第二区域未被占据；以及更新所述空间网格的所述第二单元以指示所述第二区域未被占据。
F：示例A-C中的任一项的自动驾驶车辆，所述操作进一步包括：确定所述对象是动态对象；确定与所述动态对象的轨迹相关联的边界框；以及将所述空间网格的与所述边界框的面积相关联的一个或多个单元标注为被占据。
G：示例A-F中的任一项的自动驾驶车辆，其中：所述空间网格包括雷达系统空间网格，以及在所述环境中控制所述自动驾驶车辆是进一步至少部分地基于激光雷达空间网格或相机空间网格中的至少一个的。
H：一种方法，包括：由雷达传感器捕获环境的雷达传感器数据；至少部分地基于所述雷达数据，将空间网格的第一单元标注为被占据，所述第一单元与所述环境的第一区域相关联；至少部分地基于所述第一单元的位置相对于所述雷达传感器的位置以及所述第一单元相对于所述第二单元的位置，将所述第二单元标注为被堵塞；以及输出与所述环境相关联的所述空间网格。
I：示例H的方法，其中：所述雷达传感器包括第一雷达传感器，并且所述方法进一步包括：由第二雷达传感器捕获环境的雷达传感器数据，其中：将所述空间网格的所述第一单元标注为被占据是基于所述第一雷达传感器或所述第二雷达传感器中的至少一个的雷达传感器数据的，将所述空间网格的所述第一单元标注为被占据指示与所述空间网格的所述第一单元相对应的区域被占据，以及将所述空间网格的所述第二单元标注为被对象堵塞是基于所述第一雷达传感器与所述第二雷达传感器的雷达传感器数据的，将所述空间网格的所述第二单元标注为被对象堵塞指示与所述空间网格的所述第二单元相对应的区域被堵塞。
J：示例H或I中的任一项的方法，进一步包括：至少部分地基于所述空间网格在所述环境内控制所述自动驾驶车辆。
K：示例H-J中的任一项的方法，进一步包括：
至少部分地基于所述雷达传感器数据，检测所述环境的所述第二区域中的对象；以及在所述第二区域中跟踪所述对象，其中，在所述环境中控制所述自动驾驶车辆是进一步至少部分地基于在所述第二区域中对所述对象的跟踪的。
L：示例H-K中的任一项的方法，进一步包括：计算所述空间网格的所述第一单元的相邻单元的占据概率；以及至少部分地基于所述第一单元的所述相邻单元的所述占据概率高于阈值概率，将所述第一单元的所述相邻单元标注为被占据。
M：示例H-L中的任一项的方法，进一步包括：至少部分地基于所述雷达传感器数据来检测对象进入所述第一区域，至少部分地基于所述对象进入所述第一区域来确定所述第一区域未被占据；以及更新所述空间网格的所述第一单元以指示所述第一区域未被占据。
N：示例H-M中的任一项的方法，进一步包括：确定被占据的区域与动态对象相关联；确定与所述动态对象的轨迹相关联的边界框；以及将所述空间网格的与所述边界框的轨迹的面积相关联的一个或多个单元标注为被占据。
O：示例H-N中的任一项的方法，该方法进一步包括：
将占据网格与激光雷达数据或相机数据中的至少一个融合。
P：一个或多个非暂时性计算机可读介质，其存储指令，所述指令在被执行时使一个或多个处理器执行操作，所述操作包括：由雷达传感器捕获环境的雷达传感器数据；至少部分地基于与所述环境的第一区域相关联的雷达数据，将空间网格的第一单元标注为被占据，所述第一单元与所述环境的所述第一区域相关联；至少部分地基于所述第一单元的位置相对于所述雷达传感器的位置，将所述空间网格的第二单元标注为被对象堵塞，所述第二单元与所述环境的第二区域相关联；以及输出与所述环境相关联的所述空间网格。
Q：示例P的一个或多个非暂时性计算机可读介质，其中：所述雷达传感器包括第一雷达传感器，并且所述操作进一步包括：由第二雷达传感器捕获环境的雷达传感器数据，其中：将所述空间网格的所述第一单元标注为被占据是基于所述第一雷达传感器或所述第二雷达传感器中的至少一个的雷达传感器数据的，将所述空间网格的所述第一单元标注为被占据指示与所述空间网格的所述第一单元相对应的区域被占据，以及将所述空间网格的所述第二单元标注为被对象堵塞是基于所述第一雷达传感器与所述第二雷达传感器的雷达传感器数据的，将所述空间网格的所述第二单元标注为被对象堵塞指示与所述空间网格的所述第二单元相对应的区域被堵塞。
R：示例P或Q中的任一项的一个或多个非暂时性计算机可读介质，所述操作进一步包括：至少部分地基于所述空间网格在所述环境内控制所述自动驾驶车辆。
S：示例P-R中的任一项的一个或多个非暂时性计算机可读介质，所述操作进一步包括：至少部分地基于所述雷达传感器数据，检测所述环境的所述第二区域中的对象；以及在所述第二区域中跟踪所述对象，其中，在所述环境中控制所述自动驾驶车辆是进一步至少部分地基于在所述第二区域中对所述对象的跟踪的。
T：示例P-S中的任一项的一个或多个非暂时性计算机可读介质，其中，所述操作还包括：将空间网格与激光雷达数据或相机数据中的至少一个融合。
尽管针对一种特定实现方式描述了上述示例条款，但是应该理解，在本文档的上下文中，示例条款的内容也可以经由方法、设备、系统、计算机可读介质和/或另一种实现方式来实现。
结论
尽管已经描述了本文描述的技术的一个或多个示例，但是各种变更、添加、置换和其等同物也被包括在本文描述的技术的范围内。
在示例的描述中，参考构成其一部分的附图，其通过说明的方式示出了所要求保护的主题的具体示例。应当理解，可以使用其他示例，并且可以进行诸如结构改变之类的改变或变更。这样的示例、改变或变更不一定相对于旨在要求保护的主题偏离范围。尽管本文的步骤可以按一定次序呈现，但在一些情况下，可以改变次序，使得在不更改所描述系统和方法功能的情况下，在不同时间或以不同次序提供某些输入。所公开的过程也可以以不同的次序执行。另外地，不需要以所公开的次序执行本文的各种计算，并且可以容易地实现使用计算的替代次序的其他示例。除了被重新排序外，这些计算还可以被分解为具有相同结果的子计算。

Claims (15)

1.一种自动驾驶车辆，包括：
雷达系统；
一个或多个处理器，其通信地耦合到所述雷达系统；以及
一个或多个计算机可读介质，其存储由所述一个或多个处理器可执行的指令，其中，所述指令在被执行时使所述自动驾驶车辆执行操作，所述操作包括：
由所述雷达系统捕获环境的雷达传感器数据；
至少部分地基于所述雷达传感器数据来检测所述环境的第一区域中的对象；
确定所述对象是静态对象还是动态对象；
基于检测到所述环境的所述第一区域中的所述对象，将空间网格的第一单元标注为被占据，所述第一单元与所述环境的所述第一区域相关联；
至少部分地基于所述对象是静态的还是动态的，计算所述空间网格的所述第一单元的相邻单元的占据概率，并且基于所述占据概率高于阈值概率，将所述第一单元的所述相邻单元标注为被占据；
基于所述第一单元或所述相邻单元中的被指定为被占据的至少一个的位置相对于所述雷达系统的雷达传感器的位置，将所述空间网格的第二单元标注为被堵塞，所述第二单元与所述环境的第二区域相关联；
至少部分地基于所述雷达传感器的视场将所述空间网格的第三单元标注为不受限空间，所述第三单元与所述环境中的在所述雷达传感器的所述视场内并且未被占据且未被堵塞的区域相关联；以及
至少部分地基于对所述空间网格的所述第一单元、所述相邻单元、所述第二单元和所述第三单元的所述标注来在所述环境内控制所述自动驾驶车辆。
2.根据权利要求1所述的自动驾驶车辆，其中：
所述雷达传感器包括第一雷达传感器，并且所述雷达系统包括所述第一雷达传感器和第二雷达传感器，
将所述空间网格的所述第一单元标注为被占据是基于所述第一雷达传感器或所述第二雷达传感器中的至少一个的雷达传感器数据的，将所述空间网格的所述第一单元标注为被占据指示与所述空间网格的所述第一单元相对应的区域被占据，以及
将所述空间网格的所述第二单元标注为被对象堵塞是基于所述第一雷达传感器与所述第二雷达传感器的雷达传感器数据的，将所述空间网格的所述第二单元标注为被对象堵塞指示与所述空间网格的所述第二单元相对应的区域被堵塞。
3.根据权利要求1所述的自动驾驶车辆，所述操作进一步包括：
至少部分地基于所述雷达传感器数据来检测所述环境的所述第二区域中的对象；以及
跟踪所述第二区域中的所述对象，
其中，在所述环境中控制所述自动驾驶车辆是进一步至少部分地基于对所述第二区域中的所述对象的跟踪的。
4.根据权利要求1所述的自动驾驶车辆，其中，所述操作进一步包括：
确定所述对象是静态对象；以及
将所述第一单元的所述相邻单元标注为被所述静态对象占据。
5.根据权利要求1所述的自动驾驶车辆，所述操作进一步包括：
至少部分地基于所述雷达传感器数据或其他传感器数据来确定包括第四单元的第三区域；
至少部分地基于所述雷达传感器数据来检测所述对象进入所述第三区域；
至少部分地基于所述对象进入所述第三区域来确定所述第三区域未被占据；以及
更新所述空间网格的所述第四单元以指示所述第三区域未被占据。
6.根据权利要求1所述的自动驾驶车辆，所述操作进一步包括：
确定所述对象是动态对象；
确定与所述动态对象的轨迹相关联的边界框；以及
将所述空间网格的与所述边界框的面积相关联的一个或多个单元标注为被占据。
7.根据权利要求1所述的自动驾驶车辆，其中：
所述空间网格包括雷达系统空间网格，以及
在所述环境中控制所述自动驾驶车辆是进一步至少部分地基于激光雷达空间网格或相机空间网格中的至少一个的。
8.一种用于雷达空间估计的方法，包括：
由雷达传感器捕获环境的雷达传感器数据；
至少部分地基于所述雷达传感器数据来检测所述环境的第一区域中的对象；
确定所述对象是静态对象还是动态对象；
基于所述雷达传感器数据，将空间网格的第一单元标注为被占据，所述第一单元与所述环境的第一区域相关联；
至少部分地基于所述对象是静态的还是动态的，计算所述空间网格的所述第一单元的相邻单元的占据概率，并且基于所述占据概率高于阈值概率，将所述第一单元的所述相邻单元标注为被占据；
基于所述第一单元或所述相邻单元中的被指定为被占据的至少一个的位置相对于所述雷达传感器的位置以及相对于第二单元的位置，将所述第二单元标注为被堵塞；以及
输出与所述环境相关联的所述空间网格。
9.根据权利要求8所述的方法，其中，所述雷达传感器包括第一雷达传感器，并且所述方法进一步包括：
由第二雷达传感器捕获环境的雷达传感器数据，其中：
将所述空间网格的所述第一单元标注为被占据是基于所述第一雷达传感器或所述第二雷达传感器中的至少一个的雷达传感器数据的，将所述空间网格的所述第一单元标注为被占据指示与所述空间网格的所述第一单元相对应的区域被占据，并且
将所述空间网格的所述第二单元标注为被对象堵塞是基于所述第一雷达传感器与所述第二雷达传感器的雷达传感器数据的，将所述空间网格的所述第二单元标注为被对象堵塞指示与所述空间网格的所述第二单元相对应的区域被堵塞。
10.根据权利要求8所述的方法，进一步包括：至少部分地基于所述空间网格来在所述环境内控制自动驾驶车辆。
11.根据权利要求10所述的方法，进一步包括：
至少部分地基于所述雷达传感器数据来检测所述环境的第二区域中的对象；以及
跟踪所述第二区域中的所述对象，
其中，在所述环境中控制所述自动驾驶车辆是进一步至少部分地基于对所述第二区域中的所述对象的跟踪的。
12.根据权利要求8所述的方法，进一步包括：
至少部分地基于所述雷达传感器数据来检测另一对象进入所述第一区域；
至少部分地基于所述另一对象进入所述第一区域来确定所述第一区域未被占据；以及
更新所述空间网格的所述第一单元以指示所述第一区域未被占据。
13.根据权利要求8所述的方法，进一步包括：
确定被占据的区域与动态对象相关联；
确定与所述动态对象的轨迹相关联的边界框；以及
将所述空间网格的与所述边界框的轨迹的面积相关联的一个或多个单元标注为被占据。
14.根据权利要求8所述的方法，所述方法进一步包括：
将占据网格与激光雷达数据或相机数据中的至少一个融合。
15.一个或多个非暂时性计算机可读介质，其存储指令，所述指令在被执行时使一个或多个处理器执行根据权利要求8-14中任一项所述的方法。
CN201980063663.9A 2018-09-28 2019-09-25 雷达空间估计 Active CN112752988B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/147,177 2018-09-28
US16/147,177 US11353577B2 (en) 2018-09-28 2018-09-28 Radar spatial estimation
PCT/US2019/053013 WO2020069025A1 (en) 2018-09-28 2019-09-25 Radar spatial estimation

Publications (2)

Publication Number Publication Date
CN112752988A CN112752988A (zh) 2021-05-04
CN112752988B true CN112752988B (zh) 2024-03-15

Family

ID=69945441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063663.9A Active CN112752988B (zh) 2018-09-28 2019-09-25 雷达空间估计

Country Status (5)

Country Link
US (1) US11353577B2 (zh)
EP (1) EP3857264A4 (zh)
JP (1) JP2022502306A (zh)
CN (1) CN112752988B (zh)
WO (1) WO2020069025A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126199B2 (en) * 2018-04-16 2021-09-21 Baidu Usa Llc Learning based speed planner for autonomous driving vehicles
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
EP3867721A1 (en) * 2018-10-15 2021-08-25 Starship Technologies OÜ Method and system for operating a robot
US10814870B2 (en) * 2018-12-04 2020-10-27 GM Global Technology Operations LLC Multi-headed recurrent neural network (RNN) for multi-class trajectory predictions
CN111382768B (zh) * 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
US11555927B2 (en) * 2019-02-05 2023-01-17 Honda Motor Co., Ltd. System and method for providing online multi-LiDAR dynamic occupancy mapping
US11620478B2 (en) * 2019-02-06 2023-04-04 Texas Instruments Incorporated Semantic occupancy grid management in ADAS/autonomous driving
KR102596003B1 (ko) * 2019-03-21 2023-10-31 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
JP7244325B2 (ja) * 2019-03-27 2023-03-22 株式会社Soken 物体検出装置
US11280897B2 (en) * 2019-03-31 2022-03-22 Waymo Llc Radar field of view extensions
US11170567B2 (en) * 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data
US11143747B2 (en) * 2019-07-11 2021-10-12 GM Global Technology Operations LLC Methods and systems for classifying received signals from radar system
KR20210111557A (ko) * 2020-03-03 2021-09-13 현대자동차주식회사 심층 학습 기반의 객체 분류 장치 및 그 방법
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
US11625009B2 (en) * 2020-03-26 2023-04-11 Intel Corporation Non-uniform occupancy grid manager
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
US20200326721A1 (en) * 2020-06-26 2020-10-15 Intel Corporation Occupancy verification device and method
CN112052878B (zh) * 2020-08-11 2024-04-16 浙江大华技术股份有限公司 一种雷达的遮挡识别的方法、装置及存储介质
KR20220027359A (ko) * 2020-08-26 2022-03-08 현대자동차주식회사 자율주행을 위한 높이 맵 격자간격 조정방법
EP3961481A1 (en) * 2020-08-31 2022-03-02 Aptiv Technologies Limited Vehicles, systems and methods for determining an occupancy map of a vicinity of a vehicle
US20240004031A1 (en) * 2020-11-12 2024-01-04 The Regents Of The University Of California Multi radar object detection
DE102020130069A1 (de) * 2020-11-13 2022-05-19 Audi Aktiengesellschaft Steuerung eines Kraftfahrzeugs bei teilweiser Sichtfeldverdeckung
FR3116640B1 (fr) * 2020-11-20 2023-11-17 Commissariat Energie Atomique Procédé itératif d’estimation du mouvement d’un corps matériel par génération d’une grille de mouvement filtrée
US20220196829A1 (en) * 2020-12-17 2022-06-23 Aptiv Technologies Limited Radar Reference Map Generation
KR20220095661A (ko) * 2020-12-30 2022-07-07 현대자동차주식회사 센서 퓨전 트랙 생성장치 및 센서 퓨전 트랙 생성방법
US20220261008A1 (en) * 2021-02-16 2022-08-18 Sony Group Corporation Circuitry and method
US11810367B2 (en) * 2021-06-29 2023-11-07 Toyota Research Institute, Inc. System and method for determining if a vehicle is parked
EP4123336A1 (en) * 2021-07-21 2023-01-25 Hyundai Mobis Co., Ltd. Apparatus and method for monitoring surrounding environment of vehicle
KR20230014344A (ko) * 2021-07-21 2023-01-30 현대모비스 주식회사 차량의 주변 환경 모니터링 장치 및 방법
EP4123338A3 (en) * 2021-07-21 2023-04-19 Hyundai Mobis Co., Ltd. Apparatus and method for monitoring surrounding environment of vehicle
US11834077B2 (en) * 2021-09-14 2023-12-05 Barry Gilhuly Systems, methods, and media for occlusion-aware motion planning
CN114212106B (zh) * 2021-12-17 2023-10-10 东软睿驰汽车技术（沈阳）有限公司 一种车辆的可行驶区域内安全概率的确定方法及装置
US20230192090A1 (en) * 2021-12-22 2023-06-22 Motional Ad Llc Precedence determination at multi-way stops
GB2617062A (en) * 2022-03-23 2023-10-04 Aptiv Tech Ltd Sensor processing method, apparatus, computer program product, and automotive sensor system
CN114643984A (zh) * 2022-05-20 2022-06-21 阿里巴巴达摩院(杭州)科技有限公司 驾驶避险方法、装置、设备、介质及产品
CN114677494B (zh) * 2022-05-26 2022-09-16 中国人民解放军国防科技大学 基于剖分网格的雷达探测能力计算方法、装置及设备
CN114897951B (zh) * 2022-05-30 2023-02-28 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统
CN116299254B (zh) * 2022-09-07 2023-10-13 无锡国芯微电子系统有限公司 一种被动雷达寻的器的目标跟踪方法
KR102593795B1 (ko) * 2022-09-30 2023-10-26 주식회사 플럭시티 공간 속성 정보를 3d 정보와 결합하는 방법 및 장치
WO2024081667A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Radar- and vision-based navigation using bounding boxes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055042A (en) * 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
US6173215B1 (en) * 1997-12-19 2001-01-09 Caterpillar Inc. Method for determining a desired response to detection of an obstacle
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
CN104793202A (zh) * 2014-01-16 2015-07-22 通用汽车环球科技运作有限责任公司 多雷达成像传感器的对象融合系统
CN107272021A (zh) * 2016-03-30 2017-10-20 德尔福技术有限公司 使用雷达和视觉定义的图像检测区域的对象检测

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266477B2 (en) * 2005-06-22 2007-09-04 Deere & Company Method and system for sensor signal fusion
CN104169738B (zh) 2012-04-26 2016-11-09 英特尔公司 确定相对定位信息
US9367065B2 (en) * 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
EP2840007B1 (en) 2013-08-22 2018-04-04 Honda Research Institute Europe GmbH Consistent behaviour generation of a predictive advanced driver assistant system
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
FR3022049B1 (fr) * 2014-06-06 2016-07-22 Inria Inst Nat De Rech En Informatique Et En Automatique Procede d'analyse d'une scene dynamique, module d'analyse et programme d'ordinateur associes
US9804594B2 (en) 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
US9530062B2 (en) * 2014-12-23 2016-12-27 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
DE102015201706A1 (de) * 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Sensormessungen eines Fahrzeugumfeldes bei geringer Querauflösung
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US10137890B2 (en) 2016-06-28 2018-11-27 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US9910442B2 (en) * 2016-06-28 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded area detection with static obstacle maps
US20180113209A1 (en) * 2016-10-21 2018-04-26 Waymo Llc Radar generated occupancy grid for autonomous vehicle perception and planning
US10296794B2 (en) 2016-12-20 2019-05-21 Jayant Rtti On-demand artificial intelligence and roadway stewardship system
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10037613B1 (en) 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
US10086809B1 (en) * 2017-05-02 2018-10-02 Delphi Technologies, Inc. Automatic braking system
US10268191B1 (en) 2017-07-07 2019-04-23 Zoox, Inc. Predictive teleoperator situational awareness
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US11625045B2 (en) * 2017-08-31 2023-04-11 Uatc, Llc Systems and methods for controlling an autonomous vehicle with occluded sensor zones
EP3460516B1 (en) * 2017-09-20 2020-05-27 Aptiv Technologies Limited A device and a method for distinguishing between traversable and non-traversable objects
US10552689B2 (en) * 2017-11-09 2020-02-04 Here Global B.V. Automatic occlusion detection in road network data
US11422561B2 (en) 2018-01-11 2022-08-23 Toyota Jidosha Kabushiki Kaisha Sensor system for multiple perspective sensor data sets
US20190387185A1 (en) * 2018-06-13 2019-12-19 Luminar Technologies, Inc. Thermal imager with enhanced processing
US10491885B1 (en) * 2018-06-13 2019-11-26 Luminar Technologies, Inc. Post-processing by lidar system guided by camera information
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
US11048265B2 (en) 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11326888B2 (en) * 2018-07-25 2022-05-10 Uatc, Llc Generation of polar occlusion maps for autonomous vehicles
US10678246B1 (en) * 2018-07-30 2020-06-09 GM Global Technology Operations LLC Occupancy grid movie system
US20200049511A1 (en) * 2018-08-07 2020-02-13 Ford Global Technologies, Llc Sensor fusion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055042A (en) * 1997-12-16 2000-04-25 Caterpillar Inc. Method and apparatus for detecting obstacles using multiple sensors for range selective detection
US6173215B1 (en) * 1997-12-19 2001-01-09 Caterpillar Inc. Method for determining a desired response to detection of an obstacle
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
CN104793202A (zh) * 2014-01-16 2015-07-22 通用汽车环球科技运作有限责任公司 多雷达成像传感器的对象融合系统
CN107272021A (zh) * 2016-03-30 2017-10-20 德尔福技术有限公司 使用雷达和视觉定义的图像检测区域的对象检测

Also Published As

Publication number Publication date
JP2022502306A (ja) 2022-01-11
CN112752988A (zh) 2021-05-04
EP3857264A4 (en) 2022-06-22
US20200103523A1 (en) 2020-04-02
EP3857264A1 (en) 2021-08-04
US11353577B2 (en) 2022-06-07
WO2020069025A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
CN112752988B (zh) 雷达空间估计
US11802969B2 (en) Occlusion aware planning and control
US11048265B2 (en) Occlusion aware planning
US11740633B2 (en) Determining occupancy of occluded regions
EP3908493B1 (en) Occlusion prediction and trajectory evaluation
US11215997B2 (en) Probabilistic risk assessment for trajectory evaluation
US11351991B2 (en) Prediction based on attributes
US11021148B2 (en) Pedestrian prediction based on attributes
JP7422687B2 (ja) オクルージョン認識プランニング
US20220012916A1 (en) Image-based depth data and localization
US11682137B2 (en) Refining depth from an image
WO2021007106A1 (en) Prediction on top-down scenes based on action data
US11513519B1 (en) Sharing occlusion data
CN117545674A (zh) 用于识别路缘的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant