CN114037964A - 自主驾驶对象的分类和优先级化 - Google Patents

自主驾驶对象的分类和优先级化 Download PDF

Info

Publication number
CN114037964A
CN114037964A CN202110813961.4A CN202110813961A CN114037964A CN 114037964 A CN114037964 A CN 114037964A CN 202110813961 A CN202110813961 A CN 202110813961A CN 114037964 A CN114037964 A CN 114037964A
Authority
CN
China
Prior art keywords
classification
autonomous vehicle
aoi
sensor data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110813961.4A
Other languages
English (en)
Inventor
C·S·韩
R·I·哈穆德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN114037964A publication Critical patent/CN114037964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80—Arrangements for reacting to or preventing system or operator failure
    • G05D1/81—Handing over between on-board automatic and on-board manual control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及自主驾驶对象的分类和优先级化。自主车辆可以对位于自主车辆周围的感兴趣智能体(AOI)对象分类和优先级化，以管理计算资源。由自主车辆执行的示例方法包括：基于自主车辆的位置并基于地图确定自主车辆运行的区域；基于从位于自主车辆上或自主车辆中的传感器接收的传感器数据确定位于自主车辆周围的对象的属性，其中属性包括描述位于自主车辆周围的对象的状态的信息；至少基于区域选择分类策略，该分类策略包括与多个分类相关联的多个规则以对对象分类；以及对于位于自主车辆周围的每个对象：基于分类策略，根据对象的分类来监控对象。

Description

自主驾驶对象的分类和优先级化
技术领域
本文件涉及对位于自主车辆周围的对象分类和优先级化以有效管理自主车辆上的计算资源的技术。
背景技术
车辆可以包括用于多种用途的传感器。例如，出于安全目的、为了辅助驾驶或为了便于自主驾驶，可以在车顶上附接相机。安装在自主车辆上的相机和/或光检测和测距(LiDAR)传感器可以获得车辆周围一个或多个区域的传感器数据(例如，图像或点云地图)。服务器可以处理传感器数据以获得关于道路和/或关于自主车辆周围的对象的信息。因此，从自主车辆上的传感器获得的传感器数据可用于在车流中或公路上安全地操纵自主车辆。
发明内容
自主车辆可以对位于自主车辆周围的感兴趣智能体(Agent of Interest,简写AOI)，也称为对象，分类和优先级化，以管理计算资源。AOI可以包括车辆、行人、自行车等。自主车辆可以基于预定特征将位于自主车辆周围的AOI分类为两个或更多个分类，所述预定特征例如是AOI是否位于自主车辆的前方且与自主车辆在同一车道上、AOI是否在自主车辆的后方、AOI是否是紧急车辆(例如消防车、救护车等)，或者位于自主车辆前方的AOI正行驶的车道是否将并入自主车辆正行驶的车道。因此，自主车辆可以基于AOI分类有效地管理自主车辆上的计算资源，以分析AOI的属性(例如，速度、行进方向)。
在自主车辆中执行的示例方法包括由处理器基于自主车辆的位置并基于地图来确定自主车辆被操作在其中的区域；基于从位于自主车辆上或自主车辆中的传感器接收的传感器数据，确定位于自主车辆周围的对象的属性，其中所述属性包括描述位于自主车辆周围的对象的状态的信息；至少基于所述区域选择分类策略，所述分类策略包括与多个分类相关联的多个规则，用以对对象分类；以及对于位于自主车辆周围的每个对象：根据基于分类策略的对象分类来监控对象。
以下特征可以以任何合理的组合存在于方法、系统、设备和非暂时性计算机可读存储介质中。在一些实施例中，监控对象包括：基于分类策略并基于对象的属性将分类分配给对象；以及通过分析在传感器数据被接收之后而接收的附加传感器数据来确定对象的更新属性，其中附加传感器数据是使用与对象的分类相关联的频率来分析的。在一些实施例中，每个规则指定一个对象的一个或多个属性，并且每个规则与一个分类相关联，并且每个分类指示确定对象的更新属性所利用的频率。在一些实施例中，将分类分配给对象包括确定对象和如下属性相关联，该属性与被包括在多个规则中的规则中的属性相同。
在一些实施例中，基于分类策略并基于对象的属性将分类分配给对象包括：基于对象的属性确定对象是紧急车辆；以及将与最高频率相关联的分类分配给紧急车辆，紧急车辆的更新属性是利用最高频率来确定的。在一些实施例中，将分类分配给对象包括：确定对象与被包括在多个规则中的两个规则中的属性相同的属性相关联，其中这两个规则与指示如下两个不同频率的两个分类相关联，对象的更新属性是要利用两个不同频率来确定的；以及基于确定对象的属性与两个规则相关联，将分类分配给对象，其中分类与两个不同频率中较高的频率相关联。
在一些实施例中，示例方法还包括：针对位于自主车辆周围的至少一个对象，基于针对该至少一个对象确定的更新属性，将分类从第一分类改变为第二分类，其中第一分类与确定该至少一个对象的更新属性所利用的第一频率相关联，其中第二分类与在改变所述分类之后确定该至少一个对象的更新属性所利用的第二频率相关联，并且其中第二频率不同于第一频率。在一些实施例中，多个分类包括第一分类和第二分类，位于自主车辆周围的对象包括第一对象和第二对象，分配包括将第一分类分配给第一对象并将第二分类分配给第二对象，第一分类针对第一对象的第一组更新属性是在第一频率下而确定的，其中第二分类指示针对第二对象的第二组驾驶相关的更新属性是在与第一频率不同的第二频率下而确定的，并且其中第一对象和第二对象的更新属性是分别基于第一频率和第二频率来确定的。
在一些实施例中，分类策略是基于自主车辆运行的区域以及位于自主车辆位置的预定距离内的多个对象来选择的。在一些实施例中，该区域包括公路或高速公路。在一些实施例中，处理器配置成：基于自主车辆的位置并基于地图，执行自主车辆在交通路口处运行或者在交通路口的预定距离内运行的第一确定；以及基于该第一确定来执该区域是交通路口的第二确定。在一些实施例中，传感器包括相机、光检测和测距(LiDAR)传感器或雷达。
在一些实施例中，对对象的监控包括：基于分类策略并基于对象的属性将分类分配给对象；以及通过分析在传感器数据被接收之后而接收的附加传感器数据来确定对象的更新属性，其中基于对象的分类来分析附加传感器数据。在一些实施例中，属性包括从对象到自主车辆位置的距离。在一些实施例中，对象包括车辆。在一些实施例中，车辆的属性或车辆的更新属性包括车辆的速度。在一些实施例中，车辆的属性或车辆的更新属性包括车辆的预测轨迹或车辆的驾驶模式。在一些实施例中，对象包括行人。
在又一示例方面，上述方法以处理器可执行代码的形式实施，并存储在计算机可读程序介质或计算机可读存储介质中。因此，非暂时性计算机可读存储介质上可以存储代码，其中当代码由处理器执行时，该代码使得处理器实现上述方法和/或本专利文献中描述的方法。
在又一示例实施例中，公开了一种图像处理设备或装置，包括配置成或可操作以执行上述方法和/或本专利文献中描述的方法的处理器。
在又一示例实施例中，公开了一种包括计算机的系统，该计算机包括处理器和存储器，该存储器包括存储的指令，该指令在被执行时将处理器配置成执行上述方法和/或本专利文献中描述的方法。
在附图、说明书和权利要求中更详细地描述了上述和其他方面及其实现。
附图说明
图1示出了自主车辆被操作在公路上的示例场景。
图2示出了基于感兴趣智能体(AOI)分类和优先级化的计算高效过程的示例流程图。
图3示出了自主车辆在交通路口上、路口处或路口附近运行的另一示例场景。
图4示出了位于自主车辆中的车载计算机的示例框图。
图5示出了分类和分析AOI的计算高效过程的示例流程图。
图6示出了以基于位置的策略和基于交通的分类策略为基础的计算高效过程的流程图。
具体实施方式
自主车辆包括几个传感器，这些传感器收集自主车辆运行环境的传感器数据。传感器(例如位于自主车辆车顶并指向自主车辆前方区域的相机)可以获得自主车辆前方区域的图像。类似地，指向自主车辆侧面和后方的相机可以分别获得自主车辆侧面和后方的图像。位于自主车辆上的其他传感器(如雷达和光探测和测距(LiDAR)传感器)也可以获得自主车辆周围区域的传感器数据。相机、雷达(例如，雷达系统)和/或LiDAR传感器获得的传感器数据由位于该自主车辆中的一个或多个车载计算机处理。
一个或多个车载计算机可以根据传感器数据确定自主车辆周围是否存在感兴趣智能体(AOI)，也称为对象。AOI可以包括车辆、行人、自行车等。基于传感器数据，一个或多个车载计算机还确定AOI的属性(例如，速度、行进方向、预测轨迹、距自主车辆的距离)，使得一个或多个车载计算机可以确定自主车辆的驾驶相关操作。例如，如果车载计算机确定位于自主车辆前方400英尺的同一车道上的汽车正在减速，则车载计算机可以指示自主车辆采取制动以保持自主车辆和汽车之间的适当距离或安全停车。可以为位于自主车辆驾驶环境中的每个AOI确定属性。一个或多个车载计算机确定AOI多个属性的过程也可称为规划过程。
在一些场景下，一个或多个车载计算机使用大量计算资源来执行规划过程，以确定位于自主车辆周围的AOI的属性。例如，通过分析两个车辆(例如一个位于自主车辆前面，另一个位于自主车辆后面)的传感器数据，自主车辆可以对两个车辆执行相同的规划过程。然而，这种用于分析传感器数据的技术不能有效地管理计算资源，至少是因为两个车辆被隐含地分类为同等重要，即使自主车辆前面的车辆的属性可能比自主车辆后面的车辆的属性对自主车辆的驾驶相关操作更重要。此外，在一些场景下(如交通路口)，规划过程的复杂性可能会大大增加，因为AOI的数量可能会很大。因此，基于AOI的分类和优先级化减少计算资源来对AOI执行规划过程的能力是本文所述技术的至少一个技术益处。所公开技术的另一个技术益处是，通过减少处理器(例如，中央处理单元(CPU)或图形处理单元(GPU))所需的处理量，可以减少处理器产生的热量，这对于位于自主车辆中的一个或多个车载计算机是有利的。
本文描述的计算高效过程在下面两个部分中进行了描述。第一部分描述了基于位置的分类策略，第二部分描述了基于交通的分类策略。以下各部分的示例标题用于帮助理解所公开的主题，而不是以任何方式限制所要求保护的主题的范围。因此，一个示例部分的一个或多个特征可以与另一个示例部分的一个或多个特征相结合。因此，例如，可以通过组合基于位置的分类策略和基于交通的分类策略的技术来开发分类策略。
一、基于位置的分类策略
图1示出了自主车辆102在公路或高速公路上运行的示例场景。在多传感器设置中，自主车辆102包括可以安装在自主车辆102顶部的多个传感器，该多个传感器可以允许位于自主车辆102中的车载计算机获得自主车辆周围多个区域的传感器数据。例如，自主车辆102可以是具有传感器的半挂卡车，这些传感器可以安装在半挂卡车的顶部并指向多个方向，使得车载计算机可以获得半挂卡车位置周围(或360度)的区域的传感器数据。在多传感器设置中，自主车辆102可以包括诸如相机、LiDAR传感器、雷达(例如，雷达系统)等传感器或其任意组合。
车载计算机中的传感器数据处理模块(如图4中的425所示)可以连续地从自主车辆102上的多个传感器获得传感器数据，其中传感器数据可以打上时间戳。在图1所示的场景中，传感器数据处理模块可以处理获得的传感器数据，以确定自主车辆102周围存在七个车辆104至116(即，车辆104、106、108、110、112、114和116)。七个车辆104到116是七个AOI。基于所获得的传感器数据，传感器数据处理模块还可以确定与七个车辆104至116相关的属性(例如，速度、与自主车辆的距离、轨迹、AOI相对于自主车辆102的车道所处的车道等)。对于每个AOI，属性可以描述AOI的状态。例如，由属性指示的状态相关信息可以包括车辆的速度(例如，静止车辆为0英里/小时，或50英里/小时)，或者车辆与自主车辆的距离，或者如本专利文献中进一步描述的，基于历史传感器数据的车辆预测轨迹或车辆驾驶模式。为AOI确定的属性可以随时间存储在车载计算机中存储的AOI属性数据库中(图4中示为440)。车辆104至116位于图1中指示为400米、600米和1000米的各种感知范围内。
如果没有本文描述的计算高效过程，传感器数据处理模块可以继续分析随时间提供的每组传感器数据，以确定车辆104至116中的每一个的属性，例如轨迹、速度估计、轨迹预测、与自主车辆(AV)的距离、相对车道等。对这些数据进行分析可能是一个很耗时的过程。这种传感器数据处理技术也可以是计算密集型过程，至少是因为确定车辆104至116在接下来的几秒钟内将会做什么具有组合复杂性，并且另外或者替代地，因为传感器数据处理模块获得属性信息所需的图像或传感器数据特征的数量。此外，当自主车辆在交通密集区域或交通堵塞中运行时，这种传感器数据处理技术可能是计算密集型的。为了至少解决这些技术问题，本文进一步描述了计算高效的过程。
图2示出了基于AOI分类和优先级化的计算高效过程的示例流程图。在操作202，车载计算机中的AOI优先级化模块(在图4中示为430)可以基于自主车辆的位置和先前存储的地图数据库(在图4中示为435)或地图信息来选择分类策略，以对传感器数据处理模块根据传感器数据确定自主车辆周围存在的AOI分类。例如，AOI优先级化模块可以基于自主车辆的位置并基于先前存储的地图数据库来确定自主车辆正在被操作在公路上或在可能具有停车标志或交通灯的交通路口的预定距离(例如，100米)处或之内。AOI优先级化模块可以从位于自主车辆中的全球定位系统(GPS)收发器获得自主车辆的位置。在AOI优先级化模块确定自主车辆的行驶环境(例如，公路、交通路口等)之后，AOI优先级化模块可以选择与该环境相关联的预定分类策略。
在操作202，可以从存储在车载计算机中的分类策略数据库(如图4中的445所示)中包括的分类策略中选择分类策略。分类策略数据库可以包括多个预定的分类策略，其中每个分类策略包括AOI优先级化模块可用于对位于自主车辆周围的AOI分类的规则。
分类策略可以包括预定的多个规则，用于将位于自主车辆周围的AOI分为多个类别。例如，在图1中，AOI优先级化模块可以基于自主车辆102的位置并基于先前存储的地图数据库来确定自主车辆102正在被操作在公路上。AOI优先级化模块可以选择与公路相关联的分类策略。下面的表1示出了与公路分类策略相关联的多个规则的示例。基于所选择的分类策略，AOI优先级化模块可以执行操作204，在操作204中，通过确定自主车辆周围的AOI的属性是否与分类策略的规则中包括的属性相同来对AOI分类。AOI的分类指示AOI影响自主车辆102的驾驶相关操作(例如，转向、制动、油门等)的可能性。例如，基于表1的分类策略并基于车辆104至116的属性，AOI优先级化模块可以将车辆104、106、108、110分类为“持续跟踪”，因为AOI优先级化模块可以确定车辆104、106、108、110与自主车辆的距离小于400米。在该实例中，AOI优先级化模块可以确定车辆104、106、108、110中的每一个的距离属性与表1中的第一规则指示的AOI的属性相同(即，位于400米内的AOI)。车辆104、106、108和110影响自主车辆102的驾驶相关操作的可能性很高，至少因为其靠近自主车辆102。继续上述实例，基于表1的分类策略，AOI优先级化模块可以将车辆112、114、116分类为“较低频率跟踪”，因为AOI优先级化模块可以确定车辆112、114、116与自主车辆位置的距离超过400米。在该实例中，AOI优先级化模块可以确定车辆112、114、116中的每一个的距离属性与表1中的第二规则所指示的AOI的属性相同(即，AOI位于400米之外)。车辆112、114、116影响自主车辆102的驾驶相关操作的可能性低，至少因为其远离自主车辆102。车辆108和110位于距自主车辆两条车道的位置，车辆114位于距自主车辆一条车道的位置。
Figure BDA0003169514140000081
表1-公路分类策略
基于分类策略，传感器数据处理模块可以执行操作206，以通过使用基于AOI分类的计算高效过程来分析传感器数据。在一些实施例中，基于表1中所示的分类规则，传感器数据处理模块可以以第一频率确定分类为“较低频率跟踪”的车辆110、112、114和116的属性，该第一频率低于用于确定分类为“持续跟踪”的AOI的属性的第二频率。例如，传感器数据处理模块可以基于车辆110、112、114和116的“较低频率跟踪”分类，以每秒5次的速率分析在车辆110、112、114和116分类之后接收的传感器数据。对于分类为“持续跟踪”的车辆104、106、108，传感器数据处理模块可以使用由传感器数据处理模块获得的传感器数据以第二频率确定车辆104、106、108的属性。例如，基于“持续跟踪”分类，传感器数据处理模块可以以每秒20次的频率确定车辆104、106、108的属性。
基于位置的分类策略和基于交通的分类策略(见下文第二部分中的描述)可用于根据车辆属性对车辆分类。在一些实施例中，传感器数据处理模块可以基于由自主车辆提供的传感器数据，通过将AOI分类为车辆(例如，汽车、卡车等)、自行车，行人等来执行一般分类。传感器数据处理模块还可以确定AOI的属性。例如，一旦将AOI分为车辆、自行车、行人等，传感器数据处理模块便可以确定AOI是朝向还是远离自主车辆。传感器数据处理模块可以确定AOI的附加属性，如加速、减速、方向变化等，这些附加属性可影响自主车辆的驾驶操作。影响自主车辆驾驶相关操作的概率很高的车辆可以是位于自主车辆前方和/或在自主车辆前方行驶，或在紧邻自主车辆车道的车道上行驶的AOI，或变道不稳定或频繁变道的车辆，或行驶速度远超限速的车辆。
例如，使用图1所示的场景，传感器数据处理模块可以确定车辆110的速度超过了公路的预定限速(可以从地图数据库中确定)，并且AOI优先级化模块可以将车辆110分类为“持续跟踪”。在另一实例中，使用图1所示的场景，传感器数据处理模块可以确定车辆114在预定时间段内变道的次数超过预定阈值。在这种情况下，即使车辆114位于自主车辆102的400米以外，AOI处理模块也可以将车辆114分类为“持续跟踪”。在一些实施例中，影响自主车辆驾驶相关操作的概率很低的车辆可以是那些行进较慢并且在自主车辆后面的车辆，或者与自主车辆运行的车道相距两个或三个车道的车辆，或者在预定时间段内以恒定速度行进而未进行任何变道的车辆。
一旦基于AOI影响自主车辆驾驶相关操作的可能性对AOI进行了分类和优先级化，则相较于那些分类为具有低跟踪优先级的AOI，可以从传感器数据以更高的频率对那些分类为具有高跟踪优先级的AOI进行监控。例如，使用表1中描述的分类，分类为“持续跟踪”的AOI可以由传感器数据处理模块基于接收到的传感器数据以每秒10次的速度更新其属性，而分类为“较低频率跟踪”的AOI可以由传感器数据处理模块基于接收到的传感器数据以每秒3次的速度更新其属性。在一些实施例中，可以以最高可能的频率更新分类为“持续跟踪”的AOI的属性。因此，例如，可以以最高频率更新分类为“持续跟踪”的紧急车辆的属性。
如下所示，表2包括公路分类策略的另一个示例。
Figure BDA0003169514140000101
表2-公路分类策略
使用表2并使用由传感器数据处理模块确定的信息，AOI优先级化模块可以将车辆104分类为“持续跟踪”，因为AOI优先级化模块可以确定车辆104的属性与表1中指示的第一规则的属性相同。在这种场景下，传感器数据处理模块为车辆104确定指示车辆104在入口匝道上的属性，并且传感器数据处理模块通过对传感器数据进行信号处理来确定自主车辆在合并车道中。此外，通过将表2中列出的AOI的属性与传感器数据处理模块提供的属性信息进行比较，AOI优先级化模块可以将车辆106分类为“持续跟踪”，因为AOI优先级化模块通过确定车辆106的属性并通过对传感器数据进行信号处理以确定与车辆106相关联的车道，确定了车辆106在自主车辆位置的400米内并且与自主车辆在同一车道内。基于表2并使用由传感器数据处理模块确定的属性信息，AOI优先级化模块可以将车辆112、114和116分类为“较低频率跟踪”，因为AOI优先级化模块确定车辆112、114和116与自主车辆的位置相距400米以上。
在一些实施例中，对于分类策略，其他类型的分类是可能的。例如，可将AOI分为以下三类之一：积极跟踪、新手跟踪或固定跟踪。被AOI优先级化模块分类为“积极跟踪”的AOI可以指示传感器数据处理模块频繁地确定AOI的属性。因此，“积极跟踪”AOI可能是影响自主车辆驾驶操作的概率很高的AOI。例如，分类为“积极跟踪”的AOI可以由传感器数据处理模块基于接收到的传感器数据以每秒20次的速度更新其属性。
如果AOI被分类为“新手跟踪”，则这种AOI影响自主车辆驾驶相关操作的概率为中等。在一些实施例中，“新手跟踪(novice tracking)”分类与这样的AOI相关联，即AOI的驾驶模式(基于历史传感器数据)指示其驾驶相关操作或运动不稳定或不恒定。例如，如果传感器数据处理模块根据传感器数据确定AOI变道的次数在预定时间内(例如，在5秒内)超过预定阈值(例如，3次)，则传感器数据处理模块可以指示AOI优先级化模块将AOI分类为“新手跟踪”。跟踪分类为“新手跟踪”的AOI的频率比跟踪“积极跟踪”AOI的频率低，但比跟踪“固定跟踪(domicile tracking)”AOI的频率高。例如，分类为“新手跟踪”的AOI可以由传感器数据处理模块基于接收到的传感器数据以每秒10次的速度更新其属性。
如果AOI被分类为“固定跟踪”，则这种AOI影响自主车辆驾驶相关操作的概率很低。“固定跟踪”分类可以与这样的AOI相关联，即AOI的属性指示该AOI不可能在下一个预定时间段(例如，接下来的3秒)内做出任何改变。传感器数据处理模块可以基于对该AOI的历史传感器数据的分析确定AOI不太可能在下一个预定时间段内做出改变，并将此作为AOI的属性。例如，如果传感器数据处理模块根据传感器数据确定AOI在超过阈值时间值(例如，超过20秒)内没有变道，则传感器数据处理模块可以确定AOI不太可能在下一个预定时间段变道。在该实例中，传感器数据处理模块可以基于过去的AOI驾驶行为来预测AOI的轨迹。传感器数据处理模块可以在AOI的属性中指示AOI不可能在下一个预定时间段内变道，并且基于该属性信息，AOI优先级化模块可以将AOI分类为“固定跟踪”。跟踪分类为“固定跟踪”的AOI比跟踪“积极跟踪”AOI和“新手跟踪”AOI的频率低。例如，分类为“固定跟踪”的AOI可以由传感器数据处理模块基于接收到的传感器数据以每秒5次的速度更新其属性。
在一些实施例中，如果AOI被确定为与两个不同的分类相关联，则AOI优先级化模块可以为该AOI选择具有更高跟踪优先级的分类。例如，使用表1中的分类策略，AOI优先级化模块可以将距离两个以上车道但在自主车辆位置400米以内的车辆分类为“持续跟踪”。在一些其他实施例中，如果AOI被确定为与两个不同的分类相关联，则AOI优先级化模块可以为该AOI选择具有较低跟踪优先级的分类。例如，使用表1中的分类策略，AOI优先级模块可以将位于两个车道之外且在400米之内的AOI分类为“较低频率跟踪”。
在一些实施例中，如果AOI被确定为不与任何分类相关联，则AOI优先级化模块可以为该AOI选择具有更高跟踪优先级的分类。例如，使用表2中所示的规则，AOI优先级化模块确定车辆108和110不与任何分类相关联，至少因为AOI优先级化模块确定车辆108和110的属性与表2中的属性不相同或不匹配。在这种情况下，AOI优先级化模块可以确定可将车辆108和110分类为“持续跟踪”。
图3示出了另一示例场景，其中自主车辆302在交通路口处或附近运行。在图3所示的场景中，自主车辆302处于信号灯或停车标志处，并且规划的轨迹指示自主车辆302需要向左转，如图3中的箭头305所示。使用图2的计算高效过程，AOI优先级化模块可以基于自主车辆的位置和先前存储的地图数据库确定自主车辆302位于交通路口处或在交通路口的预定距离内。因此，AOI优先级化模块可以确定与交通路口相关联的预定分类策略。
基于分类策略并基于由传感器数据处理模块提供的关于车辆304a、304b、304c、306a、306b、306c、308a、308b、308c、308d的信息，AOI优先级化模块可以对车辆304a、304b、306a-306c、308a-308d分类。传感器数据处理模块可以基于从自主车辆302上的传感器接收的传感器数据，确定车辆304a-304c的属性，例如确定车辆304a-304c位于与自主车辆310的车道平行且相对的车道中。传感器数据处理模块还可以获得其他属性，例如车辆304a-304c是否停止、车辆304a-304c是否正在移动以及行进方向、从自主车辆302到车辆304a-304c的距离等。传感器数据处理模块还可以确定在车辆304a-304c中，两个车辆304a、304b是在两个相对车道中最靠近自主车辆302的AOI。类似地，传感器数据处理模块可以确定车辆306a-306c和308a-308d的属性。
基于分类策略并基于由传感器数据处理模块确定的车辆304a-304c、306a-306c、308a-308d的属性，AOI优先级化模块可以对车辆304a-304c、306a-306c、308a-308d分类。在一个实例中，车辆304a、304b、306a、306b、308a、308b可以被分类为“持续跟踪”，因为AOI优先级化模块可以确定这些车辆影响自主车辆302的驾驶相关操作的概率很高，这是由于这些车辆相对于自主车辆302的位置。AOI优先级化模块可以确定车辆304a、304b、306a、306b、308a、308b是位于与自主车辆302运行的车道相对或相邻的车道中的第一组车辆。在该实例中，AOI优先级化模块可将车辆304c、306c、308c、308d分类为“较低频率跟踪”，因为这些车辆位于第一组车辆的后面，因此，其驾驶属性影响自主车辆302的驾驶相关操作的概率较低。
交通路口的预定分类策略可以包括以下规则：例如将位于距交通路口中心预定距离(例如，50米)内的AOI分类为“持续跟踪”，将位于预定距离之外的AOI分类为“较低频率跟踪”，或者将位于自主车辆302的轨迹10度内并且位于与自主车辆302相对的车道内的移动或静止AOI分类为“持续跟踪”。
二、基于交通的分类策略
在一些实施例中，预定的分类策略可以包括能够通过确定自主车辆前方的一个或多个感知范围内的交通密度来对AOI分类的规则。图1中示出了多个感知范围(例如，400米、600米、1000米)，其中感知范围根据自主车辆102的位置来确定。在图1中，传感器数据处理模块可以确定七个车辆104、106、108、110、112、114和116(车辆104至116)距自主车辆102的位置的距离。结果，传感器数据处理模块可以基于车辆104至116的距离将车辆104分类到多个感知范围内。作为实例，如图1所示，可以认为车辆104至110是在近感知范围内的车辆，因为其距离自主车辆102的位置不到400米。可以认为车辆112和114是在中感知范围内的车辆，因为其距离自主车辆102的位置在400米至600米之间。并且，可以认为车辆116是在远感知范围内的车辆，因为其距离自主车辆102的位置超过600米。在一些实施例中，近感知范围可以包括AOI距自主车辆102的位置在100米内，中感知范围可以包括AOI距自主车辆102的位置在100米至250米之间，远感知范围包括AOI距自主车辆102的位置在250米以上。
使用图1中的示例场景，基于交通的分类策略可以包括如下规则：例如如果在近感知范围内(例如，距自主车辆102的位置小于400米)并且位于自主车辆102前方的AOI的数量大于预定数量(例如，20个AOI)，则将在近感知范围内的车辆分类为“持续跟踪”或“积极跟踪”。在另一个实例中，基于交通的分类策略包括如下规则：例如如果自主车辆102运行的车道包括在近感知范围(例如，距自主车辆102的位置小于100米)内的两个或更多AOI，并且紧邻自主车辆102车道的至少一个车道包括两个或更多AOI，则将近感知范围内的车辆分类为“持续跟踪”或“积极跟踪”。在上面两个实例中，分类策略可以指示可将位于中感知范围和远感知范围的AOI分类为“较低频率跟踪”。在一些实施例中，传感器数据处理模块可以根据传感器数据，以低于确定分类为“持续跟踪”的AOI属性的频率确定分类为“较低频率跟踪”的AOI的属性。在一些实施例中，传感器数据处理模块可以决定不分析传感器数据来确定位于中感知范围或远感知范围内的AOI的属性，从而可以保留计算资源来分析近感知范围内的AOI。
在一些实施例中，分类策略可以包括用于应急车辆(例如，消防车、救护车、警车等的规则)，以便可将此类车辆可分类为“持续跟踪”，而不管第一部分中描述的其与自主车辆的位置如何，也不管第二部分中描述的基于交通的策略如何。传感器数据处理模块可以基于从自主车辆的传感器接收的传感器数据来确定AOI是紧急车辆，并且可以在AOI的属性中包括AOI是紧急车辆的指示。AOI优先级化模块可以基于属性中的紧急车辆指示，将AOI分类为“持续跟踪”。
在一些实施例中，分类策略可以包括如下规则，即指示位于自主车辆前方并且在与自主车辆行驶方向相同的方向上运行的AOI可以被AOI优先级化模块分类为“持续跟踪”。分类策略可以包括如下规则，即指示在与自主车辆行驶方向相反的方向上行进的AOI的属性未确定。例如，如果AOI优先级化模块确定自主车辆正在公路上行驶，则AOI优先级化模块可以向传感器数据处理模块指示自主车辆正在公路上行驶，使得传感器数据处理模块可以决定不分析在与自主车辆方向行驶相反的方向上行进的AOI的传感器数据，从而节省计算资源，至少是因为这种AOI影响自主车辆驾驶相关操作的概率非常低。
在一些实施例中，分类策略可以包括如下规则，即指示位于自主车辆前方并在“地图外”运行的AOI可分类为“持续跟踪”。在一些实施例中，作为实例，在“地图外”运行的AOI可以包括在与自主车辆行驶方向相反的方向上行进的AOI，或者在共乘(HOV)车道或拼车车道或合用车道中运行的AOI。传感器数据处理模块可以基于传感器数据确定AOI是在“地图外”。例如，传感器数据处理模块可以确定道路上存在标记(例如，双黄线)，该标记指示与该标记相邻的车道是HOV车道或拼车车道。
在一些实施例中，作为实例，在“地图外”运行的AOI可以包括位于停车场的AOI。基于本文针对交通路口描述的技术，AOI优先级化模块可以确定自主车辆在停车场中或停车场附近。例如，AOI优先级化模块可以基于自主车辆的位置和先前存储的地图数据库来确定自主车辆位于停车场的预定距离处或预定距离内。在一些实施例中，分类策略可以包括如下规则，即指示位于自主车辆前方的AOI，在“地图外”运行的AOI，并且置信度低于阈值的AOI可以分类为“持续跟踪”。置信量度度可以是指示用于在AOI周围设置边界框的三维投影方法的确定性程度的量度。
在一些实施例中，分类策略可以包括指示位于自主车辆前方但无边界框的AOI应分类为“持续跟踪”的规则。传感器数据处理模块可以指示AOI是位于自主车辆的前方、左侧、右侧还是后方。传感器数据处理模块还可以指示是否在AOI周围设置了边界框，以及与边界框相关联的置信量度度。在一些实施例中，分类策略可以包括指示AOI不应分类为“持续跟踪”或“较低频率跟踪”的规则，至少因为传感器数据处理模块指示AOI不位于自主车辆前方，并且传感器数据处理模块指示不能在AOI周围设置边界框(例如，如果对象超出很远的感知范围)。
可以使用第一部分和第二部分所述的分类技术，对AOI进行动态分类，以便根据AOI的更新属性，将AOI的分类从一个分类类别改为另一个分类类别。在一些实施例中，基于AOI在第一时间的属性，最初可将AOI分类为“较低频率跟踪”或“固定跟踪”，但是在之后的第二时间可基于更新属性将同一AOI分类为“持续跟踪”或“积极跟踪”。例如，AOI优先级化模块可以基于AOI的位置属性确定AOI位于自主车辆后面，并且AOI优先级化模块可以基于分类策略在第一时间将AOI分类为“较低频率跟踪”。在第一时间之后，传感器数据处理模块可以基于接收到的传感器数据，通过使用针对“较低频率跟踪”分类的计算高效过程来更新AOI的属性。在第一时间之后的第二时间，如果AOI优先级化模块确定AOI的速度已经超过预定阈值，则AOI优先级化模块可以将AOI重新分类为“持续跟踪”。基于更新的“持续跟踪”分类，传感器数据处理模块可以以比用于分析“较低频率跟踪”分类的频率更高的频率来分析传感器数据。
本文所述的分类技术使得传感器数据处理模块能够采用计算高效的过程来确定位于自主车辆周围的各种AOI的属性。在一些实施例中，如果AOI分类为“较低频率跟踪”或“固定跟踪”，则这种AOI的属性可以继续由传感器数据处理模块使用计算高效的过程来确定。计算高效的过程可以包括传感器数据处理模块分析传感器数据，以比确定分类为“持续跟踪”或“积极跟踪”的AOI属性的频率低的频率来确定这种AOI的属性。然而，仍然可以跟踪分类为“较低频率跟踪”或“固定跟踪”的AOI，并且仍然可以确定这种AOI的属性，使得自主车辆可以安全地执行其驾驶操作以与AOI一起行驶。因此，在一些实施例中，分类为除“持续跟踪”或“积极跟踪”之外的类别的AOI的属性未被忽略，而是可以使用计算高效的过程来计算。
本文所述的计算高效过程可以带来几个技术优势。例如，由于一个或多个车载计算机(包括传感器数据处理模块和/或AOI优先级化模块)位于自主车辆中，因此该计算高效过程可以节省电力，可以随着时间最小化存储AOI的属性所需的磁盘空间，并且可以通过减少计算负载来提高一个或多个车载计算机的寿命。该计算高效过程可以在不牺牲自主车辆安全性的情况下提供这样的技术优势，至少是因为可以继续有效地确定AOI的属性。
图6示出了基于基于位置的策略和基于交通的分类策略的计算高效过程的流程图。在操作602，AOI优先级化模块可以基于自主车辆的定位信息601(例如，GPS位置)和地图数据库603来确定自主车辆正运行的驾驶环境。例如，基于GPS位置和从与该GPS位置相关联的地图数据库获得的信息，AOI优先级化模块可以确定自主车辆在公路上或在交通路口处或交通路口附近运行。
在操作604，传感器数据处理模块可以确定自主车辆的交通相关信息和位于自主车辆周围的AOI的交通相关信息。AOI的交通相关信息可以是AOI的确定属性。传感器数据处理模块可以从位于自主车辆上或自主车辆中的多个传感器接收传感器数据。传感器数据处理模块可以分析传感器数据，以确定AOI是否位于自主车辆周围，以及AOI的属性，例如AOI的类型(例如，行人、车辆等)、速度、与自主车辆的距离、AOI的轨迹、AOI相对于自主车辆的车道所处的车道、行进方向、预测轨迹等)。传感器数据处理模块还可以确定例如位于近距离感知范围内(包括在近距离感知范围内与自主车辆处于相同车道和处于与自主车辆的车道紧邻的车道)的AOI的交通密度。
在操作606，基于交通密度和驾驶环境，AOI优先级化模块可以选择分类策略。例如，如果传感器数据处理模块指示高交通密度(例如，传感器数据处理模块确定在近距离感知范围内的AOI的数量大于预定阈值)，并且如果AOI优先级化模块确定自主车辆在公路上运行，则AOI优先级化模块可以从存储在车载计算机中的分类策略数据库608(如图4中的445所示)中选择适合公路上高交通密度的分类策略。分类策略数据库608可以包括多个预定的分类策略，其中每个分类策略包括AOI优先级化模块可用于对位于自主车辆周围的AOI分类的规则。
在操作610，AOI优先级化模块基于由所选分类策略指示的规则对位于自主车辆周围的AOI分类。在操作612，传感器数据处理模块可以根据AOI的分类来跟踪AOI。例如，如果AOI位于与自主车辆相同的车道上，并且在自主车辆位置的近感知范围内，则AOI优先级化模块可以将该AOI分类为“持续跟踪”，并且传感器数据处理模块可以分析传感器数据，以基于“持续跟踪”分类来确定AOI的属性。如本文所述，在一些实施方式中，传感器数据处理模块可以以每秒20次的频率持续分析传感器数据，以确定分类为“持续跟踪”的AOI的属性。
在操作612基于AOI的分类确定AOI属性之后，可以重复执行图6中的过程，如从操作612到操作602、操作606和/或操作610的箭头所示。通过重复执行图6的操作，如果AOI的属性改变，则AOI可被动态地分类，和/或如果自主车辆运行的环境改变，则新的或现有的AOI可以被正确分类。例如，基于在操作612确定的已分类AOI的更新属性，AOI优先级化模块可以将AOI重新分类到不同的分类(例如，从“较低频率跟踪”到“持续跟踪”)。在另一个实例中，如果AOI优先级化模块在操作602确定第一时间在公路上行驶的自主车辆在之后的第二时间在交通路口的预定距离内，则AOI优先级化模块和传感器数据处理模块可以执行操作604和606以选择合适的分类策略，AOI优先级化模块可以利用该分类策略对位于交通路口的AOI分类。
在又一个实例中，如果传感器数据处理模块确定在预定的时间段内，确定AOI的属性所花费的平均时间量超过预定的阈值，则在操作612，传感器数据处理模块可以向AOI优先级化模块发送指示，以在操作606选择分类策略，以最小化分类为“持续跟踪”或“积极跟踪”的AOI的数量。该技术设计成管理等待时间，使得传感器数据处理模块能够及时地确定AOI的属性，并且使得自主车辆能够基于所确定的AOI的属性并基于自主车辆的轨迹继续安全驾驶。
图4示出了位于自主车辆中的车载计算机400的示例框图。机载计算机400包括至少一个处理器410和其上存储有指令的存储器405。这些指令在由处理器410执行时，使得车载计算机400执行与传感器数据处理模块425、AOI优先级化模块430、地图数据库435、AOI属性数据库440和/或分类策略数据库445相关的操作，如图1至3以及本专利文献中描述的各种实施例中所述。发送器415发射或发送输出值以控制自主车辆上的一个或多个装置(例如，发动机、灯、变速器、制动器、转向装置等)。接收器420接收由自主车辆上的传感器(例如，相机、LiDAR传感器、雷达、GPS单元)发射或发送的信息或数据。
图5示出了分类和分析AOI的计算高效过程的示例流程图。操作502包括由处理器基于自主车辆的位置并基于地图来确定自主车辆运行的区域。操作504包括由处理器基于从位于自主车辆上或自主车辆中的传感器接收的传感器数据来确定位于自主车辆周围的对象的属性，其中属性包括描述位于自主车辆周围的对象的状态的信息。操作506包括由处理器至少基于区域选择分类策略，该分类策略包括与多个分类相关联的多个规则，以对对象分类。操作508包括，对于位于自主车辆周围的每个对象，根据基于分类策略的对象分类来监控对象。
在一些实施例中，监控对象包括基于分类策略并基于对象的属性将分类分配给对象，以及通过分析在接收传感器数据之后接收的附加传感器数据来确定对象的更新属性，其中使用与对象的分类相关联的频率来分析附加传感器数据。在一些实施例中，每个规则指定一个对象的一个或多个属性，并且每个规则与一个分类相关联，并且每个分类指示确定对象的更新属性的频率。
在一些实施例中，将分类分配给对象包括确定对象和与多个规则中的规则中包括的属性相同的属性相关联。在一些实施例中，基于分类策略并基于对象的属性将分类分配给对象包括：基于对象的属性确定对象是紧急车辆；以及将与确定紧急车辆的更新属性的最高频率相关联的分类分配给紧急车辆。
在一些实施例中，将分类分配给对象包括：确定对象和与多个规则中的两个规则中包括的属性相同的属性相关联，其中这两个规则与指示要确定对象的更新属性的两个不同频率的两个分类相关联；以及基于确定对象的属性与两个规则相关联，将分类分配给对象，其中分类与两个不同频率中较高的频率相关联。
在一些实施例中，图5的方法还包括，对于位于自主车辆周围的至少一个对象，基于为该至少一个对象确定的更新属性，将分类从第一分类改变为第二分类，其中第一分类与确定该至少一个对象的更新属性的第一频率相关联，其中第二分类与在改变所述分类之后确定该至少一个对象的更新属性的第二频率相关联，并且其中第二频率不同于第一频率。
在一些实施例中，多个分类包括第一分类和第二分类，其中位于自主车辆周围的对象包括第一对象和第二对象，其中分配包括将第一分类分配给第一对象并将第二分类分配给第二对象，其中第一分类指示以第一频率确定第一对象的第一组更新属性，其中第二分类指示以不同于第一频率的第二频率确定第二对象的第二组更新的驾驶相关属性，并且其中分别基于所述第一频率和所述第二频率确定所述第一对象和所述第二对象的更新的属性。
在一些实施例中，一种系统包括计算机，该计算机包括处理器和存储器，该存储器包括存储的指令，该指令在执行时将处理器配置为执行本专利文献中描述的功能，例如图5中描述的功能。在一些实施例中，基于以下因素选择分类策略：自主车辆运行的区域，以及位于自主车辆位置的预定距离内的对象的数量。在一些实施例中，该区域包括公路或高速公路。
在一些实施例中，处理器配置成：基于自主车辆的位置并基于地图来执行自主车辆在交通路口处运行或者在交通路口的预定距离内运行的第一确定；以及基于该第一确定来执行该区域是交通路口的第二确定。在一些实施例中，传感器包括相机、光检测和测距(LiDAR)传感器或雷达。
在一些实施例中，一种非暂时性计算机可读存储介质，其存储有代码，当该代码由处理器执行时，使得处理器实现本专利文献中描述的并且如图5所示的方法。在一些实施例中，监控对象包括：基于分类策略并基于对象的属性将分类分配给对象；以及通过分析在接收传感器数据之后接收的附加传感器数据来确定对象的更新属性，其中基于对象的分类来分析附加传感器数据。在一些实施例中，属性包括从对象到自主车辆位置的距离。在一些实施例中，对象包括车辆。在一些实施例中，车辆的属性或车辆的更新属性包括车辆的速度。在一些实施例中，车辆的属性或车辆的更新属性包括车辆的预测轨迹或车辆的驾驶模式。在一些实施例中，对象包括行人。
在本文件中，术语“示例”用于表示“…的实例”，除非另有说明，否则并不意味着理想或优选的实施例。
本文描述的一些实施例是在方法或过程的一般上下文中描述的，这些方法或过程可以在一个实施例中由计算机程序产品实现，该计算机程序产品包含在计算机可读介质中，包括由联网环境中的计算机执行的计算机可执行指令，例如程序代码。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字多功能盘(DVD)等。因此，计算机可读介质可以包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机或处理器可执行指令、相关数据结构和程序模块代表用于执行本文公开的方法的步骤的程序代码的实例。这种可执行指令或相关数据结构的特定序列表示用于实现这种步骤或过程中描述的功能的相应动作的实例。
一些公开的实施例可以使用硬件电路、软件或其组合实现为设备或模块。例如，硬件电路实现可以包括分立的模拟和/或数字组件，这些组件例如被集成为印刷电路板的一部分。替代地或附加地，所公开的组件或模块可以实现为专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)装置。一些实现方式可以附加地或替代地包括数字信号处理器(DSP)，其是专用微处理器，具有针对与本申请公开的功能相关联的数字信号处理的操作需求而优化的架构。类似地，每个模块内的各种组件或子组件可以用软件、硬件或固件来实现。模块和/或模块内的组件之间的连接可以使用本领域已知的连接方法和介质中的任何一种来提供，包括但不限于使用适当的协议通过互联网、有线或无线网络通信。
虽然本文献包含许多细节，但是这些细节不应解释为是对要求保护的发明或可能要求保护的范围的限制，而是对特定实施例的特定特征的描述。本文中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独实现或者以任何合适的子组合中实现。此外，尽管在上文中将特征描述为以某些组合起作用，并且甚至最初被如此要求保护，但是在一些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变型。类似地，虽然在附图中以特定顺序描述了操作，但是这不应该理解为要求以所示的特定顺序或顺序执行这些操作，或者要求执行所有示出的操作，以获得期望的结果。
仅描述了几个实施方式和实例，并且可以基于本公开中描述和示出的内容做出其他实施方式、增强和变化。

Claims (20)

1.一种由自主车辆执行的方法，包括：
由车载处理器基于所述自主车辆的位置并基于地图确定如下区域，所述自主车辆被操作在所述区域中；
基于从位于所述自主车辆上或所述自主车辆中的传感器接收的传感器数据，确定位于所述自主车辆周围的对象的属性，
其中所述属性包括描述位于所述自主车辆周围的所述对象的状态的信息；
至少基于所述区域来选择分类策略，所述分类策略包括与多个分类相关联的多个规则，用以对所述对象分类；以及
针对位于所述自主车辆周围的所述对象中的每个对象：
根据对所述对象基于所述分类策略的分类，来监控所述对象。
2.根据权利要求1所述的方法，其中监控所述对象包括：
基于所述分类策略并基于所述对象的属性，将所述分类分配给所述对象；以及
通过分析在所述传感器数据被接收之后而接收的附加传感器数据来确定所述对象的更新属性，其中所述附加传感器数据是使用与所述对象的所述分类相关联的频率来分析的。
3.根据权利要求2所述的方法，
其中每个规则指定一个对象的一个或多个属性，并且每个规则与一个分类相关联，并且
其中每个分类指示确定所述对象的所述更新属性所利用的频率。
4.根据权利要求2所述的方法，其中将所述分类分配给所述对象包括确定所述对象和如下属性相关联，所述属性与被包括在所述多个规则中的规则中的属性相同。
5.根据权利要求2所述的方法，其中基于所述分类策略并基于所述对象的属性将所述分类分配给所述对象包括：
基于所述对象的所述属性，确定所述对象是紧急车辆；以及
将与最高频率相关联的所述分类分配给所述紧急车辆，所述紧急车辆的更新属性是利用所述最高频率来确定的。
6.根据权利要求2所述的方法，其中将所述分类分配给所述对象包括：
确定所述对象与被包括在所述多个规则中的两个规则中的属性相同的属性相关联，
其中所述两个规则与指示如下两个不同频率的两个分类相关联，所述对象的所述更新属性是要利用所述两个不同频率来确定的；以及
基于确定所述对象的所述属性与所述两个规则相关联，将所述分类分配给所述对象，其中所述分类与所述两个不同频率中较高的频率相关联。
7.根据权利要求2所述的方法，还包括：
针对位于所述自主车辆周围的至少一个对象，基于针对所述至少一个对象所确定的更新属性，将分类从第一分类改变为第二分类，
其中所述第一分类与第一频率相关联，所述至少一个对象的所述更新属性是利用第一频率来确定的，
其中所述第二分类与第二频率相关联，所述至少一个对象的所述更新属性在改变所述分类之后是要利用所述第二频率来确定的，并且
其中所述第二频率不同于所述第一频率。
8.根据权利要求2所述的方法，
其中所述多个分类包括第一分类和第二分类，
其中位于所述自主车辆周围的所述对象包括第一对象和第二对象，
其中所述分配包括将所述第一分类分配给所述第一对象并将所述第二分类分配给所述第二对象，
其中所述第一分类指示针对所述第一对象的第一组更新属性是在第一频率下而确定的，
其中所述第二分类指示针对所述第二对象的第二组驾驶相关的更新属性是在与所述第一频率不同的第二频率下而确定的，并且
其中所述第一对象和所述第二对象的所述更新属性是分别基于所述第一频率和所述第二频率来确定的。
9.一种系统，包括计算机，所述计算机包括处理器和存储器，所述存储器包括存储的指令，所述指令在执行时，将所述处理器配置成：
基于所述自主车辆的位置并基于地图，确定如下区域，所述自主车辆被操作在所述区域中；
基于从位于所述自主车辆上或所述自主车辆中的传感器接收的传感器数据，确定位于所述自主车辆周围的对象的属性，
其中所述属性包括描述位于所述自主车辆周围的所述对象的状态的信息；
至少基于所述区域来选择分类策略，所述分类策略包括与多个分类相关联的多个规则，用以对所述对象分类；以及
针对位于所述自主车辆周围的所述对象中的每个对象：
根据对所述对象基于所述分类策略的分类，来监控所述对象。
10.根据权利要求9所述的系统，其中所述分类策略是基于以下来选择的：
所述自主车辆被操作所在的区域，以及
位于所述自主车辆的所述位置的预定距离内的对象的数量。
11.根据权利要求9所述的系统，其中所述区域包括公路或高速公路。
12.根据权利要求9所述的系统，其中所述处理器被配置成：
基于所述自主车辆的所述位置并基于所述地图，执行第一确定：所述自主车辆被操作在所述交通路口处或者被操作在所述交通路口的预定距离内；以及
基于所述第一确定，执行第二确定：所述区域是交通路口。
13.根据权利要求9所述的系统，其中所述传感器包括相机、光探测和测距(LiDAR)传感器或雷达。
14.一种非暂时性计算机可读存储介质，具有存储在其上的代码，当所述代码由处理器执行时，所述代码使所述处理器实现如下方法，所述方法包括：
由处理器基于所述自主车辆的位置并基于地图确定如下区域，所述自主车辆被操作在所述区域中；
基于从位于所述自主车辆上或所述自主车辆中的传感器接收的传感器数据，确定位于所述自主车辆周围的对象的属性，
其中所述属性包括描述位于所述自主车辆周围的所述对象的状态的信息；
至少基于所述区域来选择分类策略，所述分类策略包括与多个分类相关联的多个规则，用以对所述对象分类；以及
针对位于所述自主车辆周围的所述对象中的每个对象：
根据对所述对象基于所述分类策略的分类，来监控所述对象。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中监控所述对象包括：
基于所述分类策略并基于所述对象的属性，将所述分类分配给所述对象；以及
通过分析在所述传感器数据被接收之后而接收的附加传感器数据来确定所述对象的更新属性，其中所述附加传感器数据是基于所述对象的所述分类来分析的。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述属性包括从所述对象到所述自主车辆的所述位置的距离。
17.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述对象包括车辆。
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述车辆的所述属性或所述车辆的所述更新属性包括所述车辆的速度。
19.根据权利要求17所述的非暂时性计算机可读存储介质，其中所述车辆的所述属性或所述车辆的所述更新属性包括所述车辆的预测轨迹或所述车辆的驾驶模式。
20.根据权利要求14所述的非暂时性计算机可读存储介质，其中所述对象包括行人。
CN202110813961.4A 2020-07-20 2021-07-19 自主驾驶对象的分类和优先级化 Pending CN114037964A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/933,770 US11926343B2 (en) 2020-07-20 2020-07-20 Classification and prioritization of objects for autonomous driving
US16/933,770 2020-07-20

Publications (1)

Publication Number Publication Date
CN114037964A true CN114037964A (zh) 2022-02-11

Family

ID=79291941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110813961.4A Pending CN114037964A (zh) 2020-07-20 2021-07-19 自主驾驶对象的分类和优先级化

Country Status (2)

Country Link
US (2) US11926343B2 (zh)
CN (1) CN114037964A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065671A1 (zh) * 2022-09-30 2024-04-04 华为技术有限公司 编队控制方法、装置以及智能驾驶设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220089187A1 (en) * 2020-09-22 2022-03-24 Coast Autonomous, Inc. Multi-layer autonomous vehicle control architecture
US11754666B2 (en) * 2021-02-12 2023-09-12 Aptiv Technologies Limited Radar detection prioritization based on downstream feedback

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10323144A1 (de) * 2003-05-22 2004-12-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von Objekten in der Umgebung eines Fahrzeugs
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
US9804599B2 (en) * 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
US9922563B2 (en) * 2016-05-24 2018-03-20 International Business Machines Corporation Dynamic cross-lane travel path determination by self-driving vehicles
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10216189B1 (en) 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles
CN111095384A (zh) * 2017-09-22 2020-05-01 索尼公司 信息处理设备、自主移动设备、方法和程序
US20190113919A1 (en) * 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle using smart control architecture selection
US11048253B2 (en) * 2018-11-21 2021-06-29 Waymo Llc Agent prioritization for autonomous vehicles
US10814870B2 (en) * 2018-12-04 2020-10-27 GM Global Technology Operations LLC Multi-headed recurrent neural network (RNN) for multi-class trajectory predictions
TW202102392A (zh) * 2019-07-02 2021-01-16 帷享科技股份有限公司 提高判斷精度及提早預警之行車安全輔助系統與方法
JP7388971B2 (ja) * 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024065671A1 (zh) * 2022-09-30 2024-04-04 华为技术有限公司 编队控制方法、装置以及智能驾驶设备

Also Published As

Publication number Publication date
US20240149915A1 (en) 2024-05-09
US11926343B2 (en) 2024-03-12
US20220017113A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
US11338813B2 (en) System and method for merge assist using vehicular communication
US11256260B2 (en) Generating trajectories for autonomous vehicles
US10449962B2 (en) System and method for vehicle control using vehicular communication
US8160811B2 (en) Method and system to estimate driving risk based on a hierarchical index of driving
US11242040B2 (en) Emergency braking for autonomous vehicles
CN114037964A (zh) 自主驾驶对象的分类和优先级化
CN108275149B (zh) 使用车辆通信进行合并辅助的系统和方法
CN108263360B (zh) 紧随场景下用于车辆控制的系统和方法
US20220234615A1 (en) In-vehicle device and driving assist method
CN113212454B (zh) 车辆行驶状态的调整方法、装置、计算机设备和存储介质
CN108275152B (zh) 车辆系统、控制车辆系统的计算机实施的方法和存储介质
CN111391830B (zh) 自动驾驶车辆的纵向决策系统及纵向决策确定方法
CN111464972A (zh) 经优先级排序的车辆消息传递
US11794787B2 (en) Vehicle assist feature control
JP2021127002A (ja) 車両制御装置、車両制御方法、およびプログラム
CN116745191A (zh) 场景相关轨迹评分系统与方法
CN115731695A (zh) 一种场景安全等级确定方法、装置、设备及存储介质
JP6838769B2 (ja) 周辺環境認識装置、表示制御装置
WO2018211646A1 (ja) イベントマップ生成方法及び運転支援方法
CN113178088A (zh) 向车辆广播的基础设施部件
US11881031B2 (en) Hierarchical processing of traffic signal face states
US20220013006A1 (en) Driver scoring system and method with accident proneness filtering using alert clustering and safety-warning based road classification
CN115440025B (zh) 信息处理服务器、信息处理服务器的处理方法、非临时性存储介质
JP7313240B2 (ja) 走行軌道推定方法、車両制御方法及び走行軌道推定装置
US20220003556A1 (en) Driver scoring system and method with driving event context normalization using road quality information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination