CN113850391A - 占用验证装置和方法 - Google Patents

占用验证装置和方法 Download PDF

Info

Publication number
CN113850391A
CN113850391A CN202011534118.4A CN202011534118A CN113850391A CN 113850391 A CN113850391 A CN 113850391A CN 202011534118 A CN202011534118 A CN 202011534118A CN 113850391 A CN113850391 A CN 113850391A
Authority
CN
China
Prior art keywords
occupancy
data
comparison
cells
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011534118.4A
Other languages
English (en)
Inventor
C·布尔克莱
F·奥博里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113850391A publication Critical patent/CN113850391A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本申请题为“占用验证装置和方法”。一种占用验证包括一个或多个处理器，其被配置成：接收表示占用网格的多个单元的占用网格数据，并且对于多个单元中的每个单元，接收单元是否被占用的概率；接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；基于一个或多个物体的一个或多个位置将物体位置数据映射到多个单元中的一个或多个单元；基于物体位置数据是否映射到单元，确定表示占用网格的多个单元的比较网格数据，并且针对多个单元中的每个单元，确定单元是否被占用的概率；以及使用至少一个比较规则，将占用网格数据与比较网格数据进行比较。

Description

占用验证装置和方法
技术领域
本公开的各个方面一般涉及驾驶安全系统。
背景技术
自主驾驶(AD)利用处理自主交通工具(AV)的环境的检测数据的驾驶安全系统以实现驾驶过程。开发安全和功能性AV已被证明是具有挑战性的。这些挑战中的一些是由于AV的复杂计算链，需要该计算链来从AV的传感器信息中提取用于AV的致动命令。该多级流水线包括感测、感知、规划和致动，并且它暴露于各种不确定性和非确定性源(non-determinism)。这对于可在AV中常用的基于人工智能(AI)的组件(例如，人工神经网络等)而言尤其如此。
先前提高安全性的努力通常包括冗余或多重性，例如同时或当前在多个处理器上执行相同的功能，或者在相同的处理器上多次执行相同的动作(例如，利用物体提取或轨迹规划)。如果多样性足够大，则可以争论的是，该功能通过总是考虑最坏情况情形来提供增加的安全性。然而，这样的策略在计算上非常昂贵，这对于某些实现可能是不期望的。此外，利用这样的策略，可能难以证明不存在共同原因故障或退化。因此，使用这种方法可能难以或不可能获得某些功能安全性认证。最后，这些策略通常还需要加速器和高性能处理器，对此，可能难以确保正确性和功能安全性。
附图说明
在附图中，相同的附图标记贯穿不同的视图通常表示相同的部分。附图不一定是按比例的，取而代之，重点通常放在说明本发明的原理上。在以下描述中，参考以下附图来描述本发明的各种实施例，其中：
图1示出了根据本公开的各个方面的示例性自主交通工具；
图2示出了根据本公开的各个方面的交通工具的安全系统的各种示例性电子组件；
图3描绘了常规的AV系统栈；
图4示出了根据本公开的方面的经修改的AV系统栈；
图5公开了根据本公开的方面的安全驾驶模块；
图6示出了根据本公开的方面的动态占用网格；
图7A和7B示出了根据本公开的方面的真阳性(positive)物体检测；
图8A和8B示出了根据本公开的方面的假阳性(false positive)；
图9A和9B示出了根据本公开的方面的假阴性(false negative)；
图10示出了根据本公开的方面的对监测器验证正确信息的能力的分析；
图11示出了根据本公开的方面关于假阳性的比较结果；
图12示出了根据本公开的方面的假阳性的分析结果；
图13示出了根据本公开的方面的速度误差的评估；
图14示出了根据本公开的方面的安全驾驶模块分析的结果；
图15示出了根据本公开的方面的占用验证装置；
图16示出了根据本公开的另一个方面的占用验证装置；
图17示出占用验证的第一方法；以及
图18示出占用验证的第二方法。
具体实施方式
以下详细描述参考附图，附图通过举例说明的方式示出了其中可以实践本发明的示例性细节和实施例。
词语“示例性”在本文用于表示“充当示例、实例或举例说明”。本文描述为“示范性”的任何实施例或设计不一定解释为比其它实施例或设计优选或有利。
贯穿附图，应当注意，除非另有说明，否则相同的参考数字用于描绘相同或相似的元素、特征和结构。
术语“至少一个”和“一个或多个”可以理解为包括大于或等于一的数值量(例如，一、二、三、四、[…]等)。术语“多个”可以理解为包括大于或等于二(例如，二、三、四、五、[…]等)的数值量。
说明书和权利要求书中的词语“复数”和“多个”明确地指大于一的量。因此，明确地采用提到一定量的元素的上述词语(例如，“复数的[元素]”、“多个[元素]”)的任何短语明确地指代多于一个的所述元素。在说明书和权利要求书中的术语“(...的)组”、“(...的)集”、“(...的)集合”、“(...的)系列”、“(...的)序列”、“(...的)分组”，等等，如果有的话，则是指等于或大于一的量，即，一个或多个。术语“真子集”、“缩减子集”和“较小子集”是指集合的不等于该集合的子集，例如，是指包含集合的比该集合更少的元素的子集。
关于一组元素的短语“至少一个...”在本文中可以用于表示来自由所述元素组成的组的至少一个元素。例如，关于一组元素的短语“至少一个...”在本文中可以用于表示选择：所列元素之一、多个所列元素之一、多个单独所列元素、或多个成倍的单独所列元素。
如本文所使用的术语“数据”可以被理解为包括采用任何适当的模拟或数字形式的信息，例如，被提供作为文件、文件的一部分、文件的集合、信号或流、信号或流的一部分、信号或流的集合等。此外，术语“数据”也可以用于表示对例如采取指针形式的信息的引用。然而，术语“数据”不限于上述示例，并且可以采取各种形式并表示本领域所理解的任何信息。
例如，本文使用的术语“处理器”或“控制器”可以被理解为允许处置数据的任何种类的技术实体。可以根据由处理器或控制器执行的一个或多个特定功能来处置数据。此外，如本文所使用的处理器或控制器可以被理解为任何种类的电路，例如，任何种类的模拟或数字电路。因此，处理器或控制器可以是或包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等，或其任何组合。下面将进一步详细描述的相应功能的任何其它种类的实现也可以理解为处理器、控制器或逻辑电路。应当理解，本文详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可以被实现为具有等同功能等的单个实体，并且相反地，本文详述的任何单个处理器、控制器或逻辑电路可以被实现为具有等同功能等的两个(或更多)单独的实体。
如本文所使用的，“存储器”被理解为其中可以存储数据或信息以供检索的计算机可读介质。因此，对本文中包括的“存储器”的引用可以被理解为指代易失性或非易失性存储器，包括随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、固态存储装置、磁带、硬盘驱动器、光驱动器等等或其任何组合。寄存器、移位寄存器、处理器寄存器、数据缓冲器等等在本文中也包含在术语“存储器”中。术语“软件”是指任何类型的可执行指令，包括固件。
除非明确规定，否则术语“传输”涵盖直接(点对点)和间接传输(经由一个或多个中间点)。类似地，术语“接收”涵盖直接和间接接收。此外，术语“传输”、“接收”、“通信”和其他类似术语涵盖物理传输(例如，无线电信号的传输)和逻辑传输(例如，数字数据通过逻辑软件级连接的传输)两者。例如，处理器或控制器可以采用无线电信号的形式通过与另一处理器或控制器的软件级连接来传输或接收数据，其中物理传输和接收由诸如RF收发器和天线之类的无线电层组件来处置，并且通过软件级连接的逻辑传输和接收由处理器或控制器来执行。术语“通信”涵盖传输和接收中的一个或两个，即，在传入和传出方向中的一个或两个中的单向或双向通信。术语“计算”涵盖经由数学表达式/公式/关系的“直接”计算以及经由查找或哈希表和其它阵列索引或搜索操作的“间接”计算。
“交通工具”可以理解为包括任何类型的被驾驶物体。例如，交通工具可以是具有内燃机、反应引擎、电驾驶物体、混合驾驶物体或其组合的被驾驶物体。交通工具可以是或可以包括汽车、公共汽车、小型公共汽车、货车、卡车、移动房屋、交通工具拖车、摩托车、自行车、三轮车、火车机车、火车货车、移动机器人、个人运输车、船、船舶、潜水器、潜水艇、无人机、飞机、火箭等。
“地面交通工具”可以理解为包括如上所述的任何类型的交通工具，其在地面上驾驶，例如在街道上、在道路上、在轨道上、在一个或多个铁轨上、越野驾驶等。
术语“自主交通工具”可以描述能够在没有驾驶员输入的情况下实现至少一个导航改变的交通工具。导航改变可以描述或包括交通工具的转向、制动或加速/减速中的一个或多个的改变。即使在交通工具不是全自动的(例如，在有驾驶员或没有驾驶员输入的情况下完全可操作的)情况下，交通工具也可被描述为自主的。自主交通工具可以包括能够在某些时间段期间在驾驶员控制下操作并且在其他时间段期间没有驾驶员控制的那些交通工具。自主交通工具还可以包括仅控制交通工具导航的一些方面的交通工具，诸如在某些情况下(但不是在所有情况下)的转向(例如，以维持交通工具车道约束之间的交通工具路线)或一些转向操作，但是可以将交通工具导航的其他方面留给驾驶员(例如，在某些情况下制动或刹车)。自主交通工具还可以包括在某些情况下(例如，动手操作，诸如响应于驾驶员输入)共享对交通工具导航的一个或多个方面的控制的交通工具，以及在某些情况下(例如，不介入操作，诸如独立于驾驶员输入)控制交通工具导航的一个或多个方面的交通工具。自主交通工具还可以包括在某些情况下，诸如在某些环境条件(例如，空间区域、道路条件)下控制交通工具导航的一个或多个方面的交通工具。在一些方面，自主交通工具可以处置交通工具的制动、速度控制和/或转向的一些或所有方面。自主交通工具可以包括能够在没有驾驶员的情况下操作的那些交通工具。交通工具的自主性水平可以由交通工具的汽车工程师协会(SAE)水平(例如，如SAE所定义的，例如在SAE J30162018中：与用于道路机动交通工具的驾驶自动化系统相关的术语的分类和定义)或由其他相关专业组织来描述或确定。SAE水平可以具有范围从最小水平(例如，水平0 (例如，基本上没有驾驶自动化))到最大水平(例如，水平5 (例如，完全驾驶自动化))的值。
在本公开的上下文中，“交通工具操作数据”可以被理解为描述与交通工具的操作相关的任何类型的特征。例如，“交通工具操作数据”可以描述交通工具的状态，诸如交通工具轮胎的类型、交通工具的类型和/或交通工具的制造年限。更一般地，“交通工具操作数据”可以描述或包括静态特征或静态交通工具操作数据(例如，特征或数据不随时间变化)。作为另一示例，附加地或备选地，“交通工具操作数据”可以描述或包括在交通工具操作期间改变的特征，例如，环境条件，诸如交通工具操作期间的天气条件或道路条件、燃料水平、流体水平、交通工具的驾驶源的操作参数等。更一般地，“交通工具操作数据”可以描述或包括变化的特征或变化的交通工具操作数据(例如，时变的特征或数据)。
本文的各种实施例可以利用一个或多个机器学习模型来执行或控制交通工具的功能(或本文描述的其他功能)。例如，如本文所使用的术语“模型”可以被理解为从输入数据提供输出数据的任何种类的算法(例如，从输入数据生成或计算输出数据的任何种类的算法)。机器学习模型可由计算系统执行以渐进地改进特定任务的性能。在一些方面，可以在训练阶段期间基于训练数据来调整机器学习模型的参数。在推断阶段期间，可以使用经训练的机器学习模型来基于输入数据做出预测或决策。在一些方面，经训练的机器学习模型可以用于生成附加训练数据。可以在第二训练阶段期间基于所生成的附加训练数据来调整附加机器学习模型。在推断阶段期间，可以使用经训练的附加机器学习模型来基于输入数据做出预测或决策。
本文描述的机器学习模型可以采取任何合适的形式或利用任何合适的技术(例如，用于训练目的)。例如，机器学习模型中的任何一个可以利用监督学习、半监督学习、无监督学习或强化学习技术。
在监督学习中，可以使用包括输入和对应的期望输出(例如，每个输入可以与该输入的期望或预期输出相关联)两者的训练数据集来构建模型。每个训练实例可以包括一个或多个输入和期望的输出。训练可以包括通过训练实例迭代并且使用目标函数来教导模型预测新输入的输出(例如，未包括在训练集中的输入)。在半监督学习中，训练集中的输入的一部分可能缺少相应的期望输出(例如，一个或多个输入可能不与任何期望或预期输出相关联)。
在无监督学习中，可以从仅包括输入而不包括期望输出的训练数据集来构建模型。无监督模型可用于例如通过发现数据中的模式来找到数据中的结构(例如，数据点的分组或聚类)。可以在无监督学习模型中实现的技术可以包括例如自组织映射、最近邻居映射、k均值聚类和奇异值分解。
强化学习模型可以包括正或负反馈以提高准确性。强化学习模型可以尝试最大化一个或多个目标/奖励。可以在强化学习模型中实现的技术可以包括例如Q学习、时间差(TD)和深度对抗性网络。
本文描述的各个方面可以利用一个或多个分类模型。在分类模型中，输出可以被限制为有限的一组值(例如，一个或多个类)。分类模型可以输出一个或多个输入值的输入集的类。输入集可包括传感器数据，诸如图像数据、雷达数据、激光成像、检测和测距(LIDAR)数据等。如本文所述的分类模型可以例如对某些驾驶条件和/或环境条件(诸如天气条件、道路条件等)进行分类。本文对分类模型的引用可以设想实现例如以下技术中的任何一个或多个的模型：线性分类器(例如，逻辑回归或朴素贝叶斯分类器)、支持向量机、决策树、提升树、随机森林、神经网络或最近邻居。
本文描述的各个方面可以利用一个或多个回归模型。回归模型可以基于一个或多个值的输入集(例如，从一个或多个值的输入集开始或使用一个或多个值的输入集)输出来自连续范围的数值。本文对回归模型的引用可以设想实现例如以下技术(或其他合适的技术)中的任何一个或多个的模型：线性回归、决策树、随机森林或神经网络。
本文描述的机器学习模型可以是或可以包括神经网络。神经网络可以是任何种类的神经网络，诸如卷积神经网络、自编码器网络、变分自编码器网络、稀疏自编码器网络、循环神经网络、去卷积网络、世代对抗网络、正向思考神经网络、和积神经网络等。神经网络可以包括任何数量的层。神经网络的训练(例如，适配神经网络的层)可以使用或可以基于任何种类的训练原理，诸如反向传播(例如，使用反向传播算法)。
贯穿本公开，以下术语将用作同义词：驾驶参数集、驾驶模型参数集、安全层参数集、驾驶员辅助、自动驾驶模型参数集等(例如，驾驶安全参数集)。
此外，贯穿本公开，以下术语将用作同义词：驾驶参数、驾驶模型参数、安全层参数、驾驶员辅助和/或自动驾驶模型参数等(例如，驾驶安全参数)。
图1示出了包括根据本公开的各个方面的安全系统200 (也参见图2)的交通工具100。应当理解，交通工具100和安全系统200本质上是示例性的，并且因此可以为了说明的目的而简化。元素的位置和相关距离(如上所述，附图未按比例绘制)是作为示例提供的，并且不限于此。安全系统200可以包括各种组件，这取决于特定实现的要求。如图1和图2所示，安全系统200可以包括一个或多个处理器102、一个或多个图像获取装置104 (诸如，例如，一个或多个相机)、一个或多个位置传感器106 (例如，全球导航卫星系统(GNSS)，例如，全球定位系统(GPS))、一个或多个存储器202、一个或多个地图数据库204、一个或多个用户接口206 (诸如，例如，显示器、触摸屏、麦克风、扬声器、一个或多个按钮和/或开关等)以及一个或多个无线收发器208、210、212。可以根据不同的期望的无线电通信协议或标准来配置无线收发器208、210、212。例如，可以根据诸如蓝牙、Zigbee之类的短程移动无线电通信标准来配置无线收发器(例如，第一无线收发器208)。作为另一示例，可以根据中等或宽范围移动无线电通信标准来配置无线收发器(例如，第二无线收发器210)，中等或宽范围移动无线电通信标准例如，诸如根据对应的3GPP (第3代合作伙伴计划)标准的3G (例如，通用移动电信系统-UMTS)、4G (例如，长期演进-LTE)或5G移动无线电通信标准。作为另外的示例，可以根据无线局域网通信协议或标准，诸如，例如根据IEEE 802.11 (例如802.11、802.11a、802.11b、802.11g、802.11n、802.11p、802.11-12、802.11ac、802.11ad、802.11ah等)来配置无线收发器(例如第三无线收发器212)。一个或多个无线收发器208、210、212可以被配置成经由天线系统通过空中接口传送信号。
一个或多个处理器102可以包括应用处理器214、图像处理器216、通信处理器218或任何其它合适的处理装置。类似地，图像获取装置104可以包括任何数量的图像获取装置和组件，这取决于特定应用的要求。图像获取装置104可包含一个或多个图像捕获装置(例如，相机、CCD (电荷耦合装置)或任何其它类型的图像传感器)。安全系统200还可以包括数据接口，其将一个或多个处理器102通信地连接到一个或多个图像获取装置104。例如，第一数据接口可包括任何有线和/或无线的第一链路220或多个第一链路220以用于将一个或多个图像获取装置104获取的图像数据传输到一个或多个处理器102，例如，传输到图像处理器216。
存储器202以及一个或多个用户接口206可以例如经由第三数据接口耦合到一个或多个处理器102中的每个。第三数据接口可以包括任何有线和/或无线第三链路224或多个第三链路224。此外，位置传感器106可以例如经由第三数据接口耦合到一个或多个处理器102中的每个。
一个或多个处理器102的每个处理器214、216、218可以包括各种类型的基于硬件的处理装置。例如，每个处理器214、216、218可包括微处理器、预处理器(例如，图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或适合于运行应用且适合于图像处理和分析的任何其它类型的装置。在一些方面，每个处理器214、216、218可以包括任何类型的单核或多核处理器、移动装置微控制器、中央处理单元等。这些处理器类型可以各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可包括视频输出能力。
本文所公开的任何处理器214、216、218可以被配置成根据可以存储在一个或多个存储器202的存储器中的程序指令来执行某些功能。换句话说，一个或多个存储器202中的存储器可以存储软件，该软件由处理器(例如，由一个或多个处理器102)执行时，控制系统(例如，安全系统)的操作。一个或多个存储器202中的存储器可以存储一个或多个数据库和图像处理软件，以及诸如神经网络或深度神经网络之类的经训练的系统。一个或多个存储器202可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、硬盘驱动器、光存储装置、磁带存储装置、可移除存储装置和其他类型的存储装置。
在一些方面，安全系统200可以进一步包括诸如用于测量交通工具100的速度传感器108 (例如，速度计)的组件。安全系统还可包括一个或多个加速度计(单轴或多轴) (未示出)，以用于测量交通工具100沿一个或多个轴的加速度。安全系统200还可以包括附加传感器或不同的传感器类型，例如超声传感器、热传感器、一个或多个雷达传感器110、一个或多个LIDAR传感器112 (其可以集成在交通工具100的前照灯中)等。雷达传感器110和/或LIDAR传感器112可以被配置成提供预处理的传感器数据，诸如雷达目标列表或LIDAR目标列表。第三数据接口可将速度传感器108、一个或多个雷达传感器110和一个或多个LIDAR传感器112耦合到一个或多个处理器102中的至少一个。
一个或多个存储器202可以例如在数据库中或以任何不同格式存储例如指示已知地标的位置的数据。一个或多个处理器102可以处理交通工具100的环境的感测信息(例如图像、雷达信号、来自LIDAR的深度信息或两个或更多个图像的立体处理)连同位置信息，例如GPS坐标、交通工具的自我运动等，以确定交通工具100相对于已知地标的当前位置，并改进交通工具位置的确定。该技术的某些方面可以包括在诸如地图绘制和路由模型之类的定位技术中。
地图数据库204可包括存储交通工具100 (例如，安全系统200)的(数字)地图数据的任何类型的数据库。地图数据库204可包括与各种项目在参考坐标系中的位置有关的数据，所述项目包括道路、水域特征、地理特征、商业、兴趣点、餐馆、加油站等。地图数据库204不仅可以存储此类项目的位置，而且可以存储与这些项目有关的描述符，包括例如与所存储的特征中的任何特征相关联的名称。在此类方面中，一个或多个处理器102中的处理器可以通过与通信网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)从地图数据库204下载信息。在一些情况下，地图数据库204可存储稀疏数据模型，其包括交通工具100的某些道路特征(例如，车道标志)或目标轨迹的多项式表示。地图数据库204还可包括各种识别的地标的所存储的表示，所述地标可被提供以确定或更新交通工具100相对于目标轨迹的已知位置。地标表示可以包括诸如地标类型、地标位置以及其它潜在标识符之类的数据字段。
此外，安全系统200可以包括驾驶模型，例如，在高级驾驶辅助系统(ADAS)和/或驾驶辅助和自动驾驶系统中实现的驾驶模型。例如，安全系统200可以包括(例如，作为驾驶模型的一部分)诸如安全驾驶模型的形式模型的计算机实现。安全驾驶模型可以是或包括对适用于自驾驶(地面)交通工具的适用法律、标准、政策等的解释进行公式化的数学模型。安全驾驶模型可以被设计成实现例如三个目标：首先，法律的解释在其遵守人类如何解释法律的意义上应当是合理的；其次，解释应当得出有用的驾驶策略，意味着它将得出敏捷的驾驶策略而不是过度防御的驾驶，过度防御的驾驶将不可避免地使其他人类驾驶员困惑并且将阻塞交通，并进而限制系统部署的可缩放性；以及第三，解释在其可以被严格证明自驾驶(自主)交通工具正确地实现法律的解释的意义上应当是可高效验证的。安全驾驶模型例如可以是或包括用于安全保证的数学模型，该数学模型使得能够识别并执行对危险情况的适当响应，使得可以避免自犯罪事故。
安全驾驶模型可以实现逻辑以应用驾驶行为规则，诸如以下五个规则：
- 不从后面击中某人。
- 不要鲁莽地切入。
- 通行权是被给予的，而非擅自获取的。
- 注意具有有限可见度的区域。
- 如果你能够避免事故而不引起另一个事故，你必须这样做。
应当注意，这些规则不是限制性的，也不是排他性的，并且可以在各个方面根据需要进行修改。规则更确切地表示社交驾驶合同，其可能取决于区域而不同并且也可能随时间发展。虽然这五个规则当前在大多数国家中适用，但是它们可能不是完整的并且可能被修改。
如上所述，交通工具100可以包括也参考图2描述的安全系统200。
交通工具100可以包括例如与交通工具100的引擎控制单元(ECU)集成或分离的一个或多个处理器102。
安全系统200通常可以生成数据以控制或辅助控制交通工具100的ECU和/或其他组件，从而直接或间接地控制交通工具100的驾驶。
尽管将结合安全驾驶模型描述以下方面，但在备选实现中可提供任何其它驾驶模型。
交通工具100的一个或多个处理器102可以实现以下方面和方法。
希望创建一种简单且低成本的冗余监测和恢复路径，其可以用于实现完整系统的正确操作。理想上，这种简单的方法可以使用形式方法验证为功能上安全的。此外，期望能够降低处理器的复杂度和成本。
在下文中，关注将针对用于规划组件的安全方法，规划组件可以被称为安全驾驶模块。安全驾驶模块可以被认为是用于AV安全性的形式上的数学模型，其可以预期被用作用于AV做决策的安全模型。安全驾驶模块可以包括规则集合，其通过数学方程集来建模，该数学方程描述涉及其他道路使用者的合理的最坏情况驾驶情形的物理性质。使用这些规则，安全系统可以确定AV的当前状态是否安全。
如果确定状态是不安全的，则安全驾驶模块可以推荐致动器控制命令的限制，所述限制被选择以使AV返回到安全状态。因此，安全驾驶模块可以用作AV栈内的做决策组件的独立安全层。
为了执行其预期功能，安全驾驶模块可能需要完整且正确的环境模型，该环境模型包含所有物体与其在自我交通工具的环境中的位置、方向和速度。如果这些信息中的任何一种缺失或不正确，则安全驾驶模块可能不再能够确定交通工具行为是否安全。因此，可能需要验证安全驾驶模块环境模型输入的正确性。
在本文公开的架构中，提供给安全驾驶模块的物体信息可以根据需要被验证和校正。例如，如果监测器检测到丢失的物体(例如，通过具有网格占用但没有对应的物体)，则对应的占用网格单元可以用作独立物体。使用该数据，安全驾驶模块可以评估这些单元之间的潜在冲突，并且通过这种手段避免危险情形。
占用网格是对自主交通工具的环境进行建模的广泛使用的方法。通常，占用网格将交通工具周围的环境划分为离散的网格单元。每个单元存储随机状态表示，其中状态可以是静态占用、动态占用、空闲或未知。动态占用单元还可以提供关于当前单元的速度的信息。
一个或多个处理器可以通过使用粒子滤波器基于来自一个或多个传感器的信息(例如，LIDAR信息、雷达信息、相机信息、超声信息等)来估计动态占用网格。诸如HD雷达或LIDAR之类的新兴传感器技术可以提供位置和速度两者，从而允许处理器直接从传感器信息导出占用网格信息。
对于连续测量，一个或多个处理器可以使用相同的组合规则将来自先前时间步长的单元状态与当前估计状态组合。这种方法可以允许在杂乱和静态环境中令人满意地确定自由空间。
最近，通过使用动态占用网格，占用网格的使用已经成功地扩展到动态环境。这些动态占用网格，尤其是在城市或人口密集的驾驶情形中，显示了有前景的结果。在这种情况下，单元可以不仅仅被对应的速度信息占用，而是动态占用或静态占用。在许多情况下，使用动态占用网格而不是常规占用网格(非动态)可能是有利的。
动态占用网格可以是不依赖于复杂物体表示的低级特征跟踪器。因此，动态占用网格可以能够融合信息而无需做出关于底层形状和模型的假设。
尽管AV在计算机引导的驾驶应用中具有重要作用，但其通常不单独依赖于动态占用网格来做出驾驶决策。这可能至少归因于有限的传感器信息被用于填充网格的事实。例如，这样的网格通常不包括高度信息，并且仅从网格信息提取的物体通常缺乏适当的分类。因此，AV通常采用更复杂的基于AI的感知系统来识别物体并基于所识别的物体做出驾驶决策。然而，像动态占用网格的低级特征跟踪器在错误的情况下可以很好地充当监测/恢复系统。
物体识别系统可以利用来自动态占用系统的信息和可选地来自一个或多个其他数据源(例如，交通工具传感器，诸如LIDAR、雷达、超声、视频或其任何组合)的信息来识别交通工具附近的一个或多个物体。物体识别可能导致各种故障或错误。常见的错误包括：假阳性(例如，在物理世界中不存在对应物体的情况下识别虚拟物体)；假阴性(尽管在物理世界中存在对应物体，但是没有识别虚拟物体)；速度误差(物体与下述速度相关联：该速度不对应于物理世界中检测到的物体的速度；以及位置误差(检测到的物体被认为具有不准确的位置)。因为位置误差由解决假阳性和假阴性的策略补救，如本文所述，所以将仅针对假阴性和假阳性来解决它们。
对于假阳性，环境模型可以包括不存在于物理环境中的虚象物体。这种假阳性可导致计划系统的不必要的制动操纵，因此限制了系统的舒适性或可用性。假阴性可能导致碰撞，因为规划系统通常不会意识到丢失的物体，因此不能正确地反应。速度误差也可能导致碰撞，因为可能没有适当地考虑物体的实际速度。
图3描绘了常规AV系统栈。常规AV系统栈可包含传感器层302，其还可包括一个或多个多样和/或冗余传感器(例如，相机、雷达、LIDAR或其任何组合)。常规AV系统栈还可包括感知层304，它可从传感器数据提取物体信息以用于定位、物体融合和/或跟踪。常规AV系统栈还可包括规划层306，其可使用所得信息(其通常可被称为环境模型)来执行做出决策和轨迹生成所需的步骤。常规AV系统栈还可包括安全驾驶模块310，其可基于从规划层306接收的信息来做出驾驶决策。最后，常规AV系统栈还可以包括一个或多个交通工具致动器312，其可以接收和实现来自安全驾驶模块层的驾驶命令。
在执行这些步骤时，AV系统栈可以实现用于感知层的基于AI的方法，因为AI与优于物体检测/提取/跟踪等的常规算法方法的增强的性能相关联。虽然AI在这方面具有优异的性能，但验证AI关于物体的输出可能是非常困难的。这至少可能是由于AI评估很大程度上是不透明的这一事实。在许多情况下，AI评估传感器数据和/或动态占用网格数据以确定物体的存在或不存在的过程可能基本上是未知的。
根据前述内容，AV系统栈可能缺乏验证规划层和感知层的正确性的能力。图4示出了根据本公开的方面的经修改的AV系统栈。如前一图中那样，图4的安全栈可包括传感器层302、感知层304、规划层306、安全驾驶模块310和一个或多个交通工具致动器312。除了这些层之外，图4的经修改的AV堆栈可以包括安全驾驶模块输入验证器408，其可以被配置成比较检测到的物体的数据(例如，物体的存在或不存在、位置、速度或其任何组合)，如本文所述。安全驾驶模块输入验证器408可以接收关于检测到的物体的信息，或者关于不存在检测到的物体的信息，可选地连同物体速度信息。如本文所述，安全驾驶模块输入验证器408可以将这个接收的物体信息与动态占用网格的单元信息进行比较，包括但不限于一个或多个单元的占用概率信息，以及可选地速度信息。基于如本文更详细描述的这些比较，安全驾驶模块输入验证器408可以接受检测到的物体信息，确定已经发生假阳性物体检测，确定已经发生假阴性物体检测，确定已经检测到不正确的速度，校正先前列出的检测中的任何一个，或其任何组合。
图5公开了根据本公开的方面的安全驾驶模块。安全驾驶模块可以包括输入模块502，其可以接收传感器信息，然后可以由复杂功能(物体提取、跟踪和融合，即，感知) 504和监测器506处理传感器信息。传感器信息可以是用于检测针对AV的物体的任何传感器信息，包括但不限于图像传感器数据、LIDAR数据、雷达数据、超声数据等。监测器506可以包括与用于检查的逻辑组合的动态占用网格。监测器可以将物体信息与占用网格信息(物体的存在或不存在、检测到的物体速度等)进行比较，并且如果监测器检测到这些数据之间的潜在冲突，则恢复功能模块508可以利用占用网格信息来修改检测到的物体信息(将一个或多个新物体放置在没有检测到物体的区域中、删除检测到物体的情况下的物体、改变物体速度信息等)。开关510可以将复杂功能的输出(来自复杂感知层的物体信息)或来自恢复功能的数据引导到安全驾驶模块。开关510可以是物理开关或逻辑开关。开关510可以实现为软件。
目前至少有两个问题阻碍了AD系统的大规模部署。首先，当前系统非常复杂，并且这种复杂性造成了根据现有安全标准(例如ISO26262)对它们进行认证的困难。其次，所需的计算性能通常需要复杂和/或昂贵的硬件。为了开发经济上可行的解决方案，可能期望在不严格遵守功能安全要求的情况下开发系统和功能的主要部分，这可以降低成本并且顾及重新使用现有(例如，现成的)组件。然而，这仅在综合安全层处于适当位置以确保整个系统的安全性的情况下才是可能的。
更有挑战性甚至是对于软件和硬件两者可能需要安全概念。尽管已经提出了某些硬件解决方案，但是如何设计用于AD系统的软件的安全策略仍然是开放的问题。例如，如果感知滤除了物体，则这不能完全被底层硬件检测到。因此，也可能需要用于软件层的专用安全策略。
这种软件架构的关键挑战可能在于，监测器必须能够检测主通道的故障(例如，丢失物体)，同时需要比主通道少得多的计算复杂度。因此，本文公开了一种新颖解决方案，该解决方案使用监测恢复方法，其利用用于物体感知的占用网格。
安全驾驶模块可以建立用于自动交通工具的决策做出的监测和恢复。然而，安全驾驶模块依赖于它们接收的信息。如果安全驾驶模块接收到的该信息中存在错误，则安全驾驶模块不可能正确地运作。为了确保安全驾驶模块的正确行为，可能期望验证安全驾驶模块输入。
安全驾驶模块输入可以包括：地图信息；关于自我交通工具的信息，例如位置尺寸和速度以及交通工具想要驾驶的路线；物体表示中的环境模型；以及物体信息。
一个或多个处理器可以表示动态占用网格中的传感器数据。图6示出了根据本公开的方面的动态占用网格。基于所接收的传感器数据，所述一个或多个处理器可以表示所述占用网格单元中的任何一个或多个中的传感器数据。一个或多个处理器可以将单元指定为例如具有未知占用、是动态占用单元604、静态占用单元606或空闲单元608。单元可以被记录为向量、阵列、矩阵或以任何其他方式记录。
物体可以由以下描述，状态o，其由位置x；y；速度vx；vy组成；作为边界框的维数和/或方差∑(o)。一旦人工智能已经确定了一个或多个物体的位置，则一个或多个处理器可以基于动态占用网格来验证物体确定的有效性。为了执行此验证，所述一个或多个处理器可计算物体位置、边界框信息和/或方差与占用网格中的信息的一致性和/或冲突。基于这些比较，一个或多个处理器可以利用一个或多个度量和/或算法，其允许处理器确定物体检测表示真阳性还是假阳性。
图7A和7B示出根据本公开的方面的真阳性物体检测。在图7A中，在网格上表示检测到的物体702。也就是说，可以可选地包括AI的一个或多个处理器接收动态占用网格信息，并且至少基于动态占用网格信息来确定一个或多个物体的存在或不存在。因此，在检测到一个或多个物体的情况下，它们将理想地对应于动态占用网格中被确定为被占用或具有被占用的高概率的一个或多个单元。相反，在没有检测到物体的情况下，物体的不存在应当与未被占用或被占用的概率较低的动态占用网格的一个或多个单元相对应。图7B示出了具有图7A的物体检测所基于的数据的动态占用网格单元。在动态占用网格的左上部分附近，六个单元704被指示为被占用。基于这六个单元，一个或多个处理器已经检测到物体，如图7A所示。一个或多个处理器可以被配置成将检测到的物体与图7A的被占用单元704进行比较，或者反之亦然，如将更详细讨论的。在这种情况下，被占用单元的位置与检测到的物体的位置紧密对应。在图7B中，第一行的三个单元被指示为被占用，而第二行的两个单元被指示为被占用。两行的第六和最后的单元被指示为未被占用；然而，对角定位的单元被指示为被占用。尽管不是精确匹配，但是基于本文将进一步描述的方法，在图7B的动态占用单元和图7A的物体之间存在高度的相关性。因此，这表示真正检测到的阳性。注意，该示例仅出于说明性目的而呈现，以示出相关的比较和分析，并且不旨在限制于如该特定示例中所描述的单元的特定数量、配置或位置。
图8A和8B示出了根据本公开的方面的假阳性。在图8A中，基于动态占用网格8A中的一个或多个单元804来检测物体802。可以看出，图8A中的检测到的物体的位置不紧密对应于图8B中的被占用单元804的位置。图8B中的被占用单元804可以对应于传感器误差、传感器噪声或其他。在该示例中，在图8A中检测到的物体的位置与图8B中被占用单元的位置之间存在显著差异。所述一个或多个处理器可分析此差异，并且如果所述一个或多个处理器确定所述差异在预定范围之外，则所述一个或多个处理器可认为图8A的检测到的物体表示假阳性。
图9A和9B示出了根据本公开的方面的假阴性。在这些示例中，一个或多个处理器(包括但不限于IA)分析动态占用网格数据并检测给定区域内存在物体。这种阴性检测在图9A中描绘，其中没有障碍物被示为存在。然而，相反，没有障碍物的检测所基于的图9B示出了多个被占用单元902。一个或多个处理器可分析缺乏与多个被占用单元902对应的区域的检测到的物体，并且如果检测到的物体的缺乏和多个被占用单元之间的差异在预定范围之外，则一个或多个处理器可确定检测到的障碍物的缺乏为假阴性。
一个或多个处理器还可以利用类似的步骤来评估所确定的物体速度。为了验证物体速度，一个或多个处理器可使用比较规则(例如，巴氏距离、平均值、标准差或其任何组合)将物体区域中的单元的速度分布与物体的速度分布进行比较。也就是说，物体可以包括相关联的速度。对应于物体的位置的占用网格单元还可以包括对应的速度，或者可以从单元数据可导出速度。物体速度和单元速度(无论是直接从单元数据获得的还是从单元数据导出的)的比较可以根据比较规则来评估。基于该比较的结果，可以确认、调整或者甚至删除物体的速度。
如果识别出物体中的错误(例如，假阳性物体检测、假阴性物体检测或假速度)，则可以获得以下恢复概率。首先，在假阳性的情况下，一个或多个处理器可以从检测到的物体的列表中移除表示假阳性的物体或者以其他方式去激活物体。在这种情况下，一个或多个处理器可以被配置成从物体数据删除物体。备选地或附加地，可以确认一个或多个处理器在物体数据内放置标签，该标签表示删除或忽略物体信息中的一些或全部的指令。第二，在假阴性的情况下，一个或多个处理器可以从动态占用单元信息中恢复物体位置和速度信息。根据本公开的一个方面，一个或多个处理器可通过每单元创建一个物体而非表示多个单元的物体来以简化的方式执行这一操作。备选地，一个或多个处理器可将多个单元聚类以从聚类导出单个物体信息。第三，在假速度信息的情况下，一个或多个处理器可以使用动态占用网格内的单元速度信息来恢复速度信息。
在下文中，将描述物体的存在或不存在与动态占用网格的一个或多个单元之间的比较。各种AV安全模型可利用输入，其包括环境O中的所有检测到的物体的状态。为了能够将物体信息与占用网格信息进行比较，一个或多个处理器可以将物体轨迹转换为空间占用。
因此，一个或多个处理器可以首先确定在给定时间点(例如，当前时间)被物体覆盖的区域。一个或多个处理器可以通过状态o及其协方差矩阵∑(o)来确定区域Ao。覆盖函数可以定义为c(ζ; o)，其将确定位置ζ和给定物体o的覆盖。
Figure 130947DEST_PATH_IMAGE001
(1)
占用网格可以提供位置ζ的空间占用概率，其表示为P (ζ)。物体位置信息和占用信息的一致性η可以被理解如下：
Figure 48088DEST_PATH_IMAGE002
(2)
网格和环境模型O中的所有物体o之间的冲突κ可以表示如下：
Figure 14776DEST_PATH_IMAGE003
(3)
为了验证物体速度信息，一个或多个处理器可以计算占用网格速度信息V (ζ)与物体速度∑v (o)信息的多变量分布之间的巴氏距离δ。这可以利用下面的等式针对每个示例来实现。
Figure 409985DEST_PATH_IMAGE004
(4)
利用这些度量，一个或多个处理器可以验证环境模型是否与网格信息一致或冲突。这可以被理解为如下过程：验证真正的阳性物体检测；校正假阳性物体检测；校正假阴性检测物体；并且校正速度信息。
关于正确阳性物体检测和假阳性物体检测，有帮助的是注意安全驾驶模块通常期望关于物体是否存在的二元判定。相反，动态占用网格包括多个单元的占用概率信息，并且因此通常不提供二进制物体信息，而是提供可以表示物体的单元的占用概率。布尔函数f可以确定物体位置是否与网格信息对准。给定一致性η和所选参数τtp，该函数可以实现为：
Figure 224357DEST_PATH_IMAGE005
(5)
如果函数f失效，则一个或多个处理器可以从发送到安全驾驶模块的输出中移除物体，因为函数的失效指示物体表示假阳性。
关于假阴性物体，并且为了验证物体是否已被感知链丢失，一个或多个处理器可以利用冲突κ。如果出现假阴性，则存在高冲突κ的区域。为了从这些假阴性中恢复，一个或多个处理器可以为具有κ＞τ fn 的每个单元创建新物体，其中τ fn 可以是用户定义的参数(例如，允许调整对假阴性的灵敏度的参数)。以这种方式，一个或多个处理器可以创建多个检测到的物体，其中多个检测到的物体中的每个表示具有高占用概率的单元。
然而，这种恢复策略不恢复物体尺寸。也就是说，如果物理世界中的单个物体由大小对应于动态占用网格的单元的多个检测到的物体表示，则物理世界中的检测到的物体的尺寸将保持不确定。然而，安全驾驶模块仅需要物体的尺寸来确定与自我交通工具最接近的点。这样，检测尺寸对应于动态占用网格中的单元的尺寸的多个物体从安全驾驶模块的角度提供了用于安全驾驶决策的足够信息。
关于丢失或不正确的速度信息，为了验证速度信息，首先考虑网格中已经成功分类为动态或静态的所有单元可能是有益的：
Figure 46820DEST_PATH_IMAGE006
。如下所述，一个或多个处理器可以定义第二布尔函数f vel，其可以验证速度在期望的范围内。
Figure 251536DEST_PATH_IMAGE007
(6)
一个或多个处理器可以利用以下公式来确定网格与物体信息o之间的冲突比率ρ：
Figure 450436DEST_PATH_IMAGE008
(7)
如果该比率发信号通知冲突，则所采用的恢复策略可以类似于假阴性恢复函数。所述一个或多个处理器可以从所述最终环境模型移除初始检测到的物体。此外，一个或多个处理器可以将
Figure 119315DEST_PATH_IMAGE009
中作为新物体的所有单元添加到环境模型。如果
Figure 112679DEST_PATH_IMAGE010
，则一个或多个处理器可能无法对速度信息做出陈述，因为占用网格不包含这种陈述所需的信息。在这些情形下，为了不降低整个系统的可用性，一个或多个处理器可以假设环境模型中的信息是正确的。
图10示出了根据本公开的方面对监测器验证正确信息的能力的分析。在该图中，沿x轴表示时间，沿y轴表示物体的数量。在这些实验中，可以针对所有时间戳验证位置。监测器还能够验证大多数情况下的速度信息；然而，底层动态占用网格算法偶尔未能确定一些物体的动态置信度，这是由于使用粒子滤波器的动态网格实现中的固有性质。因此，即使利用更优化的实现，这些混乱仍然可能在罕见的情况下出现。该评估表明，如果动态置信度太低，则监测器仍然能够正确地验证物体位置，并且仅物体速度被标记为不确定。因此，一个或多个处理器仍然可以使用物体的信息，并且整体系统性能不受影响。该图表明，在本文所述的模型的测试中，100%的时间将真阳性正确地进行了分类。
图11示出了根据本公开的方面关于假阳性的比较结果。首先，研究了场景中不存在物体的情形。在第二个实验中，研究了场景中存在一个或多个物体的情形。对于这两种情形，在每个处理步骤中，将不存在的随机物体添加到环境模型。可以看出，对于环境中没有任何物体的情形，所有假阳性被正确地识别。在第二种情形下，监测器偶尔未能识别假阳性。这是由于在实际物体所处的位置处生成了随机放置的虚象物体的事实。尽管在这些情况下位置匹配，但是速度信息经常冲突，因此监测器检测到这个问题。这可以通过检查物体碰撞或重叠来补救。
图12示出了根据本公开的方面的假阳性的分析结果。为了检查主通道中的检测和从丢失物体(假阴性)的恢复，首先移除环境模型验证的输入的所有物体。然后，对于所有被移除的物体，确定监测器是否能够检测到丢失物体并创建恢复物体。为此，评估了验证的输出以确定其是否包含在所移除的物体内或与所移除的物体紧邻的物体。在第二步骤中，分析所恢复的速度信息的质量。因此，将恢复的速度和方向与原始物体的信息进行比较。结果显示丢失物体被立即识别，而速度信息的恢复可能需要稍微多的时间。这是由于以下事实：底层动态占用网格需要额外的时间来建立速度信息的可靠跟踪。恢复将每个单元作为新物体来对待，并且因此通常存在比原始输入中更多的恢复物体。然而，这是可接受的解决方案，因为安全驾驶模块对单个物体的驾驶决策预期与安全驾驶模块对在与单个物体的空间对应的空间内定义的多个较小物体的决策相同。也就是说，无论是否存在单个大物体，或者是否存在共同考虑单个大物体的位置和尺寸的多个较小物体，安全驾驶模块都被期望达到相同的驾驶决策。在安全驾驶模块将在这两种情形中达到不同的驾驶决策至少理论上可能的程度上，期望安全驾驶模块将在存在多个较小物体时更保守地决策(例如，做出更安全的决策)。
图13示出了根据本公开的方面的速度误差的评估。为了验证速度误差的检测，利用了行人正在自我交通工具前方穿越街道的第一情形。运行了两个测试。在第一测试中，向行人的前进方向增加了0.5弧度的误差。在第二测试中，增加了0.7弧度的误差。结果显示，对于第一测试，大多数时间检测到错误，而对于第二情形，总是检测到错误。
图14示出了根据本公开的方面的安全驾驶模块分析的结果。在这种情况下，第一组地面真值(ground truth)信息(关于障碍物相对于自我交通工具的位置和/或速度的已知信息)被提供给安全驾驶模块，并且使用本文公开的恢复的原理和方法的第二组经校正信息(恢复的障碍物信息)被提供给安全驾驶模块。该图表指示了两个类别的相同结果，其指示安全驾驶模块使用地面真值信息和恢复的信息相同地操作。这表明恢复的信息可以安全地用于AV操作。
图15示出了根据本公开的方面的占用验证装置。占用验证装置可以包括一个或多个处理器1502，其被配置成：接收表示占用网格的多个单元的占用网格数据，并且针对多个单元中的每个单元，接收该单元是否被占用的概率；接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；基于所述一个或多个物体的所述一个或多个位置，将所述物体位置数据映射到所述多个单元中的一个或多个单元；基于所述物体位置数据是否映射到单元，确定表示占用网格的多个单元的比较网格数据，并且针对多个单元中的每个单元，确定所述单元是否被占用的概率；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及输出表示比较的结果的信任数据。
图16示出了根据本公开的另一方面的占用验证装置。占用验证装置可以包括一个或多个处理器1602，其被配置成：接收表示多个单元的占用的占用网格数据，并且对于多个单元中的每个单元，接收该单元是否被占用的概率；接收物体空位(vacancy)数据，所述物体空位数据表示其中尚未检测到物体的一个或多个位置；基于未检测到物体的一个或多个位置，将所述物体空位数据映射到所述多个单元中的一个或多个单元；基于是否没有由物体空位数据所表示的物体映射到单元，确定表示多个单元的比较网格数据，并且针对多个单元中的每个单元，确定单元是否被占用的概率；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及输出表示比较的结果的信任数据。
图17示出了根据本公开的方面的占用验证的方法，其包括：接收表示占用网格的多个单元的占用网格数据，并且针对多个单元中的每个单元，接收该单元是否被占用的概率1702；接收物体位置数据，其表示使用模型来识别的一个或多个物体的一个或多个位置1704；基于一个或多个物体的一个或多个位置，将物体位置数据映射到多个单元中的一个或多个单元1706；基于物体位置数据是否映射到单元，确定表示占用网格的多个单元的比较网格数据，并且针对多个单元中的每个单元，确定单元是否被占用的概率1708；使用至少一个比较规则，将占用网格数据与比较网格数据进行比较1710；以及输出表示比较的结果的信任数据1712。
图18示出了根据本公开的另一方面的占用验证的方法，其包括：接收表示多个单元的占用的占用网格数据，并且对于多个单元中的每个单元，接收该单元是否被占用的概率1802；接收表示没有检测到物体的一个或多个位置的物体空位数据1804；基于未检测到物体的一个或多个位置，将物体空位数据映射到多个单元中的一个或多个单元1806；基于是否没有由物体空位数据所表示的物体映射到单元，确定表示多个单元的比较网格数据，并且对于多个单元中的每个单元，确定单元是否被占用的概率1808；使用至少一个比较规则，将占用网格数据与比较网格数据进行比较1810；以及输出表示比较的结果的信任数据1812。
根据本公开的方面，所述至少一个比较规则可以包括：根据预定义距离度量，确定所述占用网格数据与所述比较网格数据之间的距离。该预定义距离度量可以包括或者是占用网格数据与比较网格数据之间的巴氏距离。可以基于给定的实现来选择距离度量。根据本公开的另一方面，距离度量可以包括确定平均距离并且将平均距离与预定范围进行比较或者将平均距离与阈值进行比较，该阈值被定义为与平均值的一个或多个标准差。
如果比较的结果指示所检测的物体是假阳性，则一个或多个处理器可以包括标签作为去激活物体的指令。以这种方式，可以从一个或多个寄存器、阵列、矩阵、向量等等中移除物体。物体可以被删除或忽略，使得它不被并入由安全驾驶模块做出的驾驶决策。
在下文中，将说明本公开的各个方面：
1. 在示例1中，公开了一种占用验证装置，包括：一个或多个处理器，其被配置成：接收表示占用网格的多个单元的占用网格数据，并且对于所述多个单元中的每个单元，接收所述单元是否被占用的概率；接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；基于所述一个或多个物体的所述一个或多个位置，将所述物体位置数据映射到所述多个单元中的一个或多个单元；基于所述物体位置数据是否映射到所述单元，来确定表示所述占用网格的所述多个单元的比较网格数据，并且针对所述多个单元中的每个单元，确定所述单元是否被占用的概率；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及输出表示所述比较的结果的信任数据。
2. 在示例2中，示例1所述的占用验证装置，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
3. 在示例3中，示例2所述的占用验证装置，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
4. 在示例4中，示例1至3中的任一个所述的占用验证装置，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的平均距离或一个或多个标准差。
5. 在示例5中，示例1至4中的任一个所述的占用验证装置，其中，确定所述比较网格数据包括：基于由所述物体位置数据表示的一个或多个物体是否映射到所述单元来确定所述单元是否被占用的占用概率。
6. 在示例6中，示例1至5中的任一个所述的占用验证装置，其中，所述信任数据包括表示去激活所述物体的指令的标签。
7. 在示例7中，示例1至6中的任一个所述的占用验证装置，其中，所述信任数据包括增加所述物体位置数据所映射到的一个或多个单元的占用概率的指令。
8. 在示例8中，示例1至7中的任一个所述的占用验证装置，其中，所述信任数据包括将所述物体位置数据所映射到的一个或多个单元定义为被占用的指令。
9. 在示例9中，示例1至8中的任一个所述的占用验证装置，其中，所述信任数据包括：如果所述比较的结果在预定范围之外则在驾驶决策中不考虑所述一个或多个物体中的物体的指令。
10. 在示例10中，示例1至9中的任一个所述的占用验证装置，其中，所述一个或多个物体的所述位置是相对于自我交通工具的位置。
11. 在示例11中，示例1至10中的任一个所述的占用验证装置，其中，所述物体位置数据由人工神经网络提供作为所述模型的实现。
12. 在示例12中，示例1至11中的任一个所述的占用验证装置，其中，一个或多个处理器从神经网络接收所述物体位置数据。
13. 在示例13中，示例1至12中的任一个所述的占用验证装置，其中，所述占用网格数据还表示与所述多个单元中的一个或多个单元相关联的速度；并且其中，所述物体位置数据还表示所述一个或多个物体的速度；并且其中，所述一个或多个处理器还被配置成：确定表示所述多个单元的速度比较网格数据，并且针对所述物体位置数据所映射到的所述多个单元中的每个单元，确定所述物体的速度；基于至少一个速度比较规则，将所述占用网格数据的所述速度与所述速度比较网格数据进行比较；以及输出表示所述比较的结果的速度信任数据。
14. 在示例14中，示例13所述的占用验证装置，其中，所述至少一个速度比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
15. 在示例15中，示例14所述的占用验证装置，其中，所述至少一个速度比较规则包括：确定所述占用网格数据的速度与所述比较网格数据的速度之间的巴氏距离。
16. 在示例16中，示例13至15中的任一个所述的占用验证装置，其中，所述至少一个速度比较规则包括：确定所述占用网格数据的所述速度与所述速度比较网格数据的所述速度之间的平均距离或一个或多个标准差。
17. 在示例17中，示例13至16中的任一个所述的占用验证装置，其中，所述速度信任数据包括：修改物体位置数据内的速度的指令。
18. 在示例18中，示例13至17中的任一个所述的占用验证装置，其中，所述速度信任数据包括：修改与物体所映射到的多个单元中的一个或多个单元相关联的速度的指令。
19. 在示例19中，一种占用验证装置，包括：一个或多个处理器，其被配置成：接收表示多个单元的占用的占用网格数据，并且对于所述多个单元中的每个单元，接收所述单元是否被占用的概率；接收物体空位数据，所述物体空位数据表示尚未检测到物体的一个或多个位置；基于未检测到物体的所述一个或多个位置，将所述物体空位数据映射到所述多个单元中的一个或多个单元；基于是否没有由所述物体空位数据表示的物体映射到所述单元，来确定表示多个单元的比较网格数据，并且针对所述多个单元中的每个单元，确定所述单元是否被占用的概率；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；输出表示所述比较的结果的信任数据。
20. 在示例20中，示例19所述的占用验证装置，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
21. 在示例21中，示例20所述的占用验证装置，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
22. 在示例22中，示例19至21中的任一个所述的占用验证装置，其中，所述至少一个速度比较规则包括：确定所述占用网格数据与所述速度比较网格数据之间的平均距离或一个或多个标准差。
23. 在示例23中，示例19至22中的任一个所述的占用验证装置，其中，确定所述比较网格数据包括：基于由所述物体位置数据表示的一个或多个物体是否映射到所述单元来确定所述单元是否被占用的占用概率。
24. 在示例24中，示例19至23中的任一个所述的占用验证装置，其中，信任数据包括指令，该指令用于定义由物体空位数据表示的位置处的物体。
25. 在示例25中，示例19至24中的任一个所述的占用验证装置，其中，信任数据包括指令，该指令用于降低物体位置数据所映射到的一个或多个单元的占用概率。
26. 在示例26中，示例19至25中的任一个所述的占用验证装置，其中，信任数据包括指令，该指令用于将物体所映射到的一个或多个单元定义为空位。
27. 在示例27中，示例19至26中的任一个所述的占用验证装置，其中，信任数据包括指令，该指令用于：如果比较的结果在预定范围之外，则在驾驶决策中考虑与物体空位数据相关联的位置处的一个或多个物体中的物体。
28. 在示例28中，示例19至27中的任一个所述的占用验证装置，其中，物体空位数据由神经网络来检测。
29. 在示例29中，示例19至28中的任一个所述的占用验证装置，其中，一个或多个处理器从神经网络接收物体空位数据。
30. 在示例30中，公开了一种占用验证方法，包括：接收表示占用网格的多个单元的占用网格数据，并且对于所述多个单元中的每个单元，接收所述单元是否被占用的概率；接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；基于所述一个或多个物体的所述一个或多个位置，将所述物体位置数据映射到所述多个单元中的一个或多个单元；基于所述物体位置数据是否映射到所述单元，来确定表示所述占用网格的所述多个单元的比较网格数据，并且针对所述多个单元中的每个单元，确定所述单元是否被占用的概率；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及输出表示所述比较的结果的信任数据。
31. 在示例31中，示例30所述的占用验证方法，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
32. 在示例32中，示例31所述的占用验证方法，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
33. 在示例33中，示例30至32中的任一个所述的占用验证方法，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的平均距离或一个或多个标准差。
34. 在示例34中，示例30至33中的任一个所述的占用验证方法，其中，确定所述比较网格数据包括：基于由所述物体位置数据表示的一个或多个物体是否映射到所述单元来确定所述单元是否被占用的占用概率。
35. 在示例35中，示例30至34中的任一个所述的占用验证方法，其中，所述信任数据包括表示去激活所述物体的指令的标签。
36. 在示例36中，示例30至35中的任一个所述的占用验证方法，其中，所述信任数据包括增加所述物体位置数据所映射到的一个或多个单元的占用概率的指令。
37. 在示例37中，示例30至36中的任一个所述的占用验证方法，其中，所述信任数据包括将所述物体位置数据所映射到的一个或多个单元定义为被占用的指令。
38. 在示例38中，示例30至37中的任一个所述的占用验证方法，其中，所述信任数据包括：如果所述比较的结果在预定范围之外则在驾驶决策中不考虑所述一个或多个物体中的物体的指令。
39. 在示例39中，示例30至38中的任一个所述的占用验证方法，其中，所述一个或多个物体的所述位置是相对于自我交通工具的位置。
40. 在示例40中，示例30至39中的任一个所述的占用验证方法，其中，所述物体位置数据由人工神经网络提供作为所述模型的实现。
41. 在示例41中，示例30至40中的任一个所述的占用验证方法，其中，从神经网络接收所述物体位置数据。
42. 在示例42中，示例30至41中的任一个所述的占用验证方法，其中，所述占用网格数据还表示与所述多个单元中的一个或多个单元相关联的速度；并且其中，所述物体位置数据还表示所述一个或多个物体的速度；所述方法还包括：确定表示所述多个单元的速度比较网格数据，并且针对所述物体位置数据所映射到的所述多个单元中的每个单元，确定所述物体的速度；基于至少一个速度比较规则，将所述占用网格数据的所述速度与所述速度比较网格数据进行比较；以及输出表示所述比较的结果的速度信任数据。
43. 在示例43中，示例42所述的占用验证方法，其中，所述至少一个速度比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
44. 在示例44中，示例43所述的占用验证方法，其中，所述至少一个速度比较规则包括：确定所述占用网格数据的速度与所述比较网格数据的速度之间的巴氏距离。
45. 在示例45中，示例42至44中的任一个所述的占用验证方法，其中，所述至少一个速度比较规则包括：确定所述占用网格数据的所述速度与所述速度比较网格数据的所述速度之间的平均距离或一个或多个标准差。
46. 在示例46中，示例42至45中的任一个所述的占用验证方法，其中，所述速度信任数据包括：修改物体位置数据内的速度的指令。
47. 在示例47中，示例42至46中的任一个所述的占用验证方法，其中，所述速度信任数据包括：修改与物体所映射到的多个单元中的一个或多个单元相关联的速度的指令。
48. 在示例48中，一种占用验证方法，包括：接收表示多个单元的占用的占用网格数据，并且对于所述多个单元中的每个单元，接收所述单元是否被占用的概率；接收物体空位数据，所述物体空位数据表示尚未检测到物体的一个或多个位置；基于未检测到物体的所述一个或多个位置，将所述物体空位数据映射到所述多个单元中的一个或多个单元；基于是否没有由所述物体空位数据表示的物体映射到所述单元，来确定表示多个单元的比较网格数据，并且针对所述多个单元中的每个单元，确定所述单元是否被占用的概率；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；输出表示所述比较的结果的信任数据。
49. 在示例49中，示例48所述的占用验证方法，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
50. 在示例50中，示例49所述的占用验证方法，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
51. 在示例51中，示例48至50中的任一个所述的占用验证方法，其中，所述至少一个速度比较规则包括：确定所述占用网格数据与所述速度比较网格数据之间的平均距离或一个或多个标准差。
52. 在示例52中，示例48至51中的任一个所述的占用验证方法，其中，确定所述比较网格数据包括：基于由所述物体位置数据表示的一个或多个物体是否映射到所述单元来确定所述单元是否被占用的占用概率。
53. 在示例53中，示例48至52中的任一个所述的占用验证方法，其中，信任数据包括指令，该指令用于定义由物体空位数据表示的位置处的物体。
54. 在示例54中，示例48至53中的任一个所述的占用验证方法，其中，信任数据包括指令，该指令用于降低物体位置数据所映射到的一个或多个单元的占用概率。
55. 在示例55中，示例48至54中的任一个所述的占用验证方法，其中，信任数据包括指令，该指令用于将物体所映射到的一个或多个单元定义为空位。
56. 在示例56中，示例48至55中的任一个所述的占用验证方法，其中，信任数据包括指令，该指令用于：如果比较的结果在预定范围之外，则在驾驶决策中考虑与物体空位数据相关联的位置处的一个或多个物体中的物体。
57. 在示例57中，示例48至56中的任一个所述的占用验证方法，其中，物体空位数据由神经网络来检测。
58. 在示例58中，示例48至57中的任一个所述的占用验证方法，其中，从神经网络接收物体空位数据。
59. 在示例59中，一种包括指令的计算机可读介质，所述指令如果被执行则使一个或多个处理器执行根据示例30至58中的任一项所述的方法。
60. 在示例60中，公开了一种占用验证装置，包括：一个或多个处理器，被配置成：接收表示占用网格的多个单元的占用网格数据，并且对于所述多个单元中的每个单元，接收表示所述单元是否被占用的概率的数据；接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；基于所述一个或多个物体的所述一个或多个位置，将所述物体位置数据映射到所述多个单元中的一个或多个单元；确定比较网格数据，其中，确定所述比较网格数据包括：针对所述多个单元中的每个单元，基于所述物体位置数据是否映射到所述单元来确定占用状态；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及输出表示所述比较的结果的信任数据。
61. 在示例61中，示例60所述的占用验证装置，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
62. 在示例62中，示例61所述的占用验证装置，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
63. 在示例63中，示例60所述的占用验证装置，其中，确定所述比较网格数据包括：如果由所述物体位置数据表示的一个或多个物体映射到所述单元，则将所述占用状态确定为被占用，并且如果由所述物体位置数据表示的所述一个或多个物体都没有映射到所述单元，则将所述占用状态确定为未被占用。
64. 在示例64中，示例60所述的占用验证装置，其中，所述信任数据包括标签，所述标签表示：去激活所述物体的指令、增加所述物体位置数据所映射到的一个或多个单元的占用概率的指令、将所述物体位置数据所映射到的一个或多个单元定义为被占用的指令或者如果所述比较的结果在预定范围之外则在驾驶决策中不考虑所述一个或多个物体中的物体的指令。
65. 在示例65中，示例60至64中的任一项所述的占用验证装置，其中，所述一个或多个物体的所述位置是相对于自我交通工具的位置。
66. 在示例66中，示例60至64中的任一项所述的占用验证装置，其中，所述一个或多个处理器从神经网络接收所述物体位置数据。
67. 在示例67中，示例60至64中的任一项所述的占用验证装置，其中，所述占用网格数据还表示与所述多个单元中的一个或多个单元相关联的速度；并且其中，所述物体位置数据还表示所述一个或多个物体的速度；并且其中，所述一个或多个处理器还被配置成：确定速度比较网格数据，其中，确定所述速度比较网格数据包括：基于来自映射到所述单元的所述物体位置数据的物体的速度，来确定与所述多个单元中的每个单元相关联的速度；基于至少一个速度比较规则，将所述占用网格数据的所述速度与所述速度比较网格数据进行比较；以及输出表示所述比较的结果的速度信任数据。
68. 在示例68中，示例67所述的占用验证装置，其中，所述至少一个速度比较规则包括：确定所述占用网格数据的所述速度与所述速度比较网格数据的所述速度之间的巴氏距离。
69. 在示例69中，公开了一种占用验证装置，包括：一个或多个处理器，被配置成：接收表示多个单元的占用的占用网格数据，并且对于所述多个单元中的每个单元，接收表示所述单元是否被占用的概率的数据；接收物体空位数据，所述物体空位数据表示尚未检测到物体的一个或多个位置；基于未检测到物体的所述一个或多个位置，将所述物体空位数据映射到所述多个单元中的一个或多个单元；确定比较网格数据，其中，确定所述比较网格数据包括：针对所述多个单元中的每个单元，基于是否没有由所述物体空位数据表示的物体映射到所述单元来确定占用状态；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；输出表示所述比较的结果的信任数据。
70. 在示例70中，示例69所述的占用验证装置，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
71. 在示例71中，示例70所述的占用验证装置，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
72. 在示例72中，公开了一种包括指令的非暂时性计算机可读介质，所述指令如果被执行则使一个或多个处理器：接收表示占用网格的多个单元的占用网格数据，并且针对所述多个单元中的每个单元，接收所述单元是否被占用的概率；接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；基于所述一个或多个物体的所述一个或多个位置，将所述物体位置数据映射到所述多个单元中的一个或多个单元；基于所述物体位置数据是否映射到所述单元，来确定表示所述占用网格的所述多个单元的比较网格数据，并且针对所述多个单元中的每个单元，确定所述单元是否被占用的概率；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及输出表示所述比较的结果的信任数据。
73. 在示例73中，示例72所述的非暂时性计算机可读介质，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
74. 在示例74中，示例72所述的非暂时性计算机可读介质，其中，所述信任数据包括标签，所述标签表示：去激活所述物体的指令、增加所述物体位置数据所映射到的一个或多个单元的占用概率的指令、将所述物体位置数据所映射到的一个或多个单元定义为被占用的指令或者如果所述比较的结果在预定范围之外则在驾驶决策中不考虑所述一个或多个物体中的物体的指令。
75. 在示例75中，示例72所述的非暂时性计算机可读介质，其中，所述占用网格数据还表示与所述多个单元中的一个或多个单元相关联的速度；并且其中，所述物体位置数据还表示所述一个或多个物体的速度；进一步包括：确定速度比较网格数据，其中，确定所述速度比较网格数据包括：基于来自映射到所述单元的所述物体位置数据的物体的速度，来确定与所述多个单元中的每个单元相关联的速度；基于至少一个速度比较规则，将所述占用网格数据的所述速度与所述速度比较网格数据进行比较；以及输出表示所述比较的结果的速度信任数据。
76. 在示例76中，公开了一种包括指令的非暂时性计算机可读介质，所述指令如果被执行则使一个或多个处理器：接收表示多个单元的占用的占用网格数据，并且对于所述多个单元中的每个单元，接收表示所述单元是否被占用的概率的数据；接收物体空位数据，所述物体空位数据表示尚未检测到物体的一个或多个位置；基于未检测到物体的所述一个或多个位置，将所述物体空位数据映射到所述多个单元中的一个或多个单元；确定比较网格数据，其中，确定所述比较网格数据包括：针对所述多个单元中的每个单元，基于是否没有由所述物体空位数据表示的物体映射到所述单元来确定占用状态；使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及输出表示所述比较的结果的信任数据。
77. 在示例77中，示例76所述的非暂时性计算机可读介质，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的平均距离或一个或多个标准差。
78. 在示例78中，示例76所述的非暂时性计算机可读介质，其中，确定所述比较网格数据包括：如果由所述物体位置数据表示的一个或多个物体映射到所述单元，则将所述占用状态确定为被占用，并且如果由所述物体位置数据表示的所述一个或多个物体都没有映射到所述单元，则将所述占用状态确定为未被占用。
79. 在示例79中，示例76所述的非暂时性计算机可读介质，其中，所述信任数据包括标签，所述标签表示：去激活所述物体的指令、增加所述物体位置数据所映射到的一个或多个单元的占用概率的指令、将所述物体位置数据所映射到的一个或多个单元定义为被占用的指令或者如果所述比较的结果在预定范围之外则在驾驶决策中不考虑所述一个或多个物体中的物体的指令。
虽然以上描述和附图可以将电子装置组件描绘为单独的元件，但是技术人员将理解将分立元件组合或集成为单个元件的各种可能性。这可以包括组合两个或更多个电路以形成单个电路，将两个或更多个电路安装到公共芯片或机架上以形成集成元件，在公共处理器核上执行分立的软件组件等。相反，技术人员将认识到将单个元素分离为两个或多个分立元件的可能性，例如，将单个电路拆分为两个或多个单独电路，将芯片或机箱分离为最初在其上提供的分立元件，将软件组件分离为两个或更多个部分并且各自在单独的处理器内核上执行，等等。
应当理解，本文详细描述的方法的实现本质上是说明性的，因此被理解为能够在对应的装置中实现。同样，应当理解，本文详细描述的装置的实现应理解为能够实现为对应的方法。因此，应理解，与本文详细描述的方法对应的装置可以包括被配置成执行相关方法的每个方面的一个或多个组件。
在以上描述中定义的所有首字母缩略词另外在本文包括的所有权利要求中成立。

Claims (25)

1.一种占用验证装置，包括：
一个或多个处理器，被配置成：
接收表示占用网格的多个单元的占用网格数据，并且对于所述多个单元中的每个单元，接收表示所述单元是否被占用的概率的数据；
接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；
基于所述一个或多个物体的所述一个或多个位置，将所述物体位置数据映射到所述多个单元中的一个或多个单元；
确定比较网格数据，其中，确定所述比较网格数据包括：针对所述多个单元中的每个单元，基于所述物体位置数据是否映射到所述单元来确定占用状态；
使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及
输出表示所述比较的结果的信任数据。
2.根据权利要求1所述的占用验证装置，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
3.根据权利要求2所述的占用验证装置，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
4.根据权利要求1所述的占用验证装置，其中，确定所述比较网格数据包括：如果由所述物体位置数据表示的一个或多个物体映射到所述单元，则将所述占用状态确定为被占用，并且如果由所述物体位置数据表示的所述一个或多个物体都没有映射到所述单元，则将所述占用状态确定为未被占用。
5.根据权利要求1所述的占用验证装置，其中，所述信任数据包括标签，所述标签表示：去激活所述物体的指令、增加所述物体位置数据所映射到的一个或多个单元的占用概率的指令、将所述物体位置数据所映射到的一个或多个单元定义为被占用的指令或者如果所述比较的结果在预定范围之外则在驾驶决策中不考虑所述一个或多个物体中的物体的指令。
6.根据权利要求1至5中的任一项所述的占用验证装置，其中，所述一个或多个物体的所述位置是相对于自我交通工具的位置。
7.根据权利要求1至5中的任一项所述的占用验证装置，其中，所述一个或多个处理器从神经网络接收所述物体位置数据。
8.根据权利要求1至5中的任一项所述的占用验证装置，其中，所述占用网格数据还表示与所述多个单元中的一个或多个单元相关联的速度；并且其中，所述物体位置数据还表示所述一个或多个物体的速度；并且其中，所述一个或多个处理器还被配置成：
确定速度比较网格数据，其中，确定所述速度比较网格数据包括：基于来自映射到所述单元的所述物体位置数据的物体的速度，来确定与所述多个单元中的每个单元相关联的速度；
基于至少一个速度比较规则，将所述占用网格数据的所述速度与所述速度比较网格数据进行比较；以及
输出表示所述比较的结果的速度信任数据。
9.根据权利要求8所述的占用验证装置，其中，所述至少一个速度比较规则包括：确定所述占用网格数据的所述速度与所述速度比较网格数据的所述速度之间的巴氏距离。
10.一种占用验证装置，包括：
一个或多个处理器，被配置成：
接收表示多个单元的占用的占用网格数据，并且对于所述多个单元中的每个单元，接收表示所述单元是否被占用的概率的数据；
接收物体空位数据，所述物体空位数据表示尚未检测到物体的一个或多个位置；
基于未检测到物体的所述一个或多个位置，将所述物体空位数据映射到所述多个单元中的一个或多个单元；
确定比较网格数据，其中，确定所述比较网格数据包括：针对所述多个单元中的每个单元，基于是否没有由所述物体空位数据表示的物体映射到所述单元来确定占用状态；
使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；
输出表示所述比较的结果的信任数据。
11.根据权利要求10所述的占用验证装置，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
12.根据权利要求11所述的占用验证装置，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
13.一种占用验证方法，包括：
接收表示占用网格的多个单元的占用网格数据，并且针对所述多个单元中的每个单元，接收所述单元是否被占用的概率；
接收物体位置数据，所述物体位置数据表示使用模型来识别的一个或多个物体的一个或多个位置；
基于所述一个或多个物体的所述一个或多个位置，将所述物体位置数据映射到所述多个单元中的一个或多个单元；基于所述物体位置数据是否映射到所述单元，来确定表示所述占用网格的所述多个单元的比较网格数据，并且针对所述多个单元中的每个单元，确定所述单元是否被占用的概率；
使用至少一个比较规则，将所述占用网格数据与所述比较网格数据进行比较；以及
输出表示所述比较的结果的信任数据。
14.根据权利要求13所述的占用验证方法，其中，所述至少一个比较规则包括：根据预定义距离度量来确定所述占用网格数据与所述比较网格数据之间的距离。
15.根据权利要求13所述的占用验证方法，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的巴氏距离。
16.根据权利要求13所述的占用验证方法，其中，所述至少一个比较规则包括：确定所述占用网格数据与所述比较网格数据之间的平均距离或一个或多个标准差。
17.根据权利要求13所述的占用验证方法，其中，确定所述比较网格数据包括：基于由所述物体位置数据表示的一个或多个物体是否映射到所述单元来确定所述单元是否被占用的占用概率。
18.根据权利要求13所述的占用验证方法，其中，所述信任数据包括表示去激活所述物体的指令的标签。
19.根据权利要求13所述的占用验证方法，其中，所述信任数据包括增加所述物体位置数据所映射到的一个或多个单元的占用概率的指令。
20.根据权利要求13所述的占用验证方法，其中，所述信任数据包括将所述物体位置数据所映射到的一个或多个单元定义为被占用的指令。
21.根据权利要求13所述的占用验证方法，其中，所述信任数据包括：如果所述比较的结果在预定范围之外则在驾驶决策中不考虑所述一个或多个物体中的物体的指令。
22.根据权利要求13所述的占用验证方法，其中，所述一个或多个物体的所述位置是相对于自我交通工具的位置。
23.根据权利要求13所述的占用验证方法，其中，所述物体位置数据由人工神经网络提供作为所述模型的实现。
24.根据权利要求13所述的占用验证方法，其中，所述占用网格数据还表示与所述多个单元中的一个或多个单元相关联的速度；并且其中，所述物体位置数据还表示所述一个或多个物体的速度；所述方法还包括：确定表示所述多个单元的速度比较网格数据，并且针对所述物体位置数据所映射到的所述多个单元中的每个单元，确定所述物体的速度；基于至少一个速度比较规则，将所述占用网格数据的所述速度与所述速度比较网格数据进行比较；以及输出表示所述比较的结果的速度信任数据。
25.一种包括指令的计算机可读介质，所述指令如果被执行则使一个或多个处理器执行根据权利要求13至24中的任一项所述的方法。
CN202011534118.4A 2020-06-26 2020-12-23 占用验证装置和方法 Pending CN113850391A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/912,758 US20200326721A1 (en) 2020-06-26 2020-06-26 Occupancy verification device and method
US16/912758 2020-06-26

Publications (1)

Publication Number Publication Date
CN113850391A true CN113850391A (zh) 2021-12-28

Family

ID=72747814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011534118.4A Pending CN113850391A (zh) 2020-06-26 2020-12-23 占用验证装置和方法

Country Status (3)

Country Link
US (1) US20200326721A1 (zh)
EP (1) EP3929802A1 (zh)
CN (1) CN113850391A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7397609B2 (ja) * 2019-09-24 2023-12-13 株式会社Subaru 走行環境認識装置
FR3116640B1 (fr) * 2020-11-20 2023-11-17 Commissariat Energie Atomique Procédé itératif d’estimation du mouvement d’un corps matériel par génération d’une grille de mouvement filtrée
US11618453B2 (en) * 2021-02-23 2023-04-04 Aptiv Technologies Limited Grid-based road model with multiple layers
CN113093221A (zh) * 2021-03-31 2021-07-09 东软睿驰汽车技术（沈阳）有限公司 占据栅格地图的生成方法及装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645480B1 (en) * 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
US20150073707A1 (en) * 2013-09-09 2015-03-12 Honeywell International Inc. Systems and methods for comparing range data with evidence grids
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10422639B2 (en) * 2016-12-30 2019-09-24 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
DE102017206436A1 (de) * 2017-04-13 2018-10-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erkennung und/oder Verfolgung von Objekten
US10782693B2 (en) * 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US11644834B2 (en) * 2017-11-10 2023-05-09 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
DE102018200683A1 (de) * 2018-01-17 2019-07-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Detektion eines Objektes
US11501105B2 (en) * 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps
US11093759B2 (en) * 2018-03-06 2021-08-17 Here Global B.V. Automatic identification of roadside objects for localization
US11340079B1 (en) * 2018-05-21 2022-05-24 AI Incorporated Simultaneous collaboration, localization, and mapping
US11048265B2 (en) * 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning
US11592818B2 (en) * 2018-06-20 2023-02-28 Zoox, Inc. Restricted multi-scale inference for machine learning
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation
CN111307166B (zh) * 2018-12-11 2023-10-03 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
DE112019004832T5 (de) * 2018-12-18 2021-06-24 Motional Ad Llc Betrieb eines Fahrzeugs unter Verwendung von Bewegungsplanung mit maschinellem Lernen
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020146447A1 (en) * 2019-01-08 2020-07-16 Aptiv Technologies Limited Field theory based perception for autonomous vehicles
US11364936B2 (en) * 2019-02-28 2022-06-21 Huawei Technologies Co., Ltd. Method and system for controlling safety of ego and social objects
US11016492B2 (en) * 2019-02-28 2021-05-25 Zoox, Inc. Determining occupancy of occluded regions
JP7371111B2 (ja) * 2019-03-05 2023-10-30 エヌビディア コーポレーション 自律走行車のナビゲーション用高精度地図を生成するためのポーズグラフの分散処理
US11648945B2 (en) * 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
US11054265B2 (en) * 2019-03-29 2021-07-06 Intel Corporation Methods and systems for improving maps
US11126180B1 (en) * 2019-04-30 2021-09-21 Zoox, Inc. Predicting an occupancy associated with occluded region
US11531346B2 (en) * 2019-07-05 2022-12-20 Uatc, Llc Goal-directed occupancy prediction for autonomous driving
US11435946B2 (en) * 2019-09-05 2022-09-06 Micron Technology, Inc. Intelligent wear leveling with reduced write-amplification for data storage devices configured on autonomous vehicles
US11577722B1 (en) * 2019-09-30 2023-02-14 Zoox, Inc. Hyper planning based on object and/or region
US11827214B2 (en) * 2020-03-05 2023-11-28 Huawei Technologies Co., Ltd. Machine-learning based system for path and/or motion planning and method of training the same
US11485384B2 (en) * 2020-05-11 2022-11-01 Zoox, Inc. Unstructured vehicle path planner

Also Published As

Publication number Publication date
US20200326721A1 (en) 2020-10-15
EP3929802A1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
US20210009121A1 (en) Systems, devices, and methods for predictive risk-aware driving
US10627823B1 (en) Method and device for performing multiple agent sensor fusion in cooperative driving based on reinforcement learning
EP3929802A1 (en) An occupancy verification device and method
US11947357B2 (en) Controller for an autonomous vehicle, and network component
US10449956B2 (en) Object tracking by unsupervised learning
CN115503728A (zh) 用于预测人类驾驶操纵并减少人类驾驶错误的驾驶员和环境监测
US20210018590A1 (en) Perception system error detection and re-verification
US20200250971A1 (en) Vehicle capsule networks
US11100372B2 (en) Training deep neural networks with synthetic images
US11657635B2 (en) Measuring confidence in deep neural networks
US20220114458A1 (en) Multimodal automatic mapping of sensing defects to task-specific error measurement
Yoon et al. Design of longitudinal control for autonomous vehicles based on interactive intention inference of surrounding vehicle behavior using long short-term memory
US20220270356A1 (en) Platform for perception system development for automated driving system
CN116258174A (zh) 用于检测深度神经网络推理质量的系统和方法
EP4220581A1 (en) Estimation of risk exposure for autonomous vehicles
EP4219262A1 (en) In-vehicle system for estimation of risk exposure for an autonomous vehicle
US11603119B2 (en) Method and apparatus for out-of-distribution detection
US11068749B1 (en) RCCC to RGB domain translation with deep neural networks
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW
US11462020B2 (en) Temporal CNN rear impact alert system
EP4219261A1 (en) Estimation of risk exposure for autonomous vehicles
US20230073933A1 (en) Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components
US20220172062A1 (en) Measuring confidence in deep neural networks
Vegamoor Control and Perception for Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination