CN107015559B - 使用散列加权积分和求和的目标跟踪的概率推理 - Google Patents

使用散列加权积分和求和的目标跟踪的概率推理 Download PDF

Info

Publication number
CN107015559B
CN107015559B CN201610894036.8A CN201610894036A CN107015559B CN 107015559 B CN107015559 B CN 107015559B CN 201610894036 A CN201610894036 A CN 201610894036A CN 107015559 B CN107015559 B CN 107015559B
Authority
CN
China
Prior art keywords
model
vehicle
sensors
sensor data
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610894036.8A
Other languages
English (en)
Other versions
CN107015559A (zh
Inventor
维迪亚·那利亚姆布特·穆拉里
斯内哈·卡德托塔德
丹尼尔·莱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107015559A publication Critical patent/CN107015559A/zh
Application granted granted Critical
Publication of CN107015559B publication Critical patent/CN107015559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

本发明公开用于传感器融合的系统、方法和装置。用于传感器融合的系统包括一个或多个传感器、模型部件和推理部件。模型部件配置为基于传感器数据计算联合概率图形模型中的数值。图形模型包括对应于随机变量的节点和表明节点间的相关性的边缘。推理部件配置为基于传感器数据和模型使用散列加权积分和求和(WISH)算法来检测和跟踪车辆附近的障碍物。

Description

使用散列加权积分和求和的目标跟踪的概率推理
技术领域
本发明总体涉及用于自动驾驶或用于辅助驾驶员的方法、系统和装置，并且更具体地涉及用于对象检测和跟踪的方法、系统和装置。
背景技术
自主车辆和驾驶辅助系统目前被开发和部署以在车辆行驶的期间提供安全性，降低所需用户输入量或者甚至完全消除用户参与。例如，如碰撞避让系统的一些驾驶辅助系统可以在人员驾驶时监测车辆的行驶、位置和速度以及其它对象。当系统检测到碰撞或撞击迫近时，碰撞避让系统可以干预并且应用制动、车辆转向或实施其它避让或安全性操纵。作为另一示例，自主车辆可以在少量或没有用户输入的情况下使车辆行驶和导航。然而，由于行驶涉及的危险以及车辆成本，自主车辆和行驶辅助系统安全操纵并且能够准确地导航道路、观察它们的周围环境以及避让对象是非常重要的。
发明内容
根据本发明，提供一种系统，系统包含：
配置用于获得传感器数据的两个或多个传感器；
配置为基于传感器数据计算联合概率图形模型(joint-probabilisticgraphical model)中的数值的模型部件，其中图形模型包含对应于随机变量的节点以及表明节点间的相关性的边缘；以及
推理部件，推理部件配置为基于传感器数据和模型使用散列加权积分和求和(WISH)算法检测和跟踪车辆附近的障碍物。
根据本发明的一个实施例，其中推理部件确定障碍物相对于车辆的速度、位置和速率中的一个或多个的置信边界。
根据本发明的一个实施例，其中一个或多个节点对应于描述通过两个或多个传感器观察的区域的网格内单元的占用；并且其中推理部件确定单元被对象占用的概率以及占用单元的对象的速率中的一个或多个。
根据本发明的一个实施例，其中一个或多个节点对应于被两个或多个传感器检测到的对象的一个或多个连续变量，其中连续变量包含障碍物的反射和光谱特征中的一个或多个。
根据本发明的一个实施例，其中一个或多个节点对应于障碍物的一个或多个分类变量，其中分类变量包含对象类型和物质类型(material type)中的一个或多个。
根据本发明的一个实施例，其中模型包含基于传感器数据计算节点处的数值的函数，其中函数包含用于计算数值的预定机器学习参数。
根据本发明的一个实施例，其中模型包括一个或多个边缘的联合概率函数，该函数描述对应于边缘的节点在数学上如何关联。
根据本发明的一个实施例，该系统进一步包含用于存储联合概率图形模型的存储部件。
根据本发明的一个实施例，该系统进一步包含学习部件，学习部件配置为基于通过一个或多个传感器检测到的障碍物的已知位置的机器学习以及基于与传感器或车辆行驶相关的已知物理定律的因果或确定性约束而产生或改变模型的至少一部分。
根据本发明的一个实施例，其中两个或多个传感器包含光检测和测距(激光雷达)系统、摄像系统、超声系统、定位系统和车轮编码器(wheel encoder)中的一个或多个。
根据本发明，提供一种利用计算装置实施的方法，方法包含：
从两个或多个传感器接收关于车辆附近区域的传感器数据；
存储联合概率图形模型，联合概率图形模型基于两个或多个传感器将随机变量以及随机变量之间的关系建模，其中模型将车辆附近的区域在逻辑上分为网格，并且其中图形模型的多个节点表示网格各单元的二元占用；以及
使用降维算法处理传感器数据以及模型以检测和跟踪物理对象。
根据本发明的一个实施例，其中降维算法包含散列加权积分和求和(WISH)算法。
根据本发明的一个实施例，该方法进一步包含向自动驾驶系统或自动辅助系统提供物理对象的位置或速率。
根据本发明的一个实施例，该方法进一步包含基于物理对象的检测和跟踪使用处理器选择行驶路径。
根据本发明的一个实施例，其中模型包含基于确定性约束以及概率值中的一个或多个所确定的参数，确定性约束基于车辆的物理定律，概率值是关于确定和跟踪物理对象的置信度。
根据本发明的一个实施例，该方法进一步包含基于车辆经历的一个或多个行驶事件的机器学习而改变模型的至少一部分。
根据本发明，提供一种存储指令的计算机可读存储介质，指令在被一个或多个处理器执行时使处理器：
从两个或多个传感器接收关于车辆附近区域的传感器数据；
存储联合概率图形模型，联合概率图形模型基于两个或多个传感器将随机变量以及随机变量之间的关系建模，以及
基于联合概率图形模型处理传感器数据以检测和跟踪车辆附近的一个或多个物理对象，其中处理传感器数据包含基于联合概率图形模型使用散列加权积分和求和(WISH)算法处理。
根据本发明的一个实施例，该计算机可读存储介质进一步包含配置为使处理器向车辆的自动驾驶系统或自动辅助系统提供一个或多个物理对象的位置或速率的指令。
根据本发明的一个实施例，其中处理传感器数据包含基于通过模型表示的一种或多种虚拟环境处理传感器数据。
根据本发明的一个实施例，其中模型将车辆附近的区域在逻辑上分成网格，并且其中图形模型的多个节点表示网格各单元的占用，其中基于联合概率图形模型处理传感器数据包含确定具有置信边界的每个单元内占用概率的处理。
附图说明
参照下列附图描述本发明的非限制性以及非穷尽的实施方式，其中在全部不同的视图中相同的附图标记指代相同的部分，除非另有规定。由下列说明书和附图将更好理解本发明的优势，其中：
图1是说明车辆控制系统的实施方式的示意性框图，该车辆控制系统包括自动驾驶/辅助系统；
图2是说明示例道路环境俯视图的示意图；
图3是根据一种实施方式说明传感器融合算法的示意性框图；
图4是根据一种实施方式说明传感器融合的示意性框图；
图5是根据一种实施方式说明传感器融合部件的子部件的示意性框图；
图6是根据一种实施方式说明用于传感器融合的方法的示意性框图；以及
图7是根据另一实施方式的传感器融合的方法的示意性框图。
具体实施方式
车辆上的多模态传感器(摄像机、雷达、超声波)的可用性容许系统以协同方式利用传感器从而实施准确和可靠的对象检测和跟踪，每个多模态传感器具有它们独特的优势和劣势并且具有互补的性能。以增强它们的优势而并非它们的劣势的方式使用多个传感器需要高保真模型和先进的算法技术。如卡尔曼滤波器的现有的概率推理与建模技术被限制于高斯单峰动力学并且使用马尔可夫链模型表示概率系统，该系统承受具有太过稀疏的采样和低的安全保障的不足。
而且，传感器融合算法(例如卡尔曼滤波器、马尔可夫链蒙特卡罗(MCMC)采样等)要么不可扩展或对于对象检测和跟踪而言不够准确。MCMC技术仍是使用最广泛的并且是统计推理的主力。遗憾的是，这样的方法通常不能在结果的准确性上提供严格保障。本发明公开的至少一些方法介绍统计推理的基本性新范式，该新范式非常不同并且有希望代替这些现存技术并且在问题域范围内产生了可证明的准确性。
本发明提出基于针对传感器融合问题的维度降低的推理和决策技术的应用。最近开发的一个示例是通过散列加权积分和求和的技术或算法(Weighted-Integrals-And-Sums-By-Hashing，WISH)，其在2013年由斯特凡诺·耶尔蒙、卡拉·戈麦斯、阿希什·萨伯瓦尔和巴特·塞尔曼呈现在国际机器学习协会的论文集(Proceedings of theInternational Machine Learning Society)的“控制维数灾难：通过散列的离散积分和优化(Taming the Curse of Dimensionality:Discrete Integration by Hashing andOptimization)”中被公开，通过引用将其全部内容结合于此。在一个实施例中，当底层的统计模型将概率信息与由领域知识(如物理定律)产生的因果或确定性的约束结合时，使用WISH算法或其它降维算法非常有效。
在一个实施例中，本发明的方法可以理解为包括两个或更多个等级。第一等级可以包括建立联合概率图形模型，该模型捕获不确定性以及不同传感器之间的关系。在一个实施例中，使用严格的理论分析与原则性实验部分，从概率推理、约束优化和机器学习获取理念来创建联合概率图形模型。在一个实施例中，联合概率图形模型包括在其中建模的连续参数(例如速度、位置、速率等)以及离散参数(例如传感器故障状态、对象占用的区域等)。在一种实施方式中，这些参数实现了对象位置和速度的估计、用于确定发现位置和速度的置信度的度量和/或传感器故障(置信度)的离散检测/跟踪。基于该模型获得的信息，如WISH算法的推理技术之后可以被用于感知和理解车辆周围的场景。WISH算法的结果可以包括不同推理的置信边界以及因此为系统提供概率安全。可以明白的是，在准确性、稳定性以及收敛率方面，与现有的蒙特卡罗估算技术相比，WISH算法是更好的对象检测方法并且高度可扩展和并行化。
在一个实施例中，为了产生用于特定传感器/车辆系统的图形模型，传感器数据由设置在车辆上并且通过多个现实生活场景或在虚拟驾驶环境中创建的多个场景驱动的各种传感器收集。从现实世界和虚拟世界场景收集的数据可以被用于开发联合概率图形模型。该模型可以包括通过深度学习构思以及引入的物理系统知识开发的学习参数。WISH算法之后可以被用于改善或定义参数。WISH算法之后可以被用于针对如位置和车度的不同离散和连续跟踪变量以及如传感器故障的离散组成的场景中作出的推理和决策。可以通过
Figure BDA0001129885790000061
模型(或其它模式)获得虚拟数据，该模型被开发并且用于测试算法的功能。通过与从虚拟环境获得的地面实况的比较确定算法的准确性。在虚拟测试之后，然后可以在各种场景收集的现实世界数据上测试该算法。执行传感器数据不同水平的融合的探索以分析针对不同应用发生信息融合的最佳水平。
如上文所述，一个实施例的传感器融合方法可以包括两个层次的系统，该系统具有集中创建动态系统(例如车辆和传感器)的单一联合概率模型的第一部分以及可以基于该模型而用于推理出不同见解的第二部分。在一个实施例中，联合概率图形模型可以是硬编码或可以使用人工智能或机器学习来学习和改变。
用于实施本发明呈现的传感器融合的一种或多种方法与具有单个实施融合的模型的其它方法的状态空间方法不同。由于融合发生在两个等级，即在概率模型等级并且也在它之上的推理等级，因此用于实施传感器融合的一种或多种方法与状态空间过滤不同。此外，与现有系统不同，本发明提供的一种或多种方法提供推理安全性的定量置信测量。与现有技术相比，本发明的实施例是高度可扩展性、可并行、并且收敛明显更快，这对于主动安全性而言都是有利的。因此，本发明通过融合来自多模块传感器的信息而实现了环境中障碍物的准确检测和跟踪，从而帮助驾驶员辅助部件和自动驾驶能力的发展。
在下列说明中，参照附图，附图构成了本发明的一部分并且以说明的方式示出了具体实施方式，本发明以该实施方式是可行的。应理解的是，在不脱离本发明范围的情况下可以使用其它实施方式并且可以做出结构变化。说明书中提到的“一个实施例”、“实施例”、“示例实施例”等表明所描述的实施例可以包括具体的部件、结构或特征，但并非每个实施例都一定包括该具体的部件、结构或特征。而且，这样的表述不一定指代相同的实施例。进一步地，当与实施例相关联地描述具体的部件、结构或特征时，可以认为无论是否明确描述，在本领域技术人员的认知内，可以改变与其它实施例相关的这样的部件、结构或特征。
本发明公开的系统、装置和方法的实施方式可以包括和使用专用或通用计算机，包括计算机硬件，例如一个或多个处理器和系统存储器，如下文更详细地说明的。在本发明范围内的实施方式也可以包括用于实施或存储计算机可执行指令和/或数据结构的物理和其它计算机可读介质。这样的计算机可读介质可以是任何可用介质，该介质可以由通用或专用计算机系统访问。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。传送计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而并非限制的方式，本发明的实施方式可以包含至少两者不同类型的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、CDROM(只读光盘存储器)、固态驱动器(“SSD”)(例如基于RAM)、闪存存储器、相变存储器(“PCM”)、其它类型的存储器、其它光盘存储、磁盘存储或其它磁性存储装置或可以被用于存储所需程序代码的以计算机可执行指令或数据结构的形式并且可以由通用或专用计算机访问的任何其它介质。
本发明公开的装置、系统和方法的实施方式可以通过计算机网络通信。“网络”限定为在计算机系统和/或模块和/或其它电子装置之间实现电子数据传输的一个或多个数据连接。当通过网络或另外的通信连接(硬接线、无线或硬接线或无线的组合)传输或提供信息时，计算机将该连接完全看作传输介质。传输介质可以包括网络和/或数据连接，该连接可以被用于承载以计算机可执行指令或数据结构形式并且可以由通用或专用计算机访问的所需程序代码装置。上述这些的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包含如指令和数据，指令和数据在处理器中执行时使通用计算机、专用计算机或专用处理装置执行特定的函数或函数的群组。计算机可执行指令可以是例如汇编语言或者甚至是源代码的二进制中间格式指令。虽然该主题以特定语言描述为结构组件和/或方法逻辑动作，但应理解的是在所附权利要求中限定的主题不一定必须限定为上文所述的组件或动作。而是以实施权利要求的示例形式公开所述组件和动作。
本领域技术人员可以明白的是，本发明可以实施在具有多种类型的计算机系统配置的网络计算环境中，包括仪表板中的计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本发明也可以实施在分布式系统环境中，其中通过网络连接(通过硬接线数据连接、无线数据连接或通过硬接线和无线数据连接的组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，编程模块可以位于本地和远程存储装置两者中。
进一步地，在合适的情况下，本发明描述的函数可以在下列中的一个或多个中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程用于实施这里所述的系统和程序中的一个或多个。在整个下列说明和权利要求中所使用的特定术语用于指代特定计算机部件。如本领域技术人员明白的，部件可以由不同的名称指代。本发明并非意在区分名字不同而功能相同的部件。
现在参照附图，图1示出了包括自动驾驶/辅助系统102的车辆控制系统100。该自动驾驶/辅助系统102可以用于自动化或控制车辆操作或用于为人类驾驶员提供辅助。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、照明、报警、驾驶员通知、无线电或任何其它辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102不能提供任何驾驶控制(例如转向、加速或制动)，但可以提供通知和警报以辅助人类驾驶员安全驾驶。自动驾驶/辅助系统102包括传感器融合部件104，传感器融合部件104可以基于对应于控制系统100的车辆图形模型以及通过一个或多个传感器收集的数据来检测或跟踪对象。例如，传感器融合部件104可以推理与车辆附近的物理对象相关的位置、速度、速率、对象类型或任何其它细节。此外，传感器融合部件104也可以确定关于物理对象或障碍物的一个或多个细节的置信水平。
车辆控制系统100也包括用于检测附近对象存在或确定主车辆(例如包括车辆控制系统100的车辆)的位置的一个或多个传感器系统/装置。例如，车辆控制系统100可以包括一个或多个雷达系统106、一个或多个激光雷达系统108、一个或多个摄像系统110、全球定位系统(GPS)112和/或一个或多个超声系统114。一个或多个传感器系统/装置可以包括任何其它传感器，例如用于检测车辆速度和/或车辆车轮转动距离的车轮编码器以及用于检测其它对象或检测车辆位置或运动的其它传感器。
车辆控制系统100可以包括用于存储与导航和安全性相关或有用的数据——例如行驶记录、地图数据或其它数据——的数据存储器116。在一个实施例中，数据存储器116可以存储对系统100建模的联合概率模型，该模型包括系统100的任何传感器。车辆控制系统100也可以包括与移动或无线网络、其它车辆、基础设施或任何其它通信系统无线通信的收发器118。车辆控制系统100可以包括用于控制车辆行驶的各方面的车辆控制致动器120，例如电动马达、开关或用于控制制动、加速、转向等的其它致动器。车辆控制系统100也可以包括一个或多个显示器122、扬声器124或其它设备，从而可以向人类驾驶员或乘客提供通知。显示器122可以包括平视显示器、仪表板显示或指示器、显示屏幕或任何其它视觉指示器，显示器可以被车辆的驾驶员或乘客看到。扬声器124可以包括车辆声音系统的一种或多种扬声器或可以包括专用于驾驶员通知的扬声器。
可以明白的是，仅以示例的方式给出图1的实施例。在不脱离本发明范围的情况下，其它实施例可以包括更少或另外的部件。此外，在没有限制的情况下所示的部件可以组合或包括在其它部件中。例如，传感器融合部件104可以与自动驾驶/辅助系统102分开并且可以将数据存储器116包括为自动驾驶/辅助系统102的部分和/或传感器融合部件104的部分。
雷达系统106可以包括本领域熟知的任何雷达系统。雷达系统106操作和性能是总体熟知的。总体上，雷达系统106通过传输无线电信号以及检测对象的反射而操作。在地面应用中，雷达可以被用于检测物理对象，例如其它车辆、停车障碍或停车轮挡、地形(例如有树、悬崖、岩石、山地等)、道路边缘、标志、建筑或其它对象。雷达系统106可以使用反射无线电波以确定关于物理对象或物质的尺寸、形状、距离、表面质地或其它信息。例如，雷达系统106可以扫过区域以获得关于雷达系统106的特定范围以及查看角度内的对象的数据。在一个实施例中，雷达系统106配置用于产生来自车辆附近区域的感知信息，例如车辆附近或围绕车辆的一个或多个区域。例如，雷达系统106可以获得关于紧邻车辆或在车辆附近的地面或垂直区域的范围的数据。雷达系统106可以包括诸多商业可用雷达系统中的一种。在一个实施例中，雷达系统106可以向自动驾驶/辅助系统102提供包括二维或三维地图或模型的感知数据以参照或处理。
激光雷达系统108可以包括本领域已知的任何激光雷达系统。激光雷达系统的操作原理和性能总体是熟知的。总体上，激光雷达系统108通过发射可见波长或红外波长激光以及检测对象对激光的反射来操作。在地面应用中，激光可以被用于检测物理对象，例如其它车辆、停车障碍或停车轮挡、地形(例如有树、悬崖、岩石、山地等)、道路边缘、标志、建筑或其它对象。激光雷达系统108可以使用反射激光以确定关于物理对象或物质的尺寸、形状、距离、表面质地或其它信息。激光雷达系统108可以扫过区域以获得激光雷达系统108的特定范围以及查看角度内的数据或对象。例如，激光雷达系统108可以获得关于紧邻车辆或在车辆附近的地面或垂直区域的范围的数据。激光雷达系统108可以包括诸多商业可用激光雷达系统中的一种。在一个实施例中，激光雷达系统108可以提供包括检测对象或表面的二维或三维模型或地图的感知数据。
摄像系统110可以包括一个或多个摄像机，例如可见波长摄像机或红外摄像机。摄像系统110可以提供视频反馈或周期图像，可以针对对象检测、道路识别和定位或其它检测或定位来处理该视频反馈或周期图像。在一个实施例中，摄像系统110可以包括两个或多个摄像机，摄像机可以被用于提供视野内对象的测距(例如检测距离)。
GPS系统112是一个实施例的定位系统，该系统基于卫星或无线电塔信号提供车辆的地理位置。GPS系统112是本领域熟知的并且广泛应用。虽然GPS系统112可以提供非常精确的定位信息，但GPS系统112总体很少或不提供关于车辆与其它对象之间的距离的信息。然而，它们仅提供位置，之后将该位置与例如地图的其它数据比较，从而确定与关注的其它对象、道路或位置的距离。
超声系统114可以被用于检测对象或使用超声波检测车辆与对象之间的距离。例如，超声系统114可以从保险杠上或其附近的位置或车辆侧板位置处发射超声波。可以在空气中移动短距离的超声波可以被其它对象反射并且被超声系统114检测到。基于发射和接收反射超声波之间的时间量，超声系统114能够检测主车辆和其它车辆或任何其它对象之间的准确距离。由于其较短的范围，超声系统114更多用于在停车期间检测对象、在行驶期间检测迫近的碰撞或在车辆停车或行驶期间检测车辆周围或对象。
在一个实施例中，来自雷达系统106、激光雷达系统108、摄像系统110和超声系统114的数据可以被传感器融合部件104处理，从而快速和准确地获得关于附近对象的信息，例如它们的位置、相对于车辆的速度、行驶方向、形状等。在一个实施例中，与任何单一传感器系统(或任何单一传感器类型)可以单独获得的信息相比，传感器融合部件104获得关于对象的更准确信息。
数据存储器116存储地图数据、行驶历史、概率图形模型和/或其它数据，其它数据包括其它导航数据、设置或用于自动驾驶/辅助系统102的操作指令。地图数据可以包括关于道路、停车场、停车点或车辆可以行驶或停放的任何其它位置的位置数据，例如GPS位置数据。例如道路位置数据可以包括关于特定车道的位置数据，特定车道是例如车道方向、合并车道、高速路或高速公路车道、出口车道或任何其它车道或道路分支。位置数据也可以包括停车场内的每个停车点的位置或沿道路的停车点的位置。在一个实施例中，地图数据包括关于一个或多个结构、或道路或停车位置上或其附近的对象的位置数据。例如，地图数据可以包括关于GPS标志位置、桥位置、建筑或其它结构位置等的数据。在一个实施例中，地图数据可以包括精确度在几米或在次米级精确度内的精确的位置数据。该地图数据也可以包括路径、泥土路、或被车道车辆行驶的其它道路或路径的位置数据。
行驶历史(或驾驶历史)可以包括车辆过去行程或停车位置的位置数据和/或传感器数据。例如，行驶历史可以包括先前行程或所选取的路径的GPS位置数据。作为另一示例，行驶历史可以包括与车道线、标志、道路边界线或道路上或附近的其它对象或特征的距离或相对位置数据。可以基于GPS数据、雷达数据、激光雷达数据、摄像机数据或在由车辆选取的先前或过去行程期间所收集的其它传感器数据确定距离或相对位置数据。如又一示例，行驶历史可以包括关于车辆所经历的事件的详细传感器数据，包括所产生的事件。在一个实施例中，自动驾驶/辅助系统102配置为针对车辆所选取的任何行程或驾驶以及在车辆所选取的任何行程或驾驶期间把行驶数据记录到数据存储器116。
收发器118配置为从一个或多个其它数据或信号源接收信号。收发器118可以包括配置为依据各种通信标准和/或使用各种不同频率通信的一种或多种无线电。例如，收发器118可以从其它车辆接收信号。从另一车辆接收信号在这里也可以被称作车辆到车辆(V2V)的通信。在一个实施例中，收发器118也可以用于向其它车辆传输信息，从而潜在地辅助他们定位车辆或对象。在V2V通信期间，收发器118可以从其它车辆接收关于它们的位置、其它交通、事故、道路状况、停车障碍的位置或停车轮挡、或可以辅助车辆和/或自动驾驶/辅助系统102精确或安全行驶的任何其它细节的信息。
收发器118可以从位于固定位置的其它信号源接收信号。在一个实施例中，从固定位置处的设备或塔接收或发送位置数据在这里被称作车辆到基础设施(V2X)的通信。在一个实施例中，术语V2X通信也可以包含V2V的通信。
在一个实施例中，收发器118可以通过移动网络或蜂窝连接发送和接收位置数据、传感器数据、决策数据或任何其它数据。例如，收发器118可以接收关于概率图形模型的更新数据或关于传感器的其它配置数据。在一个实施例中，收发器118可以发送和接收关于对象检测和跟踪的数据，以存储在远程服务器上，例如作为改善传感器融合算法的云服务的部分。
在一个实施例中，自动驾驶/辅助系统102配置用于控制主车辆的行驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、行车道或其它位置上行驶路径。例如，自动驾驶/辅助系统102可以基于通过任何部件106-108所提供的信息或感知数据来确定行驶的路径和速度。在一个实施例中，传感器融合部件104配置用于作出关于障碍物细节的推理或决策。例如，传感器融合部件104可以向导航或行驶系统提供关于对象的位置、速度或其它信息，从而避让对象。
图2是道路200的示意性俯视图，道路200具有行驶在道路200上的车辆202。车辆202可以包括图1的系统100。在一个实施例中，如车辆摄像系统110的一个或多个传感器可以具有以弧形虚线表示的查看区域204。查看区域仅是说明性的并且可以沿车辆202周围的任何方向或全部方向扩展。而且，基于传感器的类型、定向等，被传感器覆盖的区域可以更大或更小。车辆202或车辆202的传感器融合部件104可以接收传感器数据并且做出关于对象的位置、速度等的推理，传感器数据包括与查看区域204内的对象、表面等相关的数据。在一个实施例中，可以基于在查看区域204内收集的数据通过车辆202来确定特定对象的存在或环境属性。在一个实施例中，车辆202可以处理传感器数据以检测和跟踪另一车辆208、标志210或212、相交的道路214、道路中的碎片、动物、人或其它对象。在一个实施例中，查看区域204可以在逻辑上被细分为多个区域或单元以产生逻辑网格。可以通过检测特定单元内的对象来实施对象的检测。之后车辆202可以基于在那里是否检测到对象或障碍物而获知是否避让该单元。
除感知数据之外，车辆202可以从存储地图、存储的行驶历史或从无线信号获得信息。例如，示出位于道路200附近的基础设施收发器206，收发器206可以提供具体定位、环境属性细节或关于车辆的其它信息。如进一步的示例，车辆202可以从如车辆208的其它车辆或无线通信网络接收信息。基于接收到的信息，车辆202可以确定关于一个或多个检测到的对象的位置、速度、标识等或可以更新算法或联合概率图形模型。
图3是示出数据流和传感器融合运算组件的示意框图。可以针对传感器融合从雷达、摄像机、超声、GPS和/或其它传感器接收传感器数据。联合概率图形模型包括节点、边缘或反映独立(或非独立)关系的连接以及反映每个节点或节点间关系的概率的图表或数值。例如，一个或多个节点可以表示关于特定传感器的测量传感器数值并且一个或多个其它节点可以表示特定区域的二元占用。
联合概率图形模型中关于关系(边缘)和节点的数值和组织可以反映车辆或传感器系统连续和离散的部件或方法。例如，连续部件或参数可以包括如在车速、距离、位置、x坐标、y坐标、z坐标、速率等的不同数值的连续数字上选取的那些。离散部件或参数的示例可以包括在如传感器故障状态、对象识别(如车辆、动物、行人、骑行者、路缘、树木、碎片等)、逻辑网格(存在或不存在)中单元的占用等的两个或多个特定数值(例如真/假的预定状态或多种识别类别中的一个)上选取的那些。
联合概率图形模型中的关系和节点的数值和组织可以包括使用机器学习确定或更新的数值。例如，在创建模型期间，可以基于在机器学习期间检测的关系和数值来创建或改变节点间的数值和/或关系。机器学习可以被用于处理与一种或多种关系的已知(或准确)数值相关的大量实际传感器数据，该关系是车辆之后检测或跟踪的。在一个实施例中，利用具有描述节点间的相关性或关系的未知或估计的参数的函数产生单向图形模型。使用机器学习，可以确定或改善未知或估计参数的数值。例如，在确定图形模型结构之后，可以使用WISH算法在现实世界或虚拟世界传感器数据中迭代以产生未知或估计的参数的数值。
而且，在行驶事件发生之后，当获得更多的细节和准确性之后，通过传感器融合获得的任何推理的精确性比较可以与之后获得的更多细节或准确性进行比较(例如在事件结束并且获得更准确的结果之后)。为了改进与行驶事件相关的模型的准确性，可以对联合概率模型作出改善。
在联合概率图形模型中的关系和节点的数值和组织可以包括反应车辆、传感器系统和/或特定传感器的动态和不确定性的数值。例如，关系可以表明通过一个传感器测量的关于特定对象的数值如何与通过不同传感器(例如不同传感器类型)测量的关于相同特定对象的数值相关。而且，该数值可以反映传感器的测量结果如何根据温度、照度、天气状况等而变化。由于下列两个原因可以产生动态系统的不确定性：第一是表示系统状态的传感器测量中的噪音；以及第二是系统自身状态中的噪音(例如系统不能根据限定其运动的模型移动(例如车辆以直线行驶))。
在联合概率图形模型中的关系和节点的数值和组织可以反应物理定律，物理定律约束车辆或传感器系统的操作。例如，车辆(或其它对象)运动方面的物理限制以及传感器的物理限制也可以由联合概率图形模型中的数值、关系和节点来反映。例如，为了消除现实世界中不可行的结果而基于车辆运动和/或传感器的物理定律和限制来产生描述节点间关系的边缘函数。
之后可以基于联合概率图形模型使用推理和如WISH算法的决策算法来处理传感器数据。在一个实施例中，可以使用WISH算法检测车辆附近区域逻辑网格的一个或多个单元内的对象的存在。许多随机变量系统可以采用可行联合配置(随机变量设置)的实验数据。由于推理通常需要配分函数的计算，配分函数是加权求和(其许多呈指数)的配置，因此这样存在问题。本发明所使用的WISH算法使用少量比较容易优化的问题与该难处理的问题近似(具有严格的近似边界)。而且，WISH算法可以针对行驶或车辆操作期间的高效计算并行。主要由于评估特定参数设置意味着重新计算配分函数，因此模型选择进一步加剧了推理的维度问题。本发明给出的WISH算法的应用实现了针对新的多个传感器平台而言易处理和自动产生信息融合的模型，该模型在具有有限的领域知识时是尤其有用的，领域知识关于在给定情形下如何权衡来自不同传感器的信息。
图4是说明使用WISH算法的一个实施例的传感器融合的示意性框图。雷达、激光雷达、摄像机、GPS以及其它系统可以通过各信号接口提供信息。利用来自传感器或测量系统的信息产生传感器融合。传感器融合可以使用卡尔曼滤波、粒子滤波、WISH算法和/或深度学习算法以产生关于对象检测、速度限制、行驶行为决策、概率或置信值或有助于自动驾驶/辅助系统102的其它值的推理值。基于传感器融合输出和/或关于事件的任何已知信息，可以验证推理值的准确性和/或更新传感器融合算法。例如，可以基于现实或虚拟行驶事件期间收集的另外的数据更新概率图形模型。
图形模型可以用于为传感器系统建模。在一个实施例中，该方法的概率图形模型可能是无取向的图形模型。图形模型的节点可以包括随机变量的集合。在一个实施例中，节点可以捕捉如占用(例如表示传感器或车辆附近区域的逻辑网格单元的占用)的二元随机变量、如物质类型的分类变量、如反射率和光谱特征的连续变量等。边缘可以描述成对随机变量如何彼此相互关联。例如，在图形中的每个边缘上，兼容性函数可以描述节点如何连接。通过机器学习产生的参数有助于描述这些函数，这些函数可以捕获不同感测模式(例如激光雷达、雷达、摄像机等)的物理特征。
在一个实施例中，系统中的节点可以表示描述不同点和区域的占用的二元变量。例如，车辆附近区域可以在逻辑上被分为具有节点的网格，节点表示特定区域或网格单元内的占用。边缘可以包括描述两个节点间数学关系的对应联合概率分布函数(PDF)。联合PDF可以包括已知的参数(如不同传感器测量的噪音水平)。另一示例是使用描述对象等的实质特性的参数学习环境中不同对象随着时间推移的特征尺度。
可以在图形模型的制备和设计期间(例如在离线阶段期间)使用WISH算法和/或在车辆关于对象跟踪和决策的主动操作期间(例如在线阶段期间)使用WISH算法。如本发明使用的，术语“在线”指的是传感器系统主动地辅助车辆行驶，而术语“离线”指的是传感器系统没有主动效地辅助车辆行驶。例如，在完成图形模型之前，可以将它作为离线阶段的机器学习、测试等的模型。一经该图形模型被安装在车辆内，车辆就可以在在线阶段期间在主动行驶场景中使用它。
在离线“学习”阶段，可以将预收集的传感器数据或模型化传感器数据和图形模型的结构以及它的参数化而并非参数值提供给WISH算法。WISH算法以迭代的方式核对预收集的虚拟或现实数据而帮助学习图形模型的参数。一经学会该概率图形模型参数，在车辆的主动行驶或操作期间(例如在线阶段期间)，可以将来自各种传感器的数据提供给WISH算法。之后WISH算法将来自传感器的数据与图形模型的结构以及已知的参数结合地使用。WISH算法处理该数据并且之后提供推理的输出，推理的输出包括特定网格单元占用的概率、它的速度或关于网格单元以及网格单元内的对象的其它信息。之后在行驶期间可以使用该信息检测和跟踪车辆周围的对象。
图5是根据一个实施例说明传感器融合部件104的子部件的示意性框图。传感器融合部件104包括传感器数据部件502、模型部件504、推理部件506、通知部件508以及学习部件510。仅以说明的方式给出部件502-510并且并非在所有实施例中都包括部件502-510。事实上，一些实施例可以包括仅一个部件或部件502-510中的两个或多个的任意组合。部件502-510中的一些可以位于传感器融合部件104外部，例如位于自动驾驶/辅助系统102或其它位置内。
传感器数据部件502配置为从一个或多个传感器接收传感器数据。在一个实施例中，传感器数据可以包括来自一个或多个感知传感器的用于观察车辆附近区域的感知数据。感知数据可以包括由摄像系统110、雷达系统106、激光雷达系统108、超声系统114或任何其它系统中的一个或多个产生的数据。在一个实施例中，感知数据可以包括关于车辆附近的一个或多个区域的传感器测量。传感器数据也可以包括来自车辆上的一个或多个传感器的信息，包括来自GPS系统112、车轮编码器或收集关于车辆的位置或运动的数据的任何其它系统的信息。
模块部件504对车辆的感测系统建模，例如传感器融合部件104或自动驾驶/辅助系统102所处的车辆。在一个实施例中，模型部件504可以存储或计算模型操作、关系和/或车辆的多个传感器的数值的图形化模型。图形模型可以包括对应于一个或多个连续变量的节点，该连续变量的节点与通过两个或多个传感器检测的对象相关，连续变量是例如障碍物的反射以及光谱特性。图形模型可以包括对应于关于障碍物的一个或多个分类变量的节点，例如对象类型和物质类型。图形模型可以包括对应于一个或多个二元变量的节点，例如单元被对象占用。图形模型可以包括一个或多个边缘或表明节点表示的变量之间的关系的节点间的连接。在一个实施例中，模型可以包括基于传感器数据计算节点处的值的函数。函数可以包括反应机器学习或节点间或传感器数据间的测量关系和/或传感器测量和模型化变量之间的计算关系的一个或多个参数。在一个实施例中，可以基于现实世界或虚拟数据以及来自现实或虚拟环境的已知地面实况通过机器学习确定一个或多个参数。在一个实施例中，模型包括关于一个或多个边缘的联合概率函数，该函数描述对应于边缘的节点在数学上如何关联。模型的参数可以被机器学习或可以基于确定性的约束和/或基于传感器测量不确定性检测和跟踪物理对象的置信水平的概率值计算模型参数，确定性的约束基于车辆的物理定律。
在一个实施例中，车辆附近或周围区域可以在逻辑上被分为具有多个单元的二维或三维网格。网格可以包括方形、圆形、椭圆形、球形或任何其它类型的网格。在一个实施例中，每个网格单元可以具有图形模型中的对应节点，该节点针对占用(例如单元内对象的存在)、速度、物质类型、对象识别或任何其它对象检测和跟踪信息而建模。例如，每个网格单元可以对应于车辆附近特定的区域(例如具有关于车辆移动的固定位置)并且可以基于该模型以及最近收集的传感器数据推理该单元的对象的一个或多个方面。
在一个实施例中，图形模型可以存储在计算机可读介质中，例如图1的数据存储器116。在一个实施例中，模型部件504可以从存储器中检索图形模型。在一个实施例中，模型部件504可以基于最近的传感器数据和模型中的函数计算关于图形模型的每个节点的数值。例如，图形模型可以包括变量，为了计算图形模型的每个特定节点的值，传感器测量可以代替该变量。模型部件504可以向推理部件506提供具有计算值的模型以推理关于被检测对象的位置、速度、标识或其它方面的信息。在一个实施例中，模型部件504可以向推理部件506提供模型和传感器数据。
推理部件506配置用于推理关于障碍物的存在或不存在和/或被检测障碍物的特性的信息。在一个实施例中，推理部件506配置为使用降维算法处理传感器数据以及模型以检测和跟踪物理对象。例如，推理部件506可以确定对象(如车辆、人、动物、路缘、树木或任何其它障碍物)是否存在于与车辆相关的特定位置。在一个实施例中，推理部件506可以确定对象的标识、对象的速度或速率、对象的预期行为等。在一个实施例中，推理部件506可以确定特定推理的准确的概率。
在一个实施例中，推理部件506可以使用WISH算法处理传感器数据和图形模型以确定一个或多个推理。例如，推理部件506可以执行模型和/或传感器数据的散列和汇总以确定障碍物是否存在以及关于车辆的其它信息。
通知部件508可以配置用于向自动驾驶/辅助系统102提供通过推理部件506确定的一个或多个推理。例如，通知部件508可以向自动驾驶/辅助系统102提供对应于车辆周围区域的网格单元值。例如，每个单元可以包括表明占用、被检测对象的速率、对象分类和/或概率、速率、或分类的概率值。在一个实施例中，自动驾驶/辅助系统102可以基于传感器融合部件104提供的推理和概率作出决策。在一个实施例中，通知部件508可以向自动驾驶/辅助系统102提供物理对象的位置或速率。在一个实施例中，自动驾驶/辅助系统102可以基于物理对象的检测和跟踪选择行驶路径。
学习部件510配置用于执行机器学习以更新传感器融合部件104的操作。在一个实施例中，学习部件510配置用于更新模型部件504所使用的模型和算法。例如，学习部件510可以基于通过一个或多个传感器检测的障碍物的已知位置的机器学习以及基于与传感器或车辆行驶相关的已知物理定律的因果或确定性约束来产生或改变模型的至少一部分。在一个实施例中，学习部件510可以基于车辆经历的一个或多个行驶事件的机器学习而改变模型的参数、函数或结构。例如，在行驶事件期间，可以使用传感器收集传感器数据。在行驶事件期间，可以做出推理部件506确定的推理并且用于车辆行驶。在事件结束之后，附加信息是可用的，而该信息在事件期间不一定可用。例如可以执行在事件期间关于真正发生了什么的更准确的计算或者可以检测事件的结果。使用该更准确的附加信息或结果，学习部件510可以修改模型的参数或其它方面以改善模型部件504和推理部件506的操作。类似地，学习部件510可以更新推理部件506所使用的算法以基于传感器数据和/或图形模型推理细节。
现在参照图6，示出了用于传感器融合的方法600的示意性流程图。方法600可以由自动驾驶/辅助系统或传感器融合部件实施，例如图1的自动驾驶/辅助系统102或图1或5的传感器融合部件104。
方法600在602处传感器数据部件502获得关于车辆附近区域的来自两个或多个传感器的传感器数据开始。例如，传感器数据部件502可以从雷达系统106、激光雷达系统108、摄像机系统110、GPS 112、超声系统114、车轮编码器或观察车辆周围区域的任何其它传感器获得传感器数据602。在604，模型部件504基于传感器数据计算联合概率图形模型中的数值。图形模型可以包括对应于随机变量的节点和表明节点间相关性的边缘。在一个实施例中，一个或多个函数可以描述如何基于传感器数据以及与其它节点的关系计算节点值。在606，推理部件506基于传感器数据和模型使用WISH算法检测和跟踪车辆附近的障碍物。例如，推理部件506可以使用散列函数和加权求和检测和跟踪障碍物，从而估计车辆附近对象的检测、位置和/或速率。
现在参照图7，示出了关于传感器融合的方法700的示意性流程图。可以利用自动驾驶/辅助系统或传感器融合部件执行方法700，例如图1的自动驾驶/辅助系统102或图1或5的传感器融合部件104。
方法700在702以传感器数据部件502从两个或多个传感器接收关于车辆附近区域的传感器数据开始。在704模型部件504存储联合概率图形模型，联合概率图形模型基于两个或多个传感器建模随机变量和随机变量之间的关系。在一个实施例中，模型在逻辑上将车辆附近的区域分成网格和表示网格各单元二元占用的图形模型的多个节点。在706推理部件506使用降维算法处理传感器数据和模型以检测和跟踪物理对象。例如，推理部件506可以使用WISH算法处理传感器数据和模型。
示例
下列示例属于进一步的实施例。
示例1是包括配置用于获得传感器数据的两个或多个传感器的系统。该系统也包括模型部件和推理部件。该模型部件配置为基于传感器数据计算联合概率图形模型中的数值。图形模型包括对应于随机变量的节点以及表明节点间相关性的边缘。推理部件配置为基于传感器数据以及模型使用WISH算法来检测和跟踪车辆附近的障碍物。
在示例2中，示例1的推理部件进一步确定障碍物相对于车辆的速度、位置和速率中一个或多个的置信边界。
在示例3中，示例1-2任何一个的一个或多个节点对应于描述被两个或多个传感器观察的区域的网格内单元的占用并且推理部件确定单元被对象占用的概率以及占用单元的对象的速率中的一个或多个。
在示例4中，示例1-3中任何一个的一个或多个节点对应于通过两个或多个传感器检测的对象的一个或多个连续变量。连续变量包括障碍物的反射和光谱特征中的一个或多个。
在示例5中，示例1-4中任何一个的一个或多个节点对应于障碍物的一个或多个分类变量。分类变量包括对象类型和物质类型中的一个或多个。
在示例6中，示例1-5中任何一个的模型包括基于传感器数据计算节点值的函数。函数包括用于计算数值的预定机器学习参数。
在示例7中，示例1-6中任何一个的模型包括描述对应于边缘的节点在数学上如何相关联的一个或多个边缘的联合概率函数。
在示例8中，示例1-7中任何一个的系统进一步包括用于存储联合概率图形模型的存储部件。
在示例9中，示例1-8中任何一个的系统进一步包括学习部件，学习部件配置为基于通过一个或多个传感器检测的障碍物已知位置的机器学习以及基于已知物理定律的因果或确定性约束产生或改变模型的至少一部分的，该物理定律与传感器或车辆行驶相关。
在示例10中，示例1-9中任何一个的两个或多个传感器包括激光雷达系统、摄像系统、超声系统、定位系统和车轮编码器中的一个或多个。
示例11是由计算装置实施的方法。该方法包括从两个或多个传感器接收关于车辆附近区域的传感器数据。该方法包括存储联合概率图形模型，该联合概率图形模型基于两个或多个传感器建模随机变量和随机变量间的关系。该模型将车辆附近的区域在逻辑上分成网格和表示网格各单元的二元占用的多个图形模型节点。该方法包括使用降维算法处理传感器数据和模型，从而检测和跟踪物理对象。
在示例12中，示例11的降维算法包括WISH算法。
在示例13中，示例11-12中任何一个的方法进一步包括向自动驾驶系统或自动辅助系统提供物理对象的位置或速率。
在示例14中，示例11-13中任何一个的方法进一步包括基于物理对象的检测和跟踪使用处理器选择行驶路径。
在示例15中，示例11-14中任何一个的模型包括基于一个或多个确定性约束所确定的参数以及检测和跟踪物理对象的置信水平的概率值，该确定性约束基于车辆的物理定律。
在示例16中，示例11-15中任何一个的方法进一步包括基于车辆经历的一个或多个行驶事件的机器学习改变模型的至少一部分。
示例17是存储指令的计算机可读存储介质，指令在被一个或多个处理器执行时使处理器：从两个或多个传感器接收关于车辆附近区域的传感器数据；存储联合概率图形模型，该联合概率图形模型基于两个或多个传感器将随机变量以及随机变量之间的关系建模；以及基于联合概率图形模型处理传感器数据，从而检测和跟踪车辆附近的一个或多个物理对象。处理传感器数据涉及基于联合概率图形模型使用WISH算法的处理。
在示例18中，示例17的计算机可读存储介质进一步包括使处理器向车辆的自动驾驶系统或自动辅助系统提供一个或多个物理对象的位置或速率的指令。
在示例19中，示例17-18中的任何一个的处理传感器数据包括基于模型表示的一种或多种虚拟环境来处理传感器数据。
在示例20中，示例17-19中的任何一个的模型将车辆附近的区域在逻辑上分成网格，以及图形模型的多个节点表示网格的各单元的占用。基于联合概率图形模型处理传感器数据包括处理以确定具有置信边界的每个单元的占用概率。
示例21是包括用于实施或实现示例1-20中的任何一个的方式的系统或装置。
应注意的是，上文说明的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以实施它们的功能的至少一部分。例如，传感器可以包括计算机代码，计算机代码配置为在一个或多个处理器中执行并且可以包括通过计算机代码控制的硬件逻辑/电路。本发明提供这些示例装置的目的是说明而并非意在限制。本发明的实施例可以在进一步类型的装置中实施，如图相关领域技术人员所知道的。
本发明的实施例针对计算机程序产品，其包含存储在任何计算机可用介质上的逻辑(例如以软件的形式)。这样的软件在一个或多个数据处理装置内运行时会引起装置如本发明所描述地操作。
虽然上文描述了本发明的各种实施例，但应理解的是，仅以示例的方式呈现该实施例，而并非是限制。相关领域技术人员可以明白的是，在不脱离本发明精神和范围的情况下可以对本发明作出形式和细节上的各种变化。因此，不应通过上述示例性实施例限制本发明的宽度和范围，而仅应根据下列权利要求及其等同的范围来限定。上述说明为了描述和说明的目的而呈现。并非意在穷举或将本发明限定为所公开的精确形式。根据上述教导，许多改变和变化是可行的。进一步地，应指出的是，任何或全部前述可选的实施方式可以以任何所需组合使用以形成本发明另外的混合实施方式。
进一步地，虽然已经描述和说明了本发明的特定实施方式，但本发明并非将特定形式或部分的设置限定为所述和所示的那样。本发明的范围通过本发明所附权利要求、本发明和不同申请中提出的任何未来的权利要求以及其等同的范围限定。

Claims (20)

1.一种系统，所述系统包含：
配置用于获得传感器数据的两个或多个传感器；
配置为基于所述传感器数据计算联合概率图形模型中的数值的模型部件，其中所述图形模型包含对应于随机变量的节点以及表明所述节点间的相关性的边缘，所述随机变量的节点与通过所述两个或多个传感器检测的障碍物相关；以及
推理部件，所述推理部件配置为基于所述传感器数据和所述模型使用散列加权积分和求和(WISH)算法检测和跟踪车辆附近的障碍物。
2.根据权利要求1所述的系统，其中所述推理部件确定障碍物相对于车辆的速度、位置和速率中的一个或多个的置信边界。
3.根据权利要求1所述的系统，其中一个或多个节点对应于描述通过所述两个或多个传感器观察的区域的网格内单元的占用；并且其中所述推理部件确定所述单元被对象占用的概率以及占用所述单元的所述对象的速率中的一个或多个。
4.根据权利要求1所述的系统，其中一个或多个节点对应于被所述两个或多个传感器检测到的对象的一个或多个连续变量，其中所述连续变量包含障碍物的反射和光谱特征中的一个或多个。
5.根据权利要求1所述的系统，其中一个或多个节点对应于障碍物的一个或多个分类变量，其中所述分类变量包含对象类型和物质类型中的一个或多个。
6.根据权利要求1所述的系统，其中所述模型包含基于所述传感器数据计算节点处的数值的函数，其中所述函数包含用于计算所述数值的预定机器学习参数。
7.根据权利要求1所述的系统，其中所述模型包括一个或多个边缘的联合概率函数，所述函数描述对应于所述边缘的节点在数学上如何关联。
8.根据权利要求1所述的系统，进一步包含用于存储所述联合概率图形模型的存储部件。
9.根据权利要求1所述的系统，进一步包含学习部件，所述学习部件配置为基于通过一个或多个传感器检测到的障碍物的已知位置的机器学习以及基于与所述传感器或所述车辆行驶相关的已知物理定律的因果或确定性约束而产生或改变所述模型的至少一部分。
10.根据权利要求1所述的系统，其中所述两个或多个传感器包含光检测和测距(激光雷达)系统、摄像系统、超声系统、定位系统和车轮编码器中的一个或多个。
11.一种利用计算装置实施的方法，所述方法包含：
从两个或多个传感器接收关于车辆附近区域的传感器数据；
存储联合概率图形模型，所述联合概率图形模型基于所述两个或多个传感器将随机变量以及所述随机变量之间的关系建模，其中所述模型将车辆附近的区域在逻辑上分为网格，并且其中图形模型的多个节点表示所述网格各单元的二元占用，所述随机变量的节点与通过所述两个或多个传感器检测的物理对象相关；以及
使用降维算法处理所述传感器数据以及所述模型以检测和跟踪物理对象。
12.根据权利要求11所述的方法，其中所述降维算法包含散列加权积分和求和(WISH)算法。
13.根据权利要求11所述的方法，进一步包含向自动驾驶系统或自动辅助系统提供所述物理对象的位置或速率。
14.根据权利要求11所述的方法，进一步包含基于所述物理对象的检测和跟踪使用所述处理器选择行驶路径。
15.根据权利要求11所述的方法，其中所述模型包含基于确定性约束以及概率值中的一个或多个所确定的参数，所述确定性约束基于所述车辆的物理定律，所述概率值是关于检测和跟踪所述物理对象的置信度。
16.根据权利要求11所述的方法，进一步包含基于所述车辆经历的一个或多个行驶事件的机器学习而改变所述模型的至少一部分。
17.一种存储指令的计算机可读存储介质，所述指令在被一个或多个处理器执行时使所述处理器：
从两个或多个传感器接收关于车辆附近区域的传感器数据；
存储联合概率图形模型，所述联合概率图形模型基于所述两个或多个传感器将随机变量以及所述随机变量之间的关系建模，其中所述模型将所述车辆附近的区域在逻辑上分成网格，并且其中图形模型的多个节点表示所述网格各单元的占用，所述节点与通过所述两个或多个传感器检测的一个或多个物理对象相关，以及
基于所述联合概率图形模型处理所述传感器数据以检测和跟踪所述车辆附近的一个或多个物理对象，其中处理所述传感器数据包含基于所述联合概率图形模型使用散列加权积分和求和(WISH)算法处理。
18.根据权利要求17所述的计算机可读存储介质，进一步包含配置为使所述处理器向所述车辆的自动驾驶系统或自动辅助系统提供一个或多个物理对象的位置或速率的指令。
19.根据权利要求17所述的计算机可读存储介质，其中处理所述传感器数据包含基于通过所述模型表示的一种或多种虚拟环境处理所述传感器数据。
20.根据权利要求17所述的计算机可读存储介质，其中基于所述联合概率图形模型处理所述传感器数据包含确定具有置信边界的每个单元内占用概率的处理。
CN201610894036.8A 2015-10-19 2016-10-13 使用散列加权积分和求和的目标跟踪的概率推理 Active CN107015559B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/887,031 2015-10-19
US14/887,031 US10229363B2 (en) 2015-10-19 2015-10-19 Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking

Publications (2)

Publication Number Publication Date
CN107015559A CN107015559A (zh) 2017-08-04
CN107015559B true CN107015559B (zh) 2021-11-30

Family

ID=57680818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610894036.8A Active CN107015559B (zh) 2015-10-19 2016-10-13 使用散列加权积分和求和的目标跟踪的概率推理

Country Status (6)

Country Link
US (1) US10229363B2 (zh)
CN (1) CN107015559B (zh)
DE (1) DE102016119130A1 (zh)
GB (1) GB2545540A (zh)
MX (1) MX2016013661A (zh)
RU (1) RU2016140629A (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10732582B2 (en) * 2015-12-26 2020-08-04 Intel Corporation Technologies for managing sensor malfunctions
EP3200428B1 (de) * 2016-01-26 2020-03-25 dSPACE digital signal processing and control engineering GmbH Computerimplementiertes verfahren zur implementierung einer v2x-anwendung
JP6327283B2 (ja) * 2016-04-06 2018-05-23 トヨタ自動車株式会社 車両用情報提供装置
DE102016216973A1 (de) 2016-09-07 2018-03-08 Robert Bosch Gmbh Steuervorrichtung und Verfahren zum Steigern mindestens eines Bremsdrucks in mindestens einem Radbremszylinder eines Bremssystems eines Fahrzeugs
US10528850B2 (en) * 2016-11-02 2020-01-07 Ford Global Technologies, Llc Object classification adjustment based on vehicle communication
US10579065B2 (en) * 2016-11-23 2020-03-03 Baidu Usa Llc Algorithm and infrastructure for robust and efficient vehicle localization
DE102016225915A1 (de) * 2016-12-21 2018-06-21 Robert Bosch Gmbh System und Verfahren zur Umfelderfassung eines Fahrzeugs
US10380890B2 (en) * 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data
US10223248B2 (en) 2017-05-15 2019-03-05 Bank Of America Corporation Conducting automated software testing using centralized controller and distributed test host servers
US10489287B2 (en) 2017-05-15 2019-11-26 Bank Of America Corporation Conducting automated software testing using centralized controller and distributed test host servers
US10692365B2 (en) 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
US20220375336A1 (en) 2017-05-17 2022-11-24 Cavh Llc Autonomous Vehicle (AV) Control System with Roadside Unit (RSU) Network
US10210617B2 (en) * 2017-05-26 2019-02-19 Dura Operating, Llc Method and system for generating a perception scene graph having a focus region for a motor vehicle
CN110691986B (zh) * 2017-06-02 2023-07-11 索尼公司 用于计算机视觉的设备、方法和非暂时性计算机可读记录介质
CN113466822A (zh) * 2017-07-04 2021-10-01 百度在线网络技术（北京）有限公司 用于检测障碍物的方法和装置
DE102017217972A1 (de) * 2017-10-10 2019-04-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen eines inversen Sensormodells und Verfahren zum Erkennen von Hindernissen
JP7051366B2 (ja) * 2017-10-18 2022-04-11 株式会社東芝 情報処理装置、学習済モデル、情報処理方法、およびプログラム
US11048927B2 (en) 2017-10-24 2021-06-29 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
DE102017221634B4 (de) * 2017-12-01 2019-09-05 Audi Ag Kraftfahrzeug mit einem Fahrzeugführungssystem, Verfahren zum Betrieb eines Fahrzeugführungssystems und Computerprogramm
US10255528B1 (en) * 2017-12-06 2019-04-09 Lytx, Inc. Sensor fusion for lane departure behavior detection
CN109932721B (zh) * 2017-12-15 2023-09-29 财团法人车辆研究测试中心 应用于多感测器融合的误差及侦测机率分析方法
US11130497B2 (en) * 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
AT520781A2 (de) 2017-12-22 2019-07-15 Avl List Gmbh Verhaltensmodell eines Umgebungssensors
CN108089191B (zh) * 2017-12-25 2021-03-30 中山大学 一种基于激光雷达的全局定位系统及方法
WO2019156956A2 (en) 2018-02-06 2019-08-15 Cavh Llc Intelligent road infrastructure system (iris): systems and methods
US10551847B2 (en) 2018-02-06 2020-02-04 Here Global B.V. Method, apparatus, and system for machine learning of physical dividers using map data and vehicular sensor data
US10955851B2 (en) * 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
JP6912651B2 (ja) * 2018-02-27 2021-08-04 日立Astemo株式会社 ノイズキャンセル学習装置、及び、それを備えた車両
US11074508B2 (en) 2018-03-29 2021-07-27 International Business Machines Corporation Constraint tracking and inference generation
AU2019266266A1 (en) 2018-05-09 2020-11-12 Cavh Llc Systems and methods for driving intelligence allocation between vehicles and highways
WO2019231456A1 (en) 2018-05-31 2019-12-05 Nissan North America, Inc. Probabilistic object tracking and prediction framework
US10745011B2 (en) 2018-05-31 2020-08-18 Nissan North America, Inc. Predicting yield behaviors
US10569773B2 (en) 2018-05-31 2020-02-25 Nissan North America, Inc. Predicting behaviors of oncoming vehicles
US10564643B2 (en) * 2018-05-31 2020-02-18 Nissan North America, Inc. Time-warping for autonomous driving simulation
US11842642B2 (en) 2018-06-20 2023-12-12 Cavh Llc Connected automated vehicle highway systems and methods related to heavy vehicles
WO2020014227A1 (en) 2018-07-10 2020-01-16 Cavh Llc Route-specific services for connected automated vehicle highway systems
WO2020014131A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Connected automated vehicle highway systems and methods related to transit vehicles and systems
US11373122B2 (en) 2018-07-10 2022-06-28 Cavh Llc Fixed-route service system for CAVH systems
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US10969789B2 (en) 2018-11-09 2021-04-06 Waymo Llc Verifying predicted trajectories using a grid-based approach
US10896334B2 (en) 2018-11-28 2021-01-19 Here Global B.V. Method and system of a machine learning model for detection of physical dividers
CN109814112A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 一种超声波雷达与激光雷达信息融合方法和系统
WO2020157138A1 (en) * 2019-01-30 2020-08-06 Sony Corporation Object detection apparatus, system and method
JP7208052B2 (ja) * 2019-02-15 2023-01-18 株式会社豊田中央研究所 光学的測距装置
KR20210134638A (ko) * 2019-03-29 2021-11-10 인텔 코포레이션 자율 차량 시스템
US11670001B2 (en) * 2019-05-17 2023-06-06 Nvidia Corporation Object pose estimation
US11214261B2 (en) * 2019-06-11 2022-01-04 GM Global Technology Operations LLC Learn association for multi-object tracking with multi sensory data and missing modalities
US11227194B2 (en) * 2019-07-16 2022-01-18 Baidu Usa Llc Sensor synchronization offline lab validation system
DE102019210767A1 (de) * 2019-07-19 2021-01-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Fusionieren einer Mehrzahl von Signalen einer Ultraschallsensorik eines Fortbewegungsmittels
DE102019123353A1 (de) * 2019-08-30 2021-03-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Validieren einer Umgebungskarte für die Verwendung in einem Fahrzeug
US11069161B2 (en) 2019-09-30 2021-07-20 Ford Global Technologies, Llc Adaptive sensor fusion
CN110843792B (zh) * 2019-11-29 2021-05-25 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111126362B (zh) * 2020-03-26 2020-08-07 北京三快在线科技有限公司 一种预测障碍物轨迹的方法及装置
DE102020204833B4 (de) 2020-04-16 2022-12-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Fusionieren einer Mehrzahl von Signalen einer Ultraschallsensorik eines Fortbewegungsmittels
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration
JP7094411B1 (ja) 2021-03-17 2022-07-01 三菱電機株式会社 センサデータ処理システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281840A (zh) * 2014-09-28 2015-01-14 无锡清华信息科学与技术国家实验室物联网技术中心 一种基于智能终端定位识别建筑物的方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144185A (ja) 1997-09-03 1999-05-28 Honda Motor Co Ltd 自動運転制御誘導システム
ES2355188T3 (es) 2000-06-23 2011-03-23 Sportvision Inc. Sistema para seguir la trayectoria basado en gps.
US6862537B2 (en) 2002-03-21 2005-03-01 Ford Global Technologies Llc Sensor fusion system architecture
JP3931879B2 (ja) 2003-11-28 2007-06-20 株式会社デンソー センサフュージョンシステム及びそれを用いた車両制御装置
US7822266B2 (en) * 2006-06-02 2010-10-26 Carnegie Mellon University System and method for generating a terrain model for autonomous navigation in vegetation
DE102006034518A1 (de) 2006-07-26 2008-01-31 Robert Bosch Gmbh Verfahren zur Ortung eines Objekts
CN101881819A (zh) * 2009-05-08 2010-11-10 刘伯安 一种无线电导航方法和(或)网络及应用
CN102353379B (zh) * 2011-07-06 2013-02-13 上海海事大学 一种适用于自动驾驶车导航的环境建模方法
EP2765046B1 (en) * 2011-10-03 2020-02-12 Toyota Jidosha Kabushiki Kaisha Driving assistance system for vehicle
CN102564431B (zh) * 2011-11-14 2014-11-12 南京理工大学 基于多传感器融合的非结构化环境理解方法
CN103176185B (zh) * 2011-12-26 2015-01-21 上海汽车集团股份有限公司 用于检测道路障碍物的方法及系统
US9626599B2 (en) * 2012-04-09 2017-04-18 GM Global Technology Operations LLC Reconfigurable clear path detection system
US9429650B2 (en) 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
DE102013212710A1 (de) 2013-05-16 2014-11-20 Siemens Aktiengesellschaft Sensorprodukt, Simulator und Verfahren zur Simulation von Sensormessungen, zur Fusion von Sensormessungen, zur Validierung eines Sensormodells und zum Entwurf eines Fahrerassistenzsystems
US8930060B1 (en) * 2013-07-15 2015-01-06 Ford Global Technologies Post-impact path assist for vehicles
KR101503473B1 (ko) 2014-01-10 2015-03-18 한양대학교 산학협력단 차량의 주행 상황 판단 시스템 및 방법
CN104636763B (zh) * 2014-12-01 2018-10-09 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法
CN104635714B (zh) * 2014-12-12 2018-02-27 同济大学 一种基于时间‑空间特征的机器人示教轨迹生成方法
US20160210383A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed
US20160210775A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual sensor testbed
US9610945B2 (en) * 2015-06-10 2017-04-04 Ford Global Technologies, Llc Collision mitigation and avoidance
US10096263B2 (en) * 2015-09-02 2018-10-09 Ford Global Technologies, Llc In-vehicle tutorial
US9940625B2 (en) * 2015-09-02 2018-04-10 Ford Global Technologies, Llc Autonomous driving certification generalizer
US9721472B2 (en) * 2015-09-22 2017-08-01 Ford Global Technologies, Llc Formulating lane level routing plans
US9829888B2 (en) * 2015-11-17 2017-11-28 Ford Global Technologies, Llc Distinguishing lane markings for a vehicle to follow
US10262540B2 (en) * 2016-01-29 2019-04-16 Ford Global Technologies, Llc Bollard receiver identification
US9889716B2 (en) * 2016-02-03 2018-02-13 Ford Global Technologies, Llc Roadway-crossing-anomaly detection system and method
US9975547B2 (en) * 2016-08-03 2018-05-22 Ford Global Technologies, Llc Methods and systems for automatically detecting and responding to dangerous road conditions
US10408937B2 (en) * 2016-09-20 2019-09-10 Ford Global Technologies, Llc Metal bridge detection systems and methods
US10195992B2 (en) * 2017-04-03 2019-02-05 Ford Global Technologies, Llc Obstacle detection systems and methods
US20180300620A1 (en) * 2017-04-12 2018-10-18 Ford Global Technologies, Llc Foliage Detection Training Systems And Methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281840A (zh) * 2014-09-28 2015-01-14 无锡清华信息科学与技术国家实验室物联网技术中心 一种基于智能终端定位识别建筑物的方法及装置

Also Published As

Publication number Publication date
DE102016119130A1 (de) 2017-04-20
GB2545540A (en) 2017-06-21
US20170109644A1 (en) 2017-04-20
US10229363B2 (en) 2019-03-12
MX2016013661A (es) 2017-04-18
CN107015559A (zh) 2017-08-04
RU2016140629A (ru) 2018-04-18
GB201617632D0 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
CN107015559B (zh) 使用散列加权积分和求和的目标跟踪的概率推理
US20220051035A1 (en) Object Detection and Property Determination for Autonomous Vehicles
US10471955B2 (en) Stop sign and traffic light alert
US10310087B2 (en) Range-view LIDAR-based object detection
US20180349746A1 (en) Top-View Lidar-Based Object Detection
US11537127B2 (en) Systems and methods for vehicle motion planning based on uncertainty
CN113345269B (zh) 基于v2x车联网协同的交通工具危险预警的方法、装置和设备
US11859990B2 (en) Routing autonomous vehicles using temporal data
US11668573B2 (en) Map selection for vehicle pose system
EP4114702A1 (en) Behavior prediction of surrounding agents
US20230221128A1 (en) Graph Exploration for Rulebook Trajectory Generation
CN115683134A (zh) 用于运载工具定位的方法和系统以及存储介质
CN113753040A (zh) 预测弱势道路用户乱穿马路行为
RU2751734C2 (ru) Способы и процессоры для управления рулением беспилотным автомобилем
US11640562B1 (en) Counterexample-guided update of a motion planner
WO2023249857A1 (en) Semi-closed loop rollouts for data augmentation
US10532750B2 (en) Method, device and system for wrong-way driver detection
US20210403056A1 (en) Convolution operator selection
US11897501B2 (en) ADS perception development
US11970185B2 (en) Data structure for storing information relating to an environment of an autonomous vehicle and methods of use thereof
US20240127603A1 (en) Unified framework and tooling for lane boundary annotation
WO2024073608A1 (en) Motion forecasting in autonomous vehicles using a machine learning model trained with cycle consistency loss
WO2024044305A1 (en) Efficient and optimal feature extraction from observations
CN117184123A (zh) 基于顺应先验对具有不确定测量的道路行为体进行状态识别
CN116907520A (zh) 用于运载工具的方法和系统以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant