CN112572325A - 自适应传感器融合 - Google Patents

自适应传感器融合 Download PDF

Info

Publication number
CN112572325A
CN112572325A CN202011036832.0A CN202011036832A CN112572325A CN 112572325 A CN112572325 A CN 112572325A CN 202011036832 A CN202011036832 A CN 202011036832A CN 112572325 A CN112572325 A CN 112572325A
Authority
CN
China
Prior art keywords
vehicle
data
sensor
performance
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011036832.0A
Other languages
English (en)
Inventor
伊曼·索尔塔尼博兹查洛伊
弗朗西斯·阿萨迪安
丽莎·斯卡里亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN112572325A publication Critical patent/CN112572325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R19/00—Wheel guards; Radiator guards, e.g. grilles; Obstruction removers; Fittings damping bouncing force in collisions
    • B60R19/02—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects
    • B60R19/48—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds
    • B60R19/483—Bumpers, i.e. impact receiving or absorbing members for protecting vehicles or fending off blows from other vehicles or objects combined with, or convertible into, other devices or objects, e.g. bumpers combined with road brushes, bumpers convertible into beds with obstacle sensors of electric or electronic type
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“自适应传感器融合”。一种计算机，包括处理器和存储器，所述存储器包括指令，所述指令将由所述处理器执行以：通过评估每个车辆数据源输出数据来确定用于操作车辆的多个车辆数据源的性能；以及基于所述性能使用强化学习来训练深度神经网络以确定所述车辆数据源中的每个的可靠性。所述指令还可以包括以下指令：基于可靠性组合来自车辆数据源的输出数据，包括使用深度神经网络将来自一个或多个车辆数据源的输出数据与性能相关联以确定来自每个车辆数据源的输出数据与车辆性能对应的准确度；以及基于组合的输出数据操作车辆。

Description

自适应传感器融合
技术领域
本公开总体上涉及车辆传感器，并且更具体地涉及车辆传感器融合。
背景技术
车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并且基于所述数据来操作车辆。车辆传感器可以提供关于车辆环境中要行驶的路线和要避开的对象的特征的数据。车辆的操作可依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。
发明内容
车辆可被配备为以自主模式和乘员驾驶模式两者操作。半自主或完全自主模式意指其中车辆可由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可被占用或未被占用，但是在任何一种情况下，都可在没有乘员辅助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被限定为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。
车辆中的计算装置可被编程为获取关于车辆外部环境的数据并使用所述数据来确定车辆路径，在所述车辆路径上以自主或半自主模式操作车辆。车辆可以基于车辆路径通过确定命令来引导车辆的动力传动系统、制动和转向部件以操作车辆沿着路径行驶而在道路上操作。关于外部环境的数据可包括车辆周围的环境中的一个或多个移动对象(诸如，车辆和行人等)的位置，并且可由车辆中的计算装置用来操作车辆。
车辆中的计算装置可以依赖于从对应于多个不同传感器模态的多个传感器获取的数据。传感器模态被限定为由传感器获取的数据的介质和类型。例如，获取图像数据的相机是一种模态，基于红外光获取距离数据的激光雷达传感器是第二模态，基于微波辐射获取距离数据的雷达传感器是第三模态，并且基于超声波获取距离数据的超声波传感器是第四模态。来自这些模态中的每个模态的传感器数据可由计算装置处理以确定类似类型的数据，例如在车辆周围的环境中对象的位置。计算装置可以组合来自对应于包括多个传感器模态的多个车辆传感器的多个车辆数据源的输出数据。例如，车辆可以包括多个相机和多个雷达传感器，其中每个传感器可以获取可以被处理以确定在车辆周围的环境中的对象的位置的数据。
在具有对应于多个模态的多个传感器的车辆中，并非用作车辆数据源的所有传感器/处理器组合都将输出具有相同分辨率和准确度的数据。例如，对于给定的对象和距车辆的距离，不同的模态在不同的环境条件下将具有不同的分辨率和准确度。例如，在一些恶劣天气条件下，雷达传感器可以比依赖于红外光的传输的激光雷达传感器更准确地获取关于道路上的其他车辆的数据。在其他示例中，与不能准确地确定小于5米至10米的距离的雷达传感器相比，超声波传感器可以更准确地确定在停放时距附近停放的车辆的距离。本文所描述的技术在多种车辆和环境条件下监测车辆数据源相对于车辆性能的性能，并且训练深度神经网络以确定车辆数据源的最佳组合。基于车辆性能、传感器性能和环境条件来组合多个车辆数据源在本文中被称为自适应传感器融合。
本文公开了一种方法，所述方法包括：通过评估每个车辆数据源输出数据来确定用于操作车辆的多个车辆数据源的性能；以及基于所述性能使用强化学习来训练深度神经网络以确定车辆数据源中的每个的可靠性。可以使用深度神经网络来组合来自车辆数据源的输出数据，以将来自一个或多个车辆数据源的输出数据与性能相关联，以确定来自每个车辆数据源的输出数据对应于车辆性能的准确度；并且可以基于组合的输出数据来操作车辆。可以基于可靠性来组合将包括在车辆中的哪些数据源。可以基于可靠性来确定哪些数据源正确地操作。每个车辆数据源的性能可以基于包括碰撞概率、燃料消耗或行驶时间中的至少一者的车辆操作的量度。车辆数据源中的每个都可以包括车辆传感器和用于处理传感器数据的计算装置。
车辆传感器可以包括相机、激光雷达传感器、超声波传感器和雷达传感器中的一者或多者。可以通过确定确定如何组合输出数据的权重来组合来自车辆数据源的输出数据。性能可以包括丢失的数据和传感器噪声水平。来自车辆数据源的输出数据可以包括车辆周围的环境中的对象的位置。操作车辆可以包括基于车辆周围的环境中的对象的位置来确定车辆路径。可通过控制车辆动力传动系统、转向和制动来沿着所述车辆路径操作所述车辆。强化学习可以包括当在系统的操作前成对的输入和地面实况不可用时训练深度神经网络。可以针对若干时间步长来确定对应于融合权重的奖励函数。用于训练深度神经网络的地面实况可以包括车辆性能指标。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上文方法步骤中的一些或全部的程序指令。还公开了一种计算机，所述计算机被编程为执行上述方法步骤中的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为通过评估每个车辆数据源输出数据来确定用于操作车辆的多个车辆数据源的性能并且基于所述性能使用强化学习来训练深度神经网络以确定车辆数据源中的每个的可靠性。可以使用深度神经网络来组合来自车辆数据源的输出数据，以将来自一个或多个车辆数据源的输出数据与性能相关联，以确定来自每个车辆数据源的输出数据对应于车辆性能的准确度；并且可以基于组合的输出数据来操作车辆。可以基于可靠性来组合将包括在车辆中的哪些数据源。可以基于可靠性来确定哪些数据源正确地操作。每个车辆数据源的性能可以基于包括碰撞概率、燃料消耗或行驶时间中的至少一者的车辆操作的量度。车辆数据源中的每个都可以包括车辆传感器和用于处理传感器数据的计算装置。
计算机还可以被编程为包括车辆传感器，所述车辆传感器包括相机、激光雷达传感器、超声波传感器和雷达传感器中的一者或多者。可以通过确定确定如何组合输出数据的权重来组合来自车辆数据源的输出数据。性能可以包括丢失的数据和传感器噪声水平。来自车辆数据源的输出数据可以包括车辆周围的环境中的对象的位置。操作车辆可以包括基于车辆周围的环境中的对象的位置来确定车辆路径。可通过控制车辆动力传动系统、转向和制动来沿着所述车辆路径操作所述车辆。强化学习可以包括当在系统的操作前成对的输入和地面实况不可用时训练深度神经网络。可以针对若干时间步长来确定对应于融合权重的奖励函数。用于训练深度神经网络的地面实况可以包括车辆性能指标。
附图说明
图1是示例性交通基础设施系统的图。
图2是具有多个传感器的示例车辆的图。
图3是用于执行车辆传感器融合的示例系统的图。
图4是使用深度神经网络执行传感器融合来操作车辆的示例过程的流程图。
具体实施方式
图1是交通基础设施系统100的图，所述交通基础设施系统100包括可以自主(“自主”本身在本公开中意指“完全自主”)、半自主和乘员驾驶(也称为非自主)模式操作的车辆110。一个或多个车辆110计算装置115可以从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行的用于进行包括如本文所公开的各种操作的指令。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。
计算装置115可包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下面进一步描述的车辆通信总线通信地耦接到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)通信；除此之外或可替代地，车辆110网络可包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外地，在计算装置115实际上包括多个装置的情况下，车辆通信网络可以用于在本公开中表示为计算装置115的装置之间的通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可以被配置为经由网络130通过车辆对基础设施(V对I)接口111与远程服务器计算机120(例如，云服务器)通信，如下所述，所述接口111包括允许计算装置115经由诸如无线互联网
Figure BDA0002703601910000061
或蜂窝网络的网络130与远程服务器计算机120通信的硬件、固件和软件。因此，V对I接口111可包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、
Figure BDA0002703601910000062
和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可以被配置为用于使用在附近车辆110间在移动自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V对V)网络(例如，根据专用短距离通信(DSRC)和/或类似的通信)通过V对I接口111与其它车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以用于稍后经由车辆通信网络和通向服务器计算机120或用户移动装置160的车辆对基础设施(V对I)接口111来进行检索和传输。
如已经提及的，通常包括在存储在存储器中并可由计算装置115的处理器执行的指令中的是用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可在没有驾驶员的情况下作出各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期实现路线的安全且有效的行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、在特定位置处的到达时间和为了通过十字路口的十字路口(无信号灯)最小到达时间。
如本文使用的术语控制器包括计算装置，所述计算装置通常被编程为监测和/或控制特定车辆子系统。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本文所描述的另外的编程。控制器可以通信地连接到计算装置115并从所述计算装置115接收指令以根据指令来致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并连接到车辆110通信总线(诸如控制器局域网(CAN)总线或局域互连网(LIN)总线)，以从计算装置115接收指令并基于指令来控制致动器。
传感器116可包括已知的各种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可以提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主地或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的陆基车辆110(例如，客车、轻型卡车等)。车辆110包括一个或多个传感器116、V对I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110在其中操作的环境相关的数据。以举例的方式但非限制，传感器116可以包括例如测高仪、摄像机、激光雷达(LIDAR)、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110正在操作所处的环境，例如，传感器116可以检测诸如天气条件(降雨、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。
图2是包括对应于多个传感器模态的多个车辆传感器116的车辆110的图。传感器舱202附接到车辆110的车顶。传感器舱202容纳激光雷达传感器206和五个彩色相机204a、204b、204c、204d、204e(统称为相机204)。车辆110的前部包括两个雷达传感器208a、208b(统称为雷达传感器208)和超声波传感器210。每个传感器204、206、208、210可以连接到一个或多个计算装置115，所述一个或多个计算装置115获取从传感器204、206、208、210输出的数据，并且处理所述数据以确定关于车辆110周围的环境的不同部分的数据。
例如，传感器204、206、208、210可以连接到执行软件过程的计算装置115，该软件过程从传感器204、206、208、210获取数据并且处理所获取的数据以定位车辆110周围的环境中的对象。例如，对象可以包括道路、车道标记、其他车辆和行人。每个传感器204、206、208、210和计算装置115的组合可以是向计算装置115提供关于对象位置的输出数据的数据源。计算装置可以从多个数据源接收输出数据并且组合输出数据以确定车辆110周围的环境中的对象的位置。计算装置115可以使用对象位置来操作车辆110。例如，计算装置115可以使用对象位置来确定避免与对象接触的车辆路径。
“车辆”可以包括除车辆110之外的平台(即，包括硬件和软件的装置或装置的系统)，并且可以包括获取多个模态数据的多个传感器。例如，车辆可以包括移动机器人和固定机器人，所述移动机器人和固定机器人从多种数据源获取输出数据以引导机器人末端执行器完成任务。机器人末端执行器是附接到完成任务的机器人的工具。机器人末端执行器的示例包括：夹持器，其附接和脱离工件以保持或移动工件；喷洒器，其沉积涂层和胶水；以及组装或拆卸工件的各种工具，包括螺丝刀、凿子、锤子等。机器人可以从安装在机器人本身上的数据源或者从安装在机器人正在其中操作的工作场所中的传感器获取关于路径和工件的输出数据。每个数据源可以包括传感器和计算装置，该计算装置确定关于机器人的位置和取向、一个或多个末端执行器的位置和取向以及一个或多个工件的位置和取向的数据。
使用应用于自动化任务的多个传感器模态的车辆的另一个示例是语音识别。在语音识别中，可以使用包括传声器、无线电部件、宽带网络和蜂窝电话的多个数据源来获取音频数据。可以使用多种不同的处理方案来处理每个音频数据源，以从音频数据提取特征用于进一步处理。例如，梅尔倒谱(mel cepstrum)特征和每信道能量是用于从音频数据提取特征的两种不同的预处理技术。取决于输入音频数据的信号强度和信噪比，不同的预处理技术可以以不同的准确度和可靠性从音频数据提取特征。从音频数据提取的特征可被传递到语音识别神经网络上，以执行语音识别任务。最佳语音识别可以取决于特征提取的准确度和可靠性。确定输入特征的准确度和可靠性可以改善输入音频特征被组合以输入到语音识别系统的方式，并且由此改善所执行的语音转录的质量。
本文公开的技术通过提供基于强化学习的自适应方案来改善包括车辆操作、机器人引导和语音识别的自动化任务，该自适应方案可以自动地调整分配给各种数据源的置信度以引导多个数据源的融合，从而输入到自动化任务。除了车辆操作、机器人引导和语音识别之外，包括多个数据源(包括一个或多个传感器模态和处理方案)的任何系统都可以受益于本文所描述的自适应传感器融合。
图3是自适应传感器融合系统300的图。自适应传感器融合系统300是基于强化学习(强化学习)310的系统，所述强化学习使用分配给各种数据源(传感器数据)306用于传感器融合(传感器融合)314的融合权重312来确定应用于多个车辆传感器116的置信水平。自适应传感器融合系统300用于随着传感器的所测量的可靠性或准确度随时间的变化来改变或调整来自多个传感器的数据在多传感器、多模态车辆系统中组合的方式。自适应传感器融合系统300可以融合用于多传感器车辆110操作、多传感器移动或固定机器人引导、语音识别以及通常依赖于多个数据源来完成任务的任何复杂系统的传感器数据。自适应传感器融合系统300使用强化学习310来确定输入到传感器融合314的融合权重312，所述融合权重312确定多模态数据源306将如何被传感器融合314组合或融合以作为输出数据316输出。强化学习310输入多模态数据源306的性能评估(性能评估)308，以学习车辆110中包括的各种数据源306中的哪些数据源提供最可靠的数据。
自适应传感器融合系统300开始于向性能评估308输入车辆数据(车辆数据)302、环境数据(环境数据)304和数据源(传感器数据)306。车辆数据302包括从车辆传感器116获取并且由计算装置115处理的关于车辆操作的数据，所述计算装置115包括惯性测量单元(IMU)、全球定位系统(GPS)和车轮旋转传感器。例如，来自车辆传感器116的数据可以用于测量车辆位置、取向和关于横向加速度和纵向加速度的数据，并且在与关于车辆动力传动系统、转向和制动的数据结合时可以确定轮胎滑移和车辆打滑。例如，来自车辆传感器116的车辆数据302可用于确定碰撞概率、燃料消耗或行驶时间。车辆数据302还可以包括对应于发送到动力传动系统控制器112、转向控制器114和制动控制器113的命令的车辆110的预期操作与如由车辆传感器116测量的车辆110的实际操作之间的差异。
环境数据304也输入到性能评估308。环境数据304包括例如关于外部温度、大气压力和降水的数据。环境数据304可以指示传感器退化的可能来源，如车辆传感器116上形成的雨和冰，以及退化的车辆110操作的可能来源，如道路的雪和冰。
数据源306包括来自多个传感器和用于处理传感器数据的计算装置的输出数据。例如，传感器数据可以被处理以确定用于操作车辆110的数据。数据源306的示例包括从相机获取并且使用计算装置处理以定位车辆周围的环境中的对象的数据。例如，可以用卷积深度神经网络来处理相机数据，以定位车辆110周围的其他车辆和行人。可以使用贝叶斯推断来处理激光雷达传感器数据，以定位车辆110周围的环境中的对象，其中贝叶斯推断确定对应于由激光雷达传感器获取的距离数据的点云数据中的数据点属于环境中的对象的概率取决于环境中的对象的先前确定的概率。类似地，由雷达传感器获取的数据和由声纳传感器获取的数据可以被处理以确定车辆110周围的环境中的对象的存在或不存在。基于视频、激光雷达、雷达和声纳传感器数据获取和确定的对象位置数据可以连同车辆数据302和环境数据304一起输出到性能评估308。
性能评估308基本上连续地输入车辆数据302、环境数据304和数据源306，并且使用输入数据来更新评估车辆110的性能的奖励/成本值。例如，如果车辆数据302指示车辆110已经接触到对象，例如另一个车辆，或者车辆110的车轮正在打滑，则性能评估308将确定被称为性能指标的负奖励/成本值，以输出到强化学习310。性能评估可以输出对应于由于数据丢失或传感器噪声水平增加而引起的车辆性能下降的负值。传感器故障或天气或污染引起的传感器遮蔽可能会导致数据丢失或传感器噪声水平增加。通常，基于数据源306符合预期性能的车辆110操作确定正奖励/成本值，并且不符合预期行为的车辆110操作将导致输出到强化学习的负奖励/成本值。当车辆110以更理想的方式操作时，性能评估308输出较高的性能指标，而当车辆110以较不理想的方式操作时，性能评估308输出较低的性能指标。强化学习310使用性能指标来学习哪些数据源306对应于车辆110的理想操作以及哪些数据源306对应于车辆110的较不理想的操作。
强化学习是输入车辆数据302、环境数据304和数据源306并且输出融合权重312的深度神经网络。强化学习是一种用于训练深度神经网络的技术，在所述深度神经网络中成对的输入和地面实况值不可用。地面实况是指关于独立于深度神经网络确定的深度神经网络的期望输出结果的数据。强化学习是一种用于在系统的操作之前成对的输入和地面实况不可用时训练深度神经网络的技术，例如，其中用于训练深度神经网络的奖励/损失函数是多步过程的结果，在所述多步过程中奖励/损失值是可为从深度神经网络输出的即时结果中去除的若干时间步长的函数。例如，从强化学习310中包括的深度神经网络输出的与融合权重312相关联的奖励/损失值可能在数据源306用于车辆110的操作的时间之后的若干时间步长内没有被确定。强化学习310开始于假设融合权重312的值并且在性能评估308接收到允许计算奖励/损失函数的数据时训练深度神经网络以在将来的时间步长修改融合权重312。以这种方式，当从车辆110的操作中获得结果时，强化学习310训练所包括的深度神经网络，其中当自适应传感器融合系统300与来自经由车辆110传感器116确定的环境的数据相互作用时，强化学习随时间确定最佳融合权重312。
强化学习310包括多个深度神经网络，所述多个深度神经网络输出多个融合权重312，例如，分别对应于由数据源306输出的距离测量值DL、DR，DS和DC的wL，wR、wS和wC，所述数据源306分别对应于激光雷达、雷达、声纳和相机的对象位置。传感器融合(传感器融合)314输入融合权重312和数据源306，并且根据如下等式产生对应于到对象的单个距离测量的输出数据316D：
D＝wLDL+wRDR+wSDS+wCDC (1)
其中D对应于融合的距离测量。
融合权重312还被传递到系统健康监测器(健康监测器)318，系统健康监测器318将融合权重312与先前获取的融合权重312进行比较以确定数据源306中的变化，其中对应于特定传感器的权重的减少可以指示传感器不再可靠地操作。在一个示例中，可以将每个融合权重w与预设阈值T进行比较。当对应于传感器的加权值下降到低于阈值，即，w＜T时，可以将传感器性能确定为低于预期水平，并且生成由健康监测系统输出的警报320。例如，如果相机被灰尘或冰遮蔽并且不再产生可靠的数据，则强化学习310将输出反映相机的较低可靠性的融合权重312。例如，健康监测器318将向车辆110计算装置115输出警报320以发起清洁或请求服务。
设计优化(优化设计)322随时间记录融合权重312，并且将记录数据324输出到确定系统在长时间段内的性能的过程。通过强化学习310来学习可靠性水平，并且将其分配给每个传感器并通过设计优化存储，以辅助设计后续系统。例如，如果放置在车辆110上特定位置的相机始终被泥土或雪遮蔽，则这将反映在由设计优化322输出的记录数据324中的减少的可靠性数据中。将来的车辆110可以包括用于清洁那些特定传感器上的镜头盖的装备，或者可以重新定位传感器以减少不可靠或丢失的数据。如果一些传感器由于机械或电子故障而被证明是不可靠的，则可以基于设计优化322输出的记录数据324来替换或重新设计传感器以提高可靠性。如果记录数据324显示特定传感器是冗余的并且对车辆110增加很少或不增加可靠性，则可在未来的模型中移除传感器。
图4是关于图1至图4描述的用于基于来自自适应传感器融合系统300的输出操作车辆的过程400的流程图的图。可由计算装置的处理器来实现过程400，举例来说，将来自传感器的信息作为输入，以及执行命令，以及输出对象信息。过程400包括可以所示顺序执行的多个框。过程400可替代地或另外地包括更少的框，或者可包括以不同顺序执行的框。
过程400开始于框402，在框402处，评估在车辆110中包括的车辆传感器116的性能。通过输入车辆数据302、环境数据304和数据源306来执行车辆传感器116的性能。例如，数据源包括车辆传感器数据116，所述车辆传感器数据116由计算装置处理以产生关于车辆110周围的环境中的对象的数据。数据源可以包括来自多种传感器模态的车辆传感器116数据，例如包括激光雷达、雷达、声纳和视频数据。在自适应传感器融合的示例中，可以在静止或移动机器人和语音识别系统中的一者或多者中包括数据源。车辆传感器116的性能可以作为要输入到强化学习310深度神经网络的性能指标来输出。车辆传感器116的性能还可由强化学习子系统400来确定。
在框404处，过程400基于来自框402的性能指标训练强化学习310深度神经网络或强化学习子系统400。如以上关于图4所讨论的，训练过程将使自适应传感器融合系统300收敛于一组稳定的融合权重312，以输出到传感器融合314。自适应传感器融合系统300确定来自每个数据源306的输出数据对应于车辆110性能的准确度，并且根据所确定的传感器准确度来确定组合数据源306的融合权重312。
在框406处，自适应传感器融合系统300通过传感器融合314组合数据源306，传感器融合314根据对应于多个车辆传感器116和数据源306的测量值的等式(1)计算单个值，在此示例中为从车辆110到车辆周围的环境中的对象的距离D。单个测量距离D可以作为输出数据316从传感器融合314输出到车辆110中包括的计算装置115。
在框408处，从自适应传感器融合系统300输出对应于到车辆110周围的环境中的对象的距离D的输出数据316，并且输出数据316由计算装置115接收。计算装置115可以使用输出数据316来确定车辆路径，并且控制车辆动力传动系统、转向和制动，以使车辆110如上所描述的沿着车辆路径操作，从而避免与对象接触。还可以在固定或移动机器人中包括计算装置115，并且使用输出数据316来引导机器人或末端执行器。在其他示例中，计算装置115可以使用输出数据316来引导语音识别过程以选择哪个数据源306被解释为语音。在框408之后，过程400结束。
诸如本文讨论的那些计算装置的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些计算装置中的一个或多个计算装置执行并用于执行上文所描述的过程的框或步骤。例如，上文所讨论的过程框可体现为计算机可执行命令。
计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：JavaTM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。一般来说，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类命令和其他数据可以存储在文件中并使用各种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括例如软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带或计算机可从其中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“大约”意味着形状、结构、测量、值、确定、计算等可因为材料、加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何结构、距离、测量、值、确定、计算等有偏差。
在附图中，相同的附图标记指示相同的要素。此外，可改变这些要素中的一些或全部。相对于本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应理解，可同时执行某些步骤、可添加其他步骤，或者可省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例目的提供的，并且决不应解释为限制所要求保护的发明。
根据本发明，提供了一种计算机，其具有：处理器；以及存储器，所述存储器包括指令，所述指令可由处理器执行以：通过评估每个车辆数据源输出数据来确定用于操作车辆的多个车辆数据源的性能；使用强化学习基于性能训练深度神经网络以确定车辆数据源中的每个的可靠性；基于可靠性组合来自车辆数据源的输出数据，包括使用深度神经网络将来自一个或多个车辆数据源的输出数据与性能相关联以确定来自每个车辆数据源的输出数据与车辆性能对应的准确度；并且基于组合的输出数据来操作车辆。
根据实施例，所述指令包括以下指令：基于可靠性来确定哪些数据源将包括在车辆中。
根据实施例，所述指令包括以下指令：基于可靠性来确定哪些数据源正在正确地操作。
根据实施例，所述指令包括以下指令：基于包括碰撞概率、燃料消耗或行驶时间中的至少一者的车辆操作的量度来确定每个车辆数据源的性能。
根据实施例，一个或多个车辆数据源中的每个都包括车辆传感器和用于处理传感器数据的计算装置。
根据实施例，车辆传感器包括相机、激光雷达传感器、超声波传感器和雷达传感器中的一者或多者。
根据实施例，所述指令包括以下指令：通过确定确定如何组合输出数据的权重来组合来自车辆数据源的输出数据。
根据实施例，性能包括丢失的数据和传感器噪声水平。
根据实施例，来自车辆数据源的输出数据包括车辆周围的环境中的对象的位置。
根据实施例，操作车辆包括基于车辆周围的环境中的对象的位置来确定车辆路径。
根据本发明，一种方法包括：通过评估每个车辆数据源输出数据来确定用于操作车辆的多个车辆数据源的性能；使用强化学习基于性能训练深度神经网络以确定车辆数据源中的每个的可靠性；组合来自车辆数据源的输出数据，包括使用深度神经网络将来自一个或多个车辆数据源的输出数据与性能相关联，以确定来自每个车辆数据源的输出数据对应于车辆性能的准确度；以及基于组合的输出数据来操作车辆。
根据实施例，上述发明的特征还在于基于可靠性来确定哪些数据源将包括在车辆中。
根据实施例，上述发明的特征还在于基于可靠性来确定哪些数据源正在正确地操作。
根据实施例，上述发明的特征还在于基于包括碰撞概率、燃料消耗或行驶时间中的至少一者的车辆操作的量度来确定每个车辆数据源的性能。
根据实施例，车辆数据源中的每个都包括车辆传感器和用于处理传感器数据的计算装置。
根据实施例，车辆传感器包括相机、激光雷达传感器、超声波传感器和雷达传感器中的一者或多者。
根据实施例，上述发明的特征还在于通过确定确定如何组合输出数据的权重来组合来自车辆数据源的输出数据。
根据实施例，性能包括丢失的数据和传感器噪声水平。
根据实施例，来自车辆数据源的输出数据包括车辆周围的环境中的对象的位置。
根据实施例，操作车辆包括基于车辆周围的环境中的对象的位置来确定车辆路径。

Claims (15)

1.一种方法，其包括：
通过评估每个车辆数据源输出数据来确定用于操作车辆的多个车辆数据源的性能；
使用强化学习基于所述性能训练深度神经网络以确定所述车辆数据源中的每个的可靠性；
组合来自所述车辆数据源的输出数据，包括使用所述深度神经网络将来自一个或多个车辆数据源的输出数据与所述性能相关联，以确定来自每个车辆数据源的所述输出数据对应于车辆性能的准确度；以及
基于所述组合的输出数据来操作所述车辆。
2.如权利要求1所述的方法，其还包括基于所述可靠性来确定哪些数据源将包括在所述车辆中。
3.如权利要求1所述的方法，其还包括基于所述可靠性来确定哪些数据源正在正确地操作。
4.如权利要求1所述的方法，其还包括基于包括碰撞概率、燃料消耗或行进时间中的至少一者的车辆操作的量度来确定每个车辆数据源的性能。
5.如权利要求1所述的方法，其中所述车辆数据源中的每个都包括车辆传感器和用于处理传感器数据的计算装置。
6.如权利要求5所述的方法，其中所述车辆传感器包括相机、激光雷达传感器、超声波传感器和雷达传感器中的一者或多者。
7.如权利要求1所述的方法，其还包括通过确定确定如何组合输出数据的权重来组合来自所述车辆数据源的输出数据。
8.如权利要求1所述的方法，其中性能包括丢失的数据和传感器噪声水平。
9.如权利要求1所述的方法，其中来自所述车辆数据源的输出数据包括所述车辆周围的环境中的对象的位置。
10.如权利要求9所述的方法，其中操作所述车辆包括基于所述车辆周围的所述环境中的所述对象的所述位置来确定车辆路径。
11.如权利要求10所述的方法，其还包括通过控制车辆动力传动系统、转向和制动来沿着所述车辆路径操作所述车辆。
12.如权利要求1所述的方法，其中强化学习包括当在所述系统的操作之前成对的输入和地面实况不可用时训练所述深度神经网络。
13.如权利要求12所述的方法，其中能够在若干时间步长之后确定对应于融合权重的奖励函数。
14.如权利要求13所述的方法，其中用于训练所述深度神经网络的地面实况包括车辆性能指标。
15.一种系统，其包括被编程为执行如权利要求1至14中任一项所述的方法的计算机。
CN202011036832.0A 2019-09-30 2020-09-27 自适应传感器融合 Pending CN112572325A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/587,084 2019-09-30
US16/587,084 US11069161B2 (en) 2019-09-30 2019-09-30 Adaptive sensor fusion

Publications (1)

Publication Number Publication Date
CN112572325A true CN112572325A (zh) 2021-03-30

Family

ID=74872958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011036832.0A Pending CN112572325A (zh) 2019-09-30 2020-09-27 自适应传感器融合

Country Status (3)

Country Link
US (1) US11069161B2 (zh)
CN (1) CN112572325A (zh)
DE (1) DE102020125307A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569803A (zh) * 2021-08-12 2021-10-29 中国矿业大学(北京) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210032617A (ko) * 2019-09-16 2021-03-25 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
CN112712717B (zh) * 2019-10-26 2022-09-23 华为技术有限公司 一种信息融合的方法、装置和设备
JP7211375B2 (ja) * 2020-01-09 2023-01-24 トヨタ自動車株式会社 車両用制御装置
US11522836B2 (en) * 2020-02-25 2022-12-06 Uatc, Llc Deterministic container-based network configurations for autonomous vehicles
US11794782B2 (en) * 2020-06-26 2023-10-24 Gm Cruise Holdings Llc Sensor aggregation module
CN113859257B (zh) * 2021-11-10 2022-05-24 紫清智行科技(北京)有限公司 基于灰色熵权和侧向椭圆阈的周围车辆驾驶意图识别方法
US20230322255A1 (en) * 2022-04-11 2023-10-12 Ford Global Technologies, Llc Multiple source mec assistance strategy for autonomous vehicles

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680409A (en) 1995-08-11 1997-10-21 Fisher-Rosemount Systems, Inc. Method and apparatus for detecting and identifying faulty sensors in a process
US7696866B2 (en) 2007-06-28 2010-04-13 Microsoft Corporation Learning and reasoning about the context-sensitive reliability of sensors
US10229363B2 (en) 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US10160448B2 (en) * 2016-11-08 2018-12-25 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
EP3933713A1 (en) * 2017-04-14 2022-01-05 DeepMind Technologies Limited Distributional reinforcement learning
US10726275B2 (en) * 2018-03-07 2020-07-28 Visteon Global Technologies, Inc. System and method for correlating vehicular sensor data
US10845815B2 (en) * 2018-07-27 2020-11-24 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569803A (zh) * 2021-08-12 2021-10-29 中国矿业大学(北京) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统

Also Published As

Publication number Publication date
DE102020125307A1 (de) 2021-04-01
US11069161B2 (en) 2021-07-20
US20210097783A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
US11069161B2 (en) Adaptive sensor fusion
US10981564B2 (en) Vehicle path planning
US10733510B2 (en) Vehicle adaptive learning
US20200160070A1 (en) Road Surface Characterization Using Pose Observations Of Adjacent Vehicles
US10831208B2 (en) Vehicle neural network processing
JP6985203B2 (ja) 挙動予測装置
CN111016872A (zh) 车辆路径规划
CN112698645A (zh) 具有基于学习的定位校正系统的动态模型
US10891949B2 (en) Vehicle language processing
CN110979317A (zh) 固定摄像机定位
CN115243949A (zh) 定位误差监控
US20220253065A1 (en) Information processing apparatus, information processing method, and information processing program
CN112389407A (zh) 车辆停放控制
CN116249644A (zh) 由自主车辆执行出路推断以确定通过交叉路口的可行路径的方法和系统
CN113320541A (zh) 车辆控制装置、车辆控制方法及存储介质
CN111723639A (zh) 车辆对象追踪
JP7444680B2 (ja) 移動体制御装置、移動体制御方法、およびプログラム
CN115907250A (zh) 用于调整自主驾驶车辆的运动规划器的基于学习的评论器
US10891951B2 (en) Vehicle language processing
US10599146B2 (en) Action-conditioned vehicle control
US10957317B2 (en) Vehicle language processing
US11887317B2 (en) Object trajectory forecasting
US11908200B2 (en) System and method in the prediction of target vehicle behavior based on image frame and normalization
US20230219601A1 (en) Efficient neural networks
US11933900B2 (en) Recognition device, vehicle system, recognition method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination