CN112434782A - 使用众包和深度学习的状态估计故障检测的架构和方法 - Google Patents

使用众包和深度学习的状态估计故障检测的架构和方法 Download PDF

Info

Publication number
CN112434782A
CN112434782A CN202010841496.0A CN202010841496A CN112434782A CN 112434782 A CN112434782 A CN 112434782A CN 202010841496 A CN202010841496 A CN 202010841496A CN 112434782 A CN112434782 A CN 112434782A
Authority
CN
China
Prior art keywords
data
vehicle
neural network
crowdsourcing
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010841496.0A
Other languages
English (en)
Other versions
CN112434782B (zh
Inventor
A.阿迪思坦
P.帕拉尼萨米
S.卡塞扎德马哈巴迪
R.艾斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112434782A publication Critical patent/CN112434782A/zh
Application granted granted Critical
Publication of CN112434782B publication Critical patent/CN112434782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车辆以及用于操作车辆的系统和方法。该系统包括状态估计器和处理器。使用由车内检测器获得的传感器数据来确定车辆参数的检测值。处理器基于众包数据确定参数的检查值，基于参数的检查值来验证参数的检测值，并基于验证来操作车辆。

Description

使用众包和深度学习的状态估计故障检测的架构和方法
技术领域
本发明涉及估计车辆传感器的故障状态，尤其涉及使用神经网络中的众包数据来确定传感器故障状态的系统和方法。
背景技术
自主车辆能够基于外部和内部状态参数这对地形进行导航。外部参数基于与周围环境和环境中其他车辆或动因有关的数据。这些外部参数可以包括雷达测量、激光雷达测量等。可以确定动因的距离、速度、位置等、速度限制等。内部状态参数包括与车辆状态有关的参数，如纵向和横向速度等。地形的成功导航是建立在外部参数和内部状态参数的准确性之上的。车内传感器通常用于测量用于获取内部状态参数的数据。当内部状态参数不能准确地表示实际车辆状态时，车辆的控制被削弱。因此，期望提供一种用于识别状态估计系统的故障以检测车辆内部状态参数的系统和方法。
发明内容
在一个示例性实施例中，公开了一种用于操作车辆的方法。使用由车内检测器获得的传感器数据来确定车辆参数的检测值。基于众包数据确定参数的检查值。基于参数的检查值验证参数的检测值。基于验证来操作车辆。
除了本文描述的一个或多个特征之外，该方法还包括使用传感器数据和众包数据来训练神经网络，并且使用经训练的神经网络来确定所述检查值。该方法还包括使用传感器数据和众包数据在非现场位置训练所述神经网络，并将经训练的神经网络从非现场位置传送到车辆。在车辆上使用经训练的神经网络来确定检查值。该方法还包括执行对众包数据的校验并向提供众包数据的参与动因分配信誉分数。可以基于数据对所选数据类别的效用来选择训练数据集。可以基于众包数据的度量来选择训练数据集。
在另一示例性实施例中，公开了一种用于操作车辆的系统。该系统包括状态估计器和处理器。状态估计器根据车内传感器数据估计车辆的状态参数值。处理器被配置为基于众包数据来确定参数的检查值，基于参数的检查值来验证参数的检测值，并且基于验证来操作车辆。
除了本文描述的一个或多个特征之外，处理器还被配置成使用传感器数据和众包数据来训练神经网络，并且使用经训练的神经网络来确定所述检查值。可以处理器位于远离车辆的非现场位置，并且进一步被配置为使用传感器数据和众包数据来训练神经网络，并且将经训练的神经网络从非现场位置传送到车辆。处理器还被配置成在车辆处使用经训练的神经网络来确定检查值。所述处理器还被配置成执行众包数据的校验，并将信誉分数分配给提供众包数据的参与动因。处理器还被配置为基于数据对所选数据类别的效用来选择训练数据集。处理器还被配置为基于众包数据的度量来选择训练数据集。
在又一示例性实施例中，公开了一种车辆。该车辆包括状态估计器和处理器。状态估计器根据车内传感器数据来估计车辆的状态参数值。处理器被配置为基于众包数据来确定参数的检查值，基于参数的检查值来验证参数的检测值，并基于验证来操作车辆。
除了在此描述的一个或多个特征之外，处理器还被配置成接收经训练的神经网络，使用传感器数据和众包数据对该神经网络进行训练，并且使用经训练的神经网络来确定检查值。神经网络可以在非现场位置被训练，并且车辆从非现场位置接收经训练的神经网络。处理器还被配置成在车辆处使用经训练的神经网络来确定检查值。所述处理器还被配置成执行众包数据的校验，并将信誉分数分配给提供众包数据的参与动因。处理器还被配置为基于数据对所选数据类别的效用和众包数据的度量中之一来选择训练数据集。
当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参考了附图，其中:
图1示出了包括根据各种实施例的相关轨迹规划系统的车辆；
图2示出了使用来自一个或多个车内传感器的数据来确定车辆状态的说明性方法的示意图；
图3示出了用于确定图2的车内状态估计器的质量的方法示意图；
图4示出了车辆和车辆周围的其他动因之间的众包系统的示意性示意图，其用于检测车辆的车内状态估计器中的故障；
图5示出了在车辆处的经训练深度神经网络(DNN)的操作示意图，以确定车内传感器测量的质量；
图6示出了说明用于维护众包数据完整性的方法的流程图；
图7示出了说明基于效用的方法的流程图，该方法用于选择在训练经训练DNN中使用的数据；
图8示出了说明用于选择用于训练DNN的数据的、基于度量的方法的流程图；
图9示出了说明验证车内传感器测量的基于DNN的方法的流程图；和
图10示出了说明状态估计验证过程的示意图。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或使用。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。
根据示例性实施例，图1示出了根据各种实施例的车辆10，其包括总体上以100示出的相关轨迹规划系统。通常，轨迹规划系统100确定用于车辆10的自动驾驶的轨迹规划(trajectory plan)。车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上，并且基本上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16和18各自在车身14的相应角部附近可旋转地联接到底盘12上。
如图所示，车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、促动器系统30、至少一个数据存储设备32、至少一个控制器34、和通信系统36。在各种实施例中，推进系统20可以包括内燃发动机、诸如牵引马达这样的电机和/或燃料电池推进系统。变速器系统22被配置成根据可选择的速度比将动力从推进系统20传递到车轮16和18。根据各种实施例，变速器系统22可以包括有级比例自动变速器、无级变速器或其他合适的变速器。制动系统26被配置为向车轮16和18提供制动扭矩。在各种实施例中，制动系统26可包括摩擦制动器、线控制动器、再生制动系统(如电机)和/或其他合适的制动系统。转向系统24影响车轮16和18的位置。尽管出于说明的目的被描绘为包括方向盘，但是在本公开范围内设想的一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括一个或多个感测设备40a-40n，其感测车辆10的外部环境和/或内部环境的可观察条件。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热相机、超声波传感器和/或用于观察和测量外部环境参数的其他传感器。传感装置40a-40n还可以包括制动传感器、转向角度传感器、车轮速度传感器等。用于观察和测量车辆的车内参数。相机可以包括两个或更多个彼此间隔选定距离的数码相机，其中两个或更多个数码相机用于获得周围环境的立体图像，以便获得三维图像。促动器系统30包括一个或多个促动器装置42a-42n，其控制一个或多个车辆特征，例如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，例如但不限于车门、行李箱和车厢特征，例如空气、音乐、照明等(未标记)。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或市场上可买到的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的几个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的任何组合、或通常用于执行指令的任何设备。计算机可读存储设备或介质46可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是持久或非易失性存储器，其可用于在处理器44断电时存储各种操作变量。计算机可读存储设备或介质46可以使用多种已知存储设备中的任何一种来实现，例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的任何其他电、磁、光或组合存储设备，其中一些存储设备代表控制器34在控制车辆10时使用的可执行指令。
指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，这些指令接收并处理来自传感器系统28的信号，执行用于对车辆10的部件进行自动控制的逻辑、计算、方法和/或算法，并对促动器系统30产生控制信号，以基于所述逻辑、计算、方法和/或算法自动控制车辆10的部件。尽管图1中仅示出了一个控制器34，但是车辆10的一些实施例可以包括任意数量的控制器34，这些控制器34通过任意合适的通信介质或通信介质的组合进行通信，并且协作来处理传感器信号、执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制车辆10的特征。
在各种实施例中，控制器34的一个或多个指令被实施在轨迹规划系统100中，并且当由处理器44执行时，产生轨迹输出。处理器44还包括用于操作车辆的程序，以便确定由感测设备40a-40n使用众包数据(crowdsourced data)进行的各种车内测量的有效性，如本文所讨论的。
通信系统36被配置成向和从其他实体48无线地传送信息，例如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备。在示例性实施例中，通信系统36是无线通信系统，其被配置为经由使用IEEE 802.11标准的无线局域网或通过使用蜂窝数据通信来进行通信。然而，额外的或替代的通信方法(例如专用短程通信信道(DSRC))也被认为在本公开的范围内。DSRC信道是指专为汽车使用而设计的单向或双向短程至中程无线通信信道，以及相应的一套协议和标准。
图2示出了使用来自一个或多个车内传感器202的数据来确定车辆状态的示例性方法的示意图200。车内传感器202可以包括图1的各种传感器40a-40n以及其他传感器。在各种实施例中，车内传感器202可以包括车轮速度传感器、惯性测量单元、方向盘角度传感器、牵引和制动扭矩传感器等。车内传感器202向状态估计器204提供传感器数据。传感器数据可以包括总扭矩和车轮速度、纵向加速度、横向加速度、偏航率、转向角和转向率等。状态估计器204根据传感器数据确定各种状态变量206，包括例如车辆横向速度、车辆纵向速度、轮胎横向速度、轮胎纵向速度等。
图3示出了用于确定图2的车内状态估计器204的质量(quality)的方法示意图300。车内传感器数据302被提供给数据融合引擎(data fusion engine)308。众包数据304被提供给选择引擎(selection engine)306，选择引擎306基于众包数据的可靠性和质量来对众包数据进行过滤、排序和选择。众包数据包括从周围车辆接收的数据，所述周围车辆已经执行了关于主车辆(host vehicle)的测量。例如，周围车辆可以获得主车辆的速度测量值，作为它们自己的交通导航系统的一部分。所选择的众包数据被发送到数据融合引擎308。数据融合引擎308用于基于车内传感器数据302和所选众包数据304的融合来训练监管控制器(supervisory controller)310，例如深度神经网络。监控控制器310生成自主车辆10的状态变量值的估计。车内状态估计器204生成其自身的状态变量值，并且比较引擎312将来自车内状态估计器204的值的估计与来自监控控制器310的值的估计进行比较，以便确定车内状态估计器204的质量。
图4示出了车辆10和车辆周围的其他动因(agent)之间的众包系统400的示意性示意图，用于检测车辆10的车内状态估计器204中的故障。车辆10被显示为为交通模式(traffic pattern)的一部分，交通模式包括非参与动因(non-participating agent)402a和402b以及参与动因(participating agent)404a-404d。非参与动因402a和402b是这样的车辆，其不获取关于主车辆10的数据或者不共享用于众包目的的数据。参与动因404a-404d获取关于主车辆10的数据，并通过将如此获得的数据共享给众包系统400来参与到众包系统400中。参与动因404a-404d可以包括雷达系统、激光雷达系统、全球定位系统、光学相机、热相机、超声波传感器和/或用于观察和测量主车辆10的参数的其他传感器。参与动因404a-404d可以通过示例性V2V链路408所示的车辆到车辆(vehicle-to-vehicle：“V2V”)通信或者通过示例性V2I通信链路410所示的使用车辆到基础设施(vehicle-to-infrastructure：“V2I”)通信的基础设施以及任何其他合适的通信系统与主车辆10通信。
参与动因404a-404d通过V2I通信链路410将数据发送到远程数据管理器420，例如在远离车辆的非现场位置的云处理器或云计算机。远程数据管理器420可以包括通信管理器422，用于控制去往和来自远程数据管理器420的数据或信息流。主车辆10可以通过V2I上行链路信道416将深度神经网络(DNN)模型412传送给远程数据管理器420，并且通过V2I下行链路信道418从远程数据管理器420接收经训练的DNN 414。在各种实施例中，发送到远程数据管理器420的DNN模型412可以是未经训练的DNN。
远程数据管理器420包括数据融合引擎424，其接收DNN模型412以及来自主车辆10的车内传感器数据302和来自参与动因404a-404d的众包数据304。数据融合引擎424使用车内传感器数据302和众包数据304来训练和再训练DNN模型414。经训练的DNN 414随后通过VI下行链路信道418被传送到主车辆10。主车辆10随后可以使用经训练的DNN 414将DNN结果与车内传感器参数测量结果进行比较，以确定车内传感器参数测量结果的质量。
图5示出了主车辆10处的经训练DNN的操作的示意图500，以确定车内传感器测量结果的质量。经训练的DNN 414用于生成车辆10的状态，例如纵向速度和横向速度。这些经确定的速度随后在比较引擎312处与从车内传感器测量结果所确定的纵向速度和横向速度值进行比较，以确定车内状态估计器的有效性或质量502。在各种实施例中，比较引擎312可以在进行来自经训练DNN的数据的比较时生成表示车内传感器测量质量的值。可以将该值与选择的阈值进行比较，以便在状态估计器204处确定故障。
图6示出了流程图600，示出了用于维护众包数据的完整性的方法304。该方法开始于参与动因(例如，参与动因404a)将其传感器数据上传到远程数据管理器420。传感器数据可以包括例如主车辆的经测量横向速度和/或纵向速度。参与动因的元数据(metadata)与传感器数据一起被上传到远程数据管理器420。元数据包括参与动因404a的信誉分数(reputation score)。在框602中，远程数据管理器420获得参与动因的信誉分数。
在框604中，远程数据管理器420检查来自参与动因404a的上传数据，以确保上传数据的完整性。检查包括工作证明测试(proof-of-work test)，以消除有噪声的数据或来路不明的数据。在框606中，远程数据管理器420通过将上传的数据与来自其他参与动因的数据进行比较来确定来自参与动因的上传数据的有效性。如果基于比较认为上传的数据是有效的，则该方法前进到框608。在框608中，上传的数据被输入到区块链数据存储器中，用于训练DNN。然后在框610中，执行对参与动因404a的奖励功能，以确定对上传数据的奖励。随后，在框614中，信誉分数被更新以包括所确定的奖励。
返回到框606，如果基于在框606中执行的比较，上传的数据被认为是无效的，则该方法前进到框612。在框612中，执行惩罚函数以确定对上传数据的惩罚。随后，在框614中，信誉分数被更新以包括所确定的惩罚。在各种实施例中，信誉分数可以被传送回参与动因404a，或者可以被存储在数据管理器420中。使用下面参考图7和图8讨论的过程中的任一个，可以选择经确认的数据，以用于训练DNN。
图7示出了流程图700，其示出了用于选择用于训练DNN 414的数据的基于效用的方法。选择过程包括对数据进行排序和过滤。在框702中，主车辆选择感兴趣的数据类别，例如与纵向速度相关的数据。在框704中，远程数据管理器420针对数据类别计算来自每个参与动因404a的数据的效用值(utility value)。在框706中，基于它们的效用值对每个数据集进行排序。在框708中，选择具有第n最高效用值的数据集来训练DNN，其中n是所选择的数字。
用于参与动因404a的数据的效用值基于各种参数，例如参与动因的信誉分数Rx和参与动因的传感器能力SCx，这两者都作为参与动因的元数据的一部分来提供。传感器能力得分是各种参数的函数，如雷达距离(radar range)、激光雷达分辨率、相机分辨率、雷达系统数量、相机数量等。效用值还基于收集或测量数据的位置Locx和数据的时间戳Tx，两者都作为传感器数据的元数据的一部分提供。可以使用等式(1)从这些参数计算效用值Ux(在框604中):
Ux＝(w1*Rx)+(w2*SCx)+(w3*Locx)+(w4*Tx) 等式(1)
其中w1、w2、w3和w4是每个参数的权重。
图8示出了流程图800，其示出了用于选择用于训练DNN的数据的、基于度量(metric-based)的方法。在框802中，向远程数据管理器420提供要按照经训练的DNN估计的状态参数。所选参数被提供给数据选择器804。数据选择器804包括众包数据的数据库806。在框808中，从数据库806中取回与所选状态参数相关的众包数据。
在框810中，远程数据管理器420确定相关的众包数据是瞬时数据还是非瞬时数据。非瞬时数据包括道路角度、道路曲率等数据。如果数据是非瞬时的，则该方法进行到框812。在框812中，选择历史数据用于数据融合，并且该方法进行到框820。在框820中，发生数据融合。
返回到框810，如果数据是瞬时数据(即，车辆速度等)，则该方法前进到框814。在框814中，远程数据管理器420确定参与动因的数量是否高于所选的阈值。如果参与动因的数量低于所选的阈值，则没有足够的数据可用于DNN的训练。然后，该方法不选择进一步的数据，并前进到框820，在该处进行数据融合。返回到框814，如果参与动因的数量大于所选的阈值，则该方法前进到框816。
在框816中，远程数据管理器420例如使用本文公开的信誉方法来计算数据效用。在框818中，远程数据管理器420基于在训练DNN中使用的他们的信誉度量来过滤数据。在框820中，所选择的众包数据与相关的车内传感器数据302融合，并且在框822中，融合的数据被输入到DNN。
图9示出了流程图900，示出了验证车内传感器测量结果的基于DNN的方法。在框902中，车内和众包传感器测量结果被融合以形成训练集。在框904中，收集训练数据集，并且提取特征，以用于用于状态参数的估计。提取的特征可以包括但不限于图像、激光雷达点云、地面真实数据等。在框906中，远程数据管理器420使用训练数据集来训练DNN。在框908中，远程数据管理器420计算用于经训练DNN的置信度值(confidence value)。当置信度值大于所选的置信度值阈值时，该方法前进到框912。在框912中，使用DNN来验证估计的信号，并基于参与者的可靠性分数或信誉分数来混合来自参与者的现有估计。该方法从框912前进到框914，在框914中，车辆控制系统和警告信号被激活。
回到框908，当置信度值小于所选的置信度值阈值时，该方法前进到框910。在框910中，使用实时数据来实时训练或再训练DNN。该方法从框910前进到框912。在框912中，使用DNN来验证估计的信号，并基于参与者的可靠性分数或信誉分数来混合来自参与者的现有估计。该方法从框912前进到框914，在框914中，车辆控制系统和警告信号被激活。
图10示出了说明状态估计校验过程的示意图1000。在框1002中，收集众包数据，包括雷达数据、关于道路坡度的数据、道路曲率等。在框1004中，收集车内数据，包括相机数据、IMU传感器数据、车轮传感器数据、悬架高度数据等。在框1006中，众包数据和车内数据被提供给数据融合引擎。在框1008中，融合数据被提供给深度神经网络，深度神经网络生成状态估计值。出于说明目的，DNN生成横向速度估计值。在框1010中，由DNN生成的横向速度估计与横向速度的车内估计进行比较，以确定状态估计器提供横向速度的有效估计的能力。在框1012中，基于车内估计的有效性来操作车辆或导航系统的安全系统和/或底盘控制系统。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以进行各种改变，并且等同物可以替代其元件。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于操作车辆的方法，包括:
使用由车内检测器获得的传感器数据来确定车辆参数的检测值；
基于众包数据来确定参数的检查值；
基于参数的检查值来验证参数的检测值；和
基于验证来操作车辆。
2.根据权利要求1所述的方法，还包括使用所述传感器数据和众包数据来训练神经网络，并且使用经训练的神经网络来确定所述检查值。
3.根据权利要求2所述的方法，还包括使用所述传感器数据和众包数据在非现场位置训练所述神经网络，并将经训练的神经网络从所述非现场位置传送到所述车辆。
4.根据权利要求1所述的方法，还包括执行对所述众包数据的校验，以及向提供所述众包数据的参与动因分配信誉分数。
5.根据权利要求1所述的方法，还包括基于以下之一选择训练数据集:(i)所述数据对所选数据类别的效用；以及(ii)众包数据的度量。
6.一种用于操作车辆的系统，包括:
状态估计器，用于从车内传感器数据估计车辆的状态参数值；
处理器，被配置为:
基于众包数据来确定参数的检查值；
基于参数的检查值来验证参数的检测值；和
基于验证来操作车辆。
7.根据权利要求6所述的系统，其中所述处理器还被配置成使用所述传感器数据和众包数据来训练神经网络，并且使用经训练的神经网络来确定所述检查值。
8.根据权利要求7所述的系统，其中所述处理器位于远离所述车辆的非现场位置，并且还被配置为使用所述传感器数据和众包数据来训练所述神经网络，并且将经训练的神经网络从所述非现场位置传送到所述车辆。
9.根据权利要求6所述的系统，其中，所述处理器还被配置为执行对所述众包数据的校验，并且将信誉分数分配给提供所述众包数据的参与动因。
10.根据权利要求6所述的系统，其中，所述处理器还被配置为基于以下之一来选择训练数据集:(i)所述数据对所选数据类别的效用；以及(ii)众包数据的度量。
CN202010841496.0A 2019-08-22 2020-08-20 使用众包和深度学习的状态估计故障检测的架构和方法 Active CN112434782B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/548,166 2019-08-22
US16/548,166 US11532188B2 (en) 2019-08-22 2019-08-22 Architecture and methodology for state estimation failure detection using crowdsourcing and deep learning

Publications (2)

Publication Number Publication Date
CN112434782A true CN112434782A (zh) 2021-03-02
CN112434782B CN112434782B (zh) 2024-02-13

Family

ID=74646273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010841496.0A Active CN112434782B (zh) 2019-08-22 2020-08-20 使用众包和深度学习的状态估计故障检测的架构和方法

Country Status (2)

Country Link
US (1) US11532188B2 (zh)
CN (1) CN112434782B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230046410A1 (en) * 2021-08-10 2023-02-16 Motional Ad Llc Semantic annotation of sensor data using unreliable map annotation inputs
US11803365B2 (en) 2022-03-25 2023-10-31 GM Global Technology Operations LLC System and process for vehicle software configuration coverage measurement for update validation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
US20160163209A1 (en) * 2014-12-04 2016-06-09 General Electric Company System and method for aircraft fleet management
US20170146362A1 (en) * 2015-11-19 2017-05-25 GM Global Technology Operations LLC Method and apparatus for fuel consumption prediction and cost estimation via crowd-sensing in vehicle navigation system
US9747640B1 (en) * 2016-02-29 2017-08-29 Www.Trustscience.Com Inc. Crowdsourcing of trustworthiness indicators
CN107406080A (zh) * 2015-03-03 2017-11-28 捷豹路虎有限公司 车辆参考速度估计设备和方法
CN107415871A (zh) * 2016-04-26 2017-12-01 谷歌公司 众包车辆设置推荐
US20190065951A1 (en) * 2017-08-31 2019-02-28 Micron Technology, Inc. Cooperative learning neural networks and systems
US20190204842A1 (en) * 2018-01-02 2019-07-04 GM Global Technology Operations LLC Trajectory planner with dynamic cost learning for autonomous driving

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3067830B1 (fr) * 2017-06-16 2023-10-06 Valeo Comfort & Driving Assistance Procede de transmission d'un rapport a un vehicule
US10997429B2 (en) * 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
US11354602B2 (en) * 2019-06-04 2022-06-07 Bank Of America Corporation System and methods to mitigate poisoning attacks within machine learning systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301433A1 (en) * 2010-06-07 2011-12-08 Richard Scott Sadowsky Mental state analysis using web services
US20160163209A1 (en) * 2014-12-04 2016-06-09 General Electric Company System and method for aircraft fleet management
CN107406080A (zh) * 2015-03-03 2017-11-28 捷豹路虎有限公司 车辆参考速度估计设备和方法
US20170146362A1 (en) * 2015-11-19 2017-05-25 GM Global Technology Operations LLC Method and apparatus for fuel consumption prediction and cost estimation via crowd-sensing in vehicle navigation system
US9747640B1 (en) * 2016-02-29 2017-08-29 Www.Trustscience.Com Inc. Crowdsourcing of trustworthiness indicators
CN107415871A (zh) * 2016-04-26 2017-12-01 谷歌公司 众包车辆设置推荐
US20190065951A1 (en) * 2017-08-31 2019-02-28 Micron Technology, Inc. Cooperative learning neural networks and systems
US20190204842A1 (en) * 2018-01-02 2019-07-04 GM Global Technology Operations LLC Trajectory planner with dynamic cost learning for autonomous driving

Also Published As

Publication number Publication date
CN112434782B (zh) 2024-02-13
US20210056779A1 (en) 2021-02-25
US11532188B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
CN109421743B (zh) 用于监控自主车辆的方法和设备
US20180059679A1 (en) Depth map estimation with stereo images
US10829114B2 (en) Vehicle target tracking
CN106627579A (zh) 车辆队列中的协调测试
US10166991B1 (en) Method and apparatus of selective sensing mechanism in vehicular crowd-sensing system
US20220089151A1 (en) Path planning in autonomous driving environments
CN111201173B (zh) 用于确定车辆轮胎与车道之间的接触的摩擦值的方法以及用于控制车辆的车辆功能的方法
CN111559383A (zh) 用于基于车辆和边缘传感器数据确定自主车辆（av）动作的方法和系统
US20190047575A1 (en) Method for determining a coefficient of friction for a contact between a tire of a vehicle and a roadway, and method for controlling a vehicle function of a vehicle
CN112434782B (zh) 使用众包和深度学习的状态估计故障检测的架构和方法
EP3971865A1 (en) Scenario identification in autonomous driving environments
US10013821B1 (en) Exhaust gas analysis
US20220089192A1 (en) Risk estimation in autonomous driving environments
CN112693472A (zh) 车辆的adas或自动驾驶特征的性能监控和评估
CN114291011A (zh) 车辆神经网络
CN114586044A (zh) 信息处理装置、信息处理方法及信息处理程序
CN115269370A (zh) 用于自动驾驶系统的路径规划系统开发的平台
US20220266856A1 (en) Platform for perception system development for automated driving systems
CN115249066A (zh) 分位数神经网络
US20220350338A1 (en) Platform for path planning system development for automated driving system
US11983918B2 (en) Platform for perception system development for automated driving system
US11292307B2 (en) Suspension fault diagnostics and prognostics using pitch and roll model
CN112069867B (zh) 多目标跟踪与多感官数据和缺失模态的学习关联
CN114279454A (zh) 用于在环境中导航移动平台的方法和系统
CN111201172A (zh) 用于求取行驶道的摩擦值的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant