CN114758313A - 实时神经网络再训练 - Google Patents

实时神经网络再训练 Download PDF

Info

Publication number
CN114758313A
CN114758313A CN202111585209.5A CN202111585209A CN114758313A CN 114758313 A CN114758313 A CN 114758313A CN 202111585209 A CN202111585209 A CN 202111585209A CN 114758313 A CN114758313 A CN 114758313A
Authority
CN
China
Prior art keywords
friction
coefficient
vehicle
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111585209.5A
Other languages
English (en)
Inventor
莎拉·达德拉斯
金尼什·简
什里亚莎·波德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN114758313A publication Critical patent/CN114758313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18172—Preventing, or responsive to skidding of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/30—Wheel torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/40—Coefficient of friction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/12—Lateral speed
    • B60W2720/125—Lateral acceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开提供了“实时神经网络再训练”。一种系统，其包括计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：确定摩擦系数标签和与描绘表面的图像相对应的所确定的摩擦系数之间的差值是否大于标签阈值；当所述差值大于所述标签阈值时，将所述确定的摩擦系数修改为等于所述摩擦系数标签；以及使用所述图像和所述摩擦系数标签再训练神经网络。

Description

实时神经网络再训练
技术领域
本公开总体上涉及深度神经网络。
背景技术
深度神经网络(DNN)可以用于执行许多图像理解任务，包括分类、分割和生成字幕。例如，卷积神经网络可以将图像作为输入，为图像内描绘的各个方面/对象分配重要性，并且将所述方面/对象彼此区分开。
发明内容
自主车辆通常采用感知算法来感知车辆周围的环境。感知算法可以使用一个或多个深度神经网络来帮助对对象进行分类。例如，可以训练深度神经网络以输入来自车辆传感器的图像数据，所述车辆传感器被配置为获取车辆前方的道路的图像并确定所述道路的估计的摩擦系数。车辆中的计算装置可以使用所估计的摩擦系数来做出关于车辆动力传动系统、制动和转向部件的控制的决策。例如，当车辆前方的道路的所确定的摩擦系数指示打滑的概率增加时，计算装置可以减小对所允许的横向加速度和纵向加速度的限制。深度神经网络的其他应用包括确定诸如车辆周围环境中的车辆和行人之类的对象的标签和位置，以及基于处理一系列视频帧来确定车辆的真实世界位置、速度和方向。
训练深度神经网络处理图像数据输入并确定输出数据(诸如道路的估计摩擦系数)可能需要包括数千个图像的训练数据库。训练数据库还可能需要与训练图像相对应的地面实况数据。地面实况数据是与通过独立于深度神经网络的装置获得的要由深度神经网络输出的正确答案相对应的数据。例如，车辆可以被仪表化以获取关于车轮旋转和前进运动的数据。可以施加制动并且将车轮旋转速率与向前运动进行比较以确定车轮滑移。例如，可以基于车轮滑移来估计道路的摩擦系数。训练数据集应包括对应于在操作车辆时预期遇到的真实世界环境和道路表面外观的图像数据。获取数千个训练图像和对应的地面实况数据可能非常昂贵且非常耗时。可能需要大量的工作来获取地面实况数据，并且可能需要大量的计算资源来使用大量训练数据集来训练深度神经网络。
本文讨论的技术可以通过确定经训练的深度神经网络何时获取与先前未见的摩擦系数场景相对应的输入图像来改进深度神经网络的训练。先前未见的摩擦系数场景意味着图像中的道路外观与训练数据集中的图像不够相似以允许深度神经网络以高概率正确地确定估计的摩擦系数。当摩擦系数在以经验确定的标签阈值内时，它们被确定为类似。下面关于图4讨论摩擦系数阈值的确定。当深度神经网络确定输入图像与训练数据库中的任何图像都不相似时，可以从其他车辆传感器输入摩擦系数并使用该摩擦系数来再训练深度神经网络。当输出摩擦系数与由其他车辆传感器确定的摩擦系数不同时，也可以再训练深度神经网络。再训练的深度神经网络可以上传到基于云的服务器并与其他车辆共享。
本文讨论的技术可以用于再训练深度神经网络以用于除摩擦系数确定之外的应用。可以独立于深度神经网络获得地面实况数据的任何应用都可以用于再训练深度神经网络。例如，可以训练深度神经网络基于图像传感器数据来检测和定位车辆的视野中的其他车辆。关于其他车辆的位置的地面实况数据可以从车辆对车辆通信或从基础设施对车辆通信获得，并且用于验证深度神经网络在正确地识别和定位车辆。
一种系统，其包括计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：确定摩擦系数标签和与描绘表面的图像相对应的所确定的摩擦系数之间的差值是否大于标签阈值；当所述差值大于所述标签阈值时，将所述确定的摩擦系数修改为等于所述摩擦系数标签；以及使用所述图像和所述摩擦系数标签再训练神经网络。
在其他特征中，所述处理器还被编程为基于所述确定的摩擦系数通过控制车辆制动、车辆动力传动系统和车辆转向中的一者或多者来操作车辆。
在其他特征中，所述处理器还被编程为：基于所述确定的摩擦系数来操作所述车辆包括降低允许的横向加速度和纵向加速度。
在其他特征中，所述处理器还被编程为基于车辆传感器数据来确定所述摩擦系数标签。
在其他特征中，所述处理器还被编程为访问将所述车辆传感器数据与所述摩擦系数标签相关联的查找表。
在其他特征中，所述车辆传感器数据包括非图像传感器数据。
在其他特征中，所述车辆传感器数据包括指示轮速、轮胎滚动半径、车轮惯性、驱动扭矩、制动扭矩、轮胎滚动阻力或纵向力的数据中的至少一者。
在其他特征中，所述处理器还被编程为经由所述神经网络来确定所述摩擦系数。
在其他特征中，所述处理器还被编程为：在神经网络处接收图像；以及基于所述图像来确定所述摩擦系数。
在其他特征中，所述神经网络包括卷积神经网络。
在其他特征中，所述神经网络包括支持向量机(SVM)。
在其他特征中，实时或近实时地再训练所述神经网络。
在其他特征中，在车辆可操作时再训练所述神经网络。
在其他特征中，神经网络确定图像中的表面的标签。一种方法包括确定摩擦系数标签和与描绘表面的图像相对应的所确定的摩擦系数之间的差值是否大于标签阈值；当所述差值大于所述标签阈值时，将所述确定的摩擦系数修改为等于所述摩擦系数标签；以及使用所述图像和所述摩擦系数标签再训练神经网络。
在其他特征中，所述方法包括基于车辆传感器数据来确定所述摩擦系数标签。
在其他特征中，所述方法包括访问将所述车辆传感器数据与所述摩擦系数标签相关联的查找表。
在其他特征中，所述车辆传感器数据包括非图像传感器数据。
在其他特征中，所述车辆传感器数据包括指示轮速、轮胎滚动半径、车轮惯性、驱动扭矩、制动扭矩、轮胎滚动阻力或纵向力的数据中的至少一者。
在其他特征中，所述方法包括经由神经网络来确定摩擦系数。
在其他特征中，所述方法包括：在所述神经网络处接收所述图像；并基于所述图像确定所述摩擦系数。
在其他特征中，所述神经网络包括卷积神经网络。
在其他特征中，所述神经网络包括支持向量机(SVM)。
在其他特征中，实时或近实时地再训练所述神经网络。
在其他特征中，在车辆可操作时再训练所述神经网络。
附图说明
图1是包括车辆的示例性系统的图示。
图2是系统内的示例性服务器的图示。
图3是示例性深度神经网络的图示。
图4是示例性神经网络再训练系统的图示。
图5是示出用于确定是否用摩擦系数标签修改确定的摩擦系数的示例性过程的流程图。
具体实施方式
图1是示例性车辆系统100的框图。系统100包括车辆105，所述车辆是陆地车辆，诸如汽车、卡车等。车辆105包括计算机110、车辆传感器115、用于致动各种车辆部件125的致动器120、以及车辆通信模块130。经由网络135，通信模块130允许计算机110与服务器145通信。
计算机110包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以执行各种操作(包括如本文所公开的操作)的指令。
计算机110可以自主、半自主模式或非自主(手动)模式操作和/或监测车辆105，即，可以控制和/或监测车辆105的操作，包括控制和/或监测部件125。出于本公开的目的，自主模式被限定为其中由计算机110控制车辆105推进、制动和转向中的每一者的模式；在半自主模式下，计算机110控制车辆105推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆105推进、制动和转向中的每一者。
计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算机110(而非人类操作员)是否以及何时控制此类操作。另外，计算机110可以被编程为确定人类操作员是否以及何时控制此类操作。
计算机110可包括多于一个处理器，或者例如经由如以下进一步描述的车辆105的通信模块130而通信地耦接到所述多于一个处理器，所述多于一个处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ECU)等(例如动力传动系统控制器、制动控制器、转向控制器等)中。此外，计算机110可经由车辆105的通信模块130与使用全球定位系统(GPS)的导航系统通信。作为示例，计算机110可以请求并接收车辆105的位置数据。位置数据可以是已知的形式，例如地理坐标(纬度坐标和经度坐标)。
计算机110通常被布置用于依靠车辆105通信模块130并且还利用车辆105内部有线和/或无线网络(例如车辆105中的总线等，诸如控制器局域网(CAN)等)和/或其他有线和/或无线机制进行通信。
经由车辆105通信网络，计算机110可向车辆105中的各种装置传输消息和/或从所述各种装置接收消息，所述各种装置例如车辆传感器115、致动器120、车辆部件125、人机界面(HMI)等。替代地或另外，在其中计算机110实际上包括多个装置的情况下，车辆105通信网络可用于在本公开中表示为计算机110的装置之间的通信。此外，如以下所提及，各种控制器和/或车辆传感器115可向计算机110提供数据。
车辆传感器115可包括诸如已知的用于向计算机110提供数据的多种装置。例如，车辆传感器115可以包括设置在车辆105的顶部上、在车辆105前挡风玻璃后面、在车辆105周围等的光探测和测距(激光雷达)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状和/或周围的状况。作为另一示例，固定到车辆105保险杠的一个或多个雷达传感器115可以提供数据以提供对象(可能包括第二车辆)等相对于车辆105的位置的速度并进行测距。车辆传感器115还可以包括相机传感器115(例如前视、侧视、后视等)，所述相机传感器提供来自车辆105的内部和/或外部的视野的图像。
车辆105致动器120经由如已知那样可以根据适当控制信号致动各种车辆子系统的电路、芯片、马达或者其他电子和/或机械部件来实施。致动器120可以用于控制部件125，包括车辆105的制动、加速和转向。
在本公开的上下文中，车辆部件125是适于执行机械或机电功能或操作(诸如使车辆105移动、使车辆105减速或停止、使车辆105转向等)的一个或多个硬件部件。部件125的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可以包括方向盘、转向齿条等中的一者或多者)、制动部件(如以下所描述)、泊车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等。
此外，计算机110可以被配置用于经由车辆对车辆通信模块或接口130与车辆105外部的装置通信，例如，通过车辆对车辆(V2V)或车辆对基础设施(V2X)无线通信与另一车辆、远程服务器145(通常经由网络135)通信。模块130可以包括计算机110可借以通信的一种或多种机制，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望网络拓扑(或者当利用多种通信机制时的多个拓扑)。经由模块130提供的示例性通信包括提供数据通信服务的蜂窝、
Figure BDA0003427626820000071
IEEE 802.11、专用短程通信(DSRC)和/或广域网(WAN)，包括互联网。
网络135可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，缆线和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合和任何期望的网络拓扑(或在利用多个通信机制时的多个拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用蓝牙、低功耗蓝牙(BLE)、IEEE 802.11、车辆对车辆(V2V)(诸如专用短程通信(DSRC))等)、局域网(LAN)和/或广域网(WAN)，包括互联网。
计算机110可以基本上连续地、周期性地和/或当由服务器145指示时等从传感器115接收并分析数据。此外，摩擦估计技术可以用于在例如计算机110中基于激光雷达传感器115、相机传感器115等的数据，来识别对象的类型(例如，车辆、人、岩石、坑洞、自行车、摩托车等)以及对象的物理特征。
图2是示例性服务器145的框图。服务器145包括计算机235和通信模块240。计算机235包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机235执行以用于执行各种操作(包括如本文所公开的操作)的指令。通信模块240允许计算机235与其他装置(诸如车辆105)通信。
图3是示例性深度神经网络(DNN)300的图示。DNN 300可以表示本文描述的一个或多个神经网络。DNN 300包括多个节点305，并且节点305被布置成使得DNN 300包括输入层、一个或多个隐藏层和输出层。DNN 300的每一层可以包括多个节点305。尽管图3示出了三(3)个隐藏层，但是应理解，DNN 300可以包括附加的或更少的隐藏层。输入层和输出层还可以包括一(1)个以上的节点305。
节点305有时被称为人工神经元305，因为它们被设计成模拟生物(例如人类)神经元。每个神经元305的一组输入(由箭头表示)各自乘以相应的权重。然后，可以将经加权输入在输入函数中求和，以在可能通过偏置进行调整的情况下提供净输入。然后，可以将净输入提供给激活函数，所述激活函数进而为连接的神经元305提供输出。所述激活函数可以是通常基于经验分析来选择的各种合适的函数。如图3中的箭头所示，接着可以提供神经元305输出以包括在下一层中的一个或多个神经元305的一组输入中。
可以训练DNN 300以接受数据作为输入并基于输入生成输出。DNN 300可以用地面实况数据(即关于真实世界状况或状态的数据)进行训练。例如，DNN 300可以用地面实况数据进行训练或者由处理器用附加数据进行更新。例如，可以通过使用高斯分布初始化权重，并且可以将每个节点305的偏差设置为零。训练DNN 300可以包括经由合适技术(诸如反向传播与优化)来更新权重和偏差。地面实况数据可以包括但不限于指定与图像中描绘的表面相对应的摩擦系数的数据。例如，地面实况数据可以是关于与表面标签相对应的表面摩擦系数的数据和关于标记图像中的表面的数据。
反向传播是将来自DNN 300的输出返回到输入以与对应于测试数据的地面实况进行比较的技术。在该示例中，在训练期间，可反向传播标签和遮挡物概率以与包括在地面实况中的标签和遮挡物概率进行比较以确定损失函数。损失函数确定DNN 300处理DNN 300的准确程度。DNN 300可以在前景与背景数据上执行多次，同时改变控制DNN 300的处理的参数。与通过将输出与地面实况进行比较的损失函数确认的正确答案相对应的参数被保存为候选参数。在测试运行之后，将产生最正确结果的候选参数保存为可用于在操作期间对DNN300进行编程的参数。地面实况数据可以包括但不限于指定与图像中描绘的表面相对应的摩擦系数的数据。DNN 300可在服务器145处进行训练并经由通信网络135提供给车辆105。
图4示出了包括神经网络405、摩擦估计器410和数据注释器415的示例性神经网络再训练系统400。神经网络405、摩擦估计器410和数据注释器415可以存储在计算机110存储器中并由计算机110处理器执行。
如本文所讨论的，可以用先前未见的数据实时或近实时地训练神经网络405。在一些实现方式中，在车辆105可操作时用数据再训练神经网络405。最初，可以使用标记有摩擦系数的图像来训练神经网络405。摩擦系数是车辆105的一个或多个轮胎与车辆105行驶的表面之间的摩擦量。摩擦系数可以是静态的或动态的，并且对应于使车辆105的一个或多个轮胎打滑或中断牵引所需的力的大小。神经网络405可以包括卷积神经网络(CNN)、支持向量机(SVM)、随机决策森林回归神经网络等。神经网络405最初可以经由服务器145进行离线训练并部署到车辆105。
在操作期间，神经网络405可以从一个或多个传感器115接收图像，并且确定与车辆105正在穿越的表面相对应的摩擦系数。神经网络405可以向计算机110提供摩擦系数，并且计算机110可以基于摩擦系数来确定要执行的一个或多个车辆动作。例如，计算机110可以改变车辆105的推进。在另一示例中，计算机110可以改变车辆105的车辆路径。
如上面所讨论的，神经网络405确定表面的摩擦系数。在一些实现方式中，神经网络405可以使用在训练期间生成的将图像与摩擦相关数据相关联的相关表来训练神经网络405。相关表可以包括在获取图像时测量或估计的摩擦系数。例如，可以由人类观察者基于先前编制的表来估计摩擦系数，所述表描述了各种类型的表面(即，干燥路面、覆盖有冰的路面、潮湿路面、有积滞水的路面等)的摩擦系数。先前编制的表可以通过用车辆测试各种类型的表面以确定使车轮打滑或失去牵引所需的力的大小来确定。摩擦系数也可以通过使用摩擦估计器410估计摩擦系数来确定，所述摩擦估计器输入来自包括在车辆105中的传感器115的数据并输出估计的摩擦系数。
摩擦估计器410例如从一个或多个车辆总线接收传感器115数据，并且基于传感器115数据来确定摩擦系数。在示例性实现方式中，所述传感器115数据可为指示轮速、轮胎滚动半径、车轮惯性、驱动扭矩、制动扭矩、轮胎滚动阻力、纵向力等的数据。摩擦估计器410可以包括如上所讨论的将传感器115数据与摩擦系数相关联的先前编制的摩擦系数表。在该示例中，先前编译的表将包括通过测试使车辆轮胎打滑所需的力的大小而确定的与传感器115数据相关联的摩擦系数。例如，如果车轮转速乘以轮胎周长不等于车辆105的速度，则轮胎一定在打滑。轮胎开始打滑的速度可以与横向加速度和纵向加速度组合以确定表面的摩擦系数。摩擦估计器410输出与所接收的传感器115数据相对应的摩擦系数标签。
数据注释器415接收由摩擦估计器410生成的摩擦系数标签以及来自神经网络405的图像和对应的所确定的摩擦系数。数据注释器415将由摩擦估计器410生成的摩擦系数标签与来自神经网络405的所确定的摩擦系数进行比较以确定差值是否超过标签阈值。例如，数据注释器415将与生成的图像相对应的所确定的摩擦系数与由摩擦估计器410生成的对应的摩擦系数标签进行比较。标签阈值是度量，例如，在训练神经网络405期间确定的以经验确定的度量，其表示由摩擦估计器410生成的摩擦系数标签与来自神经网络405的所确定的摩擦系数之间的容许差值。可以通过基于类似的传感器115数据使用摩擦估计器410估计多个摩擦系数并确定摩擦系数估计值的标准偏差来确定标签阈值。例如，标签阈值可以被确定为与平均摩擦系数估计值的一个标准偏差。
如果差值超过标签阈值，则数据注释器415将与图像相对应的所确定的摩擦系数修改为等于摩擦系数标签，使得图像被标记有摩擦系数标签。因此，图像对应于由摩擦估计器410生成的摩擦系数标签而不是由神经网络405生成的所确定的摩擦系数。数据注释器415可以使用时间戳来确定哪个图像对应于摩擦系数标签。例如，当图像的时间戳在摩擦系数标签的时间戳的预定时间范围内时，数据注释器415可以将图像与摩擦系数标签匹配。数据注释器415向神经网络405提供图像和摩擦系数标签。在接收到图像和摩擦系数标签之后，神经网络405可以进入训练阶段，其中用图像和摩擦系数标签再训练神经网络405。
例如，计算机110可以使用对应于由神经网络405输出的图像的摩擦系数来通过将信号传输到控制车辆动力传动系统、转向和制动的致动器120来操作车辆105。例如，神经网络405可以基于输入图像来确定车辆105正前方的路面包括减小的摩擦系数。例如，减小的摩擦系数可能是由于路面上的水或冰。计算机105可以通过基于路径多项式(即，描述车辆105行驶的预测路径的一个或多个多项式函数)确定车辆路径来操作车辆105。可以通过控制车辆动力传动系统、转向和制动来计算要施加到车辆的横向加速度和纵向加速度来确定多项式函数。横向加速度和纵向加速度可以包括基于将导致车辆的车轮与道路之间的打滑或失去牵引的加速度的最大极限。当神经网络405检测到减小的摩擦系数时，计算机105可以减小在确定车辆路径中包括的多项式函数时所允许的最大横向加速度和纵向加速度。通过用神经网络405处理图像来确定摩擦系数可以通过减小所允许的横向加速度和纵向加速度并由此减小车辆105在减小的摩擦系数条件下打滑的趋势来改善车辆105的操作。
图5是示出用于确定是否用由摩擦估计器410确定的摩擦系数标签来修改由神经网络405生成的所确定的摩擦系数的示例性过程500的流程图。过程500的框可由计算机110执行。过程500开始于框505，其中确定是否接收到图像。所述图像包括由一个或多个传感器115捕获的表示车辆105正在穿越的环境的一个或多个像素。如果未接收到任何图像，则过程500返回到505。
如果已接收到图像，则在框510处，神经网络405确定与车辆105正在穿越的表面相对应的一个或多个摩擦系数。如上面所讨论的，神经网络405可以将一种或多种常规卷积神经网络技术应用于图像。神经网络405可以使卷积图像与对应的摩擦系数相关或对其施加数学关系。在框515处，摩擦估计器410基于传感器115数据来确定摩擦系数标签。在示例性实现方式中，摩擦估计器410可以利用非图像传感器115数据(诸如经由一个或多个车辆总线接收的传感器115数据)来确定摩擦系数标签。
在框520处，数据注释器415确定由神经网络405确定的摩擦系数与由摩擦估计器410生成的摩擦系数标签之间的差值是否超过标签阈值。如果差值不超过标签阈值，则过程500结束。如果该差值超过标签阈值，则在框525处，数据注释器415修改与图像相对应的摩擦系数，使得该摩擦系数等于摩擦系数标签。在框530处，用图像和摩擦系数标签再训练神经网络405。在一个或多个实现方式中，实时或近实时地再训练神经网络405。在一些实现方式中，一旦车辆105停止移动，就可以再训练神经网络405。然后，过程500结束。
通常，所描述的计算系统和/或装置可采用多个计算机操作系统中的任一者，包括但绝不限于以下版本和/或变型：福特
Figure BDA0003427626820000131
应用、AppLink/Smart Device Link中间件、微软
Figure BDA0003427626820000132
操作系统、微软
Figure BDA0003427626820000133
操作系统、Unix操作系统(例如，由加州红杉海岸的Oracle公司发布的
Figure BDA0003427626820000134
操作系统)、由纽约阿蒙克市的InternationalBusiness Machines公司发布的AIX UNIX操作系统、Linux操作系统、由加州库比蒂诺的苹果公司发布的Mac OSX和iOS操作系统、由加拿大滑铁卢的黑莓有限公司发布的BlackBerryOS以及由谷歌公司和开放手机联盟开发的Android操作系统、或由QNX Software Systems供应的
Figure BDA0003427626820000135
CAR信息娱乐平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式机、笔记本、膝上型计算机或手持计算机、或某一其他计算系统和/或装置。
计算机和计算装置通常包括计算机可执行指令，其中所述指令可能能够由一个或多个计算装置(诸如以上所列出的那些)执行。可以从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用中的一些可以在诸如Java虚拟机、Dalvik虚拟机等虚拟机上编译和执行。通常来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一者或多者。此类指令和其他数据可使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可以由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成联接到ECU的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带、或者计算机可从其读取的任何其他介质。
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。
在一些示例中，系统元件可以被实施为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所述的功能的此类指令。
关于本文描述的介质、过程、系统、方法、启发等，应当理解，虽然此类过程等的步骤已经被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提供，并且决不应被解释为限制权利要求。
因此，应理解，以上描述意图为说明性的而非限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用对于本领域的技术人员将是明显的。本发明的范围不应参考以上描述来确定，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将并入到此类未来实施例中。总之，应理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。
除非本文做出明确的相反指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和一般的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
根据本发明，提供了一种系统，其具有计算机，所述计算机包括处理器和存储器，所述存储器包括指令，使得所述处理器被编程为：确定摩擦系数标签和与描绘表面的图像相对应的所确定的摩擦系数之间的差值是否大于标签阈值；当所述差值大于所述标签阈值时，将所述确定的摩擦系数修改为等于所述摩擦系数标签；以及使用所述图像和所述摩擦系数标签再训练神经网络。
根据一个实施例，基于所述确定的摩擦系数通过控制车辆制动、车辆动力传动系统和车辆转向中的一者或多者来操作车辆。
根据一个实施例，基于所述确定的摩擦系数来操作所述车辆包括降低允许的横向加速度和纵向加速度。
根据一个实施例，所述处理器还被编程为基于车辆传感器数据来确定所述摩擦系数标签。
根据一个实施例，所述处理器还被编程为访问将所述车辆传感器数据与所述摩擦系数标签相关联的查找表。
根据一个实施例，所述车辆传感器数据包括非图像传感器数据。
根据一个实施例，所述车辆传感器数据包括指示轮速、轮胎滚动半径、车轮惯性、驱动扭矩、制动扭矩、轮胎滚动阻力或纵向力的数据中的至少一者。
根据一个实施例，所述处理器还被编程为经由所述神经网络来确定所述摩擦系数。
根据一个实施例，所述处理器还被编程为：在神经网络处接收图像；以及基于所述图像来确定所述摩擦系数。
根据一个实施例，所述神经网络包括卷积神经网络。
根据一个实施例，所述神经网络包括支持向量机(SVM)。
根据一个实施例，实时或近实时地再训练所述神经网络。
根据一个实施例，在车辆可操作时再训练所述神经网络。
根据本发明，一种方法包括：确定摩擦系数标签和与描绘表面的图像相对应的所确定的摩擦系数之间的差值是否大于标签阈值；当所述差值大于所述标签阈值时，将所述确定的摩擦系数修改为等于所述摩擦系数标签；以及使用所述图像和所述摩擦系数标签再训练神经网络。
在本发明的一个方面，基于所述确定的摩擦系数通过控制车辆制动、车辆动力传动系统和车辆转向中的一者或多者来操作车辆。
在本发明的一个方面，基于所述确定的摩擦系数来操作所述车辆包括降低允许的横向加速度和纵向加速度。
在本发明的一个方面，所述方法包括基于车辆传感器数据来确定所述摩擦系数标签。
在本发明的一个方面，所述方法包括访问将所述车辆传感器数据与所述摩擦系数标签相关联的查找表。
在本发明的一个方面，所述车辆传感器数据包括非图像传感器数据。
在本发明的一个方面，所述车辆传感器数据包括指示轮速、轮胎滚动半径、车轮惯性、驱动扭矩、制动扭矩、轮胎滚动阻力或纵向力的数据中的至少一者。

Claims (15)

1.一种方法，其包括：
确定摩擦系数标签和与描绘表面的图像相对应的所确定的摩擦系数之间的差值是否大于标签阈值；
当所述差值大于所述标签阈值时，将所述确定的摩擦系数修改为等于所述摩擦系数标签；以及
使用所述图像和所述摩擦系数标签再训练神经网络。
2.如权利要求1所述的方法，其中基于所述确定的摩擦系数通过控制车辆制动、车辆动力传动系统和车辆转向中的一者或多者来操作车辆。
3.如权利要求2所述的方法，其中基于所述确定的摩擦系数来操作所述车辆包括降低允许的横向加速度和纵向加速度。
4.如权利要求1所述的方法，其中所述处理器还被编程为基于车辆传感器数据来确定所述摩擦系数标签。
5.如权利要求4所述的方法，其中所述处理器还被编程为访问将所述车辆传感器数据与所述摩擦系数标签相关联的查找表。
6.如权利要求4所述的方法，其中所述车辆传感器数据包括非图像传感器数据。
7.如权利要求4所述的方法，其中所述车辆传感器数据包括指示轮速、轮胎滚动半径、车轮惯性、驱动扭矩、制动扭矩、轮胎滚动阻力或纵向力的数据中的至少一者。
8.如权利要求1所述的方法，其中所述处理器还被编程为经由所述神经网络来确定所述摩擦系数。
9.如权利要求8所述的方法，其还包括在所述神经网络处接收所述图像并基于所述图像确定所述摩擦系数。
10.如权利要求8所述的方法，其中所述神经网络包括卷积神经网络。
11.如权利要求8所述的方法，其中所述神经网络包括支持向量机(SVM)。
12.如权利要求1所述的方法，其中实时或近实时地再训练所述神经网络。
13.如权利要求1所述的方法，其中在车辆能操作时再训练所述神经网络。
14.如权利要求1所述的方法，其中所述神经网络确定所述图像中的所述表面的标签。
15.一种系统，其包括被编程为执行如权利要求1至14中任一项所述的方法的计算机。
CN202111585209.5A 2020-12-29 2021-12-22 实时神经网络再训练 Pending CN114758313A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/136,565 2020-12-29
US17/136,565 US20220207348A1 (en) 2020-12-29 2020-12-29 Real-time neural network retraining

Publications (1)

Publication Number Publication Date
CN114758313A true CN114758313A (zh) 2022-07-15

Family

ID=81972177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111585209.5A Pending CN114758313A (zh) 2020-12-29 2021-12-22 实时神经网络再训练

Country Status (3)

Country Link
US (1) US20220207348A1 (zh)
CN (1) CN114758313A (zh)
DE (1) DE102021134645A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116039636B (zh) * 2022-12-15 2024-01-30 南通大学 考虑车轮打滑的轮式移动机器人自适应神经网络控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3206411B1 (en) * 2016-02-11 2020-10-07 Volvo Car Corporation Arrangement and method for predicting road friction within a road network
US10275662B1 (en) * 2016-09-30 2019-04-30 Zoox, Inc. Estimating friction based on image data
US20180217050A1 (en) * 2017-01-30 2018-08-02 GM Global Technology Operations LLC Invasive active dynamic tests to determine surface coefficient of friction
EP3398825B1 (en) * 2017-05-03 2020-03-11 Volvo Car Corporation Method and system for computing a road friction estimate
WO2019063589A1 (en) * 2017-09-26 2019-04-04 Nira Dynamics Ab FRICTION ESTIMATE
US10816949B1 (en) * 2019-01-22 2020-10-27 Veritone Alpha, Inc. Managing coordinated improvement of control operations for multiple electrical devices to reduce power dissipation

Also Published As

Publication number Publication date
US20220207348A1 (en) 2022-06-30
DE102021134645A1 (de) 2022-06-30

Similar Documents

Publication Publication Date Title
US10752253B1 (en) Driver awareness detection system
US11107228B1 (en) Realistic image perspective transformation using neural networks
US11574463B2 (en) Neural network for localization and object detection
US11702044B2 (en) Vehicle sensor cleaning and cooling
US20220111859A1 (en) Adaptive perception by vehicle sensors
US11887323B2 (en) Self-supervised estimation of observed vehicle pose
US11100372B2 (en) Training deep neural networks with synthetic images
US20230153623A1 (en) Adaptively pruning neural network systems
CN116476843A (zh) 目标滑移估计
US11893004B2 (en) Anomaly detection in multidimensional sensor data
US11657635B2 (en) Measuring confidence in deep neural networks
CN114758313A (zh) 实时神经网络再训练
US11462020B2 (en) Temporal CNN rear impact alert system
US11745766B2 (en) Unseen environment classification
US11555919B2 (en) Radar calibration system
US10977783B1 (en) Quantifying photorealism in simulated data with GANs
US11698437B2 (en) Segmentation and classification of point cloud data
US11262201B2 (en) Location-based vehicle operation
US20220172062A1 (en) Measuring confidence in deep neural networks
US11321587B2 (en) Domain generation via learned partial domain translations
US11068749B1 (en) RCCC to RGB domain translation with deep neural networks
US20230139521A1 (en) Neural network validation system
US11158066B2 (en) Bearing only SLAM with cameras as landmarks
US20240046619A1 (en) Holographic display calibration using machine learning
CN117115625A (zh) 未见环境分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination