CN113911050A - 增强的车辆操作 - Google Patents

增强的车辆操作 Download PDF

Info

Publication number
CN113911050A
CN113911050A CN202110721157.3A CN202110721157A CN113911050A CN 113911050 A CN113911050 A CN 113911050A CN 202110721157 A CN202110721157 A CN 202110721157A CN 113911050 A CN113911050 A CN 113911050A
Authority
CN
China
Prior art keywords
vehicle
fog
vehicle sensor
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110721157.3A
Other languages
English (en)
Inventor
A·马利克
考希克·巴拉科瑞斯南
维贾伊·纳加萨米
普拉韦恩·纳拉亚南
S·孙达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN113911050A publication Critical patent/CN113911050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0237—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems circuits concerning the atmospheric environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Abstract

本公开提供“增强的车辆操作”。一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像，以及将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距。

Description

增强的车辆操作
技术领域
本公开总体上涉及车辆传感器。
背景技术
车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的数据并基于所述数据来操作车辆。车辆传感器可以提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的操作可以依赖于在车辆正在道路上进行操作时获取关于车辆的环境中的对象的准确且及时的数据。车辆可以使用被配置为根据由车辆传感器收集的图像数据识别对象的计算装置。
发明内容
一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像，以及将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距。
所述指令可还包括用于进行以下操作的指令：用所述车辆传感器收集图像，将所述图像输入到所述机器学习程序，从所述机器学习程序输出从所述车辆传感器到所述实际雾的所述气象光学视距，以及基于从所述车辆传感器到所述实际雾的所述气象光学视距致动一个或多个车辆部件。
所述指令可还包括用于进行以下操作的指令：在从所述车辆传感器到所述实际雾的所述气象光学视距低于距离阈值时，将所述一个或多个车辆部件中的一个从自主操作转变为手动操作。
所述指令可还包括用于进行以下操作的指令：在从所述车辆传感器到所述实际雾的所述气象光学视距低于第二距离阈值时，将车辆从自主模式转变为手动模式。
所述指令可还包括用于进行以下操作的指令：在从所述车辆传感器到所述实际雾的所述气象光学视距高于第一阈值时致动第一部件，并且在从所述车辆传感器到所述实际雾的所述气象光学视距高于第二阈值时致动第二部件。
所述指令可还包括用于进行以下操作的指令：从所述机器学习程序在所收集的图像中输出对象，并且基于由所述机器学习程序输出的所述对象来致动所述一个或多个车辆部件。
所述指令可还包括用于进行以下操作的指令：识别所述参考图像的环境光，并且基于所述环境光调整所述一个或多个像素的所述相应颜色值。
所述指令可还包括用于进行以下操作的指令：用从所述传感器到所述模拟雾的所述气象光学视距注解所述参考图像。
所述指令可还包括用于进行以下操作的指令：通过以下方式来调整所述参考图像中所述像素中的一个的所述颜色值：基于穿过雾的光的透射系数减小所述像素中的所述一个的所述颜色值并基于所述透射系数增加所述像素的环境光。
所述指令可还包括用于进行以下操作的指令：识别从所述车辆传感器到所述参考图像的所述像素中的一个中的对象的初始距离，并且基于所述初始距离和从所述车辆传感器到所述模拟雾的所述指定的气象光学视距来调整所述像素中的所述一个的所述颜色值。
所述指令可还包括用于进行以下操作的指令：识别针对由所述车辆传感器收集的图像中的所有像素的从所述车辆传感器到所述实际雾的相应气象光学视距，并且基于从所述车辆传感器到所述实际雾的最小气象光学视距来致动一个或多个车辆部件。
所述指令可还包括用于进行以下操作的指令：用第二车辆传感器识别对象，以及识别从所述第二车辆传感器到所述对象的距离，并且当从所述第二车辆传感器到所述对象的所述距离超过从所述车辆传感器到所述实际雾的所述气象光学视距时，基于所识别的对象来抑制对一个或多个车辆部件的致动。
气象光学视距是从车辆传感器延伸的光束的发光度落到发光度阈值以下时的距离。
一种方法包括：通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像，所述气象光学视距是从所述车辆传感器延伸的光束的发光度落到发光度阈值以下时的距离，以及将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距。
所述方法可还包括：用所述车辆传感器收集图像，将所述图像输入到所述机器学习程序，从所述机器学习程序输出从所述车辆传感器到所述实际雾的所述气象光学视距，以及基于从所述车辆传感器到所述实际雾的所述气象光学视距致动一个或多个车辆部件。
所述方法可还包括：在从所述车辆传感器到所述实际雾的所述气象光学视距低于距离阈值时，将所述一个或多个车辆部件中的一个从自主操作转变为手动操作。
所述方法可还包括：在从所述车辆传感器到所述实际雾的所述气象光学视距低于第二距离阈值时，将车辆从自主模式转变为手动模式。
所述方法可还包括：在从所述车辆传感器到所述实际雾的所述气象光学视距高于第一阈值时致动第一部件，并且在从所述车辆传感器到所述实际雾的所述气象光学视距高于第二阈值时致动第二部件。
所述方法可还包括：从所述机器学习程序在所收集的图像中输出对象，并且基于由所述机器学习程序输出的所述对象来致动所述一个或多个车辆部件。
所述方法可还包括：识别所述参考图像的环境光，并且基于所述环境光调整所述一个或多个像素的所述相应颜色值。
所述方法可还包括：用从所述传感器到所述模拟雾的所述气象光学视距注解所述参考图像。
所述方法可还包括：通过以下方式来调整所述参考图像中所述像素中的一的所述颜色值：基于穿过雾的光的透射系数减小所述像素中的所述一个的所述颜色值并基于所述透射系数增加所述像素的环境光。
所述方法可还包括：识别从所述车辆传感器到所述参考图像的所述像素中的一个中的对象的初始距离，并且基于所述初始距离和从所述车辆传感器到所述模拟雾的所述指定的气象光学视距来调整所述像素中的所述一个的所述颜色值。
所述方法可还包括：识别针对由所述车辆传感器收集的图像中的所有像素的从所述车辆传感器到所述实际雾的相应气象光学视距，并且基于从所述车辆传感器到所述实际雾的最小气象光学视距来致动一个或多个车辆部件。
所述方法可还包括：用第二车辆传感器识别对象，以及识别从所述第二车辆传感器到所述对象的距离，并且当从所述第二车辆传感器到所述对象的所述距离超过从所述车辆传感器到所述实际雾的所述气象光学视距时，基于所识别的对象来抑制对一个或多个车辆部件的致动。
一种系统包括车辆传感器、用于通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像的装置(所述气象光学视距是从所述车辆传感器延伸的光束的发光度落到发光度阈值以下时的距离)、用于将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距的装置、用于用所述车辆传感器收集图像的装置、用于将所述图像输入到所述机器学习程序的装置、用于从所述机器学习程序输出从所述车辆传感器到所述实际雾的所述气象光学视距的装置、和用于基于从所述车辆传感器到所述实际雾的所述气象光学视距致动一个或多个车辆部件的装置。
所述系统可还包括用于在从所述车辆传感器到所述实际雾的所述气象光学视距低于距离阈值时将所述一个或多个车辆部件中的一个从自主操作转变为手动操作的装置。
所述系统可还包括用于从所述机器学习程序在所收集的图像中输出对象的装置和用于基于由所述机器学习程序输出的所述对象来致动所述一个或多个车辆部件的装置。
还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。还公开了一种包括所述计算装置的车辆。还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储指令，所述指令可由计算机处理器执行以执行上述方法步骤中的任一者。
附图说明
图1是用于操作车辆的示例性系统的图示。
图2A-图2C是具有模拟雾的示例图像。
图3是示例性机器学习程序的图示。
图4是用于训练机器学习程序的示例性过程的图示。
图5是用于通过机器学习程序操作车辆的示例性过程的图示。
具体实施方式
雾可遮挡由车辆传感器收集的图像。也就是说，对象与车辆传感器之间的雾可遮蔽由车辆传感器收集的图像中的对象。在被雾遮蔽的图像中，识别从车辆传感器到对象的距离可能是困难的。车辆计算机可以基于来自车辆传感器的数据来操作车辆。当数据被雾遮挡时，车辆计算机可以忽略在“气象光学视距”(即光衰减到预定阈值以下的距离，如下所述)之外收集的数据。也就是说，由传感器从气象光学视距之外接收的电磁波可能会因雾而衰减或减小，并且这些衰减的波可能无法准确地或精确地提供关于对象的数据。使用机器学习程序可以比例如三维深度检测算法更快地识别由车辆传感器收集的图像中的雾的气象光学视距。更快地识别气象光学视距可以通过更新距离来改善车辆计算机的操作，当车辆沿着路线行驶时，车辆计算机应忽略在所述距离之外的数据。
图1示出了用于操作车辆101的示例性系统100。车辆101中的计算机105被编程为从一个或多个传感器110接收所收集的数据。例如，车辆101的数据可以包括车辆101的位置、关于车辆周围的环境的数据、关于车辆外部的对象(诸如另一车辆)的数据等。车辆101的位置通常以常规形式提供，所述形式为例如经由使用全球定位系统(GPS)的导航系统获得的地理坐标(诸如纬度和经度坐标)。数据的另外示例可以包括车辆101的系统和部件的测量值，例如车辆101的速度、车辆101的轨迹等。
计算机105通常被编程为在车辆101网络上进行通信，所述网络例如包括常规车辆101的通信总线诸如CAN总线、LIN总线等和/或其他有线和/或无线技术例如以太网、WIFI等。经由网络、总线和/或其他有线或无线机制(例如车辆101中的有线或无线局域网)，计算机105可向车辆101中的各种装置(例如控制器、致动器、传感器等，包括传感器110)发送消息和/或从所述各种装置接收消息。替代地或另外，在计算机105实际上包括多个装置的情况下，车辆网络可用于在本公开中表示为计算机105的装置之间的通信。另外，计算机105可以被编程用于与网络120进行通信，如下所述，所述网络可以包括各种有线和/或无线联网技术，例如蜂窝、
Figure BDA0003136587520000071
低功耗(BLE)、有线和/或无线分组网络等。
存储器可以是任何类型，例如，硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。存储器可以存储从传感器110发送的收集数据。存储器可以是与计算机105分离的装置，并且计算机105可以经由车辆101中的网络(例如，通过CAN总线、无线网络等)检索由存储器存储的信息。替代地或另外，存储器可以是计算机105的一部分，例如作为计算机105的存储器。
传感器110可以包括多种装置。例如，车辆101中的各种控制器可充当传感器110以经由车辆101网络或总线提供数据，例如与车辆速度、加速度、位置、子系统和/或部件状态等有关的数据。此外，其他传感器110可以包括相机、运动检测器等，即，用于提供数据以评估部件的位置、评估道路的斜率等的传感器110。传感器110还可以包括但不限于短程雷达、远程雷达、激光雷达和/或超声波传感器。
所收集的数据可以包括在车辆101中收集的多种数据。上面提供了所收集的数据的示例，并且此外，数据通常使用一个或多个传感器110来收集，并且可以另外包括在计算机105中和/或在服务器125处根据其计算出的数据。通常，所收集的数据可以包括可以由传感器110采集的和/或根据此类数据计算出的任何数据。
车辆101可以包括多个车辆部件115。在这种上下文中，每个车辆部件115包括适于执行诸如移动车辆101、使车辆101减慢或停止、使车辆101转向等机械功能或操作的一个或多个硬件部件。部件115的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可以包括方向盘、转向齿条等中的一者或多者)、制动部件、驻车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等。
为了本公开的目的，车辆101可以以完全自主模式、半自主模式或非自主模式中的一者进行操作。完全自主模式被定义为其中车辆101的推进(通常经由包括电动马达和/或内燃发动机的动力传动系统进行)、制动和转向中的每一者都由计算机105控制的模式。半自主模式是其中车辆101的推进(通常经由包括电动马达和/或内燃发动机的动力传动系统进行)、制动和转向中的至少一者至少部分地由计算机105而不是人类操作员控制的模式。在非自主模式(即，手动模式)下，车辆101的推进、制动和转向由人类操作员控制。
系统100还可以包括连接到服务器125的网络120。计算机105还可以被编程为经由网络120与诸如服务器125的一个或多个远程站点通信，这种远程站点可能包括处理器和存储器。网络120表示车辆计算机105可借助来与远程服务器125通信的一种或多种机制。因此，网络120可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何所需组合以及任何所需的网络拓扑(或当利用多种通信机制时的多种拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用
Figure BDA0003136587520000081
低功耗(BLE)、IEEE802.11、车辆对车辆(V2V)诸如专用短程通信(DSRC)等)、局域网(LAN)和/或包括互联网的广域网(WAN)。
图2A-图2C示出了具有模拟雾205的图像200。在本文档的上下文中，“雾”是包含悬浮在道路上方的空气中的水滴或冰晶的可见气溶胶，其可以减少或阻挡光透射穿过其中。此外，在本文档的上下文中，“模拟雾”是图像200的颜色值的规范，通常改变原始颜色值，以模拟由实际雾引起的遮挡。也就是说，图像200可以是矩阵，矩阵的每个元素是一组红-蓝-绿(RGB)颜色值或黑白(BW)颜色值。矩阵的每个元素是图像200的“像素”。每个像素可以具有一组颜色值，即表示相应颜色分量(诸如红-蓝-绿)的数字，其指定像素的颜色。模拟雾205可以是一组像素，其中颜色值被调整为比原始RGB或BW值更接近白色。也就是说，在RGB中，当像素的RGB值为256-256-256时，像素为白色。模拟雾205的像素可以具有在像素的原始RGB值集合与白色256-256-256之间的RBG颜色值。图2A示出了没有模拟雾205的参考图像200。图2B示出了在距传感器110的距离r1处具有模拟雾205的参考图像200，如下所述。图2C示出了在距传感器110的距离r2处具有模拟雾205的参考图像200，如下所述。“参考”图像200可以是用于训练机器学习程序的图像200，如下所述。
服务器125可以通过将颜色变化模型应用于图像200来将模拟雾205应用于参考图像200：
F(x)＝t(x)R(x)+L(1-t(x)) (1)
其中x是图像200的像素，F(x)是表示具有模拟雾205的图像200的矩阵，R(x)是表示原始图像200的矩阵，t(x)是透射系数，如下所述，并且L是环境光，如下所述。
透射系数t(x)是0和1之间的数字，其表示到达相机110的光量：
t(x)＝exp(-β·s(x)) (2)
其中β是衰减系数，并且s(x)是从相机110到没有雾的参考图像200中的对象的初始距离。衰减系数β是量化光透射初始距离s(x)到对象的指数衰减的值。具体地，衰减系数β基于气象光学视距(MOR)r。气象光学视距r是从发射器(例如，传感器110处的光源)延伸的光束的发光度落到发光度阈值以下时的距离。发光度阈值是由标准设定组织(例如，国际民用航空组织)设定的预定值。例如，发光度阈值可以是5％。因此，服务器125可以在指定的MOR值下模拟雾205以训练机器学习程序。因此，衰减系数β可以根据发光度阈值来定义，例如：发光度阈值是5％时的β＝2.996/r。
颜色变化模型可以使用环境光L(1-t(x))来施加模拟雾205。在这种背景下，“环境光”是表示大气光的恒定RBG值，例如，具有256-256-256的RBG值的白色。因此，环境光L被施加到参考图像200以遮挡参考图像200中的对象。即，环境光L改变与1-t(x)成比例的像素x的颜色值，生成模拟雾205。也就是说，随着透射系数t(x)增加，添加到像素x的环境光L的量减少，从而降低了像素x中的模拟雾205的量。
服务器125可以指定的MOR r值应用模拟雾205。也就是说，服务器125可以针对图像200中的每个像素x，根据上面的等式1-2调整像素x的颜色值。例如，服务器125可以MOR r值r1应用模拟雾205，以生成图2B的模拟雾205。在另一个示例中，服务器125可以MOR r值r2应用模拟雾205，以生成图2C的模拟雾205。替代地或另外，服务器125可以以不同的MOR r值应用模拟雾205以在MOR r处生成模拟雾205。
服务器125可以通过基于从传感器110到模拟雾205的指定MOR r来调整参考图像200的一个或多个像素的相应颜色值来生成合成图像。“合成图像”是其中一个或多个像素由计算机程序调整的图像。例如，合成图像可以是由相机110收集的图像200，其中添加了模拟雾205。也就是说，颜色变化模型可以输出合成图像F(x)，如上所述。服务器125可以生成多个合成图像，每个合成图像包括在指定MOR r处的模拟雾205。
服务器125可以将多个合成图像输入到机器学习程序。服务器125可以通过输入的合成图像训练机器学习程序以识别从车辆传感器101到实际雾的MOR r。如下所述，服务器125可以通过用于输入模拟雾205的MOR r来注解合成图像。服务器125可以确定机器学习程序的输出MOR r与合成图像中的MOR r的注解之间的差值。服务器125可以将差值输入到成本函数(例如，最小二乘方程)。服务器125可以使用诸如反向传播和梯度下降的技术来调整机器学习程序的输出，直到成本函数最小化。
机器学习程序可以在收集的图像200中输出对象。也就是说，可以训练机器学习程序以识别图像200中的一个或多个对象。机器学习程序可以用具有图像200中的对象的注解的图像200来训练。也就是说，使用在对象的输出标识与图像200中的注解之间的如上所述的成本函数，服务器125可以调整机器学习程序的输出以最小化成本函数。计算机105可以基于由机器学习程序输出的对象来致动一个或多个车辆部件115。
计算机105可以确定图像200中的实际雾的气象光学视距r。计算机105可以用传感器110(例如，相机)收集图像200。如上所述，计算机105可以将图像输入到机器学习程序。机器学习程序可以针对图像200的每个像素输出从传感器110到实际雾的MOR r。计算机105可以识别最小MOR r，其为图像200中的像素的MOR r值中的最小的MOR r值。
计算机105可以基于从传感器110到实际雾的最小MOR r来致动一个或多个车辆部件115。MOR r是这样的距离：计算机105可以由于与在没有雾的情况下从传感器110收集的数据相比来自一个或多个传感器110的在该距离之外的数据不可靠而将其忽略，即，其中在没有雾的情况下来自传感器110的数据可为可靠的。也就是说，由传感器110收集的数据可以包括收集数据的距离，例如，距所识别的对象的距离。如果收集数据的距离超过所识别的MOR r，则计算机105可以忽略该数据，从而抑制使用该数据来致动部件115。例如，当车辆101在道路的MOR r内移动时，如果计算机105接收到指示超出MOR r的道路没有对象的数据，则计算机105可以忽略该数据并收集道路的附加数据。因此，计算机105可以仅利用在MOR r内收集的数据来致动部件115。
每个部件115可以具有距车辆101的最小距离，传感器110在所述最小距离处收集用于自主操作的数据。也就是说，每个部件115可以使用距传感器110的数据，并且每个部件115可以具有距车辆101的最小距离，从所述最小距离收集数据以在没有手动输入的情况下进行操作。例如，制动器可以具有60米的最小距离，因为在致动制动器时，使车辆101从每小时100公里的速度减速到停止的距离为约55米。因此，计算机105可以确定当MOR r小于60米时，应当通过手动输入来控制制动器。在另一个示例中，转向可以具有30米的最小距离。
当MOR r低于距离阈值时，计算机105可以将一个或多个车辆部件115从完全自主或半自主操作转变为手动操作。如上所述，距离阈值可以是自主操作的最小距离。也就是说，当MOR r低于距离阈值时，一个或多个部件115可能需要手动输入，并且计算机105可以将一个或多个部件115转变为接受手动输入。当到实际雾的MOR r增加超过部件115的相应最小距离时，计算机105可以致动部件115。
另外或替代地，计算机105可以基于MOR r将车辆101从自主模式转变为半自主模式或手动模式中的一者，如上所述。也就是说，不是基于MOR r一次将车辆部件115转变为手动操作，而是计算机105可以将车辆101转变为半自主模式或手动模式，从而将一个或多个车辆部件115转变为手动操作，其在所识别的MOR r下仍然可以自主地操作。当从传感器110到实际雾的MOR r低于第二距离阈值时，计算机105可以将车辆从自主模式转变为手动模式。如上所述，第二距离阈值可以是部件115中的一个可以利用来自传感器110的数据自主地操作的最大最小距离。因为制动器的最小距离大于转向的最小距离，所以计算机105可以将第二阈值定义为制动器的最小距离，并且当MOR r小于第二阈值时可以确定将车辆101转变为手动模式。
图3是示例性机器学习程序300的图示。机器学习程序300可以是深度神经网络(DNN)300，其可以被训练以识别图像200中的实际雾的气象光学视距r。例如，DNN 300可以是可以加载到存储器中并由包括在基础设施服务器135中的处理器执行的软件程序。DNN300可以包括n个输入节点305，每个输入节点接受输入i的集合(即，每个输入i的集合可以包括一个或多个输入X)。DNN 300可以包括提供输出的集合o1...om的m个输出节点(其中m和n可以是但通常不是相同的自然数)。DNN 300包括多个层，包括数量k个隐藏层，每个层包括一个或多个节点305。节点305有时被称为人工神经元305，因为它们被设计成模拟生物例如人类神经元。神经元框310示出了示例性人工神经元305i的输入和处理。将到每个神经元305的输入X1...Xr的集合各自乘以相应权重wi1...wir，然后在输入函数∑中对加权输入进行求和以提供可能按偏差bi进行了调整的净输入ai，然后将所述净输入提供给激活函数f，所述激活函数继而提供神经元305i输出Yi。激活函数f可以是通常基于经验分析来选择的各种合适的函数。如图3中的箭头所示，接着可以提供神经元305输出以包括在下一层中的一个或多个神经元305的一组输入中。
可以训练DNN 300以接受例如来自相机的参考图像作为输入数据，并且输出用于识别气象光学视距r的一个或多个参数。例如，可以训练DNN 300以输出到实际雾的距离。
即，DNN 300可以用地面实况数据(即，关于现实世界状况或状态的数据)进行训练。例如，可以通过使用高斯分布初始化权重w，并且可以将每个节点305的偏差b设置为零。训练DNN 300可以包括经由常规技术诸如具有优化的反向传播来更新权重和偏差。
节点305的一组权重w一起是节点305的权重矢量。可以组合DNN 300的相同层中的相应节点305的权重矢量以形成所述层的权重矩阵。可以组合DNN 300的相同层中的相应节点305的偏差值b以形成所述层的偏差矢量。然后，可以在训练的DNN 300中使用每层的权重矩阵和每层的偏差矢量。
在当前背景中，用于训练DNN 300的地面实况数据可以包括被注解以识别MOR r的图像数据。例如，传感器可以收集多个图像，所述多个图像可以包括模拟雾，如上所述，并且然后可被标记以训练DNN 300，即，可以指定标签，从而识别图像中的MOR r(诸如刚刚描述的)。然后，可以训练DNN 300以输出与MOR r相关的数据值，并且可以将输出数据值与注解进行比较以识别差异，即，输出数据值和输入被注解图像的成本函数。可以调整权重w和偏差b以减小成本函数的输出，即，将输出数据值与输入被注解图像之间的差异最小化。当成本函数最小化时，服务器125可以确定训练了DNN 300。
图4是用于训练针对车辆101的机器学习程序的示例性过程400的图示。过程400在框405中开始，其中服务器125接收道路的图像200。图像200可以由例如道路上的车辆101上的相机110收集。图像200可以是红-蓝-绿(RBG)彩色图像。替代地，图像200可以是黑白(BW)图像。
接下来，在框410中，服务器125将模拟雾205应用于图像200。模拟雾205是图像200的颜色值的变化，以模拟由实际雾引起的遮挡。服务器215可以通过颜色变化模型来应用模拟雾205，如上所述，所述颜色变化模型改变图像200的像素的颜色值。颜色变化模型可基于指定的气象光学视距(MOR)r来改变像素的颜色值，即该气象光学视距是距从发射器(例如，传感器110处的光源)延伸的光束的发光度落到发光度阈值以下时的距离的距离。发光度阈值是由标准设定组织(例如，国际民用航空组织)设定的预定值。例如，发光度阈值可以是5％。
接下来，在框415中，服务器125可以用模拟雾205的MOR r注解图像200。也就是说，对于其中服务器125包括模拟雾205的每个像素，服务器125可以提供指示用于将模拟雾205输入到像素的MOR r的标签。
接下来，在框420中，服务器125将具有模拟雾205的图像200输入到机器学习程序300以输出MOR r。例如，机器学习程序可以是深度神经网络300，其被训练以基于图像200中的模拟雾205的注解来输出MOR r。当训练了机器学习程序300时，机器学习程序300可以在由车辆相机110收集的图像200中输出实际雾的MOR r。服务器125可以调整DNN 300的节点305的权重以减小成本函数的输出，即，将输出数据值与输入被注解图像200之间的差异最小化。
接下来，在框425中，服务器125确定机器学习程序是否被训练。当成本函数最小化时，服务器125可以确定训练了机器学习程序。也就是说，当输入附加图像200不进一步减少成本函数的输出时，服务器125可以确定成本函数被最小化。如果服务器125确定训练了机器学习程序，则过程400结束。否则，过程400返回到框405以接收另一个图像200。
图5是用于根据如图4所述训练的机器学习程序300来操作车辆101的示例性过程500的图示。过程500在框505中开始，其中车辆101的计算机105从相机110接收图像200。如上所述，计算机105可以致动相机110以收集车辆101前方的道路的图像200。图像200可以是例如RBG图像200。
接下来，在框510中，计算机105将图像200输入到机器学习程序300中。如图4中所描述，机器学习程序300可以是深度神经网络300，其具有经训练以在图像200中输出雾的气象光学视距(MOR)r的多个层。
接下来，在框515中，计算机105识别图像200中的实际雾的MOR r。如上所述，在具有模拟雾205的图像200上训练的机器学习程序300输出针对图像200中的每个像素的MOR r值。计算机105可以识别图像200中的最小MOR r，其为由机器学习程序300输出的最小的MORr值。
接下来，在框520中，计算机105确定图像200中的最小MOR r是否低于阈值。阈值可以是用于自主操作的最小距离，即，具有距车辆101的最小距离，可以从所述最小距离收集数据以在没有手动输入的情况下操作部件115。例如，制动器可以具有60米的最小距离，因为在致动制动器时，使车辆101从每小时100公里的速度减速到停止的距离为约55米。因此，计算机105可以确定当MOR r小于60米时，应当通过手动输入来控制制动器。如果MOR r低于阈值，则过程500在框525中继续。否则，过程500在框530中继续。
在框525中，计算机105将一个或多个部件115从自主操作转变为手动操作。如上所述，阈值基于部件115可以操作的距雾的相应的最小距离。例如，如果MOR r为45米，其大于转向120的30米的最小距离，但小于制动器120的60米的最小距离，则计算机105可以将转向120转变为手动操作并维持制动器120的自主操作。
在框530中，计算机105确定是否继续过程500。例如，计算机105可以确定继续过程500，直到到达目的地并且使车辆101断电。如果计算机105确定继续，则过程500返回到框505以收集另一个图像200。否则，过程500结束。
本文所讨论的计算装置(包括计算机105)包括处理器和存储器，所述存储器通常各自包括能够由诸如上面标识的计算装置的一个或多个计算装置执行并用于执行上述过程的框或步骤的指令。计算机可执行指令可由使用多种编程语言和/或技术创建的计算机程序来编译或解释，所述编程语言和/或技术包括但不限于单独或组合形式的JavaTM、C、C++、Visual Basic、Java Script、Python、Perl、HTML等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令并且执行这些指令，由此执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类指令和其他数据可以使用各种计算机可读介质来存储和传输。计算机105中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，指令)的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD ROM、DVD、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
关于本文所描述的介质、过程、系统、方法等，应当理解，尽管已经将此类过程等的步骤描述为按照某个有序序列发生，但是此类过程可以通过以不同于本文描述的顺序的顺序执行所描述的步骤来实践。还应当理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文所描述的某些步骤。例如，在过程400中，可以省略步骤中的一个或多个，或者可以与图4中所示不同的次序执行步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施例而提供，而决不应当将其理解为对所公开的主题进行限制。
因此，应当理解，包括以上描述和附图以及所附权利要求的本公开意图为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。本发明的范围不应参考以上描述来确定，而应参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将并入到此类未来实施例中。总而言之，应当理解，所公开的主题能够进行修改和变化。
除非另有说明或上下文另有要求，否则修饰名词的冠词“一个”应被理解为是指一个或多个。短语“基于”涵盖部分地或完全地基于。
根据本发明，提供了一种系统，其具有计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令可由所述处理器执行以：通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像；以及将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距。
根据实施例，所述指令还包括用于进行以下操作的指令：用所述车辆传感器收集图像，将所述图像输入到所述机器学习程序，从所述机器学习程序输出从所述车辆传感器到所述实际雾的所述气象光学视距，以及基于从所述车辆传感器到所述实际雾的所述气象光学视距致动一个或多个车辆部件。
根据实施例，所述指令还包括用于进行以下操作的指令：在从所述车辆传感器到所述实际雾的所述气象光学视距低于距离阈值时，将所述一个或多个车辆部件中的一个从自主操作转变为手动操作。
根据实施例，所述指令还包括用于进行以下操作的指令：在从所述车辆传感器到所述实际雾的所述气象光学视距低于第二距离阈值时，将车辆从自主模式转变为手动模式。
根据实施例，所述指令还包括用于进行以下操作的指令：在从所述车辆传感器到所述实际雾的所述气象光学视距高于第一阈值时致动第一部件，并且在从所述车辆传感器到所述实际雾的所述气象光学视距高于第二阈值时致动第二部件。
根据实施例，所述指令还包括用于进行以下操作的指令：从所述机器学习程序在所收集的图像中输出对象，并且基于由所述机器学习程序输出的所述对象来致动所述一个或多个车辆部件。
根据实施例，所述指令还包括用于进行以下操作的指令：识别所述参考图像的环境光，并且基于所述环境光调整所述一个或多个像素的所述相应颜色值。
根据实施例，所述指令还包括用于进行以下操作的指令：用从所述传感器到所述模拟雾的所述气象光学视距注解所述参考图像。
根据实施例，所述指令还包括用于进行以下操作的指令：通过以下方式来调整所述参考图像中所述像素中的一个的所述颜色值：基于穿过雾的光的透射系数减小所述像素中的所述一个的所述颜色值并基于所述透射系数增加所述像素的环境光。
根据实施例，所述指令还包括用于进行以下操作的指令：识别从所述车辆传感器到所述参考图像的所述像素中的一个中的对象的初始距离，并且基于所述初始距离和从所述车辆传感器到所述模拟雾的所述指定的气象光学视距来调整所述像素中的所述一个的所述颜色值。
根据实施例，所述指令还包括用于进行以下操作的指令：识别针对由所述车辆传感器收集的图像中的所有像素的从所述车辆传感器到所述实际雾的相应气象光学视距，并且基于从所述车辆传感器到所述实际雾的最小气象光学视距来致动一个或多个车辆部件。
根据实施例，所述指令还包括用于进行以下操作的指令：用第二车辆传感器识别对象，以及识别从所述第二车辆传感器到所述对象的距离，并且当从所述第二车辆传感器到所述对象的所述距离超过从所述车辆传感器到所述实际雾的所述气象光学视距时，基于所识别的对象来抑制对一个或多个车辆部件的致动。
根据实施例，所述气象光学视距是从所述车辆传感器延伸的光束的发光度落到发光度阈值以下时的距离。
根据本发明，一种方法包括：通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像，所述气象光学视距是从所述车辆传感器延伸的光束的发光度落到发光度阈值以下时的距离，以及将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距。
在本发明的一个方面，所述方法包括：用所述车辆传感器收集图像，将所述图像输入到所述机器学习程序，从所述机器学习程序输出从所述车辆传感器到所述实际雾的所述气象光学视距，以及基于从所述车辆传感器到所述实际雾的所述气象光学视距致动一个或多个车辆部件。
在本发明的一个方面，所述方法包括：在从所述车辆传感器到所述实际雾的所述气象光学视距低于距离阈值时，将所述一个或多个车辆部件中的一个从自主操作转变为手动操作。
在本发明的一个方面，所述方法包括：从所述机器学习程序在所收集的图像中输出对象，并且基于由所述机器学习程序输出的所述对象来致动所述一个或多个车辆部件。
根据本发明，提供了一种系统，其具有：车辆传感器；用于通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像的装置(所述气象光学视距是从所述车辆传感器延伸的光束的发光度落到发光度阈值以下时的距离)；用于将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距的装置；用于用所述车辆传感器收集图像的装置；用于将所述图像输入到所述机器学习程序的装置；用于从所述机器学习程序输出从所述车辆传感器到所述实际雾的所述气象光学视距的装置；和用于基于从所述车辆传感器到所述实际雾的所述气象光学视距致动一个或多个车辆部件的装置。
根据实施例，本发明的特征还在于：用于在从所述车辆传感器到所述实际雾的所述气象光学视距低于距离阈值时将所述一个或多个车辆部件中的一个从自主操作转变为手动操作的装置。
根据实施例，本发明的特征还在于：用于从所述机器学习程序在所收集的图像中输出对象的装置和用于基于由所述机器学习程序输出的所述对象来致动所述一个或多个车辆部件的装置。

Claims (15)

1.一种方法，其包括：
通过基于从车辆传感器到模拟雾的指定的气象光学视距调整参考图像的一个或多个像素的相应颜色值来生成合成图像，所述气象光学视距是从所述车辆传感器延伸的光束的发光度落到发光度阈值以下时的距离；以及
将所述合成图像输入到机器学习程序以训练所述机器学习程序识别从所述车辆传感器到实际雾的气象光学视距。
2.如权利要求1所述的方法，其还包括：用所述车辆传感器收集图像，将所述图像输入到所述机器学习程序，从所述机器学习程序输出从所述车辆传感器到所述实际雾的所述气象光学视距，以及基于从所述车辆传感器到所述实际雾的所述气象光学视距致动一个或多个车辆部件。
3.如权利要求2所述的方法，其还包括在从所述车辆传感器到所述实际雾的所述气象光学视距低于距离阈值时，将所述一个或多个车辆部件中的一个从自主操作转变为手动操作。
4.如权利要求3所述的方法，其还包括在从所述车辆传感器到所述实际雾的所述气象光学视距低于第二距离阈值时，将车辆从自主模式转变为手动模式。
5.如权利要求2所述的方法，其还包括在从所述车辆传感器到所述实际雾的所述气象光学视距高于第一阈值时致动第一部件，并且在从所述车辆传感器到所述实际雾的所述气象光学视距高于第二阈值时致动第二部件。
6.如权利要求2所述的方法，其还包括从所述机器学习程序在所收集的图像中输出对象，并且基于由所述机器学习程序输出的所述对象来致动所述一个或多个车辆部件。
7.如权利要求1-6中任一项所述的方法，其还包括识别所述参考图像的环境光，并且基于所述环境光调整所述一个或多个像素的所述相应颜色值。
8.如权利要求1-6中任一项所述的方法，其还包括用从所述传感器到所述模拟雾的所述气象光学视距来注解所述参考图像。
9.如权利要求1-6中任一项所述的方法，其还包括通过以下方式来调整所述参考图像中所述像素中的一个的所述颜色值：基于穿过雾的光的透射系数减小所述像素中的所述一个的所述颜色值并基于所述透射系数增加所述像素的环境光。
10.如权利要求1-6中任一项所述的方法，其还包括识别从所述车辆传感器到所述参考图像的所述像素中的一个中的对象的初始距离，并且基于所述初始距离和从所述车辆传感器到所述模拟雾的所述指定的气象光学视距来调整所述像素中的所述一个的所述颜色值。
11.如权利要求1-6中任一项所述的方法，其还包括识别针对由所述车辆传感器收集的图像中的所有像素的从所述车辆传感器到所述实际雾的相应气象光学视距，并且基于从所述车辆传感器到所述实际雾的最小气象光学视距来致动一个或多个车辆部件。
12.如权利要求1-6中任一项所述的方法，其还包括用第二车辆传感器识别对象，以及识别从所述第二车辆传感器到所述对象的距离，并且当从所述第二车辆传感器到所述对象的所述距离超过从所述车辆传感器到所述实际雾的所述气象光学视距时，基于所识别的对象来抑制对一个或多个车辆部件的致动。
13.一种计算机，其被编程为执行权利要求1-6中任一项所述的方法。
14.一种车辆，其包括权利要求13所述的计算机。
15.一种计算机程序产品，其包括计算机可读介质，所述计算机可读介质存储指令，所述指令能由计算机处理器执行以执行权利要求1-6中任一项所述的方法。
CN202110721157.3A 2020-07-08 2021-06-28 增强的车辆操作 Pending CN113911050A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/923,367 US11772656B2 (en) 2020-07-08 2020-07-08 Enhanced vehicle operation
US16/923,367 2020-07-08

Publications (1)

Publication Number Publication Date
CN113911050A true CN113911050A (zh) 2022-01-11

Family

ID=79020340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110721157.3A Pending CN113911050A (zh) 2020-07-08 2021-06-28 增强的车辆操作

Country Status (3)

Country Link
US (1) US11772656B2 (zh)
CN (1) CN113911050A (zh)
DE (1) DE102021116759A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014208272A1 (de) 2014-05-02 2015-11-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung
DE102015003960A1 (de) 2015-03-26 2015-08-20 Daimler Ag Verfahren zum Bestimmen einer Sichtweite für ein Fahrzeug bei Nebel
CN110892233A (zh) * 2017-05-22 2020-03-17 Pcms控股公司 用于传感器范围和视场的车载增强可视化的方法和装置
DE102017208994A1 (de) 2017-05-29 2018-11-29 Audi Ag Verfahren zur Ermittlung von Ergebnisbilddaten
JP6947849B2 (ja) * 2018-01-18 2021-10-13 本田技研工業株式会社 車両制御装置
US11941815B2 (en) * 2018-07-24 2024-03-26 Toyota Motor Europe Method and a system training a model to perform semantic segmentation on foggy images
KR102240839B1 (ko) 2018-09-04 2021-04-16 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법
US11801861B2 (en) * 2020-04-01 2023-10-31 Nvidia Corporation Using image augmentation with simulated objects for training machine learning models in autonomous driving applications

Also Published As

Publication number Publication date
US11772656B2 (en) 2023-10-03
US20220009498A1 (en) 2022-01-13
DE102021116759A1 (de) 2022-01-13

Similar Documents

Publication Publication Date Title
US10768628B2 (en) Systems and methods for object detection at various ranges using multiple range imagery
US11164016B2 (en) Object detection and property determination for autonomous vehicles
US11693409B2 (en) Systems and methods for a scenario tagger for autonomous vehicles
US20190146508A1 (en) Dynamic vehicle routing using annotated maps and profiles
US11537127B2 (en) Systems and methods for vehicle motion planning based on uncertainty
CN111133485A (zh) 自主交通工具的对象预测优先级排序系统和方法
US20220230021A1 (en) Autonomous vehicle system for intelligent on-board selection of data for building a remote machine learning model
CN112184844A (zh) 车辆图像生成
CN111791814A (zh) 车辆胶囊网络
CN113822118A (zh) 增强的车辆操作
Virdi Using deep learning to predict obstacle trajectories for collision avoidance in autonomous vehicles
CN112784867A (zh) 利用合成图像训练深度神经网络
EP4047515B1 (en) Platform for perception system development for automated driving systems
WO2022108744A1 (en) On-board feedback system for autonomous vehicles
US11176823B2 (en) Enhanced vehicle operation
WO2023249857A1 (en) Semi-closed loop rollouts for data augmentation
CN112179365A (zh) 车辆交叉路口操作
US11640562B1 (en) Counterexample-guided update of a motion planner
US11772656B2 (en) Enhanced vehicle operation
US20220219698A1 (en) Enhanced object detection
CN115390868A (zh) 自动驾驶系统感知的开发
CN113056715B (zh) 用于操作运载工具的方法、运载工具和存储介质
US11727671B1 (en) Efficient and optimal feature extraction from observations
US20220405573A1 (en) Calibration for a distributed system
KR102645980B1 (ko) 플래너에서 보정된 미래 기동 파라미터 생성

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination