CN107622527A - 支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系统和方法 - Google Patents

支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系统和方法 Download PDF

Info

Publication number
CN107622527A
CN107622527A CN201710555954.2A CN201710555954A CN107622527A CN 107622527 A CN107622527 A CN 107622527A CN 201710555954 A CN201710555954 A CN 201710555954A CN 107622527 A CN107622527 A CN 107622527A
Authority
CN
China
Prior art keywords
virtual
vehicle
video cameras
road surface
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710555954.2A
Other languages
English (en)
Other versions
CN107622527B (zh
Inventor
艾希莉·伊丽莎白·米克斯
哈珀丽特辛格·班瓦伊特
吉内什·J·杰恩
维迪亚·那利亚姆布特·穆拉里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107622527A publication Critical patent/CN107622527A/zh
Application granted granted Critical
Publication of CN107622527B publication Critical patent/CN107622527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了一种产生训练数据的方法。方法可包括执行模拟程序。模拟程序可包括通过包含至少一个虚拟降水条件和至少一个虚拟非降水条件的虚拟驾驶环境来遍历虚拟摄像机。在遍历期间，虚拟摄像机可按照车辆运动模型的指示相对于虚拟道路表面移动，该车辆运动模型建模在虚拟驾驶环境中行驶同时承载虚拟摄像机的车辆的运动。表征虚拟降水条件和虚拟非降水条件中的虚拟驾驶环境的虚拟传感器数据可被记录。虚拟传感器数据对应于现实传感器在其感应现实世界中的该虚拟驾驶环境的情况下所会输出的内容。

Description

支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系 统和方法
技术领域
本发明涉及车辆系统并且尤其涉及产生适用于开发、训练、和证明使用图像数据以检测雨水、其它降水、或其它天气条件的算法的训练数据的系统和方法。
背景技术
雨水和其它天气条件可影响车辆的功能。例如，雨水可降低牵引力、增强眩光、影响视力等。因此，需要用于检测和响应于雨水和其它天气条件的计算机算法。进一步需要的是用于产生适用于开发、训练、和证明这样的算法的训练数据的系统和方法。
发明内容
根据本发明，提供一种方法，包含：
在模拟中通过计算机系统在虚拟道路表面上遍历一个或多个虚拟摄像机；
在所述遍历期间通过所述计算机系统记录对应于由所述一个或多个虚拟摄像机输出的信号的图像数据的多个帧；以及
通过所述计算机系统，经由以指示虚拟降水是否在其中存在的地面实况数据来注解其每个帧，来将所述多个帧转换为训练数据。
根据本发明的一个实施例，其中所述注解包含通过指示虚拟雨水是否在其中存在的地面实况数据来注解所述多个帧的每个帧。
根据本发明的一个实施例，其中所述遍历包含按照车辆运动模型的指示使所述一个或多个虚拟摄像机的每个相对于所述虚拟道路表面移动，车辆运动模型建模承载所述一个或多个虚拟摄像机并在所述虚拟道路表面上行驶的车辆的运动。
根据本发明的一个实施例，其中所述遍历包含在模拟中在所述虚拟道路表面上遍历所述一个或多个虚拟摄像机并通过至少一个虚拟雨水条件和至少一个虚拟非雨水条件。
根据本发明的一个实施例，进一步包含使用所述训练数据训练人工神经网络以区分对应于所述雨水条件的摄像数据和对应于所述非雨水条件的摄像数据。
根据本发明的一个实施例，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆前方的所述虚拟道路表面的一部分的前视摄像机。
根据本发明的一个实施例，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆后方的所述虚拟道路表面的一部分的后视摄像机。
根据本发明的一个实施例，其中所述遍历包含按照车辆运动模型的指示使所述一个或多个虚拟摄像机中的每个相对于所述虚拟道路表面移动，车辆运动模型建模承载所述一个或多个虚拟摄像机并在所述虚拟道路表面上行驶的车辆的运动。
根据本发明的一个实施例，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆前方的所述虚拟道路表面的一部分的前视摄像机。
根据本发明的一个实施例，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆后方的所述虚拟道路表面的一部分的后视摄像机。
根据本发明的一个实施例，进一步包含使用所述训练数据训练人工神经网络以区分对应于降水条件的摄像数据和对应于非降水条件的摄像数据。
根据本发明，提供一种产生训练数据的方法，所述方法包含：
通过计算机系统执行模拟，包含：
在虚拟道路表面上遍历一个或多个虚拟摄像机并穿过由所述一个或多个虚拟摄像机感应的至少一个虚拟降水条件和至少一个虚拟非降水条件，以及
在所述遍历期间，按照车辆运动模型的指示使所述一个或多个虚拟摄像机中的每个相对于所述虚拟道路表面移动，车辆运动模型建模在所述虚拟道路表面上行驶、同时承载所述一个或多个虚拟摄像机车辆的运动；以及
通过所述计算机系统记录表征所述至少一个虚拟降水条件和所述至少一个虚拟非降水条件的图像数据，所述图像数据对应于由所述一个或多个虚拟摄像机在所述遍历期间输出的信号。
根据本发明的一个实施例，其中所述图像数据包含多个帧。
根据本发明的一个实施例，进一步包含：通过所述计算机系统，经由以指示虚拟降水或虚拟非降水条件是否在其中存在的地面实况数据来注解其每个帧，来将所述多个帧转换为训练数据。
根据本发明的一个实施例，进一步包含使用所述训练数据训练人工神经网络以区分对应于所述雨水条件的摄像数据和对应于所述非雨水条件的摄像数据。
根据本发明的一个实施例，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆前方的所述虚拟道路表面的一部分的前视摄像机。
根据本发明的一个实施例，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆后方的所述虚拟道路表面的一部分的后视摄像机。
根据本发明，提供一种计算机系统，包含：
一个或多个处理器；
可操作地连接至所述一个或多个处理器的存储器；以及
所述存储器存储如下内容
编程为包括至少一个虚拟降水条件和至少一个虚拟非降水条件的虚拟驾驶环境，
编程为建模摄像机的第一软件模型，
编程为建模车辆的第二软件模型，以及
模拟模块，该模拟模块编程为使用所述虚拟驾驶环境、所述第一软件模型、所述第二软件模型以产生输出，所述输出建模在所述摄像机已经安装至所述车辆并且所述车辆已经在匹配所述虚拟驾驶环境的实际驾驶环境中行驶的情况下由所述摄像机输出的内容。
根据本发明的一个实施例，其中的所述摄像机包含被定位以感应在所述车辆前方的所述虚拟驾驶环境的一部分的前视摄像机。
根据本发明的一个实施例，其中的所述摄像机包含被定位以感应在所述车辆后方的所述虚拟驾驶环境的一部分的后视摄像机。
附图说明
为了容易地理解本发明的优点，上面简要描述的本发明的更具体的说明将通过参考举例说明在附图中的特定实施例呈现。应理解这些附图仅描述本发明的典型实施例并且因此不被认为限制它的范围，本发明将通过使用附图伴随额外的特征和细节被描述和解释，其中：
图1是举例说明了根据本发明的传感器数据生成系统的一个实施例的示意框图；
图2是举例说明了根据本发明的可包括模拟的天气条件的虚拟驾驶环境的一个实施例的示意图；
图3是举例说明了在第一时刻的虚拟车辆的示意图，其中一个或多个虚拟传感器正在“观察”虚拟驾驶环境中的道路表面和/或其它条件；
图4是举例说明了根据本发明的被标记有一个或多个注释的传感器数据的一个实施例的示意图；
图5是举例说明了根据本发明的注释的一个实施例的示意框图；
图6是举例说明了根据本发明的产生训练数据的方法的一个实施例的示意框图。
具体实施方式
将很容易理解的是，本发明的部件，如在此在附图中大体上描述和举例说明的，可以以各种不同的配置设置和设计。因此，如呈现在附图中的本发明的实施例的以下更详细地说明不旨在限制所要求保护的本发明的范围，仅表示根据本发明的当前预期的实施例的特定实例。当前描述的实施例将通过参考附图被更好的理解，其中相同的部分自始至终由相同的附图标记表示。
参照图1，现实世界呈现了不断变化的一些条件和干扰。这样的现实对用于提供某些车辆功能、车辆动力学、和/或自主驾驶的自主控制的基于车辆的系统造成了明显的挑战。为了克服这些挑战，车辆可装备有对周围环境共同感应、解读、和做出适当反应的传感器和计算机系统。这样的计算机系统的关键部件可以是用于解读由这样的车辆车载的各种传感器输出的数据的一个或多个算法。
例如，某些算法可分析表征靠近车辆的区域(例如，道路表面)和在该区域中的天气条件(例如，降水的类型、存在、缺乏、或量)的传感器数据的一个或多个数据流。其它算法可负责决定基于该数据该做什么。所有这样的算法必须被很好地开发和完全测试。在选择的实施例中，这样的开发和测试的开始和重要的部分可在虚拟环境中完成。因此，根据本发明的系统10可产生适用于开发、测试、和/或训练各种算法的传感器数据12。
例如，在某些实施例中，系统10可执行模拟以便产生传感器数据12，该传感器数据12适于使用区分“雨水”和“非雨水”(或其它“天气”或“非天气”)分类或条件的深入学习来进行基于视觉的降水检测。为此，系统10可被实施为硬件、软件、或其一些组合。
在选择的实施例中，系统10可包括计算机硬件和计算机软件。系统10的计算机硬件可包括一个或多个处理器14、存储器16、用户界面18、其它硬件20等或其组合或子组合。存储器16可被可操作地连接至一个或多个处理器14并存储计算机软件。这可允许一个或多个处理器14执行计算机软件。
系统10的用户界面18可允许工程师、技术员等交互、运行、定制、或控制系统10的各个方面。在选择的实施例中，系统10的用户界面18可包括一个或多个按键、键盘、触摸屏、定点装置等或其组合或子组合。
在选择的实施例中，计算机系统12的存储器16可存储一个或多个车辆运动模型22、一个或多个传感器模型24、一个或多个虚拟驾驶环境26(例如，使用三维模型和动画工具创建并包含各种虚拟天气条件28的虚拟环境)、模拟模型30、传感器数据12、其它数据或软件32等或其组合或子组合。
车辆运动模型22可以是可限定相应的车辆的车身的运动的某些情况的软件模型。在某些实施例中，这样的车辆运动模型22可以是很基本的。例如，其可仅限定通过虚拟驾驶环境26遍历一个或多个虚拟传感器(例如，由一个或多个传感器模型24限定的传感器)所采取的路径。在其它实施例中，车辆运动模型22可以是更稳健的(例如，对现实的高度保真度)。例如，车辆运动模型22可被提供有一个或多个驾驶员输入(例如，表征例如速度、驱动扭矩、制动器驱动、转向输入等或其组合或子组合这样的事物的一个或多个值)和/或表征道路表面的信息(例如，来自于虚拟驾驶环境26的数据)。通过这些输入和信息，车辆运动模型22可预测相应的车辆的车身的运动状态。
车辆运动模型22的参数可以以任何适当的方式确定或指定。在选择的实施例中，车辆运动模型22的某些参数可来源于相应的现实车辆的机械性能(例如，几何形状、惯性、刚度、阻尼系数等)的先前知识。
应领会的是，参数可针对不同车辆不同。因此，在选择的实施例中，车辆运动模型22可以是车辆特性。即，一车辆运动模型22可适合建模第一车辆(例如，特定的跑车)的车身动力学，而另一车辆运动模型22可适合建模第二车辆(例如，特定的皮卡车)的车身动力学。
传感器模型24可以是可限定或预测某些情况或“视角”下相应的现实世界传感器的输出的软件模型。在某些实施例中，传感器模型24可被提供有表征道路表面或靠近其的一个或多个区域的各个视野、环境天气条件等的信息(例如，来自于虚拟驾驶环境26的数据)。通过该信息，传感器模型24可产生在现实世界中呈现了那些视野的情况下实际的传感器的输出。
在选择的实施例中，相关的现实世界传感器可包含感应或检测环境的一些特点并提供限定该特点的相应的输出(例如，电子或光学信号)的换能器。例如，一个或多个相关的现实世界传感器可以是摄像机(例如，数字摄像机)。摄像机可用于产生驾驶环境的图像。这样的图像可被分析以便获知关于驾驶环境的情况。
传感器模型24可建模由任何相关的现实世界传感器产生的输出。应领会的是，输出可对于不同的现实世界传感器不同。因此，在选择的实施例中，传感器模型24可以是传感器特定的。即，一传感器模型24可适合建模第一传感器(例如，特定的前视的数字摄像机)的输出，而另一传感器模型24可适合建模第二传感器(例如，特定的后视的数字摄像机)的输出。
传感器模型24可产生任何适当的格式的输出。在选择的实施例中，传感器模型24可输出相应的现实世界传感器将产生的信号(例如，数字信号)。例如，对应于或建模摄像机的传感器模型24可输出以视频形式或限定或形成多个帧的一个或多个静态图像形式的图像数据。
模拟模块30可被编程为使用虚拟驾驶环境26、车辆运动模型22、和一个或多个传感器模型24以产生输出(例如，传感器数据12)，该输出建模在一个或多个现实世界传感器安装至在类似于(例如，大体上或恰好匹配)虚拟驾驶环境26的实际驾驶环境中行驶的车辆(例如，由车辆运动模型22建模的车辆)上的情况下的一个或多个相应现实世界传感器的输出。
参照图2，在选择的实施例中，虚拟驾驶环境26可包含虚拟驾驶表面34(例如，道路34)和相对于驾驶表面34定位在各个位置、强度(例如，降水强度或降水的量)等的各种虚拟天气条件28。在虚拟驾驶环境26中的虚拟天气条件28可以是或包括与现实世界中的天气的各种类型或程度关联的一个或多个视觉特征。
例如，某些视觉特征36可与“雨水”条件关联。这样的特征36可包括阴天、在窗户表面的外部的小水滴(例如，通过定位在车辆的客舱或驾驶室内的摄像机可看见的小水滴)、就白天而言在周围环境中的相对黑暗、道路飞溅、阴暗视线(例如，不能辨别或看见远的物体)、车灯在其正常不会开启的一天中的时间开启，“有光泽的”或反射的道路表面、在车辆(例如，讨论中的车辆或在讨论中的车辆前面的一个或多个其它车辆)的轮胎与道路表面上的水分开之后持续短时间的轨迹等、或其组合或子组合。其它的视觉特征可以与“非雨水”条件关联。这样的特征36可包括晴空万里、在窗户表面的外部上没有小水滴、就白天而言在周围环境中正常光线、好的能见度(例如，能够辨别或看见远的物体)、无光泽的道路表面、不存在车辆轨迹等或其组合或子组合。其它的特征36可对应于其它形式的降水或其它天气条件。因此，虚拟驾驶环境26可包含相对于驾驶表面34、在驾驶表面34上行驶的车辆等定位在各个位置、方向等的视觉特征36，以便模拟雨水、雪天、其它降水、雾等的存在、缺乏、或程度(即，量)。
在选择的实施例中，虚拟驾驶环境26可包括许多结构，其是与天气独立的，例如，有或没有车辆的道路表面34(例如，各种类型结构的单车道、多车道、和/或相对车道实施例)、丘陵、平地、路边配置、转弯、十字路口等或其组合。除其之外，虚拟驾驶环境26可基于一个或多个视觉特征36的类型、存在、缺乏、或程度提供、支持、或模拟多种天气条件28。在多个与天气独立的结构和多个天气条件28之间的排列的数量可能是巨大的。因此，根据本发明的系统10可在短时间内大量地产生虚拟传感器数据12。而且，例如天气条件28(例如，降水、雾等或其不存在)、当日时间、环境照明、与天气独立的结构的相关位置和设置等这样的相关参数可在记录的传感器数据12中被随机化以保证具有最小偏差的不同数据集。
这样的不同数据集可用于开发和/或训练适当地和可重复地说明现实世界驾驶环境的一个或多个算法。当在现实世界中实施时，那些算法可降低与各种天气条件关联的和在驾驶或无人驾驶应用中的不利影响。例如，这样的数据集可用于开发分类系统，其对于包含在由摄像机捕获的一个或多个图像内的任何特定特征是不可知的。即，在这样的数据集上训练的神经网络不搜索任何特定特征的图像。而是，神经网络可判断图像总体上看是否更能反映一类或另一类。
该算法可提供显著的优点。例如，该类型的训练可允许在现实世界中获得的每个图像被“按现状”检查或分析。即，可能无需使现实世界分类系统运行正常时进行的图像预处理。而且，无需额外的校准。而且，现实世界神经网络可将一个或多个图像分类而不管捕获一个或多个图像的摄像机是否固定在准确位置中、更多的指向天空、更多的指向道路、指向前、指向后等。
例如，一个或多个摄像机(例如，一个或多个前视摄像机、一个或多个后视摄像机、或其组合)可监测现实世界车辆周围的区域。因此，使用根据本发明的系统和/或方法产生的虚拟数据12开发和/或训练的算法可用于感知天气(例如，雨水和非雨水、雪天和非雪天、雾天和非雾天等)条件并实施适当的反应或准备。
参照图3，通过一系列计算，模拟模块30可通过限定或包括一个或多个天气条件28的虚拟驾驶环境26有效地遍历一个或多个虚拟摄像机38(例如，一个或多个虚拟的前视的摄像机38a、一个或多个虚拟的后视的摄像机38b、或其组合)。在选择的实施例中，这可包括在这样的遍历期间操纵关于虚拟驾驶环境26的某些虚拟摄像机38的视点。更具体地，其可包括在这样的遍历期间按照车辆运动模型22的指示相对于虚拟驾驶环境26移动一个或多个虚拟摄像机38，车辆运动模型22建模在虚拟驾驶环境26中行驶并且承载一个或多个虚拟摄像机38的相应的虚拟车辆40的运动。
在选择的实施例中，为了适当地说明一个或多个虚拟摄像机38的运动，模拟模块30可考虑到三个坐标系统。第一个可以是虚拟驾驶环境26内的全球的惯性坐标系统。第二个可以是由车辆运动模型22限定或对应于车辆运动模型22的虚拟车辆40的安静的坐标系统。这可以是虚拟车辆40的“安静的”型式的坐标系统，其可被限定为它的平行于地平面(例如，估计的、虚拟的地平面)的“xy”平面。第三个可以是车辆40的干扰的坐标系统。这可以是虚拟车辆40的执行侧倾、俯仰、起伏、和横摆运动的坐标系统，其可被驾驶员诱发(例如，通过虚拟化的转向、制动、加速等导致)和/或道路诱发(例如，通过虚拟驾驶环境26)或由于其它虚拟干扰(例如，天气条件28，例如侧风、由于失去牵引力的车轮打滑等)。模拟模块30可使用这些各种坐标系统中的两个或更多以确定在模拟程序期间哪个视野或条件有关于哪个虚拟摄像机38。
即，在现实世界中，由一个或多个传感器模型24建模的摄像机可由相应的车辆承载。某些这样的摄像机可被固定以随相应的车辆的车身移动。因此，由这样的摄像机调查的视野可根据相应的车辆关于周围环境的方向改变。
为了在根据本发明的系统10中模拟这样的效果，模拟模块30可考虑一个或多个虚拟摄像机38(例如，由一个或多个相应的传感器模型24建模的传感器)在对应于虚拟车辆40(例如，由车辆运动模型22建模的车辆)的坐标系统内的位置和方向。模拟模块30也可考虑由车辆运动模型22基于由虚拟驾驶环境26限定的虚拟的驾驶员输入、道路输入等预测的侧倾、俯仰、起伏、和横摆运动的形式如何干扰这样的基于车辆的坐标系统。因此，针对相关的任何模拟的时刻，模拟模块30可计算特定的虚拟摄像机38关于虚拟驾驶环境26的位置和方向并且确定在该时刻由特定的虚拟摄像机38感应的虚拟驾驶环境26内的视野。
针对第一虚拟的时刻，模拟模块30可确定在该时刻由一个或多个虚拟摄像机38感应的虚拟驾驶环境26的视野。模拟模块30可在之后从一个或多个适当的传感器模型24获得表征那些视野的输出。该程序可对第二虚拟的时刻、第三虚拟的时刻、等等重复。因此，通过从一个时刻前进至下一个，模拟模块30可获得分别建模一个或多个虚拟摄像机38在它们和相应的虚拟驾驶环境26是真实的情况下所输出的一个或多个数据流。
参照图4和5，在选择的实施例中，不同的数据流42可表示不同的虚拟摄像机38的输出。例如，第一数据流42a可表示安装成为在虚拟车辆40的前部上向前看的虚拟摄像机38a的输出并且第二数据流42b可表示安装成为在虚拟车辆40的后部上向后看的虚拟摄像机38b的输出。共同地，形成用于特定运行(例如，通过特定虚拟驾驶环境26的特定虚拟车辆40的特定虚拟遍历)的传感器数据12的各个数据流42可表示或说明将在现实世界中使用的特定算法(例如，被开发或测试的基于视觉的雨水检测算法)的一个或多个(例如，全部或少于全部)输入。
在某些实施例或实例中，虚拟模块30可将一个或多个注解44连接传感器数据12。每个这样的注解44可提供对应于虚拟驾驶环境26的“地面实况”。在选择的实施例中，在一个或多个注解44中包含的地面实况可用于在监督学习技术中量化算法分类天气条件的性能。
例如，一个或多个注解44可包括对应于虚拟车辆40在特定运行中遇到的各种天气条件28的一个或多个天气代码46(例如，表明雨水还是非雨水、一个或多个其它天气条件28的存在或没有、或其组合的二进制值)、其它信息48等。注解44可被链接、结合至、或以其他方式关联至数据流42的特定部分(例如，一个或多个帧)。因此，对应于特定天气条件28等的地面实况可被链接至反映该天气条件28的一个或多个虚拟摄像机38的感知的一个或多个数据流42的特定部分。在选择的实施例中，这可通过将不同的注解44a、44b链接至一个或多个数据流42的不同部分实现。
参照图6，系统10可支持、允许、或执行根据本发明的程序52。在选择的实施例中，这样的程序52可开始于产生54包括各种天气条件28的虚拟驾驶环境26。虚拟驾驶环境26可在之后在虚拟程序中内被一个或多个虚拟摄像机38所遍历56。
一旦虚拟驾驶环境26被一个或多个虚拟摄像机38所遍历56，一个或多个虚拟摄像机38关于虚拟驾驶环境26的视点可随每个增量步骤改变。在选择的实施例中，一个或多个虚拟摄像机38关于虚拟驾驶环境26的视点(POV)可按照车辆运动模型22决定的来操纵58。因此，由一个或多个虚拟摄像机38在各个虚拟的时刻感应的各种视野可被获得60或识别60。
因此获得60或识别60的各个视野可通过或经由相应的传感器模型24分析，以便获得62反映观察在现实世界中的各个视野的相应的现实世界数字摄像机产生或输出什么的数据12。在选择的实施例中，该数据12可被地面实况信息注解64，以支持或允许某些监督学习技术。
因此，一个或多个虚拟摄像机38可根据它们在现实世界车辆上的规划定位关于虚拟道路34定位。虚拟摄像机38可在之后沿着虚拟道路34移动至它们可观察一个或多个天气条件28的位置。一个或多个虚拟摄像机38可在之后当它们移动通过虚拟环境26时产生数据42。
针对产生数据42的每个时间步骤，注解44可被自动提供以记录关于天气条件的地面实况信息。例如，产生数据42的每个帧(例如，离散图像)可在日志文件中有相应的条目，该条目给出或识别在该帧中是否存在(例如，已经捕获)雨水条件(或一些其它降水或天气条件)的地面实况。
一旦产生，根据本发明的传感器数据12可用于训练或测试各种算法。在某些实施例中，形成传感器数据12的部分的地面实况信息可用于使用监督学习训练一个或多个算法(例如，一个或多个感知算法)或测试现有算法和量化它的性能。
例如，传感器数据12可用于训练或测试由车辆系统使用的算法以做准备或降低与在现实世界中各种天气条件关联的不利影响。因此，传感器数据12可用于训练(或测试能力)一个或多个感知雨水、雪天、雾天、或其它天气条件的算法、当感知到这样的条件时实施天气适当响应或准备等或其组合或子组合。
在图6中的流程图举例说明了根据本发明的一个实施例的系统、方法、和计算机程序产品的可能实施方式的架构、功能、和操作。就此而言，在流程图中的每个框可表示代码的模块、段、或部分，其包含用于执行特定逻辑功能的一个或多个可执行指令。也将注意的是，流程图的每个框和流程图中的框的结合，可由执行特定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实施。
还应注意的是，在一些替代实施例中，在框中记录的功能可不按图中记录的顺序发生。在某些实施例中，连续示出的两个框事实上可以被大体上同时执行，或者框可有时以相反的顺序执行，这取决于涉及的功能。可选择地，某些步骤或功能如果不需要可被省略。
在上述公开中，可对附图进行参考，其形成本公开的一部分，并且其中通过本公开可被实践的说明特定实施例示出。应理解的是，其它实施例可被使用并且在不背离本公开的范围的情况下可进行结构变化。在说明书中对“一个实施例”、“一个示例实施例”、“选择的实施例”、“某些实施例”等的参考表示描述的实施例可包括特定特征、结构、或特性，但是不必每个实施例都包括特定特征、结构、或特性。而且，这样的短语不必指代相同的实施例。进一步地，当特定特征、结构、或特性被关于实施例描述时，关于不论是否明确描述的其它实施例，对这样的特征、结构、或特性进行改变，这在本领域技术人员的知识范围内。
在此公开的系统、装置、和方法的实施方式可包含或使用专用或通用的计算机，包括计算机硬件，例如，举例来说，如在此讨论的一个或多个处理器和系统存储器。在本公开的范围内的实施也可包括用于承载或存储计算机可执行指令和/或数据结构的物理的和其它计算机可读介质。这样的计算机可读介质可以是任何适当的介质，其可由专用或通用的计算机系统访问。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。因此，通过示例性的方式，并且非限制性的，公开的实施例可包含至少两个明显不同类型的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦可编程只读存储器)、CD-ROM(光盘驱动器)、固态硬盘(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其它类型的存储器、其它光盘存储器、磁盘存储器或其它磁存储装置、或任何其它介质，其可用于存储以计算机可执行指令或数据结构的形式的期望的程序代码方法并且其可由专用或通用的计算机访问。
在此公开的装置、系统、和方法的实施例可在计算机网络上通信。“网络”被限定为一个或多个数据链接，其允许在计算机系统和/或模块和/或其它电子装置之间的电子数据的传输。当信息在网络或另一传输连接(硬连线、无线、硬连线或无线的组合)上被传输或提供至计算机时，计算机恰当地将连接视为传输介质。传输介质可包括网络和/或数据链接，其可用于承载以计算机可执行指令或数据结构的形式的期望的程序代码方法并且其可由专用或通用的计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包含，例如，指令和数据，其当在处理器执行时，导致通用计算机、专用计算机、或专用处理装置执行某些功能或功能组。计算机可执行指令可以是，例如，二进制、中间格式的指令(例如，汇编语言)、甚至源代码。虽然主题已经以针对结构特征和/或方法论行为的语言描述，但是应理解的是，在权利要求中限定的主题不必限于上述特征或动作。而是，描述的特征和动作被公开为实施权利要求的示例形式。
本领域技术人员将领会的是，本公开可在具有多个类型的计算机系统配置的网络计算环境中实践，包括内置式车辆计算机、个人计算机、台式计算机、便携式计算机、信息处理器、手持装置、多处理器系统、基于微处理器或可编程的消费型电子产品、网络PC、微型计算机、大型计算机、移动电话、PDA、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开也可在通过网络链接(通过硬连线数据链接、无线数据链接、或通过硬连线和无线数据链接的组合)的都执行任务的本地和远程计算机系统的分布式系统环境中实践。在分布式系统环境中，编程模块可被定位在本地和远程存储器存储装置中。
进一步地，在适当的情况下，在此描述的功能可被执行在以下一个或多个中：硬件、软件、固件、数字部件、或模拟部件、例如，一个或多个专用集成电路(ASIC)可被编程为执行在此描述的系统和程序中的一个或多个。某些术语被遍及说明书和权利要求使用以指代特定系统部件。本领域技术人员将领会的是，部件可被以不同的名称。本文件不旨在区分名称不同而功能相同的部件。
应注意的是，上述传感器实施例可包含计算机硬件、软件、固件、或其任何组合以执行它们的功能的至少一部分。例如，传感器可包括被配置为在一个或多个处理器中执行的计算机代码，并且可包括由计算机代码控制的硬件逻辑/电子电路。这些示例的装置在此被提供为说明的目的，并且不旨在进行限制。本公开的实施例可被实施在进一步类型的装置中，如本领域技术人员已知的。
本公开的至少一些实施例已经指向包含这样的存储在任何计算机可用的介质上的逻辑(例如，以软件的形式)的计算机程序产品。这样的软件，当在一个或多个数据处理装置中执行时，导致装置按照在此描述的操作。
虽然本公开的各个实施例已经在上面描述，但是应理解的是，它们仅通过示例性的方式呈现，并且是非限制性的。本领域技术人员显而易见的是，在不背离本发明的精神和范围的情况下，可在其中进行形式和细节的各种变化。因此，本公开的宽度和范围不应由任何上述示例性实施例限制，而应仅根据以下权利要求和它们的等同物限定。已经提出的上述说明书是为了举例说明和说明的目的。其不旨在穷尽或限制本公开为所公开的精确形式。进一步地，应该注意的是，提出的替换实施例中的任何或全部可以任何期望的组合使用以形成本公开的额外混合的实施例。

Claims (15)

1.一种方法，包含：
在模拟中通过计算机系统在虚拟道路表面上遍历一个或多个虚拟摄像机；
在所述遍历期间通过所述计算机系统记录对应于由所述一个或多个虚拟摄像机输出的信号的图像数据的多个帧；以及
通过所述计算机系统，经由以指示虚拟降水是否在其中存在的地面实况数据来注解所述多个帧中的每个帧，来将所述多个帧转换为训练数据。
2.根据权利要求1所述的方法，其中所述注解包含通过指示虚拟雨水是否在其中存在的地面实况数据来注解所述多个帧的每个帧。
3.根据权利要求2所述的方法，其中所述遍历包含按照车辆运动模型的指示使所述一个或多个虚拟摄像机中的每个相对于所述虚拟道路表面移动，所述车辆运动模型建模承载所述一个或多个虚拟摄像机并且在所述虚拟道路表面上行驶的车辆的运动。
4.根据权利要求1所述的方法，其中所述遍历包含按照车辆运动模型的指示使所述一个或多个虚拟摄像机中的每个相对于所述虚拟道路表面移动，所述车辆运动模型建模承载所述一个或多个虚拟摄像机并且在所述虚拟道路表面上行驶的车辆的运动。
5.根据权利要求4所述的方法，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆前方的所述虚拟道路表面的一部分的前视摄像机。
6.根据权利要求4所述的方法，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆后方的所述虚拟道路表面的一部分的后视摄像机。
7.根据权利要求1所述的方法，进一步包含使用所述训练数据训练人工神经网络，以区分对应于降水条件的摄像数据和对应于非降水条件的摄像数据。
8.一种产生训练数据的方法，所述方法包含：
通过计算机系统执行模拟，所述模拟包含：
在虚拟道路表面上遍历一个或多个虚拟摄像机并且穿过由所述一个或多个虚拟摄像机可感应的至少一个虚拟降水条件和至少一个虚拟非降水条件，以及
在所述遍历期间，按照车辆运动模型的指示使所述一个或多个虚拟摄像机中的每个相对于所述虚拟道路表面移动，所述车辆运动模型建模在所述虚拟道路表面上行驶、同时承载所述一个或多个虚拟摄像机的车辆的运动；以及
通过所述计算机系统记录表征所述至少一个虚拟降水条件和所述至少一个虚拟非降水条件的图像数据，所述图像数据对应于由所述一个或多个虚拟摄像机在所述遍历期间输出的信号。
9.根据权利要求8所述的方法，其中所述图像数据包含多个帧。
10.根据权利要求9所述的方法，进一步包含：通过所述计算机系统，经由以指示所述虚拟降水条件或所述虚拟非降水条件是否在其中存在的地面实况数据来注解所述多个帧中的每个帧，来将所述多个帧转换为训练数据。
11.根据权利要求3或10所述的方法，进一步包含使用所述训练数据训练人工神经网络，以区分对应于所述雨水条件的摄像数据和对应于所述非雨水条件的摄像数据。
12.根据权利要求3或10所述的方法，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆前方的所述虚拟道路表面的一部分的前视摄像机。
13.根据权利要求3或10所述的方法，其中所述一个或多个虚拟摄像机包含被定位以感应在所述车辆后方的所述虚拟道路表面的一部分的后视摄像机。
14.一种计算机系统，包含：
一个或多个处理器；
可操作地连接至所述一个或多个处理器的存储器；以及
所述存储器存储如下内容
编程为包括至少一个虚拟降水条件和至少一个虚拟非降水条件的虚拟驾驶环境，
编程为建模摄像机的第一软件模型，
编程为建模车辆的第二软件模型，以及
模拟模块，该模拟模块编程为使用所述虚拟驾驶环境、所述第一软件模型、所述第二软件模型以产生输出，所述输出建模在所述摄像机已经安装至所述车辆并且所述车辆已经在匹配所述虚拟驾驶环境的实际驾驶环境中行驶的情况下由所述摄像机输出的内容。
15.根据权利要求14所述的系统，其中的所述摄像机包含被定位以感应在所述车辆前方的所述虚拟驾驶环境的一部分的前视摄像机，或者被定位以感应在所述车辆后方的所述虚拟驾驶环境的一部分的后视摄像机。
CN201710555954.2A 2016-07-14 2017-07-10 支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系统和方法 Active CN107622527B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/210,670 2016-07-14
US15/210,670 US10521677B2 (en) 2016-07-14 2016-07-14 Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms

Publications (2)

Publication Number Publication Date
CN107622527A true CN107622527A (zh) 2018-01-23
CN107622527B CN107622527B (zh) 2023-05-23

Family

ID=59676731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710555954.2A Active CN107622527B (zh) 2016-07-14 2017-07-10 支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系统和方法

Country Status (6)

Country Link
US (1) US10521677B2 (zh)
CN (1) CN107622527B (zh)
DE (1) DE102017115393A1 (zh)
GB (1) GB2554507A (zh)
MX (1) MX2017009218A (zh)
RU (1) RU2017124994A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556832A (zh) * 2018-11-30 2019-04-02 吉林大学 一种具有天气模拟功能的相机在环测试试验台
CN110874610A (zh) * 2018-09-01 2020-03-10 图森有限公司 一种使用机器学习的人类驾驶行为建模系统
CN112106060A (zh) * 2018-03-06 2020-12-18 伟摩英国有限公司 控制策略确定方法和系统
CN112424063A (zh) * 2018-06-08 2021-02-26 泰克尼普法国公司 用于浮动生产平台、船舶和其他浮动系统的经过模拟训练的深度神经网络模型的持续学习

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US10520904B2 (en) 2016-09-08 2019-12-31 Mentor Graphics Corporation Event classification and object tracking
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10481044B2 (en) * 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US10726248B2 (en) * 2018-02-01 2020-07-28 Ford Global Technologies, Llc Validating gesture recognition capabilities of automated systems
WO2019183609A1 (en) * 2018-03-23 2019-09-26 NetraDyne, Inc. Traffic boundary mapping
EP3850539A2 (en) * 2018-09-13 2021-07-21 NVIDIA Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
JP7157320B2 (ja) * 2018-09-19 2022-10-20 日本電信電話株式会社 学習データ生成装置、学習データ生成方法およびプログラム
DE102018220865B4 (de) * 2018-12-03 2020-11-05 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt sowie Kraftfahrzeug
CN110334382B (zh) * 2019-05-09 2020-11-17 电子科技大学 一种基于循环神经网络的汽车车窗起雾状况预测方法
US11391257B2 (en) * 2019-07-23 2022-07-19 Ford Global Technologies, Llc Power supply during vehicle startup
US11529886B2 (en) 2019-07-23 2022-12-20 Ford Global Technologies, Llc Power supply during vehicle off state

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
US20060018565A1 (en) * 2004-07-26 2006-01-26 Davidson Scott W System and method for infrared sensor simulation
US20110060557A1 (en) * 2009-09-09 2011-03-10 Ford Global Technologies, Llc Method and system for testing a vehicle design
US20110216090A1 (en) * 2010-03-03 2011-09-08 Gwangju Institute Of Science And Technology Real-time interactive augmented reality system and method and recording medium storing program for implementing the method
CN102880755A (zh) * 2012-09-25 2013-01-16 河海大学 一种极端降水的定量预测方法及系统
US20150100179A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
CN105323456A (zh) * 2014-12-16 2016-02-10 维沃移动通信有限公司 用于拍摄装置的图像预览方法、图像拍摄装置
CN105358399A (zh) * 2013-06-24 2016-02-24 谷歌公司 使用环境信息辅助用于自主车辆的图像处理
GB201601123D0 (en) * 2015-01-21 2016-03-09 Ford Global Tech Llc Virtual sensor testbed
GB201601124D0 (en) * 2015-01-21 2016-03-09 Ford Global Tech Llc Autonomous driving refined in virtual environments
GB201601126D0 (en) * 2015-01-21 2016-03-09 Ford Global Tech Llc Virtual autonomous response testbed

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000013675A (ko) 1998-08-12 2000-03-06 밍 루 차량 주행 모의 실험장치
KR100709401B1 (ko) 2005-09-15 2007-04-18 현대모비스 주식회사 차선이탈경보시스템용 힐스 장치 및 그의 시험 방법
US20080062167A1 (en) * 2006-09-13 2008-03-13 International Design And Construction Online, Inc. Computer-based system and method for providing situational awareness for a structure using three-dimensional modeling
KR20120064474A (ko) 2010-12-09 2012-06-19 엘지이노텍 주식회사 카메라 모듈을 이용한 우적 감지 장치 및 방법
JP5749405B2 (ja) * 2011-09-07 2015-07-15 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 車両のフロントガラス上の雨滴を検出するための方法およびカメラアセンブリ
US20140181630A1 (en) * 2012-12-21 2014-06-26 Vidinoti Sa Method and apparatus for adding annotations to an image
KR101419170B1 (ko) 2013-01-22 2014-07-11 주식회사 현대케피코 힐스를 이용한 차량 환경 신뢰성 시험 장치
WO2014152339A1 (en) * 2013-03-14 2014-09-25 Robert Bosch Gmbh Time and environment aware graphical displays for driver information and driver assistance systems
CN203275098U (zh) 2013-05-24 2013-11-06 东莞中山大学研究院 电动汽车电驱动与驾驶员双在环模拟测试系统
US9715764B2 (en) * 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20150203107A1 (en) * 2014-01-17 2015-07-23 Ford Global Technologies, Llc Autonomous vehicle precipitation detection
JP6489408B2 (ja) * 2014-01-30 2019-03-27 パナソニックＩｐマネジメント株式会社 表示制御プログラム、表示制御装置および表示装置
DE102014209197A1 (de) * 2014-05-15 2015-11-19 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
US20150363654A1 (en) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC Vision-based wet road surface detection using mirrored and real images
US20160314224A1 (en) * 2015-04-24 2016-10-27 Northrop Grumman Systems Corporation Autonomous vehicle simulation system
US10229231B2 (en) * 2015-09-11 2019-03-12 Ford Global Technologies, Llc Sensor-data generation in virtual driving environment
US20170083794A1 (en) * 2015-09-18 2017-03-23 Ford Global Technologies, Llc Virtual, road-surface-perception test bed
US20170109458A1 (en) * 2015-10-16 2017-04-20 Ford Global Technologies, Llc Testbed for lane boundary detection in virtual driving environment
US10176634B2 (en) * 2015-10-16 2019-01-08 Ford Global Technologies, Llc Lane boundary detection data generation in virtual environment
US10013617B2 (en) * 2015-12-03 2018-07-03 Gm Global Technology Operations Snow covered path of travel surface condition detection
US9740944B2 (en) * 2015-12-18 2017-08-22 Ford Global Technologies, Llc Virtual sensor data generation for wheel stop detection
US10346564B2 (en) * 2016-03-30 2019-07-09 Toyota Jidosha Kabushiki Kaisha Dynamic virtual object generation for testing autonomous vehicles in simulated driving scenarios
US10049284B2 (en) * 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
US10356217B2 (en) * 2016-06-21 2019-07-16 The Boeing Company Virtual weather generation
US20180004210A1 (en) * 2016-07-01 2018-01-04 nuTonomy Inc. Affecting Functions of a Vehicle Based on Function-Related Information about its Environment
US11210436B2 (en) * 2016-07-07 2021-12-28 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US10427645B2 (en) * 2016-10-06 2019-10-01 Ford Global Technologies, Llc Multi-sensor precipitation-classification apparatus and method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035057A (en) * 1997-03-10 2000-03-07 Hoffman; Efrem H. Hierarchical data matrix pattern recognition and identification system
US20060018565A1 (en) * 2004-07-26 2006-01-26 Davidson Scott W System and method for infrared sensor simulation
US20110060557A1 (en) * 2009-09-09 2011-03-10 Ford Global Technologies, Llc Method and system for testing a vehicle design
US20110216090A1 (en) * 2010-03-03 2011-09-08 Gwangju Institute Of Science And Technology Real-time interactive augmented reality system and method and recording medium storing program for implementing the method
CN102880755A (zh) * 2012-09-25 2013-01-16 河海大学 一种极端降水的定量预测方法及系统
CN105358399A (zh) * 2013-06-24 2016-02-24 谷歌公司 使用环境信息辅助用于自主车辆的图像处理
US20150100179A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
CN105323456A (zh) * 2014-12-16 2016-02-10 维沃移动通信有限公司 用于拍摄装置的图像预览方法、图像拍摄装置
GB201601123D0 (en) * 2015-01-21 2016-03-09 Ford Global Tech Llc Virtual sensor testbed
GB201601124D0 (en) * 2015-01-21 2016-03-09 Ford Global Tech Llc Autonomous driving refined in virtual environments
GB201601126D0 (en) * 2015-01-21 2016-03-09 Ford Global Tech Llc Virtual autonomous response testbed

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金立生等: "采用补偿模糊神经网络识别雨天导航路径的方法研究", 《公路交通科技》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106060A (zh) * 2018-03-06 2020-12-18 伟摩英国有限公司 控制策略确定方法和系统
CN112424063A (zh) * 2018-06-08 2021-02-26 泰克尼普法国公司 用于浮动生产平台、船舶和其他浮动系统的经过模拟训练的深度神经网络模型的持续学习
CN112424063B (zh) * 2018-06-08 2023-12-22 德希尼布法国公司 用于浮动生产平台、船舶和其他浮动系统的经过模拟训练的深度神经网络模型的持续学习
CN110874610A (zh) * 2018-09-01 2020-03-10 图森有限公司 一种使用机器学习的人类驾驶行为建模系统
CN110874610B (zh) * 2018-09-01 2023-11-03 图森有限公司 一种使用机器学习的人类驾驶行为建模系统及方法
CN109556832A (zh) * 2018-11-30 2019-04-02 吉林大学 一种具有天气模拟功能的相机在环测试试验台
CN109556832B (zh) * 2018-11-30 2024-01-26 吉林大学 一种具有天气模拟功能的相机在环测试试验台

Also Published As

Publication number Publication date
CN107622527B (zh) 2023-05-23
RU2017124994A (ru) 2019-01-15
GB201711155D0 (en) 2017-08-23
US10521677B2 (en) 2019-12-31
MX2017009218A (es) 2018-09-10
DE102017115393A1 (de) 2018-01-18
US20180018527A1 (en) 2018-01-18
GB2554507A (en) 2018-04-04

Similar Documents

Publication Publication Date Title
CN107622527A (zh) 支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系统和方法
Lin et al. Vehicle trajectory prediction using LSTMs with spatial–temporal attention mechanisms
CN106529392A (zh) 虚拟驾驶环境中传感器数据生成
CN110103983A (zh) 用于端对端自主车辆验证的系统和方法
US10453256B2 (en) Lane boundary detection data generation in virtual environment
CN106547588A (zh) 虚拟的路面感知测试平台
CN109327695A (zh) 用于高度现实的虚拟测试驾驶场景的测试驾驶场景数据库系统
CN109774724A (zh) 用于自主驾驶系统的开发&评估的场景生成和参数扫描的方法和设备
CN107229329B (zh) 用于具有深度地面实况注释的虚拟传感器数据生成的方法和系统
US11458991B2 (en) Systems and methods for optimizing trajectory planner based on human driving behaviors
US20170109458A1 (en) Testbed for lane boundary detection in virtual driving environment
CN107590301A (zh) 支持开发利于不同天气条件下铁路交叉道口的行驶的算法的虚拟传感器数据生成系统和方法
CN114787894A (zh) 感知误差模型
EP4198804A1 (en) Simulation obstacle vehicles with driving styles
US20230159047A1 (en) Learning-based critic for tuning a motion planner of autonomous driving vehicle
Lu et al. DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data
JP7320755B2 (ja) 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム
Zhang et al. Finding critical scenarios for automated driving systems: The data extraction form
US11938939B1 (en) Determining current state of traffic light(s) for use in controlling an autonomous vehicle
US20230192148A1 (en) Method and system for classifying traffic situations and training method
Santamaría Puente Development of autonomous driving system for a robotic car using machine learning techniques for appropiate responses in real time
CN116933509A (zh) 自动驾驶交通流仿真方法、系统、设备及存储介质
WO2022167416A1 (en) Vehicle trajectory assessment
Katare Exploration of Deep Learning Applications on an Autonomous Embedded Platform (Bluebox 2.0)
CN117516956A (zh) 用于客观评估adas/ads系统的性能的方法、系统和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant