CN105807762A - 在虚拟环境中改进的自主驾驶 - Google Patents

在虚拟环境中改进的自主驾驶 Download PDF

Info

Publication number
CN105807762A
CN105807762A CN201610023773.0A CN201610023773A CN105807762A CN 105807762 A CN105807762 A CN 105807762A CN 201610023773 A CN201610023773 A CN 201610023773A CN 105807762 A CN105807762 A CN 105807762A
Authority
CN
China
Prior art keywords
virtual
described virtual
virtual environment
vehicle
computing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610023773.0A
Other languages
English (en)
Inventor
亚瑟·阿拉尼斯
哈珀丽特辛格·班瓦伊特
艾希莉·伊丽莎白·米克斯
维迪亚·那利亚姆布特·穆拉里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN105807762A publication Critical patent/CN105807762A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • G09B19/167Control of land vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/048Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles a model being viewed and manoeuvred from a remote point
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Motorcycle And Bicycle Frame (AREA)
  • Navigation (AREA)

Abstract

一种计算设备包括处理电路和数据存储介质。该计算设备被编程为接收选择与在虚拟环境中自主操作虚拟车辆相关的至少一个测试参数的用户输入,模拟包含至少一个测试参数的虚拟环境,虚拟导航虚拟车辆穿过虚拟环境,收集虚拟传感器数据,以及处理收集到的虚拟传感器数据。

Description

在虚拟环境中改进的自主驾驶
背景技术
自主车辆被期望解读沿着路边的某些标志。例如,自主车辆被期望在停车标志处停车。自主车辆解读标志的一种方式是通过收集真实世界传感器数据“教导”自主车辆特定标志的样子。收集真实世界传感器数据包括设定物理测试或带着传感器到处驾驶以收集相关数据。在识别路标的情况下,收集传感器数据可以包括收集数以千计不同的路标的图片。根据统一的交通控制设备手册(ManualonUniformTrafficControlDevices),有超过500种联邦政府批准的交通标志。
附图说明
图1说明了具有编程为接收和处理虚拟传感器数据的系统的示例自主车辆;
图2是自主车辆的示例部件的框图;
图3A说明了编程为生成虚拟传感器数据的虚拟环境的示例视图;
图3B说明了编程为生成虚拟传感器数据的虚拟环境的另一个示例视图;
图4是可以被实施以在虚拟环境中测试和/或训练一个或多个虚拟车辆子系统的示例过程的过程流程图。
具体实施方式
公开了作为真实世界测试的替代的虚拟环境。所公开的虚拟环境可以包括用于自主驾驶过程的虚拟试验台。传感器模型和图像处理软件可以与虚拟环境和动态交互式驾驶场景交互。虚拟测试可以提供用于驾驶过程的多样且彻底的确认以补充使用真实车辆进行的测试和为其做准备。相比于真实世界测试,虚拟测试在时间、金钱和资源方面可能更便宜。模拟在真实世界测试中模拟将是危险或困难的驾驶场景存在最低的相关风险,使得测试大范围和大数量的场景更容易并且在开发自主控制的过程早期进行。通过整合摄像机与激光雷达、雷达和超声波传感器并且确定对所解读的传感器数据的车辆响应,工具可以在用于自主驾驶的传感器融合过程的开发期间使用。
该方法可以吸收传感器数据并且使用样本数据识别需要被设计和改进的虚拟车辆的周围环境的关键元素。例如,识别路标的分类器可能需要使用这些标志的图像——包括大而多样的图像集——来训练以便避免数据集偏差并且促进在一系列条件下的正确检测。在虚拟环境中,数以千计的模拟的摄像机图像可以在数秒内生成,使得这种方法成为最小化偏差并且优化分类器性能的一种有效方法。生成表示在美国的所有交通标志的数据库也将是可能的。
级联分类器——其可以在OpenCV(开放源代码计算机视觉类库)C++库中找到——可以用于识别多种路标。这些标志的图像可以在具有随机化的取向、与摄像机的距离、阴影和照明条件、和部分遮挡的虚拟环境中生成。机器学习过程可以吸收这些图像连同其中路标的位置和边界框作为输入,使用图像处理技术生成特征并且训练分类器以识别每个标志类型。类似的过程可以被实施以开发用于其他传感器类型的检测和识别过程。
示出的元件可以采取许多不同的形式并且包括多个和/或替代部件和设备。所说明的示例部件并不旨在进行限制。事实上,可以使用附加或替代部件和/或实施方式。
如图1所示,自主车辆100包括车辆系统105,车辆系统105被编程为接收在虚拟环境中通过计算设备110生成的虚拟传感器数据。计算设备110——其可以包括数据存储介质110A和处理电路110B——可以被编程为模拟虚拟环境。虚拟环境可以呈现多个驾驶场景。每个驾驶场景可以包括道路,该道路具有道路上或沿着路边的各种对象。例如,驾驶场景可以包括行驶中或停放的其它车辆、街道标志、树木、灌木、建筑物、行人、或诸如此类。不同的驾驶场景可以进一步包括不同的天气条件,例如雨、雪、雾等。此外,驾驶场景可以限定不同类型的道路或地形。示例可以包括高速公路、地面街道、山路、或诸如此类。
计算设备110可以被编程为模拟行驶通过虚拟环境的虚拟车辆。模拟可以包括基于呈现在虚拟环境中的条件收集虚拟传感器数据的虚拟传感器。计算设备110可以被编程为收集虚拟传感器数据,如将在真实车辆上收集的那样。例如,计算设备110可以模拟具有犹如虚拟传感器在真实的车辆上的虚拟环境的视野的虚拟传感器。因此,虚拟传感器数据可以反映关于检测例如标志的真实世界条件。在真实世界条件中,车辆传感器的标志视野可以部分或完全被对象——例如另一车辆或树——阻断。通过模拟虚拟传感器具有犹如它在真实车辆上的视野,虚拟传感器可以根据在真实世界条件下传感器将具有的视野收集虚拟数据。
计算设备110的输出可以包括虚拟传感器数据,虚拟传感器数据可以用于测试目的、训练目的、或两者并且可以表示由于模拟导航虚拟车辆通过虚拟环境而由虚拟传感器收集到的传感器数据。虚拟传感器数据最终可以用于生成校准数据,校准数据可以上传到车辆系统105,使得自主车辆100(真实世界车辆)的一个或多个子系统可以根据在测试或训练期间当导航虚拟车辆通过虚拟环境时发生的收集到的虚拟传感器数据来校准。校准数据可以由相同或不同的计算设备110来生成,并且可以从多个虚拟传感器数据集生成。此外,在多次模拟期间生成的虚拟传感器数据可以被合计并且处理以生成校正数据。因此,计算设备110不必在收集虚拟传感器数据之后立即输出任何校准数据。采用校准数据,真实世界车辆子系统可以被“训练”以根据如由虚拟传感器数据表示的在虚拟环境中模拟的场景识别某些场景。
尽管作为轿车进行说明,但是自主车辆100可以包括任何客用或商用机动车,例如小汽车、卡车、运动型多用途车、跨界车、厢式货车、小型货车、出租车、公共汽车等。此外,自主车辆100可以被配置为在完全自主(例如,无人驾驶)模式或部分自主模式下操作。
图2说明了自主车辆100的示例部件。如所示的,自主车辆100包括用户界面设备115、导航系统120、通信接口125、自主驾驶传感器130、自主模式控制器135和处理设备140。
用户界面设备115可以被配置或编程为在自主车辆100操作过程中呈现信息给用户,例如驾驶员。此外,用户界面设备115可以被配置或编程为接收用户输入。因此,用户界面设备115可以被定位在自主车辆100的乘客舱中。在一些可能的方法中,用户界面设备115可以包括触敏显示屏幕。
导航系统120可以被配置或编程为确定自主车辆100的位置。导航系统120可以包括配置或编程为三角测量自主车辆100相对于卫星或基于陆地的发射塔的位置的全球定位系统(GPS)接收器。因此,导航系统120可以被配置或编程为进行无线通信。导航系统120可以进一步被配置或编程为制定从当前位置到选定的目的地的路线,以及经由例如用户界面设备115显示到选定的目的地的地图和当前行驶方向。在一些情况下,导航系统120可以根据用户偏好制定路线。用户偏好的示例可以包括最大化燃料效率、减少行驶时间、行驶最短的距离、或诸如此类。
通信接口125可以被配置或编程为促进自主车辆100的部件和其它设备——例如远程服务器或当使用例如车辆与车辆通信协议时甚至另一车辆——之间的有线和/或无线通信。通信接口125可以被配置或编程为从移动电话供应商的塔和与车辆关联的远程信息处理服务交付网络(SDN)接收消息并发送消息至移动电话供应商的塔和与车辆关联的远程信息处理服务交付网络(SDN),其进而与用户的移动设备——例如手机、平板计算机、便携式计算机、密钥卡、便携式信息终端、或配置用于经由次级或相同的移动电话供应商进行无线通信的任何其他电子设备——建立通信。通过SDN至远程信息处理收发器的蜂窝通信也可以从互联网连接设备发起,例如从PC(个人电脑)、便携式电脑、笔记本电脑、或WiFi连接的电话。通信接口125也可以被配置或编程为使用任何数目的通信协议——例如 低能耗(LowEnergy),或Wi-Fi(无线保真技术)——从自主车辆100到用户的远程设备或任何其他设备直接通信。车辆与车辆通信协议的示例可以包括,例如,专用短程通信(DSRC)协议。相应地,通信接口125可以被配置或编程为从远程服务器和/或其他车辆接收消息和/或发送消息到远程服务器和/或其他车辆。
自主驾驶传感器130可以包括被配置或编程为生成当自主车辆100在自主(例如,无人驾驶)模式中操作时帮助导航自主车辆100的信号的任何数量的设备。自主驾驶传感器130的示例可以包括雷达传感器、激光雷达传感器、视觉传感器、或诸如此类。当车辆在自主模式中操作时,自主驾驶传感器130帮助自主车辆100“看到”道路和车辆周围环境和/或越过各种障碍物。在一个可能的实施方式中,自主驾驶传感器130可以根据由于相对于虚拟环境所执行的模拟而由计算设备110输出的虚拟驾驶数据来校准。
自主模式控制器135可以被配置或编程为当车辆在自主模式中操作时控制一个或多个子系统145。可以由自主模式控制器135控制的子系统145的示例可以包括制动子系统、悬挂子系统、转向子系统、和动力传动子系统。自主模式控制器135可以通过输出信号至与这些子系统145关联的控制单元来控制这些子系统145中的任何一个或多个。自主模式控制器135可以至少部分基于由自主驾驶传感器130生成的信号来控制子系统145。在一个可能的例子中,自主模式控制器135可以根据由于相对于虚拟环境所执行的模拟而由计算设备110输出的虚拟驾驶数据来校准。
处理设备140可以被编程为接收和处理由计算设备110生成的虚拟数据信号。处理虚拟数据信号可以包括例如生成用于自主驾驶传感器130、自主模式控制器135、或两者的校准设置。校准设置可以“教导”自主驾驶传感器130和自主模式控制器135以更好地解读自主车辆100周围的环境。
图3A-3B说明了被编程为生成虚拟传感器数据的虚拟环境150的示例视图。图3A示出了来自车载传感器——例如摄像机——的虚拟视野。换言之,图3A示出了摄像机将如何“看到”虚拟环境150。然而,图3B示出了一个可能的“试验者”视野。“试验者”视野允许摄像机或其他传感器被定位在虚拟车辆外部、虚拟车辆的驾驶员的座椅处、或相对于虚拟车辆的任何其他位置。
通过呈现在虚拟环境150中的交互式虚拟场景,用户可以导航虚拟车辆通过虚拟环境150以测试标志和障碍物检测过程、观察自主驾驶过程性能、或体验自主和手动驾驶模式之间的切换。虚拟环境150可以实时呈现例如路标检测分类器的输出,如图3A所示,显示每个检测到的标志的位置和直径。
计算设备110整合采用三维建模和动画工具创建的虚拟驾驶环境和传感器模型以在相对短的时间量生成大量的虚拟传感器数据。在标志检测的情况下,记录的数据中的相关参数——例如照明以及路标取向——可以被随机化以确保多样的数据集具有最小偏差。
在一个可能的实施方式中,虚拟传感器可以根据其在真实世界车辆上计划的定位而相对于道路定位。虚拟传感器可以在虚拟环境150中沿着虚拟道路移动。虚拟传感器随着它移动通过虚拟环境150可以记录数据。在记录每个数据点之前,虚拟传感器可以在传感器的范围内随机化的位置放置感兴趣的对象,例如道路标志。通过虚拟传感器获取的所有数据点可以表示就相关分类器(例如路标)而言的正数据。通过例如在记录数据之前未在虚拟传感器的范围中放置感兴趣的对象,可以生成负数据。虚拟传感器可以表示摄像机、激光雷达、雷达、超声波、或用于自主车辆100操作感兴趣的不同的传感器类型。
相比于收集真实世界数据,收集虚拟数据在时间、金钱和资源方面更便宜。在短短几分钟内,数以千计的给定的路标类型的虚拟图像可以被接收和被分析。相当数量的真实世界数据将花费几个小时来收集。
图4是用于根据当导航虚拟环境时收集到的虚拟传感器数据而测试和/或训练一个或多个车辆子系统145的示例过程400的过程流程图。
在框405,计算设备110可以加载虚拟环境的模拟。虚拟环境的模拟可以包括在真实世界操作期间自主车辆可见的元素。例如,虚拟环境可以包括虚拟道路、树木、标志、交通控制设备(例如停止行进号志)、桥梁和其它基础设施(例如路灯)、其他车辆、行人、建筑物、人行道、路边等。此外,虚拟环境可以被编程为呈现不同的道路和结构。例如,不同的道路可以包括十字路口、公路、具有停放的车辆的住宅街道、城市地区、农村地区、高速公路、入口匝道、出口匝道、隧道、桥梁、污垢或碎石道路、具有不同的曲率和道路坡度的道路、平坦的道路、带凹坑的道路、穿过火车轨道的道路,等等。此外,虚拟环境可以模拟不同的天气和照明条件。例如,虚拟环境可以模拟雨、雪、冰等,以及黎明、白天、夜晚、黄昏、和夜间照明条件。
在框410,计算设备110可以接收选择各种测试参数的用户输入。测试参数可以包括,例如,选择驾驶条件的类型的用户输入。因此,用户输入可以包括天气条件、照明条件、或两者(例如,在黄昏下雨)的选择,以及包括道路类型或区域(例如,十字路口、公路、城市地区、农村地区,等)的任何其他因素的选择。
在框415,计算设备110可以根据在框410接收到的用户输入生成虚拟环境。虚拟环境可以呈现在显示屏幕155上。虚拟环境可以根据以上讨论的“试验者”视野或来自一个或多个自主车辆传感器130——例如车载摄像机——的视野来呈现。此外,显示屏幕可以呈现具有在框405选择的各种条件的虚拟环境,包括天气条件、照明条件、或诸如此类。
在框420,计算设备110可以导航虚拟车辆通过虚拟环境。导航通过虚拟环境可以包括经由例如用户输入确定终点和导航虚拟车辆通过虚拟环境到终点。虚拟车辆的自主操作可以基于传感器输入,犹如虚拟车辆是在由计算设备110模拟的真实世界环境中导航的自主车辆那样。
在框425,计算设备110可以生成表示由虚拟传感器收集到的数据的虚拟传感器数据。因此,虚拟传感器数据可以表示导航通过与模拟的环境相同的真实世界环境的真实自主车辆传感器130已收集到的数据。例如,虚拟传感器数据可以表明自主车辆传感器130是否已识别出例如部分隐藏——例如部分被树阻挡——或在低照明条件下(例如在黄昏或夜间,附近没有路灯)的停车标志。
在框430,计算设备110可以处理虚拟传感器数据以生成输出数据,输出数据可以包括测试数据、教导数据、或二者。输出数据可以基于在框425生成的虚拟传感器数据。就是说,输出数据可以帮助识别用于自主驾驶传感器130的特定设置以适当地识别在框410选择的场景下的路标、行人、车道标记、其他车辆等。在一些情况下,输出数据可以表示包括与在最大场景集中识别最多数量的对象相关联的设置的虚拟传感器数据的趋势。在其它情况下,输出数据可以针对一场景集,在这种情况下,可以生成用于在自主车辆100中最终使用的多个输出数据集。最终,输出数据,或输出数据的集合,可以被加载到车辆系统105中作为例如在真实世界自主车辆100中操作的校准数据。当校准数据被加载到车辆系统105中时,自主驾驶传感器130可以应用适当的设置以正确地识别在框410选择的场景下的对象。
通常,所描述的计算系统和/或设备可以使用许多计算机操作系统中的任何一个,包括但并不限于以下的版本和/或变体:福特操作系统、Microsoft操作系统、Unix操作系统(如,加利福尼亚红木滩的甲骨文公司发售的操作系统)、纽约阿蒙克市的国际商业机器公司发售的AIXUNIX操作系统、Linux操作系统、加利福尼亚库比蒂诺的苹果公司发售的MacOSX和iOS操作系统、加拿大滑铁卢的黑莓公司发售的黑莓OS以及谷歌公司和开放手机联盟开发的安卓操作系统。计算设备的示例包括,但不限于,车载车辆计算机、计算机工作站、服务器、台式机、笔记本电脑、便携式电脑、或手持式计算机、或一些其他计算系统和/或设备。
计算设备通常包括计算机可执行的指令,其中指令可以通过例如上面所列的那些的一种或多种计算设备来执行。计算机可执行的指令可以从计算机程序来编译或解读,计算机程序使用多种程序设计语言和/或技术建立,这些语言和/或技术包括但不限于JavaTM、C、C++、VisualBasic、JavaScript、Perl等中单独一个或结合。通常,处理器(如微处理器)如从存储器、计算机可读介质等接收指令,并且执行这些指令,从而执行一个或多个过程,包括一个或多个在此所述的过程。这样的指令和其它数据可以使用多种计算机可读介质存储和传送。
计算机可读介质(也称为处理器可读介质)包括参与提供计算机可读(如通过计算机的处理器)的数据(如指令)的非暂时性(如有形的)介质。这样的介质可以采取许多形式,包括但不限于非易失性介质和易失性介质。非易失性介质可以包括,例如光盘或磁盘以及其他持续内存。易失性介质可以包括例如动态随机存取存储器(DRAM),其典型地构成主存储器。这样的指令可以通过一个或多个传送介质来传送,包括同轴电缆、铜线和光纤,包括包含耦接到计算机的处理器的系统总线的线。计算机可读介质的普遍形式包括,例如软盘(floppydisk)、柔性盘(flexibledisk)、硬盘、磁带、任何其它磁性介质、CD-ROM(光盘只读存储器)、DVD(数字化视频光盘)、任何其它光学介质、穿孔卡片、纸带、任何其它具有孔排列模式的物理介质、RAM(随机存取存储器)、PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、FLASH-EEPROM(闪速电可擦除可编程只读存储器),任何其它存储芯片或内存盒,或任何其它计算机可读的介质。
数据库、数据储存库、或在此所描述的其它数据存储可以包括用于存储、访问和检索多种数据的各种类型的机制,包括层次数据库、文件系统中的文件集、专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个这样的数据存储通常包括在使用例如上述提到的那些之一的计算机操作系统的计算设备内,并且经由网络以各种方式中的任意一种或多种进行访问。文件系统可以从计算机操作系统访问,并且可以包括以多种格式存储的文件。RDBMS除了使用用于创建、存储、编辑和执行存储过程的语言之外,通常使用结构化查询语言(SQL),例如以上提到的过程化SQL(PL/SQL)语言。
在一些示例中,系统元件可以被实施为在一个或多个计算设备(如,服务器,个人电脑等)上的计算机可读指令(如,软件),存储在与此相关的计算机可读介质(如,盘,存储器等)上。计算机程序产品可以包含存储在计算机可读介质中用于执行在此所述的功能的这样的指令。
至于在此所述的过程、系统、方法、启发等,应当理解的是,虽然这些过程的步骤等已被描述成根据一定的有序序列发生,但是这样的过程可以实施为以不同于在此所述顺序的顺序来执行所述步骤。进一步应当理解的是,某些步骤可以同时执行,其它步骤可以增加,或在此所述的某些步骤可以省略。换言之,提供在此的过程的描述目的在于说明某些实施例,而不应以任何方式被解释为限制权利要求。
因此,应当理解的是,上述说明书旨在说明而不是限制。除了提供的示例,在阅读上述说明书的基础之上许多实施例和应用是显而易见的。本发明的范围不应参照上述说明书来确定,而是应该参照所附权利要求连同这些权利要求所享有的全部等效范围来确定。可以预见和预期未来的发展将会发生在在此所讨论的领域,且本发明所公开的系统和方法将被结合到这些未来的实施例中。总之,应当理解的是,本发明能够进行修改和变化。
在权利要求中使用的所有术语旨在被给予它们如本领域技术人员所理解的通常含义,除非在此作出明确相反的指示。特别是单数冠词如“一”,“该”,“所述”等的使用应被理解为叙述一个或多个所示元件,除非权利要求中叙述了明确相反的限制。
提供摘要以允许读者快速弄清此技术公开的本质。提交该摘要的情况下,应理解其不用于解释或限制权利要求的范围和含义。此外,在前述具体实施方式中,可以看出,为了精简本发明的目的,不同的特征被集合在不同的实施例中。这种公开方法不应被解释为反映所要求保护的实施例需要比在每项权利要求中清楚叙述的更多的特征的意图。相反,如以下权利要求反映的那样,发明主旨在于少于单一公开的实施例的所有特征。因此,以下权利要求以此方式结合到具体实施方式中,而每条权利要求自身作为单独要求保护的主题。

Claims (20)

1.一种计算设备,包含处理电路和数据存储介质,其中所述计算设备被编程为:
接收选择与在虚拟环境中自主操作虚拟车辆相关的至少一个测试参数的用户输入;
模拟包含所述至少一个测试参数的虚拟环境;
虚拟导航所述虚拟车辆穿过所述虚拟环境;
收集虚拟传感器数据;以及
处理收集到的所述虚拟传感器数据。
2.根据权利要求1所述的计算设备,其中所述计算设备被编程为至少部分基于使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航而生成所述虚拟传感器数据。
3.根据权利要求1所述的计算设备,其中所述计算设备被编程为从所述虚拟传感器数据生成校准数据,其中所述校准数据被上传到自主车辆。
4.根据权利要求1所述的计算设备,其中所述计算设备被编程为至少部分基于包含在所述虚拟车辆中的虚拟传感器而虚拟导航所述虚拟车辆穿过所述虚拟环境。
5.根据权利要求4所述的计算设备,其中所述虚拟传感器至少部分基于包含在自主车辆中的自主驾驶传感器。
6.根据权利要求1所述的计算设备,其中所述计算设备被编程为至少部分基于所述用户输入而生成所述虚拟环境。
7.根据权利要求6所述的计算设备,其中生成所述虚拟环境包括生成模拟天气条件的所述虚拟环境。
8.根据权利要求6所述的计算设备,其中生成所述虚拟环境包括生成模拟照明条件的所述虚拟环境。
9.一种方法,包含:
接收选择与在虚拟环境中自主操作虚拟车辆相关的至少一个测试参数的用户输入;
模拟包含所述至少一个测试参数的所述虚拟环境;
虚拟导航所述虚拟车辆穿过所述虚拟环境;
收集虚拟传感器数据;以及
处理收集到的所述虚拟传感器数据。
10.根据权利要求1所述的方法,进一步包含至少部分基于使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航而生成所述虚拟传感器数据。
11.根据权利要求1所述的方法,进一步包含从所述虚拟传感器数据生成用于上传到自主车辆的校准数据。
12.根据权利要求1所述的方法,其中至少部分基于包含在所述虚拟车辆中的虚拟传感器而虚拟导航所述虚拟车辆穿过所述虚拟环境。
13.根据权利要求12所述的方法,其中所述虚拟传感器至少部分基于包含在自主车辆中的自主驾驶传感器。
14.根据权利要求1所述的方法,进一步包含至少部分基于所述用户输入而生成所述虚拟环境。
15.根据权利要求14所述的方法,其中生成所述虚拟环境包括生成模拟天气条件的所述虚拟环境。
16.根据权利要求14所述的方法,其中生成所述虚拟环境包括生成模拟照明条件的所述虚拟环境。
17.一种计算系统,包含:
显示屏幕;以及
具有处理电路和数据存储介质的计算设备,其中所述计算设备被编程为:
接收选择与在虚拟环境中自主操作虚拟车辆相关的至少一个测试参数的用户输入;
模拟包含所述至少一个测试参数的所述虚拟环境;
虚拟导航所述虚拟车辆穿过所述虚拟环境;
收集虚拟传感器数据;以及
处理收集到的所述虚拟传感器数据;
其中使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航被呈现在所述显示屏幕上。
18.根据权利要求17所述的计算系统,其中所述计算设备被编程为至少部分基于使所述虚拟车辆穿过所述虚拟环境的所述虚拟导航而生成所述虚拟传感器数据并且经由所述显示屏幕输出所述虚拟传感器数据。
19.根据权利要求17所述的计算系统,其中所述计算设备被编程为至少部分基于所述用户输入而生成所述虚拟环境,其中生成所述虚拟环境包括生成模拟天气条件和照明条件中的至少一个的所述虚拟环境。
20.根据权利要求17所述的计算系统,其中所述虚拟环境在所述用户显示设备上的所述呈现包括对天气条件和照明条件中的至少一个的图示。
CN201610023773.0A 2015-01-21 2016-01-14 在虚拟环境中改进的自主驾驶 Withdrawn CN105807762A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562106070P 2015-01-21 2015-01-21
US62/106,070 2015-01-21
US14/945,744 2015-11-19
US14/945,744 US20160210382A1 (en) 2015-01-21 2015-11-19 Autonomous driving refined in virtual environments

Publications (1)

Publication Number Publication Date
CN105807762A true CN105807762A (zh) 2016-07-27

Family

ID=55534718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610023773.0A Withdrawn CN105807762A (zh) 2015-01-21 2016-01-14 在虚拟环境中改进的自主驾驶

Country Status (6)

Country Link
US (1) US20160210382A1 (zh)
CN (1) CN105807762A (zh)
DE (1) DE102016100428A1 (zh)
GB (1) GB2536771A (zh)
MX (1) MX2016000871A (zh)
RU (1) RU2016101520A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107024356A (zh) * 2017-04-28 2017-08-08 百度在线网络技术(北京)有限公司 用于测试无人车的方法和装置
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
WO2018152748A1 (en) * 2017-02-23 2018-08-30 SZ DJI Technology Co., Ltd. Method and system for simulating movable object states
CN108734949A (zh) * 2017-04-18 2018-11-02 百度在线网络技术(北京)有限公司 无人驾驶车辆仿真平台构建方法、装置、设备及存储介质
CN108875640A (zh) * 2018-06-20 2018-11-23 长安大学 一种端到端无监督场景可通行区域认知能力的测试方法
CN109215342A (zh) * 2018-09-12 2019-01-15 五方智能车科技有限公司 一种智能车路况信息接收与分析能力测试平台
CN109564095A (zh) * 2016-08-04 2019-04-02 赫尔环球有限公司 出于路径选择或导航目的使用虚拟探测点的方法和设备
CN110419013A (zh) * 2017-04-12 2019-11-05 赫尔实验室有限公司 自主系统的认知行为预测系统
CN110543173A (zh) * 2019-08-30 2019-12-06 上海商汤智能科技有限公司 车辆定位系统及方法、车辆控制方法及装置
CN111201503A (zh) * 2017-10-12 2020-05-26 奥迪股份公司 在机动车辆中运行至少一副虚拟现实眼镜的方法和系统
CN111381673A (zh) * 2018-12-28 2020-07-07 哈曼国际工业有限公司 双向车载虚拟个人助理
CN112654933A (zh) * 2018-08-31 2021-04-13 罗伯特·博世有限公司 计算机实现的用于测试控制设备的模拟方法和装置
CN112997060A (zh) * 2018-11-09 2021-06-18 智动科技有限公司 用于修改自主车辆的控制单元的方法和系统
CN113049267A (zh) * 2021-03-16 2021-06-29 同济大学 一种交通环境融合感知在环vthil传感器物理建模方法
CN113516780A (zh) * 2021-07-05 2021-10-19 南斗六星系统集成有限公司 一种模拟车辆行驶交互方法及系统
WO2022227934A1 (zh) * 2021-04-26 2022-11-03 腾讯科技(深圳)有限公司 虚拟载具的控制方法、装置、设备、介质及程序产品

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8819673B1 (en) 2007-05-24 2014-08-26 United Services Automobile Association (Usaa) Systems and methods for java virtual machine management
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
US20170286575A1 (en) 2016-03-31 2017-10-05 Cae Inc. Method and systems for anticipatorily updating a remote repository
US11210436B2 (en) * 2016-07-07 2021-12-28 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US10559217B2 (en) 2016-08-05 2020-02-11 Intel Corporation Methods and apparatus to develop in-vehicle experiences in simulated environments
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10489529B2 (en) * 2016-10-14 2019-11-26 Zoox, Inc. Scenario description language
WO2018125928A1 (en) 2016-12-29 2018-07-05 DeepScale, Inc. Multi-channel sensor simulation for autonomous control systems
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
WO2018176000A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10558217B2 (en) 2017-08-28 2020-02-11 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle
US10831202B1 (en) 2017-09-01 2020-11-10 Zoox, Inc. Onboard use of scenario description language
US10678241B2 (en) 2017-09-06 2020-06-09 GM Global Technology Operations LLC Unsupervised learning agents for autonomous driving applications
FR3073065B1 (fr) * 2017-10-30 2021-01-01 Psa Automobiles Sa Procede et dispositif de generation automatique de scenarios d’environnement de conduite d’un vehicule a conduite automatisee
EP3486766A1 (en) * 2017-11-17 2019-05-22 Steinbeis Interagierende Systeme GmbH Computer-implemented method of augmenting a simulation model of a physical environment of a vehicle
US10474916B2 (en) 2017-11-20 2019-11-12 Ashok Krishnan Training of vehicles to improve autonomous capabilities
JP6856936B2 (ja) * 2017-12-04 2021-04-14 アセントロボティクス株式会社 学習方法、学習装置及び学習プログラム
DE102018200011A1 (de) 2018-01-02 2019-07-04 Ford Global Technologies, Llc Testsystem und Verfahren zum Testen einer Steuerung eines zumindest teilweise autonom fahrenden Fahrzeugs in einer virtuellen Umgebung
WO2019191306A1 (en) * 2018-03-27 2019-10-03 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
DE102018206189A1 (de) * 2018-04-23 2019-10-24 Ford Global Technologies, Llc System zum Testen eines selbstfahrenden Kraftfahrzeugs
US10817752B2 (en) 2018-05-31 2020-10-27 Toyota Research Institute, Inc. Virtually boosted training
US12008922B2 (en) * 2018-07-02 2024-06-11 Smartdrive Systems, Inc. Systems and methods for comparing driving performance for simulated driving
US11830365B1 (en) 2018-07-02 2023-11-28 Smartdrive Systems, Inc. Systems and methods for generating data describing physical surroundings of a vehicle
US10818102B1 (en) 2018-07-02 2020-10-27 Smartdrive Systems, Inc. Systems and methods for generating and providing timely vehicle event information
US10713148B2 (en) 2018-08-07 2020-07-14 Waymo Llc Using divergence to conduct log-based simulations
WO2020060478A1 (en) * 2018-09-18 2020-03-26 Sixan Pte Ltd System and method for training virtual traffic agents
US20200209874A1 (en) * 2018-12-31 2020-07-02 Chongqing Jinkang New Energy Vehicle, Ltd. Combined virtual and real environment for autonomous vehicle planning and control testing
US11531347B2 (en) * 2019-09-17 2022-12-20 Avidbots Corp System and method to virtually teach a semi-autonomous device
US11551414B2 (en) 2019-12-02 2023-01-10 Woven Planet North America, Inc. Simulation architecture for on-vehicle testing and validation
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
CN112307566B (zh) * 2020-11-12 2023-07-18 安徽江淮汽车集团股份有限公司 车辆仿真测试方法、装置、设备及存储介质
US20220236733A1 (en) * 2021-01-25 2022-07-28 6 River Systems, Llc Virtual mapping systems and methods for use in autonomous vehicle navigation
AT524822B1 (de) * 2021-03-01 2024-08-15 Avl List Gmbh Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
AT524821A1 (de) * 2021-03-01 2022-09-15 Avl List Gmbh Verfahren und System zum Erzeugen von Szenariendaten zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
WO2023280409A1 (de) * 2021-07-08 2023-01-12 Dspace Gmbh Virtuelle testumgebung für ein fahrassistenzsystem mit spieltheoretisch modellierten verkehrsteilnehmern
US11952001B1 (en) * 2021-11-09 2024-04-09 Zoox, Inc. Autonomous vehicle safety system validation
CN113867412B (zh) * 2021-11-19 2023-05-05 中国工程物理研究院电子工程研究所 一种基于虚拟领航的多无人机航迹规划方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590062A (en) * 1993-07-02 1996-12-31 Matsushita Electric Industrial Co., Ltd. Simulator for producing various living environments mainly for visual perception
US7363567B2 (en) * 2003-08-28 2008-04-22 Agilent Technologies, Inc. System and method for electronic device testing using random parameter looping
US8326469B2 (en) * 2006-07-14 2012-12-04 Irobot Corporation Autonomous behaviors for a remote vehicle
KR20110059134A (ko) * 2009-11-27 2011-06-02 주식회사 맵퍼스 학습 기능을 갖는 내비게이션 단말기 및 이를 위한 학습 방법
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US8775064B2 (en) * 2011-05-10 2014-07-08 GM Global Technology Operations LLC Sensor alignment process and tools for active safety vehicle applications

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564095B (zh) * 2016-08-04 2022-06-17 赫尔环球有限公司 出于路径选择或导航目的使用虚拟探测点的方法和设备
CN109564095A (zh) * 2016-08-04 2019-04-02 赫尔环球有限公司 出于路径选择或导航目的使用虚拟探测点的方法和设备
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
CN109891347A (zh) * 2017-02-23 2019-06-14 深圳市大疆创新科技有限公司 用于模拟可移动物体状态的方法和系统
WO2018152748A1 (en) * 2017-02-23 2018-08-30 SZ DJI Technology Co., Ltd. Method and system for simulating movable object states
US11556681B2 (en) 2017-02-23 2023-01-17 SZ DJI Technology Co., Ltd. Method and system for simulating movable object states
CN110419013A (zh) * 2017-04-12 2019-11-05 赫尔实验室有限公司 自主系统的认知行为预测系统
CN108734949A (zh) * 2017-04-18 2018-11-02 百度在线网络技术(北京)有限公司 无人驾驶车辆仿真平台构建方法、装置、设备及存储介质
CN107024356A (zh) * 2017-04-28 2017-08-08 百度在线网络技术(北京)有限公司 用于测试无人车的方法和装置
CN111201503B (zh) * 2017-10-12 2023-09-01 奥迪股份公司 在机动车辆中运行至少一副虚拟现实眼镜的方法和系统
CN111201503A (zh) * 2017-10-12 2020-05-26 奥迪股份公司 在机动车辆中运行至少一副虚拟现实眼镜的方法和系统
CN108875640A (zh) * 2018-06-20 2018-11-23 长安大学 一种端到端无监督场景可通行区域认知能力的测试方法
CN108875640B (zh) * 2018-06-20 2022-04-05 长安大学 一种端到端无监督场景可通行区域认知能力的测试方法
CN112654933A (zh) * 2018-08-31 2021-04-13 罗伯特·博世有限公司 计算机实现的用于测试控制设备的模拟方法和装置
CN109215342A (zh) * 2018-09-12 2019-01-15 五方智能车科技有限公司 一种智能车路况信息接收与分析能力测试平台
CN112997060A (zh) * 2018-11-09 2021-06-18 智动科技有限公司 用于修改自主车辆的控制单元的方法和系统
CN112997060B (zh) * 2018-11-09 2024-10-18 智动科技有限公司 用于修改自主车辆的控制单元的方法和系统
CN111381673A (zh) * 2018-12-28 2020-07-07 哈曼国际工业有限公司 双向车载虚拟个人助理
US12080284B2 (en) 2018-12-28 2024-09-03 Harman International Industries, Incorporated Two-way in-vehicle virtual personal assistant
CN110543173A (zh) * 2019-08-30 2019-12-06 上海商汤智能科技有限公司 车辆定位系统及方法、车辆控制方法及装置
CN113049267A (zh) * 2021-03-16 2021-06-29 同济大学 一种交通环境融合感知在环vthil传感器物理建模方法
WO2022227934A1 (zh) * 2021-04-26 2022-11-03 腾讯科技(深圳)有限公司 虚拟载具的控制方法、装置、设备、介质及程序产品
CN113516780A (zh) * 2021-07-05 2021-10-19 南斗六星系统集成有限公司 一种模拟车辆行驶交互方法及系统

Also Published As

Publication number Publication date
GB2536771A (en) 2016-09-28
GB201601124D0 (en) 2016-03-09
US20160210382A1 (en) 2016-07-21
DE102016100428A1 (de) 2016-07-21
RU2016101520A (ru) 2017-07-25
MX2016000871A (es) 2016-08-01

Similar Documents

Publication Publication Date Title
CN105807762A (zh) 在虚拟环境中改进的自主驾驶
CN105807630A (zh) 虚拟传感器试验台
CN105809103A (zh) 虚拟自主响应试验台
JP7020728B2 (ja) システム、方法およびプログラム
US20220121550A1 (en) Autonomous Vehicle Testing Systems and Methods
CN111179585B (zh) 自动驾驶车辆的场地测试方法及装置
CN107031656B (zh) 用于车轮止动器检测的虚拟传感器数据生成
CN109211575B (zh) 无人驾驶汽车及其场地测试方法、装置及可读介质
CN112286206B (zh) 自动驾驶的模拟方法、系统、设备、可读存储介质及平台
JP2021103525A (ja) ナビゲーション情報を処理する方法、ナビゲーション情報を処理する地図サーバコンピュータプログラム、自律車両のナビゲーションを支援する車両システム、および自律車両
CN111566664A (zh) 用于生成用于机器学习的合成图像数据的方法、设备和系统
CN109937343A (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
CN108805930A (zh) 自动驾驶车辆的定位方法和系统
CN106023622B (zh) 一种确定红绿灯识别系统识别性能的方法和装置
WO2020007589A1 (en) Training a deep convolutional neural network for individual routes
US11550851B1 (en) Vehicle scenario mining for machine learning models
US10991178B2 (en) Systems and methods for trailer safety compliance
Murray et al. Mobile mapping system for the automated detection and analysis of road delineation
US20240160804A1 (en) Surrogate model for vehicle simulation
US20240166213A1 (en) Dynamic assignment of friction coefficient using sensor data for use in simulation
CN114722931A (zh) 车载数据处理方法、装置、数据采集设备和存储介质
CN115237747A (zh) 车辆软件影子模式测试
JP7025372B2 (ja) 物体識別装置、方法およびシステム
US20240169112A1 (en) Simulation fidelity for end-to-end vehicle behavior

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20160727