CN106529392A - 虚拟驾驶环境中传感器数据生成 - Google Patents

虚拟驾驶环境中传感器数据生成 Download PDF

Info

Publication number
CN106529392A
CN106529392A CN201610811949.9A CN201610811949A CN106529392A CN 106529392 A CN106529392 A CN 106529392A CN 201610811949 A CN201610811949 A CN 201610811949A CN 106529392 A CN106529392 A CN 106529392A
Authority
CN
China
Prior art keywords
virtual
road surface
sensors
vehicle
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610811949.9A
Other languages
English (en)
Inventor
艾希莉·伊丽莎白·米克斯
温卡塔帕斯·拉居·纳尔帕
道格拉斯·布卢
马丁·塞杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN106529392A publication Critical patent/CN106529392A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种生成训练数据的方法。该方法可包括执行模拟过程。模拟过程可包括遍历限定多个虚拟异常的虚拟路面上的一个或多个虚拟传感器,多个虚拟异常各自可被一个或多个虚拟传感器所感测。在遍历期间,一个或多个虚拟传感器中的每一个可以如由模拟行驶在虚拟路面上并承载所述一个或多个虚拟传感器的车辆的运动的车辆运动模型所指示的相对于虚拟路面被移动。表征虚拟路面的虚拟传感器数据可被记录。虚拟传感器数据可对应于现实世界中现实的传感器已感测路面将会输出的内容。

Description

虚拟驾驶环境中传感器数据生成
技术领域
本发明涉及车辆系统,并且更具体地说涉及用于生成适于在开发、训练和证明用于检测驾驶环境中的异常的算法中使用的训练数据的系统和方法。
背景技术
为了提供、启用或支持例如驾驶员辅助、车辆动力学控制、和/或自主驾驶的功能,用于解释传感器数据的成熟的算法是至关重要的。因此,所需要的是用于生成适合于在开发、训练、以及证明这样的算法中使用的训练数据的系统和方法。
发明内容
根据本发明,提供一种方法,包含:
在模拟中通过计算机系统来遍历虚拟路面上的一个或多个虚拟传感器;
在遍历期间通过计算机系统来操纵一个或多个虚拟传感器相对于虚拟路面的视点;以及
通过计算机系统来记录表征虚拟路面的数据,数据对应于在遍历期间由一个或多个虚拟传感器输出的信号。
根据本发明的一个实施例,虚拟路面包含贯穿其分布的多个虚拟异常,该多个虚拟异常的每个虚拟异常限定由所述一个或多个虚拟传感器可感测的结构。
根据本发明的一个实施例,操纵包含改变一个或多个虚拟传感器相对于虚拟路面的入射角。
根据本发明的一个实施例,操纵进一步包含改变虚拟路面和一个或多个虚拟传感器之间在法线方向上的间隔。
根据本发明的一个实施例,操纵进一步包含如模拟承载一个或多个虚拟传感器并且行驶在虚拟路面上的车辆的运动的车辆运动模型所指示的相对于虚拟路面移动一个或多个虚拟传感器中的每一个。
根据本发明的一个实施例,一个或多个虚拟传感器包含定位以感测车辆前面的虚拟路面的一部分的前视传感器。
根据本发明的一个实施例,数据包含表征如一个或多个虚拟传感器感知到的虚拟路面的第一部分的第一数据。
根据本发明的一个实施例,数据进一步包含表征如实际上限定在虚拟路面上的虚拟路面的第一部分的注释。
根据本发明的一个实施例,虚拟路面的第一部分包含多个虚拟异常的第一虚拟异常。
根据本发明的一个实施例,第二数据包含限定第一虚拟异常的位置和大小的信息。
根据本发明,提供一种生成训练数据的方法,该方法包含:
通过计算机系统执行包含以下的模拟
遍历虚拟路面上的一个或多个虚拟传感器,虚拟路面限定各自可被一个或多个虚拟传感器中感测的多个虚拟异常,以及
在遍历期间如模拟行驶在虚拟路面上并且承载一个或多个虚拟传感器的车辆的运动的车辆运动模型所指示的相对于虚拟路面移动一个或多个虚拟传感器中的每一个;以及
通过计算机系统来记录表征虚拟路面的数据,数据对应于在遍历期间由一个或多个虚拟传感器输出的信号。
根据本发明的一个实施例,操纵包含:
改变一个或多个虚拟传感器相对于虚拟路面的入射角;以及
改变虚拟路面和一个或多个虚拟传感器之间在法线方向上的间隔。
根据本发明的一个实施例,一个或多个虚拟传感器包含定位以感测车辆前面的虚拟路面的一部分的前视传感器。
根据本发明的一个实施例,数据包含:
表征如一个或多个虚拟传感器感知到的虚拟路面的第一部分的第一数据;以及
表征如实际上限定在虚拟路面上的虚拟路面的第一部分的注释。
根据本发明的一个实施例,虚拟路面的第一部分包含多个虚拟异常的第一虚拟异常;以及
注释包含限定第一虚拟异常的位置和大小的信息。
根据本发明,提供一种计算机系统,包含:
一个或多个处理器;
存储器,存储器可操作地连接到一个或多个处理器;以及
存储器存储
编程以包括多个虚拟异常的虚拟驾驶环境,
编程以模拟传感器的第一软件模型,
编程以模拟车辆的第二软件模型,以及
编程以使用虚拟驾驶环境、第一软件模型、以及第二软件模型来产生用于模拟传感器将会输出的内容的输出,传感器已安装到车辆并且车辆已行驶在与虚拟驾驶环境匹配的实际驾驶环境中。
根据本发明的一个实施例,传感器包含定位以感测车辆前面的区域的前视传感器。
根据本发明的一个实施例,存储器进一步存储输出。
根据本发明的一个实施例,输出包含表征如第一软件模型感知到的虚拟驾驶环境的第一部分的第一数据。
根据本发明的一个实施例,其中:
输出进一步包含表征如实际上限定在虚拟驾驶环境中的虚拟驾驶环境的第一部分的注释;
虚拟路面的第一部分包含多个虚拟异常的第一虚拟异常;以及
注释包含限定第一虚拟异常的位置和大小的信息。
附图说明
为了使本发明的优点将很容易理解,上面简要描述的本发明的更具体的描述将通过参考在附图中示出的具体实施例来呈现。理解的是,这些附图仅描述本发明的典型实施例,因此不被认为是对其范围的限制,本发明将通过使用附图用附加特征和细节进行描述和解释,附图中:
图1是用于说明根据本发明的传感器数据生成系统的一个实施例的示意框图;
图2是用于说明根据本发明的包括异常的虚拟驾驶环境的一个实施例的示意图;
图3是用于说明时间上处于第一时刻的虚拟车辆的示意图,其中一个或多个虚拟传感器正“观看”位于车辆前方的坑洼;
图4是用于说明时间上处于第二、随后时刻的图3中虚拟车辆的示意图,其中车辆正遇到(例如开车前往)坑洼;
图5是用于说明根据本发明的标记有一个或多个注释的传感器数据的一个实施例的示意图;
图6是用于说明根据本发明的注释的一个实施例的示意框图;以及
图7是根据本发明的用于生成训练数据的方法的一个实施例的示意框图。
具体实施方式
将容易理解的是,本发明的部件,如在本文的附图中总体上描述和示出,可以被布置并设计在各种不同的结构中。因此,本发明的实施例的以下更详细的说明,如在图中表示的,并非意在限制本发明的范围,正如声明的,而仅仅是根据本发明的目前预期实施例的某些示例的代表。目前描述的实施例将通过参考附图得到最好的理解,其中相同的部件由相同的附图标记始终指定。
参照附图1,现实世界呈现了一系列正在不断变化的状况和障碍。这一现实对提供某些车辆动力学和/或自主驾驶的自主控制的基于车辆的系统产生了显著的挑战。为了克服这些挑战,车辆可配备有传感器和计算机系统,它们共同对周围环境进行感测、解释、并适当地作出反应。这种计算机系统的关键部件可以是用于解释由以车载的方式承载在这样的车辆上的各种传感器输出的数据的一个或多个算法。
例如,某些算法可以分析表征车辆前方区域的一个或多个传感器数据流,并且识别该区域何时出现异常。其他算法可以是负责决定在检测到异常时做什么。为了对这样的异常作出恰当的回应,所有这样的算法必须得到很好地开发并全面测试。在选定的实施例中,这样的开发和测试的初始和显著部分可在虚拟环境中来实现。因此,根据本发明的系统10可以产生适于开发、测试、和/或训练各种算法的传感器数据12。
例如,在某些实施例中,系统10可以执行模拟来产生适于开发、测试、和/或训练各种异常识别算法的传感器数据12。系统10可以以任何合适的方法做到这一点。例如,系统10可以实施为硬件、软件、或它们的一些组合。
在选定的实施例中,系统10可包括计算机硬件和计算机软件。系统10的计算机硬件可包括一个或多个处理器14、存储器16、用户界面18、其他硬件20、或类似物或它们的组合或它们的子组合。存储器16可被可操作地连接到一个或多个处理器14,并存储计算机软件。这可以使得一个或多个处理器14能够执行计算机软件。
系统10的用户界面18可以允许工程师、技术人员或其他人员交互于、运行、定制、或控制系统10的各个方面。在选定的实施例中,系统10的用户界面18可以包括一个或多个小键盘、键盘、触摸屏、定点设备、或类似物或它们的组合或它们的子组合。
在选定的实施例中,计算机系统12的存储器16可存储一个或多个车辆运动模型22、一个或多个传感器模型24、包含各种虚拟异常28的一个或多个虚拟驾驶环境26、模拟模块30、传感器数据12、其他数据或软件32、或类似的或它们的组合或它们的子组合。
车辆运动模块22可以是可以定义为某些情况下对应车辆的车身运动的软件模型。在某些实施例中,车辆运动模型22可以设置有一个或多个驾驶员输入(例如,表征例如速度、驱动转矩、制动器致动、转向输入、或类似物或它们的组合或它们的子组合这样的事物的一个或多个值)以及表征路面的信息(例如,来自虚拟驾驶环境26的数据)。通过这些输入和信息,车辆运动模型22可以预测对应车辆的车身的运动状态。
车辆运动模型22的参数可以以任何合适的方式确定或指定。在选定的实施例中,车辆运动模型22的某些参数可从相应的现实世界车辆的机械性能(例如,几何形状、惯性、刚度、阻尼系数等)的以前的知识得出。
如所理解的,这些参数对于不同的车辆可以是不同的。因此,在选定的实施例,车辆运动模型22可以是特定车辆的。也就是说,一种车辆运动模型22可以适合于模拟第一车辆(例如,特定的跑车)的车身动力学,而另一种车辆运动模型22可以适合于模拟第二车辆(例如,特定的皮卡车)的车身动力学。
传感器模型24可以是可以定义或预测相应现实世界传感器的输出的特定情况或视野(view)的软件模型。在某些实施例中,传感器模型24可设置有表征路面的各种视野的信息(例如,来自虚拟驾驶环境26的数据)。通过该信息,传感器模型24可以预测在现实世界中呈现这些视野的实际传感器将输出的内容。
在选定的实施例中,感兴趣的现实世界传感器可以包括感测或检测环境的某些特征并提供定义该特征的相应输出(例如电或光信号)的传感器。例如,感兴趣的一个或多个现实世界传感器可以是输出具有由加速度计经历的合适加速度特征的电信号的加速度计。这样的加速度计可以被用于确定车辆行驶的方向、加速度、速度、和/或距离。感兴趣的其他现实世界传感器可以包括摄像机、激光扫描仪、激光雷达扫描仪、超声传感器、雷达装置、陀螺仪、惯性测量单元、旋转计数器或传感器、应变仪、温度传感器、或类似物。
传感器模型24可以模拟通过感兴趣的任何现实世界传感器产生的输出。如所理解的,输出对于不同的现实世界传感器可以是不同。因此,在选定的实施例中,传感器模型24可以是特定传感器的。即,一种传感器模型24可以适合于模拟第一传感器(例如,特殊的照相机摄像机)的输出,而另一种传感器模型24可以适合于模拟第二传感器(例如,特定的激光扫描仪)的输出。
传感器模型24可以产生任何合适格式的输出。例如,在选定的实施例中,传感器模型24可以输出相应的现实世界传感器将产生的信号(例如,模拟信号)。可替换地,传感器模型24可以输出经处理的信号。例如,传感器模型24可以输出例如通过数据采集系统输出的经过处理的信号。因此,在选定的实施例中,传感器模型24的输出可以是对应的现实世界传感器将产生的信号的受约束的、数字版本。
模拟模块30可以被编程以使用虚拟驾驶环境26、车辆运动模型22、以及一个或多个传感器模型24以产生输出(例如,传感器数据12),该输出模拟一个或多个相应现实世界传感器输出的内容,该一个或多个现实世界传感器安装到在如(例如大致地或完全地匹配)虚拟驾驶环境26的实际驾驶环境中驾驶的车辆(例如通过车辆运动模型22模拟的车辆)。
参照图2,在选定的实施例中,虚拟驾驶环境26可包含限定在虚拟空间、驾驶表面34(例如,道路)、以及遍布驾驶表面34分布的各种异常28中的三维网格。虚拟驾驶环境26中的异常28可以模拟间歇地或不规则地影响现实世界中车辆运行的特征或目标。包括在虚拟驾驶环境26内的异常28可以是不同的类型。
例如,某些异常28a可以模拟典型地有意地包括在现实世界驾驶表面内的特征。这些异常28a可包括检修井和井盖、减速带、沟、涂到或以其他方式粘附到驾驶平面34上的线条或文字、路牌、交通灯、裂缝密封胶、铺路材料中的接缝、铺路材料的变化、以及类似物。其他异常28b可模拟驾驶平面34中的缺陷。这些异常28b可以包括坑洼、裂缝、冻涨、车辙、崎岖不平的表面、以及类似物。其他异常28C可模拟静止在驾驶平面34上的无生命体。这些异常28C可包括被压死的动物、分层轮胎胎面的碎片、垃圾、杂物、落下的植被、或类似物。
还有其他异常28d可以模拟有生命的物体。有生命的物体可以是现实世界中在相对短的时间内改变它们相对于驾驶平面34的位置的事物。有生命的物体的示例可以包括动物、行人、其它车辆、风滚草、或类似物。在选定的实施例中,模拟有生命的物体的异常28d可包括在无生命形式的虚拟驾驶环境26内。也就是说,它们可以在虚拟驾驶环境26内是固定的。或者,模拟有生命的物体的异常28d可以被包括在有生命形式的虚拟驾驶环境26内并且可以在该环境26内移动。这可以使得根据本发明的传感器数据12被用于开发、训练、或用于跟踪各种异常28的类似算法。
参照图3和4,通过一系列的计算,模拟模块30在限定或包括分别可以被一个或多个虚拟传感器36感测到的多个虚拟异常28的虚拟驾驶环境26(例如虚拟驾驶环境26的路面34)内可以有效地遍历一个或多个虚拟传感器36。在选定的实施例中,这可能包括在这样的遍历过程中相对于虚拟驾驶环境26操纵一个或多个虚拟传感器36的视点。更具体地,它可以包括在这样的遍历过程中如车辆运动模型22所指示的相对于虚拟驾驶环境26移动一个或多个虚拟传感器36中的每一个,虚拟运动模型22模拟行驶在虚拟驾驶环境26中同时承载一个或多个虚拟传感器36的对应虚拟车辆38的运动。
在选定的实施例中,为了适当地应对一个或多个虚拟传感器36的运动,模拟模块30可以考虑到三个坐标系。第一个可以是虚拟驾驶环境26内的全局、惯性的坐标系。第二个可以是由车辆运动模型22定义或者对应于车辆运动模型22的虚拟车辆38的不受干扰的坐标系。这可以是虚拟车辆38的可以被定义为具有平行于地平面(例如,估算的、虚拟的地平面)的“XY”平面的“不受干扰的”的版本的坐标系。第三个可以是车辆38的被干扰的坐标系。这可以是进行作为驾驶员诱导的(例如,由虚拟的转向、制动、加速、或类似物引起的)或者道路诱导的(例如,由虚拟驾驶环境26或其内某些虚拟异常28引起的)或者由于其他虚拟异常(例如,侧风或类似物)的侧倾、俯仰、起伏、和横摆运动的虚拟车辆38的坐标系。模拟模块30可以使用这些不同坐标系中的两个或更多来确定模拟过程期间哪个视野40或场景40属于哪个虚拟传感器36。
也就是说,在现实世界中,通过一个或多个传感器模型24模拟的传感器可以以车载的方式承载在相应车辆上。某些这样的传感器可以被固定到相应车辆的车身上并随之移动。因此,通过传感器如摄像机、激光扫描仪、超声设备、雷达或类似物观测的视野或场景可根据对应车辆相对于周围环境的方向而变化。例如,如果车辆通过颠簸路面,前视传感器(例如,监测车辆前方路面的安装在车辆上的摄像机、激光传感器、或类似物)可以根据车辆的当前运动状态以不同的角度记录或感测道路的相同部分。
为了模拟根据本发明的系统10的这种效果,模拟模块30在对应于虚拟车辆38(例如由车辆运动模型22模拟的车辆)的坐标系内将考虑到一个或多个虚拟传感器36的位置和方向(例如,由一个或多个相应传感器模型24模拟的传感器)。模拟模块30也将考虑这种基于车辆的坐标系如何以基于由虚拟驾驶环境26及类似物限定的虚拟的驾驶员输入、道路输入的车辆运动模型22预测的侧倾、俯仰、起伏、和横摆运动的形式分布。因此,在感兴趣的任何时间的模拟时刻,模拟模块30可以计算特定虚拟传感器36相对于虚拟驾驶环境26的位置和方向,并确定在虚拟驾驶环境26内在该时刻将由该特定虚拟传感器36感测到的视野40。
例如,在第一模拟时刻42,前视虚拟传感器36可以具有虚拟驾驶环境26的特定视野40a。在选定的实施例中,该视野40a可以被表征为具有相对于虚拟驾驶环境26的第一入射角度44a和在法线方向上与虚拟驾驶环境26的第一间隔46a。在示出的实施例中,这个特定视野40a包括一种特定的异常28,即坑洼。
然而,在第二、随后的模拟时刻48,虚拟车辆38由于与行驶通过先前查看的虚拟异常28(即坑洼)相关的模拟的效果可能已经向前俯仰50。因此,在第二时刻48,前视传感器36可以具有虚拟驾驶环境26的不同的视野40b。由于前向俯仰50,该视野40b可以表征为具有相对于虚拟驾驶环境26的第二、较小的入射角44b,以及在法线方向上与虚拟驾驶环境26的第二、较小的间隔46b。
参照图5和6,对于在时间上的第一模拟时刻,模拟模块30可确定虚拟驾驶环境26的视野40在该时刻将由特定虚拟传感器36来感测。模拟模块30然后可以从适当的传感器模型24获取表征该视野40的输出。该过程可重复用于在时间上的第二模拟时刻、在时间上的第三模拟时刻等等。因此,通过从在时间上的一个时刻前进到下一个,模拟模块30可以得到数据流52,该数据流模拟特定虚拟传感器36输出的内容,该特定模拟传感器36以及实际对应的虚拟驾驶环境26是真实的。
这个过程可以重复用于对应特定虚拟车辆38的所有虚拟传感器36。因此,对于特定的虚拟车辆38和被遍历的虚拟驾驶环境26,包含一个或多个数据流52的传感器数据12可以被产生。
在选定的实施例中,不同数据流52可表示不同虚拟传感器36的输出。例如,第一数据流52a可表示安装在虚拟车辆38的右前部的第一虚拟摄像机的数据,然而第二数据流52b可表示安装在虚拟车辆38的左前部的第二虚拟摄像机的输出。共同地,形成对于特定运行(例如,特定虚拟车辆38通过特定虚拟驾驶环境26的特定虚拟遍历)的传感器数据12的不同数据流52可表示或应对在现实世界中将使用的特定算法(即,正被开发或测试的算法)的所有输入。
在某些实施例或情况下,模拟模块30可将传感器数据12与一个或多个注解54结合。每个这种注释54可以提供对应于虚拟驾驶环境26的“地面实况”。在选定的实施例中,包含在一个或多个注释54中的地面实况可被用于量化在监督式学习技术中分类异常28时算法的性能。
例如,一个或多个注释54可提供对应于特定运行中虚拟车辆38遇到的不同异常28的真实位置56、真实尺寸58、其他信息60、或类似物或它们的组合。注释54可被链接于、结合于、或以其他方式关联于数据流52的特定部分。因此,对应于特定异常28的地面实况可被链接于一个或多个数据流54的反映该异常28的一个或多个虚拟传感器36的感知的部分。在选定的实施例中,这可以通过将不同异常54a、54b链接于一个或多个数据流52的不同部分实现。
参照图7,根据本发明,系统10可支持、启用、或执行过程62。在选定的实施例中,这个过程62可开始于生成包括不同异常28的虚拟驾驶环境26。该虚拟驾驶环境26然后可在模拟过程中通过一个或多个虚拟传感器36被遍历66。
当虚拟驾驶环境26通过一个或多个虚拟传感器36被遍历66时,一个或多个虚拟传感器36到虚拟驾驶环境26的视点(POV)可以如车辆运动模型22所指示的被操纵68。相应地,对应于在时间上不同的模拟时刻的一个或多个虚拟传感器36的各种视野40可以得到70或识别70。如此获得70的或识别70的各种视野40可以由或经由对应的传感器模型24分析,以获得72反映在现实世界中用于观看不同视野40的对应的实际传感器将会产生或输出的内容的数据12。在选定的实施例中,该数据12可以以地面实况信息来注解74以支持或启用某些监督式学习技术。
图7中的流程图说明了根据本发明的一实施例的系统、方法、和计算机程序产品的可能实施方式的架构、功能和操作。在这方面,流程图中的每一框可以表示代码的模块、段或部分,该代码包括用于实现指定的逻辑功能(多个)的一个或多个可执行指令。还应当指出的是,流程图图示的每一框、以及流程图图示中框的组合,可以由执行指定功能或动作的基于专用硬件的系统、或专用硬件和计算机指令的组合来实现。
还应当指出的是,在一些替代实施例中,框中所示的功能可以以附图所示的顺序以外的顺序发生。在某些实施例中,连续示出的两个框可以,实际上可以基本上同时执行,或者这些框有时可以以相反的顺序执行,这取决于所涉及的功能。可替代地,如果没有必要,可以省略某些步骤或功能。
本发明可以体现在其它具体形式而不背离其精神或本质特征。所描述的实施例在所有方面都被认为仅是说明性的,而不是限制性的。本发明的范围,因此,由所附权利要求指示,而不是由前面的描述。其中的含义和权利要求的等效的范围内的所有变化都包括在其范围之内。

Claims (20)

1.一种方法,包含:
在模拟中通过计算机系统来遍历虚拟路面上的一个或多个虚拟传感器;
在所述遍历期间通过所述计算机系统来操纵所述一个或多个虚拟传感器相对于所述虚拟路面的视点;以及
通过所述计算机系统来记录表征所述虚拟路面的数据,所述数据对应于在所述遍历期间由所述一个或多个虚拟传感器输出的信号。
2.根据权利要求1所述的方法,其中所述虚拟路面包含贯穿其分布的多个虚拟异常,所述多个虚拟异常的每个虚拟异常限定由所述一个或多个虚拟传感器可感测的结构。
3.根据权利要求2所述的方法,其中所述操纵包含改变所述一个或多个虚拟传感器相对于所述虚拟路面的入射角。
4.根据权利要求3所述的方法,其中所述操纵进一步包含改变所述虚拟路面和所述一个或多个虚拟传感器之间在法线方向上的间隔。
5.根据权利要求4所述的方法,其中所述操纵进一步包含如模拟承载所述一个或多个虚拟传感器并且行驶在所述虚拟路面上的车辆的运动的车辆运动模型所指示的相对于所述虚拟路面移动所述一个或多个虚拟传感器中的每一个。
6.根据权利要求5所述的方法,其中所述一个或多个虚拟传感器包含定位以感测所述车辆前面的所述虚拟路面的一部分的前视传感器。
7.根据权利要求6所述的方法,其中所述数据包含表征如所述一个或多个虚拟传感器感知到的所述虚拟路面的第一部分的第一数据。
8.根据权利要求7所述的方法,其中所述数据进一步包含表征如实际上限定在所述虚拟路面上的所述虚拟路面的所述第一部分的注释。
9.根据权利要求8所述的方法,其中所述虚拟路面的所述第一部分包含所述多个虚拟异常的第一虚拟异常。
10.根据权利要求9所述的方法,其中所述第二数据包含限定所述第一虚拟异常的位置和大小的信息。
11.一种生成训练数据的方法,所述方法包含:
通过计算机系统执行包含以下的模拟
遍历虚拟路面上的一个或多个虚拟传感器,所述虚拟路面限定各自可被所述一个或多个虚拟传感器感测的多个虚拟异常,以及
在所述遍历期间如模拟行驶在所述虚拟路面上并且承载所述一个或多个虚拟传感器的车辆的运动的车辆运动模型所指示的相对于所述虚拟路面移动所述一个或多个虚拟传感器中的每一个;以及
通过所述计算机系统来记录表征所述虚拟路面的数据,所述数据对应于在所述遍历期间由所述一个或多个虚拟传感器输出的信号。
12.根据权利要求11所述的方法,其中所述操纵包含:
改变所述一个或多个虚拟传感器相对于所述虚拟路面的入射角;以及
改变所述虚拟路面和所述一个或多个虚拟传感器之间在法线方向上的间隔。
13.根据权利要求12所述的方法,其中所述一个或多个虚拟传感器包含定位以感测所述车辆前面的所述虚拟路面的一部分的前视传感器。
14.根据权利要求13所述的方法,其中所述数据包含:
表征如所述一个或多个虚拟传感器感知到的所述虚拟路面的第一部分的第一数据;以及
表征如实际上限定在所述虚拟路面上的所述虚拟路面的所述第一部分的注释。
15.根据权利要求14所述的方法,其中:
所述虚拟路面的所述第一部分包含所述多个虚拟异常的第一虚拟异常;以及
所述注释包含限定所述第一虚拟异常的位置和大小的信息。
16.一种计算机系统,包含:
一个或多个处理器;
存储器,所述存储器可操作地连接到所述一个或多个处理器;以及
所述存储器存储
虚拟驾驶环境,所述虚拟驾驶环境被编程以包括多个虚拟异常,
第一软件模型,所述第一软件模型被编程以模拟传感器,
第二软件模型,所述第二软件模型被编程以模拟车辆,以及
模拟模块,所述模拟模块被编程以使用所述虚拟驾驶环境、所述第一软件模型、以及所述第二软件模型来产生用于模拟所述传感器将会输出的内容的输出,所述传感器已安装到所述车辆并且所述车辆已行驶在与所述虚拟驾驶环境匹配的实际驾驶环境中。
17.根据权利要求16所述的计算机系统,其中所述传感器包含定位以感测所述车辆前面的区域的前视传感器。
18.根据权利要求17所述的计算机系统,其中所述存储器进一步存储所述输出。
19.根据权利要求18所述的计算机系统,其中所述输出包含表征如所述第一软件模型感知到的所述虚拟驾驶环境的第一部分的第一数据。
20.根据权利要求19所述的计算机系统,其中:
所述输出进一步包含表征如实际上限定在所述虚拟驾驶环境中的所述虚拟驾驶环境的所述第一部分的注释;
所述虚拟路面的所述第一部分包含所述多个虚拟异常的第一虚拟异常;以及
所述注释包含限定所述第一虚拟异常的位置和大小的信息。
CN201610811949.9A 2015-09-11 2016-09-09 虚拟驾驶环境中传感器数据生成 Pending CN106529392A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/852,238 US10229231B2 (en) 2015-09-11 2015-09-11 Sensor-data generation in virtual driving environment
US14/852,238 2015-09-11

Publications (1)

Publication Number Publication Date
CN106529392A true CN106529392A (zh) 2017-03-22

Family

ID=57234688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610811949.9A Pending CN106529392A (zh) 2015-09-11 2016-09-09 虚拟驾驶环境中传感器数据生成

Country Status (4)

Country Link
US (1) US10229231B2 (zh)
CN (1) CN106529392A (zh)
GB (1) GB2543155A (zh)
MX (1) MX2016011788A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958233A (zh) * 2017-05-18 2018-12-07 北京图森未来科技有限公司 一种感知模拟方法和装置
CN111771170A (zh) * 2018-03-01 2020-10-13 西门子股份公司 用于感知系统的自动配置系统、用于运行自动配置系统的方法、具有感知系统的自主系统以及计算机程序产品
CN112470105A (zh) * 2018-07-25 2021-03-09 奥迪股份公司 评估在机动车中呈现的虚拟内容的方法以及系统
CN113156911A (zh) * 2020-01-22 2021-07-23 重庆金康新能源汽车有限公司 用于自动驾驶汽车规划和控制测试的组合的虚拟和现实环境

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US10432650B2 (en) * 2016-03-31 2019-10-01 Stuart Staniford System and method to protect a webserver against application exploits and attacks
US10304335B2 (en) 2016-04-12 2019-05-28 Ford Global Technologies, Llc Detecting available parking spaces
US11210436B2 (en) * 2016-07-07 2021-12-28 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US20180025640A1 (en) * 2016-07-19 2018-01-25 Ford Global Technologies, Llc Using Virtual Data To Test And Train Parking Space Detection Systems
US10489529B2 (en) 2016-10-14 2019-11-26 Zoox, Inc. Scenario description language
US10228693B2 (en) * 2017-01-13 2019-03-12 Ford Global Technologies, Llc Generating simulated sensor data for training and validation of detection models
US10803323B2 (en) * 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US10831202B1 (en) 2017-09-01 2020-11-10 Zoox, Inc. Onboard use of scenario description language
CN108182842A (zh) * 2017-12-01 2018-06-19 苏州市易柯露环保科技有限公司 一种环卫机械化模拟仿真设备
CN113366545A (zh) * 2018-12-06 2021-09-07 日本电气株式会社 道路监视系统、道路监视设备、道路监视方法和非暂时性计算机可读介质
JP7243392B2 (ja) * 2019-03-29 2023-03-22 マツダ株式会社 車両走行制御装置
US11529886B2 (en) 2019-07-23 2022-12-20 Ford Global Technologies, Llc Power supply during vehicle off state
US11391257B2 (en) * 2019-07-23 2022-07-19 Ford Global Technologies, Llc Power supply during vehicle startup
CN110955976B (zh) * 2019-11-29 2021-08-27 安徽江淮汽车集团股份有限公司 Adas虚拟仿真验证方法及系统
CN111190403A (zh) * 2020-03-14 2020-05-22 吉林大学 智能网联汽车自动驾驶系统路面坑洞识别检验装置
CN114283649B (zh) * 2022-01-14 2023-10-27 成都运达科技股份有限公司 列车巡检仿真培训系统和方法及培训设备和使用方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070149184A1 (en) * 2005-10-14 2007-06-28 Viegers Arthur T System and method for real-time management of mobile resources
US20090087029A1 (en) * 2007-08-22 2009-04-02 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
CN101568946A (zh) * 2006-12-04 2009-10-28 富士通株式会社 驾驶模拟评价方法、驾驶模拟评价装置以及计算机程序
CN102073278A (zh) * 2009-11-20 2011-05-25 上海通用汽车有限公司 基于虚拟车辆及虚拟部件的ecm标定及验证系统
US8417490B1 (en) * 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
CN104554263A (zh) * 2013-10-17 2015-04-29 福特全球技术公司 以距离数据为参考的机动车速度调节方法
CN104703854A (zh) * 2012-10-01 2015-06-10 日立汽车系统株式会社 车辆的运动控制装置
US20150206431A1 (en) * 2014-01-23 2015-07-23 Etri - Jim - Electronics And Telecommunications Research Institute Apparatus and method for providing safe driving information
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880362A (en) 1995-09-06 1999-03-09 Engineering Technology Associates, Inc. Method and system for simulating vehicle and roadway interaction
JP4259398B2 (ja) 2004-05-27 2009-04-30 日産自動車株式会社 車両走行制御システムの悪路走行シミュレーション装置、および、車両走行制御システム作動感度評価装置
US7363805B2 (en) 2005-09-30 2008-04-29 Ford Motor Company System for virtual prediction of road loads
CN101780321B (zh) * 2009-12-30 2012-01-25 永春至善体育用品有限公司 一种高临场感的运动健身器材虚拟实景的制作方法以及基于该虚拟实景的互动系统和方法
US8458188B2 (en) 2010-02-17 2013-06-04 Lockheed Martin Corporation Voxel approach to terrain repositories for modeling and simulation
US8862346B2 (en) 2012-03-20 2014-10-14 Eaton Corporation System and method for simulating the performance of a virtual vehicle
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
AT512717B1 (de) 2013-07-26 2015-02-15 Avl List Gmbh Verfahren zur Durchführung eines Prüflaufs auf einem Prüfstand
US9335764B2 (en) * 2014-05-27 2016-05-10 Recreational Drone Event Systems, Llc Virtual and augmented reality cockpit and operational control systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070149184A1 (en) * 2005-10-14 2007-06-28 Viegers Arthur T System and method for real-time management of mobile resources
CN101568946A (zh) * 2006-12-04 2009-10-28 富士通株式会社 驾驶模拟评价方法、驾驶模拟评价装置以及计算机程序
US20090087029A1 (en) * 2007-08-22 2009-04-02 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8417490B1 (en) * 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
CN102073278A (zh) * 2009-11-20 2011-05-25 上海通用汽车有限公司 基于虚拟车辆及虚拟部件的ecm标定及验证系统
CN104703854A (zh) * 2012-10-01 2015-06-10 日立汽车系统株式会社 车辆的运动控制装置
CN104554263A (zh) * 2013-10-17 2015-04-29 福特全球技术公司 以距离数据为参考的机动车速度调节方法
US20150206431A1 (en) * 2014-01-23 2015-07-23 Etri - Jim - Electronics And Telecommunications Research Institute Apparatus and method for providing safe driving information
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BEOMJUN KIM等: "Probabilistic states prediction algorithm using multi-sensor fusion and application to Smart Cruise Control systems", 《2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958233A (zh) * 2017-05-18 2018-12-07 北京图森未来科技有限公司 一种感知模拟方法和装置
CN108958233B (zh) * 2017-05-18 2021-09-03 北京图森未来科技有限公司 一种感知模拟方法和装置
CN111771170A (zh) * 2018-03-01 2020-10-13 西门子股份公司 用于感知系统的自动配置系统、用于运行自动配置系统的方法、具有感知系统的自主系统以及计算机程序产品
CN111771170B (zh) * 2018-03-01 2024-04-26 西门子股份公司 用于感知系统的自动配置系统及其运行方法和相应的装置
CN112470105A (zh) * 2018-07-25 2021-03-09 奥迪股份公司 评估在机动车中呈现的虚拟内容的方法以及系统
CN112470105B (zh) * 2018-07-25 2024-05-28 奥迪股份公司 评估在机动车中呈现的虚拟内容的方法以及系统
CN113156911A (zh) * 2020-01-22 2021-07-23 重庆金康新能源汽车有限公司 用于自动驾驶汽车规划和控制测试的组合的虚拟和现实环境

Also Published As

Publication number Publication date
MX2016011788A (es) 2017-05-09
GB2543155A (en) 2017-04-12
US10229231B2 (en) 2019-03-12
US20170076019A1 (en) 2017-03-16
GB201615336D0 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106529392A (zh) 虚拟驾驶环境中传感器数据生成
CN106547588A (zh) 虚拟的路面感知测试平台
US10453256B2 (en) Lane boundary detection data generation in virtual environment
CN109774724B (zh) 用于在多种驾驶场景和条件下评估驾驶性能的方法和设备
US11521009B2 (en) Automatically generating training data for a lidar using simulated vehicles in virtual space
US20190043278A1 (en) Test drive scenario system for virtual test drive scenarios
US10521677B2 (en) Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
US20170109458A1 (en) Testbed for lane boundary detection in virtual driving environment
CN110103983A (zh) 用于端对端自主车辆验证的系统和方法
Zofka et al. Data-driven simulation and parametrization of traffic scenarios for the development of advanced driver assistance systems
US11210436B2 (en) Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions
CN109726480A (zh) 一种用于验证无人矿卡相关算法的系统
Reway et al. Test method for measuring the simulation-to-reality gap of camera-based object detection algorithms for autonomous driving
WO2022023199A1 (en) 3d multi-object simulation
JP4841903B2 (ja) ドライビングシミュレータ
JP2008203913A (ja) 交通流シミュレーション装置
CN110501167A (zh) 用于执行机动车辆与非机动车道路使用者的模拟碰撞场景的系统
US20240094090A1 (en) Vehicle trajectory assessment
Wang et al. Enhancing Urban AEB Systems: Simulation-Based Analysis of Error Tolerance in Distance Estimation and Road-Tire Friction Coefficients
KR20240024737A (ko) 주행 관련 증강 가상 필드
CN116755954A (zh) 基于数字孪生虚实结合的自动驾驶测试系统及其测试方法
Santiago-Chaparro Detailed Analysis of Roadway Users Interactions at Intersections with

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170322

WD01 Invention patent application deemed withdrawn after publication