CN111506980B - 对虚拟驾驶环境生成交通场景的方法及装置 - Google Patents

对虚拟驾驶环境生成交通场景的方法及装置 Download PDF

Info

Publication number
CN111506980B
CN111506980B CN202010077029.5A CN202010077029A CN111506980B CN 111506980 B CN111506980 B CN 111506980B CN 202010077029 A CN202010077029 A CN 202010077029A CN 111506980 B CN111506980 B CN 111506980B
Authority
CN
China
Prior art keywords
traffic
driving
scene
data
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010077029.5A
Other languages
English (en)
Other versions
CN111506980A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕熏
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111506980A publication Critical patent/CN111506980A/zh
Application granted granted Critical
Publication of CN111506980B publication Critical patent/CN111506980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Traffic Control Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及用于生成虚拟驾驶环境中的交通场景的方法，交通场景生成装置执行的方法包括：步骤(a)，在获取利用之前交通数据及详细交通数据而生成的驾驶数据的状态下，通过向情况分析器输入上述驾驶数据来抽取驾驶环境信息，通过向车辆信息抽取器输入上述驾驶数据来抽取对于自主车辆的车辆状态信息，从而生成基于驾驶序列的顺序性交通日志，上述之前交通数据与通过基于影像的高级驾驶辅助系统来从现有驾驶影像抽取的离散交通数据相对应，上述详细交通数据与从在实际驾驶环境中驾驶的数据收集车辆的传感器收集的顺序性交通数据相对应；以及步骤(b)，通过向场景增强网络输入上述顺序性交通日志。

Description

对虚拟驾驶环境生成交通场景的方法及装置
技术领域
本发明涉及以自动驾驶车辆的学习为目的的虚拟驾驶环境，更详细地，涉及为使上述自动驾驶车辆进行学习、测试及检验而生成虚拟驾驶环境中的交通场景的方法及装置。
背景技术
现今的车辆逐渐配更多的驾驶辅助系统，尤其，汽车可配备自动驾驶、盲点监测器、自动泊车、自动导航等的辅助驾驶系统。但是，测试或检验自动驾驶及自动辅助系统非常复杂，有可能需要长时间的道路驾驶测试(例如，几百万个小时和几百万英里)。自动驾驶及驾驶辅助系统的更新需进行重新检验，还考虑到需根据车辆种类单独进行检验，因而测试及检验所需的时间和精力将成倍增加。
并且，充分确保用于使自动驾驶汽车的自动驾驶系统及驾驶辅助系统进行学习的学习数据方面也存在困难。
因此，提出了在对实际驾驶情况虚拟化的虚拟驾驶环境中驾驶的自动驾驶汽车的自动驾驶系统及使驾驶辅助系统进行学习、测试及检验的方法。
为了在虚拟驾驶环境中运行自动驾驶汽车的自动驾驶系统以及使驾驶辅助系统进行学习、测试及检验，需在虚拟驾驶环境中提供与周边信息相关的场景。
但是，在现有的虚拟驾驶环境中，仅提供与特定交通情况相关的场景，因而存在无法提供实际驾驶环境般的多种多样、精致的场景的问题。
发明内容
本发明的一目的在于，使如上所述的问题全部得到解决。
本发明的再一目的在于，能够在虚拟驾驶环境中生成实际驾驶环境般的多种多样、精致的场景。
本发明的另一目的在于，可通过数据增强来在虚拟驾驶环境生成多种多样、精致的交通场景。
用于实现如上所述的本发明的目的并实现后述的本发明的特征效果的本发明的特征结构如下。
根据本发明的一实施方式，本发明提供一种方法，生成至少一个虚拟驾驶环境中的至少一个交通场景，其特征在于，包括：步骤(a)，在获取参照之前交通数据和详细交通数据而生成的驾驶数据的状态下，交通场景生成装置执行如下的流程，即，通过向情况分析器输入上述驾驶数据来使上述情况分析器从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器输入上述驾驶数据来使上述车辆信息抽取器从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程，参照上述驾驶环境信息和上述车辆状态信息来生成包含上述驾驶事件的基于驾驶序列的顺序性交通日志的流程，上述之前交通数据为与通过基于影像的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的离散交通数据相对应的元数据，上述详细交通数据为与从在实际驾驶环境中驾驶的一个以上的数据收集车辆的一个以上的传感器收集的顺序性交通数据相对应的元数据；以及步骤(b)，上述交通场景生成装置通过向场景增强网络输入上述顺序性交通日志，来使上述场景增强网络将至少一个关键事件利用成至少一个条件，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行如下的流程，即，生成上述交通场景的流程，参照预设的参照交通信息来检验上述交通场景的流程，在确定为上述交通场景有效的情况下将上述交通场景映射到虚拟驾驶环境的交通模拟器的流程。
在一实施例中，在包括长短时记忆(LSTM，long short-term memory)的生成器将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器的状态的情况下，上述交通场景生成装置使上述场景增强网络通过上述生成器来将预测交通日志生成为与之相对应的之后动作，由此通过上述生成器生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。
在一实施例中，上述交通场景生成装置执行如下的流程：以使辨别器对上述顺序性交通日志与上述预测交通日志之间进行区分的方式使上述辨别器进行学习；以及通过策略梯度(policy gradient)来使上述生成器的至少一个参数达到最佳化，上述策略梯度利用参照上述顺序性交通日志、上述预测交通日志及上述条件来生成的上述辨别器的至少一个奖励(reward)。
在一实施例中，在上述步骤(b)中，若确定为上述交通场景无效，则上述交通场景生成装置参照进行检验的上述流程来变更上述条件，由此生成至少一个变更后的条件，通过使上述场景增强网络利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。
在一实施例中，上述交通场景生成装置从顺序性数据抽取上述关键事件，或从关键事件数据库抽取上述关键事件。
在一实施例中，上述顺序性交通日志分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹及交通信号变化信息。
在一实施例中，上述基于影像的高级驾驶辅助系统执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别(TSR，Traffic-sign Recognition)、车道检测、车道线检测、碰撞时间(TTC，time-to-collision)预测以及相对速度预测中的至少一个。
在一实施例中，上述车辆状态信息包含上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置及上述自主车辆的制动器状态中的至少一个。
根据本发明的另一实施方式，本发明提供一种交通场景生成装置，用于生成至少一个虚拟驾驶环境中的至少一个交通场景，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，运行用于执行流程(I)及流程(II)的上述指令，在上述流程(I)中，在获取参照之前交通数据和详细交通数据而生成的驾驶数据的状态下，通过向情况分析器输入上述驾驶数据来使上述情况分析器从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器输入上述驾驶数据来使上述车辆信息抽取器从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程，参照上述驾驶环境信息和上述车辆状态信息来生成包含上述驾驶事件的基于驾驶序列的顺序性交通日志的流程，上述之前交通数据为与通过基于影像的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的离散交通数据相对应的元数据，上述详细交通数据为与从在实际驾驶环境中驾驶的一个以上的数据收集车辆的一个以上的传感器收集的顺序性交通数据相对应的元数据，在上述流程(II)中，通过向场景增强网络输入上述顺序性交通日志，来使上述场景增强网络将至少一个关键事件利用成至少一个条件，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行如下的流程，即，生成上述交通场景的流程，参照预设的参照交通信息来检验上述交通场景的流程，在确定为上述交通场景有效的情况下将上述交通场景映射到虚拟驾驶环境的交通模拟器的流程。
在一实施例中，在包括长短时记忆的生成器将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器的状态的情况下，上述处理器使上述场景增强网络通过上述生成器来将预测交通日志生成为与之相对应的之后动作，由此通过上述生成器生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。
在一实施例中，上述处理器执行如下的流程：以使辨别器对上述顺序性交通日志与上述预测交通日志之间进行区分的方式使上述辨别器进行学习；以及通过策略梯度来使上述生成器的至少一个参数达到最佳化，上述策略梯度利用参照上述顺序性交通日志、上述预测交通日志及上述条件来生成的上述辨别器的至少一个奖励。
在一实施例中，在上述流程(II)中，若确定为上述交通场景无效，则上述处理器参照进行检验的上述流程来变更上述条件，由此生成至少一个变更后的条件，通过使上述场景增强网络利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。
在一实施例中，上述处理器从顺序性数据抽取上述关键事件，或从关键事件数据库抽取上述关键事件。
在一实施例中，上述顺序性交通日志分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹及交通信号变化信息。
在一实施例中，上述基于影像的高级驾驶辅助系统执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别、车道检测、车道线检测、碰撞时间预测以及相对速度预测中的至少一个。
在一实施例中，上述车辆状态信息包含上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置及上述自主车辆的制动器状态中的至少一个。
除此之外，还提供可对用于实施本发明的方法的计算机程序进行记录的计算机可读记录介质。
本发明具有如下的效果，可基于实际驾驶数据来生成虚拟驾驶环境中的精致的交通场景。
并且，本发明具有如下的效果，可通过对特定交通情况的离散数据及顺序性数据进行增强，来在虚拟驾驶环境中生成多种交通场景。
附图说明
为了在对本发明的实施例进行说明的过程中得到使用，附图中所示的内容仅属于本发明的多个实施例中的一部分，对于本发明所属技术领域的普通技术人员(以下称为“普通技术人员”)而言，可在不进行发明性作业的情况下，基于这些附图来得到其他附图。
图1为简要示出本发明一实施例的用于生成虚拟驾驶环境中的至少一个交通场景的交通场景生成装置的图。
图2为简要示出本发明一实施例的用于生成上述虚拟驾驶环境中的上述交通场景的场景生成方法的图。
图3为简要示出在本发明一实施例的用于生成上述虚拟驾驶环境中的上述交通场景的上述方法中增加至少一个条件的流程的图。
图4及图5为简要示出在本发明一实施例的用于生成上述虚拟驾驶环境中的上述交通场景的上述方法中学习场景增强网络的流程的图。
具体实施方式
后述的对于本发明的详细说明将参照将可实施本发明的特定实施例作为例示来示出的附图，以明确本发明的多个目的、多个技术方案及多个优点。将以可使普通技术人员充分实施本发明的方式详细说明这些实施例。
并且，在本发明的详细说明及权利要求范围中，术语“包括”及其变形形态并不意味着排除其他多个技术特征、多个附加物、多个结构要素或多个步骤。普通技术人员可从本说明书理解本发明的其他多个目的、多个优点及多个特性中的一部分，并可从本发明的实施过程中理解一部分。以下的例示及附图将作为实例来提供，并不用于限定本发明。
尤其，本发明包括本说明书中提出的多个实施例的所有可行的组合。本发明的多种实施例虽然互不相同，但不能理解为互相排斥。例如，在本说明书中记载的特定形状、结构及特性可在不脱离本发明的思想及范围的情况下可从一实施例替换为其他实施例。并且，应理解为，所公开的各个实施例中的单个结构要素的位置或配置可在不脱离本发明的思想及范围的情况下得到变更。因此，后述的详细说明并不局限于限定性的含义，只要适当说明，包括与发明要求保护范围所主张的范围等同的所有范围在内，本发明的范围仅限定于发明要求保护范围。附图中的相似的附图标记在多个层面表示相同或相似的功能。
本发明中所提及的各种图像可包括与柏油马路或非柏油马路相关的图像，在此情况下，可包括在道路环境中出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机等的飞行器、其他障碍物)，但并不一定限定于此，在本发明中涉及的各种图像还可以是与道路无关的图像(例如，非柏油马路、小胡同、空地、海、湖、江、山、树丛、沙漠、天空、与室内相关的图像)，在此情况下，可包括在非柏油马路、小胡同、空地、海、湖、江、山、树丛、沙漠、天空、与室内相关的环境中出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机等的飞行器、其他障碍物)，但并不限定于此。
本说明书中提供的本发明的标题及摘要用于提供便利，并不限定实施例的范围或解释实施例的含义。
以下，为使本发明所属技术领域的普通技术人员轻松实施本发明，将参照附图详细说明本发明的优选实施例。
图1为简要示出本发明一实施例的用于生成虚拟驾驶环境中的至少一个交通场景的交通场景生成装置的图。参照图1，上述交通场景生成装置100可包括：存储器110，存储用于生成上述虚拟驾驶环境中的上述交通场景所需的指令；以及处理器120，执行以与存储于上述存储器110的上述指令相对应的方式生成虚拟驾驶环境中的上述交通场景的流程。
具体地，上述交通场景生成装置100可以为典型的利用计算装置(例如，计算机处理器、存储器、存储装置、输入装置、输出装置或可包括其他现有计算结构要素的装置；路由器、开关等的电子通信装置；网络附属存储(NAS)及存储区域网络(SAN)等的电子信息存储系统)和计算机软件(即，使上述计算装置以特定方式起到功能的指令)的组合实现所需系统性能的。
上述计算装置的上述处理器可包括(MPU，Micro Processing Unit)或(CPU，Central Processing Unit)、高速缓冲存储器(Cache Memory)、数据母线(Data Bus)等。或者，上述计算装置还可包括操作系统及实现特定目的应用程序的软件结构。
但是，并不排除上述计算装置100包括用于实施本发明的媒体(medium)、处理器、存储器或整合其他计算结构要素的综合处理器的情况。
参照图2，如下说明利用以如上所的方式构成的本发明一实施例的交通场景生成装置100来生成上述虚拟驾驶环境中的上述交通场景的方法。
首先，上述交通场景生成装置100可获取之前交通数据和详细交通数据，或能够以使其他装置获取之前交通数据和详细交通数据的方式提供支持。
在此情况下，上述之前交通数据可以为车辆事故等的很难从实际驾驶环境中获取的数据，可以为利用当前的基于计算机影像技术的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的元数据。另一方面，上述高级驾驶辅助系统可执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别、车道检测、车道线检测、碰撞时间预测以及相对速度预测中的至少一个。
而且，上述详细交通数据可以为通过在实际驾驶环境中行驶的车辆的一个以上的传感器收集的元数据，一个以上的传感器例如有激光雷达(LiDAR)、雷达(Radar)、摄像头、全球定位系统(GPS)装置等。
另一方面，上述之前交通数据可以为离散交通数据，上述详细交通数据可以为顺序性交通数据。
接着，上述交通场景生成装置100可通过参照上述之前交通数据及上述详细交通数据来获取驾驶数据。作为一例，上述驾驶数据可以为从与上述车辆的输入传感器相对应的上述全球定位系统装置、上述激光雷达、上述雷达、上述摄像头等获取的信息，可以为与上述车辆相关的上述驾驶数据。
而且，上述交通场景生成装置100可执行如下的流程，即，通过向情况分析器130输入上述驾驶数据来使上述情况分析器130从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器140输入上述驾驶数据来使上述车辆信息抽取器140从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程。在此情况下，如普通技术人员周知，上述自主车辆可意味着对象车辆，例如，可意味着在本发明的上述虚拟驾驶环境中行驶的车辆。
作为一例，上述情况分析器130可从上述驾驶数据获取对象检测信息、距离预测信息、交通标志识别信息、车道检测信息、车道线检测信息、碰撞时间预测信息、相对速度预测信息等中的至少一部分。
并且，上述车辆信息抽取器140可抽取上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置、上述自主车辆的制动器状态等中的至少一个。
接着，上述交通场景生成装置100可通过参照由上述情况分析器130提供的上述驾驶环境信息和由上述车辆信息抽取器140提供的上述车辆状态信息来生成包括上述驾驶事件的基于驾驶序列的顺序性交通日志。
作为一例，上述交通场景生成装置100可通过将借助上述情况分析器130获取的上述驾驶环境信息映射到借助上述车辆信息抽取器140获取的上述车辆状态信息来生成图像框架。在此情况下，上述图像框架可以为离散数据及顺序性数据，这可以为驶入隧道或桥梁事件、车道变更事件、驶出隧道或桥梁事件等的特定事件发生前后的上述驾驶数据。
而且，上述交通场景生成装置100可通过对上述离散数据及顺序性数据中所包括的上述驾驶事件进行后处理(post-processing)来生成作为离散性、顺序性二次加工数据的一个以上的顺序性交通日志。
在此情况下，上述顺序性交通日志可分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹、交通信号变化信息等。
之后，上述交通场景生成装置100可将上述顺序性交通日志变换为顺序性元数据。
即，上述交通场景生成装置100可通过使至少一个顺序性元转换器对包含在上述顺序性交通日志的借助上述情况分析器130及上述车辆信息抽取器140抽取的数据进行编码，来使至少一个交通模拟器识别所编码的上述数据。
接着，上述交通场景生成装置100通过向场景增强网络150输入上述顺序性交通日志，来使上述场景增强网络150将至少一个关键事件利用成至少一个条件，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行生成上述交通场景的流程。
作为一例，可在包括长短时记忆的生成器151将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器151的状态的情况下，上述场景增强网络150通过上述生成器151来将一个以上的预测交通日志生成为与之相对应的之后动作，由此通过上述生成器151生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。
参照图3，上述场景增强网络150可通过向上述生成器151输入至少一个隐藏代码z(latent code)和至少一个关键事件y，来使上述生成器151生成与上述初始交通日志相对应的上述预测交通日志，以使上述预测交通日志与上述驾驶环境内的上述关键事件相对应。
在此情况下，也可从顺序性数据抽取上述关键事件，或者还可从存储多种关键事件的关键事件数据库160检索特定关键事件。
作为一例，上述关键事件可以为紧急情况下的急停、岔路口上的交通信号变化等的驾驶事件中的特定驾驶事件，可设定信号灯在上述岔路口由绿灯变为红灯等多种条件，根据这种关键事件及上述多种条件，上述生成器151可生成如同上述实际驾驶情况般的多种交通场景。
另一方面，上述场景增强网络150可形成如下的结构，即，通过使生成上述交通场景的上述生成器151和对上述交通场景进行评价的辨别器152互相并列配置、进行竞争学习，来使上述生成器生成能够达到蒙蔽上述辨别器的水平的精致数据。
上述场景增强网络150可通过利用作为基于策略的强化学习算法的策略梯度来使上述生成器151进行学习，上述策略梯度因由至少一个状态和至少一个动作构成而便于进行上述离散数据建模，可基于奖励来部分获取随机策略(stochastic policy)。并且，可在策略梯度算法中利用蒙特卡洛梯度策略强化算法(Monte Carlo policy gradient)。在此情况下，上述蒙特卡洛策略梯度可以为利用(i)转出(roll-out)策略及(ii)蒙特卡洛树搜索(MCTS，Monte Carlo Tree Search)来生成上述随机策略的学习方法，上述转出策略为可从当前状态预测之后状态的网络中的一个，上述蒙特卡洛树搜索为飞地毯式(non-exhaustive)搜索算法中的一个。作为一例，上述状态可设定为令牌(token)，上述动作可设定为赋予之后令牌的动作，可将上述生成器151设定为代理(agent)。通过上述辨别器152确定的标签可建模成上述奖励，从而可使上述生成器151进行学习。在此情况下，上述生成器151可在循环神经网络(RNN，Recurrent Neural Network)内利用没有梯度消失(vanishinggradient)问题的至少一个长短时记忆，上述辨别器152可利用卷积神经网络(CNN)。
即，参照图4及图5，上述场景增强网络150可通过向上述辨别器152输入由上述生成器151生成的上述预测交通日志及上述顺序性交通日志来使上述辨别器152确定其输入数据是真实数据还是虚假数据，利用上述辨别器152的一个以上的输出来使上述辨别器152进行学习，从而使上述辨别器152区分上述顺序性交通日志和上述预测交通日志。
并且，在使上述辨别器152进行学习之后，在包括上述长短时记忆的上述生成器151将上述顺序性交通日志中的上述初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器151的状态的情况下，上述场景增强网络150通过上述生成器151来将上述预测交通日志生成为与之相对应的之后动作，通过向上述辨别器152输入上述顺序性交通日志、上述预测交通日志及上述条件，来使上述辨别器152输出用于对上述预测交通日志是否以与上述顺序性交通日志及上述条件符合的方式生成进行表示的至少一个奖励。而且，上述场景增强网络150可通过参照利用上述奖励的上述策略梯度来使上述生成器151进行学习。
接着，上述交通场景生成装置100可执行参照预设的参照交通信息来检验上述交通场景的流程。
在此情况下，上述交通场景生成装置100可通过对最低限度的预设的交通规则信息和上述交通场景进行比较来确定上述交通场景是否有效。作为一例，若上述交通场景包括高速公路驶入事件以及提出上述交通场景内的所有事件在上述高速公路上的驾驶过程中产生并参照交通法规数据库，则在上述高速公路上存在违反交通信号的上述交通规则信息的情况下，与上述交通信号有关的事件为无效的。
而且，若确定为所生成的上述交通场景有效，则上述交通场景生成装置100可将上述交通场景映射到上述虚拟驾驶环境的上述交通模拟器。
另一方面，若确定为上述交通场景无效，则上述交通场景生成装置100执行如下的流程，即，通过参照如上所述的检验流程来变更上述条件，由此生成至少一个变更后的条件，可使上述场景增强网络150利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。
如上所述，本发明生成对于特定交通情况的静态数据和上述顺序性数据，生成作为上述虚拟驾驶环境内的周边信息的与对象车辆及行人等有关的上述交通场景，可将所生成的上述交通场景映射到上述虚拟驾驶环境的上述交通模拟器，可利用虚拟驾驶情况下生成的上述交通场景。
并且，以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序指令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序指令、数据文件、数据结构等，或者可以包括它们的组合。上述计算机可读记录介质中记录的程序指令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读记录介质可包括硬盘、软盘及磁带等的磁介质(magneticmedia)、CD-ROM、DVD等的光记录介质(optical media)、软盘(floptical disk)等的磁光介质(magneto-optical media)及只读存储器(ROM)、随机存取存储器(RAM)、闪存等的以存储并执行程序指令的方式特别构成的硬件装置。程序指令不仅包括通过编译器制造的机器语言代码，还包括通过使用解析器等来由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。
以上，通过具体结构要素等的特定事项、限定性实施例及附图来说明了本发明，但这仅用于对更全面地理解本发明提供帮助，本发明并不限定于上述实施例，只要是本发明所属技术领域的普通技术人员，就可根据这种记载实施多种修改及变形。
因此，本发明的思想并不限定于以上说明的实施例，所述的发明要求保护范围、以与发明要求保护范围等同或等价的方式变形的所有实施方式全部属于本发明的思想范畴。

Claims (16)

1.一种方法，生成至少一个虚拟驾驶环境中的至少一个交通场景，其特征在于，包括：
步骤(a)，在获取参照之前交通数据和详细交通数据而生成的驾驶数据的状态下，交通场景生成装置执行如下的流程，即，通过向情况分析器输入上述驾驶数据来使上述情况分析器从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器输入上述驾驶数据来使上述车辆信息抽取器从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程，参照上述驾驶环境信息和上述车辆状态信息来生成包含驾驶事件的基于驾驶序列的顺序性交通日志的流程，上述之前交通数据为与通过基于影像的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的离散交通数据相对应的元数据，上述详细交通数据为与从在实际驾驶环境中驾驶的一个以上的数据收集车辆的一个以上的传感器收集的顺序性交通数据相对应的元数据；以及
步骤(b)，上述交通场景生成装置通过向场景增强网络输入上述顺序性交通日志，来使上述场景增强网络将至少一个关键事件利用成至少一个条件，上述关键事件为紧急情况下的急停和交通信号变化中的至少一种，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行如下的流程，即，生成上述交通场景的流程，参照预设的参照交通信息来检验上述交通场景的流程，在确定为上述交通场景有效的情况下将上述交通场景映射到虚拟驾驶环境的交通模拟器的流程。
2.根据权利要求1所述的方法，其特征在于，在包括长短时记忆的生成器将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器的状态的情况下，上述交通场景生成装置使上述场景增强网络通过上述生成器来将预测交通日志生成为与之相对应的之后动作，由此通过上述生成器生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。
3.根据权利要求2所述的方法，其特征在于，上述交通场景生成装置执行如下的流程：
以使辨别器对上述顺序性交通日志与上述预测交通日志之间进行区分的方式使上述辨别器进行学习；以及
通过策略梯度来使上述生成器的至少一个参数达到最佳化，上述策略梯度利用参照上述顺序性交通日志、上述预测交通日志及上述条件来生成的上述辨别器的至少一个奖励。
4.根据权利要求1所述的方法，其特征在于，在上述步骤(b)中，若确定为上述交通场景无效，则上述交通场景生成装置参照进行检验的上述流程来变更上述条件，由此生成至少一个变更后的条件，通过使上述场景增强网络利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。
5.根据权利要求1所述的方法，其特征在于，上述交通场景生成装置从顺序性数据抽取上述关键事件，或从关键事件数据库抽取上述关键事件。
6.根据权利要求1所述的方法，其特征在于，上述顺序性交通日志分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹及交通信号变化信息。
7.根据权利要求1所述的方法，其特征在于，上述基于影像的高级驾驶辅助系统执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别、车道检测、车道线检测、碰撞时间预测以及相对速度预测中的至少一个。
8.根据权利要求1所述的方法，其特征在于，上述车辆状态信息包含上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置及上述自主车辆的制动器状态中的至少一个。
9.一种交通场景生成装置，用于生成至少一个虚拟驾驶环境中的至少一个交通场景，其特征在于，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，运行用于执行流程(I)及流程(II)的上述指令，在上述流程(I)中，在获取参照之前交通数据和详细交通数据而生成的驾驶数据的状态下，通过向情况分析器输入上述驾驶数据来使上述情况分析器从上述驾驶数据抽取驾驶环境信息的流程，通过向车辆信息抽取器输入上述驾驶数据来使上述车辆信息抽取器从上述驾驶数据抽取与自主车辆有关的车辆状态信息的流程，参照上述驾驶环境信息和上述车辆状态信息来生成包含驾驶事件的基于驾驶序列的顺序性交通日志的流程，上述之前交通数据为与通过基于影像的高级驾驶辅助系统来从包括至少一个驾驶事件的至少一个现有驾驶影像抽取的离散交通数据相对应的元数据，上述详细交通数据为与从在实际驾驶环境中驾驶的一个以上的数据收集车辆的一个以上的传感器收集的顺序性交通数据相对应的元数据，在上述流程(II)中，通过向场景增强网络输入上述顺序性交通日志，来使上述场景增强网络将至少一个关键事件利用成至少一个条件，上述关键事件为紧急情况下的急停和交通信号变化中的至少一种，以使上述顺序性交通日志与上述关键事件的事件驾驶环境相对应的方式对上述顺序性交通日志进行增强，从而执行如下的流程，即，生成上述交通场景的流程，参照预设的参照交通信息来检验上述交通场景的流程，在确定为上述交通场景有效的情况下将上述交通场景映射到虚拟驾驶环境的交通模拟器的流程。
10.根据权利要求9所述的交通场景生成装置，其特征在于，在包括长短时记忆的生成器将上述顺序性交通日志中的初始交通日志设定成以对上述长短时记忆中的初始长短时记忆的之后动作进行获取为目的而用到的上述生成器的状态的情况下，上述处理器使上述场景增强网络通过上述生成器来将预测交通日志生成为与之相对应的之后动作，由此通过上述生成器生成上述交通场景，并使上述初始交通日志之后的上述预测交通日志以与上述事件驾驶环境相对应的方式得到增强。
11.根据权利要求10所述的交通场景生成装置，其特征在于，上述处理器执行如下的流程：
以使辨别器对上述顺序性交通日志与上述预测交通日志之间进行区分的方式使上述辨别器进行学习；以及
通过策略梯度来使上述生成器的至少一个参数达到最佳化，上述策略梯度利用参照上述顺序性交通日志、上述预测交通日志及上述条件来生成的上述辨别器的至少一个奖励。
12.根据权利要求9所述的交通场景生成装置，其特征在于，在上述流程(II)中，若确定为上述交通场景无效，则上述处理器参照进行检验的上述流程来变更上述条件，由此生成至少一个变更后的条件，通过使上述场景增强网络利用上述变更后的条件来对上述顺序性交通日志进行增强，从而生成新的交通场景。
13.根据权利要求9所述的交通场景生成装置，其特征在于，上述处理器从顺序性数据抽取上述关键事件，或从关键事件数据库抽取上述关键事件。
14.根据权利要求9所述的交通场景生成装置，其特征在于，上述顺序性交通日志分别包含至少一个对象的数量、上述对象的位置、至少一个行人的数量、上述行人的位置、上述对象的至少一个轨迹及交通信号变化信息。
15.根据权利要求9所述的交通场景生成装置，其特征在于，上述基于影像的高级驾驶辅助系统执行利用上述现有驾驶影像的对象检测、距离预测、交通标志识别、车道检测、车道线检测、碰撞时间预测以及相对速度预测中的至少一个。
16.根据权利要求9所述的交通场景生成装置，其特征在于，上述车辆状态信息包含上述自主车辆的速度、上述自主车辆的加速度、上述自主车辆的方向盘状态、上述自主车辆的油门位置及上述自主车辆的制动器状态中的至少一个。
CN202010077029.5A 2019-01-30 2020-01-23 对虚拟驾驶环境生成交通场景的方法及装置 Active CN111506980B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798705P 2019-01-30 2019-01-30
US62/798,705 2019-01-30
US16/731,066 US10636295B1 (en) 2019-01-30 2019-12-31 Method and device for creating traffic scenario with domain adaptation on virtual driving environment for testing, validating, and training autonomous vehicle
US16/731,066 2019-12-31

Publications (2)

Publication Number Publication Date
CN111506980A CN111506980A (zh) 2020-08-07
CN111506980B true CN111506980B (zh) 2023-09-08

Family

ID=70332697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077029.5A Active CN111506980B (zh) 2019-01-30 2020-01-23 对虚拟驾驶环境生成交通场景的方法及装置

Country Status (5)

Country Link
US (1) US10636295B1 (zh)
EP (1) EP3690754A1 (zh)
JP (1) JP6935948B2 (zh)
KR (1) KR102440938B1 (zh)
CN (1) CN111506980B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT521607B1 (de) * 2018-10-24 2020-03-15 Avl List Gmbh Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
JP7192709B2 (ja) * 2019-08-09 2022-12-20 トヨタ自動車株式会社 車両遠隔指示訓練装置
KR102306085B1 (ko) * 2019-10-28 2021-09-28 고려대학교 세종산학협력단 도로교통 운행환경정보 기반 교통사고 영상을 활용한 자율주행 테스트 시나리오 도출 방법 및 절차
CN111932869A (zh) * 2020-06-25 2020-11-13 厦门迅优通信科技有限公司 一种基于交通流粒子性特征的三参数分析法
CN111983934B (zh) * 2020-06-28 2021-06-01 中国科学院软件研究所 一种无人车仿真测试用例生成方法及系统
CN111967124A (zh) * 2020-06-30 2020-11-20 中汽数据有限公司 一种用于智能汽车重组场景通用扩增的生成方法
CN111599181B (zh) * 2020-07-22 2020-10-27 中汽院汽车技术有限公司 用于智能驾驶系统测试的典型自然驾驶场景识别提取方法
KR20220039903A (ko) * 2020-09-21 2022-03-30 현대자동차주식회사 자율주행 제어 장치 및 방법
US11755469B2 (en) 2020-09-24 2023-09-12 Argo AI, LLC System for executing structured tests across a fleet of autonomous vehicles
CN112053433A (zh) * 2020-09-30 2020-12-08 中国汽车技术研究中心有限公司 民航机场动态场景的构建方法及机场特种车辆培训方法
CN112462759B (zh) * 2020-11-12 2024-02-27 浙江吉利控股集团有限公司 规控算法的评估方法、系统及计算机存储介质
CN114694449B (zh) * 2020-12-25 2023-04-18 华为技术有限公司 一种生成车辆交通场景的方法和装置、训练方法和装置
US20240005197A1 (en) * 2020-12-28 2024-01-04 Korea Electronics Technology Institute Method and system for generating ai training hierarchical dataset including data acquisition context information
DE102021201177A1 (de) 2021-02-09 2022-08-11 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zur Generierung von Fahrstrecken für ein automatisiertes Fahrsystem
DE102021104077B3 (de) 2021-02-22 2022-05-25 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zur automatisierten Generierung von Verkehrsdaten
CN113139644B (zh) * 2021-03-24 2024-02-09 北京科技大学顺德研究生院 一种基于深度蒙特卡洛树搜索的信源导航方法及装置
JP2022157321A (ja) * 2021-03-31 2022-10-14 トヨタ自動車株式会社 交通管制システム、交通管制方法及びプログラム
KR102568969B1 (ko) 2021-03-31 2023-08-23 주식회사 한국디지털트윈연구소 디지털트윈 기술을 이용한 자율주행시험용 주행환경 시나리오 발생장치
CN113254336B (zh) * 2021-05-24 2022-11-08 公安部道路交通安全研究中心 自动驾驶汽车交通法规符合性仿真测试方法及系统
WO2022246853A1 (zh) * 2021-05-28 2022-12-01 深圳市大疆创新科技有限公司 一种车辆系统的安全测试方法和测试用车辆
DE102021206737A1 (de) 2021-06-29 2022-12-29 Psa Automobiles Sa Auslegen eines Automatisierungsalgorithmus eines Fahrzeugs
CN113361144B (zh) * 2021-07-15 2022-05-20 中交第二公路勘察设计研究院有限公司 一种基于bim的道路驾驶模拟环境建立方法
CN113642108B (zh) * 2021-08-11 2023-11-10 北京航空航天大学 一种无人车十字路口通行场景关键测试案例生成方法
CN113836701A (zh) * 2021-09-03 2021-12-24 东风小康汽车有限公司重庆分公司 一种仿真场景构建方法、装置、计算机设备和存储介质
CN113532888B (zh) * 2021-09-17 2022-03-18 北京智能车联产业创新中心有限公司 纯视觉自动驾驶车辆测试方法及装置
KR20230075300A (ko) 2021-11-22 2023-05-31 오토아이티(주) 자율주행차량을 위한 실내 학습 시스템
KR102580532B1 (ko) 2021-11-22 2023-09-20 오토아이티(주) 자율주행차량의 성능 검증을 위한 실내 테스트 시스템
CN114913620A (zh) * 2022-05-18 2022-08-16 一汽解放汽车有限公司 数据提取方法、装置、计算机设备和存储介质
US20240096232A1 (en) * 2022-08-31 2024-03-21 Zoox, Inc. Safety framework with calibration error injection
KR20240043971A (ko) 2022-09-28 2024-04-04 (주)이노시뮬레이션 육상 이동체 자율 주행 시뮬레이션을 위한 가상 환경 자동 생성 장치 및 이의 실행 방법
KR102598898B1 (ko) * 2022-10-07 2023-11-06 주식회사 자동차공학연구소 가상 도로주행 공간의 설계 방법 및 가상 도로주행 공간의 설계 시스템
KR102489534B1 (ko) * 2022-11-14 2023-01-18 주식회사 마키나락스 수집이 필요한 정보의 영역을 예측하는 방법
KR102579590B1 (ko) * 2022-12-28 2023-09-18 도로교통공단 도로교통법 기반 자율주행차 운전능력 평가시나리오 생성 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718065A (zh) * 2016-01-27 2016-06-29 北京交通大学 车路协同环境下的交互式视景仿真系统
CN105807922A (zh) * 2016-03-07 2016-07-27 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及系统
CN106777747A (zh) * 2016-12-29 2017-05-31 广西航程威特科技有限公司 一种三维交通仿真模拟系统
CN108091203A (zh) * 2017-12-07 2018-05-29 中国航空工业集团公司西安航空计算技术研究所 一种基于虚拟现实技术的应激交通场景驾驶培训系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3316919B2 (ja) * 1993-03-09 2002-08-19 三菱電機株式会社 道路交通管制シミュレーション装置
JP3475240B2 (ja) * 2000-11-22 2003-12-08 国土交通省国土技術政策総合研究所長 道路交通評価システム
JP3472818B2 (ja) * 2000-11-24 2003-12-02 国土交通省国土技術政策総合研究所長 交通シミュレーション方法
JP2010002714A (ja) * 2008-06-20 2010-01-07 Toyota Motor Corp シミュレータ装置、運転課題提供方法
WO2014024264A1 (ja) * 2012-08-08 2014-02-13 株式会社 日立製作所 交通量予測装置および方法
US8874301B1 (en) * 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
KR101902824B1 (ko) * 2016-04-12 2018-10-02 자동차부품연구원 V2x 통신 기반 드라이빙 통합 시뮬레이션 장치
KR101850038B1 (ko) * 2016-05-24 2018-06-07 (주)이노시뮬레이션 자동차 시뮬레이터 장치 및 그 방법
KR102057532B1 (ko) * 2016-10-12 2019-12-20 한국전자통신연구원 자율주행 차량의 판단 지능 향상을 위한 주행상황 데이터 공유 및 학습 장치 및 그 동작 방법
US10118628B2 (en) * 2017-02-21 2018-11-06 Allstate Insurance Company Data processing system for guidance, control, and testing autonomous vehicle features and driver response
US10229590B2 (en) * 2017-08-14 2019-03-12 GM Global Technology Operations LLC System and method for improved obstable awareness in using a V2X communications system
EP3543985A1 (de) * 2018-03-21 2019-09-25 dSPACE digital signal processing and control engineering GmbH Simulieren verschiedener verkehrssituationen für ein testfahrzeug
US11994860B2 (en) * 2018-06-15 2024-05-28 Allstate Insurance Company Processing system for evaluating autonomous vehicle control systems through continuous learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718065A (zh) * 2016-01-27 2016-06-29 北京交通大学 车路协同环境下的交互式视景仿真系统
CN105807922A (zh) * 2016-03-07 2016-07-27 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及系统
CN106777747A (zh) * 2016-12-29 2017-05-31 广西航程威特科技有限公司 一种三维交通仿真模拟系统
CN108091203A (zh) * 2017-12-07 2018-05-29 中国航空工业集团公司西安航空计算技术研究所 一种基于虚拟现实技术的应激交通场景驾驶培训系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ian Rhys Jenkins,at al.Accident Scenario Generation with Recurrent Neural Networks.《2018 21st International Conference on Intelligent Transportation Systems (ITSC)》.2018,期刊第3340-3345页. *

Also Published As

Publication number Publication date
JP6935948B2 (ja) 2021-09-15
US10636295B1 (en) 2020-04-28
EP3690754A1 (en) 2020-08-05
CN111506980A (zh) 2020-08-07
KR102440938B1 (ko) 2022-09-06
KR20200094650A (ko) 2020-08-07
JP2020123351A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
CN111506980B (zh) 对虚拟驾驶环境生成交通场景的方法及装置
CN110597086B (zh) 仿真场景生成方法、无人驾驶系统测试方法以及装置
CN111508101B (zh) 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置
CN112703459B (zh) 对抗场景的迭代生成
CN109598066B (zh) 预测模块的效果评估方法、装置、设备和存储介质
CN111507160B (zh) 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
US11756431B2 (en) Systems and methods for utilizing models to identify a vehicle accident based on vehicle sensor data and video data captured by a vehicle device
CN113095125B (zh) 基于场景连续性来诊断感知系统
US20220019713A1 (en) Estimation of probability of collision with increasing severity level for autonomous vehicles
US20220388547A1 (en) Method for training a machine learning algorithm for predicting an intent parameter for an object on a terrain
US10783389B2 (en) Systems and methods for avoiding misrecognition of traffic signs and signals by hacking
CN115165398A (zh) 车辆的行驶功能测试方法、装置、计算设备及介质
KR20220101535A (ko) 딥러닝 기반 온-디바이스 실시간 교통제어 시스템
US20180157770A1 (en) Geometric proximity-based logging for vehicle simulation application
Li A scenario-based development framework for autonomous driving
CN114692295A (zh) 车辆性能边界的确定方法、装置、终端设备及存储介质
US11834070B2 (en) Probabilistic simulation sampling from agent data
Han Security Investigation of Autonomous Driving Systems
CN116522574A (zh) 场景数据生成方法及装置、电子设备和存储介质
CN116685955A (zh) 用于自动驾驶系统的方法、装置、电子设备和介质
CN117610400A (zh) 车辆测试方法、装置、电子设备及存储介质
CN117744749A (zh) 车辆功能的优化方法、装置、电子设备和存储介质
CN115880651A (zh) 场景识别方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant