CN110874610A - 一种使用机器学习的人类驾驶行为建模系统 - Google Patents

一种使用机器学习的人类驾驶行为建模系统 Download PDF

Info

Publication number
CN110874610A
CN110874610A CN201910830633.8A CN201910830633A CN110874610A CN 110874610 A CN110874610 A CN 110874610A CN 201910830633 A CN201910830633 A CN 201910830633A CN 110874610 A CN110874610 A CN 110874610A
Authority
CN
China
Prior art keywords
vehicle
image data
training image
behavior
simulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910830633.8A
Other languages
English (en)
Other versions
CN110874610B (zh
Inventor
刘鎏
甘奕乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/120,247 external-priority patent/US20190164007A1/en
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN202311257089.5A priority Critical patent/CN117351272A/zh
Publication of CN110874610A publication Critical patent/CN110874610A/zh
Application granted granted Critical
Publication of CN110874610B publication Critical patent/CN110874610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6027—Methods for processing data by generating or executing the game program using adaptive systems learning from user actions, e.g. for skill level adjustment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开一种使用机器学习的人类驾驶行为建模系统。一个实施例可以用于：使用数据处理器从多个真实世界图像源获取训练图像数据，并使用数据处理器对该训练图像数据执行对象提取操作、检测得到训练图像数据中的多个车辆对象；使用数据处理器根据多个车辆对象在类似感兴趣位置执行的类似操作，将检测到的多个车辆对象划分到多个行为类别中；根据一个或多个行为类别中的训练图像数据训练一个机器学习模块，对多个特定人类驾驶行为进行建模；使用数据处理器生成一个或多个仿真动态车辆，每个仿真动态车辆对一个或多个人类驾驶行为进行建模，一个或多个人类驾驶行为是根据训练图像数据训练到机器学习模块中的。

Description

一种使用机器学习的人类驾驶行为建模系统
技术领域
本专利文件一般性的适用于用于自动驾驶仿真系统、路径规划、车辆控制系统和自主驾驶系统的工具(系统、设备、方法、计算机程序产品等)，特别是但不限于使用机器学习的人类驾驶行为建模系统。
背景技术
自动驾驶车辆通常跟随运动规划器计算得到的行驶路径来行驶。然而，当变量例如障碍物(如其他动态车辆)出现在驾驶路径上时，自动驾驶车辆必须使用运动规划器来修改计算得到的路径并执行对应的控制操作，使得自动驾驶车辆可以通过改变驾驶路径来躲避障碍物、实现安全驾驶。建立和配置自动驾驶车辆的运动规划器是非常困难的。运动规划器的逻辑必须是可预期、可检测、且可应对多种不同的驾驶场景的，例如自动驾驶车辆应当可以应对接近的动态车辆的行为、且该行为是可预期、可检测的。在大多数情况下，在真实世界的驾驶环境中测试自动驾驶车辆的运动规划器是不可行且危险的。从而，可以使用模拟器来测试自动驾驶车辆的运动规划器。但是，要达到有效地测试自动驾驶车辆的运动规划器的目的，这些模拟器必须能够在各种不同的驾驶或交通场景中，真实地模拟接近自动驾驶车辆的动态车辆的行为。
模拟在自动驾驶车辆系统的开发中起到关键作用。在自动驾驶车辆子系统的研发和部署的过程中，需要经常在模拟环境中测试自动驾驶车辆子系统例如运动规划系统，而不是在真实道路上进行测试。模拟的一个最重要的特征是，模拟环境中的非玩家角色(Non-Player-Character，NPC)人工智能(Artificial Intelligence，AI)、以及NPC或者仿真动态车辆的相关行为决定模拟环境仿真度水平。模拟的目标是创建一个仿真环境，使NPC的性能和行为与人类驾驶员的相应行为密切相关。创建一个相对于人类驾驶员而言尽可能真实的仿真环境对于模拟而言很重要，通过使用模拟使得自动驾驶车辆子系统(例如运动规划系统)在仿真环境中能够有效运行和有效改进。
在传统的电子游戏的发展中，电子游戏中植入的AI是用基于规则的方法。换句话说，游戏开发者会首先对游戏建立一些简单的行为模型(例如变道模型、车道跟随模型，等等)。然后游戏开发者将尝试列举大部分的决策情况，这些决策是人类在与行为模型相关的条件下所做出的决策。下一步，游戏开发者将会将这些列举的决策(规则)编程到模型中，以完成游戏的整体AI行为。该方法的优点是开发速度快，对人的驾驶行为有较准确的解释，然而，缺点是基于规则的方法是对人类驾驶方式的一种非常主观的解释。换句话说，不同的开发者会根据自己的驾驶习惯开发不同的模型。因此，基于规则的自动驾驶车辆模拟方法并不能提供一个真实一致的模拟环境。
传统的模拟器无法实现对NPC(如仿真动态车辆)的人类驾驶行为建模，使得NPC的行为尽可能地模拟真实人类驾驶员的行为。此外，传统的模拟器无法为自动驾驶车辆子系统提供可接受的测试工具。
发明内容
本申请公开了一种使用机器学习的人类驾驶行为建模系统。具体地，本申请公开了一种自动驾驶车辆仿真系统，该系统使用机器学习生成对应于具有多种真实世界驾驶行为的仿真动态车辆的数据，并使用这些数据来测试、评价、或者分析自动驾驶车辆子系统(例如运动规划系统)，这些自动驾驶车辆子系统可应用于真实驾驶环境中的真实自动驾驶车辆。本申请实施例提供的由人类驾驶行为建模系统或者车辆建模系统生成的这些仿真动态车辆(本申请这里也称为NPC或者NPC车辆)，能够模拟真实世界中实际车辆执行的行为，包括变道、超车、加速等行为。本申请提供的车辆建模系统使用数据驱动的方法而不是基于规则的方法，能够重建或者模拟高保真的具有多种驾驶行为的交通场景。
在本申请的多个示例性实施例中，人类驾驶行为建模系统或者车辆建模系统使用多种数据源进行机器学习，来建立能够模拟不同人类驾驶行为的仿真动态车辆。车辆建模系统的机器学习模块使用的训练图像数据可以包括但不限于：车载摄像头记录的视频片段、路侧静态摄像头获取的图像、在道路上方的无人飞行器(无人飞行器或者无人驾驶飞机)上搭载的摄像头获取的图像、卫星图像、模拟图像、历史记录的图像，以及类似的数据。在车辆建模系统获取了训练图像数据后，第一步是执行物体检测并从输入的图像数据中提取出车辆对象。在多种技术中，语义分割可以用于车辆对象提取处理。对于图像数据中每个检测到的车辆对象，检测到的车辆对象的运动或者路径能够通过多帧图像数据追踪得到。每个检测到的车辆对象的地理位置也可以基于图像来源、相机拍摄图像的视野、以及感兴趣的位置的区域地图确定得到。每个检测到的车辆对象可以通过对象自身标识、路径数据和位置数据来进行标注。从而车辆建模系统可以将检测到和标注出来的多个车辆对象分类到行为组别中或分类，并用于训练。例如，在特定感兴趣地点执行类似操作的多个检测到的车辆对象，可以被分类到多种行为组别或者分类中。特定车辆的操作或者行为可以根据如上所述的车辆对象的路径和位置数据来确定得到。例如，多个车辆对象执行类似的转向、汇入车道、停车、加速、或者通过操作，这多个车辆对象可以分组得到特定的多个行为类别。在类似位置或者交通区域中(例如高速公路、狭窄道路、匝道、小山、隧道、桥梁、共乘车道、服务区、收费站，等区域)运行的多个车辆对象可以分组到特定的多个行为类别中。在类似交通条件(例如正常交通、交通阻塞、事故场景、道路施工、天气或夜间情况、动物或避障等)下运行的多个车辆对象可以被分组到其它的多个行为类别中。接近于特种车辆(例如：警车、消防车、救护车、摩托车、豪华轿车、超长或超宽卡车、残疾车辆、不规则车辆等)的多个车辆对象可以被分组到其它的行为类别中。根据本申请公开的内容，对于本领域普通技术人员显而易见的是，可以定义各种特定的行为类别，并将这些行为类别与从输入图像中提取的车辆对象中检测到的行为相关联。
在对训练图像数据按照上述方法进行了处理和分类之后，就可以利用相应行为类别的训练图像，对车辆建模系统的机器学习模块进行专门的训练，对特定的人类驾驶行为进行建模。例如，可以对机器学习模块进行训练，以重现或模拟与匝道汇入情况相关的典型人类驾驶行为。给定上述训练图像的车辆目标提取和车辆行为分类处理，执行匝道汇入操作的多个车辆对象将被划分为与匝道汇入情景对应的相应行为类别的成员。可以对机器学习模块进行专门的训练，根据相应行为类别包括的成员所执行的操作，对这些特定的人类驾驶行为进行建模。类似地，机器学习模块可以被训练来重新创建或模拟与上面描述的任何驾驶行为类别相关联的典型人类驾驶行为。因此，可以对车辆建模系统的机器学习模块进行训练，对各种特定目标的人类驾驶行为进行建模，这些人类驾驶行为总体上代表了在各种不同的驾驶场景和条件下典型的人类驾驶行为模式。
一旦根据上述处理对机器学习模块进行了训练后，训练后的机器学习模块可与车辆建模系统一起生成多个仿真动态车辆，每个仿真动态车辆模仿一个或多个特定的人类驾驶行为，这些人类驾驶行为是根据图像数据训练到机器学习模块中的。所述多个仿真动态车辆可用于驾驶环境模拟器中，作为测试自动驾驶车辆子系统(如运动规划系统)的测试台。由于仿真动态车辆的行为是基于从训练图像数据中捕捉到的真实世界车辆的相应行为，由驾驶环境模拟器创建的驾驶环境比基于规则的模拟器更加真实。通过使用经过训练的机器学习模块，驾驶环境模拟器可以创建模拟动态车辆，模拟真实的人类驾驶行为，例如，仿真动态车辆在高速公路匝道附近行驶、遇到交通堵塞、夜间在建筑区域行驶、或经过卡车或摩托车。就像人类驾驶员所做的一样，一些仿真动态车辆将停留在一个车道上，其他车辆将尽可能地改变车道。仿真动态车辆所表现出的驾驶行为来源于经过处理的训练图像数据，而不是编写传统模拟系统中的规则的编程人员的驾驶经验。总之，本申请各种实施例的训练过的机器学习模块和驾驶环境模拟器可以对现实世界中的人类驾驶行为进行建模，这些人类驾驶行为可以在模拟中再现、并在驾驶环境模拟器中用于测试自动驾驶车辆子系统(如运动规划系统)。下面将描述各种示例实施例的详细信息。
附图说明
各实施例以示例的方式而不是以限制的方式在附图的图形中进行说明。其中，
图1说明了一个示例性实施例中的自动驾驶车辆仿真系统的基本组件，以及自动驾驶车辆仿真系统与现实世界和地图数据来源的交互，自动驾驶车辆仿真系统包括车辆建模系统，该车辆建模系统用于生成驾驶环境模拟器所使用的仿真动态车辆的数据；
图2和图3说明了一个示例性实施例的车辆建模系统生成驾驶环境模拟器使用的仿真动态车辆数据的处理；
图4是一个示例性实施例中车辆建模和模拟系统的处理流程图；
图5是一个示例性实施例中计算机系统的示意图，在计算机系统执行一组指令时执行本文讨论的任何一种或多种方法。
具体实施方式
在下面的描述中，为了便于解释，列出了大量的具体细节，以便对各种实施例进行全面的理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种实施例。
本申请公开了一种使用机器学习的人类驾驶行为建模系统。具体地，本申请公开了一种自动驾驶车辆仿真系统，该系统使用机器学习生成对应于具有多种驾驶行为的仿真动态车辆的数据，并使用这些数据来测试、评价、或者分析自动驾驶车辆子系统(例如运动规划系统)，这些自动驾驶车辆子系统可应用于真实驾驶环境中的真实自动驾驶车辆。本申请实施例提供的由人类驾驶行为建模系统或者车辆建模系统生成的这些仿真动态车辆(本申请这里也称为NPC或者NPC车辆)，能够模拟真实世界中实际车辆执行的行为，包括变道、超车、加速等行为。本申请提供的车辆建模系统使用数据驱动的方法而不是基于规则的方法，能够重建或者模拟高保真的具有多种驾驶行为的交通场景。
参照图1，其中示出了一个示例性实施例的自动驾驶车辆仿真系统101的基本组件。图1中还示出了自动驾驶车辆仿真系统101与真实世界图像和地图数据源201的交互。在一个示例性实施例中，自动驾驶车辆仿真系统101包括一个车辆建模系统301，车辆建模系统301用于生成驾驶环境模拟器401使用的仿真动态车辆数据。以下将详细描述一个示例性实施例中的车辆建模系统301。驾驶环境模拟器401能够使用车辆建模系统301生成的仿真动态车辆数据，来创建一个模拟的驾驶环境。在该模拟的驾驶环境中，可以在多种驾驶场景中对多种自动驾驶车辆子系统(如自动驾驶运动规划模块510、自动驾驶控制模块520等)进行分析和测试。自动驾驶车辆运动规划模块510可以使用地图数据和感知数据为仿真自动驾驶车辆生成路径和加速度/速度，这些路径和加速度/速度数据指导仿真自动驾驶车辆在避开障碍物(包括其他近距离的仿真动态车辆)的同时开向所需的目的地。自动驾驶车辆控制模块520可以使用运动规划模块510生成的路径和加速度/速度信息生成自动驾驶车辆控制消息，这些消息可以操纵自动驾驶车辆中的各种控制子系统，如油门、刹车、转向等。通过对自动驾驶车辆的多个控制子系统进行控制，可以使自动驾驶车辆根据运动规划模块510生成的加速度/速度和路径来行驶。在自动驾驶汽车中使用运动规划模块和控制模块是本领域普通技术人员所熟知的。由于车辆建模系统301生成的仿真动态车辆模拟了现实世界中的人类驾驶行为，驾驶环境模拟器401创建的模拟驾驶环境为有效测试自动驾驶车辆子系统提供了现实的、真实的环境。
仍然参考图1，自动驾驶车辆仿真系统101包括车辆建模系统301。在本申请实施例中，车辆建模系统301使用具有不同数据源的机器学习来构建仿真动态车辆，仿真动态车辆能够模拟不同的人类驾驶行为。在一个实施例中，车辆建模系统301包括一个车辆对象提取模块310、一个车辆行为分类模块320、一个机器学习模块330、一个仿真车辆生成模块340。每个模块都可以实现为软件组件，在计算系统或数据处理系统上运行的车辆建模系统301的可执行环境中执行。下面将结合本文提供的图更详细地描述示例实施例的每个模块。
仍参照图1，一个示例性实施例中的车辆建模系统301可以包括车辆对象提取模块310。在该实施例中，车辆对象提取模块310可以从多个真实世界图像数据源201接收用于机器学习模块330的训练图像数据。真实世界图像数据源201包括但不限于：车载摄像头记录的视频片段、路侧的静态摄像头获取的图像、在道路上方的无人飞行器(无人飞行器或者无人驾驶飞机)上搭载的摄像头获取的图像、卫星图像、模拟图像、历史记录的图像，以及类似的数据。从真实世界图像数据源201收集到的图像数据能够反应真实世界实际的交通环境图像数据，这些数据与真实世界图像数据源201监控到的位置、路由、场景或者驾驶员行为相关。通过标准熟知的数据收集设备，可以将收集的交通和车辆图像数据以及其他的感知数据或传感器数据无线传输(或者其它的传输方式)给一个计算系统的数据处理器或者数据处理系统，在该数据处理器或数据处理系统上可以执行车辆建模系统的301。或者，收集的交通和车辆图像数据以及其它的感知数据或者传感器数据可以存储在一个存储设备中，该存储设备可以位于一个监控位置上、或者一个测试车辆中，并且随后发送给计算系统的数据处理器或者数据处理系统。车辆对象提取模块310收集的或计算得到的交通和车辆图像数据以及其它的感知数据或者传感器数据，可以用于训练机器学习模块330，以生成驾驶环境模拟器401所需的仿真动态车辆。
在车辆对象提取模块310从真实世界图像数据源201获取到了训练图像数据后，下一步执行物体检测并从输入图像数据中提取出多个车辆对象的处理。在多种技术中，语义分割可以用于车辆对象提取处理。对于图像数据中每个检测到的车辆对象，检测到的车辆对象的运动或者路径能够通过多帧图像数据追踪得到。车辆对象提取模块310还可以接收对应于每个检测到的车辆对象的地理位置数据或者地图数据。每个检测到的车辆对象的地理位置也可以基于图像来源、相机拍摄图像的视野、以及感兴趣的位置的区域地图确定得到。每个检测到的车辆对象可以通过对象自身标识、路径数据和位置数据来进行标注。
一个示例性实施例中的车辆建模系统301可以包括一个车辆行为分类模块320。车辆行为分类模块320可以用于将检测到的和标注出来的多个车辆对象分类到多个行为组别或者分类中，并用于训练机器学习模块330。例如，在特定的感兴趣的地点执行的类似操作的多个检测到的车辆对象，可以被分类到多种行为组别或者分类中。可以根据如上所述的车辆对象的路径和位置数据，来确定特定车辆的操作或者行为。例如，多个车辆对象执行类似的转向、汇入车道、停车、加速、或者通过操作，车辆行为分类模块320可以将这多个车辆对象分组到特定的多个行为类别中。在类似位置或者交通区域中(例如高速公路、狭窄道路、匝道、小山、隧道、桥梁、共乘车道、服务区、收费站，等区域)运行的多个车辆对象可以分组到特定的多个行为类别中。在类似交通条件(例如正常交通、交通阻塞、事故场景、道路施工、天气或夜间情况、动物或避障等)下运行的多个车辆对象可以被分组到其它的多个行为类别中。接近于特种车辆(例如：警车、消防车、救护车、摩托车、豪华轿车、超长或超宽卡车、残疾车辆、不规则车辆等)的多个车辆对象可以被分组到其它的行为类别中。根据本申请公开的内容，对于本领域普通技术人员显而易见的是，可以定义各种特定的行为类别，并将这些行为类别与从输入图像中提取的车辆对象中检测到的行为相关联。这样，车辆行为分类模块320可以用于建立多个车辆行为分类或类别，每个分类或类别代表一个与从训练图像数据中检测出来的多个车辆对象相关的特定的行为或者驾驶场景。这些行为类别可以用于训练机器学习模块330，并使得驾驶环境模拟器401独立地测试多个特定的车辆/驾驶行为或驾驶场景。
一个示例性实施例中的车辆建模系统301可以包括机器学习模块330。在对训练图像数据按照上述方法进行了处理和分类后，就可以利用相应行为类别的训练图像，对车辆建模系统301的机器学习模块330进行专门的训练，对特定的人类驾驶行为进行建模。例如，可以对机器学习模块进行训练，以重现或模拟与匝道汇入情况相关的典型人类驾驶行为。给定上述训练图像的车辆目标提取和车辆行为分类处理，执行匝道汇入操作的多个车辆对象将被划分为与匝道汇入情景对应的相应行为类别的成员。可以对机器学习模块330进行专门的训练，根据相应行为类别包括的成员(例如，从训练图像数据中检测到的多个车辆对象)所执行的操作，对这些特定的人类驾驶行为进行建模。类似地，机器学习模块330可以被训练来重新创建或建模与上面描述的任何驾驶行为类别相关联的典型人类驾驶行为。因此，可以对车辆建模系统301的机器学习模块330进行训练，对各种特定目标的人类驾驶行为进行建模，这些人类驾驶行为总体上代表了在各种不同的驾驶场景和条件下典型的人类驾驶行为模式。机器学习的方法包括很多种，例如通过使用训练数据来训练预设结构的神经网络，得到经过训练的神经网络，该训练得到的神经网络可以针对一定的输入数据输出表达学习到的人类驾驶行为的数据，输入数据中可以包括与行为类别相关的感兴趣的地点、感兴趣的驾驶场景等。训练数据可以是上述的相应行为类别的训练图像，还可以进一步包括训练图像相关联的车辆对象的路径数据、车辆对象的行驶方向和速度数据。
仍然参考图1，一个示例性实施例中的车辆建模系统301可以包括仿真车辆生成模块340。在根据上述处理对机器学习模块进行了训练后，训练后的机器学习模块330可与仿真车辆生成模块340一起生成多个仿真动态车辆，每个仿真动态车辆模仿一个或多个特定的人类驾驶行为，这些人类驾驶行为是根据图像数据训练到机器学习模块中的。例如，仿真车辆生成模块340可以生成一个特定的仿真动态车辆，生成的仿真动态车辆模拟一种特别的驾驶行为，该驾驶行为对应于一个或多个行为分类或类别(例如与交通区域/位置相关的车辆/驾驶员行为类别、与交通条件相关的车辆/驾驶员行为类别、与特定车辆相关的车辆/驾驶员行为类别，以及类似情况)。仿真车辆生成模块340生成的仿真动态车辆可以包括用于定义每个仿真动态车辆的行为的数据，这些数据包括路径、速度配置、行进方向配置、位置、或者其它的数据。对应于多个仿真动态车辆的数据可以提供给驾驶环境模拟器401作为交通环境测试台，在该测试台中能够对多个自动驾驶车辆子系统(例如自动驾驶车辆运动规划模块510、自动驾驶车辆控制模块520)进行测试、评价和分析。由于仿真动态车辆的行为是仿真车辆生成模块340根据真实世界车辆的对应的行为生成的，驾驶环境模拟器401创建的驾驶环境相比基于规则的模拟器生成的驾驶环境要更加真实和可信。通过使用车辆建模系统301和经过训练的机器学习模块330，驾驶环境模拟器401可以将仿真动态车辆结合进测试台中，在该测试台中仿真动态车辆将模仿真实人类驾驶行为，例如当仿真动态车辆行驶接近一个高速路匝道、堵在交通堵塞中、在夜间行驶在建筑工地中、或者经过一个卡车或摩托车。一些仿真动态车辆将停留在一个车道中，其它的将尽可能地试图变道，就像是人类驾驶员的行为一样。仿真车辆生成模块340生成的仿真动态车辆所展示的驾驶行为是来源于经过处理的训练图像数据，而不是传统模拟系统中编写代码规则的程序员的驾驶经验。通常，包括机器学习模块330的车辆建模系统301和驾驶环境模拟器401可以模拟真实世界的人类驾驶行为，这些人类驾驶行为可以得到重建和模拟，并在驾驶环境模拟器401中使用以测试自动驾驶子系统(例如运动规划系统)。
再次参考图1，车辆建模系统301和驾驶环境模拟器401可以包括可执行模块，这些模块可以被自动驾驶车辆仿真系统101的计算环境的数据处理器执行。在该实施例中，车辆建模系统301可以包括多个如上所述的可执行模块。自动驾驶车辆仿真系统101还可以包括数据存储装置或者存储器。该存储器可以被实施为标准数据存储装置(例如闪存、DRAM、SIM卡以及类似的装置)，或者实施为网络端服务器的云存储装置。在一个实施例中，该存储器可以用于存储训练图像数据、与驾驶行为类别有关的数据、与仿真动态车辆有关的数据、以及如上所述的数据。在多个实施例中，多个仿真动态车辆可以用于模拟典型驾驶行为之外的行为。为了尽可能模拟与真实世界等同的环境，仿真车辆生成模块340可以生成表达普通驾驶员的典型驾驶行为的仿真动态车辆。此外，仿真车辆生成模块340还可以生成表达非典型驾驶行为的仿真动态车辆。在大多数情况下，多个仿真动态车辆对应的路径包括典型和非典型的驾驶行为。从而，驾驶环境模拟器401可以在虚拟世界中使用对应于礼貌和非礼貌驾驶员的驾驶行为的路径、以及对应于有耐心和没有耐心的驾驶员的驾驶行为的路径，来模仿自动驾驶车辆运动规划器510和/或自动驾驶车辆控制模块520。总之，可以通过表达尽可能多变的驾驶行为的数据来配置仿真动态车辆。
参考图2和图3，其中示出了车辆建模系统301执行的生成用于驾驶环境模拟器401的仿真动态车辆数据的操作。如图2所示，车辆对象提取模块310可以从多个图像源(例如相机)获取训练图像数据。车辆对象提取模块310可以进一步在训练图像数据中执行对象提取操作，或者从图像数据中检测车辆对象。检测到的每个车辆对象可以包括路径和位置数据。车辆行为分类模块320可以使用每个检测到的车辆对象的路径和位置数据生成多个与类似车辆操作相关的车辆/驾驶员行为类别。例如，在特定感兴趣地点执行类似操作的多个检测到的车辆对象，可以被分类到多种行为组别或者分类中。特定车辆的操作或者行为可以根据如上所述的车辆对象的路径和位置数据来确定得到。在如图2所示的示例性实施例中，多个行为组别或分类中可以包括与交通区域/位置相关的车辆/驾驶员行为分类、与交通条件相关的车辆/驾驶员行为分类、与特定车辆相关的车辆/驾驶员行为分类，以及类似的情况。车辆行为分类模块320可以用于建立多个车辆行为分类或者行为类别，每个分类或类别代表一种与从训练图像数据中检测到的车辆对象相关的特定行为或驾驶场景。这些行为类别可以用于训练机器学习模块330，以及使得驾驶环境模拟器401能够独立测试特定车辆/驾驶行为或驾驶场景。
参考图3，在如上所述对机器学习模块330进行训练后，训练得到的机器学习模块330可以与仿真车辆生成模块340一起生成多个仿真动态车辆，每个仿真动态车辆模拟一个或多个特定人类驾驶行为，这些人类行为是根据训练图像数据训练到机器学习模块30中的。多个车辆行为分类或者行为类别可以与一组对应的检测到的车辆对象关联起来，其中每个车辆行为代表一种特定的行为或者驾驶场景。每个车辆行为分类中的检测到的车辆对象的行为，可以用于生成多个对应的仿真动态车辆或多个NPC。对应于这些仿真动态车辆的数据能够提供给驾驶环境模拟器401。驾驶环境模拟器401能够将仿真动态车辆结合到交通环境测试台中，在该测试台中仿真动态车辆将模拟真实人类驾驶行为以对自动驾驶车辆子系统进行测试。
参考图4，其中示出了一个示例性实施例中的一个车辆建模和仿真的系统和方法1000。该示例性实施例包括：从多个真实世界图像源获取训练图像数据，并对训练图像数据执行对象提取以检测训练图像数据中的多个车辆对象(处理块1010)；根据多个车辆对象在类似的感兴趣位置执行的类似操作，将检测到的多个车辆对象划分到多个行为类别中(处理块1020)；训练一个机器学习模块，利用一个或多个对应行为类别的训练图像数据，对特定的人类驾驶行为进行建模(处理块1030)；生成多个仿真动态车辆，每个仿真动态车辆模仿一个或多个特定人类驾驶行为，这些行为是根据图像数据训练到机器学习模块中的(处理块1040)。
图5中示出了一个示例性实施例中的实施为计算系统700的机器的结构，在该机器中，当执行一组指令和/或激活处理逻辑时，可能会导致计算机执行本文描述的任何一种或多种方法。在可选实施例中，该机器作为独立设备运行，或可连接到其他机器(例如，联网)。在网络化部署中，该机器可以作为服务器-客户机网络环境中的服务器或客户机的身份运行，也可以作为对等(或分布式)网络环境中的对等计算机运行。该机器可能是一个个人电脑(PC)，一台笔记本电脑，平板电脑系统，个人数字助理(PDA)，移动电话、智能手机、网络设备，机顶盒(STB)，网络路由器，交换机或桥，或任何可执行指令集(顺序或其他)的机器或任何可激活指定了要执行的操作的处理逻辑的机器。此外，虽然只说明了一台机器，但术语“机器”也可以用来包括单独或联合执行一组(或多组)指令或处理逻辑的机器的任何集合，以执行本文描述和/或声明的任何一种或多种方法。
作为示例的计算系统700可以包括数据处理器702(例如，片上系统(SoC)、通用处理核、图形处理核和其他可选的处理逻辑)和内存704，数据处理器702和内存704可以通过总线或其他数据传输系统706彼此通信。移动计算和/或通信系统700还可以包括各种输入/输出(I/O)设备和/或接口710，例如触摸屏显示器、音频接口、语音接口和可选的网络接口712。在一个示例实施例中，网络接口712可以包括一个或多个无线收发器，用于兼容任何一个或多个标准无线和/或蜂窝协议或接入技术(例如，第2代(2G)，2.5，第三代(3G)，第四代(4G)，和未来一代蜂窝系统的接入技术，全球移动通信系统(GSM)，通用分组无线服务(GPRS)，增强数据GSM环境(EDGE)，宽带码分多址(WCDMA)，LTE，CDMA2000，WLAN，无线路由器(WR))网络，等等)。网络接口712还可用于为与其他各种有线和/或无线通信协议一起使用，包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、BluetoothTM、IEEE802.11x等。本质上，网络接口712可以包括或支持几乎任何有线和/或无线通信和数据处理机制，通过这些机制，信息/数据可以在计算系统700和另一个计算或通信系统之间通过网络714传输。
内存704可以是机器可读的介质，在该介质上存储一组或多组指令、软件、固件或其他处理逻辑(例如，逻辑708)，其中包含本文描述和/或声明的任何一种或多种方法或功能。在移动计算和/或通信系统700执行逻辑708期间，逻辑708或其一部分也可以完全或至少部分地驻留在处理器702中。因此，存储器704和处理器702也可以构成机器可读的质。逻辑708或其一部分也可以配置为处理逻辑或逻辑，其中至少有一部分在硬件中部分实现。逻辑708或其一部分可以通过网络接口712在网络714上进一步传输或接收。虽然一个示例实施例中的机器可读介质可以是一个单一的介质，“机器可读介质”一词应当被理解为包括一个或多个非易失性介质(例如，一个集中式或分布式数据库，和/或相关的缓存和计算系统)，存储一个或多个指令的集合。“机器可读介质”一词也可以被理解为包括任何非易失性介质，该介质能够存储、编码或携带一组指令执行的机器，使机器执行该组指令后执行多个实施例中的任何一个或多个方法，或者该介质能够存储、编码或携带由一组指令使用或与之关联的数据结构。因此，“机器可读介质”一词可以包括但不限于固态存储器、光学介质和磁性介质。
本申请的摘要是为了让读者快速确定技术披露的本质。该公开不用于解释或者限定权利要求的范围或意义。此外，在前面的详细描述中，可以看到，为了简化公开的目的，将各种特征组合在一个实施例中。这种披露方法不应被解释为反映这样一种意图，即实施例所需的特征比在每一项权利要求中明确表述的特征要多。相反，正如权利要求所反映的，创造性的实质内容不在于单个公开实施例的所有特征。因此，每个权利要求单独作为一个实施例，权利要求在此并入详细说明。

Claims (20)

1.一种系统，其特征在于，包括：
一个数据处理器；
一个车辆对象提取模块，该模块被数据处理器执行后执行处理：从多个真实世界图像源获取训练图像数据，并对该训练图像数据执行对象提取操作、检测得到训练图像数据中的多个车辆对象；
一个车辆行为分类模块，该模块被数据处理器执行后执行处理：根据多个车辆对象在类似感兴趣位置执行的类似操作，将检测到的多个车辆对象划分到多个行为类别中；
一个机器学习模块，该模块被数据处理器执行后执行处理：通过根据一个或多个行为类别中的训练图像数据的训练，对多个特定人类驾驶行为进行建模；
一个仿真车辆生成模块，该模块被数据处理器执行后执行处理：生成一个或多个仿真动态车辆，每个仿真动态车辆对一个或多个人类驾驶行为进行建模，一个或多个人类驾驶行为是根据训练图像数据训练到机器学习模块中的。
2.根据权利要求1所述的系统，其特征在于，还包括一个驾驶环境模拟器，该驾驶环境模拟器将多个仿真动态车辆结合到交通环境测试台中，以测试、评价或分析自动驾驶车辆子系统。
3.根据权利要求1所述的系统，其特征在于，多个真实世界图像源来自于：多个车载摄像头、多个静态摄像头、多个无人机或无人飞机上的摄像头、多个卫星图像、多个仿真图像、和多个历史记载的图像。
4.根据权利要求1所述的系统，其特征在于，对训练图像数据执行语义分割进行对象提取。
5.根据权利要求1所述的系统，其特征在于，对训练图像数据执行的对象提取包括确定每个车辆对象的路径。
6.根据权利要求1所述的系统，其特征在于，多个行为类别包括：与交通区域/位置相关的车辆/驾驶员行为类别、与交通条件相关的车辆/驾驶员行为类别、与特定车辆相关的车辆/驾驶员行为类别。
7.根据权利要求2所述的系统，其特征在于，自动驾驶车辆子系统包括：一个自动驾驶车辆运动规划模块、一个自动驾驶车辆控制模块。
8.一种方法，其特征在于，包括：
使用数据处理器从多个真实世界图像源获取训练图像数据，并使用数据处理器对该训练图像数据执行对象提取操作、检测得到训练图像数据中的多个车辆对象；
使用数据处理器根据多个车辆对象在类似感兴趣位置执行的类似操作，将检测到的多个车辆对象划分到多个行为类别中；
根据一个或多个行为类别中的训练图像数据训练一个机器学习模块，对多个特定人类驾驶行为进行建模；
使用数据处理器生成一个或多个仿真动态车辆，每个仿真动态车辆对一个或多个人类驾驶行为进行建模，一个或多个人类驾驶行为是根据训练图像数据训练到机器学习模块中的。
9.根据权利要求8所述的方法，其特征在于，一个驾驶环境模拟器将多个仿真动态车辆结合到交通环境测试台中，以测试、评价或分析自动驾驶车辆子系统。
10.根据权利要求8所述的方法，其特征在于，多个真实世界图像源来自于：多个车载摄像头、多个静态摄像头、多个无人机或无人飞机上的摄像头、多个卫星图像、多个仿真图像、和多个历史记载的图像。
11.根据权利要求8所述的方法，其特征在于，对训练图像数据执行语义分割进行对象提取。
12.根据权利要求8所述的方法，其特征在于，对训练图像数据执行的对象提取包括确定每个车辆对象的路径。
13.根据权利要求8所述的方法，其特征在于，多个行为类别包括：与交通区域/位置相关的车辆/驾驶员行为类别、与交通条件相关的车辆/驾驶员行为类别、与特定车辆相关的车辆/驾驶员行为类别。
14.根据权利要求9所述的方法，其特征在于，自动驾驶车辆子系统包括：一个自动驾驶车辆运动规划模块、一个自动驾驶车辆控制模块。
15.一种非易失性机器可读存储介质，其特征在于，其中存储有多条指令，这多条指令被机器执行后使得机器实现：
一个车辆对象提取模块，该模块被数据处理器执行后执行处理：从多个真实世界图像源获取训练图像数据，并对该训练图像数据执行对象提取操作、检测得到训练图像数据中的多个车辆对象；
一个车辆行为分类模块，该模块被数据处理器执行后执行处理：根据多个车辆对象在类似感兴趣位置执行的类似操作，将检测到的多个车辆对象划分到多个行为类别中；
一个机器学习模块，该模块被数据处理器执行后执行处理：通过根据一个或多个行为类别中的训练图像数据的训练，对多个特定人类驾驶行为进行建模；
一个仿真车辆生成模块，该模块被数据处理器执行后执行处理：生成一个或多个仿真动态车辆，每个仿真动态车辆对一个或多个人类驾驶行为进行建模，一个或多个人类驾驶行为是根据训练图像数据训练到机器学习模块中的。
16.根据权利要求15所述的存储介质，其特征在于，所述机器还实现一个驾驶环境模拟器，该驾驶环境模拟器将多个仿真动态车辆结合到交通环境测试台中，以测试、评价或分析自动驾驶车辆子系统。
17.根据权利要求15所述的存储介质，其特征在于，多个真实世界图像源来自于：多个车载摄像头、多个静态摄像头、多个无人机或无人飞机上的摄像头、多个卫星图像、多个仿真图像、和多个历史记载的图像。
18.根据权利要求15所述的存储介质，其特征在于，所述机器还实现对训练图像数据执行语义分割进行对象提取。
19.根据权利要求15所述的存储介质，其特征在于，所述机器还实现对训练图像数据执行的对象提取包括确定每个车辆对象的路径。
20.根据权利要求15所述的存储介质，其特征在于，多个行为类别包括：与交通区域/位置相关的车辆/驾驶员行为类别、与交通条件相关的车辆/驾驶员行为类别、与特定车辆相关的车辆/驾驶员行为类别。
CN201910830633.8A 2018-09-01 2019-09-02 一种使用机器学习的人类驾驶行为建模系统及方法 Active CN110874610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311257089.5A CN117351272A (zh) 2018-09-01 2019-09-02 一种使用机器学习的人类驾驶行为建模系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/120,247 US20190164007A1 (en) 2017-11-30 2018-09-01 Human driving behavior modeling system using machine learning
US16/120,247 2018-09-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311257089.5A Division CN117351272A (zh) 2018-09-01 2019-09-02 一种使用机器学习的人类驾驶行为建模系统

Publications (2)

Publication Number Publication Date
CN110874610A true CN110874610A (zh) 2020-03-10
CN110874610B CN110874610B (zh) 2023-11-03

Family

ID=69717800

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311257089.5A Pending CN117351272A (zh) 2018-09-01 2019-09-02 一种使用机器学习的人类驾驶行为建模系统
CN201910830633.8A Active CN110874610B (zh) 2018-09-01 2019-09-02 一种使用机器学习的人类驾驶行为建模系统及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311257089.5A Pending CN117351272A (zh) 2018-09-01 2019-09-02 一种使用机器学习的人类驾驶行为建模系统

Country Status (1)

Country Link
CN (2) CN117351272A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053610A (zh) * 2020-10-29 2020-12-08 延安大学 一种基于深度学习的vr虚拟驾驶训练及考试方法
CN112347693A (zh) * 2020-10-26 2021-02-09 上海感探号信息科技有限公司 一种车辆运行动态镜像模拟方法、装置和系统
CN113496290A (zh) * 2020-04-01 2021-10-12 辉达公司 使用采用模拟对象增强的图像训练机器学习模型

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN106873580A (zh) * 2015-11-05 2017-06-20 福特全球技术公司 基于感知数据在交叉口处自主驾驶
US20170357866A1 (en) * 2016-06-13 2017-12-14 Surround.IO Corporation Method and System for Providing Behavior of Vehicle Operator Using Virtuous Cycle
CN107622527A (zh) * 2016-07-14 2018-01-23 福特全球技术公司 支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系统和方法
CN107633303A (zh) * 2016-07-19 2018-01-26 福特全球技术公司 使用虚拟数据测试和训练停车位检测系统
CN107862346A (zh) * 2017-12-01 2018-03-30 驭势科技（北京）有限公司 一种进行驾驶策略模型训练的方法与设备
CN108205830A (zh) * 2016-12-20 2018-06-26 百度（美国）有限责任公司 识别对于无人驾驶车辆的个人驾驶偏好的方法和系统
US20180188043A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Classification of surfaces as hard/soft for combining data captured by autonomous vehicles for generating high definition maps
CN108446727A (zh) * 2018-03-09 2018-08-24 上海安亭地平线智能交通技术有限公司 驾驶行为决策方法、系统和电子设备
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873580A (zh) * 2015-11-05 2017-06-20 福特全球技术公司 基于感知数据在交叉口处自主驾驶
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
US20170357866A1 (en) * 2016-06-13 2017-12-14 Surround.IO Corporation Method and System for Providing Behavior of Vehicle Operator Using Virtuous Cycle
CN107622527A (zh) * 2016-07-14 2018-01-23 福特全球技术公司 支持开发基于视觉的雨水检测算法的虚拟传感器数据生成系统和方法
CN107633303A (zh) * 2016-07-19 2018-01-26 福特全球技术公司 使用虚拟数据测试和训练停车位检测系统
CN108205830A (zh) * 2016-12-20 2018-06-26 百度（美国）有限责任公司 识别对于无人驾驶车辆的个人驾驶偏好的方法和系统
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
US20180188043A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Classification of surfaces as hard/soft for combining data captured by autonomous vehicles for generating high definition maps
CN107862346A (zh) * 2017-12-01 2018-03-30 驭势科技（北京）有限公司 一种进行驾驶策略模型训练的方法与设备
CN108446727A (zh) * 2018-03-09 2018-08-24 上海安亭地平线智能交通技术有限公司 驾驶行为决策方法、系统和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. YOU 等: "Highway Traffic Modeling and Decision Making for Autonomous Vehicle Using Reinforcement Learning", 《2018 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》, pages 1227 - 1232 *
陈雪梅 等: "面向智能驾驶行为的机器学习", 《道路交通与安全》, vol. 14, no. 06, pages 60 - 64 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496290A (zh) * 2020-04-01 2021-10-12 辉达公司 使用采用模拟对象增强的图像训练机器学习模型
CN112347693A (zh) * 2020-10-26 2021-02-09 上海感探号信息科技有限公司 一种车辆运行动态镜像模拟方法、装置和系统
CN112347693B (zh) * 2020-10-26 2023-12-22 上海感探号信息科技有限公司 一种车辆运行动态镜像模拟方法、装置和系统
CN112053610A (zh) * 2020-10-29 2020-12-08 延安大学 一种基于深度学习的vr虚拟驾驶训练及考试方法

Also Published As

Publication number Publication date
CN117351272A (zh) 2024-01-05
CN110874610B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US20190164007A1 (en) Human driving behavior modeling system using machine learning
US11782440B2 (en) Autonomous vehicle simulation system for analyzing motion planners
CN111417910B (zh) 自动驾驶车辆运动计划
US11475677B2 (en) Method, apparatus, and system for generating synthetic image data for machine learning
CN111179585B (zh) 自动驾驶车辆的场地测试方法及装置
Ramanishka et al. Toward driving scene understanding: A dataset for learning driver behavior and causal reasoning
US11036232B2 (en) Iterative generation of adversarial scenarios
Xinxin et al. Csg: Critical scenario generation from real traffic accidents
CN110874610B (zh) 一种使用机器学习的人类驾驶行为建模系统及方法
US11989116B1 (en) Collision evaluation for log-based simulations
US20230150529A1 (en) Dynamic sensor data augmentation via deep learning loop
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
CN111752258A (zh) 自主车辆的操作测试
US11645360B2 (en) Neural network image processing
WO2020060480A1 (en) System and method for generating a scenario template
US10417358B2 (en) Method and apparatus of obtaining feature information of simulated agents
Zuo et al. Microscopic simulation based study of pedestrian safety applications at signalized urban crossings in a connected-automated vehicle environment and reinforcement learning based optimization of vehicle decisions.
Aparow et al. Scenario based simulation testing of autonomous vehicle using Malaysian road
CN116710732A (zh) 自主交通工具运动计划中的稀有事件仿真
Boustedt ASCETISM–

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant