CN114694449A - 一种生成车辆交通场景的方法和装置、训练方法和装置 - Google Patents

一种生成车辆交通场景的方法和装置、训练方法和装置 Download PDF

Info

Publication number
CN114694449A
CN114694449A CN202011562991.4A CN202011562991A CN114694449A CN 114694449 A CN114694449 A CN 114694449A CN 202011562991 A CN202011562991 A CN 202011562991A CN 114694449 A CN114694449 A CN 114694449A
Authority
CN
China
Prior art keywords
vehicle
data
time
lane
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011562991.4A
Other languages
English (en)
Other versions
CN114694449B (zh
Inventor
姜艺
姜广吉
杨林
孙剑
张一豪
张赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011562991.4A priority Critical patent/CN114694449B/zh
Priority to PCT/CN2021/132052 priority patent/WO2022134981A1/zh
Publication of CN114694449A publication Critical patent/CN114694449A/zh
Application granted granted Critical
Publication of CN114694449B publication Critical patent/CN114694449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G09B19/167—Control of land vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及人工智能领域，具体涉及车辆智能驾驶领域，提供了一种用于生成车辆交通场景的方法和装置以及训练方法和装置。分别向经生成对抗网络训练得到的第一生成器和第二生成器输入噪声数据来生成时序特征数据和属性特征数据，其中，所述时序特征数据为体现为在预定时长内各个时刻的车辆状态；所述属性特征数据为体现为在预定时长内所述车辆状态的变化；利用所述时序特征数据和所述属性特征数据合成所述车辆交通场景的初始场景数据；以及基于约束条件修正所述初始场景数据，以得到所述车辆交通场景的最终场景数据，使得生成的车辆交通场景的最终场景数据更加可靠。

Description

一种生成车辆交通场景的方法和装置、训练方法和装置
技术领域
本申请涉及车辆智能驾驶领域，并且更具体地涉及一种生成车辆交通场景的方法和装置、训练方法和装置以及计算机设备、计算机可读存储介质及计算机程序。
背景技术
智能驾驶技术对交通安全的提升和交通拥堵的预防发挥了巨大作用。因此，具备智能驾驶技术的智能汽车具有广阔的市场前景。由于智能汽车在真实路面上的行驶会遇到各种复杂的交通场景，因此在投入生产并上路前需要经过严格的测试以保证安全运行。
通常对智能汽车的测试分为两种：通过将车辆行驶到各种路段进行测试和通过仿真平台进行虚拟测试。在仿真平台上进行虚拟测试能够保证测试的安全性，不需要付出很多的资金和时间。同时，在仿真平台上的虚拟测试可以通过设计不同的测试方案从而实现定制化测试。结合不同的测试方法，虚拟测试能够实现高测试里程的覆盖，大大提高了测试的效率。
在一些虚拟测试中，通常对车辆之间的相对距离进行测试。车辆之间的相对距离能够表示在驾驶过程中可能遇到的一部分场景。因此，车辆之间的相对距离的测试通常应用在低挑战性的驾驶场景上。而测试智能汽车在危险场景中的表现对虚拟测试也是十分重要的。发明人发现，现实中真实发生的危险场景有限，不能满足危险场景的大规模数量的需求。且针对典型的危险场景(例如高危跟驰场景、高危换道场景)的识别算法也存在一定的误差和随机性。因此，还需要更多可靠的危险场景以供测试。
发明内容
鉴于现有技术的以上问题，本申请提供一种生成车辆交通场景的方法和装置、训练方法和装置，能够在已有的车辆交通场景的基础上生成更多可靠的车辆交通场景以供测试。
为达到上述目的，本申请实施例的第一方面提供了一种用于生成场景的方法，包括：将第一噪声数据输入经生成对抗网络训练得到的第一生成器，生成时序特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态；将第二噪声数据输入经所述生成对抗网络训练得到的第二生成器，生成属性特征数据，所述属性特征数据体现在预定时长内所述车辆状态的变化；合并所述时序特征数据和所述属性特征数据，得到车辆交通场景的初始场景数据；以及修正所述初始场景数据，将超过指定阈值的初始场景数据修正为在所述指定阈值内，以得到最终场景数据。
基于上述技术方案，能够基于现实中有限的车辆交通场景，派生更多可靠的车辆交通场景，在场景的数量方面满足了虚拟测试的要求；通过对生成的场景数据进行修正，从而将不符合现实车辆运动学的场景数据修正，增加训练结果的精确度，提升生成结果的可靠性。
在一种可能的实现方式中，所述车辆交通场景包括第一车辆交通场景，所述第一车辆交通场景满足以下条件：在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
基于上述技术方案，能够进一步生成更多危险跟驰场景，弥补了现实交通场景中危险场景出现频率不足、虚拟测试中危险场景因素单一的问题。
在一种可能的实现方式中，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆的车头与所述其他车道车辆的车尾的距离与所述换道车辆的速度的比值。
基于上述技术方案，能够进一步生成更多危险换道场景，弥补了现实交通场景中危险场景出现频率不足、虚拟测试中危险场景因素单一的问题。
在一种可能的实现方式中，所述初始场景数据包括各个时刻下的加速度，修正所述初始场景数据包括：将超过指定加速度阈值的加速度修正为在所述指定加速度阈值内。
基于上述技术方案，通过对所述初始场景序列进行修正，能够将错误的场景数据剔除，增加生成的场景数据的可靠性。
在一种可能的实现方式中，当所述车辆交通场景是所述第一车辆交通场景时，所述初始场景数据包括：各个时刻下前车速度、后车速度以及前车和后车的相对距离，对所述初始场景数据的修正包括：将速度小于0且加速度大于第一加速度的初始场景数据修正为速度大于0且加速度小于第一加速度；将相对距离不大于第二距离的初始场景数据修正为大于所述第二距离。
在一种可能的实现方式中，还包括减少场景数据的采集频率，将在预定时长内采集的第一数量的场景数据减少为第二数量。
在一种可能的实现方式中，当所述车辆交通场景是所述第二车辆交通场景时，所述初始场景数据包括各个时刻下换道车辆的横向位置和纵向位置、其他车道车辆的横向位置和纵向位置，所述对所述初始场景数据的修正包括：将纵向位置之差为0的初始场景数据修正为纵向坐标差大于0；将横向之差为0的初始场景数据修正为横向坐标差大于0。
基于上述技术方案，能够修正初始场景数据中个别异常数据，增加最终场景数据的可靠性。
在一种可能的实现方式中，基于所述车辆交通场景的最终场景数据，生成所述车辆交通场景的视频；以及当基于所生成的视频判定所述车辆交通场景正确，则保留所述车辆交通场景的最终场景数据。
基于上述技术方案，通过基于所述车辆交通场景的最终场景数据生成所述车辆交通场景的视频，能够使用户更直观的判断所述最终场景数据是否正确，进一步保证生成的场景数据的可靠性。
本申请实施例的第二方面提供一种训练方法，包括：从车辆交通场景的场景数据中提取时序特征数据和属性特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态，所述属性特征数据体现在预定时长内所述车辆状态的变化；所述生成对抗网络包括具有所述第一生成器的第一子生成对抗网络和具有所述第二生成器的第二子生成对抗网络，利用所述时序特征数据对所述第一子生成对抗网络进行训练，以得到用于生成所述时序特征数据的第一生成器；利用所述属性特征数据对所述第二子生成对抗网络进行训练，以得到用于生成所述属性特征数据的第二生成器；所述第一子生成对抗网络和所述第二子生成对抗网络各自的损失函数的加权和构成所述生成对抗网络的损失函数。
基于上述技术方案，通过分别提取时序特征数据和属性特征数据对生成对抗网络进行训练，使得训练得到的第一生成器和第二生成器更加可靠，从而能够生成更多可靠的交通场景，解决交通场景数量不足，无法满足虚拟测试的问题；通过设置不同的子生成对抗网络分别对交通场景中的不同特征进行提取和学习，相比于现有技术，其能够很好的学习交通场景的不同特征的分布。
在一种可能的实现方式中，所述车辆场景包括第一车辆交通场景，所述第一车辆交通场景满足以下条件：在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
基于上述技术方案，能够进一步学习更多危险跟驰场景的特征，使生成器能够进一步生成更多危险跟驰场景，弥补了现实交通场景中危险场景出现频率不足、虚拟测试中危险场景因素单一的问题。
在一种可能的实现方式中，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆与所述其他车道车辆的距离与所述换道车辆的速度的比值。
基于上述技术方案，能够进一步学习更多危险换道场景的特征，使生成器能够进一步生成更多危险换道场景，弥补了现实交通场景中危险场景出现频率不足、虚拟测试中危险场景因素单一的问题。
在一种可能的实现方式中，所述时序特征数据包括在各个时刻下后车的速度、前车的速度和所述后车与所述前车的相对距离。
基于上述技术方案，一方面能够准确描述危险跟驰场景，另一方面能够防止数据种类过多造成的训练模型过拟合。
在一种可能的实现方式中，所述时序特征数据包括在各个时刻下本车和所述前车各自的横向位置和纵向位置。
基于上述技术方案，一方面能够准确描述危险换道场景，学习到危险换道场景的数据特征，另一方面能够防止数据种类过多造成的训练模型过拟合。
所述车辆状态的变化包括在预定时间内呈现的趋势变化、极值差变化和残差变化。
基于上述技术方案，使得危险场景数据中的除时序特征数据以外的其他数据的特征也能够被学习，进而使第二生成器能够学习到更多危险场景的数据特征。
在一种可能的实现方式中，还包括：从自然状况下的驾驶数据中，获取本车和周围交通参与者的行驶数据；基于所定义的时空边界，将所述行驶数据还原为事件链数据；对所述事件链数据中的行驶数据进行修复；从修复后的行驶数据中筛选出属于所述车辆交通场景的行驶数据；以及从所筛选的属于所述车辆交通场景的行驶数据，得到所述车辆交通场景的场景数据。
本申请实施例的第三方面提供一种生成车辆交通场景的装置，包括：经生成对抗网络训练得到的第一生成器，其用于根据输入的第一噪声数据生成时序特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态；经所述生成对抗网络训练得到的第二生成器，其用于根据输入的第二噪声数据生成属性特征数据，所述属性特征数据体现在预定时长内所述车辆状态的变化；合并单元，其用于合并所述时序特征数据和所述属性特征数据，得到车辆交通场景的初始场景数据；以及修正单元，其用于修正所述初始场景数据，将超过指定阈值的初始场景数据修正为在所述指定阈值内，以得到最终场景数据。
在一种可能的实现方式中，所述车辆交通场景包括第一车辆交通场景，所述第一车辆交通场景满足以下条件：在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
在一种可能的实现方式中，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆与所述其他车道车辆的距离与所述换道车辆的速度的比值。
在一种可能的实现方式中，对所述初始场景数据的修正包括：将加速度超过指定加速度阈值的初始场景数据修正为在所述指定加速度阈值内。
在一种可能的实现方式中，当所述车辆交通场景是所述第一车辆交通场景时，对所述初始场景数据的修正包括：将速度小于0且加速度大于第一加速度的初始场景数据修正为速度大于0且加速度小于第一加速度；将纵向相对距离不大于第二距离的初始场景数据修正为纵向相对距离大于所述第二距离，所述纵向相对距离为在同一车道的两连续车辆中，后车车头与前车车尾的距离。
在一种可能的实现方式中，当所述车辆交通场景是所述第二车辆交通场景时，对所述初始场景数据的修正包括：将纵向坐标差为0的初始场景数据修正为纵向坐标差大于0，所述纵向坐标差为所述换道车辆在前后时刻的纵向坐标的差；将横向坐标差为0的初始场景数据修正为横向坐标差大于0，所述横向坐标差为所述换道车辆在前后时刻的横向坐标的差。
在一种可能的实现方式中，还包括：仿真模拟单元，其基于所述车辆交通场景的最终场景数据，生成所述车辆交通场景的视频。
本申请实施例的第四方面一种用于生成对抗网络的训练装置，包括：提取单元，其从车辆交通场景的场景数据中提取时序特征数据和属性特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态，所述属性特征数据体现在预定时长内所述车辆状态的变化；
生成对抗网络，其包括具有所述第一生成器的第一子生成对抗网络和具有所述第二生成器的第二子生成对抗网络，所述第一子生成对抗网络利用所述时序特征数据进行训练，以得到用于生成所述时序特征数据的第一生成器；所述第二子生成对抗网络利用所述属性特征数据进行训练，以得到用于生成所述属性特征数据的第二生成器；
其中，所述第一子生成对抗网络和所述第二子生成对抗网络各自的损失函数的加权和构成所述生成对抗网络的损失函数。
在一种可能的实现方式中，所述车辆交通场景为第一车辆交通场景，所述第一车辆交通场景满足以下条件：在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
在一种可能的实现方式中，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆与所述其他车道车辆的距离与所述换道车辆的速度的比值。
在一种可能的实现方式中，所述时序特征数据包括在各个时刻下后车的速度、前车的速度和所述后车与所述前车的相对距离。
在一种可能的实现方式中，所述时序特征数据包括在各个时刻下所述换道车辆和所述其他车道车辆各自的横向位置和纵向位置。
在一种可能的实现方式中，所述车辆状态的变化包括预定时间内呈现的趋势变化、极值差变化和残差变化。
本申请实施例的第五方面提供了一种计算设备，包括：总线；通信接口，其与所述总线连接；至少一个处理器，其与所述总线连接；以及至少一个存储器，其与所述总线连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行本申请第一方面和第二方面以及其可能的实现方式中所述的方法。
本申请实施例的第六方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行本申请第一方面和第二方面以及其可能的实现方式中所述的方法。
本申请实施例的第七方面提供了一种计算机程序，其包括有程序指令，所述程序指令当被计算机执行时使得所述计算机执行本申请第一方面和第二方面以及其可能的实现方式中所述的方法。
本申请的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
以下参照附图来进一步说明本申请的各个特征和各个特征之间的联系。附图均为示例性的，一些特征并不以实际比例示出，并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征，或是额外示出了对于本申请非必要的特征，附图所示的各个特征的组合并不用以限制本申请。另外，在本说明书全文中，相同的附图标记所指代的内容也是相同的。具体的附图说明如下：
图1示出了本申请的实施例的应用场景的示意图；
图2a是本申请一些实施例提供的生成车辆交通场景的方法的流程示意图；
图2b是本申请一些实施例提供的训练方法的流程示意图；
图2c是本申请一些实施例提供的训练方法的子流程示意图；
图3是本申请一些实施例提供的用于生成车辆交通场景的装置的示意图；
图4a是本申请一些实施例提供的训练装置的示意图；
图4b是本申请一些实施例提供的训练装置的生成网络示意图；
图4c是本申请一些实施例提供的训练装置的获取单元的示意图；
图5是本申请的训练方法的示例性具体实现方式的流程示意图；
图6是本申请一些实施例提供的一种车辆交通场景的示意图；
图7是图6所示的车辆交通场景的事件链数据的示意图；
图8是本申请一些实施例提供的另一种车辆交通场景的示意图；
图9是图8所示的车辆交通场景的事件链数据的示意图；
图10是对图7的事件链数据进行修复后的示意图；
图11是对图9的事件链数据进行修复后的示意图；
图12是本申请一些实施例提供的一种危险换道场景的示意图；
图13是本申请一些实施例提供的一种危险跟驰场景的示意图；
图14是本申请一些实施例提供的另一种危险跟驰场景的示意图；
图15是本申请一些实施例提供的另一种危险换道场景的示意图；
图16是本申请的用于生成场景的示例性具体实现方式的流程示意图；
图17是本申请一些实施例提供的仿真模拟单元的生成的场景视频的示意图；
图18是本申请一些实施例提供的一种计算设备的结构性示意图。
[附图标记说明]
1：本车；2、3、4：背景车；5：行人；10：第一子生成对抗网络；11：第一生成器；12第一判别器；20：第二子生成对抗网络；21：第二生成器；22：第二判别器；31：检测单元；32：还原单元；33：修复单元；34：筛选单元；35：形成单元；100：生成单元；200：合成单元；210：获取单元；220：训练单元；230：生成对抗网络：300：修正单元；400：模拟单元；1000：用于生成场景的装置；2000：训练装置；1500：计算设备；1510：处理器；1520：存储器；1530：通信接口；1540：总线。
具体实施方式
说明书和权利要求书中的词语“第一、第二、第三等”或模块A、模块B、模块C等类似用语，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在以下的描述中，所涉及的表示步骤的标号，如S110、S120……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。
说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。
本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。如有不一致，以本说明书中所说明的含义或者根据本说明书中记载的内容得出的含义为准。另外，本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
为了准确地对本申请中的技术内容进行叙述，以及为了准确地理解本申请，在对具体实施方式进行说明之前先对本说明书中所使用的术语给出如下的解释说明或定义。
生成对抗网络(Generative Adversarial Networks，简称GAN)，主要包括：生成器网络和判别器网络，生成器网络可以通过在输入的随机噪声而生成一个与输入的真实数据相同维度的生成数据，判别器网络对生成器网络生成的生成数据和真实数据进行判别，判断哪一个是生成器生成的数据，哪一个是真实数据。生成器网络能够根据判别器网络的判别结果调整自身的生成能力，从而生成更接近真实数据的生成数据，而判别器网络也能够根据生成器生成的生成数据不断提高自身的判别能力，这两个网络通过相互博弈进行学习，直至生成器网络能够生成出接近真实数据的生成数据。
长短期记忆网络(Long-Short Term Memory，简称LSTM)，是一种特殊的循环神经网络(Recurrent neural networks，简称RNN)，其能够通过更新单元状态来学习参数间的长期依赖关系，目前在机器翻译、语言识别等领域有着广泛应用。
卷积神经网络(Convolutional Neural Network，简称CNN)，是一种深层前馈神经网络，由一个或多个卷积层和顶端的全连接层(对应经典的神经网络)组成，在一些卷积神经网络中还包括池化层(pooling layer)，由于在进行卷积过程中卷积核的权重不变，通过一个卷积核的操作提取了一组数据的相同特征，这使得卷积神经网络能够利用输入数据的二维结构。
图1示出了根据本申请的实施例的应用场景的示意图。如图1所示，本申请的应用场景可以包括计算设备1500。计算设备1500例如可以是但不局限于服务器、工作站、台式计算机、笔记本电脑等这样的具有计算能力的电子设备，其用于实现下面将详细描述的用于生成场景的方法和训练方法。
图2a示出了根据本申请的实施例的用于生成场景的方法的示意图。图2a所示的方法例如可以利用计算设备1500或任何其它合适的设备来实现。
如图2a所示，本申请的实施例提供的生成车辆交通场景的方法可以包括步骤S110-S140。
在步骤S110，以第一噪声数据作为输入，利用已训练的第一生成器，生成车辆交通场景的时序特征数据。
其中，所述第一生成器通过对抗神经网络训练得到；所述车辆交通场景可以为安全交通场景和发生碰撞的危险交通场景。其中，安全交通场景可以包括：图8示出的跟驰场景、图6示出的换道场景、转弯场景等，所述危险交通场景可以包括：图13和图14示出的危险跟驰场景、图12和图15示出的危险换道场景等。
在一些实施例中，所述危险跟驰场景可以为，在后车与前车发生车辆碰撞之前的第一时长内所述后车始终跟随所述前车，以及，在所述车辆碰撞之前的第二时长内所述后车与所述前车的纵向车头时距小于第三时长。
在一些实施例中，危险跟驰场景可以为：在后车与前车发生车辆碰撞之前10s所述后车始终跟随同一辆前车，这样能够保证两车具有稳定的跟驰关系，排除由于其它车辆插入两车之间造成后车制动的情况；其中前车的定义为与后车横向距离小于2m的前方空间内，纵向距离最近的同向行驶车辆；以及在所述车辆碰撞之前的5s内与前车的纵向车头时距始终小于2s，这样能够排除车辆的排队停车情况；其中后车与前车的纵向净距离可以是后车的距离检测单元布设位置到前车车尾的距离，纵向车头时距＝(纵向净距离+后车车长)/后车的速度。
在一些实施例中，所述危险换道场景可以为，在换道车辆与其他车道车辆发生车辆碰撞之前和之后的所述第二时长内，换道车辆的横向位移超过第一距离且换道车辆与其他车道车辆的横向间距大于所述第一距离，在所述车辆碰撞之前的所述第二时长内换道车辆的转向角速度大于指定角速度，以及，在所述车辆碰撞之前的所述第三时长内换道车辆与其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长。其中，最小车头时距＝换道车辆的车头与其他车辆的车尾直接的距离/换道车辆的速度。
在一些实施例中，所述危险换道场景可以为，换道车辆与其他车道车辆发生碰撞之前和之后各5s内，换道车辆的横向位移超过2m，且换道车辆与其他车道的冲突对象的横向间距大于2m，这样能够保证换道车辆发生了明显横向位移；换道车辆与其他车道车辆发生碰撞之前5s，换道车辆的转向角速度大于2deg/s，这样能够保证换道车辆处于换道状态；以及在换道车辆与其他车道的冲突对象发生碰撞前2s内，换道车辆与冲突对象的最小车头时距小于2s或者最小碰撞时间小于2.7s，这样能够保证发生了碰撞。
在一些实施例中，所述时序特征数据与车辆交通场景的时序特征相关，所述时序特征能够体现车辆在预定时间内各个时刻下的状态。所述时序特征数据可以为车辆的速度(横向速度、纵向速度)、加速度(横向加速度、纵向加速度)、方向盘加速度等；车辆之间的相对距离等。
在一些实施例中，所述时序特征在所述危险跟驰场景中可以包括后车的速度、前车的速度和所述后车与所述前车的相对距离。所述时序特征在所述危险换道场景中可以包括换道车辆和其他车道车辆各自的横向位置和纵向位置。
考虑到时序特征的数量过多会导致模型过拟合，时序特征的数量过少也不能准确描述一个交通场景，因此选择后车的速度、前车的速度和所述后车与所述前车的相对距离作为危险跟驰场景中的时序特征。
在一些实施例中，所述第一生成器可以为LSTM生成器，其能够更好地学习场景数据中的时序特征的分布并生成与时序特征相关的序列数据。
在一些实施例中，所述第一生成器还可以为RNN生成器。
在步骤S120，以第二噪声序列数据作为输入，利用经对抗神经网络训练的第二生成器，生成所述车辆交通场景的属性特征数据。
其中，在步骤S120所述的车辆交通场景与步骤S110所述的车辆交通场景相同，为了简洁，在此不再赘述。
在一些实施例中，所述属性特征数据与所述车辆交通场景的属性特征相关，所述属性特征能够体现车辆状态在预定时间内的变化。
在一些实施例中，其中所述属性特征可以包括趋势、极值差和残差。所述趋势指示所述车辆的运动学特征在预定时间内呈现的变化，所述极值差指示所述车辆的运动学特征在预定时间内的最大数值差，以及所述残差指示所述车辆的运动学特征的除所述趋势和所述极值差之外的随机波动。
在一些实施例中，所述趋势可以指示车辆的速度、加速度和/或位移在预定时间内的上升或下降；所述极值差可以指示所述车辆的速度、加速度和/或位移在预定时间内的最大数值差；所述残差可以指示车辆的加速度和/或位移在预定时间内的上下波动。对于所述时序特征和属性特征的具体描述可以参见本申请的训练方法的示例性具体实现部分中的步骤S21。
在一些实施例中，所述第二生成器可以为CNN生成器，其能够更好地学习场景数据中的属性特征并生成与属性特征数据。
在步骤S130，利用所述时序特征数据和所述属性特征数据，合成所述车辆交通场景的初始场景数据。
在步骤S140，修正所述初始场景数据，以得到所述车辆交通场景的最终场景数据。
由于生成的初始场景数据是第一生成器和第二生成器在场景的时序数据的基础上加入随机噪声而生成的，因此，生成的场景的数据可能会存在很大波动或异常，不符合真实驾驶环境下的运动规则和物理条件。因此，通过制定一系列的约束条件对生成的初始场景数据进行修正是十分必要的。
在一些实施例中，所述约束条件可以为车辆的运动学约束条件，生成的最终场景数据符合切合实际，满足车辆的运动规律。
在一些实施例中，所述车辆的运动学约束条件包括：当所述初始场景数据中包含其至少一个车辆轨迹点的加速度大于指定加速度的车辆轨迹，则修正所述车辆轨迹；当修正后的车辆轨迹不满足车辆运动学则从所述初始场景数据中去除所述车辆轨迹。
在一些实施例中，当所述车辆交通场景是危险跟驰场景时，基于所述运动学约束条件修正所述初始场景数据还可以包括：当对于所述初始场景数据，在一个或多个时刻处后车和前车的速度均不大于0且后车和前车的加速度绝对值均小于第一加速度，则将所述初始场景数据中的在所述一个或多个时刻处的场景数据修改为修正为在所述一个或多个时刻的相邻时间处的场景数据的均值；其中，所述第一加速度例如可以为但不局限于4.5m/s2、4.8m/s2或5m/s2。
当对于所述初始场景数据，在至少一个时刻处后车和前车的距离小于或等于第二距离，则将所述初始场景数据中的在所述至少一个时刻处的场景数据修正为在所述至少一个时刻的相邻时间处的场景数据的均值；其中，所述第二距离例如可以为但不局限于0.3m～0.6m。
在一些实施例中，还包括：减少场景数据的采样频率，将在第一时间内采集第一数量的场景数据减少为第二数量。在一些实施例中，将采样频率从10Hz降低为1Hz，即在1s内采集10个场景数据降低为1s内采集1个场景数据，避免因采集的场景数据过多而造成模型的波动较大。
当所述危险交通场景是所述危险换道场景时，基于所述运动学约束条件修正所述初始场景数据还可以包括：当对于所述初始场景数据，同一车辆在一个或多个时间的相邻时刻上的纵向位置坐标之差不大于0,则将所述初始场景数据中的在所述一个或多个时刻处的所述本车的纵向位置修正为在所述一个或多个时间的相邻时间处的值；计算同一车辆在相邻时间的横向坐标差Δy是否是全正或全负，否则则将所述初始场景数据中的在所述一个或多个时刻处的所述本车的横向位置修正为在所述一个或多个时间的相邻时间处的值。
通过利用车辆运动学约束条件对生成的场景数据进行修正，能够将错误的场景数据修正或删除，增加了生成的场景数据的精确性。其中，关于车辆运动学约束条件的描述可以参照本申请的生成方法的具体示例性部分的步骤S5。
在一些实施例中，图2a所示的用于生成场景的方法还可以包括步骤S150。在步骤S150，基于所述车辆交通场景的最终场景数据，生成所述车辆交通场景的视频；当基于所生成的视频判定所述车辆交通场景正确，则保留所述车辆交通场景的最终场景数据。
其中，将生成的车辆交通场景的最终场景数据导入至仿真软件中，通过仿真软件能够生成最终场景数据对应的车辆交通场景的视频，从而操作者能够直观的观察生成的最终场景数据是否正确，将不正确的最终场景数据删除，保留正确的最终场景数据。
下面参照图2b对本申请的实施例提供的训练方法进行说明。图2b所示的训练方法例如可以由计算设备1500或任何其它合适的设备来实现。
如图2b所示，本申请的实施例提供的训练方法可以包括步骤S210-S220。
在步骤S210，从多个车辆交通场景的场景数据中提取多个时序特征数据和多个属性特征数据。
其中，所述车辆交通场景可以与S110所述的车辆交通场景相同；所述时序特征数据、所述属性特征数据与S110和S120所述的时序特征数据、所述属性特征数据相同，在此不再赘述。
在步骤S220，利用所述多个时序特征数据和所述多个属性特征数据，对生成对抗网络进行训练，以训练得到用于生成所述时序特征数据的第一生成器和用于生成所述属性特征数据的第二生成器。
如图4b所示，所述生成对抗网络230可以包括具有所述第一生成器11和第一判别器12的第一子生成对抗网络10以及具有所述第二生成器21和第二判别器22的第二子生成对抗网络20，所述第一子生成对抗网络10利用所述多个时序特征数据进行训练，以及，所述第二子生成对抗网络利用所述多个属性特征数据进行训练。
其中，所述第一生成器11根据输入的随机噪声，生成与所述时序特征数据相同维度的多个生成时序特征数据，所述第一判别器12获取多个时序特征数据和多个生成时序特征数据，并对所述时序特征数据和生成时序特征数据进行判别，所述第一生成器根据所述第一判别器的判别结果调整自身的参数，直至所述第一判别器12生成的损失函数收敛；然后，所述第一判别器12根据所述第一生成器调整自身参数，直至第一子生成对抗网络10生成的第一损失函数收敛。
同样，所述第二生成器21根据输入的随机噪声，生成与所述属性特征数据相同维度的多个生成属性特征数据，所述第二判别器22获取多个属性特征数据和多个生成属性特征数据，并对所述属性特征数据和生成属性特征数据进行判别，所述第二生成器根据所述第二判别器的判别结果更新自身的参数，直至所述第二判别器22生成的损失函数收敛；然后，所述第二判别器22根据所述第二生成器21调整自身参数，直至第二子生成对抗网络20生成的第二损失函数收敛。
两个子生成对抗网络分别利用时序特征数据和属性特征数据进行训练，两个子生成对抗网络的权值不共享。以这种方式进行训练，能够使生成器更好地学习序列数据中不同类型的特征，从而使训练完成的生成器生成的序列数据更加可靠。
在一些实施例中，所述生成对抗网络的损失函数是所述第一子生成对抗网络和所述第二子生成对抗网络各自的损失函数的加权和。
通过采用两个单独的子生成对抗网络分别利用时序特征数据和属性特征数据进行训练，从而能够更好的学习数据的时序特征和属性特征，使得生成器的训练结果更加可靠。
在一些实施例中，如图2c所述，步骤S210还可以包括以下步骤S211-S215。
在步骤S211，从自然状况下的驾驶数据中，获取本车和周围交通参与者的行驶数据。
在一些实施例中，所述行驶数据可以通过安装在车辆上检测单元(例如：雷达、摄像头等)获取，还可以通过CAN总线和三轴加速度计来获取。所述行驶数据可以包括车辆的速度(横向速度、纵向速度)、加速度(横向加速度、纵向加速度)、方向盘加速度等；以及车辆之间的相对距离等。
在步骤S212，基于所定义的时空边界，将所述行驶数据还原为事件链数据。
其中，所述时空边界是人为定义的一段时间和一段空间。所述事件链数据能够表示车辆在一段时序和/或时间内的轨迹。
在步骤S213，对所述事件链数据中的行驶数据进行修复。
其中，还原的事件链数据可能存在数据缺失或者数据精度不足等问题，在一些情况下，车辆轨迹点可能在部分时刻缺失或在部分时刻偏离，因此将缺失的轨迹点进行补充并将偏离的轨迹点重新规划。
对于步骤S212的还原事件链数据和步骤S213的修复事件链数据的详细描述可以参照本申请的训练方法的示例性具体实现部分的步骤S12和步骤S13。
在步骤S214，从修复后的行驶数据中筛选出属于所述危险交通场景的行驶数据。
在本申请的一些实施例中，提取的危险场景为近事故场景(Near Crash)，基于不同速度区间定义近事故场景，即在不同的速度区间采用不同的线性函数作为分界线，详细定义标准如下表所示。
表1近事故场景定义标准
Figure BDA0002861252580000121
Figure BDA0002861252580000131
在上表中，v指速度，deg/s(角度/秒)表示单位；g(重力加速度)表示单位；km/h(千米/小时)表示单位。
首先可以根据表1提取全部近事故场景，然后通过下述筛选规则将危险跟驰场景、危险换道场景提取出来。
在一些实施例中，所述危险交通场景可以包括：危险跟驰场景、危险换道场景等其中，所述危险跟驰场景的筛选条件可以为：在同一车道的两连续车辆在发生碰撞前，两连续车辆的前车与后车发生车辆碰撞之前10s内，后车始终跟随同一辆前车，这样能够保证两车辆具有稳定的跟驰关系，排除由于其它车辆插入两车辆之间造成后车制动的情况；其中前车的定义为与后车横向距离小于2m的前方空间内，纵向距离最近的同向行驶车辆；以及在所述车辆碰撞之前的5s内，后车与前车的纵向车头时距始终小于2s，这样能够排除车辆的排队停车情况；其中所述纵向净距离可以是后车车头到前车车尾的距离(后车上布置的距离检测单元的位置与前车车尾的距离)，纵向车头时距＝(纵向净距离+后车车长)/本车的速度。
在一些实施例中，所述危险换道场景的筛选条件可以为：在换道车辆与其他车道车辆(冲突对象)发生碰撞之前和之后各5s内，换道车辆的横向位移超过2m，且换道车辆与冲突对象的横向间距大于2m，这样能够保证换道车辆发生了明显横向位移；在换道车辆与冲突对象发生碰撞前5s内，换道车辆的转向角速度大于2deg/s，这样能够保证换道车辆处于换道状态；以及在换道车辆与冲突对象发生碰撞前2s内，换道车辆与冲突对象的最小车头时距小于2s或者最小碰撞时间小于2.7s，这样能够保证发生了碰撞。
在步骤S215，从所筛选的行驶数据中，得到所述危险交通场景的场景数据。
上文结合图2a-2b详细描述了本申请的方法实施例，下面结合图3-4详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，在装置实施例中未详细描述的部分可以参见前面方法实施例。
下面参照附图3对本申请的实施例提供的用于生成场景的装置进行说明。
如图3所示，本申请的实施例提供的用于生成场景的装置1000包括生成单元100、合成单元200和修正单元300。
生成单元100包括第一生成单元和第二生成单元，所述第一生成单元包括已训练的第一生成器11，所述第二生成单元包括已训练的第二生成器12。以第一噪声数据作为输入，利用已经生成对抗网络训练的第一生成器11来生成车辆交通场景的时序特征数据，以及以第二噪声数据作为输入，利用已经生成对抗网络训练的第二生成器12来生成所述车辆交通场景的属性特征数据。
其中，所述车辆交通场景、所述时序特征数据和所述属性特征数据与本申请实施例提供的用于生成场景的方法中相同，在此不再赘述。
合成单元200用于合并所述时序特征数据和所述属性特征数据，得到所述车辆交通场景的初始场景数据。
修正单元300用于基于约束条件修正所述初始场景数据，以得到所述车辆交通场景的最终场景数据。
其中，所述约束条件与本申请实施例提供的用于生成场景的方法中相同，在此不再赘述。
在一些实施例中，装置1000还可以包括仿真模拟单元400，其基于所述车辆交通场景的最终场景数据，生成所述车辆交通场景的视频；以及当所生成的视频判定所述车辆交通场景正确，则保留所述车辆交通场景的最终场景数据。
其中，如图17所示，所述模拟单元可以为PreScan等仿真模拟软件，基于最终场景数据生成一段交通场景的视频，能够直观的观察生成的交通场景数据是否正确。
下面参照附图4a-4c对本申请的实施例提供的训练装置2000进行说明。
如图4a所示，本申请的实施例提供的训练的装置2000可以包括获取单元210和训练单元220。
获取单元210用于从多个实际车辆交通场景的场景数据中获取多个时序特征数据和多个属性特征数据。
训练单元220用于利用所述多个时序特征数据和所述多个属性特征数据，对生成对抗网络230进行训练，以训练得到用于生成所述时序特征数据的第一生成器11和用于生成所述属性特征数据的第二生成器12。
在一些实施例中，如图4b所示，所述生成对抗网络230可以包括具有所述第一生成器11和第一判别器12的第一子生成对抗网络10以及具有所述第二生成器21和第二判别器22的第二子生成对抗网络20。第一子生成对抗网络10利用所述多个时序特征数据进行训练，其中，第一生成器11以第一随机噪声数据作为输入，输出时序特征数据，所述第一判别器12对时序特征数据和第一生成器11输出的时序特征数据进行判别；以及，所述第二子生成对抗网络利用所述多个属性特征数据进行训练，其中，第二生成器21以第二随机噪声作为输入，输入属性特征数据，所述第二判别器22对属性特征数据和第二生成器21输出的属性特征数据进行判别。其中，两个子生成对抗网络分别对时序特征数据和属性特征数据进行训练，两个子生成对抗网络的权值不共享。
在一些实施例中，如图4c所示，装置2000还可以包括检测单元31、还原单元32、修复单元33、筛选单元34和形成单元35。
检测单元31用于从自然状况下的驾驶数据中，获取本车和周围交通参与者的行驶数据。其中，所述检测单元31可以是安装在车辆上雷达、摄像头等，还可以是道路测速装置、道路测距装置或三轴加速度计等。
还原单元32用于基于所定义的时空边界，将所述行驶数据还原为事件链数据。
修复单元33用于对所述事件链数据中的行驶数据进行修复。
其中，所述还原单元32可以为能够将车辆的行驶数据还原为车辆的轨迹在一段时间内变化的二维数据的软件，所述修复单元33为能够对所述二维数据进行数据修复的软件。
筛选单元34，其用于从修复后的行驶数据中筛选出属于所述危险交通场景的行驶数据；其中，所述筛选单元为能够执行步骤S214筛选条件的软件。
形成单元35，用于从所筛选的行驶数据中，得到所述危险交通场景的场景数据。
下面，参照附图5-15，对本申请的训练方法的示例性具体实现进行详细说明。
其中，步骤S11-S15是获取危险场景的场景数据的步骤。
如图5所示，在步骤S11，通过设置在本车上的雷达、摄像头等检测单元检测本车和周围交通参与者(例如是周围车辆以及行人)的速度、加速度、转向角、位置等的行驶数据。
在步骤S12，定义时空边界，基于所定义的时空边界，利用还原单元将所述行驶数据还原为初始事件链数据。
其中，所述还原单元能够与所述检测单元连接，并获取S11中获取的行驶数据。
在一些实施例中，如图6所示，对本车1从当前车道(在图中用虚线表示)行驶到相邻车道(在图中用实线表示)这一场景构建事件链数据。还原本车1从当前车道行驶到相邻车道这一时间段内，本车1、背景车2、背景车3以及背景车4的轨迹。如图7所示，以时间为X轴，以背景车在横向方向上的位置为Y轴。背景车在Y轴的坐标随时间变化构成的连线表示在一段时间内的背景车在横向方向的轨迹。以本车1在纵向方向的位置为X轴，以与本车1在横向方向的位置为Y轴，本车在X轴和Y轴的坐标点的连线构成一段时间内的本车1的轨迹。
在一些实施例中，如图8所示，对本车1从第一位置(用虚线表示)跟随背景车2行驶到第二位置(用实线表示)这一场景构建事件链数据，还原本车1从第一位置行驶到第二位置这一时间段内，本车1与背景车2以及背景车3的行驶轨迹。如图9所示，以时间为X轴，以背景车2和背景车3在横向方向的位置为Y轴，背景车2和背景车3在Y轴的坐标随时间变化构成的连线表示在一段时间内的背景车2和背景车3在横向方向的轨迹。以本车1在纵向方向的位置为X轴，以与本车1在横向方向的位置为Y轴，本车在X轴和Y轴的坐标点的连线构成一段时间内的本车1的轨迹。
在步骤S13，利用修复单元对所述初始事件链数据中的行驶数据进行修复，得到最终事件链数据。
从图7和图9中能够看出，背景车2、背景车3以及背景车4在部分时刻的位置坐标较整体来讲偏离过大，背景车轨迹不够准确；以及本车1的部分坐标点缺失。因此，修复部分偏离的背景车的Y坐标，形成新的车辆轨迹，如图10所示；以及对缺失的本车1的坐标进行补充，构成一条连续的车辆轨迹，如图11所示。
在步骤S14，从最终事件链数据中筛选出属于所述危险交通场景的行驶数据。
以危险跟驰场景和危险换道场景为例，其中，对危险跟驰场景的筛选条件如下：
危险事件发生前10s本车始终跟随同一辆前车，其中前车的定义为与本车横向距离小于2m的前方空间内、与本车纵向距离最近的同向行驶的车辆。这样能够确定本车和前车之间具有稳定的跟驰关系，排除其它车辆插入本车和前车之间后本车再制动造成的影响。
危险事件发生前5s内本车与前车的纵向车头时距始终小于2s，其中，纵向车头时距＝(本车与前车的纵向净距离+本车车长)/本车的速度。这样能够排除车辆的排队停车情况；其中检测到的距离可为检测装置布设位置到前车车尾的距离。
对危险换道场景的筛选条件如下：
在危险事件发生时刻的前后各5s内，本车在横向上的位移超过2m，本车与冲突对象在横向上的间距大于2m，这样能够表明本车在横向上发生了明显移动，其中，横向为与本车在换道前的行驶方向垂直的方向。
在危险事件发生时刻的前后各5s内，本车的转向角速度大于2deg/s，这样能够表面本车处于换道状态。
在危险事件发生时刻的前2s内本车与冲突对象的最小车头时距小于2s或者最小碰撞时间小于2.7s，这样能够保证存在高风险事件。
在步骤S15，形成单元根据危险交通场景的行驶数据得到危险场景的序列数据。
不同的危险交通场景的行驶数据有很多，(例如可以包括：在各个时刻下的速度、加速度、转向角速度、位移等)。如果使用的数据过多，则会造成训练模型的过拟合，而使用的数据过少或不准确，则不能很好的对一种场景进行描述。在一些实施例中，采用在各个时刻下，本车的速度、前车的速度和所述本车与所述前车的相对距离这三种序列数据对跟驰场景进行描述；用在各个时刻下，本车和前车各自的横向位置和纵向位置这两种序列数据对换道场景进行描述。
本领域技术人员应当理解，当危险场景的场景数据已经预先获取，则可以不进行S11-S15，而是直接利用已有的危险场景的场景数据进行训练。
步骤S21-步骤S22是利用危险场景的场景数据进行训练的步骤。
在步骤S21，从所述危险场景的场景数据中提取具有时序特征的多个时序特征数据，以及具有属性特征的多个属性特征数据。
对于一种场景，时序特征能够体现车辆在预定时间内各个时刻下的状态，其中，在危险跟驰场景下，所述时序特征体现在各个时刻下，本车的速度、前车的速度和所述本车与所述前车的相对距离；在危险换道场景中，所述时序特征体现在各个时刻下，本车和前车各自的横向位置和纵向位置。
由于时序特征在一些时候不足以描述一个危险场景，因此，为了能够更全面准确的描述一个危险场景，还需要进一步的从危险场景的场景数据中提取属性特征对危险场景进行描述，以体现车辆在预定时间内的变化。
在本申请的实施例中，采用STL(Seasonal-Trend decomposition procedurebased on Loess)对场景的数据进行属性特征的提取。将场景数据Y分解成趋势分量T、极值差分量S和残差分量R。
Yu＝Tu+Su+Ru
STL分为内循环(inner loop)与外循环(outer loop)。其中内循环主要为趋势分量T拟合和极值差分量S计算。假定
Figure BDA0002861252580000171
分别为内循环第k-1次结束时的趋势分量和周期分量。内循环具体步骤如下：
步骤S01：初始化
Figure BDA0002861252580000172
步骤S02：去上一轮结果的趋势分量，
Figure BDA0002861252580000173
步骤S03：周期子场景数据平滑。
对每个子场景数据进行LOESS(locally weighted regression，局部加权回归)(参数q＝ns,d＝1)回归，并向前后各延展1个时间戳，组合得到长度为(N+2np)的场景数据
Figure BDA0002861252580000174
其中u＝-np+1,…,-N+np。
步骤S04：周期子场景的低通量过滤。对
Figure BDA0002861252580000175
分分别进行长度为np、np、3的滑动平均，再进行一次LOESS(参数q＝n_l,d＝1)回归，得到长度为N的场景数据
Figure BDA0002861252580000176
去除周期性差异。
步骤S05：去除平滑周期子场景趋势，
Figure BDA0002861252580000177
步骤S06：去除周期分量，
Figure BDA0002861252580000178
步骤S07：趋势分量平滑，对于去除周期之后的场景数据做LOESS(参数q＝nt,d＝1)回归，得到趋势分量
Figure BDA0002861252580000179
步骤S08：判断是否收敛。若收敛，得到Tu、Su、Ru，结束循环；否则，跳回步骤S01。
其中，np为一个周期的样本数，ns、nl、nt分别为三次LOESS的平滑参数。
外层循环主要用于调节鲁棒权重。每一次迭代的内循环中，在LOESS回归时，邻域权重需要乘以鲁棒权重，以减少异常值对回归的影响。
通过上述方法，提取得到场景数据中属性特征，其能够体现车辆在一段时间内呈现的趋势变化、极值差变化和残差变化。
例如，趋势可以包括体现车辆速度在预定时间内呈现的持续向上或向下的变化，变化越大，场景越不稳定，判定为越危险。极值差变化越大，场景越危险，例如，极值差可以包括车辆速度在预定时间内的最大变化量。残差指示除所述趋势和所述极值差之外的随机波动，波动越频繁，表示场景越危险。
下面结合附图12-15，分别采用两种跟驰场景和两种换道场景对属性特征和时序特征进行说明。
在附图中，纵向方向表示道路延伸方向，横向方向表示垂直于道路延伸的方向，虚线表示车辆和/或行人在前一时刻的位置，实线表示车辆和/或行人在当前时刻的位置，虚线和实线之间的连线表示车辆的行驶轨迹。
危险换道场景一:
如图12所示，在本车1从虚线位置行驶到实线位置时，背景车2突然换道，背景车3减速至停止。在这种场景中，同一时刻下能够根据本车1、背景车2以及背景车3的横向位置x以及纵向位置y得出背景车3与本车1的横向相对距离Δx、背景车3与本车1纵向相对距离Δy。本车1在行驶至实线位置这一时刻的速度与本车1减速至停止这一时刻的速度之间的差Δv1表示的本车1的极值差。在这种情况下，Δx和Δy均满足安全指标，但由于本车1的行驶速度在发现背景车2转向的时刻起突然降低，导致本车1的极值差较大，不满足安全指标。导致该场景不稳定，容易发生危险。
危险跟驰场景一:
如图13所示，本车1始终跟随背景车2，在经过十字路口时，背景车2先减速，确认路口绿灯且无行人之后加速，本车1同时先减速，确认路口无行人通过后加速，在本车1行驶至十字路口中央(实线位置)时，突然行人5横穿马路，导致和本车1减速，在行人5快速穿过路况时本车1又加速。在这种场景下，本车1和背景车2的速度同时先减小，满足安全指标，本车1和背景车2之间的相对距离也符合安全指标，但本车1在发现行人5经过路口时突然减速，在行人5快速穿过路况时本车1又加速，使得在这段时间内，本车1的速度进行多次随机的波动，导致该场景不稳定，容易发生危险。
危险换道场景二:
如图15所示，位于出租车停车位的本车1正进行换道动作，此时背景车3抢先完成换道动作且背景车3与背景车2的在纵向方向上的距离小于本车1的车身长度。在这种场景下，本车1与背景车2和背景车3的横向相对距离和纵向相对距离不满足安全指标，导致在这种场景下，本车1容易与背景车2和/或背景车3发生碰撞。
危险跟驰场景二:
如图14所示，本车1跟随背景车2行驶，在经过路口路段时，背景车2的前方突然有行人5经过，此时背景车2突然减速，导致本车1和背景车2之间的相对距离减小，不满足安全指标，导致在这种场景下，本车1容易与背景车2发生碰撞。
在步骤S22，利用与时序特征有关的所述多个时序特征数据和与属性特征有关的所述多个属性特征数据对生成对抗网络进行训练，以训练得到用于生成所述时序特征数据的第一生成器和用于生成所述属性特征数据的第二生成器；如图4b所示，所述生成对抗网络230可以包括具有所述第一生成器11和第一判别器12的第一子生成对抗网络10以及具有所述第二生成器21和第二判别器22的第二子生成对抗网络20，所述第一子生成对抗网络10利用所述多个时序特征数据进行训练，以及，所述第二子生成对抗网络20利用所述多个属性特征数据进行训练。其中，两个子生成对抗网络10和20分别对时序特征数据和属性特征数据进行训练，两个子生成对抗网络的权值不共享。
其中，所述第一生成器可以为LSTM生成器，所述第二生成器可以为CNN生成器。
如图4b所示，在所述第一子生成对抗网络10内，当对第一判别器12进行训练时，第一生成器11根据随机第一噪声数据生成时序特征数据。然后，使用从场景序列数据获取的时序特征数据作为正样本和第一生成器11生成的时序特征数据作为负样本来训练所述第一判别器12。
在所述第一子生成对抗网络10内，当对第一生成器11进行训练时，所述第一生成器11根据第一随机噪声数据生成时序特征数据。然后，第一判别器12对第一生成器11生成的时序特征进行分类，并根据分类结果对第一生成器11的参数进行调整。重复上述操作，直到第一生成器11生成的时序特征数据被第一判别器12分类为正样本。
如图4b所示，在所述第二子生成对抗网络20内，当对第二判别器22进行训练时，第二生成器21根据随机第二噪声数据生成属性特征数据。然后，使用从场景序列数据中获取的属性特征数据作为正样本和第二生成器21生成的属性特征数据作为负样本来训练所述第二判别器22。
在所述第二子生成对抗网络20内，当对第二生成器21进行训练时，所述第二生成器21根据随机第二噪声数据生成属性特征数据。然后，第二判别器22对该属性特征数据数据进行分类，并根据分类结果对第二生成器21的参数进行调整。重复上述操作，直到第二生成器21生成的属性特征数据被第二判别器22分类为正样本。
第一子生成对抗网络10的第一损失函数和第二子生成对抗网络20第二损失函数加权求和，得到生成对抗网络230的损失函数。在每次对第一判别器12和第二判别器22进行训练的时候，当生成对抗网络230的损失函数达到最小或预设值时，结束对第一判别器12和第二判别器22的训练。
下面结合图16对本申请的生成方法的具体示例性实现进行详细描述。
如图16所示，本申请的示例性实现的用于生成场景的方法包括步骤S3-S7。
在步骤S3，利用已训练的第一生成器，生成危险车辆交通场景的时序特征数据；利用已训练的第二生成器，生成所述危险车辆交通场景的属性特征数据。
在步骤S4，利用所述时序特征数据和所述属性特征数据，合成所述危险车辆交通场景的初始场景数据。
在步骤S5，修正所述初始场景数据，以得到所述危险车辆交通场景的最终场景数据。
其中，当所述危险交通场景是所述危险跟驰场景时，步骤S5可以进一步包括：
当对于所述初始场景数据，在一个或多个时刻处所述本车和所述前车的速度均不大于0且所述本车和所述前车的加速度绝对值均小于4.8m/s2，则将所述初始场景数据中的在所述一个或多个时刻处的场景数据修正为在所述一个或多个时刻的相邻时间处的场景数据的均值；
当对于所述初始场景数据，在至少一个时刻处所述本车和所述前车的距离小于或等于0.5m，则将所述初始场景数据中的在所述至少一个时刻处的场景数据修正为在所述至少一个时刻的相邻时间处的场景数据的均值；
降低场景数据的采样频率，例如，从10Hz降低为1H在，即将在1秒内采集10个场景数据降低为在1秒内采集1个场景数据。使本车和/或背景车在同一预定时间内的各个时刻的对应的数据信息构成的连线更为平滑。
当所述危险交通场景是所述危险换道场景时，S5可以进一步包括：
当对于所述初始场景数据，本车在一个或多个时间的相邻时间上的纵向位置坐标之差不大于0，则将所述初始场景数据中的在所述一个或多个时间处的所述本车的纵向位置修正为在所述一个或多个时间的用上一时间戳的值修正；
计算本车在相邻时间的横向坐标差Δy是否是全正或全负，否则用上一时间戳的值修正。
动力学约束条件修正所述初始场景数据包括：
对于加速度大于10m/s2的车辆的轨迹点，采用三次样条插值法重新计算其前后1秒的车辆轨迹点；
采用低通滤波器(Low Pass Filter)对车辆的轨迹进行修正；
对于加速度大于5m/s2的车辆的轨迹点，采用五次多项式插值对轨迹进行重新规划；
再次采用低通滤波器对车辆的轨迹进行修正；
将所述车辆的轨迹点带入以下车辆运动学公式验证车辆轨迹是否满足车辆运动学。
vt＝vt-1+at-1t 公式 (1)
Figure BDA0002861252580000201
在公式(1)中，vt为当前时刻车辆的速度，vt-1为前一时刻车辆的速度，at-1为前一时刻车辆的加速度，t为时间；在公式(2)中，xt为当前时刻车辆的位移，xt-1为前一时刻车辆的位移。
在步骤S6，基于所述车辆交通场景的最终场景数据，生成所述车辆交通场景的视频。
在步骤S7，基于所生成的视频判定所述车辆交通场景正确，则保留正确的最终场景数据。
将修正后的危险场景数据输入仿真软件中生成视频，如图17所示，能够直观的对该生成的危险场景进行判断，然后将正确的场景放入最终的生成场景库中以供使用。
通过本申请提供的用于生成场景的方法，其能够基于现实中有限的交通场景，派生更多可靠的交通场景，在场景的数量方面满足了虚拟测试的要求。
通过设置不同的子生成对抗网络分别对交通场景中的不同特征进行学习，相比于现有技术，其能够很好的学习交通场景的不同特征的分布。
通过利用约束条件对生成的场景数据进行修正，从而将错误的场景数据删除，增加训练结果的精确度，提升生成结果的可靠性。
下面参照附图，对本申请实施例提供的计算设备进行描述。
图18是本申请实施例提供的一种计算设备1500的结构性示意性图。该计算设备1500包括处理器1510、存储器1520、通信接口1530和总线1540。存储器1520和通信接口1530可以通过总线1540与处理器1510连接。
应理解，图15所示的计算设备1500中的通信接口1530可以用于与其他设备之间进行通信。
该存储器1520可以用于存储该程序代码和数据。因此，该存储器1520可以是处理器1510内部的存储单元，也可以是与处理器1510独立的外部存储单元，还可以是包括处理器1510内部的存储单元和与处理器1510独立的外部存储单元的部件。
总线1540可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线1540可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
应理解，在本申请实施例中，该处理器1510可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1510采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。
该存储器1520可以包括只读存储器和随机存取存储器，并向处理器1510提供指令和数据。处理器1510的一部分还可以包括非易失性随机存取存储器。例如，处理器1510还可以存储设备类型的信息。
在计算设备1500运行时，所述处理器1510执行所述存储器1520中的计算机执行指令执行上述方法的操作步骤。
应理解，根据本申请实施例的计算设备1500可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备1500中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种多样化问题生成方法，该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施例，均属于本申请的保护范畴。

Claims (29)

1.一种生成车辆交通场景的方法，其特征在于，包括：
将第一噪声数据输入经生成对抗网络训练得到的第一生成器，生成时序特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态；
将第二噪声数据输入经所述生成对抗网络训练得到的第二生成器，生成属性特征数据，所述属性特征数据体现在预定时长内所述车辆状态的变化；
合并所述时序特征数据和所述属性特征数据，得到车辆交通场景的初始场景数据；以及
修正所述初始场景数据，将超过指定阈值的初始场景数据修正为在所述指定阈值内，以得到最终场景数据。
2.根据权利要求1所述的方法，其特征在于，所述车辆交通场景包括第一车辆交通场景，所述第一车辆交通场景满足以下条件：
在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及
在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
3.根据权利要求1所述的方法，其特征在于，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：
在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及
在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆的车头与所述其他车道车辆的车尾的距离与所述换道车辆的速度的比值。
4.根据权利要求1所述的方法，其特征在于，所述初始场景数据包括加速度，
对所述初始场景数据的修正包括：
将超过指定加速度阈值的加速度修正为在所述指定加速度阈值内。
5.根据权利要求2所述的方法，其特征在于，当所述车辆交通场景是所述第一车辆交通场景时，所述初始场景数据包括：在各个时刻下前车速度、后车速度以及所述前车和所述后车的相对距离；
对所述初始场景数据的修正包括：
将速度小于0的且加速度大于第一加速度的初始场景数据修正为速度大于0且加速度小于第一加速度；
将相对距离不大于第二距离的初始场景数据修正为纵向相对距离大于所述第二距离。
6.根据权利要求3所述的方法，其特征在于，当所述车辆交通场景是所述第二车辆交通场景时，所述初始场景数据包括：在各个时刻下所述换道车辆的横向位置和纵向位置、所述其他车道车辆的横向位置和纵向位置；
对所述初始场景数据的修正包括：
将纵向位置之差为0的初始场景数据修正为纵向坐标差大于0，
将横向位置之差为0的初始场景数据修正为横向坐标差大于0。
7.根据权利要求1-6中任一项所述的方法，还包括：
基于所述车辆交通场景的最终场景数据，生成所述车辆交通场景的视频。
8.一种用于生成对抗网络的训练方法，其特征在于，所述生成对抗网络包括具有第一生成器的第一子生成对抗网络和具有第二生成器的第二子生成对抗网络，所述方法包括：
从车辆交通场景的场景数据中提取时序特征数据和属性特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态，所述属性特征数据体现在预定时长内所述车辆状态的变化；
利用所述时序特征数据和第一噪声数据对所述第一子生成对抗网络进行训练，以得到用于生成所述时序特征数据的第一生成器；利用所述属性特征数据和第二噪声数据对所述第二子生成对抗网络进行训练，以得到用于生成所述属性特征数据的第二生成器；
所述第一子生成对抗网络和所述第二子生成对抗网络各自的损失函数的加权和构成所述生成对抗网络的损失函数。
9.根据权利要求8所述的方法，其特征在于，所述车辆场景包括第一车辆交通场景，所述第一车辆交通场景满足以下条件：
在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及
在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
10.根据权利要求8所述的方法，其特征在于，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：
在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及
在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆与所述其他车道车辆的距离与所述换道车辆的速度的比值。
11.根据权利要求9所述的方法，其特征在于，所述时序特征数据包括在各个时刻下后车的速度、前车的速度和所述后车与所述前车的相对距离。
12.根据权利要求10所述的方法，其特征在于，所述时序特征数据包括在各个时刻下所述换道车辆和所述其他车道车辆各自的横向位置和纵向位置。
13.根据权利要求10所述的方法，其特征在于
所述车辆状态的变化包括预定时间内呈现的趋势变化、极值差变化和残差变化。
14.一种生成车辆交通场景的装置，其特征在于，包括：
经生成对抗网络训练得到的第一生成器，其用于根据输入的第一噪声数据生成时序特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态；
经所述生成对抗网络训练得到的第二生成器，其用于根据输入的第二噪声数据生成属性特征数据，所述属性特征数据体现在预定时长内所述车辆状态的变化；
合并单元，其用于合并所述时序特征数据和所述属性特征数据，得到车辆交通场景的初始场景数据；以及
修正单元，其用于修正所述初始场景数据，将超过指定阈值的初始场景数据修正为在所述指定阈值内，以得到最终场景数据。
15.根据权利要求14所述的装置，其特征在于，所述车辆交通场景包括第一车辆交通场景，所述第一车辆交通场景满足以下条件：
在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及
在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
16.根据权利要求14所述的装置，其特征在于，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：
在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及
在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆与所述其他车道车辆的距离与所述换道车辆的速度的比值。
17.根据权利要求14所述的装置，其特征在于，所述初始场景数据包括加速度，
对所述初始场景数据的修正包括：
将超过指定加速度阈值的加速度修正为在所述指定加速度阈值内。
18.根据权利要求15所述的装置，其特征在于，当所述车辆交通场景是所述第一车辆交通场景时，所述初始场景数据包括：在各个时刻下前车速度、后车速度以及所述前车和所述后车的相对距离；
对所述初始场景数据的修正包括：
将速度小于0的且加速度大于第一加速度的初始场景数据修正为速度大于0且加速度小于第一加速度；
将相对距离不大于第二距离的初始场景数据修正为纵向相对距离大于所述第二距离。
19.根据权利要求16所述的装置，其特征在于，当所述车辆交通场景是所述第二车辆交通场景时，所述初始场景数据包括：在各个时刻下所述换道车辆的横向位置和纵向位置、所述其他车道车辆的横向位置和纵向位置；
对所述初始场景数据的修正包括：
将纵向位置之差为0的初始场景数据修正为纵向坐标差大于0，
将横向位置之差为0的初始场景数据修正为横向坐标差大于0。
20.根据权利要求14-19中任一项所述的装置，还包括：
仿真模拟单元，其基于所述车辆交通场景的最终场景数据，生成所述车辆交通场景的视频。
21.一种用于生成对抗网络的训练装置，其特征在于，包括：
提取单元，其从车辆交通场景的场景数据中提取时序特征数据和属性特征数据，所述时序特征数据体现在预定时长内各个时刻的车辆状态，所述属性特征数据体现在预定时长内所述车辆状态的变化；
生成对抗网络，其包括具有第一生成器的第一子生成对抗网络和具有第二生成器的第二子生成对抗网络，所述第一子生成对抗网络利用所述时序特征数据和第一噪声数据进行训练，以得到用于生成所述时序特征数据的第一生成器；所述第二子生成对抗网络利用所述属性特征数据和第二噪声数据进行训练，以得到用于生成所述属性特征数据的第二生成器；
其中，所述第一子生成对抗网络和所述第二子生成对抗网络各自的损失函数的加权和构成所述生成对抗网络的损失函数。
22.根据权利要求21所述的装置，其特征在于，所述车辆交通场景为第一车辆交通场景，所述第一车辆交通场景满足以下条件：
在同一车道的两连续车辆发生碰撞之前的第一时长内，所述两连续车辆的后车始终跟随前车；以及
在所述两连续车辆发生碰撞之前的第二时长内，所述后车与所述前车的纵向车头时距小于预设值，所述纵向车头时距为所述后车的车尾与所述前车的车尾的距离与所述后车的速度的比值。
23.根据权利要求21所述的装置，其特征在于，所述车辆交通场景包括第二车辆交通场景，所述第二车辆交通场景满足以下条件：
在换道车辆与其他车道车辆发生碰撞之前和之后的第二时长内，所述换道车辆的横向位移超过第一距离、所述换道车辆的转向角速度大于指定角速度；以及
在所述换道车辆与其他车道车辆发生碰撞之前的第三时长内，所述换道车辆与所述其他车道车辆的最小车头时距小于所述第三时长或最小碰撞时间小于第四时长，所述最小车头时距为所述换道车辆与所述其他车道车辆的距离与所述换道车辆的速度的比值。
24.根据权利要求22所述的方法，其特征在于，所述时序特征数据包括在各个时刻下后车的速度、前车的速度和所述后车与所述前车的相对距离。
25.根据权利要求23所述的方法，其特征在于，所述时序特征数据包括在各个时刻下所述换道车辆和所述其他车道车辆各自的横向位置和纵向位置。
26.根据权利要求21所述的方法，其特征在于
所述车辆状态的变化包括预定时间内呈现的趋势变化、极值差变化和残差变化。
27.一种计算设备，其特征在于，包括：
总线；
通信接口，其与所述总线连接；
至少一个处理器，其与所述总线连接；以及
至少一个存储器，其与所述总线连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行权利要求1至13中任一所述的方法。
28.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令当被计算机执行时使得所述计算机执行权利要求1至13中任一所述的方法。
29.一种计算机程序，其特征在于，其包括有程序指令，所述程序指令当被计算机执行时使得所述计算机执行权利要求1-13中任一项所述的方法。
CN202011562991.4A 2020-12-25 2020-12-25 一种生成车辆交通场景的方法和装置、训练方法和装置 Active CN114694449B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011562991.4A CN114694449B (zh) 2020-12-25 2020-12-25 一种生成车辆交通场景的方法和装置、训练方法和装置
PCT/CN2021/132052 WO2022134981A1 (zh) 2020-12-25 2021-11-22 一种生成车辆交通场景的方法和装置、训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011562991.4A CN114694449B (zh) 2020-12-25 2020-12-25 一种生成车辆交通场景的方法和装置、训练方法和装置

Publications (2)

Publication Number Publication Date
CN114694449A true CN114694449A (zh) 2022-07-01
CN114694449B CN114694449B (zh) 2023-04-18

Family

ID=82129897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011562991.4A Active CN114694449B (zh) 2020-12-25 2020-12-25 一种生成车辆交通场景的方法和装置、训练方法和装置

Country Status (2)

Country Link
CN (1) CN114694449B (zh)
WO (1) WO2022134981A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115524996A (zh) * 2022-09-13 2022-12-27 工业和信息化部装备工业发展中心 模拟仿真场景库的边缘场景补充方法及装置
WO2024078332A1 (zh) * 2022-10-14 2024-04-18 比亚迪股份有限公司 模拟驾驶的方法、装置、车辆、云服务器和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190648A (zh) * 2018-06-26 2019-01-11 Oppo（重庆）智能科技有限公司 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
US10540798B1 (en) * 2019-01-10 2020-01-21 Capital One Services, Llc Methods and arrangements to create images
CN111044045A (zh) * 2019-12-09 2020-04-21 中国科学院深圳先进技术研究院 基于神经网络的导航方法、装置及终端设备
CN111090269A (zh) * 2018-10-24 2020-05-01 百度在线网络技术（北京）有限公司 基于生成对抗网络的传感器模拟方法、装置和存储介质
CN111091739A (zh) * 2018-10-24 2020-05-01 百度在线网络技术（北京）有限公司 自动驾驶场景的生成方法、装置和存储介质
CN111123920A (zh) * 2019-12-10 2020-05-08 武汉光庭信息技术股份有限公司 一种自动驾驶仿真测试场景生成方法和装置
CN111506980A (zh) * 2019-01-30 2020-08-07 斯特拉德视觉公司 对虚拟驾驶环境生成交通场景的方法及装置
CN111816022A (zh) * 2020-02-07 2020-10-23 北京嘀嘀无限科技发展有限公司 一种模拟场景的仿真方法、装置、存储介质以及电子设备
EP3745309A1 (en) * 2019-05-27 2020-12-02 Robert Bosch GmbH Training a generative adversarial network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7007183B2 (ja) * 2017-12-27 2022-01-24 日立Astemo株式会社 交通流制御装置、走行シナリオのデータ構造
CN111179585B (zh) * 2018-11-09 2021-12-07 上海汽车集团股份有限公司 自动驾驶车辆的场地测试方法及装置
CN110018927A (zh) * 2019-01-28 2019-07-16 北京工业大学 基于生成对抗网络的交通数据修复方法
CN111428625A (zh) * 2020-03-23 2020-07-17 武汉理工大学 一种基于深度学习的交通场景目标检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190648A (zh) * 2018-06-26 2019-01-11 Oppo（重庆）智能科技有限公司 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
CN111090269A (zh) * 2018-10-24 2020-05-01 百度在线网络技术（北京）有限公司 基于生成对抗网络的传感器模拟方法、装置和存储介质
CN111091739A (zh) * 2018-10-24 2020-05-01 百度在线网络技术（北京）有限公司 自动驾驶场景的生成方法、装置和存储介质
US10540798B1 (en) * 2019-01-10 2020-01-21 Capital One Services, Llc Methods and arrangements to create images
CN111506980A (zh) * 2019-01-30 2020-08-07 斯特拉德视觉公司 对虚拟驾驶环境生成交通场景的方法及装置
EP3745309A1 (en) * 2019-05-27 2020-12-02 Robert Bosch GmbH Training a generative adversarial network
CN111044045A (zh) * 2019-12-09 2020-04-21 中国科学院深圳先进技术研究院 基于神经网络的导航方法、装置及终端设备
CN111123920A (zh) * 2019-12-10 2020-05-08 武汉光庭信息技术股份有限公司 一种自动驾驶仿真测试场景生成方法和装置
CN111816022A (zh) * 2020-02-07 2020-10-23 北京嘀嘀无限科技发展有限公司 一种模拟场景的仿真方法、装置、存储介质以及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115524996A (zh) * 2022-09-13 2022-12-27 工业和信息化部装备工业发展中心 模拟仿真场景库的边缘场景补充方法及装置
WO2024078332A1 (zh) * 2022-10-14 2024-04-18 比亚迪股份有限公司 模拟驾驶的方法、装置、车辆、云服务器和存储介质

Also Published As

Publication number Publication date
WO2022134981A1 (zh) 2022-06-30
CN114694449B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111009153B (zh) 一种轨迹预测模型的训练方法、装置和设备
EP3217332B1 (en) Risk prediction method
CN110843789B (zh) 一种基于时序卷积网络的车辆换道意图预测方法
Althoff et al. Comparison of Markov chain abstraction and Monte Carlo simulation for the safety assessment of autonomous cars
Peng et al. Uncertainty evaluation of object detection algorithms for autonomous vehicles
CN114694449B (zh) 一种生成车辆交通场景的方法和装置、训练方法和装置
CN114323054B (zh) 自动驾驶车辆行驶轨迹的确定方法、装置及电子设备
Yoon et al. Interaction-aware probabilistic trajectory prediction of cut-in vehicles using gaussian process for proactive control of autonomous vehicles
CN115018016B (zh) 一种人工驾驶车辆换道意图识别方法和系统
CN114511999B (zh) 一种行人行为预测方法及装置
CN115017742B (zh) 自动驾驶测试场景生成方法、装置、设备及存储介质
US20220227391A1 (en) Systems and methods for scenario dependent trajectory scoring
CN113942524A (zh) 一种车辆行驶控制方法、系统及计算机可读存储介质
CN113935143A (zh) 通过自主车辆的增加的严重性等级估计碰撞概率
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
Kim et al. Driving style-based conditional variational autoencoder for prediction of ego vehicle trajectory
Schendzielorz et al. Infrastructure-based vehicle maneuver estimation at urban intersections
Gao et al. Discretionary cut-in driving behavior risk assessment based on naturalistic driving data
KR102197251B1 (ko) Rlr 판별 및 사고 방지를 위한 교통 신호 제어 방법 및 장치
US20230237810A1 (en) Method and system for annotating sensor data
CN113868875B (zh) 测试场景自动生成方法、装置、设备和存储介质
CN114822044A (zh) 一种基于隧道的行车安全预警方法及设备
CN115257801A (zh) 轨迹规划方法及装置、服务器、计算机可读存储介质
CN113029155A (zh) 机器人自动导航方法及装置、电子设备、存储介质
Meng et al. Vehicle Trajectory Prediction based Predictive Collision Risk Assessment for Autonomous Driving in Highway Scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant