CN111091739B - 自动驾驶场景的生成方法、装置和存储介质 - Google Patents
自动驾驶场景的生成方法、装置和存储介质 Download PDFInfo
- Publication number
- CN111091739B CN111091739B CN201811242530.1A CN201811242530A CN111091739B CN 111091739 B CN111091739 B CN 111091739B CN 201811242530 A CN201811242530 A CN 201811242530A CN 111091739 B CN111091739 B CN 111091739B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- simulated
- track
- vehicle
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Aviation & Aerospace Engineering (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提出一种自动驾驶场景的生成方法、装置和存储介质。该方法包括:将交通路网信息和随机定位点输入行人行为生成器,以生成初始行人轨迹;将交通路网信息和随机定位点输入障碍车行为生成器,以生成初始障碍车轨迹;根据行人行为判别器,对初始行人轨迹的真实度进行判别,以获得第一判别结果;根据障碍车行为判别器,对初始障碍车轨迹的真实度进行判别,以获得第二判别结果;根据第一判别结果和第二判别结果,获得综合判别值;如果综合判别值不符合预设条件,则调整行人行为生成器和障碍车行为生成器的参数后,重新执行生成步骤和判别步骤,直至综合判别值符合预设条件。本发明实施例可以提高仿真场景的真实度和仿真测试的准确性。
Description
技术领域
本发明涉及自动驾驶仿真技术领域,尤其涉及一种自动驾驶场景的生成方法、装置和存储介质。
背景技术
在仿真模拟中,需要为自动驾驶车辆构建仿真场景。现阶段,自动驾驶场景主要依赖人工编辑和路上采集,效率低下,且受限于采集地,使仿真结果可能不准确。
发明内容
本发明实施例提供一种自动驾驶场景的生成方法、装置和存储介质,以解决现有技术中的一个或多个技术问题。
第一方面,本发明实施例提供了一种自动驾驶场景的生成方法,包括:
将交通路网信息和随机定位点输入行人行为生成器,以生成初始行人轨迹;将所述交通路网信息和所述随机定位点输入障碍车行为生成器,以生成初始障碍车轨迹;
根据行人行为判别器,对所述初始行人轨迹的真实度进行判别,以获得第一判别结果;根据障碍车行为判别器,对所述初始障碍车轨迹的真实度进行判别,以获得第二判别结果;根据所述第一判别结果和所述第二判别结果,获得综合判别值;
如果所述综合判别值不符合预设条件,则调整所述行人行为生成器和障碍车行为生成器的参数后,重新执行生成步骤和判别步骤,直至所述综合判别值符合所述预设条件,完成对所述行人行为生成器和所述障碍车行为生成器的训练。
在一种实施方式中,所述自动驾驶场景的生成方法还包括:
根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成仿真行人轨迹和仿真障碍车轨迹;
根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的传感器数据。
在一种实施方式中,根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的传感器数据,包括:
根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
在一种实施方式中,所述自动驾驶场景的生成方法还包括:
根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成第一仿真行人轨迹和第一仿真障碍车轨迹;
根据所述第一仿真行人轨迹和所述第一仿真障碍车轨迹,确定自动驾驶子场景的起点;
将所述起点和所述交通路网信息输入所述训练好的行人行为生成器,以生成第二仿真行人轨迹;
将所述起点和所述交通路网信息输入所述训练好的障碍车行为生成器,以生成第二仿真障碍车轨迹。
在一种实施方式中,所述自动驾驶场景的生成方法还包括:
根据所述第二仿真行人轨迹、所述第二仿真障碍车轨迹、所述交通路网信息、所述起点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
第二方面,本发明实施例提供了一种自动驾驶场景的生成装置,包括:
第一生成模块,用于将交通路网信息和随机定位点输入行人行为生成器,以生成初始行人轨迹;将所述交通路网信息和所述随机定位点输入障碍车行为生成器,以生成初始障碍车轨迹;
判别模块,用于根据行人行为判别器,对所述初始行人轨迹的真实度进行判别,以获得第一判别结果;根据障碍车行为判别器,对所述初始障碍车轨迹的真实度进行判别,以获得第二判别结果;根据所述第一判别结果和所述第二判别结果,获得综合判别值;
调整模块,用于如果所述综合判别值不符合预设条件,则调整所述行人行为生成器和障碍车行为生成器的参数后,控制所述第一生成模块重新执行生成步骤和控制所述判别模块重新执行判别步骤,直至所述综合判别值符合所述预设条件,完成对所述行人行为生成器和所述障碍车行为生成器的训练。
在一种实施方式中,所述自动驾驶场景的生成装置还包括:
第二生成模块,用于根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成仿真行人轨迹和仿真障碍车轨迹;
第三生成模块,用于根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的传感器数据。
在一种实施方式中,所述第三生成模块包括:
获得子模块,用于根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
生成子模块,用于将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
在一种实施方式中,所述自动驾驶场景的生成装置还包括:
第四生成模块,用于根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成第一仿真行人轨迹和第一仿真障碍车轨迹;
确定模块,用于根据所述第一仿真行人轨迹和所述第一仿真障碍车轨迹,确定自动驾驶子场景的起点;
第五生成模块,用于将所述起点和所述交通路网信息输入所述训练好的行人行为生成器,以生成第二仿真行人轨迹;
第六生成模块,用于将所述起点和所述交通路网信息输入所述训练好的障碍车行为生成器,以生成第二仿真障碍车轨迹。
在一种实施方式中,所述自动驾驶场景的生成装置还包括:
获得模块,用于根据所述第二仿真行人轨迹、所述第二仿真障碍车轨迹、所述交通路网信息、所述起点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
第七生成模块,用于将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
第三方面,本发明实施例提供了一种自动驾驶场景的生成装置,所述装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,所述装置的结构中包括处理器和存储器,所述存储器用于存储支持所述装置执行上述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储自动驾驶场景的生成装置所用的计算机软件指令,其包括用于执行上述方法所涉及的程序。
第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令在被处理器执行时实现如上所述的方法。上述技术方案可以基于多个生成对抗网络生成自动驾驶场景,以降低网络训练难度,并提高自动驾驶场景的真实度和仿真测试的准确性。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出了根据本发明实施例的自动驾驶场景的生成方法的流程图。
图2示出了根据本发明实施例的自动驾驶场景的生成方法的应用示意图。
图3示出了根据本发明实施例的一种实施方式的自动驾驶场景的生成方法的流程图。
图4示出了根据本发明实施例的一种实施方式的自动驾驶场景的生成方法的应用示意图。
图5示出了根据本发明实施例的另一种实施方式的自动驾驶场景的生成方法的流程图。
图6示出了根据本发明实施例的另一种实施方式的自动驾驶场景的生成方法的应用示意图。
图7示出了根据本发明实施例的又一种实施方式的自动驾驶场景的生成方法的流程图。
图8示出了根据本发明实施例的自动驾驶场景的生成装置的结构框图。
图9示出了根据本发明实施例的一种实施方式的自动驾驶场景的生成装置的结构框图。
图10示出了根据本发明实施例的另一种实施方式的自动驾驶场景的生成装置的结构框图。
图11示出了根据本发明实施例的自动驾驶场景的生成装置的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出了根据本发明实施例的自动驾驶场景的生成方法的流程图。如图1所示,该方法可以包括以下步骤:
步骤S11,将交通路网信息和随机定位点输入行人行为生成器,以生成初始行人轨迹;将所述交通路网信息和所述随机定位点输入障碍车行为生成器,以生成初始障碍车轨迹;
步骤S12,根据行人行为判别器,对所述初始行人轨迹的真实度进行判别,以获得第一判别结果;根据障碍车行为判别器,对所述初始障碍车轨迹的真实度进行判别,以获得第二判别结果;根据所述第一判别结果和所述第二判别结果,获得综合判别值;
步骤S13,如果所述综合判别值不符合预设条件,则调整所述行人行为生成器和障碍车行为生成器的参数后,重新执行步骤S11和步骤S12,直至所述综合判别值符合所述预设条件,完成对所述行人行为生成器和所述障碍车行为生成器的训练。
在一种示例中,自动驾驶场景可以包括主车的起点和终点、行人、障碍车、交通路网信息(包括地图信息和红绿灯信息)、主车参数信息、场景参数信息等。其中,主车可以包括在自动驾驶场景中用于测试自动驾驶算法的车辆。障碍车可以包括在自动驾驶场景中,除了主车以外的其他所有车辆。行人可以包括在自动驾驶场景中,除了主车和障碍车以外的人类障碍物。
在自动驾驶仿真测试时,需要为主车提供自动驾驶场景。其中包括为自动驾驶场景添加仿真行人轨迹和仿真障碍车轨迹。利用模拟器(simulator)可以得到模拟的行人轨迹和障碍车轨迹。但是,基于模拟器获得的行人轨迹和障碍车轨迹通常是理想状态的完美数据,与真实世界差别较大。例如:利用模拟器获得的行人轨迹或障碍车为笔直的直线段,这与真实世界的行人轨迹和障碍车轨迹有很大的区别。
为了提高模拟(仿真)场景的真实度,可以基于生成对抗网络(GAN,GenerativeAdversarial Networks)生成仿真行人轨迹和仿真障碍车轨迹。其中,GAN是一种深度学习模型,通常包括生成器(Generator)和判别器(Discriminator)。
本发明实施例中,基于GAN的生成器和判别器可以分别包括多个网络,以共同完成自动驾驶场景的生成,从而可以避免利用单一网络构造生成器和判别器,而导致的网络参数存储困难、网络训练难度大等问题。
如图2所示,本实施例中,生成器可以包括行人行为生成器和障碍车行为生成器;判别器可以包括行人行为判别器、障碍车行为判别器和全连接层。
在一种示例中,可以将随机定位点和交通路网信息输入行人行为生成器;行人行为生成器根据其自身定义的参数,生成初始行人轨迹;将随机定位点和交通路网信息输入障碍车行为生成器;障碍车行为生成器根据其自身定义的参数,生成初始障碍车轨迹。其中,随机定位点可以是从地图信息中定位的主车附近的随机点。
行人行为判别器可以对初始行人轨迹的真实度进行判别,以输出第一判别结果。例如:基于初始行人轨迹中每一个像素点的位置以及交通路网信息中每一个像素点的位置,合成初始行人轨迹和交通路网信息,以得到第一输入数据。通过实地采样真实场景的图像或视频,可以获得真实行人轨迹和真实场景数据。基于真实行人轨迹中每一个像素点的位置以及真实场景数据中每一个像素点的位置,合成真实行人轨迹和真实场景数据,以得到第二输入数据(真实数据)。将第一输入数据和第二输入数据分别输入行人行为判别器。行人行为判别器根据其自身定义的参数,区分第一输入数据和第二输入数据,进而输出第一判别结果。
障碍车行为判别器可以对初始障碍车轨迹的真实度进行判别,以输出第二判别结果。例如:基于初始障碍车轨迹中每一个像素点的位置以及交通路网信息中每一个像素点的位置,合成初始障碍车轨迹和交通路网信息,以得到第三输入数据。通过实地采样真实场景的图像或视频,可以获得真实障碍车轨迹和真实交通路网信息。基于真实障碍车轨迹中每一个像素点的位置以及真实交通路网信息中每一个像素点的位置,合成真实障碍车轨迹和真实交通路网信息,以得到第四输入数据(真实数据)。将第三输入数据和第四输入数据分别输入障碍车行为判别器。障碍车行为判别器根据其自身定义的参数,区分第三输入数据和第四输入数据,进而输出第二判别结果。
进一步地,参见图2,将第一判别结果和第二判别结果输入全连接层,以综合第一判别结果和第二判别结果,并输出综合判别值。综合判别值的取值范围可以为[0,1],即通过0到1之间的数据来表征初始行人轨迹和初始障碍车轨迹是否是真实的。
例如:综合判别值接近0或1,表征初始行人轨迹和初始障碍车轨迹不是真实的;综合判别值接近0.5,表征初始行人轨迹和初始障碍车轨迹是真实的。其中,综合判别值越趋向于0或1,表征第一输入数据与第二输入数据之间的区别越大。
本发明实施例中,可以将随机定位点和交通路网信息的输入至得到综合判别值为一轮迭代过程。在第一轮迭代过程中,综合判别值可能在0附近,即综合判别值不符合预设条件,则可以调整行人行为生成器、障碍车行为生成器、行人行为判别器和障碍车行为判别器的参数,进入第二轮迭代过程。
在经过多轮调整参数和迭代过程后,综合判别值在0.5附近,即综合判别值符合预设条件,则认为此时的行人行为生成器和障碍车行为生成器已完成训练,可以输出真实的行人轨迹和障碍车轨迹。
需要说明的是,在每轮迭代过程中,输入的交通路网信息可以相同,也可以不同。在同一轮迭代过程中,输入行人行为生成器和输入障碍车行为生成器的交通路网信息应相同;输入行人行为生成器和输入障碍车行为生成器的随机定位点应相同。
本发明实施例,基于GAN生成行人轨迹和障碍车轨迹,可以提高构建仿真场景的效率和自动驾驶仿真测试的准确性。进一步地,GAN的生成器和判别器分别包括多个网络,可以缩小网络规模,降低网络参数的存储难度和网络训练的难度。
在一种可能的实施方式中,如图3所示,本发明实施例的方法还可以包括:
步骤S21,根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成仿真行人轨迹和仿真障碍车轨迹;
步骤S22,根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的仿真传感器数据。
在自动驾驶场景运行时,可以将主车放置在自动驾驶场景中进行仿真测试。在此过程中,需要为主车上的传感器提供与自动驾驶场景相对应的传感器数据。利用传感器模拟器(sensor simulator)可以生成模拟的传感器数据。但是,基于传感器模拟器获得的传感器数据通常是不包含噪声的完美数据,与真实世界差别较大。
在一种示例中,如图4所示,将交通路网信息和随机定位点输入训练好的行人行为生成器,可以生成仿真行人轨迹;将交通路网信息和随机定位点输入训练好的障碍车行为生成器,可以生成仿真障碍车轨迹。其中,交通路网信息可以包括地图信息和红绿灯信息;随机定位点可以是主车附近的定位点。在主车行驶过程中,随机定位点、地图信息和红绿灯信息可以发生变化。
将仿真行人轨迹、仿真障碍车轨迹、交通路网信息、随机定位点和主车的位置输入传感器模拟,可以生成针对主车的传感器数据。该传感器数据为不包含噪声的完美数据,因此与真实世界的传感器数据差别较大。
在一种可能的实施方式中,可以将传感器参数、光照参数、天气参数和不包含噪声的传感器数据输入传感器噪声生成器;传感器噪声生成器根据其自身定义的参数,生成包含噪声的初始传感器数据。
进一步地,可以将传感器参数、光照参数、天气参数和包含噪声的初始传感器数据进行向量叠加,以得到第五输入数据;通过实地采样真实场景的图像或视频,可以获得真实传感器数据、真实传感器参数、真实光照参数和真实天气参数;真实传感器数据、真实传感器参数、真实光照参数和真实天气参数进行向量叠加,以得到第六输入数据(真实数据)。其中,可以基于词语转向量(word2vec,word to vector)模型进行向量叠加。
进一步地,可以将第五输入数据和第六输入数据分别输入传感器噪声判别器;传感器噪声判别器根据其自身定义的参数,区分第五输入数据和第六输入数据,进而输出传感器噪声判别值。传感器噪声判别值的取值范围可以为[0,1],即通过0到1之间的数据来表征第五输入数据是否接近第六输入数据,即初始传感器数据是否是真实的。
例如:判别器输出判别值接近0或1,表征传感器噪声判别器能够区分第五输入数据和第六输入数据,即初始传感器数据不是真实的;传感器噪声判别器输出判别值接近0.5,表征传感器噪声判别器无法区分第五输入数据和第六输入数据,即初始传感器数据是真实的。其中,传感器噪声判别值越趋向于0或1,表征第五输入数据与第六输入数据之间的区别越大。
本发明实施例中,可以将传感器参数、光照参数、天气参数和不包含噪声的传感器数据输入传感器噪声生成器,至得到传感器噪声判别值为一轮迭代过程。在第一轮迭代过程中,传感器判别值可能在0或1附近,即初始传感器数据不是真实的,则调整传感器噪声生成器和传感器噪声判别器的参数,进入第二轮迭代过程。
在经过多轮调整参数和迭代过程后,传感器噪声判别值在0.5附近,说明判别器已无法区分第五输入数据和第六输入数据,则认为此时的传感器噪声生成器所输出的初始传感器数据是真实的,可以作为自动驾驶场中针对主车的仿真传感器数据。
本发明实施例,基于GAN可以为主车上的传感器生成包含噪声的仿真传感器数据,进而提高自动驾驶场景的真实度。
在一种可能的实施方式中,如图5所示,本发明实施例的方法还可以包括:
步骤S31,根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成第一仿真行人轨迹和第一仿真障碍车轨迹;
步骤S32,根据所述第一仿真行人轨迹和所述第一仿真障碍车轨迹,确定自动驾驶子场景的起点;
步骤S33,将所述起点和所述交通路网信息输入所述训练好的行人行为生成器,以生成第二仿真行人轨迹;
步骤S34,将所述起点和所述交通路网信息输入所述训练好的障碍车行为生成器,以生成第二仿真障碍车轨迹。
为了快速地产生大量自动驾驶场景,可以在一个基本自动驾驶场景的基础上利用行人行为生成器和障碍车行为生成器生成大量自动驾驶子场景。
在一种示例中,将交通路网信息和随机定位点输入训练好的行人行为生成器,可以生成基本自动驾驶场景中的第一仿真行人轨迹;将交通路网信息和随机定位点输入训练好的障碍车行为生成器,可以生成基本自动驾驶场景中的第一仿真障碍车轨迹。其中,交通路网信息可以包括与基本自动驾驶场景相对应的地图信息和红绿灯信息;随机定位点可以是基本自动驾驶场景中的主车附近的定位点。
例如:如图6所示,可以用坐标序列(P1、P2……P9)表征第一仿真行人轨迹或第一仿真障碍车轨迹。其中,每一个坐标(如P1)代表某一时刻下第一仿真行人轨迹(或第一仿真障碍车轨迹)的位置。
在坐标序列中,确定一个坐标为自动驾驶子场景的起点,如P4。将起点P4、地图信息和红绿灯信息输入训练好的行人行为生成器,以生成第二仿真行人轨迹(如坐标序列P4、P5′……P9′)。其中,将起点P4、地图信息和红绿灯信息输入所述训练好的障碍车行为生成器,以生成第二仿真障碍车轨迹。
在一种可能的实施方式中,如图7所示,本发明实施例的方法还可以包括:
步骤S41,根据所述第二仿真行人轨迹、所述第二仿真障碍车轨迹、所述交通路网信息、所述起点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
步骤S42,将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
在自动驾驶子场景运行时,需要为主车上的传感器提供与自动驾驶子场景相对应的传感器数据。为自动驾驶子场景生成包含噪声的仿真传感器数据的方法,可以参照步骤S21和步骤S22所述的为自动驾驶场景生成包含噪声的仿真传感器数据的方法,在此不再赘述。
本发明实施例,基于GAN生成自动驾驶场景,可以提高构建仿真场景的效率和自动驾驶仿真测试的准确性。进一步地,GAN的生成器和判别器分别包括多个网络,可以缩小网络规模,降低网络参数的存储难度和网络训练的难度。另外,可以在一个基本自动驾驶场景的基础上利用行人行为生成器和障碍车行为生成器生成大量自动驾驶子场景,以快速地产生大量自动驾驶场景。另一方面,基于生成的行人轨迹和障碍车轨迹,可以为自动驾驶场景或自动驾驶子场景生成包含噪声的传感器数据,以提高仿真场景的真实度。
如图8所示,本发明实施例提供了一种自动驾驶场景的生成装置,包括:
第一生成模块11,用于将交通路网信息和随机定位点输入行人行为生成器,以生成初始行人轨迹;将所述交通路网信息和所述随机定位点输入障碍车行为生成器,以生成初始障碍车轨迹;
判别模块12,用于根据行人行为判别器,对所述初始行人轨迹的真实度进行判别,以获得第一判别结果;根据障碍车行为判别器,对所述初始障碍车轨迹的真实度进行判别,以获得第二判别结果;根据所述第一判别结果和所述第二判别结果,获得综合判别值;
调整模块13,用于如果所述综合判别值不符合预设条件,则调整所述行人行为生成器和障碍车行为生成器的参数后,控制所述第一生成模块重新执行生成步骤和控制所述判别模块重新执行判别步骤,直至所述综合判别值符合所述预设条件,完成对所述行人行为生成器和所述障碍车行为生成器的训练。
在一种实施方式中,如图9所示,所述自动驾驶场景的生成装置还可以包括:
第二生成模块21,用于根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成仿真行人轨迹和仿真障碍车轨迹;
第三生成模块22,用于根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的传感器数据。
在一种实施方式中,第三生成模块22可以包括:
获得子模块,用于根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
生成子模块,用于将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
在一种实施方式中,如图10所示,所述自动驾驶场景的生成装置还可以包括:
第四生成模块31,用于根据训练好的行人行为生成器和训练好的障碍车行人生成器,分别生成第一仿真行人轨迹和第一仿真障碍车轨迹;
确定模块32,用于根据所述第一仿真行人轨迹和所述第一仿真障碍车轨迹,确定自动驾驶子场景的起点;
第五生成模块33,用于将所述起点和所述交通路网信息输入所述训练好的行人行为生成器,以生成第二仿真行人轨迹;
第六生成模块34,用于将所述起点和所述交通路网信息输入所述训练好的障碍车行为生成器,以生成第二仿真障碍车轨迹。
在一种实施方式中,如图10所示,所述自动驾驶场景的生成装置还可以包括:
获得模块41,用于根据所述第二仿真行人轨迹、所述第二仿真障碍车轨迹、所述交通路网信息、所述起点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
第七生成模块42,用于将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图11示出了根据本发明实施例的自动驾驶场景的生成装置的结构框图。如图11所示,该装置包括:存储器910和处理器920,存储器910内存储有可在处理器920上执行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的自动驾驶场景的生成方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括:
通信接口930,用于与外界设备进行通信,进行数据交互传输。
存储器910可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA,Extended IndustryStandard Component)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。
本发明实施例提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令在被处理器执行时实现如上任一实施例所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种自动驾驶场景的生成方法,其特征在于,包括:
将交通路网信息和随机定位点输入行人行为生成器,以生成初始行人轨迹;将所述交通路网信息和所述随机定位点输入障碍车行为生成器,以生成初始障碍车轨迹;
根据行人行为判别器,对所述初始行人轨迹的真实度进行判别,以获得第一判别结果;根据障碍车行为判别器,对所述初始障碍车轨迹的真实度进行判别,以获得第二判别结果;根据所述第一判别结果和所述第二判别结果,获得综合判别值;
如果所述综合判别值不符合预设条件,则调整所述行人行为生成器和障碍车行为生成器的参数后,重新执行生成步骤和判别步骤,直至所述综合判别值符合所述预设条件,完成对所述行人行为生成器和所述障碍车行为生成器的训练。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据训练好的行人行为生成器和训练好的障碍车行为生成器,分别生成仿真行人轨迹和仿真障碍车轨迹;
根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的传感器数据。
3.根据权利要求2所述的方法,其特征在于,根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的传感器数据,包括:
根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
4.根据权利要求1所述的方法,其特征在于,还包括:
根据训练好的行人行为生成器和训练好的障碍车行为生成器,分别生成第一仿真行人轨迹和第一仿真障碍车轨迹;
根据所述第一仿真行人轨迹和所述第一仿真障碍车轨迹,确定自动驾驶子场景的起点;
将所述起点和所述交通路网信息输入所述训练好的行人行为生成器,以生成第二仿真行人轨迹;
将所述起点和所述交通路网信息输入所述训练好的障碍车行为生成器,以生成第二仿真障碍车轨迹。
5.根据权利要求4所述的方法,其特征在于,还包括:
根据所述第二仿真行人轨迹、所述第二仿真障碍车轨迹、所述交通路网信息、所述起点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
6.一种自动驾驶场景的生成装置,其特征在于,包括:
第一生成模块,用于将交通路网信息和随机定位点输入行人行为生成器,以生成初始行人轨迹;将所述交通路网信息和所述随机定位点输入障碍车行为生成器,以生成初始障碍车轨迹;
判别模块,用于根据行人行为判别器,对所述初始行人轨迹的真实度进行判别,以获得第一判别结果;根据障碍车行为判别器,对所述初始障碍车轨迹的真实度进行判别,以获得第二判别结果;根据所述第一判别结果和所述第二判别结果,获得综合判别值;
调整模块,用于如果所述综合判别值不符合预设条件,则调整所述行人行为生成器和障碍车行为生成器的参数后,控制所述第一生成模块重新执行生成步骤和控制所述判别模块重新执行判别步骤,直至所述综合判别值符合所述预设条件,完成对所述行人行为生成器和所述障碍车行为生成器的训练。
7.根据权利要求6所述的装置,其特征在于,还包括:
第二生成模块,用于根据训练好的行人行为生成器和训练好的障碍车行为生成器,分别生成仿真行人轨迹和仿真障碍车轨迹;
第三生成模块,用于根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,生成针对所述主车的传感器数据。
8.根据权利要求7所述的装置,其特征在于,所述第三生成模块包括:
获得子模块,用于根据所述仿真行人轨迹、所述仿真障碍车轨迹、所述交通路网信息、所述随机定位点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
生成子模块,用于将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
9.根据权利要求6所述的装置,其特征在于,还包括:
第四生成模块,用于根据训练好的行人行为生成器和训练好的障碍车行为生成器,分别生成第一仿真行人轨迹和第一仿真障碍车轨迹;
确定模块,用于根据所述第一仿真行人轨迹和所述第一仿真障碍车轨迹,确定自动驾驶子场景的起点;
第五生成模块,用于将所述起点和所述交通路网信息输入所述训练好的行人行为生成器,以生成第二仿真行人轨迹;
第六生成模块,用于将所述起点和所述交通路网信息输入所述训练好的障碍车行为生成器,以生成第二仿真障碍车轨迹。
10.根据权利要求9所述的装置,其特征在于,还包括:
获得模块,用于根据所述第二仿真行人轨迹、所述第二仿真障碍车轨迹、所述交通路网信息、所述起点和主车的位置,获得针对所述主车的不包含噪声的传感器数据;
第七生成模块,用于将传感器参数、光照参数、天气参数和所述不包含噪声的传感器数据输入传感器噪声生成器,以生成包含噪声的传感器数据。
11.一种自动驾驶场景的生成装置,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811242530.1A CN111091739B (zh) | 2018-10-24 | 2018-10-24 | 自动驾驶场景的生成方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811242530.1A CN111091739B (zh) | 2018-10-24 | 2018-10-24 | 自动驾驶场景的生成方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111091739A CN111091739A (zh) | 2020-05-01 |
CN111091739B true CN111091739B (zh) | 2022-08-02 |
Family
ID=70392031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811242530.1A Active CN111091739B (zh) | 2018-10-24 | 2018-10-24 | 自动驾驶场景的生成方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091739B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111597707B (zh) * | 2020-05-14 | 2023-09-29 | 北京百度网讯科技有限公司 | 仿真场景的处理方法、装置、设备以及存储介质 |
CN111694287B (zh) | 2020-05-14 | 2023-06-23 | 阿波罗智能技术(北京)有限公司 | 无人驾驶仿真场景中的障碍物模拟方法和装置 |
CN114694449B (zh) * | 2020-12-25 | 2023-04-18 | 华为技术有限公司 | 一种生成车辆交通场景的方法和装置、训练方法和装置 |
CN112926135B (zh) * | 2021-03-02 | 2024-01-23 | 北京百度网讯科技有限公司 | 场景信息确定方法、装置、设备、存储介质和程序产品 |
CN113160427A (zh) * | 2021-04-13 | 2021-07-23 | 北京三快在线科技有限公司 | 虚拟场景的创建方法、装置、设备及存储介质 |
CN112997128B (zh) * | 2021-04-19 | 2022-08-26 | 华为技术有限公司 | 一种自动驾驶场景的生成方法、装置及系统 |
CN113569378B (zh) * | 2021-06-16 | 2024-01-05 | 阿波罗智联(北京)科技有限公司 | 仿真场景的生成方法、装置、电子设备以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017133893A (ja) * | 2016-01-26 | 2017-08-03 | 株式会社デンソー | 報知制御装置及び報知制御方法 |
CN107506830A (zh) * | 2017-06-20 | 2017-12-22 | 同济大学 | 面向智能汽车规划决策模块的人工智能训练平台 |
CN107766872A (zh) * | 2017-09-05 | 2018-03-06 | 百度在线网络技术(北京)有限公司 | 一种识别光照驾驶场景的方法和装置 |
CN108241762A (zh) * | 2016-12-26 | 2018-07-03 | 乐视汽车(北京)有限公司 | 用于自动驾驶仿真系统的测试系统和测试方法 |
CN108319259A (zh) * | 2018-03-22 | 2018-07-24 | 上海科梁信息工程股份有限公司 | 一种测试系统及测试方法 |
-
2018
- 2018-10-24 CN CN201811242530.1A patent/CN111091739B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017133893A (ja) * | 2016-01-26 | 2017-08-03 | 株式会社デンソー | 報知制御装置及び報知制御方法 |
CN108241762A (zh) * | 2016-12-26 | 2018-07-03 | 乐视汽车(北京)有限公司 | 用于自动驾驶仿真系统的测试系统和测试方法 |
CN107506830A (zh) * | 2017-06-20 | 2017-12-22 | 同济大学 | 面向智能汽车规划决策模块的人工智能训练平台 |
CN107766872A (zh) * | 2017-09-05 | 2018-03-06 | 百度在线网络技术(北京)有限公司 | 一种识别光照驾驶场景的方法和装置 |
CN108319259A (zh) * | 2018-03-22 | 2018-07-24 | 上海科梁信息工程股份有限公司 | 一种测试系统及测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111091739A (zh) | 2020-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091739B (zh) | 自动驾驶场景的生成方法、装置和存储介质 | |
CN111508101B (zh) | 通过检测驾驶场景来评估驾驶员的驾驶习惯的方法和装置 | |
CN111009153A (zh) | 一种轨迹预测模型的训练方法、装置和设备 | |
JP6850324B2 (ja) | マルチモデルに基づく障害物分布シミュレーション方法、装置、端末及びプログラム | |
CN110378837B (zh) | 基于鱼眼摄像头的目标检测方法、装置和存储介质 | |
US10929715B2 (en) | Semantic segmentation using driver attention information | |
CN111401133A (zh) | 目标数据增广方法、装置、电子设备和可读存储介质 | |
CN109961509B (zh) | 三维地图的生成及模型训练方法、装置及电子设备 | |
US10913455B2 (en) | Method for the improved detection of objects by a driver assistance system | |
CN111144315A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
CN113011285B (zh) | 车道线检测方法、装置、自动驾驶车辆及可读存储介质 | |
US11636684B2 (en) | Behavior model of an environment sensor | |
KR20200094075A (ko) | 다수의 차량을 통한 센서 퓨전, v2x 통신 가능한 애플리케이션을 이용한 협업 주행을 위해 주변에 위치하는 카메라 각각에 대응되는 각각의 객체 검출기에 의해 검출되는 객체 검출 정보를 통합하는 방법 및 장치 | |
Hospach et al. | Simulation of falling rain for robustness testing of video-based surround sensing systems | |
KR20200095379A (ko) | 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치 | |
CN114972911A (zh) | 自动驾驶感知算法模型的输出数据收集处理方法及设备 | |
CN116107591A (zh) | 基于corner cases的部署模型构建方法 | |
CN111142402A (zh) | 仿真场景构建方法、装置和终端 | |
CN109886198B (zh) | 一种信息处理方法、装置及存储介质 | |
CN110414374B (zh) | 一种障碍物位姿的确定方法、装置、设备及介质 | |
CN112668596B (zh) | 三维物体识别方法及装置、识别模型训练方法及装置 | |
CN116776288A (zh) | 一种智能驾驶感知模型的优化方法、装置及存储介质 | |
CN111177878B (zh) | 衍生仿真场景筛选方法、装置和终端 | |
CN111091581B (zh) | 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 | |
CN111090269B (zh) | 基于生成对抗网络的传感器模拟方法、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |