CN109215092A - 仿真场景的生成方法及装置 - Google Patents

仿真场景的生成方法及装置 Download PDF

Info

Publication number
CN109215092A
CN109215092A CN201811050985.3A CN201811050985A CN109215092A CN 109215092 A CN109215092 A CN 109215092A CN 201811050985 A CN201811050985 A CN 201811050985A CN 109215092 A CN109215092 A CN 109215092A
Authority
CN
China
Prior art keywords
scene
coding parameter
scenario parameters
encoder
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811050985.3A
Other languages
English (en)
Other versions
CN109215092B (zh
Inventor
张俊飞
杨晨
孙庆瑞
罗盾
毛继明
董芳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811050985.3A priority Critical patent/CN109215092B/zh
Publication of CN109215092A publication Critical patent/CN109215092A/zh
Priority to US16/512,741 priority patent/US11127168B2/en
Application granted granted Critical
Publication of CN109215092B publication Critical patent/CN109215092B/zh
Priority to US17/460,434 priority patent/US11887343B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种仿真场景的生成方法及装置，该方法包括：获取基准场景的场景参数，所述基准场景的场景参数的维度为M；将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N<M；对所述编码参数进行调整，得到调整后的编码参数，将所述调整后的编码参数分别输入到经过训练的解码器中，根据所述解码器输出的所述重建场景的场景参数，生成仿真场景；通过该方法，能够实现基于基准场景生成海量的与基准场景相似的仿真场景，满足仿真场景多样性的需求。

Description

仿真场景的生成方法及装置
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种仿真场景的生成方法及装置。
背景技术
自动驾驶技术在近两年获得了井喷式发展，为了缩短技术研发周期，同时确保自动驾驶系统的稳健性和安全性能，国内外大多数公司均将仿真场景的生成作为自动驾驶系统实际运营的前置环节。具体的，采用仿真技术生成多个仿真场景，仿真场景作为真实路况、交通信息流的数字化展示，借助生成的仿真场景对自动驾驶系统的性能进行测试。由于真实路况具有多样性和复杂性，因此，只有当仿真场景也有多样性和复杂性时，仿真场景才能够满足对自动驾驶系统进行全面性能测试的要求。
现有技术中，主要采用的仿真场景的生成方法有两种，一种是人工编辑生成一组场景参数，然后将场景参数与简单的运动模型结合，得到对应的仿真场景；另一种是将采集的实际路况信息输入仿真引擎中进行回放作为仿真场景。
然而，上述两种方法生成的仿真场景较为单一，无法满足仿真场景的多样性需求。
发明内容
本发明实施例提供一种仿真场景的生成方法及装置，能够满足自动驾驶系统的仿真场景的多样性需求。
第一方面，本发明实施例提供一种仿真场景的生成方法，包括：
获取基准场景的场景参数，所述基准场景的场景参数的维度为M；
将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M；
对所述编码参数进行调整，得到调整后的编码参数，将所述调整后的编码参数分别输入到经过训练的解码器中，所述解码器用于根据所述调整后的编码参数获取重建场景的场景参数，所述重建场景的场景参数的维度与所述基准场景的场景参数的维度相同；
根据所述解码器输出的所述重建场景的场景参数，生成仿真场景。
可选的，所述对所述编码参数进行调整，得到调整后的编码参数，包括：
确定所述编码参数的K个维度，对所述编码参数中除所述K个维度之外的N-K个维度的参数进行调整，得到调整后的编码参数，1&lt;＝K&lt;N。
可选的，所述根据所述解码器输出的所述重建场景的场景参数，生成仿真场景之后，还包括：
根据预设策略，判断所述仿真场景是否合理。
可选的，所述将所述基准场景的场景参数输入到经过训练的编码器中之前，还包括：
获取至少一个待训练场景的场景参数，所述待训练场景的场景参数的维度为M；
将所述待训练场景的场景参数输入到待训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N；
将所述编码参数输入到待训练的解码器中，获取所述解码器输出的重建场景的场景参数；
根据所述待训练场景和所述重建场景之间的差异，对所述待训练的编码器和解码器进行训练，得到训练后的编码器和解码器。
可选的，所述根据所述编码器的输出结果获取编码参数，包括：
对所述编码器的输出结果添加预设分布的噪声，得到编码参数。
可选的，所述预设分布的噪声为正态分布的噪声。
可选的，所述根据所述待训练场景和所述重建场景之间的差异之前，还包括：
根据所述待训练场景的场景参数和所述重建场景的场景参数，获取重建损失；
根据所述编码器的输出结果获取正态分布误差；
根据所述重建损失和所述正态分布误差，获取所述待训练场景和所述重建场景之间的差异。
可选的，所述根据所述待训练场景的场景参数和所述重建场景的场景参数，获取重建损失，包括：
根据所述待训练场景的场景参数和所述重建场景的场景参数之间的欧式距离，获取重建损失；
所述根据所述编码器的输出结果获取正态分布误差，包括：
根据所述编码器的输出结果的均值和方差，获取正态分布误差，其中，所述均值和方差的维度均为N。
可选的，所述编码器和所述解码器为深度神经网络模型。
第二方面，本发明实施例提供一种仿真场景的生成装置，包括：
获取模块，用于获取基准场景的场景参数，所述基准场景的场景参数的维度为M；
编码模块，用于将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M；
调整模块，用于对所述编码参数进行调整，得到调整后的编码参数；
解码模块，用于将所述调整后的编码参数分别输入到经过训练的解码器中，所述解码器用于根据所述调整后的编码参数获取重建场景的场景参数，所述重建场景的场景参数的维度与所述基准场景的场景参数的维度相同；
生成模块，用于根据所述解码器输出的所述重建场景的场景参数，生成仿真场景。
可选的，所述调整模块具体用于：
确定所述编码参数的K个维度，对所述编码参数中除所述K个维度之外的N-K个维度的参数进行调整，得到调整后的编码参数，1&lt;＝K&lt;N。
可选的，所述生成模块，还用于根据预设策略，判断所述仿真场景是否合理。
可选的，还包括：训练模块，所述训练模块用于：
获取至少一个待训练场景的场景参数，所述待训练场景的场景参数的维度为M；
将所述待训练场景的场景参数输入到待训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N；
将所述编码参数输入到待训练的解码器中，获取所述解码器输出的重建场景的场景参数；
根据所述待训练场景和所述重建场景之间的差异，对所述待训练的编码器和解码器进行训练，得到训练后的编码器和解码器。
可选的，所述训练模块具体用于：
对所述待训练的编码器的输出结果添加预设分布的噪声，得到编码参数。
可选的，所述预设分布的噪声为正态分布的噪声。
可选的，所述训练模块还用于：
根据所述待训练场景的场景参数和所述重建场景的场景参数，获取重建损失；
根据所述编码器的输出结果获取正态分布误差；
根据所述重建损失和所述正态分布误差，获取所述待训练场景和所述重建场景之间的差异。
可选的，所述训练模块具体用于：
根据所述待训练场景的场景参数和所述重建场景的场景参数之间的欧式距离，获取重建损失；
根据所述编码器的输出结果的均值和方差，获取正态分布误差，其中，所述均值和方差的维度均为N。
可选的，所述编码器和所述解码器为深度神经网络模型。
第三方面，本发明实施例提供一种仿真场景的生成设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的仿真场景的生成方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的仿真场景的生成方法。
本发明实施例提供的仿真场景的生成方法及装置，该方法包括：获取基准场景的场景参数，所述基准场景的场景参数的维度为M；将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M；对所述编码参数进行调整，得到调整后的编码参数，将所述调整后的编码参数分别输入到经过训练的解码器中，根据所述解码器输出的所述重建场景的场景参数，生成仿真场景；通过该方法，能够实现基于基准场景生成海量的与基准场景相似的仿真场景，满足仿真场景多样性的需求；另外，本发明实施例中基于基准场景得到的仿真场景，与现有技术中人工编辑生成仿真场景相比，更加真实、复杂；同时，与现有技术中采集实际路况信息进行回放生成仿真场景相比，还可以规避由于传感器误差导致的仿真场景的可用性低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的仿真场景的生成方法的原理示意图；
图2为本发明实施例提供的编码器和解码器的训练方法的流程图；
图3为本发明实施例提供的编码器和解码器的训练过程的示意图；
图4为本发明实施例提供的编码器和解码器的训练过程的另一示意图；
图5为本发明实施例提供的获取待训练场景和重建场景之间的差异的流程示意图；
图6为本发明实施例提供的仿真场景的生成方法的流程示意图；
图7为本发明实施例提供的仿真场景的生成过程的示意图；
图8为本发明实施例提供的仿真场景的生成装置的结构示意图一；
图9为本发明实施例提供的仿真场景的生成装置的结构示意图二；
图10为本发明实施例提供的仿真场景的生成设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如前所述，现有技术中，针对自动驾驶系统生成仿真场景时，主要采用下面两种方法，一种是人工编辑生成一组场景参数，然后将场景参数与简单的运动模型结合，得到对应的仿真场景；另一种是将采集的实际路况信息输入仿真引擎中进行回放作为仿真场景。然而，采用上述方式生成的仿真场景较为单一，无法满足仿真场景的多样性需求。
为解决上述问题，本发明实施例提供一种仿真场景的生成方法。图1为本发明实施例提供的仿真场景的生成方法的原理示意图，如图1所示，本发明实施例的方法可以由图1中的仿真设备执行，仿真设备能够由一个基准场景衍生出多个仿真场景，并且，多个仿真场景均是与基准场景具有相似性的场景，也就是说，根据基准场景生成与基准场景相似的多个仿真场景，从而使得生成的仿真场景更加丰富，能够满足仿真场景多样性的需求。
本发明实施例中，采用经过训练的编码器和解码器实现仿真场景的生成。将基准场景的场景参数输入到编码器中，根据编码器的输出结果得到编码参数，通过对编码参数进行调整，再将调整后的编码参数输入到解码器中，得到与基准场景相似的仿真场景。本发明实施例还提供了编码器和解码器的训练方法。下面分别从训练模型和使用模型两方面进行详细描述。
需要说明的是，“与基准场景相似的仿真场景”是指仿真场景中保留了基准场景中的部分信息。本发明后续实施例中涉及相同表述时，均应作出理解，后续不再赘述。
另外，本发明实施例提供的仿真场景的生成方法及装置，可适用于任意需要生成仿真场景的领域，包括但不限于：自动驾驶领域、虚拟现实领域等。本发明后续实施例中均以自动驾驶领域为例进行描述。
图2为本发明实施例提供的编码器和解码器的训练方法的流程图，图3为本发明实施例提供的编码器和解码器的训练过程的示意图。
下面首先结合图3简单说明本实施例中的编码器和解码器的训练原理，如图3所示，将待训练场景的场景参数X输入到编码器中，由编码器对场景参数X进行编码降维，生成一个较低维度的编码参数，然后将编码参数输入到解码器中，由解码器根据编码参数进行场景重建，得到重建场景的场景参数X’，根据待训练场景与重建场景之间的差异，调整编码器和解码器中的参数，重复进行上述过程，直至重建场景与待训练场景尽可能的接近。
如图2和图3所示，该方法包括：
S201：获取至少一个待训练场景的场景参数，所述待训练场景的场景参数的维度为M。
其中，待训练场景可以是通过路测采集的真实场景的影像数据，例如，真实路况的视频数据。可以理解的，实际路测获取到的待训练场景通常为动态场景，即具有一定的时间范围，例如，采集的待训练场景通常为3至5秒的时间。因此，在获取待训练场景的场景参数时，可以对各待训练场景的视频数据进行采样，例如：针对每个待训练场景，以一定的帧间隔进行采样，获取若干帧图像数据。进而，利用采样后的图像数据，获取待训练场景的场景参数。
需要说明的是，本发明实施例对于待训练场景的数量、待训练场景的采样策略均不作具体限定。
具体的，场景参数可以包括地图参数、待测试车的状态参数、障碍车的状态参数。待测试车是指待测试的自动驾驶的无人车，障碍车是指场景中除待测试车之外的其他车辆。由于待训练场景为随时间变化的场景，因此，获取的场景参数也是随时间变化的矢量。具体实现时，可以将地图参数作为一个列矢量，将待测试车的状态参数作为一个列矢量，将障碍车的状态参数作为一个列矢量。
需要说明的是，根据待训练场景提取场景参数的方法，本发明实施例不作具体限定，可以采用现有技术中的方法进行提取。
本实施例中，记场景参数为X＝[mT cT oT]T，其中，m是地图参数对应的列矢量，c是待测试车的状态参数对应的列矢量，o是障碍车的状态参数对应的列矢量。
其中，地图参数可以包括下述信息中的至少一种：车道信息、红绿灯信息、限行信息、路口信息等；待测试车的状态参数可以包括下述信息中的至少一种：速度、加速度、方向等；障碍车的状态参数可以包括下述信息中的至少一种：障碍车与待测试车的相对距离、相对速度等。
可以理解的，本发明实施例对于地图参数、待测试车的状态参数、障碍车的状态参数所包括的信息并不作具体限定，上述仅为示例性说明。一般来说，为了更好的对场景进行描述，场景参数的维度一般较高，其中，场景参数的维度可以理解为所包括的参数的数量。
本实施例中，假设待训练场景的场景参数的维度为M，其中每个维护用于指示下述参数中的一个：地图参数、待测试车的状态参数、障碍车的状态参数。
S202：将所述待训练场景的场景参数输入到待训练的编码器中，根据所述待训练的编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M。
S203：将所述编码参数输入到待训练的解码器中，获取所述解码器输出的重建场景的场景参数。
S204：根据所述待训练场景和所述重建场景之间的差异，对所述待训练的编码器和解码器进行训练，得到训练后的编码器和解码器。
其中，编码器用于对M维的场景参数X进行编码降维，得到N维的编码参数C；解码器用于对N维的编码参数C进行解码升维，得到M维的场景参数X’。编码参数C的维度N远小于场景参数X的维度M。
具体实现时，编码器和解码器均可以采用深度神经网络模型实现。该深度神经网络模型例如可以是循环神经网络(Recurrent Neural Networks，RNN)。具体地，例如可以采用长短期记忆网络(longshort-termmemory，LSTM)模型，或者选通重复单元(GatedRecurrent Unit，GRU)模型，其中，GRU模型为LSTM模型的一种变体。针对GRU模型，网络有多层RNN堆砌而成。
本实施例中，通过采用编码器对较高维度(M维)的场景参数进行编码降维，使得可以采用较少维度(N维)的编码参数来表示待训练场景的信息，便于后续通过对编码参数进行调整，生成新的仿真场景。
如图3所示，将待训练场景的场景参数X输入到待训练的编码器中，编码器采用深度学习算法对场景参数进行学习，对场景参数进行降维，得到N维的编码参数。然后，将N维的编码参数C输入到解码器中，解码器根据编码参数C进行场景重建，得到重建场景的场景参数X’。
进一步的，可以根据待训练场景与重建场景之间的差异，对编码器和解码器中的参数进行调整，以使重建场景与待训练场景尽可能的接近。因此，可以理解的，本实施例中经过训练的编码器和解码器可用于根据一个特定场景生成与新的场景，同时还可以保证新的场景与该特定场景具有相似性。
具体训练过程中，在确定待训练场景与重建场景之间的差异时，可以有多种评估方式，其中一种可选的实施方式可以详见后续实施例的描述，此处不作赘述。
本实施例中，编码器和解码器的训练过程可以采用变分自编码器的训练过程，属于无监督的学习方法，不需要事先对待训练场景的场景参数进行人工标注，可以降低训练过程中的人力和物力投入。
具体实现时，步骤S202中，根据编码器的输出结果获取编码参数时，可以有多种实施方式。一种可选的实施例中，直接将编码器的输出结果作为编码参数；另一种可选的实施方式中，对所述待训练编码器的输出结果添加预设分布的噪声，得到编码参数。
可选的，如图3所示，所述预设分布的噪声为正态分布的噪声。
可以理解的，通过向编码器的输出结果中添加正态分布的噪声，能够提高最终训练得到的编码器和解码器的鲁棒性，提高编码器和解码器的场景学习能力。
另外，由于实际应用中，场景的分布满足混合高斯模型，本实施例中，通过向编码器的输出结果中添加正态分布的噪声，使得根据训练后的编码器和解码器生成的仿真场景也能够满足正态分布，与实际场景的分布情况一致，使得生成的仿真场景更加真实。
图4为本发明实施例提供的编码器和解码器的训练过程的另一示意图，在上述实施例的基础上，本实施例示例了如何对编码器的输出结果中添加正态分布噪声。
具体实现时，可以根据编码器的输出结果，确定编码器的输出结果对应的均值Mean以及方差LogStd，其中，均值Mean和方差LogStd的维度均为N。
如图4所示，*表示乘法运算，+表示加法运算，exp表示指数运算。具体的，将方差LogStd进行指数运算后与正态分布的噪声相乘，然后将得到的结果与均值Mean相加得到编码参数C。
进一步的，在编码器和解码器的训练过程中，待训练场景与重建场景之间的差异主要来自下述两个方面：(1)重建损失，由于编码器和解码器对场景重建导致的损失；(2)正态分布误差，即由于引入正态分布的噪声导致的重建场景与待训练场景之间的误差。
下面结合一个具体实施例详细描述获取待训练场景和重建场景之间的差异的方法。
图5为本发明实施例提供的获取待训练场景和重建场景之间的差异的流程示意图，如图5所示，包括：
S501：根据所述待训练场景的场景参数和所述重建场景的场景参数之间的欧式距离，获取重建损失。如下述公式：
lossrecons＝||X-X′||
其中，lossrrcons为重建损失，X为待训练场景的场景参数，X′为重建场景的场景参数。
S502：根据所述编码器的输出结果的均值和方差，获取正态分布误差。
一种可选的实施方式中，根据如下公式获取：
其中，lossnorma1为正态分布误差，Meani为编码器的输出结果的第i维度的均值，LogStdi为编码器的输出结果的第i维度的方差。
S503：根据所述重建损失和所述正态分布误差，获取所述待训练场景和所述重建场景之间的差异。
记loss为所述待训练场景和所述重建场景之间的差异，则可以根据下述公式获取：
loss＝lossrescon+lossnormal
下面采用具体的实施例来说明本发明实施例通过编码器和解码器生成仿真场景的方法。
图6为本发明实施例提供的仿真场景的生成方法的流程示意图，图7为本发明实施例提供的仿真场景的生成过程的示意图。结合图6和图7，本实施例的方法可以包括：
S601：获取基准场景的场景参数，所述基准场景的场景参数的维度为M。
其中，基准场景可以是满足特定测试需求的特定场景。
本实施例中获取基准场景的场景参数的方法与上述实施例中的S201类似，此处不再赘述。
S602：将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M。
经过训练的编码器具有深度学习能力，能够对基准场景的场景参数进行深度学习，根据较高维度的场景参数，得到一个较低维度的编码参数。该编码参数中包括了基准场景的绝大多数信息。
可选的，根据所述编码器的输出结果获取编码参数，包括：
对所述编码器的输出结果添加预设分布的噪声，得到编码参数。
可选的，所述预设分布的噪声为正态分布的噪声。
可以理解的，本实施例中向编码器的输出结果中添加噪声的方法，与上述实施例中类似，此处不再赘述。
S603：对所述编码参数进行调整，得到调整后的编码参数，将所述调整后的编码参数分别输入到经过训练的解码器中，所述解码器用于根据所述调整后的编码参数获取重建场景的场景参数，所述重建场景的场景参数的维度与所述基准场景的场景参数的维度相同。
S604：根据所述解码器输出的所述重建场景的场景参数，生成仿真场景。
如图7所示，由于经过编码器的编码后，得到的编码参数C的维度远小于基准场景的场景参数X的维度。本实施例中，可以通过对编码参数C进行调整，将调整后的编码参数输入到解码器中，得到重建场景的场景参数X’。
由于编码器和解码器在训练阶段已保证了尽可能小的场景损失，因此，本实施例中根据调整后的编码参数得到的重建场景的场景参数X’，也会保留基准场景的场景参数X的部分信息，故根据调整后的编码参数得到的重建场景可以作为基准场景对应的一个仿真场景。
具体的，对编码参数C进行调整时，可以有多种调整方式。可以理解的，对编码参数C进行的每次调整，均可以生成基准场景对应的一个仿真场景，对编码参数C的调整方式越多，则生成的仿真场景的数量也越多，也就是说，根据基准场景衍生得到的仿真场景也更丰富，满足了仿真场景的多样性需求。
可选的，所述对所述编码参数进行调整，得到调整后的编码参数，包括：
确定所述编码参数的K个维度，对所述编码参数中除所述K个维度之外的N-K个维度的参数进行调整，得到调整后的编码参数，1&lt;＝K&lt;N。也就是说，固定编码参数C的部分维度，对剩余维度中的参数进行调整，得到调整后的编码参数。
可以理解的，对编码参数C的调整范围和/或幅度越小，得到的仿真场景与基准场景相似性越高，对编码参数C的调整范围和/或幅度越大，得到的仿真场景与基准场景的相似性越低。因此，实际应用中，可以通过对编码参数C的调整范围和/或幅度进行控制，实现对某些特殊的基准场景进行微调，从而可以指导自动驾驶算法的精细化控制。
通过上述的编码参数的调整方式，可以实现对编码参数的各维度以及维度的组合进行遍历调整，从而能够实现对基准场景的所有可能的变形，即能够衍生出与基准场景相似的所有可能的仿真场景，进一步提高了仿真场景的多样性。
可选的，本实施例中，在生成仿真场景之后，还可以包括：根据预设策略，判断所述仿真场景是否合理。
可以理解的，由于对编码参数进行调整时，某些调整方式可能会使得生成的仿真场景并不合理，例如，生成的仿真场景中待测试车可能位于地图可视范围之外，或者，生成的仿真场景中可能存在红绿灯信息错误等。
具体实现时，可以根据预设的策略，对仿真场景是否合理进行判断，将合理的仿真场景应用到自动驾驶的测试中，将不合理的仿真场景剔除。
本发明实施例提供的仿真场景的生成方法，包括：获取基准场景的场景参数，所述基准场景的场景参数的维度为M；将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M；对所述编码参数进行调整，得到调整后的编码参数，将所述调整后的编码参数分别输入到经过训练的解码器中，根据所述解码器输出的所述重建场景的场景参数，生成仿真场景；通过该方法，能够实现基于基准场景生成海量的与基准场景相似的仿真场景，满足仿真场景多样性的需求；另外，本实施例中基于基准场景得到的仿真场景，与现有技术中人工编辑生成仿真场景相比，更加真实、复杂；同时，与现有技术中采集实际路况信息进行回放生成仿真场景相比，还可以规避由于传感器误差导致的仿真场景的可用性低的问题。
图8为本发明实施例提供的仿真场景的生成装置的结构示意图一，如图8所示，本实施例提供的仿真场景的生成装置800，可以包括：获取模块801、编码模块802、调整模块803、解码模块804、生成模块805。
其中，获取模块801，用于获取基准场景的场景参数，所述基准场景的场景参数的维度为M；
编码模块802，用于将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M；
调整模块803，用于对所述编码参数进行调整，得到调整后的编码参数；
解码模块804，用于将所述调整后的编码参数分别输入到经过训练的解码器中，所述解码器用于根据所述调整后的编码参数获取重建场景的场景参数，所述重建场景的场景参数的维度与所述基准场景的场景参数的维度相同；
生成模块805，用于根据所述解码器输出的所述重建场景的场景参数，生成仿真场景。
本发明实施例提供的仿真场景的生成装置，可用于执行如图6所示的方法实施例，其实现原理和技术效果类似，此处不再赘述。
图9为本发明实施例提供的仿真场景的生成装置的结构示意图二，如图9所示，在上述图8所示实施例的基础上，本实施例提供的仿真场景的生成装置800，还可以包括：训练模块806。
可选的，所述调整模块803具体用于：
确定所述编码参数的K个维度，对所述编码参数中除所述K个维度之外的N-K个维度的参数进行调整，得到调整后的编码参数，1&lt;＝K&lt;N。
可选的，所述生成模块805，还用于根据预设策略，判断所述仿真场景是否合理。
可选的，所述训练模块806用于：
获取至少一个待训练场景的场景参数，所述待训练场景的场景参数的维度为M；
将所述待训练场景的场景参数输入到待训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N；
将所述编码参数输入到待训练的解码器中，获取所述解码器输出的重建场景的场景参数；
根据所述待训练场景和所述重建场景之间的差异，对所述待训练的编码器和解码器进行训练，得到训练后的编码器和解码器。
可选的，所述训练模块806具体用于：
对所述待训练的编码器的输出结果添加预设分布的噪声，得到编码参数。
可选的，所述预设分布的噪声为正态分布的噪声。
可选的，所述训练模块806还用于：
根据所述待训练场景的场景参数和所述重建场景的场景参数，获取重建损失；
根据所述编码器的输出结果获取正态分布误差；
根据所述重建损失和所述正态分布误差，获取所述待训练场景和所述重建场景之间的差异。
可选的，所述训练模块806具体用于：
根据所述待训练场景的场景参数和所述重建场景的场景参数之间的欧式距离，获取重建损失；
根据所述编码器的输出结果的均值和方差，获取正态分布误差，其中，所述均值和方差的维度均为N。
可选的，所述编码器和所述解码器为深度神经网络模型。
本发明实施例提供的仿真场景的生成装置，可用于执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明实施例提供的仿真场景的生成设备的硬件结构示意图，如图10所示，本实施例提供的仿真场景的生成设备1000，包括：至少一个处理器1001和存储器1002。其中，处理器1001、存储器1002通过总线1003连接。
在具体实现过程中，至少一个处理器1001执行所述存储器1002存储的计算机执行指令，使得至少一个处理器1001执行如上仿真场景的生成设备1000所执行的仿真场景的生成方法。
处理器1001的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图10所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上仿真场景的生成设备执行的仿真场景的生成方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种仿真场景的生成方法，其特征在于，包括：
获取基准场景的场景参数，所述基准场景的场景参数的维度为M；
将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M；
对所述编码参数进行调整，得到调整后的编码参数，将所述调整后的编码参数分别输入到经过训练的解码器中，所述解码器用于根据所述调整后的编码参数获取重建场景的场景参数，所述重建场景的场景参数的维度与所述基准场景的场景参数的维度相同；
根据所述解码器输出的所述重建场景的场景参数，生成仿真场景。
2.根据权利要求1所述的方法，其特征在于，所述对所述编码参数进行调整，得到调整后的编码参数，包括：
确定所述编码参数的K个维度，对所述编码参数中除所述K个维度之外的N-K个维度的参数进行调整，得到调整后的编码参数，1&lt;＝K&lt;N。
3.根据权利要求1所述的方法，其特征在于，所述根据所述解码器输出的所述重建场景的场景参数，生成仿真场景之后，还包括：
根据预设策略，判断所述仿真场景是否合理。
4.根据权利要求1所述的方法，其特征在于，所述将所述基准场景的场景参数输入到经过训练的编码器中之前，还包括：
获取至少一个待训练场景的场景参数，所述待训练场景的场景参数的维度为M；
将所述待训练场景的场景参数输入到待训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N；
将所述编码参数输入到待训练的解码器中，获取所述解码器输出的重建场景的场景参数；
根据所述待训练场景和所述重建场景之间的差异，对所述待训练的编码器和解码器进行训练，得到训练后的编码器和解码器。
5.根据权利要求4所述的方法，其特征在于，所述根据所述编码器的输出结果获取编码参数，包括：
对所述编码器的输出结果添加预设分布的噪声，得到编码参数。
6.根据权利要求5所述的方法，其特征在于，所述预设分布的噪声为正态分布的噪声。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待训练场景和所述重建场景之间的差异之前，还包括：
根据所述待训练场景的场景参数和所述重建场景的场景参数，获取重建损失；
根据所述编码器的输出结果获取正态分布误差；
根据所述重建损失和所述正态分布误差，获取所述待训练场景和所述重建场景之间的差异。
8.根据权利要求7所述的方法，其特征在于，
所述根据所述待训练场景的场景参数和所述重建场景的场景参数，获取重建损失，包括：
根据所述待训练场景的场景参数和所述重建场景的场景参数之间的欧式距离，获取重建损失；
所述根据所述编码器的输出结果获取正态分布误差，包括：
根据所述编码器的输出结果的均值和方差，获取正态分布误差，其中，所述均值和方差的维度均为N。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述编码器和所述解码器为深度神经网络模型。
10.一种仿真场景的生成装置，其特征在于，包括：
获取模块，用于获取基准场景的场景参数，所述基准场景的场景参数的维度为M；
编码模块，用于将所述基准场景的场景参数输入到经过训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N，N&lt;M；
调整模块，用于对所述编码参数进行调整，得到调整后的编码参数；
解码模块，用于将所述调整后的编码参数分别输入到经过训练的解码器中，所述解码器用于根据所述调整后的编码参数获取重建场景的场景参数，所述重建场景的场景参数的维度与所述基准场景的场景参数的维度相同；
生成模块，用于根据所述解码器输出的所述重建场景的场景参数，生成仿真场景。
11.根据权利要求10所述的装置，其特征在于，所述调整模块具体用于：
确定所述编码参数的K个维度，对所述编码参数中除所述K个维度之外的N-K个维度的参数进行调整，得到调整后的编码参数，1&lt;＝K&lt;N。
12.根据权利要求10所述的装置，其特征在于，
所述生成模块，还用于根据预设策略，判断所述仿真场景是否合理。
13.根据权利要求10所述的装置，其特征在于，还包括：训练模块，所述训练模块用于：
获取至少一个待训练场景的场景参数，所述待训练场景的场景参数的维度为M；
将所述待训练场景的场景参数输入到待训练的编码器中，根据所述编码器的输出结果获取编码参数，所述编码参数的维度为N；
将所述编码参数输入到待训练的解码器中，获取所述解码器输出的重建场景的场景参数；
根据所述待训练场景和所述重建场景之间的差异，对所述待训练的编码器和解码器进行训练，得到训练后的编码器和解码器。
14.根据权利要求13所述的装置，其特征在于，所述训练模块具体用于：
对所述待训练的编码器的输出结果添加预设分布的噪声，得到编码参数。
15.根据权利要求14所述的装置，其特征在于，所述预设分布的噪声为正态分布的噪声。
16.根据权利要求15所述的装置，其特征在于，所述训练模块还用于：
根据所述待训练场景的场景参数和所述重建场景的场景参数，获取重建损失；
根据所述编码器的输出结果获取正态分布误差；
根据所述重建损失和所述正态分布误差，获取所述待训练场景和所述重建场景之间的差异。
17.根据权利要求16所述的装置，其特征在于，所述训练模块具体用于：
根据所述待训练场景的场景参数和所述重建场景的场景参数之间的欧式距离，获取重建损失；
根据所述编码器的输出结果的均值和方差，获取正态分布误差，其中，所述均值和方差的维度均为N。
18.根据权利要求10-17任一项所述的装置，其特征在于，所述编码器和所述解码器为深度神经网络模型。
19.一种仿真场景的生成设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至9任一项所述的仿真场景的生成方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的仿真场景的生成方法。
CN201811050985.3A 2018-09-10 2018-09-10 仿真场景的生成方法及装置 Active CN109215092B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811050985.3A CN109215092B (zh) 2018-09-10 2018-09-10 仿真场景的生成方法及装置
US16/512,741 US11127168B2 (en) 2018-09-10 2019-07-16 Method and apparatus for generating simulation scene
US17/460,434 US11887343B2 (en) 2018-09-10 2021-08-30 Method and apparatus for generating simulation scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811050985.3A CN109215092B (zh) 2018-09-10 2018-09-10 仿真场景的生成方法及装置

Publications (2)

Publication Number Publication Date
CN109215092A true CN109215092A (zh) 2019-01-15
CN109215092B CN109215092B (zh) 2020-03-13

Family

ID=64987918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811050985.3A Active CN109215092B (zh) 2018-09-10 2018-09-10 仿真场景的生成方法及装置

Country Status (2)

Country Link
US (2) US11127168B2 (zh)
CN (1) CN109215092B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597086A (zh) * 2019-08-19 2019-12-20 深圳元戎启行科技有限公司 仿真场景生成方法和无人驾驶系统测试方法
CN111597707A (zh) * 2020-05-14 2020-08-28 北京百度网讯科技有限公司 仿真场景的处理方法、装置、设备以及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574200B2 (en) * 2019-12-18 2023-02-07 W.S.C. Sports Technologies Ltd. System and method of determining a region of interest in media
CN112965466B (zh) * 2021-02-18 2022-08-30 北京百度网讯科技有限公司 自动驾驶系统的还原测试方法、装置、设备及程序产品
CN113032261B (zh) * 2021-03-23 2022-09-30 北京三快在线科技有限公司 一种仿真测试的方法及装置
CN113032285B (zh) * 2021-05-24 2021-08-13 湖北亿咖通科技有限公司 一种高精地图测试方法、装置、电子设备及存储介质
CN113609109B (zh) * 2021-06-08 2024-04-23 中国电力科学研究院有限公司 一种基于数据孪生的自动化场景信息生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485773A (zh) * 2016-09-14 2017-03-08 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
CN106952325A (zh) * 2017-03-27 2017-07-14 厦门幻世网络科技有限公司 用于操作三维动画角色的方法和装置
EP3298579A1 (en) * 2016-04-12 2018-03-28 Magic Pony Technology Limited Visual data processing using energy networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552738B2 (en) * 2016-12-15 2020-02-04 Google Llc Adaptive channel coding using machine-learned models
JP6770095B2 (ja) * 2016-12-27 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
US10210411B2 (en) * 2017-04-24 2019-02-19 Here Global B.V. Method and apparatus for establishing feature prediction accuracy
US11948075B2 (en) * 2017-06-09 2024-04-02 Deepmind Technologies Limited Generating discrete latent representations of input data items

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3298579A1 (en) * 2016-04-12 2018-03-28 Magic Pony Technology Limited Visual data processing using energy networks
CN106485773A (zh) * 2016-09-14 2017-03-08 厦门幻世网络科技有限公司 一种用于生成动画数据的方法和装置
CN106952325A (zh) * 2017-03-27 2017-07-14 厦门幻世网络科技有限公司 用于操作三维动画角色的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597086A (zh) * 2019-08-19 2019-12-20 深圳元戎启行科技有限公司 仿真场景生成方法和无人驾驶系统测试方法
CN110597086B (zh) * 2019-08-19 2023-01-13 深圳元戎启行科技有限公司 仿真场景生成方法、无人驾驶系统测试方法以及装置
CN111597707A (zh) * 2020-05-14 2020-08-28 北京百度网讯科技有限公司 仿真场景的处理方法、装置、设备以及存储介质
CN111597707B (zh) * 2020-05-14 2023-09-29 北京百度网讯科技有限公司 仿真场景的处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN109215092B (zh) 2020-03-13
US11887343B2 (en) 2024-01-30
US11127168B2 (en) 2021-09-21
US20210390741A1 (en) 2021-12-16
US20200082573A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
CN109215092A (zh) 仿真场景的生成方法及装置
CN109658418A (zh) 场景结构的学习方法、装置及电子设备
JP6855082B2 (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
Borrego et al. Applying domain randomization to synthetic data for object category detection
CN112070729B (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN106066644A (zh) 建立智能车辆控制模型的方法、智能车辆控制方法及装置
CN109284812B (zh) 一种基于改进dqn的视频游戏模拟方法
JP6978104B2 (ja) Ｇａｎを用いて仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法や学習装置、それを利用したテスト方法やテスト装置
CN112651360A (zh) 一种小样本下骨架动作识别方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
KR20230070128A (ko) 짝지어진 이미지와 생성적 적대 신경망을 이용하여, 한 도메인의 이미지를 다른 도메인으로 변환하는 기계 학습 방법
Zhou et al. Deeptree: Modeling trees with situated latents
CN115203062B (zh) 自动驾驶测试系统、方法、电子设备及存储介质
KR102100973B1 (ko) 공동 학습을 이용한 기계학습 시스템 및 그 방법
CN115049901A (zh) 一种基于特征图加权注意力融合的小目标检测方法及设备
CN114743015A (zh) 一种基于角度自适应融合的目标检测方法及系统
CN116469014B (zh) 基于优化Mask R-CNN的小样本卫星雷达图像帆板识别和分割方法
Li Convolutional Neural Network-Based Virtual Reality Real-Time Interactive System Design for Unity3D
Ferencz et al. End-to-end autonomous vehicle lateral control with deep learning
CN114332800B (zh) 一种用于自动驾驶的街道场景解析语义分割方法
Patton et al. Heterogeneous Machine Learning on High Performance Computing for End to End Driving of Autonomous Vehicles
Liang Vision-Based Unmanned Aerial Vehicle Navigation in Virtual Complex Environment using Deep Reinforcement Learning
CN116776288A (zh) 一种智能驾驶感知模型的优化方法、装置及存储介质
Croft Modified Structured Domain Randomization in a Synthetic Environment for Learning Algorithms
Tezer Automated test case generation for self-driving cars using CCTV videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211025

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

TR01 Transfer of patent right