CN109284280B - 仿真数据优化方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提出一种仿真数据优化方法、装置及计算机可读存储介质。其中仿真数据优化方法包括：将仿真器生成的仿真数据输入到第一生成式对抗网络，所述第一生成式对抗网络包括迁移模型；利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据。本发明实施例通过生成式对抗网络对仿真数据进行优化，使得仿真数据表征愈加接近真实数据，不仅确保了仿真数据的质量与精度，在一定程度上提升了仿真数据的真实可信赖性，同时也降低了仿真器构建的成本。

Description

仿真数据优化方法、装置及存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种仿真数据优化方法、装置及计算机可读存储介质。

背景技术

仿真又称模拟，是利用模型复现实际系统中发生的本质过程，并通过对系统模型的实验来研究存在的或设计中的系统。当所研究的系统造价昂贵、实验的危险性大或需要很长的时间才能了解系统参数变化所引起的后果时，仿真是一种特别有效的研究手段。一般地，对复杂系统的仿真主要通过对其中囊括的物理规律进行恰当的描述以实现其仿真效果。而系统中存在的大量噪声与不明规则往往严重掣肘仿真器精度。

通过测量仪器(如激光雷达)得到的待检测物外观表面的点数据集合也称之为点云。当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息。由于扫描极为精细，能够得到大量的激光点，就可形成激光点云。

考虑到激光点云对三维数据的表述精确性，可将之视为系统信息的主要载体来展开研究。仿真器则主要通过模拟测量仪器发射激光束、接收反射信号等物理过程，生成点云。

为了实现确保并提升点云数据质量，现有技术的方案主要有数据筛选、增加先验知识等。其中，数据筛选的方案根据点云中物体分布的统计性质、物体检测正确率等为依据剔除异常值；增加先验知识的方案是增加物体种类、多元化物体姿态等以扩展细化素材库。

仿真数据的精确度主要取决于仿真器对真实世界中激光雷达产生点云数据过程可达的模拟精确度。然而真实世界是个极度复杂的复杂系统。根据所知的物理知识构建的仿真器能达到的精度毕竟有限。例如，当距离增加后点云逐渐稀疏的规律，或者当激光遇到不同物质并在环境噪声的影响下而有不同的反射规律等情况，仿真器能达到的精度会受到一定程度的限制。而对点云进行矫正的现有技术的方案如数据筛选、增加先验等，皆存在严重弊端。其中，数据筛选主要依赖于仿真数据中存在足量优质样本、优质样本具有足够多样性的前提，对仿真器精度要求严格，实现难度大；增加先验则必需耗费人力物力采集物体信息、构建三维模型，且对于复杂系统而言将是无休无止的工作。

发明内容

本发明实施例提供一种仿真数据优化方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种仿真数据优化方法，包括：将仿真器生成的仿真数据输入到第一生成式对抗网络，所述第一生成式对抗网络包括迁移模型；利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，所述第一生成式对抗网络还包括第一判别模型；所述方法还包括采用以下步骤对所述第一生成式对抗网络进行训练：将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据；将真实数据和所述优化仿真数据输入到所述第一判别模型中，由所述第一判别模型产生所述优化仿真数据的真实性概率；根据所述真实性概率，通过所述迁移模型和所述第一判别模型的博弈学习，训练所述第一生成式对抗网络。

结合第一方面，本发明实施例在第一方面的第二种实现方式中，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据，还包括：在所述迁移模型的网络传递过程中，利用残差神经网络在所述迁移模型的中的各子网络产生损失输出数据；将各子网络的所述损失输出数据与输入数据叠加后输入给所述迁移模型的损失函数；通过所述损失函数对所述仿真器生成的仿真数据进行优化。

结合第一方面的第一种实现方式，本发明实施例在第一方面的第三种实现方式中，由所述第一判别模型产生所述优化仿真数据的真实性概率，还包括：采用碎片级别统计所述第一判别模型的损失程度，并根据网络收敛趋势、输入数据中物体分布情况设定所述碎片级别的大小。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式，本发明实施例在第一方面的第四种实现方式中，将仿真器生成的仿真数据输入到第一生成式对抗网络之前，还包括：通过第二生成式对抗网络生成语义地图；将所述语义地图作为先验信息输入到所述仿真器。

结合第一方面的第四种实现方式，本发明实施例在第一方面的第五种实现方式中，所述第二生成式对抗网络包括生成模型和第二判别模型；通过第二生成式对抗网络生成语义地图，包括：将噪声向量输入所述生成模型，由所述生成模型生成语义地图；将真实语义地图和所述生成模型输出的语义地图输入到所述第二判别模型，由所述第二判别模型产生所述生成模型输出的语义地图的真实性概率；根据所述真实性概率，通过所述生成模型和所述第二判别模型的博弈学习训练所述第二生成式对抗网络；通过训练好的所述第二生成式对抗网络生成语义地图。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式，本发明实施例在第一方面的第六种实现方式中，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据，还包括：设置应用于不同场景的控制器向量；在所述迁移模型的网络传递过程中输入所述控制器向量，以生成应用于不同场景的所述优化仿真数据。

第二方面，本发明实施例提供了一种仿真数据优化装置，包括：仿真数据输入单元，用于将仿真器生成的仿真数据输入到第一生成式对抗网络，所述第一生成式对抗网络包括迁移模型；仿真数据优化单元，用于利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据。

结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述第一生成式对抗网络还包括第一判别模型；所述装置还包括训练单元，所述训练单元包括：第一子单元，用于：将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据；第二子单元，用于：将真实数据和所述优化仿真数据输入到所述第一判别模型中，由所述第一判别模型产生所述优化仿真数据的真实性概率；第三子单元，用于：根据所述真实性概率，通过所述迁移模型和所述第一判别模型的博弈学习，训练所述第一生成式对抗网络。

结合第二方面，本发明实施例在第二方面的第二种实现方式中，所述仿真数据优化单元还用于：在所述迁移模型的网络传递过程中，利用残差神经网络在所述迁移模型的中的各子网络产生损失输出数据；将各子网络的所述损失输出数据与输入数据叠加后输入给所述迁移模型的损失函数；通过所述损失函数对所述仿真器生成的仿真数据进行优化。

结合第二方面的第一种实现方式，本发明实施例在第二方面的第三种实现方式中，所述第二子单元还用于：采用碎片级别统计所述第一判别模型的损失程度，并根据网络收敛趋势、输入数据中物体分布情况设定所述碎片级别的大小。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式，本发明实施例在第二方面的第四种实现方式中，还包括：语义地图生成单元，用于通过第二生成式对抗网络生成语义地图；语义地图输入单元，用于将所述语义地图作为先验信息输入到所述仿真器。

结合第二方面的第四种实现方式，本发明实施例在第二方面的第五种实现方式中，所述第二生成式对抗网络包括生成模型和第二判别模型；所述语义地图生成单元还用于：将噪声向量输入所述生成模型，由所述生成模型生成语义地图；将真实语义地图和所述生成模型输出的语义地图输入到所述第二判别模型，由所述第二判别模型产生所述生成模型输出的语义地图的真实性概率；根据所述真实性概率，通过所述生成模型和所述第二判别模型的博弈学习训练所述第二生成式对抗网络；通过训练好的所述第二生成式对抗网络生成语义地图。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式、第二方面的第三种实现方式，本发明实施例在第二方面的第六种实现方式中，所述仿真数据优化单元还用于：设置应用于不同场景的控制器向量；在所述迁移模型的网络传递过程中输入所述控制器向量，以生成应用于不同场景的所述优化仿真数据。

在一个可能的设计中，仿真数据优化装置的结构中包括处理器和存储器，所述存储器用于存储支持仿真数据优化装置执行上述第一方面中仿真数据优化方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述仿真数据优化装置还可以包括通信接口，用于仿真数据优化装置与其他设备或通信网络通信。

第三方面，本发明实施例提供了一种仿真数据优化装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法。

上述技术方案具有如下优点或有益效果：通过生成式对抗网络对仿真数据进行优化，使得仿真数据表征愈加接近真实数据，不仅确保了仿真数据的质量与精度，在一定程度上提升了仿真数据的真实可信赖性，同时也降低了仿真器构建的成本。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明一实施例提供的仿真数据优化方法的生成式对抗网络示意图。

图2为本发明另一实施例提供的仿真数据优化方法中的流程图。

图3为本发明另一实施例提供的仿真数据优化方法中的网络训练流程图。

图4为本发明另一实施例提供的仿真数据优化方法中的语义地图生成流程图。

图5为本发明一实施例提供的仿真数据优化装置的结构框图。

图6为本发明又一实施例提供的仿真数据优化装置的训练单元的结构框图。

图7为本发明又一实施例提供的仿真数据优化装置的结构框图。

图8为本发明又一实施例提供的仿真数据优化装置的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型。这种模型通过框架中的包括：生成模型(Generative Model，简称G)和判别模型(Discriminative Modell，简称D)。两个模块的互相博弈学习产生相当好的输出。实际应用中一般均使用深度神经网络作为生成模型G和判别模型D。

图1为本发明一实施例提供的仿真数据优化方法的生成式对抗网络示意图。如图1所示，将仿真器生成的仿真数据S11输入到生成式对抗网络之生成模型S12中，在步骤S13中生成模型对仿真数据进行改进操作，产生优化仿真数据。然后将优化仿真数据和真实数据S15输入到生成式对抗网络之判别模型S14中，判别模型来判别优化仿真数据的真实性概率。如果输出真实性概率为1，代表判别结果为优化仿真数据100％是真实的，也就是优化效果非常好，优化后的仿真数据几乎和真实数据是一样的。如果输出为真实性概率0，代表不可能是真实的数据，也就是仿真效果不好，仿真数据与真实数据的差距较大。

在生成式对抗网络的训练过程中，生成模型G的目标是尽量生成真实的图片去欺骗判别模型D。而判别模型D的目标是尽量把生成模型G生成的数据和真实数据分别开来。这样，G和D构成了一个动态的“博弈过程”。

最后博弈的结果，在最理想的状态下，G可以生成足以“以假乱真”的数据。对于D来说，它难以判定G生成的数据究竟是不是真实的，因此D输出的真实性概率为0.5。这样通过博弈学习的过程，最终得到了一个生成式的模型G，它可以用来优化仿真数据。

图2为本发明另一实施例提供的仿真数据优化方法中的流程图。如图2所示，本发明实施例的仿真数据优化方法包括：步骤S110，将仿真器生成的仿真数据输入到第一生成式对抗网络，所述第一生成式对抗网络包括迁移模型；步骤S120，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据。

本发明实施例利用利用生成式对抗网络来对仿真数据进行修正，使得仿真数据在统计分布上逐渐接近真实数据的统计分布，以获得仿真数据更优的表现。例如可利用优化后的仿真数据解决图像分类、物体检测、物体分割等问题。

传统生成式对抗网络中的生成模型输入信息是一个噪声向量。本发明中不再沿用传统生成式对抗网络中的生成模型，而是采用迁移模型。迁移模型针对仿真器输出的不够精确的仿真数据进行领域适应性建模，使优化后的仿真数据更接近于真实数据，例如使仿真数据对真实世界中不同材质的物质的描述能力更强。迁移模型的输入为原始仿真数据，即仿真器输出的仿真数据，输出则为对原始仿真数据进行改进操作的优化仿真数据。

本发明实施例利用迁移模型对仿真器生成的仿真数据进行优化，在同等条件下降低了仿真器的性能指标要求，也降低了仿真器构建的成本。

图3为本发明另一实施例提供的仿真数据优化方法中的网络训练流程图。如图3所示，在一种可能的实现方式中，所述第一生成式对抗网络还包括第一判别模型；所述方法还包括采用以下步骤对所述第一生成式对抗网络进行训练：步骤S210，将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据；步骤S220，将真实数据和所述优化仿真数据输入到所述第一判别模型中，由所述第一判别模型产生所述优化仿真数据的真实性概率；步骤S230，根据所述真实性概率，通过所述迁移模型和所述第一判别模型的博弈学习，训练所述第一生成式对抗网络。

在具体使用场景中，可根据仿真要求的精度设置真实性概率的阈值。例如，可设置真实性概率在0.45-0.55之间时，则认为模型训练达到了预期的效果，生成模型训练完成，可以用来优化仿真数据了。

在一种可能的实现方式中，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据，还包括：在所述迁移模型的网络传递过程中，利用残差神经网络在所述迁移模型的中的各子网络产生损失输出数据；将各子网络的所述损失输出数据与输入数据叠加后输入给所述迁移模型的损失函数；通过所述损失函数对所述仿真器生成的仿真数据进行优化。

在迁移模型中，利用深度残差网络，将输入与输出进行广义相加，合成最终得到提升质量的仿真数据。迁移模型在进行数据处理的过程中，会生成不同分辨率的统计信息。其中，高分辨率的统计信息更加注重细节描述，而低分辨率的统计信息体现的是整体特征。以上对于数据处理的不同分辨率的需求对应着不同的采样率要求。在网络传递过程中，为避免丢失细节信息，令构建网络的多个子块中皆产生输出，将网络的多个子块的输出作为损失函数输入的一部分，以加强损失函数对网络的引导力度。

在一种可能的实现方式中，采用扩张卷积维护信息，如特征图的细节信息，以避免下采样带来的细节损失。扩张卷积与普通卷积的区别在于，扩张卷积具有更大的感受野。感受野是卷积核在图像上看到的大小，例如3×3卷积核的感受野大小为9。采用普通卷积在下采样的过程中会造成细节损失，采用扩张卷积维护信息可有效避免这一问题。

另外，迁移模型在进行数据处理的过程中，考虑到点云数据的细节离散性与真实世界物体的连续性，通过将输入到迁移模型的原始信息转换为局部统计信息的方式，实现对物体连续性的描述。例如将离散的数据进行局部信息整合，可以是像素级别的信息整合，使整合后的数据适于对物体连续性的描述。并且，以同时采用多种尺寸统计信息的方式，根据数据优化的实际需求选择统计信息的尺寸的大小，在离散与连续之间进行不同程度的权衡决策。例如，可将三维数据投影到二维平面上，可增加数据的紧密程度，有效解决数据稀疏问题。

在一种可能的实现方式中，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，还包括：在所述迁移模型的损失函数中嵌入注意力模型，以实现所述迁移模型对不同特征的不同关注力度。通过在损失函数中嵌入注意力模型，可以体现对前景背景、多元物体、多种距离等之间的不同关注力度。其中对注意力的控制是自适应的，主要以网络收敛情况、网络后向传播梯度数值为依据。

在一种可能的实现方式中，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，还包括：将物体语义和边界信息作为先验信息输入到所述迁移模型，以对所述迁移模型的损失程度进行验证。物体语义可包括点云信息中的标签。通过标签可以获知产生点云信息的待检测物体是什么，例如可以是建筑物、车或树等。使用物体语义与物体边界信息，可作为模型的先验条件支撑网络训练。

在一种可能的实现方式中，由所述第一判别模型产生所述优化仿真数据的真实性概率，还包括：采用碎片级别统计所述第一判别模型的损失程度，并根据网络收敛趋势、输入数据中物体分布情况设定所述碎片级别的大小。

第一判别模型的输入信息是真实数据和迁移模型输出的仿真数据，输出信息是迁移模型输出的仿真数据的真实性概率。如果真实性概率为1，就代表判断迁移模型输出的仿真数据是真实的；而真实性概率为0，就代表判断迁移模型输出的仿真数据不是真实的；如果为0.5，就代表难以判定迁移模型输出的仿真数据究竟是不是真实的。

相较于传统判别模型的损失函数的设计，本发明实施例中第一判别模型的损失统计既非像素级别，也非整图级别，而是碎片水平的损失。在一种实施方式中，可根据网络收敛趋势，即损失函数的收敛趋势采取自适应策略设定碎片大小。例如，在训练初始时碎片大小的设定值可相对较大。随着网络的收敛碎片大小的设定值可逐渐减小。在另一种实施方式中，可根据输入数据中物体分布情况采取自适应策略设定碎片大小。其中，输入数据中物体分布情况可包括输入数据的点云信息中的待检测物体的个数。可从点云信息中的物体语义获知输入数据中物体分布情况，例如可获知输入数据的点云信息中有多少辆车等。输入数据的点云信息中的待检测物体的个数较多，相应地碎片大小的设定值可较小。反之，输入数据的点云信息中的待检测物体的个数较少，相应地碎片大小的设定值可较大。对于碎片大小不一样的情形，可进行相应的标准化操作，例如归一化操作，以维持损失数值曲线的平滑性。

在一种可能的实现方式中，将仿真器生成的仿真数据输入到第一生成式对抗网络之前，还包括：通过第二生成式对抗网络生成语义地图；将所述语义地图作为先验信息输入到所述仿真器。

语义地图中包括物体语义，也就是点云信息中的标签，例如通过标签可以标注待检测物体是建筑物、车或树等。通过生成式对抗网络生成语义地图(semantic map)，完成对点云数据有效范围内前景物体的地理分布与形态表现、背景环境的场景布排等语义的设置。将语义地图输入到仿真器，为仿真器生成仿真数据提供先验知识，减少仿真器工作量，降低了仿真器的性能指标要求，也降低了仿真器构建的成本。传统的仿真器由于模拟出来的数据与真实数据有一定程度的偏差。为了增加真实度通常要随机生成语义地图。随机生成语义地图会为仿真数据带来负面影响，随机性因素会引起扰动误差。本发明实施例将语义地图作为先验信息输入到仿真器，可降低因系统添加过多随机性因素而引起的扰动误差。

图4为本发明另一实施例提供的仿真数据优化方法中的语义地图生成流程图。如图4所示，在一种可能的实现方式中，所述第二生成式对抗网络包括生成模型和第二判别模型；通过第二生成式对抗网络生成语义地图，包括：步骤S310，将噪声向量输入所述生成模型，由所述生成模型生成语义地图；步骤S320，将真实语义地图和所述生成模型输出的语义地图输入到所述第二判别模型，由所述第二判别模型产生所述生成模型输出的语义地图的真实性概率；步骤S330，根据所述真实性概率，通过所述生成模型和所述第二判别模型的博弈学习训练所述第二生成式对抗网络；步骤S340，通过训练好的所述第二生成式对抗网络生成语义地图。

其中，生成模型的输入信息为噪声向量，输出信息为语义地图；判别模型的输入信息为真实语义地图与生成模型输出的语义地图，输出信息为生成模型输出的语义地图是真实语义地图的概率。

通过生成式对抗网络生成语义地图，完成对点云数据有效范围内前景物体的地理分布与形态表现、背景环境的场景布排等语义的设置，可增加训练样本的数量，使训练样本的内容更加丰富。

在一种可能的实现方式中，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据，还包括：设置应用于不同场景的控制器向量；在所述迁移模型的网络传递过程中输入所述控制器向量，以生成应用于不同场景的所述优化仿真数据。

在这种实施方式中，设置控制器向量，并将之植入生成模型中作为模型中间条件。例如可以在神经网络向前传播的过程中输入控制器向量，并与神经网络前面传播的结果结合在一起后继续向前传播。通过控制器向量以监督学习的方式对网络输出的控制器语义与其进行损失计算以实现矫正，使得网络具备可控产生不同场景(如天气等)仿真数据的能力。

例如，设置控制器向量表示天气状况，可以设置控制器向量中的元素：0表示晴天，1表示阴天等。将控制器向量输入到生成模型中，可控产生不同天气状况下的仿真数据。

上述技术方案具有如下优点或有益效果：通过生成式对抗网络对仿真数据进行优化，使得仿真数据表征愈加接近真实数据，不仅确保了仿真数据的质量与精度，在一定程度上提升了仿真数据的真实可信赖性，同时也降低了仿真器构建的成本。

图5为本发明一实施例提供的仿真数据优化装置的结构框图。如图5所示，本发明实施例的仿真数据优化装置包括：仿真数据输入单元100，用于将仿真器生成的仿真数据输入到第一生成式对抗网络，所述第一生成式对抗网络包括迁移模型；仿真数据优化单元200，用于利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据。

图6为本发明又一实施例提供的仿真数据优化装置的训练单元的结构框图。图7为本发明又一实施例提供的仿真数据优化装置的结构框图。如图6和图7所示，在一种可能的实现方式中，所述第一生成式对抗网络还包括第一判别模型；所述装置还包括训练单元300，所述训练单元300包括：第一子单元310，用于：将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据；第二子单元320，用于：将真实数据和所述优化仿真数据输入到所述第一判别模型中，由所述第一判别模型产生所述优化仿真数据的真实性概率；第三子单元330，用于：根据所述真实性概率，通过所述迁移模型和所述第一判别模型的博弈学习，训练所述第一生成式对抗网络。

在一种可能的实现方式中，所述仿真数据优化单元200还用于：在所述迁移模型的网络传递过程中，利用残差神经网络在所述迁移模型的中的各子网络产生损失输出数据；将各子网络的所述损失输出数据与输入数据叠加后输入给所述迁移模型的损失函数；通过所述损失函数对所述仿真器生成的仿真数据进行优化。

在一种可能的实现方式中，所述第二子单元320还用于：采用碎片级别统计所述第一判别模型的损失程度，并根据网络收敛趋势、输入数据中物体分布情况设定所述碎片级别的大小。

参见图7，在一种可能的实现方式中，所述装置还包括：语义地图生成单元400，用于通过第二生成式对抗网络生成语义地图；语义地图输入单元500，用于将所述语义地图作为先验信息输入到所述仿真器600。

在一种可能的实现方式中，所述第二生成式对抗网络包括生成模型和第二判别模型；所述语义地图生成单元400还用于：将噪声向量输入所述生成模型，由所述生成模型生成语义地图；将真实语义地图和所述生成模型输出的语义地图输入到所述第二判别模型，由所述第二判别模型产生所述生成模型输出的语义地图的真实性概率；根据所述真实性概率，通过所述生成模型和所述第二判别模型的博弈学习训练所述第二生成式对抗网络；通过训练好的所述第二生成式对抗网络生成语义地图。

在一种可能的实现方式中，所述仿真数据优化单元200还用于：设置应用于不同场景的控制器向量；在所述迁移模型的网络传递过程中输入所述控制器向量，以生成应用于不同场景的所述优化仿真数据。

本发明实施例的仿真数据优化装置中各单元的功能可以参见上述方法的相关描述，在此不再赘述。

在一个可能的设计中，仿真数据优化装置的结构中包括处理器和存储器，所述存储器用于存储支持仿真数据优化装置执行上述仿真数据优化方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述仿真数据优化装置还可以包括通信接口，用于仿真数据优化装置与其他设备或通信网络通信。

图8为本发明又一实施例提供的仿真数据优化装置的结构框图。如图8所示，该装置包括：存储器101和处理器102，存储器101内存储有可在处理器102上运行的计算机程序。所述处理器102执行所述计算机程序时实现上述实施例中的仿真数据优化方法。所述存储器101和处理器102的数量可以为一个或多个。

该装置还包括：

通信接口103，用于与外界设备进行通信，进行数据交互传输。

存储器101可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器101、处理器102和通信接口103独立实现，则存储器101、处理器102和通信接口103可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器101、处理器102及通信接口103集成在一块芯片上，则存储器101、处理器102及通信接口103可以通过内部接口完成相互间的通信。

又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述仿真数据优化方法中任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种仿真数据优化方法，其特征在于，包括：

将仿真器生成的仿真数据输入到第一生成式对抗网络，所述第一生成式对抗网络包括迁移模型；

利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据；

其中，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，包括：将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据。

2.根据权利要求1所述的方法，其特征在于，所述第一生成式对抗网络还包括第一判别模型；所述方法还包括采用以下步骤对所述第一生成式对抗网络进行训练：

将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据；

将真实数据和所述优化仿真数据输入到所述第一判别模型中，由所述第一判别模型产生所述优化仿真数据的真实性概率；

根据所述真实性概率，通过所述迁移模型和所述第一判别模型的博弈学习，训练所述第一生成式对抗网络。

3.根据权利要求1所述的方法，其特征在于，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据，还包括：

在所述迁移模型的网络传递过程中，利用残差神经网络在所述迁移模型的中的各子网络产生损失输出数据；

将各子网络的所述损失输出数据与输入数据叠加后输入给所述迁移模型的损失函数；

通过所述损失函数对所述仿真器生成的仿真数据进行优化。

4.根据权利要求2所述的方法，其特征在于，由所述第一判别模型产生所述优化仿真数据的真实性概率，还包括：

采用碎片级别统计所述第一判别模型的损失程度，并根据网络收敛趋势、输入数据中物体分布情况设定所述碎片级别的大小。

5.根据权利要求1-4中任一项所述的方法，其特征在于，将仿真器生成的仿真数据输入到第一生成式对抗网络之前，还包括：

通过第二生成式对抗网络生成语义地图；

将所述语义地图作为先验信息输入到所述仿真器。

6.根据权利要求5所述的方法，其特征在于，所述第二生成式对抗网络包括生成模型和第二判别模型；通过第二生成式对抗网络生成语义地图，包括：

将噪声向量输入所述生成模型，由所述生成模型生成语义地图；

将真实语义地图和所述生成模型输出的语义地图输入到所述第二判别模型，由所述第二判别模型产生所述生成模型输出的语义地图的真实性概率；

根据所述真实性概率，通过所述生成模型和所述第二判别模型的博弈学习训练所述第二生成式对抗网络；

通过训练好的所述第二生成式对抗网络生成语义地图。

7.根据权利要求1-4中任一项所述的方法，其特征在于，利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据，还包括：

设置应用于不同场景的控制器向量；

在所述迁移模型的网络传递过程中输入所述控制器向量，以生成应用于不同场景的所述优化仿真数据。

8.一种仿真数据优化装置，其特征在于，包括：

仿真数据输入单元，用于将仿真器生成的仿真数据输入到第一生成式对抗网络，所述第一生成式对抗网络包括迁移模型；

仿真数据优化单元，用于利用所述迁移模型对所述仿真器生成的仿真数据进行优化，以生成优化仿真数据；

所述仿真数据优化单元还用于：将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据。

9.根据权利要求8所述的装置，其特征在于，所述第一生成式对抗网络还包括第一判别模型；所述装置还包括训练单元，所述训练单元包括：

第一子单元，用于：将仿真器生成的仿真数据输入到所述迁移模型，由所述迁移模型对所述仿真器生成的仿真数据进行优化，输出优化仿真数据；

第二子单元，用于：将真实数据和所述优化仿真数据输入到所述第一判别模型中，由所述第一判别模型产生所述优化仿真数据的真实性概率；

第三子单元，用于：根据所述真实性概率，通过所述迁移模型和所述第一判别模型的博弈学习，训练所述第一生成式对抗网络。

10.根据权利要求8所述的装置，其特征在于，所述仿真数据优化单元还用于：

在所述迁移模型的网络传递过程中，利用残差神经网络在所述迁移模型的中的各子网络产生损失输出数据；

将各子网络的所述损失输出数据与输入数据叠加后输入给所述迁移模型的损失函数；

通过所述损失函数对所述仿真器生成的仿真数据进行优化。

11.根据权利要求9所述的装置，其特征在于，所述第二子单元还用于：

采用碎片级别统计所述第一判别模型的损失程度，并根据网络收敛趋势、输入数据中物体分布情况设定所述碎片级别的大小。

12.根据权利要求8-11中任一项所述的装置，其特征在于，还包括：

语义地图生成单元，用于通过第二生成式对抗网络生成语义地图；

语义地图输入单元，用于将所述语义地图作为先验信息输入到所述仿真器。

13.根据权利要求12所述的装置，其特征在于，所述第二生成式对抗网络包括生成模型和第二判别模型；所述语义地图生成单元还用于：

将噪声向量输入所述生成模型，由所述生成模型生成语义地图；

将真实语义地图和所述生成模型输出的语义地图输入到所述第二判别模型，由所述第二判别模型产生所述生成模型输出的语义地图的真实性概率；

根据所述真实性概率，通过所述生成模型和所述第二判别模型的博弈学习训练所述第二生成式对抗网络；

通过训练好的所述第二生成式对抗网络生成语义地图。

14.根据权利要求8-11中任一项所述的装置，其特征在于，所述仿真数据优化单元还用于：

设置应用于不同场景的控制器向量；

在所述迁移模型的网络传递过程中输入所述控制器向量，以生成应用于不同场景的所述优化仿真数据。

15.一种仿真数据优化装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

16.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images