CN116451590A - 自动驾驶仿真测试平台的仿真方法及装置 - Google Patents

Abstract

本申请提供一种自动驾驶仿真测试平台的仿真方法及装置。其中，自动驾驶仿真测试平台的仿真方法包括：获取仿真交通环境信息；基于仿真交通环境信息以及自动驾驶仿真测试平台中的传感器模型的传感器参数，利用自动驾驶仿真测试平台中的感知信息传播模型计算传感器模型对应的仿真信号；以仿真信号为训练样本，并以传感器模型对应的真实传感器的输出为训练样本的真值，对传感器模型进行训练，得到待迭代的传感器模型的传感器参数，并利用待迭代的传感器模型的传感器参数更新传感器模型的传感器参数，得到迭代后的传感器模型；根据迭代后的传感器模型，生成自动驾驶仿真测试对应的仿真测试场景。该方法有利于提高仿真测试场景的构建精度和效率。

Description

自动驾驶仿真测试平台的仿真方法及装置

技术领域

本申请涉及自动驾驶技术领域，具体而言，涉及一种自动驾驶仿真测试平台的仿真方法及装置。

背景技术

为了对自动驾驶系统进行测试，需要构建对应的仿真测试场景，而为了提高仿真测试场景的构建精度，则需要训练高精度的传感器模型，以实现对真实交通环境中的真实传感器的仿真。然而，在现有技术中，对传感器模型进行训练需要依靠大量人工采集和人工标注的数据集，其中人工采集数据存在困难，而人工标注又容易产生错误，导致传感器模型的精度难以提高。

发明内容

本申请实施例的目的在于提供一种自动驾驶仿真测试平台的仿真方法及装置，用以改善上述技术问题。具体技术方案如下：

第一方面，本申请实施例提供一种自动驾驶仿真测试平台的仿真方法，包括：获取仿真交通环境信息；基于所述仿真交通环境信息以及所述自动驾驶仿真测试平台中的传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；以所述仿真信号为训练样本，并以所述传感器模型对应的真实传感器的输出为所述训练样本的真值，对所述传感器模型进行训练，得到待迭代的传感器模型的传感器参数，并利用所述待迭代的传感器模型的传感器参数更新所述传感器模型的传感器参数，得到迭代后的传感器模型；根据所述迭代后的传感器模型，生成自动驾驶仿真测试对应的仿真测试场景。

在上述方法中，通过获取仿真交通环境信息以及传感器模型的传感器参数，并利用感知信息传播模型就能够得到传感器模型对应的仿真信号，即传感器模型的训练样本，而通过真实传感器的输出就能够得到训练样本的真值，即实现了训练样本获取和标注的自动化，从而便于大量产生训练样本进行训练，有效提高了传感器模型的精度，即仿真真实传感器的能力，进而有利于提高仿真测试场景的构建精度。另外，由于训练样本获取和标注都无需人工介入，因此传感器模型的训练效率显著提高，仿真测试场景的构建效率也随之提高，人工成本则得到降低，还降低了误标注的概率。另外，由于真实交通环境难以覆盖各种极端工况，而自动驾驶仿真测试平台在仿真时则没有对工况和场景的限制，从而基于仿真交通环境信息获取的训练样本能够覆盖更加完善的场景，使用这些训练样本对传感器模型进行训练，有利于提高传感器模型的精度，进而提高仿真测试场景的构建精度。

在第一方面的一种实现方式中，所述获取仿真交通环境信息，包括：获取真实交通环境中的真实传感器的输出，所述真实传感器的输出包括三维点云数据、交通参与者信息以及所述真实传感器的传感器参数；通过环境感知算法从所述真实传感器的输出中识别出的所述真实交通环境中的几何纹理特征和交通行为特征，结合所述自动驾驶仿真测试平台中预设的交通环境物理模型，生成所述仿真交通环境信息。

在第一方面的一种实现方式中，所述方法还包括：根据从所述真实交通环境中采集的静态物体的物体信息以及动态物体的物体信息构建所述交通环境物理模型；其中，所述静态物体包括道路、路侧建筑以及植物中的至少一种物体，所述动态物体包括交通参与者以及坠落物中的至少一种物体，所述物体信息包括几何信息、纹理信息和材质信息中的至少一种信息。

在第一方面的一种实现方式中，所述根据从所述真实交通环境中采集的静态物体的物体信息以及动态物体的物体信息构建所述交通环境物理模型，包括：根据测绘设备从所述真实交通环境中采集的所述静态物体的物体信息，以及，所述真实传感器从所述真实交通环境中采集的所述动态物体的物体信息构建所述交通环境物理模型。

在第一方面的一种实现方式中，所述交通环境物理模型采用云服务实现。

在第一方面的一种实现方式中，所述真实传感器安装在所述真实交通环境中的车辆和/或路侧设备上，所述传感器模型部署在所述仿真测试场景中的仿真车辆和/或仿真路侧设备上。

在第一方面的一种实现方式中，所述基于所述仿真交通环境信息以及所述自动驾驶仿真测试平台中的传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号，包括：提取所述自动驾驶仿真测试平台中的传感器模型的物理模型；其中，所述物理模型为基于真实传感器的工作原理以及预配置的传感器参数对所述真实传感器进行参数化建模的结果；基于所述仿真交通环境信息，根据所述传感器模型的物理模型以及所述物理模型对应的感知信息传播模型，获取所述传感器模型对应的仿真信号。

在第一方面的一种实现方式中，所述传感器模型对应的真实传感器包括基于光信号或电磁波信号进行环境感知的器件，所述物理模型对应的感知信息传播模型包括计算电磁学模型；所述基于所述仿真交通环境信息，根据所述传感器模型的物理模型以及所述物理模型对应的感知信息传播模型，获取所述传感器模型对应的仿真信号，包括：基于所述仿真交通环境信息以及所述物理模型中的传感器参数，确定信号传播空间中的场源和边界条件；利用所述计算电磁学模型，基于所述场源和所述边界条件计算所述信号传播空间中所述传感器模型所在位置处的信号，作为所述传感器模型对应的仿真信号。

在第一方面的一种实现方式中，所述以所述仿真信号为训练样本，并以所述传感器模型对应的真实传感器的输出为所述训练样本的真值，对所述传感器模型进行训练，得到待迭代的传感器模型的传感器参数，包括：利用训练环境中的训练系统执行以下操作：将所述仿真信号输入所述传感器模型，得到所述传感器模型的输出，计算所述传感器模型的输出和所述真实传感器的输出之间的差异，根据所述差异利用反向传播算法优化所述传感器模型的传感器参数，得到所述待迭代的传感器模型的传感器参数；其中，所述训练环境采用云服务实现。

在第一方面的一种实现方式中，所述传感器模型还包括机器学习模型，所述机器学习模型为对所述真实传感器的输出和所述物理模型的输出之间的误差进行参数化建模的结果；所述利用所述待迭代的传感器模型的传感器参数更新所述传感器模型的传感器参数，包括：利用所述待迭代的传感器模型中的机器学习模型的参数，更新所述传感器模型中的机器学习模型的参数；或者，利用所述待迭代的传感器模型中的机器学习模型的参数，更新所述传感器模型中的机器学习模型的参数，以及，根据所述待迭代的传感器模型的输出与所述真实传感器的输出之间的误差更新所述传感器模型中的物理模型的参数。

第二方面，本申请实施例提供一种自动驾驶仿真测试平台的仿真方法，包括：获取所述自动驾驶仿真测试平台中的传感器模型的输出以及仿真交通环境感知数据；以所述传感器模型的输出为训练样本，并以所述仿真交通环境感知数据为所述训练样本的真值，对用于部署在真实交通环境中的环境感知算法进行训练，得到待迭代的环境感知算法的算法参数，并利用所述待迭代的环境感知算法的算法参数更新所述环境感知算法的算法参数，得到迭代后的环境感知算法；利用所述迭代后的环境感知算法处理所述传感器模型对应的真实传感器的输出，得到真实交通环境感知数据。

在上述方法中，通过获取传感器模型的输出作为训练样本，获取仿真交通环境感知数据作为训练样本的真值，即实现了训练样本获取和标注的自动化，从而便于大量产生训练样本进行训练，有效提高了环境感知算法的感知能力。另外，由于训练样本获取和标注都无需人工介入，因此环境感知算法的训练效率显著提高，人工成本则得到降低，还降低了误标注的概率。另外，由于真实交通环境难以覆盖各种极端工况，而自动驾驶仿真测试平台在仿真时则没有对工况和场景的限制，从而基于仿真交通环境感知数据获取的训练样本能够覆盖更加完善的场景，使用这些训练样本对环境感知算法进行训练，有利于提高环境感知算法的感知能力。

进一步的，第一方面的方法还可以和第二方面的方法相互结合，在第一方面的方法中，训练传感器模型所依赖的仿真交通环境信息可以来源于真实交通环境中的环境感知算法的感知数据，从而可以通过提高环境感知算法感知环境的能力（通过训练环境感知算法来提高）提高自动驾驶仿真测试平台仿真真实交通环境的能力（表征为传感器模型的精度或者仿真测试场景的精度）。在第二方面的方法中，训练环境感知算法所依赖的传感器模型的输出来源于传感器模型，从而可以通过提高传感器模型的精度（通过训练传感器模型来提高）提高环境感知算法理解交通环境的能力（表征为环境感知算法的感知能力）。即环境感知算法理解交通环境的能力和自动驾驶仿真测试平台仿真交通环境的能力可以相互提高，二者之间形成了一个数据闭环，无需额外输入数据，具有自生长的特性。

在第二方面的一种实现方式中，获取仿真交通环境感知数据，包括：运行所述自动驾驶仿真测试平台中预设的交通环境物理模型，并在指定时刻从所述交通环境物理模型中采集所述仿真交通环境感知数据。

在第二方面的一种实现方式中，所述获取所述自动驾驶仿真测试平台中的传感器模型的输出，包括：获取仿真交通环境信息；基于所述仿真交通环境信息以及所述传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；利用所述传感器模型处理所述仿真信号，得到所述传感器模型的输出。

在第二方面的一种实现方式中，所述利用所述传感器模型处理所述仿真信号，得到所述传感器的输出，包括：提取所述传感器模型的物理模型；其中，所述物理模型为基于真实传感器的工作原理以及预配置的传感器参数对所述真实传感器进行参数化建模的结果；利用所述传感器模型的物理模型处理所述仿真信号，得到所述物理模型的输出；根据所述物理模型的输出确定所述传感器模型的输出。

在第二方面的一种实现方式中，所述传感器模型还包括机器学习模型，所述机器学习模型为对所述真实传感器的输出和所述物理模型的输出之间的误差进行建模的结果，所述根据所述物理模型的输出确定所述传感器模型的输出，包括：利用所述机器学习模型处理所述物理模型的输出，得到输出补偿量，并将所述物理模型的输出加上所述输出补偿量，得到所述传感器模型的输出。

第三方面，本申请实施例提供一种自动驾驶仿真测试平台的仿真装置，包括：第一数据获取模块，用于获取仿真交通环境信息；仿真信号计算模块，用于基于所述仿真交通环境信息以及所述自动驾驶仿真测试平台中的传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；传感器模型训练模块，用于以所述仿真信号为训练样本，并以所述传感器模型对应的真实传感器的输出为所述训练样本的真值，对所述传感器模型进行训练，得到待迭代的传感器模型的传感器参数，并利用所述待迭代的传感器模型的传感器参数更新所述传感器模型的传感器参数，得到迭代后的传感器模型；场景生成模块，用于根据所述迭代后的传感器模型，生成自动驾驶仿真测试对应的仿真测试场景。

第四方面，本申请实施例提供一种自动驾驶仿真测试平台的仿真装置，包括：第二数据获取模块，用于获取所述自动驾驶仿真测试平台中的传感器模型的输出以及仿真交通环境感知数据；环境感知算法训练模块，用于以所述传感器模型的输出为训练样本，并以所述仿真交通环境感知数据为所述训练样本的真值，对用于部署在真实交通环境中的环境感知算法进行训练，得到待迭代的环境感知算法的算法参数，并利用所述待迭代的环境感知算法的算法参数更新所述环境感知算法的算法参数，得到迭代后的环境感知算法；环境感知模块，用于利用所述迭代后的环境感知算法处理所述传感器模型对应的真实传感器的输出，得到真实交通环境感知数据。

第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器读取并运行时，执行第一方面、第二方面或这两方面的任意一种可能的实现方式提供的方法。

第六方面，本申请实施例还提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面、第二方面或这两方面的任意一种可能的实现方式提供的方法。

第七方面，本申请实施例还提供了一种电子设备，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面、第二方面或这两方面的任意一种可能的实现方式提供的方法。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种自动驾驶仿真测试平台的仿真方法的流程示意图；

图2为本申请实施例提供的另一种自动驾驶仿真测试平台的仿真方法的流程示意图；

图3为申请实施例提供的一种数字孪生系统的结构示意图；

图4为本申请实施例提供的数字孪生系统在通过理解交通环境的能力提升仿真交通环境的能力时的交互示意图；

图5为申请实施例提供的数字孪生系统在通过仿真交通环境的能力提升理解交通环境的能力时的交互示意图；

图6为本申请实施例提供的一种自动驾驶仿真测试平台的仿真装置的结构示意图；

图7为本申请实施例提供的另一种自动驾驶仿真测试平台的仿真装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。

在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

发明人研究发现，要构建高精度的仿真测试场景，关键因素之一是要训练高精度的传感器模型，即传感器模型仿真精度的提升依赖于数据驱动，其缺陷包括：

（1）训练数据的采集依赖于人工，不仅费时费力，而且很难全面覆盖恶劣天气与光照条件等极端工况，导致数据集的规模成为限制传感器模型泛化能力的瓶颈；

（2）训练数据依赖人工采集和标注，其标注成本和速度成为限制传感器模型迭代速度的瓶颈；

（3）依赖人工进行数据标注时，难以避免误操作因素，导致标注质量下降。

为解决上述问题，本申请提出一种自动驾驶仿真测试平台的仿真方法，该方法先获取仿真交通环境信息，然后基于仿真交通环境信息计算传感器模型对应的仿真信号，接着以仿真信号为训练样本，并以传感器模型对应的真实传感器的输出为训练样本的真值，对传感器模型进行训练。由于仿真交通环境信息和真实传感器的输出都可以自动生成，无需人工介入，由此解决了传感器模型的训练数据依赖人工采集和人工标注所产生的数据量不足、数据覆盖面窄、数据标注质量差、人工成本高等一系列问题。

另一方面，在自动驾驶系统中大量使用了环境感知算法来获取交通环境中感兴趣的信息，为系统决策提供依据。发明人还研究发现，对于环境感知算法的感知能力的提升同样提升依赖于数据驱动，其同样具有上述缺陷（1）~（3），并可以通过如下案例反映这些缺陷：

案例1：对于道路边界检测等需要使用语义分割算法（属于环境感知算法的一种）的任务，需对数据集中每一帧数据进行像素级的标注；高昂的标注成本和有限的标注精度极大限制了这类算法性能的提升。

案例2：对于目标跟踪等需要分析感兴趣目标时域信息的任务，必须使用视频文件作为数据集，并且必须确保视频中同一个目标的标注结果的ID始终唯一，增大了人工标注的难度，同时极大增加了标注成本。

案例3：对于车路协同感知类的任务，需对车端和路端采集的数据进行联合标注，但不同视角下的标注难免造成误差，导致此类数据集无论用于训练算法还是测试算法都存在显著缺陷。

案例4：对于预期功能安全的测试与验证需采集大量极端工况下的传感器数据，例如采集包含恶劣天气、光照过强或过弱、不完整的交通标识、罕见的交通参与者等情况的视频文件。若使用真实车辆在极端工况下采集数据的过程中存在安全风险，例如车轮在雨雪天气下可能会打滑、车辆在光照过弱的情况下容易发生交通事故等，导致所采集的训练数据不能覆盖完整的场景。

为解决上述问题，本申请提出另一种自动驾驶仿真测试平台的仿真方法，该方法先获取传感器模型的输出以及仿真交通环境感知数据，然后以传感器模型的输出为训练样本，并以仿真交通环境感知数据为训练样本的真值，对环境感知算法进行训练。由于传感器模型的输出以及仿真交通环境感知数据都可以自动生成，无需人工介入，由此解决了环境感知算法的训练数据依赖人工采集和人工标注所产生的数据量不足、数据覆盖面窄、数据标注质量差、人工成本高等一系列问题。

另外，本申请还提出了一种数字孪生系统，该系统结合了以上两种自动驾驶仿真测试平台的仿真方法，在该系统中，通过真实交通环境中环境感知算法理解交通环境的能力提升自动驾驶仿真测试平台仿真交通环境的能力，并且还通过自动驾驶仿真测试平台仿真交通环境的能力提升真实交通环境中环境感知算法理解交通环境的能力，由此形成数据闭环，使得环境感知算法的感知能力以及自动驾驶仿真测试平台的仿真精度得到不断提升，并且全程无需人工标注。

请参见图1示出的本申请实施例提供的一种自动驾驶仿真测试平台的仿真方法的流程示意图，该方法可以但不限于由图8示出的电子设备执行，该电子设备的具体结构可参照后文关于图8的阐述。上述自动驾驶仿真测试平台的仿真方法可以包括：

步骤S110：获取仿真交通环境信息。

步骤S120：基于仿真交通环境信息以及自动驾驶仿真测试平台中的传感器模型的传感器参数，利用自动驾驶仿真测试平台中的感知信息传播模型计算传感器模型对应的仿真信号。

步骤S130：以仿真信号为训练样本，并以传感器模型对应的真实传感器的输出为训练样本的真值，对传感器模型进行训练，得到待迭代的传感器模型的传感器参数，并利用待迭代的传感器模型的传感器参数更新传感器模型的传感器参数，得到迭代后的传感器模型。

步骤S140：根据迭代后的传感器模型，生成自动驾驶仿真测试对应的仿真测试场景。

上述方法中的概念解释如下：

自动驾驶仿真测试平台：一个用于对自动驾驶系统或者其他智能交通系统（可简称被测系统）进行测试的平台，该平台可自动生成仿真测试场景，该平台可由交通环境物理模型、感知信息传播模型、传感器模型等一个或多个组件构成（结构可参考图4），这些组件的功能详见后文阐述。

仿真交通环境信息：一个仿真交通环境的环境信息，可以是仿真交通环境中的任意信息，例如其中的静态、动态物体的几何、纹理信息，指定时刻物体的位置、角度信息等。

该仿真交通环境可以是将真实交通环境中的要素数字化后形成的模型，包含真实交通环境中所有物体的几何形状、纹理、材质、材质表面的附着物、天气、光照等信息，即仿真交通环境对真实交通环境的仿真。而真实交通环境是指由道路和服务于道路的基础设施、交通参与者、光照等元素组成，是物理世界的一部分。

仿真交通环境可以是真实交通环境的1：1映射，也可能根据实际需求在其中添加真实交通环境中不存在的物体，例如，不与任一真实车辆对应的仿真车辆等，以便模拟一些特殊的工况，例如极端工况。

仿真交通环境可以由自动驾驶仿真测试平台负责构建和维护。

传感器模型：一种可对真实交通环境中的真实传感器的行为进行模拟的软件程序，可以认为是对真实传感器进行参数化建模的结果。真实传感器可以安装在真实交通环境中的车辆和/或路侧设备上，而传感器模型则可以部署在仿真测试场景中的仿真车辆和/或仿真路侧设备上，用于为被测系统采集所需的数据。

其中，真实传感器可以指安装在真实交通环境中的道路基础设施或交通参与者之中的、具有感知和/或定位等功能的电子或光学器件，可输出道路环境的图像、视频、二维或三维点云、交通参与者信息列表等感知信息，和/或传感器所处载体的位置、速度、姿态、加速度等定位信息。例如，真实传感器可以包括相机、毫米波雷达、激光雷达、全球卫星导航系统（Global Navigation Satellite System，简称GNSS）设备、惯性测量单元（InertialMeasurement Unit，简称IMU）等一种或多种器件。

传感器模型的传感器参数：传感器参数可以包括两类，第一类传感器参数是无需训练的参数，第二类传感器参数是需要训练的参数。

第一类传感器参数是根据对真实传感器的建模方法得出的可对真实传感器的工作原理进行定量描述的可设置的参数，例如：对于相机，其传感器参数包括内参、外参、图像信号处理器（Image Signal Processor，简称ISP）的参数等。对于毫米波雷达，其传感器参数包括外参、脉冲间距、频谱范围、天线增益、天线方向图、发射功率、天线数量与间距、扫描方式、等效噪声温度、接收机灵敏度、滤波器的参数矩阵等。对于激光雷达，其传感器参数包括外参、光束数量与角度、发射功率、波长、扫描方式、接收机灵敏度、滤波器的参数矩阵等。对于GNSS设备，其传感器参数包括外参、天线增益、天线方向图、天线极化特性、等效噪声温度、接收机灵敏度、滤波器的参数矩阵等。

需要指出的是：第一类传感器参数可以进一步包括用户可配置参数和无需用户配置参数，例如光速、常见材料的介电常数等参数可以是固定值，无需用户配置。用户可以对可配置参数进行适当的配置，以实现对绝大部分真实传感器的参数化建模。

第二类传感器参数是需要通过训练进行优化的参数，例如神经网络模型的参数，这类参数不是事先设置好的。某些传感器模型只需设置第一类传感器参数就能够很好地仿真真实传感器，这类传感器模型可以不包含第二类传感器参数。

感知信息传播模型：一种用于根据仿真交通环境信息，场源位置（例如，光源、电磁波发射源），以及发射功率、发射波形、发射信号方位图、扫描方式等一种或多种传感器参数，计算给定位置和方向上的仿真信号的强度和相位变化等信息的模型。其中，仿真信号就是传感器模型的接收信号，用于仿真真实传感器在真实交通环境中接收到的信号。

例如，感知信息传播模型可以是几何光学模型、计算电磁学模型等，或者可以是多种模型的混合，而其所计算的接收信号可以是光信号、电磁波信号（光信号其实也属于一种电磁波信号）、超声波信号等。

需要指出的是：真实传感器包括主动器件和被动器件两种形式（相应地，传感器模型也包括这两种形式），其中，主动器件要主动发射信号并接收发射信号才能获得输出，主动器件的场源数据可以由传感器参数提供，例如，毫米波雷达、激光雷达都属于主动器件；被动器件无需主动发射信号，只需接收外界信号即可获得输出，被动器件的场源数据可以由仿真交通环境信息提供，例如，相机属于被动器件。

待迭代的传感器模型：位于仿真测试场景中的传感器模型在训练后产生的一个位于训练环境中的临时版本。其中，训练环境可以指一种软件环境（例如，可以是云服务，也可以是普通服务），包含大量训练数据和真值（即标注结果），可对机器学习类算法和/或模型进行训练，通常用于提升算法和/或模型的精度、召回率、泛化能力等性能指标。训练环境的输出可以是更新后的算法和/或模型。训练环境可以是独立于自动驾驶仿真测试平台的一个环境。

仿真测试场景：包括自动驾驶系统在内的被测系统所运行的虚拟环境，其中可以包括仿真车辆（其上可能部署有传感器模型）、仿真路侧设备（其上可能部署有传感器模型）以及外部交通环境。

步骤S110中的仿真交通环境信息可以来源于自动驾驶仿真测试平台构建的仿真交通环境，或者，也不排除自动驾驶仿真测试平台直接基于从真实交通环境中采集到的数据获得仿真交通环境信息，而不构建仿真交通环境。

在步骤S120中，将仿真交通环境信息和传感器模型的传感器参数输入到感知信息传播模型，感知信息传播模型可以计算出传感器模型对应的仿真信号。感知信息传播模型、传感器模型及其参数共同实现了对真实传感器及其行为的建模。

在步骤S130中，以仿真信号为训练样本，并以传感器模型对应的真实传感器的输出为训练样本的真值，对传感器模型进行有监督的训练，得到待迭代的传感器模型的传感器参数。

步骤S130可以在训练环境中执行，例如，对于传感器模型是神经网络模型的情况，可以利用训练环境中的训练系统（用于实现训练功能的软件工具）执行以下操作：将仿真信号输入传感器模型，得到传感器模型的输出，计算传感器模型的输出和真实交通环境中的真实传感器的输出之间的差异，根据该差异利用反向传播算法优化传感器模型的传感器参数，得到待迭代的传感器模型的传感器参数。其中，若传感器模型只有部分是神经网络模型，即具有第二类传感器参数，剩余部分的模型具有第一类传感器参数，则在训练时可以只对神经网络模型部分的参数进行优化。

应当理解，若传感器模型为其他类型的模型，则模型的训练方法需要相应地调整。另外，在某些实现方式中，传感器模型也未必要在训练环境中进行训练，例如也可以直接在自动驾驶仿真测试平台上进行训练。

在步骤S140中，可以根据迭代后的传感器模型，并结合其他信息，例如仿真车辆的模型、仿真路侧设备的模型、仿真交通环境信息等一项或多项信息，生成自动驾驶仿真测试对应的仿真测试场景。

在上述方法中，通过获取仿真交通环境信息以及传感器模型的传感器参数，并利用感知信息传播模型就能够得到传感器模型对应的仿真信号，即传感器模型的训练样本，而通过真实传感器的输出就能够得到训练样本的真值，即实现了训练样本获取和标注的自动化，从而便于大量产生训练样本进行训练，有效提高了传感器模型的精度，即仿真真实传感器的能力，进而有利于提高仿真测试场景的构建精度。

另外，由于训练样本获取和标注都无需人工介入，因此传感器模型的训练效率显著提高，仿真测试场景的构建效率也随之提高，人工成本则得到降低，还降低了误标注的概率。

另外，由于真实交通环境难以覆盖各种极端工况，而自动驾驶仿真测试平台在仿真时则没有对工况和场景的限制，从而基于仿真交通环境信息获取的训练样本能够覆盖更加完善的场景，使用这些训练样本对传感器模型进行训练，有利于进一步提高传感器模型的精度，进而提高仿真测试场景的构建精度。

作为上述自动驾驶仿真测试平台的仿真方法的一种实施方式，步骤S110中的获取仿真交通环境信息，可以进一步包括：

首先，获取真实交通环境中的真实传感器的输出。其中，真实传感器的输出包括三维点云数据、交通参与者信息以及真实传感器的传感器参数等信息。

然后，通过环境感知算法从真实传感器的输出中识别出的真实交通环境中的几何纹理特征和交通行为特征，并结合自动驾驶仿真测试平台中预设的交通环境物理模型，生成仿真交通环境信息。

上述实施方式中的概念解释如下（前文解释过的不再重复）：

三维点云数据：激光雷达、成像毫米波雷达等真实传感器对真实交通环境中的物体进行扫描后形成的数据，由大量三维空间中的数据点构成，这些数据点描绘了物体的轮廓。

交通参与者信息：交通参与者的位置、速度、姿态、加速度等一项或多项信息，交通参与者可以是车辆、行人等参与道路交通行为的对象。

真实传感器的传感器参数：和传感器模型的第一类参数类似，不再重复阐述。真实传感器的传感器参数可以为传感器模型的参数配置提供参考。

环境感知算法：处于真实交通环境中的用于感知环境中的语义信息的算法和/或模型，其根据真实传感器的输出中的颜色、亮度、点云等信息，获取道路边界、车道线、交通参与者（例如，行人、汽车、自行车等）的状态和意图等语义信息。

环境感知算法可以属于真实交通环境中的自动驾驶系统、车路协同系统、智慧交通系统等系统中的一部分，用于提升这些系统的环境感知能力。环境感知算法可以包括语义分割算法、目标检测算法、目标识别算法以及目标跟踪算法中的至少一种算法。

交通环境物理模型：可视为前文提到的仿真交通环境的载体，通过对真实交通环境建模形成，可以由自动驾驶仿真测试平台负责构建和维护。交通环境物理模型可以实现为一项云服务，当然也可以实现为普通服务或非服务程序。

在上述实施方式中，真实传感器的输出可以按照数据流的方式源源不断地从真实传感器获取，或者也可以在真实传感器积累了一批数据后统一从真实传感器获取。

例如，若真实传感器包括相机，则真实传感器的输出可以包括真实交通环境的颜色信息、真实交通环境的亮度信息、相机的外参以及相机的内参中的至少一种信息；

若真实传感器包括雷达，则真实传感器的输出可以包括交通参与者的位置、交通参与者的速度、交通参与者的反射强度、真实交通环境的点云数据、点云中每个点的反射强度、点云中每个点的速度中的至少一种信息；

若真实传感器包括定位设备，则真实传感器的输出可以包括定位设备所处的交通参与者的位置、交通参与者的速度、交通参与者的加速度以及交通参与者的姿态中的至少一种信息。

环境感知算法可以从真实传感器的输出中识别出的真实交通环境中的几何纹理特征和交通行为特征，其中几何纹理特征代表了真实交通环境中的物体（可能是交通参与者，也可能不是交通参与者）在外观层面的语义信息，而交通行为特征则代表了真实交通环境中的交通参与者在行为层面的语义信息，例如其所处的状态、意图等一项或多项信息。

根据真实交通环境中的几何纹理特征和交通行为特征，可以对交通环境物理模型进行更新，更新后的交通环境物理模型可以代表当前的仿真交通环境，进而可以从中提取出最新的仿真交通环境信息。

在上述实施方式中，基于真实传感器的输出和环境感知算法来生成仿真交通环境信息，使得传感器模型的训练样本可以源源不断地基于真实交通环境产生，并且将环境感知算法的理解交通环境的能力和自动驾驶仿真测试平台仿真交通环境的能力绑定在一起。

作为上述自动驾驶仿真测试平台的仿真方法的一种实施方式，上述交通环境物理模型根据从真实交通环境中采集的静态物体的物体信息以及动态物体的物体信息构建。

上述实施方式中的概念解释如下（前文解释过的不再重复）：

静态物体：处于静止状态或者仅可局部运动的物体。例如，静态物体可以包括道路、路侧建筑以及植物中的至少一种物体。

动态物体：处于运动状态或者具有运动能力的物体。例如，动态物体可以包括交通参与者以及坠落物中的至少一种物体。

物体信息：包括物体的几何信息、纹理信息和材质信息中的至少一种信息。其中，纹理信息也可以由材质信息推导，即一共包括静态、动态、几何、纹理四象限的信息。

静态物体的物体信息可以由测绘设备从真实交通环境中采集，而动态物体的物体信息可以由真实传感器从真实交通环境中采集，基于这两类信息可以对真实交通环境进行建模（例如，三维重建），得到交通环境物理模型。可选的，构建交通环境物理模型时还可能会用到环境感知算法基于真实传感器的输出所提取到的语义信息。另外，也不排除真实传感器可以采集到部分静态物体的几何信息和纹理信息。

在上述实施方式中，由于交通环境物理模型极大地还原了真实交通环境中的静态和动态物体的信息，因此基于交通环境物理模型生成的仿真交通环境信息可以作为传感器模型的训练样本的来源，用以自动产生大量的训练样本，并且使得训练得到的传感器模型能够很好地仿真真实传感器，进而提高仿真测试场景的精度。

作为上述自动驾驶仿真测试平台的仿真方法的一种实施方式，步骤S120中的基于仿真交通环境信息以及自动驾驶仿真测试平台中的传感器模型的传感器参数，利用自动驾驶仿真测试平台中的感知信息传播模型计算传感器模型对应的仿真信号，包括：

首先，提取自动驾驶仿真测试平台中的传感器模型的物理模型。

然后，基于仿真交通环境信息，根据传感器模型的物理模型以及物理模型对应的感知信息传播模型，获取传感器模型对应的仿真信号。

上述实施方式中的概念解释如下（前文解释过的不再重复）：

物理模型：基于真实传感器的工作原理以及预配置的传感器参数对真实传感器进行参数化建模的结果。其中，预配置的传感器参数可以包含在前文提到的第一类传感器参数中，或者也可以将第一类传感器参数都视为预配置的传感器参数。

例如，若传感器模型所仿真的真实传感器中的传感器参数及原理是用户（可以是自动驾驶仿真测试平台的构建者）所完全掌握的，则可以仅通过物理模型就可以实现对真实传感器的高精度仿真，此时可以只采用物理模型作为传感器模型。

除了物理模型之外，某些传感器模型还可以包括机器学习模型或者其他模型。其中，机器学习模型为对真实传感器的输出和物理模型的输出之间的误差进行参数化建模的结果，机器学习模型可以采用神经网络模型等参数可训练的模型实现。

例如，若传感器模型所仿真的真实传感器中的传感器参数或工作原理不是用户完全掌握的，例如，是第三方提供的器件，其内部参数未完全公开，用户只能估计其参数，即使用户可以通过对传感器参数的合理设置来减少物理模型的输出与真实传感器的输出之间的误差，但是由于对真实传感器进行参数化建模的过程中总是包含大量的近似和限定条件，导致物理模型与真实传感器的输出之间存在一定误差，在此种情况下，可以增加传感器模型的机器学习模型，对物理模型的输出误差进行修正，使得传感器模型的输出与真实传感器的输出更加接近。关于机器学习模型的更多用途，在后文再进行介绍。

不同的真实传感器在工作原理上区别较大，其所涉及的信号传播方式可能完全不同，因此并不一定能通过一个统一的感知信息传播模型来计算其对应的仿真信号，而需要根据与传感器模型的物理模型对应的感知信息传播模型来计算传感器模型对应的仿真信号，从而实现对不同类型的真实传感器的高精度仿真。

例如，若传感器模型对应的真实传感器包括基于光信号或电磁波信号进行环境感知的器件，则物理模型对应的感知信息传播模型包括计算电磁学模型，此时基于仿真交通环境信息，根据传感器模型的物理模型以及物理模型对应的感知信息传播模型，获取传感器模型对应的仿真信号，可以进一步包括：

首先，基于仿真交通环境信息以及物理模型中的传感器参数，确定信号传播空间中的场源和边界条件。如前所述，场源可能来源于传感器参数（主动器件），可能来源于仿真交通环境信息（被动器件）。

然后，利用计算电磁学模型，基于场源和边界条件计算信号传播空间中传感器模型所在位置处的信号，作为传感器模型对应的仿真信号。

应当理解，信号传播模型可以是几何光学模型、计算电磁学模型、或者可以是多种模型的混合，而其所计算的接收信号可以是光信号、电磁波信号（光信号也可以视为一种电磁波信号）、超声波信号等。

作为上述自动驾驶仿真测试平台的仿真方法的一种实施方式，传感器模型包括物理模型和机器学习模型，步骤S130中的利用待迭代的传感器模型的传感器参数更新传感器模型的传感器参数，包括以下两种可选方案：

方案1：利用待迭代的传感器模型中的机器学习模型的参数，更新传感器模型中的机器学习模型的参数。

方案2：利用待迭代的传感器模型中的机器学习模型的参数，更新传感器模型中的机器学习模型的参数，以及，根据待迭代的传感器模型的输出与真实传感器的输出之间的误差更新传感器模型中的物理模型的参数。

在传感器模型包括物理模型和机器学习模型时，待迭代的传感器模型也包括物理模型和机器学习模型，其中机器学习模型的参数在训练过程中得到了更新。方案1直接用待迭代的传感器模型中的机器学习模型的参数，更新传感器模型中的机器学习模型的参数，而传感器模型中的物理模型的参数则不进行调整。方案1比较适合待迭代的传感器模型的输出与真实传感器的输出之间的误差是无偏的，例如误差在-10~+10之间分布，其均值为0的情况。

方案2不仅要使用待迭代的传感器模型中的机器学习模型的参数，更新传感器模型中的机器学习模型的参数，还要根据待迭代的传感器模型的输出与真实传感器的输出之间的误差更新传感器模型中的物理模型的参数。方案2比较适合待迭代的传感器模型的输出与真实传感器的输出之间的误差是有偏的，例如误差在-8~+12之间分布，其均值不是0的情况，这时候可以通过调物理模型的参数来调整误差范围，例如通过调整参数，将上述误差分布调整为-6~+6的范围内，且误差均值为0。

在上述实施方式中，通过不断更新传感器参数使传感器模型的输出接近于真实传感器的输出，提高了传感器模型的仿真精度，进而也有利于提高仿真测试场景的构建精度。

请参见图2示出的本申请实施例提供的另一种自动驾驶仿真测试平台的仿真方法的流程示意图，该方法可以但不限于由图8示出的电子设备执行，该电子设备的具体结构可参照后文关于图8的阐述。上述自动驾驶仿真测试平台的仿真方法可以包括：

步骤S210：获取自动驾驶仿真测试平台中的传感器模型的输出以及仿真交通环境感知数据。

步骤S220：以传感器模型的输出为训练样本，并以仿真交通环境感知数据为训练样本的真值，对用于部署在真实交通环境中的环境感知算法进行训练，得到待迭代的环境感知算法的算法参数，并利用待迭代的环境感知算法的算法参数更新环境感知算法的算法参数，得到迭代后的环境感知算法。

步骤S230：利用迭代后的环境感知算法处理传感器模型对应的真实传感器的输出，得到真实交通环境感知数据。

上述方法中的概念解释如下（前文解释过的不再重复）：

仿真交通环境感知数据：从仿真交通环境中提取到的语义信息，例如可以包括仿真交通环境中的道路边界、交通参与者的状态和意图、红绿灯的状态等信息。

环境感知算法的算法参数：类似于传感器参数，算法参数可以包括两类，第一类算法参数是无需训练的参数，第二类算法参数是需要训练的参数。某些环境感知算法可以只包含第一类算法参数，例如一些传统算法；另一些环境感知算法则可以包括两类算法参数，例如一些基于神经网络模型的算法。

待迭代的环境感知算法：真实环境感知算法在训练后产生的一个位于训练环境中的临时版本。

真实交通环境感知数据：真实环境感知算法基于真实传感器的输出所提取到的真实交通环境中的语义信息。

在步骤S210中，可以将步骤S120中得到的传感器模型对应的仿真信号输入到传感器模型后，得到传感器模型的输出。

又由于仿真交通环境内已经包含了真实交通环境中的所有静态物体和动态物体的全部信息，因此选定任意时刻，即可获得该时刻仿真交通环境中所有物体的状态，进而获得或者推导出仿真交通环境感知数据，这一过程无需人工标注，也不需要在仿真交通环境部署环境感知算法。

例如，若仿真交通环境实现为自动驾驶仿真测试平台中预设的交通环境物理模型，则可以运行该交通环境物理模型，交通环境物理模型运行时，其内部包含的物体类似于真实交通环境一样有的处于静止状态，有的则处于运动状态，但任意时刻，所有物体的状态都是确定的，因此相应的感知数据也是可以精确提取的，从而可以在任意指定的时刻从交通环境物理模型中采集到上述仿真交通环境感知数据。

步骤S220可以在训练环境中执行，例如，对于环境感知算法是基于神经网络模型的算法的情况，可以利用训练环境中的训练系统执行以下操作：将传感器模型的输出输入环境感知算法，得到环境感知算法的输出，计算环境感知算法的输出和仿真交通环境感知数据之间的差异，根据该差异利用反向传播算法优化环境感知算法的算法参数，得到待迭代的环境感知算法的算法参数，即进行有监督训练。其中，环境感知算法用于部署在真实交通环境，意思是环境感知算法的最终用途是部署在真实交通环境中（例如，作为自动驾驶系统的一部分），但如果环境感知算法还在训练阶段，也可以不部署到真实交通环境中，具体可以参照后文关于图4的阐述。

应当理解，若环境感知算法采用其他类型的模型，则模型的训练方法需要相应地调整。另外，在某些实现方式中，环境感知算法也未必要在训练环境中进行训练。

在步骤S230中，将真实传感器的输出输入到迭代后的环境感知算法，得到迭代后的环境感知算法输出的真实交通环境感知数据，由于环境感知算法的算法参数进行了迭代与优化，所以此时输出的真实交通环境感知数据相较于算法迭代前在精度上有所提升。

在上述方法中，通过获取传感器模型的输出作为训练样本，获取仿真交通环境感知数据作为训练样本的真值，即实现了训练样本获取和标注的自动化，从而便于大量产生训练样本进行训练，有效提高了环境感知算法的感知能力。

另外，由于训练样本获取和标注都无需人工介入，因此环境感知算法的训练效率显著提高，人工成本则得到降低，还降低了误标注的概率。

另外，由于真实交通环境难以覆盖各种极端工况，而自动驾驶仿真测试平台在仿真时则没有对工况和场景的限制，从而基于仿真交通环境感知数据获取的训练样本能够覆盖更加完善的场景，使用这些训练样本对环境感知算法进行训练，有利于提高环境感知算法的感知能力。

进一步的，图1中的方法还可以和图2中的方法相互结合，在图1的方法中，训练传感器模型所依赖的仿真交通环境信息可以来源于真实交通环境中的环境感知算法的感知数据，即步骤S230的输出，从而可以通过提高环境感知算法感知环境的能力（通过训练环境感知算法来提高）提高自动驾驶仿真测试平台仿真真实交通环境的能力（表征为传感器模型的精度或者仿真测试场景的精度）。在图2的方法中，训练环境感知算法所依赖的传感器模型的输出来源于传感器模型，即将步骤S120中的仿真信号输入传感器模型的结果，从而可以通过提高传感器模型的精度（通过训练传感器模型来提高）提高环境感知算法理解交通环境的能力（表征为环境感知算法的感知能力）。即环境感知算法理解交通环境的能力和自动驾驶仿真测试平台仿真交通环境的能力可以相互提高，二者之间形成了一个数据闭环，无需额外输入数据，具有自生长的特性。

作为上述自动驾驶仿真测试平台的仿真方法的一种实施方式，步骤S210中传感器模型的输出可以是传感器模型处理步骤S120中的仿真信号后所得到的。可选的，传感器模型根据仿真信号得到输出的过程可以进一步包括：

首先，提取传感器模型的物理模型。

然后，利用传感器模型的物理模型处理仿真信号，得到物理模型的输出。

最后，根据物理模型的输出确定传感器模型的输出。

在上述实施方式中，由于物理模型是基于真实传感器的工作原理以及预配置的传感器参数对真实传感器进行参数化建模的结果，因此根据物理模型的输出确定传感器模型的输出可以使得传感器模型的输出更加接近真实传感器的输出，有效保证了环境感知算法的训练样本的准确性，有利于提高环境感知算法的感知能力。

进一步的，如果传感器模型只包括物理模型，则物理模型的输出就是传感器模型的输出。如果传感器模型包括物理模型和机器学习模型，则可以用机器学习模型进一步处理物理模型的输出，得到传感器模型的输出。

例如，可以利用机器学习模型处理物理模型的输出，得到输出补偿量，并将物理模型的输出加上输出补偿量，得到传感器模型的输出。即，以物理模型的输出为机器学习模型的输入，以输出补偿量作为机器学习模型的输出，然后将物理模型的输出加上输出补偿量，获得传感器模型的输出。在该例子中，机器学习模型仅根据物理模型的输出来预测输出补偿量，预测输出补偿量可能为无偏估计，预测难度相对较低。

又例如，利用机器学习模型处理物理模型的输出，直接获得加入了输出补偿量的传感器模型的输出。即，以物理模型的输出为机器学习模型的输入，以加入了输出补偿量的机器学习模型的输出为传感器模型的输出。在该例子中，机器学习模型直接根据物理模型的输出来预测传感器模型的输出，处理流程更简单。

相对于第一个例子中显式地加入输出补偿量，在第二个例子中，输出补偿量隐性地加入到传感器模型的输出中。但无论是以上哪个例子，都对物理模型的输出进行了补偿，使传感器模型的输出接近于真实传感器的输出，从而提高了环境感知算法的训练样本的准确性，有利于提高环境感知算法的感知能力。

请参见图3示出的本申请实施例提供的一种数字孪生系统的结构示意图。本申请实施例还提供了一种数字孪生系统300，该系统可以包括：自动驾驶仿真测试平台310、真实交通环境320、训练环境330和数据转换子系统340，数字孪生系统300可以实现前述的自动驾驶仿真测试平台的仿真方法。

其中，自动驾驶仿真测试平台310、真实交通环境320、训练环境330的概念在前文已经介绍，重复的部分不再阐述。

数据转换子系统340：是一种测绘和环境感知系统，其通过测绘的方法得到交通环境中的静态物体的几何、纹理、材质信息并以约定的格式存储，同时通过环境感知的方法，即调用环境感知算法得到道路边界、车道线、交通参与者的状态和意图等语义信息，并以实时或非实时的方式发送给数据使用者，例如自动驾驶仿真测试平台310。

数据转换子系统340的输入数据可以包括：部署在真实交通环境320中的真实传感器的输出，对真实交通环境320进行感知的环境感知算法的输出以及测绘设备采集的数据。

其中，自动驾驶仿真测试平台310具有仿真交通环境的能力，该能力具体为：表征仿真交通环境模拟真实交通环境320以及部署在其中的真实传感器的能力，或者也可以是仿真测试场景的构建能力，由仿真交通环境与真实交通环境320之间所建立的映射的完整程度和精确程度所刻画。由于真实交通环境320是物理世界的一部分，而物理世界包含无限丰富的信息，因此自动驾驶仿真测试平台310仿真交通环境的能力是一个持续提升的过程。

而真实交通环境320需要理解交通环境的能力，即环境感知能力，该能力具体为：表征在真实交通环境320中安装的真实传感器以及与之配合使用的环境感知算法自动获取真实交通环境320中的物体的语义信息能力，由泛化能力、检测精度、召回率等一系列性能指标刻画。由于真实交通环境320中的物体是物理世界的一部分，而物理世界包含无限丰富的信息，因此理解交通环境的能力也是一个持续提升的过程。

上述数字孪生系统中的能力提升过程包括：

（1）通过理解交通环境的能力提升仿真交通环境的能力

该过程如图6中由真实交通环境320中理解交通环境的能力指向自动驾驶仿真测试平台310的仿真交通环境的能力的虚线所示，由于仿真交通环境的能力依赖于数据转换子系统340，而数据转换子系统340对语义信息的获取依赖于理解交通环境的能力，因此通过训练环境330来获得理解交通环境的能力的提升对自动驾驶仿真测试平台310仿真交通环境的能力的提升至关重要。

（2）通过仿真交通环境的能力提升理解交通环境的能力

该过程如图6中由自动驾驶仿真测试平台310的仿真交通环境的能力指向真实交通环境320中理解交通环境的能力的虚线所示，由于自动驾驶仿真测试平台310仿真出的交通环境包含了真实交通环境中的绝大部分信息，因此可为理解交通环境的能力所依赖的环境感知算法生成自带真值的训练数据集，以低成本的方式帮助理解交通环境的能力持续提升。

下面详细介绍上述两种能力提升方式。

请参见图4示出的本申请实施例提供的数字孪生系统300在通过理解交通环境的能力提升仿真交通环境的能力时的交互示意图。

在上述过程（1）中，数字孪生系统300包括：

部署在真实交通环境320中的：真实传感器321和环境感知算法322。

部署在自动驾驶仿真测试平台310中的：交通环境物理模型311、感知信息传播模型312和传感器模型313；

部署在训练环境330中的：待迭代的传感器模型331和训练系统332。

以及，数据转换子系统340。

其中，真实传感器321、环境感知算法322、交通环境物理模型311、感知信息传播模型312、传感器模型313、待迭代的传感器模型331的概念在前文已经介绍，重复的部分不再阐述。

数据转换子系统340所采集的数据包括四个象限的数据，四个象限中一个维度包括几何和纹理数据，另一个维度包括静态物体和动态物体，这样互相组合，形成四个象限，其中静态物体的几何和材质数据可以是测绘得到的，再结合真实传感器321采集的光照等信息可以计算出静态物体的纹理数据，但由于光照等信息并非一直变化，因为真实传感器321也无需一直采集并传输这些数据。而动态物体的几何和纹理数据则通过真实传感器321采集获得，但也无需持续采集，例如，只需在感知到这些信息发生变化时采集即可，以减少数据传输量。

另外，本申请实施例中的数据转换子系统340主要用于收集数据，其数据来源包括真实传感器321的输出、环境感知算法322的输出以及真实交通环境的测绘结果，并将所收集的数据发送给自动驾驶仿真测试平台310，用于交通环境物理模型311的构建或更新。交通环境物理模型311通过数据转换子系统340发送的数据进行构建，例如3D重建，重建后才能仿真真实交通环境320并为感知信息传播模型312等提供其所需要的仿真交通环境信息。

训练环境330主要包括训练系统332，其中传感器模型313是所要训练的对象，待迭代的传感器模型331是训练过程中产生的传感器模型313的临时版本，训练系统332是训练功能的实现者，在此过程中训练环境330的输入包括感知信息传播模型312的输出，即传感器模型313对应的仿真信号；以及真实传感器321的输出，即仿真信号被传感器模型313处理后应该得到的真值结果；这些仿真信号和真值共同组成了训练传感器模型313所需的训练数据集。

需要指出的是：训练数据集中的所有内容均来自软件程序，不包含人工采集的数据或人工标注的结果。训练结束后，参数更新后的传感器模型313将被部署到自动驾驶仿真测试平台310中，替换原来的模型，并用于构建仿真测试场景。

由图4中各个组件相互配合使得自动驾驶仿真测试平台310仿真交通环境的能力得到提升。

图4中数字孪生系统300的主要数据处理流程包括：

步骤a1：根据真实传感器321的输出、环境感知算法322的输出以及真实交通环境320的测绘结果构建或更新交通环境物理模型311；

步骤b1：基于自动驾驶仿真测试平台310中的传感器模型313的传感器以及交通环境物理模型311提供的仿真交通环境信息，利用感知信息传播模型312计算传感器模型313对应的仿真信号；

步骤c1：以传感器模型313对应的仿真信号为训练样本，并以真实传感器321的输出为训练样本的真值，对训练环境330中的传感器模型进行训练，得到待迭代的传感器模型331。

步骤d1：利用待迭代的传感器模型331的传感器参数更新自动驾驶仿真测试平台310中的传感器模型313的传感器参数，得到迭代后的传感器模型，该迭代后的传感器模型可用于生成自动驾驶仿真测试对应的仿真测试场景。

上述数据处理流程的细节可参考前文自动驾驶仿真测试平台的仿真方法实施例（主要是图1中方法的实施例），不再重复阐述。

请参见图5示出的本申请实施例提供的数字孪生系统300在通过仿真交通环境的能力提升理解交通环境的能力时的交互示意图。

在上述过程（2）中，数字孪生系统300包括：

部署在真实交通环境320中的：真实传感器321和环境感知算法322。

部署在自动驾驶仿真测试平台310中的：交通环境物理模型311、感知信息传播模型312和传感器模型313；

部署在训练环境330中的：待迭代的环境感知算法333和训练系统332。

其中，真实传感器321、环境感知算法322、交通环境物理模型311、感知信息传播模型312、传感器模型313、待迭代的环境感知算法333的概念在前文已经介绍，重复的部分不再阐述。

注意，数字孪生系统300在图7中包含的组件，在图8中也是包含的，只是图8主要针对的是过程（2）所以未示出这些组件而已，图7与图8合并起来才是完整的数字孪生系统300。

在图5中，训练环境330主要包括训练系统332，其中环境感知算法322是训练的对象，待迭代的环境感知算法333是训练过程中产生的环境感知算法322的临时版本，训练系统332是训练功能的实现者（注意，图8中的训练系统332和图7中的训练系统332由于训练对象不同，也可以实现为两个不同的系统），在此过程中训练环境330的输入包括传感器模型313的输出；以及交通环境物理模型311输出的仿真交通环境感知数据，即传感器模型313的输出被环境感知算法322处理后应该得到的真值结果；这些传感器模型313的输出和真值共同组成了训练环境感知算法322所需的训练数据集。

需要指出的是：训练数据集中的所有内容均来自软件程序，不包含人工采集的数据或人工标注的结果。训练结束后，参数更新后的环境感知算法322将被部署到真实交通环境320中，替换掉原来的算法，并用于持续提供真实交通环境感知数据，该真实交通环境感知数据可被自动驾驶系统等利用。

由图5中各个组件相互配合使得环境感知算法322理解交通环境的能力得到提升。

图5中数字孪生系统300的主要数据处理流程包括：

步骤a2：基于传感器模型313的器件参数以及交通环境物理模型311提供的仿真交通环境信息，利用感知信息传播模型312计算传感器模型313对应的仿真信号；

步骤b2：利用传感器模型313处理仿真信号，得到传感器模型313的输出；

步骤c2：以传感器模型313的输出为训练样本，并获取交通环境物理模型311中自动生成的仿真交通环境感知数据为训练样本的真值，对训练环境330中的环境感知算法进行训练，得到待迭代的环境感知算法333。

步骤e：利用待迭代的环境感知算法333的算法参数更新真实交通环境320中的环境感知算法322的算法参数，得到迭代后的环境感知算法，该迭代后的环境感知算法可用于生成自动驾驶系统所需的真实交通环境感知数据。

上述数据处理流程的细节可参考前文自动驾驶仿真测试平台的仿真方法实施例（主要是图2中方法的实施例），不再重复阐述。

需要注意的是：上述通过理解交通环境的能力提升仿真交通环境的能力以及通过仿真交通环境的能力提升理解交通环境的能力可以同时工作，从而使得自动驾驶仿真测试平台310和真实交通环境320中的环境感知算法322相互提升对方的能力，形成了自动驾驶仿真测试平台310、训练环境330与真实交通环境320中的环境感知算法322之间的数据闭环，使得数据从自动驾驶仿真测试平台310流向真实交通环境320时，提升了环境感知算法322理解交通环境的能力；使得数据从真实交通环境320流向自动驾驶仿真测试平台310时，又提升了自动驾驶仿真测试平台310仿真交通环境的能力；这两个过程循环往复，实现系统的自生长。

可选地，上述环境感知算法322还可以被部署在数据转换子系统340或者交通环境物理模型311中，同样可以实现系统的自生长功能，且降低人工采集数据和标注数据的成本，此时需要把真实传感器321的输出全部以无损的方式发送到数据转换子系统340或者交通环境物理模型311，而图7中将上述环境感知算法322直接部署在真实交通环境320中可以节省通信成本，因为环境感知算法322输出的真实环境感知结果的数据量不大，真实传感器321的输出又可以只在特定条件下才进行传输。

上述数字孪生系统300至少存在以下两种应用场景：

（1）仅在自动驾驶系统（或者其他智能交通系统）的开发测试阶段部署完整的数字孪生系统，在完成开发后，仅保留最后得到的环境感知算法，将其部署到真实交通环境中，自动驾驶仿真测试平台可以不再使用；

（2）在自动驾驶系统（或者其他智能交通系统）的开发测试以及实际使用阶段全程部署上述数字孪生系统，真实传感器在自动驾驶系统的实际运行过程中不断收集数据，数字孪生系统通过真实传感器采集的数据不断优化传感器模型和环境感知算法，实现系统升级，这样自动驾驶系统的用户可以持续感受到数字孪生系统自生长带来的环境感知能力的提升。

请参见图6示出的本申请实施例提供的一种自动驾驶仿真测试平台的仿真装置的结构示意图，自动驾驶仿真测试平台的仿真装置400包括：

第一数据获取模块410，用于获取仿真交通环境信息；

仿真信号计算模块420，用于基于所述仿真交通环境信息以及所述自动驾驶仿真测试平台中的传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；

传感器模型训练模块430，用于以所述仿真信号为训练样本，并以所述传感器模型对应的真实传感器的输出为所述训练样本的真值，对所述传感器模型进行训练，得到待迭代的传感器模型的传感器参数，并利用所述待迭代的传感器模型的传感器参数更新所述传感器模型的传感器参数，得到迭代后的传感器模型；

场景生成模块440，用于根据所述迭代后的传感器模型，生成自动驾驶仿真测试对应的仿真测试场景。

可选的，第一数据获取模块410获取仿真交通环境信息，包括：获取真实交通环境中的真实传感器的输出，所述真实传感器的输出包括三维点云数据、交通参与者信息以及所述真实传感器的传感器参数；通过环境感知算法从所述真实传感器的输出中识别出的所述真实交通环境中的几何纹理特征和交通行为特征，结合所述自动驾驶仿真测试平台中预设的交通环境物理模型，生成所述仿真交通环境信息。

可选的，第一数据获取模块410还用于：根据从所述真实交通环境中采集的静态物体的物体信息以及动态物体的物体信息构建所述交通环境物理模型；其中，所述静态物体包括道路、路侧建筑以及植物中的至少一种物体，所述动态物体包括交通参与者以及坠落物中的至少一种物体，所述物体信息包括几何信息、纹理信息和材质信息中的至少一种信息。

可选的，第一数据获取模块410根据从所述真实交通环境中采集的静态物体的物体信息以及动态物体的物体信息构建所述交通环境物理模型，包括：根据测绘设备从所述真实交通环境中采集的所述静态物体的物体信息，以及，所述真实传感器从所述真实交通环境中采集的所述动态物体的物体信息构建所述交通环境物理模型。

可选的，所述交通环境物理模型采用云服务实现。

可选的，所述真实传感器安装在所述真实交通环境中的车辆和/或路侧设备上，所述传感器模型部署在所述仿真测试场景中的仿真车辆和/或仿真路侧设备上。

可选的，仿真信号计算模块420基于所述仿真交通环境信息以及所述自动驾驶仿真测试平台中的传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号，包括：提取所述自动驾驶仿真测试平台中的传感器模型的物理模型；其中，所述物理模型为基于真实传感器的工作原理以及预配置的传感器参数对所述真实传感器进行参数化建模的结果；基于所述仿真交通环境信息，根据所述传感器模型的物理模型以及所述物理模型对应的感知信息传播模型，获取所述传感器模型对应的仿真信号。

可选的，所述传感器模型对应的真实传感器包括基于光信号或电磁波信号进行环境感知的器件，所述物理模型对应的感知信息传播模型包括计算电磁学模型；仿真信号计算模块420基于所述仿真交通环境信息，根据所述传感器模型的物理模型以及所述物理模型对应的感知信息传播模型，获取所述传感器模型对应的仿真信号，包括：基于所述仿真交通环境信息以及所述物理模型中的传感器参数，确定信号传播空间中的场源和边界条件；利用所述计算电磁学模型，基于所述场源和所述边界条件计算所述信号传播空间中所述传感器模型所在位置处的信号，作为所述传感器模型对应的仿真信号。

可选的，传感器模型训练模块430以所述仿真信号为训练样本，并以所述传感器模型对应的真实传感器的输出为所述训练样本的真值，对所述传感器模型进行训练，得到待迭代的传感器模型的传感器参数，包括：利用训练环境中的训练系统执行以下操作：将所述仿真信号输入所述传感器模型，得到所述传感器模型的输出，计算所述传感器模型的输出和所述真实传感器的输出之间的差异，根据所述差异利用反向传播算法优化所述传感器模型的传感器参数，得到所述待迭代的传感器模型的传感器参数；其中，所述训练环境采用云服务实现。

可选的，所述传感器模型还包括机器学习模型，所述机器学习模型为对所述真实传感器的输出和所述物理模型的输出之间的误差进行参数化建模的结果；传感器模型训练模块430利用所述待迭代的传感器模型的传感器参数更新所述传感器模型的传感器参数，包括：利用所述待迭代的传感器模型中的机器学习模型的参数，更新所述传感器模型中的机器学习模型的参数；或者，利用所述待迭代的传感器模型中的机器学习模型的参数，更新所述传感器模型中的机器学习模型的参数，以及，根据所述待迭代的传感器模型的输出与所述真实传感器的输出之间的误差更新所述传感器模型中的物理模型的参数。

应理解的是，自动驾驶仿真测试平台的仿真装置400与上述的自动驾驶仿真测试平台的仿真方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件（firmware）的形式存储于存储器中或固化在装置的操作系统（operatingsystem，OS）中的软件功能模块。

请参见图7示出的本申请实施例提供的另一种自动驾驶仿真测试平台的仿真装置的结构示意图，自动驾驶仿真测试平台的仿真装置500包括：

第二数据获取模块510，用于获取所述自动驾驶仿真测试平台中的传感器模型的输出以及仿真交通环境感知数据；

环境感知算法训练模块520，用于以所述传感器模型的输出为训练样本，并以所述仿真交通环境感知数据为所述训练样本的真值，对用于部署在真实交通环境中的环境感知算法进行训练，得到待迭代的环境感知算法的算法参数，并利用所述待迭代的环境感知算法的算法参数更新所述环境感知算法的算法参数，得到迭代后的环境感知算法；

环境感知模块530，用于利用所述迭代后的环境感知算法处理所述传感器模型对应的真实传感器的输出，得到真实交通环境感知数据。

可选的，第二数据获取模块510获取仿真交通环境感知数据，包括：运行所述自动驾驶仿真测试平台中预设的交通环境物理模型，并在指定时刻从所述交通环境物理模型中采集所述仿真交通环境感知数据。

可选的，第二数据获取模块510获取所述自动驾驶仿真测试平台中的传感器模型的输出，包括：获取仿真交通环境信息；基于所述仿真交通环境信息以及所述传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；利用所述传感器模型处理所述仿真信号，得到所述传感器模型的输出。

可选的，第二数据获取模块510利用所述传感器模型处理所述仿真信号，得到所述传感器的输出，包括：提取所述传感器模型的物理模型；其中，所述物理模型为基于真实传感器的工作原理以及预配置的传感器参数对所述真实传感器进行参数化建模的结果；利用所述传感器模型的物理模型处理所述仿真信号，得到所述物理模型的输出；根据所述物理模型的输出确定所述传感器模型的输出。

可选的，所述传感器模型还包括机器学习模型，所述机器学习模型为对所述真实传感器的输出和所述物理模型的输出之间的误差进行建模的结果，第二数据获取模块510根据所述物理模型的输出确定所述传感器模型的输出，包括：利用所述机器学习模型处理所述物理模型的输出，得到输出补偿量，并将所述物理模型的输出加上所述输出补偿量，得到所述传感器模型的输出。

应理解的是，自动驾驶仿真测试平台的仿真装置500与上述的自动驾驶仿真测试平台的仿真方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块。

请参见图8示出的本申请实施例提供的一种电子设备的结构示意图，参照图8，电子设备600包括：处理器610、存储器620以及通信单元630，这些组件通过总线640和/或其他形式的连接机构（未示出）互连并相互通讯。

其中，处理器610包括一个或多个（图中仅示出一个），其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器610可以是通用处理器，包括中央处理器（CentralProcessingUnit，简称CPU）、微控制单元（Micro Controller Unit，简称MCU）、网络处理器（NetworkProcessor，简称NP）或者其他常规处理器；还可以是专用处理器，包括图形处理器（Graphics Processing Unit，GPU）、神经网络处理器（Neural-networkProcessing Unit，简称NPU）、数字信号处理器（DigitalSignalProcessor,简称DSP）、专用集成电路（Application Specific Integrated Circuits，简称ASIC）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器610为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器620包括一个或多个（图中仅示出一个），其可以是，但不限于，随机存取存储器（RandomAccessMemory，简称RAM），只读存储器（Read Only Memory，简称ROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），电可擦除可编程只读存储器（Electric Erasable Programmable Read-Only Memory，简称EEPROM）等。

处理器610以及其他可能的组件可对存储器620进行访问，读和/或写其中的数据。特别地，在存储器620中可以存储一个或多个计算机程序指令，处理器610可以读取并运行这些计算机程序指令，以实现本申请实施例提供的自动驾驶仿真测试平台的仿真方法。

通信单元630包括一个或多个（图中仅示出一个），其可以用于和其他设备通信，例如，通信单元630可以是有线通信模块和/或无线通信模块。

可以理解，图8所示的结构仅为示意，电子设备600还可以包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。例如，电子设备600还可能包括传感器，用于采集环境数据。

图8中所示的各组件可以采用硬件、软件或其组合实现。电子设备600可能是车载设备、服务器、路侧设备等。并且，电子设备600也不限于单台设备，例如也可以是多台设备的组合或者大量设备构成的集群。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，这些计算机程序指令被处理器读取并运行时，执行本申请实施例提供的自动驾驶仿真测试平台的仿真方法。例如，计算机可读存储介质可以实现为图8中电子设备600中的存储器620。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序指令，这些计算机程序指令被处理器读取并运行时，执行本申请实施例提供的自动驾驶仿真测试平台的仿真方法。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种自动驾驶仿真测试平台的仿真方法，其特征在于，包括：

获取仿真交通环境信息；

基于所述仿真交通环境信息以及所述自动驾驶仿真测试平台中的传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；

以所述仿真信号为训练样本，并以所述传感器模型对应的真实传感器的输出为所述训练样本的真值，对所述传感器模型进行训练，得到待迭代的传感器模型的传感器参数，并利用所述待迭代的传感器模型的传感器参数更新所述传感器模型的传感器参数，得到迭代后的传感器模型；

根据所述迭代后的传感器模型，生成自动驾驶仿真测试对应的仿真测试场景。

2.根据权利要求1所述的仿真方法，其特征在于，所述获取仿真交通环境信息，包括：

获取真实交通环境中的真实传感器的输出，所述真实传感器的输出包括三维点云数据、交通参与者信息以及所述真实传感器的传感器参数；

通过环境感知算法从所述真实传感器的输出中识别出的所述真实交通环境中的几何纹理特征和交通行为特征，结合所述自动驾驶仿真测试平台中预设的交通环境物理模型，生成所述仿真交通环境信息。

3.根据权利要求2所述的仿真方法，其特征在于，所述方法还包括：

根据从所述真实交通环境中采集的静态物体的物体信息以及动态物体的物体信息构建所述交通环境物理模型；

其中，所述静态物体包括道路、路侧建筑以及植物中的至少一种物体，所述动态物体包括交通参与者以及坠落物中的至少一种物体，所述物体信息包括几何信息、纹理信息和材质信息中的至少一种信息。

4.一种自动驾驶仿真测试平台的仿真方法，其特征在于，包括：

获取所述自动驾驶仿真测试平台中的传感器模型的输出以及仿真交通环境感知数据；

以所述传感器模型的输出为训练样本，并以所述仿真交通环境感知数据为所述训练样本的真值，对用于部署在真实交通环境中的环境感知算法进行训练，得到待迭代的环境感知算法的算法参数，并利用所述待迭代的环境感知算法的算法参数更新所述环境感知算法的算法参数，得到迭代后的环境感知算法；

利用所述迭代后的环境感知算法处理所述传感器模型对应的真实传感器的输出，得到真实交通环境感知数据。

5.根据权利要求4所述的仿真方法，其特征在于，获取仿真交通环境感知数据，包括：

运行所述自动驾驶仿真测试平台中预设的交通环境物理模型，并在指定时刻从所述交通环境物理模型中采集所述仿真交通环境感知数据。

6.根据权利要求4所述的仿真方法，其特征在于，所述获取所述自动驾驶仿真测试平台中的传感器模型的输出，包括：

获取仿真交通环境信息；

基于所述仿真交通环境信息以及所述传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；

利用所述传感器模型处理所述仿真信号，得到所述传感器模型的输出。

7.一种自动驾驶仿真测试平台的仿真装置，其特征在于，包括：

第一数据获取模块，用于获取仿真交通环境信息；

仿真信号计算模块，用于基于所述仿真交通环境信息以及所述自动驾驶仿真测试平台中的传感器模型的传感器参数，利用所述自动驾驶仿真测试平台中的感知信息传播模型计算所述传感器模型对应的仿真信号；

传感器模型训练模块，用于以所述仿真信号为训练样本，并以所述传感器模型对应的真实传感器的输出为所述训练样本的真值，对所述传感器模型进行训练，得到待迭代的传感器模型的传感器参数，并利用所述待迭代的传感器模型的传感器参数更新所述传感器模型的传感器参数，得到迭代后的传感器模型；

场景生成模块，用于根据所述迭代后的传感器模型，生成自动驾驶仿真测试对应的仿真测试场景。

8.一种自动驾驶仿真测试平台的仿真装置，其特征在于，包括：

第二数据获取模块，用于获取所述自动驾驶仿真测试平台中的传感器模型的输出以及仿真交通环境感知数据；

环境感知算法训练模块，用于以所述传感器模型的输出为训练样本，并以所述仿真交通环境感知数据为所述训练样本的真值，对用于部署在真实交通环境中的环境感知算法进行训练，得到待迭代的环境感知算法的算法参数，并利用所述待迭代的环境感知算法的算法参数更新所述环境感知算法的算法参数，得到迭代后的环境感知算法；

环境感知模块，用于利用所述迭代后的环境感知算法处理所述传感器模型对应的真实传感器的输出，得到真实交通环境感知数据。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求1-6中任一项所述的方法。

10.一种电子设备，其特征在于，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1-6中任一项所述的方法。