CN116310748A - 一种自动驾驶场景恢复及自动驾驶原型测试方法和系统 - Google Patents

Abstract

本申请提供了一种自动驾驶场景恢复及自动驾驶原型测试方法和系统。该方法是基于全景分割模型的自动驾驶场景恢复方法，包括：M‑CPS全景分割模型将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体；使用事故对应的详细调查报告与分割结果进行交叉对比，并从调查报告中提取恢复场景所需的外部参数；对接自动化虚拟测试平台，依据提取的恢复场景必要因素完成原始场景的重建，并在此基础上对参数进行变异，得到系列场景集用于自动驾驶原型的测试。本发明能够全面地、跨系统地、高可扩展性地完成场景恢复和自动驾驶原型的测试。

Description

一种自动驾驶场景恢复及自动驾驶原型测试方法和系统

技术领域

本发明提供一种自动驾驶场景恢复及自动驾驶原型测试方法，属于自动驾驶、软件安全领域以及软件测试技术领域，尤其涉及一种基于M-CPS全景分割模型的自动驾驶场景恢复及自动驾驶原型测试方法和系统。

背景技术

自动驾驶技术的出现代表着汽车行业的重大创新，该技术的出现和发展将对各行各业产生深远的影响。自动驾驶技术研发的初衷是为了提供更安全、更便捷的出行方式。近年来，随着自动驾驶技术逐渐进入初期应用，在测试和实际使用过程中频繁发生的事故显示了该技术现阶段的不成熟，也给相关领域的测试人员带来了严峻的挑战。因此，确保自动驾驶系统的安全变得越来越重要。自动驾驶系统测试作为最关键的质量保证技术之一，已经引起了学术界和工业界的广泛关注。然而，由于自动驾驶系统固有的特性，其测试面临着许多挑战。

自动驾驶系统行为本质上是各种类型传感器数据融合的结果，这种多样化的数据和融合技术确实提高了它的能力和可靠性。然而，在测试过程中，真实的道路测试消耗了大量的人力和物力，效率低下；在模拟测试中，测试人员很难获得如此多样化的测试数据来覆盖足够多的使用场景。在现实世界中，通常首先应用模拟测试、评估和验证，然后在受控环境(封闭道路和测试场地)中进行测试，最后在开放道路配置中进行测试。在初始模拟测试阶段，考虑到自动驾驶系统可能面临的未知场景，如何有效地构建具有挑战性的场景至关重要。

对于场景恢复，传统意义上研究人员专注于选择哪个场景以及如何模拟它。有三类主要的场景恢复方式来解决这个问题。第一种方式是选择更精细的建模，研究人员可以使用更精确的运动模型来拟合交通参与者的行为，从而创建更真实的测试场景。然而，大量测试场景集包含的是已定义为“安全”的交通参与者，这意味着他们不会做出一些可能导致事故的极端行为。在“安全”场景集上进行测试显然无法提高自动驾驶系统的性能。第二种方式是收集和使用更精确的城市数据，并结合现有的高精度地图进行场景重建。使用道路GIS数据(如RoadView模拟器)确实可以提高场景恢复的准确性。但在大多数情况下，自动驾驶原型系统的测试不需要完整的城市环境，从原始事故信息中定位核心道路场景以进行恢复反而更有意义。第三种方式是使用真实生活中发生的事故案例来生成相应的测试场景。例如确定最坏的情况，使用遗传算法生成导致高事故风险的测试场景；或使用警方提供的详细报告及自动驾驶系统的语义图来生成对应的测试场景。这些方法确实可以生成较为有用的测试场景，但它们忽略了更直观的数据源，即事故现场的真实记录。由于从车辆碰撞中收集的详细传感器数据很少可用，事故中记录的图像或视频成为场景恢复的最直接数据源。

有鉴于此，提出本发明。

发明内容

本发明提供一种自动驾驶场景恢复及自动驾驶原型测试方法和系统，采用本发明的M-CPS(Multi-channel Panoptic Segmentation,多通道全景分割)模型实现，能够全面地、跨系统地、高可扩展性地完成场景恢复和自动驾驶原型的测试。

本发明提供一种自动驾驶场景恢复及自动驾驶原型测试方法，其步骤包括：

将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体；

使用事故对应的详细调查报告与分割结果进行交叉对比，并从调查报告中提取恢复场景所需的外部参数；

对接自动化虚拟测试平台，依据提取的恢复场景所需的外部参数完成原始场景的重建，并在此基础上对参数进行变异，得到系列场景集，用于自动驾驶原型的测试。

进一步地，在所述方法进行场景恢复和自动驾驶原型测试之后，所述方法还包括：

若场景恢复结果正常且自动驾驶原型测试通过，则正常执行自动驾驶原型程序并生成测试报告；

若场景恢复结果正常且自动驾驶原型测试未通过，则正常执行自动驾驶原型程序并生成事故报告；

若场景恢复结果异常，则给出场景异常分析报告。

进一步地，采用M-CPS全景分割模型将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体，M-CPS全景分割模型可以对原始输入图像进行分割和特征提取。

进一步地，所述M-CPS全景分割模型的组成部分包括：预训练的编码器主干、提取全局特征的池化层、ASPP(Atrous Spatial Pyramid Pooling，空洞卷积空间金字塔池化层)模块、语义分割和实例分割的双通道解码器、预测融合模块。

其中，所述预训练的编码器主干用于对输入图像或视频帧进行下采样，将输入的像素点映射到高维分布中(即将现实问题转化为数学求解过程)，以辅助M-CPS全景分割模型训练，所述M-CPS模型的数据量和训练迭代充足时，预训练的编码器主干可加速模型收敛。

其中，所述提取全局特征的池化层用于对输入进行采样压缩以加快后续计算，充分利用图像的上下文信息，所述上下文信息包括了全局特征与局部特征的融合。

其中，ASPP模块采用DeepLabv2中的实现方式，使用具有不同采样率的多个并行空洞卷积层，为每个采样率提取的特征在单独的分支中进一步处理，并融合以生成最终结果，其不同采样间隔用于捕获多尺度信息。

其中，语义分割和实例分割的双通道解码器用于融合ASPP模块得到的结果和编码器主干提取的高分辨率特征，并逐层采样得到更高分辨率的特征图。其中，语义分割是指对图像中的每个像素都划分出对应的类别，即根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同；实例分割是指不但要进行像素级别的分类，还需在具体的类别基础上区别开不同的实例。

其中，语义分割通道采用加权自引导交叉熵损失函数，该损失函数沿用了DeeperLab中的设计，y_i是对应像素i的目标类标签，p_i,j代表了对应像素i和类j的预测后验概率，临界值t_k被设置为选择损失最大的top-k像素，权重w_i在小于64×64的区域中被设置为3，其余情况设置为1，如下面公式所示：

其中，k作为损失函数系数被设置为0.15×N，N表示输入图像或视频帧中的像素数，

表示布尔函数。

其中，预测融合模块用于语义分割通道预测、实例中心预测和实例中心回归。语义分割通道预测将为每个像素划分对应的类别，从而区分不同类型的交通参与者；实例中心预测和实例中心回归将为具体的类别区分出不同的实例，从而标记出具体类别的不同独立个体。

其中，预测融合模块针对实例分割通道，使用目标质心表示具体实例，在最终输出的特征图上使用最大池化，保留池化前后未改变的坐标作为实例中心，然后根据偏移图找到每个偏移量所对应的中心点，利用实例中心点回归获取对应像素的实例id，具体公式如下所示：

其中，C_k表示对应具体实例k的质心，P(i,j)表示像素坐标，Ο(i,j)表示像素对应的偏移量，

表示对应像素P(i,j)的预测实例id，argmin函数表示取目标函数最小值时的变量值。

其中，整个模型的损失函数由如下公式定义，语义分割通道损失函数的系数被设定为3(如果所选区域小于64×64)，否则设定为1；实例分割通道中心点热值图系数被设定为180；实例分割通道偏移量损失函数系数被设定为0.015；

其中，Loss表示整个模型的损失函数，K_semantic和Loss_semantic分别表示语义分割通道损失函数的系数和语义分割通道损失函数；K_heatmap和Loss_heatmap分别表示实例分割通道中心点热值图损失函数的系数和实例分割通道中心点热值图损失函数；K_offset和Loss_offset分别表示实例分割通道偏移量损失函数的系数和实例分割通道偏移量损失函数。

进一步地，所述M-CPS全景分割模型能有效检测和分割小目标，并有效解决分割对象叠加的问题；

其中，M-CPS使用的早期融合技术(即将全局特征和局部特征进行早期融合，避免了必须由后期融合执行的归一化操作)和多尺度全局特征的提取用于检测和分割原始图像中的小目标；

其中，M-CPS使用的连续帧加权技术，由预测融合模块实现，用于解决合并语义分割和实例分割结果中的像素冲突问题，完成对原始图像叠加对象的有效分割。考虑到原始输入中连续帧之间的差异较小，连续帧加权技术通过加权先前帧的分类结果作为参考可以有效地解决像素冲突问题。以具有不同权重的历史帧的分类信息为参考，结合DeeperLab中采用的多数投票方法，可以有效地获得全视图的分割结果。

进一步地，场景恢复必要的因素(即恢复场景所需的外部参数)由两部分获取；

其中M-CPS模型可以分割得到还原事故现场的直接因素，包括道路的几何形状、交通参与者的初始位置及运动轨迹；

其中事故对应的详细调查报告可以得到还原事故现场的间接因素，包括天气条件、交通指示灯、道路方向、详细的运动参数。

进一步地，依据所述M-CPS模型分割原始图像重建的事故场景，其参数可在基础场景参数上进行变异得到系列相关场景集，包括：

当基础参数为交通参与车辆的运动参数时，可以进行变道、泊车、加减速、左转或右转的变异策略；

当基础参数为交通参与行人的运行参数时，可以进行急停、加减速、横穿马路的变异策略。

进一步地，可以对接Apollo/Carla等自动化虚拟测试平台，将生成的场景集用于测试自动驾驶原型，并提供对应的自动驾驶原型运行报告，包括碰撞检测、限速检测、闯红灯检测、在路检测、到达终点检测。

一种自动驾驶场景恢复及自动驾驶原型测试系统，其包括：

图像分割模块，用于将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体；

参数提取模块，用于使用事故对应的详细调查报告与分割结果进行交叉对比，并从调查报告中提取恢复场景所需的外部参数；

恢复及测试模块，用于对接自动化虚拟测试平台，依据提取的恢复场景所需的外部参数完成原始场景的重建，并在此基础上对参数进行变异，得到系列场景集，用于自动驾驶原型的测试。

本发明提供的一种基于M-CPS全景分割模型的自动驾驶场景恢复及自动驾驶原型测试方法和系统，能够全面地、跨系统地、高可扩展性地完成场景恢复和自动驾驶原型的测试。

该基于M-CPS全景分割模型的自动驾驶场景恢复及自动驾驶原型测试方法，首先使用M-CPS模型以获得全局统一的分割结果，从而区分不同类型的交通参与者和独立个体；然后，通过详细事故报告的交叉验证，可以获得交通信号灯、外部天气环境等场景恢复必须的间接因素；最后基于前述提取的交通参与者信息和外部参数作为输入，并与虚拟测试平台连接以重建测试场景集，可以对自动驾驶原型进行测试。

一方面，为了使用图像尽可能详细的上下文信息，本发明设计了一种全局池化方法来提取图像的全局特征并将其与局部特征融合。进一步本发明选择将全局特征和局部特征进行早期融合，同时避免了必须由后期融合执行的归一化操作。此外，融合多尺度全局特征和局部特征，然后使用融合的特征图进行检测，可以大大提高小目标检测算法的准确性。因此本方法的设计保证了针对原始图像中小目标的检测和分割适用性。另一方面，由于语义分割的结果不知道具体像素属于哪个实例，但知道该像素归属的实例的类别。所以本发明使用了有效的历史信息。考虑到原始输入中连续帧之间的差异较小，通过加权先前帧的分类结果作为参考可以有效地解决像素冲突问题。以具有不同权重的历史帧的分类信息为参考，结合DeeperLab中采用的多数投票方法，可以有效地获得全视图的分割结果。因此本方法的设计保证了针对原始图像中分割对象叠加问题的适用性。

与现有的自动驾驶场景恢复技术相比，本方法在自动驾驶场景恢复和自动驾驶原型测试上具有更好的性能，可扩展并与多款自动化虚拟测试平台对接；同时，本方法适用于识别存在小目标和对象堆叠像素冲突的原始图像，并且全景分割准确度较高，综合性能和实用性远超其他同类方法。

所以，本方法在自动驾驶场景恢复和自动驾驶原型测试的全面性、有效性、小目标识别支持、对象堆叠识别支持、跨平台支持等方面均有良好的表现，能够全面地、跨系统地、高可扩展性地进行自动驾驶场景恢复和自动驾驶原型测试。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的基于M-CPS全景分割模型的自动驾驶场景恢复及自动驾驶原型测试方法的流程示意图；

图2是本发明一个实施例提供的M-CPS全景分割流程示意图；

图3是本发明一个实施例提供的自动驾驶场景恢复流程示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本发明，而不是限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本发明实施例提供了一种基于M-CPS全景分割模型的自动驾驶场景恢复及自动驾驶原型测试方法。下面将分别对本发明实施例所提供的基于M-CPS全景分割模型的自动驾驶场景恢复和自动驾驶原型测试方法进行介绍。

图1示出了本发明一个实施例提供的基于M-CPS全景分割模型的自动驾驶场景恢复和自动驾驶原型测试方法的流程示意图。该方法可以在软件层面实现，也可以结合软件和硬件实现。下面主要从软件层面进行说明，如图1所示，该基于M-CPS全景分割模型的自动驾驶场景恢复和自动驾驶原型测试方法，包括：

S101、M-CPS全景分割模型将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体。

本发明在传统的全景分割骨干基础上提出了M-CPS全景分割模型。可以获得全局统一的细分结果，区分不同类型的交通参与者和每个个体。

本发明采用多尺度全局特征与局部特征相融合的方法扩大感受野，可以提高小目标检测的精度。将有效的历史分割结果与启发式算法相结合，可以有效解决分割对象重叠的问题。

本发明提出的M-CPS模型在纯全景分割测试集的结果与最佳基准模型相当，在诸如PQ(％)、RQ(％)、AP(％)等几个评价指标上有显著提高；其中PQ(％)、RQ(％)等的定义如下面公式所示。其中TP-True Positive，即正样本；FP-False Positive，即错检；FN-FalseNegative，即漏检；IoU，即预测片段和真值片段的交并比；AP(％)描述的是不同recall下预测的总体情况。

其中，(p,g)表示预测片段和真值片段的片段对。

S102、使用事故对应的详细调查报告与分割结果进行交叉对比，并从调查报告中提取恢复场景所需的外部参数。

本发明在S101步骤中，M-CPS全景分割分割模型会在视图中标注所有交通参与者。有必要进一步过滤掉非关键的交通参与者，以获得恢复原始场景的直接关键元素。

本发明将M-CPS全景分割模型提取的关键交通参与者与事故报告中确定的责任方进行交叉对比，以保证M-CPS全景分割模型分割结果的有效性。例如M-CPS全景分割模型可能提取出多个关键交通参与者，但事故报告认定的责任方可能只是这些交通参与者的一部分，通过人工剔除非关键交通参与者，保留关键交通参与者的详细信息，可以更加精准地在后续进行事故现场的还原。

本发明可通过事故报告提取得到还原事故现场的间接因素，包括天气条件、交通指示灯、道路方向、详细的运动参数等。这些细节可能隐藏在事故报告的文本中，也是恢复原始场景的必要因素之一。

S103、对接自动化虚拟测试平台，依据提取的恢复场景必要因素完成原始场景的重建，并在此基础上对参数进行变异，得到系列场景集用于自动驾驶原型的测试。

本发明提供了一种与虚拟测试平台(如Apollo/Carla)对接的自动化方法。通过在虚拟测试平台中添加相应的元素，可以恢复原始场景。

本发明支持在原始场景的基础上，对相应的场景参数进行变异，可以得到一系列场景集用于自动驾驶原型测试。根据S101与S102提取的恢复场景的必要因素，可以独立选择并添加到相应的虚拟测试平台，然后上传自动驾驶原型后开始基于生成的场景集的测试。

图2示出了本发明一个实施例提供的M-CPS全景分割流程示意图，该全景分割模型包括：预训练的编码器主干、提取全局特征的池化层、ASPP模块、语义分割和实例分割的双通道解码器、预测融合模块；

其中，所述预训练的编码器主干用于辅助M-CPS模型训练，所述模型数据量和训练迭代充足时，预训练的编码器主干可加速模型收敛；

其中，所述提取全局特征的池化层用于充分利用图像的上下文信息，所述上下文信息包括了全局特征与局部特征的融合；

其中，ASPP模块的不同采样间隔用于捕获多尺度信息；

其中，语义分割和实例分割的双通道解码器用于融合ASPP和前述提取的高分辨率特征，并逐层采样得到更高分辨率的特征图；

其中，预测融合模块用于语义分割通道预测、实例中心预测和实例中心回归。

本发明设计了一种全局池化方法来提取图像的全局特征并将其与局部特征融合，以使用图像尽可能详细的上下文信息。进一步本发明将全局特征和局部特征进行早期融合，同时避免了必须由后期融合执行的归一化操作。此外，融合多尺度全局特征和局部特征，然后使用融合的特征图进行检测，可以大大提高小目标检测算法的准确性。因此本发明的设计保证了针对原始图像中小目标的检测和分割适用性。

本发明使用了有效的历史信息。考虑到原始输入中连续帧之间的差异较小，通过加权先前帧的分类结果作为参考可以有效地解决像素冲突问题。以具有不同权重的历史帧的分类信息为参考，结合DeeperLab中采用的多数投票方法，可以有效地获得全视图的分割结果。因此本发明的设计保证了针对原始图像中分割对象叠加问题的适用性。

图3示出了本发明一个实施例提供的自动驾驶场景恢复流程示意图，为方便说明，以下将使用与Apollo虚拟测试平台的对接举例。

本发明依据所述M-CPS全景分割模型分割原始图像得到的必要参数恢复相关事故场景，包括：

在Apollo提供的开源地图中选择具体地图并定位相同的道路片段；

依据S101和S102步骤提取的相关直接参数，添加需要测试的自动驾驶原型作为主车并设置其运动轨迹；

依据S101和S102步骤提取的相关直接参数在选定的道路片段中添加障碍物及其运动轨迹；

依据S101和S102步骤提取的相关间接参数在选定的道路片段中添加交通信号灯及其触发条件；

本发明支持相关参数在基础场景参数上进行变异得到系列相关场景集，包括：

当基础参数为交通参与车辆的运动参数时，可以进行变道、泊车、加减速、左转或右转的变异策略；

当基础参数为交通参与行人的运行参数时，可以进行急停、加减速、横穿马路的变异策略；

本发明可以对接Apollo自动化虚拟测试平台，将生成的场景集用于测试自动驾驶原型，并提供对应的自动驾驶原型运行报告，包括碰撞检测、限速检测、闯红灯检测、在路检测、到达终点检测。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本发明的实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本发明的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。例如：

本发明的一个实施例提供一种自动驾驶场景恢复及自动驾驶原型测试系统，其包括：

图像分割模块，用于将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体；

参数提取模块，用于使用事故对应的详细调查报告与分割结果进行交叉对比，并从调查报告中提取恢复场景所需的外部参数；

恢复及测试模块，用于对接自动化虚拟测试平台，依据提取的恢复场景所需的外部参数完成原始场景的重建，并在此基础上对参数进行变异，得到系列场景集，用于自动驾驶原型的测试。

其中各模块的具体实施过程参见前文对本发明方法的描述。

本发明的一个实施例提供一种计算机设备(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

本发明的一个实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种自动驾驶场景恢复及自动驾驶原型测试方法，其特征在于，包括以下步骤：

将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体；

使用事故对应的详细调查报告与分割结果进行交叉对比，并从调查报告中提取恢复场景所需的外部参数；

对接自动化虚拟测试平台，依据提取的恢复场景所需的外部参数完成原始场景的重建，并在此基础上对参数进行变异，得到系列场景集，用于自动驾驶原型的测试。

2.根据权利要求1所述的方法，其特征在于，在进行场景恢复和自动驾驶原型测试之后，所述方法还包括：

若场景恢复结果正常且自动驾驶原型测试通过，则正常执行自动驾驶原型程序并生成测试报告；

若场景恢复结果正常且自动驾驶原型测试未通过，则正常执行自动驾驶原型程序并生成事故报告；

若场景恢复结果异常，则给出场景异常分析报告。

3.根据权利要求1所述的方法，其特征在于，采用多通道全景分割模型将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体；所述多通道全景分割模型对原始输入图像进行分割和特征提取。

4.根据权利要求1所述的方法，其特征在于，所述多通道全景分割模型包括：预训练的编码器主干、提取全局特征的池化层、ASPP模块、语义分割和实例分割的双通道解码器、预测融合模块；

所述预训练的编码器主干用于辅助多通道全景分割模型进行训练，所述多通道全景分割模型的数据量和训练迭代充足时，预训练的编码器主干能够加速模型收敛；

所述提取全局特征的池化层用于充分利用图像的上下文信息，所述上下文信息包括全局特征与局部特征的融合；

所述ASPP模块的不同采样间隔用于捕获多尺度信息；

所述语义分割和实例分割的双通道解码器用于融合ASPP模块得到的结果和预训练的编码器主干提取的高分辨率特征，并逐层采样得到更高分辨率的特征图；

所述预测融合模块用于语义分割通道预测、实例中心预测和实例中心回归。

5.根据权利要求4所述的方法，其特征在于，所述多通道全景分割模型的损失函数由如下公式定义：

其中，Loss表示整个模型的损失函数，K_semantic和Loss_semantic分别表示语义分割通道损失函数的系数和语义分割通道损失函数；K_heatmap和Loss_heatmap分别表示实例分割通道中心点热值图损失函数的系数和实例分割通道中心点热值图损失函数；K_offset和Loss_offset分别表示实例分割通道偏移量损失函数的系数和实例分割通道偏移量损失函数。

6.根据权利要求4所述的方法，其特征在于，所述多通道全景分割模型能有效检测和分割小目标，并有效解决分割对象叠加的问题；

其中，所述多通道全景分割模型使用早期融合技术和多尺度全局特征的提取，用于检测和分割原始图像中的小目标；所述早期融合技术是将全局特征和局部特征进行早期融合；

其中，所述多通道全景分割模型使用连续帧加权技术，用于解决合并语义分割和实例分割结果中的像素冲突问题，完成对原始图像叠加对象的有效分割。

7.根据权利要求1所述的方法，其特征在于，所述多通道全景分割模型能够分割得到还原事故现场的直接因素，包括道路的几何形状、交通参与者的初始位置及运动轨迹；事故对应的详细调查报告能够得到还原事故现场的间接因素，包括天气条件、交通指示灯、道路方向、详细的运动参数。

8.根据权利要求1所述的方法，其特征在于，所述对参数进行变异，得到系列场景集，包括：

当基础参数为交通参与车辆的运动参数时，进行变道、泊车、加减速、左转或右转的变异策略；

当基础参数为交通参与行人的运行参数时，进行急停、加减速、横穿马路的变异策略。

9.根据权利要求1所述的方法，其特征在于，通过对接自动化虚拟测试平台，将生成的场景集用于测试自动驾驶原型，并提供对应的自动驾驶原型运行报告，包括碰撞检测、限速检测、闯红灯检测、在路检测、到达终点检测。

10.一种自动驾驶场景恢复及自动驾驶原型测试系统，其特征在于，包括：

图像分割模块，用于将原始输入图像分割并得到全局统一的划分结果，同时区分不同类型的交通参与者与每类的独立个体；

参数提取模块，用于使用事故对应的详细调查报告与分割结果进行交叉对比，并从调查报告中提取恢复场景所需的外部参数；

恢复及测试模块，用于对接自动化虚拟测试平台，依据提取的恢复场景所需的外部参数完成原始场景的重建，并在此基础上对参数进行变异，得到系列场景集，用于自动驾驶原型的测试。

Images