CN117237901A

CN117237901A - 一种跨域自适应的自动驾驶场景数据生成方法

Info

Publication number: CN117237901A
Application number: CN202311514562.3A
Authority: CN
Inventors: 黎木平; 许建荣; 陈振武; 王森; 刘宇鸣; 张炳振; 张枭勇
Original assignee: Shenzhen Urban Transport Planning Center Co Ltd
Current assignee: Shenzhen Urban Transport Planning Center Co Ltd
Priority date: 2023-11-15
Filing date: 2023-11-15
Publication date: 2023-12-15
Anticipated expiration: 2043-11-15
Also published as: CN117237901B

Abstract

本发明提出一种跨域自适应的自动驾驶场景数据生成方法，属于数据生成技术领域。包括：采集自动驾驶场景数据图像；对X时域图像数据和Y时域图像数据进行跨域编码，提取数据的特征，生成数据域的特征向量；进行反向解码，进行数据的恢复；生成自编码器，重构输出；对自动驾驶场景数据图像区域进行结构化意识表征；对自编码器进行权重参数共享；构建时域模型；构建图像鉴别模型；生成器与鉴别器共同组合为生成对抗网络；构建循环一致性结构；构建跨域自适应的迁移模型；对跨域自适应的迁移模型进行训练优化；将原始图像输入至跨域自适应的迁移模型，输出生成场景图像。本发明解决自动驾驶领域中场景数据不足问题。

Description

一种跨域自适应的自动驾驶场景数据生成方法

技术领域

本申请涉及数据生成方法，尤其涉及一种跨域自适应的自动驾驶场景数据生成方法，属于数据生成技术领域。

背景技术

自动驾驶技术的发展在提高道路安全、交通效率和出行舒适性方面具有巨大潜力。然而，要实现高效的自动驾驶系统，需要大量多样化的训练数据。由于现实世界中获取大规模、多样性、复杂性的数据是昂贵且耗时的，如何解决数据稀缺性和数据多样性的问题成为了一个挑战。通常情况下，为了采集到大量的丰富训练数据，自动驾驶厂商采用实车上路进行采集数据，然后将采集的数据进行分类汇总。但是，在某些特定情况下（例如极端天气、紧急情况、特殊交通场景等），数据收集变得困难，导致这些情况的数据很少。在自动驾驶中，一些罕见但危险的情况可能很少出现，导致这些情况的数据非常稀缺。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，为解决现有技术中存在的自动驾驶领域中场景数据不足的技术问题，本发明提供一种跨域自适应的自动驾驶场景数据生成方法。通过采集少量的不同时间段的数据，进行数据之间的跨域生成，生成大量逼真的场景数据，以此减少数据的采集与标注工作。

方案一、一种跨域自适应的自动驾驶场景数据生成方法，包括以下步骤：

S1.采集自动驾驶场景数据图像，并将图像根据生成的时域划分为X时域图像数据和Y时域图像数据，分别对应X时域和Y时域；

S2.采用编码器网络分别对X时域图像数据和Y时域图像数据进行跨域编码，提取数据的特征，生成数据域的特征向量；

S3.采用解码器对编码后的数据域特征向量进行反向解码，进行数据的恢复；

S4.将编码器与解码器进行组合，生成自编码器，将输入图像压缩成潜在空间表征，重构输出；

S5.对自动驾驶场景数据图像区域进行结构化意识表征，表征的网络结构为掩模解码器；

S6.对自编码器内的编码器与解码器进行权重参数共享；

S7.构建时域模型，生成X时域模型和Y时域模型；

S8.构建图像鉴别模型，鉴别器存在模型的训练阶段，鉴别器有两个，分别对应X时域模型的鉴别器、Y时域模型的鉴别器；

S9.生成器与鉴别器共同组合为生成对抗网络；

S10.构建循环一致性结构，对网络在目标域内生成图像进行约束，在运行周期内的图像平移，将两个不同的时域模型进行互相迁移；

S11.构建跨域自适应的迁移模型；

S12.对跨域自适应的迁移模型进行训练优化，直到GAN网络中的鉴别无法鉴别生成器生成的场景数据；

S13.将自动驾驶场景原始图像输入至跨域自适应的迁移模型，输出生成自动驾驶场景图像。

优选的，权重参数共享包括硬共享和软共享；

所述硬共享在编码器与解码器中网络层进行使用，即特征抽象化组块之间进行权值硬共享；不同层之间直接共享相同的神经层，指导模型寻找数据压缩与恢复的映射关系；

所述软共享在不同的解码器之间进行权重参数的共享，即不同的上采样组块之间进行权值软共享，不同的编码器之间互相提供有效的信息，捕捉具有高语义信息的特征关系，指导编码器之间建立特征联系，解码器在恢复数据享有结构的表征意识。

优选的，X时域模型和Y时域模型分别包括编码器、生成器和掩模解码器。

优选的，对抗性网络包括：

GANx：{Ex、Gx、Dx}

GANy：{Ey、Gy、Dy}

其中，GANx网络的目标优化函数表达为：

；

其中，x和y分别表示X时域和Y时域下的数据；表示实际数据的分布；/>表示判别器对真实数据样本的分类结果；/>表示判别器对真实数据样本的分类结果；

式中，表示来自实际分布的数据通过鉴别器的熵，若真实数据被分错了，那么/>，趋向于负无穷大；因此，优化目标期望趋向于0，鉴别器期望将优化目标优化为1；

式中，表明，若数据分错成了1，结果将趋向于负无穷大；因此，优化目标是期望趋向于0，鉴别器/>期望将优化目标优化为0；

同理，GANy网络的目标优化函数表达为：

。

优选的，循环一致性结构的总优化目标表达为：

+；

其中，表示实际数据的分布；G表示生成器的结果；E表示编码器生成的结果；x表示X时域下的数据；y表示Y时域下的数据。

优选的，构建跨域自适应的迁移模型的综合的目标优化函数表达为：

。

方案二、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种跨域自适应的自动驾驶场景数据生成方法的步骤。

方案三、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种跨域自适应的自动驾驶场景数据生成方法。

本发明的有益效果如下：本发明生成自动驾驶场景数据充足、降低了数据采集成本、提高了自动驾驶场景数据收集的效率，通过少量基础数据生成大量场景数据，从而显著提升了数据集的规模和多样性，有助于训练更具鲁棒性的模型；通过生成对抗网络、自编码器，能够将基础数据在不同时域之间转移，从而实现数据在时间维度上的连续迁移，为数据分析、场景构建、自动驾驶感知提供了新的工具数据生成工具；生成的数据在不同时域之间具有一致性和连贯性，为模型提供更多样化、更丰富的数据样本，有助于提升模型的泛化性能；相较于传统的数据采集和标注方法，可以显著降低数据采集成本，同时提供更多数据，减轻了人力和时间资源的压力。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为一种跨域自适应的自动驾驶场景数据生成方法流程图；

图2为编码器结构示意图；

图3为解码器结构示意图；

图4为自编码器结构示意图；

图5为X时域模型结构示意图；

图6为图像鉴别模型结构示意图；

图7为X时域模型和Y时域模型数据迁移的结构示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1、参照图1-图7说明本实施方式，一种跨域自适应的自动驾驶场景数据生成方法，包括以下步骤：

S1.采集自动驾驶场景数据图像，并将图像根据生成的时域划分为两个不同的数据域，分别提供给X、Y两个不同的时域的模型进行训练；所述时域如白天、夜间等。

S2.采用编码器网络对数据进行跨域编码，提取数据的特征，生成数据域的特征向量；一共有两个不同的时域模型，这里有两个编码器Ex，Ey，分别对应X时域与Y时域；

编码器由两个组块组成：下采样组块、特征抽象化组块，下采样组块包括四个卷积层，第一、第二卷积层的步长为1；第三、第四卷积的步长为2；特征抽象化组块包括若干个Dense block；编码器结构的组块内部的算子可以被替换；其结构示意图如图2；

编码器包括编码器Ex和编码器Ey，编码器Ex和编码器Ey分别对应X时域和Y时域；

将X时域图像数据和Y时域图像数据输入至编码器Ex和编码器Ey进行跨域编码，输出特征表征；

S3.采用解码器，对编码后的数据域特征向量进行反向解码，进行数据的恢复，验证经过数据编码器编码后的复原情况，从而保证编码器对数据编码准确性。

解码器由两个组块组成：特征抽象化组块、上采样组块，特征抽象化组块包括若干个Dense block；下采样组块包括四个卷积层，第一、第二卷积层的步长为1；第三、第四卷积的步长为2；解码器一共有两个，分别为数据生成器（生成器为数据生成解码器）和掩模解码器（掩模解码器为数据恢复解码器）。解码器结构的组块内部的算子可以被替换；其结构示意图如图3；

特征表征输入至解码器进行解码，输出重构后的特征；

S4.将编码器与解码器进行组合，生成整个自编码器，将输入图像压缩成潜在空间表征，通过这种表征来重构输出；其结构示意图如图4；

将图像输入至编码器，编码器输出数据特征，将数据特征输入解码器，解码器输出重构后的特征，将重构后的特征输入自编码器将输入图像压缩成潜在空间表征，重构输出；

S5.对自动驾驶场景数据图像区域进行结构化意识表征，表征的网络结构称为掩模解码器；通过这种方式，积极指导编码器网络提取上下文感知特征通过分割子任务，这样提取的表征特征向量不仅包含X和Y域之间的相互风格信息，而且复杂的低级语义特征的输入图像的保存图像对象在翻译；

对于X时域的分割损失表示为：

；

其中，表示x时域下的掩模解码器的结果；/>表示在x时域下编码器对图像的编码结果；/>表示x时域下的输入数据；/>表示x时域下ground truth的掩模；/>表示图像的编码损失超参数；/>表示掩膜解码器损失函数超参数；

Y时域的分割损失表示为：

；

其中，表示y时域下的掩模解码器的结果；/>表示在y时域下编码器对图像的编码结果；/>表示y时域下的输入数据；/>表示x时域下ground truth的掩模；

S6.训练的权值共享。为了加快自编码模型的快速训练，在训练的过程充分利用上下文的语意信息，对自编码器内的编码器与解码器进行部分的权重参数的共享，以实现更高质量的编解码；其中，权重共享分为硬共享与软共享；

硬共享在编码器与解码器中网络层进行使用，即特征抽象化组块之间进行权值硬共享。不同层之间直接共享相同的神经层，指导模型寻找数据压缩与恢复的映射关系。软共享在不同的解码器之间进行权重参数的共享，即不同的上采样组块之间进行权值软共享，使得不同的编码器之间可以互相提供有效的信息，捕捉具有高语义信息的特征关系，指导编码器之间建立一定的特征联系，使得解码器在恢复数据享有结构的表征意识。约束公式如下：

；

其中，分别表示生成器和解码器的反卷积层形成的权重向量。

S7.构建时域模型，生成两种不同时域的模型，即X、Y时域模型，每个时域模型包含3个部分，分别为编码器、生成器、掩模解码器；

将S2所述对数据进行跨域编码的编码器、S3所述对编码后的数据域特征向量进行反向解码的解码器和S5所述对自动驾驶场景数据图像区域进行结构化意识表征的掩模解码器依次结合构建时域模型。模型结构参照图5所示。

S8.构建图像鉴别模型，对S7的生成器的生成结果进行鉴别，用来分析生成器生成伪造数据的真实度；其中，鉴别器只存在于整个模型的训练阶段。一旦模型训练结束，进入推理阶段，则不再需要判别器，只是用生成器进行工作。其中，鉴别器一共有两个，分别对应X时域模型的鉴别器、Y时域模型的鉴别器。下面提供一种鉴别器的结构，该结构的组块内部的算子可以被替换。其结构示意图如图6：

S9.生成器与鉴别器共同组合为生成对抗网络；

网络一共包含两个生成对抗性网络：

GANx：{Ex、Gx、Dx}

GANy：{Ey、Gy、Dy}

其中，GANx网络的目标优化函数可以被表达为：；

式中，第一项表示来自实际分布的数据通过鉴别器的熵；如果真实数据被分错了，那么/>，趋向于负无穷大。因此，优化目标是期望其趋向于0，所以鉴别器/>期望将优化目标优化为1；

式中，第二项表明如果数据分错成了1，结果也将趋向于负无穷大。因此，优化目标是期望其趋向于0，所以鉴别器/>期望将优化目标优化为0；

同理，GANy网络的目标优化函数可以被表达为：

；

S10.构建循环一致性结构，对网络在目标域内生成图像进行约束，在运行周期内的图像平移，将两个不同的时域模型进行互相迁移。循环一致性结构由编码器与生成器组成。 X时域模型需要实现对Y时域的迁移，Y时域模型则需要实现对X时域的迁移。

在X时域的循环一致性结构中的编码器与生成器，来源于Y时域的在S2到S6中构建；在Y时域的循环一致性结构中的编码器与生成器，来源于X时域的在S2到步S6中构建；

因此，由循环一致性结构的总优化目标可以表达为：

；

其中，表示实际数据的分布；G表示生成器的结果；E表示编码器生成的结果；x表示X时域下的数据；y表示Y时域下的数据；X时域模型和Y时域模型数据迁移的结构如图7；

S11.构建整个跨域自适应的迁移模型，综合的目标优化函数可以被表达为：

；

S12.对跨域自适应的迁移模型进行训练优化，直到GAN网络中的鉴别无法在鉴别出生成器生成的场景数据；

具体的，将S11的跨域自适应的迁移模型固化下来，进行跨域下的场景数据生成。其中，固化的模型不包含鉴别器。固化的模型一共有两个，分别为时域X、时域Y模型。

实施例2、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的一种跨域自适应的自动驾驶场景数据生成方法的步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例3、计算机可读存储介质实施例。

本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的一种跨域自适应的自动驾驶场景数据生成方法的步骤。

所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims

1.一种跨域自适应的自动驾驶场景数据生成方法，其特征在于，包括以下步骤：

S6.对自编码器内的编码器与解码器进行权重参数共享；

S7.构建时域模型，生成X时域模型和Y时域模型；

S9.生成器与鉴别器共同组合为生成对抗网络；

S11.构建跨域自适应的迁移模型；

2.根据权利要求1所述的一种跨域自适应的自动驾驶场景数据生成方法，其特征在于，权重参数共享包括硬共享和软共享；

3.根据权利要求2所述的一种跨域自适应的自动驾驶场景数据生成方法，其特征在于，X时域模型和Y时域模型分别包括编码器、生成器和掩模解码器。

4.根据权利要求3所述的一种跨域自适应的自动驾驶场景数据生成方法，其特征在于，对抗性网络包括：

GANx：{Ex、Gx、Dx}

GANy：{Ey、Gy、Dy}

其中，GANx网络的目标优化函数表达为：

；

期望将优化目标优化为1；

式中，表示来自实际分布的数据通过鉴别器的熵，若真实数据被分错了，那么/>，趋向于负无穷大；因此，优化目标期望趋向于0，鉴别器/>期望将优化目标优化为1；

同理，GANy网络的目标优化函数表达为：

。

5.根据权利要求4所述的一种跨域自适应的自动驾驶场景数据生成方法，其特征在于，循环一致性结构的总优化目标表达为：

；

6.根据权利要求5所述的一种跨域自适应的自动驾驶场景数据生成方法，其特征在于，构建跨域自适应的迁移模型的综合的目标优化函数表达为：

。

7.一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-6任一项所述的一种跨域自适应的自动驾驶场景数据生成方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的一种跨域自适应的自动驾驶场景数据生成方法。