CN115965531A - 模型训练方法及图像生成方法、装置、设备和存储介质 - Google Patents

Abstract

本申请涉及一种模型训练方法及图像生成方法、装置、设备和存储介质。其中，模型训练方法的技术方案包括：获取车辆相机在多个视角下拍摄的低分辨率图像序列，低分辨率图像序列包括多帧低分辨率图像，根据多帧低分辨率图像，生成目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图，基于目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型。该细节补偿模型能够将低清晰度鸟瞰图转换为高清晰度鸟瞰图，为自动泊车功能提供可用性高的输入图像，提高低清晰度鸟瞰图的利用率，同时能够获取更多的可靠细节，有利于提升后续任何一种基于鸟瞰图拼图作为输入的感知检测算法检测结果的准确性。

Description

模型训练方法及图像生成方法、装置、设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种模型训练方法及图像生成方法、装置、设备和存储介质。

背景技术

随着汽车工业的快速发展，汽车辅助驾驶功能日趋完善。自动泊车功能是汽车辅助驾驶功能之一，基于摄像头采集的实时影像检测并识别停车位的车位线，并通过泊车系统完成自动泊车。

目前，通常采用环视鱼眼相机通过全景式监控影像系统(AroundViewMonitor，AVM)拼接鸟瞰图(Bird’sEyeView，BEV)视角下的图像来为自动泊车系统提供视觉感知输入。由于鱼眼镜头特殊的成像风格，在AVM拼接好的BEV图中，离自车越远的地方成像颗粒度越粗，噪声越大，图像越不清晰，无法为自动泊车功能提供可用性高的输入图像。

发明内容

基于此，本申请提供了一种模型训练方法及图像生成方法、装置、设备和存储介质，能够生成高清晰度的鸟瞰图，为自动泊车功能提供可用性高的输入图像。

第一方面，提供了一种模型训练方法，该方法包括：

获取车辆相机在多个视角下拍摄的低分辨率图像序列，低分辨率图像序列包括多帧低分辨率图像；

根据多帧低分辨率图像，生成目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图；

基于目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型。

根据本申请实施例中一种可实现的方式，根据多帧低分辨率图像，生成目标帧低清晰度鸟瞰图，包括：

拼接多帧低分辨率图像中的目标低分辨率图像，得到目标帧低清晰度鸟瞰图，目标低分辨率图像为不同视角下的多帧低分辨率图像中位于相同帧的低分辨率图像。

根据本申请实施例中一种可实现的方式，根据多帧低分辨率图像，生成真值高分辨率鸟瞰图，包括：

根据目标帧低分辨率图像在多帧低分辨率图像所处的位置，确定预备低分辨率图像；

对齐预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征；

提取并融合第一低分辨率图像特征，得到第二低分辨率图像特征；

根据第二低分辨率图像特征，生成目标帧高分辨率图像；

拼接目标帧高分辨率图像，得到真值高分辨率鸟瞰图。

根据本申请实施例中一种可实现的方式，根据目标帧低分辨率图像在多帧低分辨率图像所处的位置，确定预备低分辨率图像，包括：

根据目标帧低分辨率图像在多帧低分辨率图像所处的位置，基于预设大小的滑动窗口确定预备低分辨率图像，目标帧低分辨率图像位于滑动窗口的中间位置。

根据本申请实施例中一种可实现的方式，对齐预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征，包括：

获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量；

根据像素位移矢量，对齐预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征。

根据本申请实施例中一种可实现的方式，获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量，包括：

采用光流估计算法获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量。

根据本申请实施例中一种可实现的方式，获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量，包括：

通过可变形卷积网络获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量。

根据本申请实施例中一种可实现的方式，对抗生成网络包括生成器和判别器，基于目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型，包括：

根据目标帧低清晰度鸟瞰图，通过生成器生成预测高清晰度鸟瞰图；

依据真值高清晰度鸟瞰图，通过判别器确定预测高清晰度鸟瞰图的类型信息；

根据类型信息，确定细节补偿模型。

根据本申请实施例中一种可实现的方式，类型信息包括生成器生成图和真值生成图，根据类型信息，确定细节补偿模型，包括：

当类型信息为生成器生成图时，根据目标低清晰度鸟瞰图，继续通过生成器生成预测高清晰度鸟瞰图；

直至判别器将预测高清晰度鸟瞰图的类型信息判定为真值生成图的识别率大于预设阈值时，确定生成器为细节补偿模型。

第二方面，提供了一种计算机设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机指令，计算机指令被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面中涉及的方法。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，计算机指令用于使计算机执行上述第一方面中涉及的方法。

上述的模型训练方法及其相关的装置、计算机设备和存储介质，通过获取车辆相机在多个视角下拍摄的低分辨率图像序列，低分辨率图像序列包括多帧低分辨率图像，根据多帧低分辨率图像，生成目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图，基于目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型。该细节补偿模型能够将低清晰度鸟瞰图转换为高清晰度鸟瞰图，为自动泊车功能提供可用性高的输入图像，提高低清晰度鸟瞰图的利用率。

第四方面，提供一种图像生成方法，该方法包括：

获取车辆的驾驶环境图，驾驶环境图包括多个视角下的图像序列；

根据多个视角下的图像序列，生成低清晰度鸟瞰图；

根据低清晰度鸟瞰图，基于预先训练的细节补偿模型生成高清晰度鸟瞰图，细节补偿模型由第一方面任意一种可实现的方式训练得到。

根据本申请实施例中一种可实现的方式，根据多个视角下的图像序列，生成低清晰度鸟瞰图，包括：

拼接多个视角下的图像序列，得到低清晰度鸟瞰图。

根据本申请实施例中一种可实现的方式，拼接多个视角下的图像序列，得到低清晰度鸟瞰图，包括：

基于拍摄图像序列的相机的内参数和畸变系数，对多个视角下的图像序列进行去畸变处理，得到已处理图像序列；

基于预设标定参数对已处理图像序列进行联合标定，得到投影矩阵；

根据投影矩阵对已处理图像序列进行投影变换，得到至少一帧初始鸟瞰图；

拼接融合至少一帧初始鸟瞰图，得到低清晰度鸟瞰图。

根据本申请实施例中一种可实现的方式，细节补偿模型包括编码器和解码器，根据低清晰度鸟瞰图，基于预先训练的细节补偿模型生成高清晰度鸟瞰图，包括：

根据低清晰度鸟瞰图，通过编码器生成第一特征图；

根据第一特征图，通过解码器生成高清晰度鸟瞰图。

根据本申请实施例中一种可实现的方式，编码器包括第一卷积层和下采样层，根据低清晰度鸟瞰图，通过编码器生成第一特征图，包括：

根据低清晰度鸟瞰图，通过第一卷积层生成初始特征图；

根据初始特征图，通过下采样层生成第一特征图。

根据本申请实施例中一种可实现的方式，解码器包括第二卷积层和上采样层，根据第一特征图，通过解码器生成高清晰度鸟瞰图，包括：

根据第一特征图，通过第二卷积层生成组合特征图；

根据组合特征图，通过上采样层生成高清晰度鸟瞰图。

第五方面，提供了一种计算机设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机指令，计算机指令被至少一个处理器执行，以使至少一个处理器能够执行上述第四方面中涉及的方法。

第六方面，提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，计算机指令用于使计算机执行上述第四方面中涉及的方法。

上述的图像生成方法及其相关的装置、计算机设备和存储介质，通过获取车辆的驾驶环境图，根据驾驶环境图中多个视角下的图像序列，生成低清晰度鸟瞰图，并将低清晰度鸟瞰图输入预先训练的细节补偿模型得到高清晰度鸟瞰图。由于细节补偿模型能够提高低清晰度鸟瞰图的成像效果和精度，为自动泊车功能提供可用性高的输入图像，提高低清晰度鸟瞰图的利用率，同时能够获取更多的可靠细节，有利于提升后续任何一种基于鸟瞰图拼图作为输入的感知检测算法检测结果的准确性。

附图说明

图1为一个实施例中图像生成方法的应用环境图；

图2为一个实施例中模型训练方法的流程示意图；

图3为一个实施例中真值高分辨率鸟瞰图生成步骤的流程示意图；

图4为一个实施例中对抗生成网络训练步骤的流程示意图；

图5为一个实施例中图像生成方法的流程示意图；

图6为一个实施例中AVM拼接算法的示意图；

图7为一个实施例中图像序列拼接步骤的流程示意图；

图8为一个实施例中高清晰度鸟瞰图生成步骤的流程示意图；

图9为一个实施例中计算机设备的示意性结构图。

具体实施方式

以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的模型训练方法和图像生成方法，可以应用于图1所示的车辆100中，该车辆100可以包括车载终端110和车载相机120。车载终端110包括至少一个存储器和至少一个处理器，该至少一个存储器中存储有计算机程序，当计算机程序被至少一个处理器执行时，执行根据本申请的示例性实施例的模型训练方法和图像生成方法。这里，车载终端110并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述计算机程序的装置或电路的集合体。

在车载终端110中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

在车载终端110中，处理器可运行存储在存储器中的计算机程序，该计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、……)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。例如，本申请实施例中的细节补偿模型可以为其中的一个模块/单元。

存储器可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储器中的文件。

此外，车载终端110还可包括显示装置(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。车载终端110的所有组件可经由总线和/或网络而彼此连接。

车载相机120可以为鱼眼相机，车载相机120的数量和在车辆100上的安装位置可以根据实际需要确定。一般可以包括四个鱼眼相机，该四个鱼眼相机分别为前视鱼眼相机、后视鱼眼相机、左视鱼眼相机和右视鱼眼相机，分别用于采集车辆前后左右四个方向的环境信息。

图2为本申请实施例提供的一种模型训练方法的流程图，该方法可以由如图1所示系统中的车载终端110执行。如图2所示，该方法可以包括以下步骤：

S210，获取车辆相机在多个视角下拍摄的低分辨率图像序列。

图像生成方法可以被理解为细节补偿模型的一种应用方式，因此，本领域技术人员可以理解，细节补偿模型的训练与细节补偿模型的应用是相关的，即细节补偿模型训练方法和图像生成方法在原理层面或步骤层面具有相关性，一些前文出现过的相同术语，在下文不作重复解释，一些前文出现过的相同原理，在下文也不作过多解释。

其中，低分辨率图像序列包括多帧低分辨率图像，多帧低分辨率图像包括每个视角下拍摄到的至少一帧低分辨率图像。低分辨率图像为车辆相机在多个视角下拍摄的周围驾驶环境的图像，周围驾驶环境可以是车辆预设距离内的驾驶环境，预设距离可以根据实际业务需求、实际产品需求或实际应用场景确定得到。

低分辨率图像序列可以从车辆保存的历史驾驶数据中获取，也可以驾驶车辆去特定环境实时采集低分辨率图像序列，其中，特定环境可以为比较有代表性的环境，比如说，用户车辆频繁经过的环境，车流量比较大的环境。

S220，根据多帧低分辨率图像，生成目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图。

其中，目标帧低清晰度鸟瞰图是由不同视角下的多帧低分辨率图像中位于目标帧的低分辨率图像拼接得到。当计算目标帧的低清晰度鸟瞰图和高分辨率图像时，其他帧则为参考帧。多帧低分辨率图像中的任何一帧低分辨率图像都可以成为目标帧低分辨率图像。可以采用AVM拼接法对不同视角下的多帧低分辨率图像中位于目标帧的低分辨率图像进行拼接，得到目标帧低清晰度鸟瞰图。具体可以包括去畸变、联合标定、投影变换和拼接融合等。拼接目标低分辨率图像的方法与S520中的拼接方法相同，稍后会详细描述拼接方法的具体实现过程。

真值高分辨率鸟瞰图是由目标帧高分辨率图像拼接得到的，目标帧高分辨率图像是根据目标帧确定的每个视角下的预设数量帧低分辨率图像生成的。预设数量可以根据计算需求进行设置，预设数量越大，目标帧高分辨率图像的精度越高。目标帧高分辨率图像可以仅根据目标帧的低分辨率图像生成，此时预设数量为1。也可以根据目标帧及其前后帧的低分辨率图像生成，目标帧前后帧的数量最好要相同，此时预设数量可以为2N+1或者N+1，N为目标帧前帧或后帧的数量。

当预设数量大于1时，可以采用多帧超分辨率算法对多帧低分辨率图像的图像特征进行对齐，然后对经过对齐处理后的前后帧图像进行上下采样，最后提取前后帧对齐特征的差异性信息，并在时序上融合多帧图像的特征信息，得到高阶特征，基于高阶特征进行上采样和卷积处理，得到目标帧高分辨率图像。其中，差异性信息可以包括相邻两帧低分辨率图像之间相同位置不同的像素点特征。

S230，基于目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型。

其中，对抗生成网络包括生成器和判别器，将目标帧低清晰度鸟瞰图输入生成器，得到生成的高清晰度鸟瞰图，以真值高分辨率鸟瞰图作为判别器的参考鸟瞰图，将生成的高清晰度鸟瞰图输入判别器，判断拼成的高清晰度鸟瞰图和生成的高清晰度鸟瞰图的相似程度，以确定输入的高清晰度鸟瞰图是拼成的还是生成的。当判别器认为输入的高清晰度鸟瞰图是拼成的识别率大于一定值时，结束模型训练过程，以生成器作为细节补偿模型。

可以看出，通过获取车辆相机在多个视角下拍摄的低分辨率图像序列，低分辨率图像序列包括多帧低分辨率图像，根据多帧低分辨率图像，生成目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图，基于目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型。该细节补偿模型能够将低清晰度鸟瞰图转换为高清晰度鸟瞰图，为自动泊车功能提供可用性高的输入图像，提高低清晰度鸟瞰图的利用率。

在一种可实现的方式中，S220中根据多帧低分辨率图像，生成目标帧低清晰度鸟瞰图的步骤包括：

拼接多帧低分辨率图像中的目标低分辨率图像，得到目标帧低清晰度鸟瞰图。

目标低分辨率图像为不同视角下的多帧低分辨率图像中位于相同帧的低分辨率图像。比如说，多个视角包括前视角、后视角、左视角、右视角，目标帧为第7帧，目标低分辨率图像包括前视角的多帧低分辨率图像中第7帧的低分辨率图像、后视角的多帧低分辨率图像中第7帧的低分辨率图像、左视角的多帧低分辨率图像中第7帧的低分辨率图像、右视角的多帧低分辨率图像中第7帧的低分辨率图像。

可以采用AVM拼接法对目标低分辨率图像进行拼接，得到目标帧低清晰度鸟瞰图，具体可以包括去畸变、联合标定、投影变换和拼接融合等。拼接目标低分辨率图像的方法与S520中的拼接方法相同，稍后会详细描述拼接方法的具体实现过程。

在一种可实现的方式中，S220中根据多帧低分辨率图像，生成真值高分辨率鸟瞰图的步骤如图3所示，可以包括：

S221，根据目标帧低分辨率图像在多帧低分辨率图像所处的位置，确定预备低分辨率图像。

其中，目标帧低分辨率图像是多帧低分辨率图像中目标帧对应的低分辨率图像，目标帧低分辨率图像在多帧低分辨率图像所处的位置是目标帧低分辨率图像在多帧低分辨率图像中的帧序。目标帧可以根据计算需求进行选取，此处不做限定。

具体地，根据目标帧低分辨率图像在多帧低分辨率图像所处的位置，基于预设大小的滑动窗口确定预备低分辨率图像，目标帧低分辨率图像位于滑动窗口的中间位置。

滑动窗口的大小决定了预备低分辨率图像中低分辨率图像的数量，滑动窗口包括2N+1个窗口，N可以根据计算需求选取，一般越大越好。目标帧低分辨率图像位于滑动窗口的中间位置，在中间位置的两边分别有N个窗口。

若目标帧低分辨率图像所在位置前后分别有N个低分辨率图像，那么，预备低分辨率图像包括2N+1个低分辨率图像。若目标帧低分辨率图像所在位置前(或后)有N个低分辨率图像，目标帧低分辨率图像所在位置后(或前)有M个低分辨率图像，那么预备低分辨率图像包括N+M+1个低分辨率图像。其中，N>M。若目标帧低分辨率图像位于多帧低分辨率图像中的第一帧或者最后一帧，目标帧低分辨率图像所在位置前(或后)有N个低分辨率图像，目标帧低分辨率图像所在位置后(或前)便没有低分辨率图像，那么，预备低分辨率图像包括N+1个低分辨率图像。

S222，对齐预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征。

由于预备低分辨率图像中相邻两帧低分辨率图像中的像素随着时间变化发生了移动，产生了变形，相邻两帧低分辨率图像的相同位置对应的图像有所差别，在进行叠加时，会出现叠影。需要将相邻两帧低分辨率图像的图像特征对齐。第一低分辨率图像特征为经过对齐处理的预备低分辨率图像特征。

在进行相邻两帧低分辨率图像的图像特征对齐时，先从目标帧开始对齐，以目标帧为第T帧为例，首先将第T-1帧和第T+1帧与第T帧对齐，然后将第T-2帧与第T-1帧对齐，将第T+2帧与第T+1帧对齐，使得预备低分辨率图像的低分辨率图像尽可能都与目标帧的低分辨率图像相同或相似。

具体地，获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量；

根据像素位移矢量，对齐预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征。

其中，像素位移矢量为相邻两帧低分辨率图像中后一帧相对于前一帧像素的运动矢量。作为其中一种可实现的方式，采用光流估计算法获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量。光流估计算法是一种估计前后两帧图像的运动矢量的算法，光流为前后两帧的运动矢量。通过光流估计算法确定两帧图像中同一像素点的位置变动，这种变动为位移矢量，也就是像素点的光流。可以先将相邻两帧低分辨率图像分别进行上下采样，然后输入预先训练好的光流网络得到光流残差，进而计算得到光流，即，相邻两帧低分辨率图像的像素位移矢量。其中，光流网络可采用Spynet网络。

作为另一种可实现的方式，通过可变形卷积网络获取预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量。

可变形卷积网络可以在标准卷积操作中采样位置增加一个偏移量，可以包括两个卷积核，其中一个用于生成输出特征的卷积核，另一个用于生成偏移量的卷积核。首先，利用传统的卷积层提取特征图，将特征图输入卷积层conv获取相邻两帧低分辨率图像的偏移量，生成通道维度是2N，其中，2分别对应X和Y这2个维度的偏移，N是通道数。可变形卷积网络的两个卷积核通过双线性插值后向传播算法同时学习，得到相邻两帧低分辨率图像的像素位移矢量。

根据像素位移矢量先调整目标帧相邻帧低分辨率图像中像素的位置，然后再基于目标帧相邻帧低分辨率图像调整后的像素位置依次调整其他帧低分辨率图像，进而对齐相邻两帧低分辨率图像的特征。

S223，提取并融合第一低分辨率图像特征，得到第二低分辨率图像特征。

第二低分辨率图特征像由特征对齐后的预备低分辨率图像的特征叠加得到的。首先将第一低分辨率图像特征中前后帧第一低分辨率图像特征进行特征尺度变换处理，包括但不限于上采样处理和下采样处理。然后，提取特征尺度变换后的第一低分辨率图像特征，在时序上融合多帧低分辨率图像的特征，得到第二低分辨率图像特征。其中，第二低分辨率图像特征包括高阶特征和低阶特征。

S224，根据第二低分辨率图像特征，生成目标帧高分辨率图像。

首先，将第二低分辨率图像特征输入卷积层，提取第二低分辨率图像特征中的高阶特征，得到高阶特征图，该高阶特征图的尺寸相对第二低分辨率图像特征的尺寸较小。然后，对高阶特征图进行上采样处理，增加高阶特征图的大小。最后，高阶特征图结合第二低分辨率图像特征的亮度分量，生成具有色彩的目标帧高分辨率图像。

S225，拼接目标帧高分辨率图像，得到真值高分辨率鸟瞰图。

其中，目标帧高分辨率图像为单个视角下的高分辨率图像，将同一目标帧下多个视角的目标帧高分辨率图像进行拼接，得到真值高清晰度鸟瞰图。真值高清晰度鸟瞰图与目标帧低清晰度鸟瞰图的尺寸相同。真值高清晰度鸟瞰图为真实的高清晰度鸟瞰图，作为判别器的参考图像对生成器输出的高清晰度鸟瞰图进行判断。

可以采用AVM拼接算法拼接真值高分辨率鸟瞰图，得到真值高清晰度鸟瞰图，具体可以包括去畸变、联合标定、投影变换和拼接融合等。拼接真值高清晰度鸟瞰图的方法与S520中的拼接方法相同，稍后会详细描述拼接方法的具体实现过程。

在一种可实现的方式中，如图4所示，S230可以包括：

S231，根据目标帧低清晰度鸟瞰图，通过生成器生成预测高清晰度鸟瞰图。

预测高清晰度鸟瞰图为生成器根据输入的目标帧低清晰度鸟瞰图不断生成的测试鸟瞰图，其清晰度远刚开始可能达不到真值高清晰度鸟瞰图的清晰度，但经过多次训练之后，预测高清晰度鸟瞰图的清晰度会慢慢接近真值高清晰度鸟瞰图的清晰度。

将目标帧低清晰度鸟瞰图输入生成器，生成器提取目标帧低清晰度鸟瞰图的特征及上下采样处理，得到预测高清晰度鸟瞰图。

每向生成器输入一帧目标帧低清晰度鸟瞰图，生成器就会生成一帧预测高清晰度鸟瞰图。

S232，依据真值高清晰度鸟瞰图，通过判别器确定预测高清晰度鸟瞰图的类型信息。

类型信息包括生成器生成图和真值生成图。生成器生成图为预测高清晰度鸟瞰图的类型，真值生成图为与真值高清晰度鸟瞰图相似的类型。判别器输出的识别结果可以包括0或1，其中，0表示预测高清晰度鸟瞰图为假图像，其类型为生成器生成图，1表示预测高清晰度鸟瞰图为真图像，其类型为真值生成图。

真值高清晰度鸟瞰图作为参考图像成为判别器的条件标签，若判别器识别到预测高清晰度鸟瞰图与真值高清晰度鸟瞰图极为相似或相同，认为其为真值生成图，则输出1。若判别器识别到预测高清晰度鸟瞰图与真值高清晰度鸟瞰图不同，认为其为生成器生成图，则输出0。

S233，根据类型信息，确定细节补偿模型。

若判别器识别到预测高清晰度鸟瞰图的类型信息为真值生成图，表明生成器生成的预测高清晰度鸟瞰图已经非常真实，生成器的参数可以不再更新，此时的生成器可以作为细节补偿模型使用。

进一步地，当类型信息为生成器生成图时，根据目标低清晰度鸟瞰图，继续通过生成器生成预测高清晰度鸟瞰图；

直至判别器将预测高清晰度鸟瞰图的类型信息判定为真值生成图的识别率大于预设阈值时，确定生成器为细节补偿模型。

当判别器识别到预测高清晰度鸟瞰图的类型信息为生成器生成图时，对判别器来说其仍是一种假图像，生成器根据判别器的识别结果更新内部参数，使得输出预测高清晰度鸟瞰图逐渐接近真值高清晰度鸟瞰图，以达到以假乱真的地步。

每当判别器识别到预测高清晰度鸟瞰图的类型信息为生成器生成图时，生成器都会更新内部参数，继续输入目标低清晰度鸟瞰图生成预测高清晰度鸟瞰图，然后输入判别器判断预测高清晰度鸟瞰图的真实性，直至确定预测高清晰度鸟瞰图的类型信息为真值生成图，此时，生成器输出的图像对于判别器来说是一种真图像，将生成器确定为细节补偿模型。

进一步地，为了提高生成器以假乱真的能力，在判别器多次将预测高清晰度鸟瞰图的类型信息判定为真值生成图之后，将生成器确定为细节补偿模型。具体地，以将判别器将预测高清晰度鸟瞰图的类型信息判定为真值生成图的次数与判别器判别的总判别次数的比值称为识别率，当识别率大于预设阈值时，说明预测高清晰度鸟瞰图很大概率可以使判别器误判，生成器的生成能力足以欺骗判别器，结束模型训练，将生成器确定为细节补偿模型。其中，预设阈值可以根据实际需求设置，此处不做限定。

图5为本申请实施例提供的一种图像生成方法的流程图，该方法可以由如图1所示系统中的车载终端110执行。如图5所示，该方法可以包括以下步骤：

S510，获取车辆的驾驶环境图。

具体地，通过车辆配置的拍摄装置采集得到车辆的驾驶环境图，驾驶环境图可以是车辆预设距离内的环境图，预设距离可以根据实际业务需求、实际产品需求或实际应用场景确定得到。

其中，驾驶环境图包括多个视角下的图像序列，图像序列中的每个图像包括道路、障碍物和交通灯等，障碍物是对车辆的行驶造成干扰的物体，例如可以为人、车辆、小动物、栅栏等。

多个视角包括车辆的前视角、后视角、左视角、右视角，多个视角下的图像序列可以通过在车辆的前后左右设置拍摄装置获取得到。例如，在车辆的前保险杠、后备箱、后视镜上设置有四个外置拍摄装置。其中，拍摄装置可以包括图像传感器，例如，相机，相机可以为多路鱼眼相机，比如说，四路鱼眼相机。

在车辆行驶过程中，开启车辆周围的拍摄装置实时采集视频图像，可以从采集到的视频图像中确定多个视角下的图像序列，也可以从车辆的存储模块获取拍摄装置拍摄保存的驾驶环境图，根据不同应用场景的需求，选择对应的获取方式得到驾驶环境图。

S520，根据多个视角下的图像序列，生成低清晰度鸟瞰图。

每个视角下至少有一组图像序列，一组图像序列包括至少一帧低分辨率图像。低清晰度鸟瞰图是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的车辆驾驶环境立体图。由多个视角下的图像序列中相同帧对应的低分辨率图像进行拼接，得到低清晰度鸟瞰图，因而低清晰度鸟瞰图为单帧图像。其中，多个视角例如可以是前视角、后视角、左视角、右视角。

例如，可以分别选取前视角、后视角、左视角、右视角下图像序列中第T帧低分辨率图像，将这4帧低分辨率图像进行拼接得到第T帧低清晰度鸟瞰图。

低清晰度鸟瞰图上各细部影纹及其边界的清晰度较低，图像质量一般，可用性差，因而需要对其进行细节补偿处理以提高其清晰度。

S530，根据低清晰度鸟瞰图，基于预先训练的细节补偿模型生成高清晰度鸟瞰图。

细节补偿模型是一种生成器，可以恢复高频细节信息，实现图像到图像的转换，该生成器可以采用诸如UNet结构网络之类的沙漏型编解码结构网络。生成器包括但不限于编码器和解码器，编码器为生成器的特征提取和下采样部分，对输入的低清晰度鸟瞰图进行特征提取和下采样处理，解码器为生成器的特征融合和上采样部分，对编码器处理低清晰度鸟瞰图得到的图像特征进行特征组合上采样处理，最终得到高清晰度鸟瞰图。细节补偿模型可根据图2所示的方法训练得到。

由于生成器的输入结构与输出结构大致对齐，因而生成器输入和输出的图像表面外观不同，但两者都是相同结构，也就是说，低清晰度鸟瞰图和高清晰度鸟瞰图的尺寸相同，可以直接用于后续算法的处理。比如说，利用高清晰度鸟瞰图进行车位检测，可行驶区域检测，障碍物检测等算法。

可以看出，本申请实施例通过获取车辆的驾驶环境图，根据驾驶环境图中多个视角下的图像序列，生成低清晰度鸟瞰图，并将低清晰度鸟瞰图输入预先训练的细节补偿模型得到高清晰度鸟瞰图。由于细节补偿模型能够提高低清晰度鸟瞰图的成像效果和精度，为自动泊车功能提供可用性高的输入图像，提高低清晰度鸟瞰图的利用率，同时能够获取更多的可靠细节，有利于提升后续任何一种基于鸟瞰图拼图作为输入的感知检测算法检测结果的准确性。

下面对上述方法流程中的各步骤进行详细描述。首先结合实施例对上述S520即“根据多个视角下的图像序列，生成低清晰度鸟瞰图”进行详细描述。

作为一种可实现的方式，S520可以包括：拼接多个视角下的图像序列，得到低清晰度鸟瞰图。

通过AVM拼接算法对多个视角下的图像序列进行拼接，得到低清晰度鸟瞰图。AVM是通过多个超大广角鱼眼镜头拍摄图像，经过特殊算法对所拍摄图像进行畸变矫正以及拼接，形成物体周围的全景影像的系统。上述的特殊算法也就是AVM拼接算法，如图6所示，AVM拼接算法包括去畸变、联合标定、投影变换和拼接融合多个处理步骤。

具体地，如图7所示，通过AVM拼接算法对多个视角下的图像序列进行拼接的步骤包括：

S521，基于拍摄图像序列的相机的内参数和畸变系数，对多个视角下的图像序列进行去畸变处理，得到已处理图像序列。

其中，拍摄图像序列的相机可以采用鱼眼相机。现有的相机为获得更好的成像效果，通常会在相机前方加入透镜，透镜的加入会使得光线传播收到影响，即真实世界的直线在图像中变成了曲线，例如，图6中前视鱼眼、后视鱼眼、左视鱼眼和右视鱼眼拍摄到的图片。为了能够更加真实地还原车辆的驾驶环境，需要对多路鱼眼相机拍摄的图片进行去畸变处理。

首先，获取每个鱼眼相机的内参数和畸变系数。

具体地，在车辆四周放置标定布，比如，棋盘格标定布。通过车辆在其前后左右设置的鱼眼相机拍摄车辆的周围环境图，该周围环境图包括部分标定布，如图6中前视鱼眼、后视鱼眼、左视鱼眼和右视鱼眼拍摄到的图片。

根据周围环境图中标定布采用棋盘格标定算法计算车载相机的内参数和畸变系数，可以将标定布中每相邻黑格和白格交叉点的坐标转化为像素坐标系中的坐标，将图像坐标系和像素坐标系进行坐标转换，计算像素坐标在世界坐标系中的第一转换矩阵，同时计算像素坐标在相机坐标系中的第二转换矩阵。根据第一转换矩阵和第二转换矩阵以及世界坐标系中的旋转矩阵和平移向量，计算像素坐标在世界坐标系中的最终矩阵。通过最终矩阵推导得到一个比较好的初始解，通过非线性优化得到最优解，该最优解包括内参数和畸变系统。

然后，基于内参数和畸变系数，对多个视角下的图像序列进行去畸变处理，得到已处理图像序列。

在去畸变处理过程中，分别前视鱼眼、后视鱼眼、左视鱼眼和右视鱼眼拍摄的图像序列中相同帧对应的图像进行处理，得到一组已处理图像。已处理图像序列包括多组已处理图像，每组已处理图像包括四帧已处理图像。

S522，基于预设标定参数对已处理图像序列进行联合标定，得到投影矩阵。

在去畸变处理后，对四路鱼眼相机进行联合标定，以确保四路鱼眼相机获取的图像转地面上能够正好拼接成环视图。

首先，在车的四周地面上摆放标定物，标定物选择标定盘或者标定布均可，只要能够看清楚标定物的标定板即可。每个标定物应当恰好位于相邻两个相机视野的重合区域中。

预设标定参数为在放置好标定物之后手动设置的标定参数，包括：内侧移位宽度、内侧移位高度、移位宽度、移位高度、总宽度、总高度、车辆所在矩形区域的四角。其中，内侧移位宽度为标定物内侧边缘与车辆左右两侧的距离，内侧移位高度为标定物内侧边缘与车辆前后方的距离，总宽度为鸟瞰图的宽，总高度为鸟瞰图的高，移位宽度表示标定物与鸟瞰图的高之间的距离，移位高度表示标定物与鸟瞰图的宽之间的距离。预设标定参数可以根据实际需求进行设置，此处不做限定。

然后，根据预设标定参数调整标定物与车辆之间的距离。在完成标定物的放置之后，每个相机的投影区域也就确定了，比如说，前方鱼眼相机对应的投影区域为以内侧移位高度、标定物宽度、移位高度之和作为高，以2倍的移位宽度、2倍的标定物宽度、车辆宽度之和作为宽的矩形。

最后，基于车周围设置好的标定物，四路鱼眼相机拍摄标定物图像，根据四路鱼眼相机分别拍摄到的图像确定投影矩阵。投影矩阵是根据图像之间的投影变换关系计算得到的，投影变换是指相机分别在不同位置，以不同的位姿拍摄同一个平面生成了多张图像，多张图像之间的关系叫做投影变换。通过投影变换可以将标定物图像的像素坐标转换到鸟瞰图中的像素坐标。

S523，根据投影矩阵对已处理图像序列进行投影变换，得到至少一帧初始鸟瞰图。

初始鸟瞰图为将已处理图像序列中的一组已处理图像基于投影矩阵投影到地面上初步得到的鸟瞰图，初始鸟瞰图包括四张包含重叠区域的鸟瞰图。

根据投影矩阵对已处理图像序列进行投影变换，将已处理图像序列中的至少一组已处理图像，投影到在车辆上方平行地面进行拍摄的相机的平面上，得到初始鸟瞰图。其中，在车辆的前后左右各一张包含重叠区域的鸟瞰图。

S524，拼接融合至少一帧初始鸟瞰图，得到低清晰度鸟瞰图。

由于鱼眼相机之间有重合视野范围，所以初始鸟瞰图中的四张鸟瞰图之间有互相重合的区域，该区域内需要做平滑处理进行融合，以使初始鸟瞰图拼接得更加自然真实。

平滑处理过程可以采用加权平均的方法，具体地，提取初始鸟瞰图中的重叠区域，对重叠区域进行灰度化和二值化，并用形态学操作去除噪点，使得重合区域分为两部分黑色区域和一部分白色区域，白色区域加在两部分黑色区域之间。其中，两部分黑色区域为三角形，以两部分黑色区域的斜边为边界，计算白色区域像素点与两部分黑色区域的边界之间的距离，然后确定一个权重，白色区域像素点距离哪部分黑色区域边界更近，哪部分黑色区域对应的视角图的权重就越大。保留权重大的视角图在重合区域的图像，去除权重小的视角图在重合区域的图像，使重叠部分进行融合。

将一帧初始鸟瞰图中多张包含重叠区域的鸟瞰图进行拼接融合，对应得到一帧低清晰度的鸟瞰图。基于此，当已处理图像序列包含多组已处理图像时，低清晰度鸟瞰图包括多张低清晰度的鸟瞰图。

下面结合实施例对上述S530即“根据低清晰度鸟瞰图，基于预先训练的细节补偿模型生成高清晰度鸟瞰图。”进行详细描述。

作为一种可实现的方式，如图8所示，S530可以包括：

S531，根据低清晰度鸟瞰图，通过编码器生成第一特征图。

其中，编码器包括第一卷积层和下采样层，第一特征图可以包括低阶特征和高阶特征。将低清晰度鸟瞰图输入细节补偿模型，通过细节补偿模型中的编码器对低清晰度鸟瞰图进行特征提取和下采样处理，得到第一特征图。

具体地，根据低清晰度鸟瞰图，通过第一卷积层生成初始特征图；

根据初始特征图，通过下采样层生成第一特征图。

首先，低清晰度鸟瞰图输入细节补偿模型后，通过编码器的第一卷积层进行特征提取，得到初始特征图。其中，初始特征图可以包括低阶特征和高阶特征。接着，初始特征图输入下采样层，得到尺寸更小的第一特征图，使其成为更低维度的表征，能够尽可能多地提取低阶特征和高阶特征。

低清晰度鸟瞰图经过卷积层的层数越浅，第一特征图越具体，记录着颜色纹理等信息，越深则越抽象，会记录着更高级的信息。基于此，编码器可以包括多组第一卷积层和下采样层，编码器结构可以为第一卷积层-下采样层-第一卷积层-下采样层-第一卷积层-下采样层······，由于神经网络的高灵活性和可学习性，该结构包括第一卷积层和下采样层的组合方式并不是固定的，可以根据实际需求进行设定。低清晰度鸟瞰图随着经历下采样层的增加，尺寸也会越来越小。

S532，根据第一特征图，通过解码器生成高清晰度鸟瞰图。

其中，解码器包括第二卷积层和上采样层。将低清晰度鸟瞰图输入细节补偿模型，通过细节补偿模型中的解码器提取第一特征图中的低阶特征和高阶特征进行组合，并对组合后的特征进行上采样处理，还原得到高清晰度鸟瞰图。其中，低清晰度鸟瞰图的尺寸大小与高清晰度鸟瞰图的尺寸大小相同。

具体地，根据第一特征图，通过第二卷积层生成组合特征图；

根据组合特征图，通过上采样层生成高清晰度鸟瞰图。

首先，在编码器生成第一特征图后，通过第二卷积层提取第一特征图中的低阶特征和高阶特征进行组合，得到组合特征图，组合特征图包括低阶特征和高阶特征。接着，组合特征图输入上采样层，逐渐恢复组合特征图的尺寸，得到与低清晰度鸟瞰图尺寸大小相同的高清晰度鸟瞰图。

需要说明的是，解码器可以包括多组第二卷积层和上采样层，解码器结构可以为第二卷积层-上采样层-第二卷积层-上采样层-第二卷积层-上采样层······，解码器中第二卷积层和上采样层的组数可以和编码器中第一卷积层和下采样层的组数相同，也可以不相同，只要解码器总上采样的倍数和和编码器总下采样的倍数相同即可，从而保证低清晰度鸟瞰图的尺寸大小与高清晰度鸟瞰图的尺寸大小相同。

作为一种可实现的方式，细节补偿模型是基于对抗生成网络训练得到的。

对抗生成网络是一种深度学习模型，包括生成器和判别器，生成器根据输入的低清晰度鸟瞰图生成一张新的高清晰度鸟瞰图，判别器根据给定的真实鸟瞰图判断新的高清晰度鸟瞰图是真的还是假的。若判别器确认新的高清晰度鸟瞰图是假的，生成器继续根据输入的低清晰度鸟瞰图生成一张新的高清晰度鸟瞰图，尽可能地生成真实的鸟瞰图去欺骗判别器，判别器则尽可能地把生成器生成的低清晰度鸟瞰图和真实鸟瞰图区分出来。通过生成器和判别器之间相互博弈学习产生相当好的输出，直到生成器能够生成比较真实的鸟瞰图，停止训练对抗生成网络，将生成器作为细节补偿模型。

应该理解的是，虽然图2-图5、图7、图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本申请中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图5、图7、图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

根据本申请的实施例，本申请还提供了一种计算机设备、一种计算机可读存储介质。

如图9所示，是根据本申请实施例的计算机设备的框图。计算机设备旨在表示各种形式的数字计算机或移动装置。其中数字计算机可以包括台式计算机、便携式计算机、工作台、个人数字助理、服务器、大型计算机和其它适合的计算机。移动装置可以包括平板电脑、智能电话、可穿戴式设备等。

如图9所示，设备900包括计算单元901、ROM902、RAM903、总线904以及输入/输出(I/O)接口905，计算单元901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

计算单元901可以根据存储在只读存储器(ROM)902中的计算机指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机指令，来执行本申请方法实施例中的各种处理。计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901可以包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。在一些实施例中，本申请实施例提供的方法可被实现为计算机软件程序，其被有形地包含于计算机可读存储介质，例如存储单元908。

RAM903还可存储设备900操作所需的各种程序和数据。计算机程序的部分或者全部可以经由ROM802和/或通信单元909而被载入和/或安装到设备900上。

设备900中的输入单元906、输出单元907、存储单元908和通信单元909可以连接至I/O接口905。其中，输入单元906可以是诸如键盘、鼠标、触摸屏、麦克风等；输出单元907可以是诸如显示器、扬声器、指示灯等。设备900能够通过通信单元909与其他设备进行信息、数据等的交换。

需要说明的是，该设备还可以包括实现正常运行所必需的其他组件。也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件和/或它们的组合中实现。

用于实施本申请的方法的计算机指令可以采用一个或多个编程语言的任何组合来编写。这些计算机指令可以提供给计算单元901，使得计算机指令当由诸如处理器等计算单元901执行时使执行本申请方法实施例中涉及的各步骤。

本申请提供的计算机可读存储介质可以是有形的介质，其可以包含或存储计算机指令，用以执行本申请方法实施例中涉及的各步骤。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的等形式的存储介质。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种模型训练方法，其特征在于，所述方法包括：

获取车辆相机在多个视角下拍摄的低分辨率图像序列，所述低分辨率图像序列包括多帧低分辨率图像；

根据所述多帧低分辨率图像，生成目标帧低清晰度鸟瞰图和真值高分辨率鸟瞰图；

基于所述目标帧低清晰度鸟瞰图和所述真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多帧低分辨率图像，生成目标帧低清晰度鸟瞰图，包括：

拼接所述多帧低分辨率图像中的目标低分辨率图像，得到目标帧低清晰度鸟瞰图，所述目标低分辨率图像为不同视角下的多帧低分辨率图像中位于相同帧的低分辨率图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述多帧低分辨率图像，生成真值高分辨率鸟瞰图，包括：

根据目标帧低分辨率图像在所述多帧低分辨率图像所处的位置，确定预备低分辨率图像；

对齐所述预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征；

提取并融合所述第一低分辨率图像特征，得到第二低分辨率图像特征；

根据所述第二低分辨率图像特征，生成目标帧高分辨率图像；

拼接所述目标帧高分辨率图像，得到真值高分辨率鸟瞰图。

4.根据权利要求3所述的方法，其特征在于，所述根据目标帧低分辨率图像在所述多帧低分辨率图像所处的位置，确定预备低分辨率图像，包括：

根据所述目标帧低分辨率图像在所述多帧低分辨率图像所处的位置，基于预设大小的滑动窗口确定所述预备低分辨率图像，所述目标帧低分辨率图像位于所述滑动窗口的中间位置。

5.根据权利要求3所述的方法，其特征在于，所述对齐所述预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征，包括：

获取所述预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量；

根据所述像素位移矢量，对齐所述预备低分辨率图像中相邻两帧低分辨率图像的图像特征，得到第一低分辨率图像特征。

6.根据权利要求5所述的方法，其特征在于，所述获取所述预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量，包括：

采用光流估计算法获取所述预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量。

7.根据权利要求5所述的方法，其特征在于，所述获取所述预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量，包括：

通过可变形卷积网络获取所述预备低分辨率图像中相邻两帧低分辨率图像的像素位移矢量。

8.根据权利要求1所述的方法，其特征在于，所述对抗生成网络包括生成器和判别器，所述基于所述目标帧低清晰度鸟瞰图和所述真值高分辨率鸟瞰图训练对抗生成网络，得到细节补偿模型，包括：

根据所述目标帧低清晰度鸟瞰图，通过所述生成器生成预测高清晰度鸟瞰图；

依据所述真值高清晰度鸟瞰图，通过所述判别器确定所述预测高清晰度鸟瞰图的类型信息；

根据所述类型信息，确定细节补偿模型。

9.根据权利要求8所述的方法，其特征在于，所述类型信息包括生成器生成图和真值生成图，所述根据所述类型信息，确定细节补偿模型，包括：

当所述类型信息为生成器生成图时，根据所述目标低清晰度鸟瞰图，继续通过所述生成器生成预测高清晰度鸟瞰图；

直至所述判别器将所述预测高清晰度鸟瞰图的类型信息判定为真值生成图的识别率大于预设阈值时，确定所述生成器为细节补偿模型。

10.一种图像生成方法，其特征在于，所述方法包括：

获取车辆的驾驶环境图，所述驾驶环境图包括多个视角下的图像序列；

根据所述多个视角下的图像序列，生成低清晰度鸟瞰图；

根据所述低清晰度鸟瞰图，基于预先训练的细节补偿模型生成高清晰度鸟瞰图，所述细节补偿模型由如权利要求1至9任意一项所述的模型训练方法训练得到。

11.根据权利要求10所述的方法，其特征在于，所述根据所述多个视角下的图像序列，生成低清晰度鸟瞰图，包括：

拼接所述多个视角下的图像序列，得到低清晰度鸟瞰图。

12.根据权利要求11所述的方法，其特征在于，所述拼接所述多个视角下的图像序列，得到低清晰度鸟瞰图，包括：

基于拍摄图像序列的相机的内参数和畸变系数，对所述多个视角下的图像序列进行去畸变处理，得到已处理图像序列；

基于预设标定参数对所述已处理图像序列进行联合标定，得到投影矩阵；

根据所述投影矩阵对所述已处理图像序列进行投影变换，得到至少一帧初始鸟瞰图；

拼接融合所述至少一帧初始鸟瞰图，得到低清晰度鸟瞰图。

13.根据权利要求10所述的方法，其特征在于，所述细节补偿模型包括编码器和解码器，所述根据所述低清晰度鸟瞰图，基于预先训练的细节补偿模型生成高清晰度鸟瞰图，包括：

根据所述低清晰度鸟瞰图，通过所述编码器生成第一特征图；

根据所述第一特征图，通过所述解码器生成高清晰度鸟瞰图。

14.根据权利要求13所述的方法，其特征在于，所述编码器包括第一卷积层和下采样层，所述根据所述低清晰度鸟瞰图，通过所述编码器生成第一特征图，包括：

根据所述低清晰度鸟瞰图，通过所述第一卷积层生成初始特征图；

根据所述初始特征图，通过所述下采样层生成第一特征图。

15.根据权利要求13所述的方法，其特征在于，所述解码器包括第二卷积层和上采样层，所述根据所述第一特征图，通过所述解码器生成高清晰度鸟瞰图，包括：

根据所述第一特征图，通过所述第二卷积层生成组合特征图；

根据所述组合特征图，通过所述上采样层生成高清晰度鸟瞰图。

16.一种计算机设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述计算机指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求10-15中任一项所述的方法。

17.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令用于使计算机执行权利要求10-15中任一项所述的方法。

Images