CN115689946A - 图像修复方法、电子设备及计算机程序产品 - Google Patents

Abstract

本申请提供了一种图像修复方法、电子设备及计算机程序产品，属于图像处理技术领域。所述方法包括：获取待修复的行驶图像；调用图像修复模型，对行驶图像中的道路要素进行修复，得到修复图像，图像修复模型用于对行驶图像中S个道路要素进行修复，图像修复模型基于标注有S个道路要素标签的样本行驶图像训练得到。本申请所调用的图像修复模型能够对行驶图像中的多个道路要素进行修复，修复后的图像更清晰。

Description

图像修复方法、电子设备及计算机程序产品

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像修复方法、电子设备及计算机程序产品。

背景技术

高精地图具有精度高、道路要素丰富、更新频次高等特点，已成为自动驾驶中必不可少的工具。借助高精地图，智能汽车能够精准地到达目的地。高精地图的图像主要来源于众包数据库，该众包数据库基于车辆在行驶过程中采集到的道路数据、车道数据及道路周边设施数据等构建。

然而，受到路边树木、行人的遮挡或者因车辆的高速行驶，导致车辆在行驶过程中采集到的行驶图像较为模糊，基于该行驶图像进行语义分割难度较大，常常出现分割失败或者分割不完整的情况，导致基于分割结果构建的高精地图显示效果较差。

发明内容

本申请实施例提供了一种图像修复方法、电子设备及计算机程序产品，能够对行驶图像中的多个道路要素进行修复，修复后的图像更清晰。所述技术方案如下：

第一方面，提供了一种图像修复方法，所述方法包括：

获取待修复的行驶图像；

调用图像修复模型，对所述行驶图像中的道路要素进行修复，得到修复图像；

其中，所述图像修复模型用于对图像中S个道路要素进行修复，所述图像修复模型是基于标注有S个道路要素标签的样本行驶图像训练得到的，S大于等于2。

第二方面，提供了一种电子设备，所述电子设备包括存储器及处理器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现第一方面所述的图像修复方法。

第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序被处理器执行时能够实现第一方面所述的图像修复方法。

第四方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时能够实现如第一方面所述的图像修复方法。

本申请实施例提供的技术方案带来的有益效果是：

所调用的图像修复模型能够对行驶图像中的多个道路要素进行修复，当调用该图像修复模型对行驶图像进行修复，能够精准复现车辆行驶过程中所行驶道路的道路要素，修复后的图像更加清晰。

另外，在基于该修复图像进行图像处理（如语义分割）时，由于对图像中的道路要素进行了修复，使得降低了语义分割难度，避免分割失败或分割不完整的情况发生，提高了分割精度及完整性，进一步提升了基于分割结果所构建的高精地图的显示效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像修复模型的训练方法及图像修复方法所涉及的实施环境；

图2是本申请实施例提供的一种生成器的网络结构图；

图3是本申请实施例提供的一种判别器的网络结构图；

图4是本申请实施例提供的一种图像修复模型的训练方法的流程图；

图5是本申请实施例提供的另一种图像修复模型的训练方法的流程图；

图6是本申请实施例提供的一种基于C-GAN的模型训练过程的示意图；

图7是本申请实施例提供的一种图像修复方法的流程图；

图8是本申请实施例提供的一种图像修复过程的示意图；

图9是本申请实施例提供的一种图像修复装置的结构示意图；

图10示出了本申请一个示例性实施例提供的一种电子设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

可以理解，本申请实施例所使用的术语“每个”、“多个”及“任一”等，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指对应的多个中的任意一个。举例来说，多个词语包括10个词语，而每个词语是指这10个词语中的每一个词语，任一词语是指10个词语中的任意一个词语。

本申请所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

随着智能交通和自动驾驶的飞速发展，传统导航电子地图无论是在内容方面，还是在精度及完整性等方面，均无法满足自动驾驶的应用需求。为实现自动驾驶，高精度地图被广泛使用。高精地图的精度较高，能够实现地图匹配、辅助环境感知及路径规划等功能。高精地图的高精体现在以下几方面：

高精度：相对精度和绝对精度在一米之内，甚至相对精度在20厘米，而传统导航电子地图的精度只有十米左右；

高丰富：高精地图不仅能够展示用户所在的位置，而且能够展示道路类型、曲率、车道线位置等道路信息，以及路边基础设施、障碍物、交通标识等环境对象信息；

高更新频率：高精地图更新的内容包括实时交通限流、红绿灯状态信息等动态信息，也包括静态信息的更新，例如，道路的变更、维修、限速调整等。

高精地图中的图像主要来源于众包数据库，而众包数据库中的图像主要由众包车辆在行驶过程中采集。受到路边树木、行人的遮挡或者因车辆的高速行驶影响，众包车辆采集的图像中车牌号、路标、路面文字、箭头、边界线等可能较为模糊，为了满足高精地图的精度需求，需要对采集的图像进行修复。

目前，相关技术主要基于GAN网络，采用无监督学习方法，对图像修复模型进行训练。无监督学习方法，因缺乏标注结果的参照，导致训练的图像修复模型的精度较低。

为提高修复图像的完整性和精度，本申请实施例提供了一种图像修复模型的训练方法，该方法采用有监督或半监督的学习方法进行模型训练，使得训练的图像修复模型能够对行驶图像中多个道路要素进行修复，修复图像更为完整，且精度较高。

本申请实施例中的行驶图像可以为在摩托车、车辆、飞机、轮船等载具行驶过程中通过载具上的图像传感器采集到的图像。

本申请实施例中道路要素包括：道路类型（road_type）、路标（road_sign）、车牌号（car_plate）、红绿灯(traffic_light)、行人（human）、路面文字、箭头、边界线中的部分或全部。

图1示出了本申请实施例提供的一种图像修复模型的训练方法所涉及的实施环境，参见图1，该实施环境包括：电子设备101。

其中，电子设备101可以为服务器，例如，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（ContentDelivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。电子设备101还可以为终端，例如，车辆、车载终端、智能手机、台式计算机等。

上述电子设备101具有较强的计算能力，能够基于众包数据库中的图像，对图像修复模型进行训练，得到已训练的图像修复模型。

在一种可能的实现方式中，参见图2，电子设备101可以将已训练的图像修复模型分发到网络103上，电子设备102通过网络103获取该已训练的图像修复模型，进而安装该已训练的图像修复模型。该电子设备102可以为车辆、车载终端，还可以为摩托车、飞机、轮船等载具，还可以为安装在摩托车、车辆、飞机、轮船等载具上的设备。网络103可以为有线网络或无线网络等。在行驶过程中，电子设备102能够对采集到的行驶图像进行修复，得到修复图像，进而将修复图像上传到众包数据库中。

在另一种可能的实现方式中，电子设备101为高精地图的后台服务器，用于提供地图服务。当训练完图像修复模型，该电子设备101安装该已训练的图像修复模型，当接收到众包车辆上传的行驶图像之后，该电子设备102可基于该已训练的图像修复模型，对接收到的行驶图像进行修复，进而将修复图像存储到众包数据库中。

本申请实施例中的图像修复模型的网络结构可以为C-GAN网络（条件对抗网络），该C-GAN网络包括生成器（Generator）和判别器（Discriminator）。其中，生成器输入到的是随机噪声，输出的是图像；判别器输入的是图像，输出的是该图像为真实图像的概率值。

图2示出了本申请实施例采用的生成器的网络结构，参见图2，该生成器的网络结构包括第一全连接层、第二全连接层、第一尺寸调整层、第一上采样层、第一卷积层、第二上采样层、第二卷积层等。其中，第一全连接层用于对输入的一维随机噪声进行升维处理，得到第一特征数据；第二全连接层用于对输入到的第一特征数据进行升维处理，得到第二特征数据；第一尺寸调整层用于对输入的第二特征数据进行尺寸调整，得到多个第一特征图像；第一上采样层用于对每个第一特征图像进行上采样，以使每个第一特征图像的行/列重复两次，得到多个第二特征图像；第一卷积层用于对多个第二特征图像进行卷积操作，得到多个第三特征图像；第二上采样层用于对多个第三特征图像进行上采样，以使每个第三特征图像的行/列重复两次，得到多个第四特征图像；第二卷积层用于对多个第四特征图像进行卷积操作，得到生成器生成的伪图像。

对于任一随机噪声z，符合N（0，1）分布，维度数为100维。生成器基于随机噪声z生成伪图像的过程包括：

第一步，将随机噪声z输入到第一全连接层，输出1024维的第一特征数据；

第二步，将1024维的第一特征数据输入到第二全连接层，输出6272维的第二特征数据，为优化模型收敛速度，稳定模型输出，第二全连接层使用的激活函数为tanh，基于tanh函数的归一化的功能，使得第二全连接层输出的6272维的第二特征数据归一到【-1，1】；

第三步，将第二特征数据输入到第一尺寸调整层，经过第一尺寸调整层的处理，输出128个7*7大小的第一特征图像；

第三步，将128个7*7大小的第一特征图像输入到第一上采样层，采用第一上采样层对每个7*7大小的第一特征图像进行上采样，得到128个14*14大小的第二特征图像；

第四步，将128个14*14大小的第二特征图像输入到第一卷积层，经过第一卷积层的卷积操作，输出64个14*14大小的第三特征图像；

第四步，将64个14*14大小的第三特征图像输入到第二上采样层，采用第二上采样层对每个14*14大小的第三特征图像进行上采样，得到64个28*28大小的第四特征图像；

第五步，将64个28*28大小的第四特征图像输入到第二卷积层进行卷积操作，得到1个28*28大小的伪图像，该伪图像具有均S+1维标签。

图3示出了本申请实施例采用的判别器的网络结构，参见图3，该判别器的网络结构包括第三卷积层、第一池化层、第四卷积层、第二池化层、第二尺寸调整层、第三全连接层及第四全连接层等。

其中，第三卷积层用于对输入的伪图像进行卷积操作，得到多个第五特征图像；第一池化层用于对输入的多个第五特征图像进行池化操作，得到多个第六特征图像；第四卷积层用于对输入的多个第六特征图像进行卷积操作，得到多个第七特征图像；第二池化层用于对输入的多个第七特征图像进行池化操作，得到多个第八特征图像；第二尺寸调整层用于对输入的多个第八特征图像的尺寸进行调整，得到第三特征数据；第三全连接层用于对输入的第三特征数据进行降维处理，得到第四特征数据。第三全连接层用于对输入的第四特征数据进行降维处理，得到伪图像对应的概率列表。

对于输入的尺寸为28*28大小的伪图像，判别器对该伪图像的判别过程包括：

第一步，将尺寸为28*28大小的伪图像输入到第三卷积层中，经过第三卷积层的卷积操作，得到64个26*26大小的第五特征图像；

第二步，将64个26*26大小的第五特征图像输入到第一池化层中，经过第一池化层的池化操作，得到64个13*13大小的第六特征图像；

第三步，将64个13*13大小的第六特征图像输入到第四卷积层中，经过第四卷积层的卷积操作，得到128个11*11大小的第七特征图像；

第四步，将128个11*11大小的第七特征图像输入到第二池化层中，经过第二池化层的池化操作，得到128个5*5大小的第八特征图像；

第五步，将128个5*5大小的第八特征图像输入到第二尺寸调整层，通过第二尺寸调整层进行特征弱化，得到一个3200维的第三特征数据；

第六步，将3200维的第三特征数据输入到第三全连接层进行降维处理，得到1024维的第四特征数据；

第七步，将1024维的第四特征数据输入到第四全连接层进行降维处理，得到伪图像对应的概率列表。

本申请实施例提供了一种图像修复模型的训练方法，参见图4，本申请实施例提供的方法流程包括：

401、获取待训练的图像修复模型。

其中，图像修复模型的网络结构可以为C-GAN网络，该图像修复模型包括生成器和判别器。

402、获取M个第一样本行驶图像。

其中，M个第一样本行驶图像来源于众包数据库。M大于等于2，M的数值可由电子设备的处理能力确定，如果电子设备的处理能力较强，为了提高所训练的图像修复模型的精度，M可以选取较大的数值。例如，10000个等。

进一步地，为便于减少后续基于M个第一样本行驶图像进行模型训练的计算量，可对M个第一样本行驶图像进行尺寸归一化处理，使得处理后的M个第一样本行驶图像的尺寸相同，例如，将第一样本行驶图像的尺寸调整为28*28等。

其中，第一样本行驶图像标注有S个道路要素标签。S大于等于2，该S个道路要素包括道路类型（road_type）、路标（road_sign）、车牌号（car_plate）、红绿灯(traffic_light)、行人（human）、路面文字、箭头、边界线等。道路类型（road_type）为第一样本行驶图像中道路的类型，包括高速道路和其余道路，高速道路对应的标签值为0，其余道路对应的标签值为1；路标（road_sign）为第一样本行驶图像中道路上的路标，包括不含路标和含路标，不含路标对应的标签值为0，含路标对应的标签值为1；车牌号（car_plate）为第一样本行驶图像中其他车辆的车牌号，包括有车牌号和无车牌号，有车牌号对应的标签值为1，无车牌号对应的标签值为0；红绿灯(traffic_light) 为第一样本行驶图像中的红绿灯，包括有红绿灯和无红绿灯，有红绿灯对应的标签值为1，无红绿灯对应的标签值为0；行人（human）为第一样本行驶图像中道路上的行人，包括有行人和无行人，有行人对应的标签值为1，无行人对应的标签值为0；路面文字为第一样本行驶图像中道路上的文字，包括有文字和无文字，有文字对应的标签值为1，无文字对应的标签值为0；箭头为第一样本行驶图像中道路上的箭头，包括有箭头和无箭头，有箭头对应的标签值为1，无箭头对应的标签值为0；边界线为第一样本行驶图像中道路上的边界线，包括有边界线和无边界线，有边界线对应的标签值为1，无边界线对应的标签值为0。除了标注S个道路要素标签，第一样本行驶图像还标注真伪标签，该真伪标签用于表示第一样本车辆图像的真假，包括真图像和伪图像，真图像对应的标签值为1，假图像对应的标签值为0。也就是，每个第一样本行驶图像标注有S+1个标签。表1示出了该S+1个标签的标签名及标签含义。

表1

标签名（attributes）	标签含义
		道路类型（road_type）	0-高速道路；1-其余道路
路标（road_sign）	0-不含路标； 1-含路标
		车牌号（car_plate）	0-无； 1-有
红绿灯(traffic_light)	0-无； 1-有
		行人（human）	0-无； 1-有
路面文字	0-无；1-有
		箭头	0-无；1-有
边界线	0-无；1-有
		真伪图	0-伪，1-真

进一步地，为便于对M个第一样本行驶图像进行管理，可将M个第一样本行驶图像 组成第一训练数据集，该第一训练数据集表示为

，

，标签信息

，共S+1组标签，前S个标签为道路要素标签，最后一个标签为图像真伪标签。

403、调用生成器，对M个第一样本行驶图像进行处理，得到M个第一合成行驶图像。

在本申请实施例中，电子设备调用待训练的图像修复模型的生成器，对M个第一样本行驶图像进行处理，得到M个第一合成行驶图像，每个第一合成行驶图像标注有S+1个标签。

基于每个第一样本行驶图像及其生成的第一合成行驶图像，电子设备将每个第一样本行驶图像对应的第一合成行驶图像组成一个第一图像对，得到M个第一图像对，从而以第一图像对为单位输入到相应的损失函数中对生成器和判别器的模型参数进行调整。

可选地，在将M个第一样本行驶图像输入到生成器之前，电子设备还可对每个第一样本行驶图像进行预处理，使得每个第一样本行驶图像的维度与图2中随机噪声的维度数相同。

404、调用判别器，对每个第一图像对中的第一样本行驶图像及第一合成行驶图像进行识别，得到第一识别结果和第二识别结果。

在本申请实施例中，基于每个第一图像对中第一样本行驶图像的S+1个标签，电子设备调用判别器，对每个第一图像对中的第一样本行驶图像进行识别，得到第一识别结果，该第一识别结果包括第一样本行驶图像包含S个道路要素的概率值及第一样本行驶图像为真图像的概率值等。基于每个第一图像对中第一合成行驶图像的S+1个标签，电子设备调用判别器，对每个第一图像对中的第一合成行驶图像进行识别，得到第二识别结果，该第二识别结果包括第一合成行驶图像包含S个道路要素的概率值及第一合成行驶图像为真图像的概率值等。

405、基于M个第一图像对对应的第一识别结果和第二识别结果，对生成器和判别器的模型参数进行调整，得到已训练的图像修复模型。

在一种可能的实现方式中，基于M个第一图像对对应的第一识别结果和第二识别结果，电子设备对生成器和判别器的模型参数进行调整，得到已训练的图像修复模型，该过程包括以下步骤：

4051、获取生成器对应的第一损失函数以及判别器对应的第二损失函数。

在申请实施例中，基于M个第一图像对对应的第一识别结果和第二识别结果进行模型训练时，考虑到生成器和判别器属于两个对抗的网络模型，因此，针对生成器和判别器将分别构建损失函数。

具体地，为生成器构建的损失函数为第一损失函数，该第一损失函数可以采用Hinge Loss，从而避免第一损失函数在训练迭代过程中始终为0以及出现不对称问题。该第一损失函数用于表示S个道路要素的概率值和图像的真伪概率值之间的关系，该第一损失函数为判别器在结合S个道路要素的概率值的情况下，使得判别器识别第一合成行驶图像为真图像的函数。该第一损失函数的形式可以为：

其中，

表示第一损失函数，

表示期望，

表示判别器，G表示生成器，

表示基 于第一样本行驶图像生成的第一合成行驶图像，

表示判别器识别第一合成行驶图像 为真图像的概率值，

表示对判别器识别出的第一合成行驶图像中S个道路要素标签 的概率值进行求和。

对于生成器来说，通常在

(真实样本的概率小1)和

（伪造样本 的概率大于0）时才会产生第一损失函数值，第一损失函数值才可被优化，其余情况第一损 失函数值为0，从而一定程度上稳定了判别器的训练。

具体地，为判别器构建的损失函数为第二损失函数，该第二损失函数可以采用Hinge Loss，从而避免第二损失函数在训练迭代过程中始终为0以及出现不对称问题。该第二损失函数用于表示S个道路要素的概率值和图像的真伪概率值之间的关系，第二损失函数为判别器在结合S个道路要素的概率值的情况下，使得判别器识别第一样本行驶图像为真图像、识别第一合成行驶图像为假图像的函数。该第二损失函数的形式可以为：

其中，

表示第二损失函数，

表示期望，

表示判别器，G表示生成器，

表示基 于第一样本行驶图像生成的第一合成行驶图像，

表示判别器识别第一样本行驶图像为 真图像的概率值，

表示判别器识别第一合成行驶图像为真图像的概率，

表 示对判别器识别出的第一合成行驶图像中S个道路要素标签的概率值进行求和，

表示对判别器识别出的第一样本行驶图像中S个道路要素标签的概率值进行求和。

对于对抗网络来说，生成器和判别器的优化方向是不同的，生成器的优化方向是 生成的图片越真实越好，能够以假乱真的假图像，判别器的优化方向是判别能力越强越好， 能够识别出伪图像。而生成器生成的图片与真实图片越接近，生成器生成的图片与真实图 片之间的差异越小，判别器识别结果的数值越大，相应地损失函数值越小。对于生成器来 说，为了获取最小的损失函数值，其优化目标为

，也即是，判别器识 别出第一合成行驶图像为真图像；对于判别器来说，为了获取最小的损失函数值，其优化目 标为

，也即是，判别器识别出第一样本行驶图像 为真图像，识别第一合成样本图像为假图像。

本申请实施例中，通过增加S个道路要素标签为判别器的识别结果增加了衡量因素，如果判别器识别某一图像为真图像，而通过整合标签对应的概率值识别该图像为假图像，则可对判别器识别结果进行矫正，提高了判别器识别结果的准确性。

4052、基于M个第一图像对对应的第一识别结果和第二识别结果以及第一损失函数和第二损失函数，对生成器和判别器的模型参数进行调整，得到已训练的生成器和已训练的判别器。

其中，已训练的图像修复模型用于对行驶图像中S个道路要素进行修复。本申请实施例在对生成器和判别器进行训练时，可采用两种训练机制，一种是先固定判别器的模型参数训练生成器，然后基于已训练的生成器训练判别器；另一种机制是对生成器和判别器同时训练。

针对第一种机制，基于M个图像对对应的第一识别结果和第二识别结果以及第一损失函数和第二损失函数，对生成器和判别器的模型参数进行调整，得到已训练的生成器和已训练的判别器，包括以下步骤：

40521、固定判别器的模型参数，将M个图像对对应的第一识别结果和第二识别结果输入到第一损失函数中，得到M个第一损失函数值。

40522、基于M个第一损失函数值，对生成器的模型参数进行调整，得到已训练的生成器。

电子设备基于M个第一损失函数值，对生成器的模型参数进行调整的过程包括：电子设备将M个第一损失函数值采用梯度上升方法反向传导给生成器，使得生成器能够对模型参数进行调整，然后基于调整后的模型参数对应的生成器，对M个第一样本行驶图像进行处理，再将生成器生成的第四合成行驶图像及第一样本行驶图像输入到判别器中进行识别，得到识别结果，然后将识别结果输入到第一损失函数中，重复该过程，直至满足训练截止条件，训练截止条件包括迭代次数达到预设次数，例如10次，或者，得到的第一损失函数值小于预设阈值等。电子设备获取满足训练截止条件时生成器的模型参数，将具有该模型参数的生成器作为已训练的生成器。

40523、基于已训练的生成器、M个第一样本行驶图像及第二损失函数，对判别器的模型参数进行调整，得到已训练的判别器。

基于已训练的生成器、M个第一样本行驶图像及第二损失函数，对判别器的模型参数进行调整，得到已训练的判别器的过程，包括：调用已训练的生成器，对M个第一样本行驶图像进行处理，得到M个第二合成行驶图像，将M个第一样本行驶图像和对应的第二合成行驶图像组成M个第二图像对；调用判别器，对每个第二图像对中的第一样本行驶图像及第二合成行驶图像进行识别，得到第一识别结果和第三识别结果；将M个第二图像对对应的第一识别结果和第三识别结果输入到第二损失函数中，得到M个第二损失函数值；基于M个第二损失函数值，对判别器的模型参数进行调整，得到已训练的判别器。基于M个第二损失函数值对判别器的模型参数的调整过程，与上述基于M个第一损失函数值对生成器的模型参数的调整过程同理，此处不再赘述。

针对第二种机制，电子设备基于M个第一图像对对应的第一识别结果和第二识别结果，对生成器和判别器的模型参数进行调整，得到已训练的图像修复模型，包括：电子设备预先设置一个第一总损失函数，该第一总损失函数包括第一损失函数和第二损失函数，电子设备将M个第一图像对对应的第一识别结果和第二识别结果输入到第一总损失函数中，得到M个第一总损失函数值，然后采用梯度上升方法将M个第一总损失函数值方向传导给生成器和判别器，使得生成器和判别器能够对模型参数进行调整。电子设备调用模型参数调整后的生成器，对M个第一样本行驶图像进行处理，得到M个第五合成行驶图像，进而调用模型参数调整后的判别器对M个第一样本行驶图像及对应的第五合成行驶图像进行识别，得到识别结果，然后将识别结果输入到第一总损失函数中，重复该过程，直至满足训练截止条件。电子设备获取满足训练截止条件时生成器的模型参数，将具有该模型参数的生成器作为已训练的生成器，同时获取满足训练截止条件时判别器的模型参数，将具有该模型参数的生成器作为已训练的判别器。

本申请实施例提供的方法，用于进行模型训练的第一样本行驶图像标注有S个道路要素标签，基于第一样本行驶图像标注的S个道路要素标签，在对图像修复模型训练过程中，生成器尝试对第一样本行驶图像中每个道路要素进行修复，得到第一合成行驶图像，判别器努力对第一合成行驶图像中各个道路要素的真伪进行识别，通过生成器和判别器之间的博弈，使得最终训练的图像修复模型具有对行驶图像中S个道路要素的修复能力。

本申请实施例提供了一种图像修复模型的训练方法，参见图5，本申请实施例提供的方法流程包括：

501、获取待训练的图像修复模型。

步骤具体实现时与上述步骤401同理，具体参见上述步骤401，此处不再赘述。

502、获取M个第一样本行驶图像和N个第二样本行驶图像。

其中，N个第二样本行驶图像未标注有道路要素标签。N个第二样本行驶图像来源于众包数据库。N大于等于2，N的数值可由电子设备的处理能力确定，如果电子设备的处理能力较强，为了提高所训练的图像修复模型的精度，N可以选取较大的数值，例如，100个等。

本申请实施例提供通过获取无标签的N个第二样本行驶图像，增加了训练样本的泛化性，避免训练的图像修复模型过拟合，提升了已训练的图像修复模型的修复精度。

进一步地，为便于减少后续基于N个第二样本行驶图像进行模型训练的计算量，可对N个第二样本行驶图像进行尺寸归一化处理，使得处理后的N个第二样本行驶图像的尺寸相同，例如，将第二样本行驶图像的尺寸调整为28*28等。

本申请实施例中用于训练图像修复模型的训练数据包括：M个有道路要素标签的 第一样本行驶图像及N个无道路要素标签的第二样本行驶图像，为便于对这些训练数据进 行管理，可将这些训练数据划分到第二训练数据集合中，该第二训练数据集合包括两个子 集，一个子集为不含标签的子集，包括N个第二样本行驶图像，另一个子集为含标签的子集， 包括M个第一样本行驶图像。设定第二训练数据集合为

，则

，其中，

表示不含 标签的子集，

表示含标签的子集；

表示含标签的子集，

，

，共S+1组标签属性，最后一位为第一样本行驶图 像的真伪标签，标签值为1表示真图，标签值为0表示假图。对于任意给定一张图像

，

，

大小为28*28像素。

503、调用生成器，对M个第一样本行驶图像进行处理，得到M个第一合成行驶图像。

本步骤具体实现时与上述步骤403同理，具体参见上述步骤403，此处不再赘述。

504、调用生成器，对 N个第二样本行驶图像进行处理，得到N个第三合成行驶图像。

在本申请实施例中，电子设备调用待训练的图像修复模型的生成器，对N个第二样本行驶图像进行处理，得到N个第三合成行驶图像。

基于每个第二样本行驶图像及其生成的第三合成行驶图像，电子设备将每个第二样本行驶图像对应的第三合成行驶图像组成一个第三图像对，得到N个第三图像对，从而以第三图像对为单位输入到相应的损失函数中对生成器和判别器的模型参数进行调整。

可选地，在将N个第二样本行驶图像输入到生成器之前，电子设备还可对每个第二样本行驶图像进行处理，使得每个第二样本行驶图像的维度与图2中随机噪声的维度数相同。

505、调用判别器，对每个第一图像对中的第一样本行驶图像及第一合成行驶图像进行识别，得到第一识别结果和第二识别结果。

本步骤具体实现时与上述步骤404相同，具体参见上述步骤404，此处不再赘述。

506、调用判别器，对每个第三图像对中的第二样本行驶图像及第三合成行驶图像进行识别，得到第四识别结果和第五识别结果。

在本申请实施例中，电子设备调用判别器，对每个第三图像对中的第二样本行驶图像进行识别，得到第四识别结果，该第四识别结果包括第一样本行驶图像为真图像的概率值等。电子设备调用判别器，对每个第三图像对中的第三合成行驶图像进行识别，得到第五识别结果，该第五识别结果包括第三合成行驶图像为真图像的概率值等。

507、基于M个第一图像对对应的第一识别结果和第二识别结果、以及N个第三图像对对应的第四识别结果和第五识别结果，对生成器和判别器的模型参数进行调整，得到已训练的图像修复模型。

在申请实施例中，基于有标签的N个第三图像对对应的第四识别结果和第五识别结果进行模型训练时，考虑到生成器和判别器属于两个对抗的网络模型，因此，针对生成器和判别器将分别构建损失函数。

具体地，为生成器构建的损失函数为第三损失函数，该第三损失函数可以采用Hinge Loss，从而避免第三损失函数在训练迭代过程中始终为0以及出现不对称问题。该第三损失函数为使得判别器识别第三合成行驶图像为真图像的函数。该第三损失函数的形式可以为：

其中，

表示第三损失函数，

表示期望，

表示判别器，G表示生成器，

表示基 于第二样本行驶图像生成的第三合成行驶图像，

表示判别器识别第三合成行驶图像 为真图像的概率值。

具体地，为判别器构建的损失函数为第四损失函数，该第四损失函数可以采用Hinge Loss，从而避免第四损失函数在训练迭代过程中始终为0以及出现不对称问题。该第四损失函数为使得判别器识别第二样本行驶图像为真图像、识别第三合成行驶图像为假图像的函数。该第四损失函数的形式可以为：

其中，

表示第四损失函数，

表示期望，

表示判别器，G表示生成器，

表示基 于第二样本行驶图像生成的第三合成行驶图像，

表示判别器识别第二样本行驶图像为 真图像的概率值，

表示判别器识别第三合成行驶图像为真图像的概率值。

对于对抗网络来说，生成器和判别器的优化方向是不同的，生成器的优化方向是 生成的图片越真实越好，能够以假乱真的假图像，判别器的优化方向是判别能力越强越好， 能够识别出伪图像。而生成器生成的图片与真实图片越接近，生成器生成的图片与真实图 片之间的差异越小，判别器识别结果的数值越大，相应地损失函数值越小。对于生成器来 说，为了获取最小的损失函数值，其优化目标为

，也即是，判别器识别出第三合成 行驶图像为真图像；对于判别器来说，为了获取最小的损失函数值，其优化目标为

，也即是，判别器识别出第二样本行驶图像为真图像，识别第三合成样 本图像为假图像。

电子设备基于M个第一图像对对应的第一识别结果和第二识别结果、以及N个第三图像对对应的第四识别结果和第五识别结果，对生成器和判别器的模型参数进行调整，得到已训练的图像修复模型时，包括但不限于以下两种方式：

第一种方式、对生成器和判别器进行分别训练

针对第一种方式，电子设备先固定判别器的模型参数，然后将M个第一图像对的第一识别结果和第二识别结果输入到第一损失函数中，得到M个第一损失函数的函数值，并将N个第三图像对的第三识别结果和第四识别结果输入到第三损失函数中，得到N个第三损失函数的函数值，进而基于M个第一损失函数的函数值和N个第三损失函数的函数值，调整生成器的模型参数，然后调用参数调整的生成器，对M个第一样本行驶图像和N个第二样本行驶图像进行处理，得到多个合成行驶图像，重复执行该过程，直至满足训练截止条件。电子设备获取满足训练截止条件时的模型参数，将具有该模型参数的生成器作为已训练的生成器。

基于已训练的生成器，电子设备调用已训练的生成器，对M个第一样本行驶图像和N个第二样本行驶图像进行处理，然后将M个第一样本行驶图像及对应的合成行驶图像输入第二损失函数中，得到M个第二损失函数值，并将N个第二样本行驶图像及对应的合成行驶图像输入到第四损失函数中，得到N个第四损失函数值，进而基于M个第二损失函数值和N个第四损失函数值，调整判别器的模型参数，重复执行该过程，直至满足训练截止条件。电子设备获取满足训练截止条件时的模型参数，将具有该模型参数的判别器作为已训练的判别器。

第二种方式、对生成器和判别器进行联合训练。

基于预先构建的第一损失函数、第二损失函数、第三损失函数及第四损失函数，电子设备构建一个第二总损失函数，进而将M个第一图像对的第一识别结果和第二识别结果及N个第三图像对的第四识别结果和第五识别结果输入到第二总损失函数中，得到第二总损失函数的函数值，进而基于第二损失函数的函数值调整生成器和判别器的模型参数，直至满足训练截止条件。电子设备获取满足训练截止条件时生成器的模型参数，将具有该模型参数的生成器作为已训练的生成器，并获取满足训练截止条件时判别器的模型参数，将具有该模型参数的判别器作为已训练的判别器。

图6示出了本申请实施例中图像修复模型的训练过程，参见图6，电子设备调用生成器，对随机噪声（包括无标签数据X及有标签数据（X，Y））进行处理，得到合成图像X*，将合成图像X*和无标签数据X及合成图像X*和有标签数据（X，Y）分别输入到判别器中，输出识别结果，对于合成图像X*和无标签数据X，输出的识别结果为：合成图像X*及无标签数据X为真图像的概率值；对于合成图像X*和有标签数据（X，Y），输出的识别结果为合成图像X*及有标签数据（X，Y）为真图像的概率值。然后基于输入的识别结果，对生成器和判别器的模型参数进行训练，得到已训练的生成器和已训练的判别器。

本申请实施例提供的方法，基于标注有S个道路要素标签的第一样本行驶图像，以及未标注S个道路要素标签的第二样本行驶图像进行模型训练，不仅使得所训练的图像修复模型能够学习到对行驶图像中S个道路要素的修复能力，而且增加了样本的多样性，避免训练的图像修复模型过拟合，提高了图像修复模型和修复完整性和修复精度。

本申请实施例提供了一种图像修复方法，参见图7，本申请实施例提供的方法流程包括：

701、获取待修复的行驶图像。

其中，行驶图像为需要修复的图像，该图像可以为众包车辆在行驶过程中采集的图像，也可以为车主上传的图像，还可以为采用其他途径获取的图像，本申请实施例不对行驶图像的来源作具体的限定。

702、调用图像修复模型，对行驶图像中的道路要素进行修复，得到修复图像。该图像修复模型是基于上述各实施例公开的训练方法训练得到的，该图像修复模型具备对图像中存在的道路要素进行修复的能力。

为了对行驶图像进行修复，电子设备调用图像修复模型，对该行驶图像中的道路要素进行修复，得到修复图像。具体包括如下步骤：

7021、调用D次已训练的生成器，对行驶图像进行处理，得到D个候选图像。

其中，D大于等于2。考虑到生成器的精度有限，为了提高生成器所生成图像的精度，针对待修复的行驶图像，可通过调用D次已训练的生成器，对行驶图像进行处理，得到D个候选图像，每个候选图像均携带了标签序列，该标签序列包括S+1维标签。

7022、将D个候选图像进行融合，得到融合图像。

基于所生成的D个候选图像，电子设备调用生成器对D个候选图像进行融合，得到一个融合图像。该生成器与上述实施例所训练的生成器不同，生成器在上述实施例所训练的生成器基础上，增加一层用于将多个候选图像进行融合的图像处理层，该图像处理层可以为卷积层或全连接层，可选地，选取卷积层作为图像处理层。选取卷积层作为图像处理层的原因：采用生成器生成的图像的大小是一致的，通过全连接层固定大小的矩阵列对图像进行处理时，整个图像都会参与计算，计算量较大；而采用卷积层对图像进行处理时，卷积层采用的是滑动窗口方式，滑到的区域对应的位置再相乘，而图像的修复实际上，也往往是局部修复的，因而采用卷积层的计算量较小。

在对D个候选图像进行融合时，针对D个候选图像的标签，对于任一标签，可计算D个候选图像中该标签的标签值的平均值，如果该标签的标签值大于指定阈值，则将该标签的标签值置为1，即修复图像包含该标签对应的道路要素，如果该标签的标签值小于指定阈值，则将该标签的标签值置为0，即修复图像不包含该标签对应的道路要素。

7023、调用已训练的判别器，对融合图像进行识别，得到融合图像为真图像的概率值。

调用已训练的判别器，对融合图像进行识别，得到融合图像的识别结果，该识别结果包括融合图像中各个道路要素的概率值及融合图像为真图像的概率值等。

7024、当融合图像为真图像的概率值在预设概率值区间，将融合图像作为修复图像。

其中，预设概率值区间为预先设置的真实图像的概率值区间。基于得到的融合图像为真图像的概率值，将该概率值与预设概率值区间进行比较，如果该概率值在预设概率值区间内在，则将该融合图像作为修复图像。

在7021和7022中，通过多次调用生成器对待修复图像进行修复，得到多个候选图像，并将该多个候选图像进行融合之后再输入判别器对融合图像进行识别，通过对多个修复后的图像进行统一融合处理，有利于提升图像修复的准确性。需要说明的是，在另一些实施例中，也可以只调用一次生成器对待修复图像进行修复，然后将修复后得到的图像直接输入判别器进行识别，本申请实施例对此不予限定。

需要说明的是，本申请实施例所调用的图像修复模型具备对行驶图像中存在的道路要素的修复能力，但在实际应用中，待修复的行驶图像中可能会包括S个道路要素中的全部或部分，在调用图像修复模型对行驶图像进行修复时，根据该行驶图像中实际包含的道路要素对其进行修复，也即是，如果该行驶图像包含S个道路要素中某一道路要素，则可基于图像修复模型对该行驶图像中该道路要素进行修复，如果该行驶图像中不包含S个道路要素中某一道路要素，则不会对该道路要素进行修复。

在本申请的另一个实施例中，为使修复图像能够符合要求，当获取到修复图像后，还将判断修复图像是否符合修复条件。具体的判断步骤如下：

第一步，从行驶图像上，获取第一目标图像区域。

其中，第一目标图像区域为行驶图像中任一完整的图像区域。

第二步，从修复图像上，获取第二目标图像区域。

其中，第二目标图像区域为修复图像上与第一目标图像区域位置相同的图像区域。

第三步，基于第一目标图像区域和第二目标图像区域，确定修复图像是否符合修复条件。

具体地，电子设备计算第一目标图像区域和第二目标图像区域上每一位置上像素点之间的欧氏距离，进而基于第一目标图像区域和第二目标图像区域上各个位置上像素点之间的欧式距离，计算均方根误差，当均方根误差小于预设阈值，确定修复图像符合预设条件。

在本申请的另一个实施例中，电子设备还可基于对融合图像的识别结果和均方根误差，判断修复图像是否符合修复条件。例如，行驶图像包含某一道路要素，当均方根误差小于预设阈值，基于融合图像的识别结果表明融合图像不包含某一道路要素，则确定修复图像不符合修复条件。

在本申请的另一个实施例中，当修复图像不符合修复条件，电子设备基于均方根误差，调整已训练的生成器的模型参数，直至满足训练截止条件。电子设备获取满足训练截止条件时得到的修复图像，进而将满足训练截止条件时得到的修复图像作为最终的修复结果。

图8示出了本申请实施例提供的图像修复过程的示意图，参见图8，将随机噪声输入到生成器D中，生成器生成D个候选图像，分别为X*_1、X*_2、…、X*_d，将X*_1、X*_2、…、X*_d输入到图像处理层，输出融合图像X*，将融合图像X*输入到判别器G中，得到融合图像对应的概率列表，该概率列表包括y_1、y_2、…、y_s。

本申请实施例提供的方法，所调用的图像修复模型能够对行驶图像中的多个道路要素进行修复，当调用该图像修复模型对行驶图像进行修复，能够精准复现车辆行驶过程中所行驶道路的道路要素，修复后的图像更清晰。

另外，在基于该修复图像进行图像处理（如语义分割）时，由于对图像中的道路要素进行了修复，使得降低了语义分割难度，避免分割失败或分割不完整的情况发生，提高了分割精度及完整性，进一步提升了基于分割结果所构建的高精地图的显示效果。

请参考图9，其示出了本申请实施例提供了一种图像修复装置的结构示意图，该图像修复装置中安装有已训练的图像修复模型，该装置可以通过软件、硬件或者二者结合实现，成为电子设备的全部或一部分，该装置包括：

第一获取模块901，用于获取待修复的行驶图像；

第一调用模块902，用于调用图像修复模型，对行驶图像中的道路要素进行修复，得到修复图像；

其中，该图像修复模型用于对行驶图像中S个道路要素进行修复，该图像修复模型是基于标注有S个道路要素标签的样本行驶图像训练得到的，S大于等于2。

在另一种可能的实现方式中，图像修复模型包括已训练的生成器和已训练的判别器，第一调用模块902，用于调用D次已训练的生成器，对行驶图像进行处理，得到D个候选图像，其中，D大于等于2；将D个候选图像进行融合，得到融合图像；调用已训练的判别器，对融合图像进行识别，得到融合图像为真图像的概率值；当融合图像为真图像的概率值在预设概率值区间，将融合图像作为修复图像。

在另一种可能的实现方式中，该装置还包括：

判断模块，用于判断修复图像是否符合修复条件；

输出模块，用于当修复图像符合修复条件，输出修复图像。

在另一种可能的实现方式中，判断模块，用于从行驶图像上，获取第一目标图像区域，该第一目标图像区域为行驶图像中任一完整的图像区域；从修复图像上，获取第二目标图像区域，该第二目标图像区域为修复图像上与第一目标图像区域位置相同的图像区域；基于第一目标图像区域和第二目标图像区域，判断修复图像是否符合修复条件。

在另一种可能的实现方式中，判断模块，用于计算第一目标图像区域和第二目标图像区域上每一位置上像素点之间的欧氏距离；基于第一目标图像区域和第二目标图像区域上各个位置上像素点之间的欧式距离，计算均方根误差；当均方根误差小于预设阈值，确定修复图像符合预设条件。

在另一种可能的实现方式中，该装置还包括：

第一调整模块，用于当修复图像不符合修复条件，调整已训练的生成器的模型参数，直至满足训练截止条件；

确定模块，用于将满足训练截止条件时得到的修复图像作为最终的修复结果。

在另一种可能的实现方式中，用于训练图像修复模型的装置包括：

第二获取模块，用于获取待训练的图像修复模型，该待训练的图像修复模型包括生成器和判别器；

第三获取模块，用于获取M个第一样本行驶图像，第一样本行驶图像标注有S个道路要素标签，其中，M大于等于2；

第二调用模块，用于调用生成器，对M个第一样本行驶图像进行处理，得到M个第一合成行驶图像，M个第一样本行驶图像和对应的第一合成行驶图像组成M个第一图像对；

第三调用模块，用于调用判别器，对每个第一图像对中的第一样本行驶图像及第一合成行驶图像进行识别，得到第一识别结果和第二识别结果，第一识别结果包括第一样本行驶图像包含S个道路要素的概率值及第一样本行驶图像为真图像的概率值，第二识别结果包括第一合成行驶图像包含S个道路要素的概率值及第一合成行驶图像为真图像的概率值；

第二调整模块，用于基于M个第一图像对对应的第一识别结果和第二识别结果，对生成器和判别器的模型参数进行调整，得到图像修复模型。

在另一种可能的实现方式中，第二调整模块，用于获取生成器对应的第一损失函数以及判别器对应的第二损失函数；基于M个第一图像对对应的第一识别结果和第二识别结果以及第一损失函数和第二损失函数，对生成器和判别器的模型参数进行调整，得到已训练的生成器和已训练的判别器；

其中，第一损失函数和第二损失函数用于表示S个道路要素的概率值和图像的真伪概率值之间的关系，第一损失函数为判别器在结合S个道路要素的概率值的情况下，使得判别器识别第一合成行驶图像为真图像的函数，第二损失函数为判别器在结合S个道路要素的概率值的情况下，使得判别器识别第一样本行驶图像为真图像、识别第一合成行驶图像为假图像的函数。

在另一种可能的实现方式中，第二调整模块，用于固定判别器的模型参数，将M个第一图像对对应的第一识别结果和第二识别结果输入到第一损失函数中，得到M个第一损失函数值；基于M个第一损失函数值，对生成器的模型参数进行调整，得到已训练的生成器；基于已训练的生成器、M个第一样本行驶图像及第二损失函数，对判别器的模型参数进行调整，得到已训练的判别器。

在另一种可能的实现方式中，第二调整模块，用于调用已训练的生成器，对M个第一样本行驶图像进行处理，得到M个第二合成行驶图像，M个第一样本行驶图像和对应的第二合成行驶图像组成M个第二图像对；调用判别器，对每个第二图像对中的第一样本行驶图像及第二合成行驶图像进行识别，得到第一识别结果和第三识别结果；将M个第二图像对对应的第一识别结果和第三识别结果输入到第二损失函数中，得到M个第二损失函数值；基于M个第二损失函数值，对判别器的模型参数进行调整，得到已训练的判别器。

在另一种可能的实现方式中，第二调整模块，用于训练图像修复模型的装置还包括：

第四获取模块，用于获取N个第二样本行驶图像，其中，N大于等于2；

第四调用模块，用于调用生成器，对 N个第二样本行驶图像进行处理，得到N个第三合成行驶图像，N个第二样本行驶图像和对应的第三合成行驶图像组成N个第三图像对；

第五调用模块，用于调用判别器，对每个第三图像对中的第二样本行驶图像及第三合成行驶图像进行识别，得到第四识别结果和第五识别结果；

第三调整模块，用于基于M个第一图像对对应的第一识别结果和第二识别结果、以及N个第三图像对对应的第四识别结果和第五识别结果，对生成器和判别器的模型参数进行调整，得到已训练的图像修复模型。

本申请实施例提供的装置，所调用的图像修复模型能够对行驶图像中的多个道路要素进行修复，当调用该图像修复模型对行驶图像进行修复，能够精准复现车辆行驶过程中所行驶道路的道路要素，修复后的图像更清晰。

另外，在基于该修复图像进行图像处理（如语义分割）时，由于对图像中的道路要素进行了修复，使得降低了语义分割难度，避免分割失败或分割不完整的情况发生，提高了分割精度及完整性，进一步提升了基于分割结果所构建的高精地图的显示效果。

图10示出了本申请一个示例性实施例提供的一种电子设备1000的结构框图。通常，电子设备1000包括有：处理器1001和存储器1002。

处理器1001可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（Field－Programmable Gate Array，现场可编程门阵列）、PLA（Programmable LogicArray，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（CentralProcessing Unit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是CD-ROM（Compact Disc Read-Only Memory ，只读光盘）、ROM 、RAM（Random AccessMemory，随机存取存储器）、磁带、软盘和光数据存储设备等。该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序被执行时能够实现图像修复方法。

当然，上述电子设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。输入/输出接口为处理器和外围接口模块之间提供接口，上述外围接口模块可以是输出设备、输入设备等。通信组件被配置为便于电子设备和其他设备之间有线或无线方式的通信等。

本领域技术人员可以理解，图10中示出的结构并不构成对电子设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序被处理器执行时能够实现上述图像修复方法。

本申请中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM（Operation Administration andMaintenance，操作管理维护）或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘；还可以是半导体介质，例如，固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质，或可包括易失性和非易失性两种类型的存储介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种图像修复方法，其特征在于，所述方法包括：

获取待修复的行驶图像；

调用图像修复模型，对所述行驶图像中的道路要素进行修复，得到修复图像；

其中，所述图像修复模型用于对图像中S个道路要素进行修复，所述图像修复模型是基于标注有S个道路要素标签的样本行驶图像训练得到的，S大于等于2。

2.根据权利要求1所述的方法，其特征在于，所述图像修复模型包括已训练的生成器和已训练的判别器，所述调用图像修复模型，对所述行驶图像中的道路要素进行修复，包括：

调用D次所述已训练的生成器，对所述行驶图像进行处理，得到D个候选图像，其中，D大于等于2；

将D个所述候选图像进行融合，得到融合图像；

调用所述已训练的判别器，对所述融合图像进行识别，得到所述融合图像为真图像的概率值；

当所述融合图像为真图像的概率值在预设概率值区间，将所述融合图像作为所述修复图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

判断所述修复图像是否符合修复条件；

当所述修复图像符合所述修复条件，输出所述修复图像。

4.根据权利要求3所述的方法，其特征在于，所述判断所述修复图像是否符合修复条件，包括：

从所述行驶图像上，获取第一目标图像区域，所述第一目标图像区域为所述行驶图像中任一完整的图像区域；

从所述修复图像上，获取第二目标图像区域，所述第二目标图像区域为所述修复图像上与所述第一目标图像区域位置相同的图像区域；

基于所述第一目标图像区域和所述第二目标图像区域，判断所述修复图像是否符合所述修复条件。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一目标图像区域和所述第二目标图像区域，判断所述修复图像是否符合所述修复条件，包括：

计算所述第一目标图像区域和所述第二目标图像区域上每一位置上像素点之间的欧氏距离；

基于所述第一目标图像区域和所述第二目标图像区域上各个位置上像素点之间的欧式距离，计算均方根误差；

当所述均方根误差小于预设阈值，确定所述修复图像符合预设条件。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述修复图像不符合所述修复条件，调整所述已训练的生成器的模型参数，直至满足训练截止条件；

将满足所述训练截止条件时得到的修复图像作为最终的修复结果。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述图像修复模型的训练过程包括：

获取待训练的图像修复模型，所述待训练的图像修复模型包括生成器和判别器；

获取M个第一样本行驶图像，所述第一样本行驶图像标注有S个道路要素标签，其中，M大于等于2；

调用所述生成器，对M个所述第一样本行驶图像进行处理，得到M个第一合成行驶图像，M个所述第一样本行驶图像和对应的第一合成行驶图像组成M个第一图像对；

调用所述判别器，对每个所述第一图像对中的第一样本行驶图像及第一合成行驶图像进行识别，得到第一识别结果和第二识别结果，所述第一识别结果包括第一样本行驶图像包含S个道路要素的概率值及所述第一样本行驶图像为真图像的概率值，所述第二识别结果包括第一合成行驶图像包含S个道路要素的概率值及所述第一合成行驶图像为真图像的概率值；

基于M个所述第一图像对对应的第一识别结果和第二识别结果，对所述生成器和所述判别器的模型参数进行调整，得到所述图像修复模型。

8.根据权利要求7所述的方法，其特征在于，所述基于M个所述第一图像对对应的第一识别结果和第二识别结果，对所述生成器和所述判别器的模型参数进行调整，得到所述图像修复模型，包括：

获取所述生成器对应的第一损失函数以及所述判别器对应的第二损失函数；

基于M个所述第一图像对对应的第一识别结果和第二识别结果以及所述第一损失函数和所述第二损失函数，对所述生成器和所述判别器的模型参数进行调整，得到已训练的生成器和已训练的判别器；

其中，所述第一损失函数和所述第二损失函数用于表示S个道路要素的概率值和图像的真伪概率值之间的关系，所述第一损失函数为所述判别器在结合S个道路要素的概率值的情况下，使得所述判别器识别所述第一合成行驶图像为真图像的函数，所述第二损失函数为所述判别器在结合S个道路要素的概率值的情况下，使得所述判别器识别所述第一样本行驶图像为真图像、识别所述第一合成行驶图像为假图像的函数。

9.根据权利要求8所述的方法，其特征在于，所述基于M个所述第一图像对对应的第一识别结果和第二识别结果以及所述第一损失函数和所述第二损失函数，对所述生成器和所述判别器的模型参数进行调整，得到已训练的生成器和已训练的判别器，包括：

固定所述判别器的模型参数，将M个所述第一图像对对应的第一识别结果和第二识别结果输入到所述第一损失函数中，得到M个第一损失函数值；

基于M个所述第一损失函数值，对所述生成器的模型参数进行调整，得到已训练的生成器；

基于所述已训练的生成器、M个所述第一样本行驶图像及所述第二损失函数，对所述判别器的模型参数进行调整，得到已训练的判别器。

10.根据权利要求9所述的方法，其特征在于，所述基于所述已训练的生成器、M个所述第一样本行驶图像及所述第二损失函数，对所述判别器的模型参数进行调整，得到已训练的判别器，包括：

调用所述已训练的生成器，对M个所述第一样本行驶图像进行处理，得到M个第二合成行驶图像，M个所述第一样本行驶图像和对应的第二合成行驶图像组成M个第二图像对；

调用所述判别器，对每个所述第二图像对中的第一样本行驶图像及第二合成行驶图像进行识别，得到第一识别结果和第三识别结果；

将M个所述第二图像对对应的第一识别结果和第三识别结果输入到所述第二损失函数中，得到M个第二损失函数值；

基于M个所述第二损失函数值，对所述判别器的模型参数进行调整，得到已训练的判别器。

11.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取N个第二样本行驶图像，其中，N大于等于2；

调用所述生成器，对 N个所述第二样本行驶图像进行处理，得到N个第三合成行驶图像，N个所述第二样本行驶图像和对应的第三合成行驶图像组成N个第三图像对；

调用所述判别器，对每个所述第三图像对中的第二样本行驶图像及第三合成行驶图像进行识别，得到第四识别结果和第五识别结果；

基于M个所述第一图像对对应的第一识别结果和第二识别结果、以及N个所述第三图像对对应的第四识别结果和第五识别结果，对所述生成器和所述判别器的模型参数进行调整，得到已训练的图像修复模型。

12.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如权利要求1至11中任一项所述的图像修复方法。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时能够实现如权利要求1至11中任一项所述的图像修复方法。

Images