CN109190648B - 模拟环境生成方法、装置、移动终端及计算机可读取存储介质 - Google Patents

Abstract

本申请公开了一种模拟环境生成方法、装置、移动终端及计算机可读取存储介质，该方法包括：在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集；通过所述目标图像和所述训练集对生成对抗网络进行训练；基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。本方法可以降低标注驾驶样本数据的难度，提高生成驾驶环境的准确度，帮助训练自动驾驶。

Description

模拟环境生成方法、装置、移动终端及计算机可读取存储介质

技术领域

本申请涉及移动终端技术领域，更具体地，涉及一种模拟环境生成方法、装置、移动终端及计算机可读取存储介质。

背景技术

随着科技发展，自动驾驶技术可以将人类驾驶员从枯燥无味的驾驶中解脱出来，特别是可以有效降低由于疲劳驾驶导致的高事故率。但是，目前自动驾驶技术面临着收集驾驶样本数据和标注样本数据的困难。

发明内容

鉴于上述问题，本申请提出了一种模拟环境生成方法、装置、移动终端及计算机可读取存储介质，以解决上述问题。

第一方面，本申请实施例提供了一种模拟环境生成方法，该方法包括：在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集；通过所述目标图像和所述训练集对生成对抗网络进行训练；基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。

第二方面，本申请实施例提供了一种模拟环境生成装置，所述装置包括：获取模块，用于在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集；训练模块，用于通过所述目标图像和所述训练集对生成对抗网络进行训练；生成模块，用于基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。

第三方面，本申请实施例提供了一种移动终端，其包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行上述第一方面所述的方法。

第四方面，本申请实施例提供了一种具有处理器可执行的程序代码的计算机可读取存储介质，所述程序代码使所述处理器执行上述第一方面所述的方法。

本申请实施例提供的模拟环境生成方法、装置、移动终端及计算机可读取存储介质，通过在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集，再利用所述目标图像和所述训练集对生成对抗网络进行训练，最终基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。相对于现有技术，本申请利用交通摄像头的分布广泛和固定性，可以容易的采集到同一环境下的未包含车辆和包含车辆的图片，并将其分别作为训练集和目标图片，去训练得到可以自动生成不同车况模拟环境的生成对抗网络模型，大大降低了标注驾驶样本数据的难度，提高了生成自动驾驶模拟环境的准确度，为训练自动驾驶提供帮助。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请第一实施例提供的模拟环境生成方法的流程示意图；

图2示出了本申请第二实施例提供的模拟环境生成方法的流程示意图；

图3示出了本申请第三实施例提供的模拟环境生成装置的模块框图；

图4示出了本申请第四实施例提供的模拟环境生成装置的模块框图；

图5示出了本申请实施例提供的一种移动终端的结构框图；

图6示出了用于执行根据本申请实施例的模拟环境生成方法的移动终端的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着机器学习和深度学习的不断发展，采用机器学习模型对图像场景进行识别的方法已经广泛应用到各个领域中。

基于机器学习的自动驾驶技术，可以将人类驾驶员从枯燥无味的驾驶中解脱出来，特别是可以有效降低由于疲劳驾驶导致的高事故率。

现有的自动驾驶技术，通常需要先收集驾驶样本数据，再对驾驶样本数据进行标注，最后将标注后的驾驶样本数据输入自动驾驶模型进行训练，目的是让自动驾驶模型能够正确分辨车况不同的驾驶环境。

然而，发明人在对现有的自动驾驶技术进行研究后发现，目前的自动驾驶技术面临着收集驾驶样本数据和标注样本数据的困难。现有的驾驶样本数据的收集，多是由工作人员驾驶车辆上路，并通过搭载在车辆上的摄像头采集到一段时间内的录像，最后从录像中筛选出具有不同车况的图像，作为不同的驾驶样本数据；在采集完成后，还需要工作人员手动对采集到的驾驶样本数据进行标注，最后将标注后的样本作为训练集去训练自动驾驶模型。

在研究的过程中，发明人研究了目前自动驾驶中收集驾驶样本数据和标注样本数据困难的原因，以及研究了如何优化驾驶样本的获取途径来提高样本收集和标注的效率，并提出了本申请实施例中的模拟环境生成方法、装置、移动终端及计算机可读取存储介质。

下面将通过具体实施例对本申请实施例提供的模拟环境生成方法、装置、移动终端以及存储介质进行详细说明。

第一实施例

请参阅图1，图1示出了本申请第一实施例提供的模拟环境生成方法的流程示意图。所述模拟环境生成方法通过在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将包含车辆的图像作为目标图像，将不含车辆的图像作为训练集，对生成对抗网络进行训练，最终基于训练完成的生成对抗网络，生成具有不同车况的模拟环境图像，可以降低收集标注驾驶样本数据的难度，提高生成驾驶环境的准确度，帮助训练自动驾驶。在具体的实施例中，所述模拟环境生成方法可以应用于如图3所示的模拟环境生成装置300以及配置有模拟环境生成装置300的移动终端100(图5)。下面将以自动驾驶为例，针对图1所示的流程进行详细的阐述。上述的模拟环境生成方法具体地可以包括以下步骤：

步骤S101：在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集。

本申请实施例中，所述交通监控图像，可以是通过设置在交通道路上的监控摄像头获取的交通路况图像。可以理解的是，由于交通监控摄像头的分布十分广泛且固定，可以很容易采集到同一环境下的包含车辆的图像以及不含车辆的图像，相对于人工上路拍摄路况采集样本的方式，其获取样本的难度大大降低；由于拍摄环境相对固定，其样本图像中的噪声也相对较小，获取样本的准确性较高。

作为一种方式，所述交通监控图像，可以是从交通摄像头拍摄的照片数据中直接获取的图像，也可以是从交通摄像头拍摄的录像中经过筛选截取获得的图像。

本实施例中，将从交通监控图像中采集到的包含车辆的图像作为目标图像，将不含车辆的图像作为训练集。其中，包含车辆的图像既是本方案需要获得的结果(即用于训练自动驾驶的环境图像，因此又称为目标图像)，又可以作为样本集，与所述训练集(不含车辆的图像)共同对生成对抗网络进行训练。

步骤S102：通过所述目标图像和所述训练集对生成对抗网络进行训练。

本实施例中，由交通监控图像中采集到的目标图像(包含车辆的图像)和训练集(不含车辆的图像)可以输入生成对抗网络，对生成对抗网络进行训练。

生成对抗网络(Generative Adversarial Networks，GAN)，是一种能够根据随机输入的信号，生成原训练样本中不存在的新数据的生成式神经网络模型。本实施例中，所述生成对抗网络可以是DCGAN(Deep Convolutional Generative Adversarial Networks，深度卷积生成对抗网络)、WGAN(Wasserstein Generative Adversarial Networks)或其他常用的GAN模型。

本实施例中，通过将目标图像和训练集对生成对抗网络进行训练，可以获得一个能够自动生成不同的车辆路况模拟环境的生成对抗网络模型。

步骤S103：基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。

本实施例中，通过向训练完成的所述生成对抗网络输入一个随机的噪声，即可获得一个能够反映该随机噪声信号特征(频率、功率等)分布的全新的模拟环境图像(即原来参与训练的目标图像和训练集中没有的图像)。

本实施例中，每输入一个随机的噪声，即可通过生成对抗网络生成一种车况的模拟环境图像；若输入一系列的随机噪声，即可通过生成对抗网络生成一系列不同车况的模拟环境图像。可以理解的是，由于输入的每个随机噪声的信号特征都是不同的，生成对抗网络响应随机噪声输出的模拟环境图像也是不同的，因此每次输出的模拟环境图像都是全新的，是原本参与训练的目标图像和训练集中没有的。

作为一种方式，生成对抗网络生成的不同车况的模拟环境图像中，可以包含车辆的数量、位置、外形等特征不同的路况。

本申请第一实施例提供的模拟环境生成方法，可通过训练好的生成对抗网络，生成大量能够反映真实路面情况的不同车况的模拟环境图像；通过生成的不同车况的模拟环境图像，可以为训练自动驾驶模型提供大量准确且不同的样本，大大降低了采集、标注样本的难度，提高了生成自动驾驶模拟环境的准确度。另一方面，利用交通摄像头的分布广泛和固定性，可以容易的采集到同一环境下的未包含车辆和包含车辆的图片，节省了采集样本所需的时间和资源，相应提升了自动驾驶训练的效率。

第二实施例

请参阅图2，图2示出了本申请第二实施例提供的模拟环境生成方法的流程示意图。下面将以自动驾驶为例，针对图2所示的流程进行详细的阐述。上述的模拟环境生成方法具体地可以包括以下步骤：

步骤S201：在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集。

步骤S202：分别对所述目标图像和所述训练集设定标签。

本实施例中，生成对抗网络包括生成网络(Generator)和判别网络(Discriminator)。在获取目标图像和训练集之后，可以通过所述目标图像和所述训练集对生成对抗网络中的判别网络进行训练。

作为一种方式，为了让目标图像和训练集中包含的图像能够被生成对抗网络中的判别网络正确识别分类，可以先为所述目标图像和所述训练集中的图像设定标签，例如，可以将所述目标图像中包含车辆的图片设定标签为“真”，将所述训练集中不含车辆的图片设定标签为“假”。在对所述目标图像和所述训练集中的图像设定标签完成后，可以将目标图像和训练集输入生成对抗网络中的判别网络进行训练。

步骤S203：将所述目标图像和所述训练集输入所述判别网络，直至所述判别网络分辨出包含车辆的图像以及不含车辆的图像。

本实施例中，所述判别网络可以是一个具有判别功能(Discriminative Model)的深度卷积神经网络。通过上一步骤设定的标签，可以“告知”判别网络，输入的目标图像为“真”(包含车辆的图像)，训练集为“假”(不含车辆的图像)，即能够使判别网络分辨出包含车辆的图像以及不含车辆的图像。

可以理解的是，当所述判别网络能够正确分辨出当前输入的图像(没有设定标签)是包含车辆的图像还是不含车辆的图像时，该判别网络即可用于对生成网络输出的生成图像进行评价。其中，“正确分辨”指的是能够无误的将目标图像和训练集中包含车辆的图像和不含车辆的图像识别区分出来，即当输入一个目标图像集中的图像时，判别网络必定输出一个表示“输入图像包含车辆”的信号，当输入一个训练集中的图像时，判别网络必定输出一个表示“输入图像不含车辆”的信号。

步骤S204：向所述生成网络输入高斯噪声。

本实施例中，本实施例中，所述生成网络可以是一个具有生成功能(GenerativeModel)的深度卷积神经网络。所述高斯噪声(Gauss Noise)是随机噪声的一种，高斯噪声是指概率密度函数服从高斯分布(即正态分布)的一类噪声。通过向生成对抗网络中的生成网络输入一个随机的高斯噪声，即可获得一个能够反映该高斯噪声概率密度函数分布的全新的模拟环境图像。

步骤S205：获取所述生成网络响应所述高斯噪声输出的包含有车辆的生成图像。

本实施例中，每输入一个高斯噪声，即可通过生成网络生成一种车况的模拟环境图像(包含有车辆的生成图像)；若输入一系列的高斯噪声，即可通过生成网络生成一系列不同的包含有车辆的生成图像。可以理解的是，由于输入的每个高斯噪声的信号特征(概率密度函数)都是不同的，生成网络响应不同高斯噪声输出的生成图像也是不同的，因此每次输出的生成图像都是全新的，是原本参与训练的目标图像和训练集中没有的。

步骤S206：将所述生成图像和所述目标图像的集合输入所述判别网络。

本实施例中，生成网络的“目标”是能够使每一个生成图像都能被判别网络判定为“真”(即包含车辆的图像)，即合格的(具有实用性的)生成网络能够“以假乱真”；而相对的，判别网络的“目标”则是能够在生成图像和目标图像的混合集合中，精确筛选出由生成网络输出的生成图像，并给每一个生成图像都打上“假”(即不含车辆的图像)的标签。

步骤S207：获取所述判别网络对所述集合中的每个图像的分类结果，所述分类结果为包含车辆的图像或不含车辆的图像。

本实施例中，所述分类结果，即为判别网络对生成图像和目标图像的混合集合中的每一个图像打上标签后的结果。作为一种方式，混合集合中的每个图像只有唯一一种结果，即为“真”(包含车辆的图像)或“假”(不含车辆的图像)。

步骤S208：基于所述分类结果，获取所述判别网络的损失函数。

本实施例中，作为一种方式，所述判别网络的损失函数可以是交叉熵损失函数(Cross Entropy Loss Function)，该损失函数能够表征所述判别网络输出的分类结果和实际结果的误差。

步骤S209：将所述损失函数回传至所述生成网络，对所述生成网络进行训练。

本实施例中，通过将判别网络的损失函数反馈给生成网络，可以告知生成网络“如何生成更为真实的包含车辆的图像”，即对生成网络进行训练，并使生成网络输出的生成图像更为真实(趋近于真实的包含车辆的图像)。

本实施例中，步骤S204到步骤S209是生成对抗网络进行一次迭代训练的过程，每进行一次步骤S204到步骤S209，判别网络的对于目标图片和生成图片的识别精确度都将获得提升，而生成网络输出的生成图片也更加趋近真实。在所述生成对抗网络的迭代训练次数达到预设次数时，可以执行步骤S210。

步骤S210：判断所述生成网络的真实率是否大于预设值。

本实施例中，所述真实率为由所述生成网络输出的生成图像被所述判别网络判定为包含车辆的图像的概率，该真实率可以由判别网络的最后一层输出。其中，所述预设值可以是满足要求的概率，当所述真实率大于所述预设值时，即表示生成网络输出的生成图像足以“以假乱真”，即能够满足后续训练自动驾驶模型的要求。

若所述生成网络的真实率超过预设值，执行步骤S211；若所述生成网络的真实率未超过预设值，则说明当前该生成网络还不能生成满足精度要求的生成图像，即还未能达到“以假乱真”，此时返回执行步骤S204继续进行迭代训练。

步骤S211：通过所述生成网络生成具有不同车况的模拟环境图像。

本实施例中，满足精度要求的生成网络生成的不同车况的模拟环境图像，可以用于后续对自动驾驶模型的训练。

作为一种方式，在本实施例中，所述生成网络中每层的具体含义可以为：第1层InputLR用于输入随机噪声；第2层和第3层表示一个卷积层和ReLU(Rectified linearunit，修正线性单元，为深度学习激活函数的一种)激活函数层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第4层到第9层是一个残差网络功能块，使用了两组卷积层紧跟批量规范化层，以ReLU作为激活函数，最后是元素级相加层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；第10到第33层是4个残差网络功能块，每个残差网络功能块同上；第34到第37层是两组反卷积单元，用于图像上采样。反卷积层操作的步长为0.5，卷积核大小为3*3，卷积核数量为64；第38层是一个卷积层，卷积操作步长为1，卷积核大小为3*3，卷积核数量为3，目的是生成3通道的RGB数据。该生成网络的最后一层用于输出包含车辆的图像。

作为一种方式，在本实施例中，所述判别网络中每层的具体含义可以为：InputHR/SR表示第1层为输入层，用于输入的物体样本和参考样本；第2层和第3层表示一个卷积层和一个激活函数层；其中卷积层步长为1，卷积核大小为3*3，卷积核数量为64；第4层到第6层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为2，卷积核大小为3*3，卷积核数量为64；第7层到第9层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为1，卷积核大小为3*3，卷积核数量为128；第10层到第12层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为2，卷积核大小为3*3，卷积核数量为128；第13层到第18层类似于第7到第12层，唯一区别是卷积核数量为256；第19层到第24层类似于第7到第12层，唯一区别是卷积核数量为512；第25层和第26层是一个全连接层和一个ReLU激活函数层；第27层和第28层是一个全连接层和一个Sigmoid(利用sigmoid函数作为激活函数，为深度学习激活函数的一种)激活函数层，其中全连接层节点个数为1；该判别网络的最后一层输出一个概率值，表示输入图像为真实图像的概率(即真实率)。

相对于本申请第一实施例，本申请第二实施例提供的模拟环境生成方法，通过对生成对抗网络进行多次迭代，直至获取满足要求的生成网络，可以不断优化生成网络生成的模拟环境图像精度，且在获取满足要求的生成网络后，即可不再需要其他手段采集真实路面环境，只需通过生成网络自动生成不同车况的模拟环境图像，大大提升了样本数据的采集和标注效率，节省了人力和时间，使方案更加智能化。

第三实施例

请参阅图3，图3示出了本申请第三实施例提供的模拟环境生成装置300的模块框图。下面将针对图3所示的模块框图进行阐述，所述模拟环境生成装置300包括：获取模块310、训练模块320以及生成模块330，其中：

获取模块310，用于在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集。

训练模块320，用于通过所述目标图像和所述训练集对生成对抗网络进行训练。

生成模块330，用于基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。

本申请第三实施例提供的模拟环境生成装置，利用交通摄像头的分布广泛和固定性，可以容易的采集到同一环境下的未包含车辆和包含车辆的图片，并将其分别作为训练集和目标图片，去训练得到可以自动生成不同车况模拟环境的生成对抗网络模型，大大降低了标注驾驶样本数据的难度，提高了生成自动驾驶模拟环境的准确度，为训练自动驾驶提供帮助。

第四实施例

请参阅图4，图4示出了本申请第四实施例提供的模拟环境生成装置400的模块框图。下面将针对图4所示的模块框图进行阐述，所述模拟环境生成装置400包括：获取模块410、训练模块420以及生成模块430，其中：

获取模块410，用于在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集。

训练模块420，用于通过所述目标图像和所述训练集对生成对抗网络进行训练。进一步的，所述训练模块420包括：第一训练单元421、生成单元422、判别单元423以及第二训练单元424，其中：

第一训练单元421，用于通过所述目标图像和所述训练集对所述生成对抗网络中的判别网络进行训练。进一步的，所述第一训练单元421包括：标记子单元以及分辨子单元，其中：

标记子单元，用于分别对所述目标图像和所述训练集设定标签。

分辨子单元，用于将所述目标图像和所述训练集输入所述判别网络，直至所述判别网络分辨出包含车辆的图像以及不含车辆的图像。

生成单元422，用于向所述生成对抗网络中的生成网络输入预设信号，获取由所述生成网络输出的生成图像。进一步的，所述生成单元422包括：噪声输入子单元以及生成子单元，其中：

噪声输入子单元，用于向所述生成网络输入高斯噪声。

生成子单元，用于获取所述生成网络响应所述高斯噪声输出的包含有车辆的生成图像。

判别单元423，用于将所述生成图像和所述目标图像输入所述判别网络，获取由所述判别网络输出的分类结果。进一步的，所述判别单元423包括：集合子单元以及分类子单元，其中：

集合子单元，用于将所述生成图像和所述目标图像的集合输入所述判别网络。

分类子单元，用于获取所述判别网络对所述集合中的每个图像的分类结果，所述分类结果为包含车辆的图像或不含车辆的图像。

第二训练单元424，用于基于所述分类结果，训练所述生成网络。进一步的，所述第二训练单元424包括：损失子单元以及反馈子单元，其中：

损失子单元，用于基于所述分类结果，获取所述判别网络的损失函数。

反馈子单元，用于将所述损失函数回传至所述生成网络，对所述生成网络进行训练。

生成模块430，用于基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。进一步的，所述生成模块430包括：判断单元431以及模拟单元432，其中：

判断单元431，用于在所述生成对抗网络的迭代训练次数达到预设次数时，判断所述生成网络的真实率是否大于预设值，所述真实率为由所述生成网络输出的生成图像被所述判别网络判定为包含车辆的图像的概率；

模拟单元432，用于在所述生成网络的真实率超过预设值时，通过所述生成网络生成具有不同车况的模拟环境图像。

相对于本申请第三实施例，本申请第四实施例提供的模拟环境生成装置，通过对生成对抗网络进行多次迭代，直至获取满足要求的生成网络，可以不断优化生成网络生成的模拟环境图像精度，且在获取满足要求的生成网络后，即可不再需要其他手段采集真实路面环境，只需通过生成网络自动生成不同车况的模拟环境图像，大大提升了样本数据的采集和标注效率，节省了人力和时间，使方案更加智能化。

第五实施例

本申请第五实施例提供了一种移动终端，其包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时执行：

在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集；

通过所述目标图像和所述训练集对生成对抗网络进行训练；

基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。

第六实施例

本申请第六实施例提供了一种具有处理器可执行的程序代码的计算机可读取存储介质，所述程序代码使所述处理器执行：

在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集；

通过所述目标图像和所述训练集对生成对抗网络进行训练；

基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。

综上所述，本申请提供的模拟环境生成方法、装置、移动终端及计算机可读取存储介质，通过在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集，再利用所述目标图像和所述训练集对生成对抗网络进行训练，最终基于训练完成的所述生成对抗网络，生成具有不同车况的模拟环境图像。相对于现有技术，本申请利用交通摄像头的分布广泛和固定性，可以容易的采集到同一环境下的未包含车辆和包含车辆的图片，并将其分别作为训练集和目标图片，去训练得到可以自动生成不同车况模拟环境的生成对抗网络模型，大大降低了标注驾驶样本数据的难度，提高了生成自动驾驶模拟环境的准确度，为训练自动驾驶提供帮助。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。对于方法实施例中的所描述的任意的处理方式，在装置实施例中均可以通过相应的处理模块实现，装置实施例中不再一一赘述。

请参阅图5，基于上述的模拟环境生成方法、装置，本申请实施例还提供一种移动终端100，其内置有本申请实施例提供的模拟环境生成装置，能够与自动驾驶的训练服务器进行连接，并向自动驾驶的训练服务器输出生成图像。所述移动终端100包括电子本体部10，所述电子本体部10包括壳体12及设置在所述壳体12上的主显示屏120。所述壳体12可采用金属、如钢材、铝合金制成。本实施例中，所述主显示屏120通常包括显示面板111，也可包括用于响应对所述显示面板111进行触控操作的电路等。所述显示面板111可以为一个液晶显示面板(Liquid Crystal Display，LCD)，在一些实施例中，所述显示面板111同时为一个触摸屏109。

请同时参阅图6，在实际的应用场景中，所述移动终端100可作为智能手机终端进行使用，在这种情况下所述电子本体部10通常还包括一个或多个(图中仅示出一个)处理器102、存储器104、RF(Radio Frequency，射频)模块106、音频电路110、传感器114、输入模块118、电源模块122。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对所述电子本体部10的结构造成限定。例如，所述电子本体部10还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。

本领域普通技术人员可以理解，相对于所述处理器102来说，所有其他的组件均属于外设，所述处理器102与这些外设之间通过多个外设接口124相耦合。所述外设接口124可基于以下标准实现：通用异步接收/发送装置(Universal Asynchronous Receiver/Transmitter，UART)、通用输入/输出(General Purpose Input Output，GPIO)、串行外设接口(Serial Peripheral Interface，SPI)、内部集成电路(Inter-Integrated Circuit，I2C)，但不并限于上述标准。在一些实例中，所述外设接口124可仅包括总线；在另一些实例中，所述外设接口124还可包括其他元件，如一个或者多个控制器，例如用于连接所述显示面板111的显示控制器或者用于连接存储器的存储控制器。此外，这些控制器还可以从所述外设接口124中脱离出来，而集成于所述处理器102内或者相应的外设内。

所述存储器104可用于存储软件程序以及模块，所述处理器102通过运行存储在所述存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理。所述存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，所述存储器104可进一步包括相对于所述处理器102远程设置的存储器，这些远程存储器可以通过网络连接至所述电子本体部10或所述主显示屏120。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述RF模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。所述RF模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述RF模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication，GSM)、增强型移动通信技术(Enhanced Data GSM Environment，EDGE)，宽带码分多址技术(wideband codedivisionmultiple access，W-CDMA)，码分多址技术(Code division access，CDMA)、时分多址技术(time division multiple access，TDMA)，无线保真技术(Wireless，Fidelity，WiFi)(如美国电气和电子工程师协会标准IEEE 802.10A，IEEE 802.11b，IEEE802.11g和/或IEEE 802.11n)、网络电话(Voice over internet protocal，VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。

音频电路110、听筒101、声音插孔103、麦克风105共同提供用户与所述电子本体部10或所述主显示屏120之间的音频接口。具体地，所述音频电路110从所述处理器102处接收声音数据，将声音数据转换为电信号，将电信号传输至所述听筒101。所述听筒101将电信号转换为人耳能听到的声波。所述音频电路110还从所述麦克风105处接收电信号，将电信号转换为声音数据，并将声音数据传输给所述处理器102以进行进一步的处理。音频数据可以从所述存储器104处或者通过所述RF模块106获取。此外，音频数据也可以存储至所述存储器104中或者通过所述RF模块106进行发送。

所述传感器114设置在所述电子本体部10内或所述主显示屏120内，所述传感器114的实例包括但并不限于：光传感器、运行传感器、压力传感器、重力加速度传感器、以及其他传感器。

具体地，所述光传感器可包括光线传感器114F、压力传感器114G。其中，压力传感器114G可以检测由按压在移动终端100产生的压力的传感器。即，压力传感器114G检测由用户和移动终端之间的接触或按压产生的压力，例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此，压力传感器114G可以用来确定在用户与移动终端100之间是否发生了接触或者按压，以及压力的大小。

请再次参阅图5，具体地在图5所示的实施例中，所述光线传感器114F及所述压力传感器114G邻近所述显示面板111设置。所述光线传感器114F可在有物体靠近所述主显示屏120时，例如所述电子本体部10移动到耳边时，所述处理器102关闭显示输出。

作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别所述移动终端100姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外，所述电子本体部10还可配置陀螺仪、气压计、湿度计、温度计等其他传感器，在此不再赘述，

本实施例中，所述输入模块118可包括设置在所述主显示屏120上的所述触摸屏109，所述触摸屏109可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触摸屏109上或在所述触摸屏109附近的操作)，并根据预先设定的程序驱动相应的连接装置。可选的，所述触摸屏109可包括触摸检测装置和触摸控制器。其中，所述触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给所述触摸控制器；所述触摸控制器从所述触摸检测装置上接收触摸信息，并将该触摸信息转换成触点坐标，再送给所述处理器102，并能接收所述处理器102发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触摸屏109的触摸检测功能。除了所述触摸屏109，在其它变更实施方式中，所述输入模块118还可以包括其他输入设备，如按键107。所述按键107例如可包括用于输入字符的字符按键，以及用于触发控制功能的控制按键。所述控制按键的实例包括“返回主屏”按键、开机/关机按键等等。

所述主显示屏120用于显示由用户输入的信息、提供给用户的信息以及所述电子本体部10的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，所述触摸屏109可设置于所述显示面板111上从而与所述显示面板111构成一个整体。

所述电源模块122用于向所述处理器102以及其他各组件提供电力供应。具体地，所述电源模块122可包括电源管理系统、一个或多个电源(如电池或者交流电)、充电电路、电源失效检测电路、逆变器、电源状态指示灯以及其他任意与所述电子本体部10或所述主显示屏120内电力的生成、管理及分布相关的组件。

所述移动终端100还包括定位器119，所述定位器119用于确定所述移动终端100所处的实际位置。本实施例中，所述定位器119采用定位服务来实现所述移动终端100的定位，所述定位服务，应当理解为通过特定的定位技术来获取所述移动终端100的位置信息(如经纬度坐标)，在电子地图上标出被定位对象的位置的技术或服务。

应当理解的是，上述的移动终端100并不局限于智能手机终端，其应当指可以在移动中使用的计算机设备。具体而言，移动终端100，是指搭载了智能操作系统的移动计算机设备，移动终端100包括但不限于智能手机、智能手表、平板电脑，等等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(移动终端)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (5)

1.一种模拟环境生成方法，其特征在于，所述方法包括：

在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集；

分别对所述目标图像和所述训练集设定标签；

将所述目标图像和所述训练集输入生成对抗网络中的判别网络，直至所述判别网络分辨出包含车辆的图像以及不含车辆的图像；

向所述生成对抗网络中的生成网络输入高斯噪声；

获取所述生成网络响应所述高斯噪声输出的包含车辆的生成图像；

将所述生成图像和所述目标图像的集合输入所述判别网络；

获取所述判别网络对所述集合中的每个图像的分类结果，所述分类结果为包含车辆的图像或不含车辆的图像；

基于所述分类结果，训练所述生成网络；

在所述生成对抗网络的迭代训练次数达到预设次数时，判断所述生成网络的真实率是否大于预设值，所述真实率为由所述生成网络输出的生成图像被所述判别网络判定为包含车辆的图像的概率；

若所述生成网络的真实率超过预设值，通过所述生成网络生成具有不同车况的模拟环境图像；

根据具有不同车况的模拟环境图像，对自动驾驶模型进行训练。

2.根据权利要求1所述的方法，其特征在于，基于所述分类结果，训练所述生成网络，包括：

基于所述分类结果，获取所述判别网络的损失函数；

将所述损失函数回传至所述生成网络，对所述生成网络进行训练。

3.一种模拟环境生成装置，其特征在于，所述装置包括：

获取模块，用于在交通监控图像中，获取包含车辆的图像以及不含车辆的图像，并将所述包含车辆的图像作为目标图像，将所述不含车辆的图像作为训练集；

训练模块，用于分别对所述目标图像和所述训练集设定标签；将所述目标图像和所述训练集输入生成对抗网络中的判别网络，直至所述判别网络分辨出包含车辆的图像以及不含车辆的图像；向所述生成对抗网络中的生成网络输入高斯噪声；获取所述生成网络响应所述高斯噪声输出的包含有车辆的生成图像；将所述生成图像和所述目标图像的集合输入所述判别网络；获取所述判别网络对所述集合中的每个图像的分类结果，所述分类结果为包含车辆的图像或不含车辆的图像；基于所述分类结果，训练所述生成网络；

生成模块，用于在所述生成对抗网络的迭代训练次数达到预设次数时，判断所述生成网络的真实率是否大于预设值，所述真实率为由所述生成网络输出的生成图像被所述判别网络判定为包含车辆的图像的概率；若所述生成网络的真实率超过预设值，通过所述生成网络生成具有不同车况的模拟环境图像；根据具有不同车况的模拟环境图像，对自动驾驶模型进行训练。

4.一种移动终端，其特征在于，包括显示器、存储器以及处理器，所述显示器和所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时，所述处理器执行如权利要求1或2所述的方法。

5.一种具有处理器可执行的程序代码的计算机可读取存储介质，其特征在于，所述程序代码使所述处理器执行如权利要求1或2所述的方法。

Images