CN112669408A - 多模态实景地图图像生成方法、装置、计算机设备和介质 - Google Patents
多模态实景地图图像生成方法、装置、计算机设备和介质 Download PDFInfo
- Publication number
- CN112669408A CN112669408A CN202011321372.6A CN202011321372A CN112669408A CN 112669408 A CN112669408 A CN 112669408A CN 202011321372 A CN202011321372 A CN 202011321372A CN 112669408 A CN112669408 A CN 112669408A
- Authority
- CN
- China
- Prior art keywords
- initial
- live
- countermeasure network
- modal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 114
- 230000006870 function Effects 0.000 claims description 38
- 238000010606 normalization Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000009711 regulatory function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种多模态实景地图图像生成方法、装置、计算机设备和存储介质。所述方法包括：获取初始地图图像；将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。采用本方法能够提升生成的实景地图图像的多样性。
Description
技术领域
本申请涉及图像生成术领域，特别是涉及一种多模态实景地图图像生成方法、装置、计算机设备和介质。
背景技术
在大数据技术的发展，在应用大数据技术时，会需要大批量数据，以进行后续的数据应用。例如，在实景地图图像识别应用场景中，需要用到大批量的实景地图图像等。
在传统方式中，通常是通过经典条件生成对抗网络(conditional generativeadversarial networks)，基于获取的初始地图图像，构建实景地图图像。
但是，传统的条件生成对抗网络中，存在模式坍塌的问题(mode collapseproblem)，使得输入一个初始地图图像仅能输出一个实景地图图像，输出实景地图图像较为单一，缺乏多样性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升生成的实景地图图像的多样性的多模态实景地图图像生成方法、装置、计算机设备和介质。
一种多模态实景地图图像生成方法，所述方法包括：
获取初始地图图像；
将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
在其中一个实施例中，将初始地图图像输入多模态条件生成对抗网络之前，还包括：
对初始地图图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始地图图像；
将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，包括：
将图像尺寸归一化处理后的初始地图图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的初始地图图像的多个实景地图图像。
在其中一个实施例中，将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，包括：
通过多模态条件生成对抗网络中的编码器对初始地图图像进行特征提取，生成对应初始地图图像的特征图；
通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像。
在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像，包括：
通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应初始地图图像的多个实景地图图像。
在其中一个实施例中，多模态条件生成对抗网络的生成方式包括：
获取训练集图像；
将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测地图图像；
根据各预测地图图像以及训练集图像，生成对应各预测地图图像的各图像集；
将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；
基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：
存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；
得到训练完成的多模态条件生成对抗网络，包括：
确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：
根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；
根据各鉴别结果为真的预测地图图像以及对应的各生成参数，基于预设的调控函数确定各预测地图图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；
根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
一种多模态实景地图图像生成装置，所述装置包括：
初始图像获取模块，用于获取初始地图图像；
多模态实景图像生成模块，用于将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中所述的方法的步骤。
上述多模态实景地图图像生成方法、装置、计算机设备和存储介质，通过获取初始地图图像，并将初始地图图像输入多模态条件生成对抗网络，输出对应所述初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实景地图图像的时候，可以提升生成的实景地图图像的多样性。
附图说明
图1为一个实施例中多模态实景地图图像生成方法的应用场景图；
图2为一个实施例中多模态实景地图图像生成方法的流程示意图；
图3为另一个实施例中多模态实景地图图像生成步骤的流程示意图；
图4为一个实施例中生成多个实景地图图像步骤的流程示意图；
图5为一个实施例中网络迭代训练步骤的流程示意图；
图6为一个实施例中多模态实景地图图像生成装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的多模态实景地图图像生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以采集初始地图图像，并通过网络发送至服务器104。服务器104在接收到初始地图图像后，可以将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像。其中，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种多模态实景地图图像生成方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S202，获取初始地图图像。
其中，初始地图图像是指需要生成多模态图像的图像，参考图3，初始地图图像是指输入的条件图像，可以是二维平面地图图像。
在本实施例中，对于初始地图图像，服务器可以通过终端从多个场景中获取，例如，可以直接从其他地图数据中直接获取，例如，从其他地图APP中直接获取二维平面地图图像等。
步骤S204，将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
其中，实景地图图像是指实景图像，继续参考图3，可以是指卫星云图等地图图像。
在本实施例中，服务器在获取到初始地图图像后，可以将获取的初始地图图像输入预先训练完成的多模态条件生成对抗网络，以通过多模态条件生成对抗网络输出对应不同内容模态的多个实景地图图像。
继续参考图3，服务器通过多模态条件生成对抗网络生成的多个实景地图图像如301和302所示，多个实景地图图像内容模态不同，其色彩、像素差等存在不同。
在本实施例中，多模态条件生成对抗网络可以基于预设的调控函数确定的差异指标训练生成，预设的调控函数可以入公式(1)所示。
其中，G(E(x)，z1)为对应生成参数z1输出的实景地图图像，G(E(x)，z2)为对应生成参数z2输出的实景地图图像。在本实施例中，服务器在对多模态条件生成对抗网络进行训练的时候，使得调控函数确定的差异指标的数值尽可能大，即使得输出实景地图图像G(E(x)，z1)和G(E(x)，z2)差异性尽可能大，以使得通过训练后的多模态条件生成对抗网络可以生成差异性较大的多个实景地图图像。
上述多模态实景地图图像生成方法中，通过获取初始地图图像，并将初始地图图像输入多模态条件生成对抗网络，输出对应所述初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，且多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。由于多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，且预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定，从而在根据多模态条件生成对抗网络生成实景地图图像的时候，可以提升生成的实景地图图像的多样性。
在其中一个实施例中，将初始地图图像输入多模态条件生成对抗网络之前，还可以包括：对初始地图图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始地图图像。
具体地，不同的终端采集到的初始赌徒图像的尺寸可能不一致，从而，服务器获取到的初始地图图像的尺寸不一致。
在本实施例中，服务器在接收到初始地图图像后，可以对初始地图图像进行预处理，例如，进行图像尺寸的归一化处理，将初始地图图像的图像调整至同一尺寸，以使得图像尺寸归一化处理后的初始地图图像符合多模态条件生成对抗网络的输入要求。
具体地，服务器对初始地图图像进行图像尺寸归一化处理可以是先确定初始地图图像的长宽比例是否与预设尺寸的长宽比例一致，若不一致，则通过预设像素图像对初始地图图像进行填充，填充至与预设尺寸的长宽比例一致，并缩放至预设尺寸，得到预设尺寸的初始地图图像，若一致，则将初始地图图像缩放至预设尺寸，得到预设尺寸的初始地图图像。
例如，预设尺寸长*宽为256*256，从终端获取的初始地图图像的尺寸为 255*256，则服务器可以通过预设像素图像，例如0像素，对初始地图图像的长进行填充，填充至256*256，同理，当初始地图图像的尺寸为256*255时，服务器可以通过0像素对初始地图图像的宽进行填充，填充至256*256。
可选地，当服务器获取到的初始地图图像的尺寸为512*510，则可以通过0 像素将初始地图图像填充至512*512，使其与预设尺寸的长宽比例一致，然后缩小至256*256，使其与预设尺寸一致；或者，初始地图图像尺寸为128*123，则可以通过0像素将预设图像填充至128*128，使其与预设尺寸的长宽比例一致，然后放大至256*256，使其与预设尺寸一致。
在其他实施例中，服务器还可以对初始地图图像进行图像亮度调整、图像转正处理等，使得处理后的初始地图图像。
在本实施例中，将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，可以包括：将图像尺寸归一化处理后的初始地图图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的初始地图图像的多个实景地图图像。
具体地，服务器在得到图像尺寸归一化处理后的初始地图图像后，可以将图像尺寸归一化处理后的初始地图图像输入多模态条件生成对抗网络，以通过多模态条件生成对抗网络生成对应尺寸归一化处理后的初始地图图像的多个实景地图图像。
上述实施例中，通过对初始地图图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始地图图像，然后输入至多模态条件生成对抗网络并输出对应的实景地图图像，可以提升多模态条件生成对抗网络生成的实景地图图像的准确性。
在其中一个实施例中，参考图4，服务器将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，可以包括：
步骤S402，通过多模态条件生成对抗网络中的编码器对初始地图图像进行特征提取，生成对应初始地图图像的特征图。
在本实施例中，多模态条件生成对抗网络可以包括编码器以及对应的生成器(或者解码器)，服务器将始图像输入多模态条件生成对抗网络后，可以通过多模态条件生成对抗网络的编码器对初始地图图像进行特征提取，以得到对应初始地图图像的特征图。
在本实施例中，编码器可以包括多层卷积层，各卷积层的尺寸以及通道数量各不相同，例如，可以包括8层卷积层，其中，第一卷积层至第八卷积层尺寸较小，通道数量逐渐增加。具体地，第一卷积层通道数量为64通道，第二卷积层通道数量为128通道，第三卷积层通道数量为512通道，第四卷积层通道数量为512通道，第五卷积层通道数量为512通道，第六卷积层通道数量为512 通道，第七卷积层通道数量为512通道，第八卷积层通道数量为512通道。
步骤S404，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像。
其中，生成器可以包括多层网络结构，例如，可以是包括跳跃连接的生成器，或者是通用的生成器等。
在一个实施例中，包括跳跃连接的生成器可以包括多层卷积层、多层 Dropout层以及Tann层，具体可以是第一层为512通道的卷积层，随后依次为 Dropout层、1024通道的卷积层、Dropout层、1024通道的卷积层、Dropout层、1024通道的卷积层、1024通道的卷积层1024通道的卷积层、512通道的卷积层、 125通道的卷积层、3通道的卷积层以及Tann层。
在另一个实施例中，通用的生成年期可以包括多层卷积层，例如，包括64 通道的卷积层、128通道的卷积层、256通道的卷积层以及多层512通道的卷积层组成。
在本实施例中，服务器可以将编码器生成的特征图输入生成器，以进行解码转换，得到对应初始地图图像的实景地图图像。
本领域技术人员可以理解的是，上述对编码器以及生成器结构的说明仅是举例说明，在其他实施例中，也可以是其他的结构，本申请对此不作限制。
在其中一个实施例中，通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应初始地图图像的多个实景地图图像。
具体地，继续参考图3，服务器在生成特征图后，服务器从正态分布N(0,1) 中取两个不相等的生成参数，即潜向量z1和z2，并从编码器和生成器之间的潜空间输入。
在本实施例中，生成器根据各生成参数以及特征图，生成对应初始地图图像的多个实景地图图像，即分别基于z1和z2，生成对应的实景地图数据G(E(x)， z1)和G(E(x)，z2)。
上述实施例中，通过配置不同的生成参数，并基于特征图，生成对应初始地图图像的多个实景地图图像，可以使得生成的实景地图图像各不相同。
在其中一个实施例中，多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测地图图像；根据各预测地图图像以及训练集图像，生成对应各预测地图图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在本实施例中，服务器获取一批配对的二维平面地图以及卫星地图图像，并将二维平面地图作为训练集图像。
进一步，服务器从正态分布N(0,1)中随机取两个不相等的生成参数，即潜向量z1和z2，并从编码器和生成器之间的潜空间输入初始多模态条件生成对抗网络。
进一步，服务器通过初始多模态条件生成对抗网络对训练集图像进行特征提取，并基于各生成参数以及特征提取得到的特征图，生成对应的各测试地图图像。
进一步，服务器将测试地图图像以及训练集图像生成图像集，并将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果。
在本实施例中，当鉴别器输出的鉴别结果为假时，则服务器可以根据得到的测试地图图像以及对应二维平面地图的卫星地图图像，计算损失值，以基于计算的损失值更新初始多模态条件生成对抗网络的网络参数。
进一步，服务器根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，直至鉴别器输出的鉴别结果为真，以得到训练完成的多模态条件生成对抗网络。
上述实施例中，通过生成图像进行真伪鉴别，并输出对应的各鉴别结果，然后基于鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，可以使得得到的初始多模态条件生成对抗网络更加准确，提升生成的实景地图图像的准确性。
在其中一个实施例中，根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以包括：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，服务器在进行模型训练的时候，或者在对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，可以对应存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
其中，训练指标值是指示初始多模态条件生成对抗网络的完成度以及完成情况与效果的指标值，具体可以是一个指标等级或者是分值。
在其他实施例中，服务器也可以存储每一次迭代训练的初始多模态条件生成对抗网络的网络参数以及训练指标值，本申请对此不作限制。
在本实施例中，得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
具体地，服务器在完成预设的迭代次数的网络训练后，可以根据每一次迭代训练的训练指标值，对各训练指标值进行排序，并在排序后确定训练指标值最高的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络，并用于后续的测试应用。
上述实施例中，通过存储每一次迭代训练后的初始多模态条件生成对抗网络以及对应的训练指标值，并选取指标值最高的初始多模态条件生成对抗网络作为最终的训练完成的多模态条件生成对抗网络，可以使得最终确定的多模态条件生成对抗网络为训练效果最好的网络，可以提升网络预测的准确性。
在其中一个实施例中，参考图5，服务器基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：
步骤S502，根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络。
具体地，服务器在得到鉴别结果后，可以对鉴别结果为真或者是假进行判定。在本实施例中，当服务器确定鉴别器输出的鉴别结果为假时，则服务器可以根据得到的测试地图图像以及对应二维平面地图的卫星地图图像，计算损失值，以基于计算的损失值对初始多模态条件生成对抗网络的网络参数进行第一调整。
在本实施例中，损失值可以通过不同的损失函数进行计算，例如，交叉熵损失函数、二分类损失函数、多分类损失函数等，对此不作限制。
步骤S504，根据各鉴别结果为真的预测地图图像以及对应的各生成参数，基于预设的调控函数确定各预测地图图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络。
在本实施例中，服务器还可以根据不同的生成参数生成的预测地图图像以及对应的各生成参数，通过预设的调控函数计算各预测地图图像之间的差异指标。
在本实施例中，调控函数可以参照前文公式(1)所示，此处不再赘述。
在本实施例中，服务器为了使得基于训练的多模态条件生成对抗网络输出的多个实景地图图像之间的差异尽可能的大，服务器可以根据计算得到的差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，以得到第二调整后的初始多模态条件生成对抗网络。
步骤S506，根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在本实施例中，服务器对第一调整以及第二调整后的初始多模态条件生成对抗网络进行预设迭代次数的迭代训练，以得到训练完成的多模态条件生成对抗网络。
上述实施例中，通过分别计算损失值以及差异指标，并分别对初始多模态条件生成对抗网络进行调整并进行迭代，可以提升训练的准确性，可以提升最终得到的多模态条件生成对抗网络预测的准确性。
在本实施例中，多模态条件生成对抗网络以及鉴别器可以通过交叉迭代训练的方式进行训练。具体地，通过如下方式进行交叉迭代训练：一个一代的多模态条件生成对抗网络，能生成一些很差的图像，然后一个一代的鉴别器能准确的把多模态条件生成对抗网络生成的图片和真实的图片进行分类，简而言之，鉴别器是一个二分类器，对多模态条件生成对抗网络生成的图像输出0，对真实的图像输出1。进一步，服务器基于鉴别器的鉴别结果开始训练出二代的多模态条件生成对抗网络，二代的多模态条件生成对抗网络能生成稍好一点的图像，能够让一代的鉴别器认为这些生成的图像是真实的图形。然后服务器会训练出一个二代的鉴别器，它能准确的识别出真实的图像以及二代的多模态条件生成对抗网络生成的图像。以此类推，会有三代，四代…n代的多模态条件生成对抗网络和鉴别器。最后，最终的鉴别器将无法分辨出多模态条件生成对抗网络生成的图像和真实图像，从而训练完成。
应该理解的是，虽然图2、图4和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种多模态实景地图图像生成装置，包括：初始图像获取模块100和多模态实景图像生成模块200，其中：
初始图像获取模块100，用于获取初始地图图像。
多模态实景图像生成模块200，用于将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
在其中一个实施例中，上述装置还可以包括：
归一化处理模块，用于在多模态实景图像生成模块200将初始地图图像输入多模态条件生成对抗网络之前，对初始地图图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始地图图像。
在本实施例中，多模态实景图像生成模块200用于将图像尺寸归一化处理后的初始地图图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的初始地图图像的多个实景地图图像。
在其中一个实施例中，多模态实景图像生成模块200可以包括：
特征提取子模块，用于通过多模态条件生成对抗网络中的编码器对初始地图图像进行特征提取，生成对应初始地图图像的特征图。
解码转换子模块，用于通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像。
在其中一个实施例中，解码转换子模块用于通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应初始地图图像的多个实景地图图像。
在其中一个实施例中，上述装置还可以包括：
训练模块，用于训练多模态条件生成对抗网络。
在本实施例中，训练模块可以包括：
训练集图像获取子模块，用于获取训练集图像。
预测地图图像生成子模块，用于将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测地图图像。
图像集生成子模块，用于根据各预测地图图像以及训练集图像，生成对应各预测地图图像的各图像集。
鉴别子模块，用于将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果。
迭代训练子模块，用于基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，上述装置还可以包括：
存储模块，用于在迭代训练子模块根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，迭代训练子模块可以确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，迭代训练子模块可以包括：
第一调整单元，用于根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络。
第二调整单元，用于根据各鉴别结果为真的预测地图图像以及对应的各生成参数，基于预设的调控函数确定各预测地图图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络。
迭代单元，用于根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
关于多模态实景地图图像生成装置的具体限定可以参见上文中对于多模态实景地图图像生成方法的限定，在此不再赘述。上述多模态实景地图图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储初始地图图像以及生成的实景地图图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多模态实景地图图像生成方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取初始地图图像；将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
在其中一个实施例中，处理器执行计算机程序时实现将初始地图图像输入多模态条件生成对抗网络之前，还可以实现以下步骤：对初始地图图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始地图图像。
在本实施例中，处理器执行计算机程序时实现将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，可以包括：将图像尺寸归一化处理后的初始地图图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的初始地图图像的多个实景地图图像。
在其中一个实施例中，处理器执行计算机程序时实现将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，可以包括：通过多模态条件生成对抗网络中的编码器对初始地图图像进行特征提取，生成对应初始地图图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像。
在其中一个实施例中，处理器执行计算机程序时实现通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应初始地图图像的多个实景地图图像。
在其中一个实施例中，处理器执行计算机程序时实现多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测地图图像；根据各预测地图图像以及训练集图像，生成对应各预测地图图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，处理器执行计算机程序时实现根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以实现以下步骤：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，处理器执行计算机程序时实现得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，处理器执行计算机程序时实现基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测地图图像以及对应的各生成参数，基于预设的调控函数确定各预测地图图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取初始地图图像；将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，多个实景地图图像中各实景地图图像的内容模态不同，多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
在其中一个实施例中，计算机程序被处理器执行时实现将初始地图图像输入多模态条件生成对抗网络之前，还可以实现以下步骤：对初始地图图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始地图图像。
在本实施例中，计算机程序被处理器执行时实现将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，可以包括：将图像尺寸归一化处理后的初始地图图像输入多模态条件生成对抗网络，输出对应尺寸归一化处理后的初始地图图像的多个实景地图图像。
在其中一个实施例中，计算机程序被处理器执行时实现将初始地图图像输入多模态条件生成对抗网络，输出对应初始地图图像的多个实景地图图像，可以包括：通过多模态条件生成对抗网络中的编码器对初始地图图像进行特征提取，生成对应初始地图图像的特征图；通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像。
在其中一个实施例中，计算机程序被处理器执行时实现通过多模态条件生成对抗网络中的生成器对特征图进行解码转换，得到对应初始地图图像的多个实景地图图像，可以包括：通过生成器配置多个不同的生成参数，并根据各生成参数以及特征图，生成对应初始地图图像的多个实景地图图像。
在其中一个实施例中，计算机程序被处理器执行时实现多模态条件生成对抗网络的生成方式可以包括：获取训练集图像；将训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测地图图像；根据各预测地图图像以及训练集图像，生成对应各预测地图图像的各图像集；将各图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
在其中一个实施例中，计算机程序被处理器执行时实现根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还可以实现以下步骤：存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值。
在本实施例中，计算机程序被处理器执行时实现得到训练完成的多模态条件生成对抗网络，可以包括：确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
在其中一个实施例中，计算机程序被处理器执行时实现基于各鉴别结果，调整初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，可以包括：根据各鉴别结果，计算初始多模态条件生成对抗网络的损失值，并基于损失值对初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；根据各鉴别结果为真的预测地图图像以及对应的各生成参数，基于预设的调控函数确定各预测地图图像之间的差异指标，并基于各差异指标对初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程 ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限， RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步 DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种多模态地图实景图像生成方法，其特征在于，所述方法包括：
获取初始地图图像；
将所述初始地图图像输入多模态条件生成对抗网络，输出对应所述初始地图图像的多个实景地图图像，所述多个实景地图图像中各实景地图图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
2.根据权利要求1所述的方法，其特征在于，所述将所述初始地图图像输入多模态条件生成对抗网络之前，还包括：
对所述初始地图图像进行图像尺寸归一化处理，得到图像尺寸归一化处理后的初始地图图像；
所述将所述初始地图图像输入多模态条件生成对抗网络，输出对应所述初始地图图像的多个实景地图图像，包括：
将所述图像尺寸归一化处理后的初始地图图像输入多模态条件生成对抗网络，输出对应所述尺寸归一化处理后的初始地图图像的多个实景地图图像。
3.根据权利要求1所述的方法，其特征在于，所述将所述初始地图图像输入多模态条件生成对抗网络，输出对应所述初始地图图像的多个实景地图图像，包括：
通过多模态条件生成对抗网络中的编码器对所述初始地图图像进行特征提取，生成对应所述初始地图图像的特征图；
通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述初始地图图像的多个实景地图图像。
4.根据权利要求3所述的方法，其特征在于，所述通过多模态条件生成对抗网络中的生成器对所述特征图进行解码转换，得到对应所述初始地图图像的多个实景地图图像，包括：
通过所述生成器配置多个不同的生成参数，并根据各所述生成参数以及所述特征图，生成对应所述初始地图图像的多个实景地图图像。
5.根据权利要求1所述的方法，其特征在于，所述多模态条件生成对抗网络的生成方式包括：
获取训练集图像；
将所述训练集图像输入构建的初始多模态条件生成对抗网络，并基于确定的各生成参数，生成对应的各预测地图图像；
根据各所述预测地图图像以及所述训练集图像，生成对应各所述预测地图图像的各图像集；
将各所述图像集输入鉴别器进行真伪鉴别，并输出对应的各鉴别结果；
基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练之后，还包括：
存储每一次迭代训练的初始多模态条件生成对抗网络以及对应的训练指标值；
所述得到训练完成的多模态条件生成对抗网络，包括：
确定对应最高的训练指标值的初始多模态条件生成对抗网络中为训练完成的多模态条件生成对抗网络。
7.根据权利要求5所述的方法，其特征在于，所述基于各所述鉴别结果，调整所述初始多模态条件生成对抗网络的网络参数，并根据预设的迭代次数，对网络参数调整后的初始多模态条件生成对抗网络进行迭代训练，生成训练完成的多模态条件生成对抗网络，包括：
根据各所述鉴别结果，计算所述初始多模态条件生成对抗网络的损失值，并基于所述损失值对所述初始多模态条件生成对抗网络的网络参数进行第一调整，得到第一调整后的初始多模态条件生成对抗网络；
根据各鉴别结果为真的预测地图图像以及对应的各所述生成参数，基于预设的调控函数确定各预测地图图像之间的差异指标，并基于各所述差异指标对所述初始多模态条件生成对抗网络的网络参数进行第二调整，得到第二调整后的初始多模态条件生成对抗网络；
根据预设的迭代次数，对第一调整以及第二调整后的初始多模态条件生成对抗网络进行迭代训练，得到训练完成的多模态条件生成对抗网络。
8.一种多模态实景地图图像生成装置，其特征在于，所述装置包括：
初始图像获取模块，用于获取初始地图图像；
多模态实景图像生成模块，用于将所述初始地图图像输入多模态条件生成对抗网络，输出对应所述初始地图图像的多个实景地图图像，所述多个实景地图图像中各实景地图图像的内容模态不同，所述多模态条件生成对抗网络为基于预设的调控函数确定的差异指标训练生成，所述预设的调控函数根据各不同内容模态的实景地图图像以及对应各不同内容模态的实景地图图像的生成参数确定。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011321372.6A CN112669408A (zh) | 2020-11-23 | 2020-11-23 | 多模态实景地图图像生成方法、装置、计算机设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011321372.6A CN112669408A (zh) | 2020-11-23 | 2020-11-23 | 多模态实景地图图像生成方法、装置、计算机设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112669408A true CN112669408A (zh) | 2021-04-16 |
Family
ID=75404054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011321372.6A Pending CN112669408A (zh) | 2020-11-23 | 2020-11-23 | 多模态实景地图图像生成方法、装置、计算机设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112669408A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359490A (zh) * | 2021-11-23 | 2022-04-15 | 北京邮电大学 | 基于多模态融合的电磁地图构建方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106126593A (zh) * | 2016-06-20 | 2016-11-16 | 国家基础地理信息中心 | 基于网络开放照片资源的地表实景信息生成方法及装置 |
| US20190251401A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Image composites using a generative adversarial neural network |
| CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
| CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN110675316A (zh) * | 2019-08-29 | 2020-01-10 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
-
2020
- 2020-11-23 CN CN202011321372.6A patent/CN112669408A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106126593A (zh) * | 2016-06-20 | 2016-11-16 | 国家基础地理信息中心 | 基于网络开放照片资源的地表实景信息生成方法及装置 |
| US20190251401A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Image composites using a generative adversarial neural network |
| CN110580695A (zh) * | 2019-08-07 | 2019-12-17 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、系统及介质 |
| CN110675316A (zh) * | 2019-08-29 | 2020-01-10 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359490A (zh) * | 2021-11-23 | 2022-04-15 | 北京邮电大学 | 基于多模态融合的电磁地图构建方法及相关装置 |
| CN114359490B (zh) * | 2021-11-23 | 2024-08-20 | 北京邮电大学 | 基于多模态融合的电磁地图构建方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163193B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN110163235B (zh) | 图像增强模型的训练、图像增强方法、装置和存储介质 | |
| US11983850B2 (en) | Image processing method and apparatus, device, and storage medium | |
| WO2019100724A1 (zh) | 训练多标签分类模型的方法和装置 | |
| CN109886077B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN111160375B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| US20230022387A1 (en) | Method and apparatus for image segmentation model training and for image segmentation | |
| CN110555526B (zh) | 神经网络模型训练方法、图像识别方法和装置 | |
| CN111860147A (zh) | 行人重识别模型优化处理方法、装置和计算机设备 | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN111179419A (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN112183295A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| CN111062324A (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
| CN110222705A (zh) | 一种网络模型的训练方法以及相关装置 | |
| CN110766638A (zh) | 一种对图像中物体背景风格进行转换方法和装置 | |
| CN111709415A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN111652245B (zh) | 车辆轮廓检测方法、装置、计算机设备及存储介质 | |
| CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| CN110222752B (zh) | 图像处理方法、系统、计算机设备、存储介质和芯片 | |
| CN112669408A (zh) | 多模态实景地图图像生成方法、装置、计算机设备和介质 | |
| Wang et al. | Blind Image Quality Assessment via Adaptive Graph Attention | |
| CN113420665A (zh) | 对抗人脸图像生成、人脸识别模型训练方法、装置及设备 | |
| CN112614199A (zh) | 语义分割图像转换方法、装置、计算机设备和存储介质 | |
| CN112614198A (zh) | 多模态边缘实体图像转换方法、装置、计算机设备和介质 | |
| CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |