CN113239977B - 多域图像转换模型的训练方法、装置、设备及存储介质 - Google Patents

多域图像转换模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113239977B
CN113239977B CN202110436154.5A CN202110436154A CN113239977B CN 113239977 B CN113239977 B CN 113239977B CN 202110436154 A CN202110436154 A CN 202110436154A CN 113239977 B CN113239977 B CN 113239977B
Authority
CN
China
Prior art keywords
image
domain
network
training
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110436154.5A
Other languages
English (en)
Other versions
CN113239977A (zh
Inventor
陈磊
刘华俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202110436154.5A priority Critical patent/CN113239977B/zh
Publication of CN113239977A publication Critical patent/CN113239977A/zh
Application granted granted Critical
Publication of CN113239977B publication Critical patent/CN113239977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种多域图像转换模型的训练方法、装置、计算机设备及计算机可读存储介质，该方法包括：通过获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；根据训练后的所述生成器网络，生成多域图像转换模型，通过深度学习仅需对一个模型进行训练就可实现多个域图像之间的迁移转换。

Description

多域图像转换模型的训练方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种多域图像转换模型的训练方法、装置、计算机设备及计算机可读存储介质。
背景技术
图像转换(Image-to-image Translation)技术是用来自动实现图像在多个不同风格或属性之间互相迁移的方法。不同风格或属性之间的转换可以提供图像更多丰富的表现形态，同时也可以快速生成包含源域内容与目标域风格或属性的图像，这使得目标域的图像更加容易获取。近些来，对于多风格图像的需求不断提高，多风格图像转换技术在实际应用中变得越来越重要。然而当前需要花费大量的时间进行了一个模型的图像创造，不仅要做多个风格的模型，还需花费大量的时间与精力，成本巨大。
发明内容
本申请的主要目的在于提供一种多域图像转换模型的训练方法方法、装置、计算机设备及计算机可读存储介质，旨在解决当前需要花费大量的时间进行了一个模型的图像创造，不仅要做多个风格的模型，还需花费大量的时间与精力，成本巨大的技术问题。
第一方面，本申请提供一种多域图像转换模型的训练方法，所述多域图像转换模型的训练方法包括以下步骤：
获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；
根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；
确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；
根据训练后的所述生成器网络，生成多域图像转换模型。
第二方面，本申请还提供一种多域图像转换模型的训练装置，所述多域图像转换模型的训练装置包括：
第一获取模块，用于获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；
训练模块，用于根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；
第二获取模块，用于确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；
生成模块，用于根据训练后的所述生成器网络，生成多域图像转换模型。
第三方面，本申请还提供一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的多域图像转换模型的训练方法的步骤。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的多域图像转换模型的训练方法的步骤。
本申请提供一种多域图像转换模型的训练方法、装置、计算机设备及计算机可读存储介质，通过获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；根据训练后的所述生成器网络，生成多域图像转换模型，通过深度学习仅需对一个模型进行训练就可实现多个域图像之间的迁移转换。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种多域图像转换模型的训练方法的流程示意图；
图2为图1中的方法的子步骤流程示意图；
图3为图1中的方法的子步骤流程示意图；
图4为本申请实施例提供的另一种多域图像转换模型的训练方法的流程示意图；
图5为本申请实施例提供的一种多域图像转换模型的训练装置的示意性框图；
图6为本申请一实施例涉及的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请实施例提供一种多域图像转换模型的训练方法、装置、计算机设备及计算机可读存储介质。其中，该多域图像转换模型的训练方法可应用于计算机设备中，该计算机设备可以是笔记本电脑、台式电脑等电子设备。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，图1为本申请的实施例提供的一种多域图像转换模型的训练方法的流程示意图。
如图1所示，该方法包括步骤S101至步骤S104。
步骤S101、获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集。
示范性的，获取待训练图像，对该待训练图像进行预处理。例如，通过网上搜集等方式获取图像，将获取到的图像按照风格或属性等信息进行分类，将分类好的图像建立数据集，该数据集包括同一风格或同一属性信息的图像，或者，包括不同风格或不同属性信息的图像，且该图像的数量为多张，对此不对该数量作限定。
在一实施例中，具体地，参照图2，步骤S101包括：子步骤S1011至子步骤S1013。
子步骤S1011、获取多张同一风格或相同属性的图像，将多张所述图像作为待训练图像。
示范性的，获取多张同一风格或相同属性的图像，例如，搜集同一街道不同季节、不同时间的图像。在获取到多张同一风格或相同属性的属性时，将该属性作为待训练图像，该待训练图像可以存储于预置储存器或区块链中。
子步骤S1012、通过对所述待训练图像进行数据增强，获取数据增强后的所述待训练图像。
示范性的，对获取到待训练图像进行数据增强，该数据增强的方式包括对图像以预置概率进行中心翻转，翻转的图片作为数据增强后的待训练图像，该预置概率包括0.1、0.2、0.3、0.4、0.5；或者，对图像进行了随机剪裁，仅保留部分图像作为训练数据，同时可以扩展数据集数量。
子步骤S1013、将数据增强后的所述待训练图像进行归一化处理，建立对应的图像数据集。
示范性的，在获取到数据增强后的待训练图像时，对该数据增强后的待训练图像进行归一化处理。实施例的，获取每一张待训练图像，分别将待训练图像转换到预置线性空间，并归一化到预置像素数值范围中。例如，该待训练图像的像素数值为H，通过预置归一化公式
Figure BDA0003033169880000041
其中，该H为待训练图像的原始像素数值，/>
Figure BDA0003033169880000042
为归一化后待训练图像的像素数值。获取归一化后的待训练图像，建立图像数据集，其中该图像数据集包括图像训练集、图像测试集和图像验证集，例如，将90％的待训练图像作为图像训练集、5％作为图像测试集和5％作为图像验证集。
步骤S102、根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络。
示范性的，获取预置训练策略，依照该预置训练策略通过图像数据集对构建的预置模型进行训练，该预置模型包括域表征提取网络、判别器网络和生成器网络。例如，该预置训练策略包括通过图像数据集分别依次训练域表征提取网络、判别器网络和生成器网络的网络参数。
在一实施例中，具体地，参照图3，步骤S102包括：子步骤S1021至子步骤S1023。
子步骤S1021、根据所述图像训练集训练所述域表征网络，得到对应的域表征向量。
示范性的，获取图像训练集中的源域图像，通过该源域图像输入到域表征网络中，通过该域表征网络对该源域图像进行提取，得到该源域图像的域表征向量。
具体的，所述图像训练集包括多个相同风格或相同属性的源域图像；所述根据所述训练集图像训练所述域表征网络，得到对应的域表征向量，包括：将多个相同风格或相同属性的所述源域图像输入所述域表征网络；通过所述域表征网络中的编码网络对所述源域图像进行编码，得到所述域表征网络输出的域表征向量，其中，所述编码网络包括卷积层和线性层整流函数模块。
示范性的，该图像训练集包括多张相同风格或相同属性信息的源域图像，将该源域图像输入到域表征网络中，该域表征网络包括编码网络，该编码网络的网络结构主要为全卷积层网络，域表征网络接收同一个风格或属性域的图像作为输入，经过由5层“卷积层+线性整流函数”模块构成的编码网络，通过编码网络对提取到源域图像的属性信息进行编码，得到输出一个域表征向量。
子步骤S1022、根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像。
示范性的，该预置模型包括生成器网路，将获取到的域表征向量和源域图像输入到该生成器网络，通过该生成器网络，得到对应的目标域图像。该生成器网络为一个编解码结构，该生成器网络接收一张同一个风格或属性的源域图像和域表征向量作为输入，经过该编解码结构包括3层卷积下采样、6层残差网络和3层上采样网络。
具体的，所述根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像，包括：将所述域表征向量和所述源域图像输入所述生成器网络；通过所述生成器网络中的解码网络分别对所述域表征向量和所述源域图像进行解码，得到所述生成器网络输出的目标域图像，其中，所述解码网络包括卷积网络才采样层、残差网络层和卷积网络上采样层。
示范性的，该域表征向量为目标域表征向量，将该获取到的目标域表征向量和源域图像输入到该生成器网络，通过该生成器网络中的编解码网络的下采样层提取目标域表征向量中的向量矩阵，以及提取待源域图像中的风格或属性的向量矩阵，通过该残差网络的映射，以及该上采样层的转换，将目标域表征向量中的风格或属性的向量矩阵与源域图像中的风格或属性的向量矩阵进行转换，得到对应的目标域图像，该目标域图像包括目标域表征向量的风格或属性。
子步骤S1023、根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数。
示范性的，该预置模型包括判别器网络，将获取到的目标域图像和目标图像输入判别器网络，通过该目标域图像和目标图像训练该判别器网络，以得到对应的数值图，该数值图为目标域图像还让目标图像的相似值，通过该数值图训练预置损失函数，以得到对应的损失值，通过该损失值更新预置模型的网络参数。
具体的，所述根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数，包括：将所述目标域图像和所述目标图像输入所述判别器网络；通过所述判别器网络将所述目标域图像和所述目标图像进行比对，得到对应的数值图；通过所述数值图反向传播训练预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数，得到对应的损失值；通过所述损失值更新所述预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数的网络参数。
示范性的，将目标域图像和目标图像输入到判别器网络，该目标域图像包括目标域表征向量的风格或属性，该目标域表征的风格或属性是提取目标图像的，该判别器网络包括5层卷积层构成的全卷积网络。通过该判别器网络的全卷积网络比对目标域图像与目标图像的风格或属性，得到数值图。该获取到该数值图时，通过该数值图训练预置损失函数，例如，采用Adam优化器分别逐次对表征提取网络、生成器网络和判别器网络进行反向传播优化，其中域表征网络共包含两组优化函数，该损失函数分别由两个损失函数控制，随着网络的优化，数值越来越小的话，则就可以约达到其想表达意义，即约束控制作用。
域表征网络包括域表征损失函数和域表征重建损失函数，该域表征损失函数依帮助生成对抗网络更好的训练，训练指的是网络的迭代，训练方式是前向传播和反向传播，损失值的不同会引起反向传播梯度数值的不同，进而影响网络的更新和训练。
其中生成器网络共包含三组优化函数，如，生成对抗损失函数。该对抗损失函数能使网络生成的目标域图像在分布上尽可能接近真实的目标域图像，防止生成结果与真实结果仅在数值差异上减小而忽视整体分布的差异。判别网络以生成网络输出为输入的计算结果；图像重建损失，该图像重建损失依据生成图像结合源域表征向量再次输入生成器网络时，与源域图像应保持一致。
判别网络的损失函数为标准最小二乘损失，该项控制判别网络使其尽可能准确判断输入判别网络的图像是否为真实目标域图像。
步骤S103、确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络。
示范性的，在通过训练后确定该预置模型是否处于收敛状态，若确定该预置模型处于收敛状态，则获取训练后的生成器网络；如确定该预置模型未处于收敛状态，则继续训练该预置模型，以使该预置模型处于收敛状态。通过图像训练集训练预置模型，获取到对应的损失值，将该损失值与上一次的损失值进行比较，若比对结果相同或在预置误差范围内，则确定该预置模型处于收敛状态，反之，则确定该预置模型未处于收敛状态。
步骤S104、根据训练后的所述生成器网络，生成多域图像转换模型。
示范性的，在获取到生成器网络时，将该生成器网络以及提取该生成器对应的网络参数，生成多域图像转换模型。
在本申请实施例中，通过建立的图像数据集对建立的预置模型进行交替训练，以得到处于收敛状态的预置模型，提取预置模型中的生成器网络和生成器网络的网路参数，生成多域图像转换模型，通过深度学习仅需对一个模型进行训练就可实现多个域图像之间的迁移转换。
请参照图4，图4为本申请的实施例提供的另一种多域图像转换模型的训练方法的流程示意图。
如图4所示，该包括步骤S201至步骤S205。
步骤S201、获取待转换图像和目标域属性信息。
示范性的，获取待转换图像或预置目标域属性信息，获取的方式包括从预置存储中获取，或从预置区块链中获取。
步骤S202、分别将所述待转换图像和所述目标域属性信息输入所述多域图像转换模型，其中，所述多域图像转换模型包括下第一输入层、第二输入层、转换层和输出层。
示范性的，在获取到待转换图像和目标域属性信息时，将待转换图像和目标域属性信息分别输入到多域图像转换模型中，该多域图像转换模型包括下第一输入层、第二输入层、转换层和输出层。
步骤S203、通过所述第一输入层提取所述待转换图像的属性信息，获取所述待转换图像的属性信息对应的表征向量。
示范性的，通过该第一输入层提取到待转换图像的属性信息，该属性信息包括格式参数、风格参数，将提取到的格式参数、风格参数映射为对应的表征向量。
步骤S204、通过所述第二输入层提取所述目标域属性信息的，获取所述目标域属性信息对应的表征向量。
示范性的，通过该第而输入层提取到目标域属性信息的格式参数、风格参数，并将提取到的格式参数、风格参数映射为对应的表征向量。
步骤S205、通过所述转换层中的权重矩阵将所述待转换图像的属性信息对应的表征向量与所述目标域属性信息对应的表征向量进行映射，以获取所述输出层输出带有所述目标域属性信息的图像。
示范性的，通过转换层将获取到的待转换图像格式参数、风格参数的表征向量和目标域属性信息的格式参数、风格参数的表征向量进行映射。例如，将待转换图像的格式参数的表征向量和目标域属性信息的格式参数的表征向量进行映射，通过映射后，获取输出层输出带有目标域属性信息的图像。
在本申请实施例中，通过多域图像转换模型进行图像转换，解决仅通过图像信息的提取和融合无法生成有效的图像的问题，实现快速转换图像，提高了图像转换的效率。
请参照图5，图5为本申请实施例提供的一种多域图像转换模型的训练装置的示意性框图。
如图5所示，该多域图像转换模型的训练装置400，包括：第一获取模块401、训练模块402、第二获取模块403、生成模块404。
第一获取模块401，用于获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；
训练模块402，用于根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；
第二获取模块403，用于确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；
生成模块404，用于根据训练后的所述生成器网络，生成多域图像转换模型。
其中，训练模块402具体还用于：
根据所述图像训练集训练所述域表征网络，得到对应的域表征向量；
根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像；
根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数。
其中，训练模块402具体还用于：
将多个相同风格或相同属性的所述源域图像输入所述域表征网络；
通过所述域表征网络中的编码网络对所述源域图像进行编码，得到所述域表征网络输出的域表征向量，其中，所述编码网络包括卷积层和线性层整流函数模块。
其中，训练模块402具体还用于：
将所述域表征向量和所述源域图像输入所述生成器网络；
通过所述生成器网络中的解码网络分别对所述域表征向量和所述源域图像进行解码，得到所述生成器网络输出的目标域图像，其中，所述解码网络包括卷积网络才采样层、残差网络层和卷积网络上采样层。
其中，训练模块402具体还用于：
将所述目标域图像和所述目标图像输入所述判别器网络；
通过所述判别器网络将所述目标域图像和所述目标图像进行比对，得到对应的数值图；
通过所述数值图反向传播优化预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数，得到对应的损失值；
通过所述损失值更新所述预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数的网络参数。
其中，第一获取模块401具体还用于：
获取多张同一风格或相同属性的图像，将多张所述图像作为待训练图像；
通过对所述待训练图像进行数据增强，获取数据增强后的所述待训练图像；
将数据增强后的所述待训练图像进行归一化处理，建立对应的图像数据集。
其中，多域图像转换模型的训练装置还用于：
获取待转换图像和目标域属性信息；
分别将所述待转换图像和所述目标域属性信息输入所述多域图像转换模型，其中，所述多域图像转换模型包括下第一输入层、第二输入层、转换层和输出层；
通过所述第一输入层提取所述待转换图像的属性信息，获取所述待转换图像的属性信息对应的表征向量；
通过所述第二输入层提取所述目标域属性信息的，获取所述目标域属性信息对应的表征向量；
通过所述转换层中的权重矩阵将所述待转换图像的属性信息对应的表征向量与所述目标域属性信息对应的表征向量进行映射，以获取所述输出层输出带有所述目标域属性信息的图像。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述多域图像转换模型的训练方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6为本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以为终端。
如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种多域图像转换模型的训练方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种多域图像转换模型的训练方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；
根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；
确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；
根据训练后的所述生成器网络，生成多域图像转换模型。
在一个实施例中，所述处理器根据训练策略，基于所述数据集对构建的预置模型进行训练实现时，用于实现：
根据所述图像训练集训练所述域表征网络，得到对应的域表征向量；
根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像；
根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数。
在一个实施例中，所述处理器根据所述训练集图像训练所述域表征网络，得到对应的域表征向量实现时，用于实现：
将多个相同风格或相同属性的所述源域图像输入所述域表征网络；
通过所述域表征网络中的编码网络对所述源域图像进行编码，得到所述域表征网络输出的域表征向量，其中，所述编码网络包括卷积层和线性层整流函数模块。
在一个实施例中，所述处理器根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像实现时，用于实现：
将所述域表征向量和所述源域图像输入所述生成器网络；
通过所述生成器网络中的解码网络分别对所述域表征向量和所述源域图像进行解码，得到所述生成器网络输出的目标域图像，其中，所述解码网络包括卷积网络才采样层、残差网络层和卷积网络上采样层。
在一个实施例中，所述处理器根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数实现时，用于实现：
将所述目标域图像和所述目标图像输入所述判别器网络；
通过所述判别器网络将所述目标域图像和所述目标图像进行比对，得到对应的数值图；
通过所述数值图反向传播优化预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数，得到对应的损失值；
通过所述损失值更新所述预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数的网络参数。
在一个实施例中，所述处理器获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集实现时，用于实现：
获取多张同一风格或相同属性的图像，将多张所述图像作为待训练图像；
通过对所述待训练图像进行数据增强，获取数据增强后的所述待训练图像；
将数据增强后的所述待训练图像进行归一化处理，建立对应的图像数据集。
在一个实施例中，所述处理器生成多域图像转换模型之后实现时，用于实现：
获取待转换图像和目标域属性信息；
分别将所述待转换图像和所述目标域属性信息输入所述多域图像转换模型，其中，所述多域图像转换模型包括下第一输入层、第二输入层、转换层和输出层；
通过所述第一输入层提取所述待转换图像的属性信息，获取所述待转换图像的属性信息对应的表征向量；
通过所述第二输入层提取所述目标域属性信息的，获取所述目标域属性信息对应的表征向量；
通过所述转换层中的权重矩阵将所述待转换图像的属性信息对应的表征向量与所述目标域属性信息对应的表征向量进行映射，以获取所述输出层输出带有所述目标域属性信息的图像。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参照本申请多域图像转换模型的训练方法的各个实施例。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种多域图像转换模型的训练方法，其特征在于，包括：
获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；
根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；
确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；
根据训练后的所述生成器网络，生成多域图像转换模型；
所述预置模型包括域表征网络和判别器网络；所述图像数据集包括图像训练集、源域图像和目标图像；根据训练策略，基于所述数据集对构建的预置模型进行训练，包括：
根据所述图像训练集训练所述域表征网络，得到对应的域表征向量；
根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像；
根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数；
所述图像训练集包括多个相同风格或相同属性的源域图像；所述根据所述训练集图像训练所述域表征网络，得到对应的域表征向量，包括：
将多个相同风格或相同属性的所述源域图像输入所述域表征网络；
通过所述域表征网络中的编码网络对所述源域图像进行编码，得到所述域表征网络输出的域表征向量，其中，所述编码网络包括卷积层和线性层整流函数模块。
2.如权利要求1所述的多域图像转换模型的训练方法，其特征在于，所述根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像，包括：
将所述域表征向量和所述源域图像输入所述生成器网络；
通过所述生成器网络中的解码网络分别对所述域表征向量和所述源域图像进行解码，得到所述生成器网络输出的目标域图像，其中，所述解码网络包括卷积网络下采样层、残差网络层和卷积网络上采样层。
3.如权利要求1所述的多域图像转换模型的训练方法，其特征在于，所述根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数，包括：
将所述目标域图像和所述目标图像输入所述判别器网络；
通过所述判别器网络将所述目标域图像和所述目标图像进行比对，得到对应的数值图；
通过所述数值图反向传播训练预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数，得到对应的损失值；
通过所述损失值更新所述预置对抗损失函数、预置域表征损失函数、预置域表征重建损失函数和预置图像重建损失函数的网络参数。
4.如权利要求3所述的多域图像转换模型的训练方法，其特征在于，所述获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集，包括：
获取多张同一风格或相同属性的图像，将多张所述图像作为待训练图像；
通过对所述待训练图像进行数据增强，获取数据增强后的所述待训练图像；
将数据增强后的所述待训练图像进行归一化处理，建立对应的图像数据集。
5.如权利要求1所述的多域图像转换模型的训练方法，其特征在于，所述生成多域图像转换模型之后，还包括：
获取待转换图像和目标域属性信息；
分别将所述待转换图像和所述目标域属性信息输入所述多域图像转换模型，其中，所述多域图像转换模型包括下第一输入层、第二输入层、转换层和输出层；
通过所述第一输入层提取所述待转换图像的属性信息，获取所述待转换图像的属性信息对应的表征向量；
通过所述第二输入层提取所述目标域属性信息的，获取所述目标域属性信息对应的表征向量；
通过所述转换层中的权重矩阵将所述待转换图像的属性信息对应的表征向量与所述目标域属性信息对应的表征向量进行映射，以获取所述输出层输出带有所述目标域属性信息的图像。
6.一种多域图像转换模型的训练装置，其特征在于，所述多域图像转换模型的训练装置包括：
第一获取模块，用于获取待训练图像，并对所述待训练图像进行预处理，建立图像数据集；
训练模块，用于根据预置训练策略，基于所述图像数据集对构建的预置模型进行训练，其中，所述预置模型包括生成器网络；
第二获取模块，用于确定训练后的所述预置模型处于收敛状态时，获取训练后的生成器网络；
生成模块，用于根据训练后的所述生成器网络，生成多域图像转换模型；
所述预置模型包括域表征网络和判别器网络，所述图像数据集包括图像训练集、源域图像和目标图像，所述训练模块还用于：
根据所述图像训练集训练所述域表征网络，得到对应的域表征向量；
根据所述域表征向量和所述源域图像训练所述生成器网络，得到对应的目标域图像；
根据所述目标域图像和所述目标图像训练所述判别器网络，得到数值图，并根据所述数值图更新所述预置模型的网络参数；
所述图像训练集包括多个相同风格或相同属性的源域图像，所述根据所述图像训练集训练所述域表征网络，得到对应的域表征向量还用于：
将多个相同风格或相同属性的所述源域图像输入所述域表征网络；
通过所述域表征网络中的编码网络对所述源域图像进行编码，得到所述域表征网络输出的域表征向量，其中，所述编码网络包括卷积层和线性层整流函数模块。
7.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至5中任一项所述的多域图像转换模型的训练方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的多域图像转换模型的训练方法的步骤。
CN202110436154.5A 2021-04-22 2021-04-22 多域图像转换模型的训练方法、装置、设备及存储介质 Active CN113239977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436154.5A CN113239977B (zh) 2021-04-22 2021-04-22 多域图像转换模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436154.5A CN113239977B (zh) 2021-04-22 2021-04-22 多域图像转换模型的训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113239977A CN113239977A (zh) 2021-08-10
CN113239977B true CN113239977B (zh) 2023-03-24

Family

ID=77128790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436154.5A Active CN113239977B (zh) 2021-04-22 2021-04-22 多域图像转换模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113239977B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114036829B (zh) * 2021-11-02 2023-04-25 中国地质大学（武汉） 地质剖面图生成方法、系统、设备及存储介质
CN116095256B (zh) * 2022-12-30 2024-09-24 深圳创维数字技术有限公司 深度学习图像转换模型训练方法、装置、设备及介质
CN117336453B (zh) * 2023-11-27 2024-01-30 湖南苏科智能科技有限公司 一种安检图像转换方法、系统、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11543830B2 (en) * 2017-12-06 2023-01-03 Petuum, Inc. Unsupervised real-to-virtual domain unification for end-to-end highway driving
CN108334904A (zh) * 2018-02-07 2018-07-27 深圳市唯特视科技有限公司 一种基于统一生成对抗网络的多域图像转换技术
CN110084863B (zh) * 2019-04-25 2020-12-25 中山大学 一种基于生成对抗网络的多域图像转换方法与系统
CN111028305A (zh) * 2019-10-18 2020-04-17 平安科技（深圳）有限公司 表情生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113239977A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113239977B (zh) 多域图像转换模型的训练方法、装置、设备及存储介质
CN111311518B (zh) 基于多尺度混合注意力残差网络的图像去噪方法及装置
US10963632B2 (en) Method, apparatus, device for table extraction based on a richly formatted document and medium
CN111062215B (zh) 基于半监督学习训练的命名实体识别方法和装置
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN112598053B (zh) 基于半监督学习的主动显著性目标检测方法
CN109034206A (zh) 图像分类识别方法、装置、电子设备及计算机可读介质
CN111615702A (zh) 一种从图像中提取结构化数据的方法、装置和设备
CN111210382B (zh) 图像处理方法、装置、计算机设备和存储介质
CN112418292A (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN111915618B (zh) 基于峰值响应增强的实例分割算法、计算设备
CN112364933B (zh) 图像分类方法、装置、电子设备和存储介质
CN116740527A (zh) U型网络与自注意力机制结合的遥感图像变化检测方法
CN116311451A (zh) 一种多模态融合人脸活体检测模型生成方法和装置、电子设备
CN118096924B (zh) 图像处理方法、装置、设备及存储介质
CN114387656B (zh) 基于人工智能的换脸方法、装置、设备及存储介质
KR102305575B1 (ko) 이미지 간 유사도를 이용한 유사 영역 강조 방법 및 시스템
CN116796287A (zh) 图文理解模型的预训练方法、装置、设备及存储介质
CN112053287B (zh) 图像超分辨率方法、装置及设备
CN112132269B (zh) 模型处理方法、装置、设备及存储介质
CN116484878A (zh) 电力异质数据的语义关联方法、装置、设备及存储介质
Jia et al. A multi-style interior floor plan design approach based on generative adversarial networks
CN112633285B (zh) 领域适应方法、装置、电子设备及存储介质
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant