CN113160042B - 一种图像风格迁移模型训练方法、装置及电子设备 - Google Patents

一种图像风格迁移模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN113160042B
CN113160042B CN202110556271.5A CN202110556271A CN113160042B CN 113160042 B CN113160042 B CN 113160042B CN 202110556271 A CN202110556271 A CN 202110556271A CN 113160042 B CN113160042 B CN 113160042B
Authority
CN
China
Prior art keywords
tensor
style
loss
source
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110556271.5A
Other languages
English (en)
Other versions
CN113160042A (zh
Inventor
李丽香
张雅盟
彭海朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110556271.5A priority Critical patent/CN113160042B/zh
Publication of CN113160042A publication Critical patent/CN113160042A/zh
Application granted granted Critical
Publication of CN113160042B publication Critical patent/CN113160042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供的一种图像风格迁移模型训练方法、装置及电子设备，通过将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型；通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和源风格张量；通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到目标内容张量和目标风格张量；通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；根据当前损失对待训练的图像风格迁移模型的参数进行调整，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。实现了提取样本图像的多个维度的特征进行模型的训练，避免模型的内容敏感性。

Description

一种图像风格迁移模型训练方法、装置及电子设备
技术领域
本申请涉及模型训练的技术领域，特别是涉及一种图像风格迁移模型训练方法、装置及电子设备。
背景技术
目前，图像风格迁移模型在电影业、摄影技术、时尚、美容相机和电子商务等领域，已经有着广泛的应用，通过图像风格迁移模型可以自动的将一幅图像转化为另一种风格的图像。
然而，当前图像风格迁移模型在训练过程中，往往只提取样本图像单一维度的特征，然后根据提取的特征进行模型的训练，从而导致训练得到的模型对图像的内容较为敏感，所需要的样本数据的数据量也较多。
发明内容
本申请实施例的目的在于提供一种图像风格迁移模型训练方法、装置及电子设备，用以解决现有技术中训练图像风格迁移模型的过程中，样本数据需求多的问题。具体技术方案如下：
本申请实施例的第一方面，首先提供了一种图像风格迁移模型训练方法，上述方法包括：
将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，图像风格迁移模型包括内容编码层和风格编码层；
通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量；
通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；
通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；
根据当前损失对待训练的图像风格迁移模型的参数进行调整，返回将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。
可选的，通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失，包括：
通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的项目损失，其中，项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种；
根据项目损失计算得到当前损失。
可选的，重构损失的计算方式包括：通过预设生成器，根据源内容张量和源风格张量计算得到源域域内重构图；通过预设生成器，根据目标内容张量和目标风格张量计算得到目标域域内重构图；根据源域域内重构图和目标域域内重构图，通过第一预设损失函数计算得到重构损失。
可选的，潜在语义损失的计算方式包括：通过预设生成器，根据源内容张量和目标风格张量计算得到源域生成图；通过预设生成器，根据目标内容张量和源风格张量计算得到目标域生成图；将目标域生成图输入内容编码层，得到重构目标内容张量；将目标域生成图输入风格编码层，得到重构目标风格张量；将源域生成图输入内容编码层，得到重构源域内容张量；将源域生成图输入风格编码层，得到重构源域风格张量；根据重构目标内容张量和重构目标风格张量，通过第二预设损失函数计算得到第二潜在语义损失；根据重构源域内容张量和重构源域风格张量，通过第二预设损失函数计算得到第一潜在语义损失；计算第一潜在语义损失和第二潜在语义损失之和，得到潜在语义损失。
可选的，循环重构损失的计算方式包括：通过预设生成器，根据重构源域内容张量和重构源风格张量计算得到循环重构源域图；通过预设生成器，根据重构目标域风格张量和重构目标域内容张量计算得到循环重构目标域图；根据循环重构源域图和循环重构目标域图，通过第三预设损失函数计算得到循环重构损失。
可选的，对抗损失的计算方式包括：随机生成风格张量，得到第一随机风格张量；通过预设生成器，根据随机风格张量和源内容张量生成第一虚假源域图；通过预设生成器，根据随机风格张量和目标内容张量生成第一虚假目标域图；根据第一虚假目标域图和样本目标域图像，通过第四预设损失函数计算得到第二对抗损失；根据第一虚假源域图和样本源域图像，通过第四预设损失函数计算得到第一对抗损失；计算第一对抗损失和第二对抗损失之和，得到对抗损失。
可选的，风格多样性损失的计算方式包括：随机生成四种不同的风格张量，得到第二随机风格张量、第三随机风格张量、第四随机风格张量和第五随机风格张量；通过预设生成器，根据第二随机风格张量和源内容张量，生成第二虚假源域图；通过预设生成器，根据第三随机风格张量和源内容张量，生成第三虚假源域图；通过预设生成器，根据第四随机风格张量和目标内容张量，生成第二虚假目标域图；通过预设生成器，根据第五随机风格张量和目标内容张量，生成第三虚假目标域图；根据第二虚假源域图和第三虚假源域图，通过第五预设损失函数计算得到第一风格多样性损失；根据第二虚假目标域图和第三虚假目标域图，通过第五预设损失函数计算得到第二风格多样性损失；计算第一风格多样性损失和第二风格多样性损失之和，得到风格多样性损失。
可选的，感知损失的计算方式包括：根据样本源域图像、源域域内重构图、第一虚假源域图、循环重构源域图、样本目标域图像、目标域域内重构图、第一虚假目标域图和循环重构目标域图，通过第六预设损失函数计算得到感知损失。
可选的，上述方法还包括：
将待处理图像输入训练好的图像风格迁移模型，通过训练好的图像风格迁移模型对待处理图像进行风格迁移。
本申请实施例的第二方面，提供了一种图像风格迁移模型训练装置，上述装置包括：
样本输入模块，用于将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，图像风格迁移模型包括内容编码层和风格编码层；
源特征提取模块，用于通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量；
目标特征提取模块，用于通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；
当前损失计算模块，用于通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；
循环训练模块，用于根据当前损失对待训练的图像风格迁移模型的参数进行调整，返回样本输入模块继续执行，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。
可选的，当前损失计算模块，包括：
项目损失计算子模块，用于通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的项目损失，其中，项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种；
当前损失计算子模块，用于根据项目损失计算得到当前损失。
可选的，重构损失的计算方式包括：通过预设生成器，根据源内容张量和源风格张量计算得到源域域内重构图；通过预设生成器，根据目标内容张量和目标风格张量计算得到目标域域内重构图；根据源域域内重构图和目标域域内重构图，通过第一预设损失函数计算得到重构损失。
可选的，潜在语义损失的计算方式包括：通过预设生成器，根据源内容张量和目标风格张量计算得到源域生成图；通过预设生成器，根据目标内容张量和源风格张量计算得到目标域生成图；将目标域生成图输入内容编码层，得到重构目标内容张量；将目标域生成图输入风格编码层，得到重构目标风格张量；将源域生成图输入内容编码层，得到重构源域内容张量；将源域生成图输入风格编码层，得到重构源域风格张量；根据重构目标内容张量和重构目标风格张量，通过第二预设损失函数计算得到第二潜在语义损失；根据重构源域内容张量和重构源域风格张量，通过第二预设损失函数计算得到第一潜在语义损失；计算第一潜在语义损失和第二潜在语义损失之和，得到潜在语义损失。
可选的，循环重构损失的计算方式包括：通过预设生成器，根据重构源域内容张量和重构源风格张量计算得到循环重构源域图；通过预设生成器，根据重构目标域风格张量和重构目标域内容张量计算得到循环重构目标域图；根据循环重构源域图和循环重构目标域图，通过第三预设损失函数计算得到循环重构损失。
可选的，对抗损失的计算方式包括：随机生成风格张量，得到第一随机风格张量；通过预设生成器，根据随机风格张量和源内容张量生成第一虚假源域图；通过预设生成器，根据随机风格张量和目标内容张量生成第一虚假目标域图；根据第一虚假目标域图和样本目标域图像，通过第四预设损失函数计算得到第二对抗损失；根据第一虚假源域图和样本源域图像，通过第四预设损失函数计算得到第一对抗损失；计算第一对抗损失和第二对抗损失之和，得到对抗损失。
可选的，风格多样性损失的计算方式包括：随机生成四种不同的风格张量，得到第二随机风格张量、第三随机风格张量、第四随机风格张量和第五随机风格张量；通过预设生成器，根据第二随机风格张量和源内容张量，生成第二虚假源域图；通过预设生成器，根据第三随机风格张量和源内容张量，生成第三虚假源域图；通过预设生成器，根据第四随机风格张量和目标内容张量，生成第二虚假目标域图；通过预设生成器，根据第五随机风格张量和目标内容张量，生成第三虚假目标域图；根据第二虚假源域图和第三虚假源域图，通过第五预设损失函数计算得到第一风格多样性损失；根据第二虚假目标域图和第三虚假目标域图，通过第五预设损失函数计算得到第二风格多样性损失；计算第一风格多样性损失和第二风格多样性损失之和，得到风格多样性损失。
可选的，感知损失的计算方式包括：根据样本源域图像、源域域内重构图、第一虚假源域图、循环重构源域图、样本目标域图像、目标域域内重构图、第一虚假目标域图和循环重构目标域图，通过第六预设损失函数计算得到感知损失。
可选的，上述装置还包括：
风格迁移模块，用于将待处理图像输入训练好的图像风格迁移模型，通过训练好的图像风格迁移模型对待处理图像进行风格迁移。
本申请实施例有益效果：
本申请实施例提供的一种图像风格迁移模型训练方法、装置及电子设备，通过将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型；通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量；通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；根据当前损失对待训练的图像风格迁移模型的参数进行调整，返回将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。通过根据样本源域图像和样本目标域图像，提取源内容张量、源风格张量、目标内容张量和目标风格张量，并根据提取到的张量计算待训练的图像风格迁移模型的当前损失进行模型的训练，从而实现提取样本图像的多个维度的特征，根据提取到的特征进行训练，避免模型的内容敏感性。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的图像风格迁移模型训练方法的一种流程示意图；
图2为本申请实施例提供的计算待训练的图像风格迁移模型的当前损失的流程示意图；
图3为本申请实施例提供的计算循环重构损失和潜在语义损失的一种流程示意图；
图4为本申请实施例提供的计算潜在语义损失的一种流程示意图；
图5为本申请实施例提供的计算对抗损失的一种流程示意图；
图6为本申请实施例的提供的图像风格迁移模型训练方法的一种实例图；
图7为本申请实施例提供的图像风格迁移模型训练装置的一种结构示意图；
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例的第一方面，首先提供了一种图像风格迁移模型训练方法，上述方法包括：
将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，图像风格迁移模型包括内容编码层和风格编码层；
通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量；
通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；
通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；
根据当前损失对待训练的图像风格迁移模型的参数进行调整，返回将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。
可见，通过上述图像风格迁移模型训练方法，可以根据样本源域图像和样本目标域图像，提取源内容张量、源风格张量、目标内容张量和目标风格张量，并根据提取到的张量计算待训练的图像风格迁移模型的当前损失进行模型的训练，从而实现提取样本图像的多个维度的特征，根据提取到的特征进行训练，避免模型的内容敏感性。
具体的，参见图1，图1为本申请实施例提供的图像风格迁移模型训练方法的一种流程示意图，包括：
步骤S11，将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型。
其中，图像风格迁移模型包括内容编码层和风格编码层。上述样本源域图像中可以包括大量标记数据，目标域可以包括少量标记数据。
本申请实施例的图像风格迁移模型训练方法适用于智能终端，可以通过智能终端实施，具体的，该智能终端可以是用于进行模型训练的智能终端，如，电脑、手机或服务器等。
步骤S12，通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量。
其中，通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量，可以通过将样本源域图像x和样本目标域图像y，分别输入内容编码层得到相应的源内容张量Ix、目标域内容张量Iy，Ix＝AAE(x)，Iy＝AAE(y)，其中，AAE()表示内容编码。
步骤S13，通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量。
其中，通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到目标内容张量和目标风格张量。可以通过将样本源域图像x和样本目标域图像y，分别输入风格编码层得到相应的源风格张量Sx和目标域风格张量Sy，Sx＝E(x)，Sy＝E(y)，其中E()表示风格编码。
步骤S14，通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失。
其中，通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失时，预设损失函数可以为多种类型的损失函数。如，交叉熵损失函数、指数损失函数、铰链损失函数等。
步骤S15，根据当前损失对待训练的图像风格迁移模型的参数进行调整，返回将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。
其中，根据当前损失对待训练的图像风格迁移模型的参数进行调整，可以通过梯度下降算法对待训练的图像风格迁移模型的参数的调整。
可选的，上述方法还包括：将待处理图像输入训练好的图像风格迁移模型，通过训练好的图像风格迁移模型对待处理图像进行风格迁移。
可见，通过上述图像风格迁移模型训练方法，可以根据样本源域图像和样本目标域图像，提取源内容张量、源风格张量、目标内容张量和目标风格张量，并根据提取到的张量计算待训练的图像风格迁移模型的当前损失进行模型的训练，从而实现提取样本图像的多个维度的特征，根据提取到的特征进行训练，避免模型的内容敏感性。
可选的，参见图2，步骤S14通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失，包括：
步骤S141，通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的项目损失。
其中，项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种。
步骤S142，根据项目损失计算得到当前损失。
其中，根据项目损失计算得到当前损失，可以通过预设公式：
L＝Ladv+λrecLrec-λdsLds+λcycLctc+λlatentLlatent+λperLper，
计算当前损失，其中，Ladv为对抗损失，Lec为重构损失，Lds为风格多样性损失，Lcyc为循环重构损失，Llatent为潜在语义损失，Lper为感知损失，λrec、λds、λctc、λlatent、λper均表示预设系数。
可见，通过上述方法，可以通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的项目损失，根据项目损失计算得到当前损失。从而根据当前损失对待训练的图像风格迁移模型进行训练。
可选的，重构损失的计算方式，包括：
1、通过预设生成器，根据源内容张量和源风格张量计算得到源域域内重构图；
2、通过预设生成器，根据目标内容张量和目标风格张量计算得到目标域域内重构图；
3、根据源域域内重构图和目标域域内重构图，通过第一预设损失函数计算得到重构损失。
在实际使用过程中，可以将源内容张量Ix和源风格张量Sx输入预设生成器G得到源域域内重构图Xrec，将目标域内容张量Iy和目标域风格张量Sy输入预设生成器G得到目标域域内重构图Yrec，通过预设公式：
xrec＝G(Ix，Sx)，yrec＝G(Iy，St)；
Lrec＝Ex(||x-xec||2)+Ey(||y-yrec||2)；
计算得到重构损失。其中，重构损失相当于在向量形式下，重构图和原图之间的距离，Ex表示x的均值，Ey表示y的均值。
可选的，潜在语义损失的计算方式，参见图3，包括：
1、通过预设生成器，根据源内容张量和目标风格张量计算得到源域生成图；通过预设生成器，根据目标内容张量和源风格张量计算得到目标域生成图；
2、将目标域生成图输入内容编码层，得到重构目标内容张量；将目标域生成图输入风格编码层，得到重构目标风格张量；将源域生成图输入内容编码层，得到重构源域内容张量；将源域生成图输入风格编码层，得到重构源域风格张量；
3、根据重构目标内容张量和重构目标风格张量，通过第二预设损失函数计算得到第二潜在语义损失；根据重构源域内容张量和重构源域风格张量，通过第二预设损失函数计算得到第一潜在语义损失；
4、计算第一潜在语义损失和第二潜在语义损失之和，得到潜在语义损失。
在实际使用过程中，参见图4，可以将源内容张量Ix和目标域风格张量Sy输入预设生成器得到源域生成图Y2X_fake，将目标域内容张量Iy和源风格张量Sx输入预设生成器G得到目标域生成图X2Y_fake；
将目标域生成图X2Y_fake和源域生成图Y2X_fake分别输入内容编码层和风格编码层得到重构源内容张量Ix_fake，重构源风格张量Sx_fake，重构目标域内容张量Iy_fake和重构目标域风格张量Sy_fake，通过预设公式：
Y2X_fake＝Ex，y(G(Ix，sy))，X2Y_fake＝Ex，y(G(Iy，sx))；
Ix_fake＝Ex，y(AAE(Y2X_fake))，Sx_fake＝Ex，y(E(X2Y_fake))；
Iy_fake＝Ex，y(AAE(X2Y_fake))，Sy_fake＝Ex，y(E(Y2X_fake))；
Llatent1＝Ex(||Ix-Ix_fake||2)+Ex(||Sx-Sx_fake||2)；
Llatent2＝Ey(||Iy-Iy_fake||2)+Ey(||Sy-Sy_fake||2)；
Llatent＝Llatent1+Llatent2；
计算潜在语义损失，其中，Llatent1为第一潜在语义损失，Llatent2为第二潜在语义损失，Ex，y表示x和y之间的均值。
可选的，循环重构损失的计算方式，参见图3，包括：
1、通过预设生成器，根据重构源域内容张量和重构源风格张量计算得到循环重构源域图；通过预设生成器，根据重构目标域风格张量和重构目标域内容张量计算得到循环重构目标域图；
2、根据循环重构源域图和循环重构目标域图，通过第三预设损失函数计算得到循环重构损失。
在实际使用过程中，可以将重构源内容张量Ix_fake，重构源风格张量Sx_fake，重构目标域内容张量Iy_fake和重构目标域风格张量Sy_fake输入预设生成器得到循环重构源域图Xcyc和循环重构目标域图Ycyc，并通过预设公式：
Lcyc＝Ex(||x-xcyc||)+Ey(||y-ycyc||)，
计算得到循环重构损失。
可选的，对抗损失的计算方式，参见图5，包括：
1、随机生成风格张量，得到第一随机风格张量；
2、通过预设生成器，根据随机风格张量和源内容张量生成第一虚假源域图；通过预设生成器，根据随机风格张量和目标内容张量生成第一虚假目标域图；
3、根据第一虚假目标域图和样本目标域图像，通过第四预设损失函数计算得到第二对抗损失；根据第一虚假源域图和样本源域图像，通过第四预设损失函数计算得到第一对抗损失；
4、计算第一对抗损失和第二对抗损失之和，得到对抗损失。
在实际使用过程中，可以将源域图片x和虚假图片fakeX输入源域判别器D1，通过预设公式：
Figure GDA0003920340770000121
计算得到第一对抗损失Ladv1。
可以通过生成随机风格张量s，将源内容张量Ix和随机风格张量s输入预设生成器G得到虚假图片fakeY，将目标域图片y、虚假图片fakeX输入目标域判断器D2，通过预设公式：
Figure GDA0003920340770000122
计算得到第二对抗损失Ladv2。
Figure GDA0003920340770000123
然后，根据公式：Ladv＝Ladv1+Ladv2，计算第一对抗损失和第二对抗损失之和，得到对抗损失。其中，D表示判别器，α为预设系数，Ey，s表示y和s之间的均值，Ex，s表示x和s之间的均值。
可选的，风格多样性损失的计算方式，包括：
1、随机生成四种不同的风格张量，得到第二随机风格张量、第三随机风格张量、第四随机风格张量和第五随机风格张量；
2、通过预设生成器，根据第；随机风格张量和源内容张量，生成第二虚假源域图；通过预设生成器，根据第三随机风格张量和源内容张量，生成第三虚假源域图；
3、通过预设生成器，根据第四随机风格张量和目标内容张量，生成第二虚假目标域图；通过预设生成器，根据第五随机风格张量和目标内容张量，生成第三虚假目标域图；
4、根据第二虚假源域图和第三虚假源域图，通过第五预设损失函数计算得到第一风格多样性损失；根据第二虚假目标域图和第三虚假目标域图，通过第五预设损失函数计算得到第二风格多样性损失；
5、计算第一风格多样性损失和第二风格多样性损失之和，得到风格多样性损失。
在实际使用过程中，可以通过随机生成四个不同的风格张量S1，S2，S3和S4，将源内容张量Ix分别和S1，S2输入预设生成器，得到两个虚假图像fakeX1，fakeX2；将目标域内容张量Iy分别和S3，S4输入生成器得到两个虚假图像fakeY1，fakeY2，通过预设公式：
Lds＝Ex，y，s1，s2[||G(Ix，s1)-G(Ix，s2)||+||G(Iy，s3)-G(Iy，s4)||]，
计算得到风格多样性损失，Ex，y，z1，z2表示x、y、s1、s2之间的均值。
可选的，感知损失的计算方式，包括：
根据样本源域图像、源域域内重构图、第一虚假源域图、循环重构源域图、样本目标域图像、目标域域内重构图、第一虚假目标域图和循环重构目标域图，通过第六预设损失函数计算得到感知损失。
在实际使用过程中，可以将样本源域图像x，源域域内重构图Xrec，虚假源域图fakeX，循环重构源域图Xcyc输入VGG网络(Visual Geometry Group Network)中，分别得到四个感知层输出张量，计算其余三个张量与源域图片x输出张量的距离；将样本目标域图片y，目标域域内重构图Yrec，虚假目标域图fakeY，循环重构目标域图Ycyc输入VGG网络中，分别得到四个感知层输出张量，计算其余三个张量与目标域图片y输出张量的距离：然后计算两个距离之和，得到感知损失。
Lper＝Ex((||Φ(x)-Φ(xec)||2+||Φ(x)-Φ(G(Ix，s)||2+||Φ(x)-Φ(xcyc)||2+||Φ(y)-Φ(yrec)||2+Ey(||Φ(y)-Φ(G(Iy，s)||2+||Φ(y)-Φ(ycyc)||2))/3*H*W，
其中，H和W分别表示了输入图片的长度和宽度，Φ表示VGG网络中的感知层。
参见图6，图6为本申请实施例的提供的图像风格迁移模型训练方法的一种实例图，包括：
步骤S60，内容编码器和风格编码器得到相应内容张量和风格张量；
步骤S61，将同域内容张量和风格张量输入生成器得到同域重构图，并计算同域重构损失；
步骤S62，将不同域内容张量和风格张量输入生成器得到不同域重构图；
步骤S63，将不同域重构图输入内容编码器和风格编码器得到两个域的重构内容张量和重构风格张量；
步骤S64，根据两个域的重构内容张量和重构风格张量与他们相应的内容张量和风格张量计算潜在语义空间损失；
步骤S65，将同域的重构内容张量和重构风格张量输入生成器得到源域循环重构图和目标域循环重构图，并计算循环损失；
步骤S66，随机生成风格张量，并结合相应内容张量生成两域虚假图，将其输入对应判别器计算对抗损失值；
步骤S67，随机生成多个风格张量，结合相应内容张量生成虚假图，计算虚假图之间的风格差异；
步骤S68，将源域和目标域的原图域内重置图、循环重构图输入VGG网络，得到感知损失值；
步骤S69，计算总损失值，通过Adam(Adaptive moment estimation，适应性矩阵估计)算法更新模型参数。
本申请实施例的另一方面，还提供了一种图像风格迁移模型训练装置，参见图7，图7为本申请实施例提供的图像风格迁移模型训练装置的一种结构示意图，上述装置包括：
样本输入模块701，用于将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，图像风格迁移模型包括内容编码层和风格编码层；
源特征提取模块702，用于通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量；
目标特征提取模块703，用于通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；
当前损失计算模块704，用于通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；
循环训练模块705，用于根据当前损失对待训练的图像风格迁移模型的参数进行调整，返回样本输入模块继续执行，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。
可选的，当前损失计算模块704，包括：
项目损失计算子模块，用于通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的项目损失，其中，项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种；
当前损失计算子模块，用于根据项目损失计算得到当前损失。
可选的，重构损失的计算方式包括：通过预设生成器，根据源内容张量和源风格张量计算得到源域域内重构图；通过预设生成器，根据目标内容张量和目标风格张量计算得到目标域域内重构图；根据源域域内重构图和目标域域内重构图，通过第一预设损失函数计算得到重构损失。
可选的，潜在语义损失的计算方式包括：通过预设生成器，根据源内容张量和目标风格张量计算得到源域生成图；通过预设生成器，根据目标内容张量和源风格张量计算得到目标域生成图；将目标域生成图输入内容编码层，得到重构目标内容张量；将目标域生成图输入风格编码层，得到重构目标风格张量；将源域生成图输入内容编码层，得到重构源域内容张量；将源域生成图输入风格编码层，得到重构源域风格张量；根据重构目标内容张量和重构目标风格张量，通过第二预设损失函数计算得到第二潜在语义损失；根据重构源域内容张量和重构源域风格张量，通过第二预设损失函数计算得到第一潜在语义损失；计算第一潜在语义损失和第二潜在语义损失之和，得到潜在语义损失。
可选的，循环重构损失的计算方式包括：通过预设生成器，根据重构源域内容张量和重构源风格张量计算得到循环重构源域图；通过预设生成器，根据重构目标域风格张量和重构目标域内容张量计算得到循环重构目标域图；根据循环重构源域图和循环重构目标域图，通过第三预设损失函数计算得到循环重构损失。
可选的，对抗损失的计算方式包括：随机生成风格张量，得到第一随机风格张量；通过预设生成器，根据随机风格张量和源内容张量生成第一虚假源域图；通过预设生成器，根据随机风格张量和目标内容张量生成第一虚假目标域图；根据第一虚假目标域图和样本目标域图像，通过第四预设损失函数计算得到第二对抗损失；根据第一虚假源域图和样本源域图像，通过第四预设损失函数计算得到第一对抗损失；计算第一对抗损失和第二对抗损失之和，得到对抗损失。
可选的，风格多样性损失的计算方式包括：随机生成四种不同的风格张量，得到第二随机风格张量、第三随机风格张量、第四随机风格张量和第五随机风格张量；通过预设生成器，根据第二随机风格张量和源内容张量，生成第二虚假源域图；通过预设生成器，根据第三随机风格张量和源内容张量，生成第三虚假源域图；通过预设生成器，根据第四随机风格张量和目标内容张量，生成第二虚假目标域图；通过预设生成器，根据第五随机风格张量和目标内容张量，生成第三虚假目标域图；根据第二虚假源域图和第三虚假源域图，通过第五预设损失函数计算得到第一风格多样性损失；根据第二虚假目标域图和第三虚假目标域图，通过第五预设损失函数计算得到第二风格多样性损失；计算第一风格多样性损失和第二风格多样性损失之和，得到风格多样性损失。
可选的，感知损失的计算方式包括：根据样本源域图像、源域域内重构图、第一虚假源域图、循环重构源域图、样本目标域图像、目标域域内重构图、第一虚假目标域图和循环重构目标域图，通过第六预设损失函数计算得到感知损失。
可选的，上述装置还包括：
风格迁移模块，用于将待处理图像输入训练好的图像风格迁移模型，通过训练好的图像风格迁移模型对待处理图像进行风格迁移。
可见，通过上述图像风格迁移模型训练装置，可以根据样本源域图像和样本目标域图像，提取源内容张量、源风格张量、目标内容张量和目标风格张量，并根据提取到的张量计算待训练的图像风格迁移模型的当前损失进行模型的训练，从而实现提取样本图像的多个维度的特征，根据提取到的特征进行训练，避免模型的内容敏感性。
本申请实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：
将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，图像风格迁移模型包括内容编码层和风格编码层；
通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标域内容张量；
通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；
通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；
根据当前损失对待训练的图像风格迁移模型的参数进行调整，返回将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像风格迁移模型训练方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像风格迁移模型训练方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (3)

1.一种图像风格迁移模型训练方法，其特征在于，所述方法包括：
将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，所述图像风格迁移模型包括内容编码层和风格编码层；
通过所述内容编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标内容张量；
通过所述风格编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；
通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失；
根据所述当前损失对所述待训练的图像风格迁移模型的参数进行调整，返回所述将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至所述当前损失小于预设阈值，得到训练好的图像风格迁移模型；
所述通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失，包括：
通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的项目损失，其中，所述项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种；
根据所述项目损失计算得到所述当前损失；
所述重构损失的计算方式包括：通过预设生成器，根据所述源内容张量和所述源风格张量计算得到源域域内重构图；通过预设生成器，根据所述目标内容张量和所述目标风格张量计算得到目标域域内重构图；根据所述源域域内重构图和所述目标域域内重构图，通过第一预设损失函数计算得到重构损失；
所述潜在语义损失的计算方式包括：通过预设生成器，根据所述源内容张量和所述目标风格张量计算得到源域生成图；通过预设生成器，根据所述目标内容张量和所述源风格张量计算得到目标域生成图；将所述目标域生成图输入所述内容编码层，得到重构目标内容张量；将所述目标域生成图输入所述风格编码层，得到重构目标风格张量；将所述源域生成图输入所述内容编码层，得到重构源内容张量；将所述源域生成图输入所述风格编码层，得到重构源风格张量；根据所述重构目标内容张量和所述重构目标风格张量，通过第二预设损失函数计算得到第二潜在语义损失；根据所述重构源内容张量和所述重构源风格张量，通过第二预设损失函数计算得到第一潜在语义损失；计算所述第一潜在语义损失和所述第二潜在语义损失之和，得到所述潜在语义损失；
所述循环重构损失的计算方式包括：通过预设生成器，根据所述重构源内容张量和所述重构源风格张量计算得到循环重构源域图；通过预设生成器，根据所述重构目标风格张量和所述重构目标内容张量计算得到循环重构目标域图；根据所述循环重构源域图和所述循环重构目标域图，通过第三预设损失函数计算得到所述循环重构损失；
所述对抗损失的计算方式包括：随机生成风格张量，得到第一随机风格张量；通过所述预设生成器，根据所述随机风格张量和所述源内容张量生成第一虚假源域图；通过所述预设生成器，根据所述随机风格张量和所述目标内容张量生成第一虚假目标域图；根据所述第一虚假目标域图和所述样本目标域图像，通过第四预设损失函数计算得到第二对抗损失；根据所述第一虚假源域图和所述样本源域图像，通过第四预设损失函数计算得到第一对抗损失；计算所述第一对抗损失和所述第二对抗损失之和，得到所述对抗损失；
所述风格多样性损失的计算方式包括：随机生成四种不同的风格张量，得到第二随机风格张量、第三随机风格张量、第四随机风格张量和第五随机风格张量；通过所述预设生成器，根据所述第二随机风格张量和所述源内容张量，生成第二虚假源域图；通过所述预设生成器，根据所述第三随机风格张量和所述源内容张量，生成第三虚假源域图；通过所述预设生成器，根据所述第四随机风格张量和所述目标内容张量，生成第二虚假目标域图；通过所述预设生成器，根据所述第五随机风格张量和所述目标内容张量，生成第三虚假目标域图；根据所述第二虚假源域图和所述第三虚假源域图，通过第五预设损失函数计算得到第一风格多样性损失；根据所述第二虚假目标域图和所述第三虚假目标域图，通过第五预设损失函数计算得到第二风格多样性损失；计算所述第一风格多样性损失和所述第二风格多样性损失之和，得到所述风格多样性损失；
所述感知损失的计算方式包括：根据所述样本源域图像、所述源域域内重构图、所述第一虚假源域图、所述循环重构源域图、所述样本目标域图像、所述目标域域内重构图、所述第一虚假目标域图和所述循环重构目标域图，通过第六预设损失函数计算得到所述感知损失。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将待处理图像输入所述训练好的图像风格迁移模型，通过所述训练好的图像风格迁移模型对所述待处理图像进行风格迁移。
3.一种图像风格迁移模型训练装置，其特征在于，所述装置包括：
样本输入模块，用于将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，所述图像风格迁移模型包括内容编码层和风格编码层；
源特征提取模块，用于通过所述内容编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源内容张量和目标内容张量；
目标特征提取模块，用于通过所述风格编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源风格张量和目标风格张量；
当前损失计算模块，用于通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失；
循环训练模块，用于根据所述当前损失对所述待训练的图像风格迁移模型的参数进行调整，返回所述样本输入模块继续执行，直至所述当前损失小于预设阈值，得到训练好的图像风格迁移模型；
所述当前损失计算模块，包括：
项目损失计算子模块，用于通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的项目损失，其中，所述项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种；
当前损失计算子模块，用于根据所述项目损失计算得到所述当前损失；
所述重构损失的计算方式包括：通过预设生成器，根据所述源内容张量和所述源风格张量计算得到源域域内重构图；通过预设生成器，根据所述目标内容张量和所述目标风格张量计算得到目标域域内重构图；根据所述源域域内重构图和所述目标域域内重构图，通过第一预设损失函数计算得到重构损失；
所述潜在语义损失的计算方式包括：通过预设生成器，根据所述源内容张量和所述目标风格张量计算得到源域生成图；通过预设生成器，根据所述目标内容张量和所述源风格张量计算得到目标域生成图；将所述目标域生成图输入所述内容编码层，得到重构目标内容张量；将所述目标域生成图输入所述风格编码层，得到重构目标风格张量；将所述源域生成图输入所述内容编码层，得到重构源内容张量；将所述源域生成图输入所述风格编码层，得到重构源风格张量；根据所述重构目标内容张量和所述重构目标风格张量，通过第二预设损失函数计算得到第二潜在语义损失；根据所述重构源内容张量和所述重构源风格张量，通过第二预设损失函数计算得到第一潜在语义损失；计算所述第一潜在语义损失和所述第二潜在语义损失之和，得到所述潜在语义损失；
所述循环重构损失的计算方式包括：通过预设生成器，根据所述重构源内容张量和所述重构源风格张量计算得到循环重构源域图；通过预设生成器，根据所述重构目标风格张量和所述重构目标内容张量计算得到循环重构目标域图；根据所述循环重构源域图和所述循环重构目标域图，通过第三预设损失函数计算得到所述循环重构损失；
所述对抗损失的计算方式包括：随机生成风格张量，得到第一随机风格张量；通过所述预设生成器，根据所述随机风格张量和所述源内容张量生成第一虚假源域图；通过所述预设生成器，根据所述随机风格张量和所述目标内容张量生成第一虚假目标域图；根据所述第一虚假目标域图和所述样本目标域图像，通过第四预设损失函数计算得到第二对抗损失；根据所述第一虚假源域图和所述样本源域图像，通过第四预设损失函数计算得到第一对抗损失；计算所述第一对抗损失和所述第二对抗损失之和，得到所述对抗损失；
所述风格多样性损失的计算方式包括：随机生成四种不同的风格张量，得到第二随机风格张量、第三随机风格张量、第四随机风格张量和第五随机风格张量；通过所述预设生成器，根据所述第二随机风格张量和所述源内容张量，生成第二虚假源域图；通过所述预设生成器，根据所述第三随机风格张量和所述源内容张量，生成第三虚假源域图；通过所述预设生成器，根据所述第四随机风格张量和所述目标内容张量，生成第二虚假目标域图；通过所述预设生成器，根据所述第五随机风格张量和所述目标内容张量，生成第三虚假目标域图；根据所述第二虚假源域图和所述第三虚假源域图，通过第五预设损失函数计算得到第一风格多样性损失；根据所述第二虚假目标域图和所述第三虚假目标域图，通过第五预设损失函数计算得到第二风格多样性损失；计算所述第一风格多样性损失和所述第二风格多样性损失之和，得到所述风格多样性损失；
所述感知损失的计算方式包括：根据所述样本源域图像、所述源域域内重构图、所述第一虚假源域图、所述循环重构源域图、所述样本目标域图像、所述目标域域内重构图、所述第一虚假目标域图和所述循环重构目标域图，通过第六预设损失函数计算得到所述感知损失。
CN202110556271.5A 2021-05-21 2021-05-21 一种图像风格迁移模型训练方法、装置及电子设备 Active CN113160042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110556271.5A CN113160042B (zh) 2021-05-21 2021-05-21 一种图像风格迁移模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110556271.5A CN113160042B (zh) 2021-05-21 2021-05-21 一种图像风格迁移模型训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113160042A CN113160042A (zh) 2021-07-23
CN113160042B true CN113160042B (zh) 2023-02-17

Family

ID=76877046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110556271.5A Active CN113160042B (zh) 2021-05-21 2021-05-21 一种图像风格迁移模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113160042B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792853B (zh) * 2021-09-09 2023-09-05 北京百度网讯科技有限公司 字符生成模型的训练方法、字符生成方法、装置和设备
CN113724132B (zh) * 2021-11-03 2022-02-18 浙江宇视科技有限公司 图像风格迁移处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN110263865A (zh) * 2019-06-24 2019-09-20 北方民族大学 一种半监督多模态多类别的图像翻译方法
CN111445476A (zh) * 2020-02-27 2020-07-24 上海交通大学 基于多模态无监督图像内容解耦的单目深度估计方法
CN111815509A (zh) * 2020-09-02 2020-10-23 北京邮电大学 一种图像风格转换及模型训练的方法及装置
CN112365556A (zh) * 2020-11-10 2021-02-12 成都信息工程大学 一种基于感知损失和风格损失的图像扩展方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN110263865A (zh) * 2019-06-24 2019-09-20 北方民族大学 一种半监督多模态多类别的图像翻译方法
CN111445476A (zh) * 2020-02-27 2020-07-24 上海交通大学 基于多模态无监督图像内容解耦的单目深度估计方法
CN111815509A (zh) * 2020-09-02 2020-10-23 北京邮电大学 一种图像风格转换及模型训练的方法及装置
CN112365556A (zh) * 2020-11-10 2021-02-12 成都信息工程大学 一种基于感知损失和风格损失的图像扩展方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄若孜等.基于矩阵变换的文本风格迁移方法.《计算机系统应用》.2020,(第09期),全文. *

Also Published As

Publication number Publication date
CN113160042A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN112000819B (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
CN110222220B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN110309795B (zh) 视频检测方法、装置、电子设备及存储介质
CN113160042B (zh) 一种图像风格迁移模型训练方法、装置及电子设备
CN106855952B (zh) 基于神经网络的计算方法及装置
CN111062426A (zh) 一种建立训练集的方法、装置、电子设备以及介质
CN111428805A (zh) 显著性物体的检测方法、装置、存储介质及电子设备
TW201931163A (zh) 影像搜尋方法、系統和索引建構方法和媒體
CN111027412A (zh) 一种人体关键点识别方法、装置及电子设备
CN112149545B (zh) 样本生成方法、装置、电子设备及存储介质
WO2023179074A1 (zh) 图像融合方法及装置、电子设备、存储介质、计算机程序、计算机程序产品
CN115205736A (zh) 视频数据的识别方法和装置、电子设备和存储介质
CN107506479A (zh) 一种对象推荐方法和装置
CN115797643A (zh) 一种图像去噪方法、装置、系统、边缘设备及存储介质
CN112530003A (zh) 一种三维人手重建方法、装置及电子设备
CN114972090B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
US12112524B2 (en) Image augmentation method, electronic device and readable storage medium
CN113360744B (zh) 媒体内容的推荐方法、装置、计算机设备和存储介质
CN112862008A (zh) 偏好预测模型的训练方法及用户偏好的预测方法
CN112329925B (zh) 模型生成方法、特征提取方法、装置及电子设备
CN111429294B (zh) 账户识别方法及装置、电子设备和可存储介质
CN116070695B (zh) 图像检测模型的训练方法、图像检测方法及电子设备
CN118071867B (zh) 将文本数据转换为图像数据的方法和装置
CN113010735B (zh) 一种视频分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant