CN116579376A - 风格模型生成方法、装置和计算机设备 - Google Patents
风格模型生成方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN116579376A CN116579376A CN202210109984.1A CN202210109984A CN116579376A CN 116579376 A CN116579376 A CN 116579376A CN 202210109984 A CN202210109984 A CN 202210109984A CN 116579376 A CN116579376 A CN 116579376A
- Authority
- CN
- China
- Prior art keywords
- style
- model
- sample
- training
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000000523 sample Substances 0.000 claims abstract description 229
- 238000012549 training Methods 0.000 claims abstract description 159
- 239000013074 reference sample Substances 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000004590 computer program Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 23
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 16
- 239000013598 vector Substances 0.000 description 14
- 238000010422 painting Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000010428 oil painting Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种风格模型生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。所述方法包括：获取目标样本的初始风格特征；通过第一风格模型对参考样本进行风格化处理，获得第一风格特征，通过第二风格模型对参考样本进行风格化处理，获得第二风格特征；该初始风格特征与该第一风格特征对应为同一风格域的风格特征；训练获得第二风格模型的样本数量大于训练获得第一风格模型的样本数量；基于初始风格特征、第一风格特征和第二风格特征，对第一风格模型进行模型更新，得到目标样本对应的目标风格模型。采用上述方法有利于扩展风格模型生成方法的应用场景。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种风格模型生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术
随着计算机技术的飞速发展，以计算机技术为基础的图像、音频和视频等处理技术也得到了前所未有的发展，被广泛应用于短视频、直播等场景。用户可以根据个人喜好，选择对应的风格模型，即可实现真实图像、音频或视频的风格转换，以提高娱乐效果，凸显个人特色。
传统的风格模型生成方法，通过对不同风格域的目标样本进行机器学习，训练获得对应风格域的目标风格模型。由于机器学习的效果与样本数量直接相关，当样本数量较少时，采用传统的风格模型生成方法生成的目标风格模型，并不能准确描述对应风格域的特征，存在模型不准确，以及风格转换生成质量差的问题。因此，传统的风格模型生成方法，存在应用场景受限的缺点。
发明内容
基于此，有必要针对上述技术问题，提供一种能够扩展应用场景的风格模型生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一种风格模型生成方法，所述方法包括：
获取目标样本的初始风格特征；
通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得所述第二风格模型的样本数量大于训练获得所述第一风格模型的样本数量，且所述第二风格模型和所述第一风格模型的模型结构相同；
基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型。
在其中一个实施例中，对各所述子风格特征进行处理，得到所述目标样本的初始风格特征，包括：
对各所述子风格特征求平均，得到所述目标样本的初始风格特征。
在其中一个实施例中，通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征，包括：
通过第二风格模型对参考样本进行风格化处理得到第二风格化结果；
提取所述第二风格化结果中的风格特征，获得所述第二风格特征。
在其中一个实施例中，所述第一相似度和所述第二相似度均可以为KL散度。
在其中一个实施例中，所述插值系数为所述第一KL散度和所述第二KL散度的比值。
在其中一个实施例中，所述采用所述插值系数对所述第二风格模型的模型参数进行插值处理，得到所述目标样本对应的目标风格模型，包括：
采用所述插值系数对所述第二风格模型的模型参数进行线性插值，得到所述目标样本对应的目标风格模型。
一种风格模型生成装置，所述装置包括：
初始风格特征获取模块，用于获取目标样本的初始风格特征；
模型风格特征获取模块，用于通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得所述第二风格模型的样本数量大于训练获得所述第一风格模型的样本数量，且所述第二风格模型和所述第一风格模型的模型结构相同；
目标风格模型确定模块，用于基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标样本的初始风格特征；
通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得所述第二风格模型的样本数量大于训练获得所述第一风格模型的样本数量，且所述第二风格模型和所述第一风格模型的模型结构相同；
基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标样本的初始风格特征；
通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得所述第二风格模型的样本数量大于训练获得所述第一风格模型的样本数量，且所述第二风格模型和所述第一风格模型的模型结构相同；
基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型。
一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取目标样本的初始风格特征；
通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得所述第二风格模型的样本数量大于训练获得所述第一风格模型的样本数量，且所述第二风格模型和所述第一风格模型的模型结构相同；
基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型。
上述风格模型生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，在确定目标样本的目标风格模型的过程中，基于模型结构相同的第二风格模型，对与目标样本对应同一风格域的第一风格模型进行模型更新，由于训练获得第二风格模型的样本数量大于训练获得第一风格模型的样本数量，因此，相对于第一风格模型，第二风格模型具有更高的准确性。基于此，采用上述方法对第一风格模型进行模型更新后得到目标风格模型，可以提高目标风格模型的准确性，在一定程度上使得目标风格模型的生成质量不再受制于样本数量，有利于扩展风格模型生成方法的应用场景。
附图说明
图1为一个实施例中风格模型生成方法的流程示意图；
图2为一个实施例中基于初始风格特征、第一风格特征和第二风格特征，对第一风格模型进行模型更新，得到目标样本对应的目标风格模型的流程示意图；
图3为一个实施例中获取目标样本的初始风格特征的流程示意图；
图4为一个实施例中通过预设的风格提取网络提取特征信息对应的风格特征，获得目标样本的初始风格特征的流程示意图；
图5为一个实施例中通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征的流程示意图；
图6为一个实施例中通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征的流程示意图；
图7为一个实施例中参考样本及其对应的第一风格化结果和第二风格化结果的示意图；
图8为一个实施例中训练获得生成对抗网络模型的流程示意图；
图9为一个实施例中根据用以训练生成对抗网络模型的训练样本的样本数量，确定训练样本对应的学习率的流程示意图；
图10为一个实施例中第一风格模型的训练架构示意图；
图11为一个实施例中第一风格模型的更新过程示意图；
图12为一个实施例中风格模型生成装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
风格模型是指对应于某一特定的风格域，掌握该风格域的风格特征，以及在该风格域内对样本进行风格转换的规律，并且可以基于该规律对样本进行风格化处理，得到样本对应的，具备该风格域的风格特征的风格化结果的模型。
传统的风格模型生成方法，利用不同风格域的训练样本，进行模型训练获得不同风格域对应的风格模型。其中，各训练样本的样本数量为预定数据量，以保证各对应风格模型的生成质量。用户将图像、音频或视频等原始数据输入特定风格域的风格模型，即可实现原始数据在该风格域的风格化转换结果。然而实际应用过程中，总是存在某些风格域难以获取预定数据量的训练样本，或者训练样本的生成成本较高，导致该风格域的样本数量较少。若直接采用与预定数据量的训练样本完全相同的参数和算法，进行较少样本数量的目标样本的模型训练，可能会存在难以训练的问题，或者出现过拟合的情况；若仅通过调整模型训练的参数，匹配较少样本数量的目标样本，训练得到目标风格模型，又会受限于目标样本的样本数量，导致得到的目标风格模型无法准确描述对应风格域的特征。
基于此，本申请提出一种风格模型生成方法，考虑到训练获得第二风格模型的样本数量大于训练获得第一风格模型的样本数量，且第一风格模型和第二风格模型的模型结构相同，基于第二风格模型对目标样本对应的第一风格模型进行模型更新，得到目标风格模型，可以提高样本数量较少的目标样本对应的目标风格模型的质量，扩展风格模型生成方法的应用场景。
可以理解，本申请涉及的方法，可以应用于图像、音频或视频等不同类型数据样本的风格模型的生成。例如，图像可以包括照片、绘画作品和影视画面等。图像风格模型可以是不同的动漫风格、绘画风格或摄影风格等。以绘画风格为例，可以基于绘画材料划分多种绘画风格，例如中国画、水粉画、素描画、和油画等；也可以基于绘画技法进行绘画风格的划分，例如工笔风格、写意风格、抽象风格和写实风格等；还可以基于艺术家的独特画风，划分出多种绘画风格，例如“梵高风格”、“徐悲鸿风格”和“毕加索风格”等。同样的，音频风格可以包括音频中声音的音色风格以及背景音乐对应的音乐风格。例如，音色风格可以是童声、男声、女声或特定动漫人物的声音风格等；音乐风格可以是流行乐风格、爵士乐风格或摇滚乐风格等，也可以是钢琴风格、电子琴风格、二胡风格等等。进一步的，视频数据样本通常包括图像样本和音频样本，因此，视频风格模型可以由上述图像风格模型和音频风格模型组合而成，在此不再赘述。
在一个实施例中，如图1所示，提供了一种风格模型生成方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。本实施例中，该方法包括以下步骤：
步骤S101，获取目标样本的初始风格特征。
其中，目标样本是指需要生成目标风格模型的样本。如前文所述的，目标样本的具体类型并不唯一，例如可以是图像样本、音频样本或视频样本等。风格特征是指能够体现目标样本的风格特点的信息。以图像样本为例，目标样本的风格特点可以包括色彩、纹理、形状和空间关系等等。目标样本的初始风格特征，是指不对目标样本进行风格转换处理，直接从目标样本提取的风格特征。进一步的，初始风格特征可以是向量或矩阵等形式。
具体的，终端可以对目标样本进行风格特征提取，得到目标样本的初始风格特征。例如，可以利用各种机器学习网络的模型对目标样本进行风格特征提取，得到目标样本的初始风格特征。又如，在目标样本为图像样本，且图像样本的风格特点主要为色彩特点的情况下，终端可以提取目标样本在每个颜色通道上的颜色通道值，再分别对各颜色通道值进行卷积和加权求和运算，得到目标样本的初始风格特征。
步骤S102，通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征。
其中，参考样本与目标样本的类型一致，第一风格特征和第二风格特征与初始风格特征的形式一致。即，目标样本为图像样本时，参考样本也为图像样本；初始风格特征为向量时，第一风格特征和第二风格特征也为向量。需要说明的是，本实施例中，仅需确保参考样本与目标样本的类型一致，对参考样本对应的风格域并无要求。以图像样本为例，参考样本具体可以是真实照片、油画、漫画、水粉画等等。进一步的，第一风格特征是指可以体现第一风格模型的风格特点的信息；第二风格特征是指可以体现第二风格模型的风格特点的信息。
具体的，通过第一风格模型对参考样本进行风格化处理，可以获得第一风格模型对应的第一风格特征，同样的，通过第二风格模型对参考样本进行风格化处理，可以获得第二风格模型对应的第二风格特征。其中，训练获得第二风格模型的样本数量大于训练获得第一风格模型的样本数量，且第二风格模型和第一风格模型的模型结构相同。需要说明的是，初始风格特征与第一风格特征对应为同一风格域的风格特征，即第一风格特征与初始风格特征均为目标样本对应的第一风格域的风格特征，区别在于二者的获取方式不同：初始风格特征是直接从目标样本中提取得到的，而第一风格特征是结合参考样本和第一风格模型获得的。因此，初始风格特征必然能够体现目标样本的风格特点，而第一风格特征与目标样本的风格特点的契合程度，与第一风格模型的准确性相关。
进一步的，在模型的训练过程中，训练得到该模型的样本数量的多少与模型的准确性有着直接的联系，样本数量越大，误差越小模型准确性越高，反之，样本容量越小，误差越大模型准确性越低。基于此，在一个实施例中，训练获得第二风格模型的样本数量，与训练获得第一风格模型的样本数量的差异程度大于预设差异程度。其中，差异程度具体可以用训练获得第二风格模型的样本数量与训练获得第一风格模型的样本数量的差值表征，也可以是训练获得第二风格模型的样本数量与训练获得第一风格模型的样本数量的比值表征。预设差异程度可以根据不同风格模型样本数量的实际情况确定。具体的，针对目标样本，在存在多个第二风格模型的情况下，可以选用与第一风格模型的样本数量的大于预设差异程度的第二风格模型，以确保模型更新后，目标风格模型的准确性提升效果。
步骤S103，基于初始风格特征、第一风格特征和第二风格特征，对第一风格模型进行模型更新，得到目标样本对应的目标风格模型。
具体的，基于初始风格特征、第一风格特征和第二风格特征，对第一风格模型进行模型更新的具体方式并不唯一。
在一个实施例中，基于初始风格特征、第一风格特征和第二风格特征，获得目标样本对应的增量样本，并基于该增量样本对第一风格模型进行模型更新。
具体的，终端基于初始风格特征和第一风格特征的相似度，以及初始风格特征与第二风格特征的相似度，对初始风格特征进行插值处理后，可以获得初始风格特征对应的第一风格域的增量样本风格特征。再基于增量样本风格特征得到增量样本，利用该增量样本对第一风格模型进行增量训练，获得更新后的第一风格模型，即为目标样本对应的目标风格模型。
在另一个实施例中，如图2所示，步骤S103包括：
步骤S201，确定插值系数，该插值系数根据初始风格特征与第一风格特征的第一相似度，以及初始风格特征与第二风格特征的第二相似度确定。
其中，第一相似度和第二相似度可以为KL散度、JS散度或均方误差等形式。以KL散度为例，两个风格特征的KL散度越小，相似度越高，反之，KL散度越低，相似度越低。插值系数可以是第一相似度和第二相似度的比值，或者第二相似度与第一相似度的比值。
具体的，终端可以计算得到初始风格特征与第一风格特征的第一相似度，以及初始风格特征与第二风格特征的第二相似度，再根据该第一相似度和该第二相似度确定差值系数。
步骤S202，采用插值系数对第一风格模型的模型参数进行插值处理，得到目标样本对应的目标风格模型。
具体的，根据插值系数，可以确定第一风格模型和第二风格模型的模型参数的权重，再基于对应的模型参数和权重，则可得到更新后的第一风格模型的模型参数，获得目标样本对应的目标风格模型。
在一个实施例中，步骤S202包括：采用插值系数对第二风格模型的模型参数进行线性插值，得到所述目标样本对应的目标风格模型。
其中，线性插值是指插值函数为一次多项式的插值方式，其在插值节点上的插值误差为零。线性插值相比其他插值方式，如抛物线插值，具有简单、方便的特点。具体的，可以将对应的模型参数和权重进行加权求和，得到更新后的第一风格模型的模型参数，获得目标样本对应的目标风格模型。例如，插值系数为第一相似度和第二相似度的比值的情况下，目标风格模型的模型参数＝插值系数*第一风格模型的模型参数+(1-插值系数)*第二风格模型的模型参数。通过插值的方式对第一风格模型进行模型更新，算法简单，有利于提高风格模型生成方法的工作效率。
进一步的，针对目标样本，在存在多个第二风格模型的情况下，计算得到初始风格特征与各第二风格特征的第二相似度之后，可以选用与初始风格特征相似度最高的第二风格特征及其对应的第二风格模型，对第一风格模型进行更新，得到目标样本对应的目标风格模型，以提高目标风格模型的准确性提升效果。例如，目标样本为油画样本，而水粉画风格模型和漫画风格模型这两个模型的训练样本的样本数量，均大于油画风格域的第一风格模型的训练样本的样本数量，都可作为第二风格模型。通过分别计算油画风格特征和水粉画风格特征，以及油画风格特征和漫画风格特征的相似度，可以确定油画风格特征与水粉画风格特征的相似度更高，即可选用水粉画风格模型作为第二风格模型，对原始的油画风格模型进行更新，以提升模型更新效果。
上述风格模型生成方法，在确定目标样本的目标风格模型的过程中，基于模型结构相同的第二风格模型，对与目标样本对应同一风格域的第一风格模型进行模型更新，由于训练获得第二风格模型的样本数量大于训练获得第一风格模型的样本数量，因此，相对于第一风格模型，第二风格模型具有更高的准确性。基于此，采用上述方法对第一风格模型进行模型更新后得到目标风格模型，可以提高目标风格模型的准确性，在一定程度上使得目标风格模型的生成质量不再受制于样本数量，有利于扩展风格模型生成方法的应用场景。
在一个实施例中，目标样本包括至少两个样本数据。在该实施例的情形下，如图3所示，步骤S101包括：
步骤S301，提取目标样本中各样本数据的特征信息。
其中，样本数据的特征信息是指可以体现样本数据在某些维度上的特征的信息。例如，图片样本的亮度特征信息、纹理特征信息和色彩特征信息等等。
具体的，可以基于机器学习算法，构建用于进行特征信息提取的骨干网络，并将各样本数据分别输入骨干网络，由骨干网络对输入的目标样本进行特征信息提取，输出各样本数据的特征信息。
步骤S303，通过预设的风格提取网络提取特征信息对应的风格特征，获得目标样本的初始风格特征。
其中，风格提取网络基于机器学习算法构建。具体的，将特征信息输入预设的风格提取网络，由风格提取网络对特性信息进行处理后，可以得到特征信息对应的风格特征，进而获得目标样本的初始风格特征。进一步的，风格提取网络对特性信息进行的处理，包括但不限于特征分解、线性运算和归一化处理等等。
需要说明的是，获得目标样本的初始风格特征的具体方式并不唯一。
在一个实施例中，如图4所示，步骤S303包括：
步骤S401，通过预设的风格提取网络分别提取各样本数据的特征信息对应的子风格特征。
具体的，将各样本数据的特征信息分别输入预设的风格提取网络，由风格提取网络对特性信息进行处理后，可以得到各样本数据对应的子风格特征。
步骤S402，对各子风格特征进行处理，获得目标样本的初始风格特征。
具体的，对各子风格特征进行处理，获得目标样本的初始风格特征的方式并不唯一。例如，可以对各子风格特征求平均，得到目标样本的初始风格特征；也可以先对各子风格特征进行相关性分析，剔除噪声特征后，再对剩余的子风格特征求平均，得到目标样本的初始风格特征。
在另一个实施例中，步骤S301之后，步骤S303之前，还包括：对各样本数据的特征信息中同一类型的子特征信息求平均，获得目标样本的特征信息。
如前文所述，样本数据的特征信息是指可以体现样本数据在某些维度上的特征的信息。各样本数据的特征信息中同一类型的子特征信息，是指各样本数据的特征信息中，体现同一维度上的特征的信息。
具体的，提取目标样本中各样本数据的特征信息后，将得到多个样本数据对应的特征信息。各样本数据的特征信息所包含的子特征信息的类型相同，具体数值有所不同。以图片样本为例，样本数据1的特征信息1，以及样本数据2的特征信息2，均包含亮度特征信息、纹理特征信息和色彩特征信息等不同类型的子特征信息。基于此，对各样本数据的特征信息中，同一类型的子特征信息求平均，即可获得目标样本的特征信息。对应的，步骤S303包括：通过预设的风格提取网络提取目标样本的特征信息对应的风格特征，获得目标样本的初始风格特征。也即，本实施例的情形下，无需对各样本数据进行子初始风格特征的提取，只需将求平均之后，得到的目标样本的特征信息输入风格提取网络，就可以获得目标样本的初始风格特征。
上述实施例中，在目标样本包括至少两个样本数据的情况下，基于各样本数据的特征信息获得目标样本的初始风格特征，有利于提高初始风格特征的准确性。
在一个实施例中，如图5所示，通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，包括：
步骤S501，通过第一风格模型对参考样本进行风格化处理得到第一风格化结果。
其中，风格化处理即为风格转换处理，是参考样本从原始风格转换成第一风格模型对应的第一风格的过程。第一风格模型之所以可以实现样本的风格化处理，是因为第一风格模型投入使用之前，开发人员利用与目标样本对应的第一风格域的第一训练样本，对第一风格模型进行了模型训练，从而使得第一风格模型掌握对样本进行第一风格转换的规律，并可以基于该规律对样本进行风格化处理，得到第一风格化结果。可以理解，该第一风格化结果，为进行第一风格转换后的参考样本。例如，参考样本为真实人脸图片，第一风格模型为油画风格模型的情况下，第一风格化结果为油画风格下的人脸图片。
步骤S502，提取第一风格化结果的风格特征，获得第一风格特征。
具体的，终端可以对第一风格化结果进行风格特征提取，得到第一风格模型对应的第一风格化结果的第一风格特征。对第一风格化结果进行风格特征提取的具体方式，参见上文中对目标样本进行初始风格特征提取的方式，此处不再赘述。
进一步的，如前文所述，第二风格模型和第一风格模型的模型结构相同。基于此，在一个实施例中，如图6所示，通过第二风格模型对参考样本进行风格化处理，获得第二风格模型对应的第二风格特征，包括：
步骤S601，通过第二风格模型对参考样本进行风格化处理得到第二风格化结果。
步骤S602，提取第二风格化结果的风格特征，获得第二风格特征。
关于步骤S601和步骤S602的具体限定，分别参见上文中关于步骤S501和步骤S502的限定，此处不再赘述。
如图7所示，为一个实施例中参考样本及其对应的第一风格化结果和第二风格化结果的示意图。其中，参考样本为真实人脸图片，第一风格化结果通过第一动漫域对应的第一风格模型，对真实人脸图片进行风格化处理得到，第二风格化结果通过第二动漫域对应的第二风格模型，对真实人脸图片进行风格化处理得到。
上述实施例中，即是提供了第一风格特征和第二风格特征的获取方式，算法简单，有利于提高风格模型生成方法的工作效率。
需要说明的是，第一风格模型和第二风格模型的具体模型类型并不唯一，例如，第一风格模型和第二风格模型可以是以同一类型的机器学习网络模型。其中，机器学习网络模型可以是卷积神经网络模型、反卷积神经网络模型、深度神经网络模型或生成对抗网络模型等等。
在一个实施例中，第一风格模型和第二风格模型包括生成对抗网络模型。
其中，生成对抗网络模型包括生成网络(Generator Network)、判别网络(Discriminator Network)和风格生成网络(Style Network)。风格生成网络用于提供对应风格域的风格特征，生成网络用于基于该风格特征生成内容，而判别网络用于对生成网络生成的内容进行判别。生成对抗网络的核心逻辑就是生成网络和判别网络互相对抗、互相博弈的过程。
具体到本申请，以样本类型为图像样本的情况为例。将训练样本输入风格生成网络，由风格生成网络获得训练样本的图像风格特征，即为训练样本对应的风格域的图像风格特征。生成网络用于基于图像风格特征对原始图像的图像风格进行转换，得到风格转换后的图像。判别网络可以对风格转换后的图像进行判别：若风格转换后的图像的风格符合判别条件，则可以通过判别网络；若风格转换后的图像的风格不符合判别条件，则不能通过判别网络的判别。
进一步的，生成网络可以由编码器和解码器构成。其中，编码器和解码器都可以是机器学习网络。例如，编码器和解码器都可以是CNN(Convolutional Neural Networks，卷积神经网络)架构。编码器用于对原始图像进行编码，得到原始图像的图像信息，解码器的输入是编码器的输出与风格生成网络提供的图像风格特征，由解码器使用常见的AdaIN算法进行目标风格的风格迁移，解码器的输出是原始图像的风格化结果。
在一个实施例中，第一风格模型和第二风格模型包括生成对抗网络模型，在该实施例的情形下，如图8所示，训练获得生成对抗网络模型的方式包括：
步骤S801，根据用以训练生成对抗网络模型的训练样本的样本数量，确定该训练样本对应的学习率。
其中，学习率又称学习速率，是模型训练过程中控制损失函数的梯度调整网络权重的超参数，通常代表着神经网络中随时间推移过程中的信息积累速度。损失函数是指计算由神经网络计算的预测输出与实际输出之间的差的函数。在模型训练过程中，学习率可以是恒定的，也可以是随着迭代次数逐渐变化的，为便于理解，下文中均以学习率是恒定的情况为例进行说明。
具体的，学习率决定着目标函数能否收敛到局部最小值，以及何时收敛到最小值。学习率如果过大，可能会使损失函数直接越过全局最优点，容易发生梯度爆炸，损失函数振动幅度较大，模型难以收敛。学习率如果过小，损失函数的变化速度很慢，容易过拟合，会大大增加网络的收敛复杂度。基于此，可以根据训练样本的具体情况，确定与之匹配的学习率，具体可以根据用以训练生成对抗网络模型的训练样本的样本数量，确定该训练样本对应的学习率。
如前文所述，用以训练第一风格模型的第一训练样本的样本数量，与用以训练第二风格模型的第二训练样本的样本数量不相同，那么，第一训练样本对应的第一学习率，与第二训练样本对应的第二学习率也不相同。具体的，可以根据用以训练第一风格模型的第一训练样本的第一样本数量，确定第一训练样本对应的第一学习率，根据用以训练第二风格模型的第二训练样本的第二样本数量，确定第二训练样本对应的第二学习率。
在一个实施例中，如图9所示，步骤S901包括：
步骤S901，根据用以训练生成对抗网络模型的训练样本的样本数量，计算该样本数量与预设数据量的比值。
其中，预设数据量是开发人员预设设置的经验值，可以结合样本类型、机器学习所需的样本容量、以及历史模型训练情况等因素综合确定。在样本类型确定的情况下，基于预设数据量的训练样本进行多次模型训练试验，可以确定该预设数据量的最优学习率，获得该预设数据量对应的预设学习率。具体的，根据用以训练第一风格模型的第一训练样本的第一样本数量，可以计算得到第一样本数量与预设数据量的比值；根据用以训练第二风格模型的第二训练样本的第二样本数量，可以计算得到第二样本数量与预设数据量的比值。
步骤S902，根据该比值，以及预设数据量对应的预设学习率，确定该训练样本对应的学习率。
具体的，可以根据第一样本数量与预设数据量的比值，以及预设数据量对应的预设学习率，确定第一训练样本对应的第一学习率；根据第二样本数量与预设数据量的比值，以及预设数据量对应的预设学习率，确定第二训练样本对应的第二学习率。
进一步的，可以建立比值范围与参考学习率的映射关系表，其中，参考学习率为预设学习率与参考系数的乘积，再根据步骤S901中计算得到的比值，查表确定对应的参考学习率，获得训练样本对应的学习率；也可以将样本数量与预设数据量的比值，乘以预设学习率，获得训练样本对应的学习率。
步骤S802，基于该学习率，使用该训练样本对生成对抗网络模型进行模型训练，得到该训练样本对应风格域的风格模型。
具体的，基于第一学习率，使用第一训练样本对生成对抗网络模型进行模型训练，即可获得掌握对样本进行第一风格转换的规律，并可以基于该规律对样本进行风格化处理的第一风格模型；基于第二学习率，使用第二训练样本对生成对抗网络模型进行模型训练，即可获得掌握对样本进行第二风格转换的规律，并可以基于该规律对样本进行风格化处理的第二风格模型。
上述实施例中，在训练阶段，根据训练样本的样本数量的多少，采用与之匹配的学习率进行模型训练，得到第一风格模型和第二风格模型，有利于提高学习率确定过程的科学性，提升模型训练效果，避免出现过拟合。
为便于理解，下面结合图10和图11，对风格模型生成方法进行详细说明。
在一个实施例中，目标样本的样本类型为人脸图片。第一风格模型和第二风格模型均为生成对抗网络模型，第一风格模型和第二风格模型对应不同的动漫风格域。在该实施例的情形下，如图10所示，生成对抗网络模型包括生成网络、判别网络和风格生成网络。该生成网络包括编码器和解码器，编码器与解码器的结构对称。
具体的，将真实人脸作为编码器的输入，由编码器提取真实人脸的人像信息，并将该人像信息输入解码器。将第一动漫风格域的第一动漫训练样本作为风格生成网络的输入，由风格生成网络抽取第一动漫训练样本的风格向量。风格生成网络具体包括骨干网络(backnone)和风格提取网络。可以将第一动漫训练样本输入骨干网络，骨干网络将3*256*256的输入转换为512*8*8的深度特征，随后将深度特征送入对应子风格提取网络(若动漫风格有n类，那么子风格提取网络也有n个，每个子风格的结构是一致的)，输出为一个64*1*1的一维风格向量，即为对应的第一动漫域风格的风格向量。解码器将编码器输出的人像信息和风格生成网络提供的风格向量进行结合，得到第一风格化结果，即为具备第一动漫风格的人脸图像信息。该第一风格化结果具备第一动漫风格，以及真实人像的表情、姿态及身份信息。
解码器将第一风格化结果输出至判别网络，判别网络可以对风格转换后的图像进行判别：若风格转换后的图像的风格符合判别条件，则可以通过判别网络；若风格转换后的图像的风格不符合判别条件，则不能通过判别网络的判别。例如，若接收到的图片是真实的动漫化图片，如手工画出来的或者PS生成的，则输出1的判别结果；若接收到的图片是由神经网络推理学习生成的动漫化图片，则输出0的判别结果。此两种数据作为判别器网络的输入，真实动漫化图片作为正样本，网络生成的动漫化图片作为负样本，判别网络的目的在于判别这两者的差异，强迫网络学习真实动漫化的生成方式。对于每个动漫风格域的图片，都会有一个单独的判别网络去判别，训练为某个动漫风格域对应的判别网络。
为了解决样本数量较少的训练样本难以训练的问题，根据训练样本的样本数量，预设数据量以及预设数据量对应的预设学习率，确定该训练样本的学习率。例如，第一动漫风格域的第一训练样本的样本数量小于第二动漫风格域的第二训练样本的样本数量，则第一训练样本对应的第一学习率小于第二训练样本对应的第二学习率。又如，基于足量训练样本的进行风格模型训练时采用正常的学习率，基于少量训练样本进行风格模型训练时采用较低的学习率，防止网络过拟合学习。其中，足量训练样本是指样本数量大于设定值的训练样本，少量训练样本是指样本数量小于预设值的训练样本。该设定值大于该预设值。
进一步的，基于对应的学习率，使用第一训练样本进行模型训练，可以得到第一动漫域的第一风格模型B，使用第二训练样本进行模型训练，可以得到第二动漫域的第二风格模型A。其中，第二训练样本的样本数量大于第一训练样本的样本数量。
如图11所示，测试阶段，将第一动漫域的目标样本送入风格生成网络，获取目标样本的初始风格向量x。通过第一风格模型B对真实人脸图片进行风格化处理，得到该真实人脸图片的第一动漫域的第一风格图片，再将第一风格图片送入风格生成网络，获得第一风格向量b，通过第二风格模型A对同一真实人脸图片进行风格化处理，得到该真实人脸图片的第二动漫域的第二风格图片，再将第二风格图片送入风格生成网络，获得第二风格向量a。分别计算初始风格向量x与第一风格向量b的第一散度DKL(x||b)，以及初始风格向量x与第二风格向量a的第二散度DKL(x||a),并将第一散度和第二散度的比值确定为插值系数。最后，再基于该插值系数对第一风格模型b进行的模型参数进行插值处理，得到目标样本对应的目标风格模型X。
由于训练获得第二风格模型A的样本数量大于训练获得第一风格模型B的样本数量，因此，相对于目标样本对应的第一风格模型B，第二风格模型A具有更高的准确性。基于此，采用上述方法对第一风格模型B进行模型更新后得到目标风格模型X，可以提高目标风格模型X的准确性，在一定程度上使得目标风格模型的生成质量不再受制于样本数量，有利于扩展风格模型生成方法的应用场景。
上述实施例中，一方面，在训练阶段，根据训练样本的样本数量的多少，采用与之匹配的学习率进行模型训练，得到第一风格模型和第二风格模型，有利于提高学习率确定过程的科学性，提升模型训练效果，避免出现过拟合；另一方面，在测试阶段，考虑到训练获得第二风格模型的样本数量大于训练获得第一风格模型的样本数量，且第一风格模型和第二风格模型的模型结构相同，基于第二风格模型对目标样本对应的第一风格模型进行模型更新，得到目标风格模型，可以提高样本数量较少的目标样本对应的目标风格模型的质量，扩展风格模型生成方法的应用场景。
应该理解的是，虽然上述实施例中涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例中涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种风格模型生成装置1200，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：初始风格特征获取模块1201、模型风格特征获取模块1202和目标风格模型确定模块1203，其中：
初始风格特征获取模块1201，用于获取目标样本的初始风格特征；
模型风格特征获取模块1202，用于通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对所述参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得第二风格模型的样本数量大于训练获得第一风格模型的样本数量，且第二风格模型和第一风格模型的模型结构相同；
目标风格模型确定模块1203，用于基于初始风格特征、第一风格特征和第二风格特征，对第一风格模型进行模型更新，得到目标样本对应的目标风格模型。
在一个实施例中，目标样本包括至少两个样本数据。在该实施例的情形下，初始风格特征获取模块1201包括特性信息提取单元和初始风格特征确定单元，其中：
特性信息提取单元，用于提取目标样本中各样本数据的特征信息；
初始风格特征确定单元，用于通过预设的风格提取网络提取特征信息对应的风格特征，获得目标样本的初始风格特征。
在一个实施例中，初始风格特征获取模块1201还包括：特征信息处理模块，用于对各样本数据的特征信息中同一类型的子特征信息求平均，获得目标样本的特征信息。在该实施例的情形下，初始风格特征确定单元具体用于：通过预设的风格提取网络提取目标样本的特征信息对应的风格特征，获得目标样本的初始风格特征。
在一个实施例中，初始风格特征确定单元包括子风格特征提取组件和初始风格特征确定组件，其中：
子风格特征提取组件，用于通过预设的风格提取网络分别提取各样本数据的特征信息中的子风格特征；
初始风格特征确定组件，用于对各子风格特征进行处理，获得目标样本的初始风格特征。
在一个实施例中，模型风格特征获取模块1202包括第一风格化结果获取单元和第一风格特征提取单元，其中：
第一风格化结果获取单元，用于通过第一风格模型对参考样本进行风格化处理得到第一风格化结果；
第一风格特征提取单元，用于提取第一风格化结果的风格特征，获得第一风格特征。
在一个实施例中，模型风格特征获取模块1202还包括第二风格化结果获取单元和第二风格特征提取单元，其中：
第二风格化结果获取单元，用于通过第二风格模型对参考样本进行风格化处理得到第二风格化结果；
第二风格特征提取单元，用于提取第二风格化结果的风格特征，获得第二风格特征。
在一个实施例中，第一风格模型和第二风格模型包括生成对抗网络模型，在该实施例的情形下，风格模型生成装置1200还包括学习率确定模块和风格模型训练模块，其中：
学习率确定模块，用于根据用以训练生成对抗网络模型的训练样本的样本数量，确定该训练样本对应的学习率；
风格模型训练模块，用于基于该学习率，使用该训练样本对生成对抗网络模型进行模型训练，得到该训练样本对应风格域的风格模型。
在一个实施例中，学习率确定模块具体用于：根据用以训练生成对抗网络模型的训练样本的样本数量，计算样本数量与预设数据量的比值；根据该比值，以及预设数据量对应的预设学习率，确定该训练样本对应的学习率。
在一个实施例中，目标风格模型确定模块1203包括插值系数确定单元和目标风格模型确定单元，其中：
插值系数确定单元，用于确定插值系数，该插值系数根据初始风格特征与第一风格特征的第一相似度，以及初始风格特征与第二风格特征的第二相似度确定；
目标风格模型确定单元，用于采用插值系数对第一风格模型的模型参数进行插值处理，得到目标样本对应的目标风格模型。
关于风格模型生成装置的具体限定可以参见上文中对于风格模型生成方法的限定，在此不再赘述。上述风格模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各风格域对应的风格模块，包括第一风格模型、第二风格模型等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种风格模型生成方法。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种风格模型生成方法，其特征在于，所述方法包括：
获取目标样本的初始风格特征；
通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对所述参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得所述第二风格模型的样本数量大于训练获得所述第一风格模型的样本数量，且所述第二风格模型和所述第一风格模型的模型结构相同；
基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型。
2.根据权利要求1所述的方法，其特征在于，所述目标样本包括至少两个样本数据；所述获取目标样本的初始风格特征，包括：
提取所述目标样本中各样本数据的特征信息；
通过预设的风格提取网络提取所述特征信息对应的风格特征，获得所述目标样本的初始风格特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述提取所述目标样本中各样本数据的特征信息之后，所述通过预设的风格提取网络提取所述特征信息对应的风格特征之前，还包括：
对各所述样本数据的特征信息中同一类型的子特征信息求平均，获得所述目标样本的特征信息。
4.根据权利要求2所述的方法，其特征在于，所述通过预设的风格提取网络提取所述特征信息对应的风格特征，获得所述目标样本的初始风格特征，包括：
通过预设的风格提取网络分别提取各所述样本数据的特征信息对应的子风格特征；
对各所述子风格特征进行处理，获得所述目标样本的初始风格特征。
5.根据权利要求1所述的方法，其特征在于，所述通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，包括：
通过第一风格模型对参考样本进行风格化处理得到第一风格化结果；
提取所述第一风格化结果的风格特征，获得所述第一风格特征。
6.根据权利要求1所述的方法，其特征在于，所述第一风格模型和所述第二风格模型包括生成对抗网络模型，训练获得生成对抗网络模型的方式包括：
根据用以训练所述生成对抗网络模型的训练样本的样本数量，确定所述训练样本对应的学习率；
基于所述学习率，使用所述训练样本对所述生成对抗网络模型进行模型训练，得到所述训练样本对应风格域的风格模型。
7.根据权利要求6所述的方法，其特征在于，所述根据用以训练所述生成对抗网络模型的训练样本的样本数量，确定所述训练样本对应的学习率，包括：
根据用以训练所述生成对抗网络模型的训练样本的样本数量，计算所述样本数量与预设数据量的比值；
根据所述比值，以及所述预设数据量对应的预设学习率，确定所述训练样本对应的学习率。
8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型，包括：
确定插值系数，所述插值系数根据所述初始风格特征与所述第一风格特征的第一相似度，以及所述初始风格特征与所述第二风格特征的第二相似度确定；
采用所述插值系数对所述第一风格模型的模型参数进行插值处理，得到所述目标样本对应的目标风格模型。
9.一种风格模型生成装置，其特征在于，所述装置包括：
初始风格特征获取模块，用于获取目标样本的初始风格特征；
模型风格特征获取模块，用于通过第一风格模型对参考样本进行风格化处理，获得第一风格模型对应的第一风格特征，以及通过第二风格模型对所述参考样本进行风格化处理，获得第二风格模型对应的第二风格特征；所述初始风格特征与所述第一风格特征对应为同一风格域的风格特征；训练获得所述第二风格模型的样本数量大于训练获得所述第一风格模型的样本数量，且所述第二风格模型和所述第一风格模型的模型结构相同；
目标风格模型确定模块，用于基于所述初始风格特征、所述第一风格特征和所述第二风格特征，对所述第一风格模型进行模型更新，得到所述目标样本对应的目标风格模型。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109984.1A CN116579376A (zh) | 2022-01-29 | 2022-01-29 | 风格模型生成方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109984.1A CN116579376A (zh) | 2022-01-29 | 2022-01-29 | 风格模型生成方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116579376A true CN116579376A (zh) | 2023-08-11 |
Family
ID=87532789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210109984.1A Pending CN116579376A (zh) | 2022-01-29 | 2022-01-29 | 风格模型生成方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116579376A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958451A (zh) * | 2023-09-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 模型处理、图像生成方法、装置、计算机设备和存储介质 |
-
2022
- 2022-01-29 CN CN202210109984.1A patent/CN116579376A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958451A (zh) * | 2023-09-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 模型处理、图像生成方法、装置、计算机设备和存储介质 |
| CN116958451B (zh) * | 2023-09-15 | 2023-12-26 | 腾讯科技（深圳）有限公司 | 模型处理、图像生成方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200134380A1 (en) | Method for Updating Neural Network and Electronic Device | |
| JP7106902B2 (ja) | 学習プログラム、学習方法および学習装置 | |
| WO2022166797A1 (zh) | 图像生成模型的训练方法、生成方法、装置及设备 | |
| CN113343705A (zh) | 一种基于文本语义的细节保持图像生成方法及系统 | |
| WO2020228536A1 (zh) | 图标生成方法及装置、获取图标的方法、电子设备以及存储介质 | |
| CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
| JP7207846B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR20230073751A (ko) | 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법 | |
| EP3970118A1 (en) | Automatic generation of stylized icons | |
| CN112164008A (zh) | 图像数据增强网络的训练方法及其训练装置、介质和设备 | |
| CN112686282A (zh) | 一种基于自学习数据的目标检测方法 | |
| CN114925849A (zh) | 一种图数据上的联邦学习优化方法 | |
| CN109074818A (zh) | 音频源参数化 | |
| CN115731396A (zh) | 一种基于贝叶斯变分推断的持续学习方法 | |
| CN116579376A (zh) | 风格模型生成方法、装置和计算机设备 | |
| CN110751941B (zh) | 语音合成模型的生成方法、装置、设备及存储介质 | |
| JP6647475B2 (ja) | 言語処理装置、言語処理システムおよび言語処理方法 | |
| KR20230056422A (ko) | 재현 데이터를 생성하기 위한 방법 및 장치 | |
| KR102393761B1 (ko) | 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템 | |
| KR102537207B1 (ko) | 머신 러닝에 기반한 이미지 처리 방법 및 장치 | |
| Atsawaraungsuk et al. | Evolutionary circular-ELM for the reduced-reference assessment of perceived image quality | |
| CN112991148A (zh) | 风格图像生成方法、模型的训练方法、装置、设备及介质 | |
| Weinman et al. | Efficiently learning random fields for stereo vision with sparse message passing | |
| CN112884679A (zh) | 一种图像转换方法、装置、存储介质和电子设备 | |
| CN111125359A (zh) | 一种文本信息分类的方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40091471 Country of ref document: HK |