CN111815506A - 图像生成方法、装置、计算机设备和存储介质 - Google Patents
图像生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111815506A CN111815506A CN202010690642.4A CN202010690642A CN111815506A CN 111815506 A CN111815506 A CN 111815506A CN 202010690642 A CN202010690642 A CN 202010690642A CN 111815506 A CN111815506 A CN 111815506A
- Authority
- CN
- China
- Prior art keywords
- image
- generation
- training
- probability
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 338
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 69
- 238000004590 computer program Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像生成方法、装置、计算机设备和存储介质。所述方法包括：通过图像生成模型提取输入源图像的输入图像特征；利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型为令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像的图像内容差异值与图像风格差异值之和。采用本方法能够使得生成图像之间的差异大，提高了生成图像之间的多样性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像生成方法、装置、计算机设备和存储介质。
背景技术
随着图像处理技术的发展，出现了通过神经网络基于输入的图像生成新的图像的技术，该技术越来越多的被应用于人们的日常生活中，如对人们的装扮样貌进行易容变装，对夫妻后代容貌的预测等等。
传统技术中，图像生成输入两张图像，一张作为源图像另外一张作为参考图像，两张图像通过不同的编码器(Encoder)后，将编码器编码得到的特征融合经过反卷积网络，生成和参考图像相同类别的图像。
然而，传统技术的生成图像之间视觉差异小，生成的图像模式单一，只有一种或几种特定的模式，图像生成不具有多样性。
发明内容
基于此，有必要针对上述技术问题，提供一种图像生成方法、装置、计算机设备和存储介质。
一种图像生成方法，所述方法包括：
通过图像生成模型提取输入源图像的输入图像特征；
利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值与图像风格差异值之和。
在其中一个实施例中，所述图像生成模型包括判别子模型和生成子模型，在所述利用图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像之前，包括：
通过初始生成子模型得到训练源图像的至少两训练生成图像；
根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型；其中，所述初始判别子模型用于根据输入图像为真图像的真图概率判断所述输入图像是否为真图像；所述目标图像为与所述生成图像相同类型的图像。
在其中一个实施例中，根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型，包括：
根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型；其中，所述概率差值根据所述训练生成图像为真图像的生成概率与目标图像为真图像的目标概率得到；
根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型；
当所述概率差值小于预设差值、所述生成损失函数大于预设损失值且生成概率差大于预设概率差时，将所述中间判别子模型作为所述判别子模型，将所述中间生成子模型作为所述生成子模型；其中，所述生成概率差根据所述生成概率与假图标准概率之差得到。
在其中一个实施例中，所述根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型，包括：
将所述训练生成图像和所述目标图像输入所述初始判别子模型，得到所述生成概率和所述目标概率；
获取所述生成概率与假图标准概率之差的平均值，作为生成概率差；
获取所述目标概率与真图标准概率之差的平均值，作为目标概率差；
获取所述生成概率差与所述目标概率差的概率差平均值，得到所述概率差值；
将所述初始判别子模型中的判别参数朝向所述概率差值减小的方向调整，得到所述中间判别子模型。
在其中一个实施例中，所述根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型，包括：
提取所述训练生成图像的图像特征，得到训练特征值；
根据两所述训练特征值平方差的二范数，得到所述训练生成图像之间的训练图像内容差异值；
采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值；
获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值；
以所述图像差异值作为所述生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，得到所述中间生成子模型。
在其中一个实施例中，所述获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值，包括：
将图像内容权重乘以初始训练图像内容差异值，得到所述训练图像内容差异值；
将图像风格权重乘以初始训练图像风格差异值，得到所述训练图像风格差异值；
将所述训练图像内容差异值加上所述训练图像风格差异值，得到所述图像差异值。
在其中一个实施例中，所述采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值，包括：
获取所述训练生成图像不同维度下训练特征值的乘积，得到训练特征积；
根据每一所述训练生成图像的所述训练特征积得到对应所述格拉姆矩阵；
根据所述训练生成图像间的格拉姆矩阵平方差的范数值，得到所述训练图像之间的训练图像风格差异值。
一种图像生成装置，所述装置包括：
特征提取模块，用于通过图像生成模型提取输入源图像的输入图像特征；
目标生成模块，用于利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值和图像风格差异值之和。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
通过图像生成模型提取输入源图像的输入图像特征；
利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值与图像风格差异值之和。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
通过图像生成模型提取输入源图像的输入图像特征；
利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值与图像风格差异值之和。
上述图像生成方法、装置、计算机设备和存储介质，通过以生成图像之间的图像内容差异值和图像风格差异值之和作为生成损失函数，令所述生成损失函数最大得到的图像生成模型提取输入源图像的输入图像特征，并根据输入图像特征和随机噪声参数得到生成图像，以此使得生成图像之间的差异大，提高了生成图像之间的多样性。
附图说明
图1为一个实施例中图像生成方法的流程示意图；
图2为一个实施例中图像生成模型的训练过程的流程示意图；
图3为另一个实施例中图像生成模型的训练过程的流程示意图；
图4为一个实施例中训练得到中间判别子模型的流程示意图；
图5为一个实施例中训练得到中间生成子模型的流程示意图；
图6为一个实施例中得到训练图像风格差异值的流程示意图；
图7为一个实施例中得到图像差异值的流程示意图；
图8为另一个实施例中图像生成模型的训练过程的流程示意图；
图9为一个实施例中图像生成装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种图像生成方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。所述方法包括以下步骤：
S110、通过图像生成模型提取输入源图像的输入图像特征。
其中，所述输入源图像为生成图像的基础图像，即基于所述输入源图像生成新的图像。在由猫图像生成狗图像的任务中，所述猫图像即为所述输入源图像。
具体地，计算机设备接收所述输入源图像，通过图像生成模型中的解码器提取所述输入源图像的图像内容特征和图像纹理特征，作为所述输入图像特征。所述图像内容特征为用于反映图像内容和空间结构的特征，例如，外形轮廓特征，所述图像风格特征为用于反映图像整体风格的特征，例如，颜色和纹理特征。
S120、利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像。
其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值和图像风格差异值之和。在所述图像生成模型的训练过程中，以每次输出的图像之间的图像内容差异值与图像风格差异值之和作为生成损失函数，并令所述生成损失函数最大或者大于预设损失值进行训练，以得到所述图像生成模型。
进一步地，所述随机噪声参数为服从正态分布的向量数据。
具体地，计算机设备利用所述图像生成模型中的编码器将获取的所述输入图像特征与所述随机噪声参数进行编码融合，得到所述生成图像。所述输入图像特征与1个所述随机噪声参数编码融合得到1个所述生成图像，所述输入图像特征与2个所述随机噪声参数编码融合得到2个所述生成图像，即得到的所述生成图像的个数与进行编码融合的随机噪声参数的个数相同。
本实施例中，计算机设备通过以输出图像之间的图像内容差异值和图像风格差异值之和作为生成损失函数，令所述生成损失函数最大或者大于预设损失值得到的图像生成模型提取输入源图像的输入图像特征，并根据输入图像特征和随机噪声参数得到生成图像，以此使得生成图像之间的差异大，提高了生成图像之间的多样性。
在一个实施例中，如图2所示，在S120、利用图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像之前，还包括所述图像生成模型的训练过程，所述图像生成模型包括判别子模型和生成子模型，所述训练过程包括以下步骤：
S210、通过初始生成子模型得到训练源图像的至少两训练生成图像。
具体地，计算机设备获取与所述输入源图像相同图像类型的图像作为所述训练源图像。例如，所述输入源图像为猫图像，则所述训练源图像也为猫图像。计算机设备接收所述训练源图像，通过初始生成子模型中的解码器获取所述训练源图像的图像内容特征和图像纹理特征，作为所述训练图像特征。计算机设备通过所述初始生成子模型中的编码器将所述训练图像特征和至少两随机噪声参数分别进行编码融合，得到至少两训练生成图像。例如，将所述训练图像特征和第一随机噪声参数编码融合，得到第一训练生成图像，将所述训练图像特征和第二随机噪声参数编码融合，得到第二训练生成图像。
S220、根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型。
其中，所述初始判别子模型用于根据输入图像为真图像的真图概率判断所述输入图像是否为真图像。本实施例中所述的真图像为真实拍摄图像，而假图像为机器生成图像，理论上，所述训练源图像和所述目标图像均为真图像，所述训练生成图像均为假图像。所述目标图像为与所述生成图像相同类型的图像。例如，在上述由猫图像生成狗图像的任务中，所述狗图像为所述生成图像，则所述目标图像即为狗类的图像。
具体地，计算机设备采用所述训练生成图像和所述目标图像训练所述初始判别子模型，得到所述判别子模型，并根据每次所述初始判别子模型输出的所述训练生成图像的真图概率以及所述训练生成图像之间的图像内容差异和图像风格差异训练所述初始生成子模型，得到所述生成子模型，实现对所述图像生成模型的训练。
本实施例中，计算机设备将训练源图像输入初始生成子模型，得到训练生成图像，将训练生成图像和目标图像输入初始判别子模型，分别得到训练生成图像为真图像的真图概率以及目标图像为真图像的真图概率。计算机设备根据训练生成图像为真图像的真图概率以及目标图像为真图像的真图概率训练初始判别子模型得到判别子模型，根据训练生成图像之间的图像内容差异和图像风格差异以及训练生成图像为真图像的真图概率训练初始生成子模型得到生成子模型。通过上述方法实现对图像生成模型中两个子模型的同时训练，以此提高训练效率。
在一个实施例中，如图3所示，所述S220、根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型，包括：
S310、根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型。
其中，所述概率差值根据所述训练生成图像为真图像的生成概率与目标图像为真图像的目标概率得到。
进一步地，如图4所示，S310具体包括：
S410、将所述训练生成图像和所述目标图像输入所述初始判别子模型，得到所述生成概率和所述目标概率。
具体地，计算机设备将得到的所述训练生成图像和相同数量的所述目标图像输入所述初始判别子模型，得到对应数量的所述训练生成图像为真图像的所述生成概率，和所述目标图像为真图像的所述目标概率。以两张训练生成图像和两张目标图像为例，将两张训练生成图像以及两张目标图像同时输入初始判别子模型，分别得到训练生成图像为真图像的生成概率40％和50％，以及目标图像为真图像的目标概率80％和70％。
S420、获取所述生成概率与假图标准概率之差的平均值，作为生成概率差。
S430、获取所述目标概率与真图标准概率之差的平均值，作为目标概率差。
S440、获取所述生成概率差与所述目标概率差的概率差平均值，得到所述概率差值。
其中，所述假图标准概率为0，所述真图标准概率为1。
具体地，计算机设备获取每一所述生成概率与假图标准概率之差的平均值，作为生成概率差，即上述40％-0与50％-0的平均值，则所述生成概率差为45％。计算机设备获取每一所述目标概率与真图标准概率之差的平均值，作为目标概率差，即上述80％-1与70％-1的平均值，则所述目标概率差为25％。计算机设备获取所述生成概率差与所述目标概率差的概率差平均值，得到所述概率差值，即上述生成概率差45％与目标概率差25％的平均值，则所述概率差值为35％。
S450、将所述初始判别子模型中的判别参数朝向所述概率差值减小的方向调整，得到所述中间判别子模型。
具体地，计算机设备根据所述概率差值调整所述初始判别子模型中的判别参数，将所述初始判别子模型中的判别参数朝向得到的所述概率差值增大的方向调整，每调整一次，更新判别参数，得到新的所述中间判别子模型。
S320、根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型。
具体地，计算机设备进一步提取所述训练生成图像的训练生成特征，得到训练特征值，根据两两所述训练生成图像的训练特征值之差，计算所述训练生成图像间的所述图像内容差异值，根据由所述训练特征值得到的两两所述训练生成图像的格莱姆矩阵值之差，计算本次训练得到的所述训练生成图像间的所述图像风格差异值。计算机设备以所述图像内容差异值和所述图像风格差异值之和作为所述生成损失函数，调整所述初始生成子模型中的生成参数，将所述初始生成子模型中的生成参数朝向得到的所述生成损失函数增大，且根据所述生成概率与假图标准概率之差得到生成概率差增大的方向调整，每次调整得到一所述中间生成子模型。
S330、当所述概率差值小于预设差值、所述生成损失函数大于预设损失值且所述生成概率差大于预设概率差时，将所述中间判别子模型作为所述判别子模型，将所述中间生成子模型作为所述生成子模型。
具体地，计算机设备根据概率差值对初始判别子模型中的判别参数进行训练的同时，根据生成损失函数和生成概率对初始生成子模型中的生成参数进行训练，直至由所述训练生成图像得到的概率差值最小或者小于预设差值、所述生成损失函数最大或者大于预设损失值且所述生成概率差最大或者大于预设概率差，停止训练，将此时得到的所述中间判别子模型作为所述判别子模型，所述中间生成子模型作为所述生成子模型。
进一步地，所述生成损失函数最大可以通过判断所述图像差异值的倒数是否小于等于最小阈值确定。
具体地，计算机设备可通过获取每次训练得到的所述图像差异值的倒数，根据所述图像差异值的倒数是否小于等于最小阈值来确定所述图像差异值是否最大。当所述图像差异值的倒数无限接近于0时，如小于等于最小阈值0.001，则确定所述图像差异值最大，以简化数据。
本实施例中，计算机设备每输入一张训练源图像既对初始判别子模型进行训练，也对初始生成子模型进行训练，将初始判别子模型中的判别参数朝向概率差值减小的方向调整，将初始生成子模型中的生成参数朝向生成损失函数增大且生成概率差增大的方向调整，在概率差值小于预设差值、生成损失函数大于预设损失值且生成概率差大于预设概率差，停止调整，得到判别子模型和生成子模型，而判别子模型和生成子模型构成图像生成模型，以此实现对图像生成模型的训练。上述训练中，将初始判别子模型中的判别参数朝向概率差值减小的方向调整的过程，使得图像生成模型生成与目标图像相同类型的图像，提高了与目标图像的一致性；将初始生成子模型中的生成参数朝向生成损失函数增大且生成概率差增大的方向调整，提高了生成图像之间的多样性。
在一个实施例中，如图5所示，所述S320、根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型，包括：
S510、提取所述训练生成图像的图像特征，得到训练特征值。
S520、根据两所述训练特征值平方差的二范数，得到所述训练生成图像之间的训练图像内容差异值。
具体地，计算机设备采用初始生成子模型中的判别器提取所述训练生成图像的训练特征值，根据关于训练特征值平方差二范数的内容差异公式，得到所述训练生成图像之间的训练图像内容差异值。所述内容差异公式满足下式：
其中，C、H、W表示判别器提取特征的维度，φ(y)表示训练特征值，j表示判别器的第j个卷积层。
S530、采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值。
其中，格拉姆(Gram)矩阵用于计算所述图像生成模型中判别器提取的特征图上两两特征之间的相关性，反映了图像的整体风格。
具体地，计算机设备采用所述初始判别子模型中的判别器，根据关于所述训练生成图像之间的格拉姆矩阵平方差范数值的风格差异公式，得到所述训练生成图像之间的训练图像风格差异值。
进一步地，如图6所示，S530具体包括：
S610、获取所述训练生成图像不同维度下训练特征值的乘积，得到训练特征积。
S620、根据每一所述训练生成图像的所述训练特征积得到对应所述格拉姆矩阵。
S630、根据所述训练生成图像间的格拉姆矩阵平方差的范数值，得到所述训练图像之间的训练图像风格差异值。
具体地，计算机设备采用所述初始判别子模型中的判别器根据风格差异公式，得到所述训练生成图像之间的训练图像风格差异值。所述风格差异公式满足下式：
其中，C、H、W表示判别器提取特征的维度，G(y)表示Gram矩阵，F为范数值，一般取1或者2，φ(x)表示训练特征值，j表示判别器的第j个卷积层。
S540、获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值。
S550、以所述图像差异值作为所述生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，得到所述中间生成子模型。
具体地，计算机设备获取所述图像内容差异值和所述图像风格差异值之和，得到所述图像差异值，令所述图像差异值作为生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，每调整一次，更新生成参数，得到新的所述中间生成子模型。
本实施例中，计算机设备根据关于训练特征值平方差二范数的内容差异公式，得到所述训练生成图像之间的训练图像内容差异值，根据关于所述训练生成图像之间的格拉姆矩阵平方差范数值的风格差异公式，得到所述训练生成图像之间的训练图像风格差异值，将所述训练图像内容差异值与所述训练图像风格差异值之和作为生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，得到中间生成子模型。通过上述将初始生成子模型中的生成参数朝向生成损失函数和生成概率差增大的方向调整，实现对初始生成子模型的训练，以确保训练生成图像之间的差异大，提高生成图像之间的多样性。
在一个实施例中，如图7所示，所述S540、获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值，包括：
S710、将图像内容权重乘以初始训练图像内容差异值，得到所述训练图像内容差异值。
S720、将图像风格权重乘以初始训练图像风格差异值，得到所述训练图像风格差异值。
S730、将所述训练图像内容差异值加上所述训练图像风格差异值，得到所述图像差异值。
具体地，由于图像内容特征和图像风格特征反映了不同层面的图像差异，因此在不同的图像生成任务中可以设置不同权重来关注生成图像的不同层次，通过图像内容权重乘以初始训练图像内容差异值，得到所述训练图像内容差异，图像风格权重乘以初始训练图像风格差异值，得到所述训练图像风格差异值，再求和得到所述图像差异值。例如，在关注图像轮廓特征的图像生成任务中，可设置图像内容权重大于图像风格权重，在关注图像颜色、纹理特征的图像生成任务中，可设置图像风格权重大于图像内容权重。
本实施例中，计算机设备通过设置图像内容权重和图像风格权重来得到图像差异值，在保证生成图像间多样性的同时，体现不同图像生成任务中所关注的不同层次。
在一个实施例中，如图8所示，为使得所述图像生成模型用于完成上述由猫图像生成狗图像的任务，以生成两张训练生成图像为例进行说明，所述图像生成模型包括生成子模型和判别子模型，所述图像生成模型的训练过程包括：
以猫图像作为训练源图像(input)，输入初始生成子模型。
所述初始生成子模型中的解码器(Encode)提取所述训练源图像(input)中的训练图像特征。
所述初始生成子模型中的编码器(Decode)接收所述训练图像特征，并将所述训练图像特征与第一随机噪声参数Z1融合编码生成第一训练生成图像I1，将所述训练图像特征与第二随机噪声参数Z2融合编码生成第二训练生成图像I2，并将所述第一训练生成图像I1和第二训练生成图像I2作为训练生成图像(output)输出。
以狗图像作为目标图像，将所述目标图像与得到的所述训练生成图像输入初始判别子模型中的判别器(discriminator)。所述判别器根据所述训练生成图像的图像特征与所述目标图像的目标图像特征得到所述训练生成图像为真图像的所述生成概率，和所述目标图像为真图像的所述目标概率。取所述生成概率与假图标准概率(0)之差的平均值，作为生成概率差，取所述目标概率与真图标准概率(1)之差的平均值，作为目标概率差，取所述生成概率差与所述目标概率差的概率差平均值，得到概率差值。计算机设备将所述初始判别子模型中的判别参数朝向所述概率差值减小的方向调整，直至所述概率差值最小或者小于预设概率差，停止训练，得到所述判别子模型。所述判别器还可以根据每一所述训练生成图像的所述生成概率确定所述训练生成图像的真假(real/fake)。若所述训练生成图像的所述生成概率≥50％，所述训练生成图像则为真图像，若所述训练生成图像的所述生成概率＜50％，所述训练生成图像则为假图像。
所述初始判别子模型中的判别器(discriminator)还用于根据提取所述训练生成图像的图像特征的训练特征值基于特征匹配(Feature matching)计算所述训练生成图像之间的训练图像内容差异值和训练图像风格差异值，将所述训练图像内容差异值和所述训练图像风格差异值之和作为所述初始生成子模型的生成损失函数，计算机设备以此根据所述生成损失函数以及所述训练生成图像的生成概率差调整所述初始生成子模型中的生成参数(解码器和编码器中的参数)，直至所述生成损失函数最大或者大于预设损失值且所述生成概率差最大或者大于预设概率差，停止训练，得到所述生成子模型。
应该理解的是，虽然图1-8中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种图像生成装置，包括：特征提取模块910和目标生成模块920，其中：
所述特征提取模块910用于通过图像生成模型提取输入源图像的输入图像特征；
所述目标生成模块920用于利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值和图像风格差异值之和。
在其中一个实施例中，所述图像生成装置还包括目标训练模块，所述图像生成模型包括判别子模型和生成子模型，所述目标训练模块用于：
通过初始生成子模型得到训练源图像的至少两训练生成图像；
根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型；其中，所述初始判别子模型用于根据输入图像为真图像的真图概率判断所述输入图像是否为真图像；所述目标图像为与所述生成图像相同类型的图像。
在其中一个实施例中，所述目标训练模块还用于：
根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型；其中，所述概率差值根据所述训练生成图像为真图像的生成概率与目标图像为真图像的目标概率得到；
根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型；
当所述概率差值小于预设差值、所述生成损失函数大于预设损失值且生成概率差大于预设概率差时，将所述中间判别子模型作为所述判别子模型，将所述中间生成子模型作为所述生成子模型；其中，所述生成概率差根据所述生成概率与假图标准概率之差得到。
在其中一个实施例中，所述目标训练模块还用于：
将所述训练生成图像和所述目标图像输入所述初始判别子模型，得到所述生成概率和所述目标概率；
获取所述生成概率与假图标准概率之差的平均值，作为生成概率差；
获取所述目标概率与真图标准概率之差的平均值，作为目标概率差；
获取所述生成概率差与所述目标概率差的概率差平均值，得到所述概率差值；
将所述初始判别子模型中的判别参数朝向所述概率差值减小的方向调整，得到所述中间判别子模型。
在其中一个实施例中，所述目标训练模块还用于：
提取所述训练生成图像的图像特征，得到训练特征值；
根据两所述训练特征值平方差的二范数，得到所述训练生成图像之间的训练图像内容差异值；
采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值；
获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值；
以所述图像差异值作为所述生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，得到所述中间生成子模型。
在其中一个实施例中，所述目标训练模块还用于：
将图像内容权重乘以初始训练图像内容差异值，得到所述训练图像内容差异值；
将图像风格权重乘以初始训练图像风格差异值，得到所述训练图像风格差异值；
将所述训练图像内容差异值加上所述训练图像风格差异值，得到所述图像差异值。
在其中一个实施例中，所述目标训练模块还用于：
获取所述训练生成图像不同维度下训练特征值的乘积，得到训练特征积；
根据每一所述训练生成图像的所述训练特征积得到对应所述格拉姆矩阵；
根据所述训练生成图像间的格拉姆矩阵平方差的范数值，得到所述训练图像之间的训练图像风格差异值。
关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定，在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
通过图像生成模型提取输入源图像的输入图像特征；
利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值与图像风格差异值之和。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过初始生成子模型得到训练源图像的至少两训练生成图像；
根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型；其中，所述初始判别子模型用于根据输入图像为真图像的真图概率判断所述输入图像是否为真图像；所述目标图像为与所述生成图像相同类型的图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型；其中，所述概率差值根据所述训练生成图像为真图像的生成概率与目标图像为真图像的目标概率得到；
根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型；
当所述概率差值小于预设差值、所述生成损失函数大于预设损失值且生成概率差大于预设概率差时，将所述中间判别子模型作为所述判别子模型，将所述中间生成子模型作为所述生成子模型；其中，所述生成概率差根据所述生成概率与假图标准概率之差得到。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述训练生成图像和所述目标图像输入所述初始判别子模型，得到所述生成概率和所述目标概率；
获取所述生成概率与假图标准概率之差的平均值，作为生成概率差；
获取所述目标概率与真图标准概率之差的平均值，作为目标概率差；
获取所述生成概率差与所述目标概率差的概率差平均值，得到所述概率差值；
将所述初始判别子模型中的判别参数朝向所述概率差值减小的方向调整，得到所述中间判别子模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取所述训练生成图像的图像特征，得到训练特征值；
根据两所述训练特征值平方差的二范数，得到所述训练生成图像之间的训练图像内容差异值；
采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值；
获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值；
以所述图像差异值作为所述生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，得到所述中间生成子模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将图像内容权重乘以初始训练图像内容差异值，得到所述训练图像内容差异值；
将图像风格权重乘以初始训练图像风格差异值，得到所述训练图像风格差异值；
将所述训练图像内容差异值加上所述训练图像风格差异值，得到所述图像差异值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取所述训练生成图像不同维度下训练特征值的乘积，得到训练特征积；
根据每一所述训练生成图像的所述训练特征积得到对应所述格拉姆矩阵；
根据所述训练生成图像间的格拉姆矩阵平方差的范数值，得到所述训练图像之间的训练图像风格差异值。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
通过图像生成模型提取输入源图像的输入图像特征；
利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值与图像风格差异值之和。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过初始生成子模型得到训练源图像的至少两训练生成图像；
根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型；其中，所述初始判别子模型用于根据输入图像为真图像的真图概率判断所述输入图像是否为真图像；所述目标图像为与所述生成图像相同类型的图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型；其中，所述概率差值根据所述训练生成图像为真图像的生成概率与目标图像为真图像的目标概率得到；
根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型；
当所述概率差值小于预设差值、所述生成损失函数大于预设损失值且生成概率差大于预设概率差时，将所述中间判别子模型作为所述判别子模型，将所述中间生成子模型作为所述生成子模型；其中，所述生成概率差根据所述生成概率与假图标准概率之差得到。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述训练生成图像和所述目标图像输入所述初始判别子模型，得到所述生成概率和所述目标概率；
获取所述生成概率与假图标准概率之差的平均值，作为生成概率差；
获取所述目标概率与真图标准概率之差的平均值，作为目标概率差；
获取所述生成概率差与所述目标概率差的概率差平均值，得到所述概率差值；
将所述初始判别子模型中的判别参数朝向所述概率差值减小的方向调整，得到所述中间判别子模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
提取所述训练生成图像的图像特征，得到训练特征值；
根据两所述训练特征值平方差的二范数，得到所述训练生成图像之间的训练图像内容差异值；
采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值；
获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值；
以所述图像差异值作为所述生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，得到所述中间生成子模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将图像内容权重乘以初始训练图像内容差异值，得到所述训练图像内容差异值；
将图像风格权重乘以初始训练图像风格差异值，得到所述训练图像风格差异值；
将所述训练图像内容差异值加上所述训练图像风格差异值，得到所述图像差异值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取所述训练生成图像不同维度下训练特征值的乘积，得到训练特征积；
根据每一所述训练生成图像的所述训练特征积得到对应所述格拉姆矩阵；
根据所述训练生成图像间的格拉姆矩阵平方差的范数值，得到所述训练图像之间的训练图像风格差异值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像生成方法，其特征在于，所述方法包括：
通过图像生成模型提取输入源图像的输入图像特征；
利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值与图像风格差异值之和。
2.根据权利要求1所述的方法，其特征在于，所述图像生成模型包括判别子模型和生成子模型，在所述利用图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像之前，包括：
通过初始生成子模型得到训练源图像的至少两训练生成图像；
根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型；其中，所述初始判别子模型用于根据输入图像为真图像的真图概率判断所述输入图像是否为真图像；所述目标图像为与所述生成图像相同类型的图像。
3.根据权利要求2所述的方法，其特征在于，根据所述训练生成图像和目标图像对初始判别子模型和初始生成子模型进行训练，得到所述判别子模型和所述生成子模型，包括：
根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型；其中，所述概率差值根据所述训练生成图像为真图像的生成概率与目标图像为真图像的目标概率得到；
根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型；
当所述概率差值小于预设差值、所述生成损失函数大于预设损失值且生成概率差大于预设概率差时，将所述中间判别子模型作为所述判别子模型，将所述中间生成子模型作为所述生成子模型；其中，所述生成概率差根据所述生成概率与假图标准概率之差得到。
4.根据权利要求3所述的方法，其特征在于，所述根据概率差值对所述初始判别子模型进行训练，得到中间判别子模型，包括：
将所述训练生成图像和所述目标图像输入所述初始判别子模型，得到所述生成概率和所述目标概率；
获取所述生成概率与假图标准概率之差的平均值，作为生成概率差；
获取所述目标概率与真图标准概率之差的平均值，作为目标概率差；
获取所述生成概率差与所述目标概率差的概率差平均值，得到所述概率差值；
将所述初始判别子模型中的判别参数朝向所述概率差值减小的方向调整，得到所述中间判别子模型。
5.根据权利要求3所述的方法，其特征在于，所述根据所述生成损失函数和所述生成概率对所述初始生成子模型进行训练，得到中间生成子模型，包括：
提取所述训练生成图像的图像特征，得到训练特征值；
根据两所述训练特征值平方差的二范数，得到所述训练生成图像之间的训练图像内容差异值；
采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值；
获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值；
以所述图像差异值作为所述生成损失函数，将所述初始生成子模型中的生成参数朝向所述生成损失函数和所述生成概率差增大的方向调整，得到所述中间生成子模型。
6.根据权利要求5所述的方法，其特征在于，所述获取所述训练图像内容差异值与所述训练图像风格差异值之和，得到图像差异值，包括：
将图像内容权重乘以初始训练图像内容差异值，得到所述训练图像内容差异值；
将图像风格权重乘以初始训练图像风格差异值，得到所述训练图像风格差异值；
将所述训练图像内容差异值加上所述训练图像风格差异值，得到所述图像差异值。
7.根据权利要求5所述的方法，其特征在于，所述采用格拉姆矩阵得到所述训练生成图像之间的训练图像风格差异值，包括：
获取所述训练生成图像不同维度下训练特征值的乘积，得到训练特征积；
根据每一所述训练生成图像的所述训练特征积得到对应所述格拉姆矩阵；
根据所述训练生成图像间的格拉姆矩阵平方差的范数值，得到所述训练图像之间的训练图像风格差异值。
8.一种图像生成装置，其特征在于，所述装置包括：
特征提取模块，用于通过图像生成模型提取输入源图像的输入图像特征；
目标生成模块，用于利用所述图像生成模型根据所述输入图像特征和随机噪声参数得到生成图像；其中，所述图像生成模型包括令生成损失函数最大训练得到的神经网络模型，所述生成损失函数为所述生成图像间的图像内容差异值和图像风格差异值之和。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010690642.4A CN111815506A (zh) | 2020-07-17 | 2020-07-17 | 图像生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010690642.4A CN111815506A (zh) | 2020-07-17 | 2020-07-17 | 图像生成方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111815506A true CN111815506A (zh) | 2020-10-23 |
Family
ID=72865457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010690642.4A Pending CN111815506A (zh) | 2020-07-17 | 2020-07-17 | 图像生成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111815506A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
| CN108875766A (zh) * | 2017-11-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、系统及计算机存储介质 |
| CN109166087A (zh) * | 2018-09-29 | 2019-01-08 | 上海联影医疗科技有限公司 | 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质 |
| CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
| CN110245380A (zh) * | 2019-05-10 | 2019-09-17 | 西安理工大学 | 软仪表训练和样本补充方法 |
| CN110310221A (zh) * | 2019-06-14 | 2019-10-08 | 大连理工大学 | 一种基于生成对抗网络的多域图像风格迁移方法 |
| CN110909790A (zh) * | 2019-11-20 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像的风格迁移方法、装置、终端及存储介质 |
| CN110930295A (zh) * | 2019-10-25 | 2020-03-27 | 广东开放大学（广东理工职业学院） | 一种图像风格迁移方法、系统、装置和存储介质 |
| CN111340745A (zh) * | 2020-03-27 | 2020-06-26 | 成都安易迅科技有限公司 | 一种图像生成方法、装置、存储介质及电子设备 |
-
2020
- 2020-07-17 CN CN202010690642.4A patent/CN111815506A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
| CN108875766A (zh) * | 2017-11-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、系统及计算机存储介质 |
| CN109166087A (zh) * | 2018-09-29 | 2019-01-08 | 上海联影医疗科技有限公司 | 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质 |
| CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
| CN110245380A (zh) * | 2019-05-10 | 2019-09-17 | 西安理工大学 | 软仪表训练和样本补充方法 |
| CN110310221A (zh) * | 2019-06-14 | 2019-10-08 | 大连理工大学 | 一种基于生成对抗网络的多域图像风格迁移方法 |
| CN110930295A (zh) * | 2019-10-25 | 2020-03-27 | 广东开放大学（广东理工职业学院） | 一种图像风格迁移方法、系统、装置和存储介质 |
| CN110909790A (zh) * | 2019-11-20 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像的风格迁移方法、装置、终端及存储介质 |
| CN111340745A (zh) * | 2020-03-27 | 2020-06-26 | 成都安易迅科技有限公司 | 一种图像生成方法、装置、存储介质及电子设备 |
Non-Patent Citations (7)
| Title |
|---|
| DMITRY ULYANOV: "Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis", HTTP://WWW.ARXIV.COM, 6 November 2017 (2017-11-06) * |
| LEON A. GATYS 等: "Image Style Transfer Using Convolutional Neural Networks", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2016 (2016-12-31) * |
| 康莉;江静婉;黄建军;黄德渠;张体江;: "基于分步生成模型的视网膜眼底图像合成", 中国体视学与图像分析, no. 04, 25 December 2019 (2019-12-25) * |
| 李君艺 等: "基于感知对抗网络的图像风格迁移方法研究", 《合肥工业大学学报》, 31 May 2020 (2020-05-31), pages 1 - 3 * |
| 王晓红;卢辉;麻祥才;: "基于生成对抗网络的风格化书法图像生成", 包装工程, no. 11, 10 June 2020 (2020-06-10) * |
| 许哲豪 等: "基于生成对抗网络的图片风格迁移", 《软件导刊》, 30 June 2018 (2018-06-30), pages 3 * |
| 陶颖;刘惠义;: "基于EBGAN的图像风格化技术", 计算机与现代化, no. 04, 15 April 2020 (2020-04-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10713532B2 (en) | Image recognition method and apparatus | |
| US11257007B2 (en) | Method and apparatus for encrypting data, method and apparatus for training machine learning model, and electronic device | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| US20210382542A1 (en) | Screen wakeup method and apparatus | |
| CN103425964A (zh) | 图像处理设备、图像处理方法及计算机程序 | |
| CN110929564B (zh) | 基于对抗网络的指纹模型生成方法以及相关装置 | |
| CN110009486A (zh) | 一种欺诈检测的方法、系统、设备及计算机可读存储介质 | |
| CN113657397A (zh) | 循环生成网络模型的训练方法、建立字库的方法和装置 | |
| US20190108616A1 (en) | Image generation method and device | |
| KR20230028253A (ko) | 얼굴 이미지 처리 방법, 얼굴 이미지 처리 모델 훈련 방법, 장치, 디바이스, 저장 매체 및 프로그램 제품 | |
| CN113781164A (zh) | 虚拟试衣模型训练方法、虚拟试衣方法和相关装置 | |
| CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| CN112561817B (zh) | 基于am-gan的遥感图像去云方法、装置、设备及存储介质 | |
| WO2024088111A1 (zh) | 图像处理方法、装置、设备、介质及程序产品 | |
| CN116777014A (zh) | 基于标签保护的联邦学习模型训练方法、设备及存储介质 | |
| CN117155892A (zh) | 交互处理方法、装置、电子设备及存储介质 | |
| CN111815506A (zh) | 图像生成方法、装置、计算机设备和存储介质 | |
| CN117056721A (zh) | 模型参数的调整方法、装置、模型预测方法、设备及介质 | |
| CN114880709B (zh) | 一种应用人工智能的电商数据防护方法及服务器 | |
| CN116580208A (zh) | 图像处理方法、图像模型训练方法、装置、介质及设备 | |
| CN109754319B (zh) | 信用分值确定系统、方法、终端及服务器 | |
| CN116129534A (zh) | 一种图像活体检测方法、装置、存储介质及电子设备 | |
| CN116956204A (zh) | 多任务模型的网络结构确定方法、数据预测方法及装置 | |
| CN116665117A (zh) | 视频人群计数方法、装置、终端设备及存储介质 | |
| KR102271983B1 (ko) | 고객정보와 가상화폐 구매이력을 기반으로 한 기계학습 수행을 통해 사용자 맞춤의 가상화폐 추천을 제공하는 가상화폐 거래 플랫폼 서버 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |