CN111402121A - 图像风格的转换方法、装置、计算机设备和存储介质 - Google Patents
图像风格的转换方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111402121A CN111402121A CN202010199217.5A CN202010199217A CN111402121A CN 111402121 A CN111402121 A CN 111402121A CN 202010199217 A CN202010199217 A CN 202010199217A CN 111402121 A CN111402121 A CN 111402121A
- Authority
- CN
- China
- Prior art keywords
- image
- countermeasure network
- target generation
- generation countermeasure
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims description 88
- 230000006870 function Effects 0.000 claims description 73
- 238000004590 computer program Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Abstract
本申请涉及一种图像风格的转换方法、装置、计算机设备和存储介质。所述方法包括：将第一图像输入至目标生成对抗网络中，得到所述目标生成对抗网络输出的第二图像；所述第一图像和所述第二图像的图像风格不同；其中，所述目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，所述清晰度函数用于反映训练过程中所述目标生成对抗网络的输出图像的清晰程度。采用本方法能够使图像风格转换后的图像更加清晰。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像风格的转换方法、装置、计算机设备和存储介质。
背景技术
随着神经网络的发展，出现了深度学习。深度学习的动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。因此，基于深度学习模型，可以进行图像处理、语音处理、自然语言处理等。
其中，生成对抗网络是一种可以对不同风格的图像进行相互转换的深度学习模型。例如，生成对抗网络可以将油画风格的图像转换为水彩风格，或者将水彩风格转换为素描风格。
但是，生成对抗网络在进行图像风格转换时，存在输出图像不清晰的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高输出图像清晰度的图像风格的转换方法、装置、计算机设备和存储介质。
一种图像风格的转换方法，该方法包括：
将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；
其中，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度。
在其中一个实施例中，上述清晰度函数根据训练过程中目标生成对抗网络的输出图像的信息熵构建。
在其中一个实施例中，上述目标生成对抗网络的训练过程包括：
获取训练样本集；训练样本集包括多个第一样本图像和各第一样本图像对应的第二样本图像，第一样本图像与第二样本图像的图像风格不同；
将第一样本图像输入到未经训练的目标生成对抗网络中，得到未经训练的目标生成对抗网络的输出图像；
采用损失函数对输出图像和第二样本图像进行计算，得到损失计算结果；
采用清晰度函数对输出图像进行计算，得到清晰度计算结果；
根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络。
在其中一个实施例中，上述采用清晰度函数对输出图像进行计算，得到清晰度计算结果，包括：
对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率；
根据多个像素值区间分别对应的概率进行信息熵计算，得到清晰度计算结果。
在其中一个实施例中，上述对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率，包括：
根据输出图像中各像素点的像素值，确定各像素点所在的像素值区间；
统计各像素值区间中的像素点数量；
计算各像素值区间中的像素点数量与输出图像中的像素点总数之间的比值，并将比值作为各像素值区间对应的概率。
在其中一个实施例中，在上述对于预先划分的每个像素值区间，确定所述输出图像中各像素值位于所述像素值区间的概率之前，该方法还包括：
若输出图像为彩色图像，则获取输出图像中每个像素点在R、G、B三个通道中的像素值；
计算各像素点在R、G、B三个通道中的像素值的平均值，并根据计算出的各像素点的平均值，得到转换后图像；
对应地，上述对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率，包括：
对于各像素值区间，确定转换后图像中各像素值位于像素值区间的概率。
在其中一个实施例中，上述根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络，包括：
计算损失计算结果与清晰度计算结果的差值；
根据差值对未经训练的目标生成对抗网络的参数进行调整；
当差值符合预设条件时，结束训练得到目标生成对抗网络；预设条件包括差值小于预设阈值。
一种图像风格的转换装置，所述装置包括：
图像风格转换模块，用于将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；
其中，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度。
在其中一个实施例中，上述清晰度函数根据训练过程中目标生成对抗网络的输出图像的信息熵构建。
在其中一个实施例中，该装置还包括：
训练样本集获取模块，用于获取训练样本集；训练样本集包括多个第一样本图像和各第一样本图像对应的第二样本图像，第一样本图像与第二样本图像的图像风格不同；
输出图像获得模块，用于将第一样本图像输入到未经训练的目标生成对抗网络中，得到未经训练的目标生成对抗网络的输出图像；
损失计算模块，用于采用损失函数对输出图像和第二样本图像进行计算，得到损失计算结果；
清晰度计算模块，用于采用清晰度函数对输出图像进行计算，得到清晰度计算结果；
训练模块，用于根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络。
在其中一个实施例中，上述清晰度计算模块，具体用于对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率；根据多个像素值区间分别对应的概率进行信息熵计算，得到清晰度计算结果。
在其中一个实施例中，上述清晰度计算模块，具体用于根据输出图像中各像素点的像素值，确定各像素点所在的像素值区间；统计各像素值区间中的像素点数量；计算各像素值区间中的像素点数量与输出图像中的像素点总数之间的比值，并将比值作为各像素值区间对应的概率。
在其中一个实施例中，该装置还包括：
像素值获取模块，用于若输出图像为彩色图像，则获取输出图像中每个像素点在R、G、B三个通道中的像素值；
平均值计算模块，用于计算各像素点在R、G、B三个通道中的像素值的平均值，并根据计算出的各像素点的平均值，得到转换后图像；
上述清晰度计算模块，具体用于对于各像素值区间，确定转换后图像中各像素值位于像素值区间的概率。
在其中一个实施例中，上述清晰度计算模块，具体用于计算损失计算结果与清晰度计算结果的差值；根据差值对未经训练的目标生成对抗网络的参数进行调整；当差值符合预设条件时，结束训练得到目标生成对抗网络；预设条件包括差值小于预设阈值。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；
其中，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；
其中，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度。
上述图像风格的转换方法、装置、计算机设备和存储介质，将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；并且，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束。通过本申请实施例，不仅可以实现图像风格的转换，比如将机打风格的图像转换为手写风格的图像，而且还可以提高输出图像的清晰度。
附图说明
图1为一个实施例中图像风格的转换方法的应用环境图；
图2为一个实施例中图像风格的转换方法的流程示意图；
图3为一个实施例中目标生成对抗网络的训练步骤的流程示意图；
图4为一个实施例中采用清晰度函数对输出图像进行计算，得到清晰度计算结果步骤的流程示意图；
图5为一个实施例中图像风格的转换装置的结构框图之一；
图6为一个实施例中图像风格的转换装置的结构框图之二；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像风格的转换方法，可以应用于如图1所示的应用环境中。该应用环境中包括服务器101。其中，服务器101可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像风格的转换方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤201，将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同。
本申请实施例中，第一图像为待进行风格转换的图像。具体地，将第一图像输入到预先训练的目标生成对抗网络中，目标生成对抗网络输出第二图像，第二图像与第一图像的图像风格不同。
例如，第一图像中的文字为机打风格，将第一图像输入到目标生成对抗网络中，目标生成对抗网络输出第二图像，第二图像中的文字为手写风格。或者，第一图像中的文字为手写风格，将第一图像输入到目标生成对抗网络中，目标生成对抗网络输出第二图像，第二图像中的文字为机打风格。本申请实施例对图像风格不作详细限定，可以根据实际情况进行设置。
其中，上述目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束。具体地，在目标生成对抗网络的训练过程中，分别根据损失函数和清晰度函数对目标生成对抗网络的输出图像进行计算，根据计算结果调整目标生成对抗网络的参数，从而实现目标生成对抗网络的训练。
上述清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度，其根据训练过程中目标生成对抗网络的输出图像的信息熵构建。具体地，信息熵作为图像中信息含量的量化指标，信息含量越多，图像越清晰；信息含量越少，图像越模糊。在训练过程中，计算目标生成对抗网络的输出图像的信息熵，即可得到输出图像的清晰度。可以理解地，在损失函数的基础上增加清晰度函数，即在训练过程中参考输出图像的清晰度，因而可以使训练好的目标生成对抗网络在进行图像风格转换时输出更加清晰的图像。
上述图像风格的转换方法中，将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；并且，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束。通过本申请实施例，不仅可以实现图像风格的转换，比如将机打风格的图像转换为手写风格的图像，而且还可以提高输出图像的清晰度。
在一个实施例中，如图3所示，涉及对目标生成对抗网络进行训练的可选过程。在上述实施例的基础上，可以包括如下步骤：
步骤301，获取训练样本集；训练样本集包括多个第一样本图像和各第一样本图像对应的第二样本图像，第一样本图像与第二样本图像的图像风格不同。
本申请实施例中，预先获取多个第一样本图像以及各第一样本图像对应的第二样本图像，其中，第二样本图像作为第一样本图像的标注。之后，由多个第一样本图像和多个第二样本图像组成训练样本集。
其中，第一样本图像和第二样本图像可以是彩色图像，也可以是灰度图像。本申请实施例对此不作详细限定，可以根据实际情况进行设置。
步骤302，将第一样本图像输入到未经训练的目标生成对抗网络中，得到未经训练的目标生成对抗网络的输出图像。
本申请实施例中，预先设置一个未经训练的目标生成对抗网络，在获取到训练样本集之后，将第一样本图像输入到该未经训练的目标生成对抗网络中，得到该未经训练的目标生成对抗网络的输出图像。
上述未经训练的目标生成对抗网络可以采用CycleGan模型，本申请实施例对此不作详细限定，可以根据实际情况进行设置。
步骤303，采用损失函数对输出图像和第二样本图像进行计算，得到损失计算结果。
本申请实施例中，第二样本图像作为标注，采用损失函数计算输出图像和第二样本图像之间的图像损失，得到损失计算结果。其中，损失函数可以是循环一致损失函数，也可以是其他损失函数。本申请实施例对损失函数不作详细限定，可以根据实际情况进行设置。
步骤304，采用清晰度函数对输出图像进行计算，得到清晰度计算结果。
本申请实施例中，采用清晰度函数计算输出图像的清晰度，得到清晰度计算结果，如图4所示，具体可以包括如下步骤：
步骤3041，对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率。
本申请实施例中，按照预设步长将像素值0～255划分为多个像素值区间。例如，预设步长K为4个像素值，则像素值区间的数量L＝256/4＝64，即划分出64个像素值区间。本申请实施例对预设步长不作详细限定，可以根据实际情况进行设置。
在划分出多个像素值区间后，对于每个像素值区间，确定输出图像的各像素值位于该像素值区间的概率。具体地，根据输出图像中各像素点的像素值，确定各像素点所在的像素值区间；统计各像素值区间中的像素点数量；计算各像素值区间中的像素点数量与输出图像中的像素点总数之间的比值，并将比值作为各像素值区间对应的概率。
例如，划分出L个像素值区间，输出图像的像素点总数为M。遍历输出图像的每个像素点，确定每个像素点的像素值，并确定每个像素点的像素值位于哪一个像素值区间。之后，得到第一个像素值区间中像素点的数量为N1，第二个像素值区间中像素点的数量为N1，则第一个像素值区间对应的概率为p1＝N1/M，第二个像素值区间对应的概率为p2＝N2/M。以此类推，得到每个像素值区间对应的概率pi，其中i＝1、2……L。
在其中一个实施例中，如果输出图像为灰度图像，可以直接根据灰度图像中各像素点的像素值，确定各像素值区间对应的概率。如果输出图像为彩色图像，则需要进行图像预处理。具体地，若输出图像为彩色图像，则获取输出图像中每个像素点在R、G、B三个通道中的像素值；计算各像素点在R、G、B三个通道中的像素值的平均值，并根据计算出的各像素点的平均值，得到转换后图像。
例如，输出图像的像素点1在R、G、B三个通道的像素值分别为a、b、c，则平均值为x1＝(a+b+c)/3，将x1作为像素点1的像素值。以此类推，得到输出图像中每个像素点的像素值xj，其中j＝1、2……M。根据计算后每个像素点的像素值得到转换后图像。
对应地，在得到转换后图像之后，对于各像素值区间，确定转换后图像中各像素值位于像素值区间的概率。
步骤3042，根据多个像素值区间分别对应的概率进行信息熵计算，得到清晰度计算结果。
本申请实施例中，得到各像素值区间对应的概率之后，将各像素值区间对应的概率代入到公式
中进行信息熵计算，得到清晰度计算结果D(F)，其中，pi为每个像素值区间对应的概率，L为像素值区间的数量。
可以理解地，清晰度计算结果越大，表明输出图像越清晰；清晰度计算结果越小，表明输出图像越模糊。
本申请实施例对步骤303和步骤304的顺序不作详细限定，可以根据实际情况进行设置。
步骤305，根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络。
本申请实施例中，在得到损失计算结果和清晰度损失结果之后，计算损失计算结果与清晰度计算结果的差值；根据差值对未经训练的目标生成对抗网络的参数进行调整；当差值符合预设条件时，结束训练得到目标生成对抗网络；预设条件包括差值小于预设阈值。
可以理解地，清晰度计算结果越大，损失计算结果和清晰度计算结果的差值越小，即输出图像越清晰，越容易收敛，目标生成对抗网络的训练速度越快。而清晰度计算结果越小，损失计算结果和清晰度计算结果的差值越大，即输出图像越模糊，越难收敛，目标生成对抗网络的训练速度越慢。可见，在目标生成对抗网络的训练过程中，在损失函数的基础上增加清晰度函数，不仅可以使训练出的目标生成对抗网络的输出图像更清晰，而且还可以降低训练难度，提高训练速度。
上述损失计算结果与清晰度计算结果的差值存在负数的可能，因此，本申请实施例对预设条件不作详细限定，可以根据实际情况进行设置。
上述目标生成对抗网络的训练过程中，获取训练样本集；将第一样本图像输入到未经训练的目标生成对抗网络中，得到未经训练的目标生成对抗网络的输出图像；采用损失函数对输出图像和第二样本图像进行计算，得到损失计算结果；采用清晰度函数对输出图像进行计算，得到清晰度计算结果；根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络。通过本申请实施例，采用损失函数和清晰度函数一同训练目标生成对抗网络，不仅可以使目标生成对抗网络的输出图像更加清晰，而且还可以提高目标生成对抗网络的训练速度。
应该理解的是，虽然图2-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种图像风格的转换装置，包括：
图像风格转换模块401，用于将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；
其中，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度。
在其中一个实施例中，上述清晰度函数根据训练过程中目标生成对抗网络的输出图像的信息熵构建。
在其中一个实施例中，如图6所示，该装置还包括：
训练样本集获取模块402，用于获取训练样本集；训练样本集包括多个第一样本图像和各第一样本图像对应的第二样本图像，第一样本图像与第二样本图像的图像风格不同；
输出图像获得模块403，用于将第一样本图像输入到未经训练的目标生成对抗网络中，得到未经训练的目标生成对抗网络的输出图像；
损失计算模块404，用于采用损失函数对输出图像和第二样本图像进行计算，得到损失计算结果；
清晰度计算模块405，用于采用清晰度函数对输出图像进行计算，得到清晰度计算结果；
训练模块406，用于根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络。
在其中一个实施例中，上述清晰度计算模块405，具体用于对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率；根据多个像素值区间分别对应的概率进行信息熵计算，得到清晰度计算结果。
在其中一个实施例中，上述清晰度计算模块405，具体用于根据输出图像中各像素点的像素值，确定各像素点所在的像素值区间；统计各像素值区间中的像素点数量；计算各像素值区间中的像素点数量与输出图像中的像素点总数之间的比值，并将比值作为各像素值区间对应的概率。
在其中一个实施例中，该装置还包括：
像素值获取模块，用于若输出图像为彩色图像，则获取输出图像中每个像素点在R、G、B三个通道中的像素值；
平均值计算模块，用于计算各像素点在R、G、B三个通道中的像素值的平均值，并根据计算出的各像素点的平均值，得到转换后图像；
上述清晰度计算模块，具体用于对于各像素值区间，确定转换后图像中各像素值位于像素值区间的概率。
在其中一个实施例中，上述清晰度计算模块405，具体用于计算损失计算结果与清晰度计算结果的差值；根据差值对未经训练的目标生成对抗网络的参数进行调整；当差值符合预设条件时，结束训练得到目标生成对抗网络；预设条件包括差值小于预设阈值。
关于图像风格的转换装置的具体限定可以参见上文中对于图像风格的转换方法的限定，在此不再赘述。上述图像风格的转换装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像风格的转换数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像风格的转换方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；
其中，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度。
在其中一个实施例中，上述清晰度函数根据训练过程中目标生成对抗网络的输出图像的信息熵构建。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取训练样本集；训练样本集包括多个第一样本图像和各第一样本图像对应的第二样本图像，第一样本图像与第二样本图像的图像风格不同；
将第一样本图像输入到未经训练的目标生成对抗网络中，得到未经训练的目标生成对抗网络的输出图像；
采用损失函数对输出图像和第二样本图像进行计算，得到损失计算结果；
采用清晰度函数对输出图像进行计算，得到清晰度计算结果；
根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率；
根据多个像素值区间分别对应的概率进行信息熵计算，得到清晰度计算结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据输出图像中各像素点的像素值，确定各像素点所在的像素值区间；
统计各像素值区间中的像素点数量；
计算各像素值区间中的像素点数量与输出图像中的像素点总数之间的比值，并将比值作为各像素值区间对应的概率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若输出图像为彩色图像，则获取输出图像中每个像素点在R、G、B三个通道中的像素值；
计算各像素点在R、G、B三个通道中的像素值的平均值，并根据计算出的各像素点的平均值，得到转换后图像；
对于各像素值区间，确定转换后图像中各像素值位于像素值区间的概率。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
计算损失计算结果与清晰度计算结果的差值；
根据差值对未经训练的目标生成对抗网络的参数进行调整；
当差值符合预设条件时，结束训练得到目标生成对抗网络；预设条件包括差值小于预设阈值。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将第一图像输入至目标生成对抗网络中，得到目标生成对抗网络输出的第二图像；第一图像和第二图像的图像风格不同；
其中，目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，清晰度函数用于反映训练过程中目标生成对抗网络的输出图像的清晰程度。
在其中一个实施例中，上述清晰度函数根据训练过程中目标生成对抗网络的输出图像的信息熵构建。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤
获取训练样本集；训练样本集包括多个第一样本图像和各第一样本图像对应的第二样本图像，第一样本图像与第二样本图像的图像风格不同；
将第一样本图像输入到未经训练的目标生成对抗网络中，得到未经训练的目标生成对抗网络的输出图像；
采用损失函数对输出图像和第二样本图像进行计算，得到损失计算结果；
采用清晰度函数对输出图像进行计算，得到清晰度计算结果；
根据损失计算结果和清晰度计算结果对未经训练的目标生成对抗网络的参数进行调整，得到目标生成对抗网络。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对于预先划分的每个像素值区间，确定输出图像中各像素值位于像素值区间的概率；
根据多个像素值区间分别对应的概率进行信息熵计算，得到清晰度计算结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据输出图像中各像素点的像素值，确定各像素点所在的像素值区间；
统计各像素值区间中的像素点数量；
计算各像素值区间中的像素点数量与输出图像中的像素点总数之间的比值，并将比值作为各像素值区间对应的概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若输出图像为彩色图像，则获取输出图像中每个像素点在R、G、B三个通道中的像素值；
计算各像素点在R、G、B三个通道中的像素值的平均值，并根据计算出的各像素点的平均值，得到转换后图像；
对于各像素值区间，确定转换后图像中各像素值位于像素值区间的概率。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
计算损失计算结果与清晰度计算结果的差值；
根据差值对未经训练的目标生成对抗网络的参数进行调整；
当差值符合预设条件时，结束训练得到目标生成对抗网络；预设条件包括差值小于预设阈值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像风格的转换方法，其特征在于，所述方法包括：
将第一图像输入至目标生成对抗网络中，得到所述目标生成对抗网络输出的第二图像；所述第一图像和所述第二图像的图像风格不同；
其中，所述目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，所述清晰度函数用于反映训练过程中所述目标生成对抗网络的输出图像的清晰程度。
2.根据权利要求1所述的方法，其特征在于，所述清晰度函数根据训练过程中所述目标生成对抗网络的输出图像的信息熵构建。
3.根据权利要求1或2所述的方法，其特征在于，所述目标生成对抗网络的训练过程包括：
获取训练样本集；所述训练样本集包括多个第一样本图像和各所述第一样本图像对应的第二样本图像，所述第一样本图像与所述第二样本图像的图像风格不同；
将所述第一样本图像输入到未经训练的目标生成对抗网络中，得到所述未经训练的目标生成对抗网络的输出图像；
采用所述损失函数对所述输出图像和所述第二样本图像进行计算，得到损失计算结果；
采用所述清晰度函数对所述输出图像进行计算，得到清晰度计算结果；
根据所述损失计算结果和所述清晰度计算结果对所述未经训练的目标生成对抗网络的参数进行调整，得到所述目标生成对抗网络。
4.根据权利要求3所述的方法，其特征在于，所述采用所述清晰度函数对所述输出图像进行计算，得到清晰度计算结果，包括：
对于预先划分的每个像素值区间，确定所述输出图像中各像素值位于所述像素值区间的概率；
根据多个所述像素值区间分别对应的概率进行信息熵计算，得到所述清晰度计算结果。
5.根据权利要求4所述的方法，其特征在于，所述对于预先划分的每个像素值区间，确定所述输出图像中各像素值位于所述像素值区间的概率，包括：
根据所述输出图像中各所述像素点的像素值，确定各所述像素点所在的像素值区间；
统计各所述像素值区间中的像素点数量；
计算各所述像素值区间中的像素点数量与所述输出图像中的像素点总数之间的比值，并将所述比值作为各所述像素值区间对应的概率。
6.根据权利要求4所述的方法，其特征在于，在所述对于预先划分的每个像素值区间，确定所述输出图像中各像素值位于所述像素值区间的概率之前，所述方法还包括：
若所述输出图像为彩色图像，则获取所述输出图像中每个像素点在R、G、B三个通道中的像素值；
计算各所述像素点在所述R、G、B三个通道中的像素值的平均值，并根据计算出的各所述像素点的平均值，得到转换后图像；
对应地，所述对于预先划分的每个像素值区间，确定所述输出图像中各像素值位于所述像素值区间的概率，包括：
对于各所述像素值区间，确定所述转换后图像中各像素值位于所述像素值区间的概率。
7.根据权利要求3所述的方法，其特征在于，所述根据所述损失计算结果和所述清晰度计算结果对所述未经训练的目标生成对抗网络的参数进行调整，得到所述目标生成对抗网络，包括：
计算所述损失计算结果与所述清晰度计算结果的差值；
根据所述差值对所述未经训练的目标生成对抗网络的参数进行调整；
当所述差值符合预设条件时，结束训练得到所述目标生成对抗网络；所述预设条件包括所述差值小于预设阈值。
8.一种图像风格的转换装置，其特征在于，所述装置包括：
图像风格转换模块，用于将第一图像输入至目标生成对抗网络中，得到所述目标生成对抗网络输出的第二图像；所述第一图像和所述第二图像的图像风格不同；
其中，所述目标生成对抗网络在训练过程中使用损失函数和清晰度函数进行训练约束，所述清晰度函数用于反映训练过程中所述目标生成对抗网络的输出图像的清晰程度。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010199217.5A CN111402121A (zh) | 2020-03-20 | 2020-03-20 | 图像风格的转换方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010199217.5A CN111402121A (zh) | 2020-03-20 | 2020-03-20 | 图像风格的转换方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111402121A true CN111402121A (zh) | 2020-07-10 |
Family
ID=71413927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010199217.5A Pending CN111402121A (zh) | 2020-03-20 | 2020-03-20 | 图像风格的转换方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111402121A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362304A (zh) * | 2021-06-03 | 2021-09-07 | 北京百度网讯科技有限公司 | 清晰度预测模型的训练方法和确定清晰等级的方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
| CN107645606A (zh) * | 2017-09-29 | 2018-01-30 | 努比亚技术有限公司 | 屏幕亮度调节方法、移动终端及可读存储介质 |
| CN108806638A (zh) * | 2017-04-27 | 2018-11-13 | 深圳市Tcl高新技术开发有限公司 | 一种图像的显示方法及其装置 |
| CN108875766A (zh) * | 2017-11-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、系统及计算机存储介质 |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| US20190172193A1 (en) * | 2017-12-06 | 2019-06-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for evaluating image definition, computer device and storage medium |
| CN110246129A (zh) * | 2019-06-18 | 2019-09-17 | 深圳市腾讯网域计算机网络有限公司 | 图像检测方法、装置、计算机可读存储介质和计算机设备 |
| CN110599421A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 模型训练方法、视频模糊帧转换方法、设备及存储介质 |
-
2020
- 2020-03-20 CN CN202010199217.5A patent/CN111402121A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108806638A (zh) * | 2017-04-27 | 2018-11-13 | 深圳市Tcl高新技术开发有限公司 | 一种图像的显示方法及其装置 |
| AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
| CN107645606A (zh) * | 2017-09-29 | 2018-01-30 | 努比亚技术有限公司 | 屏幕亮度调节方法、移动终端及可读存储介质 |
| CN108875766A (zh) * | 2017-11-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、系统及计算机存储介质 |
| US20190172193A1 (en) * | 2017-12-06 | 2019-06-06 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for evaluating image definition, computer device and storage medium |
| CN109146825A (zh) * | 2018-10-12 | 2019-01-04 | 深圳美图创新科技有限公司 | 摄影风格转换方法、装置及可读存储介质 |
| CN110246129A (zh) * | 2019-06-18 | 2019-09-17 | 深圳市腾讯网域计算机网络有限公司 | 图像检测方法、装置、计算机可读存储介质和计算机设备 |
| CN110599421A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技（深圳）有限公司 | 模型训练方法、视频模糊帧转换方法、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| ZHIYAO ZHOU; YI YANG; ZHUOHAO CAI; YUSI YANG; LAN LIN: "Combined Layer GAN for Image Style Transfer", 2019 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL ELECTROMAGNETICS (ICCEM) * |
| 余英东;杨怡;林澜;: "结合纹理特征分析的图像风格转换网络", 计算机应用, no. 03 * |
| 白海娟;周未;王存睿;王磊;: "基于生成式对抗网络的字体风格迁移方法", 大连民族大学学报, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362304A (zh) * | 2021-06-03 | 2021-09-07 | 北京百度网讯科技有限公司 | 清晰度预测模型的训练方法和确定清晰等级的方法 |
| CN113362304B (zh) * | 2021-06-03 | 2023-07-21 | 北京百度网讯科技有限公司 | 清晰度预测模型的训练方法和确定清晰等级的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102422729B1 (ko) | 학습 데이터 증강 정책 | |
| JP6504590B2 (ja) | 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体 | |
| CN107292352B (zh) | 基于卷积神经网络的图像分类方法和装置 | |
| CN111279362A (zh) | 胶囊神经网络 | |
| US11144782B2 (en) | Generating video frames using neural networks | |
| CN109919183B (zh) | 一种基于小样本的图像识别方法、装置、设备及存储介质 | |
| KR102300903B1 (ko) | 데이터 증강 방법 및 장치, 그리고 컴퓨터 프로그램 | |
| CN111898735A (zh) | 蒸馏学习方法、装置、计算机设备和存储介质 | |
| CN113610232A (zh) | 网络模型量化方法、装置、计算机设备以及存储介质 | |
| CN111357018A (zh) | 使用神经网络的图像分段 | |
| CN116363261A (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| CN113469092A (zh) | 字符识别模型生成方法、装置、计算机设备和存储介质 | |
| CN113505797A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN111402121A (zh) | 图像风格的转换方法、装置、计算机设备和存储介质 | |
| CN111260056B (zh) | 一种网络模型蒸馏方法及装置 | |
| US20220004849A1 (en) | Image processing neural networks with dynamic filter activation | |
| CN110889316B (zh) | 一种目标对象识别方法、装置及存储介质 | |
| CN114677716A (zh) | 图像风格迁移方法、装置、计算机设备和存储介质 | |
| US20190156182A1 (en) | Data inference apparatus, data inference method and non-transitory computer readable medium | |
| CN116128044A (zh) | 一种模型剪枝方法、图像处理方法及相关装置 | |
| JP7148078B2 (ja) | 属性推定装置、属性推定方法、属性推定器学習装置、及びプログラム | |
| CN115577797A (zh) | 一种基于本地噪声感知的联邦学习优化方法及系统 | |
| CN114926876A (zh) | 图像关键点检测方法、装置、计算机设备和存储介质 | |
| CN113222872A (zh) | 图像处理方法、装置、电子设备及介质 | |
| KR20220130498A (ko) | 딥뉴럴 네트워크 기반 이미지 아웃페인팅 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |