CN112102269A

CN112102269A - 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质

Info

Publication number: CN112102269A
Application number: CN202010906157.6A
Authority: CN
Inventors: 赵磊; 王志忠; 仇礼鸿; 张惠铭; 莫启航; 林思寰; 陈海博; 李艾琳; 左智文; 邢卫; 鲁东明
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2020-09-01
Filing date: 2020-09-01
Publication date: 2020-12-18
Anticipated expiration: 2040-09-01
Also published as: CN112102269B

Abstract

本申请涉及计算风格迁移质量相似度的方法、装置、计算机设备和存储介质。该方法包括：获取内容图像、风格图像和风格迁移后的结果图像，使用结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值，使用结果图像和风格图像计算在全局颜色和纹理相似度得到结果图像的全局风格的第二度量值，使用结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值，再将第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。通过定量计算风格迁移质量相似度，可以方便用户衡量任意风格迁移方法得到的风格迁移结果的质量。

Description

计算风格迁移质量相似度的方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像合成技术领域，特别是涉及计算风格迁移质量相似度的方法、装置、计算机设备和存储介质。

背景技术

自Gatys等人在2015年首次将深度学习技术应用到图像风格迁移和纹理合成领域后，大量的基于深度学习的图像风格迁移和纹理合成算法被提出和改进。最初Gatys等人提出的艺术风格神经算法通过计算一个深度神经网络输出的各层激活特征的格拉姆Gram矩阵来抽取图像的风格特征，但是这种方法仅考虑了特征之间的全局相关性，而忽略了局部区域之间的相似度。

为了更好地考虑风格在局部区域上的表现，Li和Wand等人在2016年结合了卷积神经网络和马尔科夫随机场(Markov Random Fields,MRFs)，通过从特征图中抽取若干个局部区域小块，然后再用最近邻的方法匹配最相似的小块来提高风格迁移过程中的局部相似性。后来，基于这种方法，Champandard在小块匹配的过程中结合了语义图约束，大大提升了算法在对应语义区域上的风格迁移效果。

再后来，大量的基于上述两种风格迁移思路的算法被提出，它们有些在照片真实感上提升效果，有些在风格迁移速度上提升性能，还有些致力于产生多样化的风格迁移结果。

虽然目前已经有很多风格迁移的方法被提出，但却没有一种有效的方法来定量地评估这些方法的风格迁移结果的质量相似度，而研究一种风格迁移质量相似度的定量评估方法，无论是在对图像风格的理解上还是对已有风格迁移方法的理解和提升上，都是具有重大意义的。

发明内容

基于此，本申请提供计算风格迁移质量相似度的方法，能够对风格迁移结果图像的风格迁移质量通过相似度进行定量的评估，进而比较不同风格迁移方法和结果的好坏。

本申请计算风格迁移质量相似度的方法，包括：

获取内容图像、风格图像和风格迁移后的结果图像；

根据所述结果图像和所述内容图像计算得到所述结果图像的内容结构保真度的第一度量值；

根据所述结果图像和所述风格图像计算在全局颜色和纹理上的相似度得到所述结果图像的全局风格迁移效果的第二度量值；

根据所述结果图像和所述风格图像计算在局部风格模式和风格类别上的相似度得到所述结果图像的局部风格的第三度量值；

根据所述第一度量值、所述第二度量值和所述第三度量值按照比例进行混合，得到风格迁移质量相似度。

可选的，根据如下公式计算第一度量值：

式中：

和

分别表示风格图像和结果图像；

f_l(·)表示从预训练的深度神经网络的第l层提取出的激活特征；

N是所需提取激活特征的网络层的层数。

可选的，根据如下公式计算第二度量值：

式中：

表示风格图像；

表示结果图像；

hist_c(·)表示在RGB颜色空间的c通道上得到的颜色直方图向量；

表示求激活特征的格拉姆Gram矩阵，即

其中上标T表示矩阵的转置操作；

N是所需提取激活特征的网络层的层数。

可选的，根据如下公式计算所述结果图像小块和所述风格图像小块的最匹配小块：

分别对所述风格图像激活特征和所述结果图像激活特征提取若干风格图像小块和结果图像小块；

利用如下公式从所述风格图像小块中选取出与所述结果图像小块相匹配的小块作为最匹配小块；

式中：

表示结果图像小块；

表示风格图像小块；

表示结果图像小块集合，n_x表示结果图像小块的数量；

表示风格图像小块集合，n_s表示风格图像小块的数量。

可选的，根据所述最匹配小块，利用如下公式计算第三度量值：

式中：

表示最匹配小块；

表示

集合中不同的小块的数量；

表示

集合中不同的小块的数量；

N是所需提取激活特征的网络层的层数。

将所述第一度量值、所述第二度量值和所述第三度量值分别赋予权重后相加得到风格迁移质量相似度。

本申请还提供计算风格迁移质量相似度的装置，包括：

第一模块，获取内容图像、风格图像和风格迁移后的结果图像；

第二模块，根据所述结果图像和所述内容图像计算得到所述结果图像的内容结构保真度的第一度量值；

第三模块，根据所述结果图像和所述风格图像计算在全局颜色和纹理上的相似度得到所述结果图像的全局风格迁移效果的第二度量值；

第四模块，根据所述结果图像和所述风格图像计算在局部风格模式和风格类别上的相似度得到所述结果图像的局部风格的第三度量值；

第五模块，根据所述第一度量值、所述第二度量值和所述第三度量值按照比例进行混合，得到风格迁移质量相似度。

本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请中任一项所述风格迁移质量相似度的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一项所述风格迁移质量相似度的步骤。

本申请计算风格迁移质量相似度的方法、装置、计算机设备和存储介质，通过计算内容结构保真度的度量值、全局风格迁移效果的度量值和局部风格的度量值，将三种数值按照一定的权重进行加和操作，可以对风格迁移结果进行更加完备地、系统地评估，从而实现对不同的风格迁移方法得到的结果图像进行风格迁移质量的定量评估，帮助用户和研究者更好地评估不同的风格迁移方法和结果的优劣。

附图说明

图1为一个实施例中计算风格迁移质量相似度的方法的流程示意图；

图2为一个实施例中计算风格迁移质量相似度的方法的逻辑原理示意图；

图3为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、次序。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。

在一个实施例中，如图1和图2所示，提供了一种计算风格迁移质量相似度的方法，包括：

步骤S100，获取内容图像、风格图像和风格迁移后的结果图像。

其中，风格迁移是将风格图像的风格转化成为风格图像的风格，得到结果图像，结果图像中包含有风格图像的内容特征和风格图像的风格特征。

首先将内容图像、风格图像和结果图像进行预处理，预处理的过程包括：通过裁剪、尺寸变换等处理，使得结果图像与内容图像或风格图像的尺寸相同。

步骤S200，根据结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值。

之后计算出第一度量值，第一度量值的计算过程包括，将结果图像和内容图像通过在ImageNet上预训练好的VGG19模型提取高层的{Conv4_1，Conv5_1}两层激活特征，得到的激活特征可以为内容图像内容特征和结果图像内容特征，利用内容图像内容特征和结果图像内容特征根据如下公式计算第一度量值：

式中：

和

分别表示内容图像和结果图像；

N是所需提取激活特征的网络层的层数。

对应的，在该实施例中，l＝{Conv4_1，Conv5_1}，N＝2。

步骤S300，根据结果图像和风格图像计算在全局颜色和纹理上的相似度得到结果图像的全局风格迁移效果的第二度量值。

之后计算第二度量值，第二度量值的计算过程包括，将风格图像和结果图像通过在ImageNet上预训练好的VGG19模型提取中高层的{Conv2_1，Conv3_1，Conv4_1，Conv5_1}四层激活特征，得到的激活特征可以为风格图像风格特征和结果图像风格特征，利用风格图像风格特征和结果图像风格特征根据如下公式计算第二度量值：

式中：

表示风格图像；

表示结果图像；

表示求激活特征的格拉姆Gram矩阵，即

其中上标T表示矩阵的转置操作；

N是所需提取激活特征的网络层的层数。

其中，RGB表示工业界的一种颜色标准，通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加得到各式各样的颜色，c通道即代表三个颜色通道，对应地，在该实施例中，l＝{Conv2_1，Conv3_1，Conv4_1，Conv5_1}，N＝4。

步骤S400，根据结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值。

之后计算第三度量值，第三度量值的计算过程包括，将风格图像和结果图像通过在ImageNet上预训练好的VGG19模型提取中层的{Conv3_1，Conv4_1}两层激活特征：风格图像的激活特征和结果图像的激活特征，得到的激活特征可以为风格图像风格特征和结果图像风格特征，分别对风格图像的激活特征和结果图像的激活特征提取若干3×3大小的风格图像小块和结果图像小块；

利用如下公式从风格图像小块中选取出与结果图像小块相匹配的小块作为最匹配小块；

式中：

表示结果图像小块；

表示风格图像小块；

表示结果图像小块集合，n_x表示结果图像小块的数量；

表示风格图像小块集合，n_s表示风格图像小块的数量。

根据结果图像小块、风格图像小块和最匹配小块用如下公式计算第三度量值：

式中：

表示最匹配小块；

表示

集合中不同的小块的数量；

表示

集合中不同的小块的数量；

N是所需提取激活特征的网络层的层数。

对应地，在该实施例中，l＝{Conv3_1，Conv4_1}，N＝2。

步骤S500，根据第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。

最后，根据计算得到的第一度量值、第二度量值和第三度量值混合得到风格迁移质量相似度。其中，相似度是比较两个事物的相似性。本申请的相似度是通过内容结构保真度的第一度量值、全局风格迁移效果的第二度量值和局部风格的第三度量值分别赋予权重后相加得到风格迁移质量相似度，可以进行全面，多角度的衡量风格迁移质量，提升风格迁移质量相似度的准确性。

实际使用中，可以根据实际需求确定和调整第一、第二和第三度量值的权重。由于第一、第二和第三度量值计算出的结果均在0到1的区间内，为保证最后得到的风格迁移质量相似度也在0到1的区间内，第一、第二和第三度量值的权重之和应为1，例如为第一度量值赋予权重0.6，第二和第三度量值分别均赋予0.2等。在实际赋予权重时，可根据所应用的风格迁移领域参照用户调查结果确定。例如，对于照片真实感的风格迁移，在衡量风格迁移质量相似度时，用户对内容结构的保真度更为看重，因此可以对第一度量值赋予更高的权重。而对艺术图像的风格迁移，衡量风格迁移质量相似度时，用户往往更关注全局风格迁移效果和局部风格，因此可以对第二和第三度量值赋予更高的权重。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了计算风格迁移质量相似度的装置，包括：

第二模块，根据结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值；

第三模块，根据结果图像和风格图像计算在全局颜色和纹理上的相似度得到结果图像的全局风格迁移效果的第二度量值；

第四模块，根据结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值；

第五模块，根据第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。

关于计算风格迁移质量相似度的装置具体限定可以参见上文中对于计算风格迁移质量相似度的方法的限定，在此不再赘述。上述计算风格迁移质量相似度的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现计算风格迁移质量相似度的方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取内容图像、风格图像和风格迁移后的结果图像；

根据结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值；

根据结果图像和风格图像计算在全局颜色和纹理上的相似度得到结果图像的全局风格迁移效果的第二度量值；

根据结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值；

根据第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取内容图像、风格图像和风格迁移后的结果图像；

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率步骤SDRAM(DDR SDRAM)、增强型步骤SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambu S)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。