CN112102269B - 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质 - Google Patents

计算风格迁移质量相似度的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112102269B
CN112102269B CN202010906157.6A CN202010906157A CN112102269B CN 112102269 B CN112102269 B CN 112102269B CN 202010906157 A CN202010906157 A CN 202010906157A CN 112102269 B CN112102269 B CN 112102269B
Authority
CN
China
Prior art keywords
style
image
result image
calculating
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010906157.6A
Other languages
English (en)
Other versions
CN112102269A (zh
Inventor
赵磊
王志忠
仇礼鸿
张惠铭
莫启航
林思寰
陈海博
李艾琳
左智文
邢卫
鲁东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010906157.6A priority Critical patent/CN112102269B/zh
Publication of CN112102269A publication Critical patent/CN112102269A/zh
Application granted granted Critical
Publication of CN112102269B publication Critical patent/CN112102269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算风格迁移质量相似度的方法、装置、计算机设备和存储介质。该方法包括：获取内容图像、风格图像和风格迁移后的结果图像，使用结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值，使用结果图像和风格图像计算在全局颜色和纹理相似度得到结果图像的全局风格的第二度量值，使用结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值，再将第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。通过定量计算风格迁移质量相似度，可以方便用户衡量任意风格迁移方法得到的风格迁移结果的质量。

Description

计算风格迁移质量相似度的方法、装置、计算机设备和存储 介质
技术领域
本申请涉及图像合成技术领域，特别是涉及计算风格迁移质量相似度的方法、装置、计算机设备和存储介质。
背景技术
自Gatys等人在2015年首次将深度学习技术应用到图像风格迁移和纹理合成领域后，大量的基于深度学习的图像风格迁移和纹理合成算法被提出和改进。最初Gatys等人提出的艺术风格神经算法通过计算一个深度神经网络输出的各层激活特征的格拉姆Gram矩阵来抽取图像的风格特征，但是这种方法仅考虑了特征之间的全局相关性，而忽略了局部区域之间的相似度。
为了更好地考虑风格在局部区域上的表现，Li和Wand等人在2016年结合了卷积神经网络和马尔科夫随机场(Markov Random Fields,MRFs)，通过从特征图中抽取若干个局部区域小块，然后再用最近邻的方法匹配最相似的小块来提高风格迁移过程中的局部相似性。后来，基于这种方法，Champandard在小块匹配的过程中结合了语义图约束，大大提升了算法在对应语义区域上的风格迁移效果。
再后来，大量的基于上述两种风格迁移思路的算法被提出，它们有些在照片真实感上提升效果，有些在风格迁移速度上提升性能，还有些致力于产生多样化的风格迁移结果。
虽然目前已经有很多风格迁移的方法被提出，但却没有一种有效的方法来定量地评估这些方法的风格迁移结果的质量相似度，而研究一种风格迁移质量相似度的定量评估方法，无论是在对图像风格的理解上还是对已有风格迁移方法的理解和提升上，都是具有重大意义的。
发明内容
基于此，本申请提供计算风格迁移质量相似度的方法，能够对风格迁移结果图像的风格迁移质量通过相似度进行定量的评估，进而比较不同风格迁移方法和结果的好坏。
本申请计算风格迁移质量相似度的方法，包括：
获取内容图像、风格图像和风格迁移后的结果图像；
根据所述结果图像和所述内容图像计算得到所述结果图像的内容结构保真度的第一度量值；
根据所述结果图像和所述风格图像计算在全局颜色和纹理上的相似度得到所述结果图像的全局风格迁移效果的第二度量值；
根据所述结果图像和所述风格图像计算在局部风格模式和风格类别上的相似度得到所述结果图像的局部风格的第三度量值；
根据所述第一度量值、所述第二度量值和所述第三度量值按照比例进行混合，得到风格迁移质量相似度。
可选的，根据如下公式计算第一度量值：
式中：和/>分别表示风格图像和结果图像；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
N是所需提取激活特征的网络层的层数。
可选的，根据如下公式计算第二度量值：
式中：表示风格图像；
表示结果图像；
histc(·)表示在RGB颜色空间的c通道上得到的颜色直方图向量；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
表示求激活特征的格拉姆Gram矩阵，即/>其中上标T表示矩阵的转置操作；
N是所需提取激活特征的网络层的层数。
可选的，根据如下公式计算所述结果图像小块和所述风格图像小块的最匹配小块：
分别对所述风格图像激活特征和所述结果图像激活特征提取若干风格图像小块和结果图像小块；
利用如下公式从所述风格图像小块中选取出与所述结果图像小块相匹配的小块作为最匹配小块；
式中：表示结果图像小块；
表示风格图像小块；
表示结果图像小块集合，nx表示结果图像小块的数量；
表示风格图像小块集合，ns表示风格图像小块的数量。
可选的，根据所述最匹配小块，利用如下公式计算第三度量值：
式中：表示最匹配小块；
表示/>集合中不同的小块的数量；
表示/>集合中不同的小块的数量；
N是所需提取激活特征的网络层的层数。
将所述第一度量值、所述第二度量值和所述第三度量值分别赋予权重后相加得到风格迁移质量相似度。
本申请还提供计算风格迁移质量相似度的装置，包括：
第一模块，获取内容图像、风格图像和风格迁移后的结果图像；
第二模块，根据所述结果图像和所述内容图像计算得到所述结果图像的内容结构保真度的第一度量值；
第三模块，根据所述结果图像和所述风格图像计算在全局颜色和纹理上的相似度得到所述结果图像的全局风格迁移效果的第二度量值；
第四模块，根据所述结果图像和所述风格图像计算在局部风格模式和风格类别上的相似度得到所述结果图像的局部风格的第三度量值；
第五模块，根据所述第一度量值、所述第二度量值和所述第三度量值按照比例进行混合，得到风格迁移质量相似度。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请中任一项所述风格迁移质量相似度的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一项所述风格迁移质量相似度的步骤。
本申请计算风格迁移质量相似度的方法、装置、计算机设备和存储介质，通过计算内容结构保真度的度量值、全局风格迁移效果的度量值和局部风格的度量值，将三种数值按照一定的权重进行加和操作，可以对风格迁移结果进行更加完备地、系统地评估，从而实现对不同的风格迁移方法得到的结果图像进行风格迁移质量的定量评估，帮助用户和研究者更好地评估不同的风格迁移方法和结果的优劣。
附图说明
图1为一个实施例中计算风格迁移质量相似度的方法的流程示意图；
图2为一个实施例中计算风格迁移质量相似度的方法的逻辑原理示意图；
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、次序。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
在一个实施例中，如图1和图2所示，提供了一种计算风格迁移质量相似度的方法，包括：
步骤S100，获取内容图像、风格图像和风格迁移后的结果图像。
其中，风格迁移是将风格图像的风格转化成为风格图像的风格，得到结果图像，结果图像中包含有风格图像的内容特征和风格图像的风格特征。
首先将内容图像、风格图像和结果图像进行预处理，预处理的过程包括：通过裁剪、尺寸变换等处理，使得结果图像与内容图像或风格图像的尺寸相同。
步骤S200，根据结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值。
之后计算出第一度量值，第一度量值的计算过程包括，将结果图像和内容图像通过在ImageNet上预训练好的VGG19模型提取高层的{Conv4_1，Conv5_1}两层激活特征，得到的激活特征可以为内容图像内容特征和结果图像内容特征，利用内容图像内容特征和结果图像内容特征根据如下公式计算第一度量值：
式中：和/>分别表示内容图像和结果图像；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
N是所需提取激活特征的网络层的层数。
对应的，在该实施例中，l＝{Conv4_1，Conv5_1}，N＝2。
步骤S300，根据结果图像和风格图像计算在全局颜色和纹理上的相似度得到结果图像的全局风格迁移效果的第二度量值。
之后计算第二度量值，第二度量值的计算过程包括，将风格图像和结果图像通过在ImageNet上预训练好的VGG19模型提取中高层的{Conv2_1，Conv3_1，Conv4_1，Conv5_1}四层激活特征，得到的激活特征可以为风格图像风格特征和结果图像风格特征，利用风格图像风格特征和结果图像风格特征根据如下公式计算第二度量值：
式中：表示风格图像；
表示结果图像；
histc(·)表示在RGB颜色空间的c通道上得到的颜色直方图向量；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
表示求激活特征的格拉姆Gram矩阵，即/>其中上标T表示矩阵的转置操作；
N是所需提取激活特征的网络层的层数。
其中，RGB表示工业界的一种颜色标准，通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加得到各式各样的颜色，c通道即代表三个颜色通道，对应地，在该实施例中，l＝{Conv2_1，Conv3_1，Conv4_1，Conv5_1}，N＝4。
步骤S400，根据结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值。
之后计算第三度量值，第三度量值的计算过程包括，将风格图像和结果图像通过在ImageNet上预训练好的VGG19模型提取中层的{Conv3_1，Conv4_1}两层激活特征：风格图像的激活特征和结果图像的激活特征，得到的激活特征可以为风格图像风格特征和结果图像风格特征，分别对风格图像的激活特征和结果图像的激活特征提取若干3×3大小的风格图像小块和结果图像小块；
利用如下公式从风格图像小块中选取出与结果图像小块相匹配的小块作为最匹配小块；
式中：表示结果图像小块；
表示风格图像小块；
表示结果图像小块集合，nx表示结果图像小块的数量；
表示风格图像小块集合，ns表示风格图像小块的数量。
根据结果图像小块、风格图像小块和最匹配小块用如下公式计算第三度量值：
式中：表示最匹配小块；
表示/>集合中不同的小块的数量；
表示/>集合中不同的小块的数量；
N是所需提取激活特征的网络层的层数。
对应地，在该实施例中，l＝{Conv3_1，Conv4_1}，N＝2。
步骤S500，根据第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。
最后，根据计算得到的第一度量值、第二度量值和第三度量值混合得到风格迁移质量相似度。其中，相似度是比较两个事物的相似性。本申请的相似度是通过内容结构保真度的第一度量值、全局风格迁移效果的第二度量值和局部风格的第三度量值分别赋予权重后相加得到风格迁移质量相似度，可以进行全面，多角度的衡量风格迁移质量，提升风格迁移质量相似度的准确性。
实际使用中，可以根据实际需求确定和调整第一、第二和第三度量值的权重。由于第一、第二和第三度量值计算出的结果均在0到1的区间内，为保证最后得到的风格迁移质量相似度也在0到1的区间内，第一、第二和第三度量值的权重之和应为1，例如为第一度量值赋予权重0.6，第二和第三度量值分别均赋予0.2等。在实际赋予权重时，可根据所应用的风格迁移领域参照用户调查结果确定。例如，对于照片真实感的风格迁移，在衡量风格迁移质量相似度时，用户对内容结构的保真度更为看重，因此可以对第一度量值赋予更高的权重。而对艺术图像的风格迁移，衡量风格迁移质量相似度时，用户往往更关注全局风格迁移效果和局部风格，因此可以对第二和第三度量值赋予更高的权重。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了计算风格迁移质量相似度的装置，包括：
第一模块，获取内容图像、风格图像和风格迁移后的结果图像；
第二模块，根据结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值；
第三模块，根据结果图像和风格图像计算在全局颜色和纹理上的相似度得到结果图像的全局风格迁移效果的第二度量值；
第四模块，根据结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值；
第五模块，根据第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。
关于计算风格迁移质量相似度的装置具体限定可以参见上文中对于计算风格迁移质量相似度的方法的限定，在此不再赘述。上述计算风格迁移质量相似度的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现计算风格迁移质量相似度的方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取内容图像、风格图像和风格迁移后的结果图像；
根据结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值；
根据结果图像和风格图像计算在全局颜色和纹理上的相似度得到结果图像的全局风格迁移效果的第二度量值；
根据结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值；
根据第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取内容图像、风格图像和风格迁移后的结果图像；
根据结果图像和内容图像计算得到结果图像的内容结构保真度的第一度量值；
根据结果图像和风格图像计算在全局颜色和纹理上的相似度得到结果图像的全局风格迁移效果的第二度量值；
根据结果图像和风格图像计算在局部风格模式和风格类别上的相似度得到结果图像的局部风格的第三度量值；
根据第一度量值、第二度量值和第三度量值按照比例进行混合，得到风格迁移质量相似度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率步骤SDRAM(DDR SDRAM)、增强型步骤SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambu S)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。不同实施例中的技术特征体现在同一附图中时，可视为该附图也同时披露了所涉及的各个实施例的组合例。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.计算风格迁移质量相似度的方法，其特征在于，包括：
获取内容图像、风格图像和风格迁移后的结果图像；
根据所述结果图像和所述内容图像计算得到所述结果图像的内容结构保真度的第一度量值；
根据所述结果图像和所述风格图像计算在全局颜色和纹理上的相似度得到所述结果图像的全局风格迁移效果的第二度量值；
根据所述结果图像和所述风格图像计算在局部风格模式和风格类别上的相似度得到所述结果图像的局部风格的第三度量值；
将所述第一度量值、所述第二度量值和所述第三度量值按照比例进行混合，得到风格迁移质量相似度；
根据如下公式计算第一度量值：
式中：和/>分别表示风格图像和结果图像；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
N是所需提取激活特征的网络层的层数；
根据如下公式计算所述第二度量值：
式中：表示风格图像；
表示结果图像；
histc(·)表示在RGB颜色空间的c通道上得到的颜色直方图向量；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
表示求激活特征的格拉姆Gram矩阵，即/>其中上标T表示矩阵的转置操作；
N是所需提取激活特征的网络层的层数；
分别对风格图像的激活特征和结果图像的激活特征提取若干风格图像小块和结果图像小块，从所述风格图像小块中选取出与所述结果图像小块相匹配的小块作为最匹配小块，根据所述最匹配小块，利用如下公式计算第三度量值：
式中：表示最匹配小块；
表示/>集合中不同的小块的数量；
表示/>集合中不同的小块的数量；
N是所需提取激活特征的网络层的层数。
2.根据权利要求1所述的计算风格迁移质量相似度的方法，其特征在于，根据如下公式计算所述结果图像小块和所述风格图像小块的最匹配小块：
分别对风格图像的激活特征和结果图像的激活特征提取若干风格图像小块和结果图像小块；
利用如下公式从所述风格图像小块中选取出与所述结果图像小块相匹配的小块作为最匹配小块；
式中：表示结果图像小块；
表示风格图像小块；
表示结果图像小块集合，nx表示结果图像小块的数量；
表示风格图像小块集合，ns表示风格图像小块的数量。
3.根据权利要求1所述的计算风格迁移质量相似度的方法，其特征在于，将所述第一度量值、所述第二度量值和所述第三度量值分别赋予权重后相加得到风格迁移质量相似度。
4.计算风格迁移质量相似度的装置，其特征在于，包括：
第一模块，获取内容图像、风格图像和风格迁移后的结果图像；
第二模块，根据所述结果图像和所述内容图像计算得到所述结果图像的内容结构保真度的第一度量值，根据如下公式计算第一度量值：
式中：和/>分别表示风格图像和结果图像；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
N是所需提取激活特征的网络层的层数；
第三模块，根据所述结果图像和所述风格图像计算在全局颜色和纹理上的相似度得到所述结果图像的全局风格迁移效果的第二度量值，根据如下公式计算所述第二度量值：
式中：表示风格图像；
表示结果图像；
histc(·)表示在RGB颜色空间的c通道上得到的颜色直方图向量；
fl(·)表示从预训练的深度神经网络的第l层提取出的激活特征；
表示求激活特征的格拉姆Gram矩阵，即/>其中上标T表示矩阵的转置操作；
N是所需提取激活特征的网络层的层数；
第四模块，根据所述结果图像和所述风格图像计算在局部风格模式和风格类别上的相似度得到所述结果图像的局部风格的第三度量值，分别对风格图像的激活特征和结果图像的激活特征提取若干风格图像小块和结果图像小块，从所述风格图像小块中选取出与所述结果图像小块相匹配的小块作为最匹配小块，根据所述最匹配小块，利用如下公式计算第三度量值：
式中：表示最匹配小块；
表示/>集合中不同的小块的数量；
表示/>集合中不同的小块的数量；
N是所需提取激活特征的网络层的层数；
第五模块，根据所述第一度量值、所述第二度量值和所述第三度量值按照比例进行混合，得到风格迁移质量相似度。
5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述计算风格迁移质量相似度的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述计算风格迁移质量相似度的步骤。
CN202010906157.6A 2020-09-01 2020-09-01 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质 Active CN112102269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010906157.6A CN112102269B (zh) 2020-09-01 2020-09-01 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010906157.6A CN112102269B (zh) 2020-09-01 2020-09-01 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112102269A CN112102269A (zh) 2020-12-18
CN112102269B true CN112102269B (zh) 2024-01-05

Family

ID=73757209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010906157.6A Active CN112102269B (zh) 2020-09-01 2020-09-01 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112102269B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077405A (zh) * 2021-03-27 2021-07-06 荆门汇易佳信息科技有限公司 二分割分块的颜色传递及其质量评价体系
CN114429420B (zh) * 2022-01-29 2023-11-28 抖音视界有限公司 图像的生成方法、装置、可读介质和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019025909A1 (en) * 2017-08-01 2019-02-07 3M Innovative Properties Company NEURONAL STYLE TRANSFER FOR VARIETY AND IMAGE RECOGNITION
CN109712081A (zh) * 2018-11-14 2019-05-03 浙江大学 一种融合深度特征的语义风格迁移方法和系统
CN110570377A (zh) * 2019-09-11 2019-12-13 辽宁工程技术大学 一种基于组归一化的快速图像风格迁移方法
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111325664A (zh) * 2020-02-27 2020-06-23 Oppo广东移动通信有限公司 风格迁移方法、装置、存储介质及电子设备
CN111583100A (zh) * 2020-05-12 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019025909A1 (en) * 2017-08-01 2019-02-07 3M Innovative Properties Company NEURONAL STYLE TRANSFER FOR VARIETY AND IMAGE RECOGNITION
CN109712081A (zh) * 2018-11-14 2019-05-03 浙江大学 一种融合深度特征的语义风格迁移方法和系统
CN110570377A (zh) * 2019-09-11 2019-12-13 辽宁工程技术大学 一种基于组归一化的快速图像风格迁移方法
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111325664A (zh) * 2020-02-27 2020-06-23 Oppo广东移动通信有限公司 风格迁移方法、装置、存储介质及电子设备
CN111583100A (zh) * 2020-05-12 2020-08-25 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Diversified Arbitrary Style Transfer via Deep Feature Perturbation;Zhizhong Wang 等;arXiv;全文 *

Also Published As

Publication number Publication date
CN112102269A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN110110799B (zh) 细胞分类方法、装置、计算机设备和存储介质
CN110263780B (zh) 实现异构图、分子空间结构性质识别的方法、装置和设备
CN110598765B (zh) 样本生成方法、装置、计算机设备及存储介质
CN112102269B (zh) 计算风格迁移质量相似度的方法、装置、计算机设备和存储介质
CN111126668B (zh) 基于图卷积网络的Spark作业时间预测方法和装置
CN108765425B (zh) 图像分割方法、装置、计算机设备和存储介质
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
CN110263801B (zh) 图像处理模型生成方法及装置、电子设备
CN112001294B (zh) 一种基于yolact++车身表面损伤检测及掩膜生成方法和存储设备
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
CN112750502A (zh) 一种基于二维分布结构判定的单细胞转录组测序数据聚类推荐方法
CN107679539B (zh) 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
CN112183295A (zh) 行人重识别方法、装置、计算机设备及存储介质
CN111199507A (zh) 一种图像隐写分析方法、智能终端及存储介质
CN111507985A (zh) 图像实例分割优化处理方法、装置和计算机设备
Wu et al. VP-NIQE: An opinion-unaware visual perception natural image quality evaluator
CN111144551A (zh) 一种基于特征方差比的卷积神经网络通道剪枝方法
CN109345604B (zh) 图片处理方法、计算机设备和存储介质
CN115618212A (zh) 电力数据处理方法、装置、计算机设备和存储介质
CN109447147B (zh) 基于双图稀疏的深度矩阵分解的图像聚类方法
CN113449672B (zh) 基于双线性孪生架构的遥感场景分类方法和装置
CN116825363B (zh) 基于融合深度学习网络的早期肺腺癌病理类型预测系统
CN111145107B (zh) 一种图像美化方法、装置、介质及设备
CN115730660B (zh) 基于因果解耦的链接生成方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant