CN112233015A - 一种图片风格转换方法及装置 - Google Patents

一种图片风格转换方法及装置 Download PDF

Info

Publication number
CN112233015A
CN112233015A CN202011121386.3A CN202011121386A CN112233015A CN 112233015 A CN112233015 A CN 112233015A CN 202011121386 A CN202011121386 A CN 202011121386A CN 112233015 A CN112233015 A CN 112233015A
Authority
CN
China
Prior art keywords
picture
information
style
converted
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011121386.3A
Other languages
English (en)
Inventor
史少桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Kingsoft Online Game Technology Co Ltd
Original Assignee
Zhuhai Kingsoft Online Game Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Kingsoft Online Game Technology Co Ltd filed Critical Zhuhai Kingsoft Online Game Technology Co Ltd
Priority to CN202011121386.3A priority Critical patent/CN112233015A/zh
Publication of CN112233015A publication Critical patent/CN112233015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图片风格转换方法及装置，其中所述图片风格转换方法包括：接收待转换图片和风格图片；提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片。通过本申请提供的方法可以将待转换图片根据风格图片的风格进行图片风格迁移，简单易行，节约了大量的人力物力以及美术计算资源。

Description

一种图片风格转换方法及装置
技术领域
本申请涉及互联网技术领域，特别涉及一种图片风格转换方法及装置、计算设备和计算机可读存储介质。
背景技术
图片风格迁移指的是将一个图片的风格转换到另一个图片中，原图片又叫内容图片，提供内容特征，风格图片提供风格特征，新图片是结合了内容特征和风格特征后生成的新图片，这就叫做风格迁移。
在现有的图片风格迁移时，通常是基于某个成型的图片风格，将其制作为模板，将需要迁移风格的图片通过模板的风格化处理，从而获得风格迁移后的图片，但是这种处理方式中，模板的风格一经确定，则对原始图片的处理也随之确定，模板处理后输出的图片遵循模板的美术风格，较为死板，若需要更换新的美术风格，则必须重新设计模板，这样会消耗大量的人力资源以及美术、计算资源，费时费力，十分不方便。
因此，如何解决上述问题，就成为技术人员亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种图片风格转换方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面，提供了一种图片风格转换方法，包括：
接收待转换图片和风格图片；
提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；
将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；
根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片。
可选的，提取所述待转换图片的第一特征信息，包括：
通过预先训练好的卷积神经网络提取所述待转换图片的第一特征信息。
可选的，提取所述风格图片的第二特征信息，包括：
通过预先训练好的卷积神经网络提取所述风格图片的第二特征信息。
可选的，所述反向网络模型包括至少一个卷积层；
将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片，包括：
将所述第一特征信息经过所述每个所述卷积层处理，提取所述第一特征信息中的至少一个第一特征子信息；
将所述第二特征信息经过所述每个所述卷积神经网络处理，提取所述第二特征信息中的至少一个第二特征子信息；
确定每个所述第一特征子信息对应的第二目标特征子信息；
将所述第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息；
对所述初始第一特征信息进行解码获得对应的初始转换图片。
可选的，根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片，包括：
将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片。
可选的，将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片，包括：
获取所述待转换图片的三原色通道的每个通道对应的第一通道值；
获取所述初始转换图片的三原色通道的每个通道对应的第二通道值；
根据每个所述第一通道值及其权重和每个所述第二通道值及其权重调整所述初始转换图片的三原色通道的每个通道对应的通道值，获得目标风格转换图片。
可选的，所述反向网络模型包括九个卷积层。
根据本申请实施例的第二方面，提供了一种图片风格转换装置，包括：
接收模块，被配置为接收待转换图片和风格图片；
提取模块，被配置为提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；
生成模块，被配置为将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；
调整模块，被配置为根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片。
可选的，所述提取模块，进一步被配置为通过预先训练好的卷积神经网络提取所述待转换图片的第一特征信息。
可选的，所述提取模块，进一步被配置为通过预先训练好的卷积神经网络提取所述风格图片的第二特征信息。
可选的，所述反向网络模型包括至少一个卷积层；
所述生成模块包括：
卷积子单元，被配置为将所述第一特征信息经过所述每个所述卷积层处理，提取所述第一特征信息中的至少一个第一特征子信息，将所述第二特征信息经过所述每个所述卷积神经网络处理，提取所述第二特征信息中的至少一个第二特征子信息；
确定子单元，被配置为确定每个所述第一特征子信息对应的第二目标特征子信息；
替换子单元，被配置为将所述第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息；
解码子单元，被配置为对所述初始第一特征信息进行解码获得对应的初始转换图片。
可选的，所述调整模块，进一步被配置为将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片。
可选的，所述调整模块，进一步被配置为获取所述待转换图片的三原色通道的每个通道对应的第一通道值；获取所述初始转换图片的三原色通道的每个通道对应的第二通道值；根据每个所述第一通道值及其权重和每个所述第二通道值及其权重调整所述初始转换图片的三原色通道的每个通道对应的通道值，获得目标风格转换图片。
可选的，所述反向网络模型包括九个卷积层。
根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述图片风格转换方法的步骤。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述图片风格转换方法的步骤。
本申请实施例中，通过接收待转换图片和风格图片；提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；根据需要根据所述待转换图片实时调整所述初始转换图片，获得目标风格转换图片，通过本申请提供的方法，可以将任意一张图片根据任意风格图片进行迁移，在得到初始转换图片后，根据实际需求再对初始转换图片进行调整，使得图片风格迁移更加简单易行，节约了大量的人力、物力，以及美术、计算资源。
附图说明
图1是本申请实施例提供的计算设备的结构框图；
图2是本申请实施例提供的图片风格转换方法的流程图；
图3是本申请实施例提供的生成初始转换图片方法的流程图；
图4是本申请另一实施例提供的图片风格转换方法的流程图；
图5a是本申请实施例提供的待转换图片；
图5b是本申请实施例提供的风格图片；
图5c是本申请实施例提供的初始转换图片；
图5d是本申请实施例提供的目标风格转换图片；
图6是本申请实施例提供的图片风格转换装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本发明一个或多个实施例涉及的名词术语进行解释。
图片风格迁移：将一个图片的风格转换到另一个图片中，原图片又叫内容图片，提供内容特征，风格图片提供风格特征，新图片是结合了内容特征和风格特征后生成的新图片，这就叫做风格迁移。
反向网络模型：根据接收的特征信息解码还原出新的图像。
在本申请中，提供了一种图片风格转换方法及装置、计算设备和计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中，处理器120可以执行图2所示图片风格转换方法中的步骤。图2示出了根据本申请一实施例的图片风格转换方法的流程图，包括步骤202至步骤208。
步骤202：接收待转换图片和风格图片。
图片风格迁移是指将一个图片的风格转换到另一个图片中，原图片又叫内容图片，提供内容特征，风格图片提供风格特征，新图片是结合了内容特征和风格特征后生成的新图片，这就叫做风格迁移，如提取C图片的内容特征按照S图片的风格特征生成一张新图片CS，使CS图片具有C图片的内容和S图片的纹理特征，则称之为对C图片进行了图片风格迁移，其中，C图片即为待转换图片，S图片即为风格图片，需要将待转换图片的风格具有风格图片的纹理特征。
风格图片确定后，可以将多个待转换图片转换为具有统一风格的图片，对于同一张待转换图片，可以根据不同的风格图片转换为不同风格的图片。
在本申请提供的一具体实施方式中，接收用户输入的待转换图片A和风格图片B。
步骤204：提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息。
具体的，在实际应用中，通过预先训练好的卷积神经网络提取所述待转换图片的第一特征信息，通过预先训练好的卷积神经网络提取所述风格图片的第二特征信息。
每个图片均有RGB三个色值通道，分别表示红、绿、蓝，每个通道内的像素可以通过一个矩阵表示，数值代表0-255之间的像素值，通过对图像进行卷积操作提取图片的特征信息，卷积过程是基于卷积核，将所述卷积核在每层像素矩阵上不断按步长扫过，扫到的数值与卷积核对应位置的数相乘，然后求和，每扫一次得到一个值，全部扫完测生成一个新的矩阵，卷积核一般为3*3的矩阵，卷积核的步长是指卷积核每次移动几个格子，有横行和纵向两个方向，卷积核相当于一个过滤器，提取我们需要的特征信息。
预先训练好的卷积神经网络可以为VGG16网络、VGG19网络，卷积神经网络用于提取图片的特征信息，在本申请中对具体的卷积神经网络不做限制。
在本申请中，用φ()标识预先训练好的卷积神经网络(如VGG19)，则待转换图片C的第一特征信息表示为φ(C)，风格图片S的第二特征信息表示为φ(S)。
在本申请提供的一具体实施方式中，沿用上例，将待转换图片A和风格图片B输入至VGG19网络中，通过VGG19网络分别提取待转换图片A的第一特征信息φ(A)，提取风格图片B的第二特征信息φ(B)。
步骤206：将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片。
反向网络模型为卷积神经网络，用于根据图片的特征信息反向还原出对应的图片，可以将反向网络模型视为图片特征信息的解码器，根据输入的特征信息进行解码，反向还原对应的图片，反向网络模型经过训练后，具备从第二特征信息中查找最接近第一特征信息的部分特征进行替换，直接生成新的图片的特征信息的能力。反向网络模型可以针对任意的第一特征信息和第二特征信息快速输出结果，快捷简便，自由度高。
可选的，所述反向网络模型包括至少一个卷积层，优选的所述反向网络模型包括九个卷积层；在实际应用中，增加卷积层的数量可以使得最终生成的图片产生过拟合的效果，过拟合的图片便于在后续的调整过程中提供给美工人员更为广泛的调整范围，便于美工调整出更符合需求，更符合美感的图片。
参见图3，图3示出了本申请一实施例提供的生成初始转换图片方法的流程图，包括步骤302至步骤310：
步骤302：将所述第一特征信息经过所述每个所述卷积层处理，提取所述第一特征信息中的至少一个第一特征子信息。
在实际应用中，需要将第一特征信息经过每个所述卷积层的卷积处理，提取出第一特征信息中用于进行替换的第一特征子信息。第一特征子信息用φi(C)表示，其中i∈nc，nc标识能从φ(C)中提取的第一特征子信息的数量。
步骤304：将所述第二特征信息经过所述每个所述卷积神经网络处理，提取所述第二特征信息中的至少一个第二特征子信息。
在实际应用中，将第二特征信息经过每个所述卷积层的卷积处理，提取出第二特征信息中用于替换的第二特征子信息。第二特征子信息用φj(S)表示，其中j∈ns，ns标识能从φ(S)中提取的第二特征子信息的数量。
步骤306：确定每个所述第一特征子信息对应的第二目标特征子信息。
对于每个第一特征子信息φi(C)，需要确定与其最匹配的第二特征子信息φj(S)，称之为
Figure BDA0002732101530000101
具体的确定方法参见下述公式1：
Figure BDA0002732101530000102
其中，φi(C)为第一特征子信息，φj(S)为第二特征子信息，argmax是对函数求参数(集合)的函数。对于每一块φi(C)，要在ns个φj(S)中找到与其最匹配的第二特征子信息，最终可以找到nc个
Figure BDA0002732101530000103
步骤308：将所述第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息。
将每个
Figure BDA0002732101530000104
替换对应的第一特征子信息φi(C)，进而生成对应的初始第一特征信息，由于卷积层数量的增加，因此会生成一个过拟合状态的初始第一特征信息。
步骤310：对所述初始第一特征信息进行解码获得对应的初始转换图片。
对初始第一特征信息进行相应的解码，获得对应的初始转换图片，在本申请中，由于初始第一特征信息为过拟合状态，因此对应的初始转换图片也为过拟合状态，反向模型最终输出的过拟合的初始转化图片便于后续在调整过程中，可以有更为广泛的调整范围。
步骤208：根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片。
在获得一个过拟合的初始转换图片后，需要根据待转换图片对所述过拟合的初始转化图片进行调整，使其更加符合实际需求，获得效果更好的目标风格转换图片。
可选的，根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片，包括：将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片。
每个图片均有RGB三个色值通道，分别表示红、绿、蓝，每个通道内的像素可以通过一个矩阵表示，数值代表0-255之间的像素值，具体调整方法为通过将初始转换图片和待转换图片进行像素插值的方法，在不同通道内通过调整插值权重的方式调整初始转换图片，进而生成目标风格转换图片。
具体的，获取所述待转换图片的三原色通道的每个通道对应的第一通道值；获取所述初始转换图片的三原色通道的每个通道对应的第二通道值；根据每个所述第一通道值及其权重和每个所述第二通道值及其权重调整所述初始转换图片的三原色通道的每个通道对应的通道值，获得目标风格转换图片。
为了便于表示，将待转换图片表示为1，初始转换图片表示为2，在R通道内进行根据权重进行调整的方法为R3＝R1*a+R2*(1-a)，其中，R1为待转换图片在R通道的色值，R2为初始转换图片在R通道的色值，a为在R通道的权重；在G通道内进行根据权重进行调整的方法为G3＝G1*b+G2*(1-b)，其中，G1为待转换图片在G通道的色值，G2为初始转换图片在G通道的色值，b为在G通道的权重；在B通道内进行根据权重进行调整的方法为B3＝B1*c+B2*(1-c)，其中，B1为待转换图片在B通道的色值，B2为初始转换图片在B通道的色值，c为在B通道的权重。
在实际应用中，当R、G、B三个通道对应的权值a＝b＝c时，则可以将三个通道一同调整，当a、b、c各不相同时相当于各自通道的结果单独调整。在每个通道中通过调整权重，线性插值，得到混合的结果，最终反映到图片上获得目标风格转换图片。
本申请实施例提供的图片风格转换方法，通过接收待转换图片和风格图片；提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；根据需要根据所述待转换图片实时调整所述初始转换图片，获得目标风格转换图片，根据实际需求将待转换图片调整为风格图片对应的初始转换图片，再根据待转换图片实时调整所述初始转换图片，通过本申请提供的方法，可以将任意一张图片根据任意风格图片进行迁移，在得到初始转换图片后，根据实际需求再对初始转换图片进行调整，使得图片风格迁移更加简单易行，节约了大量的人力、物力，以及美术、计算资源。
其次，反向网络模型生成过拟合的初始转换图片，为后续的调整并获得目标风格转换图片提供了更为宽泛的调整范围，更利于优化图片风格迁移结果。
图4示出了本申请一实施例的图片风格转换方法的流程图，包括步骤402至步骤414。
步骤402：接收待转换图片和风格图片。
在本申请提供的实施例中，参见图5a和图5b，图5a示出了本申请实施例提供的待转换图片，图5b示出了本申请实施例提供的风格图片。
步骤404：提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息。
在本申请提供的实施例中，通过VGG19网络提取待转换图片的第一特征信息M，提取风格图片的第二特征信息N。
步骤406：提取所述第一特征信息中的至少一个第一特征子信息，提取所述第二特征信息中的至少一个第二特征子信息。
在本申请提供的实施例中，将第一特征信息M和第二特征信息N输入至反向网络模型中进行处理，所述反向神经网络包括9个卷积层，第一特征信息M经过9个卷积层的卷积处理，获得对应Mi个第一特征子信息，第二特征信息N经过9个卷积层的卷积处理，获得对应Nj个第二特征子信息。
步骤408：确定每个所述第一特征子信息对应的第二目标特征子信息。
在本申请提供的实施例中，为每个第一特征子信息确定对应的第二目标特征子信息。
步骤410：将所述第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息。
在本申请提供的实施例中，用每个第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息T。
步骤412：对所述初始第一特征信息进行解码获得对应的初始转换图片。
在本申请提供的实施例中，参见图5c，图5c示出了本申请实施例提供的初始转换图片。初始转换图片在待转换图片的基础上具备了风格图片的风格，并且初始转化图片的图片色彩为A。
步骤414：将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片。
在本申请提供的实施例中，根据统一的权重在初始转转换图片的三原色通道内与待转换图片进行像素插值，通过调整统一的权重，在每个通道内进行线性插值，得到每个通道对应的混合结果，最终经过调整后的三原色通道各自的色值获得新的结果，参见图5d，图5d示出了本申请实施例提供的目标风格转换图片，目标风格转换图片的图片色彩为B。最终的目标转换图片的图片色彩可以通过调整权重进行控制，如对于一年四季的变换可以通过调整各通道对应色值的权重实现。
本申请实施例提供的图片风格转换方法，通过接收待转换图片和风格图片；提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；根据需要根据所述待转换图片实时调整所述初始转换图片，获得目标风格转换图片，根据实际需求将待转换图片调整为风格图片对应的初始转换图片，再根据待转换图片实时调整所述初始转换图片，通过本申请提供的方法，可以将任意一张图片根据任意风格图片进行迁移，在得到初始转换图片后，根据实际需求再对初始转换图片进行调整，使得图片风格迁移更加简单易行，节约了大量的人力、物力，以及美术、计算资源。
其次，反向网络模型生成过拟合的初始转换图片，为后续的调整并获得目标风格转换图片提供了更为宽泛的调整范围，更利于优化图片风格迁移结果。
与上述方法实施例相对应，本申请还提供了图片风格转换装置实施例，图6示出了本申请一个实施例的图片风格转换装置的结构示意图。如图6所示，该装置包括：
接收模块602，被配置为接收待转换图片和风格图片。
提取模块604，被配置为提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息。
生成模块606，被配置为将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片。
调整模块608，被配置为根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片。
可选的，所述提取模块604，进一步被配置为通过预先训练好的卷积神经网络提取所述待转换图片的第一特征信息。
可选的，所述提取模块604，进一步被配置为通过预先训练好的卷积神经网络提取所述风格图片的第二特征信息。
可选的，所述反向网络模型包括至少一个卷积层；
可选的，所述反向网络模型包括九个卷积层。
所述生成模块606包括：
卷积子单元，被配置为将所述第一特征信息经过所述每个所述卷积层处理，提取所述第一特征信息中的至少一个第一特征子信息，将所述第二特征信息经过所述每个所述卷积神经网络处理，提取所述第二特征信息中的至少一个第二特征子信息；
确定子单元，被配置为确定每个所述第一特征子信息对应的第二目标特征子信息；
替换子单元，被配置为将所述第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息；
解码子单元，被配置为对所述初始第一特征信息进行解码获得对应的初始转换图片。
可选的，所述调整模块608，进一步被配置为将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片。
可选的，所述调整模块608，进一步被配置为获取所述待转换图片的三原色通道的每个通道对应的第一通道值；获取所述初始转换图片的三原色通道的每个通道对应的第二通道值；根据每个所述第一通道值及其权重和每个所述第二通道值及其权重调整所述初始转换图片的三原色通道的每个通道对应的通道值，获得目标风格转换图片。
本申请实施例提供的图片风格转换装置，通过接收待转换图片和风格图片；提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；根据需要根据所述待转换图片实时调整所述初始转换图片，获得目标风格转换图片，根据实际需求将待转换图片调整为风格图片对应的初始转换图片，再根据待转换图片实时调整所述初始转换图片，通过本申请提供的方法，可以将任意一张图片根据任意风格图片进行迁移，在得到初始转换图片后，根据实际需求再对初始转换图片进行调整，使得图片风格迁移更加简单易行，节约了大量的人力、物力，以及美术、计算资源。
其次，反向网络模型生成过拟合的初始转换图片，为后续的调整并获得目标风格转换图片提供了更为宽泛的调整范围，更利于优化图片风格迁移结果。
本申请一实施例中还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述的图片风格转换方法的步骤。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述图片风格转换方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图片风格转换方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述图片风格转换方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (16)

1.一种图片风格转换方法，其特征在于，包括：
接收待转换图片和风格图片；
提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；
将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；
根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片。
2.如权利要求1所述的图片风格转换方法，其特征在于，提取所述待转换图片的第一特征信息，包括：
通过预先训练好的卷积神经网络提取所述待转换图片的第一特征信息。
3.如权利要求1所述的图片风格转换方法，其特征在于，提取所述风格图片的第二特征信息，包括：
通过预先训练好的卷积神经网络提取所述风格图片的第二特征信息。
4.如权利要求1所述的图片风格转换法方法，其特征在于，所述反向网络模型包括至少一个卷积层；
将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片，包括：
将所述第一特征信息经过所述每个所述卷积层处理，提取所述第一特征信息中的至少一个第一特征子信息；
将所述第二特征信息经过所述每个所述卷积神经网络处理，提取所述第二特征信息中的至少一个第二特征子信息；
确定每个所述第一特征子信息对应的第二目标特征子信息；
将所述第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息；
对所述初始第一特征信息进行解码获得对应的初始转换图片。
5.如权利要求1所述的图片风格转换方法，其特征在于，根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片，包括：
将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片。
6.如权利要求5所述的图片风格转换方法，其特征在于，将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片，包括：
获取所述待转换图片的三原色通道的每个通道对应的第一通道值；
获取所述初始转换图片的三原色通道的每个通道对应的第二通道值；
根据每个所述第一通道值及其权重和每个所述第二通道值及其权重调整所述初始转换图片的三原色通道的每个通道对应的通道值，获得目标风格转换图片。
7.如权利要求1-6任意一项所述的图片风格转换方法，其特征在于，所述反向网络模型包括九个卷积层。
8.一种图片风格转换装置，其特征在于，包括：
接收模块，被配置为接收待转换图片和风格图片；
提取模块，被配置为提取所述待转换图片的第一特征信息，提取所述风格图片的第二特征信息；
生成模块，被配置为将所述第一特征信息和所述第二特征信息输入至预先训练好的反向网络模型进行处理，生成初始转换图片；
调整模块，被配置为根据所述待转换图片调整所述初始转换图片，获得目标风格转换图片。
9.如权利要求8所述的图片风格转换装置，其特征在于，
所述提取模块，进一步被配置为通过预先训练好的卷积神经网络提取所述待转换图片的第一特征信息。
10.如权利要求8所述的图片风格转换装置，其特征在于，
所述提取模块，进一步被配置为通过预先训练好的卷积神经网络提取所述风格图片的第二特征信息。
11.如权利要求8所述的图片风格转换法装置，其特征在于，所述反向网络模型包括至少一个卷积层；
所述生成模块包括：
卷积子单元，被配置为将所述第一特征信息经过所述每个所述卷积层处理，提取所述第一特征信息中的至少一个第一特征子信息，将所述第二特征信息经过所述每个所述卷积神经网络处理，提取所述第二特征信息中的至少一个第二特征子信息；
确定子单元，被配置为确定每个所述第一特征子信息对应的第二目标特征子信息；
替换子单元，被配置为将所述第二目标特征子信息替换对应的第一特征子信息，获得过拟合的初始第一特征信息；
解码子单元，被配置为对所述初始第一特征信息进行解码获得对应的初始转换图片。
12.如权利要求8所述的图片风格转换装置，其特征在于，
所述调整模块，进一步被配置为将所述待转换图片和所述初始转换图片在三原色通道内进行像素插值，获得目标风格转换图片。
13.如权利要求12所述的图片风格转换装置，其特征在于，
所述调整模块，进一步被配置为获取所述待转换图片的三原色通道的每个通道对应的第一通道值；获取所述初始转换图片的三原色通道的每个通道对应的第二通道值；根据每个所述第一通道值及其权重和每个所述第二通道值及其权重调整所述初始转换图片的三原色通道的每个通道对应的通道值，获得目标风格转换图片。
14.如权利要求8-13任意一项所述的图片风格转换装置，其特征在于，所述反向网络模型包括九个卷积层。
15.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-7任意一项所述方法的步骤。
16.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-7任意一项所述方法的步骤。
CN202011121386.3A 2020-10-19 2020-10-19 一种图片风格转换方法及装置 Pending CN112233015A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011121386.3A CN112233015A (zh) 2020-10-19 2020-10-19 一种图片风格转换方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011121386.3A CN112233015A (zh) 2020-10-19 2020-10-19 一种图片风格转换方法及装置

Publications (1)

Publication Number Publication Date
CN112233015A true CN112233015A (zh) 2021-01-15

Family

ID=74117557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011121386.3A Pending CN112233015A (zh) 2020-10-19 2020-10-19 一种图片风格转换方法及装置

Country Status (1)

Country Link
CN (1) CN112233015A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468981A (zh) * 2021-06-10 2021-10-01 的卢技术有限公司 图像处理方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101561A (zh) * 2016-08-09 2016-11-09 青岛海信移动通信技术股份有限公司 摄像头对焦检测方法及装置
CN108550107A (zh) * 2018-04-27 2018-09-18 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及移动终端
CN110599393A (zh) * 2019-09-06 2019-12-20 深圳前海微众银行股份有限公司 图片风格转换方法、装置、设备及计算机可读存储介质
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101561A (zh) * 2016-08-09 2016-11-09 青岛海信移动通信技术股份有限公司 摄像头对焦检测方法及装置
CN108550107A (zh) * 2018-04-27 2018-09-18 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及移动终端
CN111583165A (zh) * 2019-02-19 2020-08-25 京东方科技集团股份有限公司 图像处理方法、装置、设备及存储介质
CN110599393A (zh) * 2019-09-06 2019-12-20 深圳前海微众银行股份有限公司 图片风格转换方法、装置、设备及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468981A (zh) * 2021-06-10 2021-10-01 的卢技术有限公司 图像处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
EP3678059B1 (en) Image processing method, image processing apparatus, and a neural network training method
CN109361934B (zh) 图像处理方法、装置、设备及存储介质
US10311547B2 (en) Image upscaling system, training method thereof, and image upscaling method
US11900567B2 (en) Image processing method and apparatus, computer device, and storage medium
CN110321962B (zh) 一种数据处理方法及装置
US20140072242A1 (en) Method for increasing image resolution
CN107680077A (zh) 一种基于多阶梯度特征的无参考图像质量评价方法
CN115424088A (zh) 图像处理模型训练方法以及装置
US20220122224A1 (en) Retouching digital images utilizing separate deep-learning neural networks
CN110930308B (zh) 一种图像超分辨生成网络的结构搜索方法
CN113205449A (zh) 表情迁移模型的训练方法及装置、表情迁移方法及装置
US20180089812A1 (en) Method and system for image enhancement
US11887277B2 (en) Removing compression artifacts from digital images and videos utilizing generative machine-learning models
CN115239857B (zh) 图像生成方法以及电子设备
CN112233015A (zh) 一种图片风格转换方法及装置
CN111292251B (zh) 图像偏色校正方法、装置以及计算机存储介质
CN110033077A (zh) 神经网络训练方法以及装置
US20180308258A1 (en) Method and apparatus for learning palette dictionaries for device-ready example-guided recolorization
Buzzelli et al. Consensus-driven illuminant estimation with GANs
CN110363733B (zh) 一种混合图像生成方法及装置
CN111553961B (zh) 线稿对应色图的获取方法和装置、存储介质和电子装置
KR20220097255A (ko) 이미지 생성 방법 및 장치
CN114627293A (zh) 基于多任务学习的人像抠图方法
CN110211023B (zh) 一种数据处理方法、装置、计算设备及存储介质
CN112261443B (zh) 图像处理方法及装置、图像处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329

Applicant after: Zhuhai Jinshan Digital Network Technology Co.,Ltd.

Address before: 519000 Room 102, 202, 302 and 402, No. 325, Qiandao Ring Road, Tangjiawan Town, high tech Zone, Zhuhai City, Guangdong Province, Room 102 and 202, No. 327 and Room 302, No. 329

Applicant before: ZHUHAI KINGSOFT ONLINE GAME TECHNOLOGY Co.,Ltd.