CN110555795A - 高解析度风格迁移 - Google Patents

高解析度风格迁移 Download PDF

Info

Publication number
CN110555795A
CN110555795A CN201910161423.4A CN201910161423A CN110555795A CN 110555795 A CN110555795 A CN 110555795A CN 201910161423 A CN201910161423 A CN 201910161423A CN 110555795 A CN110555795 A CN 110555795A
Authority
CN
China
Prior art keywords
image
stylistic
feature map
migration
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910161423.4A
Other languages
English (en)
Other versions
CN110555795B (zh
Inventor
张志飞
林哲
王兆闻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN110555795A publication Critical patent/CN110555795A/zh
Application granted granted Critical
Publication of CN110555795B publication Critical patent/CN110555795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

描述了高解析度风格迁移技术和系统，该高解析度风格迁移技术和系统克服了将高解析度风格特征从一个图像迁移到另一图像的挑战，以及用来执行高解析度风格迁移的训练数据的有限可用性的挑战。在示例中，训练神经网络使用从风格图像中提取的高解析度风格特征而被训练，并且与输入图像结合地被使用以将风格特征应用于输入图像以生成使用高解析度风格特征所转换的输入图像的版本。

Description

高解析度风格迁移
技术领域
本发明涉及图像处理，更具体地涉及高解析度风格迁移。
背景技术
风格迁移实现来自一个图像(“风格图像”)的风格信息被迁移到另一图像(内容图像)，以基于风格图像的风格属性来转换内容图像。例如，来自绘画的图像的画笔笔划和颜色信息可以被迁移到照片，以使用来自绘画的画笔笔划和颜色信息来生成包括照片的原始内容的该照片的风格化版本。
可以利用机器学习和神经网络来提供用于执行风格迁移的特别强大的工具。例如，基于训练风格图像以及标识由训练风格图像所展现的风格属性的风格特征，计算设备可以使用机器学习来训练神经网络。然后，计算设备可以使用经训练的神经网络处理输入图像，以将输入图像转换成与训练风格图像的各种风格属性匹配的输入图像的风格化版本。
在一些传统技术中，利用卷积神经网络(CNN)将来自风格图像的风格信息迁移到输入内容图像。这些技术通常依赖于使用经训练的CNN来迭代地处理输入图像，以使输入图像能逐渐接近特定风格图像的风格。然而，由于其高的计算复杂性，这些技术可能是时间和资源密集型的。
其他传统技术利用前馈网络来执行从风格图像到输入图像的一次通过的风格转换。虽然这些技术可以降低用于单个风格迁移项目的、基于CNN技术的计算复杂度，但是它们通常受到限制，因为必须针对每个风格图像训练单独的模型。这限制了用于施加不同风格的技术的适用性。一些更近期的技术已经努力调整前馈网络来达成使用任意风格的快速风格迁移，但是这些技术通常仅达成了粗略的风格信息迁移并且无法从风格图像中捕获更精细的纹理特征。
发明内容
描述了高解析度风格迁移技术和系统，其克服了将高解析度风格特征从一个图像迁移到另一图像的挑战，以及用来执行高解析度风格迁移的训练数据的有限可用性的挑战。在示例中，高解析度风格特征从风格图像中被提取，并且与输入图像结合使用以将风格特征应用于输入图像，来生成使用高解析度风格特征而被转换的输入图像的版本。
为此，风格迁移神经网络首先被利用来将来自风格图像的粗风格特征迁移到输入图像以生成迁移图像，迁移图像表示利用来自风格图像的风格特征而被转换的输入图像的版本。然后使用风格图像和迁移图像的放大版本生成特征图。使用特征图，解析神经网络被利用来执行特征交换过程，该过程生成包括来自放大的风格图像的高解析度风格特征的交换特征图，这些高解析度风格特征被交换(exchange)(“交换(swap)”)以用于匹配来自放大迁移图像的特征。然后将交换特征图和放大迁移图像输入到解析神经网络中，该解析神经网络将来自交换特征图的高解析度风格特征应用于放大迁移图像以生成解析图像作为输出。通常，解析图像表示具有比原始迁移图像更高解析度的风格特征的原始风格迁移图像的版本。
本“发明内容”以简化的形式介绍了一些概念，这些概念将在下面的“具体实施方式”中进一步描述。这样，本“发明内容”不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
本专利或申请文件包含至少一幅彩色附图。具有(多个)彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用之后由主管局提供。
参考附图描述具体实施方式。附图中表示的实体可以指示一个或多个实体，并且因此在讨论中可以可互换地引用单个或多个形式的实体。
图1是可操作以采用本文中描述的高解析度风格迁移技术的示例实现中的环境的图示。
图2描绘了包括用于执行用于高解析度风格迁移技术的示例架构和过程的概述的示例实现场景。
图3描绘了用于生成特征图和交换特征图的示例实现场景。
图4描绘了用于使用交换特征图生成解析图像的示例实现场景。
图5描绘了使用风格解析系统的高解析度风格迁移的示例实现中的过程。
图6描绘了用于使用风格解析系统来执行风格特征交换过程的示例实现中的程序。
图7示出了包括示例设备的各种组件的示例系统，该示例设备可以被实现为参考图1-6描述和/或利用以执行本文中描述的技术的实现的任何类型的计算设备。
具体实施方式
概述
随着神经网络的发展，风格迁移已经取得了很大的进步。然而，这种进步受到神经网络的传统实现的阻碍。例如，传统的风格迁移技术通常不能从风格图像捕获和迁移高解析度风格特征，诸如高解析度颜色和纹理细节。此外，利用神经网络的传统风格迁移技术在计算上是昂贵的(例如，在处理器和存储器资源方面)，和/或不能适应于不断变化的风格图像输入。另外，由于先前的风格迁移技术不能迁移高解析度风格特征，因此缺乏用于训练神经网络以执行高解析度风格迁移的训练数据。
相应地，描述了高解析度风格迁移技术，其克服了迁移风格细节的有限解析度和用于执行高解析度风格迁移的训练数据的有限可用性的挑战。在实现中，选择包括各种风格特征的风格图像，诸如颜色特征、纹理特征(例如，画笔笔划和/或其他表面特征)、色调特征(例如，相对亮度或对比度)、形状特征等。例如，风格图像可以是具有风格特征的独特集合的绘画或其他艺术品的图像。此外，选择包括特定内容集(诸如，图像和/或场景)的输入图像，。在示例中，输入图像可以是现实生活图像的照片，诸如人或地理位置。本文中描述的技术有效地以不同解析度从风格图像中提取风格特征并且将它们应用于输入图像，以将输入图像的内容转换为包括来自风格图像的高解析度风格特征的输入图像的风格化版本。
为此，提取来自风格图像的风格特征的第一集合并且将其用于训练风格迁移神经网络。例如，风格特征的第一集合表示从风格图像中提取的粗糙颜色和纹理特征。然后使用风格迁移网络处理输入图像以生成迁移图像作为输出，迁移图像表示被转换以反映来自风格图像的粗略风格特征的输入图像的版本。
然后采用解析神经网络将来自风格图像的高解析度风格特征应用于迁移图像以生成解析图像，解析图像表示具有比原始迁移图像更高解析度的风格特征的迁移图像的版本。为了获得解析神经网络的训练数据，从风格图像的放大版本中提取高解析度风格特征以生成风格图像特征图。例如，放大的风格图像表示原始风格图像的更大的、更高解析度的版本。如下面进一步详述的，可以以各种方式提取高解析度风格特征，诸如通过从放大的风格图像中进行补片采样。
用于解析神经网络的训练数据还包括从迁移图像的放大版本中提取内容特征以生成迁移图像特征图。例如，补片从迁移图像的放大版本中被采样，并且被填充到迁移图像特征图。
然后，风格图像特征图和迁移图像特征图被用于训练解析神经网络。作为训练过程的一部分，解析神经网络在两个特征图之间执行风格交换过程以生成交换特征图。例如，将来自风格图像特征图的风格特征与来自输入图像特征图的内容特征进行匹配。例如，针对来自迁移图像特征图的每个内容特征，标识与该内容特征最匹配的风格特征。然后，将风格特征与匹配的内容特征“交换”以生成交换特征图。因此，交换特征图被填充有来自风格图像特征图的高解析度风格细节。
一旦生成交换特征图，交换特征图和放大的迁移图像就被输入到解析神经网络中。解析神经网络将来自交换特征图的高解析度风格特征应用于放大的迁移图像以生成解析图像作为输出。如上所述，解析图像表示具有比原始迁移图像风格更高解析度的风格特征的原始风格迁移图像的版本。
可以迭代地执行上面描述和下面详述的过程以逐渐获得更高解析度的风格迁移。例如，在由解析风格网络生成初始解析图像之后，可以将解析图像用作到该过程中的进一步输入，如本文中参考迁移图像所描述的。因此，甚至可以提取更高解析度的风格特征并且将其应用于初始解析图像以生成展现出比初始解析图像更高解析度的风格特征的其他解析图像。
因此，本文中描述的用于高解析度风格迁移的技术通过以下方式来克服先前技术的限制：实现提取高解析度风格特征并且将其用作用于神经网络的训练数据，并且使经训练的神经网络能将高解析度风格特征应用于输入图像以生成被转换来反映高解析度风格特征的输入图像。
在以下讨论中，描述了可以采用本文中描述的技术的示例环境。还描述了可以在示例环境以及其他环境中被执行的示例程序。因此，示例程序的执行不限于示例环境，并且示例环境不限于示例程序的执行。
示例环境
图1是可操作以采用本文中描述的高解析度风格迁移技术的示例实现中的数字媒体环境100的图示。所示环境100包括可以以各种方式配置的计算设备102。
例如，计算设备102可以被配置为台式计算机、膝上型计算机、移动设备(例如，假定诸如平板电脑或移动电话的手持式配置，如图所示)等。因此，计算设备102的范围可以从具有大量存储器和处理器资源的完整资源设备(例如，个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如，移动设备)。另外，尽管示出了单个计算设备102，但是计算设备102可以表示多个不同的设备，诸如由企业用于“在云上”执行操作的多个服务器，如图7所示。
计算设备102被示出为包括图像处理系统104。图像处理系统104至少部分在计算设备102的硬件中被实现，以处理和转换输入图像106，输入图像106可以被存储在计算设备102的存储装置108中，和/或被存储在远程的基于网络的存储位置。这种处理包括创建输入图像106，修改输入图像106，以及在用户界面110中绘制输入图像106以用于例如由显示设备112输出。尽管示出为在计算设备102处被本地地实现，但是图像处理系统104的功能也可以通过经由网络114可用的功能来整体或部分地实现，诸如网络服务的一部分和/或在基于云的实现中。
被图像处理系统104并入以处理输入图像106的功能的示例被示出为风格解析系统116。风格解析系统116包括可以单独地和/或协作地被利用以执行本文中描述的用于高解析度风格迁移的技术的迁移模块118和解析模块120。例如，风格分辨系统116将输入图像106和风格图像122作为输入。风格迁移模块118确定风格图像122的风格属性，并且将风格属性迁移到输入图像106以生成迁移图像124。通常，迁移图像124表示被转换到近似风格图像122的各种风格属性的输入图像106的转换版本。
然而，迁移图像124通常包括风格图像122的风格属性的粗略近似，诸如与风格图像122近似的粗略纹理和分色。因此，解析模块120处理迁移图像124以将来自风格图像122的精细解析度风格属性应用于迁移图像124，以生成解析图像126。如下文进一步详细描述的，解析图像126比迁移图像124更接近地反映风格图像122的细粒度(例如，高解析度)风格属性，诸如精细纹理属性(例如，画笔笔划属性和纹理变化)、颜色属性(例如，颜色匹配和分色)、颜色对比度特征等。
通常，关于以上和以下示例描述的功能、特征和概念可以在本节中描述的示例过程的上下文中被采用。此外，关于本文档中的不同附图和示例描述的功能、特征和概念可以彼此互换，并且不限于在特定附图或程序的上下文中的实现。此外，与本文中的不同表示性程序和相应的附图相关联的框可以被一起应用和/或以不同方式被组合。因此，关于本文中的不同示例环境、设备、组件、附图和程序而描述的各个功能、特征和概念可以以任何合适的组合被使用，并且不限于本说明书中由列举的示例所表示的特定组合。
高解析度风格迁移数字环境
以下讨论描述用于高解析度风格迁移的示例实现场景和程序。场景和程序中的每个的方面可以在硬件、固件、软件或其组合中被实现。这些过程被示出为被指定由一个或多个设备来执行的操作的框的集合，并且不必被限于被示出用于由各个框执行的操作的顺序。
图2描绘了包括用于执行用于高解析度风格迁移的技术的示例架构和过程的概述的实现场景200。在场景200中，迁移模块118接收风格图像122作为输入，并且处理风格图像122以从风格图像122中标识第一级特征202。通常，第一级特征202表示以特定解析度被捕获的风格图像122的高级特征，诸如粗糙纹理属性、颜色属性、亮度、对比度等。然后将第一级特征202用作训练数据集以训练迁移神经网络204。
在训练迁移神经网络204之后，将输入图像106输入到迁移神经网络204中(例如，以前向传播模式)，并且将输出表示为迁移图像124。如上所述，迁移图像124包括风格图像122的一些风格属性，但是可能缺少一些更高解析度的属性，诸如精细纹理和分色。
因此，为了能够应用这种高级属性，由解析模块120利用迁移图像124和风格图像122来训练解析神经网络206。例如，并且如下文进一步详述的，对风格图像122和迁移图像124进行放大和采样以生成每个风格图像122和迁移图像124的特征图208。然后，对特征图208执行风格交换过程以生成表示来自风格图像122的放大版本的高解析度风格细节的交换特征图210。解析神经网络206将交换特征图210和迁移图像124的放大版本作为输入以生成解析图像126。例如，解析神经网络206将来自交换特征图210的高解析度风格属性应用于迁移图像124以生成解析图像126。
图3和4描绘了提供上面介绍的场景的方面的详细操作的示例场景。通常，场景的不同方面可以由风格解析系统116执行。图3描绘了用于生成上文引用的特征图208和交换特征图210的示例场景300。场景300开始于都被放大的风格图像122和迁移图像124两者(例如，大小和/或解析度增加)以分别生成放大的风格图像302和放大的迁移图像304。在至少一些实现中，放大的风格图像302和放大的迁移图像304具有相同的大小和/或解析度，或者具有大致相同的大小和/或解析度，例如在+/-5％内。
用于放大的一个示例技术涉及使用超解析度生成对抗网络(SRGAN)来处理风格图像122和迁移图像124以分别生成放大的风格图像302和放大的迁移图像304。例如，SRGAN表示可以通过对风格图像122和迁移图像124进行采样而被训练以使SRGAN能估计来自风格图像122和迁移图像124的高解析度特征的深度残余神经网络。然后，SRGAN使用估计的高解析度特征来分别生成放大的风格图像302和放大的迁移图像304。备选地或另外地，风格图像122的不同版本可以以不同的相对尺度(scale)和/或解析度被保持。
继续场景300，作为解析神经网络206的一部分进行操作的特征提取器模块306处理放大的风格图像302，以提取风格图像特征308并且生成包括风格图像特征308的风格图像特征图310。例如，风格图像特征308表示从放大的风格图像302中提取的各种风格特征。通常，风格图像特征图310可以以各种方式被生成。例如，在实现中，特征提取器模块306从放大的风格图像302中裁剪随机补片以获得风格图像特征308。补片可以是任何合适的大小，诸如320像素×320像素。然后，特征提取器模块306使用裁剪的补片作为到解析神经网络206的预训练的视觉几何组(“VGG”)模型(例如，作为层relu3_1)配置的输入以提取放大的风格图像302的高级特征，该高级特征表示风格图像特征308。然后，将风格图像特征308填充到风格图像特征图310。
此外，作为解析神经网络206的一部分进行操作的特征提取器模块306处理放大的迁移图像304以提取迁移图像特征312并且生成包括迁移图像特征312的迁移图像特征图314。例如，提取器模块306从放大的迁移图像304裁剪随机补片以获得迁移图像特征312。补片可以是任何合适的大小，诸如320像素×320像素。然后，特征提取器模块306使用裁剪的补片作为到解析神经网络206的预训练的VGG模型(例如，作为层relu3_1)配置的输入以从放大的迁移图像304中提取迁移图像特征312。然后，将迁移图像特征312填充到迁移图像特征图314。
继续场景300，使用风格图像特征图310和迁移图像特征图314作为到风格交换模块316的输入，风格交换模块316执行风格交换过程以生成交换特征图210。例如，作为解析神经网络206的一部分进行操作的风格交换模块316在风格图像特征图310与迁移图像特征图314之间执行补片匹配。
执行补片匹配的一个示例方式涉及从风格图像特征图310和迁移图像特征图314中的每个特征图采样补片(例如，3像素×3像素补片)，并且然后比较这些补片以标识最相似的补片。例如，特定风格补片从何风格图像特征图310被选择，并且被与来自迁移图像特征图314的补片进行比较，以从风格图像特征图310中标识与迁移图像补片的特征最紧密匹配的特定补片(“风格图像补片”)。然后，所标识的风格图像补片被用于替换迁移图像补片(与迁移图像补片“交换”)并且被填充到交换特征图210。针对迁移图像特征图314的每个补片执行这个过程以生成交换特征图210。
在示例实现中，为了确定来自风格图像特征图310和迁移图像特征图314的各个补片之间的相似度，分别计算风格图像特征图310和迁移图像特征图314的每两个补片之间的内积(例如，点积)。例如，生成补片作为矢量表示，并且计算风格图像补片和迁移图像补片的矢量表示之间的内积。通常，较高的内积指示两个补片之间较高的特征相似度。因此，与迁移图像补片的内积最高的风格图像补片被选择作为与迁移图像补片的匹配，并且因此被交换用于迁移图像补片。针对每个迁移图像补片执行这个过程以生成交换特征图210。由于风格图像特征图310携带来自放大的风格图像302的高解析度风格特征细节，因此交换特征图210将具有比迁移图像特征图314更高解析度的特征细节。
图4描绘了用于生成解析图像126的示例场景400。通常，解析神经网络206将放大的迁移图像304和交换特征图210作为输入，并且输出解析图像126。例如，解析神经网络206利用来自交换特征图210的高解析度细节替换来自放大的迁移图像304的特征以生成解析图像126。
为了使解析神经网络206能生成解析图像126，使用上述不同图像作为训练数据来训练解析神经网络206。例如，可以在训练过程期间将以下损失函数应用于解析神经网络206。
Lγeconst＝||Iss-I||2 (1)
等式(1)使用重建损失函数来计算解析图像126与“地面实况”迁移图像124之间的损失。I指代迁移图像124，并且Iss是解析图像126。通常，重建损失的目标是减少从原始内容的损失。
等式(2)使用感知损失函数来计算解析图像126的特征图与原始迁移图像124的特征图之间的损失(例如，“距离”)。在至少一个实现中，该损失在VGG模型的层l上被计算，例如在relu3_1层处。例如，将解析图像126和迁移图像124输入到VGG模型中，以获得每个的特征图，并且然后应用等式2来计算两个特征图之间的距离。
Lαdv＝-D(Iss) (3)
等式(3)使用具有鉴别器D的对抗性损失函数来微调解析图像126中的高解析度纹理，即，Iss。例如，D表示生成对抗网络(GAN)的鉴别器部分，该部分可以评估解析图像126的特征并且标识和消除具有合成视觉属性的特征并且因此可以减少解析图像126的真实外观。
等式(4)使用风格损失函数来优化在交换特征图210(Mswap)中被捕获的、来自放大的风格图像302的在的高解析度特征，这些特征被反映在解析的图像126、Iss中。为此，根据VGG模型，针对Iss和Mswap中的每个计算Gram矩阵G。
可以以各种方式应用这些损失函数来训练解析神经网络206。例如，在一个实现中，在两个阶段中训练解析神经网络206。第一阶段使用重建损失函数(等式(1))来训练解析神经网络206 50个epoch。在一个示例中，第一阶段的学习速率被设置为1e-4。第二阶段使用上述所有四个损失函数来训练解析神经网络206 200个epoch。在一个示例中，第二阶段的学习速率被设置为1e-5。
图5描绘了使用风格解析系统的高解析度风格迁移的示例实现中的程序500。步骤502生成包括来自输入图像的内容的迁移图像，该输入图像通过将来自风格图像的风格属性的第一集合应用于输入图像而而被转换。例如，作为风格分辨系统116的一部分进行操作的迁移模块118将风格图像122和输入图像106作为到迁移神经网络204的输入。使用风格图像122和输入图像106作为训练数据，迁移神经网络204输出迁移图像124。
步骤504从风格图像的放大版本中提取风格属性的第二集合，风格属性的第二集合具有比风格属性的第一集合更高的视觉解析度。例如，作为风格分辨系统116的一部分进行操作的特征提取器模块306将放大的风格图像302作为解析神经网络206的输入以从放大的风格图像302中提取风格图像特征308。如上所述，特征提取器模块306可以通过从放大的风格图像302中采样补片来从放大的风格图像中提取风格特征，诸如通过随机地采样离散大小的补片。
在实现中，风格解析系统116维持风格图像122的多个版本，每个版本具有不同的解析度，例如，连续的更高解析度。备选地或另外地，风格解析系统116可以利用解析神经网络206来以不同解析度生成风格图像122的版本，诸如通过使用解析神经网络206的SRGAN实现来处理风格图像122以生成放大的风格图像302。
步骤506生成风格图像特征图和迁移图像特征图，风格图像特征图包括来自风格属性的第二集合的风格特征，迁移图像特征图包括来自迁移图像的放大版本的图像特征。例如，特征提取器模块306将风格图像特征308填充到风格图像特征图310。在其中经由从放大的风格图像302进行补片采样来提取风格特征的实现中，这包括将采样的补片填充到风格图像特征图310。
此外，例如，由特征提取器模块306处理放大的迁移图像304以提取迁移图像特征312，迁移图像特征312被用于生成迁移图像特征图314。如上所述，这可以通过以下方式而被执行：从放大的迁移图像304中采样补片，诸如通过从放大的迁移图像304中随机地采样离散大小的补片并且将补片填充到迁移图像特征图314。
步骤508通过将来自风格图像特征图的风格特征与来自迁移图像特征图的图像特征进行匹配来生成交换特征图。例如，风格交换模块316以风格图像特征图310和迁移图像特征图314作为输入、利用解析神经网络206来生成交换特征图210。通常，针对迁移图像特征图314的每个图像特征，风格交换过程从风格图像特征图310中标识最接近匹配图像特征的风格特征。在其中经由补片采样来生成风格图像特征图310和迁移图像特征图314的实现中，风格交换过程可以包括在各个特征图之间进行补片匹配。
步骤510基于交换特征图生成解析图像，解析图像包括比迁移图像更高的解析风格属性。例如，在风格解析系统116的操作下，解析模块120利用解析神经网络206来生成解析图像126。在实现中，这涉及使用放大的迁移图像304和交换特征图210作为解析神经网络206训练输入，以生成解析图像126，诸如上面详述的。
例如，解析神经网络206将来自交换特征图210的高解析度风格特征应用于放大的迁移图像304以生成解析图像126。例如，解析神经网络206通过将来自交换特征图210的特征与来自放大的迁移图像304的对应特征进行匹配来执行特征匹配。然后，来自交换特征图210的每个特征被用于替换来自放大的迁移图像304的相应的匹配特征，以生成解析图像126，解析图像304将具有比放大的迁移图像304更高解析度的风格特征。
在实现中，可以迭代地执行程序500以使更高解析度的风格细节能被应用于解析图像126。例如，解析图像126可以被用作与放大的风格图像302的更高解析度版本一起输入到该过程中的迁移图像124的版本。因此，该过程可以如本文所述继续进行以获得更高解析度的风格细节，并且将更高解析度的风格细节应用于解析图像126以生成另外的解析图像126，该另外的解析图像126具有比原始解析图像126更高解析度的风格细节。
图6描绘了用于执行风格特征交换过程的示例实现中的程序600，诸如使用如上所述的风格解析系统116。步骤602通过从放大的风格图像中采样补片来生成风格图像特征图。例如，在风格解析系统116的操作下，特征提取器模块306利用解析神经网络206从放大的风格图像302中随机地采样补片，以生成风格图像特征图310。在实现中，基于离散的补片大小(诸如320像素×320像素的补片)对补片进行采样。
步骤604通过从放大的迁移图像中采样补片来生成迁移图像特征图。例如，在风格解析系统116的操作下，特征提取器模块306利用解析神经网络206从放大的迁移图像304中随机地采样补片，以生成迁移图像特征图314。可以以各种大小对补片进行采样，并且在实现中，可以根据离散的补片大小来采样，诸如320像素×320像素的补片。例如，被用于生成风格图像特征图310和迁移图像特征图314的补片可以具有相同的大小，以促进在两个图之间更容易地进行特征交换。
步骤606通过在风格图像特征图的补片与迁移图像特征图的补片之间执行特征匹配来生成交换特征图。例如，在风格解析系统116的操作下，风格交换模块316利用解析神经网络206来匹配来自风格图像特征图310的各个补片的特征(例如，与形状相关的特征，诸如边缘、角落、脊和其他区域和/或兴趣点)与迁移图像特征图314的各个补片中的对应特征。
如上所述，针对风格图像特征图310的每个补片，可以通过计算该补片与迁移图像特征图314的每个补片之间的内积来实现特征匹配。来自相应特征图的、具有最高内积的两个补片可以被标记为匹配。可以迭代地执行这个过程，直到针对风格图像特征图310的大多数或所有补片，来自迁移图像特征图314的补片匹配被标识。
步骤608生成交换特征图，该交换特征图利用来自风格图像特征图的匹配补片替换迁移图像特征图中的补片。例如，在风格分辨系统116的操作下，风格交换模块316利用从风格图像特征图310中标识的匹配补片替换来自迁移图像特征图314的各个补片，以生成交换特征图210。然后，如上所述，可以利用交换特征图210来创建解析图像126，解析图像126具有比在迁移图像124中那些最初呈现的风格特征更高分辨的风格特征。
因此，用于高解析度风格迁移的技术使高解析度风格特征能被从风格图像提取并且被应用于输入图像，这在使用常规技术的情况下是不可能的。
示例系统和设备
图7在700处总体上图示了包括表示可以实现本文中描述的各种技术的一个或多个计算系统和/或设备的示例计算设备702的示例系统。这通过包括风格解析系统116来说明。例如，计算设备702可以是服务提供商的服务器、与客户端相关联的设备(例如，客户端设备)、片上系统、和/或任何其他合适的计算设备或计算系统。
如图所示的示例计算设备702包括彼此通信地耦合的处理系统704、一个或多个计算机可读介质706和一个或多个I/O接口708。虽然未示出，但是计算设备702还可以包括将各种组件彼此耦合的系统总线或其他数据和命令传输系统。系统总线可以包括不同总线结构中的任何一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任一种的处理器或本地总线。还构想了各种其他示例，诸如控制和数据线。
处理系统704表示用于使用硬件来执行一个或多个操作的功能。因此，处理系统704被示出为包括可以被配置为处理器、功能块等的硬件元件710。这可以包括在硬件中实现作为使用一个或多个半导体形成的专用集成电路或其他逻辑器件。硬件元件710不受形成它们的材料或其中采用的处理机制的限制。例如，处理器可以由(多个)半导体和/或晶体管(例如，电子集成电路(IC))构成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读存储介质706被示出为包括存储器/存储装置712。存储器/存储装置712表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储组件712可以包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘等)。存储器/存储组件712可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如，闪存、可移动硬盘驱动器、光盘等)。计算机可读介质706可以以各种其他方式被配置，如下面进一步描述的。
(多个)输入/输出接口708表示用于允许用户向计算设备702输入命令和信息的、并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息的功能。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置为检测物理触摸的电容或其他传感器)、相机(例如，其可以是采用可见或不可见波长(诸如红外频率)将不涉及触摸的运动识别为手势)等。输出设备的示例包括显示设备(例如，显示器或投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备702可以以下面进一步描述的各种方式来配置以支持用户交互。
各种技术在本文中可以在软件、硬件元件或程序模块的一般上下文中描述。通常，这种模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文中使用的术语“模块”、“功能”和“组件”通常表示软件、固件、硬件或其组合。本文中描述的技术的特征是与平台无关的，这表示这些技术可以在具有各种处理器的各种商业计算平台上被实现。
所描述的模块和技术的实现可以被存储在某些形式的计算机可读介质上或跨过某些形式的计算机可读介质被传输。计算机可读介质可以包括可以由计算设备702访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以指代与仅信号传输、载波或信号本身相比能够实现信息的持久和/或非暂态存储的介质和/或设备。计算机可读存储介质不包括信号本身。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质的硬件、和/或以适于存储诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据的信息的方法或技术实现的存储设备。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、硬盘、磁带盒、磁带、磁盘存储器或其他磁存储设备、或者适于存储期望的信息并且由计算机可访问的其他存储设备、有形介质或制品。
“计算机可读信号介质”可以指代被配置为诸如经由网络向计算设备702的硬件传输指令的信号承载介质。信号介质通常可以体现计算机可读指令、数据结构、程序模块、或调制数据信号中的其他数据，诸如载波、数据信号或其他传输机制。信号介质还包括任何信息传递介质。术语“调制数据信号”表示以在信号中对信息进行编码的方式设置或改变其特性中的一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接等有线介质以及诸如声学、RF、红外和其他无线介质等无线介质。
如前所述，硬件元件710和计算机可读介质706表示以硬件形式实现的模块、可编程设备逻辑和/或固定设备逻辑，其可以在一些实施例中被采用以实现本文中描述的技术的至少一些方面，诸如执行一个或多个指令。硬件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及用硅或其他硬件的其他实现的组件。在该上下文中，硬件可以作为执行由硬件体现的指令和/或逻辑定义的程序任务的处理设备进行操作，以及作为被利用来存储用于执行的指令的硬件，例如，先前描述的计算机可读存储介质。
也可以采用前述的组合来实现本文中描述的各种技术。因此，软件、硬件或可执行模块可以被实现为在某些形式的计算机可读存储介质上和/或由一个或多个硬件元件710体现的一个或多个指令和/或逻辑。计算设备702可以被配置为实现与软件和/或硬件模块对应的特定指令和/或功能。因此，可以由计算设备702作为软件执行的模块的实现可以至少部分用硬件来实现，例如，通过使用处理系统704的计算机可读存储介质和/或硬件元件710。指令和/或功能可由一个或多个制品(例如，一个或多个计算设备702和/或处理系统704)可执行/可操作以实现本文中描述的技术、模块和示例。
本文中描述的技术可以由计算设备702的各种配置支持，并且不限于本文中描述的技术的特定示例。该功能还可以通过使用分布式系统来全部或部分地实现，诸如经由如下所述的平台716在“云”714上实现。
云714包括和/或表示用于资源718的平台716。平台716抽象云714的硬件(例如，服务器)和软件资源的底层功能。资源718可以包括在远离计算设备702的服务器上执行计算机处理时可以使用的应用和/或数据。资源718还可以包括通过因特网和/或通过订户网络(诸如蜂窝或Wi-Fi网络)提供的服务。
平台716可以抽象资源和功能以将计算设备702与其他计算设备连接。平台716还可以用于抽象资源缩放以提供相应的规模级别以满足对经由平台716来实现而对资源718的需求。因此，在互连设备实施例中，本文中描述的功能的实现可以分布在整个系统700中。例如，功能可以部分地在计算设备702上被实现，也可以经由抽象云714的功能的平台716来实现。
结论
尽管已经以专用于结构特征和/或方法动作的语言描述了本发明，但是应当理解，所附权利要求中限定的本发明不必限于所描述的具体特征或动作。而是，具体特征和动作被公开作为实现所要求保护的发明的示例形式。

Claims (20)

1.一种在数字媒体高解析度风格迁移环境中的、由至少一个计算设备实现的方法，所述方法包括：
由所述至少一个计算设备生成迁移图像，所述迁移图像包括来自通过将来自风格图像的风格属性的第一集合应用到输入图像而被转换的所述输入图像的内容；
由所述至少一个计算设备从所述风格图像的放大版本提取风格属性的第二集合，所述风格属性的第二集合具有比所述风格属性的第一集合更高的视觉解析度；
由所述至少一个计算设备生成风格图像特征图和迁移图像特征图，所述风格图像特征图包括来自所述风格属性的第二集合的风格特征，所述迁移图像特征图包括来自所述迁移图像的放大版本的图像特征；
由所述至少一个计算设备通过将来自所述风格图像特征图的风格特征与来自所述迁移图像特征图的图像特征进行匹配，生成交换特征图；以及
由所述至少一个计算设备基于所述交换特征图，生成解析图像，所述解析图像包括比所述迁移图像更高解析度的风格属性。
2.根据权利要求1所述的方法，其中所述生成迁移图像包括以下中的一项或多项：将来自所述风格图像的颜色属性应用到所述输入图像、或者将来自所述风格图像的纹理属性应用到所述输入图像，以生成所述迁移图像。
3.根据权利要求1所述的方法，其中所述风格图像的所述放大版本包括比所述原始风格图像更高解析度的所述风格图像的版本。
4.根据权利要求1所述的方法，其中所述提取所述风格属性的第二集合包括从所述风格图像的放大版本随机地采样补片，并且其中所述生成所述风格图像特征图包括将所述补片填充到所述风格图像特征图。
5.根据权利要求1所述的方法，还包括从所述迁移图像的所述放大版本随机地采样补片，并且其中所述生成所述迁移图像特征图包括将所述补片填充到所述迁移图像特征图。
6.根据权利要求1所述的方法，其中所述生成所述风格图像特征图包括将来自所述风格图像的所述放大版本的风格图像补片填充到所述风格图像特征图，所述生成所述迁移图像特征图包括将来自所述迁移图像的所述放大版本的迁移图像补片填充到所述迁移图像特征图，并且其中所述生成所述交换特征图包括将所述风格图像补片与所述迁移图像补片进行比较，以将来自所述风格图像特征图的风格特征与来自所述迁移图像特征图的图像特征进行匹配。
7.根据权利要求1所述的方法，其中所述生成所述风格图像特征图包括将来自所述风格图像的所述放大版本的风格图像补片填充到所述风格图像特征图，所述生成所述迁移图像特征图包括将来自所述迁移图像的所述放大版本的迁移图像补片填充到所述迁移图像特征图，并且其中所述生成所述交换特征图包括利用匹配的风格图像补片替换迁移图像补片以生成所述交换特征图。
8.根据权利要求1所述的方法，其中所述生成所述风格图像特征图包括将来自所述风格图像的所述放大版本的风格图像补片填充到所述风格图像特征图，所述生成所述迁移图像特征图包括将来自所述迁移图像的所述放大版本的迁移图像补片填充到所述迁移图像特征图，并且其中所述生成所述交换特征图包括分别计算所述风格图像补片中的每个风格图像补片与所述迁移图像补片中的每个迁移图像补片之间的内积，其中最高内积指示风格图像补片与迁移图像补片之间的匹配。
9.根据权利要求1所述的方法，其中所述生成所述解析图像包括利用来自所述交换特征图的特征替换来自所述迁移图像的所述放大版本的特征，以生成所述解析图像。
10.根据权利要求1所述的方法，其中所述生成所述解析图像包括使用所述迁移图像的所述放大版本和所述交换特征图来训练解析神经网络，以输出所述解析图像。
11.一种在数字媒体高解析度风格迁移环境中的系统，包括：
迁移模块，所述迁移模块至少部分地在至少一个计算设备的硬件中被实现，以通过将来自风格图像的风格属性的第一集合应用到输入图像来生成迁移图像，所述迁移图像包括来自使用所述风格属性的第一集合而被转换的所述输入图像的内容；
特征提取器模块，所述特征提取器模块至少部分地在所述至少一个计算设备的硬件中被实现，所述特征提取器模块用来从所述风格图像的放大版本提取风格属性的第二集合，并且生成包括来自所述风格属性的第二集合的风格特征的风格图像特征图，并且生成包括来自所述迁移图像的放大版本的图像特征的迁移图像特征图；
风格交换模块，所述风格交换模块至少部分地在所述至少一个计算设备的硬件中被实现，所述风格交换模块用来通过将来自所述风格图像特征图的风格特征与来自所述迁移图像特征图的图像特征进行匹配来生成交换特征图，所述交换特征图包括匹配的所述风格特征；以及
风格解析系统，所述风格解析系统至少部分地在所述至少一个计算设备的硬件中被实现，所述风格解析系统用来实现解析神经网络，以及生成解析图像，所述解析图像包括比所述迁移图像的更高解析度的风格属性并且是基于所述交换特征图。
12.根据权利要求11所述的系统，其中所述特征提取器模块被配置为通过从所述风格图像的所述放大版本随机地采样补片来从所述风格图像的所述放大版本提取所述风格属性的第二集合，以生成所述风格图像特征图。
13.根据权利要求11所述的系统，其中所述特征提取器模块被配置为通过从所述迁移图像的所述放大版本随机地采样补片并且将所述补片填充到所述迁移图像特征图，以生成所述迁移图像特征图。
14.根据权利要求11所述的系统，其中：
所述特征提取器模块被配置为通过将来自所述风格图像的所述放大版本的风格图像补片填充到所述风格图像特征图来生成所述风格图像特征图，并且通过将来自所述迁移图像的所述放大版本的迁移图像补片填充到所述迁移图像特征图来生成所述迁移图像特征图；以及
所述风格交换模块被配置为通过将所述风格图像补片与所述迁移图像补片进行比较，以将来自所述风格图像特征图的风格特征与来自所述迁移图像特征图的图像特征匹配来生成所述交换特征图。
15.根据权利要求11所述的系统，其中：
所述特征提取器模块被配置为通过将来自所述风格图像的所述放大版本的风格图像补片填充到所述风格图像特征图生成所述风格图像特征图，并且通过将来自所述迁移图像的所述放大版本的迁移图像补片填充到所述迁移图像特征图生成所述迁移图像特征图；以及
所述风格交换模块被配置为通过分别计算风格图像补片中的每个风格图像补片与迁移图像补片中的每个迁移图像补片之间的内积来生成所述交换特征图，其中最高内积指示风格图像补片与迁移图像补片之间的匹配。
16.根据权利要求11所述的系统，其中所述风格解析系统被配置为使用所述迁移图像的放大版本和所述交换特征图训练所述解析神经网络以输出所述解析图像。
17.一种在数字媒体高解析度风格迁移环境中的系统，包括：
一个或多个处理器；以及
存储指令的一个或多个计算机可读存储介质，所述指令由所述一个或多个处理器可执行来执行包括以下的操作：
由所述至少一个计算设备生成迁移图像，所述迁移图像包括
来自通过将来自风格图像的风格属性的第一集合应用到输入图像而被转换的所述输入图像的内容；
由所述至少一个计算设备从所述风格图像的放大版本提取风格属性的第二集合，所述风格属性的第二集合具有比所述风格属性的第一集合更高的视觉解析度；
由所述至少一个计算设备生成风格图像特征图和迁移图像特征图，所述风格图像特征图包括来自所述风格属性的第二集合的风格特征，所述迁移图像特征图包括来自所述迁移图像的放大版本的图像特征；
由所述至少一个计算设备通过将来自所述风格图像特征图的风格特征与来自所述迁移图像特征图的图像特征进行匹配，来生成交换特征图；以及
由所述至少一个计算设备基于所述交换特征图来生成解析图像，所述解析图像包括比所述迁移图像更高解析度的风格属性。
18.根据权利要求17所述的系统，其中所述生成所述风格图像特征图包括将来自所述风格图像的所述放大版本的风格图像补片填充到所述风格图像特征图，所述生成所述迁移图像特征图包括将来自所述迁移图像的所述放大版本的迁移图像补片填充到所述迁移图像特征图，并且其中所述生成所述交换特征图包括利用匹配的风格图像补片替换迁移图像补片以生成所述交换特征图。
19.根据权利要求17所述的系统，其中所述生成解析图像包括，通过利用来自所述交换特征图的特征替换来自所述迁移图像的所述放大版本的特征，而使用所述交换特征图来处理所述迁移图像的所述放大版本，以生成所述解析图像。
20.根据权利要求17所述的系统，其中所述生成解析图像包括使用所述迁移图像的所述放大版本和所述交换特征图来训练解析神经网络，以输出所述解析图像。
CN201910161423.4A 2018-06-04 2019-03-04 高解析度风格迁移 Active CN110555795B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/997,386 2018-06-04
US15/997,386 US10650495B2 (en) 2018-06-04 2018-06-04 High resolution style transfer

Publications (2)

Publication Number Publication Date
CN110555795A true CN110555795A (zh) 2019-12-10
CN110555795B CN110555795B (zh) 2023-11-03

Family

ID=68694118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910161423.4A Active CN110555795B (zh) 2018-06-04 2019-03-04 高解析度风格迁移

Country Status (2)

Country Link
US (1) US10650495B2 (zh)
CN (1) CN110555795B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784566A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570562B1 (ko) * 2018-07-16 2023-08-24 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US11055819B1 (en) * 2018-09-27 2021-07-06 Amazon Technologies, Inc. DualPath Deep BackProjection Network for super-resolution
KR102640234B1 (ko) * 2018-09-28 2024-02-23 삼성전자주식회사 디스플레이 장치의 제어 방법 및 그에 따른 디스플레이 장치
US11449989B2 (en) * 2019-03-27 2022-09-20 The General Hospital Corporation Super-resolution anatomical magnetic resonance imaging using deep learning for cerebral cortex segmentation
US11393144B2 (en) * 2019-04-11 2022-07-19 City University Of Hong Kong System and method for rendering an image
WO2020235862A1 (en) * 2019-05-17 2020-11-26 Samsung Electronics Co., Ltd. Image manipulation
KR102623148B1 (ko) * 2019-10-15 2024-01-11 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US11145042B2 (en) * 2019-11-12 2021-10-12 Palo Alto Research Center Incorporated Using convolutional neural network style transfer to automate graphic design creation
US11625576B2 (en) * 2019-11-15 2023-04-11 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image style transformation
US20220092735A1 (en) * 2019-11-21 2022-03-24 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN111179172B (zh) * 2019-12-24 2021-11-02 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN113256504A (zh) * 2020-02-11 2021-08-13 北京三星通信技术研究有限公司 图像处理的方法和电子设备
US20220067879A1 (en) * 2020-09-03 2022-03-03 Nvidia Corporation Image enhancement using one or more neural networks
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112232485B (zh) * 2020-10-15 2023-03-24 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
WO2022116161A1 (zh) * 2020-12-04 2022-06-09 深圳市优必选科技股份有限公司 人像卡通化方法、机器人及存储介质
WO2022173665A1 (en) * 2021-02-12 2022-08-18 Carnegie Mellon University System and method for unsupervised object deformation using feature map-level data augmentation
US20220335250A1 (en) * 2021-04-19 2022-10-20 Kwai Inc. Methods and apparatuses for fine-grained style-based generative neural networks
US12081880B2 (en) * 2021-05-11 2024-09-03 Samsung Electronics Co., Ltd. Image super-resolution with reference images from one or more cameras
CN113240576B (zh) * 2021-05-12 2024-04-30 北京达佳互联信息技术有限公司 风格迁移模型的训练方法、装置、电子设备及存储介质
US11803950B2 (en) * 2021-09-16 2023-10-31 Adobe Inc. Universal style transfer using multi-scale feature transform and user controls
US11989916B2 (en) * 2021-10-11 2024-05-21 Kyocera Document Solutions Inc. Retro-to-modern grayscale image translation for preprocessing and data preparation of colorization
US12033303B2 (en) * 2022-02-08 2024-07-09 Kyocera Document Solutions, Inc. Mitigation of quantization-induced image artifacts
US20240127563A1 (en) * 2022-10-17 2024-04-18 Snap Inc. Stylizing a whole-body of a person
CN115618452B (zh) * 2022-12-08 2023-03-10 湖南大学 具有设计师风格的服装图像智能生成系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140408A1 (en) * 2014-11-19 2016-05-19 Adobe Systems Incorporated Neural Network Patch Aggregation and Statistics
US20160328866A1 (en) * 2015-05-05 2016-11-10 Google Inc. Animated Painterly Picture Generation
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
CN107977414A (zh) * 2017-11-22 2018-05-01 西安财经学院 基于深度学习的图像风格迁移方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825132B2 (en) * 2018-02-20 2020-11-03 Element Ai Inc. Training method for convolutional neural networks for use in artistic style transfers for video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160140408A1 (en) * 2014-11-19 2016-05-19 Adobe Systems Incorporated Neural Network Patch Aggregation and Statistics
US20160328866A1 (en) * 2015-05-05 2016-11-10 Google Inc. Animated Painterly Picture Generation
US20180082407A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Style transfer-based image content correction
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
CN107977414A (zh) * 2017-11-22 2018-05-01 西安财经学院 基于深度学习的图像风格迁移方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784566A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111784566B (zh) * 2020-07-01 2022-02-08 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备

Also Published As

Publication number Publication date
US10650495B2 (en) 2020-05-12
US20190370936A1 (en) 2019-12-05
CN110555795B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN110555795B (zh) 高解析度风格迁移
US10810435B2 (en) Segmenting objects in video sequences
US10846870B2 (en) Joint training technique for depth map generation
CN109670558B (zh) 使用深度学习的数字图像完成
US9342870B2 (en) Tree-based linear regression for denoising
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
CN106997613B (zh) 根据2d图像的3d模型生成
KR100924689B1 (ko) 모바일 기기의 이미지 변환 장치 및 방법
US20160027159A1 (en) Low memory content aware image modification
WO2017035971A1 (zh) 一种生成颜文字的方法和装置
US10846889B2 (en) Color handle generation for digital image color gradients using machine learning
WO2020062191A1 (zh) 图像处理方法、装置及设备
US11314400B2 (en) Unified digital content selection system for vector and raster graphics
CN112150347B (zh) 从有限的修改后图像集合中学习的图像修改样式
CN110827301B (zh) 用于处理图像的方法和装置
US11803950B2 (en) Universal style transfer using multi-scale feature transform and user controls
US20230153965A1 (en) Image processing method and related device
US20230005171A1 (en) Visual positioning method, related apparatus and computer program product
US10445921B1 (en) Transferring motion between consecutive frames to a digital image
CN107967709B (zh) 通过使用透视图或者传送的改进的对象涂绘
US11200708B1 (en) Real-time color vector preview generation
US20230145498A1 (en) Image reprojection and multi-image inpainting based on geometric depth parameters
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
US11526967B2 (en) System and method for precise image inpainting to remove unwanted content from digital images
CN114596203A (zh) 用于生成图像和用于训练图像生成模型的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant