CN110910303A - 一种图像风格迁移方法 - Google Patents
一种图像风格迁移方法 Download PDFInfo
- Publication number
- CN110910303A CN110910303A CN201911026518.1A CN201911026518A CN110910303A CN 110910303 A CN110910303 A CN 110910303A CN 201911026518 A CN201911026518 A CN 201911026518A CN 110910303 A CN110910303 A CN 110910303A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- features
- content
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013508 migration Methods 0.000 title claims abstract description 23
- 230000005012 migration Effects 0.000 title claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000013461 design Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 6
- 238000003786 synthesis reaction Methods 0.000 abstract description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种图像风格迁移方法，S1，基于人工神经网络库TensorFlow，实现卷积神经网络CNN；S2，捕获图片的内在信息，在原始的CNN表征之上，建立一个特征空间，所述特征空间，用于捕获输入图像的风格；S3，在CNN网络中，卷积层从图像中提取特征，卷积层较低层的特征用于描述图像的具体视觉特征，卷积层较高层的特征用于描述抽象的图像内容等。本发明可在精确提取内容图片的基础上同时实现风格的完美转换，生成任何风格下的合成图片，可应用于手机APP图像风格迁移，计算机视觉图创作、时装设计，电影镜头设计、动画风格渲染和游戏视觉效果合成等领域。
Description
技术领域
本发明涉及图像处理技术领域，更为具体地，涉及一种图像风格迁移方法。
背景技术
近年来，由深度学习所引领的人工智能技术浪潮，开始越来越广泛地应用到社会各个领域，尤其是在在计算机视觉领域，图像风格迁移作为一种新技术领域，迅速成为人工智能研究领域的热门话题之一。图像风格迁移可用于基于不同风格与纹理特征的新图片的合成，在艺术设计领域具有广阔的市场。然而，现有技术中，在提取图片内容的同时，难以实现图像风格的切换，导致合成图片质量不高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种图像风格迁移方法，可在精确提取内容图片的基础上同时实现风格的完美转换，生成任何风格下的合成图片，可应用于手机APP图像风格迁移，计算机视觉图创作、时装设计，电影镜头设计、动画风格渲染和游戏视觉效果合成等领域。
本发明的目的是通过以下技术方案来实现的：
一种图像风格迁移方法，包括：
S1，基于人工神经网络库TensorFlow，实现卷积神经网络CNN；
S2，捕获图片的内在信息，在原始的CNN表征之上，建立一个特征空间，所述特征空间，用于捕获输入图像的风格；
S3，在CNN网络中，卷积层从图像中提取特征，卷积层较低层的特征用于描述图像的具体视觉特征，卷积层较高层的特征用于描述抽象的图像内容；
S4，结合提取到的另一张内容图片的内容信息，在同一网络下进行合成图片学习，达到预定的损失后，便可得到风格迁移后的目标图片。
进一步的，在步骤S1中，基于人工神经网络库Tensorflow使用预训练的CNN网络模型。
进一步的，在步骤S2中，提取图像特征与内容，使用深层次的网络获取高层特征，提取图片的内容信息。
进一步的，在步骤S3中，包括如下步骤：
S31，用Gram矩阵来对图像中的风格进行建模和提取，使其接近风格图的Gram矩阵，即风格相似；
S32，然后其VGG网络的高层特征表达接近内容图的特征表达，即内容相似，在精确提取内容图片的基础上同时实现风格的转换，生成不同风格下的合成图片。
进一步的，该方法应用于手机APP图像风格迁移、计算机视觉图创作、时装设计、电影镜头设计、动画风格渲染和游戏视觉效果合成中的任一场景或多个场景。
本发明的有益效果是：
(1)本发明可在精确提取内容图片的基础上同时实现风格的完美转换，生成任何风格下的合成图片，可应用于手机APP图像风格迁移，计算机视觉图创作、时装设计，电影镜头设计、动画风格渲染和游戏视觉效果合成等领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的步骤流程图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书中公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：
若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。
在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。
当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。
如图1所示，一种图像风格迁移方法，包括：
S1，基于人工神经网络库TensorFlow，实现卷积神经网络CNN；
S2，捕获图片的内在信息，在原始的CNN表征之上，建立一个特征空间，所述特征空间，用于捕获输入图像的风格；
S3，在CNN网络中，卷积层从图像中提取特征，卷积层较低层的特征用于描述图像的具体视觉特征，卷积层较高层的特征用于描述抽象的图像内容；
S4，结合提取到的另一张内容图片的内容信息，在同一网络下进行合成图片学习，达到预定的损失后，便可得到风格迁移后的目标图片。
进一步的，在步骤S1中，基于人工神经网络库Tensorflow使用预训练的CNN网络模型。
进一步的，在步骤S2中，提取图像特征与内容，使用深层次的网络获取高层特征，提取图片的内容信息。
进一步的，在步骤S3中，包括如下步骤：
S31，用Gram矩阵来对图像中的风格进行建模和提取，使其接近风格图的Gram矩阵，即风格相似；
S32，然后其VGG网络的高层特征表达接近内容图的特征表达，即内容相似，在精确提取内容图片的基础上同时实现风格的转换，生成不同风格下的合成图片。
进一步的，该方法应用于手机APP图像风格迁移、计算机视觉图创作、时装设计、电影镜头设计、动画风格渲染和游戏视觉效果合成中的任一场景或多个场景。
实施例一
如图1所示，一种图像风格迁移方法，包括：
S1，基于人工神经网络库TensorFlow，实现卷积神经网络CNN；
S2，捕获图片的内在信息，在原始的CNN表征之上，建立一个特征空间，所述特征空间，用于捕获输入图像的风格；
S3，在CNN网络中，卷积层从图像中提取特征，卷积层较低层的特征用于描述图像的具体视觉特征，卷积层较高层的特征用于描述抽象的图像内容；
S4，结合提取到的另一张内容图片的内容信息，在同一网络下进行合成图片学习，达到预定的损失后，便可得到风格迁移后的目标图片。
在本实施例中，图片风格迁移解决方案，基于开源人工神经网络库TensorFlow，实现卷积神经网络CNN，捕获图片的内在信息，然后实现图片的风格迁移。在CNN网络中，卷积层是从图像中提取特征，一般认为较低层的特征描述了图像的具体视觉特征，较高层的特征则是较为抽象的图像内容描述。在原始的CNN表征之上，建立了一个新的特征空间，这个特征空间捕获了输入图像的风格。再结合提取到的另一张内容图片的内容信息，在同一网络下进行合成图片学习，达到预定的损失后，便可得到风格迁移后的目标图片。
在本实施例中，可选的，基于开源人工神经网络库tensorflow，使用预训练的CNN网络模型，提取图像特征与内容，使用深层次的网络获取高层特征，提取图片的内容信息。用Gram矩阵来对图像中的风格进行建模和提取，使其接近风格图的Gram矩阵(即风格相似)，然后其VGG网络的高层特征表达接近内容图的特征表达(即内容相似)，可在精确提取内容图片的基础上同时实现风格的完美转换，生成任何风格下的合成图片。
在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用和以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实现本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的算法，方法或系统等，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。
对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和单元并不一定是本申请所必须的。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法实现所描述的功能，但是这种实现不应超出本发明的范围。
所揭露的系统、模块和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例，仅仅是示意性的，例如，所述单元的划分，可以仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以说通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述分立部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM、RAM等。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (5)
1.一种图像风格迁移方法，其特征在于，包括：
S1，基于人工神经网络库TensorFlow，实现卷积神经网络CNN；
S2，捕获图片的内在信息，在原始的CNN表征之上，建立一个特征空间，所述特征空间，用于捕获输入图像的风格；
S3，在CNN网络中，卷积层从图像中提取特征，卷积层较低层的特征用于描述图像的具体视觉特征，卷积层较高层的特征用于描述抽象的图像内容；
S4，结合提取到的另一张内容图片的内容信息，在同一网络下进行合成图片学习，达到预定的损失后，便可得到风格迁移后的目标图片。
2.根据权利要求1所述的一种图像风格迁移方法，其特征在于，在步骤S1中，基于人工神经网络库Tensorflow使用预训练的CNN网络模型。
3.根据权利要求1所述的一种图像风格迁移方法，其特征在于，在步骤S2中，提取图像特征与内容，使用深层次的网络获取高层特征，提取图片的内容信息。
4.根据权利要求1所述的一种图像风格迁移方法，其特征在于，在步骤S3中，包括如下步骤：
S31，用Gram矩阵来对图像中的风格进行建模和提取，使其接近风格图的Gram矩阵，即风格相似；
S32，然后其VGG网络的高层特征表达接近内容图的特征表达，即内容相似，在精确提取内容图片的基础上同时实现风格的转换，生成不同风格下的合成图片。
5.根据权利要求1～4中任一项所述的一种图像风格迁移方法，其特征在于，该方法应用于手机APP图像风格迁移、计算机视觉图创作、时装设计、电影镜头设计、动画风格渲染和游戏视觉效果合成中的任一场景或多个场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911026518.1A CN110910303A (zh) | 2019-10-26 | 2019-10-26 | 一种图像风格迁移方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911026518.1A CN110910303A (zh) | 2019-10-26 | 2019-10-26 | 一种图像风格迁移方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110910303A true CN110910303A (zh) | 2020-03-24 |
Family
ID=69815915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911026518.1A Pending CN110910303A (zh) | 2019-10-26 | 2019-10-26 | 一种图像风格迁移方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910303A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112397A (zh) * | 2021-03-25 | 2021-07-13 | 北京工业大学 | 一种基于风格与内容解耦的图像风格迁移方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019025909A1 (en) * | 2017-08-01 | 2019-02-07 | 3M Innovative Properties Company | NEURONAL STYLE TRANSFER FOR VARIETY AND IMAGE RECOGNITION |
| CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
-
2019
- 2019-10-26 CN CN201911026518.1A patent/CN110910303A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019025909A1 (en) * | 2017-08-01 | 2019-02-07 | 3M Innovative Properties Company | NEURONAL STYLE TRANSFER FOR VARIETY AND IMAGE RECOGNITION |
| CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙劲光;刘鑫松;: "基于残差式神经网络的局部风格迁移方法" * |
| 薛楠: "基于残差网络的快速图像风格迁移研究" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112397A (zh) * | 2021-03-25 | 2021-07-13 | 北京工业大学 | 一种基于风格与内容解耦的图像风格迁移方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Niklaus et al. | 3d ken burns effect from a single image | |
| Lin et al. | Real-time high-resolution background matting | |
| CN107886032B (zh) | 终端设备、智能手机、基于脸部识别的认证方法和系统 | |
| US20220383649A1 (en) | System and method for facilitating graphic-recognition training of a recognition model | |
| CN104394422B (zh) | 一种视频分割点获取方法及装置 | |
| CN111402399B (zh) | 人脸驱动和直播方法、装置、电子设备及存储介质 | |
| CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
| CN110378990B (zh) | 增强现实场景展现方法、装置及存储介质 | |
| CN109242940B (zh) | 三维动态图像的生成方法和装置 | |
| CN108830892A (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN105306835A (zh) | 一种图像处理系统 | |
| CN107944420A (zh) | 人脸图像的光照处理方法和装置 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| US20190206117A1 (en) | Image processing method, intelligent terminal, and storage device | |
| CN108109121A (zh) | 一种基于卷积神经网络的人脸模糊快速消除方法 | |
| CN109753145B (zh) | 一种过渡动画的展示方法和相关装置 | |
| Conde et al. | Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report | |
| CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
| CN107995481B (zh) | 一种混合现实的显示方法及装置 | |
| CN114598919B (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| JP2016529752A (ja) | 密な動き場を介する下位のビデオシーケンスへの画像編集伝達 | |
| CN114170472A (zh) | 图像处理方法、可读存储介质及计算机终端 | |
| CN110910303A (zh) | 一种图像风格迁移方法 | |
| CN106372602A (zh) | 一种视频文件的处理方法和装置 | |
| CN109034059B (zh) | 静默式人脸活体检测方法、装置、存储介质及处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |