CN107977414A - 基于深度学习的图像风格迁移方法及其系统 - Google Patents
基于深度学习的图像风格迁移方法及其系统 Download PDFInfo
- Publication number
- CN107977414A CN107977414A CN201711172256.0A CN201711172256A CN107977414A CN 107977414 A CN107977414 A CN 107977414A CN 201711172256 A CN201711172256 A CN 201711172256A CN 107977414 A CN107977414 A CN 107977414A
- Authority
- CN
- China
- Prior art keywords
- mrow
- style
- mover
- msubsup
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012546 transfer Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 8
- 238000013461 design Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 13
- 238000003475 lamination Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000002474 experimental method Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 240000007087 Apium graveolens Species 0.000 description 2
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 2
- 235000010591 Appio Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的图像风格迁移方法及其系统，涉及图像处理领域，使用VGG网络计算训练图、风格图和生成图之间的代价，然后使用Adam优化器根据计算出的代价对图像转换网络进行修正，直到图像转换网络收敛，保存训练好的模型文件，最后将需要迁移风格的图片输入该模型文件中得到风格迁移后的效果图。该方法及系统能够将普通的图片转换为优美的艺术风格作品，试验表明该方法对艺术图像的纹理有着良好的学习能力，系统能够在云平台下实现，且具有很高的负载能力。
Description
技术领域
本发明涉及图像处理领域，特别是涉及基于深度学习的图像风格迁移方法及其系统。
背景技术
在机器学习领域，人类已经教会了机器自动过滤垃圾邮件，下棋、甚至驾驶无人汽车。但是在绘画领域，尤其是艺术创作，计算机还不能很好地模拟人类的艺术行为。人们一直在试图寻找让计算机自动生成艺术图像的方法。
发明内容
本发明实施例提供了基于深度学习的图像风格迁移方法及其系统，可以解决现有技术中存在的问题。
本发明提供了基于深度学习的图像风格迁移方法，该方法包括训练阶段和执行阶段，训练阶段包括以下步骤：
步骤100，读取训练图和风格图；
步骤110，将训练图输入图像转换网络，得到生成图；
步骤120，将训练图、风格图和生成图输入VGG网络，根据VGG网络中的代价函数计算得到相应的代价；
步骤130，根据计算出的代价，使用Adam优化器对所述图像转换网络进行修正；
步骤140，循环执行步骤100-130，直到所述图像转换网络收敛，保存训练好的模型文件；
执行阶段包括以下步骤：
步骤150，将需要进行风格迁移的图片输入保存的模型文件中，得到风格迁移后的效果图。
本发明还提供了基于深度学习的图像风格迁移系统，该系统包括：
模型训练模块，用于读取训练图和风格图，将训练图输入图像转换网络，得到生成图，将训练图、风格图和生成图输入VGG网络，根据VGG网络中的代价函数计算得到相应的代价，根据计算出的代价，使用Adam优化器对所述图像转换网络进行修正，循环对所述图像转换网络进行修正直到所述图像转换网络收敛，保存训练好的模型文件；
图片转换模块，用于将需要进行风格迁移的图片输入保存的模型文件中，得到风格迁移后的效果图；
用户界面模块，用于提供简洁无刷新的网页界面。
本发明实施例中的基于深度学习的图像风格迁移方法及其系统，使用VGG网络计算训练图、风格图和生成图之间的代价，然后使用Adam优化器根据计算出的代价对图像转换网络进行修正，直到图像转换网络收敛，保存训练好的模型文件，最后将需要迁移风格的图片输入该模型文件中得到风格迁移后的效果图。该方法及系统能够将普通的图片转换为优美的艺术风格作品，试验表明该方法对艺术图像的纹理有着良好的学习能力，系统能够在云平台下实现，且具有很高的负载能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于深度学习的图像风格迁移方法的流程图；
图2为本发明实施例提供的基于深度学习的图像风格迁移系统的功能模块图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明提供了基于深度学习的图像风格迁移方法，该方法包括训练阶段和执行阶段，训练阶段包括以下步骤：
步骤100，读取训练图和风格图；
步骤110，将训练图输入图像转换网络，得到生成图；
步骤120，将训练图、风格图和生成图输入VGG网络，根据VGG网络中的代价函数计算得到相应的代价；
步骤130，根据计算出的代价，使用Adam优化器对所述图像转换网络进行修正；
步骤140，循环执行步骤100-130，直到所述图像转换网络收敛，保存训练好的模型文件。
执行阶段包括以下步骤：
步骤150，将需要进行风格迁移的图片输入保存的模型文件中，得到风格迁移后的效果图。
本发明实施例中，使用的VGG网络为预训练的VGG19网络，构建该网络的方法为：先从MatConvNet获取MATLAB格式的VGG19模型文件，然后使用Scipy库读取该模型文件，再结合Tensorflow的图系统即可构建好VGG19网络。
VGG19网络拥有19个权重层，是VGG网络中最深的一个。该网络的输入是224*224像素的RGB图像，并且采用了3*3大小的卷积核，可以减小参数的数量，在加深网络的同时不至于使网络太过复杂和难以训练。在将图像输入至VGG网络前，需要经过一次预处理，方法是减去给定的图片像素均值。
所述VGG19网络中使用低层次的卷积层提取风格和内容，具体地，使用conv1_1、conv2_1、conv3_1、conv4_1、conv5_1作为风格提取层，使用conv4_2作为内容提取层。由内容提取层的特征信息可以构造内容代价函数：
式中x为生成图，p为训练图，l表示内容提取层，即conv4_2层，Fij表示生成图在该卷积层的输出值，Pij表示训练图在该卷积层的输出值。第二个公式为内容代价函数的偏导，可以使用反向传播算法求出。
由风格提取层的特征信息可以构造风格代价函数：
式中a表示风格图，wm表示第m个风格提取层的权重，Em表示第m个风格提取层的风格代价，Nm和Qm为相应风格提取层的缩放系数，表示风格图在第m个风格提取层的gram矩阵，表示生成图在第m个风格提取层的gram矩阵，和均表示生成图在该卷积层的输出值。
风格代价函数和内容代价函数以一定比例相加，得到整体的代价函数：
式中α和β均为系数，使用者根据需要自行设定。
所述图像转换网络实际上是一个深度残差网络，输入至该网络的图像也是RGB图像，该网络从上至下依次为：三个下采样卷积层、五个残差卷积层、三个上采样反卷积层以及一个输出层。其中三个下采样卷积层使用一个步长为1和两个步长为2的卷积层去下采样，三个上采样反卷积层和三个所述上采样卷积层对应，使用两个步长为2和一个步长为1的反卷积层进行上采样。图像经过下采样之后会让卷积运算次数变少，以便于充分利用计算机的性能资源，同时下采样会使有效感受视野变大。输出层使用Tanh函数来限制图像的像素在[0,255]的范围内。
除去残差卷积层和输出层之外，其他卷积层都跟着一个Instance-Normalization层和Relu激活函数层，Instance-Normalization只针对单个数据进行计算均值和标准差，和Batch-Normalization不同的是，Instance-Normalization没有缩放系数和偏移，其表达式如下：
使用Instance-Normalization后，由于减少了训练缩放系数和偏移需要付出的计算代价，因此网络的训练效果得到了进一步提升。
本实施例中使用的训练图和风格图来自COCO dataset2014数据集，该数据集中共有8万多张图片，由于图片数量大，因此使用Tensorflow中string_input_producer的文件队列进行边训练边读取。
基于相同的发明构思，本发明还提供了基于深度学习的图像风格迁移系统，参照图2，该系统的实施可以参照上述方法的实施，重复之处不再赘述。所述系统包括：
模型训练模块，用于读取训练图和风格图，将训练图输入图像转换网络，得到生成图，将训练图、风格图和生成图输入VGG网络，根据VGG网络中的代价函数计算得到相应的代价，根据计算出的代价，使用Adam优化器对所述图像转换网络进行修正，循环对所述图像转换网络进行修正直到所述图像转换网络收敛，保存训练好的模型文件。
图片转换模块，用于将需要进行风格迁移的图片输入保存的模型文件中，得到风格迁移后的效果图。
用户界面模块，用于提供简洁无刷新的网页界面，该网页界面使用Bootstrap前端框架和AJAX技术开发，用户选择迁移风格以及需要迁移的图片后，该图片即上传至所述图片转换模块进行风格迁移。
上述系统使用Flask开发，Flask是一个灵活的Web应用框架，因为其使用简单的核心和小巧的身姿，深受开发者的喜爱。与此同时，使用和深度学习工具Tensorflow一致的开发语言可以有效降低开发成本。
系统执行过程中使用分布式的异步队列来进行任务分配，Flask进程作为生产者提交图片转换任务，任务队列进程作为消费者从缓存中读取并消耗这个任务，本发明中使用Celery分布式异步任务队列，以及使用Redis作为消息代理。使用Celery提供的库函数，可以方便的实现异步任务请求。因此用户无需等待后台转换结束就可以关闭网页。异步任务队列会在转换任务结束后，自动把图片发送到用户指定的邮箱。同时，用户也可以访问Flask相应的接口查询任务转换的进度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.基于深度学习的图像风格迁移方法，其特征在于，该方法包括训练阶段和执行阶段，训练阶段包括以下步骤：
步骤100，读取训练图和风格图；
步骤110，将训练图输入图像转换网络，得到生成图；
步骤120，将训练图、风格图和生成图输入VGG网络，根据VGG网络中的代价函数计算得到相应的代价；
步骤130，根据计算出的代价，使用Adam优化器对所述图像转换网络进行修正；
步骤140，循环执行步骤100-130，直到所述图像转换网络收敛，保存训练好的模型文件；
执行阶段包括以下步骤：
步骤150，将需要进行风格迁移的图片输入保存的模型文件中，得到风格迁移后的效果图。
2.如权利要求1所述的基于深度学习的图像风格迁移方法，其特征在于，步骤120中使用的VGG网络为预训练的VGG19网络，构建该网络的方法为：先从MatConvNet获取MATLAB格式的VGG19模型文件，然后使用Scipy库读取该模型文件，再结合Tensorflow的图系统即可构建好VGG19网络。
3.如权利要求2所述的基于深度学习的图像风格迁移方法，其特征在于，所述VGG19网络中使用conv1_1、conv2_1、conv3_1、conv4_1、conv5_1作为风格提取层，使用conv4_2作为内容提取层；由内容提取层的特征信息构造内容代价函数：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>t</mi>
<mi>e</mi>
<mi>n</mi>
<mi>t</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>p</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>F</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
式中x为生成图，p为训练图，l表示内容提取层，即conv4_2层，Fij表示生成图在该卷积层的输出值，Pij表示训练图在该卷积层的输出值；
由风格提取层的特征信息构造风格代价函数：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>s</mi>
<mi>t</mi>
<mi>y</mi>
<mi>l</mi>
<mi>e</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>a</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>M</mi>
</munderover>
<msub>
<mi>w</mi>
<mi>m</mi>
</msub>
<msub>
<mi>E</mi>
<mi>m</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>E</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>4</mn>
<msubsup>
<mi>N</mi>
<mi>m</mi>
<mn>2</mn>
</msubsup>
<msubsup>
<mi>Q</mi>
<mi>m</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>G</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>m</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>m</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msubsup>
<mi>G</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<msubsup>
<mi>F</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
<mi>m</mi>
</msubsup>
<msubsup>
<mi>F</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
<mi>m</mi>
</msubsup>
</mrow>
式中a表示风格图，wm表示第m个风格提取层的权重，Em表示第m个风格提取层的风格代价，Nm和Qm为相应风格提取层的缩放系数，表示风格图在第m个风格提取层的gram矩阵，表示生成图在第m个风格提取层的gram矩阵，和均表示生成图在该卷积层的输出值；
风格代价函数和内容代价函数以一定比例相加，得到整体的代价函数：
<mrow>
<msub>
<mi>L</mi>
<mrow>
<mi>t</mi>
<mi>o</mi>
<mi>t</mi>
<mi>a</mi>
<mi>l</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>p</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>a</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>&alpha;L</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>n</mi>
<mi>t</mi>
<mi>e</mi>
<mi>n</mi>
<mi>t</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>p</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>&beta;L</mi>
<mrow>
<mi>s</mi>
<mi>t</mi>
<mi>y</mi>
<mi>l</mi>
<mi>e</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mover>
<mi>a</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>,</mo>
<mover>
<mi>x</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
式中α和β均为系数，使用者根据需要自行设定。
4.如权利要求1所述的基于深度学习的图像风格迁移方法，其特征在于，所述图像转换网络为深度残差网络，输入至该网络的图像是RGB图像，该网络从上至下依次为：三个下采样卷积层、五个残差卷积层、三个上采样反卷积层以及一个输出层，其中三个下采样卷积层使用一个步长为1和两个步长为2的卷积层去下采样，三个上采样反卷积层和三个所述上采样卷积层对应，使用两个步长为2和一个步长为1的反卷积层进行上采样；输出层使用Tanh函数来限制图像的像素在[0,255]的范围内，下采样卷积层和上采样反卷积层都跟着一个Instance-Normalization层和Relu激活函数层。
5.基于深度学习的图像风格迁移系统，其特征在于，该系统包括：
模型训练模块，用于读取训练图和风格图，将训练图输入图像转换网络，得到生成图，将训练图、风格图和生成图输入VGG网络，根据VGG网络中的代价函数计算得到相应的代价，根据计算出的代价，使用Adam优化器对所述图像转换网络进行修正，循环对所述图像转换网络进行修正直到所述图像转换网络收敛，保存训练好的模型文件；
图片转换模块，用于将需要进行风格迁移的图片输入保存的模型文件中，得到风格迁移后的效果图；
用户界面模块，用于提供简洁无刷新的网页界面。
6.如权利要求5所述的基于深度学习的图像风格迁移系统，其特征在于，所述用户界面模块提供的网页界面使用Bootstrap前端框架和AJAX技术开发，用户选择迁移风格以及需要迁移的图片后，该图片即上传至所述图片转换模块进行风格迁移。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711172256.0A CN107977414B (zh) | 2017-11-22 | 2017-11-22 | 基于深度学习的图像风格迁移方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711172256.0A CN107977414B (zh) | 2017-11-22 | 2017-11-22 | 基于深度学习的图像风格迁移方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107977414A true CN107977414A (zh) | 2018-05-01 |
| CN107977414B CN107977414B (zh) | 2021-10-12 |
Family
ID=62010925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711172256.0A Expired - Fee Related CN107977414B (zh) | 2017-11-22 | 2017-11-22 | 基于深度学习的图像风格迁移方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107977414B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846793A (zh) * | 2018-05-25 | 2018-11-20 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| CN109300170A (zh) * | 2018-10-18 | 2019-02-01 | 云南大学 | 肖像照片光影传递方法 |
| CN109636712A (zh) * | 2018-12-07 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 图像风格迁移及数据存储方法、装置和电子设备 |
| CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN109712081A (zh) * | 2018-11-14 | 2019-05-03 | 浙江大学 | 一种融合深度特征的语义风格迁移方法和系统 |
| CN109766780A (zh) * | 2018-12-20 | 2019-05-17 | 武汉理工大学 | 一种基于深度学习的船舶烟雾排放在线检测和追踪方法 |
| CN109859096A (zh) * | 2018-12-28 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
| CN109872272A (zh) * | 2019-01-30 | 2019-06-11 | 天津大学 | 一种基于实例正规化网络生成器的图像风格转换方法 |
| CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
| CN110135458A (zh) * | 2019-04-15 | 2019-08-16 | 深圳中兴网信科技有限公司 | 图像数据集增广方法、系统、计算机设备和存储介质 |
| CN110148424A (zh) * | 2019-05-08 | 2019-08-20 | 北京达佳互联信息技术有限公司 | 语音处理方法、装置、电子设备及存储介质 |
| CN110555795A (zh) * | 2018-06-04 | 2019-12-10 | 奥多比公司 | 高解析度风格迁移 |
| CN110598781A (zh) * | 2019-09-05 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110827191A (zh) * | 2018-08-08 | 2020-02-21 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
| CN111035387A (zh) * | 2019-12-27 | 2020-04-21 | 上海交通大学 | 提升电阻率成像获取图片质量的方法 |
| CN111127309A (zh) * | 2019-12-12 | 2020-05-08 | 杭州格像科技有限公司 | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 |
| WO2020125505A1 (en) * | 2018-12-21 | 2020-06-25 | Land And Fields Limited | Image processing system |
| CN111597169A (zh) * | 2020-05-26 | 2020-08-28 | 周磊晶 | 基于风格迁移的个性化定制产品设计平台及定制方法 |
| CN112288621A (zh) * | 2020-09-21 | 2021-01-29 | 山东师范大学 | 基于神经网络的图像风格迁移方法及系统 |
| CN112733514A (zh) * | 2021-01-21 | 2021-04-30 | 浪潮卓数大数据产业发展有限公司 | 一种Bootstrap table导出excel中图片下载的方法 |
| CN113837926A (zh) * | 2021-09-05 | 2021-12-24 | 桂林理工大学 | 基于均值标准差的图像迁移方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070192306A1 (en) * | 2004-08-27 | 2007-08-16 | Yannis Papakonstantinou | Searching digital information and databases |
| CN106055670A (zh) * | 2016-06-06 | 2016-10-26 | 中国工商银行股份有限公司 | 一种系统间数据迁移方法及装置 |
| CN106651766A (zh) * | 2016-12-30 | 2017-05-10 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的图像风格迁移方法 |
| CN107169948A (zh) * | 2017-05-19 | 2017-09-15 | 深圳市唯特视科技有限公司 | 一种基于深度图像类比的视觉特性迁移方法 |
-
2017
- 2017-11-22 CN CN201711172256.0A patent/CN107977414B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070192306A1 (en) * | 2004-08-27 | 2007-08-16 | Yannis Papakonstantinou | Searching digital information and databases |
| CN106055670A (zh) * | 2016-06-06 | 2016-10-26 | 中国工商银行股份有限公司 | 一种系统间数据迁移方法及装置 |
| CN106651766A (zh) * | 2016-12-30 | 2017-05-10 | 深圳市唯特视科技有限公司 | 一种基于深度卷积神经网络的图像风格迁移方法 |
| CN107169948A (zh) * | 2017-05-19 | 2017-09-15 | 深圳市唯特视科技有限公司 | 一种基于深度图像类比的视觉特性迁移方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王坤峰 等: "平行图像:图像生成的一个新型理论框架", 《模式识别与人工智能》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846793B (zh) * | 2018-05-25 | 2022-04-22 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| CN108846793A (zh) * | 2018-05-25 | 2018-11-20 | 深圳市商汤科技有限公司 | 基于图像风格转换模型的图像处理方法和终端设备 |
| CN110555795A (zh) * | 2018-06-04 | 2019-12-10 | 奥多比公司 | 高解析度风格迁移 |
| CN110555795B (zh) * | 2018-06-04 | 2023-11-03 | 奥多比公司 | 高解析度风格迁移 |
| CN110827191A (zh) * | 2018-08-08 | 2020-02-21 | Oppo广东移动通信有限公司 | 图像处理方法和装置、存储介质、电子设备 |
| CN109300170A (zh) * | 2018-10-18 | 2019-02-01 | 云南大学 | 肖像照片光影传递方法 |
| CN109697690A (zh) * | 2018-11-01 | 2019-04-30 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| WO2020088280A1 (zh) * | 2018-11-01 | 2020-05-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法和系统 |
| CN109712081A (zh) * | 2018-11-14 | 2019-05-03 | 浙江大学 | 一种融合深度特征的语义风格迁移方法和系统 |
| CN109712081B (zh) * | 2018-11-14 | 2021-01-29 | 浙江大学 | 一种融合深度特征的语义风格迁移方法和系统 |
| CN109636712A (zh) * | 2018-12-07 | 2019-04-16 | 北京达佳互联信息技术有限公司 | 图像风格迁移及数据存储方法、装置和电子设备 |
| CN109766780A (zh) * | 2018-12-20 | 2019-05-17 | 武汉理工大学 | 一种基于深度学习的船舶烟雾排放在线检测和追踪方法 |
| WO2020125505A1 (en) * | 2018-12-21 | 2020-06-25 | Land And Fields Limited | Image processing system |
| CN109859096A (zh) * | 2018-12-28 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
| CN109872272A (zh) * | 2019-01-30 | 2019-06-11 | 天津大学 | 一种基于实例正规化网络生成器的图像风格转换方法 |
| CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
| CN110033034B (zh) * | 2019-04-01 | 2023-09-12 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
| CN110135458A (zh) * | 2019-04-15 | 2019-08-16 | 深圳中兴网信科技有限公司 | 图像数据集增广方法、系统、计算机设备和存储介质 |
| CN110148424A (zh) * | 2019-05-08 | 2019-08-20 | 北京达佳互联信息技术有限公司 | 语音处理方法、装置、电子设备及存储介质 |
| CN110148424B (zh) * | 2019-05-08 | 2021-05-25 | 北京达佳互联信息技术有限公司 | 语音处理方法、装置、电子设备及存储介质 |
| CN110598781A (zh) * | 2019-09-05 | 2019-12-20 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111127309A (zh) * | 2019-12-12 | 2020-05-08 | 杭州格像科技有限公司 | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 |
| CN111127309B (zh) * | 2019-12-12 | 2023-08-11 | 杭州格像科技有限公司 | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 |
| CN111035387A (zh) * | 2019-12-27 | 2020-04-21 | 上海交通大学 | 提升电阻率成像获取图片质量的方法 |
| CN111597169A (zh) * | 2020-05-26 | 2020-08-28 | 周磊晶 | 基于风格迁移的个性化定制产品设计平台及定制方法 |
| CN111597169B (zh) * | 2020-05-26 | 2023-11-24 | 周磊晶 | 基于风格迁移的个性化定制产品设计平台及定制方法 |
| CN112288621A (zh) * | 2020-09-21 | 2021-01-29 | 山东师范大学 | 基于神经网络的图像风格迁移方法及系统 |
| CN112733514A (zh) * | 2021-01-21 | 2021-04-30 | 浪潮卓数大数据产业发展有限公司 | 一种Bootstrap table导出excel中图片下载的方法 |
| CN113837926A (zh) * | 2021-09-05 | 2021-12-24 | 桂林理工大学 | 基于均值标准差的图像迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107977414B (zh) | 2021-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977414A (zh) | 基于深度学习的图像风格迁移方法及其系统 | |
| CN108108811B (zh) | 神经网络中的卷积计算方法和电子设备 | |
| CN107844828B (zh) | 神经网络中的卷积计算方法和电子设备 | |
| KR102142889B1 (ko) | 스파스 연결용 인공 신경망 계산 장치와 방법 | |
| CN111062489A (zh) | 一种基于知识蒸馏的多语言模型压缩方法、装置 | |
| CN105488776B (zh) | 超分辨率图像重建方法和装置 | |
| CN109862370A (zh) | 视频超分辨率处理方法及装置 | |
| CN109117948A (zh) | 画风转换方法及相关产品 | |
| CN108022212A (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| CN106951962A (zh) | 用于神经网络的复合运算单元、方法和电子设备 | |
| JP7403638B2 (ja) | 高速なスパースニューラルネットワーク | |
| CN107944545A (zh) | 应用于神经网络的计算方法及计算装置 | |
| CN107527090A (zh) | 应用于稀疏神经网络的处理器和处理方法 | |
| CN107622305A (zh) | 用于神经网络的处理器和处理方法 | |
| CN109117944A (zh) | 一种轮船目标遥感影像的超分辨率重建方法及系统 | |
| CN112084037A (zh) | 神经网络的内存分配方法及装置 | |
| CN108875917A (zh) | 一种用于卷积神经网络处理器的控制方法及装置 | |
| CN107871306A (zh) | 一种图片去噪的方法和装置 | |
| CN108171328A (zh) | 一种卷积运算方法和基于该方法的神经网络处理器 | |
| CN108985449A (zh) | 一种对卷积神经网络处理器的控制方法及装置 | |
| CN111667401A (zh) | 多层次渐变图像风格迁移方法及系统 | |
| CN110009644B (zh) | 一种特征图行像素分段的方法和装置 | |
| CN108769674B (zh) | 一种基于自适应层次化运动建模的视频预测方法 | |
| CN114219701A (zh) | 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 | |
| CN106407932A (zh) | 基于分数阶微积分与广义逆神经网络的手写数字识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211012 |