CN106971202A - 一种基于卷积神经网络的中国水墨画风格提取方法 - Google Patents
一种基于卷积神经网络的中国水墨画风格提取方法 Download PDFInfo
- Publication number
- CN106971202A CN106971202A CN201710199950.5A CN201710199950A CN106971202A CN 106971202 A CN106971202 A CN 106971202A CN 201710199950 A CN201710199950 A CN 201710199950A CN 106971202 A CN106971202 A CN 106971202A
- Authority
- CN
- China
- Prior art keywords
- neural networks
- image
- convolutional neural
- chinese ink
- ink painting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000976 ink Substances 0.000 title claims abstract description 52
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 41
- 238000010422 painting Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000011478 gradient descent method Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000005457 optimization Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 7
- 240000002853 Nelumbo nucifera Species 0.000 description 6
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 6
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008717 functional decline Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
Abstract
本发明提供一种基于卷积神经网络的中国水墨画风格提取方法，包括以下步骤：读取中国水墨画和普通景物画；使用卷积神经网络对输入图像进行分层；选取合适的中国水墨画图像与普通景物图像卷积层和加权因子建立新的卷积神经网络；调整中国水墨画图像与普通景物图像的加权因子建立新的卷积神经网络；比较输入图像与输出图像的差异，使用损失值进行量化；使用梯度下降法迭代优化输出图像与输入图像的损失值，直至满足条件；判断迭代次数是否超过限定次数；输出具有中国水墨画风格的融合图像。整个过程实现了中国水墨画风格的提取，并将该风格应用于普通景物画，获得具有中国水墨画风格的融合图像。
Description
技术领域
本发明属于一种图像处理领域的技术，具体涉及一种基于卷积神经网络的水墨画风格提取方法。
背景技术
中国传统水墨画是中国历史的独特产物，是中国人观察世界和表达自己的重要方式，其鲜明的风格也在艺术历史中占有独特的地位。随着时代的发展，水墨画这种艺术风格需要越来越多的出现在新兴媒体上，因此，中国传统水墨画的风格提取技术也是非常重要的。
卷积神经网络是一种特殊的深层神经网络模型，它是将人工神经网络和深度学习网络相结合而产生的新型人工神经网络。在卷积神经网络中，卷积层对输入图像进行分割，每部分通过多个神经元处理后传递给下一层。图像分割以后的局部感受野允许神经元，即滤波器，访问到最基本的图像特征。
在文献“Gatys L A，Ecker A S，Bethge M.A Neural Algorithm of ArtisticStyle[J].Computer Science，2015”中，作者将卷积神经网络应用于艺术风格的学习，并将艺术纹理与物体特征相结合，获得艺术图像。该方法应用于中国水墨画之后，得到的图像会出现较大的失真，无法得到理想的结果。
在文献“吕鹏.基于神经网络的中国水墨画艺术风格学习[D].天津大学，2009”中，作者对水墨画的笔法及墨法进行特征提取，此方法学习时间长，成本较高，而且需要大量的学习样本，不适用于单幅图像的快速提取。
因此，有必要提供一种基于卷积神经网络的中国水墨画风格提取方法克服上述问题。
发明内容
本发明的目的在于提供一种快速、简便、有效的获得具有中国水墨画风格的融合图像的方法。
相应地，本发明的一种基于卷积神经网络的中国水墨画风格提取方法，包括以下步骤：
S1，读取中国水墨画图像和普通景物图像；
S2，使用卷积神经网络对图像分层；
S3，选取适当的卷积层和加权因子建立新的卷积神经网络；
S4，比较输出图像与输入图像的差异，并使用损失值进行量化；
S5，使用梯度下降法优化损失值，并判断迭代次数是否超过限定次数。
作为本发明的进一步改进，S1具体包括：选择中国水墨画图像与普通景物图像，两幅图像应在内容上具有一定的相似性。
作为本发明的进一步改进，S3具体包括：通过卷积神经网络对输入图像进行分层，分析水墨画图像每一卷积层代表的风格特征，分析景物图像每一卷积层代表的物体特征，分别选择合适的卷积层和加权因子建立新的卷积神经网络模型。
作为本发明的进一步改进，S4具体包括：将一幅随机噪声图像作为输入图像，令新建立的卷积神经网络作用于该图像，输出风格特征作用于景物图的图像，比较该输出图像与输入图像的差异，并使用损失值进行量化。
作为本发明的进一步改进，S5具体包括：判断单次循环损失值变化量是否小于最大损失值的若不小于最大损失值的则重复S4。优选地，N值为10000。
作为本发明的进一步改进，S5步骤后，进一步判断迭代次数是否少于限定次数，若超过限定次数，则重复S1。优选地，该限定次数是5000次。
本发明的有益效果是：该方法选取合适的中国水墨画图像和普通景物图像，选取特定的卷积层和加权因子对输入图像进行处理，实现对水墨画风格特征的提取，并对普通景物图像进行渲染，得到较好的具有中国水墨画特征的输出图像。
本方法不需要使用大量的学习样本，可以对单幅图像进行处理，快速得到结果，整个过程方便快捷，为水墨画风格提取提出了新的解决方法。
附图说明
图1为本发明一种基于卷积神经网络的中国水墨画风格提取方法的流程图；
图2为使用卷积神经网络对输入图像的分层处理流程图；
图3为使用不同卷积层处理普通景物图像示例图；
图4为通过卷积神经网络处理后，使用梯度下降法优化输出图像损失函数示例图；
图5为中国水墨画图像和普通景物图像融合后的输出图像示例图；
图6为内容接近的输入图像和内容差异较大的输入图像的损失函数对比示例图。
具体实施方式
以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示，本发明的一种基于卷积神经网络的中国水墨画风格提取方法，包括以下步骤：
S1，读取中国水墨画图像和普通景物图像；
S2，使用卷积神经网络对图像分层；
S3，选取适当的卷积层和加权因子建立新的卷积神经网络；
S4，比较输出图像与输入图像的差异，并使用损失值进行量化；
S5，使用梯度下降法优化损失值，并判断迭代次数是否超过限定次数。
在本发明的一个实施例中，使用Matlab读取中国水墨画图像和普通景物图像，使用卷积神经网络模型对两幅图像进行分层。图2代表卷积神经网络对输入图像的分层处理过程。在卷积神经网络模型中，‘convi_j’代表第i个卷积层的第j个分层，i越小，其代表的卷积层次越低。图3中A，B，C，分别代表应用卷积层‘conv1_1’，‘conv3_1’，‘conv5_1’对原图像重建的结果，可以看出低层次的卷积结果和原图基本相同，高层次的卷积结果只保留了图像的主要内容。
通过对不同卷积层的选取，可以得到，各卷积层对图像的特征提取程度有一定的差异，输出图像的艺术风格程度随着卷积层在卷积神经网络中的位置增加而先增强，到达一定程度后开始减弱。
为了得到普通景物图像和中国水墨画图像融合之后的图像，给定一幅白噪声图像作为输入图像，并对该图像定义一个损失函数：
其中，为普通景物图像(即内容图像)损失值，为中国水墨画图像(即风格图像)损失值，α和β分别是重建图中内容和风格的加权因子，代表普通景物图像，代表中国水墨画图像，使用代表输出图像。
通过选取合适的卷积层和加权因子建立新的卷积神经网络，将一幅白噪声图像通过该网络，并使用梯度下降法优化输出图像与输入图像相比较的损失值，损失值代表了输出图像与输入的普通景物图像和中国水墨画图像的差异。在图4所示实例中，通过损失函数曲线可以得到梯度下降算法的迭代次数与损失函数值的关系，当单次循环损失值的下降值小于最大损失值的时，损失值已经趋于稳定，输出结果几乎不发生改变，输出图像可以作为最终的输出结果。
在图5所示实例中，以荷花为主体的普通景物图像与同样是表现荷花的中国水墨画图像融合后，输出图像中荷花以及荷叶的样式都与中国水墨画图像接近，较好的实现了预期目标。对于输入图像差异过大的情况，在图6所示实例中，A和B分别代表使用荷花图像和人像图像作为普通景物图像，荷花水墨画作为中国水墨画图像的损失函数下降曲线，其中实线表示损失函数，虚线为损失值最大值的10db处，通过其损失函数的梯度下降曲线可以看出，当B中损失值下降到最大损失值的10db时，迭代次数已经超过了限定次数(在图6所示实例中，限定次数是5000次)，表明此时的输出图像与输入图像之间仍存在较大的差异，输出图像不具有中国水墨画图像中体现的艺术风格，需要重新选取输入图像。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于卷积神经网络的中国水墨画风格提取方法，其特征在于，包括以下步骤：
S1，读取中国水墨画图像和普通景物图像；
S2，使用卷积神经网络对图像分层；
S3，选取适当的卷积层和加权因子建立新的卷积神经网络；
S4，比较输出图像与输入图像的差异，并使用损失值进行量化；
S5，使用梯度下降法优化损失值，并判断迭代次数是否超过限定次数。
2.根据权利要求1所述的一种基于卷积神经网络的中国水墨画风格提取的方法，其特征在于：S1具体包括：选择中国水墨画图像与普通景物图像，两幅图像应在内容上具有一定的相似性。
3.根据权利要求1所述的一种基于卷积神经网络的中国水墨画风格提取的方法，其特征在于：S3具体包括：通过卷积神经网络对输入图像进行分层，分析水墨画图像每一卷积层代表的风格特征，分析景物图像每一卷积层代表的物体特征，分别选择合适的卷积层和加权因子建立新的卷积神经网络模型。
4.根据权利要求1所述的一种基于卷积神经网络的中国水墨画风格提取的方法，其特征在于：S4具体包括：将一幅随机噪声图像作为输入图像，令新建立的卷积神经网络作用于该图像，输出风格特征作用于景物图的图像，比较该输出图像与输入图像的差异，并使用损失值进行量化。
5.根据权利要求1所述的一种基于卷积神经网络的中国水墨画风格提取的方法，其特征在于：S5具体包括：判断单次循环后的损失值变化量是否小于最大损失值的若不小于最大损失值的则重复S4。
6.根据权利要求5所述的一种基于卷积神经网络的中国水墨画风格提取的方法，其特征在于：N值优选为10000。
7.根据权利要求1所述的一种基于卷积神经网络的中国水墨画风格提取的方法，其特征在于：S5步骤后，进一步判断迭代次数是否少于限定次数，若超过限定次数，则重复S1。
8.根据权利要求7所述的一种基于卷积神经网络的中国水墨画风格提取的方法，其特征在于：限定次数优选为5000次。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199950.5A CN106971202A (zh) | 2017-03-24 | 2017-03-24 | 一种基于卷积神经网络的中国水墨画风格提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710199950.5A CN106971202A (zh) | 2017-03-24 | 2017-03-24 | 一种基于卷积神经网络的中国水墨画风格提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106971202A true CN106971202A (zh) | 2017-07-21 |
Family
ID=59335742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710199950.5A Pending CN106971202A (zh) | 2017-03-24 | 2017-03-24 | 一种基于卷积神经网络的中国水墨画风格提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106971202A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729931A (zh) * | 2017-10-09 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 图片评分方法和装置 |
| CN107767408A (zh) * | 2017-11-09 | 2018-03-06 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
| CN113177997A (zh) * | 2021-04-25 | 2021-07-27 | 上海雷鸣文化传播有限公司 | 一种基于神经网络图形算法实现水墨效果渲染的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6919903B2 (en) * | 2001-03-02 | 2005-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Texture synthesis and transfer for pixel images |
| CN105787490A (zh) * | 2016-03-24 | 2016-07-20 | 南京新与力文化传播有限公司 | 基于深度学习的商品潮流识别方法及装置 |
| CN106408595A (zh) * | 2016-08-31 | 2017-02-15 | 上海交通大学 | 一种基于神经网络画风学习的图像渲染方法 |
-
2017
- 2017-03-24 CN CN201710199950.5A patent/CN106971202A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6919903B2 (en) * | 2001-03-02 | 2005-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Texture synthesis and transfer for pixel images |
| CN105787490A (zh) * | 2016-03-24 | 2016-07-20 | 南京新与力文化传播有限公司 | 基于深度学习的商品潮流识别方法及装置 |
| CN106408595A (zh) * | 2016-08-31 | 2017-02-15 | 上海交通大学 | 一种基于神经网络画风学习的图像渲染方法 |
Non-Patent Citations (1)
| Title |
|---|
| LEON A. GATYS: "Image Style Transfer Using Convolutional Neural Networks", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729931A (zh) * | 2017-10-09 | 2018-02-23 | 北京京东尚科信息技术有限公司 | 图片评分方法和装置 |
| CN107767408A (zh) * | 2017-11-09 | 2018-03-06 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
| US11138466B2 (en) | 2017-11-09 | 2021-10-05 | Boe Technology Group Co., Ltd. | Image processing method, processing apparatus and processing device |
| CN113177997A (zh) * | 2021-04-25 | 2021-07-27 | 上海雷鸣文化传播有限公司 | 一种基于神经网络图形算法实现水墨效果渲染的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105574827B (zh) | 一种图像去雾的方法、装置 | |
| CN106447626B (zh) | 一种基于深度学习的模糊核尺寸估计方法与系统 | |
| CN107480707A (zh) | 一种基于信息无损池化的深度神经网络方法 | |
| CN108416755A (zh) | 一种基于深度学习的图像去噪方法及系统 | |
| CN106709532A (zh) | 图像处理方法和装置 | |
| CN107437092A (zh) | 基于三维卷积神经网络的视网膜oct图像的分类算法 | |
| CN108921294A (zh) | 一种用于神经网络加速的渐进式块知识蒸馏方法 | |
| CN107506822A (zh) | 一种基于空间融合池化的深度神经网络方法 | |
| CN103366180A (zh) | 一种基于自动特征学习的细胞图像分割方法 | |
| CN107729819A (zh) | 一种基于稀疏全卷积神经网络的人脸标注方法 | |
| CN106971202A (zh) | 一种基于卷积神经网络的中国水墨画风格提取方法 | |
| CN108961272A (zh) | 一种基于深度卷积对抗生成网络的皮肤病图像的生成方法 | |
| CN107871099A (zh) | 人脸定位方法和装置 | |
| CN108986058A (zh) | 明度一致性学习的图像融合方法 | |
| CN108121975A (zh) | 一种联合原始数据和生成数据的人脸识别方法 | |
| CN109598676A (zh) | 一种基于哈达玛变换的单幅图像超分辨率方法 | |
| CN111429393A (zh) | 基于卷积弹性网络的多聚焦图像融合方法 | |
| CN110309811A (zh) | 一种基于胶囊网络的高光谱图像分类方法 | |
| CN108537120A (zh) | 一种基于深度学习的人脸识别方法及系统 | |
| CN107516304A (zh) | 一种图像去噪方法及装置 | |
| CN106855996A (zh) | 一种基于卷积神经网络的灰阶图像着色方法及其装置 | |
| CN108664933A (zh) | 一种用于sar图像船舶分类的卷积神经网络的训练方法及其分类方法、船舶分类模型 | |
| CN108629360A (zh) | 一种基于深度学习的针织物基本组织结构自动识别方法 | |
| TW202131232A (zh) | 學習處理裝置及方法 | |
| CN110276753A (zh) | 基于特征空间统计信息映射的目标自适应隐藏方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170721 |
|
| WD01 | Invention patent application deemed withdrawn after publication |