CN108305311A - 一种数字化图像水墨风格渲染技术 - Google Patents
一种数字化图像水墨风格渲染技术 Download PDFInfo
- Publication number
- CN108305311A CN108305311A CN201710029952.XA CN201710029952A CN108305311A CN 108305311 A CN108305311 A CN 108305311A CN 201710029952 A CN201710029952 A CN 201710029952A CN 108305311 A CN108305311 A CN 108305311A
- Authority
- CN
- China
- Prior art keywords
- ink
- wash
- picture
- style
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010422 painting Methods 0.000 title claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 abstract description 2
- 238000013139 quantization Methods 0.000 abstract 1
- 239000000976 ink Substances 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010428 oil painting Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 241000238557 Decapoda Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公布了一种基于深度学习以及卷积神经网络的数字化图像水墨风格渲染技术。由于现有的图像处理软件只能简单的改变图片背景颜色及场景，只有几种固定的简单风格供选择。本发明公布的方法通过水墨图片集训练卷积神经网络模型，利用训练好的模型对水墨图片进行处理，通过格莱玛矩阵量化水墨图片特征，利用反向传播算法，梯度下降算法由计算机迭代训练减小损失，提取出水墨画的特征。最终将水墨画的风格渲染到任意的图片中，生成了精美的水墨画。
Description
技术领域
本发明涉及数字图像处理和深度学习在图像方面的应用，以及卷积神经网络的应用。
背景技术
2016年3月，谷歌的人工智能Alpha Go战胜人类围棋冠军，标志着以机器学习和深度学习为代表的人工智能技术进入了新的发展阶段。随着人工智能的发展，艺术创作这一长久以来一直是人类所特有的天赋，计算机也在慢慢掌握，并且能够进行简单的艺术创作。
目前，西方的油画被越来越多的中国人欣赏接受，中华民族的传统水墨画渐显颓势，相对于油画的写实风格，水墨画的意境创作对于普通人来说难以掌握。现有的一些图像处理软件，只能简单机械的改变图片的背景颜色，背景图像，不能够像人一样学习图片的风格，包括纹理，笔触等细节特征。当今社会需要更多的水墨画作品供人们欣赏，人们也可以从自己创作大师般的水墨艺术作品中获得乐趣。
发明内容
本发明的目的在于克服水墨画创作中意境难以模仿，笔触独特，创作成本高，普通人学习困难的特点，提出了一种基于深度学习的数字化图像渲染方法，使任意图像能够通过构建的神经网络模型渲染出水墨画风格。
本发明解决问题所采用的方案是：构建卷积神经网络模型(包括16个卷积层和5个池化层)，以水墨图片库作为训练集，利用深度学习相关算法，通过大量数据迭代更新得到卷积层滤波器的权重参数(W1，W2，W3……Wn)，训练出适用于水墨画的卷积神经网络模型。将任意的水墨画图片和拍摄的内容图片输入水墨风格卷积神经网络模型中，图片在卷积神经网络中运算提取了不同的特征矩阵，以及表示关联度的格莱玛矩阵，运用反向传播算法和梯度下降算法，提取水墨图片的纹理特征，迭代更新生成图片的像素值，使内容图片融合了纹理的特征，最终经过电脑的运算处理后生成一幅相应风格的水墨画。
本发明的有益效果是：将深度学习应用于数字化图像的水墨风格渲染，相对于人工创作水墨画，成本低，速度快，并且电脑渲染的水墨画作品质量高，满足了大多数人们对于水墨画的审美需求。深度学习未见用于中国水墨画风格的渲染，因此本技术方案具有新颖性。
附图说明
图1是本发明的整体流程图
图2是硬件架构及硬件加速图
图3是软件架构图
图4是水墨图片集预处理图及神经网络模型具体训练图
图5是内容图片渲染水墨风格示意图
图6是内容图片和不同风格图片生成图
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
参考图2，图3，构建整体软件，硬件运行环境，硬件环境的运行需要高性能GPU的支持，搭载英伟达并行运算平台CUDA8.0，相关操作库Cudnn5.0，使GPU具有大规模数据加速运算能力。软件运行基于Linux系统，以Python作为开发语言，Protocol Buffer负责数据交换，Tensorflow作为深度学习核心框架，Numpy，Scipy提供了矩阵运算和图片的具体操作函数。
参考图4，对于水墨图片集做预处理操作，将任意大小的图片选取主要特征，图片大小归一化为224×224像素，按照题材分为10类，并设置标签为：1.人物 2.山水 3.房屋4.花草 5.树竹 6.马 7.鸟 8.鱼 9.狗 10.虾。然后将彩色图片数字化，转换为[224，224，3]的数组，以便于程序处理。
用水墨画图片集训练卷积神经网络，网络分为5个大层，每一层包括卷积层，池化层，激励层。在激励层中用向量化的水墨图片和随机权重的3×3滤波器做卷积运算，叠加偏置计算公式如(1)所示：
池化层做平均池化操作，计算公式如(2)所示：
xmean＝(x1+x2+x3+x4)/4 (2)
激励层以ReLu函数作为激励函数，计算公式如(3)所示：
使用Adam方法优化模型损失，反向传播更新滤波器权重。这里使用的Adam优化法和反向传播算法均由Tensorflow框架的函数提供。
参考图5，输入一幅水墨风格图片，通过卷积神经网络模型，在卷积层中以训练好权重值的滤波器进行卷积操作，卷积层参数为(W，H，D，N)，W为滤波器宽度，H为滤波器高度，D为滤波器深度，N为滤波器个数，图像通过卷积操作提取相应的特征。滤波器在图片每一部分激励为F。
依式(4)计算F：
依式(5)计算格莱玛矩阵：
依式(6)计算格莱玛矩阵每一元素值：
计算特征层之间的关联度，通过计算机迭代训练，使格莱玛矩阵逐步缩小，得到了水墨画的纹理特征，即水墨画的风格特征。输入内容图片进行水墨风格渲染，通过迭代操作使计算机自动更新生成图片的像素值，最终内容图片渲染了水墨风格。输入内容图片可以根据公式(7)调整渲染程度：
Stotal＝αScontent+βSstyle (7)
在(7)中α和β分别表示内容图片和风格图片在最终生成图片中所占比例。α/β比值越大，水墨风格渲染程度低，输出图片保留原始内容更多，反之则水墨风格渲染程度高，生成图片的水墨画特征更强烈。在本说明书所示渲染生成图片中，所有水墨渲染图片α/β设为默认值10-3。
参考图6，同一张内容图片，可以渲染不同风格的水墨图片。
上述图6所示结果说明，本发明提出的一种数字化图像水墨风格渲染技术，可以生成高质量的水墨画图片，较好的填补了现有图像处理软件在任意风格水墨图像渲染方面的技术空白。
Claims (3)
1.一种数字化图像水墨风格渲染的技术，其特征在于这种渲染技术基于深度学习相关算法，利用水墨图片集训练了卷积神经网络模型，能够对内容图片渲染任意的水墨风格。
2.根据权利要求1所述的数字化图像水墨风格渲染技术，其特征是：通过深度学习算法提取了水墨画的纹理特征，并且用Python语言描述了具体提取过程，算法是基于Tensorflow框架的，算法中包括反向传播算法和梯度下降算法。
3.根据权利要求1所述的数字化图像水墨风格渲染技术，其特征是：利用水墨图片集训练的水墨风格卷积神经网络模型，包括16个卷积层和5个池化层，激励函数采用的是ReLu函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710029952.XA CN108305311A (zh) | 2017-01-12 | 2017-01-12 | 一种数字化图像水墨风格渲染技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710029952.XA CN108305311A (zh) | 2017-01-12 | 2017-01-12 | 一种数字化图像水墨风格渲染技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108305311A true CN108305311A (zh) | 2018-07-20 |
Family
ID=62872107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710029952.XA Pending CN108305311A (zh) | 2017-01-12 | 2017-01-12 | 一种数字化图像水墨风格渲染技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108305311A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161137A (zh) * | 2019-12-31 | 2020-05-15 | 四川大学 | 一种基于神经网络的多风格国画花生成方法 |
| WO2020187788A1 (de) * | 2019-03-18 | 2020-09-24 | Evonik Operations Gmbh | Verfahren zur generierung einer zusammensetzung für farben, lacke, druckfarben, anreibeharze, pigmentkonzentrate oder sonstige beschichtungsstoffe |
| CN112070873A (zh) * | 2020-08-26 | 2020-12-11 | 完美世界(北京)软件科技发展有限公司 | 一种模型的渲染方法和装置 |
| CN113535056A (zh) * | 2021-06-17 | 2021-10-22 | 深圳软牛科技有限公司 | 基于InkCanvas的选框调整方法和相关设备 |
| CN114493997A (zh) * | 2022-01-24 | 2022-05-13 | 南京师范大学 | 一种基于数字高程模型与风格迁移的地形水墨画生成方法 |
-
2017
- 2017-01-12 CN CN201710029952.XA patent/CN108305311A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020187788A1 (de) * | 2019-03-18 | 2020-09-24 | Evonik Operations Gmbh | Verfahren zur generierung einer zusammensetzung für farben, lacke, druckfarben, anreibeharze, pigmentkonzentrate oder sonstige beschichtungsstoffe |
| CN113631667A (zh) * | 2019-03-18 | 2021-11-09 | 赢创运营有限公司 | 生成用于油漆、清漆、印刷油墨、研磨树脂、颜料浓缩物或其它涂料的组合物的方法 |
| TWI756645B (zh) * | 2019-03-18 | 2022-03-01 | 德商贏創運營有限公司 | 產生塗料、清漆、印刷油墨、研磨樹脂、顏料濃縮物、或其它塗覆材料之組合物的方法、電腦系統、電腦程式、及系統 |
| CN111161137A (zh) * | 2019-12-31 | 2020-05-15 | 四川大学 | 一种基于神经网络的多风格国画花生成方法 |
| CN112070873A (zh) * | 2020-08-26 | 2020-12-11 | 完美世界(北京)软件科技发展有限公司 | 一种模型的渲染方法和装置 |
| CN112070873B (zh) * | 2020-08-26 | 2021-08-20 | 完美世界(北京)软件科技发展有限公司 | 一种模型的渲染方法和装置 |
| CN113535056A (zh) * | 2021-06-17 | 2021-10-22 | 深圳软牛科技有限公司 | 基于InkCanvas的选框调整方法和相关设备 |
| CN113535056B (zh) * | 2021-06-17 | 2023-12-05 | 深圳软牛科技有限公司 | 基于InkCanvas的选框调整方法和相关设备 |
| CN114493997A (zh) * | 2022-01-24 | 2022-05-13 | 南京师范大学 | 一种基于数字高程模型与风格迁移的地形水墨画生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108305311A (zh) | 一种数字化图像水墨风格渲染技术 | |
| Bar-Tal et al. | Lumiere: A space-time diffusion model for video generation | |
| Hertzmann | Computers do not make art, people do | |
| CN111161137B (zh) | 一种基于神经网络的多风格国画花生成方法 | |
| CN111626918B (zh) | 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统 | |
| Hertzmann | Aesthetics of neural network art | |
| CN109993820A (zh) | 一种动画视频自动生成方法及其装置 | |
| Dorin | Chance and complexity: stochastic and generative processes in art and creativity | |
| Tarng et al. | The development of a virtual marine museum for educational applications | |
| Jeong et al. | Visual Style Prompting with Swapping Self-Attention | |
| Blair | Adversarial evolution and deep learning–how does an artist play with our visual system? | |
| CN114917583A (zh) | 一种基于生成对抗网络的动漫风格游戏背景生成方法及平台 | |
| CN116128708A (zh) | 一种写实绘画风格图像生成对抗网络 | |
| CN115496843A (zh) | 一种基于gan的局部写实感漫画风格迁移系统及方法 | |
| Manivannan et al. | Animation In J2ee Projects-An Overview | |
| CN117315417B (zh) | 一种基于扩散模型的服装样式融合方法和系统 | |
| Huws | Nature, technology and art: the emergence of a new relationship? | |
| Chen et al. | Automatic Generation of Multimedia Teaching Materials Based on Generative AI: Taking Tang Poetry as an Example | |
| CN116245715A (zh) | 基于注意力机制的山水画风格迁移方法 | |
| Zhou | DEVELOPING DIGITAL CHINESE WATER-INK ANIMATION | |
| Shiffman | Swarm | |
| Ye | Applying Intertextuality to Chinese Traditional Animation Making in a Global Context: Using Jingwei Reclamation as an Example | |
| Sun et al. | Representation of watercolor based on regions | |
| Kostyrava et al. | 3D animation: tools and resources | |
| Mi et al. | Development of Chinese Animation from the Perspective of Computer Evolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180720 |