CN112561785B - 基于风格迁移的丝绸文物图像数据扩充方法 - Google Patents
基于风格迁移的丝绸文物图像数据扩充方法 Download PDFInfo
- Publication number
- CN112561785B CN112561785B CN202011517955.6A CN202011517955A CN112561785B CN 112561785 B CN112561785 B CN 112561785B CN 202011517955 A CN202011517955 A CN 202011517955A CN 112561785 B CN112561785 B CN 112561785B
- Authority
- CN
- China
- Prior art keywords
- style
- original
- image
- loss
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 36
- 230000005012 migration Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000011084 recovery Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010422 painting Methods 0.000 abstract description 6
- 230000003321 amplification Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于风格迁移的丝绸文物图像数据扩充方法，针对图片风格迁移人工困难的问题，利用深度学习中的生成对抗网络来进行风格迁移，将原始风格图和专家修复后图送入对抗网络，通过融合两种不同类型的原始、复原的风格特征，来更好的进行风格迁移，所得迁移后图像适于保存，并且对受制于数据条件限制的各种绘画、艺术品的样本数据扩增，应用于艺术品创造、绘画生成和样本数据扩增。
Description
技术领域
本发明涉及一种图像处理技术，特别涉及一种基于风格迁移的丝绸文物图像数据扩充方法。
背景技术
目前的风格迁移网络通常是对绘画风格(抽象、卡通)、自然条件(光照、雨雾)的迁移，受制于数据条件的限制，尚未有成熟对丝绸文物图像数据进行风格迁移的技术框架。图1是一个典型的从照片迁移到特定绘画风格的例子图。
丝绸文物图像多为破损残缺，而其核心纹理和图案可以通过专业人员进行修复和重构得到一种丝绸的标准化单元图形。这样一来，我们的丝绸文物数据就包含两种主要图像，如图2为原始的丝绸文物图片，而图3为专业人士修复的丝绸单元图案，对比后可看出图片的主要特征都被专业人员重构出来了，但与原图还有很大区别，势必对其进行风格迁移才能更好的保持原图的风格，这带来很大的工作量。
发明内容
本发明是针对丝绸文物图像风格修复困难的问题，提出了一种基于风格迁移的丝绸文物图像数据扩充方法，利用深度学习中的生成对抗网络来进行风格迁移，生成图像，可对受制于数据条件限制的各种绘画、艺术品的样本数据扩增，利于保存。
本发明的技术方案为：一种基于风格迁移的丝绸文物图像数据扩充方法，将原始风格图和复原图分别缩放至统一大小并输入到预训练好的VGG19网络，在VGG19网络内部先将原始风格图像复制分别送入目标图和内容图；然后将原始风格图、复原图、目标图和内容图四部分输入到ImageNet上预训练好的VGG19网络，进入不同层的卷积进行识别，计算损失函数，利用反向传播来调整目标图的像素值内容，使得目标图片越来越接近原图风格，实现风格迁移；损失函数包括原始风格损失、风格恢复损失和内容损失，根据经验设置原始风格损失系数α和风格恢复损失系数β，内容损失系数设置为1；损失计算中原始风格损失由原始风格下采样前的卷积图取出与目标图的对应卷积图进行计算得到，风格恢复损失由复原图下采样前的卷积图取出与目标图的对应卷积图进行计算得到。
通过上述技术方案，将对抗网络技术运用到风格迁移，给出具有风格的文物图像数据进行风格迁移的技术框架，解决现在由于数据少，借鉴少的文物图的风格迁移问题。
所述原始风格损失
计算：
其中Nl和Ml分别是第l层卷积图的宽和高，Gij为目标图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵；
为原始风格图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵；所述风格恢复损失
计算：
其中Nl和Ml分别是第l层卷积图的宽和高，
为复原图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵。
通过上述技术方案，将对抗网络技术运用到风格迁移中不同类型图进行风格融合进一步限定，保证风格迁移的实现。
本发明的有益效果在于：本发明基于风格迁移的丝绸文物图像数据扩充方法，通过融合两种不同类型的丝绸文物图片(原始、复原)的风格特征，来更好的进行风格迁移，应用于艺术品创造、绘画生成和样本数据扩增。
附图说明
图1为典型的从照片迁移到特定绘画风格的例子图；
图2为原始的丝绸文物图片；
图3为图2实施例的专业人士修复的丝绸单元图案；
图4为本发明基于风格迁移的丝绸文物图像数据扩充方法所用网络示意图；
图5为使用本发明方法所得风格迁移结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
丝绸文物图像非常稀少，通常来说无法形成可供深层神经网络进行训练的大规模数据集。因此，通过风格迁移对丝绸文物图像进行样本扩充是一种非常重要的技术手段。本发明主要提出一种由复原图像结合原始图像进行风格迁移的网络模型，可以使被迁移丝绸的风格更好的通过两种不同的特征进行保留。
对于通常的风格迁移网络，对于需要迁移的风格通过浅层的特征图来计算误差，而对于丝绸文物图片，原始图像存在破损、褪色、图案缺失等问题，并不能很好的提供风格特征，而复原图片过于扁平，完全使用复原图片进行风格迁移会导致目标图片过于虚拟化，缺少织物纹理信息。因此对一种丝绸风格进行迁移时，同时使用该丝绸的原始图像和复原图像。
具体来说，如图4所示本发明方法网络示意图，图4中输入为xstyle(风格原图，也就是文物原图)和xcontent(需要进行迁移的图像内容，也就是专家手动恢复出的图像)输入VGG19网络，进行识别和迁移，本发明将原始风格图像和复原图像分别缩放至统一大小并输入到预训练好的VGG19网络(包含了19个隐藏层，16个卷积层和3个全连接层)，在VGG19网络内部将xcontent复制分别送入y_target(目标图)和y_content(内容图)，xstyle作为风格图片送入y_style_original(原始风格图)，xcontent作为复原的风格图片送入y_style_recover(复原图)；然后将四部分输入到ImageNet上预训练好的VGG19网络，进入不同层的卷积进行识别，计算损失函数，利用反向传播来调整目标图y_target的像素值内容，使得y_target中图片越来越接近原图风格，实现风格迁移；进入卷积识别前设置style_original_loss原始风格损失系数α和style_recover_loss风格恢复损失系数β，内容损失系数设置为1，也就是y_content(内容图片)不变。表1为实施例VGG19模型结构。
表1
对于每个下采样前的卷积图，可以用以下公式来计算第l层的原始风格差异(即原始风格损失)：
其中Nl和Ml分别是第l层卷积图的宽和高，Gij为目标图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵；
为原始风格图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵。
例如图4结合表1VGG19结构，将原始风格图前两个下采样前的卷积图(表1中的Conv1-2和Conv2-2)取出与目标图的对应卷积图进行计算得到的风格损失进行相加得到:
与此同时，可以用以下公式来计算第l层的复原风格差异：
其中Nl和Ml分别是第l层卷积图的宽和高，
为复原图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵。
例如图4结合表1VGG19结构，将复原图在每个下采样前的卷积图(表1中的Conv1-2、Conv2-2、Conv3-4、Conv4-4和Conv5-4)取出与目标图的对应卷积图进行计算得到风格损失2：
当然，这里也可以对复原图只提取深层的风格特征，但通过实验证明，提取所有下采样层的风格特征效果最好。
对于内容损失，还是沿用的普通风格迁移网络的计算方式：
其中Fij和Pij分别表示内容图经过第l层卷积层得到的特征图、生成图经过卷积层生成的特征图。
本发明采用VGG19作为特征图计算网络、当然所有类似的深层卷积神经网络应该都能进行替代(例如VGG16、ResNet50、DenseNet)。网络权重使用在ImageNet(LSVRC 2012)上进行预训练，对输入的风格图像(待迁移图像)和目标图像(迁移图像)的RGB三个通道均进行了归一化，其中均值和方差分别为0.485,0.456,0.406以及0.229,0.224,0.225，学习率为0.003，拟合代数为2000。而LOSS的计算如下
L＝α*LStyle-recover+β*LStyle-original+LContent (4)
其中α和β分别设置为50和100，该参数为经验参数。
如图5为本发明方法所得风格迁移结果图，将风格1、风格2、风格3分别迁移入原图后获取迁移图1、迁移图2、迁移图3，得到各种风格的迁移图，保证原图的信息的情况下，很好的融合了风格。
Claims (2)
1.一种基于风格迁移的丝绸文物图像数据扩充方法，其特征在于，将文物原图作为原始风格图，专家手动恢复出的图像作为复原图，将原始风格图和复原图分别缩放至统一大小并输入到预训练好的VGG19网络，在VGG19网络内部先将复原图复制分别送入目标图和内容图；然后将原始风格图、复原图、目标图和内容图四部分输入到ImageNet上预训练好的VGG19网络，进入不同层的卷积进行识别，计算损失函数，利用反向传播来调整目标图的像素值内容，使得目标图片越来越接近原图风格，实现风格迁移；损失函数包括原始风格损失、复原图风格恢复损失和内容损失，根据经验设置原始风格损失系数α和复原图风格恢复损失系数β，内容损失系数设置为1；损失计算中原始风格损失由原始风格下采样前的卷积图取出与目标图的对应卷积图进行计算得到，复原图风格恢复损失由复原图下采样前的卷积图取出与目标图的对应卷积图进行计算得到。
2.根据权利要求1所述基于风格迁移的丝绸文物图像数据扩充方法，其特征在于，所述原始风格损失
计算：
其中Nl和Ml分别是第l层卷积图的宽和高，Gij为目标图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵；
为原始风格图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵；所述复原图风格恢复损失
计算：
其中Nl和Ml分别是第l层卷积图的宽和高，
为复原图经过卷积层得到的第i个和第j个特征图的自相关格拉姆矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011517955.6A CN112561785B (zh) | 2020-12-21 | 2020-12-21 | 基于风格迁移的丝绸文物图像数据扩充方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011517955.6A CN112561785B (zh) | 2020-12-21 | 2020-12-21 | 基于风格迁移的丝绸文物图像数据扩充方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561785A CN112561785A (zh) | 2021-03-26 |
| CN112561785B true CN112561785B (zh) | 2021-11-16 |
Family
ID=75030653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011517955.6A Active CN112561785B (zh) | 2020-12-21 | 2020-12-21 | 基于风格迁移的丝绸文物图像数据扩充方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561785B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115937020B (zh) * | 2022-11-08 | 2023-10-31 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
| CN117649365A (zh) * | 2023-11-16 | 2024-03-05 | 西南交通大学 | 基于卷积神经网络和扩散模型的纸本经图数字化修复方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106960457A (zh) * | 2017-03-02 | 2017-07-18 | 华侨大学 | 一种基于图像语义提取和涂鸦的彩绘画创作方法 |
| CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
| CN109344425A (zh) * | 2018-08-13 | 2019-02-15 | 湖南师范大学 | 一种基于长沙窑文物元素再造创意设计集成平台 |
| US10314477B1 (en) * | 2018-10-31 | 2019-06-11 | Capital One Services, Llc | Systems and methods for dynamically modifying visual content to account for user visual impairment |
| CN110895795A (zh) * | 2018-09-13 | 2020-03-20 | 北京工商大学 | 改进的语义图像修补模型方法 |
| CN111583100A (zh) * | 2020-05-12 | 2020-08-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846355B (zh) * | 2018-06-11 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
| CN110660037B (zh) * | 2018-06-29 | 2023-02-10 | 京东方科技集团股份有限公司 | 图像间脸部交换的方法、装置、系统和计算机程序产品 |
| CN109345446B (zh) * | 2018-09-18 | 2022-12-02 | 西华大学 | 一种基于对偶学习的图像风格转移算法 |
| US10839493B2 (en) * | 2019-01-11 | 2020-11-17 | Adobe Inc. | Transferring image style to content of a digital image |
| CN110310221B (zh) * | 2019-06-14 | 2022-09-20 | 大连理工大学 | 一种基于生成对抗网络的多域图像风格迁移方法 |
-
2020
- 2020-12-21 CN CN202011517955.6A patent/CN112561785B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106960457A (zh) * | 2017-03-02 | 2017-07-18 | 华侨大学 | 一种基于图像语义提取和涂鸦的彩绘画创作方法 |
| CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
| CN109344425A (zh) * | 2018-08-13 | 2019-02-15 | 湖南师范大学 | 一种基于长沙窑文物元素再造创意设计集成平台 |
| CN110895795A (zh) * | 2018-09-13 | 2020-03-20 | 北京工商大学 | 改进的语义图像修补模型方法 |
| US10314477B1 (en) * | 2018-10-31 | 2019-06-11 | Capital One Services, Llc | Systems and methods for dynamically modifying visual content to account for user visual impairment |
| CN111583100A (zh) * | 2020-05-12 | 2020-08-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| "An Improved Image Style Transfer Algorithm Based on Deep Learning Network";Yan-ni JI等;《2019 International Conference on Computer Science, Communications and Multimedia Engineering》;20190922;第202-208页 * |
| "基于深度卷积生成式对抗网络的人脸恢复方法";吴晓燕等;《计算机应用与软件》;20200831;第37卷(第8期);第207-212页第1-2节 * |
| "基于神经网络的古壁画破损修复与风格复原研究";温利龙;《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》;20200315(第3期);第29-36页第4节 * |
| "面向手语识别的视频关键帧提取和优化算法";周舟等;《华东理工大学学报（自然科学版）》;20200923;第47卷(第1期);第81-88页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561785A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827213B (zh) | 一种基于生成式对抗网络的超分辨率图像修复方法 | |
| US10922860B2 (en) | Line drawing generation | |
| CN112561785B (zh) | 基于风格迁移的丝绸文物图像数据扩充方法 | |
| CN111210432B (zh) | 一种基于多尺度多级注意力机制的图像语义分割方法 | |
| CN111652123B (zh) | 图像处理和图像合成方法、装置和存储介质 | |
| CN110706151B (zh) | 一种面向视频的非均匀风格迁移方法 | |
| CN106960457B (zh) | 一种基于图像语义提取和涂鸦的彩绘画创作方法 | |
| CN110895795A (zh) | 改进的语义图像修补模型方法 | |
| EP4118619A1 (en) | Pose estimation method and apparatus | |
| CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
| CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN109671039B (zh) | 基于分层特征的图像矢量化方法 | |
| CN107358645A (zh) | 产品三维模型重建方法及其系统 | |
| CN113870128A (zh) | 一种基于深度卷积对抗式网络的数字壁画图像修复方法 | |
| CN111654621B (zh) | 一种基于卷积神经网络模型的双焦相机连续数字变焦方法 | |
| CN110176079A (zh) | 一种基于准共形映射的三维模型变形算法 | |
| CN111402403B (zh) | 高精度三维人脸重建方法 | |
| CN116030498A (zh) | 面向虚拟服装走秀的三维人体姿态估计方法 | |
| CN112562083A (zh) | 基于深度相机的静态人像三维重建与动态人脸融合方法 | |
| CN115797808A (zh) | 一种无人机巡检缺陷图像的识别方法、系统、装置及介质 | |
| CN116310095A (zh) | 一种基于深度学习的多视图三维重建方法 | |
| CN114663603A (zh) | 一种基于神经辐射场的静态对象三维网格模型生成方法 | |
| CN110717978A (zh) | 基于单张图像的三维头部重建方法 | |
| CN114782714A (zh) | 一种基于上下文信息融合的图像匹配方法及装置 | |
| CN113034388A (zh) | 一种古代绘画虚拟修复方法及修复模型的构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |