CN111932645A - 基于生成对抗网络gan自动生成水墨画的方法 - Google Patents

基于生成对抗网络gan自动生成水墨画的方法 Download PDF

Info

Publication number
CN111932645A
CN111932645A CN202010532759.XA CN202010532759A CN111932645A CN 111932645 A CN111932645 A CN 111932645A CN 202010532759 A CN202010532759 A CN 202010532759A CN 111932645 A CN111932645 A CN 111932645A
Authority
CN
China
Prior art keywords
ink
wash
picture
painting
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010532759.XA
Other languages
English (en)
Other versions
CN111932645B (zh
Inventor
刘礼
张怡迪
廖军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010532759.XA priority Critical patent/CN111932645B/zh
Publication of CN111932645A publication Critical patent/CN111932645A/zh
Application granted granted Critical
Publication of CN111932645B publication Critical patent/CN111932645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于生成对抗网络GAN自动生成水墨画的方法，包括以下步骤：1)获取水墨画图片数据集，对水墨画图片进行预处理；2)将预处理后的水墨画数据集分解为不同类别的数据集；3)利用非局部均值去噪算法对数据集进行去噪，得到特征数据集；4)利用训练数据集建立生成对抗网络GAN，并确定输入图片大小；5)将特征数据集输入到生成对抗网络GAN中训练，得到训练好的GAN神经网络模型；6)将类别标签数据输入到训练好的GAN神经网络模型中，自动生成对应标签的水墨画。本发明解决了传统设计方法中手工操作繁琐、创作效率低的问题。

Description

基于生成对抗网络GAN自动生成水墨画的方法
技术领域
本发明涉及深度学习、计算机视觉领域，具体是基于生成对抗网络GAN自动生成水墨画的方法。
背景技术
近年来，利用深度神经网络进行图像的研究已经成为机器学习和计算机视觉研究的热点。生成对抗网络最初由Ian Goodfellow提出，通过在实际训练过程中对生成器和判别器都适用一种对抗性损失，有效地鼓励生成器的输出与原始数据分布相似。GAN在图像生成、图像传输、超分辨率等生成任务中取得了令人印象深刻的结果，广泛应用于各类应用场景。利用计算机生成各种美术风格的图像是数字图像领域的一个热点问题，艺术风格图像的自动生成技术在影视制作、游戏开发、艺术创作等方面具有广泛的应用，可以大大减轻手工绘制的复杂性，提高作品创作效率。水墨画是中国绘画的代表，其写实与抽象结合，色彩微妙，意境丰富。水墨画具有特殊的质感和美感，讲究笔法和用墨的结合，需要特殊的绘画材料，也正因如此，传统手绘的水墨动画制作及其复杂、费时，并且无法修改。利用现有制作软件来创作水墨风格绘画也受到工具的限制，复杂程度并不亚于手工，效果也不尽理想，存在一定的局限性。
发明内容
本发明的目的是解决现有技术中存在的问题。
为实现本发明目的而采用的技术方案是这样的，基于生成对抗网络GAN自动生成水墨画的方法，包括以下步骤：
1)获取水墨画图片数据集，对水墨画图片进行预处理，并打上类别标签。所述水墨画数据集包括山水画和花鸟画。
对水墨画图片进行预处理的主要步骤为：
1.1)统一水墨画数据集中所有水墨画图片格式。
1.2)对水墨画图片进行裁剪，令水墨画图片像素统一为M×N。
1.3)为不同类别的水墨画图片添加类别标签，并将类别标签转换为独热编码。水墨画图片类别包括山水、花鸟。
1.4)提取水墨画数据集中的水墨画图片信息，并统一编码格式。所述水墨画图片信息包括RGB三通道颜色值和对比度A。
2)利用非局部均值去噪算法对预处理后的水墨画图片进行去噪，得到更新后的水墨画图片数据集，具体步骤为：
2.1)确定水墨画图片中待去噪的像素点p。
2.2)逐像素扫描水墨画图片，寻找与待去噪像素点相似的所有相似像素点。相似性包括灰度相关性和几何结构相似性；待去噪像素点q、相似像素点p之间平方欧几里德距离d2满足d2<阈值dmax。
2.3)计算所有相似像素点的平均颜色。
2.4)用相似像素点的平均颜色替换待去噪像素点的颜色。
过滤器NLu(p)如下所示：
Figure BDA0002535940360000021
式中，d(B(p)，B(q))是分别以待去噪像素点p和相似像素点q为中心的图像块之间的欧几里得距离。F是递减函数。C(P)是归一化因子。u(p)表示水墨画图片u的像素点p。
其中，修改后水墨画图片u的像素点
Figure BDA0002535940360000022
和归一化因子C(P)分别如下所示：
Figure BDA0002535940360000023
C(P)＝∑q∈B(p，r)w(p，q) (3)
式中，n＝1，2，3表示RGB通道；p表示待去噪像素点；B(p，r)表示以待去噪像素点p为中心且大小为(2r+1)×(2r+1)像素的邻域；w(p，q)为权重；un(q)为水墨画图片u在RGB通道n上的像素点q；
权重w(p，q)取决于待去噪像素点p和位于(2f+1)×(2f+1)色块的相似像素点q的平方欧几里德距离d2＝d2(B(p，f)，B(q，f))。
平方欧几里德距离d2(B(p，f)，B(q，f))如下所示：
Figure BDA0002535940360000024
式中，σ表示噪声的标准偏差，h为过滤参数。un(p+j)为水墨画图片u在RGB通道n上的像素点p+j；un(q+j)为水墨画图片u在RGB通道n上的像素点q+j；B(p，f)为以待去噪像素点p为中心且大小为(2f+1)×(2f+1)像素的邻域；B(q，f)为以待去噪像素点q为中心且大小为(2f+1)×(2f+1)像素的邻域；
权重w(p，q)如下所示：
Figure BDA0002535940360000031
式中，σ表示噪声的标准偏差，h为过滤参数。
3)利用训练数据集建立生成对抗网络CGAN，并确定输入图片大小。根据输入图片大小对更新后的水墨画图片数据集中所有水墨画图片进行裁剪，得到水墨画图片训练集；
4)将水墨画图片训练集输入到生成对抗网络CGAN中训练，得到训练好的CGAN神经网络模型。
CGAN神经网络模型包括生成器、判别器和一个条件变量y。
所述生成器包括输入层、全连接层、卷积层和输出层。
所述判别器包括输入层、卷积层、全连接层和输出层。
所述条件变量为水墨画图片类别标签。
CGAN神经网络模型训练过程如下：
4.1)固定CGAN神经网络模型生成器参数，学习判别器参数，包括以下步骤：
4.1.1)从训练数据集中取出m个正样本{(y1，x1)，(y2，x2)，...，(ym，xm)}。m表示批处理大小；
4.1.2)从高斯分布中生成噪声数据集z＝{z1，z2，...，Zm}。
4.1.3)将噪声数据集z和条件变量y输入到CGAN神经网络模型中，得到生成数据集
Figure BDA0002535940360000032
第i个生成数据
Figure BDA0002535940360000033
Figure BDA0002535940360000034
G(yi，zi)为CGAN神经网络模型生成器输出数据。
4.1.4)更新CGAN神经网络模型判别器参数θd：
Figure BDA0002535940360000035
Figure BDA0002535940360000036
η为学习率；
Figure BDA0002535940360000037
为目标函数
Figure BDA0002535940360000038
对判别器参数θd的偏导数；
4.1.5)使目标函数
Figure BDA0002535940360000039
最大化，即令：
Figure BDA00025359403600000310
式中，
Figure BDA00025359403600000311
为修改后的生成数据；D()为判别值；
4.2)固定CGAN神经网络模型判别器参数，学习生成器参数，包括以下步骤：
4.2.1)从高斯分布中生成m个噪声数据{z1，z2，...，zm}。
4.2.2)从训练数据集中取出m个条件标签{y1，y2，...，ym}。
4.2.3)更新生成器参数θg，使目标函数
Figure BDA0002535940360000041
最大化，即令：
Figure BDA0002535940360000042
式中，
Figure BDA0002535940360000043
为目标函数
Figure BDA0002535940360000044
对生成器参数θg的偏导数；
CGAN神经网络模型采用Adam梯度下降算法更新CGAN神经网络模型中的权重和偏移。
CGAN神经网络模型卷积层的激活函数为Leaky Relu激活函数。CGAN神经网络模型卷积层利用批标准化进行数据处理。
5)将水墨画图片类别标签数据输入到训练好的生成对抗网络CGAN中，自动生成类别标签对应的水墨画。
本发明的技术效果是毋庸置疑的，本发明解决了传统方法中手工操作繁琐、创意受限、不便修改和效率低的问题。本发明将基于深度学习的方法，搭建GAN模型，自动地学习水墨画图像的特点，再对学习结果进行集成，从而实现水墨画的自动生成；自动生成水墨风格的数字图像有重要的意义，不仅能提高效率，还能帮助设计人员发现灵感。本发明采用高效，简单，通用的非局部操作，用来捕捉图像远程依赖关系，去噪处理后图像的清晰度高且不丢失细节。
附图说明
图1为本发明基于生成对抗网络GAN自动生成水墨画的整体流程结构图；
图2为CGAN网络结构图。
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
实施例1：
参见图1至图2，基于生成对抗网络GAN自动生成水墨画的方法，包括以下步骤：
1)获取水墨画图片数据集，对水墨画图片进行预处理，并打上类别标签。所述水墨画数据集包括山水画和花鸟画。
对水墨画图片进行预处理的主要步骤为：
1.1)统一水墨画数据集中所有水墨画图片格式。
1.2)对水墨画图片进行裁剪，令水墨画图片像素统一为M×N。M为长，N为宽。
1.3)为不同类别的水墨画图片添加类别标签，并将类别标签转换为独热编码。水墨画图片类别包括山水、花鸟。
1.4)提取水墨画数据集中的水墨画图片信息，并统一编码格式。所述水墨画图片信息包括RGB三通道颜色值和对比度A。
2)利用非局部均值去噪算法对特征数据集进行去噪，得到水墨画图片训练集。
利用非局部均值去噪算法对水墨画图片数据集进行去噪处理的具体步骤为：
2.1)确定水墨画图片中待去噪的像素点p。
2.2)逐像素扫描水墨画图片，寻找与待去噪像素点相似的所有相似像素点。相似性包括灰度相关性和几何结构相似性；待去噪像素点q、相似像素点p之间平方欧几里德距离d2满足d2<阈值dmax。
2.3)计算所有相似像素点的平均颜色。
2.4)用相似像素点的平均颜色替换待去噪像素点的颜色。
过滤器NLu(p)如下所示：
Figure BDA0002535940360000051
式中，d(B(p)，B(q))是分别以待去噪像素点p和相似像素点q为中心的图像块之间的欧几里得距离。F是递减函数。C(P)是归一化因子。u(p)表示水墨画图片u的像素点p。B(p)为以待去噪像素点p为中心的图像块，B(q)为以待去噪像素点q为中心的图像块。
其中，修改后水墨画图片u的像素点
Figure BDA0002535940360000052
和归一化因子C(P)分别如下所示：
Figure BDA0002535940360000053
C(P)＝∑q∈B(p，r)w(p，q) (3)
式中，n＝1，2，3表示RGB通道；p表示待去噪像素点；B(p，r)表示以待去噪像素点p为中心且大小为(2r+1)×(2r+1)像素的邻域；w(p，q)为权重；un(q)为水墨画图片u在RGB通道n上的像素点q；
权重w(p，q)取决于待去噪像素点p和位于(2f+1)×(2f+1)色块的相似像素点q的平方欧几里德距离d2＝d2(B(p，f)，B(q，f))。
平方欧几里德距离d2(B(p，f)，B(q，f))如下所示：
Figure BDA0002535940360000061
式中，σ表示噪声的标准偏差，h为过滤参数。un(p+j)为水墨画图片u在RGB通道n上的像素点p+j；un(q+j)为水墨画图片u在RGB通道n上的像素点q+j；B(p，f)为以待去噪像素点p为中心且大小为(2f+1)×(2f+1)像素的邻域；B(q，f)为以待去噪像素点q为中心且大小为(2f+1)×(2f+1)像素的邻域；
权重w(p，q)如下所示：
Figure BDA0002535940360000062
式中，σ表示噪声的标准偏差，h为过滤参数。
3)利用训练数据集建立生成对抗网络CGAN，并确定输入图片大小。根据输入图片大小对更新后的水墨画图片数据集中所有水墨画图片进行裁剪，得到水墨画图片训练集；
4)将水墨画图片训练集输入到生成对抗网络CGAN中训练，得到训练好的CGAN神经网络模型。
CGAN神经网络模型包括生成器、判别器和一个条件变量y。
所述生成器包括输入层、全连接层、卷积层和输出层。
所述判别器包括输入层、卷积层、全连接层和输出层。
所述条件变量为水墨画图片类别标签。
CGAN神经网络模型训练过程如下：
4.1)固定CGAN神经网络模型生成器参数，学习判别器参数，包括以下步骤：
4.1.1)从训练数据集中取出m个正样本{(y1，x1)，(y2，x2)，...，(ym，xm)}。m表示批处理大小；
4.1.2)从高斯分布中生成噪声数据集z＝{z1，z2，...，zm}。
4.1.3)将噪声数据集z和条件变量y输入到CGAN神经网络模型中，得到生成数据集
Figure BDA0002535940360000071
第i个生成数据
Figure BDA0002535940360000072
Figure BDA0002535940360000073
G(yi，zi)为CGAN神经网络模型生成器输出数据。
4.1.4)更新CGAN神经网络模型判别器参数θd：
Figure BDA0002535940360000074
Figure BDA0002535940360000075
η为学习率；
Figure BDA0002535940360000076
为目标函数
Figure BDA0002535940360000077
对判别器参数θd的偏导数；
Figure BDA0002535940360000078
表示在每一次迭代更新时判别器参数θd更新为前一次迭代的判别器参数
Figure BDA0002535940360000079
4.1.5)使目标函数
Figure BDA00025359403600000710
最大化，即令：
Figure BDA00025359403600000711
式中，
Figure BDA00025359403600000712
表示一个目标函数，反映模型的得分(等式右边几项得分和)，更新参数使得这个目标函数最大化，也就是希望模型性能更好。
Figure BDA00025359403600000713
为修改后的生成数据；D()为判别值；
4.2)固定CGAN神经网络模型判别器参数，学习生成器参数，包括以下步骤：
4.2.1)从高斯分布中生成m个噪声数据{z1，z2，...，zm}。
4.2.2)从训练数据集中取出m个条件标签{y1，y2，...，ym}。
4.2.3)更新生成器参数θg，使目标函数
Figure BDA00025359403600000714
最大化，即令：
Figure BDA00025359403600000715
式中，
Figure BDA00025359403600000716
为目标函数
Figure BDA00025359403600000717
对生成器参数θg的偏导数；
Figure BDA00025359403600000718
表示在每一次迭代更新时生成器参数θg更新为前一次迭代的生成器参数
Figure BDA00025359403600000719
CGAN神经网络模型的损失函数如下：
Figure BDA00025359403600000720
其中，G表示生成器，D表示判别器，y表示训练数据的条件标签，pz(z)表示先验噪声分布。判别器输出单个标量，表示输入来自训练数据而不是生成数据的概率。
CGAN神经网络模型采用Adam梯度下降算法更新CGAN神经网络模型中的权重和偏移。
CGAN神经网络模型卷积层的激活函数为Leaky Relu激活函数。CGAN神经网络模型卷积层利用批标准化进行数据处理。
6)将水墨画图片类别标签数据输入到训练好的生成对抗网络CGAN中，自动生成类别标签对应的水墨画。
实施例2：
一种基于生成对抗网络GAN自动生成水墨画的方法，该方法包括：
1)获取水墨画数据，获取的图片通过网络爬虫获取；对水墨画图片进行预处理，统一水墨画数据集中的图片的后缀名称，裁剪水墨画数据集中的图片为网络要求的输入图像像素大小，为不同类别的数据集添加类别标签并转换为独热编码，提取水墨画数据集中的图片的信息；全部数据集共有6440张图片。
2)将预处理后的水墨画数据集分解为不同类别的特征数据集；例如：花、鸟、山、水。
3)利用非局部均值去噪算法对数据集进行去噪处理；
在以目标像素x为中心的搜索窗口内，有以y为中心的小窗口在搜索窗口中滑动，通过计算以x和y为中心的两个邻域窗口间的相似程度赋以权值计算目标像素的值。
4)利用训练数据集建立生成对抗网络GAN，GAN神经网络模型包括生成器、判别器和一个条件变量，如图2所示，生成器的输入是噪声z和标签y，输出是生成图片；判别器的输入是生成图片，真实图片x以及标签y，输出为真和假；并确定输入图片大小，例如将网络输入设置为96×96×3。
5)将经过处理的不同类别数据输入到条件生成对抗网络GAN中训练，得到训练好的GAN神经网络模型，GAN神经网络模型生成器包括一个输入层，两个全连接层，两个卷积层，和一个输出层；GAN神经网络模型判别器包括一个输入层，两个卷积层，两个全连接层和一个输出层；超参选择时学习速率选择为0.0001，训练次数为150次，卷积层核大小分别设置为4和1，批处理大小设置为32，采用Adam梯度下降算法更新模型中的权重和偏移。
6)将类别标签数据输入到训练好的GAN神经网络模型中，自动生成对应标签的水墨画。

Claims (9)

1.基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，包括以下步骤：
1)获取所述水墨画图片数据集，对水墨画图片进行预处理，并打上类别标签。
2)利用非局部均值去噪算法对预处理后的水墨画图片进行去噪，得到更新后的水墨画图片数据集；
3)利用训练数据集建立生成对抗网络CGAN，并确定输入图片大小；根据输入图片大小对更新后的水墨画图片数据集中所有水墨画图片进行裁剪，得到水墨画图片训练集；
4)将水墨画图片训练集输入到生成对抗网络CGAN中训练，得到训练好的CGAN神经网络模型；
5)将水墨画图片类别标签数据输入到训练好的生成对抗网络CGAN中，自动生成类别标签对应的水墨画。
2.根据权利要求1或2所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，所述水墨画数据集包括山水画和花鸟画。所述水墨画数据集通过网络爬虫从开放式网络获取。
3.根据权利要求1所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，对水墨画图片进行预处理的主要步骤为：
1)统一水墨画数据集中所有水墨画图片格式；
2)对水墨画图片进行裁剪，令水墨画图片像素统一为M×N；
3)为不同类别的水墨画图片添加类别标签，并将类别标签转换为独热编码；水墨画图片类别包括山水、花鸟。
4)提取水墨画数据集中的水墨画图片信息，并统一编码格式；所述水墨画图片信息包括RGB三通道颜色值和对比度A。
4.根据权利要求1所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，CGAN神经网络模型包括生成器、判别器和一个条件变量y；
所述生成器包括输入层、全连接层、卷积层和输出层；
所述判别器包括输入层、卷积层、全连接层和输出层；
所述条件变量为水墨画图片类别标签。
5.根据权利要求4所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，CGAN神经网络模型训练过程如下：
1)固定CGAN神经网络模型生成器参数，学习判别器参数，包括以下步骤：
1.1)从训练数据集中取出m个正样本{(y1,x1),(y2,x2),…,(ym,xm)}；m表示批处理大小；
1.2)从高斯分布中生成噪声数据集z＝{z1,z2,…,zm}；
1.3)将噪声数据集z和条件变量y输入到CGAN神经网络模型中，得到生成数据集
Figure FDA0002535940350000021
第i个生成数据
Figure FDA0002535940350000022
G(yi,zi)为CGAN神经网络模型生成器输出数据；i＝1，2，…，m；
1.4)更新CGAN神经网络模型判别器参数θd：
Figure FDA0002535940350000023
Figure FDA0002535940350000024
η为学习率；
Figure FDA0002535940350000025
为目标函数
Figure FDA0002535940350000026
对判别器参数θd的偏导数；
1.5)使目标函数
Figure FDA0002535940350000027
最大化，即令：
Figure FDA0002535940350000028
式中，
Figure FDA0002535940350000029
为修改后的生成数据；D()为判别值；
2)固定CGAN神经网络模型判别器参数，学习生成器参数，包括以下步骤：
2.1)从高斯分布中生成m个噪声数据{z1,z2,…,zm}；
2.2)从训练数据集中取出m个条件标签{y1,y2,…,ym}；
2.3)更新生成器参数θg，使目标函数
Figure FDA00025359403500000210
最大化，即令：
Figure FDA00025359403500000211
式中，
Figure FDA00025359403500000212
为目标函数
Figure FDA00025359403500000213
对生成器参数θg的偏导数；
6.根据权利要求5所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，CGAN神经网络模型采用Adam梯度下降算法更新CGAN神经网络模型中的权重和偏移。
7.根据权利要求5所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，CGAN神经网络模型卷积层的激活函数为Leaky Relu激活函数；CGAN神经网络模型卷积层利用批标准化进行数据处理。
8.根据权利要求1所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，利用非局部均值去噪算法对水墨画图片数据集进行去噪处理的具体步骤为：
1)确定水墨画图片u中待去噪的像素点p；
2)逐像素扫描水墨画图片，寻找与待去噪像素点相似的所有相似像素点；相似性包括灰度相关性和几何结构相似性；
3)计算所有相似像素点的平均颜色；
4)用相似像素点的平均颜色替换待去噪像素点的颜色；
过滤器NLu(p)如下所示：
Figure FDA0002535940350000031
式中，d(B(p),B(q))是分别以待去噪像素点p和相似像素点q为中心的图像块之间的欧几里得距离；F是递减函数；C(P)是归一化因子；u(p)表示水墨画图片u的像素点p。
修改后水墨画图片u的像素点
Figure FDA0002535940350000032
和归一化因子C(P)分别如下所示：
Figure FDA0002535940350000033
C(P)＝∑q∈B(p,r)w(p,q) (5)
式中，n＝1，2，3表示RGB通道；p表示待去噪像素点；B(p，r)表示以待去噪像素点p为中心且大小为(2r+1)×(2r+1)像素的邻域；w(p,q)为权重；un(q)为水墨画图片u在RGB通道n上的像素点q；
权重w(p,q)取决于待去噪像素点p和位于(2f+1)×(2f+1)色块的相似像素点q的平方欧几里德距离d2＝d2(B(p,f),B(q,f))；
平方欧几里德距离d2(B(p,f),B(q,f))如下所示：
Figure FDA0002535940350000034
式中，σ表示噪声的标准偏差，h为过滤参数。un(p+j)为水墨画图片u在RGB通道n上的像素点p+j；un(q+j)为水墨画图片u在RGB通道n上的像素点q+j；B(p,f)为以待去噪像素点p为中心且大小为(2f+1)×(2f+1)像素的邻域；B(q,f)为以待去噪像素点q为中心且大小为(2f+1)×(2f+1)像素的邻域；
权重w(p,q)如下所示：
Figure FDA0002535940350000041
9.根据权利要求1所述的基于生成对抗网络GAN自动生成水墨画的方法，其特征在于，待去噪像素点q、相似像素点p之间平方欧几里德距离d2满足d2<阈值dmax。
CN202010532759.XA 2020-06-12 2020-06-12 基于生成对抗网络gan自动生成水墨画的方法 Active CN111932645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010532759.XA CN111932645B (zh) 2020-06-12 2020-06-12 基于生成对抗网络gan自动生成水墨画的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010532759.XA CN111932645B (zh) 2020-06-12 2020-06-12 基于生成对抗网络gan自动生成水墨画的方法

Publications (2)

Publication Number Publication Date
CN111932645A true CN111932645A (zh) 2020-11-13
CN111932645B CN111932645B (zh) 2022-08-26

Family

ID=73317128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010532759.XA Active CN111932645B (zh) 2020-06-12 2020-06-12 基于生成对抗网络gan自动生成水墨画的方法

Country Status (1)

Country Link
CN (1) CN111932645B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033595A (zh) * 2020-12-24 2021-06-25 重庆大学 基于生成对抗网络的多标签汽车造型生成方法
CN113435263A (zh) * 2021-06-07 2021-09-24 上海应用技术大学 基于cgan数据增强的频谱感知方法及系统
CN113706646A (zh) * 2021-06-30 2021-11-26 酷栈(宁波)创意科技有限公司 用于生成山水画的数据处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109726230A (zh) * 2018-12-04 2019-05-07 重庆大学 一种大数据分析模型预测发动机性能的方法
WO2019090213A1 (en) * 2017-11-03 2019-05-09 Siemens Aktiengesellschaft Segmenting and denoising depth images for recognition applications using generative adversarial neural networks
CN110163810A (zh) * 2019-04-08 2019-08-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及终端
CN110309708A (zh) * 2019-05-09 2019-10-08 北京尚文金泰教育科技有限公司 一种基于神经网络的智能皮纹采集分类识别方法
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111223062A (zh) * 2020-01-08 2020-06-02 西安电子科技大学 基于生成对抗网络的图像去模糊方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563385A (zh) * 2017-09-02 2018-01-09 西安电子科技大学 基于深度卷积生成式对抗网络的车牌字符识别方法
WO2019090213A1 (en) * 2017-11-03 2019-05-09 Siemens Aktiengesellschaft Segmenting and denoising depth images for recognition applications using generative adversarial neural networks
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109726230A (zh) * 2018-12-04 2019-05-07 重庆大学 一种大数据分析模型预测发动机性能的方法
CN110163810A (zh) * 2019-04-08 2019-08-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及终端
CN110309708A (zh) * 2019-05-09 2019-10-08 北京尚文金泰教育科技有限公司 一种基于神经网络的智能皮纹采集分类识别方法
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法
CN111161137A (zh) * 2019-12-31 2020-05-15 四川大学 一种基于神经网络的多风格国画花生成方法
CN111223062A (zh) * 2020-01-08 2020-06-02 西安电子科技大学 基于生成对抗网络的图像去模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董伟 等: "基于生成对抗网络的图像艺术风格迁移", 《宁波大学学报(理工版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033595A (zh) * 2020-12-24 2021-06-25 重庆大学 基于生成对抗网络的多标签汽车造型生成方法
CN113435263A (zh) * 2021-06-07 2021-09-24 上海应用技术大学 基于cgan数据增强的频谱感知方法及系统
CN113435263B (zh) * 2021-06-07 2024-04-19 上海应用技术大学 基于cgan数据增强的频谱感知方法及系统
CN113706646A (zh) * 2021-06-30 2021-11-26 酷栈(宁波)创意科技有限公司 用于生成山水画的数据处理方法

Also Published As

Publication number Publication date
CN111932645B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN109376582B (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN111932645B (zh) 基于生成对抗网络gan自动生成水墨画的方法
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
US8175384B1 (en) Method and apparatus for discriminative alpha matting
CN111553837B (zh) 一种基于神经风格迁移的艺术文本图像生成方法
CN107273905B (zh) 一种结合运动信息的目标主动轮廓跟踪方法
CN111967470A (zh) 一种基于解耦注意力机制的文本识别方法及系统
CN111414906A (zh) 纸质票据图片的数据合成与文本识别方法
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
US20070122039A1 (en) Segmentation of objects by minimizing global-local variational energy
CN106709964B (zh) 基于梯度修正和多向纹理提取的素描画生成方法及装置
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN110766020A (zh) 一种面向多语种自然场景文本检测与识别的系统及方法
JP2013536960A (ja) 写真から肖像スケッチを合成するシステム及び方法
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN112802039B (zh) 一种基于全局边缘注意力的全景分割方法
CN111967488A (zh) 一种基于孪生卷积神经网络的手机拍摄文本图像匹配方法
CN109711411B (zh) 一种基于胶囊神经元的图像分割识别方法
CN111414860A (zh) 一种实时的人像跟踪分割方法
CN108537109A (zh) 基于OpenPose的单目相机手语识别方法
CN116993947B (zh) 一种三维场景可视化展示方法及系统
CN112668567A (zh) 一种基于深度学习的图像裁剪算法
CN112614149A (zh) 基于实例分割的语义合成方法
CN110097604B (zh) 图像颜色风格转移方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant