CN111161134A - 基于伽马变换的图像艺术风格转换方法 - Google Patents
基于伽马变换的图像艺术风格转换方法 Download PDFInfo
- Publication number
- CN111161134A CN111161134A CN201911392568.1A CN201911392568A CN111161134A CN 111161134 A CN111161134 A CN 111161134A CN 201911392568 A CN201911392568 A CN 201911392568A CN 111161134 A CN111161134 A CN 111161134A
- Authority
- CN
- China
- Prior art keywords
- image
- style
- content
- new
- gamma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于伽马变换的图像风格转换方法。它包括输入内容图像和风格图像;获取风格图像的风格特征和内容图像的内容特征;定义新的白噪声源图像X,分别于风格特征和内容特征进行匹配,并进行融合;在像素级别对融合后图像进行伽马变换,实现去噪;重复上述步骤,一定次数得到最终图像。本发明最后获取的图像减少了图像噪点,而且还减少了算法的迭代次数。
Description
技术领域
本发明属于计算视觉和图像处理领域,具体地说是一种基于伽马变换的图像艺术风格转换方法。
背景技术
人们的想象力和创造能力通常使用艺术来表达,这是自古以来最令人着迷的活动。获取到一幅图片,通常希望使用后期编辑获取到具有特定艺术风格的图像。但是后期编辑需要超高的使用技巧,普通人不经过系统的学习难以实现风格转换的功能。
现在,有许多技术关于风格转换的工作。2016年,Gatys等人首次使用神经网络完成图像风格转换。Ulyanov等人训练一个紧凑的前馈神经网络来生成多个相同纹理任意大小的样品,将给定的图像转换成具有艺术风格的另一幅图像,每一轮次达到了500倍提速。Johnson等人使用感知损失替代像素损失,使用VGG网络模型计算损失,生成风格化图像,每一轮能够做到三个数量级的提速。Frigo等人提出了一种无监督方法,将图像风格的局部纹理认为是局部的纹理转移,最终于全局颜色转移相结合。Li等人首次将风格转移应用在人脸上,与此同时最大化的保留原图像的身份特征。当前,每一轮次的风格转换图像都有大量的噪声。
发明内容
本发明的目的在于针对风格转换技术中存在的高噪声问题,提出一种基于伽马变换的图像风格转换方法,该方法能够减少风格转移后图像的噪声,并且额外减少迭代次数。
本发明为了达到上述目的,采用的技术方案如下:
一种基于伽马变换的图像艺术风格转换方法,具体步骤如下:
步骤S1:输入内容图像C和风格图像S;
步骤S2:获取风格图像的风格特征和内容图像的内容特征;
步骤S3:定义新的白噪声源图像X,分别于风格特征和内容特征进行匹配,并进行融合,得到第一目标图;
步骤S4:在像素级别对第一目标图进行伽马变换,实现去噪,得到第二目标图;
步骤S5:将第二目标图作为新的源图像X,重复执行特征提取步骤到伽马变换步骤一定次数,得到最终图像。
上述步骤S2具体步骤如下:
对于风格图像S,利用Gram矩阵存储风格图像的风格特征:
对于内容图像C,利用神经网络获取其内容特征:
上述步骤S3具体步骤如下:
为了使白噪声图像具备图像S的风格特征,最小化下面的公式:
并求解图像X在第l层的梯度:
用来迭代更新转换图像风格,其中l为卷积层的层数,Ml为每个滤波器的尺寸,Nl为第l卷积层滤波器的个数;
为了使白噪声图像具有图像C的内容特性,最小化下面的公式:
并求解图像X在第l层的滤波响应的梯度为:
用来迭代更新转换图像内容;
为了生成一张新的风格转换图,使其拥有图像S的风格特征和图像C的内容特征,最小化下面的公式:
其中αl和βl分别是每一层内容损失函数和风格损失函数的权值因子,ω用来平衡风格和内容的权值,得到新的图像X1。
上述步骤S4具体步骤如下
使用下面公式:
对第L层的图像X1进行像素级别的去噪操作,总的伽马变换损失函数为:
得到新的图像X2。
本方法使用VGG-19神经网络,采用L-BFGS的反向传播最小化。
本发明的基于伽马变换的图像艺术风格转换方法与现有的技术相比,具有如下优点:
白噪声图像分别匹配风格图像的风格特征和内容图像的内容特征,合成新的图像X1,然后对图像X1的每一个像素进行伽马变换,用于像素之间的去噪处理,将伽马变换处理过的图像重新输入到神经网络中。最后获取到的图像噪声减少,而且在五次迭代左右就可以获取与现在方法相同的图像效果。
附图说明
下面结合附图和实施列对本发明做进一步说明。
图1是本发明的基于伽马变换的图像风格转换方法的流程图。
图2(a)是本发明输入的内容图像C。
图2(b)是本发明输入的风格图像S。
图3是本发明获取到的未进行伽马变换的融合图X1。
图4是本发明优化后的最后输出图像X3。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示,本发明的一种基于伽马变换的图像风格转换方法,其具体步骤如下:
S1:输入内容图像C和风格图像S,如图2(a)和图2(b)所示。
S2:获取风格图像的风格特征和内容图像的内容特征;
对于风格图像S,利用Gram矩阵存储风格图像的风格特征:
对于内容图像C,利用神经网络获取其内容特征:
S3:定义新的白噪声源图像X,分别于风格特征和内容特征进行匹配,并进行融合,得到第一目标图X1;
为了使白噪声图像具备图像S的风格特征,最小化下面的公式:
并求解图像X在第l层的梯度:
用来迭代更新转换图像风格,其中l为卷积层的层数,Ml为每个滤波器的尺寸,Nl为第l卷积层滤波器的个数;
为了使白噪声图像具有图像C的内容特性,最小化下面的公式:
并求解图像X在第l层的滤波响应的梯度为:
用来迭代更新转换图像内容;
为了生成一张新的风格转换图,使其拥有图像S的风格特征和图像C的内容特征,最小化下面的公式:
其中αl和βl分别是每一层内容损失函数和风格损失函数的权值因子,ω用来平衡风格和内容的权值,得到新的图像X1,如图(3)所示。
S4:在像素级别对图像X1进行伽马变换,实现去噪,得到第二目标图X2;
使用下面公式:
对第L层的图像X1进行像素级别的去噪操作,总的伽马变换损失函数为:
对第L层的图像X1进行像素级别的去噪操作,总的伽马变换损失函数为:
得到新的图像X2。
S5:将第二目标图作为新的源图像X,重复执行步骤S2到步骤S4迭代一定次数,得到最终图像X3,如图(4)所示。
可以理解的是,本发明迭代5次左右即可获取到良好的风格转移后的图像。
从上述实例结果可以看出,本发明在实现风格转移的同时对风格转移后的图像进行去噪处理,在5次左右迭代轮次获取到风格转移后的图像与传统的神经网络方法效果相近。
Claims (5)
1.一种基于伽马变换的图像艺术风格转换方法,其特征在于,具体步骤如下:
S1:输入内容图像C和风格图像S;
S2:获取风格图像的风格特征和内容图像的内容特征;
S3:定义新的白噪声源图像X,分别于风格特征和内容特征进行匹配,并进行融合,得到第一目标图X1;
S4:在像素级别对图像X1进行伽马变换,实现去噪,得到第二目标图X2;
S5:将第二目标图作为新的源图像X,重复执行步骤S2到步骤S4一定次数,得到最终图像X3。
3.根据权利要求1所述的一种基于伽马变换的图像艺术风格转换方法,其特征在于,所述步骤S3具体如下:
5.权利要求1所述的一种基于伽马变换的图像艺术风格转换方法,其特征在于:所述的神经网络为VGG-19神经网络,采用L-BFGS的反向传播最小化Ltotal。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911392568.1A CN111161134A (zh) | 2019-12-30 | 2019-12-30 | 基于伽马变换的图像艺术风格转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911392568.1A CN111161134A (zh) | 2019-12-30 | 2019-12-30 | 基于伽马变换的图像艺术风格转换方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111161134A true CN111161134A (zh) | 2020-05-15 |
Family
ID=70558926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911392568.1A Pending CN111161134A (zh) | 2019-12-30 | 2019-12-30 | 基于伽马变换的图像艺术风格转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111161134A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837926A (zh) * | 2021-09-05 | 2021-12-24 | 桂林理工大学 | 基于均值标准差的图像迁移方法 |
US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373099A (zh) * | 2016-08-31 | 2017-02-01 | 余姚市泗门印刷厂 | 一种图像处理方法 |
CN108711137A (zh) * | 2018-05-18 | 2018-10-26 | 西安交通大学 | 一种基于深度卷积神经网络的图像色彩表达模式迁移方法 |
CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
-
2019
- 2019-12-30 CN CN201911392568.1A patent/CN111161134A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106373099A (zh) * | 2016-08-31 | 2017-02-01 | 余姚市泗门印刷厂 | 一种图像处理方法 |
CN108711137A (zh) * | 2018-05-18 | 2018-10-26 | 西安交通大学 | 一种基于深度卷积神经网络的图像色彩表达模式迁移方法 |
CN110111291A (zh) * | 2019-05-10 | 2019-08-09 | 衡阳师范学院 | 基于局部和全局优化融合图像卷积神经网络风格迁移方法 |
Non-Patent Citations (3)
Title |
---|
LEON A. GATYS 等: "A Neural Algorithm of Artistic Style", 《COMPUTER SIENCE》 * |
机器学习入坑者: "风格迁移A Neural Algorithm of Artistic Style与pytorch实现", 《知乎》 * |
郑茗化 等: "基于局部均方差的神经网络图像风格转换", 《现代电子技术》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11948279B2 (en) | 2020-11-23 | 2024-04-02 | Samsung Electronics Co., Ltd. | Method and device for joint denoising and demosaicing using neural network |
CN113837926A (zh) * | 2021-09-05 | 2021-12-24 | 桂林理工大学 | 基于均值标准差的图像迁移方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
CN110458750B (zh) | 一种基于对偶学习的无监督图像风格迁移方法 | |
CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 | |
CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
CN110570377A (zh) | 一种基于组归一化的快速图像风格迁移方法 | |
CN110211035B (zh) | 融合互信息的深度神经网络的图像超分辨率方法 | |
CN106683056A (zh) | 一种机载光电红外数字图像处理方法及装置 | |
CN109801218B (zh) | 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法 | |
CN110148088A (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
CN113902658B (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
CN111835983A (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
CN111161134A (zh) | 基于伽马变换的图像艺术风格转换方法 | |
CN110634103A (zh) | 基于生成对抗网络的图像去马赛克方法 | |
CN110428382A (zh) | 一种用于移动终端的高效视频增强方法、装置和存储介质 | |
CN108596865B (zh) | 一种用于卷积神经网络的特征图增强系统及方法 | |
CN111553856A (zh) | 基于深度估计辅助的图像去雾方法 | |
CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
CN111414988B (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
CN110580726A (zh) | 基于动态卷积网络的自然场景下人脸素描生成模型及方法 | |
CN111951171A (zh) | Hdr图像生成方法、装置、可读存储介质及终端设备 | |
CN108764233B (zh) | 一种基于连续卷积激活的场景字符识别方法 | |
CN113706407A (zh) | 基于分离表征的红外可见光图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200515 |
|
WD01 | Invention patent application deemed withdrawn after publication |