CN109360159A - 一种基于生成对抗网络模型的图像补全方法 - Google Patents
一种基于生成对抗网络模型的图像补全方法 Download PDFInfo
- Publication number
- CN109360159A CN109360159A CN201811041268.4A CN201811041268A CN109360159A CN 109360159 A CN109360159 A CN 109360159A CN 201811041268 A CN201811041268 A CN 201811041268A CN 109360159 A CN109360159 A CN 109360159A
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- arbiter
- network model
- completion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000010276 construction Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000004069 differentiation Effects 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 19
- 230000009977 dual effect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络模型的图像补全方法，属于深度学习神经网络领域，包括以下步骤：S1、构造原始生成对抗网络模型；S2、构造深度卷积神经网络作为生成器与判别器；S3、去除数据集图像中的部分像素，输入生成器中；S4、在生成器中运用卷积神经网络对图像进行补全；S5、将补全之后的图像与数据集图像输入判别器中判别，更新损失函数。本方法构建的基于图像补全的生成对抗网络模型，改变了生成器接收的信息，从噪声改成了去除部分像素的图像，通过生成器与判别器的对抗训练，使生成器能自动补全缺失的部分像素。
Description
技术领域
本发明涉及深度学习神经网络技术领域，具体涉及一种基于生成对抗网络模型的图像补全方法。
背景技术
生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。
在传统的对抗网络模型中，判别器接收的是随机噪声，通过不断地学习数据集中的分布，将随机噪声生成满足数据集分布的图像。在这种情况下，整个网络的训练速度较慢，并且没有自动补全图像的功能。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，构建了一种基于生成对抗网络模型的图像补全方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于生成对抗网络模型的图像补全方法，所述的图像补全方法包括下列步骤：
S1、构造原始生成对抗网络模型，生成器通过生成图像输入至判别器进行网络训练；
S2、构造深度卷积神经网络作为生成器与判别器；
在原始的生成对抗网络模型中，充当生成器与判别器功能的模型较为简单，而在本发明中，采用深度卷积神经网络作为生成器与判别器，能够以更高的效率学习到数据集中图像的特征。
S3、去除数据集图像中的部分像素，输入生成器中；
S4、在生成器中运用卷积神经网络对图像进行补全；
S5、将补全之后的图像与数据集图像输入判别器中判别，更新损失函数。
进一步地，所述的步骤S2中构造的神经网络包含多个卷积核，其中卷积核的个数根据数据集图像特征的复杂程度设置。
进一步地，所述的步骤S4中在生成器中运用卷积神经网络对图像进行补全，具体过程如下：
S41、利用卷积神经网络充当生成器、判别器；
S42、利用卷积将输入图像缺失的像素进行补全。
进一步地，所述的步骤S5中，将补全之后的图像与数据集图像输入判别器中判别，更新损失函数。
其中，所述的损失函数的表达式为：
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度。
本发明相对于现有技术具有如下的优点及效果：
高效性：本发明根据图像补全的操作过程，将去除部分像素的图片输入至生成器中，通过卷积神经网络充当生成器与判别器的功能，通过对抗训练与更新损失函数，实现了生成器自动补全图像的效果。
附图说明
图1是生成对抗网络通过图像补全进行训练的整体流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例公开了一种基于生成对抗网络模型的图像补全方法，具体包括下列步骤：
步骤S1、构造原始生成对抗网络模型，生成器通过生成图像输入至判别器进行网络训练。
步骤S2、构造深度卷积神经网络作为生成器与判别器；
不同的卷积核，体现在矩阵数值的不同、行列数的不同。
构造多个卷积核，在处理图像的过程中，不同的卷积核意味着能够在网络训练的过程中学习到生成图像的不同特征。
在传统的对抗网络模型中，判别器接收的是随机噪声，通过不断地学习数据集中的分布，将随机噪声生成满足数据集分布的图像。在这种情况下，整个网络的训练速度较慢，并且没有自动补全图像的功能。而本发明根据图像补全的操作过程，将去除部分像素的图片输入至生成器中，通过卷积神经网络充当生成器与判别器的功能，通过对抗训练与更新损失函数，实现了生成器自动补全图像的效果。
在实际应用中，应该根据数据集图像特征的复杂程度，设置卷积核的个数。
步骤S3、去除数据集图像中的部分像素，输入生成器中。
步骤S4、在生成器中运用卷积神经网络对图像进行补全。
具体方法如下：
S41、利用卷积神经网络充当生成器、判别器；
S42、利用卷积将输入图像缺失的像素进行补全。
步骤S5、将补全之后的图像与数据集图像输入判别器中判别，更新损失函数。具体过程如下：
S51、将补全之后的图像与数据集图像输入判别器中判别，更新损失函数。
损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小，说明在当前迭代中，判别器能够有较好的性能辨别生成器的生成图像；反之则说明判别器的性能较差。
损失函数的表达式为：
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度。
综上所述，本实施例公开了一种基于生成对抗网络模型的图像补全方法，在传统的对抗网络模型中，判别器接收的是随机噪声，通过不断地学习数据集中的分布，将随机噪声生成满足数据集分布的图像。在这种情况下，整个网络的训练速度较慢，并且没有自动补全图像的功能。而本发明根据图像补全的操作过程，将去除部分像素的图片输入至生成器中，通过卷积神经网络充当生成器与判别器的功能，通过对抗训练与更新损失函数，实现了生成器自动补全图像的效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (4)
1.一种基于生成对抗网络模型的图像补全方法，其特征在于，所述的图像补全方法包括下列步骤：
S1、构造原始生成对抗网络模型；
S2、构造深度卷积神经网络作为生成器与判别器；
S3、去除数据集图像中的部分像素，输入生成器中；
S4、在生成器中运用卷积神经网络对图像进行补全；
S5、将补全之后的图像与数据集图像输入判别器中判别，更新损失函数。
2.根据权利要求1所述的一种基于生成对抗网络模型的图像补全方法，其特征在于，所述的步骤S2中构造深度卷积神经网络作为生成器与判别器。
3.根据权利要求1所述的一种基于生成对抗网络模型的图像补全方法，其特征在于，所述的步骤S4具体过程如下：
S41、利用卷积神经网络充当生成器、判别器；
S42、利用卷积将输入图像缺失的像素进行补全。
4.根据权利要求1所述的一种基于生成对抗网络模型的图像补全方法，其特征在于，所述的损失函数的表达式为：
其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811041268.4A CN109360159A (zh) | 2018-09-07 | 2018-09-07 | 一种基于生成对抗网络模型的图像补全方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811041268.4A CN109360159A (zh) | 2018-09-07 | 2018-09-07 | 一种基于生成对抗网络模型的图像补全方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109360159A true CN109360159A (zh) | 2019-02-19 |
Family
ID=65350512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811041268.4A Pending CN109360159A (zh) | 2018-09-07 | 2018-09-07 | 一种基于生成对抗网络模型的图像补全方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109360159A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097589A (zh) * | 2019-04-29 | 2019-08-06 | 广东工业大学 | 一种应用于稀疏地图稠密化的深度补全方法 |
| CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
| CN111127355A (zh) * | 2019-12-17 | 2020-05-08 | 上海工程技术大学 | 一种对缺损光流图进行精细补全的方法及其应用 |
| CN111581189A (zh) * | 2020-03-27 | 2020-08-25 | 浙江大学 | 一种空气质量检测数据缺失的补全方法及补全装置 |
| CN112529765A (zh) * | 2019-09-02 | 2021-03-19 | 阿里巴巴集团控股有限公司 | 图像处理方法、设备及存储介质 |
| CN113239022A (zh) * | 2021-04-19 | 2021-08-10 | 浙江大学 | 医疗诊断缺失数据补全方法及补全装置、电子设备、介质 |
| CN114579546A (zh) * | 2022-02-22 | 2022-06-03 | 南京信息工程大学 | 基于多变量对抗生成网络的地理大数据缺值补入方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133934A (zh) * | 2017-05-18 | 2017-09-05 | 北京小米移动软件有限公司 | 图像补全方法及装置 |
| US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
| CN107563510A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种基于深度卷积神经网络的wgan模型方法 |
| CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
| CN108305239A (zh) * | 2018-03-06 | 2018-07-20 | 陕西师范大学 | 一种基于生成式对抗网络的桥梁裂缝图像的修复方法 |
-
2018
- 2018-09-07 CN CN201811041268.4A patent/CN109360159A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
| CN107133934A (zh) * | 2017-05-18 | 2017-09-05 | 北京小米移动软件有限公司 | 图像补全方法及装置 |
| CN107563510A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种基于深度卷积神经网络的wgan模型方法 |
| CN107862668A (zh) * | 2017-11-24 | 2018-03-30 | 河海大学 | 一种基于gnn的文物图像复原方法 |
| CN108305239A (zh) * | 2018-03-06 | 2018-07-20 | 陕西师范大学 | 一种基于生成式对抗网络的桥梁裂缝图像的修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| HUAMING LIU ET AL.: "Image Inpainting Based on Generative Adversarial Networks", 《2018 14TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (ICNC-FSKD)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210514A (zh) * | 2019-04-24 | 2019-09-06 | 北京林业大学 | 生成式对抗网络训练方法、图像补全方法、设备及存储介质 |
| CN110097589A (zh) * | 2019-04-29 | 2019-08-06 | 广东工业大学 | 一种应用于稀疏地图稠密化的深度补全方法 |
| CN112529765A (zh) * | 2019-09-02 | 2021-03-19 | 阿里巴巴集团控股有限公司 | 图像处理方法、设备及存储介质 |
| CN111127355A (zh) * | 2019-12-17 | 2020-05-08 | 上海工程技术大学 | 一种对缺损光流图进行精细补全的方法及其应用 |
| CN111581189A (zh) * | 2020-03-27 | 2020-08-25 | 浙江大学 | 一种空气质量检测数据缺失的补全方法及补全装置 |
| CN113239022A (zh) * | 2021-04-19 | 2021-08-10 | 浙江大学 | 医疗诊断缺失数据补全方法及补全装置、电子设备、介质 |
| CN114579546A (zh) * | 2022-02-22 | 2022-06-03 | 南京信息工程大学 | 基于多变量对抗生成网络的地理大数据缺值补入方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360159A (zh) | 一种基于生成对抗网络模型的图像补全方法 | |
| CN111223106B (zh) | 全自动人像蒙版抠图方法及系统 | |
| CN109544442B (zh) | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 | |
| CN111127308B (zh) | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 | |
| Kurin et al. | The atari grand challenge dataset | |
| CN108460720A (zh) | 一种基于生成对抗网络模型改变图像风格的方法 | |
| CN105096326B (zh) | 一种使用移动最小二乘法的拉普拉斯抠图矩阵方法 | |
| CN108629422A (zh) | 一种基于知识指导-战术感知的智能体学习方法 | |
| CN107016406A (zh) | 基于生成式对抗网络的病虫害图像生成方法 | |
| CN107590518A (zh) | 一种多特征学习的对抗网络训练方法 | |
| CN107749052A (zh) | 基于深度学习神经网络的图像去雾方法及系统 | |
| CN107871142A (zh) | 一种基于深度卷积对抗网络模型的空洞卷积方法 | |
| CN110339569B (zh) | 控制游戏场景中虚拟角色的方法及装置 | |
| CN107563510A (zh) | 一种基于深度卷积神经网络的wgan模型方法 | |
| CN109829868B (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN109214337A (zh) | 一种人群统计方法、装置、设备及计算机可读存储介质 | |
| CN110135386B (zh) | 一种基于深度学习的人体动作识别方法和系统 | |
| CN108230278A (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| CN107886169A (zh) | 一种基于文本‑图像生成对抗网络模型的多尺度卷积核方法 | |
| CN110009576A (zh) | 一种壁画图像修复模型建立及修复方法 | |
| CN107944546A (zh) | 一种基于原始生成对抗网络模型的残差网络方法 | |
| CN109344879A (zh) | 一种基于文本-图像对抗网络模型的分解卷积方法 | |
| CN110148088A (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| TWI719512B (zh) | 使用像素通道置亂的卷積神經網路的演算方法與系統 | |
| CN107229966A (zh) | 一种模型数据更新方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190219 |